Ένα αρχείο είκοσι γραμμών αποφασίζει αν το ChatGPT θα σε συστήσει ποτέ σε κανέναν.
Το αρχείο που όλοι αγνοούν και κανείς δεν έπρεπε
Το robots.txt υπάρχει από το 1994. Για τριάντα χρόνια ήταν το πιο βαρετό αρχείο σε κάθε site: μια λίστα με "επιτρέπεται" και "απαγορεύεται" που έβλεπε μόνο η Google, η Bing, και ίσως κάποιος περίεργος developer. Οι περισσότεροι ιδιοκτήτες επιχειρήσεων δεν το είχαν ανοίξει ποτέ. Δεν χρειαζόταν. Ο agency τους το έφτιαχνε μία φορά, στην παράδοση του site, και μετά ξεχνιόταν για πάντα.
Αυτό άλλαξε χωρίς προειδοποίηση. Σήμερα, όταν κάποιος ρωτάει το ChatGPT "ποιος είναι ο καλύτερος web developer στην Αθήνα" ή το Perplexity "πόσο κοστίζει ένα e-shop στην Ελλάδα", η απάντηση που θα πάρει καθορίζεται εν μέρει από αυτό ακριβώς το αρχείο. Αν το robots.txt σου λέει σε ένα AI crawler "όχι", το μοντέλο απλά δεν έχει το περιεχόμενό σου να το αναφέρει. Δεν υπάρχεις ούτε ως πηγή, ούτε ως citation, ούτε ως προτεινόμενη επιλογή. Το αρχείο που θεωρούσαμε τεχνική λεπτομέρεια έγινε, μέσα σε δύο χρόνια, μια απόφαση διανομής.
Το λάθος στη σκέψη: "προστασία" εναντίον "ορατότητας"
Η συνηθισμένη αντίδραση, όταν κάποιος μαθαίνει ότι υπάρχουν bots με ονόματα όπως GPTBot ή PerplexityBot που "διαβάζουν" το site του, είναι φόβος. "Θα μου κλέψουν το περιεχόμενο." Η αντίδραση είναι κατανοητή, αλλά λάθος στη βάση της. Το ερώτημα δεν είναι αν κάποιος θα διαβάσει το κείμενό σου. Αυτό ήδη το κάνει η Google, εδώ και είκοσι πέντε χρόνια, και κανείς δεν το θεωρεί κλοπή. Το πραγματικό ερώτημα είναι αν θέλεις να είσαι μέσα στην απάντηση που θα δώσει ένα AI μοντέλο σε κάποιον που ψάχνει ακριβώς αυτό που πουλάς. Το να μπλοκάρεις έναν AI crawler δεν σε προστατεύει. Σε κάνει αόρατο σε ένα κανάλι που, μέχρι το τέλος του 2026, θα έχει αντικαταστήσει ένα σημαντικό ποσοστό των παραδοσιακών αναζητήσεων Google.
Ποιοι bots χτυπάνε πραγματικά την πόρτα σου
Δεν υπάρχει ένα "AI bot". Υπάρχουν τουλάχιστον έξι διαφορετικές κατηγορίες, με διαφορετικό σκοπό η καθεμία, και το να τις μπερδεύεις σημαίνει ότι μπλοκάρεις κάτι που ήθελες να αφήσεις ανοιχτό ή αντίστροφα.
GPTBot είναι ο crawler της OpenAI που συλλέγει δημόσιο περιεχόμενο για την εκπαίδευση μελλοντικών μοντέλων. Δεν είναι αυτός που "διαβάζει" το site σου όταν κάποιος ρωτάει το ChatGPT μια ερώτηση σε πραγματικό χρόνο. Αυτή είναι δουλειά ενός διαφορετικού bot, του OAI-SearchBot, που τροφοδοτεί τη λειτουργία αναζήτησης μέσα στο ChatGPT. Υπάρχει και ένα τρίτο, το ChatGPT-User, που ενεργοποιείται όταν ένας χρήστης ζητάει ρητά από το μοντέλο να επισκεφτεί μια συγκεκριμένη διεύθυνση URL. Τρία διαφορετικά bots, τρεις διαφορετικές λειτουργίες, μία μόνο εταιρεία.
Η Anthropic έχει το δικό της σύστημα: το Claude-Web (ή ClaudeBot, ανάλογα με την έκδοση του user-agent string) για real-time ανάκτηση, και το anthropic-ai για training. Το PerplexityBot δουλεύει διαφορετικά από τα δύο παραπάνω. Το Perplexity είναι πρωτίστως μια answer engine, όχι ένα chatbot γενικής χρήσης, οπότε ο crawler του σχεδιάστηκε από την αρχή για να βρίσκει, να επαληθεύει και να παραθέτει πηγές σε πραγματικό χρόνο, κάτι που τον κάνει ίσως τον πιο κρίσιμο από όλους αν ο στόχος σου είναι να εμφανίζεσαι ως citation (αναλύουμε αυτή την ειδική περίπτωση στο άρθρο μας για το πώς παίρνετε citations στο Perplexity). Και τέλος υπάρχει το GoogleOther, ένα γενικό user-agent που χρησιμοποιεί η Google για πειραματικές λειτουργίες εκτός του κύριου Googlebot, συμπεριλαμβανομένων κάποιων που τροφοδοτούν τα AI Overviews.
Η διαφορά μεταξύ αυτών των bots δεν είναι ακαδημαϊκή. Αν μπλοκάρεις το GPTBot επειδή δεν θέλεις να "εκπαιδευτεί" πάνω στο περιεχόμενό σου, αλλά αφήνεις ανοιχτό το OAI-SearchBot, το ChatGPT μπορεί ακόμα να σε βρει και να σε παραθέσει σε πραγματικό χρόνο, απλώς δεν θα σε χρησιμοποιήσει ως δεδομένα εκπαίδευσης για το επόμενο μοντέλο. Αυτή είναι μια απόφαση που μπορείς να πάρεις συνειδητά, όχι κατά λάθος.
Το robots.txt της Distarter, γραμμή προς γραμμή
Δεν θα σου μιλήσουμε θεωρητικά. Αυτό είναι το πραγματικό αρχείο που τρέχει σήμερα στο distarter.com, χτισμένο ως robots.ts μέσα στο Next.js App Router μας:
{ userAgent: '*', allow: '/', disallow: ['/api/', '/checkout/'] }
{ userAgent: 'GPTBot', allow: '/' }
{ userAgent: 'Claude-Web', allow: '/' }
{ userAgent: 'anthropic-ai', allow: '/' }
{ userAgent: 'PerplexityBot', allow: '/' }
{ userAgent: 'GoogleOther', allow: '/' }
Πέντε γραμμές αφιερωμένες αποκλειστικά σε AI bots, πάνω σε ένα σκελετό κανόνα που ήδη επιτρέπει τα πάντα εκτός από τα εσωτερικά endpoints (/api/) και τη διαδικασία πληρωμής (/checkout/). Θα μπορούσαμε να μην τις γράψουμε καθόλου: ο πρώτος κανόνας, userAgent: '*', ήδη επιτρέπει σε οτιδήποτε δεν αναφέρεται ρητά αλλού. Το γράφουμε ρητά για έναν συγκεκριμένο λόγο: την ασφάλεια από μελλοντική αλλαγή. Αν κάποια στιγμή προσθέσουμε έναν πιο περιοριστικό κανόνα πιο πάνω στο αρχείο (ας πούμε επειδή θέλουμε να μπλοκάρουμε επιθετικούς scrapers που δεν σέβονται το πρωτόκολλο), οι ρητές γραμμές για GPTBot, Claude-Web, anthropic-ai, PerplexityBot και GoogleOther παραμένουν ανεπηρέαστες. Η ρητή δήλωση δεν είναι πλεονασμός. Είναι ασφάλιση.
Υπάρχει και ένας δεύτερος λόγος, λιγότερο τεχνικός και πιο ανθρώπινος: όταν κάποιος από την ομάδα μας ή έναν πελάτη μας ανοίξει αυτό το αρχείο, βλέπει αμέσως ότι η απόφαση για AI ορατότητα ήταν συνειδητή, όχι τυχαία παράλειψη. Το ίδιο αρχείο λειτουργεί σαν τεκμηρίωση.
Το σημείο που ξεχνάνε όλοι: το sitemap
Στο τέλος του robots.txt μας υπάρχει μια γραμμή sitemap: https://distarter.com/sitemap.xml. Αυτό δεν είναι διακοσμητικό. Πολλά AI crawlers, ειδικά αυτά που δουλεύουν με περιορισμένο crawl budget ανά domain, χρησιμοποιούν το sitemap για να αποφασίσουν ποιες σελίδες αξίζει να επισκεφτούν πρώτα. Ένα robots.txt χωρίς αναφορά σε sitemap είναι σαν να αφήνεις ανοιχτή την πόρτα αλλά να μην βάζεις πινακίδα με το ποιο δωμάτιο είναι το σαλόνι. Αν θες την πλήρη εικόνα του πώς συνεργάζονται τα δύο αρχεία, το αναλύουμε στον οδηγό μας για το xml sitemap robots.txt.
Το λάθος που κάνει το 70% των sites χωρίς να το ξέρει
Αν τρέχεις WordPress με ένα δημοφιλές πρόσθετο ασφαλείας (Wordfence, Sucuri, ή ακόμα και το built-in "AI bot fight mode" κάποιων CDN παρόχων όπως το Cloudflare), υπάρχει πραγματική πιθανότητα να μπλοκάρεις όλα τα AI bots αυτή τη στιγμή, χωρίς να το έχεις αποφασίσει ρητά. Αυτά τα εργαλεία ενεργοποιούν από προεπιλογή κανόνες που αντιμετωπίζουν κάθε μη ανθρώπινο user-agent ως απειλή, μια λογική που είχε νόημα το 2018, όταν "bot" σήμαινε σχεδόν πάντα spam ή scraping για ανταγωνιστικούς λόγους, αλλά είναι ξεπερασμένη το 2026, όταν "bot" μπορεί να σημαίνει "ο μηχανισμός που θα σε συστήσει σε πεντακόσιους ανθρώπους αυτή την εβδομάδα".
Ο έλεγχος είναι απλός και παίρνει τρία λεπτά. Άνοιξε ένα terminal και τρέξε:
curl -A "GPTBot" -I https://το-site-σου.gr/robots.txt
Αν η απάντηση δείχνει disallow για το / ή αν λαμβάνεις 403 πριν καν φτάσεις στο robots.txt, κάτι στην υποδομή σου μπλοκάρει το bot πριν καν διαβάσει τους κανόνες που έγραψες. Αυτό συμβαίνει συχνά σε επίπεδο firewall ή CDN, όχι στο ίδιο το αρχείο, που σημαίνει ότι μπορεί να έχεις ένα τέλειο robots.txt και να είσαι ακόμα αόρατος επειδή κάποιο άλλο layer της υποδομής σου παίρνει την τελική απόφαση πριν.
Πότε έχει νόημα να μπλοκάρεις
Δεν λέμε "άφησε τα πάντα ανοιχτά χωρίς σκέψη". Υπάρχουν νόμιμοι λόγοι να περιορίσεις έναν AI crawler: αν έχεις περιεχόμενο πίσω από paywall που δεν θέλεις να διαρρεύσει σε δωρεάν απαντήσεις, αν έχεις ευαίσθητα εσωτερικά δεδομένα σε subdomains που δεν έπρεπε καν να είναι δημόσια προσβάσιμα (οπότε το πρόβλημα είναι αλλού), ή αν είσαι εκδότης που ζει αποκλειστικά από διαφημιστικά έσοδα σε traffic και βλέπεις το AI training ως άμεσο υποκατάστατο του επισκέπτη σου. Το τελευταίο είναι μια πραγματική, ανοιχτή συζήτηση στον κλάδο των μέσων ενημέρωσης, και δεν έχουμε πρόθεση να την υποτιμήσουμε.
Αλλά για ένα agency, ένα δικηγορικό γραφείο, ένα ξενοδοχείο, μια κατασκευαστική εταιρεία, δηλαδή για σχεδόν κάθε πελάτη που εξυπηρετούμε, αυτή η ανησυχία δεν εφαρμόζεται. Δεν πουλάς διαφημίσεις πάνω σε page views. Πουλάς μια υπηρεσία, και ο στόχος σου είναι να σε βρει και να σε προτείνει όποιος ρωτήσει σχετικά, είτε μέσω Google είτε μέσω ChatGPT. Σε αυτή την περίπτωση, κάθε disallow που μπλοκάρει έναν AI crawler είναι ένα σημείο επαφής που χάνεις χωρίς κανένα αντίστοιχο όφελος.
Πώς να το ελέγξεις και να το φτιάξεις σήμερα
Πρώτο βήμα: άνοιξε το yourdomain.gr/robots.txt στον browser σου. Αν βλέπεις μόνο μία γραμμή User-agent: * με κάποιους γενικούς κανόνες και τίποτα άλλο, δεν σημαίνει απαραίτητα πρόβλημα: ένα γενικό "allow all" καλύπτει συνήθως και τα AI bots από προεπιλογή, εκτός αν κάποιο άλλο σύστημα (CDN, firewall, plugin ασφαλείας) παρεμβαίνει πιο πριν, όπως περιγράψαμε παραπάνω.
Δεύτερο βήμα: πρόσθεσε ρητούς κανόνες allow για τα πέντε βασικά ονόματα: GPTBot, Claude-Web (ή ClaudeBot ανάλογα με την πλατφόρμα σου), anthropic-ai, PerplexityBot, και GoogleOther. Δεν χρειάζεται πολύπλοκη λογική. Χρειάζεται ρητή δήλωση.
Τρίτο βήμα: επιβεβαίωσε ότι το CDN ή ο πάροχος φιλοξενίας σου δεν έχει ενεργοποιημένο κάποιο "AI bot blocking" σε επίπεδο υποδομής, ξεχωριστό από το ίδιο το robots.txt. Αυτό είναι το βήμα που παραλείπουν σχεδόν όλοι, και είναι αυτό που πραγματικά καθορίζει αν το ρητό "allow" που μόλις έγραψες έχει καν σημασία.
Τέταρτο βήμα: σκέψου το robots.txt σαν το πρώτο, όχι το μοναδικό, στρώμα ετοιμότητας για AI. Ένα σωστά ρυθμισμένο robots.txt λέει "μπορείς να μπεις". Δεν λέει τίποτα για το αν αυτό που θα βρεις μέσα αξίζει να παρατεθεί. Αυτό είναι δουλειά ενός πιο σύνθετου συνδυασμού structured data, καθαρής δομής περιεχομένου, και σημάτων εμπιστοσύνης, κάτι που εξηγούμε αναλυτικά στη διαφορά ανάμεσα σε AEO vs SEO. Αν θέλεις να δεις πόσο έτοιμο είναι πραγματικά το site σου πέρα από το robots.txt, αυτό είναι ακριβώς το αντικείμενο του δικού μας AI search readiness ελέγχου.
Οι πέντε ερωτήσεις που μας κάνουν όλοι οι πελάτες
"Αν επιτρέψω το GPTBot, θα χρησιμοποιήσει η OpenAI το περιεχόμενό μου δωρεάν;" Ναι, τεχνικά. Το GPTBot συλλέγει δημόσιο περιεχόμενο για εκπαίδευση μοντέλων χωρίς αποζημίωση, ακριβώς όπως έκανε η Google για είκοσι πέντε χρόνια με το index της. Η ερώτηση που πρέπει να κάνεις δεν είναι "θα το χρησιμοποιήσουν δωρεάν" (φυσικά και θα το κάνουν) αλλά "τι χάνω αν πω όχι". Η απάντηση, για ένα επαγγελματικό site, είναι: χάνεις την πιθανότητα να αναφερθείς ονομαστικά όταν κάποιος ρωτήσει το ChatGPT μια σχετική ερώτηση στο μέλλον. Δεν υπάρχει ενδιάμεση λύση όπου επιτρέπεις τη μια χρήση και όχι την άλλη, τουλάχιστον όχι ακόμα σε επίπεδο robots.txt.
"Πρέπει να μπλοκάρω το GoogleOther;" Σχεδόν ποτέ. Το GoogleOther τροφοδοτεί πειραματικές λειτουργίες της Google, συμπεριλαμβανομένων στοιχείων του AI Overview. Το να το μπλοκάρεις ενώ αφήνεις ανοιχτό το κανονικό Googlebot είναι ασυνεπές: σαν να δίνεις στην ίδια εταιρεία πρόσβαση από τη μία πόρτα και να της κλείνεις μια δεύτερη που οδηγεί στο ίδιο δωμάτιο.
"Το robots.txt αρκεί για να με δει το ChatGPT;" Όχι. Είναι προαπαιτούμενο, όχι εγγύηση. Το robots.txt λέει "μπορείς να μπεις". Το αν θα σε παραθέσει το μοντέλο εξαρτάται μετά από παράγοντες όπως η σαφήνεια της δομής του περιεχομένου σου, η ύπαρξη structured data, και τα σήματα εμπιστοσύνης που εντοπίζει το μοντέλο, κάτι που αναλύουμε στο δικό μας οδηγό για το e-e-a-t seo.
"Χρειάζομαι διαφορετικό robots.txt ανά γλώσσα ή subdomain;" Όχι απαραίτητα διαφορετικό αρχείο, αλλά σίγουρα χρειάζεσαι να επιβεβαιώσεις ότι κάθε υποδομή (π.χ. ένα ξεχωριστό subdomain για το blog ή για το e-shop σου) έχει το δικό της robots.txt με τους ίδιους κανόνες allow. Είναι συχνό λάθος να ρυθμίσεις σωστά το κύριο domain και να ξεχάσεις ότι το shop.yourdomain.gr τρέχει σε εντελώς διαφορετικό server με το δικό του, ανέγγιχτο αρχείο.
"Πόσο συχνά πρέπει να το ελέγχω;" Τουλάχιστον κάθε φορά που αλλάζεις CDN, πάροχο φιλοξενίας, ή πρόσθετο ασφαλείας, γιατί αυτά τα σημεία είναι που συνήθως εισάγουν έναν αόρατο κανόνα block χωρίς να το καταλάβεις. Πέρα από αυτό, μια γρήγορη επιβεβαίωση δύο φορές τον χρόνο είναι αρκετή, καθώς η λίστα με τα σχετικά AI bots μεγαλώνει σταθερά και αξίζει να προσθέτεις νέα ονόματα καθώς εμφανίζονται.
Ένα πραγματικό σενάριο: πώς μοιάζει να είσαι αόρατος χωρίς να το ξέρεις
Φανταστείτε ένα δικηγορικό γραφείο στην Αθήνα με σωστό, ρητό robots.txt, ακριβώς όπως το περιγράψαμε παραπάνω, με allow σε GPTBot, PerplexityBot, Claude-Web. Το site φιλοξενείται όμως πίσω από ένα δημοφιλές CDN με ενεργοποιημένο, εξ ορισμού, ένα "AI bot fight mode". Το firewall του CDN βλέπει τον user-agent PerplexityBot, τον κατατάσσει σε μια γενική κατηγορία "automated traffic", και επιστρέφει 403 πριν καν φτάσει η αίτηση στον server όπου ζει το ίδιο το robots.txt.
Το αποτέλεσμα: το γραφείο εμφανίζεται μηδέν φορές σε απαντήσεις Perplexity για ερωτήματα όπως "καλύτερο δικηγορικό γραφείο εμπορικού δικαίου Αθήνα" για έξι μήνες, ενώ ανταγωνιστές με χειρότερο περιεχόμενο αλλά χωρίς αυτό το κρυφό block εμφανίζονται τακτικά ως πηγή. Κανείς στο γραφείο δεν το αντιλαμβάνεται, γιατί δεν υπάρχει ειδοποίηση, δεν υπάρχει σφάλμα ορατό στο Google Search Console. Το πρόβλημα ζει ένα επίπεδο πιο κάτω, στην υποδομή, όχι στο περιεχόμενο.
Η λύση, όταν εντοπίστηκε με το τεστ curl -A "PerplexityBot" που περιγράψαμε νωρίτερα, ήταν μία αλλαγή σε ένα πεδίο ρυθμίσεων του CDN, όχι στο robots.txt, που ήταν ήδη σωστό. Μέσα σε τρεις εβδομάδες, το γραφείο άρχισε να εμφανίζεται ξανά ως πηγή σε σχετικές ερωτήσεις. Το μάθημα εδώ δεν είναι τεχνικό, είναι μεθοδολογικό: ένα σωστό αρχείο δεν αποδεικνύει τίποτα από μόνο του. Μόνο ένα πραγματικό τεστ με πραγματικό user-agent αποδεικνύει αν αυτό που γράψατε αντιστοιχεί σε αυτό που πραγματικά συμβαίνει.
Ποια bots έρχονται μετά: η λίστα δεν σταματάει εδώ
Οι πέντε ονομαστικές καταχωρήσεις στο δικό μας robots.txt (GPTBot, Claude-Web, anthropic-ai, PerplexityBot, GoogleOther) καλύπτουν τα τρία μεγαλύτερα ονόματα της στιγμής, αλλά η λίστα μεγαλώνει με σταθερό ρυθμό. Το Amazonbot ήδη συλλέγει περιεχόμενο για την Alexa και για πειραματικές λειτουργίες αναζήτησης της Amazon. Το Applebot-Extended είναι ξεχωριστό user-agent από το κλασικό Applebot που τροφοδοτεί το Siri και άλλες λειτουργίες AI της Apple. Ένα site μπορεί να επιτρέπει το ένα και να μπλοκάρει το άλλο χωρίς να το καταλάβει, ακριβώς όπως συζητήσαμε παραπάνω με τα τρία bots της OpenAI. Το Meta-ExternalAgent συλλέγει δεδομένα για τα δικά της μοντέλα και για λειτουργίες AI μέσα στο Facebook και το Instagram.
Η πρακτική συμβουλή δεν είναι να τρέχετε πίσω από κάθε νέο όνομα που εμφανίζεται. Είναι να ελέγχετε το robots.txt σας δύο φορές τον χρόνο (όπως προτείναμε παραπάνω) και να προσθέτετε ρητές γραμμές allow για όποιο νέο bot έχει αποκτήσει πραγματική χρήση στην αγορά σας εκείνη τη στιγμή. Ένα bot που κανείς πελάτης σας δεν χρησιμοποιεί για να σας ανακαλύψει δεν αξίζει την προσοχή σας σήμερα, ακόμα κι αν αξίζει σε δύο χρόνια. Το ίδιο σκεπτικό ισχύει και για το πώς παρακολουθούμε ποιο μοντέλο εμφανίζει τελικά την επιχείρησή σας ως απάντηση, κάτι που εξηγούμε αναλυτικά στο πώς εμφανίζεστε στο Google AI Overview, όπου η λογική παρακολούθησης είναι η ίδια: όχι πανικός για κάθε νέο όνομα, αλλά τακτικός, προγραμματισμένος έλεγχος.
Το σημείο που αξίζει να θυμάσαι
Το robots.txt δεν είναι πια ένα τεχνικό αρχείο που φτιάχνεις μια φορά και ξεχνάς. Είναι μια δημόσια δήλωση πολιτικής: ποιος επιτρέπεται να σε βρει, και μέσα από ποιο κανάλι. Για τριάντα χρόνια, το μόνο κανάλι που μετρούσε ήταν η μηχανή αναζήτησης της Google. Σήμερα υπάρχουν τουλάχιστον έξι διαφορετικοί crawlers που αποφασίζουν αν θα υπάρχεις σε μια συνομιλία που ούτε καν θα δεις να γίνεται. Το αρχείο είναι είκοσι γραμμές. Το κόστος να το ελέγξεις είναι τρία λεπτά. Η διαφορά ανάμεσα στο να υπάρχεις και να μην υπάρχεις σε αυτές τις συνομιλίες είναι πολύ μεγαλύτερη από τον χρόνο που θα σου πάρει να το διορθώσεις.