31 Oct robots.txt για AI: Μία γραμμή μπλοκάρει την εκπαίδευση
Κατηγορία: Πολιτική & Κανονισμός
- 1. Τι ανακοίνωσαν OpenAI, Google, Microsoft και Anthropic
- 2. Τι είναι το robots.txt (με απλά λόγια)
- 3. Πώς γράφεται ο νέος κανόνας robots.txt για AI
- 4. Τι καλύπτει και τι δεν καλύπτει ο κανόνας
- 5. Πότε θα το εφαρμόσει κάθε εταιρεία
- 6. Πρέπει να βάλεις τον κανόνα robots.txt για AI στο site σου;
- 7. Συμπέρασμα
- 8. Συχνές ερωτήσεις
robots.txt για AI: πώς μία γραμμή στο site σου λέει «όχι» στην εκπαίδευση των μοντέλων
Το robots.txt για AI απέκτησε επιτέλους έναν κοινό κανόνα. Στις 30 Οκτωβρίου 2026, η OpenAI, η Google, η Microsoft και η Anthropic είπαν ότι θα σέβονται μία κοινή εντολή μέσα στο αρχείο robots.txt, με την οποία ένα site δηλώνει ότι δεν θέλει το περιεχόμενό του να χρησιμοποιείται για την εκπαίδευση μοντέλων AI.
Μέχρι σήμερα, όποιος ήθελε να «κρατήσει έξω» τα AI έπρεπε να μπλοκάρει ένα-ένα τα ρομπότ κάθε εταιρείας. Τώρα αρκεί μία γραμμή. Παρακάτω θα δεις τι ακριβώς ανακοινώθηκε, πώς γράφεται ο κανόνας, τι δεν καλύπτει, και αν αξίζει να τον βάλεις στο δικό σου site.
1. Τι ανακοίνωσαν OpenAI, Google, Microsoft και Anthropic
Οι τέσσερις μεγαλύτερες δυτικές εταιρείες AI δεσμεύτηκαν να σέβονται ένα κοινό σήμα στο robots.txt, το __usage_ai-training, που σημαίνει «χρήση για εκπαίδευση AI».
Η πρόταση βασίζεται σε δουλειά της ομάδας AIPREF του IETF, του διεθνούς οργανισμού που φτιάχνει τα πρότυπα του internet. Το κείμενο της πρότασης το έγραψε ο Kevin Kelley της Anthropic και είναι ακόμη σχέδιο (draft), όχι τελικό πρότυπο.
Η Google το εξήγησε στο ιστολόγιο Google Search Central: αντί για ξεχωριστές οδηγίες για κάθε εταιρεία, οι ιδιοκτήτες ιστοσελίδων θα μπορούν να δηλώνουν την προτίμησή τους μία φορά, για όλες μαζί. Η Microsoft πρόσθεσε ότι θα δώσει και ρυθμίσεις ανά σελίδα. Η Google σημειώνει επίσης ότι η πρόταση συμβαδίζει με τον Κώδικα Πρακτικής της ΕΕ για τα μοντέλα γενικού σκοπού, που αναγνωρίζει το robots.txt ως βασικό τρόπο δήλωσης προτιμήσεων. Αν θέλεις να δεις το ευρύτερο πλαίσιο, έχουμε γράψει για τον κανονισμό EU AI Act και τη συμμόρφωση των επιχειρήσεων.
2. Τι είναι το robots.txt (με απλά λόγια)
Το robots.txt είναι ένα μικρό αρχείο κειμένου στη ρίζα κάθε ιστοσελίδας, που λέει στα αυτόματα προγράμματα («ρομπότ» ή crawlers) ποιες σελίδες μπορούν να διαβάσουν.
Μπορείς να δεις το δικό σου γράφοντας στον browser τη διεύθυνση του site σου και μετά /robots.txt, για παράδειγμα xplorai.gr/robots.txt. Το διαβάζουν η Google για την αναζήτηση, αλλά και τα ρομπότ που μαζεύουν κείμενα για να εκπαιδεύσουν μοντέλα AI.
Υπάρχει μια σημαντική λεπτομέρεια: το robots.txt είναι παράκληση, όχι κλειδαριά. Δουλεύει μόνο επειδή οι σοβαρές εταιρείες επιλέγουν να το σέβονται. Ένα ρομπότ που δεν δηλώνει ποιο είναι ή που αγνοεί τους κανόνες δεν σταματά από αυτό.
Μάθε το Claude βήμα προς βήμα στα ελληνικά για να είσαι πάνω από το 90% του κόσμου που το χρησιμοποιεί
👉 Μάθημα Claude
3. Πώς γράφεται ο νέος κανόνας robots.txt για AI
Για να δηλώσεις ότι δεν θέλεις κανένα μέρος του site σου να χρησιμοποιηθεί στην εκπαίδευση AI, προσθέτεις στο robots.txt αυτές τις δύο γραμμές:
User-Agent: __usage_ai-training
Disallow: /Η πρώτη γραμμή λέει «οι κανόνες που ακολουθούν αφορούν την εκπαίδευση AI». Η δεύτερη λέει «όχι για ολόκληρο το site».
Μπορείς να κάνεις και εξαιρέσεις. Για παράδειγμα, αν θέλεις να κρατήσεις έξω όλο το site αλλά να επιτρέψεις τα δελτία τύπου:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/Δύο παγίδες που αξίζει να ξέρεις:
- Ο «γενικός» κανόνας δεν μετράει. Αν το robots.txt σου έχει μόνο
User-Agent: *(δηλαδή «για όλα τα ρομπότ»), αυτό δεν θεωρείται δήλωση για την εκπαίδευση AI, όσο αυστηρό κι αν είναι. - Αν δεν γράψεις τίποτα, δεν έχεις δηλώσει τίποτα. Το περιεχόμενό σου θεωρείται διαθέσιμο για εκπαίδευση μέχρι να προσθέσεις τον κανόνα.
4. Τι καλύπτει και τι δεν καλύπτει ο κανόνας
Ο νέος κανόνας αφορά μόνο την εκπαίδευση μοντέλων. Δεν βγάζει το site σου από την αναζήτηση της Google και δεν εμποδίζει ένα ρομπότ να επισκεφτεί τις σελίδες σου.
Πιο συγκεκριμένα:
| Ερώτηση | Απάντηση |
|---|---|
| Χάνω θέσεις στην Google; | Όχι. Η Google λέει ότι αυτή η ρύθμιση δεν επηρεάζει την κατάταξη στην αναζήτηση. |
| Σβήνονται όσα έχουν ήδη μαζέψει; | Όχι. Ισχύει μόνο για περιεχόμενο που θα συλλεχθεί από εδώ και πέρα. |
| Σταματά τα ρομπότ να μπαίνουν στο site; | Όχι. Είναι δήλωση χρήσης, όχι φραγή. Για φραγή μπλοκάρεις κάθε ρομπότ με το όνομά του. |
| Είναι υποχρεωτικό για όλες τις εταιρείες; | Όχι. Είναι εθελοντική δέσμευση, χωρίς μηχανισμό επιβολής. |
Υπάρχει και μια λεπτομέρεια για την Google. Όπως εξηγεί το Relevant Audience, αν μπλοκάρεις την εκπαίδευση με τον νέο κανόνα χωρίς να αναφέρεις ξεχωριστά το Google-Extended, η Google θα το διαβάσει σαν να μπλόκαρες το Google-Extended. Αυτό σημαίνει ότι το site σου δεν θα χρησιμοποιείται ούτε ως πηγή στις απαντήσεις της εφαρμογής Gemini. Αν θέλεις να εμφανίζεσαι εκεί ενώ κρατάς έξω την εκπαίδευση, πρέπει να επιτρέψεις ρητά το Google-Extended.
Επίσης, η ανακοίνωση της Google δεν λέει τίποτα για τα AI Overviews και το AI Mode της αναζήτησης. Εκεί, προς το παρόν, δεν αλλάζει κάτι.
5. Πότε θα το εφαρμόσει κάθε εταιρεία
Οι τέσσερις εταιρείες συμφωνούν στον κανόνα, αλλά όχι στο πότε θα τον εφαρμόσουν.
| Εταιρεία | Πότε |
|---|---|
| Anthropic | Έχει ήδη ξεκινήσει |
| OpenAI | «Τους επόμενους μήνες» |
| Microsoft | 1 Φεβρουαρίου 2027 |
| Μέσα στο 2027 (αρχές 2027, κατά την τεκμηρίωσή της) |
Οι υπάρχουσες ρυθμίσεις κάθε εταιρείας (όπως το GPTBot της OpenAI ή το Google-Extended) συνεχίζουν να ισχύουν. Όπου υπάρχει πιο συγκεκριμένος κανόνας για μία εταιρεία, εκείνος υπερισχύει του κοινού.
6. Πρέπει να βάλεις τον κανόνα robots.txt για AI στο site σου;
Για τις περισσότερες μικρές επιχειρήσεις, η απάντηση είναι όχι, ή τουλάχιστον όχι χωρίς σκέψη.
Ένα site επιχείρησης θέλει συνήθως να το βρίσκουν. Όλο και περισσότεροι πελάτες ρωτούν πρώτα ένα AI («ποιος κάνει καλά λογιστικά στη Θεσσαλονίκη;», «ποιο ξενοδοχείο στη Χαλκιδική έχει πισίνα;»). Η παρουσία σου στις απαντήσεις αυτές είναι πλέον μέρος του marketing, όπως εξηγούμε στο άρθρο Από το SEO στο LLMO. Ο νέος κανόνας αφορά την εκπαίδευση και όχι την αναζήτηση, αλλά, όπως είδαμε με την Google, τα όρια δεν είναι πάντα καθαρά.
Αντίθετα, το μπλοκάρισμα έχει νόημα αν:
- Το περιεχόμενό σου είναι το προϊόν σου. Ειδησεογραφικά sites, δημοσιογράφοι, συγγραφείς, φωτογράφοι, εκπαιδευτικό υλικό επί πληρωμή.
- Έχεις σελίδες με πρωτότυπη δουλειά που δεν θέλεις να «αφομοιωθεί» σε ένα μοντέλο, όπως αναλύσεις, έρευνες ή συνταγές.
Το θέμα των πνευματικών δικαιωμάτων δεν είναι θεωρητικό. Το είδαμε στην υπόθεση με τις εταιρείες AI που κατηγορούνται ότι αγοράζουν και καταστρέφουν βιβλία για να εκπαιδεύσουν τα μοντέλα τους.
Αν αποφασίσεις να το βάλεις σε WordPress: με το Yoast SEO πηγαίνεις στα Yoast SEO → Εργαλεία → Επεξεργαστής αρχείων και προσθέτεις τις δύο γραμμές στο τέλος του robots.txt. Μετά ανοίγεις το [το-site-σου].gr/robots.txt για να δεις ότι εμφανίζονται. Κράτα σημείωση πότε και γιατί το άλλαξες, ώστε να μην το αναιρέσει κάποιος αργότερα χωρίς να το ξέρει.
Τίποτα δεν χρειάζεται να γίνει βιαστικά. Η Google και η Microsoft θα το εφαρμόσουν από το 2027, και η πρόταση μπορεί ακόμη να αλλάξει.
7. Συμπέρασμα
Ο κοινός κανόνας robots.txt για AI είναι μια σπάνια στιγμή συνεννόησης ανάμεσα σε ανταγωνιστές. Δίνει στους ιδιοκτήτες ιστοσελίδων έναν απλό τρόπο να πουν «όχι» στην εκπαίδευση μοντέλων, με μία γραμμή αντί για δέκα.
Έχει όμως όρια: είναι εθελοντικός, δεν σβήνει όσα έχουν ήδη συλλεχθεί και θα εφαρμοστεί σε διαφορετικούς χρόνους από κάθε εταιρεία. Για τις περισσότερες επιχειρήσεις, το σωστό βήμα σήμερα δεν είναι να τον βάλουν αμέσως, αλλά να αποφασίσουν συνειδητά αν θέλουν το περιεχόμενό τους μέσα ή έξω από τον κόσμο του AI.
Κατεβάστε Δωρεάν 👉450+ Best Ai Tools
8. Συχνές ερωτήσεις
Τι είναι το __usage_ai-training στο robots.txt;
Είναι ένα κοινό «σήμα» που μπαίνει στο robots.txt και δηλώνει αν το περιεχόμενο ενός site μπορεί να χρησιμοποιηθεί για την εκπαίδευση μοντέλων AI. Το στηρίζουν η OpenAI, η Google, η Microsoft και η Anthropic. Γράφεται ως User-Agent: __usage_ai-training και από κάτω Disallow: / για να μπλοκάρεις όλο το site.
Αν μπλοκάρω την εκπαίδευση AI, θα χάσω θέσεις στην Google;
Όχι. Η Google λέει ότι η ρύθμιση αυτή δεν επηρεάζει την εμφάνιση ή την κατάταξη στην αναζήτηση. Μπορεί όμως να βγάλει το site σου από τις πηγές της εφαρμογής Gemini, εκτός αν επιτρέψεις ρητά το Google-Extended. Για τα AI Overviews η Google δεν έχει πει κάτι.
Μπορούν τα AI να αγνοήσουν το robots.txt;
Ναι. Το robots.txt είναι εθελοντική οδηγία και όχι τεχνικό μπλοκάρισμα. Το σέβονται οι εταιρείες που δεσμεύτηκαν και τα ρομπότ που δηλώνουν ποια είναι. Για πραγματική προστασία χρειάζεται τείχος προστασίας (firewall) ή υπηρεσία όπως η Cloudflare, που μπλοκάρει ύποπτα ρομπότ.
Σβήνει ο νέος κανόνας ό,τι έχει ήδη χρησιμοποιηθεί στην εκπαίδευση;
Όχι. Ο κανόνας ισχύει μόνο για περιεχόμενο που θα συλλεχθεί αφού τον προσθέσεις. Ό,τι υπάρχει ήδη σε σύνολα δεδομένων ή σε μοντέλα που έχουν εκπαιδευτεί δεν αφαιρείται. Γι' αυτό, αν σε απασχολεί το θέμα, έχει νόημα να το αποφασίσεις νωρίς.
Πότε θα εφαρμοστεί ο κοινός κανόνας robots.txt;
Η Anthropic έχει ήδη ξεκινήσει να τον εφαρμόζει. Η OpenAI λέει «τους επόμενους μήνες», η Microsoft από την 1η Φεβρουαρίου 2027 και η Google μέσα στο 2027. Μέχρι τότε, ισχύουν οι ξεχωριστοί κανόνες κάθε εταιρείας, όπως το GPTBot και το Google-Extended.