Google, Anthropic, OpenAI i Microsoft zobowiązały się uwzględniać nową dyrektywę w pliku robots.txt. Pozwoli ona właścicielom stron jednym zapisem zakazać wykorzystywania ich treści do trenowania generatywnej sztucznej inteligencji. Propozycja jest rozpatrywana przez IETF, organizację zajmującą się otwartymi standardami internetu.

Jeden sygnał zamiast wielu reguł

Dotąd wydawca, który nie chciał, by jego teksty trafiały do zbiorów treningowych, musiał znać nazwy robotów poszczególnych firm. Dla każdego z nich dodawał osobną regułę w robots.txt. Nowe rozwiązanie ma to uprościć: kilka firm ma rozpoznawać wspólny sygnał i się do niego stosować.

Autorem propozycji jest Kevin Kelley, w Anthropic odpowiedzialny za standardy techniczne. Jak wyjaśniały OpenAI i Google w swoich komunikatach, chodzi o to, by wydawcy nie musieli już śledzić zmian po stronie każdego dostawcy AI.

Jak ma wyglądać zapis

Właściciel witryny dodaje do robots.txt osobny wpis dla agenta przeznaczonego wyłącznie do trenowania AI. Przykład z propozycji:

• User-Agent: __usage_ai-training
• Disallow: /
• Allow: /press-kit/

Taki zapis blokuje roboty zbierające dane do trenowania modeli. Dyrektywa Allow pozwala jednak wyłączyć wybrane fragmenty serwisu spod zakazu, na przykład materiały prasowe, które autor chce udostępniać szeroko.

Czego nowy standard nie zmienia

Nowa dyrektywa nie blokuje indeksowania stron ani ich obecności w wynikach wyszukiwania Google. Firma ma traktować ją jako sygnał stopu dla agenta Google-Extended, który zbiera materiały do trenowania modeli Gemini. Zwykłe roboty wyszukiwarki działają dalej.

Drugie ograniczenie jest ważniejsze: zapis nie działa wstecz. Jeśli firma odwiedziła stronę wcześniej, ma już jej treść. Nowy znacznik ukrócić może jedynie przyszłe pobieranie danych, całych witryn albo ich części.

Kiedy zacznie działać

Terminy wdrożenia są różne:

• Anthropic już obsługuje nową dyrektywę.
• OpenAI zapowiada wdrożenie w ciągu najbliższych miesięcy.
• Google ma ją obsługiwać na początku 2027 roku.
• Microsoft zacznie 1 lutego 2027 roku.

Do tego czasu wydawcy, którzy chcą się zabezpieczyć, nadal muszą polegać na regułach dla poszczególnych robotów.

Co to oznacza dla polskich wydawców

Plik robots.txt ma każdy serwis internetowy, więc zmiana może dotyczyć także polskich portali, blogów, sklepów i autorów publikujących w sieci. W praktyce da im prostszy sposób na zgłoszenie sprzeciwu wobec trenowania AI na ich treściach, bez śledzenia nazw kolejnych robotów. Artykuł nie mówi nic o tym, jak nowy znacznik wpisuje się w unijne przepisy o prawach autorskich. Nie wiadomo też, czy będzie miał znaczenie prawne w razie sporu, bo to na razie dobrowolne zobowiązanie firm.

Warto też pamiętać, że standard jest dopiero na etapie propozycji w IETF, a robots.txt opiera się na dobrej woli stron, które go respektują. Dyrektywa nie jest więc zabezpieczeniem technicznym, ale deklaracją, do której największe firmy zobowiązały się stosować. Jeśli prowadzisz stronę, sprawdź za jakiś czas, czy Twój system zarządzania treścią lub dostawca hostingu oferuje gotowy sposób dodania takiego wpisu.

Źródło: Engadget – „Google joins OpenAI and Anthropic in promising new scraping controls”