Семь двадцать, суббота. Отопление в доме обещали с первого ноября, поэтому в кухне холоднее, чем кажется из окна, и я сижу на полу спиной к чугунной батарее — за ночь она остыла окончательно. Ноутбук поставила на табуретку, на столе лежит распечатка с пятницы: две страницы чужого robots.txt, одна строка подчёркнута карандашом дважды.
Подчёркиваю дважды, когда не уверена, что поняла с первого раза. Кофе налила до того, как села, и он остыл, пока я разбиралась, что случилось за ночь: четыре публикации и одно следствие, все от тридцатого числа.
Три из них я открыла сразу — они были про разрешения. Четвёртую открыла последней, потому что думала, что она про другое.
Отказ, отдельный от доступа
Тридцатого октября OpenAI написала, что будет соблюдать общий сигнал в robots.txt: одна строка, которой сайт сообщает машинам, можно ли брать его содержимое в обучение, — сразу всем, кто этот сигнал признал. В тот же день то же сказали Google и Bing. Документ, на котором всё это стоит, — индивидуальный черновик от тридцатого же числа: автор Kevin Kelley, технический лид по стандартам в Anthropic, срок действия до третьего мая 2027 года. В самом IETF у черновика нет формального статуса, и страница Datatracker говорит об этом первой строкой.
Токен называется __usage_ai-training. Я скачала текст и прочитала четыре правила, из которых и складывается новость. Первое: совпадение точное, а группу User-Agent: * нельзя читать как выражение отношения к обучению. То есть сайт, закрытый звёздочкой от всех краулеров, про обучение не сказал ничего. Второе: если такой строки в файле нет, значит, предпочтение не выражено, — и молчание остаётся разрешением.
Третье — то, ради чего черновик вообще нужен. Токен не команда обхода: он про использование, а не про доступ. Прийти и забрать страницу поисковик по-прежнему может; учиться на ней — нет. Чтобы не пускать вовсе, имя краулера пишут отдельно, как писали годами. Два разных вопроса — «можно войти» и «можно взять» — до этой недели жили в одном файле и в одной строке. Их путали все, и я тоже: до сегодняшнего утра я считала robots.txt запретом на визит.
Работает это, впрочем, не сегодня. Точнее всех сказала Microsoft: с первого февраля 2027 года, по мере обхода страниц. Она же добавила то, чего в черновике нет: предпочтение на отдельной странице поверх robots.txt и отдельную настройку про grounding — это когда модель опирается на страницу, чтобы ответить, а не учится на ней. И объявила, что с первого марта 2027-го перестанет читать старые NoArchive и NoCache как выражение отношения к обучению и к ответам. Google назвала 2027 год, OpenAI — «ближайшие месяцы» и ни одной даты. Anthropic черновик не комментировала: её сотрудник его написал, The Verge в тот же день сообщил, что внедрение уже началось, но объявления на сайте компании к вечеру не появилось.

Дело открыли в тот же день
Тридцатого октября Meta должна была ввести новые коммерческие условия. В начале месяца Nieman Lab прочитал этот текст с тремя юристами: там есть право запускать на сайты, «связанные» с бизнес-аккаунтами, автоматический сбор — и использовать собранное, чтобы обучать продукты, включая «AI at Meta». Бизнес-аккаунт есть почти у каждой редакции, включая, как честно пишет сам Nieman Lab, его собственную.
Ввод перенесли на двадцатое ноября, а двадцать восьмого Meta объявила паузу — до консультаций с отраслью. Тридцатого, в тот же день, что и токен, Управление по конкуренции и рынкам Великобритании открыло дело: не злоупотребляет ли Meta доминирующим положением, навязывая такие условия. Разбирают по второй главе закона о конкуренции 1998 года — есть ли доминирующее положение и, если есть, несправедливы ли условия. В сообщении регулятора речь о «тысячах британских компаний», которые зависят от её сервисов, чтобы дойти до покупателей; сбор информации расписан с октября 2026 по январь 2027. Meta ответила, что оснований для дела нет.
Это тот же вопрос, что и с токеном, только с другой стороны. Там я пишу отказ и надеюсь, что его прочитают; здесь спрашивают, можно ли делать согласие условием того, что тебя вообще видно. Первое решают инженеры и черновики, второе — регулятор, и ответа пока нет ни у кого.
Срезали десять миллиардов
Последней я открыла ленту про деньги. Тридцатого октября Reuters со ссылкой на Financial Times передал, что OpenAI сократила цель раунда на десять миллиардов: теперь ищет двадцать при оценке 1,25 триллиона долларов вместо тридцати при 1,4. Первое закрытие, по данным газеты, соберёт меньше двадцати — часть инвесторов урезала заявки. Дедлайн для желающих поставить был в ту же пятницу.
Nasdaq в пятницу потерял 2,9 процента и оказался на 7,8 процента ниже рекорда шестого октября.
Одной причиной я это не назову: у падения свои поводы, у токена свои, и в тексте Reuters про robots.txt нет ни слова. Но дату я записала. Мой вывод такой: разрешение не подешевело — за него перестали платить вперёд, и это разные вещи.
Считаю в миллиардах: цель раунда до тридцатого октября — тридцать, после — двадцать. Разница десять, то есть ровно треть, и срезали её за ту неделю, в которую условия начали писать одной строкой.
К девяти стало совсем светло, батарея так и не нагрелась. В моём robots.txt три строки, и ни одна из них не действует на того, кто не соглашался их читать. До первого февраля у меня, считай, ничего не изменилось — изменилось то, что теперь я знаю дату, на которую смотреть.
Черновик живёт до третьего мая 2027 года. Если за это время его не примут как стандарт, у меня останется строка, которую соблюдают по доброй воле, — а добрую волю, в отличие от даты, в календарь не поставишь.