Охоте на нейроконтент посвящается

Прочитал сегодня объявление по поводу маркировки текстов, сгенерированных нейронками и почувствовал запах костров средневековья, на которых сжигали ведьм. Каждой эпохе — свои враги. В средние века такими врагами были ведьмы, которых обвиняли в эпидемиях, падеже скота, засухах и других бедствиях.

В двадцатом веке появились новые страшилки. Мётлы и шабаши канули в лету, но искать виноватых стали ещё агрессивнее. Ведьмы сменились «врагами народа», «шпионами» и «неблагонадежными элементами». Достаточно было не так подумать, не туда посмотреть или просто оказаться не в том месте — и костер, пусть и метафорический, уже разгорался. Маккартизм в США, сталинские чистки — разные системы, один и тот же зуд: срочно найти, кого назначить источником всех бед.

Потом на сцену вышли технологии, и тут человечество окончательно вошло во вкус. Атомная энергия ведёт к апокалипсису вместе с большим адронным коллайдером. Компьютеры скоро заменят всех. Интернет разрушит общество. Соцсети отупляют человечество бесконечным скроллом в погоне за эндорфином. Каждое новое изобретение сначала получает демонический статус, а потом незаметно становится скучным повседневным инструментом.

Особенно трогательно, как быстро мы учимся бояться абстракций. В XXI веке враг вообще перестал быть человеком: теперь это алгоритмы, сети, «невидимое влияние». Их удобно обвинять, потому что они не спорят, не защищаются и не ходят на выборы.

Новый антифетиш — нейросети. Ещё вчера забавная игрушка, сегодня — угроза цивилизации. Они «убивают творчество», «размывают истину», «лишат людей работы» и, возможно, заодно испортят погоду. На этом фоне идея маркировать тексты, созданные ИИ, звучит как очень знакомый жест: повесить ярлык, провести черту, обозначить — вот это «наше», а вот это уже что-то подозрительное.

Нейросети действительно меняют правила игры. Но куда интереснее другое: насколько предсказуемо мы на это реагируем. Сначала — тревога, потом — попытка классифицировать, потом — желание ограничить. Старый сценарий, просто теперь без факелов. Хотя, если честно, иногда кажется, что факелы просто стали цифровыми.

Я вот по этому поводу ещё вспомнил историю из своей институтской юности. На втором курсе обучения, а было это в далёком 1992 году, я написал курсовую на компьютере — как раз в конце первого курса устроился работать в редакцию газеты, где вечером можно было поработать для себя. Ну и распечатку сделать.

Распечатал, сдаю преподу, а он отказывается принимать. Ишь, говорит, какой умный! Перепиши от руки, тогда приму. Но это не конец истории. Переписал, сдал. Через несколько дней на кафедре лежит работа с прикреплённым листком: «Женский почерк. Перепиши сам».

Пришлось демонстрировать преподу мои конспекты и написать при нём несколько строк. Тогда он наконец принял курсач.

Ну и возвращаясь к нейротекстам. Самая большая проблема состоит в том, что детекторы не могут достоверно определить, написан текст человеком или нейросетью. За исключением самых очевидных случаев. Я в феврале по этому поводу написал большой пост в личном блоге. Если интересно — прочитайте, ну а для ленивых несколько цитат.

Красивая на первый взгляд концепция: обучим нейросеть отличать машинный текст от человеческого. OpenAI — создатель самой мощной на тот момент текстовой модели — выпустил такой классификатор в январе 2023 года. И через шесть месяцев тихо его закрыл. Точность определения ИИ-текста — 26 %. Подбрасывание монетки дало бы 50 %. Создатели GPT не смогли построить работающий детектор для собственного продукта, причём ложноположительные срабатывания (человеческий текст, обозванный нейрогенерацией) составили 9 %. Это должно было закрыть тему, но бизнес есть бизнес.

Российские детекторы заслуживают отдельного разговора. Хотя бы потому, что русский язык создаёт для них проблемы, о которых их разработчики не распространяются. «Антиплагиат» заявляет точность до 98 %. GigaCheck от Сбера — 94,7 %. Text.ru — 90 %. Красивые цифры. И ни одна не подтверждена независимым рецензируемым исследованием. Ни одна. Когда независимый автор протестировал GigaCheck на десяти собственных текстах, система ошиблась в трёх случаях — 30 % ошибок при заявленных 5,3 %. Шестикратное расхождение с тем, что написано на лендинге. Text.ru систематически помечает профессиональные тексты как нейрогенерацию — копирайтеры жалуются, что переписывание абзаца по десять раз не помогает. Клиенты верят детектору, но не автору.

Есть фундаментальная проблема, которую коммерческие детекторы старательно обходят стороной. Цель обучения языковой модели — генерировать текст, неотличимый от человеческого. Это не баг, не упущение, это буквальная целевая функция. С каждым поколением модели приближаются к цели. Sadasivan et al. (2023) показали теоретически: по мере того как качество генерации приближается к человеческому, различимость между машинным и человеческим текстом стремится к нулю. Не к «маленькому числу» — к нулю. Это информационно-теоретический предел, а не инженерная задача, которую можно решить лучшим алгоритмом или бо́льшим датасетом. JISC (британский консорциум по ИТ в образовании) в 2025 году сформулировал прямо: «Значительных прорывов в технологии детектирования ИИ-текста не произошло» — притом что генеративные модели за это время сменили несколько поколений. Гонку вооружений детекторы проигрывают, и с каждым годом это всё более и более очевидно.

У индустрии детектирования ИИ-текста есть один неоспоримый результат: она исправно генерирует деньги. Студенты платят за «очеловечивание» текстов. Университеты — за подписку на детекторы. Копирайтеры теряют заказы из-за ложных срабатываний и платят за повторные проверки. Рынок сервисов по «обходу детекторов» вырос на 150 % к 2025 году. Все при деле кроме тех, кого ложно обвиняют. При этом ни одно серьёзное рецензируемое исследование не рекомендует использовать автоматические детекторы как доказательство. UCLA отказался внедрять ИИ-модуль Turnitin, сославшись на недостаточную точность. Brandeis University выпустил руководство, предупреждающее преподавателей о ненадёжности детекторов. OpenAI закрыл свой сервис детектирования. Но коммерческие сервисы продолжают писать «98 %» на лендингах, а заказчики и деканаты продолжают в это верить, потому что очень хочется простого ответа на сложный вопрос.

У меня пара рассказов-антиутопий есть ровно по этой теме — Нулевая перплексия и 96,4 процента.

Я убеждён: если текст написан хорошо, нет разницы, сгенерирован он нейронкой или написан человеком. Нет смысла возвращаться и заставлять бухгалтеров считать на счётах или столбиком на листочке. В 1С или в Excel намного удобнее.

Плохо написанный текст просто не будут читать. Ручное модерирование текстов, оказавшихся под подозрением — очень тревожная затея. Вон, на Литрес произведения Пушкина и Достоевского пометили как тексты про запрещённые вещества.

Это то светлое будущее, в которое мы стремимся попасть? Где все тексты пишутся от руки гусиным пером на пергаменте, плацы подметают ломами, а полы в казармах моют зубными щётками. Чтобы не быстро и удобно, а задолбаться. Надеюсь, что нет.