Генеративный тупик: может ли ИИ обучаться на данных других ИИ?

Пятикратно переваренный... нейрослоп

Мы как-то незаметно проскочили момент, когда сеть из живого хаоса человеческих мыслей превратилась в огромный перерабатывающий завод, где машины кормят машин. Есть в этом что-то глубоко противоестественное, почти биологическое. Представьте себе библиотеку, где книги пишут не люди, а автоматические корректоры, которые в качестве исходников используют труды других таких же корректоров. На выходе мы получаем не знания, а дистиллированную выжимку, бездумный шлак, который не содержит изначального смысла. Исследователи из Оксфорда и Кембриджа в 2024 году выкатили в Nature статью с довольно пугающим диагнозом: "коллапс модели". Если ИИ будет учиться на данных другого ИИ, он не просто глупеет, он схлопывается в одну точку, в бесконечное повторение одного и того же бессвязного бреда.

Это не просто "незначительная проблема", это системная деградация, напоминающая вырождение при инцесте. Когда нейросеть (скажем, ChatGPT) начинает поглощать контент, который уже на 90% состоит из нейрослопа (а именно такой прогноз дает Европол на 2026 год), она теряет связь с реальностью. Сначала исчезают нюансы, те самые "авторские шероховатости" — редкие идиомы, странные мнения, специфические научные термины, которые не встречаются на каждом шагу. Модель становится усредненной, как пресный бульон. А потом начинается настоящий цирк с конями, точнее, с зайцами.

Самый классический пример: в одном из экспериментов модель OPT-125m мучили рекурсивным обучением. В нулевом поколении она бодро рассуждала о готической архитектуре, но уже к девятому итерационному циклу ее мозг окончательно размяк. Вместо соборов она начала выдавать бесконечные списки... чернохвостых, белохвостых и синехвостых зайцев. Ну всё, приехали. Вот это и тот самый есть финал: когда машина, лишенная притока живого человеческого несовершенства и глубины, начинает зацикливаться на собственных галлюцинациях.

Капля слопа, найденного на просторах интернетов. Интресено, почему именно крокодилы...?

Жизнь — не игра, кал — не еда

Любая обучающая выборка конечна, и в ней всегда есть "ошибки аппроксимации". Если вы обучаете одну нейронку на выхлопе другой, эти ошибки не просто складываются, они множатся. Модель пытается упростить мир до набора статистических паттернов (шаблонов), и в этой погоне за вероятностью она выбрасывает всё редкое и необычное. Ученые называют это ростом "дивергенции Кульбака-Лейблена", по-русски: дрейф в сторону полной бессмыслицы.

Самое паршивое, что на первых порах этот процесс почти незаметен. Модель может даже казаться более уверенной, ее ответы — более гладкими. Но это уверенность дурака, который выучил три фразы и повторяет их на любой вопрос. В медицине или праве такая уверенность может стоить жизни. Представьте ИИ-доктора, ставящего диагнозы, который забыл про редкое заболевание просто потому, что в данных его предшественников про это было написано слишком мало. И вот он уже лечит пациента от простуды, когда у него уже рак терминальной стадии. Это не какая-то гипотеза или выдумка, нет, это реальность. ИИ-контент уже забивает поисковики, создавая иллюзию знания там, где осталось одно повторение одной и той же глупости; всякие видеохостинги и соц. сети уже под завязку завалены идиотским нейро-мусором, который не даёт рельно интересным авторам пробиться наверх. Как так-то?

Иногда слышно возражение: а как же AlphaGo? Ведь она училась, играя сама с собой, и стала богом в мире Го (Китайские шахматы). Почему там самообучение ведет к триумфу, а в текстах — к зайцам с синими хвостами?

Честно говоря, не совсем понимаю, в чём смысл игры, если в неё играют роботы... Ну да ладно.

Ответ на самом деле невероятно прост. У игры Го есть жесткие правила. Есть доска, есть камни, есть понятный результат — ты либо выиграл, либо проиграл. Это абсолютная истина, на которую модель может тренировать свои алгоритмы до бесконечности. В языке такой истины нет. Кто скажет модели, что текст о синехвостых зайцах — это чушь? Кто? Другая модель? Но она сама находится в той же ловушке. Без живого человека, который вносит в систему хаос, эмоции и противоречивый опыт, ИИ пожирает собственые отходы и пытается их переварить в тысячный раз. Как метко заметил Иван Оселедец из AIRI, языковой модели, какой бы огромной она ни была, недостаточно для моделирования поведения живого существа. Нам нужно заземление в реальности, а не бесконечное отражение в зеркалах.

Колониальные нейро-империи; научная утопия

Мы сейчас находимся в эпохе, когда данные, созданные людьми до 2022 года, становятся на вес золота. Это последний чистый источник, не отравленный продуктами жизнедеятельности алгоритмов. Компании вроде OpenAI или Google уже почти вычерпали весь качественный интернет. Начинается великая засуха. И в этой пустыне они вынуждены использовать то, что создали другие нейросети, надеясь, что пронесёт.
P.S. Не пронесёт. И слава богу — может начнут придумывать что-то новое, а не натаскивать ИИ на бенчмарки.

Засорение сети идет стахановскими темпами. По данным Graphite, в конце 2024 года количество ИИ-статей в интернете на какое-то время даже превысило количество человеческих. И хотя поисковики пытаются их фильтровать, поганая зараза уже в крови. Модели следующего поколения будут неизбежно обучаться на этом суррогате. И тут возникает вопрос: сможем ли мы отличить зёрна от плевел? Водяные знаки, криптографические подписи вроде C2PA — это смешные попытки оттянуть неизбежное. Технологии удаления меток развиваются так же быстро, как и сами метки. Конечно, ученые не сидят сложа руки. На NeurIPS 2025 предложили красивую идею — механизм самопроверки. Суть в том, что модель должна использовать какую-то старую, эталонную версию себя (обученную на чисто человеческих данных), чтобы отсеивать свои же галлюцинации. Математика говорит, что если фильтр достаточно жесткий, коллапса можно избежать. Но где гарантия, что сам эталон не устареет и не станет тормозом для развития?

Благо, анекдоты нормальные нейросети писать ещё не научились. +1 в пользу людей

Ян Лекун вообще считает, что нынешние текстовые модели — это тупик. Он мечтает о мировых моделях (world models), которые будут учиться не на буквах из интернета, а на видео, наблюдая за физическим миром. Ребенок ведь не читает миллион книг, чтобы понять, как падает чашка. Он просто видит это. Если ИИ научится понимать физику реальности, никакой синтетический мусор ему не страшен. Но пока это лишь красивые слова, а мы продолжаем тонуть в потоках ИИ-помоев. Вся эта ситуация — отличная пощечина нашему техно-оптимизму. Мы думали, что изобрели вечный двигатель интеллекта, а получили эхо-комнату. Если мы не найдем способ сохранить чистоту данных или не перейдем к принципиально иным архитектурам, нас ждет эпоха великого упрощения. ИИ станет "средним", предсказуемым и невероятно скучным.

Может быть, это и к лучшему? Человеческое творчество снова вырастет в цене просто потому, что оно будет единственным источником новизны в этом мире одинакового нейрослопа. Качество окончательно победит количество, потому что количество сгенерённого нейронкой контента станет бесконечным и бесплатным, а значит — бесполезным. Мы стоим на пороге момента, когда за чистый, не тронутый LLM-кой текст будет дороже нефти. Самое смешное, что в этом новом дивном мире самым ценным навыком станет умение писать с ошибками, сомневаться и говорить то, что думаешь — в общем, делать всё то, от чего машину стараются всячески отучить.