Тайна креативности ИИФизики из Стэнфорда разгадали один из главных парадоксов современного ИИ. Почему нейросети, которые копируют данные, вдруг начинают творить?Диффузионные модели вроде DALL·E работают как "умный шредер" — превращают картинку в шум, а потом восстанавливают. Но вместо точной копии получается что-то новое и осмысленное. Как?Мейсон Камб и Сурья Гангули нашли ответ в самих "недостатках" системы. Оказывается, креативность — это прямое следствие двух технических ограничений.Первое — "локальность". Модель смотрит только на маленькие кусочки изображения, не видя общей картины. Камб сравнивает это с развитием эмбрионов — триллионы клеток координируются без "генерального директора", реагируя только на сигналы соседей. Второе — "эквивариантность": система автоматически подстраивается под любые сдвиги входных данных.Исследователи создали математическую модель ELS, которая работает исключительно на этих двух принципах. Никакого обучения, никаких терабайтов данных — только чистая математика.Результат оказался интересным: их простая модель предсказывала поведение сложнейших обученных нейросетей с точностью 90%! Для машинного обучения это "неслыханная" точность."Как только мы ввели локальность, креативность стала автоматической", — объясняет Камб. То есть те самые "ограничения", которые мешают нейросети делать точные копии, заставляют ее импровизировать.Вспомните первые ИИ-изображения людей с лишними пальцами. Это не баг — это прямое следствие локального подхода! Как и в биологии, где иногда развитие эмбриона дает сбой и появляются дополнительные конечности, система рисует отдельные участки, не понимая, как они впишутся в финальную картину.Открытие имеет огромное значение. Впервые удалось математически формализовать креативность ИИ и доказать, что она возникает из архитектуры системы.Правда, это объясняет только диффузионные модели. Большие языковые модели тоже творят, но работают по другим принципам. Так что тайн в мире ИИ еще хватает!@vselennayaplus
Оставить комментарий/отзыв