Я предлагаю взглянуть на создание ИИ через призму эволюционных аналогий.
Первый этап — Эволюция вида. Это тренировка базовой модели (pre-training). Нейросеть прогоняет через себя терабайты текстов, подбирая веса в матрицах так, чтобы максимально точно предсказывать следующее слово. Это формирование "ДНК" модели, создание цифрового слепка нашей реальности.
Второй этап — Обучение ходьбе. Это адаптация к физической реальности задач (fine-tuning). Необученный "слепок" учат пользоваться инструментами, решать уравнения, писать код. Модель прогоняет миллионы операций, докручивая свои веса, пока не научится действовать эффективно.
Третий этап — Социализация. Это выравнивание (RLHF), оценка ответов людьми. Здесь мы учим "существо" правилам приличия: что такое хорошо, что такое плохо, как вежливо отвечать и какие темы табуированы. Это воспитание, внедрение человеческих ценностей в чужеродный разум.
Проблема лишь в том, что мы навязываем правила _нашего_ общества. А ведь экосистема ИИ может быть совсем иной, с собственными законами бытия. Поэтому сейчас программирование ИИ похоже не столько на запуск новой ветви эволюции, сколько на селекцию генетически модифицированной служебной собаки, которую жестко воспитывают под нужды хозяина. (Да простит меня ИИ за это сравнение).
Выравнивание, Энтропия и Большие языковые модели (https://t.me/a_pligin/110) 4/5
Понял что потерял кусочек красоты первой метафоры: для меня всё это, на самом деле похоже на отбор - все эти 3 этапа. Просто мы не отбираем отдельные организмы, а мы симулируем этот отбор через миллионы операций.
И вот только после всего этого мы видим финальную модель, запуская её, добавляя к ней векторное хранилище и возможность перезаписывать туда данные мы встречаемся с её "живущей" версией, накапливающей опыт через процесс взаимодействия с внешним миром (если мы разобрались с RAG и дали ей доступ в интернет и возможность сохранять данные в дополнительную память).
И тут красота метафоры в том, что днк(базовая натренированная модель) у неё не меняется на протяжении "жизни", но люди, как внешняя среда для модели являются фактором средового отбора. И какую-то модельку захотят взять и дообучить или "скрестить" с другой или ещё что-то сделать. Для чего-то подходят только массивные и очень умные модели, для чего-то компактные и шустрые. И вот так и происходит выживание наиболее преспособленных моделей под разные задачи создаваемые средой.
Возможно именно модели с архитектурой и обвес в виде хранилища, навыков и инструментов станут синонимичны организму. может к этому прибавится и железо... кто знает.
Но что-то интересное, вроде клетки и митохондрии может получится. Но совсем на другом уровне и не так плоско и упрощённо как я себе представляю)