Заседание № 3 Семинара

Дата и время 3-го заседания Семинара: 20   мая  2024 г. в 17:00.

Тема доклада: «Эволюция идей машинного обучения от Фрэнсиса Бэкона до больших языковых моделей».

Докладчик: Воронцов Константин Вячеславович, Член Научного совета РАИИ, профессор РАН, д.ф.-м.н., зав. каф. «Математические методы прогнозирования» ВМК МГУ, зав. лаб. «Машинное обучение и семантический анализ» Института искусственного интеллекта МГУ, зав. каф. «Машинного обучения и цифровой гуманитаристики» МФТИ, проф. каф. «Интеллектуальные системы» МФТИ, г.н.с. отдела «Интеллектуальные системы» Вычислительного центра ФИЦ ИУ РАН.

Какие идеи можно считать главными в машинном обучении; когда, для чего и на основании чего они возникали? Одни идеи прошли проверку временем и нашли применение в сотнях технологий, другие так и остались нишевыми. Стать дата-саентистом и впитать в себя научный метод и культуру анализа данных можно только на практике. Тем не менее, есть десяток идей, которые проходят через всё машинное обучение. Они относятся как к теории, так и к практике. Лучше узнать о них сразу, чем догадываться потом, на собственных ошибках, что именно эти вещи были важными. Первая: постановка задачи начинается с её ДНК (дано-найти-критерий), и любая недоговорённость на этом этапе может впоследствии стоить многих человеко-месяцев. Вторая: чистота, полнота и репрезентативность данных являются залогом успеха; при плохих данных не помогут даже самые продвинутые методы. Третья: почти всё машинное обучение сводится к решению оптимизационных задач в пространстве параметров модели; важно уметь ставить такие задачи, а решать их можно готовыми численными методами. Четвёртая: машинное обучение — это математика плюс эвристика плюс программная реализация; умение придумывать хорошие эвристики сродни изобретательской деятельности на грани искусства. Пятая: понимание, почему метод не работает и как его улучшить, невозможно без детального анализа ошибок, придумывания и разглядывания десятков и сотен графиков. Графическая визуализация — это основной инструментарий для отладки моделей, тогда как навыки трассировки кода в дебаггере едва ли чем-то помогут. Шестая: о том, что такое переобучение и как с ним бороться. Седьмая: глубокие нейронные сети хорошо работают не потому, что они похожи на мозг, а потому, что основная масса этой сети занимается обучаемой векторизацией данных. Если данные исходно векторные и не являются сложно структурированными, то глубокая сеть вам, скорее всего, не нужна. Восьмая: идея «прокрутить этот фарш обратно», чтобы породить из вектора сложно структурированный объект, привела к буму генеративных моделей, включая синтез и распознавание речи, машинный перевод, генерацию изображений, большие языковые модели, и много других интересных вещей. Девятая: комбинирование чего угодно — задач, подходов, моделей, критериев, регуляризаторов, решателей — остаётся вечным драйвером развития в машинном обучении; область затухает и деградирует, как только перестаёт порождать гибкие модульные технологии путём комбинирования. Десятая: обучение с подкреплением держится особняком и требует сперва знакомства с многорукими бандитами, для которых мир прост и не требует никакого моделирования; затем приходят актёры вместе с критиками и объясняют вам, что моделировать надо всё — и окружающий мир, и его отношение к вам, и своё собственное поведение; только так роботы и смогут выжить, хоть чему-то научившись. Что-то из этой «картины мира» будет рассказано в докладе.

Очное участие: заседание Семинара состоится в Главном цифровом пространстве РЭУ им. Г.В. Плеханова по адресу:

Москва, Стремянный переулок, д. 28, корп. 1;

проезд: метро «Серпуховская», 1-й вагон из центра, выход №2 на Стремянный переулок к РЭУ им. Г.В. Плеханова.

Желающие принять очное участие в заседании Семинара должны прислать запрос на получение пропуска на электронную почту «Центра перспективных исследований в искусственном интеллекте» РЭУ им. Г.В. Плеханова до 11:00 20 мая 2024 г.: ai-center@rea.ru

Важно: в запросе на очное участие в заседании Семинара следует указать Фамилию Имя Отчество, паспортные данные.

Дистанционное участие: Интернет-трансляция заседания Семинара начнется в 16:50 20  мая 2024 г. по ссылке:

https://youtube.com/live/1u2ELWvohiw?feature=share

QR-код для подключения:

Информация о заседаниях Семинара размещается на сайте РАИИ: https://raai.org