Уважаемые коллеги!
2 апреля в 16:00 состоится заседание совместного семинара Российской ассоциации искусственного интеллекта и ФИЦ ИУ РАН «Проблемы искусственного интеллекта».
На заседании семинара будет представлен доклад на тему: «Сходимость градиентных методов в условиях относительной неточности».
Докладчик: доктор физико-математических наук, профессор Александр Владимирович Гасников (ректор университета Иннополис, заведующий кафедрой Математических основ управления МФТИ, ведущий научный сотрудник отдела Математических основ искусственного интеллекта Математического института им. В.А. Стеклова РАН).
Аннотация доклада
Концепция относительной неточности была введена еще в 60-ке годы прошлого века в работах Б.Т. Поляка. Реальная машинная арифметика как раз и приводит именно к такой концепции. Собственно, важный вопрос, ответ на который был получен еще Б.Т. Поляком в первых работах на эту тему: как будет сходиться градиентный метод в условиях относительной неточности в градиенте? Ответ оказался очень оптимистичным -- если масштаб относительной неточности строго меньше 1 (то есть шум хотя и портит направление градиента, но не может его поменять на противоположное), то сходимость не меняется (для сильно выпуклых задач, остается линейная сходимость с немного более медленной скоростью).
Однако обычные градиентные методы не оптимальны! Оптимальными методами являются ускоренные методы. И для них ответ на вопрос до сих пор остается открытым. В докладе мы поговорим о прогрессе достигнутом в последнее время в получении ответа на вопрос: как ускоренные методы сходятся в условиях относительно неточного градиента.
В современных приложениях оптимизационных алгоритмов в обучении больших генеративных моделей часто используются распределенные варианты градиентных методов. Узким местом становится коммуникация. С целью сокращения времени коммуникации используют различные компрессии и квантизации. На практике часто наиболее эффективны смещенные компрессии градиентов. Математически это приводит как раз к относительной неточности в градиенте.
Литература
https://arxiv.org/pdf/2503.06628
Заседание состоится в смешанном формате в конференц-зале ФИЦ ИУ РАН по адресу: г. Москва, ул. Вавилова, дом 44, корп. 2, пом. 124.
По вопросам очного посещения семинара лицами, не работающими в ФИЦ ИУ РАН, и иным вопросам, связанным с работой семинара, просьба обращаться к ученому секретарю семинара д.ф.-м.н. Виноградову Дмитрию Вячеславовичу по эл. почте raai_seminar@mail.ru до 12:00 1 апреля.
Важно: В запросе укажите, пожалуйста, свои паспортные данные (в формате: Фамилия Имя Отчество, паспорт № выдан (когда, кем), код подразделения). Это требование формы заявки на пропуск в ФИЦ ИУ РАН.
Интернет-трансляция заседания семинара будет доступна по ссылке:
https://rutube.ru/channel/31232849/
Трансляция начнется в 15:50 2 апреля. Будет предоставлена возможность задавать вопросы через чат Rutube. Ученый секретарь семинара обязуется зачитать вопросы, поступившие в чате.
Желающие получить инструкцию по подключению могут обратиться к ученому секретарю семинара д.ф.-м.н. Виноградову Дмитрию Вячеславовичу по эл. почте raai_seminar@mail.ru до 14:00 2 апреля.
