Differences

This shows you the differences between two versions of the page.

--- mlrep [2021/11/06 12:46] – user
+++ mlrep [2026/08/29 07:59] (current) – external edit 127.0.0.1
@@ Line 1: / Line 1: @@
+~~META:
+title = Доверие к ИИ. Круглый стол. Как проводить эксперименты в науках о данных?
+~~
+Как проводить эксперименты в науках о данных?
-<fs xx-large>Как проводить эксперименты в науках о данных? </fs> \\ <fs x-large>2-ой онлайн-семинар по актуальным проблемам.\\ 1-2 декабря 2021 г. </fs>
+-ой онлайн-семинар по актуальным проблемам.
-----
+-2 декабря 2021 г.
 Воспроизводимость результатов и открытость данных — одна из базовых проблем экспериментов в data science. Присоединяйтесь к нам в поиске способов ее решения!
@@ Line 8: / Line 11: @@
 В программе — приглашенные доклады ведущих отраслевых и академических экспертов, а также студенческая секция. Мероприятие проводится в рамках 64-ой конференции МФТИ.
-**Содержание**
+[[mlrep|1 декабря -- 18:30]]
-  * [[https://mlrep-atp-mipt.timepad.ru/event/1817677/|Регистрация]]
+[[mlrep|2 декабря -- 17:00]]
-  * [[#О проблеме воспроизводимости|О проблеме воспроизводимости]]
-  * [[#Темы семинара|Программа семинара]]
-  * [[#Доверие к ИИ: открытый код, данные, стандарты. Круглый стол|Круглый стол: Доверие к ИИ]]
-  * [[#Помощь в организации онлайн семинара|Организаторы]]
+[[mlrep|2 декабря -- 18:00 -- Круглый стол: Доверие к ИИ]]
-----
+[[mlrep|О проблеме воспроизводимости]]
-**Когда** - **1-2 декабря. Онлайн.**
+[[mlrep|Организаторы]]
-<html><!-- Код кнопки, открывающей виджет регистрации на Timepad --><a href="#" id="timepad_twf_register_1817677" style="font-weight: bold; display: inline !important; text-decoration: !important;"><span style="!important;">Регистрация</span></a></html> - https://mlrep-atp-mipt.timepad.ru/event/1817677/
+[[mlrep|Регистрация]] - [[https://mlrep-atp-mipt.timepad.ru/event/1817677/|https://mlrep-atp-mipt.timepad.ru/event/1817677/]]
-<html><script async="async" defer="defer" charset="UTF-8" data-timepad-customized="133728" data-timepad-widget-v2="event_register" src="https://timepad.ru/js/tpwf/loader/min/loader.js">
-(function(){
-return {"event" : {"id" : 1817677}, "hidePreloading" : true, "display" : "popup", "popup" : {"triggerSelector" : "#timepad_twf_register_1817677"}
-      }})
-();</script></html>
-**Сайт конференции** — https://conf.mipt.ru
+**Сайт конференции** — [[https://conf.mipt.ru/|https://conf.mipt.ru]]
-**Контакты по вопросам** — [[http://t.me/mldev_betatest|Telegram]] или mailto:info [at] mlrep.org
+==== 1 декабря -- 18:30 ====
-Страница прошедшего [[mlrep-2020|онлайн семинара в 2020 г.]]
+Оптимизация “черного ящика” с использованием локальных генеративных суррогатных моделей
-Видео [[https://www.youtube.com/playlist?list=PLODTKWanrueo8GWKVLHJJZTko4yJxoiR_|докладов семинара 2020 г.]]
+**Сергей Широбоков**
+Imperial College London
-===== О проблеме воспроизводимости =====
+{{index|Слайды}}
-Онлайн семинар посвящен актуальной проблеме открытости данных и [[https://www.science.org/doi/10.1126/science.359.6377.725|воспроизводимости результатов исследований]] в машинном обучении, анализе больших данных, биоинформатике и в науках о данных в целом.
+В таких областях, как физика и инженерия, многие процессы моделируются с помощью недифференцируемых симуляторов, по которым оценка правдобоподных исходных параметров оказывается невозможной напрямую.
-Принципы открытости данных [[https://www.go-fair.org/fair-principles/FAIR|FAIR]] предполагают указание на источник, цитирование и получение доступа к данным исследований для повторного использования в новых исследованиях.
+Оптимизация таких прямых моделей оказывается сложной задачей, когда симулятор стохастический. Для решения таких задач мы предлагаем использовать глубокие генеративные модели для итеративной аппроксимации симулятора в локальных окрестностях пространства параметров. Мы покажем, что эти локальные суррогаты могут быть использованы для аппроксимации градиента.
-Корректность и повторяемость эксперимента и воспроизводимость представленных результатов — одна из ключевых характеристик хорошей статьи в науках о данных. Более того, растут ожидания от научных исследований и уже требуется [[https://habr.com/ru/post/562262/|обеспечивать воспроизводимость экспериментов при публикации]].
+В случаях, когда зависимость симулятора от параметров ограничена многообразием низкой размерности, наш метод достигает минимумов быстрее, чем базовые методы, включая байесовскую оптимизацию, численную оптимизацию и подходы, использующие оценки градиента функции потерь.
-Ведущие публикации помимо самой статьи все чаще включают наборы данных, исходный код и подробные описания условий проведенного эксперимента. Это позволяет другим исследователям подтвердить полученные результаты и использовать их в своих работах, воспроизводить и сравнивать с другими подходами.
+Применение методов машинного обучения на примере анализа структур РНК
-Практика таких, расширенных, публикаций способствует цитируемости и полезности результатов исследований.
+**Евгений Баулин**
+МФТИ
-В индустрии также остро стоит проблема воспроизведения и повторения результатов экспериментов, особенно, когда речь идет о алгоритмах и моделях, существенно влияющих на деятельность компаний. Для решения целого круга задач в сфере [[https://aibusiness.com/document.asp?doc_id=760484|MLOps]] создаются инструменты по автоматизации управления жизненным циклом моделей, отслеживания изменений в данных, наблюдению за интеллектуальными системами.
+{{index|Слайды}}
-Вопросы качества результатов, повторяемости экспериментов, достоверности исследований становятся ключевыми как для научных исследований, так и для компаний.
+Экспериментально определение пространственных структур биополимеров остается дорогой и сложной техникой, поэтому весьма актуальна задача предсказания данных структур по данным высокопроизводительного секвенирования и косвенных химических экспериментов.
-[Hutson] [[https://www.science.org/doi/10.1126/science.359.6377.725|Hutson M. Artificial intelligence faces reproducibility crisis. Science. 2018. ]]
+В данном докладе я опишу, как мы пытались предсказывать структурные мотивы некодирующих РНК по данным о последовательности нуклеотидов и комлпементарным Уотсон-Криковским сппариваниям. Разберем, что же у нас получилось, на какие грабли можно наступить в процессе “разведывательных” экспериментов и при подготовке публикации, и как всего этого можно избежать.
-[MLOps] [[https://aibusiness.com/document.asp?doc_id=760484|Why MLOps (and not just ML) is your Business’ New Competitive Frontier]]
+Что такое доверенный ИИ?
-[FAIR] [[https://www.go-fair.org/fair-principles/|FAIR Principles]]
+**Антон Хританков**
+MLRep, МФТИ
-[REPRO] [[https://habr.com/ru/post/562262/|Чего хотят конференции: воспроизводимость экспериментов в data science?]]
+{{index|Слайды}}
-===== Темы семинара =====
+Какие системы машинного обучения можно считать доверенными (trustworthy)? Сейчас много разговоров о том, какие требования должны предъявляться к системам, имеющим влияние на широкие группы пользователей. Что такое надежность, безопасность, непредвзятость и другие характеристики качества, предъявляемые к таким системам.
-  * reproducible research, MLops и проблемы воспроизводимости экспериментов
+Расскажу о паре примеров, когда использование недосточно доверенных систем приводило к совершенно нежелательным и заранеее не понятным последствиям. Обсудим, что нужно делать для создания доверенных систем машинного обучения и при чем здесь воспроизводимость экспериментов?
-  * анализ и автоматический выбор моделей как часть эксперимента
-  * полезность публикации кода, данных и эксперимента в научной сфере, проблемы доступности данных
-  * построение пайплайнов обучения моделей в компании, хранение и управление конфигурацией данных
-  * автоматизация проведения экспериментов на учебных курса
-**Программа семинара уточняется**
+==== 1 декабря -- 20:00 ====
-  - приглашенные доклады по проведению экспериментов в ML
+Секционные доклады 64-й конференции МФТИ
-  - секционные доклады конференции МФТИ (conf.mipt.ru) секции [[https://conf.mipt.ru/view/conference/view_division/2702321|Проблем проведения экспериментов]]
-  - круглый стол по открытым данным и воспроизводимым исследованиям в науках о данных
+Секция проблем повторяемости и достоверности результатов в науках о данных
-===== Приглашенные доклады =====
+Секция алгоритмов и технологий программирования
-^Время^Докладчик^Название и аннотация^
+Перечень докладов будет уточнен позднее
-|  | **Вадим Стрижов** \\ \\ МФТИ | **Постановка задач и оценка результатов в научных исследованиях**  \\ \\ Аннотация будет добавлена позднее |
-|  | **Андрей Устюжанин** \\ \\ НИУ ВШЭ, МФТИ, CERN | **Тема доклада уточняется** \\ \\ Аннотация будет добавлена позднее |
-|  | **Антон Хританков** \\ \\ MLRep, МФТИ | **Воспроизводимые эксперименты в MLDev на Google Colab** \\ \\ Аннотация будет добавлена позднее |
-|  | **Евгений Баулин** \\ \\ МФТИ | **Применение методов машинного обучения на примере анализу структур РНК** \\ \\ Экспериментально определение пространственных структур биополимеров остается дорогой и сложной техникой, поэтому весьма актуальна задача предсказания данных структур по данным высокопроизводительного секвенирования и косвенных химических экспериментов. В данном докладе я опишу, как мы пытались предсказывать структурные мотивы некодирующих РНК по данным о последовательности нуклеотидов и комлпементарным Уотсон-Криковским сппариваниям. Разберем, что же у нас получилось, на какие грабли можно наступить в процессе "разведывательных" экспериментов и при подготовке публикации, и как всего этого можно избежать. |
+==== 2 декабря -- 17:00 ====
+Риски и результаты научных исследований
-===== Доверие к ИИ: открытый код, данные, стандарты. Круглый стол =====
+**Вадим Стрижов**
+МФТИ
-{{ :mlrep:announcement.jpg?nolink&400|}}
+{{index|Слайды}}
-\\
-Как создать интеллектуальные системы достойными доверия? \\ \\ Они уже ставят диагнозы в поликлиниках Москвы, оценивают кредитную историю  банках, управляют поставками товаров в магазины и топлива на электростанции, проводят собеседования при приеме на работу. \\ \\ Узнайте, как последние технологии воспроизводимых и открытых исследований и пристальное внимание ведущих ученых помогут машинному интеллекту оправдать ожидания.
-\\ \\
-<fs x-large> Темы круглого стола </fs>
+Плодотворное завершение научного исследования зависит от того, насколько ясно видны его результаты в момент планирования. Завершение исследования привязано к точным срокам, потому что его результат ожидается научным сообществом на защитах бакалаврских, магистерских и кандидатских диссертаций, на конференциях, на презентациях отчетов.
-----
-  * доверие к исследованиям в области ИИ и ответственность исследователей
+Научное сообщество оценивает его согласно общепринятым критериям. Эти критерии невозможно игнорировать при планировании. В докладе мы обсудим риски научных исследований и критерии качества результатов.
-  * постановка задачи и воспроизводимость результатов
-  * открытые данные (FAIR), открытый код, открытые эксперименты
-  * инструменты автоматизации научных исследований
+Co-research: методология академических и научных исследований, основанных на данных (data-driven research)
-**Модератор** - Антон Хританков, к.ф.-м.н., руководитель проекта [[https://mlrep.gitlab.io/mldev | MLDev]], МФТИ.
+**Андрей Устюжанин**
-\\ \\
+НИУ ВШЭ, МФТИ, CERN
-<fs x-large> Приглашенные эксперты </fs>
-----
-{{:mlrep:burtsev.png?nolink&120 |}} **Михаил Бурцев, к.ф.-м.н.** \\ \\ зав. лаб. нейронных систем и глубокого обучения МФТИ, https://deeppavlov.ai \\ \\ Лидер проекта с открытым кодом в сфере разговорного искусственного интеллекта – «DeepPavlov». В период 2017-2020 гг. руководил проектом НТИ «НейроИнтеллект iPavlov». Научный руководитель команды DREAM, участвующей в конкурсе Alexa Prize Socialbot Grand Challenge 3 и 4 от Amazon. Главный организатор Международных соревнований по диалоговым системам на конференции NeurIPS (Conversational Intelligence Challenge 1 и 2).
+{{index|Слайды}}
-----
+Науки о данных и технологии машинного обучения представляют ключевое направление развития современных образовательных программ. С одной стороны, навыки работы с данными помогают серьезно усилить эффективность прикладных проектов, и являются привлекательным направлением с точки зрения карьерного роста. С другой стороны, без серьезной практической составляющей изучение работы методов основанных на данных не дает возможность погрузиться в тонкости и понимание ограничений таких подходов.
-{{:mlrep:strijov.png?nolink&120 |}} **Вадим Стрижов, д.ф.-м.н. ** \\ \\ проф. Кафедры интеллектуальных систем МФТИ, https://m1p.org \\ \\ Области научных интересов - порождение и байесовский выбор моделей машинного обучения, функциональный и алгебраический подход к анализу данных. Читает курсы “Моя первая научная статья”, “Математические методы прогнозирования”, администратор сайта о машинном обучении www.machinelearning.ru. Лауреат научной премии имени Ильи Сегаловича в 2019 году в номинации “Научные руководители”. \\ \\
+Лаборатория НИУ ВШЭ Lambda тесно сотрудничает с несколькими международными исследовательскими коллаборациями, такими как LHCb, SHiP, OPERA, MPD@NICA. В своем докладе я расскажу о принципах и методологии, которой руководствуются сотрудники лаборатории, объединяя учебные и исследовательские задачи в рамках практических проектов. Немаловажным фактором является использование современных инструментов поддержки совместной работы, которые позволяют в игровой форме провести студентов через цепочку ключевых шагов исследования, понять принципы оценки границ применимости методов машинного обучения и оценить вклад каждого участника проекта.
-----
+==== 2 декабря -- 18:00 ====
-{{:mlrep:ustuyzhanin.png?nolink&120 |}} **Андрей Устюжанин, к.ф.-м.н.** \\ \\ зав. лаб. анализа больших данных НИУ ВШЭ, https://cs.hse.ru/lambda/  \\ \\ Андрей руководит сотрудничеством ШАД Яндекса с CERN. Его лаборатория специализируется на поиске и развитии новых подходов к научным задачам за счет использования потенциала машинного интеллекта. \\
+Доверие к ИИ: открытый код, данные, стандарты
-----
+Темы круглого стола:
-{{:mlrep:fursin.jpg?nolink&120 |}} **Григорий Фурсин, Ph.D.** \\ \\ VP of MLOps at OctoML.ai, https://octoml.ai \\ \\ Основатель платформы cKnowledge.io для воспроизведения исследовательских работ по машинному обучению и упрощения развертывания эффективных систем искусственного интеллекта в производстве. Один из основателей MLCommons.org и рабочей группы ACM по воспроизводимым исследованиям.
+– доверие к исследованиям в области ИИ и ответственность исследователей
-\\ \\ \\
+– постановка задач и воспроизводимость результатов в науках о данных
+– открытые данные (FAIR), открытый код, открытые эксперименты
+– инструменты автоматизации научных исследований
+{mlrep:burtsev.png?w=120&tok=323550} **Михаил Бурцев, к.ф.-м.н.**
+зав. лаб. нейронных систем и глубокого обучения МФТИ, [[https://deeppavlov.ai/|https://deeppavlov.ai]]
+Лидер проекта с открытым кодом в сфере разговорного искусственного интеллекта – «DeepPavlov». В период 2017-2020 гг. руководил проектом НТИ «НейроИнтеллект iPavlov». Научный руководитель команды DREAM, участвующей в конкурсе Alexa Prize Socialbot Grand Challenge 3 и 4 от Amazon. Главный организатор Международных соревнований по диалоговым системам на конференции NeurIPS (Conversational Intelligence Challenge 1 и 2).
+{mlrep:strijov.png?w=120&tok=3dfc67} **Вадим Стрижов, д.ф.-м.н. **
+проф. Кафедры интеллектуальных систем МФТИ, [[https://m1p.org/|https://m1p.org]]
+Области научных интересов - порождение и байесовский выбор моделей машинного обучения, функциональный и алгебраический подход к анализу данных. Читает курсы “Моя первая научная статья”, “Математические методы прогнозирования”, администратор сайта о машинном обучении [[http://www.machinelearning.ru/|www.machinelearning.ru]]. Лауреат научной премии имени Ильи Сегаловича в 2019 году в номинации “Научные руководители”.
+{mlrep:ustuyzhanin.png?w=120&tok=41a056} **Андрей Устюжанин, к.ф.-м.н.**
+зав. лаб. анализа больших данных НИУ ВШЭ, [[https://cs.hse.ru/lambda/|https://cs.hse.ru/lambda/]]
+Андрей руководит сотрудничеством ШАД Яндекса с CERN. Его лаборатория специализируется на поиске и развитии новых подходов к научным задачам за счет использования потенциала машинного интеллекта.
+{mlrep:musin.jpg?w=120&tok=1877ce} **Шамиль Мусин**
+Рук. департамента проектов ИИ, Forecsys, [[https://forecsys.ru/|https://forecsys.ru]]
+Руководит коммерческими проектами в области анализа данных и машинного обучения. Среди реализованных проектов система прогнозирования дефолтов корпоративных клиентов банка, индикатор наличия рабочего напряжения с использованием интеллектуального анализа данных, система прогнозирования балансов банков.
-===== Помощь в организации онлайн семинара ======
+Модератор дискуссии - **Антон Хританков, к.ф.-м.н.**, руководитель проекта [[https://mlrep.gitlab.io/mldev|MLDev]].
-<html>
+==== О проблеме воспроизводимости ====
-<p>
-<a style="margin: 25px" href="http://fpmi.tilda.ws/algo-tech/"><img src="https://gitlab.com/mlrep/mldev/-/wikis/images/atp-mipt.jpg" alt="ATP MIPT" height="80px"></a>
-<a style="margin: 25px" href="http://m1p.org"><img src="https://gitlab.com/mlrep/mldev/-/wikis/images/m1p_logo.png" alt="My First Scientific Paper" height="80px"></a>
-<a style="margin: 25px" href="https://conf.mipt.ru"><img src="/_media/conf-mipt-logo.png" alt="64th MIPT Conference" height="80px"/></a>
-<a style="margin: 25px" href="http://cs.hse.ru/lambda"><img src="https://cs.hse.ru/mirror/pubs/share/368652417" alt="Lambda HSE" height="80px"></a>
-</p>
-</html>
+Онлайн семинар посвящен актуальной проблеме открытости данных и [[https://www.science.org/doi/10.1126/science.359.6377.725|воспроизводимости результатов исследований]] в машинном обучении, анализе больших данных, биоинформатике и в науках о данных в целом.
+Принципы открытости данных [[https://www.go-fair.org/fair-principles/FAIR|FAIR]] предполагают указание на источник, цитирование и получение доступа к данным исследований для повторного использования в новых исследованиях.
+Корректность и повторяемость эксперимента и воспроизводимость представленных результатов — одна из ключевых характеристик хорошей статьи в науках о данных. Более того, растут ожидания от научных исследований и уже требуется [[https://habr.com/ru/post/562262/|обеспечивать воспроизводимость экспериментов при публикации]].
+Ведущие публикации помимо самой статьи все чаще включают наборы данных, исходный код и подробные описания условий проведенного эксперимента. Это позволяет другим исследователям подтвердить полученные результаты и использовать их в своих работах, воспроизводить и сравнивать с другими подходами.
+Практика таких, расширенных, публикаций способствует цитируемости и полезности результатов исследований.
+В индустрии также остро стоит проблема воспроизведения и повторения результатов экспериментов, особенно, когда речь идет о алгоритмах и моделях, существенно влияющих на деятельность компаний. Для решения целого круга задач в сфере [[https://aibusiness.com/document.asp?doc_id=760484|MLOps]] создаются инструменты по автоматизации управления жизненным циклом моделей, отслеживания изменений в данных, наблюдению за интеллектуальными системами.
+Вопросы качества результатов, повторяемости экспериментов, достоверности исследований становятся ключевыми как для научных исследований, так и для компаний.
+[Hutson] [[https://www.science.org/doi/10.1126/science.359.6377.725|Hutson M. Artificial intelligence faces reproducibility crisis. Science. 2018.]]
+[MLOps] [[https://aibusiness.com/document.asp?doc_id=760484|Why MLOps (and not just ML) is your Business’ New Competitive Frontier]]
+[FAIR] [[https://www.go-fair.org/fair-principles/|FAIR Principles]]
+[REPRO] [[https://habr.com/ru/post/562262/|Чего хотят конференции: воспроизводимость экспериментов в data science?]]
+==== Помощь в организации онлайн семинара ====
+[[http://fpmi.tilda.ws/algo-tech/|]]
+[[http://m1p.org/|]]
+[[https://conf.mipt.ru/|]]
+[[http://cs.hse.ru/lambda|]]
+**Контакты по вопросам** — [[http://t.me/mldev_betatest|Telegram]] или mailto:info [at] mlrep.org
+Страница прошедшего [[mlrep-2020|онлайн семинара в 2020 г.]]
+Видео [[https://www.youtube.com/playlist?list=PLODTKWanrueo8GWKVLHJJZTko4yJxoiR_|докладов семинара 2020 г.]]