65-я Всероссийская научная конференция МФТИ
Секция проблем повторяемости и достоверности результатов в науках о данных
6 – 12 апреля 2023 г.
Председатель секции: Хританков А.С., к.ф.-м.н., МФТИ, НИУ ВШЭ.
Со-председатель: Грабовой А.В., к.ф.-м.н., АО Антиплагиат.
Секретарь: Якушева С.Ф., асп., МФТИ.
Ключевые даты
Срок подачи тезисов: 15 марта, 23:59 МСК.
Даты проведения: 6 – 12 апреля 2023 г. (уточняются)
Подать работу на секцию
Правила оформление тезисов и пример оформления
Тематики секции
- проблемы открытых данных и воспроизводимости в науках о данных (машинное обучение, вычислительная математика, математическая статистика, биоинформатика, и др.)
- проблемы разработки систем доверенного машинного интеллекта;
- методы решения задач повторяемости вычислительных экспериментов;
- применение методов программной инженерии в машинном обучении;
- методы и средства автоматизации экспериментов в науках о данных;
- проблемы организации совместной работы и управления данными при проведении вычислительных экспериментов.
О проблеме воспроизводимости
Секция посвящена актуальным проблемам воспроизводимости результатов исследований в машинном обучении, анализе больших данных, биоинформатике и в науках о данных в целом. Принципы открытости данных FAIR предполагают указание на источник, цитирование и получение доступа к данным исследований для повторного использования в новых исследованиях.
Корректность и повторяемость эксперимента и воспроизводимость представленных результатов — одна из ключевых характеристик хорошей статьи в науках о данных. Более того, растут ожидания от научных исследований и уже требуется обеспечивать воспроизводимость экспериментов при публикации.
Ведущие публикации помимо самой статьи все чаще включают наборы данных, исходный код и подробные описания условий проведенного эксперимента. Это позволяет другим исследователям подтвердить полученные результаты и использовать их в своих работах, воспроизводить и сравнивать с другими подходами.
Практика таких, расширенных, публикаций способствует цитируемости и полезности результатов исследований.
В индустрии также остро стоит проблема воспроизведения и повторения результатов экспериментов, особенно, когда речь идет о алгоритмах и моделях, существенно влияющих на деятельность компаний. Для решения целого круга задач в сфере MLOps создаются инструменты по автоматизации управления жизненным циклом моделей, отслеживания изменений в данных, наблюдению за интеллектуальными системами.
[Hutson] Hutson M. Artificial intelligence faces reproducibility crisis. Science. 2018.
[MLOps] Why MLOps (and not just ML) is your Business’ New Competitive Frontier
[FAIR] FAIR Principles
[REPRO] Чего хотят конференции: воспроизводимость экспериментов в data science?
Контакты
Контакты по вопросам — Telegram или mailto:info [at] mlrep.org
Проект MLDev — https://gitlab.com/mlrep/mldev
Страница прошедшего онлайн семинара в 2021 г.
Страница прошедшего онлайн семинара в 2020 г.
Сайт конференции — https://conf.mipt.ru