• проблемы открытых данных и воспроизводимости в науках о данных (машинное обучение, вычислительная математика, математическая статистика, биоинформатика, и др.)
• проблемы разработки систем доверенного машинного интеллекта;
• методы решения задач повторяемости вычислительных экспериментов;
• применение методов программной инженерии в машинном обучении;
• методы и средства автоматизации экспериментов в науках о данных;
• проблемы организации совместной работы и управления данными при проведении вычислительных экспериментов.

Секция посвящена актуальным проблемам воспроизводимости результатов исследований в машинном обучении, анализе больших данных, биоинформатике и в науках о данных в целом. Принципы открытости данных FAIR предполагают указание на источник, цитирование и получение доступа к данным исследований для повторного использования в новых исследованиях.

Корректность и повторяемость эксперимента и воспроизводимость представленных результатов — одна из ключевых характеристик хорошей статьи в науках о данных. Более того, растут ожидания от научных исследований и уже требуется обеспечивать воспроизводимость экспериментов при публикации.

Ведущие публикации помимо самой статьи все чаще включают наборы данных, исходный код и подробные описания условий проведенного эксперимента. Это позволяет другим исследователям подтвердить полученные результаты и использовать их в своих работах, воспроизводить и сравнивать с другими подходами.

Практика таких, расширенных, публикаций способствует цитируемости и полезности результатов исследований.

В индустрии также остро стоит проблема воспроизведения и повторения результатов экспериментов, особенно, когда речь идет о алгоритмах и моделях, существенно влияющих на деятельность компаний. Для решения целого круга задач в сфере MLOps создаются инструменты по автоматизации управления жизненным циклом моделей, отслеживания изменений в данных, наблюдению за интеллектуальными системами.

[Hutson] Hutson M. Artificial intelligence faces reproducibility crisis. Science. 2018.

[MLOps] Why MLOps (and not just ML) is your Business’ New Competitive Frontier

[FAIR] FAIR Principles

[REPRO] Чего хотят конференции: воспроизводимость экспериментов в data science?

Контакты по вопросам — Telegram или mailto:info [at] mlrep.org

Проект MLDev — https://gitlab.com/mlrep/mldev

Страница прошедшего онлайн семинара в 2021 г.

Страница прошедшего онлайн семинара в 2020 г.

Сайт конференции — https://conf.mipt.ru

Видео докладов семинара 2021 г.

Видео докладов семинара 2020 г.