Разработка систем ML для реального бизнеса — это постоянный процесс обучения. Делимся опытом внедрения, решением технических задач и наблюдениями из практики работы с данными.
Казалось бы, банальная задача — сканировать паспорта и извлекать данные. На практике столкнулись с таким количеством нюансов, что пришлось переписывать подход дважды. Освещение в офисах у всех разное, качество сканов — от телефонных снимков до профессиональных сканеров. А еще есть потёртые документы, выцветшие печати и рукописные пометки.
Первую версию запустили на стандартной OCR-библиотеке. Точность оказалась 78% — вроде неплохо, но для работы с документами недостаточно. Каждая пятая запись требовала ручной проверки, что сводило автоматизацию на нет. Тогда начали дообучать модель на реальных данных клиента — собрали около 4000 документов с разметкой.
Читать полностью
У клиента работала система на 1С уже лет восемь. Менять её полностью никто не хотел — слишком много процессов завязано, сотрудники привыкли. Задача была добавить предиктивную аналитику для прогноза продаж, но сделать это так, чтобы минимально затронуть существующую архитектуру.
Разработали классификатор для анализа обращений клиентов. В тестовой среде всё было хорошо — обработка запроса занимала 1.2 секунды. Перенесли на продакшн, где поток данных в 15 раз больше, и система начала задыхаться. Очередь росла, пользователи жаловались на задержки.
Заказчик пришёл с задачей прогнозирования спроса. Предоставили базу за три года — больше миллиона записей. Выглядело солидно, пока не начали разбираться. Оказалось, что треть данных содержит дубли, в другой трети пропущены критически важные поля, а часть записей вообще из тестовой среды попала.
Работа с машинным обучением в бизнесе — это не только код и модели. Это понимание процессов, умение объяснить техническое простым языком и готовность искать компромиссы.
Самая продвинутая модель не спасёт ситуацию, если данные собраны кое-как. Лучше потратить время на качественную подготовку датасета, чем потом пытаться вытянуть результат сложными алгоритмами.
Лабораторные показатели и продакшн — это две большие разницы. То, что отлично работает на тестовой выборке, может давать сбои при реальной нагрузке и разнообразии входящих данных.
Запустить модель — это полдела. Нужно следить за её работой, обновлять данные для обучения, корректировать параметры. Система живая, она меняется вместе с бизнес-процессами.