Каждый билет найдет своего покупателя:
кейс «Столото» по использованию систем прогнозирования спроса
Компания «Синимекс» по заказу крупнейшего распространителя государственных лотерей в России «Столото» разработала и запустила в эксплуатацию систему, повышающую эффективность распределения лотерейных билетов. Система, построенная на собственных моделях машинного обучения, позволяет прогнозировать количество проданных билетов в одном из крупнейших розничных каналов – почтовых отделениях России. О роли технологий машинного обучения в современном бизнесе и перспективах систем прогнозирования спроса мы поговорили с Романом Роменским, директором по продажам «Столото», Кириллом Дубовиковым, директором по технологиям «Синимекс Дата Лаб», и Максимом Жаровым, менеджером по работе с ключевыми клиентами компании «Синимекс».
Роман Роменский
директор по продажам «Столото»
директор по продажам «Столото»
Кирилл Дубовиков
директор по технологиям «Синимекс Дата Лаб»
директор по технологиям «Синимекс Дата Лаб»
Максим Жаров
менеджер по работе с ключевыми клиентами компании «Синимекс»
менеджер по работе с ключевыми клиентами компании «Синимекс»
R&L: Что представляет собой система, повышающая эффективность распределения лотерейных билетов? Как этот бизнес-процесс осуществлялся до внедрения решения компании «Синимекс»?
Р. Роменский: Сегодня лотереи под брендом «Столото» распространяются во всех 85 субъектах России через более чем 91 тыс. точек продаж. Среди них и около 30 тысяч отделений Почты России. Расчет отправки оптимального количества билетов в конкретные почтовые отделения всегда был для нас сложной задачей. Нас не устраивали в равной степени как ситуация, когда билетов не хватало, поскольку мы получали недовольных клиентов, так и ситуация, когда множество билетов оставалось нераспроданными, поскольку и для нас, и для Почты России возникали дополнительные расходы на учет, утилизацию и пр.
Совместно с компанией «Синимекс» мы проанализировали продажи за три последних года, сделав акцент на знаковых розыгрышах – праздничных, приуроченных к юбилею «Столото» и пр. И обратили внимание, что почти каждое конкретное почтовое отделение имеет свою особенность. Почта в поселках – это популярное место, в котором продаются все товары первой необходимости, и билетов там приобретается очень много. А вот в отделении, находящемся в городе, но ориентированном только на выдачу посылок, обычно реализуется небольшое количество билетов. В такой ситуации прогнозировать спрос в ручном режиме практически невозможно. Сейчас мы уже точно знаем, что наилучшие продажи демонстрируют распределительные и праздничные тиражи, особенно новогодние. И вот как раз здесь точность прогноза невероятно важна: лучше перестраховаться, чем оставить клиентов без желанных билетов, ведь внакладе останутся и почтовое отделение, и мы сами.
Вот здесь и становится очевидной роль технологий машинного обучения – в расширенном анализе ретроспективных данных и их правильной интерпретации для прогнозирования спроса. Ведь мы начинаем отгрузку билетов за несколько месяцев до даты тиража, и у нас должно быть в запасе достаточно времени, чтобы обеспечить все почтовые отделения во всех регионах России.
Совместно с компанией «Синимекс» мы проанализировали продажи за три последних года, сделав акцент на знаковых розыгрышах – праздничных, приуроченных к юбилею «Столото» и пр. И обратили внимание, что почти каждое конкретное почтовое отделение имеет свою особенность. Почта в поселках – это популярное место, в котором продаются все товары первой необходимости, и билетов там приобретается очень много. А вот в отделении, находящемся в городе, но ориентированном только на выдачу посылок, обычно реализуется небольшое количество билетов. В такой ситуации прогнозировать спрос в ручном режиме практически невозможно. Сейчас мы уже точно знаем, что наилучшие продажи демонстрируют распределительные и праздничные тиражи, особенно новогодние. И вот как раз здесь точность прогноза невероятно важна: лучше перестраховаться, чем оставить клиентов без желанных билетов, ведь внакладе останутся и почтовое отделение, и мы сами.
Вот здесь и становится очевидной роль технологий машинного обучения – в расширенном анализе ретроспективных данных и их правильной интерпретации для прогнозирования спроса. Ведь мы начинаем отгрузку билетов за несколько месяцев до даты тиража, и у нас должно быть в запасе достаточно времени, чтобы обеспечить все почтовые отделения во всех регионах России.
R&L: Какие данные используются для расчетов?
Р. Роменский: Исключительно данные о продажах по сопоставимым периодам.
R&L: Насколько точно сейчас прогнозирование? Приходится ли делать запасы?
Р. Роменский: Конечно, всегда возможен форс-мажор – вдруг сотрудники крупной корпорации решат сделать массовую закупку билетов и пойдут за ними именно на почту? Все возможно. Такие экстремумы пока не учитываются системой, но в будущем они также будут включены в расчеты.
R&L: Почему вы выбрали именно компанию «Синимекс» для реализации решения?
Р. Роменский: Здесь все просто – предложения компании «Синимекс» показались нам максимально соответствующими нашим запросам.
R&L: Можно ли уже оценивать эффективность решения, снизились ли какие-то косты после его внедрения в эксплуатацию?
Р. Роменский: Пока еще, конечно, рано. Наши финальные ожидания от проекта – что объемы утилизированных билетов снизятся как минимум на 10%, а в любом отделении в первой половине субботы можно будет купить билеты на завтрашний тираж.
R&L: Как вы оцениваете удобство и простоту интеграции предложенного решения?
Р. Роменский: Простым такое масштабное решение, интегрированное в огромную разветвленную сеть, не может быть по определению. Тем не менее интеграция была произведена в приемлемые сроки, и продукт стал доступным для использования в заявленные даты.
R&L: Какие этапы по разработке и внедрению решения прошли компании?
М. Жаров: Мы начали заниматься данным проектом год назад. На первом этапе мы собирали данные для подтверждения гипотезы, далее провели пилотный проект, в рамках которого мы на выгруженных данных доказали определенную релевантность данных для того, чтобы распределять конкретные билеты по точкам с учетом всех ограничений (в том числе с учетом логистических поставок). Было определено, сколько должно быть билетов в пачках в зависимости от тиража, от сезонности и прочих факторов. На следующем этапе мы запустили полноценный проект, который с декабря реализовался в формате внутренних пилотов в торговых точках. Влияния на принятие решений он еще не имел – информация предоставлялась в формате рекомендаций. Финальное решение принималось на основе машинной аналитики и экспертной оценки, произведенной человеком. Убедившись в том, что решение работает и не оказывает негативного влияния на существующие бизнес-процессы, мы дали старт его полноценному масштабированию.
R&L: Расскажите о том, что находится под «капотом решения».
К. Дубовиков: Под капотом решения находится система машинного обучения, которая рассчитывает и оценивает сотни факторов на основе исторических данных. В качестве исходных данных используются история продаж и маркетинговая информация, предоставляемая нашим заказчиком. Процесс обучения моделей проводится непрерывно, система позволяет обучать новые модели по запросу пользователя в нашем UI.
Спрос на билеты оценивается в разрезе каждого отделения Почты России, с учетом географической информации, закодированной в обучающую выборку наших моделей. А под специализированными библиотеками машинного обучения подразумевается наш инструмент для прогнозирования временных рядов, который был разработан в рамках этого проекта. Мы реализовали гибкую систему, использующую ряд прогнозных методик, которые недоступны в популярных open source пакетах, используемых для прогнозирования временных рядов. В частности, реализованы специфические подходы для оценки качества моделей в условиях большого количества точек продаж и специализированные под задачу заказчика инструменты иерархического моделирования. Система также позволяет комбинировать различные модели в зависимости от того, какую из них лучше использовать для каждой конкретной точки продаж.
Спрос на билеты оценивается в разрезе каждого отделения Почты России, с учетом географической информации, закодированной в обучающую выборку наших моделей. А под специализированными библиотеками машинного обучения подразумевается наш инструмент для прогнозирования временных рядов, который был разработан в рамках этого проекта. Мы реализовали гибкую систему, использующую ряд прогнозных методик, которые недоступны в популярных open source пакетах, используемых для прогнозирования временных рядов. В частности, реализованы специфические подходы для оценки качества моделей в условиях большого количества точек продаж и специализированные под задачу заказчика инструменты иерархического моделирования. Система также позволяет комбинировать различные модели в зависимости от того, какую из них лучше использовать для каждой конкретной точки продаж.
Даже коробочные решения в контексте машинного обучения требуют хотя бы минимальной кастомизации – у каждого заказчика уникальная позиция на рынке, уникальные данные, свои нюансы ведения бизнеса
R&L: Что собой представляет интерфейс данного решения? Насколько он удобен и интуитивно понятен? Какие аспекты брались за основу при его создании?
К. Дубовиков: Наш пользовательский интерфейс разделен на 2 части: интерфейс администратора, позволяющий запускать расчеты прогнозов и контролировать их выполнение. Он представляет собой web-приложение, интегрированное с системами заказчика. И интерфейс аналитика, реализованный в виде BI Dashboard. Эта часть системы позволяет оперативно оценивать прогнозы и продажи как по всей компании в целом, так и по отдельным точкам продаж.
Основные аспекты, на которые мы обращаем внимание при проектировании интерфейсов для data-driven систем, это проектирование эргономичных, удобных и практически полезных визуализаций данных, опирающихся на сценарии работы потребителей этой информации.
Основные аспекты, на которые мы обращаем внимание при проектировании интерфейсов для data-driven систем, это проектирование эргономичных, удобных и практически полезных визуализаций данных, опирающихся на сценарии работы потребителей этой информации.
R&L: Каковы наиболее перспективные направления использования технологий машинного обучения? Какие возможности для клиентов открывает данная технология?
М. Жаров: Наиболее удачным сценарием с точки зрения дальнейшего масштабирования является прогнозирование спроса и оптимизация логистических поставок – то есть определение необходимого количества продукции для производства, закупок, отправки на конкретные точки, а также определение цены продукта с учетом факторов сезонности, маркетинговых кампаний и пр. Примерно такой сценарий и был реализован в решении для «Столото», в котором задействовано больше сотни различных параметров, которые в значительной степени влияют на процесс принятия решений. Анализ числовых данных представляет собой первый пласт задач, решаемых с помощью технологий машинного обучения.
Второе направление их использования – это мониторинг безопасности на производстве, проверка наполненности складов и торговых точек с помощью компьютерного зрения и видеоаналитики.
Третье важное направление связано с износом конвейерного оборудования на производстве, притом что перенастройка этого оборудования является весьма трудозатратной.
Второе направление их использования – это мониторинг безопасности на производстве, проверка наполненности складов и торговых точек с помощью компьютерного зрения и видеоаналитики.
Третье важное направление связано с износом конвейерного оборудования на производстве, притом что перенастройка этого оборудования является весьма трудозатратной.
R&L: Почему компания «Синимекс» делает ставку на кастомизированные, а не коробочные решения, дает ли такой подход какие-либо преимущества заказчику?
М. Жаров: В рамках масштабирования чаще всего выигрывают кастомизированные решения. Даже коробочные решения в контексте машинного обучения требуют хотя бы минимальной кастомизации – у каждого заказчика уникальная позиция на рынке, уникальные данные, свои нюансы ведения бизнеса и пр. Если бы коробочные решения могли удовлетворить всех клиентов, на рынке достаточно было бы одной компании-поставщика. А так даже при незначительных отличиях в задачах и требованиях к результату у двух компаний будут абсолютно разными и модель машинного обучения, и подходы к его внедрению.
У коробочных решений есть свой плюс – это дешевизна в краткосрочной перспективе. В долгосрочной перспективе этот плюс нивелируется из-за необходимости внешней техподдержки, а кроме того, рано или поздно определенная кастомизация все равно потребуется, – и тогда придется обращаться за помощью к поставщику.
У коробочных решений есть свой плюс – это дешевизна в краткосрочной перспективе. В долгосрочной перспективе этот плюс нивелируется из-за необходимости внешней техподдержки, а кроме того, рано или поздно определенная кастомизация все равно потребуется, – и тогда придется обращаться за помощью к поставщику.
R&L: Возможно ли использование кастомизированных решений другими компаниями?
М. Жаров: Мы передаем клиенту код в качестве нематериального актива по завершении контракта совместно с документацией по использованию самой системы и всех алгоритмов. На этом этапе заказчику необходимо определиться, хотел бы он сам работать с этим кодом, либо проще передать его нам для техподдержки.
Использование кастомизированных решений для других заказчиков у нас не практикуется. Мы можем нарастить данные собственных библиотек по машинному обучению, увеличить точность прогнозирования с меньшими трудозатратами. В данном случае передача готового продукта в принципе невозможна – для каждого нового проекта требуется создание новой архитектуры. Каждое внедрение – это, по сути, масштабный консалтинговый проект, не предполагающий шаблонного воспроизведения готовых решений.
Использование кастомизированных решений для других заказчиков у нас не практикуется. Мы можем нарастить данные собственных библиотек по машинному обучению, увеличить точность прогнозирования с меньшими трудозатратами. В данном случае передача готового продукта в принципе невозможна – для каждого нового проекта требуется создание новой архитектуры. Каждое внедрение – это, по сути, масштабный консалтинговый проект, не предполагающий шаблонного воспроизведения готовых решений.
R&L: Какие услуги по дальнейшему обслуживанию решения компания «Синимекс» предлагает заказчику после его установки?
М. Жаров: Мы предлагаем два варианта. Если заказчик достаточно компетентен для самостоятельного обслуживания системы, он берет техподдержку в свои руки. Но в основном компании предпочитают передавать эту задачу нам – это проще и выгоднее с точки зрения расходов на дополнительное обучение и прочих внутренних трудозатрат.
Есть несколько сценариев осуществления техподдержки проектов – круглосуточная поддержка либо поддержка в рабочие часы, есть формат техподдержки для устранения административных проблем, есть формат с подключением дата-сайентистов либо инженеров при необходимости мелких доработок. Мы гарантируем клиенту стабильность работы модели, несмотря на вносимые изменения и дополнения.
Есть несколько сценариев осуществления техподдержки проектов – круглосуточная поддержка либо поддержка в рабочие часы, есть формат техподдержки для устранения административных проблем, есть формат с подключением дата-сайентистов либо инженеров при необходимости мелких доработок. Мы гарантируем клиенту стабильность работы модели, несмотря на вносимые изменения и дополнения.
R&L: Какие еще решения ваша компания предлагает как для ритейла, так и для других отраслей?
М. Жаров: У нас есть хороший опыт в задачах прогнозирования спроса и оптимизации логистики, а также в разработке решений для финансовой отрасли (построение шин, высоконагрузочных систем, разработка инфраструктуры, микросервисов, запуск скоринговых решений и пр.). Также мы сейчас активно работаем с промышленными компаниями, в том числе по внедрению технологий компьютерного зрения, при этом фокусируемся на нестандартных проектах, таких как распознавание промышленной продукции на складах для оценки их заполняемости.
Еще нам периодически приходится решать различные инфраструктурные задачи, такие как систематизация данных и дата-инжиниринг. Даже если у заказчика есть потребность систематизировать данные, у него нет единого словаря внутри компании, либо они находятся в разных источниках, и их сопоставление оказывается невозможным.
Еще нам периодически приходится решать различные инфраструктурные задачи, такие как систематизация данных и дата-инжиниринг. Даже если у заказчика есть потребность систематизировать данные, у него нет единого словаря внутри компании, либо они находятся в разных источниках, и их сопоставление оказывается невозможным.
R&L: Каковы дальнейшие перспективы использования технологии?
М. Жаров: Если сравнивать текущую ситуацию и рынок трехлетней давности, мы увидим, что компании сделали серьезный скачок с точки зрения качества данных и их обогащения. Если раньше вопросы автоматизации и машинного обучения находились в статусе некоего R&D, к которому можно будет вернуться в лучшие времена, то сейчас либо уже есть какой-то минимальный пласт информации, которую можно анализировать, либо компания сфокусирована на том, чтобы создать резерв данных и далее отталкиваться от него при решении конкретных задач.
Машинное обучение уже выходит из поля хайпа и приобретает черты стандартного решения, необходимого для успешного развития бизнеса. И со временем технология станет востребована не только в крупном бизнесе, но и в среднем и даже малом.
Нам очень повезло с заказчиком – этот проект мы смогли реализовать за очень короткий срок, поскольку могли формировать большое количество гипотез на имеющихся данных и моментально получали обратную связь в случае выявления проблем. Это очень помогало при работе по скриптам, и заниматься реализацией не столько проекта по машинному обучению, сколько стандартного ИТ-проекта, в ходе которого все прекрасно понимают конечную цель и конечный результат.
Машинное обучение уже выходит из поля хайпа и приобретает черты стандартного решения, необходимого для успешного развития бизнеса. И со временем технология станет востребована не только в крупном бизнесе, но и в среднем и даже малом.
Нам очень повезло с заказчиком – этот проект мы смогли реализовать за очень короткий срок, поскольку могли формировать большое количество гипотез на имеющихся данных и моментально получали обратную связь в случае выявления проблем. Это очень помогало при работе по скриптам, и заниматься реализацией не столько проекта по машинному обучению, сколько стандартного ИТ-проекта, в ходе которого все прекрасно понимают конечную цель и конечный результат.
R&L: Как вы в целом оцениваете роль технологий в современном бизнесе?
М. Жаров: Чем так ценны технологии машинного обучения? Прежде всего – гарантией беспристрастной оценки ситуации и на рынке, и в компании. В большинство используемых алгоритмов заложен некий сценарный анализ – когда одна и та же ситуация «прогоняется» через тысячу возможностей, и в финале выбор делается в пользу сценария, который максимально соответствует набору бизнес-правил и ограничений, установленных компанией. Полученные результаты могут рассматриваться с прицелом на достижение более сложных целей – отстройка от конкурентов, планирование маркетинговых кампаний, поиск новых точек для роста, диверсификация портфеля и пр.
R&L: Как вы оцениваете роль технологий в бизнесе «Столото»?
Р. Роменский: Скажу так – наш бизнес состоит из технологий, и те времена, когда лотереи ассоциировались с тетушками на улицах, ушли в прошлое. Лотерея – это стопроцентно ИТ-продукт, и в идеале мы выстроим такую завершенную экосистему, когда билет можно будет купить в любой точке и в любую точку прийти за выигрышем.
Контакты