В январе 2021 года в рамках проекта для одного из федеральных органов исполнительной власти началось большое исследование практического применения больших данных для сбора статистики индекса потребительских цен и уровня инфляции.
В ходе исследований тестировалась гипотеза, что использование больших данных позволит получать более точный и качественный результат с меньшими трудозатратами, так как текущая методика оценки индекса потребительских цен основана на ручной переписи бумажных ценников – отслеживается более 500 наименований товаров и услуг из минимальной потребительской корзины в почти 300 городах из всех регионов России.
На старте проекта было принято решение протестировать использование в основе расчетов данные ОФД* – наличие таких агрегированных данных об устройстве спроса на российском потребительском рынке открывает новые возможности для аналитики, в том числе позволяет применить чековые данные для расчета индекса потребительских цен.
*в рамках 54 Федерального закона «О применении контрольно-кассовой техники» с 1 февраля 2017 года все игроки розничной торговли обязаны отправлять электронные версии бумажных чеков операторам фискальных данных (ОФД).
Использование аналитики на данных ОФД дало несколько важных преимуществ для методологии расчета:
Однако при проработке гипотезы возникла проблема – на сегодняшний день в России не существует единой базы наименований товаров. Если в крупных торговых сетях товарные позиции более-менее стандартизованы (например, первое слово в наименовании означает категорию, второе – бренд и т.д.), то в сетях уровнем ниже и в отдельных магазинах написание наименований зачастую производится в хаотичном для общего восприятия порядке. Например, детальный анализ 15% рынка выявил несколько десятков тысяч вариантов написания одного SKU сигарет.
Для решения этой проблемы было решено заключить партнерские соглашения с известными на российском рынке аналитическими компаниями, которые решают такого рода задачи – GoodsForecast и Антирутина.
Чтобы применять данные ОФД в проекте расчета индекса потребительских цен, необходимо сперва определить по строчке из чека что это за категория, а затем сопоставить строки интересующих категорий с заданным списком товаров.
Антирутина решила задачу по выделению групп товаров и точной кластеризации категорий, компания GoodsForecast при помощи своих инструментов матчинга производила построчное сопоставление чековых данных.
В рамках пилотного проекта были использовали реальные данные нескольких городов одного из ОФД, и именно на них производились точные расчеты и классификации. Совместные усилия специалистов GoodsForecast и Антирутина позволили рассчитать индивидуальный и агрегированный индексы цен в трех городах пилотного проекта и сравнить их с индексами, рассчитанными на данных реальной переписи цен. Отличия получились минимальными, что полностью подтверждает перспективность использования данных ОФД для более эффективного расчета индексов цен на потребительском рынке.
Результат полностью удовлетворил заказчика и лег в основу новой концепции расчета.
Разработанный в рамках данного проекта подход может быть использован для решения многих других задач мониторинга потребительского рынка. Как в рамках государственного мониторинга (например, мониторинг цен), так и в целях анализа рынка коммерческими компаниями (производители товаров народного потребления, а также предприятия торговли).