Компьютерное зрение в ритейле: как работают умные весы и кассы самообслуживания

Компьютерное зрение ассоциируется с беспилотными автомобилями, роботами и промышленной автоматизацией. Но есть ещё одна сфера, где крайне востребована эта технология. Речь идёт о ритейле, причём не только о супермаркетах, но и о маленьких магазинах «у дома». Компьютерное зрение реализовано в весовом оборудовании и кассы самообслуживания. Мы расскажем, как это работает, и как новые технологии улучшают обслуживание покупателей.

Что общего между весами и автопилотом?

На первый взгляд кажется, что между автопилотом «Теслы» и весами в «Пятерочке» нет ничего общего. Но если смотреть на суть, а не на форму, становится очевидно, что здесь компьютерное зрение работает по одному принципу:

1. Встроенная камера снимает окружающую обстановку.
2. Система обрабатывает и распознаёт изображения.
3. Нейросеть анализирует картинки и принимает решения.
4. Обстановка постоянно меняется, и нейросеть продолжает учиться на новых примерах.

В отличие от экспериментальных лабораторий, в ритейле эффективность технологий измеряется не сухими цифрами. Владельцам, директорам и менеджерам магазинов важно, насколько хорошо оборудование решает задачи. Руководителей интересует, как быстро покупатели проходит кассу, и легко ли взвешивать товары. Для руководителей важно, стало ли меньше пересортицы на складе, и сколько денег удалось сэкономить, предотвратив потери на кассе.

Оборудование с компьютерным зрением для ритейла

Весы самообслуживания. Когда покупатель кладёт товар на платформу, система распознаёт его и предлагает один или несколько вариантов. Покупателю не нужно самостоятельно искать товар в каталоге.

Весы на рабочем месте кассира. Весы автоматически распознают товары и показывают верные PLU-коды. Компьютерное зрение обеспечивает защиту от случайных ошибок.

Кассы самообслуживания. Система не только распознаёт товары, но и защищает от подмены по антифрод-логике. Касса проверяет что в чек были добавлены именно товары, которые находились на платформе.

Почему нейросеть в ритейле должна постоянно учиться?

В реальном магазине что-то постоянно меняется. Свет может падать по разному в зависимости от времени суток. Упаковки товаров бликуют в зависимости от угла наклона. Один сорт огурцов или томатов выглядит по-разному в зависимости от поставщика или сезона. Товары фасуют в сетки и прозрачные пакеты, что затрудняет распознавание.

Ассортимент в ритейле часто обновляется. Нейросеть может отлично отличать «Гренни Смит» от «Голден». Но если на полках появился новый сорт яблок от местного производителя, нужно будет дополнительное обучение. Поэтому в ритейле недостаточно один раз обучить нейросеть. Нужна архитектура, где каждый новый опыт не теряется, а возвращается в систему и помогает нейросети становиться умнее. Такой подход обеспечивает максимальную эффективность.

Как работает двухэтапная система распознавания

На первый взгляд, система должна работать просто: оператор показывает товары, а устройство их называет. Но как показывает практика, эта схема не работает, потому что одного классификатора оказывается недостаточно. Нейросеть ошибается из-за смены освещения или фоновых объектов, посторонних предметов или рук в кадре.

На практике лучше работает двухэтапная схема:

1. Детектор определяет, где находится товар, и убирает остальную часть изображения.
2. Идентификатор распознаёт, какой объект находится на обработанных кадрах.

Нейросети не обязательно давать на 100% правильный ответ. Она может предлагать несколько вариантов на выбор. Например, показать 3 товара, с которыми найдено больше всего совпадений. Когда нужный товар попадает в первую тройку, оператору уже не нужно листать каталог вручную. Получается, что время сэкономлено, и цели автоматизации достигнуты.

При выборе товаров из Топ-3 система получает обратную связь. Если человек выбрал второй или третий, это важно для обучения нейросети. Сделанный выбор помогает обучать модель и делать её умнее. При следующих распознаваниях повышаются шансы на то, что правильный товар будет на первом месте в списке.

Как должна выглядеть системная архитектура магазина

Модули компьютерного зрения. Часть весового оборудования или кассы самообслуживания. К этой категории относится, например, модуль распознавания MERTECH VISION-AI. Модуль состоит из камеры, вычислительного устройства и программного контура.

Инфраструктурный сервер. Собирает данные от устройств с компьютерным зрением, а также от товароучётной программы. Сервер отвечает за связку системы распознавания с PLU-кодами. Он является промежуточным звеном между отдельными устройствами и единым центром.

Единый центр обработки моделей распознавания. Здесь хранится накопленный набор данных для обучения нейросетей. Единый центр анализирует качество распознавания, обновляет модели и загружает обратно на сервера магазинов.

Преимущества подобной архитектуры:

• Запросы магазинов быстро обрабатываются, вне зависимости от качества связи.
• Опыт, полученный каждым устройством, сохраняется и воспроизводится в системе.
• Накопленный набор данных можно использовать для обучения других моделей на других устройствах.
• Архитектура устанавливается поверх существующей инфраструктуры магазина. Не нужно перестраивать POS-контур.

Магазины получают стабильную архитектуру, которая накапливает и воспроизводит информацию. Развёртывание архитектуры с нуля происходит в короткие сроки.

Плюсы гибридной архитектуры

Централизованный подход интересен тем, что информация собирается в одном месте. Так проще контролировать обучение и развитие моделей. Но чем сильнее зависимость от центра, тем выше требования к инфраструктуре. Централизованные модели сложно обновлять и масштабировать.

В торговых сетях условия в отдельных магазинах очень сильно различаются. У помещений разная планировка, разный интерьер и освещение. Технику с модулем для распознавания устанавливают на разной высоте. Магазины отличаются по матрице товаров и привычкам покупателей. Поэтому централизованный подход в ритейле работает плохо.

Для ритейла подходит гибридный вариант:

• Быстрые вычисления и дообучение нейросетей выполняются в магазине. Система быстро обрабатывает запросы, потому что информацию не нужно никуда передавать. А нейросеть адаптируется к условиям конкретного магазина
• За общую аналитику, накопление информации и развитие модели отвечает единый центр.
• Новые версии моделей отправляются в магазины в рамках управляемого цикла.

Гибридный сценарий объединяет лучшее от централизованного и децентрализованного подхода к архитектуре. По этому сценарию работают устройства с компьютерным зрением от MERTECH.

Антифрод-логика в розничных магазинах

Антифрод — это защита от попыток обмануть магазин. Например, покупатель может попытаться взвесить дорогой сорт яблок, но выбрать более дешёвый сорт в меню весов самообслуживания. В этом случае магазин теряет деньги, а на складе возникает пересортица.

Весы и кассы самообслуживания с компьютерным зрением защищают магазин от антифрода. Как именно реализована защита, зависит от модели. Если камера видит, что товар на платформе не попадает в список возможных вариантов, система может:

• заблокировать операцию;
• показать предупреждение на экране;
• предложить проверить информацию;
• отправить уведомление супервайзеру.

Антифрод не должен быть слишком жёстким. Если система будет срабатывать очень часто, она будет мешать честным покупателям. Увеличится нагрузка на сотрудников магазина из-за ложных вызовов. Но если антифрод будет слишком мягким, в нём не будет смысла.

Подведём итоги

Компьютерное зрение в ритейле — это инструмент, который решает практические задачи. Весы и кассы самообслуживания с распознаванием ускоряют обслуживание покупателей. Автоматизация добавляет новый уровень контроля и снижает количество ошибок при взвешивании товаров. Для магазина это означает уменьшение пересортицы и повышение прибыли.

Максимальный эффект заметен, когда реализована быстрая работа на точке, возможность гибко обучать систему и сохранять обратную связь. Гибридная архитектура обеспечивает баланс между удобством, скоростью и контролем. В этом случае каждое устройство самостоятельно принимает решение. Но вся сеть обучается на опыте из разных точек и постоянно становится умнее.