Не так давно компания "Утконос" стала частью "Ленты". На примере "Утконоса" и его цифровых продуктов мы расскажем, с какими вызовами столкнулась компания и как она отвечала на них в начале 2022 года.

"Утконос" - один из крупнейших онлайн-гипермаркетов на рынке электронных продуктов питания в Москве и Московской области для тех, кто ценит широкий ассортимент, высокое качество, свежесть и высокий уровень сервиса.

Компания "Утконос" имеет две цифровые платформы, через которые формируются заказы: сайт и приложение.

Ежедневная посещаемость приложения составляет около 25 000 уникальных пользователей, и в настоящее время через приложение формируется чуть больше половины заказов. Приложение используется в основном лояльной аудиторией или возвращающимися пользователями. "Утконос" старается как можно больше конвертировать веб-аудиторию в приложение, поскольку коэффициент конверсии в приложении обычно выше. С точки зрения отзывов пользователей, приложение имеет хорошие рейтинги в магазинах и положительные отзывы.

Для полной аналитики приложений "Утконос" использовал три ключевых продукта: Амплитуда (Amplitude), приложение для оценки метрик продукта и аналитики продукта. Приложение обеспечивает отличную возможность для самостоятельной работы и легко осваивается менеджерами, которые использовали его для самостоятельного решения своих задач. В результате почти 80% проблем решались именно таким образом. Помимо веб-интерфейса, "Утконос" довольно активно использовал программный интерфейс API (это набор правил, по которым приложения или части программы общаются друг с другом) и собирал данные для обогащения как внутренних данных системы, так и данных о поведении пользователей самого приложения.

Для маркетинговой аналитики использовался АппсФлаер (AppsFlyer - платформа для мобильной атрибуции и маркетинговой аналитики). Это один из лучших продуктов на рынке, который помогает получить информацию об источниках привлечения, установках или таргетинге. У этого сервиса практически нет конкурентов. Файербейз (Firebase) использовался в качестве вспомогательного продукта. Он был полезен в случаях, когда возникали сомнения по поводу тех или иных данных. Например, если происходило резкое падение или резкий подъем. В таких случаях лучше сравнивать информацию из двух аналитических систем, чтобы точно отследить, происходит ли это повсеместно, или это локальная история. В плане визуализации Файербейз (Firebase) имеет довольно примитивный инструментарий, поэтому "Утконос" использовал нативный коннектор Файербейз (Firebase) в Гугл БигКвери (Google BigQuery), в котором данные обрабатывались в сыром виде.

В марте стало ясно, что мир меняется, и эти изменения могут оказать существенное влияние на продукты "Утконоса". Необходимо было предусмотреть риски, возникающие в связи с тем, что в 90% случаев использовались зарубежные аналитические сервисы. В результате были разработаны план действий и стратегия.

Для перехода на локальные системы, по сути, необходимо было полностью сместить фокус на внедрение новых систем. Второй вариант заключался в том, чтобы найти альтернативное решение и использовать его в случае, если зарубежные сервисы перестанут работать. Оставаться на нем в течение 1-2 месяцев, а затем, убедившись, что новая система функционирует хорошо, полностью переходить.

Что касается веб-части, то аудитория сайта "Утконоса" почти в два раза больше, чем у приложений, но он также является входным окном в сервис. Есть довольно много новичков, неавторизованных пользователей, которых "Утконос" пытается познакомить с сервисом там, а затем перевести в приложения. По статистике, только 16% заказов с мобильных устройств генерируются в вебе. Обычно среди тех, у кого есть только веб, эта цифра составляет около 70%. Так что если говорить о веб-аудитории, то это чисто десктоп. Люди, которые находятся на работе или дома, пользуются и создают заказы.

Для аналитики мы использовали классический сервис - Гугл Аналитика Юниверсал (Google Analytics Universal). Был ряд ограничений, но они были сняты за счет потокового OWOX BI (технологичная платформа сквозной аналитики), который использовался как альтернативный источник данных для сверки, а также как инструмент для маркетинга. Для качественной оптимизации рекламных кампаний маркетингу было важно использовать Гугл Аналитику (Google Analytics) и Яндекс.Метрику.

Яндекс.Метрика использовалась в меньшей степени. Там были события и цели верхнего уровня, которые нужны были маркетингу преимущественно для измерения трафика.

От Гугл Аналитики было решено не отказываться в течение некоторого времени. Кроме того, Гугл Аналитика изначально решала только 30% задач, а все остальное решалось с помощью своих данных и их визуализации в BI-платформе. Единственным риском считался Гугл БигКвери (Google BigQuery) из-за того, что он платный. Также "Утконосу" нужна была альтернатива потоковому сервису OWOX BI, которую предложили специалисты группы компаний МТРЕНДО-ХОЛОВЭЙ. Платформа МТРЕНДО-ХОЛОВЭЙ позволяет получать сырые данные в привычном формате сессий ГуглАналитики360 в КликХауз (ClickHouse) для различных сценариев локализации: захват хитов ГуглАналитики 3/ГуглАналитики 4 для отслеживания ГуглТегМенеджер (GTM), перехват Матомо (Matomo) в случае отказа от GTM, или Яндекс Лог API. Был реализован пилотный проект, с результатами которого можно ознакомиться здесь.

Сквозной поток данных собирался из ВЕБ (WEB), в приложениях было несколько аналитических систем, также существовала разветвленная сеть микросервисов, через которые "Утконос" собирал информацию; кроме того, экспортировались данные из рекламных офисов.

За обработку данных во внешнем контуре отвечал OWOX BI, а за обработку данных во внутреннем контуре - ЭирФлоу (AirFlow - платформа с открытым исходным кодом для автоматизации и управления сложными процессами обработки данных). С помощью AirFlow данные из Амплитуды (Amplitude), АппМетрики (AppMetrica) и ЭппсФлайер (AppsFlyer) собирались во внутреннем контуре с помощью программного интерфейса приложений - API. В качестве хранилища данных использовался КликХауз (ClickHouse), куда поступали логи системы потока данных. Основные таблицы сырых данных хранились в Гугл БигКвери (Google BigQuery). Отдельные выжимки данных поступали в Оракал (Oracle), там происходило объединение и обогащение данных, а затем визуализация с помощью бизнес-аналитического сервиса - КликСенс (Qlik Sense).

В результате некоторые рекламные платформы и внутренние сервисы от внешних партнеров вышли из существующей схемы. Для Оракал (Oracle) была прекращена поддержка и обновления, а КликСенс (Qlik Sense), срок действия лицензии которого истекал в сентябре 2022 года, был отключен.

Что касается целевой архитектуры, компания "Утконос" пришла к следующему: на стороне веб-сайта потоковая передача сырых данных через платформу МТРЕНДО-ХОЛОВЭЙ M&H Apps. Хиты с сайта перенаправляются на приемник, расположенный в Яндекс Облаке, который хранит хиты в режиме реального времени. Размещение приемника в своем доменном пространстве позволяет увеличить объем трекинга, открывает прямой доступ к основным кукам (first-party cookie), позволяет использовать собственный стабильный идентификатор пользователя и не зависеть от платформы веб-трекинга GTM/Matomo/Яндекс. Сессии GA360 строятся в формате GA360 по расписанию раз в день. В качестве внутреннего хранилища используется открытый ресурс (open-source) продукт PostgreSQL, а из бизнес-аналитических систем был выбран open-source СуперСет (SuperSet), который "Утконос" развернул на своих серверах. "Лента" пока использует Повер БИ (Power BI).

Также потенциально рассматривается возможность перехода с GTM на Matomo. Это достаточно ресурсоемкий процесс, кроме того, в этом случае существует риск некорректного переноса сущностей GTM в Matomo. Поэтому миграция находится в процессе тестирования.

Немного об опыте работы с КликХауз. Миграция с Гугл БигКвери на КликХауз оказалась не такой уж простой - во-первых, между двумя сервисами есть различия в синтаксисе, что в целом решаемо. Во-вторых, обработка в КликХауз не всегда проходит успешно, и некоторые запросы не выполняются. Возможно, дело в тонкостях настроек администрирования, которые можно было бы оптимизировать.

В аналитике мобильных приложений произошли следующие изменения: в конце июля компания Амплитуда сообщила "Утконосу", что прекращает сотрудничество с ритейлером через 30 дней. Все отчеты в интерфейсе Амплитуды также были ограничены на этот период. Однако можно было собирать данные через программный интерфейс приложений (API), обрабатывать их на стороне "Утконоса" и визуализировать в BI-системе. Далее, некоторое время использовались счета с пробным периодом. Это дало время перейти на аналитический сервис АппМетрика (AppMetrica), чтобы закрыть задачи продуктовой аналитики, собирая сырые данные через API в облачное хранилище Яндекс КликХауз.

В части аналитики маркетинга приложений полноценной альтернативы не нашлось. С точки зрения источников данных и источников привлечения трафика, около 60% поддерживались AppMetrica. Из-за 40% недостающей информации, в качестве подстраховки, был подключен немецкий продукт Adjust, исходя из соображений стоимости, а также меньшего риска отключения. В итоге, если бы один из текущих сервисов (AppsFlyer или Adjust) был отключен, нам пришлось бы полностью перейти на AppMetrica и искать дополнительные способы получения полного объема данных. FireBase также был бы альтернативным вариантом в этом случае, но он также подвержен риску из-зи нативного потокового сбора данных в Гугл БигКвери, который также может быть полностью отключен.

Отчет строился по покупателям, а не пользователям. Была реализована возможность фильтрации по источнику, колл-центру, мобильному приложению, кассе. Выводились пользователи, сумма или заказы.

Команда "Утконос" планирует подготовиться к переходe цифрового маркетинга к отказу от использования сторонних файлов куки (cookieless world) с точки зрения минимизации потерь качества данных. Эта задача широко обсуждалась еще в конце 2021 года, но 2022 год принес новые вызовы, которые временно изменили приоритеты команды. Уже сейчас заметно, что качество данных становится все хуже и хуже, особенно для браузеров Сафари (Safari), Мозилла (Mozilla) и ФайерФокс (Firefox), поэтому разработка в этой сфере будет продолжена.