Не так давно компания "Утконос" стала частью "Ленты". На примере "Утконоса" и его цифровых продуктов мы расскажем, с какими вызовами столкнулась компания и как она отвечала на них в начале 2022 года.

Утконос" - один из крупнейших онлайн-гипермаркетов на рынке электронных продуктов питания в Москве и Московской области для тех, кто ценит широкий ассортимент, высокое качество, свежесть и высокий уровень сервиса.

Компания "Утконос" имеет две цифровые платформы, через которые формируются заказы: сайт и приложение.

Ежедневная посещаемость приложения составляет около 25 000 уникальных пользователей, и в настоящее время через приложение формируется чуть больше половины заказов. Приложение используется в основном лояльной аудиторией или возвращающимися пользователями. "Утконос" старается как можно больше конвертировать веб-аудиторию в приложение, поскольку коэффициент конверсии в приложении обычно выше. С точки зрения отзывов пользователей, приложение имеет хорошие рейтинги в магазинах и положительные отзывы.

Для полной аналитики приложений "Утконос" использовал три ключевых продукта: Amplitude, приложение для оценки метрик продукта и аналитики продукта. Приложение обеспечивает отличную возможность для самостоятельной работы и легко осваивается менеджерами, которые использовали его для самостоятельного решения своих задач. В результате почти 80% проблем решались именно таким образом. Помимо веб-интерфейса, "Утконос" довольно активно использовал API и собирал данные для обогащения как внутренних данных системы, так и данных о поведении пользователей самого приложения.

Для маркетинговой аналитики использовался AppsFlyer. Это один из лучших продуктов на рынке, который помогает получить информацию об источниках привлечения, установках или таргетинге. У этого сервиса практически нет конкурентов. Firebase использовался в качестве вспомогательного продукта. Он был полезен в случаях, когда возникали сомнения по поводу тех или иных данных. Например, если происходило резкое падение или резкий подъем. В таких случаях лучше сравнивать информацию из двух аналитических систем, чтобы точно отследить, происходит ли это повсеместно, или это локальная история. В плане визуализации Firebase имеет довольно примитивный инструментарий, поэтому "Утконос" использовал нативный коннектор Firebase в Google BigQuery, в котором данные обрабатывались в сыром виде.

В марте стало ясно, что мир меняется, и эти изменения могут оказать существенное влияние на продукты "Утконоса". Необходимо было предусмотреть риски, возникающие в связи с тем, что в 90% случаев использовались зарубежные аналитические сервисы. В результате были разработаны план действий и стратегия.

Для перехода на локальные системы, по сути, необходимо было полностью сместить фокус на внедрение новых систем. Второй вариант заключался в том, чтобы найти альтернативное решение и использовать его в случае, если зарубежные сервисы перестанут работать. Оставаться на нем в течение 1-2 месяцев, а затем, убедившись, что новая система функционирует хорошо, полностью переходить.

Что касается веб-части, то аудитория сайта "Утконоса" почти в два раза больше, чем у приложений, но он также является входным окном в сервис. Есть довольно много новичков, неавторизованных пользователей, которых "Утконос" пытается познакомить с сервисом там, а затем перевести в приложения. По статистике, только 16% заказов с мобильных устройств генерируются в вебе. Обычно среди тех, у кого есть только веб, эта цифра составляет около 70%. Так что если говорить о веб-аудитории, то это чисто десктоп. Люди, которые находятся на работе или дома, пользуются и создают заказы.

Для аналитики мы использовали классический сервис - Google Analytics Universal. Был ряд ограничений, но они были сняты за счет потокового OWOX BI, который использовался как альтернативный источник данных для сверки, а также как инструмент для маркетинга. Для качественной оптимизации рекламных кампаний маркетингу было важно использовать Google Analytics и Яндекс.Метрику.

Яндекс.Метрика использовалась в меньшей степени. Там были события и цели верхнего уровня, которые нужны были маркетингу преимущественно для измерения трафика.

От Google Analytics было решено не отказываться в течение некоторого времени. Кроме того, Google Analytics изначально решал только 30% задач, а все остальное решалось с помощью своих данных и их визуализации в BI-платформе. Единственным риском считался Google BigQuery из-за того, что он платный. Также "Утконосу" нужна была альтернатива потоковому сервису OWOX BI, которую предложили специалисты группы компаний MTRENDO-HOLOWAY. Платформа MTRENDO-HOLOWAY позволяет получать сырые данные в привычном формате сессий GA360 в ClickHouse для различных сценариев локализации: захват хитов GA3/GA4 для отслеживания GTM, перехват Matomo в случае отказа от GTM, или Yandex Logs API. Был реализован пилотный проект, с результатами которого можно ознакомиться здесь.

Hitstream собирался из WEB, в приложениях было несколько аналитических систем, также существовала разветвленная сеть микросервисов, через которые "Утконос" собирал информацию; кроме того, экспортировались данные из рекламных офисов.

За обработку данных во внешнем контуре отвечал OWOX BI, а за обработку данных во внутреннем контуре - AirFlow. С помощью AirFlow данные из Amplitude, AppMetrica и AppsFlyer собирались во внутреннем контуре с помощью API. В качестве хранилища данных использовался ClickHouse, куда поступали логи системы потока данных. Основные таблицы сырых данных хранились в Google BigQuery. Отдельные выжимки данных поступали в Oracle, там происходило объединение и обогащение данных, а затем визуализация с помощью BI-сервиса - Qlik Sense.

В результате некоторые рекламные платформы и внутренние сервисы от внешних партнеров вышли из существующей схемы. Для Oracle была прекращена поддержка и обновления, а Qlik Sense, срок действия лицензии которого истекал в сентябре 2022 года, был отключен.

Что касается целевой архитектуры, компания "Утконос" пришла к следующему: на стороне веб-сайта потоковая передача сырых данных через платформу MTRENDO-HOLOWAY M&H Apps. Хиты с сайта перенаправляются на приемник, расположенный в Я.Облаке, который хранит хиты в режиме реального времени. Размещение приемника в своем доменном пространстве позволяет увеличить объем трекинга, открывает прямой доступ к first-party cookie, позволяет использовать собственный стабильный идентификатор пользователя и не зависеть от платформы веб-трекинга GTM/Matomo/Yandex. Сессии GA360 строятся в формате GA360 по расписанию раз в день. В качестве внутреннего хранилища используется open-source продукт PostgreSQL, а из BI систем был выбран open-source SuperSet, который "Утконос" развернул на своих серверах. Лента" пока использует Power BI.

Также потенциально рассматривается возможность перехода с GTM на Matomo. Это достаточно ресурсоемкий процесс, кроме того, в этом случае существует риск некорректного переноса сущностей GTM в Matomo. Поэтому миграция находится в процессе тестирования.

Немного об опыте работы с ClickHouse. Миграция с Google BigQuery на ClickHouse оказалась не такой уж простой - во-первых, между двумя сервисами есть различия в синтаксисе, что в целом решаемо. Во-вторых, обработка в ClickHouse не всегда проходит успешно, и некоторые запросы не выполняются. Возможно, дело в тонкостях настроек администрирования, которые можно было бы оптимизировать.

В аналитике мобильных приложений произошли следующие изменения: в конце июля компания Amplitude сообщила "Утконосу", что прекращает сотрудничество с ритейлером через 30 дней. Все отчеты в интерфейсе Amplitude также были ограничены на этот период. Однако можно было собирать данные через API, обрабатывать их на стороне "Утконоса" и визуализировать в BI-системе. Далее, некоторое время использовались счета с пробным периодом. Это дало время перейти на аналитический сервис AppMetrica, чтобы закрыть задачи продуктовой аналитики, собирая сырые данные через API в облачное хранилище Yandex ClickHouse.

В части аналитики маркетинга приложений полноценной альтернативы не нашлось. С точки зрения источников данных и источников привлечения трафика, около 60% поддерживались AppMetrica. Из-за 40% недостающей информации, в качестве подстраховки, был подключен немецкий продукт Adjust, исходя из соображений стоимости, а также меньшего риска отключения. В итоге, если бы один из текущих сервисов (AppsFlyer или Adjust) был отключен, нам пришлось бы полностью перейти на AppMetrica и искать дополнительные способы получения полного объема данных. FireBase также был бы альтернативным вариантом в этом случае, но он также подвержен риску из-зи нативного потокового сбора данных в Google BigQuery, который также может быть полностью отключен.

Отчет строился по покупателям, а не пользователям. Была реализована возможность фильтрации по источнику, колл-центру, мобильному приложению, кассе. Выводились пользователи, сумма или заказы.

Команда "Утконос" планирует подготовиться к ookieless world с точки зрения минимизации потерь качества данных. Эта задача широко обсуждалась еще в конце 2021 года, но 2022 год принес новые вызовы, которые временно изменили приоритеты команды. Уже сейчас заметно, что качество данных становится все хуже и хуже, особенно для браузеров Safari, Mozilla и Firefox, поэтому разработка в этой сфере будет продолжена.