Шесть проверок перед внедрением AI в компании
ВкусВилл гонял каждую гипотезу через 3–4 недели A/B-теста и забыл метрику в одном тесте. Что проверить в компании до пробного запуска ИИ: роли, данные, метрику, остановку.
Каждая новая гипотеза в команде рекомендательных систем ВкусВилла уходила в полный A/B-тест на 3–4 недели. Пока тест шёл, появлялись новые гипотезы, и очередь росла. Если уже через неделю метрики снижались, команда спорила: дождаться корректной статистики или остановить тест, чтобы не терять деньги и не портить покупателям выдачу.
Это кейс про рекомендательные модели, AI-агента здесь нет. Но заминка знакома многим, кто занимался внедрением AI в компании: модель есть, а процесс вокруг неё не готов. ВкусВилл крупная сеть, однако пропущенная метрика и несогласованные роли случаются и в небольших командах.
Офлайн-проверки, внутреннее тестирование и полный A/B-тест у команды были. Но для быстрого отбора гипотез такая схема оказалась тяжёлой. К тому же в начале команда не сделала три вещи: не зарезервировала аудиторию для коротких тестов, не договорилась с аналитиками о разборе результатов и не определила все метрики до запуска.
Три дня на 10% аудитории и забытая метрика
Команда ввела отдельный короткий эксперимент. Гипотеза проходит офлайн-проверку, технический тест и ручной просмотр несколькими продактами и аналитиками, и только после этого идёт примерно на 10% аудитории на 3 дня. На этом этапе команда смотрит, в какую сторону сдвинулись метрики. Если они заметно падают, гипотезу прекращают. Если сильного падения нет, обсуждают полный A/B-тест.
Три дня и 10% аудитории это внутренняя договорённость команды: в источнике сказано, что договорились смотреть примерно три дня. Отдельные 10% аудитории под быстрые тесты команда пока только обсуждает.
Самая показательная ошибка случилась в тесте разнообразия рекомендаций. Команда забыла включить метрику разнообразия и смотрела конверсии и защитные показатели. Результат оказалось трудно разобрать. После этого метрики стали согласовывать заранее, а разбор результатов договаривать с аналитиками до запуска.
По наблюдению автора кейса, до большого теста теперь доходит меньше гипотез, команда спорит реже и движется быстрее.
Читайте такжеКакие цифры запросить до оплаты внедрения AI-агентовВнедрение AI в компании: что проверить до запуска
Из истории ВкусВилла можно взять четыре действия: заранее распределить роли, записать этапы процесса, согласовать метрики и определить условие остановки. Ещё два пункта подтверждают другие российские компании. Вместе это шесть проверок, которые стоит пройти до пробного запуска.
| Проверка | Что должно существовать до запуска | Пример из практики |
|---|---|---|
| Ответственность | Человек, который принимает решения по процессу, и роли, распределённые заранее | ВкусВилл: разбор результатов с аналитиками не был согласован до первых тестов |
| Процесс | Входы, шаги, проверки и результат записаны | ВкусВилл разложил эксперимент на шаги: офлайн-проверка, технический тест, ручной просмотр, короткий тест, полный A/B. Российская технологическая компания около 4 месяцев переделывала описания процессов для внутреннего ассистента: структура, актуальность и неоднозначность мешали стабильным ответам |
| Данные и доступы | Известны источники, их качество, права доступа и то, что можно передавать наружу | Та же компания добавила валидацию, предварительную очистку, оценку качества и ручной аудит: на старте один сценарий оценивался примерно в 6 из 10, для него ориентиром ручной проверки стали 10% ответов |
| Состояние «до» | Метрики процесса до запуска и критерии успеха | ВкусВилл: в тесте разнообразия забыли метрику разнообразия |
| Правило остановки | Заранее понятно, какой результат прекращает тест | ВкусВилл: заметное падение метрик за 3 дня останавливает гипотезу |
| Люди | Сотрудники умеют работать с системой и знают её ограничения | Российская компания-разработчик: до обучения сотрудники вне ИТ почти не применяли AI, после года практикумов, по словам руководителя, около 80% используют навыки |
Порядок такой: процесс и ответственность, данные и доступы, исходный замер, ограниченный пробный запуск, правило остановки, проверка человеком и пользователями. В конце решение: прекратить, доработать или масштабировать.
Читайте такжеОписание бизнес-процесса проверяют на последнем реальном случаеКоротко
- Назначьте ответственного и распределите роли Один человек решает по процессу, а порядок разбора результатов с аналитиками согласован до запуска.
- Запишите процесс по шагам Входы, действия, проверки и результат должны читаться одинаково у любого сотрудника.
- Выясните, какие данные уходят в систему Узнайте источники, качество, права доступа и куда передаются данные, особенно персональные.
- Снимите состояние «до» и согласуйте метрики Выберите метрики, включая защитные, до первого запуска.
- Задайте правило остановки Решите заранее, какой результат прекращает пробный запуск.
- Обучите людей на реальных задачах Сотрудники должны знать, что система умеет, чего не умеет и что делать при ошибке.
Частые вопросы
С чего начинается внедрение ИИ в компании?
С одного процесса и шести проверок: у него есть ответственный, он записан по шагам, известны данные и доступы, снято состояние «до», задано правило остановки, люди умеют работать с системой. Модель и подрядчика выбирают после этого.
Когда пробный запуск ИИ можно масштабировать?
Когда эффект подтверждён бизнес-метрикой. X5 связывает эффект AI с бизнес-метриками и проверяет его через A/B-тесты и финансовые модели: смотрит вклад в EBITDA, операционную экономию и совокупную стоимость владения. По оценке самой компании, в 2025 году дополнительный операционный эффект составил около 5 млрд рублей, а корпоративным AI-сервисом воспользовались более 32 тыс. сотрудников, 21 тыс. из них регулярно.
Что делать, если сотрудники не пользуются ИИ?
Один из рабочих путей: практика на реальных задачах сотрудников. В одной российской компании-разработчике маркетинг, продажи и бухгалтерия до обучения почти не применяли AI. После примерно года регулярных практических занятий руководитель сообщил, что около 80% сотрудников вне ИТ используют полученные навыки. Сбор информации и подготовка шаблонов ускорились на 30–40% по трекеру компании, подготовка данных для пресейла сократилась примерно с 12 до 3–4 часов с ручной проверкой.
Когда с ИИ возникает проблема по 152-ФЗ?
Закон регулирует обработку и передачу персональных данных, а страна происхождения модели критерием в нём не названа. Статья 18 ограничивает работу с базами персональных данных граждан РФ за пределами страны, закон перечисляет исключения. Статья 12 требует уведомить уполномоченный орган до трансграничной передачи. Перед отправкой клиентских или кадровых данных во внешнюю AI-систему установите, какие данные уходят, куда, кому и на каком основании. Схему конкретного проекта проверяет специалист по персональным данным.
Обязательно ли разворачивать ИИ у себя?
Это зависит от данных, которые попадают в систему, и от места их обработки. Если персональных данных в запросах нет, вопросы по статьям 12 и 18 не встают. Если есть, действуют статьи 12 и 18 из ответа выше.
Какие барьеры внедрения ИИ называют российские организации?
По расчётам НИУ ВШЭ на обследованиях Росстата 2025–2026 годов, AI используют 5,2% крупных и средних организаций. Первым барьером они назвали высокие затраты (54%), затем недостаток и низкое качество данных (34%), нехватку кадров (33%) и состояние ИКТ-инфраструктуры (32%). Малое предпринимательство в обследование не входило.
Какие цифры запросить до оплаты внедрения AI-агентов
ТЕХНОНИКОЛЬ отказалась заменять операторов контакт-центра ИИ-агентом и оставила ответ за человеком. Какие цифры, условия приёмки и пункты о данных проверить до оплаты.
OPERATIONSАвтоматизацию бизнес-процессов начинают с замера, а не с системы
Сервисная компания по установке межкомнатных дверей начала с четырёх процессов и обошлась без тяжёлой ERP: срок услуг снизился на 35%. Как выбрать первый процесс и что замерить до запуска.
OPERATIONSОписание бизнес-процесса проверяют на последнем реальном случае
Кейс «Островка»: текстовую часть описания процесса сократили с 4 часов до 10 минут, а схема и проверка остались. Что собрать на интервью и как проверить черновик.
OPERATIONSПлан адаптации сотрудника: что сделать до первого рабочего дня
На примере Газпромбанка разбираем, что подготовить до выхода сотрудника, как задать контрольные точки и какие части адаптации можно автоматизировать.