Какую часть работы с данными уже можно передать ИИ — и где его нужно проверять
На ProductSense’26 Сергей Захарченко вместе с участниками разобрал падение выручки интернет-магазина с помощью ChatGPT. Практика показала: ИИ уже может пройти значительную часть анализа, но без контекста и проверки легко получить убедительный, но неверный вывод.
10 сентября Сергей Захарченко, создатель платформы продуктовой аналитики «Динамика», провёл 90-минутный практический мастер-класс на ProductSense 2026 — конференции по менеджменту продуктов.
В центре мастер-класса были задачи менеджеров продукта и аналитиков цифровых и e-commerce-продуктов, которые хотят использовать ИИ для самостоятельной работы с данными и понимать, где его ответы требуют проверки. На практике участники проверяли, какую часть разбора изменения показателей уже можно передать ИИ.
Какие задачи участники поручили ИИ
Участники подключили ChatGPT к демо-счётчику «Яндекс Метрики» и начали с падения выручки интернет-магазина. Сначала попросили ИИ показать визиты, заказы и выручку по дням. Затем — определить, на каком этапе воронки «карточка товара → корзина → оформление → заказ» изменилась конверсия и с чем это изменение может быть связано.
ИИ самостоятельно обращался к данным, рассчитывал показатели, строил воронку, сравнивал периоды и предлагал возможные объяснения.
При этом участники проверяли не только полученные цифры, но и что именно ИИ считает заказом, каким способом строит воронку и достаточно ли данных для предложенного объяснения. Если определения или способы расчёта расходились с принятыми правилами, их уточняли и сохраняли для следующих запросов.
Так одна задача прошла путь от получения показателей до локализации изменения и проверки возможных причин — без необходимости вручную получать каждый промежуточный результат.
Где ИИ дал убедительный, но неверный ответ
ИИ может правильно посчитать не тот показатель. ChatGPT самостоятельно определил, что считать заказом. При сверке выяснилось, что в данных есть повторные purchaseID — идентификаторы покупок. Расчёт мог быть технически корректным, но давать не то количество заказов, которое имела в виду команда.
Один вопрос может дать несколько корректных ответов. Одну и ту же воронку можно считать внутри одного визита или между визитами, по визитам или по уникальным пользователям. Эти способы дали разные результаты. Поэтому недостаточно попросить ИИ «посчитать воронку» — нужно определить, какой способ расчёта соответствует задаче.
Правдоподобное объяснение ещё не доказывает причину. ИИ способен быстро предложить возможную причину падения показателя, но уверенность ответа сама по себе ничего не подтверждает. На мастер-классе участники сравнивали проблемный день с обычным периодом, находили конкретный этап с изменившейся конверсией и отдельно проверяли предложенные ИИ объяснения.
Сергей свёл проверку к четырём вопросам:
- корректны ли исходные данные;
- правильно ли выбран метод расчёта;
- воспроизводится ли результат;
- подтверждается ли вывод независимой проверкой.
Что это меняет в работе продуктовой команды
ИИ уже можно передать значительную часть промежуточной работы с данными: получить показатели, сравнить периоды и сегменты, построить воронку, найти участок изменения, сформировать и проверить гипотезы.
Для менеджера продукта это означает, что после изменения выручки или конверсии ему всё меньше нужно вручную получать каждый следующий срез или расчёт. ИИ способен сам пройти значительную часть последовательности анализа.
Работа человека при этом не исчезает, а меняется. Менеджеру продукта и аналитику остаётся определить смысл показателей, выбрать подходящий способ анализа, отличить наблюдаемый факт от возможного объяснения и решить, достаточно ли оснований для вывода.
«ИИ уже позволяет менеджеру продукта самостоятельно пройти значительную часть работы с данными: получить показатели, построить воронку, сравнить периоды и проверить гипотезы. Поэтому важен не только ответ ИИ, но и возможность понять, что именно он посчитал, каким способом и на каких данных основан вывод», — говорит Сергей Захарченко.
Почему эта тема связана с «Диной»
Ошибки, которые участники разбирали на ProductSense, команда «Динамики» ранее изучала при разработке «Дины» — ИИ-ассистента платформы продуктовой аналитики.
На мастер-классе участники фактически собирали вокруг ChatGPT необходимые условия для работы: подключали данные, задавали определения показателей, уточняли правила расчёта и проверяли полученные выводы.
В «Динамике» эта работа становится частью общей системы команды. Определения показателей и контекст продукта закрепляются внутри неё, «Дина» выполняет повторяющуюся часть исследования, а данные, расчёты и полученные результаты остаются доступными для проверки человеком.
Так эксперимент с обычным ИИ показывает более общий принцип: часть аналитической работы уже можно передать системе, но ценность появляется не просто от скорости ответа, а от возможности понять, на каких данных и расчётах этот ответ основан.
