Первый эксперимент: как нейросеть видела пиццерию

Зачем это было нужно

В сентябре лаборатория только появлялась. Была гипотеза: видимость бренда в ответах нейросети зависит не от размера бизнеса, а от качества его цифрового следа. Чтобы её проверить, нужно было хоть что-то замерить — и замерить руками.

Выбрали близкую и живую нишу: доставка пиццы в Томске. Название бренда мы не раскрываем — в публичной версии он значится как [зашифровано]. Данные и ход работы открыты, имя — нет.

Никакого плана на масштаб тогда не было: это был первый тест на вопрос «а можно ли вообще так мерить». Ответ — можно. Только с оговорками: часть формул тогда считалась вслепую, и на пересчёте нашлась неточность — о ней ниже, в разделе «Проверка метрик».

Как выглядел замер

Формат был максимально простым. Веб-версия Perplexity в браузере, без аккаунта — анонимная сессия, как у обычного пользователя. Один вопрос — один ответ, ответы фиксировались вручную.

Двадцать запусков: 18 базовых запросов в семи группах — информационные, коммерческие, навигационные, сравнительные, рейтинговые, «альтернативы» и запросы об отзывах — плюс два повтора для проверки стабильности. Один запрос из категории «кейсы» вернулся без полезного ответа, и мы его исключили из выборки: в итоге статистика по 19 прогонам.

Параллельно, тем же способом, был разобран набор ответов бренда на отзывы на 2ГИС: дружелюбие, персонализация, призывы к действию — критерии формулировались по ходу, в рабочей таблице.

Что заметили

• Бренд упомянут в 12 из 19 ответов (Mention Rate 63,16%) — и в среднем на первой-второй позиции (Position Score 1,75).
• В сравнительных и навигационных вопросах бренд замечали почти всегда — «сильная зона» была уже тогда.
• В информационных вопросах — «какая пицца популярная», «как выбрать доставку» — бренд не появлялся вовсе (0 из 4). Первая зона слепоты, которую мы увидели вживую.
• Сайт бренда оказался единственным среди конкурентов, который нейросеть цитировала как источник: 7 из 12 упоминаний — со ссылкой (Citation Rate 58,33%).
• Фактов без ошибок — 12 из 12 (Accuracy 100%), тональность умеренно позитивная (Sentiment 0,58).
• Ответы собирались с карт, справочников и соцсетей — ещё до того, как мы начали вести реестр «кормящих источников».
• Повторные вопросы давали почти одинаковые ответы (Consistency 1,00): нестабильность канала — то, о чём мы заговорили позже.

Категории запросов: где бренд был, а где нет

Ключевой инсайт: бренд полностью невидим в информационных запросах — когда пользователь спрашивает «какая пицца самая популярная» или «как выбрать доставку», бренд не появляется вообще. При этом в сравнительных и навигационных вопросах видимость стопроцентная. В рейтинговой категории назван в половине ответов: имена конкурентов в публичной версии не приводим — сетевые игроки с большими бюджетами названы чаще.

Проверка метрик: одна найденная неточность

Методика только рождалась, и формулы считались вслепую. Когда позже пересчитали метрики вручную, выяснилось: формула доли голоса (SoV) не учитывала упоминания конкурентов — и потому выдавала завышенную долю голоса.

Пересчитали правильно — с учётом всех брендов, которых нейросеть назвала в ответах: SoV 15,19%. Заодно пересчитался и сводный индекс: AI Visibility 58,51%.

Разбор ответов на отзывы

Второй частью эксперимента был ручной разбор ответов бренда на отзывы на 2ГИС: 20 отзывов, из них 14 с ответом. По каждой реакции фиксировались тон, персонализация, призыв к действию и «работает ли» ответ — ведёт ли он клиента к следующему шагу.

• Тон: 93,33% ответов дружелюбные, формальных почти нет — бренд уже тогда старался отвечать живо.
• Содержание: 100% ответов упоминают проблему и предлагают решение.
• Слабое место: персонализация — только 26,67% обращаются по имени или к деталям отзыва; столько же ответов содержат призыв к действию.
• Покрытие: четверть отзывов (5 из 20) остались без ответа.
• Среднее время ответа — 11,6 часов, средняя длина — около 19 слов.

Вывод того времени: бренд дружелюбно и конструктивно отвечает, но теряет повод для продолжения диалога — нет обращения по имени и призыва к следующему шагу. Позже этот ручной разбор вырос в конвейер обработки отзывов.

Рекомендации из кейса

По итогам замера тогда же записали пять точек роста — большинство из них мы позже применили к себе и к клиентам:

Чего тогда ещё не было

Методика только начинала складываться. Формулы собирались на ходу, подсчёты делались вручную, всё жило в блокноте и рабочей таблице. Это не слабость — это отправная точка: с этого черновика выросли и Lab Protocol, и приборы, которыми мы пользуемся сейчас.

Эксперимент был пилотным. Выводы — про направление, а не про статистику: 19 прогонов — это ориентир, не доказательство.

Что из этого выросло

• Публичный замер «Топ-160 Томска» — рейтинг AI-видимости целого города.
• Метрики GEO-видимости — из ручных формул этого замера выросла система из семи показателей.
• Автоматические прогоны — по расписанию, дважды в неделю, с отчётами.
• Конвейер обработки отзывов — тот ручной разбор вырос в программу.
• Реальные клиенты: пилоты и рабочие замеры — теперь по протоколу, с датами и честными ограничениями.

Ограничения и честность

• Одна нейросеть (Perplexity), одна локация, 19 прогонов — выборка маленькая для статистических выводов.
• Ответы ИИ меняются со временем — замер фиксировал состояние на момент прогона.
• Методика была черновой: подсчёты велись вручную, до формализации. Найденную неточность в расчёте SoV мы исправили и описали открыто.
• Название бренда не раскрываем; конкурентов в публичной версии не называем.