Как измерять эффективность GEO-продвижения без ложных выводов
Что показывают контрольные замеры в ответах нейросетей, как сравнивать результаты и почему рост упоминаний ещё не доказывает влияние GEO-работ.
Допустим, после проведения GEO-работ ваша компания появилась в рекомендациях ChatGPT или Алисы. Можно ли считать это результатом продвижения?
Не обязательно.
И обратная ситуация: вы проверили несколько вопросов, не обнаружили свою компанию в ответах и решили, что GEO-продвижение не работает.
Здесь проблема в том, что по одной удачной или неудачной рекомендации нельзя оценить эффективность всей работы.
Нужны исходные данные, понятная методика проверки и возможность сравнивать результаты в одинаковых условиях. Причём важно понимать, что именно мы измеряем и какие выводы можем сделать на основании полученных данных.
Почему я решил самостоятельно измерять GEO
В контекстной рекламе я привык работать с конкретными показателями.
Есть рекламные расходы, количество обращений, стоимость лида. Если настроена сквозная аналитика, можно посмотреть, какие обращения дошли до заключения договора и оплаты.
Но даже в Яндекс Директе не всегда получается однозначно объяснить, почему изменился тот или иной показатель.
Допустим, стоимость обращения снизилась. Это результат изменений в рекламной кампании или на снижение повлияли другие обстоятельства? Чтобы ответить, необходимо анализировать данные, а не просто сравнивать две цифры.
С GEO ситуация ещё сложнее.
Мы не видим всех вопросов, которые потенциальные клиенты задают нейросетям. Не всегда можем установить, какие источники использовались при формировании ответа. И, что немаловажно, не управляем рекомендациями ИИ так, как управляем рекламными объявлениями в Яндекс Директе.
Поэтому я решил начать с собственного проекта DZDirect.
Задача была следующая: проверить, как нейросети представляют мои услуги, зафиксировать исходные результаты и в дальнейшем использовать их для сравнения.
Первый срез: 41 вопрос и 205 ответов
Для первоначального исследования я подготовил 41 вопрос. Каждый из них проверил в пяти ИИ-системах.
В общей сложности получил 205 ответов.
Все вопросы разделил на две группы.
Первая — тематические вопросы.
Здесь меня интересовало, рекомендует ли нейросеть мои услуги, когда пользователь ищет специалиста по контекстной рекламе для B2B-компании.
То есть человек не спрашивает непосредственно обо мне или DZDirect. У него есть определённая задача, для решения которой он ищет исполнителя.
Вторая — брендовые вопросы.
В этом случае пользователь уже знает имя Дмитрия Западнова или название проекта DZDirect и хочет получить дополнительную информацию.
Здесь проверяем, насколько правильно нейросеть описывает специализацию, профессиональную деятельность и другие сведения.
Почему я разделяю эти показатели?
Потому что нейросеть может правильно рассказывать о специалисте, когда её спрашивают по имени, но при этом не рекомендовать его по тематическим запросам.
И наоборот. Компания может появляться среди рекомендуемых поставщиков, но информация о ней будет содержать ошибки.
Объединять такие результаты в один показатель эффективности неправильно. Они описывают разные стороны присутствия компании в ответах ИИ.
Почему результаты первого исследования нельзя переносить на весь рынок
Предположим, мы подготовили 40 тематических запросов и получили упоминание компании в восьми ответах.
Получается, что компания присутствует в 20% проверенных ответов.
Математически всё правильно. Но что означает эта цифра?
Только то, что в конкретной выборке, при выбранных условиях проверки, компания была упомянута восемь раз.
Мы не можем утверждать, что её рекомендуют в 20% всех ответов нейросетей.
Тем более нельзя делать вывод, что компания получает 20% потенциальных клиентов, использующих ИИ для поиска поставщиков.
Для этого у нас просто нет необходимых данных.
Результат зависит от того, какие вопросы мы подготовили, какие ИИ-системы использовали и как именно проводили исследование.
Поэтому я рассматриваю такие цифры как показатели контрольной выборки.
Они позволяют оценивать изменения внутри нашего исследования, но не описывают весь рынок.
Что может исказить результаты повторной проверки
Здесь есть несколько обстоятельств, которые необходимо учитывать. Причём некоторые из них могут заметно повлиять на результат, даже если с момента предыдущего исследования на сайте компании ничего не менялось.
История диалога и персонализация
Допустим, мы сначала подробно рассказали ChatGPT о своей компании, перечислили услуги, показали сайт, а затем попросили порекомендовать специалиста по Яндекс Директу.
Если в ответе появится наша компания, можно ли считать такую рекомендацию независимой?
Нет. Потому что мы сами предварительно предоставили нейросети информацию.
Поэтому важно учитывать историю диалога и доступный пользовательский контекст. Иначе можно получить результат, который будет отражать содержание предыдущего общения, а не самостоятельный выбор нейросети.
Формулировки вопросов
Другая ситуация — изменение самого запроса.
Например, в первом исследовании мы спрашивали, кто занимается настройкой Яндекс Директа для производственных предприятий.
А во втором попросили подобрать специалиста по контекстной рекламе для B2B.
Вопросы похожие, но не идентичные. Соответственно, нейросеть может предложить разные варианты.
Поэтому при повторной проверке я считаю необходимым сохранять исходные формулировки вопросов.
Обновления ИИ-систем
Между двумя исследованиями могут измениться сами модели, используемые ими поисковые механизмы или доступные источники информации.
И если после этого компания появилась в рекомендациях, нельзя автоматически приписывать результат изменениям, которые мы внесли на сайте.
Возможно, они действительно повлияли. Но это ещё необходимо подтвердить.
Изменчивость ответов
Даже одна и та же нейросеть может по-разному отвечать на одинаковые вопросы.
Сегодня она предложила пять компаний, завтра четыре, а при следующей проверке список снова изменился.
Поэтому один ответ я бы не рассматривал как достаточное основание для окончательного вывода.
Как я организую повторные измерения
Для каждого вопроса необходимо сохранить исходные данные.
В первую очередь это точная формулировка запроса, название ИИ-системы и дата проведения проверки.
Дальше фиксируем сам ответ и оцениваем, что именно в нём произошло.
Упомянута ли компания? Рекомендуется ли она как подходящий исполнитель или просто присутствует в тексте? Правильно ли описана её деятельность? Нет ли фактических ошибок?
Если нейросеть приводит ссылки, сохраняем и их.
Таким образом, у нас постепенно формируется история наблюдений, по которой можно сравнивать результаты.
Но этого недостаточно.
Отдельно я считаю необходимым вести учёт выполненных GEO-работ.
Например, когда изменили информацию на определённой странице сайта, опубликовали экспертную статью или исправили ошибку в описании компании на внешней площадке.
Для чего это нужно?
Чтобы впоследствии можно было сопоставить выполненные действия и изменения в ответах нейросетей.
При этом совпадение событий по времени ещё не означает, что между ними существует причинно-следственная связь.
Зачем нужен контрольный замер
После первого исследования DZDirect я запланировал повторную проверку на 29 октября 2026 года.
Задача контрольного среза — пройти по первоначальному набору вопросов и посмотреть, что изменилось.
Причём меня интересует не только количество рекомендаций.
В ходе предыдущего исследования были обнаружены ошибки идентификации. Поэтому отдельно необходимо проверить, сохранились ли они, насколько правильно нейросети описывают мою специализацию и появились ли новые источники информации.
Дальше возможны разные ситуации.
Первый вариант: компания стала чаще появляться в тематических ответах, а количество ошибок уменьшилось.
Это положительная динамика внутри нашей выборки. Но пока не доказательство того, что результат получен исключительно благодаря выполненным GEO-работам.
Второй вариант: существенных изменений нет.
В таком случае нужно разобраться, какие работы были выполнены, достаточно ли времени прошло после их проведения и что ещё могло повлиять на результат.
Третий вариант: показатели стали хуже.
Здесь тоже не стоит сразу делать вывод, что GEO-продвижение навредило компании. Сначала необходимо проверить условия исследования и характер изменений.
То есть сам по себе контрольный замер нужен не для того, чтобы получить красивую цифру. Его задача — показать, что происходит с представленностью компании в выбранной группе запросов.
Какие показатели эффективности GEO я считаю полезными
Для себя я разделяю их на три группы.
Первая — представленность компании в ответах ИИ.
Смотрим количество и долю ответов, в которых компания упоминается или рекомендуется.
Причём считаем эти показатели отдельно для тематических и брендовых вопросов.
Вторая — точность информации.
Здесь оцениваем, насколько правильно нейросеть определяет компанию, описывает её деятельность и профессиональную специализацию.
Отдельно фиксируем фактические ошибки и изменения в содержании ответов.
Третья — бизнес-результат.
Это уже обращения и сделки, которые можно обоснованно связать с использованием нейросетей потенциальными заказчиками.
И вот здесь начинается самая сложная часть.
Допустим, после GEO-продвижения компания получила несколько новых обращений.
Как определить, какие из них связаны с рекомендациями ChatGPT или Алисы?
По обычной статистике посещаемости сайта это удаётся установить далеко не всегда. Пользователь мог узнать о компании из ответа нейросети, а затем самостоятельно найти её в Яндексе, перейти на сайт и оставить заявку.
Поэтому количество переходов из ИИ-сервисов и реальное влияние этих сервисов на обращения — не обязательно одинаковые показатели.
Но и записывать все новые обращения в результаты GEO-продвижения нельзя.
Если мы не можем подтвердить источник или обоснованно установить его влияние, лучше прямо указать это ограничение в отчёте.
Что я считаю результатом GEO-продвижения
Для меня важен не сам факт появления компании в ответе нейросети.
Сначала необходимо понять исходную ситуацию. Какие сведения об организации уже известны ИИ, по каким вопросам она появляется в рекомендациях и какие ошибки допускаются в ответах.
Затем определить, что именно необходимо исправить или дополнить, выполнить соответствующие работы и провести повторное исследование.
После этого уже можно оценивать изменения.
Если компания стала чаще появляться в ответах, это один результат.
Если нейросети перестали путать её с другими организациями или стали точнее описывать специализацию, это другой результат.
А если удалось установить связь между использованием ИИ потенциальным клиентом и последующей сделкой, мы получаем данные уже о коммерческом результате.
Эти показатели связаны между собой, но не заменяют друг друга.
Поэтому я считаю, что эффективность GEO-продвижения необходимо оценивать по нескольким направлениям и обязательно указывать ограничения исследования.
Иначе можно получить отчёт, в котором компания присутствует в 30%, 50% или даже 80% ответов, но никто не сможет объяснить, что именно означают эти проценты и какую пользу они принесли бизнесу.