Чистка семантики Яндекс Директа через n-граммы
Когда в отчёте тысячи поисковых запросов, мусор глазами не вычистить. N-граммы решают это за минуты: разбираем запросы на слова, складываем метрики и сразу видим, где сливается бюджет. Разберу метод и где он берётся. Собрать минус-слова можно прямо в моём анализаторе отчёта Директа.
Главное
- N-граммы складывают метрики запросов по словам и сочетаниям, и слитый бюджет становится виден сразу.
- Униграммы ловят словесный мусор, биграммы и триграммы — нерелевантные намерения вроде «своими руками».
- Словоформы перед подсчётом приводят к одной основе; минус-слова в Директе морфологию учитывают сами.
- Сортируют по расходу, а не по числу запросов.
Оглавление
В чём проблема ручной чистки
Поисковая кампания со временем накапливает огромный отчёт по запросам, по которым показывались объявления. Среди них всегда есть мусор: нерелевантные фразы, по которым кликают, но не покупают. Беда в том, что каждая такая фраза обычно встречается один или два раза, и по отдельности она незаметна. Прокрутить тысячи строк глазами и поймать закономерность невозможно, а именно в сумме мелочей и утекает бюджет.
Пример. Слово бесплатно может прятаться в трёхстах разных запросах вроде скачать бесплатно, попробовать бесплатно, бесплатный замер. Поодиночке каждый запрос копеечный, а вместе они съедают заметную часть бюджета и почти не конвертируются. Чтобы это увидеть, запросы нужно не читать построчно, а агрегировать по словам.
Что такое n-граммы
N-грамма это фрагмент из N идущих подряд слов. Униграмма это одно слово, биграмма два слова, триграмма три. Метод простой: каждый поисковый запрос разбивается на такие фрагменты, а метрики запроса, показы, клики, расход и конверсии, приписываются каждому фрагменту. Потом одинаковые фрагменты складываются.
В результате вместо тысяч уникальных запросов мы получаем компактный список слов и сочетаний с суммарной статистикой. Дальше его достаточно отсортировать по расходу и посмотреть, у каких фрагментов трата есть, а конверсий нет.
расход(слова) = сумма расходов всех запросов, где встречается это слово
Как это выглядит на данных
Возьмём упрощённый отчёт по продаже пластиковых окон. После разбора на униграммы и сортировки по расходу картина проясняется мгновенно.
| Слово | Запросов | Расход | Конверсии |
|---|---|---|---|
| окна | 7 | 13 571 | 13 |
| пластиковые | 7 | 12 671 | 10 |
| купить | 2 | 5 901 | 9 |
| бесплатно | 2 | 2 220 | 0 |
| своими руками | 1 | 1 900 | 0 |
Сразу видно, что окна, пластиковые и купить это рабочее ядро с конверсиями, а бесплатно и своими руками это слитый бюджет: расход есть, продаж нет. Их нужно минусовать. На реальном аккаунте таких строк будут десятки, и каждая это сэкономленные деньги.
Зачем нужны 1, 2 и 3 слова
Униграммы ловят явный словесный мусор: бесплатно, отзывы, форум, вакансии, реферат. Это первый и самый быстрый проход. Но одно слово не всегда мусор само по себе. Например, слово руками нейтрально, а вот сочетание своими руками уже сигнал нерелевантного намерения, человек хочет сделать сам, а не купить услугу.
Поэтому после униграмм идут биграммы и триграммы. Они ловят целые намерения: ремонт своими руками, как сделать самому, бесплатно скачать инструкцию. Минусовать лучше точечно: где достаточно одного слова, минусуем слово, где мусор именно в связке, минусуем фразу, чтобы не отрезать заодно нужные запросы.
Почему важна русская морфология
Если считать слова как есть, доставка, доставки и доставкой попадут в три разные строки, и суммарная статистика по слову размажется. Поэтому перед подсчётом словоформы стоит привести к единой основе стеммером. Тогда все падежи слова соберутся в одну строку, и его реальный вес станет виден.
Приятный момент: минус-слова в Яндекс Директе сами учитывают морфологию. Добавив минус-слово доставка, вы отсекаете все его формы автоматически. Поэтому достаточно одной нормализованной основы, не нужно перечислять падежи руками.
Частые ошибки
- чистят только по одному слову и пропускают мусорные намерения, которые видно лишь в биграммах;
- минусуют слишком широко и режут вместе с мусором рабочие запросы;
- считают словоформы по отдельности и не видят реальный вес слова;
- смотрят на число запросов, а не на расход, и тратят время на дешёвый хвост вместо дорогого мусора;
- чистят семантику один раз на старте и больше не возвращаются, хотя новые мусорные запросы появляются постоянно.
