Предсказать рейтинг SEO с помощью машинного обучения [5 шагов!]

1. Рост машинного обучения в SEO
2. Случай - определение ключевых слов с высоким потенциалом ранжирования путем прогнозирования изменений...
3. Использование машинного обучения для определения потенциала ранжирования - шаг за шагом
4. Шаг 2: Сбор и преобразование данных, которые нам нужны
5. Шаг 3: Обучение модели машинного обучения
6. Шаг 4. Прогнозирование рейтинга для оптимизированных целевых страниц.
7. Шаг 5: Получение полного результата для всех потенциальных ключевых слов, которые мы определили
8. Заключительные соображения
9. Вас интересует больше подобных экспериментов?
10. Вы хотите попробовать это сами?

Чтобы иметь возможность прогнозировать изменения положения после возможных мер оптимизации на странице, мы обучили модели машинного обучения с данными ключевых слов и факторами оптимизации на странице. С помощью этой модели мы теперь можем автоматически анализировать тысячи потенциальных ключевых слов и выбирать те, для которых у нас есть хорошие шансы на получение интересных рейтингов, всего за несколько простых оптимизаций на странице.

На конец В этой статье мы поделимся с вами всем исходным кодом этого эксперимента по машинному обучению, чтобы вы могли попробовать его сами!

Хотите прочитать или поделиться этой статьей на другом языке? Есть Немецкий а также Французский переводы этой статьи доступны.

Рост машинного обучения в SEO

Google уже давно работает над внедрением машинного обучения в свои продукты и услуги. С помощью машинного обучения они могут достичь того, что было бы очень трудно или даже невозможно без него.

Как SEO, мы можем наблюдать за этим развитием с небольшим количеством страха. Если машинное обучение применяется к поисковым алгоритмам, эти алгоритмы становятся все более сложными и более сложными для понимания, что значительно усложняет нашу работу.

Но почему бы нам не использовать машинное обучение для SEO , чтобы не отставать от Google? Если SEO становится все труднее из-за машинного обучения, лучший способ решить эту проблему - использовать машинное обучение самостоятельно, верно?

В этом посте мы покажем вам с помощью практического примера, как вы можете использовать машинное обучение для улучшения ваших усилий по поисковой оптимизации.

Случай - определение ключевых слов с высоким потенциалом ранжирования путем прогнозирования изменений позиции после оптимизации

Как SEO, всякий раз, когда мы хотим найти данные по ключевым словам, в нашем распоряжении есть много отличных инструментов. Задача состоит не в поиске ключевых слов, а в их анализе и расстановке приоритетов. Давайте начнем с просмотра данных по ключевым словам, которые SEMrush дает нам для нашего примера веб-сайта. www.barf-alarm.de , Нас интересуют ключевые слова, по которым мы уже выполняем ранжирование, которые имеют большие объемы поиска.

Как вы можете видеть на скриншоте, SEMrush уже предоставляет нам большое количество ключевых слов (более 1100) для самых ниши тема примера веб-сайта.

Добавляя ключевые слова, по которым ранжируются наши конкуренты, но мы этого не делаем, мы можем легко расширить этот набор ключевых слов до более чем 3600 ключевых слов:

Это все еще не очень большое количество ключевых слов по сравнению с анализом для более крупных веб-сайтов или более широких тем, но это уже сумма, которую было бы очень сложно проанализировать вручную. Тем не менее, нам нужно отфильтровать эти ключевые слова, чтобы выяснить, какие из них актуальны, а какие у нас есть шансы получить 10 лучших позиций за счет оптимизации определенных страниц нашего веб-сайта.

Давайте сделаем это способом машинного обучения! Наша цель - определить, по какому из 3600 ключевых слов, которые мы собрали, возможна позиция 10 лучших.

Использование машинного обучения для определения потенциала ранжирования - шаг за шагом

Шаг 1: Думая о том, как мы выполним эту задачу вручную

Если бы мы хотели отфильтровать наш список из 3600 ключевых слов до нескольких ключевых слов с высоким потенциалом ранжирования вручную, мы бы, вероятно, посмотрели на такие показатели, как объем поиска и цена за клик, чтобы понять конкурентную ситуацию по каждому ключевому слову. Высокие объемы поиска и высокие цены за клик обычно указывают на высокую конкуренцию за ключевое слово, что затрудняет достижение хорошего рейтинга.

Мы также можем проанализировать наших конкурентов. Если очень похожий конкурент занимает место в топ-10 по ключевому слову, на которое мы нацеливаемся, вполне вероятно, что мы также сможем достичь такого рейтинга.

Наконец, что не менее важно, мы можем взглянуть на факторы оптимизации на странице. Если одна из наших страниц уже хорошо оптимизирована для определенного ключевого слова, но занимает только ранжирование на второй или третьей странице, будет очень сложно улучшить ранжирование с помощью мер оптимизации на странице. Если, с другой стороны, у нас нет страницы, на которую нацелено ключевое слово, или только страница, которая не очень хорошо оптимизирована, более вероятно, что мы сможем достичь топ-10 по этому ключевому слову с помощью оптимизации на странице. меры.

Мы можем использовать те же данные, которые обычно анализируем вручную, для обучения алгоритму машинного обучения. Давайте посмотрим на следующие шаги, чтобы узнать, как это работает.

Шаг 2: Сбор и преобразование данных, которые нам нужны

Теперь нам нужно собрать данные, которые мы обычно использовали бы для выполнения ручного анализа, описанного выше. Для этого эксперимента мы используем API SEMrush, чтобы получить данные обо всех ключевых словах, по которым наш пример веб-сайта и его конкурентов ранжируются по:

После сбора этих данных мы просматриваем все страницы ранжирования нашего примера веб-сайта и сайтов конкурентов и проверяем, содержится ли фраза, по которой ранжируется страница, в заголовке, содержимом, пути URL или домене страницы ранжирования. Мы сохраняем информацию об этом как число, потому что алгоритм машинного обучения, который мы используем, работает только с числами и не принимает текст в качестве ввода. Так, например, если все слова фразы «barfen fleisch», за которую занимает страница, находятся в теге title этой страницы, мы сохраняем значение «1» в «title_found». Если найдено только одно из слов (50% всех слов), мы сохраняем значение «0,5», а если слов из фразы не найдено, мы сохраняем значение «0».

Теперь мы также транскрибируем все домены и ключевые слова для представления чисел, чтобы мы могли включить их в наш алгоритм машинного обучения. Собрав все воедино, у нас теперь есть список страниц по ранжированию по ключевым словам с информацией о конкурентной ситуации (цена за клик и объем поиска) и основные факторы на странице.

Шаг 3: Обучение модели машинного обучения

Затем мы разбиваем наши данные на данные обучения (80%) и тестирования (20%). Данные обучения понадобятся для обучения алгоритму машинного обучения, а данные теста - для проверки результатов, которые предоставляет алгоритм. Затем мы выбираем алгоритм, в этом случае MLPClassifier и обучаем алгоритм. Основываясь на различных тестах, мы считаем, что алгоритм на основе нейронной сети лучше всего подходит для приложений такого типа.

Это та часть, где вашей машине приходится выполнять большую тяжелую работу, и вам, возможно, придется подождать несколько минут. Или часы ...

Шаг 4. Прогнозирование рейтинга для оптимизированных целевых страниц.

С помощью сгенерированной нами модели мы можем теперь делать прогнозы. В нашем примере мы прогнозируем рейтинг нашего веб-сайта www.barf-alarm.de для фразы «barf fleisch kaufen», используя информацию, которую мы собрали ранее, и значения оптимизации страницы (фраза не найдена в заголовке или URL и только частично встречается в содержании и доменном имени). Наш обученный алгоритм предсказывает позицию 20 для страницы, основываясь на информации, которую мы только что предоставили:

Если мы оглянемся назад на наши тестовые данные, наш сайт на самом деле занимает позицию 18 для этой фразы. Это означает, что наш алгоритм машинного обучения еще не на 100% точен, но неплох для начала:

Теперь давайте посмотрим, что наш алгоритм предсказывает для оптимизированной версии этой страницы, поэтому в этой фразе находится фраза в заголовке и в содержимом страницы. Мы хотим знать, имеет ли смысл оптимизировать эту страницу, поэтому мы спрашиваем наш алгоритм, на какую позицию он рассчитывает, если мы оптимизируем страницу для этой фразы. Мы снабжаем алгоритм теми же данными, что и раньше, за исключением того, что на этот раз фраза включена в заголовок и в содержание.

Ого, наша модель предсказывает позицию 1 для страницы, которая оптимизирована для этой фразы. Мы уже знаем, что наш алгоритм еще не на 100% точен, но он отлично работает для целей этого эксперимента: определение ключевых слов с высоким рейтингом потенциала. Посмотрим, будут ли прогнозы для других фраз выглядеть более реалистичными!

Шаг 5: Получение полного результата для всех потенциальных ключевых слов, которые мы определили

Итак, давайте сделаем то, что мы только что сделали для всех 3600 ключевых слов, которые мы собрали в начале. Наша модель генерирует список ключевых слов с текущими и прогнозируемыми позициями:

Как вы можете видеть на снимке выше, модель не предсказывает ранжирование для нерелевантных ключевых слов, таких как «kreuzberg» (район Берлина), «durchfall» (диарея) или «ziege» (коза). Это признак качества: мы не ожидаем, что сможем получить хороший рейтинг по ключевым словам, которые на самом деле не имеют отношения к нашему бизнесу.

Давайте отфильтруем список немного больше для лучшего результата. Если мы применим фильтр для прогнозируемого рейтинга ниже 10, мы получим список ключевых слов, по которым наш алгоритм считает, что мы можем ранжироваться на странице 1 Google:

Это отличный результат! Теперь у нас есть список из 600 наиболее релевантных ключевых слов с высокой вероятностью ранжирования на первой странице Google после некоторых очень простых оптимизаций на странице (включая фразы в тегах заголовков и содержание страницы). Нам не нужно проверять 3600 ключевых слов вручную, и мы можем приступить к созданию оптимизированных страниц для 600 ключевых слов, выбранных нашим алгоритмом машинного обучения. Там могут быть некоторые ложные срабатывания, и прогнозы ранжирования в некоторых случаях, вероятно, слишком восторженные, но это очень хорошая отправная точка для достойной оптимизации на странице.

Заключительные соображения

В этом примере мы использовали некоторые действительно базовые данные, особенно для мер по оптимизации. Мы рассмотрели только несколько факторов, таких как размещение ключевых слов в тегах заголовка и содержание страниц. Конечно, имеет смысл добавить некоторые более важные данные, такие как внешние ссылки или анализ TF * IDF. Наш пример - просто базовая демонстрация того, что возможно при машинном обучении в SEO.

Кроме того, благодаря получению большего количества рейтинговых данных, чем мы делали здесь, и анализу большего числа конкурентов и ключевых слов, ваши прогнозы должны стать лучше. Существует также возможность оптимизации параметров алгоритма станка или использования лучшего алгоритма в целом.

Вас интересует больше подобных экспериментов?

Просто иди в labs.searchviu.com где Майкл Вебер первоначально опубликовал эту статью. Вы можете подписаться на его рассылку.

Вы хотите попробовать это сами?

Мы предоставили полный исходный код этого эксперимента (Python, Jupyter Notebook) в нашем открытом searchVIU Labs Github хранилище , Таким образом, вы можете попробовать этот эксперимент для вашего собственного сайта и с вашими собственными данными.

В нашем репозитории вы также найдете простой пример машинного обучения для прогнозирования CTR на основе данных Google Search Console, который может быть интересен для ваших первых шагов в машинном обучении для SEO.