Парсер выдачи Google поиска

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Описание

Парсер выдачи Google поиска - это дополнительный инструмент для эффективной работы SEO-специалиста и таргетолога. Бот собирает детальную информацию о конкурентах: используемые ключи, тексты объявлений, регионы размещения и т.д. Это позволяет оценить рекламу и качество оптимизации в Google.

Вручную собирать данные по сотням позиций долго и утомительно. Шаблон сильно упрощает работу за счет автоматизации процессов, которые отнимают значительную часть времени. Вам нужно лишь указать настройки, а парсер соберет необходимую информацию и сохранит результаты в таблицу.

Делегируйте рутинные задачи боту и успевайте гораздо больше!

Функционал

Шаблон переходит в настройки выдачи, устанавливает заданное во входных настройках количество результатов на странице.
Далее переходит на google.com, вводит поисковой запрос в строку поиска, проверяет загрузку страницы, парсит из каждого результата заголовок, ссылку, домен из ссылки, записывает строку в таблицу.
Переходит на следующую страницу, если это необходимо, проверяет загрузку новой страницы. Таким образом парсит данные с заданного во входных настройках числа страниц.
Далее шаблон сохраняет результаты в файл и переходит к следующему запросу, пока они не закончатся.

Как пользоваться?

Во входных настройках ввести один или несколько поисковых запросов (каждый с новой строки), выбрать количество результатов на странице, указать количество страниц для парсинга,
Выбрать сервис для решения recaptcha (либо установить галочку "Игнорировать рекапчу").
Если необходимо использовать прокси, добавить их в файл Proxy.txt
Результаты будут сохранены в папку Results в таблицу с уникальным именем "запрос_дата_время" в формате "Домен;Заголовок;URL"
 
Категория
Парсинг, SEO
Тип шаблона
Открытый
Многопоточность
Нет
Дата обновления
19.06.2020
Описание обновления
Изменён формат записи результатов.
Теперь данные в таблицу записываются в формате "Домен;Заголовок;URL"

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Последнее редактирование модератором:

leha52rus

Client
Регистрация
01.06.2017
Сообщения
262
Благодарностей
91
Баллы
28
Каптчами закидает.... Э т ж ГугОл
 

TwistDanceR

Активный пользователь
Регистрация
30.05.2019
Сообщения
479
Благодарностей
200
Баллы
43
Я писал парсер под свои нужды. 1$ где-то сжирает на парсинг 400 запросов, конкретное количество каптч не считал. Надо будет прокси подключить к шаблону, а то не дело это )))
 
  • Спасибо
Реакции: leha52rus

She

Client
Регистрация
11.01.2017
Сообщения
122
Благодарностей
23
Баллы
18
Доброго дня @Hitachi
а под яндекс такой шаблон не выкладывали?
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63

OlegR

Client
Регистрация
11.06.2015
Сообщения
236
Благодарностей
250
Баллы
63
я скачал шаблон и он закрыт для редактирования и там нет входных настроек.
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63

OlegR

Client
Регистрация
11.06.2015
Сообщения
236
Благодарностей
250
Баллы
63
333.PNG

нужно было написать, что шаблон ТРЕБУЕТ такой-то версии и выше. у Вас здесь логика хромает
 

bioboy

Client
Регистрация
21.03.2013
Сообщения
2
Благодарностей
1
Баллы
3
Добрый вечер , скажите а как настроить чтобы он парсил не по заголовкам, а по прямым вхождениям в контенте сайтов? Например:
лабрадор уход

нам надо собрать из топ 100 урлы в контенте/статье которых встречается вхождение ключа ’лабрадор уход’
и было бы круто если бы зеннопостер ещё подсчитывал количество найденных вхождений.
тоесть на выходе получаем урлы в которых встречается ключ, заголовок страницы и количество вхождений заданного ключа .
Можете подсказать как это допилить ?
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Добрый вечер , скажите а как настроить чтобы он парсил не по заголовкам, а по прямым вхождениям в контенте сайтов? Например:
лабрадор уход

нам надо собрать из топ 100 урлы в контенте/статье которых встречается вхождение ключа ’лабрадор уход’
и было бы круто если бы зеннопостер ещё подсчитывал количество найденных вхождений.
тоесть на выходе получаем урлы в которых встречается ключ, заголовок страницы и количество вхождений заданного ключа .
Можете подсказать как это допилить ?
В самом поисковике есть какое-то количество ключей, как на фото. Можно попробовать по ним искать.
Либо через запрос по каждой ссылке получать сам контент и искать уже в нём
 

Вложения

JurgenZolle

Client
Регистрация
19.09.2018
Сообщения
135
Благодарностей
20
Баллы
18
спасибо,. не смог переделать парс под мобильную выдачу.
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63

JurgenZolle

Client
Регистрация
19.09.2018
Сообщения
135
Благодарностей
20
Баллы
18
Что именно не получилось?
при получении ссылки вы "привязываетесь" к outerhtml-div-class-regexp-"^g$"/ всё прекрасно работает
в мобильной выдаче такой "привязки" нет, а зацепиться вообще за какой-либо class не могу, потому что они меняются.
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
при получении ссылки вы "привязываетесь" к outerhtml-div-class-regexp-"^g$"/ всё прекрасно работает
в мобильной выдаче такой "привязки" нет, а зацепиться вообще за какой-либо class не могу, потому что они меняются.
Как вариант, можно вот таким образом спарсить: сначала парсим класс нужного нам div'а в переменную, потом по этому классу парсим сами блоки.
Регулярки нужно будет подправить, но ссылка и заголовок в них есть
 

Вложения

Последнее редактирование:
  • Спасибо
Реакции: JurgenZolle

Lex

Новичок
Регистрация
17.01.2020
Сообщения
7
Благодарностей
1
Баллы
3
Спасибо! Очень полезно
 
  • Спасибо
Реакции: Santorini

JurgenZolle

Client
Регистрация
19.09.2018
Сообщения
135
Благодарностей
20
Баллы
18
благодарю, извлёк нужное - помогло. да и вообще, спасибо, много полезного узнаю из ваших шаблонов, даже не используя их...
касательного этого шаблона. регулярка отрабатывает не все урлы.
1.jpg2.jpg
 
  • Спасибо
Реакции: Hitachi

Aikes_2

Client
Регистрация
29.11.2019
Сообщения
45
Благодарностей
11
Баллы
8
Можно ли доработать шаблон с игнорированием каптчи? Или лучше обратиться за доработкой в частном порядке?

Поясню. Есть дорген PandoraBox, который умеет парсить контент, игнорируя каптчу. Заранее парсишь кучу бесплатных прокси, запускаешь и ждешь. Если вылазит каптча, то встроенный парсер просто переходит к другому ip в списке и пробует. Всегда находится куча ip спарсить без каптчи. С первого захода обычно распарсиваются примерно 80-90% ключей.

Хотелось бы такой же функционал для ZP. Возможно, кто-то хочет доработать?
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Можно ли доработать шаблон с игнорированием каптчи? Или лучше обратиться за доработкой в частном порядке?

Поясню. Есть дорген PandoraBox, который умеет парсить контент, игнорируя каптчу. Заранее парсишь кучу бесплатных прокси, запускаешь и ждешь. Если вылазит каптча, то встроенный парсер просто переходит к другому ip в списке и пробует. Всегда находится куча ip спарсить без каптчи. С первого захода обычно распарсиваются примерно 80-90% ключей.

Хотелось бы такой же функционал для ZP. Возможно, кто-то хочет доработать?
Шаблон обновлён, во входных настройках добавлен чекбокс "игнорировать рекапчу"
 
  • Спасибо
Реакции: Aikes_2 и Santorini

AlexT456

Новичок
Регистрация
07.09.2019
Сообщения
15
Благодарностей
2
Баллы
3
Интересен шаблон,какой формат socks5 давать?
и как связаться с тс?
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63

zmike

Client
Регистрация
24.10.2019
Сообщения
120
Благодарностей
7
Баллы
18
Спасибо за отличный шаблон для получения поисковых URL и заголовка от Google.

Это работает гладко и генерирует файл Excel для каждого ключевого слова.

Нам нужно найти Google для ссылок для целей построения ссылок SEO. Могу ли я узнать, почему шаблон щелкает из 10 лучших результатов, а затем нажимает рядом со следующей страницей?

На google.com/preferences
Есть ползунок, чтобы перетащить значок, чтобы отобразить 100 результатов.
Можно ли напрямую искать топ-100 результатов?
 

ibred

Client
Регистрация
04.04.2015
Сообщения
3 835
Благодарностей
3 538
Баллы
113
Нам нужно найти Google для ссылок для целей построения ссылок SEO. Могу ли я узнать, почему шаблон щелкает из 10 лучших результатов, а затем нажимает рядом со следующей страницей?
То есть клик происходит мимо?
 

zmike

Client
Регистрация
24.10.2019
Сообщения
120
Благодарностей
7
Баллы
18


Я имею в виду здесь на google.com/preferences
Можно ли сначала посетить эту страницу, а затем перетащить ползунок на 100?
 

ibred

Client
Регистрация
04.04.2015
Сообщения
3 835
Благодарностей
3 538
Баллы
113

zmike

Client
Регистрация
24.10.2019
Сообщения
120
Благодарностей
7
Баллы
18
Последнее редактирование модератором:

ibred

Client
Регистрация
04.04.2015
Сообщения
3 835
Благодарностей
3 538
Баллы
113

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Спасибо за отличный шаблон для получения поисковых URL и заголовка от Google.

Это работает гладко и генерирует файл Excel для каждого ключевого слова.

Нам нужно найти Google для ссылок для целей построения ссылок SEO. Могу ли я узнать, почему шаблон щелкает из 10 лучших результатов, а затем нажимает рядом со следующей страницей?

На google.com/preferences
Есть ползунок, чтобы перетащить значок, чтобы отобразить 100 результатов.
Можно ли напрямую искать топ-100 результатов?

Шаблон обновлён, добавлена возможность выбрать количество результатов на странице
 
  • Спасибо
Реакции: zmike, alex1988 и ibred

She

Client
Регистрация
11.01.2017
Сообщения
122
Благодарностей
23
Баллы
18
Доброго дня @Hitachi
Шаблон на запросах или браузерный?
Что-то он у меня никак ни с прочеканными публичными проксями,ни с платными пакетными не запускается.
425e3f0f-8c39-4445-9c7f-4d5f9132baaa
Выполнение действия HtmlElement Не найден HTML элемент, по условиям поиска
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Доброго дня @Hitachi
Шаблон на запросах или браузерный?
Что-то он у меня никак ни с прочеканными публичными проксями,ни с платными пакетными не запускается.
425e3f0f-8c39-4445-9c7f-4d5f9132baaa
Выполнение действия HtmlElement Не найден HTML элемент, по условиям поиска
Добрый день.
Шаблон браузерный. Так и не удалось запустить шаблон?
 

ogri

Client
Регистрация
02.12.2019
Сообщения
4
Благодарностей
1
Баллы
3
Да. @Hitachi добавит данную функцию в след. обновлении.
А редактирование количества результатов google точно работает как надо?

Перекинул этот кусочек себе в ProjectMaker и оно походу не отрабатывает.

Пробовал сам сдвигать ползунок, но он постоянно уходит в меньшую сторону. :dy:

Подскажите как правильно реализовать смену количества результатов выдачи google?

--------------------------------------------
Получил ответ в соседней ветке, без танцев с бубнами


Добавляешь &num=100 в ссылку и двигать ничего не нужно
 
Последнее редактирование:
  • Спасибо
Реакции: faros73

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)