Парсер подсказок поисковика Google

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Описание

Шаблон переходит на сайт google.com, вводит поисковой запрос.
Если страница не грузится - меняет прокси, начинает обработку запроса сначала.

Если всё в порядке - парсит все появившиеся подсказки во временный список.
Проверяет, не совпадают ли подсказки с добавленными ранее (для первого запроса с пустой строкой).
Если не совпадают - переносит их в основной список.
Далее получает букву из алфавита, вводит новый запрос в виде "запрос _пробел_буква", снова парсит все подсказки таким же образом.

Когда обработаны все буквы для текущего запроса, список переносится в таблицу, таблица сохраняется в файл.
Шаблон переходит к следующему запросу, если он есть.


Как пользоваться?

Во входных настройках ввести поисковые запросы (один или несколько).
Для работы через прокси, добавить их в файл proxy.txt.
Результаты сохраняются в папку Results в .csv таблицу с уникальным именем "запрос_дата_время".
 
Категория
Парсинг, SEO
Тип шаблона
Открытый
Многопоточность
Нет

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Последнее редактирование:
  • Спасибо
Реакции: Сибиряк и JanCarlo

JanCarlo

Client
Регистрация
04.03.2018
Сообщения
353
Благодарностей
40
Баллы
28
Описание

Шаблон переходит на сайт google.com, вводит поисковой запрос.
Если страница не грузится - меняет прокси, начинает обработку запроса сначала.

Если всё в порядке - парсит все появившиеся подсказки во временный список.
Проверяет, не совпадают ли подсказки с добавленными ранее (для первого запроса с пустой строкой).
Если не совпадают - переносит их в основной список.
Далее получает букву из алфавита, вводит новый запрос в виде "запрос _пробел_буква", снова парсит все подсказки таким же образом.

Когда обработаны все буквы для текущего запроса, список переносится в таблицу, таблица сохраняется в файл.
Шаблон переходит к следующему запросу, если он есть.


Как пользоваться?

Во входных настройках ввести поисковые запросы (один или несколько).
Для работы через прокси, добавить их в файл proxy.txt.
Результаты сохраняются в папку Results в .csv таблицу с уникальным именем "запрос_дата_время".
Не могли бы вы перепроверить шаблон? На кубике получение значения innerhtml ничего не собирается, возможно regex устарел?
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Не могли бы вы перепроверить шаблон? На кубике получение значения innerhtml ничего не собирается, возможно regex устарел?
Этот кубик имеете в виду? У меня он всё правильно собирает.
Если напишете подробнее о проблеме - попробуем разобраться

44654
 
  • Спасибо
Реакции: JanCarlo

JanCarlo

Client
Регистрация
04.03.2018
Сообщения
353
Благодарностей
40
Баллы
28
Этот кубик имеете в виду? У меня он всё правильно собирает.
Если напишете подробнее о проблеме - попробуем разобраться

Посмотреть вложение 44654
Чуть позже чекну еще раз. А скажите пожалуйста, как сделать переключение по найденым страницам в поисковой выдаче через get запрос? Собственно я делаю такой же шаблон как и у вас - поиск по фразе, парсим страницу, берем следующую - парсим и так до конца.
Дело в том, что я создал гет запрос на поиск по фразе, яндекс мне отдал благополучно ответ первой страницы и я ее спарсил, а вот на вторую страницу я гет запросом никак не могу перейти хотя и передаю параметр =p1. При передаче параметра скажем второй, третей страницы и т.д - мне яндекс все время возвращает перву страницу. Куки контейнер разумеется использую, подскажите, может быть знаете, что там еще надо предварительно из заголовков спарсить что бы передавать в запросе для перехода по страницам?
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Чуть позже чекну еще раз. А скажите пожалуйста, как сделать переключение по найденым страницам в поисковой выдаче через get запрос? Собственно я делаю такой же шаблон как и у вас - поиск по фразе, парсим страницу, берем следующую - парсим и так до конца.
Дело в том, что я создал гет запрос на поиск по фразе, яндекс мне отдал благополучно ответ первой страницы и я ее спарсил, а вот на вторую страницу я гет запросом никак не могу перейти хотя и передаю параметр =p1. При передаче параметра скажем второй, третей страницы и т.д - мне яндекс все время возвращает перву страницу. Куки контейнер разумеется использую, подскажите, может быть знаете, что там еще надо предварительно из заголовков спарсить что бы передавать в запросе для перехода по страницам?
А как именно get-запрос формируете? Как выглядит url?
Сейчас попробовал получить первую и вторую страницу яндекса - отдаёт обе, содержимое отличается
 
  • Спасибо
Реакции: JanCarlo

JanCarlo

Client
Регистрация
04.03.2018
Сообщения
353
Благодарностей
40
Баллы
28
А как именно get-запрос формируете? Как выглядит url?
Сейчас попробовал получить первую и вторую страницу яндекса - отдаёт обе, содержимое отличается
Вот так, прикрепил ниже, я предварительно выпаршиваю параметр LR который при поиске используется - это самый первый кубик, вторым я делю поисковой запрос вместе с LR параметром, а вот переход на след страницу (последний кубик) не работает, вернее возвращает ответ с первой же страницы =(
 

Вложения

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Вот так, прикрепил ниже, я предварительно выпаршиваю параметр LR который при поиске используется - это самый первый кубик, вторым я делю поисковой запрос вместе с LR параметром, а вот переход на след страницу (последний кубик) не работает, вернее возвращает ответ с первой же страницы =(
В последнем get-запросе перед p= должен быть знак &

44672
 
  • Спасибо
Реакции: JanCarlo

JanCarlo

Client
Регистрация
04.03.2018
Сообщения
353
Благодарностей
40
Баллы
28

JanCarlo

Client
Регистрация
04.03.2018
Сообщения
353
Благодарностей
40
Баллы
28
@Hitachi
А не подскажете, как надо отправлять ответ на капчу запросом для яндеса?
Ответ на капчу я получил, а вот отправить не могу, 404 ошибка постоянно приходит =(
вот это оригинальный через браузер запрос


параметр key спарсил,
параметр retpath тоже,
suggest_reqid вроде бы тоже, но ответ не доставляется яндексу =(
 
  • Спасибо
Реакции: alex1988

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
@Hitachi
А не подскажете, как надо отправлять ответ на капчу запросом для яндеса?
Ответ на капчу я получил, а вот отправить не могу, 404 ошибка постоянно приходит =(
вот это оригинальный через браузер запрос


параметр key спарсил,
параметр retpath тоже,
suggest_reqid вроде бы тоже, но ответ не доставляется яндексу =(
Капчу через запросы решать не пробовал. КапМонстр как-то удобнее для этих целей)
 
  • Спасибо
Реакции: JanCarlo

Dendi

Client
Регистрация
20.11.2018
Сообщения
164
Благодарностей
11
Баллы
18
автор, можете пожалуйста скинуть свой скайп? есть несколько вопросов, не бесплатно
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)