Многопоточная проверка дропдоменов

Регистрация
12.07.2014
Сообщения
916
Благодарностей
371
Баллы
63
Всем привет!
Не так давно возникла необходимость в проверке большого числа доменов. Сделал многопоточный шаблон для проверки дропов.
Шаблон довольно прост.

Конкурс Шаблон.png


Что проверяем
  • Whois – занят\свободен, даты регистрации и освобождения.
  • Индексы в Яндекс и Гугл
  • Упоминания домена в Яндекс и Гугл
  • Проверка ИКС
  • Отбратных ссылок в Linkpad
  • Web Archive –первая дата
  • Блокировка РКН
Изначально шаблон был без API, но недавно прикрутил.

По API можно проверить
Whois
- api.whois.vu
Индекс\упоминания в Яндекс - xml.yandex.ru
Индекс\упоминания в Гугл - xmlriver.com
РКН блокировка - api.antizapret.info
Соответственно сервисы должны быть оплачены или иметь лимиты для запросов.

Проверка Linkpad, Вебархива, ИКС производится GET запросами.
И для них используются мобильные прокси + для api.antizapret.info.
Синтаксис крокси
socks5://логин:пароль@ип:порт

Входящие настройки

Первая вкладка настроек


“Проверять только Whois (свободен\занят)” – проверяем только на свободен\занят. Остальные параметры не проверяются.
Если галка не стоит проверяем все ниже приведенные параметры:
  • Индекс в Яндекс
  • Индекс в Гугл
  • Упоминания в Яндекс
  • Упоминания в Гугл
  • Проверка ИКС
  • Ссылки Linkpad
  • Проверка WebArchive
  • Проверка в РКН
По желанию можно снять любую галку и не проверять параметр.

Конкурс1.png


Вторая вкладка настроек

Здесь указываем логины и пароль и выбираем сервися для проверок.
Тут я оставил на выбор изначальный вариант на GET-ах + новый вариант на API.

Конкурс 2.png


Конкурс 2-1.png


Конкурс2-2.png


Конкурс2-3.png



Третья вкладка настроек

Указываем где брать файл с прокси и домены для проверки.

Конкурс 3.png




Работа шаблона

Последовательно проходит по всем сервисам в каждом потоке.
Если домен занят то параметры не проверяются.
Если домен свободен то проверка идет в зависимости от выбранных параметров.
Данные проверки записываются в таблицу.
Если была ошибка выполнения шаблона, то не проверенный домен записывается в конец списка доменов.

Файлы и папки

Конкурс 4.png


IN – файл с доменами и список рефсайтов.
Рефки в основном используются в старом варианте проверки доменов.

Конкурс 5.png


OUT – выгружается готовые данные в xlsx-файлы с датой в названии.
“Готовые_данные_14_09_2019.xlsx”
Прокси – лежит файл с прокси.

Данные для заполнения логинов паролей

xmlriver.com

https://xmlriver.com/queries/

Конкурс 7.png



xml.yandex.ru
https://xml.yandex.ru/settings/

Конкурс 8.png



З.Ы.
Шаблон не идеален и это надо понимать
В выгрузке добавляются с каждым доменом еще и строка названий столбцов. Заморачиваться с настройкой этого в многопотоке не хотелось.
Отфильтровать в Excel не проблема.

Конкурс 6.png
 
Категория
Другое
Номер конкурса шаблонов
Четвертый конкурс шаблонов
Уровень сложности
Средний

Вложения

Для запуска проектов требуется программа ZennoPoster или ZennoDroid.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте нужную программу. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Регистрация
12.07.2014
Сообщения
916
Благодарностей
371
Баллы
63
Ответственные товарищи проинформировали об отсутствии наличия файла Useragents.txt в папке IN
Файл в аттече
 

Вложения

vesb

Client
Регистрация
13.03.2010
Сообщения
139
Благодарностей
18
Баллы
18
Спасибо за шаблон. А не знаете какие лимиты у этого api: api.whois.vu?
 

HWMD

Client
Регистрация
16.08.2019
Сообщения
81
Благодарностей
9
Баллы
8
Поделитесь ответом: почему все встраивают использование прокси в шаблоны? Почему никто не использует проксичекер в зеннопостере?
 

Valandersi

Client
Регистрация
19.01.2015
Сообщения
1 868
Благодарностей
1 114
Баллы
113
Поделитесь ответом: почему все встраивают использование прокси в шаблоны? Почему никто не использует проксичекер в зеннопостере?
Потому что прокси из проксичекера это паблик, а юзают приват которые работают, на них меньше капчи и больше скорость
 

HWMD

Client
Регистрация
16.08.2019
Сообщения
81
Благодарностей
9
Баллы
8
Потому что прокси из проксичекера это паблик, а юзают приват которые работают, на них меньше капчи и больше скорость
А загружать прокси в проксичекер - нельзя/опасно или что-то еще?
 

Valandersi

Client
Регистрация
19.01.2015
Сообщения
1 868
Благодарностей
1 114
Баллы
113
А загружать прокси в проксичекер - нельзя/опасно или что-то еще?
Я его не использую, можете посмотреть вики и почитать на сайте, если что то не понятно напишите в саппорт вам помогут
 
Регистрация
12.07.2014
Сообщения
916
Благодарностей
371
Баллы
63
  • Спасибо
Реакции: vesb
Регистрация
12.07.2014
Сообщения
916
Благодарностей
371
Баллы
63
Если у кого не проверяет блокировку РКН.
Последнее время падает ресурс antizapret.info
 
Регистрация
12.07.2014
Сообщения
916
Благодарностей
371
Баллы
63
Обновил немного шаблон.
Добавил проверку на Adult-фильтр от Яндекса.
В отчете это выглядит так:
Фильтр Яндекса.png

ОК - нет фильтра
Adult - есть фильтр
 

Вложения

Последнее редактирование:
  • Спасибо
Реакции: Zennovods и specialist

alexandr.ogorodnik

Новичок
Регистрация
02.06.2020
Сообщения
1
Благодарностей
0
Баллы
1
Регистрация
12.07.2014
Сообщения
916
Благодарностей
371
Баллы
63

daymos

Client
Регистрация
11.11.2009
Сообщения
805
Благодарностей
239
Баллы
43
А загружать прокси в проксичекер - нельзя/опасно или что-то еще?
В шаблоне можно сделать смену на лету, если прокся упала.
Там же можно сделать блокировку исполнения, если вдруг прокся не подключена.
Да и привычнее что все в одном месте. Прокси чекается непосредственно перед использованием, а из проксичекера она не известно или жива еще.
 

Ditonator

Client
Регистрация
24.01.2020
Сообщения
5
Благодарностей
5
Баллы
3
Немного переделал шаблон, юзаю в один поток, без прокси, прямо из ПМ, за пару суток проверяю выборку из 2-3000 доменов. Для одного проекта подобрал уже 3 домена с общим количеством беков около 3000. Сейчас подбираю для другого проекта. Автору Респект!!!
 
  • Спасибо
Реакции: Сибиряк

Seoandrii

Client
Регистрация
30.03.2020
Сообщения
29
Благодарностей
6
Баллы
3
Отлично, нагуглил то, что нужно. Спасибо, сейчас буду проверять работоспособность шаба!
 

Ditonator

Client
Регистрация
24.01.2020
Сообщения
5
Благодарностей
5
Баллы
3
Дополню тему - подбирал уже для 5-ти проектов дропы, в итоге 3 домена (по разным тематикам) куплены и успешно проходят индекс уже с сайтами. Плюс, сейчас приходит магазин по мебели на создание - так клиент так же хочет подобрать для него домен, короче уже коммерчески шаблон отрабатывает (тема проверена, один из проектов успешно лезет вперёд, так что дропы правильно подобранные дают однозначно массу плюшек, хотя не лишены и недостатком, но это уже специфика). Юзаю тот же однопоточный, ни чего более не переделывал пока, так как всё работает. Если кому надо по дропам пояснения - переходите на канал в телеге, (канал смотрите у меня в профиле) (в описание канала есть ссылка на чат - подписывайтесь, приветствуем всех адекватных). Там же отвечу и на вопросы связанные с дропами, если надо.
 

Dim_ON

Client
Регистрация
01.03.2016
Сообщения
22
Благодарностей
2
Баллы
3
К сожалению уже не работает
Индекс ЯндексаИндекс ГуглИКСУпоминания в ЯУпоминания в Г
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)