- Автор темы
- #1
Многопоточный instagram-парсер по ключевому слову (Python)
История такая: нужно было собрать базу пользователей instagram, максимально хорошего качества для массовой подписки и лайкинга.
Вопрос: как это сделать? Варианты:
1. На платных сервисах спарсить
2. Подумать головой и написать небольшой скрипт.
Выбираем вариант 2. Суть: берем любую прогу для массовой подписки (например бесплатный Леонграм), собираем ВСЕХ ПУБЛИЧНЫХ подписчиков ваших непосредственных конкурентов (приватных не надо), конвертируем их в логины .
Запускаем данный скрипт:
Перетаскиваем тхт с базой в окно скрипта и жмем Enter:
Пишем, какое слово парсеру нужно искать в профилях базы, например Москва и жмем Enter:
Скрипт создает рядом с вашей базой файлик названиебазы2.тхт и записывает туда найденные логины. Скрипт многопоточный, на данный момент 30 потоков, скорость обработки- около 100 000 аккаунтов в час.
Из плюсов:
- Многопоточность (скорость)
- Обращения скрипта идут не на сервер Instagram, ваш IP не забанят в инсте из за частых запросов!
- Легкость и минимум потребления ресурсов
- Не требует авторизации в Instagram
Из минусов:
- Главный и единственный минус в том, что скрипт работает только с базами в формате логины. К сожалению, придется конвертировать из ID в логины и обратно (возможно запилю с работой по базам ID).
Еще раз, что делает скрипт: заходит на каждый профиль инстаграм из вашей базы, ищет ключевое слово, которое вы написали в описании аккаунта, логине или ссылке- если находит, записывает его в тхт. Все.
А теперь пример, как собрать хорошую базу для городского паблика, например для Москвы:
1. Парсим всех публичных подписчиков московских пабликов и конвертируем базу в логины
2. Закидываем полученную базу в формате логины в скрипт
3. Указываем, что ищем слово vk.com
4. Ждем окончания парсинга, конвертируем обратно в ID.
5. При массовой подписке указываем, что не подписываемся на бизнес аккаунты и на аккаунты, у которых больше 1000 подписок и 1000 подписчиков. Выходит очень крутая база! Объясняю почему vk.com: обычно живые пользователи Инстаграма указывают ссылку на свой контакт. Их то мы и собираем, и отсеиваем магазины уже при подписке.
В принципе можно искать что угодно, на что у вас хватит фантазии
История такая: нужно было собрать базу пользователей instagram, максимально хорошего качества для массовой подписки и лайкинга.
Вопрос: как это сделать? Варианты:
1. На платных сервисах спарсить
2. Подумать головой и написать небольшой скрипт.
Выбираем вариант 2. Суть: берем любую прогу для массовой подписки (например бесплатный Леонграм), собираем ВСЕХ ПУБЛИЧНЫХ подписчиков ваших непосредственных конкурентов (приватных не надо), конвертируем их в логины .
Запускаем данный скрипт:
Перетаскиваем тхт с базой в окно скрипта и жмем Enter:
Пишем, какое слово парсеру нужно искать в профилях базы, например Москва и жмем Enter:
Скрипт создает рядом с вашей базой файлик названиебазы2.тхт и записывает туда найденные логины. Скрипт многопоточный, на данный момент 30 потоков, скорость обработки- около 100 000 аккаунтов в час.
Из плюсов:
- Многопоточность (скорость)
- Обращения скрипта идут не на сервер Instagram, ваш IP не забанят в инсте из за частых запросов!
- Легкость и минимум потребления ресурсов
- Не требует авторизации в Instagram
Из минусов:
- Главный и единственный минус в том, что скрипт работает только с базами в формате логины. К сожалению, придется конвертировать из ID в логины и обратно (возможно запилю с работой по базам ID).
Еще раз, что делает скрипт: заходит на каждый профиль инстаграм из вашей базы, ищет ключевое слово, которое вы написали в описании аккаунта, логине или ссылке- если находит, записывает его в тхт. Все.
А теперь пример, как собрать хорошую базу для городского паблика, например для Москвы:
1. Парсим всех публичных подписчиков московских пабликов и конвертируем базу в логины
2. Закидываем полученную базу в формате логины в скрипт
3. Указываем, что ищем слово vk.com
4. Ждем окончания парсинга, конвертируем обратно в ID.
5. При массовой подписке указываем, что не подписываемся на бизнес аккаунты и на аккаунты, у которых больше 1000 подписок и 1000 подписчиков. Выходит очень крутая база! Объясняю почему vk.com: обычно живые пользователи Инстаграма указывают ссылку на свой контакт. Их то мы и собираем, и отсеиваем магазины уже при подписке.
В принципе можно искать что угодно, на что у вас хватит фантазии