Типовые задачи
Мониторинг цен конкурентов, сбор товарных каталогов для наполнения
магазина, отслеживание объявлений и вакансий, выгрузка открытых
реестров, наблюдение за изменениями на сайтах.
Общее у них одно: данные есть в открытом виде, но вручную их собирать
слишком долго, а нужны они регулярно.
Как устроен парсер
Программа заходит на источник по расписанию, забирает нужные данные,
приводит их к единому виду и складывает в хранилище. Дальше — выгрузка в
том формате, который вам удобен, и уведомления при изменениях.
Важная часть — устойчивость: обработка ошибок, повторные попытки,
ограничение частоты запросов, чтобы не создавать нагрузку на источник.
Аккуратный парсер работает годами; агрессивный получает блокировку в
первую неделю.
Что ломается и почему
Сайты меняют вёрстку — это неизбежно, и парсер после этого перестаёт
находить данные. Поэтому мы всегда ставим мониторинг: система замечает,
что данные перестали приходить или изменились неправдоподобно, и
сообщает об этом.
Поддержка парсера — не признак плохой работы, а нормальная часть его
жизни, и мы говорим об этом заранее.
Границы
Работаем только с общедоступными данными: без обхода авторизации, без
персональных данных, с соблюдением ограничений источников. Если задача
предполагает иное, мы объясним, почему не возьмёмся.