Как программа читает чужие страницы
Парсер загружает страницу так же, как браузер, но вместо показа человеку разбирает HTML-код и вытаскивает нужные поля: цену, заголовок, текст отзыва. Данные складываются в базу или таблицу и обновляются по расписанию — обычно через cron.
- ▸Цены и ассортимент конкурентов
- ▸Отзывы о компании на картах и площадках
- ▸Новости отрасли из RSS-лент
- ▸Объявления и лоты по заданным фильтрам
Парсинг HTML, RSS или официальный API
| Критерий | Парсинг HTML | RSS-лента | Официальный API |
|---|---|---|---|
| Надёжность | Ломается при смене вёрстки | Стабильно, пока лента живёт | Максимальная |
| Полнота данных | Всё, что видно на странице | Только то, что отдаёт лента | Что разрешил владелец |
| Сложность | Выше: правила под каждый сайт | Минимальная | Средняя: ключи, лимиты |
| Когда выбирать | Если разрешённого API или RSS нет | Новости, блоги, публикации | Когда API покрывает нужные данные и условия доступа |
Примеры из проектов
В SalesOps Cockpit парсер собирает отзывы с Яндекс.Карт, 2ГИС и Avito: негативный отзыв поднимает алерт, AI готовит черновик ответа. Владелец узнаёт о проблеме в день публикации, а не через неделю.
Контент-завод работает на связке «RSS-парсер → фильтрация через LLM → автопубликация»: до 18 материалов в день по заранее заданным правилам, спорные темы уходят на редакторскую проверку.
Рамки: что можно, а что нельзя
- ▸Персональные данные без согласия собирать нельзя — прямое требование 152-ФЗ
- ▸Условия использования сайта-источника проверяют до запуска: часть площадок прямо запрещает автоматический сбор
- ▸Нагрузку ограничивают паузами между запросами — парсер не должен мешать работе сайта
- ▸Если у источника есть официальный API, правильнее использовать его
Частые вопросы
Парсинг — это вообще законно?
Сбор открытых данных сам по себе не запрещён, но есть границы: персональные данные, обход технической защиты, нарушение условий площадки, публикация чужого контента под видом своего. Каждый проект оценивается отдельно — и по задаче, и по источнику.
Сайт-источник обновил дизайн — всё сломается?
HTML-парсер — да, перестанет находить данные. Поэтому в проект закладывают мониторинг: если данные перестали приходить, уведомление срабатывает сразу, а правила обновляются под новую вёрстку.
Чем парсинг отличается от интеграции по API?
API — официальная дверь: владелец данных сам решает, что отдавать, формат стабилен. Парсинг — сбор с витрины: доступно всё видимое, но без гарантий. Практичное правило: есть API — используем API, нет — оцениваем парсинг.