Скрапер на ИИ: бот сам собирает данные с сайтов

Что такое скрапер простыми словами

Представь утро. Ты открываешь одну таблицу - а там всё самое свежее, ровно под твои интересы. Новые вакансии под твоё резюме. Билеты на концерт, как только цена просела. Квартиры дешевле твоего потолка. Новости только про то, что тебя реально цепляет.

Можно собирать это руками. Открыть десять сайтов, листать, копировать, вставлять в табличку. Каждый день. По часу. Брр.

А можно нанять робота-курьера. Ночью, пока ты спишь, он сам обегает все эти сайты, переписывает в блокнотик всё нужное и к утру кладёт тебе на стол готовую таблицу. Вот, хозяин, отсортировал по важности, начни сверху.

Этот робот и есть скрапер Скрапер (от англ. scrape - «соскребать») - программа, которая сама открывает веб-страницы и вытаскивает из них нужные кусочки: заголовки, цены, ссылки, даты. Как будто кто-то очень быстро копирует данные за тебя. - бот, который сам собирает данные.

Зачем вайбкодеру понимать бота-сборщика

Ты вайбкодер. Зубрить устройство сайтов изнутри тебе не надо. Но если ты понимаешь, как устроен бот-сборщик, ты можешь:

• вернуть себе часы - рутину, которую ты тыкал бы пальцами, делает бот;
• ничего не проспать - нужная вакансия или объявление не уплывёт, пока ты спишь;
• собрать всё это бесплатно - ни за хостинг, ни за ИИ платить не придётся;
• получить не свалку, а список, отсортированный по важности.

И главное: ты это не пишешь руками. Ты объясняешь задачу агенту (Claude), а он собирает бота по проверенной схеме. Твоя работа - понимать, из чего бот состоит, чтобы объяснить точно и не получить на выходе кашу.

Как работает скрапер: три этажа конвейера

У любого бота-сборщика три этажа, и идут они строго по порядку: собрать → обогатить → сложить.

Этаж 1. Собрать - бот обходит сайты

Первый этаж - это сам скрапер. Он открывает страницу и вытаскивает нужные кусочки: название, ссылку, цену, дату. Чаще всего хватает простых бесплатных инструментов - они закрывают 80% обычных сайтов без всяких приседаний.

А если сайт хитрый и дорисовывает контент на лету (как лента, которая подгружается, пока ты крутишь вниз)? Тогда бот достаёт тяжёлую артиллерию - инструмент, который поднимает настоящий браузер и терпеливо ждёт, пока страница догрузится.

Этаж 2. Обогатить - ИИ оценивает данные

Второй этаж - самый сочный. Голые данные - это просто список. А ИИ их обогащает: ставит каждому пункту оценку от 0 до 100, пишет короткое резюме, объясняет, почему это подходит именно тебе.

Смотри. Бот принёс 50 вакансий. ИИ читает каждую, сверяет с твоим резюме и выставляет баллы. Вакансия на 95 - бросай всё, откликайся. На 30 - листаем дальше, не твоё.

Для этого этажа берём Gemini Flash Gemini Flash - быстрая и бесплатная ИИ-модель от Google. На бесплатном тарифе хватает на сотни запросов в день - для домашнего бота этого с головой. - бесплатный ИИ, который отлично тащит такую рутинную сортировку.

Этаж 3. Сложить - данные падают в таблицу

Третий этаж - склад. Обработанные данные надо куда-то положить, чтобы ты их видел. Чаще всего это Notion (красивая таблица, удобно отмечать «нравится / мимо»), но сгодятся и Google Sheets, и база посерьёзнее.

И тут одна важная мелочь: бот не должен складывать дубли. Перед каждым добавлением он проверяет - такой ссылки на складе ещё нет? Есть - пропускает. Иначе за неделю таблица распухнет из одного объявления в сорока экземплярах.

Как запустить бота по расписанию бесплатно

Окей, бот собран. Но кто его будит? Сидеть и тыкать кнопку «запустить» каждые три часа - так себе суперсила.

Тут выходит GitHub Actions GitHub Actions - бесплатный сервис, который запускает твой код по расписанию (например, каждые 3 часа). Это будильник для бота, который живёт в облаке: твой компьютер при этом может быть выключен. - бесплатный будильник в облаке. Ты говоришь: «запускай бота каждые 3 часа» - и он запускает. Сам. Даже если твой ноут закрыт и едет в рюкзаке в метро.

Бот, который учится на твоих решениях

А вот самое красивое. Бот умеет учиться на твоих решениях.

Ты отмечаешь в таблице: эту вакансию - «сохранил», эту - «откликнулся», а эту - «мимо». Бот складывает твои отметки в маленький файл-дневник. И в следующий раз, сортируя свежие вакансии, ИИ подглядывает в дневник: «ага, хозяину заходило вот такое, а такое он выбрасывал» - и раскладывает умнее.

Чем дольше пользуешься - тем точнее попадания. Как официант в любимом кафе, который через месяц уже несёт твой заказ, пока ты только снимаешь куртку.

Хороший бот-скрапер против плохого

Пример: бот для отслеживания вакансий

Скажем, ты ищешь подработку и устал каждый вечер вручную листать сайты вакансий. Вот как ты ставишь задачу агенту - не «сделай скрапер», а по-человечески и по делу.

Собери мне бота, который сам отслеживает вакансии и складывает их в таблицу. Хочу так:

Раз в день бот заходит на сайты с вакансиями и собирает новые: название, ссылку, компанию, зарплату.
Перед обработкой пусть отсекает явно неподходящие по моим ключевым словам. Все настройки вынеси в отдельный простой файл, чтобы я менял слова без правки кода.
Подключи бесплатный ИИ. Пусть оценивает каждую вакансию от 0 до 100 по тому, насколько она мне подходит, и пишет короткое объяснение почему. ИИ зови пачками по 5 штук, не по одной.
Складывай результат в таблицу, но сначала проверяй, нет ли уже такой ссылки, чтобы не было дублей.
Сделай так, чтобы бот сам запускался по расписанию раз в день и работал бесплатно.
Пароли и ключи в коде не пиши - вынеси в защищённое место.
Сначала покажи мне план и структуру папок, и только потом пиши код.

Частые ошибки новичка при сборе данных

• Звать ИИ на каждый пункт. Мгновенный вылет за лимит. Всегда пачками по 5.
• Ломиться на сайт без пауз. Поймаешь бан по IP. Ставь паузу между заходами.
• Не проверять дубли. Таблица за неделю превращается в свалку копий. Сверяй ссылку перед добавлением.
• Прятать ключевые слова в коде. Захотел поменять «Москва» на «удалёнка» - и лезешь в программу. Выноси настройки в отдельный файл.
• Писать пароли прямо в коде. Однажды проект утечёт вместе с ними. Ключи - только в защищённом месте, никогда в коде.
• Лезть в окно, когда открыта дверь. Если у сайта есть честный открытый API - бери данные оттуда, а не парси HTML через силу.