Скрапер на ШІ: бот сам збирає дані із сайтів

Що таке скрапер простими словами

Уяви ранок. Ти відкриваєш одну таблицю - і там усе свіженьке рівно під твої інтереси. Нові вакансії під твоє резюме. Квитки на концерт, щойно ціна просіла. Квартири дешевші за твою стелю. Новини тільки про те, що тебе реально чіпляє.

Можна збирати це руками. Відкрити десять сайтів, гортати, копіювати, вставляти в табличку. Щодня. По годині. Бр-р.

А можна найняти робота-курʼєра. Вночі, поки ти спиш, він сам обігає всі ці сайти, переписує в записничок усе потрібне і до ранку кладе тобі на стіл готову таблицю. Ось, господарю, відсортував за важливістю, починай згори.

Цей робот і є скрапер Скрапер (від англ. scrape - «зішкрібати») - програма, яка сама відкриває вебсторінки й витягує з них потрібні шматочки: заголовки, ціни, посилання, дати. Наче хтось дуже швидко копіює дані замість тебе. - бот, який сам збирає дані.

Навіщо вайбкодеру розуміти бота-збирача

Ти вайбкодер. Зубрити будову сайтів зсередини тобі не треба. Але якщо ти розумієш, як влаштований бот-збирач, ти можеш:

• повернути собі години - рутину, яку ти тицяв би пальцями, робить бот;
• нічого не проспати - потрібна вакансія чи оголошення не втече, поки ти солодко спиш;
• зібрати все це безкоштовно - ні за хостинг, ні за ШІ платити не доведеться;
• отримати не звалище, а список, відсортований за важливістю.

І головне: ти це не пишеш руками. Ти пояснюєш задачу агенту (Claude), а він збирає бота за перевіреною схемою. Твоя робота - розуміти, з чого бот складається, щоб пояснити точно і не отримати на виході кашу.

Як працює скрапер: три поверхи конвеєра

У будь-якого бота-збирача три поверхи, і йдуть вони строго за порядком: зібрати → збагатити → скласти.

Поверх 1. Зібрати - бот обходить сайти

Перший поверх - це сам скрапер. Він відкриває сторінку і витягує потрібні шматочки: назву, посилання, ціну, дату. Найчастіше вистачає простих безкоштовних інструментів - вони закривають 80% звичайних сайтів без жодних викрутасів.

А якщо сайт хитрий і домальовує контент на льоту (як стрічка, що підвантажується, поки ти крутиш униз)? Тоді бот дістає важку артилерію - інструмент, який піднімає справжній браузер і терпляче чекає, поки сторінка дозавантажиться.

Поверх 2. Збагатити - ШІ оцінює дані

Другий поверх - найсоковитіший. Голі дані - це просто список. А ШІ їх збагачує: ставить кожному пункту оцінку від 0 до 100, пише коротке резюме, пояснює, чому це підходить саме тобі.

Дивись. Бот приніс 50 вакансій. ШІ читає кожну, звіряє з твоїм резюме і виставляє бали. Вакансія на 95 - кидай усе, відгукуйся. На 30 - гортаємо далі, не твоє.

Для цього поверху беремо Gemini Flash Gemini Flash - швидка й безкоштовна ШІ-модель від Google. На безкоштовному тарифі вистачає на сотні запитів на день - для домашнього бота цього з головою. - безкоштовний ШІ, який чудово тягне таке рутинне сортування.

Поверх 3. Скласти - дані падають у таблицю

Третій поверх - склад. Оброблені дані треба кудись покласти, щоб ти їх бачив. Найчастіше це Notion (гарна таблиця, зручно позначати «подобається / мимо»), але згодяться і Google Sheets, і база серйозніша.

І тут одна важлива дрібниця: бот не повинен складати дублі. Перед кожним додаванням він перевіряє - такого посилання на складі ще немає? Є - пропускає. Інакше за тиждень таблиця розпухне з одного оголошення в сорока примірниках.

Як запустити бота за розкладом безкоштовно

Окей, бот зібраний. Але хто його будить? Сидіти й тицяти кнопку «запустити» кожні три години - так собі суперсила.

Тут виходить GitHub Actions GitHub Actions - безкоштовний сервіс, який запускає твій код за розкладом (наприклад, кожні 3 години). Це будильник для бота, який живе у хмарі: твій компʼютер тим часом може бути вимкнений. - безкоштовний будильник у хмарі. Ти кажеш: «запускай бота кожні 3 години» - і він запускає. Сам. Навіть якщо твій ноут закритий і їде в рюкзаку в метро.

Бот, який вчиться на твоїх рішеннях

А ось найкрасивіше. Бот уміє вчитися на твоїх рішеннях.

Ти позначаєш у таблиці: цю вакансію - «зберіг», цю - «відгукнувся», а цю - «мимо». Бот складає твої позначки в маленький файл-щоденник. І наступного разу, сортуючи свіжі вакансії, ШІ підглядає в щоденник: «ага, господарю заходило ось таке, а таке він викидав» - і розкладає розумніше.

Чим довше користуєшся - тим точніші влучання. Як офіціант в улюбленому кафе, який за місяць уже несе твоє замовлення, поки ти тільки знімаєш куртку.

Хороший бот-скрапер проти поганого

Приклад: бот для відстеження вакансій

Скажімо, ти шукаєш підробіток і втомився щовечора вручну гортати сайти вакансій. Ось як ти ставиш задачу агенту - не «зроби скрапер», а по-людськи і по суті.

Збери мені бота, який сам відстежує вакансії і складає їх у таблицю. Хочу так:

Раз на день бот заходить на сайти з вакансіями і збирає нові: назву, посилання, компанію, зарплату.
Перед обробкою хай відсікає явно невідповідні за моїми ключовими словами. Усі налаштування винеси в окремий простий файл, щоб я міняв слова без правки коду.
Підключи безкоштовний ШІ. Хай оцінює кожну вакансію від 0 до 100 за тим, наскільки вона мені підходить, і пише коротке пояснення чому. ШІ клич пачками по 5 штук, не по одній.
Складай результат у таблицю, але спершу перевіряй, чи немає вже такого посилання, щоб не було дублів.
Зроби так, щоб бот сам запускався за розкладом раз на день і працював безкоштовно.
Паролі й ключі в коді не пиши - винеси в захищене місце.
Спершу покажи мені план і структуру папок, і тільки потім пиши код.

Часті помилки новачка під час збору даних

• Кликати ШІ на кожен пункт. Миттєвий виліт за ліміт. Завжди пачками по 5.
• Ломитися на сайт без пауз. Спіймаєш бан за IP. Став паузу між заходами.
• Не перевіряти дублі. Таблиця за тиждень перетворюється на звалище копій. Звіряй посилання перед додаванням.
• Ховати ключові слова в коді. Захотів поміняти «Київ» на «віддалено» - і лізеш у програму. Виноси налаштування в окремий файл.
• Писати паролі прямо в коді. Колись проєкт витече разом із ними. Ключі - тільки в захищеному місці, ніколи в коді.
• Бити молотком по склу. Якщо в сайту є чесний відкритий API - бери дані звідти, а не вигризай HTML силоміць.