KI-Scraper: der Bot sammelt selbst Daten von Websites

Was ist ein Scraper, einfach erklärt

Stell dir den Morgen vor. Du öffnest eine einzige Tabelle - und da steht alles Frische genau passend zu deinen Interessen. Neue Jobs zu deinem Lebenslauf. Konzerttickets, sobald der Preis gefallen ist. Wohnungen unter deiner Obergrenze. News nur über das, was dich wirklich packt.

Du kannst das von Hand sammeln. Zehn Websites öffnen, scrollen, kopieren, in die Tabelle einfügen. Jeden Tag. Eine Stunde lang. Brrr.

Oder du heuerst einen Roboter-Kurier an. Nachts, während du schläfst, klappert er all diese Seiten selbst ab, schreibt alles Wichtige in sein Notizbuch und legt dir bis zum Morgen eine fertige Tabelle auf den Tisch. Hier, Chef, nach Wichtigkeit sortiert, fang oben an.

Genau dieser Roboter ist ein Scraper Scraper (vom englischen scrape - „abkratzen“) - ein Programm, das selbst Webseiten öffnet und die nötigen Stücke rauszieht: Überschriften, Preise, Links, Daten. Als würde jemand superschnell die Daten für dich kopieren. - ein Bot, der selbst Daten sammelt.

Warum ein Vibecoder den Sammel-Bot verstehen sollte

Du bist Vibecoder. Den Aufbau von Websites von innen musst du nicht büffeln. Aber wenn du verstehst, wie ein Sammel-Bot aufgebaut ist, dann kannst du:

• dir Stunden zurückholen - die Routine, die du sonst mit den Fingern klicken würdest, macht der Bot;
• nichts verschlafen - der passende Job oder die Anzeige rauscht nicht durch, während du pennst;
• das Ganze kostenlos bauen - weder für Hosting noch für KI musst du zahlen;
• statt einer Müllhalde eine nach Wichtigkeit sortierte Liste bekommen.

Und das Wichtigste: Du schreibst das nicht von Hand. Du erklärst dem Agenten (Claude) die Aufgabe, und er baut den Bot nach einem bewährten Schema. Dein Job - verstehen, woraus der Bot besteht, damit du es präzise erklärst und am Ende keinen Brei bekommst.

Wie ein Scraper funktioniert: drei Stockwerke am Fließband

Jeder Sammel-Bot hat drei Stockwerke, und sie laufen streng der Reihe nach: sammeln → anreichern → ablegen.

Stockwerk 1. Sammeln - der Bot klappert die Seiten ab

Das erste Stockwerk ist der Scraper selbst. Er öffnet die Seite und zieht die nötigen Stücke raus: Titel, Link, Preis, Datum. Meistens reichen schon einfache, kostenlose Tools - sie decken 80 % der normalen Websites ohne jeden Aufwand ab.

Und wenn die Seite trickreich ist und Inhalte erst nachlädt (wie ein Feed, der sich auflädt, während du nach unten scrollst)? Dann holt der Bot die schweren Geschütze raus - ein Tool, das einen echten Browser hochfährt und geduldig wartet, bis die Seite fertig geladen ist.

Stockwerk 2. Anreichern - die KI bewertet die Daten

Das zweite Stockwerk ist das saftigste. Nackte Daten sind nur eine Liste. Die KI reichert sie an: gibt jedem Eintrag eine Bewertung von 0 bis 100, schreibt eine kurze Zusammenfassung, erklärt, warum das genau zu dir passt.

Schau. Der Bot hat 50 Jobs gebracht. Die KI liest jeden, gleicht ihn mit deinem Lebenslauf ab und vergibt Punkte. Job mit 95 - lass alles stehen und bewirb dich. Mit 30 - weiterscrollen, nicht deins.

Für dieses Stockwerk nehmen wir Gemini Flash Gemini Flash - ein schnelles und kostenloses KI-Modell von Google. Im kostenlosen Tarif reicht es für hunderte Anfragen pro Tag - für einen Heim-Bot dicke ausreichend. - eine kostenlose KI, die so eine Routine-Sortierung super hinbekommt.

Stockwerk 3. Ablegen - die Daten fallen in die Tabelle

Das dritte Stockwerk ist das Lager. Die verarbeiteten Daten müssen irgendwo hin, damit du sie siehst. Meistens ist das Notion (eine schicke Tabelle, praktisch zum Markieren „gefällt / vorbei“), aber auch Google Sheets oder eine ernsthaftere Datenbank tun’s.

Und hier eine wichtige Kleinigkeit: der Bot darf keine Dubletten ablegen. Vor jedem Hinzufügen prüft er - gibt’s diesen Link im Lager noch nicht? Gibt’s ihn schon - überspringen. Sonst bläht sich die Tabelle in einer Woche aus einer einzigen Anzeige in vierzig Exemplaren auf.

Wie du den Bot kostenlos nach Zeitplan startest

Okay, der Bot ist gebaut. Aber wer weckt ihn? Alle drei Stunden den „Start“-Knopf drücken - das ist eine ziemlich lahme Superkraft.

Hier kommt GitHub Actions GitHub Actions - ein kostenloser Dienst, der deinen Code nach Zeitplan startet (zum Beispiel alle 3 Stunden). Das ist der Wecker für den Bot, der in der Cloud lebt: dein Computer kann dabei ausgeschaltet sein. ins Spiel - ein kostenloser Wecker in der Cloud. Du sagst: „starte den Bot alle 3 Stunden“ - und er startet ihn. Von selbst. Selbst wenn dein Laptop zugeklappt im Rucksack in der U-Bahn liegt.

Ein Bot, der aus deinen Entscheidungen lernt

Und jetzt das Schönste. Der Bot kann aus deinen Entscheidungen lernen.

Du markierst in der Tabelle: diesen Job - „behalten“, diesen - „beworben“, und diesen - „vorbei“. Der Bot legt deine Markierungen in eine kleine Tagebuch-Datei. Und beim nächsten Mal, wenn er frische Jobs sortiert, schielt die KI ins Tagebuch: „aha, dem Chef gefiel sowas, sowas hat er weggeworfen“ - und legt es schlauer aus.

Je länger du es nutzt, desto genauer die Treffer. Wie der Kellner in deinem Lieblingscafé, der nach einem Monat schon deine Bestellung bringt, während du dir noch die Jacke ausziehst.

Guter Scraper-Bot gegen schlechten

Beispiel: ein Bot zum Job-Tracking

Sagen wir, du suchst einen Nebenjob und hast es satt, jeden Abend von Hand durch Job-Seiten zu scrollen. So stellst du dem Agenten die Aufgabe - nicht „mach einen Scraper“, sondern menschlich und auf den Punkt.

Bau mir einen Bot, der selbst Jobs trackt und sie in eine Tabelle legt. Ich will das so:

Einmal am Tag geht der Bot auf Job-Seiten und sammelt neue: Titel, Link, Firma, Gehalt.
Vor der Verarbeitung soll er die offensichtlich unpassenden nach meinen Schlüsselwörtern aussortieren. Pack alle Einstellungen in eine separate, einfache Datei, damit ich die Wörter ohne Code-Änderung ändern kann.
Bind eine kostenlose KI ein. Sie soll jeden Job von 0 bis 100 danach bewerten, wie gut er zu mir passt, und kurz erklären, warum. Ruf die KI in Batches zu je 5 Stück, nicht einzeln.
Leg das Ergebnis in eine Tabelle, aber prüf vorher, ob es den Link nicht schon gibt, damit keine Dubletten entstehen.
Mach es so, dass der Bot sich selbst einmal am Tag nach Zeitplan startet und kostenlos läuft.
Schreib Passwörter und Schlüssel nicht in den Code - pack sie an einen geschützten Ort.
Zeig mir zuerst den Plan und die Ordnerstruktur, und erst danach schreib den Code.

Häufige Anfängerfehler beim Datensammeln

• Die KI für jeden Eintrag rufen. Sofortiger Limit-Crash. Immer Batches zu je 5.
• Ohne Pausen auf die Seite draufhalten. Du fängst dir einen IP-Bann. Setz eine Pause zwischen den Besuchen.
• Keine Dubletten prüfen. Die Tabelle wird in einer Woche zur Kopien-Müllhalde. Gleiche den Link vor dem Hinzufügen ab.
• Schlüsselwörter im Code verstecken. Du willst „Berlin“ in „remote“ ändern - und musst ins Programm. Pack die Einstellungen in eine separate Datei.
• Passwörter direkt in den Code schreiben. Irgendwann leakt das Projekt mitsamt ihnen. Schlüssel - nur an einen geschützten Ort, niemals in den Code.
• Mit dem Hammer aufs Glas hauen. Wenn die Seite eine ehrliche, offene API hat - hol die Daten von dort, statt das HTML mit Gewalt zu parsen.