Estás usando un navegador desactualizado. Es posible que no muestre este u otros sitios web correctamente. Debe actualizar o usar un navegador alternativo.
Immobilien-Scraping: nicht illegal, aber der Ban folgt
Daten aus öffentlichem HTML zu kopieren sei "nicht illegal", so Nutzer eines Forums, doch Idealista verbietet es in seinen AGB und setzt Anti-Scraping-Systeme ein
Immobilien-Scraping: theoretisch legal, in der Praxis ein Minenfeld
Ist es strafbar, Wohnungspreise von einem Immobilienportal zu extrahieren, um eine Statistik-Website zu bauen? Die kurze Antwort mehrerer Forumsnutzer: Daten aus öffentlichem HTML zu kopieren ist nicht illegal. Die lange: Die Portale verbieten es in ihren Nutzungsbedingungen, setzen kommerzielle Anti-Scraping-Systeme ein und sperren deine IP, bevor du die Grafik fertig hast. Die Eingangsfrage ist die, die sich jeder stellt, der eine Preishistorie aufbauen wollte: Warum ist der Zugang zu öffentlichen Daten so abgeriegelt?
Was die Nutzungsbedingungen von Idealista sagen
Das Portal hält schriftlich fest: Es untersagt, "auf Informationen auf dieser Website und in den Apps zuzugreifen, sie zu überwachen oder zu kopieren – gleichgültig ob mittels Robotern, Spidern, Scrapern oder anderen automatisierten Mitteln oder manuellen Prozessen und gleichgültig zu welchem Zweck – ohne unsere ausdrückliche schriftliche Genehmigung". Das heißt: Nicht einmal manuelles Kopieren und Einfügen ist erlaubt. Die Klausel ist weit gefasst und abschreckend gemeint.
Allerdings macht ein Verbot in den AGB eines Unternehmens etwas nicht automatisch strafbar. Laut mehreren Forumsnutzern ist das Kopieren von Daten aus einem öffentlichen HTML-Dokument nicht illegal; illegal wäre es, ohne Zustimmung auf ihre Datenbanken zuzugreifen. Diese Unterscheidung ist wichtig: Es ist ein Unterschied, ob man liest, was die Website jedem Besucher ausliefert, oder sich in das Backend schleicht. Die meisten Analysen, die kursieren, stimmen überein: Das Scraping sichtbarer Inhalte bewegt sich in einer zivilrechtlichen Grauzone, nicht in einer strafrechtlichen.
Die API von Idealista: 100 Anfragen pro Monat, und sei dankbar
Das Portal bietet einen legitimen Weg: eine öffentliche API für Entwickler. Das Problem ist das Volumen. Laut einem Forumsnutzer, der Zugang beantragt hat, liegt der kostenlose Zugang bei rund 100 monatlichen Anfragen – eine Zahl, die nicht einmal für ein Viertel einer mittelgroßen Stadt reicht. Für eine Preishistorie ganz Spaniens ist das, als wollte man einen Pool mit einem Glas füllen.
Fotocasa hingegen hat keine API. Wer direkt nachfragte, bekam ein Nein als Antwort. Das Fehlen eines offiziellen Kanals treibt viele auf den grauen Weg: schlichtes Scraping. Und dort kommt die defensive Infrastruktur ins Spiel.
Das Anti-Scraping-System, das menschliche Muster erkennt
Die großen Portale beschränken sich nicht auf IP-Sperren. Laut einem Forumsnutzer, der Kontakt zu einem ehemaligen Mitarbeiter hat, verfügt Idealista über ein kommerzielles Anti-Scraping-System, das Navigationsmuster, Fingerprinting und Verhalten analysiert. Jemand, der an seiner Entwicklung mitgewirkt hat, bestätigt das: Sie erkennen den Bot und sperren ihn schnell. Eine Anzeige lohnt sich für sie nicht; den Zugang abzuwürgen, schon.
Die übliche technische Antwort besteht darin, mit Puppeteer oder Selenium einen echten Browser zu simulieren, bezahlte Proxys zu rotieren und das Verhalten zu randomisieren. Das funktioniert, aber es ist ein Wettrüsten. Jede Änderung am HTML des Portals zerstört das Skript. Und die heutigen Anti-Fraud-Systeme, wie sie in der Programmatic Advertising eingesetzt werden, führen hunderte Tests durch, um zu prüfen, ob der Besucher ein Mensch ist.
Der Weg über die mobile App und Reverse Engineering
Manche schlagen eine Abkürzung vor: die Anfragen abfangen, die die mobile App von Idealista erzeugt. Die App verlangt keine Registrierung für die Immobiliensuche, also liegen die Aufrufe ihrer internen API offen. Mit einem zwischengeschalteten Proxy und etwas Reverse Engineering lassen sich diese Anfragen nachbilden, ohne über das HTML zu gehen.
Das ist sauberer als klassisches Scraping, löst aber das Kernproblem nicht: Es bleibt ein unbefugter automatisierter Zugriff. Der Vorteil: Die App hat nicht denselben sichtbaren Schutz wie die Website. Der Nachteil: Drehen sie diesen Hahn zu, war die ganze Arbeit umsonst.
Das eigentliche Geschäft hinter den Immobiliendaten
Die Frage, die niemand ganz beantwortet, lautet: Warum lohnt sich das Risiko? Wohnungspreise sind eine wertvolle Informationsressource: Laut einem Forumsnutzer ist eine mehrjährige Preishistorie ihr Gewicht in Gold wert – für Investoren, Analysten und alle, die wissen wollen, ob der Markt kippt. Es gibt Bank-finanzierte Startups, die genau davon leben: Sie sammeln Preise einer ganzen Branche und verkaufen sie im Abo.
Wäre es illegal, stünde kein institutionelles Kapital dahinter. Das heißt aber nicht, dass es jeder machen kann. Der Unterschied zwischen einem finanzierten Startup und einer Privatperson mit einem Skript sind das Rechtsteam, die Infrastruktur und die Fähigkeit, Zugangsvereinbarungen auszuhandeln. Der kleine Scraper verhandelt nicht: Er versteckt sich.
Am Ende fällt die Antwort auf die Frage, ob man einen Anwalt braucht, differenziert aus. Für den persönlichen und statistischen Gebrauch ist das Strafrisiko gering. Wer ein Geschäft auf fremden Daten aufbauen will, trägt ein hohes zivil- und handelsrechtliches Risiko. Und das technische Risiko ist garantiert: Du wirst erkannt. Die Frage ist nicht, ob es legal ist. Sondern ob sich das Wettrüsten für dich lohnt.
Zusammenfassung einer Diskussion auf Burbuja.info - Foro de economía, actualidad y política., aus dem Spanischen übersetzt und vor der Veröffentlichung geprüft.
Die ganze Diskussion lesen (35 Antworten).
Ein Hobbyist erstellte mit ChatGPT 3.5 eine Prüfungs-Oberfläche in zehn Minuten und einen Python-Webscraper in zwei Stunden; er prophezeit das Ende der Webentwicklung.
Die Robotik ersetzt Facharbeiter noch nicht: Ein Roboter amortisiert sich bei einfachen Tätigkeiten nicht gegenüber einem Handwerker, doch die Angst um die Renten ist längst spürbar.
Das Radon-Gaszertifikat wird in Spanien Pflicht, mit Messungen über drei Monate. Wer keines hat, muss mit Bußgeldern rechnen. Gesundheitsschutz oder neue Bürokratie?
Die Preise für Taxi-Lizenzen in Spanien sind von 220.000 auf 70.000 Euro gefallen, während die Liberalisierung droht, sie ganz wertlos zu machen. Die Zahlen des Gewerbes gehen nicht mehr auf.