Immobilien-Scraping: nicht illegal, aber der Ban folgt

Daten aus öffentlichem HTML zu kopieren sei "nicht illegal", so Nutzer eines Forums, doch Idealista verbietet es in seinen AGB und setzt Anti-Scraping-Systeme ein

Deutsch · Ursprüngliche Diskussion auf Spanisch · Veröffentlicht

Immobilien-Scraping: nicht illegal, aber der Ban folgt
Immobilien-Scraping: theoretisch legal, in der Praxis ein Minenfeld

Ist es strafbar, Wohnungspreise von einem Immobilienportal zu extrahieren, um eine Statistik-Website zu bauen? Die kurze Antwort mehrerer Forumsnutzer: Daten aus öffentlichem HTML zu kopieren ist nicht illegal. Die lange: Die Portale verbieten es in ihren Nutzungsbedingungen, setzen kommerzielle Anti-Scraping-Systeme ein und sperren deine IP, bevor du die Grafik fertig hast. Die Eingangsfrage ist die, die sich jeder stellt, der eine Preishistorie aufbauen wollte: Warum ist der Zugang zu öffentlichen Daten so abgeriegelt?

Was die Nutzungsbedingungen von Idealista sagen

Das Portal hält schriftlich fest: Es untersagt, "auf Informationen auf dieser Website und in den Apps zuzugreifen, sie zu überwachen oder zu kopieren – gleichgültig ob mittels Robotern, Spidern, Scrapern oder anderen automatisierten Mitteln oder manuellen Prozessen und gleichgültig zu welchem Zweck – ohne unsere ausdrückliche schriftliche Genehmigung". Das heißt: Nicht einmal manuelles Kopieren und Einfügen ist erlaubt. Die Klausel ist weit gefasst und abschreckend gemeint.

Allerdings macht ein Verbot in den AGB eines Unternehmens etwas nicht automatisch strafbar. Laut mehreren Forumsnutzern ist das Kopieren von Daten aus einem öffentlichen HTML-Dokument nicht illegal; illegal wäre es, ohne Zustimmung auf ihre Datenbanken zuzugreifen. Diese Unterscheidung ist wichtig: Es ist ein Unterschied, ob man liest, was die Website jedem Besucher ausliefert, oder sich in das Backend schleicht. Die meisten Analysen, die kursieren, stimmen überein: Das Scraping sichtbarer Inhalte bewegt sich in einer zivilrechtlichen Grauzone, nicht in einer strafrechtlichen.

Die API von Idealista: 100 Anfragen pro Monat, und sei dankbar

Das Portal bietet einen legitimen Weg: eine öffentliche API für Entwickler. Das Problem ist das Volumen. Laut einem Forumsnutzer, der Zugang beantragt hat, liegt der kostenlose Zugang bei rund 100 monatlichen Anfragen – eine Zahl, die nicht einmal für ein Viertel einer mittelgroßen Stadt reicht. Für eine Preishistorie ganz Spaniens ist das, als wollte man einen Pool mit einem Glas füllen.

Fotocasa hingegen hat keine API. Wer direkt nachfragte, bekam ein Nein als Antwort. Das Fehlen eines offiziellen Kanals treibt viele auf den grauen Weg: schlichtes Scraping. Und dort kommt die defensive Infrastruktur ins Spiel.

Das Anti-Scraping-System, das menschliche Muster erkennt

Die großen Portale beschränken sich nicht auf IP-Sperren. Laut einem Forumsnutzer, der Kontakt zu einem ehemaligen Mitarbeiter hat, verfügt Idealista über ein kommerzielles Anti-Scraping-System, das Navigationsmuster, Fingerprinting und Verhalten analysiert. Jemand, der an seiner Entwicklung mitgewirkt hat, bestätigt das: Sie erkennen den Bot und sperren ihn schnell. Eine Anzeige lohnt sich für sie nicht; den Zugang abzuwürgen, schon.

Die übliche technische Antwort besteht darin, mit Puppeteer oder Selenium einen echten Browser zu simulieren, bezahlte Proxys zu rotieren und das Verhalten zu randomisieren. Das funktioniert, aber es ist ein Wettrüsten. Jede Änderung am HTML des Portals zerstört das Skript. Und die heutigen Anti-Fraud-Systeme, wie sie in der Programmatic Advertising eingesetzt werden, führen hunderte Tests durch, um zu prüfen, ob der Besucher ein Mensch ist.

Der Weg über die mobile App und Reverse Engineering

Manche schlagen eine Abkürzung vor: die Anfragen abfangen, die die mobile App von Idealista erzeugt. Die App verlangt keine Registrierung für die Immobiliensuche, also liegen die Aufrufe ihrer internen API offen. Mit einem zwischengeschalteten Proxy und etwas Reverse Engineering lassen sich diese Anfragen nachbilden, ohne über das HTML zu gehen.

Das ist sauberer als klassisches Scraping, löst aber das Kernproblem nicht: Es bleibt ein unbefugter automatisierter Zugriff. Der Vorteil: Die App hat nicht denselben sichtbaren Schutz wie die Website. Der Nachteil: Drehen sie diesen Hahn zu, war die ganze Arbeit umsonst.

Das eigentliche Geschäft hinter den Immobiliendaten

Die Frage, die niemand ganz beantwortet, lautet: Warum lohnt sich das Risiko? Wohnungspreise sind eine wertvolle Informationsressource: Laut einem Forumsnutzer ist eine mehrjährige Preishistorie ihr Gewicht in Gold wert – für Investoren, Analysten und alle, die wissen wollen, ob der Markt kippt. Es gibt Bank-finanzierte Startups, die genau davon leben: Sie sammeln Preise einer ganzen Branche und verkaufen sie im Abo.

Wäre es illegal, stünde kein institutionelles Kapital dahinter. Das heißt aber nicht, dass es jeder machen kann. Der Unterschied zwischen einem finanzierten Startup und einer Privatperson mit einem Skript sind das Rechtsteam, die Infrastruktur und die Fähigkeit, Zugangsvereinbarungen auszuhandeln. Der kleine Scraper verhandelt nicht: Er versteckt sich.



Am Ende fällt die Antwort auf die Frage, ob man einen Anwalt braucht, differenziert aus. Für den persönlichen und statistischen Gebrauch ist das Strafrisiko gering. Wer ein Geschäft auf fremden Daten aufbauen will, trägt ein hohes zivil- und handelsrechtliches Risiko. Und das technische Risiko ist garantiert: Du wirst erkannt. Die Frage ist nicht, ob es legal ist. Sondern ob sich das Wettrüsten für dich lohnt.

Auch verfügbar auf: English

Zusammenfassung einer Diskussion auf Burbuja.info - Foro de economía, actualidad y política., aus dem Spanischen übersetzt und vor der Veröffentlichung geprüft. Die ganze Diskussion lesen (35 Antworten).

Weitere Zusammenfassungen

Alle Zusammenfassungen auf Deutsch →

-
Volver