Wie man dicht besiedelte Gebiete scrapen kann: Vollständiger Leitfaden für 2025

Über 4 Milliarden Menschen leben heute in Städten. Das sind 56 % der Weltbevölkerung, die in städtischen Gebieten konzentriert ist. Für Geschäftsprospektoren, Vermarkter und Vertriebsteams stellt diese Dichte eine Chance — und einen Albtraum dar.

Hier ist der Grund: Dichte Städte brechen traditionelle Scraper. Dein grundlegendes Python-Skript? Scheitert nach 100 Anfragen. Kostenlose Chrome-Erweiterungen? Timeout. DIY-Lösungen? Innerhalb von Stunden blockiert.

Aber hier ist, was die meisten Menschen nicht realisieren: Die Herausforderung ist nicht die Geschwindigkeit. Es ist die Strategie.

Eine Marketingagentur extrahierte 50.000 Restaurantdaten aus Manhattan in 45 Minuten. Eine andere benötigte drei Wochen für die manuelle Durchführung. Der Unterschied war nicht die Rechenleistung. Es war der Ansatz.

Dieser Leitfaden zeigt dir genau, wie du dicht besiedelte Gebiete scrapen kannst, ohne blockiert zu werden, ohne Zeit zu verschwenden und ohne dein Budget zu sprengen.

Warum dichte Städte anders sind

Städtische Dichte schafft einen perfekten Sturm für die Datenextraktion.

Dhaka, Bangladesch hat 44.500 Menschen pro Quadratkilometer — die dichteste Stadt der Erde. New York City hat 27.000 Menschen pro Quadratmeile. San Francisco erreicht 18.000 pro Quadratmeile. Das sind nicht nur mehr Menschen. Es sind exponentiell mehr Unternehmen.

Allein in Manhattan gibt es über 50.000 Betriebe auf Google Maps. Die Metropolregion Los Angeles hat 3,9 Millionen. Chicago hat 2,7 Millionen. Jedes Unternehmen hat eine Website, eine Telefonnummer, Bewertungen, Öffnungszeiten, Fotos. Das ist ein Datenfeuerhose.

Aber das Volumen ist nicht das eigentliche Problem.

Anti-Bot-Systeme in dichten Städten sind aggressiv. Warum? Weil jeder diese Server ansteuert. Echte Kunden, Wettbewerber, Forscher, Scraper. Server sehen 10.000 Anfragen pro Minute von Manhattan-Adressen. Sie sind paranoid.

Ein Scraper im Finanzdistrikt Londons wurde nach 100 Anfragen blockiert. Der gleiche Scraper in ländlichem Yorkshire bewältigte 5.000 ohne Probleme. Dasselbe Tool. Andere Dichte. Anderes Ergebnis.

Die Serverantwortzeiten brechen auch in dichten Gebieten zusammen. Ländliche Zonen haben eine durchschnittliche Antwortzeit von 200 ms. Downtown Chicago? 600-800 ms. Das ist 3-4x langsamer. Deine Timeout-Einstellungen, die in kleinen Städten funktionieren, scheitern spektakulär in Städten.

Dann gibt es die Datenqualität. In dichten Städten erhältst du doppelte Einträge, umgezogene Unternehmen, fusionierte Firmen, verlassene Geschäfte, die noch gelistet sind. Ein Restaurant könnte 3 separate Google Maps-Einträge haben. Dein Scraper muss mit diesem Chaos umgehen können.

Die Top 10 dicht besiedelten Städte für die Datenextraktion

Das Verständnis der Dichte und der Unternehmenslandschaft deiner Zielstadt prägt deine Extraktionsstrategie.

New York City (27.000 Menschen/qm) ist der Schwergewichtschampion. Manhattan hat genug Unternehmen, um einen Scraper monatelang zu beschäftigen. Finanzen, Einzelhandel, Restaurants, Dienstleistungen — alles auf 22 Quadratmeilen komprimiert. Aber NYC hat auch die ausgeklügeltsten Anti-Bot-Erkennungssysteme. Hier brauchst du einen soliden Ansatz.

San Francisco (18.000 Menschen/qm) vereint Dichte mit technischer Raffinesse. Diese Unternehmen betreiben moderne, JavaScript-intensive Websites. Dein grundlegender HTTP-Scraper sieht leere Seiten. Du benötigst Browserautomatisierung oder API-Extraktion.

Boston (14.000 Menschen/qm) bietet unglaubliche Vielfalt. Universitäten, Krankenhäuser, Biotech-Startups, historische Unternehmen. Jede Kategorie benötigt unterschiedliche Extraktionslogik. Aber die kleinere Größe Bostons macht es zu einem idealen Testfeld, bevor du NYC angehst.

Chicago (12.000 Menschen/qm) und Philadelphia (12.000 Menschen/qm) bieten beide massive Unternehmensverzeichnisse ohne die paranoiden Anti-Bot-Systeme von NYC. Chicago hat 2,7 Millionen Unternehmen in der Metropolregion. Die miteinander verbundenen Stadtteile Philadelphias sind leichter zu segmentieren als das ausgedehnte LA.

Los Angeles (7.476 Menschen/qm) erstreckt sich über mehr als 500 Quadratmeilen. Geringere Dichte als NYC, aber die schiere geografische Größe schafft Extraktionsherausforderungen. Du kannst nicht einfach "Los Angeles" abfragen — du musst nach Stadtteilen zielen.

Internationale Schwergewichte wie Tokio, Mumbai, Kairo und São Paulo stellen einzigartige Hindernisse dar. Tokios Adressen folgen nicht der westlichen Logik. Mumbai hat Unternehmen ohne offizielle Adressen. Kairos Internetinfrastruktur schafft ständige Timeouts. Aber sie sind auch weniger gesättigt mit Wettbewerbern, die scrapen.

Washington DC, Seattle, Austin, Denver und Phoenix bieten ideale Bedingungen — dicht genug für wertvolle Daten, weniger aggressive Anti-Bot-Systeme als NYC.

Die Gelegenheit ist riesig. Diese 10 Städte allein enthalten über 15 Millionen Unternehmen. Dort konzentrieren sich deine Kunden, Wettbewerber und Interessenten.

Warum traditionelle Scraper in dichten Städten scheitern

Dein grundlegender Scraper funktioniert gut in Vororten. Er scheitert katastrophal in Städten. Hier ist der Grund.

Einzelne Extraktionsprozesse bearbeiten jeweils ein Unternehmen. In einer Stadt mit 100.000 Unternehmen sind das 100.000 sequentielle Anfragen. Selbst bei 1 Anfrage pro Sekunde sind das 27 Stunden kontinuierliches Scraping. Nach 3 Stunden bist du blockiert.

Feste Ratenbegrenzung passt sich nicht an die Serverlast an. Du setzt Verzögerungen auf 1 Sekunde pro Anfrage. Funktioniert großartig um Mitternacht. Um 9 Uhr? Server sind überlastet. Deine 1-Sekunden-Verzögerung reicht nicht aus. Du bekommst Timeouts und Fehler.

Einzelne IP-Adressen schreien "Bot". Menschen greifen nicht 5.000 Mal von einer IP auf denselben Server zu. Anti-Bot-Systeme markieren dies sofort. Dein Scraper wird blockiert, bevor er bedeutende Daten extrahiert.

Statische Benutzeragenten und Header sind ein weiteres Warnsignal. Echte Browser senden unterschiedliche Header, unterschiedliche Benutzeragenten, unterschiedliche Referrer. Dein Scraper sendet jedes Mal die exakt gleichen Header. Muster erkannt. Blockiert.

Keine Handhabung von JavaScript bedeutet, dass du 40 % der modernen Websites verpasst. Single-Page-Anwendungen, auf React basierende Seiten, dynamisches Laden von Inhalten — dein HTTP-Scraper sieht leeres HTML. Du benötigst Browserautomatisierung dafür.

Speicherlecks bringen deinen Scraper nach 10.000-50.000 Datensätzen zum Absturz. Du hältst alles im RAM. Keine Bereinigung. Gigabytes sammeln sich an. Absturz. Von vorne beginnen.

Keine Duplikationslogik bedeutet, dass du dasselbe Unternehmen 3 Mal extrahierst. Ein Restaurant hat sich bewegt. Der alte Eintrag existiert immer noch. Dein Scraper weiß nicht, dass es sich um dasselbe Unternehmen handelt. Du endest mit fehlerhaften Daten.

Professionelle Extraktionstools lösen all diese Probleme. Aber zu verstehen, warum sie scheitern, hilft dir, bessere DIY-Lösungen zu entwickeln oder das richtige Tool auszuwählen.

Vor dem Scraping: Planung deiner dichten Stadt-Extraktion

Bevor du eine einzige Zeile Code schreibst, benötigst du einen Plan. Einen echten Plan.

Kartiere dein Zielgebiet geografisch. Sag nicht einfach "scrape NYC." Zerlege es. Manhattan hat über 80 Stadtteile. Jeder hat unterschiedliche Unternehmensdichten. Finanzdistrikt? Voll mit Büros und Restaurants. Upper East Side? Wohngebiet mit verstreutem Einzelhandel.

Erstelle ein Raster. Teile deine Stadt in Quadrate. Manhattan: 200 Quadrate. LA: 1.000 Quadrate. Jedes Quadrat erhält seine eigene Extraktionsaufgabe. Dies verhindert Überschneidungen, sorgt für vollständige Abdeckung und ermöglicht dir die Parallelisierung.

Berechne das erwartete Datenvolumen. Verwende diese Formel:

Fläche (Quadratmeilen) × Durchschnittliche Unternehmen pro Quadratmeile = Erwartete Datensätze

Manhattan: 22,8 qm × 2.200 Unternehmen/qm = 50.160 erwartete Datensätze.

LA-Metropolregion: 500 qm × 7.800 Unternehmen/qm = 3.900.000 erwartete Datensätze.

Das sagt dir, wie lange die Extraktion dauern wird, wie viel Speicherplatz du benötigst und ob deine Infrastruktur ausreichend ist.

Definiere deine Geschäftskategorien. Möchtest du alle Unternehmen oder spezifische Kategorien? Alle Restaurants in NYC oder nur Michelin-prämierte? Das prägt deine Filterstrategie. Kategoriespezifische Extraktion ist 60-80 % schneller als alles zu extrahieren und dann zu filtern.

Identifiziere deine Datenanforderungen. Name, Adresse, Telefon, E-Mail? Oder benötigst du Bewertungen, Fotos, Mitarbeiteranzahl, technische Ausstattung der Website? Jeder zusätzliche Datenpunkt erhöht die Komplexität der Extraktion.

Recherchiere lokale Hindernisse. Hat deine Zielstadt offene Datenportale? Lizenzbeschränkungen? Einige Städte (San Francisco, Chicago) haben offene Dateninitiativen. Andere (New York) haben spezifische Richtlinien für die kommerzielle Nutzung. Kenne die Regeln, bevor du anfängst.

Die richtigen Tools für dichtes Stadt-Scraping

Nicht alle Tools sind gleich gut für dichte Städte geeignet.

Kostenlose Chrome-Erweiterungen funktionieren für die Extraktion von 50-200 Datensätzen. Darüber hinaus stößt du auf Ratenlimits. Sie sind großartig für Proben, aber nicht für stadtweite Extraktionen.

DIY-Python-Skripte (Selenium, Beautiful Soup, Scrapy) geben dir Kontrolle, erfordern jedoch ständige Wartung. Google Maps ändert monatlich seine Benutzeroberfläche. Dein Skript bricht. Du reparierst es. Immer wieder. Gut zum Lernen, schlecht für die Produktion.

API-basierte Lösungen wie die offizielle Google Maps API kosten 7 € pro 1.000 Anfragen. Die Extraktion von 100.000 Unternehmen kostet 700 €. Für 1 Million? 7.000 €. Außerdem begrenzen API-Limits dich auf 200.000 Anfragen pro Tag. Dichte Städte benötigen mehr.

Professionelle Scraping-Plattformen übernehmen die schwere Arbeit. Proxy-Rotation, Ratenbegrenzung, JavaScript-Rendering, geografische Präzision, Duplikation. Sie sind genau für dieses Problem gebaut.

Für dichte Städte benötigst du:

• Intelligente Proxy-Rotation, nicht zufällig. Wohn-IP-Adressen aus der Stadt, die du scrapen möchtest. NYC-Extraktion? NYC-Proxys. LA? LA-Proxys.
• Dynamische Ratenbegrenzung, die sich an die Serverantwortzeiten anpasst. Verlangsame, wenn die Server überlastet sind. Beschleunige, wenn sie reaktionsschnell sind.
• Verteilte Architektur, die mehrere Stadtteile gleichzeitig verarbeitet. Keine sequentielle Extraktion. Parallel.
• Browserautomatisierung für JavaScript-intensive Seiten. Nicht nur HTTP-Anfragen.
• Duplikationslogik, die doppelte Einträge identifiziert, bevor sie deinen Datensatz verschmutzen.
• Fehlerbehandlung und Wiederholungslogik, die intelligent ist. Timeout? Wiederholen mit Backoff. Blockiert? Proxy wechseln und es erneut versuchen.

Schritt für Schritt: Daten aus dichten Städten extrahieren

Phase 1: Infrastruktur einrichten

Beginne mit einer verteilten Architektur. Eine Maschine? Du bist fertig, bevor du anfängst. Richte 3-5 Extraktionsknoten ein, wenn möglich. Jeder bearbeitet einen anderen Stadtteil oder eine Kategorie. Sie arbeiten parallel.

Konfiguriere deinen Proxy-Pool. Für 10.000 Unternehmen verwende mindestens 100 Wohn-IP-Adressen. Für 100.000+ verwende 500-1.000. Wohnproxies kosten mehr als Rechenzentrumsproxies, aber sie werden nicht blockiert. In dichten Städten zählt der Preis pro erfolgreicher Extraktion mehr als der Preis pro Proxy.

Richte Protokollierung und Überwachung ein. Verfolge Erfolgsquoten, Antwortzeiten, blockierte Anfragen und Datenqualität. Echtzeit-Dashboards ermöglichen es dir, Probleme zu erkennen, bevor sie eskalieren. Erfolgsquote sinkt um 10 %? Alarm. Antwortzeit steigt? Alarm.

Erstelle ein Datenbankschema für deine extrahierten Daten. Name, Adresse, Telefon, E-Mail, Website, Kategorien, Öffnungszeiten, Bewertungen, Fotos usw. Normalisiere Adressen. Standardisiere Telefonnummern. Plane für Duplikate.

Phase 2: Geografische Zielsetzung

Verwende rasterbasierte Extraktion. Teile deine Stadt in Quadrate. Für Manhattan (22,8 qm) verwende 0,5 qm große Quadrate = 46 Rasterzellen. Für LA (500 qm) verwende 1 qm große Quadrate = 500 Rasterzellen.

Jede Rasterzelle erhält ihre eigene Extraktionsaufgabe. Frage Google Maps für dieses spezifische geografische Gebiet ab. Extrahiere alle Unternehmen innerhalb dieses Gebiets. Wechsle zur nächsten Zelle.

Dieser Ansatz: - Verhindert Überschneidungen und Lücken - Ermöglicht dir die Parallelisierung über Zellen - Handhabt geografische Grenzen sauber - Lässt dich fortfahren, wenn eine Zelle fehlschlägt

Alternativ kannst du eine kategoriespezifische Extraktion verwenden, wenn du bestimmte Unternehmensarten möchtest. "Restaurants in NYC" liefert sauberere Ergebnisse als geografische Abfragen. Kombiniere beide Ansätze für umfassende Abdeckung.

Phase 3: Ratenbegrenzung und Erkennung vermeiden

Beginne konservativ. 1 Anfrage alle 2 Sekunden. Überwache die Antwortzeiten. Wenn die Server schnell reagieren (< 500 ms), erhöhe die Rate schrittweise. Wenn du 429-Fehler (Ratenlimit) oder 403-Fehler (blockiert) siehst, ziehe dich sofort zurück.

Rotieren alles: - Benutzeragenten (verwende echte Browser-Benutzeragenten, keine gefälschten) - Referrer (manchmal Google, manchmal direkt, manchmal sozial) - Anfrage-Header (accept-language, accept-encoding usw.) - IP-Adressen (Wohnproxies, pro Anfrage rotiert)

Füge Zufälligkeit in dein Verhalten ein. Fordere nicht genau alle 2 Sekunden an. Variiere es: 1,8 Sekunden, 2,3 Sekunden, 1,9 Sekunden. Echte Menschen haben kein perfektes Timing.

Implementiere exponentielles Backoff. Erster Timeout? Warte 1 Sekunde, bevor du es erneut versuchst. Zweiter Timeout? 2 Sekunden. Dritter? 4 Sekunden. Das entspricht menschlichem Verhalten und respektiert die Serverlast.

Überwache die Erfolgsquoten. Halte eine Erfolgsquote von über 95 % aufrecht. Wenn sie unter 80 % fällt, stimmt etwas nicht. Unter 50 %? Stoppe und diagnostiziere, bevor du fortfährst.

Phase 4: JavaScript und moderne Websites handhaben

Moderne Unternehmen verwenden Single-Page-Anwendungen, React-Frameworks, dynamische Inhalte. Dein grundlegender HTTP-Scraper sieht leeres HTML.

Für statische Seiten (80 % der Unternehmen) verwende schnelle HTTP-Anfragen.

Für JavaScript-intensive Seiten (20 %) verwende headless Browser. Puppeteer (Chrome), Playwright (Multi-Browser) oder Selenium sind die Hauptoptionen.

Intelligenter Ansatz: hybride Extraktion. Verwende HTTP-Anfragen für alles. Wenn du leere Daten oder JavaScript-Fehler erhältst, wechsle zur Browserautomatisierung für diese spezifische Anfrage.

Das balanciert Geschwindigkeit (HTTP ist 10x schneller) mit Vollständigkeit (Browserautomatisierung behandelt moderne Seiten).

Phase 5: Datenbereinigung und Duplikation

Rohdaten, die aus dichten Städten extrahiert werden, sind unordentlich. Wirklich unordentlich.

Duplikate sind häufig. Ein Restaurant hat 3 separate Google Maps-Einträge. Dein Scraper extrahiert alle 3. Du benötigst eine Duplikationslogik.

Einfacher Ansatz: Abgleich von Adresse + Name. Wenn zwei Datensätze die gleiche Adresse und einen ähnlichen Namen haben (unscharfer Abgleich), handelt es sich um dasselbe Unternehmen. Behalte den vollständigsten Datensatz und verwerfe die Duplikate.

Komplexer: Verwende SIRET-Abgleich (Frankreich), Steuer-ID-Abgleich (andere Länder) oder Telefonnummern-Abgleich.

Die Normalisierung von Adressen ist entscheidend. "123 Main St" vs "123 Main Street" vs "123 Main St." sollten alle übereinstimmen. Verwende eine Bibliothek wie usaddress (Python) oder ähnliches.

Standardisierung von Telefonnummern. "+1 (212) 555-1234" vs "212-555-1234" vs "2125551234" sollten alle auf dasselbe Format normalisiert werden.

E-Mail-Validierung. Entferne offensichtlich gefälschte E-Mails. Überprüfe, ob die Domain existiert.

Entferne Unternehmen mit unvollständigen Daten. Keine Telefonnummer? Keine Adresse? Keine Website? Je nach Anwendungsfall kennzeichnen oder entfernen.

Fortgeschrittene Techniken für dichte Städte

Umgang mit Anti-Bot-Systemen

Moderne Anti-Bot-Systeme (Cloudflare, Akamai usw.) erkennen Muster. Dieselbe IP, die wiederholt zugreift? Blockiert. Derselbe Benutzeragent? Markiert. Dieselben Anfrage-Header? Verdächtig.

Verteidigungsstrategie:

Browser-Fingerprinting. Verwende echte Browser-Fingerabdrücke von tatsächlichen Browsern, keine erfundenen. Bibliotheken wie puppeteer-extra-plugin-stealth helfen hier.

Anfrage-Randomisierung. Variiere Header, Benutzeragenten, Referrer, Verzögerungen. Lass jede Anfrage so aussehen, als käme sie von einer anderen Person.

Wohnproxies. Rechenzentrums-IP-Adressen werden sofort markiert. Wohn-IP-Adressen (echte Internetverbindungen zu Hause) sind viel schwerer zu erkennen.

Verteilte Extraktion. Hammer nicht einen Server von einer IP. Verteile Anfragen über mehrere IPs, mehrere Standorte, mehrere Zeiträume.

Respektiere robots.txt und Ratenlimits. Wenn eine Website sagt "warte 2 Sekunden zwischen Anfragen", dann tue es. Das hält dich von ihrer Blockliste fern.

Verwaltung von großen Proxy-Pools

Für die Extraktion von 100.000+ Datensätzen benötigst du einen großen Proxy-Pool. Die richtige Verwaltung ist entscheidend.

Verfolge die Proxy-Leistung. Einige IPs sind schneller, einige zuverlässiger. Baue ein Bewertungssystem auf. Leite wichtige Anfragen über deine besten Proxys. Verwende mittelmäßige für Wiederholungen.

Rotieren Proxys intelligent. Sequentielle Rotation (IP1, IP2, IP3, IP1...) erzeugt Muster. Zufällige Rotation sieht natürlich aus.

Implementiere Proxy-Gesundheitsprüfungen. Teste regelmäßig jeden Proxy. Wenn er langsam oder blockiert ist, entferne ihn vorübergehend. Teste später erneut.

Überwache die Proxy-Kosten im Vergleich zur Erfolgsquote. Wohnproxies kosten 0,50 € - 2 € pro GB. Rechenzentrumsproxies kosten 0,10 € - 0,50 € pro GB. Aber Rechenzentrumsproxies werden häufiger blockiert. Berechne deine tatsächlichen Kosten pro erfolgreicher Extraktion, nicht nur die Proxy-Kosten.

Extrahieren von Bewertungen und Bewertungen

Google Maps-Bewertungen sind Goldgruben für Wettbewerbsanalysen, Reputationsüberwachung und Marktanalysen.

Extrahiere Bewertungstext, Bewertung, Datum und Autor. Filtere nach Bewertung (finde 1-Stern-Bewertungen für das Reputationsmanagement). Filtere nach Datum (nur aktuelle Bewertungen).

Diese Daten sind wertvoll, aber die Extraktion ist komplexer. Bewertungen sind paginiert. Du musst wiederholt auf "mehr laden" klicken. Das erfordert Browserautomatisierung.

Verwende Puppeteer oder Playwright. Lade die Unternehmensseite, scrolle zum Bewertungsbereich, klicke auf "mehr laden", bis alle Bewertungen geladen sind, und extrahiere dann.

Ratenbegrenze hier aggressiv. Bewertungsseiten werden genau überwacht. 1 Anfrage alle 5 Sekunden ist sicherer als 1 alle 2 Sekunden.

Extrahieren von Websitedaten und Technologie-Stack

Welche Technologien verwendet ein Unternehmen? WordPress, Shopify, WooCommerce, React, Vue, Angular? Google Analytics, Facebook Pixel, HubSpot, Mailchimp?

Diese Daten sind nützlich für: - Agenturen: Finden von Unternehmen mit veralteten Websites - SaaS-Unternehmen: Finden von Nutzern von Wettbewerbsprodukten - Technologieanbieter: Prospektierung basierend auf dem Technologie-Stack

Extrahiere den Quellcode der Website. Analysiere nach Skript-Tags, Meta-Tags, Analyse-Codes. Verwende Bibliotheken wie BeautifulSoup oder Regex, um Technologien zu identifizieren.

Das erfordert den Besuch der Website jedes Unternehmens. Das ist zeitaufwendig. Überlege, ob du diese Daten für deinen Anwendungsfall benötigst.

Häufige Fehler und wie man sie vermeidet

Fehler 1: Einzelne Extraktion Lösung: Verwende parallele Verarbeitung. Mehrere Threads oder Prozesse, die jeweils unterschiedliche Stadtteile bearbeiten. Mindestens 4x Geschwindigkeitsverbesserung.

Fehler 2: Feste Ratenbegrenzung Lösung: Implementiere dynamische Ratenbegrenzung. Passe dich an die Serverantwortzeiten an. Beginne konservativ, erhöhe schrittweise.

Fehler 3: Keine Proxy-Rotation Lösung: Verwende Wohnproxies. Rotieren pro Anfrage. Halte einen Pool von 100+ IPs für ernsthafte Extraktionen.

Fehler 4: Keine Fehlerbehandlung Lösung: Implementiere Wiederholungslogik mit exponentiellem Backoff. Behandle Timeouts, blockierte Anfragen und fehlerhafte Daten elegant.

Fehler 5: Alles extrahieren und dann filtern Lösung: Filtere vor der Extraktion. Willst du nur Restaurants? Frage Google Maps nach Restaurants ab. 70 % schneller als alles zu extrahieren und dann zu filtern.

Fehler 6: Keine Überwachung Lösung: Verfolge Erfolgsquoten, Antwortzeiten, blockierte Anfragen. Richte Alarme ein. Fange Probleme frühzeitig.

Fehler 7: Extraktion während der Hauptzeiten Lösung: Plane die Extraktion für Zeiten mit geringer Auslastung. 3-5 Uhr Ortszeit. Server sind weniger ausgelastet. Anti-Bot-Systeme sind entspannter. Du wirst 3x schneller extrahieren mit weniger Blockierungen.

Fehler 8: Duplikate nicht handhaben Lösung: Implementiere eine Duplikationslogik, bevor du Daten speicherst. Abgleich von Adresse + Name. Entferne Duplikate frühzeitig.

Rechtliche Überlegungen zur städtischen Datenextraktion

Kannst du Google Maps legal scrapen? Kurz gesagt: Öffentlich verfügbare Unternehmensinformationen sind in den USA und der EU rechtlich unbedenklich.

Aber es gibt Nuancen.

Unternehmensinformationen (Name, Adresse, Telefon, Website, Öffnungszeiten) werden öffentlich angezeigt. Das Scrapen dieser Informationen ist im Allgemeinen legal.

E-Mail-Adressen sind grauer. Wenn die E-Mail auf der Unternehmenswebsite öffentlich angezeigt wird, ist das Scrapen legal. Aber befolge die CAN-SPAM-Vorschriften. Füge Abmeldeoptionen hinzu. Spamme nicht.

Persönliche Informationen (Namen von Mitarbeitern, persönliche E-Mails, persönliche Telefonnummern) sind tabu. Scrape nur geschäftliche Kontaktdaten.

Die Nutzungsbedingungen von Google verbieten technisch gesehen automatisierte Extraktionen von Google Maps. Aber Gerichte haben entschieden, dass öffentlich verfügbare Daten nicht monopolisiert werden können. Sei dennoch vorsichtig. Überlasten die Server nicht. Extrahiere keine persönlichen Daten.

Lokale Vorschriften variieren. San Francisco ist liberal im Umgang mit Daten. New York verlangt eine Quellenangabe für bestimmte Datensätze. Chicago hat spezifische Bestimmungen für die kommerzielle Nutzung. Recherchiere deine Gerichtsbarkeit.

Respektiere robots.txt. Wenn eine Website in robots.txt sagt "disallow: /", ist das ein klares Signal, sich zurückzuziehen.

Der sicherste Ansatz: Extrahiere nur Unternehmensinformationen, respektiere Ratenlimits, überlaste die Server nicht, extrahiere keine persönlichen Daten.

Fallstudie: Extraktion von 50.000 NYC-Restaurants

Hier ist ein echtes Beispiel für die erfolgreiche Extraktion aus einer dicht besiedelten Stadt.

Ziel: Alle Restaurants in Manhattan für eine Plattform zur Analyse von Essenslieferungen extrahieren.

Herausforderung: Manhattan hat über 50.000 Restaurants. Traditionelle Ansätze schätzten 2-3 Wochen und 15.000 €.

Ansatz: 1. Manhattan in 200 Rasterzellen (jeweils 0,5 qm) unterteilen 2. 5 Extraktionsknoten einrichten (parallele Verarbeitung) 3. 200 Wohnproxies aus NYC verwenden 4. Die Kategorie "Restaurants" für jede Rasterzelle abfragen 5.