Skalierbare Web-Crawler-Architektur für ein Münchner Marktforschungs-Unternehmen entwerfen
Übersicht
Worum es bei diesem Projekt geht.
Erhebe den heutigen Bottleneck (einzelne Python-Pipeline, SQLite-Index, Disk-Locking). Entwirf eine drei-Schichten-Architektur: Frontier-Service (URL-Verwaltung), Fetcher-Worker (HTTP-Abrufe mit asyncio oder Go), Parser-Pipeline (Inhalts-Extraktion und Speicherung). Wähle einen Queue-Backbone (Apache Kafka oder Redis Streams) begründet. Wähle ein Speichersystem für die rohen HTML-Antworten (z. B. S3-kompatibles Objekt-Storage) und für den parsenden Index (z. B. ClickHouse). Implementiere einen Lasttest mit 20 Millionen Seitenabrufen über 24 Stunden und identifiziere die nächste Skalierungs-Grenze. Abgaben: Architektur-Dokument, Komponentenwahl-Begründungen, Lasttest-Setup und -Bericht, 12-seitiges Skalierungs-Memo.
Das Briefing
Was Du tust und was Du zeigst.
Welche Architektur skaliert einen Web-Crawler von 12 Millionen auf 200 Millionen tägliche Seitenabrufe — und welcher Lasttest belegt, dass sie hält?
Earning criteria — what you'll demonstrate
- Drei-Schichten-Crawler-Architektur sauber zerlegen
- Queue-Backbone-Entscheidungen anhand realer Last begründen
- Lasttests so aufsetzen, dass sie echte Bottleneck-Daten liefern
- Skalierungs-Empfehlungen über Faktor 16 hinaus realistisch denken
Studienpassung
Wo dies in Dein Studium passt.
Schärft dieselben Fähigkeiten, die Dein Studium von Dir erwartet.
Fähigkeiten
Fähigkeiten, die Du unter Beweis stellst.
Jede taucht auf Deinem verifizierten Zertifikat auf.
Karrieren
Berufe, auf die dies Dich vorbereitet.
Echte Berufsbezeichnungen. Echte Skill-Brücken. Wähle die, die Deinem Werdegang am nächsten kommt.
Karrierewege, die das aufbaut
Kanonische RollenSoftware-Architekt:in
Eine Crawler-Architektur über Faktor 16 zu skalieren und mit Lasttest zu belegen ist die kanonische Senior-Architektur-Aufgabe in datengetriebenen B2B-Unternehmen.
Dieses Projekt schärft
- scalable-system-design
- distributed-systems
- load-testing
Backend-Ingenieur:in
Backend-Ingenieur:innen mit echter Lasttest-Erfahrung sind in Hochlast-Teams unverzichtbar.
Dieses Projekt schärft
- load-testing
- performance-profiling
- scalable-system-design
Noch eine Sache