Skalierbare Web-Crawler-Architektur für ein Münchner Marktforschungs-Unternehmen entwerfen
Übersicht
Worum es bei diesem Projekt geht.
Entwirf eine skalierbare Crawler-Architektur mit Queue-Backbone und führe einen 20-Millionen-Seiten-Lasttest durch. Du erhältst ein verifizierbares Zertifikat.
Das Szenario
Das Marktforschungs-Unternehmen verlor einen FMCG-Großkunden an einen US-Wettbewerber mit höherer Abdeckung — die 16-fache Skalierung ist die kommerzielle Antwort, die das Vertriebs-Team verspricht.
Das Briefing
Was Du tust und was Du zeigst.
Welche Architektur skaliert einen Web-Crawler von 12 Millionen auf 200 Millionen tägliche Seitenabrufe — und welcher Lasttest belegt, dass sie hält?
Earning criteria — what you'll demonstrate
- Drei-Schichten-Crawler-Architektur sauber zerlegen
- Queue-Backbone-Entscheidungen anhand realer Last begründen
- Lasttests so aufsetzen, dass sie echte Bottleneck-Daten liefern
- Skalierungs-Empfehlungen über Faktor 16 hinaus realistisch denken
Studienpassung
Wo dies in Dein Studium passt.
Schärft dieselben Fähigkeiten, die Dein Studium von Dir erwartet.
Studienzuordnung folgt in Kürze.
Fähigkeiten
Fähigkeiten, die Du unter Beweis stellst.
Jede taucht auf Deinem verifizierten Zertifikat auf.
- Scalable System Design
Apply scalable system design to solve real industry problems and demonstrate production-level capability.
- Distributed Systems
Apply distributed systems to solve real industry problems and demonstrate production-level capability.
- Kafka
Apply kafka to solve real industry problems and demonstrate production-level capability.
- Load Testing
Apply load testing to solve real industry problems and demonstrate production-level capability.
- Performance Profiling
Apply performance profiling to solve real industry problems and demonstrate production-level capability.
- Documentation
Apply documentation to solve real industry problems and demonstrate production-level capability.
Karrieren
Berufe, auf die dies Dich vorbereitet.
Echte Berufsbezeichnungen. Echte Skill-Brücken. Wähle die, die Deinem Werdegang am nächsten kommt.
Software-Architekt:in
Eine Crawler-Architektur über Faktor 16 zu skalieren und mit Lasttest zu belegen ist die kanonische Senior-Architektur-Aufgabe in datengetriebenen B2B-Unternehmen.
Dieses Projekt schärft
- scalable-system-design
- distributed-systems
- load-testing
Backend-Ingenieur:in
Backend-Ingenieur:innen mit echter Lasttest-Erfahrung sind in Hochlast-Teams unverzichtbar.
Dieses Projekt schärft
- load-testing
- performance-profiling
- scalable-system-design
Noch eine Sache