Producer-Consumer-Pipeline für ein Hamburger Logistik-Startup bauen
Übersicht
Worum es bei diesem Projekt geht.
Entwirf eine Pipeline mit drei Stufen: Ingest (HTTP-Endpoint), Transformer (Geo-Hashing und Anreicherung), Sink (in PostgreSQL schreiben). Verwende eine bounded Queue zwischen den Stufen mit klarer Backpressure-Semantik. Implementiere die Transformer-Stufe als Pool von 4-8 Worker-Prozessen (CPU-bound) und Ingest/Sink mit asyncio (I/O-bound). Schreibe Lasttests, die 5.000 Nachrichten pro Sekunde simulieren und dabei die End-to-End-p99-Latenz messen. Behandle Failure-Modes (Sink-Datenbank langsam, Transformer-Worker abgestürzt). Abgaben: Pipeline-Code, Lasttest-Suite, Failure-Mode-Tests, Mess-Bericht, 6-seitiges Memo für die CTO.
Das Briefing
Was Du tust und was Du zeigst.
Wie baut man eine Producer-Consumer-Pipeline in Python, die 5.000 Nachrichten pro Sekunde mit p99-Latenz unter 500 Millisekunden verarbeitet?
Earning criteria — what you'll demonstrate
- Producer-Consumer-Pipelines mit bounded Queues sauber entwerfen
- asyncio und Multiprocessing kombiniert einsetzen für I/O- und CPU-bound Last
- Backpressure-Semantik explizit modellieren statt zu hoffen
- Failure-Modes proaktiv testen statt im Produktions-Vorfall zu entdecken
Studienpassung
Wo dies in Dein Studium passt.
Schärft dieselben Fähigkeiten, die Dein Studium von Dir erwartet.
Fähigkeiten
Fähigkeiten, die Du unter Beweis stellst.
Jede taucht auf Deinem verifizierten Zertifikat auf.
Karrieren
Berufe, auf die dies Dich vorbereitet.
Echte Berufsbezeichnungen. Echte Skill-Brücken. Wähle die, die Deinem Werdegang am nächsten kommt.
Backend-Ingenieur:in
Producer-Consumer-Pipelines mit Backpressure zu entwerfen ist eine der häufigsten Junior-Backend-Aufgaben in datengetriebenen Startups.
Dieses Projekt schärft
- producer-consumer
- asyncio
- python
Noch eine Sache