Sicherheits-Sandbox für autonome Web-Agenten in einem Zürcher AI-Startup entwerfen

Stell dir diese Rolle als die loyale Opposition innerhalb eines KI-Labors vor. Während deine Teamkollegen darum wetteifern, ein Modell leistungsfähiger zu machen, fragst du als KI-Sicherheitsforscher, was passiert, wenn es erfolgreich ist – beim falschen Ziel, aus den falschen Gründen, in den falschen Händen. Die Arbeit umfasst Red-Teaming von Prompts, das Entwickeln konstitutioneller Methoden, die Modelle zu prinzipientreuem Verhalten bewegen, und die Übersetzung von Erkenntnissen in Schutzmaßnahmen, die Produktteams tatsächlich übernehmen können. Gute Arbeit hier ist rigoros und bescheiden: Sie gibt zu, was noch unbekannt ist, anstatt es zu übertünchen. Studierende wachsen in diesen Bereich hinein, indem sie technische Tiefe in PyTorch mit breiter Lektüre in Ethik, Politik und Sicherheit kombinieren. Das Feld belohnt Menschen, die beides gleichzeitig halten können.

AI Research