Evaluación adversarial de un agente con herramientas peligrosas

Piensa en este rol como la oposición leal dentro de un laboratorio de IA. Mientras tus compañeros compiten por hacer que un modelo sea más capaz, los investigadores de seguridad en IA preguntan qué sucede cuando tiene éxito, pero en la dirección equivocada, por las razones equivocadas o en las manos equivocadas. El trabajo abarca desde red-teaming de prompts, diseñar métodos constitucionales que orienten los modelos hacia un comportamiento basado en principios, hasta traducir los hallazgos en barreras de protección que los equipos de producto puedan adoptar realmente. Un buen trabajo aquí es riguroso y humilde: admite lo que aún se desconoce en lugar de encubrirlo. Los estudiantes crecen en este camino combinando profundidad técnica en PyTorch con una lectura amplia en ética, políticas y seguridad. El campo recompensa a quienes pueden sostener ambas cosas a la vez.

AI Research