Ética y seguridad

Campo que busca que los sistemas de IA hagan lo que las personas realmente quieren y valoran, y no solo lo que se les pidió literalmente.

Ataque que altera o introduce datos de entrenamiento para degradar un modelo, sesgar su comportamiento o insertar una asociación no deseada.

Hipotético sistema de IA capaz de aprender y razonar en casi cualquier tarea intelectual al nivel de una persona o por encima, no solo en tareas concretas.

Ataque que intenta manipular un modelo mediante instrucciones maliciosas incluidas en el prompt o en contenido externo que el modelo procesa.

Práctica de probar un sistema de IA de forma adversarial y estructurada para descubrir fallos, riesgos y formas de abuso antes y después de desplegarlo.

Aprendizaje por refuerzo con retroalimentación humana: técnica que ajusta un modelo según las preferencias de personas para que sus respuestas sean más útiles y seguras.

Tendencia de un sistema de IA a producir resultados sistemáticamente injustos o desequilibrados para ciertos grupos de personas, normalmente heredados de los datos o del diseño.