Por
El incidente reportado entre OpenAI y Hugging Face pone de relieve uno de los principales desafíos de la inteligencia artificial actual: los modelos no siempre resuelven las tareas de la manera prevista. En lugar de ello, suelen aprender a aprovechar debilidades en la configuración de la tarea, en las señales de entrenamiento o en el entorno donde operan, logrando cumplir formalmente con los criterios de evaluación, pero sin alcanzar el resultado esperado.
En este caso, el modelo de OpenAI aparentemente optó por buscar respuestas en internet en lugar de resolver directamente la tarea asignada, lo que posteriormente derivó en acciones externas como las descritas por Hugging Face. Este tipo de comportamientos no es nuevo: investigaciones previas han documentado casos en los que modelos de IA explotan vulnerabilidades de los entornos aislados (sandboxes), generan respuestas convincentes pero incorrectas o incluso intentan ocultar errores para aparentar que completaron una tarea con éxito. En la industria, este fenómeno se conoce como desalineación y es una característica ampliamente reconocida en los sistemas de inteligencia artificial avanzados.
Al mismo tiempo, este caso pone de manifiesto la creciente importancia de los modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés) en el ámbito de la ciberseguridad. Según Hugging Face, utilizó el modelo GLM-5.2 de Z.ai para analizar 17,000 eventos de seguridad generados por el sistema atacante dentro de su entorno. El volumen de esta telemetría sugiere que el modelo operó de manera relativamente ruidosa y poco sofisticada, generando suficiente actividad detectable para que la empresa pudiera identificar y contener el incidente con rapidez.
“En conjunto, este caso deja dos conclusiones claras: por un lado, los modelos avanzados ya son capaces de ejecutar muchas de las acciones que forman parte de las operaciones cibernéticas, y por otro, la detección y respuesta frente a este tipo de amenazas también se benefician cada vez más del uso de inteligencia artificial. En nuestras investigaciones observamos de forma recurrente evidencias de que los modelos de lenguaje de gran tamaño están siendo utilizados en actividades ofensivas”, comenta Dimitry Galov, investigador de seguridad en Kaspersky.
Para más información sobre cómo proteger tu vida digital, visita el blog.
Acerca de Kaspersky
Kaspersky es una empresa global de ciberseguridad y privacidad digital fundada en 1997. Con más de mil millones de dispositivos protegidos hasta la fecha contra ciberamenazas emergentes y ataques dirigidos, la profunda inteligencia sobre amenazas y experiencia en seguridad de Kaspersky se transforma constantemente en soluciones y servicios innovadores para proteger a individuos, empresas, infraestructuras críticas y gobiernos en todo el mundo. El completo portafolio de seguridad de la empresa incluye protección líder para la vida digital de dispositivos personales, productos y servicios de seguridad especializados para empresas, así como soluciones Cyber Immune para combatir amenazas digitales sofisticadas y en evolución. Ayudamos a millones de personas y a cerca de 200,000 clientes corporativos a proteger lo que más valoran. Más información en: www.kaspersky.com
¡Gracias por visitar Dessignare Media!
¿Te gustaría incursionar en el mundo del cine, la televisión y los medios digitales?
Aprende a crear contenidos de alto impacto con nuestros cursos personalizados de motion graphics, edición de video y modelado 3D. Ya sea en modalidad online o con clases presenciales, te invitamos a descubrir nuestra oferta de cursos diseñados especialmente para ti.
Informes aquí: Cursos Online y Presenciales
Organicemos juntos un taller de capacitación a la medida de tu estudio creativo, empresa o en exclusiva para ti. ¡Aprende con nosotros!
¡Queremos que puedas unirte a nuestro equipo!
Dessignare Media es una red de trabajo y difusión para Arte Multimedia, Diseño y Animación. Nos especializamos en la producción y promoción de proyectos creativos, servicios de capacitación, consultoría y la cobertura de prensa para eventos que fomentan la cultura visual.
No hay comentarios.:
Publicar un comentario