Advertencia de Anthropic: la IA está a punto de volverse más inteligente por sí sola

Anthropic, una empresa de inteligencia artificial con sede en EE. UU., advierte que el desarrollo de la IA está avanzando a un ritmo que pronto podría hacer que los agentes se desarrollen, entrenen y mejoren sin intervención humana, lo que recomienda una desaceleración en el desarrollo.

En una publicación de blog publicada el jueves, Marina Favaro, líder del Anthropic Institute y cofundador de Anthropic, Jack Clark, dijeron que los agentes ya pueden ejecutar código ellos mismos, delegar horas de trabajo a otros agentes y podrían estar a punto de asumir el control por completo.

"Durante la mayor parte de la historia de la IA, los humanos impulsaron cada paso de su ciclo de desarrollo. Pero en Anthropic, estamos delegando una parte cada vez mayor del desarrollo de la IA a los propios sistemas de IA, lo que está acelerando nuestro trabajo", dijeron.

"Llevada lo suficientemente lejos y con suficiente computación, esa tendencia apunta a un sistema de inteligencia artificial capaz de diseñar y desarrollar de forma totalmente autónoma su propio sucesor", agregaron Favaro y Clark.

El desarrollo de la IA está avanzando a un ritmo que podría llevar a que los agentes mejoren sin la intervención humana. Fuente: Antrópico

Existe preocupación sobre lo que podría suceder si la IA fuera capaz de volverse más inteligente por sí sola. En diciembre, OpenAI dijo que está investigando cómo desarrollar e implementar de forma segura una IA cada vez más capaz, incluida una IA capaz de autosuperación recursiva.

"Queremos que estos sistemas sigan consistentemente la intención humana en escenarios complejos del mundo real y condiciones adversas, eviten comportamientos catastróficos y sigan siendo controlables, auditables y alineados con los valores humanos", dijo.

La empresa también está contratando a un investigador para la preparación recursiva de superación personal, que forma parte de su equipo de Investigación de Seguridad.

Según Favaro y Clark, la mejora del modelo de IA se ha duplicado aproximadamente cada cuatro meses, en lugar de cada siete meses. El papel de los humanos se reduce a cada paso, y el modelo Claude de Anthropic es autor de alrededor del 80% del código fusionado en el código base de Anthropic.

"Aún no hemos llegado a ese punto y la superación personal recursiva no es inevitable. Pero podría llegar antes de lo que la mayoría de las instituciones están preparadas", dijeron.

"Una vez que la calidad del código creado por humanos y por IA alcance la paridad, los humanos dejarán de escribir código por completo y pasarán a revisarlo únicamente. Pero si no pueden revisar el código tan rápido como Claude puede generarlo, la revisión humana se convertirá en el cuello de botella para el desarrollo de la IA", agregaron.

Favaro y Clark también dijeron que lo ideal sería desacelerar el desarrollo para permitir más tiempo para abordar sus “inmensas” implicaciones.

En abril, Anthropic descartó hacer público su modelo de IA, Claude Mythos, por preocupaciones sobre la amenaza a la ciberseguridad global.

Claude Mythos pudo crear fácilmente exploits de software, lo que llevó a Anthropic a descartar un lanzamiento público por ahora. Fuente: Antrópico

Al mismo tiempo, un grupo de líderes tecnológicos, incluidos algunos de Anthropic y OpenAI, publicaron una carta abierta el jueves, instando a los legisladores a promulgar barreras más estrictas en torno a la tecnología por temor a que pueda usarse para superar las “barreras de conocimiento” que históricamente han impedido que los malos actores creen armas biológicas.

"Creemos que sería bueno para el mundo tener la opción de ralentizar o pausar temporalmente el desarrollo de la IA de vanguardia para permitir que las estructuras sociales y la investigación de alineación se mantengan al día con el avance de la tecnología", dijeron Favaro y Clark.

"Pero si una desaceleración simplemente permite que los actores menos cautelosos se pongan al día tecnológicamente, podría dejar a todos menos seguros. Sin un mecanismo de coordinación global, las empresas y los gobiernos tendrán que tomar decisiones difíciles sobre seguridad mientras se encuentran bajo presiones competitivas y geopolíticas".

Los agentes de IA son cada vez más populares, incluso entre los usuarios de criptomonedas. Algunos ejecutivos de criptomonedas han especulado que los agentes de inteligencia artificial que liquidan transacciones podrían impulsar la adopción y los volúmenes de transacciones. Jeremy Allaire, director ejecutivo de Circle, predijo en enero que miles de millones de agentes de IA operarían en nombre de los usuarios dentro de cinco años.

La firma de criptoinversión Keyrock informó el mes pasado que los agentes de inteligencia artificial que liquidan pagos pasaron del concepto a la realidad en los últimos 12 meses, con 73 millones de dólares liquidados en 176 millones de transacciones.

Revista: El primer caso de extracción de alfombras de memecoins en Corea, revisión de las reglas criptográficas de China: Asia Express