Para las empresas que implementan la IA en el ámbito del cumplimiento normativo, que una fecha sea incorrecta supone el incumplimiento de un plazo. El error más peligroso es una respuesta errónea que el modelo devuelve con alta confianza, una que se incorpora silenciosamente al calendario de cumplimiento y solo se descubre una vez vencido el plazo. Archer® publicó hoy resultados que muestran que la IA diseñada específicamente para este fin supera ampliamente a un modelo de lenguaje de gran tamaño (LLM) de uso general en tareas regulatorias. Esta prueba comparativa enfrentó la IA de Archer, diseñada especialmente para un sector vertical, y sus conjuntos de datos propios contra un LLM líder de uso general, en una tarea fundamental de cumplimiento normativo: determinar las fechas de publicación, entrada en vigor y cierre de comentarios de documentos regulatorios en seis jurisdicciones.
Los modelos de uso general son un verdadero avance, y esto no cuestiona su calidad. La pregunta que Archer se propuso responder es más específica y práctica: qué se necesita para que una decisión específica y de alto riesgo sea confiable, rápida y accesible a gran escala. Un proceso vertical, enfocado en un dominio específico y basado en una base de conocimiento verificada por expertos, cumple con estos tres requisitos al mismo tiempo.
Precisión: un 90% menos de respuestas incorrectas
En los mismos 55 documentos, el modelo LLM de uso general se equivocó el 56% de las veces. La confianza empeoró el resultado, en lugar de mejorarlo. De las respuestas a las que otorgó un alto nivel de confianza, el 35% seguían siendo incorrectas. Con Archer Evolv, más del 95% de las determinaciones se verifican de inmediato, y el resto se envía a un experto antes de utilizarlas. Ni una sola fecha incorrecta llegó a la producción. Nada se envía sin verificar.
Resultado en los documentos de muestra |
Proceso de LLM genérico |
Archer Evolv |
Correcto |
44% |
95% verificado, 5% revisado por expertos |
Incorrecto, devuelto como válido |
25% |
0% |
Fallido o fuera de tiempo |
31% |
0% |
La confianza que un modelo tiene en sí mismo no es un factor de control. De las respuestas que el modelo LLM de uso general calificó con un alto nivel de confianza, el 35% eran incorrectas. Esa brecha de precisión es la condición previa para implementar la IA agéntica de manera responsable, ya que un operador autónomo es tan confiable como las decisiones en las que se basa. Las respuestas verificadas, con origen rastreable y supervisadas por expertos permiten implementar de manera segura agentes de IA en toda una empresa. Este es el núcleo de la gobernanza de la IA, y la capa para la que Archer fue diseñado.
“En materia de cumplimiento normativo, una respuesta rápida y barata, pero incorrecta, no tiene ningún valor, y una respuesta cuya fuente no se pueda rastrear es un verdadero riesgo”, explicó Kayvan Alikhani, director de Producto y Tecnología de Archer. “La IA de Archer, diseñada específicamente para este fin, verificó más del 95% de las decisiones en tiempo real. Esa es la base que permite a las empresas escalar el uso de agentes de IA sin perder el control sobre el resultado”.
Velocidad: las respuestas se verifican en tiempo real
Por solicitud, el proceso de uso general tardó unos cuatro segundos de media por respuesta dentro de un tiempo de espera de cinco segundos. Archer Evolv proporcionó una fecha verificada en aproximadamente cinco centésimas de segundo, unas 80 veces más rápido en consultas repetidas. Para los agentes de IA y los analistas que trabajan al ritmo de un calendario regulatorio, esa es la diferencia entre mantenerse al día y convertirse en el cuello de botella.
Costo: una base de conocimiento persistente y verificada, no una inferencia bajo demanda
Un proceso de uso general vuelve a calcular la respuesta en cada solicitud, sin recordar el cálculo que realizó anteriormente. Archer Evolv realiza el cálculo una sola vez en el momento de la ingesta, verifica el resultado en una base de conocimiento escalable y gestionada por expertos, y lo almacena de forma permanente para cada consulta futura a una fracción del costo y la latencia. Cuando se modifica una regulación, Evolv detecta el cambio de manera proactiva, vuelve a verificar y crea una versión actualizada de la respuesta. Nada de lo que se entrega está desactualizado. Para un corpus de 500 documentos con 12 consultas cada uno por mes, eso significa 6000 determinaciones frente a solo 500. Archer Evolv evita aproximadamente el 92% de las llamadas de inferencia, un ahorro estructural que aumenta a medida que crece el volumen.
El contexto permite que esto sea posible
La ventaja de Archer Evolv radica en el contexto: antes de que se ejecute cualquier IA, esta evalúa las jurisdicciones, los productos, las unidades de negocio, los riesgos y los temas regulatorios de la organización, de modo que cada decisión se fundamenta en lo que es relevante para esa empresa. Esa es la diferencia entre una respuesta y una respuesta defendible. Cuantos más agentes implemente una empresa, más valiosa se vuelve esa base, ya que cada agente hereda los mismos fundamentos verificados y con origen trazable, en lugar de tener que reconstruir todo una y otra vez desde cero.
“Las empresas que triunfen en la próxima década del SaaS combinarán la IA específica de cada dominio con un contexto propio y específico de cada sector que los modelos base no pueden replicar”, sostuvo Bill Díaz, director ejecutivo de Archer. “Esa es la ventaja competitiva, y se acumula con el tiempo. Esta prueba es la demostración”.
La metodología completa, los datos de origen y el estudio de caso están disponibles en el sitio web de liderazgo intelectual de Archer, compliance.ai/evolv_assets/case-01-evolv-vs-raw-llm.html. Para ver a Archer Evolv en acción, visite www.archerirm.com.
Acerca de Archer
Archer impulsa la forma en que las empresas líderes del mundo gestionan el riesgo, el cumplimiento y los cambios normativos. Más de 1300 organizaciones operan con Archer, entre ellas la mitad de las empresas de la lista Fortune 500 y 37 de los 50 bancos más importantes del mundo. Cada seis minutos se produce un nuevo cambio normativo en algún lugar del mundo, y la IA agéntica está superando la capacidad de la mayoría de los equipos para gestionarlo. La IA de Archer, diseñada específicamente para este fin, toma como base los datos normativos más exhaustivos y la experiencia en el ámbito de la gobernanza, el riesgo y el cumplimiento (GRC), por lo que cada resultado se remonta a su fuente y cada decisión puede justificarse. Archer ofrece soluciones que abarcan todo el espectro de GRC, incluyendo la gestión de cambios normativos, la gestión de riesgos con IA, la inteligencia normativa, los riesgos de terceros y los riesgos de TI y seguridad. Obtenga más información en www.archerirm.com.
El texto original en el idioma fuente de este comunicado es la versión oficial autorizada. Las traducciones solo se suministran como adaptación y deben cotejarse con el texto en el idioma fuente, que es la única versión del texto que tendrá un efecto legal.
Vea la versión original en businesswire.com: https://www.businesswire.com/news/home/20260630009943/es/
© Business Wire, Inc.
Disclaimer :
This press release is not a document produced by AFP. AFP shall not bear responsibility for its content. In case you have any questions about this press release, please refer to the contact person/entity mentioned in the text of the press release.