La última palabra la tiene una persona: supervisión humana y gobernanza de IA en sectores regulados

En sectores como la banca, la salud, los seguros o el sector público, la pregunta sobre la inteligencia artificial pasó a ser cómo usarla sin perder el control. La gobernanza de IA es el conjunto de reglas, roles y controles que definen qué decisiones puede apoyar la IA, quién responde por ellas, qué datos puede usar y cómo se supervisa. Bien diseñada, es lo que permite escalar su uso.

En este artículo revisamos cuatro principios a partir de dos conversaciones del podcast Inteligencia Artificial para los Negocios: la de Richard Weber, profesor titular del Departamento de Ingeniería Industrial de la Universidad de Chile, sobre Fiscal Heredia, el ecosistema de IA que apoya a la Fiscalía de Chile (episodio #178), y la de Cristian Ludwig von Chrismar, gerente de inteligencia artificial de BCI (episodio #181). Al final compartimos cómo abordamos este tema en EvoConsulting.

Por qué la gobernanza es la condición para escalar la IA

Los pilotos de IA suelen funcionar en un entorno controlado, con pocos usuarios y datos acotados. El problema aparece al escalar, cuando el modelo llega a otras áreas y empieza a apoyar decisiones con datos sensibles. Sin reglas claras, las herramientas se dispersan y nadie sabe bien quién responde cuando algo sale mal.

En los sectores regulados ese riesgo es mayor, porque un error puede dañar a personas concretas y la confianza en la institución.

Primer principio: la IA sugiere, una persona decide

Fiscal Heredia apoya a fiscales y analistas en tareas como leer grandes volúmenes de texto o analizar audios. Al describir su rol, Richard Weber fue claro:

“La última palabra siempre la tiene el o la fiscal a cargo de una causa.”

(Richard Weber, profesor titular de la Universidad de Chile, en el episodio #178 del podcast Inteligencia Artificial para los Negocios)

Según explicó en el episodio, el sistema no toma decisiones de forma autónoma. Por ejemplo, el módulo de redes indica posibles integrantes de una banda, pero puede equivocarse, y por eso el criterio del experto a cargo sigue siendo indispensable. Lo que cambia es el punto de partida: en vez de buscar en un mar de posibles sospechosos, el fiscal se concentra en unos pocos casos sugeridos.

Para una empresa, la traducción es directa: antes de implementar un caso de uso, hay que definir por escrito qué decide la IA, qué sugiere y quién valida. En procesos como créditos o selección de personas, esa definición debería quedar fijada como exigencia de diseño desde el inicio.

Segundo principio: medir más que el tiempo ahorrado

El indicador más fácil de mostrar es el tiempo. En el episodio se comentó que Fiscal Heredia redujo de 8 horas a un minuto una tarea de lectura. Pero Weber puso el foco en otro lado:

“Lo que encontramos ahora mucho más interesante es un avance cualitativo, no solamente cuantitativo en reducción del tiempo.”

(Richard Weber, en el episodio #178)

Su ejemplo: el sistema detectó una contradicción entre dos testimonios de una misma persona, tomados con más de tres meses de diferencia. Para un ser humano es muy difícil saber qué dos documentos comparar entre cientos.

La lección de gobernanza es que los indicadores de un proyecto de IA deben medir la calidad de las decisiones, además de la eficiencia. Si solo se mide el ahorro de horas, se pierde de vista dónde la IA aporta más valor y dónde introduce riesgos.

Tercer principio: los datos se quedan en tu infraestructura

Ante las preocupaciones por la privacidad y los sesgos, Weber explicó que la IA de la Fiscalía corre dentro del propio entorno Azure de la institución, donde ya maneja sus datos, y que los sesgos son materia de investigación. También fue realista:

“Sabemos que la seguridad absoluta no existe.”

(Richard Weber, en el episodio #178)

En el episodio #181, Cristian Ludwig von Chrismar describió un enfoque parecido en BCI: el banco construyó su plataforma de IA sobre Microsoft Azure y usa ahí incluso modelos de otros proveedores, lo que le da observabilidad y control de costos.

El principio común: la IA se lleva a donde ya están los datos y sus controles. Para muchas empresas eso significa elegir herramientas que funcionen dentro de su nube corporativa o con garantías contractuales claras sobre el uso de la información.

Cuarto principio: un solo lugar para controlar la IA

En el episodio #181 se advirtió sobre un riesgo común: que los casos de uso se dispersen y cada área se conecte por su cuenta a distintos modelos. La respuesta de BCI, según contó Cristian, fue centralizar el control y el gobierno de la IA generativa. Ese mismo riesgo pesa al decidir entre desarrollar o comprar soluciones de IA, porque cada proveedor suma un acceso a tus datos.

Control de accesos desde el diseño

Cristian explicó que, por arquitectura, un ejecutivo del banco no puede acceder a los datos de otro ejecutivo. El control de accesos lo garantiza el diseño del sistema.

Pruebas antes de abrir una herramienta

Según relató, antes de habilitar herramientas generales para los colaboradores, el banco hizo pruebas de ethical hacking (intentos controlados de vulnerar el sistema), con especial atención a la inyección de prompts: instrucciones maliciosas que buscan que la IA haga algo que no debería.

La mirada de EvoConsulting: gobernanza que acompaña la adopción

En EvoConsulting tratamos la gobernanza como parte de la estrategia de inteligencia artificial desde el primer día. Nuestro enfoque combina tecnología y negocio: el análisis técnico de herramientas y riesgos va junto con la conversación sobre procesos y responsables.

Por eso, en la etapa de levantamiento entrevistamos a representantes y también a operadores de cada área. Son ellos quienes saben dónde una sugerencia de la IA necesita validación humana y dónde un control extra solo agregaría fricción. Y cuando un caso de uso es sensible, preferimos validarlo con una prueba de concepto que permita una evaluación realista de costos, factibilidad y capacidad de adopción antes de escalar.

Un checklist de partida

  1. Inventario: ¿qué herramientas de IA se usan hoy, en qué áreas y con qué datos?
  2. Nivel de autonomía: para cada caso, ¿la IA decide, sugiere o solo resume? ¿Quién valida?
  3. Datos: ¿dónde se procesan? ¿Salen de nuestra infraestructura? ¿Qué dice el contrato del proveedor?
  4. Accesos: ¿el diseño impide que alguien vea información que no le corresponde?
  5. Pruebas: ¿probamos el sistema contra usos maliciosos antes de abrirlo?
  6. Indicadores: ¿medimos calidad y errores, además de tiempo ahorrado?
  7. Responsables: ¿quién es dueño de cada caso de uso y quién gobierna el conjunto?

Este checklist no reemplaza una revisión legal ni los requisitos de cada regulador. Sirve para ordenar la conversación entre las áreas de negocio, tecnología y riesgo.

Preguntas frecuentes

¿Qué es la gobernanza de la inteligencia artificial en una empresa?

Es el conjunto de reglas, roles y controles que define qué puede hacer la IA, con qué datos, quién valida sus resultados y cómo se supervisa su uso.

¿La supervisión humana hace más lenta la IA?

No necesariamente. En el caso de Fiscal Heredia, el sistema reduce el universo de información que el fiscal debe revisar, y la decisión final sigue en manos de una persona.

¿Por dónde empieza una empresa regulada?

Por un inventario de los usos actuales de la IA y la definición de qué decide la IA y qué valida una persona en cada caso.

Artículo elaborado a partir de los episodios #178 y #181 del podcast Inteligencia Artificial para los Negocios. Borrador con apoyo de IA, revisado y editado por el equipo de EvoConsulting.

Otros artículos