AnálisisGobernanza Digital e IAODS 16
Gobernanza de la IA en el sector público: cinco decisiones que no pueden esperar
Los algoritmos ya deciden a quién se inspecciona, qué solicitud se prioriza o qué expediente se marca como sospechoso. La pregunta ya no es si las administraciones usarán inteligencia artificial, sino quién responde cuando se equivoca.
- 01Publicar un inventario de los algoritmos que influyen en decisiones sobre personas.
- 02Evaluar el impacto en derechos antes de desplegar, no después de la primera queja.
- 03Dar a la supervisión humana tiempo, información y autoridad para corregir.
- 04Gobernar los datos de entrenamiento: origen, sesgos y calidad documentados.
- 05Abrir vías de reclamación que una persona afectada pueda usar de verdad.
- Firma
- Equipo de Gobernanza Digital e IApráctica de Conocimiento, Datos y Transformación
- Publicado
- en Insights · análisis de la práctica
- Lectura
- 9 minde lectura · cinco decisiones y una hoja de ruta
- Equipo
- Bangkok · Seúl · Bruselassedes que lideran la práctica
En los últimos tres años, la mayoría de las administraciones con las que trabajamos ha incorporado algún sistema automatizado de apoyo a la decisión: modelos que priorizan inspecciones laborales, herramientas que detectan posibles fraudes en prestaciones sociales, clasificadores que ordenan solicitudes de asilo o de ayudas. Casi nunca se presentan como «inteligencia artificial». Suelen llegar como una mejora de eficiencia dentro de un contrato de modernización tecnológica.
Ese es precisamente el problema. Cuando la IA entra por la puerta de la eficiencia, las preguntas de gobernanza —quién decide, con qué datos, bajo qué control y ante quién se responde— se formulan tarde o no se formulan. Y en el sector público esas preguntas no son técnicas: afectan a derechos fundamentales, a la igualdad ante la ley y a la confianza en las instituciones.
A partir de nuestro trabajo con gobiernos y organismos multilaterales en tres continentes, identificamos cinco decisiones que cualquier administración debería tomar antes de ampliar el uso de sistemas algorítmicos. Ninguna requiere grandes inversiones. Todas requieren voluntad política.
01Un inventario público de algoritmos
No se puede gobernar lo que no se conoce. Sorprende la frecuencia con la que un ministerio no sabe cuántos sistemas automatizados utiliza, quién los desarrolló o qué decisiones influyen. El primer paso es un registro: una lista viva de cada sistema que participa en decisiones que afectan a personas, con su finalidad, su base legal, el órgano responsable y el proveedor.
Hacer ese registro público es la segunda mitad de la decisión. Varias ciudades y administraciones nacionales ya publican registros de algoritmos y la experiencia muestra que el coste es bajo y el beneficio, alto: obliga a ordenar la casa, facilita el control parlamentario y académico, y envía una señal de confianza a la ciudadanía.
- Mínimo viable: nombre del sistema, finalidad, unidad responsable, tipo de decisión (apoyo o automatizada) y fecha de la última evaluación.
- Nivel avanzado: descripción de los datos, métricas de rendimiento por grupo y resumen de la evaluación de impacto.
02Evaluar el impacto antes de desplegar
La evaluación de impacto algorítmico debe ser un requisito previo, no un trámite posterior. Su objetivo es responder a tres preguntas: ¿qué derechos pueden verse afectados?, ¿qué grupos pueden resultar perjudicados de forma desproporcionada?, y ¿qué ocurre cuando el sistema se equivoca?
La intensidad de la evaluación debe ser proporcional al riesgo. Un chatbot que responde preguntas frecuentes no necesita el mismo escrutinio que un modelo que decide qué familias reciben una visita de los servicios sociales.
En la práctica, recomendamos un cuestionario breve de cribado que cualquier unidad pueda completar en una hora y que clasifique el sistema en tres niveles. Solo los sistemas de nivel alto pasan a una evaluación completa, con participación de juristas, especialistas en datos y, cuando sea posible, de las organizaciones que representan a las personas afectadas. Esa evaluación debe repetirse cuando cambian los datos, el modelo o el contexto de uso, no solo en el momento de la compra.
03Supervisión humana con poder real
«Siempre hay un humano en el circuito» es la frase más repetida y menos verificada de la gobernanza algorítmica. Un funcionario que revisa doscientas recomendaciones al día, sin tiempo, sin formación y sin poder apartarse del resultado sin justificarlo por escrito, no está supervisando: está validando.
La supervisión humana solo existe si quien supervisa tiene tiempo, información y autoridad para decir que no.
— Equipo de Gobernanza Digital e IA, Orbis Global Advisory
Una supervisión significativa exige tres condiciones: que la persona entienda en términos generales cómo funciona el sistema y cuáles son sus límites; que disponga de tiempo y criterios para discrepar; y que su discrepancia no tenga un coste mayor que su conformidad. Conviene además medir la tasa de discrepancia: si es cercana a cero durante meses, probablemente no hay supervisión, sino automatización encubierta.
También importa dónde se sitúa la persona supervisora dentro de la organización. Si depende jerárquicamente de la unidad que defiende el sistema, su independencia será limitada. En los despliegues de mayor riesgo conviene que exista además una instancia de revisión periódica —un comité de ética de datos, una inspección de servicios o un órgano de control externo— que examine muestras de decisiones y tenga capacidad para suspender el uso del sistema.
04Gobernanza de los datos de entrenamiento
Los sistemas aprenden del pasado y el pasado administrativo no es neutral. Si históricamente se inspeccionó más a determinados barrios, un modelo entrenado con esos datos «descubrirá» que el fraude se concentra allí, y la profecía se cumplirá a sí misma.
Gobernar los datos significa documentar su origen, su calidad y sus sesgos conocidos; definir quién puede reutilizarlos y con qué fines; y establecer reglas claras sobre la participación de proveedores privados. En contratación pública, esto se traduce en cláusulas concretas: acceso de la administración al modelo y a la documentación técnica, prohibición de reutilizar datos públicos para otros clientes y obligación de colaborar en auditorías independientes.
05Vías de reclamación accesibles
Una persona a la que se deniega una prestación tiene derecho a saber por qué y a impugnarlo. Cuando interviene un algoritmo, ese derecho se complica: la explicación puede ser técnica, el error puede estar en los datos y no en el modelo, y la responsabilidad puede diluirse entre la unidad gestora, el área de sistemas y el proveedor.
La respuesta pasa por notificar de forma comprensible que se ha usado un sistema automatizado, ofrecer una explicación de los factores principales, garantizar la revisión por una persona con capacidad de modificar la decisión y registrar las reclamaciones para detectar errores sistemáticos. Las reclamaciones son, además, la mejor fuente de información para mejorar el propio sistema.
La accesibilidad no es un detalle. Una vía de reclamación que solo funciona en línea, en un único idioma y con lenguaje jurídico excluye precisamente a quienes más expuestos están a los errores: personas mayores, población migrante o personas con baja alfabetización digital. Los canales presenciales y la colaboración con organizaciones de la sociedad civil que acompañan a estos colectivos siguen siendo imprescindibles.
06Por dónde empezar
Ninguna de estas cinco decisiones exige esperar a que concluya un marco regulatorio definitivo. Las normas europeas y los principios de organismos internacionales ofrecen ya una base suficiente, y la experiencia comparada muestra que las administraciones que empiezan por lo básico —inventario, evaluación proporcional, supervisión real, datos documentados y reclamación accesible— llegan mejor preparadas a cualquier obligación futura.
Nuestra recomendación es empezar por un piloto acotado: un ministerio o una agencia, un inventario completo y una evaluación de impacto sobre el sistema de mayor riesgo. En tres o cuatro meses se obtiene un mapa realista, una metodología propia y, sobre todo, una conversación institucional que hasta entonces no existía.
La gobernanza de la IA no es un freno a la innovación pública. Es la condición para que la ciudadanía la acepte.