Evaluación ética de IA: la decisión empieza antes de elegir la herramienta
Evaluación ética de inteligencia artificial exige una revisión específica de fuentes, contexto y límites antes de aplicar o comunicar conclusiones.
La evaluación ética de inteligencia artificial comienza cuando una organización define el problema, no después de contratar un sistema. Antes de comparar precisión o costo hay que preguntar si la decisión debe automatizarse, qué valor se busca y qué personas pueden resultar afectadas. Una mala definición puede convertir una tarea administrativa en un mecanismo de exclusión más rápido.
Siete preguntas ordenan el análisis: finalidad, personas afectadas, datos, alternativas, posibilidad de explicación e impugnación, responsabilidad y condiciones de pausa. No producen una respuesta matemática. Hacen visibles desacuerdos y consecuencias que una prueba técnica promedio puede ocultar.
Qué decisión se automatiza y quién carga con el error
Debe describirse la decisión en términos concretos: priorizar solicitudes, recomendar una inspección, asignar un recurso o negar acceso. Luego se trazan errores posibles. Un falso positivo y un falso negativo no tienen el mismo costo para todas las personas, y el beneficio operativo de la organización puede trasladar tiempo, riesgo o carga de prueba al usuario.
La evaluación incluye a quienes no usan directamente el sistema pero reciben sus efectos. Conviene identificar grupos con menor representación, barreras para corregir datos y consecuencias acumulativas de muchas decisiones pequeñas. Preguntar quién puede apelar y quién tiene que demostrar el error revela si la eficiencia depende de una distribución injusta de cargas.
Datos ausentes, representación y sesgos amplificados
Un conjunto de datos refleja lo que una institución midió y dejó de medir. Ausencia no significa inexistencia: puede indicar menor acceso, categorías mal definidas o procesos históricos de exclusión. También puede haber proxies, variables aparentemente neutrales que reproducen diferencias asociadas con territorio, ingreso, discapacidad u otras condiciones.
No basta comparar una métrica global. Se analizan desempeño y tipos de error por grupos pertinentes, estabilidad en el tiempo y calidad del proceso de etiquetado. Si una categoría tiene pocos casos, la incertidumbre debe declararse; fabricar equilibrio mediante datos artificiales no corrige automáticamente el sesgo de la realidad o de la definición del objetivo.
Alternativas menos invasivas y proporcionalidad
La proporcionalidad compara beneficio esperado, gravedad del daño y nivel de intrusión. Una predicción compleja no se justifica solo porque es posible. Tal vez una regla transparente, una mejora del formulario o una revisión aleatoria resuelvan el problema con menos datos y menor opacidad. La alternativa de no automatizar debe permanecer en la mesa.
También se limita el alcance. Un modelo útil para ordenar expedientes puede no ser apropiado para excluir personas. Minimizar variables, conservar datos menos tiempo y usar el resultado como apoyo en vez de decisión final son opciones diferentes. La elección ética documenta por qué la intervención es necesaria y por qué otras vías fueron insuficientes.
Comprensión, impugnación y supervisión humana significativa
Una persona afectada necesita saber que intervino un sistema, qué información fue relevante y cómo solicitar revisión. La explicación debe ser accionable: una descripción técnica extensa no sirve si no permite detectar datos incorrectos o cuestionar el resultado. La impugnación requiere plazos, canal accesible y autoridad real para cambiar la decisión.
Supervisión humana significativa no consiste en colocar una firma después de aceptar automáticamente la recomendación. La persona revisora necesita tiempo, información, formación y facultad para apartarse del resultado sin penalización. Deben medirse tasas de aceptación ciega, reversión y desacuerdo para comprobar si el control funciona en la práctica.
Responsabilidad, pruebas y condiciones de pausa
La responsabilidad se asigna por nombre y función: quién aprueba el uso, controla datos, monitorea desempeño, atiende reclamos y decide detener. Los proveedores aportan información, pero la organización que despliega el sistema no puede delegar todas sus obligaciones en una caja negra contractual. Las pruebas deben incluir operación real, no solo un conjunto de validación.
Las condiciones de pausa se fijan antes del lanzamiento: aumento de errores graves, cambios de población, deriva de datos, incidentes de seguridad, imposibilidad de explicar resultados o acumulación de quejas. Una pausa no es fracaso; es un control previsto. Sin umbrales y autoridad de suspensión, el sistema tiende a continuar por inercia.
Escenario comparado: filtro automatizado de solicitudes
Imaginemos un filtro para priorizar solicitudes de apoyo. La opción A rechaza automáticamente puntajes bajos; la B ordena expedientes y deja decisión documentada a un equipo; la C mejora primero el formulario y asigna revisión por criterios públicos. Las tres prometen reducir tiempo, pero distribuyen de manera distinta opacidad, carga y posibilidad de corrección.
La comparación debe simular casos fronterizos, datos faltantes y grupos poco representados. Si la automatización ahorra minutos a costa de impedir que una persona explique su situación, el beneficio puede ser desproporcionado. El escenario obliga a discutir finalidad y reparación antes de celebrar una métrica de exactitud.
Plantilla mínima para una decisión trazable
Un registro mínimo contiene finalidad y decisión, población, datos y procedencia, riesgos por grupo, alternativas consideradas, métricas y límites, forma de explicación, canal de impugnación, responsables, fecha de revisión y umbrales de pausa. Debe conservar versiones porque modelos, datos y contexto cambian.
La plantilla no sustituye deliberación ni participación. Sirve para que una decisión sea auditable y no dependa de recuerdos. Incluir desacuerdos, evidencia faltante y supuestos evita que el documento sea una justificación posterior. La trazabilidad ética muestra qué se sabía, qué se decidió y bajo qué condiciones se revisará.
Si quieres profundizar en este campo, conoce Especialidad en Ética. Para orientación académica, puedes contactar con un asesor de Universidad ISEP.
Preguntas frecuentes
¿Ética de IA y cumplimiento legal son lo mismo?
No. El cumplimiento establece obligaciones jurídicas mínimas aplicables; la evaluación ética también examina daños, justicia, autonomía, distribución de beneficios y alternativas que quizá la ley no detalle. Deben complementarse: una práctica puede ser legal y aun así resultar desproporcionada o difícil de impugnar.
¿Qué es una evaluación de impacto algorítmico?
Es un proceso para identificar antes y durante el uso cómo un sistema algorítmico afecta derechos, oportunidades y grupos. Documenta finalidad, datos, errores, medidas de mitigación, responsables y revisión. Su alcance depende del contexto; no debe reducirse a una lista marcada sin evidencia.
¿Qué significa supervisión humana significativa?
Es una revisión realizada por alguien con información suficiente, tiempo, competencia y autoridad para cuestionar o revertir el resultado. Si la persona solo confirma recomendaciones, desconoce el funcionamiento o teme apartarse del sistema, la intervención humana es nominal, no significativa.
¿Cuándo debería detenerse un sistema aunque sea eficiente?
Cuando aparecen daños graves, deriva, fallas de seguridad, errores concentrados, imposibilidad de explicar decisiones o ausencia de reparación efectiva. La eficiencia promedio no compensa cualquier consecuencia. Los criterios y la autoridad de pausa deben definirse antes del despliegue.
Solicitar más información
Completa el formulario y un asesor te contactará en menos de 24 horas hábiles.
Los campos obligatorios están marcados *