Qué es el "alto riesgo" de la Ley IA
La Ley de IA de la Unión Europea (AI Act) ha llegado para poner orden en el uso que las empresas hacen de sistemas que incorporan inteligencia artificial. Aunque creas que esta normativa es para los grandes, lo cierto es que tu pyme también debe cumplirla.
Entró en vigor el 1 de agosto de 2024, y aunque la aplicación total llegará en 2026, las obligaciones clave y las sanciones ya están o estarán vigentes muy pronto y sí, afectan a todo tipo de empresas, porque tienen en cuenta el uso que se hace, no el tamaño de la empresa.
Pero ¿cómo saber si la IA que utilizas en tu negocio está clasificada como de "alto riesgo" y qué debes hacer al respecto?
No se trata de dejar de usar la IA por miedo, sino de usarla con cabeza y conocimiento.
Como especialistas en digitalización de pymes y autónomos, en Cosmomedia entendemos que la clave no está en dejar de innovar, sino en hacerlo de forma segura y transparente.
A continuación, te contamos lo que significa el "alto riesgo" en la Ley IA, por qué también te afecta a ti, si tienes una pequeña empresa y qué debes hacer para cumplir con las obligaciones que conlleva.
¡Al lío!
¿Qué significa realmente el "Alto riesgo" en la Ley IA?
La Ley de IA (Reglamento (UE) 2024/1689) introduce un marco regulatorio basado en el riesgo que implica su uso.
Es decir, no es lo mismo usarla para extraer ideas de redacción, por ejemplo, que para filtrar CV de candidatos a un puesto laboral.
El reglamento de inteligencia artificial adapta las obligaciones legales a la intensidad y el alcance del peligro que puede generar un uso de IA para las personas.
En concreto, la norma define cuatro niveles de riesgo, que de mayor a menor serían:.
- Riesgo Inaceptable (prohibido): Sistemas que atentan directamente contra los derechos fundamentales, la dignidad humana, o que manipulan a las personas de forma subliminal (como la "puntuación social" o el reconocimiento de emociones en ciertos contextos).
- Riesgo Alto: Aquí es donde suenan todas las alarmas. Son sistemas que tienen consecuencias perjudiciales significativas para la salud, la seguridad o los derechos fundamentales de las personas. Aquí entrarían los usos relacionados con la educación (evaluación), contratación de personal (en CV, por ejemplo), o como componentes de seguridad en productos como dispositivos médicos (análisis de pruebas)
- Riesgo Limitado: Herramientas de uso diario (como chatbots o generadores de deepfakes). La obligación principal es la transparencia: el usuario debe saber que está interactuando con una máquina y que el contenido ha sido generado artificialmente.
- Riesgo Mínimo o Nulo: Sistemas de uso libre, como filtros de spam o videojuegos. Aquí se aplican recomendaciones de buenas prácticas, enfocadas en la transparencia, aunque no hay obligaciones legales bajo la AI Act.
Cómo se clasifica el riesgo de la IA según su uso
Para saber si un uso de la IA es de "alto riesgo", la ley contempla dos grandes motivos:
Si está integrada en productos sujetos a legislación de seguridad en la UE.
1. Se considera de alto riesgo si el sistema de IA funciona como un componente de seguridad de un producto (como maquinaria, equipos de navegación o dispositivos médicos) y ese producto ya está regulado por la legislación europea. El fallo de esta IA podría poner en peligro la vida o la salud a gran escala.
2. Si su uso puede afectar a los Derechos Fundamentales: Esta es la categoría que más afecta a los procesos internos de las pymes y autónomos. Estos sistemas se consideran de alto riesgo por su potencial para poder afectar a los derechos fundamentales o integridad de las personas.
Si el uso que hagas de la IA se puede enclavar en alguna de estas dos áreas, entonces se calificará de alto riesgo y tiene una regulación especial que te vamos a contar.
Ejemplos de IA de Alto Riesgo que deben vigilar las pymes
Es difícil que un autónomo genere software crítico con IA, seamos sinceros. Lo más común es que el uso de la IA de una pequeña empresa se centre en otro tipo de soluciones.
Vamos a contarte algunos ejemplos de IA de alto riesgo que pueden afectar a pymes:
Empleo y RR.HH: Cualquier IA destinada a usarse para la contratación o selección de personal (criba de CVs, evaluación de candidatos). También incluye sistemas que toman decisiones sobre ascensos, rescisión de contratos o que monitorizan y evalúan el rendimiento y la conducta de los trabajadores.
Acceso a servicios esenciales: Sistemas usados para, por ejemplo, evaluar la solvencia de personas físicas o establecer su calificación crediticia (salvo si son usados internamente por proveedores a pequeña escala para uso propio). Esto es vital si tu negocio ofrece financiación o servicios de crédito.
Educación y formación: IA utilizada para determinar el acceso o la asignación de personas a centros educativos o para la evaluación de estudiantes. Si tienes una academia online o gestionas formación, debes prestar atención a este uso de IA de alto riesgo.
Infraestructuras críticas: aquí entran los usos que actúan como componentes de seguridad en la gestión de servicios básicos como agua, gas, calefacción o electricidad. Por ejemplo, su uso en sistemas de gestión de la red eléctrica, para optimizar la distribución de electricidad a una ciudad, para analizar posibles fallos, control automático de seguridad etc.
En resumen, si usas la IA para filtrar CV, debes saber que estás usando una IA de alto riesgo que tiene una serie de obligaciones.
Ahora te explicamos cuales.
Obligaciones de la IA de Alto Riesgo
Si tu sistema cae en la categoría de alto riesgo, las obligaciones no son opcionales, debes cumplirlas sí o sí, para evitar multas.
Estas exigencias giran en torno a la fiabilidad y la demostración de que el sistema respeta los derechos fundamentales:
1. Evaluación de riesgos y documentación: Es obligatorio establecer, implementar y mantener un sistema de gestión de riesgos continuo a lo largo del ciclo de vida del sistema de IA. Debes generar y mantener documentación técnica detallada que demuestre que el sistema cumple con todos los requisitos de la Ley IA.
2. Calidad y gobernanza de datos (Vínculo con el RGPD): Los sistemas de IA de alto riesgo deben ser entrenados, validados y probados con conjuntos de datos de alta calidad.
Aquí es donde entra en juego la relación entre el RGPD y la AI Act. La calidad de los datos es fundamental para reducir al mínimo el riesgo de discriminación algorítmica. Los conjuntos de datos de entrenamiento deben ser pertinentes, representativos y completos, además de tener propiedades estadísticas adecuadas para evitar sesgos.
De hecho, la Ley IA complementa al RGPD (Reglamento General de Protección de Datos) al establecer normas armonizadas que buscan mitigar el riesgo de discriminación, con requisitos específicos sobre la calidad de los datos y la documentación.
Por ejemplo, si usas IA para selección de personal o cribado de CV, su uso de alto riesgo debe seguir el requisito de calidad y gobernanza de datos en cuanto a que estos sistemas de IA de alto riesgo se desarrollen utilizando conjuntos de datos de entrenamiento, validación y prueba de alta calidad.
Vamos a explicar este punto.
Para que un sistema de IA funcione, se entrena con datos históricos. Si los datos de contratación de una empresa o un sector han favorecido históricamente a hombres, a una etnia concreta, o a personas de cierta edad (discriminación histórica), el sistema de IA lo aprenderá, trasladando ese sesgo a ese filtrado IA de CV.
La Ley IA busca precisamente reducir al mínimo este riesgo de discriminación algorítmica mediante requisitos estrictos de calidad de datos. Entonces, el sistema debe evaluar el impacto de sesgo, asegurando que los datos usados para entrenar, validar y probar el sistema (o los datos que se entregue para usar la IA) son pertinentes y representativos para evitar sesgos que conduzcan a la discriminación.
De hecho, la Ley IA complementa al RGPD (Reglamento General de Protección de Datos) al establecer normas para reducir el riesgo de discriminación.
3. Trazabilidad y Registros (Logs): El sistema debe estar diseñado para registrar automáticamente eventos (archivos de registro o logs) mientras está en funcionamiento. Esto permite la trazabilidad de su operación y facilita el seguimiento.
4. Supervisión humana: Debes garantizar que las decisiones automatizadas puedan ser vigiladas y revisadas de forma efectiva por personas físicas. Estos supervisores podrán intervenir, desestimar o revertir la información generada por la IA. Establecer un protocolo de revisión manual es parte de este cumplimiento.
| Obligación | Requisito Clave | Propósito |
|---|---|---|
| Gestión de Riesgos | Implementar un sistema de gestión de riesgos continuo (identificación, evaluación y mitigación) durante todo el ciclo de vida de la IA. | Garantizar la seguridad y evitar daños a la salud o a los derechos fundamentales. |
| Gobernanza de Datos | Usar conjuntos de datos de entrenamiento, validación y prueba de alta calidad (pertinentes, representativos y libres de sesgos). | Minimizar el riesgo de discriminación y resultados inexactos. |
| Documentación Técnica | Elaborar un expediente técnico completo que demuestre el cumplimiento de todos los requisitos de la Ley para que las autoridades puedan evaluarlo. | Permitir la trazabilidad y la fiscalización por parte de las autoridades competentes. |
| Registro de Actividad (Logging) | Diseñar el sistema para generar automáticamente registros de actividad (logs) que permitan la trazabilidad de los resultados durante el funcionamiento. | Facilitar la supervisión, depuración y la investigación de posibles fallos o incidentes. |
| Transparencia e Información | Facilitar instrucciones de uso claras y detalladas a los usuarios (los "implementadores") para que puedan utilizar el sistema de forma adecuada. | Asegurar que los usuarios comprendan la finalidad y las limitaciones del sistema. |
| Supervisión Humana | Diseñar el sistema para que pueda ser supervisado eficazmente por personas, permitiendo la intervención y la anulación de decisiones si es necesario. | Mantener un nivel adecuado de control humano sobre el sistema para garantizar la equidad y seguridad. |
| Solidez y Ciberseguridad | Asegurar un alto nivel de robustez y precisión. El sistema debe ser resistente a errores, fallos y ataques de ciberseguridad (resiliencia). | Garantizar que el sistema funciona de manera fiable y que es seguro frente a la manipulación. |
| Sistema de Conformidad | Llevar a cabo una evaluación de la conformidad (interna o con organismo notificado) antes de introducir el sistema en el mercado. | Certificar que la IA cumple con todos los requisitos legales antes de su uso. |
Multas por ignorar la Ley IA en sistemas de Alto Riesgo
Ignorar estas regulaciones puede tener consecuencias catastróficas para cualquier negocio. Las sanciones por incumplir el AI Act son elevadas, de hecho, pueden llegar hasta 30 millones de euros o el 6% del volumen de negocio total anual por infracciones graves (como el incumplimiento de la prohibición de prácticas de riesgo inaceptable o la falta de cumplimiento en cuanto a la calidad de los datos)
¿Tiene en cuenta el tamaño de las pyme? Sí, en el momento que valora un porcentaje de la cuota de negocio. Aun así, la sanción se aplica, seas pyme o multinacional.
Pero no sólo se trata del problema que la multa puede ocasionar, sino también encontramos el daño reputacional de usar sistemas de alto riesgo, sin asegurarse de que cumplen con calidad y seguridad.
Imagina que una máquina controlada por IA falla y daña a un obrero. O que el sistema de cribado de currículums discrimina a mujeres de un rango de edad. El daño en la imagen de la empresa puede ser más dañino que la propia sanción.
La digitalización no es solo tecnología; es gestión del riesgo. Si utilizas IA de alto riesgo, no basta con "comprar el software". Necesitas una política de uso de IA definida, un registro de todas las herramientas utilizadas (indicando su nivel de riesgo: bajo, medio o alto) y formación interna para tu equipo sobre la Clasificación riesgos IA y el AI Act.
Un gran poder conlleva una gran responsabilidad. En Cosmomedia, estamos aquí para ayudarte a conocer e implementar la IA con conciencia, asegurando que tu uso se adapte a la normativa europea y española.
