El reglamento europeo (UE) 2024/1689, de 13 de junio de 2024, por el que se establecen normas armonizadas sobre la inteligencia artificial, se publicó en el Diario Oficial de la Unión Europea («UE») el pasado 12 de julio. Su objetivo es establecer un marco jurídico armonizado en la UE, en particular para el desarrollo, la introducción en el mercado, la puesta en servicio y la utilización de sistemas de IA en la UE, de conformidad con los valores de la UE, y promover la adopción de la IA, garantizando en particular los derechos consagrados en la Carta de los Derechos Fundamentales de la UE.

Prohibición de determinadas prácticas en materia de IA

El reglamento europeo prohíbe determinadas prácticas, incluidos los sistemas de IA:

  • que utilicen técnicas subliminales que trasciendan la conciencia de una persona o de técnicas deliberadamente manipuladoras o engañosas1;
  • que exploten alguna de las vulnerabilidades de una persona física o un determinado colectivo de personas derivadas de su edad o discapacidad, o de una situación social o económica específica2;
  • destinados a realizar un scoring social3 y que dan lugar a determinadas operaciones de tratamiento perjudiciales o desfavorables para los interesados;
  • destinadas a evaluar o predecir el riesgo de que una persona física cometa un delito, basándose únicamente en su perfil o en la evaluación de sus rasgos o características de personalidad4 ;
  • que crean o desarrollan bases de datos de reconocimiento facial mediante la recopilación no selectiva de imágenes faciales de Internet o de circuitos cerrados de televisión;
  • inferir las emociones de una persona física en los lugares de trabajo y en los centros educativos (excepto cuando el sistema de IA esté destinado a ser utilizado o introducido en el mercado por motivos médicos o de seguridad);
  • que utilicen sistemas de categorización biométrica que clasifiquen individualmente a personas físicas sobre la base de sus datos biométricos para deducir o inferir lo siguiente (esta prohibición no cubre el etiquetado o filtrado de conjuntos de datos biométricos adquiridos lícitamente, como imágenes, basado en datos biométricos o la categorización de datos biométricos en el ámbito de la aplicación de la ley):
    • su raza;
    • sus opiniones políticas;
    • su afiliación a una organización sindical;
    • sus convicciones religiosas o filosóficas;
    • su vida sexual u orientación sexual;
  • que utilicen sistemas de identificación biométrica a distancia “en tiempo real” en zonas accesibles al publico con fines policiales (salvo en determinadas excepciones estrictamente reguladas por el reglamento europeo5).

Obligaciones específicas para los sistemas de “IA” llamados de “alto riesgo”

La normativa europea clasifica determinados sistemas de IA como «de alto riesgo». Por ello, impone una serie de obligaciones a diversos agentes (proveedor, distribuidor, importador, responsable del despliegue6…).

Los sistemas de IA de «alto riesgo» se refieren a:

  • los que se utilizan como componente de seguridad de un producto cubierto por determinadas normativas europeas (por ejemplo, aviación, automóviles, dispositivos médicos, etc.) o que constituyen por sí mismos tales productos y que están sujetos a una evaluación de conformidad por parte de un tercero para su introducción en el mercado o puesta en servicio; y
  • los mencionados específicamente en el anexo III del reglamento europeo (identificación biométrica a distancia, gestión y explotación del tráfico por carretera, suministro de agua, gas, calefacción, electricidad…).

En el contexto de un sistema de IA de «alto riesgo» deben cumplirse una serie de obligaciones, entre ellas:

  • la implantación de un sistema de gestión de riesgos y de un sistema de vigilancia posterior a la comercialización;
  • obligación de notificar determinados tipos de incidentes o defectos de funcionamiento llamados “incidentes graves”;
  • registro de determinada información sobre el sistema de IA en una base de datos de la UE de acceso público;
  • cumplimiento de los criterios de calidad de los juegos de datos de entrenamiento utilizados por el sistema de IA para el entrenamiento, cuando proceda;
  • registro automático de acontecimientos («archivos de registro») durante el funcionamiento del sistema;
  • proporcionar las instrucciones de uso a los responsables del despliegue;
  • la exigencia de un nivel adecuado de precisión, solidez y ciberseguridad en el sistema de IA, …
  • en algunos casos, llevar a cabo una evaluación del impacto que la utilización de un sistema de IA de “alto riesgo” puede tener en los derechos fundamentales.

No obstante, el reglamento europeo prevé excepciones a la aplicación de estas obligaciones. Por ejemplo, un sistema de IA incluido en el anexo III no se considera de «alto riesgo» si no presenta un riesgo significativo de daño para la salud, la seguridad o los derechos fundamentales de las personas, también al no influir sustancialmente en el resultado de la toma de decisiones.

Obligación de transparencia para determinados tipos de IA

El reglamento europeo prevé obligaciones específicas de transparencia para los proveedores o responsables del despliegue de determinados sistemas de IA, como ChatGPT o Midjourney.

Los proveedores de sistemas de IA destinados a interactuar con personas físicas (por ejemplo, ChatGPT) deben garantizar que las personas físicas estén informadas de que están interactuando con un sistema de este tipo, a menos que ello resulte evidente desde la perspectiva de una persona física normalmente informada y razonablemente observadora y perspicaz, teniendo en cuenta las circunstancias y el contexto de uso (y sin perjuicio de determinadas excepciones establecidas en el reglamento europeo).

En cuanto a los proveedores de sistemas de IA que generen contenidos sintetizados como audio, imagen, video o texto, deberán garantizar que los contenidos producidos estén claramente marcados (en un formato legible por máquina) y sean identificables como generados o manipulados por una IA (con algunas excepciones previstas en el reglamento europeo).

En el caso de los sistemas de reconocimiento emocional o de categorización biométrica, sus responsables del despliegue deben informar a las personas físicas expuestas al sistema de su funcionamiento y tratar sus datos personales de conformidad con la normativa europea aplicable (con algunas excepciones previstas en la normativa europea).

También se aplican obligaciones específicas a los sistemas de IA que generan o manipulan imágenes (por ejemplo, Midjourney) o contenidos de audio o vídeo que se asemejan a personas, objetos, lugares u otras entidades o acontecimientos existentes y que podrían ser percibidos erróneamente como auténticos o verdaderos («ultrasuplantación» o «deepfake»). Los responsables del despliegue deben especificar que el contenido ha sido generado o manipulado artificialmente (con algunas excepciones previstas en el reglamento europeo).

Modelos de IA de uso general

El reglamento europeo también establece ciertas obligaciones para los «modelos de IA de uso general» (como ChatGPT4) y, en particular, para los que presentan riesgos sistémicos.

Se dice que un modelo de IA es de uso general cuando es capaz de realizar de forma competente una amplia gama de tareas distintas, independientemente de la manera en que el modelo se introduzca en el mercado, y que puede integrarse en una variedad de sistemas o aplicaciones posteriores (con la excepción de los modelos de IA utilizados para actividades de investigación, desarrollo o creación de prototipos antes de su introducción en el mercado).

Los proveedores de modelos de IA de uso general deben, por ejemplo, elaborar y mantener al día la documentación técnica, poner la información y la documentación sobre su modelo de IA de uso general a disposición de los proveedores de sistemas de IA que deseen integrar su modelo de IA de uso general, establecer una política destinada a cumplir la legislación de la UE sobre derechos de autor y derechos afines… Se establecen obligaciones específicas para los modelos de IA de uso general que presenten riesgos sistémicos.

Medida de apoyo a la innovación

El reglamento europeo permite la creación de ”espacios controlados de pruebas para la IA ”.  Este marco controlado establecido por una autoridad competente ofrece a los proveedores actuales o potenciales de sistemas de IA la oportunidad de desarrollar, entrenar, validar y probar, en su caso, en condiciones reales, un sistema de IA innovador. Este marco tiene una duración limitada y se lleva a cabo bajo supervisión reglamentaria.

Cada Estado miembro debe garantizar la existencia de al menos un “espacio controlado de pruebas para la IA” antes del 2 de agosto de 2026.

Los Estados miembros deben dar a las PYMES y a las empresas de nueva creación acceso prioritario a los «espacios controladores de pruebas para la IA » (si cumplen las condiciones de elegibilidad).

Autoridad de vigilancia y creación de un comité europeo

Cada Estado miembro debe designar una autoridad nacional para garantizar la aplicación y ejecución del reglamento europeo. En Francia, la CNIL será probablemente designada como autoridad nacional.

Se ha creado un Consejo Europeo de Inteligencia Artificial. Su función será:

  • proporcionar asesoramiento y asistencia a la Comisión en su cooperación con las autoridades nacionales de supervisión;
  • coordinar la orientación y el análisis de la Comisión sobre las cuestiones emergentes en todo el mercado interior;
  • ayudar a las autoridades nacionales de supervisión y a la Comisión a garantizar una aplicación coherente de la normativa europea.

También se ha creado una Oficina Europea de Inteligencia Artificial, que permitirá a la Comisión desarrollar los conocimientos y capacidades de la Unión en el ámbito de la IA. En particular, se encargará de contribuir a la aplicación, seguimiento y vigilancia de los sistemas y modelos de IA de uso general y a la gobernanza de la IA.

Sanción

Los Estados miembros determinan las sanciones aplicables a las infracciones del reglamento europeo.

No obstante, el reglamento establece ciertos límites máximos para las multas administrativas. Por ejemplo, en caso de incumplimiento de las prácticas de IA prohibidas, la multa puede ser de hasta 35.000.000 de euros o, si el infractor es una empresa, de hasta el 7% de su volumen de negocios total anual a escala mundial en el ejercicio financiero anterior, si esta cifra es superior.

Aplicación por fases

El reglamento europeo, que entró en vigor el 1 de agosto de 2024, prevé una entrada en vigor escalonada de las distintas medidas, incluyendo una entrada en vigor inicial el 2 de febrero de 2025 (para las prohibiciones de los sistemas de IA), seguida de una entrada en vigor escalonada para el resto (con una entrada en vigor general el 2 de agosto de 2026, con excepciones), hasta el 2 de agosto de 2027, cuando se aplicarán todas las disposiciones del reglamento.

El despacho M&B Abogados queda a su disposición para asistirle, en Francia y en España, en estas cuestiones y en la aplicación de este reglamento europeo. 

Alexandre Pelletier

 

[1] El reglamento europeo especifica que sólo está prohibido este tipo de sistema de IA si tiene como objetivo o efecto de alterar de manera sustancial el comportamiento de una persona o un colectivo de personas, mermando de manera apreciable su capacidad para tomar una decisión informada y haciendo que tomen una decisión que de otro modo no habrían tomado, de un modo que provoque, o sea razonablemente probable que provoque, perjuicios considerables a esa persona, a otra persona o a un colectivo de personas.

[2] El reglamento europeo especifica que sólo está prohibido este tipo de sistema de IA si tiene como objetivo o  efecto de alterar de manera sustancial el comportamiento de dicha persona o de una persona que pertenezca a dicho colectivo de un modo que provoque, o sea razonablemente probable que provoque, perjuicios considerables a esa persona o a otra.

[3] El scoring social consiste en evaluar o clasificar la fiabilidad de los individuos durante un periodo determinado en función de su comportamiento social o de sus características personales o de personalidad conocidas o previstas.

[4] Sin embargo, esta prohibición no se aplicará a los sistemas de IA utilizados para apoyar la valoración humana de la implicación de una persona en una actividad delictiva que ya se base en hechos objetivos y verificables directamente relacionados con una actividad delictiva;

[5] P.ej., la búsqueda selectiva de víctimas concretas de secuestro, trata de seres humanos o explotación sexual de seres humanos, búsqueda de personas desaparecidas, …

[6] Toda persona física o jurídica, incluida una autoridad pública, agencia u otro organismo, que utilice un sistema de IA bajo su propia autoridad, excepto cuando el sistema se utilice en el curso de una actividad personal no profesional.