Derecho Internacional vs. Máquinas Declaración de Toronto

Declaración de Toronto protegiendo el derecho a la igualdad y la no discriminación de los sistemas de aprendizaje de las máquinas.

Preámbulo

1. A medida que los sistemas de aprendizaje automático avanzan en capacidad y aumentan en uso, debemos examinar el impacto de esta tecnología en los derechos humanos. Reconocemos el potencial del aprendizaje automático y los sistemas relacionados que se utilizarán para promover los derechos humanos, pero estamos cada vez más preocupados por la capacidad de dichos sistemas para facilitar la discriminación intencional o inadvertida contra ciertas personas o grupos de personas. Debemos abordar con urgencia cómo estas tecnologías afectarán a las personas y sus derechos. En un mundo de sistemas de aprendizaje automático, ¿quién será responsable de dañar los derechos humanos?

2. A medida que continúa el discurso sobre ética e inteligencia artificial, esta Declaración tiene como objetivo llamar la atención sobre el marco relevante y bien establecido de las leyes y normas internacionales de derechos humanos. Estas leyes y normas universales, vinculantes y procesables proporcionan medios tangibles para proteger a las personas de la discriminación, promover la inclusión, la diversidad y la equidad, y salvaguardar la igualdad. Los derechos humanos son “universales, indivisibles e interdependientes e interrelacionados”.

3. Esta Declaración tiene como objetivo basarse en los debates, principios y documentos existentes que exploran los daños derivados de esta tecnología. El importante trabajo realizado en esta área por muchos expertos ha ayudado a crear conciencia e informar las discusiones sobre los riesgos discriminatorios de los sistemas de aprendizaje automático. Deseamos complementar este trabajo existente reafirmando el papel de las leyes y estándares de derechos humanos en la protección de individuos y grupos de la discriminación en cualquier contexto. La ley y las normas de derechos humanos a las que se hace referencia en esta Declaración proporcionan bases sólidas para desarrollar marcos éticos para el aprendizaje automático, incluidas disposiciones para la rendición de cuentas y medios para la reparación.

4. Desde la vigilancia, a los sistemas de asistencia social, a la provisión de atención médica, a las plataformas para el discurso en línea, por nombrar algunos ejemplos, los sistemas que emplean tecnologías de aprendizaje automático pueden reforzar o cambiar enormemente y rápidamente las estructuras de poder en una escala sin precedentes y con un daño significativo a los derechos humanos. , especialmente el derecho a la igualdad. Existe una evidencia sustancial y creciente que muestra que los sistemas de aprendizaje automático, que pueden ser opacos e incluir procesos inexplicables, pueden contribuir a prácticas discriminatorias o represivas si se adoptan e implementan sin las garantías necesarias.

5. Los Estados y los actores del sector privado deberían promover el desarrollo y el uso del aprendizaje automático y las tecnologías relacionadas donde ayuden a las personas a ejercer y disfrutar sus derechos humanos. Por ejemplo, en la atención médica, los sistemas de aprendizaje automático podrían aportar avances en diagnósticos y tratamientos, al tiempo que podrían hacer que los servicios de salud estén más disponibles y accesibles. En relación con el aprendizaje automático y los sistemas de inteligencia artificial en general, los estados deberían promover el derecho positivo al disfrute de los desarrollos en ciencia y tecnología como una afirmación de los derechos económicos, sociales y culturales.

6. Nos centramos en esta Declaración en el derecho a la igualdad y la no discriminación. Existen muchos otros derechos humanos que pueden verse afectados negativamente por el uso y mal uso de los sistemas de aprendizaje automático, incluido el derecho a la privacidad y la protección de datos, el derecho a la libertad de expresión y asociación, a la participación en la vida cultural, la igualdad ante la ley, y acceso a remedio efectivo. Los sistemas que toman decisiones y procesan datos también pueden socavar los derechos económicos, sociales y culturales; por ejemplo, pueden afectar la provisión de servicios vitales, como atención médica y educación, y limitar el acceso a oportunidades como el empleo.

7. Si bien esta Declaración se centra en las tecnologías de aprendizaje automático, muchas de las normas y principios incluidos aquí son igualmente aplicables a las tecnologías alojadas bajo el término más amplio de inteligencia artificial, así como a los sistemas de datos relacionados.
8. Los Estados tienen la obligación de promover, proteger y respetar los derechos humanos; Los actores del sector privado, incluidas las empresas, tienen la responsabilidad de respetar los derechos humanos en todo momento. Presentamos esta Declaración para afirmar estas obligaciones y responsabilidades.

9. Hay muchas discusiones que tienen lugar ahora a nivel supranacional, estatal y regional, en compañías de tecnología, en instituciones académicas, en la sociedad civil y más allá, centrándose en la ética de la inteligencia artificial y cómo hacer que la tecnología en este campo se centre en el ser humano. Estos problemas deben analizarse a través de una lente de derechos humanos para evaluar los daños potenciales a los derechos humanos actuales y futuros creados o facilitados por esta tecnología, y para tomar medidas concretas para abordar cualquier riesgo de daño.

10. El derecho de los derechos humanos es un sistema de valores universalmente adscrito basado en el estado de derecho. Proporciona medios establecidos para garantizar que se respeten los derechos, incluidos los derechos a la igualdad y la no discriminación. Su naturaleza como un conjunto de estándares universalmente vinculantes y accionables es particularmente adecuada para tecnologías sin fronteras. El derecho de los derechos humanos establece estándares y proporciona mecanismos para responsabilizar a los actores del sector público y privado cuando no cumplen con sus obligaciones y responsabilidades respectivas para proteger y respetar los derechos. También requiere que todos puedan obtener un recurso efectivo y una reparación donde sus derechos han sido negados o violados.

11. Los riesgos que plantean los sistemas de aprendizaje automático deben ser examinados y abordados con urgencia a nivel gubernamental y por los actores del sector privado que están concebiendo, desarrollando y desplegando estos sistemas. Es fundamental que se identifiquen y aborden los posibles daños y que se establezcan mecanismos para responsabilizar a los responsables de los daños. Las medidas gubernamentales deben ser vinculantes y adecuadas para proteger y promover los derechos. Los expertos académicos, legales y de la sociedad civil deberían poder participar significativamente en estas discusiones, y criticar y asesorar sobre el uso de estas tecnologías.
El derecho a la igualdad y la no discriminación.

12. Esta Declaración se centra en el derecho a la igualdad y la no discriminación, un principio crítico que sustenta todos los derechos humanos.

13. La discriminación se define en el derecho internacional como “cualquier distinción, exclusión, restricción o preferencia que se base en cualquier motivo, como raza, color, sexo, idioma, religión, opinión política u otra, origen nacional o social, propiedad, nacimiento o otro estado, y que tiene el propósito o efecto de anular o menoscabar el reconocimiento, disfrute o ejercicio por parte de todas las personas, en pie de igualdad, de todos los derechos y libertades “. Esta lista no es exhaustiva ya que el Alto Comisionado de las Naciones Unidas para los Derechos Humanos ha reconocido la necesidad de prevenir la discriminación contra clases adicionales.
Prevenir la discriminación

14. Los gobiernos tienen obligaciones y los actores del sector privado tienen la responsabilidad de prevenir de manera proactiva la discriminación para cumplir con las normas y leyes de derechos humanos existentes. Cuando la prevención no es suficiente o satisfactoria, y surge la discriminación, se debe interrogar a un sistema y abordar los daños de inmediato.

15. Al emplear nuevas tecnologías, es probable que los actores del sector privado y del estado necesiten encontrar nuevas formas de proteger los derechos humanos, a medida que surjan nuevos desafíos para la igualdad y la representación y el impacto en diversos individuos y grupos.

16. Los patrones existentes de discriminación estructural pueden reproducirse y agravarse en situaciones que son particulares de estas tecnologías, por ejemplo, los objetivos del sistema de aprendizaje automático que crean marcadores de éxito autocumplidos y refuerzan los patrones de desigualdad, o los problemas que surgen del uso no representativo o conjuntos de datos sesgados.

17. Todos los actores, públicos y privados, deben prevenir y mitigar los riesgos de discriminación en el diseño, desarrollo y aplicación de tecnologías de aprendizaje automático. También deben asegurarse de que existan mecanismos que permitan el acceso a una solución efectiva antes de la implementación y durante todo el ciclo de vida del sistema.
Proteger los derechos de todas las personas y grupos: promover la diversidad y la inclusión.

18. Esta Declaración subraya que la inclusión, la diversidad y la equidad son componentes clave para proteger y defender el derecho a la igualdad y la no discriminación. Todos deben ser considerados en el desarrollo y despliegue de sistemas de aprendizaje automático para prevenir la discriminación, particularmente contra grupos marginados.

19. Si bien la recopilación de datos puede ayudar a mitigar la discriminación, hay algunos grupos para quienes la recopilación de datos sobre la discriminación plantea una dificultad particular. Las protecciones adicionales deben extenderse a esos grupos, incluidas las protecciones para datos confidenciales.

 

 

 

20. El sesgo implícito e inadvertido a través del diseño crea otro medio de discriminación, donde la concepción, el desarrollo y el uso final de los sistemas de aprendizaje automático son supervisados ​​en gran medida por un sector particular de la sociedad. En la actualidad, esta tecnología está desarrollada, aplicada y revisada en gran medida por empresas con sede en ciertos países y regiones; las personas detrás de la tecnología aportan sus propios prejuicios y es probable que tengan aportes limitados de diversos grupos en términos de raza, cultura, género y antecedentes socioeconómicos.

21. La inclusión, la diversidad y la equidad implican la participación activa y una consulta significativa con una comunidad diversa, incluidos los usuarios finales, durante el diseño y la aplicación de los sistemas de aprendizaje automático, para ayudar a garantizar que los sistemas se creen y utilicen de manera que respeten los derechos. – particularmente los derechos de los grupos marginados que son vulnerables a la discriminación.
Deberes de los estados: obligaciones de derechos humanos

22. Los Estados tienen el deber principal de promover, proteger, respetar y cumplir los derechos humanos. Según el derecho internacional, los estados no deben participar ni apoyar acciones o prácticas discriminatorias o que violen los derechos cuando diseñan o implementan sistemas de aprendizaje automático en un contexto público o mediante asociaciones público-privadas.

23. Los Estados deben cumplir con las leyes y regulaciones nacionales e internacionales relevantes que codifican e implementan obligaciones de derechos humanos que protegen contra la discriminación y otros daños a los derechos relacionados, por ejemplo, la protección de datos y las leyes de privacidad.

24. Los Estados tienen obligaciones positivas de proteger contra la discriminación por parte de los actores del sector privado y promover la igualdad y otros derechos, incluso a través de leyes vinculantes.

25. Las obligaciones estatales descritas en esta sección también se aplican al uso público del aprendizaje automático en alianzas con actores del sector privado.
Uso estatal de sistemas de aprendizaje automático

26. Los Estados deben garantizar que las medidas existentes para prevenir la discriminación y otros daños a los derechos se actualicen para tener en cuenta y abordar los riesgos que plantean las tecnologías de aprendizaje automático.

27. Las autoridades públicas están implementando o implementando cada vez más sistemas de aprendizaje automático en áreas que son fundamentales para el ejercicio y disfrute de los derechos humanos, el estado de derecho, el debido proceso, la libertad de expresión, la justicia penal, la atención médica, el acceso a los beneficios de bienestar social, y vivienda. Si bien esta tecnología puede ofrecer beneficios en tales contextos, también puede haber un alto riesgo de resultados discriminatorios u otros que perjudiquen los derechos. Es crítico que los estados brinden oportunidades significativas para la remediación efectiva y la reparación de daños donde ocurran.

28. Según lo confirmado por el Comité de Derechos Humanos, el artículo 26 del Pacto Internacional de Derechos Civiles y Políticos “prohíbe la discriminación legal o de hecho en cualquier campo regulado y protegido por las autoridades públicas”. (6) Esto se establece además en tratados que tratan formas específicas de discriminación, en las cuales los estados se han comprometido a abstenerse de participar en la discriminación, y para garantizar que las autoridades e instituciones públicas “actúen de conformidad con esta obligación”. (7)

29. Los Estados deben abstenerse por completo de utilizar o exigir al sector privado que utilice herramientas que discriminen, conduzcan a resultados discriminatorios o que de otra manera perjudiquen los derechos humanos.

 

 

 

30. Los Estados deben tomar las siguientes medidas para mitigar y reducir los daños de la discriminación por el aprendizaje automático en los sistemas del sector público:
i. Identificar riesgos

31. Cualquier estado que implemente tecnologías de aprendizaje automático debe investigar exhaustivamente los sistemas en busca de discriminación y otros riesgos de derechos antes del desarrollo o adquisición, cuando sea posible, antes de su uso, y de manera continua durante todo el ciclo de vida de las tecnologías, en los contextos en los que se encuentran. desplegada. Esto puede incluir:

a) Realizar evaluaciones de impacto periódicas antes de la contratación pública, durante el desarrollo, en hitos regulares y durante el despliegue y uso de sistemas de aprendizaje automático para identificar posibles fuentes de resultados discriminatorios u otros que perjudiquen los derechos, por ejemplo, en el diseño de modelos algorítmicos, en la supervisión procesos, o en procesamiento de datos. (8)

b) Tomar las medidas apropiadas para mitigar los riesgos identificados a través de evaluaciones de impacto, por ejemplo, mitigar la discriminación inadvertida o la representación insuficiente de datos o sistemas; realización de métodos de prueba dinámicos y ensayos previos al lanzamiento; asegurar que los grupos potencialmente afectados y los expertos de campo sean incluidos como actores con poder de decisión en las fases de diseño, prueba y revisión; presentar sistemas para revisión experta independiente cuando sea apropiado.

c) Someter los sistemas a pruebas en vivo, regulares y auditorías; interrogar marcadores de éxito por sesgos y circuitos de retroalimentación autocumplidos; y garantizar revisiones holísticas independientes de los sistemas en el contexto de los daños a los derechos humanos en un entorno en vivo.

d) Revelar limitaciones conocidas del sistema en cuestión, por ejemplo, observar medidas de confianza, escenarios de falla conocidos y limitaciones apropiadas de uso.
ii. Garantizar la transparencia y la rendición de cuentas.

32. Los Estados deben garantizar y exigir la rendición de cuentas y la máxima transparencia posible en torno al uso del sector público de los sistemas de aprendizaje automático. Esto debe incluir la explicabilidad y la inteligibilidad en el uso de estas tecnologías para que el impacto en las personas y grupos afectados pueda ser analizado de manera efectiva por entidades independientes, responsabilidades establecidas y actores responsables. Los estados deberían:

a) Divulgue públicamente dónde se utilizan los sistemas de aprendizaje automático en la esfera pública, proporcione información que explique en términos claros y accesibles cómo se alcanzan los procesos automatizados y de toma de decisiones de aprendizaje automático, y documente las acciones tomadas para identificar, documentar y mitigar contra la discriminación u otros impactos que perjudican los derechos.

b) Habilite el análisis y la supervisión independientes mediante el uso de sistemas que sean auditables.

c) Evite usar “sistemas de caja negra” que no puedan estar sujetos a estándares significativos de responsabilidad y transparencia, y abstenerse de usar estos sistemas en contextos de alto riesgo.
iii) Hacer cumplir la supervisión

33. Los Estados deben tomar medidas para garantizar que los funcionarios públicos sean conscientes y sensibles a los riesgos de discriminación y otros daños a los derechos en los sistemas de aprendizaje automático. Los estados deberían:

a) Adopte de manera proactiva diversas prácticas de contratación y participe en consultas para asegurar diversas perspectivas para que aquellos involucrados en el diseño, implementación y revisión del aprendizaje automático representen una variedad de antecedentes e identidades.

b) Asegurar que los organismos públicos lleven a cabo capacitación en derechos humanos y análisis de datos para funcionarios involucrados en la adquisición, desarrollo, uso y revisión de herramientas de aprendizaje automático.

c) Crear mecanismos para la supervisión independiente, incluso por parte de las autoridades judiciales cuando sea necesario.

d) Asegurar que las decisiones respaldadas por el aprendizaje automático cumplan con los estándares internacionales aceptados para el debido proceso.

34. Dado que la investigación y el desarrollo de sistemas de aprendizaje automático están en gran medida impulsados ​​por el sector privado, en la práctica, los estados a menudo dependen de contratistas privados para diseñar e implementar estas tecnologías en un contexto público. En tales casos, los estados no deben renunciar a sus propias obligaciones para prevenir la discriminación y garantizar la rendición de cuentas y la reparación de daños a los derechos humanos en la prestación de servicios.

 

35. Cualquier autoridad estatal que adquiera tecnologías de aprendizaje automático del sector privado debe mantener una supervisión y control relevantes sobre el uso del sistema, y ​​exigir que el tercero lleve a cabo la debida diligencia en materia de derechos humanos para identificar, prevenir y mitigar la discriminación y otros derechos humanos. daños, y dar cuenta públicamente de sus esfuerzos en este sentido.
Promoviendo la igualdad

36. Los Estados tienen el deber de tomar medidas proactivas para eliminar la discriminación.

37. En el contexto del aprendizaje automático y los desarrollos tecnológicos más amplios, una de las prioridades más importantes para los estados es promover programas que aumenten la diversidad, la inclusión y la equidad en los sectores de ciencia, tecnología, ingeniería y matemáticas (comúnmente conocidos como campos STEM) . Tales esfuerzos no sirven como fines en sí mismos, aunque pueden ayudar a mitigar los resultados discriminatorios. Los estados también deberían invertir en investigación sobre formas de mitigar los daños a los derechos humanos en los sistemas de aprendizaje automático.

Hacer que los actores del sector privado rindan cuentas

38. El derecho internacional establece claramente el deber de los Estados de proteger los derechos humanos; Esto incluye garantizar el derecho a la no discriminación por parte de los actores del sector privado.

39. Según el Comité de Derechos Económicos, Sociales y Culturales de la ONU, “los Estados partes deben adoptar medidas, que deben incluir legislación, para garantizar que las personas y entidades en el ámbito privado no discriminen por motivos prohibidos”.

40. Los Estados deben establecer regulaciones que cumplan con las leyes de derechos humanos para la supervisión del uso del aprendizaje automático por parte del sector privado en contextos que presenten riesgo de resultados discriminatorios u otros que perjudiquen los derechos, reconociendo que los estándares técnicos pueden ser complementarios a la regulación. Además, la no discriminación, la protección de datos, la privacidad y otras áreas del derecho a nivel nacional y regional pueden ampliar y reforzar las obligaciones internacionales de derechos humanos aplicables al aprendizaje automático.

41. Los Estados deben garantizar el acceso a recursos efectivos para todas las personas cuyos derechos son violados o abusados ​​mediante el uso de estas tecnologías.

Responsabilidades de los actores del sector privado: debida diligencia en derechos humanos

42. Los actores del sector privado tienen la responsabilidad de respetar los derechos humanos; Esta responsabilidad existe independientemente de las obligaciones estatales. Como parte del cumplimiento de esta responsabilidad, los actores del sector privado deben tomar medidas proactivas y reactivas para garantizar que no causen ni contribuyan a los abusos de los derechos humanos, un proceso llamado “debida diligencia de los derechos humanos”.

43. Los actores del sector privado que desarrollan e implementan sistemas de aprendizaje automático deben seguir un marco de diligencia debida de derechos humanos para evitar fomentar o afianzar la discriminación y respetar los derechos humanos de manera más amplia mediante el uso de sus sistemas.

44. Hay tres pasos centrales para el proceso de debida diligencia de derechos humanos:

i. Identificar posibles resultados discriminatorios
ii. Tomar medidas efectivas para prevenir y mitigar la discriminación y rastrear las respuestas
iii) Sea transparente sobre los esfuerzos para identificar, prevenir y mitigar la discriminación en los sistemas de aprendizaje automático.

i. Identificar posibles resultados discriminatorios

45. Durante el desarrollo y despliegue de cualquier nueva tecnología de aprendizaje automático, los actores del sector privado y no estatal deben evaluar el riesgo de que el sistema genere discriminación. El riesgo de discriminación y los daños no serán iguales en todas las aplicaciones, y las acciones necesarias para abordar la discriminación dependerán del contexto. Los actores deben tener cuidado de identificar no solo la discriminación directa, sino también las formas indirectas de trato diferenciado que pueden parecer neutrales al pie de la letra, pero conducen a la discriminación.

46. ​​Al mapear los riesgos, los actores del sector privado deben tener en cuenta los riesgos comúnmente asociados con los sistemas de aprendizaje automático, por ejemplo, sistemas de capacitación sobre datos incompletos o no representativos, o conjuntos de datos que representan sesgos históricos o sistémicos. Los actores privados deben consultar con las partes interesadas relevantes de manera inclusiva, incluidos los grupos afectados, las organizaciones que trabajan en derechos humanos, igualdad y discriminación, así como expertos independientes en derechos humanos y aprendizaje automático.

ii. Tomar medidas efectivas para prevenir y mitigar la discriminación y rastrear las respuestas

47. Después de identificar los riesgos para los derechos humanos, el segundo paso es prevenir esos riesgos. Para los desarrolladores de sistemas de aprendizaje automático, esto requiere:

a) Corregir la discriminación, tanto en el diseño del modelo como en el impacto del sistema, y ​​al decidir qué datos de capacitación utilizar.

b) Perseguir la diversidad, la equidad y otros medios de inclusión en los equipos de desarrollo de aprendizaje automático, con el objetivo de identificar el sesgo por diseño y prevenir la discriminación accidental.

c) Presentar sistemas que tienen un riesgo significativo de resultar en abusos de los derechos humanos a auditorías independientes de terceros.

48. Cuando se ha evaluado que el riesgo de discriminación u otras violaciones de derechos es demasiado alto o imposible de mitigar, los actores del sector privado no deberían implementar un sistema de aprendizaje automático en ese contexto.

49. Otro elemento vital de este paso es que los actores del sector privado hagan un seguimiento de su respuesta a los problemas que surgen durante la implementación y con el tiempo, incluida la evaluación de la efectividad de las respuestas. Esto requiere comprobaciones regulares y constantes de las garantías de calidad y auditorías en tiempo real a través de etapas de diseño, prueba e implementación para monitorear un sistema en busca de impactos discriminatorios en contexto y situ, y para corregir errores y daños según corresponda. Esto es particularmente importante dado el riesgo de bucles de retroalimentación que pueden exacerbar y afianzar resultados discriminatorios.
iii) Sea transparente sobre los esfuerzos para identificar, prevenir y mitigar la discriminación en los sistemas de aprendizaje automático

50. La transparencia es un componente clave de la debida diligencia de derechos humanos e implica “comunicación, proporcionando una medida de transparencia y responsabilidad a las personas o grupos que puedan verse afectados y a otras partes interesadas relevantes”.

51. Los actores del sector privado que desarrollan e implementan sistemas de aprendizaje automático deben divulgar el proceso de identificación de riesgos, los riesgos que se han identificado y los pasos concretos que se han tomado para prevenir y mitigar los riesgos de derechos humanos identificados. Esto puede incluir:

a) Revelar información sobre los riesgos e instancias específicas de discriminación que la empresa ha identificado, por ejemplo, los riesgos asociados con la forma en que se diseña un sistema de aprendizaje automático en particular, o con el uso de sistemas de aprendizaje automático en contextos particulares.

b) En casos en los que existe riesgo de discriminación, publicar especificaciones técnicas con detalles del aprendizaje automático y sus funciones, incluidas muestras de los datos de capacitación utilizados y detalles de la fuente de datos.

c) Establecer mecanismos para garantizar que, cuando se haya producido discriminación mediante el uso de un sistema de aprendizaje automático, las partes relevantes, incluidas las personas afectadas, estén informadas de los daños y de cómo pueden impugnar una decisión o un resultado.
El derecho a un remedio efectivo

52. El derecho a la justicia es un elemento vital del derecho internacional de los derechos humanos. Según el derecho internacional, las víctimas de violaciones o abusos de los derechos humanos deben tener acceso a recursos rápidos y efectivos, y los responsables de las violaciones deben rendir cuentas.

53. Las empresas y los actores del sector privado que diseñan e implementan sistemas de aprendizaje automático deben tomar medidas para garantizar que las personas y los grupos tengan acceso a soluciones y reparaciones significativas y efectivas. Esto puede incluir, por ejemplo, la creación de procesos claros, independientes y visibles para la reparación después de los efectos adversos individuales o sociales, y la designación de roles en la entidad responsable de la reparación oportuna de tales problemas sujetos a una apelación accesible y efectiva y una revisión judicial.

54. El uso de sistemas de aprendizaje automático donde los derechos de las personas están en juego puede plantear desafíos para garantizar el derecho a la reparación. La opacidad de algunos sistemas significa que las personas pueden ignorar cómo se tomaron las decisiones que afectan sus derechos y si el proceso fue discriminatorio. En algunos casos, el organismo público o los actores del sector privado involucrados pueden ser incapaces de explicar el proceso de toma de decisiones.

55. Los desafíos son particularmente graves cuando los sistemas de aprendizaje automático que recomiendan, toman o hacen cumplir las decisiones se utilizan dentro del sistema de justicia, las mismas instituciones responsables de garantizar los derechos, incluido el derecho a acceder a un recurso efectivo.

56. Las medidas ya descritas en torno a identificar, documentar y responder a la discriminación, y ser transparentes y responsables de estos esfuerzos, ayudarán a los estados a garantizar que las personas tengan acceso a recursos efectivos. Además, los estados deberían:

a) Asegurarse de que si se implementan sistemas de aprendizaje automático en el sector público, el uso se realiza de acuerdo con los estándares del debido proceso.

b) Actuar con cautela sobre el uso de sistemas de aprendizaje automático en el sector de la justicia, dados los riesgos para un juicio justo y los derechos de los litigantes. (dieciséis)

c) Resuma líneas claras de responsabilidad para el desarrollo e implementación de sistemas de aprendizaje automático y aclare qué organismos o individuos son legalmente responsables de las decisiones tomadas mediante el uso de dichos sistemas.

d) Proporcionar recursos efectivos a las víctimas de daños discriminatorios vinculados a los sistemas de aprendizaje automático utilizados por organismos públicos o privados, incluida la reparación que, en su caso, puede implicar una indemnización, sanciones contra los responsables y garantías de no repetición. Esto puede ser posible usando las leyes y regulaciones existentes o puede requerir el desarrollo de otras nuevas.
Conclusión

57. Los firmantes de esta Declaración hacen un llamado a los actores del sector público y privado para que cumplan con sus obligaciones y responsabilidades bajo las leyes y normas de derechos humanos para evitar la discriminación en el uso de sistemas de aprendizaje automático cuando sea posible. Donde surge la discriminación, deben existir medidas para otorgar el derecho a un recurso efectivo.

58. Hacemos un llamado a los actores estatales y del sector privado para que trabajen juntos y desempeñen un papel activo y comprometido en la protección de individuos y grupos contra la discriminación. Al crear y desplegar sistemas de aprendizaje automático, deben tomar medidas significativas para promover la rendición de cuentas y los derechos humanos, incluido, entre otros, el derecho a la igualdad y la no discriminación, de acuerdo con sus obligaciones y responsabilidades bajo las leyes y estándares internacionales de derechos humanos.

59. Los avances tecnológicos no deben socavar nuestros derechos humanos. Estamos en una encrucijada donde quienes tienen el poder deben actuar ahora para proteger los derechos humanos y ayudar a salvaguardar los derechos a los que todos tenemos derecho ahora y para las generaciones futuras.

 

Comentario

La Declaración tiene tres secciones principales. En la primera, se establece el deber de los Estados de prevenir la discriminación en el diseño o la implementación de los sistemas de aprendizaje automático en contextos públicos o mediante asociaciones público-privadas. En la sección se incluyen principios para identificar riesgos en el uso de sistemas de aprendizaje automático, para garantizar la transparencia y la rendición de cuentas, para hacer cumplir la supervisión y para promover la igualdad. En la segunda sección se describe las responsabilidades de los actores privados en el contexto del desarrollo y la implementación de sistemas de IA. Estas responsabilidades incluyen detectar posibles resultados discriminatorios a través de la identificación y evaluación de riesgos, tomar medidas efectivas para prevenir y mitigar la discriminación y ser transparentes. Y en la tercera sección se afirma el derecho a un recurso efectivo y a llamar a cuentas a los responsables de las violaciones.

 

La Declaración de Toronto busca proteger los derechos de todos los individuos y grupos y promover la diversidad y la inclusión. Subraya que la inclusión, la diversidad y la equidad son componentes clave para garantizar que los sistemas de aprendizaje automático no creen ni perpetúen la discriminación, en particular contra los grupos marginados.

Lecturas de interés.

Asis, R.; Desafíos éticos de los cyborgs Universitas 2019, n. 30, pp. 1-25

Páginas webs

https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai.

 

 

 

 

 

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google photo

Estás comentando usando tu cuenta de Google. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

Conectando a %s

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios .