El Caledonian Thistle FC de Inverness, más conocido como Caley Thistle, juega en la liga de segundo nivel de Escocia en un estadio con capacidad para poco más de 7000 personas. No es un equipo rico y no tiene mucha cobertura televisiva. Para brindar a sus fanáticos más acceso a la acción en el campo, el equipo compró un sistema de cámara de Pixellot, una empresa con sede en Israel.
Pixellot ha desarrollado lo que llama «video automatizado AI». Las cámaras instaladas alrededor del campo están controladas por inteligencia artificial para monitorear acciones, por lo que no se necesitan operadores, lo que crea una experiencia similar a la de una transmisión y ahorra dinero. En el fútbol, la inteligencia artificial de Pixellot está entrenada para monitorear la pelota, lo que ayuda a garantizar que la cámara siempre encuadre la acción.
Después del despliegue en el Kaylee Thistle Stadium, AI enfrentó consecuencias no deseadas cuando el árbitro del juego estaba calvo. AI no podía distinguir entre una pelota de fútbol y un hombre calvo que se movía por el campo. Pixellot le dijo a la prensa que podría resolver el problema cambiando el algoritmo. Y aunque el error del balón detrás de la cabeza realmente no hizo mucho daño, salvo por una extraña visualización del fútbol, la historia muestra cómo la IA puede fallar, pues sus creadores nunca lo consideraron un problema potencial.
Las formas en que la IA puede fallar están creciendo exponencialmente [the technology] se desarrolla en formas cada vez más complejas. Considere la posibilidad de traducir idiomas. La IA se está volviendo buena en esto, y ya hay muchas empresas de traducción de IA, y Google está liderando el camino en su servicio. Sin duda, la IA eventualmente puede romper las barreras del idioma. Si te encuentras con una persona que habla un idioma que no conoces, puedes descolgar el teléfono, ponerte unos auriculares y escuchar traducción simultánea. Pero este es un desafío extremadamente difícil. Estas inteligencias artificiales se entrenan absorbiendo cientos de miles de millones de palabras de fuentes que van desde diccionarios hasta videos de YouTube y chats en Reddit. Google tiene una ventaja aquí porque ve miles de millones de consultas de búsqueda, correos electrónicos y documentos de Google de todo el mundo. La cantidad de datos es tan grande que nadie puede saber todo lo que contiene.
¿Qué es un canario algorítmico?
Peligros de la IA sesgada
Ya estamos viendo consecuencias impredecibles para la desigualdad. Algunos idiomas, incluido el inglés, no agregan género a los sustantivos. Alemán, francés y algunos otros idiomas. Al traducir del inglés al alemán o al francés, AI debe decidir qué género asignar al sustantivo inglés. Según un estudio realizado por investigadores de la Universidad de Cambridge, las traducciones tienden a ser estereotipadas. El «limpiador» se convierte en mujer; «Ingeniero», masculino. Los investigadores han descubierto que el sesgo se puede corregir volviendo a entrenar la IA, pero si dicha IA se usara ampliamente antes de que se notara el problema, podría tener consecuencias perjudiciales.
Un video de fútbol incorrecto o un traductor sesgado es una consecuencia relativamente leve cuando te das cuenta de que la IA es la electricidad de esta era y, al final, proporcionará casi todo. Los creadores de inteligencia artificial pueden ser diversos, tener las mejores intenciones y tratar de ser diligentes, pero inevitablemente se perderán algo. Imagine el daño potencial si la inteligencia artificial, que dirige la atención médica de alguien, falla, o la inteligencia artificial, que controla una represa o ayuda a las armas a establecer objetivos, falla.
Ser responsable o regular
A principios de 2021, la Comisión Federal de Comercio de EE. UU. advirtió a las empresas y los sistemas de atención médica que los algoritmos discriminatorios podrían violar las leyes de protección al consumidor. «Sea responsable, o prepárese para que la FTC lo haga por usted», escribió Eliza Gillson, abogada del Departamento de Privacidad y Privacidad de la FTC, en una publicación de blog oficial. La FTC prohíbe acciones injustas o engañosas que puedan implicar el uso de algoritmos sesgados racistas, escribe Gillson. En 2019, el Congreso presentó un proyecto de ley, la Ley de responsabilidad algorítmica, que ordenará a la FTC que desarrolle reglas que requieran que las grandes empresas realicen evaluaciones de impacto para los «sistemas automatizados de toma de decisiones de alto riesgo» existentes y nuevos, en otras palabras, AI. En el verano de 2021, la Unión Europea consideró reglas estrictas de responsabilidad para la inteligencia artificial. Ninguna de estas propuestas se ha promulgado aún, pero está claro que las empresas deben actuar con rapidez y responsabilidad, de lo contrario se enfrentarán a la regulación.
Podemos desarrollar inteligencia artificial que pueda observar otra inteligencia artificial en busca de prejuicios o mala conducta.
Sin embargo, las empresas no están haciendo lo suficiente. En la primavera de 2021, Boston Consulting Group publicó un informe que indica que más de la mitad de las empresas sobrestiman las capacidades de sus esfuerzos para usar la IA de manera responsable, mientras que solo el 12 por ciento ha implementado por completo un programa de IA responsable.
Las empresas necesitan un enfoque sólido para evitar las consecuencias no deseadas de la inteligencia artificial, un mecanismo tecnológico que funciona en conjunto con un modelo de negocios para respaldar y garantizar el pensamiento empresarial responsable.
Llamo a este enfoque «canarios algorítmicos».
canarios algorítmicos
Un canario algorítmico es similar (como puede imaginar) a un canario en una mina de carbón que emite una advertencia que le da a la empresa la oportunidad de detener la catástrofe antes de que suceda. Es una inteligencia artificial creada específicamente para monitorear otra inteligencia artificial, un perro guardián de software que puede hacer cosas que los humanos nunca podrían hacer al observar miles de millones de puntos de datos y buscar patrones que indiquen que algo anda mal. Las empresas emergentes deben implementar estos canarios para asegurarse de que su inteligencia artificial esté rastreando las intenciones de la empresa y haciendo sonar la alarma si la tecnología hace daño o si otros roban la IA y la usan de manera dañina (ya que los extranjeros se aprovechan del algoritmo de Facebook para influir en las elecciones). Un canary con inteligencia artificial también puede monitorear todas las prácticas comerciales de la empresa para ayudarla a seguir siendo responsable.
La tecnología para esto puede ser creada. Un ejemplo es Grover for Artificial Intelligence del Instituto Allen, un algoritmo que puede encontrar noticias falsas creadas por IA entre noticias reales y bloquearlas antes de que lleguen a una audiencia masiva. En el sentido de la máquina de «conocer uno», un estudio de la Institución Brookings encontró que debido a que la IA crea noticias falsas, la IA también puede aprender sobre los caprichos y características de las noticias de la IA. El estudio concluyó que Grover tenía una precisión del 92 por ciento en la detección de noticias escritas por el hombre y la máquina.
Varias empresas ya están creando una IA que puede recopilar miles de millones de puntos de datos y buscar patrones que predicen problemas. Por ejemplo, Noodle.ai ha desarrollado inteligencia artificial que puede rastrear señales de máquinas en la fábrica, camiones a lo largo de la cadena de suministro, cambios climáticos e incluso noticias para predecir qué puede salir mal en las actividades del fabricante, desde las materias primas hasta los estantes, para que el fabricante Puede soportar todo sin problemas. Sprinkler de Nueva York crea inteligencia artificial que captura señales de los clientes de la empresa donde sea que puedan comunicarse (Twitter, chatbots, reseñas, correos electrónicos, llamadas de servicio al cliente) para ayudar a la empresa a identificar un problema con su producto o marca y solucionarlo antes. Se pone peor.
Si una IA ya puede hacer todo esto, podemos desarrollar una IA que pueda vigilar a otra IA en busca de prejuicios o mala conducta.
Necesitamos estas inteligencias artificiales para predecir consecuencias indeseables, como cuando una empresa recopila datos para monetizarlos a través de publicidad. La IA debe determinar las consecuencias del segundo o tercer orden, como lo que le sucede a la ciudad cuando el comercio electrónico obliga a cerrar muchas tiendas minoristas.
Sería una buena práctica para los fundadores incorporar canarios algorítmicos en una etapa temprana del desarrollo del producto, para incorporar esto en el producto y el negocio.
En última instancia, si bien los tipos de consecuencias no deseadas variarán de una empresa a otra, la industria debe comenzar a desarrollar un enfoque colectivo sobre lo que deben tener cuidado con los canarios algorítmicos. Esto requiere una comprensión de todas las partes interesadas afectadas por la empresa.
ESG (gobierno ambiental, social y corporativo) es un punto de partida útil. Esto alienta a las empresas a pensar en las consecuencias impredecibles para los problemas ambientales, sociales y de gestión. Pero los canarios algorítmicos necesitan ir mucho más allá. Dichas IA deben buscar consecuencias como campañas de desinformación, violaciones de la privacidad, desigualdad, exclusión social y discriminación racial.
Sería una buena práctica para los fundadores incorporar canarios algorítmicos en una etapa temprana del desarrollo del producto, para incorporar esto en el producto y el negocio. Si lo hace retrospectivamente, probablemente sea demasiado tarde. El uso de un enfoque de diseño de responsabilidad sistémica, además de articularlo y medirlo claramente, permite que los equipos de ingenieros integren profundamente canarios en sus tecnologías y los rastreen como KCI. De esta manera, las empresas pueden comenzar a medir lo que es realmente importante, además de su propio éxito: las posibles consecuencias no deseadas de sus tecnologías y la responsabilidad de sus gerentes para mitigarlas.
* * *
Extracto de Implicaciones planificadas: Cómo construir líderes de mercado con innovación responsable, Hemant Taneja, p. 98-104 (McGraw Hill, enero de 2022).