Policías utilizan IA que genera automáticamente informes policiales a partir de grabaciones de cámaras corporales.
El fabricante de pistolas Taser y contratista de la policía Axon ha anunciado un nuevo producto llamado "Draft One", una IA que puede generar informes policiales a partir del audio de las cámaras corporales.
Como informa Forbes, se trata de un uso descarado y preocupante de la tecnología que podría conducir fácilmente a la promoción de males institucionales como el sesgo racial en manos de los departamentos de policía. Eso por no mencionar la propensión de los modelos de IA a "alucinar" los hechos, lo que podría conducir fácilmente al caos y a acusaciones infundadas.
"Es una especie de pesadilla", dijo a Forbes el director de investigaciones sobre tecnologías de vigilancia de la Electronic Frontier Foundation, Dave Maass. "La policía, que no es especialista en IA, y no va a ser especialista en reconocer los problemas de la IA, va a utilizar estos sistemas para generar un lenguaje que podría afectar a millones de personas en su relación con el sistema de justicia penal."
"¿Qué podría salir mal?", reflexionó.
Axon afirma que su nueva IA, que se basa en el gran modelo de lenguaje GPT-4 de OpenAI, puede ayudar a los policías a pasar menos tiempo redactando informes.
"Si un agente pasa la mitad del día redactando informes y nosotros podemos reducir ese tiempo a la mitad, tenemos la oportunidad de liberar potencialmente el 25% del tiempo de un agente para que vuelva a dedicarse a la labor policial", declaró a Forbes Rick Smith, director ejecutivo de Axon.
Pero dada la propensión de los modelos de OpenAI a "alucinar" hechos, no resumir correctamente la información y replicar los prejuicios raciales de sus datos de entrenamiento, es un uso de la tecnología que llama la atención.
Axon, sin embargo, sostiene que ha ajustado el modelo de IA para garantizar que no se salga de madre.
"La forma más sencilla de verlo es que hemos desactivado la creatividad", explica a Forbes Noah Spitzer-Williams, director de producto de IA. "Eso reduce drásticamente el número de alucinaciones y errores... Todo lo que produce se basa sólo en esa transcripción y sólo en esa transcripción".
Enfatizamos lo de "reduce": ¿de verdad deberíamos aceptar la existencia de una herramienta que sigue siendo capaz de cometer "errores" cuando se trata de la actuación policial?
En cuanto al sesgo racial, según Spitzer-Williams, las pruebas demostraron que no había "diferencias estadísticamente significativas entre razas" durante las pruebas.
La empresa también espera asegurarse de que las agencias policiales cuenten con informes revisados por agentes humanos mediante una documentación detallada.
Sin embargo, incluso con estas garantías, la colaboración no está sentando bien a todo el mundo. La noticia del nuevo producto fue recibida con indignación en las redes sociales.
"Estamos al principio de la conquista tecnológica de la policía, y todos acabaremos sufriendo por ello, pero la gente de color sufrirá primero y peor, como siempre", tuiteó la artista Reva Russell English.
"Esto va a arruinar seriamente la vida de la gente: la IA es notoriamente propensa a errores y los informes policiales son registros oficiales", escribió otro usuario. "¿Podemos, por favor, conseguir algún tipo de supervisión de estas corporaciones tecnológicas policiales?".
Y eso por no hablar de la preocupante reputación de Axon. En 2022, nueve de los 12 miembros del comité ético internacional dimitieron tras el anuncio -y pronta marcha atrás- de que drones con pistolas Taser patrullarían las escuelas estadounidenses.
El año pasado, antiguos empleados también declararon a Reuters que se les presionó para que se hicieran tatuajes en la empresa, lo que pone de manifiesto una cultura empresarial extraña y preocupante.
En resumen, hay numerosas razones para mostrarse escéptico ante la última iniciativa de Axon en el campo de la inteligencia artificial. Teniendo en cuenta lo que está en juego, confiar en una tecnología no probada y muy poco fiable debería hacer dudar a cualquiera, especialmente cuando se trata de la ya de por sí turbia industria de la tecnología policial.
Artículo original en: https://futurism.com/police-ai-generates-police-reports-body-cam-footage