Su CFO está en la videollamada pidiéndole que transfiera $ 25 millones. Te da toda la información del banco. Bastante rutina. Lo entendiste.
Pero, Que el -? Él no el CFO? ¿Cómo puede ser eso? Lo viste con tus propios ojos y escuchaste esa voz innegable por la que siempre te cayeras. Incluso los otros colegas en la pantalla no eran realmente ellos. Y sí, ya hiciste la transacción.
¿Llamar a una campana? Esto se debe a que en realidad le sucedió a un empleado de la firma de ingeniería global Arup el año pasado, que perdió $ 25 millones a los delincuentes. En otros incidentes, la gente fue estafada cuando “Elon Musk” y los “ejecutivos de Goldman Sachs” recurrieron a las redes sociales entusiasmadas con grandes oportunidades de inversión. Y un líder de la agencia en WPP, la compañía de publicidad más grande del mundo en ese momento, fue casi engañado para dar dinero durante una reunión de equipos con un defake profundo que pensaron que era el CEO Mark Read.
Los expertos han estado advirtiendo durante años sobre la tecnología de IA Deepfake que evoluciona a un punto peligroso, y ahora está sucediendo. Utilizado maliciosamente, estos clones están infestando la cultura desde Hollywood hasta la Casa Blanca. Y aunque la mayoría de las empresas mantienen a la madre sobre los ataques de Deepfake para evitar la preocupación del cliente, los expertos dicen que están ocurriendo con una alarma creciente. Deloitte predice las pérdidas de fraude de tales incidentes para alcanzar los $ 40 mil millones en los Estados Unidos para 2027.
Relacionado: El avance de la inteligencia artificial es inevitable. Así es como deberíamos prepararnos para ello.
Obviamente, tenemos un problema, y los empresarios no aman más que encontrar algo que resolver. Pero este no es un problema ordinario. No puede sentarse y estudiarlo, porque se mueve lo más rápido que puede, o incluso más rápido, siempre aparece en una nueva configuración en lugares inesperados.
El gobierno de los Estados Unidos ha comenzado a aprobar regulaciones en Deepfakes, y la comunidad de IA está desarrollando sus propias barandillas, incluidas las firmas digitales y las marcas de agua para identificar su contenido. Pero los estafadores no se sabe exactamente para detenerse en tales obstáculos.
Es por eso que muchas personas han fijado sus esperanzas en la “detección de Deepfake”, un campo emergente que tiene una gran promesa. Idealmente, estas herramientas pueden descubrir si AI generó algo en el mundo digital (una voz, video, imagen o pieza de texto) y dar a todos el poder de protegerse. Pero hay un enganche: de alguna manera, las herramientas solo acelerar el problema. Esto se debe a que cada vez que sale un nuevo detector, los malos actores pueden aprender de él, utilizando el detector para capacitar sus propias herramientas nefastas y hacer que los infartos profundos sean aún más difíciles de detectar.
Entonces, ahora la pregunta es: ¿quién está preparado para este desafío? ¿Este interminable juego de gato y ratón, con apuestas imposiblemente altas? Si alguien puede liderar el camino, las nuevas empresas pueden tener una ventaja, porque en comparación con las grandes empresas, pueden centrarse exclusivamente en el problema e iterar más rápido, dice Ankita Mittal, consultora senior de investigación de Insight Partners, que ha publicado un informe sobre este nuevo mercado y predice un crecimiento explosivo.
Así es como algunos de estos fundadores están tratando de mantenerse a la vanguardia, y construir una industria desde cero para mantenernos a salvo.
Relacionado: ‘Nos absorbimos’: Cómo protegerse de las estafas telefónicas de Deepfake.
Crédito de la imagen: Terovess
Si Deepfakes tuviera una historia de origen, puede sonar así: hasta la década de 1830, la información era física. Podrías decirle a alguien algo en persona, o escribirlo en papel y enviarlo, pero eso fue todo. Luego llegó el telégrafo comercial, y por primera vez en la historia humana, la información podría ser eliminada a largas distancias al instante. Esto revolucionó el mundo. Pero pronto siguieron el fraude de transferencia de cables y otras estafas, a menudo enviados por versiones falsas de personas reales.
Western Union fue una de las primeras compañías de telégrafos, por lo que quizás sea apropiado, o al menos irónico, que en el piso 18 del Old Western Union Building en el bajo Manhattan, puede encontrar una de las primeras startups que combaten los defectos profundos. Se llama Reality Defender, y los muchachos que lo fundaron, incluida una ex tuerca de seguridad cibernética de Goldman Sachs llamada Ben Colman, lanzada a principios de 2021, incluso antes de que Chatgpt entrara en escena. (La compañía originalmente se propuso detectar avatares de IA, que admite “no es tan sexy”).
Colman, quien es CEO, se siente seguro de que esta batalla se puede ganar. Afirma que su plataforma es 99% precisa para detectar la voz en tiempo real y los videos profundos. La mayoría de los clientes son bancos y agencias gubernamentales, aunque no nombrará ninguno (los tipos de ciberseguridad son de los labios apretados). Inicialmente se dirigió a esas industrias porque, dice, los defectos profundos representan un riesgo particularmente agudo para ellos, por lo que están “dispuestos a hacer las cosas antes de que estén completamente probadas”. Reality Defender también trabaja con empresas como Accenture, IBM Ventures y Booz Allen Ventures: “Todos los socios, clientes o inversores, y alimentamos algunas de sus propias herramientas forenses”.
Así que ese es un tipo de emprendedor involucrado en esta carrera. En Zoom, unos días después de visitar a Colman, conozco a otro: es Hany Farid, profesor en la Universidad de California, Berkeley, y cofundador de una startup de detección llamada GetReal Security. Su lista de clientes, según el CEO, incluye a John Deere y Visa. Farid se considera un OG de forense de imagen digital (era parte de un equipo que desarrolló Photodna para ayudar a combatir el material de abuso sexual infantil en línea, por ejemplo). Y para darme el sentido completo del riesgo involucrado, tira de un espeluznante juegos de tecnología: mientras me habla en Zoom, es reemplazado por una nueva persona, un punk asiático que se ve 40 años más joven, pero que continúa hablando con la voz de Farid. Es un defake profundo en tiempo real.
Relacionado: las máquinas están superando a los humanos en inteligencia. Lo que hacemos a continuación definirá el futuro de la humanidad, dice este legendario líder tecnológico.
A decir verdad, Farid no estaba originalmente seguro si Deepfake Detection era un buen negocio. “Estaba un poco nervioso de que no pudiéramos construir algo que realmente funcionara”, dice. La cosa es que los defectos profundos no son solo Una cosa. Se producen en innumerables maneras, y sus creadores siempre están evolucionando y aprendiendo. Un método, por ejemplo, implica el uso de lo que se llama una “red adversaria generativa”: en resumen, alguien construye un generador de fake profundo, así como un detector de defake profundo, y los dos sistemas compiten entre sí para que el generador se vuelva más inteligente. Un método más nuevo mejora los profundos y el entrenamiento de un modelo para comenzar con algo llamado “ruido” (imagine la versión visual de Static) y luego esculpir los píxeles en una imagen de acuerdo con un mensaje de texto.
Debido a que los defensores profundos son tan sofisticados, ni el defensor de la realidad ni GetReal pueden decir definitivamente que algo es “real” o “falso”. En cambio, se les ocurre probabilidades y descripciones como fuerte, mediano, débil, alto, bajo, y lo más probable – Lo que los críticos dicen que pueden ser confusos, pero los partidarios argumentan que pueden poner a los clientes en alerta para hacer más preguntas de seguridad.
Para mantenerse al día con los estafadores, ambas compañías funcionan a un ritmo increíblemente rápido, publicando actualizaciones cada pocas semanas. Colman gasta muchos ingenieros e investigadores de reclutamiento de energía, que representan el 80% de su equipo. Últimamente, ha estado sacando contrataciones directamente del Ph.D. programas. También les hace investigar en curso para mantener a la compañía un paso adelante.
Tanto el defensor de la realidad como el getreal mantienen las tuberías que cursan con tecnología que se despliega, en desarrollo y está listo para atacar. Para hacer eso, están organizados en diferentes equipos que van y vienen para probar continuamente sus modelos. Farid, por ejemplo, tiene un “equipo rojo” que ataca y un “equipo azul” que defiende. Al describir trabajar con su jefe de investigación sobre un nuevo producto, dice: “Tenemos este ciclo muy rápido donde ella rompe, arreglo, ella rompe, y luego ves la fragilidad del sistema. No lo haces una vez, pero lo haces 20 veces. Y ahora estás en algo”.
Además, se aplican en capas en técnicas de detección no AI para hacer que sus herramientas sean más precisas y más difíciles de esquivar. GetReal, por ejemplo, usa IA para buscar imágenes y videos de lo que se conocen como “artefactos” – fallas reveladoras de que están hechas por IA generativa, así como otros métodos forenses digitales para analizar iluminación inconsistente, la compresión de imágenes, si el discurso está sincronizado correctamente a los labios móviles de alguien, y para el tipo de detalles que son difíciles de falsificar (como, por ejemplo, si el videos de un cEO de CEO está sincronizado correctamente de alguien que son específicos de detalles que son difíciles de fallar (como, por ejemplo, si el Video de un CEO se sincroniza. oficina).
“El final del juego de mi mundo no es la eliminación de las amenazas; es la mitigación de las amenazas”, dice Farid. “I puede derrotar a casi todos nuestros sistemas. Pero no es fácil. El nudillo promedio en Internet, tendrán problemas para eliminar un artefacto incluso si les digo que está allí. Un actor sofisticado, seguro. Lo resolverán. ¿Pero eliminar los 20 artefactos? Al menos te voy a frenar “.
RELACIONADO: Deepfake Fraud se está convirtiendo en un riesgo comercial que no puede ignorar. Aquí está la sorprendente solución que lo pone por delante de las amenazas.
Todas estas estrategias fallarán si no tienen una cosa: los datos correctos. La IA, como dicen, es tan bueno como los datos en los que está entrenado. Y ese es un gran obstáculo para las nuevas empresas de detección. No solo tiene que encontrar falsificaciones hechas por todos los diferentes modelos y personalizados por varias compañías de IA (detectar una no necesariamente funcionará en otra), sino que también debe compararlas con imágenes, videos y audio de personas, lugares y cosas reales. Claro, la realidad está a nuestro alrededor, pero también lo es la IA, incluso en nuestras cámaras telefónicas. “Históricamente, los detectores no funcionan muy bien una vez que vas a los datos del mundo real”, dice Phil Swatton, del Instituto Alan Turing, el Instituto Nacional de AI y ciencia de datos del Reino Unido. Y los conjuntos de datos etiquetados de alta calidad para la detección de defectos profundos siguen siendo escasos, señala Mittal, el consultor principal de los socios de Insight.
Colman ha abordado este problema, en parte, mediante el uso de conjuntos de datos más antiguos para capturar el lado “real”, digamos desde 2018, antes de la IA generativa. Para los datos falsos, lo genera principalmente en casa. También se ha centrado en desarrollar asociaciones con las compañías cuyas herramientas están acostumbradas a hacer Deepfakes – Porque, por supuesto, no todos están destinados a ser dañinos. Hasta ahora, sus socios incluyen Elevenlabs (que, por ejemplo, traduce la popular podcaster y neurocientífico Andrew Huberman en hindi y español, para que pueda llegar a un público más amplio) junto con Playai y Responcher. Estas compañías tienen montañas de datos del mundo real, y les gusta compartirlos, porque se ven bien al demostrar que están construyendo barandillas y permitiendo que el defensor de la realidad detecte sus herramientas. Además, esto otorga acceso temprano al defensor de la realidad a los nuevos modelos de los socios, lo que le da un comienzo de salto en la actualización de su plataforma.
El equipo de Colman también se ha vuelto creativo. En un momento, para recopilar datos de voz frescos, se asociaron con una compañía de viajes compartidos, ofreciendo a sus conductores ingresos adicionales registrando 60 segundos de audio cuando no estaban ocupados. “No funcionó”, admite Colman. “Un automóvil para el viaje compartido no es un buen lugar para grabar audio limpio cristalino. Pero nos dio una comprensión de los sonidos artificiales que no indican fraude. También nos ayudó a desarrollar algunos enfoques novedosos para eliminar el ruido de fondo, porque un truco que hará un estafador es usar una voz generada por IA, pero luego tratar de crear todo tipo de ruido, para que tal vez no sea tan detectable”.
Las startups como esta también deben lidiar con otro problema del mundo real: ¿cómo evitan que su software salga al público, donde los defensores de Deep pueden aprender de él? Para comenzar, los clientes de Reality Defender tienen una barra alta para quien dentro de las organizaciones puede acceder a su software. Pero la compañía también ha comenzado a crear un hardware novedoso.
Para mostrarme, Colman sostiene una computadora portátil. “Ahora podemos ejecutar toda nuestra magia localmente, sin ninguna conexión con la nube en esto”, dice. La computadora portátil cargada, solo disponible para clientes de alto contacto, “ayuda a proteger nuestra IP, por lo que las personas no la usan para tratar de demostrar que pueden evitarlo”.
RELACIONADO: Casi la mitad de los estadounidenses piensan que podrían ser engañados por AI. Esto es lo que les preocupa.
Algunos fundadores están tomando un camino completamente diferente: en lugar de tratar de detectar personas falsas, están trabajando para autenticar las reales.
Ese es el plan de Joshua McKenty. Es un empresario en serie que cofundó OpenStack y trabajó en la NASA como arquitecto de la nube jefe, y este marzo lanzó una compañía llamada PolyGuard. “Dijimos: ‘Mira, no nos vamos a centrar en la detección, porque solo está acelerando la carrera armamentista. Nos vamos a centrar en la autenticidad'”, explica. “No puedo decir si algo es falso, pero yo poder Dile si es real“
Para ejecutar eso, McKenty construyó una plataforma para realizar una verificación de la realidad literal de la persona con la que está hablando por teléfono o video. Así es como funciona: una empresa puede usar la aplicación móvil de PolyGuard o integrarla en su propia aplicación y centro de llamadas. Cuando quieran crear una llamada o reunión segura, usan ese sistema. Para unirse, los participantes deben probar sus identidades a través de la aplicación en su teléfono móvil (donde se verifican utilizando documentos como ID real, Passports y escaneo facial). Polyguard dice que esto es ideal para entrevistas remotas, reuniones de la junta o cualquier otra comunicación sensible donde la identidad sea crítica.
En algunos casos, la solución de McKenty se puede usar con herramientas como Reality Defender. “Las empresas podrían decir ‘somos tan grandes, necesitamos ambos'”, explica. Su equipo tiene solo cinco o seis personas en este momento (mientras que Reality Defender y GetReal tienen alrededor de 50 empleados), pero dice que sus clientes ya incluyen reclutadores, que entrevistan a los candidatos de forma remota solo para descubrir que son defensores profundos, firmas de abogados que desean proteger el privilegio de los abogados y los administradores de riqueza. También está poniendo la plataforma a disposición del público para que las personas establezcan líneas seguras con su abogado, contador o maestro de niños.
Esta línea de pensamiento es atractiva y obteniendo la aprobación de las personas que observan la industria. “Me gusta el enfoque de autenticación; es mucho más sencillo”, dice Swatton del Instituto Alan Turing. “Se centra no en detectar que algo salga mal, sino certificar que va bien”. Después de todo, incluso cuando las probabilidades de detección sonido Bueno, cualquier margen de error puede dar miedo: un detector que atrapa el 95% de las falsificaciones aún permitirá una estafa 1 de 20 veces.
Esa tasa de error es lo que alarmó a Christian Perry, otro empresario que ingresó a la carrera de Deepfake. Lo vio en los primeros detectores de mensajes de texto, donde los estudiantes y los trabajadores estaban siendo acusados de usar IA cuando no lo estaban. El engaño de la autoría no representa el nivel de amenaza que lo hacen los defectos, pero los detectores de texto se consideran parte de la familia que lucha contra la estafa.
Perry y su cofundador Devan Leos lanzaron una startup llamada Undetectable en 2023, que ahora tiene más de 19 millones de usuarios y un equipo de 76. Comenzó construyendo un detector de texto sofisticado, pero luego giró en la detección de imágenes, y ahora está cerca de lanzar detectores de audio y video también. “Puede usar gran parte del mismo tipo de metodología y conjuntos de habilidades que recoge en la detección de texto”, dice Perry. “Pero la detección de Deepfake es un problema mucho más complicado”.
RELACIONADO: A pesar de cómo lo retratan los medios, la IA no es realmente inteligente. He aquí por qué.
Finalmente, en lugar de tratar de prevenir los defensores, algunos empresarios están viendo la oportunidad de limpiar su desastre.
Luke y Rebekah Arrigoni se toparon con este nicho accidentalmente, tratando de resolver un problema terrible diferente: la pornografía de venganza. Comenzó una noche hace unos años, cuando la pareja casada estaba viendo HBO’s Euforia. En el programa, la imagen íntima no consensuada de un personaje se compartió en línea. “Supongo que fuera de la arrogancia”, dice Luke, “nuestra respuesta inmediata fue como, Podríamos arreglar esto“
En ese momento, los Arrigonis estaban trabajando en tecnologías de reconocimiento facial. Entonces, como proyecto paralelo en 2022, armaron un sistema específicamente diseñado para buscar la web en busca de porno de venganza, luego encontraron algunas víctimas para probarlo. Localizarían las imágenes o videos, luego enviarían avisos de eliminación a los hosts de los sitios web. Funcionó. Pero por valioso que fuera, podían ver que no era un negocio viable. Los clientes eran demasiado difíciles de encontrar.
Luego, en 2023, apareció otro camino. A medida que estallaron los ataques de los actores y escritores, con AI un tema central, Luke se registró con ex colegas de las principales agencias de talentos. Anteriormente había trabajado en la Agencia Creative Artists como científico de datos, y ahora se preguntaba si su herramienta de porno de venganza podría ser útil para sus clientes, aunque de una manera diferente. También podría usarse para identificar los defectos de celebridades, para encontrar, por ejemplo, cuando un actor o un cantante está siendo clonado para promover el producto de otra persona. Además de sentir otros representantes de talentos como William Morris Endeavour, fue a firmas de gestión de leyes y entretenimiento. Estaban interesados. Entonces, en 2023, Luke dejó de consultar para trabajar con Rebekah y un tercer cofundador, Hirak Chhatbar, en la construcción de su ajetreo lateral, Loti.
“Vimos el deseo de un producto que se ajuste a este pequeño lugar, y luego escuchamos a los socios clave de la industria al principio para construir todas las características que la gente realmente quería, como la suplantación”, dice Luke. “Ahora es una de nuestras características más preferidas. Incluso si escriben deliberadamente el nombre de la celebridad o ponen una casilla de verificación azul falsa en la foto de perfil, podemos detectar todas esas cosas”.
Usar loti es simple. Un nuevo cliente envía tres imágenes reales y ocho segundos de su voz; Los músicos también proporcionan 15 segundos de canto capilla. El equipo de Loti pone esos datos en su sistema y luego escanea Internet para esa misma cara y voz. Algunas celebridades, como Scarlett Johansson, Taylor Swift y Brad Pitt, han sido atacadas públicamente por Deepfakes, y Loti está listo para manejar eso. Pero Luke dice que la mayor parte de la necesidad en este momento involucra cosas de baja tecnología como suplantación y falsos endosos. Una ley recientemente pasada llamada Ley Take It Down, que criminaliza la publicación de imágenes íntimas no consensuadas (incluidos los defectos profundos) y requiere que las plataformas en línea las eliminen cuando se informa, ayuda a este proceso: ahora, es mucho más fácil obtener el contenido no autorizado fuera de la web.
Loti no tiene que lidiar con las probabilidades. No tiene que iterar constantemente ni obtener grandes conjuntos de datos. No tiene que decir “real” o “falso” (aunque puede). Solo tiene que preguntar: “¿Eres tú?”
“La tesis era que el problema de Deepfake se resolvería con los detectores de Deepfake. Y nuestra tesis es que se resolverá con el reconocimiento de la cara”, dice Luke, quien ahora tiene un equipo de alrededor de 50 y un producto de consumo que sale. “Es esta idea de, ¿Cómo me presento en Internet? ¿Qué cosas se dicen de mí o cómo me retratan? Creo que ese es su propio negocio, y estoy muy emocionado de estar en eso “.
RELACIONADO: ¿Por qué AI es tu nuevo mejor amigo … y el peor enemigo en la batalla contra las estafas de phishing?
¿Todo valdrá la pena?
Dejando a un lado toda la tecnología, ¿hacen estas soluciones anti-Depfake para negocios fuertes? Muchas de las nuevas empresas en este espacio son en etapa temprana y respaldadas por empresas, por lo que aún no está claro cuán sostenibles o rentables pueden ser. También están “invirtiendo fuertemente en investigación y desarrollo para mantenerse a la vanguardia de las amenazas generativas de IA generativas”, dice Mittal de Insight Partners. Eso te hace preguntarte sobre la economía de administrar un negocio que probablemente siempre tengo que hacer eso.
Por otra parte, el mercado de los servicios de estas nuevas empresas recién comienza. Deepfakes impactará más que solo bancos, inteligencia gubernamental y celebridades, y a medida que más industrias se despierten a eso, pueden querer soluciones rápidamente. La pregunta será: ¿Estas startups tienen una ventaja de primer movimiento, o simplemente habrán puesto las bases costosas para que los competidores más nuevos funcionen?
Mittal, por su parte, es optimista. Ella ve importantes oportunidades sin explotar para el crecimiento que van más allá de prevenir estafas, como, por ejemplo, ayudar a los profesores a señalar ensayos de estudiantes generados por IA, asistencia a clase imbécil o registros académicos manipulados. Ella predice que muchas de las compañías actuales anti-Depfake serán adquiridas por grandes firmas de tecnología y ciberseguridad.
Ya sea que ese sea el futuro de Reality Defender, Colman cree que plataformas como la suya se vuelven integrales para un ecosistema de barandilla más grande. Lo compara con el software antivirus: hace décadas, tenía que comprar un programa antivirus y escanear manualmente sus archivos. Ahora, estos escaneos están integrados en sus plataformas de correo electrónico, que se ejecutan automáticamente. “Estamos siguiendo exactamente la misma historia de crecimiento”, dice. “El único problema es que el problema se mueve aún más rápido”.
Sin duda, la necesidad será evidente en algún momento pronto. Farid en GetReal imagina una pesadilla como alguien que crea una llamada de ganancias falsas para una compañía Fortune 500 que se vuelve viral.
Si el CEO de GetReal, Matthew Moynahan, tiene razón, entonces 2026 será el año que hará girar el volante para todos estos negocios de lucha profunda. “Hay dos cosas que impulsan las ventas de una manera realmente agresiva: un peligro claro y presente, y el cumplimiento y la regulación”, dice. “El mercado tampoco tiene en este momento. Todos están interesados, pero no todos están preocupados”. Eso probablemente cambiará con un aumento de las regulaciones que impulsan la adopción, y con los defectos que aparecen en lugares que no deberían estar.
“Los ejecutivos conectarán los puntos”, predice Moynahan. “Y comenzarán a decir: ‘Esto ya no es divertido'”.
RELACIONADO: El engaño de clonación de IA puede copiar su voz en 3 segundos, y está vaciando las cuentas bancarias. Aquí le mostramos cómo protegerse.
