Grok se ha convertido en una herramienta cuestionada respecto a su posibilidad de modificar imágenes y crear deepfakes que vulneren la dignidad de celebridades, agentes políticos e incluso civiles.
Previamente, usuarios de esta plataforma empezaron a usar el asistente para manipular fotografías —también contenido gráfico— para hacerlo erótico. Un ejemplo es el caso de una foto de Sabrina Carpenter, donde se muestra a la cantante abrigada con una chamarra rosa y un clima invernal de fondo. En los comentarios se pidió un comando que decía: “Ponla con lencería roja”, el bot ejecutó la instrucción, manteniendo la misma expresión, con las mejillas enrojecidas por el frío, el mismo fondo, solo que ahora estaba en lencería roja.
De acuerdo a un blog publicado por Copyleaks —una empresa internacional que detecta IA— se genera “aproximadamente una imagen sexualizada no consensuada por minuto”. La tendencia inició cuando algunos creadores de contenido para adultos solicitaron comandos donde se les sexualizara, con el fin de promocionarse en X. Sin embargo, algunos usuarios hicieron lo mismo con imágenes que no eran de su propiedad, sin el consentimiento de la persona que salía en la foto original. Esto desató indignaciones y consternación sobre lo que se podía realizar a partir de contenido ajeno con Grok, incluso con otras herramientas de IA generativas como Sora.
Musk, quien es uno de los principales promotores de Grok y su uso, también ha sido objeto de estos deepfakes. En un post donde su publica una foto de Ben Affleck fumando un cigarro, se muestra un hilo donde se hacen progresivamente modificaciones en la imagen, sobre poniendo una cara distinta a la del actor, para después modificarlo en bikini. Las modificaciones concluyeron en un Elon Musk en traje de baño. Su respuesta fue “perfecto” acompañado de un emoji.
Tomando en cuenta estos antecedentes, el CEO anunció que el miércoles se impusieron una serie de restricciones sobre todos los usuarios que usaran el chatbot. La decisión surge porque distintos gobiernos han exigido una regulación estricta sobre el contenido generativo que tiene Grok, imponiendo prohibiciones y demandas para exigir un freno a la difusión de contenido ilegal a escala global.
En una publicación, la compañía anunció que eliminó “contenido de alta prioridad que infrinja las normas, incluido material de abuso sexual infantil (Child Sexual Abuse Material) y desnudos no consensuados”. La red social informó que se tomarán las acciones necesarias para “las cuentas que violan nuestras reglas de X”, así como aseguró que reportará ante las autoridades las cuentas que busquen contenido relacionado con explotación sexual infantil.
X añadió que implementó medidas para prevenir que el chatbot pueda editar imágenes de personas reales “con ropa reveladora, como bikinis”. La restricción se aplica para todos los usuarios, aunque se aclaró que “la creación de imágenes y la capacidad de editarlas” ahora es exclusivo para suscriptores de pago. El criterio de esta decisión tiene como base garantizar que los usuarios no violen las políticas de la empresa ni la ley. Adicionalmente, se impondrá una geobloqueo donde se prohibirá la generación de imágenes con ropa provocativa en “jurisdicciones donde es ilegal”.
El comunicado enfatizó que estas medidas no cambiarán los protocolos ya existentes. Además, mencionó que independientemente de quién publique el contenido —sean suscriptores o no— se tomarán las “medidas rápidas y contundentes para eliminar contenido que infrinja las normas o sean ilegales”, se suspenderán “permanentemente cuentas cuando corresponda” y se va a “colaborar con gobiernos locales y autoridades policiales cuando sea necesario”.
Rob Bonta, fiscal general de California, y Gavin Newsom, gobernador del mismo estado, también exigieron respuestas después de que Musk dijera, “No tengo conocimiento de ninguna imagen desnuda de menores generada por Grok. Literalmente cero”.
Bonta declaró: “Grok AI ha estado produciendo deepfakes de imágenes íntimas no consensuadas que se usan para acosar a mujeres en todo internet”. “Esto es inaceptable. Estamos exigiendo respuestas inmediatas de xAI sobre su plan para detener la creación y la difusión de este contenido”, añadió. Por su parte, Newsom manifestó: “La decisión de xAI de crear y alojar un caldo de cultivo para que depredadores difundan deepfakes sexualmente explícitos no consensuados, incluidas imágenes que desnudan digitalmente a menores, es despreciable”. El gobernador de California le solicitó al fiscal investigar “de inmediato a la empresa” y responsabilizar a xAI.
Tres senadores demócratas también solicitaron a Apple y Google que retiren “estas aplicaciones de las tiendas hasta que se atiendan las violaciones a las políticas de X”, argumentando que deben “prohibir a los usuarios crear, subir o distribuir contenido que facilite la explotación o el abuso de menores”, incluyendo prohibir “la representación de menores de una manera que pueda derivar en la explotación sexual infantil”.
The post Grok actualiza sus políticas de generación de imágenes tras difusión de <i>deepfakes</i> appeared first on Rolling Stone en Español.
Comment