Reddit anunció el martes que revisará una norma web para impedir el raspado automatizado de datos en su plataforma. Esta medida es una respuesta a los informes de que las empresas de inteligencia artificial estaban eludiendo las normas existentes para recopilar contenidos para sus sistemas. La empresa de redes sociales va a actualizar el Protocolo de Exclusión de Robots, comúnmente conocido como "robots.txt", que determina las partes de un sitio web a las que pueden acceder los rastreadores automatizados.
La decisión se produce en medio de la preocupación por las empresas de inteligencia artificial que supuestamente plagian contenidos de editores para crear resúmenes generados por IA sin la debida atribución o permiso. Las medidas actualizadas de Reddit incluirán el mantenimiento de la limitación de velocidad para controlar el volumen de solicitudes que puede realizar un solo usuario, así como el bloqueo de bots y rastreadores no identificados para que no puedan recopilar datos del sitio.
El uso de "robots.txt" ha cobrado importancia a medida que los editores tratan de proteger sus contenidos para que no sean utilizados por empresas tecnológicas para entrenar algoritmos de inteligencia artificial y generar resúmenes para determinadas consultas de búsqueda sin compensación. La semana pasada, TollBit, una empresa de licencias de contenidos, envió una carta a los editores en la que revelaba que varias empresas de inteligencia artificial se habían saltado la norma web para extraer contenidos de los sitios de los editores.
Una investigación de Wired a principios de junio sugirió que la empresa de búsqueda de IA Perplexity podría haber eludido las medidas para bloquear su rastreador web a través de "robots.txt". En un incidente relacionado, Forbes acusó a Perplexity a principios de junio de plagiar sus historias de investigación para utilizarlas en sistemas de IA generativa sin dar crédito.
A pesar de endurecer el acceso, Reddit ha confirmado que investigadores y entidades como Internet Archive podrán seguir accediendo a sus contenidos, siempre que su uso no sea comercial. De este modo, la empresa adopta medidas para proteger sus contenidos del "scraping" no autorizado y sigue apoyando las actividades legítimas de investigación y archivo.
Reuters ha contribuido a este artículo.Este artículo fue traducido con la ayuda de inteligencia artificial. Para obtener más información, consulte nuestros Términos de Uso.