El año pasado, Internet La compañía de infraestructura de CloudFlare ha lanzado herramientas que permiten a sus clientes bloquear los fectores de AI Gray. Hoy, la compañía ha continuado su lucha contra el rascado sin autorización de varias etapas. Ha cambiado a bloquear los robots IA predeterminados para sus clientes y continúa con un programa de pago por rastreo que permite a los clientes cargar compañías de inteligencia artificial para rascar sus sitios web.
Los robots web han recorrido Internet para obtener más información durante décadas. Sin ellos, las personas perderían herramientas en línea de importancia vital, desde la investigación de Google hasta el trabajo de preservación digital del archivo de Internet. Pero el Boom de la IA ha producido un boomlet correspondiente en los robots web basados en rastreadores imitar un ataque DDoS, serpiente Y Traer sitios web de línea descendente. Incluso cuando los sitios web pueden administrar una mayor actividad, muchos no quieren que los rastreadores de IA comprendan su contenido, en particular las publicaciones de noticias que requieren que las empresas de IA puedan pagar para usar su trabajo. “Hemos intentado febrilmente protegernos”, explica Danielle Coffey, presidenta y directora ejecutiva de la Alianza de Medios de Medios del Grupo Comercial, quien representa varios miles de puntos de venta de América del Norte.
Hasta ahora, la CloudFlare of Control, el control, la privacidad y los productos de los medios, Allen, le dice a Wired, más de un millón de sitios web de clientes han activado sus viejas herramientas de bloqueo de botas A. A partir de ahora, millones de otros tendrán la oportunidad de mantener el bloqueo de los bots en incumplimiento. Cloudflare también indica que puede identificar los raspadores incluso “sombreados” que no anuncian las compañías de IA. La compañía señaló que utiliza una combinación de análisis de comportamiento, huellas digitales y aprendizaje automático para clasificar y separar los robots de IA de los robots “buenos”.
Un estándar web ampliamente utilizado llamado Protocolo de exclusión de robots, a menudo implementado a través de un archivo robot.txt, ayuda a los editores a bloquear los robots en caso de caso, pero lo siguiente no es legalmente necesario, y hay muchas pruebas de que ciertas compañías de IA están tratando de escapar de los esfuerzos para bloquear sus raspadores. “Robots.txt se ignora”, explica Coffey. De acuerdo a un informe Desde la plataforma de licencia de contenido de Tollbit, que ofrece su propio mercado para que los editores negocien con compañías de IA en acceso a Bot, rascarse la IA sigue aumentando, incluida la rascación que ignora los robots. Tollbit señaló que más de 26 millones de desacelaciones ignoraron el protocolo solo en marzo de 2025.
En este contexto, el pasaje de CloudFlare al bloqueo predeterminado podría ser un obstáculo importante para luchar subrepticiamente y podría dar a los editores más palanca para negociar, ya sea por el pago por rastreo o de otro programa. “Esto podría cambiar considerablemente la dinámica del poder. Hasta ahora, las compañías de IA no han necesitado pagar para obtener una licencia de contenido porque saben que simplemente pueden tomarla sin consecuencias”, explica Nicholas Thompson, CEO de Atlantic (y ex editor de Wired). “Ahora tendrán que negociar, y esto se convertirá en una ventaja competitiva para las compañías de IA que pueden concluir más y más transacciones con más y mejores editores”.
La startup IA Prorata, que opera el motor de búsqueda AI Gist.Ai, acordó participar en el programa de pago por rastreo, según el CEO y fundador Bill Gross. “Creemos firmemente que todos los creadores y editores de contenido deben ser remunerados cuando su contenido se use en las respuestas de IA”, explica Gross.
Por supuesto, queda por ver si los grandes jugadores en el espacio de inteligencia artificial participan en un programa como Pay por rastreo, que está en versión beta. (Cloudflare se negó a nombrar a los participantes actuales). Empresas como OpenAI han concluido los acuerdos de licencia con una variedad de socios de publicación, incluido la compañía de los padres Conde Nast Carbelle, pero no se han revelado detalles específicos de estos acuerdos, especialmente si el acuerdo cubre el acceso al bot.
Mientras tanto, hay todo un ecosistema en línea de tutoriales Sobre cómo escapar de las herramientas de bloqueo de Bot de Cloudflare para Grabyers web. A medida que tiene lugar el bloqueo predeterminado, es probable que estos esfuerzos. Cloudflare subraya que los clientes que desean dejar que los robots se rascen sin prestado podrán desactivar la configuración de bloqueo. “Todo el bloqueo es completamente opcional y a discreción de cada usuario individual”, explica Allen.
