Cloudflare introduit une option permettant d’autoriser individuellement les robots d’exploration pour les modèles de langue – IT Pro – News

Cloudflare a mis à jour son outil de blocage des robots d’exploration de modèles de langue, permettant aux propriétaires de sites Web de spécifier des exceptions. Cela devrait donner aux propriétaires de sites plus de contrôle sur les modèles de langue autorisés à voir leur contenu.

Il existe une fonctionnalité d’audit AI pour cartographier les robots qui visitent le site et à quelle fréquence, déclare Cloudflare. Vous pouvez ensuite bloquer tous les robots d’exploration en même temps, ce que Cloudflare propose depuis quelques mois, mais vous pouvez également le faire par fournisseur de modèle de langue. La fonction AI Audit fait notamment la distinction entre les moteurs de recherche IA et les robots d’exploration de données.

Les robots d’exploration copient le contenu des sites Web et l’intègrent dans des modèles linguistiques en tant que données d’apprentissage. Ce phénomène s’est produit à grande échelle ces dernières années. Cloudflare affirme que cette fonctionnalité redonne le contrôle aux propriétaires de sites, plutôt qu’aux entreprises qui entraînent les modèles linguistiques. « Nous pensons que cela représente un risque pour un Internet ouvert », déclare Cloudflare. « Sans la possibilité de contrôler l’analyse et de capturer de la valeur, les propriétaires de sites seront découragés de lancer ou de maintenir des propriétés Internet. »

Selon l’entreprise, cette situation est également néfaste à long terme pour les créateurs de modèles linguistiques. « Les créateurs vont cacher une plus grande partie de leur contenu derrière des paywalls, et les plus grands éditeurs concluront des accords directs. En retour, les fournisseurs de modèles d’IA auront du mal à trouver et à accéder à du contenu de haute qualité sur des sites plus petits. »

Cloudflare : bloquer ou autoriser les robots d'exploration de modèles de langage

#Cloudflare #introduit #une #option #permettant #dautoriser #individuellement #les #robots #dexploration #pour #les #modèles #langue #Pro #News

Facebook
Twitter
LinkedIn
Pinterest

Leave a Comment

This site uses Akismet to reduce spam. Learn how your comment data is processed.