Reddit ne veut plus faire partie de l’« open web ». Le site communautaire interdit l’accès de son contenu aux moteurs de recherche à l’exception notable de Google, qui paie Reddit des dizaines de millions de dollars pour entraîner ses modèles IA.
Il n’y a plus que Google qui affiche la totalité des liens vers les discussions de Reddit. Les autres moteurs de recherche, comme Bing ou Brave, n’y ont plus accès (même s’ils peuvent proposer des liens Reddit à l’occasion). Kagi, qui paie Google pour une partie de son index de recherche, liste toujours des résultats sur Reddit.
Indexation interdite
La découverte faite par le site 404media s’appuie sur des changements opérés sur le fichier robots.txt, que chaque site peut mettre en place pour donner des instructions aux moteurs de recherche qui veulent explorer ses pages. Ce fichier a été modifié pour empêcher ces moteurs d’indexer les conversations sur Reddit. « Nous avons constaté une augmentation des entités manifestement commerciales qui scrutent Reddit et affirment ne pas être liées par nos conditions ou politiques », expliquent les développeurs de Reddit.
« Pire encore, [ces entités] se cachent derrière robots.txt et prétendent pouvoir utiliser le contenu de Reddit à leur guise ».
Les modifications apportés au fichier robots.txt de Reddit remontent au 25 juin. La plateforme explique que les acteurs de bonne foi peuvent prendre contact et demander un accès aux contributions des utilisateurs de Reddit, qui a donné son feu vert à l’Internet Archive et à des organisations de chercheurs. Et donc aussi à Google, qui verse chaque année 60 millions de dollars pour moissonner les discussions sur Reddit pour entraîner ses modèles d’intelligence artificielle, ce qui lui permet au passage d’indexer le contenu pour son moteur de recherche.
Reddit cherche aussi à décrocher un accord avec Microsoft, selon ArsTechnica.
Le blocage de Bing est un moyen de faire pression. « Nous croyons en un internet ouvert, mais nous ne croyons pas à l’utilisation abusive de contenu public », assure Reddit, qui emboîte le pas aux éditeurs de sites web qui contestent l’argument de l’« utilisation équitable » (fair-use) avancé par les entreprises de l’IA pour moissonner le web ouvert.
Sur Reddit cependant, les contributions proviennent directement des internautes et il serait assez légitime qu’elles soient indexables par tous les moteurs de recherche.
404media
31 commentaires
lasuna order online – himcolin oral buy generic himcolin
purchase besifloxacin without prescription – carbocysteine over the counter sildamax drug
cost neurontin 100mg – buy neurontin 100mg generic purchase sulfasalazine for sale
probenecid 500 mg canada – order carbamazepine 400mg pill tegretol generic
order colospa 135mg for sale – buy mebeverine 135mg pletal pills
celebrex over the counter – indomethacin capsule indomethacin tablet
cost voltaren – aspirin 75mg ca aspirin pills
rumalaya tablets – shallaki price amitriptyline 10mg without prescription
where can i buy mestinon – generic mestinon imuran 25mg cost
generic diclofenac – cheap voveran nimotop pills
buy generic lioresal – oral baclofen 10mg piroxicam 20 mg generic
order generic meloxicam – ketorolac cheap ketorolac generic
purchase cyproheptadine generic – periactin 4mg oral zanaflex where to buy
buy trihexyphenidyl cheap – generic artane purchase diclofenac gel cheap
purchase cefdinir sale – order cefdinir online where to buy clindamycin without a prescription
isotretinoin 10mg ca – order generic dapsone 100 mg buy deltasone 20mg online cheap
order prednisone sale – buy deltasone pill order zovirax online cheap
acticin uk – cheap permethrin buy generic retin
order betnovate 20 gm creams – order monobenzone sale buy monobenzone paypal
order flagyl 400mg generic – cenforce us cenforce ca
generic augmentin – order levoxyl online cheap levothroid online
cleocin cost – generic indocin 50mg indomethacin pill
losartan over the counter – buy generic cephalexin over the counter buy cephalexin 500mg for sale
buy generic eurax – purchase bactroban ointment without prescription generic aczone
buy bupropion 150mg generic – orlistat 60mg for sale shuddha guggulu usa
buy modafinil medication – provigil 200mg canada melatonin 3 mg cheap
prometrium usa – clomid order clomiphene oral
buy xeloda 500mg online – capecitabine 500mg tablet danazol 100mg sale
order norethindrone sale – cheap aygestin 5 mg order yasmin online
order fosamax 70mg pills – pilex price order provera 5mg
dostinex 0.5mg for sale – premarin cheap buy generic alesse