Zabráňte tomu, aby vaše webové stránky boli zoškrabané prehľadávačmi OpenAI pomocou tejto príručky.

Zatiaľ čo používatelia milujú ChatGPT pre obrovské množstvo informácií, ktoré v súčasnosti obsahuje, to isté sa nedá povedať o vlastníkoch webových stránok.

ChatGPT od OpenAI používa prehľadávače na zoškrabanie webových stránok, ale ak ste vlastníkom webových stránok a nechcete, aby prehľadávač OpenAI pristupoval na váš web, tu je niekoľko vecí, ktoré môžete urobiť, aby ste tomu zabránili.

Ako funguje prehľadávanie OpenAI?

A webový prehľadávač (tiež známy ako pavúk alebo robot vyhľadávacieho nástroja) je automatický program, ktorý vyhľadáva informácie na internete. Potom tieto informácie zostaví tak, aby k nim váš vyhľadávací nástroj ľahko získal prístup.

Webové prehľadávače indexujú každú stránku každej relevantnej adresy URL, pričom sa zvyčajne zameriavajú na webové stránky, ktoré sú relevantnejšie pre vaše vyhľadávacie dopyty. Predpokladajme napríklad, že googlite konkrétnu chybu systému Windows. Webový prehľadávač vo vašom vyhľadávači prehľadá všetky adresy URL z webových stránok, ktoré považuje za smerodajnejšie v súvislosti s chybou systému Windows.

instagram viewer

Webový prehľadávač OpenAI sa nazýva GPTBot a podľa Dokumentácia OpenAI, poskytnutie prístupu GPTBot na vašu webovú stránku môže pomôcť vycvičiť model AI, aby sa stal bezpečnejším a presnejším, a dokonca môže pomôcť rozšíriť možnosti modelu AI.

Ako zabrániť OpenAI v indexovom prehľadávaní vašich webových stránok

Rovnako ako väčšina ostatných webových prehľadávačov, aj GPTBot môže byť zablokovaný v prístupe k vašej webovej lokalite úpravou webových stránok robots.txt protokol (známy aj ako protokol vylúčenia robotov). Tento súbor .txt je umiestnený na serveri webovej lokality a riadi, ako sa webové prehľadávače a iné automatizované programy správajú na vašej webovej lokalite.

Tu je krátky zoznam toho, čo robot.txt súbor dokáže:

  • Môže úplne zablokovať prístup GPTBot na webovú stránku.
  • Môže blokovať prístup GPTBot iba na určité stránky z adresy URL.
  • Môže povedať GPTBot, ktoré odkazy môže nasledovať a ktoré nie.

Tu je návod, ako ovládať, čo môže GPTBot robiť na vašom webe:

Úplne zablokujte prístup GPTBot na váš web

  1. Nastavte súbor robot.txta potom ho upravte pomocou ľubovoľného nástroja na úpravu textu.
  2. Pridajte GPTBot na svoje stránky robots.txt nasledovne: 
User-agent: GPTBot
Disallow: /

Blokovať prístup GPTBot iba na určité stránky

  1. Nastavte robot.txt súbor a potom ho upravte pomocou preferovaného nástroja na úpravu textu.
  2. Pridajte GPTBot na svoje stránky robots.txt nasledovne: 
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/

Majte však na pamäti, že zmena robot.txt súbor nie je retroaktívnym riešením a akékoľvek informácie, ktoré už GPTBot zhromaždil z vašej webovej stránky, nebude možné obnoviť.

OpenAI umožňuje vlastníkom webových stránok odhlásiť sa z indexového prehľadávania

Odkedy sa prehľadávače používajú na trénovanie modelov AI, majitelia webových stránok hľadajú spôsoby, ako zachovať súkromie svojich údajov.

Niektorí sa obávajú, že modely AI v podstate kradnú ich prácu a dokonca pripisujú menej návštev webových stránok skutočnosti, že používatelia teraz získavajú informácie bez toho, aby museli navštíviť ich webové stránky.

Celkovo vzaté, či chcete úplne zablokovať chatboty AI v skenovaní vašich webových stránok, je úplne na vás.