Što je Robots.txt?

Robots.txt je tekstualna datoteka smještena na poslužitelju web stranice koja sadrži smjernice za internetske robote (kao što je Googlebot), informirajući ih koje dijelove web stranice treba pregledavati ili ignorirati. To je standardni način komunikacije između vlasnika web stranica i internetskih robota za kontrolu indeksiranja sadržaja putem internetskih tražilica.

U datoteci robots.txt možemo izdvojiti različite upute o ponašanju internetskih robota, kao što su:

• Disallow: Određuje koje direktorije ili datoteke trebaju biti ignorirane od strane internetskih robota i ne bi trebale biti indeksirane.

• Allow: Pokazuje koje direktorije ili datoteke mogu biti indeksirane od strane internetskih robota, unatoč općim uputama Disallow.

• User-agent: Omogućuje određivanje koji internetski roboti trebaju slijediti određene direktive. To omogućuje prilagodbu uputa za različite internetske robote, kao što su Googlebot, Bingbot itd.

• Sitemap: Označava lokaciju XML mape web stranice koja sadrži popis svih dostupnih stranica web stranice, olakšavajući indeksiranje i ažuriranje od strane internetskih robota.

Korištenjem datoteke robots.txt, vlasnici web stranica mogu kontrolirati način na koji se njihove web stranice indeksiraju putem tražilica, štititi privatne ili osjetljive dijelove web stranice i optimizirati indeksiranje za SEO svrhe.

Želite saznati više detalja? Pročitajte članak na našem blogu – tamo ćete pronaći sve što trebate znati o datoteci robots.txt.

]]>