No, a robots. txt no és necessari per a un lloc web. Si un bot arriba al vostre lloc web i no en té, només rastrejarà el vostre lloc web i indexarà les pàgines com ho faria normalment. … el fitxer txt només és necessari si voleu tenir més control sobre el que s'està rastrejant.
Què passa si no teniu robots txt?
robots. txt és completament opcional. Si en tens un, els rastrejadors que compleixen els estàndards el respectaran, si no en tens cap, tot el que no estigui permès als elements HTML-META (Viquipèdia) es pot rastrejar. El lloc s'indexarà sense limitacions.
Puc suprimir robots txt?
Heu d'eliminar les dues línies dels vostres robots. fitxer txt. El fitxer robots es troba al directori arrel de la carpeta d'allotjament web, normalment es pot trobar a /public_html/ i hauríeu de poder editar o eliminar aquest fitxer mitjançant: FTP mitjançant un client FTP com FileZilla o WinSCP.
Els robots txt són segurs?
Els robots. txt file no és en si mateix una amenaça per a la seguretat i el seu ús correcte pot representar una bona pràctica per raons que no són de seguretat. No hauríeu de suposar que tots els robots web compliran les instruccions del fitxer.
Per què els robots txt són dolents?
Simplement afegiu una llista d'URL destinats a ser privats per a un robot. txt és una de les pitjors maneres d'intentar mantenir els URL ocults i, en la majoria dels casos, resulta en exactament el contrari del resultat previst.
