#Documento robot para sitio TATANKA #Metemos primero el sitemap.xml Sitemap:http://www.tatankacamp.es/sitemap.xml #--------------------------------------- #Ahora las directrices para los robots #Elegimos el robot, en este caso las normas son para todos al poner * User-Agent:* #Le decimos lo que no queremos que indexe Disallow:/adm_insonline/ Disallow:/wp-admin/ Disallow:/pagos/ Disallow:/funciones/ Disallow:/anterior/ Disallow:/wp-includes/ Disallow:/img/ Disallow:/Scripts/ #Le damos 10 segundos de pausa entre peticion de pagina para no saturar nuestro servidor Crawl-delay:10