# FICHERO ROBOTS.TXT PARA www.developando.com # 24/5/2014 sitemaps: Sitemap: http://www.developando.com/sitemap.xml Sitemap: http://www.developando.com/blog/sitemap.xml # Exclude Files From All Robots: User-agent: * Disallow: /ZIPTEMPLATE/ Disallow: /panel/ Disallow: /panel3/ Disallow: /backups/ Disallow: /devepress/ Disallow: /academy/ Disallow: /atrium/ Disallow: /campus/ Disallow: /emprendedores/ Disallow: /facturas/ Disallow: /golfdare/ Disallow: /kzuwjqvf/ Disallow: /moodle/ Disallow: /panel/ # End robots.txt file # ROBOTS.TXT COPIADO DEL BLOG, YA QUE DEBE ESTAR EN EL RAÍZ # robots.txt para tu blog en WordPress. # # Usar bajo propia responsabilidad, que nos conocemos }:) # http://sigt.net/archivo/robotstxt-para-wordpress.xhtml # # Primero el contenido adjunto. User-Agent: * Allow: /blog/wp-content/uploads/ Disallow: /blog/wp-content/plugins/ Disallow: /blog/wp-content/themes/ Disallow: /blog/wp-includes/ Disallow: /blog/wp-admin/ # También podemos desindexar todo lo que empiece # por wp-. Es lo mismo que los Disallow de arriba pero # incluye cosas como wp-rss.php Disallow: /blog/wp- # # Sitemap permitido, búsquedas no. # Disallow: /blog/?s= Disallow: /blog/search # # Permitimos el feed general para Google Blogsearch. # # Impedimos que permalink/feed/ sea indexado ya que el # feed con los comentarios suele posicionarse en lugar de # la entrada y desorienta a los usuarios. # # Lo mismo con URLs terminadas en /trackback/ que sólo # sirven como Trackback URI (y son contenido duplicado). # #Allow: /blog/feed/$ #Disallow: /blog/feed Disallow: /blog/comments/feed Disallow: /blog/*/feed/$ Disallow: /blog/*/feed/rss/$ Disallow: /blog/*/trackback/$ Disallow: /blog/*/*/feed/$ Disallow: /blog/*/*/feed/rss/$ Disallow: /blog/*/*/trackback/$ Disallow: /blog/*/*/*/feed/$ Disallow: /blog/*/*/*/feed/rss/$ Disallow: /blog/*/*/*/trackback/$ Disallow: /blog/wp-content/uploads/2014/01/Análisis_Golffashionman-1.pdf Disallow: /blog/wp-content/uploads/2014/01/ServiciosDevelopando-1.pdf Disallow: /blog/wp-content/uploads/2014/01/Acta-reunión-Golfdare-LUIS.docx Disallow: /blog/wp-content/uploads/2014/01/Acta-reunión-Golfdare.docx Disallow: /blog/wp-content/uploads/2014/01/diseñoGolfdare.docx Disallow: /blog/wp-content/uploads/2014/01/Clases-WEB-.docx Disallow: /blog/wp-content/uploads/2014/01/Esquema-Modulo-MBEC-Módelos-de-Negocio.docx Disallow: /blog/documentacion/acceso-wordpress-4 Disallow: /blog/documentacion/datos-y-contrasenas Disallow: /blog/documentacion/acceso-wordpress-3 Disallow: /blog/documentacion/*.docx$ # # A partir de aquí es opcional pero recomendado. # # Lista de bots que suelen respetar el robots.txt pero rara # vez hacen un buen uso del sitio y abusan bastante… # Añadir al gusto del consumidor… User-agent: MSIECrawler Disallow: /blog/ User-agent: WebCopier Disallow: /blog/ User-agent: HTTrack Disallow: /blog/ User-agent: Microsoft.URL.Control Disallow: /blog/ User-agent: libwww Disallow: /blog/ # # Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen # idas de pinza, toca decirles que reduzcan la marcha. # El valor es en segundos y podéis dejarlo bajo e ir # subiendo hasta el punto óptimo. # User-agent: noxtrumbot Crawl-delay: 50 User-agent: msnbot Crawl-delay: 30 User-agent: Slurp Crawl-delay: 10