Busque Robots.txt y Sitemap para su sitio web mediante Shimul Baran

robots.txt es un archivo de texto simple que es colocado en el directorio raíz de su sitio web. Es el archivo en su página web que le dice a los robots de los motores de búsqueda que las páginas web a gatear ya que las páginas web no arrastrarse en su sitio web. También contiene comandos para describir qué motor de búsqueda están permitidos los robots para rastrear y cuáles son not.Usually, robots de búsqueda buscan la robots.txt

presentar en un sitio web antes de entrar en ese sitio. Así pues, es muy importante contar con un archivo robots.txt en la primera posición. Incluso si desea que todos los robots de búsqueda rastreen todas las páginas de su sitio web, un archivo robots.txt predeterminada que permite todo. Robots.txt también contienen un solo información importante y que es sitemap.

Un sitemap es un archivo XML que contiene una lista de todas las páginas de su sitio web. También puede contener otra información sobre cada URL en la forma de metadatos. Y al igual que robots.txt, mapa del sitio es un deber-tener para todos los sitios web. Ayuda a los robots de los motores de búsqueda para explorar, rastrear e indexar todas las páginas de un sitio a través del mapa del sitio.