{"id":48571,"date":"2022-10-26T14:46:39","date_gmt":"2022-10-26T14:46:39","guid":{"rendered":"https:\/\/wpstaging.mailrelay.com\/glossary\/robots-txt\/"},"modified":"2022-10-26T14:46:48","modified_gmt":"2022-10-26T14:46:48","slug":"robots-txt","status":"publish","type":"glossary","link":"https:\/\/wpstaging.mailrelay.com\/es\/glossary\/robots-txt\/","title":{"rendered":"Robots.txt"},"content":{"rendered":"

<\/p>\n

El archivo robots.txt es un documento donde se indica, a las arañas de indexación de los motores de búsquedas, qué partes de un sitio web pueden se indexadas y proporciona un enlace al XML-sitemap.<\/p>\n

Dicho de forma mas sencilla, un archivo robots.txt indica a los rastreadores de los buscadores a qué URLs de un sitio pueden acceder, pero en ninguna caso es un mecanismo que impida que la página sea indexada, pues muchos rastreadores hacen caso omiso a las instrucciones del robots.txt.<\/p>\n

Cuando los rastreadores o arañas no hacen caso de la negación de indexación que se les coloca en el robots.txt (que no es otra que noindex), será necesario proteger la página web contraseña que impedir que indexen la web en cuestión.<\/p>\n

1. ¿Para qué se usa el archivo robots.txt?<\/h2>\n

De forma general, el archivo robots.txt es utilizado para dar ordenes concreta y especificas a los rastreadores de los distintos motores de búsqueda. Pero vamos a mostrar algunas funciones más específicas.<\/p>\n