{"id":48473,"date":"2022-10-26T14:41:44","date_gmt":"2022-10-26T14:41:44","guid":{"rendered":"https:\/\/wpstaging.mailrelay.com\/glossary\/crawling\/"},"modified":"2022-10-26T14:42:01","modified_gmt":"2022-10-26T14:42:01","slug":"crawling","status":"publish","type":"glossary","link":"https:\/\/wpstaging.mailrelay.com\/es\/glossary\/crawling\/","title":{"rendered":"Crawling"},"content":{"rendered":"

<\/p>\n

El crawling es el recorrido llevado a cabo por una araña, bot, robot o crawler (siendo ellos cualquiera de los robots de indexación de los motores de búsqueda) que tiene como objetivo localizar, leer y analizar el contenido presente en una página web.<\/p>\n

Unido a esta acción de “investigación” de las arañas de rastreo se encuentra asociado el término crawl budgets, que es el tiempo que una araña o bot invierte en analizar la web por completo, tiempo que es controlado por las aplicaciones del propio motor de búsqueda encargadas de decidir las web a rastrear y el tiempo que se le concede a cada una.<\/p>\n

1. Tipos de web crawlers<\/h2>\n

Hay distintos tipos de arañas web, que tienen su principal diferencia en el uso para el que han sido concebidos. Principalmente nos podemos encontrar ante estos tipos de web crawler:<\/p>\n

– Web crawler de motores de búsqueda.<\/strong> Son los mas conocidos y de uso mas común. Cada motor de busqueda cuenta con su propio web crawler para examinar, recopilan e indexan el contenido de las webs.<\/p>\n

Algunos de los mas populares son: GoogleBot (Google), Bingbot (Bing), Slurpbot (Yahoo), DuckDuckBot (DuckDuckGo), Baiduspider (Baidu), Yandex Bot (Yandex) y Alexa Crawler (Amazon)<\/p>\n

– Web crawler comerciales.<\/strong> Son web crawler con muchas funcionalidades y usos, que se crean por empresas de software para venderlas a otras.<\/p>\n

– Web crawler de escritorio.<\/strong> Son web crawler que se pueden ejecutar en un PC u ordenador portátil, suelen tener bajo coste y un uso muy limitado, normalmente pueden rastrear pequeñas cantidades de información y sitios web.<\/p>\n

– Web crawler en la nube.<\/strong> Son web crawler que no almacenan los datos en servidores locales, lo hacen en una nube y que, por norma general, se ofrecen como servicios por empresas de software. Su principal ventaja es que son escalables.<\/p>\n

– Web crawler personalizados.<\/strong> Ofrecen una funcionalidad muy simple y se utilizan por las empresas para llevar a cabo tareas muy concretas. Un ejemplo sería los que monitorizan las posibles caídas de servicios webs.<\/p>\n

2. Aspectos del crawling: Google<\/h2>\n

El crawling es pare vital del posicionamiento web y del SEO, por tanto cumple un propósito destacado en dicho aspecto. Es conocido que Google maneja mas de 200 variables que son las que determinan como se posicionar los resultados en las búsquedas.<\/p>\n

El funcionamiento del algoritmo no se conoce, lógicamente, lo que si se conocen son algunos de los criterios que se tienen en cuenta para posicionar una página web, muchos de ellos los obtiene con el crawling, entre los que se encuentran:<\/p>\n