Googlebot
El web crawler de Google indexa tu contenido para los resultados de búsqueda. Se identifica con su user agent y respeta las directivas de robots.txt. Es imprescindible para tu visibilidad SEO.
No todo el tráfico no humano es malicioso. Descubre cómo funcionan los web crawlers, por qué aparecen en tu analítica y cómo separar los spiders útiles de los bots dañinos.
El spider traffic (también llamado crawler traffic o robot traffic) son las visitas a una web generadas por programas automatizados que recorren internet de forma sistemática. El nombre viene de cómo estos programas «rastrean» la web, siguiendo enlaces de página en página como una araña que se desplaza por su tela.
Buscadores como Google o Bing dependen de los spiders para descubrir, indexar y posicionar el contenido web. Sin ellos, tus páginas nunca aparecerían en los resultados de búsqueda. Sin embargo, el spider traffic puede dar problemas cuando no se identifica y se filtra correctamente de tu analítica publicitaria.
La clave está en la intención. Los spiders legítimos se identifican y cumplen las reglas. Los bots maliciosos ocultan su naturaleza para no ser detectados.
El web crawler de Google indexa tu contenido para los resultados de búsqueda. Se identifica con su user agent y respeta las directivas de robots.txt. Es imprescindible para tu visibilidad SEO.
El crawler de Microsoft para los resultados de Bing. Como Googlebot, sigue los protocolos de rastreo establecidos y se puede verificar con una búsqueda de DNS inversa.
Los monitores de disponibilidad, las herramientas de auditoría SEO y los validadores de accesibilidad usan spiders para comprobar el estado de una web. Son beneficiosos y suelen funcionar de forma transparente.
Bots maliciosos que falsifican el user agent de spiders legítimos para no ser detectados. Pueden copiar contenido, inflar métricas o generar interacciones fraudulentas con anuncios mientras se hacen pasar por Googlebot.
Opticks verifica la identidad de cada spider con DNS inverso, validación de IP y firmas de comportamiento, y distingue los crawlers legítimos de los bots que falsifican su user agent.
El spider traffic se separa automáticamente de los datos de tus campañas, para que tu analítica refleje interacciones humanas reales y no actividad de crawlers.
Los bots maliciosos disfrazados de spiders se marcan mediante device fingerprinting, análisis de comportamiento y reconocimiento de patrones entre campañas, para una clasificación precisa.
Sigue explorando
Descubre cómo separa Opticks el spider traffic legítimo de los bots maliciosos y te da datos de campaña precisos en los que puedes confiar. Sin tocar código.