Em outubro deste ano, Microsoft Bing e Yandex anunciaram a criação do IndexNow. O protocolo possui código aberto e objetiva tornar o processo de rastreamento e indexação mais eficiente, porque permite que os webmasters notifiquem os buscadores quando houver conteúdo fresco.
Até então, o Google não tinha se manifestado sobre a iniciativa. Agora, um porta-voz confirmou que testar o IndexNow está nos planos do buscador.
IndexNow promove a utilização eficiente de crawl budget
Você já ouviu falar em crawl budget, ou cota de rastreamento? Em poucas palavras, esse conceito simboliza os recursos que os buscadores utilizam para rastrear o conteúdo do seu site.
A falta de crawl budget pode ser um problema em sites com muitas páginas. Isso porque o rastreamento em grande escala acaba por exigir mais tempo e processamento dos mecanismos de busca.
Sendo assim, a vantagem do IndexNow é diminuir a necessidade do rastreamento exploratório. Isso é, quando algum buscador rastreia um site para descobrir novas páginas ou detectar alterações de conteúdo.
Muitas vezes, ele encontra o mesmo cenário do rastreamento anterior, o que acaba sendo um desperdício de crawl budget.
Produtividade no rastreamento já é uma preocupação do Google
Atualmente, o Google é responsável por quase 90% de todas as buscas realizadas na internet. Sendo assim, não é uma grande surpresa que a produtividade no rastreamento já seja uma preocupação latente entre a equipe por trás do buscador.
Uma das iniciativas ressaltadas pelo porta-voz do Google é o uso de protocolo HTTP/2 na maioria dos rastreamentos:
O mecanismo de rastreamento do Google é altamente eficiente e ainda está sendo melhorado. Por exemplo, nós anunciamos no ano passado que o Googlebot é compatível com HTTP/2, a próxima geração do protocolo de transferência de dados fundamental da web. HTTP/2 é significativamente mais eficiente que seus predecessores e economiza recursos tanto para o Google, quanto para websites. Nós usamos HTTP/2 em mais da metade de nossos rastreamentos.
Sustentabilidade é outra vantagem do IndexNow
Que a utilização do IndexNow promove a economia de recursos dedicados para rastreamento, você já sabe. Mas já tinha pensado no impacto ambiental que as buscas exercem?
Muitos não sabem, mas a utilização de processamento culmina na liberação de gases de efeito estufa (GEE) na atmosfera.
Assim, a internet é responsável por 3,7% das emissões de GEE globais, uma porcentagem similar à indústria de aviação. E as previsões para o futuro não são muito boas, já que esse número tende a dobrar até 2025. Consegue imaginar?
Ou seja, com uma utilização mais eficiente de crawl budget, também estamos ajudando a proteger o planeta Terra. Sendo assim, o Google ressaltou essa preocupação quando confirmou os testes do IndexNow:
Nós adotamos uma abordagem holística da sustentabilidade no Google, incluindo esforços para desenvolver a indexação mais eficiente e certeira da web. Nossa emissão de carbono é neutra desde 2007, e estamos trabalhando para ser livres de carbono em todos nossos centros de dados e campi até 2030. Nós somos encorajados pelo trabalho de tornar o rastreamento da web mais eficiente, e estaremos testando os potenciais benefícios deste protocolo.
Quem já está a bordo do IndexNow
No lançamento do IndexNow, já haviam várias empresas que anunciaram que adotariam o protocolo imediatamente. São elas:
- eBay
- MSN
- GitHub
- Wix
- Duda
- Cloudflare
- Akamai
- Botify
- oncrawl
- onely
- Yext
Entretanto, um dos players mais importantes da internet ainda está em cima do muro: o WordPress.
Em um primeiro momento, o CMS propõe a criação de um plugin, que pode vir a ser incorporado ao sistema de base no futuro. Dion Hulse, Lead Developer do WordPress, declarou:
Eu penso que isso deveria ser desenvolvido como um plugin primeiro, e depois proposto para o WordPress base como um plugin especializado. […] Isso também permitiria que webmasters pudessem optar se querem usar essa funcionalidade no WordPress antes de implementarmos completamente (o que seria no WordPress 6.0; no melhor cenário possível, lá pelo segundo trimestre de 2022, eu acredito).
Além de melhorar a experiência dos usuários e profissionais de SEO, o objetivo é criar uma internet mais eficiente. Isso porque o rastreamento “exploratório” dos mecanismos de busca se torna menos necessário, já que webmasters podem sinalizar quando realizam mudanças significativas em suas páginas.
Atualmente, somente o Microsoft Bing e Yandex aderiram à iniciativa, que pode ser implementada facilmente através de uma API.
Segundo o portal Search Engine Land, o Google já está ciente da existência do protocolo, mas ainda não participa nem planeja implementá-lo em sua busca em um futuro próximo. Atualmente, o Google reúne 87% de todas as buscas realizadas na internet, seguido pelo Bing (com 7%) e pelo Yahoo! (com 3%).
Vantagens de acelerar o processo de indexação
Para qualquer site que utiliza estratégias de SEO para aquisição de tráfego, é essencial que mudanças e otimizações sejam reconhecidas com agilidade pelos mecanismos de busca. Entretanto, quem trabalha na área sabe que os resultados demoram a chegar, parcialmente pela demora dos buscadores em rastrear e indexar o conteúdo novo.
Segundo a Microsoft, com os dias ou semanas que se passam até que novas URLs sejam descobertas e indexadas, os sites perdem possível tráfego, clientes, e vendas — ou outros tipos de conversão.
Além disso, o usuário também sai em desvantagem, já que deixa de encontrar conteúdo atualizado que pode ser relevante para o problema que busca resolver.
Como funciona o IndexNow
Com o protocolo aberto IndexNow, webmasters terão a liberdade de sinalizar diretamente aos mecanismos de busca quando adicionarem ou atualizarem uma página de seu site.
Assim, o processo de rastreamento e indexação daquela página específica será adicionado à fila de prioridade, para que seja completado o mais rápido possível. Não será mais necessário aguardar até que o rastreador escaneie o site inteiro, como ainda é a regra em buscadores como o Google.
Já existe uma documentação completa sobre o IndexNow, que explica como o protocolo funciona, indica como fazer a implementação e responde algumas dúvidas frequentes dos usuários.
Quem já está implementando
Muitos sites de larga escala já estão trabalhando para implementar o IndexNow, como é o caso do eBay, LinkedIn, MSN e GitHub. Isso porque o funcionamento do protocolo é muito similar à API de envio de URLs para webmasters do Microsoft Bing, criada no início deste ano.
Ou seja, quem publica seu conteúdo nesses sites já poderá aproveitar os benefícios da indexação imediata sem se preocupar com implementar corretamente.
Os CMSs WordPress, Wix e Duda também estão na lista dos grandes players que estão no processo de adotar o IndexNow, além dos CDNs Cloudflare e Akamai.
