Avaliar ferramentas de visibilidade em IA

Estão a aparecer ferramentas que prometem mostrar-te a tua visibilidade em IA, com gráficos bonitos e uma percentagem grande no meio. Umas custam dezenas de euros por mês, outras várias centenas. Antes de assinares, percebe três coisas.

Primeira: não existe posição numa resposta gerada. Duas pessoas fazem a mesma pergunta no mesmo dia e recebem respostas diferentes. Muda com a forma como a pergunta é escrita, com o histórico da pessoa, com a versão do modelo nesse dia. Não há um terceiro lugar para conquistar. Qualquer ferramenta que te dê uma posição fixa está a simplificar demais.

E isto não é opinião minha, há números. Num estudo de dois mil e vinte e seis, a SparkToro pôs seiscentos voluntários a fazer as mesmas perguntas ao ChatGPT, ao Claude e às respostas de IA do Google, milhares de vezes.

O resultado: havia menos de uma hipótese em cem de duas respostas à mesma pergunta trazerem a mesma lista de marcas. E variava tudo. Que marcas apareciam, por que ordem, e até quantas recomendações a resposta dava.

Menos de uma em cem. Agora pensa no que isso quer dizer sobre uma ferramenta que te dá uma percentagem exata da tua visibilidade.

E há aqui uma consequência prática que te vai poupar sustos: se a tua nota numa dessas ferramentas cair de um mês para o outro, isso pode não ter nada que ver contigo. Pode ser só a máquina a responder de outra maneira nesse dia. Foi por isso que te disse que estes números servem para ver tendência ao longo de meses e não para julgar uma semana.

Segunda: o que essas ferramentas fazem é uma sondagem, não uma medição. Elas escrevem centenas de perguntas às máquinas e contam quantas vezes o teu nome apareceu. É uma amostra, tal e qual uma sondagem eleitoral. Serve para ver tendência, não serve para dizer "estou em quarenta por cento das respostas" com cara séria.

Terceira: não há dados oficiais. No Google tens o Search Console, que é o próprio Google a dizer-te o que aconteceu. Do lado do ChatGPT não existe nada equivalente. Ninguém te manda um relatório. Tudo o que te venderem é estimativa feita de fora.

Então isto não presta? Presta, com cabeça. Faz sentido pagar quando já tens conteúdo arrumado, volume que justifique, e o custo da ferramenta é pequeno comparado com o que já gastas a produzir. Aí serve para veres tendência e para veres concorrentes.

Não faz sentido nenhum ser a tua primeira despesa. Se ainda tens páginas sem autor e sem resposta no topo, uma ferramenta de medição só te vai dar um gráfico bonito de um problema que já sabes que tens.

E se decidires mesmo pagar por uma, não escolhas pelo painel mais bonito. Faz-lhe estas quatro perguntas, e se falhar alguma, passa à frente.

Cobre os motores todos que interessam, ou só um? Se não vê o ChatGPT, o Google e o Perplexity, está a mostrar-te um bocado do mapa e a cobrar-te o mapa inteiro.

Mostra-te a pergunta que gerou a menção, ou só o número? Sem a pergunta não podes fazer nada com aquilo.

Mostra o contexto: em que tom é que a tua marca foi mencionada, e que fontes é que o sistema citou nessa resposta? A segunda parte é ouro, porque te diz de quem é que estas máquinas se andam a fiar no teu setor.

É transparente sobre o método? Já sabes que isto são amostras. Uma ferramenta honesta diz-te quantas perguntas fez e quando. Uma ferramenta que te dá uma percentagem e não explica de onde veio, está a vender-te confiança que não tem.

E fica com este aviso, que é o resumo da aula: mede para decidires, não para te entreteres.

Um sistema simples que tu consegues manter todos os meses vale mais do que a melhor ferramenta do mercado usada duas vezes e abandonada. Se um número que andas a acompanhar nunca mudou nada do que fazes, deixa de o acompanhar.

Na próxima aula pegamos nestes números e montamos o relatório: uma folha só, que olhas uma vez por mês, e que te diz se vale a pena continuar. E dou-te um plano de trinta dias para arrancares.

E mais à frente nesta série pego num caso real, de um cliente meu, aplico isto tudo pela ordem que dei, e mostro-te o resultado. Tenha corrido bem ou tenha corrido mal, é o que eu mostro.

Nos comentários, diz-me um número que andas a acompanhar e que, sendo honesto, nunca te fez mudar nada. Somos todos culpados de um.

Até para a semana.