Fornecedor de IA: como avaliar antes de contratar, com 8 sinais de alerta e roteiro de piloto

Nenhum sinal isolado prova má-fé. Um fornecedor pequeno pode não ter número de erro publicado e ainda assim aceitar medir no piloto, o que resolve o problema. O alerta acende quando a resposta é recusa, evasiva ou promessa no lugar do teste.

Piloto, dados reais e demonstração: os sinais 1, 2 e 7

Esses três sinais têm a mesma raiz: o fornecedor quer que você decida com base no cenário que ele controla. A demonstração preparada usa perguntas que já foram testadas; a base de exemplo dele é limpa e bem escrita; a promessa de resultado não tem data para ser conferida. A sua operação, ao contrário, tem cliente que escreve com erro, nota fiscal fora do padrão e pedido que mistura dois assuntos.

O caso DoNotPay, um dos anunciados pela FTC em setembro de 2024, ilustra o ponto: segundo a denúncia da agência, a empresa vendia um "advogado robô" sem ter testado se as respostas do chatbot chegavam ao nível de um advogado humano. Para o comprador, a lição é prática: se ninguém testou a tarefa que você precisa, o teste tem de acontecer antes da assinatura, e com o seu material.

Quando a amostra envolve dados de clientes ou funcionários, combine antes o que pode ir para o teste. As regras internas que valem para qualquer ferramenta de IA, inclusive para o que não se cola num assistente, estão no modelo de política de uso de IA para pequena empresa.

Métrica de erro: o sinal 3 e como medir

Toda ferramenta de IA erra em alguma proporção; a pergunta útil é quanto, em quê e o que acontece depois do erro. O guia de gestão de riscos de IA do NIST, órgão de padrões técnicos dos Estados Unidos, publicado em 26 de janeiro de 2023 como orientação voluntária, trata a validade e a confiabilidade como condição para todas as outras qualidades de um sistema. O manual de aplicação do NIST recomenda definir limites aceitáveis de desempenho, como a distribuição dos erros, e prever a correção de rumo quando o sistema passar desses limites. Para a PME, isso se traduz em três decisões tomadas antes do piloto: o que conta como erro, qual taxa você tolera e o que acontece quando a ferramenta não sabe a resposta.

Desconfie de percentuais redondos sem amostra. Em dezembro de 2024, a FTC acusou a IntelliVision de não ter evidência para afirmar que o software de reconhecimento facial estava entre os de maior precisão do mercado e funcionava sem viés de gênero ou de raça. Número de acerto só vale com a pergunta "medido em quê, com quantos casos e quando?" respondida.

Exemplo resolvido (números hipotéticos). Uma loja virtual quer um assistente para responder dúvidas de troca e prazo. Antes do piloto, define: erro é qualquer resposta com informação falsa sobre política, prazo ou valor; encaminhar para humano não é erro; o limite tolerado é 5% (sugestão da própria loja, sem base normativa). No piloto, a ferramenta recebe 200 perguntas reais. O resultado é:

• 164 respostas corretas;
• 24 encaminhadas para atendente;
• 12 respostas com informação errada.

Taxa de erro: 12 ÷ 200 = 6%. Taxa de encaminhamento: 24 ÷ 200 = 12%. A ferramenta passou do limite de 5%, então a decisão não é contratar como está. O passo seguinte é olhar os 12 erros: se 9 vêm da mesma regra de troca desatualizada na base, o fornecedor corrige a base e o piloto roda de novo com outras 200 perguntas. Se os erros estão espalhados sem padrão, o problema é da ferramenta, não do cadastro. Para montar a medição antes e depois da adoção, veja também o que medir antes de adotar IA na pequena empresa.

Modelo, preço e saída: os sinais 4, 5 e 6

"Modelo próprio". Uma solução vendida como IA pode usar, por trás, o modelo de linguagem de um grande provedor, com instruções, base de documentos e integrações feitas pelo fornecedor. Isso não é defeito; esconder é. Você precisa saber qual modelo roda porque é ele que define onde os dados são processados, o que acontece se o provedor mudar regras ou preço e se a qualidade cai quando há troca de versão. O caso Delphia, citado acima, é o extremo: a empresa anunciava uma capacidade de IA que a SEC concluiu não existir. "Segredo industrial" pode proteger o ajuste fino, mas não o nome do modelo base.

Preço sem base. A proposta tem de dizer a unidade de cobrança (usuário, conversa, mensagem, documento processado ou consumo de modelo) e o que acontece quando o volume passa do pacote. Peça a simulação com o seu volume atual e com o dobro dele: se o fornecedor não consegue fazer a conta, você também não vai conseguir prever a fatura. Um exemplo de como o custo por conversa se forma está em quanto custa um agente de IA no WhatsApp.

Contrato sem saída. A pergunta sobre cancelamento costuma revelar mais do que a sobre funcionalidades. Peça por escrito: quais dados voltam (histórico, base de conhecimento, configurações, registros), em que formato (CSV, JSON ou outro aberto), em quantos dias e como o fornecedor confirma a exclusão do que ficou com ele. Multa de rescisão sem regra de devolução dos dados é o sinal mais claro de que trocar de fornecedor vai sair caro.

Proteção de dados: o sinal 8, sem exagero

Pela LGPD (Lei 13.709/2018), o controlador é quem toma as principais decisões sobre o tratamento dos dados e define a finalidade; o operador trata os dados em nome do controlador e dentro da finalidade que ele fixou. O guia da ANPD sobre agentes de tratamento lembra que o papel é definido pelo que cada um faz de fato, não pelo nome que o contrato dá. No uso típico, quando o fornecedor processa as conversas dos seus clientes para prestar o serviço que você contratou, ele tende a ficar na posição de operador, e a sua empresa, na de controladora.

Isso muda a pergunta certa sobre o encarregado de dados. O art. 41 da LGPD atribui ao controlador a indicação do encarregado, mas a Resolução CD/ANPD nº 2/2022 dispensa o agente de tratamento de pequeno porte (microempresa, empresa de pequeno porte, startup, entre outros) de indicar encarregado, desde que mantenha um canal de comunicação com o titular; a dispensa não vale para quem faz tratamento de alto risco (art. 3º). Para o operador, a indicação de encarregado é facultativa, conforme o art. 6º do anexo da Resolução CD/ANPD nº 18/2024, listada como vigente na página de regulamentações da ANPD (consultada em outubro de 2026).

Na prática, portanto, não reprove um fornecedor só porque ele não tem encarregado nomeado. O sinal de alerta é outro: ninguém do lado dele sabe dizer quem responde por proteção de dados, por qual canal um incidente chega até você, onde os dados ficam armazenados e se eles são usados para treinar modelos. Quando a ferramenta não só responde, mas também mexe em pedidos, cadastros ou agenda, o contrato precisa dizer o que ela pode fazer sozinha e o que depende de aprovação; o passo a passo está no artigo sobre acessos, aprovações e registro de erros de agentes de IA na empresa.

Roteiro de piloto em quatro semanas

O roteiro abaixo é uma sugestão de organização, sem base normativa; ajuste os prazos ao tamanho da tarefa.

1. Semana 0, antes de começar: escreva em uma página a tarefa testada, a definição de erro, o limite tolerado, o tamanho da amostra e quem da sua equipe confere as respostas. O fornecedor assina junto.
2. Semana 1, montagem: separe a amostra de casos reais (anonimizada quando possível), entregue as regras e documentos que a ferramenta deve seguir e confirme por escrito que o material do piloto não será usado para treino e será apagado ao final.
3. Semanas 2 e 3, operação em paralelo: a ferramenta responde, mas quem decide é a equipe. Cada resposta é marcada como certa, errada ou encaminhada. Nada vai ao cliente sem revisão.
4. Semana 4, decisão: calcule taxa de erro e de encaminhamento, leia os erros um a um e compare com o limite combinado. Três saídas possíveis: contratar, repetir o piloto depois de uma correção definida ou encerrar.

Se dois ou mais fornecedores estão na disputa, rode o mesmo piloto, com a mesma amostra, para todos. É a única forma de comparar resultado, e não discurso.

Checklist de decisão

• As oito perguntas da tabela foram respondidas por escrito?
• O piloto rodou com casos reais da empresa e teve a taxa de erro calculada?
• O modelo base e o local de armazenamento dos dados estão identificados?
• A fatura pode ser prevista no volume atual e no dobro dele?
• O contrato diz como os dados voltam e são apagados na saída?
• Há um canal definido para proteção de dados e incidentes dos dois lados?

Se alguma resposta for "não", a decisão ainda não está madura. Para saber como outras empresas brasileiras estão medindo o retorno da IA, veja a notícia sobre o estudo feito para a AWS sobre uso e medição de retorno de IA.

Este texto tem caráter informativo e foi elaborado com as normas e fontes consultadas em outubro de 2026. Ele não substitui a análise de um advogado para o contrato concreto.