A adoção da IA é atualmente dificultada pelas altas despesas com tokens e pela falta de clareza inicial de preços para solicitações de IA, resultando em gastos excessivos descontrolados com tokens. Este risco é drasticamente amplificado pelos agentes de IA, que atualmente operam sem restrições integradas de custo de token e podem desencadear explosões extremas de custos.
Este artigo explica o que são tokens de IA, como funciona o preço dos tokens e estratégias viáveis para evitar gastos catastróficos com tokens. Um caso empresarial bem documentado viu uma organização acumular uma conta de US$ 500 milhões na plataforma Claude da Anthropic simplesmente devido à falta de limites de uso dos funcionários. Separadamente, a equipe de engenharia do Uber esgotou todo o seu orçamento de IA para 2026 antes do previsto. Os tokens são as unidades fundamentais que os grandes modelos de linguagem (LLMs) e os chatbots usam para quebrar os prompts da linguagem humana e gerar resultados de IA coerentes.
Por exemplo, o prompt de entrada “Fale-me sobre a sedimentação” é dividido em componentes de token discretos:
-Dizer
-meu
-sobre
-sedimento
-ação
Esta divisão de cinco tokens para a palavra única “sedimentação” ajuda os LLMs a interpretar com precisão a estrutura e o significado das palavras. A divisão da raiz “sedimento” e do sufixo “ação” permite que o modelo reconheça o uso consistente do sufixo em vários substantivos, incluindo capitalização, informatização e tributação. Essa abordagem restringe o escopo de pesquisa do modelo em seu banco de dados, reduzindo o tempo de processamento em vez de verificar cada palavra que contém o sufixo individualmente.
Como unidades de dados principais, os tokens são convertidos em incorporações vetoriais – sequências numéricas matemáticas que codificam o significado semântico e são armazenadas em índices de modelo. Tomemos a palavra “gato” como exemplo: o modelo gera múltiplos vetores para representar seus atributos multidimensionais, como organismo vivo, animal de estimação doméstico, características felinas, tamanho físico e muito mais. Esses conjuntos de vetores exclusivos distinguem “gato” de objetos inanimados, outras espécies animais como cães e tigres e brinquedos sintéticos para gatos.
Uma hipotética incorporação de vetor pentadimensional para o termo “gato” pode ser expressa como [1,5, -0,4, 7,2, 19,6, 20,2].
Todos os dados vetoriais existem em um espaço vetorial unificado, permitindo que os modelos identifiquem conteúdos semanticamente semelhantes medindo a proximidade espacial entre pontos vetoriais.
Uma vez convertidos em vetores, os tokens são processados em servidores GPU de alto custo equipados com memória de alta largura de banda. Um NVIDIA DGX SuperPOD com 32 nós e 256 GPUs no total custa entre US$ 12 milhões e US$ 20 milhões. Uma arquitetura de referência mais avançada com 140 nós DGX H100, rede Quantum-2 InfiniBand, infraestrutura completa de armazenamento e rede e sistemas de suporte pode exceder US$ 100 milhões. Estes custos substanciais de infra-estrutura reflectem-se directamente nos esquemas de preços simbólicos dos modelos básicos convencionais.
Os principais provedores de LLM e chatbot, incluindo OpenAI e Anthropic, adotam modelos de faturamento baseados em tokens, com regras previsíveis de conversão de tokens para conteúdo de texto. Grosso modo, um token em inglês equivale a cerca de quatro caracteres ou 0,75 palavras, o que significa que 750 palavras correspondem a aproximadamente 1.000 tokens. Notavelmente, tanto os prompts de entrada quanto as respostas de saída geradas consomem tokens. Por exemplo, um prompt de entrada de 750 palavras emparelhado com uma saída de IA de 2.000 palavras consome aproximadamente 3.667 tokens no total.
O maior consumo de tokens estende diretamente a latência de resposta da IA. Todos os tokens de uma única sessão de resposta imediata estão contidos em uma janela de contexto de capacidade finita. De acordo com os dados da Decagon, uma janela de contexto de 100.000 tokens pode conter cerca de 75.000 palavras em inglês, o equivalente a um livro de 300 páginas.
A capacidade insuficiente da janela de contexto faz com que os LLMs percam informações contextuais, levando a resultados de IA incompletos ou imprecisos. À medida que os modelos básicos evoluem, os tamanhos das janelas de contexto continuam a se expandir: GPT-4o suporta até 128.000 tokens, Claude 3.5 Sonnet atinge 200.000 tokens e usuários corporativos selecionados do Gemini 1.5 Pro podem acessar uma janela de contexto de 2 milhões de tokens.
O preço do token varia entre os fornecedores do modelo. A análise de preços do ChatGPT da Intuition Labs esclarece o mecanismo de faturamento do setor:
De acordo com o Intuition Labs, a API ChatGPT da OpenAI opera em uma estrutura de faturamento puramente baseada em token. Cada modelo define preços unitários fixos para tokens de entrada e tokens de saída separadamente, com tokens de saída normalmente custando mais. O preço também varia com base no status da resposta em cache. Cada chamada de API incorre em duas taxas distintas: uma para tokens de entrada imediata e outra para tokens de saída gerados por IA. Como exemplo prático, usar um modelo com preço de US$ 10 por milhão de tokens de saída para 100 tokens de entrada e 400 tokens de saída resulta em custos de entrada de US$ 10×(100/1.000.000) e custos de produção de US$ 10×(400/1.000.000), com despesas totais iguais à soma dos dois valores.
As empresas podem implantar controles de governança direcionados para limitar os gastos com tokens, incluindo cotas por usuário ou por usuário, limitação de tráfego com base no uso, limites de gastos por projeto e restrições de nível de modelo. Este campo de governação está a evoluir rapidamente, à medida que os fornecedores de IA competem para otimizar a qualidade do serviço, equilibrar os fluxos de receitas e competir com modelos de IA de código aberto.
Os agentes de IA introduzem uma camada inteiramente nova de risco de custo simbólico. Sem proteções operacionais rígidas, os agentes autônomos podem desencadear um consumo massivo e não planejado de tokens. Os especialistas do setor recomendam tratar os agentes de IA como funcionários digitais, com as equipes de FinOps implementando um monitoramento rigoroso e ininterrupto dos gastos para evitar desastres de custos.
Pequim Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Diretora de Estratégia Global
WhatsApp/WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Site: www.qianxingdata.com/www.storagesserver.com
Foco de negócios:
Distribuição de produtos de TIC/integração de sistemas e serviços/soluções de infraestrutura
Com mais de 20 anos de experiência em distribuição de TI, fazemos parcerias com marcas líderes globais para fornecer produtos confiáveis e serviços profissionais.
“Usando a tecnologia para construir um mundo inteligente”Seu provedor confiável de serviços de produtos de TIC!
Por favor verifique seu email!
Portuguese
