A conta da IA vai muito além do código

Palestras no TDC São Paulo mostra que velocidade, redução de custos e volume de entregas não bastam para comprovar o valor gerado pela inteligência artificial

A adoção de inteligência artificial nas empresas vem acompanhada de uma pressão por eficiência, redução de custos e aumento de produtividade. Mas medir se esses ganhos realmente acontecem exige olhar para além dos indicadores mais imediatos. Em discussões realizadas durante o TDC São Paulo, especialistas apontaram que o uso de IA pode criar novos custos, retrabalho e riscos quando produtividade, qualidade, infraestrutura e impacto no negócio não são analisados em conjunto.

Velocidade pode esconder retrabalho

Na palestra “Do prompt ao deploy: como medir se IA no desenvolvimento está gerando valor real”, Carol Vilas Boas (Elvora Academy) mostrou que acelerar uma etapa do desenvolvimento não significa necessariamente reduzir o tempo total de entrega. Em um dos exemplos apresentados, um código foi produzido em 40 minutos com apoio de IA, mas o trabalho seguinte exigiu tempo adicional dos desenvolvedores para compreender, explicar, organizar e corrigir o material. Os testes gerados pela tecnologia também precisaram de ajustes, e um bug chegou à produção. Ao considerar o fluxo completo, Carol identificou um aumento de 25 minutos no tempo total de entrega. 

A especialista propôs acompanhar a adoção da IA a partir de diferentes dimensões, incluindo uso, eficiência local, qualidade do fluxo e aspectos econômicos e de resultado. Entre os indicadores citados estão tempo de ciclo, qualidade, confiabilidade, experiência dos desenvolvedores e custos.

A conta começa antes da fatura

Na palestra “Quanto custa, de verdade, seu agente de IA? A governança de custos que ninguém te mostra antes da fatura”, Gleica Pires Reinert (Distrito) chamou atenção para a complexidade de calcular quanto custa um agente de IA. Segundo ela, a conta não se resume a uma requisição e uma resposta, o agente pode fazer chamadas a ferramentas e bancos de dados, processar informações, repetir operações e entrar em ciclos.

Por isso, Gleica defendeu o acompanhamento dos custos por tarefa ou unidade, projeto e agente, além da identificação dos recursos utilizados e das diferentes etapas e chamadas realizadas. Para a especialista, esperar a fatura significa identificar o problema depois que o consumo já aconteceu. “Token não é simplesmente fazer a conta de quantidade de palavras que tem numa requisição. Isso não é cálculo de custo”, afirmou Gleica durante a apresentação. A proposta é incorporar a governança desde a construção dos agentes, acompanhando consumo, chamadas, versões de prompts e custos ao longo da operação.

Eficiência não explica toda a conta

Na discussão “Seus dados estão prontos para a IA, mas quem governa a IA que governa seus dados?”, Silmara Silva (Red Hat), João Brito (IBM), Fabricio Veronez (Veronez.io) e Alaydes Mikaelle de Morais (Datadog) discutiram como a pressão por eficiência e redução de custos influencia a adoção da tecnologia.

Durante o painel, os participantes observaram que empresas podem partir para a implementação da IA para atender a uma agenda de liderança ou acompanhar movimentos do mercado sem necessariamente ter um estudo capaz de demonstrar se a solução vai reduzir custos e gerar a eficiência esperada. A discussão destacou ainda que custos de tokens, infraestrutura e segurança entram na operação e precisam ser considerados.

Outro ponto abordado foi a arquitetura necessária para colocar agentes em produção. Os participantes destacaram que um agente autônomo é um software e, como tal, envolve aspectos como integração, segurança, bancos de dados, autenticação, rastreabilidade e infraestrutura. O debate ressaltou ainda que decisões de arquitetura precisam considerar os custos envolvidos no processamento e na circulação de dados.

Entrega precisa chegar ao resultado

Na palestra “Da Entrega para o Impacto: Como medir se seu produto realmente gera resultado”, Alan da Silva Mendes (Global Hitss e Claro Empresas) questionou a avaliação de produtos apenas pelo volume de funcionalidades entregues, releases, tickets ou cumprimento do roadmap. Para ele, esses indicadores mostram atividade, mas não necessariamente o resultado produzido para o negócio ou para o cliente.

Como exemplo, Alan citou o lançamento de uma nova funcionalidade de checkout. A entrega da funcionalidade, isoladamente, não demonstra seu sucesso. É preciso observar se os clientes passaram a concluir mais compras e se houve impacto nos resultados esperados. O especialista apresentou ainda o Evidence Based Management (EBM), abordagem que considera dimensões como valor ainda não realizado, valor atual, tempo de entrega e capacidade de inovação. Entre os indicadores discutidos estão satisfação do cliente, tempo de entrega e capacidade de inovação.