Central Inteligente de Atendimento com LLMs e LoRA

Uma empresa recebe centenas de reclamações por dia por formulário, e-mail, chat e redes sociais. Processar tudo manualmente é inviável. O time quer IA para automatizar a triagem:

• Classificar o tipo de reclamação (entrega, produto, cobrança, atendimento)
• Identificar produto ou serviço citado e estimar urgência
• Extrair o principal problema
• Gerar uma resposta inicial empática ao cliente
• Adaptar o comportamento do modelo com fine-tuning via LoRA

Dataset: reclamações públicas do Consumer Financial Protection Bureau (CFPB) — claritystorm/cfpb-consumer-complaints (HuggingFace). Modelo base: Qwen/Qwen2.5-0.5B-Instruct.

A solução combina Transformers pré-treinados com fine-tuning eficiente via LoRA (Low-Rank Adaptation):

• Zero-shot: o Qwen 2.5 lê a reclamação e responde com classificação, extração e resposta ao cliente — sem treinamento adicional.
• Dataset instrucional: reclamações reais transformadas em pares instrução/resposta para fine-tuning supervisionado.
• LoRA: em vez de atualizar todos os parâmetros do modelo (bilhões de pesos), o LoRA adiciona matrizes de baixo rank nas camadas de atenção — treinando apenas ~1% dos parâmetros com resultado comparável ao fine-tuning completo.
• Comparação antes/depois: respostas do modelo base vs. fine-tuned evidenciam a melhoria em aderência ao domínio financeiro.

O projeto demonstrou como o LoRA permite adaptar um LLM a um domínio específico com custo computacional acessível — treinando apenas uma fração dos parâmetros. O modelo fine-tuned gerou respostas mais aderentes ao contexto financeiro e ao tom esperado pela empresa vs. o modelo base zero-shot.

Pipeline completo: carregamento do LLM, prompt engineering, criação do dataset instrucional, fine-tuning com LoRA, comparação de respostas antes/depois e análise do impacto do mecanismo de atenção em NLP real.