Por Emily Shenfield e Alvin Lee*
À medida que as ferramentas de IA
generativa (GenAI) crescem em disponibilidade e usabilidade, as empresas
estão fazendo novos avanços em automação, tomada de decisão e
interatividade com o cliente. No entanto essas ferramentas — e os
grandes modelos de linguagem (LLMs) que as alimentam — não são
infalíveis. Essas alucinações de IA podem representar riscos reais,
especialmente quando os sistemas GenAI são responsáveis por executar
tarefas críticas ou interagir com os clientes.
As alucinações de IA são resultados
incorretos ou enganosos gerados pelos modelos de IA. Elas ocorrem quando
um LLM gera informações que parecem plausíveis, mas são, na verdade,
imprecisas ou totalmente fabricadas. Um exemplo pode ser dado quando se
está consultando os detalhes legais de um caso, e se busca com
referências e antecedentes, como casos semelhantes que já foram julgados
no passado, e a IA alucina, inventando um caso inexistente, com
decisões e referências falsas.
Como as aplicações de GenAI geralmente
oferecem suas respostas com um tom de certeza e confiança, distinguir
uma resposta alucinada de uma correta pode ser difícil para usuários
comuns. Isso pode levar à disseminação de informações incorretas.
Mas por que as alucinações de IA
ocorrem? Os LLMs são treinados em vastos conjuntos de dados, mas, em
última análise, eles não “sabem” fatos. Em vez disso, eles preveem a
próxima palavra ou frase com base em padrões aprendidos durante o
treinamento. Quando um LLM não tem contexto suficiente ou os dados
certos para responder a um prompt, essas habilidades preditivas podem
tomar um rumo selvagem.
Essa reviravolta pode acontecer por
causa de um LLM muito ansioso, pronto para concordar com qualquer fato
apresentado em um prompt. Também pode acontecer quando o conjunto de
dados de treinamento contém informações factualmente incorretas.
Se sua empresa usa GenAI para
eficiência operacional ou serviços voltados ao cliente, é importante
estar ciente de como as alucinações de IA podem surgir e como mitigar
esses riscos. Quando informações incorretas de uma alucinação de IA se
infiltram em seus dados internos, isso pode levar você a tomar decisões
de negócios com base em informações incorretas.
Em um exemplo, uma demonstração de IA
encarregada de resumir um relatório financeiro respondeu com várias
imprecisões factuais. E se uma empresa usasse essa resposta imprecisa
para informar suas próprias estratégias? Em outro exemplo, um escritório
de advocacia enviou uma pesquisa jurídica alucinada por IA em um
processo judicial e foi multado pelo erro.
Erosão da confiança do cliente
A marca e a reputação da sua empresa
dependem muito da confiança do cliente. O que aconteceria com essa
confiança se o seu chatbot de atendimento ao cliente com tecnologia
GenAI fornecesse respostas ocasionalmente alucinadas às perguntas dos
clientes? Ou considere as repercussões se você publicasse conteúdo de
marketing gerado por IA que não fosse verificado quanto a erros
factuais.
GenAI ainda é uma tecnologia
emergente. E enquanto o LLM avança para reduzir a probabilidade de
alucinações de IA, o fenômeno continua sendo uma preocupação.
Atualmente, eliminar completamente as alucinações de IA não é uma meta
razoável. Em vez disso, as empresas que usam GenAI devem adotar
estratégias para mitigá-las.
A geração aumentada por recuperação
(RAG) é uma abordagem que aprimora um sistema GenAI buscando informações
— em tempo real — que são relevantes para o prompt de um usuário. Ao
recuperar informações adicionais para suplementar o conjunto de dados de
treinamento original do LLM, um sistema RAG fornece conhecimento e
contexto adicionais para a IA. Isso diminui a oportunidade de
alucinações e aumenta a relevância e a precisão da resposta.
O RAG pode contribuir muito para
reduzir as alucinações da IA, embora não as elimine totalmente, pois a
maioria dos modelos recorrerá aos seus dados de treinamento. Em muitos
casos, elaborar cuidadosamente seus prompts pode ajudar a minimizar as
instâncias de alucinações de IA. Técnicas básicas de engenharia de
prompts incluem:
- Dê instruções claras e específicas;
- Faça perguntas diretas;
- Forneça informações básicas ou contexto suficiente.
A aplicação de técnicas de engenharia
rápidas fornece expectativas e proteções para um sistema GenAI,
orientando-o em direção a uma resposta correta.
Manuseio intencional de dados altamente críticos
Ao trabalhar com dados altamente
críticos, trate os LLMs como não confiáveis, semelhantes a navegadores
ou aplicativos móveis. Essa abordagem envolve usar uma camada
intermediária segura para gerenciar interações de API, garantindo que os
LLMs não tenham acesso direto a sistemas críticos.
Assim como você não exporia APIs de
backend a um front-end desprotegido, não permita que LLMs tenham rédea
solta sobre operações críticas e não deixe espaço para interpretação de
dados críticos. Por exemplo, simplesmente incorporar números e datas
críticos como parte de um prompt de texto não estruturado pode expor o
sistema a possíveis manipulações incorretas dos dados e alucinações.
Para mitigar esse problema, passe
dados críticos para seu sistema programaticamente e conceda ao modelo o
acesso mínimo necessário para concluir a tarefa. Ferramentas
desenvolvidas especificamente podem ajudar a garantir que os dados sejam
manipulados corretamente.
Além de poder executar cálculos
complexos ou recuperar dinamicamente informações em tempo real de APIs
externas, as ferramentas podem atuar como proxy de APIs para lidar com
autenticação, limitação de taxa e validação de dados antes de atingir
uma API externa. Essa abordagem em camadas de segurança ajuda a evitar
atividades não autorizadas e permite que você passe dados críticos
programaticamente dentro de seu sistema em vez de como parte do corpo do
prompt para o modelo.
Humano no loop
A tecnologia GenAI está evoluindo
rapidamente, mas ainda não está em um lugar onde as empresas podem
usá-la sem supervisão. A supervisão humana ainda é uma necessidade. O
nível de supervisão humana sobre a atividade da GenAI pode depender da
criticidade das tarefas que estão sendo executadas. Por exemplo, um
provedor de saúde que usa GenAI para desenvolver um plano de cuidados ao
paciente deve incluir um alto nível de supervisão de médicos e
profissionais de saúde qualificados.
Com tudo isso dito, definitivamente
vale a pena investir na GenAI, começar a usá-lo e explorar suas
possibilidades. No entanto ainda é uma tecnologia muito nova, as
empresas precisam investir em entender as possibilidades de erro, como
alucinações de IA. Existem vários métodos para abordar essas questões, a
fim de garantir processos de verificação, análise e validação que dão a
você, sua empresa e seus clientes a confiança de que a GenAI está
contribuindo para um serviço melhor.
*Emily Shenfield é Engenheira de Marketing Técnico na Twilio na equipe de Tecnologia Emergente e Inovação.
*Alvin Lee é um desenvolvedor full-stack na Twilio.
Sobre a Twilio
As empresas líderes da atualidade
confiam na Plataforma de Engajamento do Cliente (CEP) da Twilio para
construir relacionamentos diretos e personalizados com seus clientes em
todo o mundo. As principais APIs de comunicação da Twilio permitem que
as empresas se envolvam com seus clientes por meio de voz, conversas,
mensagens, vídeo e e-mail. O Twilio Segment, a principal plataforma de
dados do cliente, permite que as empresas criem interações altamente
personalizadas e perfis automatizados de clientes com base em dados
primários de vários canais. A Twilio permite que as empresas usem
comunicações e dados para adicionar inteligência a cada etapa da jornada
do cliente, de vendas a marketing, crescimento, atendimento ao cliente e
muitos outros casos de uso de engajamento, de maneira flexível e
programática. Em 180 países, milhões de desenvolvedores e centenas de
milhares de empresas usam a Twilio para criar experiências mágicas para
seus clientes.
Para saber mais, acesse: https://www.twilio.com/pt-br/
Redes Sociais:
Imagens relacionadas
Divulgação baixar em alta resolução |
Nenhum comentário:
Postar um comentário