Desvendando a confiança na IA linguística empresarial. Em conversa com a Slator

Todas as solicitações de proposta (RFP) no setor das tecnologias de idiomas incluem uma «questão de confiança», e todos os fornecedores tentam responder-lhe de forma adequada. Seis meses após o início da produção, algo falha. Os dados estão na jurisdição errada, o resultado alterou-se após uma atualização do modelo de que ninguém falou, o custo é o triplo do previsto. As palavras não o traíram; acontece apenas que as palavras «confiança» ou «qualidade» significavam algo diferente para cada pessoa na sala.

Num episódio recente do podcast «The New Fluency», o Diretor-Geral da Slator, Florian Faes, e o Diretor de Consultoria, Alex Edwards, explicaram o que os compradores empresariais realmente querem dizer quando falam de «confiança».

1. Confiança na precisão: Aquela sobre a qual todos perguntam

A precisão é o ponto de partida de todas as conversas sobre confiança. E, na verdade, é o aspeto menos útil em que se deve investir tempo, porque o ponto de referência já mudou.

«Há quatro anos, era sempre assim: “Oh, isto foi feito por IA. Tem de ter um erro de 100%», disse Florian. «A confiança geral nos resultados da IA aumentou drasticamente. As pessoas simplesmente confiam mais na IA de um modo geral, o que significa que também confiam muito mais na tradução feita por IA.»

A questão é saber se os resultados da IA são suficientemente precisos para casos de utilização específicos. Um rótulo farmacêutico, uma avaliação de produto gerada por um utilizador e um resumo interno informativo — cada caso de utilização e tipo de conteúdo tem um limite máximo de precisão diferente.

Os compradores que não especifiquem um tipo de conteúdo específico podem acabar por exigir uma qualidade excessiva para conteúdos de menor importância ou por não a especificarem suficientemente onde ela realmente importa.

2. Confiança na consistência: o verdadeiro problema do comprador sujeito a regulamentação

Para as equipas dos setores dos serviços financeiros, farmacêutico e jurídico, a necessidade de precisão total é um pressuposto. A questão mais complexa é aquela que o Alex descreveu da seguinte forma:

«Quando se fala com compradores sujeitos a regulamentação, a ênfase na consistência e na fiabilidade pode ser ainda maior. Ter a confiança de que o que está a fornecer será consistente e fiável é, provavelmente, uma preocupação maior entre esses clientes.»

A questão, então, passa a centrar-se mais no sistema, e não no resultado. Um fornecedor que atualizou o seu modelo no segundo trimestre sem o informar é um fornecedor em quem não pode confiar para submissões regulamentares.

3. Confiança na segurança: a questão que faz fracassar os negócios na análise de segurança da informação

Depois de obter os dados, onde é que estes ficam armazenados? Quem pode aceder aos mesmos? O Alex salientou o seguinte:

«Ter a certeza de que o seu conteúdo de localização é produzido por pessoas ou não — ter essa transparência com os clientes é importante, assim como a auditabilidade e as medidas de segurança. Isso também influencia a confiança, a par do local onde os seus dados se encontram e da forma como são tratados.»

Este é o requisito que surge mais tarde. A avaliação funcional está concluída, as partes interessadas estão alinhadas e, então, a equipa de segurança da informação coloca uma questão que ninguém pensou em incluir no pedido de proposta. Os fornecedores de IA lidam agora com conteúdos que anteriormente eram processados nas instalações do cliente ou no âmbito de relações com prestadores de serviços de localização (LSP) de âmbito restrito. Isto aumenta a exposição, e os requisitos de dados da UE, dos EUA e da APAC não se sobrepõem de forma clara.

4. Confiança à escala: «funciona na demonstração» não é uma garantia

«As pessoas precisam de confiar que a tradução por IA funciona em grande escala. Que não é apenas um brinquedo, que não é apenas algo que funciona numa demonstração ou num projeto experimental, mas que funciona realmente quando se processam milhões de palavras através dela. Por isso, pode realmente falhar em produção.»

Florian acrescentou a dimensão dos custos, que os compradores costumam ignorar:

«Ouvimos histórias de empresas que gastaram um milhão e meio em tokens do Claude no primeiro mês.»

Isso, por si só, não constitui uma falha do fornecedor. Trata-se de uma falha de confiança em grande escala; o comprador não submeteu o modelo de custos a um teste de resistência com volumes reais antes de se comprometer.

5. Confiança no resultado: o requisito que a maioria dos compradores ignora por completo

«Muitos compradores empresariais estão a começar a refletir sobre a forma como a qualidade afeta os processos a jusante. Quais são as taxas de conversão dos meus sites traduzidos? Trata-se de ser capaz de medir efetivamente os efeitos da qualidade. Para compreender os impactos e a relação entre a qualidade e os resultados empresariais.»

A maioria dos compradores empresariais avalia a IA linguística com base em métricas de qualidade de saída: pontuações MTQE, painéis de revisão. No entanto, raramente avaliam se as diferenças na qualidade da tradução estão, de facto, a influenciar os resultados empresariais. O que deveriam analisar mais atentamente são as taxas de conversão, a redução do volume de pedidos de apoio e as diferenças no NPS entre utilizadores do idioma nativo e do idioma traduzido.

Os compradores que criarem agora essa infraestrutura de medição serão aqueles que poderão tomar decisões sobre fornecedores com base em sinais reais, e não em indicadores indiretos.

«Praticamente toda a gente tem a precisão como ponto de referência em termos de confiança», afirmou Alex. «Mas depende do comprador com quem se está a falar.»

É precisamente esse o problema! Todos os fornecedores respondem à questão da qualidade ao nível da precisão. Porque é essa a pergunta que lhes é feita. Os outros quatro requisitos ficam na pilha, sem resposta, até que a produção os revele.

A solução não é um melhor pedido de proposta. É saber em qual destas cinco medidas de confiança a sua organização não está disposta a ceder.

Veja o episódio completo!

Florian, Alex e Morana aprofundam o tema da experimentação, das estruturas de qualidade e da sua visão sobre como serão, na realidade, os próximos anos para o setor da localização. Veja o episódio completo no YouTube:Definir a qualidade da tradução na era da IA com Alex Edwards e Florian Faes, da SlatorQuer saber mais? Veja toda a 1.ª temporada de The New Fluency no nosso canal do YouTube. Como se realiza a localização de 79 mil milhões de palavras por ano? Com Mik Szajna, da Booking.com.

Conceber processos de localização centrados na IA com Claudia Mueller, da Trusted Shops Superar o estrangulamento da complexidade com uma mentalidade de produto com Olga Stokowiec, da Maxon Lançar rapidamente, traduzir ainda mais depressa com María José Salmerón Ibáñez, da GitLab

Construir marcas em diferentes culturas com a diretora de marketing e autora Katherine Melchior Ray

Criação de mecanismos de localização para organizações em expansão, com Riina Tolonen, da headout