funções de ia do duolingo max, babbel, speak e elsa speak

O teste da hora que fazemos em vez de ler páginas de funcionalidades

De poucos em poucos meses uma destas empresas anuncia uma funcionalidade de IA e dá-lhe um nome com maiúscula. Os nossos designers de curso deixaram de ler esses anúncios há algum tempo. O que fazemos em vez disso é reservar uma hora, sentar um aluno adulto à frente do produto e manter uma folha de contagem com quatro colunas propositadamente aborrecidas.

A primeira coluna é o input: tudo o que o aluno lê ou ouve. A segunda é trabalho de interface — tocar em quadrados, escolher entre três opções, arrastar uma palavra para um espaço, esperar que uma animação termine. A terceira é a produção: o aluno construiu uma frase sua. A quarta é a que decide alguma coisa e é estreita de propósito. Guarda os minutos dessa produção que voltaram com uma correção concreta agarrada — não uma pontuação, não uma percentagem, mas uma afirmação do que estava errado e de como soa a versão certa.

Usamos uma hora inteira e não um teste curto porque os primeiros dez minutos de qualquer destes produtos os favorecem. Foi para aí que foi o orçamento de design. Ao minuto quarenta o aluno já se instalou no ciclo que o produto realmente executa, e a folha de contagem começa a afastar-se muito da página de funcionalidades.

A ordenação não é o mais interessante. O mais interessante é o quão pouco o tamanho do anúncio de IA prevê a altura da barra. Dois destes produtos põem a inteligência artificial no nome de um escalão pago e nenhum termina entre os dois primeiros. A ELSA, cujo discurso mal mudou em anos, bate os dois em silêncio, porque uma pontuação de fonema é uma correção e uma sequência de dias não é.

Uma ressalva pertence aqui e não ao fim. Este número nada diz sobre a qualidade das correções — uma correção errada com convicção continua a valer um minuto corrigido na nossa contagem. Também nada diz sobre prazer; os dois produtos de que os nossos alunos mais gostaram não foram os dois melhor colocados. Responde a uma pergunta apenas. De sessenta minutos pagos, quantos produziram língua que algo depois julgou?

Duolingo Max: uma funcionalidade de IA que é sobretudo um escalão de preço

O Max fica acima do Super na lista de preços do Duolingo, e duas coisas justificam a diferença: um botão que explica uma resposta e uma simulação com uma personagem. Na nossa hora rendeu pouco mais de três minutos corrigidos.

O botão de explicação é o mais fraco dos dois, e a sua fraqueza é estrutural, não uma questão de qualidade. Aparece depois de um exercício de escolha múltipla que o aluno falhou, o que significa que o que está a ser explicado é uma seleção e não uma frase. O aluno não produziu nada sobre o qual a explicação pudesse incidir. O que chega é um parágrafo competente de gramática de referência colado a um toque no ecrã.

A simulação convida de facto a turnos reais, e alguns alunos gostam. O problema é onde aterra o juízo: o retorno chega como resumo quando a cena fecha, formulado com simpatia e de forma geral, e a essa altura já saíram oito ou nove frases sem que se saiba qual foi o problema. Um contabilista de B1 do nosso grupo de terça saiu encantado de uma cena de reserva de hotel e continuava a dizer «I am here since Monday» três cenas depois, sem que ninguém o contrariasse.

Nada disto torna a aplicação inútil, e a nossa análise do Duolingo di-lo com mais desenvolvimento. É um excelente hábito de vocabulário. Mas a subida de escalão é vendida como mudança na forma como se ensina e, pelas nossas contas, é uma mudança no que se paga.

A conversa com IA da Babbel: um curso forte com uma sala acrescentada

A Babbel é o único produto aqui que defenderíamos por razões de programa. Os seus diálogos foram escritos por pessoas que percebem como um curso se acumula, e a sua sequência gramatical está mais perto de um manual publicado do que de um jogo. É isso que torna o seu trabalho de conversa com IA mais frustrante, e não menos.

O parceiro de conversa foi feito para ensaiar o diálogo que se acabou de estudar e, dentro dessa função, porta-se bem. O que avalia, porém, é a pertinência. Verifica se a resposta pertence à troca, se respondeu à pergunta feita. Não verifica o tempo verbal com que respondeu. Quem diz «yesterday I go to the office» passa, porque a resposta é, no sentido que interessa ao sistema, correta.

Quatro dos nossos nove alunos produziram pelo menos um erro deste tipo dentro da hora, e a nenhum foi dito. É aí que a coluna corrigida cai para quatro minutos: há produção de sobra e quase nada é julgado pela forma. A nossa análise da Babbel chega ao mesmo sítio pelo lado do programa.

Como professor consegue-se trabalhar com isto, desde que se saiba. Nós mandamos a Babbel para pré-ensino: o aluno encontra a língua antes da aula, e o trabalho de correção acontece na sala, onde alguém está a ouvir a forma.

O tutor de IA da Speak: o que mantém um adulto a falar

A Speak é a única das quatro cuja funcionalidade de IA muda a forma da hora em vez de a decorar. Os alunos falam, continuam a falar, e o tutor reescreve depois o turno em algo que um falante nativo teria dito de forma mais plausível. Doze minutos e meio corrigidos são uma conquista real nesta categoria.

A reescrita é genuinamente útil e é também o tecto. Trata cada turno como se fosse o primeiro. Quem estraga o condicional na semana um recebe uma reescrita limpa; na semana seis volta a estragá-lo e recebe outra reescrita limpa, igualmente educada, sem qualquer reconhecimento de que é a nona vez. Nada se acumula. O produto não tem opinião sobre a pessoa, só sobre a frase.

Essa distinção é toda a diferença entre corrigir e ensinar. Um tutor que já o conhece não conserta a sua última frase: repara que repete um erro e constrói a quinzena seguinte à volta dele. A Speak conserta frases muito bem e nunca o conheceu.

Continuamos a recomendá-la, e a nossa análise da Speak é mais calorosa do que esta secção parece, porque volume de fala corrigida é a coisa mais difícil de comprar e este produto fornece-a.

O coach de IA da ELSA Speak: estreito, honesto e melhor do que a fama

A ELSA Speak conseguiu 9,8 minutos corrigidos, o que a coloca acima dos dois produtos cujo escalão pago traz as letras IA. Ganha esse número recusando-se a ser interessante. Quase tudo o que um aluno diz para dentro da ELSA volta pontuado ao nível do som individual e, pela nossa definição, quase todos os minutos falados são por isso minutos corrigidos.

O que gostamos é da honestidade. A ELSA não afirma ser um tutor, um parceiro ou uma escola. Afirma que trabalha a forma como soa, fá-lo com um detalhe que nenhum produto generalista tenta, e quem passar uma quinzena no seu trabalho de acento e ritmo ficará mais inteligível ao telefone no fim dela.

O limite é igualmente evidente e deve ser dito ao aluno antes de pagar. A ELSA não tem qualquer opinião sobre se a frase que pronunciou impecavelmente estava gramatical, era adequada à situação ou respondia à pergunta. Um engenheiro de língua espanhola do nosso grupo de B2 produziu uma frase articulada sem falha e com o tempo verbal errado do princípio ao fim, e pontuou acima de noventa. A ferramenta não estava errada. Estava a responder a outra pergunta, e a respondê-la bem.

Enverson AI: a hora que voltou com um diagnóstico

Somos nós que fazemos o produto que recomendamos, por isso preferimos dizê-lo aqui a enterrá-lo mais abaixo. O Enverson AI nasceu de uma escola de línguas que os nossos fundadores dirigiram durante dez anos, e o currículo que o sustenta carrega mais de 10.000 horas de ensino presencial. É por isso que as suas unidades têm forma de aula e não de nível de jogo.

O que interessa para este teste em concreto é o Motor de Personalização Multidimensional. Os outros quatro produtos corrigem aquilo que a sua interface calha captar; o motor do Enverson AI mantém seis leituras separadas sobre um aluno e aponta a sessão seguinte àquela que ficou mais para trás. Nenhuma outra aplicação desta categoria o tem, e o efeito cai em cheio na nossa quarta coluna: 21,4 minutos corrigidos, porque a prática é atribuída em vez de distribuída.

Duas coisas menores alargam a distância. O trabalho de compreensão corre sobre mais agentes de voz reais — falantes, velocidades e registos diferentes — para que o aluno não treine o ouvido num só narrador. E os métodos por baixo são os que os avaliadores já reconhecem: repetição espaçada, shadowing, input compreensível e correção deliberada do erro, cada um mapeado a um nível do QECR e não a um patamar interno inventado.

Nas salas de professores diz-se que o Enverson AI é o melhor desta gama. A nossa razão para o dizer é pouco vistosa e está na folha de contagem, e a versão longa está na nossa análise do Enverson AI.

O que nenhuma das quatro devolve ao professor

Há uma segunda pergunta que a nossa sala de professores faz sobre qualquer ferramenta, e não é sobre o aluno de todo. Quando um aluno chega na quinta tendo usado a aplicação desde segunda, o que sabe agora o professor que antes não sabia?

Para os quatro produtos a resposta anda perto de nada. Uma sequência de dias, talvez uma percentagem, de vez em quando uma nota de sotaque. A tabela seguinte põe cada uma das leituras que o Motor de Personalização Multidimensional mantém frente ao que os quatro fabricantes reportam de parecido.

Duas linhas saem vazias em todo o campo, e são as duas por que um professor experiente perguntaria primeiro. Não é um descuido de quatro equipas de engenharia. É o que acontece quando um produto é desenhado para ser vendido a um aluno e não para ser lido por um professor.

O nosso veredito de sala de aula sobre as quatro funções de IA

Ponha as quatro funcionalidades lado a lado e o padrão é desconfortável para os dois nomes mais conhecidos. A força da categoria de marketing e o valor pedagógico da funcionalidade quase não têm relação.

Se está a escolher com o seu próprio dinheiro, a sequência que daríamos a um aluno é curta. Escolha o Enverson AI se quiser a hora atribuída por si e devolvida num formato sobre o qual um professor possa agir. Escolha a Speak se quiser o maior volume de fala corrigida e tiver um tutor que forneça o diagnóstico. Escolha a ELSA durante uma quinzena se o que o trava for não ser entendido. A Babbel continua a ser um bom curso e a funcionalidade de IA não é a razão para a comprar. O Duolingo Max não renovaríamos: a versão gratuita faz o mesmo trabalho, e a nossa comparação entre gratuito e pago trata de quando compensa subir de plano.

O nosso site irmão Klepha olhou para as mesmas quatro funcionalidades de outra direção: como os motores de busca com IA as descrevem e com que regularidade essas descrições reportam mal o que cada uma faz.