Rankings de modelos de IA — onde você vai saber qual é a melhor IA: LMSYS Chatbot Arena
Quem é o melhor? Julgando a IA com uma arena de batalha
Temos milhares de modelos de IA disponíveis, desde gigantes como OpenAI e Google até inúmeros projetos de código aberto. Isso cria uma pergunta simples, mas profunda: como sabemos qual é a “melhor”? Os benchmarks acadêmicos tradicionais, em que os modelos respondem a um conjunto fixo de perguntas, podem ser úteis, mas geralmente não capturam como se sente ao interagir com uma IA. Eles também podem ser “manipulados” por desenvolvedores que treinam seus modelos especificamente para passar nesses testes.
Para resolver isso, pesquisadores da Large Model Systems Organization (LMSYS) criaram uma solução engenhosa: a Chatbot Arena. Em vez de um exame estático, é uma competição dinâmica e contínua em que humanos reais votam em qual IA preferem em uma batalha frente a frente. É menos como um exame final e mais como um torneio interminável do “rei da colina” para IA.
Conceito em destaque: como a arena funciona
A mágica da Chatbot Arena é seu formato de “teste cego de sabor”, projetado para remover o preconceito humano e capturar preferências genuínas. O sistema é alimentado por um método de classificação inteligente, emprestado do mundo do xadrez.
- The Blind Battle: Quando você visita a Arena, você insere um prompt. O sistema envia sua solicitação para dois modelos de IA diferentes, escolhidos aleatoriamente. Suas respostas aparecem lado a lado como “Modelo A” e “Modelo B”, sem nomes anexados.
- O voto: Você conversa com as duas modelos anônimas. Depois de decidir qual deles deu a resposta melhor, mais útil ou mais criativa, você vota no Modelo A, no Modelo B ou declara que está empatado.
- A revelação e a classificação: Depois de votar, o sistema revela as verdadeiras identidades das modelos com as quais você estava conversando. Seu voto é então usado para ajustar a pontuação de cada modelo usando o sistema de classificação Elo.
O sistema de classificação Elo atribui uma pontuação a cada modelo. Quando um modelo vence uma batalha, sua pontuação Elo aumenta e a pontuação do perdedor diminui. Vencer contra um modelo com classificação mais alta dá mais pontos do que vencer contra um modelo com classificação mais baixa. Com milhões de votos de usuários em todo o mundo, esse sistema cria uma tabela de classificação robusta e constantemente atualizada, baseada inteiramente na preferência humana.
Como ler a tabela de classificação do Chatbot Arena
A tabela de classificação está repleta de informações. Veja como entender isso.
- Visite a tabela de classificação: você pode encontrar a tabela de classificação ao vivo no site da Hugging Face ou pesquisando por “Tabela de classificação do Chatbot Arena”.
- Verifique a pontuação Elo: Este é o número principal do ranking. Uma pontuação Elo mais alta significa que o modelo vence com mais frequência em comparações diretas com base nos votos dos usuários. Essa pontuação reflete sua capacidade geral de “bate-papo” e sua utilidade.
- Veja o intervalo de confiança de 95%: ao lado da pontuação Elo, você verá uma pequena barra ou números como “+/- 10". Essa é a “margem de erro”. Se as barras de intervalo de confiança de dois modelos diferentes se sobrepõem, isso significa que suas pontuações estão muito próximas e estão em um empate estatístico.
- Referência cruzada com o MT-Bench: algumas tabelas de classificação também mostram uma pontuação “MT-Bench”. Essa é uma pontuação de um benchmark automatizado mais tradicional que testa a capacidade de um modelo de seguir instruções complexas de várias etapas. É uma boa maneira de ver se uma modelo fala bem ou se também é boa em tarefas difíceis.
Pontos fortes e fracos do Método Arena
A Chatbot Arena é uma ferramenta fantástica, mas é importante entender o que ela mede e o que não mede.
Para que serve
- Medir a “sensação”: é a melhor medida de qualidades subjetivas, como utilidade, estilo de escrita e personalidade, que os benchmarks tradicionais perdem.
- Reduzindo o preconceito: o formato cego impede que os usuários favoreçam um modelo apenas por causa de seu nome famoso.
- Uso no mundo real: as instruções vêm de pessoas reais perguntando sobre coisas reais, não de um conjunto fixo de perguntas acadêmicas.
- Mantendo-se atualizado: ele pode avaliar novos modelos muito rapidamente, acompanhando o ritmo acelerado do desenvolvimento da IA.
Limitações importantes
- Não é um verificador de fatos: uma pontuação Elo alta significa que um modelo é preferido pelos usuários, não que seja mais preciso ou verdadeiro.
- Classificação generalista: A tabela de classificação classifica a habilidade geral de bate-papo. Um modelo com classificação geral inferior ainda pode ser o melhor em um nicho específico, como codificação, medicina ou análise jurídica.
- Pode favorecer a “conversa”: às vezes, os usuários preferem uma resposta mais longa, mais detalhada ou mais “entusiasmada”, mesmo que uma resposta curta seja mais correta. Isso pode influenciar os rankings.
Sites de Classificação que Eu Utilizo
Para avaliar e comparar modelos de IA, estes são os principais sites que consulto:
- LM Arena Leaderboard: Veja como os modelos líderes se comparam em texto, imagem, visão e muito mais. Esta página oferece um panorama de cada Arena, e você pode explorar insights mais profundos em suas abas dedicadas.
- Artificial Analysis Leaderboards: Comparação e classificação do desempenho de mais de 30 modelos de IA (LLMs) em métricas chave, incluindo qualidade, preço, desempenho e velocidade (velocidade de saída - tokens por segundo e latência - TTFT), janela de contexto e outros.
Verificação rápida
Qual é o princípio fundamental por trás do sistema de classificação da Chatbot Arena?
Recapitulação: Classificações de modelos de IA
O que abordamos:
- O desafio de classificar os modelos de IA e como a Chatbot Arena fornece uma solução exclusiva com base na preferência humana.
- Como a Arena funciona usando um sistema de votação cega e direto e o método de classificação Elo do xadrez.
- Como ler a tabela de classificação observando a pontuação Elo e os intervalos de confiança.
- Os pontos fortes desse método (medir a sensação do mundo real) e suas limitações (não é um verificador de fatos).
Por que isso é importante:
- A tabela de classificação da Chatbot Arena é uma das classificações mais influentes do mundo da IA. Entender como isso funciona permite que você ignore o exagero do marketing e veja quais modelos as pessoas realmente consideram mais úteis e agradáveis de usar.
A seguir:
- Analisaremos o mundo dos modelos de idiomas grandes fora dos EUA, explorando os principais modelos de IA que estão sendo desenvolvidos fora dos Estados Unidos.