Elon Musk anuncia treinamento da “IA mais poderosa do mundo” com 100 mil GPUs da NVIDIA
Elon Musk anunciou, na segunda-feira (23), a ativação do supercomputador que treinará a “inteligência artificial mais poderosa do mundo”. A plataforma, chamada de Memphis Supercluster, é equipada com 100 mil unidades da GPU H100 da NVIDIA. Todo o hardware é integrado em uma única malha com acesso direto à memória e resfriamento a líquido.
De acordo com o empresário, este é o “cluster de treinamento mais poderoso do mundo”. É possível comparar sua infraestrutura com outros supercomputadores reconhecidos da indústria, como o Frontier, que conta com 37.888 aceleradores da AMD. Outro exemplo é o Microsoft Eagle, com 14.400 aceleradores da NVIDIA.
O projeto do Memphis Supercluster é arquitetado pela xAI, sua startup especializada em inteligência artificial que está por trás de outras tecnologias, como o Grok, seu grande modelo de linguagem que funciona como um rival do Google Gemini.
Cabe lembrar que, há algumas semanas, Musk havia anunciado seus planos em começar a treinar a próxima geração de seu grande modelo de linguagem — que será chamado de Grok 3 — com 100 mil unidades da GPU H100 da NVIDIA.
Para comparar, supostas fontes da indústria indicam que o GPT-4, da OpenAI, foi treinado com cerca de 40 mil unidades da GPU A100, que é relativamente defasada em comparação com a H100. O uso de hardware mais moderno pode garantir um treinamento acelerado e eficiente ao Grok 3.
Musk afirma que o novo modelo de inteligência artificial da xAI concluirá a fase de treinamento até dezembro de 2024. A data de disponibilidade da nova tecnologia ainda não foi confirmada, mas é possível que comece a ser liberada para testes logo em seguida.
Ainda não há detalhes quanto à metodologia de treinamento utilizada no Grok 3. Anteriormente, o executivo afirmou que treinar modelos de linguagem com dados da internet exige “muito trabalho”, especialmente quando se trata de recursos da computação. No entanto, várias empresas do ramo parecem interessadas em treinar suas IAs usando o YouTube.
