Apple diz quanto de IA cada aparelho roda sem nuvem: 14 bilhões de parâmetros no iPhone e 1,6 trilhão em Mac Studio

Por Melhores Tech · deslize para ver →

Tabela da Apple relaciona memória unificada e largura de banda ao tamanho do modelo de linguagem que iPhone, MacBook Air, Mac mini, MacBook Pro e Mac Studio conseguem executar localmente.

Qual o maior modelo de IA que um iPhone consegue rodar localmente, segundo a…

Até 14 bilhões de parâmetros ativos, desde que o aparelho tenha 16 GB de memória unificada e pelo menos 76 GB/s de largura de banda.

E um Mac Studio?

Uma unidade com M5 Ultra e 512 GB de memória unificada, a 1,2 TB/s, comporta modelos de até 480 bilhões de parâmetros. Quatro unidades em cluster, somando 2 TB de memória, passam de 1,6 trilhão.

A Apple disse quais modelos usou para chegar a esses números?

Não. A empresa não informou quais modelos abertos testou nem o nível de quantização aplicado, o que pesa bastante no resultado real.