llamafile, proxecto de Mozilla que permite executar LLM nun arquivo

Luns, 18 Decembro 2023
llamafile, proxecto de Mozilla que permite executar LLM nun arquivo

Mozilla publicou o lanzamento dun compilador de software libre (llamafile) para simplificar o uso de modelos de linguaxe grandes (LLM), nos escritorios e servidores. Está escrito en C/C++ e distribuído baixo a licenza Apache.

logo de llamafile

Llamafile pode tomar un modelo de aprendizaxe automática en formato GGUF e convertilo nun arquivo executable en diferentes sistemas operativos (macOS, Windows, GNU/Linux, FreeBSD, OpenBSD e NetBSD) e en diferentes plataformas de hardware (AMD64 e ARM64).

Mozilla mencionou que:
“O noso obxectivo é facer que os modelos de linguaxes grandes de código aberto sexan moito máis accesibles tanto para os desenvolvedores como para os usuarios finais. Estamos a facelo combinando llama.cpp con Cosmopolitan Libc nun marco que colapsa toda a complexidade dos LLM nun único arquivo executable (chamado «llamafile») que se executa localmente na maioría das computadoras, sen instalación.”

“Supoñamos que tes un conxunto de pesos LLM en forma de arquivo de 4 GB (no formato GGUF de uso común). Con llamafile podes transformar ese arquivo de 4GB nun binario que se executa en seis sistemas operativos sen necesidade de instalación.”

Balance do Plan de Acción 2022

1 Decembro 2021 Informe

Plan de Software Libre 2023

1 Decembro 2021 Informe

#IA #InformesDeUsoAnuais

Tendencias
Xunta

Xunta de Galicia, Información mantida e publicada na internet pola Xunta de Galicia

Atención á cidadanía - Accesibilidade - Aviso legal - Mapa do portal