Mozilla ha publicado el lanzamiento de un compilador de software libre (llamafile) para simplificar el uso de modelos de lenguaje grandes (LLM) en escritorios y servidores. Está escrito en C/C++ y distribuido bajo la licencia Apache.
Llamafile puede tomar un modelo de aprendizaje automático en formato GGUF y convertirlo en un archivo ejecutable en diferentes sistemas operativos (macOS, Windows, GNU/Linux, FreeBSD, OpenBSD y NetBSD) y en diferentes plataformas de hardware (AMD64 y ARM64).
Mozilla mencionó que:
“Nuestro objetivo es hacer que los modelos de lenguajes grandes de código abierto sean mucho más accesibles tanto para los desarrolladores como para los usuarios finales. Estamos haciéndolo combinando llama.cpp con Cosmopolitan Libc en un marco que colapsa toda la complejidad de los LLM en un único archivo ejecutable (llamado «llamafile») que se ejecuta localmente en la mayoría de las computadoras, sin instalación.”
“Supongamos que tienes un conjunto de pesos LLM en forma de archivo de 4 GB (en el formato GGUF de uso común). Con llamafile puedes transformar ese archivo de 4 GB en un binario que se ejecuta en seis sistemas operativos sin necesidad de instalación.”
