Llamafile ofrece una manera sencilla de ejecutar grandes modelos de lenguaje en tu propia máquina. Llamafile es el último proyecto de Mozilla destinado a simplificar la distribución y ejecución de los grandes modelos de lenguaje.

Combina la potencia de llama.cpp, un marco de chatbots LLM de código abierto, con Cosmopolitan Libc, una biblioteca C versátil que asegura compatibilidad entre una amplia variedad de plataformas. Una herramienta que puede transformar los pesos complejos de los modelos en archivos fácilmente ejecutables que funcionan en varios sistemas operativos sin necesidad de instalación.

Llamafile puede tomar un modelo de aprendizaje automático en formato GGUF y convertirlo en un archivo ejecutable en diferentes sistemas operativos.

Mozilla mencionó que:

“Nuestro objetivo es hacer que los modelos de lenguaje grandes de código abierto sean mucho más accesibles tanto para los desarrolladores como para los usuarios finales. Lo estamos logrando combinando llama.cpp con Cosmopolitan Libc en un marco que colapsa toda la complejidad de los LLM en un único archivo ejecutable (llamado «llamafile») que se ejecuta localmente en la mayoría de las computadoras, sin instalación.”

“Supongamos que tienes un conjunto de pesos LLM en forma de archivo de 4 GB (en el formato GGUF de uso común). Con llamafile puedes transformar ese archivo de 4GB en un binario que se ejecuta en seis sistemas operativos sin necesidad de instalación.”

Tienes las instrucciones de instalación y funcionamiento en su GitHub.

Características principales

• Multiplataforma: Funciona en macOS, Windows, GNU/Linux, FreeBSD, OpenBSD y NetBSD, compatible con varias arquitecturas de CPU y aceleración por GPU.
• Eficiencia y rendimiento: Utiliza tinyBLAS para una aceleración por GPU fluida y optimizaciones recientes para un rendimiento eficiente en CPU, haciendo la IA local más accesible.
• Facilidad de uso: Convierte los pesos de los modelos en archivos ejecutables con un solo comando, simplificando el despliegue.
• Código abierto e impulsado por la comunidad: Licenciado bajo Apache 2.0, promoviendo las contribuciones de la comunidad y mejoras continuas.
• Integración con otras plataformas: Soporta pesos externos, adaptable a diversos casos de uso y compatible con proyectos de IA en plataformas como Hugging Face.

Usabilidad y rendimiento

Para un procesamiento más rápido, puedes usar la GPU de tu ordenador. Esto requiere instalar los controladores apropiados (NVIDIA CUDA para GPUs NVIDIA) y añadir un flag durante la ejecución (consulta la documentación de Llamafile para más detalles).

La experiencia puede variar según el hardware; aquellos que tengan GPUs discretas probablemente verán un mejor rendimiento que los que usen gráficos integrados. Aun así, la capacidad de Llamafile para ejecutar LLMs directamente en tu dispositivo significa que no necesitas depender de caros servicios en la nube. Esto no solo mantiene tus datos privados y seguros, sino que también reduce el tiempo de respuesta, haciendo que las interacciones de IA sean más rápidas y flexibles.

Vídeo

Continuamos con la publicación de artículos sobre proyectos libres relacionados con la Inteligencia Artificial.

Con el lanzamiento de sus primeros modelos de lenguaje extenso (LLM), el proyecto EuroLLM pretende ofrecer un modelo LLM multilingüe y multimodal competitivo para los 24 idiomas oficiales europeos.

Iniciado en septiembre de 2024 y publicado bajo la licencia de código abierto Apache 2.0, los primeros modelos de EuroLLM ejemplifican cómo la inteligencia artificial (IA) puede adaptarse a la diversidad lingüística de Europa, fomentando al mismo tiempo un ecosistema europeo innovador en IA.

Los primeros modelos de EuroLLM, el EuroLLM-1.7B y su modelo complementario de afinación, EuroLLM-1.7B-Instruct, tienen como objetivo proporcionar a los usuarios europeos un LLM competitivo que pueda recibir indicaciones y generar texto en todos los idiomas oficiales europeos.

Los LLM establecidos suelen centrarse en el inglés y otros pocos idiomas ampliamente hablados. En cambio, EuroLLM propone una solución enfocada a una amplia variedad de lenguas habladas.

Para crear capacidades multilingües y multimodales, EuroLLM entrenó su modelo EuroLLM-1.7B con un amplio conjunto de datos que incluye 4 billones de tokens, representando diferentes fuentes de datos y todos los idiomas considerados. Para la afinación en tareas de instrucción, se desarrolló el modelo EuroLLM-1.7B-Instruct utilizando EuroBlocks, un conjunto de datos multilingües creado por EuroLLM para estas tareas.

El EuroLLM-1.7B-Instruct destacó especialmente al superar el rendimiento de Gemma-2B, el modelo «abierto» de Google basado en la misma investigación que sus modelos Gemini.

Desarrollando LLM disponibles en todos los idiomas oficiales europeos, así como en otros idiomas importantes como el ruso, el árabe y el chino, EuroLLM proporciona a los usuarios europeos y globales acceso a tecnología de IA competitiva en sus idiomas preferidos.

EuroLLM es un proyecto cofinanciado por la Unión Europea y conformado por un consorcio de nueve socios, incluyendo universidades europeas de prestigio, laboratorios técnicos de investigación establecidos y empresas especializadas en traducción con IA, tanto de Europa como de otros lugares. El proyecto también está vinculado a la Empresa Común Europea de Computación de Alto Rendimiento (EuroHPC JU), formando parte de un objetivo estratégico más amplio: crear un ecosistema de IA europeo competitivo e innovador.

Con la publicación de sus modelos bajo una licencia de código abierto, que incluye pesos abiertos, el proyecto tiene el potencial de fomentar la innovación europea en el ámbito de la inteligencia artificial de código abierto.

Presentándose como un proyecto de «código abierto» y «pesos abiertos», los modelos de EuroLLM fueron publicados en HuggingFace tras su lanzamiento. La decisión de abrir los modelos proporciona una base para un desarrollo innovador posterior y demuestra cómo las infraestructuras de supercomputación de la UE pueden ser utilizadas para impulsar la innovación abierta.

Vídeo

La Open Source Initiative (OSI) se unió a otros colectivos para lanzar el Open Forum for AI (OFAI), con un enfoque centrado en las personas para el desarrollo de la IA. Una iniciativa diseñada por la Universidad Carnegie Mellon (CMU) para promover un enfoque centrado en las personas para la inteligencia artificial.

OFAI tiene como objetivo mejorar nuestra comprensión de la IA y su potencial para aumentar las capacidades humanas, al mismo tiempo que promueve prácticas de desarrollo responsables.

En el centro de OFAI está el compromiso de asegurar que el desarrollo de la IA sirva al interés público. Con el apoyo de socios de renombre como Omidyar Network, NobleReach Foundation y la financiación interna de CMU, OFAI está en posición de ser una plataforma clave para moldear estrategias y políticas de IA que prioricen la seguridad, la privacidad y la equidad.

Stefano Mafulli y Deb Bryant de la OSI participarán en OFAI, integrando sus esfuerzos hacia una definición estándar de IA de Código Abierto a través de un proceso colaborativo que incluya actores de la comunidad de código abierto, la industria y el ámbito académico, así como sus contribuciones a las políticas públicas.

Participantes notables como Michele Jawando de Omidyar Network y Arun Gupta de NobleReach Foundation subrayaron la importancia de la IA de Código Abierto para impulsar la innovación y la inclusión, así como la necesidad de un enfoque centrado en las personas y basado en la confianza para el desarrollo de la IA.

OFAI tiene como objetivo influir en las políticas de IA mediante la coordinación de objetivos de investigación y política, defendiendo un desarrollo de IA transparente e inclusivo.

La iniciativa se centrará en cinco áreas clave:

– Investigación

– Prototipos técnicos

– Recomendaciones políticas

– Compromiso comunitario

– Talento al servicio

Uno de los proyectos fundacionales de OFAI es la creación de un marco de «Apertura en la IA», que busca hacer el desarrollo de la IA más transparente e inclusivo. Este marco servirá como un recurso vital para los responsables políticos, investigadores y la comunidad en general.

Vídeo sobre el Open Forum for AI

Continuamos con la publicación de artículos sobre proyectos libres relacionados con la Inteligencia Artificial.

Después de llevar el sistema Braille al mundo digital y crear el primer lector de pantalla para la web, la Dra. Asakawa está trabajando en un dispositivo con inteligencia artificial para ayudar a las personas ciegas a navegar por el mundo de forma independiente, un sistema de navegación interior llamado Maleta IA:

«Cuando comencé en IBM en 1985, me di cuenta de que la tecnología tiene el poder de cambiar y mejorar nuestra calidad de vida, especialmente para aquellas personas que están marginadas por la sociedad,» dice la Dra. Chieko Asakawa, miembro de IBM y directora ejecutiva del Museo Nacional de Ciencia e Innovación Emergente (Miraikan).

«Me di cuenta de que nosotros, es decir, científicos, investigadores, ingenieros, y otros, podíamos hacer lo imposible posible. Estaba emocionada por las posibilidades.»

Desde entonces, la Dra. Asakawa ha hecho precisamente eso, desarrollando tecnologías que permiten a las personas con discapacidades visuales interactuar con el mundo que las rodea y participar en él de maneras que anteriormente eran difíciles o imposibles.

Algunos de sus primeros proyectos en IBM consistieron en digitalizar el sistema Braille, el sistema de lectura y escritura basado en el tacto en el que los puntos en relieve corresponden al lenguaje, creando un procesador de texto y una biblioteca digital para Braille. En los años 90, con el surgimiento de la web, la Dra. Asakawa vio otra oportunidad y creó el Home Page Reader, el primer lector de pantalla que daba acceso a Internet a las personas ciegas.

A medida que la tecnología avanzó, también lo hicieron las aspiraciones de la Dra. Asakawa, y recientemente ha trabajado en el uso de la tecnología para ayudar con barreras de accesibilidad mucho más complejas: el mundo en general. Parte de construir estas tecnologías, explica ella, es la capacidad de colaborar con otros. Por ejemplo, el feedback que recibió de los usuarios del Home Page Reader ayudó a definir la interfaz de navegación, que utilizaba un teclado numérico en lugar de un ratón, y distinguía los enlaces del texto normal leyéndolos con una voz diferente.

El software libre está permitiendo más colaboración que nunca. Las licencias abiertas permiten que las personas construyan sobre el código de los demás y desbloqueen muchos de los problemas de propiedad intelectual que podrían impedir la colaboración a través de los límites organizativos.

CaBot y otros proyectos

El equipo de la Dra. Chieko Asakawa ha estado trabajando en un proyecto de código abierto llamado CaBot (Carry On Robot), una maleta habilitada con IA diseñada para ayudar a navegar por aeropuertos y otros espacios, que atrajo contribuyentes de todo el mundo.

CaBot es solo uno de varios proyectos en los que la Dra. Asakawa ha estado trabajando en los últimos años. Como parte del Laboratorio de Asistencia Cognitiva de Carnegie Mellon (CAL), exploró varias formas en que la IA puede ser utilizada para «comprender el mundo circundante para dar sentido a la información para las personas que no pueden ver.»

El grupo también creó una aplicación para smartphones que ayuda a reconocer objetos personales y otra para ayudar con la navegación interior, ambas parte del proyecto de código abierto Human-scale Localization Platform (HULOP). Un tema común entre los proyectos de la Dra. Asakawa es proporcionar autonomía e independencia con la ayuda de la tecnología. Habló de este tema durante su charla TED en 2015.

Vídeo sobre la accesibilidad con IA

Continuamos con la publicación de artículos sobre proyectos libres relacionados con la Inteligencia Artificial. En este artículo haremos un repaso del Open Medical-LLM Leaderboard.

A lo largo de los años, los Modelos de Lenguaje Grande (LLMs) han emergido como una tecnología revolucionaria con un potencial inmenso para transformar diversos aspectos de la salud. Estos modelos, como GPT-3, GPT-4 y Med-PaLM 2, han demostrado capacidades notables en la comprensión y generación de texto similar al humano, convirtiéndose en herramientas valiosas para afrontar tareas médicas complejas y mejorar la atención al paciente. Han mostrado un gran potencial en varias aplicaciones médicas, como preguntas y respuestas médicas (QA), sistemas de diálogo y generación de texto.

Además, con el crecimiento exponencial de los registros electrónicos de salud (EHRs), la literatura médica y los datos generados por los pacientes, los LLMs podrían ayudar a los profesionales de la salud a extraer información valiosa y tomar decisiones informadas.

Sin embargo, a pesar del inmenso potencial de los Modelos de Lenguaje Grande (LLMs) en la salud, hay retos significativos y específicos que necesitan ser abordados.

Cuando los modelos se usan para aspectos conversacionales recreativos, los errores tienen pocas repercusiones; esto no es el caso para usos en el ámbito médico, donde una explicación o respuesta incorrecta puede tener consecuencias graves para el cuidado y los resultados del paciente. La precisión y la fiabilidad de la información proporcionada por los modelos de lenguaje pueden ser una cuestión de vida o muerte, ya que podrían afectar potencialmente las decisiones de salud, el diagnóstico y los planes de tratamiento.

Para aprovechar plenamente el poder de los LLMs en la atención sanitaria, es crucial desarrollar y comparar modelos utilizando un conjunto específico diseñado para el dominio médico. Este conjunto debe tener en cuenta las características y requisitos únicos de los datos y aplicaciones sanitarias. El desarrollo de métodos para evaluar el Medical-LLM no es sólo de interés académico sino también de importancia práctica, dados los riesgos reales que suponen en el sector sanitario.

Open Medical-LLM Leaderboard

El Tablero de Clasificación Open Medical-LLM tiene como objetivo rastrear, clasificar y evaluar el rendimiento de los grandes modelos de lenguaje (LLMs) en tareas de respuesta a preguntas médicas.

Evalúa los LLMs a través de una amplia variedad de conjuntos de datos médicos, incluyendo MedQA (USMLE), PubMedQA, MedMCQA y subconjuntos de MMLU relacionados con la medicina y la biología. El tablero ofrece una evaluación comprensiva del conocimiento médico y de las capacidades de respuesta a preguntas de cada modelo.

Los conjuntos de datos cubren varios aspectos de la medicina, como el conocimiento médico general, el conocimiento clínico, la anatomía, la genética y más. Contiene preguntas de opción múltiple y preguntas abiertas que requieren razonamiento y comprensión médica.

Al ofrecer una evaluación comprensiva del conocimiento médico y de las capacidades de respuesta a preguntas de cada modelo, el tablero pretende fomentar el desarrollo de LLMs médicos más efectivos y fiables.

Esta plataforma permite a los investigadores y profesionales identificar las fortalezas y debilidades de diferentes enfoques, impulsar nuevos avances en el campo y, en última instancia, contribuir a una mejor atención y resultados para los pacientes.

Conjuntos de Datos, Tareas y Configuración de Evaluación

MedQA

El conjunto de datos MedQA consiste en preguntas de opción múltiple del Examen de Licencia Médica de los Estados Unidos (USMLE). Cubre conocimientos médicos generales e incluye 11,450 preguntas en el conjunto de desarrollo y 1,273 preguntas en el conjunto de pruebas. Cada pregunta tiene 4 o 5 opciones de respuesta, y el conjunto de datos está diseñado para evaluar los conocimientos médicos y las habilidades de razonamiento necesarias para la licencia médica en los Estados Unidos.

MedMCQA

MedMCQA es un conjunto de datos de QA de opción múltiple a gran escala derivado de los exámenes de ingreso médico indios (AIIMS/NEET). Cubre 2.4k temas de salud y 21 materias médicas, con más de 187,000 preguntas en el conjunto de desarrollo y 6,100 preguntas en el conjunto de pruebas. Cada pregunta tiene 4 opciones de respuesta y va acompañada de una explicación. MedMCQA evalúa los conocimientos médicos generales y las capacidades de razonamiento de un modelo.

PubMedQA

PubMedQA es un conjunto de datos de QA de dominio cerrado, en el que cada pregunta puede ser respondida mirando un contexto asociado (resumen de PubMed). Consta de 1,000 pares de preguntas-respuestas etiquetadas por expertos. Cada pregunta va acompañada de un resumen de PubMed como contexto, y la tarea es proporcionar una respuesta sí/no/tal vez basada en la información en el resumen. El conjunto de datos se divide en 500 preguntas para desarrollo y 500 para pruebas. PubMedQA evalúa la capacidad de un modelo para comprender y razonar sobre literatura biomédica científica.

Subconjuntos de MMLU (Medicina y Biología)

El benchmark MMLU (Medición de Comprensión Multitarea Masiva) incluye preguntas de opción múltiple de varios dominios. Para el Tablero de Clasificación Abierto de Medical-LLM, nos centramos en los subconjuntos más relevantes para el conocimiento médico:

Conclusiones

El Open Medical-LLM Leaderboard evalúa el rendimiento de varios modelos de lenguaje grande (LLMs) en un conjunto diverso de tareas de preguntas y respuestas médicas. Principales conclusiones:

– Modelos comerciales como GPT-4-base y Med-PaLM-2 alcanzan consistentemente altas puntuaciones de precisión en varios conjuntos de datos médicos, demostrando un fuerte rendimiento en diferentes dominios médicos.

– Los modelos de código abierto, como Starling-LM-7B, gemma-7b, Mistral-7B-v0.1 y Hermes-2-Pro-Mistral-7B, muestran un rendimiento competitivo en ciertos conjuntos de datos y tareas, a pesar de tener tamaños más pequeños de alrededor de 7 mil millones de parámetros.

– Tanto los modelos comerciales como los de código abierto tienen un buen rendimiento en tareas como la comprensión y el razonamiento sobre literatura biomédica científica (PubMedQA) y la aplicación de conocimientos clínicos y habilidades de toma de decisiones (subconjunto de conocimientos clínicos de MMLU).

El modelo de Google, Gemini Pro, demuestra un fuerte rendimiento en varios dominios médicos, destacando especialmente en tareas intensivas en datos y procedimientos como Bioestadística, Biología Celular y Obstetricia y Ginecología. No obstante, muestra un rendimiento moderado a bajo en áreas críticas como Anatomía, Cardiología y Dermatología, revelando lagunas que requieren un mayor refinamiento para una aplicación médica integral.

Open Life Science AI

Open Life Science AI es un proyecto que tiene como objetivo revolucionar la aplicación de la inteligencia artificial en los ámbitos de las ciencias de la vida y la salud.

Sirve como un punto central para una lista de modelos médicos, conjuntos de datos, referencias y seguimiento de fechas límite de conferencias, fomentando la colaboración, la innovación y el progreso en el campo de la salud asistida por IA.

Nos esforzamos por establecer Open Life Science AI como el destino principal para cualquier interesado en la intersección entre la IA y la salud. Proporcionamos una plataforma para que investigadores, clínicos, formuladores de políticas y expertos de la industria puedan participar en diálogos, compartir conocimientos y explorar los últimos avances en el campo.

Más información:
https://huggingface.co/blog/leaderboard-medicalllm

Vídeo sobre el Open Medical-LLM Leaderboard

Continuamos con la publicación de artículos sobre proyectos libres relacionados con la Inteligencia Artificial. En este segundo artículo haremos un repaso a los MoEs (siglas en inglés de Mezcla de Expertos).

¿Qué es una Mezcla de Expertos (MoE)?

La Mezcla de Expertos en la Inteligencia Artificial es una técnica que distribuye tareas específicas entre múltiples submodelos llamados «expertos», cada uno entrenado en un dominio particular de conocimiento.

La clave de esta arquitectura radica en su capacidad para decidir dinámicamente qué experto o combinación de expertos es más adecuado para una tarea determinada, lo que permite una gestión de recursos más eficiente y una mejora en la precisión de las predicciones.

La escala de un modelo es uno de los ejes más importantes para una mejor calidad del modelo. Dado un presupuesto de computación fijo, el entrenamiento de un modelo más grande durante menos pasos es mejor que el entrenamiento de un modelo más pequeño durante más pasos.

La Mezcla de Expertos permite preentrenar modelos con mucho menos cálculo, lo que significa que puedes escalar dramáticamente el tamaño del modelo o del conjunto de datos con el mismo presupuesto de cálculo que un modelo denso. En particular, un modelo MoE debería alcanzar la misma calidad que su homólogo denso mucho más rápido durante el preentrenamiento.

Un MoE consta de dos elementos principales:

– Capas MoE, que tienen un cierto número de «expertos» (normalmente 8), donde cada experto es una red neuronal. Los expertos pueden ser redes más complejas o incluso un MoE en sí mismo.

– Una red de compuertas o enrutador, determina qué tokens se envían a qué experto. Por ejemplo, en la imagen de abajo, el token «More» se envía al segundo experto, y el token «Parameters» se envía a la primera red. Podemos enviar un token a más de un experto.

Algunas de las características de los MoEs son:

– Preentrenan mucho más rápido en comparación con los modelos densos

– Tienen una inferencia más rápida en comparación con un modelo con el mismo número de parámetros

– Se requiere alta VRAM ya que todos los expertos están cargados en memoria

– Enfrentan muchos desafíos en el ajuste fino

En resumen, la Mezcla de Expertos en la IA ofrece varias ventajas sobre otros métodos de aprendizaje automático. Es más eficiente, ya que solo necesita ejecutar un experto o una combinación de expertos para cada entrada. Además, es escalable, ya que se puede aumentar el número de expertos para mejorar el rendimiento en problemas complejos. También es versátil, ya que se puede aplicar a una amplia gama de problemas de aprendizaje automático.

Esta arquitectura ha demostrado su eficacia en aplicaciones reales y ofrece numerosas ventajas sobre otros métodos de aprendizaje automático.

Proyectos de código abierto relacionados con los modelos MoE

MoEs de acceso abierto liberados

– Switch Transformers (Google): Colección de MoEs basados en T5, desde 8 hasta 2048 expertos.

– NLLB MoE (Meta): Una variante MoE del modelo de traducción NLLB.

– OpenMoE: Un esfuerzo comunitario que ha liberado MoEs basados en Llama.

– Mixtral 8x7B (Mistral): Un MoE de alta calidad que supera a Llama 2 70B y tiene una inferencia mucho más rápida.

Entrenamiento de los MoE

– Megablocks: https ://github.com/stanford-futuredata/megablocks

– Fairseq: https://github.com/facebookresearch/fairseq/tree/main/examples/moe_lm

– OpenMoE: https://github.com/XueFuzhao/OpenMoE

Mixtral

Mixtral 8x7b es un gran modelo de lenguaje lanzado por Mistral, que establece un nuevo estado del arte para los modelos de acceso abierto y supera a GPT-3.5 en muchos puntos de referencia.

Mixtral tiene una arquitectura similar a la de Mistral 7B, pero viene con una vuelta de tuerca: realmente son 8 modelos «expertos» en uno solo, gracias a una técnica llamada Mezcla de Expertos (MoE).

Algunas características:

– Versiones base e Instruct

– Soporta una longitud de contexto de 32k tokens

– Supera a Llama 2 70B e iguala o supera a GPT3.5 en la mayoría de los puntos de referencia

– Habla inglés, francés, alemán, español e italiano

– Buena en programación, con 40.2% en HumanEval

– Comercialmente permisiva con una licencia Apache 2.0

Puedes probar a conversar con el modelo Mixtral Instruct en Hugging Face Chat:
https://huggingface.co/chat/?model=mistralai/Mixtral-8x7B-Instruct-v0.1

Más información

Píldora en vídeo

Comenzamos con la publicación de una serie de artículos sobre proyectos libres relacionados con la Inteligencia Artificial. En este primer artículo haremos un repaso a los Modelos de Lenguaje Grande, más conocidos como LLMs.

LLMs

Los LLMs, o «Large Language Models» (Modelos de Lenguaje Grande), son sistemas de inteligencia artificial diseñados para entender, generar y trabajar con texto de manera avanzada. Estos modelos son entrenados con enormes cantidades de datos textuales para aprender patrones de lenguaje, gramática, e incluso estilo y contexto.

Su capacidad para procesar y generar lenguaje los hace herramientas poderosas para una variedad de aplicaciones, incluyendo traducción automática, generación de texto, resumen, y otros. Estos sistemas experimentaron un aumento de su popularidad desde principios del año 2023.

Los LLM libres, se distinguen por ser desarrollados y distribuidos bajo licencias que permiten a cualquiera acceder, modificar y compartir el código fuente. Esto tiene varias implicaciones importantes:

– Transparencia. Al ser abiertos, es posible revisar y entender cómo funcionan estos modelos, lo que contribuye a un mayor entendimiento de sus mecanismos y limitaciones.
– Personalización. Los usuarios pueden adaptar los modelos a sus necesidades específicas, mejorando o modificando su comportamiento según requieran sus proyectos.
– Comunidad y colaboración. Fomenta una comunidad de desarrolladores y usuarios que colaboran para mejorar el modelo, compartir soluciones y crear nuevas aplicaciones.
– Accesibilidad. Al estar disponibles de manera gratuita, reducen las barreras de entrada para individuos y organizaciones que desean explorar o utilizar inteligencia artificial, democratizando el acceso a tecnologías avanzadas.
– Ética y responsabilidad. La filosofía del software libre promueve un debate abierto sobre el uso ético de la inteligencia artificial, incluyendo la preocupación por la privacidad, el sesgo de los datos y el impacto social de los LLM.

Ejemplos de LLMs libres

– GPT-Neo y GPT-NeoX. Desarrollados por EleutherAI, estos modelos son alternativas de código abierto a las versiones comerciales de GPT (Generative Pre-trained Transformer) de OpenAI. GPT-Neo y GPT-NeoX están diseñados para ser escalables y accesibles, permitiendo a investigadores y desarrolladores trabajar con tecnología puntera en procesamiento de lenguaje natural (PLN) sin restricciones de licencia.
– GPT-J. También una iniciativa de EleutherAI, GPT-J es un modelo de lenguaje de gran escala que destaca por su capacidad de generación de texto y comprensión.
– Stable Diffusion. Aunque es más conocido como un modelo de generación de imágenes, Stable Diffusion también incluye capacidades de procesamiento de texto a través de CLIP, un modelo que puede entender y generar descripciones a partir de imágenes. Es un proyecto de código abierto que fomenta la innovación en varios campos de la IA.
– Bloom: Desarrollado por Hugging Face y BigScience, entrenado en un conjunto de datos masivo de texto y código.
– LaMDA. Desarrollado por Google AI, conocido por su capacidad para generar conversaciones fluidas y coherentes.
– Megatron-Turing NLG. Desarrollado por NVIDIA y Microsoft, entrenado en un conjunto de datos de texto y código con enfoque en tareas de lenguaje natural.
– WuDao 2.0. Desarrollado por la Academia de Inteligencia Artificial de Beijing (BAAI), entrenado principalmente en chino, pero también con capacidades en inglés.
– BERT (Bidirectional Encoder Representations from Transformers) es un modelo desarrollado por Google que fue pionero en el uso de transformadores para entender el contexto de las palabras en un texto de forma bidireccional. Aunque el BERT original no es un LLM en el mismo sentido que los modelos GPT, su arquitectura abrió el camino para el desarrollo de muchos modelos derivados que son libres.
– RoBERTa. Desarrollado por Facebook AI, RoBERTa es una optimización de BERT que mejora su rendimiento mediante el ajuste del proceso de entrenamiento y el aumento de la cantidad de datos de entrenamiento.
– XLNet. XLNet es otro modelo basado en transformadores, desarrollado por Google Brain y Carnegie Mellon University, que supera a BERT en varias tareas de comprensión de texto.
– OpenAI’s GPT-2. Aunque OpenAI limitó inicialmente el acceso a su modelo GPT-3 debido a preocupaciones sobre su potencial mal uso, la versión anterior, GPT-2, fue liberada completamente como código abierto. Esto permitió a investigadores y desarrolladores explorar y experimentar con las capacidades del modelo.
– FairSeq. Desarrollado por Facebook AI Research, FairSeq es una biblioteca de aprendizaje profundo para secuencia a secuencia (seq2seq) que incluye implementaciones de BART, RoBERTa, y otros modelos basados en transformadores. Aunque FairSeq en sí mismo es más un marco de trabajo que un modelo específico, proporciona las herramientas necesarias para entrenar y desplegar LLMs.
– TensorFlow Model Garden. Aunque TensorFlow en sí mismo es una biblioteca de aprendizaje automático de código abierto desarrollada por Google, el Model Garden ofrece un conjunto de modelos pre-entrenados e implementaciones que incluyen técnicas de última generación.
– AllenNLP. Desarrollado por el Allen Institute for AI, AllenNLP es una plataforma de código abierto diseñada para la investigación en PLN. Ofrece una amplia gama de modelos pre-entrenados y herramientas para facilitar la experimentación en comprensión de lectura, inferencia textual, y más.

Estos modelos y herramientas representan solo una muestra del amplio y creciente ecosistema de inteligencia artificial libre y de código abierto. La disponibilidad de estos recursos permite a una amplia gama de usuarios, desde investigadores hasta entusiastas, explorar las fronteras de la tecnología de IA y contribuir a su desarrollo de forma colaborativa.

Plataformas de acceso a LLMs

Para acceder a estos recursos de una forma sencilla, se puede hacer a través de plataformas en línea como:

– Hugging Face. Ofrece una amplia gama de LLMs pre-entrenados, incluyendo algunos de código abierto como Bloom y LaMDA, con interfaces fáciles de usar para su implementación.
– Google AI Platform. Proporciona acceso a algunos de sus LLMs más avanzados, como LaMDA y Meena.
– DeepMind. Ofrece acceso a algunos de sus LLMs de investigación, como Gopher y Gato.

Problemas de los LLMs

Aunque esta tecnología tiene un gran potencial, hay que tener en cuenta que pueden presentarse diferentes problemas con su uso:

– Sesgos. Los LLMs pueden heredar sesgos presentes en los datos de entrenamiento, lo que puede generar resultados discriminatorios o injustos. Por ejemplo, si un LLM se entrena con un conjunto de datos que contiene principalmente textos escritos por hombres, es probable que genere resultados que favorezcan a los hombres.
– Interpretabilidad. La complejidad de los LLMs dificulta la comprensión de cómo funcionan y por qué generan ciertos resultados. Esto puede dificultar la detección de errores o sesgos en el modelo, así como la confianza en sus decisiones.
– Seguridad y ética. Es importante utilizar los LLMs de forma responsable y ética para evitar su uso con fines maliciosos. Los LLMs podrían ser utilizados para generar contenido falso, propaganda o para manipular a las personas.

Evolución de los modelos

A lo largo de los últimos años, estos modelos han tenido una rápida evolución que podemos resumir en los siguientes puntos:

– Aumento del tamaño y la complejidad. Los LLMs experimentaron un crecimiento exponencial en su tamaño, con algunos modelos actuales que albergan miles de millones de parámetros, lo que les permite procesar información con mayor precisión y generar resultados más complejos.
– Mejora en la generación de texto creativo. Los LLMs ahora pueden escribir poemas, historias, guiones y incluso código con un nivel de calidad comparable al de un humano.
– Desarrollo de nuevas aplicaciones. Se han implementado LLMs en diversos campos como la educación, la atención sanitaria, el servicio al cliente y el desarrollo de software, entre otros. En el ámbito educativo, por ejemplo, se utilizan LLMs para crear plataformas de aprendizaje personalizadas que se adaptan a las necesidades de cada estudiante.

En conclusión, en los últimos años han tenido lugar grandes avances en el campo de los LLMs. Estos modelos tienen el potencial de transformar la forma en que interactuamos con las computadoras y el mundo que nos rodea. No obstante, aún hay desafíos que abordar, como los sesgos, la interpretabilidad y la seguridad, para garantizar un desarrollo y uso responsable de esta tecnología.

Píldora en vídeo del artículo