Continuamos con la publicación de artículos sobre proyectos libres relacionados con la Inteligencia Artificial.
Con el lanzamiento de sus primeros modelos de lenguaje extenso (LLM), el proyecto EuroLLM pretende ofrecer un modelo LLM multilingüe y multimodal competitivo para los 24 idiomas oficiales europeos.
Iniciado en septiembre de 2024 y publicado bajo la licencia de código abierto Apache 2.0, los primeros modelos de EuroLLM ejemplifican cómo la inteligencia artificial (IA) puede adaptarse a la diversidad lingüística de Europa, fomentando al mismo tiempo un ecosistema europeo innovador en IA.
Los primeros modelos de EuroLLM, el EuroLLM-1.7B y su modelo complementario de afinación, EuroLLM-1.7B-Instruct, tienen como objetivo proporcionar a los usuarios europeos un LLM competitivo que pueda recibir indicaciones y generar texto en todos los idiomas oficiales europeos.
Los LLM establecidos suelen centrarse en el inglés y otros pocos idiomas ampliamente hablados. En cambio, EuroLLM propone una solución enfocada a una amplia variedad de lenguas habladas.
Para crear capacidades multilingües y multimodales, EuroLLM entrenó su modelo EuroLLM-1.7B con un amplio conjunto de datos que incluye 4 billones de tokens, representando diferentes fuentes de datos y todos los idiomas considerados. Para la afinación en tareas de instrucción, se desarrolló el modelo EuroLLM-1.7B-Instruct utilizando EuroBlocks, un conjunto de datos multilingües creado por EuroLLM para estas tareas.
El EuroLLM-1.7B-Instruct destacó especialmente al superar el rendimiento de Gemma-2B, el modelo «abierto» de Google basado en la misma investigación que sus modelos Gemini.
Desarrollando LLM disponibles en todos los idiomas oficiales europeos, así como en otros idiomas importantes como el ruso, el árabe y el chino, EuroLLM proporciona a los usuarios europeos y globales acceso a tecnología de IA competitiva en sus idiomas preferidos.
EuroLLM es un proyecto cofinanciado por la Unión Europea y conformado por un consorcio de nueve socios, incluyendo universidades europeas de prestigio, laboratorios técnicos de investigación establecidos y empresas especializadas en traducción con IA, tanto de Europa como de otros lugares. El proyecto también está vinculado a la Empresa Común Europea de Computación de Alto Rendimiento (EuroHPC JU), formando parte de un objetivo estratégico más amplio: crear un ecosistema de IA europeo competitivo e innovador.
Con la publicación de sus modelos bajo una licencia de código abierto, que incluye pesos abiertos, el proyecto tiene el potencial de fomentar la innovación europea en el ámbito de la inteligencia artificial de código abierto.
Presentándose como un proyecto de «código abierto» y «pesos abiertos», los modelos de EuroLLM fueron publicados en HuggingFace tras su lanzamiento. La decisión de abrir los modelos proporciona una base para un desarrollo innovador posterior y demuestra cómo las infraestructuras de supercomputación de la UE pueden ser utilizadas para impulsar la innovación abierta.
