Venres, 16 Febreiro 2024

Proxectos libres de IA – A evolución dos LLMs

Vídeo

Empezamos coa publicación dunha serie de artigos sobre proxectos libres relacionados coa Intelixencia Articial. Neste primeiro artigo faremos un repaso aos Modelos de Linguaxe Grande, máis coñecidos como LLMs.

Intelixencia Artificial
Cabeza de persoa rodeada dun casco de conexións electrónicas

LLMs

Os LLMs, ou “Large Language Models” (Modelos de Linguaxe Grande), son sistemas de intelixencia artificial deseñados para entender, xerar e traballar con texto de maneira avanzada. Estos modelos son adestrados con enormes cantidades de datos textuais para aprender patróns de linguaxe, gramática, e incluso estilo e contexto.

A súa capacidade para procesar e xerar linguaxe fainos ferramentas poderosas para unha variedade de aplicacións, incluíndo tradución automática, xeración de texto, sumarización, e outros. Estos sistemas experimentaron un aumento da súa popularidade desde principios do ano 2023.

Os LLM libres, distínguense por ser desenvolvidos e distribuídos baixo licenzas que permiten a calquera acceder, modificar e compartir o código fonte. Isto ten varias implicacións importantes:

Transparencia. Ao ser abertos, é posible revisar e entender como funcionan estes modelos, o que contribúe a un maior entendemento dos seus mecanismos e limitacións.
Personalización. Os usuarios poden adaptar os modelos ás súas necesidades específicas, mellorando ou modificando o seu comportamento segundo requiran os seus proxectos.
Comunidade e colaboración. Fomenta unha comunidade de desenvolvedores e usuarios que colaboran para mellorar o modelo, compartir solucións e crear novas aplicacións.
Accesibilidade. Ao estar dispoñibles de maneira gratuita, reducen as barreiras de entrada para individuos e organizacións que desexan explorar ou utilizar intelixencia artificial, democratizando o acceso a tecnoloxías avanzadas.
Ética e responsabilidade. A filosofía do software libre promove un debate aberto sobre o uso ético da intelixencia artificial, incluíndo a preocupación pola privacidade, o sesgo dos datos e o impacto social dos LLM.

LLMs libres

Exemplos de LLMs libres

GPT-Neo e GPT-NeoX. Desenvolvidos por EleutherAI, estes modelos son alternativas de código aberto ás versións comerciais de GPT (Generative Pre-trained Transformer) de OpenAI. GPT-Neo e GPT-NeoX están deseñados para ser escalables e accesibles, permitindo aos investigadores e desenvolvedores traballar con tecnoloxía punteira en procesamento de linguaxe natural (PLN) sen restricións de licenza.
GPT-J. Tamén unha iniciativa de EleutherAI, GPT-J é un modelo de linguaxe de gran escala que destaca pola súa capacidade de xeración de texto e comprensión.
Stable Diffusion. Aínda que é máis coñecido como un modelo de xeración de imaxes, Stable Diffusion tamén inclúe capacidades de procesamento de texto a través de CLIP, un modelo que pode entender e xerar descricións a partir de imaxes. É un proxecto de código aberto que fomenta a innovación en varios campos da IA.
Bloom: Desenvolvido por Hugging Face e BigScience, adestrado nun conxunto de datos masivo de texto e código.
LaMDA. Desenvolvido por Google AI, coñecido pola súa capacidade para xerar conversas fluídas e coherentes.
Megatron-Turing NLG. Desenvolvido por NVIDIA e Microsoft, adestrado nun conxunto de datos de texto e código con enfoque en tarefas de linguaxe natural.
WuDao 2.0. Desenvolvido pola Academia de Intelixencia Artificial de Beijing (BAAI), adestrado principalmente en chinés, pero tamén con capacidades en inglés.
BERT (Bidirectional Encoder Representations from Transformers) é un modelo desenvolvido por Google que foi pioneiro no uso de transformadores para entender o contexto das palabras nun texto de forma bidireccional. Aínda que o BERT orixinal non é un LLM no mesmo sentido que os modelos GPT, a súa arquitectura abriu o camiño para o desenvolvemento de moitos modelos derivados que son libres.
RoBERTa. Desenvolvido por Facebook AI, RoBERTa é unha optimización de BERT que mellora o seu rendemento mediante o axuste do proceso de adestramento e o aumento da cantidade de datos de adestramento.
XLNet. XLNet é outro modelo baseado en transformadores, desenvolvido por Google Brain e Carnegie Mellon University, que supera a BERT en varias tarefas de comprensión de texto.
OpenAI’s GPT-2. Aínda que OpenAI limitou inicialmente o acceso ao seu modelo GPT-3 debido a preocupacións sobre o seu potencial mal uso, a versión anterior, GPT-2, foi liberada completamente como código aberto. Isto permitiu a investigadores e desenvolvedores explorar e experimentar coas capacidades do modelo.
FairSeq. Desenvolvido por Facebook AI Research, FairSeq é unha biblioteca de aprendizaxe profunda para secuencia a secuencia (seq2seq) que inclúe implementacións de BART, RoBERTa, e outros modelos baseados en transformadores. Aínda que FairSeq en si mesmo é máis un marco de traballo que un modelo específico, proporciona as ferramentas necesarias para adestrar e despregar LLMs.
TensorFlow Model Garden. Aínda que TensorFlow en si mesmo é unha biblioteca de aprendizaxe automática de código aberto desenvolvida por Google, o Model Garden ofrece un conxunto de modelos pre-adestrados e implementacións que inclúen técnicas de última xeración.
AllenNLP. Desenvolvido polo Allen Institute for AI, AllenNLP é unha plataforma de código aberto deseñada para a investigación en PLN. Ofrece unha ampla gama de modelos pre-adestrados e ferramentas para facilitar a experimentación en comprensión de lectura, inferencia textual, e máis.

Estes modelos e ferramentas representan só unha mostra do amplo e crecente ecosistema de intelixencia artificial libre e de código aberto. A dispoñibilidade destes recursos permite a unha ampla gama de usuarios, dende investigadores ata entusiastas, explorar as fronteiras da tecnoloxía de IA e contribuír ao seu desenvolvemento de forma colaborativa.

Plataformas de acceso a LLMs

Para acceder a estes recursos dunha forma sinxela, pódese facer a través de plataformas en liña como:

Hugging Face. Ofrece unha ampla gama de LLMs pre-adestrados, incluíndo algúns de código aberto como Bloom e LaMDA, con interfaces fáciles de usar para a súa implementación.
Google AI Platform. Proporciona acceso a algúns dos seus LLMs máis avanzados, como LaMDA e Meena.
DeepMind. Ofrece acceso a algúns dos seus LLMs de investigación, como Gopher e Gato.

Problemas dos LLMs

Ainda que esta tecnoloxía ten un gran potencial, hai que ter en conta que poden presentarse diferentes problemas co seu uso:

Sesgos. Os LLMs poden herdar sesgos presentes nos datos de adestramento, o que pode xerar resultados discriminatorios ou inxustos. Por exemplo, se un LLM adestrase con un conxunto de datos que contén principalmente textos escritos por homes, é probable que xere resultados que favorezan aos homes.
Interpretabilidade. A complexidade dos LLMs dificulta a comprensión de como funcionan e por que xeran certos resultados. Isto pode dificultar a detección de erros ou sesgos no modelo, así como a confianza nas súas decisións.
Seguridade e ética. É importante utilizar os LLMs de forma responsable e ética para evitar o seu uso con fins maliciosos. Os LLMs poderían ser utilizados para xerar contido falso, propaganda ou para manipular ás persoas.

Evolución dos modelos

Ao longo dos últimos anos, estes modelos tiveron unha rápida evolución que podemos resumir nos seguintes puntos:

Aumento do tamaño e a complexidade. Os LLMs experimentaron un crecemento exponencial no seu tamaño, con algúns modelos actuais que albergan miles de millóns de parámetros, o que lles permite procesar información con maior precisión e xerar resultados máis complexos.
Mellora na xeración de texto creativo. Os LLMs agora poden escribir poemas, historias, guións e mesmo código cun nivel de calidade comparable ao dun humano.
Desenvolvemento de novas aplicacións. Implementáronse LLMs en diversos campos como a educación, a atención sanitaria, o servizo ao cliente e o desenvolvemento de software, entre outros. No ámbito educativo, por exemplo, utilizanse LLMs para crear plataformas de aprendizaxe personalizadas que se adaptan ás necesidades de cada estudante.

En conclusión, nos últimos anos tiveron lugar grandes avances no campo dos LLMs. Estes modelos teñen o potencial de transformar a forma en que interactuamos coas computadoras e o mundo que nos rodea. Non obstante, aínda hai desafíos que abordar, como os sesgos, a interpretabilidade e a seguridade, para garantir un desenvolvemento e uso responsable desta tecnoloxía.

Pílula en vídeo do artigo

Xunta

Xunta de Galicia, Información mantida e publicada na internet pola Xunta de Galicia

Atención á cidadanía - Accesibilidade - Aviso legal - Mapa do portal