- Un model de llenguatge prediu tokens en funció del context, i els LLM escalen aquesta idea amb milers de milions de paràmetres i l'arquitectura Transformer.
- L'autoatenció permet als LLM considerar tota la seqüència alhora, capturant dependències llargues i facilitant l'entrenament massiu i paral·lel.
- LLM com GPT, BERT o Flama impulsen aplicacions reals: assistents virtuals, traducció, generació de codi i automatització empresarial.
- La seva potència ve acompanyada de riscos: al·lucinacions, biaixos, alt cost computacional i desafiaments ètics i reguladors que requereixen una adopció responsable.
Els models de llenguatge han esdevingut el cor de la intel·ligència artificial moderna: estan darrere de assistents virtuals i chatbots, traductors automàtics i eines que escriuen codi o redacten textos gairebé com una persona. Encara que sembli màgia, en realitat combinen estadística, xarxes neuronals i enormes quantitats de dades per predir quina paraula, frase o fins i tot imatge té més sentit a continuació.
En els darrers anys han irromput amb força els LLM o Large Language Models, que són versions gegantines i molt més potents dels models de llenguatge clàssics. Aquests sistemes no només generen text fluid, sinó que també resumeixen documents, responen preguntes complexes, tradueixen entre idiomes i fins i tot raonen a cert nivell. Desgranarem amb calma què són, com funcionen per dins, quins tipus existeixen, quins usos reals tenen en empreses i quins riscos i limitacions convé tenir molt presents.
Què és exactament un model de llenguatge
Un model de llenguatge és, en essència, un sistema estadístic o computacional que assigna una probabilitat a seqüències de tokens. Un token pot ser una paraula completa, una subparaula o fins i tot un caràcter. L'objectiu del model és estimar quin token és més probable que aparegui a continuació en una seqüència donada.
Si pensem en una frase amb un buit, el model calcula quines possibles continuacions encaixen millor amb el context. Per exemple, davant l'oració “When I hear rain on my roof, I _______ in my kitchen”, el sistema pondera alternatives com “cook soup”, “heat a kettle” o “take a nap” assignant a cadascuna una probabilitat diferent. Una aplicació pot triar lopció de major probabilitat o mostrejar entre diverses candidates per sobre de cert llindar per donar varietat.
Aquest mateix mecanisme de predir el següent token s'estén de manera natural a tasques més complexes: generació de text complet, traducció d'un idioma a un altre, creació de resums, resposta a preguntes, classificació, extracció d'informació, etc. En modelar patrons estadístics del llenguatge, el sistema acaba desenvolupant representacions internes molt riques que capturen gramàtica, estil i relacions entre conceptes.
Per aconseguir-ho, els models de llenguatge s'entrenen amb grans corpus de text i aprenen a ajustar els paràmetres interns per apropar les seves prediccions als exemples reals. El nombre d'aquests paràmetres (pesos) és el que solem esmentar quan parlem de models amb milions, milers de milions o fins i tot bilions de paràmetres.
Context: dels n-grames a les xarxes neuronals
Durant molt de temps, lenfocament més habitual per construir models de llenguatge van ser els models de n-grames. Un n-grama és una seqüència ordenada de N paraules: quan N=2 parlem de bigrames; quan N=3, de trigrames; i així successivament. Per exemple, a partir de la frase “you are very nice”, els bigrames serien “you are”, “are very” i “very nice”.
Amb un model de trigrames, donat un context de dues paraules, el sistema calcula la probabilitat de cada possible tercera paraula en funció de quantes vegades hagi vist aquest trigrama al corpus d'entrenament. Si hem observat moltes frases del tipus “orange is ripe” i molt poques del tipus “orange is cheerful”, la primera continuació tindrà més pes quan el context sigui “orange is”.
El problema és que el context disponible és molt limitat. Un trigrama només sap mirar dues paraules cap enrere, cosa que sol ser insuficient per resoldre ambigüitats (per exemple, si «orange» és una fruita o un color) o per capturar dependències a llarga distància. Augmentar N ofereix més context, però dispara l'escassetat de dades: els 6-grames o 7-grames apareixen tan poques vegades que és difícil estimar probabilitats fiables.
Per superar aquesta limitació van arribar les xarxes neuronals recurrents (RNN), que processen el text token a token mantenint un estat intern que actua com a memòria del context anterior. Variants com LSTM o GRU van millorar la capacitat de retenir informació durant més temps, fet que va permetre capturar dependències més llargues que amb n-grames i reduir errors de predicció en oracions complexes.
No obstant això, les RNN tenen les seves pròpies pegues: la natura estrictament seqüencial del seu processament en dificulta la paral·lelització i fa que l'entrenament per a seqüències llargues sigui costós i lent. A més, pateixen el conegut problema de la desaparició del gradient, que limita la quantitat de context útil que poden manejar a la pràctica. Aquesta combinació de colls de botella va motivar la cerca de noves arquitectures més eficients.
La revolució Transformer i el mecanisme d'autoatenció
L'autèntic salt de gegant va arribar amb la arquitectura Transformer, presentada el 2017 al famós article «Attention is all you need». Aquest enfocament va abandonar completament la recurrència i es va recolzar en un mecanisme clau: la autoatenció (self-attention), que permet al model mirar simultàniament tots els tokens d'una seqüència i ponderar quines parts del context són més rellevants per a cada posició.
El procés arrenca amb la tokenització, en què el text es trosseja en tokens (paraules, subparaules, etc.). Cada token es mapeja a un vector numèric anomenat incrustació, que recull informació semàntica i sintàctica. Aquests embeddings passen per múltiples capes del Transformer, i en cadascuna es refinen progressivament, convertint-se en representacions contextuals més riques que incorporen informació sobre la resta de tokens.
Perquè el model sàpiga en quina posició està cada token, s'hi afegeixen codificacions posicionals. Aquestes indiquen el lloc del token a la seqüència i permeten que l'autoatenció distingeixi entre, per exemple, una paraula que apareix al principi i una altra idèntica que apareix al final, una cosa crucial per captar l'ordre i l'estructura de les frases.
L'autoatenció funciona projectant cada embedding en tres vectors diferents mitjançant matrius de pesos apreses: consultes (Q), claus (K) i valors (V). La consulta representa el que un token cerca a la resta de la seqüència, la clau reflecteix la informació que cada token ofereix i el valor és la informació que es propagarà ponderada per l'atenció.
El model calcula llavors puntuacions d'alineació com la similitud entre cada consulta i totes les claus. Després de normalitzar aquestes puntuacions (per exemple, amb softmax), obteniu pesos d'atenció que determinen quant contribueix el valor de cada token a la nova representació del token actual. D'aquesta manera, la xarxa se centra amb flexibilitat en el context rellevant i deixa en segon pla tokens menys útils (com certes paraules funcionals o termes irrellevants en un passatge determinat).
Un dels grans avantatges del Transformer és que aquest mecanisme s'aplica de manera altament paral·lelitzable. A diferència de les RNN, on es processava token a token, aquí totes les posicions de la seqüència es tracten alhora, cosa que accelera enormement l'entrenament en maquinari modern. Aquesta combinació de més context, millor capacitat per capturar dependències llargues i eficiència computacional ha permès escalar els models fins a mides impensables fa uns anys.
Què són els LLM (Large Language Models)
Sobre la base dels Transformers han sorgit els LLM o Large Language Models, literalment models de llenguatge grans. Es tracta de xarxes neuronals profundes amb milions, milers de milions o fins i tot bilions de paràmetres entrenades sobre quantitats massives de text procedent de llibres, articles, webs, documentació tècnica i altres recursos públics (ia vegades privats).
Aquests models utilitzen aprenentatge profund i s'entrenen predominantment auto-supervisada: en lloc de dependre de dades etiquetades manualment, aprenen a partir de text sense anotar, resolent tasques internes com predir la següent paraula o emplenar buits en una oració. A partir d´aquí adquireixen, de manera implícita, coneixement sobre gramàtica, idiomes, fets del món, estils d´escriptura, formes de raonament i patrons de conversa.
Un LLM clàssic s'entrena inicialment mitjançant aprenentatge no supervisat per predir la paraula següent donat un context. En alguns casos es fa una segona fase similar, ampliant dades o ajustant l'objectiu d'entrenament per capturar millor el context. Després sol afegir-se una etapa de aprenentatge supervisat o de RLHF (Reforç de l'aprenentatge a partir de la retroalimentació humana), on anotadors humans avaluen respostes generades, marquen quines són bones o dolentes i aquest senyal s'utilitza per afinar el comportament del model.
Aquesta combinació de preentrenament massiu i ajustament posterior permet que els LLM realitzin tasques com traducció, redacció, resum, diàleg, generació de codi o classificació amb una fluïdesa molt propera a la humana. Eines com ChatGPT, Claude, Gemini, Flama o moltes solucions empresarials es recolzen precisament en aquest tipus de models per oferir assistents conversacionals, sistemes de cerca avançada o agents autònoms que interactuen amb dades corporatives.
Convé recalcar que, malgrat la seva intel·ligència aparent, un LLM no «entén» el llenguatge com una persona. El que fa és modelar patrons estadístics i predir la continuació més probable, encara que el grau de sofisticació és tan gran que, a efectes pràctics, moltes vegades la diferència és difícil d'apreciar en el dia a dia.
Entrenament d'un LLM: dades, pesos i funció de pèrdua
L'entrenament d'un LLM comença amb la recopilació i la depuració d'un conjunt de dades gegantines. Aquestes dades es normalitzen, es filtren per eliminar soroll i es tokenitzen. A continuació, s'inicialitzen els pesos del model i es defineix una funció de pèrdua que mesura l'error entre les prediccions i les seqüències reals d'entrenament.
Durant milions o fins i tot milers de milions de passos d'entrenament, el model fa prediccions token a token i la funció de pèrdua quantifica com de lluny està de la seqüència correcta. Mitjançant algorismes com el descens de gradient i la retropropagació, els pesos es van ajustant capa a capa a cada iteració per reduir aquest error. D'aquesta manera, les matrius que generen les consultes, les claus i els valors de l'autoatenció, així com les projeccions dels embeddings, van adoptant configuracions cada cop més útils.
En aquest procés el model aprèn associacions semàntiques: tokens com a «gos» i «bordar» acaben propers a l'espai vectorial quan el context parla de mascotes, mentre que «bordar» i «arbre» apareixen menys relacionats. Aquest espai d'embeddings captura similituds de significat, analogies i relacions entre conceptes que després s'exploten en tasques posteriors.
Un cop finalitzat el preentrenament, se sol realitzar un ajust fi (fine-tuning) amb conjunts de dades més específiques per orientar el model a tasques concretes: seguir instruccions, respondre preguntes de manera educada, respectar certs criteris de seguretat, adoptar un to determinat, etc. En models conversacionals com GPT-4, aquesta fase sol anar acompanyada de RLHF, on humans i de vegades altres models avaluen propostes de resposta i ajuden a orientar el sistema cap a comportaments més útils i segurs.
El resultat final és un model que ha interioritzat patrons de gramàtica, coneixement factual, estructures de raonament i estils de forma distribuïda als seus paràmetres. Quan rebeu una entrada nova, podeu generar sortides coherents, adaptades al context i, en molts casos, creatives.
GPT, ChatGPT i la seva relació amb els LLM
El terme GPT correspon a les sigles en anglès de Generative Pre-trained Transformer. Fa referència a una família concreta de LLM desenvolupada per OpenAI que es recolza directament a l'arquitectura Transformer. Generative indica la seva capacitat per produir contingut nou, Pretrained al·ludeix que s'entrena prèviament amb grans corpus abans d'ajustar-se a tasques específiques, i Transformer assenyala la base arquitectònica.
Xat GPT és, en realitat, una aplicació de xat construïda sobre models GPT (com GPT-4 i les seves variants). El LLM actua com a «cervell» que genera les respostes, mentre que la interfície de ChatGPT és la capa que permet als usuaris conversar amb aquest model de manera senzilla. Sense un model de llenguatge subjacent, ChatGPT no seria res més que una caixa de text buida sense capacitat de generació.
La diferència entre GPT i LLM es pot entendre així: LLM és la categoria general que engloba qualsevol model de llenguatge gran; GPT és una família específica dins aquesta categoria. Altres exemples de LLM que no pertanyen a GPT són Claude (Anthropic), Gemini (Google), Flama (Meta), Mistral o models oberts com BLOOM.
Tipus de models de llenguatge i famílies destacades
Dins l'ecosistema actual hi ha múltiples tipus de LLM i models de llenguatge, cadascun amb objectius i característiques diferents. Alguns estan pensats per a tasques de propòsit general, altres per a comprensió profunda del context, alguns per a generació de codi i altres per a dominis molt especialitzats.
Entre els models de propòsit general orientats a generació de text i conversa destaquen GPT-3/GPT-4 d'OpenAI, Claude d'Anthropic, els models PaLM i Gemini de Google, i la família diu de Meta, que ha impulsat especialment l?ecosistema open source. Moltes plataformes empresarials ofereixen hubs on es pot triar entre diversos d'aquests models segons el cas d'ús, cost, latència i restriccions de privadesa.
En l'àmbit de la comprensió de llenguatge, models com BERT (Bidirectional Encoder Representations from Transformers) van marcar un abans i un després. BERT s'entrena de forma bidireccional, és a dir, aprèn a predir paraules emmascarades usant tant el context anterior com el posterior, cosa que li permet captar millor matisos i relacions complexes en una frase. Variants com DistilBERT, RoBERTa, ALBERT o XLM-R optimitzen rendiment, mida o suport multilingüe.
Per a la generació de codi hi ha models com Codex (base de GitHub Copilot) o AlphaCode, entrenats específicament sobre repositoris de programació i problemes algorítmics. Aquests sistemes són capaços de suggerir funcions, completar blocs de codi o fins i tot resoldre exercicis complexos a partir de descripcions en llenguatge natural.
Al terreny multilingüe i multimodal trobem propostes com BLOOM, CLIP o els propis GPT moderns, capaços de treballar amb text, imatges, àudio i fins i tot vídeo. La tendència clara és cap a models que integren diverses modalitats alhora, cosa que obre la porta a aplicacions com anàlisi de vídeo amb descripció textual, assistents que entenen diagrames o sistemes que creuen informació visual i textual; fins i tot existeixen models de veu i multimodals com MAI Voice 1 que mostren aquesta evolució.
Finalment, han guanyat pes els LLM petits o eficients, dissenyats per executar-se en dispositius amb recursos limitats (mòbils, edge, etc.) o per reduir costos d'inferència. Versions reduïdes de Flama, T5, ALBERT o altres models permeten desplegar capacitats de IA generativa sense necessitat de grans infraestructures al núvol.
LLM davant de NLP tradicional
És freqüent barrejar els conceptes LLM i NLP. El NLP (Natural Language Processing) és el camp ampli que engloba totes les tècniques de tractament automàtic del llenguatge: anàlisi de sentiment, extracció d'entitats, detecció de temes, traducció, resum, etc. Històricament, cadascuna d'aquestes tasques es resolia amb models específics entrenats ad hoc: algorismes estadístics, sistemes basats en regles, models de n-grames, xarxes LSTM, word2vec, etc.
Els LLM suposen una evolució del NLP tradicional. En lloc d'entrenar un model diferent per a cada tasca, un únic model gran i generalista pot fer traducció, resum, classificació, generació de text, raonament bàsic i moltes altres operacions sense entrenament addicional o amb molt poc ajust (el que es coneix com a zero-shot i few-shot learning).
La diferència clau és a la escala i lenfocament: mentre que al NLP clàssic els models s'entrenaven sobre conjunts relativament petits i etiquetats, els LLM aprenen de bilions de tokens sense etiquetar, capturant patrons molt més rics. Això no vol dir que el NLP hagi quedat obsolet; més aviat, els LLM han esdevingut models fundacionals sobre els quals es construeixen solucions específiques de NLP en contextos reals.
Aplicacions pràctiques dels models de llenguatge
Avui dia, els LLM són la columna vertebral d'una enorme varietat de aplicacions i productes. En l'àmbit dels assistents virtuals, impulsen eines com Siri, Google Assistant, Alexa o chatbots web que entenen sol·licituds en llenguatge natural i tornen respostes rellevants, executen ordres o realitzen accions com enviar missatges i programar cites.
En traducció automàtica, models avançats permeten traduir textos de manera més precisa i natural que els sistemes clàssics basats en regles. Plataformes com Google Translate o DeepL han millorat clarament la seva qualitat gràcies a arquitectures de tipus Transformer entrenades amb dades multilingües massives.
En productivitat, els models de llenguatge s'integren a correctors gramaticals i d'estil, funcions d'autocompletat en mòbils i processadors de text, suggeriments de cerca en navegadors i formularis, així com sistemes de generació de contingut per a xarxes socials, blocs o campanyes publicitàries. Si vols aprendre a utilitzar la intel·ligència artificial als teus documents, hi ha guies pràctiques que mostren com aplicar aquestes funcions a editors moderns.
En el terreny empresarial, els LLM es fan servir per automatitzar atenció al client mitjançant chatbots capaços de resoldre dubtes freqüents, crear resums executius de documents interns, ajudar a redactar informes, generar codi en equips de desenvolupament o assistir a tasques repetitives administratives. Tècniques com RAG (Retrieval-Augmented Generation) permeten connectar el model amb bases de coneixement internes perquè les respostes es basen en informació verificada i actualitzada.
També hi ha LLM especialitzats per domini, com BioBERT per a investigació biomèdica, FinBERT per a textos financers o LegalBERT per a documents legals. Aquests models s'afinen sobre corpora específics per millorar la precisió al seu camp i donar suport a metges, advocats o analistes en la lectura i la síntesi de grans volums d'informació.
Avantatges, debilitats i reptes ètics
Els models de llenguatge grans ofereixen beneficis evidents: automatitzen tasques monòtones, augmenten la productivitat, permeten crear assistents conversacionals més naturals, agiliten traduccions, acceleren la programació i faciliten l'accés a informació complexa. Són un factor de disrupció similar a la robotització a la indústria, però aplicat al treball del coneixement.
No obstant això, arrosseguen una sèrie de limitacions importants. La més coneguda són les “al·lucinacions”: el model pot generar respostes que sonen molt convincents però són falses o inexactes. Com que aprèn de correlacions estadístiques i no d'una comprensió profunda del món, es poden inventar cites, dades o referències que mai no han existit.
Un altre repte clau és el biaix. Els LLM hereten de les dades d'entrenament prejudicis culturals, estereotips o patrons discriminatoris, cosa que es pot traduir en respostes problemàtiques si no es filtren ni es corregeixen. A més, plantegen qüestions de privadesa i compliment normatiu quan s'utilitzen amb dades sensibles, especialment si es despleguen mitjançant APIs externes en comptes d'infraestructura pròpia.
El cost computacional d'entrenar i executar models gegantins és molt elevat, tant en termes econòmics com energètics. Això genera debats sobre sostenibilitat i concentració de poder tecnològic en unes quantes empreses amb capacitat per entrenar models de darrera generació.
A Europa i altres regions, marcs reguladors com el Llei AI exigeixen transparència, avaluació de riscos i supervisió humana, especialment en sistemes que interactuen amb consumidors o prenen decisions amb impacte significatiu. A això s'hi afegeix el risc de dependència d'un únic proveïdor (vendor lock-in), cosa que moltes empreses intenten mitigar explorant models oberts i estratègies híbrides.
Com es dissenyen i ajusten els LLM a la pràctica
Des del punt de vista d'enginyeria, crear i explotar un LLM implica seguir una sèrie de etapes clau. Primer es defineix el propòsit: es busca un model generalista, un assistent de suport tècnic, un sistema per a anàlisi legal, una IA per a màrqueting i vendes? Aquesta decisió orienta quines dades se seleccionen i com se n'avaluarà el rendiment.
Després s'aborda el preentrenament, recopilant i estandarditzant un conjunt de dades massiu i divers. Tot seguit es tokenitza el text i es fixa l'arquitectura (nombre de capes, mida d'embeddings, nombre de caps d'atenció, etc.). L'elecció d'infraestructura és crítica: calen servidors d'alt rendiment, amb moltes GPU o TPU, o clústers al núvol preparats per manejar càrregues enormes.
Durant l'entrenament s'ajusten hiperparàmetres com la taxa daprenentatge, la mida de lot, el nombre de passos, les estratègies de regularització i els esquemes de programació de laprenentatge. Un cop finalitzada aquesta etapa, es passa a l'ajust fi, on el model es refina iterativament amb dades específiques, mètriques de qualitat i, en molts casos, avaluació humana.
En ús real, molts professionals no entrenen models des de zero, sinó que recorren a LLM ja preentrenats proporcionats per grans organitzacions o per la comunitat open source. Sobre ells apliquen tècniques de fine-tuning lleuger, prompt engineering, RAG o destil·lació per adaptar-los al seu context, reduir costos i millorar l'eficiència en producció.
Dins aquest ecosistema més ampli, els LLM es consideren models fundacionals: grans xarxes generals sobre les quals es construeixen solucions verticals. La seva capacitat d'adaptació, sumada al ràpid avenç de versions multimodals i més eficients, apunta a un futur en què eines cada cop més accessibles permetran a empreses i usuaris aprofitar la IA generativa de forma quotidiana.
Tot aquest panorama fa que els models de llenguatge passin de ser una curiositat de laboratori a convertir-se en una infraestructura bàsica de l'economia digital: ja estan transformant l'atenció al client, el màrqueting, el desenvolupament de programari, la investigació i la manera com interactuem amb la tecnologia. Entendre com funcionen, què poden fer i on fallen és clau per aprofitar-ne els avantatges sense perdre de vista els seus riscos i limitacions.
