- Definició dels models fundacionals com a sistemes entrenats a escala que serveixen de fonament per a múltiples tasques específiques.
- Anàlisi de l'arquitectura Transformer i el procés de preentrenament autosupervisat i ajustament fi.
- Avaluació de l'impacte social, els riscos ètics i els desafiaments computacionals del desplegament massiu.
Si has estat seguint el soroll que hi ha darrerament sobre la intel·ligència artificial, hauràs sentit a parlar d'eines que semblen fer de tot, des d'escriure poemes fins a programar codi complex. Darrere de tota aquesta màgia hi ha un concepte clau: els models fundacionals. Bàsicament són com el xassís d'un cotxe; una estructura robusta i general que després es pot personalitzar perquè sigui un esportiu, un camió o un utilitari, depenent del que necessitem a cada moment.
El que fa que aquests sistemes siguin tan disruptius és que ja no dissenyem una IA per a una sola tasca, sinó que creem un gegant digital entrenado con cantidades ingentes de datos que luego podemos «moldear». Este cambio de paradigma ha permitido que la IA pase de ser algo muy rígido a convertirse en una herramienta flexible que aprende patrones generales del mundo para luego aplicarlos a problemas concretos, lo que ha acelerado la innovación a un ritmo que, sinceramente, deja fría a cualquiera.
Què és exactament un model fundacional?
Per posar-ho en paraules senzilles, un model fundacional és qualsevol sistema d'IA que s'entrena amb una quantitat massiva de dades (usualment mitjançant autosupervisió) i que té la capacitat d'adaptar-se, mitjançant un procés anomenat ajust fi, a una varietat enorme d'aplicacions. No són una cosa totalment nova, ja que beuen de l'aprenentatge profund i la transferència de coneixement, però la escala sense precedents de les dades i el còmput ha fet que apareguin capacitats que ningú no havia previst.
És fonamental no confondre'ls amb els LLM (Large Language Models). Encara que sovint es fan servir com a sinònims, la relació és de gènere i espècie: tots els LLM són models fundacionals, però no tots els models fundacionals són LLM. Mentre que els LLM se centren en text i codi, els fundacionals poden ser multimodals, processant imatges, àudio, vídeo o fins i tot senyals sensorials de robots.
Els pilars tècnics: Transformer i entrenament
L'arquitectura que ha fet possible tot això és el transformador. Este sistema utiliza un mecanismo llamado «autoatención», que permite al modelo entender la importancia de diferentes partes de una secuencia, sin importar que estén lejos unas de otras. Consta habitualmente de un codificador y un decodificador que generan representacions vectorials (embeddings) que capturen el sentit profund del llenguatge o de les imatges.
El procés de creació es divideix normalment en diverses etapes:
- Preentrenament: Es la fase más costosa. El modelo «devora» internet, libros y bases de datos para aprender la estructura general de la información. Aquí es donde se definen el nombre de paràmetres, la quantitat de tokens i la finestra de context.
- Ajust fi (Fine-tuning): Quan el model és generalista, s'entrena amb dades específiques i supervisades per humans perquè sigui expert en una àrea, com la medicina o el dret.
- Adaptació a la tasca: És el darrer pas, on s'optimitza el model per a una funció molt concreta, com crear un cercador de jurisprudència o un generador dinformes tècnics.
Models destacats que han marcat la història
Des del 2018, hem vist passar una processó de models que han mogut el tauler. BERT va ser un dels pioners, destacant per la seva capacitat bidireccional per entendre el context. Després va arribar la família GPT d'OpenAI, evolucionant des del GPT-1 fins al GPT-4, demostrant que com més escala, més capacitats emergents, com l'aprenentatge zero-shot.
Però no estan sols. Tenim a Claude d'Anthropic, amb versions com Sonnet, Opus i Haiku que busquen un equilibri entre intel·ligència i velocitat. D'altra banda, Amazon Nova ofereix una gamma que va des de la comprensió multimodal fins a la generació creativa de vídeo. No podem oblidar Difusió estable, que va portar la potència dels models fundacionals al món de les imatges, o BLOOM, un esforç multilingüe i col·laboratiu que demostra que el codi obert també té el seu lloc.
Capacitats i aplicacions al món real
Aquests models no només escriuen correus. El seu impacte s'estén a sectors crítics:
- Sanitat: Ajuden al descobriment de fàrmacs i l'anàlisi d'imatges mèdiques, encara que requereixen una explicabilitat total per evitar errors fatals.
- dret: Faciliten la revisió de contractes i l'anàlisi de llargues narratives legals, reduint els costos d'accés a la justícia.
- educació: permeten un aprenentatge personalitzat i adaptatiu, encara que plantegen reptes sobre el plagi i la bretxa tecnològica.
- robòtica: Es busca crear robots generalistes que no hagin de ser programats des de zero per a cada tasca, sinó que usin un model base per a interactuar amb l'entorn físic.
El costat fosc: Riscos, ètica i medi ambient
No tot és color de rosa. L'homogeneïtzació és un risc seriós: si tothom fa servir el mateix model base, qualsevol biaix o error intrínsec se propagará por todas las aplicaciones derivadas, creando un «monocultivo algorítmico». Además, están las alucinaciones, esos momentos en los que la IA inventa datos con una seguridad pasmosa, lo que obliga a una verificació humana constant.
Des del punt de vista ètic i legal, hi ha una batalla oberta sobre la propietat intel · lectual, ja que molts models s'entrenen amb dades sense el consentiment explícit dels seus creadors. A això se suma el peatge ecològic; entrenar aquests gegants consumeix una quantitat ingent d'energia i aigua, cosa que obliga a buscar arquitectures més eficients i centres de dades sostenibles.
El futur i la governança de la IA
El camí cap endavant passa per la democratització de l'accés. Actualment, l'entrenament dels models més potents està centralitzat en unes quantes empreses a causa del cost del maquinari (GPU). És vital que les universitats i els governs inverteixin en infraestructures públiques per evitar que el poder de la IA quedi en mans d'un oligopoli tecnològic.
La clau estarà a la transparència i les auditories independents. No n'hi ha prou que una empresa digui que el seu model és segur; necessitem marcs regulatoris (com la Llei d'IA de la UE) i normes professionals que garanteixin que aquestes eines es facin servir per millorar la societat i no per potenciar la vigilància massiva o la desinformació.
L'ecosistema de la intel·ligència artificial ha girat cap a una estructura on uns quants models base sostenen milers d'aplicacions especialitzades, combinant la potència del processament massiu amb la precisió de l'ajust humà. Aquest avenç, encara que planteja dilemes ètics profunds i un consum energètic preocupant, redefineix la relació entre humans i màquines en convertir la IA en una infraestructura general capaç de raonar, crear i aprendre en múltiples dominis simultàniament.
