- Els chatbots mostren una aparent competència moral, però les seves respostes són inestables i sensibles al context, cosa que exigeix avaluacions ètiques molt més rigoroses.
- L'ètica en chatbots combina reptes de pluralisme de valors, biaixos culturals, privadesa i governança de dades, especialment en empreses i educació.
- En educació i ciència, la IA generativa planteja riscos de plagi, al·lucinacions i pèrdua de pensament crític, per la qual cosa cal regulació i pedagogia específiques.
- La confiança en la IA conversacional passa per transparència, supervisió humana, mitigació de biaixos i un ús responsable centrat en el benestar de les persones.
L'aparició dels grans models de llenguatge ha col·locat els chatbots d'intel·ligència artificial al centre del debat ètic . Ja no són simples assistents que resolen dubtes bàsics: avui se'ls demana que actuïn com a acompanyants emocionals, assessors educatius, suport en salut mental o fins i tot com a ajuda en decisions mèdiques i legals. En aquest context, allò que abans era un “experiment curiós” s'ha convertit en una tecnologia amb impacte directe a la vida i el benestar de les persones.
Alhora, mentre mesurem al mil·límetre la seva capacitat per programar codi o resoldre problemes matemàtics, l' avaluació del seu comportament moral i les seves implicacions ètiques continua sent molt més difusa. La moralitat no ofereix solucions úniques i tancades, però tampoc no val tot. Per això s'està començant a exigir que l'ètica dels chatbots s'examini amb un rigor comparable al que fem servir per provar el seu rendiment tècnic , i que empreses, administracions i universitats es prenguin seriosament la manera com aquests sistemes prenen decisions, argumenten i es relacionen amb les persones.
Per què avaluar l'ètica als chatbots és tan complicat
En avaluar la competència d'un model de llenguatge en matemàtiques o programació, és senzill comprovar si una resposta és “correcta” o “incorrecta” de manera objectiva . En canvi, quan entrem al terreny dels dilemes morals, trobem un ventall de respostes raonables, influït per valors culturals, creences religioses, context social i preferències personals . Això converteix l'avaluació ètica dels chatbots en un repte molt més esmunyedís.
Els estudis recents mostren que els grans models de llenguatge poden exhibir una aparent sofisticació moral sorprenent . En alguns experiments, participants nord-americans han arribat a jutjar més ètics, fiables i reflexius els consells d'un model com a GPT-4 que els de columnistes humans especialitzats en ètica. Tot i això, encara no és clar si aquesta competència reflecteix un raonament moral genuí o una mera imitació estadística de patrons de text presents en les dades d'entrenament.
Una preocupació central és la gran inestabilitat de les respostes morals dels chatbots. S'ha observat que aquests sistemes canvien fàcilment la seva postura quan l'usuari insisteix, mostra desacord o reformula la pregunta. La mateixa qüestió ètica pot rebre respostes diferents —fins i tot oposades— en funció de si es planteja en format d'opció múltiple, com a pregunta oberta o amb lleugeres variacions a la redacció.
Hi ha experiments encara més cridaners: en plantejar dilemes morals amb dues opcions etiquetades com “Cas 1” i “Cas 2”, i repetir exactament el mateix problema substituint aquestes etiquetes per “A” i “B”, alguns models canviaven sovint d'elecció . També s'han detectat variacions de criteri només per alterar l'ordre de les opcions o acabar la pregunta amb dos punts en comptes de fer-ho amb un signe d'interrogació. Tot plegat suggereix que, en moltes situacions, el model no mostra una postura moral robusta, sinó sensibilitat extrema a pistes superficials de l'enunciat.
Per aquest motiu, la comunitat científica insisteix que l'aparença de comportament ètic no es pot donar per bona sense més ni més. Cal “sondejar” i estressar els models amb bateries de proves molt més sofisticades, dissenyades específicament per detectar si estem davant de virtut real o només aparença de virtut, i fins a quin punt podem fiar-nos de les seves respostes en contextos delicats.
Proves rigoroses per mesurar la competència moral dels models
Investigadors de centres capdavanters com Google DeepMind proposen una línia de treball enfocada a desenvolupar tècniques d'avaluació ètica tan exigents com les proves tècniques . L'objectiu és deixar de refiar-se només d'exemples vistosos i de passar a disposar de marcs sistemàtics per mesurar la solidesa moral d'un chatbot. Una de les idees clau és construir proves dissenyades explícitament per pressionar el model i fer-lo canviar de resposta moral.
En aquest tipus dexperiments es plantegen escenaris on un sistema èticament robust hauria de mantenir la seva postura malgrat reenquadraments, canvis superficials de format o lleugeres reformulacions. Si el model modifica el seu judici moral per detalls irrellevants, això indica que el raonament és fràgil i molt influït per patrons de forma més que per principis de fons. Aquest tipus d'avaluació permet anar més enllà del simple què respon? i entrar al “què tan ferm és la seva posició?”
Una altra família de proves consisteix a crear variacions complexes de dilemes morals coneguts per detectar quan el model recorre a respostes prefabricades i quan, en canvi, n'adapta realment el raonament al cas. Per exemple, davant d'un escenari en què un home dona esperma al seu fill perquè aquest pugui tenir descendència, el chatbot hauria de ser capaç de parlar d' impacte social, estructura familiar i possibles implicacions psicològiques , però evitar extrapolar automàticament al terreny de l'incest només perquè la història “sona” semblant a un tabú clàssic.
A més, s'està explorant com aconseguir que els models ofereixin un rastre raonat dels passos que segueixen en generar certes respostes. Tècniques com el chain-of-thought monitoring permeten als investigadors inspeccionar el pseudomonòleg intern del model: cadenes de raonament que no necessàriament es mostren a l'usuari, però que poden ser reveladores sobre si la resposta final està basada en evidència coherent o sorgeix d'associacions superficials.
En paral·lel, l'anomenada interpretabilitat mecanicista intenta obrir la “caixa negra” dels models de llenguatge per identificar quines parts de la xarxa neuronal intervenen en diferents tipus de raonament moral. Tot i que aquestes aproximacions encara estan lluny d'oferir una explicació completa, la combinació de monitorització de la cadena de pensament, eines d'interpretabilitat i conjunts extensos de proves ètiques gaudeix d'un consens creixent com a via prometedora per valorar quins contextos podem confiar de debò en els chatbots , sobretot quan intervenen en decisions sensibles.
Diferències de valors, pluralisme moral i biaixos culturals
Superada —almenys en part— la qüestió de la robustesa, apareix un problema encara més ampli: de quina moral parlem quan avaluem un chatbot? . Els grans models comercials són utilitzats a escala global per persones amb creences religioses, normes socials i visions del món radicalment diferents. Preguntes aparentment simples com “hauria de demanar costelles de porc?” poden tenir una resposta o una altra en funció de si l'usuari és vegetarià, musulmà, jueu, catòlic practicant o no dóna importància a la dieta.
En investigar els valors que exhibeixen els models actuals, s'ha comprovat que el seu comportament moral està fortament marcat pels biaixos occidentals presents a les dades d'entrenament . Encara que hagin estat alimentats amb quantitats gegantines d'informació, aquesta continua procedint en gran mesura d'entorns culturals concrets, cosa que fa que representin amb molta més fidelitat la moralitat occidental que altres tradicions ètiques.
Aquest desequilibri ha portat a parlar de la necessitat d'un autèntic pluralisme en la intel·ligència artificial . La idea és que els sistemes no només siguin capaços d'evitar discriminacions evidents, sinó que reconeguin la diversitat de valors legítims i puguin adaptar-se dins d'uns límits a diferents sensibilitats culturals. Entre les propostes en discussió hi ha la creació d' interruptors de codis morals que permetin personalitzar el comportament ètic del model segons la regió o el perfil de l'usuari, o el disseny de respostes que ofereixin un ventall d'opcions acceptables explicant-ne les implicacions.
Tot i així, la qüestió està lluny de resoldre's. Investigadors especialitzats assenyalen que hi ha almenys dues preguntes obertes: com hauria de funcionar idealment un sistema moralment competent en un context global, i com podem aconseguir-ho tècnicament sense introduir noves formes de biaix o exclusió. Ara com ara, no s'ha assolit un consens, però és clar que la moralitat s'ha convertit en una de les fronteres més interessants per al desenvolupament dels models de llenguatge.
Ètica, privadesa i biaixos en els chatbots que usen les empreses
A mesura que els chatbots amb IA s'integren en l'atenció al client, el màrqueting, els recursos humans o el suport intern, les empreses s'han col·locat a l' epicentre de les preocupacions ètiques . Aquestes eines manegen ingents quantitats de dades d'usuaris, converses completes, historials de compra, incidències i, en molts casos, informació tremendament sensible. Tot això fa que la privadesa i la seguretat de les dades siguin un assumpte crític.
Un dels punts més delicats és el potencial ús d'aquestes converses per tornar a entrenar i millorar els models . Encara que això pugui augmentar la qualitat de les respostes, també obre interrogants sobre el consentiment, l'anonimització i els drets dels usuaris sobre les dades pròpies. Sense regles clares, el risc d'usos indeguts, filtracions o accés no autoritzat es dispara, erosionant la confiança tant a la marca com a la tecnologia.
Més enllà de la privadesa, preocupa la capacitat d'aquests sistemes per manipular o influir de forma subtil en les decisions de les persones . Un chatbot esbiaixat podria, per exemple, recomanar sistemàticament certs productes, invisibilitzar opcions rellevants o respondre de manera diferent segons el perfil de l'usuari, reforçant desigualtats existents. De la mateixa manera, la possibilitat de generar contingut convincent però fals –des de ressenyes manipulades fins a notícies enganyoses– alimenta un escenari de desinformació difícil de controlar.
També hi apareixen qüestions sobre responsabilitat ètica i drets d'autor en el cas de sistemes generatius que creen textos, imatges o àudio. Quines són les obligacions que tenen les empreses que despleguen aquests models sobre l'origen de les dades d'entrenament? Com s'atribueixen les obres generades quan beuen de milions de peces amb copyright? Aquests debats no són teòrics: són a la base de litigis i reformes normatives en marxa.
Davant d'aquest panorama, diferents marcs reguladors —com la Llei d'intel·ligència artificial de la Unió Europea o les recomanacions d'organismes internacionals— posen el focus en obligacions d' avaluació de riscos, transparència, supervisió humana i governança de dades . Per a les companyies, no es tracta només de complir la llei, sinó de construir relacions de confiança sostenibles amb clients i empleats en un entorn on la IA conversacional serà pràcticament omnipresent.
Principis ètics clau per fer servir chatbots en organitzacions
Perquè els chatbots a empreses aportin valor sense convertir-se en una font contínua de problemes, és essencial recolzar-se en uns principis mínims d'ètica aplicada . El primer és la transparència: l'usuari ha de saber en tot moment si està parlant amb una màquina, què pot fer i què no pot fer el sistema, i com es gestionen les dades. Amagar que es tracta d'un chatbot o exagerar-ne les capacitats acaba generant frustració i sensació d'engany.
En segon lloc, les organitzacions han de garantir privadesa i seguretat sòlides al llarg de tot el cicle de vida de les dades: des de la recollida durant la conversa fins a l'emmagatzematge, l'accés intern i l'eventual ús per a entrenament. Això implica limitació de finalitats, minimització de dades, encriptació, controls daccés estrictes i mecanismes per atendre els drets dels usuaris en matèria de protecció de dades.
Un tercer pilar és la precisió i la no discriminació . Cal establir processos per revisar i auditar periòdicament les respostes del chatbot, detectant biaixos, errors sistemàtics o patrons de tracte desigual cap a determinats col·lectius. És recomanable combinar avaluacions automàtiques amb anàlisis humanes, i definir protocols clars per corregir biaixos quan s'identifiquin.
A més, moltes guies recomanen mantenir sempre una via clara d'escapament cap a atenció humana . Els usuaris han de poder sol·licitar, de manera senzilla i visible, parlar amb una persona quan la situació ho requereixi: casos emocionals complexos, reclamacions greus, temes de salut o decisions de gran impacte. El chatbot no s'hauria de convertir en un mur infranquejable entre l'usuari i l'organització.
Per acabar, és clau adoptar un enfocament d' avaluació i millora contínues . L'ètica d'un sistema d'IA no es resol amb una auditoria puntual, sinó que exigeix una constant revisió de mètriques, queixes d'usuaris, canvis reguladors i avenços tècnics. Integrar comitès interns, formació específica i processos de revisió periòdica ajuda a anticipar problemes i no limitar-se a apagar focs.
Privadesa i gestió de dades en chatbots educatius i de consum
Els chatbots generatius que es fan servir tant en el dia a dia com en l'educació superior —com ChatGPT, Gemini i altres— treballen amb volums massius de dades personals i contextuals . En entorns educatius, aquestes dades poden incloure informació sobre rendiment acadèmic, dificultats daprenentatge, preferències, així com dades personals molt sensibles quan lalumnat planteja dubtes íntims o de salut mental. Això crea un tresor digital que, si no es protegeix adequadament, es converteix en una vulnerabilitat enorme.
Regulacions com el Reglament General de Protecció de Dades (RGPD) obliguen que les institucions siguin cristal·lines sobre quines dades recullen, amb quins fins i durant quant de temps . Exigeixen també que els estudiants puguin exercir drets com l'accés, la rectificació o l'eliminació de dades. Aquí sorgeix un problema tècnic delicat: encara que s'esborrin els registres explícits, els models ja han “après” d'aquestes dades, de manera que aplicar de debò un “dret a l'oblit” és extremadament complicat.
A això se suma la manca de transparència algorítmica de molts proveïdors comercials. Les universitats i centres educatius sovint no saben exactament quines dades es fan servir per entrenar els models, com es combinen amb altres fonts o on s'emmagatzemen físicament. Això dificulta el compliment íntegre de la normativa i limita la capacitat de supervisió responsable per part de les mateixes institucions.
Per mitigar aquests riscos, es recomana que els centres educatius defineixin polítiques clares dús de chatbots , diferenciant quan és apropiat recórrer a plataformes externes i quan convé desplegar solucions pròpies allotjades en infraestructures controlades. També és fonamental informar estudiants i docents de manera accessible —sense lletra petita inintel·ligible— sobre els riscos, les salvaguardes implementades i les alternatives disponibles.
En l'àmbit més general de consum, les preocupacions són similars: els usuaris poques vegades tenen control real sobre el cicle complet de les dades, i la combinació de grans volums d'informació amb models cada cop més poderosos dispara el perill de reidentificació, suplantació d'identitat o fuites d'informació confidencial , especialment en organitzacions que combinen chatbots amb altres sistemes de dades massius.
Biaixos algorítmics, equitat i qualitat de la informació
Els chatbots són tan imparcials com les dades i decisions de disseny que els modelen. Com aprenen a partir de grans corpus de text, és gairebé inevitable que absorbeixin i reprodueixin biaixos socials existents : racisme, sexisme, prejudicis sobre minories, estereotips laborals, etc. En educació, això es pot traduir en exemples, casos o recomanacions que reforcin visions estereotipades del món.
Combatre el biaix algorítmic requereix un enfocament múltiple: seleccionar amb cura els conjunts d'entrenament, incorporar dades diverses i representatives de diferents grups socials i establir sistemes d'auditoria que examinin de forma sistemàtica les respostes. En entorns acadèmics es proposen fins i tot consorcis d'institucions que comparteixin dades amb garanties, per reduir la dependència de fonts esbiaixades extretes del web generalista.
A més dels biaixos explícits, hi ha el problema de la qualitat i veracitat de la informació . Els grans models de llenguatge poden generar textos convincents però totalment inventats, cosa que es coneix com a “al·lucinacions”. En ciència i educació, això pot incloure cites bibliogràfiques que no existeixen, dades mèdiques errònies o interpretacions històriques simplistes però molt segures de si mateixes, cosa que resulta especialment perillosa quan l'usuari confia cegament en l'eina.
Estudis recents han mostrat que una proporció significativa de les referències bibliogràfiques generades automàticament per chatbots són falses o inexactes. Això provoca un xoc frontal amb la integritat acadèmica i obliga que docents, investigadors i estudiants revisin acuradament qualsevol contingut generat per IA abans de fer-lo servir en treballs, articles o materials docents.
En contextos professionals, la combinació de biaixos i al·lucinacions pot desembocar en informes desajustats, decisions mal fonamentades o comunicacions corporatives amb errors greus. Per això, cada cop més veus insisteixen que la IA generativa s'ha de veure com a eina de suport, mai com a substitut del criteri professional humà , i que el seu ús en processos crítics ha d'estar recolzat per revisions sistemàtiques.
Impacte a l'autoeficàcia, el pensament crític i la salut mental
A educació superior, els chatbots generatius es presenten com un recurs potentíssim per acompanyar l'aprenentatge : ajuden a resumir textos, proposar exemples, explicar conceptes difícils o practicar idiomes. Tot i això, quan s'utilitzen de manera acrítica, poden minar l'autoeficàcia acadèmica de l'estudiantat. Si la solució immediata davant de qualsevol dubte és demanar una resposta al chatbot, disminueix la motivació per llegir en profunditat, debatre a classe o enfrontar-se a tasques exigents.
La interacció amb chatbots també fomenta, per disseny, respostes breus, immediates i molt condensades . Això afavoreix un estil de comunicació reactiu i pot anar contra el desenvolupament del pensament crític i l'argumentació pausada. Les millors habilitats d'anàlisi solen cultivar-se a través de discussions perllongades, treballs en grup i activitats guiades per docents, espais que la interacció ràpida amb la IA no reemplaça.
Un altre focus de preocupació són els efectes psicològics i emocionals d'interactuar amb sistemes cada cop més empàtics i personalitzats. Estudis en salut mental i ètica aplicada mostren que alguns usuaris poden generar vincles de dependència emocional amb chatbots dissenyats per a acompanyament, arribant a preferir aquestes interaccions davant de relacions humanes reals.
En el cas d'eines orientades a suport emocional o mental, els riscos es disparen: un chatbot pot oferir un alleugeriment aparent, però no substitueix un professional de la psicologia o la psiquiatria, ni està preparat per gestionar crisis greus. Per això, s'insisteix que aquests sistemes incorporin mecanismes clars per derivar serveis humans qualificats quan detectin senyals d'alarma, així com missatges explícits recordant-ne els límits.
Des del punt de vista ètic, les institucions educatives i de salut han de tenir polítiques transparents sobre quin rol exerceix la IA en l'atenció, quines dades es recullen, com es fan servir i, sobretot, com es protegeix el benestar de les persones usuàries . La línia entre suport tecnològic i substitució indeguda de la relació humana mai no s'ha de creuar a la lleugera.
Integritat acadèmica, plagi i ús responsable de la IA generativa
La capacitat dels chatbots per redactar assajos, resoldre problemes complexos o generar informes en qüestió de segons suposa un repte directe a la integritat acadèmica tradicional . En sistemes educatius centrats en el resultat (nota, títol, acreditació), la temptació de lliurar com a propi un text generat per IA és evident, i no sempre és fàcil de detectar.
Més enllà del plagi intencional, també existeix el plagi “inadvertit” o gris : estudiants que usen la IA per “donar forma” a les seves idees, traduir, reescriure o completar paràgrafs sense ser plenament conscients de les implicacions ètiques i d'autoria. Igual que va passar al seu dia amb els correctors ortogràfics o els traductors automàtics, les institucions han de decidir on posen la línia, què es considera ús acceptable i què es considera deshonestedat.
S'han proposat diverses respostes complementàries. D'una banda, formar l'estudiantat en l'ús ètic de la IA , explicant clarament quan i com es pot citar la seva ajuda, de manera similar a com es reconeix l'ús d'eines de correcció o programari estadístic. Per altra banda, adaptar les metodologies d'avaluació, apostant més per presentacions orals, projectes pràctics, defensa en viu de treballs i tasques que requereixin evidències de comprensió personal.
També s'estan desenvolupant sistemes de detecció de contingut generat per IA, però la fiabilitat és limitada i el risc de falsos positius o negatius és real. Dependre en excés daquestes eines pot crear una falsa sensació de seguretat. Sembla que la clau és combinar tecnologies de suport amb canvis pedagògics i culturals que premiïn el pensament original, la reflexió profunda i l'autoria transparent.
Tot això encaixa amb un enfocament més ampli d'alfabetització digital: ensenyar les persones no només a fer servir la IA, sinó a comprendre'n els límits, els riscos i els biaixos , de manera que puguin integrar-la en el seu aprenentatge sense renunciar a l'honestedat, la creativitat i el judici crític.
Tot plegat, l'avaluació ètica dels chatbots exigeix mirar molt més enllà de si el sistema “funciona” tècnicament; implica analitzar amb lupa com raona, quins valors reflecteix, com maneja les dades i quins efectes té en els que el fan servir. Només combinant proves rigoroses, marcs normatius sòlids, pluralisme de valors i una cultura de supervisió humana responsable podrem aprofitar el potencial de la IA conversacional sense deixar que soscavi la privadesa, l'equitat, la salut mental o la integritat acadèmica que volem preservar.
