Xerrameca, un experiment amb IA local
Xerrameca
Etimologia: de xerra i meca, és a dir ‘xerra estantissa, vana’ 1a font: 1839, DLab.
- (femeni) Fet de parlar sense substància.
Xerrameca és el nom que li hem donat al xat d’IA del servidor. Xerrameca, perquè aquests dies que ens estan tocant viure hi van plens de xerrameca sobre la intel·ligència artificial. Xerrameca, també, perquè una de les estratègies que segueixen aquests serveis de xat és la d’oferir-te respostes, sempre complaents, no sempre verídiques, pocs cops auditables, però sempre respostes: una llarga i infinita xerrameca amb la falsa aparença de coneixement i intel·ligència amb l’única finalitat d’omplir de paraules el buit d’una eina sense ànima ni intel·ligència.
Al mateix temps, reconeixem que la capacitat de les màquines d’entendre i parlar el nostre llenguatge és una innovació radical que té capacitat de transformar de forma profunda i irreversible la nostra societat. Entre tanta xerrameca costa destriar el blat de la palla i reconèixer què hi ha de real en tanta promesa i que hi ha de vel·leïtat, d’ànim de lucre i de control. És per això que des del Servidor del Barri hem volgut experimentar directament amb les seves possibilitats, sempre respectant els principis ètics que guien el nostre projecte: reutilització de maquinari, programari lliure i respecte i privacitat cap a les usuàries.
Aquesta història comença el dia que un veí, després de jubilar-se, ens fa arribar l’ordinador amb què treballava en temes d’animació i 3D. Aquest és un ordinador amb un processador potent, una memòria RAM ràpida i una targeta gràfica excel·lent, a l’altura dels requeriments de la feina del seu antic propietari. Per nosaltres, que treballem per oferir solucions de baixa complexitat tecnològica compatibles amb maquinari antic i, segons els estàndards del mercat, desfasat, aquest regal ens permetia provar nous conceptes i projectes inabastables fins aleshores: experimentar amb la intel·ligència artificial.
Xerrameca, un experiment
El primer experiment ha sigut el de construir un xat conversacional replicant l’ús més popular que d’aquesta nova tecnologia se’n fa. Així doncs, Xerrameca ha nascut a imatge i semblança del ChatGPT, el xat que dona el tret de sortida a l’època actual.
En tant que experiment, Xerrameca no té voluntat de permanència i és possible que quan llegeixis això ja s’hagi desmuntat. L’objectiu del projecte és lúdic per una part: poder jugar i tot jugant entendre amb profunditat la nova tecnologia, i experimental: veure quines són les possibilitats reals de la tecnologia i els seus límits a l’hora de plantejar-la com un servei local, autogestionat i evitant del malbaratament tecnològic.
Els primers resultats són poc prometedors: Tot i comptar amb un ordinador d’altes prestacions el resultat és mediocre. Xerrameca no té moltes llums, la veritat, especialment quan l’intentes fer parlar català.
El primer que constatem és que l’auge d’aquesta nova tecnologia ha impulsat l’onada més grosa de caducitat de programari informàtic dels últims 20 anys, fins al punt que un ordinador d’alta gamma de fa 10 anys queda reduït a una joguina de poca utilitat quant intentes fer-hi còrrer models d’intel·ligència artificial. Per resoldre aquesta limitació ens hem vist obligats a optar per un model petit i simplificat amb un rendiment molt escapçat, el Mistral 7B quantificat.
Una altra conclusió que extraiem ‘és el repte que la IA suposa per a les llengües petites del món, com és el català. La IA és una tecnologia que necessita altes concentracions de capital i coneixement tècnic per poder ser desenvolupada, i els models que s’entrenen presenten unes propietats emergents vinculades a l’escala que afavoreixen els projectes del gran capital tecnològic per sobre un model obert i distribuït de producció tecnològica a escala local. Això, per a comunitats de parlants petites com és la catalana, planteja un repte difícil de resoldre, ja que difícilment la societat catalana podrà generar els seus propis models d’IA i els seus propis conjunts de dades en català i oferir alternatives reals al poder de la indústria i la llengua nord-americana, xinesa o espanyola. Si el nostre model ja presentava limitacions de rendiment de base, les seves inferències es veuen ràpidament degrades quan l’intentes fer parlar català. La paradoxa més gran és que al parlar català, no només es veu afectada la precisió del model sinó que s’incrementa el seu consum energètic, ja que a la tasca bàsica d’inferència s’hi suma la de traducció: pel que sembla, el nostre model no és capaç d’entendre de forma nativa el català i ha d’anar traduint contínuament els textos que processa de l’anglès al català i del català a l’anglès.
El consum energètic
L’última conclusió té a veure amb els consums energètics de la IA. Aquest és un tema que s’ha xerrat molt i de forma, al meu pare, no sempre aterrada. Tothom ha sentit algun cop aquella afirmació de “100 paraules generades pel ChatGPT consumeixen l’equivalent a una ampolla d’aigua”.
Fent una mica de recerca, un dels possibles orígens d’aquesta afirmació pot ser l’article A bottle of water per email: the hidden environmental costs of using AI chatbots publicat al setembre del 2024 i on s’hi recull la cèlebre asseveració. Al mateix article, però, hi apareix la següent dada: Els 700.000 litres d’aigua utilitzats per Microsoft per entrenar el model GPT3 són equivalents al volum d’aigua necessari per produir al voltant de 500 kg de carn de boví. D’altra banda, ara fa poc, Sam Altman publicava un article al seu blog on fa una menció al tema i afirma que “Una consulta al ChatGPT consumeix (…) al voltant de 0.00032176 litres d’aigua”. Qui té raó? És difícil de saber. En qualsevol cas, cap de les dues dades, de forma aïllada, ens permet treure conclusions.
La informàtica és una tecnologia amb un cost energètic moderat comparat amb altres tecnologies com són els motors de combustió, l’agricultura i la ramaderia intensiva o la construcció amb formigó. El debat sobre el consum energètic de la IA és pertinent, ja que venim d’una dècada de desenvolupament de models de negoci SaaS amb costos unitaris d’operació propers a zero, i avancem cap a un nou paradigma on els costos operatius (i els consums energètics) passen a ser un factor determinant de la sostenibilitat del negoci, però crec que falta emmarcar el debat per poder entendre les dades.
Al meu parer, el debat més interessant s’ha de centrar en les dues qüestions següents:
-
Serà la IA capaç de generar els increments de productivitat que promet? El consum energètic associat a la IA ha de ser valorat en relació al valor que aporta i la quantitat de feina i energia que estalvia, només així és lícit avaluar-lo. Per mi, que opino que sí, que la IA ha de permetre en pocs anys increments visibles de la productivitat del treball, el problema real no és aquest, sinó que farem amb els increments de productivitat que la IA generi: avançarem cap a una societat on finalment ens emancipem del treball mantenint uns estàndards actuals de qualitat de vida o aprofitarem l’increment de productivitat per multiplicar la producció i el consum? Si avancem cap al segon escenari tenim un problema, ja que el planeta i els límits naturals del seu ecosistema no ens donen marge per seguir extraient-ne valor sense agreujar i accelerar la crisi climàtica i ambiental en que ja estem inserits.
-
Es pot plantejar un model de generació d’IA no centralitzat? Les grans concentracions de capital i el model centralitzat de producció d’IA actual són el que expliquen l’aparició dels grans centres de dades. Si bé els costos unitaris per consulta al ChatGPT en termes d’aigua són petits, segons Sam Altman, concentrar en un sol punt del territori tots els recursos necessaris per resoldre bilions de consultes arreu del món genera un forat negre energètic difícil de sostenir per cap territori. Aquesta situació empitjora quan l’imperatiu econòmic de les empreses porta aquestes a buscar els espais on les rendes de la terra són més baixes, espais que solen coincidir amb ecosistemes amb estrès hídric sistemàtic, i regions econòmiques castigades pel despoblament i la desindustrialització. És un problema d’escala, concentració i de model empresarial.
En contraposició, un model de generació i prestació de serveis d’IA distribuït podria resoldre aquestes mateixes contradiccions. És per això que és interessant observar com els costos associats a l’entrenament de models cauen generació rere generació reduint barreres d’entrada i diversificant els agents. Un altre fenomen interessant és la dels models de pesos oberts i la comunitat de HuggingFace, el GitHub de la IA, que estan portant els models d’IA cap a les premisses del codi obert i fent real la possibilitat d’autoallotjar els nostres propis models d’intel·ligència artificial, com és el nostre cas.
Per acabar, i tornant al tema del malbaratament informàtic, el principal problema energètic de la IA no és el derivat dels seus costos d’operació, sinó al de la producció del maquinari. Es calcula que el cost energètic associat a la fabricació d’un ordinador és major que el consum associat a tota la seva vida útil! Com ja hem dit, l’aparició de la intel·ligència artificial ha comportat una onada massiva de caducitat de maquinari informàtic que s’haurà de renovar per poder oferir les prestacions que requereixen el nou paradigma i això sí que comportarà una despesa immensa i el malbaratament de quantitats massives de hardware totalment operatiu.
Després d’experimentar amb Xerramcea, i tot aquest preàmbul, podem afirmar que: Si bé la factura elèctrica del Mercat no s’ha vist visiblement alterada pel fet de tenir-hi endollat el nou servidor, el que sí que serà una llàstima serà haver de portar al punt verd el nou ordinador ja que, tot i ser la màquina més potent de què disposem, és incapaç d’assolir els rendiments tècnics necessaris per allotjar-hi un xat d’IA.