ChatGPT, la fi de la ciència i un nou projecte Manhattan

Prefaci

Aquest és el meu primer article sobre Intel·ligència Artificial (IA). En concret, d'eines de Grans Models de Llenguatge (LLM per les seves sigles en anglès). Malgrat que en tots els articles sobre el tema intentaré minimitzar els meus biaixos respecte als LLMs, deixaré clara la meva opinió al respecte perquè es contextualitzi des d'on escric. Els assistents d'IA actuals, com a tecnologia nascuda a la Vall del Silici (Silicon Valley), són una tecnologia que ha explotat sense un consens social de com incorporar-la, que avui dia respon a criteris productivistes i extractivistes (més és millor), i sense cap ens que la reguli. A conseqüència d'això, és una tecnologia que consumeix encara més l'energia de la Terra i accelera el canvi climàtic [1], drena pobles i contamina rius i persones [2]; s'alimenta de contingut obtingut sense respectar els drets d'autor i sense cap conseqüència per haver-ho fet [3]; porta persones a l'aïllament social o—en pitjors casos—al suïcidi [4]; no té coneixement de les incerteses associades a la seva sortida i, per tant, pot enganyar [5]; alimenta la postveritat i dificulta discernir què és veritat i que no ho és [6]; és una caixa negra i, per tant, es pot modificar les dades d'entrenament sense que a primer cop d'ull es pugui detectar [7]; i un llarg etcètera. Dit això, opino que els LLM són una tecnologia molt interessant i molt útil, fins i tot revolucionària en molts àmbits, i que generen un munt de preguntes filosòfiques i científiques molt motivadores. Ara bé, això no eximeix que s'hagi de continuar denunciant i regulant (i, personalment, aturant) el seu desenvolupament i buscar altres maneres més sostenibles i justes d'incorporar-los, que corregeixin—o, com a mínim, regulin—totes aquestes mancances.

En aquest article (basat sobretot en [8, 9]), anirem al cor de la febre de l'or de la IA: la seva aplicació a l'avenç tecnològic i científic. De la mateixa manera que la termodinàmica va néixer en l'època de la revolució del vapor o la física de partícules en l'època nuclear, el creixement exponencial de la IA respon a interessos polítics: la promesa de dominació (sigui econòmica, tecnològica o militar) per la potència que hi excel·leixi abans. La carrera ja ha començat i, un cop més, s'ha de guanyar a qualsevol preu.

Introducció: el que potser ja saps de ChatGPT

ChatGPT, Gemini, Claude, Deepseek... tots aquests són bots de conversa que funcionen a partir de Grans Models de Llenguatge (LLMs d'ara endavant). Malgrat que les seves creadores els volen fer semblar humans, són algoritmes matemàtics que han llegit molts textos i han après a predir quina és la continuació més probable i consistent a les nostres paraules, donant lloc així a respostes versemblants (no necessàriament veraces) als nostres texts.

En la darrera dècada, els LLMs no han millorat només gràcies al fet que el seu entrenament hagi consistit a llegir més textos i més diversos, sinó a què els nous models han augmentat el seu nombre de paràmetres lliures. Augmentar el nombre de paràmetres de la xarxa neuronal permet que tingui més flexibilitat i pugui adaptar-se a més escenaris i de millor manera. Evidentment, hi ha hagut avenços tècnics, però el creixement dels LLMs avui en dia és, per sobre de tot, un assumpte d'escala. Com més gran sigui el teu model, com més paràmetres i més flexibilitat tingui, millors resultats donarà.

El creixement del nombre de paràmetres és exponencial: de mitjana es duplica cada any des de 2010. Fixeu-vos que l'eix vertical està en escala logarítmica.

De fet, la millora de les capacitats dels LLMs ha crescut tant que es considera que ja han superat les capacitats d'una persona mitjana [10], i estan pel camí de superar les capacitats d'una persona amb un doctorat, si és que no ho han fet ja [11]. Deixant de banda si aquest algoritme és capaç o no "d'entendre" el que està escrivint, és inqüestionable que són algoritmes capaços de realitzar--amb molta precisió--tasques per les quals no han estat entrenats. Malgrat que un LLM hagi llegit tot tipus de textos, no hi ha cap línia de codi dins del seu sistema per a respondre cap pregunta en particular, sinó que la seva capacitat de respondre ha emergit espontàniament del seu entrenament.

Per tant, la cursa de la IA és clara: has d'aconseguir un model que tingui el màxim nombre possible de paràmetres i, per a entrenar-lo, et caldrà construir superordinadors més i més grans, que consumiran més i més electricitat i requeriran més i més aigua per a mantenir-los freds i eficients. Tot i que aquesta necessitat és inevitable, resultats recents semblen indicar que les habilitats d'un LLM no és qüestió només de quants textos s'utilitzin per a entrenar-lo, sinó de la qualitat d'aquests. És a dir, que si entrenem el LLM amb un 90% menys de textos, però escollim amb cura quin és el 10% que sí que utilitzem, podem aconseguir un LLM encara més hàbil que l'original [12]. Com ara veurem, aquest resultat és especialment interessant si el nostre objectiu és construir un LLM capaç de fer prediccions en un camp concret com, per exemple, el científic.

Els LLM a la ciència

Els científics fa molts anys que estan acostumats a les eines d'IA (l'aprenentatge automàtic), però fins i tot per a ells els LLM han estat una irrupció nova. En general, la comunitat científica els ha donat la benvinguda, incorporant-los com una peça més de la discussió i implementació d'idees. "Després d'experimentar amb GPT-4 en els nostres propis dominis de recerca en química de materials, física i informació quàntica, trobem que el ChatGPT-4 té una bona base de coneixement, s'equivoca sovint, i és interessant de parlar-hi. En altres paraules, res diferent d'un professor universitari o d'un col·lega." [13].

Encara més enllà, aquest mateix article apunta que ChatGPT podria ser capaç de proposar hipòtesis científiques que siguin realment noves (que no hagin aparegut abans a la literatura), i que valgui la pena explorar (tot i que, com qualsevol altra idea científica, pugui resultar sent errònia). La hipòtesi dels autors és que els LLM han llegit articles de moltes disciplines diferents, molt més del que una persona humanament podria, i això els permet traslladar idees o mètodes d'una disciplina a una altra i crear idees noves. Si això fos realment així, estaríem en un punt d'inflexió respecte si un algoritme podria ser capaç de dirigir autònomament la direcció en què avança una línia de recerca.

Però això només és el present. Ja hem vist que basar el coneixement d'un LLM en una mostra curosament triada pot fer un model més hàbil que un entrenament per força bruta. Però per què basar-nos només en contingut de text? Una nova tendència està naixent en el camp de la IA: els models fonamentals (foundation models) [14]. Aquest tipus de models són una generalització dels LLMs de manera que l'entrenament no sigui només en dades de text, sinó també en imatges, dades estructurades, veu... Això és una cosa que ja s'està fent en la ciència de materials, la cosmologia o la física de partícules [15], però aquests són models restringits a una certa disciplina i, per tant, tenen una aplicació limitada.

Una de les motivacions rere aquests models és el que s'ha anomenat la "hipòtesi de representació platònica", segons la qual un model de text i un d'imatge, si es fan prou grans i s'entrenen prou, arriben a convergir al mateix resultat, dues interpretacions diferents d'una mateixa "realitat" [16]. Per exemple, s'ha demostrat que un LLM aprèn molt més ràpid si se li mostren dades textuals i visuals d'un mateix tema [17].

En el camp de la IA, el present canvia ràpidament. Recentment, els Estats Units ha anunciat la Missió Gènesi (Genesis Mission), amb una primera inversió de 320 milions de dòlars dirigida a utilitzar la intel·ligència artificial per a accelerar la recerca científica [18]. És a dir, anar més enllà dels LLM i entrenar models fonamentals entrenats alhora en articles i dades científiques, per a integrar-ne els bots de conversa a totes les capes del procés científic. Des de la ideació fins a les conclusions, passant per la seva formulació matemàtica, computació, optimització, simulació i anàlisi [8]. L'objectiu: desenvolupar i entrenar, amb els superordinadors més potents del país (com l'Aurora del Laboratori Nacional d'Argonne), un model fundacional de 3 bilions de paràmetres aplicat purament a ciència.

Abans de passar a la pregunta més important (què hi ha darrere de tanta inversió?), la primera que em va venir quan vaig escoltar del tema: accelerar la recerca científica, però accelerar-la cap a on? Si aquests models tenen èxit—el qual em sembla un escenari plausible—, i una màquina pot decidir quina recerca val la pena fer, aleshores quin és el sentit de la recerca? No només les màquines (bé, els seus propietaris) s'apropiarien de la part més divertida de la recerca, sinó que la comunitat científica perdria la potestat de decidir cap on s'encamina, substituïda per una intel·ligència més ràpida del que és capaç de controlar. I, la meva enrabiada personal, qui els està donant la legitimitat per a fer-ho? Bé, originalment plantejava deixar el DBAT aquí, però fent la recerca, em vaig adonar que encara ens falta el context.

La carrera cap a una supermàquina dels descobriments

Per què, de sobte, els EUA, després de fer retallades històriques a la NASA i abandonar múltiples grans projectes científics [19] ha decidit invertir tants diners en IA per a fer ciència? O per què els governs del món comencen a invertir massivament en IA, des de l'Aràbia Saudita amb 40.000 milions [20], o la Xina amb 8.200 milions [21] (sent aquestes inversions en IA en general)? La realitat és que aquestes ja no són inversions científiques o tecnològiques, sinó que es poden entendre com inversions en clau de seguretat nacional. És una inversió en el context d'una cursa--freda– pel domini econòmic i tecnològic que podria implicar la Intel·ligència Artificial. M'explico.

Imaginem per un moment que aquests models fonamentals tenen èxit. És a dir, que aconseguim crear un algoritme capaç d'idear, provar i millorar hipòtesis científiques de manera molt més ràpida del que pot fer un científic expert. Encara més, que no només creem un d'aquests models, sinó que en creem milers i que podem fer-los interactuar entre ells. És a dir, que som capaços de tenir una comunitat científica algorítmica que, autònomament, explora l'espai de possibilitats d'un camp de recerca de manera molt més ràpida i eficient del que mai ho podria fer una comunitat científica humana. Hauríem aconseguit una supermàquina de descobriments, capaç de fer nous descobriments científics que estarien a dècades de distància de qualsevol altra comunitat científica humana. I, és clar, aquest ritme de descobriment només seria possible per a aquells països que tinguessin aquestes superintel·ligències artificials. De sobte, un país podria ser capaç de dissenyar robots militars més autònoms, materials més resistents, armes biològiques més discretes, o qualsevol altra invenció del somni humit de les superpotències de la guerra. I tot això mentre els seus rivals encara estan a dècades d'assolir els mateixos descobriments.

Personalment, penso que aquest futur és, a dia d'avui, hipotètic. Els LLM actuals estan lluny d'aquesta anomenada "superintel·ligència" [22], i penso que no hi ha cap certesa que el creixement de la mida dels models fonamentals serà suficient per a superar l'habilitat científica humana. Ara bé, tampoc no hi ha cap certesa que no pugui ser així: l'automatització i acceleració del procés científic no és una idea inversemblant, o almenys és prou versemblant perquè les grans potències hi estiguin invertint com ho fan. Sense anar més lluny, cap gran potència es vol quedar enrere en proveir la generació d'energia necessària per a entrenar aquests models. Mentre la Xina lidera la revolució de l'energia verda, EUA està decidit a cremar carbó i petroli com mai (sigui el seu o el de Veneçuela) [9, pàg. 132]. Tot això, de la maneta de les corporacions de la Vall del Silici, uns centenars de persones en la seva bombolla tecnooptimista, decidint sense cap legitimitat el que podria ser el destí del nostre planeta.

La carrera cap a la supermàquina dels descobriments ha començat i, tot i que no hi ha certesa de cap on ens portarà, sí que n'hi ha respecte als danys col·laterals que podria originar aquesta retòrica bel·licista. No només l'acceleració del canvi climàtic o les injustícies socials, sinó que la pregunta és: quants sacrificis estaríem disposats a acceptar, en pro d'arribar a la supermàquina abans que els nostres rivals? Per exemple, si necessitem assolir-la ràpidament i no hi tenim temps, podríem sacrificar fer-ne les comprovacions necessàries per a assegurar que és confiable i segura? Mentrestant, però, demanem-li a Grok que ens generi pornografia infantil, és clar.

[1] Només fent una cerca ràpida: The Enviromental Impact of ChatGPT, ChatGPT isn’t great for the planet. Here’s how to use AI responsibly., Internet data centers are fueling drive to old power source: Coal.
[2] Tu nube seca mi río, AI Data Centers Boom is Draining Water From Drought-Prone Areas, The cloud is drying our rivers. Massive Data Centers May Make Groundwater Pollution Worse
[3] Intel·ligència artificial i drets d'autor - Viquipèdia, EUIPO releases study on generative artificial intelligence and copyright. Contrasti's també amb el cas d'Aaron Swartz, programador a qui els EUA van portar al suïcidi als 26 anys per piratejar alguns pocs articles d'internet.
[4] 74 suicide warnings and 243 mentions of hanging: What ChatGPT said to a suicidal teen, OpenAI and Microsoft Sued Over Murder-Suicide Blamed on ChatGPT.
[5] Deceptive AI Ecosystems: The Case of ChatGPT, Can We Really Trust ChatGPT? Examining the Potential for AI Deception
[6] ChatGPT has opened a new front in the fake news wars, ChatGPT and the Risks of Misinformation: Understanding the Implications
[7] Inside Grok's war on 'woke', How do you stop an AI model turning Nazi? What the Grok drama reveals about AI training.
[8] AI for Science and the push for Trillion Parameter Models, Growing Momentum for AI in Science with FASST Initiative.
[9] Situational Awareness - The Decade Ahead
[10] AI now beats humans at basic tasks — new benchmarks are needed, says major report, Test scores of AI systems on various capabilities relative to human performance
[11] Artificial Intelligence Index Report 2025, pàg 58
[12] From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning
[13] Can ChatGPT be used to generate scientific hypotheses?
[14] Models fonamentals - Viquipèdia, On the Opportunities and Risks of Foundation Models.
[15] A foundation model for atomistic materials chemistry, Foundation models for high-energy physics, Multi-modal Foundation Model for Cosmological Simulation Data
[16] The Platonic Representation Hypothesis
[17] GPT-4 Technical Report
[18] Genesis Mission, DOE Announces $320M Investment to Advance Genesis Mission AI
[19] The Trump Administration’s Most Paralyzing Blow to Science, What cuts to research under Trump have meant for science in 2025
[20] Saudi Arabia Plans $40 Billion Push Into Artificial Intelligence
[21] China Eyes $150 Billion AI Industry by 2030 with $8.2 Billion Investment Fund, China Is Spending Billions to Become an A.I. Superpower
[22] Evaluating Large Language Models in Scientific Discovery