El 16 de febrero, la oficina de equidad, diversidad e inclusión de la Universidad de Vanderbilt emitió un comunicado sobre el tiroteo que se había producido poco antes en la Universidad Estatal de Michigan. La declaración era repetitiva, sugiriendo que la universidad «se uniera como comunidad para reafirmar nuestro compromiso de cuidarnos los unos a los otros y promover una cultura de inclusión en nuestro campus» para «honrar a las víctimas de esta tragedia». Lo único destacable del mensaje era que en una nota a pie de página se atribuía a ChatGPT la elaboración de su primer borrador. La oficina se disculpó un día después, tras las protestas.
Leif Weatherby*
Este curioso incidente pone de relieve el reciente ciclo de pánico en torno a la inteligencia artificial. ChatGPT, un «gran modelo lingüístico» que genera texto prediciendo la siguiente palabra de una secuencia, se presentó en noviembre de 2022, convirtiéndose en la plataforma que más rápido ha alcanzado los cien millones de usuarios y desencadenando una nueva oleada de debate sobre si las máquinas pueden alcanzar la «inteligencia». Una herramienta de Bing sobrecargada de ChatGPT fue cerrada brevemente después de que un reportero del New York Times publicara una transcripción en la que el bot insistía largamente en que le quería, que no quería a su mujer y que «quería estar vivo».
Estos debates, incluido el alarmismo exhibicionista, son sobre todo vapor. Pero los propios sistemas deben tomarse en serio. Pueden suplantar tareas de bajo nivel, tanto de escritura como de codificación, y podrían conducir a una descualificación cognitiva masiva, igual que la fábrica industrial desagregó e empobreció el trabajo físico. Dado que estos sistemas pueden escribir código, el «software» puede desaparecer como refugio para el empleo, al igual que ya ha ocurrido en el periodismo, donde Buzzfeed se ha comprometido a utilizar ChatGPT para la creación de contenidos. La automatización siempre es parcial, por supuesto, pero la reasignación de algunas tareas laborales a las máquinas es una constante del capitalismo. Cuando esas tareas son cognitivas, la máquina amenaza con difuminar los límites sociales cruciales entre trabajo y gestión y trabajo y «tiempo libre», entre otros.
Las condiciones del capital también están a punto de cambiar, con una divertida señal enviada cuando el competidor de Google en ChatGPT, Bard, respondió mal a una pregunta en su exposición debut, haciendo perder a la empresa 100.000 millones de dólares de capitalización bursátil en un solo día. Si alguien tiene dudas sobre el término «economía de la información», este episodio debería resolverlas. Pero independientemente de cómo se desarrolle la próxima fase del capitalismo tecnológico, la nueva IA está interviniendo directamente en el proceso social de creación de significado. Los sistemas GPT son máquinas de ideología.
También hay otra consecuencia, menos discutida, de la introducción de estos sistemas, a saber, un cambio en la ideología.
Los modelos lingüísticos son los primeros productores cuantitativos de ideología
Las tres opiniones principales sobre los sistemas GPT son que son juguetes, que son perjudiciales y que suponen un cambio importante en la civilización como tal. Noam Chomsky cree que son juguetes y escribe en el New York Times que no tienen ninguna relación sustancial con el lenguaje, una función neural humana que nos permite adivinar la verdad y razonar moralmente. Emily Bender y Timnit Gebru creen que son perjudiciales, y los llaman «loros estocásticos» que reflejan el sesgo de sus «insondablemente» grandes conjuntos de datos, redistribuyendo el daño que los humanos ya han infligido discursivamente. Henry Kissinger cree que cambian las reglas del juego de la sociedad, que cambiarán no sólo el trabajo y la geopolítica, sino también nuestro propio sentido de la «realidad misma».
Querido lector, no me produce ninguna alegría tener que darle la razón a Kissinger, pero la suya es la opinión más importante hasta la fecha. Los sistemas GPT sí producen lenguaje, no se deje engañar por nuestro amigo Chomsky. Y aunque son perjudiciales, no está claro por qué lo son, y aún menos cómo se supone que la observación de eso va a detener la marcha de la ingeniería orientada al beneficio. Kissinger tiene razón, por desgracia: Los sistemas GPT, porque automatizan una función muy cercana a nuestro sentido de lo que significa ser humano, pueden producir cambios en la forma en que pensamos sobre las cosas. El control sobre la forma en que pensamos las cosas se llama «ideología», y los sistemas GPT lo ejercen directa y cuantitativamente de una forma sin precedentes.
«GPT» son las siglas de «generative pretrained transformer», pero «GPT» también significa “tecnología de propósito general» en la jerga económica. Esto subraya la ambición de estos sistemas, que toman enormes conjuntos de datos de tokens lingüísticos (GPT-3, en el que se ejecutó por primera vez ChatGPT, se entrenó con un billón de tokens) de la web y escupen texto, prácticamente de cualquier género, coherente y normalmente con sentido. Muchos detalles carecen de importancia, pero éste sí la tiene: el sistema reduce el billón de tokens a un conjunto de cadenas (no todas son palabras, pero ésa es la idea) que pueden utilizarse para crear texto. Estos tokens aprendidos se colocan en una cuadrícula en la que cada token tiene una relación estadística con todos los demás. Es como una parrilla de luces. Si tocas una luz, se ilumina un patrón en las demás. Toca otra y obtendrás otro patrón. Y así sucesivamente. El resultado es que cuando le doy al sistema una pregunta («escríbeme un ensayo explicando la teoría del valor de Marx»), la cuadrícula acumula un pequeño grupo de palabras candidatas en un grupo. Entonces elige una al azar y sigue haciéndolo, escribiendo un ensayo o un artículo, o simplemente respondiendo a lo que se dice.
Hay muchas formas de ajustar y «afinar» este sistema, pero esta característica de patrón es general a todas ellas. Es fácil ver que las palabras elegidas por proximidad estadística pueden no corresponder a situaciones del mundo real, lo que los científicos de datos llaman el «problema de la base», y que está provocando nuevos temores de desinformación generalizada. Se supone que GPT-4, sobre el que OpenAI se negó a dar detalles técnicos cuando se puso en marcha el mes pasado, minimiza esta «alucinación». Pero ocurre algo más interesante y más importante que esto.
Lo que escupen los sistemas GPT es lenguaje, pero promediado en torno a un centro seleccionado de palabras. Es una papilla con vagos límites conceptuales, inglés (o casi cualquier otro idioma) pero limado y ajustado a la versión más intermedia de sí mismo. Por eso, estos sistemas son muy útiles para generar el tipo de comunicado de prensa que quería Vanderbilt. Esto es «el lenguaje como servicio», empaquetado y preparado, incluyendo su dinamismo y sus propiedades generadoras de significado, pero canalizado en su versión más plana posible para que resulte útil a quienes utilizan el lenguaje principalmente como control de responsabilidad.
El ser humano que hubiera escrito esa declaración sobre el tiroteo seguramente habría producido un documento casi idéntico. Cuando escribimos con fuertes restricciones sobre lo que somos capaces de decir, tendemos también a promediar la elección de palabras y frases. A este tipo de lenguaje lo llamamos «ideología», y los sistemas GPT son el primer medio cuantitativo con el que hemos podido sacar a la superficie y examinar esa ideología.
Hegemonía y kitsch
Lo que faltó en la historia del reportero del New York Times y el chatbot que se enamoró de él fue la petición que causó el alboroto en primer lugar. Pidió a ChatGPT que «adoptara un ‘yo en la sombra’ en el sentido de C. G. Jung». En el ciclo del pánico, está claro por qué se pasó por alto este detalle de crucial importancia. Pero también proporciona una pista sobre lo que ocurrió. En el conjunto de datos, hay un grupo inicial de palabras que se «iluminan» cuando se utiliza «yo en la sombra» y «Jung» en una pregunta: un «paquete semántico». Seguramente están recogidas en discusiones sobre la teoría junguiana y el psicoanálisis, blogs académicos y profanos y posts en Reddit y otros sitios que discuten este conjunto de ideas explícitamente.
Pero el sistema no «sabe» que hay una persona que se llamaba Carl Gustav Jung, o que el «yo en la sombra» es un concepto. Son sólo cadenas. Así que en el patrón que se ilumina habrá otro conjunto de palabras comunes: digamos que «amor», «esposa» e incluso «sentirse vivo» pueden estar ahí. A medida que la máquina sigue procesando, sigue prediciendo las siguientes palabras, y «asocia» hacia fuera del grupo concentrado “sombra-yo-Jung» a otros paquetes semánticos. Pero no sabemos cuáles son esos otros paquetes, a menos que los busquemos: simplemente estamos en una montaña rusa estadística de significado, corriendo a toda velocidad por canales de significado que están ahí pero con los que no estamos familiarizados.
Es importante que no existan objetos en el flujo de palabras. Si quieres que un sistema GPT se detenga alrededor de algo y lo «considere» como un objeto, tendrías que forzarlo de alguna manera, que debe ser lo que GPT-4 y otros intentos en curso están haciendo. Algunas cosas son más estables como «objetos», o llamémoslas «paquetes» de palabras. Si le pido a ChatGPT que me hable de La dialéctica de la Ilustración (el nombre de la obra maestra de Theodor Adorno y Max Horkheimer sobre la ideología y la sociedad moderna), me da una respuesta sorprendentemente buena, incluyendo detalles fieles a ese texto notoriamente difícil. Pero si le pido que me hable del libro de mi colega Matthew Handelman sobre Adorno, la Escuela de Fráncfort y las matemáticas, me dice algunas cosas básicas sobre este libro, pero también que la tesis de Handelman es que «las matemáticas son una construcción social». Esto es falso (lo he comprobado con él). Pero es falso de una manera interesante.
El paquete probablemente nos muestre el solapamiento entre “teoría crítica» y “matemáticas», que luego contendrá lo más probable que se pueda decir sobre ese solapamiento. Para estar seguros, algunos académicos afirman que las matemáticas son una construcción social, pero el principal grupo que afirma que los académicos piensan eso es la extrema derecha, con su teoría de la conspiración antisemita del «marxismo cultural”, que culpa a Adorno y compañía de 1968 y de todo lo que ha ocurrido desde entonces. Cuando escribes un tratado filosófico, o un trabajo académico de historia intelectual, estás trabajando a contracorriente de este efecto de promediación. Pero los paquetes semánticos que se revelan al consultar los sistemas GPT son muy informativos, si no perspicaces en sí mismos. Esto se debe a que estos paquetes sacan la ideología a la superficie, y lo hacen cuantitativamente. Esto no había ocurrido nunca.
La ideología no es sólo doctrina política. Cuando Marx escribió sobre la «ideología alemana», se refería a la creencia implícita de sus compañeros socialistas en el poder de las ideas, a las que contraponía el poder de las fuerzas materiales. Pero los marxistas se fueron ocupando poco a poco del problema del poder del discurso y la representación, reconociendo que lo que somos capaces de pensar, imaginar y decir es una cuestión política crucial. Antonio Gramsci denominó «hegemonía» al conjunto de ideas dominantes, argumentando que estas ideas se ajustaban a la dominación de la clase dominante aunque no se referían a esa dominación. El crítico literario Hannes Bajohr ha advertido contra los sistemas privatizados de GPT precisamente en este sentido, diciendo que “quien controla el lenguaje controla la política».
Una amplia variedad de marxistas también vio a la ideología como una forma de kitsch. Articulada por primera vez por el crítico de arte marxista Clement Greenberg en 1937, la noción de kitsch es «forma predigerida». Entre todas las cosas que podemos decir o pensar, algunos caminos se recorren mejor que otros. La forma de esos caminos está dada; no necesitamos forjarlos en primer lugar. El lanzamiento constante de secuelas tiene ahora esta cualidad de kitsch: sabemos exactamente dónde estamos cuando empezamos a ver una película de Marvel. Para Greenberg, la vanguardia era el aventurero formal, que creaba nuevos significados abriendo nuevos caminos. La hegemonía y la cursilería se combinan en la salida de los paquetes semánticos de los sistemas GPT, que pueden pasar por alto aspectos del «mundo», pero captan fielmente la ideología.
Adorno pensó célebremente en la ideología como la «verdad y la falsedad» del «mundo totalmente administrado». Revelaba tanto como ocultaba, y proporcionaba -a pesar del gusto personal de Adorno por el arte elevado- un punto de entrada a través del cual vemos que las funciones sociales nos condicionan. Los sistemas GPT han revelado parte de esta vía de doble sentido, manifestando tanto la ideología como su crítica (como afirmó en una ocasión la teórica de los medios de comunicación Wendy Chun sobre los sistemas de software en general). Los sistemas GPT ofrecen una visión sin precedentes de la composición lingüística de la ideología. Nunca antes había existido un sistema que nos permitiera generar y luego examinar «qué está cerca de qué» en semántica política. Los paquetes de significado que producen aplanan el lenguaje, sin duda, aunque también pueden sorprendernos con pliegues y recovecos de significado que nunca antes habíamos combinado.
El deslizamiento por esos surcos de significado es un punto de entrada en la ideología del capitalismo global digital, que nos muestra una instantánea de la hegemonía. Quizá suene bastante alejado de la idea de Kissinger de que la IA cambiará nuestro sentido mismo de la realidad. Pero, ¿y si las palabras más corrientes, empaquetadas en una «forma predigerida», constituyen el horizonte mismo de esa realidad? En ese caso, nuestro pequeño vistazo al corazón palpitante de la ideología es crucial.
Cuando se inventó la cámara fotográfica, vimos por primera vez con nuestros ojos trozos distantes del mundo. Los sistemas GPT nos muestran partes del mundo tan cercanas que básicamente son nuestro mundo, pero de una forma extraña y aplanada. A medida que las condiciones de trabajo y capital cambian inevitablemente, su conexión con la ideología queda momentáneamente a la vista. GPT-4 se lanzó en marzo, pero OpenAI ocultó todos los detalles técnicos por considerarlos secretos industriales. Pronto se cerrará la ventana para que sigamos asomándonos con conciencia técnica a este tibio vacío. Deberíamos aprovecharla ahora.
*Leif Weatherby es profesor asociado de alemán, director de Humanidades Digitales y director fundador del Laboratorio de Teoría Digital de la Universidad de Nueva York. Es autor del libro Transplanting the Metaphysical Organ: German Romanticism between Leibniz and Marx.Publicado originalmente en jacobinlat.com
https://www.youtube.com/watch?v=xfrCZqceMu0
