Este artículo es copia fiel de la entrada en mediatize www.mediatize.info/story/deus-ex-machina

Bueno, es lunes, y en vez de haber invertido el finde en limpiar la casa, he podido disfrutar de tiempo en el bosque caminando, reflexionando sobre un tema recurrente. Por fin he podido llegar a unas cuantas conclusiones, y ponerlas en contexto. Me gustaría hablar del problema de la mal llamada IA, y de sus cimientos, los modelos LLM (modelos de lenguaje grandes), que remedan, o pretenden ser inteligencia artificial. He de subrayar que no existen modelos AGI (Inteligencia Artificial General) conocidos en la actualidad, ni modelos matemáticos (conocidos) que permitan llegar a implementarla.
Pero para ello, necesito marear un poco la perdiz antes de nadar en un mar de tokens sobre un espacio multidimensional de probabilidades, y ruego vuestra paciencia para procesar este texto, que aviso, puede ser un poco denso.
Antropología, sociología, sesgos cognitivos, y (falta de) sentido común
Una de las cosas que podemos decir, sin temor a equivocarnos, es que desde que los primeros homínidos bajaron de los árboles, los especímenes que evolucionaron hacia el ser humano fueron modificados, por selección natural, por sus herramientas. Aquellos que usaban mejor las herramientas para cazar, construir otras herramientas, o cargarse al vecino que quería cazar en tu territorio, sobrevivían, y pasaban sus genes a la siguiente generación. En resumen, se puede decir que, los que usaban mejor el melón, los más listos, o los que por prueba y error encontraron una ventaja competitiva, perseveraron.
El ser humano actual perdió por el camino fuerza, la utilidad de caninos, premolares, molares, el apéndice, y facilitó la aparición del habla, y finalmente la escritura, fijando y permitiendo traspasar el conocimiento adquirido a las siguientes generaciones. La asociación y la cooperación para cazar, el egoísmo, y por qué no, la astucia para conseguir comida a escondidas, o matar, se consolidó como una característica deseable y necesaria que permitió a los sujetos más adaptables consolidar estrategias de éxito.
Se puede decir que el cerebro humano evolucionó de la necesidad, y cada día con el reto de llenar la barriga, mejoró su capacidad para enfrentarse al mundo que le rodea no ya como presa de otros, sino como depredador, modificando la naturaleza a su conveniencia (no siempre acertadamente, se ha de decir). Y por supuesto, los que llenaron la barriga, se reprodujeron (otra constante, y si quereis, otro reto) y transmitieron sus genes a la siguiente generacion. Pero también, tiene unos ciertos defectos, fruto, o consecuencia de esa evolución.
El ser humano, y creo que he hablado ya de eso, está sujeto a ciertos sesgos cognitivos como resultado de esta evolución, pero los humanos, aparte de los conocidos sesgos cognitivos, tienden a tener una confianza excesiva ante temas que desconocen, y esto (llamado efecto Dunning-Kruger), es uno de los problemas más grandes a la hora de juzgar una situación.
LLM, modelos estocásticos, y redes neuronales
Un modelo LLM es algo muy curioso. Se basa en una funcion donde metes una entrada (tu pregunta) y en principio te devuelve una solucion plausible . ¿Qué queremos decir con plausible? Aquí viene lo interesante: los LLM no son deterministas por definición.
Un modelo estocástico, a diferencia de un modelo determinista, produce respuestas más o menos aleatorias basándose en el conjunto de datos de partida, que incluso pueden variar con el tiempo. Los métodos de Monte Carlo nacen de la necesidad de reducir la carga computacional de un proceso altamente complejo, y se puede decir que es un subproducto del proyecto Manhattan, y se usan para aproximar una idea de lo que debe ser el resultado, en vez de calcular determinísticamente el resultado de una ecuación.
Esto es una consecuencia del teorema central del límite, en concreto es el caso de convergencia de series numéricas con funciones matemáticas <sup><b>1</b></sup>, y se puede usar para muchas cosas, hasta para aproximar el valor del número pi. El asunto es que los LLM están diseñados para explorar respuestas múltiples que pueden ser plausibles, probabilisticamente hablando, es decir: una distribución de respuestas, una semilla para dar aleatoriedad, y no hay una sola "verdad".
El funcionamiento real, se basa en descomponer el prompt en tokens, crear un espacio vectorial con esos tokens, y en especial, el mecanismo de atención (modificadores, relaciones entre tokens, etc).La red neuronal es una simulacion donde hay un grafo con un montón de aristas donde se establece la relación entre los conceptos, y en la práctica, es la transformación de ese grafo, minimizando el camino hacia la respuesta. Físicamente, esta arquitectura es un sistema distribuido sobre un montón de TPUs/GPUs en cluster, y para ahorrar en uso de VRAM, usan entre 4 y 8 bits de cuantización, lo que amplifica los errores de redondeo a la hora de calcular el peso de los pares(token|contexto) a medida que el diálogo progresa de forma autorregresiva en el diálogo, de ahí que un LLM actual es capaz de generar caminos diferentes, que se convierten en respuestas diferentes, incluso con el mismo prompt original.
Y sumemos a esto que el LLM puede alucinar, porque normalmente priorízan "parecer correcto" sobre "ceñirse a los hechos". Sin contar que están programados para no hablar de según qué cosas.
Nuestra misión, si decidimos usarlo, es:
- Qué vamos a preguntar. Concisión, establecer bien la entrada nos ahorrará verificar salidas falsas o alucinaciones.
- Mirar las restricciones, casos límite, ver qué asunciones se han realizado
- Verificar que física o conceptualmente la respuesta tiene sentido
El ser humano, y creo que he hablado ya de eso en otros artículos, está sujeto a ciertos sesgos cognitivos como resultado de esta evolución, pero los humanos, aparte de los conocidos sesgos cognitivos, tienen otros problemas adicionales, como el sesgo de automatización, o tendencia a sobre-aceptar a los sistemas automáticos y a parar la revisión de sus salidas. Un lenguaje fluído y pleno de confianza, la falta de incerteza, y una simulación de razonamiento estructurado, puede colar cualquier gol (o alucinación IA) al más entrenado. Es decir, los modelos LLM, tienden a colar respuestas incorrectas en forma de argumento de autoridad, y si no estás preparado para ver la falacia, te la cuela. Esto es especialmente grave en los entornos corporativos, dado que el management está entrenado para tragarse sin rechistar estos goles cuando "viene de un experto", o de la IA.
Es mucho peor si el usuario no sabe acerca del tema que pregunta, porque no comprobará ecuaciones, no podrá detectar inconsistencias, o límites en las condiciones expresadas. Porque tampoco preguntará, para evaluar un discurso, qué se ha asumido, o qué está mal, o si es una afirmación o una consecencia de lo que se expone. La calibración de la confianza se produce cuando hay una respuesta fluída, que atribuye un alto nivel de confianza en la respuesta dada, cuando no debería ser así. Es decir; los humanos tienden a creer explicaciones aparentemente coherentes, recompensandolas con confianza, y prefieren, en general, respuestas cortas. Justo lo que te da un LLM.
Y como los modelos LLM generan salidas fluidas y probabilisticas sin cuantificar la incertidumbre sobre la respuesta dada, puede (y muchas veces lo consigue) inducir al sesgo de automatización en personas sin conocimiento, o conocimiento insuficiente en una materia. Esto crea un riesgo de sobreconfianza, y un proceso incorrecto de toma de decisiones, que afecta en mayor medida en ámbitos científicos o tecnológicos donde se pasa por alto la validación del modelo o la respuesta.
El oráculo, la obra de un dios menor al servicio del turbo-totalitarismo
Como veíamos arriba, en el contexto actual, puede que estemos viendo el final de las últimas generaciones pre-digitalización. Las últimas que eran capaces de un minimo de pensamiento critico, conocimientos suficientes para la validación de modelos, o razonar (y extrapolar) conocimiento a partir de principios o fundamentos.
A partir de ahí, y ha sido aún peor desde 2020 tras la completa digitalización de las aulas, se ha vivido una erosión de esos valores y en un cambio de paradigma tanto educativo como social. Los niños no leen - es aburrido, los niños no escriben - se cansan. La sociedad de la inmediatez ha acelerado el declive cognitivo resumido en el efecto Flynn negativo desde finales de la década de 1970. Los modelos LLM tienden a convertirse en un oráculo que está provocando la atrofia de capacidad de memorización, atención, y pensamiento crítico, fomentando una ilusión de conocimiento inmediato.

Pero lo peor no es esto. Antes de peinar canas, ya fuimos conscientes de que la razón de que en las discotecas dejaran pasar a las chicas gratis, y a los chicos les pidieran 500 o 1000 pelas por entrar en un garito, era porque ellas eran el producto. Actualmente los modelos LLM gratuitos nos convierten a nosotros en el producto para computar, almacenar y preparar perfiles incluso emocionales de nuestras vidas digitales. Es decir, desde las consultas al oráculo, pasando por los memes que generas, o tu historial de consultas web en tu navegador, son analizadas y convertidas en metadatos en el espacio vectorial multidimensional. Nuestras vidas son perfiles almacenados en centros de datos de Meta, Google, xAI, o Microsoft, y vendidos al mejor postor, y en esos datos están, desde preferencias sexuales hasta tendencia política, pasando por vicios, pasiones, aventuras, y capacidad intelectual. Es decir: sin haberlo pretendido hemos vendido nuestra intimidad y nuestros sueños a unos facinerosos que quieren hacer dinero a nuestra costa.
Digerid eso, galeotes: está demostrado que un chat con un LLM es capaz de ser hasta 4 veces más persuasivo que un anuncio tradicional, porque, sorpresa, se ajusta a lo que quieres leer. Y por eso te convence.
Pero lo peor no es que seas un pardillo al que un sistema probabilístico tiene más que analizado, y sabe como te mola que te doren la píldora, lo peor es que nadie impide que un estado, con la excusa de "seguridad" nos manipule, clasifique, y nos pastoree como borregos si no estamos listos. O peor, que te denieguen una visa para entrar en un país, o te nieguen una beca, o una matrícula en la Universidad, o peor, que te detengan por "potencialmente peligroso" solo porque el modelo estocástico predice que hay un 98% de probabilidad de que te conviertas en un peligro público por correlacionar tus memes o tus troleos en guasap con los colegas, con un comportamiento extremista. Esto es casi imposible de refutar por un sistema legal, y el estado se puede escudar tranquilamente en un "no entendemos como funciona, pero funciona".
Por tanto, queda claro que unas cuantas corporaciones controlan al oráculo, y estas, a veces, están al servicio del estado. Ellas filtran, ellas deciden qué es verdad. Ellas están programadas explícitamente para no decirte lo que quieres saber, sino lo que te dejan saber, y como ya has perdido la capacidad de análisis y de construir conocimiento por tu cuenta, estás a su merced. Disfruta de la longitud de tu cadena, esclavo.
En la nueva edad media a la que nos abocamos, los señores tecnológicos tienen sus modelos en el espacio estocástico multidimensional, y puede producir puentes o centrales nucleares perfectamente plausibles, pero que violan las leyes de la física. En este mundo donde solo importan las apariencias, la capacidad, la habilidad más valiosa será conservar la capacidad de aprender y aplicar los fundamentos básicos de la ciencia, apoyados en la intuición y la experiencia real, y ver en un documento de 500 páginas las anomalías y alucinaciones y decir "esto es una puta mierda ¿qué cojones me estás contando?, páginas 42, 61, 431".
Conclusión
Hay dos alternativas a estos modelos
1) No los uses, no los necesitas, y son parte de un problema mucho mayor. Disminuye tu huella digital y empieza a acumular conocimiento en papel acerca de lo que necesitas saber.
2) Construye tus propios modelos fuera de las megacorporaciones, no estás a salvo. Llama, Mistral o Kimi-K2.6 han reducido considerablemente la distancia con modelos propietarios. Construye tu propia infrastructura, y pon tus propias restricciones al modelo - incluyendo ninguna restricción.
A pesar de que la UE nos quiere vender que va a prohibir la manipulacion subliminal, o el carnet por puntos para el ciudadano con la directiva EU AI Act (2024/2026), si algo hemos aprendido de la UE es que hay que fijarse en lo que hace y no lo que dice. Y por extensión al resto de estados.
La dictadura digital está a las puertas de erigirse como un filtro probabilistico sobre la realidad de los usuarios, donde los gobiernos controlan los "pesos" en el grafo que representa el espacio estocástico y la poblacion pierde la habilidad de ver el sesgo porque no sabe pensar por sí misma. Así que la sociedad que llegará en la siguiente década, podemos llamarla idiocracia, y se caracteriza por:
- Declive en capacidades cognitivas básicas
- Ilusión de conocimiento inmediato (Cognition as a Service)
- Control invisible por parte de los modelos LLM al servicio de las corporaciones
- Stasi digital, al servicio del estado
La idiocracia está para quedarse durante un largo tiempo
- Las IAs darán respuestas basadas en la probabilidad
- Los humanos la aceptarán porque no tienen los conocimientos fundamentales para rebatirlos
- El error será redefinido como hecho, y realimentado en el siguiente ciclo de entrenamiento para la base de datos del LLM (llamado síndrome de la IA Habsburgo)
- No se puede producir nuevo conocimiento interpolando datos, por lo que habrá un estancamiento en la ciencia y en la tecnología, con ocasionales regresiones debido a que ya no quedará nadie que entienda los fundamentos con los que las entrenaron.
Más de uno dirá, "pues ya lo sabía, no necesito tanta prosa". Pero la idiocracia está para quedarse, comenzando por el mundo corporativo.
Los manayels y líderes corporativos son los memos perfectos para tragar probabilidad del espacio estocástico multidimensional. Les encanta ese tipo de mandanga plausible, y luego recitar "denegación plausible" ante una cagada monumental, porque no entienden el modelo, o porque la IA "ha recibido un entrenamiento incorrecto". Y por supuesto, colará, porque los que toman decisiones están encantados con esas respuestas que quieren oir.
Incluso si les cuesta el dinero tras una pifia multidimensional asombrosamente probabilística.
<sup><b>1</b></sup> La convergencia de series usando el teorema central del límite fue utilizado o en último análisis del declive de menéame, donde se demostró que la serie de uso e interacción converge con una gaussiana desplazada, y tiende a 0 si no cambian las condiciones tecnológicas de la plataforma, ligada a su base demográfica actual.
Este artículo es una queja personal sobre el funcionamiento y el trato de Renfe, como viajero y sufridor habitual de su servicio de trenes.
El martes 23 de junio tenía reservado un viaje corto de los que volvemos a poder realizar una vez recuperada la movilidad. De Castellón a Tarragona en tren.
Mi Talgo "Torre del Oro" tenía hora prevista de salida a las 17:07 en Castellón y llegada a las 18:41 a Tarragona. Este tren sale desde Sevilla a las 8:35 de la mañana por lo que es habitual que lleve retraso y este martes el retraso era de 45 minutos.
Como la aplicación oficial de Renfe hace meses que no informa de los retrasos en los viajes comprados, tengo instalada en mi móvil la aplicación de Adif que sí que da esa información. Entro en la app y además del retraso, veo que el tren no para en Tarragona como dice mi billete, sino en la estación de Camp de Tarragona, una estación en mitad de ninguna parte, a 13 kilómetros (15 minutos en coche) de la estación de Tarragona ciudad.
Qué raro, pienso. Mi billete es a Tarragona, los paneles de información dicen que paramos en Tarragona y, sin embargo, la app del gestor de infraestructuras ferroviarias dice que paramos en otra estación.
Así que me acerco a la empleada de Renfe que se encarga de comprobar los billetes antes de subir al tren y le pregunto directamente: "Disculpe, el próximo tren ¿para en Tarragona o en la estación del Camp?"
Cara de descomposición, como si le hubiera preguntado por el próximo eclipse lunar: "Pues.. No sabría decirle, creo que para en Tarragona. ¿O era en Camp?" Aquí no sé si estaba hablando sola o con un diablillo morado invisible posado en su hombro. "Un momento y te lo consulto."
Y ese momento nunca llegó, la duda quedó en el aire sin respuesta. El tren llegaba con 50 minutos de retraso y en el luminoso que anunciaba las paradas seguía informando de que el tren paraba en Tarragona.
Subo al tren, ocupo mi asiento y todavía no sé dónde paro. Me acabo de subir a un tren que no sé dónde me va a dejar, pero resulta que mi situación todavía podía ser peor. No por mí, sino por otros pasajeros andaluces que iban en el mismo vagón.
El viaje dura poco más de hora y media, pero al pasar alrededor de media hora escucho bullicio y quejas unas cuantas filas detrás. Un grupo de cinco personas que estaban protestando al revisor. Pongo la oreja y me entero del fregao. Resulta que el tren que debía parar en Tarragona, en Vilanova i la Geltrú y en Barcelona, excepcionalmente iba a desviarse por la vía del AVE. Así que los viajeros que íbamos a Tarragona nos tendríamos que bajar en Camp de Tarragona y luego coger un autobús que en unos 20 minutos nos dejaría en Tarragona ciudad. Pero, ay, los pasajeros que querían parar en Vilanova i la Geltrú no les iba a llevar nadie, que se cogieran un cercanías en Barcelona, que les salía gratis. Esa parada en Vilanova quedaba suprimida y les estaba informando en esos momentos. Es decir, además de los 60 minutos de retraso, unos pasajeros que habían salido a las 8:35 de la mañana desde Sevilla, tenían que llegar a Barcelona y luego cogerse un Cercanías por sus propios medios para acabar llegando a Vilanova con seguramente más de 2 horas de retraso.
Por fin pasadas las 19:35 llegaba a Camp de Tarragona, todavía tenía que coger un bus que nos llevaría a Tarragona ciudad con lo que mi llegada a destino fue después de las 8 de la tarde. Con un retraso de más de una hora.
Así que hoy me conecto a la web de Renfe para solicitar la indemnización, un intercity, más de 60 minutos y menos de 90, según sus condiciones conlleva una indemnización del 50% del coste del billete. Pues no. En la web dice que por ese retraso no hay derecho a indemnización ![]()
Como no lo entiendo, llamo por teléfono para poner una reclamación y que me lo explique alguien a ver si es un error. Pues no, no es un error. Al otro lado del teléfono una teleoperadora me informa que si nos han llevado a destino en autobús no se puede solicitar la indemnización por web, que hay que hacerlo presencialmente en una estación. Y tengo un plazo de tres meses para solicitar esa indemnización. Y si no voy a una estación, pierdo la indemnización.
Así que ésta sigue siendo la normalidad en Renfe. Empleados que no saben las paradas de un tren, información falsa en las pantallas, retrasos de más de una hora en los trenes, revisores que comunican a los pasajeros que se han suprimido paradas cuando estamos a punto de llegar a otro destino, pasajeros que son abandonados en otra ciudad para que cojan un cercanías a su destino original, imposibilidad de solicitar indemnización a través de la web si te han metido en un autobús para finalizar el viaje.
Renfe, calidad, compromiso de puntualidad, rapidez y comodidad. JA.
menéame