La Inteligencia Artificial está dejando de ser una curiosidad exótica y un juego para hacer preguntas tontas o ilustraciones mediocres, cada día vemos cómo se acerca más a nuestra vida cotidiana, desde cosas como los ataques a infraestructura crítica y de transportes hasta una posible catástrofe financiera global están apareciendo cada vez más seguido.
Se me ocurrió entonces que sería interesante conversar del asunto con Gemini, porque es un asunto donde tengo muchas dudas y la propia IA es un paraíso para aprender cualquier cosa. Pero no podemos preguntar cualquier cosa, al menos si queremos sacar algo de provecho. Es fundamental tener mucho cuidado con lo que se pregunta.
Bueno, una de mis primeras dudas es ésta: ¿Se podría decir que parte de los grandes riesgos financieros del ecosistema creado alrededor de la IA es el costo desmesurado de construcción y operación de los datacenters? ¿existe algún otro costo comparable a ese?
La respuesta corta es si. los mayores costos son en fundición de chips semiconductores, suministro de energía, instalaciones físicas, recursos humanos y patentes. Ese es el costo de las instalaciones físicas. Pero también existe otro costo, el de entrenar y luego explotar los grandes modelos de lenguaje.
Podríamos pensar que el costo de los datacenter es "hardware" mientras que los modelos de lenguaje son "software". Para entrenar un modelo hay que recolectar datos de Internet, que es casi gratis, pero filtrarlos para eliminar duplicados, contenido basura, sesgos o errores requiere un enorme procesamiento de datos y miles de anotadores humanos.
Después de esa fase de entrenamiento viene la fase de explotación o inferencia, que es cuando al modelo se le hacen preguntas o requerimientos y entrega sus resultados, como cuando tenemos un software o una app, la ejecutamos y nos entrega un resultado.
Mi otra duda es que existen varios modelos de IA en competencia actualmente ¿existen algunos con diferencias insuperables o son todos más o menos parecidos? La respuesta es que en general todos los modelos son parecidos y se tiende a la "comoditización", es decir a que todos sean lo mismo.
Sin embargo los diferentes modelos (Chat gpt, Gemini, Claude... etc.) se especializan en ciertas áreas, aunque normalmente cuando un modelo saca alguna innovación importante es rápidamente incorporada en los demás. Todas se basan en la misma arquitectura base (Transformer) así es que son variantes de una misma cosa.
Otra duda es: Si existe una tendencia a la comoditización ¿por qué todos parecen ir en dirección a fuerza bruta y poder de cómputo irracionalmente grande y nadie parece interesado en investigar por mayor eficiencia? ¿No hay manera de competir por eficiencia? (me refiero a los modelos que funcionan conectados a la web)
Aquí la respuesta se pone difícil, Gemini dice que se está invirtiendo mucho esfuerzo en tratar de optimizar, pero existe un problema: la optimización es tan complicada que se necesita un modelo gigantesco para poder diseñar otra versión simplificada y más eficiente, esa sería la explicación de por qué cada día crece la presión por hacer datacenter más y más gigantescos.
Hay explicaciones económicas para esta carrera loca por hacer instalaciones gigantescas, una es que ningún gigante tecnológico quiere arriesgarse a detener el escalado y descubrir que su rival alcanzó una ventaja cualitativa decisiva.
La otra explicación todavía más inquietante es la paradoja de Jevons, formulada en 1865 tras observar que las máquinas de vapor más eficientes dispararon el consumo total de carbón en lugar de reducirlo,
Hay muchos ejemplos de eso, los autos al hacerse más eficientes en su consumo llevaron a la gente a usarlos más, comprar un segundo auto, etc. así el consumo global de combustible creció en lugar de disminuir.
Si se encuentran algoritmos y tecnologías más eficientes, eso no reducirá la necesidad de datacenter cada vez más grandes, al contrario, los modelos seán más y más potentes y necesitarán cada vez más hardware. La necesid es infinita.
En su raíz física más profunda, la necesidad de data center cada vez más gigantescos es un problema de termodinámica, ciencia de materiales y ancho de banda.
Es un problema de termodinámica por el calor enorme que genera cada chip al hacer sus operaciones. Un chip del tamaño de una estampilla puede disipar entre 1000 y 1400 watts y cada datacenter ocupa millones de esos chip apilados en hileras interminables de racks (armarios).
Es problema de ciencia de materiales porque las señales deben moverse dentro de un chip por conexiones de cobre u otros metales, ese movimiento es lento, lo que obliga a acortar las conexiones a micras, pero como se genera demasiado calor, tampoco se pueden acercar mucho sin que se fundan.
Otra duda que tenía es ¿Sería probable llegar a un punto donde empiece a regir la ley de rendimientos decrecientes? Es decir que una ampliación muy grande de poder de cálculo no de origen a modelos mucho mejores ¿o en los modelos de lenguaje eso no es probable que ocurra?
Me responde que no solo es probable: ya está ocurriendo en el pre-entrenamiento tradicional. El contenido completo de textos de toda Internet ya está en los datacenters y gran parte de él mejor contenido "la crema" ya está procesado e incorporado a los modelos, así es que resulta cada vez más difícil mejorar el entrenamiento.
Ahora lo que se está haciendo es que en base a lo que ya está disponible, los propios modelos empiecen a generar nuevos textos y se entrenen a si mismos, aunque siempre la última refinación se hace con revisores humanos.
En fin, ese es el panorama actual de la IA de acuerdo a mis principales dudas. Algo que aprendí es la gran necesidad que existe de filtrar los contenidos basura o irrelevantes. Otra cosa que he aprendido -y ya se ha convertido en vicio es que para mi- es que la IA puede ser un instructor extraordinario.
Los tontos dicen "no te confíes, la IA se equivoca", eso es no entender para nada como funciona. Por supuesto que las respuestas se equivocan, pueden ser alucinaciones y todo eso. Pero hay un gran detalle.
Cuando la IA se equivoca, nos contesta con una alucinación o nos da una respuesta estúpida es porque le hicimos la pregunta equivocada. Antes nos decían "no tengas miedo de preguntar, no existen las preguntas tontas", pero en la era de la IA si existen las preguntas tontas.
Y son preguntas que no debemos hacer si no queremos recibir una respuesta igualmente tonta o irrelevante "shit in-shit out", se aplica perfectamente al uso de la IA.
Preguntar si hay vida en otros planetas, que va a pasar en el futuro con cualquier cosa, si existe Dios, quien va a ganar una elección, pedirle juicios de valor o muchas otras cosas que claramente un modelo de lenguaje no tiene modo de saber, solo muestra que somos unos idiotas.
Los modelos de lenguaje son sistemas para combinar tokens generando texto en lenguaje natural que tenga una probabilidad estadísticamente significativa de ser texto con sentido, de acuerdo al corpus con que fue entrenado y sus algoritmos de inferencia. Nada más que eso.
Es una estupidez hacerle preguntas "profundas" a un modelo que solo combina trozos de texto, obviamente va a contestar cualquier cosa. Por eso una habilidad que yo creo que va a ser cada vez mejor cotizada será la del "Consultador", por llamarlo de alguna manera.
Un Consultador es alguien que conozca profundamente las capacidades y limitaciones de la IA, de manera de extraer conocimiento útil, haciendo preguntas que saquen provecho de la capacidad que tiene el modelo. Cuando sea grande, yo quiero ser un gran Consultador.
P.D: Y si a alguien le interesa el tema, puede leer aquí la conversación completa con Gemini, llena de información interesante sobre el asunto, la entrada de hoy es solo un destilado de eso.





