WTF es la Entropía

Si tuviéramos que elegir el concepto más malentendido de la ciencia en general, apostaría a que un fuerte candidato sería el concepto de entropía.

Piénsalo un segundo: ¿cuál es tu idea sobre este tema? A menos que te metas en los detalles, es probable que hayas escuchado algo así como que la entropía mide el grado de desorden de un sistema. Y aunque hay algo de verdad en eso, es una forma muy vaga de describir lo que la entropía realmente es.

Pero también se siente como un concepto importante y omnipresente, ¿no? De hecho, aparece en muchos campos del conocimiento: física, teoría de la información, criptografía, y más.

Curiosamente, ¡cada campo la descubrió por su cuenta, y todos terminaron describiendo exactamente lo mismo!

Entonces, ¿de qué se trata este extraño concepto? ¿Y qué demonios tiene que ver la termodinámica con cómo encriptamos un secreto?

Bueno, amigos míos, ¡ese es el misterio que vamos a desentrañar hoy!

Esto va a ser interesante. ¡Agárrate fuerte, y vamos directo al grano!

Intuición

Empecemos con la idea básica que se ganó su lugar como la intuición fundamental de lo que es la entropía.

Imagina tu escritorio de trabajo. Si eres como yo, no ordenarlo durante unas semanas resultará en un desastre absoluto de papeles tirados por todos lados, algunos cables enredados, quizás un par de cajas que no deberían estar ahí, e incluso algunos objetos extraños como, no sé, un atrapasoles que tu esposa sacó de una ventana el domingo pasado.

Historia real. No me juzgues, ¿ok?

Nada de eso fue planeado. Simplemente... pasó de forma natural.

Pero ahora imaginemos que ocurre lo contrario: te despiertas una mañana y tu escritorio, antes caótico, se ordenó espontáneamente durante la noche. Papeles clasificados, cables prolijamente agrupados, nada de basura tirada. A menos que conozcas la existencia de un poltergeist amistoso al que le encanta limpiar, probablemente te quedarías atónito - y mucha con razón. Eso simplemente no pasa.

Pero, ¿por qué no pasa? Nada en las leyes de la física prohíbe estrictamente que las cosas se "ordenen" espontáneamente. Después de todo, los átomos pueden moverse en cualquier dirección, así que, ¿qué les impide conspirar a tu favor y ordenar todo?

Resulta que la respuesta es asombrosamente simple:

Hay muchísimas más formas de que tu escritorio esté desordenado que de que esté ordenado.Hay muchísimas más formas de que tu escritorio esté desordenado que de que esté ordenado.

¡Es tan simple que ni siquiera parece tener mucho sentido!

Una buena manera de entender esto es imaginar el estado de tu escritorio como una configuración posible de los objetos que sueles tener en él. Intenta visualizar cuántas de esas configuraciones calificarían como "ordenadas", y cuántas calificarían como "desordenadas".

En efecto, casi cualquier cosa califica como una configuración desordenada, mientras que una configuración ordenada requiere que todo esté exactamente en su lugar. Así que si pudieras elegir una configuración al azar para dicho escritorio, lo más probable es que eligieras una configuración desorganizada, ¡porque el desorden gana por un margen enorme!

Esta es exactamente la misma razón por la que no puedes deshacer un huevo revuelto, o recuperar el azúcar disuelto en tu café. El estado revuelto no es más "estable" en algún sentido oscuro, sino que hay una cantidad astronómicamente mayor de formas de estar revuelto que de ser una yema impecable descansando prolijamente en la clara. Una vez que estás en ese territorio desordenado, las probabilidades de volver a salir de él deambulando al azar son esencialmente nulas.

Y esa es toda la idea detrás de la entropía. No es "desorden" como algún vago juicio estético, sino un conteo preciso de en cuántas formas puede estar arreglado un sistema, y aun así verse "igual" desde afuera.

Formalización

Todo muy lindo con las analogías, pero la ciencia no funciona solo a base de ellas. En algún momento, alguien tuvo que sentarse y escribir una definición formal.

Ese alguien fue un tipo llamado Ludwig Boltzmann.

Ojo, ese "tipo" fue uno de los científicos más influyentes de su época, aunque tristemente sus teorías fueron validadas después de su muerte.

En el siglo XIX, Boltzmann estaba acosado por la misma pregunta que planteamos hace unos párrafos, solo que su enfoque estaba en sistemas físicos en lugar de escritorios o huevos. Se preguntaba por qué un sistema como un gas podía exhibir propiedades tan predecibles (como su temperatura o su presión), cuando en realidad eran el resultado de un enjambre inimaginablemente grande de moléculas ocupándose de sus propios asuntos.

A escala microscópica, todo es caótico; pero a escala macroscópica, todo parecía fusionarse en un único valor emergente y limpio. ¿Cómo podía ser eso posible?

Click to zoom

Así que Boltzmann esencialmente hizo lo mismo que hicimos hace un momento con nuestro escritorio imaginario: decidió no seguir la pista de cada molécula individual, sino contar los estados posibles del sistema.

La idea es, nuevamente, hermosamente simple una vez que la desglosamos. Verás, cuando observamos un sistema, estamos viendo lo que él llamó un macroestado, que por supuesto es el resultado de que el sistema se encuentre en un estado microscópico particular, llamado microestado. Pero muchos arreglos de microestados posibles pueden describir el mismo macroestado, y así procedió a escribir esto en una de las ecuaciones más elegantes de toda la física:

$$S= k_B \cdot ln(\Omega)$$

Donde $\Omega$ es el número de microestados compatibles con el macroestado observado, $k_B$ es solo una pequeña constante (que lleva el nombre de Boltzmann, por supuesto). Y entonces... ¿te animas a adivinar qué es $S$?

Exacto: ¡es la entropía!

Dato curioso: la ecuación es tan importante para el legado de Boltzmann que está literalmente grabada en su lápida en Viena.

Eso pinta un panorama mucho más claro de lo que la entropía realmente es: simplemente una medida de cuántos arreglos microscópicos pueden dar lugar a lo que observamos. Un sistema altamente "ordenado" tiene una entropía muy baja, porque dicho estado se explica con muy pocos microestados, y lo opuesto puede decirse de los estados "desordenados".

En cierto modo, la entropía es una forma de medir la incertidumbre. Si lo miramos al revés, cuando observamos un macroestado muy probable, lo que ocurre es que hay una cantidad salvajemente grande de microestados que podrían describirlo, así que no tenemos certeza sobre cuál de esos arreglos subyacentes es responsable de lo que estamos observando.

La definición de entropía de Boltzmann se convirtió en uno de los pilares fundacionales de un campo llamado mecánica estadística, que es la rama de la física que tiende un puente entre el mundo microscópico de los átomos y las moléculas, y el mundo macroscópico en el que realmente vivimos.

El poder de esta formulación es que convierte nuestra intuición sobre el desorden en algo que realmente podemos calcular.

Y presumo que todavía te estás preguntando qué demonios tiene que ver esto con la criptografía. Resulta que este paso de la intuición al cálculo es exactamente lo que permite que la entropía trascienda la física, y aparezca en lugares que quizás no esperamos.

De la Física a la Información

Nuestra historia ahora cruza el océano Atlántico, donde unos años después del fallecimiento de Boltzmann, estaba por nacer otro gran matemático: Claude Shannon.

Alrededor de la mitad del siglo XX, Shannon estaba enfocándose en un asunto distinto: entender los límites fundamentales de la comunicación. En aquel entonces, se preguntaba qué le pasaría a un mensaje enviado a través de un canal ruidoso, como un cable telefónico o una señal de radio. Sucede que el ruido en el canal alteraría la información transmitida, así que se preguntó cuánta información podía transmitirse de forma confiable.

Pero, ¿cómo se mide la información? Antes de poder analizar cualquier resultado, primero necesitaba una definición. Así que la pregunta que realmente necesitaba responder no era otra que:

¿Qué es, exactamente, la información?¿Qué es, exactamente, la información?

Aunque no lo creas, en aquella época no había una definición clara. Y si te detienes a pensarlo, verás que es una pregunta bastante difícil de responder.

¿Será, quizás, la longitud del mensaje? Pero si ya sabes lo que alguien va a decir, ¿tiene sentido medir la información como el tamaño del mensaje? No realmente, diría yo. Sin embargo, si no sabemos qué esperar de un mensaje, entonces la información que contiene es absolutamente nueva para nosotros. Es máximamente informativo, por así decirlo.

En cierto modo, ese pequeño ejercicio nos dice que la información está nuevamente relacionada con la incertidumbre. Cuanto más sorprendente es un mensaje, o cuanto menos predecible es, más información lleva.

Y así, decidió modelar la información en torno a esta idea de incertidumbre o sorpresa. Todo lo que necesitaba para darle forma a su idea era asignarle un número.

Concretamente, la formulación relaciona la probabilidad $p$ de que ocurra un mensaje con su "grado de sorpresa", medido simplemente como $\text{log}(1/p)$. Los mensajes raros (aquellos con $p$ baja) conllevan una sorpresa alta, mientras que los mensajes comunes (aquellos con $p$ alta) conllevan una sorpresa baja. Simple, ¿no?

Además, definió la "sorpresa promedio" para todos los mensajes posibles como:

$$H=−\sum_i​ p_i​ \cdot \text{log}(p_i)​$$

Solo para que esto no te sorprenda (perdón por el chiste malo), es fácil comprobar que $\text{log}(1/p_i) = -\text{log}(p_i)$.

Esta medida es máxima cuando todos los mensajes son igualmente probables, o cuando hay máxima incertidumbre (y por ende, máxima información). Y se reduce a cero cuando el resultado es casi seguro.

¡Genial! Pero, ¿qué tiene que ver esto con la entropía?

Entropía de la Información

Bueno, todo lo que Shannon necesitaba en este punto era otorgarle un nombre a su nueva medida.

En su búsqueda de un buen nombre, recurrió a su colega John von Neumann (sí, el tipo era casualmente amigo de otra de las mentes más grandes del siglo XX) en busca de consejo. La respuesta de Von Neumann resultó ser bastante brillante, aunque probablemente un poco traviesa en espíritu.

Y cito, para nada literalmente:

Llámala entropía. Es la misma fórmula que la de Boltzmann, y además, nadie sabe realmente qué significa la entropía. Así que en cualquier debate, siempre tendrás la ventaja.Llámala entropía. Es la misma fórmula que la de Boltzmann, y además, nadie sabe realmente qué significa la entropía. Así que en cualquier debate, siempre tendrás la ventaja.

O eso dice más o menos la historia.

¡Justo en el blanco! El hecho de que las ecuaciones se vieran exactamente iguales no fue casualidad en absoluto. Claro, Boltzmann contaba estados de moléculas y Shannon medía mensajes posibles, pero en el fondo ambos estaban midiendo lo mismo: incertidumbre.

¡Genial! Aunque no hemos dado una definición universal de entropía, hemos establecido con éxito que está estrechamente relacionada con la incertidumbre.

Y supongo que lo siguiente que nos preguntamos naturalmente es si esta idea puede aplicarse a otras áreas. En otras palabras, ¿es esto un cruce casual entre la física y la teoría de la información, o hay algo aún más fundamental ocurriendo de fondo?

Creo que ya adelanté algo de esto antes, pero aun así, la respuesta es que esta idea sí aparece en otras áreas, y de maneras bastante interesantes.

Especialmente en la siguiente.

Ocultando un Secreto

Este será un cambio de marcha bastante radical, pero escúchame. ¡Prometo que tendrá sentido al final!

Pregunta rápida: ¿qué significa guardar un secreto?

Bueno, guardar un secreto significa que hay alguien que puede intentar obtener conocimiento de una información secreta, y tú se lo estás impidiendo. Para efectos del argumento, llamemos a ese alguien Juan.

Ese maldito bastardo...

Entonces, información, ¿eh? Ya hemos dicho bastantes cosas sobre la información. En particular, la reducimos a incertidumbre, pero en este caso, la incertidumbre reside en un lugar que quizás no esperábamos: ¡está en Juan!

Cuanta menos certeza tiene Juan sobre el secreto, mejor protegido está. Bastante simple una vez que lo ponemos en palabras, ¿verdad? Y por supuesto, esa incertidumbre tiene un nombre, uno que probablemente ya conoces a esta altura del artículo:

Un buen secreto tiene alta entropía.Un buen secreto tiene alta entropía.

Un ejemplo típico de esto son las contraseñas. ¿Dirías que una contraseña como 123456 es buena? Probablemente no, ¿verdad? Pero, ¿por qué exactamente no es buena?

Sucede que un atacante que intente adivinar tu contraseña la tendrá fácil. La cantidad de "intentos razonables" que necesita probar antes de descubrir tu contraseña es muy pequeña. O podemos ponerlo en términos de entropía: esa contraseña se encuentra en un espacio $\Omega$ muy pequeño de opciones probables. Eso produce una entropía baja y, en consecuencia, un secreto terrible.

Recuerden, chicos: usen siempre minúsculas, mayúsculas, números, símbolos, y al menos 20 caracteres.

Una vez más, es el mismo argumento de antes, pero disfrazado. Solo que esta vez, este enfoque es la intuición central detrás de una de mis áreas del conocimiento favoritas: la criptografía.

Criptografía

En su esencia, la criptografía es la ciencia de diseñar incertidumbre.

Los sistemas criptográficos toman una pieza de información y la transforman de tal manera que un atacante (te estoy mirando a ti, Juan) se queda contemplando una pieza de información que pudo haber sido producida de una cantidad absurdamente grande de formas. Conoce la salida, claro, pero la entrada podría haber sido cualquier valor de un conjunto enorme de valores posibles.

O en términos de Boltzmann, ¡podemos decir que un atacante posee un macroestado con un $\Omega$ extremadamente grande de secretos subyacentes posibles (o microestados)!

Esto es cierto para cosas como la encriptación y las firmas digitales. No te preocupes si no estás muy familiarizado con alguno de los dos temas, porque podemos traerlo a este terreno de la entropía con bastante facilidad. Verás, ambos sistemas dependen de una clave, que es un pequeño dispositivo secreto que controla cómo se mezcla la información. Y esta clave suele ser un entero, elegido de un conjunto muy grande de enteros posibles.

Sin embargo, al igual que con las contraseñas, la calidad de esta clave está determinada enteramente por su entropía. Si el número se elige verdaderamente al azar del gran conjunto de posibilidades que mencionamos antes, entonces $\Omega$ es realmente grande, y Juan la tendrá muy difícil para descifrarla. Pero si se genera de forma predecible (como mediante un generador de números aleatorios débil, o incluso un humano eligiendo un número a mano), entonces $\Omega$ colapsa dramáticamente. ¡Las matemáticas de algo como RSA pueden ser muy sólidas, pero la entropía puede terminar traicionándote!

Y por eso los criptógrafos están casi patológicamente obsesionados con la aleatoriedad. ¡La mala aleatoriedad ha roto más sistemas criptográficos en la práctica que los malos algoritmos!

Lo cual plantea otra pregunta más: ¿de dónde viene la verdadera aleatoriedad de alta entropía?

En Busca de la Aleatoriedad

Generar un número verdaderamente aleatorio no es una tarea fácil. Tu computadora en particular no está naturalmente preparada para la tarea, siendo una máquina determinista, por lo que la mayoría de los algoritmos de generación de números aleatorios son en realidad pseudoaleatorios.

Así que para encontrar una buena fuente de entropía, tu computadora necesita buscar en otro lado. Y no necesita buscar más lejos que el lugar más impredecible de todos: ¡nuestro mundo físico!

¡Tal como lo escuchaste! Los sistemas operativos modernos recolectan entropía de eventos físicos impredecibles: cosas como el momento preciso de tus pulsaciones de teclas, o los movimientos del mouse, o incluso los paquetes de red que llegan a tu computadora. Pero algunos investigadores han llevado esta idea aún más lejos, preguntándose si sería posible incorporar la aleatoriedad directamente en un dispositivo.

Y lo lograron, siendo el resultado lo que se conoce como Función Física No Clonable (o PUF, por sus siglas en inglés).

Cómo lo hicieron es realmente alucinante: cuando se fabrica un chip de silicio, las variaciones a escala atómica en el proceso de fabricación hacen que cada chip sea sutilmente único. Hablamos de variaciones tan pequeñas y tan caóticas que ni siquiera el fabricante puede reproducirlas jamás.

Una PUF usa estas variaciones como un secreto criptográfico. Lo que haces es enviar al chip una señal de entrada, y este responde con una salida determinada por su desorden físico único. Como consecuencia, no hay dos chips que respondan de la misma manera, ¡porque el secreto está literalmente grabado en el chip!

Es decir, es entropía termodinámica, congelada en las moléculas de silicio, haciendo criptografía. Una locura, ¿no?

Y antes de irnos, quiero ir a fondo con este concepto de buscar aleatoriedad en lugares extraños.

¡Porque puedes usar el maldito ADN como fuente de entropía!

¡El diablo hermano!

Oh sí. Las hebras de ADN son esencialmente el medio de alta entropía de la propia naturaleza. Una secuencia de apenas unas pocas docenas de nucleótidos (extraídos de un alfabeto de solo cuatro bases, que podemos pensar como las letras A, C, G y T) produce un espacio combinatorio tan increíblemente grande que empequeñece cualquier cosa que una computadora pudiera enumerar.

En 1994, Leonard Adleman usó famosamente moléculas de ADN para resolver un problema computacional dejando que la química hiciera el conteo. Y desde entonces, los investigadores han demostrado que se pueden construir esquemas criptográficos sobre ADN, donde la entropía no es generada por un algoritmo, sino por ese mismo caos molecular que Boltzmann estudiaba un siglo antes.

Que forma elegante de cerrar esta cuestión, ¿ah que si?

Resumen

Entonces, después de todo esto, ¿podemos por fin responder qué es la entropía?

Honestamente, la entropía se resiste a una única definición. Lo que sí podemos decir es que la entropía siempre plantea la misma pregunta:

¿De cuántas formas podría haber ocurrido esto?¿De cuántas formas podría haber ocurrido esto?

Ese es el factor común a todos nuestros ejemplos: Boltzmann contó arreglos moleculares, Shannon contó mensajes posibles, los criptógrafos cuentan claves posibles, los diseñadores de PUFs cuentan configuraciones atómicas, y los investigadores del ADN cuentan secuencias de nucleótidos.

El dominio cambia cada vez, pero la pregunta de fondo es siempre la misma. Y como puedes imaginar, no termina ahí. Verás aparecer la entropía en varios lugares, como ser:

• Probabilidad y estadística: la función de verosimilitud en la inferencia estadística está profundamente relacionada con la entropía. Cuando ajustas un modelo a los datos, esencialmente estás minimizando la "sorpresa" entre las predicciones de tu modelo y la realidad.
• Aprendizaje automático: la pérdida de entropía cruzada, uno de los objetivos de entrenamiento más utilizados en el aprendizaje profundo (deep learning), es literalmente la $H$ de Shannon aplicada a la diferencia entre distribuciones de probabilidad predichas y verdaderas. ¡Cada vez que una red neuronal entrena, está haciendo aritmética de entropía!
• Física de agujeros negros: la entropía de Bekenstein-Hawking sugiere que la entropía de un agujero negro es proporcional a su área superficial. El universo mismo parece estar haciendo el mismo conteo, en las escalas más extremas imaginables.
• Evolución: incluso la selección natural puede plantearse como un proceso que reduce la entropía en la información biológica, porque los genomas se vuelven configuraciones cada vez más "improbables" en relación con la química aleatoria.

Parece casi deliberado, como si contar cosas estuviera profundamente embebido en el tejido mismo de la realidad.

Al final, Von Neumann tenía razón en más de un sentido. La mayoría de la gente no sabe qué es la entropía, no solo porque es confusa, sino también porque en realidad no pertenece a una única área del conocimiento.

Pero todo aquel que mire con suficiente atención su propio campo termina encontrándola ahí, esperando, haciendo su silencioso y paciente trabajo de conteo.