Variabilis

Ep 18: Relational Memory Core - Cuando la Memoria Necesita Razonar

Este episodio planteamos la siguiente pregunta: ¿qué pasa si no solo necesitamos razonar sobre relaciones en un instante, sino que necesitamos recordar relaciones a lo largo del tiempo? Las LSTMs son excelentes para recordar. Los Relation Networks son excelentes para razonar. ¿Qué pasa si combines ambos? Ese es el Relational Memory Core (RMC).

Ep. 17: Variational Lossy Autoencoder - Aprender a Olvidar lo que No Importa

Hoy entramos al mundo de los modelos generativos: sistemas que no solo clasifican datos, sino que aprenden a generar datos nuevos como imágenes, texto, audio. "Variational Lossy Autoencoder"Por Chen, Kingma, Salimans, Duan, Dhariwal, Schulman, Sutskever y Abbeel (2016) Este paper es denso conceptualmente, pero contiene una idea elegante y muy práctica: ¿cómo fuerzas a una red neuronal a aprender una representación que capture solo la estructura global de los datos, descartando los detalles irrelevantes como textura o ruido? La respuesta involucra combinar dos tipos de modelos poderosos; el VAE y los modelos autorregresivos, de una manera que controla qué tipo de información aprende a comprimir cada uno.

Ep. 16: ResNet v2 — ¿Por Qué Importa Dónde Pones el ReLU?

Este episodio es el "sequel" del episodio 10 sobre ResNet. Si en el episodio 10 aprendimos que los skip connections permiten entrenar redes muy profundas, hoy vamos a profundizar en una pregunta aparentemente pequeña que resulta tener implicaciones grandes: ¿dónde exactamente ponemos el Batch Normalization y el ReLU dentro del bloque residual? La respuesta a esa pregunta permitió entrenar redes de más de 1000 capas y explica por qué ResNet funciona tan bien desde un punto de vista matemático.

Ep. 15: El Nacimiento de la Atención

Hoy tocamos uno de los papers más importantes de toda la lista. No el más famoso (ese es "Attention is All You Need"), pero sí el que lo hizo posible. En 2014, Dzmitry Bahdanau, Kyunghyun Cho y Yoshua Bengio publicaron un trabajo que parecía una mejora técnica en traducción automática, pero que en realidad contenía una idea que cambiaría todo: el mecanismo de atención. Si "Attention is All You Need" fue la explosión nuclear, este paper fue quien sintetizó el uranio.

Ep 14: Redes Neuronales que Aprenden sobre Moléculas

Hoy entramos a un episodio que puede sonar intimidante: química cuántica. Pero no te preocupes; el verdadero tema es mucho más general y fascinante: ¿cómo hacemos que una red neuronal aprenda sobre grafos? Este paper de 2017 introdujo el framework MPNN (Message Passing Neural Network), que unificó varias arquitecturas de Graph Neural Networks bajo un solo lenguaje. Y aunque el caso de uso es predecir propiedades de moléculas, la idea es tan general que hoy se usa en redes sociales, sistemas de recomendación, física simulada, y más.