Caminantes

Saludos clase

Hoy vieron un poco del caminante aleatorio, de hecho se les quedaron dos tareas.

1. Si tienen un caminantea aleatorio ubicado en el plano y lo ponen... pues a caminar... ¿cuál es la probabilidad que después de N pasos éste se encuentre a distancia N? la única consideración es que el caminante tiene que cambiar de posicion para cada iteracion

Es decir

N	p(dN)
1	1
2	3/4

Hagan un programita en su lenguaje favorito que muestre como se movió después de N iteraciones, el graficado lo puede hacer con gnuplot

2. Mucho menos técnica al grado que ni parece tarea, pero si lo es. Tienen que ver cuánto tiempo tarda en llegar una hormiga a una fuente de alimento (un pedazo de dulce chupado, paleta o lo que quieran) y luego cuánto tarda en llegar el resto de la banda (o sea, el resto de las hormigas).

Otro tipo de caminante cuya distribución obedece a una ley de potencias es el caminante de Levy (el sitio que les mencionó toño es este: http://www.wheresgeorge.com/)

Nota: como el sitio esta muy nuevo, la colección mas grande que encontré tenía unicamente 16 localizaciones, que está lejos de ser una muestra estadística representativa, pero la idea general y distribución de los vuelos de Levy es esa.

Todo esto es la introducción al tema de la Inteligencia de Enjambre (Swarm Intelligence).

Lectura

Por cierto, el artículo sobre los no-embotellamientos en colonias de hormigas, está aquí. Para bajar el artículo busquen el título y los debería llevar a arXiv.org [pdf].

Nos vemos en clase.

SOM: self orginizing maps

Aloha

Hoy empezaron a ver con Toño otro tipo de red neuronal cuyo entrenamiento es no supervizado: los mapas autoorganizados o self orginizing maps (para no variar aquí les dejo el capítulo 15 del Rojas)

En este entretenidìsimo video de 7 minutos van a poder ver el mecanismo general del SOM:

Lecturas relacionadas

Aquì les dejo un tutorial de la IEEE sobre redes neuronales.

Una aplicación en deshuso pero bien interesante (así como una considerable cantidad de refritos): WebSOM

Lecturas para el viernes 20 (re-corregido)

Saludos clase, esta es la corrección de la corrección.

Aquí les dejo dos lecturas para el próximo viernes 20 de marzo. Ya está corregido el segundo link y los permisos de acceso.

Foreword
Exploration of cognitive capacity in honeybees

El libro es Complex worlds from a simpler nervous systems

Nos vemos.

Retropropagacion del error

O como comunmente lo conocen en el bajo mundo de las redes neuronales, error backpropagation. Es un algoritmo de aprendizaje supervisado para una red neuronal. La idea es hacer una suerte de suavizado del paisaje con pequeños ajustes sobre los pesos de cada neurona utilizando el error que se obtiene de comparar el valor obtenido y el esperado. Para poder usarlo necesitan un conjunto de entrenamiento y otro de prueba y, obvio, la red neuronal que desean entrenar.

Ya saben que para calcular el impulso enviado por una neurona necesitan la sigmoide. Ahora, para irnos de regreso vamos a necesitar la derivada de la sigmoide.

Aquí les dejo el pseudocógido:

1. Inicializar todos los pesos con pequeños valores aleatorios
2. Para cada estímulo en el conjunto de aprendizaje propaga la señal por las distintas capas internas (que no es otra cosa que dejar que la red funcione como está diseñada)
   
3. Calcula la diferencia del valor esperado para la capa de salida y el valor obtenido (deltas)
   
4. Con este valor nos vamos regresando por las diferentes capas obteniendo el mismo valor para cada neurona hasta llegar a la capa inicial
   
5. Ajusta los pesos
   
6. Con el siguiente estímulo del conjunto de entrenamiento regresa al paso 2
7. Parar hasta que el error rebase el umbral establecido o hasta que que cierto numero de iteraciones elegidas se completen.

Aquí les dejo una explicación gráfica del algoritmo.

Si pueden leánse el Capítulo 7 (por lo menos el principio) del Rojas, ya que tiene un enfoque distinto y hace mención de fenómenos bien interesantes.

Fundamento teórico de las Redes Neuronales

Saludos chavos

Hoy vieron en clase varios algunos conceptos muy importantes de la Teoría de Redes Neuronales

Platicamos un poquito sobre los 23 problemas planteados por David Hilbert expuestos en el Congreso Internacional de Matemáticas de París en 1900, entre ellos, él que nos ocupa principalmente es el problema demostrado por Arnold y Kolmogorov

13. Show the impossibility of solving the general seventh degree equation by functions of two variables.

Aquí les dejo unas referencias:

Evolving Neural Networks to Play Checkers (pdf). Los autores: Kumar Chellapilla y David Fogel. Por favor, vayan leyendo esta

El problema 13 según Wikipedia.