Arquivos

Posts Tagged ‘Potts’

Neurociência e o Projeto Ersätz-Brain…

quarta-feira, 8 dez 2010; \49\UTC\UTC\k 49 Deixe um comentário

ResearchBlogging.org

Bom pessoal, como anunciado anteriormente, vamos falar um pouco sobre um certo aspecto da Neurociência: o da modelagem de redes neurais via sistemas dinâmicos, modelo de Potts e, por que não, teorias de gauge (cf. What is a gauge?, Gauge theories (scholarpedia), Preparation for Gauge Theory e Gauge Theory (José Figueroa-O’Farrill)).

O nome-do-jogo, aqui, é Projeto Ersätz-Brain, e a idéia é a de se construir uma “arquitetura” análoga a de um cérebro para aplicações cognitivas. A base dessa arquitetura são as estruturas de audição e de visão do cérebro: ao contrário do que ingenuamente se imagina, ambas essas estruturas são altamente hierarquizadas e distribuídas. Ou seja, grupos diferentes (e espacialmente distribuídos) de neurônios lidam com ‘pedaços’ diferentes da informação sendo recebida, enquanto que um outro grupo de neurônios “integra” essas informações, numa camada hierárquica superior as anteriores.

Então, a motivação é a de se construir uma arquitetura distribuída e hierárquica — ou, no jargão que nós usamos, uma “rede [neural] de redes [neurais]“: ou seja, estamos dando um passo na direção da “recursividade” da arquitetura usual de redes neurais. Alguns chamariam tal passo de meta redes neurais” e outros de rede neurall Gödeliana, ambos os nomes aludindo à natureza auto-referencial da arquitetura: “redes de redes”.

Pra dar um exemplo concreto dum problema que estamos atacando atualmente, vamos pensar em termos do Código Morse: imagine que o nosso EB é como uma criança que ainda não aprendeu a falar e se pergunte: “Como é que uma criança aprende um idioma?” Agora vamos fazer de conta que o idioma não é uma das línguas faladas ao redor do globo, mas sim Código Morse… e, ao invés de termos uma criança, temos uma arquitetura de redes neurais, um EB. :wink:

O que a gente pretende fazer é colocar um sinal de código Morse como dado de entrada para o EB e, do outro lado dessa “caixa preta”, tirar a mensagem descodificada. O EB tem que aprender código Morse e identificá-lo com os símbolos usuais do alfabeto, pra assim poder dar como saída a mensagem apropriada.

Quem está acostumado com o paradigma usual de redes neurais e Teoria de Hebb já deve ter percebido que esse tipo de approach não vai funcionar no caso do EB. A pergunta, então, se põe sozinha: “E agora, José?” :wink:

O insight é não pensar em termos de “memória”, mas sim em termos de “dinâmica de informação”. Ou seja, ao invés de tentarmos ficar memorizando padrões em cima de padrões, pra depois associar a outros padrões, e assim por diante… a idéia é se notar que, assim como em Teorias de Gauge, há muita informação repetida e muito ruído nesse problema. Então, se Teorias de Gauge funcionam tão bem na Física… por que não tentar implementar um pouco delas em Redes Neurais?! :twisted:

É exatamente isso que estamos fazendo atualmente, criando um modelo para o EB em termos de Teorias de Gauge. Ou seja, há dois tipos de “dinâmicas” em jogo, uma “interna” e outra “externa” (por falta de nomes melhores). A “interna” é como a simetria de gauge em Física, e fornece a dinâmica dos graus-de-liberdade das partículas de gauge, enquanto que a “externa” é a dinâmica dos campos propriamente ditos. Dessa forma a gente estabelece dum modo bem claro uma relação de ‘recursividade': a dinâmica “interna” determina o estado “externo” e vice-versa (num sistema de feedback).

Então, a gente pode pensar num Modelo de Potts com 3 estados: ponto, espaço, e ‘espaço branco’ (entre palavras). Esses 3 estados estão sujeitos a uma certa “dinâmica interna” — à la BSB, cf. Learning and Forgetting in Generalized Brain-State-in-a-Box (BSB) Neural Associative Memories — que é descrita por um sistema dinâmico (BSB), e o resultado dessa dinâmica “interna” seleciona um determinado estado para a dinâmica “externa”, que é guiada, por exemplo, por uma dinâmica do tipo BSB também (mas pode ser algum outro tipo, isso não é muito relevante no momento).

Pra apimentar ainda mais esse paradigma, nós estamos implementando ‘operadores de nós’ (knot operators), que são estados topológicos e robustos perante uma gama de “perturbações” do EB. Como esses estados são robustos, é fácil transportá-los hierarquicamente, de um nível hierárquico para outro. O que leva a algumas especulações bastante não-triviais sobre o “aprendizado” do EB — ao contrário do que é normalmente feito em “Teoria Habbiana”.

Bom, por enquanto é só… quem quiser ler um pouco mais sobre o trabalho, pode dar uma olhada num artigo (um pouco antigo, é verdade — o novo vai sair quando eu acabar de escrever :wink: ) disponível no livro abaixo:

Żak, S., Lillo, W., & Hui, S. (1996). Learning and Forgetting in Generalized Brain-state-in-a-box (BSB) Neural Associative Memories Neural Networks, 9 (5), 845-854 DOI: 10.1016/0893-6080(95)00101-8

A semana nos arXivs…

domingo, 26 jul 2009; \30\UTC\UTC\k 30 3 comentários

Essas últimas três semanas foram corridas, de colaborações à visitas, incluindo os arXivs saírem do ar por 2 dias. Então, a pilha de artigos está um pouco volumosa… vamos a ela. :smile:



Toons…

Seguir

Obtenha todo post novo entregue na sua caixa de entrada.

Junte-se a 67 outros seguidores

%d blogueiros gostam disto: