O papel da arquitetura na estabilização de redes neuronais recorrentes

Abstract

A dinâmica de redes recorrentes em áreas corticais do encéfalo possui grande relevância na codificação de informações sensoriais. O processamento desse tipo de informação deve levar em conta características tanto espaciais como temporais desses estímulos. Estudos sugerem que tal codificação é feita como trajetórias em um espaço de fases. Essas trajetórias precisam ser estáveis para que a informação seja corretamente transmitida. Regras de plasticidade homeostáticas canônicas como o synaptic scaling, apesar de corretamente estabilizarem redes de estrutura feedforward, não conseguem estabilizar redes recorrentes. Uma outra forma de regra homeostática, chamada Presynaptic-dependent synaptic scaling, foi capaz de estabilizar a atividade de redes recorrentes em alguns casos, porém sua eficácia degrada com a quantidade de informação embebida na rede. Além disso, a estrutura topológica dessas redes ainda não foram detalhadamente descritas, e nenhuma estrutura preferencial foi aferida. Para adereçar essas questões, avaliamos a estabilidade da atividade frente a diversas arquiteturas de rede, variando a clusterização e a distribuição de graus de entrada. Também buscamos correlações entre o nível de estabilidade da rede e algumas de suas propriedades como o caminho mínimo médio, o índice de recursividade, a clusterização global e a média dos pesos sinápticos. Conseguimos observar que as redes apresentaram melhores valores de estabilidade para algumas distribuições de graus de entrada, sendo essas distribuições binomiais com caudas ligeiramente alongadas. Pudemos também observar melhor algumas das características dessas redes e como elas se auto-organizam. As demais propriedades não apresentaram uma influência significativa na estabilidade. Entretanto, os resultados não descartam existência de influência de propriedades locais da rede sobre a estabilidade.

The dynamics of recurrent networks in cortical areas of the brain has great relevance in the encoding of sensory information. The processing of such information must take into account both spatial and temporal proprieties of these stimuli. Studies suggest that such coding is done as trajectories in a phase space. These trajectories need to be stable so that the information is correctly transmitted. Canonical homeostatic rules as the synaptic scaling, although capable of properly stabilize networks with feedforward structures, cannot stabilize recurrent networks. Another form of homeostatic regulation, called Presynaptic-dependent synaptic scaling, was able to stabilize the activity of recurrent networks in some cases, but its effectiveness degrades with the amount of information embedded in the network. Moreover, the topological structure of these networks have not been described in detail, and no preferred structure was inferred. To deal with these questions, we evaluated the stability of the activity for several types of network architectures, modifying the clustering and the in-degree distribution. We also looked for correlations between the degree of network stability and some of the network properties such as the average shortest path, the index of recursion, the global clustering coefficient and the average synaptic weights. We observed that the networks showed better stability values for some in-degree distributions, with this distributions being binomials with slightly elongated tails. We could also better observe some of the characteristics of these networks and how they organize themselves. The other evaluated properties showed no significant influence on the stability. However, the results do not rule out the existence of influence of local properties on the stability of the network.