Bridging Neural Activity and Computation with Recurrent Neural Networks

Abstract

Wie entsteht Wahrnehmung aus der koordinierten Aktivität von Milliarden von Neuronen? Das Forschungsgebiet Computational Neuroscience versucht, solche Fragen mithilfe mathematischer Modellierung und Simulationen zu beantworten. Während frühe computergestützte Ansätze oft auf interpretierbaren, manuell entwickelten Modellen basierten, die auf Aufnahmen von wenigen Neuronen beruhten, ermöglichen moderne experimentelle Techniken heute das Aufnehmen der Aktivität von Hunderten bis Tausenden von Neuronen. Diese riesigen Datensätze offenbaren komplexe, heterogene und zeitlich variierende neuronale Dynamiken. Daraus ergeben sich neue Herausforderungen für Modelle, die einerseits ausdrucksstark genug sein müssen, um hochdimensionale neuronale Aktivität zu erfassen, und andererseits interpretierbar bleiben sollen. Wir adressieren diese Herausforderungen mithilfe von Recurrent Neural Networks (RNNs).

RNNs sind eine ausdrucksstarke, biologisch inspirierte Modellklasse, die sich als leistungsfähiges Hilfsmittel zur Generierung von Hypothesen über neuronale Informationsverarbeitung etabliert hat. Dennoch bleibt es herausfordernd, diese Modelle so an neuronale Daten anzupassen, dass sie sowohl die Variabilität korrekt erfassen als auch auf aktuelle Datensätze skalieren. In dieser Arbeit stellen wir eine Methode vor, um stochastische RNNs an neuronalen Daten von `multi-session'-Aufnahmen mit einer Auflösung von einzelnen Versuchen anzupassen. Um die Interpretierbarkeit großer Netzwerke zu verbessern, leiten wir zudem eine obere Schranke für die Anzahl von Fixpunkten in `low-rank, piecewise-linear' RNNs her.

Wir wenden RNNs an, um zwei neurowissenschaftliche Fragestellungen im Bereich Working Memory (Arbeitsgedächtnis) zu untersuchen. Erstens zeigen wir anhand von RNNs, die trainiert wurden um Aufgaben zu lösen, wie niedrigdimensionale Attraktordynamiken eine phasenbasierte Kodierung im Working Memory unterstützen. Dabei identifizieren wir eine Konnektivitätsstruktur, die die Phase intrinsischer Oszillationen multistabil mit einem externen oszillatorischen Input koppelt. Zweitens untersuchen wir anhand großskaliger Aufnahmen aus Makaken, die `Sequence Working Memory' Aufgaben ausführen, ob eher Attraktor- oder transiente Dynamiken vorliegen. Mithilfe unserer Methode zum Fitten stochastischer RNNs erhalten wir ein differenziertes Bild, in dem stabile Attraktoren die Gedächtniserhaltung übernehmen, während gleichzeitig erhebliche zeitliche Variabilität besteht.

Insgesamt trägt diese Arbeit zu einem Rahmenwerk bei, das Maschinelles Lernen nutzt, um niedrigdimensionale RNN-Dynamiken mit hochdimensionaler neuronaler Aktivität, synaptischer Konnektivität und kognitiven Funktionen zu verknüpfen.

How does cognition arise from the coordinated activity of billions of neurons? The field of computational neuroscience aims to answer such questions through mathematical modeling and simulation. While early computational efforts often consisted of interpretable, hand-designed models based on recordings of a handful of neurons, current experimental techniques enable capturing the activity of hundreds to thousands of units. These large-scale recordings reveal complex, heterogeneous, time-varying dynamics. This necessitates the use of models that are expressive enough to capture the high-dimensional neural activity, while still being able to provide understanding. We pursue this dual objective by using recurrent neural networks (RNNs).

RNNs are an expressive, biologically inspired model class that has emerged as a powerful tool for generating hypotheses about neural computation. Yet, it remains challenging to fit these models to neural data in a way that accurately captures variability and scales to modern datasets. In this thesis, we introduce a method for fitting stochastic RNNs to multi-session neural recordings at single-trial resolution. To facilitate interpretability of large networks, we derive a bound on the number of fixed points in low-rank, piecewise-linear RNNs.

We apply RNNs to investigate two neuroscientific questions related to working memory. First, using task-trained RNNs, we show how low-dimensional attractor dynamics support phase-based coding of working memory. We identify a connectivity structure that couples the phase of intrinsic oscillations to an external oscillatory input, in a multi-stable manner. Second, using large-scale recordings from macaques performing sequence working memory tasks, we test for the presence of either attractor or transient dynamics. With our method for fitting stochastic RNNs, we obtain a nuanced picture in which stable attractors guide memory maintenance alongside substantial temporal variability.

Overall, this thesis contributes a framework that uses machine learning to bridge low-dimensional RNN dynamics with high-dimensional neural activity, synaptic connectivity, and cognitive functions.