Chips ohne von-Neumann-Struktur

[Ipsissimus]

Forscher von IBM Research haben eine neue Generation experimenteller Computerchips vorgestellt, bei der sie von der klassischen Von-Neumann-Architektur abweichen. Die von IBM als kognitive Computer bezeichneten Chips sind der Struktur des menschlichen Gehirns nachempfunden und sollen ähnliche Fähigkeiten hinsichtlich Auffassung, Handlung und Wahrnehmung haben.

http://www.golem.de/1108/85814.html

zumindest scheint es etwas Reales zu sein, nicht so wie das Gespenst "Quantencomputer". Ob das "kognitiv" sonderlich belastbar ist, wage ich zu bezweifeln, aber der Ansatz, ein neuronales Netz bereits auf Prozessor-Ebene zu implementieren und nicht erst auf Software-Ebene, scheint mir tatsächlich neu und sogar erfolgversprechend zu sein. Bin gespannt, was da noch kommt.

[Lykurg]

Ja, das klingt wirklich sehr spannend. Was hier allerdings nicht realisiert wird, sind die für das Hirn typischen Veränderungsprozesse hinsichtlich Entstehen und Wegfall von Synapsen - auch wenn das bekanntermaßen phasenweise unterschiedlich stark ausgeprägt ist. Das Lernen mit einem statischen Hirn dürfte deutlich anders funktionieren. Trotzdem ein vielversprechender Ansatz, auch faszinierend, inwieweit diese Struktur energieeffizienter und platzsparender sein könnte/sollte. Im Endeffekt ist dann HAL eben nicht raumfüllend, sondern schuhkartongroß... Aber dessen Alltagsrelevanz dürfte noch ein paar Jährchen dauern.

[Anaeyon]

Quantencomputer ein Gespenst? Habe ich was verpasst, oder beziehst du dich auf die Fantasie, sowas würde man sich ins Wohnzimmer stellen? ^^ Denn Quantencomputer sind ja bisher afaik einzig und alleine für bestimmte wissenschaftliche Zwecke gedacht.

Den Vergleich zum Gehirn halte ich nur für bedingt realistisch, eher Marketing. Die Kurzweilianer wirds freuen . Mal sehen, was davon in 5-10 Jahren draus wird und ob sich das für den alltäglichen Einsatz überhaupt eignet. Wenn ja, wäre das ja wunderbar, allerdings wünsche ich mir als angehender Sys-Admin derzeit am ehesten, dass Chips kleiner und energiesparender werden, muss aber auch zugeben, dass ich mich mit Hardware noch kaum auskenne.

[Traitor]

Wenn ich das richtig verstehe, sind Multicore-Prozessoren doch an sich schon nonvonneumannsch, und hochparallelisierte Prozessoren wie GPUs, Cell oder ARM erst recht. Das ist also nicht die entscheidende Eigenschaft dieser neuen Geräte.

Und auch in Hardware realisierte Neuronale Netze sind nichts neues, das gibt es seit Jahren (Jahrzehnten?). Der entscheidende Punkt dürfte sein, dass IBM diese mit konventioneller Halbleitertechnik in einem integrierten Chip umgesetzt hat, potentiell also hochskalierbar und massenmarkttauglich, im Gegensatz zu reinen Laborspielereien.
Bis eine solche spezialisierte Hardwareimplementation Softwarelösungen auf normalen Hochleistungsrechnern übertrifft, dürfte es auch noch einige Zeit dauern. Vertrauen in die Steigerungsfähigkeit ihrer Architektur scheinen sie ja zu haben, aber sonst würden sie damit ja auch nicht an die Presse gehen.

@Anaeyon: Diverse Grundlagen und Konzepte für Quantencomputer gibt es, aber von Tauglichkeit auch nur für "bestimmte wissenschaftliche Zwecke" ist man noch meilenweit entfernt.

[Ipsissimus]

ja, Quantencomputer geistern als Konzept seit gut 30 Jahren immer wieder durch die Gazetten. Ich habe noch nie ein Bild von einem irgendwo auf der Welt in realen Arbeitsumgebungen real eingesetzten Quantencomputer gesehen, immer nur Konzeptzeichnungen oder künstlerische Zeichnungen in Art der Zeichnungen von Oberflächen extrasolarer Planeten. Auch nicht ein einziges Mal eine belastbare Abbildung einer einzigen Komponente eines QC. Von daher bleibe ich bei Gespenst^^

Traitor, hast du irgendwelche konkreten Angaben hinsichtlich in Hardware implementierter neuronaler Netze? Mir ist nicht bekannt, dass es sowas gibt, schon gar nicht seit ´zig Jahren. Bei klassischen Parallelprozessoren oder Multicores scheint es mir so zu sein, dass die von Neumann-Eigenschaften auf einen Core oder Prozess abgebildet sind, insofern vielleicht eine Ausweitung des Konzepts, aber noch kein Bruch damit

[Traitor]

Es ist gar nicht so leicht, konkrete Beispiele für Hardware-NNs zu finden, da das Feld zumindest bei Wikipedia und Google doch ziemlich von Informatikern mit Modellen und Simulationen dominiert wird. Dieses PDF (117KB) gibt einen groben Überblick über Konstruktionen aus vielen parallelisierten konventionellen Chips (langweiligste Variante) und speziellen "Neurochips", also spezialisierten Architekturen, in der digitalen Variante ähnlich dem hier diskutierten IBM-Ansatz, in analog noch eine interessante, aber vielleicht eher historische Alternative. Und dann gibt es noch diverse reine Laboransätze mit künstlich verschalteten natürlichen Nervenzellen oder möglichst ähnlich nachgebauten künstlichen Nervenzellen.

[Ipsissimus]

okay, das entspricht dann in etwa auch meinem Stand der Informationen

[janw]

Ich weiß nicht, ob es hierhin gehört oder nicht einen neuen thread wert wäre...

Quantencomputer könnten in Schwingung geraten.

Nanoröhrchen aus Kohlenstoff eignen sich als Bausteine für Quantencomputer. Denn sie können Informationen in Form von mechanischen Schwingungen speichern. Das berichten Forscher aus München im Fachblatt "Physical Review Letters". Bisher hatten Forscher mit geladenen Teilchen experimentiert, um Information in einem Quantencomputer abzubilden. Ein Nachteil solcher Systeme ist, dass sie empfindlich auf elektrische Störungen reagieren. Als Alternative dazu hatten die Physiker aus München ein Nano-Röhrchen an beiden Enden fest eingespannt und zu Schwingungen angeregt. Es zeigte sich, dass das winzig kleine Objekt lange genug in Bewegung blieb, um es als Informationsspeicher nutzen zu können. Damit sei die Verwirklichung eines Quantencomputers wieder einen Schritt näher gerückt, glauben die Forscher.

[Ipsissimus]

Damit sei die Verwirklichung eines Quantencomputers wieder einen Schritt näher gerückt, glauben die Forscher.

das müssen sie auch glauben, denn nur dann sind sie vor den Geldbewilligungsausschüssen überzeugend genug^^ Meiner Einschätzung nach ist das nichts als ein weiterer Schuss ins Blaue, auf gut Glück. Möglicherweise lassen sich solche Nanoröhrchen irgendwann als Festspeicher nutzen. Von Quantengrößenordnungen und von der Möglichkeit, als RAM zu arbeiten, sind die ungefähr so weit weg wie die Erde vom Andromedanebel.

[janw]

Ist das nicht schon von sich aus ein skalenmäßiger Widerspruch, Quanten und mechanische Schwingungen?

Mir schwant, die Leute vom dlf bräuchten ein paar mechanische Denkhilfen^^

[Ipsissimus]

man müsste halt wissen, was genau die Forscher getan haben. Nanoröhrchen und -stäbchen einspannen und zum Schwingen bringen, das machen Forscher weltweit schon seit 10 Jahren. Die Frage ist, wie kodieren sie damit Informationen? Wie lesen sie den gespeicherten Code, ohne ihn zu verändern?

[Traitor]

Ist das nicht schon von sich aus ein skalenmäßiger Widerspruch, Quanten und mechanische Schwingungen?

Es heißt nicht umsonst "Quantenmechanik". Nunja, in der "alten Welt" der QM galt diese Verbindung als weitgehend undenkbar, aber in den letzten Jahren gab es da massive Fortschritte. Nanobauteile, die tatsächlich Quantenverhalten in mechanischen Bewegungen zeigen, gibt es so einige. Spannende Sache.

Der thematisch ähnlichste Artikel, den ich gerade in PRL finden kann, ist der hier, aber der ist weder experimentell noch aus München... daher keine Ahnung, was genau sie unter "lange genug" verstehen. Aber auch davon abgesehen kann ich mir in Sachen Herstellung, Platzbedarf usw. kaum vorstellen, dass sich daraus eine ernsthafte Alternative zu optoelektromagnetischen Systemen entwickeln kann. Wohl eher ein hübsches Spielzeug.

[nazgul]

Nicht von-Neumann Plattformen gibt es auch schon länger, von-Neumann sagt im Wesentlichen, das Code und Daten im selben Speicherbereich liegen (können).

Manche Mikrocontroller wie etwa die AVRs von Atmel sind Harvard-Architekturen, bei denen Codespeicher und Datenspeicher/RAM voneinander getrennt sind. Das ist zwar eventuell weniger flexibel als von Neumann, bietet aber höhere Zuverlässigkeit was Timing angeht, da das Laden von Code nicht das Laden von Daten behinder und andersrum.

Das nachbasteln von NN in Silizium wird durch die Unterschiede zwischen den Elementen eines Nervensystems und den bekannten Logikelementen erschwert.
Eine elektrische Speicherzelle kann 1 Bit Information speichern, der inner Zustand eines Neurons kann sich dynamisch zwischen -100mV und +20mV (Gemessen Zelle Innen -> Zelle Aussen) verändern. Wobei das erreichen einer gewissen Schwellenspannung zum allseitsbekannten Aktionspotential und damit dem Abgeben eines Impulses an andere Neurone führt.
Digitale Signale werden dann Seriell (Sequenz von 0 und 1) oder Parallel (mehrere Leitungen gleichzeitig 0 oder 1) übertragen und führen zu einer definierten Änderung am Ziel. Neurone übertragen unterschiedliche Werte durch Impulsfrequenz, wobei die Wirkung eines Impulses auf das Zielneuron abhängig vom zustand des Zielneurons ist.
Kurzum das an sich ist schon schwer nachzubilden, das scheit aber (für 256 Neurone) umgesetzt zu sein.

Dann kommt die von Traitor erwähnte Plastizität dazu. Neurone die brach liegen degenerieren, Neurone die stimuliert werden bilden mehr Verknüpfungen aus und verbessern dadurch Signalwege oder schaffen neue.
Einder der beiden IBM-Prototypen kann sowas wohl auch simulieren.

Das hat wenn das Funktioniert und sich für größere Neuronen und Synapsenzahlen in Stückzahlen umsetzen lässt großes Potential.
Bisherige NN laufen meistens komplett in Software (Performance...) oder wenn das Netzwerk fertig optimiert ist auf FPGAs (Preis...)wobei hier durch dynamisches Reprogrammieren zumindest theoretisch auch plastizität möglich ist.

Wenn man das auf mehrere Millionen in Kleiderschrankgröße bringen kann, wird das das Next Big Thing (tm)

[Traitor]

Ich habe in der Informatik immer so meine Probleme damit, abstrakte Konzepte auf reale Geräte abzubilden. Nazgul, kann man folgendes so sagen?

Wenn ich das richtig verstehe, sind Multicore-Prozessoren doch an sich schon nonvonneumannsch, und hochparallelisierte Prozessoren wie GPUs, Cell oder ARM erst recht.

PS: Nur die reine Kontinuität der Spannungswerte ist es natürlich nicht, die Neuronen so besonders macht. Selbst einen konventionellen Transistor kann man ja analog betreiben, wenn man Spaß dran hat, ist nur nicht effizient. Die Sache mit der Netzwerkinteraktion ist deutlich spannender.

[nazgul]

Das von Neumann - Kriterium ist ja "Liegen Daten und Code im gleichen Speicher"
Das Kriterium erfüllen die von dir genannten Plattformen mehr oder minder.

Bei der GPU und den Cells wird ja (hab ich zumindest so verstanden) der Code gezielt in die zu verwendenden Kerne geladen, da ist also eine Separation da. Generell gilt: Je mehr Performance man heutzutage haben möchte, umso mehr muss man sich von dem klassischen VN lösen.
Früher (etwa bis P3/ Athlon) war der Prozessor langsamer als der Bus, der die Daten rangeschafft hat. (Bustakt z.B. 100 MHz, CPU@400MHz, durchschnittlich 3-4 Takte/Instruktion). Heutesieht das so aus: Bustakt: 1,6 GHz, CPU: 4-8x3,2GHz, immernoch etwa 2-3 Takte/Instruktion - Jetz kommen also mehr CPU-Instruktionen auf einen Bustakt. Man schummelt dann, in dem man den Code in einem separierten Cache hält, und so zumindest seltener gleichzeitig Code und Daten über den Bus befördert. Oder wie bei Cell / GPU / PhysX in dem erst der Code in irgendwas reingeladen wird, und dann über die Daten iteriert.

Also: SMP/SMT grundsätzlich VN, Zusatzprozessoren mit eigenem Codespeicher/Codecache, der von aussen befüllt wird NVN
----

Naja, ein analog betriebener Transistor oder OP-Amp kann dafür auch mehr Zustände als 0 und 1 darstellen. Vielleicht gibt es irgendwann hochspezialisierte analoge Netzwerke, die taktlos aus einem bestimmten Einganszustand einen anderen Ausgangszustand "berechnen".
Oder natürlich breitbandige Interfaces Silizium/Nervenzellen und man züchtet einfach ein Nervensystem, das eine bestimmte Aufgabe bearbeitet.