Vergelijkbaar met een echt stel hersenen
Volgens een nieuw onderzoek van het Los Alamos National Laboratory lopen sommige elektronische voorwerpen voordelen op als ze periodes van rust ondergaan, de voordelen zijn vergelijkbaar met die van een levend stel hersenen.
‘We bestuderen neurale netwerken, die op een vergelijkbare manier leren als hersenen", zegt Yijing Watkins, informaticus van het Los Alamos National Laboratory. "We hebben met een team een neuromorfe processor mogen trainen. Deze processor leert op een manier die vergelijkbaar is met de ontwikkelingen van een jong brein van biologische systemen."
Onstabiliteit zonder toezicht
Het onderzoeksteam ontdekte dat netwerksimulaties onstabiel werden na periodes zonder toezicht. Toen men de netwerken blootstelde aan toestanden die vergelijkbaar zijn met de golven die levende hersenen tijdens slaap ervaren, werd de stabiliteit hersteld. "Het was alsof we de neurale netwerken het equivalent gaven van een goede nachtrust", zei Watkins.
De ontdekking kwam tot stand toen het onderzoeksteam werkte aan de ontwikkeling van neurale netwerken die zeer dicht benaderen hoe mensen en andere biologische systemen leren zien en kijken. De groep worstelde aanvankelijk met het stabiliseren van gesimuleerde neurale netwerken die ongecontroleerde woordenboek-trainingen ondergingen, waarbij objecten werden geclassificeerd zonder voorafgaande voorbeelden om ze mee te vergelijken.
Verwant aan biologisch stel hersenen
"De kwestie hoe je kunt voorkomen dat leersystemen onstabiel worden, doet zich alleen voor wanneer je probeert biologisch realistische, neuromorfe processoren te gebruiken of wanneer je de biologie zelf probeert te begrijpen", zegt Los Alamos informaticus en co-auteur Garrett Kenyon. "De overgrote meerderheid van machine learning, deep learning en AI-onderzoekers komt dit probleem nooit tegen, omdat de kunstmatige systemen die ze bestuderen alvorens goed zijn geprogrammeerd.
Het blootstellen van de machine aan de bepaalde golflengtes was een van de laatste opties die de wetenschappers hebben uitgeprobeerd om het netwerk van de processor te stabiliseren. Ze experimenteerden met verschillende soorten ruis, ongeveer vergelijkbaar met de ruis die je zou kunnen tegenkomen tussen radiostations tijdens het zoeken naar een andere zender.
Slow Wave Slaap
De beste resultaten kwamen toen ze golven van zogenaamde Gaussiaanse ruis gebruikten, die een breed scala aan frequenties en amplituden omvat.
Ze veronderstellen dat het geluid de input nabootst die biologische neuronen ontvangen tijdens slow-wave sleep. De resultaten suggereren dat slow-wave-slaap gedeeltelijk kan werken om ervoor te zorgen dat corticale neuronen hun stabiliteit behouden en niet hallucineren.
