Geoffrey Hinton, professori Toronton yliopisto ja insinöörinä klo Google Brain, julkaisi äskettäin artikkelin aiheesta Eteenpäin-Eteenpäin algoritmi (FF), tekniikka neuroverkkojen harjoittamiseen, joka käyttää kahta tiedonsiirtoa verkon läpi sen sijaan, että takaisinlisäystä, päivittääksesi mallin painot.

Hintonin motivaatio algoritmille on puuttua joihinkin standardin taaksepäin leviämisen koulutuksen puutteista, mikä edellyttää täydellistä tietämystä eteenpäin siirtymisen laskennasta derivaattojen laskemiseksi ja aktivointiarvojen tallentamiseksi koulutuksen aikana. Hintonin näkemys oli käyttää kahta syöttödatan eteenpäinkulkua – yhtä positiivinen ja yksi negatiivinen—joilla on vastakkaiset optimoitavat tavoitefunktiot. Hinton osoitti, että verkot, jotka on koulutettu FF:llä, voivat suorittaa tietokonenäkötehtäviä (CV) sekä ne, jotka on koulutettu käyttämällä backpropagaatiota. Hintonin mukaan

Forward-Forward-algoritmi (FF) on nopeudeltaan verrattavissa taaksepäin etenemiseen, mutta sillä on se etu, että sitä voidaan käyttää, kun eteenpäinlaskennan tarkkoja yksityiskohtia ei tunneta. Sillä on myös se etu, että se voi oppia liukuhihnassa peräkkäistä dataa hermoverkon läpi tallentamatta koskaan hermotoimintoja tai pysähtymättä levittämään virhejohdannaisia…. Ne kaksi aluetta, joilla eteenpäin eteenpäin suuntautuva algoritmi voi olla parempi kuin taaksepäin leviäminen, ovat mallina. oppimisen aivokuoressa ja tapana hyödyntää erittäin pienitehoista analogista laitteistoa turvautumatta vahvistusoppimiseen.

Vaikka keinotekoiset neuroverkot (ANN) perustuvat a aivojen matemaattinen malli, näiden verkkojen kouluttamiseen käytetty standardi backpropagation-algoritmi ei perustu mihinkään tunnettuun biologiseen prosessiin. Sen lisäksi, että taaksepäin leviäminen on biologisesti epätodennäköistä, sillä on myös joitain laskennallisia haittoja, kuten edellä mainittiin. Hinton huomauttaa, että ANN:ita voidaan kouluttaa vahvistusoppimisen (RL) avulla ilman backpropagaatiota, mutta tämä tekniikka "skaalautuu huonosti… suurille verkoille, jotka sisältävät monia miljoonia tai miljardeja parametreja". Vuonna 2021 InfoQ kattoi biologisesti uskottavan vaihtoehdon takaisin leviämiselle nimeltä nolladivergenssin päättelyn oppiminen (Z-IL), joka voi toistaa tarkasti takaisinlisäyksen tulokset.

Hintonin FF-algoritmi korvaa taaksepäin etenemisharjoittelun eteenpäin-taakse-syötöt kahdella eteenpäin-syötöllä, jotka "toimivat samalla tavalla kuin toisiaan". Ensimmäinen eteenpäinsyöttö toimii harjoitusjoukon positiivisilla tiedoilla, ja verkon painoja säädetään siten, että tämä syöte lisää kerroksen parhaat arvo. Toisessa eteenpäinkierrossa verkolle annetaan generoitu negatiivinen esimerkki, jota ei ole otettu tietojoukosta. Verkon painot säädetään siten, että tämä syöte vähentää kerroksen hyvyyttä.

Hinton käytti FF:ää kouluttaakseen useita hermoverkkoja suorittamaan CV-tehtäviä MNIST ja CIFAR tietojoukot. Verkot olivat suhteellisen pieniä, sisältäen kaksi tai kolme piilotettua konvoluutiokerrosta, ja niitä harjoiteltiin alle 100 aikakauden ajan. Testiaineistoilla arvioituna FF-koulutetut verkot suoriutuivat "vain hieman huonommin" kuin ne, jotka koulutettiin takaisin leviämisen avulla.

Diego Fiori, Nebulyn teknologiajohtaja, toteutti Hintonin FF-algoritmin ja keskusteli tuloksistaan Twitterissä:

Hintonin artikkelissa ehdotettiin 2 erilaista Forward-Forward-algoritmia, joita kutsuin perustaksi ja toistuvaksi. Katsotaanpa, miksi nimestä huolimatta Base on itse asiassa tehokkain algoritmi… Base FF -algoritmi voi olla paljon muistitehokkaampi kuin klassinen backprop, sillä se säästää jopa 45 % muistia syväverkoissa.