Jesu li neuralne mreže "uhvatile" neke principe kako naš mozak radi?

Pogodile ili ne pogodile tehničke principe prirodnih neuronskih mreža, činjenica je da umjetne neuralne mreže mogu dosta toga zapanjujuće uspješno raditi. Danas, iza većine impresivnih stvari gdje se koristi naziv "AI", stoje ustvari neuralne mreže.

Zadnji put sam gledao neuralne mreže prije 15 godina, i tad su već bile dobre za prepoznavanje uzoraka.

Mogu samo zamisliti koliko su napredovale danas. AI će definitivno biti jedan od smjerova kojim će se razvijati tehnologija.

Naravno jako zanimljiva oblast, ali kako stići na se strane kad je sve zanimljivo i sve je super.

Kombinacija AI, automatizacije, senzora, servo i step motora, malo strojarstva, elektronike, povezano internetom i oblakom, i imat ćemo brzo stvari koje bismo prije zvali čudima. Obožavam to.

Mislim da je to samo računalni program kakvi i svi drugi. Ako mu ljudi ne kažu gdje da gleda i što sa tim da radi dolazi do paralize.
Zašto ih zovu "AI", "neural" je zbog cijene. Skuplji i zahtijevniji.

Bi li očitavanje filma sa Blu-ray video disc-a nazvao tim terminima ? Ta tehnika radi isto to što su na videu prezentirali, bez uplitanja ljudi sa strane.

Napredovalo se jako puno. 2014 je jedan student npr. otkrio generative adversarial network (GAN) metodu koja je ekstremno ojačala neke stvari.

Odi na ovu stranicu i refreshaj ju nekoliko puta. https://www.thispersondoesnotexist.com/

Svaki put se generira novo lice, no ta osoba ne postoji. To je umjetna slika, koju generira neuralna mreža koristeći GAN metodu.


Svaki put kad refreshaš ili otvoriš ovu temu vidjeti ćeš novo fake lice:

Nije baš program kao svaki drugi. Dosta drugačija paradigma. Supervision je često minimalan. Koristi se vrlo generalna struktura, programer samo definira osnovne karakteristike mreže kao što je broj slojeva i broj neurona u svakom, te joj da input u obliku velikog broja primjera. Mreža gledanjem primjera sama istrenira neurone.
Metoda je takva da često daje odlične rezultate a da ljudi ne znaju kako točno i zašto radi, i teško je analizom izvježbane mreže skužiti kakve sve patterns je našla i gleda.

Recimo, ti možeš se možeš igrati sa 10 parametara i optimizirati mrežu da je sposobna dijagnosticirati rak sa CT scanova preciznije nego većina iskusnih radiologa. Očito je da joj nisi rekao što točno da radi, ti koji recimo si recimo mrežu izradio, po zanimanju si programer, ili matematičar, i nemaš pojma o radiologiji i medicini. Samo su ti radiolozi dali dobar i velik data, npr. 50 000 slika i na njima označili točnu dijagnozu.
Ono što neuralna mreža radi je da traži patterns koji joj omogućavaju da skuži šta je to na scanu radi čega je labelan kao "cancer". Zanimljivo je da mreža ne zna objasniti i pokazati koje su to patterns koje je vidjela, i u što točno gleda kad odlučuje ima li cancer ili ne, nego jednostavno "vidi". To podsjeća na ljudsko prepoznavanje lica, što je posao kojeg naš mozak vrhunski radi, ali bez da ti objasni kako točno radi, podsvjesan proces. Isto je s prepoznavanjem mirisa. Kad ga osjetiš jednostavno "znaš" koji je miris, ali ne znaš kako znaš.

To sam htio i reći, samo skup i zahtijevan. Ne govorim da je nešto loše već da tu malo toga inteligentnog ima. Bar u smislu da se koristi u kontekstu ljudskog mozga i "neurona".

Već dugo, previše, godina DVD player mora inteligentno nagađati što se nalazi tamo gdje je ogrebotina na disc-u ili masnoća ljudskog prsta.
Razlog zašto je to primitivno u poređenju sa tehnologijom sa teme je cijena, koliko parametara toliko RAM-a chip-ova. I broj plaćenih programera koji na tome radi, sve je to preskupo.

Ma to je sve na bazi algoritma.

Nije klasični algoritam. U klasičnom algoritmu sve je fiksirano, svaki korak algoritma, klasičan robot. Ovdje mreži na neki način daješ zadatak i slobodu da sama nađe i napiše algoritam koji rješava zadani problem. Mreža zatim probavanjem milijuna algoritama, optimizacijom pronalazi neki komplicirani algoritam koji odlično radi zadani posao, a da pri tom čitanjem tog algoritma ne vidiš šta mreža točno radi, izgleda prekomplicirano.

U tome je razlika.

Ali ipak kad program zaluta čovjek uleti sa intervencijama i da ga ispravi na pravi put.
Oni konstantno rade na tom programu i konstantno mijenjaju kod. Nek ga ostave 5 godina da radi sam.

Mislim, sve je to jako impresivno i ljudi su genijalci.

Ma jasno. Mora i dalje čovjek raditi parameter tuning.
Ali je poanta da podešavaš samo 5 ili 10 parametara, a ne recimo 1000. Mreža sama pokušava namjestiti sve ostalo, preostalih možda 990 parametara.

Poanta je da mreža ima jako puno slobode, da se ne vidi lako što točno radi i zašto, i odatle iluzija "inteligencije". Prava inteligencija i intuicija u smislu neke maglovite magije vjerojatno ne postoji ni kod covjeka, to je sve neki pattern recognition.

Ali generalno, to je jednostavno optimization problem gdje program ima slobodu da mijenja i optimizira sam sebe, gdje mu je vodič jednostavno gledanje da li promjena rezultira boljim ili lošijim rezultatima. Rezultati moraju biti dobro definirani, i mjerljivi, i u tome je ograničenje primjene neuralnih mreža.

Na sličnom principu rade evolucijski algoritmi, gdje program ima slobodu da sam na sebi radi male promjene, i onda gleda je li dotična promjena rezultira poboljšanjem funkcije ili ne (poboljšanje funkcije mora biti mjerljivo i dobro matematički definirano, recimo, mjerljivi broj grešaka nečega itd).

Glavna poanta je da se programu daje sloboda da mijenja sam sebe.

Pisao sam već kako je Adobe Lightroom sam prepoznao lica na tisućama fotografija. Preko 90% ih ispravno pogodio. I u nekim vrlo teškim uvjetima.
To je onako jedan CD software i nekih par GB RAM-a.

Da, zanimljivo.

Oni ti to ovako otprilike rade.

Uzmu vrlo moćni kompjuter, a te kompanije imaju neke od najjačih kompjutera na svijetu, zadaju mu dvije stvari: "nepopunjenu" neuralnu mrežu, i veliki data (recimo ogromnu bazu lica) na kojem će se mreža učiti. Sam data, kao input, često zna biti skup i neki drugi tim možda prethodno provesti mjesece da složi taj data kojeg će ovi koristiti kao input. Što kvalitetniji i veći data, to će mreža bolje naučiti i bolje ispasti. Mreža zatim, pogonjena moćnim kompjuterom i uz superviziju ljudi, uči odnosno optimizira se određeno vrijeme.
Rezultat je neka specifična mreža, koja odlično radi taj posao. Ta mreža ne zauzima previše memorije i mogu ju krajnji korisnici koristiti.
Znači, samo optimiziranje i traženje najbolje mreže zahtjeva superkompjutere, ali jednom kad se ta mreža nađe, ona ne zauzima previše memorije i može se sejvati na male kompjutere. I to je onda krajnji produkt kojeg prodaš i kojeg ljudi mogu downloadati i koristiti.
Dotična mreža je poput malenog mozga, ali koji je dobar samo za jednu specifičnu vrstu posla.

I sad znači, ljudi probavaju istrenirati mreže na moćnim kompjuterima koje bi radile razne zadaće koje još nitko nije napravio, da bi prvi napravili neki produkt i prodali. Google ima čitavu firmu kćer koja se bavi time (Deep Mind). Deep Mind je recimo napravio superiorni šahovski program, koji je daleko jači od starih, razvijenih starim metodama, i igra stilom puno sličnijim kao čovjek, pokazuje nevjerojatnu kreativnost i "intuiciju" (u šahu recimo radi brutalne žrtve figura kakve se čovjek nikad ne bi usudio raditi) za razliku od starih šahovskih enginea koji su igrali neki dosadni ziheraški šah. Koriste se u i druge svrhe, u nekim problemima u raznim granama znanosti koriste se neuralne mreže da se napadnu neki znanstveni problemi, obično tamo gdje ima ogromna količina data kao što su DNA sekvence i neke stvari oko genetskog proučavanja uzroka rakova itd. Gdje god ima veliki data, tu pokušavaju naći neke primjene. No, ne mora nužno postojati big data, recimo u slučaju Googlove NN mreže za igranje šaha, mreža se naučila igrajući sama protiv sebe, bez ikakvog gledanja ljudskih partija i bez da su joj rekli ikakve principe iz šahovske teorije (dapače mreža je pronašla, da su pola tih principa iz šahovskih udžbenika krivi ).

Ali nisam ti pokušavao minirati temu i praviti se pametan. Stari DVD players stvarno rade na istom principu kao te AI mreže. To je mimo check bits, kad je CD oštećen i više od toga. U biti neka analogija pogodi jel na slici mačka sa tako malo informacija.

Moj TV to radi svaki dan kad pokušava skužiti glupi HRT (interlaced) video format da napravi upscaling. I ne uspijeva baš dobro, pas mu...
DSLR kamera ima nekoliko GB parametara koje koristi za Automatic (i ostale) postavke senzora. Može li bolje, naravno. Ali cijena bi bila nerealna i firma bi otišla u stečaj.

General AI vec postoji ali se ne moze pristupiti njemu(predpostavljam). Mislim ono tektom pricas sa AI. Cleverbot i ostale gluposti kad ih pitaas jesi li AI, ono kaze ne, ja sam djevojka, i odma vidis da ja automatik.
Ja predpostavljam da postoji masina sa kojom mozes pricati kao sa covjekom, samo na visem nivou. Ali nije pustena u javnost, i treba joj puno resursa.

Nisam ni mislio ni u jednom trenutku da miniraš temu, dapače jedini si pokazao interes za konkretniju diskusiju.

Vjerujem da DVD radi to, pokušava inteligentno pogoditi praznine u podacima koji fale.

Kod image processing, to s popunjavanjem praznina koristi se za pojačanje rezolucije ili oštrine, pogađanje izgubljenih dijelova slike, za farbanje crno-bijelih slika itd.

Recimo, ispod AI pokušava pogoditi izbrisani dio lica.

Ovdje, oblik oka može pogoditi na temelju rase (koju može pogoditi na temelju kose, ostatka lica itd), pa neće recimo staviti azijsko oko.
Kako je pogodio da treba staviti maskaru za oči, i zašto je baš tu boju oka odabrao?
Pretpostavljam da pogađa da ima šminka oko oka, jer primjećuje šminku na ostalom dijelu lica.
Boju oka pogađa vjerojatno na temelju kose, svijetlo oko je vjerojatnije.

Još jedan primjer, za obradu oštećenih slika. Kod kukca ili lica, sigurno se aktivira jedan dio mreže koji prepoznaje simetrije, pa nadopunjuje lijevu stranu desnom i obratno. Fora je da ne moraš rukom staviti dio mreže koji će gledati simetrije, kod učenja mreža sama skuži da neki neuroni trebaju gledati to i da joj pomaže kod pogađanja.



Smiješno pojačanje slike lika iz Doom igrice (naravno, pravo lice ne postoji).


Odličan dobar posao sa pojačanjem rezolucije (prije se ljudi sprdali sa CSI "photo enhance")
Lijevo je input (original jako slabe rezolucije), sredina je ono što AI pogađa, desno je original više rezolucije.


Slike pojačava ne samo na temelju grube originalne slike, nego i na temelju prethodnog iskustva gledanja raznih slika.


Ali nije ovo ograničeno samo na image processing. Primjer iz šaha

Najbolji klasični (brute force) chess engine Stockfish projerava 70 milijuna pozicija u sekundi, a Google neuralna mreža Alpha Zero gleda samo 80 000 pozicija u sekundi, "pametno" izdvaja koje poteze će dublje razmotriti, eliminira glupe poteze koje smatra da nemaju smisla (kao i ljudski igrac) i tako štedi computation power i može ga usmjeriti na gledanje daleko dublje u budućnost, uz čak uz puno manju snagu računanja. Rezultat je dojam da ima brutalnu "intuiciju", cak nadljudsku.

Ispod je još jedna neuralna mreža, Leela, žrtvuje kraljicu u sred igre bez da je i jednom velemajstoru vidljivo zašto . Ovaj šahovski komentator je inače Hrvat i ima najviše subscribera na svijetu.

Neke od th slika su laži jer će prodavati svoj software. Iz tih pixel mrlja je nemoguće izvući obrise lica osobe, jednostavno nemoguće. To su skroz bezvrijedne i nepovratno uništene informacije.
Osim ako ispod tih pixels nema nešto što ne govore jer onda software nije tako fantastičan. Ili su već masu slika konvertirali u loše pa AI već zna kako se ta konverzija radila. Volio bih vidjeti kako bi to uradili sa tako pixelated slikom mog lica. Svu moju ušteđevinu bih smio uložiti u to da AI ne bi ni blizu trefio.

Čak i to sa pticom je na granici nemogućeg. Nema tog novca kojeg Nikon, Canon, Adobe ne bi platili za licencu za taj patent. Online ili offline, nebitno.
Ta slika kuće na stijeni. Jako sam skeptičan da govore svu istinu.

Ne govore nam svu istinu i pozicioniraju se za prodaju i zaradu. Masa toga što govore nije istina.

Niste upoznali Sofiju?

https://m.youtube.com/watch?v=9kiEK4LrCgQ

Našao sam izvor jedne od gornjih fotografija. Za ostale nisam se potrudio tražiti originalni izvor, naravno ako su neke od njih od komercijalnih privatnih firmi, moguce je da su probrani najbolji rezultati (cherry picking je vrsta lažiranja) ili čak ponešto slagano.

Što se tiče ptice, ona je originalno sa najpoznatijeg njemačkog instituta Max Planck, znaci vrlo pouzdan izvor, evo njihove stranice.
https://is.tuebingen.mpg.de/news/from-s ... fect-large

Photo: EnhanceNet-PAT is capable of upsampling a low-resolution image (left) to a high definition version (middle). The result is indistinguishable from the original image (right).


Točno, u gruboj slici su informacije uništene i nepovratno izgubljene. Matematički je nemoguće iz 1 piksela dobiti 4.
ALI... Ne zaboravi da neuralnoj mreži nije gruba slika jedini input.
Ona ima i prethodno iskustvo gledanja ogromnog broja slika, i može probati pogoditi, ili zamisliti što ima najveću vjerojatnost da tamo bude. Neuralna mreža zna kako ptice izgledaju, ako prepozna pticu zna da npr. treba dodati perje, i kao što ova gore iz prvog posta može praviti fake lica, tako i ova može napraviti fake zamišljenu pticu vrlo jake rezolucije, koju ofarba u bojama sa grube slike, i uz uvjet da kad se smanji rezolucija fake ptice, da se ona svede na grubu sliku originala.

Smoothing nije jedina stvar koju NN u ovom slučaju radi, u tome je poanta treniranja mreže. Da ima "intuiciju" da pogodi više od toga, i da "zamišlja" tamo gdje je informacija izgubljena.

Dakle, iz 1 piksela može izvući više piksela (ne sigurno, ali uz dobru šansu), ako prepozna šta je na slici. Recimo, ako ti prepoznaš da je na nekoj slici Boeing 737, možeš grubu sliku jako izoštriti na temelju prethodnog znanja i iskustva viđanja aviona, a pogotovo ako si negdje vidio isti taj model aviona. Recimo tu gore na slici od ptice, očito je neuralna mreža vidjela grane i drvo veliki broj puta. I onda je stavila neku tipičnu teksturu na granu, i ofarbala je u boje koju vidi na gruboj fotografiji. Tekstura grane nije identična pravoj (izgleda glatkije, skoro ko bambus), ali izgleda skroz realno, možda inspirirana nekim drugim tipičnijim drvetom.

Evo našao sam originalni članak koji je izvor i ove impresivne slike (praktički nevjerojatno!)


Figure 1: Illustration of our probabilistic pixel recursive super resolution model trained end-to-end on a dataset of celebrity faces. The left column shows 8×8 low resolution inputs from the test set. The middle and last columns show 32×32 images as predicted by our model vs. the ground truth. Our model incorporates strong face priors to synthesize realistic hair and skin details


Članak je od likova iz firme Google Brain.
https://arxiv.org/pdf/1702.00783.pdf

Znači, također vrlo pouzdano.

Ipak je daleko manje impresivno, jer izgleda da su ograničili slike samo na celebrity faces, tako da mreža vjerojatno prvo pogodi koja osoba je vjerojatno na slici gruboj (što jest impresivno, doduše, da to može), pa onda koristeći znanje od prethodno viđenih jasnih fotografija te osobe, nadopuni ovu grubu sliku i izoštri ju.

Bilo bi ekstremno impresivno da tako izoštri sliku osobe koju nikad nije vidjela, da "iz guzice" izvadi jasniji izgled.

Tako da su one vijesti pomalo misleading, jer ocito da ne bi mogla tako dobro izostriti bilo koje lice koje daš. Odnosno mogla bi izoštriti, odnosno predložiti neko jasno fake lice, ali bi morala toliko maštati i izmišljati da bi se dobilo nešto što vjerojatno nije toliko blisko stvarnosti.

Kao nekadašnji marljivi igrač Doom-a, moram na žalost primijetiti da rezultat nije dobar. Lice je solidno ali nedostaje ona energija i bolesni pogled iz originala.

Meni je ovo bezveze, i jedan od lošijih primjera. Zvuči kao razgovor s političarem filozofom koji govori puno i baca fraze i izreke, a ništa ne kaže ili izbjegava pitanje koje ga pitaš.

Mogao bih se kladiti da ovo nije neuralna mreža. Možda umjetnički prikaz?

Je.

https://futurism.com/neural-network-dra ... y-high-res

Ma znam. Ali tu se ipak radi o osobnim i unikatnim crtama lica. Kako to pogoditi iz ničega. Ili ipak ima nešto što nam ne kažu do kraja. To je moguće samo ako je AI sam napravio pixelated slike. Ako mu ih ja napravim sa image tool nepoznatog izvora nema ni 2% šanse da povrati originalno lice, ni blizu.