Kod neuronskih mreža ogroman problem je "treniranje", odnosno pošto se radi o ogromnom broju jednačina (znamo ulaz, znamo izlaz, treba podesiti sve parametre čvorova tako da te jednačine budu što tačnije u što većem broju slučajeva).
U drugom video ovog kratkog tutorijala:
https://www.youtube.com/playli...QObOWTQDNU6R1_67000Dx_ZCJB-3pi
negde na 5-6. minutu diskutuje se o problemu nalaženja minimuma funkcije. Kad funkcija ima jedan minimum, kao što je parabola, sve je jednostavno, ali šta ako funkcija ima više lokalnih minimuma i maksimuma?
Drugi problem je kod funkcija koje imaju ogroman broj nezavisno promenljivih (npr. 10.000), nalaženje minimuma nije baš tako jednostavno, u pomenutom video počinje od 7. minuta, (npr. površ u prostoru) nije tako jednostavno, jer nalaženje nekog minimuma funkcije ne znači da smo našli minimum, možda je u pitanju lokalni minimum, pa moramo pretražiti i druge oblasti definisanosti funkcije.
Međutim, kod dvodimenzione funkcije nije problem pretražiti neku oblast za minimumom, ali ako je u pitanju funkcija 10.000 promenljivih...
Za bilo koji realan primer potrebna je ogromna procesorska snaga... Eto, Google je uspeo da svoju General-purpose NN istrenira za rešavanje raznih problema, između ostalih i AlphaZero koji je za najviše 24 sata dostigao "superhuman" nivo... pa, jeste, kad su mu dali ceo data centar!
A kad pogledamo cene grafičkih kartica za ovu namenu, jedna nova Tesla A100 kartica sa 80GB je reda 10k dolara, a sa jednom teško da se može rešiti bilo kakav real-world problem, osim igranja sa prepoznavanjem sličica i sl.
Pošto je tema Intel, ostaje da vidimo da li će oni napraviti neki korak po ovom pitanju, jer nVidia je stvarno bezobrazna sa cenama kad su u pitanju kartice koje oni kategorišu kao za "grafičke radne stanice" (Quadro) i "AI" (A100/V100 i ekvivalentne). Jeste da te kartice imaju neke svoje adute (npr. Quadro RTX imaju 10 i više puta bržu memoriju, dok ove za AI imaju 10-15 puta širu memorijsku magistralu i više memorije), ali je pitanje da li to vredi 2-5 puta više novca? Pošto sigurno ne vredi, oni su lepo preko EULA ograničili upotrebu desktop kartica za "data center" primenu (ma šta im to značilo, na prvi pogled je očigledno, ali sa pravne strane i nije baš tako)... tako da za te primene umesto npr. 3090 ipak ćete morati da date "malo" više para za neku "data canter aproved" karticu :)
Blessed are those who can laugh at themselves, for they shall never cease to be amused.