elitemadzone.org - AI: pomoć

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16750
*.mbb.yettel.rs.

+7192 Profil

^{14.10.2024. u 13:01 - pre 2 meseca}

Ko zeli, moze da naruci B200 :-)

https://www.broadberry.com/xeo...kmount-servers/nvidia-dgx-b200

$515K po kutiji...

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey

Odgovor na temu

djoka_l
Beograd

Član broj: 56075
Poruke: 3535

Jabber: djoka_l

+1494 Profil

Re: AI: pomoć - ili opasnost?

^{14.10.2024. u 13:13 - pre 2 meseca}

Kao da im je ChatGPT pisao specifikaciju:

Citat:

Small Form Factor Storage

The NVIDIA DGX H100 boasts high density storage and ultimate energy efficiency, catering for up to 0x High-Performance 2.5" SSD or Hard Drives

Citat:

Configure with up to 0GB RAM

Ready for the most demanding enterprise applications, the Broadberry NVIDIA DGX H100 can be configured with up to 0 memory modules.

Ja bih želeo da pazarim onaj najjači server od 0GB RAM memorije, ali ako je previše skupo, neka mi ubace 4TB, pa da uštedim

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16750
*.mbb.yettel.rs.

+7192 Profil

Re: AI: pomoć - ili opasnost?

^{14.10.2024. u 13:43 - pre 2 meseca}

Ajde 0 GB RAM-a... ali cene NVIDIA podrske za softver... brate mili, ovo polako salazi u Oracle teritoriju :-)

Odgovor na temu

mjanjic
Šikagou

Član broj: 187539
Poruke: 2904

+733 Profil

Re: AI: pomoć - ili opasnost?

^{14.10.2024. u 23:11 - pre 2 meseca}

Ma kakav Oracle, pre 7-8 godina sam našao negde tabelu cena za primer servera sa 4 procesora sa po 4 jezgra.
MS SQL bio "per CPU", a navodno sve kad se izabere je oko 33k dolara, dakle za 4xCPU oko 133k dolara.
Oracle je bio po jezgru, tako da je izašlo nešto preko 500k dolara, ali DB2... e, oni imaju neki "processor value" kalkulator, tako da je izlazilo oko 700k dolara :)))))

Nego, nešto razmišljam, šta kada bi umesto električnog signala koristili fotone, pri čemu bi moglo da se upravlja polarizacijom svakog "gejta", ako bi takav "procesor" funkcionisao slično kao polarizaciona stakla, bilo bi zanimljivo - kad se stave 2 polarizaciona stakla okrenuta za 90 stepeni međusobno, sa druge strane nema svetlosti, ali ako se doda treće polariazciono staklo, pojavi se svetlost, što znači da polarizaciono staklo ne blokira svetlo, ili je neka zezancija sa kvantnom fizikom.
Ali, ako bi takav "svetlosni CPU" mogao da se napravi, bilo bi baš zanimljivo.

Mada, kontam da će na kraju ipak "gajiti" neke veštačke bio-neurone, koji će funkcionisati kao ovi prirodni.

Blessed are those who can laugh at themselves, for they shall never cease to be amused.

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16750
*.mbb.yettel.rs.

+7192 Profil

Re: AI: pomoć - ili opasnost?

^{15.10.2024. u 09:30 - pre 2 meseca}

Hehe, zbog Oracle-style sumanutog licenciranja imas novi AMD Turin EPYC 9175F sa 16 jezgara i 512 MB kesa (!)

Taj procesor ima svih 16 CCD-ova gde je na svakom CCD-u aktivno samo jedno jezgro (!!!) - https://news.ycombinator.com/item?id=41818326

Sama cinjenica da se isplati proizvesti procesor i ubiti mu 90% jezgara koja su vrlo verovatno funkcionalna dosta govori o bizarnosti softverskog licenciranja danas.

Sa druge strane, taj procesor moze da trci kompletan OS u kesu, samo sto je AMD prestao da podrzava "Cache as Memory" mod izvrsavanja, tako da nisam siguran da li CPU moze da se bootstrap-uje bez DRAM memorije (AMD je prebacio treniranje DRAM memorije u PSP kod, koji se ucitava pre UEFI firmware-a, Intel i dalje podrzava izvrsavanje ranog bring-up koda u kesu zato sto je DRAM treniranje i dalje deo rane faze inicijalizacije firmware-a).

Citat:

Nego, nešto razmišljam, šta kada bi umesto električnog signala koristili fotone, pri čemu bi moglo da se upravlja polarizacijom svakog "gejta", ako bi takav "procesor" funkcionisao slično kao polarizaciona stakla, bilo bi zanimljivo - kad se stave 2 polarizaciona stakla okrenuta za 90 stepeni međusobno, sa druge strane nema svetlosti, ali ako se doda treće polariazciono staklo, pojavi se svetlost, što znači da polarizaciono staklo ne blokira svetlo, ili je neka zezancija sa kvantnom fizikom.
Ali, ako bi takav "svetlosni CPU" mogao da se napravi, bilo bi baš zanimljivo.

Radi se na tome odavno. Problem je konverzija u/iz fotona, sto je proces koji usporava racunanje i ima svoje gubitke. Sve dok minijaturizacija klasicnih tranzistora napreduje, sumnjam da ce ovo biti omasovljeno. Naravno, u teoriji, opticki tranzistori bi mogli biti znacajno brzi, ali tu vec pricamo o nekoj daljoj buducnosti.

_{[Ovu poruku je menjao Ivan Dimkovic dana 15.10.2024. u 13:51 GMT+1]}

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16750
*.mbb.yettel.rs.

+7192 Profil

Re: AI: pomoć - ili opasnost?

^{15.10.2024. u 12:58 - pre 2 meseca}

Sa druge strane, imamo ovo:

https://arxiv.org/abs/2405.14333

Citat:

Proof assistants like Lean have revolutionized mathematical proof verification, ensuring high accuracy and reliability. Although large language models (LLMs) show promise in mathematical reasoning, their advancement in formal theorem proving is hindered by a lack of training data. To address this issue, we introduce an approach to generate extensive Lean 4 proof data derived from high-school and undergraduate-level mathematical competition problems. This approach involves translating natural language problems into formal statements, filtering out low-quality statements, and generating proofs to create synthetic data. After fine-tuning the DeepSeekMath 7B model on this synthetic dataset, which comprises 8 million formal statements with proofs, our model achieved whole-proof generation accuracies of 46.3% with 64 samples and 52% cumulatively on the Lean 4 miniF2F test, surpassing the baseline GPT-4 at 23.0% with 64 samples and a tree search reinforcement learning method at 41.0%. Additionally, our model successfully proved 5 out of 148 problems in the Lean 4 Formalized International Mathematical Olympiad (FIMO) benchmark, while GPT-4 failed to prove any. These results demonstrate the potential of leveraging large-scale synthetic data to enhance theorem-proving capabilities in LLMs. Both the synthetic dataset and the model will be made available to facilitate further research in this promising field.

I novija verzija: https://arxiv.org/pdf/2408.08152

Imamo modele koji mogu da trce na "kucnom" hardveru i koji za specijalizovane stvari nadmasuju SOTA "foundation" modele.

Sa druge strane Apple istrazivaci ukazuju na probleme koji posebno kace manje modele:

https://arstechnica.com/ai/202...ing-apple-researchers-suggest/

Ipak, sve u svemu, napredak je vise nego impresivan i vrlo verovatno ce nastaviti sa boljim treniranjem. Pre neki dan sam testirao Claude Sonnet 3.5 tako sto sam mu rekao da implementira kod dajuci mu link ka naucnom radu - rezultat je bio impresivan, a uskoro dolazi Claude Opus 3.5 (suska se da ce biti izbacen u Novembru).

Odgovor na temu

mjanjic
Šikagou

Član broj: 187539
Poruke: 2904

+733 Profil

Re: AI: pomoć - ili opasnost?

^{15.10.2024. u 13:03 - pre 2 meseca}

Najbolje bi bilo da AMD ima CPU gde sistem "vidi" samo jedno jezgro, a unutra jezgra rade "sve u 16" :)))
Mislim, AMD je svakako neka RISC varijanta, gde se za x86/x64 koristi prevodilac, tako da iznutra mogu ta jezgra da naprave kako god je najbolje za performanse, a da se spolja vidi kao CPU sa jednim jezgrom.

Blessed are those who can laugh at themselves, for they shall never cease to be amused.

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16750
*.mbb.yettel.rs.

+7192 Profil

Re: AI: pomoć - ili opasnost?

^{15.10.2024. u 13:54 - pre 2 meseca}

To vec postoji na nivou jednog AMD/Intel jezgra (kroz razne vidove instrukcijskog paralelizma i OoO izvrsavanja, ukljucujuci i Hyperthreading).

Tesko ces spakovati 16 takvih jezgara u jedno i imati bitno koriscenje paralelizma. Koliko se secam, POWER arhitektura ima SMTP8, tj. trci 8 niti po jezgru, dok Intel i AMD teraju 2 niti. Sumnjam da ne bi do sad izvukli i vise da ima smisla sa njihovim arhitekturama.

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16750
*.mbb.yettel.rs.

+7192 Profil

Re: AI: pomoć - ili opasnost?

^{22.10.2024. u 12:51 - pre 2 meseca}

Nego, koristi li neko ovde O1 Preview model od OpenAI-ja, koji koristi COT (Chain of Thought) pristup?

Ja ga koristim za svoje licne potrebe vec nekoliko dana i mislim da je za generalno "rezonovanje" nesto bolji od Claude Sonnet-a 3.5 - nista spektakularno kao kada su izbaceni GPT-3.5 i GPT-4 nesto potom, ali svakako korak ka jos boljoj masinskoj inteligenciji.

Za kodiranje nisam bas siguran - mislim da skok nije toliko primetan, mozda cak i za neke stvari nije dobar kao Sonnet 3.5, cak i GPT-4o, npr cesto ga uhvatim da je "lenj", kao u vreme kada su optimizovali GPT-4, dok npr. Sonnet ili cak Mistral Large 2 daju kompletniji kod.

Najvece pozitivno iznenadjenje za mene su noviji lokalni modeli poput Mistral Large 2, Llama 3.1 70B i Qwen 2.x - Mistral je najmanje 'cenzurisan' i ima neke lobotomizirane varijante poput Tess-a koje je moguce vrlo lako naterati da generisu "problematican" sadrzaj bez kocnica. Ako imate Apple masine, LM Studio je ubacio podrsku za MLX (za koriscenje NPU-a), pa cak i modeli sa 123B parametara trce sa skoro 4 tokena po sekundi na laptopu sto je neverovatno. 4 tokena po sekundi ne deluje brzo ali pricamo o modelu koji je blizu GPT-4o i pricamo o laptopu (!) - Ako Apple uradi pravu stvar sa M4 Max procesorima (npr. omoguci 256 GB RAM-a i poveca NPU i memorijski bandwidth) bice upotrebljivo za svakodnevni rad i 100% privatno.

Microsoft je na GitHub-u objavio kod za njihov BitNet - gde se LLM kvantizuje na 1.58 bit-ova po parametru ("trit" umesto "bit") - samo sto ceo pristup zahteva treniranje modela sa tom kvantizacijom tako da cemo morati malo da sacekamo na modele. Ali kao proof-of-concept su pokazali da 100B model moze da trci na smartphone SoC-u. Ceo pristup je, zapravo, jedan vid vrlo efikasne kompresije parametarskog prostora sto samo pokazuje da smo jos u ranoj fazi razvoja.

--

Sve u svemu, ne deluje da se poslednji AI ciklus usporava... Blackwell je rasprodat za sledecih godinu dana, Microsoft je najveci kupac, a onda je svima jasno sta to znaci :-)

Cak i da je kraj hype ciklusa neminovan sledece godine na primer, do tada ce biti izbaceni COT modeli ukljucujuci GPT-5. Kao i nove verzije Claude Opus / Sonnet 4.x i Llama 4.x. - a ako stvari sa kompresijom i optimizacijom modela za lokalne masine budu isli kako treba, do kraja sledece godine ce biti moguce trcati modele uporedive sa danasnjim SOTA modelima na jakim Apple laptopovima sa performansama upotrebljiim za produkciju.

Odgovor na temu

dejanet
Beograd

Član broj: 19240
Poruke: 1203

+844 Profil

Re: AI: pomoć - ili opasnost?

^{22.10.2024. u 13:18 - pre 2 meseca}

Nisam jos koristio o1 preview i CoT, zanimljivo.

Ono sto mi je takodje interesantno za code, jeste "4o with canvas", radi se o nacinu prikaza, sto resava chat situaciju sa ponovljenim duzim kodom.

Sto se tice GitHub Copilot-a, skoro mi je stigla godisnja prelata za GitHub i malo je falilo da ga izbacim.
Nisam zadovoljan, mozda je i do mene, ali u odnosu na ChatGPT, razlika je sve veca i veca. Cak i nije samo to, vec, bar meni, vise smeta nego sto koristi. Ne znam da li je problem u core ai, ili service implementacije(cache, response, resursi) ili nacin integracije sa IDE ili ....

Ne znam da li je neko probao CURSOR IDE, mozda bi tamo situacija bila bolja..

Odgovor na temu

djoka_l
Beograd

Član broj: 56075
Poruke: 3535

Jabber: djoka_l

+1494 Profil

Re: AI: pomoć - ili opasnost?

^{22.10.2024. u 14:02 - pre 2 meseca}

ja naizmenično koristim Claude i ChatGPT i stekao sam utisak da Claude pravi bolje code snippete.
Vidi se dosta veliki napredak u poslednjih godinu dana.

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16750
*.mbb.yettel.rs.

+7192 Profil

Re: AI: pomoć - ili opasnost?

^{22.10.2024. u 14:11 - pre 2 meseca}

Nisam skoro koristio Copilot - mislim da su pred kraj septembra ubacili podrsku za o1 preview u Copilot Pro verziji, mozda ima problema oko implementacije CoT LLM-a u coding assistant.

Ako probas o1, primetices da je znacajno sporiji od GPT-4o i cak 'originalnog' GPT-4 - ne samo to, vec trenutno pri koriscenju o1 modela nema mogucnosti za podesavanje bilo kojih parametara. Cini se da je OpenAI proveo jako puno vremena na zastiti samog modela od 'ispitivanja' kako radi, pod pretpostavkom da im je to jedini 'jaz' koji imaju izmedju sebe i konkurencije. Ako je to tacno, ne bi me cudilo da aplikacije koje su do skora koristile GPT-4(o) mozda imaju problem u tranziciji na o1 zbog promene nacina funkcionisanja.

Kao sto rekoh, na samom kodiranju meni o1 ne deluje kao napredak u odnosu na predhodne modele - u svakom slucaju, u beta fazi je, videcemo kako ce izgledati sledece iteracije.

Sto se samih coding asistenata tice, u poletku je Copilot stvarno bio nesto unikatno zbog same integracije u VS.

Ali danas postoji vise solucija, plus neki modeli mogu biti mnogo adekvatniji - npr. Gemini Pro (https://cloud.google.com/products/gemini/code-assist?hl=en) ima 1M context window, sto moze da napravi veliku razliku ako hoces da ti asistent "usisa" ceo kod (ili bar sve relevantno) i na osnovu konteksta pruza pomoc.

Btw, probaj Claude Sonnet 3.5 - meni je licno bolji od GPT-4o, pogotovu kada su u pitanju problemi iz racunarske nauke u pitanju.

Vidi i: https://aider.chat/docs/leaderboards/ - ako planiras da testiras neki lokalni (DeepSeek 2.5 npr. - mada najveca verzija ima 236B parametara sto je i dalje neprakticno za kucnu upotrebu) tu se moze naci nekoliko dobrih kandidata, mada ako se trazi nesto uporedivo sa Sonnet 3.5 / GPT-4o, izbor nije veliki i pricamo o 72B/123B/236B/405B modelima i verovatno ni jedan od njih nije univerzalno dobar za sve kao SOTA modeli OpenAI-ja i Claude-a, ali za specijalizovane stvari mogu biti, nekad cak i bolji.

Takodje, treba imati u vidu i privatnost - za vecinu ljudi to mozda nije problem, ali za neke aplikacije ima smisla spreciti da Microsoft / OpenAI koriste kod.

Za ovakvu primenu, dobra vest je cene H100 hardvera u cloud-u padaju (https://www.latent.space/p/gpu-bubble) - pa za neke relativno male pare mozes dici "privatni" cloud sa npr. 4xA100 za $4.2 po satu (vast.ai) ili 8xH100 za oko $20 (vast.ai) ili cak 4x MI300 za ~$11 po satu (runpod.io) -- sa ovim je moguce trcati najbolje otvorene modele poput LLAMA 3.1 405B / DeepSeek Coder 2.5 236B ili Mistral Large 2 123B sa FP8 kvantizacijom ili cak FP16 (DeepSeek ili Mistral Large 2) bez davanja podataka mega-korporacijama.

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16750
*.mbb.yettel.rs.

+7192 Profil

Re: AI: pomoć - ili opasnost?

^{22.10.2024. u 14:15 - pre 2 meseca}

Citat:

djoka_l:
ja naizmenično koristim Claude i ChatGPT i stekao sam utisak da Claude pravi bolje code snippete.
Vidi se dosta veliki napredak u poslednjih godinu dana.

+1 za Claude - Sonnet 3.5 mi je nekako u vecini slucajeva bolji od GPT-4o

Trebalo bi uskoro da izadje nova verzija Opus-a - koji je Anthropic-ov SOTA model (veci od Sonnet-a)

OpenAI-jev o1 (preview) je zanimljiv za "diskusiju" oko tehnickih problema - mislim da ga jos nisu ispolirali za najbolje moguce generisanje samog koda (verovatno se igraju sa kvantizacijom za vreme visoke upotrebe, plus sam CoT pristup verovatno zahteva dosta promena na njihovoj strani oko kontrole kvaliteta)

Odgovor na temu

mjanjic
Šikagou

Član broj: 187539
Poruke: 2904

+733 Profil

Re: AI: pomoć - ili opasnost?

^{22.10.2024. u 16:51 - pre 2 meseca}

Stargate, ko im predloži takav naziv :)))
MS i OpenAI ulažu 115 milijardi: https://medium.com/@abebellini...tment-in-stargate-431a66f87e10

Znači, ipak ima nekog osnova za ovo: https://www.youtube.com/watch?v=dDUC-LqVrPU
odnosno, u video se komentariše ovaj rad: https://arxiv.org/abs/2404.04125

Sad možemo samo da prepostavljamo koliko će parametara imati neki budući GPT-5:
https://images.datacamp.com/im...07934868/image2_80966e84ff.png
Izvor: https://www.datacamp.com/blog/everything-we-know-about-gpt-5

P.S. Može li neko, ko održava forum, samo da stavi negde u CSS-u za slike atribut "max-width:100%"?
Ili sam totalno zaboravio kako umanjiti sliku pomoću BBCode opcija za ovu prastaru myBB verziju ili je to od neke verzije sajta onemogućeno, ali bi samo jedan CSS atribut rešio problem embedovanja fotografija preko linka umesto da ih preuzimamo sa nekog sajta i ovde postavljamo kao prilog.

_{[Ovu poruku je menjao mjanjic dana 22.10.2024. u 18:16 GMT+1]}

Blessed are those who can laugh at themselves, for they shall never cease to be amused.

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16750
2a06:63c0:608:9700:31a0:5292..

+7192 Profil

Re: AI: pomoć - ili opasnost?

^{22.10.2024. u 19:50 - pre 59 dana i 22h}

GPT-5?

3 x 5T

Prikačeni fajlovi

Image.jpeg - 162.46k

Odgovor na temu

Shadowed
Vojvodina

Član broj: 649
Poruke: 12878

+4792 Profil

Re: AI: pomoć - ili opasnost?

^{22.10.2024. u 23:19 - pre 59 dana i 18h}

Citat:

mjanjic: P.S. Može li neko, ko održava forum, samo da stavi negde u CSS-u za slike atribut "max-width:100%"?
Ili sam totalno zaboravio kako umanjiti sliku pomoću BBCode opcija za ovu prastaru myBB verziju ili je to od neke verzije sajta onemogućeno, ali bi samo jedan CSS atribut rešio problem embedovanja fotografija preko linka umesto da ih preuzimamo sa nekog sajta i ovde postavljamo kao prilog.

Ne preporucujem da zadrzavas dah dok cekas :)
Bolje instaliraj Stylus i preuzmi stvari u svoje ruke.

Odgovor na temu

Shadowed
Vojvodina

Član broj: 649
Poruke: 12878

+4792 Profil

Re: AI: pomoć - ili opasnost?

^{22.10.2024. u 23:27 - pre 59 dana i 18h}

Nego, jedno usputno pitanje: moze li se lokalno koristiti neki LLM tako da koristi RAM umesto VRAM-a? Jasno da bi bilo sporije zbog transfera izmedju RAM-a i GPU-a ali nekad je bolje sporo nego nikako.

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16750
2a06:63c0:608:9700:31a0:5292..

+7192 Profil

Re: AI: pomoć - ili opasnost?

^{22.10.2024. u 23:50 - pre 59 dana i 18h}

Moze naravno, skini https://github.com/ggerganov/llama.cpp i teraj :-)

Ako te mrzi da se cimas, stavi https://lmstudio.ai - GUI frontend.

Odgovor na temu

Shadowed
Vojvodina

Član broj: 649
Poruke: 12878

+4792 Profil

Re: AI: pomoć - ili opasnost?

^{23.10.2024. u 00:04 - pre 59 dana i 18h}

E, super. Kul je taj ggreganov, koristio sam njegov whisper.cpp ali je trazio graficku sa dovoljno memorije. Pretpostavljao sam da je slicno i sa LLM-ovima.

Odgovor na temu

Ivan Dimkovic

Administrator
Član broj: 13
Poruke: 16750
2a06:63c0:608:9700:31a0:5292..

+7192 Profil

Re: AI: pomoć - ili opasnost?

^{23.10.2024. u 00:12 - pre 59 dana i 18h}

Nope, llama.cpp je originalno napravljen za CPU inference.

--

Btw, Anthropic je izbacio update Claude models: https://www.anthropic.com/news/3-5-models-and-computer-use

Odgovor na temu