Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.

AI: pomoć - ili opasnost?

elitemadzone.org :: MadZone :: AI: pomoć - ili opasnost?

Strane: << < .. 6 7 8 9 10 11 12

[ Pregleda: 21037 | Odgovora: 226 ] > FB > Twit

Postavi temu Odgovori

Autor

Pretraga teme: Traži
Markiranje Štampanje RSS

mjanjic
Šikagou

Član broj: 187539
Poruke: 2970



+764 Profil

icon Re: AI: pomoć - ili opasnost?10.01.2025. u 17:50 - pre 2 meseca
Lokalne industrije praktično ne postoje ili jedva da postoje, ove najjače čipove za AI proizvodi za sada samo TSMC, kad krene sa radom postrojenje u SAD, moguće da će ih uceniti da npr. nVidia čipove prave isključivo tamo, tako da će imati potpunu kontrolu.

Znam da se ne ide na bukvalno simuliranje biološkog neurona, mada je bilo pokušaja da se razviju čipovi zasnovani na biološkim materijalima i principima rada sličnim pravim biološkim neuronima, nego je pitanje više retoričko u smislu istraživanja "rezovnovanja" tih LLM i postavljanje pitanja da li tu ima nekog "razuma" i zašto nema ako ga nema.

Takođe, za LLM je potreban hardver koji košta u milijardama, većina država to ne može da priušti, može Kina i eventualno još nekoliko zemalja, ostale imaju problem čak i sa održavanjem infrastrukture i isplatom penzija :)))

Sa druge strane, za te sa dovoljno (ali, ipak ne i neograničeno) para ostaje pitanje: kako izbalansirati ulaganja u vojsnu opremu i AI, šta je važnije?
Blessed are those who can laugh at themselves, for they shall never cease to be amused.
 
Odgovor na temu

Ivan Dimkovic

Ivan Dimkovic
Administrator
Član broj: 13
Poruke: 16751
8.35.129.*



+7202 Profil

icon Re: AI: pomoć - ili opasnost?10.01.2025. u 18:04 - pre 2 meseca
Citat:
mjanjic
Znam da se ne ide na bukvalno simuliranje biološkog neurona, mada je bilo pokušaja da se razviju čipovi zasnovani na biološkim materijalima i principima rada sličnim pravim biološkim neuronima, nego je pitanje više retoričko u smislu istraživanja "rezovnovanja" tih LLM i postavljanje pitanja da li tu ima nekog "razuma" i zašto nema ako ga nema.


Razum je previse nabijen pojam, zato i izaziva problematicne reakcije, ali ako se to zaboravi istrazivanja su potpuno klasicna ML istrazivanja u domenu mogucnosti obrade informacija.

Citat:

Takođe, za LLM je potreban hardver koji košta u milijardama, većina država to ne može da priušti, može Kina i eventualno još nekoliko zemalja, ostale imaju problem čak i sa održavanjem infrastrukture i isplatom penzija :)))


DeepSeek je pokazao da je moguce dostici SOTA performanse sa delicem resursa.
DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

Living Light

Član broj: 331540
Poruke: 8364



+1243 Profil

icon Re: AI: pomoć - ili opasnost?13.01.2025. u 09:54 - pre 59 dana i 19h
 
Odgovor na temu

Living Light

Član broj: 331540
Poruke: 8364



+1243 Profil

icon Re: AI: pomoć - ili opasnost?13.01.2025. u 09:56 - pre 59 dana i 19h
 
Odgovor na temu

Living Light

Član broj: 331540
Poruke: 8364



+1243 Profil

icon Re: AI: pomoć - ili opasnost?13.01.2025. u 09:57 - pre 59 dana i 19h
 
Odgovor na temu

mjanjic
Šikagou

Član broj: 187539
Poruke: 2970



+764 Profil

icon Re: AI: pomoć - ili opasnost?13.01.2025. u 16:30 - pre 59 dana i 13h
Zanimljiv primer iz videa: https://www.youtube.com/watch?v=gL4cquObnbE

Alice "sticajem okolnosti" koristi pogrešne naočare za čitanje i sutra je boli glava (naravno da ne može da zaključi da će Alice uvideti da to nisu njene naočare kada pokuša da čita), ChatGPT naravno nije treniran za tu vrstu logike, pošto se radi o Transformer sistemu koji barata matricama predviđajući sledeću reč ili skup reči, mislim da se kod verzije 3.5 ili čak 4 nakon svakog koraka dodaje jedna nova kolona na matricu koja potiče od ulaznih podataka i da ima oko 120 takvih koraka, dakle generiše se praktično 120 novih kolona.
Blessed are those who can laugh at themselves, for they shall never cease to be amused.
 
Odgovor na temu

djoka_l
Beograd

Član broj: 56075
Poruke: 3561

Jabber: djoka_l


+1518 Profil

icon Re: AI: pomoć - ili opasnost?13.01.2025. u 16:57 - pre 59 dana i 12h
https://www.youtube.com/watch?...QObOWTQDNU6R1_67000Dx_ZCJB-3pi

Ovde imaš seriju o AI, od petog videa se objašnjava ChatGPT 3.5
Inače ulaz mu je 2048 vektora koji predstavljaju embeding tokena, prolazi kroz 96 transformacija, a izlaz je samo jedan token koji se dodaje na kraj ulaza za sledeći ciklus.
 
Odgovor na temu

speculaas

Član broj: 337011
Poruke: 4



+1 Profil

icon Re: AI: pomoć - ili opasnost?13.01.2025. u 19:12 - pre 59 dana i 10h
Ovo je super prikaz arhitekture na primeru manjeg modela baziranog na GPT-2: https://bbycroft.net/llm
 
Odgovor na temu

djoka_l
Beograd

Član broj: 56075
Poruke: 3561

Jabber: djoka_l


+1518 Profil

icon Re: AI: pomoć - ili opasnost?14.01.2025. u 00:08 - pre 59 dana i 5h
Neverovatna prezentacija!
 
Odgovor na temu

mjanjic
Šikagou

Član broj: 187539
Poruke: 2970



+764 Profil

icon Re: AI: pomoć - ili opasnost?14.01.2025. u 14:01 - pre 58 dana i 15h
Da, stvarno vrhunski.

Nego, mene više zanimaju specifične stvari, za pravi napredak ovih LLM u suštinskom smislu moraće da se sačeka sledeća revolucija, da li će biti zasnovana na nekim novim poluprovodnicima ili nečem drugom, videćemo, ako dočekamo.


Blessed are those who can laugh at themselves, for they shall never cease to be amused.
 
Odgovor na temu

Ivan Dimkovic

Ivan Dimkovic
Administrator
Član broj: 13
Poruke: 16751
*.dynamic.mbb.yettel.rs.



+7202 Profil

icon Re: AI: pomoć - ili opasnost?15.01.2025. u 08:29 - pre 57 dana i 21h
https://github.com/MiniMax-AI/MiniMax-01

Otvoreni MoE model sa 456B parametara (45.9B aktivno) i kontekstom od... 4 miliona tokena (!!!)
DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

speculaas

Član broj: 337011
Poruke: 4



+1 Profil

icon Re: AI: pomoć - ili opasnost?20.01.2025. u 12:55 - pre 52 dana i 16h
Idemo dalje, DeepSeek-R1, 671/37B MoE: https://huggingface.co/deepseek-ai/DeepSeek-R1
Citat:
DeepSeek-R1-Distill-Qwen-32B outperforms OpenAI-o1-mini across various benchmarks, achieving new state-of-the-art results for dense models
 
Odgovor na temu

Ivan Dimkovic

Ivan Dimkovic
Administrator
Član broj: 13
Poruke: 16751
*.mbb.yettel.rs.



+7202 Profil

icon Re: AI: pomoć - ili opasnost?20.01.2025. u 15:51 - pre 52 dana i 13h
A sad malo i razonode:

https://www.lesswrong.com/post...wgmbdZbqeWqb/meemi-s-shortform

Citat:

FrontierMath was funded by OpenAI.[1]

The communication about this has been non-transparent, and many people, including contractors working on this dataset, have not been aware of this connection. Thanks to 7vik for their contribution to this post.

Before Dec 20th (the day OpenAI announced o3) there was no public communication about OpenAI funding this benchmark. Previous Arxiv versions v1-v4 do not acknowledge OpenAI for their support. This support was made public on Dec 20th.[1]


Citat:

Tamay from Epoch AI here.

We made a mistake in not being more transparent about OpenAI's involvement. We were restricted from disclosing the partnership until around the time o3 launched, and in hindsight we should have negotiated harder for the ability to be transparent to the benchmark contributors as soon as possible. Our contract specifically prevented us from disclosing information about the funding source and the fact that OpenAI has data access to much but not all of the dataset. We own this error and are committed to doing better in the future.

Regarding training usage: We acknowledge that OpenAI does have access to a large fraction of FrontierMath problems and solutions, with the exception of a unseen-by-OpenAI hold-out set that enables us to independently verify model capabilities. However, we have a verbal agreement that these materials will not be used in model training.


Usmeni dogovor :-)

Da ne ulazimo uopste u pricu da OpenAI nije uopste morao da trenira model sa tim materijalom, mogli su, recimo, da generisu sinteticki slicne probleme i time 'pomognu' modelu da ima veci uspeh u resavanju FrontierMath problema. Mogli su i da eksperimentisu do mile volje ako su imali kompletan pristup i da rucno oda beru parametre koji daju najbolje rezultate. Koliko se secam u rezultatima se pominjalo da je model "tuned" - bez objasnjenja sta to tacno znaci.

Naravno, nema dokaza da je OpenAI bilo sta od toga radio, i dok o3 ne izadje bice nemoguce proveriti da li su performanse na korisnickim problemima slicne kao ono sto su reklamirali... ali sve ovo deluje jako trulo i, u najmanju ruku, potpuno diskredituje rezultate koje su objavili posto ocigledno nisu nezavisni niti postoji mogucnost da se garantuje da nisu kontaminirani... osim "majke mi" naravno.

o3 mini izlazi uskoro, pa se nadamo biti moguce nezavisno testirati performanse iako to postaje sve teze i teze (i skuplje).
DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

dr0id

Član broj: 326795
Poruke: 488



+146 Profil

icon Re: AI: pomoć - ili opasnost?21.01.2025. u 23:21 - pre 51 dana i 6h
https://www.theverge.com/2025/1/21/24348816/openai-softbank-ai-data-center-stargate-project O_o
 
Odgovor na temu

Ivan Dimkovic

Ivan Dimkovic
Administrator
Član broj: 13
Poruke: 16751
213.196.99.*



+7202 Profil

icon Re: AI: pomoć - ili opasnost?22.01.2025. u 06:40 - pre 50 dana i 22h
500B zvuci kao puno kinte ali MSFT, npr. ulaze 100B godisnje u ekspanziju datacentara.

Vest zvuci bombasticno ali kad se parsira svodi se da nekoliko igraca hoce da naprave dodatnu datacentar infrastrukturu za OpenAI (verovatno kako ne bi svi zavisili od MSFT-a) - a USGOV ce da pritegne neke srafove da se izgradi adekvatna elektricna infrastruktura.

DigiCortex (ex. SpikeFun) - Cortical Neural Network Simulator:
http://www.digicortex.net/node/1 Videos: http://www.digicortex.net/node/17 Gallery: http://www.digicortex.net/node/25
PowerMonkey - Redyce CPU Power Waste and gain performance! - https://github.com/psyq321/PowerMonkey
 
Odgovor na temu

speculaas

Član broj: 337011
Poruke: 4



+1 Profil

icon Re: AI: pomoć - ili opasnost?22.01.2025. u 12:01 - pre 50 dana i 17h
Gledao sam govor od Masa kod Trumpa, parafraziram: "usao sam sa 100B, Trump je trazio da povecam na 200B, a ja evo dolazim sa 500B" :D
 
Odgovor na temu

dr0id

Član broj: 326795
Poruke: 488



+146 Profil

icon Re: AI: pomoć - ili opasnost?22.01.2025. u 16:47 - pre 50 dana i 12h
Neko nam je ljubomoran https://www.theverge.com/2025/...rgate-project-money-allegation
 
Odgovor na temu

speculaas

Član broj: 337011
Poruke: 4



+1 Profil

icon Re: AI: pomoć - ili opasnost?22.01.2025. u 17:01 - pre 50 dana i 12h
Kako troluje @sama, vreme tvita 4:20 :)
 
Odgovor na temu

Panta_
Aleksandar Pantić
Kragujevac

Član broj: 214959
Poruke: 801



+164 Profil

icon Re: AI: pomoć - ili opasnost?24.01.2025. u 21:11 - pre 48 dana i 8h
Citat:
How China’s New AI Model DeepSeek Is Threatening U.S. Dominance

A little-known AI lab out of China has ignited panic throughout Silicon Valley after releasing AI models that can outperform America’s best despite
being built more cheaply and with less-powerful chips. DeepSeek, as the lab is called, unveiled a free, open-source large-language model in late
December that it says took only two months and less than $6 million to build. The new developments have raised alarms on whether America’s
global lead in artificial intelligence is shrinking and called into question big tech’s massive spend on building AI models and data centers.
In a set of third-party benchmark tests, DeepSeek’s model outperformed Meta’s Llama 3.1, OpenAI’s GPT-4o and Anthropic’s Claude Sonnet 3.5 in
accuracy ranging from complex problem-solving to math and coding. CNBC’s Deirdre Bosa has the story. This video also includes Bosa’s full interview
with Perplexity CEO Aravind Srinivas.


 
Odgovor na temu

miki069

Član broj: 161528
Poruke: 2048
109.245.227.*



+385 Profil

icon Re: AI: pomoć - ili opasnost?24.01.2025. u 22:40 - pre 48 dana i 6h
Nije 500 biliona $, već 500 milijardi $.

Ali i to je mnogo novca.
 
Odgovor na temu

elitemadzone.org :: MadZone :: AI: pomoć - ili opasnost?

Strane: << < .. 6 7 8 9 10 11 12

[ Pregleda: 21037 | Odgovora: 226 ] > FB > Twit

Postavi temu Odgovori

Navigacija
Lista poslednjih: 16, 32, 64, 128 poruka.