Kan ChatGPT slå 1d100?

clarence redd

FrostByte Books
Joined
23 May 2014
Messages
1,788
Location
Göteborg
Nu har jag följt kaninhålet en bit till:

”[Physical] dice, particularly d20 (20-sided polyhedral dice) and d8 (8-sided polyhedral dice) are often unbalanced, and more likely to roll certain numbers.” Turtärningar är alltså inte skrock?

”How to test how random your dice are:
  1. Get a container that can fit the die you want to test
  2. Fill the container with water, then add salt and the die to the water – if the die doesn't float, add more salt until the die floats
  3. Flick the die and take note of which side faces upwards – repeatedly flick the dice and record the results”
Chockerande att slumpen är så svårfångad.

”… [a pseudo-random] virtual dice roll is likely more close to true randomness than most physical dice.” 😅
 

JohanL

Champion
Joined
23 Jan 2021
Messages
7,736
”… [a pseudo-random] virtual dice roll is likely more close to true randomness than most physical dice.” 😅
Ja och nej. Den är mer precist randomiserad. Den är exakt lika mycket (nämligen noll) "true randomness", eftersom den är helt determinerad på samma vis som våra tärningsslag.

Genuin slump kan man bara uppnå med kvantfenomen, vilket vi också gör på mitt jobb (vi re-seedar om med en slumpgenerator som går på atomärt sönderfall, som enligt våra bästa teorier är genuint slumpartat och icke-deterministiskt - man kan också använda kosmisk strålning om man vill).

"Pseudo-random" har också problemet att den kan hackas och förutses på ett vis som inte går med att kasta tärningar - om man vet var man är i sekvensen, kan man förutse nästa värde. Detta är ett känt hack gentemot spelmaskiner (det faktiska hacket på en spelmaskin är att man spelar in långa sekvenser och till slut kan analysera var man är i den - det här blev möjligt med smartphones).

Jag har också själv varit i läget där ett först obegripligt statistiskt fel kunnat härledas till att slumptalsgeneratorn inte är slumpmässig på rätt vis.
 

kloptok

Pensionerad astrolog
Joined
14 Dec 2008
Messages
1,255
Location
Stockholm
Jag tror inte att det här funkar. Jag körde det tre gånger i Gemini och fick också "28", tre gånger på raken.

Det eviga problemet med AI - den ljuger skamlöst för dig.
Jodå, det funkar. I ChatGPT då. Låter som du faller för den vanliga mänskliga uppfattningen att tro att slump ska vara mer slump än det faktiskt är ibland. Denna gång råkade det bara bli 28 för dig. För mig blev det inte det. Och for the record så testade jag också i Gemini nu tre gånger och fick inte 28 en enda gång, utan tre helt andra siffror utan synbar korrelation till något.

Jag har förvisso inte hittat så tydlig dokumentation om detta, bara dokumentation som handlat om OpenAIs Canvas-funktion för ChatGPT. Jag misstänker att det är den som ligger bakom att koden kan köras dynamiskt, för det var den som släpptes till gratisversionen nyligen.

Från min session igår (och nu ska man inte tro på den rakt av när den svarar "yes I executed the code in real-time", men jag hittar inga andra tecken på att det är lögn som sagt):
Skärmavbild 2024-12-19 kl. 07.55.46.png
 

Tant Ragnar

Gamle usling
Joined
23 Jun 2016
Messages
2,491
Jag tror inte att det här funkar. Jag körde det tre gånger i Gemini och fick också "28", tre gånger på raken.

Det eviga problemet med AI - den ljuger skamlöst för dig.
Precis som Kloptok säger, och som jag förklarat i tidigare inlägg:

ChatGPT = modeller (så som GPT-4o, o1) + verktyg (så som möjlighet att köra Pythonkod, läsa PDF:er, eller söka på internet).

ChatGPT är, som jag visade i mitt första inlägg, kapabel att skapa och exekvera kod.

Nu har jag inte sagt ett ord om Claude, men eftersom det kom upp: Claude är på samma sätt en samling modeller och verktyg. Och bland dessa verktyg ingår ”Analysis tool”, som kan köra kod.

IMG_0949.png
 

Tant Ragnar

Gamle usling
Joined
23 Jun 2016
Messages
2,491
Och, jag unnar mig att inte explicit skriva ut ”pseudo random” i alla fallen ovan. Precis som Johan säger är alla exempel inte ”äkta” slump, då det kräver speciell hårdvara, och inte ren mjukvara.
 

Tant Ragnar

Gamle usling
Joined
23 Jun 2016
Messages
2,491
Jodå, det funkar. I ChatGPT då. Låter som du faller för den vanliga mänskliga uppfattningen att tro att slump ska vara mer slump än det faktiskt är ibland. Denna gång råkade det bara bli 28 för dig. För mig blev det inte det. Och for the record så testade jag också i Gemini nu tre gånger och fick inte 28 en enda gång, utan tre helt andra siffror utan synbar korrelation till något.

Jag har förvisso inte hittat så tydlig dokumentation om detta, bara dokumentation som handlat om OpenAIs Canvas-funktion för ChatGPT. Jag misstänker att det är den som ligger bakom att koden kan köras dynamiskt, för det var den som släpptes till gratisversionen nyligen.

Från min session igår (och nu ska man inte tro på den rakt av när den svarar "yes I executed the code in real-time", men jag hittar inga andra tecken på att det är lögn som sagt):
View attachment 21528
Du kan dessutom få se den exakta koden genom att klicka på ”[>_]”
 

kloptok

Pensionerad astrolog
Joined
14 Dec 2008
Messages
1,255
Location
Stockholm
Du kan dessutom få se den exakta koden genom att klicka på ”[>_]”
Absolut, men för djävulens advokat räcker väl inte det som belägg för att koden faktiskt körs. Att LLMer är stjärnor på att generera fungerande pythonkod tror jag ingen argumenterar mot.

Men som ytterligare belägg bad jag just om ett slumptal mellan 13 och 43 med seed 57. Det är en instruktion som känns högst osannolik att den kan ha plockats upp i träningsdata, och därmed är det inte speciellt sannolikt att svaret kommer bli rätt om koden faktiskt inte körs i realtid. Då fick jag 14. Sen körde jag samma kod på min dator och fick (som väntat) också 14.
 

damogn

Swordsman
Joined
4 Feb 2018
Messages
625
Men varför spamma ChatGPT för att generera talen? Det är ju som att skjuta myggor med en bazooka... Om den ger javascriptet för att generera tal kan du högerklicka någonstans i webbläsarfönstret, välja Inspect, välja flik Console och klistra in koden den ger för att generera slumptal. Koden kan du ju köra hur många gånger du vill utan att använda upp din quota hos ChatGPT.

Javascriptkoden kan man också skriva själv, eller googla sig till om man inte känner till syntaxen.
Exempel
Ett tal mellan 1 och 100
Code:
1 + Math.floor(Math.random() * 100)
En vektor med 40 tal mellan 1 och 100
Code:
Array.from({length: 40}, () => 1 + Math.floor(Math.random() * 100))
Exempel på output:
Code:
[79, 80, 53, 33, 25, 23, 15, 97, 51, 12, 54, 26, 88, 47, 80, 59, 37, 57, 82, 78, 3, 41, 7, 51, 3, 95, 2, 44, 8, 10, 66, 37, 99, 1, 23, 92, 10, 97, 11, 17]
 

JohanL

Champion
Joined
23 Jan 2021
Messages
7,736
Låter som du faller för den vanliga mänskliga uppfattningen att tro att slump ska vara mer slump än det faktiskt är ibland. Denna gång råkade det bara bli 28 för dig.
Seriously? En en-på-miljonen-grej inträffade på första försöket, i en situation där vi vet att AIn inte nödvändigtvis rapporterar sakernas tillstånd, och din slutsats är att det säkert var en tillfällighet?

Antar att det var ännu mer tillfälligheter här, och det finns ingen anledning att tro att den säger 29 även nästa gång (däremot är det förstås jätteintressant att den byter från 28 till 29)?

1734606203606.png
 
Last edited:

JohanL

Champion
Joined
23 Jan 2021
Messages
7,736
På 1d100 kommer till exempel 42 och 37 upp väldigt ofta.
Jag kan för övrigt förklara varför just dessa två.

42 är självförklarande.

37 är mycket intressantare - det är det subjektivt mest slumpmässiga talet mellan 1 och 100:


AI:n är kanske för kysk för att ta upp 69, som man annars också kunnat förvänta sig.
 
Last edited:

Tant Ragnar

Gamle usling
Joined
23 Jun 2016
Messages
2,491
Seriously? En en-på-miljonen-grej inträffade på första försöket, i en situation där vi vet att AIn inte nödvändigtvis rapporterar sakernas tillstånd, och din slutsats är att det säkert var en tillfällighet?

Antar att det var ännu mer tillfälligheter här, och det finns ingen anledning att tro att den säger 29 även nästa gång (däremot är det förstås jätteintressant att den byter från 28 till 29)?

View attachment 21538
Jag misstänker att vi alla är överens om att:
  • En LLM (exempelvis o1, GPT-4o, Claude 3.5 Sonnet eller Claude 3 Opus) som ombeds generera ett slumptal (eller räkna matte, eller säga tid i millisekunder) kommer att ge ett resultat som är lika dåligt eller sämre jämfört med om du bett mig göra det (utan hjälp från andra verktyg).
  • En applikation som använder LLM:er (exv ChatGPT eller Claude) kan också använda andra verktyg i kombination med LLM:en för att, exempelvis, generera pseuoslumptal, berätta tiden i millisekunder, slå på internet eller läsa en PDF.
  • Den mest praktiska eller effektiva lösningen på "generera ett slumptal mellan 0-100" är rimligen inte att använda ChatGPT eller Claude.
  • Det finns anledningar att ändå vilja testa att generera slumptal i ChatGPT eller Claude.
(Namngivningen av modeller och applikationer/produkter från techjättar så som OpenAI, Meta eller Antropic underlättar nog inte begreppsförvirringen här, så det är förståeligt att vi blandar ihop begrepp när vi pratar med varandra om olika LLM:er, produkter och tjänster som använder LLM:er...)

OCH det är såklart inte säkert att den genererade koden gör det den ska! Den kan såklart vara så att en LLM får för sig att generera kod som i princip är
" SLUMPTAL = 42;
print("Slumptalet du efterfrågade är: ", SLUMPTAL"

Och/men båda exempel jag postad (från ChatGPT och Claude) tycks skriva något så när vettig kod för att generera (pseudo)-slumptal.
 
Last edited:

Tant Ragnar

Gamle usling
Joined
23 Jun 2016
Messages
2,491
AH! Jag ser, exempelvis, att jag själv läst slarvigt och svarat @JohanL som pratade om Gemini med ett exempel från Claude (vilket såklart är en helt annan applikation från en helt annan leverantör). Jag har ingen koll på om Gemini har tillgång till verktyg som låter den köra kod (på samma sätt som Claude och ChatGPT har), men mina generella statements ovan gäller rimligen ändå - LLMer (så som Gemini 1.5 Flash, eller Gemini 2.0 Flash) kan inte generera slumptal. Applikationen (som också tycks heta Gemini) kanske eller kanske inte kan lägga till verktyg för att köra kod - och om så är fallet kan applikationen med hjälp av LLM + verktyg skapa slumptal.

Men sorry för snedläsning av ditt inlägg @JohanL!
 
Top