Kunnen Vintage Language Modellen de toekomst voorspellen?
Als je meer wilt leren hoe AI de mensheid echt vooruit kan helpen, kijk dan de fantastische documentaire The Thinking Game. Het vertelt over Demis Hassabis en zijn levenswerk om artificial general intelligence te realiseren. Hoe hij DeepMind start en uiteindelijk een Nobelprijs wint met AlphaFold; een AI-systeem dat met hoge nauwkeurigheid de 3D-structuur van eiwitten voorspelt op basis van hun aminozuurvolgorde.
In de documentaire doet Hassabis een uitspraak die me is bijgebleven, en die ik eerlijk gezegd zelf ook wel eens gebruik: “Als een LLM is getraind met data die niet verder gaat dan 1911, kan het dan zelfstandig tot de relativiteitstheorie komen, zoals Einstein deed in 1915?”
Immers, als het dan zou kunnen, zonder toegang tot data na 1911, dan zou dat betekenen dat een model zelfstandig patronen kan herkennen, origineel wetenschappelijke gedachten kan hebben en een abstractieniveau heeft om zelfstandig nieuwe kennis te genereren.
Je kunt je afvragen of de bouwstenen van de relativiteitstheorie al niet besloten lagen in de data van voor 1911. Einstein had die bouwstenen ook, en wist ze op creatieve wijze bij elkaar te brengen om tot een compleet nieuw inzicht te komen. Dus als een model dat doet, is het dan echt een unieke nieuwe gedachtengang, of is het een een geavanceerde vorm van patroonherkenning die we wel vaker zien bij LLM’s? We zouden het binnenkort zelf kunnen ontdekken, want er is nu Talkie, een Vintage Language Model (ik hou nu al van die term) en getraind met data tot uiterlijk 1930. De makers bouwen voort op bestaande experimenten van zulke modellen.
Het is nog onduidelijk of het inderdaad zelfstandig tot ontdekkingen als de relativiteitstheorie kan komen, maar ondanks dat vind ik zulke ontwikkelingen interessant om te zien. Allerlei kleine modellen die je eenvoudig op je eigen computer of telefoon kunt gebruiken. Handig voor de Steampunk Cosplay scene die net wat meer moderne technologie willen inbouwen!
Je reactie?
Laat gerust een reactie, vraag of gedachte achter. Hou het netjes en be cool.