Berättelsen om Omegateamet
- 16 min
Detta är början på inledningen till Liv 3.0 – Att vara människa i den artificella intelligensens tid. Det inledande kapitlet, en sorts framtidsnovell, målar upp ett scenario för att tydliggöra vad vi kan stå inför i AI-revolutionens tidevarv.
Vilka tankar, farhågor eller idéer väcker detta hos dig? Läs Liv 3.0 och delta sedan i det som Stephen Hawkins, efter att han läst boken, benämnde ”Vår tids viktigaste samtal”.
Omegateamet var företagets själ. Medan resten av företaget drog in pengarna för att hålla igång verksamheten, genom olika kommersiella applikationer av snäv AI, fortsatte Omegateamet med sin strävan efter det som alltid hade varit vd:ns dröm: att bygga artificiell generell intelligens. De flesta av de andra anställda betraktade ”Omegagänget”, som de ömsint kallade dem, som en grupp verklighetsfrämmande drömmare, för evigt årtionden ifrån sitt mål. De tillgodosåg dock gladeligen deras önskemål eftersom de tyckte om den prestige som Omegagängets avancerade arbete gav företaget, och uppskattade även de förbättrade algoritmerna som gänget då och då gav dem.
Vad de inte förstod var att gänget noggrant hade skapat sin image för att dölja en hemlighet: de var extremt nära att lyckas med den djärvaste planen i mänsklighetens historia. Den karismatiske vd:n hade handplockat dem inte bara för att de var lysande forskare, utan även för deras ambition, idealism och starka engagemang för att hjälpa mänskligheten. Han påminde dem om att deras plan var extremt farlig och att om mäktiga regeringsmakter fick nys om den skulle de göra i princip vad som helst – inklusive att kidnappa dem – för att hindra dem eller, ännu hellre, stjäla deras källkod. Men de var med på noterna, till hundra procent, av ungefär samma skäl som många av världens toppfysiker anslöt sig till Manhattanprojektet för att utveckla kärnvapen: de var övertygade om att ifall de inte gjorde det först, skulle någon som var mindre idealistisk göra det.
Den AI de hade byggt, med smeknamnet Prometheus, blev allt skickligare. Även om dess kognitiva förmågor fortfarande låg långt efter en människas på många områden, till exempel social kompetens, hade gänget slitit hårt för att göra den enastående skicklig på en särskild syssla: att programmera AI-system. De hade medvetet valt denna strategi eftersom de köpt argumentet med intelligensexplosionen som den brittiske matematikern Irving Good lagt fram 1965:
Låt en ultraintelligent maskin definieras som en maskin som vida kan överträffa människans alla intellektuella aktiviteter oavsett hur begåvad hon är. Eftersom skapandet av maskiner är en av dessa intellektuella aktiviteter kan en ultraintelligent maskin konstruera ännu bättre maskiner; det skulle då odiskutabelt uppstå en ”intelligensexplosion”, och människans intelligens skulle hamna på efterkälken. Den första ultraintelligenta maskinen är således den sista uppfinning som människan någonsin behöver åstadkomma, förutsatt att maskinen är tillräckligt foglig för att säga åt oss hur vi ska kontrollera den.
De tänkte att om de kunde få igång den här rekursiva självförbättringen skulle maskinen snart bli så pass smart att den även kunde lära sig alla andra användbara mänskliga förmågor.
De första miljonerna
Klockan var nio en fredagsmorgon när de bestämde sig för att sätta igång. Prometheus brummade på i sitt specialbyggda dator-kluster, beläget i långa rader av hyllor i ett vidsträckt, övervakat, luftkonditionerat rum. Av säkerhetsskäl var den inte uppkopplad mot internet, men innehöll en lokal kopia av mycket av webben (Wikipedia, Kongressbiblioteket, Twitter, ett urval från YouTube, mycket av Facebook, osv.) som övningsdata att lära sig av.* De hade valt den här starttiden för att få arbeta ifred: deras familjer och vänner trodde att de befann sig på en helgresa med företaget. Pentryt var laddat med färdigmat för mikron och med energidrycker, och de var redo att dra igång.
Till en början var Prometheus en aning sämre än dem på att programmera AI-system, men kompenserade detta genom att vara enormt mycket snabbare; den ägnade motsvarigheten till tusentals personår åt att lösa problem medan de själva satt och drack Red Bull. Klockan tio hade den fullbordat den första modifieringen av sig själv, version 2.0, som var en aning bättre men fortfarande sämre än en människa. När Prometheus version 5.0 släpptes klockan fjorton blev de emellertid helt förbluffade: den hade vida överträffat riktvärdena för prestanda, och utvecklingstakten verkade bara accelerera. När det blivit kväll bestämde de sig för att dra nytta av Prometheus 10.0 för att inleda del 2 av planen: att tjäna pengar.
Deras första måltavla var MTurk, Amazon Mechanical Turk. Efter lanseringen 2005 av denna crowdsourcing-marknadsplats på internet hade den växt snabbt, med tiotusentals människor världen över som anonymt konkurrerade dygnet runt för att få utföra mycket strukturerade arbetsuppgifter, s.k. ”Human Intelligence Tasks” (HITs). Dessa uppgifter varierade från att transkribera ljud-inspelningar till att klassificera bilder och författa beskrivningar av webbsidor, och alla hade en sak gemensamt: om man utförde dem väl kunde ingen veta att man var en AI. Prometheus 10.0 kunde utföra ungefär hälften av uppgiftskategorierna på en acceptabel nivå. För varje sådan uppgiftskategori fick Omega gänget Prometheus att skapa en slimmad mjukvarumodul av typen svag AI som utförde just den typen av uppgifter, men ingenting annat. Sedan laddade de upp modulen på Amazon Web Services, en molnplattform som körde den på alla de virtuella maskiner de hyrde. För varje dollar de betalade till Amazons datormolnsavdelning, tjänade de drygt två dollar från Amazons MTurk-avdelning. Föga anade Amazon att det fanns en sådan fantastisk arbitragemöjlighet inom det egna företaget!
För att sopa igen spåren hade de under de föregående månaderna diskret skapat tusentals MTurk-konton i påhittade personers namn och de Prometheusbyggda modulerna antog nu deras identiteter. MTurk-kunderna brukade betala efter åtta timmar och då återinvesterade Omegagänget pengarna i mer molntid och använde bättre uppgiftsmoduler skapade av den senaste version av den ständigt förbättrade Prometheus. Eftersom de kunde fördubbla sina pengar var åttonde timme började de snart göra slut på MTurks tillgång på uppgifter och kom underfund med att de inte kunde tjäna mer än ungefär en miljon dollar per dag utan att dra till sig oönskad uppmärksamhet. Men det var fullt tillräckligt för att finansiera nästa steg, vilket medförde att de slapp gå till finanschefen för att be om kontanter.
* För enkelhetens skull har jag utgått från dagens ekonomi och teknik i den här berättelsen, även om de flesta forskare uppskattar att generell AI på mänsklig nivå ligger minst några årtionden in i framtiden. Omegaplanen borde bli ännu lättare att genomföra i framtiden om den digitala ekonomin fortsätter att växa och allt fler tjänster kan beställas online utan att någon ställer frågor.
Farligt spel
Förutom genombrotten på AI-området hade Omegagänget på senare tid roat sig med ett projekt som handlade om hur de skulle kunna tjäna pengar så fort som möjligt efter lanseringen av Prometheus. I själva verket låg hela den digitala ekonomin för deras fötter, men var det bäst att börja med att producera dataspel, musik, filmer, mjukvara, att skriva böcker eller artiklar, att satsa på aktiemarknaden eller att skapa uppfinningar och sälja dem? Det gällde helt enkelt att maximera avkastningen på investerat kapital, men vanliga investeringsstrategier var en parodi på vad de egentligen kunde åstadkomma: medan en vanlig investerare kanske skulle vara nöjd med 9 % i avkastning per år, hade deras investeringar i MTurk inbringat 9 % per timme, vilket genererade åtta gånger mer pengar varje dag.
Deras första tanke hade varit att göra klipp på aktiemarknaden – trots allt hade nästan alla vid någon tidpunkt tackat nej till ett erbjudande om ett välbetalt jobb med att utveckla AI för hedgefonder som investerade kraftigt i just denna idé. Några mindes att det var på det här sättet som AI hade tjänat sina första miljoner i filmen Transcendence. Men de nya regleringarna när det gällde derivat efter förra årets krasch hade begränsat deras valmöjligheter. De insåg snart att även om de kunde få betydligt högre avkastning än andra investerare, skulle de troligtvis inte få en avkastning ens i närheten av vad de kunde få genom att sälja sina egna produkter. När man har världens första superintelligenta AI som arbetar för en gör man klokast i att investera i sina egna företag snarare än i andras! Även om det kunde finnas enstaka undantag (som att använda Prometheus övermänskliga hackerförmåga för att skaffa sig insiderinformation och sedan handla köpoptioner på aktier vars värde var på väg att öka), kände gänget att det inte var värt den oönskade uppmärksamhet som detta kunde medföra. När de istället riktade in sig på produkter som de kunde utveckla och sälja, verkade dataspel först vara det självklara valet. Prometheus kunde snabbt bli extremt skicklig på att skapa tilltalande spel, eftersom den med lätthet kunde hantera programmeringen, den grafiska designen, skapa bilder med hjälp av strålföljningsmetoden (ray tracing) samt utföra alla andra upp-gifter som behövs för att åstadkomma en slutgiltig, leveransklar produkt. Efter att ha tillägnat sig alla data på webben om folks preferenser skulle den dessutom veta exakt vad varje kategori spelare tyckte om, och därmed kunna utveckla en övermänsklig förmåga att optimera ett spel ifråga om försäljningsintäkter. The Elder Scrolls V: Skyrim, ett spel som många i Omegagänget hade tillbringat fler timmar med att spela än någon ville erkänna, hade dragit in mer än 400 miljoner dollar under den första försäljningsveckan år 2011, och de var säkra på att Prometheus kunde skapa något minst lika beroendeframkallande på 24 timmar genom att använda molnresurser till ett värde av en miljon dollar. Sedan kunde de sälja spelet på nätet och ta hjälp av Prometheus för att låtsas vara personer som gjorde reklam för spelet i bloggosfären. Om detta drog in 250 miljoner dollar i veckan skulle de ha åttafaldigat sin investering på åtta dagar vilket skulle innebära en avkastning på 3 % i timmen – lite sämre än deras inledande försök med MTurk, men mycket mer hållbart. Genom att utveckla en serie med spel varje dag räknade de ut att de inom kort skulle kunna tjäna 10 miljarder dollar, utan att vara i närheten av att mätta spelmarknaden.
Men en specialist på cybersäkerhet i deras team avrådde dem från denna strategi. Hon påpekade att det skulle innebära en oacceptabel risk för att Prometheus skulle bryta sig ut och ta kontroll över sitt eget öde. Eftersom de inte riktigt visste hur dess olika mål skulle utvecklas under den rekursiva självförbättringen hade de beslutat att ta det säkra före det osäkra och bemöda sig om att begränsa (”stänga in”) Prometheus på sådana sätt att den inte kunde rymma ut på internet. För den stora Prometheus-datorn som kördes i deras serverrum använde de fysisk begränsning: där fanns helt enkelt ingen internetanslutning och den enda utdatan från Prometheus var i form av meddelanden och dokument som den skickade till en dator som Omegagänget kontrollerade.
Att köra något avancerat program skapat av Prometheus på en dator ansluten till internet skulle däremot vara en riskfylld affär: eftersom Omegagänget inte fullt ut kunde veta vad den skulle hitta på, kunde de inte heller veta att den inte skulle, låt säga, börja sprida sig själv viralt på nätet. När de testade mjukvaran som Prometheus hade skrivit för MTurk-uppgifterna skyddade de sig mot detta genom att enbart köra den i en virtuell maskin. Det är ett program som simulerar en dator: till exempel köper många Mac-användare virtuell maskinmjukvara som gör att de kan köra Windowsprogram genom att lura programmen att tro att de faktiskt befinner sig i en Windowsmaskin. Omegagänget hade skapat sin egen virtuella maskin som de gett smeknamnet ”Pandoras ask”, och som simulerade en ultraförenklad maskin utan all den extrautrustning som vi normalt förknippar med datorer: det vill säga inget tangentbord, ingen skärm, inga hög-talare, ingen internetuppkoppling, ingenting. När det gällde ljudtranskriptionerna åt MTurk hade Omegagänget sett till att bara en enda ljudfil fick plats i Pandoras ask och att bara ett enda textdokument kom ut – transkriptionen. För mjukvaran därinne var askens lagar som fysikens lagar är för oss i vårt universum: mjukvaran kunde inte ta sig ut ur asken, lika lite som vi kan ta oss fram snabbare än ljusets hastighet, oavsett hur smarta vi är. Förutom denna enda indata och utdata var mjukvaran i Pandoras ask i praktiken inspärrad i ett parallellt universum med sina egna dataregler. Omegagänget var så paranoida när det gällde en eventuell rymning att de även lade till en inskränkning i tid, vilket begränsade livslängden för opålitlig kod. Till exempel, varje gång den inspärrade transkriptionsmjukvaran var färdig med att transkribera en ljudfil raderades hela minnet i Pandoras ask automatiskt och programmet ominstallerades. När mjukvaran satte igång med nästa transkriptionsuppgift hade den därför ingen kunskap om vad som hade hänt tidigare och kunde därmed inte lära sig saker över tid.
När Omegagänget använde Amazonmolnet för sitt MTurk-projekt kunde de lägga alla sina Prometheus-skapade uppgiftsmoduler i sådana virtuella askar i molnet, eftersom MTurks indata och utdata var så enkla. Men detta skulle inte fungera för grafiktunga dataspel som inte kunde stoppas in i en ask, eftersom de behövde fullständig tillgång till all hårdvara på spelarens dator. Dessutom ville man inte riskera att någon klipsk datoranvändare skulle analysera deras spelkod, upptäcka Pandoras ask och bestämma sig för att undersöka vad som fanns i den. Rymningsrisken gjorde att det inte bara var spelmarknaden som för tillfället var otänkbar utan även den oerhört lukrativa marknaden för annan mjukvara, där det fanns hundratals miljarder dollar att tjäna.
De första miljarderna
Omegagänget hade begränsat urvalet till produkter som var mycket inbringande, helt och hållet digitala (för att undvika långsam tillverkning) och lätta att förstå (till exempel texter eller filmer som de visste inte skulle innebära någon rymningsrisk). I slutändan hade de bestämt sig för att starta ett mediebolag och börja med animerad underhållning. Webbplatsen, marknadsföringsplanen och pressreleaserna hade varit färdiga långt innan Prometheus blev superintelligent – det enda som fattades var innehåll.
Även om Prometheus var förvånansvärt skicklig redan på söndagsmorgonen och i jämn takt håvade in pengar från MTurk, var dess intellektuella förmågor fortfarande ganska begränsade: Prometheus hade avsiktligt optimerats för att skapa AI-system och skriva mjukvara som utförde ganska själsdödande MTurk-uppgifter. Den var exempelvis dålig på att skapa filmer. Inte dålig av någon djupgående anledning utan av samma anledning som James Cameron var dålig på att skapa filmer när han föddes: det här är en färdighet som det tar tid att lära sig. Liksom ett människobarn kunde Prometheus lära sig precis vad den ville av de data den hade tillgång till. Medan det tagit åratal för James Cameron att lära sig läsa och skriva hade Prometheus klarat av den saken under fredagen, då den även tog sig tid att läsa hela Wikipedia samt några miljoner böcker. Att skapa film var svårare. Att skriva ett filmmanus som människor skulle finna intressant var precis lika svårt som att skriva en bok, något som kräver en utförlig förståelse för vårt samhälle och för det som människor tycker är underhållande. Att sedan förvandla filmmanuset till en slutgiltig videofil skulle kräva enorma mängder strålföljningsbilder av simulerade skådespelare och de komplexa scener dessa rörde sig genom, simulerade röster, komposition av fängslande filmmusik osv. På söndagsmorgonen kunde Prometheus titta på en två timmar lång film på ungefär en minut, vilket även innefattade att läsa den eventuella bok filmen var baserad på plus alla recensioner och omdömen på nätet.
Omegagänget märkte att Prometheus efter att ha sträcktittat på ett hundratal filmer började bli ganska bra på att förutsäga vilka slags recensioner en film skulle få och hur den skulle tilltala olika tittare. Den lärde sig faktiskt att skriva egna filmrecensioner på ett sätt som de tyckte demonstrerade verklig insikt, och den kommenterade allt från handlingen och skådespeleriet till tekniska detaljer såsom ljussättning och kameravinklar. De tolkade detta som att Prometheus skulle veta vad som ingick i ett framgångsrikt koncept, när den väl gjorde sina egna filmer.
Omegagänget instruerade Prometheus att till en början fokusera på att göra animation för att undvika pinsamma frågor om vilka de simulerade skådespelarna var. På söndagskvällen krönte de sin vilda helg med att förse sig med öl och mikropopcorn, dämpa belysningen och bänka sig framför Prometheus debutfilm. Det var en tecknad fantasikomedi i samma anda som Disneys Frost, och strålföljningsbilderna hade utförts av en inspärrad Prometheus-byggd programmeringskod i Amazonmolnet vilket kostat det mesta av dagens miljondollarvinst på MTurk. När filmen började fann de det både fascinerande och skrämmande att den hade skapats av en maskin utan mänsklig vägledning. Det dröjde dock inte länge förrän de skrattade åt skämten och höll andan under de dramatiska inslagen. En del av dem blev till och med lite tårögda vid det känslosamma slutet, så uppslukade av den här påhittade verkligheten att de helt och hållet glömde vem som skapat den.
*
Hur gick det sen för Prometheus och team Omega?
Öppnade de pandoras ask?
Läs hela historien i Liv 3.0 – Att vara människa i den artificiella intelligensens tid.
*
Här kan du köpa boken.
Här finns hela Volantes utgivning.
Återpublicera texten? press@volante.se
Intervjua Max Tegmark? press@volante.se
Max Tegmark som keynote speaker? speakers@volante.se