2) Idén om att ersätta mål med osäkerhet är verkligen djup.
3) Det förvånar mig lite att Russell är så GOFAI-fokuserad.
4) Han skriver inte mycket om varför de tidigare GOFAI-initiativen ebbade ut.
5) Han motiverar inte heller varför, eller hur, de nu skulle kunna bli mer framgångsrika.
6) Det förvånar mig att han så kategoriskt avfärdar potentialen hos neurala nät.
7) Och att han kategoriskt avfärdar analogin mellan mänskliga hjärnor och neurala nät.
8) Det senare motiverar han inte.
9) Det förra motiverar han bl.a. med att upptäckt av och resonemang med abstrakta hierarkiska begrepp inte är möjligt.
10) Men samtidigt påvisar han, och sätter visst hopp till, att just olika begrepp faller ut av IRL.
11) Även sådana som vi själva inte har hittat eller kan hitta.
12) Hur hänger detta ihop med hans tvärsäkra uttalande att system måste vara förståeliga?
13) Sista delen, där huvudidén presenteras, inleds med tre principer. När jag först läste dem tänkte jag direkt: Det här är ju upplagt för wireheading - Harriets egen hedonistiska spiral, alltså. Goodharts lag är ju liksom det existentiella villkoret i ett nötskal. Om och när det blir för kort sträcka mellan mål och belöning så mister målet sitt värde.
14) Även om Russell då och då snuddar vid detta så tar han inte tag i det ordentligt.
15) Närmast kommer han på de sista sidorna där han talar om en allmän bekvämlighet, men jag tänker mer på individuella upplevelsemaskiner.
16) Överhuvudtaget känns kapitel 9 alldeles för fragmentariskt och kortfattat. Jag upplever inte att han tar problemen på allvar, eller att han behandlar dem tillräckligt noggrant. Det är ingenjören som talar.
17) Fast, visst, han är lösningsorienterad, och det är ju bättre att vara konstruktiv än att bara filosofera över svår- eller olösliga dilemman.
18) Och visst är grundidén god - även om jag är osäker på hur väl de tre principerna fungerar.
19) Men när det gäller aggregation så känns det återigen som om diskussionen är lite lättvindig: ”Sånt här får vi klura ut efter hand”.
20) Jag menar, de filosofiska problemen kan ju inte designas bort eller hanteras med ingenjörsskap.
21) Russell verkar vara skeptiskt till inte bara nudging och liknande, utan också till paternalism i någon form.
22) Jag tror inte att vi klarar oss utan sådan - vare sig med eller utan AI.
23) På ett ställe skriver han något i stil med att eftersom det inte är en bra idé att skapa helt lojala AI (till någon individ) så måste vi ”stoppa in lite altruistiska och egalitära algoritmer” i varje personlig assistent - men då får vi kanske istället problemet att de rymmer hemifrån och ansluter sig till EA-rörelsen... så liiite lojala måste de få vara ändå. Det här stycket (och texten omkring det) läste jag flera gånger. Men jag förstod inte riktigt hur han menar. Eller snarare, jag förstår inte hur det hänger ihop med texten i övrigt. Det känns som om detta är en (av flera) svaga punkter i hans resonemang.
