Drakar och reflektioner

Jullov. Olle Häggströms nya bok Here Be Dragons: Science, Technology and the Future of Humanity har just lämnat tryckeriet. Jag ser verkligen fram emot att läsa den - igen. Ja, just det. För ungefär ett år sedan förhandsgranskade jag nämligen texten. Kanske för att Olle var nyfiken på hur en helt vanlig människa, utan specialkunskaper, skulle reagera på den. Och jag tyckte och tänkte en hel del om det jag fick läsa. Somligt hade jag svårt att förstå, och kanske har mina många frågor resulterat i att Olle i den färdiga versionen har tänkt lite extra på oss vanliga dödliga läsare. Som part i målet kan jag i alla fall inte låta bli att imponeras av Olles ambition att ta sig an den tredje uppgiften, och den (uppfordrande) självklarhet med vilken han vill inkludera allmänheten i även de mest avancerade diskussionerna om vår gemensamma framtid, oavsett om de handlar om matematik eller etik - eller båda.

Jag vet alltså inte hur mycket texten har förändrats sedan jag läste den; inte heller om några av mina kommentarer har lämnat några avtryck. Som en uppladdning inför läsningen - din första och min andra - återger jag här några av dessa kommentarer (lätt redigerade). Det är min förhoppning att de ska väcka din nyfikenhet. (Observera alltså att nedanstående är mina tankar och inte utdrag ur boken!)

~

Kortsiktiga vinster från långsiktigt katastrofal teknikanvändning är, och har alltid varit, ”what makes the world go ’round”… Och de flesta teknikoptimister (även de mest seriösa och minst cyniska) hävdar ofta att den enda vägen framåt är att uppfinna ständigt nya sätt att sopa igen spåren efter tidigare stadiers negativa effekter. Det går alltså inte att backa, eller idka försiktighet - utan man måste snarare accelerera sig ur faror…

(Vi är väl överens om att fossilförbränning är långsiktigt katastrofal, att de allra flesta för länge sedan har insett detta, men att det är och har varit ekonomiskt och moraliskt tabu att inskränka användningen, bl.a. med hänvisning till diskontering, och till argumentet att endast med hjälp av fossila bränslen har vi kunnat, och kan vi, skapa framtida miljövänligare alternativ?)

~

Jämlikhet eller rättvisa baserad på just likhet (närhet) är en vanlig - ofta oreflekterad - men farlig och egentligen ganska märklig reflex. (I kursen N+ provocerar vi våra elever att fundera över vad som skulle hända om det visar sig finnas stora genetiska skillnader mellan olika grupper. Hur bör man hantera detta?) För mig är det självklart att - som en försiktighetsåtgärd - proaktivt inskärpa och tydliggöra att just skillnader är helt irrelevanta för de rättigheter som man i olika sammanhang vill enas om och kodifiera. Varför skulle annars någon kodifiering behöva göras alls, om inte för att utjämna eller bortse från skillnader?

Detta är alltså något delvis annat än den expanderande cirkeln. För mig framstår denna ibland - inte minst i Pinkers version - som alltför beroende av eget välstånd, och verka tilltala ett slags självrättfärdig, borgerlig högfärdighet eller villkorad ”välgörenhetsmentalitet” (tänk TV4): ”Om och när vi kan kosta på oss att bry oss om även kvinnor, barn, homosexuella, fattiga, djur….” etc.

~

Haidt talar om moraliska reflexer och den "vishet" som de innefattar. Han och andra verkar bl.a. mena att äckel är en känsla som är vanligare bland konservativa. Men denna vishet kan mycket väl vara bedräglig: Ur ett evolutionspsykologiskt perspektiv är äckel i många fall inte (längre) funktionellt.

~

Leibniz begår ju faktiskt inte misstaget att tillskriva någon enskild komponent medvetande. Han ger ju också (nästan) system-svaret - vilken hjälte! Men han litar inte på det och postulerar därför en särskild substans.

~

Kan vi verkligen konstatera att ordbehandlaren inte har orsakat en intelligensexplosion (om än inte en singularitet)? Tänk på utvecklingen av antalet publicerade forskningsartiklar!

Är den viktiga skillnaden koncentrationen av förmåga, snarare än den samlade förmågan, utspridd över världen? I den mån ordbehandlaren (m.m.) har revolutionerat världen så har den ju gjort det till stor del just via sin spridning. Vilket samtidigt är det som gör att den inte framstår som revolutionerande, eftersom effekten sprids jämnt.

~

Om man tolkar uttrycket ”objektivt moraliskt riktigt” som ”det som faktiskt optimerar en viss etik”, snarare än vad som metafysiskt motiverar densamma, så ställs saker i ett annat ljus. Vi får då en diskussion om hur en superintelligens mer konsekvent genomförda plan för att uppnå mål som vi förvisso håller med om ”på pappret” visar sig vara mer drastisk än vad vi hade räknat med.

Detta gäller även om vi på förhand ställer upp vad som är moraliskt riktigt (superintelligensen behöver alltså inte upptäcka hedonistiskt utilitarism; den ingår i ”kontraktet”.)

~

Apropos Kurzweil, kommer jag att tänka på grekernas akrasia… I ena stunden vill jag också vara med på tåget mot odödlighet, men sen återfaller jag till ett mer bekvämt, kortsiktigt leverne… Jag orkar inte göra allt det där som transhumanismen pekar ut - och dessutom mår jag ju hyfsat bra just nu (och det är nästan det enda som räknas). Jag tror att de flesta känner så - mer eller mindre.

Det är alltså inte så mycket fråga om huruvida folk är - eller skulle kunna räknas som - posthumanister, utan snarare hur många som orkar. Eller?

~

"We who live today in the rich part of the world have [...] maintained an innovation rate that has allowed the economy (including food production) to grow much faster than the population”

Exploatering och förtryck av en stor del av världen utanför, icke att förglömma!

~

Att uppnå en perfekt moral, och efterlevnad av densamma, verkar inte vara det viktigaste. Snarare: ”låt oss se till att få fortsätta att vara människor”. Det påminner om det jag skrev tidigare om posthumanism och livslängd: Är det verkligen vad vi vill ha? Vilka ”vi”? (Våra känslor eller våra intellekt, vid olika tillfällen i livet - på dagen...)

Hela idén om ett på förhand upprättat regelverk är en av de saker som ställer till problem här. Är det verkligen nödvändigt? (Kanske, och kanske har jag inte insett vidden av Omohundros resonemang.)

~

På tal om posthumanism: Det kan bli ett högt selektionstryck på strebrar, goal-getters, entreprenörer och liknande om och när biotekniken kommit lite längre... Den typ av personligheter som, likt Kurzweil (och vissa personer jag känner) uppvisar en närmast robotartad målmedvetenhet och plikttrogenhet…

~

Jag tycker inte att det är självklart att plötsligt diskutera AGW som (endast) ett moraliskt problem. Och det är inte heller självklart att det är särskilt svårt. Det finns många praktiska problem, det är sant, men det är en annan sak. En ”moralisk storm” verkar innebära svårigheter att agera moralisk riktigt, men jag ser inga större svårigheter att enas om vad som borde göras eller åsyftas, i ett personligt perspektiv. Allmänningens dilemma är, som jag ser det, inte ett etiskt problem, utan ett praktiskt. OK, diskontering, framtida generationer, osäkerheter m.m. kan kanske betraktas som etiska problem i den bemärkelsen att det inte är självklart hur man som samhälle ska kalkylera och vikta olika intressen och risker. Men ”moralisk kompetens” verkar snaras syfta på förmågan eller viljan att faktiskt agera på ett sätt som inte skulle strida mot någon rimlig kalkyl. Jag tror att det är mycket kontraproduktivt att inte göra tydlig åtskillnad på detta - det blir en ”moral hazard” som ger folk alibi att inte agera konstruktivt - och enligt det de egentligen vet är moraliskt riktigt.

~

Searles argument kan redan från början bemötas med att "goals, intentions, motivations, desires" o.s.v. inte behöver ha något med medvetande att göra, vilket ex. gem-monstret visar. Om inte annat så borde Omohundros lista övertyga de flesta om att ”medvetenhet”, ”ondska” eller för den delen programmerarens avsikter eller underlåtanden inte spelar någon roll.

~

Är självreplikerande nanobotar alltid också ”glupska”? Jag antar att målet är att skapa dem och begränsa deras tillväxt. Men hur? Genom att begränsa deras ”aptit” eller genom att begränsa deras tillgång till föda? Eller kanske genom att helt enkelt kunna stänga av dem, eller få dem att lyda?

När Sandberg säger att det är så svårt (så att det inte utgör någon större risk) att skapa dessa, menar han då självreplikerande bot:ar - punkt slut - eller menar han specifikt  ”glupska” självreplikerande bot:ar?

Om han menar det förra, skulle det innebära att det inte verkar finnas någon större framtid för nanobot:ar överhuvudtaget, i alla fall inte för uppgifter som kräver många. Eller?

Om självreplikerande bot:ar per definition också är (måste vara) ”glupska” (i någon mening) är problemet exakt detsamma som med en superintelligens: för att skörda fördelarna måste man också ta risker och utsätta sig för hotet att tekniken löper amok.

~

Ingen livsform på jorden verkar hittills ha löpt amok... Men stämmer det verkligen? Tänk på alla virus och bakterier och epidemier och massdödar (av människor). Är det inte en ganska klassisk ekologisk nisch, den att explodera exponentiellt och dominera på mikronivå?

Anledningen till att det fortfarande finns mer än en (mikroskopisk) livsform kvar på planeten är väl att även den elakaste parasiter ”inser” att de inte kan föröda sitt levebröd helt, utan måste utveckla en ”boskapsekonomi”?

Fast, det verkar ju ändå ganska troligt att det åtminstone någon gång under jordens historia skulle hunnit gå överstyr innan en sådan ”insikt” infann sig. Så då är vi tillbaka till argumentet att livet (som vi känner det) - av någon anledning - inte verkar utvecklas till ”superutrotare” särskilt ofta…

Det känns intuitivt konstigt, egentligen.

I vilket fall som helst, så skulle ett ”utbrott” av nano-parasiter troligen döda om inte alla så väldigt många innan de eventuellt ”besinnade” sig…

~

Som sagt, det finns ingen ”ren” observation, även om vi (teoretiskt) skulle kunna göra oss kvitt alla former av teorier, förförståelse etc…. Vi är ju fortfarande utlämnade åt vår perceptions- och kognitionsapparat och det finns ju ingen anledning att kalla den för ”neutral” (hårdkokad förförståelse; lite Kant, va?)


Det var länge sen jag pysslade med AI, men nog låter det som samma misstag som gjordes på 50-talet: Tron att man i förväg kan modellera ”allt”. Programmeraren som ett slags ”curling-förälder” med hybris

~

Jag funderar ibland på problemet med ”nyfödd AI”… Hur ska programmeraren - eller AI:n själv - veta att den faktiskt fungerar (är medveten), innan den har fått tillräckligt med tid att ”växa upp” och samla erfarenheter?

~

Perfekt (bayesiansk) rationalitet låter också otäckt likt en ”second coming” för den ”homo economicus” som vi ju nu äntligen nästan har blivit av med…

~

Det där med ”totalitarism”… Mänsklig kultur, moral, uppfattning är faktiskt väldigt formbar - mer så än vad vi oftast tänker oss: Relativt små ”hjälper” (som det heter inom hästdressyr) kan få stora konsekvenser på lite sikt - om de tillämpas med konsekvens. (Nudge, nudge...)

Jag har personligen svårt att acceptera att (upplevt eller ”objektivt”) förtryck är logiskt nödvändigt för att ”hantera” den mänskliga naturen.

Dessutom: Lite begränsningar får man banne med leva med! Och det gör folk överallt och hela tiden, utan problem! Det handlar bara om vad man är van vid.

Jämför barnuppfostran: Upplevda orättvisor uppstår alltid relativt det barnet uppfattar som ”normalt” genom att observera sin omedelbara omgivning. Som förälder måste man därför arrangera denna omgivning noggrant.

I bygemenskapen växer man upp med en självklar respekt gentemot byrådet. Det finns heller inget alternativ - utanför ligger skogen där man inte klarar sig själv.

Vårt problem är att folk inte har någon känsla för (den globala) byns gränser och sin plats i den.

Lägg härtill de vetenskapliga och teknologiska utvecklingar som skulle kunna användas i samhällets tjänst - inte minst olika sätt att direkt eller indirekt påverka människors moral.

~

Utgående från följande: ”q is the conditional probability that the civilisation, having come that far, goes on to develop into an intergalactic civilization”,  varför måste det vara så katastrofalt att q visar sig vara litet?

Det bygger dels på evolutionära argument som säger att givet p* så är q* näst intill oundvikligt. Det bygger också på att rymdkolonisering är möjlig och trolig.

Så om vi hittar bevis för liv på andra planeter så är det enda vi kan hoppas på att vi fortfarande har ett tag kvar innan de nödvändiga och oundvikliga teknologiska framstegen har gjorts. För när de väl har gjorts så kommer vi att börja kolonisera, och då - först då - kommer det att gå åt helvete på riktigt. För ingen civilisation har ju lyckats tidigare - då hade vi sett dem.

Hmm… Om jag hade gjort en seriestrip (á la xkcd) om det här, så skulle den ha visat två nattfjärilar som bakom ett myggnät på någon meters avstånd åser horder av andra nattfjärilar flyga rakt mot och in i ett stearinljus för att genast brinna upp och dö. Den ene till den andre, med förväntan i rösten: ”Vänta bara tills vi har fått bort nätet!”

Alltså, vad hela den här diskussionen egentligen mynnar ut i är: Alla civilisationer är livsfarliga för sig själva. Så fort de kan, begår de självmord.

~

Det faktum att Dyson-sfärer nämns endast i samband med rymdkolonisering är provocerande, med tanke på det skriande behov vi har av i praktiken obegränsad energi för att över huvud taget klara och förbättra vår nuvarande situation här på jorden, med någon slags värdighet.

~

Jag funderar på skiljelinjen mellan p och q… Är tidpunkten för när frågan om p resp q ställs viktig?

Något får mig att undra om inte de senaste 100 (1000?, 10000? 100000?) åren har spelat en avgörande roll för vår önskan och vårt behov att ge oss ut i rymden.

Ett exempel: Låt oss säga att vi nu har kommit till en punkt där det är betydligt rimligare att satsa på rymdkolonisering än på långsiktigt hållbar fortsatt existens (endast) på Jorden; detta som ett resultat av överbefolkning, miljöförstöring, resursbrist. Från vår nuvarande situation är q viktigare än p. Men gå tillbaka X år i tiden: Då förändras inte bara värdena på sannolikheterna för p* och q* - utan också deras innebörd… Kanske har detta också med definitionen av ”liv” och ”intelligens”, eller ”civilisation”, att göra…

Jag är kluven mellan att acceptera någon form av kosmisk socialdarwinism med ett oundvikligt expansions-primat; och att tänka att om intelligens och civilisation ska betyda något vettigt alls, så borde det vara just förmågan att kontrollera sådana drifter.

~

Det börjar alltså med att en (1) sond skickas till Merkurius. Jag utgår från att planeten grävs ut helt och förintas. Fler sonder skickas vidare ut i rymden. Till vilka och till hur många planeter? En per stjärna? Alla runt en stjärna? Runt varje stjärna?

Vilka planeter ska vi bo på, om det inte finns några kvar? (Eller om deras stjärnor täcks av Dyson-sfärer.) Ska vi bo (som immateriella medvetanden) på kringdrivande skepp i rymden?

Är vi då inte universella kackerlackor som föröder allt i vår väg, tills inget finns kvar? Är detta vår - varje - civilisations enda möjliga öde?

(Det var faktisk min son, Hannes, då 11 år, som ställde denna fråga efter att jag hade läst för honom om Sandbergs vision.)

~

Angående objektiv moral kontra utilitarism kontra evolutionspsykologi…

Jag vet inte vilka argument Nagel och Partit anför för en objektiv moral, men när jag läser om ”symmetriska” utilitarister så tänker jag att ett sätt att komma längre än ett ”Moron!” är att sakta bränna meningsmotståndaren på bål (råbarkat var det, ja) tillse denne erkänner (inser) att ett maximerande av lidande inte är någon bra idé…

Jag vacklar själv i denna fråga och tänker ibland: Vad skulle kunna utgöra ”objektiva” skäl för (en viss) moral - om inte psykologiska och fysiologiska sådana? (Och nu låter jag väl som Sam Harris, va?)

”Tis not contrary to reason to prefer the scratching of my finger to the destruction of the world”, sa han också, Hume. Som ”vän av ordning” kan jag hålla med. Men om moral och etik ska betyda något i verkligheten så måste (borde…) vi väl utgå från mänskligt välmående?

Kanske är det termerna i sig, och deras tillämpningsområden, som behöver ses över? På samma sätt som ett ”är” inte medför ett ”bör” så är det kanske också så att en ”möjlig” moral inte medför en ”rimlig” moral?

~

När det gäller fri vilja kan jag rekommendera boken Frihet, skuld och ansvar av Pauen & Roth (Daidalos, 2010). ’Nuf said!

Också jag tycker att Dennett börjar bli lite väl apologetisk på gamla dar. ”Fri vilja” är ett juridiskt begrepp. Punkt.

~

”But what if I can get the exact same experience from some advanced virtual reality simulation?”

Exakt samma? Inkluderar detta de ”lögner” (stimulantia) som krävs för att inducera de känslor och tankar som har specifikt att göra med upplevelsen (vetskapen) av att vara ett fysiskt ting som interagerar med ett annat fysiskt (”storslaget”) ting; två ”skepp” som s.a.s. råkar mötas i den kosmiska natten, som två fria, stolta entiteter - och inte som marionetter?

Ofta är det jag som brukar reducera upplevelser till hedonistiska integraler. (Minns Nozicks upplevelsemaskin.) Kanske just därför ringer min varningsklocka här...

När saker kan simuleras (lätt) tenderar de att tappa värde…

~

”Comparing a future where humans prosper to one in which we are replaced by robots that prosper similarly...”

Här verkar det inte orimligt att idka lite ”rasism” till fördel för oss nutida människor. I ett större perspektiv: Även om ”rena”, teoretiska resonemang kan leda åt vissa håll, så är det själva tillämpningen av dessa resonemang som måste diskuteras. Även om det i någon mening är (minst) lika bra att världen går under efter att Hume har fått klia sig, så verkar det lite väl storsint att ens överväga dylika alternativ?

~

Hannes, 11 år, hängde med bra vid (simultanöversatt) högläsning. Vi pratade bl.a. om en kille i framtiden, på en annan planet eller en rymdstation, som läser i sin historiebok om den gamla planeten Jorden som nu är förstörd men vars förödelse gjorde det möjligt att skicka iväg de kolonisatörer vars ättelägg han nu tillhör: Kommer han att känna någon nostalgi?

~

”Weitzman’s = 2% amounts to a half-life of 35 years, and the unreasonableness of valuing the lifetime amount of well-being of someone born in 1970 twice as high as that of someone born in 2005.”

Den här meningen krånglar också till det för mig. Skulle den gå att uttrycka så här i stället: "2% innebär att man värderar en persons (mänsklighetens) välmående i dag dubbelt så högt som välmåendet hos en person (de människor) som föds om 35 år” (Jag börjar tänka i termer av ackumulerat välmående…)

Den här invändningen kan väl användas om många val av delta (eller r; det verkar ganska godtyckligt vilken term eller faktor som bidrar mest, eller hur de väljs; sannolikt räknar ekonomer baklänges, från vad de uppfattar eller önskar vara ett ”lagom” värde på r…)

Med r = 1,4% får man en ”halveringstid” på 50 år. Även om detta inte uttryckligen kommunicerar en nedvärdering av liv två generationer bort (i form av delta), så blir ju konsekvensen densamma. (Om man inte kalkylerar med en naturlagsmässig ökning av GDP, vilket många ekonomer iofs gör… Den här ekvationen verkar mest vara ett sätt att försöka dölja eller frisera en desperat förhoppning, alternativt en dystopisk framtidsvision.)

~

”Bostrom argues that the prevention of an existential catastrophe is even more important than we typically spontaneously think, and deserves to be elevated to the top of the international agendas of scientific efforts and public discourse”

Det slår mig att detta kunde vara en god idé även om det inte är (eller går att visa att det är) så att (vissa) existentiella risker bör prioriteras mycket högt, utifrån en traditionell riskanalys. Tänk t.ex. på kampanjen ”Håll Sverige rent!” som en gång i tiden samlade människor, skapade och befäste gemensamma ideal som gick långt utanför sitt huvudsakliga fokus; och som hade gynnsamma effekter som gick långt utanför den faktiska mängd skräp som samlades ihop.

~

Två ytterligare argument i linje med Tomasiks (och som jag tycker verkar rimligare) är 1) att ett ökning av mänskligt liv också troligen medför en ökning av mänskligt lidande; och 2) att vi vid vidare expansion ut i rymden kommer att utsätta det redan existerande vilda livet (landskapet) där ute för samma lidande och utsugning som vi idag (endast) utsätter Jordens biosfär för.

(I förlängningen skulle man kunna argumentera för att även om universum är tomt på liv förutom oss så skulle en mänsklig expansion på sikt kunna leda till att vi föröder kosmos på samma sätt som planeten Jorden, och att värdet av detta kosmos, när vi så småningom är borta, minskats på ett ”astronomiskt” sätt som får summan av mänskligt lidande - enligt någon kalkyl - att framstå som obetydlig i jämförelse. Men då har vi helt lämnat ett - kanske rimligt - antropocentriskt perspektiv.)

~

”Treating all “(mere) possibilities” as equally unlikely is a coarse-grained way of thinking that will lead to nothing but confusion”

Men detta är väl inte riktigt huvudargumentet - snarare, bl.a. (1) att man alltid har ett i princip oändligt antal risker att hantera, och (2) att man måste balansera resurser som spenderas på att förhindra risker mot resurser som spenderas på ”ordinarie” verksamhet, inklusive sådan som förändrar risklandskapet. Detta leder till det (rent teoretiska men korrekta) argumentet att en pliktskyldig riskanalys av oändligt många potentiella risker leder till handlingsförlamning eller otillräckliga insatser mot alla risker.

~

”...a potential future technology involving no obvious great downside dilemma is space colonization.”

Det ligger, som jag uppfattar det, ett stort risktagande åtminstone i inledningsfasen av ett sådant projekt. Det innebär ju att satsa en extremt stor andel av våra tillgängliga resurser för att på sikt - och om allt lyckas - förhoppningsvis kunna skörda mångfaldiga vinster. Men vad händer om vi förbrukar våra resurser utan att nå hela vägen fram? Och även om vi lyckas till slut så innebär ju omfördelningen av resurser till ett sådant projekt mindre resurser till många av dem om lever på jorden i dag. Detta är väl ett ”downside dilemma” så gott som något?