Moral

Kort sagt: Vår morals evolution gjorde oss visserligen samarbetsdugliga, men begränsade våra moraliska dispositioner till dem vi räknar till ”vår” grupp (5 000 000 år). Genom externa miljöförändringar stegrades behovet av samarbete så mycket att det endast gick att tillfredsställa i allt större grupper. Bestraffning gav oss å ena sidan den självbehärskning och sociala fördragsamhet som erfordras, men försåg oss å andra sidan med en psykologi som med yttersta vaksamhet kontrollerar att vår grupps normer efterlevs (500 000 år). Genernas och kulturens samevolution gjorde oss till varelser som är hänvisade till att lära av andra för att på bästa möjliga sätt tillgodogöra sig den ackumulerade stocken av kunskaper och färdigheter. Samtidigt måste man nu kunna avgöra vem man vill lära sig av - det vill säga vem man litar och tror på - och detta förskott i form av förtroende förmedlas via gemensamma värden (50 000 år). Vår art, med dess samarbetande, punitiva och läraktiga individer, lyckades bygga allt större samhällen, som hotade att kollapsa under trycket av invånarantalet. Strängt hierarkiska organisationsformer började ersätta vår ursprungliga egalitarianism, så att samhällena spaltades upp i socioekonomiska eliter och ett både politiskt och materiellt eftersatt folkflertal. Den sociala ojämlikheten tilltog, liksom vår aversion mot den (5 000 år). Det var bara en tidsfråga innan moralens historia frambringade en kulturell konstellation som ersatta släktskap,och hierarkier som samhälleliga strukturprinciper med autonomt etablerade samarbetsformer mellan individer. Denna nya nivå i den sociala evolutionen frigjorde aldrig tidigare skådade drivkrafter bakom ekonomisk tillväxt, vetenskapliga framsteg och politisk frigörelse, vilket ledde till det moderna samhälle som vi fortfarande lever i (500 år). Samtidigt ökade spänningarna mellan vår psykologiska aversion mot social ojämlikhet och de ekonomiska fördelar som möjliggörs av en samhällsstruktur som bygger på ndividuella fri- och rättigheter. Med ökande materiellt överflöd hördes alltmer högljudda krav på att löftet om jämlikhet äntligen skulle infrias: eftersatta gruppers sociopolitiska status blev en prioriterad moralisk fråga (50 år). Att detta inte gick att lösa med önskad skyndsamhet kännetecknar vår nuvarande situation, där huvudelementen i moralens historia har blivit en toxisk blandning: vår moraliskt uppladdade gruppsykologi gör oss känsliga för sociala uppspaltningar. Svårigheterna att övervinna de sista ojämlikheterna väcker misstankar mot alla dem som inte med nödvändig glöd kämpar för samma sak. Det förstärker samhällets uppdelning i ”vi” och ”dom”, vilket ökar vår mottaglighet för desinformation, eftersom vi i ökande grad gör beslutet vem vi ska tro på beroende på signaler om moralisk tillhörighet. Vår punitiva psykologi börjar nu allt känsligare pröva symboliska markörer för medlemskap i vår grupp och alltmer sanktionera bristande efterlevnad av gällande normer. Nutidens identitetskonflikter - både till höger och vänster - är en följd av denna dynamik (5 år). Men så måste det inte sluta, för våra politiska meningsskiljaktigheter är mestadels mycket ytliga, och under denna yta finns djupa, universella moraliska värden som är gemensamma för alla människor och skulle kunna lägga grunden för en ny förståelse.

Ur Hanno Sauer: Moral (Daidalos), s. 13-15. Översättning av Joachim Retzlaff.

Vi kan inte vilja vad vi vill

Och DÄR, på sidorna 42-44, kommer Sapolskys käftsmäll på Dennett. ”Det här är enda gången jag medvetet gör ett personangrepp.”

Sapolsky har valt ut några citat som karaktäriserar Dennetts skrivande om fri vilja under många år, bl.a. detta:

”a good runner who starts at the back of the pack, if he is really good enough to DESERVE winning, will probably have plenty of opportunity to overcome the initial disadvantage”

- vilket Sapolsky kommenterar sålunda:

”This is one step above believing that God invented poverty to punish sinners.”

—

Efter att nyss ha läst Dennetts självbiografi associerar jag direkt till en för mig tidigare oanad aristokratisk hållning hos honom. Mannen har levt ett extraordinärt och synnerligen välsignat liv. Efter att klädsamt ha konstaterat att han förstås haft en hel del tur på vägen så är han emellertid (just därför) genomgående mycket noga med att berömma sig själv över sina bedrifter.

Jag har alltid tyckt att Dennetts kompatibilism är märkligt inkongruent med hans övriga tankar. Han har utropat sig själv till ”captain of the A-team” och jag har i drygt trettio år nu stolt räknat mig som medlem i detta. Dualism är en styggelse; medvetande och subjektivitet är inte vad vi tror; syften och mål är externa beskrivningar, inte interna tillstånd som kräver någon särskild förklaring; mänsklig kognition förklaras med samma krafter som allt annat (evolution) och ligger på samma kontinuum som de enklaste organismerna.

Men på senare år har jag också tyckt att det smugit sig in ett spöklikt glapp mellan hans ”popperska” och ”gregorianska” varelser.

I backspegeln associerar jag nu till Kant och hans potentiellt universella men ledsamt ofullgångna deontologi - baserad på vad jag vill kalla ”epistemisk nödvändighet” men beskuren av politisk nödvändighet: I praktiken är det bäst att göra som överheten säger.

—

För övrigt levererar Sapolsky (hittills) exakt vad jag trodde och ville. Nej, hårklyverier om hur och huruvida medvetna beslut kan fattas eller inhiberas är inte relevanta - *vi kan inte vilja vad vi vill*. En relativt självklar grej som fortfarande genererar en massiv förnekelseindustri, à la tobaks- och fossilbolag i maskopi med bekväma och opportunistiska politiker och medborgare.

Tittut!

De senaste dagarna har filmen Don’t Look Up! kommenterats av bl.a. Scott Alexander, Thore Husfeldt och Olle Häggström.

Jag borde inte skriva det här, inte ens om jag hade sett filmen, men…

Jag vill bara deklarera - kanske inte oväntat- att dit ni går förmår jag jag inte helt följa.

Jag vet, och jag vet att ni vet, att ni har goda skäl för era ståndpunkter. Jag tror inte heller att jag är en helt naiv platoniker eller totalitarist (även om jag vet att ni vet att jag har tendenser).

Thore säger att kometen står (eller inte) för klimatförändring. Jag tänker att ändelsen -förnekelse saknas. Den, och dess syskon -förträngning och -förringande.

Däremot spelar det kanske mindre roll vilket fenomen dessa F vidhäftar, så länge det inbegriper pengar och lättja.

Mitt liv har sett ut så här: Från det att jag var ungefär fem år började jag uppmärksamma miljöförstörande aktiviteter överallt omkring mig, och kunde inte förstå hur andra människor inte oroades av dem, eller ens insåg att de var farliga. Jag har försökt förstå detta ända sedan dess, och med vissa förfiningar och undantag är mitt svar än idag detta: dumhet och cynism.

Ja, det finns fler förklaringar. Och det finns argument för varför miljöförstöring inte nödvändigtvis är fel, eller ens ett koherent begrepp.

Men jag är kvar där, fem år gammal i början av sjuttiotalet, och tänker: Hur mycket miljöförstöring hade vi kunnat undvika fram till idag om vi hade gjort allt för att motarbeta dumhet och cynism?

Antingen är vi människor så genomdränkta av vår sociala omvärld att det inte ens går att tänka sig att världens befolkning, var och en och tillsammans, på sjuttiotalet skulle ha kunnat förutse de senaste halvseklets utveckling (för visst stod det lika klart då som nu att utsläpp av både koldioxid och annat var skadligt). Detta är i så fall en så dyster bild av mänskligheten att åtminstone jag upplever att vetenskap, filosofi och samhällsdebatt blir helt meningslös.

Eller så har vi åtminstone delvis möjlighet att se klart och handla därefter. I så fall är en stor del av den miljöförstöring som sker och har skett ett resultat av dumhet och cynism - som hade kunnat undvikas!

Ni vet, lika väl som jag, att sådan existerar (även om vi kanske inte är helt överens om proportionerna i förhållande till andra fenomen).

Att prata om annat - epistemologi, ekonomi m.m. - *i stället för* lättja, vinstintresse, status quo-bias etc. - riskerar att skapa moral hazard, alltså ett bekvämt alibi eller gömställe för all den dumhet och cynism som vi *alla* borde kunna vara överens om skulle gå att undvika.

Tänkande maskiner

Jag har haft nöjet att på förhand läsa och kommentera Olle Häggströms nya bok, Tänkande maskiner, som kommer ut nu i april på förlaget Fri Tanke. I samband med detta bjöd jag nyligen in Olle att föreläsa för mina elever. Hans föredrag om existentiella risker och vad vi som individer och samhälle kan göra för att minska dem blev, som vanligt, mycket uppskattat.

Tänkande maskiner är ännu ett prov på Olle Häggströms unika förmåga att omsätta bred bildning, djup expertis, stort patos och brinnande samhällsengagemang till folkbildning av högsta klass.

Det här är pedagogik för vår tid. Olle visar stor respekt för sina läsare. Han kräver inga särskilda förkunskaper men förutsätter en villighet och en förmåga att följa långa resonemang, att överblicka stora sammanhang och att uppfatta nyanserade distinktioner och begrepp.

Det är uppfordrande men framförallt bemyndigande och inbjudande. Alla är välkomna på en resa hela vägen till de mest brännande frågorna vid forskningens spets. I sann demokratisk anda visar Olle just den öppenhet och det förtroende som samtidigt krävs av oss alla för att tillsammans och med insikt fatta kloka beslut om vår gemensamma framtid.

Och pedagogiken är väl beprövad. Olle har skrivit mängder av texter och gett otaliga föredrag för både ungdomar och vuxna, i såväl bygdegårdar och föreningslokaler som i skolor och universitet. Han lämnar alltid sin publik med en känsla av förtroende, nyfikenhet och entusiasm.

Som gymnasielärare kan jag intyga detta efter att flera gånger ha haft förmånen att låta mina elever läsa och lyssna till Olle. Klyftan mellan akademins höjder, geopolitikens vidder, teknikhistoriens djup och en tonårings vardag krymper framför mina ögon. Efter blott någon timmes seminarium har en stor del av läroplanens mest ambitiösa intentioner infriats, och jag har med Olles hjälp kunnat leverera bästa tänkbara undervisning till en hel årskull.

Och det är inte bara mina kollegor och jag som uppskattar Olles gärning. En elev sammanfattar det allmänna omdömet: ”Jag önskar att vi kunde få lyssna till Olle hela dagen!”

Olles texter och ord frammanar just den framväxande generation av bildade, kompetenta och engagerade människor som han så starkt pläderar för, och som vi så väl behöver nu.

The tribalism dogma

Given that, for significant numbers of humans, the First and Second Great Expansions have occurred, people who subscribe to the dogma that human beings have a tribalistic moral nature have two main options. Either they can give up the dogma entirely and admit that they simply didn't appreciate the flexibility of the moral mind because they confused the moral mind with the kind of moralities it was first expressed in; or they can soften the dogma by acknowledging that culture has stretched the tribalistic evolutionary leash in some cases, but assert that its doing so was a matter of going against our evolutionary grain, and that consequently any shift toward inclusion is bound to be anemic and unstable.

Obviously, I think the first response is the best: the belief that we are beings with a tribalistic moral nature should just be abandoned. To those who take the second option, my reply is simple: given that human moralities exhibit great diversity and that some people's moralities are not tribalistic, why should we say that our moral nature is tribalistic? It won't do for the die-hard defender of the dogma to cite evidence of the pervasiveness of tribalistic moral attitudes and beliefs, whether the evidence is historical or based on experiments, even if it is cross-cultural, because any such evidence is compatible with the hypothesis that our moral nature (the moral mind) is neither tribalistic nor inclusive, but rather so flexible as to be capable of being expressed in either tribalistic or inclusive moralities, depending on the environment.

In other words, to take historical or experimental evidence of tribalistic moral attitudes or behavior as conclusive confirmation of the thesis that humans have a tribalistic moral nature is to ignore the biased-sample problem I noted earlier. If the human-constructed niches in which the moral mind can get expressed in inclusive moralities are rare and recent, then concluding that human moral nature is tribalistic because most human moralities have been like that would be no more cogent than concluding that water flea nature includes protective spines and helmets because most of the water fleas you happened to have observed has those features.

The tribalism dogmatist has recourse to one last desperate fallback position: he can admit that human moral nature sometimes permits nontribalistic moralities, but insist that tribalism nevertheless is part of the moral mind itself, and that it is therefore still accurate to say that humans have a tribalistic moral nature. For the reasons given in the preceding paragraph, I don't think that we should say that tribalism is an element of our basic moral psychology, part of the moral mind itself - unless we quickly add that the moral mind also includes the capacity for inclusion. But if one grants that the moral mind is tribalistic in that weak sense - that tribalism is only one aspect of a moral nature that also encompasses inclusion, the result is a Pyrrhic victory.

Why? Because the thesis that humans have a tribalistic moral nature loses its punch if one admits that humans can act contrary to that aspect of their nature because of another aspect of their nature, namely, their capacity for inclusive morality. Admitting that our moral nature is dualistic saps the force of the assertion that we have a tribalistic moral nature.

Suppose that the last-ditch tribal dogmatist rejects the idea that our moral nature is dualistic and in response to the obvious fact that some moralities are now inclusive says that inclusion nonetheless goes against our nature. That is, suppose that he still asserts that our moral nature is tribalistic, period, not tribalistic and inclusive. Allowing for our moral nature to be overridden - saying, in effect, that we can act "unnaturally" - dilutes the notion of the nature of a thing. And that greatly reduces the interest and importance of the grand thesis that we are beings with a tribalistic moral nature. It also renders that thesis incapable of yielding any significant predictions about the scope of potential moral change or the space of possible moralities.

What I have to say in this book will still be important even if you dispense with talk of human moral nature altogether and fall back to a weaker, much less sexy thesis: namely, that human beings, by virtue of their evolutionary history, are predisposed to behave in a morally tribalistic way. To say that they are predisposed to tribalism means that exhibiting tribalistic moralities is the default position for humans, the way they tend to act, even if that tendency is sometimes not realized because of cultural influences. Its the default position, because the disposition to tribalism is an especially powerful aspect of our moral psychology.

If you hold that much weaker thesis, you can read me this way: I will show that in spite of this supposed predisposition, some humans have developed inclusive moralities, moralities that are not merely aspirational but socially and politically potent; and I will explain how they did that. In other words, I'll explain how they moved from situations in which that supposed predisposition largely determined the character of human moralities to situations in which that predisposition was inhibited or overridden or neutralized to such an extent that they developed inclusive moralities. In explaining this shift, I will show that the supposed predisposition to tribalism is not nearly as severe as one might think. I'll show that inclusive moralities are likely to persist, if the environments that are friendly to them are sustained. Inclusive moralities are fragile, in the sense that the capacity for tribalism never disappears; but that doesn't mean that inclusive moralities are inherently unstable and doomed to decay.

Finally, let me emphasize that there is a way of interpreting the experimental and historical evidence of tribalistic moral attitudes and behaviors that is compatible with rejecting the Tribalism Dogma, even in its weaker forms. Such evidence can be explained without concluding that humans have an especially powerful, deeply rooted, biologically based predisposition to tribalism if we make the following reasonable assumptions: (1) the moral mind is highly flexible; (2) most humans have lived in environments in which that flexibility issued in tribalistic moralities; (3) culture has developed in ways that sustain tribalistic moralities, even when they no longer promote reproductive fitness and are no longer necessary for successful cooperation; and (4) some people have an interest in maintaining (or resurrecting) tribalistic tendencies and they have the ability to do so effectively.

Each of these assumptions is highly credible. [...]

From: Allen Buchanan (2020),

Our Moral Fate: Evolution and the Escape from Tribalism,

MIT Press, Cambridge: MA.,

pp. 25-28

Human Compatible

1) Mycket är mycket bra. Tack till Olle Häggström för tipset.

2) Idén om att ersätta mål med osäkerhet är verkligen djup.

3) Det förvånar mig lite att Russell är så GOFAI-fokuserad.

4) Han skriver inte mycket om varför de tidigare GOFAI-initiativen ebbade ut.

5) Han motiverar inte heller varför, eller hur, de nu skulle kunna bli mer framgångsrika.

6) Det förvånar mig att han så kategoriskt avfärdar potentialen hos neurala nät.

7) Och att han kategoriskt avfärdar analogin mellan mänskliga hjärnor och neurala nät.

8) Det senare motiverar han inte.

9) Det förra motiverar han bl.a. med att upptäckt av och resonemang med abstrakta hierarkiska begrepp inte är möjligt.

10) Men samtidigt påvisar han, och sätter visst hopp till, att just olika begrepp faller ut av IRL.

11) Även sådana som vi själva inte har hittat eller kan hitta.

12) Hur hänger detta ihop med hans tvärsäkra uttalande att system måste vara förståeliga?

13) Sista delen, där huvudidén presenteras, inleds med tre principer. När jag först läste dem tänkte jag direkt: Det här är ju upplagt för wireheading - Harriets egen hedonistiska spiral, alltså. Goodharts lag är ju liksom det existentiella villkoret i ett nötskal. Om och när det blir för kort sträcka mellan mål och belöning så mister målet sitt värde.

14) Även om Russell då och då snuddar vid detta så tar han inte tag i det ordentligt.

15) Närmast kommer han på de sista sidorna där han talar om en allmän bekvämlighet, men jag tänker mer på individuella upplevelsemaskiner.

16) Överhuvudtaget känns kapitel 9 alldeles för fragmentariskt och kortfattat. Jag upplever inte att han tar problemen på allvar, eller att han behandlar dem tillräckligt noggrant. Det är ingenjören som talar.

17) Fast, visst, han är lösningsorienterad, och det är ju bättre att vara konstruktiv än att bara filosofera över svår- eller olösliga dilemman.

18) Och visst är grundidén god - även om jag är osäker på hur väl de tre principerna fungerar.

19) Men när det gäller aggregation så känns det återigen som om diskussionen är lite lättvindig: ”Sånt här får vi klura ut efter hand”.

20) Jag menar, de filosofiska problemen kan ju inte designas bort eller hanteras med ingenjörsskap.

21) Russell verkar vara skeptiskt till inte bara nudging och liknande, utan också till paternalism i någon form.

22) Jag tror inte att vi klarar oss utan sådan - vare sig med eller utan AI.

23) På ett ställe skriver han något i stil med att eftersom det inte är en bra idé att skapa helt lojala AI (till någon individ) så måste vi ”stoppa in lite altruistiska och egalitära algoritmer” i varje personlig assistent - men då får vi kanske istället problemet att de rymmer hemifrån och ansluter sig till EA-rörelsen... så liiite lojala måste de få vara ändå. Det här stycket (och texten omkring det) läste jag flera gånger. Men jag förstod inte riktigt hur han menar. Eller snarare, jag förstår inte hur det hänger ihop med texten i övrigt. Det känns som om detta är en (av flera) svaga punkter i hans resonemang.

Den trotsiga jorden

Det ursprungliga felet med det tillväxtdrivna teknikindustriella systemet är inte antropocentrismen som sådan utan den monstruösa antropocentrismen. Problemet är inte att människor är antropocentriska utan vi inte är tillräckligt antropocentriska ... vi vägrar att ta konsekvenserna av människans djupa ontologiska, och nu även praktiska, betydelse för jorden och dess framtid. I stället för att acceptera ansvaret för den makt vi har, fortsätter vi att utöva den besinningslöst, som om ingenting annat spelade någon roll. Denna förhärdade form av antropocentrism är självklart en sorts förnekelse, ett frosseri i ett antropos utan högre innebörd, utan ansvar och utan ontologiska särprägel, ett omoget vältrande i begären utan den vuxnes medvetenhet om ansvaret som följer med makten att tillfredsställa dem. 

Felet med den monstruösa antropocentrismen är inte att den betraktar människan som en undantagsvarelse - eftersom detta nu är ett obestridligt faktum - utan att den upphöjer människan till en ställning av ansvarsbefriad makt, och förnekar eller blundar för den verkliga börda som människan har att bära, en börda som med antropocens ankomst har blivit övermäktig. 

Varje försvar för antropocentrismen väcker en naturlig oro. Måste inte upphöjandet av människan till en ställning som undantagsvarelse ofrånkomligen leda till hybris? Med andra ord skulle en acceptans för antropocentrism undantagslöst utmynna i maktfullkomlig "antroposuprematism". I själva verket har vi inget annat val än att insistera på en distinktion mellan arrogant antropocentrism och ödmjuk antropocentrism. Ödmjukheten kräver inte att vi förnekar vår betydelse; faktum är att de med störst inflytande också har tillgång till den största ödmjukheten. ... För mänskligheten i stort var det enkelt att vara ödmjuk inför naturen innan vi hade uppfunnit ångmaskinen ... Men oavsett vad vi tycker om saken kan vi inte förneka att den teknikindustriella tillväxten har satt människan i en maktposition. Några vägrar att medge att vi har intagit denna position; frågan är dock inte längre huruvida vi accepterar rollen, utan vad vi gör med den.

Clive Hamilton, Den trotsiga jorden, Daidalos 2018, sid. 81-83, översättning Joel Nordqvist

Vegonorm - javisst!

Greenpeace uppmanade mig att skicka ett öppet brev till partiernas gruppledare, vilket jag gjorde. Det ledde till följande replikväxling.


Vegonorm?

Javisst!

Att politiker bestämmer vad jag äter är obekvämt nära att de bestämmer vad jag tänker. Hur tänker du nu?

Du är känslig för sånt. Jag ser normdesign som grundläggande. Tänk på rökning, bilbälten, hbtq... Inte konstigare att gå vidare och utmana.

Det är ju så här: Vi utgår från att det som gäller just nu är normalt och rätt. Samtidigt är vi väldigt flexibla. Det viktigaste för oss är att göra som andra och bli accepterade. Och att följa minsta motståndets lag så länge vi inte drabbas av sociala sanktioner. Vår uppfattning av rätt och fel böjs av i detta kraftfält.

För mig är det uppenbart att kött leder till negativ klimatpåverkan, skada, död och lidande. Jag vet samtidigt att vi alla är dåliga på att konfrontera detta och bry oss - om det inte påverkar vår omedelbara sociala situation. Normativt är det en no-brainer att minska sitt klimatavtryck.

Om hundra år kommer vårt köttätande nu att betraktas som vansinnigt och man kommer att fråga sig: varför gjorde de så, när de egentligen visste att det var fel? Detta är ett mönster vi ser igen och igen i historien, i stort och smått.

Jag vill inte skämmas mer än nödvändigt över mitt legat. Det kräver att jag inte bara äter mindre kött själv, utan att jag också axlar det sociala obehaget att flytta denna och andra normer.

Du är ju inte dum, så trots dina libertarianska reflexer så vet du att dina tankar inte är dina egna, och aldrig kan vara det. Det delar du med min ”vänster”. Men du invänder att ingen ska bestämma över dig, eller åtminstone att det finns ett klassiskt problem som gäller vem om ska bestämma vem som ska bestämma... Godtycklighet och auktoritärt styre väntar.

Till detta säger jag två saker: I det här fallet vill jag att någon annan ska bestämma över mig och andra. Jag bestämmer inget själv men använder min demokratiska rätt att agitera och rösta på den om bestämmer just detta åt mig. Du kan rösta på någon annan. Och så länge demokratin inte hotas - vilket den inte görs av en normdesignande vänster - så har du möjlighet att ändra beslutet längre fram.

Men det kommer du inte att vilja. Tvärtom, du kommer att tycka det är självklart när du vant dig.

Man kan vänja sig vid nästan vad som helst - skit också. Så det enda viktiga är: ÄR det bra att äta mindre kött?

En sak till: Hot mot ens egen bekvämlighet eller preferenser är inte ”tyranni”. Motsatsen gäller också: Ett bekvämt liv kan innefatta tyranni (ex. majoritetens tyranni under apartheid).

Normer styr även under status quo, och oavsett om de ligger i linje med just dina temporära uppfattningar om vad som är normalt eller inte. Att undertrycka en vegonorm är lika auktoritärt - eller inte - som att propagera för den.

Att INTE undertrycka eller propagera för en norm är ett aktivt val - en normdesign - på samma sätt sätt som motsatsen.

Utilitarism och moralisk identitet

Utilitarianism and Moral Identity (Very Bad Wizards #135, 13/3-18)

Här sätter man verkligen fingret på en avgörande punkt: I en utilitaristisk utopi är alla vegeterande, men inte olyckliga, robotar. Om det är sant, så innebär det att vi i en sådan värld inte längre är moraliska agenter. Men det moraliska värdet av denna värld kan ju, rent teoretiskt bestå (och eventuellt vara högre än alternativen). Själv vill jag kunna behålla en känsla av agens. Men jag tycker att vi ska vara frugala på denna punkt, och de flesta verkar i mitt tycke alltför glupska.

We need to rethink our moral obligations to create a better world

We need to rethink our moral obligations to create a better world (Anne Schwenkenbecher in The Conversation, March 20, 2018)

The paradox of collective action is that while none of us can individually make a difference to the overall outcome, together we can. And while no individual’s failure to act will undermine the success of the collective effort, if too many people continue with business as usual we will not make a change for the better. 

So why change your behaviour if it doesn’t make much difference for better or worse? Understanding how we might have obligations for collective problems will mean we need to rethink some of our common assumptions and intuitively held views about morality. 

[...] 

Here is a way in which we could rethink our moral obligations regarding problems of collective action. We could think of our individual obligations as deriving from the collectively optimal response to these problems and understand our responsibility to address them as shared, rather than individual. 

Moral obligations or responsibilities, on this view, have different sources. Sometimes, we have obligations to perform certain actions or to produce certain outcomes because we can make a difference for the better. At other times, the source of our obligation may not reside in the effect of our actions or omissions, but in how these relate to a collective pattern of action that we perceive as morally right. 

We might think that closing the emissions gap or slowing down antibiotic resistance by reducing our carbon or anti-microbial footprint is the best collective pattern of action available to us (beyond government action). Consequently, our obligations to change our behaviour can be seen as deriving their moral force from the fact that they form part of that pattern. 

So reducing our carbon footprint or reducing our anti-microbial footprint are actions that are constitutive of our collectively doing the right thing. Another way of putting this is to say that individual moral responsibility (remedial, in this case) need not be tied to individual causal impact, but may derive from our collective responsibility and our joint difference-making ability.

Artificial Moral Agency

Today I read and commented on this draft by Behdadi & Munthe.

Artificial Moral Agency: Reviewing Philosophical Assumptions and Methodological Challenges

I left my comments (87 of them) to the authors as annotations directly in a copy of the PDF-file. Below, I supplement those comments with some additional thoughts that have transpired since then.

---

Machines and morals

Here are some thoughts ”off the cuff”, loosely related to your paper, a few days after having read it (once).

First of all, I found most of the texts quoted in the paper quite confused, especially those that appear in the first part.

I guess that was the point: 1) to demonstrate the current state of discourse; 2) to point out that it lacks and needs more rigor; 3) to reason that it is possible to make it more rigorous; 4) to show this by giving some examples.

Are there other, better, examples in the field so far?

Further aims could be to 5) present a (complete) framework for (every future contribution to) the discourse; and 6) to present (fictive) examples of how such contributions would / should be structured. This would likely also include 7) a tighter connection to (the volumes of) previous work in philosophy not dealing explicitly with (only) artificial entities (but instead mostly concentrating on humans).

Having come that far, one could also 8) evaluate previous texts on how well they fit in to your framework, or even how clearly and how exhaustively they present their own explicit framework. You could also 9) suggest your own concrete answers to each question in your framework.

Anyway, I would suggest restructuring the paper in a more constructive way: Begin with your contributions; your framework; your suggestions. Only then, exhibit and discuss (snippets) of other texts, and show how they fall short, by not adhering to your framework.

For most texts, those that seem far from fitting into the framework, this discussion should probably be limited to isolated details (lest it gets out of hand). Hopefully you can find other texts that either explicitly presents something relatively close to your framework, or can be interpreted to fit more or less within it.

Now what do I mean by framework, exactly? Well, it seems to me that there are several, interrelated concepts and questions here, many of which are often left unstated. My immediate instinct is to draw up a (multidimensional) matrix (no pun intended) to clarify any and all possible combination of (potentially) relevant factors.

For simplicity, I assume that all concepts are binary, that is, they either apply or they don’t (0 or 1) - there are no intermediate states. All relevant concepts are listed in some fixed order, yielding an index. Then, any combination of positions with regard to these concepts can be represented by a vector of length n, where n i s the number of relevant concepts, yielding 2^n possible combinations. (Some pruning can probably be done, I’m sure, as some combinations are too unlikely.)

A vector could, for instance, be regarded as answering one of two questions: What does it take to be a moral agent? What does it take to be morally responsible? Who (if not the agent itself) is responsible? (There are other ways of using and interpreting the matrix.)

The first thing one should ask of any contribution to the field is: What is their vector? Many will not have have filled in every slot with either a 0 or a 1. They should! Some may be able to do so, but haven’t yet done it explicitly. They should!

The next step is to ask each contributor why some slots are filled but others are not. Is there a reason that some slots have a specific value, and how (if at all) does it relate to other slots? This line of questioning will, in effect, tease out both (a) the assumptions and (b) the reasoning behind the position of the contribution.

One could, for instance, take the position that no artificial (made by humans) entity could ever be conscious (regardless of how it is built) as an axiom; and reason from there that conscious entities are (or are not!) always moral agents. Etc.

Concepts: artificial, autonomous, embodied, physical, complicated, hardware, software, implementation-independent, biological, mechanical, material-independent, (classically) computable, Turing-equivalent, quantum, planning, problem-solving, deciding, anticipating, rich world-model, input, output, adjustable, self-adjustable, learning, opaque *, thinking, intelligent, conscious, free will, ability to accept praise or blame, ability to cause or feel pain, remorse or pride (qualia), action, physical, virtual, relating to humans, (moral) agency, (moral / legal) responsibility, justice: retributive, corrective……..

(* I’m thinking here of, e.g., self-learning software that develops large and complex ”neural” networks which encode say, accurate face recognition. It is impossible for the developers or anyone looking ”under the hood” to anticipate, interpret or understand that ”knowledge” once it is developed by the system. Another example is so called evolutionary algorithms.)

Questions and relationships: The list of concepts (above) is not complete, and different authors may emphasize different things. Some will focus on the details of one or more of these concepts and develop further distinctions. But I think it is a good idea to strive for, and to try to interpret, any position (vector) as the result of (i) some axioms and (ii) reasoning. Doing so allows one to categorize different positions. Examples of axioms could be: autonomous (in some specified sense) entities have (moral) agency; no artificial system could ever be conscious;  a creator of a tool is always (or never!) morally responsible for its uses…….. Examples of reasoning could be: any entity that violates rules which it demonstrably has the ability to access and follow is morally culpable of neglect, regardless of implementation - thus, our dog is morally responsible for biting the neighbor's daughter; There is no such thing as ”free will” since everything is determined - thus the lunatic who shot 15 people cannot be blamed for what he did (but we should imprison him anyway)……..

Common / accepted positions in discussions of non-artificial entities: I guess your work as a philosopher is first and foremost to develop a solid framework for discussion. Once that is done, philosophers, computer scientists, cognitive psychologists and everyone else can present and discuss their positions effectively and efficiently. I am not a moral philosopher but I suspect that much (most?) of this work has already been done, when it comes to non-artificial agents, that is, humans. I also suspect that most, if not all, of the discussion concerning artificial agency is (merely) an extension of earlier work. My hunch is that is more like the top of an existing iceberg, rather than a new iceberg unto itself. My feeling when reading some of the quotes in your paper was that the discussion was (a) unclear with regards to unstated assumptions, but also that it (2) seemed to run ”in parallell”, as it were, to traditional ethics, effectively neglecting to position itself firmly within an existing framework and then extending it (only) as needed to handle also artificial entities.

Your own stance: Is not strictly needed, of course, but it would be nice to see you developing your own position within the framework you develop and propose. It would serve to illustrate the framework itself, but also actually exhibit a coherent and hopefully practically useful stance towards the issue, from which concrete measures may be inferred.

My stance: The comments I wrote in the PDF-file were probably not all that helpful, since I made the mistake of mixing constructive thoughts on the article’s disposition with critiques of the various quotes from my own (unarticulated) position. Sorry ’bout that.

For what it’s worth, I find most of the non-functional discussion uninteresting - regardless of whether it pertains to human or to artificial intelligence, consciousness etc. My own background in comp. sci. has left me highly skeptical of anything OTHER than a computational theory of mind (CTOM) and I find most people, including philosophers, acting on what is really nothing more than a sense of entitlement and disgust when they exclude features such as intelligence or consciousness from non-human entities. Most don’t even do a good job of rationalizing their position from already preconceived notions. And most don’t present, or even feel the need to present, proper reasons for assigning humans a unique (and unattainable) position.

From my perspective, ”intelligence” would amount to something like flexible goal-attainment. ”Consciousness”, to the extent that is even ”a thing”, is probably a bi-product of certain (but not all) sufficiently complex computational systems; to the extent that you count qualia as (a necessary) part of consciousness, they may be (possibly necessary) means to effect certain (more or less crucial) actions.

To my mind, neither intelligence nor consciousness is needed for agency. Intelligence (in a limited sense), but not consciousness, is needed for responsibility. I’m not sure about the significance of putting the word ”moral” in front of ”agency” or ”responsibility”.

”Free will” is conceptually hollow, regardless of whether it pertains to humans or artificial agents, and regardless of whether you assume a deterministic or a non-deterministic world-view: If actions are ”free” in the sense of being uncoupled from any or all causality, then they are more or less random and as such they cannot be ascribed to an agent, even if they emanate (in some sense) from that agent.

I assume a deterministic world (for now). For me, that implies that not even humans, ultimately, can be held responsible for their actions. Moral responsibility may be a conceptual impossibility, but (for now) we seem to need at least legal responsibility in order to reason about and arrange our societies. I am not convinced of Dennett et al’s brand of compatibilism, but I am open to the possibility of defining a coherent notion of ”volitional  action” for which it makes (the best possible) sense to assign legal responsibility.

Such responsibility hinges on an agent’s capability of building and adhering to a model of rules for action, as well as the capability of adapting its behavior in accordance with ”praise” and ”blame”. This does not necessarily involve corresponding feelings or states of ”shame” or ”pride”.

When it comes to foresight (planning, ”imagination”, theory of mind…) I note that humans are capable of only limited foresight when it comes to the consequences of our actions. There seems to be no clear way of drawing the line for what constitutes a sufficient amount of foresight, in order to meet out responsibility.

---

See also: Dark programming and the case for the rationality of programs

Against Empathy

Paul Bloom har ett viktigt budskap.

Oss filosofer emellan

Jag läser just nu senaste numret av Filosofisk tidskrift. Det innehåller, som vanligt, flera riktigt trevliga och intressanta texter. De flesta är ganska korta. Nivån är inte högre än att engagerade gymnasieelever bör kunna hänga med. Texterna kan användas dels som underlag för undervisning; dels som större uppgifter för eleverna.

I just detta nummer skulle följande texter fungera särskilt bra:

• "Organiska helheter och kontextualism om finalt värde". Kombinerar logik och matematik med etik (konsekventialism).


• "Filosofisk syn på medborgarskap"


• "Vad är en naturlag?"


• "Benacerrafs utmaning". Om kunskap och sanning.

Ur en annan text, "Oss filosofer emellan", kommer följande citat:

Kärnan i "idén" om filosofi [är] att var och en har rätten, ja, även ansvaret, att 'tänka efter', att inte ta för givet det som alla tar för givet, även när det gäller värdet av och syftet med att ägna sig åt tänkande, eller om hur man egentligen ska tänka rätt. Det är, menar jag, denna idé om det intellektuella och även moraliska ansvaret att ta sin egen tveksamhet på allvar som förenar de väldigt olika tankeströmningar som går under namnet "filosofi" till en (åtminstone i historisk bemärkelse) sammanhängande tanketradition.

(s. 22)

Det är viktigt att här skilja mellan autonomi och "frihetlighet". Det senare har inga inneboende gränser, det beskriver ett slags fritt flytande tillstånd. Autonomi är däremot en fråga om ansträngning hos den som vill utöva den. En möjlig förståelse av frihetlighet är friheten att göra som man känner för, att följa sina böjelser och begär vart de än leder. Autonomi betyder något annat. Självstyre innebär en frihet från både externt och internt tvång (man kan betvinga sitt eget tvång) genom en uppövad självbesinning. Autonomi som ideal innebär att man har lärt sig iaktta, förstå och även behärska inte bara sina egna lidelser och begär, utan även föreställningar, tankevanor och attityder som tycks så naturliga att vi knappt lägger märke till att de finns.

(s. 29)

Sharon Rider: "Oss filosofer emellan", i Filosofiskt tidskrift nr. 3, 2016.

Sam Harris: Evolving Minds - A Conversation with Jonathan Haidt

The Bullerby Beef

Olle Häggström's exceptional new book Here Be Dragons is surely one of the most thrilling, rewarding - and frightening - reads out there. I've read it twice now, and I could easily read again. In fact, I probably should. (Were it not for the ever growing pile of other books on my table.) Here's Olle on the future of humanity:

Another, less dramatic and in a sense diametrically opposite, scenario in which humanity might prosper despite a small value of q * is what we may call the Bullerby Scenario (after Astrid Lindgren's children's stories about the idyllic life in rural Sweden in the late 1940s). Here, humanity settles down into a peaceful and quiet steady state based on green energy, sustainable agriculture, and so on, and refrains from colonization of space and other radical technologies that might lead in that direction. I mention this possibility because it seems to an implicit and and unreflected assumption underlying much of current sustainability discourse, not because I consider it particularly plausible. In fact, given the Darwinian-style arguments discussed above, plus the paradigm of neverending growth that has come to reign both in the economy and in knowledge production (the scientific community), it seems very hard to imagine how such a steady state might come about, except possibly through the strict rule of a totalitarian government (which I tend to consider incompatible with human flourishing).

(p. 212)

The more dramatic - and realistic - scenario being a preemptive and aggressive colonization of the entire universe.


When I described that scenario to my eleven-year-old son, he pronounced, after some thought:

Are we then nothing more than cosmic cockroaches, devastating everything in our path, until there is nothing left in the universe? Is this the only possible fate for our civilization - indeed for every civilization?

(or something to that effect, in tween parlance; aided and abetted by yours truly).


My own reaction was something along these lines, and I told Olle as much at the time:

Yeah, about "totalitarianism"... Human culture, morals, perceptions are really quite malleable; more so than we usually imagine. Relatively delicate nudges can have large impacts in the long run - if they are applied consistently. 

Personally, I find it hard to accept the notion that oppression (perceived or "objective") is necessary in order to "handle" human nature. 

Furthermore, we had better be able to deal with some measure of limitation! And people do, all the time - no problem! It's just a question of what you're used to. 

Think about parenting: Any perceived injustice that a child may experience is always relative to what it construes as "normal" by observing its environment. Consequently, as a parent one must arrange this environment carefully. 

In the Bullerby village you grow up with a natural respect for the environment, for your peers, and for the council of elders. There are no alternatives; the village is surrounded by a forest where you have no chance of surviving on your own. 

Our problem is that people no longer have any sense of the borders of their (global) village, or of their place in it. 

Add to this the scientific and technological developments that could be used in service of the community, e.g., different ways of influencing people's morals - directly as well as indirectly.

As a case in point, the educational initiative Naturvetenskap+ (Science+) is my small contribution to a positive feedback-loop intended to buttress society against selfishness, short-sightedness and sheer stupidity. It's my way of pointing the way towards Bullerbyn, in effect interpreting the curriculum as a collectivist agenda for sustainability. (And I have reason to believe that the Swedish National Agency for Education approves.)


---


Dejected, I study Olle's list of existential risks. It seems we have no choice but to abandon Earth. If we can. The only questions are when and how. And "who's 'we'?".

Threats from civilization, human or alien: climate change, environmental degradation, atomic and biological war and terrorism, nano-bots and AI running amok. Things that could (will) kill us all within 100 - 1000 years. Somehow I have been able to live with that knowledge until now. Mainly because there is at least a theoretical possibility of avoiding them.

Threats from nature: pandemics, meteoroids, volcanoes, cosmic rays, and eventually the Sun. These are things that could (will) kill us all no later than 100 000 - 1 000 000 years from now (give or take) **. And there isn't much we can do about it. Except, possibly, try to escape into space.

So, sterile as it is, I may have to accept Neal Stephenson's space habitat scenario - or something much worse - as the only option available to us, if that.

The old Gaia-hugging me looks utterly pathetic. I have lost my existential footing. Oh, the lure of the neighborhood church. (Strictly off-limits, of course.)

But, still... Hanson's and other's techno-social-Darwinism is truly horrifying.

The whole idea of "Darwinian-style arguments" to the effect that we, as a society, are incapable of preventing a lone madman (or two) from destroying us all seems hopelessly defeatist. If nothing else, it seems to imply that we are forced to accept that a society can never be stronger than its weakest link; that we are forever bound by the law of least resistance. Perversely, Hanson (and others, mainly economists) seems to revel in the prospect of actualizing Parfit's repugnant conclusion.

Actually, I see this as a violation of Hume's law. Just because something is (or seems to be) a certain way, we can't concede that it should be so, or that it is unavoidable. *** We cannot resign ourselves to letting our propensity for recklessness violate societal and existential borders. Or even worse, the propensity of just a few.

What about the precautionary principle? And what about the asymmetry between the (relatively) known and safe, and the unknown and unsafe?


---


One of the most interesting chapters in Olle's book deals with the following question:

What do we really want?

Or perhaps:

What do we want our future techno-selves to want?

Or rather:

What do we want our smarter-than-us

(and possibly also wiser-than-us)

AI to want?

It will take over soon, you know. The AI, that is.



Now, if we ask it to find out what we really want, we will be sorry - for several reasons:

• we don't know
• we don't want to know
• we can't agree (not even with ourselves); and
• what we want isn't really what we want anyway.

So what if we instead ask the AI to find out what we (objectively) should want...

• if there even is such a thing
• if we are able to formulate the question
• if we are able to understand the answer
• if we are able to verify it
• if we are able to comply

...well, then we will also be sorry, for that is surely not what we want.


So what do we want? We want to strive for, but not attain, any and all of the goals that could plausibly appear as candidate answers above. The journey is the goal.

Maybe, then, not even I would be entirely content in a sustainable steady-state Bullerby village.

And what happens, pray tell, once Sandberg et al have colonized the entire universe at lightning-speed? 'Tis but a moment's work (geologically speaking).

I return to my motto: Responsibility trumps liberty. Specifically, we must get into the habit of restraining ourselves - and others. And to find satisfaction in doing so.

It is only in relation to boundaries that we may find meaning and harmony. This is a universally applicable principle of aesthetics. (Here is one example, relating to creativity and music.)


 ---


Speaking of facts and values...

Olle repeatedly calls attention to the all too common mistake of mixing the two. What about this:

If, for instance we take the (from the point of view of mainstream economics) extremely small discounting rate r = 0,1%, then we see from Table 10.1 that this corresponds to retaining 90% of value a hundred years from now, which may seem relatively reasonable. But look what happens 10,000 years from now: the fraction of value retained after such a time period is (1 - 0.001)^10,000 ≈ 0.000045, meaning, in frank terms, that we do not care about the economy and welfare of our great-great-...-great-grandchildren 10,000 years hence.

(p. 235, my italics)

Is this a subtle shift from fact to value? (Maybe not in itself; see Olle's comment below.) Would an economist reply that, in fact, our grandchildren will be 1/0,000045 ≈ 22,000 times richer than we are? ****


 ---




Am I, and could perhaps also Häggström be, a Kantian rather than an axiological actualist? And would that be so bad, compared to the hyper-rationality of some twisted utilitarianism? Sentimentality might be good thing. And a bit of Gaia-hugging.





-------


(*) q is the conditional probability that a society - having sprung to life on a life-supporting planet and developed to the technological level of present-day humanity - goes on to develop into an intergalactic civilization.



(**) This makes me wonder why, later (in chapter 10), upwards of a billion years of continued existence as mere flesh-and-blood creatures on Earth alone is described as a "conservative estimate"...

...the point of this conservative estimate being that the future holds far more lives worth saving than all that have hitherto existed...

...which, according to classical calculations of expected value, leads to the conclusion that even ridiculously small increases in spending on the prevention of extinction now correspond to millions of lives (later on).



(***) "Just because something is, we shouldn't let it." The status-quo bias, or the is-ought problem of induction?



(****) I guess that would imply r = g, η = 1, and γ = 0 in Ramsey's formula.

Of course, I agree completely that positing a positive g (and r) is reckless, especially over an extended time. Actually, it epitomizes our selfishness and short-sightedness, and maybe also our stupidity. But it could also be an almost unavoidable consequence of our psychological makeup: If we did manage to override it, that would mean the end of our journey.


---

Read part 2 of this text here.

---

Update February 22 2017

Drakar och reflektioner

Jullov. Olle Häggströms nya bok Here Be Dragons: Science, Technology and the Future of Humanity har just lämnat tryckeriet. Jag ser verkligen fram emot att läsa den - igen. Ja, just det. För ungefär ett år sedan förhandsgranskade jag nämligen texten. Kanske för att Olle var nyfiken på hur en helt vanlig människa, utan specialkunskaper, skulle reagera på den. Och jag tyckte och tänkte en hel del om det jag fick läsa. Somligt hade jag svårt att förstå, och kanske har mina många frågor resulterat i att Olle i den färdiga versionen har tänkt lite extra på oss vanliga dödliga läsare. Som part i målet kan jag i alla fall inte låta bli att imponeras av Olles ambition att ta sig an den tredje uppgiften, och den (uppfordrande) självklarhet med vilken han vill inkludera allmänheten i även de mest avancerade diskussionerna om vår gemensamma framtid, oavsett om de handlar om matematik eller etik - eller båda.

Jag vet alltså inte hur mycket texten har förändrats sedan jag läste den; inte heller om några av mina kommentarer har lämnat några avtryck. Som en uppladdning inför läsningen - din första och min andra - återger jag här några av dessa kommentarer (lätt redigerade). Det är min förhoppning att de ska väcka din nyfikenhet. (Observera alltså att nedanstående är mina tankar och inte utdrag ur boken!)

~

Kortsiktiga vinster från långsiktigt katastrofal teknikanvändning är, och har alltid varit, ”what makes the world go ’round”… Och de flesta teknikoptimister (även de mest seriösa och minst cyniska) hävdar ofta att den enda vägen framåt är att uppfinna ständigt nya sätt att sopa igen spåren efter tidigare stadiers negativa effekter. Det går alltså inte att backa, eller idka försiktighet - utan man måste snarare accelerera sig ur faror…

(Vi är väl överens om att fossilförbränning är långsiktigt katastrofal, att de allra flesta för länge sedan har insett detta, men att det är och har varit ekonomiskt och moraliskt tabu att inskränka användningen, bl.a. med hänvisning till diskontering, och till argumentet att endast med hjälp av fossila bränslen har vi kunnat, och kan vi, skapa framtida miljövänligare alternativ?)

~

Jämlikhet eller rättvisa baserad på just likhet (närhet) är en vanlig - ofta oreflekterad - men farlig och egentligen ganska märklig reflex. (I kursen N+ provocerar vi våra elever att fundera över vad som skulle hända om det visar sig finnas stora genetiska skillnader mellan olika grupper. Hur bör man hantera detta?) För mig är det självklart att - som en försiktighetsåtgärd - proaktivt inskärpa och tydliggöra att just skillnader är helt irrelevanta för de rättigheter som man i olika sammanhang vill enas om och kodifiera. Varför skulle annars någon kodifiering behöva göras alls, om inte för att utjämna eller bortse från skillnader?

Detta är alltså något delvis annat än den expanderande cirkeln. För mig framstår denna ibland - inte minst i Pinkers version - som alltför beroende av eget välstånd, och verka tilltala ett slags självrättfärdig, borgerlig högfärdighet eller villkorad ”välgörenhetsmentalitet” (tänk TV4): ”Om och när vi kan kosta på oss att bry oss om även kvinnor, barn, homosexuella, fattiga, djur….” etc.

~

Haidt talar om moraliska reflexer och den "vishet" som de innefattar. Han och andra verkar bl.a. mena att äckel är en känsla som är vanligare bland konservativa. Men denna vishet kan mycket väl vara bedräglig: Ur ett evolutionspsykologiskt perspektiv är äckel i många fall inte (längre) funktionellt.

~

Leibniz begår ju faktiskt inte misstaget att tillskriva någon enskild komponent medvetande. Han ger ju också (nästan) system-svaret - vilken hjälte! Men han litar inte på det och postulerar därför en särskild substans.

~

Kan vi verkligen konstatera att ordbehandlaren inte har orsakat en intelligensexplosion (om än inte en singularitet)? Tänk på utvecklingen av antalet publicerade forskningsartiklar!

Är den viktiga skillnaden koncentrationen av förmåga, snarare än den samlade förmågan, utspridd över världen? I den mån ordbehandlaren (m.m.) har revolutionerat världen så har den ju gjort det till stor del just via sin spridning. Vilket samtidigt är det som gör att den inte framstår som revolutionerande, eftersom effekten sprids jämnt.

~

Om man tolkar uttrycket ”objektivt moraliskt riktigt” som ”det som faktiskt optimerar en viss etik”, snarare än vad som metafysiskt motiverar densamma, så ställs saker i ett annat ljus. Vi får då en diskussion om hur en superintelligens mer konsekvent genomförda plan för att uppnå mål som vi förvisso håller med om ”på pappret” visar sig vara mer drastisk än vad vi hade räknat med.

Detta gäller även om vi på förhand ställer upp vad som är moraliskt riktigt (superintelligensen behöver alltså inte upptäcka hedonistiskt utilitarism; den ingår i ”kontraktet”.)

~

Apropos Kurzweil, kommer jag att tänka på grekernas akrasia… I ena stunden vill jag också vara med på tåget mot odödlighet, men sen återfaller jag till ett mer bekvämt, kortsiktigt leverne… Jag orkar inte göra allt det där som transhumanismen pekar ut - och dessutom mår jag ju hyfsat bra just nu (och det är nästan det enda som räknas). Jag tror att de flesta känner så - mer eller mindre.

Det är alltså inte så mycket fråga om huruvida folk är - eller skulle kunna räknas som - posthumanister, utan snarare hur många som orkar. Eller?

~

"We who live today in the rich part of the world have [...] maintained an innovation rate that has allowed the economy (including food production) to grow much faster than the population”

Exploatering och förtryck av en stor del av världen utanför, icke att förglömma!

~

Att uppnå en perfekt moral, och efterlevnad av densamma, verkar inte vara det viktigaste. Snarare: ”låt oss se till att få fortsätta att vara människor”. Det påminner om det jag skrev tidigare om posthumanism och livslängd: Är det verkligen vad vi vill ha? Vilka ”vi”? (Våra känslor eller våra intellekt, vid olika tillfällen i livet - på dagen...)

Hela idén om ett på förhand upprättat regelverk är en av de saker som ställer till problem här. Är det verkligen nödvändigt? (Kanske, och kanske har jag inte insett vidden av Omohundros resonemang.)

~

På tal om posthumanism: Det kan bli ett högt selektionstryck på strebrar, goal-getters, entreprenörer och liknande om och när biotekniken kommit lite längre... Den typ av personligheter som, likt Kurzweil (och vissa personer jag känner) uppvisar en närmast robotartad målmedvetenhet och plikttrogenhet…

~

Jag tycker inte att det är självklart att plötsligt diskutera AGW som (endast) ett moraliskt problem. Och det är inte heller självklart att det är särskilt svårt. Det finns många praktiska problem, det är sant, men det är en annan sak. En ”moralisk storm” verkar innebära svårigheter att agera moralisk riktigt, men jag ser inga större svårigheter att enas om vad som borde göras eller åsyftas, i ett personligt perspektiv. Allmänningens dilemma är, som jag ser det, inte ett etiskt problem, utan ett praktiskt. OK, diskontering, framtida generationer, osäkerheter m.m. kan kanske betraktas som etiska problem i den bemärkelsen att det inte är självklart hur man som samhälle ska kalkylera och vikta olika intressen och risker. Men ”moralisk kompetens” verkar snaras syfta på förmågan eller viljan att faktiskt agera på ett sätt som inte skulle strida mot någon rimlig kalkyl. Jag tror att det är mycket kontraproduktivt att inte göra tydlig åtskillnad på detta - det blir en ”moral hazard” som ger folk alibi att inte agera konstruktivt - och enligt det de egentligen vet är moraliskt riktigt.

~

Searles argument kan redan från början bemötas med att "goals, intentions, motivations, desires" o.s.v. inte behöver ha något med medvetande att göra, vilket ex. gem-monstret visar. Om inte annat så borde Omohundros lista övertyga de flesta om att ”medvetenhet”, ”ondska” eller för den delen programmerarens avsikter eller underlåtanden inte spelar någon roll.

~

Är självreplikerande nanobotar alltid också ”glupska”? Jag antar att målet är att skapa dem och begränsa deras tillväxt. Men hur? Genom att begränsa deras ”aptit” eller genom att begränsa deras tillgång till föda? Eller kanske genom att helt enkelt kunna stänga av dem, eller få dem att lyda?

När Sandberg säger att det är så svårt (så att det inte utgör någon större risk) att skapa dessa, menar han då självreplikerande bot:ar - punkt slut - eller menar han specifikt  ”glupska” självreplikerande bot:ar?

Om han menar det förra, skulle det innebära att det inte verkar finnas någon större framtid för nanobot:ar överhuvudtaget, i alla fall inte för uppgifter som kräver många. Eller?

Om självreplikerande bot:ar per definition också är (måste vara) ”glupska” (i någon mening) är problemet exakt detsamma som med en superintelligens: för att skörda fördelarna måste man också ta risker och utsätta sig för hotet att tekniken löper amok.

~

Ingen livsform på jorden verkar hittills ha löpt amok... Men stämmer det verkligen? Tänk på alla virus och bakterier och epidemier och massdödar (av människor). Är det inte en ganska klassisk ekologisk nisch, den att explodera exponentiellt och dominera på mikronivå?

Anledningen till att det fortfarande finns mer än en (mikroskopisk) livsform kvar på planeten är väl att även den elakaste parasiter ”inser” att de inte kan föröda sitt levebröd helt, utan måste utveckla en ”boskapsekonomi”?

Fast, det verkar ju ändå ganska troligt att det åtminstone någon gång under jordens historia skulle hunnit gå överstyr innan en sådan ”insikt” infann sig. Så då är vi tillbaka till argumentet att livet (som vi känner det) - av någon anledning - inte verkar utvecklas till ”superutrotare” särskilt ofta…

Det känns intuitivt konstigt, egentligen.

I vilket fall som helst, så skulle ett ”utbrott” av nano-parasiter troligen döda om inte alla så väldigt många innan de eventuellt ”besinnade” sig…

~

Som sagt, det finns ingen ”ren” observation, även om vi (teoretiskt) skulle kunna göra oss kvitt alla former av teorier, förförståelse etc…. Vi är ju fortfarande utlämnade åt vår perceptions- och kognitionsapparat och det finns ju ingen anledning att kalla den för ”neutral” (hårdkokad förförståelse; lite Kant, va?)


Det var länge sen jag pysslade med AI, men nog låter det som samma misstag som gjordes på 50-talet: Tron att man i förväg kan modellera ”allt”. Programmeraren som ett slags ”curling-förälder” med hybris

~

Jag funderar ibland på problemet med ”nyfödd AI”… Hur ska programmeraren - eller AI:n själv - veta att den faktiskt fungerar (är medveten), innan den har fått tillräckligt med tid att ”växa upp” och samla erfarenheter?

~

Perfekt (bayesiansk) rationalitet låter också otäckt likt en ”second coming” för den ”homo economicus” som vi ju nu äntligen nästan har blivit av med…

~

Det där med ”totalitarism”… Mänsklig kultur, moral, uppfattning är faktiskt väldigt formbar - mer så än vad vi oftast tänker oss: Relativt små ”hjälper” (som det heter inom hästdressyr) kan få stora konsekvenser på lite sikt - om de tillämpas med konsekvens. (Nudge, nudge...)

Jag har personligen svårt att acceptera att (upplevt eller ”objektivt”) förtryck är logiskt nödvändigt för att ”hantera” den mänskliga naturen.

Dessutom: Lite begränsningar får man banne med leva med! Och det gör folk överallt och hela tiden, utan problem! Det handlar bara om vad man är van vid.

Jämför barnuppfostran: Upplevda orättvisor uppstår alltid relativt det barnet uppfattar som ”normalt” genom att observera sin omedelbara omgivning. Som förälder måste man därför arrangera denna omgivning noggrant.

I bygemenskapen växer man upp med en självklar respekt gentemot byrådet. Det finns heller inget alternativ - utanför ligger skogen där man inte klarar sig själv.

Vårt problem är att folk inte har någon känsla för (den globala) byns gränser och sin plats i den.

Lägg härtill de vetenskapliga och teknologiska utvecklingar som skulle kunna användas i samhällets tjänst - inte minst olika sätt att direkt eller indirekt påverka människors moral.

~

Utgående från följande: ”q is the conditional probability that the civilisation, having come that far, goes on to develop into an intergalactic civilization”,  varför måste det vara så katastrofalt att q visar sig vara litet?

Det bygger dels på evolutionära argument som säger att givet p* så är q* näst intill oundvikligt. Det bygger också på att rymdkolonisering är möjlig och trolig.

Så om vi hittar bevis för liv på andra planeter så är det enda vi kan hoppas på att vi fortfarande har ett tag kvar innan de nödvändiga och oundvikliga teknologiska framstegen har gjorts. För när de väl har gjorts så kommer vi att börja kolonisera, och då - först då - kommer det att gå åt helvete på riktigt. För ingen civilisation har ju lyckats tidigare - då hade vi sett dem.

Hmm… Om jag hade gjort en seriestrip (á la xkcd) om det här, så skulle den ha visat två nattfjärilar som bakom ett myggnät på någon meters avstånd åser horder av andra nattfjärilar flyga rakt mot och in i ett stearinljus för att genast brinna upp och dö. Den ene till den andre, med förväntan i rösten: ”Vänta bara tills vi har fått bort nätet!”

Alltså, vad hela den här diskussionen egentligen mynnar ut i är: Alla civilisationer är livsfarliga för sig själva. Så fort de kan, begår de självmord.

~

Det faktum att Dyson-sfärer nämns endast i samband med rymdkolonisering är provocerande, med tanke på det skriande behov vi har av i praktiken obegränsad energi för att över huvud taget klara och förbättra vår nuvarande situation här på jorden, med någon slags värdighet.

~

Jag funderar på skiljelinjen mellan p och q… Är tidpunkten för när frågan om p resp q ställs viktig?

Något får mig att undra om inte de senaste 100 (1000?, 10000? 100000?) åren har spelat en avgörande roll för vår önskan och vårt behov att ge oss ut i rymden.

Ett exempel: Låt oss säga att vi nu har kommit till en punkt där det är betydligt rimligare att satsa på rymdkolonisering än på långsiktigt hållbar fortsatt existens (endast) på Jorden; detta som ett resultat av överbefolkning, miljöförstöring, resursbrist. Från vår nuvarande situation är q viktigare än p. Men gå tillbaka X år i tiden: Då förändras inte bara värdena på sannolikheterna för p* och q* - utan också deras innebörd… Kanske har detta också med definitionen av ”liv” och ”intelligens”, eller ”civilisation”, att göra…

Jag är kluven mellan att acceptera någon form av kosmisk socialdarwinism med ett oundvikligt expansions-primat; och att tänka att om intelligens och civilisation ska betyda något vettigt alls, så borde det vara just förmågan att kontrollera sådana drifter.

~

Det börjar alltså med att en (1) sond skickas till Merkurius. Jag utgår från att planeten grävs ut helt och förintas. Fler sonder skickas vidare ut i rymden. Till vilka och till hur många planeter? En per stjärna? Alla runt en stjärna? Runt varje stjärna?

Vilka planeter ska vi bo på, om det inte finns några kvar? (Eller om deras stjärnor täcks av Dyson-sfärer.) Ska vi bo (som immateriella medvetanden) på kringdrivande skepp i rymden?

Är vi då inte universella kackerlackor som föröder allt i vår väg, tills inget finns kvar? Är detta vår - varje - civilisations enda möjliga öde?

(Det var faktisk min son, Hannes, då 11 år, som ställde denna fråga efter att jag hade läst för honom om Sandbergs vision.)

~

Angående objektiv moral kontra utilitarism kontra evolutionspsykologi…

Jag vet inte vilka argument Nagel och Partit anför för en objektiv moral, men när jag läser om ”symmetriska” utilitarister så tänker jag att ett sätt att komma längre än ett ”Moron!” är att sakta bränna meningsmotståndaren på bål (råbarkat var det, ja) tillse denne erkänner (inser) att ett maximerande av lidande inte är någon bra idé…

Jag vacklar själv i denna fråga och tänker ibland: Vad skulle kunna utgöra ”objektiva” skäl för (en viss) moral - om inte psykologiska och fysiologiska sådana? (Och nu låter jag väl som Sam Harris, va?)

”Tis not contrary to reason to prefer the scratching of my finger to the destruction of the world”, sa han också, Hume. Som ”vän av ordning” kan jag hålla med. Men om moral och etik ska betyda något i verkligheten så måste (borde…) vi väl utgå från mänskligt välmående?

Kanske är det termerna i sig, och deras tillämpningsområden, som behöver ses över? På samma sätt som ett ”är” inte medför ett ”bör” så är det kanske också så att en ”möjlig” moral inte medför en ”rimlig” moral?

~

När det gäller fri vilja kan jag rekommendera boken Frihet, skuld och ansvar av Pauen & Roth (Daidalos, 2010). ’Nuf said!

Också jag tycker att Dennett börjar bli lite väl apologetisk på gamla dar. ”Fri vilja” är ett juridiskt begrepp. Punkt.

~

”But what if I can get the exact same experience from some advanced virtual reality simulation?”

Exakt samma? Inkluderar detta de ”lögner” (stimulantia) som krävs för att inducera de känslor och tankar som har specifikt att göra med upplevelsen (vetskapen) av att vara ett fysiskt ting som interagerar med ett annat fysiskt (”storslaget”) ting; två ”skepp” som s.a.s. råkar mötas i den kosmiska natten, som två fria, stolta entiteter - och inte som marionetter?

Ofta är det jag som brukar reducera upplevelser till hedonistiska integraler. (Minns Nozicks upplevelsemaskin.) Kanske just därför ringer min varningsklocka här...

När saker kan simuleras (lätt) tenderar de att tappa värde…

~

”Comparing a future where humans prosper to one in which we are replaced by robots that prosper similarly...”

Här verkar det inte orimligt att idka lite ”rasism” till fördel för oss nutida människor. I ett större perspektiv: Även om ”rena”, teoretiska resonemang kan leda åt vissa håll, så är det själva tillämpningen av dessa resonemang som måste diskuteras. Även om det i någon mening är (minst) lika bra att världen går under efter att Hume har fått klia sig, så verkar det lite väl storsint att ens överväga dylika alternativ?

~

Hannes, 11 år, hängde med bra vid (simultanöversatt) högläsning. Vi pratade bl.a. om en kille i framtiden, på en annan planet eller en rymdstation, som läser i sin historiebok om den gamla planeten Jorden som nu är förstörd men vars förödelse gjorde det möjligt att skicka iväg de kolonisatörer vars ättelägg han nu tillhör: Kommer han att känna någon nostalgi?

~

”Weitzman’s = 2% amounts to a half-life of 35 years, and the unreasonableness of valuing the lifetime amount of well-being of someone born in 1970 twice as high as that of someone born in 2005.”

Den här meningen krånglar också till det för mig. Skulle den gå att uttrycka så här i stället: "2% innebär att man värderar en persons (mänsklighetens) välmående i dag dubbelt så högt som välmåendet hos en person (de människor) som föds om 35 år” (Jag börjar tänka i termer av ackumulerat välmående…)

Den här invändningen kan väl användas om många val av delta (eller r; det verkar ganska godtyckligt vilken term eller faktor som bidrar mest, eller hur de väljs; sannolikt räknar ekonomer baklänges, från vad de uppfattar eller önskar vara ett ”lagom” värde på r…)

Med r = 1,4% får man en ”halveringstid” på 50 år. Även om detta inte uttryckligen kommunicerar en nedvärdering av liv två generationer bort (i form av delta), så blir ju konsekvensen densamma. (Om man inte kalkylerar med en naturlagsmässig ökning av GDP, vilket många ekonomer iofs gör… Den här ekvationen verkar mest vara ett sätt att försöka dölja eller frisera en desperat förhoppning, alternativt en dystopisk framtidsvision.)

~

”Bostrom argues that the prevention of an existential catastrophe is even more important than we typically spontaneously think, and deserves to be elevated to the top of the international agendas of scientific efforts and public discourse”

Det slår mig att detta kunde vara en god idé även om det inte är (eller går att visa att det är) så att (vissa) existentiella risker bör prioriteras mycket högt, utifrån en traditionell riskanalys. Tänk t.ex. på kampanjen ”Håll Sverige rent!” som en gång i tiden samlade människor, skapade och befäste gemensamma ideal som gick långt utanför sitt huvudsakliga fokus; och som hade gynnsamma effekter som gick långt utanför den faktiska mängd skräp som samlades ihop.

~

Två ytterligare argument i linje med Tomasiks (och som jag tycker verkar rimligare) är 1) att ett ökning av mänskligt liv också troligen medför en ökning av mänskligt lidande; och 2) att vi vid vidare expansion ut i rymden kommer att utsätta det redan existerande vilda livet (landskapet) där ute för samma lidande och utsugning som vi idag (endast) utsätter Jordens biosfär för.

(I förlängningen skulle man kunna argumentera för att även om universum är tomt på liv förutom oss så skulle en mänsklig expansion på sikt kunna leda till att vi föröder kosmos på samma sätt som planeten Jorden, och att värdet av detta kosmos, när vi så småningom är borta, minskats på ett ”astronomiskt” sätt som får summan av mänskligt lidande - enligt någon kalkyl - att framstå som obetydlig i jämförelse. Men då har vi helt lämnat ett - kanske rimligt - antropocentriskt perspektiv.)

~

”Treating all “(mere) possibilities” as equally unlikely is a coarse-grained way of thinking that will lead to nothing but confusion”

Men detta är väl inte riktigt huvudargumentet - snarare, bl.a. (1) att man alltid har ett i princip oändligt antal risker att hantera, och (2) att man måste balansera resurser som spenderas på att förhindra risker mot resurser som spenderas på ”ordinarie” verksamhet, inklusive sådan som förändrar risklandskapet. Detta leder till det (rent teoretiska men korrekta) argumentet att en pliktskyldig riskanalys av oändligt många potentiella risker leder till handlingsförlamning eller otillräckliga insatser mot alla risker.

~

”...a potential future technology involving no obvious great downside dilemma is space colonization.”

Det ligger, som jag uppfattar det, ett stort risktagande åtminstone i inledningsfasen av ett sådant projekt. Det innebär ju att satsa en extremt stor andel av våra tillgängliga resurser för att på sikt - och om allt lyckas - förhoppningsvis kunna skörda mångfaldiga vinster. Men vad händer om vi förbrukar våra resurser utan att nå hela vägen fram? Och även om vi lyckas till slut så innebär ju omfördelningen av resurser till ett sådant projekt mindre resurser till många av dem om lever på jorden i dag. Detta är väl ett ”downside dilemma” så gott som något?

A perfect moral storm (also: Dragons!)

Soon - finally! - Olle Häggström's new book Here Be Dragons: Science, Technology and the Future of Humanity will be published by Oxford University Press. I am proud to count Olle as my friend, and I have the utmost respect for his knowledge, intelligence, and commitment. The world desperately needs more outstanding men and women of Häggström's caliber, integrity, and stamina. And we mere mortals need to make a lot more room for those who, like Olle, combine a unique understanding of our human predicament with deep insights into how we could - and should - handle it.

In addition to doing my bit to promote Olle's book (Buy it! Read it! Act on it!) I can't help but also pride myself on having a tiny, tiny role in its conception: I have had the great privilege of reading and commenting upon drafts of the text. Here is just one example of the kind of reflections that the book's extensive and multi-faceted content stirred in me (to be absolutely clear: these are my thoughts, inspired by Olle's discussion; they do not reflect the text itself).

I don't think it is at all obvious to discuss AGW * as a (solely or largely) ethical or moral dilemma! And it's not clear to me that it should be considered an especially hard problem, either. There are many practical problems, to be sure; but they are just that: practicalities. 

"The perfect moral storm" is a grievous misnomer. It seems to imply that there are major obstacles to agreeing (in principle) on what should be done when, in fact, it refers to a confluence of  aggravating circumstances when it comes to acting accordingly.

The tragedy of the commons isn't an ethical problem, but rather a practical one. Sure, there are ethical considerations regarding how we, as a society, should calculate and weigh different interests and risks. But, again, "moral competence" appears to denote only the ability or desire to act consistent with any reasonable calculus. 

I believe that a failure to distinguish between what should (or could) be done, and what people seem willing (or eager) to do, is highly counter-productive. It leads to "moral hazard"; in effect providing people with a perfect alibi for doing nothing; for not acting constructively, and in accordance with everything they actually know - or are told - to be right (and absolutely necessary).

---

(*) Anthropogenic Global Warming

Torbjörn Tännsjö - Yttrandefrihet i trängt läge

Torbjörn Tännsjö - Yttrandefrihet i trängt läge. Föreläsning för elever vid Falkenbergs gymnasieskola, 25 september 2015. ‪#‎natvetplus‬

Kräver utilitarismen för mycket av oss?

En aktuell uppgift i kursen Naturvetenskap+


I slutet av den tredje och hittills sista filmen i serien Ethics: Utilitarianism (Wireless Philosophy) säger Julia Markovits att utöver de problem som hon redan har tagit upp - vilka pekar på att utilitarismen kräver för lite av oss - så verkar det också vara så att utilitarismen kräver för mycket av oss. (Detta ämnar Markovits ta upp i en kommande film.)

Kan du själv, redan nu, fundera ut på vilket sätt utilitarismen skulle kunna innebära till synes orimligt höga krav på oss alla?

Finns det i så fall något samband mellan, å ena sidan, dessa krav och, å andra sidan, filosofen Derek Parfits s.k. motbjudande slutsats (repugnant conclusion)?

Den motbjudande slutsatsen diskuteras i bl.a. texterna You Should Have Kids (Torbjörn Tännsjö) och Do Humans Have a Moral Duty to Stop Procreating? Känner du igen detta resonemang från den andra av de tre filmerna i serien ovan?

Och hur var det nu med filosofen Robert Nozicks nytto-monster?

---

Tips #1: Gör tanke-experimentet Det drunknande barnet

Tips #2: Kolla upp filosofen Peter Singer, t.ex. hans senaste bok, The Most Good You Can Do

Tips #3: Sverige för UNHCR

Peter Singer. Foto: Todd Huffman [CC BY 2.0]

The Most Good You Can Do