Rekviem

En inte särskilt originell memetisk analys av rekviet, med anledning av allhelgonahelgen: 

Klassisk psykopatisk hjärntvätt.

Jaså, du är ledsen över att en närstående har dött? Du mår dåligt? Det gör riktigt ont? Bra! Det ska det göra. Det ska svida som fan. Det är ett lidande du sannerligen har förtjänat. Du har varit stygg, och din ånger är ett meningslöst hyckleri. Du är ond, helt igenom. Förtappad. Avskyvärd. Du har inte ens förstånd att inse din egen uselhet, än mindre en genuin vilja att konfrontera den.

Så du ska lida. För allt du gjort, för din härkomst och existens. För allt du är och för allt du kommer att göra. För dina usla ätteläggars framtida synder, avlade ur din synd, din obotliga synd.

Är du ledsen? Såja. Kom till pappa.

Vet du, om du är riktigt snäll så ska jag lindra dina samvetskval lite. Så att du kan vila en liten stund.

Du är inte den enda syndaren. Om du kryper för mig riktigt duktigt så vänder jag min vrede mot någon annan ett tag, och du får njuta av att en frände tillfälligt lider mer än du; att du tillfälligt kan räkna dig till den rättfärdige straffandes sida - inte de straffades.

Lite lugnare? Vet du, om du är riktigt, riktigt duktig så kanske jag berättar en historia om hur det här inte är ditt fel - och får dig att nästan tro på den.

Får dig att tro att du kan mildra min vrede och dina egna kval. En liten stund.

Att du kan göra detta som medlem av en utvald, välsignad skara.

Att ni gemensamt kan transformera er lättsinnighet till dygd.

Utan att förstå att ni samtidigt återuppbygger er hybris.

För vilken jag ska straffa er igen.

—

Orden kom till mig när jag lyssnade till P2:s rekviem-special nyss. En professor från Uppsala (förstås) sa något om hur protestanter velat mjuka upp mässan lite, med lite mindre fokus på domedag och lite mer på frälsning. En annan expert sa att flera kompositörer med erfarenhet av begravningar dragit sig för att inkludera ett Dies Irae eftersom de sett hur illa berörda de sörjande blev.

Förresten: Jag kom just ihåg att jag igår avslutade en serie på Netflix om en man som låste in och hjärntvättade sin ”familj”, där frun/mamman regelbundet dödades och byttes ut. Barnen var helt på pappans sida..

Progressivism vs. konservatism

Den senaste tiden har jag läst Henrichs "The Weirdest People in the World", Kimmo Erikssons och Pontus Strimlings m.fl. "Perceptions of the appropriate response to norm violation" och Scott Alexanders "The Consequences of Radical Reform" samt sett Adam Curtis filmserie "Can't Get You Out of My Head" och upplevt en drastisk förändring i mitt sätt att se på evolution av normer och på kampen mellan upplysning och motupplysning.

Hur tillämpbar är egentligen evolutionär spelteori (duvor och hökar, tit-for-tat, o.s.v. )? Om alla människor historiskt har levt i små klansamhällen - hur och när har i så fall de UPPREPADE interaktionerna med OLIKA, OKÄNDA och EXTERNA potentiella samarbetspartners uppstått och på sikt gett upphov till ett selektionstryck för ökad tillit och samarbete?

Är det kanske som Kimmo och Pontus har sagt till mig hela tiden, att det är en återvändsgränd att försöka visa hur utökat samarbete kan motiveras matematiskt?

Henrich verkar säga att endast med mycket osannolika, starka och långvariga sociala normstrukturer kan vi psykologiskt förmås att (relativt kortsiktigt) anta en samarbetsvillig inställning - snarare än tvärtom. Den enda gång som detta har inträffat var när den katolska kyrkan och karolingerna slog sina påsar ihop för att tvinga sönder släktskapsbaserade lojaliteter i Centraleuropa under medeltiden - och detta endast för att de råkade gynna deras egna syften, och för att det gav upphov till en självförstärkande cirkel av ökad (centraliserad) makt och ökade möjligheter till fortsatt (egennyttigt) normgenomdrivande.

Oavsett hur ekonomiskt rationellt ökat samarbete ter sig - även på relativt kort sikt - så verkar ”naturliga” klanbaserade normer vara mycket starkare och därför förhindra att utökat samarbete kan utvecklas.

När jag tänker lite mer på det där med normutveckling så slår det mig att den progressiva sidan här har ett mycket starkt och avgörande argument i den eviga diskussionen om konservatism kontra progressivism.

Konservatismen har, å ena sidan, den kulturella evolutionen i allmänhet på sin sida - motupplysningens starkaste argument är att vi inte ska peta i organiska förlopp för att vi inte vet vad vi gör och därför riskerar att göra allting värre.

Dessutom försvagas de progressiva argumenten för att vi åtminstone delvis är (potentiellt) altruistiska och egalitära ”i grunden”.

Å andra sidan visar Henrich att önskvärda tillstånd inte uppnås utan särdeles kraftiga och långvariga interventioner - oavsett om de är medvetet designade för ett visst syfte eller inte. Utan sådana  är den kulturella evolutionen starkt begränsad och avsnörd från gynnsamma utvecklingsvägar av historiska omständigheter och krafter.

För att få önskad utveckling till stånd krävs kraftfulla interventioner.

Detta innebär inte att frågan är avgjord. Problemet med att komma överens om, överblicka och kontrollera social ingenjörskonst återstår. Det gör också frågan om huruvida det överhuvudtaget finns några (bättre, bästa) lösningar eller om det bara finns kompromisser och ett fåtal balanspunkter (så att det perfekta blir det godas fiende).

Däremot verkar frågan om huruvida människan är ond eller god försvinna ur kalkylen, liksom konservatismens outtalade förhoppning om att vi genom passivitet obönhörligt rör oss mot den bästa av alla praktiskt möjliga världar.

The claim of social psychology

A while ago, Paul Bloom wrote on Twitter:

The main claim of pre-2012 social psychology is that small changes in the environment can have big effects on thought and behavior. If true, this has important theoretical and practical implications. It's probably not true.

I am trying to write an introduction to social psychology (and more) for high-school students, and I really need to address this statement. My immediate response is: "Of course it's true". Replication crisis, methodological and even metaphysical doubts notwithstanding, is it really controversial to claim that, of course, we humans are affected by environmental stimuli, often subconsciously, all the time?

(I also need to deal with the ideological overtones of this debate, while keeping things fair and balanced.)

What to do? Why not reach out on Twitter?

As expected, Professor Bloom graciously responded almost immediately:

Sure. But just so I can be clear about what we're disagreeing about, can you give an example of where you think I'm wrong - of a social psych finding showing that "small changes in the environment can have big effects on thought and behavior"?

Here are my spontaneous reactions to that challenge. Let me start by setting the scene. Below is a snippet I wrote some years ago:

I don't think it is at all obvious to discuss the climate crisis as a (solely or largely) ethical or moral dilemma. And it's not clear to me that it should be considered an especially hard problem, either. There are many practical problems, to be sure; but they are just that: practicalities. 

"The perfect moral storm" is a grievous misnomer. It seems to imply that there are major obstacles to agreeing (in principle) on what should be done when, in fact, it refers to a confluence of  aggravating circumstances when it comes to acting accordingly.

The tragedy of the commons isn't an ethical problem, but rather a practical one. Sure, there are ethical considerations regarding how we, as a society, should calculate and weigh different interests and risks. But, again, "moral competence" appears to denote only the ability or desire to act consistent with any reasonable calculus. 

I believe that a failure to distinguish between what should (or could) be done, and what people seem willing (or eager) to do, is highly counter-productive. It leads to "moral hazard"; in effect providing people with a perfect alibi for doing nothing; for not acting constructively, and in accordance with everything they actually know - or are told - to be right (and absolutely necessary).

Perhaps this seems circuitous, but one of the messages I wish to bring across to my students is that we humans have a strong tendency - for better or worse - to adapt to our (social) circumstances. That adaption often follows a simple (subconscious) rule: "I'd rather be wrong than alone". We pick up cues in our environment and - courtesy of both evolutionary heuristics and neural plasticity - build chains of inferences according to something like the following sequence:

Occurrence -> Frequency -> Normalcy -> Permissibility -> Correctness -> Morality

We need to fit in, above else. This means being no more far-sighted, logical, consistent, balanced, fair, neutral, or broad-minded than necessary - and not at all if that would mean stigma or exclusion. Our shame-avoidance and status-seeking behavior overrides any cognitive dissonance and dampens any incentive - however weak - to question the status-quo. What is virtuous and who or what is authoritative is highly contingent.

(Then, of course, there are also reasons at the individual level for being less than a saint.)

More to the point, a more general formulation of the overall finding (and claim) of social psychology - as I have understood it - is that people act and think differently depending on where they are - not who they are. If the claim of cognitive science is that, basically, people are people, then (in the words of Depeche Mode) why should it be that you and I should get along so awfully?

There are countless examples of local and regional variations in habits, customs, norms, regulations, laws, etc. that generate and perpetuate drastic differences in how individuals perceive the (social) world. Just to take one example: In one relatively small province of Sweden, the percentage of people who support an ultra-nationalistic party is much higher than anywhere else in the country. There is no reason to think that regional differences could explain this (as there are hardly any in Sweden) other than the fact that a prominent party member happens to live there. These kinds of contingencies crop up everywhere.

On a much broader scale, the World Values Survey shows just how much practical and ideological differences actually hinge on contingencies.

The Overton window changes from place to place and from time to time, and with it, how individuals talk, think and feel.

Marketing, both in the long and short term, drastically influences peoples' ideas of what is valuable.

In the short term, anchoring effects can have huge impacts

The whole concept of nudging is based on changing the "choice architecture" and so changing individual choices (without limiting or forcing them)

Social facilitation affects individual performances in group settings versus in isolation.

Social movements change individuals' attention and values.

The Hawthorne effect is ever present, and keeps bolstering many spurious claims about the effectiveness of various interventions (keeping e.g. educational consultants busy).

Group-attribution creates and increases polarization, even on essentially meaningless issues. There are Robber's caves and Minimal groups everywhere, with diverging world-views as a result.

Social media corrodes what cohesion and societal osmosis we have managed thus far. Neal Stephenson depicts this magnificently in his book "Fall, or: Dodge in Hell" where a part of Utah is still cordoned off, even decades after a hoax about a nuclear explosion that "truthers" still (wish to) believe actually happened. 

Behavioral genetics seems to show that, apart from genes, one's peer-group seems to be the strongest influence on how one's personality traits develop and which trajectory one's life takes.

School rules massively influence what students perceive as "normal", right or wrong etc.

Despite intense critique leveled at Asch's and Millgram's conformity experiments and other classics of social psychology, there is clearly much folk-wisdom contained in them.

In the same vein, priming is clearly a thing - regardless of how many botched and over-hyped experiments are exposed. How could it not be? Our minds are associative networks and most, if not all, of the activity of mind takes place without conscious awareness or control.

Ramblings, to be sure, and not a very succinct answer to Professor Bloom's question. Much hinges on what we mean with "a small change" and "a big effect", and any single experiment might not be able to able to demonstrate this with a sufficient degree of scientific credibility or to allay all ideological wishes and misgivings.

What I want, most of all, is guidance on how to talk about these topics with young people - students for which I am partly responsible - in a way that is bold and progressive while at the same time scientifically and philosophically "kosher". It's a fine balance: As soon as I take liberties with the extremely cautious school curriculum I risk civil disobedience. On the other hand, as soon as I lecture on a new experiment or theory it doesn't take long before that same experiment is dissected, rejected and frowned upon by parts of the scientific and intellectual community.

I suspect that there is sometimes an overblown fear of association with social psychology in general, and with ideologically fraught findings specifically - so much so that even level-headed academics jump on the bandwagon of suspicion or acquiescence just to steer clear of any controversy. (Which, in itself, is a powerful demonstration of social psychology at work.)

---

Professor Bloom:

It's an interesting discussion, but I think we're talking past each other. Our moods and thoughts are plainly influenced by our environments—by Trump and Covid, sunny days and sweet music, etc. We knew this long before the first social psychologist ever walked the earth. My skepticism is about the idea--defended by many people I respect--that subtle cues have big effects that we are unaware of (e.g., the sight of a flag makes you more conservative). For the bigger-than-a-tweet version of my argument: The War on Reason (The Atlantic,  March 2014)

Me:

Would you agree that what bridges the gap between us is: 1) that I include cumulative and divergent effects in the ”big effects” category; and 2) that I worry more about instances where intelligence, self-control and intellectual humility are in short supply?

Professor Bloom:

Sure. We might just be focusing on different things. But, still, I don't see any reason to qualify the claim that I made in my original tweet: The radical claim that small environmental influences have big effects is probably not true.

More by Moffett: Nationalists and Patriots

About fifteen years ago, as my friend and I walked across the town square, I remember saying:

There's really only one Big Question remaining: People seem to fall into two categories - liberals and conservatives. Why is that? Is it inevitable?

This split seems to me to be the biggest, possibly the only, real obstacle to genuine progress. How should it be addressed? Can it be dissolved?

Since then, I've read a lot. And a lot has happened. If I was asked yesterday to write an essay to answer my own question, it would hopefully have started something like this.

People's outlooks on many pressing social issues betray how these roles [protection vs. provision] are valued differently depending on whether individuals subscribe to patriotism or nationalism. As most psychologists use the words today, these are habits of thought that represent distinct expressions of how people identify with their society. Sometimes lumped together, patriotism and nationalism become plain, and clash with each other, in troubled times. Depending on the person, perspectives shift to more nationalist or more patriotic viewpoints during periods of stress. Yet each individual usually sticks within a narrow range of attitudes over the course of his or her life; the sentiments emerge in childhood under the dual influence of inheritance and upbringing. 

The fundamental difference between nationalism and patriotism is that while individuals with both outlooks are devoted to their society, they relate to it differently. Patriots display pride in their people and a sense of shared identity and particularly of belonging; such a feeling comes naturally to those born in a country but can be acquired by immigrants. With most of their passion directed at their own group, patriots prioritize the needs of its members: making sure they have food, housing, an education, and so on. Nationalists have similar emotions but couch their identity in glorification. Their pride connects with prejudice. As obsessed as patriots can be with caring for the members, nationalists are absorbed with preserving a superior way of life by keeping the society safe and sound and putting their own people prominently on the world stage. 

Where it gets interesting is that patriots and nationalists have divergent ideas of who constitutes "their own people." Indeed, among the aspects of their identity nationalists admire are those that set the trusted majority apart. It's this position they guard. The extreme nationalist ardently protects each detail of that identity to keep the nation firmly associated with the angels. The priorities of nationalists include staunch demonstrations of loyalty, accepting customary rules of order, obeying leaders whom they see as responsible, and maintaining the established social relationships, most clearly between ethnicities and races. All of these values came to the fore as people settled down and began dominating others. Tradition-driven nationalists believe in their country no matter what. They commit to the status quo, at times at odds with those democratic ideals that allow for transformation: their personalities are less open to new experiences and social change. Compare this my country right or wrong stance to the outlook of patriots, who likewise give their country a high standing yet believe it must be earned rather than fought for, allowing that there are possibilities for improvement. 

In their attention to differences between groups, nationalists treat both people of other nations and minority citizens as outsiders, taking a narrow view of who is, at the heart, truly part of the society. They're more comfortable with the majoritarian idea of democracy in which the dominant people should have the primary say in governance. Their perspectives on moral and legal issues reflects this. I believe it fair to say that to a nationalist, a person of another ethnicity, citizen or not, is relatively more foreign. 

Earlier I called ants extreme nationalists because they stick tight to their colony marker - its scent - as a stamp of their identity. Indeed, though in our species a patriot can become as teary-eyed as any nationalist in displays of allegiance to a flag or anthem, nationalists are supersensitive to those symbols. For them brief exposure to a flag or an idolized leader incites an intense reaction - as does the absence of such an emblem when one is expected. Thus the uproar about gymnast Gabby Douglas not placing a hand over her heart while the American national anthem played in the 2012 Olympics, a lapse that to a nationalist made her gold-medal win too much about herself and not about the United States. The reaction was a sign of the sentiment that societies are entities: people don't compete in the games, countries do. 

Both the nationalist and the patriot perspectives can be logically consistent, with nationalists being more risk averse and on guard against anything that may contaminate their culture. They prefer to err on the side of separatism, erecting boundaries that might alienate those whose interests could differ from their own, while patriots are more sympathetic to opportunities for trade and cooperation with outsiders. 

In short, the nationalist is suspicious of diversity, while patriots often welcome it. Or at least they tolerate it, because even a patriot, no matter how equality-minded, isn't immune to prejudice: the ardor that patriots reserve for fellow society members of their own race or ethnicity still leads to discrimination as they subtly, and unwittingly, treat those like themselves more fairly. 

Why did these differences in patriotic and nationalistic attitudes evolve? The fact is that a clash in perspectives within societies, although at times so extreme as to verge on the dysfunctional, may have always been integral to human survival. Our varied expression of social viewpoints probably connects back to "timeless social concerns," as one research team put it. Each outlook is beneficial in certain contexts. This dimension of our social identity may be an adaption to balancing the needs for protecting and provisioning the society. Even though people with opposing perspectives might not see eye to eye, a society with too few or too many individuals at either end of the spectrum could be open to catastrophes. This promotion of behavioral diversity has parallells in unlikely animal species. Social spiders are most successful when their colonies contain both individuals that retreat from danger but fastidiously tend the nest, and bold ones that put more effort into defense against social parasites, which steal the colony's food; the colonies of certain ant species function most efficiently when they contain a similarly effective mix of personality types. 

For humans, the hazards of a population overly committed to either the nationalist or patriot extreme are manifest. Nationalists see the patriot's greater openness to weak borders and sharing across ethnicities as promoting social dependence and cheating, fears that reflect the competitive nature of groups present across species. Meanwhile, the prevalence of nationalists, convinced their ways are right and prepared to fight for them, means the dangers that nationalists fear can indeed be realized. Still, by readily espousing oppression and aggression, extreme nationalists bring to mind the historian Henry Adam's description of politics as a systematic organization of hatreds. Their outlook feeds on certain facets of psychology. It's intoxicating to fall in line against an enemy, at times at a whiff of trouble. For those swept up in a nationalist perspective, the swell of group emotions and awareness of common purpose gives life a greater meaning. Not just morale, but mental health improve among civilians when nations face conflict. The fact is, trigger-happy societies have long had an edge, with the impulse for war and the fear of attack critical in driving many social and technical innovations and the expansion of states. What's more, nationalists, adhering to a narrow interpretation about what behaviors are proper, have the advantage of being far mor tight-knit and homogeneous than patriots and better able to act together. All this is to say that the patriot's vantage point is and always will be a more onerous path. 

Because of the partiality for their group, displayed by patriots and nationalists in different ways, the troubles our societies face go deep. It's bad enough that a wicked act by one minority person - the Florida nightclub shooting, for example - can set off outrage at an entire minority population. But mistreatment can carry over to ethnicities unconnected to the tragedy. That's an outcome of how stereotypes strip away detailed understanding, making it easy to conflate groups to the point of creating such fuzzy and nonsensical categories as "brown people." Even when no conflation exists, prejudices can be linked, with the denigration of one people associated with the devaluation of others. Persons who fear for their safety, jobs, or way of life indiscriminately lump them together much as ancient societies did with the "barbarians" beyond their borders. The impulse is so strong that when a sample of Americans was asked what they thought of Wisians, nearly 40 percent regarded them poorly and did not want them as neighbors, even though they could have known nothing about them since the researcher had made the name up. 

Societies contain ethnicities and races that stick together despite the members' prejudices about each other. The usual view, voiced by William Sumner more than a century ago, is that friction with outsiders draws a society together. Clearly, that's not always true. The external forces that promote civil peace primarily galvanize the dominant people while often straining their ties to a society's other ethnicities when those groups are regarded as part of the problem. This tension among the members can cause a kind of social autoimmune disease, turning a society against itself. For all these tribulations, we may reasonably ask whether societies are necessary at all.

--- Moffett, M.W. (2019), The Human Swarm, pp. 340-343

I am eager to read the concluding chapters of Moffett's book. Twenty or so pages remaining.

Just for the record: The fact that 40 percent of Americans shun Wisians isn't primarily attributable to individual nationalist tendencies, but to ignorance - which in turn isn't primarily attributable to individual personality traits, but to engineered anti-enlightenment. Any reasonable system of governance would, over time, not only steer the U.S. towards liberalism - in a broad sense - but would simultaneously narrow the divide between liberals and conservatives. (So conservatives would move more rapidly towards liberal values, even as the gap remains.)

Inventing foreigners

The disbanding of a society is a time of reinvention. Any reading of history suggests society breakups mirror the breakup of a marriage. When one can't turn back from a split, years of repressed opinions come pouring out that may express the opposite of what had been professed a month, if not the day, before. As pressures to conform to social norms shift, diminish, or vanish entirely, people on both sides gain the latitude to explore ways of interacting that had been out of favor or considered heretical. Previously unacceptable acts can leap to the forefront, helping each group distance itself from those who are now other, reimagined as outsiders, such that they come to appear ever more foreign.

The evidence indicates that many of the modifications of daughter societies - their character displacement, to borrow again a term from biology - occur in the initial years after they go their separate ways. Their newfound freedom of expression may be a reason why. That's when language - and no doubt many other, less studied aspects of identity - undergoes the fastest rate of change, before settling into a relative stasis thereafter. Indeed, distinctions between societies, often enough, are an outcome not of their ignorance of each other due to geographical separation, but of their awareness of and interaction with each other. This would be conspicuously true after societies split up. The opportunities for independent thought and invention afforded by a newly minted society, leading to a convergence of perceptions around themes the members can celebrate as their own, can make its formative years a golden age. For example, the Declaration of Independence and US Constitution remain the reference points that Americans turn to for guidance when questions about the nation's governance arise. Based on what is known about modifications in identity, I believe this would have been the case over the course of our evolution as it is now.

Yet there would be a deeper psychological impetus for a reworking of identity to bloom right after a division. The sense of being adrift, their fates severed from the meaning and purpose the larger society once provided, would heighten the urgency of the people's search for a strong identity, and essence, that stands apart. Moreover, their identification with each other must actually matter. Certain groups, such as people experiencing homelessness or those who are obese, may be marginalized but don't create societies with identities of their own. Neither do sick or disabled chimps or elephants, even when others treat them as outcasts. These outliers fail to bond since they do not see others with their condition in a good light. They lack what psychologists describe as positive distinctiveness.

Hence the insights of psychologists suggest that the members of a start-up society will toil to distinguish themselves favorably. To achieve this, they improvise cherished attributes or express old ones in a special way. The process is analogous to the development of traits that biologists studying the divergence of species call isolating mechanisms. Whatever commonalities remain with the other society can be denied or ignored. Like divorcees not on speaking terms, the societies can break off contact, which would mean any shared history would be eschewed or forgotten. Regardless, no matter how alike the newbie societies might seem to outside eyes, reunification would quickly be impossible.

From: Moffett, The Human Swarm, pp. 261-262

Not Born Yesterday, en följetong

Jag har varit dålig på att blogga den senaste tiden. Tänkte skärpa mig och börjar därför anteckna redan under läsning av Hugo Merciers nya bok "Not Born Yesterday". Jag vet redan på förhand att den kommer att reta mig till vansinne. Jag vet också att jag efteråt kommer att ha svårt att artikulera min kritik, och att de flesta av mina vänner kommer att ställa sig frågande till mitt höga blodtryck. Som vanligt.

Det kan ju förstås vara så att jag inte har några goda argument. Att jag bara reagerar känslomässigt, och kanske också inkonsekvent.

Mercier kommer att hävda - liksom han och Sperber gjort tidigare, och liksom många andra, ex. Pinker och Gigerenzer - att människan är rationell. Att de senaste årtiondenas kognitions- och socialpsykologi är dålig vetenskap och vänsterpropaganda. Att lättlurade och lättledda människor är en evolutionär omöjlighet - både i backspegeln och i evighetens perspektiv. Att det undermedvetna, som det beskrivits under de senaste 3000 åren, är antingen ett missförstånd eller en överdrift.

Att det medvetna är precis vad det borde vara: en blank värja för retorisk fäktning - om motivationen finns där.

Efter en snabb genomgång av Asch, Milgram, Kahneman, Richerson & Boyd, Heinrich m.fl. avslutar Mercier det första kapitlet:

Once we take strategic considerations into account, it becomes clear that gullibility can be too easily taken advantage of, and thus isn't adaptive. Far from being gullible, humans are endowed with dedicated cognitive mechanisms that allow them to carefully evaluate communicated information. Instead of blindly following prestigious individuals or the majority, we with many cues to decide what to believe, who knows best, who to trust, and what to feel. 

The multiple mass persuasion attempts witnessed since the dawn of history - from demagogues to advertisers - are no proof of human gullibility. On the contrary, the recurrent failure of these attempts attest to the difficulties of influencing people en masse. 

Finally, the cultural success of some misconceptions, from wild rumors to supernatural beliefs, isn't well explained by a tendency to be credulous. By and large, misconceptions do not spread because they are pushed by prestigious or charismatic individuals - the supply side. Instead, they owe their success to demand, as people look for beliefs that fit with their preexisting views and serve some of their goals. Reassuringly, most popular misconceptions remain largely cut off from the rest of our minds and have few practical consequences, explaining why we can be relatively lax when accepting them.

-- Mercier (2020), Not Born Yesterday, s. 13-14

Den första meningen i citatet ovan har samma struktur som Zuboffs "fri vilja är så viktigt att det måste finnas". Alltså: Det skulle kunna gå illa för mänskligheten om den beter sig dumt. Alltså får den inte göra det. Alltså gör den inte det.

Att det är "svårt" att övertyga människor innebär inte att det är svårt att manipulera dem. Det är bara ytterligare ett bevis på de påverkas av precis de krafter som Mercier vill tona ned betydelsen av, eller snarare, inkludera i sin variant av rationalitet.

Få praktiska konsekvenser? Bara om man, som Mercier, bortser från allmänningens dilemma och samhällelig kunskapsbildning som en public good.


Mercier har nog en poäng när han flyttar fokus från "supply" till ”demand” för att förklara varför folk agerar som de gör (konformitet, prestige, framgång, etc.) Men detta förflyttar ju bara problemet. Om individer egentligen inte är lättlurade, eller om de (medvetet) väljer att inte koppla in sin skepsis, så innebär det ju att de är cyniska snarare än dumma. Är det bättre?

Nja, kanske flyttar det fokus från ledare, på gott och ont: Vare sig diktatorer, myndigheter eller marknadsförare är i sig så hotfulla eller nödvändiga som vi tror. Men problemen försvinner ju inte för det: Istället för att ledas i fördärvet av någon av dessa, så leds vi kollektivt i fördärvet av varje enskild persons ”smarta”, kortsiktiga och egoistiska strategiska ”dumhet”.

Hanlons rakkniv: Skyll inte på ondska det som kan förklaras med dumhet.

Brecht: Samhället måste byggas så att det inte kräver några goda människor.

Jag tror att Mercier skulle hålla med om dessa deviser. Men av för mig perversa anledningar: Han definierar om dumhet som cynism, och sedan till individuell rationalitet. Och han förlitar sig på en osynlig hand. Denna hand kan antingen vara långt mäktigare än vad Smith någonsin tänkte sig eller åtminstone det mäktigaste vapnet vi har. Vilken av dessa hållningar Mercier står för återstår att se.

Det är typiskt för den världs- och människobild som (den nyliberala) konservatismens överstepräst Sowell beskriver som den "begränsade":

Människan är ond

Undergången kan inte undvikas

Det finns inga lösningar, endast mer eller mindre goda kompromisser

---

Efter en promenad med Musikrevyn i lurarna - under vilken Saint-Saëns bombastiska orgelkonsert, framförd av Utah Symphony Orchestra, och de obehagliga associationer den gav upphov till, fick min hud att knottras av vämjelse - slår det mig:

Merciers m.fl. hållning är denna: evolutionär mismatch är en oxymoron. Denna hållning karakteriserar många samhällsdebattörer från vitt skilda håll - biologi, psykologi, antropologi, sociologi, historia, filosofi, juridik, politik. Detta är samma naiva adaptionism som avfärdades av Gould och Lewontin för snart 50 år sen.

---

(Här kommenterade Patrik och förekom på så sätt en stor del av innehållet i kapitel 2. Se kommentarsfältet nedan. Jag svarade i samma kommentarsfält, och läste sedan just detta kapitel.)

---


En övertro på den evolutionära teleologins allt förlåtande skyddsnät är en form av naiv adaptionism, som gränsar till religion. En mildare form säger att allt ordnar sig i sinom tid (och här finns flera varianter, från de mest fromma till det mest cyniska). En strängare, eskatologisk form säger att domedagen - och med den uppryckningen - är nära. Och först då kan och kommer allt att ordna sig.

Sowells konservativa (och eventuellt också religiösa) människa har av livsvisdom tillägnat sig en nödvändigtvis "begränsad" (till skillnad från naivt "obegränsad") vision av människan och världen; begränsad också i så måtto att hon inser att hon vare sig kan skärskåda det förflutna eller överskåda framtiden och sina handlingars konsekvenser. (Här erkänns alltså en opacitet, och insikt om denna lyfts upp som ett dygdemönster.)

Det är alltså bättre att sitta still i båten - acceptera och vörda den förborgade visheten i status quo, den kulturella evolutionens krona och resultatet av en successiv (men inte medvetet styrd) beskärning av tidigare vildskott i samhällets trädgård - och samtidigt akta sig noga för att i hybris försöka styra den (eventuellt gudomliga) plan som utvecklas organiskt i nuet och framtiden

Och här finns en paradox, ty Mercier kritiserar Heinrichs, Richersons och Boyds argumentation om att just denna opacitet innebär ett selektionstryck för "okritiskt" accepterande av kulturellt överförd information utifrån tumregler som frekvens, prestige och framgång.

För den konservative är mängden individer en population, ett statistiskt fenomen. Men här finns något även för nyliberalen: äta eller ätas. Medan den konservative ser relationen mellan individ och samhälle som den mellan ett arbetarbi och en bikupa (där någon råkar vara drottning) så handlar relationen för libertarianen om den enes bröd och den andres död - individen står i ständig motsättning både till varje annan individ och till kollektivet (eller totaliteten - något "samhälle" finns ju som bekant inte, enligt Thatcher). Men den organiska utvecklingen, den osynliga handen, lotsar tryggt vidare mot den enda hamn där vi kan, ska, bör ankra.

Till skillnad från Mercier och hans gelikar ser den progressive samhället som någonting mer: en sårbar balans mellan individualitet och kollektiv, där den enskilde vare sig uppslukas av helheten eller konkurrerar mot grannen. Detta kräver mycket av både individuell utveckling, disciplin och respekt - och av medveten, iterativ utformning och underhåll av både personliga och institutionella relationer.

Detta är den radikala upplysningens bild av samhället. Spinozas och Jonathan Israels bild.

Det är talande att Mercier bl.a. exemplifierar harmonisk samexistens (där stabil kommunikation kan utvecklas och bestå) med olika celler i en människokropp. En levercell och en hjärncell har samma mål, samma "fitness" och kan därmed lita fullständigt på varandra, påstår han. En cancercell är en cell som blivit "ond" och svikit den organiska harmonin- en anomali, fortsätter han. Även med tanke på den förenklade och kortfattade framställningen utgör detta exempel ett närmast Freudianskt bevis på den konservatives tro på (hopp om, svepskäl för) "organismen i organismen". Många (bl.a. Lindenfors, Dennett, Turchin) har beskrivit hur samarbete på varje nivå i ett komplext system - från organeller till stater - också karakteriseras av evolutionär kapprustning och ständiga hot om sönderfall: så snart en chans till "avhopp" uppenbarar sig så kommer den att utnyttjas - av leverceller såväl som av andra - och yttra sig bl.a. just som cancer.

Det är precis samma förlopp som Mercier själv illustrerar med de varningsropande apor som plötsligt skulle kunna "upptäcka" att de tjänar mer på att hålla tyst och rädda sig själv - om omständigheterna är de rätta (under tillräckligt lång tid).

Exemplet med mor och foster inte heller övertygande. Mercier är noga med att beskriva det som en tävling mellan fostret och dess framtida syskon, snarare än mellan foster och moder. Men det skulle krävas mer information än vad han anför för att inte snarare dra slutsatsen att det är just det senare som faktiskt sker: Är det verkligen rimligt att tro att den energi som modern förnekar fostret (genom att utsöndra mer insulin) och istället lagrar som fett kommer framtida syskon till del, snarare än modern själv?

En detalj (delvis ursäktad av den kompakta framställningen): Mercier anger som ett skäl för att anta att gasellens "stotting" verkligen är en evolverad s.k. stark signal - som delas av både bytesdjur och rovdjur - är att gasellen inte hoppar jämfota inför just geparder, eftersom både gasell och gepard "vet" att den fina form som därmed demonstreras inte har någon betydelse i ett sprintlopp. Men hur vet Mercier det? (Visst kan det vara så, och visst kan instinkten att inte lägga energi på att signalera i dessa fall då utvecklas - kanske ökar detta chansen att gasellen kommer undan just geparder. Och visst kan detta i sin tur utgöra ett stöd för tolkningen av den nu selektiva stottingen som en evolverad, delad och stark signal för ömsesidigt nyttig kommunikation mellan de båda kontrahenterna.) Resonemanget är slarvigt och dåligt underbyggt: Om gasellen är i fin form jämfört med sina artfränder så torde detta rimligen resultera i att den blir mer svårfångad både i sprint- och distanslopp.

En sak till:

Unreliable signals, if they proliferate, threaten the stability of communication. If receivers stop benefiting from communication, they evolve to stop paying attention to the signals. Not paying attention to something is easily done. If a given structure is no longer advantageous, it disappears - as did moles' eyes and dolphins' fingers. The same would apply to say, the part of our ears and brains dedicated to processing auditory messages, if these messages were, on balance, harmful to us.

-- Mercier (2020), Not Born Yesterday, s. 20

Tydligare kan det väl inte bli. Om ovanstående ska bli rimligt, och ha bäring i sammanhanget, så måste vi tänka oss att Mercier resonerar om skeenden många tusentals år bakåt i tiden, och dessutom hoppar friskt mellan korta och långa tidsintervall. Men vad som gällde då behöver inte gälla nu. Och det ska ganska mycket till för att kulturell - för att inte tala om biologisk - evolution skulle kompensera för de nackdelar som ett alltför "okritiskt" lyssnande nu kan innebära. Eller om vi flyttar oss ännu längre tillbaka, från språkets uppkomst till den tid då så gott som alla landlevande organismer utvecklade hörsel och ljudproduktion (t.ex.): Hur länge skulle det dröja innan vi "skitsnackande" människor tillbakabildat alla dessa miljontals år av i övrigt extremt användbara adaptioner?

---

Eller så får Mercier bita i det sura: Om rationalitet och språk är produkterna av en stabil samevolution under den långa stenåldern, så är det den rationalitet som rådde då som fortfarande råder.

Klanmedlemen kryper inte för Ledaren för att han är dum nog att tro på vad denne säger, utan för att han är smart nog låtsas göra det. Klanen anfaller först och ställer frågor sedan för att det är säkrast så. Den medeltida fursten ingår allianser endast för att de gynnar honom just då  - och sticker kniven i ryggen på sina fränder så snart det gynnar honom mer. Alla är införstådda med spelets regler - det finns inget att förlåta.

I förlängningen av dagens "rationella" konservatism ligger feodalismen och fascismen (och just denna rationalism ser vi nu breda ut sig i Västvärlden), medan en "rationell" libertarianism väntar på sin furste och hans Machiavelli (tja, den väntan är ju också över) - och en bångstyrig stat fylld av småfurstar in spe (ja, den också).

Se här, en annan devis som både Wittgenstein, Mercier och jag kan instämma i, men av olika orsaker:

Vad man icke kan tala om, därom måste man tiga

---

(Långlunch tisdag 3 mars. Läste kapitel 3 och 4 på fiket och antecknade efter hand. Sluggar ganska vilt. Mer stenografi och medvetandeström än noggrann analys. Men, vad tusan, jag dubbelarbetar ju!)


Kapitel 3

Här finner vi högerns omvända populism: "Vänstern försöker övertyga er om att ni är svaga, att ni behöver försvara er mot påverkan. Det behöver ni inte. Ni är minsann inte lättlurade." (Visst känns det bra? Ni behöver inte ha dåligt samvete, och jag kan fortsätta att utnyttja er.)

Gullibility, vilket nedsättande ord! Låt dem inte kalla dig dum! Dina instinkter leder rätt! (Inte minst för mig).

Hitler? Som enligt Mercier felaktigt trodde att han kunde påverka massorna? "Se vad han ställde till med." Vafalls?

Jaha, så waterboarding likställs med instrumentell betingning. Det är väl ändå skillnad på förhör och hjärntvätt?

Jaha, så den stabila samevolutionen av språk och rationalitet är inte en kapprustning? Nej, den är en marknadsplats! Bättre och bättre för alla, hela tiden! (Och var finns argumenten för detta? Att mänskligt språk möjliggör oändligt många nya kombinationer?)

Sedan en intressant poäng: System 2 är inte nytt, inte en modern överbyggnad på system 1. Båda systemen måste utvecklats parallellt. OK, det är en rimlig hypotes. (Men inte nödvändig, se t.ex. Patriks kommentar. Den är emellertid fundamental för Merciers resonemang. Synd då, att han inte följer den till sin logiska slutpunkt. Se nedan.)

OK, vi regredierar inte till lättövertalade grobianer utan till konservativa tjockskallar som inte låter sig påverkas alls. Men är det bättre? Det är ju i så fall precis lika lätt att utnyttja som motsatsen. Och det var det Hitler gjorde: Påverkade folk via omväg. Förhindrade öppenhet och tvingade fram stenåldersrationaliteten. Inte genom att tränga igenom, övertala, bygga upp ny världsbild - utan genom att skala av, avtäcka en gammal.

Sidan 44 om system 1 och 2. Här visar Merciers eget resonemang att automatisk skepsis är precis lika illa som motsatsen: att alltför lätt låta sig övertalas. Det förra leder till att man förkastar korrekta påståenden och argument. Det senare att man accepterar inkorrekta påståenden och ogiltiga argument. Varför skulle det förra vara bättre än det senare?

En annan svaghet i Merciers resonemang: Vilka motiv har den enskilde att utvärdera påståenden och argument överhuvudtaget, om de redan stryker medhårs?

Det fåtal experiment som Mercier åberopar för misstänkliggöra omedvetna processer är alltför enkla att avfärda. Han borde följa Dennetts råd och attackera de mest robusta resultaten i stället.

Subliminal påverkan, implicita attityder, priming... Mercier et al kommer alltid att slå ifrån sig dessa resultat. Men börja från andra hållet: Plocka inte den lågt hängande frukten utan försök argumentera bort de starkaste, självklara bevisen för associativt tänkande! Litteraturen är full av mycket övertygande exempel på anchoring, framing etc.

Diskussionen om förhörsteknik och hjärntvätt leder ingenstans.

Sidan 44 (längst ner): Enligt Mercier så spelar det ingen roll om system 1 släpper igenom falska eller bekanta meddelanden, så länge de rimmar med vad man redan tror eller vill. Att system 2 inte ens kopplas in har inget med intellektuell lättja att göra. Tvärtom, varför ägna energi åt att ifrågasätta något om man inte upplever sig behöva göra det? Återigen: Om Mercier har rätt i att människor som i lägre grad kopplar in system 2 lika gärna förkastar falska som sanna påståenden så länge dessa inte upplevs intressanta - och därför inte kan påstås vara mer känsliga för desinformation - är det bättre? Self-serving bias är knappast den "rationalitet" vi vill ha.

Att system 2 kan förstärka felaktiga meddelanden är ju ytterligare stöd för sårbarhet. Backfire effect, motivated reasoning, Dunning-Kruger...

Marx och Engels? Really!? Detta är nivån, alltså. Här förväntas läsaren acceptera följande implikation: Marx och Engels är typexemplet på kvasiintellektuella skitsnackare - det vet ju alla nuförtiden. Och visst är det typiskt att just intellektuella snobbar i så hög grad gick på det där skitsnacket. Se där hur uppenbart värdelöst system 2 är! (Den här populistiska retoriken riktas både åt hö-hö-högern och åt tvehågsna gråsossar.)

Kahneman säger inte att system 2 är definitionen av rationalitet. Men det kan användas för att (med mycket möda) förstå och acceptera den externa logik som vi har uppfunnit.

Samma problem som i Enigma: Vi jämför inte med system 2, utan med en extern standard.

Sidan 46: "Gullible individuals would be taken advantage of until they stop paying attention...". Men hallå! Om du verkligen är godtrogen så gör du inte ens kopplingen, upptäcker inte ens att du blir utnyttjad. Och vilken tidshorisont talar vi om? Ofta är kopplingen mellan påverkan och utfall omöjlig att överblicka. Och hur skulle den som utnyttjats kunna kompensera?

Mercier lyckas inte visa varför kapprustningsliknelsen är felaktig. Det är ju hans modell. Men han vill ju klämma in öppenhet också... Varför skulle en kapprustning innebära att vi var öppna från början och först senare blev skeptiska? (sidan 41)

Den utnyttjade godtrogne - talar vi om en enstaka nutida individ eller om en tidigare population Mercier är återkommande otydligt och medvetet svävande på den punkten.

---

Kapitel 4

Plausibilitet definierar Mercier som huruvida något stämmer överens med individens egna erfarenheter. OK, så kan man se det. Men man måste då också göra skillnad på denna interna standard (som mycket väl kan vara alltför starkt kopplad till egna erfarenheter, motiv, etc.) och på en extern dito. Det är stor skillnad på skillnad på en faktisk värderingsmekanism och en yttre standard eller ett ideal.

Är backfire-effekten verkligen sällsynt, även i ideologiskt viktiga frågor? Mercier refererar till Wood & Porter (2016). Den måste jag titta närmare på.

Sidan 53-54. Nej, den sokratiska metoden (majeutiken) visar inte hur effektivt (intuitivt) resonerande fungerar. Samma fel som i Enigma. Problemet är ju att ”vigilance” saknas. Det räcker inte att visa att vi accepterar giltiga men inte ogiltiga skäl. Dessutom är det inte sant: vi accepterar ibland ogiltiga resonemang och förkastar ibland giltiga. Vi är alktså inte ”open” heller.

Men Metcier verkar tycka att även denna (felgenererande) "stubbornness", "vigilance",  konservatism är sund.

Om den inte vore sund, skulle den då vara evolutionärt omöjlig? Nej, om vi håller oss i nutid så handlar det om mismatch. (Förutom skillnaden mellan intern "rationalitet" och extern standard.)

Ja, deliberation kan vara produktiv men är det långt ifrån alltid. Och vi undviker den som pesten!

Sidan 56-57. Svagt (anekdotisk) resonemang om att goda skäl vinner. Det viktigaste är inte argumentens styrka utan de sociala strömningarna - och det vet Mercier. Det är ju det han ofta lutar sig mot: så länge det är ”rationellt” - alltså så länge det ligger i mitt eget intresse - att diskriminera svarta, kvinnor, homosexuella, etc. så gör jag det - oavsett vilka "sunda" argument mot diskriminering som finns tillgängliga. Och jag söker absolut inte upp sådana!

Att vara, eller låtsas vara, klimatförnekare är också naturligt, strategiskt och därmed, i Merciers bok, "rationellt". Så länge den "smarte" entrepenören; den kortsiktige, närsynte, självtjänande - och när så är strategiskt lämpligt, lismande - egoisten får fler barnbarn än "viktigpettrarna" och the do-gooders, ja, då har han den spelteoretiska evolutionära historiens välsignelse. Varför ens lägga energi på att bry sig om andra än familjen? Blod är tjockare än vatten. Girighet är bra! Inskränkthet är bra! Merciers resonemang är faktiskt precis så futtigt. I hans värld fungerar universitet och högskolor som kyrkor och kloster, och intellektuella som munkar i celibat. De kan vara bra att ha ibland (för utveckling av ny teknik), men de ska hållas kort och ingen vettig människa lyssnar på dem.

Här finns också den obligatoriska berättelsen om ett ungt högerspökes radikalisering, bitterhet och känsla av utfrysning inom akademin - och föreliggande bok är en del av revanschen.

I en fotnot skriver Mercier att bias kanske gäller produktion snarare än utvärdering av skäl. Ja, OK, men är det bättre?

Sidan 58. Mercier påstår här att vi kan lita på att plausibilitetskontroll sker utan bias. What!? Det har han minsann inte visat, och så är det inte. Många biases ligger djupare.

Här kommer det igen: Problemet är inte bias utan tidigare information... Ha! Det är förstås både-och. Och även om vi inte hade haft bias så är problemet med informationen tillräckligt problematiskt.

På sidan 59 nämns äntligen mismatch!

Vaccinationsexemplet illustrerar åter hur Mercier slår sig till ro med att "supply" inte påverkar menligt och struntar i att "demand" är inskränkt.

Sidan 66. "Det krävs inte mycket för att skapa (?) en kreationistisk anti-vaxare och konspirationsteoretiker" Precis! (Vem "skapar". Kan det ha något med "supply" att göra?)

"Works with poor material"... Ja, det finns ju inget (annat).

Så landar vi i "Who's your expert (inför kapitel 5) — varför söka upp någon överhuvudtaget? Och varför söka upp någon som inte säger det jag vill höra?

---

Kapitel 5 börjar ironiskt nog med att erkänna vikten av just success, frequency, prestige och imitation - alltså just de fenomen som Boyd, Richerson och Heinrich lyfter fram.

Och resonemanget förutsätter alltså att vi letar aktivt efter experter överhuvudtaget.

Varför vill vi ha "rätt"? Vill vi det? Hur då, ”rätt”?

Sidan 68. Mercier verkar inte tycka om tanken på en underliggande g-faktor för att förklara kompetens. I stället verkar han föredra Gardners m.fl tanke om många olika sorters intelligens, och anför hjärnans modularitet som en möjlig anledning till människors olika kognitiva profiler. Detta förefaller mig tveksamt.

Han säger också (i en fotnot) att en förekomsten av en generell mekanism som kan förklara relativa kognitiva styrkor och svagheter förefaller osannolik i ljuset av hur svårt det visat sig vara att överföra kunskaper och färdigheter från ett ämne till ett annat - s.k. transfer of learning. Här stödjer han sig på experiment som liknar dem inom pedagogik, där man ofta finner att elever som undervisas och övar på ett visst område sällan generaliserar eller tillämpar resultaten inom andra områden. Jag tycker snarare att detta är ett argument för en generell g-faktor. Och jag undrar vart Merciers resonemang är tänkt att leda.

Sidan 69. "..they didn't rely on rough heuristics such as picking dominant or prestigious individuals..." Nähä, vad gick de efter, då? Det finns ju fler, uppenbara, "tumregler" för att avgöra vem som är bäst på frågesport. Och om det i stället var så att gruppdeltagarna kände igen de rätta svaren trots att de inte fick fram dem själva, så skulle ju detta passa bättre in i Merciers resonemang än att hänvisa till mer sofistikerade strategier.

Sidan 70. Om den förhatliga "folly of crowds" (majoritetens tyranni): "By this logic, the Earth is flat..." Haha, vilket självmål. För varje exempel på hur majoritetens åsikt (nu) överensstämmer med sanningen, så finns det lika många som visar motsatsen. Och Condorcets beslutsregel gäller bara under mycket specifika förhållanden - vilket Mercier naturligtvis känner till.

(Och varför argumenterar han nu för frekvens ≈ korrekthet? Det var ju det han ville ifrågasätta från början.)

Evolutionary valid cues respektive "nymodigheter" som statistik och sannolikhet. Tydligare kan det inte bli. Nej, människor resonerar inte spontant att 0,65^n > 0,5^n o.s.v.. De följer flocken, oavsett om dess medlemmars förmåga att korrekt välja riktning ligger över eller under 0,5. Det är ju precis det som är problemet. Det är inte en feature - det är en bug. (I xkcd-strip:en hänvisar protagonisten till sina "levelheaded" och höjdrädda vänner. Det motsvarar i sammanhanget den artificiella kunskap som ges i experimentet: varje deltagare har en 65 % chans att välja rätt.)

Återigen, när Mercier et al i artificiella situationer lyckas få sina försökspersoner att ta hänsyn till att alla andra bara har följt flocken, och att flocken i sin tur bara har följt efter en enstaka person - ja, då kan problemet reduceras till hur mycket tillit försökspersonen bör tillmäta just denna. (Och det är ett problem i sig.) Men hur ofta ser det ut så i verkligheten? Gigerenzer har i alla fall en ambition att designa beslutssituationer på ett sätt som sak ge individen så goda förutsättningar som möjligt, men Mercier vill att vi slår oss till ro och "litar" till att de flesta nog vet bäst själva.

When cues are evolutionarily valid, people weigh a number of them to decide how valuable the majority opinion is: size of the majority in relative terms (the degree of consensus) and absolute terms (group size), competence of the members of the majority, and the degree of dependency between their opinions.

Mercier, Not Born Yesterday, s. 74

Det finns så många problem med det här stycket. Vilken grupp talar vi om? Den "evolutionära valida" stammen? Vad har den för ekologisk validitet här och nu? Och hur väl fungerar egentligen den här beslutsprocessen ens på stamnivå? Det verkar som om Mercier har teleporterat några snävt rationella nutida människor till ett påhittat stamråd under stenåldern, där sakfrågan och utgången av förhandlingarna är av rent akademisk karaktär, och efter vilket deltagarna genast teleporteras tillbaka till nutiden. Men visst, kanske är detta en deskriptivt rimlig modell för den lokala "kvarterskyrkan" (vilken jag har beskrivit i tidigare texter).

Och så det vanliga snacket om att många deltagare i Aschs studie faktiskt inte böjde sig för majoriteten, och att många som gjorde det senare "erkände" att de egentligen visste det rätta svaret och endast hade prioriterat grupptillhörighet... Tja, här har vi det igen - är det bättre?

Sidan 76. Märklig definition av "social pressure". För Mercier verkar det endast betyda: "Jag måste göra detta för att visa andra att jag gör som de". Men det kan ju lika gärna innebära: "Eftersom andra gör det här så är det nog intressant, viktigt, korrekt."

"On the whole, our mechanisms of open vigilance provide us with a good estimate of who knows best". Detta har inte visats.

---

Cosmides, Boyer, Bloom och Pinker, m.fl. bidrar med varsin "blurb" på bokomslaget. De två senare formulerar sig med viss återhållsamhet men den sammantagna bilden de ger är att (med Boyers ord) "Mercier demolishes ... our cherished belief ... that (other) humans are ... gullible, an illusion that is entrenched in ... academic psychology ..." Ironiskt då att Pinker sedan många år befinner sig på en evighetslång världsturné där budskapet är just att människor är så nedtyngda av bias att de inte förmår ta till sig just hans uppenbart korrekta världsbild!

---

Kapitel 6

På sidorna 81-82 sammanfattar Mercier den första delen av kapitlet: "Evolutionarily valid behavioral cues to deception would be maladaptive - and, indeed, there don't seem to be any." Om detta håller jag med.

Men måste vi inte vara vaksamma? Kanske behövs det inte, eftersom folk sällan ljuger? Jo, det är klart att de gör: Om man kan komma undan med en lögn så vore man en idiot om man inte ljög. (Rent evolutionärt.) Och jag tänker på Grices maximer, och Gyges ring.

I en fotnot ifrågasätter Mercier t.o.m med det behov av självbedrägeri som enligt ex. Hanson och Simler skulle vara evolutionärt fördelaktigt, för att inte säga oundvikligt, i en informationskapprustning.

Negligence (medveten eller inte) borde övervakas och bestraffas lika hårt som deception. Låter idealistiskt.

"Our minds are, by necessity, egocentric, attuned to our own desires and preferences, likely to take for granted that people know everything we do and agree with us on most thing." Se där, en hel rad biases. Även om vi räknar bort de första, och låter Mercer förvandla nödvändighet till dygd, så återstår den Griceska godtrogenheten, curse of knowledge, m.m.

Det är alltså diligence - samvetsgrannhet - som vi borde värdesätta och protokollföra. Hmm... how's that working out for you?

Vi kan förutsätta diligence när våra incitament är naturally aligned... Det här kokar bara ner till samma refräng som tidigare: "blod är tjockare än vatten", "vi hugger inte varandra i ryggen så länge vi båda tjänar på att hjälpas åt att hugga någon annan i ryggen först", o.s.v. Och dessutom, om Trumps supportrar upplever (delvis med rätta?) att de har gemensamma intressen (t.ex. i att hålla kolindustrin igång) - hur rationellt är det?

Gemensamma fiender verkar vara bra att ha. Kanske nödvändigt?

Nu börjar det lukta homo economicus och nyliberal, idealiserad marknad. I bästa fall handlar det alltså om kortsiktiga och lokala win-win-situationer.

Och så en god portion "naturligt är gott". Of course.

Fotnot 26. Chimpanser ignorerar pekande för att det inte har något informationsvärde för dem. Really? Sååå... den evolutionära logiken (att hålla koll på gemensamma intressen) gäller bara talat språk?

Fotnot 29. "We are better of erring on the side of caution..." Alltid? Måste det vara så?

Självuppfyllande profetia. Negativ spiral. Alibi för lata och egocentriska.

Sidan 90. Commitment signals. "People say...". Adjusted for past commitment violations. Yeah, how's that working for you? Antingen skiter folk i att Trump konsekvent säger "People say". Eller så är det snarare en positiv signal: Jag ljuger. Ni vet att jag ljuger. Alla vet att jag ljuger. Men både ni och jag kan förneka att något enskilt uttalande är en medveten lögn följt av medvetna val att acceptera (eller inte ifrågasätta) just denna lögn. Tillsammans kan vi blåljuga och kortsluta samhällsdebatten, samtidigt som vi låtsas delta i den på lika villkor. (Jämför fotnot 37.)

Kahneman säger att världens tragedi är att vi litar mer på de självsäkra än på de samvetsgranna. Mercier säger att detta inte är något problem, eftersom vi justerar våra omdömen när vi senare upptäcker vårt misstag. Really? Tror han på det själv? Eller räknar han med att vi ska tro på honom (och marknaden, och Trump) nu - och strunta i att vi kommer att ångra oss när jordens medeltemperatur har stigit med ytterligare tre grader?

Nej, det gäller uppenbarligen bara i small scale societies. Alltså familjer, klaner, kvarterskyrkor.

Så hur klarar vi oss nu: "in the absence of positive cues, we reject communicated information". Ha!

Name recognition och branding. Möjliggör de verkligen för oss lära känna "the people who make sure the products we buy are safe"?

Sidan 94. "Even the best-informed, most competent speaker shouldn't be listened to if we don't think they have our interests at heart." Tydligare blir det inte.

Avslutningen av kapitel 6 är fullt av tveksamheter. Jaha, det är OK att lita på Pepsi för att Tiger Woods säger det? Och att sluta lita på Pepsi för att Tiger Woods är otrogen? Folk borde hålla koll på hur ofta politiker faktiskt håller sina löften, snarare än när de bryter dem? Vi borde lita mer på folk i allmänhet?

---

Kapitel 7

From the evolutionary perspective I have adopted in this book, emotional contagion is implausible. If emotions were truly contagious, if they forced irrepressible mimicry, they would be too easily abused. [...] If our emotions were so easily manipulated, we would be much better of not paying any attention to emotional signals.

Mercier, Not Born Yesterday, s. 98

Byt ut "emotional" mot "epistemological" eller "moral". Det kommer Mercier att göra.

Förutom det jag redan sagt om hur Mercier blandar ihop olika tider, platser och typer av situationer, så måste något mer här sägas om det "evolutionära perspektivet" och den naiva adaptionismen. Vad kan ett beteende vara om det inte är en (perfekt) anpassning (till en specifik tid, plats och situation)? Kan det ens finnas "på riktigt" överhuvudtaget? Jodå, det kan vara en s.k. "spandrel"; en mismatch; en kompromiss; för mycket av det goda; en bieffekt...

Det är ju fullständigt uppenbart - ur ett evolutionärt perspektiv - att däggdjur utvecklat just emotionell "smitta" för dess positiva konsekvenser. Mercier vill önsketänka fram en nyliberal atomär individ som agerar i "splendid isolation", med fri vilja och allt, och vars perfekt rationella beteende kan aggregeras med alla andras i en metafysisk drift mot ett harmoniskt optimum.

Sidorna 99-106. Bra om starka signaler. Tänkvärt om smittometaforen.

Sidan 107. "Whether or not an individual starts displaying bizarre behaviors is a function of their existing relationships..." Ja, delvis. Men det innebär inte att problemen försvinner. "Behaviors that are truly harmful ... serious self-harm ... do not create mass psychogenic illnesses". Här glids det på orden. Werther-självmord sprider sig inte heller till alla eller ens många i den omedelbara närheten, men den sociala närheten är inte geografisk - särskilt inte i internet-eran. Självskadebeteende "smittar" inte den omedelbara omgivningen, men väl de som befinner sig i fel omständigheter. Trump flyttar på Overtonfönstret och "smittan" sprider sig till diverse "incels", var och en isolerad i sin egen källare, hundratals kilometer ifrån både varandra och källan.

Om den missförstådda "massan", sid. 109-112. "...some people are ready to seize any chance to steal and assault ... Their actions are not driven by 'irresistible currents of passions' but by the opportunity to act with relative impunity that crowds provide" (s. 110). Och i en fotnot: "If, moreover, there is a gradation in how many people already behaving badly it takes to allow someone to behave badly, then the phenomenon looks like a cascade of influence, when in fact no (direct) influence takes place at all". Jösses! Snacka om motivated reasoning! Och, om vi accepterar resonemanget, inklusive tvetydigheterna - är det bättre?

Sidan 111. "...antisocial actions ... were driven by rational (albeit selfish) factors ... rather than sheer panic."

---


Kapitel 8 och 9

Om du har läst så här långt så måste jag tyvärr meddela att följetången härmed avslutas. Efter att ha läst kapitel 8 och 9 får jag bara ur mig invektiv. Jag ska läsa ut boken men mer skrivet här blir det inte. Det är inte värt besväret. Det är bara att konstatera: Karln är en monumental k*kskalle.

---

Christian Munthe om en konservativ vänster

Pinkers pågående kurs om rationalitet vid Harvard, föreläsning om social och politisk bias

Intentional agents as leaky abstractions

I have spent the day reading Kaj Sotala's sequence "Multiagent Models of Mind" on LessWrong. Six posts are published so far. At least three more are planned; they look really interesting, and I hope that they will answer my main question so far:

What does this actually mean, and what is the motivation for saying it?

Agent-ness being a leaky abstraction is not exactly a novel concept for Less Wrong; it has been touched upon several times, such as in Scott Alexander’s Blue-Minimizing Robot Sequence. At the same time, I do not think that it has been quite fully internalized yet, and that many foundational posts on LW go wrong due to being premised on the assumption of humans being agents. In fact, I would go as far as to claim that this is the biggest flaw of the original Sequences: they were attempting to explain many failures of rationality as being due to cognitive biases, when in retrospect it looks like understanding cognitive biases doesn’t actually make you substantially more effective. But if you are implicitly modeling humans as goal-directed agents, then cognitive biases is the most natural place for irrationality to emerge from, so it makes sense to focus the most on there.

This was what piqued my interest in reading, and what kept me going for five hours straight (!) But I didn't find what I was looking for. I did get a lot of other useful information, though: All in all, this is a wonderful, brilliant, deep and highly thought-provoking text. A lot of work and thought has gone into it. Kaj is surely one of the brightest minds around.

Now, I have no problem whatsoever with the first part of the passage quoted above. Of course intentional agents are an abstraction, and as such of course it is leaky. My concern lies with the second part: It seems to suggest that viewing people as intentional agents is mistaken; to coarse a model; misleading. Which seems to lead to the conclusion that cognitive biases are the wrong way to characterize human thinking and behavior. Which suggests that they are not even real...

I may be overly trigger-happy here. I am not out to criticize Sotala himself, nor - as it turns out - any major part of what he actually has written in this sequence so far. It is just that I am currently (yet again) in a process of investigation and possible re-orientation of what I believe is best characterized as the latest round of the "rationality wars". I am currently reading Gerd Gigerenzer's book "Risk Savvy", in a long stretch of similar stuff (e.g. Mercier & Sperber), with the aim of trying to reconcile the seemingly opposing sides in an ever ongoing battle for the right to define "rationality".

I am a long-time fan of Kahneman (and Dennett). It may be self-delusion on my part, but much of the criticism leveled at him and others seem to me either plain wrong, ideologically motivated or mistaken. The more I read, the more I get the feeling that my intuitive interpretation of Kahneman and others does not need updating; rather, it is his critics who either straw-man him or just do not have the whole picture.

Sotala promises to tell me why the biases and fallacies school of thought is lacking. But I just don't see it.

I would go as far as to claim that this is the biggest flaw of the original Sequences: they were attempting to explain many failures of rationality as being due to cognitive biases, when in retrospect it looks like understanding cognitive biases doesn’t actually make you substantially more effective. But if you are implicitly modeling humans as goal-directed agents, then cognitive biases is the most natural place for irrationality to emerge from, so it makes sense to focus the most on there. 

Just knowing that an abstraction leaks isn’t enough to improve your thinking, however. To do better, you need to know about the actual underlying details to get a better model. In this sequence, I will aim to elaborate on various tools for thinking about minds which look at humans in more granular detail than the classical agent model does. Hopefully, this will help us better get past the old paradigm.

There is a sense in which I get this: Higher-level abstractions trade accuracy for expediency, yes. And sometimes you need to go down an explanatory level or two, depending on your goals. But when it comes to explaining human decision making, or how humans view themselves and others and the society that emerges from their interaction, or why this is the case, or how and when problems and contradictions occur, or what to do about it... Well, I just don't see the need to shed the intentional stance or to deconstruct it. (Apart from convincing people that they are usually MoreWrong than they think.)

My main question when reading the above was - and still is: Are we talking descriptively, prescriptively, or normatively?

Mercier & Sperber, for instance, accuse Kahneman of assuming a logical, but flawed, human psyche. Rationality to them seems to mean a description of what people are, what they have evolved into - even if the process is incomplete. They then go on to sarcastically point out that there is no evolutionary reason to expect people to be logical inference machines. At the same time they redefine rationality to mean "socially flexible and pragmatic" rather than logical, and to contend that that is exactly what people are - so stop shaming them for not being able to solve logical puzzles. Also, they and Gigerenzer and others go on to say: "Oh, and by the way, people are quite adept at logic, statistics and probabilities - if you just stop tricking them!"

To me, this is highly confused. Man is not the measure of everything. Rationality, meaning logic, statistical thinking, utility maximizing etc, is a cultural invention, a norm, a standard to which we aspire - and should aspire. The fact that we have a hard time living up to those ideals is an observation of facts, and there are plenty of good reasons why this is the case. But it is equally obvious that we should do whatever we can to get beter at it. We can't (yet) re-engineer ourselves, so we need to work on education, societal structures, political systems etc.

Gigerenzer thinks Sunstein is an autocrat who doesn't trust people to know their own good. I think that Sunstein is way to libertarian.


---

One line of evidence for this are subliminal priming experiments, not to be confused with the controversial “social priming” effects in social psychology; unlike those effects, these kinds of priming experiments are well-defined and have been replicated many times.

Is there a difference? Sotala never uses the term, but I constantly think of associative networks (and perceptrons). Priming is potential for spreading activation. Priming is priming, however mixed results and exaggerated results from sloppy social-psychology experiments.



---

First, in order for the robot to take physical actions, the intent to do so has to be in its consciousness for a long enough time for the action to be taken. If there are any subagents that wish to prevent this from happening, they must muster enough votes to bring into consciousness some other mental object replacing that intention before it’s been around for enough time-steps to be executed by the motor system. (This is analogous to the concept of the final veto in humans, where consciousness is the last place to block pre-consciously initiated actions before they are taken.)

Oh, oh, oh! Veto without a libertarian prime mover. Yes! This resolves the tension I experienced when reading Patrik Lindenfors' speculations on free will in his new book "The Cultural Animal". Libet-experiments should measure several different signals simultaneously.


---

Second, the different subagents do not see each other directly: they only see the consequences of each other’s actions, as that’s what’s reflected in the contents of the workspace. In particular, the self-narrative agent has no access to information about which subagents were responsible for generating which physical action. It only sees the intentions which preceded the various actions, and the actions themselves. Thus it might easily end up constructing a narrative which creates the internal appearance of a single agent, even though the system is actually composed of multiple subagents.

Oh! Self-serving bias, confabulation, FAE, myside bias... But what is the difference in practice? It is still a case of self-deception.


---

Third, even if the subagents can’t directly see each other, they might still end up forming alliances. For example, if the robot is standing near the stove, a curiosity-driven subagent might propose poking at the stove (“I want to see if this causes us to burn ourselves again!”), while the default planning system might propose cooking dinner, since that’s what it predicts will please the human owner. Now, a manager trying to prevent a fear model agent from being activated, will eventually learn that if it votes for the default planning system’s intentions to cook dinner (which it saw earlier), then the curiosity-driven agent is less likely to get its intentions into consciousness. Thus, no poking at the stove, and the manager’s and the default planning system’s goals end up aligned. 

Fourth, this design can make it really difficult for the robot to even become aware of the existence of some managers. A manager may learn to support any other mental processes which block the robot from taking specific actions. It does it by voting in favor of mental objects which orient behavior towards anything else. This might manifest as something subtle, such as a mysterious lack of interest towards something that sounds like a good idea in principle, or just repeatedly forgetting to do something, as the robot always seems to get distracted by something else. The self-narrative agent, not having any idea of what’s going on, might just explain this as “Robby the Robot is forgetful sometimes” in its internal narrative.

Ah! Dunning-Kruger, ignorance, witness psychology, unwarranted self-assurance... But what is the difference from intentional agents and the bias and fallacies perspective?



---

Fifth, the default planning subagent here is doing something like rational planning, but given its weak voting power, it’s likely to be overruled if other subagents disagree with it (unless some subagents also agree with it). If some actions seem worth doing, but there are managers which are blocking it and the default planning subagent doesn’t have an explicit representation of them, this can manifest as all kinds of procrastinating behaviors and numerous failed attempts for the default planning system to “try to get itself to do something”, using various strategies. But as long as the managers keep blocking those actions, the system is likely to remain stuc

Aha! Akrasia, ”irrationality” in the sense of not living up to the homo economics template etc...


---

Sixth, the purpose of both managers and firefighters is to keep the robot out of a situation that has been previously designated as dangerous. Managers do this by trying to pre-emptively block actions that would cause the fear model agent to activate; firefighters do this by trying to take actions which shut down the fear model agent after it has activated. But the fear model agent activating is not actually the same thing as being in a dangerous situation. Thus, both managers and firefighters may fall victim to Goodhart’s law, doing things which block the fear model while being irrelevant for escaping catastrophic situations.”

But this is missing an evolutionary perspective (which Sotala brings up much later) outside of the individual agent. Systems that are reasonably well adjusted beget offspring with pre-installed settings that also work reasonably well (as long as the environment doesn't change too much).

Goodhart! Yes! Isn't that the perfect summation of every bias in the book!?


It's a (too) tall order to get people to change their evolved picture of themselves and others, from intentional agents to more or less coordinated subsystems.

Normatively, also we want to act, judge and be judged as intentional agents.



---

Exiles are said to be parts of the mind which hold the memory of past traumatic events, which the person did not have the resources to handle. They are parts of the psyche which have been split off from the rest and are frozen in time of the traumatic event. When something causes them to surface, they tend to flood the mind with pain. For example, someone may have an exile associated with times when they were romantically rejected in the past. 

IFS further claims that you can treat these parts as something like independent subpersonalities. You can communicate with them, consider their worries, and gradually persuade managers and firefighters to give you access to the exiles that have been kept away from consciousness. When you do this, you can show them that you are no longer in the situation which was catastrophic before, and now have the resources to handle it if something similar was to happen again. This heals the exile, and also lets the managers and firefighters assume better, healthier roles.

Very Freudian! Both in a good sense and in a bad one. (And I suspect that the IFS crowd really longs for a true Self - which is exactly what there isn't!)


---

In my earlier post, I remarked that you could view language as a way of joining two people’s brains together. A subagent in your brain outputs something that appears in your consciousness, you communicate it to a friend, it appears in their consciousness, subagents in your friend’s brain manipulate the information somehow, and then they send it back to your consciousness. 

If you are telling your friend about your trauma, you are in a sense joining your workspaces together, and letting some subagents in your workspace, communicate with the “sympathetic listener” subagents in your friend’s workspace. So why not let a “sympathetic listener” subagent in your workspace, hook up directly with the traumatized subagents that are also in your own workspace?

Yeah... This is what Mercier & Sperber get right - social cognition. But a bit too idealized on communication with others. There is a lot of "pollution" in those exchanges... Even internal monologues are polluted by irrelevant concerns and noise.


---

Instead of remaining blended, you then use various unblending / cognitive defusion techniques that highlight the way by which these thoughts and emotions are coming from a specific part of your mind. You could think of this as wrapping extra content around the thoughts and emotions, and then seeing them through the wrapper (which is obviously not-you), rather than experiencing the thoughts and emotions directly (which you might experience as your own). 

...when I became aware of how much time I spent on useless rumination while on walks, I got frustrated. And this seems to have contributed to making me ruminate less: as the system’s actions and their overall effect were metacognitively represented and made available for the system’s decision-making, this had the effect of the system adjusting its behavior to tune down activity that was deemed useless.

Creativity? Heureka moments? Openness to new impressions? (This is discussed later.)

---

Similarly, several of the experiments which get people to exhibit incoherent behavior rely on showing different groups of people different formulations of the same question, and then indicating that different framings of the same question get different answers from people. It doesn’t work quite as well if you show the different formulations to the same people, because then many of them will realize that differing answers would be inconsistent.

This is the point of contention in the rationality wars!


---

The original question which motivated this section was: why are we sometimes incapable of adopting a new habit or abandoning an old one, despite knowing that to be a good idea? And the answer is: because we don’t know that such a change would be a good idea. Rather, some subsystems think that it would be a good idea, but other subsystems remain unconvinced. Thus the system’s overall judgment is that the old behavior should be maintained.

Yees! But normatively, we can know that something is better, while emotionally we do not experience it that way. This is what a bias is!



---

Nevertheless, a fundamental problem remains: at any point in time, which mode should be allowed to control which component of a task? Daw et al. have used a computational approach to address this problem. Their analysis was based on the recognition that goal-directed responding is flexible but slow and carries comparatively high computational costs as opposed to the fast but inflexible habitual mode. They proposed a model in which the relative uncertainty of predictions made by each control system is tracked. In any situation, the control system with the most accurate predictions comes to direct behavioural output. 

Note those last sentences: besides the subsystems making their own predictions, there might also be a meta-learning system keeping track of which other subsystems tend to make the most accurate predictions in each situation, giving extra weight to the bids of the subsystem which has tended to perform the best in that situation. We’ll come back to that in future posts.

Automatic vs controlled processes (system 1 and 2). Again, a tall order to transition from the former to the latter. Energy conservation. But also, built-in inertia to avoid paralysis (see Minsky quote):

”Human self-control is no simple skill, but an ever-growing world of expertise that reaches into everything we do. Why is it that, in the end, so few of our self-incentive tricks work well? Because, as we have seen, directness is too dangerous. If self-control were easy to obtain, we'd end up accomplishing nothing at all.”

---

When there is significant uncertainty, the brain seems to fall back to those responses which have worked the best in the past - which seems like a reasonable approach, given that intelligence involves hitting tiny targets in a huge search space, so most novel responses are likely to be wrong.

Also over evolutionary time, over generations. Bias as hard-coded patterns which have previously comprised the best compromise.

---

...positive or negative moods tend to be related to whether things are going better or worse than expected, and suggest that mood is a computational representation of momentum, acting as a sort of global update to our reward expectations.

Yeeesss!!!


---

So to repeat the summary that I had in the beginning: we are capable of changing our behaviors on occasions when the mind-system as a whole puts sufficiently high probability on the new behavior being better, when the new behavior is not being blocked by a particular highly weighted subagent (such as an IFS protector whose bids get a lot of weight) that puts high probability on it being bad, and when we have enough slack in our lives for any new behaviors to be evaluated in the first place. Akrasia is subagent disagreement about what to do.

This is perfectly in line with the bias perspective.


---

Likewise, the subagent frame seems most useful when a person’s goals interact in such a way that applying the intentional stance - thinking in terms of the beliefs and goals of the individual subagents - is useful for modeling the overall interactions of the subagents.

Confusing. Wasn't the whole point to question the intentional agent, the system as a whole, the unmoved mover, the green man at the center of it all?



---

More generally, subagents may be incentivized to resist belief updating for at least three different reasons (this list is not intended to be exhaustive): 

1 The subagent is trying to pursue or maintain a goal, and predicts that revising some particular belief would make the person less motivated to pursue or maintain the goal. 

2 The subagent is trying to safeguard the person’s social standing, and predicts that not understanding or integrating something will be safer, give the person an advantage in negotiation, or be otherwise socially beneficial. For instance, different subagents holding conflicting beliefs allows a person to verbally believe in one thing while still not acting accordingly - even actively changing their verbal model so as to avoid falsifying the invisible dragon in the garage. 

3 Evaluating a belief would require activating a memory of a traumatic event that the belief is related to, and the subagent is trying to keep that memory suppressed as part of an exile-protector dynamic.

Reminds me of Omohundro's thesis on goal-preservation. (And Olle's problematization of the same...)


---

Suppose that a disease, or a monster, or a war, or something, is killing people. And suppose you only have enough resources to implement one of the following two options:

1. Save 400 lives, with certainty.
2. Save 500 lives, with 90% probability; save no lives, 10% probability.

Most people choose option 1. [...] If you present the options this way:

1. 100 people die, with certainty.
2. 90% chance no one dies; 10% chance 500 people die. 

Then a majority choose option 2. Even though it's the same gamble. You see, just as a certainty of saving 400 lives seems to feel so much more comfortable than an unsure gain, so too, a certain loss feels worse than an uncertain one. 

In my previous post, I presented a model where subagents which are most strongly activated by the situation are the ones that get access to the motor system. If you are hungry and have a meal in front of you, the possibility of eating is the most salient and valuable feature of the situation. As a result, subagents which want you to eat get the most decision-making power. On the other hand, if this is a restaurant in Jurassic Park and a velociraptor suddenly charges through the window, then the dangerous aspects of the situation become most salient. That lets the subagents which want you to flee to get the most decision-making power. 

Eliezer’s explanation of the saving lives dilemma is that in the first framing, the certainty of saving 400 lives is salient, whereas in the second explanation the certainty of losing 100 lives is salient. We can interpret this in similar terms as the “eat or run” dilemma: the action which gets chosen, depends on which features are the most salient and how those features activate different subagents (or how those features highlight different priorities, if we are not using the subagent frame). 

Suppose that you are someone who was tempted to choose option 1 when you were presented with the first framing, and option 2 when you were presented with the second framing. It is now pointed out to you that these are actually exactly equivalent. You realize that it would be inconsistent to prefer one option over the other just depending on the framing. Furthermore, and maybe even more crucially, realizing this makes both the “certainty of saving 400 lives” and “certainty of losing 100 lives” features become equally salient. That puts the relevant subagents (priorities) on more equal terms, as they are both activated to the same extent. 

What happens next depends on what the relative strengths of those subagents (priorities) are otherwise, and whether you happen to know about expected value. Maybe you consider the situation and one of the two subagents (priorities) happens to be stronger, so you decide to consistently save 400 or consistently lose 100 lives in both situations. Alternatively, the conflicting priorities may be resolved by introducing the rule that “when detecting this kind of a dilemma, convert both options into an expected value of lives saved, and pick the option with the higher value”. 

By converting the options to an expected value, one can get a basis by which two otherwise equal options can be evaluated and chosen between. Another way of looking at it is that this is bringing in a third kind of consideration/subagent (knowledge of the decision-theoretically optimal decision) in order to resolve the tie.

1. 400 survivors is not interpreted as 100 deaths, but rather as "at most 100 deaths".

2. This is Gigerenxer's schtick: "We don't really have any biases. It's just a question of presenting or rephrasing situations so that it becomes obvious how to deal with them." But it is precisely the fact that this is not done which comprises the bias! (That, and the fact that we don't even experience any need to rephrase the situation.)

3. What is the rationale for preferring expected utility over, say, a sure positive? How does one resolve that conflict, before and after the choice? To oneself? To others?


---

The structure of the “parking ticket” and “cheque” scenarios are equivalent, in that both cases you can take an action to be $90 better off after 30 days. If you notice this, then it may be possible for you to re-interpret the action of paying off the parking ticket as something that gains you money, maybe by something like literally looking at it and imagining it as a cheque that you can cash in, until cashing it in starts feeling actively pleasant.

No. In one case, you lose something, or end up owing something that you may not even have. You wouldn't survive if you had to give away your food. In the other case, you go from surviving as usual to receiving a windfall, an extra bonus. This is exactly the kind of ill-conceived homo economicus rationality that even the economists have abandoned.


---

Reading through my notes, I am starting to wonder if what you're really saying is this: "There is no man in the middle, no unmoved mover, no central control to which we can ascribe beliefs and desires, or hold accountable; who is the author of our destiny, the locus of our (free) will."

And of course I agree.

Maybe your point is that viewing ourselves and others as intentional agents create or reinforce these misconceptions; that we need to understand that we *don't* actually have good reasons for thinking, feeling and doing what we do. That to humble ourselves, we need to understand that the self, the agent, is a figment of our imagination, an illusion to explain our subconscious elephant to our translucent rider...

And I agree.

But still: The best way to summarize the totality is the intentional agent. Maybe this is the reason why I am confused: I have always, ever since childhood, been perfectly onboard with a super-cynical view of people as biological contraptions, recently endowed with (an experience of) (self-)awareness; trying to make sense of the (apparent) voices inside our heads.

The intentional agent is a big improvement over many previous centuries of an over-inflated sense of importance. It is a description of how we have evolved to navigate in the world and coordinate with other moving objects. It is an "as if"-model. Nothing more. This is blatantly obvious to me.

The biases-and-fallacies paradigm serves as an educational device in the service of convincing people who think that we know what we (and others around us) are doing, that we don't. Or at least, that our guesses are just that: shortcuts that try to minimize catastrophic failures in a maximum number of (familiar) situations.