Ett ämne som ligger mig varmt om hjärtat är "Missförstånd och känslor i debatter", som jag tidigare skrivit om vid flera tillfällen.
När man debatterar komplicerade saker på bloggar och på internetfora, så vill man gärna hänvisa till någon form av auktoritet inom aktuellt vetenskapligt fält.
Motdebattören kan sedan svara med att länka till en undersökning/professor som säger annat. Och så gäller det att (för den som hinner och är intresserad) botanisera bland de olika undersökningarna, för att kolla vilka felkällor de kan tänkas ha. Ibland ter sig svaret tydligt, men ofta är det en hel härva att reda ut, bland alla påståenden.
Jag tänker mig vetenskaplig metod som ungefär följande:
Logik och förnuft tillämpad på empiriska observationer
Ju känsligare ett debattämne är, desto fler olika uttlanden och tolkningar av observationerna.
En riktigt het potatis blir det om det mest råder oenigheter utanför den vetenskapliga sfären, dvs bland folk som inte är forskare inom fältet ifråga, samtidigt som man är ganska överens inom akademierna.
Funderar lite på hur man ska lösa problemet med de överhettade diskussionerna som jag sett ute på nätet, där deltagarna inte tycks förstå vilket klurigt ämne de dividerar om (och det är ofta två väldigt smarta individer som stångar sina pannor blodiga) - även om detta inte betyder att den ene inte kan ha helt rätt. Här kommer några förslag:
1. Ta en fråga i taget, (eller kanske några få i punktform); det är ett sätt att ödmjukt erkänna ämnesområdets många parametrar.
2. Oavsett vilken ståndpunkt man har, kan det vara hederligt att informera om det som verkar vara konsensus inom de vetenskapliga akademierna ute i världen.
Man behöver absolut inte hålla med gänget, men det underlättar om man då nogrannt berättar varför.
3. Det kan vara en fördel om de undersökningar som stöder ens tes finns publicerade i en väl-renommerad tidskrift: T ex Nature, Science, etc....
(även dessa redaktioner har vid några tillfällen blivit lurade, men de har kontroller som gör det mindre sannolikt för bluffarna att slinka igenom)
4. När man kritiserar ett specifikt resonemang/undersökning, så bör man argumentera för på vilket sätt just den visar fel, eller vilka felkällor den har (man får gärna vara hur konkret som helst på denna punkt)
5. Man får extra guldstjärna om man även påpekar det som motståndaren har rätt i :)
Uppsala-initiativet: Vad är så bra med konsensus?
När man debatterar komplicerade saker på bloggar och på internetfora, så vill man gärna hänvisa till någon form av auktoritet inom aktuellt vetenskapligt fält.
Motdebattören kan sedan svara med att länka till en undersökning/professor som säger annat. Och så gäller det att (för den som hinner och är intresserad) botanisera bland de olika undersökningarna, för att kolla vilka felkällor de kan tänkas ha. Ibland ter sig svaret tydligt, men ofta är det en hel härva att reda ut, bland alla påståenden.
Jag tänker mig vetenskaplig metod som ungefär följande:
Logik och förnuft tillämpad på empiriska observationer
Ju känsligare ett debattämne är, desto fler olika uttlanden och tolkningar av observationerna.
En riktigt het potatis blir det om det mest råder oenigheter utanför den vetenskapliga sfären, dvs bland folk som inte är forskare inom fältet ifråga, samtidigt som man är ganska överens inom akademierna.
Funderar lite på hur man ska lösa problemet med de överhettade diskussionerna som jag sett ute på nätet, där deltagarna inte tycks förstå vilket klurigt ämne de dividerar om (och det är ofta två väldigt smarta individer som stångar sina pannor blodiga) - även om detta inte betyder att den ene inte kan ha helt rätt. Här kommer några förslag:
1. Ta en fråga i taget, (eller kanske några få i punktform); det är ett sätt att ödmjukt erkänna ämnesområdets många parametrar.
2. Oavsett vilken ståndpunkt man har, kan det vara hederligt att informera om det som verkar vara konsensus inom de vetenskapliga akademierna ute i världen.
Man behöver absolut inte hålla med gänget, men det underlättar om man då nogrannt berättar varför.
3. Det kan vara en fördel om de undersökningar som stöder ens tes finns publicerade i en väl-renommerad tidskrift: T ex Nature, Science, etc....
(även dessa redaktioner har vid några tillfällen blivit lurade, men de har kontroller som gör det mindre sannolikt för bluffarna att slinka igenom)
4. När man kritiserar ett specifikt resonemang/undersökning, så bör man argumentera för på vilket sätt just den visar fel, eller vilka felkällor den har (man får gärna vara hur konkret som helst på denna punkt)
5. Man får extra guldstjärna om man även påpekar det som motståndaren har rätt i :)
Uppsala-initiativet: Vad är så bra med konsensus?
12 kommentarer:
Viss förvirring brukar ofta uppstå vid punkt 3. Debattörer hänvisar till en "vetenskaplig tidskrift" som inte är vatten värd; tex "Obscure Journal of Nonsense" eller "Latvian Journal of Absolutely no General Interest".
Man kan få en ganska god hjälp i tidskriftsdjungeln genom att gå in på Journal Citation Report (Thomson Scientific). Där kan man jämföra tidskrifternas s.k. Impact Factor. Såvida man inte är en väldigt nischad forskare så gör man klokt i att hålla sig till de tidskrifter som har en mycket hög Impact Factor, relativt andra tidskrifter i samma genre.
Om man ska hålla en metadiskussion om vetenskapliga diskussioner, bör man först och främst vara medveten om de problem som finns med själva den vetenskapliga rapporteringen. Det finns en övertro på experter både inom och utanför den akademiska världen, som inte är justerad mot verkligheten.
Läs gärna detta från PLoS Medicine. Slutsatsen är att den mest bristfälliga forskningen tenderar att produceras i de ämnen som ger mest pengar och publicitet. Ganska obekväm insikt, heh?
För den som har bra allmän översikt och koll på vetenskapshistorien, är det knappast heller någon nyhet. 70-talet hade sin upprörda debatt om den katastrofala överbefolkningen som utan tvekan hotade i världen, där forskare mangrant slöt upp bakom politiker och FN och desavouerade alla avvikande åsikter - ingen av deras förutsägelser slog in. 80-talet hade sin debatt om skogsdöden, som slutade i tigande tystnad eftersom några marginaliserade forskare lyckades visa svart på vitt att sur mark inte påverkar skogsväxten. Att lågkolhydratdiet är en sund och mycket effektiv bantningsmetod har dokumenterats först på senaste tiden, när detsamma kunde ha gjorts för flera decennier sedan - om viljan bara funnits.
Se också där vad "konsensus" är värd när den i själva verket skapas och upprätthålls genom retorik, attityd och moralisering snarare än saklig debatt och förutsättningslös forskning.
Jag tror definitivt på vetenskap, det har framgått tydligt redan innan. Men snarare just därför är det viktigt att hålla reda på vad som är god och pålitlig vetenskap, och vad som inte är det...
Johan S
Obscure Journal Of Nonsense?
Latvian Journal of Absolutely No General Interest?
Jag gillar dina alternativa tidskrifter :)
Om man vill vara riktigt säker på varandras källor kan man t ex envist bestämma:
- Ok, vi kan debattera denna fråga:
Men jag accepterar ENDAST hänvisningar till artiklar i
New England Journal Of Medicine!
(om det nu är den tidning man litar mest på)
Aleph
Intressant. speciellt punkterna med felkällor och sannolikheter.
Hittar dock inte statistiken som stöder artikelns diagram.
*Vilka tidskrifter har han undersökt specifikt, när det gäller publicering av felaktigheter?
*Vilken tidsrymd? ("Ex: Jämförelser mellan en årgångs artiklar i tidskriften Science och vad som senare visade sig stämma")
*Hur fastställde författaren vad som visade sig stämma med verkligheten,
i en viss vetenskaps-artikel?
Felkällor och bias som påverkar publiceringsbenägenheten förstår jag,
men vad är det som anger antalet procent med vilket en viss specifik bias påverkar?
Z: Nja, det verkar som om du inte läst PLoS-texten så väl. Det är ju en essä där Ioannidis refererar andra studier. Han är också noggrann med att referera sina källor, t.ex:
"Several methodologists have pointed out [9–11] that the high rate of nonreplication (lack of confirmation) of research discoveries is a consequence of the convenient, yet ill-founded strategy of claiming conclusive research findings solely on the basis of a single study assessed by formal statistical significance ..."
Det finns några riktigt goda genomgångar av Ioannidis arbete på nätet:
http://www.marginalrevolution.com/marginalrevolution/2005/09/why_most_publis.html
http://www.theness.com/neurologicablog/?p=8
http://scienceblogs.com/insolence/2007/09/the_cranks_pile_on_john_ioannidis_work_o.php
http://www.sciencebasedmedicine.org/?p=262
I huvudsak visar Ioannidis att små, preliminära studier har en högre tendens att resultera i falska positiv eller negativ. Över tiden tenderar dock vidare forskning att ge allt mer tillförlitliga resultat. I länkarna här ovan finns mycket mer info.
Pekka: I huvudsak visar Ioannidis att små, preliminära studier har en högre tendens att resultera i falska positiv eller negativ.
Nej, i huvudsak visar han detta:
In this framework, a research finding is less likely to be true when the studies conducted in a field are smaller; when effect sizes are smaller; when there is a greater number and lesser preselection of tested relationships; where there is greater flexibility in designs, definitions, outcomes, and analytical modes; when there is greater financial and other interest and prejudice; and when more teams are involved in a scientific field in chase of statistical significance.
Notera också att vissa av skribentera du länkar till visserligen ojar sig över att vissa "cranks" har använt sig av hans studie, men att de också ger Ioannidis rätt i sak (om än med vissa förbehåll, naturligtvis).
Aleph: Visst ger de honom rätt i sak. Tror inte att det finns mycket att klaga på gällande hans forskning. Och citatet du presenterar säger väl inte direkt emot min sammanfattning? Precis som Ioannidis säger är det (bl a) vagare och mindre studier som i högre grad tenderar att ge falska utfall.
Dock har du rätt i att jag inte hade med alla punkterna från Ioannidis egna slutsats, vilket var lite slarvigt av mig. Jag ville lägga fokus på en av punkterna, precis som du gjorde genom att endast framhäva pengar och publicitet. Men det är bra att du publicerade ett mer omfattande citat.
Något som inte Ioannidis nämner i citatet är sk prior probability vilket är något som saknas som faktor i evidensbaserad medicinforskning. Man tar helt enkelt inte hänsyn till hur sannolikt ett givet utfall kommer att vara i en studie utifrån våra nuvarande kunskaper. En studie gällande t ex kristallterapi behandlas allså på samma sannolikhetsvillkor som en ny lovande cancerbehandling. Men i verkligheten är sannolikheten för ett positivt utfall olika för olika studier.
Är tveksam till din analys av klimatforskningen, men vi ska nog inte gå in på den diskussionen här. Det räcker med att vi är överens om grunderna.
Såg debatten angående skolmaten igår som Bert Carlsson driver - med fragång. Han är värd en guldstjärna och han har vänt min tidigare negativ bild av honom.
Han vinner såklart på auktoritet och kändisskap, alla vet att han har rätt - skolmaten är usel. Men varför har ingen lyckas få fram frågan de sista åren utom han, kan man undra, när det gjorts vetenskapliga undersökningar och dietister har bråkat sig heta mot politiker. Helt plötsligt sitter de och skäms och har såklart tänkt på att ändra lagen, långt innan Bert tog upp frågan?!!
Han gjorde också som du skriver, höll med motståndaren i vissa frågor och sa det, men var enkel och konkret i kritiken. Han var stenlugn och log. Och fick ordflödet från politikerna att låta som strunt och vann också på det - de gjorde sig själva till clowner - trots att de egentligen inte sa nåtogt "fel".
Det blev långt och kanske inte direkt ämnet... men du fick mej att tänka på just auktoritet som något viktigt - och Bert för hans lite familjära och välvilligt roliga framtoning som gör att man/och motståndaren, också lyssnar på argumenten.
Alde
En fråga dyker upp i mitt huvud: Inom vilket område anser du Bert Karlsson vara en auktoriet? Inom skränighet? ;)
Fast det finns faktiskt ännu en grej där jag håller med honom, förutom ditt exempel: I början av 90-talet ställde han tydligen en enkel fråga i media om varför man behöver bli rånad varje gång man ska handla mat.
Matpriserna var, speciellt fram till för ett par år sedan, astronomiska jämfört med i resten av EU.
Ah, ett härligt ämne!
Men, är inte en huvudfråga - vill debattörerna alls nå konsensus, eller endast uppvisa spår av "intellektuell" briljans, eller i värsta fall tro sig kunna "vinna" någon slags tävling?
Ifall inte avsikten alls är att ta till sig andras perspektiv - ja, då är diskussionen ganska meningslös och utgången tämligen given...
Zoltan!
*hoppar runt av glädje*
Vilken comeback.
Ja, man kan ibland undra över vad det är vi ägnar oss åt i debatterna: dissertationer eller faktiska ärliga undersökningar av sanningen
Skicka en kommentar