Jak můžete vidět, depresivní a zdraví participanti se ve vylučování serotoninu prakticky vůbec neliší, až na jednoho depresivního člověka (zakroužkovaný vlevo dole) a 2 zdravé lidi (zakroužkovaní vpravo nahoře). Taková data vám neposkytují „jasný důkaz“ pro skupinové rozdíly.
Podívejte se na graf znova, ale tentokrát si představte, že osa y označuje výšku lidí. Z dat byste určitě nevyvodili závěr, že existuje „jasný důkaz“ pro výškový rozdíl (depresivní lidé by byli menší než zdraví). Ano, je tam jeden depresivní člověk, který je poměrně malý a 2 zdraví lidé, kteří jsou naopak dost vysocí, ale celkově si jsou obě skupiny ve výšce velmi podobné.
Ke zkoumání skupinových rozdílů ve vyplavování serotoninu autoři využili tři statistické testy. Dva z nich sotva vyšly statisticky signifikantní (obě p-hodnoty jsou 0,04, za signifikantní je považováno cokoliv pod 0,05), třetí z nich signifikantní není. Rád bych zde zdůraznil, že výsledky těchto tří testů přináší nejslabší možné důkazy pro závěr, který se ještě dá považovat za významný.
Existuje spousta způsobů, kterými může vědec otestovat, zda je něco významné, smysluplné nebo zajímavé. Pokud použijete p-hodnoty, tak si můžete stejně jako autoři studie nastavit hranici signifikance na 0,05, ale zároveň je běžné používat i přísnější hodnotu, jako je třeba 0,01 nebo dokonce 0,001. Pokud by si autoři studie vybrali poslední dvě zmíněné hranice, jejich výsledky by už signifikantní nebyly.
Místo p-hodnot můžete využít i takzvaný Bayesův faktor. Ten porovná soupeřící hypotézy („depresivní lidé mají nižší vylučování serotoninu než zdraví lidé“ vs. „rozdíl neexistuje“) a následně vypočítá poměrnou míru podpory pro oba modely. Autoři studie Bayesův faktor nepoužili, nicméně pokud si ho vypočítáte sami, zjistíte, že je menší než 1 – což znamená, že neexistuje naprosto žádný důkaz pro serotoninovou hypotézu deprese. K podpoře této hypotézy byste potřebovali faktor vyšší jedné a pro získání „jasného důkazu“, kterým se autoři chlubí, pak faktor 5 nebo dokonce 10.
Nicméně, autoři zmíněné způsoby kvantifikace důkazů neberou v potaz. Dokonce nepočítají ani velikost efektu výsledků. Velikost efektu se lišší od p-hodnot a řekla by nám, bez ohledu na statistickou signifikanci, jak rozdílné jsou v této studii zkoumané skupiny vzhledem k množství vylučování serotoninu. Jde o běžnou statistickou praxi a osobně věřím, že autoři velikosti efektu nereportovali z toho důvodu, že by v jejich studii vyšla jako minimální. A pokud zde nejsou téměř žádné rozdíly mezi zdravými a depresivními lidmi, tak z toho ani nemůžete vyvodit žádné teorie o patofyziologii nemoci.
Další způsob myšlení o velikosti efektu vede skrze odebírání náhodných participantů. Erick Turner v tomto ohledu zmiňuje metaforu zmeškaného taxíku, kterou mám moc rád.
Představte si, že vaše studie poskytuje „jasné důkazy“ pro podporu nějaké teorie. Teď připusťte, že jeden depresivní účastník, konkrétně ten, který je na grafu vlevo dole, tedy ten s odlehlou hodnotou, v den studie zmešká taxi a nemůže se šetření zúčastnit. Kvůli této malé události by už výsledky studie nebyly signifikantní, a pro podporu serotoninové hypotézy deprese by nepřinášely žádné důkazy. Vaše výsledky zkrátka nejsou robustní, pokud je může dramaticky ovlivnit neúčast jednoho participanta.
Pro „jasné důkazy“ byste potřebovali mnohem větší vzorky, ve kterých jednotlivé odlehlé hodnoty nemají vliv na hlavní závěry studie. Vzpomeňte si na volební průzkumy, které jsme zmínili výše: pokud by jediný účastník šetření změnil výsledek z „jasný důkaz pro výhru strany 1“ na „jasný důkaz pro výhru strany 2“, pravděpodobně byste ho zamítli jako neinformativní.
Kromě testování, zda se v mozcích depresivních lidí oproti zdravým lidem uvolňuje v reakci na amfetaminy více serotoninu, zkoumají autoři i to, zda závažnost deprese (spíše než diagnóza samotná) souvisí s hladinami serotoninu (nebo se změnami hladin serotoninu; prošetřeny byly obě otázky). Pokud by mezi závažností a hladinami nalezli signifikantní vztah, jednalo by se o důležitou podporu serotoninové hypotézy deprese. Ta totiž tvrdí, že nízké hladiny serotoninu mají u depresivních osob kauzální vliv v rámci patofyziologie deprese.
Tomu odpovídá i hypotéza autorů, že existuje vztah mezi hladinou serotoninu a závažností deprese (čím nižší je hladina serotoninu, tím vyšší je závažnost deprese). Autoři ale žádnou statistickou souvislost nenašli a vyvozují, že: „v této chvíli nemáme žádné vysvětlení pro neexistenci takového vztahu“. Zkrátka, pokud nenajdete vztah mezi hladinou serotoninu a závažností deprese, tak nemůžete sebejistě tvrdit, že existuje „jasný důkaz“ pro podporu serotoninové hypotézy deprese.
Střet zájmů
Nakonec bych rád poukázal na nedostatky v prohlášení o střetu zájmů, které říká, že: „všichni autoři nemají žádné biomedicínské finanční zájmy nebo potenciální střety těchto zájmů“.
I když nemám čas do hloubky prověřit všechny autory, vím, že Dr. Nutt již dříve vykázal COI související s biomedicínským výzkumem. Například ve studii zveřejněné před několika měsíci zmínil, že: "D.N. obdržel honorář za konzultace od Algernona a H. Lundbecka a Beckley Psytech, honoráře za poradenství od COMPASS Pathways a poplatky za přednášky od Takedy a Otsuky a Janssen, plus vlastní akcie v Alcarelle, Awakn a Psyched Wellness“.
Ale tohle všechno ještě jde napravit, vzhledem k tomu, že studie publikovaná na webu vydavatele je zatím v „pre-proof“ verzi. Tohle nejspíš vysvětluje i několik dalších nepřesností a nesrovnalostí, které jsem v článku našel. Například p-hodnota hlavního závěru je v abstraktu uvedená jako 0,038, ve výsledkové části se už ale nevyskytuje (místo ní autoři reportují 0,041).
Závěr
Rád bych se ještě vyjádřil k jednomu častému postřehu, kterého lidé využívali ve snaze oponovat včerejší kritice studie (například na Twitteru): „Studie využívající PET jsou těžko proveditelné a je drahé a obtížné získat velké vzorky.“. I když mají z části pravdu, na argumentech kritiků studie to nic nemění.
Jak už jsem zmínil v jiném článku, malé vzorky nemusejí být nutně problematické a je zcela v pořádku mít ve studii pouze jediného participanta. Problém nastává až v momentě, kdy vědci vyvozují výsledky nad rámec poskytnutých důkazů, i když je třeba validita studie ohrožena nedostatky vzorku. Ve vzorku s N=1, nebo ve zmíněné studii se 17 depresivními účastníky, je naprosto v pořádku tvrdit, že jsme se něco naučili právě o tomto jednom člověku, respektive o 17 z nich. Pokud jsou závěry velmi silné, můžete dokonce postulovat i předběžná tvrzení a lobovat za jejich replikaci ve větších vzorcích. O depresi jako takové se toho ale zkoumáním pouhých 17 lidí s depresí mnoho nenaučíte – v cestě vám stojí hlavně potíže s externí validitou a heterogenní povaha deprese samotné.
Neboli jak mě cituje Hannah Devlin v článku Guardian: „Závěry, ke kterým autoři docházejí, neodpovídají prezentovaným důkazům“. A tohle je ten hlavní problém, ne velikost vzorku.
V článku je mnoho dalších nedostatků, které zde nechci rozebírat, ale jeden z nich možná přeci jen stojí za zmínění. Od vzniku serotoninové hypotézy v 60. letech 20. století jsme o depresi zjistili hodně poznatků, které této teorii neodpovídají. Mezi zjištění patří například i fakta, že diagnóza depresivní poruchy spojuje lidi s velmi rozdílnými problémy a etiologiemi do jediné skupiny, čímž brání efektivní léčbě, a že většina univerzálních léčebných postupů na deprese moc nefunguje.
Jen málo vědců dnes proto věří v existenci jediného kauzálního (biologického, psychologického nebo sociálního) mechanismu. Příkladem je právě serotonin jakožto hlavní hybatel deprese. Upozoruňuji, že přesně tohle serotoninová teorie deprese tvrdí (lidé v šedesátých letech běžně mluvili o „finální společné biologické cestě“ deprese).
Jak jsme ukázali ve dvou článcích publikovaných v posledních několika měsících, depresi je naopak pravděpodobně lepší chápat jako jev vynořující se ze systému biopsychosociálních součástí, které spolu komplexním způsobem interagují. Role serotoninu v tomto systému vyžaduje další zkoumání.
Tady je ještě malý teaser z naší poslední práce ohledně těchto systémů, dvě dokončené studie můžete najít zde (Nature Reviews Psychology) a zde (Current Directions in Psychological Science):
V létě roku 2019 mi jeden akademik, kterého velmi obdivuji, na několik měsíců laskavě půjčil své kolo, s jistotou, že se o něj dobře postarám. Když se po třech týdnech kolo rozbilo, velmi jsem se strachoval, dokud mě nezachránil redukcionismus: Kola mohou být rozložena na dílčí součásti a jejich oprava obnoví funkci celku. Duševní onemocnění bohužel nejsou jako kola – stejně jako mnohé jiné komplexní systémy přírody. Čistotu nebo kalnost jezera způsobuje interakce mnoha elementů, jako je množství kyslíku, míra slunečního svitu, přítomnost ryb, znečištění a tak podobně. To, jestli je moje nálada při psaní tohoto manuskriptu úzkostná nebo šťastná, je výsledkem kauzálních vztahů mezi elementy mého systému nálady, který zahrnuje moji osobnost a dispozice; kvalitu mého spánku z předešlé noci; míru konzumace kofeinu; a vnější vlivy, jako jsou třeba moje emaily ve schránce. To samé pak platí i pro zdravotní stavy. Ze systémového pohledu pramení tyto stavy z interakcí mnoha biologických, psychologických a sociálních prvků, včetně specifických rizik a protektivních faktorů, nálad, myšlenek, chování, biologické predispozice a životního prostředí.
EDIT, 13. listopad 2022: Zrovna jsem si všiml, že Guardian změnil původní titulek článku ze: „Studie našla přímý důkaz“ na: „Studie tvrdí, že našla přímý důkaz“ jen několik dní potom, co jsem napsal na svůj blog. A zároveň se ukazuje, že jsem nebyl jediným, kterého napadlo, že závěry studie neodpovídají poskytnutým důkazům.