Badanie „spinu” w czasopismach naukowych
Niedawne badanie dotyczyło „spinu” w artykułach naukowych z psychiatrii i psychologii. Autorzy badania stwierdzili spin w ponad połowie analizowanych streszczeń.Jaki może to mieć wpływ na decyzje lekarzy?
Gdy serwisy informacyjne i medialne rywalizują o opinie, czasami mogą wyolbrzymiać nagłówki i treści, aby zwabić czytelnika.
Chociaż wielu uważa, że czasopisma naukowe są jednymi z najbardziej wiarygodnych źródeł informacji, nie są one odporne na chęć ich czytania i udostępniania.
Niedawne badanie miało na celu ocenę, jak bardzo „spin” autorzy używali w streszczeniach artykułów naukowych publikowanych w czasopismach psychologicznych i psychiatrycznych.
Zdecydowali się spojrzeć na abstrakty, ponieważ podsumowują całą pracę, a lekarze często używają ich, aby pomóc w podejmowaniu decyzji medycznych.
Co to jest spin?
W tym badaniu autorzy zarysowują swoją definicję spinu w następujący sposób:
„[Z] on korzysta ze specyficznych strategii raportowania, niezależnie od motywu, aby podkreślić, że eksperymentalne leczenie jest korzystne pomimo statystycznie nieistotnej różnicy w odniesieniu do pierwotnego wyniku lub aby odwrócić uwagę czytelnika od statystycznie nieistotnych wyników”.
Autorzy opublikowali swoje ustalenia w czasopiśmie BMJ Medycyna oparta na faktach. Przyjrzeli się artykułom z sześciu najlepszych czasopism psychiatrycznych i psychologicznych z lat 2012–2017.
Czasopisma wliczone w cenę JAMA Psychiatry, the American Journal of Psychiatryi British Journal of Psychiatry.
W szczególności badacze skupili się na randomizowanych badaniach kontrolowanych z „nieistotnymi pierwszorzędowymi punktami końcowymi”. Pierwszorzędowym punktem końcowym badania jest główny wynik badania, a „nieistotny” w tym kontekście oznacza, że statystycznie zespół nie znalazł wystarczających dowodów na poparcie swojej teorii.
Spin występuje w wielu formach, w tym:
- selektywne raportowanie wyników, przy czym autorzy wymieniają tylko niektóre wyniki
- P-hacking, w ramach którego naukowcy przeprowadzają serię testów statystycznych, ale publikują tylko dane liczbowe z testów, które dają znaczące wyniki
- niewłaściwe lub wprowadzające w błąd użycie miar statystycznych
Jak powszechny jest spin?
W sumie przeanalizowali streszczenia 116 artykułów. Spośród nich 56% wykazywało oznaki spinu. Obejmuje to spin w 2% tytułów, 21% sekcji wyników streszczenia i 49% w końcowych częściach streszczenia. W 15% prac spin był obecny zarówno w wynikach, jak i we wnioskach streszczeń.
Naukowcy zbadali również, czy finansowanie przemysłu było związane ze spinem. Być może zaskakujące, że nie znaleźli dowodów na to, że wsparcie finansowe ze strony przemysłu zwiększa prawdopodobieństwo wystąpienia spinów.
Wyniki są niepokojące. Chociaż generalnie obrót w mediach jest niepokojący sam w sobie, lekarze używają artykułów naukowych do kierowania decyzjami klinicznymi. Jak piszą autorzy:
„Badacze mają etyczny obowiązek uczciwego i jasnego przedstawiania wyników swoich badań”. Jednak w sekcji streszczeń autorzy mogą wybierać i wybierać szczegóły, które zawierają. Autorzy obecnego badania mają obawy, co to może oznaczać dla lekarzy:
„Dodanie spinu do streszczenia artykułu może wprowadzić w błąd lekarzy, którzy próbują wyciągać wnioski na temat leczenia pacjentów. Większość lekarzy przez większość czasu czyta tylko streszczenie artykułu ”.
Implikacje
Chociaż naukowcy nie zbadali skutków spinu na dużą głębokość, autorzy wskazują na jedno badanie, które udowadnia ich punkt widzenia.
W nim naukowcy zebrali abstrakty z dziedziny badań nad rakiem. Wszystkie były randomizowanymi, kontrolowanymi badaniami z nieistotnym statystycznie pierwotnym wynikiem. Wszystkie streszczenia zawierały spin.
Naukowcy stworzyli drugie wersje tych streszczeń, w których usunęli spin. Zrekrutowali 300 onkologów jako uczestników. Badacze dali połowie z nich oryginalne streszczenie ze spinu, a drugiej połowie streszczenie bez spinu.
Niepokojące jest to, że lekarze, którzy czytali streszczenia z obrotem, ocenili interwencję opisaną w artykule jako bardziej korzystną.
Jak piszą autorzy ostatniego artykułu do studium: „Ci, którzy piszą manuskrypty z badań klinicznych, wiedzą, że mają ograniczoną ilość czasu i przestrzeni, aby przykuć uwagę czytelnika. Pozytywne wyniki z większym prawdopodobieństwem zostaną opublikowane, a wielu autorów manuskryptów zwróciło się do wątpliwych praktyk sprawozdawczych, aby upiększyć swoje wyniki. ”
Kolejne badanie, opublikowane w 2016 roku, rozszerza zakres tego numeru. Zbadali, w jaki sposób recenzenci - doświadczeni naukowcy, którzy dokładnie analizują artykuły przed publikacją - wpływają na spin. Okazało się, że w 15% przypadków recenzent poprosił autorów o dodanie spinu.
Obecne badanie ma pewne ograniczenia. Na przykład te ustalenia mogą nie mieć zastosowania do innych czasopism lub dziedzin badawczych. Zauważają również, że identyfikacja spinu jest przedsięwzięciem subiektywnym i chociaż zastosowali dwa niezależne ekstraktory danych, jest miejsce na błąd.
Dokładna wielkość problemu spinów w badaniach medycznych nie została jeszcze poznana, ale autorzy wnioskują, że „[a] autorzy, redaktorzy czasopism i recenzenci powinni nadal czuwać nad spinem, aby zmniejszyć ryzyko stronniczości w raportowaniu wyników badań. ”
