Menyelidiki 'putaran' dalam jurnal ilmiah
Sebuah studi baru-baru ini menyelidiki "spin" dalam makalah penelitian psikiatri dan psikologi. Penulis penelitian menemukan spin di lebih dari setengah abstrak yang mereka analisis.Apa dampaknya terhadap keputusan dokter?
Saat outlet berita dan media bersaing untuk mendapatkan pandangan, mereka terkadang dapat membesar-besarkan berita utama dan konten untuk memikat pembaca.
Meskipun banyak yang percaya jurnal ilmiah menjadi beberapa sumber informasi yang paling andal, mereka tidak kebal terhadap keinginan untuk dibaca dan dibagikan.
Sebuah studi baru-baru ini dilakukan untuk menilai seberapa banyak "spin" yang digunakan penulis dalam abstrak makalah penelitian yang diterbitkan dalam jurnal psikologi dan psikiatri.
Mereka memilih untuk melihat abstrak karena mereka meringkas keseluruhan makalah, dan dokter sering menggunakannya untuk membantu menginformasikan keputusan medis.
Apa itu spin?
Dalam penelitian ini, penulis menguraikan definisi spin sebagai berikut:
"[T] dia menggunakan strategi pelaporan khusus, dari motif apa pun, untuk menyoroti bahwa pengobatan eksperimental bermanfaat, meskipun ada perbedaan yang tidak signifikan secara statistik untuk hasil utama, atau untuk mengalihkan pembaca dari hasil yang secara statistik tidak signifikan."
Para penulis mempublikasikan temuan mereka di jurnal BMJ Obat Berbasis Bukti. Mereka melihat makalah dari enam jurnal psikiatri dan psikologi teratas dari 2012-2017.
Jurnal disertakan JAMA Psychiatry, itu Jurnal Psikiatri Amerika, dan Jurnal Psikiatri Inggris.
Secara khusus, para peneliti berfokus pada uji coba terkontrol secara acak dengan "titik akhir primer yang tidak signifikan". Titik akhir utama dari sebuah studi adalah hasil utama dari studi tersebut, dan “tidak signifikan” dalam konteks ini berarti bahwa, secara statistik, tim tidak menemukan cukup bukti untuk mendukung teori mereka.
Spin hadir dalam berbagai bentuk, antara lain:
- melaporkan hasil secara selektif, di mana penulis hanya menyebutkan hasil tertentu
- P-hacking, dimana peneliti menjalankan serangkaian uji statistik tetapi hanya mempublikasikan angka-angka dari pengujian yang menghasilkan hasil yang signifikan
- penggunaan ukuran statistik yang tidak tepat atau menyesatkan
Seberapa umum spin?
Secara total, mereka menganalisis abstrak dari 116 makalah. Dari jumlah tersebut, 56% menunjukkan bukti spin. Ini termasuk spin di 2% judul, 21% dari bagian hasil abstrak, dan 49% di bagian kesimpulan abstrak. Dalam 15% makalah, spin hadir di bagian hasil dan kesimpulan dari abstrak.
Para peneliti juga menyelidiki apakah pendanaan industri dikaitkan dengan spin. Mungkin yang mengejutkan, mereka tidak menemukan bukti bahwa dukungan finansial dari industri meningkatkan kemungkinan spin.
Penemuan ini mengkhawatirkan. Meskipun putaran media berita secara umum mengkhawatirkan, dokter menggunakan makalah penelitian untuk membantu mengarahkan keputusan klinis. Seperti yang penulis tulis:
"Peneliti memiliki kewajiban etis untuk secara jujur dan jelas melaporkan hasil penelitian mereka." Namun, di bagian abstrak, penulis dapat memilih dan memilih detail yang mereka sertakan. Penulis studi saat ini memiliki kekhawatiran tentang apa artinya ini bagi dokter:
“Menambahkan spin ke abstrak artikel dapat menyesatkan dokter yang mencoba menarik kesimpulan tentang pengobatan untuk pasien. Sebagian besar dokter hanya membaca abstrak artikel di sebagian besar waktu. "
Implikasinya
Meskipun para peneliti belum menyelidiki efek putaran secara mendalam, penulis menunjukkan satu studi yang menegaskan maksud mereka.
Di dalamnya, para ilmuwan mengumpulkan abstrak dari bidang penelitian kanker. Semua adalah uji coba terkontrol secara acak dengan hasil primer yang tidak signifikan secara statistik. Semua abstrak termasuk spin.
Para peneliti membuat versi kedua dari abstrak ini di mana mereka menghilangkan putarannya. Mereka merekrut 300 ahli onkologi sebagai peserta. Para peneliti memberi setengah dari mereka abstrak asli dengan spin, dan mereka memberi setengah lainnya abstrak tanpa spin.
Yang mengkhawatirkan, para dokter yang membaca abstrak dengan spin menilai intervensi yang tercakup dalam makalah lebih bermanfaat.
Seperti yang ditulis oleh penulis makalah studi baru-baru ini: “Mereka yang menulis manuskrip uji klinis tahu bahwa mereka memiliki waktu dan ruang yang terbatas untuk menarik perhatian pembaca. Hasil positif kemungkinan besar akan dipublikasikan, dan banyak penulis manuskrip beralih ke praktik pelaporan yang meragukan untuk mempercantik hasil mereka. "
Studi lain, yang diterbitkan pada tahun 2016, memperluas cakupan masalah ini. Mereka menyelidiki bagaimana peninjau sejawat - ilmuwan berpengalaman yang meneliti makalah sebelum publikasi - memengaruhi putaran. Mereka menemukan bahwa dalam 15% kasus, peninjau sejawat meminta penulis untuk menambahkan putaran.
Studi saat ini memang memiliki beberapa keterbatasan. Misalnya, temuan ini mungkin tidak berlaku untuk jurnal atau bidang penelitian lain. Mereka juga mencatat bahwa mengidentifikasi spin adalah upaya subjektif, dan meskipun mereka menggunakan dua ekstraktor data independen, masih ada ruang untuk kesalahan.
Ukuran pasti dari masalah spin dalam penelitian medis masih harus dilihat, tetapi penulis menyimpulkan bahwa "[a] penulis, editor jurnal, dan peninjau sejawat harus terus waspada untuk putaran untuk mengurangi risiko pelaporan hasil uji coba yang bias. ”
