حدود 50 درصد از آزمایش‌های علمی غیرقابل تکرار بودند

2024 نویسنده: Seth Attwood | [email protected]. آخرین اصلاح شده: 2023-12-16 16:03

به طور اتفاقی در جریان اخبار و اطلاعات به مقاله ای در Nature Scientific Reports برخوردم. این داده‌های یک نظرسنجی از 1500 دانشمند را در مورد تکرارپذیری نتایج تحقیقات علمی ارائه می‌کند. اگر قبلاً این مشکل برای تحقیقات بیولوژیکی و پزشکی مطرح می شد که از یک سو قابل توضیح است (همبستگی های نادرست، پیچیدگی کلی سیستم های مورد مطالعه، گاهی اوقات حتی نرم افزارهای علمی متهم می شوند)، از طرف دیگر دارای یک پدیدارشناسی است. شخصیت (به عنوان مثال، موش ها تمایل دارند با دانشمندان جنسیت های مختلف رفتار متفاوتی داشته باشند (1 و 2)).

با این حال، همه چیز صاف و با هم نیست بیشتر علوم طبیعی مانند فیزیک و مهندسی، شیمی، اکولوژی. به نظر می رسد که این رشته ها مبتنی بر آزمایش های "کاملا" تکرارپذیر هستند که تحت کنترل شده ترین شرایط انجام شده اند، متأسفانه، یک نتیجه شگفت انگیز - به تمام معنا - از نظرسنجی: تا 70% محققان مواجه شدند غیر قابل تکرار آزمایش ها و نتایجی که نه تنها توسط گروه های دیگر دانشمندان به دست آمده است، ولی و توسط نویسندگان / نویسندگان مشترک آثار علمی منتشر شده!

آیا هر شن و ماسه ای باتلاق خود را می ستاید؟

اگرچه 52 درصد از پاسخ دهندگان به بحران تکرارپذیری در علم اشاره می کنند، کمتر از 31 درصد داده های منتشر شده را اساساً نادرست می دانند و اکثریت نشان می دهند که هنوز به کار منتشر شده اعتماد دارند.

البته، شما نباید تنها بر اساس این نظرسنجی دست از سر خود بردارید و تمام علم را به این عنوان لینچ کنید: نیمی از پاسخ دهندگان هنوز دانشمندانی بودند که به نوعی با رشته های زیستی مرتبط بودند. همانطور که نویسندگان خاطرنشان می کنند، در فیزیک و شیمی، سطح تکرارپذیری و اطمینان در نتایج به دست آمده بسیار بالاتر است (نمودار زیر را ببینید)، اما هنوز 100٪ نیست. اما در پزشکی اوضاع در مقایسه با بقیه بسیار بد است.

یک جوک به ذهنم می رسد:

مارکوس مونافو، روانشناس بیولوژیکی در دانشگاه بریستول، انگلستان، علاقه دیرینه ای به تکرارپذیری داده های علمی دارد. وی با یادآوری دوران دانشجویی خود می گوید:

یک بار سعی کردم آزمایشی را از ادبیات بازتولید کنم که به نظرم ساده بود، اما نتوانستم آن را انجام دهم. من دچار بحران اعتماد به نفس شدم، اما بعد متوجه شدم که تجربه من آنقدرها هم نادر نیست.

مشکل عمق طول و عرض جغرافیایی

تصور کنید که شما یک دانشمند هستید. شما به مقاله جالبی برخورد می کنید، اما نتایج / آزمایش ها را نمی توان در آزمایشگاه تکثیر کرد. منطقی است که در این مورد برای نویسندگان مقاله اصلی بنویسید، راهنمایی بخواهید و سؤالات روشنگری بپرسید. برطبق بررسی ها، کمتر از 20 درصد این کار را تا به حال در حرفه علمی خود انجام داده اند!

نویسندگان این مطالعه خاطرنشان می‌کنند که شاید چنین تماس‌ها و گفتگوهایی برای خود دانشمندان بسیار دشوار باشد، زیرا ناتوانی و ناسازگاری آنها را در برخی مسائل آشکار می‌کنند یا جزئیات بسیار زیادی از پروژه فعلی را آشکار می‌کنند.

علاوه بر این، اقلیتی مطلق از دانشمندان تلاش کردند تا رد نتایج غیر قابل تکرار را منتشر کنند، در حالی که با مخالفت ویراستاران و داوران مواجه شدند. مطالبه کرد مقایسه را با تحقیقات اصلی کمرنگ می کند. آیا جای تعجب است که شانس گزارش عدم تکرارپذیری نتایج علمی حدود 50 درصد است.

پس شاید ارزش آن را داشته باشد که حداقل یک آزمایش تکرارپذیری در آزمایشگاه انجام شود؟ غم انگیزترین چیز این است که یک سوم از پاسخ دهندگان حتی هرگز و به ایجاد روش هایی برای تأیید داده ها برای تکرارپذیری فکر نکرد. فقط 40% نشان داد که آنها به طور منظم از چنین تکنیک هایی استفاده می کنند.

مثال دیگر، یک بیوشیمی از بریتانیا که نمی‌خواهد نام خود را فاش کند، می‌گوید که تلاش برای تکرار، بازتولید کار برای پروژه آزمایشگاهی او صرفاً هزینه‌های زمان و مواد را دوبرابر می‌کند، بدون اینکه چیز جدیدی به کار بدهد یا اضافه کند. بررسی های اضافی فقط برای پروژه های نوآورانه و نتایج غیرعادی انجام می شود.

و البته سوالات ابدی روسیه که شروع به شکنجه همکاران خارجی کرد: مقصر کیست و چه باید کرد؟

مقصر کیست؟

نویسندگان کار سه مشکل اصلی تکرارپذیری نتایج را شناسایی کردند:

• فشار از سوی مافوق برای انتشار به موقع کار
• گزارش انتخابی (ظاهراً به معنای سرکوب برخی از داده ها است که کل تصویر را "خراب می کند")
• تجزیه و تحلیل داده های ناکافی (از جمله آماری)

چه باید کرد؟

از 1500 مورد نظرسنجی، بیش از 1000 متخصص به نفع بهبود آمار در جمع‌آوری و پردازش داده‌ها، بهبود کیفیت نظارت از سوی روسای و برنامه‌ریزی دقیق‌تر آزمایش‌ها صحبت کردند.

نتیجه گیری و تجربه شخصی

اولا حتی برای من، به عنوان یک دانشمند، نتایج خیره کننده است، اگرچه من به درجه خاصی از تکرار ناپذیری نتایج عادت کرده ام. این امر به ویژه در آثاری که چینی ها و هندی ها بدون «ممیزی» شخص ثالث در قالب اساتید آمریکایی/اروپایی انجام می دهند مشهود است. چه خوب که مشکل شناسایی شد و به راه حل (ها) آن فکر شد. من با درایت در مورد علم روسیه، در رابطه با رسوایی اخیر، سکوت خواهم کرد، اگرچه بسیاری صادقانه کار خود را انجام می دهند.

دوما ، مقاله نقش معیارهای علمی و مجلات علمی با داوری را در پیدایش و توسعه مشکل تکرار ناپذیری نتایج تحقیقات نادیده می گیرد (یا بهتر بگوییم، در نظر نمی گیرد). به دنبال سرعت و فراوانی انتشارات (بخوانید، افزایش شاخص های استناد)، کیفیت به شدت کاهش می یابد و زمانی برای تأیید بیشتر نتایج وجود ندارد.

همانطور که می گویند، همه شخصیت ها تخیلی هستند، اما بر اساس رویدادهای واقعی. به نوعی یک دانشجو فرصت داشت یک مقاله را مرور کند، زیرا هر استادی وقت و انرژی لازم برای مطالعه سنجیده مقالات را ندارد، بنابراین نظر 2-3-4 دانشجو و دکتر جمع آوری می شود که بررسی از آنها شکل می گیرد. یک بررسی نوشته شد، که تکرار ناپذیری نتایج را با توجه به روش توصیف شده در مقاله نشان داد. این به وضوح به استاد نشان داده شد. اما برای اینکه روابط با "همکاران" خراب نشود - از این گذشته ، آنها در همه چیز موفق می شوند - بررسی "تصحیح" شد. و 2 یا 3 مقاله از این دست منتشر شده است.

یک دور باطل معلوم می شود. دانشمند مقاله را برای سردبیر مجله می فرستد و در آنجا نشان می دهد: دلخواه"و عمدتا" ناخواسته «بازبین‌ها، یعنی در واقع، تنها کسانی را می‌گذارند که نسبت به تیم نویسندگان تمایل مثبت دارند. آنها کار را بررسی می کنند، اما نمی توانند "در نظرات" بگنجانند و سعی کنند از بین دو شر کمترین را انتخاب کنند - در اینجا لیستی از سوالاتی است که باید به آنها پاسخ داده شود و سپس مقاله را منتشر خواهیم کرد.

مثال دیگری که سردبیر نیچر همین یک ماه پیش در مورد آن صحبت کرد، پنل های خورشیدی Grazel است. با توجه به علاقه فوق العاده به این موضوع در جامعه علمی (بالاخره، آنها هنوز هم مقاله ای در نیچر می خواهند!)، ویراستاران مجبور شدند یک پرسشنامه ویژه ایجاد کنند که در آن باید پارامترهای زیادی را مشخص کنند، کالیبراسیون تجهیزات، گواهینامه ها را ارائه کنند. و غیره تایید می کند که روش اندازه گیری پانل های بازده مطابق با برخی از اصول و استانداردهای کلی است.

و، سوم ، وقتی بار دیگر در مورد واکسنی معجزه آسا می شنوید که همه چیز و همه را تسخیر می کند، داستان جدیدی در مورد جابز در دامن، باتری های جدید یا خطرات / مزایای GMOs یا تشعشعات تلفن های هوشمند، به خصوص اگر توسط نویسندگان زرد روزنامه نگاری تبلیغ شده باشد. ، سپس با درک رفتار کنید و عجولانه نتیجه نگیرید. منتظر تایید نتایج توسط گروه های دیگر دانشمندان، انباشت آرایه و نمونه های داده باشید.

PS: مقاله با عجله ترجمه و نوشته شده است، در مورد تمام خطاها و نادرستی های مشاهده شده، لطفا در LAN بنویسید.