مطالعات روانشناختی در بیش از 50 درصد موارد نادرست بودند

2024 نویسنده: Seth Attwood | [email protected]. آخرین اصلاح شده: 2023-12-16 16:03

"حالت های قوی" وجود دارد که باعث ایجاد اعتماد به نفس و کاهش هورمون های استرس می شود. وقتی افراد یک فنجان نوشیدنی گرم را در دستان خود می گیرند، با اطرافیان خود دوستانه تر می شوند. قدرت اراده منبعی است که وقتی در برابر وسوسه مقاومت می کنیم آن را خرج می کنیم. توانایی به تعویق انداختن پاداش، موفقیت آینده کودک را تعیین می کند.

این اظهارات بسیار شبیه به یکدیگر هستند: در پشت آنها تحقیقات روانشناختی مشهور، پرفروش‌ترین کتاب‌های علوم عامه پسند، ستون‌هایی در مجلات مشهور و سخنرانی‌های TED وجود دارد.

آنها همچنین یک چیز مشترک دیگر دارند: همه آنها اشتباه کردند.

بحران تکرارپذیری کل حوزه های علم را مورد تردید قرار داده است. بسیاری از نتایج که به طور گسترده در رسانه ها نقل شد، اکنون اغراق آمیز یا نادرست تلقی می شوند. زمانی که دانشمندان سعی کردند هم آزمایش‌های روان‌شناختی کلاسیک و هم آزمایش‌های اخیر را تکرار کنند، نتایج به‌طور شگفت‌آوری سازگار بود، تقریباً نیمی از موارد موفقیت‌آمیز و نیمی دیگر با شکست مواجه شدند.

این بحران سرانجام در سال 2015 آشکار شد، زمانی که دانشمندان به رهبری برایان نوسک 100 مطالعه روانشناختی را بررسی کردند. آنها تنها در 36 مورد توانستند به نتایج اولیه دست یابند. ریچارد هورتون، سردبیر لنست، به زودی گفت:

اتهامات علیه علم کاملاً صریح است: حداقل نیمی از ادبیات علمی به سادگی اشتباه است. علم با توجه به مطالعاتی با حجم نمونه کوچک، تأثیر اندک و تحلیل‌های نادرست، و همچنین وسواس نسبت به روندهای مد با اهمیت مشکوک، چرخش به سمت ناآگاهی را در پیش گرفته است.

تکرارپذیری یکی از الزامات کلیدی دانش علمی است. هر چه نتیجه بهتر بازتولید شود، قابل اعتمادتر است - این تنها راه جدا کردن الگوهای واقعی از تصادفات ساده است

اما معلوم شد که این الزام همیشه برآورده نمی شود.

بحران با پزشکی شروع شد، اما بیشتر بر روانشناسی تأثیر گذاشت. در تابستان 2018، دانشمندان تلاش کردند مجموعه ای از مطالعات روانشناسی منتشر شده در مجله Science and Nature، معتبرترین مجلات علمی جهان را تکرار کنند. از 21 آزمایش، تنها 13 آزمایش تایید شد - و حتی در این موارد، نتایج اولیه حدود 50٪ اغراق آمیز بود.

اغلب، آزمایش‌های تکرارپذیری توسط آن دسته از مطالعاتی که به طور گسترده در رسانه‌ها تکرار شدند و موفق شدند بر آگاهی عمومی تأثیر بگذارند شکست می‌خورد. به عنوان مثال، آثاری که موتورهای جستجو حافظه را مختل می‌کنند و خواندن داستان‌های تخیلی توانایی همدلی را افزایش می‌دهد. اگر آزمایش های مکرر با شکست مواجه شوند، این بدان معنا نیست که فرضیه های اصلی بی ارزش هستند. اما اکنون برای اثبات آنها به تحقیقات بهتری نیاز است.

چگونه آینده را با آمار پیش بینی کنیم

در سال 2011، روانشناس مشهور آمریکایی داریل بوهم مقاله ای منتشر کرد که امکان روشن بینی را اثبات کرد. این نتیجه گیری محصول تخیل خشونت آمیز او نبود، بلکه بر اساس دهه ها تحقیق بود که صدها نفر در آن شرکت داشتند. بسیاری مشکوک بودند که بوهم تصمیم گرفت چیزی شبیه به کلاهبرداری سوکال ترتیب دهد و روانشناسی را با مقاله ای جعلی با نتیجه گیری های عمداً پوچ افشا کند. اما با توجه به تمام استانداردهای روش شناختی، مقاله بسیار قانع کننده بود.

در یکی از آزمایشات بهم، دو صفحه نمایش در مقابل شرکت کنندگان قرار داده شد - آنها باید حدس می زدند که کدام تصویر پشت آن پنهان شده است. تصویر بلافاصله پس از انتخاب به صورت تصادفی تولید شد.اگر شرکت کنندگان کار خود را به خوبی انجام دهند، نشان می دهد که می توانند آینده را به نحوی پیش بینی کنند. در این آزمایش از دو نوع تصویر استفاده شد: خنثی و پورنوگرافی.

بوهم پیشنهاد کرد که اگر حس ششم وجود داشته باشد، احتمالاً منشأ تکاملی باستانی دارد. اگر چنین است، پس به احتمال زیاد با کهن ترین نیازها و تمایلات ما هماهنگ است

شرکت‌کنندگان تصاویر مستهجن را در 53 درصد مواقع حدس می‌زدند - در صورتی که این تصاویر کاملاً شانسی بودند، اندکی بیشتر از حد انتظارشان. با توجه به تعداد زیادی آزمایش، بوهم می تواند ادعا کند که آینده نگری وجود دارد.

بعداً، متخصصان دریافتند که هنگام تجزیه و تحلیل نتایج، او از روش های کاملاً صحیح استفاده نمی کند. به عنوان یک قاعده، یک نتیجه تحقیق قابل اعتماد در نظر گرفته می شود اگر احتمال اینکه به طور تصادفی به دست آمده از 5٪ تجاوز نکند. اما راه های زیادی برای کاهش این مقدار به سطح مورد نیاز وجود دارد: تغییر پارامترهای اولیه تجزیه و تحلیل، اضافه کردن یا حذف تعداد مورد نیاز نمونه از نمونه، استفاده از فرضیه های موفق تر پس از جمع آوری داده ها.

مشکل این است که نه تنها بوهم، بلکه بسیاری از دانشمندان دیگر نیز از همین تکنیک استفاده کردند. بر اساس یک نظرسنجی در سال 2011، تقریباً نیمی از روانشناسان به این امر اعتراف کردند

هنگامی که مقاله روشن بینانه منتشر شد، جوزف سیمونز، لیف نلسون و اوری سیمونسون، دانشمندان علوم اجتماعی متوجه شدند که علم به سمت نابودی خود پیش می رود. آنها چندین مدل کامپیوتری ساختند و دریافتند که با استفاده از تکنیک های آماری نسبتاً استاندارد، می توانید سطح نتایج مثبت کاذب را چندین برابر افزایش دهید. این بدان معنی است که روش هایی که به طور رسمی علمی هستند به راحتی می توانند به نتایج کاملاً پوچ منجر شوند.

برای نشان دادن این موضوع، دانشمندان آزمایشی انجام دادند که تأیید کرد گوش دادن به آهنگ «When I'm Sixty Four» شنونده را یک سال و نیم جوان‌تر می‌کند.

همه می دانستند که استفاده از چنین تکنیک هایی اشتباه است، اما فکر می کردند که این یک تخلف در اهمیت آن است - مانند عبور از جاده در مکان اشتباه. سیمونز نتیجه گرفت که این بیشتر شبیه یک سرقت از بانک است.

چگونه تحقیقات بد را از خوب تشخیص دهیم

به زودی مشخص شد که مسائل تکرارپذیری به روانشناسی محدود نمی شود. در تحقیقات سرطان، شواهد علمی در 10-25٪ موارد پشتیبانی می شود. در اقتصاد، 7 آزمایش از 18 آزمایش آزمایشگاهی قادر به تکرار نبودند. تحقیقات هوش مصنوعی نیز نشانه هایی از بحران را نشان می دهد.

اما به نظر می رسد از دست دادن ایمان به علم هنوز ارزشش را ندارد. دانشمندان در حال حاضر چندین راه را ارائه کرده اند که قابلیت اطمینان و کیفیت تحقیقات جدید را تا حد زیادی بهبود بخشیده است

چندین سال پیش، تقریباً هیچ‌کس نتایج آزمایش‌های مکرر را منتشر نکرد، حتی اگر انجام شده باشد. این مورد پذیرفته نشد، کمک مالی به همراه نداشت و به یک حرفه علمی موفق کمک نکرد. طبق نظرسنجی نیچر، بیش از 70 درصد از روانشناسان تلاش کرده اند و نتوانسته اند تحقیقات دیگران را بازتولید کنند، حدود نیمی از آنها نتوانسته اند تحقیقات خود را تکرار کنند و تقریباً هیچ کس به دنبال انتشار این نتایج نبوده است.

وقتی بحران تکرارپذیری ظاهر شد، چیزهای زیادی تغییر کرده است. تحقیقات مکرر به تدریج رایج شد. داده های تجربی بیشتر و بیشتر در حوزه عمومی منتشر می شوند. مجلات شروع به انتشار نتایج منفی و ثبت طرح کلی تحقیق حتی قبل از شروع کردند.

تحقیقات گسترده تر شده است - نمونه 30-40 نفری که در روانشناسی کاملاً استاندارد بود، اکنون برای افراد بسیار کمی مناسب است. سازمان های بین المللی بزرگ - مانند Psychological Science Accelerator - در حال آزمایش همین فرضیه ها در چندین آزمایشگاه در سراسر جهان هستند.

قبل از بررسی مقالات Nature and Science که در ابتدا در مورد آنها نوشتیم، از دانشمندان خواسته شد تا در قرعه کشی شرط بندی کنند.آن‌ها باید پیش‌بینی می‌کردند که کدام تحقیق در این آزمون موفق می‌شود و کدام یک شکست می‌خورد. در کل، نرخ ها بسیار دقیق بود. سازمان‌دهندگان این آزمایش می‌گویند: «این بدان معناست که اولاً جامعه علمی می‌تواند پیش‌بینی کند که کدام آثار می‌توانند تکرار شوند، و ثانیاً عدم امکان تکرار مطالعه تصادفی نبوده است».

دانشمندان به طور کلی در تشخیص تحقیقات قابل اعتماد از غیرقابل اعتماد خوب هستند - این خبر خوبی است. اکنون کارشناسان مرکز علوم باز به همراه آژانس دارپا در حال تلاش برای ایجاد الگوریتمی هستند که همان کار را بدون دخالت انسان انجام دهد.

هر ساله تعداد زیادی مقاله منتشر می شود که نمی توان حتی بخش کوچکی از آنها را به صورت دستی دوباره بررسی کرد. اگر هوش مصنوعی وارد کار شود، همه چیز بسیار آسان تر خواهد شد.

در حال حاضر در اولین آزمایش ها، هوش مصنوعی در 80 درصد موارد با پیش بینی ها با موفقیت کنار آمد.

چه چیزی اغلب تحقیقات را غیر قابل اعتماد می کند؟ نمونه های کوچک، تناقض در اعداد، تایید بیش از حد زیبا فرضیه ها. و همچنین - میل به احساسات و پاسخ های بسیار ساده به سوالات دشوار.

خیلی خوبه که درست باشه

ساده ترین راه برای ایجاد تحقیقات هیجان انگیز از طریق فریب است. روانشناس اجتماعی معروف، دیدریک استپل، از داده های ساختگی در چندین ده مقاله علمی استفاده کرد. تحقیقات استاپل با سرعت زیادی از طریق روزنامه ها و مجلات پخش می شد، او چندین جوایز علمی معتبر دریافت کرد، در Science منتشر شد و یکی از بزرگترین متخصصان رشته خود به حساب می آمد.

یک بار معلوم شد که برای مدت طولانی استپل اصلاً تحقیقی انجام نداده است، بلکه به سادگی داده ها را اختراع کرده و برای تجزیه و تحلیل به دانش آموزان می دهد.

این در علم بسیار نادر است. اغلب اظهارات بلند، اما نادرست به دلایل دیگری ایجاد می شود. مردم به شدت به دنبال پاسخ های ساده، قابل فهم و موثر برای سوالات هیجان انگیز هستند. وسوسه شدن این که فکر کنید این پاسخ ها را دارید بسیار آسان است، حتی اگر واقعاً ندارید. پیگیری سادگی و قطعیت یکی از دلایل اصلی شکست بسیاری از مطالعات برای تکرارپذیری است. در اینجا چند نمونه قابل توجه آورده شده است.

آزمایش مارشمالو

در آزمایشی، از کودکان خواسته شد که بین یک جایزه کوچک - مانند مارشمالو - که می‌توان فورا دریافت کرد و یک جایزه دو برابر اگر می‌توانستند کمی صبر کنند، یکی را انتخاب کنند. بعدها مشخص شد که کودکانی که جایزه دوم را دریافت کردند در بزرگسالی موفق تر شدند. این مطالعه بسیار محبوب شد و بر برخی برنامه های درسی مدارس تأثیر گذاشت.

در سال 2018، آزمایش بر روی نمونه وسیع تری تکرار شد. معلوم شد که ثروت در خانواده عامل بسیار مهمتری است که میزان خودکنترلی نیز به آن بستگی دارد.

"وضعیت های قدرت" و "وضعیت های ضعف"

شرکت کنندگان در آزمایش یکی از دو حالت را به مدت دو دقیقه گرفتند: آنها به پشتی صندلی تکیه دادند و پاهای خود را روی میز انداختند ("ژست قدرت") یا دست های خود را روی سینه خود روی هم گذاشتند ("ژست ضعف"). در نتیجه، شرکت‌کنندگان از گروه اول احساس اعتماد به‌نفس‌تری داشتند و اغلب پذیرفتند که در قمار ریسک کنند. کسانی که در وضعیت قوی می نشینند سطح تستوسترون خود را افزایش می دهند و کسانی که در وضعیت ضعیف می نشینند کورتیزول را افزایش می دهند. در آزمایش‌های مکرر، تنها یک اثر بازتولید شد: «حالت‌های قدرتی» به شرکت‌کنندگان کمک کرد اعتماد به‌نفس بیشتری داشته باشند، اما رفتار یا پارامترهای هورمونی آن‌ها را تغییر نداد.

معاشرت با سالمندی باعث می شود که شما آهسته تر حرکت کنید

از شرکت کنندگان در آزمایش خواسته شد تا چندین پازل را حل کنند. اگر کلماتی در آنها وارد می شد که با پیری مرتبط است - "فراموش کننده" ، "سالمند" ، "تنها" - شرکت کنندگان با سرعت کمتری اتاق را ترک کردند.

در آزمایش‌های اخیر، آزمایش تنها در یک مورد با موفقیت تکرار شد: اگر خود آزمایش‌کنندگان بدانند که در آزمایش‌ها شرکت‌کنندگان به پیری اشاره می‌کنند. خود اثر باقی ماند، اما دلایل از قبل متفاوت بود.

اجسام گرم مردم را دوست‌تر می‌کنند

به شرکت کنندگان در این آزمایش اجازه داده شد تا یک فنجان قهوه سرد یا گرم را برای مدت کوتاهی نگه دارند و سپس از آنها خواسته شد تا با استفاده از یک توضیح کوتاه به شخصیت فرد امتیاز دهند. شرکت‌کنندگانی که یک فنجان قهوه داغ در دست داشتند، این فرد را دوست‌داشتنی‌تر ارزیابی کردند. در آزمایش دیگری، به شرکت کنندگان یک آیتم در بسته بندی گرم یا سرد داده شد و سپس از آنها خواسته شد که آن را نگه دارند یا به یکی از دوستانشان بدهند. اگر کالا در یک بسته گرم پیچیده شده بود، شرکت کنندگان به احتمال زیاد گزینه دوم را انتخاب می کردند. آزمایش‌های مکرر با نمونه وسیع‌تر چنین نتایجی را به همراه نداشت. به نظر می رسد لباس گرم از شما یک نوع دوست نمی سازد.

وقتی در مقابل وسوسه ها مقاومت می کنیم، اراده از بین می رود

در مقابل شرکت کنندگان در آزمایش دو بشقاب قرار داده شد - با کلوچه و تربچه. در گروه اول شرکت کنندگان مجاز به خوردن کلوچه و در گروه دوم فقط تربچه بودند. سپس از هر شرکت کننده خواسته شد تا یک پازل غیرممکن را حل کند. شرکت کنندگانی که در قسمت اول آزمایش فقط تربچه خوردند خیلی زودتر از دیگران تسلیم شدند. در آزمایش های مکرر، نتایج تایید نشد.

در برخی موارد، ظرفیت خودکنترلی کاهش نمی یابد، بلکه حتی در طول زمان تشدید می شود. بسیاری از روانشناسان اکنون مفهوم "اراده" را بسیار ساده انگارانه می دانند.

تاکنون کارهای زیادی در روانشناسی جهان انجام شده است تا تحقیقات قابل اعتمادتر و قابل تکرار باشد. در روسیه، این مشکل هنوز درک نشده است.

ایوان ایوانچی، دانشیار RANEPA، به نایف گفت: «در روانشناسی روسی، مشکلات بحران عمدتاً مربوط به جوانان علمی است که عمدتاً به سمت علم غرب گرایش دارند. - کنترل بر کیفیت نشریات به زبان روسی معمولاً زیاد نیست. مجلات به ندرت مقالاتی را رد می کنند، بنابراین تحقیقات بی کیفیت زیادی منتشر می شود. اغلب از نمونه های کوچک استفاده می شود که احتمال تولید مثل موفق را نیز کاهش می دهد. این شبهه وجود دارد که اگر به طور جدی به موضوع تکرارپذیری آثار روسی زبان بپردازیم، می توان مشکلات زیادی را کشف کرد. اما هیچ کس مستقیماً در این امر دخالت ندارد.»

در ژانویه 2019، مشخص شد که دولت روسیه قصد دارد الزامات دانشمندان را از نظر تعداد انتشارات به میزان قابل توجهی گسترش دهد: حداقل تعداد مقالات منتشر شده در سال باید 30-50٪ افزایش یابد.

دانشمندان دانشگاه تأثیرگذار «باشگاه 1 جولای» با انتقاد از این ابتکار گفت: وظیفه علم تولید حداکثری انتشارات نیست، بلکه کاوش در جهان و بهره مندی از دانش به دست آمده برای بشریت است. به احتمال زیاد، الزامات جدید تنها مقیاس مشکل را افزایش می دهد.

داستان بحران تکرارپذیری، داستانی درباره آخرالزمان آینده و تهاجم بربرها نیست. اگر بحران رخ نمی داد، همه چیز بسیار بدتر می شد: ما همچنان با اطمینان کامل از اینکه حقیقت را می دانیم به تحقیقات اشتباه مراجعه می کردیم. شاید زمان تیترهای جسورانه ای مانند «دانشمندان بریتانیایی ثابت کرده اند» رو به پایان است. اما شایعات مرده علم را باید تا حدودی اغراق آمیز دانست.