Post-reproducibility crisis 時代における研究営為の提案

Ueda Kohei 植田航平

公開日時

2023/12/17 - AM11:24

更新日時

2023/12/17 - AM11:41

スライド概要

企画趣旨：日本認知心理学会は、今年度で創設 20 周年を迎えます。この間、認知心理学は大いなる発展を遂げました。一方で、昨今は、統計を中心とした方法論の問題、人工知能や脳科学など周辺領域との関係、あるいは、総合知に代表される心理学を含む人文社会系学問の社会貢献への期待など、今後の認知心理学のあり方を大きく変えそうな状況にもなってきています。このシンポジウムでは、4 名の若手の方々に、現状から想定される認知心理学の将来像を、自由に語ってもらうことを意図し、企画いたしました。

発表要旨：
　再現可能性の危機が叫ばれて久しく, これまで多くの研究者が様々な角度から課題に対峙してきた。一方, 心理学は今, 新たな立ち向かうべき壁に直面している。心理学の知見を頑健かつ有用にするための鍵になると考えられてきた, 問題のある研究実践を防ぐための取り組みといった倫理的規範に訴えるアプローチだけでは限界があり，心理学自体に本質的に課題が内在することが明るみになってきたのである (平石・中村, 2022)。現時点では, 理論構築や一般化可能性に影響を与えるこれらの問題に対し, 絶対的な解が見つかっているとは言えない。そこで, 1人の早期キャリア研究者 (ECR) の視点から, 心理学の科学的発展を目指すために現時点で取り得る3つの取り組みについて提案する。
　１つが「科学者に対する科学コミュニケーション」である。心理学における諸概念の定義について議論が不十分であるという主張の紹介, 及びECRsの対話の場であるReproducibiliTea Fukuokaの事例紹介の２件を通して, 科学者間の対話について議論する。
　２つ目は, 「『オープンサイエンス革命』の革命」である。これまでに, データの共有等といった研究者内での科学の開放はある程度進展を見せたが, 科学者集団外に対してもさらに科学を開放するべきではないかという議論がある。この観点から, 市民科学, 及びDeSciに関する動きについて論ずる。
３つ目は, 学会主導のクラウドソーシングサービス開設の呼びかけである。心理学や近接領域では, 今後益々大規模かつ広範にデータを取得する必要があるだろう。そこで, 民間サービスに依存したオンライン調査・実験の体制から脱却し, 国内学会で連携して新たなサービスを開設することを希望し, 提唱する。
　本発表が, post-reproducibiliy crisis時代に移り変わりつつある今, 多くの人と叡智を集める契機となることを目指す。

※ 本スライドは、日本認知心理学会第20回大会 (2022年) で発表したのち、一部、増補したうえで ReproducibiliTea Tokyo にて発表した際のものです。

Twitter Facebook LinkedIn

埋め込みHTML

Copied.

各ページのテキスト

各ページの
テキスト

2022/11/24, 10:45~ ReproducibiliTea Tokyo 於：Zoom 若手研究者が考える20年後の認知心理学 Post-reproducibility crisis 時代における研究営為の提案 (増補版) 初出：日本認知心理学会第20回大会, 20周年記念シンポジウム (2022/10/16) 九州大学大学院人間環境学府修士２年植田航平 (Ueda Kohei)
……何者？
自己紹介 ⚫ 関心 1. 心理学の知見でヒューマンエラーを防ぎたい 2. 心理学をメタに見たい (科学哲学・科学技術社会論も絡めつつ) 2022/11/24 • 再現可能性問題や理論の問題 etc. • サイエンスコミュニケーション・市民科学 etc. 植田航平／Post-reproducibility crisis 時代における研究営為の提案 3
概要 Acknowledgments 1. 再現性問題を概観 • 山田祐樹先生 (九州大学) • 国里愛彦先生 (専修大学) 2. Post……？ 1. 心理学と社会：一般化可能性の議論 2. The Generalizability Crisis • 山田研究室の皆様 • ReproducibiliTea Tokyoの皆様 • ReproducibiliTea Fukuokaの皆様 3. とあるECRの提案 1. 科学者に対する科学コミュニケーション 2. 「オープンサイエンス革命」に革命を 3. 大規模データ取得のために ※本成果は九州大学大学院未来共創リーダー育成プログラム（GIPAD）の支援によって得られたものです。 4. 次の20年に向けて引用文献 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 4
再現性問題を概観 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 5
再現性問題の「これまで」を概観 ⚫ 2011：議論の発端のひとつであるBemの論文 (Bem, 2011) ⚫ 2013：Center for Open Science 爆誕 (Kelly, 2016) Registered Reports論文が出始める (Chambers & Tzavella, 2022) ⚫ 2015：Open Science Collaboration (2015) ⚫ 2016：心理学評論「心理学の再現可能性」 PsyArXiv 爆誕 (Rife, 2016) ⚫ 2018：心理学評論「統計革命」 ⚫ 2021：PCI RR 爆誕 (PCI Registered Reports, 2021) 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 6
再現性問題の「これまで」を概観 ⚫ 2011：議論の発端のひとつであるBemの論文 (Bem, 2011) ⚫ 2013：Center for Open Science 爆誕 (Kelly, 2016) Registered Reports論文が出始める (Chambers & Tzavella, 2022) ⚫ 2015：Open Science Collaboration (2015) ⚫ 2016：心理学評論「心理学の再現可能性」 PsyArXiv 爆誕 (Rife, 2016) Cortexのレジレポ、全てPCI RRに…？ (Chambers, 2022) ⚫ 2018：心理学評論「統計革命」 ⚫ 2021：PCI RR 爆誕 (PCI Registered Reports, 2021) https://twitter.com/chrisdc77/status/1585912488906100736?s=20&t=YewZvrEjkpQOCAphFh18yg 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 7
Post……？ Post reproducibility crisis 時代……？？？ 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 8
Post……？ 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 9
Post……？ ⚫ 再現性問題が解決した、というわけではなさそうで…。  自我消耗や顔面フィードバック etc. 混迷を極める追試の応酬。  結論が大きくばらついたMany Analysts Why…？  対再現性危機の２つの処方箋に限界あり • 研究者自由度を縛るアプローチ：プレレジやマルチラボ追試 etc. • 研究者自由度の影響を検証するアプローチ：マルチバース分析やMany Analysts etc. (平石・中村, 2022a; 2022b) 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 10
The Generalizability Crisis  対再現性危機の２つの処方箋に限界あり • 研究者自由度を縛るアプローチ：プレレジやマルチラボ追試 etc. • 研究者自由度の影響を検証するアプローチ：マルチバース分析やMany Analysts etc. Why…？  未測定の要因 (unmeasured variables) の不適切な処理 • 「差」を説明するための統計モデルにおける強すぎる前提 ➢ 個人差や刺激の違いetc. をモデルに組み込んでいないのが現状。 (平石・中村, 2022a; 2022b, Yarkoni, 2022) 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 12
The Generalizability Crisis  未測定の要因 (unmeasured variables) の不適切な処理 • 「差」を説明するための統計モデルにおける強すぎる前提 ➢ 個人差や刺激の違いetc. をモデルに組み込んでいないのが現状。  膨大な「研究仕様空間」の存在による一般化可能性の問題 • 個人差は…？刺激の種類は…？椅子やPCの違いは…？etc. • 理論や仮説をめぐる議論の収束が困難 (平石・中村, 2022a; 2022b, Yarkoni, 2022; Ibanez, 2022) 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 14
心理学と社会：一般化可能性の議論 ⚫ 社会の中の人間を捉え、知見を提供するのが心理学の一つの目標のはず。  無数にあり得る要因の中から限定して実験 → 検討、このままで良いのか…？  認知心理学領域においてもこれは同様。 ⚫ 「再現されるか否か？」だけに議論が集まるのでは本質的には不十分で、次の時代が来ていると言っても良いのではないだろうか…？  知見が一般化できないとすれば、いったい何が主張できるのか…？  社会や人間について予測したり、応用可能な知見を供出するために…！ ⚫ 今すぐにコレといった有力な解決策はないかもしれないけれど…… 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 15
とあるECRの提案 ⚫ 再現可能性や一般化可能性を高めるために今から出来そうな事… 1. 科学者に対する科学コミュニケーション 2. オープンサイエンスの更なる推進 3. 大規模データ取得のために… 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 16
とあるECRの提案 ⚫ 再現可能性や一般化可能性を高めるために今から出来そうな事… 1. 科学者に対する科学コミュニケーション 2. オープンサイエンスの更なる推進 3. 大規模データ取得のために… 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 17
科学者に対する科学コミュニケーション ⚫ 科学コミュニケーション (サイコミ) といえば…  「科学技術の専門家集団が自分たち以外の社会のさまざまな集団や組織と科学技術に関して意思疎通をはかる活動」(小林, 2007) 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 18
科学者に対する科学コミュニケーション 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 19
科学者に対する科学コミュニケーション 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 20
科学者に対する科学コミュニケーション ⚫ 科学コミュニケーション (サイコミ) といえば…  「科学技術の専門家集団が自分たち以外の社会のさまざまな集団や組織と科学技術に関して意思疎通をはかる活動」(小林, 2007) ⚫ 科学者同士でもすり合わせ (コミュニケーション) が必要な場面も？  科学者に対する科学コミュニケーション 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 21
科学者に対する科学コミュニケーション (増補) ⚫ 世界的な潮流は…？ 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 22
科学者に対する科学コミュニケーション ⚫ 再現可能性や一般化可能性と関係あるの？ 1. 再現性問題に関する取り組みにおける議論や分断に対してアプローチしたい • ひとりの「再現性問題ネイティブ」世代の想い…… • 「日本国内の研究公正教育の文脈では，研究者間のコミュニケーションやメンタリングの重要性への認識は低い」(東島, 2016) 2. 心理学の概念に関して、もっとコミュニケーションした方が良いかも？ • 2022/11/24 認知心理学における構成概念の定義の揺らぎについて植田航平／Post-reproducibility crisis 時代における研究営為の提案 23
科学者に対する科学コミュニケーション ⚫ 認知心理学における構成概念の定義の揺らぎについて ✓ “No one knows what attention is” (Hommel et al., 2019) ✓ “Working memory (中略) cannot explain central cognition”(Gomez-Lavin, 2021) ✓ 「感情って科学の概念なんだろうか」(戸田山, 2021)  ひとつのキーワードは「自然種」 • 「われわれとは独立にすでに、世界の側で分かれている」カテゴリー • 外挿 (extrapolation) や説明 (explanation) といった科学の目的に適したカテゴリー (戸田山, 2021) 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 24
科学者に対する科学コミュニケーション ⚫ 認知心理学における構成概念の定義の揺らぎについて  注意やWMは、認知心理学以外の応用領域でも重宝されている重要な概念！ • 基礎分野の担当として、このあたりの整備が必要なのでは…？ (Lewin, 2022) ✓ (もちろん、科学だからこそ反証や更新はあって当たり前だけれど…) 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 25
科学者に対する科学コミュニケーション ⚫ 実践するには？  学会への政策提言： ➢ 学会誌に、理論や概念に関する議論セクションや特集を設けるのはどうか？  ReproducibiliTea Fukuoka (認知心・信頼性研究部会と共催) • 再現性問題を始め、心理学のあれこれについて、興味のままにしゃべる会 • 参加者は九州大を中心に全国から。 https://sites.google.com/view/reproducibilitea-fukuoka/home 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 26
とあるECRの提案 ⚫ 再現可能性や一般化可能性を高めるために今から出来そうな事… 1. 科学者に対する科学コミュニケーション 2. オープンサイエンスの更なる推進 3. 大規模データ取得のために… 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 27
「オープンサイエンス革命」に革命を ⚫ これまでのオープンサイエンス in 心理学  事前登録・レジレポ  オープンデータ・オープンマテリアル  ジャーナルのオープンアクセス (三浦, 2018; 武藤, 2022) Point その多くが、ジャーナル共同体 (研究者コミュニティ) 内部に閉じられたオープン化に留まっている！ 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 28
「オープンサイエンス革命」に革命を ⚫ 社会とのはざまで  市民科学の流れ (林, 2018; 日本学術会議, 2020; 日本心理学会)  心理学の学問としての性質 • 心理学における「内圧」と「外圧」(山田, 2021) ➢ 心理学が社会から求められていることは…？ • エビデンス準備性レベルに関する議論 (Ijzerman et al., 2020; 平石2022) ➢ 意思決定のためのエビデンスを整備できるか…？ ➢ 利害関係者を含めた議論・協同をもっと！ 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 29
「オープンサイエンス革命」に革命を ⚫ 出版スタイルからみるオープンサイエンス  PCI RR • プレプリントに対するレジレポ査読 → ジャーナルで出版！  出版後査読 (PPPR) • • プライマリPPPRとセカンダリPPPR (高橋, 2022) ここに、市民科学を取り入れられないだろうか…？  三位一体査読 (trinity review) (Mori et al., 2022) • • 2022/11/24 レジレポ・倫理審査・グラント審査の一体化序盤にグラント審査が入ることによる社会との近づき植田航平／Post-reproducibility crisis 時代における研究営為の提案 30
「オープンサイエンス革命」に革命を ⚫ 脱・中心化の機運  DeSci (Decentralized Science) • ブロックチェーンや暗号通貨などの技術を用いて、いわゆる“Web3”と科学や研究を掛け合わせて、科学を分権化しようという動き。 (Hamburg, 2021; Hamburg, 2022; 濱田, 2022a; 濱田2022b)  DeSci×学術出版 • Autonomous, bidding, credible, decentralized, ethical, and funded (ABCDEF) publishing (Oka, et al., preprint) • 2022/11/24 Trinity Reviewの査読やFunding部分をブロックチェーン技術などによるDeSciで。植田航平／Post-reproducibility crisis 時代における研究営為の提案 31
ABCDEF publishing (Oka et al., preprint) DAO (分散型自立組織) Stage 1 Stage 2 2022/11/24 レジレポ Trinity Review ABCDEF 査読：科学面科学面・倫理面科学面・倫理面グラント審査グラント審査査読：科学面査読：科学面査読：科学面植田航平／Post-reproducibility crisis 時代における研究営為の提案 32
「オープンサイエンス革命」に革命を 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 33
「オープンサイエンス革命」に革命を 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 34
とあるECRの提案 ⚫ 再現可能性や一般化可能性を高めるために今から出来そうな事… 1. 科学者に対する科学コミュニケーション 2. オープンサイエンスの更なる推進 3. 大規模データ取得のために… 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 35
大規模データ取得のために ⚫ 今後も、オンライン実験・調査は盛んにおこなわれるだろう。  簡便で迅速なデータ収集  「大学生」サンプルバイアスの軽減  大規模なデータを集めやすい • 将来は深層学習なども絡んでくる…？ (池田ら, 2022) ⚫ 一方で、いくつか課題もありそう…？  謝金の多寡 (クラウドソーシングの相場と心理実験の相場の違い etc.)  (高額な) 手数料  複数サービスの存在 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 36
大規模データ取得のために ⚫ 更に良いシステムをつくれないだろうか？  関連する複数の学会で連携して、「学術クラウドソーシング」サービスを立ち上げるのはどうか…？ 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 37
大規模データ取得のために ⚫ 関連する複数の学会で連携して、「学術クラウドソーシング」サービスを立ち上げるのはどうか…？  従来との比較 • 謝金の多寡 → 規則やマニュアルで整備できそうオンライン実験・調査の倫理の整備にも繋がりそう • (高額な) 手数料 → 学会員専用などにすれば良い…？加えて、研究用にサービスを設計しやすい…？ • 2022/11/24 複数サービスの存在 → これも一元化されるメリットがありそう植田航平／Post-reproducibility crisis 時代における研究営為の提案 38
大規模データ取得のために ⚫ 想定される課題  誰が開発、維持管理するのか…？  そのための資金は…？  専用プラットフォームゆえのバイアスが生じないか…？  手数料を徴収する場合、法的な部分での兼ね合いは…？ etc. ⚫ オンライン実験・調査の倫理面やガイドラインの整備と合わせて、より良い研究環境構築のためにECRs (駆け出し研究者) も上の世代も含めて議論したい！ 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 39
大規模データ取得のために海外には研究特化型サービスの前例も…！ ⚫ 想定される課題 e.g.) Prolific  誰が開発、維持管理するのか…？  そのための資金は…？  専用プラットフォームゆえのバイアスが生じないか…？  手数料を徴収する場合、法的な部分での兼ね合いは…？ etc. ⚫ オンライン実験・調査の倫理面やガイドラインの整備と合わせて、より良い研究環境構築のためにECRs (駆け出し研究者) も上の世代も含めて議論したい！この訳、いかがですか…？ 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 40
次の20年に向けて
その他、気になる話題 ⚫ 心理学と「不定性」(吉澤, 2021)  そもそも複雑な「こころ」(Ibanez, 2022)／しかも目に見えないし…  モデルと現実とのはざま (科学哲学も含めた議論) → 武藤さんのご発表につづく…… ⚫ 研究者の社会的責任 (藤垣, 2018)  研究営為や発信の面など、従来から議論されている点 (日本学術会議, 2013)  今後、認知心理学／認知科学がさらに発展すると生じそうな課題 2022/11/24 • AI周辺 (倫理面：個人情報保護や自動運転 etc.) • デュアルユースの問題 (にわかに話題に上った “認知領域”？ (産経新聞, 2022; 飯田, 2021)) 植田航平／Post-reproducibility crisis 時代における研究営為の提案 42
認知心理学会に向けての政策提言 (案)！ 1. 科学者に対する科学コミュニケーション ➢ 学会誌に、理論や概念に関する議論セクションや特集を設けるのはどうか？ 2. 「オープンサイエンス革命」に革命を ➢ 新たな出版スタイルを取り入れられないかご検討を…！ • Trinity reviewのような、レジレポ・グラント一体型査読はどうか？ • 市民科学×PPPRで、市民のコメントを募集・掲載できないだろうか？ 3. 大規模データ取得のために ➢ 学術クラウドソーシングサービス開設について、認知心も是非ご検討を…！ ➢ オンライン調査・実験の倫理やガイドライン整備を！ 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 43
認知心理学会に向けての政策提言 (案)！ 1. 科学者に対する科学コミュニケーション ➢ 学会誌に、理論や概念に関する議論セクションや特集を設けるのはどうか？ 2. 「オープンサイエンス革命」に革命を ➢ 新たな出版スタイルを取り入れられないかご検討を…！ • Trinity reviewのような、レジレポ・グラント一体型査読はどうか？ • 市民科学×PPPRで、市民のコメントを募集・掲載できないだろうか？ 3. 大規模データ取得のために ➢ 学術クラウドソーシングサービス開設について、認知心も是非ご検討を…！ ➢ オンライン調査・実験の倫理やガイドライン整備を！ 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 44
次の20年に向けて ⚫ 再現可能性問題に立ち向かったこの10年  一般化可能性と不定性の時代へ…！ Thank you very much for listening! ⚫ 今できそうな３つの研究営為 1. 科学者に対する科学コミュニケーション 2. 「オープンサイエンス革命」に革命を 3. 学会主導クラウドソーシング引用文献はこちら ⚫ この発表自体が「科学者に対する科学コミュニケーション」のつもりです。  皆様のご意見・ご感想、お待ちしております！！ 2022/11/24 植田航平／Post-reproducibility crisis 時代における研究営為の提案 45