和文学会誌は再現性問題にどのように立ち向かうか

DOI: http://doi.org/10.14947/psychono.37.26

和文学会誌は再現性問題にどのように立ち向かうか

渡 邊 芳 之

What can Japanese psychological journals do for

reproducibility of psychological research

Yoshiyuki Watanabe

Obihiro University of Agriculture and Veterinary Medicine

The roles of psychological journals on promoting the reproducibility of psychological research are discussed. These roles contain requiring better statistical expressions, detailed description of research method, pre-registration, replication reports, improvement of peer-review, and accelerating open science. A case example of Japanese Journal of Personality is described.

Keywords: reproducibility, journals, pre-registration, replication, Japan

は じ め に 研究の過程で観察された事実やそれに基づく知識がそ の観察や研究の外側に一般化できるかどうかは，心理学 に限らず学問一般に共通する方法論的な問題であり，い ま話題となっている再現（可能）性問題もそのひとつの 姿といえる。ある研究の中で実験や調査によって示され た事実や知識が追試によって再現されるならば，その事 実や知識はその実験や調査，それに基づく研究の外側に 一般化できる，普遍的な知識である可能性が高まる。 統計的検定に代表される推測統計学の手続きも，さま ざまな学問で同様の目的で用いられてきた。研究で観察 された差や傾向が統計的に有意であれば，それはその観 察（標本）に偶然生じたものではなく，観察の外側の世 界（母集団）にも一般化できると考えられるし，それは 当然，その観察が追試においても再現されることを期待 させる。 しかし，最近になって心理学やその他の分野の研究に おいて統計的に有意であった差や傾向が追試でほとんど 再現されない，という報告が数多くもたらされ（Open

Science Collaboration, 2015; Baker, 2016），こうした期待が 実際のデータによって必ずしも支持されないことが明ら かになってきた。こうした再現性のなさにはデータのね つ造，疑わしい研究実践，もともとの観察の信頼性のな さ，観察された事実の生起確率などさまざまな要因が関 係していると思われるが（渡邊，2016），われわれが再 現性の保証と考えてきた統計的検定の手続きが持つ問題 も，その原因として指摘されることが多くなってきた （大久保，2016）。 もっとも，心理学における統計的検定やその用法に対 する批判はけっして新しいものではなく，1960年代から 繰 り 返 さ れ て い た も の で あ る（Bakan, 1966; Cohen, 1994）。日本でも1990年前後に統計的検定批判のひとつ のピークがあり（橘，1986; 南風原，1995; 尾見・川野， 1994, 1996），現在の統計的検定批判にしばしば登場する 帰無仮説の問題，検定力と効果量，信頼区間，ベイズ統 計の可能性などの論点も，その中でおおよそ示されてい たと言ってよい。 ただ，1990年代の統計的検定批判と現在のそれを比較 すると，いくつかの相違点を指摘することができる。ま ず1990年代の統計的検定批判では，ランダムサンプリ ングの問題，p値の解釈の問題など，統計的検定が前提 としている条件が理解されず，満たされないまま統計的 検定が使われていることの結果として生じる問題，つま Copyright 2019. The Japanese Psychonomic Society. All rights reserved. Correspondence address: Obihiro University of Agriculture

and Veterinary Medicine, Nishi 2–11, Inada-cho, Obihiro, Hokkaido 080–8555, Japan. E-mail: [email protected]

り「統計的検定の誤用」に焦点が当てられることが多く， 現在のように統計的検定のしくみ自体が持つ問題が指摘 されることは比較的少なかったことがあげられる。そし て，1990年代の統計的検定批判は統計的手法の改善より もむしろ心理学の量的な方法や統計全般への不信や批 判，その結果としての質的方法の再評価などの方向に向 かうことが多かったのに対し，現在の統計的検定批判は 「統計的検定に代わる，よりよい統計手法」への興味に つながっていることも大きな違いである。このことには ベイズ統計など「別の方法」が現実的に利用可能になっ てきたことの影響が大きいと考えられる。 再現性問題やそれに対応するための統計改革に関連す る最近の議論を概観すると，再現性の基準や観察の外部 への一般化の基準はこれまでの統計的検定がそうであっ たような「唯一の基準」の代替を求めるのではなく，多 様な基準が並行して用いられる方向に進んでいるように 見える。また，研究目的や結果の利用目的によっても， 求められる再現性の基準やその大きさ，それを確認する ための統計手法のあり方は変わってくるだろう。これか らどのような再現性の基準や統計手法が使われるように なるかには心理学コミュニティがどのように同意形成し ていくかが大きく影響するだろうし，そこでは「正し さ」よりも（心理学者の，また研究成果の利用者の）「納 得」が重要になるだろう（尾見・川野，1996）。 こうした再現性の基準，一般化の基準の多様性の確 保，研究者コミュニティの納得の基準形成にジャーナル はどのような役割を担えるだろうか。とくに国内和文学 会誌が担える役割について，本稿では考えていきたい。 再現性問題でジャーナルができること 海外の動向等を概観すると，再現性問題にジャーナル が主体的に関与できるテーマは6つほどあると考えられ る。すなわち，よりよい統計表現の要求，研究方法の詳 細な記述，事前登録制度，追試研究，査読の改善・活性 化，そしてオープンサイエンスである。 よりよい統計表現の要求 心理学系の多くの国際誌が，再現性問題や統計的検定 の問題の指摘に対応して，統計的検定の使用に注意喚起 を行うとともに，統計的検定の結果だけでなく効果量や 信頼区間などの記述を要求したり，検定力の推定に基づ くサンプルサイズ設計を要求したりするようになってい る。こうした要求によって統計的検定以外の多様な基準 からの再現性確保が促進され，分析方法が改善されるこ とが期待される。国内でも「心理学研究」が記述すべき 統計量のリストに効果量を追加している（日本心理学 会，2015）。 研究方法の詳細な記述 追試が失敗するなど低い再現性の原因のひとつとし て，学術論文に研究方法が詳細に記述されていないこと から，論文の情報だけでは研究方法を正確に再現できな いことが指摘されている（Iqbal et al., 2016）。元の研究と 同じ方法で研究できなければ，結果が再現されないのは ある意味当然である。 こうした記述の不足の原因のひとつは，多くのジャー ナルが厳しい字数制限を設けていることである。論文の 著者は結果や考察で研究の意義を主張することを重視し て方法の記述を省略しがちである。これについては論文 全体の字数制限を緩和したり，方法のセクションについ ては字数制限から除外したりする対応が試されている。 厳しい字数制限は印刷媒体のページ管理とも関係してい るが，それも電子ジャーナルの普及により緩和しやすく なっているし，電子付録などをもちいたデータや材料の オープン化とも連動して改善が進む可能性が大きい。 事前登録制度 事前登録（pre-registration）制度は，研究者が研究を 実行してデータを取るより前にデータの分析方法も含む 研究計画を登録して日付で封印しておくことで，そのと おりに研究を行ったことを保証する制度で，研究不正や HARKing （データを取ってからデータに合わせて仮説を 組み立てること），p-hacking （統計的に有意になるよう にデータを追加したり偏った分析を行ったりすること） などを予防する効果がある。研究者が事前登録を行うた めのプラットフォームはすでにいくつも設置されてお り，ジャーナルは研究者がそうしたプラットフォームに 事前登録した証明だけを要求すれば制度を活用できる （Gonzales & Cunningham, 2015; Nosek, Ebersole, DeHaven,

& Mellor, 2018; van’t Veer & Ginger-Sorilla, 2016）。 よりジャーナルの関与が大きな方法にレジスタード・ レポートがある。レジスタード・レポートは研究者が （研究結果ではなく）研究計画をジャーナルに投稿し， それを審査して採択されたならば，その後に研究を実行 してその結果がネガティブであったとしてもジャーナル に掲載されるという仕組みで，事前登録制度と同様に HARKingやp-hackingを防ぐとともに，成功した研究だ けが出版される「出版バイアス」を緩和する効果がある と考えられている。レジスタード・レポートの導入には ジャーナル側の査読プロセスの変更が求められるが，そ

れを導入するジャーナルが増えている（Ansari & Ger-vain, 2018）。 追試研究 われわれ世代の心理学者には，日本心理学会大会の発 表セッションで海外の研究を先行研究として引用する発 表者全員に「あなたはその研究を追試したのですか，自 分で確かめたのですか」と質問する結城錦一先生（1901– 1997）の姿を記憶している者が少なくないと思う。しか し当時は結城先生の質問は発表者からもフロアからも困 惑を持って迎えられていて，追試の必要性を感じている 心理学者は少なかった。 心理学がこれまで追試に熱心でなかったことはたびた び指摘されているが（Makel, Plucker, & Hegarty, 2012）， その大きな理由の一つは心理学のジャーナルが「新規性 や独自性のない」追試研究の投稿と掲載を明文で，ある いは非明文で拒否していたことにある。心理学のジャー ナルが追試研究を掲載するようになれば，追試研究が盛 んになって再現性の確認が進むと期待できる。従来の研 究論文との共存に困難があればジャーナルに追試専門の セクションを設けたり，追試専門のジャーナルを創刊す ることもできるだろう。また，追試に成功した論文ばか りが投稿・掲載されるような出版バイアスを防ぐうえで は，レジスタード・レプリケーション・レポート（RRR， 前述のレジスタード・レポーツの追試研究版）が有効と される（Simons, Holconbe, & Spellman, 2014）。

追試研究には原研究の手続きや分析方法を完全に再現 して結果が再現するかを見る「直接追試」と，手続きや 方法には変更を加えつつも原研究の概念的枠組みは維持 した追試（概念的追試）とがあるが，冒頭で述べた「観 察の一般化可能性」を担保する意味では概念的追試にも 大きな意味がある（三井，1981）。 余談になるが，日本の心理学史においてもっとも多く 追試されたテーマに「血液型性格関連説」がある（佐藤・ 渡邊，1995）。昭和の初期に古川竹二によって提唱され て以来100を優に超える追試研究があって（大村，2012; 白佐・井口，1993），最近でも縄田（2014）による概念 的追試が行われて血液型と性格との関連が「否定」され ている。血液型性格関連説がここまで追試される原因 は，心理学者の側にある，その説を認めたくない，否定 したいという強い動機づけだろう。今回の再現性問題の 一つのきっかけになったBem （2011）による予知研究と その追試（Ritchie, Wiseman, & French, 2012）においても， 「未来が予知できる」という現代科学の根幹を揺るがす 主張に対して，他の心理学者の側にそれを認めたくな い，否定したいという強い動機づけがあったことは否定 できない。逆に言えば，不正があったり分析が間違って いたりして本来再現できないような研究であっても，そ の主張が心理学者の常識に合致した否定しにくいような ものであると追試が動機づけられないということが予想 される。当たり前の研究を当たり前に追試する流れが作 られないといけない。 査読の改善，活性化 不正を防ぎ，論文の記述を適正にして再現性を高める うえでは，査読が有効に機能することも大切である。 Burley & Moylan （2017）は査読を改善するポイントとし

て，AIなど新技術を活用して専門性の高い査読者を新 しく発見すること，若い研究者，他分野の研究者，女性 やマイノリティの参加を増やして査読者の多様性を高め ること，査読方法の透明性を高めること，査読者に適切 な教育を施すこと，ジャーナルや出版社を超えて査読結 果を活用し，同じ査読者が同じ論文を複数のジャーナル で査読するようなムダを減らすこと，査読を研究業績と して正当に評価すること，査読システムをより効率化す ることの7点を挙げている。 ピアレフェリー制度自体が持つ問題点もしばしば指摘 されるが（佐藤，2016），現在のところ論文の審査方法 としてそれに代わる有力なものは現れていないので，こ うした改善の推進は重要と考えられる。 オープンサイエンスの促進 「オープンサイエンス」という言葉が意味するものは いろいろだが，ここでは論文などの研究報告はもちろ ん，実験手続きや刺激材料，質問紙そしてローデータな ども公開して，ひろく再分析や追試，メタ研究などを可 能にすることを指して用いる。こうした情報の公開は データの再分析や追試など，再現性の確認に大きく寄与 するし，そうした情報の公開のためのプラットフォーム をジャーナルが提供すれば，ジャーナルが再現性の向上 に貢献することができる。 国 内 で も「実 験 社 会 心 理 学 研 究」 が J-STAGE 電 子 ジャーナルの電子付録機能を活用して追加データや資料 の公開を可能にしており，すでにそれを利用した論文が 公刊されている（Ohtaka & Karasawa, 2018）。

そもそも，ジャーナルの論文が電子的にオープンアク セスとなって誰にでも利用可能となっていることも，幅 広いチェックと「出版後査読」に開かれることで再現性 の向上に役立つと思われる。その点で公開収益や著者の 負担を考慮せずにオープンアクセス化できる学会誌の優

位性が高まっているともいえる。 「パーソナリティ研究」と再現性問題 つぎに，国内の心理学系学会とその機関誌が再現性問 題にどう対応するか，対応しうるかを考えるために，著 者が理事長を務める日本パーソナリティ心理学会とその 機関誌「パーソナリティ研究」を例に挙げて検討してみ よう。 日本パーソナリティ心理学会は1992年に日本性格心 理学会として設立され，2018年3月現在の会員数は921 名，予算規模は約 1200万円（そのうち年間の実支出は 約700万円）であり，典型的な日本の分野別心理学会の ひとつといえる。機関誌「パーソナリティ研究」（旧「性 格心理学研究」）は現在年1巻3号を発行している。論文 の種別は「原著」と「ショートレポート」の 2種類で， 年間の総ページ数は約300ページ，年に60本程度の投稿 があって，そのうち30本前後が掲載されている。現在 の編集委員長は加藤司（東洋大学）だが，その前には著 者が9年間にわたり編集委員長を務めていた（日本パー ソナリティ心理学会20年史編纂委員会，2015）。 若い研究者を中心に海外学会への参加，海外誌への投 稿がふつうになってくるにつれて，国内学会の会員数減 少傾向が話題になっている。このことには研究者の多忙 化，若手研究者の経済的苦境に加えて，とくに心理学で は学会の数が多すぎることも指摘されていて，将来的な 学会の統廃合，再編も取りざたされている。 そうした中で，和文学会誌の存在意義も繰り返し問わ れるようになっている。前述のように優れた研究，大き な予算のかかった研究が国際誌に投稿されることが多く なる中で，和文学会誌が掲載論文の質と数を維持できる かは大きな問題である。科学研究全体や心理学の世界的 潮流から言って和文学会誌も再現性問題への対応を進め なければならないが，それが投稿のハードルを高めて和 文学会誌への投稿を減らしてしまうのではないかという 危惧はあるし，そもそも会員の会費によって維持される 「学会誌」という性質上，学会誌のあり方には会員の利 益が反映されなければならない。そうした中で国内学会 と和文学会誌はどのように再現性問題に立ち向かうこと ができるだろうか。 よりよい統計表現の要求 このシンポジウムでどのような話をするかを加藤編集 委員長と相談した時に，加藤編集委員長は「統計手法を こうしろ，論文をこうしろと投稿者に要求するためには ジャーナルに哲学がなければいけない。日本の学会誌に そんな哲学があるとはとうてい思えない」と言った。こ れは一面の真実ではあって，われわれのジャーナルが国 際誌に先駆けて主体的な「論文改善策」を打ち出すのに は困難があり，どうしても国際誌や国内有力誌の動向を 追わなければならない。 同時にそのことは，とくに統計手法については投稿者 が参照する先行研究の統計が「改善」されれば，国内誌 に投稿される論文の統計も自然に改善されるという期待 にもつながる。「パーソナリティ研究」ではこれまで投 稿者に対して特定の統計手法の使用や不使用を求めたこ とはないが，統計手法は徐々に変化を見せている。 「パーソナリティ研究」第26巻（2017年から2018年）の 掲載論文を見ると，総掲載論文数は38本，そのうち20 本は相関・回帰・因果分析系の統計手法を用いていた。 いっぽうt検定を用いた論文は8本あったが，そのうち 効果量の記載があったものは4本，分散分析が用いられ た論文は7本あって，うち4本に効果量の記載があった。 また，検定力の分析によってサンプルサイズを決定して いるものも1本あった。 方法の詳細な記述 前述のように，研究結果の再現に必要な情報が論文に 十分に記述されないことには，論文の字数制限が関わって いる。字数制限を緩和できれば問題は改善されるが，これ は直接に刊行費用に反映される。投稿料や掲載料で費用 を支弁できる商業誌であればよいが，学会誌の場合には 予算の制限があるし，再現性のためにその制限をなくすに は費用の負担者である学会員の理解が必要になる。 学会誌の電子化やそれにともなう電子付録の活用など は，費用をあまり増やさずに字数制限を緩和したり，方 法に関わる情報を付録として添付することを可能とす る。それでも「パーソナリティ研究」のように電子媒体 と印刷媒体を並行して発行している場合には，電子媒体 だけで字数制限を緩和することはできないという問題が ある。学会誌の印刷媒体の廃止は繰り返し検討にはかか るものの会員の理解を得にくい課題であるが，再現性の ための字数制限緩和，という新しい目標が，学会誌の印 刷媒体廃止の呼び水となりうるのではないかとも思う。 事前登録制度 事前登録制度など，新しい論文投稿や審査の方法が提 案される時には，それを可能とする投稿システム，審査 システムなどの構築が問題になる。もし事前登録制度を 可能にするシステムを各学会が独自に用意しなければな らないなら，事前登録制度の導入はとくに和文学会誌で

は非常に困難になるだろう。

しかし現実には，Open Science Framework （OSF）など， 事前登録制度をサポートするプラットフォームはすでに いくつも用意されていて，研究者個人がそれらを利用し て事前登録を行い，その登録の事実だけを投稿時に ジャーナルに申告してくれれば，ジャーナル側がそれを 事前登録研究として掲載することはごく簡単な手続きに なる。和文学会誌もすぐに対応できるだろう。 レジスタード・レポートやレジスタード・レプリケー ション・レポートの場合は審査過程を一部変更しないと いけないので，やや難しさが増す。しかし後述のように 具体的に検討してみると，原稿の審査過程をごく一部変 更するだけで，比較的簡単に対応できることがわかっ た。必要なのは「事前登録制度を導入する」という意思 決定であって，決めてしまえばそれほどハードルは高く ないようだ。 追試研究の促進 追試研究の促進，学会誌への追試研究の掲載も重要な 課題である。日本パーソナリティ心理学会とその機関誌 編集委員会では，しばらく前から「パーソナリティ研 究」への追試研究の掲載を実現できないかについて検討 してきた。その結果，2019年度発行の第28巻からをめ どに追試研究の掲載を行うことを決めるとともに，追試 研究以外についても新規性の偏重を排除するような編集 規定の改正，編集過程の見直しを進めている。また，レ ジスタード・レポートやレジスタード・レプリケーショ ン・レポートについても，投稿があれば対応できる体制 を準備している。これらの変更については2018年11月 発行の「パーソナリティ研究」第27巻第2号に加藤編集 委員長による長大なエディトリアルが掲載されて，学会 員や幅広い読者に知らされている（加藤，2018）。 査読の改善，活性化 「パーソナリティ研究」の査読は前身である「性格心 理学研究」の時代から「ピアレビュー」の本来のあり方 を重視して，学会の重鎮が審査するのではなく，実際に 研究を行なって投稿してくる会員と年齢的にも立場的に も近い研究者による査読を基本としてきた。著者が初め て「性格心理学研究」の査読者（編集委員）になったの は30歳の時だった。査読者の多様性についても，創刊 当初から大学に勤務する研究者以外の人が編集委員に含 まれていたし，編集委員に女性が占める割合も一貫して 30％を超えている（日本パーソナリティ心理学会 20年 史編纂委員会，2015）。今後もこうした多様性を維持拡 大するとともに，よりよい査読のための査読者教育，査 読者へのサポートを充実させたい。 オープンサイエンス 「パーソナリティ研究」は国内の心理学系学会誌に先 鞭をつけて 1996年からNACSIS-ELS，現在はJ-STAGEを 利用したオープンアクセスを提供している。このように 学会誌のオープンアクセス化により研究成果が幅広く閲 覧され，チェックされること，追試の可能性も広く開放 されることは心理学研究の再現性向上に寄与すると期待 できる。 「パーソナリティ研究」に掲載された論文のデータ公 開についてもかなり以前から検討してきたが，データ公 開のプラットフォームの設置方法や予算についてのめど が立たないまま保留となっていた。これについても前述 のJ-STAGE「電子付録」によって簡単に実現できるよう になったので，編集委員会での準備ができしだい実施す ることにしている。 お わ り に 学会活動や学会誌が再現性問題に対応し，心理学研究 の再現性向上に寄与していくためには，そのことの意義 が会費を負担する会員に理解され，またそうした取り組 みが一人ひとりの会員の利益になると感じられることが 必要である。会員数と投稿者数を照らし合わせれば，学 会会員の大多数は学会誌に論文を投稿することがないこ とがわかるし，追試研究の掲載などの新しい試みを利用 する会員はさらに少数になる。それでも，再現性問題へ の真摯な対応によって学会誌の信頼性が高まることは， 学会誌や学会への社会的評価を高め，学会の存在意義を 高めるということを繰り返し伝えていかなければならな い。 もちろん，再現性問題への対応は個別のジャーナル， 個別の学会だけの問題ではなく，日本の，あるいは世界 の心理学ワールド全体の問題としても対応していかなけ ればならない問題である。とくに心理学教育，心理学の 研究者養成教育においてそうした問題をどのように教 え，不正や疑わしい研究実践を減らし，研究の再現性を 高めていけるかについては，心理学に関わる様々な立場 からの議論や協働が必要になってくる。もちろん私たち の学会はそれに積極的に貢献しようとしているが，一学 会だけでは対応できない問題も多いだろう。こうしたこ とはおそらく今後の心理学系国内学会のあり方，活動の 姿にも大きな影響を与えると予測している。

引用文献

Ansari, D., & Gervain, J. (2018). Registered reports: Introduc-ing a new article format in Developmental Science.

Develop-mental Science, 21, 1–2

Bakan, D. (1966). The test of significance in psychological re-search. Psychological Bulletin, 66, 423–437.

Baker, M. (2016). 1,500 scientists lift the lid on reproducibility.

Nature, 533, 452–454.

Bem, D. J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and af-fect. Journal of Personality and Social Psychology, 100, 407– 425.

Burley, R., & Moylan, E. (2017). Foreword. In R. Burley, & E. Moylan (Eds.), What might peer review look like in 2030? SpotOn Report.

Cohen, J. (1994). The earth is round (p＜.05). American

Psy-chologist, 49, 997–1003.

Gonzales, J. E., & Cunningham, C. A. (2015). The promise of pre-registration in psychological research. Psychological

Science Agenda, 29, Retrieved from https://www.apa.org/

science/about/psa/2015/08/pre-registration.aspx

南風原朝和 （1995）．教育心理学研究と統計的検定 教 育心理学年報，34, 122–131.

Iqbal, S. A., Wallach, J. D., Khoury, M. J., Schully, S. D., & Ioannidis, J. P. A. (2016). Reproducible research practices and transparency across the biomedical literature. PLoS

Biology, 14, e1002333.

加藤 司 （2018）．『パーソナリティ研究』の新たな挑戦 ――追試研究と事前登録研究の掲載―― パーソナリ ティ研究，27, 1–26. DOI: http://doi.org/10.2132/personality. 27.2.11

Makel, M. C., Plucker, J. A., & Hegarty, B. (2012). Replications in psychology research: How often do they really occur.

Perspectives on Psychological Science, 7, 537–542.

三井宏隆 （1981）．社会心理学における追試の問題 実 験社会心理学研究，20, 171–178. 縄田健悟 （2014）．血液型と性格の無関連性――日本と 米国の大規模社会調査を用いた実証的論拠―― 心理 学研究，85, 148–156. 日本心理学会 （2015）．日本心理学会 執筆・投稿の手 びき 日本心理学会 日本パーソナリティ心理学会20年史編纂委員会 （2015）． 日本パーソナリティ心理学会20年史 福村出版 Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T.

(2018). The preregistoration revolution. Proceedings of the

National Academy of Sciences of the United States of Ameri-ca, 115, 2600–2606.

大久保街亜（2016）．帰無仮説検定と再現可能性 心理 学評論，59, 57–67.

大村政男 （2012）．新編・血液型と性格 福村出版 Ohtaka, M., & Karasawa, K. (2018). Perspective-taking in

fam-ilies based on the social relations model. The Japanese

jour-nal of Experimental Social Psychology, 58, 1–5. https://doi.

org/10.2130/jjesp.1810 尾見康博・川野健治 （1994）．心理学における統計手法 再考――数字に対する“期待”と“不安”―― 性格 心理学研究，2, 56–67. 尾見康博・川野健治（1996）．納得の基準――心理学者 がしていること―― 東京都立大学人文学部 人文学 報，269, 31–45.

Open Science Collaboration (2015). Estimating the reproduc-ibility of psychological science. Science, 349, aac4716. Ritchie, S. J., Wiseman, R., & French, C. C. (2012). Failing the

future: Three unsuccessful attempts to replicate bem’s ‘ret-roactive facilitation of recall’ effect. PLoS ONE, 7, e33423. 佐藤 翔 （2016）．査読の抱える問題とその対応策 情 報の科学と技術，66, 115–121. 佐藤達哉・渡邊芳之 （1995）．古川竹二の血液型気質相 関説の成立を巡って――大正末期∼昭和初期における ある気質論の成立背景―― 性格心理学研究，3, 51– 65.

Simmons, D. J., Holcombe, A. O., & Spellman, B. (2014). An introduction to registered replication reports at perspectives on psychological science. Perspectives on Psychological

Sci-ence, 9, 552–555.

白佐俊憲・井口拓自 （1993）．血液型性格研究入門―― 血液型と性格は関係ないと言えるか―― 川島書店 橘 俊明 （1986）．医学・教育学・心理学にみられる統

計的検定の誤用と弊害 医療図書出版社

van’t Veer, A. E., & Ginger-Sorolla,R. (2016). Pre-registration in social psychology̶A discussion and suggested template.

Journal of Experimental Social Psychology, 67, 2–12.

渡邊芳之 （2016）．心理学のデータと再現可能性 心理 学評論，59, 98–107.