第１１章 

- 112 -

第１１章 

共通評価項目の信頼性と妥当性に関する研究（42）〜第 3 版案の評定者間一致 度の検証

目的

2013年に始まる本研究は、共通評価項目の 信頼性と妥当性に関する研究を推し進め、標 準化された尺度として改訂することを目的と して行ってきた。3ヶ年の研究のうち 1 年目 には768名分のデータを収集し、そのうち通 院処遇に移行した432名分のデータを用いて 共通評価項目の中項目および小項目それぞれ の問題事象への予測力を評価した 1)。更に本 研究2年目には、上記研究結果ならびにこれ までの研究結果を踏まえ、第3版案を作成し た2)。共通評価項目第3版案の構成を表1に 示す。第3版案は本研究2年目の報告書²⁾第 10章「共通評価項目の信頼性と妥当性に関す る研究（32）〜改訂案の作成とベータテスト」

に示した通り、第2版の評定者間一致度の研 究3)において級内相関係数（ICC(2,1)）が0.6 未満であった項目、および、収束妥当性の研 究 ⁴⁾において妥当性の問題が示唆された項目 を修正するとともに、本研究1年目の報告書

1)第1章「共通評価項目の信頼性と妥当性に関 する研究（4）〜因子分析による検討」に示し た因子分析結果に従って項目の配列を変更し た。それに伴い、第2版での【生活能力】の 中項目を【日常生活能力】と【活動性・社会 性】の２つの中項目に分割するなどの改訂を 行った。

このようなプロセスで項目の改訂を行った 結果、第3版案の項目にはこれまでの研究で 十分な評定者間一致度が得られ、改訂してい ない項目と、項目のアンカーポイントの修正 を行ったため、ないし新規に項目を作成した ために評定者間一致度の検証が必要な項目と が混在する構成となった。表1内にアンカー ポイントを修正した項目、ないし新規に追加 した項目についてはその旨を付記した。なお、

上記のように2つの中項目に分割した【生活 能力】をはじめ、7つの項目はアンカーポイ ントの修正をすると共に項目名を第2版から 変更している。その点についても表1に付記 した。

本研究では共通評価項目第3版案の作成に おいて新規に作成した項目、ならびにアンカ ーポイントの修正を行った項目について評定 者間一致度（ICC(2,1)）の検証を行い、評定 者間信頼性の確認を行うことを目的とする。

本研究において第3版案の各項目について十 分な評定者間一致度が確認されれば、第3版 として改訂を行うことが可能になる。

方法

a.評定用事例集の作成

評定者間一致度を算出するため、まず評定 用の事例を作成した。評定用事例の作成と評 定のため、2014年12月6−7日に研究協力者 会議を行い、医療観察法指定入院医療機関に て従事する臨床心理技術者に第3版案の伝達 を行うとともに、2 事例の評定演習とフィー ドバックを含んだ研修を行った。この伝達研 修に参加した臨床心理技術者に評定用事例の 作成を依頼した。事例は医療観察法入院処遇 となった事例を元にしつつ、住所・氏名など 固有名詞を除き、可能な範囲で情報を改変し た。また共通評価項目の評定値を分散させる ため、入院時（急性期）、回復期へのステージ 移行時、社会復帰期へのステージ移行時、退 院申請時の４つの時期に分け、各 12 例、計 48例が作成された。

事例の様式は、第2 版の評定者間一致度の 検証 ³⁾の際と同様、個人を特定できる情報を 除き、対象者の性別、診断名、対象行為、簡 単な病歴、評価期間中の臨床情報からなり、

- 113 - この臨床情報は共通評価項目第 3 版案の 19 の中項目ごとに分けて記載された。

b.評定方法と評定者について

  評定者間一致度算出のための事例の評定者 は、第2 版の評定者間一致度の検証³⁾の際と 同様、医療観察法指定入院医療機関に従事す る臨床心理技術者とし、上記2014年12月6

−7日に研究協力者会議にて行った、2事例の 評定演習とフィードバックを含んだ約7 時間 の伝達研修全てに参加した 24 人が評定者と なった。この24人が前記の評定用事例につい て、第3版案の19中項目と46小項目全てを 評定した。

c.評定者間信頼性の指標について

  本研究では第2版の評定者間一致度の検証

3)の際と同様、評定者間信頼性の指標として級 内 相 関 係 数 二 元 配 置 変 量 効 果 モ デ ル

（ICC(2,1)）を用いた。第 3 版案でも評定が

「問題なし＝0 点」「軽度の問題＝１点」「明 らかな問題あり＝２点」の3段階評価であり、

順序尺度であるが、PCL-Rの信頼性研究5)や

HCR-20 の信頼性研究の多くに級内相関係数

が用いられている6)ことに倣い、3段階の間隔 尺度と見做して解析を行った。また複数の事 例に対して複数の臨床心理技術者が1回ずつ 評定を行うという二元配置変量効果モデルで あるためにICC(2,1)を用いて解析を行ってい る。

  なお共通評価項目第2 版において「2 点は 特別な場合に限る」というルールのあった【共 感性】および【治療効果】については、いず れも第2 版の評定者間一致度の検証3)の際に 十分な評定者間一致度が得られなかったため、

「2 点は特別な場合に限る」というルールは 削除した。それ故、第2版よりも評定が等間 隔に近づいていることが期待される。

  統計解析にはエクセル統計 2015 を使用し

た。

d.倫理的な配慮

多機関の研究協力者と共有する評定用事例 については、住所・氏名ならびに会社名・学 校名・地名等個人の特定につながるような個 人情報は削除し、尺度の評定に支障のない範 囲で事例の内容を改変して評定用事例とする ことで、個人を特定できないようにした。発 表には統計的な値のみを発表し、一事例の詳 細な情報を発表することはしない。以上の配 慮をもって、研究代表者の所属施設である肥 前精神医療センターの承認を得て本研究を実 施した。

結果

共通評価項目第3版案の19中項目ならびに 46小項目それぞれの級内相関係数（ICC(2,1)）

を表1に示した。表1では本研究でのICC(2,1) とともに、95％信頼区間の値を示し、また、

第 2 版 の 評 定 者 間 一 致 度 の 研 究 ³⁾で の

ICC(2,1)を併記した。表 1に示した級内相関

係数の算出に用いた事例（Subject）は48例 であり、評定者（Rater）は 24 人であるが、

表1中【非精神病性症状１）興奮】、【衝動コ ントロール４）そそのかされる】、【物質乱用】

の3項目にはそれぞれ１箇所の欠損値があり、

【認知機能】には２箇所の欠損値があった。

欠損値処理に当たっては第2版の評定者間一 致度の検証 3)の際と同様、評定事例数を減ら さないために当該項目の評定者を削除した。

そのため【非精神病性症状１）興奮】、【衝動 コントロール４）そそのかされる】、【物質乱 用】の3項目は評定者数が23人、【認知機能】

は評定者数が22人となり、その他の項目は評 定者が24人である。

表1に示す通り、第2版の評定者間一致度 の検証 3)の際に級内相関係数（ICC(2,1)）が 0.6未満であった13項目、小項目の構成を変

- 114 - 更したために評定者間一致度の再検証が必要 となった【非精神病性症状】【日常生活能力】

【活動性・社会性】（左記3項目は第2版での 評定者間一致度は0.6未満であった）【現実的 計画】【治療・ケアの継続性】の5項目、第2 版の評定者間一致度は 0.6 以上であったが概 念の修正を行った【アドヒアランス】【治療・

ケアの継続性２）予防】【治療・ケアの継続性 ５）クライシスプラン】の3 項目、新規に構 成した【認知機能】【認知機能２）認知機能の 偏り】【活動性・社会性６）生活のバランス】

の3項目、合わせて21項目は全て級内相関係 数（ICC(2,1)）0.6以上となった。

一方で、表1 から【活動性・社会性２）コ ミュニケーション技能】は ICC(2,1)=0.580、

【衝動コントロール１）一貫性のない行動】

はICC(2,1)=0.578と0.6をわずかに下回った。

この2項目はいずれも第2版からの改変を行 っておらず、第2版の評定者間一致度の検証

3)の際には級内相関係数（ICC(2,1)）がそれぞ れ0.608、0.668と0.6を超え十分な信頼性が 示されていた項目である。その他の項目は全 て級内相関係数が 0.6 を超え、十分な値が得 られた。

考察

  本研究は共通評価項目の信頼性と妥当性に 関する研究の一つの締めくくりとして、作成 された第3版案の評定者間一致度の検証を行 ったものである。その結果、第 3 版案の 19 の中項目は全てが 0.6 以上の十分な評定者間 一致度が得られ、小項目でも【活動性・社会 性２）コミュニケーション技能】と【衝動コ ントロール１）一貫性のない行動】を除く44 項目にて 0.6 以上の十分な評定者間一致度が 得られた。【活動性・社会性２）コミュニケー ション技能】と【衝動コントロール１）一貫 性 の な い 行 動 】 は ICC(2,1)=0.580 、 ICC(2,1)=0.578とわずかに0.6を下回ったが、

いずれも第2版からの改訂を行っていない項 目で、第 2版の評定者間一致度の検証 ³⁾の際 には級内相関係数（ICC(2,1)）がそれぞれ 0.608、0.668と0.6を超え十分な信頼性が示 されていた項目である。それ故にこの2項目 が評定者間信頼性に問題があるとは必ずしも 言えない。Holzingerら(2013)によるHCR-20 第3版の下位項目の級内相関係数の検証結果

6)で、0.5 を下回る項目が 6 項目あったこと、

DouglasらによるHCR-20第2版の下位項目 の級内相関係数の検証結果 7)で級内相関係数

（ICC２）が0.6を下回る項目が5項目あった ことに比べても、高い水準の評定者間信頼性 が 得 ら れ て い る と 言 え る 。Landis and Koch(1977)のκ係数についての基準 8)と照ら し合わせると、Moderateの水準(0.41〜0.60) が2項目、Substantialの水準（0.61〜0.80）

が36項目、Almost Perfectの水準（0.80〜1.00）

が27項目であり、この点からも高い水準の評 定者間信頼性が得られていると言える。上記 のように級内相関係数が今回 0.6に満たなか った項目は前回の検証において 0.6 を超えて おり、明らかに信頼性が不足する項目は第 3 版案にはないと言える。

  以上のことから、本研究において作成され た共通評価項目第3版案は高い評定者間信頼 性が維持されており、これをもって第3版と して改訂することにより、科学的裏付けを持 った尺度として共通評価項目を編成すること が可能になる。さらにはエビデンスに基づい た医療観察法医療につなげることができる。

よって今後は本研究で示された第3 案を新し い共通評価項目として頒布し、全国で使用さ れることが求められる。

文献

１） 壁屋康洋・高橋昇・西村大樹・砥上恭子・

松原弘泰・小片圭子・山本哲裕・荒井宏 文・深瀬亜矢・鈴木敬生・今村扶美・瀬

- 115 - 底正有・竹本浩子・中尾文彦・野村照幸・

大原薫・松下亮・中川桜・堀内美穂・古 賀礼子・河西宏実・畔柳真理・常包知秀・

横田聡子・長井史紀・前上里泰史・占部 文香・高野真弘・有馬正道・天野昌太郎・

大賀礼子・桑本雅量・藤田美穂・笠井正 一・冨山孝・島田雅美・小川佳子・古野 悟志・山内健一郎・菊池安希子：平成25 度厚生労働科学研究費補助金（障害者対 策総合  研究事業）医療観察法対象者の 円滑な社会復帰に関する研究【若手育成 型】医療観察法指定医療機関ネットワー クによる共通評価項目の信頼性と妥当性 に関する研究  平成25年度総括研究報 告書，2014．

２） 壁屋康洋、高橋昇、砥上恭子、西村大樹、

平林直次、永田貴子、村杉謙次、下里誠 司、三澤剛、石井利樹、松原弘泰、小片 圭子、山本哲裕、荒井宏文、深瀬亜矢、

鈴木敬生、今村扶美、川地拓、瀬底正有、

竹本浩子、中尾文彦、野村照幸、大原薫、

松下亮、中川桜、堀内美穂、古賀礼子、

北靖恵、河西宏実、畔柳真理、常包知秀、

横田聡子、長井史紀、前上里泰史、前田 愛、占部文香、高野真弘、有馬正道、天 野昌太郎、大賀礼子、桑本雅量、西川啓 祐、松本美奈子、藤田美穂、笠井正一、

冨山孝、島田雅美、桒原真弓、小川佳子、

古野悟志、北湯口孝、田中さやか、山内 健一郎、菊池安希子：平成 25 度厚生労 働科学研究費補助金（障害者対策総合  研究事業）医療観察法対象者の円滑な社 会復帰に関する研究【若手育成型】医療 観察法指定医療機関ネットワークによる 共通評価項目の信頼性と妥当性に関する

研究  平成26年度総括研究報告書，2015．

３） 高橋昇、壁屋康洋、西村大樹、砥上恭子 ら：共通評価項目の信頼性と妥当性に関 する研究（１）評定者間一致度の検証．

司法精神医学,7,23-31:2012.

４） 壁屋康洋、高橋昇、西村大樹、砥上恭子、

野村照幸、古村健、箕浦由香、前上里泰 史、朝波千尋、宮田純平：共通評価項目 の信頼性と妥当性に関する研究（6）収束 妥 当 性 の 検 証 ． 司 法 精 神 医 学,8： 20-29,2013.

５） Hare,R.D. :PCL‑R 2^nd Edition,  Multi‑Health System Inc., Toronto,  Canada, 2003−西村由貴（訳）,PCL‑R  第 ２版  日本語版テクニカルマニュアル  金子書房,東京,2004 

６） Douglas,K.S., Shafer,C.,  Blanchard,A.J.E., Guy,L.S., 

Reeves,K.A., &    Weir,J.: HCR‑20  Violence Risk Assessment Scheme：

Overview and Annotated Bibliography  (Visit http://kdouglas.wordpress.com  for updates),2014. 

７） Douglas,K.S.,  Ogloff,J.R.P.,  Hart,S. : Evaluation of a Model of Risk  Assessment Among Forensic Psychiatric  Patients.   Psychiatric  Services,54. 

1372‑1379,2003 

８） SKETCH 研究会 統計分科会:臨床デー

タの信頼性と妥当性  サイエンティスト 社,東京,  2005

表

表1  共通評価項目第共通評価項目第3版の級内相関係数および第

- 116 -

版の級内相関係数および第 版の級内相関係数および第

版の級内相関係数および第2版との比較 版との比較