本ガイドライン作成過程の妥当性や臨床現場への適用可能性などを客観的に評価する ために,本ガイドラインの作成後,作成に直接関わっていない膵癌専門医2名(外科系,
内科系),膵癌を専門としないが臨床ガイドラインに精通している医師1名(非専門医),
生物統計学専門家1名,患者代表1名の計5名から構成される外部評価委員によって,
独立した評価が行われた。評価は,診療ガイドラインを評価するツールとして世界的に 用いられているAGREEⅡ(Appraisal of Guidelines for Research and Evaluation)プロ ジェクトによる評価法 1)を用いて行われた。結果の概要を以下に示す。なお,評価全体 のサンプルサイズが5名と少ないため,結果の解釈には十分注意する必要がある。外部 評価委員の人数が少ないため,膵癌専門医,膵癌非専門医,患者代表3者間での比較を 今回は行わなかった。
AGREEⅡによる評価
AGREEⅡによる評価(表1)は6領域〔「対象と目的」(1─3),「利害関係者の参加」(4─6),
「作成の厳密さ」(7─14),「提示の明確さ」(15─17),「適用可能性」(18─21),「編集の独立性」
(22─23)〕23項目および全体評価1項目(24)の計24項目から成る。各項目について,7点:
「強く合う」から1点:「強く合わない」(1─23),7点:「最も高い」から1点:「最も低い」
の7段階で評価される。また,各項目にはコメントを記載するための欄が設けられてい る。
領域ごとの平均点(最低1点〜最高7点)および標準化スコア(最高評点に対するパー センテージとして標準化したスコア,最低0%〜最高100%)は,「対象と目的」について は94%,「利害関係者の参加」84%,「作成の厳密さ」91%,「提示の明確さ」83%,「適用 可能性」74%,「編集の独立性」95% であり,「対象と目的」「作成の厳密さ」および「編集 の独立性」については優れているものの,「適用可能性」については改善の余地があるこ とが示唆された(図1)。
各項目に関しては,評価が高いものとしては,項目1:「ガイドライン全体の目的が 具体的に記載されている」,項目3:「ガイドラインの適用が想定される対象(患者,一 般など)が具体的に記載されている」,項目7:「エビデンスを検索するために系統的な 方法が用いられている」,項目22:「資金源によりガイドラインの内容が影響されてい ない」などである。一方で,評価が低かった項目は,項目15:「推奨が具体的であり,
曖昧でない」,項目21:「ガイドラインにモニタリング・監査のための基準が示されて いる」などであった。
全体評価については,項目25:「本ガイドラインを診療に用いることを推奨するか?」
という質問に対し,4人が「YES」と回答し,残り1人のみ「YES(修正あり)」と回答して いた。
表 1 評価結果
NO.1 〜 23 1:強く合わない, 2,3,4,5,6,7:強く合う NO.24 1:最も低い,2,3,4,5,6,7:最も高い NO.25 YES,YES(修正して),NO
領域 No. 日本語暫定訳 A B C D E 平均
値 1.
対象と 目的
1 ガイドライン全体の目的が具体的に記載されている 6 7 7 7 7 6.8
2 ガイドラインが取り扱う健康上の課題が具体的に記載
されている 6 6 7 6 7 6.4
3 ガイドラインの適用が想定される対象(患者,一般な
ど)が具体的に記載されている 7 7 7 6 7 6.8
2.
利害関係 者の参加
4 ガイドライン作成グループには,関係する全ての専門
家グループの代表者が加わっている 6 7 5 7 6 6.2
5 対象集団(患者,一般など)の価値感や好みが十分に考
慮されている 5 7 4 6 7 5.8
6 ガイドラインの利用者が明確に定義されている 6 7 5 7 6 6.2
3.
作成の 厳密さ
7 エビデンスを検索するために系統的な方法が用いられ
ている 7 7 7 6 7 6.8
8 エビデンスの選択基準が明確に記載されている 6 7 7 6 7 6.6
9 エビデンス総体の強固さと限界が明確に記載されている 5 7 7 5 7 6.2
10 推奨を決定する方法が明確に記載されている 6 7 7 7 6 6.6
11 推奨の決定にあたって,健康上の利益,副作用,リス
クが考慮されている 6 7 6 5 7 6.2
12 推奨とそれを支持するエビデンスとの対応関係が明確
である 5 7 7 6 6 6.2
13 ガイドラインの公表に先立って,外部評価がなされている 5 7 7 7 7 6.6
14 ガイドラインの改訂手続きが示されている 5 7 7 7 7 6.6
4.
提示の 明確さ
15 推奨が具体的であり,曖昧でない 6 7 7 6 7 6.6
16 患者の状態や健康上の問題に応じて,可能な他の選択
肢が明確に示されている 5 6 2 6 7 5.2
17 どれが重要な推奨か容易に見分けられる 6 7 7 7 5 6.4
5.
適用 可能性
18 ガイドラインの適用にあたっての促進要因と阻害要因 を記述している
無回
答 7 5 5 7 6
19 どのように推奨を適用するかについての助言・ツール
を提供している 5 6 7 6 7 6.2
20 推奨の適用に伴う付加的な資源が考慮されている 5 7 6 6 6 6
21 ガイドラインにモニタリング・監査のための基準が示
されている 4 7 1 5 7 4.8
6.
編集の 独立性
22 資金源によりガイドラインの内容が影響されていない 6 7 7 7 7 6.8 23 ガイドライン作成グループメンバーの利益相反が記載
され,適切な対応がなされている 7 7 5 7 7 6.6
全体評価 24 このガイドライン全体の質を評価してください 6 7 5 6 7 6.2
25 このガイドラインの使用を推奨する YES YES
YES
(修正 あり)
YES YES A:膵癌専門外科医
B:膵癌専門内科医 C:膵癌非専門内科医
D:膵癌非専門内科医(基礎医学)
E:患者代表
コメントとしては推奨度C1やC2が多いためか,選ぶべき選択肢が明確でないとの意 見があったが,膵癌では前向き臨床試験が少なく,現状では致し方ないかと考えられる。
考察
ガイドラインの対象や目的,作成の厳密さ,編集の独立性などについては,いずれの 評価方法を用いても高い評価が得られていたものの,利害関係者の参加,提示の明確さ,
適用可能性(実際の適用にあたっての考慮)などについては評価が低かった。ある程度 予想された結果ではあるが,これらをどう考慮していくかは今後の課題と思われた。今 回の作成には医師とともに患者も参加したが,コメディカルは参加していない。将来的 にはこれらの方々にも参加してもらう必要があるようだ。評価者が5名と限定されてお り,また,膵癌専門医,膵癌非専門医,患者代表の比較についての検討は行わなかった。
今後は特に,本ガイドラインを実際の臨床現場で用いることにより,多くの医師,コメ ディカルあるいは患者などからの評価を受け,意見を求めることが重要である。また,
どのような評価方法を用いるかについても,さらなる検討の余地があると思われる。
(産業医科大学医学部第1外科学 山口幸二)
図1 AGREE Ⅱ 6領域の領域別標準化スコア 対象と目的
1 0.94
0.8 0.6 0.4 0.2 0 編集の独立性
0.95 利害関係者の参加
0.84
適用可能性
0.74 作成の厳密さ
0.91
提示の明確さ 0.83
引用文献など
1) Appraisal of Guideline for Research and Evaluation(AGREE)collaboration.
http://www.agreecollaboration.org/
2) Shaneyfelt TM, Mayo─Smith MF, Rothwangl J. Are guidelines following guidelines? The meth-odological quality of clinical practice guidelines in the peer─reviewed medical literature. JAMA 1999;281:1900─1905
3) Shiffman RN, Shekelle P, Overhage JM, et al. Standardized reporting of clinical practice guide-line:a proposal from the Conference on Guideline Standardization. Ann Intern Med 2003;139:
493─498
4) 長谷川友紀ら訳.ガイドラインの研究・評価用チエックリスト Appraisal of Guidelines for Re-search and Evaluation(AGREE)instrument. AGREE共同計画,2001
5) Minds診療ガイドライン選定部会監修,福井次矢,吉田雅博,山口直人編集.Minds 診療ガイド ライン作成の手引き2007.医学書院,2007