論
文
携帯端末で録音された音声メモを用いる診療記録作成支援システム
*
西崎
博光
†a)胡桃澤圭佑
††西崎
香苗
†††池上
仁志
†††A Medical Record Creation Support System Using a Voice Memo Recorded
by a Mobile Device
∗Hiromitsu NISHIZAKI
†a), Keisuke KURUMIZAWA
††, Kanae NISHIZAKI
†††,
and Hitoshi IKEGAMI
†††あらまし 病院，特にリハビリテーション科での診療記録業務の効率化を目的とした診療記録作成支援システ ムを開発したので，本論文で紹介する．このシステムでは，理学療法士が診療後，あるいは診療中にその記録を 携帯端末に音声でメモを取っておき，後からその音声メモの音声認識結果と音声を利用して診療記録を作成でき る．本システムの特徴は，音声認識誤りを訂正しながら音声メモの書き起こしを支援するユーザインタフェース と，新しい用語や言い回しを登録することによって音声認識辞書や言語モデルを利用者（理学療法士）自らが適 応化できることにある．被験者実験では，従来の診療記録作成方法（手書きによる紙面への記録）に比べて，必 ずしも記録効率が改善される結果には至らなかったが，慣れていくにつれ診療記録の作成効率が改善されること が示唆された． キーワード 音声認識，音声メモ，携帯端末，診療記録作成，認識誤り訂正
1.
ま え が き
現在，厚生労働省を中心として保健・医療分野の電 子化が推進されている[1]．これは，患者情報データの 電子化には紙コスト・収納スペースの削減，患者情報 データの管理・検索・共有が容易になる，業務時間の 短縮などの多くのメリットが存在するからである．し かし，保健医療福祉情報システム工業会の調査[2]に よれば，2013年現在，日本の全病院に対してオーダ リングシステムの導入率は32.4%に留まり，電子カル テシステムに至っては，導入率はわずか21.7%にしか 達成していない．また，中小病院に限ると導入率は更 †山梨大学大学院総合研究部工学域，甲府市Graduate School of Interdisciplinary Research, Faculty of Engineering, University of Yamanashi, 4–3–11 Takeda, Kofu-shi, 400–8511 Japan
††山梨大学大学院医学工学総合教育部，甲府市
Department of Education, Interdisciplinary Graduate School of Medicine and Engineering, University of Yamanashi, Kofu-shi, 400–8511 Japan
†††貢川整形外科病院，甲府市
Kugawa Hospital for Orthopaedic Surgery, Shinden-cho 10– 26, Kofu-shi, 400–0066 Japan a) E-mail: hnishi@yamanashi.ac.jp *本論文は，システム開発論文である． DOI:10.14923/transinfj.2015JDP7074 に低くなっている． これらの中小規模病院での導入阻害要因として，主 に「高コスト」，「使いやすさの欠如」，「診療方法による 使用制約」の3点が挙げられる．電子カルテシステム 等の医療情報システムは非常に高価であるため，管理・ 運用のコストを考えると中小規模病院での導入は難し い．また，医療情報システムのユーザインタフェース の中には複雑なものもあり，特に情報システムの利用 に長けていない病院スタッフにとっては使いこなすこ とが困難である．情報システムに慣れていないことが 要因となり，重大な操作ミスが発生した事例も存在す る[3]．そのため，中小規模病院でも導入可能な低コ ストで使いやすいユーザインタフェースを備えた医療 システムを開発する必要がある．また，特定の治療部 門，例えばリハビリテーション科では，歩行訓練等の 運動療法を行うため，定まった位置で患者を治療する ことは少ない．したがって，このような診療科の診療 スタッフは治療しながら診療記録をコンピュータに入 力することは難しいことから，ポータブルな情報入力 支援が必要である． 我々の研究グループでは，導入コスト，使いやすさ， 診療方法による使用制約，の三つの課題の解決を目指 し，医療法人小宮山会貢川整形外科病院リハビリテー
ション科（以下，当科と記す）の日常業務で扱う情報 の電子化を図ってきた[4]．音声認識エンジンをはじめ とするフリーソフトウェアや安価な端末を組み合わせ ることで診療予約・業務管理を行うシステムを低コス トで開発し，導入時に想定された大きな混乱もなく一 部の業務の電子化に成功した[5]．導入したシステムで は，音声認識やタッチパネル等のユーザインタフェー スの工夫によって簡単に操作が行えるようになってい ることから，当科スタッフと患者との会話の流れを止 めることなく予約の追加・変更ができるようになり， 業務時間の短縮につながっている．しかし，主業務で ある診療記録の作成は，診療の合間や診療終了後に手 書きで行っており，この作業をより簡便にすることに より業務の更なる効率化を図る必要があった． そこで，本研究では，当科の理学療法士（Physical Therapist，以下PTと記す）の診療業務の流れを阻 害しない中で，効率的に診療記録の作成を支援するシ ステムの開発を目指す．まず，診療業務の流れを分析 し，診療記録作成時の問題点を洗い出した．これに基 づき，大きく二つの特徴をもつ診療記録作成支援シス テムを開発した． 一つ目の特徴は，PTは患者の治療終了後すぐに携 帯端末を使用して診療内容に関する音声メモを記録 できることである．携帯端末での文字入力作業は慣れ ていないとスムーズに行えないが，音声での入力作業 は容易である．記録された音声メモは，医療情報管理 サーバに転送され，サーバ上で動作する2種類の音声 認識システムによって書き起こされる．リアルタイム で音声認識結果を返す必要がないため，複数の音声認 識システムを用いるなど実行速度を犠牲にして精度を 上げる手法が利用できる．書き起こしは音声認識誤り の自動訂正処理がなされる．その後，PTは，タッチ 操作を主体とすることで認識誤りを訂正する書き起こ しエディタを用いて診療記録を作成する． 二つ目の特徴は，音声認識のための言語モデル・音 声認識辞書適応化機能を備えていることである．医療 単語やフレーズ（これらの用語の短縮形を含む）は， 病院・診療科ごとに異なる．音声認識技術を利用する には，病院・診療科ごとに最適な音声認識システムを 構築する必要がある．音声認識を備えた既存（商用） の電子カルテシステムでは，言語モデルや辞書を開発 ベンダーに依頼する必要があり，これにもコストがか かる．これを回避するため，音声認識システムの話題 適応化機能を提供する．これにより，診療スタッフ自 身で音声認識性能を向上させることができるため，導 入・運用コストをともに削減できたり，音声認識がで きないという苛立ちを解消できる． 診療記録作成支援を行うシステムは既存の電子カ ルテシステムで実現されている．また音声認識を利 用した医療記録システムも商用化されている．例え ば，アドバンスト・メディア社の“AmiVoice Ex7R Clinic/HospitalClient”（注1）やamazingCharts.com社
の“Amazing Charts”（注2）などである．また，Klann
ら[6]は，医師と患者の会話音声の音声認識結果から 得た医学的な単語やフレーズを使って診断書を作る医 療記録システムの開発も試みている．しかし，これら のシステムも一般的な電子カルテシステムと同様に持 ち運ぶことができないため，使用する場所が限定され る．また，音声認識誤りに対してキーボードで訂正作 業を行う必要があるなど，使いやすさに課題が残る． これに対し，本研究で開発したシステムは，携帯端末 を用いることで，場所を限定することなく診療記録を 取ることを可能にした．また，音声認識誤りの訂正技 術と誤り訂正インタフェースを備えたエディタを装備 している．本システムは，様々な場所で動きながら患 者を治療するPTに最適化されている． このような場所を限定しない診療記録システムは多 くは存在しないが，例えば，Neuance社が医師向け のスマートフォンアプリケーション“Dragon Medical 360 Mobile Recorder”（注3）を開発している．本研究の システムと同様に携帯端末から収録した音声をディク テーションするアプリケーションであるが，主にワー クフローやスケジューリングなどに利用されており， 診療記録作成を目的としたものではない．また，アド バンスト・メディア社が“AmiVoice Smart”R （注4）を 開発している．これはスマートフォン用のアプリケー ションで，音声で診療メモなどの医療ドキュメントを 作成できる．使用場所を限定しない携帯端末を用いた 医療情報入力支援という点で本研究と類似しているが， このアプリケーションは汎用的に利用できるようにス タンドアロンでの利用が想定されており他のシステム との連携が難しいことから，PTの業務効率化を目的 に利用することは難しい．これに対して本研究のシス （注1）：http://medical.amivoice.com/product/clinic.html （注2）：http://amazingcharts.com/ （注3）： http://www.nuance.com/products/dragon-medical-360-mobile-recorder/ （注4）：http://smart.amivoice.com/smart/
テムは，リハビリテーション科での診療とその記録業 務の一連の流れを阻害せずに業務時間を軽減させるこ とを目的としている．音声認識（辞書等の適応化や自 動誤り訂正機能の提供）やユーザインタフェースの工 夫によってこの目的を達成しようとしており，既存の アプリケーションとは設計思想が異なる． なお，本システムの一つ目の特徴については，既に 文献[7]で報告済みである．しかし，文献[7]は病院へ のシステム導入のためのプロトタイプ開発や事前検証 について焦点を当てている．医療業務とは全く関係の ないシナリオを使った情報工学を専攻する大学生によ るインタフェースの事前評価であり，医療現場での真 の評価にはなっていない．本論文では，音声認識シス テムの適応化機能の追加，実際のPTによるシステム 評価について新しく論じている． 本研究で開発したシステムを，当科で勤務している PTに評価してもらった．被験者による評価実験では， 従来の診療記録手段である手書きによる紙面への記録 と本システムによる記録と比較した．実験の結果，音 声認識システムの適応化機能を使って作成した言語モ デル・音声認識辞書でも高精度な音声認識結果が得ら れることが分かった．また，導入直後は必ずしも本シ ステムを利用したほうが効率良く（短時間で）診療記 録が作成できるとは限らないが，習練を積んでいけば， 従来の作成手法よりも簡単かつ高速に記録が作成でき ることが示唆された．
2.
診療記録作成作業の問題点
診療記録作成支援システムを開発するにあたり，当 科の診療業務を分析した．その結果から考えられる問 題点と，本研究の特色である音声認識による支援を利 用するにあたって想定される問題点についても述べる． • 診療記録作業のタイミング 当科では20分を1診療単位として，1患者あたり 1∼2単位の治療を行っている．診療記録作成のために 診療中や診療後にメモ帳に簡単なメモを取ることもあ る．1人の患者の診療が終わると続いて次の患者の診 療を行うことも多く，この間に診療記録を作成する十 分な時間を確保することが難しい．診療の合間の時間 を見つけて診療記録を作成することになるが，診療内 容を思い出しながら作成するため時間がかかることも 多い．記憶が曖昧であったり，メモに記録漏れがある と診療記録に不備が生じる可能性もある． • 診療記録作業の場所 リハビリテーション科での診療では，診療台でのス トレッチ運動や歩行訓練などの運動療法が施行される． 前述したように診療中や診療後即座に記録を作成する ことは場所の制約上難しいことがある．これまでは診 療中・直後にメモ帳にペンで記録したり写真を撮るな どして，まとまった時間にそれらを参照しながら診療 記録を作成している． • 紙面への診療記録 診療記録は紙面への手書きで行っている．紙のコス ト，収納スペースが必要となる．紙で管理するため， 他病院や他診療科等での共有が難しい．また，急いで 執筆すると他人から判別が難しい文字として記録され てしまう可能性も高い． • 音声認識の利用 音声入力は記録作業時間の削減になる．しかし，音 声認識誤りが発生した場合には記録ミスに繋がる可能 性があるため必ず訂正する必要がある．音声認識率が 低い場合は訂正量が多くなり，従来の記録方法よりも 時間を要してしまう．診療記録には医療単語や診療科 ごとの独特な言い回し，略称などが存在するため，汎 用的な音声認識システムではこれらの認識が難しく， 誤認識が増加してしまう． 以上のように，リハビリテーションの現場では診療 の特殊性もあり，既存の商用システムでは現在の診療 業務の流れを阻害することなく診療記録を電子化する ことが困難である．本研究では，これらの問題点を解 決するための診療記録作成支援システムの開発を目 指す．3.
診療記録作成支援システム
当科において本システムを使用する場合の診療から 診療記録作成までのワークフローを図1に示す． 短時間で必要十分な診療記録を作成する必要がある ため，携帯端末に注目した．PTは常に端末を携帯で きるため，診療中あるいは診療直後にどこでも音声で 診療メモを入力できる．慣れない人にとっては小さい 画面での文字入力は困難であるが，音声の録音は誰で も簡単に実施できる．音声で診療メモを録音しておき， それを音声認識で書き起こすことで診療記録を作成す る．音声メモ入力作業は高々数十秒で済むため，次の 患者の診療への影響もない． 録音した音声メモは患者情報管理サーバに転送され， サーバ上で自動的に音声認識される．診療業務支援シ図 1 診療記録業務のワークフロー Fig. 1 A workflow of a medical record creation.
ステム[5]と連動しているため，音声メモとその認識 結果，音声メモを録音したPTの氏名，診療対象患者 は自動的に紐付けられている．音声認識システムは， PTごとに変更することも可能であるが，現段階にお いては全PTで共通である．音声認識システムは事前 に辞書等の適応化を行っておく．音声認識結果には認 識誤りが含まれる．診療記録は正確に記録する必要が あるため，PTは音声認識誤りを訂正しなければなら ない． そこで，音声認識誤りの自動訂正を用いた診療記録 作成支援エディタを開発した．自動訂正機能により訂 正すべき音声認識誤りの数を削減できる．診療記録作 成支援エディタではマウスやタッチ操作で認識誤りの 訂正が行え，素早い診療記録の作成を支援する．ユー ザが直感的な操作で使用できるインタフェースを実現 することにより，キーボード操作の数を減らし，コン ピュータに不慣れなPTでも簡便に利用できることを 目指した． 以下，各機能について述べる． 3. 1 音声メモアプリケーション
図2は，Apple社のiPod touch (iOS)の画面上の 音声メモ録音画面である．この画面では，記録日時と 患者の選択，診療メモの音声録音，録音音声の送信が 行える． 診療終了後，PTは録音ボタンをタッチし，診療音 声メモを録音する．診療音声の録音・確認（任意）を 行った後，送信ボタンをタッチすることでサーバに音 声データを送信する．音声データの音声認識・整形処 理はサーバサイドで行う．これにより，PTが診療中 あるいは診療の合間には行うのは録音のみとなり，患 図 2 音声メモアプリケーション（スタッフ，患者名は ダミー）
Fig. 2 An application for voice memo recording. (Staff’s and patient’s names are dummy.)
者とのコミュニケーションに集中できたり，次の患者 の診療の準備を行ったりできる． マイクを使わずに携帯端末のマイクを利用すると音 声認識精度の低下が懸念されるため，先行研究[7]に おいて，ハンドマイクと携帯端末を使って録音したそ れぞれの音声の認識性能を比較した．この結果では， 携帯端末でも大きな性能の低下は見られなかった． なお，本アプリケーションは，診療予約管理アプリ ケーション[8]の追加機能として実装している．この 端末のみで患者の診療予約管理から診療記録業務まで を診療していたその場で行うことができる． 3. 2 音声認識誤りの自動訂正 石丸ら[9]は，コンフュージョンネットワーク[10]統 合(Confusion Network Combination, CNC)手法を 利用した音声認識誤りの自動訂正手法を提案した．音 声認識誤りの自動訂正がその後の手動訂正の時間短縮 に効果があることから[11]，音声メモの認識結果に対 して自動訂正を行う．なお，音声認識結果の自動訂正 処理の手法は幾つか提案されているが[12]，本システ ムでは特に訂正手法を限定するわけではなく，ネット ワーク構造の音声認識結果が得られればいずれの方法 でも問題ない． 複数の音声認識システムを利用することによって 音声認識性能が改善することは知られていることか ら[13]∼[15]，本システムに用いるCNC手法では2 種類の音声認識システムを使用する．音声認識エンジ
図 3 診療記録作成支援エディタ Fig. 3 An editor for creating a medical record.
ンとしてJulius [16]を使用し，2種類の音響モデルを 用意することでこれを実現する(言語モデルは共通)． CNC手法では，2種類の音声認識エンジンによって 出力されたコンフュージョンネットワーク(CN)のア ライメントを取り，音声の同時刻のコンフュージョン セット（注5）の各単語の事後確率に基づいて二つのCN を統合することによって，新たなCNを生成する．統 合後，事後確率が最大となる候補を第1候補とする． CNは患者情報データベースの診療情報と対応付けら れ，サーバに保存される． 3. 3 診療記録作成支援エディタ 音声認識誤りを訂正するインタフェースは，著者ら が提案したインタフェース[11]，後藤・緒方らの Pod-Casle [17]，Liangら[18]の訂正インタフェースが既 に提案されている．これらに共通している点は，ある 認識単語候補に対して複数の代替候補を提示し，ワン タッチ（ワンクリック）で訂正を行うことにある．キー ボードをできるだけ使わずにタッチやマウス操作だけ で訂正作業が完了するようにインタフェースが工夫さ れている． 本研究での診療記録作成支援エディタには，CNを 利用した複数候補を代替候補として提示する方法を採 用した．図 3 にユーザインタフェースを示す．この インタフェースは編集エリアと編集結果表示エリアの 二つのエリアで構成されている．画面上部が編集エリ アとなっており，CNC手法で生成されたCNの上位 6-bestまでの候補が表示されている．ユーザは画面中 部の音声再生プレイヤーを使用して，録音された音声 メモを聞きながら，診療記録の作成作業を行う．図4 （注5）：各アライメント位置にある競合する単語候補集合． 図 4 編集エリアの GUI
Fig. 4 Graphical user interface for editing.
は，編集エリアのグラフィカルユーザインタフェース （Graphical User Interface, GUI）を詳細に拡大した イメージ図である．“best words”はCNC手法によっ て新たに生成されたCNの事後確率が最も高い認識 単語(1-best)である．“correction candidates”の単 語はCNの事後確率上位6単語(6-best)を表示して いる． ユーザは，認識されている単語から誤り単語を発見 する．誤り単語に対する訂正候補からタッチ/マウス 操作で正解単語を選択することで誤り訂正を行う．ま た，各アライメントには，“Del”，“Temp”ボタンが ある．“Del”ボタンを選択することでアライメント列 を削除できる．訂正候補に正解単語が存在しない場合 は，“best word”行を選択することでキーボード操作 が可能となるので，ここで正解単語を入力する． しかし，この訂正機能は誤認識が多い場合，キー ボード操作に慣れていないと訂正時間が増加してしま うおそれがある．そこで“Temp”ボタンを選択する と，テンプレート単語リストを呼び出し，その中から 選択することで訂正を行うこともできる．リストには， 良く使用する医療用語をユーザが自由に登録しておく ことができる．また，編集結果表示エリアに音声頭出 し機能が実装されている．これは，編集結果表示エリ アの各単語をクリックすることで選択単語の音声位置 の頭出し再生が行える．これにより，録音音声から聞 き直したい文章を容易に探し出すことができる． 3. 4 音声認識システムの適応化機能 診療記録文章では各病院・診療科で特有の言い回し・ 医療単語が使用されるため，汎用的な音声認識システ ムではこれらに対応できず，音声認識精度が非常に悪 化する．例えば，Juliusとともに配布されているディ クテーションキットの言語モデル・音響モデル（注6）を用 （注6）：http://julius.osdn.jp/index.php?q=dictation-kit.html
図 5 言語モデル・認識辞書の適応化のための単語・定型 文追加インタフェース
Fig. 5 The interface for adding words and fixed phrases for adapting a language model and a speech recognition dictionary.
いた診療記録の音声認識率（単語正解率）は55.0%で あり，これでは実用的に利用することは難しい． 商用サービスの音声認識では医療関連用語に特化し た音声認識辞書を利用できるが，利用コストがかかる ことから中小規模の病院にとっては導入を阻害する要 因の一つとなっている． そこで，PTが診療記録に使用する医療単語や定型 的な言い回し文章を登録するだけで適した音声認識シ ステムを自動構築する言語モデル・認識辞書適応化の 仕組みを開発した．医療用語は，病院・診療科毎で独 特の言い回し・短縮形が存在し，汎用的な医療用語辞 書でもカバーできないことがある．スタッフ自らが用 語の発音などを調整したり定型的な言い回しを登録し たりすることで，音声認識システムを適応化する． 図5に，言語モデル・認識辞書適応化機能のGUI を示す．診療スタッフは医療単語とその読み方，診療 記録上の表記，用語の分類を入力し登録する．読みは 複数登録することができ，別名や略称にも対応できる． 登録済の単語は画面右側のリストから検索できる．ま た，特有の定型的な言い回し文章を文章追加ボタンか ら登録できる．音声認識システムで利用する言語モデ ルは，部分クラスN-gramを採用している．診療記録 の文章は定型パターンが多く，施術名や筋肉名などを 置き換えるだけでパターンを作成できる場合が多いこ と，医療単語は施術名や筋肉名などのクラスに分類し やすいことから，部分クラスN-gramモデルを採用し た．図6に部分的にクラス化された定型文の例を示す． 部分クラスN-gram言語モデルの学習や辞書の生成 図 6 部分クラス化された定型文の例 Fig. 6 An example of fixed phrase where words are
replaced by the class.
は全自動で行われる．言い回し文章を登録すると形態 素解析システム「茶筌」[19]により形態素解析が行わ れる．新しい用語が登録された場合には，茶筌の辞書 に自動的にその用語が登録される仕組みになっており， 形態素解析誤りが起きないようになっている．次に， 形態素解析された言い回し文章に含まれる医療用語 をクラスに置き換え，クラス化された言い回し文章を 作成する．診療記録では，診療内容の他に汎用的な表 現（注7）も書き込まれることがあるため，登録された定 型的な言い回しだけでは十分ではない．そこで，これ らの汎用的表現に対応するために日本語話し言葉コー パス（Corpus of Spontaneous Japanese, CSJ）[20]
の書き起こしテキストも言語モデルの学習に加えて， 最後にPalmkit [21]（注8）を用いて部分クラスN-gram を学習する．
4.
評 価 実 験
4. 1 実 験 内 容 本システムの有効性を評価するために，実務を行っ ている9名のPTを対象に診療記録作成作業に関する 評価を行った．従来の診療記録作成作業である手書き による記録と，診療記録作成支援システムを用いての 記録を行い，作成にかかった時間の比較並びに使用感 等に関するアンケートを実施した． 従来の手書きによる記録では，通常の業務と同様に 架空の診療情報を与え，診療記録を作成し，完成まで の時間を計測した．本システムを用いた記録では，診 療記録音声メモアプリケーションを用いた際の録音時 間と診療記録作成支援エディタによる訂正作業を行っ た時間をそれぞれ計測した．評価アンケートは，以下 の4項目について1∼5の5段階評価（5が最も良い 評価）で調査した． • 診療記録作成業務は楽になると思うか． • 日常業務の負担は軽減されると思うか． （注7）：例えば「自宅の階段から転落した模様」「今日は一段と冷え込む ため体が痛む」などの表現． （注8）：http://palmkit.sourceforge.net/表 1 PTによる診療記録作成時間 ([M’SS”]) と単語正解率 ([%])
Table 1 Record creation execution times ([M’SS”] and ASR performance[%]) for PTs. 被験者 #1 #2 #3 #4 #5 #6 #7 #8 #9 Ave. 手書き 3’01” 3’34” 3’11” 3’03” 2’56” 2’56” 3’52” 3’22” 2’54” 3’12” システム 4’14” 7’05” 6’39” 4’12” 2’42” 7’37” 4’17” 4’40” 3’50” 5’09” システム (録音時間込) 4’46” 7’45” 7’20” 4’49” 3’16” 8’17” 4’57” 5’12” 4’24” 5’46” 音声認識率 86.9 73.8 82.0 86.9 90.2 82.0 86.9 77.0 83.6 83.3 • 訂正機能の操作性． • システムにはすぐに慣れることができたか． また，システムに簡単に慣れることができるかについ て調査するために，同一音声（初回時に録音したもの） の記録作成を1日おきに3回実施し，作成時間の計測 を行った．これは，情報工学を専攻する大学生3名を 被験者とした． 4. 2 実 験 条 件 被験者実験では，携帯端末としてApple社製の第 5世代iPod touchを使用した．音声メモとして記録 する内容は，実際に使用されている医療単語から作成 した診療記録の模擬シナリオである．録音時間は約 30∼40秒であった． CNC処理を行うため，音声認識システムを2種類用 意した．音声認識デコーダは共通で，Julius Ver.4.3.1 を利用した．言語モデルと音声認識辞書も共通であ り，3. 4で説明したインタフェースから日々の診療記 録で用いる定型的な言い回しや医療用語を登録するこ とで自動構築している．音響モデルは2種類用意し， 一つはCSJから学習した状態数約3,000（各状態は 32混合のガウス分布で表現されている）のtriphone
単位の隠れマルコフモデル(Hidden Markov Model, HMM)，もう一つはJuliusのディクテーションキット に付属しているtriphoneモデルである． 4. 3 実験結果と考察 表1に被験者ごとの手書き，システムを用いた際の 診療記録時間と単語正解率を示す．被験者実験の結果， システムを用いたほうが素早く診療記録を作成できた 被験者は#5のみであった．また，平均では2分近く システムの方が時間が掛かるという結果になった．こ れは，今回の実験では記録内容のシナリオが決まって いるので，慣れている手書きでの記録のほうが短時間 で作成できたためである．しかし，実業務では，PTは 1日に10人程度の患者を診療するため，診療内容を思 い出しながら記録する必要がある．被験者アンケート より，普段の記録作業は平均で1人当たり5∼6分か かっていることが分かっており，システムを用いた場 表 2 システムに対する評価アンケート結果 Table 2 Questionnaire results (average for all the
subjects). 評価項目 被験者の平均 (1)診療記録業務は楽になると思うか 3.4 (2)日常業務の負担は軽減されると思うか 3.7 (3)システムの訂正機能の操作性 3.6 (4)システムにすぐに慣れたか 3.8 合にも変わらない速度で記録できると想定される．ま た，今回の被験者は，システム全体の使い方の練習を 1度しただけである．システムの操作に不慣れであっ た点もシステムの方が時間が掛かってしまった原因で ある． システムを用いたほうが素早く診療記録を作成でき た被験者#5は，音声認識の単語正解率が90%以上で あった．単語正解率85%∼90%の被験者3名は手書き とシステムの差が小さい．このことから，85%以上の 高精度な音声認識率を実現することで，システムの利 便性を向上させることができると考えられる． 音声の録音時間は平均37秒であった．これは，実 業務での診療中にメモを取る時間を短縮できることが でき，患者とのコミュニケーションに時間を多く割く ことが可能となる． ユーザインタフェースの評価としてNovice Expert ratio Method (NEM) [22]が提案され，一般的に利 用されている(例えば[23])．本研究ではこれも評価尺 度として利用する．これは，システムを知り尽くして いる開発者と利用者での操作に要する時間を比較し， ユーザビリティに問題のある操作ステップを把握する 評価手法である．この手法の中で，NE比（利用者の 操作時間/開発者の操作時間）という客観的な指標が利 用される．NE比が4.5以上であるとユーザビリティ に問題がある可能性が高いとされている．本システム の場合のNE比は2.66となり，本システムのユーザ ビリティは問題のない範囲内であると言える． 次に，アンケート結果を表 2に示す．全ての項目 に関して，2以下の低い評価の被験者はほとんどいな かったが，GUIの見やすさや音声録音機能の使い勝
表 3 システムの慣れによる診療記録作成時間の変化 ([M’SS”])
Table 3 Change of medical record creation times caused by habituation of the system ([M’SS”]). 被験者 1回目 2回目 3回目 手書き #10 4’55” 3’58” 3’57” 4’21” #11 6’25” 5’01” 4’12” 5’11” #12 5’34” 5’36” 4’25” 4’48” 手，機能が多すぎるといった意見があった．自由記述 では，「形態素区切りの確認画面が見にくい」，「訂正エ リアに一文全てを表示できないので理解しにくい」な ど特にGUIの見やすさについて多くの意見を頂いた． また，「30秒前後の記録を1度に録音するのは難しい」 や「実際の現場ではリハビリ室内に数十人のスタッフ や患者が入るため，話し声や機械の音など様々な雑音 が発生するが認識率が低くなってしまうのではないか」 といった実業務に導入する上での課題点や検証すべき 点も多く見つかった． 最後に，システム操作の“慣れ”による作業時間の 短縮に関して，表3に同一音声での記録作成時間の 推移を示す．被験者#10，#11はともに初回より2回 目の使用で既に作成時間を1分程度短縮することがで き，被験者#12は，3回目の使用で更に1分程度短い 時間で記録することができた．被験者#12は，1回目 と2回目ではほぼ変化がなかったが，3回目の使用で 1分以上の時間短縮を実現でき，3回目の使用で全被 験者が手書きより短い時間で記録を作成することがで きた．これにより，被験者は複数回の修正作業を繰り 返すうちにシステム操作に慣れることができ，作成時 間を短縮することが可能になると言える． しかし，慣れの影響についてはコンピュータの操作 に長けた大学生の被験者から得られた知見である．よ り正確な慣れに関する評価を得るためには，システム を実際に利用するPTを対象に実験を行う必要がある と考える．
5.
む す び
本研究では，携帯端末で録音された音声メモを用い た診療記録作成支援システムを開発した．本システム は，既存の医療情報システムや紙管理のカルテへの手 作業での診療記録の問題点を解決することを目的に， 簡単に使用できるユーザインタフェースを備えたポー タビリティの高いシステムを実現することを検討して きた． 被験者実験では，現在の記録手法である手書きによ る記録と本システムを比較し，習練を積むことにより， 本システムが高速な記録の実現を見込めるという結果 を得た．また，音声認識率が記録作成作業に影響を与 えることも分かった．アンケート調査では，診療記録 作成業務の効率化の可能性は感じられる評価を得た． しかし，システムのユーザビリティについては見やす さや操作性において課題が多く残る結果となった．音 声認識率比較実験では，本システムを利用して音声認 識システムを適応化することで認識性能を格段に向上 させることができるという結果を得た． 今後は，システムの評価実験後に浮上した問題点の 解決に加えて，CNC手法の更なる精度改善や雑音の 自動除去機能の実現などの音声認識誤りの自動訂正フ レームワークの改良を行うことで誤認識自体を減らし， 極力マウス操作のみで診療記録が作成できるシステム の実現を目指す．また，本システムを長期的に運用し， 音声認識性能やシステムの使いやすさ，操作への慣れ 等についても長期的な調査を行い，実際の現場での運 用に耐えられるものであるかの評価を実施する． 謝辞 本研究はJSPS科研費基盤研究(B) 26282049 の助成を受けたものです．また，本研究を遂行するに あたり被験者として参画いただいた貢川整形外科病院 リハビリテーション科の理学療法士の皆様に深く感謝 申し上げます． 文 献 [1] “厚生労働省：医療・健康・介護・福祉分野の情報化グラン ドデザイン．” http://www.mhlw.go.jp/houdou/2007/ 03/h0327-3.html参照 July 1, 2015. [2] “JAHISオーダリング電子カルテ導入調査報告 –2013 年調査（平成 25 年）．” http://www.jahis.jp/members/ data list/data0204/参照 July 1, 2015.[3] R. Koppel, J.P. Metlay, A. Cohen, B. Abaluck, A.R. Localio, S.E. Kimmel, and B.L. Strom, “Role of com-puterized physician order entry systems in facilitat-ing eedication errors,” J. American Medical Associa-tion, vol.293, no.10, pp.1197–1203, Oct. 2005. [4] 西崎博光，上平拓弥，関口芳廣，西崎香苗，倉金理沙，
池上仁志，“使いやすいユーザインタフェースを備えた患 者情報管理システム「聞き耳メアリー」，”信学論（D）， vol.J93-D, no.10, pp.2129–2138, Oct. 2010.
[5] 倉金理沙，西崎香苗，池上仁志，上平拓弥，西崎博光，関口 芳廣，“使いやすいインタフェースを備えた診療予約支援 システムの開発と導入を経験して，”人工知能学会研究会 資料，SIG-SLUD-B003-11, pp.57–62, Sept. 2011. [6] J.G. Klann and P. Szolovits, “An intelligent
listen-ing framework for capturlisten-ing encounter notes from a doctor-atient dialog,” BMC Medical Information
and Decision Making 2009, vol.9 (Suppl. 1), pp.1–10, 2009.
[7] K. Kurumizawa, H. Nishizaki, K. Nishizaki, and H. Ikegami, “Input support system for medical records created using a voice memo recorded by a mobile device,” Int. J. Signal Process. Syst., vol.3, no.2, pp.128–133, Dec. 2015. [8] 上平拓弥，西崎博光，関口芳廣，西崎香苗，倉金理沙，池上 仁志，“使いやすいユーザインタフェースを備えた診療予 約業務支援システム，”情処第 73 回大会論文集，3ZF-1, pp.729–730, March 2011. [9] 石丸 聡，西崎博光，関口芳廣，“単語信頼度を用いた事 後確率に基づくコンフュージョンネットワーク統合，”音 響学秋季講論集，3-P-11, pp.169–170, Sept. 2011. [10] L. Mangu, E. Brill, and A. Stolcke, “Finding
consen-sus in speech recognition: Word error minimization and other applications of confusion network,” Com-puter Speech and Language, vol.14, no.4, pp.373–400, Oct. 2000.
[11] S. Ishimaru, H. Nishizaki, and Y. Sekiguchi, “Effect of confusion network combination on speech recogni-tion system for editing,” Proc. APSIPA ASC 2011, pp.1–4, Oct. 2011.
[12] 中谷良平，滝口哲也，有木康雄，“CRF を用いた音声認識 誤り訂正における素性の検討，”音響学秋季講論集，3-P-10, pp.141–142, Sept. 2012.
[13] J.G. Fiscus, “A post-processing system to yield re-duced word error rates: Recognizer Output Vot-ing Error Reduction (ROVER),” Proc. ASRU 1997, pp.347–352, Dec. 1997.
[14] G. Evermann and P. Woodland, “Posterior probabil-ity decoding, confidence estimation and system com-bination,” Proc. NIST Speech Transcription Work-shop, pp.55–56, 2000.
[15] T. Utsuro, Y. Kodama, T. Watanabe, H. Nishizaki, and S. Nakagawa, “An empirical study on multi-ple LVCSR model combination by machine learning,” Proc. HLT/NAACL 2004, pp.13–16, May 2004. [16] 李 晃伸，河原達也，“Julius を用いた音声認識インタ
フェースの作成，”ヒューマンインタフェース学会誌，vol.11, no.1, pp.31–38, Jan. 2009.
[17] M. Goto, J. Ogata, and K. Eto, “Podcastle: A web 2.0 approach to speech recognition research,” Proc. INTERSPEECH 2007, pp.2397–2400, Sept. 2007. [18] Y. Liang, K. Iwano, and K. Shinoda, “An efficient
er-ror correction interface for speech recognition on mo-bile touchscreen devices,” Proc. SLT 2014, pp.454– 459, Dec. 2014.
[19] 松本裕治，“形態素解析システム「茶筌」，” 情報処理， vol.41, no.11, pp.1208–1214, Nov. 2000.
[20] K. Maekawa, “Corpus of Spontaneous Japanese: Its design and evaluation,” Proc. SSRP 2003, pp.7–12, April 2003.
[21] 伊藤彰則，好田正紀，“単語およびクラス n-gram 作成 のためのツールキット，”情処学研報，2000-SLP-34-32,
pp.185–200, Dec. 2000.
[22] H. Urokohara, K. Tanaka, K. Furuta, M. Honda, and M. Kurosu, “NEM: Novice expert ratio method a usability evaluation method to generate a new per-formance measure,” CHI ’00 Extended Abstracts on Human Factors in Computing Systems, pp.185–186, Jan. 2000.
[23] 小勝負信明，佐々木博章，“操作性評価試験を導入したセン ターパネル設計手法の検討，”デンソーテクニカルレビュー， vol.8, no.2, pp.131–135, Nov. 2003.
（平成 27 年 7 月 23 日受付，10 月 12 日再受付， 11月 18 日早期公開） 西崎 博光 （正員：シニア会員） 1998年豊橋技科大・工・情報卒．2003 年 同大大学院博士後期課程了．同年山梨大大 学院助手．音声言語情報処理に関する研究 に従事．情報処理学会，日本音響学会，人 工知能学会，IEEE 各会員．博士（工学）． 胡桃澤圭佑 2013年山梨大・工・コンピュータ卒．2015 年同大大学院修士課程了．現在，株式会社 富士通勤務．在学中は，音声インタフェー スに関する研究に従事． 西崎 香苗 1998年藤田保健衛生大リハビリテーショ ン専門学校理学療法学科卒．2006 年貢川 整形外科病院リハビリテーション室室長． 2014年山梨大学大学院博士課程了．2014 年東北大大学院非常勤講師．博士（工学）． 池上 仁志 1989年東京医科大医学部卒．同年同大整 形外科教室入局．1995 年同大助手．1997 年大船中央病院整形外科医長．1999 年東 京医科大助手．2004 年貢川整形外科病院 医長．2006 年同院副院長．2009 年同院 院長．医学博士．1994 年東京医科大ヒポ クラテス賞，1996 年大正アワード賞，1997 年 A AOS New Educational Program Fellow受賞．
![表 1 PT による診療記録作成時間 ([M’SS”]) と単語正解率 ([%])](https://thumb-ap.123doks.com/thumbv2/123deta/5979643.575447/7.774.129.639.149.223/表1PTによる診療記録作成時間MSSと単語正解率.webp)
