ホーム > 特許ランキング > コニカミノルタ株式会社
特許7163630医療指示出力プログラム、医療指示出力方法、医療指示出力装置及び医療指示出力システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-24
(45)【発行日】2022-11-01
(54)【発明の名称】医療指示出力プログラム、医療指示出力方法、医療指示出力装置及び医療指示出力システム
(51)【国際特許分類】
G10L 15/00 20130101AFI20221025BHJP
G06Q 50/22 20180101ALI20221025BHJP
【ＦＩ】
G10L15/00 200L
G06Q50/22
G10L15/00 200B
【請求項の数】
18
(21)【出願番号】P 2018118370
(22)【出願日】2018-06-22
(65)【公開番号】P2019219591
(43)【公開日】2019-12-26
【審査請求日】2021-03-26
(73)【特許権者】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】特許業務法人光陽国際特許事務所
(72)【発明者】
【氏名】赤木 英一
【審査官】泉 卓也
(56)【参考文献】
【文献】特開２００６－２５２２８６（ＪＰ，Ａ）
【文献】特開２０１７－１３８９８１（ＪＰ，Ａ）
【文献】特開２０１８－０２８５６２（ＪＰ，Ａ）
【文献】特開２００７－２９３６００（ＪＰ，Ａ）
【文献】特開２０１２－０４５４１９（ＪＰ，Ａ）
【文献】特開２００４－３１３５６３（ＪＰ，Ａ）
【文献】特開平１０－２３４６９６（ＪＰ，Ａ）
【文献】国際公開第２０１６／１０５９７２（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ １５／００－１５／３４
Ｇ０６Ｆ ３／００－３／１６
Ａ６１Ｂ ５／００－５／３９８
(57)【特許請求の範囲】
【請求項1】
発話者の発話内容を含む時系列音声データを取得する音声データ取得工程と、医用画像と、前記医用画像に施された画像操作情報と、を含む操作情報合成画像データもしくは操作情報合成動画データを取得する画像・動画データ取得工程と、
前記時系列音声データと、前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける音声・画像・動画紐付け工程と、
前記時系列音声データから、重要度が高い時間領域における前記時系列音声データを抽出する音声データ抽出工程と、
前記操作情報合成画像データもしくは前記操作情報合成動画データから、前記重要度が高い時間領域における操作情報合成画像データもしくは前記操作情報合成動画データを抽出する画像・動画データ抽出工程と、
前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を出力する抽出データ出力工程と、
をコンピューターに実行させ、
前記重要度が高い時間領域は、前記発話者が発話している時間領域である ことを特徴とする医療指示出力プログラム。
【請求項2】
前記発話者は、予め指定された人物である、ことを特徴とする請求項１に記載の医療指示出力プログラム。
【請求項3】
前記重要度が高い時間領域における前記時系列音声データは、前記発話者が、予め指定された重要語句を発した際の前記時系列音声データである、ことを特徴とする請求項１または２に記載の医療指示出力プログラム。
【請求項4】
発話者の発話内容を含む時系列音声データを取得する音声データ取得工程と、
医用画像と、前記医用画像に施された画像操作情報と、を含む操作情報合成画像データもしくは操作情報合成動画データを取得する画像・動画データ取得工程と、
前記時系列音声データと、前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける音声・画像・動画紐付け工程と、
前記時系列音声データから、重要度が高い時間領域における前記時系列音声データを抽出する音声データ抽出工程と、
前記操作情報合成画像データもしくは前記操作情報合成動画データから、前記重要度が高い時間領域における操作情報合成画像データもしくは前記操作情報合成動画データを抽出する画像・動画データ抽出工程と、
前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を出力する抽出データ出力工程と、
をコンピューターに実行させ、
前記重要度が高い時間領域は、前記医用画像に画像操作が施された時間領域であることを特徴とする医療指示出力プログラム。
【請求項5】
前記画像操作は、前記医用画像へのアノテーション付加である、ことを特徴とする請求項４に記載の医療指示出力プログラム。
【請求項6】
前記音声・画像・動画紐付け工程は、前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける、ことを特徴とする請求項５に記載の医療指示出力プログラム。
【請求項7】
前記音声・画像・動画紐付け工程は、前記医用画像に前記アノテーション付加が施された時点における、前記医用画像に施された全ての前記画像操作情報を含む前記操作情報合成画像データもしくは前記操作情報合成動画データと、
前記医用画像に前記アノテーション付加が施された時点より前の前記時系列音声データと、
を時系列的に紐付ける、ことを特徴とする請求項５に記載の医療指示出力プログラム。
【請求項8】
前記音声・画像・動画紐付け工程は、ユーザーの抽出操作が行われた時点における、前記医用画像に施された全ての前記画像操作情報を含む前記操作情報合成画像データもしくは前記操作情報合成動画データと、
前記ユーザーの前記抽出操作が行われた時点より前の前記時系列音声データと、
を時系列的に紐付ける、ことを特徴とする請求項５に記載の医療指示出力プログラム。
【請求項9】
前記抽出データ出力工程は、前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、をともに出力する、ことを特徴とする請求項１から８のいずれか一項に記載の医療指示出力プログラム。
【請求項10】
前記抽出データ出力工程は、前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、のどちらか一方が選択されると、前記一方と他方との両方を選択する、ことを特徴とする請求項９に記載の医療指示出力プログラム。
【請求項11】
前記抽出データ出力工程は、前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を表示媒体に表示する、ことを特徴とする請求項１から１０のいずれか一項に記載の医療指示出力プログラム。
【請求項12】
前記発話内容をテキスト化するテキスト作成工程と、前記テキストを前記表示媒体に表示するテキスト表示工程と、
を備える、ことを特徴とする請求項１１に記載の医療指示出力プログラム。
【請求項13】
発話者の発話内容を含む時系列音声データを取得する音声データ取得段階と、医用画像と、前記医用画像に施された画像操作情報と、を含む操作情報合成画像データもしくは操作情報合成動画データを取得する画像・動画データ取得段階と、
前記時系列音声データと、前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける音声・画像・動画紐付け段階と、
前記時系列音声データから、重要度が高い時間領域における前記時系列音声データを抽出する音声データ抽出段階と、
前記操作情報合成画像データもしくは前記操作情報合成動画データから、前記重要度が高い時間領域における操作情報合成画像データもしくは前記操作情報合成動画データを抽出する画像・動画データ抽出段階と、
前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を出力する抽出データ出力段階と、
を有し、
前記重要度が高い時間領域は、前記発話者が発話している時間領域である ことを特徴とする医療指示出力方法。
【請求項14】
発話者の発話内容を含む時系列音声データを取得する音声データ取得段階と、
医用画像と、前記医用画像に施された画像操作情報と、を含む操作情報合成画像データもしくは操作情報合成動画データを取得する画像・動画データ取得段階と、
前記時系列音声データと、前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける音声・画像・動画紐付け段階と、
前記時系列音声データから、重要度が高い時間領域における前記時系列音声データを抽出する音声データ抽出段階と、
前記操作情報合成画像データもしくは前記操作情報合成動画データから、前記重要度が高い時間領域における操作情報合成画像データもしくは前記操作情報合成動画データを抽出する画像・動画データ抽出段階と、
前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を出力する抽出データ出力段階と、
を有し、
前記重要度が高い時間領域は、前記医用画像に画像操作が施された時間領域であることを特徴とする医療指示出力方法。
【請求項15】
発話者の発話内容を含む時系列音声データを取得する音声データ取得部と、医用画像と、前記医用画像に施された画像操作情報と、を含む操作情報合成画像データもしくは操作情報合成動画データを取得する画像・動画データ取得部と、
前記時系列音声データと、前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける音声・画像・動画紐付け部と、
前記時系列音声データから、重要度が高い時間領域における前記時系列音声データを抽出する音声データ抽出部と、
前記操作情報合成画像データもしくは前記操作情報合成動画データから、前記重要度が高い時間領域における操作情報合成画像データもしくは前記操作情報合成動画データを抽出する画像・動画データ抽出部と、
前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を出力する抽出データ出力部と、
を有し、
前記重要度が高い時間領域は、前記発話者が発話している時間領域である ことを特徴とする医療指示出力装置。
【請求項16】
発話者の発話内容を含む時系列音声データを取得する音声データ取得部と、
医用画像と、前記医用画像に施された画像操作情報と、を含む操作情報合成画像データもしくは操作情報合成動画データを取得する画像・動画データ取得部と、
前記時系列音声データと、前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける音声・画像・動画紐付け部と、
前記時系列音声データから、重要度が高い時間領域における前記時系列音声データを抽出する音声データ抽出部と、
前記操作情報合成画像データもしくは前記操作情報合成動画データから、前記重要度が高い時間領域における操作情報合成画像データもしくは前記操作情報合成動画データを抽出する画像・動画データ抽出部と、
前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を出力する抽出データ出力部と、
を有し、
前記重要度が高い時間領域は、前記医用画像に画像操作が施された時間領域であることを特徴とする医療指示出力装置 。
【請求項17】
発話者の発話内容を含む時系列音声データを取得する音声データ取得手段と、医用画像と、前記医用画像に施された画像操作情報と、を含む操作情報合成画像データもしくは操作情報合成動画データを取得する画像・動画データ取得手段と、
前記時系列音声データと、前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける音声・画像・動画紐付け手段と、
前記時系列音声データから、重要度が高い時間領域における前記時系列音声データを抽出する音声データ抽出手段と、
前記操作情報合成画像データもしくは前記操作情報合成動画データから、前記重要度が高い時間領域における操作情報合成画像データもしくは前記操作情報合成動画データを抽出する画像・動画データ抽出手段と、
前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を出力する抽出データ出力手段と、を有し、
前記重要度が高い時間領域は、前記発話者が発話している時間領域である ことを特徴とする医療指示出力システム。
【請求項18】
発話者の発話内容を含む時系列音声データを取得する音声データ取得手段と、
医用画像と、前記医用画像に施された画像操作情報と、を含む操作情報合成画像データもしくは操作情報合成動画データを取得する画像・動画データ取得手段と、
前記時系列音声データと、前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける音声・画像・動画紐付け手段と、
前記時系列音声データから、重要度が高い時間領域における前記時系列音声データを抽出する音声データ抽出手段と、
前記操作情報合成画像データもしくは前記操作情報合成動画データから、前記重要度が高い時間領域における操作情報合成画像データもしくは前記操作情報合成動画データを抽出する画像・動画データ抽出手段と、
前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を出力する抽出データ出力手段と、を有し、
前記重要度が高い時間領域は、前記医用画像に画像操作が施された時間領域であることを特徴とする医療指示出力システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医療指示出力プログラム、医療指示出力方法、医療指示出力装置及び医療指示出力システムに関する。
【背景技術】
【0002】
一般的な医療診断として、病院内においてＸ線撮影などによって撮影された医用画像を見ながら、特定の病気や疾患などの専門医が患者を診察する形態が採られている。また、診察時に、専門医は診察後の治療や処置に関する指示を出す。この時に専門医が出す指示に関しては、専門医自らがカルテや指示書を作成してコメントを残す場合や、指示を聞いた看護師らがコメントとして記録する場合などがある。
【0003】
ここで、急患が発生した場合を考える。病院内で急患が発生し、その患者が例えば脳梗塞の疑いがある場合、即座に専門的な診断が必要である。しかし、夜間などは適切な診断ができる医師が帰宅しており、病院内にいないことが往々にしてある。そのような場合、帰宅している専門医（適切な診断が可能な医師）に医用画像を送信し、診断を依頼することがある。その際に、病院から離れた場所にいる専門医は、スマートフォンやタブレットなどを用いて、インターネット回線や電話回線を通して診断することになる。診断結果は病院内にいる医師などにすぐに伝える必要がある場合が多く、診断しながらレポートを書いている時間もないため、電話等を用い、口頭により指示の伝達を行うことになる。
【0004】
しかし、口頭での指示による伝達は、聞き間違いや理解の違いにより、正確性に欠けるリスクがある。そのようなことを防ぐため、例えば、特許文献１に開示されている技術を用いて、口頭で指示した内容を文字として残す方法が考えられる。しかし、前述のような方法を用いたとしても、専門医が発した言葉が全て記録されるのみであり、具体的に患者に対してどのような指示を行えば良いか容易に判断がつかない場合が考えられる。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１８－７３０６７号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記のような状況に鑑みて、本発明の目的は、専門医などによる医療指示に関する伝達事項をミスなく確実に伝達することである。
【課題を解決するための手段】
【0007】
上記目的を達成するため、請求項１に記載の医療指示出力プログラムの発明は、
発話者の発話内容を含む時系列音声データを取得する音声データ取得工程と、
医用画像と、前記医用画像に施された画像操作情報と、を含む操作情報合成画像データもしくは操作情報合成動画データを取得する画像・動画データ取得工程と、
前記時系列音声データと、前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける音声・画像・動画紐付け工程と、
前記時系列音声データから、重要度が高い時間領域における前記時系列音声データを抽出する音声データ抽出工程と、
前記操作情報合成画像データもしくは前記操作情報合成動画データから、前記重要度が高い時間領域における操作情報合成画像データもしくは前記操作情報合成動画データを抽出する画像・動画データ抽出工程と、
前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を出力する抽出データ出力工程と、
をコンピューターに実行させ、
前記重要度が高い時間領域は、前記発話者が発話している時間領域であることを特徴としている。
発話者の発話内容を含む時系列音声データを取得する音声データ取得工程と、
医用画像と、前記医用画像に施された画像操作情報と、を含む操作情報合成画像データもしくは操作情報合成動画データを取得する画像・動画データ取得工程と、
前記時系列音声データと、前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける音声・画像・動画紐付け工程と、
前記時系列音声データから、重要度が高い時間領域における前記時系列音声データを抽出する音声データ抽出工程と、
前記操作情報合成画像データもしくは前記操作情報合成動画データから、前記重要度が高い時間領域における操作情報合成画像データもしくは前記操作情報合成動画データを抽出する画像・動画データ抽出工程と、
前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を出力する抽出データ出力工程と、
をコンピューターに実行させ、
前記重要度が高い時間領域は、前記発話者が発話している時間領域であることを特徴としている。
【0009】
請求項２に記載の発明は、請求項１に記載の医療指示出力プログラムにおいて、
前記発話者は、予め指定された人物である、ことを特徴としている。
前記発話者は、予め指定された人物である、ことを特徴としている。
【0010】
請求項３に記載の発明は、請求項１または２に記載の医療指示出力プログラムにおいて、
前記重要度が高い時間領域における前記時系列音声データは、前記発話者が、予め指定された重要語句を発した際の前記時系列音声データである、ことを特徴としている。
前記重要度が高い時間領域における前記時系列音声データは、前記発話者が、予め指定された重要語句を発した際の前記時系列音声データである、ことを特徴としている。
【0011】
請求項４に記載の発明は、医療指示プログラムであって、
発話者の発話内容を含む時系列音声データを取得する音声データ取得工程と、
医用画像と、前記医用画像に施された画像操作情報と、を含む操作情報合成画像データもしくは操作情報合成動画データを取得する画像・動画データ取得工程と、
前記時系列音声データと、前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける音声・画像・動画紐付け工程と、
前記時系列音声データから、重要度が高い時間領域における前記時系列音声データを抽出する音声データ抽出工程と、
前記操作情報合成画像データもしくは前記操作情報合成動画データから、前記重要度が高い時間領域における操作情報合成画像データもしくは前記操作情報合成動画データを抽出する画像・動画データ抽出工程と、
前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を出力する抽出データ出力工程と、
をコンピューターに実行させ、
前記重要度が高い時間領域は、前記医用画像に画像操作が施された時間領域である、ことを特徴としている。
発話者の発話内容を含む時系列音声データを取得する音声データ取得工程と、
医用画像と、前記医用画像に施された画像操作情報と、を含む操作情報合成画像データもしくは操作情報合成動画データを取得する画像・動画データ取得工程と、
前記時系列音声データと、前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける音声・画像・動画紐付け工程と、
前記時系列音声データから、重要度が高い時間領域における前記時系列音声データを抽出する音声データ抽出工程と、
前記操作情報合成画像データもしくは前記操作情報合成動画データから、前記重要度が高い時間領域における操作情報合成画像データもしくは前記操作情報合成動画データを抽出する画像・動画データ抽出工程と、
前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を出力する抽出データ出力工程と、
をコンピューターに実行させ、
前記重要度が高い時間領域は、前記医用画像に画像操作が施された時間領域である、ことを特徴としている。
【0012】
請求項５に記載の発明は、請求項４に記載の医療指示出力プログラムにおいて、
前記画像操作は、前記医用画像へのアノテーション付加である、ことを特徴としている。
前記画像操作は、前記医用画像へのアノテーション付加である、ことを特徴としている。
【0014】
請求項６に記載の発明は、請求項５に記載の医療指示出力プログラムにおいて、
前記音声・画像・動画紐付け工程は、前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける、ことを特徴としている。
前記音声・画像・動画紐付け工程は、前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける、ことを特徴としている。
【0015】
請求項７に記載の発明は、請求項５に記載の医療指示出力プログラムにおいて、
前記音声・画像・動画紐付け工程は、
前記医用画像に前記アノテーション付加が施された時点における、前記医用画像に施された全ての前記画像操作情報を含む前記操作情報合成画像データもしくは前記操作情報合成動画データと、
前記医用画像に前記アノテーション付加が施された時点より前の前記時系列音声データと、
を時系列的に紐付ける、ことを特徴としている。
前記音声・画像・動画紐付け工程は、
前記医用画像に前記アノテーション付加が施された時点における、前記医用画像に施された全ての前記画像操作情報を含む前記操作情報合成画像データもしくは前記操作情報合成動画データと、
前記医用画像に前記アノテーション付加が施された時点より前の前記時系列音声データと、
を時系列的に紐付ける、ことを特徴としている。
【0016】
請求項８に記載の発明は、請求項５に記載の医療指示出力プログラムにおいて、
前記音声・画像・動画紐付け工程は、
ユーザーの抽出操作が行われた時点における、前記医用画像に施された全ての前記画像操作情報を含む前記操作情報合成画像データもしくは前記操作情報合成動画データと、
前記ユーザーの前記抽出操作が行われた時点より前の前記時系列音声データと、
を時系列的に紐付ける、ことを特徴としている。
前記音声・画像・動画紐付け工程は、
ユーザーの抽出操作が行われた時点における、前記医用画像に施された全ての前記画像操作情報を含む前記操作情報合成画像データもしくは前記操作情報合成動画データと、
前記ユーザーの前記抽出操作が行われた時点より前の前記時系列音声データと、
を時系列的に紐付ける、ことを特徴としている。
【0017】
請求項９に記載の発明は、請求項１から８のいずれか一項に記載の医療指示出力プログラムにおいて、
前記抽出データ出力工程は、前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、をともに出力する、ことを特徴としている。
前記抽出データ出力工程は、前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、をともに出力する、ことを特徴としている。
【0018】
請求項１０に記載の発明は、請求項９に記載の医療指示出力プログラムにおいて、
前記抽出データ出力工程は、前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、のどちらか一方が選択されると、前記一方と他方との両方を選択する、ことを特徴としている。
前記抽出データ出力工程は、前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、のどちらか一方が選択されると、前記一方と他方との両方を選択する、ことを特徴としている。
【0019】
請求項１１に記載の発明は、請求項１から１０のいずれか一項に記載の医療指示出力プログラムにおいて、
前記抽出データ出力工程は、前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を表示媒体に表示する、ことを特徴としている。
前記抽出データ出力工程は、前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を表示媒体に表示する、ことを特徴としている。
【0020】
請求項１２に記載の発明は、請求項１から１１のいずれか一項に記載の医療指示出力プログラムにおいて、
前記発話内容をテキスト化するテキスト作成工程と、
前記テキストを前記表示媒体に表示するテキスト表示工程と、
を備える、ことを特徴としている。
前記発話内容をテキスト化するテキスト作成工程と、
前記テキストを前記表示媒体に表示するテキスト表示工程と、
を備える、ことを特徴としている。
【0021】
請求項１３に記載の医療指示出力方法の発明は、
発話者の発話内容を含む時系列音声データを取得する音声データ取得部と、
医用画像と、前記医用画像に施された画像操作情報と、を含む操作情報合成画像データもしくは操作情報合成動画データを取得する画像・動画データ取得部と、
前記時系列音声データと、前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける音声・画像・動画紐付け部と、
前記時系列音声データから、重要度が高い時間領域における前記時系列音声データを抽出する音声データ抽出部と、
前記操作情報合成画像データもしくは前記操作情報合成動画データから、前記重要度が高い時間領域における操作情報合成画像データもしくは前記操作情報合成動画データを抽出する画像・動画データ抽出部と、
前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を出力する抽出データ出力部と、
を有し、
前記重要度が高い時間領域は、前記発話者が発話している時間領域であることを特徴としている。
請求項１４に記載の医療指示出力方法の発明は、
発話者の発話内容を含む時系列音声データを取得する音声データ取得部と、
医用画像と、前記医用画像に施された画像操作情報と、を含む操作情報合成画像データもしくは操作情報合成動画データを取得する画像・動画データ取得部と、
前記時系列音声データと、前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける音声・画像・動画紐付け部と、
前記時系列音声データから、重要度が高い時間領域における前記時系列音声データを抽出する音声データ抽出部と、
前記操作情報合成画像データもしくは前記操作情報合成動画データから、前記重要度が高い時間領域における操作情報合成画像データもしくは前記操作情報合成動画データを抽出する画像・動画データ抽出部と、
前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を出力する抽出データ出力部と、
を有し、
前記重要度が高い時間領域は、前記医用画像に画像操作が施された時間領域であることを特徴としている。
発話者の発話内容を含む時系列音声データを取得する音声データ取得部と、
医用画像と、前記医用画像に施された画像操作情報と、を含む操作情報合成画像データもしくは操作情報合成動画データを取得する画像・動画データ取得部と、
前記時系列音声データと、前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける音声・画像・動画紐付け部と、
前記時系列音声データから、重要度が高い時間領域における前記時系列音声データを抽出する音声データ抽出部と、
前記操作情報合成画像データもしくは前記操作情報合成動画データから、前記重要度が高い時間領域における操作情報合成画像データもしくは前記操作情報合成動画データを抽出する画像・動画データ抽出部と、
前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を出力する抽出データ出力部と、
を有し、
前記重要度が高い時間領域は、前記発話者が発話している時間領域であることを特徴としている。
請求項１４に記載の医療指示出力方法の発明は、
発話者の発話内容を含む時系列音声データを取得する音声データ取得部と、
医用画像と、前記医用画像に施された画像操作情報と、を含む操作情報合成画像データもしくは操作情報合成動画データを取得する画像・動画データ取得部と、
前記時系列音声データと、前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける音声・画像・動画紐付け部と、
前記時系列音声データから、重要度が高い時間領域における前記時系列音声データを抽出する音声データ抽出部と、
前記操作情報合成画像データもしくは前記操作情報合成動画データから、前記重要度が高い時間領域における操作情報合成画像データもしくは前記操作情報合成動画データを抽出する画像・動画データ抽出部と、
前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を出力する抽出データ出力部と、
を有し、
前記重要度が高い時間領域は、前記医用画像に画像操作が施された時間領域であることを特徴としている。
【0022】
請求項１５に記載の医療指示出力装置の発明は、
発話者の発話内容を含む時系列音声データを取得する音声データ取得部と、
医用画像と、前記医用画像に施された画像操作情報と、を含む操作情報合成画像データもしくは操作情報合成動画データを取得する画像・動画データ取得部と、
前記時系列音声データと、前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける音声・画像・動画紐付け部と、
前記時系列音声データから、重要度が高い時間領域における前記時系列音声データを抽出する音声データ抽出部と、
前記操作情報合成画像データもしくは前記操作情報合成動画データから、前記重要度が高い時間領域における操作情報合成画像データもしくは前記操作情報合成動画データを抽出する画像・動画データ抽出部と、
前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を出力する抽出データ出力部と、
を有し、
前記重要度が高い時間領域は、前記発話者が発話している時間領域であることを特徴としている。
請求項１６に記載の医療指示出力装置の発明は、
発話者の発話内容を含む時系列音声データを取得する音声データ取得部と、
医用画像と、前記医用画像に施された画像操作情報と、を含む操作情報合成画像データもしくは操作情報合成動画データを取得する画像・動画データ取得部と、
前記時系列音声データと、前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける音声・画像・動画紐付け部と、
前記時系列音声データから、重要度が高い時間領域における前記時系列音声データを抽出する音声データ抽出部と、
前記操作情報合成画像データもしくは前記操作情報合成動画データから、前記重要度が高い時間領域における操作情報合成画像データもしくは前記操作情報合成動画データを抽出する画像・動画データ抽出部と、
前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を出力する抽出データ出力部と、
を有し、
前記重要度が高い時間領域は、前記医用画像に画像操作が施された時間領域であることを特徴としている。
発話者の発話内容を含む時系列音声データを取得する音声データ取得部と、
医用画像と、前記医用画像に施された画像操作情報と、を含む操作情報合成画像データもしくは操作情報合成動画データを取得する画像・動画データ取得部と、
前記時系列音声データと、前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける音声・画像・動画紐付け部と、
前記時系列音声データから、重要度が高い時間領域における前記時系列音声データを抽出する音声データ抽出部と、
前記操作情報合成画像データもしくは前記操作情報合成動画データから、前記重要度が高い時間領域における操作情報合成画像データもしくは前記操作情報合成動画データを抽出する画像・動画データ抽出部と、
前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を出力する抽出データ出力部と、
を有し、
前記重要度が高い時間領域は、前記発話者が発話している時間領域であることを特徴としている。
請求項１６に記載の医療指示出力装置の発明は、
発話者の発話内容を含む時系列音声データを取得する音声データ取得部と、
医用画像と、前記医用画像に施された画像操作情報と、を含む操作情報合成画像データもしくは操作情報合成動画データを取得する画像・動画データ取得部と、
前記時系列音声データと、前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける音声・画像・動画紐付け部と、
前記時系列音声データから、重要度が高い時間領域における前記時系列音声データを抽出する音声データ抽出部と、
前記操作情報合成画像データもしくは前記操作情報合成動画データから、前記重要度が高い時間領域における操作情報合成画像データもしくは前記操作情報合成動画データを抽出する画像・動画データ抽出部と、
前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を出力する抽出データ出力部と、
を有し、
前記重要度が高い時間領域は、前記医用画像に画像操作が施された時間領域であることを特徴としている。
【0023】
請求項１７に記載の医療指示出力システムの発明は、
発話者の発話内容を含む時系列音声データを取得する音声データ取得手段と、
医用画像と、前記医用画像に施された画像操作情報と、を含む操作情報合成画像データもしくは操作情報合成動画データを取得する画像・動画データ取得手段と、
前記時系列音声データと、前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける音声・画像・動画紐付け手段と、
前記時系列音声データから、重要度が高い時間領域における前記時系列音声データを抽出する音声データ抽出手段と、
前記操作情報合成画像データもしくは前記操作情報合成動画データから、前記重要度が高い時間領域における操作情報合成画像データもしくは前記操作情報合成動画データを抽出する画像・動画データ抽出手段と、
前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を出力する抽出データ出力手段と、を有し、
前記重要度が高い時間領域は、前記発話者が発話している時間領域であることを特徴としている。
請求項１８に記載の医療指示出力システムの発明は、
発話者の発話内容を含む時系列音声データを取得する音声データ取得手段と、
医用画像と、前記医用画像に施された画像操作情報と、を含む操作情報合成画像データもしくは操作情報合成動画データを取得する画像・動画データ取得手段と、
前記時系列音声データと、前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける音声・画像・動画紐付け手段と、
前記時系列音声データから、重要度が高い時間領域における前記時系列音声データを抽出する音声データ抽出手段と、
前記操作情報合成画像データもしくは前記操作情報合成動画データから、前記重要度が高い時間領域における操作情報合成画像データもしくは前記操作情報合成動画データを抽出する画像・動画データ抽出手段と、
前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を出力する抽出データ出力手段と、を有し、
前記重要度が高い時間領域は、前記医用画像に画像操作が施された時間領域であることを特徴としている。
発話者の発話内容を含む時系列音声データを取得する音声データ取得手段と、
医用画像と、前記医用画像に施された画像操作情報と、を含む操作情報合成画像データもしくは操作情報合成動画データを取得する画像・動画データ取得手段と、
前記時系列音声データと、前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける音声・画像・動画紐付け手段と、
前記時系列音声データから、重要度が高い時間領域における前記時系列音声データを抽出する音声データ抽出手段と、
前記操作情報合成画像データもしくは前記操作情報合成動画データから、前記重要度が高い時間領域における操作情報合成画像データもしくは前記操作情報合成動画データを抽出する画像・動画データ抽出手段と、
前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を出力する抽出データ出力手段と、を有し、
前記重要度が高い時間領域は、前記発話者が発話している時間領域であることを特徴としている。
請求項１８に記載の医療指示出力システムの発明は、
発話者の発話内容を含む時系列音声データを取得する音声データ取得手段と、
医用画像と、前記医用画像に施された画像操作情報と、を含む操作情報合成画像データもしくは操作情報合成動画データを取得する画像・動画データ取得手段と、
前記時系列音声データと、前記操作情報合成画像データもしくは前記操作情報合成動画データと、を時系列的に紐付ける音声・画像・動画紐付け手段と、
前記時系列音声データから、重要度が高い時間領域における前記時系列音声データを抽出する音声データ抽出手段と、
前記操作情報合成画像データもしくは前記操作情報合成動画データから、前記重要度が高い時間領域における操作情報合成画像データもしくは前記操作情報合成動画データを抽出する画像・動画データ抽出手段と、
前記重要度が高い時間領域における前記時系列音声データと、前記重要度が高い時間領域における前記操作情報合成画像データもしくは前記操作情報合成動画データと、の少なくともどちらか一方を出力する抽出データ出力手段と、を有し、
前記重要度が高い時間領域は、前記医用画像に画像操作が施された時間領域であることを特徴としている。
【発明の効果】
【0024】
本発明によれば、専門医などによる医療指示に関する伝達事項をミスなく確実に伝達することができる。
【図面の簡単な説明】
【0025】
【図1A】本発明の実施形態の医療指示出力装置
【図1B】本発明の実施形態の医療指示出力システムを示すブロック図
【図2A】モバイル端末におけるビューア処理の動作フロー
【図2B】モバイル端末における音声処理の動作フロー
【図2C】サーバーの動作フロー
【図2D】リスト画面及びビューア画面
【図3】院内端末の動作フロー
【図4】ユーザーの操作フロー
【図5A】テキスト表示バージョンの画面表示例
【図5B】音声再生バージョンの画面表示例
【図6】指示情報表示におけるメッセージの確認マーク例
【発明を実施するための形態】
【0026】
以下、本発明の実施形態を図面に基づいて説明する。ただし、本発明の範囲は図示例に限定されない。
【0027】
【0028】
図１Ａに関して、モバイル端末１は、急患が出た場合に備えて各疾病の専門医が携帯している端末であり、院内端末３は、急患の患者情報を保存・閲覧するために病院内に備わっている端末である。モバイル端末１と院内端末３は、例えば図１Ａに示されるようにタッチパネル型の携帯端末であり、それぞれ表示・操作部１ａ、３ａを有する。表示・操作部１ａ、３ａを構成する表示デバイスの例としては、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode-Ray Tube）ディスプレイ、有機ＥＬ（Electronic Luminescence）ディスプレイ、無機ＥＬディスプレイ及びプラズマディスプレイ等が挙げられる。
なお、モバイル端末１と院内端末３は前述のような構成に限定されず、患者情報を表示可能な端末であれば良い。
なお、モバイル端末１と院内端末３は前述のような構成に限定されず、患者情報を表示可能な端末であれば良い。
【0029】
サーバー５は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備えて構成されている。
また、サーバー５は、プログラムや各種データの記憶機能を有するため、ＨＤＤ（Hard Disk Drive）や不揮発性の半導体メモリ等も備えて構成されている。
また、サーバー５は、プログラムや各種データの記憶機能を有するため、ＨＤＤ（Hard Disk Drive）や不揮発性の半導体メモリ等も備えて構成されている。
【0030】
続いて、図１Ｂについて説明する。
【0031】
モバイル端末１は、音声入力部１１、音声情報転送部１２、画像操作記憶部１３、指示・画像操作関係制御部１４、指示情報表示制御部１５、画像表示制御部１６などにより構成される。
【0032】
音声入力部１１は、発話者が発した言葉（発話内容）を含め、検出可能な全ての音声データを取得し、記憶する役割を担う。音声の検出精度は、発話内容が漏れなく検出できる程度が望ましいが、特に限定されない。
【0033】
音声情報転送部１２は、音声入力部１１によって取得された音声データを、サーバー５内の音声認識部５２に転送する。
【0034】
画像操作記憶部１３は、医用画像５６に対して画像操作が施された際に、なされた画像操作の内容を画像操作情報（図１Ｂでは画像操作情報５５と示す）として記憶する役割を担う。画像操作の例としては、アノテーションａの付加、医用画像５６の拡大・縮小、階調処理、パン、計測（病変部位の長さ等を計測する処理）、文字入力によるコメント付与など、種々の操作が挙げられる。
なお、画像操作情報５５を取得する役割を担う図示しない画像操作入力部や、文字を入力するための図示しない文字入力部などが、画像操作記憶部１３とは別に備わっていてもよく、画像操作記憶部１３が前述した画像操作情報５５の取得などの機能を有していても良い。
また、画像操作記憶部１３は、得られた画像操作情報５５を、後述するサーバー５の画像操作情報取得部５７に転送する。
なお、本実施形態では、医用画像５６は静止画（例えば、Ｘ線画像など）であることを想定しているが、動画（例えば、動態解析に関係するＣＴやＭＲＩの動画など）であってもよい。
なお、画像操作情報５５を取得する役割を担う図示しない画像操作入力部や、文字を入力するための図示しない文字入力部などが、画像操作記憶部１３とは別に備わっていてもよく、画像操作記憶部１３が前述した画像操作情報５５の取得などの機能を有していても良い。
また、画像操作記憶部１３は、得られた画像操作情報５５を、後述するサーバー５の画像操作情報取得部５７に転送する。
なお、本実施形態では、医用画像５６は静止画（例えば、Ｘ線画像など）であることを想定しているが、動画（例えば、動態解析に関係するＣＴやＭＲＩの動画など）であってもよい。
【0035】
指示・画像操作関係制御部１４は、サーバー５内の指示・画像操作関係紐付け部６０によって紐付けられた指示情報（音声）５１と画像操作情報５５、もしくは、指示情報（テキスト）５３と画像操作情報５５に関して、それらの紐付けられた情報を、指示情報表示制御部１５と画像表示制御部１６に転送する役割を担う。
なお、紐付けられた情報は、表示・操作部１ａに表示される際、別々ではなく同時に表示されるよう、指示・画像操作関係制御部１４が制御する。ただし、指示情報（音声）５１と画像操作情報５５、もしくは、指示情報（テキスト）５３と画像操作情報５５は、それぞれ必ずしも両方とも表示される必要はなく、指示情報５１，５３のみ、画像操作情報５５のみが表示されても良い。
これら指示情報表示制御部１５、画像表示制御部１６、指示情報（音声）５１、指示情報（テキスト）５３、画像操作情報５５、指示・画像操作関係紐付け部６０の詳細については後述する。
なお、紐付けられた情報は、表示・操作部１ａに表示される際、別々ではなく同時に表示されるよう、指示・画像操作関係制御部１４が制御する。ただし、指示情報（音声）５１と画像操作情報５５、もしくは、指示情報（テキスト）５３と画像操作情報５５は、それぞれ必ずしも両方とも表示される必要はなく、指示情報５１，５３のみ、画像操作情報５５のみが表示されても良い。
これら指示情報表示制御部１５、画像表示制御部１６、指示情報（音声）５１、指示情報（テキスト）５３、画像操作情報５５、指示・画像操作関係紐付け部６０の詳細については後述する。
【0036】
指示情報表示制御部１５は、後述するサーバー５の指示情報取得部５４によって取得された指示情報（テキスト）５３を表示・操作部１ａに表示させる。
また、指示情報表示制御部１５は、指示・画像操作関係制御部１４からの制御に基づいて、指示情報（音声）５１もしくは指示情報（テキスト）５３を、表示・操作部１ａに表示させる。
なお、指示情報表示制御部１５の役割は、指示・画像操作関係制御部１４が担ってもよく、その場合は、指示情報表示制御部１５は省略されてもよい。
また、指示情報表示制御部１５は、指示・画像操作関係制御部１４からの制御に基づいて、指示情報（音声）５１もしくは指示情報（テキスト）５３を、表示・操作部１ａに表示させる。
なお、指示情報表示制御部１５の役割は、指示・画像操作関係制御部１４が担ってもよく、その場合は、指示情報表示制御部１５は省略されてもよい。
【0037】
画像表示制御部１６は、後述するサーバー５の画像処理部５９によって得られた医用画像５６と画像操作情報５５を表示・操作部１ａに表示させる。
また、画像表示制御部１６は、指示・画像操作関係制御部１４からの制御に基づいて、画像操作情報５５を表示・操作部１ａに表示させる。
なお、画像表示制御部１６の役割は、指示・画像操作関係制御部１４が担ってもよく、その場合は、画像表示制御部１６は省略されてもよい。
また、画像表示制御部１６は、指示・画像操作関係制御部１４からの制御に基づいて、画像操作情報５５を表示・操作部１ａに表示させる。
なお、画像表示制御部１６の役割は、指示・画像操作関係制御部１４が担ってもよく、その場合は、画像表示制御部１６は省略されてもよい。
【0038】
院内端末３は、音声入力部３１、音声情報転送部３２、指示・画像操作関係制御部３４、指示情報表示制御部３５、画像表示制御部３６などにより構成される。
【0039】
音声入力部３１は、モバイル端末１の音声入力部１１と同様の役割を担う。
【0040】
音声情報転送部３２は、モバイル端末１の音声情報転送部１２と同様の役割を担う。
【0041】
指示・画像操作関係制御部３４は、モバイル端末１の指示・画像操作関係制御部１４と同様の役割を担う。
【0042】
指示情報表示制御部３５は、モバイル端末１の指示情報表示制御部１５と同様の役割を担う。
【0043】
画像表示制御部３６は、モバイル端末１の画像表示制御部１６と同様の役割を担う。
【0044】
サーバー５は、音声認識部５２、指示情報取得部５４、画像操作情報取得部５７、医用画像取得部５８、画像処理部５９、指示・画像操作関係紐付け部６０などにより構成される。
【0045】
音声認識部５２は、モバイル端末１内の音声入力部１１と、院内端末３内の音声入力部３１によって取得された音声データ中の発話内容をテキスト化する。音声データ中の発話内容を、図１Ｂでは指示情報（音声）５１と示す。音声認識部５２は、指示情報（音声）５１が得られると同時にリアルタイムにテキスト化することができる。テキスト化する方法は特に限定されず、公知の音声テキスト化方法を用いることができる。
また、音声認識部５２は、音声入力された端末ごとに異なる人物により発せられた情報であると認識するよう構成されることができる。すなわち、モバイル端末１内の音声入力部１１によって得られた指示情報（音声）５１はモバイル端末１を使用する使用者により発せられた情報であり、院内端末３内の音声入力部３１によって得られた指示情報（音声）５１は院内端末３を使用する使用者により発せられた情報であると、区別して認識することができる。
なお、区別する方法は前述に限定されず、例えば、得られた音声の種々の特徴によって判断しても良い。
音声認識部５２は、音声データをテキスト化した後、指示情報（テキスト）５３として出力し、指示情報取得部５４に転送する。
また、音声認識部５２は、音声入力された端末ごとに異なる人物により発せられた情報であると認識するよう構成されることができる。すなわち、モバイル端末１内の音声入力部１１によって得られた指示情報（音声）５１はモバイル端末１を使用する使用者により発せられた情報であり、院内端末３内の音声入力部３１によって得られた指示情報（音声）５１は院内端末３を使用する使用者により発せられた情報であると、区別して認識することができる。
なお、区別する方法は前述に限定されず、例えば、得られた音声の種々の特徴によって判断しても良い。
音声認識部５２は、音声データをテキスト化した後、指示情報（テキスト）５３として出力し、指示情報取得部５４に転送する。
【0046】
指示情報取得部５４は、音声認識部５２によって転送された指示情報（テキスト）５３を、モバイル端末１内の指示情報表示制御部１５と院内端末３内の指示情報表示制御部３５に転送する。
【0047】
画像操作情報取得部５７は、前述した画像操作記憶部１３によって転送された画像操作情報５５を、画像処理部５９に転送する。
【0048】
医用画像取得部５８は、入力手段７（例えば医用画像５６を生成する各種モダリティーや医用画像５６を格納する他の装置など）により得られた医用画像５６を、画像処理部５９に転送する。
【0049】
画像処理部５９は、医用画像取得部５８により転送された医用画像５６と、画像操作情報取得部５７により転送された画像操作情報５５を照合し、画像操作情報５５が反映された医用画像５６を生成する。
また、画像処理部５９は、生成した医用画像５６を、モバイル端末１内の画像表示制御部１６と院内端末３内の画像表示制御部３６に転送する。
なお、画像処理部５９はサーバー５に配置される場合だけでなく、モバイル端末１あるいは院内端末３に配置される場合もある。この場合は、あらかじめモバイル端末１あるいは院内端末３に医用画像５６を転送しておき、画像操作情報５５が生成されると、それぞれの端末にリアルタイムに転送し、画像処理部５９で画像操作情報５５が反映された医用画像５６を都度生成し表示してもよい。この場合はモバイル端末１および院内端末３の画像処理の負荷は高くなるが、都度画像を転送する必要がなくなるためネットワーク帯域が狭い環境でもリアルタイムに表示が可能となる。
また、画像処理部５９は、生成した医用画像５６を、モバイル端末１内の画像表示制御部１６と院内端末３内の画像表示制御部３６に転送する。
なお、画像処理部５９はサーバー５に配置される場合だけでなく、モバイル端末１あるいは院内端末３に配置される場合もある。この場合は、あらかじめモバイル端末１あるいは院内端末３に医用画像５６を転送しておき、画像操作情報５５が生成されると、それぞれの端末にリアルタイムに転送し、画像処理部５９で画像操作情報５５が反映された医用画像５６を都度生成し表示してもよい。この場合はモバイル端末１および院内端末３の画像処理の負荷は高くなるが、都度画像を転送する必要がなくなるためネットワーク帯域が狭い環境でもリアルタイムに表示が可能となる。
【0050】
指示・画像操作関係紐付け部６０は、指示情報（音声）５１と画像操作情報５５、もしくは、指示情報（テキスト）５３と画像操作情報５５を時系列的に紐付けて記憶する役割を担う。
ここで「時系列的に紐付ける」とは、時間軸を一致させて記憶するということを意味する。
ここで「時系列的に紐付ける」とは、時間軸を一致させて記憶するということを意味する。
【0051】
以下、各動作フローや操作フローに沿って、本発明の実施形態を説明していく。
なお、本実施形態では、専門医が外出（帰宅を含む）している最中に急患が出た場合を想定している。帰宅中の専門医はモバイル端末１を携帯しており、病院内には患者情報を保存している院内端末３があり、専門医ではない医師もしくは看護師などが院内端末３を使用する。
また、サーバー５は病院内、あるいはクラウド上などに設置され、帰宅中の専門医が携帯するモバイル端末１と、病院内の医師もしくは看護師が使用する院内端末３は、サーバー５を介して通信される。
なお、本実施形態では、専門医が外出（帰宅を含む）している最中に急患が出た場合を想定している。帰宅中の専門医はモバイル端末１を携帯しており、病院内には患者情報を保存している院内端末３があり、専門医ではない医師もしくは看護師などが院内端末３を使用する。
また、サーバー５は病院内、あるいはクラウド上などに設置され、帰宅中の専門医が携帯するモバイル端末１と、病院内の医師もしくは看護師が使用する院内端末３は、サーバー５を介して通信される。
【0052】
また、本実施形態では、前述のように、本発明に係るプログラム、システム、方法を用いた専用端末を使用しているが、本発明はこれに限定されない、例えば、端末は任意のものでよく、本発明に係るプログラム、システム、方法を実行するアプリをダウンロードして使用する形態を採ってもよい。
【0053】
図２Ａ～図２Ｄは、モバイル端末１とサーバー５間の動作フローや画面例を示す。図２Ａはモバイル端末１におけるビューア処理の動作フローの例、図２Ｂはモバイル端末１における音声処理の動作フローの例、図２Ｃはサーバー５の動作フローの例、図２Ｄはリスト画面Ｌｉとビューア画面Ｖの例である。
【0054】
ビューア処理の動作フローを図２Ａに沿って説明する。ここでの動作は、モバイル端末１において、医用画像５６に施された画像操作情報５５を取得する方法に該当する。
【0055】
まず、ステップＳ２１０１でビューア処理を開始する。専門医が、モバイル端末１に備わっている図示しない開始を押すなどして開始する。
【0056】
次に、ステップＳ２１０２で診断する患者を選択する。例えば図２Ｄ上側に示したようなリスト画面Ｌｉにおける診断する患者の行Ｌａをタッチする、押すあるいはダブルクリックするなどして、患者を選択することができる。
【0057】
ステップＳ２１０２で患者が選択されると、ステップＳ２１０３としてビューア画面Ｖが開く。ビューア画面Ｖは、例えば図２Ｄ下側のように表示され、患者の検査画像（医用画像５６）と種々のボタン群Ｂ３～Ｂ１２等が表示されている。
【0058】
次に、ステップＳ２１０４として、ビューア表示・操作準備を行う。図示しないビューア表示・操作ボタンを押すなどし、画像操作に必要なボタン群を表示させるなど、準備状態を整える。
なお、ビューア画面Ｖを開いた状態で準備が整っている場合は、本ステップは省略しても良い。
なお、ビューア画面Ｖを開いた状態で準備が整っている場合は、本ステップは省略しても良い。
【0059】
次に、ステップＳ２１０５として、ユーザーが選択した画像操作の種類を判断する。本実施形態では、画像操作として、アノテーションａを付加する場合と、スナップショットする場合を想定する。まず、ユーザーがアノテーションａの付加を選択する場合、ユーザーによりアノテーションボタンＢ９（図５Ａ参照）を押すなどの操作がなされる。これにより、ステップＳ２１０６へ進む。
【0060】
ステップＳ２１０６では、医用画像５６に対して、専門医が画像操作としてアノテーションａの付加を行う。
また、アノテーションａが付加されると同時に、付加されたアノテーションａの情報（画像操作情報５５）が画像操作記憶部１３に保存され、グループＩＤが付与される。これがステップＳ２１０８である。ステップＳ２１０６でアノテーションａが付加されると同時に、自動的にステップＳ２１０８へ進むという構成となっている。
また、アノテーションａが付加されると同時に、付加されたアノテーションａの情報（画像操作情報５５）が画像操作記憶部１３に保存され、グループＩＤが付与される。これがステップＳ２１０８である。ステップＳ２１０６でアノテーションａが付加されると同時に、自動的にステップＳ２１０８へ進むという構成となっている。
【0061】
ステップＳ２１０６でアノテーションａが付加、すなわちステップＳ２１０８で画像操作情報５５が保存された際、その時のアノテーションａの付加が、前回のアノテーションａの付加時点から一定時間経過していない（ステップＳ２１０９においてＮｏである）場合は、ステップＳ２１０６で付与されたグループＩＤが格納される。これがステップＳ２１１０である。
なお、初めてのアノテーションａの付加である場合も、ステップＳ２１０９においてＮｏであると判断される。
次いで、自動的にステップＳ２１１２へ進み、ステップＳ２１０６で保存された画像操作情報５５とグループＩＤがサーバー５へ送信される。
なお、本実施形態では、ステップＳ２１０９で判断する経過時間を１０秒とする。ただし、ここでの経過時間はどの程度の時間に設定してもよく、モバイル端末１を携帯する専門医を含めたユーザーが予め設定するような構成にしてもよい。
なお、初めてのアノテーションａの付加である場合も、ステップＳ２１０９においてＮｏであると判断される。
次いで、自動的にステップＳ２１１２へ進み、ステップＳ２１０６で保存された画像操作情報５５とグループＩＤがサーバー５へ送信される。
なお、本実施形態では、ステップＳ２１０９で判断する経過時間を１０秒とする。ただし、ここでの経過時間はどの程度の時間に設定してもよく、モバイル端末１を携帯する専門医を含めたユーザーが予め設定するような構成にしてもよい。
【0062】
ステップＳ２１１２で画像操作情報５５とグループＩＤがサーバー５へ送信された後、ステップＳ２１１３で終了ボタンＢ１２等が押された（Ｙｅｓ）場合、ステップＳ２１１４へ進みビューア処理を終了する。ステップＳ２１１３で終了ボタンＢ１２が押されていない（Ｎｏ）場合、ステップＳ２１０４へ戻り、前述の順番で処理を進める。
以上より、最初のアノテーションａの付加から１０秒以内に２回目のアノテーションａの付加がなされた場合、それら２つのアノテーションａは同一グループＩＤが付与されることになり、３回目以降も同様である。
また、アノテーションａの付加以外の画像操作、例えば、拡大や縮小なども画像操作としてグループＩＤが付与され、保存される。
以上より、最初のアノテーションａの付加から１０秒以内に２回目のアノテーションａの付加がなされた場合、それら２つのアノテーションａは同一グループＩＤが付与されることになり、３回目以降も同様である。
また、アノテーションａの付加以外の画像操作、例えば、拡大や縮小なども画像操作としてグループＩＤが付与され、保存される。
【0063】
また、ステップＳ２１０６でアノテーションａが付加、すなわちステップＳ２１０８で画像操作情報５５が保存された際、その時のアノテーションａの付加が、前回のアノテーションａの付加時点から１０秒以上経過した（ステップＳ２１０９においてＹｅｓである）場合は、グループＩＤが更新される。これがステップＳ２１１１である。
【0064】
ステップＳ２１１１でグループＩＤが更新された後、ステップＳ２１１２へ進み、画像操作情報５５とグループＩＤがサーバー５へ送信される。その後、前述と同様に、ステップＳ２１１２以降へ進む。
【0065】
また、ステップＳ２１０５（画像操作の種類の判断）において、ユーザーがスナップショットを選択したと判断した場合について説明する。ユーザーがスナップショットボタンＢ１１を押すなどの操作を行うと、スナップショットボタンＢ１１押下前の画像操作情報５５が保存され、その画像操作情報５５に対してグループＩＤが更新して付与される（ステップＳ２１１１）。すなわち、スナップショットは、ユーザーの任意のタイミングでグループＩＤを更新できる機能である。
なお、前回のグループＩＤが付与された時点からスナップショットボタンＢ１１押下までの全ての画像操作情報５５を同一グループＩＤ付与により保存してもよく、スナップショットボタンＢ１１押下前の一定時間における画像操作情報５５を同一グループＩＤ付与により保存してもよい。
なお、前回のグループＩＤが付与された時点からスナップショットボタンＢ１１押下までの全ての画像操作情報５５を同一グループＩＤ付与により保存してもよく、スナップショットボタンＢ１１押下前の一定時間における画像操作情報５５を同一グループＩＤ付与により保存してもよい。
【0066】
なお、グループＩＤの付与や、画像操作情報５５のサーバー５への送信は、画像操作記憶部１３により行われる。
【0067】
以上がビューア処理の動作フローである。続いて、音声処理の動作フローを図２Ｂに沿って説明する。音声処理は、モバイル端末１と院内端末３の両方で行われる。
【0068】
まず、ステップＳ２２０１として、音声処理を開始する。本発明は、開始から終了までにおける発話者の発話内容や発話以外の雑音等を含む全ての時系列音声データを取得することができる。
ここで「時系列音声データ」とは、時間の流れに沿って蓄積された音声のデータを意味する。以後、この時系列音声データを単に音声データと呼ぶ。ただし、本実施形態では、全ての音声データを取得する工程の詳細は省略し、音声処理フローでは、音声データにおける発話者の発話内容のみを取得している。
なお、全ての音声データは図示しない全音声データ取得部等により取得されることができる。したがって、本実施形態では、発話者が発話を開始したことを検知し、その発話開始時点から音声処理を開始する。
ここで「時系列音声データ」とは、時間の流れに沿って蓄積された音声のデータを意味する。以後、この時系列音声データを単に音声データと呼ぶ。ただし、本実施形態では、全ての音声データを取得する工程の詳細は省略し、音声処理フローでは、音声データにおける発話者の発話内容のみを取得している。
なお、全ての音声データは図示しない全音声データ取得部等により取得されることができる。したがって、本実施形態では、発話者が発話を開始したことを検知し、その発話開始時点から音声処理を開始する。
【0069】
次に、ステップＳ２２０２として、音声入力を行う。音声入力部１１（音声入力部３１）により、発話者の発話内容が入力される。
【0070】
次に、ステップＳ２２０３として、音声情報符号化を行う。ステップＳ２２０２で入力された発話内容はITU-T(International Telecommunication Union Telecommunication Standardization Sector)により策定されたG.711などの方式により符号化されることでデータサイズが圧縮され通信に適したサイズとなる。音声入力部１１（音声入力部３１）や音声情報転送部１２（音声情報転送部３２）などが符号化を行う。
【0071】
次に、ステップＳ２２０４として、音声データにグループＩＤが付与される。グループＩＤの付与は、音声入力部１１（音声入力部３１）や音声情報転送部１２（音声情報転送部３２）などによって行われる。音声データに付与されるグループＩＤは、ビューア処理において画像情報に付与されるグループＩＤと対応している。したがって、音声処理において最初に取得された音声データに付与されるグループＩＤと、ビューア処理において最初になされた画像操作に付与されるグループＩＤは同一となる（対応していることになる）。
【0072】
次に、ステップＳ２２０５として、ステップＳ２２０４においてグループＩＤが付与された音声データに対して、人物情報を付与する。
ここで「人物情報を付与する」とは、取得した音声データが、誰によって発話されたものであるかという情報を付与することである。人物情報を付与する方法は、例えば、音声データを取得した端末ごとに人物を判断する方法がある。すなわち、モバイル端末１内の音声入力部１１によって取得された音声データは、モバイル端末１を使用している専門医が発話した内容であると判断し、院内端末３内の音声入力部３１によって取得された音声データは、院内端末３を使用している院内の医師や看護師等が発話した内容であると判断する。ただし、人物の判断方法は上記に限定されず、例えば、人物が発する声の特徴（声の大きさ、波形の振幅や波長など）を検出し、それにより判断してもよい。
ここで「人物情報を付与する」とは、取得した音声データが、誰によって発話されたものであるかという情報を付与することである。人物情報を付与する方法は、例えば、音声データを取得した端末ごとに人物を判断する方法がある。すなわち、モバイル端末１内の音声入力部１１によって取得された音声データは、モバイル端末１を使用している専門医が発話した内容であると判断し、院内端末３内の音声入力部３１によって取得された音声データは、院内端末３を使用している院内の医師や看護師等が発話した内容であると判断する。ただし、人物の判断方法は上記に限定されず、例えば、人物が発する声の特徴（声の大きさ、波形の振幅や波長など）を検出し、それにより判断してもよい。
【0073】
次に、ステップＳ２２０６として、ステップＳ２２０５において人物情報が付与された音声データをサーバー５へ送信する。サーバー５への送信は、音声情報転送部１２（音声情報転送部３２）により行われる。
【0074】
ステップＳ２２０６において音声データをサーバー５へ送信後、終了ボタンＢ１２が押されたかどうかを判断する。これがステップＳ２２０７である。
なお、終了ボタンＢ１２の押下以外にも、いかなる方法を以って終了判断を行ってもよい。終了ボタンＢ１２が押下されたと判断された場合（ステップＳ２２０７においてＹｅｓである場合）、音声処理を終了する。これがステップＳ２２０８である。終了ボタンＢ１２が押下されていないと判断された場合（ステップＳ２２０７においてＮｏである場合）、ステップＳ２２０２へ戻り、前術の順番で処理を行う。
なお、終了ボタンＢ１２の押下以外にも、いかなる方法を以って終了判断を行ってもよい。終了ボタンＢ１２が押下されたと判断された場合（ステップＳ２２０７においてＹｅｓである場合）、音声処理を終了する。これがステップＳ２２０８である。終了ボタンＢ１２が押下されていないと判断された場合（ステップＳ２２０７においてＮｏである場合）、ステップＳ２２０２へ戻り、前術の順番で処理を行う。
【0075】
なお、一般的に音声データの区切り（終了）を判断するのは難しい。例えば、ある発話がなされた後、一旦発話しない時間があり、その後発話が再開された場合、発話再開前後の発話内容を同一のグループとするのか、それとも一旦発話しない時間があったために音声の区切りと判断し、違うグループとするのか、明確な判断基準を設けることは難しい場合がある。そこで、音声データのグループＩＤ更新は音声データの区切り等を基準とせず、ビューア処理におけるグループＩＤ更新にともなって、音声データのグループＩＤも更新されるよう構成されていることが望ましい。ただし、音声データに関する特徴などを用いて、ビューア処理とは独立して音声データの区切りを決めることもできる。その場合、例えば、音声データの特徴として、音声の大きさや波形の変化などを用いてよい。
【0076】
以上が音声処理の動作フローである。続いて、サーバー５の動作フローを図２Ｃに沿って説明する。
【0077】
まず、ステップＳ２３０１として、サーバー５の動作を開始する。ここでは、ステップＳ２２０６において音声データが送信されたことを起点として、サーバー５の動作が開始される。すなわち、ステップＳ２３０２として、モバイル端末１及び院内端末３の、音声情報転送部１２及び音声情報転送部３２から転送された音声データを、指示情報（音声）５１として、サーバー５内の音声認識部５２が取得する。
【0078】
次に、ステップＳ２３０３として、音声データのテキスト化を行うかどうか判断する。この判断は、音声認識部５２により行われる。テキスト化を行わないと判断された場合（ステップＳ２３０３においてＮｏである場合）、ステップＳ２３０４へ進む。テキスト化を行うと判断された場合（ステップＳ２３０３においてＹｅｓである場合）、ステップＳ２３０７へ進む。
なお、テキスト化を行うかどうかの判断基準は、いかなるものでもよい。例えば、テキスト化を行うかどうかの判断はシステム導入時にあらかじめ決められ、常にそれに従ってもよいし、あるいは音声データが一定基準より鮮明に取得できた場合はテキスト化し、一定基準より不鮮明であった場合はテキスト化しない、といった判断基準などが挙げられる。
なお、テキスト化を行うかどうかの判断基準は、いかなるものでもよい。例えば、テキスト化を行うかどうかの判断はシステム導入時にあらかじめ決められ、常にそれに従ってもよいし、あるいは音声データが一定基準より鮮明に取得できた場合はテキスト化し、一定基準より不鮮明であった場合はテキスト化しない、といった判断基準などが挙げられる。
【0079】
ステップＳ２３０３からステップＳ２３０７へ進んだ場合、ステップＳ２３０７として音声データのテキスト化を行う。音声認識部５２により、音声データである指示情報（音声）５１が、指示情報（テキスト）５３へと変換される。テキスト化の方法は特に限定されず、公知の音声テキスト化方法を用いることができる。
【0080】
ステップＳ２３０７において作成された指示情報（テキスト）５３は、指示情報取得部５４に保存される。ここがステップＳ２３０８である。
【0081】
ステップＳ２３０３においてＮｏである場合と、ステップＳ２３０８の後は、ステップＳ２３０４へ進む。
なお、指示情報（音声）５１と指示情報（テキスト）５３は、指示・画像操作関係紐付け部６０に保存される。
なお、指示情報（音声）５１と指示情報（テキスト）５３は、指示・画像操作関係紐付け部６０に保存される。
【0082】
続いて、ステップＳ２３０５として、ビューア処理においてモバイル端末１から転送された画像操作情報５５を取得する。画像操作情報５５の取得は、画像操作情報取得部５７により行われる。
【0083】
画像操作情報取得部５７により画像操作情報５５が取得された後、画像操作情報５５は、画像処理部５９と指示・画像操作関係紐付け部６０に転送される。ここで、指示情報（音声）５１と、指示情報（テキスト）５３と、画像操作情報５５の紐付け作業が行われる。これがステップＳ２３０６である。また本ステップでは、医用画像５６と画像操作情報５５の合成作業も行われる。
【0084】
指示情報（音声）５１と、指示情報（テキスト）５３と、画像操作情報５５の紐付け作業は、指示・画像操作関係紐付け部６０において行われる。指示情報（音声）５１と画像操作情報５５には、それぞれ対応するグループＩＤが付与されている。指示情報（テキスト）５３は、指示情報（音声）５１に由来するため、指示情報（テキスト）５３に付与されているグループＩＤも画像操作情報５５と対応している。
ここで「紐付け作業」とは、例えば、対応するグループＩＤが付与されている指示情報（音声）５１と画像操作情報５５、あるいは指示情報（テキスト）５３と画像操作情報５５を単一のセットとして関連付けて保存することをいう。
ここで「紐付け作業」とは、例えば、対応するグループＩＤが付与されている指示情報（音声）５１と画像操作情報５５、あるいは指示情報（テキスト）５３と画像操作情報５５を単一のセットとして関連付けて保存することをいう。
【0085】
医用画像５６と画像操作情報５５の合成作業は、以下のように行われる。まず、入力手段７により医用画像５６が入力され、それを医用画像取得部５８が取得し、画像処理部５９に転送する。続いて、画像処理部５９に転送された医用画像５６と画像操作情報５５が合成され、画像操作が施された状態の医用画像５６を合成する。そして、画像処理部５９は、合成された医用画像５６を、モバイル端末１内の画像表示制御部１６と院内端末３内の画像表示制御部３６に転送する。
【0086】
ここで、本実施形態では、指示情報（音声）５１と画像操作情報５５、あるいは指示情報（テキスト）５３と画像操作情報５５を紐付けているが、医用画像５６と画像操作情報５５を合成しているため、結果的に、合成された医用画像５６と音声データが紐付いていることになる。
【0087】
また、本実施形態では、音声データにおける発話者の発話内容のみを取得しているが、雑音等を含む全ての音声データを取得した場合、その全ての音声データと合成された医用画像５６が紐付けられる構成をとることができる。
【0088】
また、本実施形態では、モバイル端末１内において画像操作情報５５のみを取得しているが、医用画像５６と画像操作情報５５が初めから合成されている状態の画像データとして取得されてもよい。
【0089】
また、本実施形態では、画像操作情報５５を静止画状態で取得しているが、動画状態で取得してもよい。すなわち、本実施形態では、アノテーションａが付加された結果の静止画として画像操作情報５５を取得しているが、アノテーションａの付加作業が行われている間の動画を取得してもよい。
【0090】
また、本実施形態では、医用画像５６は静止画であるが、動画であってもよい。動画の場合であっても、本実施形態と同様に医用動画像と画像操作情報５５を別々に取得した後に合成する方法でもよく、医用動画像と画像操作情報５５を初めから合成した状態で取得してもよい。
【0091】
また、本実施形態では、音声データの保存や画像操作情報５５の保存はモバイル端末１及び院内端末３で行い、指示情報（音声）５１と画像操作情報５５の紐付け作業はサーバー５内で行う構成となっているが、本発明はこのような構成に限定されない。例えば、指示情報（音声）５１と画像操作情報５５の紐付け作業までを全て端末内で行い、後に指示確認のために用いる最終データの保存のみをサーバー５内で行う構成となることも可能である。
また、本実施形態では、サーバー５を介してモバイル端末１と院内端末３が接続されているが、サーバー５を介さずに端末同士がインターネット回線等を通じて直接接続されるような構成でもよい。
また、本実施形態では、サーバー５を介してモバイル端末１と院内端末３が接続されているが、サーバー５を介さずに端末同士がインターネット回線等を通じて直接接続されるような構成でもよい。
【0092】
以上がサーバー５の動作フローである。
【0093】
また、以上説明したビューア処理、音声処理、サーバー処理により、専門医と院内の医師などが画像を見ながら話した内容が保存される。これにより、専門医が指示した医療処置に関する内容等を保存することができる。
【0094】
続いて、ビューア処理、音声処理、サーバー処理によって得られた情報を用いて、端末で医療指示を確認する方法に関して、図３の指示確認フローに沿って説明する。
なお、モバイル端末１と院内端末３のどちらを用いても指示確認を行うことができる。本実施形態では、院内端末３を用いて指示確認する場合を例に説明する。
なお、モバイル端末１と院内端末３のどちらを用いても指示確認を行うことができる。本実施形態では、院内端末３を用いて指示確認する場合を例に説明する。
【0095】
まず、ステップＳ３１０１として、指示確認フローを開始する。図示しない開始ボタン等を操作することで、指示確認を開始する。
【0096】
次に、ステップＳ３１０２として、指示確認を行いたい患者を選択する。リスト画面Ｌの例としては、図２Ｄ上側に示されるようなものが挙げられる。リスト画面Ｌｉにおける診断する患者の行Ｌａをタッチする、押すあるいはダブルクリックするなどして選択する。患者を選択すると、図２Ｄ下側のようなビューア画面Ｖが開く（ステップＳ３１０３）。
【0097】
続いて、指示情報の出力方法として、ユーザーが指示情報（テキスト）５３を含めることを選択しているかどうか判断する。ここがステップＳ３１０４である。ユーザーが指示情報（テキスト）５３の表示を含ませることを選択したと判断した場合（ステップＳ３１０４においてＹｅｓの場合）は、ステップＳ３１０５へ進み、指示情報（テキスト）５３の表示を含ませないことを選択したと判断した場合（ステップＳ３１０４においてＮｏの場合）は、ステップＳ３１０６へ進む。
【0098】
ステップＳ３１０５へ進んだ場合、テキスト表示バーションが選択され、指示情報（テキスト）５３と画像処理部５９によって合成された医用画像５６が表示される。この時、指示・画像操作関係紐付け部６０により紐付けられた指示情報（テキスト）５３と画像操作情報５５が連動して表示されるよう、指示・画像操作関係制御部３４が制御する。指示・画像操作関係制御部３４の制御に基づき、指示情報表示制御部３５が指示情報（テキスト）５３を院内端末３の表示・操作部３ａに表示し、画像表示制御部３６が合成された医用画像５６を院内端末３の表示・操作部３ａに表示する。
【0099】
ステップＳ３１０６へ進んだ場合、音声再生バーションが選択され、指示情報（音声）５１と画像処理部５９によって合成された画像が表示される。この時、指示・画像操作関係紐付け部６０により紐付けられた指示情報（音声）５１と画像操作情報５５が連動して表示されるよう、指示・画像操作関係制御部３４が制御する。指示・画像操作関係制御部３４の制御に基づき、指示情報表示制御部３５が指示情報（音声）５１を院内端末３の表示・操作部３ａに表示し、画像表示制御部３６が合成された医用画像５６を院内端末３の表示・操作部３ａに表示する。
【0100】
ここで、指示情報（テキスト）５３と画像操作情報５５、指示情報（音声）５１と画像操作情報５５が、それぞれ両方とも表示された方が、より正確に専門医の指示を確認することができる。しかし、本発明では、指示情報（テキスト）５３と画像操作情報５５、指示情報（音声）５１と画像操作情報５５が、それぞれ両方とも表示されなくてもよく、一方のみを表示してもよい。
【0101】
なお、テキスト表示バーションと音声再生バージョンの具体的な表示方法は、後述する実施例で説明する。
【実施例1】
【0102】
本実施例では、本発明を用いた製品例を実際に使用する際のフローに沿って、使用方法例を説明する。まず、モバイル端末１と院内端末３を用いて、音声入力や画像操作を行う際の操作フローを説明し、ついで、指示確認の方法例を説明する。音声入力や画像操作のフローは１つの例を説明し、指示確認については２つの実施例（実施例１、実施例２）を説明する。
【0103】
［音声入力・画像操作フロー］
本実施例では、モバイル端末１を帰宅中の専門医が使用し、院内端末３を病院内の当直医が使用している状況を想定する。
本実施例では、モバイル端末１を帰宅中の専門医が使用し、院内端末３を病院内の当直医が使用している状況を想定する。
【0104】
図４に、ユーザー（専門医と当直医）操作フローの時間経過を示す。左の表はユーザー（専門医）がモバイル端末１を使用する際の操作を表し、右の表はユーザー（専門医と当直医）の音声指示を表す。
【0105】
まず、１０：００：００（１０時００分００秒を表す）に、専門医が開始操作及び診断する患者の医用画像選択を行う。
なお、本実施例では、医用画像５６はＣＴ画像などの静止画とする。この時同時に、当直医も操作を開始し、専門医が選択した患者と同じ患者を選択する。もしくは、当直医は１０：００：００以前に開始操作を行っており、専門医が使用するモバイル端末１と画面共有し、モバイル端末１の画面が当直医に共有されている状態となっていることも可能である。本実施例では、画面共有している状態を想定する。
なお、本実施例では、医用画像５６はＣＴ画像などの静止画とする。この時同時に、当直医も操作を開始し、専門医が選択した患者と同じ患者を選択する。もしくは、当直医は１０：００：００以前に開始操作を行っており、専門医が使用するモバイル端末１と画面共有し、モバイル端末１の画面が当直医に共有されている状態となっていることも可能である。本実施例では、画面共有している状態を想定する。
【0106】
続いて、１０：００：１０に、専門医は医用画像５６の注目する部分を拡大し、適切に観察できるように階調の調整を行う。
また、この時点において、医用画像５６の拡大処理等を行ってもよい。
また、この時点において、医用画像５６の拡大処理等を行ってもよい。
【0107】
続いて、１０：００：１５に、専門医は円アノテーションボタンＢ９をクリックする。特定の画像操作、ここではアノテーションａの付加操作を行った場合に、１回目の操作であるためグループＩＤ＝１が付与される。この時点でそれまでに階調処理や拡大表示等の画像操作を行った場合は、その画像操作に対しても同じグループＩＤ＝１が付与される。ここでモバイル端末１は画像操作の情報をサーバー５へ転送し、その情報は院内端末３に転送され、当直医が院内端末３に表示された画像操作内容を確認する。
また、１０：００：１５以前に階調処理等を行っていた場合、それらの画像操作についても同じグループＩＤが付与される。例えば、１０：００：１２に階調処理と拡大処理が行われた場合、その画像操作（階調処理と拡大処理）と、１０：００：１５に行われた円アノテーションボタンＢ９のクリックの全ての画像操作にグループＩＤ＝１が付与される。これはすなわち、全ての画像操作が行われた状態の医用画像５６が保存されるということになる。
また、１０：００：１５以前に階調処理等を行っていた場合、それらの画像操作についても同じグループＩＤが付与される。例えば、１０：００：１２に階調処理と拡大処理が行われた場合、その画像操作（階調処理と拡大処理）と、１０：００：１５に行われた円アノテーションボタンＢ９のクリックの全ての画像操作にグループＩＤ＝１が付与される。これはすなわち、全ての画像操作が行われた状態の医用画像５６が保存されるということになる。
【0108】
続いて、１０：００：２０に、専門医は、医用画像５６の所望の部分（病変部位Ｌｅ１）を囲むように円形のアノテーションａを描写する。この操作は、１０：００：１５にグループＩＤ＝１が付与された前回の画像操作から１０秒経過する前であるため、グループＩＤを更新せずに、グループＩＤ＝１を付与する。ここでも前回グループＩＤ＝１が付与されたときと同様に画像操作情報５５はサーバー５、院内端末３へと転送され、当直医が表示された画像操作内容を確認する。以降グループＩＤの付与のたびに同様の処理がおこわなれるが以降説明は省略する。
【0109】
続いて、１０：００：２１に、専門医が発話を開始したことに基づいて音声認識が開始される。専門医の発話内容はモバイル端末１が取得し、サーバー５へ転送し、当直医の発話内容は院内端末３が取得し、サーバー５へ転送する。
【0110】
続いて、１０：００：２２に、専門医が矢印アノテーションボタンＢ９をクリックする。１０：００：２０の画像操作から１０秒以下であるため、グループＩＤを更新せずに、グループＩＤ＝１を付与する。
【0111】
続いて、１０：００：２５に、専門医が病変部位Ｌｅ１を矢印のアノテーションａで指し示す。１０：００：２２の矢印アノテーションボタンＢ９のクリックから１０秒経過する前であるため、グループＩＤを更新せずに、グループＩＤ＝１を付与する。
【0112】
そして、１０：００：２５の矢印操作から１０秒経過した１０：００：３５になると、ここまでの画像操作のグループを１つと判断し、グループＩＤ（＝１）を保存する。すなわち、次に画像操作が行われた際には、グループＩＤを更新する。
【0113】
また、１０：００：３５に画像操作のグループが１つと判断されたと同時に、音声データも１つと判断して保存する。
なお、音声の区切りの判断基準を定めることは難しい場合もあるため、画像操作のグループＩＤが更新された時を基準とし、音声のグループＩＤも同時に更新される構成となっていることが望ましい。ただし、音声データの特徴等を用いることにより、画像操作とは独立して音声データのグループＩＤを更新することも可能である。
さらに、この時点で、画像操作情報５５と音声データを、グループＩＤ（＝１）によって紐付ける。すなわち、グループＩＤ＝１が付与された全ての画像操作情報５５と、グループＩＤ＝１が付与された音声データが紐付けられる。
なお、音声の区切りの判断基準を定めることは難しい場合もあるため、画像操作のグループＩＤが更新された時を基準とし、音声のグループＩＤも同時に更新される構成となっていることが望ましい。ただし、音声データの特徴等を用いることにより、画像操作とは独立して音声データのグループＩＤを更新することも可能である。
さらに、この時点で、画像操作情報５５と音声データを、グループＩＤ（＝１）によって紐付ける。すなわち、グループＩＤ＝１が付与された全ての画像操作情報５５と、グループＩＤ＝１が付与された音声データが紐付けられる。
【0114】
また、本実施例では、アノテーションａの付加を起点としているが、例えば、ユーザーの抽出操作を起点として、その抽出操作が行われた時点より前の、同一グループＩＤが付与された全ての画像操作情報５５と、それらの画像操作が行われた時間に取得された音声データを紐付けること構成となっていてもよい。
なお、前述したユーザーの抽出操作は特に限定なくいかなる操作でもよく、例えば、スナップショットボタンＢ１１の押下などが挙げられる。
なお、前述したユーザーの抽出操作は特に限定なくいかなる操作でもよく、例えば、スナップショットボタンＢ１１の押下などが挙げられる。
【0115】
なお、本実施例では、発話されたと同時に音声認識を開始しているが、開始のタイミングは特に限定されない。例えば、アノテーションａの付加等の画像操作が行われたタイミングで同時に音声認識が開始されてもよい。
【0116】
また、本実施例では、画像操作情報５５と音声データとの間で、連動してグループＩＤを更新しているが、前述したように、独立してグループＩＤを更新してもよい。その場合、例えば、同一グループＩＤが付与されている音声データと画像操作情報５５であっても、時間が大きくずれている場合も考えらえる。そのような場合であっても、グループＩＤを一致させることによって、音声データと画像操作情報５５を紐付けることができる。すなわち、グループＩＤは、音声データと画像操作情報５５の間に関連性を持たせるために付与されるである。「時間」以外の関連性は、例えば、アノテーションａの種類と発せられた特定語句の組み合わせなどが挙げられ、事前にユーザーが決めておくこともできる。
【0117】
続いて、１０：００：４０に、当直医が発話を開始したことに基づいて音声認識が開始される。当直医の発話内容は院内端末３が取得し、サーバー５へ転送する。
また、この発話内容には、グループＩＤ＝２が付与される。
また、この発話内容には、グループＩＤ＝２が付与される。
【0118】
続いて、１０：００：４５に、専門医が円アノテーションボタンＢ９をクリックする。前回の画像操作は１０：００：２５であり、１０秒以上経過しているため、新たにグループＩＤ＝２を付与し、保存する。
【0119】
続いて、１０：００：４７に、専門医は、医用画像５６の所望の部分（病変部位Ｌｅ２）を囲むように円形のアノテーションａを描写する。この操作にも、グループＩＤ＝２が付与される。
【0120】
１０：００：４７以降の操作は図４に示されていないが、１０：００：００～１０：００：３５までの流れと同様に、グループＩＤによる画像操作情報５５と音声データの紐付けが行われる。
本実施例では、アノテーションａの付加を行った場合にグループＩＤの更新判定が行われているが、システムが自動で判定する方法以外に、ユーザーが一連の関連する説明が完了し、次の関連する説明に移行する手前のタイミングで明示的にスナップショットボタンＢ１１を押下しグループＩＤを更新する方法もある。
本実施例では、アノテーションａの付加を行った場合にグループＩＤの更新判定が行われているが、システムが自動で判定する方法以外に、ユーザーが一連の関連する説明が完了し、次の関連する説明に移行する手前のタイミングで明示的にスナップショットボタンＢ１１を押下しグループＩＤを更新する方法もある。
【0121】
以上のように、音声入力や画像操作の保存、音声データと画像操作情報５５の紐付けが行われる。
【0122】
［指示確認操作フロー］
続いて、指示確認操作のフローを説明する。指示確認のための表示方法として、実施例１と実施例２の、２つの例を説明する。
続いて、指示確認操作のフローを説明する。指示確認のための表示方法として、実施例１と実施例２の、２つの例を説明する。
【0123】
［実施例１］
実施例１では、テキスト表示バージョンを説明する。テキスト表示バージョンは、音声データをテキスト化して得られた指示情報（テキスト）５３と、医用画像５６と画像操作情報５５を合成して得られた合成画像（本発明に係る操作情報合成画像データもしくは操作情報合成動画データに該当する）を表示し、指示情報（テキスト）５３と画像操作情報５５を連動して強調表示する。
実施例１では、テキスト表示バージョンを説明する。テキスト表示バージョンは、音声データをテキスト化して得られた指示情報（テキスト）５３と、医用画像５６と画像操作情報５５を合成して得られた合成画像（本発明に係る操作情報合成画像データもしくは操作情報合成動画データに該当する）を表示し、指示情報（テキスト）５３と画像操作情報５５を連動して強調表示する。
【0124】
図５Ａに、テキスト表示バージョンの画面表示例を示す。指示情報（テキスト）５３と合成画像が表示されているのは、院内端末３の表示・操作部３ａである。
【0125】
図５Ａに示される例では、ビューア画面Ｖ上部に患者情報や各種ボタン群（画面切り替えボタンＢ３、アノテーションボタンＢ９やスナップショットボタンＢ１１を含む各種操作ボタンＢ４～Ｂ１１、終了ボタンＢ１２）、サムネイル等が表示され、画面右半分にある画像表示エリアＶａにおいてアノテーションａが付加された医用画像５６が表示され、中央左寄りに音声データタイムラインＴｖが縦のラインとして表示され、音声データタイムラインＴｖの左側にある指示情報表示エリアＶｂにおいて指示情報（テキスト）５３が表示され、画面下部に画像データタイムラインＴｉが表示されている。
下記で詳述するが、本発明に係る「重要度が高い時間領域における時系列音声データ」は、図５ＡにおけるＢ１やＢ２（図５ＢにおけるＢ１やＢ２）に該当し、本発明に係る「重要度が高い時間領域における操作情報合成データもしくは操作情報合成動画データ」は、図５ＡにおけるＣ１やＣ２（図５ＢにおけるＣ１やＣ２）に該当する。
下記で詳述するが、本発明に係る「重要度が高い時間領域における時系列音声データ」は、図５ＡにおけるＢ１やＢ２（図５ＢにおけるＢ１やＢ２）に該当し、本発明に係る「重要度が高い時間領域における操作情報合成データもしくは操作情報合成動画データ」は、図５ＡにおけるＣ１やＣ２（図５ＢにおけるＣ１やＣ２）に該当する。
【0126】
なお、本発明に係る「重要度が高い時間領域における時系列音声データ」は、図５ＡにおけるＢ１やＢ２に限らず、時系列音声データ中のいかなる領域であってもよい。さらに、ユーザーが、重要度が高い時間領域を後から指定することや、修正することが可能であってもよい。
また、本発明に係る「重要度が高い時間領域における操作情報合成データもしくは操作情報合成動画データ」に関しても時系列音声データの場合と同様である。
また、本発明に係る「重要度が高い時間領域における操作情報合成データもしくは操作情報合成動画データ」に関しても時系列音声データの場合と同様である。
【0127】
実施例１では、画像操作としてアノテーションａの付加が２回（別のグループＩＤが付与されている）行われた場合を想定しており、指示確認の際には、最終的な状態の画像、すなわちアノテーションａが２つ付加された状態の画像が表示されている。
【0128】
医用画像５６には、アノテーションａが２つ付加されており、それぞれにＡ１、Ａ２という番号が付与されている。これらＡ１、Ａ２は、本発明に係る「重要度が高い時間領域における画像データ」に該当する。
また、画像データタイムラインＴｉには、Ｃ１、Ｃ２という番号が付与されている。Ｃ１、Ｃ２はそれぞれＡ１、Ａ２に対応している。画像データタイムラインＴｉは、画像操作が行われた際の時間的縮尺を表しており（左から右に、開始から終了までの時間を表す）、時系列的にはＣ１→Ｃ２の順、すなわちＡ１→Ａ２という順にアノテーションａの付加が行われたことを意味する。
また、画像データタイムラインＴｉには、Ｃ１、Ｃ２という番号が付与されている。Ｃ１、Ｃ２はそれぞれＡ１、Ａ２に対応している。画像データタイムラインＴｉは、画像操作が行われた際の時間的縮尺を表しており（左から右に、開始から終了までの時間を表す）、時系列的にはＣ１→Ｃ２の順、すなわちＡ１→Ａ２という順にアノテーションａの付加が行われたことを意味する。
【0129】
音声データタイムラインＴｖには、Ｂ１、Ｂ２という番号が付与されている。Ｂ１、Ｂ２も前述と同様にＡ１、Ａ２に対応している。
また、指示情報（テキスト）５３に関しては、テキストが長く、全ての指示情報（テキスト）５３を同一画面内に表示できない場合は、一部の指示情報（テキスト）５３を表示し、表示している部分の前後の指示情報（テキスト）５３は上下にスクロールして表示できるようにしている。
また、指示情報（テキスト）５３に関しては、テキストが長く、全ての指示情報（テキスト）５３を同一画面内に表示できない場合は、一部の指示情報（テキスト）５３を表示し、表示している部分の前後の指示情報（テキスト）５３は上下にスクロールして表示できるようにしている。
【0130】
ここで、例えば、画像データタイムラインＴｉにおける重要度が高い時間領域であるＣ１の部分をタッチした場合、Ｃ１が明るく強調表示されるとともに、Ｃ２が暗く目立たないように表示される。Ａ１とＡ２、Ｂ１とＢ２に関しても同様に表示される。さらに、指示情報表示エリアＶｂにおけるＢ１に該当する部分のテキストも明るく強調表示される。これにより、番号Ａ１のアノテーションａを付加した時、専門医の指示内容をすぐに把握することができるため、専門医がどのような医療処置に関する指示を出したかを正確に把握しやすくなる。
【0131】
また、前述ではＣ１をタッチしているが、Ａ１、Ｂ１をタッチしても同様の表示状態になる。すなわち、音声データ、画像データのどちらをタッチした場合でも、両者が連動して強調表示される。
【0132】
また、本実施例では、音声データタイムラインＴｖと画像データタイムラインＴｉが両方とも画面に表示されているが、どちらか一方のみが表示されてもよく、両方とも表示されていても、ユーザーの操作によってどちらか一方のみ非表示にしてもよい。
さらに、本実施例では、音声データと画像データが表示画面（表示・操作部１ａ，３ａ）に表示される形態で出力されているが、必ずしも表示される形態でなくてもよい。例えば、実施例２で後述するように、音声が再生される形態で出力される方法などが挙げられる。
さらに、本実施例では、音声データと画像データが表示画面（表示・操作部１ａ，３ａ）に表示される形態で出力されているが、必ずしも表示される形態でなくてもよい。例えば、実施例２で後述するように、音声が再生される形態で出力される方法などが挙げられる。
【0133】
また、本実施例では、医用画像５６と、医用画像５６に付加されたアノテーションａが合成された状態（最終状態）で表示されているが、付加されたアノテーションａを非表示にしてもよい。その場合、例えば、Ｂ１もしくはＣ１がタッチされた際に、非表示だったＡ１に対応するアノテーションａが表示されるようにしてもよい。
【0134】
また、例えば、画像データタイムラインＴｉもしくは音声データタイムラインＴｖ中の任意の領域をタッチした場合、音声データタイムラインＴｖも連動し、それによってタッチした時間における指示情報（テキスト）５３が表示され、さらにタッチした時間における画像操作情報５５を反映した画像が表示されるようにしてもよい。
【0135】
また、本実施例では、音声データにおける重要度が高い時間領域をＢ１とＢ２、すなわち、発話者が発話している時間としているが、重要度が高い時間領域はこれに限定されない。例えば、発話者が発話している時間全てではなく、発話者が予め指定された重要語句を発した時間や、特定の発話者（専門医など）が発話した時間を、重要度が高い時間と設定してもよい。
予め指定された重要語句を抽出する方法としては、音声データをテキスト化した後に、テキストから重要語句を自動抽出する方法などが考えられるが、特に方法は限定されない。
また、重要語句は医療指示に関する語句であることが望ましく、例えば、肺、脳、ＭＲＩ、などが挙げられる。さらに、重要語句は専門医ごとに異なる語句を指定することができる。
予め指定された重要語句を抽出する方法としては、音声データをテキスト化した後に、テキストから重要語句を自動抽出する方法などが考えられるが、特に方法は限定されない。
また、重要語句は医療指示に関する語句であることが望ましく、例えば、肺、脳、ＭＲＩ、などが挙げられる。さらに、重要語句は専門医ごとに異なる語句を指定することができる。
【0136】
また、図６に示されるように、指示情報（テキスト）５３を確認した場合に、確認した箇所をチェックできるようにしてもよい。例えば、当直医が指示確認を行っている際、指示情報（テキスト）５３が長い場合などは一度確認した内容を再度見返すことは二度手間になる。そこで、図６のように、一度見た指示情報（テキスト）５３にチェックマークＣを付すことで、効率よく指示確認を行うことができる。
【0137】
［実施例２］
実施例２では、音声再生バージョンを説明する。音声再生バージョンは、音声データをテキスト化して得られた指示情報（テキスト）５３は表示せず、音声データと、医用画像５６と画像操作情報５５を合成して得られた合成画像を表示し、音声データと画像操作情報５５を連動して強調表示する。
実施例２では、音声再生バージョンを説明する。音声再生バージョンは、音声データをテキスト化して得られた指示情報（テキスト）５３は表示せず、音声データと、医用画像５６と画像操作情報５５を合成して得られた合成画像を表示し、音声データと画像操作情報５５を連動して強調表示する。
【0138】
図５Ｂに、音声再生バージョンの画面表示例を示す。音声データと合成画像が表示されているのは、院内端末３の表示画面である。
【0139】
図５Ｂに示される例では、図５Ａと同様に、ビューア画面Ｖ上部に患者情報や各種ボタン群（画面切り替えボタンＢ３、アノテーションボタンＢ９やスナップショットボタンＢ１１を含む各種操作ボタンＢ４～Ｂ１１、終了ボタンＢ１２）、サムネイル等が表示され、画面の大部分を占める画像表示エリアＶａにアノテーションａが付加された医用画像５６が表示され、画面左側に音声データタイムラインＴｖが縦のラインとして表示され、画面下部に画像データタイムラインＴｉが表示されている。さらに、画面下部に再生ボタンＢ１７を含む各種音声ボタンＢ１３～１９が表示され、音声データを再生することができる。
【0140】
実施例２でも実施例１と同様に、画像操作としてアノテーションａの付加が２回（別のグループＩＤが付与されている）行われた場合を想定しているが、図５Ｂでは付加されたアノテーションａは非表示にしている。
【0141】
【0142】
実施例２における実施例１との違いとしては、指示情報（テキスト）５３が表示されない代わりに、音声が再生される点である。例えば、画像データタイムラインＴｉにおけるＣ１の部分をタッチすると、音声データタイムラインＴｖも連動してＢ１の部分が選択され、再生ボタンＢ１７を押すとＢ１の領域における音声データが再生される。同時に、Ｃ１における画像データも反映され、Ｃ１に対応するアノテーションａが医用画像５６上に表示される。それにより、実施例１と同様に、専門医の医療指示を正確に把握しやすくなる。
【0143】
また、本実施例２でも実施例１と同様に、音声データタイムラインＴｖと画像データタイムラインＴｉが両方とも画面に表示されているが、どちらか一方のみが表示されてもよく、両方とも表示されていても、ユーザーの操作によってどちらか一方のみ非表示にしてもよい。
【0144】
その他の点に関しても、実施例２は実施例１と同じ態様であってよい。
【0145】
また、上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてＨＤＤを使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、半導体の不揮発性メモリ、ＣＤ－ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も適用される。
【符号の説明】
【0146】
１：モバイル端末
１ａ：表示・操作部
１１：音声入力部
１２：音声情報転送部
１３：画像操作記憶部
１４：指示・画像操作関係制御部
１５：指示情報表示制御部
１６：画像表示制御部
３：院内端末
３ａ：表示・操作部
３１：音声入力部
３２：音声情報転送部
３４：指示・画像操作関係制御部
３５：指示情報表示制御部
３６：画像表示制御部
５：サーバー
５１：指示情報（音声）
５２：音声認識部
５３：指示情報（テキスト）
５４：指示情報取得部
５５：画像操作情報
５６：医用画像
５７：画像操作情報取得部
５８：医用画像取得部
５９：画像処理部
６０：指示・画像操作関係紐付け部
１ａ：表示・操作部
１１：音声入力部
１２：音声情報転送部
１３：画像操作記憶部
１４：指示・画像操作関係制御部
１５：指示情報表示制御部
１６：画像表示制御部
３：院内端末
３ａ：表示・操作部
３１：音声入力部
３２：音声情報転送部
３４：指示・画像操作関係制御部
３５：指示情報表示制御部
３６：画像表示制御部
５：サーバー
５１：指示情報（音声）
５２：音声認識部
５３：指示情報（テキスト）
５４：指示情報取得部
５５：画像操作情報
５６：医用画像
５７：画像操作情報取得部
５８：医用画像取得部
５９：画像処理部
６０：指示・画像操作関係紐付け部
【図1A】
【図1B】
【図2A】
【図2B】
【図2C】
【図2D】
【図3】
【図4】
【図5A】
【図5B】
【図6】