知財求人 - 知財ポータルサイト「IP Force」
特開2024-2454医療技能訓練装置、医療技能訓練方法、及び医療技能訓練プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024002454
(43)【公開日】2024-01-11
(54)【発明の名称】医療技能訓練装置、医療技能訓練方法、及び医療技能訓練プログラム
(51)【国際特許分類】
G09B 9/00 20060101AFI20231228BHJP
G16H 10/00 20180101ALI20231228BHJP
G06Q 50/20 20120101ALI20231228BHJP
G06F 3/16 20060101ALI20231228BHJP
【ＦＩ】
G09B9/00 Z
G16H10/00
G06Q50/20
G06F3/16 650
G06F3/16 620
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022101634
(22)【出願日】2022-06-24
(71)【出願人】
【識別番号】397002924
【氏名又は名称】株式会社コミュニケーション・プランニング
(74)【代理人】
【識別番号】100097113
【弁理士】
【氏名又は名称】堀 城之
(74)【代理人】
【識別番号】100162363
【弁理士】
【氏名又は名称】前島 幸彦
(74)【代理人】
【識別番号】100194283
【弁理士】
【氏名又は名称】村上 大勇
(72)【発明者】
【氏名】高見 昌和
(72)【発明者】
【氏名】三藤 夏樹
(72)【発明者】
【氏名】荻野 皓太
【テーマコード（参考）】
5L049
5L099
【Ｆターム（参考）】
5L049CC34
5L099AA00
(57)【要約】
【課題】対応者の技能を効率的に訓練させる医療技能訓練装置を提供する。
【解決手段】
医療技能訓練装置１は、患者へ対応する対応者の技能を訓練するための医療技能訓練を行う装置である。応答ＤＢ２００は、問診項目毎の応答データ２１０－１～応答データ２１０－ｎが格納されている。項目選択部１００は、問診項目の選択結果を取得して、応答ＤＢ２００に格納された選択結果に対応する問診項目の応答データ２１０を選択する。音声認識部１１０は、対応者の音声信号を取得し、音声認識して認識データ２２０を出力する。応答生成部１２０は、音声認識部１１０により音声認識された認識データ２２０に基づいて、項目選択部１００により取得された応答データ２１０に基づいた患者の応答を生成する。応答出力部１３０は、応答生成部１２０により生成された患者の応答を出力する。
【選択図】図２
【解決手段】
医療技能訓練装置１は、患者へ対応する対応者の技能を訓練するための医療技能訓練を行う装置である。応答ＤＢ２００は、問診項目毎の応答データ２１０－１～応答データ２１０－ｎが格納されている。項目選択部１００は、問診項目の選択結果を取得して、応答ＤＢ２００に格納された選択結果に対応する問診項目の応答データ２１０を選択する。音声認識部１１０は、対応者の音声信号を取得し、音声認識して認識データ２２０を出力する。応答生成部１２０は、音声認識部１１０により音声認識された認識データ２２０に基づいて、項目選択部１００により取得された応答データ２１０に基づいた患者の応答を生成する。応答出力部１３０は、応答生成部１２０により生成された患者の応答を出力する。
【選択図】図２
【特許請求の範囲】
【請求項1】
患者へ対応する対応者の技能を訓練するための医療技能訓練装置であって、
問診項目毎の応答データが格納された応答データベースと、
前記問診項目の選択結果を取得して、前記応答データベースに格納された前記選択結果に対応する前記問診項目の前記応答データを選択する項目選択部と、
前記対応者の音声信号を取得し、音声認識して認識データを出力する音声認識部と、
前記音声認識部により音声認識された認識データに基づいて、前記項目選択部により取得された前記応答データに基づいた前記患者の応答を生成する応答生成部と、
前記応答生成部により生成された前記患者の応答を出力する応答出力部とを備える
ことを特徴とする医療技能訓練装置。
問診項目毎の応答データが格納された応答データベースと、
前記問診項目の選択結果を取得して、前記応答データベースに格納された前記選択結果に対応する前記問診項目の前記応答データを選択する項目選択部と、
前記対応者の音声信号を取得し、音声認識して認識データを出力する音声認識部と、
前記音声認識部により音声認識された認識データに基づいて、前記項目選択部により取得された前記応答データに基づいた前記患者の応答を生成する応答生成部と、
前記応答生成部により生成された前記患者の応答を出力する応答出力部とを備える
ことを特徴とする医療技能訓練装置。
【請求項2】
前記応答データは、前記問診項目に応じたキーワードが設定され、
前記応答生成部は、前記認識データから前記キーワードを抽出し、抽出された前記キーワードに応じた前記患者の応答を生成する
ことを特徴とする請求項１に記載の医療技能訓練装置。
前記応答生成部は、前記認識データから前記キーワードを抽出し、抽出された前記キーワードに応じた前記患者の応答を生成する
ことを特徴とする請求項１に記載の医療技能訓練装置。
【請求項3】
前記応答データは、前記患者の望ましくない応答を生じる前記キーワードであるＮＧワードが設定される
ことを特徴とする請求項２に記載の医療技能訓練装置。
ことを特徴とする請求項２に記載の医療技能訓練装置。
【請求項4】
前記キーワードを設定するのが難しい前記問診項目の前記応答データの場合、どのような前記認識データでも前記患者が応答するフリーワードが設定される
ことを特徴とする請求項２に記載の医療技能訓練装置。
ことを特徴とする請求項２に記載の医療技能訓練装置。
【請求項5】
前記患者への前記対応者の対応を、前記認識データから抽出された前記キーワードに基づいて評価する評価部を更に備える
ことを特徴とする請求項２乃至４のいずれか１項に記載の医療技能訓練装置。
ことを特徴とする請求項２乃至４のいずれか１項に記載の医療技能訓練装置。
【請求項6】
前記評価部は、
訓練後に、前記音声認識の結果及び前記評価を表示して、前記患者への対応が適切であるか否かを示す
ことを特徴とする請求項５に記載の医療技能訓練装置。
訓練後に、前記音声認識の結果及び前記評価を表示して、前記患者への対応が適切であるか否かを示す
ことを特徴とする請求項５に記載の医療技能訓練装置。
【請求項7】
患者へ対応する対応者の技能を訓練するための医療技能訓練装置により実行される医療技能訓練方法であって、
問診項目毎の応答データを格納し、
前記問診項目の選択結果を取得して、前記選択結果に対応する前記問診項目の前記応答データを選択し、
前記対応者の音声信号を取得し、音声認識して認識データを出力し、
音声認識された認識データに基づいて、取得された前記応答データに基づいた前記患者の応答を生成し、
生成された前記患者の応答を出力する
ことを特徴とする医療技能訓練方法。
問診項目毎の応答データを格納し、
前記問診項目の選択結果を取得して、前記選択結果に対応する前記問診項目の前記応答データを選択し、
前記対応者の音声信号を取得し、音声認識して認識データを出力し、
音声認識された認識データに基づいて、取得された前記応答データに基づいた前記患者の応答を生成し、
生成された前記患者の応答を出力する
ことを特徴とする医療技能訓練方法。
【請求項8】
患者へ対応する対応者の技能を訓練するための医療技能訓練装置により実行される医療技能訓練プログラムであって、前記医療技能訓練装置を、
問診項目毎の応答データを格納させ、
前記問診項目の選択結果を取得して、前記選択結果に対応する前記問診項目の前記応答データを選択させ、
前記対応者の音声信号を取得し、音声認識して認識データを出力させ、
音声認識された認識データに基づいて、取得された前記応答データに基づいた前記患者の応答を生成させ、
生成された前記患者の応答を出力させる
ことを特徴とする医療技能訓練プログラム。
問診項目毎の応答データを格納させ、
前記問診項目の選択結果を取得して、前記選択結果に対応する前記問診項目の前記応答データを選択させ、
前記対応者の音声信号を取得し、音声認識して認識データを出力させ、
音声認識された認識データに基づいて、取得された前記応答データに基づいた前記患者の応答を生成させ、
生成された前記患者の応答を出力させる
ことを特徴とする医療技能訓練プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、特に看護師、介護士、検査士、及び医師等の医療関係者等の対応者向けに医療技能訓練を行うための医療技能訓練装置、医療技能訓練方法、及び医療技能訓練プログラムに関する。
【背景技術】
【0002】
従来から、医療関係者等の対応者向けの医療技能訓練方法が存在する。
たとえば、従来の医療技能訓練方法として、特許文献１を参照すると、ユーザーが医師の役割を演じる医療シミュレーション内で医療シナリオをユーザーに提示することを含む医療訓練方法を実行する技術が記載されている。この医療シナリオは、ユーザーと患者との間の相互交流を含む。ユーザーに対応するパフォーマンス・データが識別される。識別されたパフォーマンス・データは、ユーザーと患者との間の相互交流中におけるユーザーの行為に少なくとも部分的に基づく。ユーザーは、ユーザー０が医療シミュレーション内の訓練目標を達成したかどうかを判断するため、識別されたパフォーマンス・データに少なくとも部分的に基づいて評価される。訓練目標は、ユーザーの医療技能を改善することを目的とする。
たとえば、従来の医療技能訓練方法として、特許文献１を参照すると、ユーザーが医師の役割を演じる医療シミュレーション内で医療シナリオをユーザーに提示することを含む医療訓練方法を実行する技術が記載されている。この医療シナリオは、ユーザーと患者との間の相互交流を含む。ユーザーに対応するパフォーマンス・データが識別される。識別されたパフォーマンス・データは、ユーザーと患者との間の相互交流中におけるユーザーの行為に少なくとも部分的に基づく。ユーザーは、ユーザー０が医療シミュレーション内の訓練目標を達成したかどうかを判断するため、識別されたパフォーマンス・データに少なくとも部分的に基づいて評価される。訓練目標は、ユーザーの医療技能を改善することを目的とする。
【0003】
特許文献１の段落［００５０］には、「例えば、医療分野特定の音声認識が使用される場合、ユーザーは、多数の医療のトピックに関してコンピュータ制御の患者と会話することができる。しかし、ユーザーが、野球に関してコンピュータ制御の患者と話そうと試みた場合、システムがそれを理解しないことがある。ユーザーが野球について話そうと試みた場合、コンピュータ制御の患者は、怒ったり、発言を繰り返すよう医師に求めたり、又は来院した理由に話を戻すように医師を導いたりすることによって、これを修正してもよい。」との記載がある。
【0004】
さらに、特許文献１の段落［００５１］には、「代替実施例では、医療シナリオの参加者間で生じるダイアログは、台本通り又は予め準備されたものであるとともに、ダイアログ・ツリーの形態であることができる。事前選択されたダイアログを使用することで、参加者の医学知識にかかわらず、症状の説明及び質問に対する応答が適切であることを確保することができる。」との記載がある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特表２００９－５４３６１１号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１の段落［００５０］に記載の技術のように、制限のない自然音声言語処理による自由入力方式を用いようとすると、訓練の意図に沿わない声掛けの音声を取得することが多くなり、訓練の評価に必要な応答を生成できない可能性があった。このため、患者のアバター（分身）が不自然な応答を行うだけになってしまっていた。
一方、特許文献１の段落［００５１］に記載の技術のように、単にダイアログ・ツリー（選択入力方式）にすると、ユーザー（訓練の対応者）は選択肢を選択させるだけとなり、患者に対する音声入力（声掛け）の内容自体を訓練することは困難であった。
このため、特許文献１の技術では、実際の患者に対応する対応者の技能を効率的に訓練させるのは難しかった。
一方、特許文献１の段落［００５１］に記載の技術のように、単にダイアログ・ツリー（選択入力方式）にすると、ユーザー（訓練の対応者）は選択肢を選択させるだけとなり、患者に対する音声入力（声掛け）の内容自体を訓練することは困難であった。
このため、特許文献１の技術では、実際の患者に対応する対応者の技能を効率的に訓練させるのは難しかった。
【0007】
本発明は、このような状況に鑑みてなされたものであり、上述の問題を解消することを目的とする。
【課題を解決するための手段】
【0008】
本発明の医療技能訓練装置は、患者へ対応する対応者の技能を訓練するための医療技能訓練装置であって、問診項目毎の応答データが格納された応答データベースと、前記問診項目の選択結果を取得して、前記応答データベースに格納された前記選択結果に対応する前記問診項目の前記応答データを選択する項目選択部と、前記対応者の音声信号を取得し、音声認識して認識データを出力する音声認識部と、前記音声認識部により音声認識された認識データに基づいて、前記項目選択部により取得された前記応答データに基づいた前記患者の応答を生成する応答生成部と、前記応答生成部により生成された前記患者の応答を出力する応答出力部とを備えることを特徴とする。
本発明の医療技能訓練装置は、前記応答データは、前記問診項目に応じたキーワードが設定され、前記応答生成部は、前記認識データから前記キーワードを抽出し、抽出された前記キーワードに応じた前記患者の応答を生成することを特徴とする。
本発明の医療技能訓練装置は、前記応答データは、前記患者の望ましくない応答を生じる前記キーワードであるＮＧワードが設定されることを特徴とする。
本発明の医療技能訓練装置は、前記キーワードを設定するのが難しい前記問診項目の前記応答データの場合、どのような前記認識データでも前記患者が応答するフリーワードが設定されることを特徴とする。
本発明の医療技能訓練装置は、前記患者への前記対応者の対応を、前記認識データから抽出された前記キーワードに基づいて評価する評価部を更に備えることを特徴とする。
本発明の医療技能訓練装置は、前記評価部は、訓練後に、前記音声認識の結果及び前記評価を表示して、前記患者への対応が適切であるか否かを示すことを特徴とする。
本発明の医療技能訓練方法は、患者へ対応する対応者の技能を訓練するための医療技能訓練装置により実行される医療技能訓練方法であって、問診項目毎の応答データを格納し、前記問診項目の選択結果を取得して、前記選択結果に対応する前記問診項目の前記応答データを選択し、前記対応者の音声信号を取得し、音声認識して認識データを出力し、音声認識された認識データに基づいて、取得された前記応答データに基づいた前記患者の応答を生成し、生成された前記患者の応答を出力することを特徴とする。
本発明の医療技能訓練プログラムは、患者へ対応する対応者の技能を訓練するための医療技能訓練装置により実行される医療技能訓練プログラムであって、前記医療技能訓練装置を、問診項目毎の応答データを格納させ、前記問診項目の選択結果を取得して、前記選択結果に対応する前記問診項目の前記応答データを選択させ、前記対応者の音声信号を取得し、音声認識して認識データを出力させ、音声認識された認識データに基づいて、取得された前記応答データに基づいた前記患者の応答を生成させ、生成された前記患者の応答を出力させることを特徴とする。
本発明の医療技能訓練装置は、前記応答データは、前記問診項目に応じたキーワードが設定され、前記応答生成部は、前記認識データから前記キーワードを抽出し、抽出された前記キーワードに応じた前記患者の応答を生成することを特徴とする。
本発明の医療技能訓練装置は、前記応答データは、前記患者の望ましくない応答を生じる前記キーワードであるＮＧワードが設定されることを特徴とする。
本発明の医療技能訓練装置は、前記キーワードを設定するのが難しい前記問診項目の前記応答データの場合、どのような前記認識データでも前記患者が応答するフリーワードが設定されることを特徴とする。
本発明の医療技能訓練装置は、前記患者への前記対応者の対応を、前記認識データから抽出された前記キーワードに基づいて評価する評価部を更に備えることを特徴とする。
本発明の医療技能訓練装置は、前記評価部は、訓練後に、前記音声認識の結果及び前記評価を表示して、前記患者への対応が適切であるか否かを示すことを特徴とする。
本発明の医療技能訓練方法は、患者へ対応する対応者の技能を訓練するための医療技能訓練装置により実行される医療技能訓練方法であって、問診項目毎の応答データを格納し、前記問診項目の選択結果を取得して、前記選択結果に対応する前記問診項目の前記応答データを選択し、前記対応者の音声信号を取得し、音声認識して認識データを出力し、音声認識された認識データに基づいて、取得された前記応答データに基づいた前記患者の応答を生成し、生成された前記患者の応答を出力することを特徴とする。
本発明の医療技能訓練プログラムは、患者へ対応する対応者の技能を訓練するための医療技能訓練装置により実行される医療技能訓練プログラムであって、前記医療技能訓練装置を、問診項目毎の応答データを格納させ、前記問診項目の選択結果を取得して、前記選択結果に対応する前記問診項目の前記応答データを選択させ、前記対応者の音声信号を取得し、音声認識して認識データを出力させ、音声認識された認識データに基づいて、取得された前記応答データに基づいた前記患者の応答を生成させ、生成された前記患者の応答を出力させることを特徴とする。
【発明の効果】
【0009】
本発明によれば、問診項目毎に選択された応答データを取得し、これを基に、対応者の音声信号の認識データに基づいた患者の応答を生成し、生成された患者の応答を出力することで、対応者の声掛けの内容に応じて問診項目毎に自然な応答を行い、実際の患者に対応する対応者の技能を効率的に訓練させることが可能な医療技能訓練装置を提供することができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
＜実施の形態＞
〔医療技能訓練装置１のシステム構成〕
まず、図１により、本発明の実施の形態に係る医療技能訓練装置１の制御構成の説明を行う。
医療技能訓練装置１は、看護師、介護士、検査士、及び医師等の医療関係者である対応者の技能の訓練（医療技能訓練）を行うための装置である。
本実施形態において、医療技能訓練装置１は、制御演算手段と記録媒体とを備えた情報処理装置である。医療技能訓練装置１は、例えば、携帯型又は据え置き型のＰＣ（Personal Computer）、ワークステーション、スマートフォンやタブレット端末のような携帯端末、ＶＲ（Virtual Reality）、ＡＲ（Augmented Reality）、ＭＲ（Mixed Reality）、ＳＲ（Substitutional Reality）等の「ＸＲ」表示を行うためのスタンドアロン型のＨＭＤ（Head Mounted Display）等であってもよい。
〔医療技能訓練装置１のシステム構成〕
まず、図１により、本発明の実施の形態に係る医療技能訓練装置１の制御構成の説明を行う。
医療技能訓練装置１は、看護師、介護士、検査士、及び医師等の医療関係者である対応者の技能の訓練（医療技能訓練）を行うための装置である。
本実施形態において、医療技能訓練装置１は、制御演算手段と記録媒体とを備えた情報処理装置である。医療技能訓練装置１は、例えば、携帯型又は据え置き型のＰＣ（Personal Computer）、ワークステーション、スマートフォンやタブレット端末のような携帯端末、ＶＲ（Virtual Reality）、ＡＲ（Augmented Reality）、ＭＲ（Mixed Reality）、ＳＲ（Substitutional Reality）等の「ＸＲ」表示を行うためのスタンドアロン型のＨＭＤ（Head Mounted Display）等であってもよい。
【0012】
医療技能訓練装置１は、制御部１０、画像処理部１１、記憶部１２、入力部１３、表示部１４、接続部１５、及び音声入出力部１６を備えている。各部は共通のバスで接続されても、更に各部の間で専用のバスで接続されてもよい。
【0013】
制御部１０は、医療技能訓練装置１の全体を制御する制御演算部である。制御部１０は、例えば、一般的なＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等であってもよい。
【0014】
画像処理部１１は、画像処理等を実行する制御演算部である。画像処理部１１は、例えば、ＧＰＵ（Graphics Processing Unit）やＤＳＰ（Digital Signal Processor）等を含んでいてもよい。また、画像処理部１１は、例えば、プログラマブルシェーダー（shader）を実行可能である。また、画像処理部１１は、Ｄｉｒｅｃｔ Ｘ（登録商標）、Ｏｐｅｎ ＧＬ規格等の各種三次元データのレンダリング、シェーダー（Shader）演算等を高速に実行可能であってもよい。また、画像処理部１１は、レイトレーシング（Ray Tracing）法やラジオシティ（Radiosity）法等の演算を支援するアクセレレーターとして機能してもよい。また、画像処理部１１は、ポリゴンの分割や法線の演算等の支援機能を備えていてもよい。
【0015】
記憶部１２は、各種データが格納される一時的でない記録媒体である。記憶部１２は、例えば、各種ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ｅＭＭＣ（embedded Multi Media Card）、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）、光学記録媒体等である。ここで、記憶部１２のＲＡＭ等の高速にアクセスされる記録媒体に関しては、制御部１０と直接接続されていてもよい。記憶部１２には、ＯＳ（Operating System）及び各種アプリケーションソフトウェア等（以下、単に「アプリ」という。）が格納されている。本実施形態においては、このアプリの一例である医療技能訓練プログラムも格納されている。
【0016】
入力部１３は、医療技能訓練装置１のユーザーが各種指示を行うための機器である。入力部１３は、例えば、キーボード、マウス、タッチパッド、タッチパネル、デジタイザー、３Ｄマウス、ステレオカメラ等である。
入力部１３は、三次元空間上の位置、向き、速度、加速度、ボタンの押下等を検知可能なコントローラーを含んでいてもよい。このコントローラーは、複数のボタンやパッドを含んでいる。
入力部１３は、三次元空間上の位置、向き、速度、加速度、ボタンの押下等を検知可能なコントローラーを含んでいてもよい。このコントローラーは、複数のボタンやパッドを含んでいる。
【0017】
さらに、入力部１３は、三次元加速度センサー、ジャイロ、カメラ、レーダー、ライダー（Light Detection and Ranging、LIDAR）、赤外線センサー、ＧＰＳ（Global Positioning System）、その他の部屋位置特定センサー等の位置特定手段を含んでいてもよい。この位置取得手段により、入力部１３のコントローラーの位置、及び表示部１４のＨＭＤの位置、これを装着した対応者の三次元空間上の位置、向き、速度、加速度等の情報を取得することが可能である。
【0018】
表示部１４は、医療技能訓練装置１の各種データを表示する機器である。表示部１４は、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Organic EL）若しくはＯＬＥＤ（Organic light-emitting diode）ディスプレイ、マイクロＬＥＤディスプレイ、ＭＥＭＳ（Micro Electro Mechanical Systems）プロジェクター等の各種ディスプレイであってもよい。表示部１４がＨＭＤの表示用デバイスの場合、ゴーグル型のＨＭＤや眼鏡等に取り付けてレンズや網膜に投影するタイプの装着型装置であってもよい。
なお、入力部１３と表示部１４とは、一体となったタッチパネル、デジタイザー等として構成されていてもよい。
また、表示部１４は、入力部１３以外の各部が一体となったスタンドアロン型のＨＭＤの表示部であってもよい。
なお、入力部１３と表示部１４とは、一体となったタッチパネル、デジタイザー等として構成されていてもよい。
また、表示部１４は、入力部１３以外の各部が一体となったスタンドアロン型のＨＭＤの表示部であってもよい。
【0019】
接続部１５は、表示部１４と接続するための、例えば、ＵＳＢ（Universal Serial Bus）、Thunderbolt（登録商標）、無線ＬＡＮ（Wireless Local Area Network、Wifi）、ブルートゥース（登録商標）、その他の独自インターフェイス等の接続インターフェイスである。これに加えて、接続部１５は、外部ネットワークとの接続のためのインターフェイスを含んでいてもよい。
接続部１５は、例えば、ＬＡＮ、ＷＡＮ（Wide Area Network）、近距離ネットワーク、携帯電話網等で構成される外部ネットワークと接続可能であってもよい。
接続部１５は、例えば、ＬＡＮ、ＷＡＮ（Wide Area Network）、近距離ネットワーク、携帯電話網等で構成される外部ネットワークと接続可能であってもよい。
【0020】
音声入出力部１６は、音声入力部と音声出力部とを備える音声インターフェイスである。このうち、音声入力部は、マイクロフォン、Ａ／Ｄ（Analog to Digital）コンバーター等を備えて、応答者等のユーザーの音声信号を入力可能である。音声出力部は、Ｄ／Ａ（Digital to Analog）コンバーター、アンプリファイアー、スピーカー等を備えて、生成された応答の音声を、対応者や評価者に聞こえるように出力可能である。
また、音声入出力部１６は、ヘッドセット、ヘッドフォンやイヤフォン等とマイクロフォン等であってもよい。または、音声入出力部１６は、接続部１５に接続されて構成されてもよい。
また、音声入出力部１６は、ヘッドセット、ヘッドフォンやイヤフォン等とマイクロフォン等であってもよい。または、音声入出力部１６は、接続部１５に接続されて構成されてもよい。
【0021】
〔医療技能訓練装置１の機能構成〕
次に、図２により、本実施形態の医療技能訓練装置１の機能的な構成について説明する。
本実施形態の医療技能訓練装置１の制御部１０は、項目選択部１００、音声認識部１１０、応答生成部１２０、応答出力部１３０、及び評価部１４０を備える。
記憶部１２は、応答ＤＢ２００、認識データ２２０、生成データ２３０、及び評価データ２４０を格納する。
次に、図２により、本実施形態の医療技能訓練装置１の機能的な構成について説明する。
本実施形態の医療技能訓練装置１の制御部１０は、項目選択部１００、音声認識部１１０、応答生成部１２０、応答出力部１３０、及び評価部１４０を備える。
記憶部１２は、応答ＤＢ２００、認識データ２２０、生成データ２３０、及び評価データ２４０を格納する。
【0022】
項目選択部１００は、医療技能訓練の進行に応じて、問診（面接）を行った場合に、問診項目の選択をＧＵＩ（Graphical User Interface）のプルダウンメニュー等で行わせる。
項目選択部１００は、この問診項目の選択結果を取得して、応答ＤＢ２００に格納された選択結果に対応する問診項目の応答データ２１０－１～２１０－ｎのいずれかを選択する。
項目選択部１００は、この問診項目の選択結果を取得して、応答ＤＢ２００に格納された選択結果に対応する問診項目の応答データ２１０－１～２１０－ｎのいずれかを選択する。
【0023】
音声認識部１１０は、問診時における対応者の声掛けの音声を音声信号として取得する。そして、音声認識部１１０は、音声信号を音声認識して、認識データ２２０を出力する。
具体的には、音声認識部１１０は、例えば、ＢＥＲＴ（multi-layer transformer encoder）等の音声認識ＡＩや、ＨＭＭ（Hidden Markov Model）等の統計モデルにより、音声認識を行って、認識結果を出力可能である。または、音声認識部１１０は、音声信号を外部ネットワークを介して、いわゆるクラウド上の音声認識ＡＩサービスに送信して、結果を認識データ２２０として取得してもよい。
具体的には、音声認識部１１０は、例えば、ＢＥＲＴ（multi-layer transformer encoder）等の音声認識ＡＩや、ＨＭＭ（Hidden Markov Model）等の統計モデルにより、音声認識を行って、認識結果を出力可能である。または、音声認識部１１０は、音声信号を外部ネットワークを介して、いわゆるクラウド上の音声認識ＡＩサービスに送信して、結果を認識データ２２０として取得してもよい。
【0024】
応答生成部１２０は、音声認識部１１０により音声認識された認識データ２２０に基づいて、項目選択部１００により取得された応答データ２１０－１～２１０－ｎのいずれかに基づいた患者の応答を、生成データ２３０として生成する。
この際、本実施形態において、応答生成部１２０は、認識データ２２０からキーワードを抽出し、抽出されたキーワードに応じた患者の応答を生成する。
この際、本実施形態において、応答生成部１２０は、認識データ２２０からキーワードを抽出し、抽出されたキーワードに応じた患者の応答を生成する。
【0025】
応答出力部１３０は、応答生成部１２０により生成された患者の応答を、生成データ２３０に基づいて出力する。応答出力部１３０は、生成データ２３０の台詞を表示部１４で表示させたり、応答の台詞を音声入出力部１６の音声出力部により音声出力させたりすることが可能である。
さらに、応答出力部１３０は、項目選択部１００により設定された状況を仮想空間の映像として描画し、音声を出力することも可能である。応答出力部１３０は、仮想空間上に、患者や家族のアバターの様子等を含む問診の進行についての各表示を描画出力してもよい。
さらに、応答出力部１３０は、項目選択部１００により設定された状況を仮想空間の映像として描画し、音声を出力することも可能である。応答出力部１３０は、仮想空間上に、患者や家族のアバターの様子等を含む問診の進行についての各表示を描画出力してもよい。
【0026】
評価部１４０は、患者への対応者の対応を、認識データ２２０から抽出されたキーワードに基づいて評価する。
評価部１４０は、訓練後に、音声認識の結果及び評価を表示部に表示して、患者への対応が適切であるか否かを、応答者及び訓練の評価者と一緒に評価することも可能である。
評価部１４０は、訓練後に、音声認識の結果及び評価を表示部に表示して、患者への対応が適切であるか否かを、応答者及び訓練の評価者と一緒に評価することも可能である。
【0027】
応答ＤＢ２００は、問診項目毎の応答データ２１０－１～２１０－ｎが格納されているデータベース（ＤＢ）である。
以下、応答データ２１０－１～２１０－ｎのいずれか一つを示す場合、単に、応答データ２１０と記載する。
以下、応答データ２１０－１～２１０－ｎのいずれか一つを示す場合、単に、応答データ２１０と記載する。
【0028】
応答データ２１０は、問診項目毎に設定された、患者への応答に関する各種データである。
本実施形態において、応答データ２１０は、問診項目に応じたキーワードが設定されている。このキーワードとして、応答データ２１０は、患者の望ましくない応答を生じるキーワードであるＮＧワードが設定されてもよい。また、応答データ２１０は、キーワードを設定するのが難しい問診項目の場合、どのような認識データ２２０でも患者が応答するフリーワードが設定されてもよい。
本実施形態において、応答データ２１０は、問診項目に応じたキーワードが設定されている。このキーワードとして、応答データ２１０は、患者の望ましくない応答を生じるキーワードであるＮＧワードが設定されてもよい。また、応答データ２１０は、キーワードを設定するのが難しい問診項目の場合、どのような認識データ２２０でも患者が応答するフリーワードが設定されてもよい。
【0029】
図３により、応答データ２１０に設定されたキーワードの例について説明する。
この例の応答データ２１０－１は、対応者として看護師が、「大久保 あらた」という名前が設定された子供の患者に対して小児科の問診を行う際のキーワードの例を示す。図３のテーブルにおいて、「内容」は問診項目を、「回答」は設定されたキーワードに対する患者の応答となる台詞を、「キーワード」は設定されたキーワードを示す。この台詞は、生成データ２３０に反映されるテキストデータである。このように、問診項目毎に、キーサード及びその応答についてのデータが設定されている。「内容」の「（正）」は、患者の望ましい応答を生じるキーワード（以下、「正解」という。）であることを示し、「（誤）」は患者の望ましくない応答を生じるキーワード（以下、「ＮＧワード」という）であることを示す。加えて、この例では、「自己紹介（ｔｏ あらた）」の問診項目には、どのような認識データ２２０であっても応答を行うフリーワードが設定されている。
この例の応答データ２１０－１は、対応者として看護師が、「大久保 あらた」という名前が設定された子供の患者に対して小児科の問診を行う際のキーワードの例を示す。図３のテーブルにおいて、「内容」は問診項目を、「回答」は設定されたキーワードに対する患者の応答となる台詞を、「キーワード」は設定されたキーワードを示す。この台詞は、生成データ２３０に反映されるテキストデータである。このように、問診項目毎に、キーサード及びその応答についてのデータが設定されている。「内容」の「（正）」は、患者の望ましい応答を生じるキーワード（以下、「正解」という。）であることを示し、「（誤）」は患者の望ましくない応答を生じるキーワード（以下、「ＮＧワード」という）であることを示す。加えて、この例では、「自己紹介（ｔｏ あらた）」の問診項目には、どのような認識データ２２０であっても応答を行うフリーワードが設定されている。
【0030】
なお、応答データ２１０は、患者のアバター（avator）のオブジェクトの三次元ＣＧ（Computer Graphics）のポリゴン（多角形）やパーティクル（点）の立体座標と面座標等を含む３Ｄデータ等を含んでいてもよい。さらに、応答データ２１０は、仮想空間上の医療施設のポリゴンのデータ、オブジェクトの動きに応じたボーン（bone）のデータ、ポリゴンの素材（テクスチャー）データ、着衣のデータ、門信用の道具のデータ、配置データ、素材のデータ、スケール（大きさ）のデータ、その他のデータ等を含んでいてもよい。
さらに加えて、応答データ２１０は、問診の状況をリアルタイムで変化させるような問診の進行を示す「シークエンス」が設定されていてもよい。この際、複数のシークエンスや条件分岐、場合設定等のデータも含んでいてもよい。加えて、応答データ２１０は、訓練の管理者に設定された各状況に対応する設定データを含んでいてもよい。さらに加えて、応答データ２１０は、各状況におけるテキストデータ、ナレーションの文字データ、音声データ等も含んでいてもよい。
さらに加えて、応答データ２１０は、問診の状況をリアルタイムで変化させるような問診の進行を示す「シークエンス」が設定されていてもよい。この際、複数のシークエンスや条件分岐、場合設定等のデータも含んでいてもよい。加えて、応答データ２１０は、訓練の管理者に設定された各状況に対応する設定データを含んでいてもよい。さらに加えて、応答データ２１０は、各状況におけるテキストデータ、ナレーションの文字データ、音声データ等も含んでいてもよい。
【0031】
認識データ２２０は、対応者の患者への声掛けの音声信号が音声認識された結果のデータである。この認識データ２２０は、音声認識のテキストデータ、認識確度のデータ、音量やトーンのデータ等を含んでいてもよい。
【0032】
生成データ２３０は、応答出力部１３０で出力される患者の応答の台詞、この台詞に対応する音声データ等である。さらに、生成データ２３０は、例えば、応答時の患者のアバターの動作のデータ等を含んでいてもよい。さらに、生成データ２３０は、項目選択部１００により設定された各状況に対応したＣＧのデータを含んでいてもよい。さらに加えて、生成データ２３０は、問診による状況を再現するための各種データを含んでいてもよい。
【0033】
評価データ２４０は、医療技能訓練における対応者の技能の評価に用いられるデータである。評価データ２４０は、例えば、問診項目毎の対応者の対応について、キーワードに基づいた評価ポイントが設定される。この評価ポイントとして、認識データ２２０内のキーワードの数、ＮＧワードの数等により重み付けされた評価、ＮＧワードによる望ましくない応答の数等による点数が設定されていてもよい。この点数は、問診項目毎、キーワード毎、ＮＧワード毎等で、重み付けが異なっていてもよい。さらに、評価データ２４０は、各問診項目の音声認識の結果のテキストデータを含んでいてもよい。
【0034】
ここで、医療技能訓練装置１の制御部１０は、記憶部１２に記憶された制御プログラムを実行することで、項目選択部１００、応答生成部１２０、応答出力部１３０、及び評価部１４０として機能させられる。この制御プログラムは、各種ＯＳ、Ｕｎｉｔｙ（登録商標）等の三次元グラフィック表示用ミドルウェア、及び本実施形態の医療技能訓練プログラム等のアプリを含む。
また、上述の医療技能訓練装置１の各部は、本発明の医療技能訓練方法を実行するハードウェア資源となる。
なお、上述の機能構成の一部又は任意の組み合わせをＩＣやプログラマブルロジックやＦＰＧＡ（Field-Programmable Gate Array）等でハードウェア的、回路的に構成してもよい。
また、上述の医療技能訓練装置１の各部は、本発明の医療技能訓練方法を実行するハードウェア資源となる。
なお、上述の機能構成の一部又は任意の組み合わせをＩＣやプログラマブルロジックやＦＰＧＡ（Field-Programmable Gate Array）等でハードウェア的、回路的に構成してもよい。
【0035】
〔医療技能訓練装置１による医療技能訓練処理〕
次に、図４～図９により、本実施形態に係る医療技能訓練装置１による医療技能訓練処理の説明を行う。
本実施形態の医療技能訓練処理においては、看護師、介護士、検査士、及び医師等の医療関係者である対応者の医療技能訓練の進行に応じて、患者への問診、着衣や姿勢変更の対応等についての処理を行う。本実施形態においては、患者のアバターへの問診のシミュレーションを行う例について説明する。
具体的には、本実施形態に係る医療技能訓練処理では、問診項目毎の応答データ２１０を格納する。そして、問診項目の選択結果を取得して、選択結果に対応する問診項目の応答データ２１０を選択させる。次に、対応者の声掛けの音声信号を取得し、音声認識して認識データ２２０を出力させる。次に、音声認識された認識データ２２０に基づいて、項目選択部１００により取得された応答データ２１０に基づいた患者の応答を生成させる。そして、生成された患者の応答を出力させる。
次に、図４～図９により、本実施形態に係る医療技能訓練装置１による医療技能訓練処理の説明を行う。
本実施形態の医療技能訓練処理においては、看護師、介護士、検査士、及び医師等の医療関係者である対応者の医療技能訓練の進行に応じて、患者への問診、着衣や姿勢変更の対応等についての処理を行う。本実施形態においては、患者のアバターへの問診のシミュレーションを行う例について説明する。
具体的には、本実施形態に係る医療技能訓練処理では、問診項目毎の応答データ２１０を格納する。そして、問診項目の選択結果を取得して、選択結果に対応する問診項目の応答データ２１０を選択させる。次に、対応者の声掛けの音声信号を取得し、音声認識して認識データ２２０を出力させる。次に、音声認識された認識データ２２０に基づいて、項目選択部１００により取得された応答データ２１０に基づいた患者の応答を生成させる。そして、生成された患者の応答を出力させる。
【0036】
本実施形態の医療技能訓練処理は、主に医療技能訓練装置１の制御部１０が、記憶部１２に記憶された医療技能訓練プログラム（アプリ）を、各部と協働し、ハードウェア資源を用いて実行する。
以下で、図４のフローチャートを参照して、医療技能訓練処理の詳細をステップ毎に説明する。
以下で、図４のフローチャートを参照して、医療技能訓練処理の詳細をステップ毎に説明する。
【0037】
（ステップＳ１００）
まず、項目選択部１００が、訓練選択処理を行う。
ここでは、訓練を行うユーザー（対応者）又は訓練の管理者のユーザー（評価者）により、医療技能訓練装置１の医療技能訓練のアプリが起動され、診療科や対応者の種類等が選択される。すると、項目選択部１００は、患者のアバターを三次元ＣＧで表示し、シークエンスに沿った状況を示す画像を表示部１４に表示し、訓練を開始させる。
図５の画面例３００は、表示部１４の表示手段に、仮想空間内に描画された医療施設の内部が表示され、訓練が開始された直後の画面の例を示す。ここでは、小児科の看護師の訓練を行うため、子供の患者「大久保 あらた」のアバターと、この母親のアバターが表示されている例を示す。
この画面では、左側に、仮想空間内の移動の指示や機器選択といったその他の操作メニューも表示されている。項目選択部１００は、入力部１３から、ボタン等の押下によりこの操作メニュー上の指示情報を取得し、それぞれの処理を実行可能である。
まず、項目選択部１００が、訓練選択処理を行う。
ここでは、訓練を行うユーザー（対応者）又は訓練の管理者のユーザー（評価者）により、医療技能訓練装置１の医療技能訓練のアプリが起動され、診療科や対応者の種類等が選択される。すると、項目選択部１００は、患者のアバターを三次元ＣＧで表示し、シークエンスに沿った状況を示す画像を表示部１４に表示し、訓練を開始させる。
図５の画面例３００は、表示部１４の表示手段に、仮想空間内に描画された医療施設の内部が表示され、訓練が開始された直後の画面の例を示す。ここでは、小児科の看護師の訓練を行うため、子供の患者「大久保 あらた」のアバターと、この母親のアバターが表示されている例を示す。
この画面では、左側に、仮想空間内の移動の指示や機器選択といったその他の操作メニューも表示されている。項目選択部１００は、入力部１３から、ボタン等の押下によりこの操作メニュー上の指示情報を取得し、それぞれの処理を実行可能である。
【0038】
この上で、項目選択部１００は、表示部１４にＧＵＩ（Graphical User Interface）のメニューを表示し、入力部１３からの対応者又は評価者の指示を取得する。項目選択部１００は、取得した指示により、医療技能訓練の設定を行う。
図６の画面例３０１によると、項目選択部１００は、「問診」、「着衣／姿勢」の訓練、実際の訓練の様子を表示する「アニメーション／スライド」を選択させる。本実施形態では、以下、「問診」が選択された例を示す。
図６の画面例３０１によると、項目選択部１００は、「問診」、「着衣／姿勢」の訓練、実際の訓練の様子を表示する「アニメーション／スライド」を選択させる。本実施形態では、以下、「問診」が選択された例を示す。
【0039】
（ステップＳ１０１）
ここで、項目選択部１００が、項目選択処理を行う。
項目選択部１００は、問診項目の選択結果を取得して、応答ＤＢ２００に格納された選択結果に対応する問診項目の応答データ２１０を選択する。
図７の画面例３０２は、選択入力方式として、応答データ２１０に含まれる問診項目をダイアログボックスに表示して選択させている例を示す。項目選択部１００は、この他にも、問診の取り消し等についても選択可能である。
項目選択部１００は、入力部１３のボタンの押下を検出し、これを問診項目の選択結果として取得可能である。
ここで、項目選択部１００が、項目選択処理を行う。
項目選択部１００は、問診項目の選択結果を取得して、応答ＤＢ２００に格納された選択結果に対応する問診項目の応答データ２１０を選択する。
図７の画面例３０２は、選択入力方式として、応答データ２１０に含まれる問診項目をダイアログボックスに表示して選択させている例を示す。項目選択部１００は、この他にも、問診の取り消し等についても選択可能である。
項目選択部１００は、入力部１３のボタンの押下を検出し、これを問診項目の選択結果として取得可能である。
【0040】
（ステップＳ１０２）
次に、音声認識部１１０が、音声認識処理を行う。
音声認識部１１０は、対応者の音声信号を取得し、音声認識して認識データ２２０を出力する。
図８の画面例３０３によれば、音声認識部１１０は、例えば、音声入力を促すダイアログを表示する。この例では、入力部１３のキーボードの「Ｖ」ボタンやコントローラーのボタンの押下に応じて、音声信号を取得する。
音声認識部１１０は、この取得された音声信号を、音声認識して、認識データ２２０を記憶部１２に格納する。この音声認識は上述のように、音声認識ＡＩ、統計モデル、音声認識ＡＩサービス等により実行されてもよい。
なお、音声認識部１１０は、認識データ２２０の認識確度の値が低かった場合には、再度の入力を指示するダイアログを表示して、対応者に再度、音声入力させる等の処理も可能である。
次に、音声認識部１１０が、音声認識処理を行う。
音声認識部１１０は、対応者の音声信号を取得し、音声認識して認識データ２２０を出力する。
図８の画面例３０３によれば、音声認識部１１０は、例えば、音声入力を促すダイアログを表示する。この例では、入力部１３のキーボードの「Ｖ」ボタンやコントローラーのボタンの押下に応じて、音声信号を取得する。
音声認識部１１０は、この取得された音声信号を、音声認識して、認識データ２２０を記憶部１２に格納する。この音声認識は上述のように、音声認識ＡＩ、統計モデル、音声認識ＡＩサービス等により実行されてもよい。
なお、音声認識部１１０は、認識データ２２０の認識確度の値が低かった場合には、再度の入力を指示するダイアログを表示して、対応者に再度、音声入力させる等の処理も可能である。
【0041】
（ステップＳ１０３）
次に、応答生成部１２０が、キーワード抽出処理を行う。
応答生成部１２０は、取得された応答データ２１０に設定されたキーワードと、認識データ２２０のテキストデータとを比較する。これにより、応答生成部１２０は、認識データ２２０からキーワードを抽出する。
次に、応答生成部１２０が、キーワード抽出処理を行う。
応答生成部１２０は、取得された応答データ２１０に設定されたキーワードと、認識データ２２０のテキストデータとを比較する。これにより、応答生成部１２０は、認識データ２２０からキーワードを抽出する。
【0042】
たとえば、問診項目「本人確認（ｔｏ あらた）」において、認識データ２２０のテキストデータに「お名前、教えて、ください」といった単語が含まれていた場合、応答生成部１２０は、そこから正解のキーワードである「名前」を取得する。
同様に、問診項目「これから何をするのか説明（ｔｏ あらた）」において、認識データ２２０のテキストデータに「もしもし、させてね」といった単語が含まれていた場合、応答生成部１２０は、そこから正解のキーワードである「もしもし」を取得する。
同様に、問診項目「これから何をするのか説明（ｔｏ あらた）」において、認識データ２２０のテキストデータに「もしもし、させてね」といった単語が含まれていた場合、応答生成部１２０は、そこから正解のキーワードである「もしもし」を取得する。
【0043】
また、問診項目「自己紹介（ｔｏ あらた）」において、「フリーワード設定」が設定さていた場合、キーワードは取得しなくてもよい。
【0044】
一方、問診項目「これから何をするのか説明（ｔｏ あらた）」において、認識データ２２０のテキストデータに「バイタル、測定、します」といった単語が含まれていた場合、応答生成部１２０は、そこから「バイタル」「測定」といったＮＧワードのキーワードを取得する。
同様に、問診項目「腕が締め付けられること／痛みに近い感覚がするかもしれないことを伝える（ｔｏ あらた）」においても、「ちょっと、いたいかも、しれないよ」といった単語が含まれていた場合、応答生成部１２０は、そこからＮＧワードのキーワードである「痛い」を取得する。
同様に、問診項目「腕が締め付けられること／痛みに近い感覚がするかもしれないことを伝える（ｔｏ あらた）」においても、「ちょっと、いたいかも、しれないよ」といった単語が含まれていた場合、応答生成部１２０は、そこからＮＧワードのキーワードである「痛い」を取得する。
【0045】
なお、応答生成部１２０は、認識データ２２０内にキーワードがまったく含まれていなかった場合は、認識確度が低かった場合と同様に、ダイアログ等を表示して、対応者に再度、音声入力させることが可能である。この場合、複数回、音声入力しても同様であった場合は、下記のＮＧワードと同様の処理、エラー処理等を行ってもよい。
【0046】
（ステップＳ１０４）
次に、応答生成部１２０が、正解か否かを判定する。
応答生成部１２０は、認識データ２２０から抽出されたキーワードに、取得された応答データ２１０に設定されたキーワードが含まれており、更に、正解の場合、Ｙｅｓと判定する。上述の例では、問診項目「本人確認（ｔｏ あらた）」で、正解のキーワードである「名前」が取得された場合、応答生成部１２０は、Ｙｅｓと判定する。同様に、上述の例で、問診項目「これから何をするのか説明（ｔｏ あらた）」で、正解のキーワードである「もしもし」が取得された場合、応答生成部１２０は、Ｙｅｓと判定する。
次に、応答生成部１２０が、正解か否かを判定する。
応答生成部１２０は、認識データ２２０から抽出されたキーワードに、取得された応答データ２１０に設定されたキーワードが含まれており、更に、正解の場合、Ｙｅｓと判定する。上述の例では、問診項目「本人確認（ｔｏ あらた）」で、正解のキーワードである「名前」が取得された場合、応答生成部１２０は、Ｙｅｓと判定する。同様に、上述の例で、問診項目「これから何をするのか説明（ｔｏ あらた）」で、正解のキーワードである「もしもし」が取得された場合、応答生成部１２０は、Ｙｅｓと判定する。
【0047】
また、応答生成部１２０は、応答データ２１０にフリーワードが設定されていた場合も、どのような認識結果であっても、Ｙｅｓと判定する。上述の例では、問診項目「自己紹介（ｔｏ あらた）」の場合、「初めまして、田中といいます」と認識すべきものを、認識データ２２０のテキストデータが「ハジミティ、ヤーサイ、田中、ヤイビーン」のように、明らかに誤った認識結果となったとしても、応答生成部１２０は、Ｙｅｓと判定する。
一方、応答生成部１２０は、認識データ２２０から抽出されたキーワードに、取得された応答データ２１０に設定されたキーワードが含まれており、ＮＧワードであった場合、Ｎｏと判定する。上述の例では、問診項目「これから何をするのか説明（ｔｏ あらた）」で「バイタル」「測定」のＮＧワードが含まれていた場合、応答生成部１２０は、Ｎｏと判定する。同様に、問診項目「腕が締め付けられること／痛みに近い感覚がするかもしれないことを伝える（ｔｏ あらた）」で「痛い」のＮＧワードが含まれていた場合、応答生成部１２０は、Ｎｏと判定する。
Ｙｅｓの場合、応答生成部１２０は、処理をステップＳ１０５に進める。
Ｎｏの場合、応答生成部１２０は、処理をステップＳ１０８に進める。
一方、応答生成部１２０は、認識データ２２０から抽出されたキーワードに、取得された応答データ２１０に設定されたキーワードが含まれており、ＮＧワードであった場合、Ｎｏと判定する。上述の例では、問診項目「これから何をするのか説明（ｔｏ あらた）」で「バイタル」「測定」のＮＧワードが含まれていた場合、応答生成部１２０は、Ｎｏと判定する。同様に、問診項目「腕が締め付けられること／痛みに近い感覚がするかもしれないことを伝える（ｔｏ あらた）」で「痛い」のＮＧワードが含まれていた場合、応答生成部１２０は、Ｎｏと判定する。
Ｙｅｓの場合、応答生成部１２０は、処理をステップＳ１０５に進める。
Ｎｏの場合、応答生成部１２０は、処理をステップＳ１０８に進める。
【0048】
（ステップＳ１０５）
正解のキーワードかフリーワードの場合、応答生成部１２０が、フリーワードか否かを判定する。
応答生成部１２０は、応答データ２１０にフリーワードが設定されていた場合、Ｙｅｓと判定する。応答生成部１２０は、それ以外の場合には、Ｎｏと判定する。
Ｙｅｓの場合、応答生成部１２０は、処理をステップＳ１０６に進める。
Ｎｏの場合、応答生成部１２０は、処理をステップＳ１０７に進める。
正解のキーワードかフリーワードの場合、応答生成部１２０が、フリーワードか否かを判定する。
応答生成部１２０は、応答データ２１０にフリーワードが設定されていた場合、Ｙｅｓと判定する。応答生成部１２０は、それ以外の場合には、Ｎｏと判定する。
Ｙｅｓの場合、応答生成部１２０は、処理をステップＳ１０６に進める。
Ｎｏの場合、応答生成部１２０は、処理をステップＳ１０７に進める。
【0049】
（ステップＳ１０６）
フリーワードが設定されていた場合、応答生成部１２０が、フリーワード応答生成処理を行う。
応答生成部１２０は、どのような認識データ２２０であっても、患者が同様に応答する応答データ２１０を生成し、記憶部１２に格納する。
上述の例では、応答生成部１２０は、問診項目「自己紹介（ｔｏ あらた）」で、身体の調子が悪く、無口で機嫌が悪い子供の患者「大久保 あらた」のアバターが「…」と無言で応答する台詞のテキストを含む生成データ２３０を生成する。
その後、応答生成部１２０は、処理をステップＳ１０９に進める。
フリーワードが設定されていた場合、応答生成部１２０が、フリーワード応答生成処理を行う。
応答生成部１２０は、どのような認識データ２２０であっても、患者が同様に応答する応答データ２１０を生成し、記憶部１２に格納する。
上述の例では、応答生成部１２０は、問診項目「自己紹介（ｔｏ あらた）」で、身体の調子が悪く、無口で機嫌が悪い子供の患者「大久保 あらた」のアバターが「…」と無言で応答する台詞のテキストを含む生成データ２３０を生成する。
その後、応答生成部１２０は、処理をステップＳ１０９に進める。
【0050】
（ステップＳ１０７）
フリーワード以外の正解のキーワードの場合、応答生成部１２０が、キーワード応答生成処理を行う。
応答生成部１２０は、認識データ２２０に基づき、取得された応答データ２１０に基づいた患者の応答を生成データ２３０として生成する。本実施形態では、応答生成部１２０は、抽出されたキーワードに応じた患者の「望ましい」応答を生成データ２３０として生成し、記憶部１２に格納する。
上述の例では、応答生成部１２０は、問診項目「本人確認（ｔｏ あらた）」で、患者のアバターが「あらた…」と応答する台詞のテキストを含む生成データ２３０を生成する。
または、上述の別の例では、問診項目「これから何をするのか説明（ｔｏ あらた）」で、患者のアバターが「痛いのはやだ。」と応答する台詞のテキストを含む生成データ２３０を生成する。これは拒否感のある台詞であるものの、患者の機嫌が悪くても応答そのものをしているため、正解のキーワードに対する応答となる。
その後、応答生成部１２０は、処理をステップＳ１０９に進める。
フリーワード以外の正解のキーワードの場合、応答生成部１２０が、キーワード応答生成処理を行う。
応答生成部１２０は、認識データ２２０に基づき、取得された応答データ２１０に基づいた患者の応答を生成データ２３０として生成する。本実施形態では、応答生成部１２０は、抽出されたキーワードに応じた患者の「望ましい」応答を生成データ２３０として生成し、記憶部１２に格納する。
上述の例では、応答生成部１２０は、問診項目「本人確認（ｔｏ あらた）」で、患者のアバターが「あらた…」と応答する台詞のテキストを含む生成データ２３０を生成する。
または、上述の別の例では、問診項目「これから何をするのか説明（ｔｏ あらた）」で、患者のアバターが「痛いのはやだ。」と応答する台詞のテキストを含む生成データ２３０を生成する。これは拒否感のある台詞であるものの、患者の機嫌が悪くても応答そのものをしているため、正解のキーワードに対する応答となる。
その後、応答生成部１２０は、処理をステップＳ１０９に進める。
【0051】
（ステップＳ１０８）
ＮＧワードの場合、応答生成部１２０が、ＮＧワード応答生成処理を行う。
応答生成部１２０は、抽出されたＮＧードに応じた患者の「望ましくない」患者の応答を生じる生成データ２３０を生成し、記憶部１２に格納する。
上述の例では、応答生成部１２０は、問診項目「これから何をするのか説明（ｔｏ あらた）」で、患者のアバターが「ママ…」と応答する台詞と、母親のアバターにしがみつき不安を表現するデータを含む生成データ２３０を生成する。
その後、応答生成部１２０は、処理をステップＳ１０９に進める。
ＮＧワードの場合、応答生成部１２０が、ＮＧワード応答生成処理を行う。
応答生成部１２０は、抽出されたＮＧードに応じた患者の「望ましくない」患者の応答を生じる生成データ２３０を生成し、記憶部１２に格納する。
上述の例では、応答生成部１２０は、問診項目「これから何をするのか説明（ｔｏ あらた）」で、患者のアバターが「ママ…」と応答する台詞と、母親のアバターにしがみつき不安を表現するデータを含む生成データ２３０を生成する。
その後、応答生成部１２０は、処理をステップＳ１０９に進める。
【0052】
（ステップＳ１０９）
ここで、応答出力部１３０が、応答出力処理を行う。
応答出力部１３０は、患者の応答を、生成データ２３０に基づいて出力する。この際、応答出力部１３０は、医療技能訓練のシークエンスの進行に応じて、様々な状況を生じさせることが可能である。
具体的には、応答出力部１３０は、生成データ２３０に含まれる患者の台詞を表示部１４に表示し、設定されたシークエンスに対応した状況を仮想空間の映像として描画する。さらに、応答出力部１３０は、患者の親族等のアバターのオブジェクトを描画することも可能である。この表示は、表示部１４のＨＭＤへのＸＲ表示であってもよい。
この描画に合わせて、応答出力部１３０は、応答の音声を、対応者や評価者に聞こえるように音声入出力部１６の音声出力部から音声出力し、臨場感を持たせることも可能である。
ここで、応答出力部１３０が、応答出力処理を行う。
応答出力部１３０は、患者の応答を、生成データ２３０に基づいて出力する。この際、応答出力部１３０は、医療技能訓練のシークエンスの進行に応じて、様々な状況を生じさせることが可能である。
具体的には、応答出力部１３０は、生成データ２３０に含まれる患者の台詞を表示部１４に表示し、設定されたシークエンスに対応した状況を仮想空間の映像として描画する。さらに、応答出力部１３０は、患者の親族等のアバターのオブジェクトを描画することも可能である。この表示は、表示部１４のＨＭＤへのＸＲ表示であってもよい。
この描画に合わせて、応答出力部１３０は、応答の音声を、対応者や評価者に聞こえるように音声入出力部１６の音声出力部から音声出力し、臨場感を持たせることも可能である。
【0053】
図９の画面例３０４は、問診項目「これから何をするのか説明（ｔｏ あらた）」で、正解のキーワード「もしもし」の応答として、患者のアバターが「痛いのはやだ。」と応答する例を示している。これにより、対応者に向き合って消極的でも対応しようとする様子を表現することができる。
【0054】
図１０の画面例３０５は、問診項目「腕が締め付けられること／痛みに近い感覚がするかもしれないことを伝える（ｔｏ あらた）」で「痛い」のＮＧワードが含まれていた場合、患者のアバターが「やだ！」と明らかな拒否の応答する例を示している。
この際、応答出力部１３０は、「※あらた君への声掛けとして不適切なキーワードが含まれています。小児患者に対するものとして適切な声掛けを行って下さい。」等と、警告を表示してもよい。さらに、応答出力部１３０は、音声出力部から、患者との関係についてのナレーションを音声出力し、教育効果を高めることも可能である。これにより、対応者は、医療における適切な応答について学ぶことができる。
この際、応答出力部１３０は、「※あらた君への声掛けとして不適切なキーワードが含まれています。小児患者に対するものとして適切な声掛けを行って下さい。」等と、警告を表示してもよい。さらに、応答出力部１３０は、音声出力部から、患者との関係についてのナレーションを音声出力し、教育効果を高めることも可能である。これにより、対応者は、医療における適切な応答について学ぶことができる。
【0055】
これらの描画の際、応答出力部１３０は、画像処理部１１の各種プログラマブルシェーダーを実行して、頂点や描画を調整することが可能である。応答出力部１３０は、ポリゴンのスケール変換、座標系の変換、オブジェクト単位での変換、マテリアル、テクスチャー関係の変換等も行うことが可能である。
なお、応答出力部１３０は、対応者や評価者による入力部１３からの指示により、視点の位置や向き等を移動させてもよい。
なお、応答出力部１３０は、対応者や評価者による入力部１３からの指示により、視点の位置や向き等を移動させてもよい。
【0056】
（ステップＳ１１０）
次に、項目選択部１００が、医療技能訓練が終了したか否かを判定する。項目選択部１００は、設定された医療技能訓練のシークエンス等が終了した場合、Ｙｅｓと判定する。または、項目選択部１００は、入力部１３にて、対応者が医療技能訓練の終了の指示をしたことを検出した場合、Ｙｅｓと判断する。項目選択部１００は、それ以外の場合には、Ｎｏと判断する。
Ｙｅｓの場合、項目選択部１００は、処理をステップＳ１１１に進める。
Ｎｏの場合、項目選択部１００は、処理をステップＳ１０１に戻して、医療技能訓練を続ける。
次に、項目選択部１００が、医療技能訓練が終了したか否かを判定する。項目選択部１００は、設定された医療技能訓練のシークエンス等が終了した場合、Ｙｅｓと判定する。または、項目選択部１００は、入力部１３にて、対応者が医療技能訓練の終了の指示をしたことを検出した場合、Ｙｅｓと判断する。項目選択部１００は、それ以外の場合には、Ｎｏと判断する。
Ｙｅｓの場合、項目選択部１００は、処理をステップＳ１１１に進める。
Ｎｏの場合、項目選択部１００は、処理をステップＳ１０１に戻して、医療技能訓練を続ける。
【0057】
（ステップＳ１１１）
ここで、評価部１４０が評価処理を行う。
評価部１４０は、患者への対応者の対応を、認識データ２２０から抽出されたキーワードに基づいて評価する。評価部１４０は、問診項目毎の対応者の対応について、キーワードに基づいた評価ポイントを算出する。
そして、評価部１４０は、訓練後に、音声認識の結果及び評価を表示して、患者への対応が適切であるか否かを示す事も可能である。たとえば、評価部１４０は、表示部１４に、問診項目、評価ポイント、評価データ２４０に含まれる音声認識のテキスト、正解若しくはＮＧワードが含まれるか、その他のアドバイス等を含めて一覧のように表示し、音声出力部から評価の音声等を出力させることが可能である。なお、この評価は、表示部１４のＨＭＤではなく、別の大画面のディスプレイ等に表示し、対応者及び評価者が同時に閲覧可能としてもよい。
これにより、本実施形態に係る医療技能訓練処理を終了する。
ここで、評価部１４０が評価処理を行う。
評価部１４０は、患者への対応者の対応を、認識データ２２０から抽出されたキーワードに基づいて評価する。評価部１４０は、問診項目毎の対応者の対応について、キーワードに基づいた評価ポイントを算出する。
そして、評価部１４０は、訓練後に、音声認識の結果及び評価を表示して、患者への対応が適切であるか否かを示す事も可能である。たとえば、評価部１４０は、表示部１４に、問診項目、評価ポイント、評価データ２４０に含まれる音声認識のテキスト、正解若しくはＮＧワードが含まれるか、その他のアドバイス等を含めて一覧のように表示し、音声出力部から評価の音声等を出力させることが可能である。なお、この評価は、表示部１４のＨＭＤではなく、別の大画面のディスプレイ等に表示し、対応者及び評価者が同時に閲覧可能としてもよい。
これにより、本実施形態に係る医療技能訓練処理を終了する。
【0058】
以上のように構成することで、以下のような効果を得ることができる。
従来、特許文献１に記載されたような、従来の医療技能訓練用シミュレーターは、患者への問診用のＵＩは、特に制限のない自由入力方式、又は問診項目をリストから選択して入力する選択入力式のどちらか一方で実装していた。
しかしながら、自由入力方式の場合、音声入力による患者に対する声掛けを行っても、訓練と関係ない様々な単語を取得する可能性があるため、患者への訓練の評価に必要な応答を生成できずに、患者の不自然な応答を行うだけになってしまう可能性があった。
一方、選択入力式の場合、患者に対する指示を選択するだけであるため、そもそもどのような声掛けを行えばよいのか対応者に訓練させることができなかった。すなわち、音声入力を行ってもただ指示された音声を入力するだけとなる。さらに、単に選択だけできるようにすると、声掛けの内容に応じて選択肢を設ける必要があるため、選択肢が冗長的になって実用的にはならなかった。
従来、特許文献１に記載されたような、従来の医療技能訓練用シミュレーターは、患者への問診用のＵＩは、特に制限のない自由入力方式、又は問診項目をリストから選択して入力する選択入力式のどちらか一方で実装していた。
しかしながら、自由入力方式の場合、音声入力による患者に対する声掛けを行っても、訓練と関係ない様々な単語を取得する可能性があるため、患者への訓練の評価に必要な応答を生成できずに、患者の不自然な応答を行うだけになってしまう可能性があった。
一方、選択入力式の場合、患者に対する指示を選択するだけであるため、そもそもどのような声掛けを行えばよいのか対応者に訓練させることができなかった。すなわち、音声入力を行ってもただ指示された音声を入力するだけとなる。さらに、単に選択だけできるようにすると、声掛けの内容に応じて選択肢を設ける必要があるため、選択肢が冗長的になって実用的にはならなかった。
【0059】
これに対して、（１）本発明の実施の形態に係る医療技能訓練装置１は、患者へ対応する対応者の技能を訓練するための医療技能訓練装置であって、問診項目毎の応答データ２１０が格納された応答ＤＢ２００と、問診項目の選択結果を取得して、応答ＤＢ２００に格納された選択結果に対応する問診項目の応答データ２１０を選択する項目選択部１００と、対応者の音声信号を取得し、音声認識して認識データ２２０を出力する音声認識部１１０と、音声認識部１１０により音声認識された認識データ２２０に基づいて、項目選択部１００により取得された応答データ２１０に基づいた患者の応答を生成データ２３０として生成する応答生成部１２０と、応答生成部１２０により生成された患者の応答を出力する応答出力部１３０とを備えることを特徴とする。
【0060】
このように構成し、問診の訓練を行う際に、選択入力方式と自由入力方式を併用する。これにより、医療技能訓練用シミュレーターを用いた患者への問診において、音声入力により患者への声掛けした内容を、応答に適切に反映できる。すなわち、例えば、選択入力方式のユーザーインターフェイスで問診項目を選択させてから、自由入力方式のユーザーインターフェイスで対応者に声掛けを行わせることで、対応者に声掛けの内容自体を考えさせた上で、その問診項目に応じた訓練の評価に必要な応答を生成できる。さらに、自由入力方式により、患者に対する声掛けの内容を、患者の応答に反映させることができる。具体的には、問診項目毎に、患者への声掛けの内容を反映させた自然な応答を生成することができる。よって、単に自由言語処理を用いた際に、患者のアバターが現実とは異なるトンチンカンな応答をすることがなくなり、更に、対応者が選択肢をただ選択するのではない声掛けによる現実的な内容の訓練が可能となる。また、選択入力方式による冗長な選択肢を排除して、使い勝手のよい訓練用のユーザーインターフェイスを提供できる。結果として、実際の患者に対応する対応者の技能を効率的に訓練させることが可能となる。
【0061】
また、（２）本発明の実施の形態に係る医療技能訓練装置１では、応答データ２１０は、問診項目に応じたキーワードが設定され、応答生成部１２０は、認識データ２２０からキーワードを抽出し、抽出されたキーワードに応じた患者の応答を生成することを特徴とする（１）に記載の医療技能訓練装置であってもよい。
【0062】
このように構成することで、問診項目毎にキーワードを設定することができ、適切な応答を生成することができる。よって、結果として、項目毎に適切な内容の訓練が可能となり、対応者の技能を効率的に訓練させることが可能となる。
【0063】
また、従来、自由入力方式の場合、問診の項目間におけるキーワードの重複問題が存在した。たとえば、「症状の程度」と「症状の継続期間」を問う場合に、「どれくらい」というキーワードが重複する可能性があった。このため、患者のアバターが、意図しない応答等を行う可能性があった。このため、問診の項目数を減らすか、項目毎に設定するキーワードを限定的にする必要があった。
これに対して、本実施形態に係る医療技能訓練装置１は、問診項目の選択と音声入力を併用することで、同じキーワードが設定されていても、患者のアバターに適切な応答をさせることができる。具体的には、例えば、「症状の継続期間を問う」と「症状の程度を問う」の項目間で「どれくらい」のキーワードが重複していても、問診項目毎に適切な応答を生成できる。その結果、キーワードの重複を考慮しなくてもよくなり、訓練に使い勝手がよいユーザーインターフェイスを提供できる。
これに対して、本実施形態に係る医療技能訓練装置１は、問診項目の選択と音声入力を併用することで、同じキーワードが設定されていても、患者のアバターに適切な応答をさせることができる。具体的には、例えば、「症状の継続期間を問う」と「症状の程度を問う」の項目間で「どれくらい」のキーワードが重複していても、問診項目毎に適切な応答を生成できる。その結果、キーワードの重複を考慮しなくてもよくなり、訓練に使い勝手がよいユーザーインターフェイスを提供できる。
【0064】
また、（３）本発明の実施の形態に係る医療技能訓練装置１では、応答データ２１０は、患者の望ましくない応答を生じるキーワードであるＮＧワードが設定されることを特徴とする（１）又は（２）に記載の医療技能訓練装置であってもよい。
【0065】
このように構成し、キーワードにＮＧワードを設定しておくことで、音声入力の内容に基づき患者のアバターの応答や挙動を変化させることができる。たとえば、子供に聴診する際の声掛けとして、「聴診させて」「もしもしさせて」が考えられる場合、「聴診」のキーワードにヒットすると子供が聴診を拒否、「もしもし」のキーワードにヒットすると子供が聴診を受け入れてくれる等の制御が可能となる。これにより、実際の患者への適切な対応を学習させ、対応者のコミュニケーション技能を効率的に訓練させることが可能となる。
【0066】
また、（４）本発明の実施の形態に係る医療技能訓練装置１では、キーワードを設定するのが難しい問診項目の応答データ２１０の場合、どのような認識データ２２０でも患者が応答するフリーワードが設定されることを特徴とする（１）乃至（３）のいずれかに記載の医療技能訓練装置であってもよい。
【0067】
このように構成することで、音声認識に応じたキーワードを網羅的に設定するのが困難な場合でも、適切な応答を生成することができる。たとえば、キーワードを設定することが難しい自己紹介、問診項目が抽象的であり多様な声掛けを想定する必要がある場合、方言を想定する必要がある場合、専門用語のように音声認識で誤認識される可能性が高いキーワードを設定する必要がある場合等においても、正常に応答を生成することができる。すなわち、選択入力方式に加えて、あえてキーワードをフリーに設定することで、想定外のキーワードや音声認識で誤認識があった場合でも、訓練に適切な応答を生成できる。その結果、それぞれの問診項目に対して患者から期待する反応を得ることができる。よって、対応者に違和感を与えることなく患者に対する現実的な対応を学習させることができ、効率的な訓練が実現できる。
【0068】
また、（５）本発明の実施の形態に係る医療技能訓練装置１は、患者への対応者の対応を、認識データ２２０から抽出されたキーワードに基づいて評価する評価部１４０を更に備えることを特徴とする（１）乃至（４）のいずれかに記載の医療技能訓練装置であってもよい。
【0069】
このように構成することで、問診項目毎に、対応者の声掛けに含まれるキーワードに基づいて、適切に訓練を評価することができる。よって、訓練による効果を客観的に評価することができ、効率的な訓練が可能となる。
【0070】
また、（６）本発明の実施の形態に係る医療技能訓練装置１では、評価部１４０は、訓練後に、音声認識の結果及び評価を表示して、患者への対応が適切であるか否かを示すことを特徴とする（１）乃至（５）のいずれかに記載の医療技能訓練装置であってもよい。
【0071】
このように構成することで、声掛けを行って患者から反応を得られるのに加えて、音声認識の結果をテキストで表示する等して、問診のシミュレーション後に、声掛けした内容が適切かどうかをチェックすることができる。よって、客観的な評価により、訓練を効率化することができる。
【0072】
＜他の実施の形態＞
なお、上述の実施の形態では、医療技能訓練装置１に表示部１４が備えられている例について説明した。
しかしながら、表示部１４としてＨＭＤを外付けしたり、入力部１３のコントローラーも外付けしたりして、ＸＲで表示してもよい。この場合、表示部１４に対応者の視点映像を表示するようにしてもよい。
さらに、入力部１３を用いない構成であってもよい。この場合、カメラやジェスチャー等で各種処理を実行してもよい。
なお、上述の実施の形態では、医療技能訓練装置１に表示部１４が備えられている例について説明した。
しかしながら、表示部１４としてＨＭＤを外付けしたり、入力部１３のコントローラーも外付けしたりして、ＸＲで表示してもよい。この場合、表示部１４に対応者の視点映像を表示するようにしてもよい。
さらに、入力部１３を用いない構成であってもよい。この場合、カメラやジェスチャー等で各種処理を実行してもよい。
【0073】
また、上述の実施の形態では、制御部１０に各機能部が備えられている例を示したものの、いわゆるクラウド上のサーバーに各機能部を備えたサーバー上のサービスとして、医療技能訓練装置１として構成してもよい。この場合、対応者や評価者が自らのＰＣやスマートフォン等の端末のウェブアプリや専用アプリからこの医療技能訓練装置１にアクセスして、上述の実施形態と同様の機能を実現可能である。すなわち、医療技能訓練装置１を医療技能訓練システムとして提供してもよい。
【0074】
また、上述の実施の形態では、三次元ＣＧで訓練画面を生成した例について記載した。
しかしながら、医療現場の状況等に基づいてテキスト中心でシミュレーションを行うように構成することも可能である。また、音声入出力部１６から音声を出力しなくても、ナレーションを字幕表示させて、音声の出力をしなくても訓練を行うようにすることも可能である。
このように構成することで、柔軟な構成に対応可能となる。
しかしながら、医療現場の状況等に基づいてテキスト中心でシミュレーションを行うように構成することも可能である。また、音声入出力部１６から音声を出力しなくても、ナレーションを字幕表示させて、音声の出力をしなくても訓練を行うようにすることも可能である。
このように構成することで、柔軟な構成に対応可能となる。
【0075】
上述の実施形態において、ＮＧワードのキーワードを設定した場合、このＮＧワードに対応した応答をただ生成するように記載した。
しかしながら、ＮＧワードの判定回数をカウントして、特定回数を超えると、患者の応答が変化するような条件分岐のシークエンスが設定されていてもよい。たとえば、上述の子供の患者のアバターが、泣き叫んで、問診が終了となり、最低評価となる、といった別の挙動を起こすように制御してもよい。さらに、このような患者の「好意度（嫌悪度）」や問診の正解の数等を変数として設定して、挙動を変更させてもよい。
このように構成することで、実際の患者の挙動を模して、更に現実的、効率的に訓練させることができる。
しかしながら、ＮＧワードの判定回数をカウントして、特定回数を超えると、患者の応答が変化するような条件分岐のシークエンスが設定されていてもよい。たとえば、上述の子供の患者のアバターが、泣き叫んで、問診が終了となり、最低評価となる、といった別の挙動を起こすように制御してもよい。さらに、このような患者の「好意度（嫌悪度）」や問診の正解の数等を変数として設定して、挙動を変更させてもよい。
このように構成することで、実際の患者の挙動を模して、更に現実的、効率的に訓練させることができる。
【0076】
上述の実施形態においては、既に設定されたキーワードを用いる例について記載した。
しかしながら、音声入力の結果をデータベースとして蓄積、統計解析することで、問診項目毎にキーワードを自動生成、メンテナンスするように構成してもよい。
このように構成することで、より適切なキーワード、進行、状況を設定でき、シークエンスの制御も調整できる。よって、より効率的に訓練させることができる。
しかしながら、音声入力の結果をデータベースとして蓄積、統計解析することで、問診項目毎にキーワードを自動生成、メンテナンスするように構成してもよい。
このように構成することで、より適切なキーワード、進行、状況を設定でき、シークエンスの制御も調整できる。よって、より効率的に訓練させることができる。
【0077】
さらに、テキストの類似度を判定するＡＩを用いることで、患者に対する声掛けの内容について、キーワードだけではなく、テキストの内容から適正な声掛けであったか否かを判定することができる。
さらに、音声認識における音量やトーンのデータ等から、口調が適正であるかを判定してもよい。
これにより、より適切な対応ができているか否かを判定することができ、訓練を効率化することができる。
さらに、音声認識における音量やトーンのデータ等から、口調が適正であるかを判定してもよい。
これにより、より適切な対応ができているか否かを判定することができ、訓練を効率化することができる。
【0078】
上述の実施の形態においては、ＮＧワードに対する指示を行う例について記載した。
これに加えて、問診項目毎に、正解のキーワードであっても、より適切な患者への声掛け方法をサジェストするようにしてもよい。
これにより、更に訓練を効率化することが可能となる。
これに加えて、問診項目毎に、正解のキーワードであっても、より適切な患者への声掛け方法をサジェストするようにしてもよい。
これにより、更に訓練を効率化することが可能となる。
【0079】
また、上述の実施の形態では、医療用のシミュレーションとして、患者への対応について訓練する例について記載した。
しかしながら、これ以外のシミュレーション、例えば、コミュニケーションスキルを習得するための訓練全般に適用することも可能である。
しかしながら、これ以外のシミュレーション、例えば、コミュニケーションスキルを習得するための訓練全般に適用することも可能である。
【0080】
また、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
【符号の説明】
【0081】
１ 医療技能訓練装置
１０ 制御部
１１ 画像処理部
１２ 記憶部
１３ 入力部
１４ 表示部
１５ 接続部
１６ 音声入出力部
１００ 項目選択部
１１０ 音声認識部
１２０ 応答生成部
１３０ 応答出力部
１４０ 評価部
２００ 応答ＤＢ
２１０、２１０－１～２１０－ｎ 応答データ
２２０ 認識データ
２３０ 生成データ
２４０ 評価データ
３００、３０１、３０２、３０３、３０４、３０５ 画面例
１０ 制御部
１１ 画像処理部
１２ 記憶部
１３ 入力部
１４ 表示部
１５ 接続部
１６ 音声入出力部
１００ 項目選択部
１１０ 音声認識部
１２０ 応答生成部
１３０ 応答出力部
１４０ 評価部
２００ 応答ＤＢ
２１０、２１０－１～２１０－ｎ 応答データ
２２０ 認識データ
２３０ 生成データ
２４０ 評価データ
３００、３０１、３０２、３０３、３０４、３０５ 画面例
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】