特開 2024-125982 訓練システムおよび訓練方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024125982

(43)【公開日】2024-09-19

(54)【発明の名称】訓練システムおよび訓練方法

(51)【国際特許分類】

   G09B 9/00 20060101AFI20240911BHJP

   G09B 5/02 20060101ALI20240911BHJP

   G06F 3/01 20060101ALI20240911BHJP

   G06T 19/00 20110101ALI20240911BHJP

【ＦＩ】

G09B9/00 Z

G09B5/02

G06F3/01 510

G06T19/00 600

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023118917

(22)【出願日】2023-07-21

(31)【優先権主張番号】P 2023033978

(32)【優先日】2023-03-06

(33)【優先権主張国・地域又は機関】JP

【新規性喪失の例外の表示】新規性喪失の例外適用申請有り

(71)【出願人】

【識別番号】506158197

【氏名又は名称】公立大学法人 滋賀県立大学

(71)【出願人】

【識別番号】507157045

【氏名又は名称】公立大学法人福井県立大学

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】橋本 宣慶

(72)【発明者】

【氏名】岩谷 久美子

【テーマコード（参考）】

2C028

5B050

5E555

【Ｆターム（参考）】

2C028BA05

2C028BB01

2C028BC01

5B050AA10

5B050BA09

5B050BA11

5B050CA08

5B050DA04

5B050EA09

5B050EA19

5B050EA27

5B050FA02

5B050FA05

5B050FA08

5E555AA27

5E555AA62

5E555BA22

5E555BA38

5E555BB22

5E555BB38

5E555BC17

5E555BE17

5E555CA10

5E555CA44

5E555CB21

5E555CB65

5E555DA08

5E555DB32

5E555DC09

5E555FA00

(57)【要約】

【課題】作業者の技能・知識を効率よく向上させることができる。
【解決手段】本発明に係る訓練システム１は、仮想現実の模擬作業空間内での模擬作業を通じて、作業現場の作業者を訓練するための訓練システム１であって、仮想現実画像を表示する表示部１４と、作業者の視線の動きを検出する視線検出部１２と、を有する表示装置１０を備え、表示装置１０は、作業者の視線が所定時間、特定の個所の方向に向けられた場合に、上記特定の個所に対応する学習情報を表示部１４に出力する。
【選択図】図２

【特許請求の範囲】

【請求項1】

仮想現実の模擬作業空間内での模擬作業を通じて、作業現場の作業者を訓練するための訓練システムであって、
仮想現実画像を表示する表示部と、前記作業者の視線の動きを検出する視線検出部と、を有する表示装置を備え、
前記表示装置は、前記視線検出部により前記作業者の視線が所定時間、特定の個所の方向に向けられたことが検出された場合に、前記特定の個所に対応する学習情報を前記表示部に出力する、訓練システム。

【請求項2】

前記特定の個所が、特定の危険個所であり、
前記学習情報は、前記特定の危険個所に関する設問を含む、請求項１に記載の訓練システム。

【請求項3】

前記表示装置は、前記作業者の前記設問に対する回答を記憶する記憶部をさらに有する、請求項２に記載の訓練システム。

【請求項4】

前記記憶部は、訓練中の前記作業者の視線方向を記憶する、請求項３に記載の訓練システム。

【請求項5】

前記作業者が滞在する現実空間に設けられ、前記作業者が操作するロボットをさらに備え、
前記表示装置は、前記ロボットの動作に基づいて、模擬作業空間内を動作する仮想物体を前記表示部に出力する、請求項１に記載の訓練システム。

【請求項6】

前記ロボットは、人型ロボットである、請求項５に記載の訓練システム。

【請求項7】

前記表示装置は、前記仮想物体が模擬作業空間内で動作する際に、前記仮想物体に対応する学習情報を前記表示部に出力する、請求項５に記載の訓練システム。

【請求項8】

前記作業者の位置を検出する位置検出部と、
訓練終了後に、前記作業者のアバターを生成するアバター生成部と、
をさらに有し、
前記作業者のアバターは、前記視線検出部および前記位置検出部の情報に基づき、仮想現実の模擬作業空間内で動作する、請求項１に記載の訓練システム。

【請求項9】

前記作業者の位置を検出する位置検出部と、
前記作業者の動作を検出する動作検出部と、
訓練終了後に、前記作業者のアバターを生成するアバター生成部と、
をさらに有し、
前記作業者のアバターは、前記視線検出部、前記位置検出部および前記動作検出部の情報に基づき、仮想現実の模擬作業空間内で動作する、請求項１に記載の訓練システム。

【請求項10】

仮想現実の模擬作業空間内での模擬作業を通じて、作業現場の作業者を訓練するための訓練方法であって、
訓練中の前記作業者の視線方向を受信するステップと、
前記視線方向が、所定時間、特定の個所の方向に向けられたか否かを判断するステップと、
前記視線方向が、所定時間、前記特定の個所の方向に向けられていた場合に、仮想現実の模擬作業空間内に、前記特定の個所に対応する学習情報を出力するステップと、
を備える、訓練方法。

【請求項11】

仮想現実の模擬作業空間内に、前記作業者によるロボットの操作に基づいて動作する仮想物体を出力するステップをさらに備える、請求項１０に記載の訓練方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想現実の模擬作業空間内での模擬作業を通じて、作業現場での危険性を作業者に訓練するための訓練システム、および訓練方法に関する。

【背景技術】

【0002】

様々な分野において、人が実行する作業は多数存在する。これらの作業において、作業の効率や質は作業者の技能に大きく依存するため、それらを向上させる訓練は重要である。訓練の効率化の方法の１つとして、仮想現実の模擬作業空間内での模擬作業を通じて作業者を訓練する方法がある。特許文献１には、作業者を訓練するために、仮想現実の手術室内で医療処置をシミュレーションする訓練システムが開示されている。

【0003】

仮想現実の模擬作業空間内での模擬作業においては、危険性が高いものや消耗品などを実際には存在しない仮想物とすることができるため、訓練の安全性やコストパフォーマンスを向上させることができる。また、仮想現実の模擬作業空間内での模擬作業においては、現実では遭遇率の低い事例であっても訓練することが可能である。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第７０５５９８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

作業者に所要の技能・知識を習得させるための訓練においては、作業者に危険個所およびチェックすべきポイント等の情報を的確に提供することが重要である。従来の仮想現実を用いた訓練手法では、作業者に危険個所およびチェックすべきポイント等の情報を的確に提供し、作業者の技能・知識を効率よく向上させることについて未だ改善の余地がある。

【課題を解決するための手段】

【0006】

本発明に係る訓練システムは、仮想現実の模擬作業空間内での模擬作業を通じて、作業現場の作業者を訓練するための訓練システムであって、仮想現実画像を表示する表示部と、作業者の視線の動きを検出する視線検出部と、を有する表示装置を備え、表示装置は、作業者の視線が所定時間、模擬作業空間内の特定の個所の方向に向けられた場合に、上記特定の個所に対応する学習情報を表示部に出力することを特徴とする。

【0007】

これにより、訓練中の作業者が危険個所およびチェックすべきポイント等の特定の個所を注視した際、当該個所に関連する学習情報（例えば、過去の事故事例、適切な処理方法等）が表示される。その結果、作業者は、当該個所の学習情報を同時に習得でき、作業者の技能・知識を効率よく向上させることができる。また、特定の個所の発見にあわせて当該個所の学習情報が表示されるため、作業者にとって当該個所の学習情報が強く印象に残る。

【0008】

また、本発明に係る訓練システムにおいて、上記特定の個所が、特定の危険個所であり、訓練中の作業者が危険個所を注視した際に表示される学習情報は、設問を含んでいてもよい。

【0009】

これにより、当該危険個所について深く考える機会を作業者に与えることができる。その結果、作業者にとって当該危険個所がより強く印象に残り、作業者の技能・知識を効率よく向上させることができる。

【0010】

また、本発明に係る訓練システムにおいて、表示装置は、作業者の学習情報の設問に対する回答を記憶する記憶部をさらに有していてもよい。

【0011】

これにより、訓練終了後、作業者が学習情報の設問に対して、正しい回答を選択できているかどうかを明らかにできる。また、複数の作業者の回答を集計することで、作業者が間違いやすい点等を発見することもできる。

【0012】

また、本発明に係る訓練システムにおいて、表示装置は、訓練中の作業者の視線方向を記憶する、記憶部を有していてもよい。

【0013】

これにより、訓練終了後に、作業者が見落としていた危険個所や、特に注視していた危険個所を明らかにすることができる。また、訓練終了後に、作業者が確認すべき項目を正しい順序で視認できているかを明らかにすることができる。

【0014】

また、本発明に係る訓練システムは、作業者が滞在する現実空間に設けられ、作業者が操作するロボットをさらに備え、表示装置は、当該ロボットの動作に基づいて模擬作業空間内を動作する仮想物体を表示部に出力してもよい。

【0015】

これにより、作業者が実際の作業に近い状態で擬似体験することが容易になり、作業者の技能・知識を効率よく向上させることができる。また、医療現場等での作業においては、作業者の行うべき作業は、複雑かつ多岐にわたる。そのため、作業者により実際の作業に近い状態で擬似体験をさせるためには、複雑な動作を可能とする高性能なロボットが必要となる場合がある。一方、本発明の訓練システムは、現実空間に設けられたロボットが、実際に複雑な動作をせずとも、表示装置に複雑な動作をする仮想物体を表示することで、作業者がより実際の作業に近い状態で擬似体験することが可能になる。換言すると、本発明の訓練システムによれば、高性能なロボットを要せずに、作業者がより実際の作業に近い状態で擬似体験することが可能になる。

【0016】

また、本発明に係る訓練システムにおいて、表示装置は、当該仮想物体が模擬作業空間で動作する際に、当該仮想物体に対応する学習情報を表示部に出力してもよい。

【0017】

これにより、作業者にとって当該学習情報がより強く印象に残り、作業者の技能・知識を効率よく向上させることができる。

【0018】

また、本発明の訓練システムは、作業者の位置を検出する位置検出部と、訓練終了後に、前記作業者のアバターを生成するアバター生成部と、をさらに有し、当該アバターは、視線検出部および位置検出部の情報に基づき、仮想現実の模擬作業空間内で動作してもよい。

【0019】

これにより、訓練終了後にアバターを生成し、アバターを仮想現実の模擬作業空間内で動作させることで、様々な方向から訓練中の作業者の動作を確認できる。その結果、作業者に適切なフィードバックを与えることができ、作業者の技能・知識を効率よく向上させることができる。

【0020】

また、本発明の訓練システムは、作業者の位置を検出する位置検出部と、作業者の動作を検出する動作検出部と、訓練終了後に、作業者のアバターを生成するアバター生成部と、をさらに有し、当該アバターは、視線検出部、位置検出部および動作検出部の情報に基づき、仮想現実の模擬作業空間内で動作してもよい。

【0021】

これにより、訓練中の作業者の動作をより正確に再現したアバターを生成することができる。その結果、訓練終了後において、アバターを通じて訓練中の作業者の動作を確認することで、より適切なフィードバックを作業者に与えることができる。

【0022】

また、本発明に係る訓練方法は、仮想現実の模擬作業空間内での模擬作業を通じて、作業現場の作業者を訓練するための訓練方法であって、訓練中の作業者の視線方向を受信するステップと、視線方向が、所定時間、特定の個所の方向に向けられたか否かを判断するステップと、視線方向が、所定時間、特定の個所の方向に向けられていた場合に、仮想現実の模擬作業空間内に、特定の個所に対応する学習情報を出力するステップと、を備えることを特徴とする。

【0023】

また、本発明に係る訓練方法は、仮想現実の模擬作業空間内に、作業者によるロボットの操作に基づいて動作する仮想物体を出力するステップをさらに備えてもよい。

【発明の効果】

【0024】

本発明に係る訓練システムによれば、訓練中の作業者に危険個所やチェックすべきポイント等の情報を的確に提供でき、作業者の技能・知識を効率よく向上させることができる。

【図面の簡単な説明】

【0025】

【図1】実施形態の一例である訓練システムを示す概略図である。

【図2】実施形態の一例である訓練システムの構成を示すブロック図である。

【図3】実施形態の一例である訓練システムにおいて、訓練中の作業者の移動軌跡を作業空間上に描写した画像である。

【図4】実施形態の一例である訓練方法を示すフローチャートである。

【図5A】実施形態の一例である表示装置に表示される作業現場の画像である。

【図5B】実施形態の一例である表示装置に表示される作業現場の画像である。

【発明を実施するための形態】

【0026】

以下、図面を参照しながら、本発明の実施形態として、出産現場での助産師の作業を訓練するための訓練システムについて説明する。図１は、本実施形態の訓練システム１を示す概略図であり、図２は、訓練システム１の構成を示すブロック図である。

【0027】

図１および図２に示すように、本実施形態に係る訓練システム１は、仮想現実画像を表示する表示装置１０と、訓練中の作業者の動作を検出する動作検出部としての第１センサ３０と、作業者が訓練中に操作を行うコントローラ４０と、表示装置１０が取得した情報等を保存するサーバ７０とを備える。表示装置１０は、作業者の頭部に装着され、第１センサ３０は、本実施形態では作業者の腕および足に装着されている。

【0028】

また、訓練システム１は、現実空間において、訓練中の作業者が操作するロボット５０をさらに備える。詳しくは後述するが、本実施形態では、ロボット５０は、患者を想定した人型ロボットである。また、ロボット５０には、ロボット５０の動作を検出する第２センサ６０と、特定の匂いを発する匂い発生装置６１が設けられている。表示装置１０と、第１センサ３０およびコントローラ４０とは、有線または無線により接続されている。また、表示装置１０、ロボット５０およびサーバ７０は、それぞれ有線または無線により接続されている。なお、無線の種類は特に限定されず、例えば、Ｗｉ－Ｆｉ（登録商標）通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信、赤外線通信等がある。

【0029】

訓練システム１は、仮想現実の模擬作業空間内において、あらかじめ特定された危険個所を作業者が注視した際に、当該危険個所に関する過去の事故事例、適切な処理方法等の学習情報を表示装置１０に表示させるものである。これにより、作業者は、当該危険個所の学習情報を同時に習得でき、作業者の技能・知識を効率よく向上させることができる。また、訓練システム１は、作業者の危険個所の発見にあわせて当該危険個所の学習情報が表示されるため、作業者にとって当該危険個所が強く印象に残る。その結果、作業者の技能・知識を効率よく向上させることができる。

【0030】

図１および図２に示すように、表示装置１０は、仮想現実を表示する機能を少なくとも有する装置である。表示装置１０は、例えば、ヘッドマウントディスプレイ（ＨＭＤ）であり、訓練中の作業者の頭部に装着される。表示装置１０は、表示装置１０の制御を行う制御部１１と、訓練中の作業者の視線の動きを検出する視線検出部１２と、訓練中の作業者の位置を検出する位置検出部１３と、仮想現実の模擬作業空間を表示する表示部１４と、サーバ７０と通信する通信部１５とを有する。

【0031】

制御部１１は、プロセッサ１６および記憶部１７を有する。プロセッサ１６は、記憶部１７に保存されているアプリケーションプログラムを読み出して実行することにより、表示装置１０の制御を行う。記憶部１７は、仮想現実の表示制御に用いられるアプリケーションプログラム、危険個所に関連する学習情報を記憶している。また、記憶部１７は、訓練中の作業者の位置、視線方向および動作に関する情報等を記憶している。記憶部１７は、例えば、ＲＡＭ、ＲＯＭ、ハードディスク等により構成される。

【0032】

制御部１１は、仮想現実の模擬作業空間を生成する仮想空間生成部１８と、作業者の視線があらかじめ特定された危険個所に向いているか否か判定する視線判定部１９と、作業者が当該危険個所を注視した際に、当該危険個所に関する学習情報を生成する学習情報生成部２０と、訓練終了後に作業者のアバターを生成するアバター生成部２１とをさらに有する。

【0033】

仮想空間生成部１８は、視線検出部１２および位置検出部１３からの情報に基づき、仮想現実の模擬作業空間の画像を生成する。仮想現実の模擬作業空間は、３次元コンピュータグラフィックスによって表現することができる。また、仮想空間生成部１８は、３次元音響（立体音響）処理を行って、３次元的な音の方向、距離、拡がりなどの再現する機能を有していてもよい。

【0034】

また、仮想空間生成部１８は、仮想現実の模擬作業空間内において、ロボット５０に対応する仮想物体（例えば、患者モデル）を生成する。そして、仮想空間生成部１８は、第２センサ６０が検出したロボット５０の動作に基づいて、当該仮想物体を模擬作業空間内で動作させる。例えば、現実空間において、作業者が、ロボット５０としての人型ロボットの体の向きを反転させた際、仮想空間生成部１８は、仮想物体としての患者モデルの体の向きを反転させる。これにより、作業者が実際の作業に近い状態で擬似体験することが容易になり、作業者の技能・知識を効率よく向上させることができる。

【0035】

視線判定部１９は、視線検出部１２からの情報に基づき、作業者の視線があらかじめ特定された危険個所に向けられているか否かを判定する。そして、作業者が当該危険個所を見続ける時間が閾値を超えた場合に、作業者が当該危険個所を注視していると判定する。なお、作業者が当該危険個所を注視していると判定する閾値は、危険個所ごとに変えてもよい。また、視線判定部１９は、作業者が当該危険個所を見続ける時間が閾値以下の場合であっても、作業者が複数回にわたって当該危険個所を見ており、作業者が当該危険個所を見た時間の合計が閾値を超えた場合、作業者が当該危険個所を注視していると判定してもよい。

【0036】

学習情報生成部２０は、視線判定部１９が、作業者があらかじめ特定した危険個所を注視していると判定した場合に、当該危険個所に関連する学習情報を記憶部１７から読み出し、当該学習情報を表示部１４に表示させる。ここで、学習情報は、当該危険個所に関する設問を含むことが好ましい。学習情報に設問を含むことで、当該危険個所について深く考える機会を作業者に与えることができる。また、学習情報生成部２０は、作業者の理解度に応じて、読み出す学習情報を変えてもよい。例えば、学習情報生成部２０は、作業者の先の設問に対する回答が間違っていた場合、難易度の低い設問を含む学習情報を記憶部１７から読み出してもよい。作業者の理解度に適した学習情報を提供することで、作業者の技能・知識を効率よく向上させることができる。

【0037】

また、学習情報生成部２０は、前述の仮想物体が、仮想現実の模擬作業空間内で動作する際に、当該仮想物体に対応する学習情報を記憶部１７から読み出し、当該学習情報を表示部１４に表示させてもよい。また、学習情報生成部２０は、当該仮想物体の動作内容に基づいて、表示部１４に表示させる学習情報を変えてもよい。例えば、現実空間において、作業者が、ロボット５０としての人型ロボットの体の向きを反転させ、仮想物体としての患者モデルの体の向きが反転した際、学習情報生成部２０は、患者の体の向きに関する学習情報を表示部１４に表示させてもよい。これにより、作業者が模擬作業を行う際、当該仮想物体に関する学習情報がより強く印象に残る。その結果、作業者の技能・知識を効率よく向上させることができる。

【0038】

アバター生成部２１は、訓練終了後、仮想現実の模擬作業空間内に作業者のアバターを生成する。このアバターは、仮想現実の模擬作業空間内において、訓練中の作業者の行動を再現する。具体的には、現実空間における作業者の移動および視線の動きに対応して、仮想現実の模擬作業空間内を動作する。訓練終了後にアバターを生成し、アバターを仮想現実の模擬作業空間内で動作させることで、様々な方向から訓練中の作業者の動作を確認できるため、作業者に適切なフィードバックを与えることが容易になる。なお、本実施形態では、アバター生成部２１は表示装置１０の制御部１１に設けられているが、後述するサーバ７０の制御部７１に設けられていてもよい。

【0039】

また、アバター生成部２１が生成するアバターは、作業者に装着された第１センサ３０が検出した情報に基づいて、仮想現実の模擬作業空間内で動作してもよい。例えば、アバター生成部２１が生成するアバターは、現実空間における作業者の腕の動きを再現してもよい。これにより、訓練中の作業者の動作をより正確に再現したアバターを生成することができる。

【0040】

視線検出部１２は、作業者の視線の動きを検出する。視線検出部１２は、例えば、赤外線センサにより構成される。作業者の目の周囲に赤外線センサを配置し、赤外線センサによって測定される瞳孔の大きさ、位置を測定することで、作業者の視線の動きを検出できる。なお、作業者の視線の動きを検出する方法は、赤外線センサを用いた方法に限定されない。例えば、カメラを用いて作業者の視線を検出してもよい。視線検出部１２は、訓練中に検出した作業者の視線方向に関する情報を順次制御部１１へ送信する。

【0041】

位置検出部１３は、仮想現実の模擬作業空間における作業者の位置を検出する。位置検出部１３は、表示装置１０またはコントローラ４０の動きに基づいて、仮想空間における作業者の位置を検出する。位置検出部１３は、例えば、表示装置１０が発する複数の赤外線を読み取り、現実空間内における表示装置１０の位置および傾きを検出してもよい。また、位置検出部１３は、例えば、カメラ型のセンサを用いて作業者の位置および傾きを検出してもよい。なお、位置検出部１３により検出される位置は、仮想現実の模擬作業空間における座標系で表されてもよいし、現実空間における座標系で表されてもよい。位置検出部１３は、視線検出部１２と同様に、訓練中に検出した作業者の位置に関する情報を順次制御部１１へ送信する。

【0042】

表示部１４は、仮想空間生成部１８で生成された画像を表示する。表示部１４は、例えば、有機ＥＬディスプレイ（ＯＥＬ）、液晶ディスプレイ（ＬＣＤ）などにより実現できる。本実施形態では、３次元のモデルが表示される。

【0043】

通信部１５は、無線通信機能を備えた通信インターフェースであって、第１センサ３０、コントローラ４０、ロボット５０、およびサーバ７０と通信する。通信部１５は、例えば、記憶部１７に保存されている訓練中の作業者の位置、視線方向および動作に関する情報をサーバ７０へ送信する。また、通信部１５は、例えば、設問に対する作業者の回答情報をサーバ７０へ送信する。なお、サーバ７０への送信は、訓練中に順次行ってもよいし、訓練終了後に一括して行ってもよい。

【0044】

第１センサ３０は、訓練中の作業者の動作を検出する。第１センサ３０は、例えば、作業者の腕および足に装着され、加速度を検出することにより、作業者の腕および足の動きを検出する。第１センサ３０により訓練中の作業者の動作を検出することで、アバター生成部２１が訓練中の作業者の動作をより正確に反映したアバターを生成できる。第１センサ３０は、取得した作業者の動作に関する情報を表示装置１０へ送信する。表示装置１０への送信は、訓練中に順次行ってもよいし、訓練終了後に一括して行ってもよい。なお、本実施形態では、作業者に装着された第１センサ３０により、訓練中の作業者の動作を検出しているが、作業者の動作を検出する方法はこれに限定されない。例えば、作業者が滞在する現実空間にカメラ等の撮影機器を設け、作業者の動作を撮影し、解析することにより作業者の動作を検出してもよい。

【0045】

コントローラ４０は、表示部１４に表示された画像を操作するためのコントローラである。具体的には、設問を含む学習情報が表示部１４に表示された際に、作業者は、コントローラ４０の操作により設問に回答する。コントローラ４０は、表示装置１０とは分離して配置され、作業者により手で把持されて操作される。例えば、作業者がコントローラ４０を把持した手を動かすことにより、表示部１４に表示されるポインタがコントローラ４０の動きに追従して画像上を移動する。

【0046】

ロボット５０は、作業者が滞在する現実空間に設けられている。ロボット５０は、前述の仮想物体と連動して動作する。本実施形態では、ロボット５０は、患者を想定した人型ロボットである。また、ロボット５０として人型ロボットを用いる場合、当該人型ロボットの触感および匂いは、実際の患者を模擬したものであることが好ましい。この場合、作業者が実際の作業に近い状態で擬似体験することが容易になり、作業者の技能・知識を効率よく向上させることができる。

【0047】

ロボット５０は、ロボット５０の制御を行う制御部５１と、ロボット５０を駆動させる駆動部５２と、表示装置１０およびサーバ７０と通信する通信部５３とを有する。また、ロボット５０には、ロボット５０の動作を検出する第２センサ６０が設けられている。詳しくは後述するが、本実施形態では、第２センサ６０は、加速度センサである。また、ロボット５０には、匂いを発生させる匂い発生装置６１が設けられている。

【0048】

制御部５１は、プロセッサ５４、記憶部５５、および姿勢解析部５６を有する。プロセッサ５４は、記憶部５５に保存されているプログラムを読み出して実行することにより、ロボット５０の制御を行う。記憶部５５は、ロボット５０の動作を行うプログラム等が記憶されている。ロボット５０の動作としては、例えば、傷口等に手を当てる動作、手足をばらつかせる動作、寝返りを行う動作、首を持ち上げる動作等が挙げられる。また、記憶部５５には、作業者がロボット５０に対して行う特定の操作が記憶されている。詳しくは後述するが、作業者がロボット５０に対して、当該特定の操作を行ったと判定された場合、制御部５１は、ロボット５０に対して、当該特定の操作に対応する動作をさせる。例えば、作業者がロボット５０の手足を持ち上げた場合、制御部５１は、ロボット５０の手足をばたつかせる。

【0049】

姿勢解析部５６は、第２センサ６０からの情報に基づき、ロボット５０の姿勢を解析する。姿勢解析部５６は、例えば、複数の第２センサ６０が検出した加速度に基づき、ロボット５０としての人型ロボットの傾きを算出することで、人型ロボットの体の向きを判定する。なお、本実施形態では、姿勢解析部５６は、ロボット５０に設けられているがこれに限定されない。姿勢解析部５６は、例えば、サーバ７０に設けられていてもよい。

【0050】

駆動部５２は、制御部５１からの指令に基づき、ロボット５０を駆動させる動力源である。駆動部５２は、例えば、モータ等のアクチュエータである。

【0051】

通信部５３は、表示装置１０に設けられた通信部１５と同様に、無線通信機能を備えた通信インターフェースであって、表示装置１０、第２センサ６０、匂い発生装置６１、およびサーバ７０と通信する。通信部５３は、姿勢解析部５６により解析されたロボット５０の動作情報を表示装置１０へリアルタイムで送信する。

【0052】

第２センサ６０は、ロボット５０の動作を検出する。第２センサ６０は、検出したロボット５０の動作に関する情報をロボット５０へ送信する。本実施形態では、第２センサ６０は、人型ロボットの腕および足にそれぞれ設けられた加速度センサである。第２センサ６０は、加速度を検出することにより、例えば、人型ロボットの腕および足の動きを検出する。第２センサ６０は、常時ロボット５０へ情報を送信してもよいし、ロボット５０の動作が検出された場合にのみ、ロボット５０へ情報を送信してもよい。

【0053】

匂い発生装置６１は、制御部５１からの指令に基づき、訓練中の作業者に対して、匂いを発する。本実施形態では、匂い発生装置６１は、人型ロボットの腹部に設けられている。匂い発生装置６１は、例えば、匂い要素（例えば、匂いビーズ、または匂いカートリッジ等）を有し、空気を送り出すことにより、匂いを拡散させるディフューザ装置等である。匂い発生装置６１が発する匂いとしては、例えば、患者の出血、母乳、糞尿などに類似した匂いが挙げられる。匂い発生装置６１を設けることで、作業者が実際の作業に近い状態で擬似体験することが容易になり、作業者の技能・知識を効率よく向上させることができる。なお、匂い発生装置６１は、ロボット５０の一機能として構成されていてもよい。

【0054】

サーバ７０は、例えば、コンピュータから構成され、無線により表示装置１０と接続される。サーバ７０は、情報処理を行う制御部７１と、表示装置１０と通信する通信部７２と、キーボードやマウス等の入力部７３と、ディスプレイ等の表示部７４とを有する。

【0055】

制御部７１は、プロセッサ７５および記憶部７６を有する。記憶部７６は、表示装置１０の通信部１５から送信される訓練中の作業者の位置・視線方向に関する情報、および設問に対する作業者の回答情報が保存される。また、制御部７１は、訓練中の作業者の移動軌跡を生成する軌跡生成部７７と、設問に対する作業者の回答情報を集計する回答集計部７８とをさらに有する。

【0056】

軌跡生成部７７は、例えば図３に示すように、記憶部７６に保存されている位置検出部１３で検出された訓練中の作業者の位置情報に基づき、訓練中の作業者の移動軌跡８０を作業空間上に描写した画像を作成する。なお、図３に示す画像は、作業空間を上方から見た画像ではあるが、これに限定されず、作業空間をどの方向から見た画像であってもよい。訓練中の作業者の移動軌跡を作業空間上に描写することで、訓練中の作業者の動作を客観的に確認でき、作業者に適切なフィードバックを与えることができる。

【0057】

回答集計部７８は、作業者によって選択された設問に対する回答を設問ごとに集計する。回答集計部７８によって集計された結果は、記憶部７６に保存される。また、回答集計部７８は、設問に対する正答率等から作業者の理解度を判定する機能を有していてもよい。また、回答集計部７８は、複数の作業者の設問に対する回答を集計し、評価する機能を有していてもよい。

【0058】

次に、図４および図５を参照しながら、本発明の訓練方法の一例について説明する。図４は、本発明の訓練方法を示すフローチャートである。図５は、訓練中に仮想現実の模擬作業空間内に表示される画像の一例である。なお、本実施形態では、図５Ａに示すように、分娩監視装置９０が危険個所に設定されている。

【0059】

図４に示すように、ステップＳ１において、訓練中の作業者の視線方向の情報を取得する。

【0060】

次に、ステップＳ２において、作業者の視線方向があらかじめ指定された特定の危険個所に所定時間（例えば、１秒）向けられているか否か判断する。作業者の視線方向が、危険個所に所定時間向けられている場合（ステップＳ２：Ｙｅｓ）、ステップＳ３に進み、当該危険個所に該当する設問を含む学習情報９１（図５Ｂ参照）を仮想現実の模擬作業空間内に表示する。一方、ステップＳ２において、作業者の視線方向が、特定の危険個所に向けられていない場合（ステップＳ２：Ｎｏ）、ステップＳ４に進む。

【0061】

次に、ステップＳ４において、作業者およびロボット５０の姿勢を解析する。そして、解析した結果に基づき、作業者がロボット５０の操作を行っているかを判断する（ステップＳ５）。作業者がロボット５０の操作を行っていると判断された場合（ステップＳ５：Ｙｅｓ）、作業者が、ロボット５０に対して予め記憶された特定の操作（例えば、手足を持ち上げる動作、首を持ち上げる動作等）を行っているかを判断する（ステップＳ６）。作業者が当該特定の操作を行っていると判断された場合（ステップＳ６：Ｙｅｓ）、ステップＳ７に進む。一方、作業者がロボット５０の操作を行っていないと判断された場合（ステップＳ５：Ｎｏ）、および作業者が当該特定の操作を行っていると判断された場合（ステップＳ６：Ｎｏ）、ステップＳ８に進む。

【0062】

ステップＳ７において、作業者によるロボット５０の操作に基づいて動作する仮想物体を、仮想現実の模擬作業空間内に表示する。これにより、作業者が実際の作業に近い状態で擬似体験することが容易になり、作業者の技能・知識を効率よく向上させることができる。また、上記の仮想物体には、学習情報９１が含まれていてもよい。

【0063】

次に、ステップＳ８において、訓練の内容に合わせてロボット５０が現実空間を動作する。ロボット５０の動作としては、例えば、手足をばらつかせる動作、傷口等に手を当てる動作等が挙げられる。また、ロボット５０の動作として、所定の匂いを発生させてもよい。次に、ステップＳ９において、上記のロボット５０の動作に基づいて動作する仮想物体を、仮想現実の模擬作業空間内に表示する。

【0064】

次に、ステップＳ１０において、訓練が終了しているか否か判断する。作業者が訓練の終了を判断し、訓練終了の操作を行っている場合（ステップＳ１０：Ｙｅｓ）、本フローを完了させる。一方、訓練が終了していない場合（ステップＳ１０：Ｎｏ）、ステップＳ１に戻る。

【0065】

上記の通り、本実施形態の訓練システム１は、仮想現実の模擬作業空間内において、訓練中の作業者が、あらかじめ特定された危険個所を作業者が注視した際に、当該危険個所に関する学習情報を表示装置１０に表示させるものである。これにより、作業者は、当該危険個所の学習情報を同時に習得でき、作業者の技能・知識を効率よく向上させることができる。

【0066】

なお、本発明は上記の実施形態に限定されるものではなく、本願の特許請求の範囲に記載された事項の範囲内において種々の変更や改良が可能であることは勿論である。例えば、上記の実施形態では出産現場を想定した訓練システム１であるが、これに限定されない。本発明の訓練システム１は、例えば、出産以外の医療、建設、工場等の作業現場を想定したものであってもよい。なお、分娩前後では母子ともに危険度が高いため、出産現場での助産師には些細な危険も予知して、細やかに対処することが求められる。そのため、本発明の訓練システム１は、出産現場を想定した助産師の作業の訓練に好適である。

【0067】

また、上記の実施形態における表示装置１０の制御部１１、およびロボット５０の制御部５１の機能の少なくとも一部は、サーバ７０の制御部７１が有していてもよい。また、上記の実施形態では、訓練システム１は、１つのロボット５０を含むが、複数のロボット５０を含んでいてもよい。例えば、訓練システム１は、褥婦を想定した人型ロボットと、新生児を想定した人型ロボットとを含んでいてもよい。

【符号の説明】

【0068】

１ 訓練システム、１０ 表示装置、１１ 制御部、１２ 視線検出部、１３ 位置検出部、１４ 表示部、１５ 通信部、１６ プロセッサ、１７ 記憶部、１８ 仮想空間生成部、１９ 視線判定部、２０ 学習情報生成部、２１ アバター生成部、３０ 第１センサ（動作検出部）、４０ コントローラ、５０ ロボット、５１ 制御部、５２ 駆動部、５３ 通信部、５４ プロセッサ、５５ 記憶部、 ５６ 姿勢解析部、６０ 第２センサ、６１ 匂い発生装置、７０ サーバ、７１ 制御部、７２ 通信部、７３ 入力部、７４ 表示部、７５ プロセッサ、７６ 記憶部、７７ 軌跡生成部、７８ 回答集計部、８０ 移動軌跡、９０ 分娩監視装置（危険個所）、９１ 学習情報

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】