(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023022877
(43)【公開日】2023-02-16
(54)【発明の名称】教育VR用コンテンツ提供プログラム及び医療教育VR用コンテンツ提供システム
(51)【国際特許分類】
G09B 5/02 20060101AFI20230209BHJP
G06Q 50/20 20120101ALI20230209BHJP
【FI】
G09B5/02
G06Q50/20
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2021127931
(22)【出願日】2021-08-04
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 臨床麻酔,2020年臨時増刊号 Vol.45通巻546号 真興交易株式会社医書出版部
(71)【出願人】
【識別番号】521280604
【氏名又は名称】久保 浩太郎
(74)【代理人】
【識別番号】100097559
【弁理士】
【氏名又は名称】水野 浩司
(74)【代理人】
【識別番号】100123674
【弁理士】
【氏名又は名称】松下 亮
(74)【代理人】
【識別番号】100173680
【弁理士】
【氏名又は名称】納口 慶太
(72)【発明者】
【氏名】久保 浩太郎
【テーマコード(参考)】
2C028
5L049
【Fターム(参考)】
2C028AA10
2C028BB01
2C028BB09
2C028BC05
2C028BD01
5L049CC34
(57)【要約】
【課題】治療中においては、どこを常に注目して治療を進めていけばよいかを一目で把握できていく教育VR用コンテンツを提供できる教育VR用コンテンツ提供システムを得る。
【解決手段】医療教育VR用コンテンツサイト400と、指導者側端末110と、学習者側端末とを高速通信ネットワーク(5G)で接続した医療教育VR用コンテンツ提供システムである。医療教育VR用コンテンツサイト400のサーバは、HMDの動き情報を取得し、視野画像を決定し、決定した視野画像に注目している部位の視線方向を示すポインタアイコンを視野画像に重ね、これをポインタ付注視画像として高速通信ネットワーク(5G)によって指導者側端末110又は医療学習者側端末に送信して画面に表示させる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
頭に装着されたヘッドマウントディスプレィの動きに基づいて視線方向を教育VR用画像に表示するプログラムであって、
コンピュータを、
教育VR用画像を記憶手段に記憶する手段、
前記ヘッドマウントディスプレィの動き情報を一定間隔で読み込む手段と、
前記ヘッドマウントディスプレィの動き情報に基づいて前記教育VR用画像に視線中心を定めて視野を決定する手段、
前記決定した視野画像に対して注視点を入力させる手段、
前記注視点の入力に伴って、前記決定した視野画像の中心座標及び注目点の座標を求める手段、
前記視野画像の中心座標を起点とし、この中心座標と前記注目点の座標との間に、注目している部位の視線方向を示すポインタアイコンを前記視野画像に重ね、これをポインタ付注視画像として前記記憶手段に生成する手段、
前記視野の決定に伴って、この視野範囲に該当する教育VR用画像又は前記ポインタ付注視画像を画面に表示させる手段、
としての機能を実行させる教育VR用コンテンツ提供プログラム。
【請求項2】
教育VR用コンテンツサイトと、指導者側端末と、学習者側端末とを高速通信ネットワークで接続した医療教育VR用コンテンツ提供システムであって、
前記指導者側端末が、
前記教育VR用コンテンツサイトのサーバにアクセスして、ヘッドマウントディスプレィの動きに基づく教育VR用コンテンツにおける視野画像に、その動き情報に基づく視野方向を示すアイコンを前記視野画像の中心を基準にして重ね、これをポインタ付注視画像として前記教育VR用コンテンツサイトのサーバに記憶する手段を備え、
前記学習者側端末は、
前記前記教育VR用コンテンツサイトのサーバにアクセスして前記ポインタ付注視画像をヘッドマウントディスプレィで3D表示する手段を備え、
前記医療教育VR用コンテンツサイトのサーバは、
前記指導者側端末又は医療学習者側端末にヘッドマウントディスプレィの動きに対応する前記教育VR用コンテンツの視野画像を送信して表示させる手段と、
前記指導者側端末又は医療学習者側端末からの視野画像における注視点の受信に伴って、前記視野画像の中心と前記注目点との間に、注目している部位の視線方向を示すポインタアイコンを前記視野画像に重ね、これをポインタ付注視画像として送信して表示させる手段と、
を有することを特徴とする医療教育VR用コンテンツ提供システム。
【請求項3】
前記医療教育VR用コンテンツサイトのサーバは、
前記医療教育VR用画像を記憶した第1の記憶手段と、
前記指導者側端末又は医療学習者側端末からのヘッドマウントディスプレィの動き情報を取得する手段と、
前記ヘッドマウントディスプレィの動き情報に基づいて前記医療教育VR用画像に視線中心を定めてその医療教育VR用画像における視野を決定し、これを第2の記憶手段に記憶する手段と、
前記指導者側端末又は医療学習者側端末と前記高速通信ネットワークで通信を行なって 前記第2の記憶手段に記憶された視野画像を送信して表示させる手段と、
前記視野画像の送信に伴って前記決定した視野画像に対して注視点を送信させる手段と、
前記注視点の受信に伴って、前記決定した視野画像の中心座標及び注目点の座標を求める手段と、
前記視野画像の中心座標を起点とし、この中心座標と前記注目点の座標との間に、注目している部位の視線方向を示すポインタアイコンを前記視野画像に重ね、これをポインタ付注視画像として前記第2の記憶手段に生成する手段と、
前記視野の決定に伴って、前記第1の記憶手段からこの視野範囲に該当する医療教育VR用画像又は前記第2の記憶手段の前記ポインタ付注視画像を前記高速通信ネットワークによって前記指導者側端末又は医療学習者側端末に送信して前記画面に表示させる手段と
を有することを特徴とする請求項1記載の医療教育VR用コンテンツ提供システム。
【請求項4】
前記高速通信ネットワークには医療撮影現場端末が接続されており、
前記医療教育VR用コンテンツサイトのサーバは、
前記医療撮影現場端末からの全周囲画像を受信し、この全周囲画像に基づいて前記医療教育VR用画像を生成して前記第1の記憶手段に記憶する手段と、
を有することを特徴とする請求項3記載の医療教育VR用コンテンツ提供システム。
【請求項5】
前記ヘッドマウントディスプレィは、3D表示機能を備えていることを特徴とする請求項2、3又は4記載の医療教育VR用コンテンツ提供システム。
【請求項6】
前記視野画像の決定は、
前記ヘッドマウントディスプレィの姿勢、位置を含むベクトル情報を検出し、該ベクトル情報毎にこのベクトル情報の姿勢、位置に応じた方向の視線方向を前記医療教育VR用画像に定義して視線中心を定め、この視線中心に前記ベクトル情報に基づく所定範囲を定義し、この所定範囲内とする、ことを特徴とする請求項2乃至5のいずれかに記載の医療教育VR用コンテンツ提供システム。
【請求項7】
前記指導者端末は、評価者端末であり、
前記医療教育VR用コンテンツサイトのサーバは、
この評価者端末からの要求に伴って、前記第2の記憶手段に機億されている前記教育VR用画像と前記ポインタ付注視画像とを読み出して画面に表示させる手段とを有することを特徴とする請求項2乃至6のいずれかに記載の医療教育VR用コンテンツ提供システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医療教育VR用コンテンツ提供システムに関する。
【背景技術】
【0002】
VR(Virtual Reality)は、「人工現実感」又は「仮想現実」と称されるものであり、VRによって限りなく実体験に近い体験が得られる。
従来は、危険性の高い緊急時の状況を、学習を目的に実際に再現することは困難であったが、VR(Virtual Reality)を応用すれば、安全に再現することが可能となり、様々なシーンを想定して学習されている。
【0003】
すなわち、より現実に近い理想的な状況を何度も繰り返し体験、共有することが可能となる。このため、普段から医療チーム内において緊急時におけるシミュレーション等を各々が行うことが可能となる。
従って、VRによる疑似体験を重ねることで医療関係の学習者の経験値もあがり、実際の緊急事態でも冷静に初期対応を実施することが期待でき、例えば歯科治療の安全性の向上に貢献できる可能性があると考えられている。
【0004】
例えば、特許文献1には、歯科診療実習装置(HMD)に、模擬的に各患者の年齢や性別などのプロフィー ル情報、カルテ情報、X線CT撮影された三次元CT撮影情報、インプラント治療におけるフィクスチャを埋入するためにあらかじめ設計した削孔情報やインプラント等の三次元形状データなどをメモリ(インターネットで別に取得してもよい)に記憶しておく。
【0005】
そして、模擬患者体をHMDで撮影し、このHMDが撮影した三次元視野映像を画面に表示して、さらにHMDがこれらを重畳表示しながら模擬実習させることが開示されている。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、医療は高度な専門性、経験等を必要とするにも係わらず、特許文献1は模擬学習のコンテンツを三次元画像(3D)させて学習させるものであり、どこに視線方向を定めて注視するべきかを学習できない。
【0008】
例えば、一般歯科医院におけるインプラント治療を含めた歯科治療の全身管理では、全身麻酔における麻酔管理の特殊性としては、術野と気道領域が一致していることや、注水と行った作業があるための呼吸管理が特に重要になる。
手術の安全は、かかわっている医療スタッフ全員で守るものであり、そのためには自分の職種の役割だけではなく、広い視野を持って様々なことを調整していきながら対応していくことが重要である。
【0009】
そのためには、日ごろからチーム医療におけるトレーニングやシミュレーション、コミニュケーションが重要であると考えられる。
従って、治療中においては、どこを常に注目して治療を進めていけばよいかを一目で把握できていく学習が望ましい。
【課題を解決するための手段】
【0010】
上記課題を解決するために本発明に係る教育VR用コンテンツ提供プログラムは、
頭に装着されたヘッドマウントディスプレィの動きに基づいて視線方向を教育VR用画像に表示するプログラムであって、
コンピュータを、
教育VR用画像を記憶手段(メモリ)に記憶する手段、
前記ヘッドマウントディスプレィの動き情報を一定間隔で読み込む手段と、
前記ヘッドマウントディスプレィの動き情報に基づいて前記教育VR用画像に視線中心を定めて視野を決定する手段、
前記決定した視野画像に対して注視点を入力させる手段、
前記注視点の入力に伴って、前記決定した視野画像の中心座標及び注目点の座標を求める手段、
前記視野画像の中心座標を起点とし、この中心座標と前記注目点の座標との間に、注目している部位の視線方向を示すポインタアイコンを前記視野画像に重ね、これをポインタ付注視画像として前記記憶手段に生成する手段、
前記視野の決定に伴って、この視野範囲に該当する教育VR用画像又は前記ポインタ付注視画像を画面に表示させる手段としての機能を実行させる。
【0011】
また、本発明に係る教育VR用コンテンツ提供システムは、
教育VR用コンテンツサイトと、指導者側端末と、学習者側端末とを高速通信ネットワークで接続した医療教育VR用コンテンツ提供システムであって、
前記指導者側端末が、
前記教育VR用コンテンツサイトのサーバにアクセスして、ヘッドマウントディスプレィの動きに基づく教育VR用コンテンツにおける視野画像に、その動き情報に基づく視野方向を示すアイコンを前記視野画像の中心を基準にして重ね、これをポインタ付注視画像として前記教育VR用コンテンツサイトのサーバに記憶する手段を備え、
前記学習者側端末は、
前記前記教育VR用コンテンツサイトのサーバにアクセスして前記ポインタ付注視画像をヘッドマウントディスプレィで3D表示する手段を備え、
前記医療教育VR用コンテンツサイトのサーバは、
前記指導者側端末又は医療学習者側端末にヘッドマウントディスプレィの動きに対応する前記教育VR用コンテンツの視野画像を送信して表示させる手段と、
前記指導者側端末又は医療学習者側端末からの視野画像における注視点の受信に伴って、前記視野画像の中心と前記注目点との間に、注目している部位の視線方向を示すポインタアイコンを前記視野画像に重ね、これをポインタ付注視画像として送信して表示させる手段と、
を備えたことを要旨とする。
【発明の効果】
【0012】
以上のように本発明によれば、ヘッドマウントの画面に注視するべき部位又は機材の視線方向がポインタで見ているVR画像に表示される。
このため、治療中においては、どこを常に注目して治療を進めていけばよいかを一目で把握できていく学習ができる。
【図面の簡単な説明】
【0013】
【
図1】本実施の形態の医療学習コンテンツ提供システムの概略構成図である。
【
図2】本実施の形態の教育画像生成処理部430(プログラム)の概略構成図である。
【
図3】指導者側でのポイント付注視画像を生成する場合のシーケンス図である。
【
図4】学習者側の学習を説明するシーケンス図である。
【
図5】学習者を試験(評価ともいう)する場合について
図5のシーケンス図である。
【
図6】本実施の形態の教育VR用コンテンツの説明図である。
【
図8】他の実施の形態の教育VR用コンテンツ(1)の説明図である。
【
図9】他の実施の形態の教育VR用コンテンツ(2)の説明図である。
【発明を実施するための形態】
【0014】
本願発明の概要を初めに説明する。なお、歯科を代表にして説明する。
本発明は、(A)歯科の診療環境や歯科口腔外科の麻酔管理、(B)医学教育とVRの応用、(C)VRコンテンツを応用した学習と評価方法等に適用できる。
【0015】
<(A)歯科の診療環境や歯科口腔外科の麻酔管理>
厚生労働省の2017年の調査では、歯科診療所の35%に当たる24,014施設でインプラント治療が行われていると言われている。
2007年5月には東京都内の歯科診療所でインプラント治療の受けた70歳の女性が手術中の動脈損傷がもとで死亡するという事故が起きた。これにより、歯科医師の救命能力に関する歯科模型に対して診療器具を作用させて模擬診療する問題が提言され、医療安全及び救命医療の技術取得のための体制が確保されてきた。
【0016】
ある研究者らによる報告によると、一般歯科医院におけるインプラント治療を含めた歯科治療の全身管理では、全身麻酔における麻酔管理の特殊性としては、術野と気道領域が一致していることや、注水と行った作業があるための呼吸管理が特に重要になる。
【0017】
ドレーピングすることによって通常の歯科診療とは大幅に異なり、患者の表情や様子を即座に把握しづらいといった状況や、緊急時では、さらに通常の歯科診療と異なる状況となるため、医療スタッフの習熟度の違い等からスムーズな対応が困難な場合も考えられる。
【0018】
著者が行った研究では、歯科医療スタッフは患者に問題が発生した場合に、歯科医師毎に指示を求めると行った傾向があった。
しかし、実際にこういった緊急事態に遭遇した場合、歯科医師自身が狼狽してしまう可能性も考えられる。
手術の安全は、かかわっている医療スタッフ全員で守るものであり、そのためには自分の職種の役割だけではなく、広い視野を持って様々なことを調整していきながら対応していくことが重要である。
【0019】
そのためには、日ごろからチーム医療におけるトレーニングやシミュレーション、コミニュケーションが重要であると考えられる。
すなわち、本発明は歯科の診療環境や歯科口腔外科の麻酔管理のための学習に適用させることができる。
【0020】
<(B)医学教育とVRの応用>
従来では学生を一か所に集めて講義をするという教育様式が一般的であったが、コロナ渦の現在ではオンラインによる教育が推進している状況であり、オンラインによる講義では座学が中心となってきている。
医療という専門的で高度な技術や知識を要する職種では、体験を伴う訓練が重要であると考えられ、オンラインによる座学中心の講義では臨床学習と比較して医療件の経験不足するという懸念がある。
【0021】
VRによる疑似体験は、例えばある時点で失敗したとしても任意の過去までさかのぼって繰り返し訓練を行うことが可能であったり、純粋な教育項目を含む理想的な体験を準備することが可能であるという点では、現実体験より優れていると考えられる。
実際の臨床学習では、タイミングや地域によって病例が偏ったり、専門的すぎる病例になってしまうと行った場合もあり、医学教育の標準化といった観点からもVRは教育ツールの有効な手段の一つとして考えられる。
【0022】
近年では360度の全天周映像カメラやVRコンテンツを視聴するHead Mount Displa(以下、HMDという)も身近になり、視覚映像だけであれば簡単に記録、再生、共有ができるようになっている。
すなわち、HMDを用いたVR医学教育を学習者のレベルに応じて学習させる。
<(C)VRコンテンツを応用した学習と評価方法>
360度カメラを用いて緊急時を想定したVRコンテンツを試作し、HMD等を装着した学習者が映像を閲覧しながら研修をするようにする。
【0023】
評価者はPCに表示される学習者の視線映像を見ることにより、学習者が緊急時に配慮すべき患者の状態が把握できているかなどについて確認ができる。
その際用いた評価シートには、それぞれの行動に対して注意すべきチェックポインタが記載されており、評価者が均一的な評価が行えるようになる。
次に、本発明に用いるVRコンテンツの概要を説明する。
【0024】
(制作した教育用VRコンテンツ)
(1)歯科治療中の偶発症に関する対応
(2)口腔外科での静脈内鎮静化での麻酔管理
の2つをテーマにVRコンテンツを制作した(
図10)。
(1)の映像に関しては、過換気病候群とアナフイラルシーショックについて作成した。過換気病候群は、軽病な偶発病で致死的な転機は迎えないが、患者が激しい呼吸苦等を訴えるなどするために歯科医師が狼狽してしまい。敏速に適切な対応ができない場合もあると考えられる。
【0025】
一方、アナフイラキシーショックは放置すると致命的な転機を迎えるため、必ず早期のアドレナリンの筋肉注射等の対応をとる必要がある。しかし、歯科医師にとってアナフイラキシーショックは頻繁に遭遇する偶発症ではなく、これまでは書籍や教育用動画、実習などを通じて自身のイメージトレーニングで学んでいた。
そこで、両者とも診断のポインタや処置内容を確認できるチェックポインタを映像に組み込みながらVRコンテンツを作成した。
【0026】
例えば、アナフイラキシーショックのシナリオでは、歯科医師が口腔内に局所麻酔を行ったのち、しばらくすると患者が気分不快を訴える。それを受けて歯科医師が患者をショック位にし、生体モニタを装着してバイタルサインのモニタリングを開始する。
【0027】
通常、血管迷走神経性反射であれば血圧は自然に回復するが、その後も血圧低下を認め、前腕部に発赤の皮膚病状を認めたためアナフイラキシーショックを疑いエピペンを筋肉注射うるというシナリオである。
ポインタとしては、血管迷走神経性反射との鑑別診断や、そのために重要となる皮膚症状について察知できているか、また理解できているかを問うシナリオ構成となっている。
【0028】
評価者は別モニタに映る学習者の視線映像から、患者が精神的な緊張や局所麻酔の痛みのために手に力が入っている様子、麻酔後の気分不快を訴えるまでの患者の表情、前腕部の皮膚の発赤などの病状について見逃さずに視線を送れているかを確認できるようにした。
学習者が視線を送れていれば、そこから何を検知したか、もしくは理解したかを筆記試験や口頭試問で評価者が確認できるようにする。
【0029】
例えば、患者が過度に緊張した状態で三叉神経領域である口腔内に強い痛み刺激を与えると、血管迷走神経性反射を起こす可能性があることや、アナフイラキシーショックを疑う場合、他にどのような症状が起こり得るか、また、映像中ではエピペントレーナなのでシリンジの色が白いがエピペンの成人用のシリンジの色は黄色と緑のどちらか、など周辺知識についても問うようにしている。
【0030】
このようにVRで偶発症患者の対応を疑似体験してもらいながら、チェックポインタごとに学習者が視線を向けていたが、またその状況を正確に把握して理解していたかを評価者が口頭や筆記試験で確認を行うことができる。
【0031】
(2)のVRに関しては、歯科医院での静脈内鎮静下によるインプラント挿入術中に、経度の呼吸抑制が起こった場合を想定して映像制作した。歯科医における麻酔管理の特殊性として術野と気道領域が一致していることや、注水といった治療操作があるため、呼吸管理が特に重要となる。
【0032】
現在ではインプラント挿入術は一般歯科でも多く行われるようになったが、全身麻酔法よりも静脈兄鎮静法での全身管理が多い傾向がある。
ドレーディングすることによって、通常の歯科診療とは異なる患者の表情や様子を即座に把握しづらいといった状況は、通常の歯科診療の官業とは大幅に異なるため、歯科医師のみならず歯科生成等の歯科医療スタッフも患者の状況に配慮したりバイタルサインのモニタリングなどに精通することが重要である。
【0033】
VRすることで周囲の状況の映像も見ることができるので、手術の進行を見ながら各医療スタッフの役割や動きを学ぶことも可能となる。
歯科医療スタッフに対して行った研究では、経験が少ない歯科医療スタッフはVRコンテンツ内での視野が狭く、患者の顔周辺に視線が集まりがちなのに対し、普段からモニタリングや全身状態に配慮している歯科医療スタッフは視野が広く、全体的に視線を送る傾向があった。
【0034】
視野が広いということは、様々な視覚情報を得ることができるはずである。VRで目配りのポインタを知ることによって、実際の医療現場でも危険な状況を察知することに役立つことを期待している。
【0035】
(映像制作上の注意点)
映像の制作上の注意点としては、HMDの中で学習者が視線を動かした場合では、評価者はどこに中止しているかがわかり難い、どこを注視しているか学習者、評価者ともにわかるポインタを画面上に表示するようにプログラムするか(
図6)、あえて離れた位置に生体モニタなどを配置して、首を振るような形で意識的に見ないと学習者が生体モニタを見ることができないような場所に配置するようにした。
【0036】
VRは、より臨場感のある状況を体験できるが、初期研修など学習者の知識不足している場合、起きている現象を理解することができず十分な得られない可能性がある。
そこで、VRコンテンツの映像を元に2Dの映像を作成し、画面上に状況、知識を整理するのに必要な解説を加えた教育用コンテンツを別に作成した。
【0037】
VRの映像に加えて別画面でモニタの状況を映し出し、常に観察ができるようにし、注目すべき場面ではチェックマークをだしたり、解説のスライドを差し込んだりする等の工夫をしている(
図9(b)参照)。
通常こういうコンテンツを制作する場合では複数台のカメラやカメラマンが必要となるが、360度カメラの場合では少ない台数で済むので、必要なスペースや人員が少なくてすみ、手術室という清潔環境に適していると考えられる。
【0038】
(撮影や編集時の注意点)
360度カメラの機材に関しては、現在さまざまない機種が流通している。4Kの高解像度をもっていても、実際には拡大して視聴するために解像度が低くなったり、映像編集の際にPCを使うことができず、スマートフォンのみの編集となる機種もあり、用途に応じて選択することが重要である。
【0039】
360度カメラでは1個の魚眼レンズ付きカメラ、もしくは複数のカメラで全方向を撮影し、その映像を(画像1のように)16:9の平面映像に変形(圧縮、エンコード)して記憶する。
そして、再生するときには、その逆に変形(伸長、デコード)させ、元々の全方向映像を仮想的に再現する。
【0040】
全方向の広い(=情報量が多い)映像を16:9の平面映像に詰め込むため、その平面画像の解像度が低い(情報量が少ない)と、見るときにその一部分を拡大して見るため、ますます情報量が少なく(=画質が悪く、荒く)なる。画質の低下を予防するには、記録する16:9映像をできるだけ高解像度に設定する必要がある。
【0041】
現時点では4K画質が最高レベルだが、データ量が多くなるため再生や編集時にPC等によってはスムーズに見ることができなくなる可能性がある。
また、カメラの正面を主に見せたい被写体にできるだけ近づけて設置することで、見るときに拡大する比率を下げて画質の低下を避ける配置が必要である。
【0042】
さらに、学習者が視聴するデバイスがHMDなのか、スマートフォンなのかでもフォントのサイズやスタイルによって見え方が異なってくる。学習者にどのようなデバイスで視聴させるかも、編集上で重要な事項である。
編集に際しては撮影に使用したメーカー、機種の方式に対応していることが重要である。
【0043】
(VRコンテンツの配信)
医療情報であるので、配信におけるセキュリティは重要である。歯科における教育用コンテンツの配信サイトはいくつか存在する。
また、HMDにダウンロードする方法もある。より強い没入感を得ることができるので、より臨場感のある体験がきたいされる。しかし、デバイスが高額なために、コストがかかることが懸念される。
【0044】
多人数に配信するのであれば、学習者各自が所有するスマートフォンをVRゴーグルにマウントする方法がよい。
【0045】
(コンテンツの高速配信)
今後の課題であるが、VRにより医療現場と教育現場の場をリアルタイムで結びつけることで、現任訓練(OJT)に近い形での教育が可能となると考えられる。
医療現場で使われる高精度な画像を送受信するためには、大容量で高速な通信環境が不可欠であり、そのあめには5G(第5世代移動通信システム)のような遅延がない通信方法を用いる。
【0046】
医師の大都市集中、地方の医師不足が深刻な課題となっている。遠隔地にいる専門医とリアルタイムで意見交換等をすることにより、地位格差のない医学教育に寄与するものと考えられる。
以下に、実施の形態を説明する。
【0047】
<実施の形態>
本実施の形態は、学習者は医療関係者(歯科医師、医師、助産師、看護師、歯科衛生士、歯科技工士、理学療法士、作業療法士、救急救命士、等)の内で経験が浅い歯科医師へのVR学習を一例として説明する。また、本実施の形態では表示部等の画面に表示されたコンテンツを映像と称し、コンピュータ内で処理されるものは画像と称して説明する。
【0048】
図1は本実施の形態の医療学習コンテンツ提供システムの概略構成図である。このシステムは
図1に示すように、指導者側100と、医療学習者側(以下、学習者側200という)と、医療現場側(教育用演技)300と、歯科教育用コンテンツサービスサイト400(以下、サイト400という)等とを通信ネットワーク500(インタネット又は専用ネットワーク)とで接続している。
【0049】
指導者側100は、指導者端末110(パソコン)と、指導医師(以下、指導者MDiという)に装着されたHMD(以下、指導者用HMD130という)と、HMD用コントローラ(以下、指導者側HMDコントローラ120という)等を備えている。
医療現場側300は、VR用カメラ(360度カメラ:ドームカメラ)310で医療現場を撮影し、図示しないパソコン、サーバでこの撮影画像をサイト400に送信している。
【0050】
サイト400は、サイト側サーバ410と、図示しない担当者端末等を備えている。また、サイト側サーバ410は、送受信処理部420(プログラム)と、教育画像生成処理部430(プログラム)と、サイト側メモリ440と、教育VR用メモリ460等を備えている。
学習者側200は、5G対応のスマートフォン(以下、スマフォ270という)と、パソコン280(モニタでも構わない)等で構成されている。
【0051】
また、学習者Aiの頭にはHMD(以下、学習者用HMD240という)が装着されている。また、学習者用HMD240にコントローラ(以下、学習者用HMDコントローラ260という)が接続されている。
さらに、学習者用HMD240に学習者注視画像生成処理部230と、HMD画像表示処理部220と、メモリ250等を備えている。メモリ250には、教育VR用コンテンツ等が読み込まれる。
HMD画像表示処理部220は、メモリ250の教育VR用コンテンツ(画像)を3D表示処理する。学習者注視画像生成処理部230は、後述するポインタ定義プログラムであり、学習者用HMDコントローラ260が示すポインタPiを3D表示する画像に定義する。なお、スマフォをマウントする形式のHMDの場合は、学習者注視画像生成処理部230及びHMD画像表示処理部220は不要である。
【0052】
図2は本実施の形態の教育画像生成処理部430(プログラム)の概略構成図である。
図2に示すように、教育画像生成処理部430は、視野方向画像読込部12と、ポインタ始点終始定義部14と、ポインタ付画像生成部15と、画像登録部15等を備えている。
視野方向画像読込部12は、学習者側200又は指導者側100からのHMDの動き(姿勢、位置を含む)を読み込み、このHMDの動きに基づいて視線方向を求めてサイト側メモリ440の教育VR用コンテンツに視野範囲Siを定義する。
【0053】
この視野範囲Siの画像を視野画像と称する。指導者側100による視野画像の場合は、指導者側視野画像KGiと称し、学習者側200による場合は、評価試験者視野画像LGiと称する。また、学習者Aiが評価者によって評価を受ける場合には、受験者視野画像EGiと称する。これらの画像には、画像を識別するために後述する関連情報が付加されている。
【0054】
読み込んだ視野画像は画像メモリ11に読み出すと共に、学習者側200又は指導者側100に送信(5G)して表示(3D又は2D)させる。
ポインタ始点終始定義部14は、学習者側200又は指導者側100からのアクセスによってポインタ定義プログラム(ポインタの終点定義用)を送信してダウンロードさせる。
そして、学習者側200又は指導者側100からのポインタ終点Pbiを受信する毎に画像メモリ11の視野画像(KGi、LGi、又はEGi)の上にフレームを定め、このフレームの中心座標をポインタ始点Pai(視野画像の中心座標)として定義すると共に、フレームにポインタ終点Pbiを定義(視野画像の座標)する。
【0055】
ポインタ付画像生成部15は、レイヤの中心座標(以下、ポインタ始点Paiと称する)と、ポインタ終点Pbiとを結ぶ直線を求め、この直線に基づいた指導者注視方向ポインタアイコンPiをレイヤに定義する。この画像を注視方向ポインタ画像PWiと称する。
そして、画像メモリ11の視野画像に注視方向ポインタ画像PWiを重ね、これをポインタ付注視画像PGi(HGi、PWi)としてサイト側メモリ440に記憶して、送信させる。
【0056】
画像登録部17は、ポインタ付注視画像PGiに関連付けられている教育VR用メモリ460の教育VR用コンテンツ(教育VR画像:360度)をサイト側メモリ440に複写(登録)すると共に、メモリ16にポインタ付注視画像PGiを複写(登録)する。これらの画像を総称してポインタ付教育VR用コンテンツMPiと称する。
そして、学習者側200(受験者側)又は評価者側からのポインタ付教育VR用コンテンツMPiの要求に伴って、ポインタ付教育VR用コンテンツMPiをその端末に送信する。
【0057】
次に、医療学習コンテンツ提供システムの動作をシーケンス図によってさらに詳細に説明する。
初めに指導者側教育VR画像の生成について説明する。
【0058】
(指導者側教育VR画像の生成)
図3は指導者側でのポイント付注視画像を生成する場合のシーケンス図である。なお、本実施の形態では、指導者側パソコン110、指導者側MDIコントローラ120、指導者側MDI130を総称して指導者側端末と称する。
【0059】
なお、ポイント付注視画像の生成の前に基本情報の登録を説明する。
図3に示すように、学習者側200は、スマフォ270又はパソコン(本実施の形態ではスマフォとする)を操作してサイト400のサイト側サーバ410にアクセス(ID、パスワード)して(d10)、学習者基本情報をサイト側メモリ440に記憶する(d11)。
【0060】
この学習者基本情報は、学習者名と、専門種名、年齢、性別、電話番号、メールアドレス、登録日時、学習者側HMDアドレス等よりなる。
具体的には、学習者側200のスマフォ270とサイト側サーバ410とが通信ネットワーク500を介して通信接続し、サイト側サーバ410の送受信処理部420がサイト側メモリ440に記憶する。
【0061】
一方、医療現場300(演技)の担当者は、パソコン(図示せず)を操作してサイト400(サイト側サーバ410)にアクセスし、医療教育現場基本情報をサイト側メモリ440に記憶する(d12、d14)。
【0062】
教育現場基本情報は、現場名(例えば、大学名、クリニック名等)と、登録者名と、専門種名と、年齢と、性別と、学習名(インプラント、筋肉注射、麻酔、・・・、パソコンアドレス)と、年月日時刻、教育現場画像名(教育VR画像名又は教育VR用コンテンツ名ともいう)等よりなる。
【0063】
一方、指導者側100の指導者MDiは、指導者側パソコン110を操作してサイト400(サイト側サーバ410)にアクセスして、指導者基本情報をサイト側メモリ440に記憶する(d16、d18)。
【0064】
指導者基本情報は、指導者名と、専門名と、所属名と、経験年数と、年齢、性別、登録年月日時刻、パソコンアドレス、指導者側HMDアドレス等よりなる。
医療現場側(教育用演技)300は、パソコンを操作して教育VR用コンテンツ(教育VR画像)をサイト側サーバ410に送信する(d20)。この教育VR用コンテンツには、撮影現場名、教育VR用コンテンツ名(歯科治療における偶発症、麻酔、・・)、患者年齢、性別、患者身長、患者名、持病・・)、撮影時刻、カメラ番号等が関連付けられている。
【0065】
なお、教育VR用コンテンツ(教育VR画像)の一例を
図10(a)、
図10(b)に示す。
図10(a)は歯科治療中の偶発症に関する対応のための教育VR画像(教育VR用コンテンツ)であり、
図10(b)は、口腔外科での静脈内鎮静下の麻酔管理の教育VR画像(教育VR用コンテンツ)である。
【0066】
サイト側サーバ410の送受信処理部420は、医療現場側300からの教育VR用コンテンツ(教育VR画像)を受信し、これを教育VR用メモリ460に記憶する(d24)。
教育VR用コンテンツ(教育VR画像)は、例えば歯科治療中の偶発症に関する対応のコンテンツ、口腔外科での静脈内鎮静化での麻酔管理のコンテンツ等である。
【0067】
一方、指導者側100の指導者MDiは、指導者パソコン110を操作してサイト400(サイト側サーバ410)にアクセスして教育VR用コンテンツを取得して(d26)、指導者側HMD130に表示(初期画像ともいう)する(d28)。
【0068】
初めは、教育VR用画像を予め定められた所定方向から見たときの所定視野各の画像を指導者側パソコン110に出力して指導者側HMD130に表示させるのが好ましい。
前述の教育VR用コンテンツの取得には、具体的には、指導者名、指導者コード、教育用コンテンツ名、コンテンツ種類、撮影年月日時刻等(以下、総称して指導者教育VR用要求情報という)と、ポインタ生成の有無を入力するための画面をサイト側サーバ410より送信させて入力する。
【0069】
この入力情報をサイト側サーバ410の送受処理部420が受信して、サイト側メモリ440の指導者基本情報と照合して受け付ける。
そして、登録されている指導者の場合は、指導者教育VR用要求情報を教育画像生成処理部430に出力して起動させる。
【0070】
教育画像生成処理部430は、指導者教育VR用要求情報に含まれている教育用コンテンツ名、コンテンツ種類、撮影現場名、撮影年月日時刻等に該当する教育VR用コンテンツ(教育VR用画像)を教育VR用メモリ460より引き当て、この教育VR用コンテンツ(教育VR用画像)を送受処理部420に出力して、指導者パソコン110に送信する(パケット、5G)。
【0071】
このとき、ポインタ生成の要求が含まれている場合は、前述の教育VR用コンテンツ(教育VR用画像)の送信にあっては、後述するポインタを生成させるための制御プログラム(ポインタ生成プログラムともいう)と、指導者教育VR用要求情報番号と、教育VR用コンテンツの番号(コンテンツ識別コード)等を付加して送信する。
【0072】
一方、指導者側HMD130のコンピュータは、プログラムに基づいてジャイロセンサの姿勢θi及び位置Mi(総称して指導者側HMD動き情報Eiともいう)を一定間隔(例えば10msec、50msec、100msec、200msec、・・)で指導者側パソコン110に出力している。
【0073】
指導者側パソコン110は、指導者側HMD130の指導者側HMD動き情報Ei(姿勢θi、位置Mi、指導者側HMD130の識別情報、年月日時刻等)を受信する毎にサイト側サーバ410に送信する(d30)。
【0074】
この送信には、指導者教育VR用要求情報番号と、教育VR用コンテンツ番号と年月日時刻等(以下、総称して指導者側VR識別情報という)を付加する。
サイト側サーバ410の送受処理部420は、この指導者側HMD動き情報Eiを教育画像生成処理部430に出力する。
【0075】
教育画像生成処理部430は、指導者側HMD動き情報Eiを読み込み、この指導者側HMD130の動きに基づく視野方向で視野点を定義してこの視野点を中心にして姿勢θi及び位置Miに基づいて、予め定められている視野範囲Siを定義する。
【0076】
そして、この視野範囲Siの画像を指導者側視野画像KGi(指導者側VR識別情報を付加)として生成する(d32)。この処理は
図2に示す視野方向画像読込部12が行っている。
【0077】
そして、送受処理部420によって指導者側パソコン110に送信(5G)する(d34)。
指導者側パソコン110は、指導者側視野画像KGiを受信する毎に、指導者側HMD130に出力してそのディスプレイに表示(2D又は3D用でも構わない)させる(d36)。
【0078】
指導者MDiは、この指導者側視野画像KGiが注視する部分がある場合は、HMDコントローラ120を操作してポインタの終点を決定させるために所定位置にカーソルを移動させて、終点Pbiを定義する(d38)。
【0079】
この終点Pbiの情報(画面の画像における座標と、指導者側視野画像KGiの番号と、指導者側VR識別情報とを含む)を指導者側HMD130が指導者側パソコン110に出力し、指導者側パソコン110はサイト側サーバ410に送信する(d40)。
【0080】
サイト側サーバ410の送受処理部420は、ポインタ終点Pbiを教育画像生成処理部430に出力し、教育画像生成処理部430はポインタ付注視画像生成処理を行う(d42)。
【0081】
(ポインタ付注視画像生成処理(d42))
ポインタ付注視画像生成処理については
図2を用いて説明する。
図2に示すポインタ始点終点定義部14は、ポインタPiを生成するためのフレームレイヤ(視野範囲のサイズに相当する)を画像メモリ11の指導者側視野画像KGiに上に定めると共に視野方向画像読込部12に対して現在の指導者側視野画像KGiを画像メモリ11に読み込みさせる(記憶)。
【0082】
さらに、表示されている指導者側視野画像KGiにフレームレイヤ(フレーム)を定義する。
そして、ポインタ終点Pbiが指導者MDiによって指定されたかどうかを判定している。
ポインタ終点Pbiは、指導者側HMDコント―ラ120によって、指定させるのが好ましい。具体的にはカーソルを指導者が注視する方向とする所定の終点位置に移動させ、マウスクリックで十字マーク等(星印、〇印等)を表示する。これをポインタ終点Pbiの定義と称する。
【0083】
このポインタ終点Pbiの定義に伴って、表示されている指導者側視野画像KGiの中心の座標(以下、中心Paiと記載する)を求め(教育VR用コンテンツでの位置)、かつポインタ終点Pbiを求め画像メモリ11のフレームにこの中心Paiとポインタ終点Pbiを定義する(
図11(a)参照)。そして、ポインタ始点注視画像定義部14がポインタ付画像生成部15を起動する。
【0084】
ポインタ付画像生成部15は、指導者側視野画像KGiを指導者注視画像HGiとし、レイヤに、中心Paiとポインタ終点Pbiとを結ぶ指導者注視方向を示すポインタPi(アイコン)を定義する(
図11(b)参照)。このフレーム画像を注視方向ポインタ画像PWiと称している。
【0085】
この注視方向ポインタ画像PWiには、教育VR用コンテンツ番号、教育用コンテンツ名、指導者側HMD動き情報Ei、年月日時刻、始点Pai、終点Pbi等が関連付けられている。
【0086】
そして、ポインタ付画像生成部15は、画像メモリ11の指導者注視画像HGiに注視方向ポインタ画像PWiを重ね、これをポインタ付注視画像PGi(HGi、PWi)としてサイト側メモリ440に記憶する。
【0087】
このとき、教育VR用コンテンツ番号、指導者側視野画像KGiの中心Pai(フレームの中心:ポインタ付注視画像PGiの中心)、指導者名、年月日時刻等の関連情報が関連付けられる。これを総称してポインタ付注視画像情報PJi(ポインタ付注視画像PGi、教育VR用コンテンツ番号、指導者側視野画像KGiの中心Pai(フレームの中心)、指導者名、年月日時刻等)と称する。
【0088】
図6は、指導者側HDM130又は指導者側パソコン110に表示されたポインタ付注視画像PGiを示している。
例えば、指導者側視野画像KG11が指導者注視画像HG1とされて、指導者注視方向ポインタアイコンPiが定義されて指導者注視方向ポインタ画像PW1となりポインタ付注視画像PG1とされ、・・・指導者側視野画像KG51が指導者注視画像HG10とされて、指導者注視方向ポインタアイコンPiが定義されて指導者注視方向ポインタ画像PW10となりポインタ付注視画像PG10とされた例である。
【0089】
この指導者側視野画像KGi(KG1、KG2、・・・)と、ポインタ付注視画像PGi(PG1、PG2、・・・)とは順次、指導者パソコン110に出力されて表示(
図6、
図7参照)される。
【0090】
図6(a)は、患者が気分不快を訴えた場合の注視する視線方向のポインタを重ね表示した例である。
図6(b)はエピペントトレーナー(登録商標)で筋肉注射する場面であり、学習者が注視する部位をポインタPiで示している画像である。すなわち、患者の表情や筋肉注射に注意を向ける場所を学習させることができる。
【0091】
具体的には、メモリ16のポインタ付注視画像PGi(教育用コンテンツ情報の番号、コンテンツ名、Pai、Pbi、ポインタコード、年月日時刻、端末アドレス・・・)を送受信処理部420に出力して指導者側パソコン110に送信させる(d43)。この送信は5Gで行う。
【0092】
そして、指導者側パソコン110は、指導者側HMD130にこのポインタ付注視画像PGiを表示(3D)する(d44)。
【0093】
そして、指導者側HMD130、指導者側パソコン110は前述のd30に戻って(d46)、指導者側HMD130の動きに対応した画像を表示させて上記のようにポインタPi(画像中心を始点として終点側に広がる三角状のアイコンが好ましい)を定義する。
なお、
図6等においては、アイコンは縞状にして示している。縞状にしないで単にベタ塗り的なアイコンでもよい。
また、教育画像生成処理部430の画像登録部17は、ポインタ付注視画像PGiに関連付けられている教育VR用コンテンツ(教育VR画像:360度)をサイト側メモリ440に複写(登録)すると共に、メモリ16にポインタ付注視画像PGiを複写(登録)する(d41)。
【0094】
なお、ポインタ付注視画像PGiの複写にあたっては、同一視野のポインタ付注視画像PGiをこのポインタ付注視画像PGiに書き換えるのが好ましい。これらの画像を総称してポインタ付教育VR用コンテンツMPiと称する。
【0095】
すなわち、経験豊富な指導医による診断のポインタや処置内容を確認できるチェックポインタを画像を組み込んだ教育VR用コンテンツを提供できている。また、VRすることで周囲の状況の映像も見ることができるので、手術の進行を見ながら各医療スタッフの役割や動きを学ぶことも可能となる。
【0096】
また、経験が少ない歯科医療スタッフは、このVRコンテンツを見ることによって、普段からモニタリングや全身状態に配慮している歯科医療スタッフは視野が広く、全体的に視線を送る傾向があるということを把握できる。
【0097】
さらに、VRで目配りのポインタを知ることによって、実際の医療現場でも危険な状況を察知することに役立つことになる。
【0098】
(学習側)
次に学習者側のHMDを用いての学習を
図4のシーケンス図を用いて説明する。
学習側200については、教育コンテンツを学習コンテンツと称して説明する。
図4に示すように、学習者はスマフォ270を操作して、サイト400にアクセスして学習者コンテンツ入手画面(図示せず)を取得する。
【0099】
例えばこの画面に学習者コンテンツ名又はポインタ付注視画像PGi(教育用コンテンツ情報の番号、コンテンツ名、Pai、Pbi、ポインタコード、年月日時刻、端末アドレス・・・)若しくは試験の有無を入力し、これらの情報を学習者側VR要求情報としてサイト側サーバ410に送信する(d50)。
【0100】
サイト側サーバ410の送受処理部420は、学習者側VR要求情報に含まれている学習名を有する学習者基本情報がサイト側メモリ440に記憶されているかどうかを判断し、記憶されている場合は、この要求を受け付ける。
【0101】
そして、学習者側VR要求情報に含まれている画像種類を判断する。例えば、ポインタ付注視画像PGi(教育用コンテンツ情報の番号、コンテンツ名、Pai、Pbi、ポインタコード、年月日時刻、端末アドレス・・・)を要求している場合は、この学習者側VR要求情報に含まれてる学習コンテンツ名の学習VRコンテンツをサイト側メモリ440から読みだして送信させる(d52)。
【0102】
一方、学習者側HMD240は一定間隔毎に学習者HMD動きFi(姿勢、位置)を検出している(d54)。
学習者側HMD240は、この学習者HMDの動きFiを検出する毎に、スマフォ270に出力する(d55)。
【0103】
スマフォ270は、学習者HMDの動きFi(姿勢、位置)をサイト側サーバ410に送信(5G)する(d56)。
サイト側サーバ410は、学習者HMDの動きFi(姿勢、位置)に該当するの送受処理部420は、サイト側メモリ440に登録されているポインタ付教育VR用コンテンツMPiにおける視野を求め(d42の処理と同様)、この視野のポインタ付注視画像PGi(PG1、PG2、・・)、指導者側視野画像KGi(KG1、KG2、・・・)を読み出し(d58)、スマフォ270に送信する(d60)。
【0104】
視野の範囲の画像がポインタ付注視画像PGi(PG1、PG2、・・)の場合その画像又は指導者側視野画像KGi(KG1、KG2、・・・)の場合は、その画像である。
スマフォ270は、送信された画像を受信し、これを学習者側HMD240に出力する(d62)。
【0105】
学習者側HMD240のHMD画像処理部220は、これをメモリに記憶して(d64)、3D表示(
図6参照)する(d66)。したがって、学習者は、治療中においてどこを注視するべきかを事前に学習できる。
【0106】
(評価)
次に、学習者を試験(評価ともいう)する場合について
図5のシーケンス図を用いて説明する。本実施の形態では、試験官を評価者と称し、評価される学習者を受験者と称する。
図5に示すように、評価者は端末(以下、指導者端末という)を操作してサイト400(サイト側サーバ410)にアクセス(ID、パスワード)して、評価者基本情報をサイト側メモリ440に記憶する(d70)。教育VR用コンテンツを評価試験VR用コンテンツと称する。
【0107】
例えば、学習者名と、評価者名と、評価用コンテンツ名、年月日時刻、場所等を記憶する。評価用コンテンツ名は、評価試験VR用コンテンツ(教育VR用コンテンツ)のいずれかであり、評価者が指定するのが好ましい。
【0108】
一方、学習者はスマフォ270を操作して評価VR用コンテンツ名等の情報(以下、評価VR用コンテンツ名情報)をサイト側サーバ410に送信する(d72)。例えば、インプラント、筋肉注射、麻酔、・・・、パソコンアドレス)と、年月日時刻等の情報を入力する。
【0109】
サイト側サーバ410の送受信処理部420は、評価VR用コンテンツ名情報を受信し、この評価VR用コンテンツ名情報に該当する評価VR用コンテンツを教育画像処理部430により引き当てさせる(d74)。
【0110】
教育画像処理部430は、評価VR用コンテンツの初期画像を送受信処理部420により学習者側のスマフォ270に送信させる(d76)。
【0111】
このとき、ポインタ生成プログラムのデータも送信する。
評価を受ける学習者側のスマフォ270は、この初期画像を学習者側HMD240に出力して3D表示させる(d78)。
【0112】
一方、学習者側HMD240のコンピュータは、プログラムに基づいて学習者側HMD240の動き(姿勢、位置)を受験者側HMDの動きLEiとして一定間隔で検出している(d79)。
【0113】
そして、この検出した受験者側HMDの動きLEiをスマフォ270に出力する(d80)。
スマフォ270は、受験者側HMDの動きLEi(姿勢、位置)の情報をサイト側サーバ410に送信(5G)する(d82)。
【0114】
サイト側サーバ410は、受験者側HMDの動きLEiの情報を受信して、これを教育画像生成処理部430に出力して受験者視野画像LGiの決定処理を行う(d84)。
受験者視野画像LGiの決定処理は、受験者側HMDの動きLEi(姿勢、位置)に該当する評価試験VR用コンテンツにおける視野を求め、この視野の視野画像KGi(KG1、KG2、・・・)を、評価試験を受ける学習者への評価画像TPiとして決定する。
【0115】
そして、この評価画像TPi(評価試験VR用コンテンツ)をスマフォ270に送信する(d86)。
スマフォ270は、評価用画像TPi(評価試験VR用コンテンツ)を受信し、HMD240に出力する(d88)。
【0116】
HMD240は、これを3D表示する(d90)。
評価を受ける学習者は、この評価用画像TGiに注視する部分がある場合は、HMDコントローラ260を操作してポインタの終点を決定させるために所定位置にカーソルを移動させて、終点Pbiを定義する(d92)。
【0117】
この終点Pbiの情報(画面の画像における座標と、評価用画像KGiの番号と、評価VR用コンテンツ名とを含む)をHMDコントローラ260がHMD240を介してスマフォ240に出力し、スマフォ270がこのポインタ終点Pbiをサイト側サーバ410に送信する(d96)。なお、HMD240はHMDコントローラ260からのポインタ終点Pbiを示す例えば、十字マーク表示する(d98)。
【0118】
一方、サイト側サーバ410の送受信処理部420は、ポインタ終点Pbiをメモリに記憶し(d100)、教育画像生成処理部430がポイント終点PBiの受信かどうかを判定する(d102)。
【0119】
教育画像生成処理部430がポイント終点PBiの受信と判定した場合は、上記と同様なポイント付注視画像生成処理を行う(d104)。
【0120】
ポイント付注視画像生成処理は、
図2に示すポインタ始点終点定義部14がポインタPiを生成するためのフレームレイヤ(視野範囲のサイズに相当する)を画像メモリ11の評価試験者視野画像LGi上に定めると共に視野方向画像読込部12に対して現在の評価試験者視野画像LGiを画像メモリ11に読み込みさせる(記憶)。
【0121】
そして、この評価試験者視野画像LGiにフレームを定義する。
そして、ポインタ終点Pbiを画像メモリ11のフレームにポインタ終点Pbiを定義する(
図11(a)参照)。そして、レイヤに、中心Paiとポインタ終点Pbiとを結ぶ評価受験者側注視方向ポインタLPi(アイコン)を定義する(
図11(b)参照)。このポインタとフレームとからなる画像を注視方向ポインタ画像PWiと称している。
【0122】
この注視方向ポインタ画像PWiには、教育VR用コンテンツ番号、教育用コンテンツ名、指導者側HMD動き情報Ei、年月日時刻、始点Pai、終点Pbi等が関連付けられている。
【0123】
そして、ポインタ付画像生成部15は、画像メモリ11の視野画像に注視方向ポインタ画像PWiを重ね、これをポインタ付注視画像PGi(HGi、PWi)としてサイト側メモリ440に記憶する(d108)。
【0124】
このとき、教育VR用コンテンツ番号、視野画像KGiの中心Pai(フレームの中心:ポインタ付注視画像PGiの中心)、指導者名、受験者名、年月日時刻等の関連情報が関連付けられる。これを総称してポインタ付注視画像情報PJi(ポインタ付注視画像PGi、教育VR用コンテンツ番号、指導者側視野画像KGiの中心Pai(フレームの中心)、指導者名、年月日時刻等)と称する。
【0125】
そして、ポインタ付注視画像PGi(PG1、PG2、・・・)をスマフォ270に送信する(d110)。
スマフォ270は、このポインタ付注視画像PGi(教育用コンテンツ情報の番号、コンテンツ名、Pai、Pbi、ポインタコード、年月日時刻、端末アドレス・・・)を学習者側HMD240に出力する(d112)。
【0126】
HMD240は、これを3D表示する(d114)。
そして、指導者側HMD130、スマフォ240は前述のd79に戻って(d116)、学習者側HMD130の動きに対応した画像を表示させて上記のようにポインタPi(画像中心を始点として終点側に広がる三角状のアイコン)を定義して表示させる(d116)。
【0127】
また、スマフォ270は、ポインタ付注視画像PGi(教育用コンテンツ情報の番号、コンテンツ名、Pai、Pbi、ポインタコード、年月日時刻、端末アドレス・・・)をパソコン280に出力して、画面に表示させる(
図7参照)。従って、評価者は受験者が注視している視線方向を確認できるし、評価試験受験者側でも確認できる。
【0128】
例えば、ポインタとしては、血管迷走神経性反射との鑑別診断や、そのために重要となる皮膚症状について察知できているか、また理解できているかを問うシナリオ構成の評価コンテンツとするのが好ましい。
【0129】
従って、評価者は、別モニタに映る学習者が定義したポインタから、患者が精神的な緊張や局所麻酔の痛みのために手に力が入っている様子、麻酔後の気分不快を訴えるまでの患者の表情、前腕部の皮膚の発赤などの病状について見逃さずに視線を送れているかを確認できる。
【0130】
学習者が視線を送れていれば、そこから何を検知したか、もしくは理解したかを筆記試験や口頭試問で評価者が確認できる。
例えば、患者が過度に緊張した状態で三叉神経領域である口腔内に強い痛み刺激を与えると、血管迷走神経性反射を起こす可能性があることや、アナフイラキシーショックを疑う場合、他にどのような症状が起こり得るか、また、映像中ではエピペントレーナなのでシリンジの色が白いがエピペンの成人用のシリンジの色は黄色と緑のどちらか、など周辺知識についても問うようにできる。
【0131】
このようにVRで偶発症患者の対応を疑似体験してもらいながら、チェックポインタごとに学習者が視線を向けていたが、またその状況を正確に把握して理解していたかを評価者が口頭や筆記試験で確認を行うことができる。
【0132】
<他の実施の形態>
映像の制作上の注意点としては、HMDの中で学習者が視線を動かした場合では、評価者はどこに中止しているかがわかり難い、どこを注視しているか学習者、評価者ともにわかるポインタを画面上に表示するようにプログラムが必要とした例を示したが(
図6、
図7参照)、このプログラムを用意しなくても評価できるVRコンテンツであってもよい。
【0133】
例えば、
図8に示すように、あえて離れた位置に生体モニタなどを配置して、首を振るような形で意識的に見ないと学習者が生体モニタを見ることができないような場所に配置するようにした。
【0134】
また、VRは、より臨場感のある状況を体験できるが、初期研修など学習者の知識不足している場合は、起きている現象を理解することができず十分な得られない可能性がある。
【0135】
そこで、
図9(a)、
図9(b)に示すように、教育VR用コンテンツの映像を元に2Dの映像を作成し、画面上に状況、知識を整理するのに必要な解説を加えた教育用コンテンツを別に作成した。
【0136】
例えば
図9(a)に示すように、VRの映像に加えて別画面(ai)でモニタの状況を映し出し、常に観察ができるようにし、注目すべき場面ではチェックマーク(Qi)をだしたり、解説のスライドを差し込んだりする等の工夫をした(
図9(b)。
また、コメントBiとして例えば「奇異呼吸は、吸気時に胸部が陥没し、吸気時に突出する自然な呼吸とは逆のパターンとなる呼吸であり、上気道閉塞で発生する。」と表示する。
【0137】
通常こういうコンテンツを制作する場合では複数台のカメラやカメラマンが必要となるが、360度カメラの場合では少ない台数で済むので、必要なスペースや人員が少なくてすみ、手術室という清潔環境に適していると考えられる。
【0138】
また、
図8に示すように、教育VR用コンテンツを、学習者が意識的に右(HMD)を向かないと生体モニタが視界に入らないように生体モニタを配置している(本来の臨床とはやや異なる状況であり、通常は麻酔科医は生体モニタの近くにいるべきである)。
【0139】
つまり、H1→H2→H3と向かないと生体モニタが入らないようにしている。このようなコンテンツにするとポインタ定義用プログラムは不要となる。
【符号の説明】
【0140】
100 指導者側
200 学習者側
300 医療現場側
400 サイト
500 通信ネットワーク
110 指導者端末
410 サイト側サーバ
430 教育画像生成処理部
430 教育画像生成処理部