特許 7112077 コントローラ、コントローラの製造方法、疑似体験システム、および疑似体験方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-26

(45)【発行日】2022-08-03

(54)【発明の名称】コントローラ、コントローラの製造方法、疑似体験システム、および疑似体験方法

(51)【国際特許分類】

   G09B 9/00 20060101AFI20220727BHJP

   G09B 23/28 20060101ALI20220727BHJP

   G06F 3/01 20060101ALI20220727BHJP

   G06F 3/0346 20130101ALI20220727BHJP

【ＦＩ】

G09B9/00 Z

G09B23/28

G06F3/01 510

G06F3/0346 421

【請求項の数】 9

(21)【出願番号】P 2018164929

(22)【出願日】2018-09-03

(65)【公開番号】P2020038272

(43)【公開日】2020-03-12

【審査請求日】2021-01-26

(73)【特許権者】

【識別番号】599045903

【氏名又は名称】学校法人 久留米大学

(74)【代理人】

【識別番号】100114627

【弁理士】

【氏名又は名称】有吉 修一朗

(74)【代理人】

【識別番号】100182501

【弁理士】

【氏名又は名称】森田 靖之

(74)【代理人】

【識別番号】100175271

【弁理士】

【氏名又は名称】筒井 宣圭

(74)【代理人】

【識別番号】100190975

【弁理士】

【氏名又は名称】遠藤 聡子

(74)【代理人】

【識別番号】100194984

【弁理士】

【氏名又は名称】梶原 圭太

(72)【発明者】

【氏名】片山 礼司

【審査官】安田 明央

(56)【参考文献】

【文献】米国特許出願公開第２００９／００３５７４１（ＵＳ，Ａ１）

【文献】特開２０１８－１１２６４６（ＪＰ，Ａ）

【文献】特開２０１８－０１００３４（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０１１－００２９３１３（ＫＲ，Ａ）

【文献】特開２０１４－２１５５６３（ＪＰ，Ａ）

【文献】杉本真樹，医用画像処理におけるバーチャルリアリティシステムとユーザビリティ OsiriXとCAD/CAMを融合した生体3Dプリンティング，日本バーチャルリアリティ学会誌，日本バーチャルリアリティ学会，2015年03月31日，第20巻第1号，pp.18-22

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｂ ９／００

Ｇ０９Ｂ ２３／２８

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３４６

(57)【特許請求の範囲】

【請求項1】

教育、研究または訓練の対象物と同一あるいは略同一の形状に形成された本体部と、
該本体部に設けられ、機外の映像表示装置で表示される前記対象物を模した被操作体映像の動きと、前記本体部の動作とを同期させるための信号を発信可能な信号発信部とを備え、
前記映像表示装置は、仮想現実空間を構成する映像装置であり、
前記本体部は、他の部材から分離された状態で、独立して操作可能に構成され、
前記本体部を操作することで、前記仮想現実空間内に表示された前記被操作体映像を操作することが可能である
コントローラ。

【請求項2】

前記映像表示装置は、ヘッドマウントディスプレイ（ＨＭＤ）であって、３次元の前記仮想現実空間内で、前記被操作体映像を３次元画像として操作及び視認可能である
請求項１に記載のコントローラ。

【請求項3】

前記対象物が、所定の動物の器官である
請求項１または請求項２に記載のコントローラ。

【請求項4】

前記本体部が、動物を検査することで得られた、該動物の器官またはその一部の形状のデータに基づいて形成されたものである
請求項１または請求項２に記載のコントローラ。

【請求項5】

教育、研究または訓練の対象物と同一あるいは略同一の形状の本体部を形成する、本体部形成工程と、
該本体部形成工程で形成された前記本体部に、機外の映像表示装置で表示される前記対象物を模した被操作体映像の動きと、前記本体部の動作とを同期させるための信号を発信可能な信号発信部を設ける、信号発信部設置工程とを備え、
前記映像表示装置は、仮想現実空間を構成する映像装置であり、
前記本体部は、他の部材から分離された状態で、独立して操作可能に構成され、
前記本体部を操作することで、前記仮想現実空間内に表示された前記被操作体映像を操作することが可能である
コントローラの製造方法。

【請求項6】

前記本体部形成工程を３Ｄプリンタによって行う
請求項５に記載のコントローラの製造方法。

【請求項7】

映像表示装置と、
教育、研究または訓練の対象物と同一あるいは略同一の形状に形成された本体部、および、該本体部に設けられ、映像表示装置で表示される前記対象物を模した被操作体映像の動きと、前記本体部の動作とを同期させるための信号を発信可能な信号発信部を有するコントローラと、
該コントローラ、および、前記映像表示装置と接続され、前記信号発信部から発信された信号を受信可能な信号受信部、該信号受信部に接続され、受信した前記信号に基づいて同本体部の動作を解析し、動作データを算出可能な演算部、前記対象物の形状のデータに基づいて前記被操作体映像を生成可能な映像生成部、該映像生成部が生成する前記被操作体映像が、前記本体部の動作に追従して動くように、前記演算部が算出する動作データを同期可能な同期処理部、および、該同期処理部で処理された前記被操作体映像を前記映像表示装置に出力可能な映像出力部を有するコンピュータとを備え、
前記映像表示装置は、仮想現実空間を構成する映像装置であり、
前記本体部は、他の部材から分離された状態で、独立して操作可能に構成され、
前記本体部を操作することで、前記仮想現実空間内に表示された前記被操作体映像を操作することが可能である
擬似体験システム。

【請求項8】

前記コンピュータが、生成される前記被操作体映像と合成可能な動物の器官またはその一部に関連する付加的データを蓄積可能な記憶部、該記憶部に蓄積された前記付加的データに基づいて付加的映像を生成可能な付加的映像生成部、および、該付加的映像生成部で生成された付加的映像を、生成された前記被操作体映像に合成可能な映像合成部、を更に有する
請求項７に記載の擬似体験システム。

【請求項9】

仮想現実空間を構成する映像表示装置と、教育、研究または訓練の対象物と同一あるいは略同一の形状に形成され、かつ、他の部材から分離された状態で、独立して操作可能に構成された本体部、および、該本体部に設けられ、前記映像表示装置で表示される前記対象物を模した被操作体映像の動きと、前記本体部の動作とを同期させるための信号を発信可能な信号発信部を有するコントローラと、前記信号の受信機能、受信した前記信号に基づいて前記本体部の動作を解析し、動作データを算出する演算機能、前記対象物の形状のデータに基づいて前記被操作体映像を生成する映像生成機能、生成された前記被操作体映像が前記本体部の動作に追従して動くように、算出された前記動作データを同期させる同期処理機能、および、同期処理された前記被操作体映像を前記映像表示装置に出力する映像出力部を有するコンピュータとを使用し、
ユーザが、前記映像表示装置の前記仮想現実空間内に表示された前記被操作体映像を視認しながら、前記コントローラに触れることで、同仮想現実空間内に表示された同被操作体映像を操作することが可能である
擬似体験方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コントローラ、コントローラの製造方法、疑似体験システム、および疑似体験方法に関する。更に詳しくは、教育等の対象物と同一あるいは略同一の形状を有する本体部に触れながら、映像表示装置に表示された対象物を模した被操作映像の操作を行うことで、ユーザの視覚と触覚が刺激され、直感的で没入感の高い疑似体験を得ることができるものに関する。

【背景技術】

【0002】

仮想現実空間において疑似体験を行うシステム等（以下「ＶＲシステム等」という）については、１９６０年代から研究および製品化の提案がなされていたが、一般への普及は遅れていた。この理由としては、仮想現実空間を構成する画像あるいは映像生成には画像処理能力の高いコンピュータが必須であり、このような高性能なコンピュータは、大型であったり、高額であったりしたため、一般家庭はもちろんのこと、資金力に乏しい教育機関、研究機関あるいは企業にも手が届きにくかった。

【0003】

しかしながら、近年の技術水準の向上によって、従来よりも低価格で小型のコンピュータが普及し、家庭用のコンピュータやゲーム機等の一般的端末でも、ＶＲシステム等を構成できるほど、その性能が向上している。このような状況変化により、学校教育等の場でもＶＲシステム等を導入しやすい環境が整いつつあり、ＶＲシステム等の導入によって行われる疑似体験を通じて、学習効果向上が期待されている。

【0004】

ところで、ＶＲシステム等において、機器本体あるいは仮想現実空間内において生成され、ユーザにより操作される映像（以下、このようなコンテンツで表示される映像を「被操作体映像」という）の操作デバイス（以下「コントローラ」という）として、以下のような各種コントローラが提案されており、これらを図７乃至８に示す。

【先行技術文献】

【非特許文献】

【0005】

【文献】ＥＬＥＣＯＭ トップ 製品情報 ＶＲ関連製品 ＶＲ入出力機器 ＶＲマウス（Ｍ－ＶＲＦ０１ＢＫ） インターネット＜URL：http://www2.elecom.co.jp/products/M-VRF01BK.html＞

【0006】

【文献】ＥＬＥＣＯＭ トップ 製品情報 ＶＲ関連製品 ＶＲ入出力機器 ＶＲ用Ｂｌｕｅｔｏｏｔｈ（登録商標）リモコン（ＪＣ－ＶＲＲ０１ＢＫ） インターネット＜URL：http://www2.elecom.co.jp/products/JC-VRR01BK.html＞

【0007】

【文献】ＥＬＥＣＯＭ トップ 製品情報 ＶＲ関連製品 ＶＲ入出力機器 ＶＲゲームパッド（ＪＣ－ＶＲＰ０１ＢＫ） インターネット＜URL：http://www2.elecom.co.jp/products/JC-VRP01BK.html＞

【0008】

【文献】ＡＳＣＩＩ ＳＴＡＲＴＵＰ 腕がハックされる！体感がヤバい触感型ゲームコントローラー「ＵｎｌｉｍｉｔｅｄＨａｎｄ」 インターネット＜URL：http://ascii.jp/elem/000/001/164/1164500/＞

【0009】

【文献】ＭｏｇｕｒａＶＲ VR向けグローブ、人工腱で指に"張り"や圧力を再現 インターネット＜URL：https://www.moguravr.com/contact-ci-maestro/＞

【0010】

【文献】Ｓｅａｍｌｅｓｓ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｎｅｗｓ VR内で触った感触を実際の手に感じさせる手袋を学生が開発！ インターネット＜URL：https://shiropen.com/2015/04/25/7538＞

【発明の概要】

【発明が解決しようとする課題】

【0011】

ところで、現在もＶＲシステム等の開発は進んでいるが、現時点でのＶＲシステム等は、主に視覚と聴覚を刺激して没入感を得るものが多い。このようなＶＲシステム等で、例えば映画のような受動的なコンテンツを楽しむ場合は、前述の非特許文献１乃至３に記載したようなコントローラであっても特に問題とはならないが、被操作体映像をユーザが操作するような能動的コンテンツでは、以下の問題が生じている。

【0012】

すなわち、現在のところ、旧来から使用されている図７（ａ）に記載のマウスタイプ９１（非特許文献１）や図７（ｂ）に記載のジョイスティックタイプ９２（非特許文献２）、図７（ｃ）に記載のゲームパッド９３（非特許文献３）がコントローラの主流であるが、これら旧来型コントローラを使用した際に、ユーザには、触るコントローラ（触覚）と、視る被操作体映像（視覚）との形状の相違に起因した違和感が生じることがあった。そして、被操作体映像の操作に際しては、画面上に映し出されたポインタを被操作体映像に合わせて操作を行うため、直感的操作性に欠け、ユーザの没入感に欠けることとなる。

【0013】

一方、このような没入感の欠如や違和感を解消すべく、ＶＲシステム等に触覚の要素を導入する仮想的な触覚付与の研究が行われている。これらの一例としては、図８（ｄ）に記載の電気刺激をユーザに与えて手指を制御する機能的電気刺激型デバイス９４（非特許文献４）や、図８（ｅ）に記載のグローブを介した機能的電気刺激および振動刺激型デバイス９５（非特許文献４）、あるいは、図８（ｆ）に記載のグローブを介した空気圧刺激型デバイス９６（非特許文献６）等があり、これらの刺激を通じて、装着したユーザにまるで被操作体映像を触っているかのような触覚を付与するといったもの（以下「触覚付与型コントローラ」という）が提案されている。

【0014】

しかしながら、本願の出願時点では、触覚の再現精度の高い触覚付与型コントローラは、運用するシステムやアルゴリズムが複雑であると共に、周辺機器を含めて大掛かりな装置となり、製造コストや製品価格が高額となる傾向にある。また、再現精度の高い触覚付与型コントローラは、装着に手間が掛かると共に、それなりの重量があり、また接続されたコードやホースで動きが制限され、ユーザに加わるこれらの負担が操作性や没入感の阻害要因となっていた。

【0015】

本発明は、以上の点を鑑みて創案されたものであり、教育等の対象物と同一あるいは略同一の形状を有する本体部に触れながら、映像表示装置に表示された対象物を模した被操作映像の操作を行うことで、ユーザの視覚と触覚が刺激され、直感的で没入感の高い疑似体験を得ることができる、コントローラ、コントローラの製造方法、疑似体験システム、および疑似体験方法を提供することを目的とする。

【課題を解決するための手段】

【0016】

上記の目的を達成するために本発明のコントローラは、教育、研究または訓練の対象物と同一あるいは略同一の形状に形成された本体部と、本体部に設けられ、機外の映像表示装置で表示される対象物を模した被操作体映像の動きと、本体部の動作とを同期させるための信号を発信可能な信号発信部とを備える。

【0017】

ここで、コントローラは、教育、研究または訓練（本明細書中で、これらを総称する説明では「教育等」と省略する場合がある）の対象物と同一あるいは略同一の形状の本体部を備えることによって、コントローラに触れたユーザは、あたかも教育等の対象物に直接触れたような触覚的な刺激を受けることができ、形状や大きさも知覚することができる。

【0018】

なお、前述の用語「教育、研究または訓練の対象物」としては、例えば、医学の専門教育で学習対象となる人間の臓器、美術分野における授業で使用する彫刻、新規施術の研究対象となる人間の臓器、考古学分野における研究対象となる出土物、開発研究中の新規機械部品、作業者が行う組立作業の習熟訓練の対象となる機械部品、考古学分野における修復作業対象となる遺物、施術前の模擬訓練の対象となる病変した人間の臓器、等の各種対象物が挙げられる。また、用語「教育」には、説明や解説（例えば、医療分野において被施術者に対する患部や施術部位または施術方法を解説する行為等）が含まれるものとする。

【0019】

そして、前述の用語「同一の形状に形成」とは、形状と大きさの点において、教育等の対象物と同一であることを意味している。また、前述の用語「略同一の形状に形成」とは、教育等の対象物とほぼ同じ形状と大きさに形成された場合のほか、対象物の現実の大きさよりも拡大または縮小して形成された場合、または、実物の一部のみ（例えば、一対である肺、腎臓等のいずれか片方、あるいは、肺の上部または下部といった特定部位）が形成された場合、のいずれをも含む意味で使用している。

【0020】

更に、コントローラは、本体部に設けられた信号発信部を備えることによって、機外にある映像表示装置に対象物を模した被操作体映像が表示され、表示される被操作体映像が本体部の動作（現実の動き）に追従して動くように、被操作体映像の動きと本体部の動作とを同期させるための信号を発信することができる。

【0021】

なお、前述の用語「映像表示装置」としては、液晶等の各種モニタ、テレビモニタ、ＨＭＤ（Head Mounted Displayの略称、頭部装着ディスプレイ）、立体映像表示装置が挙げられる。また、前述の用語「被操作体映像」とは、例えば、仮想現実映像、拡張現実映像、複合現実映像に表示される映像であって、表示映像内で操作可能なものが挙げられる。

【0022】

更にまた、前述の用語「信号」とは、特に、本体部の運動により生じた変位を示す信号であり、本体部の静止状態を示す信号も含む意味で使用している。そして、「信号」には、計測点（マーカー）を示すべく、機外の赤外線投射機からの赤外線等を反射する反射マーカー（再帰性反射材を塗布）によるもの、あるいは自発光マーカーによるもの、ジャイロセンサー、加速度センサー等の位置を読み取るトラッキングを行うために必要な各種センサーの計測値を送信するもの等が挙げられる。

【0023】

このように、本発明のコントローラは、ユーザが、本体部に触れた際の触感を通じて対象物の形状や大きさを知覚することができると共に、信号発信部が前述の信号を機外に発信することができる。

【0024】

そして、発信された信号は、例えば、機外の映像処理機能を有する機器で受信され、同機器で被操作体映像と本体部の位置情報との同期処理（リンクさせる処理）が行われる。この同期処理によって、ユーザが本体部に加える運動と、表示された被操作体映像の運動とが一致し、コントローラを回転等させることで、様々な角度からの被操作体映像の観察が可能となる。

【0025】

つまり、本発明のコントローラによれば、映像表示装置上に表示される被操作体映像の動き（視覚）と、触っているコントローラの動き（触覚）とがリンクし、対象物を直接操作するような感覚で、被操作体映像の操作を行うことができる。この結果、ＶＲシステム等の疑似体験システムで使用した際に、直感的で没入感の高い疑似体験を得ることができ、学習等の効果を高めることができる。

【0026】

また、対象物が、所定の動物の器官である場合は、対象物を模した本体部の形状を所定の動物の器官にすることができる。

【0027】

前述の用語「所定の動物」としては、教育等の対象となる実験動物等の各種動物を任意に選択することができ、人間も含まれる。また、前述の用語「器官」とは、神経系、感覚系、運動系、骨格系、消化系、呼吸系、循環系、排出系、生殖系、内分泌系等の諸器官を含む意味で使用している。

【0028】

本発明のコントローラは、ユーザが動物の器官の形状を模した本体部を持つことで、触感を通じて器官の形状や大きさを知覚することができると共に、本体部を回転等させる操作を行うことで様々な角度から視覚を通じた観察を行うことができる。

【0029】

つまり、本発明のコントローラによれば、映像表示装置上に表示される動物の器官の映像の動き（視覚）と、触っているコントローラの動きとがリンクし、動物の器官を直接動かすような感覚で、動物の器官の映像の操作を行うことができる。加えて、コントローラに触れることで、動物の器官の形状を触覚的に認識することができる。この結果、ＶＲシステム等の疑似体験システムで使用した際に、直感的で没入感の高い疑似体験を得ることができ、学習等の効果を更に高めることができる。

【0030】

また、本体部が、動物を検査することで得られた、動物の器官またはその一部の形状のデータに基づいて形成されたものである場合は、本体部の形状を、検査によりデータを採取した特定の動物の器官等と一致したものにすることができる。

【0031】

前述の用語「検査」は、ＣＴ検査（Computed Tomography：コンピュータ断層撮影法）、ＭＲＩ検査（Magnetic Resonance Imaging：磁気共鳴画像）、レントゲン検査等の動物の器官を検査することができる各種検査を含む。また、検査対象となる「動物」としては、例えば、人間の癌細胞を移植した担癌マウスモデル等の特定の動物が挙げられ、治療対象者のような人間も含む意味である。

【0032】

そして、これらの検査で得た「動物の器官またはその一部の形状のデータ」に基づいて本体部を形成することで、コントローラに触れたユーザは、一般的な形状やサイズの器官ではなく、あたかも特定の動物の器官に触れたような触覚的な刺激を受けることができ、形状や大きさも知覚することができる。

【0033】

本発明のコントローラによれば、例えば、治療対象者の施術対象臓器等の形状や病態に基づく患部の状況を、施術担当者が事前に観察できると共に、術位の模擬検証、施術の模擬訓練を通じて、施術の成功率向上に資することができる。

【0034】

また、本体部が、少なくとも表面部分が軟質樹脂素材で形成されたものである場合は、模した対象物との触感の差を埋めることでき、実物に近い触覚的な刺激を以て、より高い精度での観察や学習効果の向上を期待することができる。なお、触感を考慮して「少なくとも表面部分」としているが、これに限定するものではなく、内部の一部または全部を軟質樹脂素材で形成したものであってもよい。

【0035】

前述の用語「軟質樹脂素材」としては、シリコーンゴム、超軟質ウレタン樹脂、熱可塑性エラストマ等が挙げられる。そして、特に、本体部として動物の器官である内臓や血管をシリコーンゴムで形成した場合は、実物に近い触感を再現することができる。

【0036】

上記の目的を達成するために本発明のコントローラの製造方法は、教育、研究または訓練の対象物と同一あるいは略同一の形状の本体部を形成する、本体部形成工程と、本体部形成工程で形成された本体部に、機外の映像表示装置で表示される対象物を模した被操作体映像の動きと、本体部の動作とを同期させるための信号を発信可能な信号発信部を設ける、信号発信部設置工程とを備える。

【0037】

ここで、本発明のコントローラの製造方法は、本体部形成工程を備えることによって、教育等の対象物と同一あるいは略同一の形状の本体部を得ることができる。

【0038】

そして、本発明のコントローラの製造方法は、信号発信部設置工程を備えることによって、前述の本体部に、機外にある映像表示装置に対象物を模した被操作体映像が表示され、表示される被操作体映像が本体部の動作（現実の動き）に追従して動くように、被操作体映像の動きと本体部の動作とを同期させるための信号を発信可能な信号発信部を設けることができる。

【0039】

本発明で製造されるコントローラによれば、映像表示装置上に表示される被操作体映像の動き（視覚）と、触っているコントローラの動き（触覚）とがリンクし、対象物を直接操作するような感覚で、被操作体映像の操作を行うことができる。この結果、ＶＲシステム等の疑似体験システムで使用した際に、直感的で没入感の高い疑似体験を得ることができ、学習等の効果を高めることができる。

【0040】

なお、前述の用語「教育、研究または訓練の対象物」、「同一あるいは略同一の形状の本体部を形成」、「映像表示装置」、「被操作体映像」、および「信号」については、先に行ったコントローラでの説明と同じ意味であり、説明を省略する。

【0041】

また、本体部形成工程を３Ｄプリンタによって行う場合は、金型等を要しないので、コントローラが一点物であったり、小ロットであったりしても、データ入力のみで速やかな製造を行うことができる。また、金型の製造を要さないため、比較的安価で本体部を調達することができる。特に、対象物が、検査により得られた動物の器官等である場合、基本的に一点しか製造しないので、調達までの早さや価格抑制の観点からも、３Ｄプリンタによる本体部形成が好適である。

【0042】

上記の目的を達成するために本発明の擬似体験システムは、映像表示装置と、教育、研究または訓練の対象物と同一あるいは略同一の形状に形成された本体部、および、本体部に設けられ、映像表示装置で表示される対象物を模した被操作体映像の動きと、本体部の動作とを同期させるための信号を発信可能な信号発信部を有するコントローラと、コントローラ、および、映像表示装置と接続され、信号発信部から発信された信号を受信可能な信号受信部、信号受信部に接続され、受信した信号に基づいて本体部の動作を解析し、動作データを算出可能な演算部、対象物の形状のデータに基づいて被操作体映像を生成可能な映像生成部、映像生成部が生成する被操作体映像が、本体部の動作に追従して動くように、演算部が算出する動作データを同期可能な同期処理部、および、同期処理部で処理された被操作体映像を映像表示装置に出力可能な映像出力部を有するコンピュータとを備える。

【0043】

ここで、本発明の擬似体験システムは、映像表示装置を備えることにより、前述のコンピュータで生成された被操作体映像を表示することができると共に、前述のコントローラを使用して、表示された被操作体映像を操作することができる。

【0044】

更に、本発明の擬似体験システムは、前述のコントローラが、教育等の対象物と同一あるいは略同一の形状の本体部を有することによって、コントローラに触れたユーザは、あたかも教育等の対象物に直接触れたような触覚的な刺激を受けることができ、形状や大きさも知覚することができる。また、前述のコントローラは、信号発信部を備えることによって、映像表示装置で表示される対象物を模した被操作体映像が、本体部の動作（現実の動き）に追従して動くように、被操作体映像の動きと本体部の動作とを同期させるための信号を発信することができる。

【0045】

更にまた、本発明の擬似体験システムは、コントローラおよび映像表示装置と接続されたコンピュータが、信号受信部、演算部、映像生成部、同期処理部、および映像出力部を有することによって、以下の作用を奏する。

【0046】

（１）前述のコンピュータが信号受信部を有することによって、コントローラから発信された信号を受信することができる。
（２）前述のコンピュータが演算部を有することによって、信号受信部で受信した信号に基づいて、本体部の動作を解析し、動作データを算出することができる。
（３）前述のコンピュータが映像生成部を有することによって、対象物のデータに基づいて被操作体映像を生成することができる。
（４）前述のコンピュータが同期処理部を有することによって、映像生成部が生成する被操作体映像が、本体部の動作に追従して動くように、演算部が算出する動作データを同期させる処理を行うことができる。
（５）前述のコンピュータが映像出力部を有することによって、同期処理部で処理された被操作体映像を映像表示装置に出力することができる。

【0047】

このように、本発明の擬似体験システムは、コントローラの本体部に触れた際の触感を通じて、対象物の形状や大きさを知覚することができると共に、信号発信部が、前述の信号を機外に発信することができる。そして、発信された信号はコンピュータで受信され、同コンピュータで被操作体映像と本体部の位置情報との同期処理（リンクさせる処理）が行われる。この同期処理によって、本体部に加える運動と表示された被操作体映像の運動とが一致し、コントローラを回転等させることで、様々な角度からの被操作体映像の観察が可能となる。

【0048】

つまり、本発明の擬似体験システムによれば、映像表示装置上に表示される被操作体映像の動き（視覚）と、触っているコントローラの動き（触覚）とがリンクし、対象物を直接操作するような感覚で、被操作体映像の操作を行うことができる。この結果、疑似体験システムを使用した際に、直感的で没入感の高い疑似体験を得ることができ、学習等の効果を高めることができる。

【0049】

なお、コントローラおよび映像表示装置と、コンピュータとの接続態様は、無線、有線のいずれの場合も含む。そして一方が無線で他方が有線（例：コンピュータとコントローラは無線、コンピュータと映像表示装置は有線で接続される。あるいはその逆パターン）であってもよい。「コントローラ」との接続により受信信号がコンピュータに入力でき、「映像表示装置」との接続により生成した映像がコンピュータから出力できる。

【0050】

なお、前述の用語「教育、研究または訓練の対象物」、「同一あるいは略同一の形状の本体部を形成」、「映像表示装置」、「被操作体映像」、および「信号」については、先に行ったコントローラでの説明と同じ意味であり、説明を省略する。

【0051】

また、コンピュータが、生成される被操作体映像と合成可能な動物の器官またはその一部に関連する付加的データを蓄積可能な記憶部、記憶部に蓄積された付加的データに基づいて付加的映像を生成可能な付加的映像生成部、および、付加的映像生成部で生成された付加的映像を、生成された被操作体映像に合成可能な映像合成部、を更に有する場合は、付加的データに基づいて生成された付加的映像を、被操作体映像に合成することができる。

【0052】

例えば、被操作体映像が人体の肝臓であるときに、当該肝臓内に走行する血管を付加的映像として合成することで、コントローラで肝臓の映像（被操作体映像）を回転等させると、この動きに同期して見える血管の角度も変わるため、観察による学習効果が向上し、術位の模擬検証や施術の模擬訓練等にも役立てることができる。

【0053】

前述のコンピュータは、記憶部を有することによって、生成される被操作体映像と合成可能な動物の器官またはその一部に関連する付加的データを蓄積することができる、なお、「記憶部」は、ストレージ、メモリといった前述のデータを入力、蓄積、出力可能な部分を意味する。

【0054】

更に、「付加的データ」としては、被操作体映像に合成される付加的映像を生成するために必要とされる寸法や形状、色彩等のデータが挙げられる。例えば、「付加的データ」は、器官内部の血管や神経等の内部構造の寸法等のデータ、器官に連なる他の器官（例：幽門を含む胃と十二指腸、肘関節を含む上腕骨と前腕骨）等のデータ等が挙げられる。また、このデータは、対象器官における標準的な寸法等であってもよいし、治療対象者等をＣＴ等で検査して得られた生体固有のデータであってもよい。

【0055】

前述のコンピュータは、付加的映像生成部を有することによって、記憶部に蓄積された付加的データに基づいて付加的映像を生成することができる。そして、前述のコンピュータは、映像合成部を有することによって、付加的映像生成部で生成された付加的映像を、生成された被操作体映像に合成することができる。

【0056】

ところで、現在のところ、器官等（対象臓器等）の外形部分を透明にし、器官内の血管等まで再現した実物大立体モデル（以下「スケルトンモデル」という）の製作には多額の費用が掛かっている。

【0057】

しかしながら、本発明によれば、映像表示装置上において、器官（対象臓器等）に血管等の付加的映像を重ねて合成（投影）できるので、現実にスケルトンモデルを製作する場合と比較して、視覚を通じて観察可能なモデル（仮想現実映像）を、簡易かつ速やかに得ることができ、また、調達費用を抑えることができる。更に、対象器官の形状等を再現したコントローラの本体部の触感を通じても器官を観察することができ、つまり、視覚及び触覚を介した器官観察の擬似体験をすることができる。

【0058】

上記の目的を達成するために本発明の擬似体験方法は、映像表示装置と、教育、研究または訓練の対象物と同一あるいは略同一の形状に形成された本体部、および、本体部に設けられ、映像表示装置で表示される対象物を模した被操作体映像の動きと、本体部の動作とを同期させるための信号を発信可能な信号発信部を有するコントローラと、信号の受信機能、受信した信号に基づいて本体部の動作を解析し、動作データを算出する演算機能、対象物の形状のデータに基づいて被操作体映像を生成する映像生成機能、生成された被操作体映像が本体部の動作に追従して動くように、算出された動作データを同期させる同期処理機能、および、同期処理された被操作体映像を映像表示装置に出力する映像出力部を有するコンピュータとを使用し、ユーザが、映像表示装置に表示された被操作体映像を視認しながら、コントローラに触れることで被操作体映像を操作して行うものである。

【0059】

ここで、本発明の擬似体験方法は、前述の映像表示装置、コントローラ、およびコンピュータを使用することで、ユーザは、映像表示装置に表示された被操作体映像を視認しながら、コントローラを介して被操作体映像を操作することができる。このとき、ユーザは、コントローラの本体部に触れた際の触感を通じて、対象物の形状や大きさを知覚することができる。

【0060】

つまり、本発明の擬似体験方法によれば、映像表示装置上に表示される被操作体映像の動き（視覚）と、触っているコントローラの動き（触覚）とがリンクし、対象物を直接操作するような感覚で、被操作体映像の操作を行うことができる。この結果、疑似体験システムを使用した際に、直感的で没入感の高い疑似体験を得ることができ、学習等の効果を高めることができる。

【0061】

なお、前述の用語「教育、研究または訓練の対象物」、「同一あるいは略同一の形状の本体部を形成」、「映像表示装置」、「被操作体映像」、および「信号」については、先に行ったコントローラでの説明と同じ意味であり、説明を省略する。

【発明の効果】

【0062】

本発明によれば、教育等の対象物と同一あるいは略同一の形状を有する本体部に触れながら、映像表示装置に表示された対象物を模した被操作映像の操作を行うことで、ユーザの視覚と触覚が刺激され、直感的で没入感の高い疑似体験を得ることができる、コントローラ、コントローラの製造方法、疑似体験システム、および疑似体験方法を提供することができる。

【図面の簡単な説明】

【0063】

【図1】本発明に係る擬似体験システムの概略図である。

【図2】図１に示す擬似体験システムで使用するコントローラの正面図である。

【図3】図１に示す擬似体験システムの使用状態であり、コントローラの動作と映像表示装置に表示された映像の動作との相関を示す説明図である。

【図4】図１に示す擬似体験システムで使用するコンピュータの構成を示す概略図である。

【図5】図１に示す擬似体験システムで表示される他の映像例を示す説明図である。

【図6】図１に示す擬似体験システムで表示される他の映像例を示しており、（ａ）は合成前の肝臓の映像と肝臓の血管の映像、（ｂ）は（ａ）に示す各映像の合成後の映像である。

【図7】従来技術を示しており、（ａ）は非特許文献１のコントローラ、（ｂ）は非特許文献２のコントローラ、（ｃ）は非特許文献３のコントローラを示す斜視図である。

【図8】従来技術を示しており、（ｄ）は非特許文献４のコントローラ、（ｅ）は非特許文献５のコントローラ、（ｆ）は非特許文献６のコントローラを示す斜視図である。

【発明を実施するための形態】

【0064】

図１乃至図６を参照して、本発明の実施の形態を更に詳細に説明する。なお、以下の説明は、〔擬似体験システム〕、〔擬似体験方法〕、〔コントローラの製造方法〕の順序により行う。また、各図における符号は、煩雑さを軽減し理解を容易にする必要な範囲内で付しており、同一符号が付される複数の同等物についてはその一部にのみ符号を付す場合がある。

【0065】

〔擬似体験システム１〕
図１を参照する。擬似体験システム１は、映像表示装置２、コントローラ３、コンピュータ４、および赤外線照射装置５を備える。各部については以下詳述する。なお、以下説明においては、前述の「教育等の対象物」として人間の肝臓を選択している。

【0066】

（映像表示装置２）
映像表示装置２は、ＨＭＤを採用している（図１参照）。映像表示装置２は、少なくとも、三次元方向の動きを機械的に感知して各軸方向の動きを検出する加速度センサー（図示省略）、角速度を検出するジャイロセンサー（図示省略）、赤外線受信センサー（図示省略）、各センサーが検出した測定値を信号に変換する演算装置（図示省略）、無線式発信器（図示省略）、および、スピーカー部（図示省略）を有している。映像表示装置２は、この加速度センサー等の協働により、装着した頭部の動作に基づく位置情報を信号化して、発信する機能を備えている。

【0067】

また、映像表示装置２は、コンピュータ４で生成された映像情報を受信する受信機（図示省略）を有し、映像表示装置２の表示部を介して、ユーザＡにコンピュータ４で生成された映像を表示する機能を備えている。

【0068】

（コントローラ３）
コントローラ３は、本体部３１と信号発信部３２を有する（図２参照）。

【0069】

本体部３１は、人間の肝臓を実寸大に模した外形であり、本体部３１よりもやや小さく、プラスチックで形成された中空の基部（図示省略）と、基部の表面を被覆する軟質ウレタン樹脂の表面部（符号省略）からなる。なお、軟質ウレタン樹脂は、前述の「軟質樹脂素材」に相当する。

【0070】

本体部３１は、前述の基部を有することにより定型性を保ちつつも、軟質ウレタン樹脂の表面部が実物に近い触感を再現しており、ユーザ使用時の没入感を高めることができる。また、基部が中空であるため軽量であり、材料が少なくて済むため、製造コストの低減化を図ることができる。

【0071】

信号発信部３２は、本体部３１の所定箇所（図２では本体部３１の上部）に取り付けられている。信号発信部３２は、筐体（符号省略）の中に、少なくとも、三次元方向の動きを機械的に感知して各軸方向の動きを検出する加速度センサー（図示省略）、角速度を検出するジャイロセンサー（図示省略）、赤外線受信センサー（図示省略）、各センサーが検出した測定値を信号に変換する演算装置（図示省略）、無線式発信器（図示省略）が格納された小型ユニットである。

【0072】

なお、前述の各センサーが検出した測定値を変換した信号が、前述の「機外の映像表示装置で表示される対象物を模した被操作体映像が、本体部の現実の動作に追従して動くように同期させるための信号」に相当する。

【0073】

本実施形態では、映像表示装置２はＨＭＤであるが、これに限定するものではなく、例えば、携帯端末の画面を含む液晶等の各種モニタ、テレビモニタ、立体映像表示装置であってもよく、被操作体映像を動的に表示可能なデバイスであればよい。なお、没入感の観点から言えば、外部の景色を視覚的に遮断するＨＭＤが好ましいが、多数人を相手に授業や説明を行うような場合で、人数分のＨＭＤを調達することが難しいときには、大画面のモニタや立体映像表示装置が好適に使用される。

【0074】

本実施形態では、本体部３１の構造は前述の通りであるが、これに限定するものではなく、例えば、本体部３１を同一素材で形成してもよいし、３つ以上の複層構造であってもよい。なお、本体部を中実にした場合、重量増加やコスト増を招くため、中空であることが好ましい。また、全体を軟質ウレタン樹脂等の軟質材料で形成すると、荷重や自重で容易に変形し、形状を保持できないため、内部にフレーム様の部材を配設することが好ましい。

【0075】

本実施形態では、本体部３１の表面部が軟質ウレタン樹脂で被覆されているが、これに限定するものではなく、教育等の対象物によって変えることができる。例えば、金属部品の研究開発や組立技術習熟訓練を目的とする場合は、表面部分が平滑になるように形成して金属の質感を再現してもよいし、出土した石器の学習や研究を目的とする場合は、表面部分に実物と同様の凹凸やざらつきを形成して石質感を再現してもよく、これによってユーザ使用時の没入感を高めることができる。

【0076】

（コンピュータ４）
図３乃至６を参照する。コンピュータ４は、映像表示装置２およびコントローラ３と無線接続されている。そして、コンピュータ４は、信号受信部４１、演算部４２、映像生成部４３、同期処理部４４、映像出力部４５、記憶部４６、付加的映像生成部４７、および映像合成部４８を有している（図４参照）。

【0077】

信号受信部４１は、映像表示装置２とコントローラ３から発信された信号を受信することができる機能を有する。また、演算部４２は、信号受信部４１で受信した信号に基づいて、本体部３１の現実の動作を解析し、動作データを算出することができる機能を有する。

【0078】

映像生成部４３は、機外から取得した肝臓の実物（前述の「対象物」に相当）の寸法等のデータに基づいて、肝臓の映像６（図３参照。前述の「被操作体映像」に相当）を生成することができる機能を有する。また、映像生成部４３は、機外から取得したデータに基づいて、人体における肝臓の位置を示す際に使用される人体のアウトライン等の背景映像６３（図５参照）を生成することができる機能も有する。

【0079】

同期処理部４４は、映像生成部４３が生成する肝臓の映像６が、本体部３１の現実の動作に追従して動くように、肝臓の映像６と、本体部３１の動作データを同期させる処理を行うことができる機能を有する。また、同期処理部４４は、映像生成部４３が生成する背景映像６３が、映像表示装置２の現実の動作（視点方向）に追従して動くように、同期させる処理を行うことができる機能も有する。

【0080】

映像出力部４５は、同期処理部４４で処理された肝臓や背景の映像情報を映像表示装置２に出力することができる機能を有する。

【0081】

記憶部４６は、機外から取り込んだ、肝臓内の血管の映像を生成するための寸法等のデータ（前述の「付加的データ」に相当）を蓄積することができる機能を有する。

【0082】

付加的映像生成部４７は、記憶部４６の肝臓内の血管の映像（以下「肝臓の血管の映像」という）を生成するための寸法等のデータに基づいて、肝臓の血管の映像６１を生成することができる機能を有する（図６（ａ）参照）。

【0083】

映像合成部４８は、付加的映像生成部４７で生成された肝臓の血管の映像６１を、映像生成部４３で生成した肝臓の映像６に合成することができる機能を有する（図６（ｂ）参照）。以下この合成映像を「肝臓の合成映像６２」という）。

【0084】

（赤外線照射装置５）
赤外線照射装置５は、一対の赤外線照射部５１、５２からなる（図１参照）。赤外線照射部５１、５２の各々は、設置された空間内を三次元方向に走査するように赤外線を照射可能に構成されている。そして、照射された赤外線は、映像表示装置２およびコントローラ３で受光し、その受光タイミングで三次元空間内の位置情報が計算される。なお、本実施形態の構成においては、映像表示装置２およびコントローラ３は、赤外線照射部５１、５２の間の領域で使用することを要する。

【0085】

本実施形態では、赤外線照射装置５は、一対の赤外線照射部５１、５２からなるが、これに限定するものではなく、例えば、三次元方向における映像表示装置２およびコントローラ３の位置情報が入手可能な装置であれば、その構成、照射するものについては特に限定するものではない。

【0086】

本実施形態では、擬似体験システム１は、映像表示装置２、コントローラ３、およびコンピュータ４、赤外線照射装置５を備えるが、これに限定するものではなく、例えば、映像表示装置２がコンピュータ４を介さずに映像処理が可能なスタンドアロンタイプである場合は、コンピュータ４または赤外線照射装置５のいずれか一方、または両方を擬似体験システム１から除外する構成とすることもできる。

【0087】

〔擬似体験方法〕
図１乃至６を参照して、擬似体験システム１の作用および擬似体験方法について説明する。

【0088】

（１）擬似体験システム１をセットアップする。このとき、映像表示装置２、コントローラ３およびコンピュータ４を同期させる。そして、ユーザＡは、映像表示装置２を頭部に装着し、コントローラ３を手に取る。

【0089】

（２）ユーザＡが映像表示装置２に表示された肝臓の映像６を見ながら頭部を動かすと、映像表示装置２から位置情報の信号が発信される。この位置情報を受信したコンピュータ４は、受信した信号に基づいて映像生成および同期処理を行い、映像情報を映像表示装置２に出力する。この結果、映像表示装置２には、ユーザＡの頭部の動きに追従するかのように変化する映像が写し出される。

【0090】

（３）ユーザＡがコントローラ３の本体部３１を持ち、映像表示装置２に表示された肝臓の映像６を動かすことを意図して、コントローラ３に回転等の動きを加えると、コントローラ３の信号発信部３１から位置情報の信号が発信される。この位置情報を受信したコンピュータ４は、受信した信号に基づいて映像生成および同期処理を行い、映像情報を映像表示装置２に出力する。この結果、映像表示装置２には、ユーザＡの操作によるコントローラ３の動きに追従するかのように動く肝臓の映像６が写し出される（図３参照）。

【0091】

（４）また、ユーザＡが選択した場合、コンピュータ４によって付加的映像として生成された肝臓の血管の映像６１と前述の肝臓との映像６とが合成された、肝臓の合成映像６２が写し出され、血管の走行までも観察することができる。

【0092】

（５）ユーザＡは、コントローラ３を操作する際に、肝臓の外形を模した本体部３１を持つことで、実物の肝臓に触っているような触感を得ることができる。

【0093】

このように、擬似体験システム１は、映像表示装置２を備えることにより、コンピュータ４で生成された肝臓の映像６を（ユーザＡの選択によっては、肝臓の合成映像６２も）表示することができる。

【0094】

そして、擬似体験システム１は、実物の肝臓を模した本体部３１を有するコントローラ３を備えることにより、コントローラ３に触れたユーザＡは、あたかも実物の肝臓に直接触れたような触覚的な刺激を受けることができ、本体部３１の各所を触ることで肝臓の形状や大きさも知覚することができる。

【0095】

なお、コントローラ３は、前述の構造から軽量であるため、直感的で没入感の高い疑似体験の獲得に寄与している。また、コントローラ３は、その重量を対象物の重量と同じか略同じになるように設定することで、より高い没入感が得られる。例えば、対象物の重量感覚が重要な技術訓練等においては、前述の重量設定により、より高い学習効果が期待できる。

【0096】

このように、擬似体験システム１を使用して行う擬似体験方法によれば、ユーザＡは、映像表示装置２に表示された肝臓の映像６を視認しながら、手に持ったコントローラ３を介して肝臓の映像６を操作することができる。このとき、映像表示装置２上に表示される肝臓の映像６の動き（視覚）と、触っているコントローラ３の動き（触覚）とがリンクしており、さながら実物の肝臓を直接持って動かすような感覚で、肝臓の映像６の操作を行うことができ、様々な角度からの観察が可能である。この結果、疑似体験システム１を使用した際に、直感的で没入感の高い疑似体験が得られる。

【0097】

加えて、映像表示装置２はスピーカー部も有しているため、視覚に加えて、必要に応じて聴覚を刺激することもできる。この結果、擬似体験システム１では、視覚、聴覚および触覚と、人間の五感のうちの３つの感覚を同時に刺激することができ、更により高い没入感が得られる。

【0098】

ところで、従来型学習のように、表示された画像や映像を単に（受動的に）見ているだけでは、脳への刺激が少なく（授業中等に生じる眠気はその証左である）、いくら精度の高い映像あるいは画像を提示したとしても、必ずしも高い学習効果を期待できるものではなかった。

【0099】

しかしながら、擬似体験システム１では、表示された映像を自ら操作して動かすと共に、対象物を模したコントローラへの接触で指先に刺激を受けるので、視覚および触覚を介した人間の脳の「覚えよう」という機能に訴える能動的な学習等を行うことができる。つまり、擬似体験システム１を使用して行う擬似体験方法によれば、学習等の効果が高まることが期待できる。

【0100】

〔コントローラの製造方法〕
コントローラ３の製造方法は、教育等の対象物である肝臓と同一の外形の本体部３１を、３Ｄプリンタを使用して形成する、本体部形成工程と、形成した本体部３１に信号発信部３２を設ける、信号発信部設置工程とを備える。

【0101】

この製造方法によれば、本体部形成工程により肝臓を模した本体部３１が得られ、信号発信部設置工程により本体部３１に信号発信部３２を設けることで、コントローラ３を製造することができる。

【0102】

なお、本体部形成工程が３Ｄプリンタによって行われるため、金型等が不要である。このため（特に、既に３Ｄプリンタを自己所有している場合は）、肝臓に関する寸法データの入力のみで速やかな製造を行うことができ、更に、金型が不要なことから比較的安価で本体部を調達することができる。

【0103】

前述した通り、現在開発されている擬似体験システムでは、仮想環境内にある被操作体映像に触れた際の感触（硬さ、柔らかさ、質感、微細な形状）を再現するところまで至っていない。しかしながら、本発明の擬似体験システム１によれば、教育等の対象物と同一あるいは略同一の外形に形成した本体部３１を有するコントローラ３の使用によって、仮想環境内にある被操作体映像に触れた際の感触が再現されており、没入感の高い擬似体験を得ることができる。

【0104】

また、本発明の擬似体験システム１によれば、実物がある場所にいない者とも擬似体験を共有することができる。例えば、一点しか発見されていない発掘物であって外部への貸し出しが困難な場合であったとしても、研究者同士で寸法等のデータを共有することで、各々が当該データに基づいてコントローラ３を作成し、かつ、コンピュータ４により被操作体映像を生成することで、各研究者が同じ擬似体験を得ることができ、同時進行的に共同研究を行う、あるいは新たな知見を得る、といった効果が期待できる。

【0105】

同様に、ＣＴ等で得た患者の内臓の寸法等のデータを共有することで、離隔地にいる医師同士で最適な施術方法の検討や、新たな術式の共同研究、難病や症例の少ない病気に関する知識共有が促進される効果も期待できる。

【0106】

更に、教育等の対象物のデータを共有することで、学校等の所在地から遠隔地にいる生徒や受講者であっても、擬似体験を介した授業や指導を受けることができる。

【0107】

本明細書および特許請求の範囲で使用している用語と表現は、あくまでも説明上のものであって、なんら限定的なものではなく、本明細書および特許請求の範囲に記述された特徴およびその一部と等価の用語や表現を除外する意図はない。また、本発明の技術思想の範囲内で、種々の変形態様が可能であるということは言うまでもない。

【符号の説明】

【0108】

１ 擬似体験システム
２ 映像表示装置
３ コントローラ
３１ 本体部
３２ 信号発信部
４ コンピュータ
４１ 信号受信部
４２ 演算部
４３ 映像生成部
４４ 同期処理部
４５ 映像出力部
４６ 記憶部
４７ 付加的映像生成部
４８ 映像合成部
５ 赤外線照射装置５
５１、５２ 赤外線照射部
６ 肝臓の映像
６１ 肝臓の血管の映像
６２ 肝臓の合成映像
６３ 背景映像
９１ マウスタイプ
９２ ジョイスティックタイプ
９３ ゲームパッド
９４ 機能的電気刺激型デバイス
９５ 機能的電気刺激および振動刺激型デバイス
９６ 空気圧刺激型デバイス
Ａ ユーザ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】