▶ 株式会社Ｂ．ｂ．ｄｅｓｉｇｎＬａｂの特許一覧 ▶ 朝倉 一浩の特許一覧
特許7373800キャリブレーションシステム、及び、瞳孔間のキャリブレーション方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-26
(45)【発行日】2023-11-06
(54)【発明の名称】キャリブレーションシステム、及び、瞳孔間のキャリブレーション方法
(51)【国際特許分類】
A61B 34/20 20160101AFI20231027BHJP
G02B 27/02 20060101ALI20231027BHJP
G09G 5/00 20060101ALI20231027BHJP
G09G 5/36 20060101ALI20231027BHJP
G09G 5/34 20060101ALI20231027BHJP
【ＦＩ】
A61B34/20
G02B27/02 Z
G09G5/00 X
G09G5/00 510G
G09G5/00 550C
G09G5/36 500
G09G5/34 A
【請求項の数】
2
(21)【出願番号】P 2020029917
(22)【出願日】2020-02-25
(65)【公開番号】P2020131044
(43)【公開日】2020-08-31
【審査請求日】2022-12-28
(31)【優先権主張番号】62/809,818
(32)【優先日】2019-02-25
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/679,607
(32)【優先日】2019-11-11
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】517422249
【氏名又は名称】株式会社Ｂ．ｂ．ｄｅｓｉｇｎＬａｂ
(73)【特許権者】
【識別番号】520065444
【氏名又は名称】朝倉 一浩
(74)【代理人】
【識別番号】110001841
【氏名又は名称】弁理士法人ＡＴＥＮ
(72)【発明者】
【氏名】貞森 拓磨
(72)【発明者】
【氏名】安田 裕治
【審査官】宮崎 敏長
(56)【参考文献】
【文献】特開２０１８－１９８７５０（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／０３４９８３７（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１６／００６５９５２（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０２０／０２１８３４３（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３４／１０ － Ａ６１Ｂ ３４／３７
Ｇ０２Ｂ ２７／０２
Ｇ０９Ｇ ５／００
Ｇ０９Ｇ ５／３４ － Ｇ０９Ｇ ５／３６
(57)【特許請求の範囲】
【請求項1】
術野に対して左目用の手術映像および右目用の手術映像を撮像する３Ｄカメラと複数のアームとを有したロボット装置を制御する内視鏡下手術ロボットシステムにネットワークを介して接続されるキャリブレーションシステムであって、前記キャリブレーションシステムは、
人体のヘッド部に装着されて使用されるＶＲゴーグルに設けられ、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理装置で、個人差のある瞳孔間距離のキャリブレーションを実行するものであり、
３６０度ＶＲ空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示する画像表示手段と、
前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記３６０度ＶＲ空間にスクロール表示する処理を実行するスクロール表示手段と、
前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件を満たした場合に、前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定し、この設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットするキャリブレーションデータの設定手段と、
前記内視鏡下手術ロボットシステムから前記ロボット装置が撮像する前記左目用の映像および右目用の映像をリアルタイムに取得する映像取得手段と、
を有し、
前記画像表示手段は、
前記キャリブレーションデータの設定手段の設定後、その設定されたキャリブレーションデータに基づく前記ディスプレイの位置に、前記左目用の手術映像および右目用の手術映像を調整して表示することを特徴とするキャリブレーションシステム。
【請求項2】
人体のヘッド部に装着されて使用されるＶＲゴーグルに設けられ、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理装置で、個人差のある瞳孔間距離のキャリブレーションを実行する瞳孔間のキャリブレーション方法であって、３６０度ＶＲ空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示することと、
前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記３６０度ＶＲ空間にスクロール表示することと、
前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件を満たした場合に、前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定し、この設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットすることと、
術野に対して左目用の手術映像および右目用の手術映像を撮像する３Ｄカメラと複数のアームとを有したロボット装置を制御する内視鏡下手術ロボットシステムからネットワークを介して、前記内視鏡下手術ロボットシステムから前記ロボット装置が撮像する前記左目用の映像および右目用の映像をリアルタイムに取得することと、および、
あらかじめセットされた前記キャリブレーションデータに基づく前記ディスプレイの位置に、前記左目用の手術映像および右目用の手術映像を調整して表示すること、
を含む瞳孔間のキャリブレーション方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ＶＲ（バーチャル・リアリティ＝仮想現実感）に好適な個人差のある瞳間距離のキャリブレーションをおこなうためのキャリブレーションシステム及びキャブテーション方法に関する。このようなキャリブレーションシステム及び方法は、ゲーム、映画、遠隔地からの遠隔操作、胸腔ないし腹腔の内視鏡下手術用機器、電子顕微鏡、自動車や航空機等の運転シミュレータ等のＶＲ（バーチャル・リアリティ）に関連する技術分野に属する。
【背景技術】
【0002】
従来、例えば、国際特許公開第ＷＯ２０１６／０６９３９８の請求項４には、瞳孔間距離調整機構が開示されており、使用者の頭からヘッドセットを取り外さずに調整されるようにされ得るとの記載がある。
【0003】
このような瞳孔間距離のキャリブレーションシステムは、人体への影響もいろいろと議論になってきている。本発明者は、キャリブレーションの以下のような様々な問題の考察を経て、本発明を想到するに至った。
【0004】
開発背景として、「多くの人にＶＲの体験をしてもらいたい」と発明者は考えたが、ＶＲには構造上「斜視リスク」が存在し法規制と安全面の考慮から１３歳以下の２眼ＶＲヘッドセットの使用は非推奨となっている。ちなみに、ＶＲ映像は常に同じ距離のスクリーンにピントを合わせ、左右に違う映像を見せる事で遠近感を表現し脳を騙す技術になる。実際には３Ｄではないもの（平面の映像）を３Ｄ（立体）に見せかける錯覚なわけであるので、目に負担がかり、ＶＲコンテンツを体験する際、「視界が少しぼやける」、「すぐに疲れる」、「見え方が歪んで見えて酔いやすい」という現象が起こる。
【0005】
人の網膜の中には光を取込む「視細胞」という物があり、そこから視神経を通じて脳に信号を送り「視覚」となり、その中の「立体視細胞」が物を立体視する際に使われる。
そしてこの「立体視細胞」は人間の体が成長するのと同じようにこの視細胞も時間が経つにつれて徐々に発達していくことで物を立体的にとらえられるようになる。つまり幼少期は「目の使い方」を学んでいる段階なので、その発達をＶＲや３Ｄの映像で妨げる可能性があり、目に負担のかかるものは避けた方がいいというのが医療関係者の意見となっている。両眼視差による立体視はおおよそ生後２ヶ月から２歳頃までで形成され、身体能力に個人差があるように立体視する力も個人によって強弱があり、この立体視細胞の発達は大体６歳くらいまでに完成すると言われている。
そしてこの「立体視細胞」は人間の体が成長するのと同じようにこの視細胞も時間が経つにつれて徐々に発達していくことで物を立体的にとらえられるようになる。つまり幼少期は「目の使い方」を学んでいる段階なので、その発達をＶＲや３Ｄの映像で妨げる可能性があり、目に負担のかかるものは避けた方がいいというのが医療関係者の意見となっている。両眼視差による立体視はおおよそ生後２ヶ月から２歳頃までで形成され、身体能力に個人差があるように立体視する力も個人によって強弱があり、この立体視細胞の発達は大体６歳くらいまでに完成すると言われている。
【0006】
また、１３歳以下非推奨の要因として、以下理由があげられる。
・ 幼少期(６歳くらいまで)は斜視リスクが高い
・ 瞳孔間距離の増大によるリスク(調節出来れば問題なし)
・ ＣＯＰＰＡによる１３歳未満の年齢制限
・ 規制や反対運動を回避するための保守的な年齢設定
・ 幼少期(６歳くらいまで)は斜視リスクが高い
・ 瞳孔間距離の増大によるリスク(調節出来れば問題なし)
・ ＣＯＰＰＡによる１３歳未満の年齢制限
・ 規制や反対運動を回避するための保守的な年齢設定
【先行技術文献】
【特許文献】
【0007】
【文献】ＷＯ２０１６／０６９３９８
【発明の概要】
【発明が解決しようとする課題】
【0008】
以上のような、１３歳以下非推奨の要因を総括すると、瞳孔間距離が調節出来て「斜視リスク」を回避出来る仕組みが出来れば、７歳以上であれば安全に２眼ＶＲヘッドセット楽しむことが出来るようになると考え、一般的には難しい瞳孔間視差のキャリリブレーションを簡単に行えるアプリケーション開発の着手に至った。そして、その開発にあたって、本発明者が着目したのは、右目用の画面と左目用の画面を表示させて、右目左目の２眼でＶＲ映像を使用者に視認させる、ＶＲヘッドマウントディスプレイを使用したコンテンツを、安全に観賞・体験するには次の点に留意すべきということである。すなわち、「眼球を含めた空間認知の発達に影響を及ぼさないように、ＨＭＤは瞳孔間距離を考慮したものにすべき」であり、瞳孔間距離の異なる女性・男性から子供に至るまで、すべての人の目に合わせて、ＶＲ視聴時の視差や歪の補正作業（瞳孔間距離補正）を行う必要があると考えた。そして、本発明に関わるソフトウエアプログラム及びシステムは、利用者の個人差による瞳孔間距離に加え、ゴーグルのレンズ間距離、スマートフォンの画面サイズ、ゴーグルレンズとスマートフォン液晶までの距離など複雑な要素の絡まりを、利用者は意識すること無く簡単なステップを行うだけで自動的にキャリブレーションを行う事の出来るアプリケーションツールであることが肝要であると、本発明者は考えた。
【0009】
また、本発明を開発するにあたり、着目する点として、スマートフォンのようなジャイロ付きのフラットディスプレイ付きのモバイルを用いたＶＲ表示装置（ＶＲゴーグルと同義である）についての現状の調査を行った。
【0010】
ＶＲゴーグルは、ＶＲヘッドマウントディスプレイとは異なるもので、スマートフォンを用いて簡易にＶＲ映像を視聴できるものとなっている。因みに、ＶＲヘッドマウントディスプレイには次のような機能が備わっている。
・ディスプレイ
・立体視のためのレンズ
・頭の位置を読み取るヘッドトラッキング機能を行うために必要なセンサ（ジャイロセンサ、加速度センサ）
・ディスプレイ
・立体視のためのレンズ
・頭の位置を読み取るヘッドトラッキング機能を行うために必要なセンサ（ジャイロセンサ、加速度センサ）
【0011】
これに対して、ＶＲゴーグルの場合、スマートフォンの機能として、ディスプレイや上記センサを元々搭載している。そのため、スマートフォンはＶＲを体験するために必要なほとんどの機能を持っているが、ディスプレイに描き出す描画能力は、強力なグラフィック性能を持つＰＣやゲーム機には劣るが必要十分な処理能力を備えている。しかし、グラフィック性能を補うために、ＶＲゴーグルには、立体視をするためのレンズが搭載されるのが一般的である。
【0012】
図１に示すのが、前記スマートフォンＡをセットしヘッドマウントディプレイとして使用するための、ＶＲゴーグルＢの原理図である。図において、Ａ１は、スマートフォンＡの液晶画面を示し、Ｂ１は、左目用レンズ、Ｂ２は右目用レンズである。また、同図において、ａは、左右レンズＢ１とＢ２の外側間距離、ｂは、左右レンズＢ１とＢ２の内側間距離、ｃは、レンズＢ１とＢ２の直径、ｄは、レンズＢ１とＢ２との半径、ｅは、左右レンズＢ１とＢ２の中心間距離、ｆは、レンズとスマートフォンＡの表示面としての液晶面Ａ１との距離を表しており、現在市場に出回っている各種のスマートフォン用のゴーグルにおいては、前記ａ～ｆがそれぞれ次のような寸法のものが存在する。
【0013】
α社ゴーグル製品：ａ＝８５ｍｍ、ｂ＝３６．５ｍｍ、ｃ＝２４．２５、ｄ＝１２．１２５ｍｍ、ｅ＝６０．７５ｍｍ、ｆ＝３７ｍｍであった。β社ゴーグル製品：ａ＝９８ｍｍ、ｂ＝２６ｍｍ、ｃ＝３６ｍｍ、ｄ＝１８ｍｍ、ｅ＝６２ｍｍ，ｆ＝３７ｍｍであった。γ社ゴーグル製品：ａ＝９０ｍｍ、ｂ＝４２ｍｍ、ｃ＝２４ｍｍ、ｄ＝１２ｍｍ、ｅ＝６６ｍｍ，ｆ＝４３ｍｍであった。そして、α社製品には年齢制限が記されていないが、β社製品は１３歳以下は不可、γ社製品には１５歳以上との記載がそれぞれされている。
【0014】
上述した、α、β、γ社のＶＲ用のゴーグルのレンズ間距離差は、前述したように、α社（Ｃａｒｄｂｏａｒｄ） ６０.７５ｍｍ、β社（ＨＯＭＩＤＯ ６２ｍｍ）、γ社（１００円均一ノーブランド６６ｍｍ）と３個体のみの計測でレンズの中心間距離差が５.２５ｍｍもある事が確認出来た。つまり、ゴーグルによって、レンズの中心間距離がまちまちである。
【0015】
一方、瞳孔間距離差に関しては、日本人頭部データベース２００１によると、瞳孔間距離差は最小値５５ｍｍ、最大値７１ｍｍ、平均値６２．８ｍｍとなっており、瞳孔間距離差は１６ｍｍ以上ある事が確認されている。（メガネ協会では最小値５５ｍｍ、最大値７８ｍｍ、平均値６３．５ｍｍ ※非公式）このデータからすると、ゴーグルの製造メーカは、瞳孔間距離ｇに関して、日本人の平均的な寸法を採用しているものの、個人差があるので、左右の目とレンズ中心とディスプレイの左右目用の表示中心が一致するような汎用性のあるゴーグルを設計できないという制約がある。
【0016】
この要因は、スマートフォンの画面サイズがメーカや製品ごとに異なることも原因となっている。例えば、スマートフォンガイド.ｎｅｔによる２０１８年１月末までに発売のスマートフォン１３２機種の画面サイズは最小３．５インチ（アスペクト比５：３）、最大６．３インチ（アスペクト比１８．５：９）となっており、２眼表示画面中心距離は最小値３８．１ｍｍ、最大値７２ｍｍとなり、画面中心距離差は３３.９ｍｍもある事が確認できた。
【0017】
そこで、本発明は、上述したようにゴーグル製品の各種寸法差異やスマートフォンの画面サイズの多様化に対しても個人差のある瞳孔間距離ｇにマッチング可能なキャリブレーションシステム、及び、瞳孔間のキャリブレーション方法を提供することを目的とする。
【0018】
なお、図２は、ＮＴＴドコモ社から提供されるＭＯ－０１Ｊのスマートフォンを用いてＶＲゴーグルの人体の頭部に装着した場合の各種寸法比較した図であって、左右目用の表示ディスプレイの中央位置間距離ｈ１と、レンズと液晶ディスプレイとの距離ｆ１、ＶＲゴーグルのレンズ間距離ｅ１、目の間の距離ｇ１を示している。図１における符号に「１」が付加された符号は、寸法は異なるが同一の箇所寸法を意味する。
【0019】
また、図３は、ＮＴＴドコモ社から提供されるＧａｌａｘｙ（登録商標）Ｓ７のスマートフォンを用いて、ＶＲゴーグルの人体の頭部に装着した場合の各種寸法比較した図であって、左右目用の表示ディスプレイの中央位置間距離ｈ２と、レンズと液晶ディスプレイとの距離ｆ２、ＶＲゴーグルのレンズ間距離ｅ２、目の間の距離ｇ２を示している。図１における符号に「１」が付加された符号は、寸法は異なるが同一の箇所寸法を意味する。
【0020】
なお、図２と図３とは、前記α社（Ｃａｒｄｂｏａｒｄ）を用いての原理説明としている。この段ボールで作られたＶＲゴーグルは、Ｇｏｏｇｌｅから購入可能である。そして、このＶＲゴーグルの機能概要は次のようになっていると本発明者は分析した。
【0021】
mobileＶＲ_ＩＰＤ="63.5" Ab0
瞳孔間距離（ＩＰＤ）をミリメートル（ｍｍ）で設定
mobileＶＲ_lens_fov="96" Ab0
垂直視野（度）
mobileＶＲ_lens_dist="0.6" Ab0
レンズの歪みの強さ
値：0.0～5.0,0.0 =歪みなし
この歪みは、１パスレンダリングステップで内部魚眼ビュー歪みを使用してレンダリングされます。
mobileＶＲ_lens_dist2="1|0|0|0" Ab0
これは、第2パス後処理レンズ歪みステップです。
これは、mobileＶＲ_lens_dist設定を使用するだけでは不十分な場合に、追加の歪みを適用するために使用できます。
歪みパラメータがズームを引き起こしているとき、画像品質は、スケーリングおよび補間のためにわずかに縮退する可能性があります。
4つの歪みパラメータがあります：
mobileＶＲ_lens_dist2="k1|k2|k3|k4"
このレンズ歪みモデルでは、（r =レンズ中心からの距離） _
r = r * (1.0 / k1) * (1.0 + k2*r2 + k3*r4 + k4*r6)
この歪みは追加のGPU処理能力を必要とし、フレームレートを低下させる可能性があります。 _デフォルト値 _"1 | 0 | 0 | 0"を使用する場合、このステップはスキップされます。
瞳孔間距離（ＩＰＤ）をミリメートル（ｍｍ）で設定
mobileＶＲ_lens_fov="96" Ab0
垂直視野（度）
mobileＶＲ_lens_dist="0.6" Ab0
レンズの歪みの強さ
値：0.0～5.0,0.0 =歪みなし
この歪みは、１パスレンダリングステップで内部魚眼ビュー歪みを使用してレンダリングされます。
mobileＶＲ_lens_dist2="1|0|0|0" Ab0
これは、第2パス後処理レンズ歪みステップです。
これは、mobileＶＲ_lens_dist設定を使用するだけでは不十分な場合に、追加の歪みを適用するために使用できます。
歪みパラメータがズームを引き起こしているとき、画像品質は、スケーリングおよび補間のためにわずかに縮退する可能性があります。
4つの歪みパラメータがあります：
mobileＶＲ_lens_dist2="k1|k2|k3|k4"
このレンズ歪みモデルでは、（r =レンズ中心からの距離） _
r = r * (1.0 / k1) * (1.0 + k2*r2 + k3*r4 + k4*r6)
この歪みは追加のGPU処理能力を必要とし、フレームレートを低下させる可能性があります。 _デフォルト値 _"1 | 0 | 0 | 0"を使用する場合、このステップはスキップされます。
【課題を解決するための手段】
【0022】
本発明のキャリブレーションシステムは、
術野に対して左目用の手術映像および右目用の手術映像を撮像する３Ｄカメラと複数のアームとを有したロボット装置を制御する内視鏡下手術ロボットシステムにネットワークを介して接続されるキャリブレーションシステムであって、
前記キャリブレーションシステムは、
人体のヘッド部に装着されて使用されるＶＲゴーグルに設けられ、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理装置で、個人差のある瞳孔間距離のキャリブレーションを実行するものであり、
３６０度ＶＲ空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示する画像表示手段と、
前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記３６０度ＶＲ空間にスクロール表示する処理を実行するスクロール表示手段と、
前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件を満たした場合に、前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定し、この設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットするキャリブレーションデータの設定手段と、
前記内視鏡下手術ロボットシステムから前記ロボット装置が撮像する前記左目用の映像および右目用の映像をリアルタイムに取得する映像取得手段と、
を有し、
前記画像表示手段は、
前記キャリブレーションデータの設定手段の設定後、その設定されたキャリブレーションデータに基づく前記ディスプレイの位置に、前記左目用の手術映像および右目用の手術映像を調整して表示することを特徴とする。
また、本発明の瞳孔間のキャリブレーション方法は、
人体のヘッド部に装着されて使用されるＶＲゴーグルに設けられ、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理装置で、個人差のある瞳孔間距離のキャリブレーションを実行する瞳孔間のキャリブレーション方法であって、
３６０度ＶＲ空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示することと、
前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記３６０度ＶＲ空間にスクロール表示することと、
前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件を満たした場合に、前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定し、この設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットすることと、
術野に対して左目用の手術映像および右目用の手術映像を撮像する３Ｄカメラと複数のアームとを有したロボット装置を制御する内視鏡下手術ロボットシステムからネットワークを介して、前記内視鏡下手術ロボットシステムから前記ロボット装置が撮像する前記左目用の映像および右目用の映像をリアルタイムに取得することと、および、
あらかじめセットされた前記キャリブレーションデータに基づく前記ディスプレイの位置に、前記左目用の手術映像および右目用の手術映像を調整して表示すること、
を含む。
また、次のような発明も提供できる。
コンピュータ読取可能な非一過性の記憶媒体に記憶された本発明のキャリブレーションプログラムは、人体のヘッド部に装着されて使用されるＶＲゴーグルに設けられ、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理装置で、個人差のある瞳孔間距離のキャリブレーションを実行する瞳孔間のキャリブレーションプログラムであって、
３６０度ＶＲ空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示する画像表示部と、
前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記３６０度ＶＲ空間にスクロール表示する実行するスクロール表示部と、
前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件（注視時間）を満たした場合に、前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定し、この設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットするキャリブレーションデータの設定部と、
前記画像表示部は、
前記キャリブレーションデータの設定部の設定後に、その設定されたキャリブレーションデータに基づいた、再生用の右目用画像と左目用画像を前記ディスプレイに表示ことを特徴とする。
術野に対して左目用の手術映像および右目用の手術映像を撮像する３Ｄカメラと複数のアームとを有したロボット装置を制御する内視鏡下手術ロボットシステムにネットワークを介して接続されるキャリブレーションシステムであって、
前記キャリブレーションシステムは、
人体のヘッド部に装着されて使用されるＶＲゴーグルに設けられ、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理装置で、個人差のある瞳孔間距離のキャリブレーションを実行するものであり、
３６０度ＶＲ空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示する画像表示手段と、
前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記３６０度ＶＲ空間にスクロール表示する処理を実行するスクロール表示手段と、
前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件を満たした場合に、前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定し、この設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットするキャリブレーションデータの設定手段と、
前記内視鏡下手術ロボットシステムから前記ロボット装置が撮像する前記左目用の映像および右目用の映像をリアルタイムに取得する映像取得手段と、
を有し、
前記画像表示手段は、
前記キャリブレーションデータの設定手段の設定後、その設定されたキャリブレーションデータに基づく前記ディスプレイの位置に、前記左目用の手術映像および右目用の手術映像を調整して表示することを特徴とする。
また、本発明の瞳孔間のキャリブレーション方法は、
人体のヘッド部に装着されて使用されるＶＲゴーグルに設けられ、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理装置で、個人差のある瞳孔間距離のキャリブレーションを実行する瞳孔間のキャリブレーション方法であって、
３６０度ＶＲ空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示することと、
前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記３６０度ＶＲ空間にスクロール表示することと、
前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件を満たした場合に、前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定し、この設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットすることと、
術野に対して左目用の手術映像および右目用の手術映像を撮像する３Ｄカメラと複数のアームとを有したロボット装置を制御する内視鏡下手術ロボットシステムからネットワークを介して、前記内視鏡下手術ロボットシステムから前記ロボット装置が撮像する前記左目用の映像および右目用の映像をリアルタイムに取得することと、および、
あらかじめセットされた前記キャリブレーションデータに基づく前記ディスプレイの位置に、前記左目用の手術映像および右目用の手術映像を調整して表示すること、
を含む。
また、次のような発明も提供できる。
コンピュータ読取可能な非一過性の記憶媒体に記憶された本発明のキャリブレーションプログラムは、人体のヘッド部に装着されて使用されるＶＲゴーグルに設けられ、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理装置で、個人差のある瞳孔間距離のキャリブレーションを実行する瞳孔間のキャリブレーションプログラムであって、
３６０度ＶＲ空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示する画像表示部と、
前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記３６０度ＶＲ空間にスクロール表示する実行するスクロール表示部と、
前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件（注視時間）を満たした場合に、前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定し、この設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットするキャリブレーションデータの設定部と、
前記画像表示部は、
前記キャリブレーションデータの設定部の設定後に、その設定されたキャリブレーションデータに基づいた、再生用の右目用画像と左目用画像を前記ディスプレイに表示ことを特徴とする。
【0023】
この発明によれば、右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を前記ディスプレイに表示し、前記ＶＲゴーグルを装着した使用者が、前記３６０度ＶＲ空間に表示される前記複数のマーカ画像の重なりを視認して、右目用と左目用のマーカ画像が重なったところを見つけて静止状態が検知され、その静止状態が予め定められた条件を満たした場合、その状態で前記ディスプレイに表示された中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定し、この設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータを取得し、その後の再生時のキャビテーションデータとしてセットする。これによって、個人差がある瞳孔間距離の調整をソフト的に実現することができる。
【0024】
また、上述したキャリブレーションデータプログラムは、スマートフォンのアプリではなく、Ｗｅｂサーバにおいて実行されることが、細かい調整等やＶＲゴーグルや新たな端末装置に適用する迅速な対応を観点から好ましい。
【0025】
すなわち、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理機能を備えた端末装置との双方向通信によって、その端末装置を操作する使用者の瞳孔間距離のキャリブレーションデータを得るために、瞳孔間のキャリブレーションプログラムを実行することで以下の処理を実行するＷｅｂサーバのコントローラを提供する。
【0026】
前記コントローラは、
（ａ）３６０度ＶＲ空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示する処理と、
（ｂ）前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記３６０度ＶＲ空間にスクロール表示する処理と、
（ｃ）前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件を満たしたか否かを判定する処理と、
（ｆ）前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定する処理と、
（ｇ）前記設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットする処理と、
（ｈ）前記キャリブレーションデータを、その後のＶＲ動画再生時における、再生用の右目用画像と左目用画像の調整に用いるために、前記端末装置又は使用者のＩＤと関連付けて格納する処理。
（ａ）３６０度ＶＲ空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示する処理と、
（ｂ）前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記３６０度ＶＲ空間にスクロール表示する処理と、
（ｃ）前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件を満たしたか否かを判定する処理と、
（ｆ）前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定する処理と、
（ｇ）前記設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットする処理と、
（ｈ）前記キャリブレーションデータを、その後のＶＲ動画再生時における、再生用の右目用画像と左目用画像の調整に用いるために、前記端末装置又は使用者のＩＤと関連付けて格納する処理。
【0027】
また、コンピュータ読取可能な非一過性の記憶媒体に記憶された本発明のキャリブレーションプログラムは、
人体のヘッド部に装着されて使用されるＶＲゴーグルに設けられ、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理装置において個人差のある瞳孔間距離のキャリブレーションを実行する瞳孔間のキャリブレーションプログラムであって、
右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数の画像を、予め格納する記憶部と、
前記記憶部に記憶された複数の画像を、前記ディスプレイに対して、右目用画像と左目用画像として表示する画像表示部と、
前記ディスプレイに対して、右目用画像と左目用画像として表示する一対の前記複数の画像の一つを、キャリブレーション設定用のマーカ画像に設定し、このキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットするキャリブレーションデータの設定部と、
を備え、
前記画像表示部は、
前記キャリブレーションデータの設定部による設定後に、その設定されたキャリブレーションデータに基づいた、再生用の右目用画像と左目用画像を前記ディスプレイに表示することを特徴とする。
人体のヘッド部に装着されて使用されるＶＲゴーグルに設けられ、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理装置において個人差のある瞳孔間距離のキャリブレーションを実行する瞳孔間のキャリブレーションプログラムであって、
右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数の画像を、予め格納する記憶部と、
前記記憶部に記憶された複数の画像を、前記ディスプレイに対して、右目用画像と左目用画像として表示する画像表示部と、
前記ディスプレイに対して、右目用画像と左目用画像として表示する一対の前記複数の画像の一つを、キャリブレーション設定用のマーカ画像に設定し、このキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットするキャリブレーションデータの設定部と、
を備え、
前記画像表示部は、
前記キャリブレーションデータの設定部による設定後に、その設定されたキャリブレーションデータに基づいた、再生用の右目用画像と左目用画像を前記ディスプレイに表示することを特徴とする。
【0028】
また、本発明の瞳孔間のキャリブレーション方法は、
人体のヘッド部に装着されて使用されるＶＲゴーグルに設けられ、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理装置において個人差のある瞳孔間距離のキャリブレーションを実行する瞳孔間のキャリブレーション方法であって、
右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数の画像を、予め格納する記憶すること、
前記記憶部に記憶された複数の画像を、前記ディスプレイに対して、右目用画像と左目用画像として、前記ＶＲゴーグルを装着したユーザが選択可能に表示すること、
前記ディスプレイに対して、前記ユーザの選択に基づいて、右目用画像と左目用画像として表示する一対の前記複数の画像の一つを、キャリブレーション設定用のマーカ画像に設定し、このキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットすること、及び、
セットされたキャリブレーションデータに基き、再生用の右目用画像と左目用画像を前記ディスプレイに表示すること、
を含む。
人体のヘッド部に装着されて使用されるＶＲゴーグルに設けられ、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理装置において個人差のある瞳孔間距離のキャリブレーションを実行する瞳孔間のキャリブレーション方法であって、
右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数の画像を、予め格納する記憶すること、
前記記憶部に記憶された複数の画像を、前記ディスプレイに対して、右目用画像と左目用画像として、前記ＶＲゴーグルを装着したユーザが選択可能に表示すること、
前記ディスプレイに対して、前記ユーザの選択に基づいて、右目用画像と左目用画像として表示する一対の前記複数の画像の一つを、キャリブレーション設定用のマーカ画像に設定し、このキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットすること、及び、
セットされたキャリブレーションデータに基き、再生用の右目用画像と左目用画像を前記ディスプレイに表示すること、
を含む。
【発明の効果】
【0029】
この発明によれば、右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を前記ディスプレイに表示し、前記ヘッドトラッキング機能によって頭部の３６０度回転方向への回転に応じて、使用者が、前記ディスプレイの中央に表示される前記マーカ画像の内、重なりがより明確になるマーカを探すと、その中央に配置された状態のマーカ画像が調整用のキャリブレーションデータとして設定され、その後のＶＲ空間に表示される映像は、このキャリブレーションデータに基づいて、個人差や年齢により変化するような瞳孔間距離の調整をソフト的に実現することができる。
【図面の簡単な説明】
【0030】
【図1】スマートフォンＡをセットしヘッドマウントディプレイとして使用するための、従来品ＶＲゴーグルＢの視聴のための原理図である。
【図2】ＮＴＴドコモ社から提供されるＭＯ－０１Ｊのスマートフォンを用いてＶＲゴーグルの人体の頭部に装着した場合の各種寸法比較した図であって、左右目用の表示ディスプレイの中央位置間距離ｈ１と、レンズと液晶ディスプレイとの距離ｆ１、ＶＲゴーグルのレンズ間距離ｅ１、目の間の距離ｇを示している。
【図3】ＮＴＴドコモ社から提供されるＧａｌａｘｙ（登録商標）Ｓ７のスマートフォンを用いて、ＶＲゴーグルの人体の頭部に装着した場合の各種寸法比較した図であって、左右目用の表示ディスプレイの中央位置間距離ｈ１と、レンズと液晶ディスプレイとの距離ｆ１、ＶＲゴーグルのレンズ間距離ｅ１、目の間の距離ｇを示している。
【図4】ＶＲゴーグルの周りにキャリブレーション設定用のマーカ画像の複数が配置されている状態を示しているマーカ配置概念図であり、複数のマーカ画像は、左目用のマーカ画像群と、右目用マーカ画像群が使用者の脳内で視差により立体視して認識された状態を示している。
【図6】スマートフォンのディスプレイである液晶ディスプレイを示している。
【図7】瞳孔間距離のキャリブレーションデータを得るために、ＷＥＢ上のＷＥＢサーバ１から前述した左右目用の複数のマーカ画像を端末であるスマートフォンＡのディスプレイＡ１に表示するための概念図である。
【図8】画面の変遷によって示す処理フローである。
【図9】画面の変遷によって示す処理フローである。
【図10】ＶＲゴーグルごとに同じスマートフォンをセットした場合でも、左右中心間距離ｈが異なることを示す図である。
【図11】キャリブレーションシステムの機能ブロックを示す説明図である。
【図12】変形例における左右ディスプレイにおける表示とユーザが視認する状態を示す図である。
【図15A】VRゴーグルに設定された瞳孔間距離よりも、広い瞳孔間距離を有するユーザがVRゴーグルを使用する例の説明図である。
【図15B】VRゴーグルに設定された瞳孔間距離よりも、広い瞳孔間距離を有するユーザがVRゴーグルを使用する例の説明図である。
【図16】焦点距離テーブルの説明図である。
【図17】キャリブレーションシステムが実行する再調整処理のフローチャートである。
【発明を実施するための形態】
【0031】
（ＶＲゴーグルを用いた瞳孔間距離のキャリブレーション概念）
図４において、マーカ配置概念図４１は、ＶＲゴーグルの周りにキャリブレーション設定用のマーカ画像の複数が配置されている状態を示している概念図である。このマーカ配置概念図４１の複数のマーカ画像は、左目用のマーカ画像群４２と、右目用マーカ画像群４３が使用者の脳内で視差により立体視して認識された状態を示している。つまり、マーカ配置概念図４１のマーカ画像Ｍは、左目用のマーカ画像Ｍ１と右目用のマーカ画像Ｍ２が脳内で合成されて認識される仮想の現実画像である。
図４において、マーカ配置概念図４１は、ＶＲゴーグルの周りにキャリブレーション設定用のマーカ画像の複数が配置されている状態を示している概念図である。このマーカ配置概念図４１の複数のマーカ画像は、左目用のマーカ画像群４２と、右目用マーカ画像群４３が使用者の脳内で視差により立体視して認識された状態を示している。つまり、マーカ配置概念図４１のマーカ画像Ｍは、左目用のマーカ画像Ｍ１と右目用のマーカ画像Ｍ２が脳内で合成されて認識される仮想の現実画像である。
【0032】
図５は、図４を２次元で表示した状態を示したものである。実際にＶＲゴーグルを装着した人が見る映像をマーカ配置図５１に示す。左目用のマーカ画像群５２は、ＶＲゴーグルを装着した人が左目のみで見る映像であり、右目用のマーカ画像群５３は、ＶＲゴーグルを装着した人が右目のみで見る映像である。左右用のマーカ画像は、瞳孔間距離を割り出して、瞳孔間距離（ＩＰＤ／Ｉｎｔｅｒｐｕｐｉｌｌａｒｙ ｄｉｓｔａｎｃｅの略）のキャリブレーションを行うためのキャリブレーションデータを取得するために、左右のマーカ画像を脳内で重ねて視認する際に、個人差や年齢によって変化するＩＰＤによって見え方、つまり、重なるマーカ画像が異なるように、前記複数のマーカ画像が左右で少しずつズレて視認されるように配置されている。
【0033】
このズレた左右目用のマーカ画像を視認しつつ、左右のマーカ画像が重なってはっきりと視認できるようになったところで、後述するスマートフォン内に内蔵されたタイマーで予め設定された時間の間、静止状態が継続されたことを検知すると、中央に表示されるマーカ画像（図の場合は、「０」のマーカ画像）が選択されたと検知し、この検知されたマーカ画像に対して予め用意された瞳孔間距離のキャリブレーションデータを、後のＶＲ画像を表示するための基準データとして、ＶＲ映像コントローラが設定する。ＶＲ映像コントローラは、スマートフォンが内蔵するＣＰＵを含むコントローラがその役割を担う場合も想定されるが、本実施形態のように、スマートフォンが通信回線を通じて接続されるサーバのコントローラがその役割を担うように構成することができる。後者の場合には、スマートフォンのディスプレイに表示される左右目用の複数のマーカ画像は、ブラウザー上で生成されて前記スマートフォンのディスプレイに対して表示される。
【0034】
左目用のマーカ画像が符号Ｍ１、右目用のマーカ画像が符号Ｍ２で表されており、両者を上位で符号Ｍで図に表している。「０」のマーカ画像は、Ｍ１とＭ２が完全に重なった状態であって、ズレが生じていない状態に表示される場合、両者が交互に表示されているような表示形態を採用している。これは、Ｍ１とＭ２が色などで異なった表示形態として表示するようにした場合、使用者が完全に重なっているのか、優先されて表示されるマーカＭのみが表示されているのかが判定できないような恐れを解消するために、交互に左右用のマーカ画像Ｍ１とＭ２が表示されるように構成しているのである。
【0035】
図６に示すのは、スマートフォンのディスプレイであって、幅方向の液晶サイズをＨ、長さ方向の液晶サイズをＶ、左目用の複数のマーカ画像を表示する左目用画像をＬＤ、左目用の複数のマーカ画像を表示する左目用画像をＲＤとし、左右目画像の中心間距離ｈ等の図１と同様の意味を示す符号は図１と同一の符号を用いている。
【0036】
（システム概念図）
図７に示すのが、本発明の瞳孔間距離のキャリブレーションデータを得るために、ＷＥＢ上のＷＥＢサーバ１から前述した左右目用の複数のマーカ画像を端末であるスマートフォンＡのディスプレイＡ１に表示するための概念図である。この図において、端末機器としてのスマートフォンＡよりＱＲコード（登録商標）及びＵＲＬをリクエストし、インターネット２を経由してＷｅｂサーバーへアクセスする。Ｗｅｂサーバ１より、ＨＴＭＬ形式で端末機器Ａのブラウザに、端末機器Ａのメモリに格納されるようなアプリケーションを介さず、ＩＰＤキャリブレーションデータを得るための前述した複数のマーカ画像、及び、瞳孔間距離のキャリブレーションデータを得て、そのキャリブレーションデータを用いてキャリブレーションデータを実行した３６０度ＶＲ動画を直接表示する。
図７に示すのが、本発明の瞳孔間距離のキャリブレーションデータを得るために、ＷＥＢ上のＷＥＢサーバ１から前述した左右目用の複数のマーカ画像を端末であるスマートフォンＡのディスプレイＡ１に表示するための概念図である。この図において、端末機器としてのスマートフォンＡよりＱＲコード（登録商標）及びＵＲＬをリクエストし、インターネット２を経由してＷｅｂサーバーへアクセスする。Ｗｅｂサーバ１より、ＨＴＭＬ形式で端末機器Ａのブラウザに、端末機器Ａのメモリに格納されるようなアプリケーションを介さず、ＩＰＤキャリブレーションデータを得るための前述した複数のマーカ画像、及び、瞳孔間距離のキャリブレーションデータを得て、そのキャリブレーションデータを用いてキャリブレーションデータを実行した３６０度ＶＲ動画を直接表示する。
【0037】
前記端末機器としては、スマートフォンに限らず、タブレット端末など、本実施形態に示すように、使用者に対して左右用のキャリブレーションデータを得るための操作に使用可能なものであれば本発明を適用できるのは勿論である。
【0038】
（処理フロー）
図８及び図９は、画面の変遷によって示す処理フローである。
（Ａ）スマートフォンなどの端末装置Ａを用いて、ＱＲコード（登録商標）及びＵＲＬを介して、Ｗｅｂサーバー１へアクセス。図８（Ａ）において、ディスプレイＡ１に表示するのは、スマートフォンのカメラ機能を用いて撮影されたＱＲコード（登録商標）である。
（Ｂ）Ｗｅｂサーバ１よりＨＴＭＬで端末機器ＡのディスプレイＡ１によって、端末装置ＡのブラウザにTOP画面（後述する図８（Ｂ）の選択画面）を表示。動画及びＩＰＤキャリブレーションの選択ボタンでＩＰＤを選択。この選択画面によって、使用者は、ＶＲ動画を視聴するか、キャリブレーションデータを得るための処理を行うかを選択できる。ＶＲ動画を視聴する場合には、使用者の識別情報の入力データを得ることで、Ｗｅｂサーバ１内のデータベースに予め格納された当該使用者のキャリブレーションデータに基づいた調整後のＶＲ動画を視聴することが可能となる。
（Ｃ）ＩＰＤキャリブレーション画面に移動。画面上にウィザードで操作方法を表示。所謂、操作案内画面を表示する。
（Ｄ）ＩＰＤキャリブレーション画面-１：スマートフォン選択（端末情報を読み込んで機種を自動選択するが、適切な機種が選択されない場合は画面のインチサイズ情報をマニュアルで入力する）
（Ｅ）ＩＰＤキャリブレーション画面-２：ゴーグル選択（予め用意したゴーグルデータベースより、使用するゴーグルを選択。使用するゴーグルの該当機種が無い場合はカスタム画面にてマニュアル調整を行う）このゴーグルデータベースは、Ｗｅｂサーバのデータベースに備わっている。図１０には、同じスマートフォンとしての端末装置ＡをＶＲゴーグルにセットしても、ディスプレイＡ１における左右目用の画像の中心間距離ｈが異なることを示しているが、このように同じ端末装置Ａであっても種類が異る場合にはディスプレイＡ１の中心間距離ｈが異なるので、これを事前に設定できる工程を経ることで、より使用者に合致した瞳孔間距離のキャリブレーションデータを実行することができるようになる。
（Ｆ）ＩＰＤキャリブレーション画面-３：オブジェクト選択画面に移動、３６０度空間に左目用・右目用に配置されたオブジェクトより、最もズレの少ないオブジェクトを選択。選択方法は様々であろうが、本発明の場合には、前述した従来の汎用品であるＶＲゴーグルにスマートフォンを設け、このスマートフォンを備えたＶＲゴーグルを人体の頭部に装着して使用され、スマートフォンＡに一般的に備わっているジャイロ機能を有するセンサと、時間の経過を検知することが可能なタイマーとして計時装置を用いて、複数のマーカ画像が鮮明に表示されているマーカ画像を、頭部の回転によって中央に持ってきて、その状態を保持（計時装置である所定の時間の経過を測定することで静止したと判定するとともに、使用者が選択したと判定する）することで、中央位置に配置されているマーカ画像に基づいてキャリブレーションデータを得るようにしている。より詳しくは、以下の（Ｇ）で説明する。
（Ｇ）ＩＰＤキャリブレーション画面-３：左右一致しているオブジェクト（左右のマーカ画像が重なった状態の画像、左右目のマーカ画像が重なった状態であるが、視認されるのはマーカ画像となる）を画面Ａ１中心で一定時間注視（視点操作）することで瞳孔間距離を割り出し、自分に合ったＩＰＤキャリブレーションデータを取得するのである。瞳孔間距離を数値として割り出すようにして、その後のＶＲ動画の再生に用いた方が、キャリブレーションデータとして汎用性があるが、ある特定のＶＲ動画の良好に視聴するだけの場合には、数値としてのキャリブレーションデータを得ることなく、前記画面Ａ１の中央で一定時間注視したマーカ画像（上記オブジェクト）に対するキャリブレーションの処理を完了したＶＲ再生画像を用意しておき、そのＶＲ動画を再生するように構成することもできる。
（Ｈ）ＩＰＤキャリブレーション画面-４：ＩＰＤキャリブレーション完了画面で、左右の画像が一致していることを確認し、問題が無ければ「ＯＫ」を選択して動画選択画面へ移動。ズレていた場合は再度キャリブレーション画面に戻り選択操作を行う。
図８及び図９は、画面の変遷によって示す処理フローである。
（Ａ）スマートフォンなどの端末装置Ａを用いて、ＱＲコード（登録商標）及びＵＲＬを介して、Ｗｅｂサーバー１へアクセス。図８（Ａ）において、ディスプレイＡ１に表示するのは、スマートフォンのカメラ機能を用いて撮影されたＱＲコード（登録商標）である。
（Ｂ）Ｗｅｂサーバ１よりＨＴＭＬで端末機器ＡのディスプレイＡ１によって、端末装置ＡのブラウザにTOP画面（後述する図８（Ｂ）の選択画面）を表示。動画及びＩＰＤキャリブレーションの選択ボタンでＩＰＤを選択。この選択画面によって、使用者は、ＶＲ動画を視聴するか、キャリブレーションデータを得るための処理を行うかを選択できる。ＶＲ動画を視聴する場合には、使用者の識別情報の入力データを得ることで、Ｗｅｂサーバ１内のデータベースに予め格納された当該使用者のキャリブレーションデータに基づいた調整後のＶＲ動画を視聴することが可能となる。
（Ｃ）ＩＰＤキャリブレーション画面に移動。画面上にウィザードで操作方法を表示。所謂、操作案内画面を表示する。
（Ｄ）ＩＰＤキャリブレーション画面-１：スマートフォン選択（端末情報を読み込んで機種を自動選択するが、適切な機種が選択されない場合は画面のインチサイズ情報をマニュアルで入力する）
（Ｅ）ＩＰＤキャリブレーション画面-２：ゴーグル選択（予め用意したゴーグルデータベースより、使用するゴーグルを選択。使用するゴーグルの該当機種が無い場合はカスタム画面にてマニュアル調整を行う）このゴーグルデータベースは、Ｗｅｂサーバのデータベースに備わっている。図１０には、同じスマートフォンとしての端末装置ＡをＶＲゴーグルにセットしても、ディスプレイＡ１における左右目用の画像の中心間距離ｈが異なることを示しているが、このように同じ端末装置Ａであっても種類が異る場合にはディスプレイＡ１の中心間距離ｈが異なるので、これを事前に設定できる工程を経ることで、より使用者に合致した瞳孔間距離のキャリブレーションデータを実行することができるようになる。
（Ｆ）ＩＰＤキャリブレーション画面-３：オブジェクト選択画面に移動、３６０度空間に左目用・右目用に配置されたオブジェクトより、最もズレの少ないオブジェクトを選択。選択方法は様々であろうが、本発明の場合には、前述した従来の汎用品であるＶＲゴーグルにスマートフォンを設け、このスマートフォンを備えたＶＲゴーグルを人体の頭部に装着して使用され、スマートフォンＡに一般的に備わっているジャイロ機能を有するセンサと、時間の経過を検知することが可能なタイマーとして計時装置を用いて、複数のマーカ画像が鮮明に表示されているマーカ画像を、頭部の回転によって中央に持ってきて、その状態を保持（計時装置である所定の時間の経過を測定することで静止したと判定するとともに、使用者が選択したと判定する）することで、中央位置に配置されているマーカ画像に基づいてキャリブレーションデータを得るようにしている。より詳しくは、以下の（Ｇ）で説明する。
（Ｇ）ＩＰＤキャリブレーション画面-３：左右一致しているオブジェクト（左右のマーカ画像が重なった状態の画像、左右目のマーカ画像が重なった状態であるが、視認されるのはマーカ画像となる）を画面Ａ１中心で一定時間注視（視点操作）することで瞳孔間距離を割り出し、自分に合ったＩＰＤキャリブレーションデータを取得するのである。瞳孔間距離を数値として割り出すようにして、その後のＶＲ動画の再生に用いた方が、キャリブレーションデータとして汎用性があるが、ある特定のＶＲ動画の良好に視聴するだけの場合には、数値としてのキャリブレーションデータを得ることなく、前記画面Ａ１の中央で一定時間注視したマーカ画像（上記オブジェクト）に対するキャリブレーションの処理を完了したＶＲ再生画像を用意しておき、そのＶＲ動画を再生するように構成することもできる。
（Ｈ）ＩＰＤキャリブレーション画面-４：ＩＰＤキャリブレーション完了画面で、左右の画像が一致していることを確認し、問題が無ければ「ＯＫ」を選択して動画選択画面へ移動。ズレていた場合は再度キャリブレーション画面に戻り選択操作を行う。
【0039】
この処理は、本実施形態のように、一定時間注視で操作させ、且つ、その注視対象が多数存在ずるような場合には好適な処理となる。つまり、瞳孔間距離のキャリブレーションデータを細かく設定しようとすると、少しずつズレた前記マーカ画像Ｍを左右用の画像ＬＤとＲＤに対して、前記マーカ画像Ｍ１・・・Ｍ１，Ｍ２・・・Ｍ２でのＭ１とＭ１との距離及びＭ２とＭ２間の距離をより短い距離にした画像を用意することになる。この場合、キャリブレーションデータを得ようとする使用者が、画面Ａ１の中央位置に注視した操作を行ったつもりが、他のマーカ画像に注視したと、キャリブレーションデータを得る役割を担う前記コントローラが判定してしまう恐れがある。このような問題を解消するために、（Ｈ）の工程は好適となるのである。
（Ｉ）ＩＰＤキャリブレーション完了後、動画選択画面へ
以上のような処理フローを実行することによって、次のような特徴のある発明を実行できる。
（Ｉ）ＩＰＤキャリブレーション完了後、動画選択画面へ
以上のような処理フローを実行することによって、次のような特徴のある発明を実行できる。
【0040】
すなわち、人体のヘッド部に装着されて使用されるＶＲゴーグルに設けられ、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理装置で、個人差のある瞳孔間距離のキャリブレーションを実行する瞳孔間のキャリブレーションプログラムであって、
３６０度ＶＲ空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示する画像表示部と、
前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記３６０度ＶＲ空間にスクロール表示する実行するスクロール表示部と、
前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件（注視時間）を満たした場合に、前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定し、この設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットするキャリブレーションデータの設定部と、
前記画像表示部は、
前記キャリブレーションデータの設定部の設定後に、その設定されたキャリブレーションデータに基づいた、再生用の右目用画像と左目用画像を前記ディスプレイに表示ことを特徴とするキャリブレーションプログラム。
３６０度ＶＲ空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示する画像表示部と、
前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記３６０度ＶＲ空間にスクロール表示する実行するスクロール表示部と、
前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件（注視時間）を満たした場合に、前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定し、この設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットするキャリブレーションデータの設定部と、
前記画像表示部は、
前記キャリブレーションデータの設定部の設定後に、その設定されたキャリブレーションデータに基づいた、再生用の右目用画像と左目用画像を前記ディスプレイに表示ことを特徴とするキャリブレーションプログラム。
【0041】
ここで図８と図９で前記キャリブレーションプログラムのフローを示しているが、処理ステップとして、前記画像表示部→スクロール表示部→キャリブレーションデータの設定部の処理を経て、前記キャリブレーションデータの設定部によって設定された設定値を、動画再生の場合に使用して動画再生を実行するようにしている。
【0042】
また、サーバとしては次のような発明を本実施例では含んでいる。すなわち、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備え、且つ、画像処理機能を具備した端末装置との双方向通信によって、その端末装置を操作する使用者の瞳孔間距離のキャリブレーションデータを得るために、瞳孔間のキャリブレーションプログラムを実行するＷｅｂサーバのコントローラであって、
前記コントローラは、以下の処理を実行する。
（ａ）３６０度ＶＲ空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示する処理と、
（ｂ）前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記３６０度ＶＲ空間にスクロール表示する処理と、
（ｃ）前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件を満たしたか否かを判定する処理と、
（ｆ）前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定する処理と、
（ｇ）前記設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットする処理と、
（ｈ）前記キャリブレーションデータを、その後のＶＲ動画再生時における、再生用の右目用画像と左目用画像の調整に用いるために、前記端末装置又は使用者のＩＤと関連付けて格納する処理。
前記コントローラは、以下の処理を実行する。
（ａ）３６０度ＶＲ空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示する処理と、
（ｂ）前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記３６０度ＶＲ空間にスクロール表示する処理と、
（ｃ）前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件を満たしたか否かを判定する処理と、
（ｆ）前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定する処理と、
（ｇ）前記設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットする処理と、
（ｈ）前記キャリブレーションデータを、その後のＶＲ動画再生時における、再生用の右目用画像と左目用画像の調整に用いるために、前記端末装置又は使用者のＩＤと関連付けて格納する処理。
【0043】
このようなキャリブレーションデータの取得および適用のための、上記のような処理はいずれのタイミングで行われるものであってもよい。例えば、ＶＲ動画の再生中であってもよい。尚、ＶＲ動画の再生中に、キャリブレーションデータの取得および適用を行うためのトリガーを設けることが好ましい。例えば、ＶＲ動画の再生中に呼び出し可能な設定画面に、上記のようなキャリブレーションデータの取得および適用を行うためのトリガを設けてもよい。なお、ＶＲ動画とは、単なる動画を示すものに限定されない。例えば、コンシューマゲーム機や運転シュミレータに適用する場合には、ユーザのゲームコントローラ操作に応じて生成される映像等を示す。また、内視鏡下手術用機器、および、電子顕微鏡等に適用する場合には、実際のカメラやＣＴ（Computed Tomography）等から取得した映像を３Ｄ用にエンコードした映像等を示す。
【0044】
このように、本実施形態の端末装置Ａを有するキャリブレーションシステム、又は、端末装置Ａ及びＷｅｂサーバを有するキャリブレーションシステムは、上記の処理を実行するコントローラを有している。なお、当然に、端末装置Ａは、ユーザに仮想的に立体視を体験させるヘッドマウントディスプレイ等の立体表示装置であってもよい。
【0045】
上記のように得られた瞳孔間距離のキャリブレーションデータに基づいて、上記のようなコントローラは、端末装置ＡがディスプレイＡ１に表示する右目用と左目用の画像の位置をリニアに調整する。即ち、上述したような、汎用的に用いることができるように平均的なＩＰＤが設定されたＶＲゴーグルやヘッドマウントディスプレイ等を、この平均的なＩＰＤとは異なるユーザが用いるような場合、コントローラは、取得したキャリブレーションデータに基づいて、右目用の画像と右目用の画像とを水平方向に移動させる。
【0046】
具体的に、ヘッドマウントディスプレイには、設定されたＩＰＤに基づく距離を離して設けられた左右の眼用のレンズを有しており、ヘッドマウントディスプレイを装着したユーザは、右眼で右眼用のレンズを介して右眼用の映像を視認し、左眼で左眼用のレンズを介して左眼用の映像を視認する。例えば、距離Ｄだけ離れた正面位置に仮想的な対象物をユーザに立体視させたい場合には、ディスプレイの右眼用のレンズの光軸と交差する位置に右眼用の対象物を表示し、ディスプレイの左眼用のレンズの光軸と交差する位置に左眼用の対象物を表示する。これにより、ヘッドマウントディスプレイに設定されたＩＰＤを有するユーザにとって、焦点距離および輻輳距離が、実際に距離Ｄだけ離れた正面位置に配置された対象物を視認した場合と一致するものとなり、ある程度自然な状態で立体視を体験することができる。
【0047】
一方で、ヘッドマウントディスプレイに設定されたＩＰＤよりも狭いＩＰＤを有するユーザが当該ヘッドマウントディスプレイを装着して上記と同様の映像を見た場合、レンズの光軸よりも左右の眼が内側にずれるため、右眼では右眼用の対象物を中央よりも右側にずれた位置に視認し、左眼では左眼用の対象物を中央よりも左側にずれた位置に視認することになる。即ち、ヘッドマウントディスプレイに設定されたＩＰＤよりも狭いＩＰＤを有するユーザにとって、対象物が距離Ｄに基づく視差で表示されるにも関わらず、輻輳距離は距離Ｄよりも遠く認識されることになる。
【0048】
これに対して、本実施形態の端末装置Ａのコントローラは、ＶＲ動画の再生等において、取得したキャリブレーションデータに基づく距離だけ、右眼用の画像を左へずらして表示し、左眼用の画像を右へずらして表示する。
【0049】
また、ヘッドマウントディスプレイに設定されたＩＰＤよりも広いＩＰＤを有するユーザが当該ヘッドマウントディスプレイを装着して上記と同様の映像を見た場合、レンズの光軸よりも左右の眼が外側にずれるため、右眼では右眼用の対象物を中央よりも左側にずれた位置に視認し、左眼では左眼用の対象物を中央よりも右側にずれた位置に視認することになる。即ち、ヘッドマウントディスプレイに設定されたＩＰＤよりも狭いＩＰＤを有するユーザにとって、対象物が距離Ｄに基づく視差で表示されるにも関わらず、輻輳距離は距離Ｄよりも近く認識されることになる。
【0050】
これに対して、本実施形態のコントローラは、ＶＲ動画の再生等において、取得したキャリブレーションデータに基づく距離だけ、右眼用の画像を右へずらして表示し、左眼用の画像を左へずらして表示する。
【0051】
このように、本実施形態のコントローラは、ユーザが、ユーザから見て一致して視認される左目用マーカ画像Ｍ１と右目用マーカ画像Ｍ２とを選択するのみでキャリブレーションデータを取得し、当該キャリブレーションデータに基づく位置に再生用の右目用画像と左目用画像とをディスプレイに表示するように構成されている。即ち、ヘッドマウントディスプレイ等の立体表示装置やフラットディスプレイ付きのモバイルに取り付けるようなＶＲ表示装置に設定されたＩＰＤと、実際にこれらの装置を装着しているユーザのＩＰＤとが一致していないことを一要因とする酔いや不快感、及び、上述したようなリスクを軽減することが可能となる。
【0052】
ここで、端末装置Ａ、または、端末装置ＡおよびＷｅｂサーバを有するキャリブレーションシステムの機能ブロックについて説明する。
【0053】
図１１に示すように、キャリブレーションシステム１００は、ディスプレイＡ１、入力装置Ａ２、メモリＡ３、および、コントローラＡ４を有している。ディスプレイＡ１は、上述したようなキャリブレーションに用いる左目用マーカ画像Ｍ１および右目用マーカ画像Ｍ２や、キャリブレーションを適用する対象となる再生用の右目用画像および左目用画像を表示する。なお、ディスプレイＡ１は、左右の目それぞれに１つずつ設けられたものであってもよいし、スマートフォンであればスマートフォンが有するディスプレイであってもよい。
【0054】
入力装置Ａ２は、ユーザが、ユーザから見て一致して視認される左目用マーカ画像Ｍ１と右目用マーカ画像Ｍ２とを選択することに用いられる。例えば、ユーザが一定時間視認したマーカを選択対象として決定する場合には、モーションセンサ等がこれに対応する。なお、これに限定されず、入力装置Ａ２は、一般的な、マウス、キーボード、ゲーム用コントローラ等であってもよい。
【0055】
メモリＡ３は、キャリブレーションに用いる左目用マーカ画像Ｍ１および右目用マーカ画像Ｍ２や、キャリブレーションを適用する対象となる再生用の右目用画像および左目用画像等のディスプレイＡ１に表示するデータを記憶する。また、上述したような瞳孔間のキャリブレーションプログラムを記憶する。メモリＡ３は、コンピュータが読取可能な非一過性の記憶媒体であり、例えば、ヘッドマウントディスプレイに内蔵される記憶部、スマートフォンに内蔵される記憶部、および、サーバに内蔵される記憶部等に対応する。尚、ヘッドマウントディスプレイがゲーム、内視鏡下手術用機器、電子顕微鏡、運転シミュレータ等を実現するためのＶＲ動画を出力するコンピュータに接続されるような場合、メモリＡ３は当該コンピュータが内蔵する記憶部であってもよい。即ち、キャリブレーションシステム１００は、このようなコンピュータを有するものであってもよい。
【0056】
コントローラＡ４は、上述したような、瞳孔間距離のキャリブレーションデータを取得するため処理を実行するキャリブレーションデータ取得部Ａ４１と、キャリブレーションデータをＶＲ再生用の動画に適用するための処理を実行するキャリブレーションデータ適用部Ａ４２と、を有している。キャリブレーションデータ適用部Ａ４２は、上述のＶＲ動画を出力するコンピュータにキャリブレーションデータを提供するものであってもよい。この場合、当該コンピュータがＶＲ再生用の動画にキャリブレーションデータを適用する。また、キャリブレーションデータ適用部Ａ４２は、このようなコンピュータから出力されるＶＲ動画に実際にキャリブレーションデータを適用してもよい。
【0057】
以下に、図１１に示すキャリブレーションシステム１００が記憶するキャリブレーションプログラムが実行する変形例を示す。即ち、以下の変形例に、キャリブレーションシステム１００が実現するキャリブレーションデータの取得方法を示す。本変形例のキャリブレーションシステム１００のコントローラＡ４は、上述したような右目用マーカ画像と、左目用マーカ画像と、を１つずつ表示し、それぞれがＩＰＤを変化させるように移動させ、ユーザが選択したタイミングでの右目用マーカ画像と、左目用マーカ画像とが示すＩＰＤに基づくキャリブレーションデータを取得することを特徴とする。
【0058】
先ず、図１２を参照して、第１の変形例について説明する。図１２に示すように、第１の変形例において、キャリブレーションシステム１００のコントローラＡ４は、右目用のディスプレイＡ１１に左目用マーカ画像Ｍ１１を表示し、右目用のディスプレイＡ１２に右目用マーカ画像Ｍ１２を表示する。なお、ディスプレイＡ１１およびディスプレイＡ１２は、１つの装置であってもよく、左右に分割された領域のそれぞれに対応する。
【0059】
なお、図１２に示すように、本変形例では、左目用マーカ画像Ｍ１１、及び、右目用マーカ画像Ｍ１２は、視差を持った立体視可能な木の画像を用いているが、これに限定されない。例えば、上述の実施形態の図４及び図５に示すようなマーカ画像を用いてもよいし、ディスプレイＡ１１およびディスプレイＡ１２の全体に示される景色等の立体視映像であってもよい。なお、いずれの画像を用いる場合でも、例えば、画像の中央等に基準となる座標が設定される。
【0060】
ディスプレイＡ１１において、領域を左右に分割する設定線Ｌ１、Ｌ２、および、Ｌ３が設定されている。左目用マーカ画像Ｍ１１は、設定線Ｌ１～Ｌ３の間を繰り返し移動して表示される。即ち、左目用マーカ画像Ｍ１１は、設定線Ｌ１から設定線Ｌ２を通過して設定線Ｌ３に到達した後、設定線Ｌ３から設定線Ｌ２を通過して設定線Ｌ１に到達する移動を繰り返す。なお、設定線Ｌ２は、ディスプレイＡ１１における表示中心である。また、ディスプレイＡ１２において、領域を左右に分割する設定線Ｒ１、Ｒ２、および、Ｒ３が設定されている。右目用マーカ画像Ｍ１２は、設定線Ｒ１～Ｒ３の間を繰り返し移動して表示される。即ち、右目用マーカ画像Ｍ１１は、設定線Ｒ１から設定線Ｒ２を通過して設定線Ｒ３に到達した後、設定線Ｒ３から設定線Ｒ２を通過して設定線Ｒ１に到達する移動を繰り返す。なお、設定線Ｒ２は、ディスプレイＡ１２における表示中心である。
【0061】
ここで、左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２は、左目用マーカ画像Ｍ１１が設定線Ｌ１に来た時に、右目用マーカ画像Ｍ１２が設定線Ｒ１に来るように移動する。また、左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２は、左目用マーカ画像Ｍ１１が設定線Ｌ３に来た時に、右目用マーカ画像Ｍ１２が設定線Ｒ３に来るように移動する。即ち、左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２は、これらが近づく移動を行った後、これらが離れる移動を行う動作を繰り返す。このように、左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２は、瞳孔間距離が変化するように、左右方向方向へ移動可能に表示される。即ち、左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２は、瞳孔間距離を変化可能に配置される。
【0062】
従って、左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２は、設定線Ｌ２および設定線Ｒ２よりも設定線Ｌ１及び設定線Ｒ１側では、ＶＲゴーグル等の立体表示装置に設定されたＩＰＤよりも狭いＩＰＤを有するユーザに適した位置となる。また、左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２は、設定線Ｌ２および設定線Ｒ２よりも設定線Ｌ３及び設定線Ｒ３側では、ＶＲゴーグル等の立体表示装置に設定されたＩＰＤよりも狭いＩＰＤを有するユーザに適した位置となる。
【0063】
キャリブレーションシステム１００は、左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２の移動中に、入力装置Ａ２からの入力を受け付ける。キャリブレーションシステム１００は、入力を受け付けたタイミングにおける左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２の位置に応じたキャリブレーションデータを算出し、ディスプレイＡ１１およびディスプレイＡ１２における映像再生位置に適用する。即ち、キャリブレーションシステム１００は、左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２を、ＶＲゴーグル等を装着したユーザが左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２が複数取り得る配置から指定可能に表示する。
【0064】
例えば、ＶＲゴーグル等の立体表示装置に設定されたＩＰＤよりも狭いＩＰＤを有するユーザが左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２を確認した場合、当該ユーザは、設定線Ｒ１及びＲ２の間（設定線Ｌ１及びＬ２の間）において、左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２が合致する映像を視認することになる（Ｔ１）。一方、例えば、設定線Ｒ１（Ｌ１）においては、当該ユーザのＩＰＤよりも狭いＩＰＤになってしまうため、左目用マーカ画像Ｍ１１は右にずれた位置に視認され、右目用マーカ画像Ｍ１２は左にずれた位置に視認されることになる（Ｔ２）。また、例えば、設定線Ｒ２及びＲ３の間（設定線Ｌ２及びＬ３の間）においては、当該ユーザのＩＰＤよりも広いＩＰＤになってしまうため、左目用マーカ画像Ｍ１１は左にずれた位置に視認され、右目用マーカ画像Ｍ１２は右にずれた位置に視認されることになる（Ｔ３）。
【0065】
図示しないが、ＶＲゴーグル等の立体表示装置に設定されたＩＰＤよりも広いＩＰＤを有するユーザが左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２を確認した場合、設定線Ｒ２及びＲ３の間（設定線Ｌ２及びＬ３の間）において、Ｔ１に示されるような左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２が合致する映像を視認することになる。
【0066】
ユーザがＴ１のように視認されるタイミングで入力装置Ａ２への操作を行うことにより、キャリブレーションシステム１００は当該ユーザにとって適切なＩＰＤに設定するためのキャリブレーションデータを、操作が行われたタイミングにおける左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２の位置から取得する。即ち、キャリブレーションデータは、例えば、左目用マーカ画像Ｍ１１に設定される座標が、設定線Ｌ２からどのくらいずれているかによって、決定される調整値である。
【0067】
なお、左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２を表示する仮想的な距離は限定されないが、再生されるＶＲ動画においてベースとなるようなオブジェクトを配置する距離に設定されることが好ましい。ベースとなるようなオブジェクトとは、ＶＲ動画においてユーザが視認する頻度が高いオブジェクト等であってもよい。
【0068】
また、上記変形例において、左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２は、自動で移動するものであったがこれに限定されない。例えば、ユーザが入力装置Ａ２を操作することで左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２を同期して移動させ、適切な位置で入力装置Ａ２を操作することで、自身のＩＰＤに適切な左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２の位置を決定してもよい。
【0069】
このように、キャリブレーションシステム１００のコントローラＡ４は、ディスプレイＡ１１およびディスプレイＡ１２のそれぞれにおいて水平方向にＩＰＤを変化させながら繰り返し移動する左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２を表示する。ここで、コントローラＡ４は、左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２が合致するタイミングで入力装置Ａ２を操作するように報知してもよい。コントローラＡ４は、入力装置Ａ２からの信号のタイミングに基づき、当該タイミングでの左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２の位置を確定する。コントローラＡ４は、左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２の位置に基づき、キャリブレーションデータを取得する。コントローラＡ４は、取得したキャリブレーションデータをＶＲ動作の再生に適用する。
【0070】
なお、本変形例では、キャリブレーションシステム１００のコントローラＡ４は、左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２が合致するタイミングで入力装置Ａ２を操作させるものであったがこれに限定されない。即ち、キャリブレーションシステム１００のコントローラＡ４は、左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２が離間するタイミングで入力装置Ａ２を操作させるものであってもよい。
【0071】
これは、例えば、図１２のＴ２に示すような、ずれて表示される左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２を、ずれが無いように見ようと自然ではない眼球運動を行ってＴ１のように調整して視認する可能性があるからである。即ち、左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２の移動範囲において、左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２が合致する期間が存在する可能性がある。
【0072】
例えば、キャリブレーションシステム１００のコントローラＡ４は、以下のように、キャリブレーションデータを取得してもよい。具体的に、コントローラＡ４は、左目用マーカ画像Ｍ１１を設定線Ｌ１からＬ３へ移動させ、右目用マーカ画像Ｍ１２を設定線Ｒ１からＲ３へ移動させる表示を繰り返し表示する。この期間、コントローラＡ４は、ユーザに対して、左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２が合致して視認される状態から、左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２が離間した状態に視認されたタイミングで入力装置Ａ２を操作するように報知する。即ち、このタイミングでの左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２の位置は、このユーザの目の調整範囲の外側限界のＩＰＤを示すものとなる。
【0073】
また、コントローラＡ４は、左目用マーカ画像Ｍ１１を設定線Ｌ３からＬ１へ移動させ、右目用マーカ画像Ｍ１２を設定線Ｒ３からＲ１へ移動させる表示を繰り返し表示する。この期間、コントローラＡ４は、ユーザに対して、左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２が合致して視認される状態から、左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２が離間した状態に視認されたタイミングで入力装置Ａ２を操作するように報知する。即ち、このタイミングでの左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２の位置は、このユーザの目の調整範囲の内側限界のＩＰＤを示すものとなる。
【0074】
コントローラＡ４は、上述のユーザの目の調整範囲の外側限界と内側限界との中央をこのユーザの適切なＩＰＤを示すものとして、当該中央の左目用マーカ画像Ｍ１１および右目用マーカ画像Ｍ１２の位置に基づいて、キャリブレーションデータを取得する。これにより、ＶＲ動画をより適切にユーザのＩＰＤに適した位置に表示することができ、オブジェクトが近づいたり遠のいたりした場合の違和感も軽減できる可能性がある。
【0075】
次に、図１３を参照して、第２の変形例について説明する。第２の変形例では、上述した実施形態や第１の変形例等で取得したＩＰＤの適用例を示す。具体的に、本変形例では、複数のキャリブレーションシステム１００と、複数のキャリブレーションシステム１００が再生する映像を送信する内視鏡下手術ロボットシステム２００と、を有している。
【0076】
内視鏡下手術ロボットシステム２００は、医師が胸腔ないし腹腔の内視鏡下手術をロボットアームで行うためのシステムであり、内視鏡下手術ロボット装置２１０と、操作端末２２０と、これら内視鏡下手術ロボット装置２１０および操作端末２２０が接続される制御装置２３０とを有している。内視鏡下手術ロボットシステム２００は、３Ｄリアルタイムエンコーダー２０１と接続されている。３Ｄリアルタイムエンコーダー２０１は、ＬＡＮ等のネットワークを介して複数の３Ｄリアルタイムデコーダー１０１に接続されている。３Ｄリアルタイムデコーダー１０１のそれぞれには、キャリブレーションシステム１００が接続されている。
【0077】
内視鏡下手術ロボット装置２１０は、主な構成として、複数のアームと、左目用の映像および右目用の映像を撮像する３Ｄカメラとを有している。内視鏡下手術ロボット装置２１０は、制御装置２３０を介して操作端末２２０から送信される制御信号に基づき、複数のアームを制御し、内視鏡下手術を進行させる。また、内視鏡下手術ロボット装置２１０は、制御装置２３０へ３Ｄカメラが撮影した映像を送信すると共に、操作端末２２０から制御装置２３０を介して受信した制御信号に基づいて複数のアームを制御する。
【0078】
操作端末２２０は、制御装置２３０を介して内視鏡下手術ロボット装置２１０から送信される映像（患者の術野）を立体画像として映し出すディスプレイ、および、内視鏡下手術ロボット装置２１０の複数のアームや３Ｄカメラを操作するための入力装置等を有している。入力装置が受け付けた操作は、操作信号として、制御信号を介して、内視鏡下手術ロボット装置２１０へ送信される。制御装置２３０は、上述のように、内視鏡下手術ロボット装置２１０が撮像する映像を操作端末２２０へ送信する機能を有するとともに、操作端末２２０からの制御信号を内視鏡下手術ロボット装置２１０を送信する機能を有する。
【0079】
また、図１３に示すように、本実施形態において、制御装置２３０は、内視鏡下手術ロボット装置２１０が撮像した左目用の映像および右目用の映像を結合して、サイドバイサイドやトップアンドボトムの形式の３Ｄビデオに変換する機能を有している。制御装置２３０によって変換された３Ｄビデオは、３Ｄリアルタイムエンコーダー２０１によってエンコードされて各３Ｄリアルタイムデコーダー１０１へ送信される。これにより、内視鏡下手術ロボットシステム２００で撮像される術野の映像が、それぞれのキャリブレーションシステム１００においてリアルタイムで確認可能となる。
【0080】
各キャリブレーションシステム１００では、予めディスプレイＡ１（図１１参照）が設けられたヘッドマウントディスプレイ等を用いるユーザのＩＰＤに応じたキャリブレーションデータがメモリＡ３（図１１参照）に格納されている。即ち、ユーザがキャリブレーションシステム１００を用いて内視鏡下手術ロボットシステム２００から送信される３Ｄビデオを試聴する際、キャリブレーションシステム１００はメモリＡ３のキャリブレーションデータを適用して、左右目用の映像を適切な位置に調整する。
【0081】
なお、ユーザ毎のキャリブレーションデータは他のサーバ等に格納されるものであってもよい。即ち、キャリブレーションシステム１００は、ユーザのログインに応じてユーザに対応するキャリブレーションデータをサーバから取得し、映像に適用するものであってもよい。
【0082】
このように、上述のような複数のキャリブレーションシステム１００と、内視鏡下手術ロボットシステム２００とを有するシステムを構成することにより、内視鏡下手術を執刀している医師の手技が映し出される術野の３Ｄ映像が、他の複数のユーザと共有されるものとなる。そして、手術は長時間に及ぶことが想定されるが、キャリブレーションシステム１００により目の負担を軽減できる。従来、平面的なモニター画面でしか確認されなかった映像が、遠隔であったとしてもネットワークを介して臨場感のある３Ｄ映像として確認できるため、これからロボット手術を学ぼうとする医師、研修医、学生のトレーニングをより効果的かつ効率的なものとすることができる。
【0083】
次に、第３の変形例について説明する。
【0084】
本変形例は、ＶＲ（バーチャル・リアリティ＝仮想現実感）に好適な個人差のある瞳間距離のキャリブレーションの再調整に関連する技術分野に属する。
【0085】
従来、例えば、国際特許公開第ＷＯ２０１６／０６９３９８の請求項４には、瞳孔間距離調整機構が開示されており、使用者の頭からヘッドセットを取り外さずに調整されるようにされ得るとの記載がある。
【0086】
上記従来ではハードウェア的にユーザの瞳孔間距離に応じた調整を行う構成であるが、本発明者はソフトウェア的にユーザの瞳孔間距離に応じた調整を行う場合についての様々な問題の考察を経て本変形例を想到するに至った。
【0087】
そこで、本変形例では、ユーザが試聴する３Ｄ映像において仮想的な焦点距離が変化する場合、変化前の焦点距離においてソフトウェア的にユーザの瞳孔間距離に適した調整が行われていたとしても、変化後の焦点距離においてはユーザの瞳孔間距離に適した調整となっていない問題を解消するキャリブレーションシステムおよびキャリブレーション方法を提供することを目的とする構成について説明する。
【0088】
即ち、本変形例のキャリブレーションシステムは、
３Ｄコンテンツをユーザに提示するための右目用画像および左目用画像を表示するディスプレイを有した、人体のヘッド部に装着されて使用されるＶＲゴーグルと、
コントローラと、
を有し、
前記コントローラは、
ＶＲゴーグルを使用するユーザの特定の焦点距離に対応したキャリブレーションデータを取得し、
前記キャリブレーションデータに基づき、前記右目用画像および左目用画像の表示位置を前記ユーザにとって適切な特定の輻輳角となるように変更して前記３Ｄコンテンツをユーザに提示し、
前記３Ｄコンテンツにおけるシーンごとの焦点距離を取得し、
前記シーンごとの焦点距離が前記特定の焦点距離と異なる場合、前記シーンごとの焦点距離および前記キャリブレーションデータに基づき、前記右目用画像および左目用画像の表示位置を前記シーンごとに前記ユーザにとって適切な輻輳角となるように変更して前記３Ｄコンテンツをユーザに提示する。
３Ｄコンテンツをユーザに提示するための右目用画像および左目用画像を表示するディスプレイを有した、人体のヘッド部に装着されて使用されるＶＲゴーグルと、
コントローラと、
を有し、
前記コントローラは、
ＶＲゴーグルを使用するユーザの特定の焦点距離に対応したキャリブレーションデータを取得し、
前記キャリブレーションデータに基づき、前記右目用画像および左目用画像の表示位置を前記ユーザにとって適切な特定の輻輳角となるように変更して前記３Ｄコンテンツをユーザに提示し、
前記３Ｄコンテンツにおけるシーンごとの焦点距離を取得し、
前記シーンごとの焦点距離が前記特定の焦点距離と異なる場合、前記シーンごとの焦点距離および前記キャリブレーションデータに基づき、前記右目用画像および左目用画像の表示位置を前記シーンごとに前記ユーザにとって適切な輻輳角となるように変更して前記３Ｄコンテンツをユーザに提示する。
【0089】
また、本変形例のキャリブレーション方法は、
３Ｄコンテンツをユーザに提示するための右目用画像および左目用画像を表示するディスプレイを有した、人体のヘッド部に装着されて使用されるＶＲゴーグルにおいて、
ＶＲゴーグルを使用するユーザのＩＰＤおよび特定の焦点距離に対応したキャリブレーションデータを取得すること、
前記キャリブレーションデータに基づき、前記右目用画像および左目用画像の表示位置を前記ユーザにとって適切な特定の輻輳角となるように変更して前記３Ｄコンテンツをユーザに提示すること、
前記３Ｄコンテンツにおけるシーンごとの焦点距離を取得すること、
前記シーンごとの焦点距離が前記特定の焦点距離と異なる場合、前記シーンごとの焦点距離および前記キャリブレーションデータに基づき、前記右目用画像および左目用画像の表示位置を前記シーンごとに前記ユーザにとって適切な輻輳角となるように変更して前記３Ｄコンテンツをユーザに提示すること、
を含む。
３Ｄコンテンツをユーザに提示するための右目用画像および左目用画像を表示するディスプレイを有した、人体のヘッド部に装着されて使用されるＶＲゴーグルにおいて、
ＶＲゴーグルを使用するユーザのＩＰＤおよび特定の焦点距離に対応したキャリブレーションデータを取得すること、
前記キャリブレーションデータに基づき、前記右目用画像および左目用画像の表示位置を前記ユーザにとって適切な特定の輻輳角となるように変更して前記３Ｄコンテンツをユーザに提示すること、
前記３Ｄコンテンツにおけるシーンごとの焦点距離を取得すること、
前記シーンごとの焦点距離が前記特定の焦点距離と異なる場合、前記シーンごとの焦点距離および前記キャリブレーションデータに基づき、前記右目用画像および左目用画像の表示位置を前記シーンごとに前記ユーザにとって適切な輻輳角となるように変更して前記３Ｄコンテンツをユーザに提示すること、
を含む。
【0090】
一般的に、３Ｄコンテンツにおいてあるオブジェクトの焦点距離が変化する場合、右目用画像および左目用画像上において、このオブジェクトは内斜視方向または外斜視方向へ移動する。この移動距離は、焦点距離の変化とＶＲゴーグルにとって適切なＩＰＤとに依存するため、ＶＲゴーグルにとって適切なＩＰＤを有しないユーザにとっては適切でない。上記構成によれば、焦点距離の変化に応じて、使用するユーザのキャリブレーションデータに基づいた表示位置となるように前記右目用画像および左目用画像を表示する。これにより、ＶＲゴーグルに適切なＩＰＤが、ＶＲゴーグルを使用するユーザと異なる場合であっても、シーンごとに適切な輻輳角となるように、右目用画像および左目用画像の表示位置が変化されて３Ｄコンテンツが提示される。
【0091】
以下、本変形例の具体的な構成について説明する。
【0092】
図１４に示すように、キャリブレーションシステム１１００は、ディスプレイＡ１００１、入力装置Ａ１００２、メモリＡ１００３、および、コントローラＡ１００４を有している。ディスプレイＡ１００１は、上述したようなキャリブレーションに用いる左目用マーカ画像Ｍ１および右目用マーカ画像Ｍ２や、キャリブレーションを適用する対象となる再生用の右目用画像および左目用画像を表示する。なお、ディスプレイＡ１００１は、左右の目それぞれに１つずつ設けられたものであってもよいし、スマートフォンであればスマートフォンが有するディスプレイであってもよい。
【0093】
入力装置Ａ１００２は、ユーザが、ユーザから見て一致して視認される左目用マーカ画像Ｍ１と右目用マーカ画像Ｍ２とを選択することに用いられる。例えば、ユーザが一定時間視認したマーカを選択対象として決定する場合には、モーションセンサ等がこれに対応する。なお、これに限定されず、入力装置Ａ１００２は、一般的な、マウス、キーボード、ゲーム用コントローラ等であってもよい。
【0094】
メモリＡ１００３は、キャリブレーションに用いる左目用マーカ画像Ｍ１および右目用マーカ画像Ｍ２や、キャリブレーションを適用する対象となる再生用の右目用画像および左目用画像等のディスプレイＡ１００１に表示する３Ｄコンテンツのデータを記憶する。また、メモリＡ１００３は、各種プログラムを記憶する。メモリＡ１００３は、コンピュータが読取可能な非一過性の記憶媒体であり、例えば、ヘッドマウントディスプレイに内蔵される記憶部、スマートフォンに内蔵される記憶部、および、サーバに内蔵される記憶部等に対応する。尚、ヘッドマウントディスプレイがゲーム、内視鏡下手術用機器、電子顕微鏡、運転シミュレータ等を実現するためのＶＲ動画を出力するコンピュータに接続されるような場合、メモリＡ１００３は当該コンピュータが内蔵する記憶部であってもよい。即ち、キャリブレーションシステム１１００は、このようなコンピュータを有するものであってもよい。
【0095】
また、メモリＡ１００３は、３Ｄコンテンツのシーンに対応付けて、当該シーンにおける焦点距離が記憶される。ここで、焦点距離は、予め３Ｄコンテンツのシーンごとに対応付けた値が記憶されるものであってもよいし、後述の焦点距離取得部Ａ１０４３が３Ｄコンテンツの内容を解析して取得するものであってもよい。
【0096】
コントローラＡ１００４は、上述したような、瞳孔間距離のキャリブレーションデータを取得するため処理を実行するキャリブレーションデータ取得部Ａ１０４１と、キャリブレーションデータをＶＲ再生用の動画に適用するための処理を実行するキャリブレーションデータ適用部Ａ１０４２と、３Ｄコンテンツのシーンごとの焦点距離を取得する焦点距離取得部Ａ１０４３と、取得した焦点距離に基づき適切な輻輳角となるように右目用画像および左目用画像の表示位置を設定する焦点距離適用部Ａ１０４４と、を有している。
【0097】
キャリブレーションデータ適用部Ａ４２は、上述のＶＲ動画を出力するコンピュータにキャリブレーションデータを提供するものであってもよい。この場合、当該コンピュータがＶＲ再生用の動画にキャリブレーションデータを適用する。また、キャリブレーションデータ適用部Ａ４２は、このようなコンピュータから出力されるＶＲ動画に実際にキャリブレーションデータを適用してもよい。焦点距離取得部Ａ１０４３は、上述のように、３Ｄコンテンツのシーンに応じて、メモリＡ１００３に記憶された焦点距離を取得するものであってもよいし、３Ｄコンテンツから取得するものであってもよい。焦点距離適用部Ａ１０４４は、キャリブレーションデータ取得部Ａ１０４１が取得したキャリブレーションデータおよび焦点距離取得部Ａ１０４３が取得した焦点距離に基づいて右目用画像および左目用画像の表示位置を設定する。
【0098】
次に、ＶＲゴーグルに設定されたＩＰＤと、異なるＩＰＤを有するユーザがＶＲゴーグルを用いる際に、焦点距離の変化が生じた場合の問題点について説明する。なお、ＶＲゴーグルに設定されたＩＰＤよりも、広いＩＰＤを有するユーザがＶＲゴーグルを使用する例について説明する。
【0099】
図１５Ａに示すように、上記の実施形態に記載しているように、３Ｄコンテンツが提供される前に、予め特定の焦点距離Ｆ１に仮想的に配置された左目用マーカ画像Ｍ１および右目用マーカ画像Ｍ２を用いてキャリブレーションデータが取得され、左目用画像Ｍ１００１および右目用画像Ｍ１００２の表示位置が、ユーザにとって適切な特定の輻輳角となるように変更されて３Ｄコンテンツが表示される。
【0100】
具体的に、ＶＲゴーグル設定された瞳孔間距離Ｄ１を有するユーザと比較し、瞳孔間距離Ｄ１よりも広い瞳孔間距離Ｄ２を有するユーザに表示する左目用マーカ画像Ｍ１００１および右目用マーカ画像Ｍ１００２は、外斜視方向へシフトされた状態に表示されることになる。
【0101】
そして、図１５Ｂに示すように、例えば、焦点距離Ｆ１に仮想的に配置されたオブジェクトＭ２０が焦点距離Ｆ２の位置に変更された場合、ディスプレイＡ１上の左目用画像Ｍ１００１および右目用画像Ｍ１００２におけるのオブジェクトＭ２０は、キャリブレーションデータの適用の有無に関わらず、外斜視方向へ同じ距離移動することになる。移動したオブジェクトＭ２０の位置は、ＶＲゴーグル設定された瞳孔間距離Ｄ１を有するユーザにとっては適切であるが、ＶＲゴーグル設定された瞳孔間距離Ｄ１よりも広い瞳孔間距離Ｄ２を有するユーザにとっては適正な位置とはならないため、ユーザの目に負担がかかることになる。
【0102】
本変形例では、輻輳距離が固定されるようなＶＲゴーグルで生じる上記のような問題を解決するため、焦点距離に変更が生じた場合にはユーザのＩＰＤに応じた適正な位置となるように、ディスプレイＡ１上における左目用画像Ｍ１００１および右目用画像Ｍ１００２の位置を外斜視方向または内斜視方向へ移動するように構成されている。例えば、上記の例では、左目用画像Ｍ１００１および右目用画像Ｍ１００２を外斜視方向へシフトさせることになる。
【0103】
次に、キャリブレーションシステム１１００の動作について説明する。本変形例では、図１６に示すように、メモリＡ１００３に、３Ｄコンテンツのシーンごとの焦点距離が記憶されている例を説明する。
【0104】
具体的に、図１６に示すように、メモリＡ１００３には、焦点距離テーブルが記憶される。焦点距離テーブルは、シーン欄と、焦点距離欄とを有している。シーン欄には、３Ｄコンテンツにおける各シーンが格納される。焦点距離欄には、シーンごとの焦点距離が格納される。なお、焦点距離は、ユーザに主として見せたいオブジェクトが仮想的に配置される焦点距離である。尚、焦点距離は、仮想的な距離に限定されず、焦点距離に基づいて算出される情報であってもよい。
【0105】
次に、図１７を参照して、キャリブレーションシステム１１００により実行される３Ｄコンテンツ実行中の再調整処理のプログラムについて説明する。
【0106】
図１７に示すように、先ず、キャリブレーションシステム１１００は、キャリブレーションデータを適用して３Ｄコンテンツを実行する（Ｓ１）。なお、キャリブレーションデータの取得フローについては省略している。そして、キャリブレーションシステム１１００は、３Ｄコンテンツにおいてシーンの変更があったか否かを判定する（Ｓ２）。シーンの変更があった場合（Ｓ２：ＹＥＳ）、キャリブレーションシステム１１００は、焦点距離テーブル（図１６参照）を参照してシーンに応じた焦点距離を取得する（Ｓ３）。そして、キャリブレーションシステム１１００は、キャリブレーションデータおよび取得した焦点距離に応じて、ステレオマッチングの手法等を用いて画像のシフト距離を算出する（Ｓ４）。そして、算出したシフト距離だけ左目用画像Ｍ１００１および右目用画像Ｍ１００２を外斜視方向または内斜視方向へシフトさせる。
【0107】
ステップＳ２において、シーンの変更が無い場合（Ｓ２：ＮＯ）、または、ステップＳ５が実行された後、キャリブレーションシステム１１００は、ユーザから再度に調整を行う処理の要求である調整要求があったか否かを判定する（Ｓ６）。調整要求がない場合（Ｓ６：ＮＯ）、キャリブレーションシステム１１００は、ステップＳ２へ処理を移行する。調整要求があった場合（Ｓ６：ＹＥＳ）、キャリブレーションシステム１１００は、３Ｄコンテンツを一時停止して調整用マーカ画像（例えば、図４および図５の複数の左目用マーカ画像Ｍ１および右目用マーカ画像Ｍ２）を表示する（Ｓ７）。そして、キャリブレーションシステム１１００は、ユーザからいずれかのマーカ画像が選択されたか否かを判定する（Ｓ８）。マーカ画像が選択されない場合（Ｓ８：ＮＯ）、キャリブレーションシステム１１００は、繰り返しステップＳ８の処理を実行する。
【0108】
一方、マーカ画像が選択された場合（Ｓ８：ＹＥＳ）、キャリブレーションシステム１１００は、選択されたマーカ画像に基づいてキャリブレーションデータを更新する（Ｓ９）。そして、キャリブレーションシステム１１００は、キャリブレーションデータを適用して３Ｄコンテンツを再開する（Ｓ１０）。即ち、焦点距離の変更に基づいて左目用画像Ｍ１００１および右目用画像Ｍ１００２がシフトされている場合には、左目用画像Ｍ１００１および右目用画像Ｍ１００２の位置を、キャリブレーションデータを適用した位置に変更すると共に、焦点距離の変更に基づくシフトを適用する。
【0109】
その後、キャリブレーションシステム１１００は、３Ｄコンテンツが終了されたか否かを判定する（Ｓ１１）。３Ｄコンテンツが終了されない場合（Ｓ１１：ＮＯ）、キャリブレーションシステム１１００は、処理をステップＳ２へ移行する。また、３Ｄコンテンツが終了された場合（Ｓ１１：ＹＥＳ）、キャリブレーションシステム１１００は、本処理を終了する。
【0110】
以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定するものではなく、各部等の具体的構成は、適宜設計変更可能である。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
【0111】
また、上述した詳細な説明では、本発明をより容易に理解できるように、特徴的部分を中心に説明した。本発明は、上述した詳細な説明に記載する実施形態に限定されず、その他の実施形態にも適用することができ、その適用範囲は多様である。また、本明細書において用いた用語及び語法は、本発明を的確に説明するために用いたものであり、本発明の解釈を制限するために用いたものではない。また、当業者であれば、本明細書に記載された発明の概念から、本発明の概念に含まれる他の構成、システム、方法等を推考することは容易であると思われる。従って、請求の範囲の記載は、本発明の技術的思想の範囲を逸脱しない範囲で均等な構成を含むものであるとみなされなければならない。また、要約書の目的は、特許庁及び一般的公共機関や、特許、法律用語又は専門用語に精通していない本技術分野に属する技術者等が本出願の技術的な内容及びその本質を簡易な調査で速やかに判定し得るようにするものである。従って、要約書は、請求の範囲の記載により評価されるべき発明の範囲を限定することを意図したものではない。また、本発明の目的及び本発明の特有の効果を十分に理解するために、すでに開示されている文献等を充分に参酌して解釈されることが望まれる。
【0112】
上述した詳細な説明は、コンピュータで実行される処理を含むものである。以上での説明及び表現は、当業者が最も効率的に理解することを目的として記載している。本明細書では、１の結果を導き出すために用いられる各処理は、自己矛盾がない処理として理解されるべきである。また、各処理では、電気的又は磁気的な信号の送受信、記録等が行われる。各処理における処理では、このような信号を、ビット、値、シンボル、文字、用語、数字等で表現しているが、これらは単に説明上便利であるために用いたものであることに留意する必要がある。また、各処理における処理は、人間の行動と共通する表現で記載される場合があるが、本明細書で説明する処理は、原則的に各種の装置により実行されるものである。また、各処理を行うために要求されるその他の構成は、以上の説明から自明になるものである。
【0113】
本発明は、個人差や年齢による変化が生じ得る瞳孔間距離のキャリブレーションをソフト的に実行し、その個人に合った左右目用の画像をディスプレイ上に表示することで、視差によって立体映像を人に視認させる際に生じるような、様々な弊害を低減することが可能となる。特に、スマートフォンのディスプレイやジャイロ機能を用いて簡易にＶＲを楽しむためのＶＲゴーグル用のキャリブレーションデータ取得プログラムとして好適なものとなり、産業上で利用できるものである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15A】
【図15B】
【図16】
【図17】
