特許 6693656 瞳孔間のキャリブレーションプログラム、前記プログラムを用いたＷｅｂサーバ、及び、瞳孔間のキャリブレーション方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6693656

(24)【登録日】2020年4月20日

(45)【発行日】2020年5月13日

(54)【発明の名称】瞳孔間のキャリブレーションプログラム、前記プログラムを用いたＷｅｂサーバ、及び、瞳孔間のキャリブレーション方法

(51)【国際特許分類】

   H04N 13/344 20180101AFI20200427BHJP

   H04N 13/371 20180101ALI20200427BHJP

   H04N 13/327 20180101ALI20200427BHJP

   G02B 27/02 20060101ALI20200427BHJP

   G09G 5/00 20060101ALI20200427BHJP

   G09G 5/36 20060101ALI20200427BHJP

   G09G 5/34 20060101ALI20200427BHJP

   G09G 5/38 20060101ALI20200427BHJP

【ＦＩ】

   H04N13/344

   H04N13/371

   H04N13/327

   G02B27/02 Z

   G09G5/00 X

   G09G5/00 550C

   G09G5/00 555D

   G09G5/36 510V

   G09G5/34 Z

   G09G5/00 510H

   G09G5/38 Z

【請求項の数】2

【全頁数】15

(21)【出願番号】特願2017-232151(P2017-232151)

(22)【出願日】2017年11月14日

(65)【公開番号】特開2019-92140(P2019-92140A)

(43)【公開日】2019年6月13日

【審査請求日】2019年2月4日

(73)【特許権者】

【識別番号】517422249

【氏名又は名称】株式会社Ｂ．ｂ．ｄｅｓｉｇｎＬａｂ

(74)【代理人】

【識別番号】110001841

【氏名又は名称】特許業務法人梶・須原特許事務所

(72)【発明者】

【氏名】湯浅 史丈

(72)【発明者】

【氏名】朝倉 一浩

(72)【発明者】

【氏名】安田 裕治

(72)【発明者】

【氏名】宇都木 仁

(72)【発明者】

【氏名】田村 睦明

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開２０１３−２３２７４４（ＪＰ，Ａ）

【文献】 特開平５−３４４４５０（ＪＰ，Ａ）

【文献】 国際公開第２０１４／０７７０４６（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１５／０２９３３６２（ＵＳ，Ａ１）

【文献】 特開平８−１９１４１９（ＪＰ，Ａ）

【文献】 特開２０１０−９６８６４（ＪＰ，Ａ）

【文献】 特表２０１８−５０１４９８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１３／３９８

Ｇ０２Ｂ ２７／００−２７／６４

Ｇ０９Ｇ ５／００−５／４０

(57)【特許請求の範囲】

【請求項1】

人体のヘッド部に装着されて使用されるＶＲゴーグルに設けられ、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理装置で、個人差のある瞳孔間距離のキャリブレーションを実行する瞳孔間のキャリブレーションプログラムであって、
３６０度ＶＲ空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示する画像表示手段と、
前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記３６０度ＶＲ空間にスクロール表示する処理を実行するスクロール表示手段と、
前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件を満たした場合に、前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定し、この設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットするキャリブレーションデータの設定手段と、
前記画像表示手段は、
前記キャリブレーションデータの設定手段の設定後に、その設定されたキャリブレーションデータに基づいた、再生用の右目用画像と左目用画像を前記ディスプレイに表示することを特徴とするキャリブレーションプログラム。

【請求項2】

ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備え、画像処理機能を具備した端末装置との双方向通信によって、その端末装置を操作する使用者の瞳孔間距離のキャリブレーションデータを得るために、瞳孔間のキャリブレーションプログラムを実行するＷｅｂサーバのコントローラであって、
前記コントローラは、以下の処理を実行する。
（ａ）３６０度ＶＲ空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示する処理と、
（ｂ）前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記３６０度ＶＲ空間にスクロール表示する処理と、
（ｃ）前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件を満たしたか否かを判定する処理と、
（ｆ）前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定する処理と、
（ｇ）前記設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットする処理と、
（ｈ）前記キャリブレーションデータを、その後のＶＲ動画再生時における、再生用の右目用画像と左目用画像の調整に用いるために、前記端末装置又は使用者のＩＤと関連付けて格納する処理。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＶＲ（バーチャル・リアリティ＝仮想現実感）に好適な個人差のある瞳間距離のキャリブレーションをおこなうためのキャリブレーションシステム及びキャブテーション方法に関する。このようなキャリブレーションシステム及び方法は、ゲーム、映画、遠隔地からの遠隔操作等のＶＲ（バーチャル・リアリティ）に関連する技術分野に属する。

【背景技術】

【0002】

従来、例えば、特許文献１の請求項４には、瞳孔間距離調整機構が開示されており、使用者の頭からヘッドセットを取り外さずに調整されるようにされ得るとの記載がある。

【0003】

このような瞳孔間距離のキャリブレーションシステムは、人体への影響もいろいろと議論になってきている。本発明者は、キャリブレーションの以下のような様々な問題の考察を経て、本発明を想到するに至った。
＜開発背景＞
「多くの人にＶＲの体験をしてもらいたい」と発明者は考えたが、ＶＲには構造上「斜視リスク」が存在し法規制と安全面の考慮から１３歳以下の２眼ＶＲヘッドセットの使用は非推奨となっている。
ちなみに、ＶＲ映像は常に同じ距離のスクリーンにピントを合わせ、左右に違う映像を見せる事で遠近感を表現し脳を騙す技術になる。
実際には３Ｄではないもの（平面の映像）を３Ｄ（立体）に見せかける錯覚なわけであるので、目に負担がかり、ＶＲコンテンツを体験する際、「視界が少しぼやける」、「すぐに疲れる」、「見え方が歪んで見えて酔いやすい」という現象が起こる。

【0004】

人の網膜の中には光を取込む「視細胞」という物があり、そこから視神経を通じて脳に信号を送り「視覚」となり、その中の「立体視細胞」が物を立体視する際に使われる。
そしてこの「立体視細胞」は人間の体が成長するのと同じようにこの視細胞も時間が経つにつれて徐々に発達していくことで物を立体的にとらえられるようになる。
つまり幼少期は「目の使い方」を学んでいる段階なので、その発達をＶＲや３Ｄの映像で妨げる可能性があり、目に負担のかかるものは避けた方がいいというのが医療関係者の意見となっている。
両眼視差による立体視はおおよそ生後２ヶ月から２歳頃までで形成され、身体能力に個人差があるように立体視する力も個人によって強弱があり、この立体視細胞の発達は大体６歳くらいまでに完成すると言われている。

【0005】

また、１３歳以下非推奨の要因として、以下理由があげられる。
・幼少期（６歳くらいまで）は斜視リスクが高い
・瞳孔間距離の増大によるリスク（調節出来れば問題なし）
・ＣＯＰＰＡによる１３歳未満の年齢制限
・規制や反対運動を回避するための保守的な年齢設定

【先行技術文献】

【特許文献】

【0006】

【特許文献1】ＷＯ２０１６／０６９３９８

【発明の概要】

【発明が解決しようとする課題】

【0007】

以上のような、１３歳以下非推奨の要因を総括すると、瞳孔間距離が調節出来て「斜視リスク」を回避出来る仕組みが出来れば、７歳以上であれば安全に２眼ＶＲヘッドセット楽しむことが出来るようになると考え、一般的には難しい瞳孔間視差のキャリリブレーションを簡単に行えるアプリケーション開発の着手に至った。
そして、その開発にあたって、本発明者が着目したのは、右目用の画面と左目用の画面を表示させて、右目左目の２眼でＶＲ映像を使用者に視認させる、ＶＲヘッドマウントディスプレイを使用したコンテンツを、安全に観賞・体験するには次の点に留意すべきということである。すなわち、「眼球を含めた空間認知の発達に影響を及ぼさないように、ＨＭＤは瞳孔間距離を考慮したものにすべき」であり、瞳孔間距離の異なる女性・男性から子供に至るまで、すべての人の目に合わせて、ＶＲ視聴時の視差や歪の補正作業（瞳孔間距離補正）を行う必要があると考えた。
そして、本発明に関わるソフトウエアプログラム及びシステムは、利用者の個人差による瞳孔間距離に加え、ゴーグルのレンズ間距離、スマートフォンの画面サイズ、ゴーグルレンズとスマートフォン液晶までの距離など複雑な要素の絡まりを、利用者は意識すること無く簡単なステップを行うだけで自動的にキャリブレーションを行う事の出来るアプリケーションツールであることが肝要であると、本発明者は考えた。

【0008】

また、本発明を開発するにあたり、着目する点として、スマートフォンのようなジャイロ付きのフラットディスプレイ付きのモバイルを用いたＶＲ表示装置（ＶＲゴーグルと同義である）についての現状の調査を行った。

【0009】

ＶＲゴーグルは、ＶＲヘッドマウントディスプレイとは異なるもので、スマートフォンを用いて簡易にＶＲ映像を視聴できるものとなっている。因みに、ＶＲヘッドマウントディスプレイには次のような機能が備わっている。
・ディスプレイ
・立体視のためのレンズ
・頭の位置を読み取るヘッドトラッキング機能を行うために必要なセンサ（ジャイロセンサ、加速度センサ）である。

【0010】

これに対して、ＶＲゴーグルの場合、スマートフォンの機能として、ディスプレイや上記センサを元々搭載している。そのため、スマートフォンはＶＲを体験するために必要なほとんどの機能を持っているが、ディスプレイに描き出す描画能力は、強力なグラフィック性能を持つＰＣやゲーム機には劣るが必要十分な処理能力を備えている。しかし、グラフィック性能を補うために、ＶＲゴーグルには、立体視をするためのレンズが搭載されるのが一般的である。
図１に示すのが、前記スマートフォンＡをセットしヘッドマウントディプレイとして使用するための、ＶＲゴーグルＢの原理図である。
図において、Ａ１は、スマートフォンＡの液晶画面を示し、Ｂ１は、左目用レンズ、Ｂ２は右目用レンズである。
また、同図において、ａは、左右レンズＢ１とＢ２の外側間距離、ｂは、左右レンズＢ１とＢ２の内側間距離、ｃは、レンズＢ１とＢ２の直径、ｄは、レンズＢ１とＢ２との半径、ｅは、左右レンズＢ１とＢ２の中心間距離、ｆは、レンズとスマートフォンＡの表示面としての液晶面Ａ１との距離を表しており、現在市場に出回っている各種のスマートフォン用のゴーグルにおいては、前記ａ〜ｆがそれぞれ次のような寸法のものが存在する。α社ゴーグル製品：ａ＝８５ｍｍ、ｂ＝３６．５ｍｍ、ｃ＝２４．２５、ｄ＝１２．１２５ｍｍ、ｅ＝６０．７５ｍｍ、ｆ＝３７ｍｍであった。
β社ゴーグル製品：ａ＝９８ｍｍ、ｂ＝２６ｍｍ、ｃ＝３６ｍｍ、ｄ＝１８ｍｍ、ｅ＝６２ｍｍ，ｆ＝３７ｍｍであった。
γ社ゴーグル製品：ａ＝９０ｍｍ、ｂ＝４２ｍｍ、ｃ＝２４ｍｍ、ｄ＝１２ｍｍ、ｅ＝６６ｍｍ，ｆ＝４３ｍｍであった。
そして、α社製品には年齢制限が記されていないが、β社製品は１３歳以下は不可、γ社製品には１５歳以上との記載がそれぞれされている。
上述した、α、β、γ社のＶＲ用のゴーグルのレンズ間距離差は、前述したように、α社（Ｃａｒｄｂｏａｒｄ）６０．７５ｍｍ、β社（ＨＯＭＩＤＯ ６２ｍｍ）、γ社（１００円均一ノーブランド６６ｍｍ）と３個体のみの計測でレンズの中心間距離差が５．２５ｍｍもある事が確認出来た。つまり、ゴーグルによって、レンズの中心間距離がまちまちである。
一方、瞳孔間距離差に関しては、日本人頭部データベース２００１によると、瞳孔間距離差は最少値５５ｍｍ、最大値７１ｍｍ、平均値６２．８ｍｍとなっており、瞳孔間距離差は１６ｍｍ以上ある事が確認されている。（メガネ協会では最少値５５ｍｍ、最大値７８ｍｍ、平均値６３．５ｍｍ※非公式）このデータからすると、ゴーグルの製造メーカは、瞳孔間距離ｇに関して、日本人の平均的な寸法を採用しているものの、個人差があるので、左右の目とレンズ中心とディスプレイの左右目用の表示中心が一致するような汎用性のあるゴーグルを設計できないという制約がある。
この要因は、スマートフォンの画面サイズがメーカや製品ごとに異なることも原因となっている。例えば、スマートフォンガイド．ｎｅｔによる２０１８年１月末までに発売のスマートフォン１３２機種の画面サイズは最小３．５インチ（アスペクト比５：３）、最大６．３インチ（アスペクト比１８．５：９）となっており、２眼表示画面中心距離は最小値３８．１ｍｍ、最大値７２ｍｍとなり、画面中心距離差は３３．９ｍｍもある事が確認できた。

【0011】

そこで、本発明は、上述したようにゴーグル製品の各種寸法差異やスマートフォンの画面サイズの多様化に対しても個人差のある瞳孔間距離ｇにマッチング可能な瞳孔間のキャリブレーションプログラム及び、その方法、並びに、前記プログラムを用いたシステムを提供することを目的とする。

【0012】

なお、図２は、ＮＴＴドコモ社から提供されるＭＯ−０１Ｊのスマートフォンを用いてＶＲゴーグルの人体の頭部に装着した場合の各種寸法比較した図であって、左右目用の表示ディスプレイの中央位置間距離ｈ１と、レンズと液晶ディスプレイとの距離ｆ１、ＶＲゴーグルのレンズ間距離ｅ１、目の間の距離ｇ１を示している。図１における符号に「１」が付加された符号は、寸法は異なるが同一の箇所寸法を意味する。
また、図３は、ＮＴＴドコモ社から提供されるＧａｌａｘｙ（登録商標）Ｓ７のスマートフォンを用いて、ＶＲゴーグルの人体の頭部に装着した場合の各種寸法比較した図であって、左右目用の表示ディスプレイの中央位置間距離ｈ２と、レンズと液晶ディスプレイとの距離ｆ２、ＶＲゴーグルのレンズ間距離ｅ２、目の間の距離ｇ２を示している。図１における符号に「１」が付加された符号は、寸法は異なるが同一の箇所寸法を意味する。

【0013】

なお、図２と図３とは、前記α社（Ｃａｒｄｂｏａｒｄ）を用いての原理説明としている。この段ボールで作られたＶＲゴーグルは、Ｇｏｏｇｌｅから購入可能である。
そして、このＶＲゴーグルの機能概要は次のようになっていると本発明者は分析した。

瞳孔間距離（ＩＰＤ）をミリメートル（ｍｍ）で設定

垂直視野（度）

レンズの歪みの強さ
値：０．０〜５．０，０．０＝歪みなし
この歪みは、１パスレンダリングステップで内部魚眼ビュー歪みを使用してレンダリングされます。

これは、第２パス後処理レンズ歪みステップです。

用するために使用できます。
歪みパラメータがズームを引き起こしているとき、画像品質は、スケーリングおよび補間のためにわずかに縮退する可能性があります。
４つの歪みパラメータがあります：

ｒ＝ｒ＊（１．０／ｋ１）＊（１．０＋ｋ２＊ｒ２＋ｋ３＊ｒ４＋ｋ４＊ｒ６）
この歪みは追加のＧＰＵ処理能力を必要とし、フレームレートを低下させる可能性があり

す。

【課題を解決するための手段】

【0014】

本発明は、人体のヘッド部に装着されて使用されるＶＲゴーグルに設けられ、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理装置で、個人差のある瞳孔間距離のキャリブレーションを実行する瞳孔間のキャリブレーションプログラムであって、
３６０度ＶＲ空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示する画像表示手段と、
前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記３６０度ＶＲ空間にスクロール表示する実行するスクロール表示手段と、
前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件（注視時間）を満たした場合に、前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定し、この設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットするキャリブレーションデータの設定手段と、
前記画像表示手段は、
前記キャリブレーションデータの設定手段の設定後に、その設定されたキャリブレーションデータに基づいた、再生用の右目用画像と左目用画像を前記ディスプレイに表示ことを特徴とするキャリブレーションプログラム。

【0015】

この発明によれば、右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を前記ディスプレイに表示し、前記ＶＲゴーグルを装着した使用者が、前記３６０度ＶＲ空間に表示される前記複数のマーカ画像の重なりを視認して、右目用と左目用のマーカ画像が重なったところを見つけて静止状態が検知され、その静止状態が予め定められた条件を満たした場合、その状態で前記ディスプレイに表示された中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定し、この設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータを取得し、その後の再生時のキャビテーションデータとしてセットする。これによって、個人差がある瞳孔間距離の調整をソフト的に実現することができる。

【0016】

また、上述したキャリブレーションデータプログラムは、スマートフォンのアプリではなく、Ｗｅｂサーバにおいて実行されることが、細かい調整等やＶＲゴーグルや新たな端末装置に適用する迅速な対応を観点から好ましい。

【0017】

すなわち、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理機能を備えた端末装置との双方向通信によって、その端末装置を操作する使用者の瞳孔間距離のキャリブレーションデータを得るために、瞳孔間のキャリブレーションプログラムを実行することで以下の処理を実行するＷｅｂサーバのコントローラを提供する。

【0018】

前記コントローラは、
（ａ）３６０度ＶＲ空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示する処理と、
（ｂ）前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記３６０度ＶＲ空間にスクロール表示する処理と、
（ｃ）前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件を満たしたか否かを判定する処理と、
（ｆ）前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定する処理と、
（ｇ）前記設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットする処理と、
（ｈ）前記キャリブレーションデータを、その後のＶＲ動画再生時における、再生用の右目用画像と左目用画像の調整に用いるために、前記端末装置又は使用者のＩＤと関連付けて格納する処理。

【発明の効果】

【0019】

この発明によれば、右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を前記ディスプレイに表示し、前記ヘッドトラッキング機能によって頭部の３６０度回転方向への回転に応じて、使用者が、前記ディスプレイの中央に表示される前記マーカ画像の内、重なりがより明確になるマーカを探すと、その中央に配置された状態のマーカ画像が調整用のキャリブレーションデータとして設定され、その後のＶＲ空間に表示される映像は、このキャリブレーションデータに基づいて、個人差や年齢により変化するような瞳孔間距離の調整をソフト的に実現することができる。

【図面の簡単な説明】

【0020】

【図1】スマートフォンＡをセットしヘッドマウントディプレイとして使用するための、従来品ＶＲゴーグルＢの視聴のための原理図である。

【図2】ＮＴＴドコモ社から提供されるＭＯ−０１Ｊのスマートフォンを用いてＶＲゴーグルの人体の頭部に装着した場合の各種寸法比較した図であって、左右目用の表示ディスプレイの中央位置間距離ｈ１と、レンズと液晶ディスプレイとの距離ｆ１、ＶＲゴーグルのレンズ間距離ｅ１、目の間の距離ｇを示している。

【図3】ＮＴＴドコモ社から提供されるＧａｌａｘｙ（登録商標）Ｓ７のスマートフォンを用いて、ＶＲゴーグルの人体の頭部に装着した場合の各種寸法比較した図であって、左右目用の表示ディスプレイの中央位置間距離ｈ１と、レンズと液晶ディスプレイとの距離ｆ１、ＶＲゴーグルのレンズ間距離ｅ１、目の間の距離ｇを示している。

【図4】（Ａ）に示すのは、ＶＲゴーグルの周りにキャリブレーション設定用のマーカ画像の複数が配置されている状態を示している概念図である。この（Ａ）の複数のマーカ画像は、（Ｂ）の左目用のマーカ画像と、（Ｃ）の右目用マーカ画像が使用者の脳内で視差により立体視して認識された状態を示している。

【図5】図４に示した概念図を、２次元的に図示した概念図である。

【図6】スマートフォンのディスプレイである液晶ディスプレイを示している。

【図7】瞳孔間距離のキャリブレーションデータを得るために、ＷＥＢ上のＷＥＢサーバ１から前述した左右目用の複数のマーカ画像を端末であるスマートフォンＡのディスプレイＡ１に表示するための概念図である。

【図8】画面の変遷によって示す処理フローである。

【図9】画面の変遷によって示す処理フローである。

【図10】ＶＲゴーグルごとに同じスマートフォンをセットした場合でも、左右中心間距離ｈが異なることを示す図である。

【発明を実施するための形態】

【0021】

（ＶＲゴーグルを用いた瞳孔間距離のキャリブレーション概念）
図４（Ａ）に示すのは、ＶＲゴーグルの周りにキャリブレーション設定用のマーカ画像の複数が配置されている状態を示している概念図である。この（Ａ）の複数のマーカ画像は、（Ｂ）の左目用のマーカ画像と、（Ｃ）の右目用マーカ画像が使用者の脳内で視差により立体視して認識された状態を示している。つまり、（Ａ）のマーカ画像Ｍは、Ｍ１とＭ２が脳内で合成されて認識される仮想の現実画像である。
図５は、図４を２次元で表示した状態を示したものであり、左右用のマーカ画像は、瞳孔間距離を割り出して、瞳孔間距離（ＩＰＤ／Ｉｎｔｅｒｐｕｐｉｌｌａｒｙ ｄｉｓｔａｎｃｅの略）のキャリブレーションを行うためのキャリブレーションデータを取得するために、左右のマーカ画像を脳内で重ねて視認する際に、個人差や年齢によって変化するＩＰＤによって見え方、つまり、重なるマーカ画像が異なるように、前記複数のマーカ画像が左右で少しずつズレて視認されるように配置されている。このズレた左右目用のマーカ画像を視認しつつ、左右のマーカ画像が重なってはっきりと視認できるようになったところで、後述するスマートフォン内に内蔵されたタイマーで予め設定された時間の間、静止状態が継続されたことを検知すると、中央に表示されるマーカ画像（図の場合は、「０」のマーカ画像）が選択されたと検知し、この検知されたマーカ画像に対して予め用意された瞳孔間距離のキャリブレーションデータを、後のＶＲ画像を表示するための基準データとして、ＶＲ映像コントローラが設定する。ＶＲ映像コントローラは、スマートフォンが内蔵するＣＰＵを含むコントローラがその役割を担う場合も想定されるが、本実施形態のように、スマートフォンが通信回線を通じて接続されるサーバのコントローラがその役割を担うように構成することができる。後者の場合には、スマートフォンのディスプレイに表示される左右目用の複数のマーカ画像は、ブラウザー上で生成されて前記スマートフォンのディスプレイに対して表示される。

【0022】

左目用のマーカ画像が符号Ｍ１、右目用のマーカ画像が符号Ｍ２で表されており、両者を上位で符号Ｍで図に表している。「０」のマーカ画像は、Ｍ１とＭ２が完全に重なった状態であって、ズレが生じていない状態に表示される場合、両者が交互に表示されているような表示形態を採用している。これは、Ｍ１とＭ２が色などで異なった表示形態として表示するようにした場合、使用者が完全に重なっているのか、優先されて表示されるマーカＭのみが表示されているのかが判定できないような恐れを解消するために、交互に左右用のマーカ画像Ｍ１とＭ２が表示されるように構成しているのである。

【0023】

図６に示すのは、スマートフォンのディスプレイであって、幅方向の液晶サイズをＨ、長さ方向の液晶サイズをＶ、左目用の複数のマーカ画像を表示する左目用画像をＬＤ、左目用の複数のマーカ画像を表示する左目用画像をＲＤとし、左右目画像の中心間距離ｈ等の図１と同様の意味を示す符号は図１と同一の符号を用いている。

【0024】

（システム概念図）
図７に示すのが、本発明の瞳孔間距離のキャリブレーションデータを得るために、ＷＥＢ上のＷＥＢサーバ１から前述した左右目用の複数のマーカ画像を端末であるスマートフォンＡのディスプレイＡ１に表示するための概念図である。
この図において、端末機器としてのスマートフォンＡよりＱＲコード及びＵＲＬをリクエストし、インターネット２を経由してＷｅｂサーバーへアクセス。
Ｗｅｂサーバ１より、ＨＴＭＬ形式で端末機器Ａのブラウザに、端末機器Ａのメモリに格納されるようなアプリケーションを介さず、ＩＰＤキャリブレーションデータを得るための前述した複数のマーカ画像、及び、瞳孔間距離のキャリブレーションデータを得て、そのキャリブレーションデータを用いてキャリブレーションデータを実行した３６０度ＶＲ動画を直接表示する。

【0025】

前記端末機器としては、スマートフォンに限らず、タブレット端末など、本実施形態に示すように、使用者に対して左右用のキャリブレーションデータを得るための操作に使用可能なものであれば本発明を適用できるのは勿論である。

【0026】

（処理フロー）
図８及び図９は、画面の変遷によって示す処理フローである。
（Ａ）スマートフォンなどの端末装置Ａを用いて、ＱＲコード及びＵＲＬを介して、Ｗｅｂサーバー１へアクセス。図８（Ａ）において、ディスプレイＡ１に表示するのは、スマートフォンのカメラ機能を用いて撮影されたＱＲコードである。
（Ｂ）Ｗｅｂサーバ１よりＨＴＭＬで端末機器ＡのディスプレイＡ１によって、端末装置ＡのブラウザにＴＯＰ画面（後述する図８（Ｂ）の選択画面）を表示。動画及びＩＰＤキャリブレーションの選択ボタンでＩＰＤを選択。この選択画面によって、使用者は、ＶＲ動画を視聴するか、キャリブレーションデータを得るための処理を行うかを選択できる。ＶＲ動画を視聴する場合には、使用者の識別情報の入力データを得ることで、Ｗｅｂサーバ１内のデータベースに予め格納された当該使用者のキャリブレーションデータに基づいた調整後のＶＲ動画を視聴することが可能となる。
（Ｃ）ＩＰＤキャリブレーション画面に移動。画面上にウィザードで操作方法を表示。所謂、操作案内画面を表示する。
（Ｄ）ＩＰＤキャリブレーション画面−１：スマートフォン選択（端末情報を読み込んで機種を自動選択するが、適切な機種が選択されない場合は画面のインチサイズ情報をマニュアルで入力する）
（Ｅ）ＩＰＤキャリブレーション画面−２：ゴーグル選択（予め用意したゴーグルデータベースより、使用するゴーグルを選択。使用するゴーグルの該当機種が無い場合はカスタム画面にてマニュアル調整を行う）このゴーグルデータベースは、Ｗｅｂサーバのデータベースに備わっている。図１０には、同じスマートフォンとしての端末装置ＡをＶＲゴーグルにセットしても、ディスプレイＡ１における左右目用の画像の中心間距離ｈが異なることを示しているが、このように同じ端末装置Ａ１であっても中心間距離ｈが異なるので、これを事前に設定できる工程を経ることで、より使用者に合致した瞳孔間距離のキャリブレーションデータを実行することができるようになる。
（Ｆ）ＩＰＤキャリブレーション画面−３：オブジェクト選択画面に移動、３６０度空間に左目用・右目用に配置されたオブジェクトより、最もズレの少ないオブジェクトを選択。選択方法は様々であろうが、本発明の場合には、前述した従来の汎用品であるＶＲゴーグルにスマートフォンを設け、このスマートフォンを備えたＶＲゴーグルを人体の頭部に装着して使用され、スマートフォンＡに一般的に備わっているジャイロ機能を有するセンサと、時間の経過を検知することが可能なタイマーとして計時装置を用いて、複数のマーカ画像が鮮明に表示されているマーカ画像を、頭部の回転によって中央に持ってきて、その状態を保持（計時装置である所定の時間の経過を測定することで静止したと判定するとともに、使用者が選択したと判定する）することで、中央位置に配置されているマーカ画像に基づいてキャリブレーションデータを得るようにしている。より詳しくは、以下の（Ｇ）で説明する。
（Ｇ）ＩＰＤキャリブレーション画面−３：左右一致しているオブジェクト（左右のマーカ画像が重なった状態の画像、左右目のマーカ画像が重なった状態であるが、視認されるのはマーカ画像となる）を画面Ａ１中心で一定時間注視（視点操作）することで瞳孔間距離を割り出し、自分に合ったＩＰＤキャリブレーションデータを取得するのである。瞳孔間距離を数値として割り出すようにして、その後のＶＲ動画の再生に用いた方が、キャリブレーションデータとして汎用性があるが、ある特定のＶＲ動画の良好に視聴するだけの場合には、数値としてのキャリブレーションデータを得ることなく、前記画面Ａ１の中央で一定時間注視したマーカ画像（上記オブジェクト）に対するキャリブレーションの処理を完了したＶＲ再生画像を用意しておき、そのＶＲ動画を再生するように構成することもできる。
（Ｈ）ＩＰＤキャリブレーション画面−４：ＩＰＤキャリブレーション完了画面で、左右の画像が一致していることを確認し、問題が無ければ「ＯＫ」を選択して動画選択画面へ移動。ズレていた場合は再度キャリブレーション画面に戻り選択操作を行う。

【0027】

この処理は、本実施形態のように、一定時間注視で操作させ、且つ、その注視対象が多数存在ずるような場合には好適な処理となる。つまり、瞳孔間距離のキャリブレーションデータを細かく設定しようとすると、少しずつズレた前記マーカ画像Ｍを左右用の画像ＬＤとＲＤに対して、前記マーカ画像Ｍ１・・・Ｍ１，Ｍ２・・・Ｍ２でのＭ１とＭ１との距離及びＭ２とＭ２間の距離をより短い距離にした画像を用意することになる。この場合、キャリブレーションデータを得ようとする使用者が、画面Ａ１の中央位置に注視した操作を行ったつもりが、他のマーカ画像に注視したと、キャリブレーションデータを得る役割を担う前記コントローラが判定してしまう恐れがある。このような問題を解消するために、（Ｈ）の工程は好適となるのである。
（Ｉ）ＩＰＤキャリブレーション完了後、動画選択画面へ
以上のような処理フローを実行することによって、次のような特徴のある発明を実行できる。

【0028】

すなわち、人体のヘッド部に装着されて使用されるＶＲゴーグルに設けられ、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備えた画像処理装置で、個人差のある瞳孔間距離のキャリブレーションを実行する瞳孔間のキャリブレーションプログラムであって、
３６０度ＶＲ空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示する画像表示手段と、
前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記３６０度ＶＲ空間にスクロール表示する実行するスクロール表示手段と、
前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件（注視時間）を満たした場合に、前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定し、この設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットするキャリブレーションデータの設定手段と、
前記画像表示手段は、
前記キャリブレーションデータの設定手段の設定後に、その設定されたキャリブレーションデータに基づいた、再生用の右目用画像と左目用画像を前記ディスプレイに表示ことを特徴とするキャリブレーションプログラム。

【0029】

ここで図８と図９で前記キャリブレーションプログラムのフローを示しているが、処理ステップとして、前記画像表示手段→スクロール表示手段→キャリブレーションデータの設定手段の処理を経て、前記キャリブレーションデータの設定手段によって設定された設定値を、動画再生の場合に使用して動画再生を実行するようにしている。

【0030】

また、サーバとしては次のような発明を本実施例では含んでいる。すなわち、ヘッドトラッキング機能を行うためのセンサ及びディスプレイとを備え、且つ、画像処理機能を具備した端末装置との双方向通信によって、その端末装置を操作する使用者の瞳孔間距離のキャリブレーションデータを得るために、瞳孔間のキャリブレーションプログラムを実行するＷｅｂサーバのコントローラであって、
前記コントローラは、以下の処理を実行する。
（ａ）３６０度ＶＲ空間に右目用と左目用でそれぞれ僅かに位置をずらして配置された、キャリブレーション用の複数のマーカ画像を、前記ディスプレイに対して、右目用画像と左目用画像を表示する処理と、
（ｂ）前記センサの移動検知信号に基づいて、前記右目用画像と左目用画像を前記ディスプレイに対して前記３６０度ＶＲ空間にスクロール表示する処理と、
（ｃ）前記センサの移動検知信号に基づいて、前記画像処理装置の静止状態を検知し、前記静止状態が、予め設定された条件を満たしたか否かを判定する処理と、
（ｆ）前記ディスプレイに表示される中央の前記複数のマーカ画像の一つをキャリブレーション設定用のマーカ画像に設定する処理と、
（ｇ）前記設定されたキャリブレーション設定用のマーカ画像に基づいた瞳孔間距離のキャリブレーションデータをセットする処理と、
（ｈ）前記キャリブレーションデータを、その後のＶＲ動画再生時における、再生用の右目用画像と左目用画像の調整に用いるために、前記端末装置又は使用者のＩＤと関連付けて格納する処理。
以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定するものではなく、各手段等の具体的構成は、適宜設計変更可能である。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

【0031】

また、上述した詳細な説明では、本発明をより容易に理解できるように、特徴的部分を中心に説明した。本発明は、上述した詳細な説明に記載する実施形態に限定されず、その他の実施形態にも適用することができ、その適用範囲は多様である。また、本明細書において用いた用語及び語法は、本発明を的確に説明するために用いたものであり、本発明の解釈を制限するために用いたものではない。また、当業者であれば、本明細書に記載された発明の概念から、本発明の概念に含まれる他の構成、システム、方法等を推考することは容易であると思われる。従って、請求の範囲の記載は、本発明の技術的思想の範囲を逸脱しない範囲で均等な構成を含むものであるとみなされなければならない。また、要約書の目的は、特許庁及び一般的公共機関や、特許、法律用語又は専門用語に精通していない本技術分野に属する技術者等が本出願の技術的な内容及びその本質を簡易な調査で速やかに判定し得るようにするものである。従って、要約書は、請求の範囲の記載により評価されるべき発明の範囲を限定することを意図したものではない。また、本発明の目的及び本発明の特有の効果を十分に理解するために、すでに開示されている文献等を充分に参酌して解釈されることが望まれる。

【0032】

上述した詳細な説明は、コンピュータで実行される処理を含むものである。以上での説明及び表現は、当業者が最も効率的に理解することを目的として記載している。本明細書では、１の結果を導き出すために用いられる各処理は、自己矛盾がない処理として理解されるべきである。また、各処理では、電気的又は磁気的な信号の送受信、記録等が行われる。各処理における処理では、このような信号を、ビット、値、シンボル、文字、用語、数字等で表現しているが、これらは単に説明上便利であるために用いたものであることに留意する必要がある。また、各処理における処理は、人間の行動と共通する表現で記載される場合があるが、本明細書で説明する処理は、原則的に各種の装置により実行されるものである。また、各処理を行うために要求されるその他の構成は、以上の説明から自明になるものである。

【産業上の利用可能性】

【0033】

本発明は、個人差や年齢による変化が生じ得る瞳孔間距離のキャリブレーションをソフト的に実行し、その個人に合った左右目用の画像をディスプレイ上に表示することで、視差によって立体映像を人に視認させる際に生じるような、様々な弊害を低減することが可能となる。特に、スマートフォンのディスプレイやジャイロ機能を用いて簡易にＶＲを楽しむためのＶＲゴーグル用のキャリブレーションデータ取得プログラムとして好適なものとなり、産業上で利用できるものである。

【符号の説明】

【0034】

１・・・サーバ、ＬＤ・・・左目用画像、ＲＤ・・・右目用画像、Ａスマートフォン、Ｍ・・・マーカ画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】