(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023160623
(43)【公開日】2023-11-02
(54)【発明の名称】視線誘導装置及びそのプログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20231026BHJP
G06T 19/00 20110101ALI20231026BHJP
【FI】
G06F3/01 510
G06T19/00 600
G06T19/00 300B
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022071096
(22)【出願日】2022-04-22
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】西澤 昌宏
(72)【発明者】
【氏名】小峯 一晃
【テーマコード(参考)】
5B050
5E555
【Fターム(参考)】
5B050BA09
5B050BA12
5B050CA07
5B050EA07
5B050EA19
5B050FA05
5E555AA22
5E555AA27
5E555AA64
5E555BA38
5E555BB38
5E555BC08
5E555BE16
5E555BE17
5E555CA42
5E555CA44
5E555CB65
5E555CB66
5E555CC05
5E555DA08
5E555DA09
5E555DB53
5E555DB56
5E555DC10
5E555DC13
5E555DC21
5E555DD06
5E555EA11
5E555EA22
5E555FA00
(57)【要約】
【課題】3次元仮想空間内で人物の視野外に位置するオブジェクトに対し、人物の視線を誘導する。
【解決手段】視線誘導装置1は、領域設定部10と、オブジェクト情報入力部11と、視線方向及び頭部回転速度を計測する視線計測部12と、オブジェクトの相対位置及び相対速度を算出する相対位置算出部13と、何れの視野外領域に相対位置が含まれているかを判定する領域判定部14と、運動情報画像を生成する画像生成部17と、視線誘導方向の周辺視野領域に運動情報画像を合成表示する画像表示部18と、を備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
仮想現実又は拡張現実の映像表示装置を装着した人物の視野外に位置するオブジェクトに対して、前記人物の視線を誘導する視線誘導装置であって、
3次元仮想空間において所定の視線誘導方向毎に前記人物の視野外領域を予め設定し、前記視線誘導方向毎に前記映像表示装置の表示画面上に周辺視野領域を予め設定する領域設定部と、
前記オブジェクトの位置及び速度が入力されるオブジェクト情報入力部と、
前記人物の視線方向及び頭部回転速度を計測する視線計測部と、
前記人物の頭部正面方向を基準とした前記オブジェクトの相対位置、及び、前記オブジェクトの速度と前記頭部回転速度との相対速度を算出する相対位置算出部と、
何れの前記視野外領域に前記相対位置が含まれているかを判定する領域判定部と、
前記相対速度に応じて変化する運動情報が含まれる運動情報画像を生成する画像生成部と、
前記相対位置が含まれている視野外領域に対応した視線誘導方向の周辺視野領域に、前記運動情報画像を合成表示する画像表示部と、
を備えることを特徴とする視線誘導装置。
【請求項2】
前記視線方向が前記周辺視野領域に近づく程、前記運動情報が淡くなるように前記運動情報画像の透過度を算出する透過度算出部、をさらに備え、
前記画像生成部は、前記透過度算出部が算出した透過度で前記運動情報画像を生成することを特徴とする請求項1に記載の視線誘導装置。
【請求項3】
前記運動情報は、局所空間周波数の運動刺激情報、又は、大域運動刺激情報であることを特徴とする請求項1又は請求項2に記載の視線誘導装置。
【請求項4】
前記局所空間周波数の運動刺激情報は、運動Gaborパッチであることを特徴とする請求項3に記載の視線誘導装置。
【請求項5】
前記大域運動刺激情報は、パーティクルのGlobalMotionであることを特徴とする請求項3に記載の視線誘導装置。
【請求項6】
前記視線誘導方向は、左右方向であることを特徴とする請求項1に記載の視線誘導装置。
【請求項7】
コンピュータを、請求項1に記載の視線誘導装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、視線誘導装置及びそのプログラムに関する。
【背景技術】
【0002】
拡張現実(AR:Augmented Reality)又は仮想現実(VR:Virtual Reality)技術の発展により、HMD(Head-Mounted Display)やARグラスを装着することで、没入感の高い全周映像コンテンツを体験できるようになった。これを応用して、遠隔地のユーザ同士で同じ空間を共有しているかのような体験を与える手法が提案されている(非特許文献1)。
【0003】
ここで、全天周映像コンテンツにおいては、制作者の意図に沿った視線誘導が必要になる場合がある。しかし、HMDやARグラスのような視覚的な表示のみでは、視野外の空間に存在する人物や情報に直ちに注意を向けさせることが難しい。そこで、仮想空間の簡易的な地図や矢印など、視野外への注意を促す視覚的な表示を行う手法が提案されている(特許文献1)。
【先行技術文献】
【特許文献】
【0004】
【非特許文献】
【0005】
【非特許文献1】吉野他、“同一エリア内での360度映像共有システム”、2019年映像情報メディア学会年次大会公園予稿集、111D-4、2019.
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、特許文献1に記載の手法では、図形などの明示的な視覚的表示がコンテンツへの没入感を損なう可能性があるので、暗示的に誘導する方が好ましい。これまでに、没入感の高い映像と音響を伴うコンテンツにおいて、3次元仮想空間内でユーザの視野外に位置するオブジェクトに対し、ユーザの視線を暗に誘導する方法は提案されていなかった。
【0007】
本発明は、3次元仮想空間内で人物の視野外に位置するオブジェクトに対し、人物の視線を誘導できる視線誘導装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0008】
前記課題を解決するため、本発明に係る視線誘導装置は、仮想現実又は拡張現実の映像表示装置を装着した人物の視野外に位置するオブジェクトに対して、人物の視線を誘導する視線誘導装置であって、領域設定部と、視線計測部と、相対位置算出部と、領域判定部と、画像生成部と、画像表示部と、を備える構成とした。
【0009】
かかる構成によれば、領域設定部は、3次元仮想空間において所定の視線誘導方向毎に人物の視野外領域を予め設定し、視線誘導方向毎に映像表示装置の表示画面上に周辺視野領域を予め設定する。
オブジェクト情報入力部は、オブジェクトの位置及び速度が入力される。
視線計測部は、人物の視線方向及び頭部回転速度を計測する。
相対位置算出部は、人物の頭部正面方向を基準としたオブジェクトの相対位置、及び、オブジェクトの速度と頭部回転速度との相対速度を算出する。
【0010】
領域判定部は、何れの視野外領域に相対位置が含まれているかを判定する。
画像生成部は、相対速度に応じて変化する運動情報が含まれる運動情報画像を生成する。
画像表示部は、相対位置が含まれている視野外領域に対応した視線誘導方向の周辺視野領域に、運動情報画像を合成表示する。
【0011】
すなわち、視線誘導装置は、人物の視野外で注目させたいオブジェクトの運動と人物の頭部運動との相対的な差分を、映像表示装置の周辺視野領域に運動情報画像として合成表示する。これにより、映像表示装置を装着した人物は、視野外に位置するオブジェクトの運動を視界の端に捉えるので、そのオブジェクトが位置する方向に視線が誘導される。
【0012】
なお、本発明は、コンピュータを前記した視線誘導装置として機能させるためのプログラムで実現することもできる。
【発明の効果】
【0013】
本発明によれば、3次元仮想空間内で人物の視野外に位置するオブジェクトに対し、人物の視線を誘導できる。
【図面の簡単な説明】
【0014】
【
図1】第1実施形態において、(a)はHMDの概略図であり、(b)はARグラスの概略図である。
【
図2】第1実施形態に係る視線誘導装置の構成を示すブロック図である。
【
図3】第1実施形態において、視野外領域を説明する説明図である。
【
図4】第1実施形態において、Gaborパッチを説明する説明図である。
【
図5】第1実施形態において、パーティクルのGlobalMotionを説明する説明図である。
【
図6】第1実施形態において、相対速度の算出を説明する説明図である。
【
図7】第1実施形態において、視線方向の角度を説明する説明図である。
【
図8】第1実施形態において、運動情報の透過度を説明する説明図である。
【
図9】第1実施形態において、運動情報画像の生成を説明する説明図である。
【
図10】第1実施形態において、運動情報画像の生成を説明する説明図である。
【
図11】第1実施形態において、視線誘導装置の動作を示すフローチャートである。
【
図12】第1実施形態において、運動情報画像生成処理を示すフローチャートである。
【
図13】第2実施形態に係る視線誘導装置の構成を示すブロック図である。
【
図14】変形例において、(a)及び(b)は、運動Gaborパッチの運動ベクトルの算出を説明する説明図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態について図面を参照して説明する。但し、以下に説明する各実施形態は、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。また、同一の手段には同一の符号を付し、説明を省略する場合がある。
【0016】
(第1実施形態)
以下、第1実施形態に係る視線誘導装置1について説明する。
視線誘導装置1は、仮想現実又は拡張現実の映像表示装置2を装着した人物H(
図6)の視野外に位置するオブジェクトObjに対して、人物Hの視線を誘導するものである。
図1に示すように、視線誘導装置1は、映像表示装置2(HMD2A,ARグラス2B)に内蔵されている。本実施形態では、視線誘導方向が左右方向であり、視線誘導装置1が人物Hの視線を左右方向に誘導することとする。
【0017】
オブジェクトObjは、3次元仮想空間内に配置された任意の物体のことである。このオブジェクトObjの種類は特に制限されない。例えば、オブジェクトObjとして、バーチャル人物やアバタがあげられる。
【0018】
[HMD]
まず、HMD2Aについて説明する。
図1(a)に示すように、HMD2Aは、人物Hの頭部に装着可能なゴーグル形状を有している。HMD2Aは、視線誘導装置1を内蔵しており、表示画面20を備える。なお、
図1には、視線誘導装置1が備える視線計測部12を図示した。
【0019】
表示画面20は、映像をVR表示するものであり、右眼用表示画面20Rと、左眼用表示画面20Lとを備える。例えば、表示画面20として、液晶ディスプレイなどのフラットパネルディスプレイがあげられる。ここで、右眼用表示画面20Rは、人物Hの右眼に対応したVR映像を表示する。また、左眼用表示画面20Lは、人物Hの左眼に対応したVR映像を表示する。
【0020】
表示画面20は、視線誘導方向毎に周辺視野領域21を予め設定する(ハッチングで図示)。
図1(a)に示すように、右眼用表示画面20Rの右端に周辺視野領域21Rを予め設定し、左眼用表示画面20Lの左端に周辺視野領域21Lを予め設定する。この周辺視野領域21は、人物Hの視線を誘導するための運動情報画像を合成表示する領域であり、詳細を後記する。なお、
図1では、説明を分かりやすくするため、周辺視野領域21をハッチングで図示した。
【0021】
[ARグラス]
次に、ARグラス2Bについて説明する。
図1(b)に示すように、ARグラス2Bは、人物Hの頭部に装着可能な眼鏡形状を有している。ARグラス2Bは、視線誘導装置1を内蔵しており、表示画面20Bを備える。
【0022】
表示画面20Bは、映像をAR表示するものであり、右眼用表示画面20BRと、左眼用表示画面20BLとを備える。例えば、表示画面20Bとして、透明な液晶ディスプレイなどの透明フラットパネルディスプレイがあげられる。ここで、右眼用表示画面20BRは、人物Hの右眼に対応したAR映像を表示する。また、左眼用表示画面20BLは、人物Hの左眼に対応したAR映像を表示する。
【0023】
表示画面20Bには、表示画面20と同様、視線誘導方向毎に周辺視野領域21を予め設定する。
図1(b)に示すように、右眼用表示画面20BRの右端に周辺視野領域21Rを予め設定し、左眼用表示画面20BLの左端に周辺視野領域21Lを予め設定する。
【0024】
なお、本実施形態では、一例として、人物HがHMD2Aを装着することとして説明するが、本発明をARグラス2Bに適用できることは言うまでもない。
【0025】
[視線誘導装置の構成]
図2を参照し、視線誘導装置1の構成について説明する。
図2に示すように、視線誘導装置1は、領域設定部10と、オブジェクト情報入力部11と、視線計測部12と、相対位置算出部13と、領域判定部14と、角度算出部15と、透過度算出部16と、画像生成部17と、画像表示部18とを備える。
【0026】
領域設定部10は、3次元仮想空間内において所定の視線誘導方向毎に人物Hの視野外領域を予め設定し、視線誘導方向毎にHMD2Aの表示画面20上に周辺視野領域21を予め設定するものである。例えば、映像制作者が、視野外領域及び周辺視野領域21を手動で領域設定部10に設定する。
【0027】
<視野外領域>
図3を参照し、視野外領域について説明する。
図3には、HMD2Aを装着した人物Hを頭頂方向から図示した。また、人物Hの視線方向が頭部正面方向100を向いており、頭部正面方向100を基準として、人物Hの視野右端を符号101Rで図示し、人物Hの視野左端を符号101Lで図示した。つまり、人物Hは、視野右端101Rと視野左端101Lとの間に位置するオブジェクトObjを視認できる。
【0028】
本実施形態では、視野内領域102と、視野外領域103とを設定する。
視野内領域102は、人物Hの視野に含まれる領域である。この視野内領域102は、人物Hの頭部正面方向100から左右に、視野右端101Rと視野左端101Lとの間の領域になる。例えば、視野内領域102にオブジェクトObjが位置する場合、そのオブジェクトObjを人物Hが視認できるので、運動情報画像を合成表示しない。
【0029】
視野外領域103は、人物Hの視野に含まれない領域である。ここで、視野外領域103として、右側視野外領域103R、左側視野外領域103L、及び、後側視野外領域103Bを設定する。
右側視野外領域103Rは、人物Hの右側に位置する視野外領域である。例えば、右側視野外領域103RにオブジェクトObjが位置する場合、周辺視野領域21Rに運動情報画像を合成表示する。
左側視野外領域103Lは、人物Hの左側に位置する視野外領域である。例えば、左側視野外領域103LにオブジェクトObjが位置する場合、周辺視野領域21Lに運動情報画像を合成表示する。
【0030】
後側視野外領域103Bは、人物Hの後方に位置する視野外領域である。例えば、後側視野外領域103BにオブジェクトObjが位置する場合、周辺視野領域21R及び周辺視野領域21Lの両方に運動情報画像を合成表示する。
なお、後側視野外領域103BにオブジェクトObjが位置する場合であっても、周辺視野領域21R及び周辺視野領域21Lの何れに運動情報画像を合成表示せずともよい。
【0031】
人物Hは、頭部正面方向100から左右に約50度以上離れた網膜部位が、形状の特徴抽出の限界点であり、約70度が明暗をようやく認識できると言われている(参考文献1,2)。従って、頭部正面方向100から左右に50度以上離れた領域では、情報を殆ど視認できないと考えられる。一方、人物Hの運動知覚感度は、周辺視野に向かうほど単調増加する。このことから、頭部正面方向100から左右に50度以上離れた領域を視野外領域103とすれば、人物Hが、形状の認識が困難であるが運動をよく感じられる知覚体験を得られるので、視線誘導を非明示的に実現できる。
【0032】
参考文献1:福田、図形知覚における中心視と周辺視の機能差、テレビジョン学会誌、1978、32(6)、pp.492-498
参考文献2:福田、運動知覚における中心視と周辺視の機能差、テレビジョン学会誌、1979、33(6)、pp.479-484
【0033】
例えば、HMD2で表示可能な視野が正面100より左右60度である場合を考える。この場合、右側視野外領域103Rは、視野右端101Rから時計回りに105度の領域である。また、例えば、左側視野外領域103Lは、視野左端101Lから反時計回りに105度の領域である。従って、後側視野外領域103Bは、人物Hの背面方向104から左右に15度の領域となる。ただし、前記は一例であり、映像制作者が視野外領域103を自由に設定できるようにしてもよい。
【0034】
<周辺視野領域>
図4~
図6を参照し、周辺視野領域について説明する。
図4及び
図5に示すように、周辺視野領域21Rは、右眼用表示画面20Rの右端に設定する。また、周辺視野領域21Lは、左眼用表示画面20Lの左端に設定する。ここで、視線誘導方向が左右方向であり、右眼用表示画面20R及び左眼用表示画面20Lが円形なので、周辺視野領域21R及び周辺視野領域21Lを三日月状の形状で設定する。
図6に示すように、視野右端101Rと右眼用表示画面20Rの右端105との角度βが、周辺視野領域21Rに相当する視覚範囲となる(左眼も同様)。つまり、周辺視野領域21Rは、人物Hから見て、角度βを表している。
【0035】
ここで、周辺視野領域21R及び周辺視野領域21Lには、
図4の運動情報画像を合成表示する。この運動情報画像は、運動情報として、局所空間周波数の運動刺激情報(例えば、運動Gaborパッチ9A)が含まれている。
図4の例では、周辺視野領域21Rに運動Gaborパッチ9Aが表示されている。
【0036】
また、周辺視野領域21R及び周辺視野領域21Lには、
図5の運動情報画像を合成表示してもよい。この運動情報画像は、運動情報として、大域運動刺激情報(例えば、パーティクルのGlobalMotion9B)が含まれている。
図5の例では、周辺視野領域21RにパーティクルのGlobalMotion9Bが表示されている。例えば、パーティクルのGlobalMotionは、数十個の粒が、オブジェクトObjの相対速度に応じた速さで移動するものである。なお、
図5では、説明を分かりやすくするため、パーティクルのGlobalMotionの運動を矢印で図示した。
【0037】
すなわち、視線誘導装置1では、単純なパターンで純粋に視覚的運動のみを知覚させる目的で、Gaborパッチなどの局所空間周波数の運動刺激情報を利用する。人物Hの一次視覚野(V1)は、網膜像を最初に処理する脳部位であり、網膜像をウェーブレット変換し、帯域や方位の異なる局所空間周波数パッチの集合として画像を処理していることが知られている。Gaborパッチは、そのウェーブレット基底を模擬したものといえるため、V1受容野を直接応答させる画像刺激として、V1受容野の機能を調べる実験でよく利用されている(参考文献3,4)。
【0038】
また、運動視の実験では、Gaborパッチだけでなく、パーティクルのGlobalMotionなどの大域運動刺激もよく利用されている。その理由としては、大域運動が、V1受容野やその時間差分だけでは検出できず、より高次な運動検出器を持つMT野まで到達して初めて検出できる運動のためである。パーティクルのGlobalMotionは、V1受容野の影響を排除し、純粋に運動検出機能を調べる目的でも用いられることがある(参考文献5)。
【0039】
参考文献3:蘆田宏、ガボール視覚刺激と空間定位、2006、Vision, 18(1), pp.23-27
参考文献4:西田眞也、運動視研究の最近の動向、1995、Vision, 7(1), pp.1-7
参考文献5:阿山みよし、運動視の生理学-MT野について-、1992、光学、21(10)、pp.671-677
【0040】
なお、本実施形態では、運動情報としての運動Gaborパッチが含まれる運動情報画像を合成表示することとして説明する。
【0041】
図2に戻り、視線誘導装置1の構成について説明を続ける。
オブジェクト情報入力部11は、オブジェクトObjの位置及び速度が入力されるものである。例えば、映像制作者が、オブジェクトObjの位置(3次元仮想空間内での座標)、及び、速度をオブジェクト情報入力部11に入力する。
図6に示すように、オブジェクトObjの速度Δθ
Objは、人物Hを中心とした角速度で表すこととする。そして、オブジェクト情報入力部11は、入力されたオブジェクトObjの位置及び速度を相対位置算出部13に出力する。
【0042】
視線計測部12は、人物Hの視線方向及び頭部回転速度を計測するものである。ここで、視線計測部12として、HMD2Aが備える一般的な視線計測手法(例えば、角膜反射法)を利用できる。
図6に示すように、人物Hの頭部回転速度Δθ
headは、一般的なHMD2Aの自己位置推定手段(例えば、内蔵のジャイロセンサ)で計測できる。そして、視線計測部12は、計測した視線方向及び頭部回転速度を相対位置算出部13に出力する。
【0043】
相対位置算出部13は、人物Hの頭部正面方向を基準としたオブジェクトObjの相対位置、及び、オブジェクトObjの速度と頭部回転速度との相対速度を算出するものである。ここで、相対位置算出部13は、人物Hの頭部正面方向に対するオブジェクトObjの相対位置を算出する。また、相対位置算出部13は、人物Hの頭部回転速度ΔθheadとオブジェクトObjの角速度ΔθObjとの差分を、オブジェクトObjの相対速度として算出する。そして、相対位置算出部13は、算出したオブジェクトObjの相対位置を領域判定部14に出力し、オブジェクトObjの相対速度を角度算出部15に出力する。
【0044】
領域判定部14は、何れの視野外領域に相対位置が含まれているかを判定するものである。つまり、相対位置算出部13から入力されたオブジェクトObjの相対位置が、
図3の右側視野外領域103R、左側視野外領域103L又は後側視野外領域103Bの何れに含まれるかを判定する。そして、領域判定部14は、その判定結果を画像表示部18に出力する。
【0045】
角度算出部15は、人物Hの頭部正面方向に対する視線方向の角度を算出するものである。
図7に示すように、角度算出部15は、人物Hの頭部正面方向100を基準として、視線計測部12から入力された視線方向の角度φを算出する。そして、角度算出部15は、算出した角度φ及び相対速度を透過度算出部16に出力する。
【0046】
透過度算出部16は、視線方向が周辺視野領域21に近づく程、運動情報が淡く合成表示されるように運動情報の透過度を算出するものである。
図7及び
図8に示すように、透過度算出部16は、角度算出部15から入力された視線方向の角度φが閾値θに近づく程、運動情報の透過度αを小さな値で算出する。そして、透過度算出部16は、算出した透過度α及び相対速度を画像生成部17に出力する。
【0047】
透過度αは、以下の式(1)で表される。また、透過度α=f(θ,φ)は、その値が大きくなる程に不透明になることを表し、0のときに完全に透明、1のときに完全に不透明を表す(但し、0≦α≦1)。なお、αmaxは最大透過度を表す。また、minは、2つの引数のうち、小さい方を返す関数である。
【0048】
【0049】
閾値θは、以下の式(2)に示すように、HMD2Aの視野θHMDと人物Hの限界周辺視野角θSとの差から求まる。つまり、閾値θは、人物Hの頭部正面方向を基準として、周辺視野領域21の角度を表すことになる。例えば、映像制作者が、閾値θを手動で設定する。
【0050】
【0051】
この透過度αを用いることで、人物Hの視線が周辺視野領域21に近づく程、運動情報(Gaborパッチ)が淡く表示されるので、運動情報が人物Hに視認されにくくなる。
【0052】
画像生成部17は、相対速度に応じて変化する運動情報が含まれる運動情報画像を生成するものである。このとき、画像生成部17は、透過度算出部16が算出した透過度αで運動情報画像を生成する。そして、画像生成部17は、生成した運動情報画像を画像表示部18に出力する。
【0053】
<運動情報画像の生成>
以下、運動情報画像の生成を具体的に説明する。
例えば、
図9に示すように、運動情報が運動Gaborパッチ9Aであることとして説明する。Gaborパッチは、局所的な縞模様を描く関数である。Gaborパッチのパラメータを変えることで、局所的な縞模様の位置、コントラスト、傾き、細かさ、運動速度などが変化する。運動Gaborパッチ9Aは、相対位置算出部13が算出した相対速度に応じて、局所的な縞模様が運動(変化)するGaborパッチである。
【0054】
例えば、GaborパッチG(x,y,t)は、以下の式(3)で表される。この式(3)では、説明を分かりやすくするため、複素関数ではなく、実数関数で記述する。
【0055】
【0056】
Kは、Gaborパッチの振幅を表す。振幅Kを大きくすると、Gaborパッチのコントラストが高くなる。w(x,y)は、Gaborパッチの窓関数であり、一般的には正規分布で表される。s(x,y,t)は、2次元空間波関数であり、窓関数w(x,y)がかからない場合、画面全体が縞模様となる。(x,y)はピクセル座標を表し、tは経過時間を表す。
【0057】
また、Gaborパッチのパラメータは、次のとおりである。(cx,cy)は、Gaborパッチの中心位置を表し、Gaborパッチの表示位置を決める。
図9の例では、(cx,cy)=(0,0)である。σは、窓関数w(x,y)の標準偏差を表し、Gaborパッチの窓サイズ(半径)を決定する(
図9の例では、σ=1)。λは、Gaborパッチの波長を表す。波長λを小さくすると、Gaborパッチの波が細かくなる(
図9の例では、λ=1)。θ
Mは、Gaborパッチの波の移動方向を表す。θ
M=0で右方向に波が移動し、θ
M=π/2で上方向に波が移動する(
図9の例では、θ
M=π/6)。
図10に示すように、d
0は、Gaborパッチの波Wの位相、つまり、中心位置(cx,cy)及びt=0における縞模様の位置を表す。Gaborパッチの中心画素が、d
0=0で正の頂点(縞模様の白)、d
0=πで負の頂点(縞模様の黒)となる。
【0058】
すなわち、運動Gaborパッチ9Aは、位相d0が時間変化することで、縞模様が徐々に平行移動していくように見えるGaborパッチである。従って、位相d0をオブジェクトObjの相対速度に応じて変化させればよい。
【0059】
ここで、位相d0の更新式は、以下の式(4)で表される。Δθobjは、更新周期Δtの間の頭部回転角度を表す。また、Δθheadは、更新周期Δtの間のオブジェクトObjの移動角度を表す。kpは、視角1度あたりのピクセルサイズを表す。
【0060】
【0061】
つまり、式(4)のΔθobj-ΔθheadにオブジェクトObjの相対速度を代入すれば、運動Gaborパッチ9AをオブジェクトObjの相対速度に応じて変化させることができる。θobj,θheadが人物Hを原点とする方向ベクトルの角度を表すので、視角に対応する。従って、式(4)の更新式を用いると、運動Gaborパッチ9Aの波がオブジェクトに張り付いて動いているかのような視覚運動を提示できる。
【0062】
なお、位相d0以外のパラメータについては、任意に設定できる。例えば、映像制作者が、位相d0以外のパラメータを手動で設定すればよい。
【0063】
図2に戻り、視線誘導装置1の構成について説明を続ける。
画像表示部18は、相対位置が含まれている視野外領域に対応した視線誘導方向の周辺視野領域に、運動情報画像を合成表示するものである。つまり、画像表示部18は、領域判定部14が判定した視野外領域103に、画像生成部17が生成した運動情報画像とVR映像とを合成表示する。
【0064】
例えば、オブジェクトObjの相対位置が
図3の右側視野外領域103Rに含まれる場合、画像表示部18は、
図1の周辺視野領域21Rに運動情報画像を合成表示する。また、オブジェクトObjの相対位置が
図3の左側視野外領域103Lに含まれる場合、画像表示部18は、
図1の周辺視野領域21Lに運動情報画像を合成表示する。このとき、オブジェクトObjの相対速度に応じて、Gaborパッチが変化することになる。従って、視線誘導装置1は、視野外に存在するオブジェクトObjの運動を人物Hが視界の端に捉えるので、そのオブジェクトObjの存在する方向に人物Hの視線を誘導できる。
【0065】
[視線誘導装置の動作:運動情報画像の合成表示]
図11を参照し、視線誘導装置1が運動情報画像の合成表示するの動作を説明する。
図11に示すように、ステップS1において、オブジェクト情報入力部11に、オブジェクトObjの位置及び速度を入力する。
ステップS2において、視線誘導装置1は、運動情報画像生成処理を行う。なお、ステップS2の詳細は、後記する。
ステップS3において、相対位置算出部13は、視線方向を基準としたオブジェクトObjの相対位置、及び、オブジェクトObjの速度と頭部回転速度との相対速度を算出する。
【0066】
ステップS4において、領域判定部14は、オブジェクトObjの相対位置が左側視野外領域103Lに含まれるか否かを判定する。
オブジェクトObjの相対位置が左側視野外領域103Lに含まれる場合(ステップS4でYES)、視線誘導装置1は、ステップS5の処理に進む。
オブジェクトObjの相対位置が左側視野外領域103Lに含まれない場合(ステップS4でNO)、視線誘導装置1は、ステップS6の処理に進む。
ステップS5において、画像表示部18は、左型の周辺視野領域21Lに運動情報画像を合成表示する。
【0067】
ステップS6において、領域判定部14は、オブジェクトObjの相対位置が右側視野外領域103Rに含まれるか否かを判定する。
オブジェクトObjの相対位置が右側視野外領域103Rに含まれる場合(ステップS6でYES)、視線誘導装置1は、ステップS7の処理に進む。
オブジェクトObjの相対位置が右側視野外領域103Rに含まれない場合(ステップS6でNO)、視線誘導装置1は、ステップS8の処理に進む。
ステップS7において、画像表示部18は、右型の周辺視野領域21Rに運動情報画像を合成表示する。
【0068】
ステップS8において、領域判定部14は、オブジェクトObjの相対位置が後側視野外領域103Bに含まれるか否かを判定する。
オブジェクトObjの相対位置が後側視野外領域103Bに含まれる場合(ステップS8でYES)、視線誘導装置1は、ステップS9の処理に進む。
オブジェクトObjの相対位置が後側視野外領域103Bに含まれない場合(ステップS8でNO)、視線誘導装置1は、処理を終了する。
ステップS9において、画像表示部18は、両側の周辺視野領域21R及び周辺視野領域21Lに運動情報画像を合成表示する。
【0069】
<運動情報画像生成処理>
図12を参照し、
図11の運動情報画像生成処理S2について説明する。
図12に示すように、ステップS20において、領域判定部14は、オブジェクトObjの相対位置が何れかの視野外領域S103に含まれているかを判定する。
オブジェクトObjの相対位置が何れかの視野外領域S103に含まれている場合(ステップS20でYES)、視線誘導装置1は、ステップS21の処理に進む。
オブジェクトObjの相対位置が何れの視野外領域S103に含まれない場合(ステップS20でNO)、視線誘導装置1は、運動情報画像生成処理S2を終了する。
【0070】
ステップS21において、視線計測部12は、人物Hの視線方向及び頭部回転速度を計測する。
ステップS22において、角度算出部15は、人物Hの頭部正面方向に対する視線方向の角度を算出する。そして、透過度算出部16は、運動情報画像の透過度αを算出する。
ステップS23において、画像生成部17は、ステップS22で算出した透過度αで運動情報画像を生成する。
【0071】
[作用・効果]
以上のように、視線誘導装置1は、人物Hの視野外で注目させたいオブジェクトObjの運動と人物Hの頭部運動との相対的な差分を、HMD2Aの周辺視野領域21に運動情報画像として合成表示する。これにより、HMD2Aを装着した人物Hは、視野外に存在するオブジェクトObjの運動を視界の端に捉えるので、そのオブジェクトObjが位置する方向に視線が誘導される。
【0072】
すなわち、視線誘導装置1は、視野外に存在するオブジェクトObjの動きを人物Hが視界の端に捉えることで、そのオブジェクトObjの存在を何かが動いたような気配として人物Hに与えることができる。これにより、視線誘導装置1は、オブジェクトの存在する方向に人物Hの視線を誘導できる。このとき、視線誘導装置1では、付加した運動情報が人物Hの周辺視野でのみ捉えられるため、人物Hが運動情報を視認することなく、オブジェクトObjの動きだけが感じられる。さらに、視線誘導装置1では、オブジェクトObjが静止している場合でも、人物Hの頭部が動いた場合に相対的に人物Hの視界に入ってくる方向に動きを感じるため、振り向くべき方向を人物Hに暗示的に提示できる。このように、視線誘導装置1は、VR映像の視聴を阻害することなく、3次元的な視線誘導を実現できる。
【0073】
(第2実施形態)
[視線誘導装置の構成]
図13を参照し、第2実施形態に係る視線誘導装置1Bの構成について、第1実施形態と異なる点を説明する。
【0074】
図2の視線誘導装置1では、運動情報画像の透過度αを算出したのに対し、
図13の視線誘導装置1Bでは、運動情報画像の透過度αを算出しない点が異なる。
図13に示すように、視線誘導装置1Bは、視線誘導装置1は、領域設定部10と、オブジェクト情報入力部11と、視線計測部12と、相対位置算出部13と、領域判定部14と、画像生成部17Bと、画像表示部18とを備える。
【0075】
なお、画像生成部17Bは、予め設定した透過度αで運動情報画像を生成することとする。例えば、映像制作者が、透過度αを手動で画像生成部17Bに設定する。
他の点、視線誘導装置1Bは、第1実施形態と同様のため、これ以上の説明を省略する。
[作用・効果]
以上のように、視線誘導装置1Bは、人物Hの視野外で注目させたいオブジェクトObjの運動と人物Hの頭部運動との相対的な差分を、HMD2Aの周辺視野領域21に運動情報画像として合成表示する。これにより、HMD2Aを装着した人物Hは、視野外に存在するオブジェクトObjの運動を視界の端に捉えるので、そのオブジェクトObjが位置する方向に視線が誘導される。
【0076】
以上、実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【0077】
(変形例1)
以下で説明するように、画像生成部17は、運動Gaborパッチの中心位置(cx,cy)をオブジェクトObjの垂直方向の移動にも対応させてもよい。以下の式(5)に示すように、運動Gaborパッチの中心位置をオブジェクトObjの仰角φObjに対応させる。
【0078】
【0079】
なお、(Xcl,Ycl)が周辺視野領域21Lの中心位置を表し、(Xcr,Ycr)が周辺視野領域21Rの中心位置を表す。また、rは、視界中心から周辺視野領域21までのディスプレイ上の距離半径を表す。この式(5)によれば、周辺視野領域21Rの場合、-π/2<φObj<π/2の範囲に運動Gaborパッチが表示される。また、周辺視野領域21Lの場合、π/2<φObj<3π/2の範囲に運動Gaborパッチが表示される。
【0080】
図14(a)に示すように、オブジェクトObjの相対速度ベクトルvを水平面半径方向成分v
r、水平面円周方向成分v
rθ、及び、垂直方向成分v
zに分解する。なお、
図14(a)では、人物Hの頭部側面方向をX、頭部正面方向をY、頭頂方向をZとし、XYZの原点に人物Hの頭部が位置している。
【0081】
そして、
図14(b)に示すように、水平面円周方向成分v
rθの経度方向成分ω
rθ及び垂直方向成分v
zの視覚速度ω
zから運動Gaborパッチの運動ベクトルd
0を算出できる。この運動ベクトルd
0は、以下の式(6)で表される。なお、Gaborパッチの波の移動方向θ
Mも運動ベクトルd
0の方向に変更する。
【0082】
【0083】
前記した式(5)及び式(6)は、オブジェクトObjの水平方向移動のみに対応した式(4)を垂直方向移動にも拡張したものとなっている。
【0084】
(その他変形例)
画像生成部17は、人物HとオブジェクトObjとの距離に応じて、運動情報の刺激強度(Gaborパッチの大きさ)を変更してもよい。具体的には、画像生成部17は、以下の式(7)に示すように、人物HとオブジェクトObjとの距離に、Gaborパッチの波長λを反比例させればよい。
【0085】
【0086】
なお、Sは、オブジェクトObjの代表長さを表す。また、rは、人物HからオブジェクトObjまでの距離を表す。また、kλ,kσは、予め設定する比例定数を表す。
【0087】
この式(7)によれば、人物HとオブジェクトObjとが近づく程、Gaborパッチが大きくなる。また、人物HとオブジェクトObjとが離れる程、Gaborパッチが小さくなる。
【0088】
前記した実施形態では、視線誘導方向が左右方向であることとして説明したが、これに限定されない。例えば、視線誘導方向は、上下左右方向としてもよい。この場合、右眼用表示画面及び左眼用表示画面には、上側及び下側の周辺視野領域をそれぞれ設ければよい。
【0089】
前記した実施形態では、視線誘導装置が独立したハードウェアであることとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるCPU、メモリ、ハードディスク等のハードウェア資源を、前記した視線誘導装置として機能させるためのプログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、CD-ROMやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【0090】
1,1B 視線誘導装置
2 映像表示装置
2A HMD
2B ARグラス
10 領域設定部
11 オブジェクト情報入力部
12,21 視線計測部
13 相対位置算出部
14 領域判定部
15 角度算出部
16 透過度算出部
17,17B 画像生成部
18 画像表示部
20 表示画面
20L 左眼用表示画面
20R 右眼用表示画面
21 周辺視野領域
21R 周辺視野領域
21L 周辺視野領域