特許 6598191 画像表示システムおよび画像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6598191

(24)【登録日】2019年10月11日

(45)【発行日】2019年10月30日

(54)【発明の名称】画像表示システムおよび画像表示方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20191021BHJP

【ＦＩ】

   G06T19/00 300A

   G06T19/00 600

【請求項の数】6

【全頁数】16

(21)【出願番号】特願2015-99636(P2015-99636)

(22)【出願日】2015年5月15日

(65)【公開番号】特開2016-218534(P2016-218534A)

(43)【公開日】2016年12月22日

【審査請求日】2018年4月16日

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２７年度、国立研究開発法人科学技術振興機構 研究成果展開事業 センター・オブ・イノベーションプログラム「共進化社会システム創成拠点：ヒト／モノ・エネルギー・情報のモビリティによる多様で持続的な社会の構築」委託研究開発、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】504145342

【氏名又は名称】国立大学法人九州大学

(74)【代理人】

【識別番号】110001379

【氏名又は名称】特許業務法人 大島特許事務所

(72)【発明者】

【氏名】倉爪 亮

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 米国特許出願公開第２０１５／００９１７８０（ＵＳ，Ａ１）

【文献】 特開２０１４−１４９７１２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

ユーザに対して現実世界の仮想的状況を示す画像を表示する画像表示システムであって、
前記ユーザの視線を推定する視線推定部と、
少なくとも１つの移動物体を含む現実空間を、前記移動物体に対応する少なくとも１つの仮想移動物体を含む仮想空間として再現するための３次元データが入力される３次元データ入力部と、
前記推定された視線に基づく前記現実空間の風景に対応する前記仮想空間の風景を含む仮想空間画像を、前記３次元データから生成する仮想空間画像生成部と、
前記仮想空間画像を、前記現実空間において前記ユーザの視界に入る前記移動物体の周辺に存在する少なくとも１つの環境物体を含む前記風景または当該環境物体を含む風景を撮像した撮像画像と重ね合わせた合成画像を生成する画像合成部と、
前記合成画像を前記ユーザに対して表示する表示部と
を備え、
前記仮想空間画像生成部は、前記仮想移動物体に対して予め定められた移動動作を設定し、当該移動動作に基づく前記仮想移動物体の変化を半透明の画像として示す前記仮想空間画像を生成し、
前記画像合成部は、前記半透明の画像として表示された前記移動中の前記仮想移動物体と、前記仮想移動物体の移動経路に存在する前記環境物体との重なりに基づく干渉状況を示す前記合成画像を生成することを特徴とする画像表示システム。

【請求項2】

前記予め定められた移動動作は、前記移動物体と前記仮想移動物体とが同じ状態にある現在から開始され、仮想的に所定時間が経過するまでの動作であることを特徴とする請求項１に記載の画像表示システム。

【請求項3】

前記撮像画像を撮像する撮像部を更に備え、
前記撮像部は、前記表示部と一体的に前記ユーザの頭部に装着可能な装置からなり、
前記合成画像は、前記撮像部によって撮像された前記撮像画像と前記仮想空間画像とを重ね合わせることにより生成されたことを特徴とする請求項１または請求項２に記載の画像表示システム。

【請求項4】

前記ユーザの頭部の位置を検出する位置検出部と前記ユーザの頭部の姿勢を検出する姿勢検出部とを更に備え、
前記視線推定部は、前記検出された頭部の位置及び姿勢に基づき、前記ユーザの視線を推定することを特徴とする請求項１から請求項３のいずれかに記載の画像表示システム。

【請求項5】

前記仮想空間画像には、前記仮想移動物体の前記移動動作に基づく移動軌跡が含まれることを特徴とする請求項１から請求項４のいずれかに記載の画像表示システム。

【請求項6】

ユーザに対して現実世界の仮想的状況を示す画像を表示する画像表示方法であって、
前記ユーザの視線を推定する視線推定ステップと、
少なくとも１つの移動物体を含む現実空間を、前記移動物体に対応する少なくとも１つの仮想移動物体を含む仮想空間として再現するための３次元データが入力される３次元データ入力ステップと、
前記推定された視線に基づく前記現実空間の風景に対応する前記仮想空間の風景を含む仮想空間画像を、前記３次元データから生成する仮想空間画像生成ステップと、
前記仮想空間画像を、前記現実空間において前記ユーザの視界に入る前記移動物体の周辺に存在する少なくとも１つの環境物体を含む前記風景または当該環境物体を含む風景を撮像した撮像画像と重ね合わせた合成画像を生成する画像合成ステップと、
前記合成画像を前記ユーザに対して表示する表示ステップと
を有し、
前記仮想空間画像生成ステップでは、前記仮想移動物体に対して予め定められた移動動作を設定し、当該移動動作に基づく前記移動物体の変化を半透明の画像として示す前記仮想空間画像を生成し、
前記画像合成ステップでは、半透明の画像として表示された前記移動中の前記仮想移動物体と、前記仮想移動物体の移動経路に存在する環境物体との重なりに基づく干渉状況を示す前記合成画像を生成することを特徴とする画像表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザに対して現実世界の仮想的状況を示す画像を表示する画像表示システムおよび画像表示方法に関し、特に、いわゆる没入型ＶＲ（Virtual Reality）システムへの適用に好適な画像表示システムおよび画像表示方法に関する。

【背景技術】

【0002】

近年、ロボットが作業を行う空間に様々なセンサを配置し、空間内の人や物の位置や状態を逐次収集、蓄積、提供することにより、ロボットを導入しやすい日常生活環境を構築する情報構造化に関する研究開発が進められている（非特許文献１−４参照）。

【0003】

この種のロボットは、予め準備されたプログラムにしたがって人間の活動空間（例えば、住宅やオフィス）において種々の作業を行うとともに、その周辺に存在する人や物を認識することにより、それら人や物との意図しない接触や衝突など（以降、「干渉」と称する。）を回避する必要がある。

【0004】

従来、所定の作業空間においてロボットを作業させるための技術として、例えば、所定の作業を記述したロボットプログラムを解読する言語処理部と、作業空間内に存在する環境物体に関する形状を定義し、環境物体間の相対位置関係、接続関係、環境物体に固有の物理的性質・属性を表現した環境管理データ、個々のロボットの機構データを表現したロボット機構データ、及び衝突チェックや３次元形状の表示に必要となる形状データを生成する環境物体エディタと、上記ロボットプログラムに対するデバッグ要求を受け付けるデバッガー部と、上記３次元形状を表示するディスプレイと、上記環境管理データを利用してロボットプログラムを実行するために必要となる複数のプロセスを生成し、これら複数プロセスに対するスケジューリング等を行って上記ロボットに対する動作命令を生成し、かつ実行に伴って変化する環境管理データを動的に管理する実行処理部と、上記ロボット機構データを参照しながら個々のロボットに対する動作命令を実行して関節角移動量およびロボットの移動に伴う把持物体の移動量を算出するロボット軌道算出部と、上記形状データを参照し上記ロボット移動量および把持物体の移動量をロボットおよび把持物体の移動表示を行うための表示用データへ変換するグラフィック処理部などを備え、上記ディスプレイ上に表示されるロボットおよび複数の環境物体の動きや、ロボットと環境物体との位置関係を人間が見ながら上記ロボットプログラムのシミュレーションを行うようにしたロボット作業教示システムが知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0005】

【非特許文献1】H. Noguchi, T. Mori, and T. Sato. Automatic generation and connection of program components based on rdf sensor description in network middleware. In IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 2008-2014, 2006.

【非特許文献2】Y. Kato, T. Izui, Y. Tsuchiya, M. Narita, M. Ueki, Y. Murakawa, and K. Okabayashi. Rsi-cloud for integrating robot services with internet services. In IECON 2011 - 37th Annual Conference on IEEE Industrial Electronics Society, pp. 2158-2163, 2011.

【非特許文献3】H. Gross, Ch. Schroeter, S. Mueller, M. Volkhardt, E. Einhorn, A. Bley, Ch. Martin, T. Langner, and M. Merten. I'll keep an eye on you: Home robot companion for elderly people with cognitive impairment. In IEEE International Conference on Systems, Man, and Cybernetics, pp. 2481-2488, 2011.

【非特許文献4】M. Tenorth, A.C. Perzylo, R. Lafrenz, and M. Beetz. The roboearth language: Representing and exchanging knowledge about actions, objects, and environments. In IEEE International Conference on on Robotics and Automation, pp. 1284-1289, 2012.

【0006】

【特許文献1】特開昭６２−１６５２１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところで、上記特許文献１に記載のような従来技術では、ロボット（特定の実オブジェクト）の作業空間に存在する環境物体（周辺に存在する他の実オブジェクト）は、作業空間における人間の活動に応じて動的に変化する（すなわち、別の場所に移動したり新たに出現したりする）ため、そのような環境物体の変化に対応してロボットも動作させる必要が生じる。その場合、例えば、環境物体の変化をロボットプログラムに反映させるために、ロボット等に搭載されたセンサによって、変化した環境物体に関する形状や相対位置関係等を正確に認識することが考えられる。

【0008】

しかしながら、そのようなセンサによって環境物体の変化を精度良く認識することは容易ではなく、しかもロボット等に搭載可能なセンサの種類や数には設置スペースやコスト上の制限があるため、必要な情報を全て取得することは難しいという問題がある。さらに、そのような環境物体の変化に応じて、作業時のロボットと環境物体との干渉の有無等をロボット自身が認識するための情報処理は複雑であるため、ロボットの動作を制御するための処理負荷やコストが高まるという問題もある。

【0009】

本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、特定の実オブジェクト（例えば、ロボット）の周辺に存在する他の実オブジェクトに変化が生じた場合でも、特定の実オブジェクトの未来の動作状況をユーザに容易に認識させ、ユーザが実オブジェクトと環境物体との干渉を予見することが可能な画像表示システムおよび画像表示方法を提供することにある。

【課題を解決するための手段】

【0010】

本発明の画像表示システムは、ユーザに対して現実世界の仮想的状況を示す画像を表示する画像表示システムであって、前記ユーザの視線を推定する視線推定部と、少なくとも１つの実オブジェクトを含む現実空間を、前記実オブジェクトに対応する少なくとも１つの仮想オブジェクトを含む仮想空間として再現するための３次元データが入力される３次元データ入力部と、前記推定された視線に基づく前記現実空間の風景に対応する前記仮想空間の風景を含む仮想空間画像を、前記３次元データから生成する仮想空間画像生成部と、前記仮想空間画像を、前記現実空間において前記ユーザの視界に入る前記風景または当該風景を撮像した撮像画像と重ね合わせた合成画像を生成する画像合成部と、前記合成画像を前記ユーザに対して表示する表示部とを備え、前記仮想空間画像生成部は、前記仮想オブジェクトに含まれる特定仮想オブジェクトに対して予め定められた動作を設定し、当該動作に基づく前記特定仮想オブジェクトの変化を示す前記仮想空間画像を生成することを特徴とする。

【0011】

また、本発明の画像表示方法は、ユーザに対して現実世界の仮想的状況を示す画像を表示する画像表示方法であって、前記ユーザの視線を推定する視線推定ステップと、少なくとも１つの実オブジェクトを含む現実空間を、前記実オブジェクトに対応する少なくとも１つの仮想オブジェクトを含む仮想空間として再現するための３次元データが入力される３次元データ入力ステップと、前記推定された視線に基づく前記現実空間の風景に対応する前記仮想空間の風景を含む仮想空間画像を、前記３次元データから生成する仮想空間画像生成ステップと、前記仮想空間画像を、前記現実空間において前記ユーザの視界に入る前記風景または当該風景を撮像した撮像画像と重ね合わせた合成画像を生成する画像合成ステップと、前記合成画像を前記ユーザに対して表示する表示ステップとを有し、前記仮想空間画像生成ステップでは、前記仮想オブジェクトに含まれる特定仮想オブジェクトに対して予め定められた動作を設定し、当該動作に基づく前記特定仮想オブジェクトの変化を示す前記仮想空間画像を生成することを特徴とする。

【発明の効果】

【0012】

本発明によれば、ユーザに対して現実世界の仮想的状況を示す画像を表示する際に、特定の実オブジェクト（例えば、ロボット）の周辺に存在する他の実オブジェクトに変化が生じた場合でも、特定の実オブジェクトの未来の動作状況をユーザに容易に認識させ、ユーザが実オブジェクトと環境物体との干渉を予見することが可能となる。

【図面の簡単な説明】

【0013】

【図1】実施形態に係る画像表示システムの概略を示す全体構成図

【図2】図１の画像表示システムを示す機能ブロック図

【図3】実施形態に係る画像表示システムの表示対象の一例を示す説明図

【図4】図２中のディストーション部において処理された画像の一例を示す説明図

【図5】図２中の画像合成部において処理された画像の一例を示す説明図

【図6】実施形態に係る画像表示システムによる画像表示処理の流れを示すフロー図

【図7】図６中のステップＳＴ１０６における表示画像の一例を示す図

【図8】図７に示した画像が視点変更された場合の表示画像の例を示す図

【発明を実施するための形態】

【0014】

前記課題を解決するためになされた第１の発明は、ユーザに対して現実世界の仮想的状況を示す画像を表示する画像表示システムであって、前記ユーザの視線を推定する視線推定部と、少なくとも１つの実オブジェクトを含む現実空間を、前記実オブジェクトに対応する少なくとも１つの仮想オブジェクトを含む仮想空間として再現するための３次元データが入力される３次元データ入力部と、前記推定された視線に基づく前記現実空間の風景に対応する前記仮想空間の風景を含む仮想空間画像を、前記３次元データから生成する仮想空間画像生成部と、前記仮想空間画像を、前記現実空間において前記ユーザの視界に入る前記風景または当該風景を撮像した撮像画像と重ね合わせた合成画像を生成する画像合成部と、前記合成画像を前記ユーザに対して表示する表示部とを備え、前記仮想空間画像生成部は、前記仮想オブジェクトに含まれる特定仮想オブジェクトに対して予め定められた動作を設定し、当該動作に基づく前記特定仮想オブジェクトの変化を示す前記仮想空間画像を生成することを特徴とする。

【0015】

この第１の発明に係る画像表示システムによれば、現実空間においてユーザの視界に入る風景または当該風景を撮像した撮像画像と、予め定められた動作に基づく特定仮想オブジェクトの変化を示す仮想空間画像とを重ね合わせた合成画像を生成し、その合成画像を表示装置に表示する構成としたため、仮想空間画像において特定仮想オブジェクトとして再現された現実空間内の特定の実オブジェクト（例えば、ロボット）の周辺に存在する他の実オブジェクトに変化が生じた場合でも、特定の実オブジェクトの未来の動作状況をユーザに容易に認識させ、ユーザが実オブジェクトと環境物体との干渉を予見することが可能となる。

【0016】

また、第２の発明は、上記第１の発明において、前記予め定められた動作は、前記実オブジェクトに含まれる特定の実オブジェクトと前記特定仮想オブジェクトとが同じ状態にある現在から開始され、仮想的に所定時間が経過するまでの動作であることを特徴とする。

【0017】

この第２の発明に係る画像表示システムによれば、特定仮想オブジェクトの動作が特定の実オブジェクトと同じ状態（現在）から開始されるため、特定の実オブジェクトの未来の動作状況をユーザにより容易に認識させることが可能となる。

【0018】

また、第３の発明は、上記第１または第２の発明において、前記撮像画像を撮像する撮像部を更に備え、前記撮像部は、前記表示部と一体的に前記ユーザの頭部に装着可能な装置からなり、前記合成画像は、前記撮像部によって撮像された前記撮像画像と前記仮想空間画像とを重ね合わせることにより生成されたことを特徴とする。

【0019】

この第３の発明に係る画像表示システムによれば、ユーザの視線を左右するユーザの頭部の姿勢や位置の変化に応じて、撮像画像による風景（実オブジェクトの位置や状態）を、ユーザの視界に入り得る風景に精度良く一致させることが可能となり、他の実オブジェクトに変化が生じた場合でも、特定の実オブジェクトの未来の動作状況をユーザにより正確に認識させることが可能となる。

【0020】

また、第４の発明は、上記第１から第３の発明のいずれかにおいて、前記ユーザの頭部の位置を検出する位置検出部と前記ユーザの頭部の姿勢を検出する姿勢検出部とを更に備え、前記視線推定部は、前記検出された頭部の位置及び姿勢に基づき、前記ユーザの視線を推定することを特徴とする。

【0021】

この第４の発明に係る画像表示システムによれば、ユーザの頭部の位置や姿勢に基づきユーザの視線をより精度良く推定することが可能となるため、仮想空間画像に含まれる仮想空間の風景を、ユーザの視界に入る現実空間の風景または当該風景を撮像した撮像画像に対してより効果的に対応させることができる。

【0022】

また、第５の発明は、上記第１から第４の発明のいずれかにおいて、前記仮想空間画像には、前記特定仮想オブジェクトの前記動作に基づく移動軌跡が含まれることを特徴とする。

【0023】

この第５の発明に係る画像表示システムによれば、特定の実オブジェクトの未来の移動状況をユーザに容易に認識させ、ユーザが実オブジェクトと環境物体との干渉を予見することが可能となる。

【0024】

また、第６の発明は、ユーザに対して現実世界の仮想的状況を示す画像を表示する画像表示方法であって、前記ユーザの視線を推定する視線推定ステップと、少なくとも１つの実オブジェクトを含む現実空間を、前記実オブジェクトに対応する少なくとも１つの仮想オブジェクトを含む仮想空間として再現するための３次元データが入力される３次元データ入力ステップと、前記推定された視線に基づく前記現実空間の風景に対応する前記仮想空間の風景を含む仮想空間画像を、前記３次元データから生成する仮想空間画像生成ステップと、前記仮想空間画像を、前記現実空間において前記ユーザの視界に入る前記風景または当該風景を撮像した撮像画像と重ね合わせた合成画像を生成する画像合成ステップと、前記合成画像を前記ユーザに対して表示する表示ステップとを有し、前記仮想空間画像生成ステップでは、前記仮想オブジェクトに含まれる特定仮想オブジェクトに対して予め定められた動作を設定し、当該動作に基づく前記特定仮想オブジェクトの変化を示す前記仮想空間画像を生成することを特徴とする。

【0025】

この第６の発明に係る画像表示方法によれば、現実空間においてユーザの視界に入る風景または当該風景を撮像した撮像画像と、予め定められた動作に基づく特定仮想オブジェクトの変化を示す仮想空間画像とを重ね合わせた合成画像を生成し、その合成画像を表示装置に表示するため、仮想空間画像において特定仮想オブジェクトとして再現された現実空間内の特定の実オブジェクト（例えば、ロボット）の周辺に存在する他の実オブジェクトに変化が生じた場合でも、特定の実オブジェクトの未来の動作状況をユーザに容易に認識させ、ユーザが実オブジェクトと環境物体との干渉を予見することが可能となる。

【0026】

以下、本発明の実施の形態について図面を参照しながら説明する。

【0027】

図１は、本発明の実施形態に係る画像表示システム１の概略を示す全体構成図であり、図２は、図１の画像表示システム１の機能ブロック図であり、図３は、画像表示システムの表示対象の一例を示す説明図であり、図４及び図５は、それぞれ図２中のディストーション部４４および画像合成部３３において処理された画像の一例を示す説明図である。

【0028】

画像表示システム１は、ユーザに対して現実世界（ここでは、ユーザ自身が存在する現実空間）の仮想的状況を示す画像を表示することにより、現実世界の未来の状態を直感的に認識させることを可能とするものである。図１及び図２に示すように、画像表示システム１は、ユーザに対して所定の画像（動画像）を表示する表示装置２と、ユーザの頭部６の動作を分析（ここでは、移動する頭部６の位置を検出）する動作分析装置３と、ユーザの頭部６の位置および姿勢の変化に応じて、表示装置２における画像表示（すなわち、ユーザの視野）をリアルタイムで制御する表示制御装置４とを主として備える。

【0029】

表示装置２および動作分析装置３は、公知の有線通信または無線通信に基づき、通信用ネットワーク５を介して表示制御装置４と通信可能である。通信用ネットワーク５としては、インターネット等の広域ネットワークやＬＡＮ（Local Area Network）等を利用することができるが、これに限らず、各装置２−４が公知の近距離無線通信によって互いに直接通信する構成としてもよい。また、本実施形態では、表示制御装置４が表示装置２と独立して設けられた例を示すが、表示制御装置４が表示装置２に内蔵された構成や、表示制御装置４の機能の一部が、表示装置２の制御部（図示せず）によって実現される構成も可能である。

【0030】

本実施形態では、図３に示すように、ユーザが使用する住宅の部屋（現実空間）７を画像表示システム１の画像表示対象とした例を示す。部屋７の床面８には、予め準備されたプログラム（動作命令）にしたがって部屋７内で作業する二足歩行式のロボット（特定の実オブジェクト）１０とともに、種々の家具および家電（周辺に存在する他の実オブジェクト）が配置されている。なお、図３では図示しないが、画像表示システム１を利用するユーザも部屋７内に存在し、また、図１に示した画像表示システム１の構成要素の少なくとも一部は部屋７内に配置される。例えば、動作分析装置３は、部屋７の図示しない壁や、床、天井等に取り付けることが可能である。

【0031】

再び図１を参照して、表示装置２は、ユーザの頭部６に装着される没入型のヘッドマウントディスプレイから構成される。より詳細には、図２に示すように、表示装置２は、ユーザに向けて３次元映像を表示する画像表示部１１と、部屋７内におけるユーザの視線方向の風景（人や物などの少なくとも１つの実オブジェクトを含む）を撮像する撮像部１２と、表示装置２の姿勢を検出する姿勢検出部１３とを有している。

【0032】

なお、本実施形態では、いわゆる没入型のヘッドマウントディスプレイ（ユーザには、ヘッドマウントディスプレイに表示された画像のみが提供され、ユーザは外界を直接目視できないタイプのヘッドマウントディスプレイ）を用いた例を示すが、これに限らず透過型のヘッドマウントディスプレイを用いた構成も可能である。表示装置２については、例えば、Oculus社製のヘッドマウントディスプレイ（商品名：Oculus Rift）を用いてその主要部を構成することができるが、これに限らず、ユーザに対して所望の画像を表示することが可能な限りにおいて、他の公知のディスプレイ装置を採用することができる。

【0033】

画像表示部１１は、ユーザの左右の目の視差を利用して３次元映像を表示することが可能である。画像表示部１１は、ユーザの左右の目に対向するように配置され、それら左右の目にそれぞれ対応する左右の画像（後述する図４中の左仮想空間画像４７および右仮想空間画像４８を参照）を所定の画像表示領域に表示する液晶パネル（図示せず）、および液晶パネルに表示された画像を目視可能に結像させる光学系（図示せず）から構成される。なお、上述した透過型のヘッドマウントディスプレイは、この光学系の一部をハーフミラー等で構成することで、あるいはＡＲ（Augmented Reality：拡張現実）の分野で利用されるプロジェクション技術を応用することで実現される。

【0034】

撮像部１２は、ユーザの視線方向の風景（すなわち、人や物を含むユーザの目の前に広がるながめ）を同時に撮像する左右カメラを有し、左右の撮像画像をそれぞれ生成するステレオカメラ（図示せず）から構成される。その左右カメラは、ユーザの両目付近（ここでは、視点の位置）にそれぞれ配置されるとともに、所定の視野角を確保可能なように表示装置２の筐体に固定されている。また、そのステレオカメラの撮像方向は、ユーザの左右の目の視線（ここでは、ユーザが正面を見ている状況における視線）と略同一に設定されている。この構成によって、撮像部１２による撮像方向は表示装置２の向き（すなわち、ユーザの頭部６の姿勢）に応じて変化する。なお、撮像部１２の視野角は、ユーザの視野よりも広い範囲を撮像可能なように設定されることが好ましい。

【0035】

姿勢検出部１３は、表示装置２の筐体内に設けられた３軸加速度センサおよび角速度センサ（図示せず）から構成される。姿勢検出部１３は、それら各センサの検出結果に基づき、表示装置２の向き（すなわち、ユーザの頭部６の姿勢）に関する情報（以下、姿勢情報という。）を生成し、その姿勢情報を表示制御装置４に対して出力する。

【0036】

動作分析装置３は、表示装置２の位置を検出する位置検出部２１を有している。図１では、１台の動作分析装置３のみを示しているが、通常は、動作分析装置３は、ユーザの活動範囲（ここでは、部屋７におけるユーザの移動可能範囲）全体を検出対象とするべく（すなわち、死角をなくす目的で）複数配置される。これにより、動作分析装置３は、表示装置２を装着したユーザが移動した場合でも、表示装置２の位置の検出を継続（追跡）することが可能である。

【0037】

位置検出部２１は、所定の解像度（例えば、１００万〜１６００万画素）を有する高速度カメラを含み、いわゆるモーションキャプチャを収録する。位置検出部２１は、表示装置２の筐体の適所に取り付けられた複数の光学的マーカ９を撮像した結果から、それら光学的マーカ９の位置（ｘ、ｙ、ｚ座標）をリアルタイムに解析し、その解析結果に基づく表示装置２（すなわち、ユーザの頭部６）の位置情報を表示制御装置４に対して出力する。動作分析装置３としては、例えば、VICON社製の３次元動作分析システム（商品名：Bonita）を用いることができるが、これに限らず、表示装置２（すなわち、ユーザの頭部６）の位置を検出可能である限り、他の公知のセンサを採用することができる。

【0038】

なお、本実施形態では、上述したようにユーザの頭部の姿勢を姿勢検出部１３で検出するようにしているが、光学的マーカ９の個数および取り付け位置（各々の光学的マーカ９の相対的な位置関係）は予め定められており、検出された各光学的マーカ９のそれぞれの座標に基づき、位置検出部２１において頭部の位置および姿勢を一括して検出するようにしてもよい。

【0039】

表示制御装置４は、コンピュータシミュレーションにより現実空間を再現するための３次元データが入力される３次元データ入力部３１と、それら３次元データからユーザの視線に基づく現実空間の風景に対応する仮想空間の風景を含む仮想空間画像を生成する仮想空間画像生成部３２と、その仮想空間画像を、現実空間においてユーザの視界に入る風景を撮像した撮像画像と重ね合わせた合成画像を生成する画像合成部３３とを有している。

【0040】

ここで、３次元データは、少なくとも１つの実オブジェクトを含む現実空間を、その実オブジェクトに対応する少なくとも１つの仮想オブジェクトを含む仮想空間として再現するための座標（３次元点列）データからなる。

【0041】

なお、仮想空間は、現実空間に含まれる全ての実オブジェクトに対応する仮想オブジェクトを含むことが好ましいが、これに限らず、主要な実オブジェクトに対応する仮想オブジェクトのみを仮想空間が含む構成も可能である。また、３次元データは、現実空間における実オブジェクトの種別、位置（座標）、速度などをカメラやセンサなどを用いて検出することにより、或いはユーザによるデータ入力により適宜更新することができる。

【0042】

また、実オブジェクト（例えば、ロボット１０）に光学的マーカ（図示せず）を取り付け、これを位置検出部２１によって検出するようにしてもよい。この場合、実オブジェクトの特定の位置には表示装置２に付された光学的マーカ９とは異なる個数あるいは異なる位置関係となるように光学的マーカが配置される。このように構成することで、予め実オブジェクトの３次元データを取得しておけば、位置検出部２１によって検出された光学的マーカの位置に基づき、実オブジェクトの種別、位置（姿勢を含む）、速度を高精度に検出できる。

【0043】

仮想空間画像生成部３２は、ユーザの視線を推定する視線推定部４１と、３次元データ入力部３１に入力された３次元データから、ユーザの視線に基づく現実空間の風景に含まれる実オブジェクトに対応する仮想空間モデル（仮想オブジェクトの形状）を構築するモデリング部４２と、公知のレンダリング処理を実行することにより、仮想空間モデルを画像化した仮想空間画像を生成するレンダリング部４３と、公知のディストーション処理を実行することにより、仮想空間画像に対して歪みを付加するディストーション部４４とを有している。

【0044】

モデリング部４２では、公知のモデリング処理により、画像表示部１１に表示される左右の画像に対応する仮想空間モデルがそれぞれ構築される。また、モデリング部４２では、ユーザによって予め指定された特定の実オブジェクト（ここでは、ロボット１０）に対応する特定仮想オブジェクト（後述する図５、図７中の仮想ロボット１０Ａ参照）に対し、予め定められた動作（例えば、目的地までの仮想ロボット１０Ａの移動、仮想ロボット１０Ａによる物品の把持や受渡し、所定位置における仮想ロボット１０Ａの姿勢変更や腕の伸縮など）がプログラム（設定）されており、これにより、そのプログラムに基づき、特定の実オブジェクトの未来の動作状況に関する仮想空間モデルが構築される。特定仮想オブジェクトに対する予め定められた動作の設定は、ユーザのリクエスト（入力操作）によって行われる。

【0045】

レンダリング部４３において、仮想空間画像は、所定の透明度が設定された半透明の画像として形成される。また、ディストーション部４４では、図４に示すように、左仮想空間画像４７および右仮想空間画像４８に対して樽型の歪み（Barrel distortion）が付加される。

【0046】

視線推定部４１は、表示装置２がユーザの頭部に正常に装着されていることを前提として、姿勢検出部１３から取得する姿勢情報および動作分析装置３から取得する位置情報に基づきユーザの頭部の姿勢（向き）および位置を決定し、更に、その頭部の姿勢および位置に基づきユーザの視線（ただし、ここでは眼球の動きは考慮しない。即ち、本実施形態でいう視線とは、視点（対象を眺める位置）と略同義である）を推定する。ただし、これに限らず、少なくともユーザの視線の情報を取得可能な限りにおいて、他の公知のセンサ等を用いてユーザの視線を推定（検出）してもよい。なお、上述したように位置検出部２１がユーザの頭部の位置および姿勢を一括して検出する構成を採用した場合、視線推定部４１は位置検出部２１の出力に基づきユーザの視線を推定する。

【0047】

画像合成部３３は、仮想空間画像生成部３２（ディストーション部４４）から取得した仮想空間画像（画像フレーム）を、表示装置２（撮像部１２）から取得した同時刻の撮像画像（画像フレーム）とリアルタイムで重ね合わせる画像合成処理（撮像画像に対するディストーション処理を含む）を実行する。この画像合成処理には、撮像画像の風景（１以上の実オブジェクトを含む）と仮想空間画像の風景（１以上の仮想オブジェクトを含む）との位置ずれを補正するための公知の補正処理が含まれる。なお、上述したレンダリング部４３において、ユーザの指示に基づいて２つの画像の位置ずれを調整可能（具体的には、仮想空間画像の平行シフト、回転、拡縮、アフィン変換等）に構成してもよい。

【0048】

ここで、特定仮想オブジェクトの変化（すなわち、対応する特定の実オブジェクトの未来の動作）を示す仮想空間画像が合成される場合には、その特定仮想オブジェクトは、現在の動作状況において、対応する特定の実オブジェクトと同じ状態にあり（すなわち、重なる位置に表示され）、その後の未来（現在から仮想的に所定時間が経過するまで）の動作状況においては、その少なくとも一部が対応する実オブジェクトと重ならない位置に表示される。なお、画像合成部３３では、特定仮想オブジェクトに対応する特定の実オブジェクト（すなわち、上述の現在の動作状況において、特定仮想オブジェクトと重なる位置に表示される対象）が撮像画像に含まれない構成も可能である。

【0049】

また、仮想空間画像生成部３２で生成される仮想空間画像は、ユーザの視界に入る風景の撮像画像と略同一またはより広い空間が再現された画像であり、画像合成部３３では、ユーザの視界に入る風景に対応しない仮想空間画像における不要領域のトリミング処理が必要に応じて実行される。画像合成部３３によって生成された合成画像は、表示装置２（画像表示部１１）に対して出力される。

【0050】

図５に示すように、上記画像合成処理による合成画像５０は、背景となる撮像画像（図５中に実線で示す）に半透明の仮想空間画像（図５中に塗りつぶし図形で示す）を重ねた状態で示される。ここで、図５における合成画像５０は、画像表示部１１に表示される左右の合成画像をユーザが見たイメージを模式的に示したものである。また、図５では、仮想空間画像については、理解を容易とするために、部屋７内の主要な実オブジェクト（ロボット１０、家具等）に対応する仮想オブジェクト（仮想ロボット１０Ａ、家具等）のみを示しているが、実際には、仮想空間画像には、壁や、床、天井等を含めた全ての仮想オブジェクト（仮想化された全空間情報）が含まれる。

【0051】

表示装置２として透過型のヘッドマウントディスプレイが用いられる場合には、画像合成部３３では、上述の撮像画像の代わりに、現実空間においてヘッドマウントディスプレイの前面を通してユーザの視界に入る風景に対して仮想空間画像を重ね合わせた合成画像（擬似的な合成画像）が生成されることになる。なお、透過型のヘッドマウントディスプレイが用いられる場合は、ディストーション部４４におけるディストーション処理は省略することが好ましい。

【0052】

また、詳細は図示しないが、表示制御装置４は、ＰＣ（Personal Computer）やこれに類する情報処理装置（演算装置、制御装置、記憶装置、及び入出力装置等）から構成され、所定の制御プログラムに基づき上述の各部における各種処理を実行するとともに、表示装置２や動作分析装置３の動作を統括的に制御するＣＰＵ（Central Processing Unit）、ＣＰＵのワークエリア等として機能するＲＡＭ（Random Access Memory）、ＣＰＵが実行する制御プログラムやデータを格納するＲＯＭ（Read Only Memory）、入力デバイス、及びＨＤＤ（Hard Disk Drive）などを含む公知のハードウェア構成を有している。なお、表示制御装置４の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。

【0053】

図６は、画像表示システム１による画像表示処理の流れを示すフロー図である。図６に示すように、まず、視線推定部４１は、姿勢検出部１３および位置検出部２１から姿勢情報および位置情報をそれぞれ取得することにより、ユーザの頭部の位置及び姿勢を決定し、その頭部の位置及び姿勢に基づきユーザの視線を推定する（ＳＴ１０１）。

【0054】

次に、モデリング部４２は、３次元データ入力部３１に入力された３次元データから、ステップＳＴ１０１で推定されたユーザの視線に基づく現実空間の風景に含まれる実オブジェクトに対応する仮想空間モデルを構築する（ＳＴ１０２）。

【0055】

このステップＳＴ１０２では、初回の処理において、現在（現実）の実オブジェクトに対応する仮想空間モデルが構築され、次回以降の処理において、現在から未来に向かう所定時刻における仮想空間モデル（すなわち、仮想的に所定時間を経過させることにより、特定仮想オブジェクトが予め定められた動作を完了するまでの各過程に対応する仮想空間モデル）が構築される。なお、仮想空間モデルの構築に用いられる３次元データは、３次元データ入力部３１に適宜入力されることにより、所定のメモリに格納された状態にある。

【0056】

次に、レンダリング部４３は、ステップＳＴ１０２において生成された仮想空間モデルを画像化した仮想空間画像を生成し（ＳＴ１０３）、続いて、ディストーション部４４は、ステップＳＴ１０３において生成された仮想空間画像に対して歪みを付加する（ＳＴ１０４）。

【0057】

次に、画像合成部３３は、ステップＳＴ１０４において処理された仮想空間画像を、現実空間においてユーザの視界に入る風景を撮像した撮像画像と重ね合わせた合成画像を生成する（ＳＴ１０５）。続いて、画像表示部１１は、ステップＳＴ１０５において生成された合成画像をユーザに向けて表示する（ＳＴ１０６）。

【0058】

その後、仮想空間画像生成部３２は、予め設定された特定仮想オブジェクトの予め設定された動作が完了したか否かを判定する（ＳＴ１０７）。そして、上記の一連のステップＳＴ１０１−ＳＴ１０６は、ステップＳＴ１０７において、予め設定された特定仮想オブジェクトの動作が完了したと判定（Ｙｅｓ）されるまで繰り返し実行される。

【0059】

図７は、図６中のステップＳＴ１０６における表示画像の一例を示す図である。ここでは、特定の実オブジェクトとしてのロボット１０に対応する特定仮想オブジェクトとしての仮想ロボット１０Ａが、予め設定された動作としての前進移動を行う場合を示している。また、ここでは、他の実オブジェクトとして、当初は存在しなかった円筒形のくず入れ６０がロボット１０の前方に新たに出現した（例えばユーザによって配置された）場合を示している。

【0060】

上述の図６に示したステップＳＴ１０１−ＳＴ１０６の繰り返し処理により、仮想空間における仮想ロボット１０Ａの動作時間が経過し、その時間経過にともなって、ステップＳＴ１０６では、図７に示すように仮想ロボット１０Ａが前進移動を行う仮想空間画像が画像表示部１１に表示される。この場合、仮想空間画像生成部３２は、図７に示した仮想空間画像よりも前の時刻における仮想空間画像における仮想ロボット１０Ａの位置を移動軌跡７０として表示することができる。或いは、仮想空間画像生成部３２は、仮想ロボット１０Ａの現在位置から移動先（目的地）にかけて、同様の移動軌跡（移動予定の軌跡）を予め表示することも可能である。ここでは、仮想空間画像は１つの静止画像として示されているが、実際の画像表示部１１には、仮想ロボット１０Ａが、現在のロボットＡに重なる位置から図７に示した位置まで前進する様子が一連の画像（動画像）として示される。

【0061】

このように、画像表示システム１では、現実空間においてユーザの視界に入る風景（特定の実オブジェクトを含む）を撮像した撮像画像（即ち、現実空間の風景（現実空間画像））と、予め定められた動作に基づく特定仮想オブジェクトの変化を示す仮想空間画像とを両空間の全体を重ね合わせた合成画像を生成し、その合成画像を表示装置２に表示するため、仮想空間画像において仮想ロボット１０Ａとして再現された現実空間内のロボット１０の周辺に存在する他の実オブジェクト（ここでは、くず入れ６０）に変化が生じた場合でも、ロボット１０の未来の動作状況をユーザに容易に認識させる（ここでは、新たに配置されたくず入れ６０との干渉（接触や衝突）をユーザに容易に確認、予見させる）ことが可能となる。この場合、ロボット１０の未来の動作状況をユーザに認識させるため、くず入れ６０の出現を検出するためのセンサ等は不要である。また、ロボット１０との干渉を確認するために、くず入れ６０の３次元データを新たに準備する必要もない。

【0062】

なお、ここでは、仮想ロボット１０Ａの動作として前進移動の例を示したが、これに限らず、仮想ロボット１０Ａが定位置においてその一部（例えば、腕部や脚部）を移動（変位）させる動作としてもよい。

【0063】

図８は、図７に示した画像が視点変更された場合の表示画像の例を示す図である。図７に示した例では、ユーザは、仮想ロボット１０Ａの正面側におけるくず入れ６０の背後に位置していたため、表示装置２に表示される画像からは、仮想ロボット１０Ａとくず入れ６０との干渉の確認は必ずしも容易ではない。

【0064】

そこで、ユーザは、図８に示すように、仮想ロボット１０Ａおよびくず入れ６０の側方に移動し、仮想ロボット１０Ａとくず入れ６０との干渉状況をより明確に確認することができる。即ち、図６を用いて説明したように、視線推定（ＳＴ１０１）〜画像表示（ＳＴ１０６）は周期的に実行されるため、ユーザは現実空間画像と仮想空間画像とを合成表示させつつ、観察位置を自由に変えながら干渉状況を確認することができるのである。更に、ＳＴ１０７の処理がＹｅｓ判定となり一連の処理が完了した後でも、ユーザは再度同一の処理を繰り返し行って、様々な視点から将来生起する事象を観測することができる。この場合、仮想ロボット１０Ａの膝部６５がくず入れ６０の外周面６０ａと接触している状況を明確に確認することができる。したがって、ユーザは、図７及び図８に示した位置にくず入れ６０を新たに配置することについて、ロボット１０の作業の障害になり得ることを認識することができ、例えばくず入れ６０の位置を変えたり、ロボット１０に対して移動経路の変更を指示する、といった対応をとることが可能となる。このように、ユーザは、ロボット１０が実際に動作する前に、その動作の実行を仮想ロボットの１０Ａにより高い臨場感をもって確認することができ、その確認の結果、ロボット１０の作業内容の修正や、作業の中止などを判断することができる。

【0065】

なお、上述の説明は、特定の実オブジェクトとしてロボット１０を、他の実オブジェクト（環境物体）としてくず入れ６０を想定したものであるが、ここで、他の実オブジェクトにはユーザ自身が含まれることは言うまでもない。即ち、ユーザは仮想空間内で動作するロボット１０が現実空間内の自らと干渉するか否かを簡易に確認することで、予めリスクを予測し、その対応を図ることが可能となる。

【0066】

以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。例えば、上記実施形態では、画像表示システムを室内におけるロボットの動作の確認に用いた例を示したが、これに限らず、本発明は、他の任意の移動物体（例えば、産業用ロボット）に適用することが可能である。また、上記実施形態では、表示装置が、ユーザの頭部に装着される構成としたが、これに限らず、ユーザの視線の変化に応じて表示される画像がリアルタイムで変更される限り、ユーザに装着されないディスプレイ等を用いることも可能である。また、上記実施形態に示した画像表示システムおよび画像表示方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

【産業上の利用可能性】

【0067】

本発明に係る画像表示システムおよび画像表示方法は、特定の実オブジェクト（例えば、ロボット）の周辺に存在する他の実オブジェクトに変化が生じた場合でも、特定の実オブジェクトの未来の動作状況をユーザに容易に認識させることを可能とし、ユーザに対して現実世界の仮想的状況を示す画像を表示する画像表示システムおよび画像表示方法などとして有用である。

【符号の説明】

【0068】

１ 画像表示システム
２ 表示装置
３ 動作分析装置
４ 表示制御装置
６ ユーザ頭部
７ 部屋
９ 光学的マーカ
１０ ロボット（特定実オブジェクト）
１０Ａ 仮想ロボット（特定仮想オブジェクト）
１１ 画像表示部
１２ 撮像部
１３ 姿勢検出部
２１ 位置検出部
３１ ３次元データ入力部
３２ 仮想空間画像生成部
３３ 画像合成部
４１ 視線推定部
４２ モデリング部
４３ レンダリング部
４４ ディストーション部
４７ 左仮想空間画像
４８ 右仮想空間画像
５０ 合成画像
６０ くず入れ（他の実オブジェクト）
６５ 膝部
７０ 移動軌跡

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】