ホーム > 特許ランキング > 株式会社バーチャルウインドウ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024138501
(43)【公開日】2024-10-08
(54)【発明の名称】画像表示システム、ディスプレイ装置
(51)【国際特許分類】
G06T 19/00 20110101AFI20241001BHJP
H04N 13/344 20180101ALI20241001BHJP
H04N 13/366 20180101ALI20241001BHJP
G02B 30/24 20200101ALI20241001BHJP
G02B 30/26 20200101ALI20241001BHJP
【ＦＩ】
G06T19/00 600
H04N13/344
H04N13/366
G02B30/24
G02B30/26
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2024113105
(22)【出願日】2024-07-16
(62)【分割の表示】P 2024523997の分割
【原出願日】2022-11-01
(71)【出願人】
【識別番号】520071560
【氏名又は名称】株式会社バーチャルウインドウ
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】佐藤 塁
(57)【要約】 （修正有）
【課題】ユーザ視点と透過型のディスプレイ装置との相対位置が固定されていない条件のもと、ユーザが透過型のディスプレイ装置を通して見る実空間のオブジェクトに仮想オブジェクトを重畳表示する。
【解決手段】画像表示システム１は、透過型のディスプレイ装置３０、ディスプレイ装置及び画像生成装置１０を備える。画像生成装置は、実空間上のオブジェクト及び仮想空間上の仮想オブジェクトに対して、位置情報と三次元形状の情報を記憶する記憶部と、ユーザ２の視点位置２Ａからディスプレイ装置を見たときにディスプレイ装置を通して見える実空間に対して、視点位置から仮想空間を見たときの見え方となる仮想オブジェクトが重畳表示されるように、視点位置と、ディスプレイ装置の位置情報と三次元形状と、仮想オブジェクトの三次元画像データとに基づいて射影変換又は透視投影変換により画像を生成してディスプレイ装置に表示させる処理部と、を有する。
【選択図】図１
【解決手段】画像表示システム１は、透過型のディスプレイ装置３０、ディスプレイ装置及び画像生成装置１０を備える。画像生成装置は、実空間上のオブジェクト及び仮想空間上の仮想オブジェクトに対して、位置情報と三次元形状の情報を記憶する記憶部と、ユーザ２の視点位置２Ａからディスプレイ装置を見たときにディスプレイ装置を通して見える実空間に対して、視点位置から仮想空間を見たときの見え方となる仮想オブジェクトが重畳表示されるように、視点位置と、ディスプレイ装置の位置情報と三次元形状と、仮想オブジェクトの三次元画像データとに基づいて射影変換又は透視投影変換により画像を生成してディスプレイ装置に表示させる処理部と、を有する。
【選択図】図１
【特許請求の範囲】
【請求項1】
画像を表示可能である透過型のディスプレイ装置と、
前記ディスプレイ装置と、その周囲に存在する実空間上のオブジェクト、および、任意の仮想オブジェクトに対して、各々における実空間における座標系と重ね合わせる形で設定した所定の基準座標系上に構築された仮想空間上の位置情報と三次元形状の情報を記憶する記憶部と、
ユーザが或る視点位置から前記ディスプレイ装置を見たときに前記ディスプレイ装置を通して見える実空間に対して、前記視点位置から前記仮想空間を見たときの見え方となる仮想オブジェクトが正確に重畳表示されるように、前記視点位置と、前記ディスプレイ装置の位置情報と三次元形状と、前記仮想オブジェクトを表す三次元画像データとに基づいて射影変換または透視投影変換を行うことで、画像を生成して前記ディスプレイ装置に表示させる処理部と、
を有する画像表示システム。
前記ディスプレイ装置と、その周囲に存在する実空間上のオブジェクト、および、任意の仮想オブジェクトに対して、各々における実空間における座標系と重ね合わせる形で設定した所定の基準座標系上に構築された仮想空間上の位置情報と三次元形状の情報を記憶する記憶部と、
ユーザが或る視点位置から前記ディスプレイ装置を見たときに前記ディスプレイ装置を通して見える実空間に対して、前記視点位置から前記仮想空間を見たときの見え方となる仮想オブジェクトが正確に重畳表示されるように、前記視点位置と、前記ディスプレイ装置の位置情報と三次元形状と、前記仮想オブジェクトを表す三次元画像データとに基づいて射影変換または透視投影変換を行うことで、画像を生成して前記ディスプレイ装置に表示させる処理部と、
を有する画像表示システム。
【請求項2】
前記ユーザの視点位置から前記ディスプレイ装置を通して見える実空間に関する情報を取得する実空間情報取得装置をさらに有し、
前期記憶部は前期実空間情報取得装置により取得された情報を記憶し、
前記処理部は、前期実空間情報取得装置により取得された情報をも用いて前記画像を生成する、
請求項１に記載の画像表示システム。
前期記憶部は前期実空間情報取得装置により取得された情報を記憶し、
前記処理部は、前期実空間情報取得装置により取得された情報をも用いて前記画像を生成する、
請求項１に記載の画像表示システム。
【請求項3】
前記視点位置は予め定義された位置である、
請求項１に記載の画像表示システム。
請求項１に記載の画像表示システム。
【請求項4】
前記画像表示システムは前記ユーザの前記視点位置を測定する測定装置をさらに有し、
前記視点位置は、前記測定装置によって測定された位置をもとに設定されている、
請求項１に記載の画像表示システム。
前記視点位置は、前記測定装置によって測定された位置をもとに設定されている、
請求項１に記載の画像表示システム。
【請求項5】
前記画像表示システムは、前記ユーザが着用する三次元眼鏡装置をさらに有し、
前記処理部は、前記視点位置に応じて、視差を有する左右の眼用の２つの表示画像を生成して、前記ディスプレイ装置に表示し、
前記三次元眼鏡装置は、前記２つの表示画像を前記ユーザの左右の眼にそれぞれ見せる、
請求項１に記載の画像表示システム。
前記処理部は、前記視点位置に応じて、視差を有する左右の眼用の２つの表示画像を生成して、前記ディスプレイ装置に表示し、
前記三次元眼鏡装置は、前記２つの表示画像を前記ユーザの左右の眼にそれぞれ見せる、
請求項１に記載の画像表示システム。
【請求項6】
前記画像表示システムは、複数の前記ユーザが各々着用する複数の前記三次元眼鏡装置を有し、
前記処理部は、各々の前記ユーザのそれぞれの前記視点位置に応じて、前記視差を有する左右の眼用の２つの表示画像を各々の前記視点位置毎に生成して、各々の前記視点位置毎に割り当てられる前記２つの表示画像を時分割方式で前記ディスプレイ装置に表示し、
各々の前記三次元眼鏡装置は、対応する前記視点位置に割り当てられた前記２つの表示画像を前記ユーザの左右の眼にそれぞれ見せる、
請求項５に記載の画像表示システム。
前記処理部は、各々の前記ユーザのそれぞれの前記視点位置に応じて、前記視差を有する左右の眼用の２つの表示画像を各々の前記視点位置毎に生成して、各々の前記視点位置毎に割り当てられる前記２つの表示画像を時分割方式で前記ディスプレイ装置に表示し、
各々の前記三次元眼鏡装置は、対応する前記視点位置に割り当てられた前記２つの表示画像を前記ユーザの左右の眼にそれぞれ見せる、
請求項５に記載の画像表示システム。
【請求項7】
前記画像表示システムは１又は複数の前記ユーザのそれぞれの前記視点位置を測定する測定装置をさらに有し、前記視点位置は、前記測定装置によって測定された位置であり、
前記ディスプレイ装置は、複数の表示方向に異なる画像を同時に表示可能に構成されており、
前記処理部はさらに、前記測定装置によって測定された１又は複数の前記ユーザのそれぞれの前記視点位置毎に、該視点位置から前記ディスプレイ装置を見たときに前記ディスプレイ装置を通して見える実空間に対して、前記視点位置から前記仮想空間を見たときの見え方となる仮想オブジェクトが正確に重畳表示されるように、各々の前記視点位置と、前記ディスプレイ装置の位置情報と三次元形状と、前記仮想オブジェクトを表す三次元画像データとに基づいて射影変換、透視投影変換、もしくはそれに類する計算処理を行うことで生成する前記画像を、該視点位置に応じて生成し、該画像を、前記ディスプレイ装置から、当該視点位置に向けたユーザ視点位置方向に表示させるように構成されている、
請求項１に記載の画像表示システム。
前記ディスプレイ装置は、複数の表示方向に異なる画像を同時に表示可能に構成されており、
前記処理部はさらに、前記測定装置によって測定された１又は複数の前記ユーザのそれぞれの前記視点位置毎に、該視点位置から前記ディスプレイ装置を見たときに前記ディスプレイ装置を通して見える実空間に対して、前記視点位置から前記仮想空間を見たときの見え方となる仮想オブジェクトが正確に重畳表示されるように、各々の前記視点位置と、前記ディスプレイ装置の位置情報と三次元形状と、前記仮想オブジェクトを表す三次元画像データとに基づいて射影変換、透視投影変換、もしくはそれに類する計算処理を行うことで生成する前記画像を、該視点位置に応じて生成し、該画像を、前記ディスプレイ装置から、当該視点位置に向けたユーザ視点位置方向に表示させるように構成されている、
請求項１に記載の画像表示システム。
【請求項8】
前記処理部はさらに、
前記視点位置毎に、該視点位置における前記ユーザの右目及び左目から夫々、前記ディスプレイ装置を通して見える実空間に対して、各々の前記視点位置における右目及び左目毎にそれらの位置から前記仮想空間を見たときの見え方となる仮想オブジェクトが正確に重畳表示されるように、各々の前記視点位置における右目及び左目の位置と、前記ディスプレイ装置の位置情報と三次元形状と、前記仮想オブジェクトを表す三次元画像データとに基づいて射影変換または透視投影変換を行うことで、 右目用表示画像及び左目用表示画像を生成し、
前記視点位置を境に前記ユーザの右目側の前記ユーザ視点位置方向へは前記右目用表示画像を前記ディスプレイ装置から表示させ、前記ユーザ視点位置を境に前記ユーザの左目側の前記ユーザ視点位置方向へは前記左目用表示画像を前記ディスプレイ装置から表示させるように構成されている、
請求項７に記載の画像表示システム。
前記視点位置毎に、該視点位置における前記ユーザの右目及び左目から夫々、前記ディスプレイ装置を通して見える実空間に対して、各々の前記視点位置における右目及び左目毎にそれらの位置から前記仮想空間を見たときの見え方となる仮想オブジェクトが正確に重畳表示されるように、各々の前記視点位置における右目及び左目の位置と、前記ディスプレイ装置の位置情報と三次元形状と、前記仮想オブジェクトを表す三次元画像データとに基づいて射影変換または透視投影変換を行うことで、 右目用表示画像及び左目用表示画像を生成し、
前記視点位置を境に前記ユーザの右目側の前記ユーザ視点位置方向へは前記右目用表示画像を前記ディスプレイ装置から表示させ、前記ユーザ視点位置を境に前記ユーザの左目側の前記ユーザ視点位置方向へは前記左目用表示画像を前記ディスプレイ装置から表示させるように構成されている、
請求項７に記載の画像表示システム。
【請求項9】
表示画像を形成する複数の画素ユニットが設けられた光透過性を有する基板と、前記画素ユニットの上に設けられたレンズ素子とを備えた透過型のディスプレイ装置であって、
前記複数の画素ユニットは互いに離れて前記基板に配置されており、各々の前記画素ユニットは複数の表示素子からなり、
各々の前記レンズ素子は、対応する前記画素ユニットの各々の前記表示素子からそれぞれ放射される各々の光の光路の方向をそれぞれ別個の方向に屈折させるように構成されている、ディスプレイ装置。
前記複数の画素ユニットは互いに離れて前記基板に配置されており、各々の前記画素ユニットは複数の表示素子からなり、
各々の前記レンズ素子は、対応する前記画素ユニットの各々の前記表示素子からそれぞれ放射される各々の光の光路の方向をそれぞれ別個の方向に屈折させるように構成されている、ディスプレイ装置。
【請求項10】
前記レンズ素子は、各々の前記画素ユニット毎に設けられている、
請求項９に記載のディスプレイ装置。
請求項９に記載のディスプレイ装置。
【請求項11】
前記複数の画素ユニットはマトリクス状に配置されており、
各々の前記レンズ素子は、前記マトリクス状に配置された前記画素ユニットのうちの各列の複数の画素ユニットをまたいで配置されるように構成されている、
請求項９に記載のディスプレイ装置。
各々の前記レンズ素子は、前記マトリクス状に配置された前記画素ユニットのうちの各列の複数の画素ユニットをまたいで配置されるように構成されている、
請求項９に記載のディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、透過型のディスプレイ装置を介して見える実空間の物体に仮想オブジェクトを重畳して表示する技術に関する。
【背景技術】
【0002】
実空間のオブジェクトと仮想オブジェクトとを重畳させて見せる技術の１つとして複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）と呼ばれる技術が知られており、そのデバイスとして米国マイクロソフト社が開発したヘッドマウントディスプレイ（ＨＭＤ）であるＨｏｌｏｌｅｎｓ（登録商標）などが存在する（非特許文献１参照）。Ｈｏｌｏｌｅｎｓによれば、ユーザが頭にかぶったＨｏｌｏｌｅｎｓ（ＨＭＤ）の透明の接眼レンズ越しに実空間を見つつ、同時に接眼レンズに表示された仮想ＣＧオブジェクトを実空間に重ねてみることができる。Ｈｏｌｏｌｅｎｓは測距センサも搭載し、ＨＭＤの外界の実空間オブジェクトの位置や形状を取得しながら、仮想ＣＧオブジェクトを投影することで実空間オブジェクトと仮想ＣＧオブジェクトの重畳も正確に実現している。
【先行技術文献】
【特許文献】
【0003】
【非特許文献1】“Microsoft HoloLens 2”、マイクロソフト コーポレーション、[online]、[2022年10月19日検索]、インターネット<https://www.microsoft.com/ja-jp/hololens>
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述したようなＨｏｌｏｌｅｎｓによる実空間オブジェクトと仮想ＣＧオブジェクトとの正確な重畳表示は、表示装置としてのＨＭＤがユーザの頭部に固定されていること、すなわちユーザの眼と映像表示デバイス（接眼レンズ）との位置関係が常に固定されているからこそ実現可能である。表示装置をユーザの頭部に固定せずに同じような重畳表示を実現するには、ユーザの眼と映像表示デバイスとの位置関係の変化も正確に取得しながら、さらに映像表示デバイスと実空間物体との位置関係の変化も同時に取得して、両方の変化にあわせて描画計算をする必要がある。これを実現するには、さらに新たな方法論とそれを実現する技術とが必要となる。
【0005】
表示装置をユーザの頭部に固定せずに実空間オブジェクト上に仮想ＣＧオブジェクトを重畳表示するための技術がこれまでに一般化していない主な理由は、端的に言えば一般に利用されうる水準に重畳表示の品質を担保することが技術的に難しいためである。Ｈｏｌｏｌｅｎｓの場合は少なくとも視点位置（眼球位置）と表示デバイスとの相対位置関係が固定状態にあるので、実空間オブジェクト上に仮想オブジェクトを重畳させるにあたって、表示装置から実空間オブジェクトまでの位置関係、距離、形に関する情報があればよい。すなわち、大きな変化を伴う相対位置に関する変動要素は１つである。
【0006】
一方、表示装置をユーザの頭部に固定せずに同じような重畳表示を行う場合には、表示装置と実空間オブジェクトとの間の位置関係、距離、形に関する情報の取得に加えて、さらに、ユーザの視点位置と表示装置との距離や相対位置関係も大きく変動するような条件で、表示装置上の表示に反映する必要がある。すなわち、大きな変化を伴う相対位置に関する変動要素が２つとなり複雑性が増すとともに、誤差も変動要素ごとに蓄積することから重畳品質の担保が難しく、具体的な方法論が必要となる。
【0007】
本開示のひとつの目的は、ユーザ視点と透過型のディスプレイ装置との相対位置が固定されていない条件のもと、ユーザにとって透過型のディスプレイ装置を通して見える実空間のオブジェクトに仮想オブジェクトを重畳表示することを可能にする方法論を提供することである。
【課題を解決するための手段】
【0008】
本開示のひとつの態様による画像表示システムは、画像を表示可能である透過型のディスプレイ装置と、ディスプレイ装置と、その周囲に存在する実空間上のオブジェクト、および、任意の仮想オブジェクトに対して、各々における実空間における座標系と重ね合わせる形で設定した所定の基準座標系上に構築された仮想空間上の位置情報と三次元形状の情報を記憶する記憶部と、ユーザが或る視点位置からディスプレイ装置を見たときにディスプレイ装置を通して見える実空間に対して、視点位置から仮想空間を見たときの見え方となる仮想オブジェクトが正確に重畳表示されるように、視点位置と、ディスプレイ装置の位置情報と三次元形状と、仮想オブジェクトを表す三次元画像データとに基づいて射影変換または透視投影変換を行うことで、画像を生成してディスプレイ装置に表示させる処理部と、を有する。
【発明の効果】
【0009】
本開示のひとつの態様によれば、ユーザと透過型のディスプレイ装置との相対位置が固定されていない条件のもと、ユーザにとって透過型のディスプレイ装置を通して見える実空間のオブジェクトに仮想オブジェクトを高い品質で正確に重畳表示することを可能にする技術を提供することが可能になる。
【図面の簡単な説明】
【0010】
【図1】本開示の第１の実施形態に係る画像表示システムの概略構成図である。
【図2】本実施形態の画像表示システムが乗物に搭載された例を示す概略構成図である。
【図3】本実施形態の画像表示システムがユーザ視点位置に応じた画像を表示する様子を説明するための図である。
【図4】視点位置の算出について説明するための概念図である。
【図5】第１の実施形態の画像生成装置の構成を示すブロック図である。
【図6】第１の実施形態の画像生成装置による全体処理を示すフローチャートである。
【図7】第１の実施形態に係るシステムの一変形例におけるディスプレイ装置と、そのディスプレイ装置上の表示画像の一例を示す図である。
【図8】第２の実施形態に係るシステムにおけるディスプレイ装置等を示す図である。
【図9】第２の実施形態に係るシステムの一変形例におけるディスプレイ装置と、そのディスプレイ装置上の表示画像の一例を示す図である。
【図10】第３の実施形態のシステムにおけるディスプレイ装置の構成を説明するための概略図である。
【図11】第３の実施形態のディスプレイ装置のより詳細な構成と、ディスプレイ装置による表示動作制御について説明する図である。
【図12】第３の実施形態のディスプレイ装置のより詳細な構成と、ディスプレイ装置による表示動作制御について説明する図である。
【図14】第３の実施形態に係るシステムの一変形例におけるディスプレイ装置を示す図である。
【発明を実施するための形態】
【0011】
［第１の実施形態］
本開示の第１の実施形態について図面を参照して説明する。
本開示の第１の実施形態について図面を参照して説明する。
【0012】
図１は、本開示の第１の実施形態に係る画像表示システムの概略構成図である。図１に示すように、本実施形態の画像表示システム（以下、単に「システム」と称することもある。）１は、主としてユーザに提示する仮想オブジェクト画像を生成する画像生成装置１０と、ユーザ２の視点位置を測定する測定装置２０と、画像生成装置１０が生成した画像を表示する透過型ディスプレイ装置３０と、ユーザが透過型ディスプレイ装置３０を通して見える実空間（現実世界）の環境情報（その現実世界に存在する物体の位置、形状、大きさ、物体までの距離等に関する情報等）を取得する実空間情報取得装置４０（以下、単に「取得装置４０」と称することもある。）とを有している。一例として、画像生成装置１０はプロセッサでソフトウェアプログラムを実行するコンピュータであり、測定装置２０の算出部（不図示）を兼ねている。
【0013】
本実施形態における透過型ディスプレイ装置３０は、いわゆる「透過型」のディスプレイ装置であり、例えば、透過型有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｓｅ）ディスプレイ（透過型ＯＬＥＤ）や、透過型液晶ディスプレイ（透過型ＬＣＤ）や、外部のプロジェクター等から映像を投影される透過型スクリーン等によって構成することができる。このような透過型ディスプレイで構成された本実施形態の透過型ディスプレイ装置３０は透明あるいは半透明であり、透過型ディスプレイ装置３０を通してその反対側の実空間の環境を見ることができるとともに、透過型ディスプレイ装置３０に画像を表示することにより、透過型ディスプレイ装置３０を通して見える実空間に、表示画像によって表現される仮想オブジェクトがあたかも存在しているような視覚体験を提供することを可能にする。本実施形態の透過型ディスプレイ装置３０は、例えば、建物の窓や、自動車・バス・船舶・航空機等の乗物の窓、屋内のテーブル上などの任意の位置に固定設置されるものとして用いることができ、この場合は、それらの透過型ディスプレイ装置３０を通して見える屋外あるいは屋内の実空間の風景・景色に仮想オブジェクトを重畳表示することができる。
【0014】
測定装置２０（センサ２２）は、一例として、ユーザ２の正面側に位置する透過型ディスプレイ装置３０の下側あるいは上側に設けられ、ユーザ２の前方からユーザの視点位置を測定する。
【0015】
測定装置２０は、ユーザ２が透過型ディスプレイ装置３０を見ることができる範囲に存在している間、所定の基準座標系におけるユーザ２の視点位置２Ａを測位する。視点位置２Ａは、目の位置に相当する位置である。処理に用いる具体的な視点位置２Ａは特に限定されないが、例えば、ユーザ２の両目の中間点、頭部の中心点、両目の中心から所定寸法だけ頭部の内側の位置などを視点位置２Ａとして用いることができる。
【0016】
本実施形態では、主として透過型ディスプレイ装置３０が自動車などの乗物の窓に設置されるユースケースについて、実空間に固定して定義されるワールド座標系と、乗物を基準として定義されるローカル座標系とを用いて説明する。ワールド座標系およびローカル座標系はいずれもｘｙｚの３軸を有する直交座標系であるとする。ワールド座標系における乗物の位置および方向が特定されれば、ワールド座標系とローカル座標系との関係が定まり、相互に変換可能となる。ワールド座標系を実空間に対してどのように設定するかは任意である。また、ローカル座標系を乗物に対してどのように設定するかも任意である。
【0017】
図２は、本実施形態の画像表示システムが乗物に搭載された例を示す概略構成図である。図２に示す例では、画像生成装置１０、測定装置２０、透過型ディスプレイ装置３０及び実空間情報取得装置４０を含む画像表示システム１が乗物Ｍに搭載され、乗物Ｍの運転手や乗客等である乗員（ユーザ）２に、現実の風景と仮想的な映像とを融合した視覚体験を提供する。図２に示すように、本実施形態の乗物Ｍは、様々な現実の物体（以下「現実オブジェクト」と称することもある）ＲＯが存在する実空間（現実世界）に置かれ、実空間内を走行する例えば一人乗りの小型の乗用車両である。ただし、乗物Ｍは、乗用車両に限定されず、乗用車、バス、鉄道車両、航空機、船舶、アトラクション設備の乗物などであってもよい。
【0018】
図２には、乗物の位置および方向を基準としたローカル座標系の一例として、ユーザ２の右方向に向かうＸ軸と上方向に向かうＹ軸と後ろ方向に向かうＺ軸とを有する直交座標系が示されている。測定装置２０中のセンサ２２（図２では不図示）及び透過型ディスプレイ装置３０は、それらの位置および姿勢がこのローカル座標系に固定されている。姿勢は、Ｘ軸周り方向のＰｉｔｃｈとＹ軸周り方向のＹａｗとＺ軸周り方向のＲｏｌｌとで表される。
【0019】
画像生成装置１０は、乗物の位置および方向と、乗物内のユーザ２の視点位置２Ａと、透過型ディスプレイ装置３０の固定された位置および姿勢とに基づいて、仮想空間上の仮想オブジェクトＶＯを透過型ディスプレイ装置３０に表示する。このとき、仮想オブジェクトＶＯはワールド座標系で定義された三次元の仮想空間上に配置されており、実空間のワールド座標系と仮想空間のワールド座標系とは位置関係や拡大縮小倍率が一致するように重ね合わされて定義されている。ユーザは視点位置２Ａから透過型ディスプレイ装置３０を介して実空間を覗き見るが、同時に同じワールド座標系に固定された仮想空間も覗き見ることになり、このときに実空間上に仮想空間上の仮想オブジェクトＶＯが同時に存在しているとユーザ２に錯覚させるため、すなわち、まるで仮想オブジェクトＶＯが実空間に存在するかのような見え方となるように、計算処理を行って表示画面に表示させる画像を生成する。具体的には、視点位置２Ａの座標をもとに三次元で定義された仮想空間上の三次元ＣＧデータを、二次元面である表示画面に射影変換、透視投影変換、もしくはそれに類する計算処理を行って二次元画像を生成し、それを透過型ディスプレイ装置３０に表示する。これにより、ユーザ２に対し仮想空間の三次元情報が幾何学的な厳密さをもって二次元情報に変換されて提示される。
【0020】
画像生成装置１０は、透過型ディスプレイ装置３０を通して見える実空間に重畳表示する仮想オブジェクトを表す三次元ＣＧのデータ、例えば、三次元ＣＧで描かれたチーターのデータなどを仮想空間上における配置情報などと同時に予め内部の記憶部１２（図５参照）に格納しておき、ユーザ２にとって仮想オブジェクトが実空間に存在するかのように錯覚させるべく幾何学的厳密さをもって確からしく自然な画像に見えるように、三次元ＣＧを視点位置２Ａに基づいて適切に透過型ディスプレイ装置３０に表示させるべく表示画像を計算処理にしたがって生成する。
【0021】
なお、本明細書及び特許請求の範囲の記載において、「画像」の用語は、１又は複数の静止画像のみならず、時系列的に連続する複数の画像によって構成される動画像（映像）を含むものとして用いられる。
【0022】
本実施形態によれば、一例として、乗物の窓から見える実空間の景色に仮想物体が重畳された画像がユーザ２の視点位置２Ａに応じて生成されて透過型ディスプレイ装置３０に表示されるので、実世界内の実空間上にあたかも仮想物体が実世界のオブジェクトと一緒に配置され同時に存在しているかのような感覚をユーザ２に与えることができる。また、本実施形態では、ユーザの頭部と共に動くヘッドマウントディスプレイ（ＨＭＤ）ではなく、ユーザの頭部を含むユーザの体の部位以外の位置に固定された画面に画像を表示する方式を採用しているので、画像生成装置１０における表示出力部１６は、複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）の技術における表示装置として使用でき、ヘッドマウントディスプレイと同様にユーザにリアリティーのある複合現実を体験させることができ、かつヘッドマウントディスプレイを用いることによる不都合や不快感をユーザ２に与えることがない。
【0023】
以下、本実施形態の画像表示システム１を更に詳しく説明する。
【0024】
測定装置２０は一例として視点位置２Ａを継続的に測定し、画像生成装置１０は表示画像を視点位置２Ａに追従するように生成して透過型ディスプレイ装置３０の画面に表示する。これにより、ユーザ２の頭部が動いたときにそれに伴って動く視点位置２Ａに追従して、透過型ディスプレイ装置３０に表示される表示画像が変化するので、ユーザ２にあたかも実空間内に仮想物体が存在しているかのような感覚を与えることができる。視点位置２Ａへの追従に伴う画像生成としては、その時点の視点位置２Ａから表示装置を介して仮想空間上の仮想オブジェクトを見たときの見え方となるような画像を連続的に生成することで実現される。このときの画像の生成方法は前述の通りである。またここでは追従するという記載を行ったが、それに限らず、少し先の視点位置２Ａを予測して画像生成してもよい。視点位置２Ａが動く際に、現在の２Ａの位置をもとに画像生成をおこない、その結果を表示させるのでは計算にかかる時間の分だけ画像表示に遅れが生じてしまい、このことによりユーザに違和感を感じさせてしまう。これを解決するために視点位置２Ａの時系列データを取りながら少し先の位置を予測して前もって画像生成を行う方法もありうる。またここで視点位置を予測する方法を述べたが、予測するのは視点位置に限らず、ワールド座標系に対してのローカル座標系の相対位置についても予測計算を用いても良い。例えば乗物として車を想定したときに進行方向と時速情報、地図情報をもとにすれば少し先の乗物の位置は精度よく予測できる。この予測結果を先に述べた画像生成において反映させても良い。
【0025】
図３は、本実施形態による画像表示システムがユーザ視点位置に応じた画像を表示する様子を説明するための図である。図３の説明において、ユーザの視点位置を基準として透過型ディスプレイ装置３０の手前側のユーザ空間を実空間、奥側の空間を仮想空間と定義する。透過型ディスプレイ装置３０の奥側に定義された仮想空間は、透過型ディスプレイ装置３０による疑似的な窓（以下「疑似窓」ともいう）を通してユーザ２の頭部のある位置Ｐ１から見える画像として透過型ディスプレイ装置３０に表示される。仮想空間上の仮想オブジェクトは後述する三次元ＣＧデータにより定義される。図３の例では、仮想オブジェクトとして６本の木が横に並んで配置されている。なお、ここでは、図３上では説明のために透過型ディスプレイ装置３０の奥側に仮想空間を定義しているが、透過型ディスプレイ装置３０の手前側に仮想空間を定義してもよいし、透過型ディスプレイ装置３０の手前側および奥側を含む空間を仮想空間として定義してもよい。これにより、仮想空間の仮想オブジェクトが透過型ディスプレイ装置３０による仮想的な窓の向こうにあるように見える画像だけでなく、仮想空間の仮想オブジェクトが透過型ディスプレイ装置３０から手前に突き出して見える画像をも透過型ディスプレイ装置３０に表示することができる。
【0026】
ユーザ２が透過型ディスプレイ装置３０の近傍正面の位置Ｐ１にいるとき、透過型ディスプレイ装置３０による疑似窓から見える仮想空間の視野ＦｏＶ１は広く、６本の木が全て視野ＦｏＶ１に入っているように透過型ディスプレイ装置３０に表示される（表示Ｄ１）。ユーザ２が位置Ｐ１からｚ方向に移動し、透過型ディスプレイ装置３０から離れた位置Ｐ２に来ると、透過型ディスプレイ装置３０による疑似窓から見える仮想空間の視野ＦｏＶ２は狭くなり、視野ＦｏＶ２には３本の木の全体とその両側の木の一部が入るのみのように表示される（表示Ｄ２）。また、ユーザ２が位置Ｐ１から－ｘ（マイナスｘ）方向に移動し、位置Ｐ３にくると、透過型ディスプレイ装置３０による疑似窓から見える仮想空間の視野ＦｏＶ３はｘ方向に変化する。視野Ｆｏｖ３には右端の３本の木が入るのみである。加えて視野ＦｏＶ３では透過型ディスプレイ装置３０に対して正面ではなく斜め方向から画面を見ているが、疑似窓から見える木の横方向の太さは正面から見たときと同じ太さになっている必要がある（表示Ｄ３’）。このために透過型ディスプレイ装置３０に木を表示させる際にはユーザからは表示Ｄ３’のように見えるように適切に伸縮処理を行った画像を表示させる（表示Ｄ３）。このように、ユーザ２にとって仮想空間上の仮想オブジェクトがそこに存在するかのように錯覚させるべく確からしく自然な画像に見えるような処理として、本実施形態では、透過型ディスプレイ装置３０に表示する画像を生成するとき、三次元ＣＧデータに定義された仮想空間における仮想オブジェクトを透過型ディスプレイ装置３０、すなわち二次元の面に投影させるような処理（例として射影変換、透視投影変換、もしくはそれに類する計算）を行う。他の方法として、基準座標空間において三次元ＣＧデータの各点をその各点とユーザ視点位置とを結ぶ直線が透過型ディスプレイ装置３０と交わる点に投影してもよい。また、透過型ディスプレイ装置３０に表示する画像を生成する他の処理方法として、経験則に従った特定の行列や数値の四則演算処理を、画像や画像がもつ三次元パラメータに対して行うことにしてもよい。
【0027】
本実施形態の測定装置２０は、ユーザ２を撮像する撮像部と、撮像部にて撮像されたユーザ２の撮像情報に基づいて視点位置２Ａを定める算出部とを有するように構成されている。撮像部は図１に示した測定装置２０に設置されたセンサ２２により実現される。算出部は図１に示した画像生成装置１０の処理部１４（図５参照）により実現される。あるいは、算出部は測定装置２０内の処理部（不図示）により実現されてもよい。
【0028】
一例として、本実施形態では、センサ２２（撮像部）は、各画素におけるセンサ２２から物体（ここではユーザ２の人体）までの深度を測定するデプスセンサである。画像生成装置１０の処理部１４により実現される算出部は、センサ２２で測定された各画素の深度に基づいて、人体の形状を推定し、その人体における頭部の位置に基づいて視点位置２Ａを算出する。これによれば、各画素の深度から人体形状を推定し、その人体形状における頭部の位置を用いるので、ユーザ２の体の位置や向きが様々に変化しても視点位置２Ａを高い精度で特定できる。
【0029】
図４は、視点位置の算出について説明するための概念図である。基準座標系におけるセンサ２２の位置（Ｘｓ，Yｓ，Zｓ）と姿勢（Ｐｉｔｃｈｓ，Ｙａｗｓ，Ｒｏｌｌｓ）が予め設定されている。センサ２２で取得される各画素の深度と、センサ２２の位置および姿勢から視点位置２Ａの座標（Ｘｈ，Yｈ，Zｈ）を算出することができる。なお、図４に示すように、透過型ディスプレイ装置３０の基準座標系における位置（Ｘｍ，Ｙｍ，Ｚｍ）、姿勢（Ｐｉｔｃｈｍ，Ｙａｗｍ，Ｒｏｌｌｍ）、および形状（Ｈｅｉｇｈｔｍ，Ｗｉｄｔｈｍ）も予め設定されている。本実施形態では一例として各透過型ディスプレイ装置３０は長方形または台形であり、その形状は高さ（Ｈｅｉｇｈｔｍ）と幅（Ｗｉｄｔｈｍ）とで表現されている。また透過型ディスプレイ装置３０は任意の多角形であったり、曲面や球面であっても良い。
【0030】
センサ２２が撮像する画像は、深度画像であってもよいし、深度画像及び可視画像であってもよい。例えば、撮像部は、深度画像を撮像するセンサと可視画像を撮像するカメラとを含み、算出部は、深度画像と可視画像との両方を用いて視点位置２Ａを算出することにしてもよい。また撮像位置の異なった２つの可視画像であってもよい。この場合は２つの可視画像の視差を用いて視点位置２Ａを算出することにしても良い。また単一の可視画像からＡＩを用いた画像処理によって視点位置２Ａを推定することにしても良い。
【0031】
なお、図１及び図４の例では、測定装置２０（センサ２２）は、ユーザ２の前方の透過型ディスプレイ装置３０の上側または下側に設置される例を示したが、これに限られない。測定装置２０（センサ２２）は、ユーザ２の後方に透過型ディスプレイ装置３０に重ならない位置に配置することも可能である。あるいは、透過型ディスプレイ装置３０の後ろ側（奥側、背面側）に設置し透過型ディスプレイ装置３０の表示部分を通過してユーザ視点位置を測定する方法も可能である。その他、これら複数のセンサを用いてそのどれかによって撮像された映像を用いて測定しても良いし、複数のセンサからの情報を統合して得られる視点位置を用いても良い。
【0032】
本実施形態における実空間情報取得装置４０は、上述したように、ユーザにとって透過型ディスプレイ装置３０を通して見える実空間（現実世界）の環境情報（その現実世界に存在する物体の位置、形状、大きさ、物体までの距離等に関する情報等）を取得する装置である。取得装置４０は、一例として、ＬｉＤＡＲセンサを備え、ユーザから見て透過型ディスプレイ装置３０の周囲の実空間に存在する物体に関し、その物体までの距離とその物体の形状等を測定することが可能である。ここで、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ「光検出及び測距」、あるいは、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ「レーザ画像検出及び測距」）は、主にレーザ光を用いたリモートセンシング技術の一つであり、パルス状に発光するレーザ照射に対する散乱光を測定し、遠距離にある対象までの距離やその対象の形状等に関する情報を取得するものである。取得装置４０は、このようなＬｉＤＡＲセンサにより、透過型ディスプレイ装置３０の周囲の実空間をスキャンして、その空間に存在する物体までの距離及びその形状等に関する情報を取得する。
【0033】
取得装置４０は、上述したＬｉＤＡＲセンサに加えて、あるいはその代わりに、画像（可視画像及び深度画像）を生成する撮像素子を備えた撮像カメラを備えていてもよい。透過型ディスプレイ装置３０を通して見える実空間を撮像カメラで撮像して取得された画像を任意の画像処理技術を用いて解析することで、画像に含まれる物体の位置、大きさ、形状等に関する情報を取得することができる。画像に含まれる物体としては、例えば、実空間に存在するビル等の建物、橋梁等の建造物、遠くにある山や、移動している乗物や生物等が含まれる。
【0034】
取得装置４０は、さらに、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ：全地球測位システム）センサを備えてもよい。取得装置４０がＧＰＳセンサを備えることにより、取得装置４０のＬｉＤＡＲセンサや撮像カメラによって実空間情報を取得した位置に関する位置情報を併せて取得することができる。この位置情報は、例えば、取得装置４０を含むシステム１が搭載された乗物等のワールド座標空間における位置情報でもある。
【0035】
また取得装置４０は、ＶＰＳ（Ｖｉｓｕａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を用いて、乗物の位置および方向を特定するように構成されていてもよい。この場合、取得装置４０は、乗物の外部の実空間の画像を撮像し、画像生成装置１０の処理部１４（図５参照）が、その画像に基づいて乗物の位置および方向を特定する。そのために、事前に、撮像された位置および方向が特定されている多くの画像を取得し、それらの画像に現れている建物などの物体の輪郭などの視覚的特徴を抽出し、視覚的特徴を検索可能なインデックスとして位置および方向の情報とともに画像生成装置１０の記憶部１２（図５参照）のデータベースに蓄積しておく。そして、乗物が走行する間に、取得装置４０によって撮像された画像が入力されると、画像生成装置１０の処理部１４は、その取得された画像から視覚的特徴を抽出し、抽出した視覚的特徴とデータベースに蓄積されている視覚的特徴とを比較することにより、画像が撮像された位置および方向を特定する。この特定された画像が撮像された位置および方向を乗物の位置および方向に変換する。これにより、乗物の精度の高い位置および方向をリアルタイムで取得することができる。なお、この取得プロセスにおいては、乗物の実際の動きに合わせて取得するうえでの時間的な遅れが生ずる可能性がある。これを解決するために、現在と過去の乗物の位置、向きを用いて、速度や加速度のベクトルを計算し、これらに加えて遅延なく取得できる乗物から直接取得した車体情報（アクセル情報、ブレーキ情報や、速度やステアリング角の情報など）を加味して将来の乗物の位置と向きを予測することで、時間的な遅れの問題を解決することもできる。
【0036】
なお、上記では視覚的特徴を検索可能なインデックスとして位置および方向の情報とともに画像生成装置１０の記憶部１２（図５参照）のデータベースに蓄積しておく例を挙げて説明したが、視覚的特徴は外部装置（不図示）のデータベースに蓄積されていてもよい。この場合は、取得装置４０が取得した画像データが取得装置４０から外部装置に送信される。そして、外部装置において、画像から視覚的特徴を抽出し、抽出した視覚的特徴とデータベースに蓄積されている視覚的特徴とを比較することにより、画像が撮像された位置および方向を特定する。当該画像について特定された位置および方向に関する情報は、外部装置から取得装置４０に送信される。
【0037】
次に、本実施形態における画像生成装置１０について説明する。図５は、本実施形態の画像生成装置の構成を示すブロック図である。図５に示すように、画像生成装置１０は、記憶部１２と、処理部１４と、表示出力部１６と、通信部１８とを有している。図５では、画像生成装置１０は単一の要素として描かれているが、画像生成装置１０は必ずしも物理的に１つの要素である必要はなく、物理的に分離した複数の要素で構成されていてもよい。
【0038】
記憶部１２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＤＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の一時的又は非一時的な記憶媒体を含む。記憶部１２は、処理部１４が実行するコンピュータプログラムや後述する各種データを記憶する。記憶部１２の非一時的な記憶媒体に記憶されるコンピュータプログラムは、図６等を参照して後述する、処理部１４による画像生成方法の各処理を実施する命令を含む。
【0039】
記憶部１２は、所定の基準座標空間における透過型ディスプレイ装置３０の位置、姿勢および形状を示す画面配置データと、基準座標空間における測定装置２０及び取得装置４０の位置および姿勢を示す測定装置・取得装置配置データと、透過型ディスプレイ装置３０を通して見える実空間に重畳表示する仮想オブジェクトを表す三次元ＣＧのデータとを保持する。基準座標空間は、本実施形態における演算の基準となる所定の原点Ｏを有する座標系（基準座標系）で表される空間であり、ｘｙｚの３軸を有する直交座標系の空間である。基準座標空間およびその原点Ｏをどのように設定するかは任意であり、例えば、基準座標空間を透過型ディスプレイ装置３０に対して固定してもよいし、測定装置２０及び／又は取得装置４０に対して固定しても良いし、透過型ディスプレイ装置３０、測定装置２０及び取得装置４０に対して固定してもよいし、それらのいずれにも固定しなくてもよい。また乗物を想定した場合、基準座標空間を乗物内の座標（ローカル座標系）として、外の世界の座標（ワールド座標系）と分けて処理をしても良い。
【0040】
「三次元ＣＧ」は、三次元空間内の仮想的な立体物であり奥行き（立体）情報を含む点で二次元の画像と異なるため、３ＤＣＧとも称される。三次元ＣＧとしては、一例として仮想空間の三次元座標上に置かれた点を頂点として作成された複数の面により構成される（モデリング）仮想的立体であり、その各面に材質などを再現する情報を与え、任意の光の強さ、光源の位置などから物体を照らすことで表現される場合がある。三次元ＣＧのデータには、その三次元ＣＧで表示する仮想物体の仮想空間内における配置位置に関する情報が含まれる。記憶部１２には、様々な複数の仮想物体に関する三次元ＣＧデータを記憶させることができる。
【0041】
処理部１４は、例えば、１又は２以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成される。処理部１４は１又は２以上のＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備えてもよい。処理部１４は、記憶部１２に記憶されたコンピュータプログラムを実行することにより、図６等を参照して後述する画像生成方法の各処理を実施する。
【0042】
表示出力部１６は、透過型ディスプレイ装置３０が接続され、処理部１４によって生成された画像を透過型ディスプレイ装置３０に表示する画像信号を出力する出力部である。表示出力部１６は、例えば、ＶＧＡ、ＤＶＩ、ＤｉｓｐｌａｙＰｏｒｔ（商標）、ＨＤＭＩ（登録商標）、ＵＳＢ（商標）Ｔｙｐｅ－Ｃ等の出力端子で構成し、透過型ディスプレイ装置３０と有線接続することができる。あるいは、表示出力部１６は任意の無線通信技術を用いて透過型ディスプレイ装置３０と無線接続される構成としてもよい。
【0043】
通信部１８は、画像生成装置１０の外部装置との間でデータを送受信する機能を有する。特に本実施形態では、通信部１８は、測定装置２０のセンサ２２によって撮像された画像のデータや、取得装置４０によって取得された情報のデータを送受信する場合がある。通信部１８は、取得装置４０によって取得された画像データを外部装置に送信したり、外部装置において特定された当該画像が撮像された位置および方向に関する情報を外部装置から受信したりしてもよい。また、実空間に存在するオブジェクトをモデル化した三次元実空間モデルのデータをネットワークを通じて必要な部分だけ取得する場合がある。なお、外部装置と通信部１８との通信は、有線通信または無線通信のいずれであってもよい。
【0044】
次に、一例として、図６等を参照して、本実施形態の画像生成装置１０による画像生成方法について説明する。図６は、本実施形態の画像生成装置による全体処理を示すフローチャートの一例である。図６の各処理は処理部１４により実行される。画像生成装置１０により生成する画像が時系列的に連続する複数のフレーム画像からなる動画像の場合、その動画像のフレームごとに計算しても良い。またフローチャートの各ステップの計算処理において、時系列上の過去のデータを用いて予測計算し、画像を生成しても良い。
【0045】
図６を参照すると、画像生成装置１０の処理部１４は最初に、ユーザ２が透過型ディスプレイ装置３０を通して見える実空間に関する情報を取得する（ステップＳ１０１）。
【0046】
処理部１４は、取得装置４０の動作を制御し、透過型ディスプレイ装置３０のユーザ２から見て奥側の実空間に関する情報を取得装置４０に取得させる。その具体的な処理の一例として、処理部１４は、まず、取得装置４０からＧＰＳ位置情報を取得して、取得装置４０を含むシステム１を搭載している乗物のおおよその位置を特定し、さらに取得装置４０からＶＰＳ情報（乗物のより正確な位置および方向）を特定する。次に、処理部１４は、実空間に存在する物体を三次元モデル化した三次元実空間モデルのデータを取得する。実空間に存在する物体は、例えば、現実世界のビルや家屋、橋梁、鉄道、道路等の建造物である。そのような物体を三次元モデル化した三次元実空間モデルのデータは、物体を仮想空間内に再現するための情報として、現実世界における各オブジェクトの位置情報と、各物体の形状及び大きさに関する情報とを含む。現在では、いくつかの都市や自然の形状について現実の空間を三次元モデル化した３Ｄ都市モデルデータが複数の事業者・機関から提供されている。３Ｄ都市モデルデータを提供するサービスとしては、例えば、国土交通省の「Ｐｒｏｊｅｃｔ ＰＬＡＴＥＡＵ」や株式会社ゼンリンの「３Ｄ地図データ」などが知られている。今後は、より多くの都市や自然についても様々な事業者や機関から３Ｄモデルデータが提供されることが期待される。本実施形態では、一例として、「三次元実空間モデルのデータ」は事業者・機関が提供するサービスを利用して入手することができる。画像生成装置１０の通信部１８により事業者・機関のサービス提供サーバにインターネット等を介して接続し、当該サーバから三次元実空間モデルデータの少なくとも必要部分をダウンロードすることで、三次元実空間モデルのデータを取得することができる。もしくはあらかじめ三次元実空間モデルデータを取得済みの状態にしておけば一時的もしくは恒久的にインターネットに接続せずにそのデータを活用できる。取得された三次元実空間モデルデータは記憶部１２に格納される。
【0047】
処理部１４は、上記の処理に加えて、あるいは上記の処理に代えて、取得装置４０が備えるセンサ（例えば、ＬｉＤＡＲセンサ）によって、透過型ディスプレイ装置３０のユーザ２から見て奥側の実空間の情報を取得し、その実空間に存在する物体について、取得装置４０から物体までの距離と、その物体の大きさ及び形状等に関する情報を取得してもよい。物体が複数存在する場合には、各々の物体について距離及び大きさ及び形状等に関する情報が取得される。取得装置４０が撮像カメラまたはデプスセンサを備えている場合には、透過型ディスプレイ装置３０のユーザ２から見て奥側の実空間の画像を撮像カメラで撮像またはデプス画像として取得してもよい。処理部１４は、取得した実空間の画像を公知の任意の画像解析技術及び／又は機械学習による人工知能技術を用いて解析することにより、画像に含まれる物体（例えば、実空間に存在するビル等の建物、橋梁・信号機・電信柱等の建造物、遠くにある山等）の位置や形状等に関する情報を取得する、もしくは、推定することが可能である。
【0048】
処理部１４は次に、ユーザ２の視点位置２Ａを取得する（ステップＳ１０２）。処理部１４は、測定装置２０を用いてユーザ２の視点位置２Ａを図４等を参照して説明した手法により算出する。
【0049】
なお、処理部１４による上記ステップＳ１０１の処理と上記ステップＳ１０２の処理とは、その順序を変えて実行してもよく、あるいは並行して実行してもよい。また、時系列上の過去に取得、もしくは、推定したデータをもとに以降のステップの処理をする場合は両処理を行わずともすでに必要なデータが取得できていることから、この部分をスキップしてもよい。
【0050】
処理部１４は次に、透過型ディスプレイ装置３０を通してユーザ２が見る透過型ディスプレイ装置３０の周囲の実空間に重畳表示する仮想オブジェクトを透過型ディスプレイ装置３０に表示する表示画像を生成する処理を行う（ステップＳ１０３）。
【0051】
処理部１４は、ワールド座標系における乗物の位置および方向を取得装置４０からの実空間環境情報を基に継続的に特定するとともに、視点位置２Ａを継続的に特定する。処理部１４は、乗物の位置および方向と視点位置２Ａとに追従するように、仮想オブジェクトを表示する表示画像を透過型ディスプレイ装置３０の画面にユーザ２の視点位置２Ａを基に前述のような計算処理をすることにより、ユーザ２の視点位置２Ａから透過型ディスプレイ装置３０の画面を通して見たときにあたかも実世界に仮想オブジェクトが同居して存在しているかのように見える表示画像を幾何学的に厳密な正確性をもって生成する。表示画像は、透過型ディスプレイ装置３０に表示されると、視点位置２Ａから透過型ディスプレイ装置３０を介して見える仮想空間上の仮想オブジェクトを見たときの見え方となる画像である。そして、乗物の移動と、乗物の中のユーザ２の頭部の動きに伴って動く視点位置２Ａとに追従して、透過型ディスプレイ装置３０に表示する表示画像が変化する。これにより、ユーザ２にあたかも実空間内に仮想物体が存在しているような感覚を与えることができる。視点位置２Ａへの追従は、描画内容がその時点の視点位置２Ａから見た見え方の画像を連続的に生成することで実現される。
【0052】
このような３次元情報の２次元情報への変換を行う計算処理により、仮想オブジェクトの表示画像が透過型ディスプレイ装置３０の画面に対してユーザの視点位置２Ａを考慮して幾何学的に厳密な正確性を持って投影されるので、ユーザ２が透過型ディスプレイ装置３０の画面に対し斜め方向から覗き込むように見た場合であっても、仮想オブジェクトをその視点位置２Ａから見たときに、現実にその位置に存在しているかのような確からしい自然な画像として透過型ディスプレイ装置３０に提示する表示画像が生成される。ここで行われる処理は射影変換のみに限定されない。透視投影変換の方法でもよいし、それらに類する計算手法や、経験則に従った特定の行列や数値の四則演算処理を用いてもよい。
【0053】
なお、仮想オブジェクトは、ある視点位置２Ａから見たときに透過型ディスプレイ装置３０の周囲の実空間に存在する実空間オブジェクトと一部もしくは全部が重なって見える位置に配置されるように透過型ディスプレイ装置３０に表示されてもよく、その場合は実空間におけるオブジェクトに対応する三次元実空間モデルデータ、もしくは実空間情報取得装置４０によりリアルタイムに取得された物体までの距離と形状をもとにして構築されたオブジェクトの三次元データをもとにして仮想オブジェクトの一部または全部を遮蔽する処理を行ってから仮想オブジェクトを表示に反映させることで、両者の重なり合いを正確に表現することができる。
【0054】
仮想オブジェクトの一部または全部を遮蔽する処理は、ある視点位置２Ａから仮想オブジェクトを見たときに、仮想オブジェクトよりも前側に実空間オブジェクトの一部又は全部が存在するときに、仮想オブジェクトのうち実空間オブジェクトによって遮蔽される領域を透明化（もしくは削除、削った状態、見えなくした状態を含む）する処理を含む。より明確に言えば、上記視点位置２Ａから仮想オブジェクトを構成する部位までの距離が上記視点位置２Ａから実空間オブジェクトを構成する部位までの距離よりも遠い場合に、実空間オブジェクトを構成する部位よって遮蔽される遮蔽領域に応じた部位を遮蔽した仮想オブジェクトの表示画像を生成する。
【0055】
処理部１４は、このように生成した表示画像の信号を画像生成装置１０の表示出力部１６を介して透過型ディスプレイ装置３０に送信し、透過型ディスプレイ装置３０に表示画像を表示させる（ステップＳ１０４）。
【0056】
このように、本実施形態のシステム１によれば、透過型ディスプレイ装置３０を通して見える実空間に重畳表示される三次元ＣＧで表示される仮想オブジェクトの表示画像がユーザ２の視点位置２Ａの変化に追従して連続的に生成され、複合現実的な動画像が透過型ディスプレイ装置３０を介してユーザ２に提供される。実空間の風景に対して三次元ＣＧの仮想オブジェクトが重畳されて表現されることで、ユーザ２にはあたかも透過型ディスプレイ装置３０を通して見える現実世界の実空間に仮想オブジェクトが一緒に存在しているように錯覚させることができる。
【0057】
特に、本実施形態によれば、ユーザから見て透過型ディスプレイ装置３０の奥側の実空間内の物体について、その位置情報のみならず、大きさ及び形状等に関する情報も取得されるので、実空間内の物体に重畳表示する仮想オブジェクトを仮想的に同じ空間上に配置した時の前後関係や相対位置関係をシミュレーションでき、ユーザ視点位置を起点としたときに仮想オブジェクトが部分的に見えたり隠れたりするような遮蔽処理による表現を含めて反映した形で映像を生成することが可能である。その結果、実空間内の物体に対して仮想オブジェクトをより高い品質で重畳表示することができるので、ユーザ２にとって仮想オブジェクトが実空間に存在するかのように錯覚させるべく、より確からしく自然な画像をユーザ２に提供することができる。
【0058】
なお、上記では、本実施形態に係るシステム１の一つの適用例として、透過型ディスプレイ装置３０を乗物の窓として用い、その窓を通して見える外の風景に仮想オブジェクトを重畳表示するユースケースを例示的に説明したが、システム１の適用対象はこの例に限られず、他の任意の用途に応用することが可能である。
【0059】
システム１の他の用途の一例として、透過型ディスプレイ装置３０を建物の窓として用い、その窓を通して見える外の風景に仮想オブジェクトを重畳表示するユースケースや、透過型ディスプレイ装置３０を屋内のテーブルの上などに設置して、透過型ディスプレイ装置３０を通して見える室内の実空間オブジェクト（室内の棚など）に仮想オブジェクトを重畳表示するユースケースなどが考えられる。これらのユースケースでは、透過型ディスプレイ装置３０を含むシステム１が固定設置され、ワールド座標空間においてシステム１が移動しない。そのため、システム１のローカル座標系がワールド座標系において固定された状態となる。したがって、これらのユースケースにおいては、上述した本実施形態の取得装置４０のうち、ローカル座標系におけるシステム１の位置を特定するためのＧＰＳセンサやＶＰＳ関連機能を省略してもよい。
【0060】
また、これらのユースケースでは、透過型ディスプレイ装置３０を通して見える風景（窓の外の建物等）や室内の風景（棚等）の実空間オブジェクトの形状と透過型ディスプレイ装置３０との相対位置が動的に変化しないので、実空間（現実世界）の環境情報を事前に取得する場合は、取得装置４０を省略しても良い。このとき周囲の実空間の三次元情報の事前取得には取得装置４０に類する装置を用いたりフォトグラメトリーなどの手法を用いてもよい。あるいは、透過型ディスプレイ装置３０を通して見える風景や実空間オブジェクトの位置・形状等をコンテンツ作成者等が画像生成装置１０上で設定して、実空間の環境情報として記憶部１２に記憶させてもよい。このとき、３Ｄ都市モデルデータなどの三次元実空間モデルデータを、ワールド座標系上に固定配置された透過型ディスプレイ装置３０の位置との相対位置をもとに正確に仮想空間上に事前配置して、実空間の環境情報として記憶部１２に記憶させてもよい。こうした事前の処理により、これらのユースケースでは、図６のフローチャートにおけるＳ１０１を省略してもよい。
【0061】
（変形例）
次に、第１の実施形態に係るシステム１の変形例について説明する。
次に、第１の実施形態に係るシステム１の変形例について説明する。
【0062】
上述した第１の実施形態では１人のユーザ２に対する視点位置２Ａを検出して、その視点位置２Ａに応じて仮想オブジェクトの表示画像を生成する例を示した。これに対し、本実施形態の一変形例によれば、複数のユーザ２に対して実空間に仮想オブジェクトを重畳表示する手段が提供される。
【0063】
図７は、第１の実施形態に係るシステムの一変形例における透過型ディスプレイ装置３０と、その透過型ディスプレイ装置３０上の表示画像の一例を示す図である。
【0064】
本変形例における透過型ディスプレイ装置３０は、横に並んだ複数のユーザ２（図示の例では４人のユーザ２）が同時に一緒に見ることができるように、比較的大型で横長の形状を有している。もしくは、複数の透過型ディスプレイを並べて１台の非確定大型の透過型ディスプレイ３０とほぼ同等に機能するように構成されている。本変形例における透過型ディスプレイ装置３０を通してその奥側の実空間を見ることができる。本変形例における透過型ディスプレイ装置３０によれば、例えば、バスや電車の長椅子に対向する窓の部分に設置することにより、その長椅子に着座した複数のユーザ２が同時に一緒に見ることができる。
【0065】
本変形例では、各ユーザ２が上記の長椅子のような所定の位置から所定の視線方向（例えば、各ユーザ２の正面方向）を見ることが前提とされる。本変形例では、測定装置２０は、複数のユーザ２の各々について特定した複数の視点位置２Ａに基づいて、代表視点位置２Ｂを決定する。代表視点位置２Ｂは一例として複数の視点位置２Ａの重心である。あるいは、代表視点位置２Ｂは座席の位置および形状に基づいて予め設定してもよい。このように本変形例においてはユーザが透過型ディスプレイ装置３０の前方に存在する以前、もしくは前方に存在した直後に代表視点位置２Ｂを決定して以降は、継続的な視点位置の取得は行わなくともよい。したがって、本変形例におけるシステム１のその他の構成及び動作は、上述した第１の実施形態のシステム１と同様であるが、ユースケースによっては図６のフローチャートにおけるＳ１０２をスキップしても良い。
【0066】
本変形例のシステム１においては、代表視点位置２Ｂから透過型ディスプレイ装置３０を見たときに、透過型ディスプレイ装置３０を通してその周囲に見える実空間の物体と仮想オブジェクトが共存しているかのように錯覚させるようにその表示画像が生成され、透過型ディスプレイ装置３０に表示される。
【0067】
本変形例のシステム１によれば、透過型ディスプレイ装置３０を通して見える実空間に重畳表示される三次元ＣＧで表示される仮想オブジェクトの表示画像が代表視点位置２Ｂおよび透過型ディスプレイ装置３０の配置、形状、大きさなどの情報を用いて射影変換（透視投影変換、もしくはそれに類する計算手法を含む）によって生成され、現実世界の実空間内に三次元ＣＧで表示される仮想オブジェクトが存在するかのような複合現実的な動画像が透過型ディスプレイ装置３０を介して各ユーザ２に提供される。透過型ディスプレイ装置３０上に表示される画像を見た各々のユーザ２には、あたかも透過型ディスプレイ装置３０を通して見える現実世界の実空間に仮想オブジェクトが存在しているかのような錯覚を生じさせることができる。
【0068】
ただし、本変形例で用いられる視点位置は代表視点位置２Ｂであることと、各ユーザ２の視点位置２Ａはそれぞれ固定位置であることから、上述した実施形態の例のような幾何学的に厳密な正確性をもった重畳表現までは実現できない。また実空間三次元モデルを用いて遮蔽処理を施し重畳させる場合には、実空間上のオブジェクトと仮想オブジェクトの重なり合いの輪郭の部分にずれが生ずるなどユーザから見たときの見え方において正確性に欠けてしまう。図７に示す例では、透過型ディスプレイ装置３０の後方に広がる実空間における遠景の山並みの手前側で、仮想オブジェクトである複数のチーターがそれぞれ図示矢印方向に走っていくように透過型ディスプレイ装置３０上に描画された様子が示されている。このような表現例であれば、例えば山並みとチーターは各ユーザ２の視点位置２Ａを基準として前後関係として重なり合う部分がなく、独立的に存在するので、仮想オブジェクトであるチーターのＣＧに対して遮蔽処理を施す必要がなくなるため、多少は正確性に欠けていたとしても、あたかも透過型ディスプレイ装置３０を通して見える現実世界の実空間に仮想オブジェクトが同時に存在しているかのような錯覚を生じさせるという目的はある程度達成できる。特に、透過型ディスプレイ装置３０を乗物の車窓として用いることを想定したユースケースにおいては、上記実施形態において説明したような現実世界の情報を加えて表現を工夫することにより、ユーザに錯覚を与えるための効果を高めることができる。例えば三次元ＣＧで表示される仮想オブジェクトのチーターを仮想空間上で走らせ、乗物の進行に応じてその仮想空間上のチーターがそのまま後方に少しずつ平行移動していくような見え方となる例においては、たとえ厳密に正確な重畳表現ができない構成であったとしても、乗物の進行速度とチーターの走行速度との相対速度を再現することで乗物がチーターを追い抜いて走り去るような表現を加えることで、現実世界においてチーターが本当に存在しているような錯覚を各ユーザ２に感じさせることができる。
【0069】
本変形例においては、代表視点位置２Ｂに対して表示する仮想オブジェクトの生成のための計算処理を行うため、視点位置２Ａが異なる全てのユーザ２に対して幾何学的厳密さを持った表現を提供することまでは叶わないものの、透明ディスプレイ上にただ単に映像を表示する場合と比較すれば、透過型ディスプレイ装置３０の奥側の実空間内に配置される仮想オブジェクトが、代表視点位置２Ｂと透過型ディスプレイ装置３０の位置、大きさ、向きなどの情報とに基づいて透過型ディスプレイ装置３０上に表現されるので、各ユーザ２にとって仮想オブジェクトが実空間に存在するかのように錯覚させるべく、より自然に感じられる表示画像を各ユーザ２に提供することができる。
【0070】
［第２の実施形態］
次に、本開示の第２の実施形態について説明する。
次に、本開示の第２の実施形態について説明する。
【0071】
上述した第１の実施形態では、画像生成装置１０は、仮想オブジェクトを表す表示画像を生成するための三次元ＣＧデータを予め記憶部１２に格納しておき、ユーザ２にとって仮想オブジェクトがそこに存在するかのように錯覚させるべく確からしく自然な画像に見えるような幾何学的に厳密さを持った画像を生成する計算処理により、三次元ＣＧデータから表示画像を生成する例を説明した。第２の実施形態は、第１の実施形態のシステム１の構成及び動作に加えて、仮想オブジェクトの表示画像を左右の眼の視差を与える２つの画像からなる三次元画像（立体視画像）として提示する手段を提供する。
【0072】
図８は、第２の実施形態に係るシステムにおけるディスプレイ装置等を示す図である。本実施形態のシステム１は、仮想オブジェクトの表示画像を画面に表示する透過型ディスプレイ装置３０と、ユーザ２が着用する三次元眼鏡装置Ｇとを有する。本実施形態におけるシステム１のその他の構成及び動作は、上述した第１の実施形態のシステム１と同様である。
【0073】
本実施形態における画像生成装置１０は、ユーザ２の視点位置２Ａに応じて、仮想オブジェクトの表示画像として、視差を有する左右の眼用の２つの表示画像を生成し、透過型ディスプレイ装置３０の画面に表示する。三次元眼鏡装置Ｇは、２つの表示画像をユーザ２の左右の眼にそれぞれ見せる。ユーザ２の視点位置２Ａに応じた映像を左右の眼に視差を持たせることで、ユーザ２に仮想オブジェクトの表示画像の立体感を与え、より高い臨場感や没入感を与えることができる。別の言葉に置き換えるならば、第１の実施形態においてはユーザから見える実際の風景を構成するオブジェクトは、特に奥行き方向において位置が様々であり左右の眼に入ってくる情報が左眼と右眼の位置の違いにより厳密には異なっているのに対し、仮想オブジェクトについては計算を行った結果においても最終的には目の前の透過型ディスプレイ３０に一意の画像として表示されるため、左右の眼の視差が考慮されなかった。これにより、第１の実施形態においては仮想オブジェクトの存在を認識するうえで奥行き方向において多少の違和感を感じてしまう。しかしながら本実施形態においては左右の眼に、視差を考慮した異なった映像を透過型ディスプレイ３０を介して見せるため、第１の実施形態において生ずる構造的な問題による違和感を払拭することが可能となり、より高い品質で重畳表現を実現することができる。
【0074】
図８に示す例では、透過型ディスプレイ装置３０の奥側に広がる実空間における遠景の山並みの上方の空に、仮想オブジェクトＶｏｂｊである太陽が透過型ディスプレイ装置３０上に立体的に提示された様子が示されている。仮想オブジェクトＶｏｂｊを表示する表示画像は、視差を有する左右の眼用の２つの表示画像として透過型ディスプレイ装置３０に表示され、三次元眼鏡装置Ｇを装着したユーザ２は透過型ディスプレイ装置３０超しに見える実空間に立体的な太陽の仮想オブジェクトＶｏｂｊが存在しているような視覚体験を得ることができる。
【0075】
本実施形態においても、上述した第１の実施形態と同様に、透過型ディスプレイ装置３０を通して見える実空間に重畳表示される三次元ＣＧで表示される仮想オブジェクトの表示画像がユーザ２の視点位置２Ａの変化に追従して連続的に生成され、現実世界の実空間内に三次元ＣＧで表示される仮想オブジェクトが存在するかのような複合現実的な動画像が透過型ディスプレイ装置３０を介してユーザ２に提供される。そのため、透過型ディスプレイ装置３０上に表示される画像を見たユーザ２には、実空間の風景に対して三次元ＣＧの仮想オブジェクトが、左右の眼の視差による奥行き情報も含めて重畳表現されることで、ユーザ２にはあたかも透過型ディスプレイ装置３０を通して見える現実世界の実空間に仮想オブジェクトが存在しているようにより強く錯覚させることができる。
【0076】
また、本実施形態においても、ユーザから見て透過型ディスプレイ装置３０の周囲の実空間内の物体について、その位置情報のみならず、大きさ及び形状等に関する情報も取得されるので、実空間内の物体に重畳表示する仮想オブジェクトを仮想的に同じ空間上に配置した時の前後関係や相対位置関係をシミュレーションでき、ユーザ視点位置を起点としたときに仮想オブジェクトが部分的に見えたり隠れたりするような遮蔽処理による表現を含めて反映した形で映像を生成することが可能である。その結果、実空間内の物体に対して仮想オブジェクトをより高い品質で重畳表示することができるので、ユーザ２にとって仮想オブジェクトが実空間に存在するかのように錯覚させるべく、より確からしく自然な画像をユーザ２に提供することができる。
【0077】
特に、本実施形態によれば、ユーザ２の視点位置２Ａの変化に追従して連続的に生成され、現実世界の実空間内に存在するかのような仮想オブジェクトＶｏｂｊを表示する表示画像が、視差を有する左右の眼用の２つの表示画像として透過型ディスプレイ装置３０に表示されるので、三次元眼鏡装置Ｇを装着したユーザ２は透過型ディスプレイ装置３０超しに見える実空間に奥行き方向も含めてより違和感なく立体的に仮想オブジェクトＶｏｂｊが存在しているような視覚体験を得ることができる。
【0078】
なお、本実施形態による透過型ディスプレイ装置３０および三次元眼鏡Ｇの三次元映像の方式は特に限定されない。例えば、アナグリフ式であってもよいし、偏光式であってもよいし、液晶シャッター式であってもよい。三次元映像の方式として液晶シャッター式を採用する場合には、透過型ディスプレイ装置３０上に左右の表示画像を交互に切り替えて表示するタイミングに同期させて三次元眼鏡Ｇの左右の液晶シャッターの開閉を交互に切り替えるための同期信号が三次元眼鏡Ｇに送信される。この場合、システム１は一例として、そのような同期信号を送出する同期信号送出装置５０をさらに備え、同期信号送出装置５０は画像生成装置１０の処理部１４によって駆動制御される。同期信号送出装置５０は、例えば赤外線光で構成される同期信号を三次元眼鏡Ｇに向けて送出する。なお、一般に三次元眼鏡はヘッドマウントディスプレイより小型かつ軽量であるので、ヘッドマウントディスプレイのように不安感や不快感を与えることはなく、また、Ｈｏｌｏｌｅｎｓに代表されるような現行のゴーグル型のＭＲデバイスのように映像が見える視野角が狭く限定されることもない。
【0079】
（変形例）
次に、第２の実施形態に係るシステム１の変形例について説明する。
次に、第２の実施形態に係るシステム１の変形例について説明する。
【0080】
上述した第２の実施形態では１人のユーザ２に対する視点位置２Ａを検出し、その視点位置２Ａに応じて仮想オブジェクトの視差を有する左右の眼用の２つの表示画像からなる表示画像を生成して透過型ディスプレイ装置３０に表示させ、透過型ディスプレイ装置３０超しに見える実空間に重畳表示された立体的な仮想オブジェクトを三次元眼鏡装置Ｇを装着したユーザ２に提示する例を示した。これに対し、本実施形態の一変形例によれば、三次元眼鏡装置Ｇを装着した複数のユーザ２に対して実空間に重畳表示された立体的な仮想オブジェクトを提示する手段が提供される。
【0081】
図９は、第２の実施形態に係るシステムの一変形例における透過型ディスプレイ装置３０と、その透過型ディスプレイ装置３０上の表示画像の一例を示す図である。
【0082】
本変形例における透過型ディスプレイ装置３０は、横に並んだ複数のユーザ２（図示の例では４人のユーザ２）が同時に一緒に見ることができるように、比較的大型で横長の形状を有している。本変形例における透過型ディスプレイ装置３０も透過型のディスプレイであり、透過型ディスプレイ装置３０を通してその奥側の実空間を見ることができる。本変形例における透過型ディスプレイ装置３０は、例えば、バスや電車の長椅子に対向する窓の部分に設置することにより、その長椅子に一緒に着座した複数のユーザ２が同時に見ることができる。
【0083】
本変形例では、測定装置２０によって各ユーザ２の視点位置２Ａが検出され、仮想オブジェクトＶｏｂｊの表示画像を各ユーザ２の視点位置２Ａに応じて射影変換、透視投影変換、もしくはそれに類する計算処理が実行される。また、本変形例では一例として、三次元映像の方式として液晶シャッター式が採用され、透過型ディスプレイ装置３０上に左右の表示画像を交互に切り替えて表示するタイミングに同期させて三次元眼鏡Ｇの左右の液晶シャッターの開閉を交互に切り替えるための同期信号を送出する同期信号送出装置５０をさらに備えている。同期信号送出装置５０は画像生成装置１０の処理部１４によって駆動制御される。同期信号送出装置５０は、例えば赤外線光で構成される同期信号を三次元眼鏡Ｇに向けて送出する。
【0084】
本変形例におけるシステム１のその他の構成及び動作は、上述した第２の実施形態のシステム１と同様である。
【0085】
本変形例のシステム１においては、各ユーザ２の視点位置２Ａから透過型ディスプレイ装置３０を見たときに、透過型ディスプレイ装置３０を通してその周囲に見える実空間に立体的な仮想オブジェクトＶｏｂｊが重畳されるように、その表示画像が生成され、透過型ディスプレイ装置３０に表示される。図９に示す例では、透過型ディスプレイ装置３０の奥側に広がる実空間における遠景の山並みの上方の空に、仮想オブジェクトＶｏｂｊである太陽が透過型ディスプレイ装置３０上に立体的に提示された様子が示されている。
【0086】
なお、複数のユーザ２がそれぞれの視点位置から仮想オブジェクトＶｏｂｊを見たときに、各ユーザ２に対して適切な視差を有する左右の表示画像が透過型ディスプレイ装置３０に表示されるように、処理部１４はユーザ２毎に仮想オブジェクトＶｏｂｊの表示画像の表示制御を行う必要がある。一例として、本変形例では、画面表示レートが比較的高い（例えば、２４０Ｈｚ）透過型ディスプレイ装置３０を用い、各ユーザ２用の左右の表示画像（２画像）がそれぞれ３０Ｈｚの表示レートで表示されるように４人分の表示画像を時分割方式で順番に切り替えて表示するように、処理部１４によって制御される。３０Ｈｚの表示レートは地上波デジタルテレビの表示レートとほぼ同じであり、各ユーザ２は３０Ｈｚの表示レートで表示される仮想オブジェクトＶｏｂｊを違和感なく見ることができる。一方で、より高い表示レートの方が液晶シャッターの動作により発生するちらつきを感じにくくすることが可能なため、４８０Ｈｚディスプレイ装置を用いて各ユーザ２の各片眼毎に６０Ｈｚの表示レートで表示させてもよいし、それ以外の周波数でもよい。
【0087】
このように、本変形例においても、上述した本実施形態と同様に、透過型ディスプレイ装置３０を通して見える実空間に重畳表示される三次元ＣＧで表示される仮想オブジェクトの表示画像が各ユーザ２の視点位置２Ａの変化に追従して連続的に生成され、現実世界の実空間内に三次元ＣＧで表示される仮想オブジェクトが存在するかのような複合現実的な動画像が透過型ディスプレイ装置３０を介して各ユーザ２に提供される。そのため、透過型ディスプレイ装置３０上に表示される画像を見た各ユーザ２には、実空間の風景に対して三次元ＣＧの仮想オブジェクトが、左右の眼の視差による奥行き情報も含めて重畳表現されることで、各ユーザ２にはあたかも透過型ディスプレイ装置３０を通して見える現実世界の実空間に仮想オブジェクトが存在しているようにより強く錯覚させることができる。
【0088】
また、本変形例においても、各ユーザから見て透過型ディスプレイ装置３０の周囲の実空間内の物体について、その位置情報のみならず、大きさ及び形状等に関する情報も取得されるので、実空間内の物体に重畳表示する仮想オブジェクトを仮想的に同じ空間上に配置した時の前後関係や相対位置関係をシミュレーションでき、各ユーザ視点位置を起点としたときに仮想オブジェクトが部分的に見えたり隠れたりするような遮蔽処理による表現を含めて反映した形で映像を生成することが可能である。その結果、実空間内の物体に対して仮想オブジェクトをより高い品質で重畳表示することができるので、各ユーザ２にとって仮想オブジェクトが実空間に存在するかのように錯覚させるべく、より確からしく自然な画像を各ユーザ２に提供することができる。
【0089】
特に、本変形例によれば、各々のユーザ２の視点位置２Ａの変化に追従して連続的に生成され、現実世界の実空間内に存在するかのような仮想オブジェクトＶｏｂｊを表示する表示画像が、視差を有する左右の眼用の２つの表示画像として透過型ディスプレイ装置３０に表示されるので、三次元眼鏡装置Ｇを装着した各々のユーザ２に対して、透過型ディスプレイ装置３０超しに見える実空間に奥行き方向も含めてより違和感なく立体的に仮想オブジェクトＶｏｂｊが存在しているような視覚体験を個別に提供することができる。
【0090】
なお、一般に三次元眼鏡はヘッドマウントディスプレイより小型かつ軽量であるので、ヘッドマウントディスプレイのように不安感や不快感を与えることはなく、また、Ｈｏｌｏｌｅｎｓに代表されるような現行のゴーグル型のＭＲデバイスのように映像の視野角が狭く限定されることもない。
【0091】
［第３の実施形態］
次に、本開示の第３の実施形態について説明する。
次に、本開示の第３の実施形態について説明する。
【0092】
上述した第２の実施形態では、三次元眼鏡装置を装着したユーザに対して、仮想オブジェクトの表示画像を左右の眼の視差を与える２つの画像からなる三次元画像（立体視画像）として提示する手段を提供する例について説明した。これに対して本実施形態では、三次元眼鏡装置を装着しない裸眼のユーザに対して、仮想オブジェクトの表示画像を左右の眼の視差を与える２つの画像からなる三次元画像（立体視画像）として提示する手段を提供する。
【0093】
図１０は、第３の実施形態のシステムにおけるディスプレイ装置の構成を説明するための概略図である。
【0094】
図１０に示されているように、本実施形態の透過型ディスプレイ装置３０は、一例として複数の表示方向に異なる画像を同時に表示可能な、例えば透過型有機ＥＬディスプレイ（ＯＬＥＤ）の表面にレンチキュラーレンズを貼り付けたタイプの裸眼立体視を実現するディスプレイである。本実施形態の透過型ディスプレイ装置３０は、アレイ状に配置された複数の画素ユニット３０２を備えた透明基板３０１と、透明基板３０１上の各画素ユニット３０２の上に設けられた複数のレンズ素子３０３とを備えている。本実施形態における各々のレンズ素子３０３は、一例として、レンチキュラーレンズと呼ばれるかまぼこ型のシリンドリカルレンズである。レンズ素子３０３としては、レンチキュラーレンズの他に、光の方向を制御するような半球状半楕円体形状など任意の立体形状のレンズを用いてもよい。また、レンズを用いる代わりに視差バリア（パララックスバリア）を生じさせるフィルムや板を用いても良い。
【0095】
レンズ素子３０３は、一例として、個別に製造したものを透明基板３０１の各画素ユニット３０２が設けられている位置に透明の接着剤で個別に接着することで、各画素ユニット３０２の上に設けることができる。あるいは、３Ｄプリント技術を用いて、透明材料を透明基板３０１の各画素ユニット３０２が設けられている位置に吐出してレンズ素子３０２を形成することにより、レンズ素子３０２を各画素ユニット３０２の上に設けることができる。さらには、透明基板３０１の各画素ユニット３０２に対して位置決めされた複数のレンズ素子３０３が形成された透明フィルム部材を予め形成し、その透明フィルム部材を透明基板３０１上に所定の位置決めをした状態で貼り付けることによっても、レンズ素子３０３を各画素ユニット３０２の上に設けることができる。ほかにも、複数の透明基板を貼り合わせる構造の板の中間膜の部分に、アレイ状の画素ユニットと画素ユニットに電力や信号を供給する電極線を挿入すると同時に、レンズ素子を含むフィルムや板、視差バリアを生じさせるフィルムや板を挿入する方法で透明基板３０１を構成してもよい。また、アレイ状の画素ユニットのみを中間膜に挿入して透明基盤３０１を構成した後、外側にレンズ素子を含むフィルムや板、視差バリアを生じさせるフィルムや板を張り付ける方法としても良い。ここで透明基板としてはアクリル板を含む透明な樹脂板を用いても良いし、ガラスであっても良い。ある程度の透明性を持つものであれば材料は問わない。
【0096】
各々の画素ユニット３０２及びレンズ素子３０３は、互いに所定の間隔をおいて配置されている。画素ユニット３０２及びレンズ素子３０３が配置されていない領域では、透明基板３０１を通して透過型ディスプレイ装置３０の奥側の実空間を見ることができる。本実施形態の透過型ディスプレイ装置３０では画素ユニット３０２及びレンズ素子３０３は比較的「疎」に配置されており、一例として、透過型ディスプレイ装置３０の画面全体のうちの画素ユニット３０２及びレンズ素子３０２が占める割合は数十パーセントから数パーセント、将来の技術発展によって画素ユニットのサイズをより小さくすることができれば数パーセント以下とすることができる。一つ一つの画素ユニットのサイズを小さくしたり、画素ユニット一つ一つの光の強度を上げることができたりすれば、透明度を確保しながらも、映像も周囲の光に負けずユーザに視認させられるように表示させることが可能となり、本件のように透過型ディスプレイ装置３０を通して見える実空間に仮想オブジェクトを重畳表示する用途において、仮想オブジェクトを見るユーザに対して画像における十分な解像度と明瞭さを提供することができる。
【0097】
透明基板３０１には一例として各画素ユニット３０２に電気的に接続された透明度の高い導電性の素材で作られた電極線や、ごく微細な金属の電極線（不図示）が設けられており、各画素ユニット３０２は、こうした電極を介して供給される電力と駆動信号によって個別に発光駆動、または光の透過制御が行われる。ここで各画素ユニットは、有機ＥＬやマイクロＬＥＤのような自発光の素子であってもよいし、液晶の仕組みをもちいて光の透過制御を行う素子であっても良い。また、外部からのプロジェクション光に対して反射させることでユーザの視覚に色の違いを認識させるような素子や発光材料などでもよい。
【0098】
その他、本実施形態に係るシステム１の各部構成及び動作は第１の実施形態で説明したシステム１と概ね同様であるが、それと異なる構成及び動作については下記で説明する。
【0099】
【0100】
本実施形態における透過型ディスプレイ装置３０では、一例として各々の画素ユニット３０２は、４５個の画素がまとまった単位の集合として構成される。即ち、１つの画素ユニット３０２は、４５個の画素からなり、各画素にはＲＧＢ表示素子３０２’が配置される。ＲＧＢ表示素子３０２’は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色を表示する３つのサブピクセル表示素子から構成されている。あるいは、ＲＧＢ表示素子３０２’は４色分の表示素子であってもよい。４５画素からなる画素ユニット３０２は、一般的なディスプレイの１画素に対応する。
【0101】
これと共に、一例として各画素ユニット３０２は、その画素ユニット３０２内の４５画素分のＲＧＢ表示素子３０２’にて表示される４５本のＲＧＢ光の各光路の方向を、図１２に示される例えば０～４４の４５本の表示方向（以下、この方向を「表示方向５０１」と記載）に屈折させるための、レンチキュラーレンズと呼ばれるかまぼこ型のシリンドリカルレンズであるレンズ素子３０３を備える。
【0102】
そして、画像生成装置１０は、各ユーザ２１～２４の異なる視点位置２Ａ毎に、それらの視点位置２Ａ１～２Ａ４に対応して画像生成装置１０が生成した表示画像のデータを、例えば基準座標空間（図４）の所定の原点Ｏ（例えば透過型ディスプレイ装置３０の中心位置）から各ユーザ２１～２４の視点位置２Ａ１～２Ａ４に向かう方向５０２Ａ，５０２Ｂ，５０２Ｃ，５０２Ｄに対応する画素番号のＲＧＢ表示素子５００に入力させる。以下、この方向を、ユーザ視点位置方向５０２Ａ，５０２Ｂ，５０２Ｃ，５０２Ｄと記載する。又は、これらの方向を総称して、ユーザ視点位置方向５０２と記載する。
【0103】
ここで、画像生成装置１０の処理部１４は、測定装置２０で検出された各ユーザ２１～２４の視点位置２Ａ１～２Ａ４毎に、例えばその視点位置から左右に一定距離離れたユーザの右目及び左目から夫々、透過型ディスプレイ装置３０を介して仮想空間上の三次元の仮想オブジェクトを見たときに、各ユーザ２にとって仮想オブジェクトが実空間に存在するかのように錯覚させるべく幾何学的厳密さをもって確からしく自然な画像に見えるように、右目用表示画像及び左目用表示画像を生成してもよい。画像生成装置１０は、透過型ディスプレイ装置３０の画面に表示する右目用表示画像及び左目用表示画像を生成する際に、三次元ＣＧデータで表現される仮想オブジェクトを、各ユーザ２１～２４の視点位置２Ａ１～２Ａ４に基づいて透過型ディスプレイ装置３０の画面、すなわち二次元の面に投影させるような射影変換、透視投影変換、もしくはそれに類する計算処理を行ってもよい。
【0104】
この場合、処理部１４は、各ユーザ２１～２４の視点位置２Ａ１～２Ａ４毎に、各視点位置に対応して生成された上述の右目用表示画像及び左目用表示画像のデータを夫々、各視点位置に対応する各ユーザ視点位置方向５０２Ａ，５０２Ｂ，５０２Ｃ，５０２Ｄの両側に位置する、右目の表示方向に対応する画素番号のＲＧＢ表示素子３０２’と、左目の表示方向に対応する画素番号のＲＧＢ表示素子３０２’とに表示させる。
【0105】
以上の制御動作の結果、図１１のユーザ２１～２４毎に、各右目及び各左目と各レンズ素子３０３とを結ぶ視線方向５００として示されるように、また、図３の表示Ｄ１，Ｄ２，Ｄ３等として説明したように、仮想オブジェクトの表示状態がユーザ２毎に制御された画像を、透過型ディスプレイ装置３０に対して様々な位置にいる複数人のユーザ２１～２４に、同時に表示することが可能となる。この場合、各２１～２４においては、両眼の視差を有する画像が夫々の右目と左目に入射されるため、臨場感のある裸眼での立体視を体験することができる。
【0106】
本実施形態では、測定装置２０によって各ユーザ２の視点位置２Ａが検出され、仮想オブジェクトＶｏｂｊの表示画像を各ユーザ２の視点位置２Ａに応じて射影変換、透視投影変換、もしくはそれに類する計算処理が実行される。
【0107】
図１３は、第１の実施形態において説明した図６のステップＳ１０４の表示処理の詳細例を示すフローチャートである。以下、この処理について、上述した図１２の説明図に従って説明する。処理部１４は、図１２で説明した０番目から４４番目までの４５の表示方向５０１のうち、まず０番目の表示方向５０１と、図６のステップＳ１０２で算出された１つ以上の視点位置２Ａのうち最初の視点位置２Ａ（例えば図１２の２Ａ１）を通るユーザ視点位置方向５０２（例えば図１２の５０２Ａ）の間の、例えば図１２の０番目から３番目までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、最初の視点位置２Ａ（例えば図１２の２Ａ１）の左目の表示方向に対応して生成された左目用表示画像データをセットする（ステップＳ９０１）。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素ユニット３０２（図１１参照）の上記各画素番号のＲＧＢ表示素子３０２’に対して実行される。
【0108】
次に、処理部１４は、画像生成装置１０の記憶部１２における特には図示しない例えばＲＡＭやレジスタに記憶されている視点位置２Ａを示す変数値を＋１する（ステップＳ９０５）。
【0109】
次に、処理部１４は、上記視点位置２Ａを示す変数値が、予め定められた最後のユーザ視点位置を超えたか否かを判定する（ステップＳ９０６）。最後の視点位置２Ａを示す値は、システム１を利用するユーザ２の数に合わせて予め定めて、上記のＲＡＭやレジスタに記憶させることができる。ステップＳ９０６では、視点位置２Ａを示す変数値が予め定められて記憶された上記値を超えたか否かにより、視点位置２Ａを示す変数値が最後のユーザ視点位置を超えたか否かを判定する。
【0110】
まだ最後のユーザ視点位置まで処理されておらず、ステップＳ９０６の判定がＮＯならば、処理部１４は、ステップＳ９０２の処理に制御を移して、ステップＳ９０２からＳ９０４までの処理を実行する。
【0111】
【0112】
次に、処理部１４は、前回のユーザ視点位置２Ａ（例えば図１２の２Ａ１）を通るユーザ視点位置方向５０２（例えば図１２の５０２Ａ）と、今回算出した中点方向５０３（例えば図１２の５０３ＡＢ）の間の例えば図１２の４番から１０番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、前回のユーザ視点位置２Ａ（例えば図１２の２Ａ１）の右目の表示方向に対応して生成された右目用表示画像データをセットする（ステップＳ９０３）。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素ユニット３０２（図１１参照）の上記各画素番号のＲＧＢ表示素子３０２’に対して実行される。
【0113】
続いて、処理部１４は、ステップＳ９０２で今回算出した中点方向５０３（例えば図１２の５０３ＡＢ）と、今回のユーザ視点位置２Ａ（例えば図１２の２Ａ2）を通るユーザ視点位置方向５０２（例えば図１２の５０２Ｂ）との間の例えば図１２の１１番から１６番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、今回のユーザ視点位置２Ａ（例えば図１２の２Ａ2）の左目の表示方向に対応して生成された左目用表示画像データをセットする（ステップＳ９０４）。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素ユニット３０２（図１１参照）の上記各画素番号のＲＧＢ表示素子３０２’に対して実行される。
【0114】
その後、処理部１４は、前述したように、視点位置２Ａを示す変数値を＋１し（ステップＳ９０５）、その変数値が、予め定められた最後のユーザ視点位置２Ａを超えたか否かを判定する（ステップＳ９０６）。
【0115】
まだ最後の視点位置２Ａまで処理されておらず、ステップＳ９０６の判定がＮＯならば、処理部１４は、上述したステップＳ９０２からＳ９０４までの処理を再び実行する。
【0116】
前述と同様のステップＳ９０２により、例えば図１２において、前回の視点位置２Ａ2と今回のユーザ視点位置２Ａ3との中点を通る中点方向５０３ＢＣが算出される。
【0117】
次に、前述と同様のステップＳ９０３により、例えば図１２において、前回の視点位置２Ａ2を通るユーザ視点位置方向５０２Ｂと、今回算出した中点方向５０３ＢＣの間の例えば図１２の１７番から２１番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、前回の視点位置２Ａ2の右目の表示方向に対応して生成された右目用表示画像データがセットされる。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素ユニット３０２（図１１参照）の上記各画素番号のＲＧＢ表示素子３０２’に対して実行される。
【0118】
続いて、前述と同様のステップＳ９０４により、例えば図１２において、ステップＳ９０２で今回算出した中点方向５０３ＢＣと、今回の視点位置２Ａ3を通るユーザ視点位置方向５０２Ｃとの間の例えば図１２の２２番から２６番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、今回の視点位置２Ａ3の左目の表示方向に対応して生成された左目用表示画像データがセットされる。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素ユニット３０２（図１１参照）の上記各画素番号のＲＧＢ表示素子３０２’に対して実行される。
【0119】
その後、処理部１４は、前述したように、視点位置２Ａを示す変数値を＋１し（ステップＳ９０５）、その変数値が、予め定められた最後のユーザ視点位置２Ａを超えたか否かを判定する（ステップＳ９０６）。
【0120】
まだ最後の視点位置２Ａまで処理されておらず、ステップＳ９０６の判定がＮＯならば、処理部１４は、上述したステップＳ９０２からＳ９０４までの処理を再び実行する。
【0121】
前述と同様のステップＳ９０２により、例えば図１２において、前回の視点位置２Ａ3と今回の視点位置２Ａ4との中点を通る中点方向５０３ＣＤが算出される。
【0122】
次に、前述と同様のステップＳ９０３により、例えば図１２において、前回のユーザ視点位置２Ａ3を通るユーザ視点位置方向５０２Ｃと、今回算出した中点方向５０３ＣＤとの間の例えば図１２の２７番から３０番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、前回の視点位置２Ａ3の右目の表示方向に対応して生成された右目用表示画像データがセットされる。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素ユニット３０２（図１１参照）の上記各画素番号のＲＧＢ表示素子３０２’に対して実行される。
【0123】
続いて、前述と同様のステップＳ９０４により、例えば図１２において、ステップＳ９０２で今回算出した中点方向５０３ＣＤと、今回のユーザ視点位置２Ａ4を通るユーザ視点位置方向５０２Ｄの間の例えば図１２の３１番から３４番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、今回の視点位置２Ａ4の左目の表示方向に対応して生成された左目用表示画像データがセットされる。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素ユニット３０２（図１１参照）の上記各画素番号のＲＧＢ表示素子３０２’に対して実行される。
【0124】
その後、処理部１４は、前述したように、視点位置２Ａを示す変数値を＋１し（ステップＳ９０５）、その変数値が、予め定められた最後の視点位置２Ａを超えたか否かを判定する（ステップＳ９０６）。
【0125】
最後のユーザ視点位置２Ａまで処理された後に、ステップＳ９０６の判定がＹＥＳになると、処理部１４は、最後のステップＳ９０７の処理を実行する。ステップＳ９０７において、処理部１４は、今回の視点位置２０４（例えば図１２の２Ａ4）を通るユーザ視点位置方向５０２（例えば図１２の５０２Ｄ）と、４４番目の表示方向５０１の間の例えば図１２の３５番から４４番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子に、最後のユーザ視点位置２Ａ（例えば図１２の２Ａ4）の右目の表示方向に対応して生成された右目用表示画像データをセットする。
【0126】
【0127】
以上の図１３のフローチャートで例示した画像表示処理では、図１２において２つの視点位置２Ａのユーザ視点位置方向５０２と、それらの視点位置２Ａ間の中点を通る中点方向５０３とで区切られる区間の各表示方向５０１に、隣接する視点位置２Ａの右目又は左目の表示方向に対応して生成された右目用又は左目用表示画像データがコピーしてセットされた。これに対して、透過型ディスプレイ装置３０に近いユーザ２の視点位置２Ａと、透過型ディスプレイ装置３０から遠いユーザ２の視点位置２Ａとで、各表示方向５０１への表示画素のマッピングのアルゴリズムを変えることにより、表示画素の変化感度がユーザ２の視点位置Ａに応じて均一になるようにすることもできる。又は、単純にコピーするのではなく、隣接する２つの表示画像間で、各表示方向５０１に応じて補間処理を行って算出した表示画素がセットされてもよい。
【0128】
このように、本実施形態によれば、三次元眼鏡装置を装着しない裸眼の複数のユーザ２に対して、各ユーザ２１～２４の視点位置２Ａ１～２Ａ４毎に、例えばその視点位置から左右に一定距離離れたユーザの右目及び左目から夫々、透過型ディスプレイ装置３０を介して仮想空間上の三次元の立体的な仮想オブジェクトを見たときに、各ユーザ２にとって仮想オブジェクトが実空間に存在するかのように錯覚させるべく幾何学的厳密さをもって確からしく自然な画像に見えるように、仮想オブジェクトの表示画像を左右の眼の視差を与える２つの画像からなる三次元画像（立体視画像）として、透過型ディスプレイ装置３０を通して見える実空間に重畳して提示することができる。加えて、本実施形態によれば各ユーザ２の視点位置２Ａに応じた仮想オブジェクトの別々の表示画像を、各ユーザ２に対して同時に提示することができる。
【0129】
本実施形態における透過型ディスプレイ装置３０の適用例としては、例えば、自動車等のガラス部分に本実施形態の透過型ディスプレイ装置３０を装着し、その車内の前席及び後席にそれぞれ着座している複数のユーザ２の各々に対して仮想オブジェクトの立体的な表示画像を提示することが考えられる。本実施形態の透過型ディスプレイ装置３０によれば、透過型ディスプレイ装置３０に対する距離及び視線方向が異なる複数のユーザ２に対して個別に仮想オブジェクトの表示画像を表示できるので、移動する自動車のガラスとしての透過型ディスプレイ装置３０の周囲に見える実空間に対して、各ユーザ２の視点位置から見た景色に応じた仮想オブジェクトを重畳して提示することができる。
【0130】
（変形例）
図１４は、第３の実施形態のシステムにおけるディプレイ装置の一変形例を示す図である。
図１４は、第３の実施形態のシステムにおけるディプレイ装置の一変形例を示す図である。
【0131】
図１０等に示した第３の実施形態のディプレイ装置３０では、レンズ素子３０３が画素ユニット３０２毎に個別に設けられている。これに対し、本変形例に示すように、レンズ素子３０３は、マトリクス状に配置された複数の画素ユニット３０２のうち、各列の複数の画素ユニット３０２にまたがって配置される縦長の形状を有していてもよい。これにより、レンズ素子３０３を画素ユニット３０２毎に個別に設ける場合に比べて、レンズ素子３０３の製造工数を低減することが可能になる。
【0132】
上述した本発明の各実施形態及び各変形例は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。
【符号の説明】
【0133】
１…画像表示システム、２…ユーザ、２Ａ…視点位置、１０…画像生成装置、２０…測定装置、３０…ディスプレイ装置、４０…実空間環境情報取得装置、５０…同期信号送出装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】