ホーム > 特許ランキング > 株式会社バーチャルウインドウ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024133508
(43)【公開日】2024-10-02
(54)【発明の名称】ディスプレイ装置
(51)【国際特許分類】
H04N 13/302 20180101AFI20240925BHJP
H04N 13/368 20180101ALI20240925BHJP
H04N 13/366 20180101ALI20240925BHJP
G02B 30/25 20200101ALI20240925BHJP
G02B 30/24 20200101ALI20240925BHJP
G02B 30/27 20200101ALI20240925BHJP
G02B 30/30 20200101ALI20240925BHJP
G02B 3/00 20060101ALI20240925BHJP
G02B 30/23 20200101ALN20240925BHJP
【ＦＩ】
H04N13/302
H04N13/368
H04N13/366
G02B30/25
G02B30/24
G02B30/27
G02B30/30
G02B3/00 Z
G02B30/23
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2024098185
(22)【出願日】2024-06-18
(62)【分割の表示】P 2024523998の分割
【原出願日】2023-11-01
(31)【優先権主張番号】PCT/JP2022/040854
(32)【優先日】2022-11-01
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】520071560
【氏名又は名称】株式会社バーチャルウインドウ
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】佐藤 塁
(57)【要約】 （修正有）
【課題】ユーザ視点と透過型のディスプレイ装置との相対位置が固定されていない条件のもと、ユーザにとって透過型のディスプレイ装置を通して見える実空間のオブジェクトに仮想オブジェクトを重畳表示することを可能にする技術を提供する。
【解決手段】ディスプレイ装置は、光透過性を有する平面状の基板と、前記基板の面に平行な第１方向における位置の異なる複数の表示画素からなる画素集団と、前記画素集団の複数の前記表示画素のうち前記第１方向における位置が連続する所定個の表示画素から、前記基板の面に直交する第３方向に入射する光を、それぞれ別個の方向に屈折させるように構成されたレンズ素子と、を有する。
【選択図】図１５
【解決手段】ディスプレイ装置は、光透過性を有する平面状の基板と、前記基板の面に平行な第１方向における位置の異なる複数の表示画素からなる画素集団と、前記画素集団の複数の前記表示画素のうち前記第１方向における位置が連続する所定個の表示画素から、前記基板の面に直交する第３方向に入射する光を、それぞれ別個の方向に屈折させるように構成されたレンズ素子と、を有する。
【選択図】図１５
【特許請求の範囲】
【請求項1】
光透過性を有する平面状の基板と、
前記基板の面に平行な第１方向における位置の異なる複数の表示画素からなる画素集団と、
前記画素集団の複数の前記表示画素のうち前記第１方向における位置が連続する所定個の表示画素から、前記基板の面に直交する第３方向に入射する光を、それぞれ別個の方向に屈折させるように構成されたレンズ素子と、
を有するディスプレイ装置。
前記基板の面に平行な第１方向における位置の異なる複数の表示画素からなる画素集団と、
前記画素集団の複数の前記表示画素のうち前記第１方向における位置が連続する所定個の表示画素から、前記基板の面に直交する第３方向に入射する光を、それぞれ別個の方向に屈折させるように構成されたレンズ素子と、
を有するディスプレイ装置。
【請求項2】
前記レンズ素子は、前記第１方向において前記画素集団の前記第１方向の幅よりも短い幅を有し、前記基板の面に平行で前記第１方向に直交する第２方向において前記画素集団の前記第２方向の幅以上の幅を有し、前記第３方向から見て前記画素集団の前記第１方向における両端の所定個の表示画素と重ならずそれ以外の表示画素と重なる位置に配置されている、
請求項１に記載のディスプレイ装置。
請求項１に記載のディスプレイ装置。
【請求項3】
前記画素集団における複数の表示画素は、前記第１方向の直線上に並んでおり、
複数の前記画素集団が前記第２方向の直線上に互いに離間して配置されており、
前記レンズ素子は、複数の前記画素集団を前記第２方向に横切るように配置されている、
請求項２に記載のディスプレイ装置。
複数の前記画素集団が前記第２方向の直線上に互いに離間して配置されており、
前記レンズ素子は、複数の前記画素集団を前記第２方向に横切るように配置されている、
請求項２に記載のディスプレイ装置。
【請求項4】
前記画素集団のそれぞれを複数の前記レンズ素子が横切るように構成されている、
請求項３に記載のディスプレイ装置。
請求項３に記載のディスプレイ装置。
【請求項5】
全ての前記画素集団を全ての前記レンズ素子が横切るように構成されている、
請求項３に記載のディスプレイ装置。
請求項３に記載のディスプレイ装置。
【請求項6】
前記レンズ素子が前記第２方向に互いに離れて複数個設けられている、
請求項３に記載のディスプレイ装置。
請求項３に記載のディスプレイ装置。
【請求項7】
前記レンズ素子が前記第１方向に互いに離れて複数個設けられている、
請求項３に記載のディスプレイ装置。
請求項３に記載のディスプレイ装置。
【請求項8】
前記レンズ素子が前記第１方向に互いに隣接して複数個設けられている、
請求項３に記載のディスプレイ装置。
請求項３に記載のディスプレイ装置。
【請求項9】
前記レンズ素子は、前記第１方向にレンズとして働き前記第２方向にレンズとして働かないシリンドリカルレンズである、
請求項３に記載のディスプレイ装置。
請求項３に記載のディスプレイ装置。
【請求項10】
前記画素集団における複数の表示画素は、前記第１方向と前記基板の面に平行で前記第１方向に直交する第２方向とにマトリクス状に配置されており、
複数の前記画素集団が、前記第１方向および前記第２方向を含む平面内で前記第２方向から所角度だけ傾けた直線上に互いに離間して配置されており、
前記レンズ素子は、前記所定個の表示画素から前記第３方向に入射する光を、前記直線と直交する平面内で、それぞれ別個の方向に屈折させる、
請求項２に記載のディスプレイ装置。
複数の前記画素集団が、前記第１方向および前記第２方向を含む平面内で前記第２方向から所角度だけ傾けた直線上に互いに離間して配置されており、
前記レンズ素子は、前記所定個の表示画素から前記第３方向に入射する光を、前記直線と直交する平面内で、それぞれ別個の方向に屈折させる、
請求項２に記載のディスプレイ装置。
【請求項11】
前記レンズ素子は、前記直線上に長手方向を有して延びて複数の前記画素集団を通るように配置されている、
請求項１０に記載のディスプレイ装置。
請求項１０に記載のディスプレイ装置。
【請求項12】
前記レンズ素子が前記直線上に互いに離れて複数個設けられている、
請求項１０に記載のディスプレイ装置。
請求項１０に記載のディスプレイ装置。
【請求項13】
前記画素集団は、前記第１方向に互いに離間して配置された複数の直線上に配置されており、
前記レンズ素子は、複数の前記直線のそれぞれに設けられている、
請求項１１に記載のディスプレイ装置。
前記レンズ素子は、複数の前記直線のそれぞれに設けられている、
請求項１１に記載のディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、透過型のディスプレイ装置を介して見える実空間の物体に仮想オブジェクトを重畳して表示する技術に関する。
【背景技術】
【0002】
実空間のオブジェクトと仮想オブジェクトとを重畳させて見せる技術の１つとして複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）と呼ばれる技術が知られており、そのデバイスとして米国マイクロソフト社が開発したヘッドマウントディスプレイ（ＨＭＤ）であるＨｏｌｏｌｅｎｓ（登録商標）などが存在する（非特許文献１参照）。Ｈｏｌｏｌｅｎｓによれば、ユーザが頭にかぶったＨｏｌｏｌｅｎｓ（ＨＭＤ）の透明の接眼レンズ越しに実空間を見つつ、同時に接眼レンズに表示された仮想ＣＧオブジェクトを実空間に重ねてみることができる。Ｈｏｌｏｌｅｎｓは測距センサも搭載し、ＨＭＤの外界の実空間オブジェクトの位置や形状を取得しながら、仮想ＣＧオブジェクトを投影することで実空間オブジェクトと仮想ＣＧオブジェクトの重畳も正確に実現している。
【先行技術文献】
【特許文献】
【0003】
【非特許文献1】“Microsoft HoloLens 2”、マイクロソフト コーポレーション、[online]、[2022年10月19日検索]、インターネット<https://www.microsoft.com/ja-jp/hololens>
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述したようなＨｏｌｏｌｅｎｓによる実空間オブジェクトと仮想ＣＧオブジェクトとの正確な重畳表示は、表示装置としてのＨＭＤがユーザの頭部に固定されていること、すなわちユーザの眼と映像表示デバイス（接眼レンズ）との位置関係が常に固定されているからこそ実現可能である。表示装置をユーザの頭部に固定せずに同じような重畳表示を実現するには、ユーザの眼と映像表示デバイスとの位置関係の変化も正確に取得しながら、さらに映像表示デバイスと実空間物体との位置関係の変化も同時に取得して、両方の変化にあわせて描画計算をする必要がある。これを実現するには、さらに新たな方法論とそれを実現する技術とが必要となる。
【0005】
表示装置をユーザの頭部に固定せずに実空間オブジェクト上に仮想ＣＧオブジェクトを重畳表示するための技術がこれまでに一般化していない主な理由は、端的に言えば一般に利用されうる水準に重畳表示の品質を担保することが技術的に難しいためである。Ｈｏｌｏｌｅｎｓの場合は少なくとも視点位置（眼球位置）と表示デバイスとの相対位置関係が固定状態にあるので、実空間オブジェクト上に仮想オブジェクトを重畳させるにあたって、表示装置から実空間オブジェクトまでの位置関係、距離、形に関する情報があればよい。すなわち、大きな変化を伴う相対位置に関する変動要素は１つである。
【0006】
一方、表示装置をユーザの頭部に固定せずに同じような重畳表示を行う場合には、表示装置と実空間オブジェクトとの間の位置関係、距離、形に関する情報の取得に加えて、さらに、ユーザの視点位置と表示装置との距離や相対位置関係も大きく変動するような条件で、表示装置上の表示に反映する必要がある。すなわち、大きな変化を伴う相対位置に関する変動要素が２つとなり複雑性が増すとともに、誤差も変動要素ごとに蓄積することから重畳品質の担保が難しく、具体的な方法論が必要となる。
【課題を解決するための手段】
【0007】
本開示のひとつの態様によるディスプレイ装置は、光透過性を有する平面状の基板と、前記基板の面に平行な第１方向における位置の異なる複数の表示画素からなる画素集団と、前記画素集団の複数の前記表示画素のうち前記第１方向における位置が連続する所定個の表示画素から、前記基板の面に直交する第３方向に入射する光を、それぞれ別個の方向に屈折させるように構成されたレンズ素子と、
を有する。
を有する。
【発明の効果】
【0008】
本開示のひとつの態様によれば、ユーザと透過型のディスプレイ装置との相対位置が固定されていない条件のもと、ユーザにとって透過型のディスプレイ装置を通して見える実空間のオブジェクトに仮想オブジェクトを高い品質で正確に重畳表示することを可能にする技術を提供することが可能になる。
【図面の簡単な説明】
【0009】
【図1】本開示の第１の実施形態に係る画像表示システムの概略構成図である。
【図2】本実施形態の画像表示システムが乗物に搭載された例を示す概略構成図である。
【図3】本実施形態の画像表示システムがユーザ視点位置に応じた画像を表示する様子を説明するための図である。
【図4】視点位置の算出について説明するための概念図である。
【図5】第１の実施形態の画像生成装置の構成を示すブロック図である。
【図6】第１の実施形態の画像生成装置による全体処理を示すフローチャートである。
【図7】第１の実施形態に係るシステムの一変形例におけるディスプレイ装置と、そのディスプレイ装置上の表示画像の一例を示す図である。
【図8】第２の実施形態に係るシステムにおけるディスプレイ装置等を示す図である。
【図9】第２の実施形態に係るシステムの一変形例におけるディスプレイ装置と、そのディスプレイ装置上の表示画像の一例を示す図である。
【図10】第３の実施形態のシステムにおけるディスプレイ装置の構成を説明するための概略図である。
【図11】第３の実施形態のディスプレイ装置のより詳細な構成と、ディスプレイ装置による表示動作制御について説明する図である。
【図12】第３の実施形態のディスプレイ装置のより詳細な構成と、ディスプレイ装置による表示動作制御について説明する図である。
【図14】第３の実施形態に係るシステムの一変形例におけるディスプレイ装置を示す図である。
【図15】第４の実施形態のシステムにおけるディスプレイ装置の構成を説明するための概略図である。
【図16】第４の実施形態のディスプレイ装置のより詳細な構成と、ディスプレイ装置による表示動作制御について説明するための図である。
【図17】第４の実施形態のディスプレイ装置のより詳細な構成と、ディスプレイ装置による表示動作制御について説明するための図である。
【図18】キャリブレーション処理のフローチャートである。
【図19】第４の実施形態のシステムにおけるディスプレイ装置の変形例１の構成を説明するための概略図である。
【図20】第４の実施形態のシステムにおけるディスプレイ装置の変形例２の構成を説明するための概略図である。
【図21】第４の実施形態のシステムにおけるディスプレイ装置の変形例３の構成を説明するための概略図である。
【図22】第４の実施形態のシステムにおけるディスプレイ装置の変形例４の構成を説明するための図である。
【図23】第５の実施形態のシステムにおけるディスプレイ装置の構成を説明するための概略図である。
【図24】第５の実施形態のシステムにおけるディスプレイ装置の変形例を説明するための概略図である。
【図25】第５の実施形態のシステムにおけるディスプレイ装置の変形例を説明するための概略図である。
【図26】第５の実施形態のディスプレイ装置の電極線の構成を説明するための図である。
【図27】第５の実施形態のディスプレイ装置のより詳細な構成と、ディスプレイ装置による表示動作制御について説明するための図である。
【図28】第５の実施形態のディスプレイ装置のより詳細な構成と、ディスプレイ装置による表示動作制御について説明するための図である。
【図29】第５の実施形態のディスプレイ装置のより詳細な構成と、ディスプレイ装置による表示動作制御について説明するための図である。
【図30】第５の実施形態における表示処理の詳細例を示すフローチャートである。
【発明を実施するための形態】
【0010】
［第１の実施形態］
本開示の第１の実施形態について図面を参照して説明する。
本開示の第１の実施形態について図面を参照して説明する。
【0011】
図１は、本開示の第１の実施形態に係る画像表示システムの概略構成図である。図１に示すように、本実施形態の画像表示システム（以下、単に「システム」と称することもある。）１は、主としてユーザに提示する仮想オブジェクト画像を生成する画像生成装置１０と、ユーザ２の視点位置を測定する測定装置２０と、画像生成装置１０が生成した画像を表示する透過型ディスプレイ装置３０と、ユーザが透過型ディスプレイ装置３０を通して見える実空間（現実世界）の環境情報（その現実世界に存在する物体の位置、形状、大きさ、物体までの距離等に関する情報等）を取得する実空間情報取得装置４０（以下、単に「取得装置４０」と称することもある。）とを有している。一例として、画像生成装置１０はプロセッサでソフトウェアプログラムを実行するコンピュータであり、測定装置２０の算出部（不図示）を兼ねている。
【0012】
本実施形態における透過型ディスプレイ装置３０は、いわゆる「透過型」のディスプレイ装置であり、例えば、透過型有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｓｅ）ディスプレイ（透過型ＯＬＥＤ）や、透過型液晶ディスプレイ（透過型ＬＣＤ）や、外部のプロジェクター等から映像を投影される透過型スクリーン等によって構成することができる。このような透過型ディスプレイで構成された本実施形態の透過型ディスプレイ装置３０は透明あるいは半透明であり、透過型ディスプレイ装置３０を通してその反対側の実空間の環境を見ることができるとともに、透過型ディスプレイ装置３０に画像を表示することにより、透過型ディスプレイ装置３０を通して見える実空間に、表示画像によって表現される仮想オブジェクトがあたかも存在しているような視覚体験を提供することを可能にする。本実施形態の透過型ディスプレイ装置３０は、例えば、建物の窓や、自動車・バス・船舶・航空機等の乗物の窓、屋内のテーブル上などの任意の位置に固定設置されるものとして用いることができ、この場合は、それらの透過型ディスプレイ装置３０を通して見える屋外あるいは屋内の実空間の風景・景色に仮想オブジェクトを重畳表示することができる。
【0013】
測定装置２０（センサ２２）は、一例として、ユーザ２の正面側に位置する透過型ディスプレイ装置３０の下側あるいは上側に設けられ、ユーザ２の前方からユーザの視点位置を測定する。
【0014】
測定装置２０は、ユーザ２が透過型ディスプレイ装置３０を見ることができる範囲に存在している間、所定の基準座標系におけるユーザ２の視点位置２Ａを測位する。視点位置２Ａは、目の位置に相当する位置である。処理に用いる具体的な視点位置２Ａは特に限定されないが、例えば、ユーザ２の両目の中間点、頭部の中心点、両目の中心から所定寸法だけ頭部の内側の位置などを視点位置２Ａとして用いることができる。
【0015】
本実施形態では、主として透過型ディスプレイ装置３０が自動車などの乗物の窓に設置されるユースケースについて、実空間に固定して定義されるワールド座標系と、乗物を基準として定義されるローカル座標系とを用いて説明する。ワールド座標系およびローカル座標系はいずれもｘｙｚの３軸を有する直交座標系であるとする。ワールド座標系における乗物の位置および方向が特定されれば、ワールド座標系とローカル座標系との関係が定まり、相互に変換可能となる。ワールド座標系を実空間に対してどのように設定するかは任意である。また、ローカル座標系を乗物に対してどのように設定するかも任意である。
【0016】
図２は、本実施形態の画像表示システムが乗物に搭載された例を示す概略構成図である。図２に示す例では、画像生成装置１０、測定装置２０、透過型ディスプレイ装置３０及び実空間情報取得装置４０を含む画像表示システム１が乗物Ｍに搭載され、乗物Ｍの運転手や乗客等である乗員（ユーザ）２に、現実の風景と仮想的な映像とを融合した視覚体験を提供する。図２に示すように、本実施形態の乗物Ｍは、様々な現実の物体（以下「現実オブジェクト」と称することもある）ＲＯが存在する実空間（現実世界）に置かれ、実空間内を走行する例えば一人乗りの小型の乗用車両である。ただし、乗物Ｍは、乗用車両に限定されず、乗用車、バス、鉄道車両、航空機、船舶、アトラクション設備の乗物などであってもよい。
【0017】
図２には、乗物の位置および方向を基準としたローカル座標系の一例として、ユーザ２の右方向に向かうＸ軸と上方向に向かうＹ軸と後ろ方向に向かうＺ軸とを有する直交座標系が示されている。測定装置２０中のセンサ２２（図２では不図示）及び透過型ディスプレイ装置３０は、それらの位置および姿勢がこのローカル座標系に固定されている。姿勢は、Ｘ軸周り方向のＰｉｔｃｈとＹ軸周り方向のＹａｗとＺ軸周り方向のＲｏｌｌとで表される。
【0018】
画像生成装置１０は、乗物の位置および方向と、乗物内のユーザ２の視点位置２Ａと、透過型ディスプレイ装置３０の固定された位置および姿勢とに基づいて、仮想空間上の仮想オブジェクトＶＯを透過型ディスプレイ装置３０に表示する。このとき、仮想オブジェクトＶＯはワールド座標系で定義された三次元の仮想空間上に配置されており、実空間のワールド座標系と仮想空間のワールド座標系とは位置関係や拡大縮小倍率が一致するように重ね合わされて定義されている。ユーザは視点位置２Ａから透過型ディスプレイ装置３０を介して実空間を覗き見るが、同時に同じワールド座標系に固定された仮想空間も覗き見ることになり、このときに実空間上に仮想空間上の仮想オブジェクトＶＯが同時に存在しているとユーザ２に錯覚させるため、すなわち、まるで仮想オブジェクトＶＯが実空間に存在するかのような見え方となるように、計算処理を行って表示画面に表示させる画像を生成する。具体的には、視点位置２Ａの座標をもとに三次元で定義された仮想空間上の三次元ＣＧデータを、二次元面である表示画面に射影変換、透視投影変換、もしくはそれに類する計算処理を行って二次元画像を生成し、それを透過型ディスプレイ装置３０に表示する。これにより、ユーザ２に対し仮想空間の三次元情報が幾何学的な厳密さをもって二次元情報に変換されて提示される。
【0019】
画像生成装置１０は、透過型ディスプレイ装置３０を通して見える実空間に重畳表示する仮想オブジェクトを表す三次元ＣＧのデータ、例えば、三次元ＣＧで描かれたチーターのデータなどを仮想空間上における配置情報などと同時に予め内部の記憶部１２（図５参照）に格納しておき、ユーザ２にとって仮想オブジェクトが実空間に存在するかのように錯覚させるべく幾何学的厳密さをもって確からしく自然な画像に見えるように、三次元ＣＧを視点位置２Ａに基づいて適切に透過型ディスプレイ装置３０に表示させるべく表示画像を計算処理にしたがって生成する。
【0020】
なお、本明細書及び特許請求の範囲の記載において、「画像」の用語は、１又は複数の静止画像のみならず、時系列的に連続する複数の画像によって構成される動画像（映像）を含むものとして用いられる。
【0021】
本実施形態によれば、一例として、乗物の窓から見える実空間の景色に仮想物体が重畳された画像がユーザ２の視点位置２Ａに応じて生成されて透過型ディスプレイ装置３０に表示されるので、実世界内の実空間上にあたかも仮想物体が実世界のオブジェクトと一緒に配置され同時に存在しているかのような感覚をユーザ２に与えることができる。また、本実施形態では、ユーザの頭部と共に動くヘッドマウントディスプレイ（ＨＭＤ）ではなく、ユーザの頭部を含むユーザの体の部位以外の位置に固定された画面に画像を表示する方式を採用しているので、画像生成装置１０における表示出力部１６は、複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）の技術における表示装置として使用でき、ヘッドマウントディスプレイと同様にユーザにリアリティーのある複合現実を体験させることができ、かつヘッドマウントディスプレイを用いることによる不都合や不快感をユーザ２に与えることがない。
【0022】
以下、本実施形態の画像表示システム１を更に詳しく説明する。
【0023】
測定装置２０は一例として視点位置２Ａを継続的に測定し、画像生成装置１０は表示画像を視点位置２Ａに追従するように生成して透過型ディスプレイ装置３０の画面に表示する。これにより、ユーザ２の頭部が動いたときにそれに伴って動く視点位置２Ａに追従して、透過型ディスプレイ装置３０に表示される表示画像が変化するので、ユーザ２にあたかも実空間内に仮想物体が存在しているかのような感覚を与えることができる。視点位置２Ａへの追従に伴う画像生成としては、その時点の視点位置２Ａから表示装置を介して仮想空間上の仮想オブジェクトを見たときの見え方となるような画像を連続的に生成することで実現される。このときの画像の生成方法は前述の通りである。またここでは追従するという記載を行ったが、それに限らず、少し先の視点位置２Ａを予測して画像生成してもよい。視点位置２Ａが動く際に、現在の２Ａの位置をもとに画像生成をおこない、その結果を表示させるのでは計算にかかる時間の分だけ画像表示に遅れが生じてしまい、このことによりユーザに違和感を感じさせてしまう。これを解決するために視点位置２Ａの時系列データを取りながら少し先の位置を予測して前もって画像生成を行う方法もありうる。またここで視点位置を予測する方法を述べたが、予測するのは視点位置に限らず、ワールド座標系に対してのローカル座標系の相対位置についても予測計算を用いても良い。例えば乗物として車を想定したときに進行方向と時速情報、地図情報をもとにすれば少し先の乗物の位置は精度よく予測できる。この予測結果を先に述べた画像生成において反映させても良い。
【0024】
図３は、本実施形態による画像表示システムがユーザ視点位置に応じた画像を表示する様子を説明するための図である。図３の説明において、ユーザの視点位置を基準として透過型ディスプレイ装置３０の手前側のユーザ空間を実空間、奥側の空間を仮想空間と定義する。透過型ディスプレイ装置３０の奥側に定義された仮想空間は、透過型ディスプレイ装置３０による疑似的な窓（以下「疑似窓」ともいう）を通してユーザ２の頭部のある位置Ｐ１から見える画像として透過型ディスプレイ装置３０に表示される。仮想空間上の仮想オブジェクトは後述する三次元ＣＧデータにより定義される。図３の例では、仮想オブジェクトとして６本の木が横に並んで配置されている。なお、ここでは、図３上では説明のために透過型ディスプレイ装置３０の奥側に仮想空間を定義しているが、透過型ディスプレイ装置３０の手前側に仮想空間を定義してもよいし、透過型ディスプレイ装置３０の手前側および奥側を含む空間を仮想空間として定義してもよい。これにより、仮想空間の仮想オブジェクトが透過型ディスプレイ装置３０による仮想的な窓の向こうにあるように見える画像だけでなく、仮想空間の仮想オブジェクトが透過型ディスプレイ装置３０から手前に突き出して見える画像をも透過型ディスプレイ装置３０に表示することができる。
【0025】
ユーザ２が透過型ディスプレイ装置３０の近傍正面の位置Ｐ１にいるとき、透過型ディスプレイ装置３０による疑似窓から見える仮想空間の視野ＦｏＶ１は広く、６本の木が全て視野ＦｏＶ１に入っているように透過型ディスプレイ装置３０に表示される（表示Ｄ１）。ユーザ２が位置Ｐ１からｚ方向に移動し、透過型ディスプレイ装置３０から離れた位置Ｐ２に来ると、透過型ディスプレイ装置３０による疑似窓から見える仮想空間の視野ＦｏＶ２は狭くなり、視野ＦｏＶ２には３本の木の全体とその両側の木の一部が入るのみのように表示される（表示Ｄ２）。また、ユーザ２が位置Ｐ１から－ｘ（マイナスｘ）方向に移動し、位置Ｐ３にくると、透過型ディスプレイ装置３０による疑似窓から見える仮想空間の視野ＦｏＶ３はｘ方向に変化する。視野Ｆｏｖ３には右端の３本の木が入るのみである。加えて視野ＦｏＶ３では透過型ディスプレイ装置３０に対して正面ではなく斜め方向から画面を見ているが、疑似窓から見える木の横方向の太さは正面から見たときと同じ太さになっている必要がある（表示Ｄ３’）。このために透過型ディスプレイ装置３０に木を表示させる際にはユーザからは表示Ｄ３’のように見えるように適切に伸縮処理を行った画像を表示させる（表示Ｄ３）。このように、ユーザ２にとって仮想空間上の仮想オブジェクトがそこに存在するかのように錯覚させるべく確からしく自然な画像に見えるような処理として、本実施形態では、透過型ディスプレイ装置３０に表示する画像を生成するとき、三次元ＣＧデータに定義された仮想空間における仮想オブジェクトを透過型ディスプレイ装置３０、すなわち二次元の面に投影させるような処理（例として射影変換、透視投影変換、もしくはそれに類する計算）を行う。他の方法として、基準座標空間において三次元ＣＧデータの各点をその各点とユーザ視点位置とを結ぶ直線が透過型ディスプレイ装置３０と交わる点に投影してもよい。また、透過型ディスプレイ装置３０に表示する画像を生成する他の処理方法として、経験則に従った特定の行列や数値の四則演算処理を、画像や画像がもつ三次元パラメータに対して行うことにしてもよい。
【0026】
本実施形態の測定装置２０は、ユーザ２を撮像する撮像部と、撮像部にて撮像されたユーザ２の撮像情報に基づいて視点位置２Ａを定める算出部とを有するように構成されている。撮像部は図１に示した測定装置２０に設置されたセンサ２２により実現される。算出部は図１に示した画像生成装置１０の処理部１４（図５参照）により実現される。あるいは、算出部は測定装置２０内の処理部（不図示）により実現されてもよい。
【0027】
一例として、本実施形態では、センサ２２（撮像部）は、各画素におけるセンサ２２から物体（ここではユーザ２の人体）までの深度を測定するデプスセンサである。画像生成装置１０の処理部１４により実現される算出部は、センサ２２で測定された各画素の深度に基づいて、人体の形状を推定し、その人体における頭部の位置に基づいて視点位置２Ａを算出する。これによれば、各画素の深度から人体形状を推定し、その人体形状における頭部の位置を用いるので、ユーザ２の体の位置や向きが様々に変化しても視点位置２Ａを高い精度で特定できる。
【0028】
図４は、視点位置の算出について説明するための概念図である。基準座標系におけるセンサ２２の位置（Ｘｓ，Yｓ，Zｓ）と姿勢（Ｐｉｔｃｈｓ，Ｙａｗｓ，Ｒｏｌｌｓ）が予め設定されている。センサ２２で取得される各画素の深度と、センサ２２の位置および姿勢から視点位置２Ａの座標（Ｘｈ，Yｈ，Zｈ）を算出することができる。なお、図４に示すように、透過型ディスプレイ装置３０の基準座標系における位置（Ｘｍ，Ｙｍ，Ｚｍ）、姿勢（Ｐｉｔｃｈｍ，Ｙａｗｍ，Ｒｏｌｌｍ）、および形状（Ｈｅｉｇｈｔｍ，Ｗｉｄｔｈｍ）も予め設定されている。本実施形態では一例として各透過型ディスプレイ装置３０は長方形または台形であり、その形状は高さ（Ｈｅｉｇｈｔｍ）と幅（Ｗｉｄｔｈｍ）とで表現されている。また透過型ディスプレイ装置３０は任意の多角形であったり、曲面や球面であっても良い。
【0029】
センサ２２が撮像する画像は、深度画像であってもよいし、深度画像及び可視画像であってもよい。例えば、撮像部は、深度画像を撮像するセンサと可視画像を撮像するカメラとを含み、算出部は、深度画像と可視画像との両方を用いて視点位置２Ａを算出することにしてもよい。また撮像位置の異なった２つの可視画像であってもよい。この場合は２つの可視画像の視差を用いて視点位置２Ａを算出することにしても良い。また単一の可視画像からＡＩを用いた画像処理によって視点位置２Ａを推定することにしても良い。
【0030】
なお、図１及び図４の例では、測定装置２０（センサ２２）は、ユーザ２の前方の透過型ディスプレイ装置３０の上側または下側に設置される例を示したが、これに限られない。測定装置２０（センサ２２）は、ユーザ２の後方に透過型ディスプレイ装置３０に重ならない位置に配置することも可能である。あるいは、透過型ディスプレイ装置３０の後ろ側（奥側、背面側）に設置し透過型ディスプレイ装置３０の表示部分を通過してユーザ視点位置を測定する方法も可能である。その他、これら複数のセンサを用いてそのどれかによって撮像された映像を用いて測定しても良いし、複数のセンサからの情報を統合して得られる視点位置を用いても良い。
【0031】
本実施形態における実空間情報取得装置４０は、上述したように、ユーザにとって透過型ディスプレイ装置３０を通して見える実空間（現実世界）の環境情報（その現実世界に存在する物体の位置、形状、大きさ、物体までの距離等に関する情報等）を取得する装置である。取得装置４０は、一例として、ＬｉＤＡＲセンサを備え、ユーザから見て透過型ディスプレイ装置３０の周囲の実空間に存在する物体に関し、その物体までの距離とその物体の形状等を測定することが可能である。ここで、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ「光検出及び測距」、あるいは、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ「レーザ画像検出及び測距」）は、主にレーザ光を用いたリモートセンシング技術の一つであり、パルス状に発光するレーザ照射に対する散乱光を測定し、遠距離にある対象までの距離やその対象の形状等に関する情報を取得するものである。取得装置４０は、このようなＬｉＤＡＲセンサにより、透過型ディスプレイ装置３０の周囲の実空間をスキャンして、その空間に存在する物体までの距離及びその形状等に関する情報を取得する。
【0032】
取得装置４０は、上述したＬｉＤＡＲセンサに加えて、あるいはその代わりに、画像（可視画像及び深度画像）を生成する撮像素子を備えた撮像カメラを備えていてもよい。透過型ディスプレイ装置３０を通して見える実空間を撮像カメラで撮像して取得された画像を任意の画像処理技術を用いて解析することで、画像に含まれる物体の位置、大きさ、形状等に関する情報を取得することができる。画像に含まれる物体としては、例えば、実空間に存在するビル等の建物、橋梁等の建造物、遠くにある山や、移動している乗物や生物等が含まれる。
【0033】
取得装置４０は、さらに、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ：全地球測位システム）センサを備えてもよい。取得装置４０がＧＰＳセンサを備えることにより、取得装置４０のＬｉＤＡＲセンサや撮像カメラによって実空間情報を取得した位置に関する位置情報を併せて取得することができる。この位置情報は、例えば、取得装置４０を含むシステム１が搭載された乗物等のワールド座標空間における位置情報でもある。
【0034】
また取得装置４０は、ＶＰＳ（Ｖｉｓｕａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を用いて、乗物の位置および方向を特定するように構成されていてもよい。この場合、取得装置４０は、乗物の外部の実空間の画像を撮像し、画像生成装置１０の処理部１４（図５参照）が、その画像に基づいて乗物の位置および方向を特定する。そのために、事前に、撮像された位置および方向が特定されている多くの画像を取得し、それらの画像に現れている建物などの物体の輪郭などの視覚的特徴を抽出し、視覚的特徴を検索可能なインデックスとして位置および方向の情報とともに画像生成装置１０の記憶部１２（図５参照）のデータベースに蓄積しておく。そして、乗物が走行する間に、取得装置４０によって撮像された画像が入力されると、画像生成装置１０の処理部１４は、その取得された画像から視覚的特徴を抽出し、抽出した視覚的特徴とデータベースに蓄積されている視覚的特徴とを比較することにより、画像が撮像された位置および方向を特定する。この特定された画像が撮像された位置および方向を乗物の位置および方向に変換する。これにより、乗物の精度の高い位置および方向をリアルタイムで取得することができる。なお、この取得プロセスにおいては、乗物の実際の動きに合わせて取得するうえでの時間的な遅れが生ずる可能性がある。これを解決するために、現在と過去の乗物の位置、向きを用いて、速度や加速度のベクトルを計算し、これらに加えて遅延なく取得できる乗物から直接取得した車体情報（アクセル情報、ブレーキ情報や、速度やステアリング角の情報など）を加味して将来の乗物の位置と向きを予測することで、時間的な遅れの問題を解決することもできる。
【0035】
なお、上記では視覚的特徴を検索可能なインデックスとして位置および方向の情報とともに画像生成装置１０の記憶部１２（図５参照）のデータベースに蓄積しておく例を挙げて説明したが、視覚的特徴は外部装置（不図示）のデータベースに蓄積されていてもよい。この場合は、取得装置４０が取得した画像データが取得装置４０から外部装置に送信される。そして、外部装置において、画像から視覚的特徴を抽出し、抽出した視覚的特徴とデータベースに蓄積されている視覚的特徴とを比較することにより、画像が撮像された位置および方向を特定する。当該画像について特定された位置および方向に関する情報は、外部装置から取得装置４０に送信される。
【0036】
次に、本実施形態における画像生成装置１０について説明する。図５は、本実施形態の画像生成装置の構成を示すブロック図である。図５に示すように、画像生成装置１０は、記憶部１２と、処理部１４と、表示出力部１６と、通信部１８とを有している。図５では、画像生成装置１０は単一の要素として描かれているが、画像生成装置１０は必ずしも物理的に１つの要素である必要はなく、物理的に分離した複数の要素で構成されていてもよい。
【0037】
記憶部１２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＤＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の一時的又は非一時的な記憶媒体を含む。記憶部１２は、処理部１４が実行するコンピュータプログラムや後述する各種データを記憶する。記憶部１２の非一時的な記憶媒体に記憶されるコンピュータプログラムは、図６等を参照して後述する、処理部１４による画像生成方法の各処理を実施する命令を含む。
【0038】
記憶部１２は、所定の基準座標空間における透過型ディスプレイ装置３０の位置、姿勢および形状を示す画面配置データと、基準座標空間における測定装置２０及び取得装置４０の位置および姿勢を示す測定装置・取得装置配置データと、透過型ディスプレイ装置３０を通して見える実空間に重畳表示する仮想オブジェクトを表す三次元ＣＧのデータとを保持する。基準座標空間は、本実施形態における演算の基準となる所定の原点Ｏを有する座標系（基準座標系）で表される空間であり、ｘｙｚの３軸を有する直交座標系の空間である。基準座標空間およびその原点Ｏをどのように設定するかは任意であり、例えば、基準座標空間を透過型ディスプレイ装置３０に対して固定してもよいし、測定装置２０及び／又は取得装置４０に対して固定しても良いし、透過型ディスプレイ装置３０、測定装置２０及び取得装置４０に対して固定してもよいし、それらのいずれにも固定しなくてもよい。また乗物を想定した場合、基準座標空間を乗物内の座標（ローカル座標系）として、外の世界の座標（ワールド座標系）と分けて処理をしても良い。
【0039】
「三次元ＣＧ」は、三次元空間内の仮想的な立体物であり奥行き（立体）情報を含む点で二次元の画像と異なるため、３ＤＣＧとも称される。三次元ＣＧとしては、一例として仮想空間の三次元座標上に置かれた点を頂点として作成された複数の面により構成される（モデリング）仮想的立体であり、その各面に材質などを再現する情報を与え、任意の光の強さ、光源の位置などから物体を照らすことで表現される場合がある。三次元ＣＧのデータには、その三次元ＣＧで表示する仮想物体の仮想空間内における配置位置に関する情報が含まれる。記憶部１２には、様々な複数の仮想物体に関する三次元ＣＧデータを記憶させることができる。
【0040】
処理部１４は、例えば、１又は２以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成される。処理部１４は１又は２以上のＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備えてもよい。処理部１４は、記憶部１２に記憶されたコンピュータプログラムを実行することにより、図６等を参照して後述する画像生成方法の各処理を実施する。
【0041】
表示出力部１６は、透過型ディスプレイ装置３０が接続され、処理部１４によって生成された画像を透過型ディスプレイ装置３０に表示する画像信号を出力する出力部である。表示出力部１６は、例えば、ＶＧＡ、ＤＶＩ、ＤｉｓｐｌａｙＰｏｒｔ（商標）、ＨＤＭＩ（登録商標）、ＵＳＢ（商標）Ｔｙｐｅ－Ｃ等の出力端子で構成し、透過型ディスプレイ装置３０と有線接続することができる。あるいは、表示出力部１６は任意の無線通信技術を用いて透過型ディスプレイ装置３０と無線接続される構成としてもよい。
【0042】
通信部１８は、画像生成装置１０の外部装置との間でデータを送受信する機能を有する。特に本実施形態では、通信部１８は、測定装置２０のセンサ２２によって撮像された画像のデータや、取得装置４０によって取得された情報のデータを送受信する場合がある。通信部１８は、取得装置４０によって取得された画像データを外部装置に送信したり、外部装置において特定された当該画像が撮像された位置および方向に関する情報を外部装置から受信したりしてもよい。また、実空間に存在するオブジェクトをモデル化した三次元実空間モデルのデータをネットワークを通じて必要な部分だけ取得する場合がある。なお、外部装置と通信部１８との通信は、有線通信または無線通信のいずれであってもよい。
【0043】
次に、一例として、図６等を参照して、本実施形態の画像生成装置１０による画像生成方法について説明する。図６は、本実施形態の画像生成装置による全体処理を示すフローチャートの一例である。図６の各処理は処理部１４により実行される。画像生成装置１０により生成する画像が時系列的に連続する複数のフレーム画像からなる動画像の場合、その動画像のフレームごとに計算しても良い。またフローチャートの各ステップの計算処理において、時系列上の過去のデータを用いて予測計算し、画像を生成しても良い。
【0044】
図６を参照すると、画像生成装置１０の処理部１４は最初に、ユーザ２が透過型ディスプレイ装置３０を通して見える実空間に関する情報を取得する（ステップＳ１０１）。
【0045】
処理部１４は、取得装置４０の動作を制御し、透過型ディスプレイ装置３０のユーザ２から見て奥側の実空間に関する情報を取得装置４０に取得させる。その具体的な処理の一例として、処理部１４は、まず、取得装置４０からＧＰＳ位置情報を取得して、取得装置４０を含むシステム１を搭載している乗物のおおよその位置を特定し、さらに取得装置４０からＶＰＳ情報（乗物のより正確な位置および方向）を特定する。次に、処理部１４は、実空間に存在する物体を三次元モデル化した三次元実空間モデルのデータを取得する。実空間に存在する物体は、例えば、現実世界のビルや家屋、橋梁、鉄道、道路等の建造物である。そのような物体を三次元モデル化した三次元実空間モデルのデータは、物体を仮想空間内に再現するための情報として、現実世界における各オブジェクトの位置情報と、各物体の形状及び大きさに関する情報とを含む。現在では、いくつかの都市や自然の形状について現実の空間を三次元モデル化した３Ｄ都市モデルデータが複数の事業者・機関から提供されている。３Ｄ都市モデルデータを提供するサービスとしては、例えば、国土交通省の「Ｐｒｏｊｅｃｔ ＰＬＡＴＥＡＵ」や株式会社ゼンリンの「３Ｄ地図データ」などが知られている。今後は、より多くの都市や自然についても様々な事業者や機関から３Ｄモデルデータが提供されることが期待される。本実施形態では、一例として、「三次元実空間モデルのデータ」は事業者・機関が提供するサービスを利用して入手することができる。画像生成装置１０の通信部１８により事業者・機関のサービス提供サーバにインターネット等を介して接続し、当該サーバから三次元実空間モデルデータの少なくとも必要部分をダウンロードすることで、三次元実空間モデルのデータを取得することができる。もしくはあらかじめ三次元実空間モデルデータを取得済みの状態にしておけば一時的もしくは恒久的にインターネットに接続せずにそのデータを活用できる。取得された三次元実空間モデルデータは記憶部１２に格納される。
【0046】
処理部１４は、上記の処理に加えて、あるいは上記の処理に代えて、取得装置４０が備えるセンサ（例えば、ＬｉＤＡＲセンサ）によって、透過型ディスプレイ装置３０のユーザ２から見て奥側の実空間の情報を取得し、その実空間に存在する物体について、取得装置４０から物体までの距離と、その物体の大きさ及び形状等に関する情報を取得してもよい。物体が複数存在する場合には、各々の物体について距離及び大きさ及び形状等に関する情報が取得される。取得装置４０が撮像カメラまたはデプスセンサを備えている場合には、透過型ディスプレイ装置３０のユーザ２から見て奥側の実空間の画像を撮像カメラで撮像またはデプス画像として取得してもよい。処理部１４は、取得した実空間の画像を公知の任意の画像解析技術及び／又は機械学習による人工知能技術を用いて解析することにより、画像に含まれる物体（例えば、実空間に存在するビル等の建物、橋梁・信号機・電信柱等の建造物、遠くにある山等）の位置や形状等に関する情報を取得する、もしくは、推定することが可能である。
【0047】
処理部１４は次に、ユーザ２の視点位置２Ａを取得する（ステップＳ１０２）。処理部１４は、測定装置２０を用いてユーザ２の視点位置２Ａを図４等を参照して説明した手法により算出する。
【0048】
なお、処理部１４による上記ステップＳ１０１の処理と上記ステップＳ１０２の処理とは、その順序を変えて実行してもよく、あるいは並行して実行してもよい。また、時系列上の過去に取得、もしくは、推定したデータをもとに以降のステップの処理をする場合は両処理を行わずともすでに必要なデータが取得できていることから、この部分をスキップしてもよい。
【0049】
処理部１４は次に、透過型ディスプレイ装置３０を通してユーザ２が見る透過型ディスプレイ装置３０の周囲の実空間に重畳表示する仮想オブジェクトを透過型ディスプレイ装置３０に表示する表示画像を生成する処理を行う（ステップＳ１０３）。
【0050】
処理部１４は、ワールド座標系における乗物の位置および方向を取得装置４０からの実空間環境情報を基に継続的に特定するとともに、視点位置２Ａを継続的に特定する。処理部１４は、乗物の位置および方向と視点位置２Ａとに追従するように、仮想オブジェクトを表示する表示画像を透過型ディスプレイ装置３０の画面にユーザ２の視点位置２Ａを基に前述のような計算処理をすることにより、ユーザ２の視点位置２Ａから透過型ディスプレイ装置３０の画面を通して見たときにあたかも実世界に仮想オブジェクトが同居して存在しているかのように見える表示画像を幾何学的に厳密な正確性をもって生成する。表示画像は、透過型ディスプレイ装置３０に表示されると、視点位置２Ａから透過型ディスプレイ装置３０を介して見える仮想空間上の仮想オブジェクトを見たときの見え方となる画像である。そして、乗物の移動と、乗物の中のユーザ２の頭部の動きに伴って動く視点位置２Ａとに追従して、透過型ディスプレイ装置３０に表示する表示画像が変化する。これにより、ユーザ２にあたかも実空間内に仮想物体が存在しているような感覚を与えることができる。視点位置２Ａへの追従は、描画内容がその時点の視点位置２Ａから見た見え方の画像を連続的に生成することで実現される。
【0051】
このような３次元情報の２次元情報への変換を行う計算処理により、仮想オブジェクトの表示画像が透過型ディスプレイ装置３０の画面に対してユーザの視点位置２Ａを考慮して幾何学的に厳密な正確性を持って投影されるので、ユーザ２が透過型ディスプレイ装置３０の画面に対し斜め方向から覗き込むように見た場合であっても、仮想オブジェクトをその視点位置２Ａから見たときに、現実にその位置に存在しているかのような確からしい自然な画像として透過型ディスプレイ装置３０に提示する表示画像が生成される。ここで行われる処理は射影変換のみに限定されない。透視投影変換の方法でもよいし、それらに類する計算手法や、経験則に従った特定の行列や数値の四則演算処理を用いてもよい。
【0052】
なお、仮想オブジェクトは、ある視点位置２Ａから見たときに透過型ディスプレイ装置３０の周囲の実空間に存在する実空間オブジェクトと一部もしくは全部が重なって見える位置に配置されるように透過型ディスプレイ装置３０に表示されてもよく、その場合は実空間におけるオブジェクトに対応する三次元実空間モデルデータ、もしくは実空間情報取得装置４０によりリアルタイムに取得された物体までの距離と形状をもとにして構築されたオブジェクトの三次元データをもとにして仮想オブジェクトの一部または全部を遮蔽する処理を行ってから仮想オブジェクトを表示に反映させることで、両者の重なり合いを正確に表現することができる。
【0053】
仮想オブジェクトの一部または全部を遮蔽する処理は、ある視点位置２Ａから仮想オブジェクトを見たときに、仮想オブジェクトよりも前側に実空間オブジェクトの一部又は全部が存在するときに、仮想オブジェクトのうち実空間オブジェクトによって遮蔽される領域を透明化（もしくは削除、削った状態、見えなくした状態を含む）する処理を含む。より明確に言えば、上記視点位置２Ａから仮想オブジェクトを構成する部位までの距離が上記視点位置２Ａから実空間オブジェクトを構成する部位までの距離よりも遠い場合に、実空間オブジェクトを構成する部位よって遮蔽される遮蔽領域に応じた部位を遮蔽した仮想オブジェクトの表示画像を生成する。
【0054】
処理部１４は、このように生成した表示画像の信号を画像生成装置１０の表示出力部１６を介して透過型ディスプレイ装置３０に送信し、透過型ディスプレイ装置３０に表示画像を表示させる（ステップＳ１０４）。
【0055】
このように、本実施形態のシステム１によれば、透過型ディスプレイ装置３０を通して見える実空間に重畳表示される三次元ＣＧで表示される仮想オブジェクトの表示画像がユーザ２の視点位置２Ａの変化に追従して連続的に生成され、複合現実的な動画像が透過型ディスプレイ装置３０を介してユーザ２に提供される。実空間の風景に対して三次元ＣＧの仮想オブジェクトが重畳されて表現されることで、ユーザ２にはあたかも透過型ディスプレイ装置３０を通して見える現実世界の実空間に仮想オブジェクトが一緒に存在しているように錯覚させることができる。
【0056】
特に、本実施形態によれば、ユーザから見て透過型ディスプレイ装置３０の奥側の実空間内の物体について、その位置情報のみならず、大きさ及び形状等に関する情報も取得されるので、実空間内の物体に重畳表示する仮想オブジェクトを仮想的に同じ空間上に配置した時の前後関係や相対位置関係をシミュレーションでき、ユーザ視点位置を起点としたときに仮想オブジェクトが部分的に見えたり隠れたりするような遮蔽処理による表現を含めて反映した形で映像を生成することが可能である。その結果、実空間内の物体に対して仮想オブジェクトをより高い品質で重畳表示することができるので、ユーザ２にとって仮想オブジェクトが実空間に存在するかのように錯覚させるべく、より確からしく自然な画像をユーザ２に提供することができる。
【0057】
なお、上記では、本実施形態に係るシステム１の一つの適用例として、透過型ディスプレイ装置３０を乗物の窓として用い、その窓を通して見える外の風景に仮想オブジェクトを重畳表示するユースケースを例示的に説明したが、システム１の適用対象はこの例に限られず、他の任意の用途に応用することが可能である。
【0058】
システム１の他の用途の一例として、透過型ディスプレイ装置３０を建物の窓として用い、その窓を通して見える外の風景に仮想オブジェクトを重畳表示するユースケースや、透過型ディスプレイ装置３０を屋内のテーブルの上などに設置して、透過型ディスプレイ装置３０を通して見える室内の実空間オブジェクト（室内の棚など）に仮想オブジェクトを重畳表示するユースケースなどが考えられる。これらのユースケースでは、透過型ディスプレイ装置３０を含むシステム１が固定設置され、ワールド座標空間においてシステム１が移動しない。そのため、システム１のローカル座標系がワールド座標系において固定された状態となる。したがって、これらのユースケースにおいては、上述した本実施形態の取得装置４０のうち、ローカル座標系におけるシステム１の位置を特定するためのＧＰＳセンサやＶＰＳ関連機能を省略してもよい。
【0059】
また、これらのユースケースでは、透過型ディスプレイ装置３０を通して見える風景（窓の外の建物等）や室内の風景（棚等）の実空間オブジェクトの形状と透過型ディスプレイ装置３０との相対位置が動的に変化しないので、実空間（現実世界）の環境情報を事前に取得する場合は、取得装置４０を省略しても良い。このとき周囲の実空間の三次元情報の事前取得には取得装置４０に類する装置を用いたりフォトグラメトリーなどの手法を用いてもよい。あるいは、透過型ディスプレイ装置３０を通して見える風景や実空間オブジェクトの位置・形状等をコンテンツ作成者等が画像生成装置１０上で設定して、実空間の環境情報として記憶部１２に記憶させてもよい。このとき、３Ｄ都市モデルデータなどの三次元実空間モデルデータを、ワールド座標系上に固定配置された透過型ディスプレイ装置３０の位置との相対位置をもとに正確に仮想空間上に事前配置して、実空間の環境情報として記憶部１２に記憶させてもよい。こうした事前の処理により、これらのユースケースでは、図６のフローチャートにおけるＳ１０１を省略してもよい。
【0060】
（変形例）
次に、第１の実施形態に係るシステム１の変形例について説明する。
次に、第１の実施形態に係るシステム１の変形例について説明する。
【0061】
上述した第１の実施形態では１人のユーザ２に対する視点位置２Ａを検出して、その視点位置２Ａに応じて仮想オブジェクトの表示画像を生成する例を示した。これに対し、本実施形態の一変形例によれば、複数のユーザ２に対して実空間に仮想オブジェクトを重畳表示する手段が提供される。
【0062】
図７は、第１の実施形態に係るシステムの一変形例における透過型ディスプレイ装置３０と、その透過型ディスプレイ装置３０上の表示画像の一例を示す図である。
【0063】
本変形例における透過型ディスプレイ装置３０は、横に並んだ複数のユーザ２（図示の例では４人のユーザ２）が同時に一緒に見ることができるように、比較的大型で横長の形状を有している。もしくは、複数の透過型ディスプレイを並べて１台の非確定大型の透過型ディスプレイ３０とほぼ同等に機能するように構成されている。本変形例における透過型ディスプレイ装置３０を通してその奥側の実空間を見ることができる。本変形例における透過型ディスプレイ装置３０によれば、例えば、バスや電車の長椅子に対向する窓の部分に設置することにより、その長椅子に着座した複数のユーザ２が同時に一緒に見ることができる。
【0064】
本変形例では、各ユーザ２が上記の長椅子のような所定の位置から所定の視線方向（例えば、各ユーザ２の正面方向）を見ることが前提とされる。本変形例では、測定装置２０は、複数のユーザ２の各々について特定した複数の視点位置２Ａに基づいて、代表視点位置２Ｂを決定する。代表視点位置２Ｂは一例として複数の視点位置２Ａの重心である。あるいは、代表視点位置２Ｂは座席の位置および形状に基づいて予め設定してもよい。このように本変形例においてはユーザが透過型ディスプレイ装置３０の前方に存在する以前、もしくは前方に存在した直後に代表視点位置２Ｂを決定して以降は、継続的な視点位置の取得は行わなくともよい。したがって、本変形例におけるシステム１のその他の構成及び動作は、上述した第１の実施形態のシステム１と同様であるが、ユースケースによっては図６のフローチャートにおけるＳ１０２をスキップしても良い。
【0065】
本変形例のシステム１においては、代表視点位置２Ｂから透過型ディスプレイ装置３０を見たときに、透過型ディスプレイ装置３０を通してその周囲に見える実空間の物体と仮想オブジェクトが共存しているかのように錯覚させるようにその表示画像が生成され、透過型ディスプレイ装置３０に表示される。
【0066】
本変形例のシステム１によれば、透過型ディスプレイ装置３０を通して見える実空間に重畳表示される三次元ＣＧで表示される仮想オブジェクトの表示画像が代表視点位置２Ｂおよび透過型ディスプレイ装置３０の配置、形状、大きさなどの情報を用いて射影変換（透視投影変換、もしくはそれに類する計算手法を含む）によって生成され、現実世界の実空間内に三次元ＣＧで表示される仮想オブジェクトが存在するかのような複合現実的な動画像が透過型ディスプレイ装置３０を介して各ユーザ２に提供される。透過型ディスプレイ装置３０上に表示される画像を見た各々のユーザ２には、あたかも透過型ディスプレイ装置３０を通して見える現実世界の実空間に仮想オブジェクトが存在しているかのような錯覚を生じさせることができる。
【0067】
ただし、本変形例で用いられる視点位置は代表視点位置２Ｂであることと、各ユーザ２の視点位置２Ａはそれぞれ固定位置であることから、上述した実施形態の例のような幾何学的に厳密な正確性をもった重畳表現までは実現できない。また実空間三次元モデルを用いて遮蔽処理を施し重畳させる場合には、実空間上のオブジェクトと仮想オブジェクトの重なり合いの輪郭の部分にずれが生ずるなどユーザから見たときの見え方において正確性に欠けてしまう。図７に示す例では、透過型ディスプレイ装置３０の後方に広がる実空間における遠景の山並みの手前側で、仮想オブジェクトである複数のチーターがそれぞれ図示矢印方向に走っていくように透過型ディスプレイ装置３０上に描画された様子が示されている。このような表現例であれば、例えば山並みとチーターは各ユーザ２の視点位置２Ａを基準として前後関係として重なり合う部分がなく、独立的に存在するので、仮想オブジェクトであるチーターのＣＧに対して遮蔽処理を施す必要がなくなるため、多少は正確性に欠けていたとしても、あたかも透過型ディスプレイ装置３０を通して見える現実世界の実空間に仮想オブジェクトが同時に存在しているかのような錯覚を生じさせるという目的はある程度達成できる。特に、透過型ディスプレイ装置３０を乗物の車窓として用いることを想定したユースケースにおいては、上記実施形態において説明したような現実世界の情報を加えて表現を工夫することにより、ユーザに錯覚を与えるための効果を高めることができる。例えば三次元ＣＧで表示される仮想オブジェクトのチーターを仮想空間上で走らせ、乗物の進行に応じてその仮想空間上のチーターがそのまま後方に少しずつ平行移動していくような見え方となる例においては、たとえ厳密に正確な重畳表現ができない構成であったとしても、乗物の進行速度とチーターの走行速度との相対速度を再現することで乗物がチーターを追い抜いて走り去るような表現を加えることで、現実世界においてチーターが本当に存在しているような錯覚を各ユーザ２に感じさせることができる。
【0068】
本変形例においては、代表視点位置２Ｂに対して表示する仮想オブジェクトの生成のための計算処理を行うため、視点位置２Ａが異なる全てのユーザ２に対して幾何学的厳密さを持った表現を提供することまでは叶わないものの、透明ディスプレイ上にただ単に映像を表示する場合と比較すれば、透過型ディスプレイ装置３０の奥側の実空間内に配置される仮想オブジェクトが、代表視点位置２Ｂと透過型ディスプレイ装置３０の位置、大きさ、向きなどの情報とに基づいて透過型ディスプレイ装置３０上に表現されるので、各ユーザ２にとって仮想オブジェクトが実空間に存在するかのように錯覚させるべく、より自然に感じられる表示画像を各ユーザ２に提供することができる。
【0069】
［第２の実施形態］
次に、本開示の第２の実施形態について説明する。
次に、本開示の第２の実施形態について説明する。
【0070】
上述した第１の実施形態では、画像生成装置１０は、仮想オブジェクトを表す表示画像を生成するための三次元ＣＧデータを予め記憶部１２に格納しておき、ユーザ２にとって仮想オブジェクトがそこに存在するかのように錯覚させるべく確からしく自然な画像に見えるような幾何学的に厳密さを持った画像を生成する計算処理により、三次元ＣＧデータから表示画像を生成する例を説明した。第２の実施形態は、第１の実施形態のシステム１の構成及び動作に加えて、仮想オブジェクトの表示画像を左右の眼の視差を与える２つの画像からなる三次元画像（立体視画像）として提示する手段を提供する。
【0071】
図８は、第２の実施形態に係るシステムにおけるディスプレイ装置等を示す図である。本実施形態のシステム１は、仮想オブジェクトの表示画像を画面に表示する透過型ディスプレイ装置３０と、ユーザ２が着用する三次元眼鏡装置Ｇとを有する。本実施形態におけるシステム１のその他の構成及び動作は、上述した第１の実施形態のシステム１と同様である。
【0072】
本実施形態における画像生成装置１０は、ユーザ２の視点位置２Ａに応じて、仮想オブジェクトの表示画像として、視差を有する左右の眼用の２つの表示画像を生成し、透過型ディスプレイ装置３０の画面に表示する。三次元眼鏡装置Ｇは、２つの表示画像をユーザ２の左右の眼にそれぞれ見せる。ユーザ２の視点位置２Ａに応じた映像を左右の眼に視差を持たせることで、ユーザ２に仮想オブジェクトの表示画像の立体感を与え、より高い臨場感や没入感を与えることができる。別の言葉に置き換えるならば、第１の実施形態においてはユーザから見える実際の風景を構成するオブジェクトは、特に奥行き方向において位置が様々であり左右の眼に入ってくる情報が左眼と右眼の位置の違いにより厳密には異なっているのに対し、仮想オブジェクトについては計算を行った結果においても最終的には目の前の透過型ディスプレイ３０に一意の画像として表示されるため、左右の眼の視差が考慮されなかった。これにより、第１の実施形態においては仮想オブジェクトの存在を認識するうえで奥行き方向において多少の違和感を感じてしまう。しかしながら本実施形態においては左右の眼に、視差を考慮した異なった映像を透過型ディスプレイ３０を介して見せるため、第１の実施形態において生ずる構造的な問題による違和感を払拭することが可能となり、より高い品質で重畳表現を実現することができる。
【0073】
図８に示す例では、透過型ディスプレイ装置３０の奥側に広がる実空間における遠景の山並みの上方の空に、仮想オブジェクトＶｏｂｊである太陽が透過型ディスプレイ装置３０上に立体的に提示された様子が示されている。仮想オブジェクトＶｏｂｊを表示する表示画像は、視差を有する左右の眼用の２つの表示画像として透過型ディスプレイ装置３０に表示され、三次元眼鏡装置Ｇを装着したユーザ２は透過型ディスプレイ装置３０超しに見える実空間に立体的な太陽の仮想オブジェクトＶｏｂｊが存在しているような視覚体験を得ることができる。
【0074】
本実施形態においても、上述した第１の実施形態と同様に、透過型ディスプレイ装置３０を通して見える実空間に重畳表示される三次元ＣＧで表示される仮想オブジェクトの表示画像がユーザ２の視点位置２Ａの変化に追従して連続的に生成され、現実世界の実空間内に三次元ＣＧで表示される仮想オブジェクトが存在するかのような複合現実的な動画像が透過型ディスプレイ装置３０を介してユーザ２に提供される。そのため、透過型ディスプレイ装置３０上に表示される画像を見たユーザ２には、実空間の風景に対して三次元ＣＧの仮想オブジェクトが、左右の眼の視差による奥行き情報も含めて重畳表現されることで、ユーザ２にはあたかも透過型ディスプレイ装置３０を通して見える現実世界の実空間に仮想オブジェクトが存在しているようにより強く錯覚させることができる。
【0075】
また、本実施形態においても、ユーザから見て透過型ディスプレイ装置３０の周囲の実空間内の物体について、その位置情報のみならず、大きさ及び形状等に関する情報も取得されるので、実空間内の物体に重畳表示する仮想オブジェクトを仮想的に同じ空間上に配置した時の前後関係や相対位置関係をシミュレーションでき、ユーザ視点位置を起点としたときに仮想オブジェクトが部分的に見えたり隠れたりするような遮蔽処理による表現を含めて反映した形で映像を生成することが可能である。その結果、実空間内の物体に対して仮想オブジェクトをより高い品質で重畳表示することができるので、ユーザ２にとって仮想オブジェクトが実空間に存在するかのように錯覚させるべく、より確からしく自然な画像をユーザ２に提供することができる。
【0076】
特に、本実施形態によれば、ユーザ２の視点位置２Ａの変化に追従して連続的に生成され、現実世界の実空間内に存在するかのような仮想オブジェクトＶｏｂｊを表示する表示画像が、視差を有する左右の眼用の２つの表示画像として透過型ディスプレイ装置３０に表示されるので、三次元眼鏡装置Ｇを装着したユーザ２は透過型ディスプレイ装置３０超しに見える実空間に奥行き方向も含めてより違和感なく立体的に仮想オブジェクトＶｏｂｊが存在しているような視覚体験を得ることができる。
【0077】
なお、本実施形態による透過型ディスプレイ装置３０および三次元眼鏡Ｇの三次元映像の方式は特に限定されない。例えば、アナグリフ式であってもよいし、偏光式であってもよいし、液晶シャッター式であってもよい。三次元映像の方式として液晶シャッター式を採用する場合には、透過型ディスプレイ装置３０上に左右の表示画像を交互に切り替えて表示するタイミングに同期させて三次元眼鏡Ｇの左右の液晶シャッターの開閉を交互に切り替えるための同期信号が三次元眼鏡Ｇに送信される。この場合、システム１は一例として、そのような同期信号を送出する同期信号送出装置５０をさらに備え、同期信号送出装置５０は画像生成装置１０の処理部１４によって駆動制御される。同期信号送出装置５０は、例えば赤外線光で構成される同期信号を三次元眼鏡Ｇに向けて送出する。なお、一般に三次元眼鏡はヘッドマウントディスプレイより小型かつ軽量であるので、ヘッドマウントディスプレイのように不安感や不快感を与えることはなく、また、Ｈｏｌｏｌｅｎｓに代表されるような現行のゴーグル型のＭＲデバイスのように映像が見える視野角が狭く限定されることもない。
【0078】
（変形例）
次に、第２の実施形態に係るシステム１の変形例について説明する。
次に、第２の実施形態に係るシステム１の変形例について説明する。
【0079】
上述した第２の実施形態では１人のユーザ２に対する視点位置２Ａを検出し、その視点位置２Ａに応じて仮想オブジェクトの視差を有する左右の眼用の２つの表示画像からなる表示画像を生成して透過型ディスプレイ装置３０に表示させ、透過型ディスプレイ装置３０超しに見える実空間に重畳表示された立体的な仮想オブジェクトを三次元眼鏡装置Ｇを装着したユーザ２に提示する例を示した。これに対し、本実施形態の一変形例によれば、三次元眼鏡装置Ｇを装着した複数のユーザ２に対して実空間に重畳表示された立体的な仮想オブジェクトを提示する手段が提供される。
【0080】
図９は、第２の実施形態に係るシステムの一変形例における透過型ディスプレイ装置３０と、その透過型ディスプレイ装置３０上の表示画像の一例を示す図である。
【0081】
本変形例における透過型ディスプレイ装置３０は、横に並んだ複数のユーザ２（図示の例では４人のユーザ２）が同時に一緒に見ることができるように、比較的大型で横長の形状を有している。本変形例における透過型ディスプレイ装置３０も透過型のディスプレイであり、透過型ディスプレイ装置３０を通してその奥側の実空間を見ることができる。本変形例における透過型ディスプレイ装置３０は、例えば、バスや電車の長椅子に対向する窓の部分に設置することにより、その長椅子に一緒に着座した複数のユーザ２が同時に見ることができる。
【0082】
本変形例では、測定装置２０によって各ユーザ２の視点位置２Ａが検出され、仮想オブジェクトＶｏｂｊの表示画像を各ユーザ２の視点位置２Ａに応じて射影変換、透視投影変換、もしくはそれに類する計算処理が実行される。また、本変形例では一例として、三次元映像の方式として液晶シャッター式が採用され、透過型ディスプレイ装置３０上に左右の表示画像を交互に切り替えて表示するタイミングに同期させて三次元眼鏡Ｇの左右の液晶シャッターの開閉を交互に切り替えるための同期信号を送出する同期信号送出装置５０をさらに備えている。同期信号送出装置５０は画像生成装置１０の処理部１４によって駆動制御される。同期信号送出装置５０は、例えば赤外線光で構成される同期信号を三次元眼鏡Ｇに向けて送出する。
【0083】
本変形例におけるシステム１のその他の構成及び動作は、上述した第２の実施形態のシステム１と同様である。
【0084】
本変形例のシステム１においては、各ユーザ２の視点位置２Ａから透過型ディスプレイ装置３０を見たときに、透過型ディスプレイ装置３０を通してその周囲に見える実空間に立体的な仮想オブジェクトＶｏｂｊが重畳されるように、その表示画像が生成され、透過型ディスプレイ装置３０に表示される。図９に示す例では、透過型ディスプレイ装置３０の奥側に広がる実空間における遠景の山並みの上方の空に、仮想オブジェクトＶｏｂｊである太陽が透過型ディスプレイ装置３０上に立体的に提示された様子が示されている。
【0085】
なお、複数のユーザ２がそれぞれの視点位置から仮想オブジェクトＶｏｂｊを見たときに、各ユーザ２に対して適切な視差を有する左右の表示画像が透過型ディスプレイ装置３０に表示されるように、処理部１４はユーザ２毎に仮想オブジェクトＶｏｂｊの表示画像の表示制御を行う必要がある。一例として、本変形例では、画面表示レートが比較的高い（例えば、２４０Ｈｚ）透過型ディスプレイ装置３０を用い、各ユーザ２用の左右の表示画像（２画像）がそれぞれ３０Ｈｚの表示レートで表示されるように４人分の表示画像を時分割方式で順番に切り替えて表示するように、処理部１４によって制御される。３０Ｈｚの表示レートは地上波デジタルテレビの表示レートとほぼ同じであり、各ユーザ２は３０Ｈｚの表示レートで表示される仮想オブジェクトＶｏｂｊを違和感なく見ることができる。一方で、より高い表示レートの方が液晶シャッターの動作により発生するちらつきを感じにくくすることが可能なため、４８０Ｈｚディスプレイ装置を用いて各ユーザ２の各片眼毎に６０Ｈｚの表示レートで表示させてもよいし、それ以外の周波数でもよい。
【0086】
このように、本変形例においても、上述した本実施形態と同様に、透過型ディスプレイ装置３０を通して見える実空間に重畳表示される三次元ＣＧで表示される仮想オブジェクトの表示画像が各ユーザ２の視点位置２Ａの変化に追従して連続的に生成され、現実世界の実空間内に三次元ＣＧで表示される仮想オブジェクトが存在するかのような複合現実的な動画像が透過型ディスプレイ装置３０を介して各ユーザ２に提供される。そのため、透過型ディスプレイ装置３０上に表示される画像を見た各ユーザ２には、実空間の風景に対して三次元ＣＧの仮想オブジェクトが、左右の眼の視差による奥行き情報も含めて重畳表現されることで、各ユーザ２にはあたかも透過型ディスプレイ装置３０を通して見える現実世界の実空間に仮想オブジェクトが存在しているようにより強く錯覚させることができる。
【0087】
また、本変形例においても、各ユーザから見て透過型ディスプレイ装置３０の周囲の実空間内の物体について、その位置情報のみならず、大きさ及び形状等に関する情報も取得されるので、実空間内の物体に重畳表示する仮想オブジェクトを仮想的に同じ空間上に配置した時の前後関係や相対位置関係をシミュレーションでき、各ユーザ視点位置を起点としたときに仮想オブジェクトが部分的に見えたり隠れたりするような遮蔽処理による表現を含めて反映した形で映像を生成することが可能である。その結果、実空間内の物体に対して仮想オブジェクトをより高い品質で重畳表示することができるので、各ユーザ２にとって仮想オブジェクトが実空間に存在するかのように錯覚させるべく、より確からしく自然な画像を各ユーザ２に提供することができる。
【0088】
特に、本変形例によれば、各々のユーザ２の視点位置２Ａの変化に追従して連続的に生成され、現実世界の実空間内に存在するかのような仮想オブジェクトＶｏｂｊを表示する表示画像が、視差を有する左右の眼用の２つの表示画像として透過型ディスプレイ装置３０に表示されるので、三次元眼鏡装置Ｇを装着した各々のユーザ２に対して、透過型ディスプレイ装置３０超しに見える実空間に奥行き方向も含めてより違和感なく立体的に仮想オブジェクトＶｏｂｊが存在しているような視覚体験を個別に提供することができる。
なお、一般に三次元眼鏡はヘッドマウントディスプレイより小型かつ軽量であるので、ヘッドマウントディスプレイのように不安感や不快感を与えることはなく、また、Ｈｏｌｏｌｅｎｓに代表されるような現行のゴーグル型のＭＲデバイスのように映像の視野角が狭く限定されることもない。
なお、一般に三次元眼鏡はヘッドマウントディスプレイより小型かつ軽量であるので、ヘッドマウントディスプレイのように不安感や不快感を与えることはなく、また、Ｈｏｌｏｌｅｎｓに代表されるような現行のゴーグル型のＭＲデバイスのように映像の視野角が狭く限定されることもない。
【0089】
［第３の実施形態］
次に、本開示の第３の実施形態について説明する。
次に、本開示の第３の実施形態について説明する。
【0090】
上述した第２の実施形態では、三次元眼鏡装置を装着したユーザに対して、仮想オブジェクトの表示画像を左右の眼の視差を与える２つの画像からなる三次元画像（立体視画像）として提示する手段を提供する例について説明した。これに対して本実施形態では、三次元眼鏡装置を装着しない裸眼のユーザに対して、仮想オブジェクトの表示画像を左右の眼の視差を与える２つの画像からなる三次元画像（立体視画像）として提示する手段を提供する。
【0091】
図１０は、第３の実施形態のシステムにおけるディスプレイ装置の構成を説明するための概略図である。
【0092】
図１０に示されているように、本実施形態の透過型ディスプレイ装置３０は、一例として複数の表示方向に異なる画像を同時に表示可能な、例えば透過型有機ＥＬディスプレイ（ＯＬＥＤ）の表面にレンチキュラーレンズを貼り付けたタイプの裸眼立体視を実現するディスプレイである。本実施形態の透過型ディスプレイ装置３０は、アレイ状に配置された複数の画素ユニット３０２を備えた透明基板３０１と、透明基板３０１上の各画素ユニット３０２の上に設けられた複数のレンズ素子３０３とを備えている。本実施形態における各々のレンズ素子３０３は、一例として、レンチキュラーレンズと呼ばれるかまぼこ型のシリンドリカルレンズである。レンズ素子３０３としては、レンチキュラーレンズの他に、光の方向を制御するような半球状半楕円体形状など任意の立体形状のレンズを用いてもよい。また、レンズを用いる代わりに視差バリア（パララックスバリア）を生じさせるフィルムや板を用いても良い。
【0093】
レンズ素子３０３は、一例として、個別に製造したものを透明基板３０１の各画素ユニット３０２が設けられている位置に透明の接着剤で個別に接着することで、各画素ユニット３０２の上に設けることができる。あるいは、３Ｄプリント技術を用いて、透明材料を透明基板３０１の各画素ユニット３０２が設けられている位置に吐出してレンズ素子３０２を形成することにより、レンズ素子３０２を各画素ユニット３０２の上に設けることができる。さらには、透明基板３０１の各画素ユニット３０２に対して位置決めされた複数のレンズ素子３０３が形成された透明フィルム部材を予め形成し、その透明フィルム部材を透明基板３０１上に所定の位置決めをした状態で貼り付けることによっても、レンズ素子３０３を各画素ユニット３０２の上に設けることができる。ほかにも、複数の透明基板を貼り合わせる構造の板の中間膜の部分に、アレイ状の画素ユニットと画素ユニットに電力や信号を供給する電極線を挿入すると同時に、レンズ素子を含むフィルムや板、視差バリアを生じさせるフィルムや板を挿入する方法で透明基板３０１を構成してもよい。また、アレイ状の画素ユニットのみを中間膜に挿入して透明基盤３０１を構成した後、外側にレンズ素子を含むフィルムや板、視差バリアを生じさせるフィルムや板を張り付ける方法としても良い。ここで透明基板としてはアクリル板を含む透明な樹脂板を用いても良いし、ガラスであっても良い。ある程度の透明性を持つものであれば材料は問わない。
【0094】
各々の画素ユニット３０２及びレンズ素子３０３は、互いに所定の間隔をおいて配置されている。画素ユニット３０２及びレンズ素子３０３が配置されていない領域では、透明基板３０１を通して透過型ディスプレイ装置３０の奥側の実空間を見ることができる。本実施形態の透過型ディスプレイ装置３０では画素ユニット３０２及びレンズ素子３０３は比較的「疎」に配置されており、一例として、透過型ディスプレイ装置３０の画面全体のうちの画素ユニット３０２及びレンズ素子３０２が占める割合は数十パーセントから数パーセント、将来の技術発展によって画素ユニットのサイズをより小さくすることができれば数パーセント以下とすることができる。一つ一つの画素ユニットのサイズを小さくしたり、画素ユニット一つ一つの光の強度を上げることができたりすれば、透明度を確保しながらも、映像も周囲の光に負けずユーザに視認させられるように表示させることが可能となり、本件のように透過型ディスプレイ装置３０を通して見える実空間に仮想オブジェクトを重畳表示する用途において、仮想オブジェクトを見るユーザに対して画像における十分な解像度と明瞭さを提供することができる。
【0095】
透明基板３０１には一例として各画素ユニット３０２に電気的に接続された透明度の高い導電性の素材で作られた電極線や、ごく微細な金属の電極線（不図示）が設けられており、各画素ユニット３０２は、こうした電極を介して供給される電力と駆動信号によって個別に発光駆動、または光の透過制御が行われる。ここで各画素ユニットは、有機ＥＬやマイクロＬＥＤのような自発光の素子であってもよいし、液晶の仕組みをもちいて光の透過制御を行う素子であっても良い。また、外部からのプロジェクション光に対して反射させることでユーザの視覚に色の違いを認識させるような素子や発光材料などでもよい。
【0096】
その他、本実施形態に係るシステム１の各部構成及び動作は第１の実施形態で説明したシステム１と概ね同様であるが、それと異なる構成及び動作については下記で説明する。
【0097】
【0098】
本実施形態における透過型ディスプレイ装置３０では、一例として各々の画素ユニット３０２は、４５個の画素がまとまった単位の集合として構成される。即ち、１つの画素ユニット３０２は、４５個の画素からなり、各画素にはＲＧＢ表示素子３０２’が配置される。ＲＧＢ表示素子３０２’は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色を表示する３つのサブピクセル表示素子から構成されている。あるいは、ＲＧＢ表示素子３０２’は４色分の表示素子であってもよい。４５画素からなる画素ユニット３０２は、一般的なディスプレイの１画素に対応する。
【0099】
これと共に、一例として各画素ユニット３０２は、その画素ユニット３０２内の４５画素分のＲＧＢ表示素子３０２’にて表示される４５本のＲＧＢ光の各光路の方向を、図１２に示される例えば０～４４の４５本の表示方向（以下、この方向を「表示方向５０１」と記載）に屈折させるための、レンチキュラーレンズと呼ばれるかまぼこ型のシリンドリカルレンズであるレンズ素子３０３を備える。
【0100】
そして、画像生成装置１０は、各ユーザ２１～２４の異なる視点位置２Ａ毎に、それらの視点位置２Ａ１～２Ａ４に対応して画像生成装置１０が生成した表示画像のデータを、例えば基準座標空間（図４）の所定の原点Ｏ（例えば透過型ディスプレイ装置３０の中心位置）から各ユーザ２１～２４の視点位置２Ａ１～２Ａ４に向かう方向５０２Ａ，５０２Ｂ，５０２Ｃ，５０２Ｄに対応する画素番号のＲＧＢ表示素子５００に入力させる。以下、この方向を、ユーザ視点位置方向５０２Ａ，５０２Ｂ，５０２Ｃ，５０２Ｄと記載する。又は、これらの方向を総称して、ユーザ視点位置方向５０２と記載する。
【0101】
ここで、画像生成装置１０の処理部１４は、測定装置２０で検出された各ユーザ２１～２４の視点位置２Ａ１～２Ａ４毎に、例えばその視点位置から左右に一定距離離れたユーザの右目及び左目から夫々、透過型ディスプレイ装置３０を介して仮想空間上の三次元の仮想オブジェクトを見たときに、各ユーザ２にとって仮想オブジェクトが実空間に存在するかのように錯覚させるべく幾何学的厳密さをもって確からしく自然な画像に見えるように、右目用表示画像及び左目用表示画像を生成してもよい。画像生成装置１０は、透過型ディスプレイ装置３０の画面に表示する右目用表示画像及び左目用表示画像を生成する際に、三次元ＣＧデータで表現される仮想オブジェクトを、各ユーザ２１～２４の視点位置２Ａ１～２Ａ４に基づいて透過型ディスプレイ装置３０の画面、すなわち二次元の面に投影させるような射影変換、透視投影変換、もしくはそれに類する計算処理を行ってもよい。
【0102】
この場合、処理部１４は、各ユーザ２１～２４の視点位置２Ａ１～２Ａ４毎に、各視点位置に対応して生成された上述の右目用表示画像及び左目用表示画像のデータを夫々、各視点位置に対応する各ユーザ視点位置方向５０２Ａ，５０２Ｂ，５０２Ｃ，５０２Ｄの両側に位置する、右目の表示方向に対応する画素番号のＲＧＢ表示素子３０２’と、左目の表示方向に対応する画素番号のＲＧＢ表示素子３０２’とに表示させる。
【0103】
以上の制御動作の結果、図１１のユーザ２１～２４毎に、各右目及び各左目と各レンズ素子３０３とを結ぶ視線方向５００として示されるように、また、図３の表示Ｄ１，Ｄ２，Ｄ３等として説明したように、仮想オブジェクトの表示状態がユーザ２毎に制御された画像を、透過型ディスプレイ装置３０に対して様々な位置にいる複数人のユーザ２１～２４に、同時に表示することが可能となる。この場合、各２１～２４においては、両眼の視差を有する画像が夫々の右目と左目に入射されるため、臨場感のある裸眼での立体視を体験することができる。
【0104】
本実施形態では、測定装置２０によって各ユーザ２の視点位置２Ａが検出され、仮想オブジェクトＶｏｂｊの表示画像を各ユーザ２の視点位置２Ａに応じて射影変換、透視投影変換、もしくはそれに類する計算処理が実行される。
【0105】
図１３は、第１の実施形態において説明した図６のステップＳ１０４の表示処理の詳細例を示すフローチャートである。以下、この処理について、上述した図１２の説明図に従って説明する。処理部１４は、図１２で説明した０番目から４４番目までの４５の表示方向５０１のうち、まず０番目の表示方向５０１と、図６のステップＳ１０２で算出された１つ以上の視点位置２Ａのうち最初の視点位置２Ａ（例えば図１２の２Ａ１）を通るユーザ視点位置方向５０２（例えば図１２の５０２Ａ）の間の、例えば図１２の０番目から３番目までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、最初の視点位置２Ａ（例えば図１２の２Ａ１）の左目の表示方向に対応して生成された左目用表示画像データをセットする（ステップＳ９０１）。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素ユニット３０２（図１１参照）の上記各画素番号のＲＧＢ表示素子３０２’に対して実行される。
【0106】
次に、処理部１４は、画像生成装置１０の記憶部１２における特には図示しない例えばＲＡＭやレジスタに記憶されている視点位置２Ａを示す変数値を＋１する（ステップＳ９０５）。
【0107】
次に、処理部１４は、上記視点位置２Ａを示す変数値が、予め定められた最後のユーザ視点位置を超えたか否かを判定する（ステップＳ９０６）。最後の視点位置２Ａを示す値は、システム１を利用するユーザ２の数に合わせて予め定めて、上記のＲＡＭやレジスタに記憶させることができる。ステップＳ９０６では、視点位置２Ａを示す変数値が予め定められて記憶された上記値を超えたか否かにより、視点位置２Ａを示す変数値が最後のユーザ視点位置を超えたか否かを判定する。
【0108】
まだ最後のユーザ視点位置まで処理されておらず、ステップＳ９０６の判定がＮＯならば、処理部１４は、ステップＳ９０２の処理に制御を移して、ステップＳ９０２からＳ９０４までの処理を実行する。
【0109】
【0110】
次に、処理部１４は、前回のユーザ視点位置２Ａ（例えば図１２の２Ａ１）を通るユーザ視点位置方向５０２（例えば図１２の５０２Ａ）と、今回算出した中点方向５０３（例えば図１２の５０３ＡＢ）の間の例えば図１２の４番から１０番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、前回のユーザ視点位置２Ａ（例えば図１２の２Ａ１）の右目の表示方向に対応して生成された右目用表示画像データをセットする（ステップＳ９０３）。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素ユニット３０２（図１１参照）の上記各画素番号のＲＧＢ表示素子３０２’に対して実行される。
【0111】
続いて、処理部１４は、ステップＳ９０２で今回算出した中点方向５０３（例えば図１２の５０３ＡＢ）と、今回のユーザ視点位置２Ａ（例えば図１２の２Ａ2）を通るユーザ視点位置方向５０２（例えば図１２の５０２Ｂ）との間の例えば図１２の１１番から１６番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、今回のユーザ視点位置２Ａ（例えば図１２の２Ａ2）の左目の表示方向に対応して生成された左目用表示画像データをセットする（ステップＳ９０４）。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素ユニット３０２（図１１参照）の上記各画素番号のＲＧＢ表示素子３０２’に対して実行される。
【0112】
その後、処理部１４は、前述したように、視点位置２Ａを示す変数値を＋１し（ステップＳ９０５）、その変数値が、予め定められた最後のユーザ視点位置２Ａを超えたか否かを判定する（ステップＳ９０６）。
【0113】
まだ最後の視点位置２Ａまで処理されておらず、ステップＳ９０６の判定がＮＯならば、処理部１４は、上述したステップＳ９０２からＳ９０４までの処理を再び実行する。
【0114】
前述と同様のステップＳ９０２により、例えば図１２において、前回の視点位置２Ａ2と今回のユーザ視点位置２Ａ3との中点を通る中点方向５０３ＢＣが算出される。
【0115】
次に、前述と同様のステップＳ９０３により、例えば図１２において、前回の視点位置２Ａ2を通るユーザ視点位置方向５０２Ｂと、今回算出した中点方向５０３ＢＣの間の例えば図１２の１７番から２１番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、前回の視点位置２Ａ2の右目の表示方向に対応して生成された右目用表示画像データがセットされる。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素ユニット３０２（図１１参照）の上記各画素番号のＲＧＢ表示素子３０２’に対して実行される。
【0116】
続いて、前述と同様のステップＳ９０４により、例えば図１２において、ステップＳ９０２で今回算出した中点方向５０３ＢＣと、今回の視点位置２Ａ3を通るユーザ視点位置方向５０２Ｃとの間の例えば図１２の２２番から２６番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、今回の視点位置２Ａ3の左目の表示方向に対応して生成された左目用表示画像データがセットされる。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素ユニット３０２（図１１参照）の上記各画素番号のＲＧＢ表示素子３０２’に対して実行される。
【0117】
その後、処理部１４は、前述したように、視点位置２Ａを示す変数値を＋１し（ステップＳ９０５）、その変数値が、予め定められた最後のユーザ視点位置２Ａを超えたか否かを判定する（ステップＳ９０６）。
【0118】
まだ最後の視点位置２Ａまで処理されておらず、ステップＳ９０６の判定がＮＯならば、処理部１４は、上述したステップＳ９０２からＳ９０４までの処理を再び実行する。
【0119】
前述と同様のステップＳ９０２により、例えば図１２において、前回の視点位置２Ａ3と今回の視点位置２Ａ4との中点を通る中点方向５０３ＣＤが算出される。
【0120】
次に、前述と同様のステップＳ９０３により、例えば図１２において、前回のユーザ視点位置２Ａ3を通るユーザ視点位置方向５０２Ｃと、今回算出した中点方向５０３ＣＤとの間の例えば図１２の２７番から３０番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、前回の視点位置２Ａ3の右目の表示方向に対応して生成された右目用表示画像データがセットされる。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素ユニット３０２（図１１参照）の上記各画素番号のＲＧＢ表示素子３０２’に対して実行される。
【0121】
続いて、前述と同様のステップＳ９０４により、例えば図１２において、ステップＳ９０２で今回算出した中点方向５０３ＣＤと、今回のユーザ視点位置２Ａ4を通るユーザ視点位置方向５０２Ｄの間の例えば図１２の３１番から３４番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、今回の視点位置２Ａ4の左目の表示方向に対応して生成された左目用表示画像データがセットされる。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素ユニット３０２（図１１参照）の上記各画素番号のＲＧＢ表示素子３０２’に対して実行される。
【0122】
その後、処理部１４は、前述したように、視点位置２Ａを示す変数値を＋１し（ステップＳ９０５）、その変数値が、予め定められた最後の視点位置２Ａを超えたか否かを判定する（ステップＳ９０６）。
【0123】
最後のユーザ視点位置２Ａまで処理された後に、ステップＳ９０６の判定がＹＥＳになると、処理部１４は、最後のステップＳ９０７の処理を実行する。ステップＳ９０７において、処理部１４は、今回の視点位置２０４（例えば図１２の２Ａ4）を通るユーザ視点位置方向５０２（例えば図１２の５０２Ｄ）と、４４番目の表示方向５０１の間の例えば図１２の３５番から４４番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子に、最後のユーザ視点位置２Ａ（例えば図１２の２Ａ4）の右目の表示方向に対応して生成された右目用表示画像データをセットする。
【0124】
【0125】
以上の図１３のフローチャートで例示した画像表示処理では、図１２において２つの視点位置２Ａのユーザ視点位置方向５０２と、それらの視点位置２Ａ間の中点を通る中点方向５０３とで区切られる区間の各表示方向５０１に、隣接する視点位置２Ａの右目又は左目の表示方向に対応して生成された右目用又は左目用表示画像データがコピーしてセットされた。これに対して、透過型ディスプレイ装置３０に近いユーザ２の視点位置２Ａと、透過型ディスプレイ装置３０から遠いユーザ２の視点位置２Ａとで、各表示方向５０１への表示画素のマッピングのアルゴリズムを変えることにより、表示画素の変化感度がユーザ２の視点位置Ａに応じて均一になるようにすることもできる。又は、単純にコピーするのではなく、隣接する２つの表示画像間で、各表示方向５０１に応じて補間処理を行って算出した表示画素がセットされてもよい。
【0126】
このように、本実施形態によれば、三次元眼鏡装置を装着しない裸眼の複数のユーザ２に対して、各ユーザ２１～２４の視点位置２Ａ１～２Ａ４毎に、例えばその視点位置から左右に一定距離離れたユーザの右目及び左目から夫々、透過型ディスプレイ装置３０を介して仮想空間上の三次元の立体的な仮想オブジェクトを見たときに、各ユーザ２にとって仮想オブジェクトが実空間に存在するかのように錯覚させるべく幾何学的厳密さをもって確からしく自然な画像に見えるように、仮想オブジェクトの表示画像を左右の眼の視差を与える２つの画像からなる三次元画像（立体視画像）として、透過型ディスプレイ装置３０を通して見える実空間に重畳して提示することができる。加えて、本実施形態によれば各ユーザ２の視点位置２Ａに応じた仮想オブジェクトの別々の表示画像を、各ユーザ２に対して同時に提示することができる。
【0127】
本実施形態における透過型ディスプレイ装置３０の適用例としては、例えば、自動車等のガラス部分に本実施形態の透過型ディスプレイ装置３０を装着し、その車内の前席及び後席にそれぞれ着座している複数のユーザ２の各々に対して仮想オブジェクトの立体的な表示画像を提示することが考えられる。本実施形態の透過型ディスプレイ装置３０によれば、透過型ディスプレイ装置３０に対する距離及び視線方向が異なる複数のユーザ２に対して個別に仮想オブジェクトの表示画像を表示できるので、移動する自動車のガラスとしての透過型ディスプレイ装置３０の周囲に見える実空間に対して、各ユーザ２の視点位置から見た景色に応じた仮想オブジェクトを重畳して提示することができる。
【0128】
（変形例）
図１４は、第３の実施形態のシステムにおけるディプレイ装置の一変形例を示す図である。
図１４は、第３の実施形態のシステムにおけるディプレイ装置の一変形例を示す図である。
【0129】
図１０等に示した第３の実施形態のディプレイ装置３０では、レンズ素子３０３が画素ユニット３０２毎に個別に設けられている。これに対し、本変形例に示すように、レンズ素子３０３は、マトリクス状に配置された複数の画素ユニット３０２のうち、各列の複数の画素ユニット３０２にまたがって配置される縦長の形状を有していてもよい。これにより、レンズ素子３０３を画素ユニット３０２毎に個別に設ける場合に比べて、レンズ素子３０３の製造工数を低減することが可能になる。
【0130】
［第４の実施形態］
上述した第３の実施形態では、仮想オブジェクトの視差のある三次元画像を複数のユーザに対して透過型ディスプレイによって見せる画像表示システムを例示した。第３の実施形態における透過型ディスプレイは、透明基板上に、画面の横方向（水平方向）に並んだ所定個の画素をひとまとまりの画素ユニット（画素集団）とし、複数の画素ユニットをマトリクス状に配置し、画素ユニット上に、画素ユニットと同じ幅のシリンドリカルレンズのレンズ素子を設けた構成であった。第４の実施形態では、第３の実施形態とは異なる構成の透過型ディスプレイを用いた画像表示システムを例示する。ただし、第４の実施形態の画像表示システムの構成および動作は、第３の実施形態のものと概ね同様なので、以下、第３の実施形態と異なる構成および動作を中心に説明する。
上述した第３の実施形態では、仮想オブジェクトの視差のある三次元画像を複数のユーザに対して透過型ディスプレイによって見せる画像表示システムを例示した。第３の実施形態における透過型ディスプレイは、透明基板上に、画面の横方向（水平方向）に並んだ所定個の画素をひとまとまりの画素ユニット（画素集団）とし、複数の画素ユニットをマトリクス状に配置し、画素ユニット上に、画素ユニットと同じ幅のシリンドリカルレンズのレンズ素子を設けた構成であった。第４の実施形態では、第３の実施形態とは異なる構成の透過型ディスプレイを用いた画像表示システムを例示する。ただし、第４の実施形態の画像表示システムの構成および動作は、第３の実施形態のものと概ね同様なので、以下、第３の実施形態と異なる構成および動作を中心に説明する。
【0131】
＜ディスプレイ構成の概要および製造方法＞
図１５は、第４の実施形態のシステムにおけるディスプレイ装置の構成を説明するための概略図である。図１５には、ディスプレイ装置の画面を正面から見た図が示されている。
図１５は、第４の実施形態のシステムにおけるディスプレイ装置の構成を説明するための概略図である。図１５には、ディスプレイ装置の画面を正面から見た図が示されている。
【0132】
本実施形態の透過型ディスプレイ装置３０は、第３の実施形態のものと同様、透明あるいは半透明であるとともに、複数の表示方向に異なる画像を同時に表示可能なディスプレイである。
【0133】
図１５に示されているように、透明基板３０１に、画面の横方向に長手方向を有し互いに上下に所定間隔で離間して平行に配列された複数の画素列３００と、複数の画素列３００を縦方向（垂直方向）に横切る複数のレンズ素子３０３とが配置されている。
【0134】
透明基板３０１は、透明な平板であり、アクリル板を含む透明な樹脂板を用いても良いし、ガラスであっても良い。ある程度の透明性を持つものであれば材料は問わない。
【0135】
画素列３００内には、長手方向（横方向）に不図示の複数の画素が配列されている。各画素は一例としてＲＧＢの有機ＥＬ素子である。レンズ素子３０３は、短手方向（横方向）に画素列３００における所定個の画素に相当する幅を有し、短手方向にレンズとして働くかまぼこ状のシリンドリカルレンズである。ここでは一例としてレンズ素子３０３の短手方向の幅は４５個の画素に相当するものとする。レンズ素子３０３は、一例として画面の縦方向に長手方向を有し、横方向に所定間隔を開けて配置されている。
【0136】
画素列３００の有機ＥＬ素材は、透明基板３０１の表面に付着されている。有機ＥＬ素材は、例えば蒸着方式あるいは印刷方式で透明基板３０１へ付着される。
【0137】
レンズ素子３０３は、一例として、個別に製造したものを、画素列３００が配置された透明基板３０１の所定の位置に透明の接着剤で個別に接着することで、各画素列３００と交差するように配置することができる。あるいは、３Ｄプリント技術を用いて、画素列３００が配置された透明基板３０１の所定の位置に透明材料を吐出してシリンドリカルレンズを形成することにより、各画素列３００と交差するようにレンズ素子３０３を設けることができる。さらには、複数のレンズ素子３０３が位置決めして配置されて一体となった透明フィルム部材を予め金型を用いた熱プレス成型などの方法を用いて形成してできた透明フィルム部材や、ガラス基板などの上にＵＶ硬化性樹脂を流しその上から金型を押しあてた後にＵＶ硬化させることでガラス基盤上に直接レンズ素子３０３を成形した透明フィルムーガラス一体型部材を、画素列３００が配置された透明基板３０１上に所定の位置決めをして貼り付けることによっても、各画素列３００と交差するようにレンズ素子３０３を設けることができる。
【0138】
ほかにも、複数の透明基板を貼り合わせる構造の板の中間膜の部分に、アレイ状の画素ユニットと画素ユニットに電力や信号を供給する電極線を挿入すると同時に、レンズ素子を含むフィルムや板、視差バリアを生じさせるフィルムや板を挿入する方法で透明基板３０１を製作してもよい。
【0139】
また、画素列３００のみを中間膜に挿入して透明基盤３０１を形成した後、外側にレンズ素子３０３を含むフィルムや板を張り付ける方法としても良い。
【0140】
各々の画素列３００は、互いに所定の間隔をおいて配置されている。また、各々のレンズ素子３０３も、互いに所定の間隔をおいて配置されている。それにより、複数のレンズ素子３０３と複数の画素列３００とが互いに交差して格子状となっている。画素列３００及びレンズ素子３０３のいずれも配置されていない領域では、透明基板３０１を通して透過型ディスプレイ装置３０の奥側の実空間を見ることができる。また、画素列３００は配置されていないがレンズ素子３０３は配置されている領域では、レンズ素子３０３および透明基板３０１を通して透過型ディスプレイ装置３０の奥側の実空間をある程度は見ることができる。
【0141】
本実施形態の透過型ディスプレイ装置３０では画素列３００及びレンズ素子３０３は比較的「疎」に配置されており、一例として、透過型ディスプレイ装置３０の画面全体のうちの画素列３００及びレンズ素子３０２が占める割合は数十パーセントから数パーセント、将来の技術発展によって画素ユニットのサイズをより小さくすることができれば数パーセント以下とすることができる。一つ一つの画素ユニットのサイズを小さくしたり、画素ユニット一つ一つの光の強度を上げることができたりすれば、透明度を確保しながらも、映像も周囲の光に負けずユーザに視認させられるように表示させることが可能となり、本件のように透過型ディスプレイ装置３０を通して見える実空間に仮想オブジェクトを重畳表示する用途において、仮想オブジェクトを見るユーザに対して画像における十分な解像度と明瞭さを提供することができる。
【0142】
透明基板３０１には一例として各画素列３００の各画素に電気的に接続された透明度の高い導電性の素材で作られた電極線や、ごく微細な金属の電極線（不図示）が設けられており、各画素列３００の各画素は、こうした電極を介して供給される電力と駆動信号によって個別に発光駆動、または光の透過制御が行われる。
【0143】
続いて、本実施形態の透過型ディスプレイ装置３０のより詳細な構成と、透過型ディスプレイ装置３０による表示動作制御と、透過型ディスプレイ装置３０のキャリブレーションについて説明する。
【0144】
【0145】
本実施形態における透過型ディスプレイ装置３０では、一例として、画像列３００における画面に直交する方向においてレンズ素子３０３と重なる部分にある連続する４５個の画素（ＲＧＢ表示素子）３０２’を画素ユニット３０２というまとまった単位の集合として扱う。ただし、４５個という画素ユニット３０２の画素数は一例であり、画素ユニット３０２における画素数がこれに限定されることはない。
【0146】
第４の実施形態では、第３の実施形態と同様、複数の画素ユニットがマトリクス状に配置されることとなる。即ち、１つの画素ユニット３０２は４５個の画素からなり、各画素にはＲＧＢ表示素子３０２’が配置される。ＲＧＢ表示素子３０２’は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色を表示する３つのサブピクセル表示素子から構成されている。あるいは、ＲＧＢ表示素子３０２’は４色分の表示素子であってもよいし、１色分の表示素子であってもよい。４５画素からなる画素ユニット３０２は、一般的なディスプレイの１画素に対応する。画素ユニット３０２内の４５画素分のＲＧＢ表示素子３０２’から射光された４５本のＲＧＢ光は、レンズ素子３０３にて、それぞれの光路の方向を、図１６に示される例えば０～４４の４５本の表示方向（以下、この方向を「表示方向５０１」と記載）に屈折させる。
【0147】
そして、画像生成装置１０は、各ユーザ２１～２４の異なる視点位置２Ａ毎に、それらの視点位置２Ａ１～２Ａ４に対応して画像生成装置１０が生成した表示画像のデータを、例えば基準座標空間（図４）の画素ユニット３０２の位置から各ユーザ２１～２４の視点位置２Ａ１～２Ａ４に向かう方向５０２Ａ，５０２Ｂ，５０２Ｃ，５０２Ｄに対応する画素番号のＲＧＢ表示素子３０２’に入力させる。以下、この方向を、ユーザ視点位置方向５０２Ａ，５０２Ｂ，５０２Ｃ，５０２Ｄと記載する。又は、これらの方向を総称して、ユーザ視点位置方向５０２と記載する。
【0148】
ここで、画像生成装置１０の処理部１４は、測定装置２０で検出された各ユーザ２１～２４の視点位置２Ａ１～２Ａ４毎に、例えばその視点位置から左右に一定距離離れたユーザの右目及び左目から夫々、透過型ディスプレイ装置３０を介して仮想空間上の三次元の仮想オブジェクトを見たときに、各ユーザ２にとって仮想オブジェクトが実空間に存在するかのように錯覚させるべく幾何学的厳密さをもって確からしく自然な画像に見えるように、右目用表示画像及び左目用表示画像を生成してもよい。画像生成装置１０は、透過型ディスプレイ装置３０の画面に表示する右目用表示画像及び左目用表示画像を生成する際に、三次元ＣＧデータで表現される仮想オブジェクトを、各ユーザ２１～２４の視点位置２Ａ１～２Ａ４に基づいて透過型ディスプレイ装置３０の画面、すなわち二次元の面に投影させるような射影変換、透視投影変換、もしくはそれに類する計算処理を行ってもよい。
【0149】
この場合、処理部１４は、各ユーザ２１～２４の視点位置２Ａ１～２Ａ４毎に、各視点位置に対応して生成された上述の右目用表示画像及び左目用表示画像のデータを夫々、各視点位置に対応する各ユーザ視点位置方向５０２Ａ，５０２Ｂ，５０２Ｃ，５０２Ｄの両側に位置する、右目の表示方向に対応する画素番号のＲＧＢ表示素子３０２’と、左目の表示方向に対応する画素番号のＲＧＢ表示素子３０２’とに表示させる。
【0150】
以上の制御動作の結果、図１６のユーザ２１～２４毎に、各右目及び各左目と各レンズ素子３０３とを結ぶ視線方向５００として示されるように、また、図３の表示Ｄ１，Ｄ２，Ｄ３等として説明したように、仮想オブジェクトの表示状態がユーザ２毎に制御された画像を、透過型ディスプレイ装置３０に対して様々な位置にいる複数人のユーザ２１～２４に、同時に表示することが可能となる。この場合、各ユーザ２１～２４においては、両眼の視差を有する画像が夫々の右目と左目に入射されるため、臨場感のある裸眼での立体視を体験することができる。
【0151】
本実施形態では、測定装置２０によって各ユーザ２の視点位置２Ａが検出され、仮想オブジェクトＶｏｂｊの表示画像を各ユーザ２の視点位置２Ａに応じて射影変換、透視投影変換、もしくはそれに類する計算処理が実行される。
【0152】
＜表示処理の詳細＞
図１３を用いて、第４の実施形態における表示処理の詳細例を説明する。以下、この処理について、上述した図１７の説明図に従って説明する。処理部１４は、図１７で説明した０番目から４４番目までの４５個の表示方向５０１のうち、まず０番目の表示方向５０１と、図６のステップＳ１０２で算出された１つ以上の視点位置２Ａのうち最初の視点位置２Ａ（例えば図１７の２Ａ１）を通るユーザ視点位置方向５０２（例えば図１７の５０２Ａ）の間の、例えば図１７の０番目から３番目までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、最初の視点位置２Ａ（例えば図１７の２Ａ１）の左目の表示方向に対応して生成された左目用表示画像データをセットする（ステップＳ９０１）。このセットの処理は、各画素ユニット３０２（図１６参照）の、当該画素ユニット３０２から最初の視点位置２Ａに向かうユーザ視点位置方向５０２に応じて定まるＲＧＢ表示素子３０２’に対して実行される。
図１３を用いて、第４の実施形態における表示処理の詳細例を説明する。以下、この処理について、上述した図１７の説明図に従って説明する。処理部１４は、図１７で説明した０番目から４４番目までの４５個の表示方向５０１のうち、まず０番目の表示方向５０１と、図６のステップＳ１０２で算出された１つ以上の視点位置２Ａのうち最初の視点位置２Ａ（例えば図１７の２Ａ１）を通るユーザ視点位置方向５０２（例えば図１７の５０２Ａ）の間の、例えば図１７の０番目から３番目までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、最初の視点位置２Ａ（例えば図１７の２Ａ１）の左目の表示方向に対応して生成された左目用表示画像データをセットする（ステップＳ９０１）。このセットの処理は、各画素ユニット３０２（図１６参照）の、当該画素ユニット３０２から最初の視点位置２Ａに向かうユーザ視点位置方向５０２に応じて定まるＲＧＢ表示素子３０２’に対して実行される。
【0153】
次に、処理部１４は、画像生成装置１０の記憶部１２における特には図示しない例えばＲＡＭやレジスタに記憶されている視点位置２Ａを示す変数値を＋１する（ステップＳ９０５）。
【0154】
次に、処理部１４は、上記視点位置２Ａを示す変数値が、予め定められた最後のユーザ視点位置を示す値を超えたか否かを判定する（ステップＳ９０６）。最後の視点位置２Ａを示す値は、システム１を利用するユーザ２の数に合わせて予め定めて、上記のＲＡＭやレジスタに記憶させることができる。ステップＳ９０６では、視点位置２Ａを示す変数値が予め定められて記憶された上記値を超えたか否かにより、視点位置２Ａを示す変数値が最後のユーザ視点位置を示す値を超えたか否かを判定する。
【0155】
まだ最後のユーザ視点位置まで処理されておらず、ステップＳ９０６の判定がＮＯならば、処理部１４は、ステップＳ９０２の処理に制御を移して、ステップＳ９０２からＳ９０４までの処理を実行する。
【0156】
まず、処理部１４は、画素ユニット３０２から、前回の視点位置２Ａ（例えば図１７の２Ａ１）と今回の視点位置２Ａ（例えば図１７の２Ａ２）との中点に向かう中点方向５０３（例えば図１７の５０３ＡＢ）を算出する（ステップＳ９０２）。
【0157】
次に、処理部１４は、前回のユーザ視点位置２Ａ（例えば図１７の２Ａ１）を通るユーザ視点位置方向５０２（例えば図１７の５０２Ａ）と、今回算出した中点方向５０３（例えば図１７の５０３ＡＢ）の間の例えば図１７の４番から１０番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、前回のユーザ視点位置２Ａ（例えば図１７の２Ａ１）の右目の表示方向に対応して生成された右目用表示画像データをセットする（ステップＳ９０３）。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素ユニット３０２（図１６参照）の当該画素ユニット３０２に対するユーザ視点位置方向５０２とステップＳ９０２にて当該画素ユニット３０２に対して定まった中点方向５０３との間のＲＧＢ表示素子３０２’に対して実行される。
【0158】
続いて、処理部１４は、ステップＳ９０２で今回算出した中点方向５０３（例えば図１７の５０３ＡＢ）と、今回のユーザ視点位置２Ａ（例えば図１７の２Ａ２）を通るユーザ視点位置方向５０２（例えば図１２の５０２Ｂ）との間の例えば図１７の１１番から１６番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、今回のユーザ視点位置２Ａ（例えば図１７の２Ａ２）の左目の表示方向に対応して生成された左目用表示画像データをセットする（ステップＳ９０４）。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素ユニット３０２（図１６参照）の、ステップＳ９０２にて当該画素ユニット３０２’対して定まった中点方向５０３と、当該画素ユニット３０２に対するユーザ視点位置方向５０２との間のＲＧＢ表示素子３０２’に対して実行される。
【0159】
その後、処理部１４は、前述したように、視点位置２Ａを示す変数値を＋１し（ステップＳ９０５）、その変数値が、予め定められた最後のユーザ視点位置２Ａを示す値を超えたか否かを判定する（ステップＳ９０６）。
【0160】
まだ最後の視点位置２Ａまで処理されておらず、ステップＳ９０６の判定がＮＯならば、処理部１４は、上述したステップＳ９０２からＳ９０４までの処理を再び実行する。
【0161】
前述と同様のステップＳ９０２により、例えば図１７において、画素ユニット３０２から、前回の視点位置２Ａ２と今回のユーザ視点位置２Ａ３との中点に向かう中点方向５０３ＢＣが算出される。
【0162】
次に、前述と同様のステップＳ９０３により、例えば図１７において、前回の視点位置２Ａ２を通るユーザ視点位置方向５０２Ｂと、今回算出した中点方向５０３ＢＣの間の例えば図１７の１７番から２１番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、前回の視点位置２Ａ２の右目の表示方向に対応して生成された右目用表示画像データがセットされる。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素ユニット３０２（図１６参照）の、当該画素ユニット３０２に対するユーザ視点位置方向５０２とステップＳ９０２にて当該画素ユニット３０２に対して定まった中点方向５０３との間のＲＧＢ表示素子３０２’に対して実行される。
【0163】
続いて、前述と同様のステップＳ９０４により、例えば図１７において、ステップＳ９０２で今回算出した中点方向５０３ＢＣと、今回の視点位置２Ａ３を通るユーザ視点位置方向５０２Ｃとの間の例えば図１７の２２番から２６番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、今回の視点位置２Ａ３の左目の表示方向に対応して生成された左目用表示画像データがセットされる。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素ユニット３０２（図１６参照）の、ステップＳ９０２にて当該画素ユニット３０２’対して定まった中点方向５０３と、当該画素ユニット３０２に対するユーザ視点位置方向５０２との間のＲＧＢ表示素子３０２’に対して実行される。
【0164】
その後、処理部１４は、前述したように、視点位置２Ａを示す変数値を＋１し（ステップＳ９０５）、その変数値が、予め定められた最後のユーザ視点位置２Ａを示す値を超えたか否かを判定する（ステップＳ９０６）。
【0165】
まだ最後の視点位置２Ａまで処理されておらず、ステップＳ９０６の判定がＮＯならば、処理部１４は、上述したステップＳ９０２からＳ９０４までの処理を再び実行する。
【0166】
前述と同様のステップＳ９０２により、例えば図１７において、画素ユニット３０２から、前回の視点位置２Ａ３と今回の視点位置２Ａ４との中点に向かう中点方向５０３ＣＤが算出される。
【0167】
次に、前述と同様のステップＳ９０３により、例えば図１７において、前回のユーザ視点位置２Ａ３を通るユーザ視点位置方向５０２Ｃと、今回算出した中点方向５０３ＣＤとの間の例えば図１２の２７番から３０番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、前回の視点位置２Ａ３の右目の表示方向に対応して生成された右目用表示画像データがセットされる。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素ユニット３０２（図１６参照）の、当該画素ユニット３０２に対するユーザ視点位置方向５０２とステップＳ９０２にて当該画素ユニット３０２に対して定まった中点方向５０３との間のＲＧＢ表示素子３０２’に対して実行される。
【0168】
続いて、前述と同様のステップＳ９０４により、例えば図１７において、ステップＳ９０２で今回算出した中点方向５０３ＣＤと、今回のユーザ視点位置２Ａ４を通るユーザ視点位置方向５０２Ｄの間の例えば図１７の３１番から３４番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、今回の視点位置２Ａ４の左目の表示方向に対応して生成された左目用表示画像データがセットされる。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素ユニット３０２（図１６参照）の、ステップＳ９０２にて当該画素ユニット３０２’に対して定まった中点方向５０３と、当該画素ユニット３０２に対するユーザ視点位置方向５０２との間のＲＧＢ表示素子３０２’に対して実行される。
【0169】
その後、処理部１４は、前述したように、視点位置２Ａを示す変数値を＋１し（ステップＳ９０５）、その変数値が、予め定められた最後の視点位置２Ａを示す値を超えたか否かを判定する（ステップＳ９０６）。
【0170】
最後のユーザ視点位置２Ａまで処理された後に、ステップＳ９０６の判定がＹＥＳになると、処理部１４は、最後のステップＳ９０７の処理を実行する。ステップＳ９０７において、処理部１４は、今回の視点位置２０４（例えば図１７の２Ａ４）を通るユーザ視点位置方向５０２（例えば図１７の５０２Ｄ）と、４４番目の表示方向５０１の間の例えば図１７の３５番から４４番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子に、最後のユーザ視点位置２Ａ（例えば図１７の２Ａ４）の右目の表示方向に対応して生成された右目用表示画像データをセットする。このセットの処理は、各画素ユニット３０２（図１６参照）の、当該画素ユニット３０２から最後の視点位置２Ａに向かうユーザ視点位置方向５０２に応じて定まるＲＧＢ表示素子３０２’に対して実行される。
【0171】
【0172】
以上の図１３のフローチャートで例示した画像表示処理では、図１７において２つの視点位置２Ａのユーザ視点位置方向５０２と、それらの視点位置２Ａ間の中点を通る中点方向５０３とで区切られる区間の各表示方向５０１に、隣接する視点位置２Ａの右目又は左目の表示方向に対応して生成された右目用又は左目用表示画像データがコピーしてセットされた。これに対して、透過型ディスプレイ装置３０に近いユーザ２の視点位置２Ａと、透過型ディスプレイ装置３０から遠いユーザ２の視点位置２Ａとで、各表示方向５０１への表示画素のマッピングのアルゴリズムを変えることにより、表示画素の変化感度がユーザ２の視点位置Ａに応じて均一になるようにすることもできる。又は、単純にコピーするのではなく、隣接する２つの表示画像間で、各表示方向５０１に応じて補間処理を行って算出した表示画素がセットされてもよい。
【0173】
このように、本実施形態によれば、三次元眼鏡装置を装着しない裸眼の複数のユーザ２に対して、各ユーザ２１～２４の視点位置２Ａ１～２Ａ４毎に、例えばその視点位置から左右に一定距離離れたユーザの右目及び左目から夫々、透過型ディスプレイ装置３０を介して仮想空間上の三次元の立体的な仮想オブジェクトを見たときに、各ユーザ２にとって仮想オブジェクトが実空間に存在するかのように錯覚させるべく幾何学的厳密さをもって確からしく自然な画像に見えるように、仮想オブジェクトの表示画像を左右の眼の視差を与える２つの画像からなる三次元画像（立体視画像）として、透過型ディスプレイ装置３０を通して見える実空間に重畳して提示することができる。加えて、本実施形態によれば各ユーザ２の視点位置２Ａに応じた仮想オブジェクトの別々の表示画像を、各ユーザ２に対して同時に提示することができる。
【0174】
＜キャリブレーション処理＞
画素ユニット３０２の画素の番号によってその画素から射出した光がレンズ素子３０３により屈折して向かう方向が異なるので、透過型ディスプレイ装置３０において画素とレンズ素子とが高い精度で所望の位置関係にあることが求められる。しかしながら、画素とレンズ素子とを高い精度で所望の位置関係となるように透過型ディスプレイ装置３０を製造することが難しい場合がある。例えば、画素列３００が配置された透明基板３０１に、複数のシリンドリカルレンズであるレンズ素子３０３が形成された透明シートを接着することにより透過型ディスプレイ装置３０を製造する場合、透明シートの伸縮や透明基板３０１に対する透明シートの位置や角度の誤差により、レンズ素子３０３を画素に対して正確に位置決めすることが難しい場合がある。また、例えば、画素列３００が配置された透明基板３０１に、複数のシリンドリカルレンズであるレンズ素子３０３を個々に接着する際に、レンズ素子３０３を画素に対して正確に位置決めして接着することが難しい場合がある。また、例えば、画素列３００が配置された透明基板３０１に、画素列３００の形成とは別のプロセスにおいてレンズ素子３０３を透明基板３０１に印刷する際に、レンズ素子３０３を画素に対して正確に位置決めして接着することが難しい場合がある。
画素ユニット３０２の画素の番号によってその画素から射出した光がレンズ素子３０３により屈折して向かう方向が異なるので、透過型ディスプレイ装置３０において画素とレンズ素子とが高い精度で所望の位置関係にあることが求められる。しかしながら、画素とレンズ素子とを高い精度で所望の位置関係となるように透過型ディスプレイ装置３０を製造することが難しい場合がある。例えば、画素列３００が配置された透明基板３０１に、複数のシリンドリカルレンズであるレンズ素子３０３が形成された透明シートを接着することにより透過型ディスプレイ装置３０を製造する場合、透明シートの伸縮や透明基板３０１に対する透明シートの位置や角度の誤差により、レンズ素子３０３を画素に対して正確に位置決めすることが難しい場合がある。また、例えば、画素列３００が配置された透明基板３０１に、複数のシリンドリカルレンズであるレンズ素子３０３を個々に接着する際に、レンズ素子３０３を画素に対して正確に位置決めして接着することが難しい場合がある。また、例えば、画素列３００が配置された透明基板３０１に、画素列３００の形成とは別のプロセスにおいてレンズ素子３０３を透明基板３０１に印刷する際に、レンズ素子３０３を画素に対して正確に位置決めして接着することが難しい場合がある。
【0175】
したがって、本実施形態の透過型ディスプレイ装置３０は製造時等に誤差が生じる可能性がある。特に、透明基板３０１に対してレンズ素子３０３を設けるときに画素３０２’に対する位置に誤差が生じる可能性がある。透過型ディスプレイ装置３０は、各画素３０２’から発せられる光をレンズ素子３０３によって所定の方向に正確に屈折させることで、ユーザの視点位置に向けて適切な画像を表示することを可能にする構成である。したがって、レンズ素子３０３と画素３０２’との相対位置に誤差があると画像が劣化してしまう。キャリブレーション処理は、透過型ディスプレイ装置３０の製造等による個体差による画像の劣化を改善する処理である。透過型ディスプレイ装置３０の個体に対して最低１回行うとよい。
【0176】
図１８は、キャリブレーション処理のフローチャートである。キャリブレーションは、調整者の目視によって調整を行ってもよいし、自動化してもよい。自動化する場合、例えば、カメラにより撮像される画像が所望の画像となるように調整を行えばよい。目視によるキャリブレーションも自動化したキャリブレーションも基本的な処理の流れは共通である。以下、図１８を参照してキャリブレーションの基本的な処理の流れを説明する。
【0177】
調整者が透過型ディスプレイ装置３０の画面の前で画面を見ている状態もしくはその位置にキャリブレーション用の撮像装置（カメラ）を設置した状態で、処理部１４は、調整者の視点もしくは撮像装置の位置の情報を取得する（ステップＳ１００１）。次に、処理部１４は、その視点位置の方向を中心に左右に所定幅の範囲に向けて特定画像を表示する。特定画像は特に限定されない。例えば、特定画像として縦縞、ななめ縞、格子柄などを用いることができる。続いて、処理部１４は、画像ユニット３０２にどの範囲の画素３０２’を用いるかを調整することを可能にするパラメータ調整ＧＵＩを調整者を提供するとともに、調整者からの目線もしくは撮像装置からの撮像映像で特定画像がよく見えるようにパラメータを調整するように調整者に促すもしくは特定画像のもと計算処理によりパラメータを自動調整させる。そして、処理部１４は、調整者の視点位置もしくは撮像装置を移動させながら（ステップＳ１００５）、所定の終了条件が満たさせるまで（ステップＳ１００４）、ステップＳ１００１－Ｓ１００３の処理を繰り返す。
【0178】
このとき、例えば、視点位置もしくは撮像装置の位置を画面に向かって左右にまんべんなく設定できるように予め調整回数を定めておき、その調整回数となるまで調整を繰り返してキャリブレーションを終了することにしてもよい。また、ステップＳ１００３の処理は左右の目で見ながら行うことにしてもよいし、片目ずつ別々に行うことにしてもよい。撮像装置を用いて同様にしてもよい。また、ステップＳ１００３で調整するパラメータは、特に限定されない。例えば、画素ユニット３０２に用いる画素３０２’を画面全体で左右にシフトさせるパラメータ、画像ユニット３０２に用いる画素３０２’を画面上下で傾ける角度を調整するパラメータ、画像ユニット３０２に用いる画素３０２’を画面左右方向に徐々にずらしていく度合いを調整するパラメータなどを組み合わせて用いることにしてもよい。これらのパラメータは画面全体で調整しても良いが、各々の画素に相当する各画素ユニット３０２毎に調整してもよい。
【0179】
以上説明した本実施形態における透過型ディスプレイ装置３０のレンズ素子３０３の形状および配置は様々な変形が可能である。
【0180】
（変形例１）
図１９は、第４の実施形態のシステムにおけるディスプレイ装置の変形例１の構成を説明するための概略図である。図１９には、ディスプレイ装置の画面を正面から見た図が示されている。本透過型ディスプレイ装置３０は、第４の実施形態のものと同様、透明あるいは半透明であるとともに、複数の表示方向に異なる画像を同時に表示可能なディスプレイである。
図１９は、第４の実施形態のシステムにおけるディスプレイ装置の変形例１の構成を説明するための概略図である。図１９には、ディスプレイ装置の画面を正面から見た図が示されている。本透過型ディスプレイ装置３０は、第４の実施形態のものと同様、透明あるいは半透明であるとともに、複数の表示方向に異なる画像を同時に表示可能なディスプレイである。
【0181】
図１９に示されているように、変形例１においても、第４の実施形態のものと同様、透明基板３０１に、画面の横方向に長手方向を有し互いに上下に所定間隔で離間して平行に配列された複数の画素列３００と、複数の画素列３００を縦方向に横切る複数のレンズ素子３０３とが配置されている。ただし、変形例１においては、第４の実施形態のものと異なり、縦方向に長手方向を有する複数のレンズ素子３０３は、横方向に間隔を開けず隣接して配置されている。したがって、ユーザは、画素列３００は配置されていないがレンズ素子３０３は配置されている領域で、レンズ素子３０３および透明基板３０１を通して透過型ディスプレイ装置３０の奥側の実空間を見ることになる。
【0182】
（変形例２）
図２０は、第４の実施形態のシステムにおけるディスプレイ装置の変形例２の構成を説明するための概略図である。図２０には、ディスプレイ装置の画面を正面から見た図が示されている。本透過型ディスプレイ装置３０は、第４の実施形態のものと同様、透明あるいは半透明であるとともに、複数の表示方向に異なる画像を同時に表示可能なディスプレイである。
図２０は、第４の実施形態のシステムにおけるディスプレイ装置の変形例２の構成を説明するための概略図である。図２０には、ディスプレイ装置の画面を正面から見た図が示されている。本透過型ディスプレイ装置３０は、第４の実施形態のものと同様、透明あるいは半透明であるとともに、複数の表示方向に異なる画像を同時に表示可能なディスプレイである。
【0183】
図２０に示されているように、変形例２においても、第４の実施形態のものと同様、透明基板３０１に、画面の横方向に長手方向を有し互いに上下に所定間隔で離間して平行に配列された複数の画素列３００と、画素列３００を縦方向に横切る複数のレンズ素子３０３とが配置されている。ただし、変形例２においては、第４の実施形態のものと異なり、複数のレンズ素子３０３は、それぞれ１つの画素列３００を縦方向に横切るように、横方向にも縦方向にも間隔を開けてマトリクス状に配置されている。したがって、ユーザは、第４の実施形態のものよりも、画素列３００もレンズ素子３０３も配置されていない領域が広く取れている。
【0184】
（変形例３）
図２１は、第４の実施形態のシステムにおけるディスプレイ装置の変形例３の構成を説明するための概略図である。図２１には、ディスプレイ装置の画面を正面から見た図が示されている。本透過型ディスプレイ装置３０は、第４の実施形態のものと同様、透明あるいは半透明であるとともに、複数の表示方向に異なる画像を同時に表示可能なディスプレイである。
図２１は、第４の実施形態のシステムにおけるディスプレイ装置の変形例３の構成を説明するための概略図である。図２１には、ディスプレイ装置の画面を正面から見た図が示されている。本透過型ディスプレイ装置３０は、第４の実施形態のものと同様、透明あるいは半透明であるとともに、複数の表示方向に異なる画像を同時に表示可能なディスプレイである。
【0185】
図２１に示されているように、変形例３においても、第４の実施形態のものと同様、透明基板３０１に、画面の横方向に長手方向を有し互いに上下に所定間隔で離間して平行に配列された複数の画素列３００と、画素列３００を縦方向に横切る複数のレンズ素子３０３とが配置されている。ただし、変形例３においては、第４の実施形態のものと異なり、複数のレンズ素子３０３は、それぞれ１つの画素列３００を縦方向に横切るように縦方向に間隔を開け、横方向には間隔を開けず隣接して配置されている。画素列３００及びレンズ素子３０３のいずれも配置されていない領域では、透明基板３０１を通して透過型ディスプレイ装置３０の奥側の実空間を見ることができる。また、画素列３００は配置されていないがレンズ素子３０３は配置されている領域では、レンズ素子３０３および透明基板３０１を通して透過型ディスプレイ装置３０の奥側の実空間をある程度は見ることができる。
【0186】
（変形例４）
図２２は、第４の実施形態のシステムにおけるディスプレイ装置の変形例４の構成を説明するための図である。図２２には、ディスプレイ装置の画面を正面から見た図が示されている。本透過型ディスプレイ装置３０は、第４の実施形態のものと同様、透明あるいは半透明であるとともに、複数の表示方向に異なる画像を同時に表示可能なディスプレイである。
図２２は、第４の実施形態のシステムにおけるディスプレイ装置の変形例４の構成を説明するための図である。図２２には、ディスプレイ装置の画面を正面から見た図が示されている。本透過型ディスプレイ装置３０は、第４の実施形態のものと同様、透明あるいは半透明であるとともに、複数の表示方向に異なる画像を同時に表示可能なディスプレイである。
【0187】
図２２に示されているように、変形例４においては、透明基板３０１に、画面の横方向に長手方向を有し互いに上下および左右に所定間隔で離間してマトリクス状に配列された複数の画素列３００と、マトリクス状の複数の画素列３００のうち縦方向に並んだ複数の画素列３００を縦方向に横切る複数のレンズ素子３０３とが配置されている。本変形例の画素列３００は、画素ユニット３０２の画素数（本実施形態では４５個）よりも多い個数の画素３０２’の列である。それにより、画素列３００のどの部分を画素ユニット３０２とするかをキャリブレーションにより調整することが可能となっている。また、変形例４においては、第４の実施形態のものと異なり、複数の画素列３００は、横方向にも縦方向にも間隔を空けてマトリクス状に配置されているので、第４の実施形態のものより、画素列３００が配置されていない領域が広く取られている。
【0188】
本実施形態における透過型ディスプレイ装置３０の適用例としては、例えば、自動車等のガラス部分に本実施形態の透過型ディスプレイ装置３０を装着し、その車内の前席及び後席にそれぞれ着座している複数のユーザ２の各々に対して仮想オブジェクトの立体的な表示画像を提示することが考えられる。本実施形態の透過型ディスプレイ装置３０によれば、透過型ディスプレイ装置３０に対する距離及び視線方向が異なる複数のユーザ２に対して個別に仮想オブジェクトの表示画像を表示できるので、移動する自動車のガラスとしての透過型ディスプレイ装置３０の周囲に見える実空間に対して、各ユーザ２の視点位置から見た景色に応じた仮想オブジェクトを重畳して提示することができる。
【0189】
本実施形態では、レンズ素子３０３として、シリンドリカルレンズによるレンチキュラーレンズの他、光の方向を制御するような半球状半楕円体形状など任意の立体形状のレンズを用いてもよい。また、レンズを用いる代わりに視差バリア（パララックスバリア）を生じさせるフィルムや板などの部材を用いても良い。
【0190】
本実施形態の画素列３０２の画素３０２’は、一例として有機ＥＬ素子としたが、他の素子であってもよい。例えば、画素３０２’は、有機ＥＬの他、ｍｉｎｉＬＥＤやマイクロＬＥＤのような自発光の素子であってもよいし、液晶の仕組みを用いて光の透過制御を行う素子であっても良い。また、画素３０２’は、外部からのプロジェクション光に対して反射させることでユーザの視覚に色を認識させる素子や発光材料などでもよい。また、本実施形態では、画素３０２’として、ＲＧＢの素子を例示したが、例えば緑色や赤色など単色の画素であってもよい。
【0191】
［第５の実施形態］
上述した第３の実施形態では、仮想オブジェクトの視差のある三次元画像を複数のユーザに対して透過型ディスプレイによって見せる画像表示システムを例示した。第３の実施形態における透過型ディスプレイは、透明基板上に、画面の横方向（水平方向）に並んだ所定個の画素をひとまとまりの画素ユニットとし、複数の画素ユニットをマトリクス状に配置し、画素ユニット上に、画素ユニットと同じ幅のシリンドリカルレンズのレンズ素子を設けた構成であった。第５の実施形態では、第３の実施形態とは異なる構成の透過型ディスプレイを用いた画像表示システムを例示する。ただし、第５の実施形態の画像表示システムの構成および動作は、第３の実施形態のものと概ね同様なので、以下、第３の実施形態と異なる構成および動作を中心に説明する。
＜ディスプレイ構成の概要および製造方法＞
図２３は、第５の実施形態のシステムにおけるディスプレイ装置の構成を説明するための概略図である。図２３には、ディスプレイ装置の画面を正面から見た図が示されている。
上述した第３の実施形態では、仮想オブジェクトの視差のある三次元画像を複数のユーザに対して透過型ディスプレイによって見せる画像表示システムを例示した。第３の実施形態における透過型ディスプレイは、透明基板上に、画面の横方向（水平方向）に並んだ所定個の画素をひとまとまりの画素ユニットとし、複数の画素ユニットをマトリクス状に配置し、画素ユニット上に、画素ユニットと同じ幅のシリンドリカルレンズのレンズ素子を設けた構成であった。第５の実施形態では、第３の実施形態とは異なる構成の透過型ディスプレイを用いた画像表示システムを例示する。ただし、第５の実施形態の画像表示システムの構成および動作は、第３の実施形態のものと概ね同様なので、以下、第３の実施形態と異なる構成および動作を中心に説明する。
＜ディスプレイ構成の概要および製造方法＞
図２３は、第５の実施形態のシステムにおけるディスプレイ装置の構成を説明するための概略図である。図２３には、ディスプレイ装置の画面を正面から見た図が示されている。
【0192】
本実施形態の透過型ディスプレイ装置３０は、第３の実施形態のものと同様、透明あるいは半透明であるとともに、複数の表示方向に異なる画像を同時に表示可能なディスプレイである。
【0193】
図２３に示されているように、透明基板３０１に、一例として画面の横方向に８列、縦方向に４列ずつ一定の間隔で配置され、８×４のマトリクス状に構成された複数の画素から構成される画素集団３０４が、さらに複数配置され、さらに縦方向（垂直方向）に対して一定の角度θで傾かせた状態で横切る複数のレンズ素子３０３とが配置されている。各画素集団３０４は一例として図２３に示す通り、横方向（水平方向）においては間隙ｅを空け、縦方向（垂直方向）において間隙ｆを空けて、等間隔に配置されるが、同一の縦方向の列に配置された画素集団３０４同士はさらに横方向（水平方向）に距離ｄだけスライドさせた位置に配置されている。間隙ｅ、ｆ、距離ｄ、および角度θの相互の適切な設定によって、複数の画素集団３０４が垂直方向から角度θだけ傾いた直線上に互いに離間して配置され、レンズ素子３０３がその直線上に長手方向を有して延びるように配置され、画素集団３０４のレンズ素子３０３に対する横方向の相対的な位置は、全ての画素集団３０４において一致している。画素集団３０４内は各画素が高密度に配置される一方、となり合う画素集団３０４同士に、ｅとｆの比較的大きな間隙が存在するが、ここで、それら間隙と１つの画素集団３０４を含んだ領域３０５をＣＬＥＤ（Ｃｏｍｂｉｎｅｄ ＬＥＤ）と定義する。第５の実施形態においてはＣＬＥＤ３０５を広義の１単位画素として扱い、ＣＬＥＤ３０５が縦方向に複数個、横方向に複数個マトリクス状に配置されることで、透過型ディスプレイ装置３０を構成する。
【0194】
透明基板３０１は、透明な平板であり、アクリル板を含む透明な樹脂板を用いても良いし、ガラスであっても良い。ある程度の透明性を持つものであれば材料は問わない。
【0195】
画素集団３０４を構成する各画素は一例として縦・横・高さそれぞれ数十から数百マイクロメートルの立法体形状のＲＧＢのｍｉｎｉＬＥＤ素子であるがこれに限らない。有機ＥＬ素子でもよいし、液晶素子でもよい。またサイズも例示したサイズに限定されずそれよりも大きくとも小さくとも良い。形状も立方体に限らない。色も単色であってもよい。レンズ素子３０３は、一例として短手方向（横方向）に画素集団３０４の所定個の画素に相当する幅を有し、短手方向にレンズとして働くかまぼこ状のシリンドリカルレンズであるがこれに限らない。レンズ素子３０３として、画素集団３０４に対して図２３と同様のシリンドリカルレンズとして作用する複数のレンズ素子を、図２４に示すように縦方向に離間して画素集団３０４毎に配置してもよい。その場合、レンズ素子３０３のそれぞれは、シリンドリカルレンズであってもよいし、半球や任意のドーム形状レンズであっても良い。また、レンズ素子３０３の代わりに、図２５に示すように、パララックスバリアとして働くような一定間隔で透過部分と非透過部分を有する縞模様のスリット３０７を配置してもよい。ここでは一例としてレンズ素子３０３の短手方向の幅は図２３のように画素集団３０３の一部分を覆うような幅にするものとするが全体を覆う形にしても良い。レンズ素子３０３は、一例として画面の縦方向に対し角度θ傾けた方向に長手方向を有し、横方向に所定間隔を開けて配置されている。
【0196】
画素集団３０４のｍｉｎｉＬＥＤ素材は、透明基板３０１の表面に付着されている。ｍｉｎｉＬＥＤ素材は、例えばロボットによる精密なピックアンドプレイスやレーザーにより飛ばす方式等で透明基板３０１へ付着される。透明基盤に付着されたままではｍｉｎｉＬＥＤが付着した部分のみ凸状態となるため、これを平面にするために透明な樹脂を流しいれて固化させても良い。
【0197】
レンズ素子３０３は、一例として、個別に製造したものを、画素集団３０４が配置された透明基板３０１の所定の位置に透明の接着剤で個別に接着することで、各画素集団３０４に重なるように配置することができる。あるいは、３Ｄプリント技術を用いて、画素集団３０４が配置された透明基板３０１の所定の位置に透明材料を吐出してシリンドリカルレンズやドーム型レンズなどを形成することにより、各画素集団３０４に重なるようにレンズ素子３０３を設けることができる。さらには、複数のレンズ素子３０３が位置決めして配置された透明フィルム部材あるいは透明平板部材を、画素列３００が配置された透明基板３０１上に所定の位置決めをして貼り付けることによっても、各画素集団３０４と重なる位置にレンズ素子３０３を設けることができる。複数のレンズ素子３０３が位置決めして配置されて一体となった透明フィルム部材は、金型を用いた熱プレス成型などの方法を用いて形成することができる。複数のレンズ素子３０３が位置決めして配置されて一体となった透明平板部材は、平板のガラス基板などの上にＵＶ硬化性樹脂を流しその上から金型を押しあててＵＶ硬化させることでガラス基盤上にレンズ素子３０３を成形することにより、製作することができる。
【0198】
ほかにも、複数の透明基板を中間膜を挟むように貼り合わせる構造の板の中間膜の部分に、アレイ状の画素ユニットと画素ユニットに電力や信号を供給する電極線を挿入するとともに、レンズ素子を含むフィルムや板、視差バリアを生じさせるフィルムや板を挿入する方法で透明基板３０１を製作してもよい。
【0199】
また、画素集団３０４のみを中間膜に挿入して透明基板３０１を形成した後、透明基板３０１の表面に、レンズ素子３０３が配置された透明フィルム部材や透明平板部材を張り付けても良い。
【0200】
各々の画素集団３０４は、上述したように、互いに所定の間隔ｅ、ｆをおき距離ｄだけずらしながら配置されている。また、各々のレンズ素子３０３も、互いに所定の間隔をおいて配置されている。それにより、画素集団３０４及びレンズ素子３０３のいずれも配置されていない領域では、透明基板３０１を通して透過型ディスプレイ装置３０の奥側の実空間を見ることができる。また、画素集団３０４は配置されていないがレンズ素子３０３は配置されている領域では、レンズ素子３０３および透明基板３０１を通して透過型ディスプレイ装置３０の奥側の実空間をある程度は見ることができる。
【0201】
本実施形態の透過型ディスプレイ装置３０では画素集団３０４及びレンズ素子３０３は比較的「疎」に配置されており、一例として、透過型ディスプレイ装置３０の画面全体のうち、画素集団３０４及び／またはレンズ素子３０２が配置された領域が占める割合は、数十パーセントから数パーセントであり、画素ユニットのサイズをより小さくすれば数パーセント以下とすることも可能である。一つ一つの画素ユニットのサイズを小さくしたり、画素ユニット一つ一つの光の強度を上げれば、実空間を見るために十分な透明度を確保しながらも、映像も周囲の光に負けずユーザに視認させられるように表示させることが可能となる。これにより、本件のように透過型ディスプレイ装置３０を通して見える実空間に仮想オブジェクトを重畳表示する用途において、仮想オブジェクトを見るユーザに対して画像における十分な解像度と明瞭さを提供することができる。
【0202】
図２６に示すように、透明基板３０１には一例として各画素集団３０４の各画素に電気的に接続された透明度の高い導電性の素材で作られた電極線３０６や、ごく微細な金属の電極線３０６が設けられており、各画素集団３０４中の各画素は、こうした電極を介して供給される電力と駆動信号によって個別に発光駆動、または光の透過制御が行われる。
【0203】
続いて、本実施形態の透過型ディスプレイ装置３０のより詳細な構成と、透過型ディスプレイ装置３０による表示動作制御と、透過型ディスプレイ装置３０のキャリブレーションについて説明する。
【0204】
＜ディスプレイ構成の詳細および表示処理の概要＞
図２７、図２８および図２９は、第５の実施形態のディスプレイ装置のより詳細な構成と、ディスプレイ装置による表示動作制御について説明するための図である。図２７の左側の図は、透過型ディスプレイ装置３０を図２６と同じ角度にしたときの画素集団３０４、画素３０４’、およびレンズ素子３０３を示している。図２７の中央の図は、透過型ディスプレイ装置３０を、レンズ素子３０３が垂直となるように角度θだけ傾けたときの画素集団３０４、画素３０４’、およびレンズ素子３０３を示している。図２７の右側の図は、画素集団３０４の各画素からの光がレンズ素子３０３を通過する光路を示している。
図２７、図２８および図２９は、第５の実施形態のディスプレイ装置のより詳細な構成と、ディスプレイ装置による表示動作制御について説明するための図である。図２７の左側の図は、透過型ディスプレイ装置３０を図２６と同じ角度にしたときの画素集団３０４、画素３０４’、およびレンズ素子３０３を示している。図２７の中央の図は、透過型ディスプレイ装置３０を、レンズ素子３０３が垂直となるように角度θだけ傾けたときの画素集団３０４、画素３０４’、およびレンズ素子３０３を示している。図２７の右側の図は、画素集団３０４の各画素からの光がレンズ素子３０３を通過する光路を示している。
【0205】
本実施形態における透過型ディスプレイ装置３０では、一例として、画像集団３０４における画面に直交する方向においてレンズ素子３０３と重なる部分にある３２個の画素（ＲＧＢ表示素子）３０４’を画素集団３０４というまとまった単位の集合として扱う。ただし、３２個という画素集団３０４の画素数は一例であり、画素集団３０４における画素数がこれに限定されることはない。
【0206】
第５の実施形態では、複数の画素集団３０４がマトリクス状に配置されることとなる。即ち、１つの画素集団３０４は３２個の画素からなり、各画素にはＲＧＢ表示素子３０４’が配置される。ＲＧＢ表示素子３０４’は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色を表示する３つのサブピクセル表示素子から構成されている。あるいは、ＲＧＢ表示素子３０４’は４色分の表示素子であってもよいし、１色分の表示素子であってもよい。３２画素からなる画素集団３０４は、一般的なディスプレイの１画素に対応する。
【0207】
画素集団３０４内のＲＧＢ表示素子３０４’は、第４の実施形態の画素ユニット３０２と異なり、一列ではなく、垂直方向および水平方向にマトリクス状に配置されている。その画素集団３０４に対して、レンズ素子３０３は、垂直ではなく、図２３，図２６，図２７に示すように角度θだけ傾けて、重なるように配置されている。画素集団３０４を、その画素集団３０４のサイズに比較し十分な距離をとって観察すると、画素集団３０４を構成するＲＧＢ表示素子３０４’一つ一つの位置の違いは認識されず、画素集団３０４はおおよそひとつの点として観察者に認識される。画素集団３０４内の３２個の画素それぞれのＲＧＢ表示素子３０４’からの光は図２７におけるＺ軸方向に発せられる。しかし、それぞれのＲＧＢ表示素子３０４’からの光は、それぞれレンズ素子３０３の横幅方向（図２７のＸ軸方向）に対して等間隔に異なる位置からレンズ素子３０３に入射してレンズ内の光路をたどるので、それぞれ異なる角度の屈折を受けることとなる。
【0208】
画素集団３０４内の３２個の画素分のＲＧＢ表示素子３０４’から射光された３２本のＲＧＢ光のうち、レンズ素子３０３に入光する光である図２７における０４から２９のＲＧＢ表示素子の光は、レンズ素子３０３にて、それぞれの光路の方向を、図２９に示される例えば０４～２９の２６本の表示方向（以下、この方向を「表示方向５０１」と記載）に屈折させる。
【0209】
そして、画像生成装置１０は、図２８、図２９で示される各ユーザ２１～２４の異なる視点位置２Ａ毎に、それらの視点位置２Ａ１～２Ａ４に対応して画像生成装置１０が生成した表示画像のデータを、例えば基準座標空間（図４）の画素集団３０４の位置から各ユーザ２１～２４の視点位置２Ａ１～２Ａ４に向かう方向５０２Ａ，５０２Ｂ，５０２Ｃ，５０２Ｄに対応する画素番号のＲＧＢ表示素子３０４’に入力させる。以下、この方向を、ユーザ視点位置方向５０２Ａ，５０２Ｂ，５０２Ｃ，５０２Ｄと記載する。又は、これらの方向を総称して、ユーザ視点位置方向５０２と記載する。
【0210】
ここで、画像生成装置１０の処理部１４は、測定装置２０で検出された各ユーザ２１～２４の視点位置２Ａ１～２Ａ４毎に、例えばその視点位置から左右に一定距離離れたユーザの右目及び左目から夫々、透過型ディスプレイ装置３０を介して仮想空間上の三次元の仮想オブジェクトを見たときに、各ユーザ２にとって仮想オブジェクトが実空間に存在するかのように錯覚させるべく幾何学的厳密さをもって確からしく自然な画像に見えるように、右目用表示画像及び左目用表示画像を生成してもよい。画像生成装置１０は、透過型ディスプレイ装置３０の画面に表示する右目用表示画像及び左目用表示画像を生成する際に、三次元ＣＧデータで表現される仮想オブジェクトを、各ユーザ２１～２４の視点位置２Ａ１～２Ａ４に基づいて透過型ディスプレイ装置３０の画面、すなわち二次元の面に投影させるような射影変換、透視投影変換、もしくはそれに類する計算処理を行ってもよい。
【0211】
この場合、処理部１４は、各ユーザ２１～２４の視点位置２Ａ１～２Ａ４毎に、各視点位置に対応して生成された上述の右目用表示画像及び左目用表示画像のデータを夫々、各視点位置に対応する各ユーザ視点位置方向５０２Ａ，５０２Ｂ，５０２Ｃ，５０２Ｄの両側に位置する、右目の表示方向に対応する画素番号のＲＧＢ表示素子３０４’と、左目の表示方向に対応する画素番号のＲＧＢ表示素子３０４’とに表示させる。
【0212】
以上の制御動作の結果、図２８のユーザ２１～２４毎に、各右目及び各左目と各レンズ素子３０３とを結ぶ視線方向５００として示されるように、また、図３の表示Ｄ１，Ｄ２，Ｄ３等として説明したように、仮想オブジェクトの表示状態がユーザ２毎に制御された画像を、透過型ディスプレイ装置３０に対して様々な位置にいる複数人のユーザ２１～２４に、同時に表示することが可能となる。この場合、各ユーザ２１～２４においては、両眼の視差を有する画像が夫々の右目と左目に入射されるため、臨場感のある裸眼での立体視を体験することができる。
【0213】
本実施形態では、測定装置２０によって各ユーザ２の視点位置２Ａが検出され、仮想オブジェクトＶｏｂｊの表示画像を各ユーザ２の視点位置２Ａに応じて射影変換、透視投影変換、もしくはそれに類する計算処理が実行される。
【0214】
＜表示処理の詳細＞
図３０を用いて、第５の実施形態における表示処理の詳細例を説明する。以下、この処理について、上述した図２９の説明図に従って説明する。処理部１４は、図２９で説明した０４番目から２９番目までの２６個の表示方向５０１のうち、まず０４番目の表示方向５０１と、図６のステップＳ１０２で算出された１つ以上の視点位置２Ａのうち最初の視点位置２Ａ（例えば図２９の２Ａ１）を通るユーザ視点位置方向５０２（例えば図２９の５０２Ａ）の間の、例えば図２９の０４番から０５番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０４’に、最初の視点位置２Ａ（例えば図２９の２Ａ１）の左目の表示方向に対応して生成された左目用表示画像データをセットする（ステップＳ１１０１）。このセットの処理は、各画素集団３０４（図２８参照）の、当該画素集団３０４から最初の視点位置２Ａに向かうユーザ視点位置方向５０２に応じて定まるＲＧＢ表示素子３０４’に対して実行される。
図３０を用いて、第５の実施形態における表示処理の詳細例を説明する。以下、この処理について、上述した図２９の説明図に従って説明する。処理部１４は、図２９で説明した０４番目から２９番目までの２６個の表示方向５０１のうち、まず０４番目の表示方向５０１と、図６のステップＳ１０２で算出された１つ以上の視点位置２Ａのうち最初の視点位置２Ａ（例えば図２９の２Ａ１）を通るユーザ視点位置方向５０２（例えば図２９の５０２Ａ）の間の、例えば図２９の０４番から０５番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０４’に、最初の視点位置２Ａ（例えば図２９の２Ａ１）の左目の表示方向に対応して生成された左目用表示画像データをセットする（ステップＳ１１０１）。このセットの処理は、各画素集団３０４（図２８参照）の、当該画素集団３０４から最初の視点位置２Ａに向かうユーザ視点位置方向５０２に応じて定まるＲＧＢ表示素子３０４’に対して実行される。
【0215】
次に、処理部１４は、画像生成装置１０の記憶部１２における特には図示しない例えばＲＡＭやレジスタに記憶されている視点位置２Ａを示す変数値を＋１する（ステップＳ１１０５）。
【0216】
次に、処理部１４は、上記視点位置２Ａを示す変数値が、予め定められた最後のユーザ視点位置を示す値を超えたか否かを判定する（ステップＳ１１０６）。最後の視点位置２Ａを示す値は、システム１を利用するユーザ２の数に合わせて予め定めて、上記のＲＡＭやレジスタに記憶させることができる。ステップＳ１１０６では、視点位置２Ａを示す変数値が予め定められて記憶された上記値を超えたか否かにより、視点位置２Ａを示す変数値が最後のユーザ視点位置を示す値を超えたか否かを判定する。
【0217】
まだ最後のユーザ視点位置まで処理されておらず、ステップＳ１１０６の判定がＮＯならば、処理部１４は、ステップＳ１１０２の処理に制御を移して、ステップＳ１１０２からＳ１１０４までの処理を実行する。
【0218】
まず、処理部１４は、画素集団３０４から、前回の視点位置２Ａ（例えば図２９の２Ａ１）と今回の視点位置２Ａ（例えば図２９の２Ａ２）との中点に向かう中点方向５０３（例えば図１７の５０３ＡＢ）を算出する（ステップＳ１１０２）。
次に、処理部１４は、前回のユーザ視点位置２Ａ（例えば図２９の２Ａ１）を通るユーザ視点位置方向５０２（例えば図２９の５０２Ａ）と、今回算出した中点方向５０３（例えば図１７の５０３ＡＢ）の間の例えば図２９の０６番から０９番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、前回のユーザ視点位置２Ａ（例えば図２９の２Ａ１）の右目の表示方向に対応して生成された右目用表示画像データをセットする（ステップＳ１１０３）。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素集団３０４（図２８参照）の、当該画素集団３０４に対するユーザ視点位置方向５０２とステップＳ１１０２にて当該画素集団３０４に対して定まった中点方向５０３との間のＲＧＢ表示素子３０４’に対して実行される。
次に、処理部１４は、前回のユーザ視点位置２Ａ（例えば図２９の２Ａ１）を通るユーザ視点位置方向５０２（例えば図２９の５０２Ａ）と、今回算出した中点方向５０３（例えば図１７の５０３ＡＢ）の間の例えば図２９の０６番から０９番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、前回のユーザ視点位置２Ａ（例えば図２９の２Ａ１）の右目の表示方向に対応して生成された右目用表示画像データをセットする（ステップＳ１１０３）。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素集団３０４（図２８参照）の、当該画素集団３０４に対するユーザ視点位置方向５０２とステップＳ１１０２にて当該画素集団３０４に対して定まった中点方向５０３との間のＲＧＢ表示素子３０４’に対して実行される。
【0219】
続いて、処理部１４は、ステップＳ１１０２で今回算出した中点方向５０３（例えば図２９の５０３ＡＢ）と、今回のユーザ視点位置２Ａ（例えば図２９の２Ａ２）を通るユーザ視点位置方向５０２（例えば図１２の５０２Ｂ）との間の例えば図２９の１０番から１３番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０２’に、今回のユーザ視点位置２Ａ（例えば図１７の２Ａ２）の左目の表示方向に対応して生成された左目用表示画像データをセットする（ステップＳ１１０４）。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素集団３０４（図２８参照）の、ステップＳ１１０２にて当該画素集団３０４’に対して定まった中点方向５０３と、当該画素集団３０４に対するユーザ視点位置方向５０２との間のＲＧＢ表示素子３０４’に対して実行される。
【0220】
その後、処理部１４は、前述したように、視点位置２Ａを示す変数値を＋１し（ステップＳ１１０５）、その変数値が、予め定められた最後のユーザ視点位置２Ａを示す値を超えたか否かを判定する（ステップＳ１１０６）。
【0221】
まだ最後の視点位置２Ａまで処理されておらず、ステップＳ１１０６の判定がＮＯならば、処理部１４は、上述したステップＳ１１０２からＳ１１０４までの処理を再び実行する。
【0222】
前述と同様のステップＳ１１０２により、例えば図２９において、画素集団３０４から、前回の視点位置２Ａ２と今回のユーザ視点位置２Ａ３との中点に向かう中点方向５０３ＢＣが算出される。
【0223】
次に、前述と同様のステップＳ１１０３により、例えば図２９において、前回の視点位置２Ａ２を通るユーザ視点位置方向５０２Ｂと、今回算出した中点方向５０３ＢＣの間の例えば図２９の１４番から１５番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０４’に、前回の視点位置２Ａ２の右目の表示方向に対応して生成された右目用表示画像データがセットされる。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素集団３０４（図２８参照）の、当該画素集団３０４に対するユーザ視点位置方向５０２とステップＳ１１０２にて当該画素集団３０４に対して定まった中点方向５０３との間のＲＧＢ表示素子３０４’に対して実行される。
【0224】
続いて、前述と同様のステップＳ１１０４により、例えば図２９において、ステップＳ１１０２で今回算出した中点方向５０３ＢＣと、今回の視点位置２Ａ３を通るユーザ視点位置方向５０２Ｃとの間の例えば図２９の１６番から１８番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０４’に、今回の視点位置２Ａ３の左目の表示方向に対応して生成された左目用表示画像データがセットされる。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素集団３０４（図２８参照）の、ステップＳ１１０２にて当該画素集団３０４’対して定まった中点方向５０３と、当該画素集団３０４に対するユーザ視点位置方向５０２との間のＲＧＢ表示素子３０４’に対して実行される。
【0225】
その後、処理部１４は、前述したように、視点位置２Ａを示す変数値を＋１し（ステップＳ１１０５）、その変数値が、予め定められた最後のユーザ視点位置２Ａを示す値を超えたか否かを判定する（ステップＳ１１０６）。
【0226】
まだ最後の視点位置２Ａまで処理されておらず、ステップＳ１１０６の判定がＮＯならば、処理部１４は、上述したステップＳ１１０２からＳ１１０４までの処理を再び実行する。
【0227】
前述と同様のステップＳ１１０２により、例えば図２９において、画素集団３０４から、前回の視点位置２Ａ３と今回の視点位置２Ａ４との中点に向かう中点方向５０３ＣＤが算出される。
【0228】
次に、前述と同様のステップＳ１１０３により、例えば図２９において、前回のユーザ視点位置２Ａ３を通るユーザ視点位置方向５０２Ｃと、今回算出した中点方向５０３ＣＤとの間の例えば図２９の１９番から２０番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０４’に、前回の視点位置２Ａ３の右目の表示方向に対応して生成された右目用表示画像データがセットされる。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素集団３０４（図２８参照）の、当該画素集団３０４に対するユーザ視点位置方向５０２とステップＳ１１０２にて当該画素集団３０４に対して定まった中点方向５０３との間のＲＧＢ表示素子３０４’に対して実行される。
【0229】
続いて、前述と同様のステップＳ１１０４により、例えば図２９において、ステップＳ１１０２で今回算出した中点方向５０３ＣＤと、今回のユーザ視点位置２Ａ４を通るユーザ視点位置方向５０２Ｄの間の例えば図２９の２１番から２２番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子３０４’に、今回の視点位置２Ａ４の左目の表示方向に対応して生成された左目用表示画像データがセットされる。このセットの処理は、透過型ディスプレイ装置３０を構成する各画素集団３０４（図２８参照）の、ステップＳ１１０２にて当該画素集団３０４’対して定まった中点方向５０３と、当該画素集団３０４に対するユーザ視点位置方向５０２との間のＲＧＢ表示素子３０４’に対して実行される。
【0230】
その後、処理部１４は、前述したように、視点位置２Ａを示す変数値を＋１し（ステップＳ１１０５）、その変数値が、予め定められた最後の視点位置２Ａを示す値を超えたか否かを判定する（ステップＳ１１０６）。
【0231】
最後のユーザ視点位置２Ａまで処理された後に、ステップＳ１１０６の判定がＹＥＳになると、処理部１４は、最後のステップＳ１１０７の処理を実行する。ステップＳ１１０７において、処理部１４は、今回の視点位置２Ａ（例えば図２９の２Ａ４）を通るユーザ視点位置方向５０２（例えば図２９の５０２Ｄ）と、２９番目の表示方向５０１の間の例えば図２９の２３番から２９番までの各表示方向５０１に対応する各画素番号のＲＧＢ表示素子に、最後のユーザ視点位置２Ａ（例えば図２９の２Ａ４）の右目の表示方向に対応して生成された右目用表示画像データをセットする。このセットの処理は、各画素集団３０４（図２８参照）の、当該画素集団３０４から最後の視点位置２Ａに向かうユーザ視点位置方向５０２に応じて定まるＲＧＢ表示素子３０４’に対して実行される。
【0232】
【0233】
以上の図３０のフローチャートで例示した画像表示処理では、図２９において２つの視点位置２Ａのユーザ視点位置方向５０２と、それらの視点位置２Ａ間の中点を通る中点方向５０３とで区切られる区間の各表示方向５０１に、隣接する視点位置２Ａの右目又は左目の表示方向に対応して生成された右目用又は左目用表示画像データがコピーしてセットされた。これに対して、透過型ディスプレイ装置３０に近いユーザ２の視点位置２Ａと、透過型ディスプレイ装置３０から遠いユーザ２の視点位置２Ａとで、各表示方向５０１への表示画素のマッピングのアルゴリズムを変えることにより、表示画素の変化感度がユーザ２の視点位置Ａに応じて均一になるようにすることもできる。又は、単純にコピーするのではなく、隣接する２つの表示画像間で、各表示方向５０１に応じて補間処理を行って算出した表示画素がセットされてもよい。
【0234】
このように、本実施形態によれば、三次元眼鏡装置を装着しない裸眼の複数のユーザ２に対して、各ユーザ２１～２４の視点位置２Ａ１～２Ａ４毎に、例えばその視点位置から左右に一定距離離れたユーザの右目及び左目から夫々、透過型ディスプレイ装置３０を介して仮想空間上の三次元の立体的な仮想オブジェクトを見たときに、各ユーザ２にとって仮想オブジェクトが実空間に存在するかのように錯覚させるべく幾何学的厳密さをもって確からしく自然な画像に見えるように、仮想オブジェクトの表示画像を左右の眼の視差を与える２つの画像からなる三次元画像（立体視画像）として、透過型ディスプレイ装置３０を通して見える実空間に重畳して提示することができる。加えて、本実施形態によれば各ユーザ２の視点位置２Ａに応じた仮想オブジェクトの別々の表示画像を、各ユーザ２に対して同時に提示することができる。
＜キャリブレーション処理＞
画素集団３０４の画素の番号によってその画素から射出した光がレンズ素子３０３により屈折して向かう方向が異なるので、透過型ディスプレイ装置３０において画素とレンズ素子とが高い精度で所望の位置関係にあることが求められる。しかしながら、画素とレンズ素子とを高い精度で所望の位置関係となるように透過型ディスプレイ装置３０を製造することが難しい場合がある。例えば、画素列３００が配置された透明基板３０１に、複数のシリンドリカルレンズであるレンズ素子３０３が形成された透明シートを接着することにより透過型ディスプレイ装置３０を製造する場合、透明シートの伸縮や透明基板３０１に対する透明シートの位置や角度の誤差により、レンズ素子３０３を画素に対して正確に位置決めすることが難しい場合がある。また、例えば、画素集団３０４がマトリクス状に配置された透明基板３０１に、複数のシリンドリカルレンズであるレンズ素子３０３を個々に接着する際に、レンズ素子３０３を画素に対して正確に位置決めして接着することが難しい場合がある。また、例えば、画素列３００が配置された透明基板３０１に、画素列３００の形成とは別のプロセスにおいてレンズ素子３０３を透明基板３０１に印刷する際に、レンズ素子３０３を画素に対して正確に位置決めして接着することが難しい場合がある。
＜キャリブレーション処理＞
画素集団３０４の画素の番号によってその画素から射出した光がレンズ素子３０３により屈折して向かう方向が異なるので、透過型ディスプレイ装置３０において画素とレンズ素子とが高い精度で所望の位置関係にあることが求められる。しかしながら、画素とレンズ素子とを高い精度で所望の位置関係となるように透過型ディスプレイ装置３０を製造することが難しい場合がある。例えば、画素列３００が配置された透明基板３０１に、複数のシリンドリカルレンズであるレンズ素子３０３が形成された透明シートを接着することにより透過型ディスプレイ装置３０を製造する場合、透明シートの伸縮や透明基板３０１に対する透明シートの位置や角度の誤差により、レンズ素子３０３を画素に対して正確に位置決めすることが難しい場合がある。また、例えば、画素集団３０４がマトリクス状に配置された透明基板３０１に、複数のシリンドリカルレンズであるレンズ素子３０３を個々に接着する際に、レンズ素子３０３を画素に対して正確に位置決めして接着することが難しい場合がある。また、例えば、画素列３００が配置された透明基板３０１に、画素列３００の形成とは別のプロセスにおいてレンズ素子３０３を透明基板３０１に印刷する際に、レンズ素子３０３を画素に対して正確に位置決めして接着することが難しい場合がある。
【0235】
したがって、本実施形態の透過型ディスプレイ装置３０は製造時等に誤差が生じる可能性がある。特に、透明基板３０１に対してレンズ素子３０３を設けるときに画素３０４’に対する位置に誤差が生じる可能性がある。透過型ディスプレイ装置３０は、各画素３０４’から発せられる光をレンズ素子３０３によって所定の方向に正確に屈折させることで、ユーザの視点位置に向けて適切な画像を表示することを可能にする構成である。したがって、レンズ素子３０３と画素３０４’との相対位置に誤差があると画像が劣化してしまう。キャリブレーション処理は、透過型ディスプレイ装置３０の製造等による個体差による画像の劣化を改善する処理である。透過型ディスプレイ装置３０の個体に対して最低１回行うとよい。
【0236】
【0237】
調整者が透過型ディスプレイ装置３０の画面の前で画面を見ている状態もしくはその位置にキャリブレーション用の撮像装置（カメラ）を設置した状態で、処理部１４は、調整者の視点もしくは撮像装置の位置の情報を取得する（ステップＳ１００１）。次に、処理部１４は、その視点位置の方向を中心に左右に所定幅の範囲に向けて特定画像を表示する。特定画像は特に限定されない。例えば、特定画像として縦縞、ななめ縞、格子柄などを用いることができる。続いて、処理部１４は、画像集団３０４にどの範囲の画素３０４’を用いるかを調整することを可能にするパラメータ調整ＧＵＩを調整者を提供するとともに、調整者からの目線もしくは撮像装置からの撮像映像で特定画像がよく見えるようにパラメータを調整するように聴視者に促すもしくは特定画像のもと計算処理によりパラメータを自動調整させる。そして、処理部１４は、調整者の視点位置もしくは撮像装置を移動させながら（ステップＳ１００５）、所定の終了条件が満たさせるまで（ステップＳ１００４）、ステップＳ１００１－Ｓ１００３の処理を繰り返す。
【0238】
このとき、例えば、視点位置もしくは撮像装置の位置を画面に向かって左右にまんべんなく設定できるように予め調整回数を定めておき、その調整回数となるまで調整を繰り返してキャリブレーションを終了することにしてもよい。また、ステップＳ１００３の処理は左右の目で見ながら行うことにしてもよいし、片目ずつ別々に行うことにしてもよい。撮像装置を用いて同様にしてもよい。また、ステップＳ１００３で調整するパラメータは、特に限定されない。例えば、画素集団３０４に用いる画素３０４’を画面全体で左右にシフトさせるパラメータ、画像集団３０４に用いる画素３０４’を画面上下で傾ける角度を調整するパラメータ、画像集団３０４に用いる画素３０４’を画面左右方向に徐々にずらしていく度合いを調整するパラメータなどを組み合わせて用いることにしてもよい。これらのパラメータは画面全体で調整しても良いが、各々の画素に相当する各画素集団３０４毎に調整してもよい。
【0239】
以上説明した本実施形態における透過型ディスプレイ装置３０のレンズ素子３０３の形状および配置は様々な変形が可能である。
【0240】
本実施形態の画素列３０２の画素集団３０４の画素３０４’は、一例としてｍｉｎｉＬＥＤとしたが、有機ＥＬ素子など他の素子であってもよい。また、画素３０４’は、ｍｉｎｉＬＥＤ、マイクロＬＥＤ、有機ＥＬ素子のような自発光の素子であってもよいし、液晶の仕組みを用いて光の透過制御を行う素子であっても良い。また、画素３０４’は、外部からのプロジェクション光に対して反射させることでユーザの視覚に色を認識させる素子や発光材料などでもよい。また、本実施形態では、画素３０４’として、ＲＧＢの素子を例示したが、例えば緑色や赤色など単色の画素であってもよい。
【0241】
［付記］
上述した幾つかの実施形態には以下に示す事項が含まれている。ただい、上述した実施形態に含まれる事項が以下に示すものに限定されることはない。
上述した幾つかの実施形態には以下に示す事項が含まれている。ただい、上述した実施形態に含まれる事項が以下に示すものに限定されることはない。
【0242】
（事項Ａ１）
ディスプレイ装置は、光透過性を有する平面状の基板と、前記基板の面に平行な第１方向における位置の異なる複数の表示画素からなる画素集団と、前記画素集団の複数の前記表示画素のうち前記第１方向における位置が連続する所定個の表示画素から、前記基板の面に直交する第３方向に入射する光を、それぞれ別個の方向に屈折させるように構成されたレンズ素子と、を有する。これによれば、レンズ素子が、画素集団の表示画素のうち第１方向における位置が連続する所定個の表示画素から入射する光を、それぞれ別個の方向に屈折させるように構成されているので、レンズ素子の第１方向における画素集団との相対位置に誤差があっても、画像の表示に用いる表示画素の選択を変更することにより、画像の劣化を抑制することができる。あるいは、表示画素の選択を変更できる範囲で誤差を許容した製造が可能となり、製造が容易になって製造コストの低減が期待できる。
ディスプレイ装置は、光透過性を有する平面状の基板と、前記基板の面に平行な第１方向における位置の異なる複数の表示画素からなる画素集団と、前記画素集団の複数の前記表示画素のうち前記第１方向における位置が連続する所定個の表示画素から、前記基板の面に直交する第３方向に入射する光を、それぞれ別個の方向に屈折させるように構成されたレンズ素子と、を有する。これによれば、レンズ素子が、画素集団の表示画素のうち第１方向における位置が連続する所定個の表示画素から入射する光を、それぞれ別個の方向に屈折させるように構成されているので、レンズ素子の第１方向における画素集団との相対位置に誤差があっても、画像の表示に用いる表示画素の選択を変更することにより、画像の劣化を抑制することができる。あるいは、表示画素の選択を変更できる範囲で誤差を許容した製造が可能となり、製造が容易になって製造コストの低減が期待できる。
【0243】
（事項Ａ２）
事項Ａ１に記載のディスプレイ装置において、前記レンズ素子は、前記第１方向において前記画素集団の前記第１方向の幅よりも短い幅を有し、前記基板の面に平行で前記第１方向に直交する第２方向において前記画素集団の前記第２方向の幅以上の幅を有し、前記第３方向から見て前記画素集団の前記第１方向における両端の所定個の表示画素と重ならずそれ以外の表示画素と重なる位置に配置されている。これによれば、レンズ素子が、第１方向に画素集団の第１方向の長さよりも短い幅を有し、第１方向おける画素集団の両端と重ならない位置に配置されているので、レンズ素子の第１方向における画素集団との相対位置に誤差があっても、画像の表示に用いる表示画素の選択を変更することにより、画像の劣化を抑制することができる。
事項Ａ１に記載のディスプレイ装置において、前記レンズ素子は、前記第１方向において前記画素集団の前記第１方向の幅よりも短い幅を有し、前記基板の面に平行で前記第１方向に直交する第２方向において前記画素集団の前記第２方向の幅以上の幅を有し、前記第３方向から見て前記画素集団の前記第１方向における両端の所定個の表示画素と重ならずそれ以外の表示画素と重なる位置に配置されている。これによれば、レンズ素子が、第１方向に画素集団の第１方向の長さよりも短い幅を有し、第１方向おける画素集団の両端と重ならない位置に配置されているので、レンズ素子の第１方向における画素集団との相対位置に誤差があっても、画像の表示に用いる表示画素の選択を変更することにより、画像の劣化を抑制することができる。
【0244】
（事項Ａ３）
事項Ａ１に記載のディスプレイ装置において、前記画素集団における複数の表示画素は、前記第１方向の直線上に並んでおり、複数の前記画素集団が前記第２方向の直線上に互いに離間して配置されており、前記レンズ素子は、複数の前記画素集団を前記第２方向に横切るように配置されている。これにより、レンズ素子の第２の方向における複数の画素集団（画素列）に対する誤差があっても画像の劣化を抑制することができる。
事項Ａ１に記載のディスプレイ装置において、前記画素集団における複数の表示画素は、前記第１方向の直線上に並んでおり、複数の前記画素集団が前記第２方向の直線上に互いに離間して配置されており、前記レンズ素子は、複数の前記画素集団を前記第２方向に横切るように配置されている。これにより、レンズ素子の第２の方向における複数の画素集団（画素列）に対する誤差があっても画像の劣化を抑制することができる。
【0245】
（事項Ａ４）
事項Ａ３に記載のディスプレイ装置において、前記画素集団のそれぞれを複数の前記レンズ素子が横切るように構成されている。これにより、画素列の個数を少なくし製造を容易にすることができる。
事項Ａ３に記載のディスプレイ装置において、前記画素集団のそれぞれを複数の前記レンズ素子が横切るように構成されている。これにより、画素列の個数を少なくし製造を容易にすることができる。
【0246】
（事項Ａ５）
事項Ａ３に記載のディスプレイ装置において、全ての前記画素集団を全ての前記レンズ素子が横切るように構成されている。これにより、画素集団およびレンズ素子の個数を減らして製造を容易にすることができる。
事項Ａ３に記載のディスプレイ装置において、全ての前記画素集団を全ての前記レンズ素子が横切るように構成されている。これにより、画素集団およびレンズ素子の個数を減らして製造を容易にすることができる。
【0247】
（事項Ａ６）
事項Ａ３に記載のディスプレイ装置において、前記レンズ素子が前記第２方向に互いに離れて複数個設けられている。これにより、レンズ素子を第２方向に離して配置することにより第２方向に画素集団もレンズ素子も配置されていない領域を増やし、光透過性を向上することができる。
事項Ａ３に記載のディスプレイ装置において、前記レンズ素子が前記第２方向に互いに離れて複数個設けられている。これにより、レンズ素子を第２方向に離して配置することにより第２方向に画素集団もレンズ素子も配置されていない領域を増やし、光透過性を向上することができる。
【0248】
（事項Ａ７）
事項Ａ３に記載のディスプレイ装置において、前記レンズ素子が前記第１方向に互いに離れて複数個設けられている。これにより、レンズ素子を第１方向に離して配置することにより第１方向に画素集団もレンズ素子も配置されていない領域を増やし、光透過性を向上することができる。
事項Ａ３に記載のディスプレイ装置において、前記レンズ素子が前記第１方向に互いに離れて複数個設けられている。これにより、レンズ素子を第１方向に離して配置することにより第１方向に画素集団もレンズ素子も配置されていない領域を増やし、光透過性を向上することができる。
【0249】
（事項Ａ８）
事項Ａ３に記載のディスプレイ装置において、前記レンズ素子が前記第１方向に互いに隣接して複数個設けられている。これにより、複数のレンズ素子を第１方向に隣接して配置することにより第１方向に画素を密に配置し、画像の解像度を向上させることができる。
事項Ａ３に記載のディスプレイ装置において、前記レンズ素子が前記第１方向に互いに隣接して複数個設けられている。これにより、複数のレンズ素子を第１方向に隣接して配置することにより第１方向に画素を密に配置し、画像の解像度を向上させることができる。
【0250】
（事項Ａ９）
事項３に記載のディスプレイ装置において、前記レンズ素子は、前記第１方向にレンズとして働き前記第２方向にレンズとして働かないシリンドリカルレンズである。
事項３に記載のディスプレイ装置において、前記レンズ素子は、前記第１方向にレンズとして働き前記第２方向にレンズとして働かないシリンドリカルレンズである。
【0251】
（事項Ａ１０）
事項１に記載のディスプレイ装置において、前記画素集団における複数の表示画素は、前記第１方向と前記基板の面に平行で前記第１方向に直交する第２方向とにマトリクス状に配置されており、複数の前記画素集団が、前記第１方向および前記第２方向を含む平面内で前記第２方向から所角度だけ傾けた直線上に互いに離間して配置されており、前記レンズ素子は、前記所定個の表示画素から前記第３方向に入射する光を、前記直線と直交する平面内で、それぞれ別個の方向に屈折させる。これにより、レンズ素子の第１の方向における複数の画素集団に対する誤差があっても画像の劣化を抑制することができる。
事項１に記載のディスプレイ装置において、前記画素集団における複数の表示画素は、前記第１方向と前記基板の面に平行で前記第１方向に直交する第２方向とにマトリクス状に配置されており、複数の前記画素集団が、前記第１方向および前記第２方向を含む平面内で前記第２方向から所角度だけ傾けた直線上に互いに離間して配置されており、前記レンズ素子は、前記所定個の表示画素から前記第３方向に入射する光を、前記直線と直交する平面内で、それぞれ別個の方向に屈折させる。これにより、レンズ素子の第１の方向における複数の画素集団に対する誤差があっても画像の劣化を抑制することができる。
【0252】
（事項Ａ１１）
事項Ａ１０に記載のディスプレイ装置において、前記レンズ素子は、前記直線上に長手方向を有して延びて複数の前記画素集団を通るように配置されている。これにより、レンズ素子の個数を減らして製造を容易にすることができる。
事項Ａ１０に記載のディスプレイ装置において、前記レンズ素子は、前記直線上に長手方向を有して延びて複数の前記画素集団を通るように配置されている。これにより、レンズ素子の個数を減らして製造を容易にすることができる。
【0253】
（事項Ａ１２）
事項Ａ１０に記載のディスプレイ装置において、前記レンズ素子が前記直線上に互いに離れて複数個設けられている。これにより、レンズ素子を縦方向に離して配置することにより縦方向に画素集団もレンズ素子も配置されていない領域を増やし、光透過性を向上することができる。
事項Ａ１０に記載のディスプレイ装置において、前記レンズ素子が前記直線上に互いに離れて複数個設けられている。これにより、レンズ素子を縦方向に離して配置することにより縦方向に画素集団もレンズ素子も配置されていない領域を増やし、光透過性を向上することができる。
【0254】
（事項Ａ１３）
事項Ａ１１に記載のディスプレイ装置において、前記画素集団は、前記第１方向に互いに離間して配置された複数の直線上に配置されており、前記レンズ素子は、複数の前記直線のそれぞれに設けられている。
事項Ａ１１に記載のディスプレイ装置において、前記画素集団は、前記第１方向に互いに離間して配置された複数の直線上に配置されており、前記レンズ素子は、複数の前記直線のそれぞれに設けられている。
【0255】
（事項Ｂ１）
画像表示システムは、画像を表示可能である透過型のディスプレイ装置と、前記ディスプレイ装置と、その周囲に存在する実空間上のオブジェクト、および、任意の仮想オブジェクトに対して、各々における実空間における座標系と重ね合わせる形で設定した所定の基準座標系上に構築された仮想空間上の位置情報と三次元形状の情報を記憶する記憶部と、ユーザが或る視点位置から前記ディスプレイ装置を見たときに前記ディスプレイ装置を通して見える実空間に対して、前記視点位置から前記仮想空間を見たときの見え方となる仮想オブジェクトが正確に重畳表示されるように、前記視点位置と、前記ディスプレイ装置の位置情報と三次元形状と、前記仮想オブジェクトを表す三次元画像データとに基づいて射影変換または透視投影変換を行うことで、画像を生成して前記ディスプレイ装置に表示させる処理部と、を有する。
画像表示システムは、画像を表示可能である透過型のディスプレイ装置と、前記ディスプレイ装置と、その周囲に存在する実空間上のオブジェクト、および、任意の仮想オブジェクトに対して、各々における実空間における座標系と重ね合わせる形で設定した所定の基準座標系上に構築された仮想空間上の位置情報と三次元形状の情報を記憶する記憶部と、ユーザが或る視点位置から前記ディスプレイ装置を見たときに前記ディスプレイ装置を通して見える実空間に対して、前記視点位置から前記仮想空間を見たときの見え方となる仮想オブジェクトが正確に重畳表示されるように、前記視点位置と、前記ディスプレイ装置の位置情報と三次元形状と、前記仮想オブジェクトを表す三次元画像データとに基づいて射影変換または透視投影変換を行うことで、画像を生成して前記ディスプレイ装置に表示させる処理部と、を有する。
【0256】
（事項Ｂ２）
事項Ｂ１に記載の画像表示システムにおいて、前記ユーザの視点位置から前記ディスプレイ装置を通して見える実空間に関する情報を取得する実空間情報取得装置をさらに有し、前期記憶部は前期実空間情報取得装置により取得された情報を記憶し、前記処理部は、前期実空間情報取得装置により取得された情報をも用いて前記画像を生成する。
事項Ｂ１に記載の画像表示システムにおいて、前記ユーザの視点位置から前記ディスプレイ装置を通して見える実空間に関する情報を取得する実空間情報取得装置をさらに有し、前期記憶部は前期実空間情報取得装置により取得された情報を記憶し、前記処理部は、前期実空間情報取得装置により取得された情報をも用いて前記画像を生成する。
【0257】
（事項Ｂ３）
事項Ｂ１に記載の画像表示システムにおいて、前記視点位置は予め定義された位置である。
事項Ｂ１に記載の画像表示システムにおいて、前記視点位置は予め定義された位置である。
【0258】
（事項Ｂ４）
事項Ｂ１に記載の画像表示システムにおいて、前記画像表示システムは前記ユーザの前記視点位置を測定する測定装置をさらに有し、前記視点位置は、前記測定装置によって測定された位置をもとに設定されている。
事項Ｂ１に記載の画像表示システムにおいて、前記画像表示システムは前記ユーザの前記視点位置を測定する測定装置をさらに有し、前記視点位置は、前記測定装置によって測定された位置をもとに設定されている。
【0259】
（事項Ｂ５）
事項１に記載の画像表示システムにおいて、前記画像表示システムは、前記ユーザが着用する三次元眼鏡装置をさらに有し、前記処理部は、前記視点位置に応じて、視差を有する左右の眼用の２つの表示画像を生成して、前記ディスプレイ装置に表示し、前記三次元眼鏡装置は、前記２つの表示画像を前記ユーザの左右の眼にそれぞれ見せる。
事項１に記載の画像表示システムにおいて、前記画像表示システムは、前記ユーザが着用する三次元眼鏡装置をさらに有し、前記処理部は、前記視点位置に応じて、視差を有する左右の眼用の２つの表示画像を生成して、前記ディスプレイ装置に表示し、前記三次元眼鏡装置は、前記２つの表示画像を前記ユーザの左右の眼にそれぞれ見せる。
【0260】
（事項Ｂ６）
事項５に記載の画像表示システムにおいて、前記画像表示システムは、複数の前記ユーザが各々着用する複数の前記三次元眼鏡装置を有し、前記処理部は、各々の前記ユーザのそれぞれの前記視点位置に応じて、前記視差を有する左右の眼用の２つの表示画像を各々の前記視点位置毎に生成して、各々の前記視点位置毎に割り当てられる前記２つの表示画像を時分割方式で前記ディスプレイ装置に表示し、各々の前記三次元眼鏡装置は、対応する前記視点位置に割り当てられた前記２つの表示画像を前記ユーザの左右の眼にそれぞれ見せる。
事項５に記載の画像表示システムにおいて、前記画像表示システムは、複数の前記ユーザが各々着用する複数の前記三次元眼鏡装置を有し、前記処理部は、各々の前記ユーザのそれぞれの前記視点位置に応じて、前記視差を有する左右の眼用の２つの表示画像を各々の前記視点位置毎に生成して、各々の前記視点位置毎に割り当てられる前記２つの表示画像を時分割方式で前記ディスプレイ装置に表示し、各々の前記三次元眼鏡装置は、対応する前記視点位置に割り当てられた前記２つの表示画像を前記ユーザの左右の眼にそれぞれ見せる。
【0261】
（事項Ｂ７）
事項１に記載の画像表示システムにおいて、前記画像表示システムは１又は複数の前記ユーザのそれぞれの前記視点位置を測定する測定装置をさらに有し、前記視点位置は、前記測定装置によって測定された位置であり、前記ディスプレイ装置は、複数の表示方向に異なる画像を同時に表示可能に構成されており、前記処理部はさらに、前記測定装置によって測定された１又は複数の前記ユーザのそれぞれの前記視点位置毎に、該視点位置から前記ディスプレイ装置を見たときに前記ディスプレイ装置を通して見える実空間に対して、前記視点位置から前記仮想空間を見たときの見え方となる仮想オブジェクトが正確に重畳表示されるように、各々の前記視点位置と、前記ディスプレイ装置の位置情報と三次元形状と、前記仮想オブジェクトを表す三次元画像データとに基づいて射影変換、透視投影変換、もしくはそれに類する計算処理を行うことで生成する前記画像を、該視点位置に応じて生成し、該画像を、前記ディスプレイ装置から、当該視点位置に向けたユーザ視点位置方向に表示させるように構成されている。
事項１に記載の画像表示システムにおいて、前記画像表示システムは１又は複数の前記ユーザのそれぞれの前記視点位置を測定する測定装置をさらに有し、前記視点位置は、前記測定装置によって測定された位置であり、前記ディスプレイ装置は、複数の表示方向に異なる画像を同時に表示可能に構成されており、前記処理部はさらに、前記測定装置によって測定された１又は複数の前記ユーザのそれぞれの前記視点位置毎に、該視点位置から前記ディスプレイ装置を見たときに前記ディスプレイ装置を通して見える実空間に対して、前記視点位置から前記仮想空間を見たときの見え方となる仮想オブジェクトが正確に重畳表示されるように、各々の前記視点位置と、前記ディスプレイ装置の位置情報と三次元形状と、前記仮想オブジェクトを表す三次元画像データとに基づいて射影変換、透視投影変換、もしくはそれに類する計算処理を行うことで生成する前記画像を、該視点位置に応じて生成し、該画像を、前記ディスプレイ装置から、当該視点位置に向けたユーザ視点位置方向に表示させるように構成されている。
【0262】
（事項Ｂ８）
事項７に記載の画像表示システムにおいて、前記処理部はさらに、前記視点位置毎に、該視点位置における前記ユーザの右目及び左目から夫々、前記ディスプレイ装置を通して見える実空間に対して、各々の前記視点位置における右目及び左目毎にそれらの位置から前記仮想空間を見たときの見え方となる仮想オブジェクトが正確に重畳表示されるように、各々の前記視点位置における右目及び左目の位置と、前記ディスプレイ装置の位置情報と三次元形状と、前記仮想オブジェクトを表す三次元画像データとに基づいて射影変換または透視投影変換を行うことで、 右目用表示画像及び左目用表示画像を生成し、前記視点位置を境に前記ユーザの右目側の前記ユーザ視点位置方向へは前記右目用表示画像を前記ディスプレイ装置から表示させ、前記ユーザ視点位置を境に前記ユーザの左目側の前記ユーザ視点位置方向へは前記左目用表示画像を前記ディスプレイ装置から表示させるように構成されている。
事項７に記載の画像表示システムにおいて、前記処理部はさらに、前記視点位置毎に、該視点位置における前記ユーザの右目及び左目から夫々、前記ディスプレイ装置を通して見える実空間に対して、各々の前記視点位置における右目及び左目毎にそれらの位置から前記仮想空間を見たときの見え方となる仮想オブジェクトが正確に重畳表示されるように、各々の前記視点位置における右目及び左目の位置と、前記ディスプレイ装置の位置情報と三次元形状と、前記仮想オブジェクトを表す三次元画像データとに基づいて射影変換または透視投影変換を行うことで、 右目用表示画像及び左目用表示画像を生成し、前記視点位置を境に前記ユーザの右目側の前記ユーザ視点位置方向へは前記右目用表示画像を前記ディスプレイ装置から表示させ、前記ユーザ視点位置を境に前記ユーザの左目側の前記ユーザ視点位置方向へは前記左目用表示画像を前記ディスプレイ装置から表示させるように構成されている。
【0263】
（事項Ｂ９）
ディスプレイ装置は、表示画像を形成する複数の画素ユニットが設けられた光透過性を有する基板と、前記画素ユニットの上に設けられたレンズ素子とを備えた透過型のディスプレイ装置であって、前記複数の画素ユニットは互いに離れて前記基板に配置されており、各々の前記画素ユニットは複数の表示素子からなり、各々の前記レンズ素子は、対応する前記画素ユニットの各々の前記表示素子からそれぞれ放射される各々の光の光路の方向をそれぞれ別個の方向に屈折させるように構成されている。
ディスプレイ装置は、表示画像を形成する複数の画素ユニットが設けられた光透過性を有する基板と、前記画素ユニットの上に設けられたレンズ素子とを備えた透過型のディスプレイ装置であって、前記複数の画素ユニットは互いに離れて前記基板に配置されており、各々の前記画素ユニットは複数の表示素子からなり、各々の前記レンズ素子は、対応する前記画素ユニットの各々の前記表示素子からそれぞれ放射される各々の光の光路の方向をそれぞれ別個の方向に屈折させるように構成されている。
【0264】
（事項Ｂ１０）
事項９に記載のディスプレイ装置において、前記レンズ素子は、各々の前記画素ユニット毎に設けられている。
事項９に記載のディスプレイ装置において、前記レンズ素子は、各々の前記画素ユニット毎に設けられている。
【0265】
（事項Ｂ１１）
事項９に記載のディスプレイ装置において、前記複数の画素ユニットはマトリクス状に配置されており、各々の前記レンズ素子は、前記マトリクス状に配置された前記画素ユニットのうちの各列の複数の画素ユニットをまたいで配置されるように構成されている。
事項９に記載のディスプレイ装置において、前記複数の画素ユニットはマトリクス状に配置されており、各々の前記レンズ素子は、前記マトリクス状に配置された前記画素ユニットのうちの各列の複数の画素ユニットをまたいで配置されるように構成されている。
【0266】
上述した本発明の各実施形態及び各変形例は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。
【符号の説明】
【0267】
１…画像表示システム、２…ユーザ、２Ａ…視点位置、１０…画像生成装置、２０…測定装置、３０…ディスプレイ装置、４０…実空間環境情報取得装置、５０…同期信号送出装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】