特許 6073123 立体表示システム、立体像生成装置及び立体像生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6073123

(24)【登録日】2017年1月13日

(45)【発行日】2017年2月1日

(54)【発明の名称】立体表示システム、立体像生成装置及び立体像生成プログラム

(51)【国際特許分類】

   H04N 13/02 20060101AFI20170123BHJP

   H04N 13/04 20060101ALI20170123BHJP

   G02B 27/22 20060101ALI20170123BHJP

【ＦＩ】

   H04N13/02 750

   H04N13/04 060

   H04N13/04 250

   G02B27/22

【請求項の数】10

【全頁数】24

(21)【出願番号】特願2012-270889(P2012-270889)

(22)【出願日】2012年12月12日

(65)【公開番号】特開2014-116867(P2014-116867A)

(43)【公開日】2014年6月26日

【審査請求日】2015年11月2日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

【国等の委託研究の成果に係る記載事項】（出願人による申告）文部科学省 平成２２年度科学技術試験研究委託事業「デジタル・ミュージアムの展開に向けた実証実験システムの研究開発（複合現実型デジタル・ミュージアム）」に係わる委託研究、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(74)【代理人】

【識別番号】100064414

【弁理士】

【氏名又は名称】磯野 道造

(74)【代理人】

【識別番号】100111545

【弁理士】

【氏名又は名称】多田 悦夫

(72)【発明者】

【氏名】岩舘 祐一

(72)【発明者】

【氏名】片山 美和

(72)【発明者】

【氏名】三浦 雅人

(72)【発明者】

【氏名】奥井 誠人

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開２００１−３１８６６４（ＪＰ，Ａ）

【文献】 特開２０１２−００３３５０（ＪＰ，Ａ）

【文献】 特開２００２−１５９０２０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／０００−１５／００

Ｇ０２Ｂ ２７／２２

(57)【特許請求の範囲】

【請求項1】

裸眼方式の複数の立体表示装置の中から任意に定めた１つを第１立体表示装置とし、その他を第２立体表示装置として、共通する３次元形状モデルについての立体像を分散表示する立体表示システムであって、
複数の前記立体表示装置と、
前記第１立体表示装置に立体像表示用の画像データを生成する第１立体像生成装置と、
前記第２立体表示装置に立体像表示用の画像データを生成する第２立体像生成装置と、
前記複数の立体表示装置の位置及び方向を検出するための計測を行う、位置・方向計測手段と、を備え、
前記第１立体像生成装置は、
前記位置・方向計測手段が計測した位置及び方向に関する計測データを用いて、前記第１立体表示装置及び前記第２立体表示装置のそれぞれについての位置及び方向に関する情報を算出する位置・方向算出手段と、
前記第１立体表示装置についての前記位置及び方向に関する情報と、前記第２立体表示装置についての前記位置及び方向に関する情報とを用いて、前記第１立体表示装置を基準とする座標系から、当該第２立体表示装置を基準とする座標系に変換する座標変換式を算出し、算出した座標変換式を前記第２立体像生成装置に送信する座標変換式算出手段と、
前記第１立体表示装置を基準とする座標系で定義された前記３次元形状モデルを用いて、前記第１立体表示装置に当該３次元形状モデルについての立体像を表示するための画像データを生成する第１立体像生成手段と、を備え、
前記第２立体像生成装置は、
前記第１立体像生成装置の前記座標変換式算出手段が算出した前記座標変換式を受信し、受信した当該座標変換式を用いて、前記３次元形状モデルの座標データを座標変換する座標変換手段と、
前記座標変換された３次元形状モデルを用いて、前記第２立体表示装置に当該３次元形状モデルについての立体像を表示するための画像データを生成する第２立体像生成手段と、を備えることを特徴とする立体表示システム。

【請求項2】

前記位置・方向計測手段として、
前記複数の立体表示装置のそれぞれに、所定形状の図形を有するマーカーを設けるとともに、前記マーカーを撮影するカメラを備え、
前記位置・方向算出手段は、
前記カメラが撮影した画像中の、前記立体表示装置に設けられたマーカーの像の前記所定形状の図形の変形状態を解析して、前記立体表示装置の位置及び方向に関する情報を算出することを特徴とする請求項１に記載の立体表示システム。

【請求項3】

前記カメラは、前記第１立体表示装置に設けられたマーカーと、前記第２立体表示装置に設けられたマーカーとを、同時に撮影し、
前記位置・方向算出手段は、前記第１立体表示装置に設けられたマーカーと、前記第２立体表示装置に設けられたマーカーとが同時に撮影された画像中のそれぞれのマーカーの前記所定形状の図形の変形状態を解析することで、前記第１立体表示装置及び前記第２立体表示装置の位置及び方向に関する情報を算出することを特徴とする請求項２に記載の立体表示システム。

【請求項4】

前記裸眼方式は、ＩＰ（インテグラル・フォトグラフィ）方式であることを特徴とする請求項１乃至請求項３の何れか一項に記載の立体表示システム。

【請求項5】

前記立体表示装置は、
複数の要素画像からなる要素画像群を表示する画像表示手段と、
前記要素画像群のそれぞれの要素画像に対応する要素レンズを二次元配列したレンズアレーと、を備え、
前記立体表示装置に定義された座標系は、前記レンズアレーを基準として定められたレンズアレー座標系であり、前記マーカーを基準として定められたマーカー座標系が、前記レンズアレー座標系と平行移動の関係となるように、前記マーカーが設けられたことを特徴とする請求項２又は請求項３の何れかを引用する請求項４に記載の立体表示システム。

【請求項6】

前記立体表示装置は、互いに積み重ね可能な箱型に形成されたことを特徴とする請求項１乃至請求項５の何れか一項に記載の立体表示システム。

【請求項7】

裸眼方式の複数の立体表示装置に、共通する３次元形状モデルについての立体像を分散表示する立体表示システムで用いられ、前記立体表示装置に前記３次元形状モデルについての立体像を表示するための画像データを生成する立体像生成装置であって、
請求項１乃至請求項６の何れか一項に記載の第１立体像生成装置であることを特徴とする立体像生成装置。

【請求項8】

裸眼方式の複数の立体表示装置に、共通する３次元形状モデルについての立体像を分散表示する立体表示システムで用いられ、前記立体表示装置に前記３次元形状モデルについての立体像を表示するための画像データを生成する立体像生成装置であって、
請求項１乃至請求項６の何れか一項に記載の第２立体像生成装置であることを特徴とする立体像生成装置。

【請求項9】

コンピュータを、請求項７に記載の立体像生成装置として機能させるための立体像生成プログラム。

【請求項10】

コンピュータを、請求項８に記載の立体像生成装置として機能させるための立体像生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、裸眼方式で立体像を表示する複数の立体表示装置に、立体像を分散表示する技術に関する。

【背景技術】

【0002】

近年、立体表示装置の研究開発が進み、ＩＰ（インテグラル・フォトグラフィ）方式やレンチキュラ方式などの、特殊なメガネを用いることなく観察者に立体像を視認させることが可能な裸眼方式の立体表示装置が開発されている。例えば、ＩＰ方式の立体表示装置は、高精細画像表示パネルと、その前面に配置された二次元レンズアレーとを備え、高精細画像表示パネルに要素画像を表示すると立体像が再生される。

【0003】

特に、ＩＰ方式の立体表示装置は、裸眼で立体像が観察可能な装置であって、表示面に対する観察方向を上下左右に変えることにより、立体像を一方向だけでなく、他の方向からも観察可能に表示することができる。
更に、複数のＩＰ方式の立体表示装置を組み合わせることで、より多方向から観察可能に立体像を表示することも可能となる。

【0004】

例えば、非特許文献１には、６枚のＩＰ方式の立体表示装置の表示面を、それぞれ立方体の各面となるように組み合わせた立体ディスプレイが開示されている。この立体ディスプレイは、表示面で囲まれた立方体の内部に３軸の磁気センサ及び加速度センサを備え、これらのセンサ情報に基づいて立体像を表示する。これによって、この立体ディスプレイは、ガラスケースに入った物体を観察するかのように、物体の立体像を表示することができる。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】吉田俊介、Roberto Lopez-Gulliver、矢野澄男、井ノ上直己、”gCubic：複数人で観察可能なキューブ型裸眼立体ディスプレイ−６面での実装とその対話操作に関する考察”、インタラクション２００９、情報処理学会、IPSI Symposium Series Vol.2009,No.4,pp.1-8

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、非特許文献１に開示された立体ディスプレイは、６枚のディスプレイ間の配置が固定されているため、ディスプレイの内部空間を越える任意の大きさの立体像を適切に表示することが難しかった。そこで、ディスプレイの大きさを超える大きな立体像を表示するために、複数のディスプレイが立体像の再生空間を取り囲むように自由に配置して、１つの立体像を分散表示することが考えられる。しかし、ディスプレイを自由に配置できるようにすると、複数のディスプレイ同士の位置関係が定まらないため、それぞれのディスプレイが表示する画像データを適切に生成することができなかった。

【0007】

本発明は、かかる問題に鑑みて創案されたものであり、裸眼方式の複数の立体表示装置を組み合わせることにより、任意の大きさの立体像を分散表示することができる立体表示システム、この立体表示システムで用いられる立体表示装置が立体像を表示するための画像データを生成する立体像生成装置及びそのプログラムを提供することを課題とする。

【課題を解決するための手段】

【0008】

前記した課題を解決するために、本発明の請求項１に記載の立体表示装置は、裸眼方式の複数の立体表示装置の中から任意に定めた１つを第１立体表示装置とし、その他を第２立体表示装置として、共通する３次元形状モデルについての立体像を分散表示する立体表示システムであって、複数の前記立体表示装置と、第１立体像生成装置と、第２立体像生成装置と、位置・方向計測手段とを備え、前記第１立体像生成装置は、位置・方向算出手段と、座標変換式算出手段と、第１立体像生成手段とを備え、前記第２立体像生成装置は、座標変換手段と、第２立体像生成手段とを備える構成とした。

【0009】

かかる構成によれば、立体表示システムは、第１立体像生成装置によって、前記第１立体表示装置に立体像表示用の画像データを生成する。また、立体表示システムは、第２立体像生成装置によって、前記第２立体表示装置に立体像表示用の画像データを生成する。更にまた、立体表示システムは、位置・方向計測手段によって、前記複数の立体表示装置の位置及び方向を検出するための計測を行う。

【0010】

ここで、前記第１立体像生成装置は、位置・方向算出手段によって、前記位置・方向計測手段が計測した位置及び方向に関する計測データを用いて、前記第１立体表示装置及び前記第２立体表示装置のそれぞれについての位置及び方向に関する情報を算出する。次に、前記第１立体像生成装置は、座標変換式算出手段によって、前記第１立体表示装置についての前記位置及び方向に関する情報と、前記第２立体表示装置についての前記位置及び方向に関する情報とを用いて、前記第１立体表示装置を基準とする座標系から、当該第２立体表示装置を基準とする座標系に変換する座標変換式を算出し、算出した座標変換式を前記第２立体像生成装置に送信する。また、前記第１立体像生成装置は、第１立体像生成手段によって、前記第１立体表示装置を基準とする座標系で定義された前記３次元形状モデルを用いて、前記第１立体表示装置に当該３次元形状モデルについての立体像を表示するための画像データを生成する。

【0011】

また、前記第２立体像生成装置は、座標変換手段によって、前記第１立体像生成装置の前記座標変換式算出手段が算出した前記座標変換式を受信し、受信した当該座標変換式を用いて、前記３次元形状モデルの座標データを座標変換する。次に、前記第２立体像生成装置は、第２立体像生成手段によって、前記座標変換された３次元形状モデルを用いて、前記第２立体表示装置に当該３次元形状モデルについての立体像を表示するための画像データを生成する。
これによって、立体表示システムは、複数の立体表示装置によって表示される立体像の位置合わせを行うことができる。

【0012】

請求項２に記載の立体表示システムは、請求項１に記載の立体表示システムにおいて、前記位置・方向計測手段として、前記複数の立体表示装置のそれぞれに、所定形状の図形を有するマーカーを設けるとともに、前記マーカーを撮影するカメラを備えるように構成した。

【0013】

かかる構成によれば、第１立体像生成装置は、前記位置・方向算出手段によって、前記カメラが撮影した画像中の、前記立体表示装置に設けられたマーカーの像の前記所定形状の図形の変形状態を解析して、前記立体表示装置の位置及び方向に関する情報を算出する。
これによって、立体表示システムは、各立体表示装置に能動的に動作するセンサなどの計測機器を設けずにマーカーのみを設け、カメラをセンサとして用いることで、各立体表示装置の位置及び方向を検出することができる。

【0014】

請求項３に記載の立体表示システムは、請求項２に記載の立体表示システムにおいて、立体表示システムは、前記カメラによって、前記第１立体表示装置に設けられたマーカーと、前記第２立体表示装置に設けられたマーカーとを、同時に撮影することとした。

【0015】

かかる構成によれば、第１立体像生成装置は、前記位置・方向算出手段によって、前記第１立体表示装置に設けられたマーカーと、前記第２立体表示装置に設けられたマーカーとが同時に撮影された１つの画像中のそれぞれのマーカーの前記所定形状の図形の変形状態を解析することで、前記第１立体表示装置及び前記第２立体表示装置の位置及び方向に関する情報を算出する。すなわち、立体表示システムは、立体表示装置の位置及び方向を検出するための計測として１回のカメラ撮影を行い、その計測データである画像データを用いて複数の立体表示装置の位置及び方向を検出する。
これによって、計測の誤差が累積されることなく、第１立体表示装置と第２立体表示装置との間の相対的な位置及び方向を算出することができる。

【0016】

請求項４に記載の立体表示システムは、請求項１乃至請求項３の何れか一項に記載の立体表示システムにおいて、前記裸眼方式は、ＩＰ（インテグラル・フォトグラフィ）方式とした。
かかる構成によれば、立体表示システムは、複数の立体表示装置によって表示される立体の位置合わせを行い、多方向から観察可能なＩＰ方式の立体像を表示する。

【0017】

請求項５に記載の立体表示システムは、請求項２又は請求項３の何れかを引用する請求項４に記載の立体表示システムにおいて、前記立体表示装置は、複数の要素画像からなる要素画像群を表示する画像表示手段と、前記要素画像群のそれぞれの要素画像に対応する要素レンズを二次元配列したレンズアレーと、を備え、前記立体表示装置に定義された座標系は、前記レンズアレーを基準として定められたレンズアレー座標系であり、前記マーカーを基準として定められたマーカー座標系が、前記レンズアレー座標系と平行移動の関係となるように、前記マーカーが設けるように構成した。

【0018】

かかる構成によれば、立体表示システムにおける第１立体像生成装置は、座標変換式算出手段によって、マーカー座標とレンズアレー座標との間の関係を平行移動ベクトルとして算入し、座標変換式を算出する。

【0019】

請求項６に記載の立体表示システムは、請求項１乃至請求項５の何れか一項に記載の立体表示システムにおいて、前記立体表示装置は、互いに積み重ね可能な箱型に形成した。
かかる構成によれば、立体表示システムは、複数の立体表示システムを積み重ねて配置することができる。
これによって、立体表示システムは、複数の立体表示装置を、表示対象である３次元形状モデルの形状や大きさに合わせて自由に配置することができる。

【0020】

請求項７に記載の立体像生成装置は、裸眼方式の複数の立体表示装置に、共通する３次元形状モデルについての立体像を分散表示する立体表示システムで用いられ、前記立体表示装置に前記３次元形状モデルについての立体像を表示するための画像データを生成する立体像生成装置であって、請求項１乃至請求項６の何れか一項に記載の第１立体像生成装置とした。

【0021】

かかる構成によれば、立体像生成装置は、立体像を再生する空間の基準となる第１立体表示装置に、立体像を表示するための画像データを生成するとともに、他の立体表示装置である第２立体表示装置に対して、第１立体表示装置の座標系から第２立体表示装置の座標系に変換する座標変換式を算出して、この第２立体表示装置が立体像を表示するための画像データを生成する第２立体像生成装置に座標変換式を送信する。
これによって、第１立体表示装置が表示する立体像に対して、第２立体表示装置が表示する立体像が位置合わせされる。

【0022】

請求項８に記載の立体像生成装置は、裸眼方式の複数の立体表示装置に、共通する３次元形状モデルについての立体像を分散表示する立体表示システムで用いられ、前記立体表示装置に前記３次元形状モデルについての立体像を表示するための画像データを生成する立体像生成装置であって、請求項１乃至請求項６の何れか一項に記載の第２立体像生成装置とした。

【0023】

かかる構成によれば、立体像生成装置は、第１立体像生成装置から受信した、第１立体表示装置の座標系から第２立体表示装置の座標系への座標変換式を用いて座標変換した３次元形状モデル用いて、第２立体表示装置に立体像を表示するための画像データを生成する。
これによって、第２立体表示装置が表示する立体像が、第１立体表示装置が表示する立体像に対して位置合わせされる。

【0024】

請求項７又は請求項８に記載の立体像生成装置は、ＣＰＵ（Central Processing Unit）、記憶手段（例えば、メモリ、ハードディスク）等のハードウェア資源を備えるコンピュータを、前記した各手段として協調動作させるための立体像生成プログラムによって実現することもできる。このプログラムは、通信回線を介して配布してもよく、光ディスクや磁気ディスク、フラッシュメモリ等の記録媒体に書き込んで配布してもよい。

【発明の効果】

【0025】

請求項１に記載の発明によれば、立体表示システムは、複数の立体表示装置により表示される立体像の位置合わせがなされた立体像を表示することができる。
請求項２に記載の発明によれば、立体表示システムは、個々の立体表示装置に特別なセンサを設けることなく、立体表示装置の位置及び方向を検出することができる。
請求項３に記載の発明によれば、第１立体表示装置と第２立体表示装置との間の相対的な位置及び方向を、計測誤差を累積することなく検出することができるため、立体像の位置合わせを高精度に行うことができる。
請求項４に記載の発明によれば、立体表示システムは、複数の立体表示装置により表示される立体像が位置合わせされるため、ＩＰ方式で表示される立体像について、方向を変えながら観察する際に不連続性を感知されることが抑制される。
請求項５に記載の発明によれば、立体表示システムは、立体像の位置合わせのための座標変換式を算出する演算量を低減することができる。
請求項６に記載の発明によれば、立体表示システムは、表示対象である立体像の形状や大きさに合わせて、複数の立体表示装置を容易に配置することができる。
請求項７乃至請求項１０に記載の発明によれば、立体像生成装置は、他の立体表示装置で表示される立体像との位置合わせがなされるように、対応する立体表示装置が表示する立体像の画像データを生成することができる。

【図面の簡単な説明】

【0026】

【図1】本発明の第１実施形態に係る立体表示システムの概要を示す模式図であり、複数の立体表示装置によって、共通の立体像が表示される様子を示す。

【図2】（ａ）、（ｂ）は、本発明の第１実施形態に係る立体表示システムで用いられるマーカーの例である。

【図3】本発明の第１実施形態に係る立体表示システムで用いられる立体表示装置の構成を示す模式図であり、（ａ）は上面図、（ｂ）は背面図、（ｃ）は正面図である。

【図4】本発明の第１実施形態に係る立体像生成装置の構成を示す模式図である。

【図5】本発明の第１実施形態に係る立体表示システムで用いられるマーカーを撮影したマーカー画像の例である。

【図6】本発明の第１実施形態に係る立体表示装置に表示されるＩＰ立体像データの生成方法を説明するための説明図である。

【図7】本発明の第１実施形態に係る立体表示システムの動作の流れを示すフローチャートであり、（ａ）は第１立体像生成装置、（ｂ）は第２立体像生成装置のものである。

【図8】本発明の第２実施形態に係る立体表示システムの概要を示す模式図であり、（ａ）はシステム全体、（ｂ）は立体表示装置を示す。

【発明を実施するための形態】

【0027】

以下、本発明の実施形態について、図面を参照して詳細に説明する。
＜第１実施形態＞
［立体表示システムの構成］
まず、第１実施形態に係る立体表示システム１００の構成の概要について、図１を参照して説明する。
図１に示すように、本実施形態においては、立体表示システム１００は、背面にマーカー２が設けられた２台の立体表示装置である第１立体表示装置１_０及び第２立体表示装置１_１（以下、これらを適宜に「立体表示装置１」という）と、カメラ４と、第１立体像生成装置５と、第２立体像生成装置６と、から構成されている。
２台の立体表示装置１は、立体像再生領域３を取り囲むように配置されており、何れも背面にマーカー２が設けられている。また、マーカー２には、それぞれが設けられた立体表示装置１を識別する模様として、数字「１」又は「２」が含まれている。
なお、本実施形態に係る立体表示システム１００では、説明を簡単にするために立体表示装置１は２台としたが、２台以上の任意の台数を構成に含めることができる。

【0028】

本実施形態において、立体像を再生する空間の座標系（以下、再生空間座標系という）は、複数の立体表示装置１の中で任意に定めた１台の設置位置及び方向を基準として定義される。ここで、再生空間座標系の基準となる立体表示装置１を、「第１立体表示装置」という。また、立体像の形状を定義する３次元形状モデルは、再生空間座標系で定義されているものとする。
なお、再生空間座標系と、第１立体表示装置１_０の座標系とは所定の関係があればよく、一致する必要はないが、本実施形態では説明を簡単にするために、両者は一致し、３次元形状モデルは、第１立体表示装置１_０の座標系（より詳細には、後記するレンズアレー座標系）で定義されているものとする。

【0029】

また、本実施形態では、再生空間座標系の基準となる第１立体表示装置１_０以外の立体表示装置１を、「第２立体表示装置」という。第１立体表示装置１_０と第２立体表示装置１_１とは、再生空間座標系の基準とされるかどうかの違いがあるだけで、立体表示装置としては同様の構成を有するものである。但し、第１立体表示装置１_０と第２立体表示装置１_１とは、例えば、画面サイズや画素密度などが異なっていてもよく、完全に同一であることは必要ではない。
また、立体表示装置１は裸眼方式の立体表示装置であり、本実施形態では、ＩＰ方式の立体表示装置を例として説明する。

【0030】

カメラ４は、２台の立体表示装置１の後方に配置され、それぞれの立体表示装置１の背面に設けられたマーカー２が１画面に同時に撮影できるように、撮影範囲が設定されている。カメラ４は、撮影したマーカー画像を第１立体像生成装置５に出力する。

【0031】

第１立体像生成装置５は、カメラ４からマーカー画像を入力し、このマーカー画像の幾何学的な変形状態を解析することで、各立体表示装置１の位置及び方向を検出し、立体表示装置中の第１立体表示装置１_０の座標系から第２立体表示装置１_１の座標系への座標変換式を算出するとともに、再生空間座標系、すなわち本実施形態では、第１立体表示装置１_０の座標系で定義された３次元形状モデルを用いて、第１立体表示装置１_０に立体像を再生するための画像データである立体像データを生成するものである。

【0032】

また、第２立体像生成装置６は、第１立体像生成装置５から前記した座標変換式を入力し、この座標変換式で座標変換した３次元形状モデルを用いて、第２立体表示装置１_１に立体像を再生するための立体像データを生成するものである。

【0033】

以下、本実施形態に係る立体表示システム１００を構成する各装置の構成について、更に詳細に説明する。
（マーカー（位置・方向計測手段））
まず、図２を参照（適宜図１参照）して、マーカー２について説明する。
マーカー２は、各立体表示装置１の背面に設けられ、カメラ４で撮影される。カメラ４で撮影されたマーカー画像は、第１立体像生成装置５によって解析され、各マーカー２が設けられた立体表示装置１の位置及び方向を検出するために用いられる。すなわち、本実施形態では、マーカー２とカメラ４とを組み合わせて、立体表示装置１の位置及び方向を計測する手段として用いるものである。

【0034】

図２に示すように、マーカー２は、台紙２ｃ上に白黒の平面図形が印刷されたものである。図２（ａ）に示した例では、マーカー図形は、正方形の図形である外枠図形２ａと、四角形の模様２ｂとから構成されている。正方形の外枠図形２ａは、マーカー画像における各辺の傾きなどのマーカー図形の変形状態を解析することで、カメラ４とマーカー２との間の相対的な位置及び方向に関する情報を検出するための図形である。外枠図形２ａは、位置及び方向に関する情報の検出を容易に行えるように、正方形とすることが好ましいがこれに限定されるものではなく、長方形や、多角形としてもよい。また、模様２ｂは、マーカー図形が全体として回転対称とならないようにするためのものである。本例では、四角形の模様２ｂが、正方形の外枠図形２ａの左下の角の近傍に設けられている。

【0035】

図２（ｂ）に示した例では、マーカー２は、模様２ｂとして数字「１」が配置されている。模様２ｂとして数字や他の文字、記号を用いることで、マーカー２に属性を持たせることができる。また、このような属性などの情報を持たせるための模様２ｂとして、バーコードを用いてもよい。また、マーカー２の全体の形状として、ＱＲコード（登録商標）のような二次元コードを用いることもできる。
なお、模様２ｂ自体が、回転対称性を有さない場合は、図２（ｂ）に示した例のように、外枠図形２ａの中心部に模様２ｂを配置するようにしてもよい。
また、図１に示した例では、各立体表示装置１を識別するために、マーカー２の模様２ｂとして、それぞれ異なる数字が用いられている。

【0036】

（立体表示装置）
次に、図３を参照（適宜図１参照）して、立体表示装置１の構成について説明する。
立体表示装置１には、前記したように、再生空間座標系の基準となる第１立体表示装置１_０と、その他の第２立体表示装置１_１とがあるが、何れも同様の構成を有している。
図３に示すように、本実施形態における立体表示装置１は、ＩＰ方式で立体表示するものであり、画像表示手段１１と、その画像表示面に対向するように配置されたレンズアレー１２とから構成される。また、画像表示手段１１の画像表示面とは反対側の面、すなわち背面には、所定形状の図形として、正方形の外枠図形２ａを有するマーカー２が設けられている。本実施形態における立体表示装置１はＩＰ方式であるため、画像表示面に対する観察方向を上下左右に変えることにより、異なる方向から見た立体像が観察できるように表示される。

【0037】

画像表示手段１１は、例えば、ＬＣＤ（液晶表示装置）などの、画素が二次元配列された画像表示装置である。画像表示手段１１は、その画像表示面側に設けられたレンズアレー１２を構成する個々の要素レンズに対応した要素画像の集合体である要素画像群を表示するものである。画像表示手段１１は、第１立体像生成装置５又は第２立体像生成装置６から、要素画像群を表示するための画像データであるＩＰ立体像データ（要素画像データ）を入力し、入力したＩＰ立体像データに基づいて画像を表示する。

【0038】

レンズアレー１２は、図３（ｃ）に示すように、所定の大きさの要素レンズを二次元配列したものであり、図３（ａ）に示すように、画像表示手段１１の画像表示面に対向するように設けられている。レンズアレー１２を構成する各要素レンズは、画像表示手段１１が表示する各要素画像に対応し、要素画像を構成する画素から発する光を、特定の方向に出射するためのものである。これによって、要素画像を構成する画素数分の観察方向から見た立体像が表示される。

【0039】

また、図３（ａ）〜（ｃ）に示すように、立体表示装置１を基準とする座標系として、マーカー２を基準とするマーカー座標（Ｘ’，Ｙ’，Ｚ’）と、ＩＰ方式による立体像表示の基準となるレンズアレー１２を基準とするレンズアレー座標（Ｘ，Ｙ，Ｚ）とが定義される。
なお、座標系の詳細については後記する。

【0040】

（カメラ（位置・方向計測手段））
カメラ４は、図１に示したように、２台の立体表示装置１の後方に配置され、それぞれの立体表示装置１の背面に設けられたマーカー２が１画面に同時に撮影できるように、撮影範囲４ａが設定されている。カメラ４は、撮影したマーカー画像を第１立体像生成装置５に出力する。

【0041】

なお、立体表示装置１が３台以上配置されている場合は、１台ずつマーカー２を撮影するようにしてもよいが、立体表示装置１に設けられたすべてのマーカー２を同時に撮影することが好ましい。また、複数枚の画像に分けてマーカー２を撮影する場合でも、再生空間座標系の基準となる第１立体表示装置１_０のマーカー２が、何れの画像にも撮影されていることが好ましい。これによって、計測による誤差の累積を抑制し、第１立体表示装置１_０と第２立体表示装置１_１との間の、相対的な位置及び方向の関係を検出することができる。
また、カメラ４には、カメラを基準とするカメラ座標（ｘ，ｙ，ｚ）が定義される。
なお、カメラ座標の詳細については後記する。

【0042】

次に、図４を参照（適宜図１参照）して、第１立体像生成装置５及び第２立体像生成装置６について説明する。
（第１立体像生成装置（立体像生成装置））
第１立体像生成装置５は、カメラ４からマーカー画像を入力し、このマーカー画像の幾何学的な変形状態を解析することで、各立体表示装置１の位置及び方向を検出し、立体表示装置中の第１立体表示装置１_０の座標系から第２立体表示装置１_１の座標系への座標変換式を算出するとともに、再生空間座標系、すなわち本実施形態では、第１立体表示装置１_０を基準とする座標系で定義された３次元形状モデルを用いて、第１立体表示装置１_０に立体像を再生するための画像データであるＩＰ立体像データを生成するものである。

【0043】

このために、第１立体像生成装置５は、図４に示すように、立体表示装置位置・方向算出手段５１と、座標変換式算出手段５２と、ＩＰ立体像生成手段５３と、３次元形状モデル記憶手段５４と、を備えている。

【0044】

立体表示装置位置・方向算出手段（位置・方向算出手段）５１は、カメラ４から入力したマーカー画像中の所定形状の図形の幾何学的な変形状態を解析して、各立体表示装置１の位置及び方向を算出するものである。立体表示装置位置・方向算出手段５１は、算出した各立体表示装置１の位置及び方向を座標変換式算出手段５２に出力する。

【0045】

ここで、マーカー画像には、複数の立体表示装置１（第１立体表示装置１_０及び第２立体表示装置１_１）に設けられたマーカー２の画像、すなわち、複数のマーカー像が含まれるため、立体表示装置位置・方向算出手段５１は、まず、マーカー画像を、個々のマーカー像に分離し、分離したマーカー像毎に、カメラ４とマーカー２との間の相対的な位置及び方向に関する情報を算出する。
なお、マーカー画像中の所定形状の図形についての幾何学的な変形状態を解析して、各立体表示装置１の位置及び方向を算出する方法については後記する。

【0046】

また、立体表示装置位置・方向算出手段５１は、マーカー像中の模様２ｂについて、例えば、模様２ｂが数字やその他の文字の場合は文字認識技術を用いて、模様２ｂに含まれる文字情報を認識する。これによって、立体表示装置位置・方向算出手段５１は、分離したマーカー像と、立体表示装置１とを対応付けることができる。
なお、マーカー像と立体表示装置１との対応付けは、これに限定されるものではなく、任意の手法を用いることができる。

【0047】

座標変換式算出手段５２は、立体表示装置位置・方向算出手段５１から、第１立体表示装置１_０及び第２立体表示装置１_１についての位置及び方向に関する情報を入力し、第１立体表示装置１_０の座標系から第２立体表示装置１_１の座標系への座標変換式を算出する。座標変換式算出手段５２は、算出した座標変換式を、第２立体像生成装置６の座標変換手段６１に出力する。
なお、座標変換式を算出する方法については後記する。

【0048】

なお、第２立体表示装置１_１が複数台ある場合は、座標変換式算出手段５２は、それぞれの第２立体表示装置１_１について、第１立体表示装置１_０の座標系から第２立体表示装置１_１の座標系への座標変換式を算出し、対応する第２立体像生成装置６に出力するものとする。
また、複数の第２立体表示装置１_１が１台の第２立体像生成装置６を共有する場合は、座標変換式算出手段５２は、各第２立体表示装置１_１に対応付けて座標変換式を第２立体像生成装置６に出力するようにすればよい。

【0049】

ＩＰ立体像生成手段（立体像生成手段）５３は、３次元形状モデル記憶手段５４から、再生空間座標系、すなわち第１立体表示装置１_０の座標系（レンズアレー座標）で定義された３次元形状モデルのデータを入力し、この３次元形状モデルのデータを用いて、第１立体表示装置１_０にＩＰ立体像を表示させるための画像データであるＩＰ立体像データを生成する。なお、ＩＰ立体像データとは、レンズアレー１２の各要素レンズに対応した要素画像として画像表示手段１１に表示される画像データの集合体のことである。ＩＰ立体像生成手段５３は、生成したＩＰ立体像データを第１立体表示装置１_０の画像表示手段１１に出力する。
なお、ＩＰ立体像データの生成方法については後記する。

【0050】

３次元形状モデル記憶手段５４は、再生対象である立体像の形状を示し、再生空間座標系、すなわち第１立体表示装置１_０を基準とする座標系（レンズアレー座標）で定義された３次元形状モデルのデータを記憶するものであり、磁気ディスク、光ディスク又は半導体メモリなどの記憶媒体を用いた記憶装置を用いることができる。
なお、本実施形態では、３次元形状モデルのデータを第１立体像生成装置５内に記憶するように構成したが、これに限定されるものではない。例えば、有線、無線を問わず、通信回線を介して、外部のサーバから３次元形状モデルのデータを適宜入力するように構成してもよい。

【0051】

（第２立体像生成装置（立体像生成装置））
第２立体像生成装置６は、第１立体像生成装置５から前記した座標変換式を入力し、この座標変換式で座標変換した３次元形状モデルを用いて、第２立体表示装置１_１に立体像を再生するための画像データであるＩＰ立体像データを生成するものである。
このために、第２立体像生成装置６は、座標変換手段６１と、ＩＰ立体像生成手段６２と、３次元形状モデル記憶手段６３と、を備えている。

【0052】

座標変換手段６１は、第１立体像生成装置５の座標変換式算出手段５２から、第１立体表示装置１_０の座標系から第２立体表示装置１_１の座標系への座標変換式を入力し、３次元形状モデル記憶手段６３に記憶されている第１立体表示装置１_０を基準とする座標系（レンズアレー座標）で定義された３次元形状モデルの座標を、第２立体表示装置１_１を基準とする座標系（レンズアレー座標）に変換する。座標変換手段６１は、座標変換した３次元形状モデルのデータを、ＩＰ立体像生成手段６２に出力する。

【0053】

ＩＰ立体像生成手段（立体像生成手段）６２は、座標変換手段６１から、第２立体表示装置１_１を基準とする座標系（レンズアレー座標）に座標変換された３次元形状モデルのデータを入力し、この３次元形状モデルのデータを用いて、第２立体表示装置１_１にＩＰ立体像を表示させるための画像データであるＩＰ立体像データを生成する。
なお、ＩＰ立体像データの生成方法は、第１立体像生成装置５のＩＰ立体像生成手段５３と同様である。

【0054】

３次元形状モデル記憶手段６３は、第１立体像生成装置５の３次元形状モデル記憶手段５４と同様に、再生対象である立体像の形状を示し、再生空間座標系、すなわち第１立体表示装置１_０を基準とする座標系（レンズアレー座標）で定義された３次元形状モデルのデータを記憶するものである。

【0055】

また、本実施形態では、３次元形状モデルのデータを第２立体像生成装置６内に記憶するように構成したが、これに限定されるものではない。例えば、有線、無線を問わず、通信回線を介して、外部のサーバ又は第１立体像生成装置５から３次元形状モデルのデータを適宜入力するように構成してもよい。また、第１立体像生成装置５と第２立体像生成装置６を一体的に構成する場合は、３次元形状モデル記憶手段５４又は３次元形状モデル記憶手段６３の何れか一方を設け、共用するようにしてもよい。

【0056】

なお、第１立体像生成装置５及び第２立体像生成装置６は、それぞれ第１立体表示装置１_０及び第２立体表示装置１_１と一体に構成されてもよく、有線又は無線の通信回線を介して接続するように構成してもよい。また、第１立体像生成装置５及び第２立体像生成装置６を一体に構成してもよい。
また、第１立体像生成装置５又は第２立体像生成装置６は、各構成手段をハードウェア回路で構成してもよいが、演算装置、記憶装置などを備えた一般的なコンピュータ（例えば、パーソナルコンピュータ）を、第１立体像生成装置５又は第２立体像生成装置６の各構成手段として機能させるプログラムを実行させることで実現することもできる。

【0057】

［演算方法］
次に、第１立体像生成装置５及び第２立体像生成装置６の各部で行われる演算方法について順次に説明する。
（１．座標系）
まず、図３及び図４を参照して、立体表示システム１００において用いられる座標系について説明する。
本実施形態では、立体像を再生する空間の座標系（再生空間座標系）は、第１立体表示装置１_０に定義されるレンズアレー座標系とする。すなわち、立体像再生領域３は、第１立体表示装置１_０のレンズアレー座標系で定義され、当該立体像再生領域３に表示される立体像の形状を示す３次元立体形状モデルは、第１立体表示装置１_０のレンズアレー座標系で定義されるものとする。

【0058】

なお、３次元立体形状モデルは、例えば、全空間の座標を規定する世界座標で定義されるものであってもよい。この場合は、世界座標における第１立体表示装置１_０が設けられた位置情報を予め測定しておき、この位置情報によって定められる、世界座標から第１立体表示装置１_０のレンズアレー座標への座標変換式を用いて、３次元立体形状モデルの座標データを変換して用いるようにすればよい。

【0059】

立体表示装置１には、それぞれマーカー座標とレンズアレー座標とが定義される。
マーカー座標は、図３（ａ）、（ｂ）に示すように、マーカー２の中心を原点とし、マーカー２の外枠図形２ａの辺に平行な２方向を、それぞれｘ軸（Ｘ’軸）及びｙ軸（Ｙ’軸）とし、マーカー面の法線をｚ軸（Ｚ’軸）とする。また、マーカー面に上向きを＋ｚ軸方向とする。
なお、本実施形態で用いる直交座標系は、特に断らない限りすべて右手系とする。
以下、マーカー座標は、（Ｘ’，Ｙ’，Ｚ’）で表すものとする。

【0060】

レンズアレー座標は、図３（ａ）、（ｃ）に示すように、レンズアレー１２の中心に配置された要素レンズの光学主点を原点とし、この要素レンズの光軸をｚ軸（Ｚ軸）とし、画像表示手段１１の水平方向及び垂直方向を、それぞれｘ軸（Ｘ軸）及びｙ軸（Ｙ軸）とする。また、画像表示手段１１の背面方向を＋ｚ軸方向とする。

【0061】

マーカー２は、立体表示装置１の画像表示を妨げず、カメラ４により撮影可能な場所であれば、立体表示装置１の任意の場所に、任意の方向（姿勢）で設けることができるが、本実施形態のように設けることが好ましい。すなわち、マーカー２は、立体表示装置１の背面であって、マーカー座標の原点がレンズアレー座標のＺ軸上にあり、マーカー座標のＸ’軸、Ｙ’軸及びＺ’軸が、それぞれレンズアレー座標のＸ軸、Ｙ軸及びＺ軸と平行になるように設けることが好ましい。すなわち、マーカー座標とレンズアレー座標とが、平行移動の関係となるようにすることで、マーカー座標とレンズアレー座標との間の座標変換を、加算のみで行うことができるため、後記する座標変換式を算出するための演算量を低減することができる。
なお、本実施形態では、図３（ａ）に示すように、マーカー２とレンズアレー１２とのｚ軸方向の距離をＤとする。
以下、レンズアレー座標は、（Ｘ，Ｙ，Ｚ）で表すものとする。

【0062】

カメラ座標は、カメラ４の光学主点を原点とし、カメラ４の光軸をｚ軸とする。また、水平方向及び垂直方向をそれぞれカメラ座標のｘ軸及びｙ軸とする。また、カメラ４から見て、被写体であるマーカー２の方向を＋ｚ軸方向とする。
以下、カメラ座標は、（ｘ，ｙ，ｚ）で表すものとする。

【0063】

（２．立体表示装置（マーカー）の位置及び方向の算出（マーカー座標からカメラ座標への座標変換式の算出））
次に、立体表示装置位置・方向算出手段５１によって算出される立体表示装置の位置及び方向に関する情報の算出方法について説明する。なお、本実施形態では、立体表示装置の位置及び方向に関する情報として、マーカー座標からカメラ座標への座標変換式が算出される。

【0064】

透視投影カメラモデルでは、カメラ座標（ｘ，ｙ，ｚ）とカメラ４で撮影された画像内の座標である画像座標（ｕ，ｖ）の関係は式（１）で表される。

【0065】

【数1】

【0066】

ここで、「ａ」は画素のアスペクト比（撮像素子の垂直方向の画素間隔／撮像素子の水平方向の画素間隔）、「Ｆ」はカメラレンズの焦点距離を撮像素子の垂直方向の画素間隔で正規化したパラメータ、（Ｃ_ｕ，Ｃ_ｖ）はカメラ座標のｚ軸（カメラ光軸）が画像面と交わる画像座標である。
式（１）をカメラ画像に適用し、マーカー２を基準とするカメラ４の位置及び方向を算出する。

【0067】

図５はマーカー２を撮影した画像の例である。図５に示したマーカー画像には、１つのマーカー像が撮影されているが、複数のマーカー像が含まれる場合には、マーカー像を個々に分離し、それぞれに対して同じ手順の処理を行うものとする。
まず、画像中の正方形の外枠図形２ａの輪郭を追跡し、その折れ点を検出することにより、４頂点Ａ〜Ｄの画像座標を得ることができる。これらの頂点の画像座標から、各辺を直線の方程式として表すことができる。
ここで、向かい合う２つの辺ＡＤ及び辺ＢＣの直線の方程式を式（２）で表す。

【0068】

【数2】

【0069】

ここで、α及びβは、辺を表す直線の方程式のパラメータ（係数）である。
次に、式（２）を式（１）に代入することで式（３）を得る。

【0070】

【数3】

【0071】

式（３）はカメラ座標（ｘ，ｙ，ｚ）で定義された平面の方程式である。上側の式は、辺ＡＤとカメラ座標原点で決定される平面であり、その法線ベクトルは、式（４）の上側の式のように表すことができる。
また、式（３）の下側の式は、辺ＢＣとカメラ座標原点で決定される平面であり、その法線ベクトルは、式（４）の下側の式のように表わすことができる。

【0072】

【数4】

【0073】

２つの辺ＡＤと辺ＢＣとは平行であるため、共通の方向ベクトルを持つ。この方向ベクトルは、式（４）に示した２つの平面の法線ベクトルの外積として計算される。この計算を辺ＡＢと辺ＤＣとに対しても行うことで，マーカー２と平行で、かつ互いに直交する２つのベクトルが得られる。これらの２つのベクトルの外積からマーカーの面に垂直なベクトルも得られる。これらの３つのベクトルを列ベクトルとする３×３行列は、マーカー座標からカメラ座標への回転行列Ｒを表す。この回転行列Ｒは、カメラ座標系におけるマーカー２が向いている方向（姿勢）の情報に相当するものである。これによって、マーカー座標（Ｘ’，Ｙ’，Ｚ’）とカメラ座標（ｘ，ｙ，ｚ）と間の関係式として式（５）を得る。

【0074】

【数5】

【0075】

ここで、Ｔは、カメラ座標原点からマーカー座標原点への平行移動ベクトルであり、カメラ座標原点を基準としたマーカー座標原点の位置に相当する。すなわち、平行移動ベクトルＴは、カメラ座標系におけるマーカー２の位置情報に相当するものである。また、式（１）におけるパラメータであるａ，Ｆ，（Ｃ_ｕ，Ｃ_ｖ）は予め計測された既知の値とする。前記したように回転行列Ｒも得られているので、４頂点Ａ〜Ｄについての画像座標（ｕ，ｖ）及びマーカー座標（Ｘ’，Ｙ’，Ｚ’）を、式（１）及び式（５）に代入することにより、８つの方程式が得られる。これを最小二乗法で解くことにより、平行移動ベクトルＴが得られる。

【0076】

また、マーカー２の外枠図形２ａは、マーカー中心のｚ軸を４回軸とする回転対称性を有するため、マーカー画像中の各辺がマーカー２の外枠図形２ａの正方形の外枠図形２ａどの辺に対応するか特定できない。すなわち、マーカー２を４つの方向の内のどの方向から撮影したのかが特定できない。
そこで、マーカー２の外枠図形２ａの内側に描かれている模様２ｂを検出して、マーカー２に対する撮影方向（カメラ４の方向）を特定する。模様２ｂは、マーカー２を非回転対称な図形とするためのものである。従って、その模様２ｂを検出することにより、ｚ軸まわりの回転対称性によるカメラ方向の不確定性を排除することができる。この模様２ｂはマーカー２を、ｚ軸回りの回転操作に対して非対称にすることができれば、任意の模様を用いることができる。

【0077】

模様２ｂは、パターンマッチング技術を用いて検出することができる。まず、マーカー２をｚ軸回りに、９０度ずつ回転した４つのマーカー像を、図５に示したマーカーの撮影画像に投影する。撮影したマーカー画像と４つの投影画像との相関を計算することでパターンの一致度を評価し、最も一致度の高い投影画像の回転角度を、対称性の補正角度とする。すなわち、この回転角度から、カメラ４の方向を特定することができる。

【0078】

以上の手順により、カメラ座標に対するマーカーの位置及び方向に関する情報が得られる。これらの情報にもとづいて、３次元立体形状モデルを描画する。
なお、マーカー２とカメラ４とを用いた位置及び方向に関する情報を検出する計算は、例えば、以下の参考文献１に記載の方法を応用することもできる。
参考文献１：Kato,H.,Billinghurst,M.,"Marker Tracking and HMD Calibration for a video-based Augmented Reality Conferencing System",Proceedings of the 2nd International Workshop on Augmented Reality(IWAR99)

【0079】

以上は、１つのマーカー像について、マーカー座標とカメラ座標との間の関係式の算出方法について説明したが、第１立体表示装置１_０のマーカー座標及び第２立体表示装置１_１のマーカー座標と、カメラ座標との関係について、同様にして、それぞれ式（６）及び式（７）のように求めることができる。

【0080】

【数6】

【0081】

ここで、図４に示すように、（Ｘ’_０、Ｙ’_０，Ｚ’_０）、（Ｘ’_１、Ｙ’_１，Ｚ’_１）は、それぞれ、第１立体表示装置１_０のマーカー座標及び第２立体表示装置１_１のマーカー座標を示す。また、Ｒ_０及びＴ_０は、それぞれ第１立体表示装置１_０のマーカー座標とカメラ座標との間の回転行列及び平行移動ベクトルを示し、Ｒ_１及びＴ_１は、それぞれ第２立体表示装置１_１のマーカー座標とカメラ座標との間の回転行列及び平行移動ベクトルを示す。

【0082】

（３．座標変換式の算出）
次に、座標変換式算出手段５２によって算出される第１立体表示装置１_０のレンズアレー座標から第２立体表示装置１_１のレンズアレー座標への座標変換式の算出方法について説明する。

【0083】

前記したように、マーカー座標とレンズアレー座標とは、マーカー２とレンズアレー１２とのｚ軸方向の距離をＤだけｚ軸方向に平行移動する関係にあるから、その関係式は、式（８）及び式（９）のように表わすことができる。なお、第１立体表示装置１_０及び第２立体表示装置１_１におけるマーカー２とレンズアレー１２とのｚ軸方向の距離は、何れも同じであるものとする。

【0084】

【数7】

【0085】

式（８）及び式（９）を、それぞれ式（６）及び式（７）に代入することで、式（１０）及び式（１１）を得る。

【0086】

【数8】

【0087】

ここで、式（１０）及び式（１１）からカメラ座標（ｘ，ｙ，ｚ）を消去することで、第１立体表示装置１_０のレンズアレー座標（Ｘ_０、Ｙ_０，Ｚ_０）と第２立体表示装置１_１のレンズアレー座標（Ｘ_１、Ｙ_１，Ｚ_１）との間の関係式、すなわち、第１立体表示装置１_０のレンズアレー座標からと第２立体表示装置１_１のレンズアレー座標への座標変換式として式（１２）を得る。
式（１２）において、ｒｏｔ_１は、第１立体表示装置１_０のマーカー座標から第２立体表示装置１_１のマーカー座標への回転行列であり、ｔｒａ_１は、第１立体表示装置１_０のレンズアレー座標から第２立体表示装置１_１のレンズアレー座標への平行移動ベクトルである。

【0088】

【数9】

【0089】

（４．ＩＰ立体像の生成）
次に、ＩＰ立体像生成手段５３によって行われるＩＰ立体像の生成方法について説明する。
ここで、図６を参照して、３次元形状モデルからＩＰ立体像の要素画像Ｇを生成する手順について説明する。
ＩＰ立体像の要素画像Ｇは、次の手順（ａ）〜（ｄ）を行うことで生成することができる。なお、ここでは、レンズアレー１２を構成する各要素レンズを、要素レンズの中心位置にピンホールが設けられたものとみなして説明する。また、画像表示手段１１は、レンズアレー１２から、要素レンズの焦点距離Ｆだけ離れた位置に配置されているものとする。

【0090】

（ａ）画素ＡとピンホールＢ（レンズ中心）を通る、単位ベクトルをＥとする直線上の、レンズアレー１２からＺ軸方向に一定距離Ｌだけ離れた位置に仮想カメラＶｃを置く。
（ｂ）仮想カメラＶｃを、ピンホールＢに向けて撮像する。
（ｃ）仮想カメラＶｃによって撮影される画像の中心画素には、画素Ａ及びピンホールＢを通る直線が、３次元形状モデルＯｂｊの表面と交わる点Ｃが射影される。そして、３次元形状モデルＯｂｊの表面上の点ＣのＲＧＢ値（色データ）を画素Ａの画素値とする。
（ｄ）レンズアレー１２は光線をサンプリングするため、折り返し雑音が生じないように仮想カメラＶｃが撮影した画像に帯域制限フィルタ（ローパスフィルタ）処理を施す。より具体的には、仮想カメラＶｃが撮影した画像において、点Ｃが射影された画素を中心とする近傍における所定範囲の画素の画素値の平均又は重み付き平均を、当該画素の画素値とする。
これらの処理（ａ）〜（ｄ）を、要素画像のすべての画素について行う。
更に、すべての要素画像について、同様の処理を行う。

【0091】

なお、図６において、３次元形状モデルＯｂｊは、立体表示装置１の前面側に配置されているが、これに限定されるものではなく、背面側（図６において、レンズアレー１２の左側）に配置されるものであってもよい。

【0092】

これは基本的な方法であり、適宜に、高速アルゴリズムを用いて、リアルタイムでＩＰ立体像を生成することもできる。このような高速アルゴリズムとしては、例えば、参考文献２又は参考文献３に記載された手法を用いることができる。
参考文献２：Y.Iwadate and M.Katayama,"Generating Integral image from 3D object by using Oblique projection",IDW2011,3Dp-1,2011
参考文献３：特開２０１２−８４１０５号公報

【0093】

（５．３次元形状モデルの座標変換）
次に、座標変換手段６１によって行われる３次元形状モデルの座標変換について説明する。
本実施形態では、座標変換式として、式（１２）を用いて、３次元形状モデルの座標データを再生空間座標系である第１立体表示装置１_０のレンズアレー座標から第２立体表示装置１_１のレンズアレー座標へ座標変換する。例えば、３次元形状モデルが、三角形パッチを繋ぎ合わせたポリゴンモデルを用いたＣＧ（コンピュータグラフィックス）データである場合は、３次元形状モデルを構成する三角形パッチの頂点の座標を、第２立体表示装置１_１のレンズアレー座標に変換する。

【0094】

（６．ＩＰ立体像の生成）
第２立体像生成装置６のＩＰ立体像生成手段６２においては、第２立体表示装置１_１のレンズアレー座標に変換された３次元形状モデルを用いて、ＩＰ立体像のデータが生成される。３次元形状モデルの座標系が変換されていること以外は、第１立体像生成装置５のＩＰ立体像生成手段５３と同様にしてＩＰ立体像を生成することができるため、ＩＰ立体像データの生成手順の説明は省略する。

【0095】

［立体表示システムの動作］
次に、図７を参照（適宜図４参照）して、立体表示システム１００の動作として、第１立体像生成装置５及び第２立体像生成装置６の動作を主体として説明する。
まず、図７（ａ）を参照して、第１立体像生成装置５を主体とする動作について説明する。
図７（ａ）に示すように、まず、第１立体像生成装置５は、カメラ４によって複数の立体表示装置１に設けられたマーカー２が撮影されたマーカー画像のデータを立体表示装置位置・方向算出手段５１に入力する（ステップＳ１０）。

【0096】

次に、第１立体像生成装置５は、立体表示装置位置・方向算出手段５１によって、マーカー画像中の複数のマーカー像を個々に分離し（ステップＳ１１）、第１立体表示装置１_０についてのマーカー像を解析して、その位置及び方向に関する情報を算出するとともに（ステップＳ１２）、第２立体表示装置１_１についてのマーカー像を解析して、その位置及び方向に関する情報を算出する（ステップＳ１３）。
また、第１立体像生成装置５は、立体表示装置位置・方向算出手段５１によって、算出した各立体表示装置１の位置及び方向に関する情報である式（６）及び式（７）を座標変換式算出手段５２に出力する。

【0097】

なお、ステップＳ１２とステップＳ１３とは、何れを先に行ってもよく、並行して行ってもよい。また、複数の第２立体表示装置１_１がある場合には、すべての第２立体表示装置１_１についてのマーカー像を解析して、その位置及び方向に関する情報を算出する。

【0098】

次に、第１立体像生成装置５は、座標変換式算出手段５２によって、ステップＳ１２及びステップＳ１３で算出された立体表示装置１の位置及び方向に関する情報である式（６）及び式（７）と、立体表示装置１のマーカー座標からレンズアレー座標への予め定められた座標変換式である式（８）及び式（９）とを用いて、式（１２）に示した座標変換式を算出する（ステップＳ１４）。
第１立体像生成装置５は、座標変換式算出手段５２によって、ステップＳ１４で算出した座標変換式を、第２立体像生成装置６の座標変換手段６１に送信する（ステップＳ１５）。

【0099】

また、第１立体像生成装置５は、ＩＰ立体像生成手段５３によって、３次元形状モデル記憶手段５４に記憶されている３次元形状モデルのデータを用いて、第１立体表示装置１_０のレンズアレー１２の各要素レンズに対応した要素画像を表示するためのＩＰ立体像データを生成する（ステップＳ１６）。
第１立体像生成装置５は、ＩＰ立体像生成手段５３によって生成したＩＰ立体像のデータを第１立体表示装置１_０の画像表示手段１１に出力する。
ここで、ステップＳ１６の処理と、ステップＳ１０からステップＳ１５の処理とは、何れを先に行ってもよく、並行して行うようにしてもよい。

【0100】

なお、第１立体表示装置１_０は、画像表示手段１１によって、第１立体像生成装置５から入力したＩＰ立体像のデータに基づいて画像表示をすることで、立体像再生領域３に立体像を再生する。

【0101】

次に、図７（ｂ）を参照して、第２立体像生成装置６を主体とする動作について説明する。
第２立体像生成装置６は、ステップＳ１５で第１立体像生成装置５の座標変換式算出手段５２から送信された座標変換式（式（１２））を受信し、受信した座標変換式を座標変換手段６１に入力する（ステップＳ２０）。

【0102】

次に、第２立体像生成装置６は、座標変換手段６１によって、ステップＳ２０で入力した座標変換式を用いて、３次元形状モデル記憶手段６３に記憶されている３次元形状モデルの座標データを第２立体表示装置１_１のレンズアレー座標に変換し、座標変換した３次元形状モデルのデータをＩＰ立体像生成手段６２に出力する（ステップＳ２１）。

【0103】

次に、第２立体像生成装置６は、ＩＰ立体像生成手段６２によって、ステップＳ２１で座標変換された３次元形状モデルを用いて、第２立体表示装置１_１のレンズアレー１２の各要素レンズに対応した要素画像を表示するためのＩＰ立体像データを生成する（ステップＳ２２）。
第２立体像生成装置６は、ＩＰ立体像生成手段６２によって生成したＩＰ立体像のデータを第２立体表示装置１_１の画像表示手段１１に出力する。

【0104】

なお、第２立体表示装置１_１は、画像表示手段１１によって、第２立体像生成装置６から入力したＩＰ立体像のデータに基づいて画像表示をすることで、立体像再生領域３に立体像を再生する。

【0105】

以上のようにして、立体表示システム１００は、ＩＰ方式の複数の立体表示装置１を用いて、１つの共通する立体像について、位置合わせして分散表示することができる。
ＩＰ方式の立体表示装置１では、画像表示面に対する観察方向を上下左右に変えることにより、異なる方向から見た立体像が表示されるため、回り込んで観察するかのように立体像を表示することができる。ここで、画像表示面は一般に平面であるため、１台の装置では立体像を回り込んで観察できる方向に限度がある。そこで、本発明のように複数台の立体表示装置１を用いて、基準となる第１立体表示装置１_０が表示する立体像に位置を合わせるように分散表示することにより、更に多方向から観察可能なように１つの立体像を表示することができる。

【0106】

また、本実施形態では、各立体表示装置１にマーカー２を設け、カメラ４で撮影したマーカー画像を解析することで、立体表示装置１の位置及び方向を検出するようにしたが、位置及び方向の検出手法は、これに限定されるものではない。他の位置及び方向を検出するセンサ、例えば、３軸の磁気センサ及び３軸の加速度センサを、各立体表示装置１に設け、これらのセンサ出力を用いて、式（６）及び式（７）に示した関係式を算出するようにしてもよい。この場合、各立体表示装置１に設けられたセンサの出力値は、第１立体像生成装置５に入力され、立体表示装置位置・方向算出手段５１で式（６）及び式（７）を算出するようにすればよい。

【0107】

なお、本実施形態のように、カメラ４で、各立体表示装置１に設けられたマーカー２を同時に撮影し、複数のマーカー像が撮影されたマーカー画像中の所定形状の図形の変形状態を解析して立体表示装置１同士の位置及び方向の関係を算出する場合は、計測器として１台のカメラ４を用いて立体表示装置１の位置及び方向を同時に計測することになる。このため、各立体表示装置１に、個別に位置及び方向を計測する計測器を設け、それらの測定データを用いて位置及び方向を算出する場合に比べて、計測誤差が累積しないため、立体表示装置１同士の相対的な位置関係を高精度に算出することができる。

【0108】

また、特にＩＰ方式の立体表示装置のように、観察方向の移動に応じて立体像を回り込んで観察可能に表示する場合は、複数の立体表示装置が再生する立体像間の位置合わせ精度の不足により不連続性が感知されやすい。本発明により、複数の立体表示装置１が再生する立体像同士の位置合わせ高精度に行うことができるため、このような不連続性が感知されることを抑制することができる。

【0109】

＜第２実施形態＞
次に、図８を参照して、本発明の第２実施形態に係る立体表示システムの構成について説明する。
図８（ａ）に示すように、第２実施形態に係る立体表示システム１００Ａは、１台のカメラ４と、１台の第１立体表示装置１Ａ_０及び８台の第２立体表示装置１Ａ_１〜１Ａ_８（以下、適宜に立体表示装置１Ａという）と、第１立体像生成装置５と、各第２立体表示装置１Ａ_１〜１Ａ_８に対応する第２立体像生成装置６と、から構成されている。立体表示装置１Ａは、何れも箱型の筐体の一面（図８（ａ）において、ハッチングを施した面）にレンズアレー１２を備えた画像表示手段１１が設けられている。

【0110】

また、第２実施形態における立体表示装置１Ａにおいて、レンズアレー１２及び画像表示手段１１からなる立体表示部の構成は、図３に示した第１実施形態における立体表示装置１と同様であるから、説明は省略する。また、第１立体像生成装置５及び第２立体像生成装置６についても、第１実施形態と同様であるから、同じ符号を付して詳細な説明は省略する。
なお、第１立体像生成装置５及び第２立体像生成装置６は、例えば、１台のコンピュータを用いて、一体として構成するようにしてもよい。

【0111】

本実施形態では、立体表示装置１Ａを箱型に構成することにより、複数台の立体表示装置１Ａを積み重ねて、自由度高く表示画面を構成することができる。
なお、筐体は、辺の部分だけで構成される枠体であってもよく、立体表示装置１Ａ同士を積層又は連結可能な構造のものであればよい。
このように、立体表示装置１Ａを積み重ね可能に構成することにより、より多彩な形状や大きさの立体像を適切に分散表示することができる。

【0112】

また、図８（ｂ）に示すように、立体表示装置１Ａの箱型の筐体の背面には、マーカー２が設けられている。このマーカー２は、図８（ａ）に示すように、後方に配置されたカメラ４によって撮影され、撮影されたマーカー画像は、第１立体像生成装置５に入力される。第１立体像生成装置５は、マーカー画像を解析して、第１立体表示装置１Ａ_０と、第２立体表示装置１Ａ_１〜１Ａ_８のそれぞれとの間の座標変換式を算出し、対応する第２立体像生成装置６に出力する。また、第１立体像生成装置５は、第１立体表示装置１Ａ_０のレンズアレー座標で定義された３次元形状モデルを用いてＩＰ立体像データを生成し、第１立体表示装置１Ａ_０に出力する。

【0113】

一方、各第２立体像生成装置６は、第１立体像生成装置５から、それぞれ対応する座標変換式を入力し、その座標変換式を用いて３次元形状モデルを座標変換する。そして座標変換した３次元形状モデルを用いてＩＰ立体像を生成し、対応する第２立体表示装置１Ａ_１〜１Ａ_８に出力する。

【0114】

なお、図８（ａ）に示した例のように、座標系の基準となる第１立体表示装置１Ａ_０を中心に配置して、各第２立体表示装置１Ａ_１〜１Ａ_８との位置が大きく離れないようにすることが好ましい。これによって、第１立体表示装置１Ａ_０のマーカー２と対にして各第２立体表示装置１Ａ_１〜１Ａ_８のマーカー２を分割撮影する場合に、カメラのズームを広角にし過ぎることない。このため、マーカー像が大きく撮影され、座標変換式を精度よく算出することができる。

【符号の説明】

【0115】

１ 立体表示装置
１_０ 第１立体表示装置
１_１ 第２立体表示装置
１Ａ 立体表示装置
１Ａ_０ 第１立体表示装置
１Ａ_１〜１Ａ_８ 第２立体表示装置
１１ 画像表示手段
１２ レンズアレー
１３ 筐体
２ マーカー（位置・方向計測手段）
２ａ 外枠図形
２ｂ 模様
２ｃ 台紙
３ 立体像再生領域
４ カメラ（位置・方向計測手段）
５ 第１立体像生成装置（立体像生成装置）
５１ 立体表示装置位置・方向算出手段（位置・方向算出手段）
５２ 座標変換式算出手段
５３ ＩＰ立体像生成手段（第１立体像生成手段）
５４ ３次元形状モデル記憶手段
６ 第２立体像生成装置（立体像生成装置）
６１ 座標変換手段
６２ ＩＰ立体像生成手段（第２立体像生成手段）
６３ ３次元形状モデル記憶手段
１００，１００Ａ 立体表示システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】