特許 6073121 立体表示装置及び立体表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6073121

(24)【登録日】2017年1月13日

(45)【発行日】2017年2月1日

(54)【発明の名称】立体表示装置及び立体表示システム

(51)【国際特許分類】

   H04N 13/02 20060101AFI20170123BHJP

   H04N 13/04 20060101ALI20170123BHJP

   G02B 27/22 20060101ALI20170123BHJP

【ＦＩ】

   H04N13/02 750

   H04N13/04 060

   H04N13/04 680

   G02B27/22

【請求項の数】3

【全頁数】16

(21)【出願番号】特願2012-265947(P2012-265947)

(22)【出願日】2012年12月5日

(65)【公開番号】特開2014-112758(P2014-112758A)

(43)【公開日】2014年6月19日

【審査請求日】2015年11月2日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

【国等の委託研究の成果に係る記載事項】（出願人による申告）文部科学省 平成２２年度科学技術試験研究委託事業「デジタル・ミュージアムの展開に向けた実証実験システムの研究開発（複合現実型デジタル・ミュージアム）」に係わる委託研究、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(74)【代理人】

【識別番号】100064414

【弁理士】

【氏名又は名称】磯野 道造

(74)【代理人】

【識別番号】100111545

【弁理士】

【氏名又は名称】多田 悦夫

(72)【発明者】

【氏名】岩舘 祐一

(72)【発明者】

【氏名】久富 健介

(72)【発明者】

【氏名】片山 美和

(72)【発明者】

【氏名】三浦 雅人

(72)【発明者】

【氏名】奥井 誠人

(72)【発明者】

【氏名】池谷 健佑

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開２００２−１５９０２０（ＪＰ，Ａ）

【文献】 特開２０１２−００３３５０（ＪＰ，Ａ）

【文献】 特開２００３−２７９３１０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１５／００

Ｇ０２Ｂ ２７／２２

(57)【特許請求の範囲】

【請求項1】

ＩＰ（インテグラル・フォトグラフィ）方式の立体表示装置であって、
複数の要素画像からなる要素画像群を表示する画像表示手段と、
前記要素画像群のそれぞれの前記要素画像に対応する要素レンズを二次元配列したレンズアレーと、
立体像を再生する空間の座標系を定めるための所定の平面図形からなるマーカーを撮影するカメラと、
前記カメラが前記マーカーを撮影した画像であるマーカー画像を解析して検出される前記立体表示装置の位置及び方向に応じて前記画像表示手段に前記要素画像を表示するための画像データを生成する演算手段と、を備え、
前記演算手段は、
前記カメラが撮影した前記マーカー画像を解析して、前記マーカーによって定められた座標系であるマーカー座標から、前記カメラを基準とする座標系であるカメラ座標への座標変換式である第１座標変換式を算出する第１座標変換式算出手段と、
前記レンズアレーを基準とする座標系であるレンズアレー座標と、前記カメラ座標との関係式と、前記第１座標変換式とを合成して、前記マーカー座標から前記レンズアレー座標への座標変換式である第２座標変換式を算出する第２座標変換式算出手段と、
前記第２座標変換式を用いて、前記マーカー座標で定義された３次元形状モデルの座標データを、前記レンズアレー座標に変換する３次元形状モデル座標変換手段と、
前記レンズアレー座標に座標系が変換された前記３次元形状モデルを、前記レンズアレーを介して前記画像表示手段の画像表示面に投影変換することで、前記要素画像を表示するための画像データを生成する要素画像生成手段と、
を備えることを特徴とする立体表示装置。

【請求項2】

前記レンズアレー座標は、前記レンズアレーの中心に配置される要素レンズの光学主点を原点、前記レンズアレーの中心に配置される要素レンズの光軸をｚ軸とし、前記画像表示手段の水平方向及び垂直方向に平行な方向をそれぞれｘ軸及びｙ軸とする直交座標系であり、
前記カメラ座標は、前記カメラの光学主点を原点、前記カメラの光軸をｚ軸とするとともに、前記カメラ座標のｘ軸、ｙ軸及びｚ軸が、それぞれ前記レンズアレー座標のｘ軸、ｙ軸及びｚ軸と平行になるように、前記カメラが配置されたことを特徴とする請求項１に記載の立体表示装置。

【請求項3】

立体像を再生する空間の座標系を定めるための所定の平面図形からなるマーカーと、
複数の請求項１又は請求項２に記載の立体表示装置とからなり、
前記複数の立体表示装置は、共通の１つの前記マーカーを撮影したマーカー画像を解析することで前記第１座標変換式を算出するとともに、共通の１つの前記３次元形状モデルについて立体像を表示することを特徴とする立体表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＩＰ（インテグラル・フォトグラフィ）方式で立体像を表示する立体表示技術に関する。

【背景技術】

【0002】

ＩＰ方式の立体表示装置は、裸眼で立体像が観察可能な装置として開発が進められている。また、ＩＰ方式の立体表示装置は、表示面に対する観察方向を上下左右に変えることにより、立体像を一方向だけでなく、他の方向からも観察可能に表示することができる。
更に、複数のＩＰ方式の立体表示装置を組み合わせることで、より多角的に観察可能に立体像を表示することも可能となる。

【0003】

例えば、非特許文献１には、６枚のＩＰ方式の立体表示装置の表示面を、それぞれ立方体の各面となるように組み合わせた立体ディスプレイが開示されている。この立体ディスプレイは、表示面で囲まれた立方体の内部に３軸の磁気センサ及び加速度センサを備え、これらのセンサ情報に基づいて立体像を表示する。これによって、この立体ディスプレイは、ガラスケースに入った物体を観察するかのように、物体の立体像を表示することができる。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】吉田俊介、Roberto Lopez-Gulliver、矢野澄男、井ノ上直己、”gCubic：複数人で観察可能なキューブ型裸眼立体ディスプレイ−６面での実装とその対話操作に関する考察”、インタラクション２００９、情報処理学会、IPSI Symposium Series Vol.2009,No.4,pp.1-8

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、非特許文献１に開示された立体ディスプレイは、６枚のディスプレイ間の配置が固定されているため、ディスプレイの内部空間を越える任意の大きさの立体像を適切に表示することが難しかった。そこで、ディスプレイの大きさを超える大きな立体像を表示するために、複数のディスプレイが立体像の再生空間を取り囲むように自由に配置して、１つの立体像を分散表示することが考えられる。この場合、複数のディスプレイの位置関係が定まらないため、それぞれのディスプレイが表示する画像データを適切に生成することができなかった。

【0006】

本発明は、かかる問題に鑑みて創案されたものであり、任意の大きさの立体像を分割して表示可能であり、また、複数の立体表示装置を組み合わせることにより、立体像を分散表示することができるＩＰ方式の立体表示装置及びこの立体表示装置を備えた立体表示システムを提供することを課題とする。

【課題を解決するための手段】

【0007】

前記した課題を解決するために、本発明の請求項１に記載の立体表示装置は、ＩＰ方式の立体表示装置であって、複数の要素画像からなる要素画像群を表示する画像表示手段と、前記要素画像群のそれぞれの前記要素画像に対応する要素レンズを二次元配列したレンズアレーと、カメラと、演算手段と、を備え、前記演算手段は、第１座標変換式算出手段と、第２座標変換式算出手段と、３次元形状モデル座標変換手段と、要素画像生成手段と、を備えて構成される。

【0008】

かかる構成によれば、立体表示装置は、まず、カメラによって立体像を再生する空間の座標系を定めるための所定の平面図形からなるマーカーを撮影する。次に、立体表示装置は、演算手段の第１座標変換式算出手段によって、前記カメラが前記マーカーを撮影した画像である前記マーカー画像を解析して、前記マーカーによって定められた座標系であるマーカー座標から、前記カメラを基準とする座標系であるカメラ座標への座標変換式である第１座標変換式を算出する。次に、立体表示装置は、第２座標変換式算出手段によって、前記レンズアレーを基準とする座標系であるレンズアレー座標と、前記カメラ座標との関係式と、前記第１座標変換式とを合成して、前記マーカー座標から前記レンズアレー座標への座標変換式である第２座標変換式を算出する。次に、立体表示装置は、前記マーカー座標で定義された３次元形状モデル座標変換手段によって、前記第２座標変換式を用いて、前記３次元形状モデルの座標データを、前記レンズアレー座標に変換する、次に、立体表示装置は、要素画像生成手段によって、前記レンズアレー座標に座標系が変換された前記３次元形状モデルを、前記レンズアレーを介して前記画像表示手段の画像表示面に投影変換することで、前記要素画像として表示する画像データを生成する。そして、立体表示装置は、生成した画像データを用いて前記画像表示手段に要素画像を表示することで、立体像を再生する。
このように、立体表示装置は、表示対象である３次元形状モデルの座標系を、自己を基準とした座標系であるレンズアレー座標に変換することで、この立体表示装置が設置された位置及び方向に応じた立体像を表示する。

【0009】

請求項２に記載の立体表示装置は、請求項１に記載の立体表示装置であって、前記レンズアレー座標は、前記レンズアレーの中心に配置された要素レンズの光学主点を原点、前記レンズアレーの中心に配置される要素レンズの光軸をｚ軸とし、前記画像表示手段の水平方向及び垂直方向に平行な方向を、それぞれｘ軸及びｙ軸とする直交座標系であり、前記カメラ座標は、前記カメラの光学主点を原点、前記カメラの光軸をｚ軸とするとともに、前記カメラ座標のｘ軸、ｙ軸及びｚ軸が、それぞれ前記レンズアレー座標のｘ軸、ｙ軸及びｚ軸と平行になるように、前記カメラが配置されるように構成した。

【0010】

かかる構成によれば、立体表示装置のカメラ座標とレンズアレー座標とは、回転操作を伴わない、平行移動の関係となる。これによって、立体表示装置は、第２座標変換式算出手段によって、第１座標変換式に、この平行移動の関係を示す平行移動ベクトルを加算するだけで、第２座標変換式を算出することができる。

【0011】

請求項３に記載の立体表示システムは、立体像を再生する空間の座標系を定めるための所定の平面図形からなるマーカーと、複数の請求項１又は請求項２に記載の立体表示装置とで構成するようにした。

【0012】

かかる構成によれば、立体表示システムにおいて、前記複数の立体表示装置は、共通の１つの前記マーカーを撮影したマーカー画像を解析することで、それぞれの立体表示装置が配置された位置及び方向に応じた第１座標変換式を算出するとともに、共通の１つの前記３次元形状モデルについて立体像を表示する。
これによって、立体表示システムは、１つの立体像を、複数の立体表示装置によって分散表示する。

【発明の効果】

【0013】

請求項１に記載の発明によれば、立体表示装置は、自己の位置及び方向によって特定される方向から立体像を観察できるように表示することができる。
請求項２に記載の発明によれば、立体表示装置は、簡単な演算でカメラ座標からレンズアレー座標へ変換できる。また、立体像を表示する方向の中心軸であるレンズアレーの中心に配置された要素レンズの光軸と、カメラの撮影方向の中心軸である光軸とが平行であるため、立体表示装置に所望の方向から見た立体像を表示させるように設置する場合に、立体表示装置の表示面の背面をマーカーの方向に向けることで、マーカーがカメラの撮影範囲に入るように設置することができる。
請求項３に記載の発明によれば、複数のＩＰ方式の立体表示装置によって１つの立体像を分散表示できるため、立体像を、より多方向から観察可能に表示することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施形態に係る立体表示システムの概要を示す模式図であり、複数の立体表示装置によって、共通の立体像が表示される様子を示す。

【図2】本発明の実施形態に係る立体表示装置の構成を示す模式図である。

【図3】（ａ）、（ｂ）は、本発明の実施形態に係る立体表示システムで用いるマーカーの例である。

【図4】本発明の実施形態に係る立体表示装置が撮影したマーカー画像の例である。

【図5】本発明の実施形態に係る立体表示装置に表示されるＩＰ立体像データの生成方法を説明するための説明図である。

【図6】本発明の実施形態に係る立体表示装置の動作の流れを示すフローチャートである。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態について、図面を参照して詳細に説明する。
＜実施形態＞
［立体表示システムの構成］
まず、実施形態に係る立体表示システムＳの構成について、図１を参照して説明する。
図１に示すように、本実施形態においては、立体表示システムＳは、カメラ２０を備えた３台の立体表示装置１_１，１_２，１_３（以下、適宜に「立体表示装置１」という）が、立体像が再生される領域である立体像再生領域３を取り囲むように配置されている。また、立体像再生領域３の中心付近には、立体像が再生される空間の座標系を定義するためのマーカー２が配置されている。

【0016】

立体表示装置１は、ＩＰ立体像表示手段１０と、マーカー２を撮影するためのカメラ（撮像手段）２０と、演算手段３０（図２参照）とを備えて構成され、ＩＰ（インテグラル・フォトグラフィ）方式で立体像を表示する装置である。立体表示装置１_１，１_２，１_３は、カメラ２０によってマーカー２を撮影し、撮影したマーカー画像を解析することで、カメラ２０、すなわち立体表示装置１が配置された位置及び方向（姿勢）に関する情報を算出し、算出したそれぞれの位置及び方向に関する情報に応じて、例えば３次元ＣＧ（コンピュータ・グラフィックス）で作成された共通の１つの立体像を協同して再生するものである。
また、立体表示装置１_１，１_２，１_３は、何れも、共通の１つのマーカー２がそれぞれに設けられたカメラ２０の撮影範囲に入るように配置されている。

【0017】

また、ＩＰ立体像表示手段１０は、画像表示手段１１と、その画像表示面側に対向するように配置されたレンズアレー１２とから構成され、レンズアレー１２が設けられた面側が画像表示面であり、画像表示面側から立体像を観察するものである。本発明における立体表示装置１はＩＰ方式であるため、画像表示面に対する観察方向を上下左右に変えることにより、異なる方向から見た立体像が観察できるように表示される。

【0018】

立体表示装置１の台数は、３台に限定されるものではなく、１台以上であれば台数に制限はない。１台の場合であっても、例えば、カメラを備えた携帯端末機器として構成した場合に、立体像に対する立体表示装置１の位置及び方向を変えることで、その位置及び方向に応じた立体像を適宜に表示することができる。また、複数の立体表示装置１を配置する場合に、それぞれの立体表示装置１の表示画面は、同じ大きさに揃える必要はなく、異なる大きさの表示画面を有する立体表示装置１を組み合わせるようにしてもよい。

【0019】

マーカー２は、立体像を表示する空間を定義するための、すなわち、この空間の座標系の基準となる標識である。
マーカー２は、立体表示装置１のカメラ２０によって撮影される。そして、立体表示装置１によって、撮影されたマーカー２の画像内の座標である画像座標における形状が解析され、カメラ２０の位置及び方向に関する情報の検出のために用いられる。

【0020】

図３に、マーカー２の例を示す。図３に示すように、マーカー２は、台紙２ｃ上に白黒の平面図形が印刷されたものである。図３（ａ）に示した例では、マーカー図形は、正方形の図形である外枠２ａと、四角形の模様２ｂとから構成されている。正方形の外枠２ａは、マーカー画像における各辺の傾きなどのマーカー図形の変形形状を解析することで、カメラ２０の位置及び方向に関する情報を検出するための図形である。外枠２ａは、位置及び方向に関する情報の検出を容易に行えるように、正方形とすることが好ましいがこれに限定されるものではない。長方形や、多角形としてもよい。また、模様２ｂは、マーカー図形が全体として回転対称とならないようにするためのものである。本例では、正方形の外枠２ａの左下の角に設けられている。

【0021】

図３（ｂ）に示した例では、マーカー２は、模様２ｂとして数字「１」が配置されている。模様２ｂとして数字や他の文字、記号を用いることで、マーカー２に属性を持たせることができる。また、このような属性などの情報を持たせるための模様２ｂとして、バーコードを用いてもよい。また、マーカー２の全体の形状として、ＱＲコード（登録商標）のような二次元コードを用いることもできる。
なお、模様２ｂ自体が、回転対称性を有さない場合は、図３（ｂ）に示した例のように、外枠２ａの中心部に模様２ｂを配置するようにしてもよい。

【0022】

また、立体表示装置１は、マーカー２の属性を検出して、例えば、この属性に対応付けられた立体像を表示するように構成することもできる。
また、マーカー２は、立体像再生領域３の座標系を精度よく定義するために、立体像再生領域３の中心に配置されることが好ましいが、これに限定されるものではなく、立体像再生領域３の領域外にマーカー２を配置するようにしてもよい。

【0023】

図１に戻って、立体表示システムＳの構成について説明を続ける。
立体像再生領域３は、立体像が再生される領域である。本実施形態では、立体像再生領域３は、立体表示装置１の背面（レンズアレー１２が設けられている面と反対側の面）側に設定されているが、これに限定されるものではなく、立体表示装置１の前面側に立体像が再生されるようにしてもよい。

【0024】

［立体表示装置の構成］
次に、図２を参照（適宜図１参照）して、立体表示装置１の構成について説明する。
図２に示すように、本発明の実施形態に係る立体表示装置１は、ＩＰ立体像表示手段１０と、カメラ（撮像手段）２０と、演算手段３０とを備えて構成されている。

【0025】

ＩＰ立体像表示手段１０は、画像表示手段１１とレンズアレー１２とを備えて構成されており、演算手段３０からＩＰ立体像データを入力して、ＩＰ立体像を表示（再生）する。
画像表示手段１１は、例えば、ＬＣＤ（液晶表示装置）などの、画素が二次元配列された画像表示装置である。画像表示手段１１は、その画像表示面側に設けられたレンズアレー１２を構成する個々の要素レンズに対応した要素画像の集合体である要素画像群を表示するものである。画像表示手段１１は、演算手段３０のＩＰ立体像生成手段３４から、要素画像群を表示するための画像データであるＩＰ立体像データ（要素画像データ）を入力し、入力したＩＰ立体像データに基づいて画像を表示する。

【0026】

レンズアレー１２は、所定の大きさの要素レンズを二次元配列したものであり、画像表示手段１１の画像表示面に対向するように設けられている。レンズアレー１２を構成する各要素レンズは、画像表示手段１１が表示する各要素画像に対応し、要素画像を構成する画素から発する光を、特定の方向に出射するためのものである。これによって、要素画像を構成する画素数分の観察方向から見た立体像が表示される。

【0027】

カメラ２０は、ＩＰ立体像表示手段１０の画像表示面とは反対側に設けられている。本実施形態では、カメラ２０の光軸が、レンズアレー１２を構成する要素レンズの光軸と平行となるように設定されている。また、カメラ２０は、立体像を表示する空間の座標系を定義するための、すなわち立体像表示空間の座標系の基準となるマーカー２を撮影するためのものである。図２においては、カメラ２０による撮影領域２１に、マーカー２が含まれるように撮影される様子を示している。
マーカー２を撮影した画像であるマーカー画像のデータは、演算手段３０の第１座標変換式算出手段３１に出力される。

【0028】

演算手段３０は、カメラ２０からマーカー画像を入力し、マーカー画像を解析することで、カメラ２０の位置及び方向（姿勢）、すなわち立体表示装置１の位置及び方向に関する情報を検出する。そして、演算手段３０は、立体表示装置１の位置及び方向に関する情報に応じて、立体像として表示すべき３次元形状モデルのデータを用いてＩＰ立体像データを生成して、画像表示手段１１に出力するものである。
このために、演算手段３０は、第１座標変換式算出手段３１と、第２座標変換式算出手段３２と、３次元形状モデル座標変換手段３３と、ＩＰ立体像生成手段３４と、３次元形状モデル記憶手段３５と、を備えている。

【0029】

第１座標変換式算出手段３１は、カメラ２０からマーカー画像を入力し、入力したマーカー画像を解析して推定されるカメラ２０の位置及び方向に基づいて、カメラ２０を基準とする座標系であるカメラ座標系と、マーカー２を基準とする座標系であるマーカー座標系との関係式として、マーカー座標からカメラ座標への座標変換式である第１座標変換式を算出するものである。第１座標変換式算出手段３１は、算出した第１座標変換式を、第２座標変換式算出手段３２に出力する。
なお、第１座標変換式の算出方法については後記する。

【0030】

第２座標変換式算出手段３２は、第１座標変換式算出手段３１から、第１座標変換式を入力し、この第１座標変換式と、予め設定されている、カメラ座標系とレンズアレー１２を基準とするレンズアレー座標系との関係と、に基づいて、マーカー座標からレンズアレー座標への座標変換式である第２座標変換式を算出する。第２座標変換式算出手段３２は、算出した第２座標変換式を３次元形状モデル座標変換手段３３に出力する。
なお、第２座標変換式の算出方法については後記する。

【0031】

３次元形状モデル座標変換手段３３は、第２座標変換式算出手段３２から第２座標変換式を入力するとともに、３次元形状モデル記憶手段３５から、マーカー座標系で定義された３次元形状モデルのデータを入力し、第２座標変換式を用いて３次元形状モデルの座標データを、マーカー座標からレンズアレー座標に変換する。３次元形状モデル座標変換手段３３は、レンズアレー座標系に座標変換した３次元形状モデルのデータを、ＩＰ立体像生成手段３４に出力する。

【0032】

ＩＰ立体像生成手段（要素画像生成手段）３４は、３次元形状モデル座標変換手段３３から、マーカー座標系に座標変換された３次元形状モデルのデータを入力し、この３次元形状モデルのデータを用いて、ＩＰ立体表示手段１０にＩＰ立体像を表示させるための画像データであるＩＰ立体像データを生成する。なお、ＩＰ立体像データとは、レンズアレー１２の各要素レンズに対応した要素画像として画像表示手段１１に表示される画像データの集合体のことである。ＩＰ立体像生成手段３４は、生成したＩＰ立体像データを画像表示手段１１に出力する。
なお、ＩＰ立体像データの生成方法について後記する。

【0033】

３次元形状モデル記憶手段３５は、再生対象である立体像の形状を示す３次元形状モデルのデータを記憶するものであり、磁気ディスク、光ディスク又は半導体メモリなどの記憶媒体を用いた記憶装置を用いることができる。
なお、本実施形態では、３次元形状モデルのデータを、演算手段３０内に記憶するように構成したがこれに限定されるものではない。例えば、有線、無線を問わず、通信回線を介して、外部のサーバから３次元形状モデルのデータを適宜入力するように構成してもよい。

【0034】

また、演算手段３０は、ＩＰ立体像表示手段１０と一体に構成されてもよく、有線又は無線の通信回線を介して接続するように構成してもよい。演算手段３０は、各構成手段をハードウェア回路で構成してもよいが、演算装置、記憶装置などを備えた一般的なコンピュータ（例えば、パーソナルコンピュータ）を、演算手段３０の各構成手段として機能させるプログラムを実行させることで実現することもできる。

【0035】

また、演算手段３０は、立体表示装置１の１台ごとに備えずに、全部又は一部を複数の立体表示装置１で共用するようにしてもよい。一部を共用とする場合は、例えば、第１座標変換式算出手段３１及び第２座標変換式算出手段３２を、各立体表示装置１に専用手段として備え、３次元形状モデル座標変換手段３３、ＩＰ立体像生成手段３４及び３次元形状モデル記憶手段３５を、共用のサーバ（コンピュータ）に備えるように構成することができる。

【0036】

［演算方法］
次に、演算手段３０の各部で行われる演算方法について順次に説明する。
（１．座標系）
まず、図２を参照して、立体表示システムＳ（図１参照）において用いられる座標系について説明する。
本実施形態では、立体像を再生する空間の座標系は、マーカー２によって定義されるマーカー座標系とする。すなわち、立体像再生領域３は、マーカー座標系で定義され、当該立体像再生領域３に表示される立体像の形状を示す３次元立体形状モデルは、マーカー座標系で定義されるものとする。

【0037】

なお、３次元立体形状モデルは、全空間の座標を規定する世界座標で定義されるものであってもよい。この場合は、世界座標におけるマーカー２が設けられた位置情報を予め定めておき、この位置情報によって定められる世界座標からマーカー座標への座標変換式を用いて、３次元立体形状モデルの座標データを変換するようにすればよい。

【0038】

図２に示すように、マーカー座標は、マーカー２の中心を原点とし、マーカー２の外枠２ａの辺に平行な２方向を、それぞれｘ軸及びｙ軸とし、マーカー面の法線をｚ軸とする。また、マーカー面に上向きを＋ｚ軸方向とする。なお、本実施形態で用いる直交座標系は、特に断らない限りすべて右手系とする。
以下、マーカー座標は、（ｘ，ｙ，ｚ）で表すものとする。

【0039】

また、カメラ座標は、カメラ２０の光学主点を原点とし、カメラ２０の光軸をｚ軸とする。また、画像表示手段１１の水平方向及び垂直方向をそれぞれカメラ座標のｘ軸及びｙ軸とする。また、カメラ２０からみて、被写体方向を＋ｚ軸方向とする。
以下、カメラ座標は、（Ｘ’，Ｙ’，Ｚ’）で表すものとする。

【0040】

また、レンズアレー座標は、レンズアレー１２の中心に配置された要素レンズの光学主点を原点とし、この要素レンズの光軸をｚ軸とし、画像表示手段１１の水平方向及び垂直方向を、それぞれｘ軸及びｙ軸とする。また、ＩＰ立体像表示手段１０の背面方向を＋ｚ軸方向とする。すなわち、カメラ座標とレンズアレー座標とは、カメラ２０の光学主点とレンズアレー１２の中心に配置された要素レンズの光学主点との差分を平行移動した関係にある。
このように、カメラ座標とレンズアレー座標とが平行移動の関係になるようにカメラ２０を設けることにより、後記する座標変換式が簡略になる。
以下、レンズアレー座標は、（Ｘ，Ｙ，Ｚ）で表すものとする。

【0041】

（２．第１座標変換式（マーカー座標からカメラ座標への座標変換式）の算出）
次に、第１座標変換式算出手段３１によって算出されるマーカー座標からカメラ座標への座標変換式である第１座標変換式の算出方法について説明する。
透視投影カメラモデルでは、カメラ座標（Ｘ’，Ｙ’，Ｚ’）とカメラ２０で撮影された画像内の座標である画像座標（ｕ，ｖ）の関係は式（１）で表される。

【0042】

【数1】

【0043】

ここで、「ａ」は画素のアスペクト比（撮像素子の垂直方向の画素間隔／撮像素子の水平方向の画素間隔）、「Ｆ」はカメラレンズの焦点距離を撮像素子の垂直方向の画素間隔で正規化したパラメータ、（Ｃ_ｕ，Ｃ_ｖ）はカメラ座標のＺ’軸（カメラ光軸）が画像面と交わる画像座標である。
式（１）をカメラ画像に適用し、カメラの方向・位置を計算する。
図４はマーカー２を撮影した画像の例である。まず、画像中の正方形の外枠２ａの輪郭を追跡し、その折れ点を検出することにより、４頂点Ａ〜Ｄの画像座標を得ることができる。これらの頂点の画像座標から、各辺を直線の方程式として表すことができる。
ここで、向かい合う２つの辺ＡＤ及び辺ＢＣの直線の方程式を式（２）で表す。

【0044】

【数2】

【0045】

ここで、α及びβは、辺を表す直線の方程式のパラメータ（係数）である。
次に、式（２）を式（１）に代入することで式（３）を得る。

【0046】

【数3】

【0047】

式（３）はカメラ座標（Ｘ’，Ｙ’，Ｚ’）で定義された平面の方程式である。上側の式は、辺ＡＤとカメラ座標原点で決定される平面であり、その法線ベクトルは、式（４）の上側の式のように表すことができる。
また、式（３）の下側の式は、辺ＢＣとカメラ座標原点で決定される平面であり、その法線ベクトルは、式（４）の下側の式のように表わすことができる。

【0048】

【数4】

【0049】

２つの辺ＡＤと辺ＢＣとは平行であるため、共通の方向ベクトルを持つ。この方向ベクトルは、式（４）に示した２つの平面の法線ベクトルの外積として計算される。この計算を辺ＡＢと辺ＤＣとに対しても行うことで，マーカー２と平行で、かつ互いに直交する２つのベクトルが得られる。これらの２つのベクトルの外積からマーカーの面に垂直なベクトルも得られる。これらの３つのベクトルを列ベクトルとする３×３行列は、マーカー座標からカメラ座標への回転行列Ｒを表す。この回転行列Ｒは、マーカー座標系におけるカメラ２０が向いている方向（姿勢）の情報に相当するものである。これによって、マーカー座標（ｘ，ｙ，ｚ）とカメラ座標（Ｘ’，Ｙ’，Ｚ’）の関係式として式（５）を得る。

【0050】

【数5】

【0051】

ここで、Ｔは、カメラ座標原点からマーカー座標原点への平行移動ベクトルであり、カメラ座標原点を基準としたマーカー座標原点の位置に相当する。すなわち、平行移動ベクトルＴは、マーカー座標系におけるカメラ２０の位置の情報に相当するものである。また、式（１）におけるパラメータであるａ，Ｆ，（Ｃ_ｕ，Ｃ_ｖ）は予め計測された既知の値とする。前記したように回転行列Ｒも得られているので、４頂点Ａ〜Ｄについてのマーカー座標（ｘ，ｙ，ｚ）及び画像座標（ｕ，ｖ）を、式（１）及び式（５）に代入することにより、８つの方程式が得られる。これを最小二乗法で解くことにより、平行移動ベクトルＴが得られる。

【0052】

また、マーカー２の外枠２ａは、マーカー中心のｚ軸を４回軸とする回転対称性を有するため、マーカー画像中の各辺がマーカー２の外枠２ａの正方形の外枠２ａどの辺に対応するか特定できない。すなわち、マーカー２を４つの方向の内のどの方向から撮影したのかが特定できない。
そこで、マーカー２の外枠２ａの内側に描かれている模様２ｂを検出して、マーカー２に対する撮影方向（カメラ２０の方向）を特定する。模様２ｂは、マーカー２を非回転対称な図形とするためのものである。従って、その模様２ｂを検出することにより、ｚ軸まわりの回転対称性によるカメラ方向の不確定性を排除することができる。この模様２ｂはマーカー２を、ｚ軸回りの回転操作に対して非対称にすることができれば、任意の模様とすることができる。また、模様２ｂを予め登録しておくことにより、マーカー２の種類ごとに描画する３次元立体形状モデルを割り当てることもできる。

【0053】

模様２ｂは、パターンマッチング技術を用いて検出することができる。まず、マーカー２をｚ軸回りに、９０度ずつ回転した４つのマーカー像を、図４に示したマーカーの撮影画像に投影する。撮影したマーカー画像と４つの投影画像との相関を計算することでパターンの一致度を評価し、最も一致度の高い投影画像の回転角度を、対称性の補正角度とする。すなわち、この回転角度から、カメラ２０の方向を特定することができる。

【0054】

以上の手順により、マーカー座標に対するカメラの位置及び方向に関する情報が得られる。これらの情報にもとづいて、３次元立体形状モデルを描画する。
なお、マーカー２を用いたカメラ２０の位置及び方向に関する情報を検出する計算は、例えば、以下の参考文献１に記載の方法を応用することもできる。
参考文献１：Kato,H.,Billinghurst,M.,"Marker Tracking and HMD Calibration for a video-based Augmented Reality Conferencing System",Proceedings of the 2nd International Workshop on Augmented Reality(IWAR99)

【0055】

（３．第２座標変換式（カメラ座標からレンズアレー座標への座標変換式）の算出）
次に、第２座標変換式算出手段３２によって算出されるカメラ座標からレンズアレー座標への座標変換式である第２座標変換式の算出方法について説明する。
図２に示し、前記したように、カメラ座標とレンズアレー座標との関係は、平行移動の関係にあるから、式（６）のように平行移動ベクトルｃを用いて表すことができる。
なお、平行移動ベクトルｃは、カメラ座標の原点から見たレンズアレー座標の原点の位置であるから、これらの原点を定義する光学主点間の距離を予め測定することで得ておくものとする。

【0056】

【数6】

【0057】

式（５）を式（６）に代入することで、レンズアレー座標とマーカー座標との関係を式（７）のように表すことができる。

【0058】

【数7】

【0059】

（４．３次元形状モデルの座標変換）
次に、３次元形状モデル座標変換手段３３によって行われる３次元形状モデルの座標変換について説明する。
本実施形態では、第２座標変換式として、式（７）を用いて、３次元形状モデルの座標データをマーカー座標（ｘ，ｙ，ｚ）からレンズアレー座標（Ｘ，Ｙ，Ｚ）に変換する。例えば、３次元形状モデルが、三角形パッチを繋ぎ合わせたポリゴンモデルを用いたＣＧ（コンピュータグラフィックス）データである場合は、３次元形状モデルを構成する三角形パッチの頂点の座標を、レンズアレー座標に変換する。
次のＩＰ立体像の生成においては、レンズアレー座標に変換された３次元形状モデルを用いて、ＩＰ立体像のデータが生成される。

【0060】

（５．ＩＰ立体像の生成）
次に、ＩＰ立体像生成手段３４によって行われるＩＰ立体像の生成方法について説明する。
ここで、図５を参照して、３次元形状モデルからＩＰ立体像の要素画像Ｇを生成する手順について説明する。
ＩＰ立体像の要素画像Ｇは、次の手順（ａ）〜（ｄ）を行うことで生成することができる。なお、ここでは、レンズアレー１２を構成する各要素レンズを、要素レンズの中心位置にピンホールが設けられたものとみなして説明する。また、画像表示手段１１は、レンズアレー１２から、要素レンズの焦点距離Ｆだけ離れた位置に配置されているものとする。

【0061】

（ａ）画素ＡとピンホールＢ（レンズ中心）を通る、単位ベクトルをＥとする直線上の、レンズアレー１２からＺ軸方向に一定距離Ｌだけ離れた位置に仮想カメラＶｃを置く。
（ｂ）仮想カメラＶｃを、ピンホールＢに向けて撮像する。
（ｃ）仮想カメラＶｃによって撮影される画像の中心画素には、画素Ａ及びピンホールＢを通る直線が、３次元形状モデルＯｂｊの表面と交わる点Ｃが射影される。そして、３次元形状モデルＯｂｊの表面上の点ＣのＲＧＢ値（色データ）を画素Ａの画素値とする。
（ｄ）レンズアレー１２は光線をサンプリングするため、折り返し雑音が生じないように仮想カメラＶｃが撮影した画像に帯域制限フィルタ（ローパスフィルタ）処理を施す。より具体的には、仮想カメラＶｃが撮影した画像において、点Ｃが射影された画素を中心とする近傍における所定範囲の画素の画素値の平均又は重み付き平均を、当該画素の画素値とする。
これらの処理（ａ）〜（ｄ）を、要素画像のすべての画素について行う。
更に、すべての要素画像について、同様の処理を行う。

【0062】

なお、図５において、３次元形状モデルＯｂｊは、立体表示装置１の前面側に配置されているが、これに限定されるものではなく、背面側（図５において、レンズアレー１２の左側）に配置されるものであってもよい。

【0063】

これは基本的な方法であり、適宜に、高速アルゴリズムを用いて、リアルタイムでＩＰ立体像を生成することもできる。このような高速アルゴリズムとしては、例えば、参考文献２又は参考文献３に記載された手法を用いることができる。
参考文献２：Y.Iwadate and M.Katayama,"Generating Integral image from 3D object by using Oblique projection",IDW2011,3Dp-1,2011
参考文献３：特開２０１２−８４１０５号公報

【0064】

［立体表示装置の動作］
次に、図６を参照（適宜図１及び図２参照）して、立体表示装置１の動作について説明する。
図６に示すように、まず、立体表示装置１は、カメラ２０によって、マーカー２を撮影し、撮影したマーカー画像（例えば、図４参照）のデータを、演算手段３０の第１座標変換式算出手段３１に出力する（ステップＳ１０）。

【0065】

次に、立体表示装置１は、第１座標変換式算出手段３１によって、マーカー画像を解析し、マーカー座標からカメラ座標への座標変換式である第１座標変換式として、式（５）の各パラメータを算出する（ステップＳ１１）。立体表示装置１は、第１座標変換式算出手段３１が算出した第１座標変換式を第２座標変換式算出手段３２に出力する。

【0066】

次に、立体表示装置１は、第２座標変換式算出手段３２によって、第１座標変換式に、更にカメラ座標からレンズアレー座標への座標変換式を加味した座標変換式、すなわち、マーカー座標からレンズアレー座標への座標変換式である第２座標変換式として、式（７）の各パラメータを算出する（ステップＳ１２）。立体表示装置１は、第２座標変換式算出手段３２が算出した第２座標変換式を３次元形状モデル座標変換手段３３に出力する。

【0067】

次に、立体表示装置１は、３次元形状モデル座標変換手段３３によって、３次元形状モデル記憶手段３５から３次元形状モデルのデータを読み出し、第２座標変換式を用いて、３次元形状モデルのマーカー座標で定義された座標データをレンズアレー座標に変換する（ステップＳ１３）。立体表示装置１は、３次元形状モデル座標変換手段３３が座標変換した３次元形状モデルのデータをＩＰ立体像生成手段３４に出力する。

【0068】

次に、立体表示装置１は、ＩＰ立体像生成手段３４によって、レンズアレー座標に座標変換された３次元形状モデルのデータを用いて、ＩＰ立体像データとして、レンズアレー１２の各要素レンズに対応した要素画像を表示するためのＩＰ立体像データを生成する（ステップＳ１４）。立体表示装置１は、ＩＰ立体像生成手段３４が生成したＩＰ立体像のデータをＩＰ立体像表示手段１０の画像表示手段１１に出力する。
そして、立体表示装置１は、画像表示手段１１によって、ＩＰ立体像のデータに基づく画像表示をすることで、立体像再生領域３に立体像を再生する（ステップＳ１５）。

【0069】

以上説明したように、ＩＰ方式の複数の立体表示装置１を用いると、それぞれの立体表示装置１の位置及び方向に応じて、１つの共通する立体像を分散して表示することができる。
ＩＰ方式の立体表示装置１では、画像表示面に対する観察方向を上下左右に変えることにより、異なる方向から見た立体像が表示されるため、回り込んで観察するかのように立体像を表示することができる。ここで、画像表示面は一般に平面であるため、１台の装置では立体像を回り込んで観察できる方向に限度がある。そこで、本発明のように複数台の立体表示装置１を用いて立体像を表示することにより、更に多方向から観察可能なように立体像を表示することができる。

【0070】

また、マーカー２がカメラ２０で捕らえられていれば、立体表示装置１を動かしても、最新のマーカー画像に基づいて３次元形状モデルの座標を変換することで、立体表示装置１の動きに応じた立体像を表示することができる。また、移動式の立体表示装置１として、本発明を、例えば、カメラ２０とＩＰ方式の立体像表示手段１０とを備えた携帯端末に適用することも可能である。この場合、演算手段３０を携帯端末に備えることもできるが、前記したように演算手段３０の一部又は全部を、通信回線で接続したサーバに備えるように構成することもできる。

【0071】

なお、本実施形態では、立体表示装置１はカメラ２０を備え、マーカー２を撮影したマーカー画像を解析して、カメラ２０の位置及び方向に関する情報を検出し、この情報に基づいて座標変換式を算出するようにしたが、他の手段を用いて座標変換式を算出するようにしてもよい。例えば、３軸の磁気センサと３軸の加速度センサを用いて自己の位置及び方向（姿勢）を検出し、検出した自己の位置及び方向に基づいて座標変換式を算出することもできる。

【符号の説明】

【0072】

１ 立体表示装置
２ マーカー
２ａ 外枠
２ｂ 模様
２ｃ 台紙
３ 立体像再生領域
１０ ＩＰ立体像表示手段
１１ 画像表示手段
１２ レンズアレー
２０ カメラ
３０ 演算手段
３１ 第１座標変換式算出手段
３２ 第２座標変換式算出手段
３３ ３次元形状モデル座標変換手段
３４ ＩＰ立体像生成手段（要素画像生成手段）
３５ ３次元形状モデル記憶手段
Ｓ 立体表示システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】