特許第6581514号(P6581514)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本放送協会の特許一覧
特許6581514三次元位置校正装置およびそのプログラム、ならびに、自由視点画像生成装置
<>
  • 特許6581514-三次元位置校正装置およびそのプログラム、ならびに、自由視点画像生成装置 図000018
  • 特許6581514-三次元位置校正装置およびそのプログラム、ならびに、自由視点画像生成装置 図000019
  • 特許6581514-三次元位置校正装置およびそのプログラム、ならびに、自由視点画像生成装置 図000020
  • 特許6581514-三次元位置校正装置およびそのプログラム、ならびに、自由視点画像生成装置 図000021
  • 特許6581514-三次元位置校正装置およびそのプログラム、ならびに、自由視点画像生成装置 図000022
  • 特許6581514-三次元位置校正装置およびそのプログラム、ならびに、自由視点画像生成装置 図000023
  • 特許6581514-三次元位置校正装置およびそのプログラム、ならびに、自由視点画像生成装置 図000024
  • 特許6581514-三次元位置校正装置およびそのプログラム、ならびに、自由視点画像生成装置 図000025
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6581514
(24)【登録日】2019年9月6日
(45)【発行日】2019年9月25日
(54)【発明の名称】三次元位置校正装置およびそのプログラム、ならびに、自由視点画像生成装置
(51)【国際特許分類】
   G01B 7/00 20060101AFI20190912BHJP
   G01B 11/00 20060101ALI20190912BHJP
   A61B 3/113 20060101ALN20190912BHJP
   G01B 21/00 20060101ALN20190912BHJP
   G02B 27/02 20060101ALN20190912BHJP
   G06T 19/00 20110101ALN20190912BHJP
【FI】
   G01B7/00 103M
   G01B11/00 H
   !A61B3/113
   !G01B21/00 E
   !G02B27/02 Z
   !G06T19/00 300B
【請求項の数】5
【全頁数】17
(21)【出願番号】特願2016-4429(P2016-4429)
(22)【出願日】2016年1月13日
(65)【公開番号】特開2017-125739(P2017-125739A)
(43)【公開日】2017年7月20日
【審査請求日】2018年12月3日
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】特許業務法人磯野国際特許商標事務所
(72)【発明者】
【氏名】澤畠 康仁
【審査官】 九鬼 一慶
(56)【参考文献】
【文献】 国際公開第2015/183621(WO,A1)
【文献】 特開平11−276438(JP,A)
【文献】 特開2013−250176(JP,A)
【文献】 特開2014−153247(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 7/00
G01B 11/00
A61B 3/113
G01B 21/00
(57)【特許請求の範囲】
【請求項1】
観察者の視点位置を磁気センサの位置により検出する三次元位置センサのセンサ空間の座標系と、前記観察者が視認する表示装置が配置された物理空間の座標系とを対応付ける三次元位置校正装置であって、
一端を前記物理空間の予め定めた位置に固定し、他端を前記磁気センサに固定した固定長部材の前記他端の位置を前記観察者が複数箇所に移動させることで、前記三次元位置センサが検出した前記センサ空間における少なくとも3点以上の位置を収集する位置収集手段と、
この位置収集手段で収集された前記センサ空間における複数の位置と、前記物理空間における予め定めた位置とに基づいて、誤差の最も小さい前記物理空間における前記センサ空間の原点座標の位置を校正データとして算出する校正データ算出手段と、
を備えることを特徴とする三次元位置校正装置。
【請求項2】
前記物理空間における予め定めた位置として、前記表示装置の画面上にマーカを表示するマーカ表示手段を、さらに備えることを特徴とする請求項1に記載の三次元位置校正装置。
【請求項3】
前記物理空間における予め定めた位置である物理空間位置ベクトルをr、前記センサ空間における前記複数の位置であるセンサ空間位置ベクトルをp(1≦i≦N;Nは収集位置の数)、前記物理空間における前記センサ空間の原点座標の位置である校正位置ベクトルをsとしたとき、
前記校正データ算出手段は、
【数1】
となる誤差関数L(tは転置を示す)を最小にする校正位置ベクトルsを前記校正データとして算出することを特徴とする請求項1または請求項2に記載の三次元位置校正装置。
【請求項4】
コンピュータを、請求項1から請求項3にいずれか一項に記載の三次元位置校正装置として機能させるための三次元位置校正プログラム。
【請求項5】
表示装置を視認する観察者の視点位置を磁気センサの位置により検出し、前記視点位置に対応した視点画像を生成する自由視点画像生成装置であって、
請求項1から請求項3のいずれか一項に記載の三次元位置校正装置と、
この三次元位置校正装置で校正された校正データに基づいて、三次元位置センサから取得したセンサ空間上の前記磁気センサの位置から物理空間上の視点位置を算出し、当該視点位置を仮想カメラの位置として、CGを前記表示装置の画面上に投影変換することで前記視点画像を生成する視点画像生成装置と、
を備える自由視点画像生成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、三次元位置センサによって計測されるセンサ空間上の位置を、物理空間上の位置に対応付ける三次元位置校正装置およびそのプログラム、ならびに、自由視点画像生成装置に関する。
【背景技術】
【0002】
近年、観察者の頭部、目の位置等の視点位置に応じて変化させた画像を表示装置に表示する自由視点の画像表示手法が研究、開発されている。
例えば、コンピュータグラフィックスで自由視点画像を生成して表示する場合、この画像表示手法は、仮想カメラを設置した仮想空間の座標系と、表示装置を設置した物理空間(実空間)の座標系とを対応付ける。そして、この画像表示手法は、観察者の視点位置に対応する仮想空間の位置に仮想カメラを設置し、表示装置の表示領域に対応する仮想空間の画像を撮影(生成)する。
【0003】
このとき、仮想空間と物理空間とは、仮想カメラの視点位置を頂点とした視錐台において、視点位置となる頂点から底面の各頂点に伸びる辺が、表示装置の表示領域の四隅の点を常に通るように、視錐台のパラメータを設定することで対応付けることができる。
つまり、仮想カメラは、暗室の中に設置された長方形の窓を通して外を見ていることに相当し、その窓枠の四隅の各点は、物理空間に設置された表示装置の表示領域の四隅の各点に対応することになる。
【0004】
一方、物理空間における頭部位置等の視点位置を取得する手法としては、従来、光学センサ、磁気センサ等を用いた三次元位置センサから取得する手法が知られている(特許文献1〜4参照)。
【0005】
光学センサを用いる手法は、例えば、観察者の頭部位置に反射マーカを貼付し、赤外線を照射したときの反射光を光学センサで検出することでマーカ位置を算出したり、KINECT(登録商標)のように、赤外線により特定のパターンを対象に照射し、赤外カメラで撮影したパターンから、人物頭部の位置を算出したり、等により視点位置を取得する。
【0006】
また、磁気センサを用いる手法は、例えば、トランスミッタにより磁場を発生させ、頭部位置近傍に設置したレシーバが測定した磁場強度から視点位置を算出する。
このとき、三次元位置センサで取得した位置情報は、赤外カメラやトランスミッタ(磁場発生装置)の位置に対する相対位置で表現される。
そこで、三次元位置センサで取得した相対位置と物理空間の位置とを対応付けるためには、それぞれの座標系(センサ空間座標系、物理空間座標系)との位置合わせを行う必要がある。
【0007】
このセンサ空間座標系と物理空間座標系との位置合わせは、例えば、三次元位置センサの基準となる位置を物理空間上において物理的な計測手段(例えば、定規、レーザ等の測量機器)を用いて実測することで行われている。あるいは、この位置合わせは、物理空間上の特定の位置に座標値を定めておき、三次元位置センサでその位置を計測することで行われている。
すなわち、従来、観察者の視点位置に応じて変化させた画像を表示する自由視点の画像表示手法においては、仮想空間と物理空間とセンサ空間との3つの空間の座標系を合わせることで実現している。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特許第5247590号公報
【特許文献2】特許第5693691号公報
【特許文献3】特許第5726024号公報
【特許文献4】特許第5777786号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
前記したように、従来の自由視点の画像表示手法において、仮想空間と物理空間とは、視錐台のパラメータを設定することで容易に対応付けることができる。
しかし、従来の手法は、センサ空間の座標系と物理空間の座標系との対応付けを行うために、三次元位置センサの物理空間上の基準位置を計測する必要がある。そのため、従来の手法は、別途計測を行うための機材が必要となってしまい、計測に手間がかかってしまうという問題がある。
【0010】
なお、簡易に三次元位置センサの基準位置を特定するため、例えば、表示装置の表示面が揃った所定位置に三次元位置センサを配置することが考えられる。
しかし、三次元位置センサとして、赤外カメラ等の光学センサを用いた場合、観察者にとって、カメラの主点位置が不明であるため、必ずしも光学センサを表示装置の表示面に揃えることができず、正確な位置合わせを行うことは困難である。
【0011】
また、三次元位置センサとして、磁気センサを用いた場合、表示装置のような磁場を乱す装置の近傍に、トランスミッタ(磁場発生器)を配置することはできず、表示装置の表示面が揃った所定位置に簡易に三次元位置センサを配置することはできない。
このように、従来の手法において、正確にセンサ空間と物理空間とを対応付けるためには、前記したように、別途計測手段を設ける必要があり、計測に手間がかかってしまう。
【0012】
本発明は、このような問題に鑑みてなされたものであり、三次元位置センサを表示装置から離した状態でも、別途計測手段を設けることなく、センサ空間と物理空間とを対応付けることが可能な三次元位置校正装置およびそのプログラム、ならびに、自由視点画像生成装置を提供することを課題とする。
【課題を解決するための手段】
【0013】
前記課題を解決するため、本発明に係る三次元位置校正装置は、観察者の視点位置を磁気センサの位置により検出する三次元位置センサのセンサ空間の座標系と、前記観察者が視認する表示装置が配置された物理空間の座標系とを対応付ける三次元位置校正装置であって、位置収集手段と、校正データ算出手段と、を備える構成とした。
【0014】
かかる構成において、三次元位置校正装置は、位置収集手段によって、三次元位置センサが検出したセンサ空間における少なくとも3点以上の位置を収集する。なお、この収集する位置は、一端を物理空間の予め定めた位置に固定し、他端を磁気センサに固定した固定長部材の他端の位置を観察者が複数箇所に移動させることで得られる位置である。これによって、位置収集手段は、物理空間上の予め定めた位置から、固定長部材の長さだけ離れた複数のセンサ空間上の位置を取得することができる。
【0015】
そして、三次元位置校正装置は、校正データ算出手段によって、位置収集手段で収集されたセンサ空間における複数の位置と、物理空間における予め定めた位置とに基づいて、誤差の最も小さい物理空間におけるセンサ空間の原点座標の位置を校正データとして算出する。すなわち、物理空間上の1点とセンサ空間上の3点から、物理空間の座標系とセンサ空間の座標系とを対応付けることができるが、測定誤差を考慮し、校正データ算出手段は、センサ空間上の点で求められる複数の原点座標のうちで、他の原点座標と最も誤差が小さい座標を校正データとする。
【0016】
これによって、三次元位置校正装置は、三次元位置センサを表示装置から離した状態で、正確に物理空間とセンサ空間との位置合わせ(校正)を行うことができる。
なお、本発明に係る三次元位置校正装置は、コンピュータを、位置収集手段、校正データ算出手段として機能させるための三次元位置校正プログラムで動作させることができる。
【0017】
また、前記課題を解決するため、本発明に係る自由視点画像生成装置は、表示装置を視認する観察者の視点位置を磁気センサの位置により検出し、前記視点位置に対応した視点画像を生成する自由視点画像生成装置であって、三次元位置校正装置と、視点画像生成装置と、を備える構成とした。
【0018】
かかる構成において、自由視点画像生成装置は、三次元位置校正装置によって、三次元位置センサを表示装置から離した状態で、物理空間とセンサ空間との校正を行う。
そして、自由視点画像生成装置は、視点画像生成装置によって、三次元位置校正装置で校正された校正データに基づいて、三次元位置センサから取得したセンサ空間上の磁気センサの位置から物理空間上の視点位置を算出し、当該視点位置を仮想カメラの位置として、CGを表示装置の画面上に投影変換することで視点画像を生成する。
これによって、自由視点画像生成装置は、三次元位置センサを表示装置から離した状態で、正確に物理空間とセンサ空間との校正を行い、正しい視点位置に対応する視点画像を表示することができる。
【発明の効果】
【0019】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、三次元位置センサを表示装置から離した状態でも、センサ空間と物理空間とを対応付けることができる。
また、本発明によれば、磁気センサの位置を動かすだけの簡単な動作で、センサ空間と物理空間とを精度よく対応付けることができる。
これによって、本発明は、磁気センサの位置で検出される観察者の正確な視点位置に応じた視点画像を生成することが可能になる。
【図面の簡単な説明】
【0020】
図1】本発明の実施形態に係る自由視点画像表示システムの全体構成を示す構成図である。
図2】本発明の実施形態に係る三次元位置校正装置(三次元位置校正手段)を備えた自由視点画像生成装置の構成を示すブロック構成図である。
図3】マーカを表示した表示装置の画面例を示す図である。
図4】複数の視点位置を計測する方法を説明するための説明図である。
図5】物理空間座標系とセンサ空間座標系の校正の手法を説明するための説明図である。
図6】物理空間座標系と仮想空間座標系との関係を説明するための説明図である。
図7】本発明の実施形態に係る自由視点画像生成装置の三次元位置校正手段の動作を示すフローチャートである。
図8】本発明の実施形態に係る自由視点画像生成装置の視点画像生成手段の動作を示すフローチャートである。
【発明を実施するための形態】
【0021】
以下、本発明の実施形態について図面を参照して説明する。
〔自由視点画像表示システムの全体構成〕
まず、図1を参照して、本発明の実施形態に係る自由視点画像表示システムSの全体構成について説明する。
【0022】
自由視点画像表示システムSは、観察者Mの視点位置に応じた視点画像を、表示装置2に表示するものである。ここで、自由視点画像表示システムSは、自由視点画像生成装置1と、表示装置2と、三次元位置センサ3と、を備える。
【0023】
自由視点画像生成装置1は、観察者Mの視点位置に応じた表示装置2に表示する視点画像を生成するものである。この自由視点画像生成装置1は、三次元位置校正手段10によって、表示装置2を配置した物理空間の座標系(物理空間座標系F)と、三次元位置センサ3が認識するセンサ空間の座標系(センサ空間座標系F)との位置合わせ(校正)を行う。
そして、自由視点画像生成装置1は、視点画像生成手段12によって、センサ空間における観察者Mの視点位置から、物理空間における位置を算出し、その視点位置に対応する表示装置2に表示する画像(視点画像)を生成する。
なお、この自由視点画像生成装置1における校正や視点画像の生成については、後記する自由視点画像生成装置1の構成および動作の説明において詳細に行うこととする。
【0024】
表示装置2は、自由視点画像生成装置1で生成された視点画像を表示するものである。この表示装置2は、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機EL(OLED:Organic Light-Emitting Diode)ディスプレイ等の一般的な表示装置である。
【0025】
三次元位置センサ3は、観察者Mの視点位置を検出するものである。ここでは、三次元位置センサ3は、磁場の強度によって3次元空間の位置を検出する磁場発生器(トランスミッタ)30と、磁場測定器(レシーバ)31と、コントローラ32と、を備える。
【0026】
磁場発生器30は、磁場を発生させるものである。この磁場発生器30内の磁場を発生させる基準位置がセンサ空間座標系Fにおける座標原点となる。
磁場測定器(磁気センサ)31は、磁場発生器30が発生する磁場の方向および強度を測定するものである。この磁場測定器31は、測定した磁場の方向および強度をコントローラ32に出力する。なお、磁場測定器31は、観察者Mが視点画像を観る際に、観察者Mの視点位置に対応する位置、例えば、メガネ等に固定される。
【0027】
コントローラ32は、磁場発生器30および磁場測定器31を制御するものである。ここでは、コントローラ32は、磁場発生器30に対して磁場の発生を指示するとともに、磁場測定器31で測定された磁場の方向および強度から、センサ空間座標系Fにおける位置を求める。このコントローラ32は、求めたセンサ空間座標系Fにおける磁場測定器31の位置(三次元位置)を自由視点画像生成装置1に出力する。
【0028】
また、ここでは、センサ空間座標系Fと物理空間座標系Fとは、各軸(xyz)の方向が一致しているものとする。例えば、磁場発生器30が立方体形状であれば、その各辺が表示装置2の各辺と平行になるように磁場発生器30を配置する。これは、例えば、xyz軸の回転角を測定可能な水準器等を用いて、センサ空間座標系Fの基準となる磁場発生器30の回転角を、物理空間座標系Fの基準となる表示装置2と合わせることで容易に実現することができる。
このように、自由視点画像表示システムSを構成することで、自由視点画像表示システムSは、観察者Mの視点位置に応じた視点画像を表示装置2に表示することができる。
以下、自由視点画像生成装置1の構成および動作について、詳細に説明する。
【0029】
〔自由視点画像生成装置の構成〕
まず、図2を参照(適宜図1参照)して、自由視点画像生成装置1の構成について説明する。図2に示すように、自由視点画像生成装置1は、三次元位置校正手段10と、校正データ記憶手段11と、視点画像生成手段12と、CG情報記憶手段13と、を備える。
なお、三次元位置校正手段10と視点画像生成手段12とは、図示を省略した切り替え手段によって、いずれか一方が動作するものとする。
【0030】
三次元位置校正手段(三次元位置校正装置)10は、物理空間座標系Fと、センサ空間座標系Fとの位置合わせ(校正)を行うものである。
ここでは、三次元位置校正手段10は、マーカ表示手段100と、位置収集手段101と、校正データ算出手段102と、を備える。
【0031】
マーカ表示手段100は、表示装置2に、マーカを表示するものである。このマーカ表示手段100は、図3に示すように、表示装置2の画面上の予め定めた位置、例えば、画面中央にマーカMKを表示する。このマーカMK(より具体的には、マーカMKの中央)の表示位置は、三次元位置校正手段10にとっては、物理空間座標系Fにおいて既知の座標である。
なお、図3に示したマーカMKの形状は十字形状としているが、観察者Mが表示装置2の画面上の位置を視認可能な形状であれば、×印、矢印等、どのような形状であっても構わない。
【0032】
位置収集手段101は、物理空間座標系Fの予め定めた位置(マーカ位置)を基準として、三次元位置センサ3で検出されるセンサ空間座標系Fにおける三次元位置を複数収集するものである。
この位置収集手段101は、マーカMK(図3)の位置から等距離となる位置で磁場測定器31を移動させたときの複数(3点以上)の三次元位置を収集する。
【0033】
例えば、図4に示すように、予め定めた長さの紐(測定用紐st;固定長部材 )の一端に吸盤SU、他端に磁場測定器31を取り付けた状態で、吸盤SUをマーカMKの位置に吸着させ、測定用紐stを張り詰めて、観察者が複数の位置に磁場測定器31を移動させる。
このとき、位置収集手段101は、マーカ表示手段100でマーカMKを表示した後、一定時間内に、予め定めたサンプリング間隔で磁場測定器31の位置を収集する。これによって、観察者は、一定時間内に磁場測定器31の複数の位置を容易に設定することができる。
【0034】
なお、位置収集手段101は、マーカ表示手段100によるマーカMKの表示後、磁場測定器31の位置の収集を開始する旨、収集中の旨、収集を終了した旨等を、表示装置2に表示することが好ましい。
また、収集する磁場測定器31の位置は、測定ノイズが含まれることもあるため、数十、数百等のできるだけ多くの位置を収集することが好ましい。
この位置収集手段101は、収集した磁場測定器31の複数の位置(三次元位置)を校正データ算出手段102に出力する。
【0035】
校正データ算出手段102は、位置収集手段101で、物理空間座標系Fのマーカ位置を基準に収集したセンサ空間座標系Fにおける磁場測定器31の複数の位置から、センサ空間座標系Fの原点座標の物理空間座標系Fにおける位置(位置ベクトル)を校正データとして算出するものである。
【0036】
ここで、図5を参照(適宜図2参照)して、校正データ算出手段102における校正データの算出手法について説明する。
図5に示すように、予め定めた物理空間座標系FにおけるマーカMKの位置(物理空間位置ベクトル)をr、センサ空間座標系Fにおける磁場測定器31の複数の位置(センサ空間位置ベクトル)をp(1≦i≦N;Nは収集位置の数)とする。
また、校正データ算出手段102が算出するセンサ空間座標系Fの原点座標の物理空間座標系Fにおける位置(校正位置ベクトル)をsとする。
【0037】
ここで、複数のpは、マーカMKの位置を中心とする球面上に存在すると考えられる。そのため、任意の2点p,p(i≠j)が与えられたとすると、マーカMKは、2点p,p間を結ぶベクトルを法線に持ち、2点p,pの中点を通る平面上に存在する。
すなわち、その平面上の点の位置ベクトルをvとすると、以下の式(1)の関係が成り立つ。なお、tは転置を示す。
【0038】
【数1】
【0039】
また、この平面上には、表示装置2の表示画面上のマーカMKが存在するため、v=rとした、以下の式(2)も成り立つ。
【0040】
【数2】
【0041】
したがって、校正位置ベクトルsは、任意のi,jの各点について、この式(2)を満たせばよいことになる。
なお、原理的には、3点の独立なpでsを決定することができる。しかし、pには、測定ノイズが含まれることがあり、校正の精度を高めるため、ここでは、位置収集手段101において、pを3点よりも多く収集している。
ここで、尤もらしい校正位置ベクトルsを決定するため、以下の式(3)の誤差関数Lを定義する。
【0042】
【数3】
【0043】
校正データ算出手段102は、この誤差関数Lを最小とするsを求める。なお、このsは、以下の式(4)に示すように、誤差関数Lをsで偏微分した結果を“0”として求めることができる。
【0044】
【数4】
【0045】
この式(4)を変形すると、以下の式(5)となる。
【0046】
【数5】
【0047】
ここで、行列A、ベクトルbを以下の式(6)、式(7)と定義する。
【0048】
【数6】
【0049】
この行列A、ベクトルbを用いると、式(5)は、以下の式(8)となる。
【0050】
【数7】
【0051】
この式(8)の解法は種々存在するが、例えば、行列Aの逆行列を求め、以下の式(9)によりsを求めることができる。
【0052】
【数8】
【0053】
これによって、校正データ算出手段102は、センサ空間座標系Fの原点座標の物理空間座標系Fにおける位置(校正位置ベクトルs)を校正データとして算出することができる。
図2に戻って、自由視点画像生成装置1の構成について説明を続ける。
【0054】
校正データ算出手段102は、算出した校正データ(校正位置ベクトルs)を校正データ記憶手段11に書き込む。
このように三次元位置校正手段10を構成することで、三次元位置校正手段10は、三次元位置センサ3を表示装置2から離した状態でも、センサ空間と物理空間とを対応付けることができる。
また、三次元位置校正手段10は、測定用紐で接続された磁場測定器31を移動させる動作で、三次元位置センサ3の位置を収集することができ、簡単に校正を行うことができる。
【0055】
校正データ記憶手段11は、三次元位置校正手段10で校正された校正データを記憶するもので、ハードディスク、半導体メモリ等の一般的な記憶媒体である。
なお、三次元位置校正手段10で校正された校正データ(校正位置ベクトルs)は、三次元位置センサ3(より詳細には、磁場発生器30)の位置を変えない限り有効である。
【0056】
視点画像生成手段(視点画像生成装置)12は、センサ空間における観察者Mの視点位置から、物理空間における位置を算出し、その視点位置に対応する表示装置2に表示する画像(視点画像)を生成するものである。なお、視点画像生成手段12が動作する前には、校正データ記憶手段11に校正データが記憶されていることする。また、視点画像生成手段12が動作する際には、三次元位置センサ3の磁場測定器31を取り付けた測定用紐st(図4)は不用である。
ここでは、視点画像生成手段12は、位置取得手段120と、視点位置算出手段121と、投影変換手段122と、を備える。
【0057】
位置取得手段120は、三次元位置センサ3で検出されるセンサ空間座標系Fにおける磁場測定器31の三次元位置を取得するものである。なお、ここでは、三次元位置センサ3の磁場測定器31が、観察者Mの視点位置(ここでは、メガネ)に固定されているものとする。
この位置取得手段120は、予め定めたサンプリング間隔で磁場測定器31の位置を取得する。これによって、位置取得手段120は、観察者Mの視点位置の変化を、逐次、センサ空間座標系Fにおける三次元位置として取得する。
この位置取得手段120は、取得したセンサ空間座標系Fにおける視点位置を、視点位置算出手段121に出力する。
【0058】
視点位置算出手段121は、三次元位置校正手段10で求められた校正データに基づいて、位置取得手段120で取得したセンサ空間座標系Fにおける視点位置から、物理空間座標系Fにおける位置を算出するものである。
この視点位置算出手段121は、位置取得手段120で取得したセンサ空間座標系Fにおける視点位置(位置ベクトル)をp、校正データ記憶手段11に記憶されている校正データ(校正位置ベクトル)をsとしたとき、以下の式(10)によって、物理空間座標系Fにおける視点位置(位置ベクトルq)を算出する。
【0059】
【数9】
【0060】
この視点位置算出手段121は、算出した物理空間座標系Fにおける視点位置を投影変換手段122に出力する。
【0061】
投影変換手段122は、視点位置算出手段121で算出された視点位置を仮想空間上の仮想カメラの位置として、仮想空間上のオブジェクト(CG)を表示装置2の画面上に投影変換した、二次元画像(視点画像)を生成するものである。なお、仮想空間上のオブジェクトは、CGデータとして、予めCG情報記憶手段13に記憶されていることとする。
【0062】
この二次元画像は、図6(a)に示すような仮想空間座標系Fにおいて、仮想カメラVcの視点となる位置を頂点とする視錐台VFにおいて、視錐台VF内のオブジェクトを、ニアプレーン(仮想カメラVcからnear離れた視錐台VFの断面)に投影することで生成することができる。この二次元画像の生成は、OpenGLライブラリ等の既存の手法によって生成することができる。
【0063】
なお、仮想空間座標系Fと物理空間座標系Fとの対応付けは、視錐台VF内のオブジェクトをニアプレーン(near面)に投影する投影行列のパラメータの値を、ニアプレーンと図6(b)に示す物理空間座標系Fに配置した表示装置2の表示画面とが対応する値に設定すればよい。すなわち、ニアプレーンの四角形の各頂点tl,tr,bl,brが、それぞれ、表示装置2の表示画面の各頂点TL,TR,BL,BRが対応するようにすればよい。
【0064】
以下、具体的に、投影行列のパラメータの設定方法について説明する。
図6(a)に示すように、仮想空間上の投影対象の範囲をz軸方向の−near面から−far面とし、−near面の投影範囲におけるx座標の最大値をright、最小値をleft、y座標の最大値をtop、最小値をbottomとする。なお、通常、near,farは、0<near<farを満たす任意の値である。
この場合、投影行列は、以下の式(11)となる。
【0065】
【数10】
【0066】
ここで、仮想空間座標系Fにおいて、表示装置2の表示画面の左下角BLの位置ベクトルをvbl、右下角BRの位置ベクトルをvbr、左上角TLの位置ベクトルをvtlとする。また、仮想空間座標系Fにおいて、仮想カメラVcの位置ベクトルをvとする。
このとき、表示装置2の表示画面の横軸(右方向を正)を表す単位ベクトルvは、以下の式(12)で表される。
【0067】
【数11】
【0068】
なお、式(12)中、||x||はベクトルxのノルムを取ることを意味する。
同様に、表示装置2の表示画面の縦軸(上方向を正)を表す単位ベクトルvは、以下の式(13)で表される。
【0069】
【数12】
【0070】
このとき、表示装置2の表示画面の法線ベクトルvは、以下の式(14)で表される。
【0071】
【数13】
【0072】
なお、式(14)中、×はベクトルの外積を表す。
また、仮想カメラVcから、表示装置2の表示画面への鉛直距離dは、以下の式(15)で表される。
【0073】
【数14】
【0074】
なお、式(15)中、・はベクトルの内積を表す。
そして、視錐台VFのパラメータ値right,left,top,bottomは、以下の式(16)により計算することができる。
【0075】
【数15】
【0076】
なお、式(16)中、・はベクトルの内積、×はベクトルの外積を表す。
この視錐台VFのパラメータ値を用いることで、仮想空間座標系Fと物理空間座標系Fとを対応付けることができる。
図2に戻って、自由視点画像生成装置1の構成について説明を続ける。
【0077】
視点画像生成手段12は、生成した視点画像を表示装置2に出力する。
このように視点画像生成手段12を構成することで、視点画像生成手段12は、センサ空間と物理空間とを対応付ける校正データに基づいて、観察者Mの視点位置をセンサ空間上の位置から物理空間上の位置に変換し、仮想空間と対応付けることで、視点位置に応じた視点画像を生成することができる。
【0078】
CG情報記憶手段13は、CGデータを記憶するもので、ハードディスク、半導体メモリ等の一般的な記憶媒体である。
以上説明したように自由視点画像生成装置1を構成することで、自由視点画像生成装置1は、三次元位置センサ3を表示装置2から離した状態でも、センサ空間と物理空間とを簡易な手法で対応付けることができ、観察者の正確な視点位置に応じた視点画像を表示装置2に表示することができる。
【0079】
〔自由視点画像生成装置の動作〕
次に、自由視点画像生成装置1の動作について説明する。
(校正動作)
最初に、図7を参照(適宜図1図2参照)して、自由視点画像生成装置1の三次元位置校正手段10による物理空間とセンサ空間の位置合わせ動作(校正動作)について説明する。
【0080】
まず、三次元位置校正手段10は、マーカ表示手段100によって、表示装置2の画面上の予め定めた位置、例えば、画面中央にマーカMKを表示する(ステップS1)。
ここで、観察者Mは、一端に吸盤、他端に三次元位置センサ3の磁場測定器31を取り付けた測定用紐の吸盤を、ステップS1で表示された表示装置2のマーカ位置に吸着させる(ステップS2)。
そして、三次元位置校正手段10は、位置収集手段101によって、観察者Mが測定用紐を張り詰めてマーカ位置から等間隔の状態で移動させた磁場測定器31の位置(三次元座標位置)を収集する(ステップS3)。
これによって、物理空間座標系Fのマーカ位置を基準として、センサ空間座標系Fにおける磁場測定器31の位置が収集されることになる。
【0081】
そして、位置収集手段101は、収集した磁場測定器31の位置のデータ数が、予め定めた数(N)以上収集されたか否かを判定する(ステップS4)。
ここで、データ数が予め定めた数(N)未満の場合(ステップS4でNo)、位置収集手段101は、ステップS3に戻って、磁場測定器31の位置の収集を継続する。
【0082】
一方、データ数が予め定めた数(N)以上になった場合(ステップS4でYes)、三次元位置校正手段10は、校正データ算出手段102によって、センサ空間座標系Fの原点座標の物理空間座標系Fにおける位置(校正位置ベクトル)を校正データとして算出する(ステップS5)。具体的には、校正データ算出手段102は、前記式(3)に示した誤差関数Lを最小とする校正位置ベクトルsを校正データとして算出する。
そして、三次元位置校正手段10は、ステップS5で算出された校正データを校正データ記憶手段11に書き込み記憶する(ステップS6)。
【0083】
以上の動作によって、自由視点画像生成装置1は、三次元位置校正手段10によって、三次元位置センサ3を表示装置2から離した状態でも、センサ空間と物理空間とを簡易な手法で対応付けることができる。
【0084】
(視点画像生成動作)
次に、図8を参照(適宜図1図2参照)して、自由視点画像生成装置1の視点画像生成手段12による視点画像の生成動作について説明する。
【0085】
まず、視点画像生成手段12は、位置取得手段120によって、三次元位置センサ3で検出されるセンサ空間座標系Fにおける観察者Mの視点位置(磁場測定器31の三次元位置)を取得する(ステップS10)。
【0086】
そして、視点画像生成手段12は、視点位置算出手段121によって、校正データ記憶手段11に記憶されている校正データにより、ステップS10で取得したセンサ空間座標系F上の視点位置から、物理空間座標系Fにおける視点位置を算出する(ステップS11)。
すなわち、視点画像生成手段12は、ステップS10で取得したセンサ空間座標系Fにおける視点位置(位置ベクトル)をp、校正データ記憶手段11に記憶されている校正データ(校正位置ベクトル)をsとしたとき、前記式(10)により、物理空間座標系Fにおける視点位置(位置ベクトルq)を算出する。
【0087】
そして、視点画像生成手段12は、投影変換手段122によって、ステップS11で算出された物理空間上における視点位置を、仮想空間上の仮想カメラの位置として、CG情報記憶手段13に記憶されている仮想空間上のオブジェクト(CG)を表示装置2の画面上に投影変換して、二次元画像(視点画像)を生成する(ステップS12)。
このとき、投影変換手段122は、仮想カメラの視点となる位置を頂点とする視錐台内のオブジェクトを、表示装置2の表示画面の各頂点が対応するように視錐台のニアプレーンに投影することで、物理空間と仮想区間とを対応付ける。
以上の動作によって、自由視点画像生成装置1は、視点画像生成手段12によって、観察者の正確な視点位置に応じた視点画像を表示装置2に表示することができる。
【0088】
以上、本発明の実施形態に係る自由視点画像生成装置の構成について説明したが、本発明は、この実施形態に限定されるものではない。
ここでは、自由視点画像生成装置1が、三次元位置校正手段10と、校正データ記憶手段11と、視点画像生成手段12と、CG情報記憶手段13と、を備える構成とした。これらは、それぞれ別途独立した装置として構成してもよい。
例えば、三次元位置校正手段10を、三次元位置校正装置10として構成してもよい。このとき、三次元位置校正装置10は、コンピュータを、マーカ表示手段100、位置収集手段101、校正データ算出手段102として機能させるプログラム(三次元位置校正プログラム)で動作させることができる。
【0089】
また、ここでは、三次元位置校正装置(三次元位置校正手段)10に、マーカ表示手段100を備える構成としたが、物理空間座標系Fの既知の位置を観察者Mが予め知っている場合であれば、必ずしもこの構成を備える必要はない。例えば、表示装置2の表示画面の左上角を物理空間座標系Fの既知の位置とし、観察者Mが、表示画面の左上角に測定用紐の一端を固定すればよい。
【0090】
また、ここでは、位置収集手段101が、三次元位置センサ3で検出されるセンサ空間座標系Fにおける三次元位置を収集するため、測定用紐st(図4参照)を用いた。しかし、これは必ずしも紐である必要はなく、等距離を確保可能なものであればよく、例えば、棒を用いてもよい。その場合、棒の両端部を紐等で吸盤SUおよび磁場測定器31に接続すればよい。
【符号の説明】
【0091】
S 自由視点画像表示システム
1 自由視点画像生成装置
10 三次元位置校正手段(三次元位置校正装置)
100 マーカ表示手段
101 位置収集手段
102 校正データ算出手段
11 校正データ記憶手段
12 視点画像生成手段(視点画像生成装置)
120 位置取得手段
121 視点位置算出手段
122 投影変換手段
13 CG情報記憶手段
2 表示装置
3 三次元位置センサ
30 磁気発生器
31 磁気測定器(磁気センサ)
32 コントローラ
図1
図2
図3
図4
図5
図6
図7
図8