ホーム > 特許ランキング > 国立大学法人 筑波大学
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-01-11
(45)【発行日】2022-01-24
(54)【発明の名称】画像処理装置、画像表示装置及び画像処理プログラム
(51)【国際特許分類】
H04N 5/232 20060101AFI20220117BHJP
G06T 15/20 20110101ALI20220117BHJP
H04N 5/247 20060101ALI20220117BHJP
H04N 5/262 20060101ALI20220117BHJP
H04N 5/268 20060101ALI20220117BHJP
G06T 19/00 20110101ALI20220117BHJP
【ＦＩ】
H04N5/232 290
G06T15/20 500
H04N5/247
H04N5/262
H04N5/268
H04N5/232 939
G06T19/00 A
【請求項の数】
6
(21)【出願番号】P 2017183910
(22)【出願日】2017-09-25
(65)【公開番号】P2019062302
(43)【公開日】2019-04-18
【審査請求日】2020-08-13
(73)【特許権者】
【識別番号】504171134
【氏名又は名称】国立大学法人 筑波大学
(74)【代理人】
【識別番号】100106909
【弁理士】
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100188558
【弁理士】
【氏名又は名称】飯田 雅人
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(72)【発明者】
【氏名】北原 格
(72)【発明者】
【氏名】宍戸 英彦
【審査官】西谷 憲人
(56)【参考文献】
【文献】国際公開第２０１７／０３８５４１（ＷＯ，Ａ１）
【文献】特開２０１７－１０３６１３（ＪＰ，Ａ）
【文献】特開２０１４－２３９３８４（ＪＰ，Ａ）
【文献】特開２０１７－１６３２４５（ＪＰ，Ａ）
【文献】特開２０１４－０２７５２８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２３２
Ｇ０６Ｔ １５／２０
Ｈ０４Ｎ ５／２４７
Ｈ０４Ｎ ５／２６２
Ｈ０４Ｎ ５／２６８
Ｇ０６Ｔ １９／００
(57)【特許請求の範囲】
【請求項1】
実空間内に複数配置された撮像部によってそれぞれ撮像される画像を、前記撮像部毎に取得する画像取得部と、仮想空間内に配置される仮想立体の内面に対して前記画像取得部が取得する前記画像をマッピングし、マッピングされた画像を複数の光軸方向でレンダリングした複数の透視投影画像群を、前記撮像部毎に生成する透視投影画像群生成部と、
前記透視投影画像群生成部が生成する前記透視投影画像に基づいて、前記撮像部の撮像位置及び撮像姿勢を推定する撮像位置姿勢推定部と、
前記撮像位置姿勢推定部が推定する前記撮像部の撮像位置及び撮像姿勢と、前記透視投影画像群生成部が生成する前記仮想立体とに基づいて、前記実空間内の前記撮像部の撮像位置に、前記透視投影画像がマッピングされた前記仮想立体を配置する配置部と、
前記仮想空間内の注視点の位置と、前記配置部によって配置される前記仮想立体の前記仮想空間内の位置との相対関係に基づいて、前記仮想立体にマッピングされている前記透視投影画像の少なくとも一部を出力画像として生成する出力画像生成部と、
を備える画像処理装置。
【請求項2】
前記撮像部とは、全方位を撮像可能な全方位カメラであり、前記透視投影画像群生成部は、
前記仮想立体としての仮想球体の中心を回転中心として前記画像がマッピングされた画像を、前記透視投影画像として生成する、
請求項１に記載の画像処理装置。
【請求項3】
請求項１又は請求項２に記載の画像処理装置が出力する前記出力画像を表示する表示部と、前記表示部の姿勢を検出する姿勢検出部と、
前記姿勢検出部が検出する姿勢に基づいて、前記表示部に表示される前記出力画像の表示状態を制御する表示制御部と、
を備える画像表示装置。
【請求項4】
前記姿勢検出部が検出する姿勢の変化が所定の条件を満たした場合に、前記表示部の所定の位置に表示される前記出力画像内の物体の位置を、前記仮想空間内の注視点の位置として前記画像処理装置の前記出力画像生成部に出力する注視点位置情報出力部を更に備える請求項３に記載の画像表示装置。
【請求項5】
前記姿勢検出部が検出する姿勢の変化が所定の条件を満たした場合に、前記撮像部にそれぞれ対応する複数の前記出力画像のうちから、前記表示部に表示される前記出力画像を選択する出力画像選択部を更に備える請求項３又は請求項４に記載の画像表示装置。
【請求項6】
コンピュータに、実空間内に複数配置された撮像部によってそれぞれ撮像される画像を、前記撮像部毎に取得する画像取得ステップと、
仮想空間内に配置される仮想立体の内面に対して前記画像取得ステップにおいて取得される前記画像をマッピングし、マッピングされた画像を複数の光軸方向でレンダリングした複数の透視投影画像群を生成する透視投影画像群生成ステップと、
前記透視投影画像群生成ステップにおいて生成される前記透視投影画像に基づいて、前記撮像部の撮像位置及び撮像姿勢を推定する撮像位置姿勢推定ステップと、
前記撮像位置姿勢推定ステップにおいて推定される前記撮像部の撮像位置及び撮像姿勢と、前記透視投影画像群生成ステップにおいて生成される前記仮想立体とに基づいて、前記実空間内の前記撮像部の撮像位置に対応する前記仮想空間内の仮想撮像位置に、前記透視投影画像がマッピングされた前記仮想立体を配置する配置ステップと、
前記仮想空間内の注視点の位置と、前記配置ステップにおいて配置される前記仮想立体の前記仮想空間内の位置との相対関係に基づいて、前記仮想立体にマッピングされている前記透視投影画像の少なくとも一部を出力画像として生成する出力画像生成ステップと、
を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像表示装置及び画像処理プログラムに関する。
【背景技術】
【0002】
従来、いわゆるバレットタイム映像を生成する画像処理装置が開示されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－１８５９６５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、画像の撮影後に、バレットタイム映像の表現の自由度を高めるため、バレットタイム映像の回転中心の位置（注視点）を変更したり、仮想的なカメラの位置（視点）を変更したりすることを望まれることがある。しかしながら、上述したような従来の画像処理装置においては、画像の撮影後に、バレットタイム映像の回転中心の位置（注視点）を変更したり、仮想的なカメラの位置（視点）を変更したりすることまではできないという問題があった。すなわち、従来の画像処理装置によると、バレットタイム映像の表現の自由度を高めることができないという問題があった。
【課題を解決するための手段】
【0005】
本発明の一実施形態は、実空間内に複数配置された撮像部によってそれぞれ撮像される画像を、前記撮像部毎に取得する画像取得部と、仮想空間内に配置される仮想立体の内面に対して前記画像取得部が取得する前記画像をマッピングし、マッピングされた画像を複数の光軸方向でレンダリングした複数の透視投影画像群を、前記撮像部毎に生成する透視投影画像群生成部と、前記透視投影画像群生成部が生成する前記透視投影画像に基づいて、前記撮像部の撮像位置及び撮像姿勢を推定する撮像位置姿勢推定部と、前記撮像位置姿勢推定部が推定する前記撮像部の撮像位置及び撮像姿勢と、前記透視投影画像群生成部が生成する前記仮想立体とに基づいて、前記実空間内の前記撮像部の撮像位置に、前記透視投影画像がマッピングされた前記仮想立体を配置する配置部と、前記仮想空間内の注視点の位置と、前記配置部によって配置される前記仮想立体の前記仮想空間内の位置との相対関係に基づいて、前記仮想立体にマッピングされている前記透視投影画像の少なくとも一部を出力画像として生成する出力画像生成部と、を備える画像処理装置である。
【0006】
本発明の一実施形態は、上述の画像処理装置において、前記撮像部とは、全方位を撮像可能な全方位カメラであり、前記透視投影画像群生成部は、前記仮想立体としての仮想球体の中心を回転中心として前記画像がマッピングされた画像を、前記透視投影画像として生成する。
【0007】
本発明の一実施形態は、上述の画像処理装置が出力する前記出力画像を表示する表示部と、前記表示部の姿勢を検出する姿勢検出部と、前記姿勢検出部が検出する姿勢に基づいて、前記表示部に表示される前記出力画像の表示状態を制御する表示制御部と、を備える画像表示装置である。
【0008】
本発明の一実施形態は、上述の画像表示装置において、前記姿勢検出部が検出する姿勢の変化が所定の条件を満たした場合に、前記表示部の所定の位置に表示される前記出力画像内の物体の位置を、前記仮想空間内の注視点の位置として前記画像処理装置の前記出力画像生成部に出力する注視点位置情報出力部を更に備える。
【0009】
本発明の一実施形態は、上述の画像表示装置において、前記姿勢検出部が検出する姿勢の変化が所定の条件を満たした場合に、前記撮像部にそれぞれ対応する複数の前記出力画像のうちから、前記表示部に表示される前記出力画像を選択する出力画像選択部を更に備える。
【0010】
本発明の一実施形態は、コンピュータに、実空間内に複数配置された撮像部によってそれぞれ撮像される画像を、前記撮像部毎に取得する画像取得ステップと、仮想空間内に配置される仮想立体の内面に対して前記画像取得ステップにおいて取得される前記画像をマッピングし、マッピングされた画像を複数の光軸方向でレンダリングした複数の透視投影画像群を生成する透視投影画像群生成ステップと、前記透視投影画像群生成ステップにおいて生成される前記透視投影画像に基づいて、前記撮像部の撮像位置及び撮像姿勢を推定する撮像位置姿勢推定ステップと、前記撮像位置姿勢推定ステップにおいて推定される前記撮像部の撮像位置及び撮像姿勢と、前記透視投影画像群生成ステップにおいて生成される前記仮想立体とに基づいて、前記実空間内の前記撮像部の撮像位置に対応する前記仮想空間内の仮想撮像位置に、前記透視投影画像がマッピングされた前記仮想立体を配置する配置ステップと、前記仮想空間内の注視点の位置と、前記配置ステップにおいて配置される前記仮想立体の前記仮想空間内の位置との相対関係に基づいて、前記仮想立体にマッピングされている前記透視投影画像の少なくとも一部を出力画像として生成する出力画像生成ステップと、を実行させるための画像処理プログラムである。
【発明の効果】
【0011】
本発明によれば、バレットタイム映像の表現の自由度を高めることができる。
【図面の簡単な説明】
【0012】
【図1】本実施形態の画像処理装置の機能構成の概要を示す図である。
【図2】本実施形態の基準透視投影カメラ座標系の一例を示す図である。
【図3】本実施形態の仮想空間内における仮想立体の配置の一例を示す図である。
【図4】本実施形態のバレットタイム映像の注視点とバーチャルカメラとの位置関係の一例を示す図である。
【図5】本実施形態の被写体と撮像部との間の距離と撮像部の画角との関係の一例を示す図である。
【図6】撮影実験の環境の一例を示す図である。
【図7】物体を注視点とした場合の、バレットタイム映像生成結果の一例を示す図である。
【図8】物体を注視点とした場合の、見かけの大きさの補正後のバレットタイム映像生成結果の一例を示す図である。
【図9】扉を注視点とした場合の、バレットタイム映像生成結果の一例を示す図である。
【図10】扉を注視点とした場合の、見かけの大きさの補正後のバレットタイム映像生成結果の一例を示す図である。
【図11】本実施形態の注視点の再設定操作の一例を示す図である。
【図12】本実施形態のタブレットの姿勢センサの座標系の一例を示す図である。
【図13】本実施形態のタブレットの姿勢の変化による視点移動操作の一例を示す図である。
【図14】本実施形態のタブレットの姿勢の変化による注視点移動操作の一例を示す図である。
【図15】本実施形態のタブレットの姿勢の変化による注視点の並進移動の様子の一例を示す図である。
【図16】本実施形態のタブレットの姿勢の変化による注視点の回転移動の様子の一例を示す図である。
【図17】本実施形態の画像表示装置による実験結果の一例を示す図である。
【図18】本実施形態の画像表示装置による実験結果の他の一例を示す図である。
【図19】本実施形態の画像表示装置による実験の環境の一例を示す図である。
【図20】従来技術による注視点の再設定の結果の一例を示す図である。
【図21】従来技術の全方位カメラによる撮像結果の一例を示す図である。
【発明を実施するための形態】
【0013】
【0014】
図２０は、従来技術による注視点の再設定の結果の一例を示す図である。
近年、スポーツ中継や映画などの様々な分野に多視点映像技術が用いられ始めている。被写体の周囲に複数のカメラを配置し、撮影した画像をカメラの配置に従って順に切り替えることで、視点の移動感を提示する映像効果のバレットタイムは、その代表例である。撮影した画像をほぼそのままの状態で提示するため、３次元復元処理の誤差の影響を受けやすい自由視点映像と比べて、高い画質の映像を生成提示可能である。バレットタイム映像で滑らかな視点移動を実現するためには、多視点カメラの光軸が交わる地点（注視点）の設定処理が必要となる。あるバレットタイム処理では、提示映像生成時に多視点画像に注視点が画面中央で観察されるよう各画像に射影変換処理を施すことで、任意の位置に注視点を再設定することを可能にしている。しかし、一定の画角を有する（画角が有限な）透視投影カメラを用いて多視点映像を撮影した場合、注視点の再設定位置によっては、図２０に示すように、多視点カメラで撮影されていない領域を観測するような射影変換が施され、結果として提示画像上に余白領域が発生してしまう。
近年、スポーツ中継や映画などの様々な分野に多視点映像技術が用いられ始めている。被写体の周囲に複数のカメラを配置し、撮影した画像をカメラの配置に従って順に切り替えることで、視点の移動感を提示する映像効果のバレットタイムは、その代表例である。撮影した画像をほぼそのままの状態で提示するため、３次元復元処理の誤差の影響を受けやすい自由視点映像と比べて、高い画質の映像を生成提示可能である。バレットタイム映像で滑らかな視点移動を実現するためには、多視点カメラの光軸が交わる地点（注視点）の設定処理が必要となる。あるバレットタイム処理では、提示映像生成時に多視点画像に注視点が画面中央で観察されるよう各画像に射影変換処理を施すことで、任意の位置に注視点を再設定することを可能にしている。しかし、一定の画角を有する（画角が有限な）透視投影カメラを用いて多視点映像を撮影した場合、注視点の再設定位置によっては、図２０に示すように、多視点カメラで撮影されていない領域を観測するような射影変換が施され、結果として提示画像上に余白領域が発生してしまう。
【0015】
画角に制限のない全方位カメラを多視点撮影に用いることで、余白領域の生じないバレットタイム映像を生成することが可能である。しかしながら、全方位画像の導入によって新たに生じる技術的課題が存在する。
図２１は、従来技術の全方位カメラによる撮像結果の一例を示す図である。図２１に示すように、全方位カメラは、上下左右３６０度（全天球）の空間を一つの画像面に記録するため、一般的なコンピュータビジョンで取り扱われる透視投影（ピンホールカメラモデル）とは異なる射影幾何となる。カメラパラメータを推定するカメラキャリブレーション処理は透視投影幾何に基づいているため、全方位画像を一旦透視投影画像に射影変換した後、カメラキャリブレーションを行うのが一般的である。また、最終的に映像を観察する人間の目のも透視投影モデルであるため、撮影した全方位画像を提示する際には、透視投影画像に変換したものを表示するのが自然である。全方位カメラの普及により、全方位映像を用いたＶＲ環境構築プラットフォームに注目が集まっている。全方位画像をＶＲ環境中のＣＧ物体にマッピングし、それをバーチャルカメラで撮影した画像をＨＭＤなどの提示デバイス上に表示することで、撮影シーンに没入したような見え方の再現を可能としている。
図２１は、従来技術の全方位カメラによる撮像結果の一例を示す図である。図２１に示すように、全方位カメラは、上下左右３６０度（全天球）の空間を一つの画像面に記録するため、一般的なコンピュータビジョンで取り扱われる透視投影（ピンホールカメラモデル）とは異なる射影幾何となる。カメラパラメータを推定するカメラキャリブレーション処理は透視投影幾何に基づいているため、全方位画像を一旦透視投影画像に射影変換した後、カメラキャリブレーションを行うのが一般的である。また、最終的に映像を観察する人間の目のも透視投影モデルであるため、撮影した全方位画像を提示する際には、透視投影画像に変換したものを表示するのが自然である。全方位カメラの普及により、全方位映像を用いたＶＲ環境構築プラットフォームに注目が集まっている。全方位画像をＶＲ環境中のＣＧ物体にマッピングし、それをバーチャルカメラで撮影した画像をＨＭＤなどの提示デバイス上に表示することで、撮影シーンに没入したような見え方の再現を可能としている。
【0016】
バレットタイム映像を生成するためには、各カメラの光軸が撮影空間中の１点（注視点）を通過するようなカメラ配置が必要とされる。最も原始的な方法は、マイクロメータを用いてカメラの位置姿勢を精密に調整することであるが、大規模空間における撮影では位置姿勢合わせの手間が膨大となるため現実的ではない。
一例として、アメリカンフットボールや野球などの大規模空間で行われるイベントを対象としたバレットタイム映像生成提示手法（Eye Vision）が開発されている。撮影者が操作するカメラの位置姿勢情報から被写体の３次元位置を推定し、その被写体を画面中央で捉えるように他のカメラの姿勢を自動制御することで、滑らかな視点切り替えを実現している。しかし、単眼画像から３次元位置を推定するために被写体は常に地面に接しているという条件が存在し、３次元空間中の任意の位置に注視点を設定することは困難であった。
また、３次元物体追跡技術とロボットカメラ制御技術を統合することにより、３次元的かつ動的に注視点の設定が可能なバレットタイム映像生成法が提案されている。これらのようにロボットカメラを用いる場合、注視点は映像制作時に固定されるため、映像閲覧者が自由に注視点を設定することは困難である。
また、固定したカメラで多視点映像を撮影し、それらに対して空間中のある１点が画像上の同一箇所で観察されるような射影変換を施すことにより、任意位置の注視点に対して滑らかに視点が移動するバレットタイム映像生成法が提案されている。ロボットカメラを使用しないため一般的な機材で撮影できること、注視点を映像閲覧時に設定可能（後付けできる）というメリットを有するが、一定の画角を有する透視投影カメラで多視点撮影を行う場合、注視点の再設定箇所によっては提示画像上に大きな余白領域が発生し、提示映像品質が低下する。
一例として、アメリカンフットボールや野球などの大規模空間で行われるイベントを対象としたバレットタイム映像生成提示手法（Eye Vision）が開発されている。撮影者が操作するカメラの位置姿勢情報から被写体の３次元位置を推定し、その被写体を画面中央で捉えるように他のカメラの姿勢を自動制御することで、滑らかな視点切り替えを実現している。しかし、単眼画像から３次元位置を推定するために被写体は常に地面に接しているという条件が存在し、３次元空間中の任意の位置に注視点を設定することは困難であった。
また、３次元物体追跡技術とロボットカメラ制御技術を統合することにより、３次元的かつ動的に注視点の設定が可能なバレットタイム映像生成法が提案されている。これらのようにロボットカメラを用いる場合、注視点は映像制作時に固定されるため、映像閲覧者が自由に注視点を設定することは困難である。
また、固定したカメラで多視点映像を撮影し、それらに対して空間中のある１点が画像上の同一箇所で観察されるような射影変換を施すことにより、任意位置の注視点に対して滑らかに視点が移動するバレットタイム映像生成法が提案されている。ロボットカメラを使用しないため一般的な機材で撮影できること、注視点を映像閲覧時に設定可能（後付けできる）というメリットを有するが、一定の画角を有する透視投影カメラで多視点撮影を行う場合、注視点の再設定箇所によっては提示画像上に大きな余白領域が発生し、提示映像品質が低下する。
【0017】
［従来技術（２）］
被写体の多面的な観測が可能な多視点映像は、映画やテレビ中継などの映像メディアからスマートフォンアプリまで広く活用されつつある。また、遠隔作業指示、技能教育、スポーツトレーニングのような「相手の視線を含め、色々な角度から見て学ぶ」ことが重要な協調作業においても多視点映像の導入が進んでいる。多視点映像の閲覧法として、（１）撮影した映像を一覧提示する方法（ディスプレイマトリックス）、（２）コンピュータビジョン（ＣＶ）技術を用いて一度計算機内部で統合し、コンピュータグラフィックス（ＣＧ）技術を用いて任意視点からの映像を提示する方法（自由視点映像）がある。（１）は、撮影映像をそのまま提示するため映像品質は高いが、同時に観察可能な視覚情報チャンネルが１系統であるため、視点数の増加に伴い観察が困難になるという問題が存在する。（２）は、閲覧者が自由に視点を操作しながら必要な視覚情報を選択的に獲得することができるが、提示映像の品質は、３次元形状推定などの処理過程で生じる誤差の影響を受けやすい。
バレットタイムは、（１）と（２）の長所を合わせ持つ映像提示法である。被写体の周囲に複数のカメラを、各カメラの光軸が３次元空間内の一点で交わる状態で配置し、撮影映像をカメラ配置に従って順番に切り替えることにより視点の移動感を再現する。撮影した映像をほぼそのままの状態で提示するため画質が高い。さらに、我々の開発した拡張バレットタイム処理では、ＣＶ技術を部分的に導入することで、視点移動中に注視し続ける領域（注視点）を撮影空間中の自由な位置に設定することを可能としている。自由視点映像やバレットタイム映像を撮影するバーチャルカメラの操作は、マウスやタブレット端末を用いたポインティングやストローク入力によって実装されることが多い。しかし、スポーツトレーニングやリハビリテーションでは身体を動かすためにカメラ操作が困難である。また、手術現場では衛生的な問題により手でデバイスを触れることが困難な状況が考えられる。
被写体の多面的な観測が可能な多視点映像は、映画やテレビ中継などの映像メディアからスマートフォンアプリまで広く活用されつつある。また、遠隔作業指示、技能教育、スポーツトレーニングのような「相手の視線を含め、色々な角度から見て学ぶ」ことが重要な協調作業においても多視点映像の導入が進んでいる。多視点映像の閲覧法として、（１）撮影した映像を一覧提示する方法（ディスプレイマトリックス）、（２）コンピュータビジョン（ＣＶ）技術を用いて一度計算機内部で統合し、コンピュータグラフィックス（ＣＧ）技術を用いて任意視点からの映像を提示する方法（自由視点映像）がある。（１）は、撮影映像をそのまま提示するため映像品質は高いが、同時に観察可能な視覚情報チャンネルが１系統であるため、視点数の増加に伴い観察が困難になるという問題が存在する。（２）は、閲覧者が自由に視点を操作しながら必要な視覚情報を選択的に獲得することができるが、提示映像の品質は、３次元形状推定などの処理過程で生じる誤差の影響を受けやすい。
バレットタイムは、（１）と（２）の長所を合わせ持つ映像提示法である。被写体の周囲に複数のカメラを、各カメラの光軸が３次元空間内の一点で交わる状態で配置し、撮影映像をカメラ配置に従って順番に切り替えることにより視点の移動感を再現する。撮影した映像をほぼそのままの状態で提示するため画質が高い。さらに、我々の開発した拡張バレットタイム処理では、ＣＶ技術を部分的に導入することで、視点移動中に注視し続ける領域（注視点）を撮影空間中の自由な位置に設定することを可能としている。自由視点映像やバレットタイム映像を撮影するバーチャルカメラの操作は、マウスやタブレット端末を用いたポインティングやストローク入力によって実装されることが多い。しかし、スポーツトレーニングやリハビリテーションでは身体を動かすためにカメラ操作が困難である。また、手術現場では衛生的な問題により手でデバイスを触れることが困難な状況が考えられる。
【0018】
バレットタイムは、その生成画質の高さから映画やスポーツ中継といった映像メディアの分野で利用が進んでいる。一例として、グランドを取り囲むように複数のカメラを設置し、ロボットアームを用いて各カメラを連動して制御するシステムであり、アメリカンフットボールの試合中継で実用化されているが、視点位置や注視点は映像制作時に設定されるため、閲覧者は操作できない。バレットタイムの注視点は、通常画像の中央に固定されるが、動的な被写体の場合必ずしも中央に注目物体があるとは限らない。
【0019】
［第１の実施形態］
以下、図面を参照し、本発明の実施形態について説明する。
図１は、本実施形態の画像処理装置１の機能構成の概要を示す図である。「多視点全方位画像撮影部」は、撮影対象空間中の複数箇所に全方位カメラを設置し多視点全方位画像を撮影する。この全方位カメラとは、撮像部１０の一例である。この撮像部１０は、実空間内に複数台配置される。なお、以下の説明では、撮像部１０が全方位カメラであるとして説明するが、撮像部１０は、必ずしも全方位カメラでなくてもよい。撮像部１０は、比較的画角の広いレンズ（例えば、広角レンズや魚眼レンズ）を備えていればよい。
以下、図面を参照し、本発明の実施形態について説明する。
図１は、本実施形態の画像処理装置１の機能構成の概要を示す図である。「多視点全方位画像撮影部」は、撮影対象空間中の複数箇所に全方位カメラを設置し多視点全方位画像を撮影する。この全方位カメラとは、撮像部１０の一例である。この撮像部１０は、実空間内に複数台配置される。なお、以下の説明では、撮像部１０が全方位カメラであるとして説明するが、撮像部１０は、必ずしも全方位カメラでなくてもよい。撮像部１０は、比較的画角の広いレンズ（例えば、広角レンズや魚眼レンズ）を備えていればよい。
【0020】
「透視投影変換部」は、ＶＲ環境構築プラットフォームを用いて全方位画像から複数枚の透視投影画像群ＰＧを生成する。この透視投影変換部とは、透視投影画像群生成部２０の一例である。
【0021】
「カメラキャリブレーション部」は、多視点の透視投影画像群ＰＧに対して、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳｆＭ）を適用し、各カメラのカメラパラメータと対応点群の３次元情報を推定する。このカメラキャリブレーション部とは、撮像位置姿勢推定部３０の一例である。
【0022】
「全方位画像配置部」は、前段で推定した全方位カメラの位置・姿勢に基づいて撮影全方位映像をマッピングした球体ＣＧを配置する。この全方位画像配置部とは、配置部４０の一例である。また、球体ＣＧとは、仮想立体ＳＰの一例である。
【0023】
「バレットタイム映像生成部」は、各球体中心にバーチャルカメラを設置し、３次元空間中に設定した注視点が光軸上に存在するよう姿勢を調整する。バーチャルカメラを順番に切り替えることにより、バレットタイム映像が生成される。その際、注視点と球体の距離に応じて各バーチャルカメラのズーム値を操作することにより、被写体の見かけの大きさを一定に保つ。このバレットタイム映像生成部とは、出力画像生成部５０の一例である。
【0024】
[全方位バレットタイム映像の生成]
（１）多視点全方位画像撮影部
撮影対象シーンの複数箇所に全方位カメラ（撮像部１０）を配置し、多視点全方位画像を撮影する。ここで全方位カメラを配置した箇所がバレットタイム映像の視点位置となる。バレットタイムの滑らかな視点移動を実現するために、三脚等を用いてカメラの高さを揃えるとよい。
画像取得部１００は、実空間内に複数配置された撮像部１０によってそれぞれ撮像される画像ＰＭを、撮像部１０毎に取得する（画像取得ステップ）。
（１）多視点全方位画像撮影部
撮影対象シーンの複数箇所に全方位カメラ（撮像部１０）を配置し、多視点全方位画像を撮影する。ここで全方位カメラを配置した箇所がバレットタイム映像の視点位置となる。バレットタイムの滑らかな視点移動を実現するために、三脚等を用いてカメラの高さを揃えるとよい。
画像取得部１００は、実空間内に複数配置された撮像部１０によってそれぞれ撮像される画像ＰＭを、撮像部１０毎に取得する（画像取得ステップ）。
【0025】
（２）透視投影変換部
ＶＲ空間内に球体ＣＧモデルを配置し、その内側に撮影した全方位画像をテクスチャとしてマッピングする。球体モデルの中心にバーチャルカメラを配置してレンダリングすることで、歪みの少ない透視投影された画像を取得することができる。バーチャルカメラを球体の中心周りに回転させながら（すなわち、光軸方向を変化させながら）レンダリング処理を繰り返すことにより、多視点画像を生成する。同様の処理を撮影した全ての全方位画像について行うことで、撮影位置毎に多視点透視投影画像群が生成される。
すなわち、透視投影画像群生成部２０は、仮想空間内に配置される仮想立体ＳＰの内面に対して画像取得部１００が取得する画像をマッピングし、マッピングされた画像を複数の光軸方向でレンダリングした複数の透視投影画像群を、撮像部１０毎に生成する（透視投影画像群生成ステップ）。
ＶＲ空間内に球体ＣＧモデルを配置し、その内側に撮影した全方位画像をテクスチャとしてマッピングする。球体モデルの中心にバーチャルカメラを配置してレンダリングすることで、歪みの少ない透視投影された画像を取得することができる。バーチャルカメラを球体の中心周りに回転させながら（すなわち、光軸方向を変化させながら）レンダリング処理を繰り返すことにより、多視点画像を生成する。同様の処理を撮影した全ての全方位画像について行うことで、撮影位置毎に多視点透視投影画像群が生成される。
すなわち、透視投影画像群生成部２０は、仮想空間内に配置される仮想立体ＳＰの内面に対して画像取得部１００が取得する画像をマッピングし、マッピングされた画像を複数の光軸方向でレンダリングした複数の透視投影画像群を、撮像部１０毎に生成する（透視投影画像群生成ステップ）。
【0026】
なお、本実施形態の一例のように撮像部１０が全方位カメラである場合には、透視投影画像群生成部２０は、仮想立体ＳＰとしての仮想球体の中心を回転中心として画像がマッピングされた画像を、透視投影画像として生成する。画角に制限のない全方位カメラを多視点撮影に用いることで、余白領域の生じないバレットタイム映像の生成が可能であり、余白領域発生の悪影響を受けることなく注視点の再設定が可能であるため、より制限の少ないバレットタイム映像閲覧を実現する。本手法では、ＶＲ環境構築技術を活用することで、全方位画像から透視投影画像への変換処理を簡易かつ高速に実行可能なバレットタイム映像生成提示システムを実現する。
【0027】
（３）カメラキャリブレーション部
図２は、本実施形態の基準透視投影カメラ座標系の一例を示す図である。
全方位カメラのパラメータ（位置、姿勢）を推定する。前述した透視投影画像群生成ステップで生成した多視点透視投影画像群をＳｆＭに適用することで、個々の透視投影カメラのパラメータを推定する。
なお、同一の全方位映像から生成した透視投影カメラの推定位置はほぼ同じ値となるため、推定されたカメラ位置によって透視投影カメラをクラスタリングし、その代表値を全方位カメラの位置とする。理想的には、推定位置はクラスタごとに１点に定まるが、推定誤差を考慮してクラスタに含まれるカメラの推定位置の中央値などを代表値とする。
全方位カメラの姿勢は、基準となる（例えば、光軸が全方位画像の中心を通過するように設定した）透視投影カメラの姿勢として求める。この場合、図２に示すように基準透視投影カメラ座標系のＺ軸を全方位カメラの前方（正面）ベクトル、Ｙ軸を上方ベクトルとする。
すなわち、撮像位置姿勢推定部３０は、透視投影画像群生成部２０が生成する透視投影画像に基づいて、撮像部１０の撮像位置及び撮像姿勢を推定する（撮像位置姿勢推定ステップ）。
図２は、本実施形態の基準透視投影カメラ座標系の一例を示す図である。
全方位カメラのパラメータ（位置、姿勢）を推定する。前述した透視投影画像群生成ステップで生成した多視点透視投影画像群をＳｆＭに適用することで、個々の透視投影カメラのパラメータを推定する。
なお、同一の全方位映像から生成した透視投影カメラの推定位置はほぼ同じ値となるため、推定されたカメラ位置によって透視投影カメラをクラスタリングし、その代表値を全方位カメラの位置とする。理想的には、推定位置はクラスタごとに１点に定まるが、推定誤差を考慮してクラスタに含まれるカメラの推定位置の中央値などを代表値とする。
全方位カメラの姿勢は、基準となる（例えば、光軸が全方位画像の中心を通過するように設定した）透視投影カメラの姿勢として求める。この場合、図２に示すように基準透視投影カメラ座標系のＺ軸を全方位カメラの前方（正面）ベクトル、Ｙ軸を上方ベクトルとする。
すなわち、撮像位置姿勢推定部３０は、透視投影画像群生成部２０が生成する透視投影画像に基づいて、撮像部１０の撮像位置及び撮像姿勢を推定する（撮像位置姿勢推定ステップ）。
【0028】
（４）全方位画像配置部
図３は、本実施形態の仮想空間内における仮想立体ＳＰの配置の一例を示す図である。図３に示すように、上述の（２）において全方位画像をマッピングした球体モデルを、上述の（３）において推定したカメラパラメータ（位置、姿勢）を用いて再配置する。
すなわち、配置部４０は、撮像位置姿勢推定部３０が推定する撮像部１０の撮像位置及び撮像姿勢と、透視投影画像群生成部２０が生成する仮想立体ＳＰとに基づいて、実空間内の撮像部１０の撮像位置に、透視投影画像がマッピングされた仮想立体ＳＰを配置する（配置ステップ）。
図３は、本実施形態の仮想空間内における仮想立体ＳＰの配置の一例を示す図である。図３に示すように、上述の（２）において全方位画像をマッピングした球体モデルを、上述の（３）において推定したカメラパラメータ（位置、姿勢）を用いて再配置する。
すなわち、配置部４０は、撮像位置姿勢推定部３０が推定する撮像部１０の撮像位置及び撮像姿勢と、透視投影画像群生成部２０が生成する仮想立体ＳＰとに基づいて、実空間内の撮像部１０の撮像位置に、透視投影画像がマッピングされた仮想立体ＳＰを配置する（配置ステップ）。
【0029】
（５）バレットタイム映像生成部
図４は、本実施形態のバレットタイム映像の注視点ＴａｒｇｅｔとバーチャルカメラＶＣとの位置関係の一例を示す図である。上述の（３）において推定した全ての全方位カメラの位置（球体中央）がバーチャルカメラの設置となる。図４に示すように、バレットタイム映像の注視点の３次元座標と全方位カメラの位置情報から、各バーチャルカメラの姿勢を算出する。それらのバーチャルカメラを順番に切り替えることにより、バレットタイム映像を生成する。
すなわち、出力画像生成部５０は、仮想空間内の注視点の位置と、配置部４０によって配置される仮想立体ＳＰの仮想空間内の位置との相対関係に基づいて、仮想立体ＳＰにマッピングされている透視投影画像の少なくとも一部を出力画像として生成する（出力画像生成ステップ）。
図４は、本実施形態のバレットタイム映像の注視点ＴａｒｇｅｔとバーチャルカメラＶＣとの位置関係の一例を示す図である。上述の（３）において推定した全ての全方位カメラの位置（球体中央）がバーチャルカメラの設置となる。図４に示すように、バレットタイム映像の注視点の３次元座標と全方位カメラの位置情報から、各バーチャルカメラの姿勢を算出する。それらのバーチャルカメラを順番に切り替えることにより、バレットタイム映像を生成する。
すなわち、出力画像生成部５０は、仮想空間内の注視点の位置と、配置部４０によって配置される仮想立体ＳＰの仮想空間内の位置との相対関係に基づいて、仮想立体ＳＰにマッピングされている透視投影画像の少なくとも一部を出力画像として生成する（出力画像生成ステップ）。
【0030】
図５は、本実施形態の被写体と撮像部１０との間の距離と撮像部１０の画角との関係の一例を示す図である。
ここで、注視点と全方位カメラまでの距離によって、バレットタイム映像上での見かけの大きさが変化する。本システムでは、バーチャルカメラの画角を変更することで、被写体の見かけの大きさを一定にし、注視点を中心として視点が円状に回っているような視覚効果を再現する。カメラが２台の場合を例に、被写体の見かけの大きさを一定にするための距離と画角の関係を図５と式（１）とに示す。
ここで、注視点と全方位カメラまでの距離によって、バレットタイム映像上での見かけの大きさが変化する。本システムでは、バーチャルカメラの画角を変更することで、被写体の見かけの大きさを一定にし、注視点を中心として視点が円状に回っているような視覚効果を再現する。カメラが２台の場合を例に、被写体の見かけの大きさを一定にするための距離と画角の関係を図５と式（１）とに示す。
【0031】
【数1】
【0032】
なお、ここでは、撮像部１０－１の画角を画角ＦＯＶ、撮像部１０－２の画角を画角ＦＯＶ’とし、撮像部１０－１から被写体までの距離を距離ｄ、撮像部１０－２から被写体までの距離を距離ｄ’とした。
【0033】
[実施例]
図６は、撮影実験の環境の一例を示す図である。撮影実験を行った結果を示す。図６に示すように３４か所において４０ｃｍ間隔で撮像部１０を配置した。撮像部１０によって撮影して得られた全方位画像の解像度は、５３７６画素×２６８８画素である。図６中の物体ｏｂｊｅｃｔと扉ｄｏｏｒを注視点Ｔａｒｇｅｔとし、それらの３次元座標を計測した。また、見かけの大きさの補正処理を適用し、その効果を検証する。
図６は、撮影実験の環境の一例を示す図である。撮影実験を行った結果を示す。図６に示すように３４か所において４０ｃｍ間隔で撮像部１０を配置した。撮像部１０によって撮影して得られた全方位画像の解像度は、５３７６画素×２６８８画素である。図６中の物体ｏｂｊｅｃｔと扉ｄｏｏｒを注視点Ｔａｒｇｅｔとし、それらの３次元座標を計測した。また、見かけの大きさの補正処理を適用し、その効果を検証する。
【0034】
図７は、物体ｏｂｊｅｃｔを注視点Ｔａｒｇｅｔとした場合の、バレットタイム映像生成結果の一例を示す図である。図７より、注視点Ｔａｒｇｅｔが固定されたまま、視点位置がカメラ配置に従って移動している様子が確認できる。
図８は、物体ｏｂｊｅｃｔを注視点Ｔａｒｇｅｔとした場合の、見かけの大きさの補正後のバレットタイム映像生成結果の一例を示す図である。カメラ（撮像部１０）が注視点Ｔａｒｇｅｔを取り囲むように配置されているため、物体ｏｂｊｅｃｔを中心にカメラ視点が等距離で円状に回っているような視覚効果がなされていることがわかる。
図８は、物体ｏｂｊｅｃｔを注視点Ｔａｒｇｅｔとした場合の、見かけの大きさの補正後のバレットタイム映像生成結果の一例を示す図である。カメラ（撮像部１０）が注視点Ｔａｒｇｅｔを取り囲むように配置されているため、物体ｏｂｊｅｃｔを中心にカメラ視点が等距離で円状に回っているような視覚効果がなされていることがわかる。
【0035】
図９は、扉ｄｏｏｒを注視点Ｔａｒｇｅｔとした場合の、バレットタイム映像生成結果の一例を示す図である。図１１より、カメラで囲まれた空間外の扉ｄｏｏｒにも注視点Ｔａｒｇｅｔを設定できていることは、全方位多視点映像からバレットタイム映像を生成する利点性である。
図１０は、扉ｄｏｏｒを注視点Ｔａｒｇｅｔとした場合の、見かけの大きさの補正後のバレットタイム映像生成結果の一例を示す図である。図１０より、見かけの大きさ補正をすると注視点Ｔａｒｇｅｔがより強調された結果となることが確認できる。
図１０は、扉ｄｏｏｒを注視点Ｔａｒｇｅｔとした場合の、見かけの大きさの補正後のバレットタイム映像生成結果の一例を示す図である。図１０より、見かけの大きさ補正をすると注視点Ｔａｒｇｅｔがより強調された結果となることが確認できる。
【0036】
以上説明したように、本実施形態の画像処理装置１によれば、注視点再設定時に発生する余白領域の問題を解消し、観察可能範囲を大幅に拡張したバレットタイム映像を生成することができる。すなわち、画像処理装置１によれば、バレットタイム映像の表現の自由度を高めることができる。
【0037】
［第２の実施形態]
次に、本発明の第２の実施形態について説明する。なお以下では、ディスプレイ（表示部）を備えるタブレットＴＢを、画像表示装置２の一例として説明する。
この画像表示装置２は、ディスプレイ（表示部）と、姿勢検出部と、表示制御部とを備える。表示部は、上述した画像処理装置１が出力する出力画像を表示する。姿勢検出部は、姿勢検出センサ（不図示）を備えており、表示部の姿勢を検出する。ここで、姿勢検出部は、タブレットＴＢ本体の姿勢を、表示部の姿勢として検出してもよい。表示制御部（不図示）は、姿勢検出部が検出する姿勢に基づいて、表示部に表示される出力画像の表示状態を制御する。
次に、本発明の第２の実施形態について説明する。なお以下では、ディスプレイ（表示部）を備えるタブレットＴＢを、画像表示装置２の一例として説明する。
この画像表示装置２は、ディスプレイ（表示部）と、姿勢検出部と、表示制御部とを備える。表示部は、上述した画像処理装置１が出力する出力画像を表示する。姿勢検出部は、姿勢検出センサ（不図示）を備えており、表示部の姿勢を検出する。ここで、姿勢検出部は、タブレットＴＢ本体の姿勢を、表示部の姿勢として検出してもよい。表示制御部（不図示）は、姿勢検出部が検出する姿勢に基づいて、表示部に表示される出力画像の表示状態を制御する。
【0038】
（１）バレットタイム映像の生成
被写体の周囲に等間隔で並べたカメラで多視点映像を撮影し、多視点画像群に対してＳｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳｆＭ）を適用し、各カメラのカメラパラメータを推定する。バレットタイムの注視点を再設定する場合は、ユーザが閲覧中の画像上で注目点の位置（２次元座標）を入力する。その点と他の多視点画像との間の対応点情報に基づいたステレオ法により注目点の３次元位置が算出される。注視点の３次元位置情報とカメラパラメータから、新たに指定された注視点が画像中央で観察されるよう撮影画像の見え方を射影するホモグラフィ行列を、全ての多視点画像に対して算出し、各々に対して射影変換を施す。
このバレットタイム映像の生成は、上述した画像処理装置１によって行われる。
被写体の周囲に等間隔で並べたカメラで多視点映像を撮影し、多視点画像群に対してＳｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳｆＭ）を適用し、各カメラのカメラパラメータを推定する。バレットタイムの注視点を再設定する場合は、ユーザが閲覧中の画像上で注目点の位置（２次元座標）を入力する。その点と他の多視点画像との間の対応点情報に基づいたステレオ法により注目点の３次元位置が算出される。注視点の３次元位置情報とカメラパラメータから、新たに指定された注視点が画像中央で観察されるよう撮影画像の見え方を射影するホモグラフィ行列を、全ての多視点画像に対して算出し、各々に対して射影変換を施す。
このバレットタイム映像の生成は、上述した画像処理装置１によって行われる。
【0039】
（２）バレットタイム閲覧のためのカメラ操作
画像表示装置２の姿勢検出部は、バレットタイム映像を閲覧する際のカメラ操作として“注視点再設定”、“視点切り替え”、“首振り”にそれぞれ対応するタブレットＴＢの姿勢変化を検出する。表示制御部は、映像を提示するタブレットＴＢに搭載されている加速度・角速度センサ（姿勢検出部）から推定されるタブレットＴＢの姿勢に基づいて、表示部に表示される画像の変換を行う。
“注視点再設定”では、提示デバイスを一定時間静止させると、ディスプレイの中心で観察されている領域を新たな注視点とみなして再設定処理が行われる。“視点切り替え”は、ディスプレイ面の法線周りの回転（ロール）値によって制御する。“首ふり”は、デバイスのパンチルト回転角度に応じたバーチャルカメラの姿勢制御によって実現する。
以下、表示制御部の制御の具体例について説明する。
画像表示装置２の姿勢検出部は、バレットタイム映像を閲覧する際のカメラ操作として“注視点再設定”、“視点切り替え”、“首振り”にそれぞれ対応するタブレットＴＢの姿勢変化を検出する。表示制御部は、映像を提示するタブレットＴＢに搭載されている加速度・角速度センサ（姿勢検出部）から推定されるタブレットＴＢの姿勢に基づいて、表示部に表示される画像の変換を行う。
“注視点再設定”では、提示デバイスを一定時間静止させると、ディスプレイの中心で観察されている領域を新たな注視点とみなして再設定処理が行われる。“視点切り替え”は、ディスプレイ面の法線周りの回転（ロール）値によって制御する。“首ふり”は、デバイスのパンチルト回転角度に応じたバーチャルカメラの姿勢制御によって実現する。
以下、表示制御部の制御の具体例について説明する。
【0040】
（１）注視点再設定操作
図１１は、本実施形態の注視点Ｔａｒｇｅｔの再設定操作の一例を示す図である。タブレットＴＢを一定時間静止させると中心座標に注視点ターゲットを明示するアイコンを描画し、さらに一定時間その状態が維持された場合、注視点ターゲットが示す領域を新たな注視点Ｔａｒｇｅｔとする再設定処理を行う。
例えば、画像表示装置２は、注視点位置情報出力部（不図示）を備えている。この注視点位置情報出力部は、姿勢検出部が検出する姿勢の変化が所定の条件を満たした場合に、表示部の所定の位置に表示される出力画像内の物体の位置を、仮想空間内の注視点の位置として画像処理装置１の出力画像生成部５０に出力する。
画像処理装置１の出力画像生成部５０は、注視点位置情報出力部が出力する仮想空間内の注視点の位置を、新たな注視点Ｔａｒｇｅｔとして出力画像を生成する。
図１１は、本実施形態の注視点Ｔａｒｇｅｔの再設定操作の一例を示す図である。タブレットＴＢを一定時間静止させると中心座標に注視点ターゲットを明示するアイコンを描画し、さらに一定時間その状態が維持された場合、注視点ターゲットが示す領域を新たな注視点Ｔａｒｇｅｔとする再設定処理を行う。
例えば、画像表示装置２は、注視点位置情報出力部（不図示）を備えている。この注視点位置情報出力部は、姿勢検出部が検出する姿勢の変化が所定の条件を満たした場合に、表示部の所定の位置に表示される出力画像内の物体の位置を、仮想空間内の注視点の位置として画像処理装置１の出力画像生成部５０に出力する。
画像処理装置１の出力画像生成部５０は、注視点位置情報出力部が出力する仮想空間内の注視点の位置を、新たな注視点Ｔａｒｇｅｔとして出力画像を生成する。
【0041】
（２）視点移動（カメラ切替）操作
図１２は、本実施形態のタブレットＴＢの姿勢センサの座標系の一例を示す図である。タブレットＴＢの姿勢変動による視点切り替えは、タブレットＴＢのロール回転（ｚ軸周りの回転）を検知し、その回転方向に対応した方向に視点の切り替えを行う。例えば、自動車のハンドルを連想させるのであれば、ｚ軸の正の向きに対して右回りに回転した場合、視点は左隣のカメラに移動する。
例えば、画像表示装置２は、出力画像選択部（不図示）を備えている。この出力画像選択部は、姿勢検出部が検出する姿勢の変化が所定の条件を満たした場合に、撮像部１０にそれぞれ対応する複数の出力画像のうちから、表示部に表示される出力画像を選択する。
図１２は、本実施形態のタブレットＴＢの姿勢センサの座標系の一例を示す図である。タブレットＴＢの姿勢変動による視点切り替えは、タブレットＴＢのロール回転（ｚ軸周りの回転）を検知し、その回転方向に対応した方向に視点の切り替えを行う。例えば、自動車のハンドルを連想させるのであれば、ｚ軸の正の向きに対して右回りに回転した場合、視点は左隣のカメラに移動する。
例えば、画像表示装置２は、出力画像選択部（不図示）を備えている。この出力画像選択部は、姿勢検出部が検出する姿勢の変化が所定の条件を満たした場合に、撮像部１０にそれぞれ対応する複数の出力画像のうちから、表示部に表示される出力画像を選択する。
【0042】
図１３は、本実施形態のタブレットＴＢの姿勢の変化による視点移動操作の一例を示す図である。タブレットＴＢのロール回転は加速度センサ（不図示）を用いて検知する。地面とタブレットＴＢのｘ軸との角度によって地面に対してタブレットＴＢがどれだけ傾いているかを求める。この角度が一定以上となる場合、ロール角と対応した向きに視点が切り替わる。
【0043】
（３）パンチルト（首振り）操作
図１４は、本実施形態のタブレットＴＢの姿勢の変化による注視点移動操作の一例を示す図である。
パンチルト操作は、図１４に示すように、タブレットＴＢが向いている方向（ｚ軸）に合わせてバーチャルカメラの首振りを行う操作である。タブレットＴＢの方向は、角速度センサの値を積分することで回転角度を算出し取得する。
首ふり操作による見え方の変化は、提示デバイスの向きに応じた２次元射影変換を画像に適用することで生成されるが、その後に視点切り替え操作を行う場合、注視点が画像上の同位置で観測されるよう、閲覧中の画像以外の多視点画像に対しても射影変換を施す必要がある。
まず、提示デバイスの向きに合わせて注視点の３次元位置を移動させる。その際、注目点はバーチャルカメラの光軸方向に存在するとし、パンチルト操作に合わせてレンズ中心を原点として注視点を回転させる。移動後の注視点が全ての多視点映像において画面中央で観測されるような射影変換処理を施すことにより、パンチルト操作後に視点切り替え処理を行う場合の連続性を維持する。
図１４は、本実施形態のタブレットＴＢの姿勢の変化による注視点移動操作の一例を示す図である。
パンチルト操作は、図１４に示すように、タブレットＴＢが向いている方向（ｚ軸）に合わせてバーチャルカメラの首振りを行う操作である。タブレットＴＢの方向は、角速度センサの値を積分することで回転角度を算出し取得する。
首ふり操作による見え方の変化は、提示デバイスの向きに応じた２次元射影変換を画像に適用することで生成されるが、その後に視点切り替え操作を行う場合、注視点が画像上の同位置で観測されるよう、閲覧中の画像以外の多視点画像に対しても射影変換を施す必要がある。
まず、提示デバイスの向きに合わせて注視点の３次元位置を移動させる。その際、注目点はバーチャルカメラの光軸方向に存在するとし、パンチルト操作に合わせてレンズ中心を原点として注視点を回転させる。移動後の注視点が全ての多視点映像において画面中央で観測されるような射影変換処理を施すことにより、パンチルト操作後に視点切り替え処理を行う場合の連続性を維持する。
【0044】
図１５は、本実施形態のタブレットＴＢの姿勢の変化による注視点の並進移動の様子の一例を示す図である。
図１６は、本実施形態のタブレットＴＢの姿勢の変化による注視点の回転移動の様子の一例を示す図である。
注視点Ｔａｒｇｅｔがカメラの光軸上に存在しているカメラ座標系を定義する。カメラから注視点へのベクトルＺｃをｚ軸、ｚ軸とワールド座標系のｙ軸方向に直交するベクトルＸｃをｘ軸、ｘ軸とｚ軸の外積をｙ軸とする。これらのベクトルから得られる回転行列をＲｉとする。またデバイスの回転角度から求まる回転行列をＲＧとする。各カメラの並進ベクトルをｔｉ、ワールド座標上の注視点をＶｗ、カメラ座標系上の注視点をＶｃ、各座標系における移動後の注視点をＶｗ＊、Ｖｃ＊とする。まず、式（２）による注視点の座標変換を行い、カメラ座標系から見た注視点の座標をワールド座標系に変換する。式（３）ではワールド座標系上で回転処理を行い、移動後の注視点を得る。最後に式（４）を用いてワールド座標系上の新たな注視点を得る。
図１６は、本実施形態のタブレットＴＢの姿勢の変化による注視点の回転移動の様子の一例を示す図である。
注視点Ｔａｒｇｅｔがカメラの光軸上に存在しているカメラ座標系を定義する。カメラから注視点へのベクトルＺｃをｚ軸、ｚ軸とワールド座標系のｙ軸方向に直交するベクトルＸｃをｘ軸、ｘ軸とｚ軸の外積をｙ軸とする。これらのベクトルから得られる回転行列をＲｉとする。またデバイスの回転角度から求まる回転行列をＲＧとする。各カメラの並進ベクトルをｔｉ、ワールド座標上の注視点をＶｗ、カメラ座標系上の注視点をＶｃ、各座標系における移動後の注視点をＶｗ＊、Ｖｃ＊とする。まず、式（２）による注視点の座標変換を行い、カメラ座標系から見た注視点の座標をワールド座標系に変換する。式（３）ではワールド座標系上で回転処理を行い、移動後の注視点を得る。最後に式（４）を用いてワールド座標系上の新たな注視点を得る。
【0045】
【数2】
【0046】
【数3】
【0047】
【数4】
【0048】
［実施例］
図１７は、本実施形態の画像表示装置２による実験結果の一例を示す図である。
図１８は、本実施形態の画像表示装置２による実験結果の他の一例を示す図である。
閲覧者がタブレットＴＢを両手で持ち、その姿勢を変えることにより映像閲覧を行っている。ポインティング操作などを要さないハンズフリー操作で注目物体を多方向から観察可能であることを確認した。またデバイス操作に合わせて注視点がリアルタイムで移動し、操作と提示映像間に遅れがないことも確認した。
図１７は、本実施形態の画像表示装置２による実験結果の一例を示す図である。
図１８は、本実施形態の画像表示装置２による実験結果の他の一例を示す図である。
閲覧者がタブレットＴＢを両手で持ち、その姿勢を変えることにより映像閲覧を行っている。ポインティング操作などを要さないハンズフリー操作で注目物体を多方向から観察可能であることを確認した。またデバイス操作に合わせて注視点がリアルタイムで移動し、操作と提示映像間に遅れがないことも確認した。
【0049】
図１９は、本実施形態の画像表示装置２による実験の環境の一例を示す図である。数人で協調作業を行う空間を取り囲むようにパネルを２０枚配置し、パネル毎に１台のカメラ取り付けて多視点映像を撮影した。カメラによって、３８４０画素×２１６０画素の４Ｋ映像を毎秒３０枚撮影した。
【0050】
以上説明したように、本実施形態の画像表示装置２によれば、位置姿勢情報を用いてバレットタイムを閲覧するインタフェースを提供することができる。すなわち、画像表示装置２によれば、バレットタイム映像の表現の自由度を高めることができる。
【0051】
以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。
【0052】
なお、上述の各装置は内部にコンピュータを有している。そして、上述した各装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
【0053】
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【0054】
１…画像処理装置、２…画像表示装置、１０…撮像部（カメラ）、２０…透視投影画像群生成部、３０…撮像位置姿勢推定部、４０…配置部、５０…出力画像生成部、１００…画像取得部、ＳＰ…仮想立体
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
