特許 6057570 立体パノラマ映像を生成する装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6057570

(24)【登録日】2016年12月16日

(45)【発行日】2017年1月11日

(54)【発明の名称】立体パノラマ映像を生成する装置及び方法

(51)【国際特許分類】

   H04N 13/02 20060101AFI20161226BHJP

   G06T 19/00 20110101ALI20161226BHJP

   G03B 35/08 20060101ALI20161226BHJP

   G03B 37/00 20060101ALI20161226BHJP

【ＦＩ】

   H04N13/02 210

   G06T19/00 F

   G03B35/08

   G03B37/00 A

【請求項の数】13

【全頁数】14

(21)【出願番号】特願2012-151322(P2012-151322)

(22)【出願日】2012年7月5日

(65)【公開番号】特開2013-85223(P2013-85223A)

(43)【公開日】2013年5月9日

【審査請求日】2015年7月3日

(31)【優先権主張番号】10-2011-0104135

(32)【優先日】2011年10月12日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】全 映 宣

(72)【発明者】

【氏名】文 永 秀

(72)【発明者】

【氏名】李 時 和

(72)【発明者】

【氏名】車 俊 赫

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 米国特許出願公開第２０１１／０１４１２２７（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１３／０４

Ｇ０３Ｂ ３５／０８

Ｇ０３Ｂ ３７／００

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

Ｎ番目のビデオフレームで第１フレームスリットをキャプチャーして、Ｎ＋２番目のビデオフレームから第２フレームスリットをキャプチャーするフレームスリットキャプチャー部と、
前記キャプチャーされた第１フレームスリットと前記キャプチャーされた第２フレームスリットとを用いて左側映像を生成する立体映像生成部と、
を含み、
前記フレームスリットキャプチャー部は、
Ｎ＋１番目のビデオフレームで第３フレームスリットをキャプチャーして、Ｎ＋３番目のビデオフレームで第４フレームスリットをキャプチャーし、
前記第１フレームスリットと連続するように前記第２フレームスリットのキャプチャー時点を決定して、前記第３フレームスリットと連続するように前記第４フレームスリットのキャプチャー時点を決定し、
前記立体映像生成部は、
前記第３フレームスリット及び前記第４フレームスリットを用いて右側映像を生成する立体パノラマ映像生成装置。

【請求項2】

前記フレームスリットキャプチャー部は、
撮影される複数のビデオフレームを球面座標系にプロジェクションして、前記第１フレームスリット、前記第２フレームスリット、前記第３フレームスリット、および前記第４フレームスリットをキャプチャーする請求項１に記載の立体パノラマ映像生成装置。

【請求項3】

前記フレームスリットキャプチャー部は、
前記第１フレームスリットと前記第３フレームスリットとの間の間隔を算出して、前記算出された間隔と同一になるように前記第２フレームスリットと前記第４フレームスリットとの間の間隔を決定する請求項１に記載の立体パノラマ映像生成装置。

【請求項4】

前記生成された左側映像及び前記右側映像は、シングルカメラレンズ及びシングルカメラセンサを用いて３Ｄテレビで表示される請求項１に記載の立体パノラマ映像生成装置。

【請求項5】

２Ｎ番目のビデオフレームで少なくとも１つ以上の左側フレームスリットをキャプチャーして、左側映像を生成する左側映像生成部と、
２Ｎ−１番目のビデオフレームで少なくとも１つ以上の右側フレームスリットをキャプチャーして、右側映像を生成する右側映像生成部と、
前記生成された左側映像と前記生成された右側映像に基づいて立体パノラマ映像を生成する映像生成部と、
を含み、
前記左側映像生成部は前記左側映像が連続するように前記少なくとも１つ以上の左側フレームスリットのキャプチャー時点を決定し、
前記右側映像生成部は前記右側映像が連続するように前記少なくとも１つ以上の右側フレームスリットのキャプチャー時点を決定する、
立体パノラマ映像生成装置。

【請求項6】

前記左側映像生成部及び前記右側映像生成部は、撮影される複数のビデオフレームを球面座標系にプロジェクションして、前記少なくとも１つ以上の左側フレームスリット及び前記少なくとも１つ以上の右側フレームスリットをキャプチャーする請求項５に記載の立体パノラマ映像生成装置。

【請求項7】

前記左側映像生成部は前記少なくとも１つ以上の左側フレームスリット間の間隔を算出し、
前記右側映像生成部は前記算出された間隔と同一に前記少なくとも１つ以上の右側フレームスリット間の間隔を決定する請求項５に記載の立体パノラマ映像生成装置。

【請求項8】

前記生成された左側映像及び前記右側映像は、シングルカメラレンズ及びシングルカメラセンサを用いて３Ｄテレビで表示される請求項５に記載の立体パノラマ映像生成装置。

【請求項9】

フレームスリットキャプチャー部で、Ｎ番目のビデオフレームから第１フレームスリットをキャプチャーするステップと、
前記フレームスリットキャプチャー部で、Ｎ＋１番目のビデオフレームから第３フレームスリットをキャプチャーするステップと、
前記フレームスリットキャプチャー部で、Ｎ＋２番目のビデオフレームから第２フレームスリットをキャプチャーするステップと、
前記フレームスリットキャプチャー部で、Ｎ＋３番目のビデオフレームから第４フレームスリットをキャプチャーするステップと、
立体映像生成部で、前記キャプチャーされた第１フレームスリットと前記キャプチャーされた第２フレームスリットとを用いて左側映像を生成するステップと、
前記立体映像生成部で、前記キャプチャーされた第３フレームスリットと前記キャプチャーされた第４フレームスリットを用いて右側映像を生成するステップと、
を含み、
前記フレームスリットキャプチャー部で、Ｎ＋２番目のビデオフレームから第２フレームスリットをキャプチャーするステップは、
前記フレームスリットキャプチャー部で、前記第１フレームスリットと連続するように前記第２フレームスリットのキャプチャー時点を決定するステップを含み、
前記フレームスリットキャプチャー部で、Ｎ＋３番目のビデオフレームから第４フレームスリットをキャプチャーするステップは、
前記フレームスリットキャプチャー部で、前記第３フレームスリットと連続するように前記第４フレームスリットのキャプチャー時点を決定するステップ、
を含む、立体パノラマ映像生成方法。

【請求項10】

前記第１フレームスリット、前記第２フレームスリット、前記第３フレームスリット、および前記第４フレームスリットのうち少なくとも１つは、
撮影される複数のビデオフレームを球面座標系にプロジェクションして、キャプチャーされる請求項９に記載の立体パノラマ映像生成方法。

【請求項11】

前記フレームスリットキャプチャー部で、
前記第１フレームスリットと前記第３フレームスリットとの間の間隔を算出し、前記算出された間隔と同一になるように前記第２フレームスリットと前記第４フレームスリットとの間の間隔を決定するステップをさらに含み、
前記フレームスリットキャプチャー部で、前記決定された間隔に基づいて、前記第２フレームスリット及び第４フレームスリットをキャプチャーする請求項９に記載の立体パノラマ映像生成方法。

【請求項12】

請求項９の方法を行うためのプログラムが記録されたコンピュータで読み出し可能な記録媒体。

【請求項13】

前記生成された左側映像及び前記右側映像は、シングルカメラレンズ及びシングルカメラセンサを用いて３Ｄテレビで表示される請求項９に記載の立体パノラマ映像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

１つのカメラだけを用いて立体３Ｄパノラマ映像を生成する装置及び方法に関し、３Ｄ用レンズやステレオシステムなどの３Ｄ撮影のためにハードウェアを変形することなく、既存２Ｄ用カメラを用いて３Ｄパノラマ映像を生成する装置及び方法を開示する。

【背景技術】

【0002】

デジタル技術の飛躍的な発展に後押しされ、３Ｄテレビなどの３Ｄディスプレイの需要が増加する傾向にある。

【0003】

３Ｄディスプレイは立体映像コンテンツを介して提供することができるが、このような立体映像コンテンツは立体空間にいるように見える映像をいう。

【0004】

立体映像コンテンツを生成するために、実際に立体映像を再現する方法も試みられているが、広く研究されている方法は左右の目に各々左右方向から見たものと同一の映像を提示して２つの目に時差を与え、これを合成して１つの立体映像に見えるようにする技術が広く利用されている。

【0005】

立体映像コンテンツは、２つの目とステレオスコピー（Ｓｔｅｒｅｏｓｃｏｐｙ）技術を適用して２次元映像から生成されてもよい。また、一般的に立体映像コンテンツを作るためには、２つ以上のカメラを用いて撮影された映像が必要である。

【0006】

参考までに、ステレオスコピー（Ｓｔｅｒｅｏｓｃｏｐｙ）技術は、２次元映像に付加的に得られる情報を創出し、この創出された付加的な情報によって人間があたかも映像を製作している場所にいるかのような動感及び臨場感を感じることができる技術である。

【発明の概要】

【課題を解決するための手段】

【0007】

本発明の一実施形態に係る立体パノラマ映像生成装置は、Ｎ番目のビデオフレームで第１フレームスリットをキャプチャーして、Ｎ＋２番目のビデオフレームから第２フレームスリットをキャプチャーするフレームスリットキャプチャー部と、前記キャプチャーされた第１フレームスリットと前記キャプチャーされた第２フレームスリットとを用いて左側映像を生成する立体映像生成部とを含み、前記フレームスリットキャプチャー部はＮ＋１番目のビデオフレームで第３フレームスリットをキャプチャーして、Ｎ＋３番目のビデオフレームで第４フレームスリットをキャプチャーして、前記立体映像生成部は前記第３フレームスリット及び前記第４フレームスリットを用いて右側映像を生成することができる。

【0008】

本発明の一実施形態に係るフレームスリットキャプチャー部は、撮影される複数のビデオフレームを球面座標系（Ｓｐｈｅｒｉｃａｌ Ｃｏｏｒｄｉｎａｔｅ）にプロジェクション（Ｐｒｏｊｅｃｔｉｏｎ）して前記第１フレームスリット、前記第２フレームスリット、前記第３フレームスリット、および前記第４フレームスリットをキャプチャーしてもよい。

【0009】

本発明の一実施形態に係るフレームスリットキャプチャー部は、前記第１フレームスリットと前記第３フレームスリットとの間の間隔を算出して、前記算出された間隔と同一になるように前記第２フレームスリットと前記第４フレームスリットとの間の間隔を決定してもよい。

【0010】

本発明の一実施形態に係るフレームスリットキャプチャー部は、前記第１フレームスリットと連続するように前記第２フレームスリットのキャプチャー時点を決定して、前記第３フレームスリットと連続するように前記第４フレームスリットのキャプチャー時点を決定してもよい。

【0011】

本発明の一実施形態に係る前記生成された左側映像及び前記右側映像は、シングルカメラレンズ及びシングルカメラセンサを用いて３Ｄテレビで表示してもよい。

【0012】

本発明の一実施形態に係る立体パノラマ映像生成装置は、２Ｎ番目のビデオフレームで少なくとも１つ以上の左側フレームスリットをキャプチャーして、左側映像を生成する左側映像生成部と、２Ｎ−１番目のビデオフレームで少なくとも１つ以上の右側フレームスリットをキャプチャーして、右側映像を生成する右側映像生成部と、前記生成された左側映像と前記生成された右側映像に基づいて立体パノラマ映像を生成する映像生成部とを含んでもよい。

【0013】

本発明の一実施形態に係る前記左側映像生成部は、前記少なくとも１つ以上の左側フレームスリット間の間隔を算出して、本発明の一実施形態に係る前記右側映像生成部は前記算出された間隔と同一に前記少なくとも１つ以上の右側フレームスリット間の間隔を決定してもよい。

【0014】

本発明の一実施形態に係る前記左側映像生成部は、前記左側映像が連続するように前記少なくとも１つ以上の左側フレームスリットのキャプチャー時点を決定して、本発明の一実施形態に係る前記右側映像生成部は、前記右側映像が連続するように前記少なくとも１つ以上の右側フレームスリットのキャプチャー時点を決定してもよい。

【0015】

本発明の一実施形態に係る立体パノラマ映像生成方法は、フレームスリットキャプチャー部で、Ｎ番目のビデオフレームから第１フレームスリットをキャプチャーするステップと、前記フレームスリットキャプチャー部で、Ｎ＋１番目のビデオフレームから第３フレームスリットをキャプチャーするステップと、前記フレームスリットキャプチャー部で、Ｎ＋２番目のビデオフレームから第２フレームスリットをキャプチャーするステップと、前記フレームスリットキャプチャー部で、Ｎ＋３番目のビデオフレームから第４フレームスリットをキャプチャーするステップと、立体映像生成部で、前記キャプチャーされた第１フレームスリットと前記キャプチャーされた第２フレームスリットとを用いて左側映像を生成するステップと、前記立体映像生成部で、前記キャプチャーされた第３フレームスリットと前記キャプチャーされた第４フレームスリットとを用いて右側映像を生成するステップとを含んでもよい。

【0016】

本発明の一実施形態に係る立体パノラマ映像生成方法は、前記フレームスリットキャプチャー部において、前記第１フレームスリットと前記第３フレームスリットとの間の間隔を算出して、前記算出された間隔と同一になるように前記第２フレームスリットと前記第４フレームスリットとの間の間隔を決定してもよい。

【0017】

本発明の一実施形態に係る前記フレームスリットキャプチャー部において、Ｎ＋２番目のビデオフレームから第２フレームスリットをキャプチャーするステップは、前記フレームスリットキャプチャー部で、前記第１フレームスリットと連続するように前記第２フレームスリットのキャプチャー時点を決定するステップを含み、本発明の一実施形態に係る前記フレームスリットキャプチャー部において、Ｎ＋３番目のビデオフレームから第４フレームスリットをキャプチャーするステップは、前記フレームスリットキャプチャー部で、前記第３フレームスリットと連続するように前記第４フレームスリットのキャプチャー時点を決定するステップを含んでもよい。

【発明の効果】

【0018】

本発明の一実施形態によれば、一つのカメラ（１レンズ１センサ）を用いて、立体パノラマ用映像の左／右立体映像を生成することができる。

【0019】

本発明の他の一実施形態によれば、モバイルフォンに内蔵されたカメラのように低フレームレート（Ｌｏｗ−Ｆｒａｍｅ Ｒａｔｅ）の特性によって収集された映像に対しても、迅速かつ正確に立体パノラマ映像を生成することができる。

【0020】

本発明のまた他の一実施形態によれば、従来に比べて大きい左／右スリット（Ｓｌｉｔ）を用いてフレームスリット（Ｆｒａｍｅ Ｓｌｉｔ）を作るため、低フレームレートでも適用が容易である。

【0021】

本発明のまた他の一実施形態によれば、いかなる商用化されたイメージセンサを用いたとしても立体パノラマ映像の生成が可能である。

【0022】

本発明のまた他の一実施形態によれば、映像と映像を整合／ステッチング（Ｓｔｉｔｃｈｉｎｇ）する時、従来技術に比べて大きいスリット幅を用いるため、映像整合時にゴースト（Ｇｈｏｓｔ）が生じたとしても処理がより容易である。

【0023】

本発明のまた他の一実施形態によれば、同一のビュー（同じ大きさ）の映像に対して映像間の整合部分の数が少なくなるため、ブレンディング（Ｂｌｅｎｄｉｎｇ）する回数も減ることになり、計算量の面でも減少効果がある。

【図面の簡単な説明】

【0024】

【図1】本発明の一実施形態に係る立体パノラマ映像生成装置を説明するブロック図である。

【図2】本発明の一実施形態に係る複数のビューポイントで被写体を撮影することを説明する図である。

【図3】図２を球面座標系に撮影映像をプロジェクションしたときを示す図である。

【図4】本発明のフレームシーケンスを時間別にトップビュー（ｔｏｐ ｖｉｅｗ）形態で図示化した図である。

【図5】本発明の他の一実施形態に係る立体パノラマ映像生成装置を説明するブロック図である。

【図6】本発明の一実施形態に係る立体パノラマ映像生成方法を説明するフローチャートである。

【発明を実施するための形態】

【0025】

以下、本発明に係る好適な実施形態を添付する図面を参照しながら詳細に説明する。

【0026】

本発明の説明において、関連する公知機能または構成に対する具体的な説明が本発明の要旨を不要に曖昧にすると判断される場合には、その詳細な説明は省略する。また、本明細書で用いられる用語（ｔｅｒｍｉｎｏｌｏｇｙ）は、本発明の好適な実施形態を適切に表現するために用いられた用語であって、これは、ユーザ、運用者の意図または本発明が属する分野の慣例などによって変り得る。したがって、本用語に対する定義は本明細書全般に亘る内容を土台に下されるべきである。各図面に提示した同一の参照符号は同一の部材を示す。

【0027】

図１は、本発明の一実施形態に係る立体パノラマ映像生成装置１００を説明するブロック図である。

【0028】

本発明の一実施形態に係る立体パノラマ映像生成装置１００は、一つの映像内で左／右視点用映像を用いたが、本発明では時間軸上の時間的（Ｔｅｍｐｏｒａｌ）な映像を選択して左／右視点用映像を用いる。

【0029】

換言すれば、本発明の一実施形態に係る立体パノラマ映像生成装置１００は、一つの映像内で左／右パノラマ用映像を用いるのではなく、時間（Ｔｅｍｐｏｒａｌ）軸上で空間的（ｓｐａｔｉａｌ）な観点で一定間隔だけ離れた各々の異なる映像を左／右パノラマ映像を用いて左／右パノラマ映像を生成し、３ＤＴＶのような３Ｄディスプレイ装置において、３Ｄ映像を鑑賞できるようにしてもよい。

【0030】

本発明の一実施形態に係る立体パノラマ映像生成装置１００は、連続的で重なる部分が存在するマルチフレームを用いてパノラマ映像を実現するにおいて核心的に活用され得る。

【0031】

例えば、本発明の一実施形態に係る立体パノラマ映像生成装置１００は、ＤＳＣ、ＤＶＣ、監視用などのカメラ、モバイルカメラ、およびスマートフォンなどの装置に適用してもよい。それだけでなく、本発明の一実施形態に係る立体パノラマ映像生成装置１００は、カメラセンサ映像信号処理プロセッサとして用いてもよい。

【0032】

具体的に、本発明の一実施形態に係る立体パノラマ映像生成装置１００は、フレームスリットキャプチャー部１１０、及び立体映像生成部１２０を含んでもよい。

【0033】

フレームスリットキャプチャー部１１０は、Ｎ番目のビデオフレームで第１フレームスリットをキャプチャーして、Ｎ＋２番目のビデオフレームで第２フレームスリットをキャプチャーしてもよい。

【0034】

立体映像生成部１２０は、キャプチャーされた第１フレームスリットとキャプチャーされた第２フレームスリットとを用いて左側映像を生成してもよい。

【0035】

また、立体映像のためにフレームスリットキャプチャー部１１０は、Ｎ＋１番目のビデオフレームで第３フレームスリットをキャプチャーして、Ｎ＋３番目のビデオフレームで第４フレームスリットをキャプチャーしてもよく、立体映像生成部１２０は第３フレームスリット及び第４フレームスリットを用いて右側映像を生成してもよい。

【0036】

結局、本発明の一実施形態に係る立体パノラマ映像生成装置１００は、一つのカメラ（１レンズ１センサ）を用いて、立体パノラマ用映像の左／右立体映像を生成してもよい。

【0037】

本発明の一実施形態によれば、モバイルフォンに内蔵されたカメラのように低フレームレートの特性によって収集された映像に対しても、迅速かつ正確に立体パノラマ映像を生成することができる。

【0038】

本発明の一実施形態によれば、従来に比べて大きい左／右スリットを用いてフレームスリット（Ｆｒａｍｅ Ｓｌｉｔ）を作るため、低フレームレートでも適用が容易である。

【0039】

本発明の一実施形態によれば、いかなる商用化されたイメージセンサを用いたとしても立体パノラマ映像の生成が可能である。

【0040】

本発明の一実施形態によれば、映像と映像を整合／ステッチング（Ｓｔｉｔｃｈｉｎｇ）する時、従来技術に比べて大きいスリット幅を用いるため、映像整合時、ゴーストが生じたとしても処理がより容易である。

【0041】

本発明の一実施形態によれば、同一のビュー（同じ大きさ）の映像に対して映像間の整合部分の数が少なくなるため、ブレンディング（Ｂｌｅｎｄｉｎｇ）する回数も減ることになり、計算量の面でも減少効果がある。

【0042】

図２は、本発明の一実施形態に係る複数のビューポイント（ｖｉｅｗ ｐｏｉｎｔ）において被写体を撮影することを説明する図である。

【0043】

本発明の一実施形態に係る立体パノラマ映像生成装置１００は、移動通信端末機など、携帯が可能でカメラモジュールが装着されている携帯用端末装置にモジュール形態で適用してもよい。

【0044】

したがって、図２ないし図３によって、本発明の一実施形態に係る立体パノラマ映像生成装置１００に入力されるビデオフレームが、携帯用端末装置を介して撮影される実施形態を説明する。

【0045】

携帯用端末装置は、複数のビューポイントにおいて、被写体２０１を撮影するカメラ２０２を介して複数のビデオフレームを生成してもよい。

【0046】

固定された位置のカメラ２０２は、回転して、被写体２０１に対して一部が重なる複数の映像を生成する。換言すれば、カメラ２０２は、固定された位置において、回転に基づいて生成される複数のビューポイントで被写体を撮影してもよい。

【0047】

本明細書上で言及する回転は、カメラ２０２を動くための特定ハードウェアを介した動作ではなく、ユーザの動きに応じて発生する動作と解釈することができる。したがって、カメラ２０２の回転のためにハードウェアの追加を必要としない。

【0048】

複数のキャプチャービューポイントのうち、連続するキャプチャービューポイントはカメラ２０２が「θ」の角度だけ回転して生成する時点であり、連続するキャプチャービューポイントにおいてキャプチャーされた複数のビデオフレームは、一部が重なり得る。

【0049】

本発明の一実施形態に係る携帯用端末装置は、カメラ２０２が「θ」の角度２０３だけ回転した瞬間はキャプチャービューポイントとして決定し、被写体２０１をキャプチャーするようにカメラ２０２を制御してもよい。

【0050】

キャプチャービューポイントは、選択された大きさの回転角（「θ」）として区分してもよい。即ち、「θ」の角度だけ他のキャプチャービューポイントでキャプチャーされた複数のビデオフレームは、立体パノラマ映像として加工されるために、左側映像と右側映像を生成するフレームスリットとして加工してもよい。

【0051】

例えば、最初のビデオフレームでキャプチャーされるフレームスリットは左側映像に含まれ、２番目のビデオフレームでキャプチャーされるフレームスリットは右側映像に含まれてもよい。

【0052】

図３は、図２を球面座標系に撮影映像をプロジェクションしたときを示す図である。

【0053】

本発明の一実施形態に係るフレームスリットキャプチャー部は、撮影される複数のビデオフレームを球面座標系にプロジェクションして、第１フレームスリット、第２フレームスリット、第３フレームスリット、および第４フレームスリットをキャプチャーしてもよい。

【0054】

図２のように固定された位置を中心に一定の角度だけ回転して撮影した映像は、球面座標系では一定の間隔だけカメラが転換（ｔｒａｎｓｌａｔｉｏｎ）しながら移動して撮影したものとして表現してもよい。

【0055】

換言すれば、カメラ２０２の回転によって複数のキャプチャービューポイントでキャプチャーされるビデオフレームと、カメラ２０２の水平方向に移動してキャプチャーしたビデオフレームが僅かの差を示す点に基づいて、カメラ２０２の回転によるビデオフレームとカメラ２０２の水平移動によるビデオフレームとが同一であると判断できる点を説明する。

【0056】

即ち、カメラは「Δｌ」だけ移動した時点３０２をキャプチャービューポイントと認識し、被写体３０１を撮影してもよい。このようにキャプチャーされたビデオフレームは、端の一部分を除いては略同一であってもよい。

【0057】

したがって、本発明では、図２のようにただ１つのカメラ２２０を用いて、カメラ２２０の位置移動なしでも回転運動だけで３Ｄ形態の立体パノラマ映像を生成してもよい。

【0058】

図４は、図３で抽出されたビデオフレームを時間別にトップビュー形態に図示化した図である。

【0059】

抽出されたビデオフレームは、時間代別にビデオフレーム１（４１０）、ビデオフレーム２（４２０）、ビデオフレーム３（４３０）、およびビデオフレーム４（４４０）に区分してもよい。

【0060】

従来は、抽出されたビデオフレームの各々で左／右視点用映像を抽出したが、本発明においては、ビデオフレーム１（４１０）とビデオフレーム３（４３０）では左側映像４５０に用いられるフレームスリット４１１，４３１をキャプチャーし、ビデオフレーム２（４２０）とビデオフレーム４（４４０）では右側映像４６０に用いられるフレームスリット４２１，４４１をキャプチャーする。

【0061】

キャプチャーされたフレームスリット４１１，４３１は左側映像４５０で利用され、キャプチャーされたフレームスリット４２１，４４１は右側映像４６０で利用されてもよい。

【0062】

本発明の一実施形態に係るフレームスリットキャプチャー部は、第１フレームスリット４１１と第３フレームスリット４３１との間の間隔を算出し、算出された間隔と同一になるように第２フレームスリット４２１と第４フレームスリット４４１との間の間隔を決定してもよい。

【0063】

また、本発明の一実施形態に係るフレームスリットキャプチャー部は、第１フレームスリット４１１と連続するように第２フレームスリット４２１のキャプチャー時点を決定し、第３フレームスリット４３１と連続するように第４フレームスリット４４１のキャプチャー時点を決定してもよい。

【0064】

従来技術では、一つのビデオフレーム内で左／右視点用映像を用いたが、本発明においては、時間軸上の時間的な映像を選択して左／右視点用ビデオフレームを用いる。

【0065】

即ち、従来の場合は、ステレオ映像のベースライン（Ｂａｓｅｌｉｎｅ）の長さを１つのビデオフレーム内で左／右映像を取る映像スリット間の間隔として決定する一方、本発明では左／右映像を取得する時間的な間隔による左／右映像間の距離としてベースラインの長さを決定してもよい。

【0066】

もし、低フレームレートで既存技術を適用して小さいサイズのスリット幅映像を用いて立体パノラマ映像を構成する場合、映像整合が正しくなされないため、ゆっくり撮影することで構成が可能になる。

【0067】

本発明の一実施形態によれば、同一のビュー（同じ大きさ）の映像に対して映像間の整合部分の数が少なくなるため、ブレンディング（Ｂｌｅｎｄｉｎｇ）する回数も減ることになり、計算量の面でも減少効果がある。

【0068】

図５は、本発明の他の一実施形態に係る立体パノラマ映像生成装置５００を説明するブロック図である。

【0069】

本発明の他の一実施形態に係る立体パノラマ映像生成装置５００は、左側映像生成部５１０、右側映像生成部５２０、および立体映像生成部５３０を含んでもよい。

【0070】

左側映像生成部５１０は、２Ｎ番目のビデオフレームにおいて少なくとも１つ以上の左側フレームスリットをキャプチャーして左側映像を生成してもよい。

【0071】

本発明の一実施形態に係る左側映像生成部５１０は、少なくとも１つ以上の左側フレームスリット間の間隔を算出してもよい。

【0072】

本発明の一実施形態に係る右側映像生成部５２０は、２Ｎ−１番目のビデオフレームにおいて少なくとも１つ以上の右側フレームスリットをキャプチャーし、右側映像を生成してもよい。右側映像生成部５２０は、算出された間隔と同一に少なくとも１つ以上の右側フレームスリット間の間隔を決定してもよい。

【0073】

例えば、左側映像生成部５１０において、２番目のビデオフレーム、４番目のビデオフレーム及び６番目のビデオフレームの順序でフレームスリットをキャプチャーする場合、右側映像生成部５２０においては、１番目のビデオフレーム、３番目のビデオフレーム、および５番目のビデオフレームの順序でフレームスリットをキャプチャーしてもよい。

【0074】

即ち、本発明の他の一実施形態に係る立体パノラマ映像生成装置５００は、１つのビデオフレームでは左側映像のためのフレームスリット、及び右側映像のためのフレームスリットのうちのいずれか１つだけをキャプチャーする。

【0075】

本発明の一実施形態に係る立体映像生成部５３０は、生成された左側映像と生成された右側映像に基づいて立体パノラマ映像を生成してもよい。

【0076】

本発明の他の一実施形態に係る立体パノラマ映像生成装置５００は、一つの映像内で左／右パノラマ用映像を用いるのではなく、時間軸上で空間的な観点で一定間隔だけ離れた各々の異なる映像を左／右パノラマ映像を用いて左／右パノラマ映像を生成してもよい。

【0077】

近年、３ＤＴＶが非常に普及しているため、このような一般的な３ＤＴＶの入力映像のためには、左／右の２つの視点の映像を必要とし、左／右の２つの視点の映像を生成するためにカメラレンズが２つのカメラを用いる必要なく、現在の大部分のカメラユーザが所有しているカメラタイプの１台のカメラの１つのカメラレンズ、１つのカメラセンサを用いて左／右の２つの視点映像を生成して３ＤＴＶで視聴することができる。

【0078】

図６は、本発明の一実施形態に係る立体パノラマ映像生成方法を説明するフローチャートである。

【0079】

本発明の一実施形態に係る立体パノラマ映像生成方法は、フレームスリットキャプチャー部を用いて、Ｎ番目のビデオフレームで第１フレームスリットをキャプチャーし（Ｓ６０１）、続くＮ＋１番目のビデオフレームで第３フレームスリットをキャプチャーしてもよい（Ｓ６０２）。

【0080】

本発明の一実施形態に係る立体パノラマ映像生成方法は、フレームスリットキャプチャー部を用いて、Ｎ＋２番目のビデオフレームで第２フレームスリットをキャプチャーし（Ｓ６０３）、続くＮ＋３番目のビデオフレームで第４フレームスリットをキャプチャーしてもよい（Ｓ６０４）。

【0081】

本発明の一実施形態に係る立体パノラマ映像生成方法は、立体映像生成部を用いて、キャプチャーされた第１フレームスリットとキャプチャーされた第２フレームスリットで左側映像を生成してもよい（Ｓ６０５）

【0082】

本発明の一実施形態に係る立体パノラマ映像生成方法は、立体映像生成部を用いて、キャプチャーされた第３フレームスリットとキャプチャーされた第４フレームスリットを用いて右側映像を生成してもよい（Ｓ６０６）。

【0083】

本発明の一実施形態に係る立体パノラマ映像生成方法を利用すれば、従来に比べて大きい左／右スリットを用いてフレームスリット（Ｆｒａｍｅ Ｓｌｉｔ）を作るため、低フレームレートでも適用が容易であり、したがって、いかなる商用化されたイメージセンサを用いたとしても立体パノラマ映像の生成が可能である。

【0084】

本発明の一実施形態に係る立体パノラマ映像生成方法は、多様なコンピュータ手段によって行うことができるプログラム命令形態で実現され、コンピュータ読み出し可能媒体に記録してもよい。記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせたものを含んでもよい。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含んでもよい。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上述のハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

【0085】

本発明の一実施形態によれば、従来に比べて大きい左／右スリットを用いてフレームスリット（Ｆｒａｍｅ Ｓｌｉｔ）を作るため、低フレームレートでも適用が容易である。

【0086】

本発明の一実施形態によれば、いかなる商用化されたイメージセンサを用いたとしても立体パノラマ映像の生成が可能である。

【0087】

本発明の一実施形態によれば、映像と映像を整合／ステッチング（Ｓｔｉｔｃｈｉｎｇ）する時、従来技術に比べて大きいスリット幅を用いるため、映像整合時、ゴーストが生じたとしても処理がより容易である。

【0088】

本発明の一実施形態によれば、同一のビュー（同じ大きさ）の映像に対して映像間の整合部分の数が少なくなるため、ブレンディング（Ｂｌｅｎｄｉｎｇ）する回数も減ることになり、計算量の面でも減少効果がある。

【0089】

上述したように本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。

【0090】

したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

【符号の説明】

【0091】

１００ 立体パノラマ映像生成装置
１１０ フレームスリットキャプチャー部
１２０ 立体映像生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】