特許 6564939 広視野角映像処理装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6564939

(24)【登録日】2019年8月2日

(45)【発行日】2019年8月21日

(54)【発明の名称】広視野角映像処理装置及び方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20190808BHJP

   H04N 5/66 20060101ALI20190808BHJP

   H04N 5/74 20060101ALI20190808BHJP

【ＦＩ】

   H04N5/232 300

   H04N5/232 290

   H04N5/232 480

   H04N5/66 D

   H04N5/74 D

【請求項の数】11

【全頁数】16

(21)【出願番号】特願2018-513240(P2018-513240)

(86)(22)【出願日】2015年5月29日

(65)【公表番号】特表2018-518786(P2018-518786A)

(43)【公表日】2018年7月12日

(86)【国際出願番号】KR2015005415

(87)【国際公開番号】WO2016195123

(87)【国際公開日】20161208

【審査請求日】2017年11月22日

(73)【特許権者】

【識別番号】517409206

【氏名又は名称】エフエックスギア インコーポレイティッド

【氏名又は名称原語表記】ＦＸＧＥＡＲ ＩＮＣ．

(74)【代理人】

【識別番号】100121728

【弁理士】

【氏名又は名称】井関 勝守

(74)【代理人】

【識別番号】100165803

【弁理士】

【氏名又は名称】金子 修平

(72)【発明者】

【氏名】チョエ グァンジン

(72)【発明者】

【氏名】パク ヨンジュン

(72)【発明者】

【氏名】ナ ギョンゴン

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２００３−０６９９９０（ＪＰ，Ａ）

【文献】 国際公開第２０１４／００５２９７（ＷＯ，Ａ１）

【文献】 特開２００５−２２９５２９（ＪＰ，Ａ）

【文献】 特開２００３−３１９４１８（ＪＰ，Ａ）

【文献】 特開２００２−２０３２３７（ＪＰ，Ａ）

【文献】 特開２００９−１３０５４６（ＪＰ，Ａ）

【文献】 特開２００６−２５２４２３（ＪＰ，Ａ）

【文献】 国際公開第２０１２／０６０１６８（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１３／０３２２６９８（ＵＳ，Ａ１）

【文献】 森 泰樹、桑島 茂純，“全方向カメラＬａｄｙｂｕｇ２によるパノラマ動画処理”，画像ラボ，日本，日本工業出版株式会社，２００５年１２月 １日，Vol.16, No.12，pp.1-6

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２，５／６６，５／７４，１３／００−１３／０４

Ｇ０６Ｔ １／００，３／００，５／００

(57)【特許請求の範囲】

【請求項1】

カメラから入力された映像を分析して補正パラメータを生成する補正パラメータ生成部と、
前記補正パラメータを用いて広視野角映像の出力のためのプロジェクションジオメトリを生成するプロジェクションジオメトリ生成部と、
前記入力された映像、補正パラメータ及びプロジェクションジオメトリをエンコードして広視野角映像パッケージを生成する広視野角映像パッケージング部と、
前記広視野角映像パッケージを広視野角映像表示装置に提供する第１通信部を含み、
前記広視野角映像表示装置は、仮想空間に前記プロジェクションジオメトリを投影し、仮想カメラを配置し、前記投影されたプロジェクションジオメトリに前記入力された映像をテクスチャリングして場面を構成し、
前記広視野角映像表示装置は、前記補正パラメータに基づいて前記プロジェクションジオメトリに構成された場面を補正し、
前記補正パラメータは、カメラ固有のパラメータまたは安定化パラメータを含み、
前記広視野角映像表示装置は、前記安定化パラメータを用いて前記仮想カメラの位置を動的に調節して前記場面を補正する広視野角映像処理装置。

【請求項2】

カメラから入力された映像、前記入力された映像を分析して生成された補正パラメータ及び前記補正パラメータを用いて広視野角映像の出力のために生成されたプロジェクションジオメトリをエンコードして生成された広視野角映像パッケージを広視野角映像処理装置の第１通信部から受信する第２通信部と、
受信された広視野角映像パッケージをデコードし、仮想空間に前記プロジェクションジオメトリを投影し、仮想カメラを配置し、前記投影されたプロジェクションジオメトリに前記入力された映像をテクスチャリングして場面を構成する場面構成部と、を含み、
前記場面構成部は、前記補正パラメータに基づいて前記プロジェクションジオメトリに構成された場面を補正し、
前記補正パラメータは、カメラ固有のパラメータ又は安定化パラメータを含み、
前記場面構成部は、前記安定化パラメータを用いて前記仮想カメラの位置を動的に調節して前記場面を補正する広視野角映像表示装置。

【請求項3】

前記場面をリアルタイムでレンダリングして表示する表示部をさらに含むことを特徴とする請求項２に記載の広視野角映像表示装置。

【請求項4】

前記カメラはステレオカメラであり、
前記補正パラメータは、カメラ間の機械誤差補正パラメータ、色相補正パラメータまたは露出補正パラメータをさらに含むことを特徴とする請求項２に記載の広視野角映像表示装置。

【請求項5】

前記場面構成部は、前記機械誤差補正パラメータをさらに用いて前記仮想空間に投影された前記プロジェクションジオメトリのバーテックスまたは前記仮想カメラを動的に調節して前記場面を補正することを特徴とする請求項４に記載の広視野角映像表示装置。

【請求項6】

前記広視野角映像表示装置は、ウェラブル装置または携帯可能な通信装置であることを特徴とする請求項２に記載の広視野角映像表示装置。

【請求項7】

カメラから入力された映像を分析して補正パラメータを生成する段階と、
前記補正パラメータを用いて広視野角映像の出力のためのプロジェクションジオメトリを生成する段階と、
前記入力された映像、補正パラメータ、及びジオメトリをエンコードして広視野角映像パッケージを生成する段階と、
前記広視野角映像パッケージをデコードして、仮想空間に前記プロジェクションジオメトリを投影し、仮想カメラを配置する段階と、
前記投影されたプロジェクションジオメトリに前記入力された映像をテクスチャリングして場面を構成する段階と、
前記補正パラメータに基づいて前記プロジェクションジオメトリに構成された場面を補正する段階と、を含み
前記補正パラメータは、カメラ固有のパラメータ又は安定化パラメータを含み、
前記補正する段階は、前記安定化パラメータを用いて前記仮想カメラの位置を動的に調節して前記場面を補正することを含む、広視野角映像処理方法。

【請求項8】

前記ジオメトリを生成する段階は、
前記カメラ固有のパラメータを用いて基準ジオメトリのバーテックスまたはテクスチャ座標を補正する段階と、
前記基準ジオメグリのバーテックスを補正した場合、補正された基準ジオメトリを曲面状に変形して前記プロジェクションジオメトリを生成する段階と、を含むことを特徴とする請求項７に記載の広視野角映像処理方法。

【請求項9】

前記入力された映像を分析してメタデータを抽出する段階をさらに含み、
前記広視野角映像パッケージを生成する段階において、前記メタデータをさらに含んでエンコードを行うことを特徴とする請求項７に記載の広視野角映像処理方法。

【請求項10】

前記場面データをリアルタイムでレンダリングして表示する段階をさらに含むことを特徴とする請求項７に記載の広視野角映像処理方法。

【請求項11】

前記入力された映像はステレオカメラから入力されたステレオ映像であり、
前記補正パラメータは、カメラ間の機械誤差補正パラメータ、色相補正パラメータまたは露出補正パラメータをさらに含むことを特徴とする請求項７に記載の広視野角映像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、広視野角映像処理装置及び方法に係り、より具体的には、カメラ固有のパラメータを用いて補正されたプロジェクションジオメトリを利用して広視野角映像をレンダリングするための映像処理装置及び方法に関する。

【背景技術】

【0002】

一般に、カメラのような光学装置を利用して映像を撮影し、撮影された映像をディスプレイする際、カメラのレンズなどのカメラのハードウェア自体の不具合によって映像に歪みが発生する。このような映像をディスプレイしたい場合、映像歪みを補正してディスプレイすると自然な映像の鑑賞が可能となる。

【0003】

従来は、映像イメージ自体を映像ディスプレイする前に予め映像歪みを補正していた。しかし、このような方式では映像処理の負担が非常に大きいという問題点がある。

【0004】

また、手持ち（ｈａｎｄ−ｈｅｌｄ）撮影のときに発生する動画のブレを補正（ｃａｍｅｒａ ｓｔａｂｉｌｉｚａｔｉｏｎ）する場合でも、ディスプレイの前に映像イメージ自体を補正すると映像処理の負担が増大するようになる。このような映像歪み或いはカメラのブレを補正するための従来の技術では、映像の鑑賞の前に映像イメージ補正をイメージ空間で予め処理しなければならないため、計算量が非常に多く且つ計算に相当の時間が掛かるという問題点がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

このような問題点を解決するために、動画歪みの補正及びブレの補正に必要な演算をディスプレイの時点でリアルタイムで行うことができる装置及び方法が必要である。

【課題を解決するための手段】

【0006】

本発明の一実施例に係る広視野角映像処理装置は、カメラから入力された映像を分析して補正パラメータを生成する補正パラメータ生成部、前記補正パラメータを用いて広視野角映像の出力のためのプロジェクションジオメトリを生成するプロジェクションジオメトリ生成部、及び前記入力された映像、補正パラメータ及びプロジェクションジオメトリをエンコードして広視野角映像パッケージを生成する広視野角映像パッケージング部を含む。

【0007】

また、一実施例に係る広視野角映像処理装置において、前記補正パラメータは、カメラ固有のパラメータまたは安定化パラメータを含むことを特徴としていてよい。

【0008】

また、一実施例に係る広視野角映像処理装置において、前記プロジェクションジオメトリ生成部は、前記カメラ固有のパラメータを用いて基準ジオメトリのバーテックスまたはテクスチャ座標を補正し、補正された基準ジオメトリを曲面状に変形して前記プロジェクションジオメトリを生成することを特徴としていてよい。

【0009】

また、一実施例に係る広視野角映像処理装置は、前記広視野角映像パッケージを他の装置に提供する第１通信部をさらに含むことを特徴としていてよい。

【0010】

他の一実施例に係る広視野角映像表示装置は、第１通信部から提供された広視野角映像パッケージを受信する第２通信部、及び受信された広視野角映像パッケージをデコードし、仮想空間に前記プロジェクションジオメトリを投影し、仮想カメラを配置し、前記投影されたプロジェクションジオメトリに前記入力された映像をテクスチャリングして場面を構成する場面構成部を含む。

【0011】

他の一実施例に係る広視野角映像表示装置において、前記補正パラメータは、カメラ固有のパラメータまたは安定化パラメータを含むことを特徴としていてよい。

【0012】

他の一実施例に係る広視野角映像表示装置において、前記場面構成部は、前記安定化パラメータを用いて前記仮想カメラの位置を動的に調節して前記場面を補正することを特徴としていてよい。

【0013】

他の一実施例に係る広視野角映像表示装置において、前記場面構成部は、前記安定化パラメータを用いて前記仮想空間に投影されたプロジェクションジオメトリのバーテックスを動的に調節して前記場面を補正することを特徴としていてよい。

【0014】

他の一実施例に係る広視野角映像表示装置は、前記場面をリアルタイムでレンダリングして表示する表示部をさらに含むことを特徴としていてよい。

【0015】

一実施例に係る広視野角映像表示装置において、前記カメラはステレオカメラであり、前記補正パラメータは、カメラ間の機械誤差補正パラメータ、色相補正パラメータまたは露出補正パラメータをさらに含むことを特徴としていてよい。

【0016】

一実施例に係る広視野角映像表示装置において、前記場面構成部は、前記機械誤差補正パラメータを用いて前記仮想空間に投影されたプロジェクションジオメトリのバーテックスまたは前記仮想カメラを動的に調節して前記場面を補正することを特徴としていてよい。

【0017】

他の一実施例に係る広視野角映像表示装置において、前記広視野角映像表示装置は、ウェラブル装置または携帯可能な通信装置であることを特徴としていてよい。

【0018】

他の一実施例に係る広視野角映像表示方法は、カメラから入力された映像を分析して補正パラメータを生成する段階、前記補正パラメータを用いて広視野角映像の出力のためのプロジェクションジオメトリを生成する段階、及び前記入力された映像、補正パラメータ、及びジオメトリをエンコードして広視野角映像パッケージを生成する段階を含む。

【0019】

他の一実施例に係る広視野角映像表示方法において、前記補正パラメータは、カメラ固有のパラメータまたは安定化パラメータを含むことを特徴としていてよい。

【0020】

他の一実施例に係る広視野角映像表示方法において、前記ジオメトリを生成する段階は、前記カメラ固有のパラメータを用いて基準ジオメトリのバーテックスまたはテクスチャ座標を補正する段階、及び前記基準ジオメグリのバーテックスを補正した場合、補正された基準ジオメトリを曲面状に変形して前記プロジェクションジオメトリを生成する段階を含むことを特徴としていてよい。

【0021】

他の一実施例に係る広視野角映像表示方法において、前記入力された映像を分析してメタデータを抽出する段階をさらに含み、前記広視野角映像パッケージを生成する段階において、前記メタデータをさらに含んでエンコードを行うことを特徴としていてよい。

【0022】

他の一実施例に係る広視野角映像表示方法は、前記広視野角映像パッケージをデコードして、仮想空間に前記プロジェクションジオメトリを投影し、仮想カメラを配置する段階、及び前記投影されたプロジェクションジオメトリに前記入力された映像をテクスチャリングして場面を構成する段階をさらに含んでいてよい。

【0023】

他の一実施例に係る広視野角映像表示方法は、前記安定化パラメータを用いて前記仮想カメラの位置を動的に調節して前記場面を補正する段階をさらに含むことを特徴としていてよい。

【0024】

他の一実施例に係る広視野角映像表示方法は、前記安定化パラメータを用いて前記仮想空間に投影されたプロジェクションジオメトリのバーテックスを動的に調節して前記場面を補正する段階をさらに含むことを特徴としていてよい。

【0025】

他の一実施例に係る広視野角映像表示方法は、前記場面データをリアルタイムでレンダリングして表示する段階をさらに含むことを特徴としていてよい。

【0026】

他の一実施例に係る広視野角映像表示方法において、前記入力された映像はステレオカメラから入力されたステレオ映像であり、前記補正パラメータは、カメラ間の機械誤差補正パラメータ、色相補正パラメータまたは露出補正パラメータをさらに含むことを特徴としていてよい。

【発明の効果】

【0027】

本発明の一実施例によれば、レンズ歪みの補正及びブレの補正をイメージ空間ではない３次元空間で行って３次元レンダリングをすることで、前処理ではないディスプレイ時点におけるレンダリング段階でリアルタイムで処理可能である。

【0028】

また、カメラ固有のパラメータを用いて変形された３次元プロジェクションジオメトリを生成し、エンコードすることで、データ処理の負担を軽減することができ、且つ場面構成及びレンダリング段階でも、カメラ固有のパラメータを用いて生成された安定化パラメータを用いて３次元仮想空間の仮想カメラまたは３次元プロジェクションジオメトリを操作することで歪みを補正することによりデータ処理の負担を軽減することができる。

【図面の簡単な説明】

【0029】

【図1】本発明の一実施例に係る広視野角映像処理システム１０００のブロック図である。

【図2a】場面構成部２２０の場面生成を説明するための図である。

【図2b】場面構成部２２０の場面生成を説明するための図である。

【図3a】一実施例に係るジオメトリのバーテックス変換方式によるジオメトリ投影及びテクスチャリングを説明するための図である。

【図3b】一実施例に係るジオメトリのバーテックス変換方式によるジオメトリ投影及びテクスチャリングを説明するための図である。

【図3c】一実施例に係るジオメトリのバーテックス変換方式によるジオメトリ投影及びテクスチャリングを説明するための図である。

【図3d】一実施例に係るジオメトリのバーテックス変換方式によるジオメトリ投影及びテクスチャリングを説明するための図である。

【図3e】一実施例に係るジオメトリのバーテックス変換方式によるジオメトリ投影及びテクスチャリングを説明するための図である。

【図4a】一実施例に係るジオメトリのテクスチャ座標変換方式によるジオメトリ投影及びテクスチャリングを説明するための図である。

【図4b】一実施例に係るジオメトリのテクスチャ座標変換方式によるジオメトリ投影及びテクスチャリングを説明するための図である。

【図4c】一実施例に係るジオメトリのテクスチャ座標変換方式によるジオメトリ投影及びテクスチャリングを説明するための図である。

【図4d】一実施例に係るジオメトリのテクスチャ座標変換方式によるジオメトリ投影及びテクスチャリングを説明するための図である。

【図4e】一実施例に係るジオメトリのテクスチャ座標変換方式によるジオメトリ投影及びテクスチャリングを説明するための図である。

【図5】一実施例に従って仮想カメラの位置調節を用いた場面補正の一例を示す図である。

【図6】一実施例に従ってオメトリ変換を用いた場面補正の一例を示す図である。

【図7】一実施例に係る広視野角映像処理方法のフロー図である。

【図8】他の一実施例に係る広視野角映像処理方法のフロー図である。

【図9】本発明の一実施例に係るジオメトリ生成段階を具体化したフロー図である。

【図10】他の一実施例に係る広視野角映像処理方法のフロー図である。

【発明を実施するための形態】

【0030】

本明細書において用いた用語は、単に特定の実施例を説明するために用いられたものであって、本発明を限定しようとする意図ではない。単数の表現は文脈上明らかに異ならない限り、複数の表現を含む。本明細書において、「含む」または「有する」などの用語は説示された特徴、数字、段階、動作、構成要素、部分品またはこれらの組み合わせが存在することを指定するためであり、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部分品またはこれらの組み合わせなどの存在または付加可能性を予め排除するものではないと理解されるべきである。

【0031】

特にこだわりがない限り、技術的や科学的な用語を含めてここで用いられるすべての用語は、当業者によって一般的に理解されるのと同じ意味をもつ。一般的に用いられる辞典に定義されているような用語は関連技術の文脈上もつ意味と一致する意味をもつと解釈されるべきであり、本明細書において明らかに定義しない限り、理想的か過度に形式的な意味に解釈されない。図面に示された同じ参照符号は同じ部材を示す。なお、実施形態を説明するにあたって、関連した公知機能あるいは構成についての具体的な説明が本発明の要旨を不必要に曖昧にし得ると判断される場合、それについての詳細な説明は省略する。また、図中の各構成要素の大きさは説明のために誇張されることがあり、実際に適用される大きさを意味することではない。

【0032】

本明細書に記述された実施例は、全体としてハードウェアであるか、部分的にハードウェアで部分的にソフトウェアであるか、または全体としてソフトウェアである側面を有し得る。本明細書において「部（ｕｎｉｔ）」、「モジュール（ｍｏｄｕｌｅ）」、「装置」または「システム」などは、ハードウェア、ハードウェアとソフトウェアとの組み合わせ、またはソフトウェアなどのコンピュータ関連エンティティ（ｅｎｔｉｔｙ）を指し示す。例えば、本明細書において部、モジュール、装置またはシステムなどは、実行中のプロセス、プロセッサ、オブジェクト（ｏｂｊｅｃｔ）、実行ファイル（ｅｘｅｃｕｔａｂｌｅ）、実行スレッド（ｔｈｒｅａｄ ｏｆ ｅｘｅｃｕｔｉｏｎ）、プログラム（ｐｒｏｇｒａｍ）、及び／またはコンピュータ（ｃｏｍｐｕｔｅｒ）であってよいが、これらに制限されるものではない。例えば、コンピュータで実行中のアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）とコンピュータの両方が本明細書における部、モジュール、装置またはシステムなどに該当し得る。

【0033】

実施例が図面に提示されたフロー図を参照にして説明された。説明を簡略化するために前記方法を一連のブロックにて図示し説明したが、本発明は前記ブロックの順序に限定されず、幾つかのブロックは他のブロックと本明細書で図示され記述されたのと異なる順序に又は同時に行われてもよく、同一又は類似した結果を達成する多様な他の分岐、流れ経路、及びブロックの順序が具現されてよい。また、本明細書で記述される方法の具現のために図示されたすべてのブロックが要求されないこともある。さらには、発明の一実施例に係る方法は、一連の過程を行うためのコンピュータプログラムの形態で具現されてもよく、前記コンピュータプログラムは、コンピュータで読取可能な記録媒体に記録されてもよい。
以下、図面を参照して本発明の実施例について詳しく説明する。

【0034】

図１は、本発明の一実施例に係る広視野角映像処理システム１０００のブロック図である。広視野角映像処理システム１０００は、広視野角映像処理装置１００及び／または広視野角映像表示装置２００を含んでいてよく、前記装置１００、２００は、一つのチップのような一つの装置に統合されるか、別個の装置で存在していてよい。また一実施例において、前記装置１００、２００が別個の装置で存在する場合、これらは有線または無線ネットワークを介してデータ通信を行うこともできる。

【0035】

一実施例において、広視野角映像処理装置１００は、補正パラメータ生成部１１０、プロジェクションジオメトリ生成部１２０、広視野角映像パッケージング部１３０を含んでいてよく、他の実施例では第１通信部１４０をさらに含んでいてよい。

【0036】

補正パラメータ生成部１１０は、カメラから入力された映像を分析して補正パラメータを生成することができる。一実施例において、カメラ（図示せず）が広視野角映像処理装置１００に組み込まれていてよく、カメラは、広視野角、パノラマ、魚眼レンズなどを備えた、単眼カメラまたはステレオカメラであってよい。

【0037】

カメラを介して、被写体を撮影した映像とレファレンスグリッドを撮影した映像が広視野角映像処理装置１００に入力されていてよい。レファレンスグリッドは、映像分析のためのレファレンス試料であって、例えば正四角形のモノクロ・グリッドパターンであってよく、該レファレンスグリッドに基づいて被写体を撮影した映像が補正されていてよい。

【0038】

補正パラメータ生成部１１０は、入力された映像（被写体撮影映像及びレファレンスグリッド撮影映像）を分析してカメラ固有（ｉｎｔｒｉｎｓｉｃ）のパラメータ及び安定化（ｓｔａｂｉｌｉｚｉｎｇ）パラメータを生成することができる。カメラ固有のパラメータは、カメラレンズの機械的な誤差に係るパラメータであり、安定化パラメータは、前記カメラ固有のパラメータを被写体撮影映像に適用して生成されたパラメータである。安定化パラメータは、手のブレなどのアーティファクト（ａｒｔｉｆａｃｔｓ）を補正するためのパラメータであって時間的な要素を含んでいる。

【0039】

また、前記補正パラメータは、入力映像の撮影時に使用されたカメラの内部及び外部パラメータを含んでいてよい。

【0040】

プロジェクションジオメトリ生成部１２０は、補正パラメータ生成部１１０で生成された補正パラメータを用いて広視野角映像の出力のためのプロジェクションジオメトリを生成することができる。例えば、プロジェクションジオメトリ生成部１２０は、平面グリッド状の基準ジオメトリを広視野角映像の出力のためのプロジェクションジオメトリに補正することができる。具体的に、プロジェクションジオメトリ生成部１２０は、カメラ固有のパラメータを用いて基準ジオメトリのバーテックスを補正し又はテクスチャ座標を補正することができ、その後、補正されたジオメトリを曲面状に変形して広視野角映像の出力のためのプロジェクションジオメトリを生成することができる。バーテックスまたはテクスチャ座標の補正によるジオメトリの変形、投影及び映像のテクスチャリングについては以下で具体的に説明する。

【0041】

広視野角映像パッケージング部１３０は、広視野角映像処理装置１００に入力された映像、生成された補正パラメータ及びプロジェクションジオメトリをエンコードして広視野角映像パッケージを生成することができる。前記した説明において、入力された映像は、カメラ固有のパラメータに加え、他のパラメータをさらに用いて補正された映像であってよい。他の一実施例において、広視野角映像パッケージング部１３０は、入力された映像に対するメタデータをさらに含んで前記エンコードを行っていてもよい。

【0042】

第１通信部１４０は、広視野角映像パッケージを他の装置に提供することができる。第１通信部１４０は、有線または無線ネットワークを介して映像パッケージを提供することができ、ここで、任意の無線通信方式が利用されていてよい。または、前記他の装置は、広視野角映像処理システム１０００外部の他の装置であるか、内部の装置であるか、前記広視野角映像処理装置１００に含まれる任意の他のモジュールであってよい。

【0043】

他の一実施例において、広視野角映像表示装置２００は、上述した広視野角映像処理装置１００が生成した広視野角映像パッケージを受信して、広視野角映像をディスプレイ装置を介して表示することができる。

【0044】

このために、広視野角映像表示装置２００は、図１に示したように、第２通信部２１０、場面構成部２２０及び表示部２３０を含んでいてよい。一実施例において、第２通信部２１０は、有線または無線ネットワークを介して広視野角映像パッケージを受信することができる。他の実施例において、第２通信部２１０は、広視野角映像パッケージング部１３０で生成された広視野角映像パッケージを直接受信することもできる。例えば、広視野角映像処理装置１００と広視野角映像表示装置２００は、一つの装置に統合されていてよい。第２通信部２１０は、受信した広視野角映像パッケージを場面構成部２２０に受け渡すことができる。

【0045】

場面構成部２２０は、受信された（受け渡された）広視野角映像パッケージをリアルタイムでデコードし、仮想空間にプロジェクションジオメトリを投影し、仮想空間にカメラを配置することができる。その後、投影されたプロジェクションジオメトリに前記入力された映像をテクスチャリングして場面を構成することができる。場面構成部２２０は、仮想空間上の球面に前記プロジェクションジオメトリを投影することができる。すなわち、前記プロジェクションジオメトリは、カメラ固有のパラメータに基づいて補正されたプロジェクションジオメトリである。該ジオメトリは、バーテックス単位で補正され又はテクスチャ座標が補正されたプロジェクションジオメトリである。

【0046】

図２ａ及び図２ｂは、場面構成部２２０の場面生成を説明するための図である。図２ａを参照すると、場面構成部２２０は、仮想空間２０にレンダリングのための仮想カメラ２１を配設し、仮想空間２０にプロジェクションジオメトリを投影する。例えば、図２ａに示されたように、場面構成部２２０は、仮想空間２０に形成された球面にプロジェクションジオメトリを投影する。次いで、図２ｂに示されたように、前記投影されたプロジェクションジオメトリに映像２３をテクスチャリングして場面を構成する。次いで、表示部２３０は、場面をリアルタイムでレンダリングしてディスプレイ装置（図示せず）で表示する。他の一実施例において、ディスプレイ装置の接眼レンズの歪みによるアーティファクトを補正するために補正モジュールが前記広視野角映像表示装置２００にさらに含まれていてもよい。

【0047】

他の一実施例において、広視野角映像処理装置１００に含まれるプロジェクションジオメトリ生成部１２０は、カメラ固有のパラメータを用いて基準プロジェクションジオメトリのバーテックスまたはテクスチャ座標を補正し、補正された基準プロジェクションジオメトリを曲面状に変形して撮影された映像のレンダリングに用いられるプロジェクションジオメトリを生成することができる。本明細書においてプロジェクションジオメトリは、上述の撮影された映像のレンダリングに用いられるプロジェクションジオメトリを意味し、前記基準プロジェクションジオメトリは、前記プロジェクションジオメトリを生成するための試料としてのプロジェクションジオメトリテンプレートを意味する。

【0048】

図３ａ〜図３ｅは、一実施例に係るプロジェクションジオメトリのバーテックス変換方式によるプロジェクションジオメトリの投影及びテクスチャリングを説明するための図である。一実施例において、プロジェクションジオメトリ生成部１２０は、カメラ固有のパラメータを用いて基準プロジェクションジオメトリのバーテックスを変換することで補正されたプロジェクションジオメトリを生成することができる。図３ａを参照すると、基準プロジェクションジオメトリ３１が生成されたプロジェクションジオメトリ３２との比較のために一緒に図示されている。図３ａを参照すると、バーテックスが変換されたプロジェクションジオメトリ３２は、縁部が曲面状で、中心を基準に圧縮された形態を示している。このように生成されたプロジェクションジオメトリ３２に対しテクスチャリングを施すと、図３ｂに示されたようにテクスチャリングされた映像に歪みがない。例えば、被写体の直線がテクスチャリングされたイメージでも直線状に示される。

【0049】

図３ｃ及び図３ｄを参照すると、場面構成部２２０は、プロジェクションジオメトリ３２を仮想空間に配置する。この場合、仮想空間の任意の球面に前記プロジェクションジオメトリを投影することで、図３ｂに示された凹状の曲面形態のプロジェクションジオメトリが図３ｃ及び図３ｄのように展開された形態を示すことができる。図３ｄは、投影されたプロジェクションジオメトリに撮影された映像をテクスチャリングした状態を示し、図３ｅは、映像を撮影時のカメラの画角と同じ画角にて正面から前記テクスチャリングされた映像をディスプレイする状態を示している。

【0050】

図４ａ〜図４ｅは、一実施例に係るプロジェクションジオメトリのテクスチャ座標変換方式によるプロジェクションジオメトリの投影及びテクスチャリングを説明するための図である。テクスチャ座標は、イメージがテクスチャリングされる座標であって、プロジェクションジオメトリの形態とは無関係である。したがって、図４ａに示されたように、プロジェクションジオメトリ４２は、基準プロジェクションジオメトリの形態は変わらない。しかし、このようなプロジェクションジオメトリ４２に映像がテクスチャリングされると、図４ｂに示されたように、プロジェクションジオメトリにテクスチャリングされたイメージは四角形の形態ではない内方に潰された形態を示している。

【0051】

図４ｃを参照すると、テクスチャ座標が補正されたプロジェクションジオメトリ４２を仮想空間上の球面に配置し、プロジェクションジオメトリ４２に映像をテクスチャリングしてレンダリングを行うと、図４ｄのように映像が出力される。そして、図４ｅは、映像を撮影時のカメラの画角と同じ画角にて正面から前記テクスチャリングされた映像をディスプレイする状態を示している。このような過程を通じて、広視野角映像を歪みなしに仮想空間の球面上に表現することができる。

【0052】

他の一実施例において、場面構成部２２０は、補正パラメータ（例えば、安定化パラメータ）を用いて仮想空間上の仮想カメラの位置を動的に調節して補正された映像がレンダリングできるように場面を補正することができる。

【0053】

図５は、一実施例に従って仮想カメラの位置調節を用いた場面補正の一例を示す。図５を参照すると、場面構成部２２０は、補正パラメータに基づいて仮想カメラの位置を動的に調節して場面を補正することができる。図５では、上下左右方向のみを示しているが、３次元仮想空間上で任意位置に移動してレンダリングされる映像を補正することができる。

【0054】

図６は、一実施例に従ってプロジェクションジオメトリ変換を用いた場面補正の一例を示す。図６を参照すると、一実施例において、場面構成部２２０は、仮想カメラは固定された状態であり、プロジェクションジオメトリを変換して場面を補正することができる。例えば、図６に示されたように上下左右、またはヨー、ピッチ、ロール方向にプロジェクションジオメトリを移動させることができる。

【0055】

他の実施例において、場面構成部２２０は、仮想カメラとプロジェクションジオメトリを一緒に調節して場面補正を行うこともできる。このような場面補正は、映像のレンダリングと同時にリアルタイムで行われていてもよい。

【0056】

一実施例において、前記カメラはステレオカメラであってよく、広視野角映像処理装置１００がステレオカメラからステレオ映像を入力された場合、補正パラメータ生成部１１０は、カメラ間の機械誤差補正パラメータ、色相補正パラメータまたは露出補正パラメータを生成することができる。すなわち、上述したパラメータは、前記補正パラメータに含まれていてよい。

【0057】

この場合、場面構成部２２０は、安定化パラメータに加え、機械誤差補正パラメータをさらに用いて前記仮想空間に投影されたプロジェクションジオメトリのバーテックスまたは仮想カメラを調節して場面補正を行うことができる。例えば、場面構成部２２０は、機械誤差補正パラメータを用いて場面構成の際にプロジェクションジオメトリまたは仮想カメラをスタティックに調節して機械誤差を補正することができる。すなわち、場面構成部２２０は、安定化パラメータを用いて時間的な側面から場面構成の安定化を行い、機械誤差補正パラメータを用いてステレオカメラ間の機械的誤差を補正して、より向上した品質のリアルタイム映像を提供することができる。

【0058】

一実施例において、前記広視野角映像処理装置１００及び広視野角映像表示装置２００は、サーバ、ＰＣ、ラップトップ、タブレットＰＣ、スマートフォンなどであってよく、これらの装置はカメラを含んでいてもよい。特に、前記広視野角映像表示装置２００は、ウェラブル装置または任意の携帯可能な通信装置であってよい。

【0059】

図７は、一実施例に係る広視野角映像処理方法のフロー図である。図７を参照すると、広視野角映像処理方法は、カメラから映像を入力される段階（Ｓ１１）、入力された映像を分析して補正パラメータを生成する段階（Ｓ１２）、補正パラメータを用いて広視野角映像の出力のためのプロジェクションジオメトリを生成する段階（Ｓ１３）、前記入力された映像、補正パラメータ及びプロジェクションジオメトリをエンコードして広視野角映像パッケージを生成する段階（Ｓ１４）を含んでいてよい。段階（Ｓ１２）において、生成される補正パラメータは、カメラ固有のパラメータまたは安定化パラメータを含んでいてよい。

【0060】

他の実施例において、カメラ固有のパラメータ広視野角映像処理方法は、生成された広視野角映像パッケージを他の装置に転送する段階をさらに含んでいてよい。

【0061】

図８は、他の一実施例に係る広視野角映像処理方法のフロー図である。図８を参照すると、広視野角映像処理方法は、図７に示された広視野角映像処理方法に引き続き、または独立して行われていてよい。

【0062】

図８に示された他の一実施例に係る広視野角映像処理方法は、広視野角映像パッケージを受信し、該広視野角映像パッケージをデコードする段階（Ｓ２１）、仮想空間にプロジェクションジオメトリを投影し、該仮想空間に仮想カメラを配置する段階（Ｓ２２）、投影されたプロジェクションジオメトリに前記映像をテクスチャリングして場面を構成する段階（Ｓ２３）、前記パラメータを用いて場面を補正する段階（Ｓ２４）、及び補正された場面をレンダリングして表示する段階（Ｓ２５）を含んでいてよい。一実施例において、段階（Ｓ２３）〜段階（Ｓ２５）は同時に動的に行われていてよい。

【0063】

また、一実施例に係る広視野角映像処理方法は、補正パラメータ（例えば、安定化パラメータ）を用いて前記仮想カメラの位置を動的に調節して場面を補正する段階をさらに含んでいてよい。他の一実施例において、広視野角映像処理方法は、補正パラメータ（例えば、安定化パラメータ）を用いて前記プロジェクションジオメトリを動的に調節して場面を補正する段階をさらに含んでいてよい。

【0064】

他の実施例において、広視野角映像処理方法は、前記入力された映像を分析してメタデータを抽出する段階をさらに含んでいてよく、この場合、前記広視野角映像パッケージを生成する段階において、前記メタデータをさらに含んでエンコードを行っていてもよい。

【0065】

図９は、本発明の一実施例に係るプロジェクションジオメトリ生成段階を具体化したフロー図である。図９を参照すると、段階（Ｓ１２）の後、補正パラメータを用いて広視野角映像の出力のためのプロジェクションジオメトリを生成するために、カメラ固有のパラメータを用いて基準プロジェクションジオメトリのバーテックスまたはテクスチャ座標を補正する段階（Ｓ１３１）及び補正された基準プロジェクションジオメトリを曲面状に変形して前記プロジェクションジオメトリを生成する段階（Ｓ１３２）が行われていてよい。前記段階（Ｓ１３２）は、図５を参照して上述したように、プロジェクションジオメトリのバーテックスを変換してプロジェクションジオメトリの形態が変更された場合を意味するため、テクスチャ座標を補正したプロジェクションジオメトリを用いる場合は、プロジェクションジオメトリの形態は変更されず、該プロジェクションジオメトリに内在したテクスチャ座標だけが変更される。

【0066】

図１０は、他の一実施例に係る広視野角映像処理方法のフロー図である。図１０の広視野角映像処理方法は、ステレオカメラを利用して撮影された映像をレンダリングして表示する方法に関連する。図１０に示された広視野角映像処理方法は、ステレオカメラから映像を入力される段階（Ｓ３１）、入力されたステレオ映像を分析して補正パラメータを生成する段階（Ｓ３２）、補正パラメータを用いてステレオ映像を補正する段階（Ｓ３３）、補正パラメータを用いてプロジェクションジオメトリを生成する段階（Ｓ３４）、及びステレオ映像、補正パラメータ、プロジェクションジオメトリをエンコードして映像パッケージを生成する段階（Ｓ２５）を含んでいてよい。他の一実施例において、段階（Ｓ３３）は省略されてもよい。段階（Ｓ３２）において、補正パラメータは、カメラ間の機械誤差補正パラメータ、色相補正パラメータまたは露出補正パラメータをさらに含んでいてよい。

【0067】

他の一実施例において、図１０を参照して説明された広視野角映像処理方法によって生成された広視野角映像パッケージは、デコードされてディスプレイ装置で表示されていてよい。この場合、仮想空間に投影されたプロジェクションジオメトリまたは仮想カメラの位置を変更してレンダリングされる場面を補正することができる。

【0068】

上述した本発明は図面に示された実施例を参考にして説明してきたが、これは例示的なものに過ぎず、当業者であればそれより多様な変形及び実施例の変形が可能であるということが理解できるであろう。なお、このような変形は本発明の技術的保護範囲内にあると考えられるべきである。よって、本発明の真正な技術的保護範囲は、添付の特許請求の範囲の技術的思想によって決められなければならない。

【産業上の利用可能性】

【0069】

本発明の一実施例によれば、レンズ歪みの補正及びブレの補正をイメージ空間ではない３次元空間で行って３次元レンダリングをすることで、前処理ではないディスプレイ時点におけるレンダリング段階でリアルタイムで処理可能である。

【図1】

【図2a】

【図2b】

【図3a】

【図3b】

【図3c】

【図3d】

【図3e】

【図4a】

【図4b】

【図4c】

【図4d】

【図4e】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】