知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-21
(45)【発行日】2022-10-31
(54)【発明の名称】映像補正方法及び装置
(51)【国際特許分類】
H04N 13/122 20180101AFI20221024BHJP
H04N 13/133 20180101ALI20221024BHJP
G06T 7/593 20170101ALI20221024BHJP
G06T 7/254 20170101ALI20221024BHJP
【ＦＩ】
H04N13/122
H04N13/133
G06T7/593
G06T7/254 A
【請求項の数】
11
(21)【出願番号】P 2020156906
(22)【出願日】2020-09-18
(62)【分割の表示】P 2015225940の分割
【原出願日】2015-11-18
(65)【公開番号】P2021005890
(43)【公開日】2021-01-14
【審査請求日】2020-09-24
(31)【優先権主張番号】10-2014-0162651
(32)【優先日】2014-11-20
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】黄 孝 錫
(72)【発明者】
【氏名】趙 良 鎬
(72)【発明者】
【氏名】南 東 ▲きょん▼
(72)【発明者】
【氏名】崔 旭
【審査官】佐野 潤一
(56)【参考文献】
【文献】特開２０１０－０９３３４３（ＪＰ，Ａ）
【文献】特開２０１２－１３８９０６（ＪＰ，Ａ）
【文献】特開２０１４－０５６５９５（ＪＰ，Ａ）
【文献】特開２０１２－２０３８５１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １３／００
Ｇ０９Ｇ ５／００
Ｈ０４Ｎ ７／０１
Ｇ０６Ｔ ３／００－７／００
(57)【特許請求の範囲】
【請求項1】
多視点映像のうち第１視点映像の現在のフレームから特徴点を抽出するステップと、前記第１視点映像の以前フレームの特徴点と前記抽出された特徴点との間に対応される特徴点の対を決定するステップと、
前記特徴点の対に基づいて、前記現在のフレームと前記以前フレームとの間のピクセル座標の幾何学的な関係を表現する基本行列を決定するステップと、
前記基本行列に基づいて前記第１視点映像の現在のフレームと前記第１視点映像の以前フレームとの間に場面転換が発生するか可否を決定するステップと、
前記場面転換が発生する場合、前記第１視点映像の以前フレームの特徴点を利用することなく、前記第１視点映像の現在のフレームと、前記第１視点以外の視点の映像の現在のフレームとの間の互いに対応する特徴点の対に基づいて、前記第１視点以外の視点の映像の現在のフレームを補正するステップと、
前記場面転換が発生しない場合、前記第１視点映像の以前フレームの特徴点を利用して、前記第１視点以外の視点の映像の現在のフレームを補正するステップと、
を含む、映像補正方法。
【請求項2】
前記特徴点の対を決定するステップは、前記以前フレームの特徴点の座標と前記現在のフレームの特徴点の座標との間の距離に基づいて特徴点をマッチングするステップと、
前記マッチングされる特徴点の間の距離が閾値以下である特徴点の対を、前記対応される特徴点の対として決定するステップと、
を含む、請求項１に記載の映像補正方法。
【請求項3】
前記基本行列を決定するステップは、前記対応される特徴点の対の個数を任意に決定し、前記決定された個数の特徴点の対の位置情報を用いて前記基本行列を決定するステップを含む、請求項１または２に記載の映像補正方法。
【請求項4】
前記映像の現在のフレームで特徴点に基づいて検索領域を決定するステップと、それぞれの検索領域に含まれた１つ以上の特徴点のうち最も大きいスコアを有する特徴点を選択することによって、前記抽出された特徴点の個数を減らすステップと、をさらに含み、
前記スコアは、前記現在のフレームの特徴点それぞれが前記対応する特徴点の対に含まれる確率を示す、請求項１乃至３いずれか一項に記載の映像補正方法。
【請求項5】
前記特徴点を抽出するステップは、前記映像の現在のフレームをダウンサンプリングするステップと、
前記ダウンサンプリングされた現在のフレームから特徴点を抽出するステップと、
を含む、請求項１乃至４いずれか一項に記載の映像補正方法。
【請求項6】
請求項１乃至５いずれか一項に記載の方法を行うためのプログラムが記録されたコンピュータで読み出し可能な記録媒体。
【請求項7】
多視点映像のうち第１視点映像の現在のフレームから特徴点を抽出する特徴点抽出部と、特徴点決定部であり、
前記第１視点映像の以前フレームの特徴点と前記抽出された特徴点との間に対応する特徴点の対を決定し、
前記特徴点の対に基づいて、前記現在のフレームと前記以前フレームとの間のピクセル座標の幾何学的な関係を表現する基本行列を決定し、
前記基本行列に基づいて前記第１視点映像の現在のフレームと前記第１視点映像の以前フレームとの間に場面転換が発生するか否かを決定する、
特徴点決定部と、
映像補正部であり、
前記場面転換が発生する場合、前記第１視点映像の以前フレームの特徴点を利用することなく、前記第１視点映像の現在のフレームと、前記第１視点以外の視点の映像の現在のフレームとの間の互いに対応する特徴点の対に基づいて、前記第１視点以外の視点の映像の現在のフレームを補正し、
前記場面転換が発生しない場合、前記第１視点映像の以前フレームの特徴点を利用して、前記第１視点以外の視点の映像の現在のフレームを補正する、
映像補正部と、
を含む、映像補正装置。
【請求項8】
前記特徴点決定部は、前記以前フレームの特徴点の座標と前記現在のフレームの特徴点の座標との間の距離に基づいて特徴点をマッチングし、マッチングされる特徴点の間の距離が閾値以下である特徴点の対を前記対応する特徴点の対として決定する、請求項７に記載の映像補正装置。
【請求項9】
前記特徴点決定部は、前記対応する特徴点の対の個数を任意に決定し、前記決定された個数の特徴点の対の位置情報を用いて前記基本行列を決定する、請求項７または８に記載の映像補正装置。
【請求項10】
前記特徴点決定部は、前記映像の現在のフレームで特徴点に基づいて検索領域を決定し、それぞれの検索領域に含まれた１つ以上の特徴点のうち最も大きいスコアを有する特徴点を選択することによって前記抽出された特徴点の個数を減らし、
前記スコアは、前記現在のフレームの特徴点のそれぞれが前記対応する特徴点の対に含まれる確率を示す、請求項７乃至９のいずれか一項に記載の映像補正装置。
【請求項11】
前記特徴点抽出部は、前記映像の現在のフレームをダウンサンプリングし、前記ダウンサンプリングされた現在のフレームから特徴点を抽出する、請求項７乃至１０のいずれか一項に記載の映像補正装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、多視点映像を補正する映像補正方法及び装置に関する。
【背景技術】
【0002】
３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）映像を表示する３Ｄディスプレイ装置は、表示される複数の映像を生成するために一般的に左映像及び右映像を含むステレオ映像で複数の視点映像を生成する方式を用いる。複数の視点映像が生成される過程で、左映像及び右映像に基づいて深度映像（Ｄｅｐｔｈ Ｉｍａｇｅ）が生成され、左映像と右映像との間の対応する全てのピクセルの高さ値を一致させる映像整列（Ｉｍａｇｅ Ｒｅｃｔｉｆｉｃａｔｉｏｎ）が行われる。一般に、映像整列では、エピポーラ幾何（Ｅｐｉｐｏｌａｒ Ｇｅｏｍｅｔｒｙ）に基づいた整列を用いて左映像と右映像との間の高さ差を調整する。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明の目的は、多視点映像を補正する映像補正方法及び装置を提供することにある。
【課題を解決するための手段】
【0004】
一実施形態に係る映像補正方法は、第１視点映像及び第２視点映像を含む多視点映像から特徴点を抽出するステップと、前記第１視点映像の現在の映像フレームに含まれた特徴点のうち、前記第１視点映像の以前の映像フレームの特徴点に対応する第１特徴点を決定するステップと、前記第１特徴点のうち前記第２視点映像の現在の映像フレームに含まれた特徴点に対応する第２特徴点を決定するステップと、前記第２特徴点に基づいて前記第２視点映像の現在の映像フレームを映像補正するステップとを含む。
【0005】
一実施形態に係る映像補正方法において、前記第１特徴点を決定するステップは、前記第１視点映像の現在の映像フレームと前記第１視点映像の以前の映像フレームとの間で互いに対応する特徴点の対を決定するステップと、前記第１視点映像の現在の映像フレームと前記第１視点映像の以前の映像フレームとの間の基本行列を用いて、前記特徴点の対から前記第１特徴点を決定するステップとを含んでもよい。
【0006】
一実施形態に係る映像補正方法において、前記第１特徴点を決定するステップは、前記決定された特徴点の対のうち予め設定された個数の特徴点の対を任意に選択するステップと、前記選択された特徴点の対の位置情報に基づいて前記基本行列を決定するステップとを含んでもよい。
【0007】
一実施形態に係る映像補正方法において、前記第２視点映像の現在の映像フレームを映像補正するステップは、前記第２特徴点に対応する前記第２視点映像の現在の映像フレームの第３特徴点及び前記第２特徴点に基づいて前記第２視点映像の現在の映像フレームを映像補正するステップを含んでもよい。
【0008】
一実施形態に係る映像補正方法において、前記第２視点映像の現在の映像フレームを映像補正するステップは、前記第２特徴点の位置情報及び前記第３特徴点の位置情報に基づいて、前記第１視点映像の現在の映像フレームと前記第２視点映像の現在の映像フレームとの間のホモグラフィを決定するステップと、前記ホモグラフィを前記第２視点映像の現在の映像フレームに適用して前記第２視点映像の現在の映像フレームに含まれたピクセルの位置を調整するステップとを含んでもよい。
【0009】
一実施形態に係る映像補正方法において、前記第２視点映像の現在の映像フレームを映像補正するステップは、探索領域に基づいて前記第２特徴点をフィルタリングするステップと、前記フィルタリングの後に残った第２特徴点のうち、少なくとも１つに基づいて前記第２視点映像の現在の映像フレームを映像補正するステップとを含んでもよい。
【0010】
一実施形態に係る映像補正方法は、前記第１視点映像の現在の映像フレームと前記第２視点映像の現在の映像フレームとの間のホモグラフィに基づいて、前記第２視点映像の現在の映像フレームに含まれたピクセルのカラー値を調整するステップをさらに含んでもよい。
【0011】
一実施形態に係る映像補正方法において、記カラー値を調整するステップは、前記ホモグラフィを用いて前記第２視点映像の現在の映像フレームをワーピングするステップと、前記ワーピングされた第２視点映像の現在の映像フレームを前記第１視点映像の現在の映像フレームにマッピングするステップと、前記マッピングされた第１視点映像の現在の映像フレームと第２視点映像の現在の映像フレームで互いに対応するピクセルを識別するステップと、前記識別されたピクセルのカラー値に基づいてカラー変換行列を決定するステップと、前記カラー変換行列を前記第２視点映像の現在の映像フレームに適用して前記第２視点映像の現在の映像フレームに含まれたピクセルのカラー値を調整するステップとを含んでもよい。
【0012】
一実施形態に係る映像補正方法において、前記特徴点を抽出するステップは、前記第１視点映像の現在の映像フレームをダウンサンプリングするステップと、前記ダウンサンプリングされた現在の映像フレームで特徴点を抽出するステップとを含んでもよい。
【0013】
一実施形態に係る映像補正装置は、第１視点映像及び第２視点映像を含む多視点映像から特徴点を抽出する特徴点抽出部と、前記第１視点映像の以前の映像フレームに含まれた特徴点に基づいて、前記第１視点映像の現在の映像フレーム及び第２視点映像の現在の映像フレームから映像補正に使用される特徴点を決定する特徴点決定部と、前記決定された特徴点に基づいて映像補正を行う映像補正部とを含む。
【0014】
一実施形態に係る映像補正装置において、前記映像補正部は、前記映像補正に使用される特徴点の位置情報に基づいて前記第２視点映像の現在の映像フレームに含まれたピクセルの位置を調整する幾何補正部を含んでもよい。
【0015】
一実施形態に係る映像補正装置において、前記映像補正部は、前記第１視点映像の現在の映像フレームと前記第２視点映像の現在の映像フレームとの間のホモグラフィに基づいて、前記第２視点映像の現在の映像フレームに含まれたピクセルのカラー値を調整するカラー補正部を含んでもよい。
【0016】
一実施形態に係る映像補正装置において、前記カラー補正部は、前記ホモグラフィに基づいてカラー変換行列を決定し、前記カラー変換行列を前記第２視点映像の現在の映像フレームに適用して他の視点映像の現在の映像フレームに含まれたピクセルのカラー値を調整してもよい。
【発明の効果】
【0017】
本発明によると、多視点映像を補正する映像補正方法及び装置を提供することができる。
【図面の簡単な説明】
【0018】
【図1】一実施形態に係る映像補正装置の全体的な動作を説明するための図である。
【図2】一実施形態に係る映像補正装置が第１視点映像及び第２視点映像に基づいて映像補正を行う一例を説明するための図である。
【図3】一実施形態に係る映像補正装置の構成を示す図である。
【図4】一実施形態に係る基準特徴点を決定する過程を説明するための図である。
【図5】一実施形態に係る局部最大検出を行う過程を説明するための図である。
【図6】一実施形態に係る基準特徴点に基づいて映像整列を行う過程を説明するための図である。
【図7】一実施形態に係る映像補正方法の動作を示すフローチャートである。
【図8】一実施形態に係る基本行列に基づいて特徴点マッチングの成功有無を決定する動作を説明するためのフローチャートである。
【図9】一実施形態に係るカラー補正を行う動作を説明するためのフローチャートである。
【発明を実施するための形態】
【0019】
以下、実施形態を添付する図面を参照しながら詳細に説明する。以下の特定の構造的ないし機能的説明は、単に実施形態を説明することを目的として例示されたものであり、実施形態の範囲が本文に説明された内容に限定されるものと解釈されることはない。関連の技術分野において通常の知識を有する者であれば、このような記載から様々な修正及び変形が可能である。また、各図面に提示された同一の参照符号は同一の部材を示し、公知された機能及び構造は省略する。
【0020】
図１は、一実施形態に係る映像補正装置の全体的な動作を説明するための図である。
【0021】
映像補正装置は多視点映像（ｍｕｌｔｉ－ｖｉｅｗ ｉｍａｇｅ）を補正する。多視点映像とは、同一の被写体を互いに異なる複数の視点（又は角度）で撮影した映像が組合わされた映像を示す。左映像及び右映像の２つの視点映像から構成されたステレオ映像が多視点映像の一例である。多視点映像は、３個以上の視点映像にも構成されてもよい。多視点映像は、放送局やウェブサーバなどのような外部ソース、内外部格納媒体、又は、再生装置などから映像補正装置に提供され得る。多視点映像に含まれたそれぞれの視点映像は、時間上に連続する複数の映像フレームから構成され得る。
【0022】
以下は説明の便宜のために多視点映像に含まれた第１視点映像及び第２視点映像に基づいて映像補正装置の動作について説明する。第２視点映像は、第１視点映像の視点と異なる視点で撮影された映像を示す。例えば、第１視点映像は左映像であり、第２視点映像は右映像であるか、又は、反対に第１視点映像が右映像であり、第２視点映像は左映像であってもよい。第１視点映像及び第２視点映像だけでなく、３個以上の視点映像を含む多視点映像に対しても以下の内容が同一に適用され得る。
【0023】
映像補正装置は、多視点映像に含まれた複数の視点映像の間の映像高さ差又はカラー差を調整することができる。例えば、映像補正装置は、第１視点映像と第２視点映像との間の映像高さ差が目的とする高さ差（例えば、最小）になるよう第２視点映像の高さを調整したり、第２視点映像のカラー特性が第１視点映像のカラー特性に類似するように第２視点映像のカラー値を調整し得る。映像補正装置は、多視点映像から抽出された特徴点（ｋｅｙｐｏｉｎｔ）に基づいて映像の高さ又はカラーを調整する映像補正を行う。
【0024】
映像補正装置は、多視点映像で抽出された特徴点をフィルタリングして映像の高さ調整又はカラー補正などの映像補正に使用される特徴点を決定し得る。映像補正装置は、特定の視点映像で時間上に連続する映像フレームに対して特徴点の追跡を行い、互いに異なる視点映像の間で特徴点マッチングを行って映像補正に使用される特徴点を決定することができる。例えば、映像補正装置は、第１視点映像で時間的に連続するフレーム間で特徴点を追跡し、第１視点映像で追跡された特徴点に基づいて、第１視点映像と第２視点映像との間の特徴点の対を決定することができる。
【0025】
第１視点映像の以前の映像フレームと現在の映像フレームとの間で互いに対応する特徴点の対を決定することを時間的フィルタリング又は時間的マッチングと称し、第１視点映像の現在の映像フレームと第２視点映像の現在の映像フレームとの間で互いに対応する特徴点の対を決定することを空間的フィルタリング又は空間的マッチングと称する。
【0026】
多視点映像が映像補正装置（例えば、図３に示す映像補正装置３００）に入力された後、ステップＳ１１０で映像補正装置は多視点映像から特徴点を抽出する。例えば、映像補正装置は、視点映像のピクセル値分布に基づいてエッジ領域又はコーナー領域などを特徴点として抽出し得る。一実施形態によると、映像補正装置は、ハリスコーナー（Ｈａｒｒｉｓ ｃｏｒｎｅｒ）方式、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）方式、又はＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）方式などを用いて多視点映像から特徴点を抽出してもよい。
【0027】
ステップＳ１２０において、映像補正装置は多視点映像から抽出された特徴点に対して時間的フィルタリングを行う。映像補正装置は、いずれか１つの視点映像の時間的に連続する映像フレームの間で互いに対応する特徴点を追跡することができる。例えば、映像補正装置は、第１視点映像の以前の映像フレームの特徴点と現在の映像フレームの特徴点との間で互いに対応する特徴点を決定する。以前の映像フレームは、時間的に現在の映像フレームが撮影される以前に撮影された映像フレームを示す。第１視点映像の現在の映像フレームで抽出された特徴点のうち、以前の映像フレームの特徴点に対応しない特徴点はフィルタリングされて特徴点の対象から除外される。時間的フィルタリングでは、以前の映像フレームの特徴点のうち映像補正に用いられた特徴点に基づいて現在の映像フレームの特徴点がフィルタリングされる。時間的フィルタリングによって互いに異なる時間における映像フレームごとに映像整列の結果映像の形状が異なり、震え現象が発生することを最小化できる。
【0028】
ステップＳ１３０において、映像補正装置は、時間的フィルタリングが実行された特徴点に対して空間的フィルタリングを行う。映像補正装置は、特定の視点映像の連続する映像フレームの間でフィルタリングされて残存している特徴点のうち、他の視点映像に含まれた特徴点に基づいて特徴点を再びフィルタリングしてもよい。時間的フィルタリングが１つの視点映像で時間軸上で互いに対応する特徴点を決定する過程であれば、空間的フィルタリングは、互いに異なる視点映像の間で空間上で互いに対応する特徴点を決定する過程である。
【0029】
例えば、映像補正装置は、時間的フィルタリングが実行された後、第１視点映像の現在の映像フレームに残存する特徴点のうち、第２視点映像の現在の映像フレームの特徴点に対応する特徴点を決定し得る。第１視点映像の現在の映像フレームに含まれた特徴点のうち、第２視点映像の現在の映像フレームの特徴点に対応していない特徴点は、フィルタリングされて特徴点の対象から除外されてもよい。時間的フィルタリング及び空間的フィルタリングが実行された後に映像補正に使用される特徴点が決定され得る。
【0030】
ステップＳ１４０において、映像補正装置は、時間的フィルタリング及び空間的フィルタリングが実行されて決定された特徴点に基づいて映像補正を行う。映像補正装置は、時間的フィルタリング及び空間的フィルタリングによって決定された多視点映像の特徴点に基づいて歪曲のない幾何補正及びカラー補正を行う。
【0031】
時間的フィルタリング及び空間的フィルタリングが全て実行された後、第１視点映像の現在の映像フレームで決定された特徴点を第１基準特徴点といい、第２視点映像の現在の映像フレームに含まれた特徴点のうち第１基準特徴点に対応する特徴点を第２基準特徴点というとすれば、映像補正装置は、このような基準特徴点に基づいて第１視点映像と第２視点映像との間の垂直離隔度（ｖｅｒｔｉｃａｌ ｄｉｓｐａｒｉｔｙ）又はカラーディスパリティ（ｃｏｌｏｒ ｄｉｓｐａｒｉｔｙ）を最小化するための映像補正を行うことができる。
【0032】
例えば、映像補正装置は、第１基準特徴点と第２基準特徴点との間の位置関係に基づいて、第２視点映像に含まれたピクセルの高さを調整することができ、これによって第１視点映像と第２視点映像との間の垂直離隔度が減少（例えば、最小化）する。又は、映像補正装置は、第１基準特徴点と第２基準特徴点のカラー情報を用いて第２視点映像の明るさ又はカラーを調整することができ、これによって、第１視点映像と第２視点映像との間の明るさ差又はカラー差が減少し得る（例えば、最小化）。
【0033】
映像補正装置によって補正された多視点映像は、立体映像のような３Ｄコンテンツを生成するために利用され得る。一実施形態によると、補正された多視点映像に基づいて被写体までの距離情報を含む深度映像が生成され、深度映像を用いて視聴者に立体感を提供する３Ｄコンテンツが生成され得る。
【0034】
図２は、一実施形態に係る映像補正装置が第１視点映像及び第２視点映像に基づいて映像補正を行う一例を説明するための図である。
【0035】
映像フレーム２１０、２３０、２５０は第１視点映像で時間的に連続する映像フレームを示し、映像フレーム２２０、２４０、２６０は第２視点映像で時間的に連続する映像フレームを示す。それぞれの映像フレーム２２５、２４５、２６５は、それぞれの映像フレーム２２０、２４０、２６０が映像補正装置によって補正された映像フレームを示す。
【0036】
図２に示された映像フレーム２１０、２２０、２３０、２４０、２５０、２６０は、全体時間区間のうち中間の特定の時間区間で撮影された映像フレームを示す。映像フレーム２１０、２２０は図２に示された全体映像フレームのうち時間上で最初に撮影された映像フレームであり、映像フレーム２５０、２６０は時間上で最後に撮影された映像フレームであり、映像フレーム２３０、２４０は、映像フレーム２１０、２２０と映像フレーム２５０、２６０との間で撮影された映像フレームである。映像補正装置は、各映像フレーム２１０、２２０、２３０、２４０、２５０、２６０で特徴点を抽出し、抽出された特徴点に基づいて映像補正を行うことができる。
【0037】
一実施形態に係る映像補正装置が映像フレーム２３０及び映像フレーム２４０を用いて映像補正を行う過程は次の通りである。
【0038】
映像補正装置は、映像フレーム２３０で抽出された特徴点のうち映像フレーム２３０の以前の映像フレームである映像フレーム２１０の特徴点に対応する第１特徴点を決定し得る。映像補正装置は、映像フレーム２３０で決定された第１特徴点の個数に基づいて、映像フレーム２１０と映像フレーム２３０との間の特徴点の追跡が成功したか否かを決定する。例えば、映像フレーム２３０で決定された第１特徴点の個数が予め設定された個数よりも多い場合、映像補正装置は、映像フレーム２１０と映像フレーム２３０との間の特徴点の追跡が成功したと決定する。そして、映像フレーム２３０で決定された第１特徴点の個数が予め設定された個数以下である場合、映像補正装置は、映像フレーム２１０と映像フレーム２３０との間の特徴点の追跡が失敗したと決定する。
【0039】
映像フレーム２１０と映像フレーム２３０との間の特徴点の追跡が成功したと決定された場合、映像補正装置は、映像フレーム２３０で決定された第１特徴点のうち、第２視点映像の映像フレーム２４０に含まれた特徴点に対応する第２特徴点を決定し得る。例えば、映像フレーム２３０で抽出された特徴点の個数が１００個であると仮定すると、第１特徴点は１００以下の個数に決定され、第２特徴点は第１特徴点の個数以下に決定される。これは、映像フレームで抽出された全体特徴点のうち、映像補正に使用されない特徴点が以前の映像フレームの特徴点及び他の視点の映像フレームの特徴点に基づいてフィルタリングされるためである。
【0040】
第１視点映像の映像フレーム２３０で決定された第２特徴点は、時間的フィルタリング及び空間的フィルタリングが全て実行されて映像補正に使用される第１基準特徴点を示す。第２視点映像の映像フレーム２４０に含まれた特徴点のうち、映像フレーム２３０の第１基準特徴点に対応する第３特徴点は映像補正に使用される第２基準特徴点を示す。
【0041】
映像補正装置は、第１視点映像の映像フレーム２３０で決定された第１基準特徴点に基づいて第２視点映像の映像フレーム２４０を補正する。映像補正装置は、映像フレーム２４０で抽出された特徴点のうち、映像フレーム２３０の第１基準特徴点に対応する第２基準特徴点の位置情報と第１基準特徴点の位置情報に基づいて映像フレーム２４０に対して幾何補正を行うことができる。例えば、映像補正装置は、第１基準特徴点と第２基準特徴点の位置情報に基づいて映像フレーム２３０と映像フレーム２４０との間のホモグラフィ（ｈｏｍｏｇｒａｐｈｙ）を決定し、ホモグラフィを映像フレーム２４０に適用し、映像フレーム２４０に含まれたピクセルの位置を調整して映像フレーム２３０と映像フレーム２４０との間の垂直離隔を減少させることができる。
【0042】
映像補正装置は、第１基準特徴点と第２基準特徴点のカラー情報に基づいて幾何補正が実行された映像フレーム２４０に対してカラー補正を加えて行うことができる。例えば、映像補正装置は、第１基準特徴点と第２基準特徴点のカラー情報に基づいてカラー変換行列を決定し、カラー変換行列を映像フレーム２４０に適用して映像フレーム２４０の明るさ又はカラーを調整し得る。映像補正が実行された後に映像フレーム２４０が補正された映像フレーム２４５が生成され、映像フレーム２３０と映像フレーム２４５に基づいて３Ｄコンテンツが生成され得る。
【0043】
映像フレーム２１０と映像フレーム２３０との間の特徴点の追跡が失敗したものと決定された場合、映像補正装置は映像フレーム２３０で場面転換（ｓｃｅｎｅ ｃｈａｎｇｅ）が発生したと決定する。場面転換は、映像フレームに表示された場面の間の連続性が特定映像フレームで中断されて他の場面に変換することを示す。場面転換が発生した場合、映像補正装置は、時間的フィルタリングを実行することなく、映像フレーム２３０と映像フレーム２４０との間の空間的フィルタリングを行って映像補正を行うことができる。例えば、映像補正装置は、映像フレーム２１０の特徴点を利用せず、映像フレーム２３０と映像フレーム２４０との間の互いに対応する特徴点の対に基づいて映像フレーム２４０を映像補正することができる。
【0044】
映像フレーム２３０の次の時間区間の映像フレームである映像フレーム２５０の場合、映像補正装置は、映像フレーム２３０と映像フレーム２５０との間の特徴点の追跡を行って特徴点の追跡が成功したか否かを決定する。例えば、映像補正装置は、映像フレーム２３０と映像フレーム２５０との間の互いに対応する特徴点の対の個数が予め設定された個数よりも多ければ、映像フレーム２３０と映像フレーム２５０との間の特徴点の追跡が成功したと決定する。
【0045】
映像フレーム２３０と映像フレーム２５０との間の特徴点の追跡が成功したと決定された場合、映像フレーム２４０を補正するために使用された映像フレーム２３０の第１基準特徴点は、次の時間区間の映像フレーム２５０を補正するために用いられてもよい。映像補正装置は、映像フレーム２３０の第１基準特徴点と映像フレーム２５０の特徴点との間の対応する特徴点の対に基づいて時間的フィルタリングを行い、残存する特徴点のうち映像フレーム２６０の特徴点に基づいて空間的フィルタリングを行った後、残存する特徴点に基づいて映像フレーム２６０を映像補正することができる。
【0046】
映像フレーム２３０と映像フレーム２５０との間の特徴点の追跡が失敗したと決定された場合、映像補正装置は、映像フレーム２５０で場面転換が発生したと決定する。映像フレーム２５０で場面転換が発生したと決定した場合、映像補正装置は映像フレーム２３０の特徴点を利用せず、映像フレーム２５０と映像フレーム２６０との間の互いに対応する特徴点の対に基づいて映像フレーム２６０を映像補正することができる。
【0047】
図３は、一実施形態に係る映像補正装置の構成を示す図である。図３を参照すると、映像補正装置３００は、特徴点抽出部３１０、特徴点決定部３２０、及び映像補正部３３０を含む。映像補正装置３００は、多視点映像を処理するいずれかのディスプレイ装置に含まれ得る。例えば、映像補正装置３００は、３Ｄテレビ、ビデオプレーヤー、セットトップボックス、又は、ビデオソースとディスプレイ間に接続されたドングル（ｄｏｎｇｌｅ）に含まれてもよい。また、映像補正装置３００は、ＨＭＤ（Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）に含まれてもよい。
【0048】
入力映像の多視点映像は映像補正装置３００に伝えられ、特徴点抽出部３１０は多視点映像から特徴点を抽出する。特徴点抽出部３１０は、多視点映像でエッジ領域又はコーナー領域などを特徴点として抽出し得る。例えば、特徴点抽出部３１０は、ハリスコーナー方式、ＳＩＦＴ方式、又はＦＡＳＴ方式などの様々な方式を用いて多視点映像から特徴点を抽出することができる。
【0049】
他の実施形態によると、特徴点抽出部３１０は、多視点映像の大きさに応じて多視点映像のダウンサンプリングの過程を選択的に行うことができる。例えば、多視点映像の大きさが予め設定された大きさよりも大きい場合、特徴点抽出部３１０は、多視点映像をダウンサンプリングして映像の大きさを縮小し、縮小された多視点映像から特徴点を抽出し得る。その後、特徴点抽出部３１０は、抽出された特徴点の位置にダウンサンプリング過程に適用されたスケール値を適用して本来の大きさの多視点映像における特徴点位置を決定し得る。ダウンサンプリングされた多視点映像で特徴点を抽出することによって処理時間を短縮することができる。
【0050】
特徴点決定部３２０は、多視点映像で抽出された特徴点のうち映像補正に使用される特徴点を決定する。特徴点決定部３２０は、第１視点映像の以前の映像フレームに含まれた特徴点に基づいて、第１視点映像の現在の映像フレーム及び第２視点映像の現在の映像フレームに含まれた特徴点のうち映像補正に使用される特徴点を決定し得る。
【0051】
特徴点決定部３２０は、第１視点映像の連続する映像フレームで互いに対応する特徴点を追跡し、場面転換が発生したか否かを検出する。特徴点決定部３２０は、第１視点映像の連続する映像フレームで特徴点の追跡が失敗した場合に場面転換が発生したと決定する。特徴点決定部３２０は、第１視点映像の以前の映像フレームと現在の映像フレームの実際ピクセル座標の間の幾何学的な関係を表現する基本行列を用いて、特徴点の追跡が成功したか、又は失敗したか否かを決定することができる。例えば、特徴点決定部３２０は、第１視点映像の以前の映像フレームと現在の映像フレームとの間に互いに対応する特徴点の対の個数が予め設定された個数以下である場合、現在の映像フレームで場面転換が発生したと決定し得る。
【0052】
場面転換が発生したと決定した場合、特徴点決定部３２０は時間的フィルタリングを実行することなく、空間的フィルタリングを行って映像補正に使用される特徴点を決定する。例えば、特徴点決定部３２０は、現在の映像フレームで場面転換が発生した場合に第１視点映像の以前の映像フレームに含まれた特徴点を利用せず、第１視点映像の現在の映像フレームと第２視点映像の現在の映像フレームとの間に互いに対応する特徴点の対を決定することができる。
【0053】
現在の映像フレームで場面転換が発生していないと決定された場合、特徴点決定部３２０は、第１視点映像の現在の映像フレームに含まれた特徴点のうち以前の映像フレームの特徴点に対応する第１特徴点を決定する。
【0054】
特徴点決定部３２０は、第１視点映像の以前の映像フレームと現在の映像フレームとの間で追跡された特徴点に基づいて、特徴点の情報を含む特徴セットを構成及び管理する。特徴セットは、以前の映像フレームで映像補正に用いられた特徴点に関する情報を含み得る。
【0055】
特徴点決定部３２０は、第１視点映像の以前の映像フレームと現在の映像フレームとの間の特徴点の対応によって特徴点の追跡を行う。特徴点決定部３２０は、特徴点ディスクリプタの差に基づいて第１視点映像の以前の映像フレームの特徴点と現在の映像フレームの特徴点のうち互いに対応する特徴点の対を決定し得る。
【0056】
以下の説明において、特徴点抽出部３１０によって第１視点映像及び第２視点映像から抽出された局部（ｌｏｃａｌ）特徴点がＳＩＦＴであり、それぞれの特徴点は１２８の大きさを有するベクトルをディスクリプタとして有するものと仮定する。ＳＩＦＴは、特徴点周辺のローカルの勾配（ｇｒａｄｉｅｎｔ）分布特性を表現する特徴を有する。ＳＩＦＴ特徴ベクトルは、特徴点周辺のパッチ領域（ｐａｔｃｈ ｒｅｇｉｏｎ）を４×４ブロックに分割し、各ブロックに含まれたピクセルの勾配方向と勾配大きさに対するヒストグラムを決定した後、当該ヒストグラムのビン（ｂｉｎ）値を一列に連結した１２８次元のベクトルである。
【0057】
第１視点映像の時間ｔにおける現在の映像フレームをＩＬ
ｔ、第２視点映像の時間ｔにおける現在の映像フレームをＩＲ
ｔ、第１視点映像の現在の映像フレームで抽出された特徴点の集合をＦＬ
ｔ、第２視点映像の現在の映像フレームで抽出された特徴点の集合をＦＲ
ｔ、ＦＬ
ｔに含まれたそれぞれの特徴点をｆｐＬ，ｉ
ｔ、及びＦＲ
ｔに含まれたそれぞれの特徴点をｆｐＲ，ｉ
ｔであるとそれぞれ仮定する。ｆｐＬ，ｉ
ｔ及びｆｐＲ，ｉ
ｔにおいて、ｉは特徴点を区分するためのインデックスであり、１からＮ（対応する特徴点の個数）までの範囲を有する。それぞれの特徴点は、映像フレーム内における位置情報（ｘ、ｙ）とスコアｓを有すると仮定する。ここで、スコアは、特徴点が抽出されるとき特徴点に対する信頼度を示す。言い換えれば、スコアは、抽出された特徴点が有効な特徴点の対である確率を示すことができる。スコアは、例えば、抽出された特徴点が空間フィルタリングに用いられるか否かを判断するための基準として用いることができる。
【0058】
ｆＬ，ｉ
ｔに含まれたインデックスｉの特徴点が有するディスクリプタをｄＬ，ｉ
ｔとすると、第１視点映像の以前の映像フレームと現在の映像フレームとの間で互いに対応する特徴点の集合ＭＬ
ｔは次の数式（１）に基づいて決定され得る。
【0059】
【数1】
【0060】
数式（１）によると、以前の映像フレームのｊ番目の特徴点とＬ２ｎｏｒｍが最も小さい値を有する現在の映像フレームのｋ番目の特徴点が互いに対応する特徴点の対として決定する。特徴点決定部３２０は、数式（１）に基づいて決定された特徴点の対のうち、最小Ｌ２距離値が予め設定された閾値よりも大きい場合、当該の特徴点を対応する特徴点の対から除外させることができる。粒界値は、経験的な根拠又はユーザ定義に基づく。ここで、Ｌ２距離は、第１視点映像の現在の映像フレームの特徴点の座標と第１視点映像の以前の映像フレームの対応する特徴点の座標との間の差を示すユークリッド距離であり得る。当該の差異は、第１視点映像の現在の映像フレームの特徴点の位置（又は、座標）と第１視点映像の以前の映像フレームの特徴点の位置（又は、座標）を比較することによって決定され得る。
【0061】
特徴点決定部３２０は、第１視点映像の以前の映像フレームと現在の映像フレームとの間で互いに対応するものとして決定された特徴点の対の位置情報に基づいて基本行列を決定する。例えば、映像補正装置３００は、Ｌ２距離値に基づいて決定された特徴点の対のうち予め設定された個数の特徴点の対を任意に選択し、任意に選択された特徴点の対の位置情報に基づいて基本行列を決定する。
【0062】
一実施形態によると、特徴点決定部３２０は、第１視点映像の以前の映像フレームと現在の映像フレームとの間で互いに対応するものとして決定された特徴点セットｍＬ，ｉ
ｔ－１及びｍＬ，ｉ
ｔで８個の特徴点の対を任意に抽出し得る。以前の映像フレームと現在の映像フレームとの間で互いに対応するものとして決定された特徴点セットｍＬ，ｉ
ｔ－１及びｍＬ，ｉ
ｔはエピポーラ幾何（ｅｐｉｐｏｌａｒ ｇｅｏｍｅｔｒｙ）によって次の数式（２）を満足する。
【0063】
【数2】
【0064】
【数3】
【0065】
例えば、特徴点決定部３２０は、数式（３）を用いて決定された基本行列と特徴点セットｍＬ，ｉ
ｔ－１、ｍＬ，ｉ
ｔを用いてＳａｍｐｓｏｎ距離を決定し、当該Ｓａｍｐｓｏｎ距離が０．５ピクセル以下に含まれる特徴点をインライア（ｉｎｌｉｅｒ）として決定する。特徴点決定部３２０は、インライアの比率が９９％以上である場合、当該の基本行列を最終の基本行列として決定する。インライアの比率が９９％未満である場合、特徴点決定部３２０は、予め設定された反復回数（例えば、１００００回）に達するまで特徴点セットｍＬ，ｉ
ｔ－１、ｍＬ，ｉ
ｔで８個の特徴点の対を任意に抽出し、抽出された特徴点の対の位置情報と数式（３）に基づいて基本行列を決定した後、決定された基本行列が予め設定された条件を満足するか否かを決定する過程を繰り返し行う。
【0066】
特徴点決定部３２０は、反復回数が予め設定された反復回数以上であり、最も高いインライアの比率が２０％を超過する場合、第１視点映像の以前の映像フレームと現在の映像フレームに対する特徴点の追跡を成功したと決定することができる。特徴点決定部３２０は、インライアの比率が２０％以下である場合には、特徴点の追跡を失敗したと決定し得る。
【0067】
特徴点の追跡が失敗したと決定された場合、現在の映像フレームが最初の映像フレームであるか、現在の映像フレームで場面転換が発生した確率が高い。場面転換が発生した場合、カメラの内部パラメータ及び外部パラメータが変わり得るため、映像補正過程が再び行われる必要がある。第１視点映像の以前の映像フレームと現在の映像フレームとの間で特徴点の追跡が失敗したと決定された場合、映像補正装置３００は、以前の映像フレームと現在の映像フレームとの間の特徴点の追跡結果を適用することなく、第１視点映像の現在の映像フレームと第２視点映像の現在の映像フレームとの間の特徴点の対応結果を用いて映像補正を行うことができる。
【0068】
第１視点映像の以前の映像フレームと現在の映像フレームとの間の特徴点の追跡が成功した場合、特徴点決定部３２０は、以前の映像フレームと現在の映像フレームとの間に対応に成功した特徴点に基づいて特徴点セットをアップデートすることができる。上記のような時間的フィルタリング又は時間的マッチングを用いて、第１視点映像の現在のフレームに含まれた特徴点のうち以前の映像フレームの特徴点に対応する第１特徴点を決定することができる。
【0069】
特徴点決定部３２０は、第１視点映像の現在の映像フレームに含まれた第１特徴点のうち、第２視点映像の現在の映像フレームの特徴点に対応する第２特徴点を決定し得る。第２視点映像の現在の映像フレームに含まれた特徴点のうち、第１視点映像の第２特徴点に対応する特徴点を第３特徴点と言う。特徴点決定部３２０は、例えば、第１特徴点と第２視点映像の特徴点のうちディスクリプタ間のＬ２距離値が予め設定された基準を満足する特徴点が互いに対応する特徴点として決定し得る。このような互い対応する特徴点のうち、特徴点決定部３２０は、第２及び第３特徴点の決定に第１視点映像の現在の映像フレームと第２視点映像の現在の映像フレームとの間の基本行列を用いることができる。
【0070】
一実施形態によると、時間的マッチング過程でインライアとして決定され、第１視点映像の現在のフレームに含まれた第１特徴点をｍＬ，ｉ
ｔとするとき、特徴点決定部３２０は、第２視点映像の現在の映像フレームに含まれた特徴点のうちｍＬ，ｉ
ｔのディスクリプタとＬ２距離が最も近いディスクリプタを有する特徴点ｍＲ，ｉ
ｔを決定し得る。
【0071】
その後、特徴点決定部３２０は、第１視点映像のｍＬ，ｉ
ｔと第２視点映像のｍＲ，ｉ
ｔに基づいて第１視点映像の現在の映像フレームと第２視点映像の現在の映像フレームとの間の基本行列を決定する。例えば、特徴点決定部３２０は、数式（３）に基づいて第１視点映像の現在の映像フレームと第２視点映像の現在の映像フレームとの間の基本行列を算出することができる。ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）によって最もインライア値が高い第１視点映像の現在の映像フレームと第２視点映像の現在の映像フレームとの間の対応特徴点をそれぞれｐＬ，ｉ
ｔ、ｐＲ，ｉ
ｔとすると、ｐＬ，ｉ
ｔは第１視点映像の現在の映像フレームに含まれた第２特徴点に対応し、ｐＲ，ｉ
ｔは第２視点映像の現在の映像フレームに含まれた第３特徴点に対応する。特徴点決定部３２０はｐＬ，ｉ
ｔ、ｐＲ，ｉ
ｔを決定した後、決定されたｐＬ，ｉ
ｔ、ｐＲ，ｉ
ｔを特徴セットに追加する。
【0072】
他の実施形態によると、特徴点決定部３２０は特徴セットの大きさを調整し得る。第１視点映像の映像フレームの間で互いにマッチングされた特徴点及び第１視点映像と第２視点映像の間で互いにマッチングした特徴点は特徴セットに格納され、特徴点マッチング過程が行われるほど特徴セットに格納される特徴点の数は増加する。特徴点決定部３２０は、特徴セットの大きさが大きすぎることを防止するため、探索領域に基づいて特徴セットから除外する特徴点を決定できる。
【0073】
特徴点決定部３２０は、探索領域に基づいて第２特徴点をフィルタリングし、フィルタリングされて残った特徴点を映像補正に使用する特徴点として決定することができる。例えば、特徴点決定部３２０は、第２特徴点を中心に探索領域を設定し、各探索領域に含まれた第２特徴点のうちスコアが最も大きい第２特徴点を保持し、残りの第２特徴点は除外させる。スコアは、特徴点が抽出されるとき当該の特徴点に対する信頼度の値を示す。探索領域の大きさは、予め設定された大きさであるか、又は、第１視点映像の現在の映像フレームで決定された第２特徴点の個数又は第２特徴点の分布に基づいて適応的に決定することができる。
【0074】
特徴点決定部３２０は、第１視点映像の第２特徴点に対応する第２視点映像の第３特徴点に対しても探索領域に基づいてフィルタリングを行い、フィルタリングされて残存した第３特徴点を映像補正に使用される特徴点として決定する。ここで、第２視点映像の現在の映像フレームに適用される探索領域の大きさは、第１視点映像の現在の映像フレームに適用される探索領域の大きさと同一であってもよい。
【0075】
例えば、第１視点映像の現在の映像フレームに含まれた第２特徴点ｐＬ，ｉ
ｔと第２視点映像の現在の映像フレームに含まれた第３特徴点ｐＲ，ｉ
ｔに対して、特徴点決定部３２０は探索領域を用いた局部最大検出（ｌｏｃａｌ ｍａｘｉｍｕｍ ｄｅｔｅｃｔｉｏｎ）を行うことができる。局部最大検出を用いて、既存の特徴セットに含まれた特徴点と新しく追加される特徴点が重複することを防止できる。
【0076】
特徴点決定部３２０は全ての第２特徴点ｐＬ，ｉ
ｔを特徴セットに含ませ、特徴セットに属する第２特徴点のうち、探索領域内で最大のスコアを有する第２特徴点を決定し得る。例えば、ｉ番目の第２特徴点ｐＬ，ｉ
ｔの位置で半径ｒの探索領域内に存在する第２特徴点のインデックス集合をｊとしたとき、特徴点決定部３２０は次の数式（４）及び数式（５）に基づいて局部最大検出を行う。
【0077】
【数4】
【0078】
【数5】
【0079】
Ｇ（ｘ１、ｘ２）は数式（４）によって１又は０の結果値を有する。探索領域内に含まれた第２特徴点のうち特徴点ｐｉ
ｔのスコアが最も大きい場合Ｌ（ｐｉ
ｔ）は１の結果値を有し、特徴点決定部３２０は、当該の探索領域で第２特徴点ｐｉ
ｔのスコアが最も大きい局部最大として判断する。特徴点決定部３２０は、第２特徴点ｐｉ
ｔを除いた探索領域内の他の第２特徴点は特徴セットから除去する。
【0080】
特徴点決定部３２０は、特徴セットを管理することができる。例えば、特徴点決定部３２０は、特徴セットに新しい特徴点を追加したり既存の特徴点を除去してもよい。特徴点決定部３２０は、既存の特徴点を除去して特徴セットの大きさが大き過ぎることを防止できる。特徴セットの大きさが大きくなるほど、新しく追加された特徴点が映像補正に及ぼす影響は小さくなる。特徴セットはｑｕｅｕｅの形態に構成してもよい。
【0081】
局部最大検出によりフィルタリングされた特徴セットの大きさが一定のサイズよりも大きくなる場合、特徴点決定部３２０は、特徴セットで最初に格納された特徴点を除去する。特徴セットに最初に格納された特徴点が現在の映像フレームの映像補正のための特徴点として作用する確率が最も低いためである。また、特徴点決定部３２０は、時間的マッチングが実行された後に特徴セットに含まれた特徴点のスコアを一定比率（例えば、１０％）だけ減少させ得る。そのため、現在の映像フレームと関連性の少ない古い映像フレームで抽出された特徴点が有する信頼度は低くなる。
【0082】
特徴点決定部３２０は、上記のような過程を経て決定された、映像補正に使用される特徴点を映像補正部３３０に伝達し得る。
【0083】
映像補正部３３０は、第１視点映像の第２特徴点及び第２視点映像の第３特徴点に基づいて映像補正を行う。映像補正部３３０は、このような基準特徴点の間の位置関係に基づいて映像整列を行った後カラー補正を行う。基準特徴点は、第２特徴点及び第３特徴点のように映像補正に使用される特徴点を示す。映像補正部３３０は、幾何補正部３４０及びカラー補正部３５０を含む。
【0084】
幾何補正部３４０は、第１視点映像と第２視点映像の基準特徴点の位置情報に基づいて映像整列を行う。例えば、幾何補正部３４０は、対応する特徴点の異なる視点映像におけるエピポーラライン（ｅｐｉｐｏｌａｒ ｌｉｎｅ）上に存在している点を用いて、視点映像間でエピポーラ線を水平に合わせる映像整列を用いて、第１視点映像の現在の映像フレームと第２視点映像の現在の映像フレームとの間の垂直離隔度を減らすように第２視点映像の現在の映像フレームを変換することができる。
【0085】
幾何補正部３４０は、エピポーラ幾何に基づいた映像変換行列を用いて映像整列を行う。任意のポイントＰをＡ視点映像の位置で観測した３次元カメラ座標と、ポイントＰをＢ視点映像の位置で観測した３次元カメラ座標との間で成立する線形変換関係を示す行列のホモグラフィが映像変換行列として用いられてもよい。幾何補正部３４０は、基準特徴点の位置情報に基づいて第１視点映像の現在の映像フレームと第２視点映像の現在の映像フレームとの間のホモグラフィを決定し得る。幾何補正部３４０は、決定されたホモグラフィを第２視点映像の現在の映像フレームに適用して第２視点映像の現在の映像フレームに含まれたピクセルの位置を調整し得る。
【0086】
例えば、幾何補正部３４０は、特徴点の対応により取得された基準特徴点ｆＬ，ｉ
ｔ、ｆＲ，ｉ
ｔの位置情報に基づいて映像整列を行うことができる。ｆＬ，ｉ
ｔは第１視点映像の現在の映像フレームで決定された基準特徴点を示し、ｆＲ，ｉ
ｔは第２視点映像の現在の映像フレームで決定された基準特徴点を示す。
【0087】
基準特徴点ｆＬ，ｉ
ｔ、ｆＲ，ｉ
ｔのｙ座標値が調整されて高さが一致する特徴点をｆ’Ｌ，ｉ
ｔ、ｆ’Ｒ，ｉ
ｔとするとき、ｆＬ，ｉ
ｔ、ｆＲ，ｉ
ｔは次の数式（６）を満足し、ｆ’Ｌ，ｉ
ｔ、ｆ’Ｒ，ｉ
ｔは次の数式（７）を満足する。
【0088】
【数6】
【0089】
【数7】
【0090】
【数8】
【0091】
一実施形態によると、第１視点映像はオリジナル映像と同一に設定して安定性を向上させるために、第１幾何ホモグラフィは単位行列に固定され得る。幾何補正部３４０は、次の数式（９）に基づいて第２幾何ホモグラフィＨＲ
Ｇを算出することができる。
【0092】
【数9】
ｙｉ＝ｙ（ｆR，ｉ ｔ）、ｙ’ｉ＝ｙ（ｆＬ，ｉ ｔ）の関係が成立する。ｈ１１～ｈ３３は第２幾何ホモグラフィＨＲ Ｇのエレメントであり、幾何補正部３４０は、最小自乗法に基づいて第２幾何ホモグラフィＨＲ Ｇのエレメントを算出することができる。幾何補正部３４０は、第２幾何ホモグラフィＨＲ Ｇを第２視点映像の現在の映像フレームに適用して映像整列を行う。
【0093】
次の数式（１０）において、ｘｉ、ｙｉはそれぞれ第２視点映像の現在の映像フレームに含まれた全体ピクセルのうちｉ番目のピクセルのｘ座標値及びｙ座標値を示す。Ｈは、第２視点映像の現在の映像フレームに適用される第２幾何ホモグラフィを示す。ｘ’ｉ、ｙ’ｉは、第２幾何ホモグラフィＨが適用されて調整されたｉ番目のピクセルのｘ座標値及びｙ座標値を示す。
【0094】
【数10】
【0095】
カラー補正部３５０は、映像整列が実行された後に視点映像間のカラー差を減らすためにカラー補正を行うことができる。一実施形態によると、カラー補正部３５０は、最小自乗法などを用いて第１視点映像の現在の映像フレームのカラー値を基準にして第２視点映像の現在のフレームのカラー値を調整し得る。カラー補正部３５０は、基準特徴点に基づいて第１視点映像の現在の映像フレームと第２視点映像の現在の映像フレームとの間で互いに対応するピクセルのカラー差を最小化することができる。
【0096】
カラー補正部３５０は、第１視点映像の現在の映像フレームに含まれたピクセルと第２視点映像の現在の映像フレームに含まれたピクセルとの間のカラー差を用いてカラー変換行列を決定し、決定されたカラー変換行列を第２視点映像の現在の映像フレームに適用して第２視点映像の現在の映像フレームのカラーを調整することができる。
【0097】
例えば、カラー補正部３５０は、幾何補正が実行されて調整された基準特徴点ｆ’Ｌ，ｉ
ｔ、ｆ’Ｒ，ｉ
ｔを用いて第１視点映像の現在の映像フレームと第２視点映像の現在の映像フレームとの間のホモグラフィＨＰを決定する。カラー補正で用いられるホモグラフィＨＰをフォトメトリックホモグラフィとすると、カラー補正部３５０は、数式（１０）に基づいてフォトメトリックホモグラフィＨＰを算出し得る。ここで、数式（１０）のｈ１１～ｈ３３はフォトメトリックホモグラフィＨＰのエレメントを示す。
【0098】
カラー補正部３５０は、第２視点映像の現在の映像フレームにＨＰの逆関数を適用して第２視点映像の現在の映像フレームをワーピングさせ、第１視点映像の現在の映像フレームとワーピングされた第２視点映像の現在の映像フレームとの間の重なった領域に含まれたピクセルのカラー情報（例えば、ＲＧＢ値）に基づいてカラー変換行列を決定する。例えば、カラー補正部３５０は次の数式（１１）に基づいてカラー変換行列Ｔを決定することができる。
【0099】
【数11】
【0100】
カラー補正部３５０は、最小自乗法などを用いて数式（１１）からカラー変換行列Ｔを算出し、第２視点映像の現在の映像フレームに含まれた全体ピクセルのＲＧＢ値にカラー変換行列Ｔを適用して第２視点映像の現在の映像フレームのカラー値を補正する。カラー補正によって第１視点映像の現在の映像フレームと第２視点映像の現在の映像フレームとの間のカラーディスパリティを減らすことができる。
【0101】
映像補正装置３００から幾何補正及びカラー補正が実行された第２視点映像が出力され、補正された第２視点映像は、第１視点映像と共に立体映像のような３Ｄコンテンツを生成するために使用される。
【0102】
図４は、一実施形態に係る基準特徴点を決定する過程を説明するための図である。
【0103】
映像フレーム４３０は第１視点映像の現在の映像フレームを示し、映像フレーム４１０は第１視点映像の以前の映像フレームを示す。同様に、映像フレーム４４０は映像フレーム４３０に対応する第２視点映像の現在の映像フレームを示し、映像フレーム４２０は映像フレーム４１０に対応する第２視点映像の以前の映像フレームを示す。
【0104】
映像補正装置は、第１視点映像の映像フレーム４１０と映像フレーム４３０との間で互いに対応する特徴点を追跡し得る。映像補正装置は、映像フレーム４３０で抽出された特徴点のうち、映像フレーム４１０の特徴点に対応する第１特徴点を決定し得る。映像フレーム４１０と映像フレーム４３０との間に特徴点の対応が成功した場合は特徴点４１２のように実線に表示され、特徴点の対応が失敗した場合は特徴点４１４のように点線に表示されている。図４では、映像フレーム４３０で合わせて８個の特徴点が抽出されているが、６個の特徴点のみが映像フレーム４１０の特徴点と対応するものと図示されている。
【0105】
映像補正装置は、基本行列を用いて映像フレーム４１０と映像フレーム４３０との間で特徴点の追跡が成功したか失敗したかを判断する。映像フレーム４１０と映像フレーム４３０との間の対応する特徴点の個数が予め設定された個数よりも多い場合、映像補正装置は、映像フレーム４１０と映像フレーム４３０との間の特徴点の追跡が成功したものと決定する。映像フレーム４１０と映像フレーム４３０との間の対応する特徴点の個数が予め設定された個数以下である場合、映像補正装置は、映像フレーム４１０と映像フレーム４３０との間の特徴点の追跡が失敗したものと決定する。
【0106】
映像フレーム４１０と映像フレーム４３０との間の特徴点の追跡が失敗したと決定された場合、映像補正装置は、映像フレーム４１０で抽出された特徴点を考慮することなく、映像フレーム４３０と映像フレーム４４０との間で互いに対応する特徴点の対に基づいて映像フレーム４４０を映像補正することができる。
【0107】
映像フレーム４１０と映像フレーム４３０との間の特徴点の追跡が成功したと決定された場合、映像補正装置は、映像フレーム４１０と映像フレーム４３０との間の基本行列を決定し、決定された基本行列に基づいて映像フレーム４１０と映像フレーム４３０との間で互いに対応する特徴点の対を決定することができる。
【0108】
映像フレーム４３０で抽出された特徴点のうち、映像フレーム４１０の特徴点に対応する第１特徴点が決定されれば、映像補正装置は、第２視点映像の現在の映像フレームである映像フレーム４４０で抽出された特徴点に基づいて第１特徴点をフィルタリングする。映像補正装置は、映像フレーム４３０で決定された第１特徴点のうち、映像フレーム４４０の特徴点に対応する第２特徴点を決定する。映像補正装置は、映像フレーム４３０と映像フレーム４４０との間の基本行列を決定し、決定された基本行列に基づいて映像フレーム４３０と映像フレーム４４０との間で互いに対応する特徴点の対を決定する。
【0109】
映像フレーム４３０と映像フレーム４４０との間に特徴点の対応が成功した場合は特徴点４５０のように実線に表示され、特徴点の対応が失敗した場合は特徴点４６０のように点線に表示されている。図４を参照すると、映像フレーム４３０で合わせて６個の第１特徴点が決定されているが、第１特徴点のうち５個のみが映像フレーム４４０の特徴点に対応し、第２特徴点として決定されたものとして図示されている。
【0110】
映像フレーム４４０で抽出された特徴点のうち、第２特徴点に対応する特徴点である第３特徴点と第２特徴点が映像補正過程で用いられてもよい。例えば、映像補正装置は、映像フレーム４３０の第２特徴点と映像フレーム４４０の第３特徴点の位置情報に基づいて、映像フレーム４３０と映像フレーム４４０との間のホモグラフィを決定し、決定されたホモグラフィを映像フレーム４４０に適用して映像フレーム４３０と映像フレーム４４０との間の映像高さ差を減らすことができる。
【0111】
図５は、一実施形態に係る局部最大検出を行う過程を説明するための図である。
【0112】
第１視点映像の映像フレーム間で互いに対応するものとして決定された特徴点は特徴セットに蓄積され、時間の経過により特徴セットの大きさが次第に増加し得る。映像補正装置は、特徴セットの大きさを一定に保持するために局部最大検出を用いて映像補正に使用される特徴点の個数を調整できる。
【0113】
映像補正装置は、探索領域を用いて第１視点映像の第２特徴点と第２視点映像の第３特徴点をフィルタリングする。図５では、映像補正装置が第１視点映像の現在の映像フレームに含まれた第２特徴点の個数を減らす一例を説明している。
【0114】
映像補正装置は、第１視点映像の現在の映像フレーム５１０に含まれたそれぞれの第２特徴点５２０の位置に基づいて探索領域を設定し、探索領域内で最大のスコアを有する特徴点を決定し得る。ここで、探索領域の大きさは、経験的な根拠又はユーザ定義に基づく。映像フレーム５３０は、映像フレーム５１０に対して局部最大検出が実行された結果映像フレームを示す。例えば、映像補正装置は、探索領域５４０内に含まれた第２特徴点５５０、５５５、５６０のうちスコアが最も大きい第２特徴点５６０を局部最大として判断し、第２特徴点５６０を除いた他の第２特徴点５５０、５５５は特徴セットから除外する。第２特徴点５５０、５５５、５６０のうち第２特徴点５６０のみが基準特徴点として決定されて映像補正過程で使用される。
【0115】
図６は、一実施形態に係る基準特徴点に基づいて映像整列を行う過程を説明するための図である。
【0116】
映像フレーム６１０は第１視点映像の現在の映像フレームを示し、映像フレーム６２０は第２視点映像の現在の映像フレームを示す。映像補正装置は、映像フレーム６１０で決定された基準特徴点６３０及び映像フレーム６２０で決定された基準特徴点６４０に基づいて、映像フレーム６２０に含まれたピクセルの位置を調整し得る。基準特徴点６３０と基準特徴点６４０は互いに対応する関係にある。
【0117】
映像補正装置は、映像座標上でホモグラフィ基盤の映像整列を行うことができる。映像補正装置は、基準特徴点６３０と基準特徴点６４０の位置情報に基づいて、映像フレーム６１０と映像フレーム６２０との間のホモグラフィを決定し得る。映像補正装置は、決定されたホモグラフィを映像フレーム６２０に適用して映像フレーム６２０に含まれたピクセルの位置を調整し得る。これに対する詳しい内容は、図３を参照して説明した内容を参照すればよい。
【0118】
それぞれの基準特徴点６３０を経過するラインはエピポーララインを示すものであり、映像補正装置は、映像フレーム６２０に含まれたピクセルのｙ位置値を調整することができる。例えば、映像フレーム６１０と映像フレーム６２０との間のホモグラフィが映像フレーム６２０に適用される場合、基準特徴点６４０のｙの位置が位置６５０に調整され得る。
【0119】
図７は、一実施形態に係る映像補正方法の動作を示すフローチャートである。
【0120】
ステップＳ７１０において、映像補正装置は、第１視点映像及び第２視点映像を含む多視点映像から特徴点を抽出する。例えば、映像補正装置は、ハリスコーナー方式、ＳＩＦＴ方式、又はＦＡＳＴ方式などの様々な方式に基づいて多視点映像から特徴点を抽出し得る。
【0121】
ステップＳ７２０において、映像補正装置は第１視点映像の現在の映像フレームに含まれた特徴点のうち、以前の映像フレームの特徴点に対応する第１特徴点を決定する。第１視点映像の現在の映像フレームと以前の映像フレームとの間で互いに対応する特徴点の対はディスクリプタの差に基づいて決定され得る。例えば、第１視点映像の現在の映像フレームと以前の映像フレームの特徴点のうち、特徴点ディスクリプタ間のＬ２距離値が予め設定された基準を満足する特徴点の対が互いに対応するものと決定され得る。このような特徴点の対のうち、映像補正装置は、第１視点映像の現在の映像と以前の映像フレーム間の基本行列を用いて第１特徴点を決定できる。
【0122】
ステップＳ７３０において、映像補正装置はステップＳ７２０で決定された第１特徴点のうち、第２視点映像の現在の映像フレームに含まれた特徴点に対応する第２特徴点を決定する。例えば、映像補正装置は、第１特徴点と第２視点映像の現在の映像フレームの特徴点のうち、特徴点ディスクリプタ間のＬ２距離値が予め設定された基準を満足する特徴点の対を互いに対応するものと決定され得る。このような特徴点の対のうち、映像補正装置は、第１視点映像の現在の映像と第２視点映像の現在の映像との間の基本行列を用いて第２特徴点を決定できる。
【0123】
ステップＳ７４０において、映像補正装置は、ステップＳ７３０で決定された第１視点映像の第２特徴点に基づいて第２視点映像の現在の映像フレームに含まれたピクセルの位置を調整する。映像補正装置は、第２特徴点の位置情報と第２視点映像の現在の映像フレームの特徴点のうち、第２特徴点に対応する第３特徴点の位置情報に基づいて、第１視点映像の現在の映像フレームと第２視点映像の現在の映像フレームとの間のホモグラフィを決定し、決定されたホモグラフィを第２視点映像の現在の映像フレームに適用して第２視点映像の現在の映像フレームに含まれたピクセルの位置を調整することができる。
【0124】
映像補正装置は、ステップＳ７５０を選択的に行ってもよい。ステップＳ７５０で、映像補正装置は、第２視点映像の現在の映像フレームに含まれたピクセルのカラー値を調整する。映像補正装置は、第１視点映像の現在の映像フレームに含まれたピクセルと第２視点映像の現在の映像フレームに含まれたピクセルとの間のカラー差を用いてカラー変換行列を推定し得る。映像補正装置は、第１視点映像の現在の映像フレームと第２視点映像の現在の映像フレームとの間のカラー変換行列を第２視点映像の現在の映像フレームに適用して第２視点映像の現在の映像フレームのカラーを調整し得る。ステップＳ７５０の動作は、図１０を参照してより具体的に説明することにする。図７に記載していない説明は、図３を参照して説明した関連説明を参照すればよい。
【0125】
図７は、２つの視点映像を例に挙げて説明しているが、３個以上の視点を有する多視点映像にも上記に説明した映像補正方法が適用され得る。例えば、３個の視点を有する多視点映像の場合、映像補正装置は、第１視点映像の第１特徴点のうち第２視点映像の現在の映像フレームに含まれた特徴点に対応する特徴点を決定し、第１視点映像の第１特徴点のうち、第３視点映像の現在の映像フレームに含まれた特徴点に対応する特徴点を決定することができる。第１視点映像と第２視点映像との間の特徴点マッチング過程及び第１視点映像と第３視点映像との間の特徴点マッチング過程は独立的に行われてもよい。他のステップは、図７及び図３の説明と同一である。
【0126】
図８は、一実施形態に係る基本行列に基づいて特徴点マッチングの成否を決定する動作を説明するためのフローチャートである。
【0127】
ステップＳ８１０において、映像補正装置は、第１視点映像の以前の映像フレームと現在の映像フレームとの間で互いに対応するものとして決定された特徴点の対をサンプリングする。映像補正装置は、第１視点映像の以前の映像フレームと現在の映像フレームとの間で決定された全体特徴点の対のうち、特定個数の特徴点の対を任意にサンプリングしてもよい。
【0128】
ステップＳ８２０において、映像補正装置は、第１視点映像の以前の映像フレームと第１視点映像の現在の映像フレームとの間の基本行列を決定する。映像補正装置は、第１視点映像の以前の映像フレームと現在の映像フレームとの間で互いに対応するものとして決定された特徴点の対の位置情報に基づいて基本行列を決定する。例えば、映像補正装置は、最小自乗法に基づいて数式（２）及び数式（３）から基本行列を決定することができる。
【0129】
ステップＳ８３０において、映像補正装置は、基本行列を適用した結果が第１条件を満足するか否かを決定する。例えば、映像補正装置は、それぞれの特徴点の対の位置情報と基本行列に基づいてＳａｍｐｓｏｎ距離を決定し、Ｓａｍｐｓｏｎ距離が特定の距離以下に含まれる特徴点の対の比率が予め設定された範囲を満足するか否かを判断する。
【0130】
基本行列を適用した結果が第１条件を満足しない場合、ステップＳ８４０において、映像補正装置は、現在の反復回数が予め設定された回数以上であるか否かを判断する。例えば、映像補正装置は、現在の反復回数が１００００回を超過したか否かを判断する。
【0131】
現在の反復回数が予め設定された回数未満である場合、映像補正装置は、ステップＳ８１０から再び開始して第１視点映像の以前の映像フレームと現在の映像フレームとの間で決定された全体特徴点の対のうち特定個数の特徴点の対を任意にサンプリングする。現在の反復回数が予め設定された回数以上である場合、ステップＳ８５０において、映像補正装置は、基本行列を適用した結果が予め設定された第２条件を満足するか否かを判断する。
【0132】
基本行列を適用した結果が予め設定された第１条件又は第２条件を満足する場合、ステップＳ８６０において、映像補正装置は、第１視点映像の以前の映像フレームと現在の映像フレームとの間に特徴点マッチングが成功したものと決定する。特徴点マッチングが成功した場合、映像補正装置は、特徴点マッチング結果に基づいて第２視点映像の現在の映像フレームに対して映像補正を行う。第１条件及び第２条件は、図３を参照して説明しインライアの比率を参照すればよい。
【0133】
ステップＳ８５０で基本行列を適用した結果が第２条件を満足しない場合、ステップＳ８７０において、映像補正装置は、第１視点映像の以前の映像フレームと現在の映像フレームとの間に特徴点マッチングが失敗したと決定する。特徴点マッチングが失敗した場合、映像補正装置は、第１視点映像の現在の映像フレームに場面転換が発生したと判断し、特徴点マッチング結果を利用することなく映像補正を行う。例えば、映像補正装置は、第１視点映像の以前の映像フレームを考慮することなく、第１視点映像の現在の映像フレームと第２視点映像の現在の映像フレームとの間の特徴点マッチングによって決定された特徴点の対に基づいて映像補正を行うことができる。
【0134】
図９は、一実施形態に係るカラー補正を行う動作を説明するためのフローチャートである。
【0135】
ステップＳ９１０において、映像補正装置（例えば、図３に示す映像補正装置３００）は、第１視点映像の現在の映像フレームと第２視点映像の現在の映像フレームとの間のホモグラフィを決定する。例えば、映像補正装置は、数式（９）に基づいて第１視点映像の現在の映像フレームと第２視点映像の現在の映像フレームとの間のホモグラフィを決定してもよい。
【0136】
ステップＳ９２０において、映像補正装置は、ステップＳ９１０で決定されたホモグラフィに基づいて第２視点映像の現在の映像フレームをワーピングする。例えば、映像補正装置は、第２視点映像の現在の映像フレームにホモグラフィの逆関数を適用して第２視点映像の現在の映像フレームをワーピングさせてもよい。
【0137】
ステップＳ９３０において、映像補正装置は、カラー変換行列を決定する。映像補正装置はワーピングされた第２視点映像の現在の映像フレームを第１視点映像の現在の映像フレームにマッピングする。映像補正装置は、マッピングされた第１視点映像の現在の映像フレームと第２視点映像の現在の映像フレームで互いに対応するピクセルを識別し、識別されたピクセルのカラー情報に基づいてカラー変換行列を決定する。例えば、映像補正装置は、第１視点映像の現在の映像フレームとワーピングされた第２視点映像の現在の映像フレーム間の重なった領域に含まれたピクセルのカラー情報と数式（１１）に基づいてカラー変換行列を決定することができる。
【0138】
ステップＳ９４０において、映像補正装置は、カラー変換行列に基づいて第２視点映像の現在の映像フレームに含まれたピクセルのカラー値を調整する。映像補正装置は、カラー変換行列を第２視点映像の現在の映像フレームに適用して第２視点映像の現在の映像フレームに含まれたピクセルのカラー値を調整し得る。
【0139】
以上で説明した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、及び／又はハードウェア構成要素及びソフトウェア構成要素の組合で実現してもよい。例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、または、命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答できる異なる装置のように、１つ以上の汎用コンピュータまたは特殊目的のコンピュータを用いて実現されてもよい。処理装置は、オペレーティングシステム（ＯＳ）及び前記オペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを行ってもよい。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理及び生成してもよい。理解の便宜のために、処理装置は１つ使用されるものと説明される場合もあるが、当該の技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含んでいることが分かる。例えば、処理装置は、複数のプロセッサまたは１つのプロセッサ及び１つのコントローラを含んでもよい。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
【0140】
ソフトウェアはコンピュータプログラム、コード、命令、またはこのうちの１つ以上の組合せを含んでもよく、希望の通りに動作するよう処理装置を構成したり独立的または結合的に処理装置を命令してもよい。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令またはデータを提供するためどのような類型の機械、構成要素、物理的装置、仮想装置、コンピュータ記録媒体または装置、送信される信号波に永久的または一時的に具体化できる。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散し、分散された方法で格納されたり実行されてもよい。ソフトウェア及びデータは１つ以上のコンピュータで読み出し可能な記録媒体に格納されてもよい。
【0141】
実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータで読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうち１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして動作するように構成されてもよく、その逆も同様である。
【0142】
上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。
【0143】
したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
