特許 5777311 低解像度ビデオから高解像度ビデオを生成する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5777311

(24)【登録日】2015年7月17日

(45)【発行日】2015年9月9日

(54)【発明の名称】低解像度ビデオから高解像度ビデオを生成する方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20150820BHJP

【ＦＩ】

   H04N5/232 Z

【請求項の数】38

【外国語出願】

【全頁数】41

(21)【出願番号】特願2010-211405(P2010-211405)

(22)【出願日】2010年9月21日

(65)【公開番号】特開2011-71986(P2011-71986A)

(43)【公開日】2011年4月7日

【審査請求日】2013年7月31日

(31)【優先権主張番号】10-2009-0089503

(32)【優先日】2009年9月22日

(33)【優先権主張国】KR

【前置審査】

(73)【特許権者】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】趙 良 鎬

(72)【発明者】

【氏名】朴 斗 植

(72)【発明者】

【氏名】李 晧 榮

(72)【発明者】

【氏名】黄 圭 榮

【審査官】 山口 祐一郎

(56)【参考文献】

【文献】 特開２００９−７０１２３（ＪＰ，Ａ）

【文献】 特開２００７−３３４６２５（ＪＰ，Ａ）

【文献】 特開２００７−１２８３４２（ＪＰ，Ａ）

【文献】 特開２００８−２７６３８０（ＪＰ，Ａ）

【文献】 特開２００７−１９３５０８（ＪＰ，Ａ）

【文献】 特開２００９−１００４０７（ＪＰ，Ａ）

【文献】 特開平８−２６３６３９（ＪＰ，Ａ）

【文献】 特開２００９−１８１５０８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００−１／４０

３／００−９／４０

Ｈ０４Ｎ １／３８−１／３９３

５／２２２−５／２５７

７／１８

(57)【特許請求の範囲】

【請求項1】

前フレームの追跡情報が可能である場合、画素追跡された画素を識別するために、現在のフレームの特徴領域に対応する画素またはブロックを含む前記現在のフレームの画素またはブロックに画素追跡を行うステップと、
前記画素追跡された画素またはブロックを特徴領域に分類して、前記画素追跡された画素またはブロックを除く前記現在のフレームの画素またはブロックの一部をそれぞれの空間周波数に対応して前記特徴領域および均等領域のうちの１つに個別的に分類するステップと、
前記特徴領域の特徴領域画素またはブロックと少なくとも１つの前フレームの特徴領域画素またはブロックをマッチングして、前記マッチングされた少なくとも１つの前フレームの特徴領域画素またはブロックおよび前記対応する画素追跡された画素またはブロックを前記現在のフレームより高解像度を有する高解像度フレームに投影するステップと、
前記マッチングされた特徴領域画素またはブロックおよび前記対応する画素追跡された画素またはブロックに基づいて、前記均等領域の画素またはブロックに基づいて、前記投影されてマッチングされた特徴領域画素またはブロックおよび前記対応する画素追跡された画素またはブロックを除く前記高解像度フレームの画素を補間するステップと、
を含み、前記分類するステップは、
前記特徴領域画素間の最小距離の大きさを調整し、調整した前記最小距離の大きさに基づいて前記特徴領域および均等領域のうちの１つに個別的に分類する映像生成方法。

【請求項2】

低解像度ビデオから高解像度ビデオを生成する方法であって、
前記低解像度ビデオの現在フレームの画素またはブロックの一部を空間周波数に応じて特徴領域および均等領域に分類（前記特徴領域に分類された画素またはブロックは、特徴領域画素またはブロックとなる）する動作と、
前記特徴領域に対して前記低解像度ビデオの複数のフレームおよび前記現在フレームに対する少なくとも１つの前フレームの画素値情報に基づいて前記特徴領域に対応する高解像度ビデオを生成し、前記均等領域に分類された前記現在フレームの画素またはブロックの間に補間を用いて前記均等領域に対応する高解像度ビデオを生成する動作と、
を含み、前記分類する動作は、
前記特徴領域画素間の最小距離の大きさを調整し、調整した前記最小距離の大きさに基づいて前記特徴領域および均等領域に分類する低解像度ビデオから高解像度ビデオを生成する方法。

【請求項3】

前記特徴領域に対応する高解像度ビデオを生成する動作は、
前記現在フレームの特徴領域画素および前記現在フレームの前記特徴領域画素に対応する少なくとも１つの前フレームの特徴領域画素を整合して前記特徴領域に対応する高解像度ビデオのフレームの画素の画素値を決定する、請求項２に記載の低解像度ビデオから高解像度ビデオを生成する方法。

【請求項4】

特徴領域に対応する高解像度ビデオのフレームの画素の画素値を決定する動作は、
少なくとも１つの前記現在フレームの前記特徴領域画素と少なくとも１つの前記前フレームの前記特徴領域画素に対応する前記画素値の間の基準値以下の差に基づいて少なくとも１つの前記前フレームの前記特徴領域画素のみ整合し、
前記基準値は、
前記現在フレームの前記特徴領域の画素がテクスチャ領域またはエッジ領域のうちどこに属するかに応じて異なる請求項３に記載の低解像度ビデオから高解像度ビデオを生成する方法。

【請求項5】

前記分類する動作は、前フレームに対する特徴領域の特徴領域画素から画素追跡された前記現在フレームの画素を前記特徴領域画素として分類する、請求項２に記載の低解像度ビデオから高解像度ビデオを生成する方法。

【請求項6】

前記分類する動作は、
前記現在フレームの第１画素が前記特徴領域画素として分類される場合、前記第１画素から少なくとも前記最小距離だけ離れた前記現在フレームの第２画素を前記第２画素のそれぞれの空間周波数に応じて前記特徴領域および前記均等領域に選択的に分類する、請求項２に記載の低解像度ビデオから高解像度ビデオを生成する方法。

【請求項7】

前記第１画素から前記最小距離だけ離れていない第２画素を前記特徴領域または前記均等領域に分類しない動作をさらに含む請求項６に記載の低解像度ビデオから高解像度ビデオを生成する方法。

【請求項8】

前記現在フレームをＮ×Ｍ個のブロックに分割する動作と、
前記Ｎ×Ｍ個のブロックのそれぞれに対する画素のうち勾配値が最大の画素であり、前記勾配値が基準値以上である画素を特徴領域画素として分類する動作と、
をさらに含む、請求項２に記載の低解像度ビデオから高解像度ビデオを生成する方法。

【請求項9】

前記低解像度ビデオの現在フレームの画素またはブロックを空間周波数に応じて特徴領域および均等領域に分類する動作は、
相対的に高い空間周波数を有する前記現在フレームの画素またはブロックを前記特徴領域として分類し、前記高い空間周波数より相対的に低い空間周波数を有する前記現在フレームの画素またはブロックを前記均等領域として分類する、請求項２に記載の低解像度ビデオから高解像度ビデオを生成する方法。

【請求項10】

前記低解像度ビデオの現在フレームの画素またはブロックを空間周波数に応じて特徴領域および均等領域に分類する動作は、
前記現在フレームの画素の画素値と前記現在フレームの隣接画素の前記画素値の差が基準値以上であれば前記現在フレームの画素を前記特徴領域として分類し、前記現在フレームの画素の画素値と前記現在フレームの隣接画素の前記画素値の差が前記基準値未満であれば前記現在フレームの画素を前記均等領域として分類する、請求項２に記載の低解像度ビデオから高解像度ビデオを生成する方法。

【請求項11】

低解像度ビデオから高解像度ビデオを生成する方法であって、
前記低解像度ビデオのｉ−１番目のフレームの特徴領域画素を画素追跡して前記低解像度ビデオのｉ番目のフレームの特徴領域画素を決定する動作と、
前記ｉ番目のフレームの前記特徴領域画素および前記ｉ番目のフレームの前記特徴領域画素に対応する少なくとも１つの前フレームの特徴領域画素を整合して前記ｉ番目のフレームに対応する高解像度ビデオのフレームの画素の画素値を決定する動作と、
補間を用いて整合されない前記ｉ番目のフレームに対応する前記高解像度ビデオの前記フレームの画素値を決定する動作と、
を含み、
前記ｉ番目のフレームの特徴領域画素および前記少なくとも１つの前フレームの特徴領域画素を整合するステップは、
前記ｉ番目のフレームの前記特徴領域画素と前記少なくとも１つの前フレームの特徴領域画素のみ整合する、前記特徴領域画素に対して追加的な画素を含む前記少なくとも１つの前フレームを整合し、
さらに前記特徴領域画素間の最小距離の大きさを調整し、前記ｉ−１番目のフレームの前記特徴領域画素のそれぞれは、調整した前記最小距離の大きさだけ離れている、低解像度ビデオから高解像度ビデオを生成する方法。

【請求項12】

前記ｉ−１番目のフレームの前記特徴領域画素は、前記低解像度ビデオのｉ−２番目のフレームの特徴領域画素から画素追跡されたり、空間周波数が相対的に高い画素である、請求項１１に記載の低解像度ビデオから高解像度ビデオを生成する方法。

【請求項13】

前記空間周波数が相対的に高い画素は、
前記画素の勾配値が基準値以上である画素である、請求項１２に記載の低解像度ビデオから高解像度ビデオを生成する方法。

【請求項14】

前記ｉ−１番目のフレームをＮ×Ｍ個のブロックに分割する動作と、
前記Ｎ×Ｍ個のブロックのそれぞれに対する画素のうちで空間周波数が最大の画素であり、前記空間周波数が基準値以上である画素を前記ｉ−１番目のフレームの前記特徴領域画素として決定する動作と、
をさらに含む、請求項１２に記載の低解像度ビデオから高解像度ビデオを生成する方法。

【請求項15】

前記ブロック内で前記空間周波数が最大の画素の空間周波数が基準値よりも小さければ、前記画素を前記特徴領域画素から除く動作、
をさらに含む、請求項１４に記載の低解像度ビデオから高解像度ビデオを生成する方法。

【請求項16】

前記ｉ番目のフレームをＮ×Ｍ個のブロックで分割するステップと、
前記Ｎ×Ｍ個の各ブロックに対する画素のうちで空間周波数が最も大きい画素であって、前記空間周波数が基準値以上である画素を前記ｉ番目のフレームの前記特徴領域画素として決定する動作と、
をさらに含む請求項１１に記載の低解像度ビデオから高解像度ビデオを生成する方法。

【請求項17】

前記Ｎ×Ｍ個の各ブロックに対する画素のうちで前記ブロック内で前記空間周波数が最も大きい画素の空間周波数が前記基準値より小さければ、前記画素は前記ｉ番目のフレームの特徴領域画素から除外される動作と、
をさらに含む請求項１６に記載の低解像度ビデオから高解像度ビデオを生成する方法。

【請求項18】

前記ｉ−１番目のフレームの前記特徴領域画素の画素値および位置を格納する動作と、
前記ｉ−１番目のフレームの前記特徴領域画素の隣接画素の画素値および位置を格納する動作と、
をさらに含む、請求項１１に記載の低解像度ビデオから高解像度ビデオを生成する方法。

【請求項19】

前記低解像度ビデオのｉ−１番目のフレームの特徴領域画素を画素追跡して前記低解像度ビデオのｉ番目のフレームの特徴領域画素を決定する動作は、
前記ｉ番目のフレームのサブピクセル単位まで追跡する、請求項１１に記載の低解像度ビデオから高解像度ビデオを生成する方法。

【請求項20】

映像と前記映像の軌跡情報を受信するステップと、
前記映像の画素またはブロックを前記画素または各ブロックの一部に対する空間周波数に対応して特徴領域および均等領域に個別的に分類（前記特徴領域に分類された画素またはブロックは、特徴領域画素またはブロックになる）するステップと、
前記軌跡情報に基づいて、前記均等領域内の画素またはブロックの間を補間し、前記特徴領域に対応する画素またはブロックの間を補間して高解像度イメージを生成するステップと、
を含み、
前記軌跡情報は、前記受信された映像に含まれる映像のシーケンス（ｓｅｑｕｅｎｃｅ）内の他の映像から画素追跡（ｔｒａｊｅｃｔｏｒｙ
ｅｓｔｉｍａｔｉｎｇ）された画素に対する軌跡情報であり、
高解像度イメージを生成するステップは、前記特徴領域に対しては、前記軌跡情報から得られる前記画素追跡された画素またはブロックを用いて前記高解像度イメージを生成し、前記均等領域に対しては、現在フレームに関する情報を用いた補間により得られる画素またはブロックを用いて前記高解像度イメージを生成する映像生成方法。

【請求項21】

第１フレームの画素およびブロックの一部をそれぞれの空間周波数に対応して前記第１フレームの特徴領域および均等領域のうちの１つにそれぞれ分類し、前記第１フレームの前記特徴領域に分類された画素またはブロックの位置および画素値を登録メモリに前記第１フレームの特徴領域画素またはブロックに格納するステップと、
前記第１フレームの次の第２フレームの画素またはブロックに画素追跡を行って、前記登録メモリから前記第１フレームの特徴領域画素またはブロックの前記位置および前記画素値を獲得し、前記獲得された第１フレームの特徴領域画素またはブロックに基づいて、前記画素追跡された第２フレームの画素またはブロックを認識と、前記画素追跡された第２フレームの画素またはブロックの位置および画素値を前記登録メモリに格納するステップと、
前記画素追跡された第２フレームの画素またはブロックを前記特徴領域に分類して、前記画素追跡された第２フレームの画素またはブロックを除く前記第２フレームの画素またはブロックの一部をそれぞれの空間周波数に対応して前記第２フレームの前記特徴領域および前記均等領域のうちの１つに分類するステップと、
前記第１フレームの特徴領域画素またはブロックと前記第２フレームの特徴領域画素またはブロックとをマッチングして、前記マッチングされた第１フレームの特徴領域画素またはブロックと前記対応する画素追跡された第２フレームの画素またはブロックを前記第２フレームより高解像度を有する高解像度フレームに投影するステップと、
前記マッチングされた第１フレームの特徴領域画素またはブロックおよび前記対応する画素追跡された第２フレームの画素またはブロックに基づいて、前記高解像度フレームの画素を（前記投影されてマッチングされた第１フレームの特徴領域画素またはブロックおよび前記対応する画素追跡された第２フレームの画素またはブロックを除く）補間し、前記第２フレームの均等領域の画素またはブロックに基づいて、前記高解像度フレームの画素を補間するステップと、
を含む映像生成方法。

【請求項22】

請求項１の方法を実行する少なくとも１つの実行装置を制御するためのコンピュータ読み出し可能コードを含む少なくとも１つの非一時的なコンピュータ読み出し可能記録媒体。

【請求項23】

請求項２の方法を実行する少なくとも１つの実行装置を制御するためのコンピュータ読み出し可能コードを含む少なくとも１つの非一時的なコンピュータ読み出し可能記録媒体。

【請求項24】

請求項１１の方法を実行する少なくとも１つの実行装置を制御するためのコンピュータ読み出し可能コードを含む少なくとも１つの非一時的なコンピュータ読み出し可能記録媒体。

【請求項25】

請求項２０の方法を実行する少なくとも１つの実行装置を制御するためのコンピュータ読み出し可能コードを含む少なくとも１つの非一時的なコンピュータ読み出し可能記録媒体。

【請求項26】

請求項２１の方法を実行する少なくとも１つの実行装置を制御するためのコンピュータ読み出し可能コードを含む少なくとも１つの非一時的なコンピュータ読み出し可能記録媒体。

【請求項27】

現在のフレームの特徴領域に対応する画素またはブロックを含む現在のフレームの画素またはブロックに画素追跡を行って、前記画素追跡された画素またはブロックを前記特徴領域に分類する画素追跡部と、
前記現在のフレームの画素追跡された画素またはブロックを除く前記現在のフレームの画素またはブロックの一部をそれぞれの空間周波数に対応して前記特徴領域および均等領域のうちの１つに個別的に分類する領域分類部と、
前記現在のフレームの特徴領域の特徴領域画素またはブロックを少なくとも１つの前フレームの特徴領域画素またはブロックとマッチングして、前記マッチングされた少なくとも１つの前フレームの特徴領域画素またはブロックおよび前記対応する画素追跡された画素またはブロックを前記現在のフレームより高解像度を有する高解像度フレームに投影する登録部と、
前記マッチングされた特徴領域画素またはブロックおよび前記対応する画素追跡された画素またはブロックに基づいて、前記均等領域の画素またはブロックに基づいて、前記投影されてマッチングされた特徴領域画素またはブロックおよび前記対応する画素追跡された画素またはブロックを除く、前記高解像度フレームの画素またはブロックを補間する高解像度補間部と、
を含み、前記領域分類部は、
前記特徴領域画素間の最小距離の大きさを調整し、調整した前記最小距離の大きさに基づいて前記特徴領域および均等領域のうちの１つに個別的に分類する映像生成システム。

【請求項28】

前記登録部は、
基準値以下になるように決定された、前記現在のフレームの特徴領域画素、および前記少なくとも１つの前フレームの対応する特徴領域画素の画素値の差に基づいて、前記少なくとも１つの前フレームの特徴領域画素を選択的にマッチングする請求項２７に記載の映像生成システム。

【請求項29】

前記登録部は、
前記現在のフレームの画素またはブロックはテクスチャを代表し、前記基準値は第１基準値の決定に基づいてマッチングを選択的に制御するテクスチャ登録部と、
前記現在のフレームの画素またはブロックはエッジを代表し、前記基準値は第１基準値より小さい第２基準値の決定に基づいてマッチングを制御するエッジ登録部と、
前記エッジ登録部から得られるエッジ領域の特徴領域画素に対してエッジ保護を行うためのローパスフィルタと、
をさらに含む請求項２８に記載の映像生成システム。

【請求項30】

低解像度ビデオから高解像度ビデオを生成する映像生成システムであって、
それぞれの空間周波数に対応して前記低解像度ビデオの現在のフレームの画素またはブロックの一部を特徴領域および均等領域に個別的に分類（前記特徴領域に分類された画素またはブロックは、特徴領域画素またはブロックとなる）する領域分類部と、
少なくとも１つの前フレームからの画素値情報に基づいて、前記特徴領域に対する前記低解像度ビデオの複数のフレームに基づいて前記特徴領域に対応する高解像度ビデオを生成し、前記均等領域に分類された前記現在のフレームの画素またはブロックの間に補間を用いて前記均等領域に対応する高解像度ビデオを生成する高解像度補間部と、
を含み、前記領域分類部は、
前記特徴領域画素間の最小距離の大きさを調整し、調整した前記最小距離の大きさに基づいて前記特徴領域および均等領域に個別的に分類する映像生成システム。

【請求項31】

低解像度ビデオから高解像度ビデオを生成する映像生成システムにおいて、
前記低解像度ビデオのｉ−１番目のフレームの特徴領域画素に個別的に画素追跡を行うことによって、前記低解像度ビデオのｉ番目のフレームの特徴領域画素を決定する画素追跡部と、
前記ｉ番目のフレームの画素を、前記ｉ番目のフレームの特徴領域画素に対応する少なくとも１つの前フレームの特徴領域画素とマッチングして、前記マッチングされた特徴領域画素を登録メモリに格納することによって、前記ｉ番目のフレームに対応する高解像度ビデオのフレームの画素の画素値を決定する登録部と、
補間を用いて、前記マッチングによって決定されなかった前記ｉ番目のフレームに対応する前記高解像度ビデオの前記フレームの画素値を決定する補間部と、
を含み、
前記ｉ番目のフレームの特徴領域画素と前記少なくとも１つの前フレームの特徴領域画素とマッチングする動作は、
前記ｉ番目のフレームの前記特徴領域画素と前記少なくとも１つの前フレームそれぞれの特徴領域画素だけをマッチングし、
前記少なくとも１つの前フレームは、
前記特徴領域画素に追加的に画素を含み、
さらに前記特徴領域画素間の最小距離の大きさを調整し、前記ｉ番目のフレームの前記特徴領域画素のそれぞれは、調整した前記最小距離の大きさだけ離れている、映像生成システム。

【請求項32】

前記ｉ−１番目のフレームの前記特徴領域画素は、
相対的に高い空間周波数を有する前記ｉ−１番目のフレームの画素または、前記登録メモリに表示された前記低解像度ビデオのｉ−２番目のフレームの特徴領域画素から画素追跡された画素の請求項３１に記載の映像生成システム。

【請求項33】

前記画素追跡されたｉ番目のフレームの画素は、
前記ｉ−１番目のフレームの特徴領域画素から画素追跡された画素の請求項３２に記載の映像生成システム。

【請求項34】

前記相対的に高い空間周波数を有する画素は、
勾配値が基準値以上である画素の請求項３２に記載の映像生成システム。

【請求項35】

前記ｉ番目のフレームをＮ×Ｍ個のブロックに分類して、前記Ｎ×Ｍ個の各ブロックに対して、前記Ｎ×Ｍ個の各ブロックの複数の画素のうち基準値以上である最も大きい空間周波数を有する画素を前記ｉ番目のフレームの前記特徴領域画素の１つとして決定する領域分類部をさらに含む請求項３１に記載の映像生成システム。

【請求項36】

前記Ｎ×Ｍ個の各ブロックの複数の画素のうち最も大きい空間周波数を有する画素の空間周波数が前記基準値より小さい場合、前記画素は前記ｉ番目のフレームの特徴領域から除外される請求項３５に記載の映像生成システム。

【請求項37】

ｉ−１番目とｉ−２番目のフレームの特徴領域画素の位置、および前記ｉ−１番目とｉ−２番目のフレームの前記特徴領域画素の画素値を格納して、前記ｉ−１番目とｉ−２番目のフレームの前記特徴領域画素に隣接した画素の画素値と前記隣接した画素の位置を格納する前記登録メモリ
をさらに含み、
前記登録メモリは、
前記ｉ番目のフレームの前記特徴領域画素と、前記ｉ番目のフレームの前記特徴領域画素に対応する前記ｉ−１番目とｉ−２番目のフレームの前記特徴領域画素のマッチングに基づいてマッチングを行い、
前記マッチングは、
前記登録メモリから前記ｉ−１番目とｉ−２番目のフレームの前記特徴領域画素の位置情報および画素値を獲得する請求項３１に記載の映像生成システム。

【請求項38】

前記画素追跡部は、
前記ｉ番目のフレームの副画素単位まで前記ｉ−１番目のフレームの前記特徴領域画素に画素追跡を行うことによって、前記ｉ番目のフレームの前記特徴領域画素を決定する請求項３１に記載の映像生成システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、低解像度ビデオから高解像度ビデオを生成する方法に関し、より具体的に、画素追跡および補間を用いて高解像度ビデオを生成する方法に関する。

【背景技術】

【0002】

低解像度ビデオから高解像度ビデオへの映像拡大は、映像器機の重要な機能の１つであり、カムコーダのような民生用製品から天文学や医療などの専門的な分野まで幅広く適用される必須要素である。最近では、デジタルカメラまたはカムコーダで取得した低解像度ビデオを高解像度ビデオに変換したり、低解像度ビデオコンテンツを高解像度表示装置で再現したり、高解像度ビデオを低解像度ビデオで圧縮した後に再び高解像度ビデオに修復しなければならない場合が増加し、低解像度ビデオから高解像度ビデオへの映像拡大の必要性は増加している。

【0003】

映像拡大は、レンズの組み合わせを用いて実現することができるが、このような光学的な拡大技法を用いて高倍率の拡大を行おうとする場合、それによる体積や値、または重さなどが相当に増大するという問題を伴う。このような問題を解決するために用いられているものが、デジタル映像処理技術を用いた映像拡大技法である。デジタル映像処理技術を用いる場合、映像拡大は半導体チップを用いて実現されるため、上述した光学的な拡大技法に比べて費用が少なく、既存の光学的な拡大技法と結合して用いればより効率的に高倍率に拡大した映像を得ることができる。また、信号処理の側面における映像拡大技法は、映像の解像度や大きさの増加にのみ用いられるのではなく、互いに異なる大きさの映像を用いるシステム間の互換性を保持することにも用いられ、映像圧縮と関連して映像を表現するのに必要なデータの量を減少させることにも応用することができる。信号処理あるいは映像処理の側面における映像拡大技法には様々な接近方法があるが、信号の補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を用いる方式が実現が容易であり、さらに実際に利用されている方法でもある。映像の補間は、離散的な元映像が有する画素間の間隔を拡張させ、拡張した間隔間の値を推定して挿入することにより、映像が拡大する効果を得る技法である。このとき、どのような方式によって拡張した間隔間の値を推定するかに応じて映像拡大方法が決定し、決定された映像拡大方法に応じて拡大した映像が異なるようになる。

【0004】

図１４は、映像場面の複数のフレームがマルチフレームメモリに入力される従来の映像生成システムを示す。

【0005】

より詳しくは、個別のフレームメモリが各フレームに対して要求され、例えば、１０個の前フレームから動作予測に基づく現在のフレームの中の画素を補間する場合、マルチフレームメモリ内に１０個の個別のフレームメモリが要求される。

【0006】

マルチフレーム動作予測部１２は、すべての前フレームの画素またはブロックと関連する現在のフレームの各画素またはブロックに対する動作を予測する。例えば、各画素に対する動作予測は、各画素またはブロックに対する前フレームに基づく１０個の個別動作予測を要求する少なくとも１０個の前フレームに基づくことができる。

【0007】

各画素またはブロックに対するすべての前フレームの観点で、各画素またはブロックに対する動作予測は予測することができ、高解像度補間部１４は現在のフレームの画素またはブロックの補間を実行することができる。

【0008】

しかし、従来の方法は、実質的メモリ（ｓｕｂｓｔａｎｔｉａｌ ｍｅｍｏｒｙ）、処理リソースが要求され、費用、ディレイを増加させ、映像変換に制約がある。個別的なフレームメモリは、各前フレームに対して要求され、前フレームのすべてのピクセルまたは、ブロックは個別的なフレームメモリにそれぞれ格納される。また、動作予測は動作予測に基づく前フレームに対する現在のフレームのすべての画素またはブロックに対して要求される。

【0009】

したがって、上述した欠点のために、従来の映像変換方法は携帯用移動端末機に用いることができず、リアルタイムで実行することはできない。したがって、映像拡大のための従来の映像処理方法は実質的な欠点がある。

【発明の概要】

【発明が解決しようとする課題】

【0010】

本発明は、低解像度ビデオの前フレームのすべての画素に対して画素追跡および整合を実行せずに、前フレームの特徴領域画素に対してのみ画素追跡および整合を実行することにより、計算量を減らすことができてメモリ使用の効率を向上させることができ、高解像度ビデオのリアルタイム生成が可能であり、さらに、特徴領域に対してはより精密な高解像度映像を生成することを目的とする。

【0011】

また、本発明は、特徴領域画素である画素間に最小距離を保持するように調整することにより、あるいは低解像度ビデオのフレームをＮ×Ｍ個のブロックに分割して１つのブロックに１つの特徴領域画素のみを有するようにし、ＮとＭの値を調整して現在フレームの特徴領域画素の数を調整することにより、計算量を減らすことができてメモリ使用の効率を向上することができ、画素追跡作業時に軌跡が重複することを防ぐことができて画素追跡の効率を向上することを目的とする。

【課題を解決するための手段】

【0012】

本発明の一実施形態に係る映像生成方法は、前フレームの追跡情報が可能である（ａｖａｉｌａｂｌｅ）場合、画素追跡された画素を識別（ｉｄｅｎｔｉｆｙ）するために、現在のフレームの特徴領域に対応する画素またはブロックを含む前記現在のフレームの画素またはブロックに画素追跡を行うステップと、前記画素追跡された画素またはブロックを特徴領域に分類して、前記画素追跡された画素またはブロックを除く前記現在のフレームの画素またはブロックの一部をそれぞれの空間周波数に対応して前記特徴領域および均等領域のうちの１つに個別的に分類するステップと、前記特徴領域の特徴領域画素またはブロックと少なくとも１つの前フレームの特徴領域画素またはブロックをマッチングして、前記マッチングされた少なくとも１つの前フレームの特徴領域画素またはブロックおよび前記対応する画素追跡された画素またはブロックを前記現在のフレームより高解像度を有する高解像度フレームに投影するステップと、前記マッチングされた特徴領域画素またはブロックおよび前記対応する画素追跡された画素またはブロックに基づいて、前記均等領域の画素またはブロックに基づいて、前記投影されてマッチングされた特徴領域画素またはブロックおよび前記対応する画素追跡された画素またはブロックを除く前記高解像度フレームの画素を補間するステップとを含み、前記分類するステップは、前記特徴領域画素間の最小距離の大きさを調整し、調整した前記最小距離の大きさに基づいて前記特徴領域および均等領域のうちの１つに個別的に分類する。

【0013】

本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、前記低解像度ビデオの現在フレームの画素またはブロックの一部を空間周波数に応じて特徴領域および均等領域に分類（前記特徴領域に分類された画素またはブロックは、特徴領域画素またはブロックとなる）する動作と、前記特徴領域に対して前記低解像度ビデオの複数のフレームおよび前記現在フレームに対する少なくとも１つの前フレームの画素値情報に基づいて前記特徴領域に対応する高解像度ビデオを生成し、前記均等領域に分類された前記現在フレームの画素またはブロックの間に補間を用いて前記均等領域に対応する高解像度ビデオを生成する動作とを含み、前記分類する動作は、前記特徴領域画素間の最小距離の大きさを調整し、調整した前記最小距離の大きさに基づいて前記特徴領域および均等領域に分類する。

【0014】

本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、前記低解像度ビデオのｉ−１番目のフレームの特徴領域画素を画素追跡して前記低解像度ビデオのｉ番目のフレームの特徴領域画素を決定する動作と、前記ｉ番目のフレームの前記特徴領域画素および前記ｉ番目のフレームの前記特徴領域画素に対応する少なくとも１つの前フレームの特徴領域画素を整合して前記ｉ番目のフレームに対応する高解像度ビデオのフレームの画素の画素値を決定する動作と、補間を用いて整合されない前記ｉ番目のフレームに対応する前記高解像度ビデオの前記フレームの画素値を決定する動作と、を含み、前記ｉ番目のフレームの特徴領域画素および前記少なくとも１つの前フレームの特徴領域画素を整合するステップは、前記ｉ番目のフレームの前記特徴領域画素と前記少なくとも１つの前フレームの特徴領域画素のみ整合する、前記特徴領域画素に対して追加的な画素を含む前記少なくとも１つの前フレームを整合し、さらに前記特徴領域画素間の最小距離の大きさを調整し、前記ｉ−１番目のフレームの前記特徴領域画素のそれぞれは、調整した前記最小距離の大きさだけ離れている。

【0015】

本発明の一実施形態に係る映像生成方法は、映像と前記映像の軌跡情報（Ｔｒａｊｅｃｔｏｒｙ Ｉｎｆｏｒｍａｔｉｏｎ）を受信するステップと、前記映像の画素またはブロックを前記画素または各ブロックの一部に対する空間周波数に対応して特徴領域および均等領域に個別的に分類（前記特徴領域に分類された画素またはブロックは、特徴領域画素またはブロックとなる）するステップと、前記軌跡情報に基づいて、前記均等領域内の画素またはブロックの間を補間し、前記特徴領域に対応する画素またはブロックの間を補間して高解像度イメージを生成するステップとを含む。

【0016】

本発明の一実施形態に係る映像生成方法は、第１フレームの画素およびブロックの一部をそれぞれの空間周波数に対応して前記第１フレームの特徴領域および均等領域のうちの１つにそれぞれ分類し、前記第１フレームの前記特徴領域に分類された画素またはブロックの位置および画素値を登録メモリに前記第１フレームの特徴領域画素またはブロックに格納するステップと、前記第１フレームの次の第２フレームの画素またはブロックに画素追跡を行って、前記登録メモリから前記第１フレームの特徴領域画素またはブロックの前記位置および前記画素値を獲得し、前記獲得された第１フレームの特徴領域画素またはブロックに基づいて、前記画素追跡された第２フレームの画素またはブロックを認識（ｉｄｅｎｔｉｆｙｉｎｇ）して、前記画素追跡された第２フレームの画素またはブロックの位置および画素値を前記登録メモリに格納するステップと、前記画素追跡されたフレームの画素またはブロックを前記特徴領域に分類して、前記画素追跡された第２フレームの画素またはブロックを除く前記第２フレームの画素またはブロックの一部をそれぞれの空間周波数に対応して前記第２フレームの前記特徴領域および前記均等領域のうちの１つに分類するステップと、前記第１フレームの特徴領域画素またはブロックと前記第２フレームの特徴領域画素またはブロックとをマッチングして、前記マッチングされた第１フレームの特徴領域画素またはブロックと前記対応する画素追跡された第２フレームの画素またはブロックを前記第２フレームより高解像度を有する高解像度フレームに投影（ｐｒｏｊｅｃｔ）するステップと、前記マッチングされた第１フレームの特徴領域画素またはブロックおよび前記対応する画素追跡された第２フレームの画素またはブロックに基づいて、前記高解像度フレームの画素を（前記投影されてマッチングされた第１フレームの特徴画素またはブロックおよび前記対応する画素追跡された第２フレームの画素またはブロックを除いて）補間し、前記第２フレームの均等領域の画素またはブロックに基づいて、前記高解像度フレームの画素を補間するステップとを含む。

【0017】

本発明の一実施形態に係る映像生成システムは、現在のフレームの特徴領域に対応する画素またはブロックを含む現在のフレームの画素またはブロックに画素追跡を行って、前記画素追跡された画素またはブロックを前記特徴領域に分類する画素追跡部と、前記現在のフレームの画素追跡された画素またはブロックを除く前記現在のフレームの画素またはブロックの一部をそれぞれの空間周波数に対応して前記特徴領域および均等領域のうちの１つに個別的に分類する領域分類部と、前記現在のフレームの特徴領域の特徴領域画素またはブロックを少なくとも１つの前フレームの特徴領域画素またはブロックとマッチングして、前記マッチングされた少なくとも１つの前フレームの特徴領域画素またはブロックおよび前記対応する画素追跡された画素またはブロックを前記現在のフレームより高解像度を有する高解像度フレームに投影する登録部と、前記マッチングされた特徴領域画素またはブロックおよび前記対応する画素追跡された画素またはブロックに基づいて、前記均等領域の画素またはブロックに基づいて、前記投影されてマッチングされた特徴領域画素またはブロックおよび前記対応する画素追跡された画素またはブロックを除く、前記高解像度フレームの画素またはブロックを補間する高解像度補間部とを含み、前記領域分類部は、前記特徴領域画素間の最小距離の大きさを調整し、調整した前記最小距離の大きさに基づいて前記特徴領域および均等領域のうちの１つに個別的に分類する。

【0018】

本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する映像生成システムは、低解像度ビデオから高解像度ビデオを生成する映像生成システムであって、それぞれの空間周波数に対応して前記低解像度ビデオの現在のフレームの画素またはブロックの一部を特徴領域および均等領域に個別的に分類（前記特徴領域に分類された画素またはブロックは、特徴領域画素またはブロックとなる）する領域分類部と、少なくとも１つの前フレームからの画素値情報に基づいて、前記特徴領域に対する前記低解像度ビデオの複数のフレームに基づいて前記特徴領域に対応する高解像度ビデオを生成し、前記均等領域に分類された前記現在のフレームの画素またはブロックの間に補間を用いて前記均等領域に対応する高解像度ビデオを生成する高解像度補間部と、を含み、前記領域分類部は、前記特徴領域画素間の最小距離の大きさを調整し、調整した前記最小距離の大きさに基づいて前記特徴領域および均等領域に個別的に分類する。

【0019】

本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する映像生成システムは、前記低解像度ビデオのｉ−１番目のフレームの特徴領域画素に個別的に画素追跡を行うことによって、前記低解像度ビデオのｉ番目のフレームの特徴領域画素を決定する画素追跡部と、前記ｉ番目のフレームの画素を、前記ｉ番目のフレームの特徴領域画素に対応する少なくとも１つの前フレームの特徴領域画素とマッチングして、前記マッチングされた特徴領域画素を登録メモリに格納することによって、前記ｉ番目のフレームに対応する高解像度ビデオのフレームの画素の画素値を決定する登録部と、補間を用いて、前記マッチングによって決定されなかった前記ｉ番目のフレームに対応する前記高解像度ビデオの前記フレームの画素値を決定する補間部とを含み、前記ｉ番目のフレームの特徴領域画素と前記少なくとも１つの前フレームの特徴領域画素とマッチングする動作は、前記ｉ番目のフレームの前記特徴領域画素と前記少なくとも１つの前フレームそれぞれの特徴領域画素だけをマッチングし、前記少なくとも１つの前フレームは、前記特徴領域画素に追加的に画素を含み、さらに前記特徴領域画素間の最小距離の大きさを調整し、前記ｉ番目のフレームの前記特徴領域画素のそれぞれは、調整した前記最小距離の大きさだけ離れている。

【発明の効果】

【0020】

本発明の実施形態によれば、低解像度ビデオの前フレームのすべての画素に対して画素追跡および整合を実行せず、前フレームの特徴領域画素に対してのみ画素追跡および整合を実行することにより、計算量を減らすことができてメモリ使用の効率を向上させることができ、高解像度ビデオのリアルタイム生成が可能であり、さらに、特徴領域に対してはより精密な高解像度映像を生成することができる。

【0021】

また、本発明の実施形態によれば、特徴領域画素である画素間に最小距離を保持するように調整することにより、あるいは低解像度ビデオのフレームをＮ×Ｍ個のブロックに分割して１つのブロックに１つの特徴領域画素のみを有するようにし、ＮとＭの値を調整して現在フレームの特徴領域画素の数を調整することにより、計算量を減らすことができてメモリ使用の効率を向上することができ、画素追跡作業時に軌跡が重複することを防ぐことができて画素追跡の効率を向上することができる。

【図面の簡単な説明】

【0022】

【図1】本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法を示すフローチャートである。

【図2】本発明の一実施形態に係る特徴領域画素である画素間に最小距離を保持するように調整する動作を示す図である。

【図3】本発明の他の一実施形態に係る特徴領域画素である画素間に最小距離を保持するように調整する動作を示す図である。

【図4】本発明の一実施形態に係る現在フレームをＮ×Ｍ個のブロックに分割して特徴領域画素を決定する動作を示す図である。

【図5】本発明の一実施形態に係る現在フレームを特徴領域および均等領域に分類する動作を示す図である。

【図6A】本発明の一実施形態に係る特徴領域画素に対して画素追跡する動作を示す図である。

【図6B】本発明の一実施形態に係る特徴領域画素に対して画素追跡する動作を示す図である。

【図7】本発明の一実施形態に係る特徴領域画素に対してサブピクセル単位まで画素追跡する動作を示す図である。

【図8】本発明の一実施形態に係る低解像度ビデオのフレームの特徴領域画素および隣接画素の画素値と位置を格納する動作を示す図である。

【図9】本発明の一実施形態に係る特徴領域画素を整合する動作を示す図である。

【図10】本発明の一実施形態に係る特徴領域画素の整合のエラーを補正するための動作を示す図である。

【図11】本発明の一実施形態に係る低解像度ビデオのフレームに対応する高解像度ビデオのフレームを示す図である。

【図12】本発明の一実施形態に係る高解像度ビデオのフレームの画素を補間する動作を示す図である。

【図13A】本発明の一実施形態に係る低解像度映像から高解像度映像を生成する映像処理システムを示す図である。

【図13B】本発明の一実施形態に係る低解像度映像から高解像度映像を生成する映像処理システムを示す図である。

【図13C】本発明の一実施形態に係る低解像度映像から高解像度映像を生成する映像処理システムを示す図である。

【図14】映像場面の複数のフレームがマルチフレームメモリに入力される従来の映像生成システムを示す。

【発明を実施するための形態】

【0023】

以下、添付の図面に基づき、本発明の好適な実施の形態を詳細に説明するが、本発明がこれらの実施形態によって制限または限定されることはない。図中、同じ参照符号は同じ部材を示す。

【0024】

本明細書で用いられる「ビデオ」は、電気信号を用いた、目で見ることができるディスプレイスで再生されることのできるスクリーンまたは映像のようなすべての形態の画面または映像を意味する。「映像（ｉｍａｇｅ）」は、ビデオの単一フレームであってもよい。例えば、複数の隣接したフレームは、ビデオを構成することができるが、すべてのフレームは１つのビデオとして理解されるための映像の集合であり、必ずしも連続的である必要はない。

【0025】

以下、本発明の実施形態について、添付の図面を参照しながら詳細に説明する。

【0026】

図１は、本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法を示すフローチャートである。

【0027】

図１を参照すれば、本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、低解像度ビデオの現在フレームまたは映像をを空間周波数に応じて特徴領域および均等領域に分類することができる（Ｓ１１０）。「特徴領域」は、ビデオが含んでいる映像情報において、細密かつ変化が相対的に多い部分をいう。例えば、ビデオが含んでいる映像情報の任意の部分がチェック柄のように多様な明度と色相を有し、この部分内の画素の画素値を隣接画素の画素値から類推することが困難な場合、この部分は特徴領域とすることができる。「均等領域」は、ビデオが含んでいる映像情報において、平滑かつ変化が相対的に少ない部分をいう。例えば、ビデオが含んでいる映像情報の任意の部分が同じ明度と色相を有し、この部分内の画素の画素値を隣接画素の画素値から類推することが容易な場合、この部分は均等領域とすることができる。特徴領域と均等領域を分類する動作については、以下で詳しく説明する。

【0028】

さらに、下記にて詳細に説明するように、フレーム内部の画素は、選択的に特徴領域および均等領域に分類することができる。例えば、現在のフレームの画素の一部は特徴領域内として考慮されてもよく、現在のフレームの画素の一部は均等領域として考慮されるかもしれない。

【0029】

実施形態によっては、特徴領域に分類される画素は、均等領域に分類される画素と同じでなくてもよく、低解像度フレームのすべての画素が特徴領域または均等領域に分類される必要はない。

【0030】

実施形態によっては、前フレームの追跡情報が可能である場合、画素追跡はステップＳ１１０中に、またはそれ以前に行うことができる。もし、低解像度フレームのピクセルの画素追跡がステップＳ１１０中に、またはそれ以前に実行され、それにより、画素が前フレームの他の画素から追跡されることによって決定されれば、低解像度フレームの画素追跡された画素は、自動的に低解像度フレームの特徴領域画素に分類することができる。

【0031】

例えば、もし、低解像度ビデオの第１低解像度フレームが検討（ｒｅｖｉｅｗｅｄ）されれば、前フレームの追跡情報は可能でないこともある。

【0032】

しかし、次の低解像度フレームが分析される場合、次の低解像度フレームの画素の画素追跡のための追跡情報は、現在の低解像度フレームの画素の分類に基づいて可能になる。

【0033】

低解像度フレームの残りの画素は、特徴領域または均等領域に分類することができる。同様に、ステップＳ１１０の分類は、低解像度フレームの選択画素で実行できるために、特徴領域の分類された画素の間で最小距離の潜在的維持に基づいて、すでに分類された特徴領域画素を囲んだ一部の画素は、選択的に分類されないことがある。

【0034】

囲んだ画素の一部に対する画素値を、特徴領域に分類された画素の隣接または近接の画素として格納することができる。

【0035】

実施形態によっては、均等領域に分類された画素の間に最小距離がないこともある。

【0036】

また、特徴領域に対して高解像度ビデオを生成することができる（Ｓ１２０）。実施形態によって、特徴領域に対して低解像度ビデオの複数のフレームに基づいて高解像度ビデオを生成することができる。

【0037】

また、均等領域に対して高解像度ビデオを生成することができる（Ｓ１３０）。実施形態によって、均等領域に対して補間を用いて高解像度ビデオを生成することができる。すなわち、均等領域に対して低解像度ビデオの単一フレームに基づいて高解像度ビデオを生成することができる。ステップＳ１２０およびステップＳ１３０は、並列して実行することができる。

【0038】

また、本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、前記ステップＳ１１０〜Ｓ１３０の過程によって高解像度ビデオを生成することができる（Ｓ１４０）。実施形態によっては、高解像度ビデオに基づく均等領域および高解像度ビデオに基づく特徴領域を生成するために組合わせる高解像度フレームを生成できるように分析された各低解像度フレームの特徴領域および均等領域それぞれに対して高解像度ビデオを個別に生成した後に、特徴領域に基づく高解像度ビデオおよび均等領域に基づく高解像度ビデオは、特徴領域および均等領域を代表する１つの高解像度ビデオを生成するために結合することができる。

【0039】

以下、本発明の一実施形態に係る特徴領域と均等領域を分類する動作について詳しく説明する。下記の均等領域または特徴領域で画素またはブロックを分類するための分類動作は、特徴領域および均等領域で画素を分類するために単独または組合わせて行うことができる。

【0040】

本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、相対的に空間周波数が高い領域を特徴領域とし、相対的に空間周波数が低い領域を均等領域として分類することができる。

【0041】

実施形態によって、低解像度ビデオの現在フレームを現在フレームの画素の勾配（ｇｒａｄｉｅｎｔ）値に応じて特徴領域および均等領域に分類することができる。現在フレームの画素の勾配値が基準値以上であれば画素を特徴領域として分類し、現在フレームの画素の勾配値が基準値未満であれば画素を均等領域として分類することができる。「勾配値」は、画素が含む明度、色相、その他の情報の変化率とすることができる。実施形態によって、ｘ軸への変化率およびｙ軸への変化率を総合した勾配値を用いることができる。例えば、勾配値は、次のような数式で示すことができる。

【0042】

【数1】

前記の数式において、｜Ｇ｜は勾配値、｜Ｇ_x｜はｘ軸への変化率、｜Ｇ_ｙ｜はｙ軸への変化率を示す。実施形態によって、勾配値は、ｘ軸への変化率またはｙ軸への変化率のみを個別に考慮することができる。

【0043】

上記の実施形態は、任意の画素に関する勾配を説明するものであるが、ブロック内の画素の平均進行によるように、勾配（例えば、全体ブロックまたは、ブロックの１つ以上の画素のために演算された勾配に基づくブロックのための勾配）は、画素の１つ以上のブロックおよび／または１つの画素に関するものであってもよい。

【0044】

例えば、ブロックの色または、画素のブロックの強さは、ブロック内の画素値の平均に基づくことができる。

【0045】

ブロックのうちのブロックまたは画素の代替可能な代表は、代替可能な技術によって生成することができる。

【0046】

実施形態によって、低解像度ビデオの現在フレームを現在フレームの画素の２次微分値に応じて特徴領域および均等領域に分類することができる。現在フレームの画素の２次微分値が基準値以上であれば画素を特徴領域として分類し、現在フレームの画素の２次微分値が基準値未満であれば画素を均等領域として分類することができる。「２次微分値」を求める方法の実施形態として、ラプラシアン（Ｌａｐｌａｃｉａｎ）、ラプラシアンオブガウシアン（Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ：ＬＯＧ）がある。

【0047】

実施形態によって、低解像度ビデオの現在フレームを現在フレームの画素と隣接画素との明度差の分散に応じて特徴領域および均等領域に分類することができる。「隣接画素」は任意の画素の周辺画素をいい、画素から隣接した程度に対する基準値は調整することができる（例えば、画素から３画素（ｐｉｘｅｌ）内の画素のみを隣接画素とする）。現在フレームの画素と隣接画素との明度（ｉｎｔｅｎｓｉｔｙ）差の分散が基準値以上であれば画素を特徴領域として分類し、現在フレームの画素と隣接画素との明度差の分散が基準値未満であれば画素を均等領域として分類することができる。「明度差の分散」は、現在フレームの画素と隣接画素との明度差および明度差の平均値との差をいい、明度差の平均値を基準とした明度差の分布された程度を示す尺度とすることができる。

【0048】

実施形態によって、低解像度ビデオの現在フレームを現在フレームの画素と隣接画素との画素値の差に応じて特徴領域および均等領域に分類することができる。現在フレームの画素と隣接画素との画素値の差が基準値以上であれば画素を特徴領域として分類し、現在フレームの画素と隣接画素との画素値の差が基準値未満であれば画素を均等領域として分類することができる。「画素値」は、画素が含む色相値、明度値、その他の情報とすることができる。

【0049】

また、現在のフレームの特徴領域での分類に基づく本発明の一実施形態において、特徴領域に分類された画素近くの画素は、必ず空間周波数によって特徴領域および均等領域のうちの１つに分類される必要はない。例えば、現在のフレームのすべての画素に対する分類作業が必ず行われる必要はないため、特徴領域に分類された画素近くの画素に対する分類作業は省略することができ、省略された画素は特徴領域または均等領域のうちのいずれか１つにも分類されないことがある。

【0050】

それにもかかわらず、近所の画素の一部のための画素情報（例えば、特徴領域に分類された隣接または近接の画素の画素情報）を格納することができる。

【0051】

上述した選択的分類の接近は、特徴領域に分類された画素（以下、特徴領域画素とする）間で最小距離が維持されるように行うことができる。

【0052】

また、本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、現在フレームのすべての画素に対して空間周波数に応じて特徴領域および均等領域に分類するのではなく、特徴領域に属する画素（以下、「特徴領域画素」という）である画素間に最小距離を保持するように調整するために、一部の画素に対してのみ空間周波数に応じて特徴領域および均等領域に分類することができる。実施形態によって、任意の画素に対して空間周波数に応じて特徴領域および均等領域に分類をした後に、任意の画素が特徴領域画素として分類された場合、任意の画素から一定の最小距離が離隔した画素に対して空間周波数に応じて特徴領域および均等領域に分類する動作を実行することにより、特徴領域画素間に最小距離を保持するように調整することができる。任意の画素が均等領域に属する画素（以下、「均等領域画素」とする）として分類された場合、最小距離の判断なく、任意の画素に隣接した画素に対して分類する動作を実行することができる。最小距離の大きさを調節することにより、現在フレームの特徴領域画素の数を調節することができる。

【0053】

実施形態によって、低解像度ビデオから高解像度ビデオを生成する方法は、最小距離の入力を受ける動作および／または隣接した画素を制御する離隔程度をさらに含むことができる。例えば、特徴領域画素がとても近くにある場合、画素追跡が重複することがあるため、実施形態によっては、各自の軌道の重複を防止するために、最小距離は特徴領域画素の間の距離に基づくように設計することができる。

【0054】

以下、図２および図３を参照しながら、特徴領域画素である画素間に最小距離を保持するように調整する動作についてより詳しく説明する。

【0055】

図２は、本発明の一実施形態に係る特徴領域画素である画素間に最小距離が保持されるようにする分類動作の調整を示す図である。

【0056】

図２を参照すれば、一実施形態に係る低解像度ビデオの現在フレーム２１０の任意の画素２２０を空間周波数に応じて特徴領域および均等領域に分類することができる。画素２２０が均等領域画素として分類された場合、均等領域画素の間に最小距離の判断なく、画素２２０に隣接した画素に対して空間周波数に応じて特徴領域および均等領域に分類することができる。画素２２０が特徴領域画素として分類された場合、画素２２０から最小距離２５０を半径とする円領域内の画素に対しては分類動作を実行せずに、画素２２０から最小距離２５０を半径とする円領域外の画素である画素２３０に対して空間周波数に応じて特徴領域および均等領域に分類することができる。

【0057】

実施形態によっては、画素２２０が特徴領域画素に分類される場合、最小距離２５０内の画素は分類されないことがある。代わりに、最小距離２５０内の画素は自動的に特徴領域に分類することができる。

【0058】

その後に、画素２３０が特徴領域画素として分類された場合、画素２３０から最小距離を半径とする円領域外の画素である画素２４０に対する分類が実行されてもよい。一方、画素２３０から最小距離内の画素に対しては、分類が実行されないこともある。

【0059】

したがって、画素に対する分類は、特徴領域画素である画素２２０、２３０、２４０間に最小距離が保持されるように調整または制御することができる（例えば、画素２４０が特徴領域に分類される場合）。

【0060】

図３は、本発明の他の一実施形態に係る特徴領域画素である画素間に最小距離が保持されるようにする分類動作の調整を示す図である。

【0061】

図３を参照すれば、低解像度ビデオの現在フレーム３１０の任意の画素３２０を空間周波数に応じて特徴領域および均等領域に分類することができる。画素３２０が均等領域画素として分類された場合、最小距離の判断なく、画素３２０に隣接した画素に対して空間周波数に応じて特徴領域および均等領域に分類することができる。画素３２０が特徴領域画素として分類された場合、画素３２０からｘ軸方向に最小距離３７０内の画素に対しては分類動作を実行しなくともよく、画素３２０からｘ軸方向に最小距離３７０外の画素である画素３３０に対しては分類動作を実行してもよい。

【0062】

その後に、画素３３０が特徴領域画素または均等領域画素に分類されたかに関わらず、画素３３０からｘ軸方向に最小距離外の画素である画素３４０に対する分類を実行することができる。

【0063】

図３の実施形態によれば、分類を実行するか否かを決定するための最小距離は、ｘ軸方向にのみ最小距離を保持するようにする分類が実行されるように調整してもよく、ｙ軸方向の最小距離は制御しなくともよい。

【0064】

したがって、画素３２０および画素３４０がすべて特徴領域画素として分類された場合、画素３５０は画素３２０からｙ軸方向に最小距離外の画素ではないが、画素３４０からｘ軸方向に最小距離外の画素であるため、画素３４０に対して空間周波数に応じて特徴領域および均等領域に分類することができる。その後に、同様に、画素３４０が特徴領域画素として分類された場合、画素３６０は画素３４０からｙ軸方向に最小距離外の画素ではないが、画素３５０からｘ軸方向に最小距離外の画素であるため、画素３６０に対して空間周波数に応じて特徴領域および均等領域に分類することができる。

【0065】

実施形態によっては、分類を行うのか否かを決定するための最小距離は、ｘ軸方向またはｙ軸方向に最小距離が維持されるようにする分類が行われるように選択的に調整することができる。または、最小距離は、ｙ軸方向だけでなく、ｘ軸方向への最小距離およびｙ軸方向への最小距離皆に基づいて行うことができる。同様に、最小距離はｘ軸方向またはｙ軸方向で陽または陰の方向にあることもあり、現在のフレームの領域に基づいて調整することができる。例えば、関心領域が予め設定されることによって、最小距離は良い選好度を提供するために調整することができる。

【0066】

本発明の一実施形態によれば、特徴領域画素から最小距離外の画素は相対的に空間周波数が高ければ特徴領域とし、相対的に空間周波数が低ければ均等領域として分類することができる。

【0067】

したがって、相対的に低い空間周波数を有する（例えば、均等領域に分類することが可能な程度）、分類された特徴領域画素から最小距離内の画素は、特徴領域または均等領域に分類されないことがある。

【0068】

実施形態によっては、最小距離内の画素が均等領域に分類された場合でも、最小距離内の画素は、自動的に特徴領域に分類することができる。

【0069】

特徴領域画素から最小距離の外にあって、相対的に低い空間周波数を有する画素は、均等領域に分類することができる。以下、特徴領域画素から最小距離だけ離れた画素は、「分離画素」という。

【0070】

実施形態によって、特徴領域画素から最小距離外の画素に対して画素の勾配値に応じて特徴領域および均等領域に分類することができる。特徴領域画素から最小距離外の画素の勾配値が基準値以上であれば画素を特徴領域として分類し、特徴領域画素から最小距離外の画素の勾配値が基準値未満であれば画素を均等領域として分類することができる。

【0071】

実施形態によって、特徴領域画素から最小距離外の画素に対して画素の２次微分値に応じて特徴領域および均等領域に分類することができる。特徴領域画素から最小距離外の画素の２次微分値が基準値以上であれば画素を特徴領域として分類し、特徴領域画素から最小距離外の画素の２次微分値が基準値未満であれば画素を均等領域として分類することができる。

【0072】

実施形態によって、特徴領域画素から最小距離外の画素に対して特徴領域画素から最小距離外の画素と隣接画素との明度差の分散に応じて特徴領域および均等領域に分類することができる。

【0073】

特徴領域画素から最小距離外の画素と隣接画素との明度差の分散が基準値以上であれば特徴領域画素から最小距離外の画素を特徴領域として分類し、特徴領域画素から最小距離外の画素と隣接画素との明度差の分散が基準値未満であれば特徴領域画素から最小距離外の画素を均等領域として分類することができる。

【0074】

実施形態によって、特徴領域画素から最小距離外の画素に対して特徴領域画素から最小距離外の画素と隣接画素との画素値の差に応じて特徴領域および均等領域に分類することができる。特徴領域画素から最小距離外の画素と隣接画素との画素値の差が基準値以上であれば特徴領域画素から最小距離外の画素を特徴領域として分類し、特徴領域画素から最小距離外の画素と隣接画素との画素値の差が基準値未満であれば特徴領域画素から最小距離外の画素を均等領域として分類することができる。

【0075】

また、実施例によっては、現在フレームをＮ×Ｍ（ＮとＭは１より大きい）個のブロック（ｂｌｏｃｋ）に分割してもよい。

【0076】

Ｎ×Ｍ個のブロック中のあるブロックのうちのいずれか１つの画素は、特徴領域画素に分類することができ、ブロック内の特徴領域画素の間の比較値に基づくか、ブロック内の第１特徴領域画素に基づいてもよい。例えば、全体ブロックは、特徴領域に分類することができる。例えば、特徴領域ブロック内のある画素は、ブロック内の特徴領域画素の隣接画素に分類することができる。同様に、均等領域ブロックのある画素は、均等領域画素に分類され、ブロックの残りの画素は、ブロック内の均等領域画素の隣接画素に分類することができる。例えば、上述したような均等領域画素は、補間の間ブロック内の１つ以上の画素を代表することができる。

【0077】

以下、図４を参照しながら、現在フレームをＮ×Ｍ個のブロックに分割して特徴領域画素を決定する動作についてより詳しく説明する。実施形態によっては、Ｎ×Ｍ個のブロック中の１ブロック内の１つの画素が特徴領域画素に分類される場合、ブロック内の残りの画素は特徴領域画素に分類され、潜在的にブロック内のすべての画素はブロック内の特徴領域画素の隣接または近接の画素と認識してもよい。同様に、ブロック内のどんな画素も上述した分類動作の要件を満足させることができない場合、すべてのブロックは均等領域に分類してもよい。

【0078】

図４は、本発明の一実施形態に係る現在フレームをＮ×Ｍ個のブロックに分割して特徴領域画素を決定する動作を示す図である。

【0079】

図４を参照すれば、本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、現在フレーム４１０をｘ軸にＭ個に分割し、ｙ軸にＮ個に分割することができる。Ｎ×Ｍ個のブロックのうち任意のブロック４２０内のすべての画素に対して勾配値を調査することができる。ブロック４２０内で勾配値が最大の画素が基準値以上の勾配値を有する場合、画素を特徴領域画素とすることができる。ブロック４２０内で勾配値が最大の画素が基準値未満の勾配値を有する場合、ブロック４２０内のすべての画素を均等領域画素とすることができる。実施形態によっては、ブロック内の追加的な画素はブロック内で相対的に最も大きい勾配値の勾配値に基づいて特徴領域画素に分類することができる。ＮまたはＭの大きさを調節することにより、現在フレームの特徴領域画素の数を調節することができる。

【0080】

実施形態によって、低解像度ビデオから高解像度ビデオを生成する方法は、ブロック内の勾配値が最大の画素に対して特徴領域画素と均等領域画素に分類するための基準値の入力を受ける動作をさらに含むことができる。

【0081】

本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、現在フレームのブロック内で空間周波数が最大の画素であり、空間周波数が基準値以上の画素を特徴領域画素として決定することができる。ブロック内で空間周波数が最大の画素が基準値未満の空間周波数を有する場合、ブロック内のすべての画素は均等領域に属することができる。実施形態によっては、ブロック内の追加的な画素はブロック内で相対的に最も大きい空間周波数値の空間周波数値に基づいて特徴領域画素に分類することができる。

【0082】

実施形態によって、現在フレームのブロック内で２次微分値が最大の画素であり、２次微分値が基準値以上である画素を特徴領域画素として決定することができる。ブロック内で２次微分値が最大の画素が基準値未満の２次微分値を有する場合、ブロック内のすべての画素は均等領域に属することができる。実施形態によっては、ブロック内の追加的な画素は、ブロック内で相対的に最も大きい２次微分値の２次微分値に基づいて特徴領域画素に分類することができる。

【0083】

実施形態によって、現在フレームのブロック内で隣接画素との明度差の分散が最大の画素であり、明度差の分散が基準値以上である画素を特徴領域画素として決定することができる。ブロック内で隣接画素との明度差の分散が最大の画素が基準値未満の明度差の分散を有する場合、ブロック内のすべての画素は均等領域に属することができる。実施形態によっては、ブロック内の追加的な画素は、ブロック内で相対的に最も大きい分散値の分散値に基づいて特徴領域画素に分類することができる。

【0084】

実施形態によって、現在フレームのブロック内で隣接画素との画素値の差が最大の画素であり、画素値の差が基準値以上である画素を特徴領域画素として決定することができる。ブロック内で隣接画素との画素値の差が最大の画素が基準値未満の画素値差を有する場合、ブロック内のすべての画素は均等領域に属することができる。実施形態によっては、ブロック内の追加的な画素は、ブロック内で相対的に最も大きい画素値の画素値に基づいて特徴領域画素に分類することができる。

【0085】

図５は、本発明の一実施形態に係る現在フレームを特徴領域および均等領域に分類する動作を示す図である。

【0086】

実施形態によっては、フレームの部分は画素または画素からなるブロックであってもよい。フレームの画素からなるブロック内のすべての画素は、特徴領域および均等領域に分類することができる。代わりに、例えば、ブロック内の一部の画素は、最小距離要件によって分類されないこともある。

【0087】

図５を参照すれば、画素５１１は前フレーム５１０の特徴領域画素に分類してもよく、画素５２１および画素５２２は現在のフレーム５２０の画素であってもよい。格納された情報（例えば、登録メモリ）に基づいて、画素５２１は画素５１１に対する画素追跡５３０に対応するように決定されてもよい。

【0088】

前フレーム５１０の画素５１１が特徴領域画素であるため、画素５２１は（例えば、分類がなくとも）現在のフレーム５２０の特徴領域画素に分類してもよい。画素５２１は、画素追跡５３０によって追跡されてもよい。しかし、依然として前フレーム５１０において特徴領域画素の画素追跡なくしては、画素５２２の空間周波数に対応して均等領域および特徴領域に分類する動作を行う必要がある。

【0089】

特徴領域に分類された各画素の情報は、特徴領域画素の最小距離内の画素および隣接または近接の画素に関する情報と共に、登録メモリに格納することができる。

【0090】

本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、前フレームの特徴領域画素に対してのみ現在フレームの特徴領域が祖に画素追跡することができる。

【0091】

画素追跡は、現在フレームの画素を特徴領域および均等領域に分類する作業前に行うことができる。前フレームの特徴領域画素に基づいて画素追跡された現在のフレームの画素は自動的に特徴領域に分類することができ、また、特徴領域の特徴領域画素に分類することができる。したがって、画素追跡された画素の分類は実行されないこともある。

【0092】

すなわち、前フレームの均等領域に分類された画素で現在のフレームの画素で画素追跡が実行されないこともある。現在のフレームの均等領域に対応する高解像度ビデオは、専ら現在のフレームに関する情報だけを適用した補間を利用した均等領域の画素に基づいて生成され得る。したがって、均等領域および／または現在のフレームの均等領域画素の補間は、単一フレーム（例えば、現在のフレーム）を用いて実行されてもよい。

【0093】

「画素追跡」は、前フレームの特徴領域画素および現在のフレームの画素のために行うことができる。したがって、前フレームのために、隣接／近接の画素と特徴領域画素の位置および画素値を格納する動作は必要なこともある。

【0094】

もし、前フレームの特徴領域画素（さらに、以前のフレームの特徴領域画素から追跡された画素である）が特徴領域画素で画素追跡された場合、画素追跡情報は格納されてもよい。

【0095】

したがって、前フレームの特徴領域画素から現在のフレームの画素で画素追跡を行うことによって、現在のフレームの画素は画素追跡され、画素追跡された画素に対応する少なくとも２つの前特徴領域画素に対する画素追跡情報は知らされてもよい。例えば、図９は、同一のリネージ（ｌｉｎｅａｇｅ）の３つの前フレームを示す。

【0096】

「画素追跡」は、画素の明度値、勾配値、２次微分値、空間周波数値、画素値、その他の画素が含む情報を用い、画素追跡されるフレーム（例えば、現在フレーム）の多数の画素のうち画素追跡するフレーム（例えば、前フレーム）の特徴領域画素と相関関係が最も高い画素を選択する動作であってもよい。実施形態によって、明度差を用いて画素追跡すＳＡＭ（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅｄｉｆｆｅｒｅｎｃｅ）方法がある。例えば、画素追跡は、画素追跡に基づく前フレームの特徴領域画素のための最も適合した現在のフレームの画素座標を識別してもよい。相互関係は、前フレームの特徴領域画素のための現在の画素の対応画素座標から最も適合した画素を識別する動作をさらに実行することができる。

【0097】

場面転換、画面閉鎖（ｏｃｃｌｕｓｉｏｎ）などがある場合、前フレームの特徴領域画素に対応する現在フレームの画素に対する画素追跡の結果は、登録メモリに格納されないことがある。または、現在のフレームに対応する高解像度フレームの補間は画素追跡に基づかないことがある。場面転換、画面閉鎖などのために、高解像度フレームの画素に対する補間で画素追跡結果が用いられる場合、誤った補間の可能性がある。例えば、場面転換、画面閉鎖などがある場合の前フレームの特徴領域画素に対応する現在のフレームの画素に対する画素追跡は、失敗することがある

【0098】

したがって、画素追跡が実行されない場合、登録メモリには現在の画素および前フレームの特徴領域画素の間の情報がアップデートされないことがある。現在のフレームの特定の画素に対する画素追跡結果が格納されないか、画素追跡が失敗する場合、現在のフレームの特定の画素を除く画素（画素追跡が実行された画素として、前フレームの特徴領域画素に対応する画素）は、空間周波数に対応して特徴領域および均等領域に分類してもよい。

【0099】

もし、現在のフレームがＮ×Ｍ個のブロックに分類される場合、同一のブロック内の他の画素（場面転換、画面閉鎖などによって画素追跡が適用されないことによって決定された画素）は、前フレームの特徴領域画素から画素追跡および／または空間周波数に基づいて特徴領域に分類することができる。上述したように、このような特徴領域画素は、ブロック内のすべての画素のための特徴領域画素であってもよい。

【0100】

図６Ａおよび図６Ｂは、本発明の一実施形態に係る特徴領域画素に対して画素追跡する動作を示す図である。

【0101】

図６Ａおよび図６Ｂを参照すれば、現在フレーム６４０の３フレーム前の前フレーム６１０の特徴領域画素である画素６０１に対して現在フレーム６４０に画素追跡することができる。

【0102】

例えば、現在のフレーム６４０の画素に対する画素追跡は、前フレーム６３０の特徴領域画素または前フレームの特徴領域画素にだけ基づいてもよい。

【0103】

図６Ｂを参照すれば、現在のフレーム６４０は時間ｔのフレーム（ｔ）を、前フレーム６４０は時間ｔ−１のフレーム（ｔ−１）を、フレーム６２０はフレーム（ｔ−２）を、フレーム６１０はフレーム（ｔ−３）を示すことができる。したがって、１０個のフレームに基づく画素追跡の場合、フレーム（ｔ）のための画素の追跡は、

【0104】

フレーム（ｔ−９）内の特徴領域画素に対する画素追跡に基づくフレーム（ｔ−８）の画素に対する追跡…フレーム（ｔ−３）内の特徴領域画素に対する画素追跡に基づくフレーム（ｔ−２）の画素に対する追跡、フレーム（ｔ−２）内の特徴領域画素に対する画素追跡に基づくフレーム（ｔ−１）の画素に対する追跡、フレーム（ｔ−１）内の特徴領域画素に対する画素追跡に基づくフレーム（ｔ）の画素に対する画素追跡に基づくことができる。前フレームの特徴領域画素に関する情報は、知られているため、複数のフレームを通した関連する特徴領域画素のリネージ（ｌｉｎｅａｇｅ）からピクセル情報は、例えば、下記にて説明したマッチング動作以後に、高解像度フレームに対する直接的投影または、高解像度フレーム内での画素を補間するのに用いることができる（ａｖａｉｌａｂｌｅ）。

【0105】

図６Ａを参照すれば、副画素分析を用いて、フレーム６１０で選択された特徴領域画素６０１は対応するフレーム６２０内の特徴領域画素６０２を（例えば、潜在的にはフレーム６２０内に副画素単位の位置を）追跡することができ、フレーム６２０内の画素追跡された特徴領域画素６０２は、副画素単位でフレーム６３０案の特徴領域画素６０３を追跡することができ、画素追跡された特徴領域画素６０３は副画素単位でフレーム６４０内の特徴領域画素６０４で追跡することができる。

【0106】

フレーム６４０内の特徴領域画素での追跡を選択する動作は、フレーム６３０内の画素６０３に対する画素追跡に基づいてフレーム６４０内の複数の候補画素のうち最も相互関係があるフレーム６４０の画素を選択することによって実行することができる。

【0107】

したがって、現在フレーム６４０内の画素に対する画素追跡は、前フレーム６１０、６２０、６３０の特徴領域画素６０１、６０２、６０３に対してのみ実行することができ、前フレーム６１０、６２０、６３０のそれ以外の画素（すなわち、均等領域画素）に対しては実行されないこともある。

【0108】

下記にて詳細に説明するように、例えば、関連する特徴領域画素またはリネージによって各フレームに対して追跡した、特徴領域画素に対する画素追跡情報を用いて、登録動作は画素追跡された特徴領域画素の位置および画素追跡値に関する情報を格納するために登録メモリに格納することができ、また対応する隣接／近接の画素の位置、画素値の登録および画素追跡された画素の前フレームからの特徴領域画素の情報は予測することができる。

【0109】

上述した本発明の一実施形態に係る前フレームからの特徴領域画素に基づく画素追跡は、個別的なフレームメモリ内に各フレームのすべての画素またはブロックに関する情報が格納されることを要求する従来映像処理技術および各前フレームからすべての画素またはブロックを要求する画素追跡に比較して、特徴領域画素および各前フレームからの近接画素に対応する値に関する情報だけが格納される必要がある。

【0110】

さらに、従来の映像処理技術では、現在のフレームに対するいかなるフレーム登録もすべての（参照フレームの数だけ要求される）動作が予測された以後に実行された（例えば、現在のフレームの動作予測された画素またはブロックのための１０個の予測）。これは、リアルタイム処理を不可能にした。

【0111】

反対に、本発明の一側面によれば、前フレームからの制限された画素情報および各特徴領域画素からの画素追跡は、現在のフレームの画素追跡画素のために格納される必要がある。

【0112】

さらに、対応する特徴領域に対する以前追跡は、各前フレームに対する特徴領域画素に基づく画素追跡はリアルタイムでアップデートされることができる。

【0113】

したがって、本発明の一側面によれば、特徴領域の特徴領域画素に対する画素追跡および補間、均等領域に対する補間および２つの補間の結果を併合するのはリアルタイムで完了してもよい。

【0114】

従来には、動作予測は現在のフレームで動作追跡された画素を追跡するために、前フレームのすべての画素またはブロックに対する格納された情報に基づいて行われる必要があった。また、従来の動作予測は、高解像度フレームを生成するのに必要なすべての前フレームのために実行されなければならなかった。

【0115】

しかし、前フレームからの関連する前特徴領域画素に関する情報（例えば、次のフレームでの特徴領域の画素追跡）は、可能な各前フレームに対するマルチレベルの動作予測なくても補間のために接近可能となる。

【0116】

現在のフレームの画素追跡された画素のために前フレームの特徴領域画素に関する情報に接近することによって、特徴領域画素の全体リネージのための画素情報は登録メモリから用いることができる。

【0117】

したがって、本発明の一側面によれば、実質的に前フレームのそれぞれの特徴領域画素に関する情報および潜在的に対応する隣接／近接画素およびアップデートされた前フレームの特徴領域に対する画素追跡情報を格納するために少ないメモリが要求されるため、リアルタイム処理を行うことができる。

【0118】

図７は、本発明の一実施形態に係る特徴領域画素に対してサブピクセル単位まで画素追跡する動作を示す図である。

【0119】

図７を参照すれば、本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、現在フレーム７１０の前フレームの特徴領域画素で画素追跡された現在フレーム７１０の画素７０１を特徴領域画素として決定するだけでなく、現在フレーム７１０の前フレームの特徴領域画素に対してサブピクセル単位まで画素追跡して現在フレームのサブピクセル７０２を特徴領域画素として決定することができる。すなわち、実施形態によって、前フレームの特徴領域画素に対して画素追跡して現在フレームの特徴領域画素を決定する動作は、現在フレームのサブピクセル（ｓｕｂｐｉｘｅｌ）単位まで画素追跡することができる。サブピクセル単位の画素７０２の明度値、勾配値、２次微分値、空間周波数値、画素値、その他の画素が含む情報は、隣接画素から補間を用いて決定することができる。実施形態によって、サブピクセル単位の明度値、勾配値、２次微分値、空間周波数値、画素値、その他の画素が含む情報は、定数単位で補間されて決定することができる。

【0120】

図８は、本発明の一実施形態に係る低解像度ビデオのフレームの特徴領域画素および隣接画素の画素値と位置を格納する動作を示す図である。

【0121】

図８を参照すれば、本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、低解像度ビデオの現在フレーム８３０の２フレーム前の前フレーム８１０の特徴領域画素である画素８１１に対して現在フレーム８３０に画素追跡することができ、また、特徴領域画素である画素８１１の画素値および位置を格納することができる。特徴領域画素の「画素値」は、特徴領域画素の明度値、勾配値、２次微分値、空間周波数値、画素値、その他の画素が含む情報とすることができる。また、特徴領域画素の「位置」は、低解像度ビデオのフレームで特徴領域画素の位置を意味し、実施形態によって、座標、ベクトルなどの方法で示すことができる。

【0122】

また、本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、前フレーム８１０の特徴領域画素である画素８１１の隣接画素８１２の画素値および位置を格納することができる。隣接画素の位置は、絶対的な値を有する座標、ベクトルで示すことができるだけでなく（例えば、０点を基準とした座標値または０点からの距離および角度で示されるベクトル値）、特徴領域画素との相対的な値を有する座標、ベクトルで示すことができる（例えば、特徴領域画素を基準として相対的な値を有する座標、特徴領域画素からの距離および角度で示されるベクトル値）。また、隣接画素の数は、整合の正確度およびシステムの複雑度などを考慮して調整することができる。また、特徴領域画素がサブピクセル単位の画素である場合、隣接／近接画素を決定するために、座標値を切捨て演算によって計算し、計算された座標値を基準として隣接画素を決定することができる。例えば、特徴領域画素が座標（２、２．５）を有する場合、座標値を（２、２）で計算した後、座標（２、２）の隣接した画素を隣接画素とすることができる。実施形態によって、切上げ演算によって座標値を計算することもできる。

【0123】

また、本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、低解像度ビデオの現在フレーム８３０の１フレーム前の前フレーム８２０の特徴領域画素である画素８２１および画素８２１の隣接画素８２２の画素値および位置を格納することができる。同様に、現在フレーム８３０の特徴領域画素である画素８３１および画素８３１の隣接画素８３２の画素値および位置を格納することができる。

【0124】

したがって、本発明の一側面によれば、現在のフレーム８３０のような画素追跡された低解像度フレームの特徴領域画素は、単純に特徴領域画素に対する登録メモリへの格納を示すことができ、１つ以上の前フレームからの対応する隣接／近接の画素は低解像度フレームの特徴領域内の画素に対応してもよい。

【0125】

下記のように、適合した画素値を生成し、高解像度フレームへの投影のための特徴領域画素の座標を変換するために、低解像度フレームの画素と指摘された特徴領域とのマッチングによって、マッチング動作は登録メモリに格納された情報に基づいて前フレームからの特徴領域画素を介して進めることができる。

【0126】

したがって、画素追跡および対応マッチングに基づく、高解像度フレームのある領域に対する補間のためのさらに多い画素および画素情報が利用可能となり得る。

【0127】

マッチングは、対応する前フレームまたは現在のフレームの特徴領域画素のうちの１つから高解像度フレームの画素値を識別してもよい。

【0128】

反対に、本発明の一側面によれば、低解像度フレームの均等領域の補間は均等領域内の画素に基づくことができ、したがって、画素値から補間が推論できる画素の数は制限され得る。

【0129】

以下、本発明の一実施形態に係る現在フレームの特徴領域画素および前フレームの特徴領域画素を整合する動作について詳しく説明する。

【0130】

図９は、本発明の一実施形態に係る特徴領域画素を整合する動作を示す図である。

【0131】

図９を参照すれば、本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、現在フレーム９４０の特徴領域画素９４１および現在フレーム９４０の特徴領域画素９４１に対応する少なくとも１つの前フレーム９１０、９２０、９３０の特徴領域画素９１１、９２１、９３１を整合して現在フレーム９４０に対応する高解像度ビデオのフレームの画素の画素値を決定することができる。したがって、画素追跡以後に、特徴領域画素９１１が特徴領域画素９４１に十分にマッチングされる場合、特徴領域画素９１１の画素値およびフレーム９１０からの対応する隣接／近接の画素は高解像度フレームに直接投影することができ高解像度フレームの画素に対する補間時に用いることができる。

【0132】

本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、現在フレーム９４０の３フレーム前の前フレーム９１０に対して特徴領域画素である画素９１１と画素９１１の隣接画素９１２の画素値および位置を格納する。その後に、前フレーム９１０の特徴領域画素である画素９１１に対して現在フレームの２フレーム前の前フレーム９２０に画素追跡することができる。また、前フレーム９２０の特徴領域画素である画素９２１および隣接画素９２２の画素値および位置を格納し、前フレーム９２０の特徴領域画素である画素９２１に対して現在フレーム９４０の１フレーム前の前フレーム９３０で画素追跡することができる。また、前フレーム９３０の特徴領域画素である画素９３１および隣接画素９３２の画素値および位置を格納し、前フレーム９３０の特徴領域画素である画素９３１に対して現在フレーム９４０で画素追跡することができる。同様に、現在フレーム９４０の特徴領域画素である画素９４１および隣接画素の画素値および位置を格納することができる。

【0133】

低解像度ビデオの複数のフレームは入力されることができ、映像処理システムに予め設定された数のフレームが入力される前まで、画素追跡は実行されないこともある。

【0134】

例えば、各低解像度フレームに対して分類作業がリアルタイムで実行されるが、十分な数のフレームが入力される前まで画素追跡は実行されないことがあり、対応する結果も格納されないことがある。

【0135】

実施形態によっては、第１入力フレームは特徴領域および均等領域に分類することができ、画素追跡は第１入力フレームに対して実行されないこともある。

【0136】

画素追跡された画素および対応する隣接／近接の画素に対する画素追跡および登録第２入力フレームと共に開始することができる。

【0137】

画素追跡された画素に対する第１画素追跡および登録は、同様に、後のフレームで行うことができ、前フレームに対しても行うことができる。例えば、予め設定された数が４である場合、４個のフレームが入力されることができ、順に均等領域または特徴領域に分類することができ、第４フレームが入力されれば、第１〜第４フレームに対する画素追跡を、第４フレームに対する分類作業と共に並列的に行うことができる。

【0138】

したがって、現在フレーム９４０において、現在フレーム９４０の特徴領域画素である画素９４１に対してだけでなく、前フレーム９１０、９２０、９３０の特徴領域画素である画素９１２、９２２、９３２と隣接画素９１２、９２２、９３２に対しても画素値および位置に対する情報が、登録メモリから用いることができる。個別的な前隣接画素９１２，９２２，９３２は、現在のフレーム９４０に投影されることができ、補間部（例えば、図１３ａ〜１３ｃの高解像度補間部１３５０）によって登録メモリで直接接近してもよい。前記画素値および位置に対する情報を用いて現在フレーム９４０に対応する高解像度ビデオのフレームの各画素の画素値を決定することにより、高解像度ビデオを生成することができる。

【0139】

実施形態によっては、図９に示すように、前フレーム９１０の特徴領域画素である画素９１１は座標（２、２）を有し、隣接画素９１２は画素９１１を基準とした相対座標（−１、１）を有することができる。前フレーム９２０の特徴領域画素である画素９２１は座標（２、２．５）を有し、隣接画素９２２は画素９２１を基準とした相対座標（−１、０．５）を有することができる。また、前フレーム９３０の特徴領域画素である画素９３１は座標（５．５、１．５）を有し、隣接画素９３２は画素９３１を基とした相対座標（−０．５、−１．５）の値を有することができる。このとき、隣接画素９１２、９２２、９３２の位置だけではなく、画素値も共に格納することができる。現在フレーム９４０で画素追跡された特徴領域画素である画素９４１は、座標（４．５、２）を有する。

【0140】

本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、現在フレーム９４０の特徴領域画素である画素９４１および前フレーム９１０、９２０、９３０の特徴領域画素９１１、９２１、９３１と隣接画素９１２、９２２、９３２を整合することができる。隣接画素９１２が画素９１１を基準とした相対座標（−１、１）の位置に存在するという格納した位置情報を用い、現在フレーム９４０の隣接画素９４２は、現在フレーム９４０の特徴領域画素である画素９４１を基準とした相対座標（−１、１）位置に存在し、したがって、隣接画素９４２は、座標（３．５、３）を有すると判断することができる。同様に、現在フレーム９４０の特徴領域画素である画素９４３は座標（３．５、２．５）を有し、現在フレーム９４０の特徴領域画素である画素９４４は座標（４、０．５）を有すると判断することができる。

【0141】

前フレーム９１０，９２０，９３０の特徴領域画素９１１，９２１，９３１と隣接画素９１２，９２２，９３２に対するアップデートされた座標も登録メモリに格納することができる。実施形態によっては、現在のフレーム６４０と関連する特徴領域画素のすべての座標に基づいて、もし次の低解像度フレームが入力され、上述した画素追跡および補間が適用されれば、現在のフレーム６４０と前フレームに対する登録情報およびアップデートされた前フレームの特徴領域画素に対する画素追跡情報は、次の低解像度フレームを高解像度フレームに補間するために用いることができる。

【0142】

上述した過程によって、低解像度ビデオの現在フレーム９４０は、前フレームの選択画素値および位置に基づく特徴領域画素である画素９４１の複数の隣接画素の位置および画素値を有するようになり、複数の隣接画素の位置および画素値を用いて精密な高解像度ビデオを生成することができる。

【0143】

本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、前フレームの特徴領域画素の画素値と現在フレームの画素追跡された特徴領域画素の画素値の差が基準値以下となる場合に限って整合する動作を実行することができる。前フレームの特徴領域画素の画素値と現在フレームの画素追跡された特徴領域画素の画素値の差が極めて大きければ、前フレームの特徴領域画素と現在フレームの特徴領域画素は相関関係が小さいものと見ることができ、現在フレームに対応する高解像度ビデオの生成のための資料とするには不適合であるとすることができる。すなわち、前フレームの特徴領域画素の画素値と現在フレームの画素追跡された特徴領域画素の画素値の差が基準値以下となる場合に限って整合する動作を実行することにより、特徴領域画素の整合のエラーを補正することができる。

【0144】

例えば、前フレーム９２０の特徴領域画素である画素９２１の画素値（例えば、明度値）と現在フレーム９４０の特徴領域画素である画素９４１の画素値の差が基準値以上である場合、画素９２１と画素９４１は相関関係が少ないものとして見ることができ、現在フレーム９４０に対応する高解像度ビデオの生成のための資料として、画素９２１および隣接画素９２２に対する情報は整合時に除くことができる。

【0145】

高解像度フレームは、前フレーム９２０の隣接画素および残りの特徴領域画素に基づいて生成することができる。登録メモリで、マッチングされなかった特徴領域画素９２１および隣接画素９２２は、特徴領域画素９２１および隣接画素９２２に関する情報は補間動作で使われないことがあること、または特徴領域画素９２１および隣接画素９２２に関する情報は補間作業の間いかなる特徴領域画素および対応する隣接画素または近接画素が用いられるかを識別する登録メモリの部分に格納されないことがあることを示すことができる。

【0146】

実施形態によって、低解像度ビデオから高解像度ビデオを生成する方法は、基準値（マッチング動作のため前フレームの特徴領域画素および現在のフレームの特徴領域画素の間の相互関係を決定するための基準値）の入力を受ける動作をさらに含むことができる。

【0147】

図１０は、本発明の一実施形態に係る特徴領域画素の整合のエラーを補正するための動作を示す図である。

【0148】

図１０を参照すれば、本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、現在フレームの特徴領域画素をテクスチャ領域（ｔｅｘｔｕｒｅ ｒｅｇｉｏｎ）とエッジ領域（ｅｄｇｅ ｒｅｇｉｏｎ）に分類することができる（Ｓ１０１０）。

【0149】

実施形態によっては、参照値Ｔｈ_{ｔｅｘｔｕｒｅ}とＴｈ_ｅｄｇｅは、現在のフレームの特徴領域画素がテクスチャ領域、またはエッジ領域に含まれるか否かによって異なるように決定すことができる。

【0150】

マッチング動作のエラーは、特徴領域画素がテクスチャ領域に含まれる場合、容易に認知されないことがある一方、特徴領域画素がエッジ領域に含まれる場合、境界でのマッチング動作に対するエラーのために映像クオリティーの低下は容易に認知され得る。

【0151】

したがって、参照値Ｔｈ_{ｔｅｘｔｕｒｅ}は、テクスチャ領域でのマッチング動作のエラーを修正または防止するために用いることができ、Ｔｈ_ｅｄｇｅはエッジ領域でのマッチング動作のエラーを修正または防止するために用いることができる。

【0152】

参照値Ｔｈ_{ｔｅｘｔｕｒｅ}とＴｈ_ｅｄｇｅは、各テクスチャ領域および各エッジ領域の登録エラーの明度値に対する参照値であってもよい。一般に、Ｔｈ_{ｔｅｘｔｕｒｅ}は、Ｔｈ_ｅｄｇｅより高く決定されてもよい。

【0153】

また、同様に、特徴領域に対応する高解像度フレームの画素を補間するのに画素情報を調整する登録メモリまたは登録メモリ一部内の前フレーム内の特徴領域画素の格納によれば、特徴領域画素と関連する情報は補間動作で用いられないことがある。

【0154】

現在フレームの特徴領域画素がテクスチャ領域として分類された場合、テクスチャ領域の特徴領域画素および特徴領域画素に対応する前フレームの特徴領域画素の画素値の差が基準値であるＴｈ_{ｔｅｘｔｕｒｅ}以下であるか否かを判断することができる（Ｓ１０２０）。テクスチャ領域の特徴領域画素および特徴領域画素に対応する前フレームの特徴領域画素の画素値の差がＴｈ_{ｔｅｘｔｕｒｅ}以下である場合、前フレームの特徴領域画素を整合することができる（Ｓ１０２１）。ただし、テクスチャ領域の特徴領域画素および特徴領域画素に対応する前フレームの特徴領域画素の画素値の差がＴｈ_{ｔｅｘｔｕｒｅ}を超過する場合、前フレームの特徴領域画素を整合過程から除くことができる（Ｓ１０２２）。また、特徴領域画素と関連する情報は補間動作で用いられないことがある。登録メモリ内に前フレームの特徴領域画素に対する、特徴領域画素に対応する高解像度フレームの画素を補間する間、接近する画素情報への格納に対応すれば、前フレームの特徴領域画素は登録メモリに格納されないことがある。

【0155】

現在フレームの特徴領域画素がエッジ領域として分類された場合、エッジ領域の特徴領域画素および特徴領域画素に対応する前フレームの特徴領域画素の画素値の差が基準値であるＴｈ_ｅｄｇｅ以下であるか否かを判断することができる（Ｓ１０３０）。エッジ領域の特徴領域画素および特徴領域画素に対応する前フレームの特徴領域画素の画素値の差がＴｈ_ｅｄｇｅ以下である場合、前フレームの特徴領域画素を整合することができる（Ｓ１０３１）。ただし、エッジ領域の特徴領域画素および特徴領域画素に対応する前フレームの特徴領域画素の画素値の差がＴｈ_ｅｄｇｅを超過する場合、前フレームの特徴領域画素を整合過程から除くことができる（Ｓ１０３２）。また、特徴領域画素と関連する情報は補間動作で用いられないことがある。登録メモリ内に前フレームの特徴領域画素に対する、特徴領域画素に対応する高解像度フレームの画素を補間する間、接近する画素情報への格納に対応すれば、前フレームの特徴領域画素は登録メモリに格納されないことがある。

【0156】

実施形態によって、付加的に整合のエラーを補正するために、エッジ領域の特徴領域画素に対してはエッジ保存ローパスフィルタ（ｅｄｇｅ ｐｒｅｓｅｒｖｉｎｇ ｌｏｗ ｐａｓｓ ｆｉｌｔｅｒ）を適用することができる。エッジ保護のためのローパスフィルタは、登録エラーを減少させることができる。

【0157】

図１１は、本発明の一実施形態に係る低解像度ビデオのフレームに対応する高解像度ビデオのフレームを示す図である。

【0158】

図１１に示すように、表示された画素は上述した画素追跡、特徴領域画素分類およびマッチングに基づいて現在のフレームのような低解像度ビデオの低解像度フレームの座標システムに表示されている。ローカル座標は（図１３Ａ〜Ｃの高解像度補間部１３５０と同じ）補間部によって獲得することができ、図１１に示すように現在のフレームに投影することができる。

【0159】

図１１を参照すれば、本発明の一実施形態に係る低解像度ビデオの現在フレーム１１１０は、特徴領域画素である画素１１１１、１１１２、１１１３、１１１４、１１１５、１１１６、１１１７を有することができる。低解像度ビデオの現在フレーム１１１０の特徴領域画素である画素１１１１は座標（０、０）を、画素１１１２は座標（１、０．５）を、画素１１１３は座標（３、１）を、画素１１１４は座標（１．５、１．５）を、画素１１１５は座標（１、２）を、画素１１１６は座標（３、２）を、画素１１１７は座標（２、３）を有することができる。

【0160】

また、本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、低解像度ビデオの現在フレーム１１１０の特徴領域画素である画素１１１１、１１１２、１１１３、１１１４、１１１５、１１１６、１１１７の位置だけではなく、画素値も格納することができる。

【0161】

図９に、ダイヤモンド、三角形および四角形で表示される特徴領域画素９１１の隣接画素は（特徴領域画素１１１３を示すダイヤモンド、特徴領域画素１１１５，１１１７を示す三角形および特徴領域画素１１１１を示す四角形、画素１１１４を示すドット状および画素１１１６を示す円による前（または現在）フレームで表示された）投影されて画素追跡された特徴領域画素または分類された特徴領域画素を示すことができる。

【0162】

実施形態によって、低解像度ビデオの現在フレーム１１１０は、低解像度ビデオの現在フレーム１１１０の特徴領域画素および低解像度ビデオの現在フレーム１１１０に対応する少なくとも１つの前フレームの特徴領域画素が整合されたフレームとすることができ、したがって、画素１１１１、１１１２、１１１３、１１１４、１１１５、１１１６、１１１７は、現在フレーム１１１０に投影する低解像度ビデオの現在フレーム１１１０の特徴領域画素および低解像度ビデオの現在フレーム１１１０に対応する少なくとも１つの前フレームの特徴領域画素および隣接画素とすることができる。

【0163】

補間動作が実行される間、低解像度ビデオの現在フレーム１１１０に対応する高解像度ビデオが低解像度ビデオに比べて２倍の解像度を有する場合、低解像度ビデオの現在フレーム１１１０の特徴領域画素である画素１１１１、１１１２、１１１３、１１１４、１１１５、１１１６、１１１７に対応する高解像度ビデオのフレーム１１２０の特徴領域画素である画素１１２１、１１２２、１１２３、１１２４、１１２５、１１２６、１１２７は、低解像度ビデオの現在フレーム１１１０の特徴領域画素である画素１１１１、１１１２、１１１３、１１１４、１１１５、１１１６、１１１７の座標値の２倍である座標値を有することができる。すなわち、高解像度ビデオのフレーム１１２０の特徴領域画素である画素１１２１は座標（０、０）を、画素１１２２は座標（２、１）を、画素１１２３は座標（６、２）を、画素１１２４は座標（３、３）を、画素１１２５は座標（２、４）を、画素１１２６は座標（６、４）を、画素１１２７は座標（４、６）を有することができる。

【0164】

画素１１２１、１１２２、１１２３、１１２４、１１２５、１１２６、１１２７ではない画素１１２８の画素値は、補間によって求めることができる。高解像度フレーム１１２０の画素１１２１、１１２２、１１２３、１１２４、１１２５、１１２６、１１２７に対応する画素値は、補間動作にさらに基づくことができる（例えば、下記図１２で議論される画素１１２８に対する補間動作と同じ）。

【0165】

図１２は、本発明の一実施形態に係る高解像度ビデオのフレームの画素を補間する動作を示す図である。

【0166】

図１２を参照すれば、高解像度ビデオのフレーム１２１０は、低解像度ビデオの特徴領域画素に対応する特徴領域画素である画素１２１１およびその他の画素１２１２を有することができる。図１１で詳細に説明した実施形態と同様に、特徴領域画素である画素１１２１は画素値を有することができる。ただし、白い画素１２１２の画素値は、補間によって求めることができる。

【0167】

高解像度ビデオのフレーム１２１０の特徴領域画素である画素１２１２と画素１２１２の相関度１２２０を参考すれば、画素１２１２の画素値は次のような数式で補間することができる。

【0168】

【数2】

【0169】

前記の式において、ｗ_ｉは加重値であり、次のような数式で定義することができる。

【0170】

【数3】

【0171】

ここで、ｄ_ｉは黒い画素１２１１と白い画素１２１２の距離であり、ｐは距離の大きさを制御する整数値である。

【0172】

すなわち、高解像度ビデオのフレームの画素値に対する補間は加重値として作用される（補間された画素および近所特徴領域画素および隣接画素の間の距離に基づいて行うことができる）。

【0173】

１２２０に示すように、白い画素１２１１と近接画素または、近所特徴領域画素の間の他の距離は、白い画素１２１１の画素値を補間するのに用いることができる。白い画素１２１１の補間に用いることができる特徴領域画素の近接性および／または個数と対応する隣接／近接の画素は、使用可能なリソースに基づいて予め設定されたり変更され得る。さらに、白い画素１２１１に対する補間は高解像度フレームのすでに補間された画素に基づくことができる。

【0174】

以下、本発明の他の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法を説明する。

【0175】

本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、低解像度ビデオのｉ−１番目のフレームの特徴領域画素に対して画素追跡して低解像度ビデオのｉ番目のフレームの特徴領域画素を決定することができる。

【0176】

また、ｉ番目のフレームの特徴領域画素およびｉ番目のフレームの特徴領域画素に対応する少なくとも１つの前フレームの特徴領域画素を整合してｉ番目のフレームに対応する高解像度ビデオのフレームの画素の画素値を決定することができる。

【0177】

したがって、補間を用いて画素値は決定されない、（例えば、低解像度フレームの特徴領域画素の間の画素、重なる低解像度フレーム、または画素に投影される以前低解像度フレームからの特徴領域画素の間の）対応する高解像度フレームの画素のために補間することができる。

【0178】

実施形態によって、ｉ−１番目のフレームの特徴領域画素は、低解像度ビデオのｉ−２番目のフレームの特徴領域画素から画素追跡されたり、空間周波数が相対的に高い画素とすることができる。すなわち、ｉ−２番目のフレームで特徴領域画素として判断された画素から画素追跡されたｉ−１番目のフレームの画素を特徴領域画素として決定し、それ以外のｉ−１番目のフレームの画素に対して空間周波数に応じて特徴領域および均等領域に分類することができる。

【0179】

同様に、本発明の一側面によれば、ｉ−２番目のフレームの特徴領域画素は、低解像度ビデオのｉ−３番目のフレームの特徴領域画素から画素追跡されたり、相対的に高い空間周波数を有するｉ−２番目フレーム内の画素であってもよい。

【0180】

すなわち、ｉ−３番目フレーム内の特徴領域画素に決定された画素から画素追跡されたｉ−２番目のフレームの画素は、ｉ−２番目フレーム内の特徴領域画素に分類することができ、ｉ−２番目のフレームの残りの画素は空間周波数に対応して特徴領域および均等領域に分類することができる。

【0181】

したがって、現在フレームの画素を特徴領域および均等領域の１つに分類は、現在のフレームで画素追跡された少なくとも１つの前フレームからの特徴領域画素に基づいて行うことができる。

【0182】

高解像度フレームは、現在のフレームの分類された特徴領域画素に対する知らされた画素情報および前フレームの特徴領域画素と潜在的に選択マッチング動作に基盤とする（前フレームおよび現在のフレームに対する知らされた画素情報を高解像度フレームに投影し、高解像度フレーム内に残すようになることと決定される画素を補間する前フレームからの知らされた画素情報の座標を示す）隣接／近接の画素に対する知らされた画素情報を適用することによって、低解像度現在のフレームから生成することができる。

【0183】

例えば、補間は、高解像度フレームの知らされなかった画素に対する補間に基づく距離によって、２つ以上が重なるように予測されたり、高解像度フレーム内で近くに近接するように特徴領域画素の知らされた画素情報を補間する動作を含むことができる。

【0184】

低解像度ビデオを高解像度ビデオに変換するような、ビデオの現在のフレームの解像度、または鮮明度を変換するのと関連する前記例示は、追加的な情報（他の映像または、以前映像に対する画素情報、追跡情報）に基づいて単一映像を高解像度／鮮明度映像に変換することにも適用することができる。たとえ、追加的な情報は、他の映像または以前映像から要求されずに現在の映像の前圧縮から低解像度ビデオへの情報であってもよい。

【0185】

大体、特徴領域および均等領域での高解像度映像の分類および特徴領域分類された画素に対する生成された画素追跡情報に基づいて高解像度映像を圧縮するシステムおよび映像に対する上述した例示は、上述した例示によって高解像度映像を再生成してもよい。

【0186】

以下、本発明のさらに他の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法を説明する。

【0187】

第１に、本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、低解像度ビデオの１番目のフレームの入力を受けることができる。

【0188】

第２に、本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、入力を受けた低解像度ビデオの１番目のフレームをＮ×Ｍ個のブロックに分割することができる。ＮまたはＭの大きさを調節することにより、１番目のフレームの特徴領域画素の数を調節することができる。

【0189】

均等領域および特徴領域に第１フレームの画素を分類する上述した動作は、単独または組み合わせて実行することができ、第１フレームの特徴領域画素に対する画素値および位置は格納することができる。また、１番目のフレームの特徴領域画素の隣接画素の位置および画素値を格納することができる。

【0190】

同様に、第１フレームがＮ×Ｍ個のブロックに分類される場合、均等領域および特徴領域で第１フレームの画素に対する分類動作の実行は、各ブロックごとに１つの画素のみを、ブロック内のすべての画素を代表する特徴領域画素に分類してもよい。ブロック内の特徴領域画素は、最も大きい分類動作に対する参照値を有するブロック内の画素であってもよい。特徴領域画素に分類された画素と同一のブロック内の残りの画素は、特徴領域画素の隣接／近接の画素に分類することができる。

【0191】

特徴領域画素に分類されなかった画素のブロックは、ブロック内のすべての画素が均等領域に分類されると共に、均等領域に分類することができる。

【0192】

さらに、本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、低解像度ビデオの２番目のフレームの入力を受けることができる。

【0193】

本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、低解像度ビデオの２番目のフレームをＮ×Ｍ個のブロックに分割することができる。

【0194】

本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、１番目のフレームで特徴領域画素として決定された画素から画素追跡して１番目のフレームの特徴領域画素に対応する２番目のフレームの画素を決定することができる。上述したように、前フレームで均等領域画素に分類された画素は、第２フレームの特徴領域の画素の画素追跡に要求されない。したがって、第１フレームの特徴領域画素に対する画素追跡だけが行われることができる。

【0195】

「画素追跡」は、画素の明度値、勾配値、２次微分値、空間周波数値、画素値、その他の画素が含む情報を用い、画素追跡されるフレーム（例えば、２番目のフレーム）の多数の画素のうち画素追跡するフレーム（例えば、１番目のフレーム）の特徴領域画素と相関関係が最も高い画素を選択する動作をいう。実施形態によって、明度差を用いて画素追跡するＳＡＭ方法がある。

【0196】

実施形態によって、１番目のフレームでサブピクセル単位まで画素追跡して２番目のフレームのサブピクセルを特徴領域画素として決定することができる。２番目のフレームのサブピクセル単位の画素の明度値、勾配値、２次微分値、空間周波数値、画素値、その他の画素が含む情報は、隣接画素から補間を用いて決定することができる。

【0197】

場面転換、画面閉鎖などがある場合、１番目のフレームの特徴領域画素に対応する２番目のフレームの画素が追跡されないこともあり、この場合、１番目のフレームの特徴領域画素に対応する２番目のフレームの画素が存在しないことがある。また、第１フレームの特徴領域画素で定義された画素は、特徴領域画素近くの異なる画素（第１フレームがＮ×Ｍ個のブロックに分類された時、同一のブロック内の他の画素）によって代表されることが必要なこともある。

【0198】

したがって、第２フレームの画素追跡された画素は、第２フレームの特徴領域画素に分類することができ、特徴領域画素の画素値と位置を格納することができる。また、第２フレームの特徴領域画素に対する隣接画素の画素値と位置を格納することができる。さらに、画素追跡を通じなくても、特徴領域に分類された、第２フレームの画素に対する画素値と位置を格納することができ、隣接画素の画素値と位置を格納することができる。同様に、第２フレームがＮ×Ｍ個のブロックに分類する場合、ブロック内の残りの画素に対する画素値と位置は、ブロックを代表する特徴領域画素に対する画素値と位置と共に格納することができる。

【0199】

本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、低解像度ビデオのｉ番目のフレームの入力を受けることができる。

【0200】

本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、低解像度ビデオのｉ番目のフレームをＮ×Ｍ個のブロックに分割することができる。

【0201】

本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、ｉ−１番目のフレームで特徴領域画素として決定された画素から画素追跡してｉ−１番目のフレームの特徴領域画素に対応するｉ番目のフレームの画素を決定することができる。

【0202】

実施形態によって、ｉ−１番目のフレームでサブピクセル単位まで画素追跡してｉ番目のフレームのサブピクセルを特徴領域画素として決定することができる。

【0203】

したがって、本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、ｉ番目のフレームに対応する高解像度ビデオのフレームで画素値が未決定の画素に対しては、補間を用いて画素値を決定することができる。

【0204】

本発明の一実施形態に係る低解像度ビデオから高解像度ビデオを生成する方法は、第１〜１８までの過程によって生成された低解像度ビデオのｉ番目のフレームに対応する高解像度ビデオのフレームを出力することができる。同様に、高解像度ビデオのｉ＋１番目、ｉ＋２番目などのフレームをリアルタイムで生成することができる。

【0205】

さらに、複数の高解像度フレームに対応する高解像度ビデオは、図１３ａ−ｃの高解像度補間部１３５０によって生成することができる。

【0206】

各フレームの均等領域内の画素は、ｘ、ｙ軸座標に値を乗ずることで、均等領域に対応する高解像度フレームに投影されることができる。

【0207】

均等領域に対応する高解像度フレーム内の知らされなかった画素は、均等領域に対応する高解像度フレームに投影される同一の低解像度フレームからの画素に基づく、高解像度フレーム内の画素値の補間と共に画素追跡されることができる。

【0208】

均等領域に対応する高解像度フレーム内の画素に対する補間は、特徴領域に対応する高解像度フレームの画素を重複しない均等領域に分類される画素の間の画素の補間に制限されないこともある。同様に、特徴領域画素の高解像度フレーム内の画素に対する補間は、均等領域に対応する高解像度フレームの画素を重複しない画素の補間に制限されないこともある。

【0209】

特徴領域に基づく高解像度ビデオの併合と均等領域に基づくビデオの高解像度は補間なしに容易に結合することができる。

【0210】

または、追加的な補間は特徴領域に対応する高解像度フレームと均等領域に対応する高解像度フレーム間の重複数によって実行することができる。

【0211】

または、特徴領域に対応する高解像度ビデオが均等領域に対応する高解像度ビデオと併合される場合、補間を実行することができる。

【0212】

したがって、特徴領域画素に対応する高解像度ビデオと均等領域画素に対応する高解像度ビデオを併合することができ、単一な高解像度ビデオは入力低解像度ビデオのすべての部分を代表する出力とすることができる。

【0213】

高解像度フレームを生成する過程での低解像度フレームの均等領域に対応する画素のための画素追跡および／または補間技術は、均等領域に分類された画素に対する画素追跡および／または補間技術のため必要な処理および／またはメモリが特徴領域に対する画素追跡および／または補間技術と異なる、均等領域に基づく高解像度フレームを生成するのに用いることができる。

【0214】

均等領域に対応する高解像度フレームを生成するのは、低解像度フレームの追加的な画素のための画素追跡動作なく実行されることに基づくことができ、均等領域（すなわち、均等領域に対応する高解像度フレーム）に分類された画素の間の画素の補間は低解像度フレームの均等領域の中で提供される画素情報から派生してもよい。

【0215】

さらに、各フレームに対する特徴領域および／または均等領域の画素は、副画素にさらに分類することができ、選択的画素追跡および／または補間を実行することができる。

【0216】

例えば、特徴領域内のすべての画素に対して同一の画素追跡および補間技術を適用し、均等領域内のすべての画素に対して同一の補間技術を適用できると説明した実施形態にもかかわらず、特徴領域および均等領域の画素に対する画素追跡および／または補間技術は、追加的な要素（例えば、関心領域または、現在のフレーム内の画素に対する位置）に基づいて異なり得る。

【0217】

図１３Ａ−Ｃは、本発明の一実施形態に係る低解像度映像から高解像度映像を生成する映像処理システムを示す図である。

【0218】

本発明の一実施形態に係る図１３Ａ−Ｃの映像処理システムは、上述した例示を実行することができる。

【0219】

例えば、図１３Ａ−Ｂを参照すれば、領域分類部１３２０は、低解像度フレームの画素を均等領域および特徴領域に分類することができ、登録メモリに特徴領域画素および近接画素に関する情報を格納することができる。

【0220】

例えば、高解像度補間部１３５０が低解像度フレームからの均等領域画素に直接接続しない場合、均等領域画素もまた格納することができる。

【0221】

図１３Ｃを参照すれば、個別的に示された領域分類部１３２０は、特徴領域および均等領域のすべてへの分類を行う単一ユニットであるか、均等領域および特徴領域で画素を個別的に分類する分離したユニットであり得る。

【0222】

図１３Ｃの複数の領域分類部１３２０の配列は、図１３Ａ−Ｂの実施形態にも同一に適用可能である。

【0223】

さらに、領域分類部１３２０は、現在のフレームをＮ×Ｍ個のブロックに分類する動作および同一に分類する動作を実行することができ、現在の画素が特徴領域または均等領域に分類されたのか有無を制御するために特徴領域画素の間の最小距離を検査することができる。

【0224】

領域分類部１３２０は、特徴領域画素の間の距離を制御し、選択的に最小距離中で画素を分類することができる。

【0225】

図１３Ａ−Ｃを参照すれば、画素追跡部１３３０は前フレームの特徴領域画素から低解像度フレームの特徴領域画素で画素追跡を実行することができ、登録メモリに画素追跡位置を格納してもよい。登録メモリに画素追跡位置を格納することは、低解像度フレームの特徴領域画素と前フレームの特徴領域画素をマッチングする動作を含むことができる。

【0226】

画素追跡部１３１０の画素追跡は、画素追跡部１３３０と類似するように動作することができる。

【0227】

図１３Ｂに示すように、画素追跡は、領域分類部１３２０によって画素が特徴領域または均等領域に分類する前に、画素追跡部１３１０によって行うことができる。低解像度フレームの画素追跡結果は低解像度フレームの特徴領域画素に分類することができ、特徴領域または均等領域内の残っている画素に対する分類は領域分類部１３２０によって行うことができる。すなわち、画素追跡された画素は、前フレームの特徴領域画素から画素追跡されたことのように、特徴領域に自動的に分類することができる。

【0228】

画素追跡画素に関する情報は、格納することができる。したがって、領域分類部１３２０は、画素追跡を実行することができ、次の画素の分類を処理してもよい。

【0229】

例えば、画素追跡部１３１０は、領域分類部１３２０の前に位置してもよい。

【0230】

画素追跡部１３１０および画素追跡部１３３０は、同一のユニットであってもよく、（画素追跡部１３３０が潜在的に軌跡をアップデートするか、画素追跡部１３３０が必要でないもの）のように他の任務を行ってもよい。

【0231】

図１３Ｂの実施形態によれば、画素追跡部１３１０は、入力フレームがフレームのシリーズの第１フレームであり、前フレーム情報が使用可能でない場合のように画素追跡が使用可能でない場合、動作しないこともある。

【0232】

しかし、次のフレームが入力されれば、画素追跡部１３１０は動作することができるため、前フレームからの画素追跡情報は使用可能となり得る。

【0233】

識別されれば、低解像度フレームおよび隣接／近接の画素に対する画素追跡された画素の画素値と位置だけでなく、低解像度フレームの画素追跡された画素を画素追跡する前フレームの特徴領域画素の画素値と位置は現在のフレームの特徴領域画素と複数の前フレームの特徴領域画素をマッチングするのに用いることができる。

【0234】

前フレームの特定の特徴領域画素を認知することによって、対応するすべての前フレームの特徴領域画素も使用可能になり得る。

【0235】

例えば、もし前フレームの特徴領域画素が前フレームの特徴領域画素からの画素追跡の結果の場合、前フレームの特徴領域画素に対する画素値と位置は格納することができる。

【0236】

前フレームの特徴領域画素からの、低解像度フレーム内の画素に対する画素追跡に基づいて、前フレームからの前特徴領域画素に関連するリネージを認識することができる。

【0237】

前記知らされたリネージに基づいて、前フレームからの画素情報は、特徴領域画素の格納された情報および画素追跡情報（例えば、画素追跡された前フレームの特徴領域画素を認識する情報）に接近することによって、高解像度フレームの領域に投影することができる。

【0238】

図１３Ｂの画素追跡部１３１０、および図１３Ａ−Ｃの画素追跡部１３３０は場面転換、画面閉鎖などが発見される場合、画素追跡を実行できないことがある。

【0239】

画素追跡部１３１０または画素追跡部１３３０は、領域分類部１３２０と共に統合されてもよい。

【0240】

また、画素追跡部１３３０は、特徴領域画素（すなわち、領域分類部１３２０によって特徴領域に分類された画素）に画素追跡を実行することができる。

【0241】

登録部１３４０は、いかなる画素値情報が補間に使用可能であるかを調整することができ、次のフレームの変換のための画素追跡および特徴領域情報を整理してもよい。

【0242】

例えば、登録部１３４０は、マッチング動作を実行することができる。

【0243】

図１３Ｃの登録部１３４０は、テクスチャ領域部１３４２、エッジ領域部１３４４およびローパスフィルタ１３４６を含むことができる。

【0244】

テクスチャ領域１３４２、エッジ領域部１３４４、およびローパスフィルタ１３４６の動作は、上述した通りである。

【0245】

図１０と関連し、説明した登録処理のように、登録部１３４０と登録部１３４０に含まれるテクスチャ領域１３４２、エッジ領域部１３４４、およびローパスフィルタ１３４６は、現在のフレームの画素追跡された画素と前フレームの特徴領域画素の間の比較に基づいてマッチング動作を制限してもよい。

【0246】

例えば、マッチング動作は、メモリ−登録メモリ−に格納された前フレームの特徴領域画素に対する画素値の比較に対応する前フレームの特徴領域画素および現在のフレームの画素追跡された画素に対する明度に基づいて処理することができる。

【0247】

図１３ａの登録部１３４０は、上述した比較を実行することができる。

【0248】

図１３ａ−ｃの高解像度補間部１３５０は、特徴領域に対応する高解像度フレーム、および均等領域画素に対応する高解像度フレームを生成でき高解像度ビデオを生成するために２つの高解像度フレームを併合してもよい。

【0249】

高解像度補間部１３５０は、生成されたフレームに対応する特徴領域および均等領域に対する個別的な高解像度ビデオを生成して、個別的な高解像度ビデオを併合してもよい。

【0250】

同様に、再び図１３ａ−ｃを参照すれば、高解像度補間部１３５０は、登録メモリに格納された前フレームの特徴領域画素に対する画素情報および低解像度フレーム内の特徴領域に分類された低解像度フレームおよび隣接／近接の画素の特徴領域画素に対する格納された画素情報に基づいて、前フレームおよび隣接／近接の画素から特徴領域画素を投影してもよい。

【0251】

高解像度補間部１３５０は、低解像度フレームの前フレーム、その隣接／近接の画素、特徴領域画素およびその隣接／近接の画素からの特徴領域画素に基づいて特徴領域に対応する高解像度フレームに対する残りの画素値を補間してもよい。

【0252】

登録メモリは、映像処理システム外部にあるか、画素追跡部１３１０、領域分類部１３２０、画素追跡部１３３０、登録部１３４０、または高解像度補間部１３５０に含まれてもよい。

【0253】

補間部は、前フレームおよび低解像度フレームの特徴領域画素に対応する高解像度フレームの画素を補間する場合、高解像度補間部は登録メモリに選択的に接近してもよい。

【0254】

特徴領域に対応する高解像度フレームおよび均等領域に対応する高解像度フレームの生成は、並列的に行うことができる。

【0255】

また、高解像度補間部１３５０は、個別的に生成された特徴領域および均等領域に対応する高解像度フレームを併合でき特徴領域に対応する複数の高解像度フレームのそれぞれのシークエンシングおよび均等領域に対応する複数の高解像度フレームのそれぞれのシークエンシングによって生成された高解像度ビデオを併合してもよい。

【0256】

高解像度補間部１３５０は、以前低解像度フレームおよび入力低解像度フレームの特徴領域に対する画素追跡、分類、マッチングから提供される登録情報および入力低解像度フレームの均等領域の中の画素に対する画素情報に基づいて単一高解像度フレーム（高解像度均等領域フレームおよび高解像度特徴領域フレームを生成せずに、均等領域からの画素情報および特徴領域からの画素情報で生成された高解像度フレーム）の補間を実行することができる。

【0257】

複数の単一高解像度フレームは、高解像度ビデオを生成するために併合されてもよい。

【0258】

図１３ｂの映像処理システムで、画素追跡部１３１０、領域分類部１３２０、画素追跡部１３３０、登録部１３４０および高解像度補間部１３５０のそれぞれは、バッファを有してもよく、すべてのユニットに対する単一バッファであってもよい。前記バッファからの情報は、特徴領域に対応する高解像度フレームに対する画素のための補間動作の間、高解像度補間部１３５０によって、登録メモリまたは登録メモリの一部分を選択的に提供することができる。

【0259】

例えば、マッチング演算によってマッチングされた前の映像からの特徴領域画素は、登録メモリで識別することができ、隣接／近接の画素（図１３ａ−ｃの高解像度補間部１３５０）は、格納された情報を選択して、特徴領域に対応する高解像度フレーム内の画素の補間を行う。

【0260】

図１３ａ−ｃを参照すれば、圧縮された映像（例えば、特徴領域または均等領域での高解像度映像の分類および特徴領域に分類された画素に対する画素追跡情報に基づいて圧縮された高解像度映像）が入力されれば、圧縮された映像は特徴領域画素および隣接／近接の画素の値、位置、入力画素追跡情報に基づいて高解像度映像を復元するために圧縮を解くことができる。

【0261】

例えば、定義された情報は、図１３ａ−ｃの登録メモリに提供することができ、領域分類部１３２０は入力映像の領域分類を実行してもよく、画素追跡部（１３１０、１３３０）は登録メモリに格納された情報に基づいて画素追跡を実行してもよく、登録部１３４０（テクスチャ登録部１３４２、エッジ登録部１３４４およびローパスフィルタ１３４６）は映像（例えば、登録メモリに格納された特徴領域画素情報と入力映像の特徴領域画素をマッチングするような）登録動作を実行してもよく、高解像度補間部１３５０は均等領域の補間された画素情報および特徴領域の補間された画素情報から復元された高解像度映像を生成してもよい。

【0262】

例えば、上述した装置、システム、およびユニットの実施形態は、ハードウェアで実現された処理要素を含んでもよい。

【0263】

例えば、上述された各ユニットは、上述した動作を行う１つ以上の処理要素、メモリ、およびハードウェアで実現された、入／出力送信装置を含んでもよい。

【0264】

また、装置という用語は、物理的システムの要素と同様に考慮されなければならず、単一なエンクロージャ、またはすべての実施形態での単一エンクロージャ内における要素に制限されてはいけない。

【0265】

上述した実施形態は、コンピュータ読み出しコード／命令語メディア（例えば、プロセッサまたはコンピュータなどの処理装置を制御して、上述した実施形態を実行するための）コンピュータ読み出し装置を介して実行することができる。

【0266】

メディアは、測定可能であり、定義され、有形である（コンピュータ読み出しコードの電波および／または格納を許諾する）構造に対応してもよい。

【0267】

なお、本発明に係る実施形態は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。前記したハードウェア要素は、本発明の動作を実行するために一以上のソフトウェアモジュールとして作動するように構成することができ、その逆もできる。

【0268】

上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13A】

【図13B】

【図13C】

【図14】