特許 5947460 高解像度ビデオストリームを生成する方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5947460

(24)【登録日】2016年6月10日

(45)【発行日】2016年7月6日

(54)【発明の名称】高解像度ビデオストリームを生成する方法およびシステム

(51)【国際特許分類】

   G06T 3/40 20060101AFI20160623BHJP

   H04N 1/387 20060101ALI20160623BHJP

【ＦＩ】

   G06T3/40 730

   H04N1/387

【請求項の数】9

【全頁数】13

(21)【出願番号】特願2015-519019(P2015-519019)

(86)(22)【出願日】2013年6月24日

(65)【公表番号】特表2015-525914(P2015-525914A)

(43)【公表日】2015年9月7日

(86)【国際出願番号】EP2013063114

(87)【国際公開番号】WO2014001243

(87)【国際公開日】20140103

【審査請求日】2015年2月25日

(31)【優先権主張番号】12305768.9

(32)【優先日】2012年6月28日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】391030332

【氏名又は名称】アルカテル−ルーセント

(74)【代理人】

【識別番号】110001173

【氏名又は名称】特許業務法人川口國際特許事務所

(72)【発明者】

【氏名】ナンブーディリ，ビネイ

(72)【発明者】

【氏名】マック，ジャン−フランソワ

(72)【発明者】

【氏名】ロンダオ・オルフェイス，パトリス

(72)【発明者】

【氏名】フェルザイプ，ニコ

(72)【発明者】

【氏名】シクス，エルウイン

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 特開２００７−０８００８７（ＪＰ，Ａ）

【文献】 国際公開第２０１１／０９０７９８（ＷＯ，Ａ１）

【文献】 BISHOP C M ET AL，Super-resolution Enhancement of Video，International Workshop on Artificial Intelligence and Statistics，２００３年 １月 ３日

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ３／４０

Ｈ０４Ｎ １／３８７

(57)【特許請求の範囲】

【請求項1】

高解像度ビデオストリームを生成するプロセスであって、
− 低解像度ビデオストリームを受信すること（３１０）、
− 少なくとも１つの高解像度ビデオストリームを受信すること（３２０）、
− 前記少なくとも１つの高解像度ビデオストリームから第１の画像パッチを選択すること（３３１）、
− 前記第１の高解像度画像パッチの各第１の低解像度の対応画像パッチを生成すること（３３２）、
− 前記第１の低解像度の対応画像パッチによってインデックス付けされた前記第１の高解像度画像パッチを第１のデータ記憶装置に記憶すること（３３３）、および、
− 前記インデックス付けに従って、前記第１の低解像度の対応画像パッチのうちの１つまたは複数に類似する前記低解像度ビデオストリームの部分を前記第１のデータ記憶装置から取得された第１の高解像度パッチで置換すること（３５１）によって、前記低解像度ビデオストリームを向上させること（３５０）を含み、
前記低解像度ビデオストリームと前記少なくとも１つの高解像度ビデオストリームとは、実質的に同期されたビデオストリームであり、
第２の低解像度の対応画像パッチによってインデックス付けされた、予め記憶された第２の高解像度画像パッチを含む第２のデータ記憶装置と共に適用され、そのインデックス付けに従って、前記第２の低解像度の対応画像パッチのうちの１つまたは複数に類似する前記低解像度ビデオストリームの部分を前記第２のデータ記憶装置から取得された第２の高解像度パッチで置換すること（３５２）をさらに含むことを特徴とするプロセス。

【請求項2】

前記第１の高解像度画像パッチを前記記憶すること（３３３）が、前記高解像度画像パッチに有効時間を与えることを含み、プロセスが、前記有効時間に従って前記第１の高解像度画像パッチを非アクティブにすること（３６０）をさらに含む、請求項１に記載のプロセス。

【請求項3】

前記低解像度ビデオストリームを前記向上させること（３５０）が、「最近傍」基準を適用することによって前記第１の低解像度の対応画像パッチのうちの前記１つまたは複数との類似性を判断することを含み、第１の高解像度パッチで前記置換することは、前記「最近傍」基準を満たす低解像度の対応画像パッチに対応する各第１の高解像度パッチの加重和で置換することを含む、請求項１または２のいずれか一項に記載のプロセス。

【請求項4】

前記類似性が輝度勾配に基づいて判断される、請求項１から３のいずれか一項に記載のプロセス。

【請求項5】

実行される時に、請求項１から４のいずれか一項に記載のプロセスを実行するように構成されたソフトウェア手段を含む、コンピュータプログラム。

【請求項6】

高解像度ビデオストリームを生成するシステム（４００）であって、
− 低解像度ビデオストリームを受信する第１のビデオインターフェース（４１０）と、
− 少なくとも１つの高解像度ビデオストリームを受信する第２のビデオインターフェース（４２０）と、
− 前記第２のビデオインターフェース（４２０）および第１のデータ記憶装置（４４０）に動作可能に接続されるレジストレーション処理装置（４３０）であって、前記レジストレーション処理装置（４３０）は、前記少なくとも１つの高解像度ビデオストリームから第１の高解像度画像パッチを選択し、前記第１の高解像度画像パッチの各第１の低解像度の対応画像パッチを生成し、かつ前記第１の低解像度の対応画像パッチによってインデックス付けされた前記第１の高解像度画像パッチを前記データ記憶装置（４４０）に記憶するように構成される、レジストレーション処理装置（４３０）と、
− 前記第１のビデオインターフェース（４１０）および前記第１のデータ記憶装置（４４０）に動作可能に接続される画像向上処理装置（４５０）とを備え、前記画像向上処理装置（４５０）は、前記インデックス付けに従って、前記第１の低解像度の対応画像パッチのうちの１つまたは複数に類似する前記低解像度ビデオストリームの部分を前記第１のデータ記憶装置（４４０）から取得された第１の高解像度パッチで置換するように構成され、
前記低解像度ビデオストリームと前記少なくとも１つの高解像度ビデオストリームは実質的に同期され、
第２のデータ記憶装置（４５０）をさらに備え、前記第２のデータ記憶装置（４５０）が、第２の低解像度の対応画像パッチによってインデックス付けされた、予め記憶された第２の高解像度画像パッチを含み、前記画像向上処理装置（４５０）がさらに、そのインデックス付けに従って、前記第２の低解像度の対応画像パッチのうちの１つまたは複数に類似する前記低解像度ビデオストリームの部分を前記第２のデータ記憶装置（４４０）から取得された第２の高解像度パッチで置換するように構成されたことによって特徴付けられるシステム。

【請求項7】

前記レジストレーション処理装置（４３０）に動作可能に接続されるタイマー（４６０）をさらに備え、前記レジストレーション処理装置（４３０）がさらに、前記第１の高解像度画像パッチに有効時間を与え、前記タイマーと連動して前記有効時間に従って前記第１の高解像度画像パッチを非アクティブにするように構成された、請求項６に記載のシステム（４００）。

【請求項8】

前記画像向上処理装置（４５０）がさらに、「最近傍」基準を適用することによって前記第１の低解像度の対応画像パッチのうちの前記１つまたは複数との類似性を判断し、前記部分を前記「最近傍」基準を満たす低解像度の対応画像パッチに対応する各第１の高解像度パッチの加重和で置換するように構成された、請求項６または７のいずれか一項に記載のシステム（４００）。

【請求項9】

前記画像向上処理装置（４５０）がさらに、輝度勾配に基づいて前記類似性を判断するように構成された、請求項６から８のいずれか一項に記載のシステム（４００）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はビデオ画像処理の分野に関し、詳細には超解像技術の分野、すなわち１つまたは複数の低解像度画像から高解像度画像を生成する課題に関する。

【背景技術】

【0002】

複数の画像から高解像度パノラマを生成する課題は、さまざまな方法でアプローチされてきた。

【0003】

向上した高品質なパノラマのための第１の選択肢は、より高品質なパノラマカメラを使用することである。このカメラは、通常（ほぼ）ゼロ視差の構成の複数のビデオセンサに基づき、３６０度のビューをカバーするパノラマを捉えることができる。しかしながら、今日このセンサには限界があり、カメラ装置のセンサの解像度が制限されるため、シーンを感知する能力には制限がある。また、より多くのセンサを含むことは、装置のコスト、詳細にはリアルタイムで貼り合せをするためのコストを増加させる。

【0004】

別の選択肢は、１つのカメラから他のカメラへの画像のレジストレーションを用いて、放送の画像品質を向上させることである。これらの画像は、一緒に貼り合されて、パノラマビューを生成することができる。しかしながら、このアプローチは視差の問題（ビューの地点およびビューの方向における差異による異なる遠近関係の歪み）および色差の点で不利である。さらに、移動するカメラの動的なレジストレーションは困難である。別の問題は、画像のある部分が他のカメラで得られる一方で、どのカメラにもカバーされない一部の領域のシーンが常に存在することである。この場合、イベントを見ている間、ユーザは極めて不均質な経験をするであろう。

【発明の概要】

【発明が解決しようとする課題】

【0005】

したがって、本発明の実施形態の目的は、上述の課題のうちの１つまたは複数を、少なくとも部分的に克服することである。

【課題を解決するための手段】

【0006】

本発明の態様によれば、高解像度ビデオストリームを生成するプロセスが提供され、このプロセスは、低解像度ビデオストリームを受信すること、少なくとも１つの高解像度ビデオストリームを受信すること、少なくとも１つの高解像度ビデオストリームから第１の画像パッチを選択すること、第１の高解像度画像パッチの各第１の低解像度の対応画像パッチを生成すること、第１の低解像度の対応画像パッチによってインデックス付けされた第１の高解像度画像パッチを第１のデータ記憶装置に記憶すること、および、インデックス付けに従って、第１の低解像度の対応画像パッチのうちの１つまたは複数に類似する低解像度ビデオストリームの部分を第１のデータ記憶装置から取得された第１の高解像度パッチで置換することによって、低解像度ビデオストリームを向上させることを含み、低解像度ビデオストリームと少なくとも１つの高解像度ビデオストリームとは、実質的に同期されたビデオストリームである。

【0007】

「低解像度ビデオ」という用語は、本明細書において概観画像を示すために用いられ、パノラマ画像であることが好ましく、比較的わずかな詳細しか提供しない。「高解像度ビデオ」という用語は、本明細書において、「低解像度ビデオ」によってカバーされる光景のより小さな部分についてより多くの詳細を提供するビデオストリームを示すために用いられる。高解像度ビデオは、低解像度ビデオの範囲内に完全に含まれる光景の領域をカバーする必要はない。以下で説明されるように、完全な重なりが好ましいが、部分的な重なりもまた効果的である。重なりが完全に欠如しても、それが永続的でなければ、本発明を効果のないものにするわけではない。すなわち、低解像度画像と高解像度画像の内容の間には何らかの関連があるはずである。

【0008】

「パッチ」はビデオ画像の小さな領域であることが理解されよう。パッチは矩形であることが好ましく、正方形であることが特に好ましい。複数のピクセル、すなわち好ましくは３×３ピクセルから１６×１６ピクセルまでの複数のピクセルのオーダーの大きさを有する。

【0009】

本発明の有利な点は、本発明によるプロセスは、形態的に認識可能な特徴全体を低解像度画像に貼り付けようとするものではないため、視差および遠近関係の不一致の問題が回避されることであり、一方、人間の眼には抽象的に見えるが、とはいえ視覚化される種類の光景の特性を示す非常に小さなパターンは置換される。

【0010】

本発明によるプロセスのライブ的性質によって、すなわち低解像度ストリームと実質的に同期しており、かつ同一の全体的な光景をカバーする高解像度ストリームを使用する結果、本発明によるプロセスは、単に静的辞書に基づいたシステムより性能が優れているであろう。

【0011】

一実施形態では、本発明によるプロセスは、第２の低解像度の対応画像パッチによってインデックス付けされた、予め記憶された第２の高解像度画像パッチを含む第２のデータ記憶装置と共に適用され、このプロセスは、そのインデックス付けに従って、第２の低解像度の対応画像パッチのうちの１つまたは複数に類似する低解像度ビデオストリームの部分を第２のデータ記憶装置から取得された第２の高解像度パッチで置換することをさらに含む。

【0012】

この実施形態は、パッチ辞書を動的に作出する有効性と実績のある静的辞書を使用する効率性とを併有する。

【0013】

本発明によるプロセスの一実施形態では、第１の高解像度画像パッチを記憶することは、高解像度画像パッチに有効時間を与えることを含み、プロセスはこの有効時間に従って第１の高解像度画像パッチを非アクティブにすることをさらに含む。

【0014】

この実施形態では、記憶されるデータのサイズが無限に増大するのを回避しつつ、動的辞書は永続的に更新される。

【0015】

本発明によるプロセスの一実施形態では、低解像度ビデオストリームを向上させることは、「最近傍」基準を適用することによって第１の低解像度の対応画像パッチのうちの１つまたは複数との類似性を判断することを含み、第１の高解像度パッチで置換することは、「最近傍」基準を満たす低解像度の対応画像パッチに対応する各第１の高解像度パッチの加重和で置換することを含む。

【0016】

この実施形態の有利な点は、動的辞書において完全な一致が無いにもかかわらず、画像の特定のパッチについて解像度が向上し得ることである。

【0017】

本発明によるプロセスの一実施形態では、類似性は輝度勾配に基づいて判断される。

【0018】

この単純化は、優れた結果につながると同時に、計算法的に効率的であることが判明している。

【0019】

本発明の態様によれば、実行される時に、上述の方法を実行するように構成されたソフトウェア手段を含むコンピュータプログラムが提供される。

【0020】

本発明の態様によれば、高解像度ビデオストリームを生成するシステムが提供され、このシステムは、低解像度ビデオストリームを受信する第１のビデオインターフェースと、少なくとも１つの高解像度ビデオストリームを受信する第２のビデオインターフェースと、第２のビデオインターフェースおよび第１のデータ記憶装置に動作可能に接続されるレジストレーション処理装置であって、このレジストレーション処理装置は、少なくとも１つの高解像度ビデオストリームから第１の高解像度画像パッチを選択し、第１の高解像度画像パッチの各第１の低解像度の対応画像パッチを生成し、かつ第１の低解像度の対応画像パッチによってインデックス付けされた第１の高解像度画像パッチをデータ記憶装置に記憶するように構成される、レジストレーション処理装置と、第１のビデオインターフェースおよび第１のデータ記憶装置に動作可能に接続される画像向上処理装置とを備え、この画像向上処理装置は、インデックス付けに従って、第１の低解像度の対応画像パッチのうちの１つまたは複数に類似する低解像度ビデオストリームの部分を第１のデータ記憶装置から取得された第１の高解像度パッチで置換するように構成され、低解像度ビデオストリームと少なくとも１つの高解像度ビデオストリームは実質的に同期される。

【0021】

一実施形態では、本発明によるシステムは、第２のデータ記憶装置をさらに備え、この第２のデータ記憶装置は、第２の低解像度の対応画像パッチによってインデックス付けされた、予め記憶された第２の高解像度画像パッチを含み、画像向上処理装置はさらに、そのインデックス付けに従って、第２の低解像度の対応画像パッチのうちの１つまたは複数に類似する低解像度ビデオストリームの部分を第２のデータ記憶装置から取得された第２の高解像度パッチで置換するように構成される。

【0022】

一実施形態では、本発明によるシステムは、レジストレーション処理装置に動作可能に接続されるタイマーをさらに備え、レジストレーション処理装置はさらに、第１の高解像度画像パッチに有効時間を与え、タイマーと連動してこの有効時間に従って第１の高解像度画像パッチを非アクティブにするように構成される。

【0023】

本発明によるシステムの一実施形態では、画像向上処理装置はさらに、「最近傍」基準を適用することによって第１の低解像度の対応画像パッチのうちの１つまたは複数との類似性を判断し、「最近傍」基準を満たす低解像度の対応画像パッチに対応する各第１の高解像度パッチの加重和で部分を置換するように構成される。

【0024】

本発明によるシステムの実施形態では、画像向上処理装置はさらに、輝度勾配に基づいて類似性を判断するように構成される。

【0025】

本発明の実施形態によるプログラムおよびシステムの技術的効果および利点は、必要に応じて変更を加えて、本発明によるプロセスの対応する実施形態に関して上記に述べたことに対応する。

【0026】

次に、本発明の実施形態による装置および／または方法のいくつかの実施形態について添付の図面を参照して説明するが、これは一例に過ぎない。

【図面の簡単な説明】

【0027】

【図1】本発明の一実施形態によるシステムおよび方法の概観を示す図である。

【図2】本発明の別の実施形態によるシステムおよび方法の概観を示す図である。

【図3】本発明の一実施形態による方法の流れ図である。

【図4】本発明の一実施形態によるシステムの構成図である。

【発明を実施するための形態】

【0028】

本発明の焦点は、一連のトレーニング画像を活用して、単一の低解像度画像から高解像度画像を生成することにある。低解像度画像は、典型的にはシーンのパノラマまたは広角のビューであるが、複数のトレーニング画像は高解像度の光景を提供する。本発明によれば、同一の全体的な光景の詳細な（拡大された）画像は、トレーニング画像として用いられる。これらのトレーニング画像はリアルタイムに処理されて、パッチの低解像度の対応画像パッチが識別される場所でパノラマビデオの供給に混合され得る高解像度画像パッチの、永続的に更新される辞書を形成する。

【0029】

本発明の実施形態は、高精細度（ＨＤ）カメラを場合によっては含む複数のカメラがイベントを放送するために利用可能であるが１つのカメラで全てが捉えられるわけではないという状況において、有利に用いられ得る。シーン全体を捉える概観カメラ（オムニカムまたはパノラマカメラ）も利用可能である場合は、本発明は、概観カメラの出力がＨＤカメラからのデータを利用して向上することを可能にする。このことは、より高品質な、より広いビューの放送を可能にする。スポーツイベントのテレビ放送への適用が典型的であり、単一の概観カメラが使用されて、競技場全体、さらにはスタジアム全体の（低解像度の）概観を捉えることができ、一方で複数の他のカメラは選手の動きおよび／または観客の反応を追う。

【0030】

本発明によるプロセスでは、詳細画像から取られた高解像度画像の「パッチ」は、低解像度の基本画像に置換される。低解像度の基本画像に置換される高解像度画像の個々の「パッチ」は、色相情報は無視して、その輝度勾配のパターンに基づいて識別されるのが好ましい。このアプローチは、フルカラーのパターン選択よりもコンピュータ的に効率的でありながら、優れた結果をもたらすことが判明している。

【0031】

本出願では、「辞書」という用語は、高解像度の明暗度パターン（ターゲット）を与えられた数の低解像度の明暗度パターン（キー）に関連付けるデータベースを示す。

【0032】

辞書は必ずしも完全である必要はない。実際、実用的な理由（特に記憶装置の必要量）から、辞書は、ごく小さなパッチを除いて、パッチを構成し得るピクセル値の１つ１つの可能な組合せごとのエントリを含まないことが推奨される。完全な辞書は、すぐに巨大になるであろう。辞書自体に現れない低解像度パッチに対する最適な高解像度の置換を識別する１つの方法は、局所線形埋め込みに基づく。この方法は、辞書内の低解像度パッチの最近傍を識別すること、最小誤差で低解像度パッチの再構成を可能にするこれらの最近傍の重みを計算すること、および識別された最近傍の高解像度の対応画像パッチに同一の重みを加えることを含む。再構成された高解像度パッチは次に、元の低解像度パッチの代用として用いられる。

【0033】

本発明は、とりわけ、静的辞書の使用は必ずしも意に適う高解像度パノラマを提供するとは限らないという本発明人の洞察に基づく。

【0034】

静的辞書は自然画像には十分に有効であると考えられているが、他のタイプの画像（特にスポーツプログラム）は本質的により独特で動的である。特定の人々および特定のスポーツの画像を超解像する際、一般的なデータベースの使用は十分に機能しない。これは、スポーツにおいては、特定の選手およびシーン特性を確実にする必要があるからである。一般的な解決策は、この点を考慮に入れていない。たとえば、フットボールでは、超解像の際、特定の選手は別の選手に似ていないことを確実にする必要がある。加えて、競技場上のボールおよびラインなどの特定の対象は極めて重要であり、一般的な超解像の方法は、超解像の過程の間に、受け入れられない方法で詳細を変更する可能性がある。

【0035】

それゆえ、本発明によれば、辞書には超解像技術が適用されている現在の画像素材からレジストレーションされたキーとターゲットのペアがリアルタイムで格納される。

【0036】

辞書エントリとして機能し得る画像パッチを識別するプロセスは、レジストレーションと呼ばれる。これは、高解像度画像からパッチを選択すること、そのパッチをダウンサンプリングして低解像度の対応画像パッチを取得すること、および元の高解像度パッチをその低解像度の対応画像パッチと共にキーとターゲットのペアとして格納することを含む。

【0037】

本発明は、超解像の過程において特定のシーン関連の情報を特に考慮することによる超解像を採用することで、上述の問題をうまく回避する。その結果は、超解像技術および粗いレジストレーション技術を用いて低解像度パノラマを向上させるためにライブ高精細度（ＨＤ）カメラを使用することができるシステムである。

【0038】

したがって、ＨＤカメラおよび広角のパノラマビューからオンラインで粗いスケーリング関連の情報を取得するシステムが提案される。結合された高解像度と低解像度（ＨＲ−ＬＲ）の辞書は学習によって得られ、超解像技術に用いられる。明瞭な重なりは必要でない。これは、個々のピース（パッチ）が同一フィールドのビューから生じることを必要とせずに、高解像度のビューに低解像度のパノラマビューを区分的に描くエントリが辞書に格納されるからである。この辞書はシーンの統計に基づき、勾配／エッジの範囲で操作されるのが好ましい（色彩による影響を受けないようにするため）。学習は、局所的にパッチを用いて行われる。ＨＤビューが全てのパノラマビューに対して存在することは必要でないことに留意されたい。

【0039】

概観パノラマカメラの出力は、投影段階を介して学習された辞書を用いて超解像される。

【0040】

本発明によるプロセスの第１の実施形態は、図１と関連して説明される。

【0041】

第１の実施形態では、ＨＤカメラの組１１０から関係のあるシーン関連の情報が取得される。これを行う方法はさまざまである。関連したシーン情報を取得する一例は、粗いレジストレーションおよび位置合せ過程１３０を実行することである。レジストレーションプロセスの結果は、ＨＤビューと（低解像度の）パノラマ中の対応する領域とのスケーリング比である。ＨＤビューは次に、そのスケーリング比に従ってダウンスケールされる。結果として生じるビューおよびその元のＨＤのコピーは、オンラインの辞書学習段階で用いられる。

【0042】

オンラインの辞書１５０は次に、このシーン関連の情報から得られる。これは、高解像度（ＨＲ）領域および対応するダウンサンプリングされた低解像度（ＬＲ）領域中の中間周波帯フィルタで勾配操作を実行することで、まず入力フレームを前処理することによって行われる。画像フレームから、局所的に対応するＨＲおよびＬＲパッチ１４０を抽出する。これらは次にクラスター化アルゴリズムで量子化され、ＨＲおよびＬＲの視覚化語彙１２０の結合された辞書をもたらす。オンライン辞書が学習されると、次にパノラマ１００から辞書に低解像度パッチの投影１６０を行う。このことは、シーンの再構成に用いられる対応する高解像度の勾配パッチ情報の取得を可能にする。この高解像度の勾配情報は、色彩情報と結合されて高解像度出力のパノラマ画像１７０を生じさせる。

【0043】

パッチ置換プロセスは緻密な方法、すなわち、高解像度の対応画像パッチにより元の低解像度画像の重なり合う部分を置換することによって実行されるのが好ましい。境界のアーティファクトを避けるために、高解像度部分の重なり合う部分のピクセル値は組み合される（たとえば、平均化または加重平均化を用いて）ことが最も好ましい。好ましくは、置換される画像部分は３ピクセルの間隔（中心間）が空けられ、パッチは３×３ピクセルよりわずかに大きく、したがって重なり合うグリッドを形成する。

【0044】

本発明によるプロセスの第２の実施形態は、図２と関連して説明される。

【0045】

第２の実施形態では、図１と関連して説明されたような本発明のオンラインのアプローチは、オフラインのアプローチと組み合される。同一の参照符号は同一の特徴を示すために用いられ、ここでこれらは明示的に繰り返されない。このように、予め格納された（静的）辞書２１０／２５０は、動的辞書に加えて用いられる。動的辞書は、現在のＨＲフレームからの学習によって現在のシーンに適応する。適応の単純な例として、オフラインフェーズのＫ個の特徴のより包括的な辞書およびオンライン学習フェーズのＭ個の特徴のより小さな辞書を学習することによるものがある。次に、Ｋ＋Ｍ個の特徴の組み合された辞書２６０は超解像投影段階１６０において使用され得る。このことはまた、生成される広角の高解像度パノラマ１７０を生じさせ、オンラインの方法およびオフラインの方法の長所を併有する。

【0046】

シーン全体の高解像度のパノラマビューを利用可能にすることは、ユーザが、まさに見たいと思っているものをこれまで可能であったよりもはるかに優れた詳細のレベルで選択し、これに焦点を合せることができるようにするであろうから、本発明によるプロセスの結果として生じるビデオは、はるかに優れたユーザ経験をもたらす。このことは、利用可能な放送カメラがない区域においてより良い解像度を可能にする。放送カメラが利用可能である区域では、純粋な放送ビューが、高い解像度を依然として提供する。しかしながら、視差の問題を解決することは複雑であり、またコンピュータ的に高額であり、そのため、本発明はその場合に対する有利な代替も提供する。

【0047】

図３は、本発明の一実施形態による方法の例示の流れ図である。

【0048】

第１のステップ３１０において、低解像度ビデオストリームが受信される。好ましくは同時に、ステップ３２０において１つまたは複数の高解像度ビデオストリームが受信される。これらの低解像度ビデオストリームと高解像度ビデオストリーム（複数可）とは、実質的に同期されたビデオストリームであり、同一の全体の光景を表す。

【0049】

ステップ３３１において、画像パッチはこれらの高解像度のビデオストリームから選択され、スケーリングおよび／または変換されて（上述の通りであり、図示されない）、低解像度のビデオの対応する領域に一致することができる。ステップ３３２において、低解像度の対応画像パッチは、選択された高解像度画像パッチ用に生成される。次いで、ステップ３３３において、これらが取り出された低解像度の対応画像パッチと高解像度パッチのペアは、インデックス付けされた辞書として適切なデータ記憶手段に記憶される。

【0050】

低解像度ビデオストリームを実際に向上させるステップ３５０は、記憶された低解像度パッチのうちの１つまたは複数に十分類似する低解像度ビデオストリームの部分を第１のデータ記憶装置から取得された対応する高解像度パッチで置換するステップ３５１によって実行される。

【0051】

プロセスは、低解像度のビデオストリームの部分を第２の静的データ記憶装置から取得された高解像度パッチで置換するステップ３５２をさらに含んでよい。

【0052】

動的辞書の低解像度／高解像度のペアの格納は有効時間に従うのが好ましく、その結果、プロセスは前記有効時間に従ってパッチのペアを非アクティブにするステップ３６０を含むことができる。このことは、動的辞書のサイズが無制限に増大しないことを確実にし、すなわち、内容は視覚化された光景の現在の（または、少なくとも最新の）統計を表す。有効時間はフレーム（すなわちビデオフレーム）の数、または時間の絶対量として表されてよい。３ビデオフレーム、または約１００−１２０ミリセコンドの有効時間で十分な結果が得られる。有効時間は、３から１０００ビデオフレームの間で設定されるのが好ましい。

【0053】

高解像度パッチによる画像部分の置換は、１対１である必要はない。プロセスは、「最近傍」基準を適用することによって、画像部分と辞書中のパッチの類似性を判断することができる。したがって、置換ステップは、低解像度領域のターゲット部分の各最近傍に対応する複数の高解像度パッチから高解像度パッチを合成することを含むことができる。

【0054】

以上、例示のプロセスのステップについて、単に明確性の理由から特定の順序で説明がなされてきた。一般に、本発明による方法のステップは、文脈から特定の他のステップが先行または後続しない限り特定のステップが生じ得ないということが明らかでない限り、並行的または逐次的に異なる順序で実行されてもよい。

【0055】

図４は、本発明の一実施形態によるシステムの構成図を示す。

【0056】

図示されたシステム４００は、低解像度ビデオストリームを受信する第１のビデオインターフェース４１０と、少なくとも１つの高解像度ビデオストリームを受信する第２のビデオインターフェース４２０とを備える。低解像度ビデオストリームと少なくとも１つの高解像度ビデオストリームは実質的に同期される。

【0057】

「インターフェース」という用語は、当業者によく知られている通り、プロトコルスタックのさまざまな層に亘ってデータ通信の接続性を確立するために必要なハードウェアおよびソフトウェアを示す。標準化されたプロトコルが用いられるのが好ましい。アクセスインターフェースは、たとえば、ｘＤＳＬ、ｘＰＯＮ、ＷＭＡＮ、または３Ｇリンク用のインターフェースを含んでよい。ＬＡＮインターフェースは、たとえば、ＩＥＥＥ８０２．３「イーサネット（登録商標）（Ｅｔｈｅｒｎｅｔ（登録商標））」リンク、ＩＥＥＥ８０２．１１「無線ＬＡＮ」リンクのうちの１つまたは複数用のインターフェースを含んでよい。ＰＡＮインターフェースは、たとえば、ＵＳＢインターフェースまたはブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））インターフェースを含んでよい。

【0058】

システムは、第２のビデオインターフェース４２０および第１のデータ記憶装置４４０に動作可能に接続されるレジストレーション処理装置４３０をさらに備える。レジストレーション処理装置４３０は、高解像度ビデオストリーム（複数可）から第１の高解像度画像パッチを選択し、高解像度画像パッチの各低解像度の対応画像パッチを生成し、かつ第１の低解像度の対応画像パッチによってインデックス付けされた高解像度画像パッチをデータ記憶装置４４０に記憶するように構成される。高解像度パッチを適切にスケーリングおよび／または変換するために、これらが属する領域は、特徴の観点で低解像度ビデオストリームの対応する領域と一致させられ得る。この目的を達成するために、レジストレーション処理装置４３０はさらに、第１のビデオインターフェース４１０に動作可能に接続される。

【0059】

システムは、第１のビデオインターフェース４１０および第１のデータ記憶装置４４０に動作可能に接続される画像向上処理装置４５０をさらに備える。この画像向上処理装置４５０は、インデックス付けに従って、１つまたは複数の記憶された低解像度の対応画像パッチに類似する低解像度ビデオストリームの部分を第１のデータ記憶装置４４０から取得された高解像度パッチで置換するように構成される。

【0060】

第２のデータ記憶装置４５０は、システム４００に存在してよい。この第２のデータ記憶装置４５０は、その低解像度の対応画像パッチによってインデックス付けされた、予め記憶された高解像度画像パッチからなる静的辞書を備える。この場合、画像向上処理装置４５０はさらに、そのインデックス付けに従って、前記第２の低解像度の対応画像パッチのうちの１つまたは複数に類似する低解像度ビデオストリームの部分を第２のデータ記憶装置４４０から取得された高解像度パッチで置換するように構成される。

【0061】

システム４００は、第１のデータ記憶装置４４０において動的辞書に記憶されたエントリに有効時間のポリシーを課すために、タイマー４６０を含んでよい。タイマー４６０は、高解像度画像パッチに有効時間を与え、かつタイマー４６０からのタイミング入力を用いてこの有効時間に従ってこれらの高解像度画像パッチを非アクティブにする（好ましくは、記憶装置４４０からこれらを削除することによって）ようにさらに構成されたレジストレーション処理装置４３０に動作可能に接続される。

【0062】

以上に、方法および装置について別個の実施形態として説明がなされてきたが、この説明は単に明確性の目的のためになされ、方法の実施形態に関連してのみ説明される特徴は、本発明による装置に適用されて、同一の技術的効果および利点を得ることができ、逆の場合も同じであることに留意すべきである。

【0063】

「処理装置」と呼ばれる任意の機能ブロックを含む、図に示されるさまざまな素子の機能は、専用のハードウェア、および適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアを使用して提供されてよい。機能は、処理装置によって提供されるとき、単一の専用処理装置によって、単一の共用処理装置によって、または複数の別個の処理装置によって提供されてよく、これらのいくつかが共用されてもよい。さらに、「処理装置」または「制御装置」という用語の明確な使用は、ソフトウェアを実行することができるハードウェアをもっぱら指すと解釈されるべきではなく、デジタル信号処理装置（ＤＳＰ）、ハードウェア、ネットワーク処理装置、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ソフトウェアを記憶する読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、および不揮発性記憶装置を暗に含むことができるが、これらに限定されるものではない。従来の、および／またはカスタムの他のハードウェアもまた含まれてよい。同様に、図に示される任意のスイッチは概念上のものに過ぎない。これらの機能は、プログラム論理の操作を介して、専用の論理を介して、プログラム制御と専用の論理の相互作用を介して実行され、または手動で実行されてもよく、特定の技術は、文脈からより具体的に理解されるものとして実行者によって選択可能である。

【0064】

上述のさまざまな方法のステップはプログラム化されたコンピュータによって実行され得ることが、当業者には容易に理解されよう。本明細書において、いくつかの実施形態は、機械可読またはコンピュータ可読であり、かつ機械実行可能またはコンピュータ実行可能な命令のプログラムを符号化する、たとえばデジタルデータ記憶媒体などのプログラム記憶装置をカバーするようにも意図され、前記命令は前記上述の方法の一部または全てのステップを実行する。プログラム記憶装置は、たとえば、デジタルメモリ、磁気ディスクおよび磁気テープなどの磁気記憶媒体、ハードドライブ、または光学可読デジタルデータ記憶媒体などであってよい。実施形態はまた、上述の方法の前記ステップを実行するようにプログラム化されたコンピュータをカバーするよう意図される。

【図1】

【図2】

【図3】

【図4】