知財求人 - 知財ポータルサイト「IP Force」
▶ アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドの特許一覧
特表2024-545232画像処理における全周波数ノイズ低減のための低レイテンシアーキテクチャ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-05
(54)【発明の名称】画像処理における全周波数ノイズ低減のための低レイテンシアーキテクチャ
(51)【国際特許分類】
G06T 5/70 20240101AFI20241128BHJP
G06T 3/40 20240101ALI20241128BHJP
G06T 1/20 20060101ALI20241128BHJP
【ＦＩ】
G06T5/70
G06T3/40
G06T1/20 A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024535704
(86)(22)【出願日】2022-12-07
(85)【翻訳文提出日】2024-07-11
(86)【国際出願番号】 US2022052136
(87)【国際公開番号】W WO2023121877
(87)【国際公開日】2023-06-29
(31)【優先権主張番号】17/561,865
(32)【優先日】2021-12-24
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】591016172
【氏名又は名称】アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド
【氏名又は名称原語表記】ＡＤＶＡＮＣＥＤ ＭＩＣＲＯ ＤＥＶＩＣＥＳ ＩＮＣＯＲＰＯＲＡＴＥＤ
(74)【代理人】
【識別番号】100108833
【弁理士】
【氏名又は名称】早川 裕司
(74)【代理人】
【識別番号】100111615
【弁理士】
【氏名又は名称】佐野 良太
(74)【代理人】
【識別番号】100162156
【弁理士】
【氏名又は名称】村雨 圭介
(72)【発明者】
【氏名】ヨンメイ ドン
(72)【発明者】
【氏名】ホイ ジョウ
(72)【発明者】
【氏名】ジョンフェイ ドン
(72)【発明者】
【氏名】ツォン－ハン チャン
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057BA02
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE02
5B057CE06
5B057CE18
5B057CH09
5B057DB02
5B057DB06
5B057DB09
(57)【要約】
システム及び技術は、マルチスケールフィルタリング技術の各レベルにおける異なる解像度スケールが、従来のノイズ除去フレームワークよりも、各レベルにおいて用いられるノイズ除去プロセスに対してより大きい受容野を提供するように、画像の１つ以上の構成要素について低、中及び／又は高周波数のフィルタリングを提供することができる、画像スケーリングベースのフィルタリング技術（マルチスケールフィルタリング技術）の使用を通じて、画像の低レイテンシ、全周波数ノイズフィルタリングを提供する。このマルチスケールフィルタリングは、フィルタリングされる入力画像を受信し、入力画像を、異なる解像度スケールで、ノイズ除去し、ダウンスケーリングし、アップスケーリングし、より低い解像度スケールの結果と融合して、フィルタリング画像を生成するマルチスケールフィルタリングプロセスを実行することを含む。これは、ダイレクトメモリアクセス（ＤＭＡ）動作を使用して、メモリにおいて、解像度スケールのうちいくつかの中間画像データを一時的にバッファリングすることを含み得る。
【選択図】図３
【選択図】図３
【特許請求の範囲】
【請求項1】
画像をノイズ除去するための方法であって、入力画像を異なる解像度スケールでノイズ除去し、ダウンスケーリングし、アップスケーリングし、より低い解像度スケールの結果と融合して、フィルタリング画像を生成するマルチスケールフィルタリングプロセスを実行することを含む、
方法。
【請求項2】
前記マルチスケールフィルタリングプロセスを実行することは、ダイレクトメモリアクセス（ＤＭＡ）動作を使用して、メモリにおいて、前記解像度スケールのうちいくつかの中間画像データを一時的にバッファリングすることを含む、請求項１の方法。
【請求項3】
対応する解像度スケールにおける各動作は、前記メモリに結合されたシステムオンチップ（ＳＯＣ）のハードコードされたハードウェアアーキテクチャの対応する個別の機能ブロックによって実行され、前記ハードウェアアーキテクチャは、少なくとも１つのＤＭＡエンジンを含む、請求項２の方法。
【請求項4】
前記入力画像は、撮像カメラによってキャプチャされた画像のクロミナンス部分である、請求項１の方法。
【請求項5】
画像のマルチスケールノイズフィルタリングのための方法であって、フィルタリングされる入力画像を受信することと、
第１のシーケンス内の複数のレベルの各レベルについて、前記第１のシーケンス内の前のレベルから受信した画像に対してノイズ除去動作を実行し、その結果得られたノイズ除去画像に対してダウンサンプリング動作を実行し、その結果得られたダウンサンプリング画像に対してアップサンプリング動作を実行し、その結果得られたアップサンプリング画像を前記レベルにおける前記ノイズ除去画像から差し引いて、前記レベルの残差画像を生成する残差動作を再帰的に実行することと、
前記第１のシーケンスとは反対の第２のシーケンス内の前記複数のレベルの各レベルについて、前のレベルの融合画像をアップスケールするアップスケーリング動作を実行し、その結果得られたアップスケーリング融合画像を前記第２のシーケンス内の次のレベルの前記残差画像と組み合わせて、前記レベルの融合画像を生成する融合動作を再帰的に実行することと、
得られた最終的な融合画像を、記憶、送信又は符号化のうち少なくとも１つのためのフィルタリング画像として提供することと、を含む、
方法。
【請求項6】
前記第１のシーケンス内の前記複数のレベルのうち何れかのレベルについて、前記第１のシーケンス内の前のレベルから出力画像を受信することと、
ノイズ除去動作を実行して、ノイズ除去画像を生成することと、
前記ノイズ除去画像をダウンサンプリングして、ダウンサンプリング画像を生成することと、
前記ダウンサンプリング画像を出力画像として、前記第１のシーケンス内の前記次のレベルに提供することと、
前記ダウンサンプリング画像をアップサンプリングして、アップサンプリング画像を生成することと、
前記ノイズ除去画像から前記アップサンプリング画像を差し引いて、前記レベルの残差画像を生成することと、を含む、
請求項５の方法。
【請求項7】
前記第１のシーケンス内の前記複数のレベルのうち何れかのレベルについて、少なくとも１つのダイレクトメモリアクセス動作を使用して、前記レベルの前記ノイズ除去画像をメモリに記憶することと、
少なくとも１つのダイレクトメモリアクセス動作を使用して、前記レベルの前記ダウンサンプリング画像を前記メモリに記憶することと、
前記ダウンサンプリング画像をアップサンプリングするのに使用するために、少なくとも１つのＤＭＡ動作を使用して、前記メモリの前記レベルの前記ダウンサンプリング画像にアクセスして、前記アップサンプリング画像を生成することと、
前記ノイズ除去画像から前記アップサンプリング画像を差し引くのに使用するために、少なくとも１つのＤＭＡ動作を使用して、前記メモリの前記レベルの前記ノイズ除去画像にアクセスすることと、を含む、
請求項６の方法。
【請求項8】
前記前のレベルから出力画像を受信することは、少なくとも１つのＤＭＡ動作を使用して、前記メモリの前記前のレベルの前記ノイズ除去画像にアクセスすることを含み、アクセスされた前記ノイズ除去画像は、前記前のレベルからの前記出力画像である、請求項７の方法。
【請求項9】
前記複数のレベルの各レベルにおいて実行される各動作は、メモリに結合されたシステムオンチップ（ＳＯＣ）のハードコードされたハードウェアアーキテクチャの対応する個別の機能ブロックによって実行され、前記ハードウェアアーキテクチャは、前記ハードコードされたハードウェアアーキテクチャの前記機能ブロックのためのＤＭＡ動作を実行する少なくとも１つのＤＭＡエンジンを含む、請求項８の方法。
【請求項10】
前記第２のシーケンス内の前記複数のレベルのうち何れかのレベルについて、前記第２のシーケンス内の前のレベルからの融合画像をアップスケーリングして、アップスケーリング融合画像を生成することと、
前記アップスケーリング融合画像を前記レベルの前記残差画像と組み合わせて、前記第２のシーケンス内の次のレベルにおいて使用される融合画像を生成することと、を含む、
請求項８の方法。
【請求項11】
前記第２のシーケンス内の前記複数のレベルのうち何れかのレベルについて、前記第２のシーケンス内の前のレベルからの融合画像をアップスケーリングして、アップスケーリング融合画像を生成することと、
前記アップスケーリング融合画像を前記レベルの前記残差画像と組み合わせて、前記第２のシーケンス内の次のレベルにおいて使用される融合画像を生成することと、を含む、
請求項６の方法。
【請求項12】
前記入力画像は、撮像カメラによってキャプチャされた画像のクロミナンス画像である、請求項５の方法。
【請求項13】
画像処理システムであって、入力画像を受信するための入力部と、
請求項１～１２の何れかの方法を実行するように構成されたマルチスケールフィルタリング段階と、を備える、
画像処理システム。
【請求項14】
前記マルチスケールフィルタリング段階に結合されたメモリを備え、前記マルチスケールフィルタリング段階は、前記メモリにおいていくつかの解像度スケールの中間画像データを一時的にバッファリングする少なくとも１つのダイレクトメモリアクセス（ＤＭＡ）エンジンを備える、
請求項１３の画像処理システム。
【請求項15】
対応する解像度スケールにおける各動作は、前記メモリに結合されたシステムオンチップ（ＳＯＣ）のハードコードされたハードウェアアーキテクチャの対応する個別の機能ブロックによって実行される、請求項１４の画像処理システム。
【請求項16】
前記入力部に接続され、シーンの画像をキャプチャするように構成された撮像カメラであって、前記入力画像は、撮像カメラによってキャプチャされた前記画像のクロミナンス部分である、撮像カメラを備える、請求項１３の画像処理システム。
【請求項17】
前記マルチスケールフィルタリング段階は、ハードウェア機能ブロックのセットを実装するハードウェアアーキテクチャを有するシステムオンチップ（ＳｏＣ）を備える、請求項１３の画像処理システム。
【請求項18】
前記ＳＯＣは、請求項５の方法を実行するように構成されており、前記ハードウェア機能ブロックのセットは、
前記第１のシーケンス内の前記複数のレベルのうち何れかのレベルについて、
前記第１のシーケンス内の前のレベルからの出力画像を受信することと、
ノイズ除去動作を実行して、ノイズ除去画像を生成することと、
前記ノイズ除去画像をダウンサンプリングして、ダウンサンプリング画像を生成することと、
前記ダウンサンプリング画像を出力画像として、前記第１のシーケンス内の前記次のレベルに提供することと、
前記ダウンサンプリング画像をアップサンプリングして、アップサンプリング画像を生成することと、
前記ノイズ除去画像から前記アップサンプリング画像を差し引いて、前記レベルの残差画像を生成することと、
を行うように構成されている、
請求項１７の画像処理システム。
【請求項19】
前記ハードウェア機能ブロックのセットは、前記第１のシーケンス内の前記複数のレベルのうち何れかのレベルについて、
ダイレクトメモリアクセス（ＤＭＡ）エンジンによる少なくとも１つのＤＭＡ動作を使用して、前記レベルの前記ノイズ除去画像をメモリに記憶することと、
ＤＭＡエンジンによる少なくとも１つのダイレクトメモリアクセス動作を使用して、前記レベルの前記ダウンサンプリング画像を前記メモリに記憶することと、
前記ダウンサンプリング画像をアップサンプリングするのに使用するために、ＤＭＡエンジンによる少なくとも１つのＤＭＡ動作を使用して、前記メモリの前記レベルの前記ダウンサンプリング画像にアクセスして、前記アップサンプリング画像を生成することと、
前記ノイズ除去画像から前記アップサンプリング画像を差し引くのに使用するために、ＤＭＡエンジンによる少なくとも１つのＤＭＡ動作を使用して、前記メモリの前記レベルの前記ノイズ除去画像にアクセスすることと、
を行うように構成されている、
請求項１８の画像処理システム。
【請求項20】
前記ハードウェア機能ブロックのセットは、ＤＭＡエンジンの少なくとも１つのＤＭＡ動作を使用して、前記メモリの前記前のレベルの前記ノイズ除去画像にアクセスすることによって、前記前のレベルから前記出力画像を受信するように構成されており、アクセスされた前記ノイズ除去画像は、前記前のレベルからの前記出力画像である、請求項１９の画像処理システム。
【請求項21】
前記ハードウェア機能ブロックのセットは、前記第２のシーケンス内の前記複数のレベルのうち何れかのレベルについて、
前記第２のシーケンス内の前のレベルからの融合画像をアップスケーリングして、アップスケーリング融合画像を生成することと、
前記アップスケーリング融合画像を前記レベルの前記残差画像と組み合わせて、前記第２のシーケンス内の次のレベルにおいて使用される融合画像を生成することと、
を行うように構成されている、
請求項１８の画像処理システム。
【請求項22】
前記入力部に接続され、シーンの画像をキャプチャするように構成された撮像カメラであって、前記入力画像は、撮像カメラによってキャプチャされた前記画像のクロミナンス部分である、撮像カメラを備える、請求項１７の画像処理システム。
【発明の詳細な説明】
【背景技術】
【0001】
キャプチャされた画像のための画像処理は、しばしば、低周波、中周波及び高周波ノイズのための画像のフィルタリングを伴う。しかしながら、低周波数ノイズフィルタリングは、典型的には、相対的に大きいフィルタリングウィンドウを必要とし、したがって、複雑さ、電力及びレイテンシに関して、ハードウェア実装においては相対的に高いコストを招く。高速画像処理を必要とするビデオストリーミング等のリアルタイム画像キャプチャアプリケーションは、妥当なコストで全周波数ノイズフィルタリング（full-frequency noise filtering）を効果的に実行する能力を更に阻害する。
【0002】
本開示は、添付の図面を参照することによってより良好に理解され、その数々の特徴及び利点が当業者に明らかになり得る。異なる図面における同じ符号の使用は、類似又は同一のアイテムを示す。
【図面の簡単な説明】
【0003】
【図1】いくつかの実施形態による、低レイテンシマルチスケール全周波数フィルタリングプロセスを実行する画像処理システムのブロック図である。
【発明を実施するための形態】
【0004】
ライブビデオストリーミングアプリケーションにおいて見られるようなリアルタイム画像キャプチャ及び処理は、指示されたフレームレートを達成するために、低レイテンシフィルタリングプロセスを必要とする。従来の手法は、何れも重いソフトウェア計算負荷に依存し、したがって、典型的には、著しいレイテンシをもたらすか、又は、ハードウェアベースのソリューションにおいて大きいフィルタウィンドウを必要とし、したがって、携帯電話等の低コスト又は低電力システムにおける実装には実用的でない場合が多い。したがって、本開示は、マルチスケールフィルタリング技術の各レベルにおける異なる解像度スケールが、従来のノイズ除去フレームワークよりも、各レベルにおいて用いられるノイズ除去プロセスに対してより大きい受容野（larger receptive field）を提供するように、画像の１つ以上の構成要素（例えば、クロミナンス及び／若しくは輝度）について低周波数、中周波数及び／若しくは高周波数（すなわち、「全周波数」）のフィルタリングを提供することができる画像スケーリングベースのフィルタリング技術、すなわち、「マルチスケールフィルタリング技術」を使用することによって、画像の低レイテンシ、低コストの全周波数ノイズフィルタリングのためのシステム及び技術を説明する。本開示は、より低いレイテンシ及びより低い複雑さを提供するために、メモリ内の中間データ記憶及びインアウトメモリデータフローのターゲット分割を活用するハードウェア（すなわち、ハードコードされた及び／又はプログラマブル論理）においてマルチスケールフィルタリング技術を実行するためのハードウェアアーキテクチャを更に提供する。
【0005】
以下でより詳細に説明するように、このマルチスケールフィルタリングは、フィルタリングされる入力画像（例えば、キャプチャされた画像のクロミナンス部分）を受け取り、次いで、入力画像が、異なる解像度スケールにおいて、ノイズ除去され、ダウンスケーリングされ、アップスケーリングされ、より低い解像度スケールの結果と融合されて、フィルタリング画像を生成する、マルチスケールフィルタリングプロセスを実行することを含む。いくつかの実施形態では、これは、ダイレクトメモリアクセス（direct memory access、ＤＭＡ）動作を使用して、メモリにおいて、解像度スケールのうちいくつかのための中間画像データを一時的にバッファリングすることを含む。
【0006】
より具体的には、いくつかの実施形態では、このプロセスは、再帰的に、第１のシーケンス内の複数のレベル（例えば、解像度スケール）の各レベルについて、第１のシーケンス内の前のレベルから受け取られた画像に対してノイズ除去動作を実行し、その後、得られたノイズ除去画像に対してダウンサンプリング動作を実行し、その後、得られたダウンサンプリング画像に対してアップサンプリング動作を実行し、次いで、その後、レベルにおけるノイズ除去画像から、レベルにおける得られたアップサンプリング画像を差し引いて、レベルの残差画像を生成する残差動作を実行することを含む。次いで、プロセスは、再帰的に、第１のシーケンスとは反対の第２のシーケンス内の複数のレベルの各レベルについて、前のレベルからの融合画像をアップスケールするアップスケーリング動作を実行し、その後、得られたアップスケーリング画像を第２のシーケンス内の次のレベルの残差画像と組み合わせて、レベルの融合画像を生成する融合動作を実行することを更に含む。得られたフィルタリング画像は、次いで、記憶、送信又は符号化のうち少なくとも１つのために提供される。説明のために、第１のシーケンス内の複数のレベルのうち所定のレベルについて、再帰的プロセスは、第１のシーケンス内の前のレベルから出力画像を受け取ることと、ノイズ除去動作を実行して、ノイズ除去画像を生成することと、ノイズ除去画像をダウンサンプリングして、ダウンサンプリング画像を生成することと、ダウンサンプリング画像を出力画像として第１のシーケンス内の次のレベルに提供することと、ダウンサンプリング画像をアップサンプリングして、アップサンプリング画像を生成することと、ノイズ除去画像からアップサンプリング画像を差し引いて、レベルの残差画像を生成することと、を含み得る。更に、いくつかの実施形態では、所定のレベルについて、プロセスは、少なくとも１つのダイレクトメモリアクセス動作を使用して、レベルのノイズ除去画像をメモリに記憶することと、少なくとも１つのダイレクトメモリアクセス動作を使用して、レベルのダウンサンプリング画像をメモリに記憶することと、アップサンプリング画像を生成するために、ダウンサンプリング画像をアップサンプリングする際に使用するために、少なくとも１つのＤＭＡ動作を使用して、メモリからレベルのダウンサンプリング画像にアクセスすることと、ノイズ除去画像からアップサンプリング画像を差し引く際に使用するために、少なくとも１つのＤＭＡ動作を使用して、メモリからレベルのノイズ除去画像にアクセスすることと、を更に含み得る。前のレベルからの出力画像を受け取ることは、少なくとも１つのＤＭＡ動作を使用して、メモリから前のレベルのノイズ除去画像にアクセスすることを含んでもよく、アクセスされたノイズ除去画像は、前のレベルからの出力画像である。逆に、第２のシーケンス内の複数のレベルのうち所定のレベルについて、再帰的プロセスは、第２のシーケンス内の前のレベルから融合画像をアップスケーリングして、アップスケーリング融合画像を生成することと、アップスケーリング融合画像をレベルの残差画像と組み合わせて、第２のシーケンス内の次のレベルにおいて使用するための融合画像を生成することと、を含む。
【0007】
図１は、いくつかの実施形態による、マルチスケール全周波数フィルタリングプロセスを用いる画像キャプチャ及び処理システム１００（以下、「システム１００」）を示している。システム１００は、リアルタイム画像キャプチャ及び／又はビデオストリーミングを提供するための様々な電子デバイスの何れかにおいて実装され得る。そのようなデバイスは、例えば、携帯電話、ラップトップコンピュータ、デスクトップコンピュータ、ビデオカメラ、静止画像カメラ、及び、車両ナビゲーションシステム等を含む。
【0008】
システム１００は、システムオンチップ（system on a chip、ＳＯＣ）１０２又は１つ以上の集積回路（integrated circuit、ＩＣ）ダイの他の集合体を含む。ＳＯＣ１０２は、撮像カメラ１０４並びにメモリ１０６及び１０８（例えば、ダイナミックランダムアクセスメモリ（dynamic random access memory、ＤＲＡＭ）、スタティックランダムアクセスメモリ（static random access memory、ＳＲＡＭ）、又は、それらの組み合わせ）に接続される。図１は、メモリ１０６及び１０８を個別のメモリとして示しているが、以下で説明するように、いくつかの実施形態では、メモリ１０６及びメモリ１０８は、同じメモリを備えることに留意されたい。ＳＯＣ１０２は、画像処理パイプライン１１２を実行するために、１つ以上のプロセッサ１１０（例えば、１つ以上の中央処理ユニット（central processing unit、ＣＰＵ）、１つ以上のグラフィック処理ユニット（graphics processing unit、ＧＰＵ）、又は、それらの組み合わせ）及び他のハードウェアを含む。画像処理パイプライン１１２は、画像前処理段階（ステージ）１１４と、マルチスケール全周波数フィルタ段階１１６（以下、簡略化のために「マルチスケールフィルタ段階１１６」）と、画像後処理段階１１８と、を含む。段階（ステージ）１１４～１１８は、本明細書において説明されるそれらの機能を実行するためのソフトウェアを、ＳＯＣ１０２のハードコードされた論理及び／若しくはプログラマブル論理、又は、それらの組み合わせとして実行する１つ以上のプロセッサ１１０を介して実行され得る。図３を参照して以下でより詳細に説明するように、少なくとも１つの実施形態では、マルチスケールフィルタ段階１１６は、効率的なデータフローを介してマルチスケールノイズフィルタリングプロセスを実行し、データフローにおけるレイテンシを低減するために１つ以上のダイレクトメモリアクセス（direct memory access、ＤＭＡ）エンジンを介してアクセスされる中間ストレージとしてメモリ１０６を使用するハードウェアマイクロアーキテクチャを使用して実行される。
【0009】
図２は、いくつかの実施形態による、図１のシステム１００の画像処理パイプライン１１２の高レベル動作を示す方法２００を示している。方法２００の反復は、静止画像として、又は、ビデオストリームのための画像のシーケンス内の画像として、撮像カメラ１０４による画像１２０（図１）のキャプチャで、ブロック２０２において開始する。画像１２０の画像データは、撮像カメラ１０４から、ＳＯＣ１０２のＳＲＡＭ若しくは他の内部メモリに実装されたフレームバッファ（図示せず）に、又は、メモリ１０６、１０８のうち何れかに読み出される。典型的には、キャプチャされた画像１２０に表される画像データは、画素データが画像１２０にキャプチャされたシーンの放射測定特性を表す生のフォーマットで提示される。したがって、ブロック２０４において、画像前処理段階１１４は、前処理画像１２２（図１）を生成するために、画像データを生フォーマットからノイズフィルタリングにより好適な輝度－クロミナンスフォーマットに変換する。以下では、輝度－クロミナンスフォーマットは、ＹＵＶ（又はＹＣｒＣｂ）フォーマットの例示的なコンテキストにおいて説明され、ここで、「Ｙ」はルーマ構成要素又は輝度成分を表し、ＵＶはクロミナンスフォーマットを表す。しかしながら、本明細書で提供されるガイドラインを使用して、他の輝度－クロミナンスフォーマットが代わりに用いられ得る。更に、示されていないが、画像前処理段階１１４は、得られた前処理済み画像１２２を準備する際に、色補正又はアンチエイリアシング等の追加の画像処理技術を用いることができる。
【0010】
ブロック２０６において、前処理された画像１２２は、マルチスケールフィルタリング段階１１６に入力され、その後、マルチスケールフィルタリング段階１１６は、マルチスケール全周波数ノイズフィルタリング（又は「ノイズ除去」）プロセスを実行して、前処理された画像１２２における低、中及び高周波ノイズをフィルタリングする。このプロセスは、図３～図６を参照して以下により詳細に説明される。得られたフィルタリング画像１２４は、次いで、ブロック２０８における後処理のために画像後処理段階１１８に提供される。この後処理は、例えば、フィルタリング画像１２４のフォーマット又は色空間の変換（例えば、ＹＵＶから赤－青－緑（red-blue-green、ＲＧＢ）フォーマットへの変換）、アップスケーリング、ダウンスケーリング、トリミング等を含み得る。ブロック２１０において、得られた処理された画像１２６（図１）は、例えば、更なる後処理のために符号化されていないフォーマットでメモリ１０８に記憶されること、符号化されてから符号化されたフォーマットでメモリ１０８に記憶されること、及び、次いで符号化されてからネットワークを介して別のデバイスに送信されること等によって、システム１００内の下流構成要素に提供される。
【0011】
図３は、図４～図６を参照して以下でより詳細に説明するような全周波数マルチスケールノイズフィルタリングプロセスを実行するために、マルチスケールフィルタリング段階１１６によって実行されるハードウェアアーキテクチャ３００を示している。しかしながら、この時点でハードウェアアーキテクチャ３００の構成要素の機能の理解を容易にするための一般的な概要として、マルチスケールフィルタリングプロセスは、システム（この場合、フィルタリングされる画像）の複数のモデルが異なるスケール（この場合、異なる画像解像度スケール）で処理されるマルチスケールモデリングを用いる。この手法では、マルチスケールフィルタリングプロセスは、レベルの第１のシーケンス、次いで第１のシーケンスとは反対のレベルの第２のシーケンスを実行し、第１のシーケンスは、２つ以上のスケーリングされたフィルタリングレベルにおいて開始し、第１のシーケンス内の各スケーリングされたフィルタリングレベルにおいて、ノイズフィルタリングプロセス（非局所平均ノイズフィルタリングプロセス等）が、前のスケーリングされたフィルタリングレベルからの画像のダウンサンプリングされたバージョンに（又はレベルが第１のスケーリングされたフィルタリングレベルにおいてある場合は元の入力画像に）適用されて、そのレベルのノイズフィルタリング画像を生成し、ノイズフィルタリング画像が、ダウンスケーリングされて、そのレベルのダウンスケーリング画像が生成され、したがって、ダウンスケーリング画像は、低周波数成分を維持する。次いで、ダウンスケーリング画像は、そのレベルのノイズフィルタリング画像と同じ解像度にアップスケーリングされて戻され、次いで、得られたそのレベルのアップスケーリング画像が、そのレベルのノイズフィルタリング画像から差し引かれて、そのレベルのスケールにおける画像の高周波成分を表す、そのレベルの残差データが生成される。第２のシーケンス（融合レベルと称される）では、最後にスケーリングされたフィルタリングレベルのノイズフィルタリング画像が、前のレベルのスケールにアップスケーリングされ、次いで、その画像のアップスケーリングされたバージョンが、対応するレベルにおいて生成された残差データと組み合わされる、すなわち「融合」される。得られた融合画像は、次いで、第２のシーケンス内の次に高いレベルのスケールに再びアップスケーリングされ、得られたアップスケーリング画像は、次いで、その次に高いレベルにおいて生成された残差データと融合される。このプロセスは、残差データが、次に低いレベルからの融合画像のアップスケーリングされたバージョンと組み合わされて最終的な融合画像を生成するまで、第２のシーケンス内の連続してより高いスケーリングされた各フィルタリングレベルについて再帰的に繰り返し、最終的な融合画像は、次いで、出力フィルタリング画像（例えば、フィルタリング画像１２４）として出力される。
【0012】
したがって、この概要が示すように、マルチスケールフィルタリングプロセスは、動作間及びスケーリングされたシーケンス内のレベル間でバッファリングされる中間データを利用するデータフローを有する。したがって、データフロー効率及びレイテンシを改善するために、マルチスケールフィルタリング段階１１６は、マルチスケールフィルタリングプロセス中にそのようなデータのための中間ストレージとしてメモリ１０６を用い、したがって、ハードウェアアーキテクチャ３００は、メモリ１０６に結合された書き込みＤＭＡ（write DMA、ＷＤＭＡ）エンジン３０１及び読み出しＤＭＡ（read DMA、ＲＤＭＡ）エンジン３０３を用いる。ＷＤＭＡエンジン３０１は、本明細書において説明される様々な機能ブロックから画像データを受け取り、受け取った画像データを、対応するＤＭＡ動作を介してメモリ１０６に書き込むように構成される。ＲＤＭＡエンジン３０３は、対応するＤＭＡ動作を介してメモリ１０６に記憶された画像データにアクセスし、アクセスされた画像データを本明細書において説明される様々な機能ブロックに提供するように構成される。いくつかの実施形態では、ＷＤＭＡエンジン３０１及びＲＤＭＡエンジン３０３の各々は、メモリ１０６に画像データを書き込み、メモリ１０６からデータを読み出すために独立して動作する個別のＤＭＡエンジンである。他の実施形態では、ＷＤＭＡエンジン３０１及びＲＤＭＡエンジン３０３は、同じＤＭＡエンジン（すなわち、単一のＤＭＡエンジン）内に実装され、そのような場合、ＷＤＭＡエンジン３０１又はＲＤＭＡエンジン３０３への言及は、この単一のＤＭＡエンジンの書き込みＤＭＡ構成又は読み出しＤＭＡ構成への言及である。
【0013】
マルチスケールフィルタリング段階１１６のハードウェアアーキテクチャ３００は、上で簡単に説明し、図３～図６を参照して以下でより詳細に説明するマルチスケールフィルタリングプロセスを実行するために、互いに相互接続され、ＷＤＭＡエンジン３０１及びＲＤＭＡエンジン３０３と相互接続された複数の機能ブロックを更に含み、各機能ブロックは、マルチスケールフィルタリングプロセスの対応するレベルの対応する動作を実行するために、ハードコードされた論理及び／又はプログラマブル論理並びに関連する回路を実装する。以下の例では、マルチスケールフィルタリングプロセスは、３つのスケーリングされたフィルタリングレベル（レベル０～２）及び最終融合（final fusion、ＦＳ）レベルを用いる。
【0014】
これらの機能ブロック及び機能ブロックによって生成された得られた画像データに対して、以下の命名規則が用いられる。全てのブロックについて、最初の「Ｃ」は、フィルタリングプロセスがこの例では画像データのクロミナンス構成要素に適用されるので、「クロミナンス」を表す。ＣＮＲＸ、ＣＤＳＸ、ＣＵＳＸ、ＣＲＥＳＸと標識されたブロックについて、「ＮＲ」は、ノイズ低減動作を意味し、「ＤＳ」は、「ダウンサンプリング」動作を意味し、「ＵＳ」は、「アップサンプリング」動作を意味し、「ＲＥＳ」は、「残差算出」動作（“residue calculation” operation）を意味し、「Ｘ」によって表される数は、対応する動作が実行されるレベルを表し、レベル０は、初期スケーリングされたフィルタリングレベルであり、レベル１は、中間スケーリングされたフィルタリングレベルであり、レベル２は、最終スケーリングされたフィルタリングレベルである。したがって、ＣＮＲ０と標識された機能ブロックは、機能ブロックが初期スケーリングされたフィルタリングレベルについてノイズ低減動作を実行することを示し、ＣＲＥＳ１と標識された機能ブロックは、機能ブロックが中間スケーリングされたフィルタリングレベルについて残差算出動作を実行することを示す。ＣＦＵＳＸ又はＣＦＳＸと標識されたブロックの場合、「ＦＵＳ」は、次に低いレベルから画像をアップスケールするための「融合アップスケール」動作（“fusion upscale” operation）を意味し、「ＦＳ」は、「融合」動作（“fusion” operation）を意味し、Ｘは、融合アップスケール動作又はこれまでに実行されている融合動作の数を表す。更に、この命名規則では、所定の機能ブロックによって出力される画像データは、出力画像データを生成した機能ブロックに与えられた名前に「＿Ｄ」を付加して参照される。例えば、「ＣＲＥＳ０＿Ｄ」は、ＣＲＥＳ０機能ブロックによって実行される残差動作によって生成される残差データを参照する。機能ブロックと機能ブロックによって生成されるデータとの間の区別を更に容易にするために、機能ブロックは、四角い角を有するブロックを使用して図３に表され、一方、機能ブロックによって生成されるデータは、丸い角を有するブロックを使用して表される。
【0015】
図示されるように、ハードウェアアーキテクチャ３００は、機能ブロック３０２、３０４、３０６、３０８、３１０、３１２、３１４、３１６、３１８、３２０、３２２、３２４、３２６を含む。以下の例では、機能ブロックは、人間の目が、典型的には、同じ画像の輝度情報よりも画像のクロミナンス情報においてデジタルノイズを知覚することができ、したがって、全周波数ノイズ除去が、典型的には、輝度領域よりもクロミナンス領域において効果的であるという観察の反映として、前処理済み画像１２２のクロミナンス情報に対して動作する。この手法の下で、ハードウェアアーキテクチャ３００は、クロミナンスチャネル（例えば、Ｕチャネル及びＶチャネル）の各々が、他のチャネルと並行してハードウェアアーキテクチャ３００の対応するインスタンスによって処理されるように複製することができるか、又は、ハードウェアアーキテクチャ３００が、Ｕチャネルについて一度、次いでＶチャネルについて再度（若しくはその逆）、マルチスケールフィルタリングプロセスを順に実行するために用いられ得る。更に他の実施形態では、この同じプロセスは、輝度情報に対して、個別に又はクロミナンス情報の処理と組み合わせて用いられ得る。
【0016】
入力から開始して、機能ブロック３０２（「ＣＮＲ０ ３０２」と表記される）は、初期スケーリングされたフィルタリングレベル（レベル０）において実装され、前処理済み画像１２２のクロミナンス情報を受け取る入力部を有する。このクロミナンス情報自体は、ある種の画像として見ることができ、したがって、本明細書ではクロミナンス画像３２８と称される。クロミナンス画像３２８は、ＣＮＲ０ ３０２への入力として、画像前処理段階１１４の出力部から直接、又は、メモリ１０６、１０８のうち何れかを介して、ＤＭＡアクセス又は通常のメモリコントローラ読み出し動作の何れかを介して提供され得る。ＣＮＲ０ ３０２は、次のサブプロセスに進む前に高周波成分を除去するために、クロミナンス画像３２８に対してＣＮＲ０ ３０２によって実行される１つ以上のノイズ低減動作に基づいて、ノイズ低減（又は「ノイズ除去」）画像ＣＤＮＲ０＿Ｄ３３０を提供する出力部を更に含む。例えば、非局所平均（ＮＬＭ）ノイズ除去動作をノイズ除去動作として用いられ得る。しかしながら、他のノイズ除去動作、例えば、局所平均ノイズ除去、バイラテラルノイズ除去、ガイド付きフィルタノイズ除去、ウェーブレットノイズ除去等も使用され得る。ＣＮＲ０ ３０２の出力部は、ノイズ除去画像ＣＮＲ０＿Ｄ３３０が１つ以上の書き込みＤＭＡ動作を介してメモリ１０６に記憶されるように、ＷＤＭＡエンジン３０１の入力部に結合される。ＣＮＲ０ ３０２の出力部は、機能ブロック３０４（ＣＤＳ０ ３０４と表記される）の入力部にも結合され、これもレベル０で実装され、ノイズ除去画像ＣＮＲ０＿Ｄ３３０にダウンスケーリング動作を適用して、出力部においてダウンスケーリング画像ＣＤＳ０＿Ｄ３３２を生じるように動作し、これはＷＤＭＡエンジン３０１に結合され、したがって１つ以上の書き込みＤＭＡ動作を介してメモリ１０６に記憶される。画像１２２の元の解像度は、本明細書ではＯＲとして識別され、レベル０におけるこの動作によって実装されるダウンスケーリングの程度は、ＤＳ０として表記される。例えば、ＤＳ０は、元の解像度の５０％ダウンスケーリング、又は、ＤＳ０＝０．５＊ＯＲ（垂直解像度及び水平解像度の両方について）を表し得る。
【0017】
機能ブロック３０６（「ＣＮＲ１ ３０６」と表記される）は、中間スケーリングされたフィルタリングレベル（レベル１）で実装され、適切な時間に１つ以上のＤＭＡ動作を介して、メモリ１０６からＲＤＭＡエンジン３０３によってアクセスされるダウンスケーリング画像ＣＤＳ０＿Ｄ３３２を受け取る入力部を有する。ＣＮＲ１ ３０６は、ダウンスケーリング画像ＣＤＳ０＿Ｄ３３２に対してＣＮＲ１ ３０６によって実行される１つ以上のノイズ低減動作に基づいてノイズ低減された（又は「ノイズ除去された」）ＣＮＲ１＿Ｄ画像を提供するための出力部を更に含む。このノイズ除去動作は、ＣＮＲ０ ３０２において実行されるものと同じタイプの動作（例えば、ＮＬＭノイズ低減）であるか、又は、異なるタイプのノイズ低減動作であり得る。ＣＮＲ１ ３０６の出力部は、ノイズ除去画像ＣＮＲ１＿Ｄ３３４が１つ以上の書き込みＤＭＡ動作を介してメモリ１０６に記憶されるように、ＷＤＭＡエンジン３０１の入力部に結合される。ＣＮＲ１ ３０６の出力部は、機能ブロック３０８（ＣＤＳ１ ３０８と表記される）の入力部にも結合され、これもレベル１で実装され、ノイズ除去画像ＣＮＲ１＿３３６にダウンスケーリング動作を適用してダウンスケーリング画像ＣＤＳ１＿Ｄ３３６をその出力部において生じるように動作し、これは、ＷＤＭＡエンジン３０１に結合され、したがって１つ以上の書き込みＤＭＡ動作を介してメモリ１０６に記憶される。レベル１におけるこの動作によって実装されるダウンスケーリングの程度は、ＤＳ１として表記され、ここで、ＤＳ１＞ＤＳ０である。例えば、ＤＳ１は、ダウンスケーリングされノイズ除去画像３３４の５０％ダウンスケーリング、したがって元の解像度ＯＲの７５％ダウンスケーリング、又は、ＤＳ１＝０．２５＊ＯＲ（垂直解像度及び水平解像度の両方について）を表し得る。
【0018】
機能ブロック３１０（ＣＮＲ２ ３１０と表記される）は、最終スケーリングされたフィルタリングレベル（レベル２）で実装され、適切な時間に１つ以上のＤＭＡ動作を介してメモリ１０６からＲＤＭＡエンジン３０３によって取り出されたダウンスケーリング画像ＣＤＳ１＿Ｄ３３６を受け取るように、ＲＤＭＡエンジン３０３の出力部に結合された入力部を有する。ＣＮＲ２ ３１０は、ダウンスケーリング画像ＣＤＳ１＿Ｄ３３６に対してＣＮＲ２ ３１０によって実行される１つ以上のノイズ低減動作に基づいて、ノイズ低減された（又は「ノイズ除去された」）画像３３８（「ＣＮＲ２＿Ｄ３３８」と表記される）を提供するための出力部を更に含む。このノイズ除去動作は、ＣＮＲ０ ３０２で実行されるのと同じタイプの動作であってもよく、又は、異なるタイプのノイズ低減動作であってもよい。機能ブロック３１２（ＣＦＳＵＳ１ ３１２で表記される）は、融合レベルとして実装され、ノイズ除去画像ＣＮＲ２＿Ｄ３３８を受け取るようにＣＮＲ２ ３１０の出力部に結合された入力部を有し、ノイズ除去画像ＣＮＲ２＿Ｄ３３８にアップスケーリング動作を適用して、その出力部においてアップスケーリング画像ＣＦＳＵＳ１＿Ｄ３４０を生じるように動作する。アップスケーリングの程度は、ＦＵＳ１として表記され、事実上、ダウンスケーリング画像ＣＤＳ１＿Ｄ３３６に適用されるダウンスケーリングの程度ＤＳ１を逆にするように構成される（すなわち、ＦＵＳ１＝１／（１－ＤＳ１））。したがって、ダウンスケーリングＤＳ１が解像度の５０％低減をもたらす場合、アップスケーリングＦＵＳ１は、得られたアップスケーリング画像ＣＦＳＵＳ１＿Ｄ３４０において解像度の２００％の増加を提供する。
【0019】
機能ブロック３１４（ＣＵＳ１ ３１４と表記される）は、中間フィルタリングレベル（レベル１）で実装され、ＣＮＲ２ ３１０への入力のためにメモリ１０６からＲＤＭＡエンジン３０３によって取り出されたダウンスケーリング画像ＣＤＳ１＿Ｄ３３６を並行して受け取るようにＲＤＭＡエンジン３０３の出力部に結合された入力部を有する。ＣＵＳ１ ３１４は、ダウンスケーリング画像ＣＤＳ１＿Ｄ３３６にアップスケーリング動作を適用して、その出力部においてアップスケーリング画像ＣＵＳ１＿Ｄ３４２を生じるように動作する。アップスケーリングの程度は、ＵＳ１として表記され、事実上、ダウンスケーリング画像ＣＤＳ１＿Ｄ３３６に適用されるダウンスケーリングの程度ＤＳ１を逆にするように構成される（すなわち、ＵＳ１＝ＦＳ１＝１／（１－ＤＳ１））。したがって、ダウンスケーリングＤＳ１が解像度の５０％の低減をもたらす場合、アップスケーリングＵＳ１は、得られたアップスケーリング画像ＣＵＳ１＿Ｄ３４２において解像度の２００％の増加を提供する。機能ブロック３１６（ＣＲＥＳ１ ３１６と表記される）は、レベル１で実装され、アップスケーリング画像ＣＵＳ１＿Ｄ３４２を受け取るようにＣＵＳ１ ３１４の出力部に結合された入力部と、適切な時間に１つ以上のＤＭＡ動作を介してメモリ１０６からＲＤＭＡエンジン３０３によって取り出されたノイズ除去画像ＣＮＲ１＿Ｄ３３４を受け取るようにＲＤＭＡエンジン３０３の出力部に結合された入力部と、を有する。ＣＲＥＳ１ ３１６は、アップスケーリング画像ＣＵＳ１＿Ｄ３４２をノイズ除去画像ＣＮＲ１＿Ｄ３３４から差し引いて、出力のための残差画像ＣＲＥＳ１＿Ｄ３４４を生成するように動作する（これはしたがって、高周波信号を維持するが、より低周波の信号を取り除く）。
【0020】
機能ブロック３１８（ＣＦＳ１ ３１８と表記される）は、融合レベルにおいて実装され、アップスケーリング画像ＣＦＳＵＳ１＿Ｄ３４０を受け取るようにＣＦＳＵＳ１ ３１２の出力部に結合された入力部と、残差画像ＣＲＥＳ１＿Ｄ３４４を受け取るための入力部と、を有し、画像３４０及び３４４を重ね合わせ又は組み合わせて、融合画像ＣＦＳ１＿Ｄ３４６を生成するように動作する。機能ブロック３２０（ＣＦＳＵＳ２ ３２０と表記される）も融合レベルにおいて実装され、融合画像ＣＦＳ１＿Ｄ３４６を受け取るようにＣＦＳ１ ３１８の出力部に結合された入力部を有し、融合画像ＣＦＳ１＿Ｄ３４６にアップスケーリング動作を適用して、その出力部においてアップスケーリング画像ＣＦＳＵＳ２＿Ｄ３４８を生じるように動作する。アップスケーリングの程度は、ＦＵＳ２として表記され、事実上、ダウンスケーリング画像ＣＤＳ０＿Ｄ３３２に適用されるダウンスケーリングの程度ＤＳ０を逆にするように構成される（すなわち、ＦＵＳ２＝１／（１－ＤＳ０））。したがって、ダウンスケーリングＤＳ０が解像度の５０％の低減をもたらす場合、アップスケーリングＦＵＳ１は、得られたアップスケーリング画像ＣＦＳＵＳ２＿Ｄ３４８において解像度の２００％の増加を提供する。
【0021】
機能ブロック３２２（ＣＵＳ０ ３２２と表記される）は、初期スケーリングされたフィルタリングレベル（レベル０）で実装され、適切な時間にメモリ１０６からＲＤＭＡエンジン３０３によって取り出されたダウンスケーリング画像ＣＤＳ０＿Ｄ３３２を受け取るように、ＲＤＭＡエンジン３０３の出力部に結合された入力部を有する。ＣＵＳ０ ３２２は、ダウンスケーリング画像ＣＤＳ０＿Ｄ３３２にアップスケーリング動作を適用して、その出力部においてアップスケーリング画像ＣＵＳ０＿Ｄ３５０を生じるように動作する。アップスケーリングの程度は、ＵＳ０として表記され、事実上、ダウンスケーリング画像ＣＤＳ０＿Ｄ３３２に適用されるダウンスケーリングの程度ＤＳ０を逆にするように構成される（すなわち、ＵＳ０＝ＦＵＳ０＝１／（１－ＤＳ０））。したがって、ダウンスケーリングＤＳ０が解像度の５０％の低減をもたらす場合、アップスケーリングＵＳ０は、得られたアップスケーリング画像ＣＵＳ０＿Ｄ３５０において解像度の２００％の増加を提供する。機能ブロック３２４（ＣＲＥＳ０ ３１６と表記される）は、レベル０で実装され、アップスケーリング画像ＣＵＳ０＿Ｄ３５０を受け取るようにＣＵＳ０ ３２２の出力部に結合された入力部と、適切な時間に１つ以上のＤＭＡ動作を介してメモリ１０６からＲＤＭＡエンジン３０３によって取り出されたノイズ除去画像ＣＮＲ０＿Ｄ３３０を受け取るようにＲＤＭＡエンジン３０３の出力部に結合された入力部と、を有する。ＣＲＥＳ０ ３２４は、アップスケーリング画像ＣＵＳ０＿Ｄ３５０をノイズ除去画像ＣＮＲ０＿Ｄ３３０から差し引いて、出力のための残差画像ＣＲＥＳ０＿Ｄ３５２を生成するように動作する（これはしたがって、高周波信号を維持する一方で、より低周波の信号を取り除く）。
【0022】
機能ブロック３２６（ＣＦＳ２ ３２６と表記される）は、融合レベルにおいて実装され、アップスケーリング画像ＣＦＳＵＳ２＿Ｄ３４８を受け取るようにＣＦＳＵＳ２ ３１２の出力部に結合された入力部と、残差画像ＣＲＥＳ０＿Ｄ３５２を受け取るための入力とを有し、画像３４８及び３５２を重ね合わせ又は組み合わせて、フィルタリングされたクロミナンス画像３５４を生成するように動作し、これは、フィルタリング画像（１２４）のクロミナンス構成要素を含み、これは次いで、直接的に又はメモリ１０６若しくはメモリ１０８内の中間記憶装置を介して、画像後処理段階１１８に出力される。
【0023】
説明されるマルチスケールフィルタリング段階１１６のためのハードウェアアーキテクチャ３００の機能ブロック３０２～３２６及びＤＭＡエンジン３０１、３０３の個々の接続及び動作とともに、マルチスケールフィルタリングプロセス４００を実行するためにハードウェアアーキテクチャ３００を使用して用いられるデータフロー及び動作フローが、図４～図６によって示される。
【0024】
まず図４を参照すると、第１のタイムスライス（時間Ｔ０～Ｔ２）において、前処理された画像１２２のクロミナンス情報を表すクロミナンス画像３２８は、初期スケーリングされたフィルタリングレベルにおいてあるレベル０に入力され、その後、それは、ＣＮＲ０ ３０２に入力され、ＣＮＲ０ ３０２は、ＮＬＭノイズ除去動作又は他のノイズ除去動作を実行して、ノイズ除去画像ＣＮＲ０＿Ｄ３３０（時間Ｔ０～Ｔ１）を生成する。ＷＤＭＡエンジン３０１は、書き込み動作４０２を実行して、ノイズ除去画像ＣＮＲ０＿Ｄ３３０を、後続のアクセスのためにメモリ１０６に書き込む。ＣＤＳ０ ３０４は、ダウンスケーリング係数ＤＳ０（例えば、５０％）によって、ＣＮＲ０ ３０２によって出力されたノイズ除去画像ＣＮＲ０＿Ｄ３３０をダウンスケーリングして、ダウンスケーリング画像ＣＤＳ０＿Ｄ３３２を生成する（時間Ｔ１～Ｔ２）。ＷＤＭＡエンジン３０１は、書き込みＤＭＡ動作４０４を実行して、ダウンスケーリング画像ＣＤＳ０＿Ｄ３３２を、後続のアクセスのためにメモリ１０６に書き込む。
【0025】
図５を簡単に参照すると、後続の第２のタイムスライス（時間Ｔ２～Ｔ４）において、ＲＤＭＡエンジン３０３は、読み出しＤＭＡ動作５０２を実行して、メモリ１０６から記憶されたダウンスケーリング画像ＣＤＳ０＿Ｄ３３２にアクセスし、それをＣＮＲ１ ３０６に提供し、ＣＮＲ１ ３０６は、ダウンスケーリング画像ＣＤＳ０＿Ｄ３３２（時間Ｔ２～Ｔ３）にノイズ除去動作を適用して、ノイズ除去画像ＣＮＲ１＿Ｄ３３４を生成する。ＷＤＭＡエンジン３０１は、書き込みＤＭＡ動作５０４を実行して、ノイズ除去画像ＣＮＲ１＿Ｄ３３４をメモリ１０６にバッファリングする。次いで、ＣＤＳ１ ３０８は、ＣＮＲ１ ３０６によって出力されたノイズ除去画像ＣＮＲ１＿Ｄ３３４をダウンスケーリング係数ＤＳ１（例えば、更に５０％）だけダウンスケーリングして、ダウンスケーリング画像ＣＤＳ１＿Ｄ３３６を生成し（時間Ｔ３～Ｔ４）、ＷＤＭＡエンジン３０１は、書き込みＤＭＡ動作５０６を実行して、ダウンスケーリング画像ＣＤＳ１＿Ｄ３３６をメモリ１０６にバッファリングする。
【0026】
後続の第３のタイムスライス（Ｔ４－Ｔ５）において、ＲＤＭＡエンジン３０３は、読み出しＤＭＡ動作５０８を実行して、メモリ１０６からダウンスケーリング画像ＣＤＳ１＿Ｄ３３６にアクセスし、アクセスされたダウンスケーリング画像ＣＤＳ１＿Ｄ３３６を中間スケーリングされたフィルタリングレベル（レベル２）でＣＲＮ２ ３１０に提供する。ＣＲＮ２ ３１０は、ＮＬＭノイズ除去動作（又は他のノイズ除去動作）を実行して、ノイズ除去画像ＣＮＲ２＿Ｄ３３８を生成する。
【0027】
図６を簡単に参照すると、後続の第４のタイムスライス（Ｔ５～Ｔ６）において、ノイズ除去画像ＣＮＲ２＿Ｄ３３８が融合レベルに提供され、その後、ＣＦＳＵＳ１ ３１２は、アップスケーリング係数ＦＵＳ１を使用してアップスケール動作を実行して、ノイズ除去画像ＣＮＲ２＿Ｄ３３８をアップスケールし、アップスケーリング画像ＣＦＳＵＳ１＿Ｄ３４０を生成する。再び図５を参照すると、この同じタイムスライス中に、ＲＤＭＡエンジン３０３は、読み出しＤＭＡ動作５１０を実行して、メモリ１０６からの記憶されたダウンスケーリング画像ＣＤＳ１＿Ｄ３３６にアクセスし、それをＣＵＳ１ ３１４に提供し、ＣＵＳ１ ３１４は、アップスケーリング係数ＵＳ１を使用してアップスケール動作を実行して、ダウンスケーリング画像ＣＤＳ１＿Ｄ３３６をアップスケールして、アップスケーリング画像ＣＦＳＵＳ１＿Ｄ３４０と同じ解像度を有するアップスケーリング画像ＣＵＳ１＿Ｄ３４２を生成し、アップスケーリング画像ＣＵＳ１＿Ｄ３４２は、ＣＲＥＳ１ ３１６に入力される。同時に、ＲＤＭＡエンジン３０３は、メモリ１０６から、ノイズ除去画像ＣＮＲ１＿Ｄ３３４にアクセスするために読み出しＤＭＡ動作５１２を実行し、それを入力としてＣＲＥＳ１ ３１６に提供する。次いで、ＣＲＥＳ１ ３１６は、ノイズ除去画像ＣＮＲ１＿Ｄ３３４からアップスケーリング画像ＣＵＳ１＿Ｄ３４２を差し引いて、残差画像３４４を生成する。図５に戻ると、この同じタイムスライス中に、アップスケーリング画像ＣＦＳＵＳ１＿Ｄ３４０及び残差画像ＣＲＥＳ１＿Ｄ３４４がＣＦＳ１ ３１８に入力され、ＣＦＳ１ ３１８は、これらの入力画像を重ね合わせ、すなわち「融合」して、融合画像ＣＦＳ１＿Ｄ３４６を生成する。
【0028】
再び図６を参照すると、後続の第５のタイムスライス（時間Ｔ６～Ｔ７）において、出力された融合画像ＣＦＳ１＿Ｄ３４６は、ＣＦＳＵＳ２ ３４０に入力され、ＣＦＳＵＳ２ ３４０は、融合画像ＣＦＳ１＿Ｄ３４６をアップスケール係数ＦＵＳ１によってアップスケールするためのアップスケーリングされた動作を実行して、クロミナンス画像３２８の元の解像度ＯＲを有するアップスケーリング画像ＣＦＳＵＳ２＿Ｄ３４８を生成する。図４に戻ると、同時に、第５のタイムスライス（Ｔ６～Ｔ７）において、ＷＤＭＡエンジン３０１は、読み出しＤＭＡ動作４０６を実行して、メモリ１０６から記憶されたダウンスケーリング画像ＣＤＳ０＿Ｄ３３２にアクセスし、ダウンスケーリング画像ＣＤＳ０＿Ｄ３３２をＣＵＳ０ ３３２に提供し、ＣＵＳ０ ３３２は、アップスケール動作を実行して、画像ＣＤＳ０＿Ｄ３３２をアップスケール係数ＵＳ０によってアップスケールして、クロミナンス画像３２８の元の解像度ＯＲと同じ解像度を有するアップスケーリング画像ＣＵＳ０＿Ｄ３５０を生成する。
【0029】
第６の最後のタイムスライス（時間Ｔ７～Ｔ８）について、ＲＤＭＡエンジン３０３は、メモリ１０６からのノイズ除去画像ＣＮＲ０＿Ｄ３３０にアクセスするために読み出しＤＭＡ動作４０８を実行し、アクセス画像をＣＲＥＳ０ ３２４の入力部に提供する。ＣＲＥＳ０ ３２４は、アクセスされたノイズ除去画像ＣＮＲ０＿Ｄ３３０からアップスケーリング画像ＣＵＳ０＿Ｄ３５０を差し引いて、残差画像ＣＲＥＳ０＿Ｄ３５２を生成する。再び図６を参照すると、残差画像ＣＲＥＳ０＿Ｄ３５２及びアップスケーリング画像ＣＦＳＵＳ２＿Ｄ画像は、融合レベルにおいてＣＦＳ２ ３２６に入力され、ＣＦＳ２ ３２６は、残差画像ＣＲＥＳ０＿Ｄ３５２をアップスケーリング画像ＣＦＳＵＳ２＿Ｄ３４８に重ね合わせるための重ね合わせ動作を実行して、出力されたフィルタリングされたクロミナンス画像３５４を生成する。
【0030】
したがって、上述したように、マルチスケールフィルタリングプロセス４００及びこのプロセスを実行するハードウェアアーキテクチャ３００は、一緒に、改善されたレイテンシ及び帯域幅を提供するために、一時的なＤＭＡベースのストレージと、エンドツーエンドフローにおけるメモリからの中間画像の後続のアクセスと、を使用することによって、低レイテンシの全周波数画像フィルタリングを提供する。特に、３つのノイズ除去画像、２つのダウンスケーリング画像、２つの残差画像、４つのアップスケーリング画像、及び、２つの融合画像等のように、上述したマルチスケール全周波数フィルタリングプロセスにおける中間画像の数に留意されたく、これらの融合画像の最後の画像は、最終出力として働く。上述したアーキテクチャ及びプロセスを使用して、２つのダウンスケーリング画像及び２つのノイズ除去画像のみが利用され、これは、メモリに記憶してメモリからアクセスするための最小量のデータを提供し、著しく低減されたメモリ帯域幅要件につながる。更に、中間画像は、現在のレベルにおいて生成された直後に次のレベルによって処理される。したがって、レイテンシは、主に、ノイズ低減、ダウンスケール及びアップスケールプロセスのフィルタウィンドウサイズ並びにメモリレイテンシに依存し、したがって、従来の手法と比較して全体的により低いレイテンシをもたらす。
【0031】
いくつかの実施形態では、上記の装置及び技術は、図１～図６を参照して上述したＳＯＣ１０２等の１つ以上の集積回路（ＩＣ）デバイス（集積回路パッケージ又はマイクロチップとも称される）を含むシステムに実装される。電子設計自動化（electronic design automation、ＥＤＡ）及びコンピュータ支援設計（computer aided design、ＣＡＤ）ソフトウェアツールは、これらのＩＣデバイスの設計及び製造に使用することができる。これらの設計ツールは、典型的には、１つ以上のソフトウェアプログラムとして表される。１つ以上のソフトウェアプログラムは、回路を製造するための製造システムを設計するか又は適応させるためのプロセスの少なくとも一部を実行するために、１つ以上のＩＣデバイスの回路を表すコードで動作するようにコンピュータシステムを操作するための、コンピュータシステムによって実行可能なコードを含む。このコードは、命令、データ、又は、命令及びデータの組み合わせを含み得る。設計ツール又は製造ツールを表すソフトウェア命令は、典型的には、コンピューティングシステムにアクセス可能なコンピュータ可読記憶媒体に記憶される。同様に、ＩＣデバイスの設計又は製造の１つ以上の段階を表すコードは、同じコンピュータ可読記憶媒体又は異なるコンピュータ可読記憶媒体に記憶され、そこからアクセスされる。
【0032】
コンピュータ可読記憶媒体は、命令及び／又はデータをコンピュータシステムに提供するために、使用中にコンピュータシステムによってアクセス可能な任意の非一時的な記憶媒体又は非一時的な記憶媒体の組み合わせを含む。このような記憶媒体には、限定されないが、光学媒体（例えば、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク）、磁気媒体（例えば、フロッピー（登録商標）ディスク、磁気テープ、磁気ハードドライブ）、揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）若しくはキャッシュ）、不揮発性メモリ（例えば、読取専用メモリ（ＲＯＭ）若しくはフラッシュメモリ）、又は、微小電気機械システム（ＭＥＭＳ）ベースの記憶媒体が含まれ得る。コンピュータ可読記憶媒体（例えば、システムＲＡＭ又はＲＯＭ）はコンピューティングシステムに内蔵されてもよいし、コンピュータ可読記憶媒体（例えば、磁気ハードドライブ）はコンピューティングシステムに固定的に取り付けられてもよいし、コンピュータ可読記憶媒体（例えば、光学ディスク又はユニバーサルシリアルバス（ＵＳＢ）ベースのフラッシュメモリ）はコンピューティングシステムに着脱可能に取り付けられてもよいし、コンピュータ可読記憶媒体（例えば、ネットワークアクセス可能ストレージ（ＮＡＳ））は有線又は無線ネットワークを介してコンピュータシステムに結合されてもよい。
【0033】
いくつかの実施形態では、上述した技術の特定の態様は、ソフトウェアを実行する処理システムの１つ以上のプロセッサによって実装される。ソフトウェアは、非一時的なコンピュータ可読記憶媒体に記憶されるか、別の方法で明確に具体化された実行可能命令の１つ以上のセットを含む。ソフトウェアは、命令及び特定のデータを含んでもよく、当該命令及び特定のデータは、１つ以上のプロセッサによって実行されると、上述した技術の１つ以上の態様を実行するように１つ以上のプロセッサを操作する。非一時的なコンピュータ可読記憶媒体は、例えば、磁気又は光ディスク記憶デバイス、フラッシュメモリ等のソリッドステート記憶デバイス、キャッシュ、ランダムアクセスメモリ（ＲＡＭ）、又は、他の不揮発性メモリデバイス（単数又は複数）等を含み得る。非一時的なコンピュータ可読記憶媒体に記憶された実行可能命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、又は、１つ以上のプロセッサによって解釈され若しくは別の方法で実行可能な他の命令形式で実装可能である。
【0034】
上述したものに加えて、概要説明において説明した全てのアクティビティ又は要素が必要とされているわけではなく、特定のアクティビティ又はデバイスの一部が必要とされない場合があり、１つ以上のさらなるアクティビティが実行される場合があり、１つ以上のさらなる要素が含まれる場合があることに留意されたい。さらに、アクティビティが列挙された順序は、必ずしもそれらが実行される順序ではない。また、概念は、特定の実施形態を参照して説明された。しかしながら、当業者であれば、特許請求の範囲に記載されているような本発明の範囲から逸脱することなく、様々な変更及び変形を行うことができるのを理解するであろう。したがって、明細書及び図面は、限定的な意味ではなく例示的な意味で考慮されるべきであり、これらの変更形態の全ては、本発明の範囲内に含まれることが意図される。
【0035】
利益、他の利点及び問題に対する解決手段を、特定の実施形態に関して上述した。しかし、利益、利点、問題に対する解決手段、及び、何かしらの利益、利点若しくは解決手段が発生又は顕在化する可能性のある特徴は、何れか若しくは全ての請求項に重要な、必須の、又は、不可欠な特徴と解釈されない。さらに、開示された発明は、本明細書の教示の利益を有する当業者には明らかな方法であって、異なっているが同様の方法で修正され実施され得ることから、上述した特定の実施形態は例示にすぎない。添付の特許請求の範囲に記載されている以外に本明細書に示されている構成又は設計の詳細については限定がない。したがって、上述した特定の実施形態は、変更又は修正されてもよく、かかる変更形態の全ては、開示された発明の範囲内にあると考えられることが明らかである。したがって、ここで要求される保護は、添付の特許請求の範囲に記載されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【国際調査報告】