特許 7527113 画像処理装置、その制御方法、プログラム並びに画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-25

(45)【発行日】2024-08-02

(54)【発明の名称】画像処理装置、その制御方法、プログラム並びに画像処理システム

(51)【国際特許分類】

   H04N 19/117 20140101AFI20240726BHJP

   H04N 19/154 20140101ALI20240726BHJP

   H04N 19/176 20140101ALI20240726BHJP

   H04N 19/46 20140101ALI20240726BHJP

   H04N 23/60 20230101ALI20240726BHJP

   G06T 5/00 20240101ALI20240726BHJP

   G06T 7/00 20170101ALI20240726BHJP

   H04N 19/80 20140101ALI20240726BHJP

【ＦＩ】

H04N19/117

H04N19/154

H04N19/176

H04N19/46

H04N23/60

G06T5/00 700

G06T7/00 350C

H04N19/80

【請求項の数】 13

(21)【出願番号】P 2020009443

(22)【出願日】2020-01-23

(65)【公開番号】P2021118403

(43)【公開日】2021-08-10

【審査請求日】2023-01-06

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】田邉 章弘

【審査官】田部井 和彦

(56)【参考文献】

【文献】国際公開第２０１９／０３１４１０（ＷＯ，Ａ１）

【文献】米国特許出願公開第２００３／０２１２９４４（ＵＳ，Ａ１）

【文献】国際公開第２０１９／００９４８９（ＷＯ，Ａ１）

【文献】特開平０９－０６５２８４（ＪＰ，Ａ）

【文献】特開２００３－２５９２８０（ＪＰ，Ａ）

【文献】特開２０１９－１４５９１８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０１４５６６１（ＵＳ，Ａ１）

【文献】Chuanmin Jia et al.，Content-Aware Convolutional Neural Network for In-Loop Filtering in High Efficiency Video Coding [online]，Published in: IEEE Transactions on Image Processing ( Volume: 28 , Issue: 7, July 2019), [2024年1月18日検索]，2019年01月31日，pp.3343-3356，インターネット <URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8630681>，DOI: 10.1109/TIP.2019.2896489

【文献】Yingbin Wang et al.，AHG9: Dense Residual Convolutional Neural Network based In-Loop Filter [online]，JVET-K0391-v4（JVET-K0391-v4.docx）, [2024年1月18日検索]，インターネット ＜URL: https://jvet-experts.org/doc_end_user/documents/11_Ljubljana/wg11/JVET-K0391-v4.zip＞，2018年07月14日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／１１７

Ｈ０４Ｎ １９／１５４

Ｈ０４Ｎ １９／１７６

Ｈ０４Ｎ １９／４６

Ｈ０４Ｎ １９／８０

Ｈ０４Ｎ ２３／６０

Ｇ０６Ｔ ５／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

入力画像に対して符号化を施した符号化画像におけるブロックごとの劣化の度合いを取得する取得手段と、
前記符号化画像を復号化する復号化手段と、
前記復号化手段により復号化された復号化画像における所定のブロックに画像の回復処理を施す回復手段と、を有し、
前記回復手段は、前記符号化画像における前記ブロックごとの劣化の度合いに応じて、前記復号化画像におけるブロックごとに第１のニューラルネットワークを用いた前記画像の回復処理を施すか否かを切り替え、
前記回復手段は、更に、前記符号化画像における前記ブロックごとの前記劣化の度合いを修正する修正手段を含み、
前記修正手段は、第２のニューラルネットワークにより出力される、前記ブロックごとに前記画像の回復処理を施すか否かについての出力に基づいて、前記符号化画像における前記ブロックごとの前記劣化の度合いを修正する、ことを特徴とする画像処理装置。

【請求項2】

前記第１のニューラルネットワークは、復号化画像から符号化前の画像を推定するように構成される、ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記第１のニューラルネットワークは、前記入力画像に施す符号化技術で符号化と復号化とを施した画像である入力データと、符号化される前の画像である教師データとを用いて、復号化画像から符号化前の画像を推定するように学習されている、ことを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記入力画像に対して符号化を施す符号化手段を更に有し、
前記符号化手段は、前記符号化画像における前記ブロックごとの劣化の度合いに応じて、前記回復処理を施すか否かを示すフラグ情報を、前記符号化画像と共に記録手段に記録する、ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。

【請求項5】

前記符号化手段は、量子化パラメータを用いて前記入力画像を符号化すると共に、前記劣化の度合いを、符号化が施される際の量子化パラメータの値を用いて決定する、ことを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記劣化の度合いは、符号化が施される際の量子化パラメータの値を用いて設定され、
前記回復手段は、前記量子化パラメータの値が所定の閾値よりも高い場合には、前記第１のニューラルネットワークを用いた前記画像の回復処理を施し、前記量子化パラメータの値が前記所定の閾値以下である場合には、前記第１のニューラルネットワークを用いた前記画像の回復処理を施さない、ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。

【請求項7】

前記劣化の度合いは、符号化前の画像と、符号化後の画像を復号化した復号化画像とに基づくＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ ｎｏｉｓｅ ｒａｔｉｏ）の値を用いて設定され、
前記回復手段は、前記ＰＳＮＲの値が所定の閾値よりも高い場合には、前記第１のニューラルネットワークを用いた前記画像の回復処理を施し、前記ＰＳＮＲの値が前記所定の閾値以下である場合には、前記第１のニューラルネットワークを用いた前記画像の回復処理を施さない、ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。

【請求項8】

前記第１のニューラルネットワークを用いて前記画像の回復処理を施すブロックの数は、前記画像に設定可能なブロックのうちの所定の割合に制限される、ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。

【請求項9】

前記符号化手段は、前記入力画像の符号化において適応量子化を行う、ことを特徴とする請求項４に記載の画像処理装置。

【請求項10】

前記符号化手段は、前記回復処理を施すか否かを示すフラグ情報を、ＥＸＩＦまたはＨＥＩＦの何れかのコンテナファイルに記録する、ことを特徴とする請求項４又は９に記載の画像処理装置。

【請求項11】

入力画像に対して符号化を施した符号化画像を出力する符号化手段と、
前記符号化画像におけるブロックごとの劣化の度合いを決定する決定手段と、
前記符号化画像における前記ブロックごとの劣化の度合いを取得する取得手段と、
前記符号化画像を復号化する復号化手段と、
前記復号化手段により復号化された復号化画像における所定のブロックに画像の回復処理を施す回復手段と、を有し、
前記回復手段は、前記符号化画像における前記ブロックごとの劣化の度合いに応じて、前記復号化画像におけるブロックごとに第１のニューラルネットワークを用いた前記画像の回復処理を施すか否かを切り替え、
前記回復手段は、更に、前記符号化画像における前記ブロックごとの前記劣化の度合いを修正する修正手段を含み、
前記修正手段は、第２のニューラルネットワークにより出力される、前記ブロックごとに前記画像の回復処理を施すか否かについての出力に基づいて、前記符号化画像における前記ブロックごとの前記劣化の度合いを修正する、ことを特徴とする画像処理システム。

【請求項12】

入力画像に対して符号化を施した符号化画像におけるブロックごとの劣化の度合いを取得する取得工程と、
前記符号化画像を復号化する復号化工程と、
前記復号化工程において復号化された復号化画像における所定のブロックに画像の回復処理を施す回復工程と、を有し、
前記回復工程では、前記符号化画像における前記ブロックごとの劣化の度合いに応じて、前記復号化画像におけるブロックごとに第１のニューラルネットワークを用いた前記画像の回復処理を施すか否かを切り替え、
前記回復工程は、更に、前記符号化画像における前記ブロックごとの前記劣化の度合いを修正する修正工程を含み、
前記修正工程では、第２のニューラルネットワークにより出力される、前記ブロックごとに前記画像の回復処理を施すか否かについての出力に基づいて、前記符号化画像における前記ブロックごとの前記劣化の度合いを修正する、ことを特徴とする画像処理装置の制御方法。

【請求項13】

コンピュータを、請求項１から１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、その制御方法、プログラム並びに画像処理システムに関する。

【背景技術】

【0002】

従来、デジタルカメラ等の画像処理装置には、画像データを圧縮する符号化技術を採用するものが知られている。このような符号化技術は、撮像部で取得した動画像信号を現像および圧縮符号化し、圧縮符号化した画像ファイルを記録媒体に記録するために用いられる。

【0003】

画像データに符号化技術を適用した場合には、符号化後の画像データの画質が符号化前の画像データの画質より劣化する場合があることが知られており、その対策として符号化後の画像データの画質劣化を低減させる技術が知られている（特許文献１）。特許文献１では、符号化前のＹＵＶ信号を基準信号として教師信号との間で信号要素の比較を行い、修正すべき信号の修正箇所を示すフラグ情報に従ってＹＵＶ信号を修正することで、符号化後の劣化を低減する技術を開示している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１１－２２９０１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、近年、ニューラルネットワークを用いた機械学習手法を画像処理に適用した様々な技術が開発されており、画質の劣化した画像信号に機械学習手法を適用して、当該画像信号の画質を回復させる技術も検討されている。

【0006】

一般にニューラルネットワークを用いた演算には膨大な積和演算が必要となる。組み込み型の装置に搭載可能な処理能力やリソースには限度があるため、組み込み型の装置で実行可能なニューラルネットワークを用いた演算も限定される。そのため、ニューラルネットワークを画像処理に適用する場合、ニューラルネットワークを適用した場合の演算量を低減させるための工夫が必要がある。この点、上述の特許文献１は、信号要素の比較により画像データを修正する技術を開示するものであり、復号化後にニューラルネットワークを適用した画像の回復処理については考慮していない。

【0007】

本発明は、上記課題に鑑みてなされ、その目的は、復号化後にニューラルネットワークを適用して画像の回復処理を行う際に、当該回復処理に係る演算量を低減させることが可能な技術を実現することである。

【課題を解決するための手段】

【0008】

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、入力画像に対して符号化を施した符号化画像におけるブロックごとの劣化の度合いを取得する取得手段と、前記符号化画像を復号化する復号化手段と、前記復号化手段により復号化された復号化画像における所定のブロックに画像の回復処理を施す回復手段と、を有し、前記回復手段は、前記符号化画像における前記ブロックごとの劣化の度合いに応じて、前記復号化画像におけるブロックごとに第１のニューラルネットワークを用いた前記画像の回復処理を施すか否かを切り替え、前記回復手段は、更に、前記符号化画像における前記ブロックごとの前記劣化の度合いを修正する修正手段を含み、前記修正手段は、第２のニューラルネットワークにより出力される、前記ブロックごとに前記画像の回復処理を施すか否かについての出力に基づいて、前記符号化画像における前記ブロックごとの前記劣化の度合いを修正する、ことを特徴とする。

【発明の効果】

【0009】

本発明によれば、復号化後にニューラルネットワークを適用して画像の回復処理を行う際に、当該回復処理に係る演算量を低減させることが可能になる。

【図面の簡単な説明】

【0010】

【図1】実施形態１に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図

【図2】実施形態１に係る画像ブロックを説明する図

【図3】実施形態１に係るエンコード処理の一連の動作を示すフローチャート

【図4】実施形態１に係る、画像の回復処理を伴うフラグ情報の確認処理の一連の動作を示すフローチャート

【図5】実施形態１に係るデコード処理の一連の動作を示すフローチャート

【図6】実施形態２に係るフラグ情報の確認処理の一連の動作を示すフローチャート

【図7】実施形態３に係る、フラグ情報の数を制限したエンコード処理の一連の動作を示すフローチャート

【発明を実施するための形態】

【0011】

（実施形態１）
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

以下では画像処理システム、或いは画像処理装置の一例として、画像の符号化及び／又は復号化の可能なデジタルカメラを用いる例を説明する。しかし、本実施形態は、デジタルカメラに限らず、画像の符号化及び／又は復号化の可能な他の機器にも適用可能である。これらの機器には、例えばスマートフォン、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、医療機器、監視カメラシステムや車載機器、サーバ装置などが含まれてよい。

【0013】

（デジタルカメラの構成）
図１は、デジタルカメラ１００の機能構成例を示している。図１に示すように、デジタルカメラ１００は、ＣＰＵ１０１と、メモリ１０２と、不揮発性メモリ１０３と、操作部１０４と、ニューラルネットワーク処理部１０５と、を含む。更に、デジタルカメラ１００は、撮像部１１２と、画像処理部１１３と、符号化処理部１１４と、表示制御部１１５と、表示部１１６とを含む。また、デジタルカメラ１００は、通信制御部１１７と、通信部１１８と、記録媒体制御部１１９と、内部バス１３０とを含む。

【0014】

デジタルカメラ１００は、撮影レンズ１１１を用いて被写体の光学像を撮像部１１２の画素アレイに結像する。撮影レンズ１１１は、デジタルカメラ１００のボディ（筐体、本体）から、着脱不能であってもよいし、着脱可能であってもよい。また、デジタルカメラ１００は、記録媒体制御部１１９を介して画像データの書き込み及び読み出しを記録媒体１２０に対して行う。記録媒体１２０は、デジタルカメラ１００に着脱可能であってもよいし、着脱不能であってもよい。

【0015】

ＣＰＵ１０１は、不揮発性メモリ１０３に記憶されているコンピュータプログラムを、メモリ１０２に展開し、実行することによって、内部バス１３０を介してデジタルカメラ１００の各部（各機能ブロック）の動作を制御する。

【0016】

メモリ１０２は、書き換え可能な揮発性メモリである。メモリ１０２は、デジタルカメラ１００の各部の動作を制御するためのコンピュータプログラム、デジタルカメラ１００の各部の動作に関するパラメータ等の情報、通信制御部１１７によって受信される情報等を一時的に記憶する。また、メモリ１０２は、撮像部１１２によって取得された画像、画像処理部１１３、符号化処理部１１４等によって処理された画像及び情報を一時的に記憶する。メモリ１０２は、これらを一時的に記憶するために十分な記憶容量を備えている。更に、メモリ１０２はニューラルネットワーク処理部１０５で使用する、ニューラルネットワークの処理内容を記述したコンピュータプログラムと、重み係数やバイアス値等の学習済み係数パラメータを一時的に格納する。なお、重み係数とはニューラルネットワークにおいてノード間の接続の強さを示すための値であり、バイアス値は重み係数と入力データの積算値に対して加算する値である。

【0017】

不揮発性メモリ１０３は、電気的に消去及び記録が可能なメモリであり、例えばＥＥＰＲＯＭ、ハードディスク等が用いられる。不揮発性メモリ１０３は、デジタルカメラ１００の各部の動作を制御するコンピュータプログラム及びデジタルカメラ１００の各部の動作に関するパラメータ等の情報を記憶する。当該コンピュータプログラムにより、デジタルカメラ１００によって行われる各種動作が実現される。なお、不揮発性メモリ１０３に、上述したニューラルネットワーク処理部１０５で使用する、ニューラルネットワークの処理内容を記述したコンピュータプログラムと、重み係数やバイアス値等の学習済み係数パラメータを格納してよい。

【0018】

操作部１０４は、デジタルカメラ１００を操作するためのユーザインタフェースを提供する。操作部１０４は、電源ボタン、メニューボタン、撮影用のレリーズボタン、動画録画ボタン、キャンセルボタン等の各種ボタンを含んでおり、各種ボタンはスイッチ、タッチパネル等により構成される。ＣＰＵ１０１は、操作部１０４を介して入力されたユーザーの指示に従ってデジタルカメラ１００を制御する。なお、ここでは、操作部１０４を介して入力される操作に基づいてＣＰＵ１０１がデジタルカメラ１００を制御する場合を例に説明するが、これに限定されるものではない。例えば、不図示のリモートコントローラ、不図示の携帯端末等から通信部１１８を介して入力される要求に基づいて、ＣＰＵ１０１がデジタルカメラ１００を制御してもよい。

【0019】

ニューラルネットワーク処理部１０５は、予め学習を完了することによって得られる、学習済みの係数パラメータを用いてニューラルネットワークによる処理を実行する。ニューラルネットワーク処理部１０５は、積和演算回路、内部メモリ、ＤＭＡコントローラを含む。ニューラルネットワーク処理部１０５は、メモリ１０２または不揮発性メモリ１０３、あるいは内部メモリに格納されている、ニューラルネットワークの処理内容を記述したコンピュータプログラムを実行する。ニューラルネットワーク処理部１０５の積和演算回路は、上述した係数パラメータの積和演算を行う回路である。ニューラルネットワーク処理部１０５の内部メモリは、ニューラルネットワークの処理内容を記述したコンピュータプログラムや、学習済み係数パラメータ、積和演算回路で算出した中間データ等を一時的に格納する。ニューラルネットワーク処理部１０５のＤＭＡコントローラは積和演算回路と内部メモリ間のデータ転送も行う。ＤＭＡコントローラが転送するデータとしては、ニューラルネットワークの処理内容を記述したコンピュータプログラムや、学習済み係数パラメータ、積和演算回路で算出した中間データ等である。

【0020】

ニューラルネットワークは、入力層と出力層と複数の隠れ層とを有するディープニューラルネットワークの構成を含む。例えば公知のニューラルネットワークの構成である、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）と全結合層を有する構成であってよい。勿論、ニューラルネットワークの構成はこれに限定されない。また上述の係数パラメータは、全結合層では各層のノード間を結ぶエッジごとに持つ重みやバイアス、ＣＮＮではカーネルの重みやバイアスに相当する。

【0021】

このニューラルネットワークは、例えば、所定の符号化技術で符号化して更に復号化した画像である入力データと、符号化される前の画像である教師データとを用いて、符号化前の画像を推定するように学習されている。従って、学習後のニューラルネットワークの係数パラメータを用いることにより、ニューラルネットワークは、復号化された画像データが入力されると、当該入力画像に対応する符号化前の画像を推定して出力（すなわち回復画像を出力）するように構成される。

【0022】

撮影レンズ（レンズユニット）１１１は、ズームレンズ、フォーカスレンズ等を含む不図示のレンズ群、不図示のレンズ制御部、不図示の絞り等によって構成される。撮影レンズ１１１は、画角を変更するズーム手段として機能し得る。レンズ制御部は、ＣＰＵ１０１から送信される制御信号により、焦点の調整及び絞り値（Ｆ値）の制御を行う。撮像部１１２は、動画像を構成する複数の画像を順次取得する。

【0023】

撮像部１１２は、例えばＣＣＤ（電荷結合素子）、ＣＭＯＳ（相補型金属酸化膜半導体）素子等でのエリアイメージセンサが用いられる。撮像部１１２は、被写体の光学像を電気信号に変換する不図示の光電変換部が行列状、すなわち、２次元的に配列された不図示の画素アレイを有している。当該画素アレイには、被写体の光学像が撮影レンズ１１１によって結像される。撮像部１１２は、撮像した画像を画像データとして画像処理部１１３又はメモリ１０２に出力する。なお、撮像部１１２は、静止画像を取得することも可能である。

【0024】

画像処理部１１３は、撮像部１１２から出力される画像データ、又は、メモリ１０２から読み出された画像データに対し、所定の画像処理を行う。当該画像処理の例としては、ダイナミックレンジ変換処理、補間処理、縮小処理（リサイズ処理）、色変換処理等が挙げられる。また、画像処理部１１３は、撮像部１１２によって取得された画像データを用いて、露光制御、測距制御等のための所定の演算処理を行う。画像処理部１１３による演算処理によって得られた演算結果に基づいて、露光制御、測距制御等がＣＰＵ１０１によって行われる。具体的には、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＡＦ（オートフォーカス）処理等がＣＰＵ１０１によって行われる。

【0025】

符号化処理部１１４は、画像処理部１１３で処理を行った画像データに対してフレーム内予測符号化（画面内予測符号化）、フレーム間予測符号化（画面間予測符号化）等を行うことによって、画像データを符号化（画像データのサイズを圧縮）する。符号化処理部１１４は、例えば、半導体素子等により構成された符号化回路を含む。なお、符号化処理部１１４は、画像処理部１１３の処理の一部を省略して出力されるＲＧＢデータを所定の非可逆圧縮方式により圧縮する方式であってもよい。

【0026】

表示制御部１１５は、例えばＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んでよく、表示部１１６による表示を制御する。表示部１１６は、不図示の表示画面を備える。表示制御部１１５は、表示部１１６の表示画面に表示可能な表示用の画像信号を生成し、当該画像信号を表示部１１６に出力する。また、表示制御部１１５は表示部１１６に画像信号を出力するだけでなく、通信制御部１１７を介して外部機器に画像信号を出力することも可能である。表示部１１６は、表示制御部１１５から出力される画像信号に基づいて、表示画面に画像を表示する。表示部１１６は、表示画面にメニュー等の設定画面を表示する機能であるＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）機能を備えている。表示制御部１１５は、画像データにＯＳＤ画像を重畳した画像信号を表示部１１６に出力し得る。表示部１１６は、液晶ディスプレイ、有機ＥＬディスプレイ等により構成されており、表示制御部１１５から出力された画像信号を表示する。表示部１１６は、例えばタッチパネルであってもよい。表示部１１６がタッチパネルである場合、表示部１１６は、操作部１０４としても機能し得る。

【0027】

通信制御部１１７は、ＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）（登録商標）やＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）などの通信規格に準拠した映像信号を送るため、通信部１１８を制御する。通信制御部１１７は、ＣＰＵ１０１によって制御される。また、通信制御部１１７は映像信号以外の制御信号を送受信することが可能である。

【0028】

通信部１１８は映像信号と制御信号を物理的な電気信号に変換して外部機器と送受信する。なお、通信制御部１１７は、ＩＥＥＥ８０２．１１等のような無線通信規格に準拠する変調信号を生成して、当該変調信号を通信部１１８に出力し、外部機器からの変調信号を、通信部１１８を介して受信すること構成であってもよい。なお、ここでは、通信部１１８によって映像信号の伝送と、無線通信とが行われる場合を例に説明したが、通信部１１８によって行われる伝送や通信はこれらに限定されるものではない。

【0029】

記録媒体制御部１１９は、記録媒体１２０を制御する。記録媒体制御部１１９は、ＣＰＵ１０１からの要求に基づいて、記録媒体１２０を制御するための制御信号を記録媒体１２０に出力する。記録媒体１２０としては、例えば不揮発性メモリや磁気ディスク等が用いられる。記録媒体１２０は、上述したように、着脱可能であってもよいし、着脱不能であってもよい。記録媒体１２０は、符号化された画像データ等を記録する。記録媒体１２０のファイルシステムに適合した形式で画像データ等がファイルとして保存される。

【0030】

上述した各機能ブロックである、１０１～１０５、１１２～１１５、１１７及び１１９は、内部バス１３０を介して互いにアクセス可能となっている。

【0031】

次に、図２を参照して、入力画像と、符号化を行う際の画像内のブロックとの関係について説明する。図２に示すように、画像２００（例えば画像処理部１１３からの画像データ）は、符号化処理部１１４により、符号化する単位でブロックごと（以下、各ブロックを符号化ブロックともいう）に分割される。なお、図２に示す例では、分割サイズを符号化ブロック２０１と同様のブロックサイズで分割する例を示しているが、矩形であれば非対称のサイズであってもよい。また、符号化処理部１１４は、符号化ブロックごとに、量子化処理を行う際に、量子化の強度を決定する量子化パラメータであるＱｐ（Ｑｕａｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）値を設定する。また、符号化処理部１１４は、符号化ブロックを基準として、ニューラルネットワーク処理部１０５のニューラルネットワークで処理を行う単位であるブロック（以下、ＮＮブロックともいう）を設定する。このＮＮブロックは、図２に示す符号化ブロック２０１と同じサイズであってもよいし、ブロック２１０のように符号化ブロックよりも小さいもの、あるいはブロック２２０のように複数の符号化ブロックを含むものであってもよい。

【0032】

（エンコード処理の一連の動作）
次に、図３を参照して、本実施形態に係るエンコード処理の一連の動作を説明する。本エンコード処理では、画像データを符号化するとともに、後述するフラグ情報をコンテナに記録する。本動作は、デジタルカメラ１００の電源がオンの状態において、不揮発性メモリ１０３に格納されているコンピュータプログラムがメモリ１０２に展開され、ＣＰＵ１０１がメモリ１０２のコンピュータプログラムを読み出して実行することにより実現される。

【0033】

Ｓ３０１において、ＣＰＵ１０１は、符号化処理部１１４を制御してエンコード処理を行う。ＣＰＵ１０１は、ブロックごとにＱｐ値を変更する適応量子化を実施しているか否かを示す情報と、エンコード済みの画像データとをメモリ１０２に格納する。

【0034】

Ｓ３０２において、ＣＰＵ１０１は、適用量子化の処理が実施されているかを判定する。例えば、ＣＰＵ１０１は、Ｓ３０１でメモリ１０２に格納された、適応量子化を実施しているか否かを示す情報に基づいて、適用量子化の処理が実施されているかを判定する。ＣＰＵ１０１は、適応量子化を実施していると判定した場合（Ｓ３０２でＹＥＳ）、処理をＳ３０３へ進め、適応量子化を実施していないと判定した場合（Ｓ３０２でＮＯ）、処理をＳ３１０へ進める。

【0035】

Ｓ３０３において、ＣＰＵ１０１は、符号化ブロックごとの劣化の度合いを示す劣化情報を取得する。劣化情報は、例えば、符号化ブロックごとのＱｐ値を用いて劣化の度合いを表す。例えば、Ｑｐ値が小さい場合は劣化の度合いが少なく、Ｑｐ値が大きい場合は劣化の度合いが大きいことを示す。或いは、劣化の度合いを、ＰＳＮＲを用いて表してもよい。例えば、ＣＰＵ１０１は、符号化前の原画像と符号化後の画像データをデコードしたデコード画像を比較したＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ ｎｏｉｓｅ ｒａｔｉｏ）を算出して、当該ＰＳＮＲを、劣化の度合いを表す情報として用いてもよい。なお、ＰＳＮＲを算出する際には符号化された画像データのデコード処理が必要となる。この場合、ＣＰＵ１０１は、Ｓ３０３の処理の前に、符号化された画像データのデコード処理を行えばよい。

【0036】

Ｓ３０４において、ＣＰＵ１０１は、各ＮＮブロックについて、ニューラルネットワーク（第1のニューラルネットワーク）による画像の回復処理を施すか否かを判定する。なお、第1のニューラルネットワークの処理は、デジタルカメラ１００のニューラルネットワーク処理部１０５を制御することにより実行される場合を例に説明するが、外部装置に備わるニューラルネットワーク処理部を制御することにより実行されてもよい。例えば、ＣＰＵ１０１は、処理対象のＮＮブロックに含まれる符号化ブロックの劣化情報に従って、当該劣化情報における劣化の度合いが閾値より大きいか否かに応じて、画像の回復処理を施すか否かを判定する。なお、ＮＮブロックが複数の符号化ブロックを含む場合、符号化ブロックの劣化情報の平均値あるいは最も劣化度合いが大きい値と、閾値とを比較することにより判定する。ＣＰＵ１０１は、劣化の度合いが閾値より大きいことにより画像の回復処理を施す必要があると判定した場合（Ｓ３０４のＹＥＳ）、処理をＳ３０５へ進め、劣化の度合いが閾値以下である場合（Ｓ３０４のＮＯ）、処理をＳ３０６へ進める。

【0037】

Ｓ３０５において、ＣＰＵ１０１は、該当するＮＮブロックに対する回復処理が必要であるか否かを示すフラグ情報を設定する。ＣＰＵ１０１は、フラグ情報として、例えば、回復処理が必要である場合に１を、回復処理が必要でない場合には０を設定する。なお、回復処理が必要であるか否かを示す情報として、０又は１によるフラグの代わりに、Ｑｐ値やＰＳＮＲ等の劣化情報の値を用いてもよい。この場合、例えば、劣化情報の値が所定の閾値より大きい場合に回復処理が必要であることを示すようにしてもよい。

【0038】

Ｓ３０６において、ＣＰＵ１０１は、すべてのＮＮブロックに対して処理を行ったか否かを判定する。ＣＰＵ１０１は、全てのＮＮブロックに対する処理を行ったと判定した場合（Ｓ３０６のＹＥＳ）には処理をＳ３０７へ進め、それ以外の場合（Ｓ３０６のＮＯ）には処理をＳ３０４へ戻す。

【0039】

Ｓ３０７において、ＣＰＵ１０１は、（適応量子化処理が実行されていない場合に）全てのＮＮブロックに対して回復処理が必要であることを示すフラグ情報を設定する。

【0040】

Ｓ３０８において、ＣＰＵ１０１は、第1のニューラルネットワークによる画像の回復処理を実際に行って、実動作による確認を実施するか否かを判定する。例えば、ＣＰＵ１０１は、デジタルカメラ１００の撮影処理が継続しており、ニューラルネットワーク処理部１０５の処理が継続している場合には、実動作による確認処理は行わないと判定する。一方、ＣＰＵ１０１は、ニューラルネットワーク処理部１０５の処理が継続していない場合には、実動作による確認処理を行うと判定する。ＣＰＵ１０１は、第1のニューラルネットワークによる確認処理を行うと判定した場合（Ｓ３０８のＹＥＳ）には処理をＳ３０９へ進め、それ以外の場合（Ｓ３０８のＮＯ）には、本処理をＳ３１０へ進める。

【0041】

Ｓ３０９において、ＣＰＵ１０１は、第1のニューラルネットワークによる回復処理をフラグ情報に従って実行して、フラグ情報の確認処理を行う。フラグ情報の確認処理についての詳細は、図４を参照して後述する。

【0042】

Ｓ３１０において、ＣＰＵ１０１は、メモリ１０２に格納されているフラグ情報と、符号化された画像データとを共にコンテナファイルに格納し、記録媒体制御部１１９を制御して記録媒体１２０に記録する。例えば、コンテナファイルは、ＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）やＨＥＩＦ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）、ＭＰＥＧ－４ Ｐａｒｔ１４等のフォーマットに従う。ＣＰＵ１０１は、フラグ情報と符号化した画像データとを記録媒体１２０に記録すると、本一連の動作を終了する。

【0043】

（画像の回復処理を伴うフラグ情報の確認処理）
次に、図４を参照して、第1のニューラルネットワークによる回復処理を伴う、フラグ情報の確認処理を実行する処理について説明する。

【0044】

Ｓ４０１において、ＣＰＵ１０１は、符号化処理部１１４を制御してメモリ１０２に格納されている符号化した画像データに対して復号化処理を行う。そして、ＣＰＵ１０１は、復号化画像をメモリ１０２に格納する。

【0045】

Ｓ４０２において、ＣＰＵ１０１は、該当するＮＮブロックのデコード画像をメモリ１０２から取得したうえで、ニューラルネットワーク処理部１０５を制御することにより、画像の回復処理を実行する。ここで、該当するＮＮブロックは、例えば、フラグ情報として１（すなわち回復処理が必要であることを示す）が設定されているＮＮブロックをいう。

【0046】

Ｓ４０３において、ＣＰＵ１０１は、該当するＮＮブロックにおいて、画質が改善するかを判定する。例えば、ＣＰＵ１０１は、符号化前の原画像（入力画像）とデコード画像との第１の差異と、原画像と回復処理によって回復された画像との第２の差異を比較する。そして、第１の差異よりも第２の差異が小さい場合、画質が改善すると判定する。或いは、符号化前の原画像とデコード画像とから算出した第１のＰＳＮＲより、符号化前の原画像とＳ４０２で回復処理を行った後の画像とから算出した第２のＰＳＮＲが大きいかを判定する。例えば、ＣＰＵ１０１は、第１のＰＳＮＲが第２のＰＳＮＲよりも高い値であると判定した場合、回復処理により画質が改善する（Ｓ４０３のＹＥＳ）と判定する。この場合、ＣＰＵ１０１は、フラグ情報をそのまま残すため、処理をＳ４０５に進める。一方、ＣＰＵ１０１は、第１のＰＳＮＲが第２のＰＳＮＲ以下の値であると判定した場合（Ｓ４０３のＮＯ）、画像の回復処理により画質が改善しないと判定して、処理をＳ４０４へ進める。

【0047】

Ｓ４０４において、ＣＰＵ１０１は、該当するＮＮブロックに対するフラグ情報を削除する。或いは、ＣＰＵ１０１は、フラグ情報を削除する代わりに、効果が無いことを示す所定値、又は回復処理が必要でないことを示す値（すなわち０）を設定してもよい。すなわち、ＣＰＵ１０１は、各ブロックごとのフラグ情報で定めていた回復処理が必要であることを示す情報を、回復処理の効果に応じて修正することができる。

【0048】

Ｓ４０５において、ＣＰＵ１０１は、すべてのＮＮブロックに対して処理を行ったか否かを判定する。ＣＰＵ１０１は、全ＮＮブロックに対する処理を行ったと判定した場合（Ｓ４０５のＹＥＳ）、本一連の動作を終了して、読み出し元（Ｓ３０９）に処理を戻し、それ以外の場合（Ｓ４０５のＮＯ）、Ｓ４０２へ処理を戻す。

【0049】

（デコード処理の一連の動作）
更に、図５を参照して、本実施形態に係るデコード処理の一連の動作について説明する。この動作は、デジタルカメラ１００の電源がオンの状態に、不揮発性メモリ１０３に格納されているコンピュータプログラムがメモリ１０２に展開され、ＣＰＵ１０１がメモリ１０２のコンピュータプログラムを読み出して実行することにより実現される。なお、本実施形態では、デジタルカメラ１００においてデコード処理が実行される場合を例に説明するが、デジタルカメラ１００とは異なる外部装置においてデコード処理が実行されてもよい。

【0050】

Ｓ５０１において、ＣＰＵ１０１は、符号化処理部１１４を制御して画像データに対して復号化処理を行う。例えば、ＣＰＵ１０１は、記録媒体１２０に格納されている画像データをメモリ１０２に展開し、符号化処理部１１４を制御してメモリ１０２に格納されている画像データに対して復号化処理を行う。ＣＰＵ１０１は、その後、復号化画像をメモリ１０２に格納する。

【0051】

Ｓ５０２において、ＣＰＵ１０１は、記録媒体１２０のコンテナよりフラグ情報を取得してメモリ１０２に格納する。Ｓ５０３において、ＣＰＵ１０１は、Ｓ５０２により取得したフラグ情報に基づいて、第1のニューラルネットワークによる回復処理が必要であるか否かを判定する。ＣＰＵ１０１は、フラグ情報に基づいて、第1のニューラルネットワークによる回復処理が必要であると判定した場合（Ｓ５０３のＹＥＳ）、処理をＳ５０４に進める。ＣＰＵ１０１は、例えば、上述したように、フラグ情報が、回復処理が必要であることを示す１である場合、第１のニューラルネットワークによる回復処理が必要であると判定する。一方、ＣＰＵ１０１は、それ以外の場合（Ｓ５０３のＮＯ）、処理をＳ５０５に進める。

【0052】

Ｓ５０４において、ＣＰＵ１０１は、フラグ情報が回復処理が必要であることを示すＮＮブロックの復号化画像をメモリ１０２から取得して、ニューラルネットワーク処理部１０５による画像の回復処理を行う。

【0053】

Ｓ５０５において、ＣＰＵ１０１は、全てのＮＮブロックに対して処理を行ったか否かを判定する。ＣＰＵ１０１は、全てのＮＮブロックに対する処理を行ったと判定した場合（Ｓ５０５のＹＥＳ）、本一連の動作を終了し、それ以外の場合（Ｓ５０５のＮＯ）、Ｓ５０２へ処理を戻す。

【0054】

以上説明したように本実施形態では、画像内のブロックごとに、入力画像を符号化した符号化画像における劣化の度合いを設定するようにした。そして、符号化画像を復号化する際に、当該劣化の度合いに応じて、ブロックごとに、ニューラルネットワークを用いた回復処理を施すか否かを切り替えるようにした。このようにすることで、復号化画像に対して画像の回復処理を行う際に、必要な箇所にのみニューラルネットワーク処理部による回復処理を施すことが可能となる。すなわち、復号化後にニューラルネットワークを適用して画像の回復処理を行う際に、当該回復処理に係る演算量を低減させることが可能になる。

【0055】

（実施形態２）
次に、実施形態２について説明する。実施形態１では、第1のニューラルネットワークによる回復処理をフラグ情報に応じて実行することで、フラグ情報の確認処理を行うようにした。実施形態２では、当該処理に代えて、第2のニューラルネットワークを用いて回復処理が必要であるか否かを判定したことに応じて、フラグ情報の確認処理を行うようにした。このため、本実施形態は、ニューラルネットワーク処理部１０５が第２のニューラルネットワークを有すること、及び確認処理に係る動作の一部とが実施形態１と異なる。しかし、本実施形態に係るデジタルカメラ１００のその他の構成や、エンコード処理及びデコード処理の動作は、実施形態１と同一又は実質的に同一である。実施形態１と同一又は実質的に同一の構成及び動作については同一の符号を付して説明は省略し、異なる点について重点的に説明する。

【0056】

（画像の回復処理を伴うフラグ情報の確認処理）
図６を参照して、本実施形態に係るフラグ情報の確認処理について説明する。

【0057】

Ｓ４０１において、ＣＰＵ１０１は、符号化された画像データに対して復号化処理を実行する。次に、Ｓ６０１において、ＣＰＵ１０１は、ＮＮブロックの復号化画像をメモリ１０２から取得して、ニューラルネットワーク処理部１０５を制御することで第２のニューラルネットワークによる処理を行う。ＣＰＵ１０１は、第２のニューラルネットワークの処理により、ＮＮブロックに対して回復処理を行う優先度情報をメモリ１０２に格納する。優先度情報は、回復処理を行うべき優先度を示す情報を含む。なお、第２のニューラルネットワークは、第１のニューラルネットワークと類似した入出力特性を有し、第１のニューラルネットワークよりもネットワーク構成が簡略化されている。このため、第１のニューラルネットワークを用いて回復処理の有効性を確認する処理を行うよりも、第２のニューラルネットワークによって優先度を推定することにより、回復処理の必要性の確認を簡易に且つ高速に実行することができるようになる。

【0058】

Ｓ６０２において、ＣＰＵ１０１は、Ｓ６０１で得られた優先度情報の優先度に基づき、該当するＮＮブロックに対して回復処理が必要か否かを判定する。具体的には、優先度情報が示す優先度が所定の閾値を超えているか否かに応じて、回復処理が必要であるか否かを判別する。ＣＰＵ１０１は、該当するＮＮブロックの優先度が所定の閾値を超えている場合には（Ｓ６０２のＹＥＳ）、Ｓ４０４へ処理を進め、それ以外の場合（Ｓ６０２のＮＯ）には、Ｓ４０５へ処理を進める。なお、ＮＮブロックごとに優先度情報を格納する代わりに、ＮＮブロックのフラグ情報に第２のニューラルネットワークによって得られた優先度情報を付加してもよい。

【0059】

その後、ＣＰＵ１０１は、実施形態１と同様にＳ４０５を実行して、回復処理が必要でない場合には、フラグ情報を削除したり、その代わりに、効果が無いことを示す所定値又は回復処理が必要でないことを示す値（すなわち０）を設定する。また、Ｓ４０５において、全てのブロックの確認を完了した場合、その後、処理を呼び出し元に戻す。

【0060】

以上説明したように本実施形態では、第２のニューラルネットワークを用いて該当ブロックの回復処理が必要であるかを確認するようにした。第２のニューラルネットワークを第１のニューラルネットワークと類似した入出力特性を持たせ、第１のニューラルネットワークよりもネットワーク構成を簡略化することで、第１のニューラルネットワークを用いる場合よりも高速に処理を行うことが可能となる。

【0061】

（実施形態３）
更に、実施形態３について説明する。上述の実施形態では、1画像の中に設定可能なフラグ情報の数に制限を設けていなかった。このため、第１のニューラルネットワークによる処理を行う際に、全画面に対して実行する場合が発生する可能性を完全に排除するものではなく、画像によって処理時間がかかってしまう場合があり得る。この場合、動画等処理時間に制限がある場合には、再生遅延が発生する可能性がある。そこで、実施形態３では、設定可能なフラグ情報の数に制限を設ける。このため、上述した実施形態とは、エンコード処理が異なるが、デジタルカメラ１００の構成やデコード処理に係る一連の動作は、上述した実施形態と同一又は実質的に同一である。このため、同一又は実質的に同一である構成及び動作については重複する説明は省略し、上述した実施形態と異なる点について重点的に説明する。

【0062】

（エンコード処理の一連の動作）
図７を参照して、実施形態３に係るエンコード処理の一連の動作について説明する。なお、この動作は、デジタルカメラ１００の電源がオンの状態で、不揮発性メモリ１０３に格納されているコンピュータプログラムがメモリ１０２に展開され、ＣＰＵ１０１がメモリ１０２のコンピュータプログラムを読み出して実行することにより実現される。

【0063】

Ｓ３０１において、ＣＰＵ１０１は、実施形態１と同様に、符号化処理部１１４を制御してエンコード処理を実行する。また、Ｓ３０３において、ＣＰＵ１０１は、実施形態１と同様に、ブロックごとの劣化情報を抽出する。更に、Ｓ３０４において、ＣＰＵ１０１は、実施形態１と同様に、各ＮＮブロックについて、ニューラルネットワーク（第１のニューラルネットワーク）による画像の回復処理を施すか否かを判定する。ＣＰＵ１０１は、第１のニューラルネットワークによる画像の回復処理が必要と判定した場合（Ｓ３０４のＹＥＳ）、処理をＳ７０１へ進め、それ以外の場合（Ｓ３０４のＮＯ）、処理をＳ３０６へ進める。

【0064】

Ｓ７０１において、ＣＰＵ１０１は、該当するＮＮブロックに対して第１のニューラルネットワークを用いて画像の回復処理を行うＮＮブロックの優先順位を設定する。ＣＰＵ１０１は、例えばＱｐ値の順番により第１の優先順位を設定する。更に、ＣＰＵ１０１は、同一Ｑｐの値に対してＮＮブロックの画面内の配置に応じた第２の優先順位を設定する。第２の優先順位は中央寄りの画像から優先順を高く設定していく。ＣＰＵ１０１は、このように設定した優先順位情報をメモリ１０２に格納する。なお、本実施形態における優先順位の設定方法は一例であり、別途設けたニューラルネットワークを使って優先順位を設定してもよいし、画像の周波数成分で優先順位を決定してもよい。

【0065】

Ｓ３０６において、ＣＰＵ１０１は、実施形態１と同様に、全ＮＮブロックに対する処理を行ったと判定した場合（Ｓ３０６のＹＥＳ）には処理をＳ７０２へ進め、それ以外の場合（Ｓ３０６のＮＯ）にはＳ３０４へ処理を戻す。

【0066】

Ｓ７０２において、ＣＰＵ１０１は、Ｓ７０１で設定した優先順位情報に従って、優先順を設定可能なＮＮブロックの上限数までフラグ情報を設定する。当該上限数は、例えば、画像に設定可能なブロックのうちの所定の割合に設定することができる。そして、Ｓ３１０において、ＣＰＵ１０１は、実施形態１と同様の処理を行って、その後、本一連の動作を終了する。

【0067】

以上説明したように本実施形態では、符号化画像のブロックごとに、ニューラルネットワークにより回復処理を行うブロックの数に制限をかけるようにした。このようにすることで、符号化画像における全てのブロックについて回復処理を実行することによる処理負荷の発生を抑制することができるようになる。

【0068】

なお、上述の実施形態では、上述の各処理がデジタルカメラ１００において実行される場合を例に説明したがこれに限定されない。例えば、デジタルカメラ１００を複数の装置から構成されるシステムとした場合であっても上述の実施形態と同様の機能を実現することが可能である。更に、デジタルカメラ１００の処理の一部をネットワーク上の外部装置により実施して実現することが可能である。また、上述の実施形態では、メモリ１０２または不揮発性メモリ１０３から学習済み係数パラメータを取得する場合を例に説明したが、各学習済み係数パラメータを、外部機器から逐次取得するようにしてもよい。

【0069】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0070】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0071】

１０１…ＣＰＵ、１０２…メモリ、１０３…不揮発性メモリ、１０５…ニューラルネットワーク処理部、１１４…符号化処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】