知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-10
(45)【発行日】2024-06-18
(54)【発明の名称】画像処理装置、画像処理方法及び画像処理プログラム
(51)【国際特許分類】
H04N 19/85 20140101AFI20240611BHJP
H04N 19/124 20140101ALI20240611BHJP
【ＦＩ】
H04N19/85
H04N19/124
【請求項の数】
10
(21)【出願番号】P 2022574950
(86)(22)【出願日】2021-01-14
(86)【国際出願番号】 JP2021001047
(87)【国際公開番号】W WO2022153437
(87)【国際公開日】2022-07-21
【審査請求日】2023-07-14
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】久保田 智規
(72)【発明者】
【氏名】中尾 鷹詔
(72)【発明者】
【氏名】村田 康之
【審査官】山内 裕史
(56)【参考文献】
【文献】国際公開第２０２０／１１６４５１（ＷＯ，Ａ１）
【文献】Ramprasaath R. Selvaraju, et al.，Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization，2017 IEEE International Conference on Computer Vision，2017年12月25日，pp.618-626
【文献】Hyomin Choi and Ivan V. Bajic，HIGH EFFICIENCY COMPRESSION FOR OBJECT DETECTION，arXiv，arXiv:1710.11151v2，2018年02月16日，pp.1-5
【文献】Leonardo Galteri, et al.，Video Compression for Object Detection Algorithms，2018 24th International Conference on Pattern Recognition (ICPR)，2018年11月29日，pp.3007-3012
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
画像データが順伝播されることで隠れ層より出力される第１の特徴マップを取得する第１の取得部と、前記画像データが異なる量子化値を用いて順次符号化された後、復号されることで得られる複数の復号データが、それぞれ順伝播されることで隠れ層より出力される複数の第２の特徴マップを取得する第２の取得部と、
前記第１の特徴マップと前記複数の第２の特徴マップとの間のそれぞれの誤差を逆伝播させることで、前記画像データの各ブロックの認識結果への影響度を算出し、前記画像データを符号化する際の各ブロックの量子化値を決定する決定部と
を有する画像処理装置。
【請求項2】
前記画像データが順伝播されることで出力層より出力される出力結果と、前記画像データが所定の量子化値を用いて符号化され、復号されることで得られる復号データが、順伝播されることで出力層より出力される出力結果との誤差を、前記隠れ層の手前まで逆伝播させることで出力される第３の特徴マップを取得する第３の取得部を更に有し、前記決定部は、
前記第１の特徴マップと前記複数の第２の特徴マップとの間のそれぞれの誤差を逆伝播させる際、前記第３の特徴マップに応じた領域の誤差をゼロにして逆伝播させる、請求項１に記載の画像処理装置。
【請求項3】
前記第１の特徴マップと前記複数の第２の特徴マップとの間のそれぞれの誤差を、対応するチャネル同士の誤差を重み付け加算することで算出する、請求項１に記載の画像処理装置。【請求項4】
画像データが順伝播されることで隠れ層より出力される第１の特徴マップを取得する第１の取得部と、前記画像データが異なる量子化値を用いて順次符号化された後、復号されることで得られる複数の復号データが、それぞれ順伝播されることで隠れ層より出力される複数の第２の特徴マップを取得する第２の取得部と、
前記第１の特徴マップ及び複数の第２の特徴マップの各領域の信号強度を、ブロックごとに集計することで、前記画像データの各ブロックの認識結果への影響度を算出し、前記画像データを符号化する際の各ブロックの量子化値を決定する決定部と
を有する画像処理装置。
【請求項5】
前記決定部は、前記第１の特徴マップと所定の第２の特徴マップとの間の誤差を逆伝播させることで、前記第１の特徴マップ及び所定の第２の特徴マップの各領域と、前記画像データの各ブロックとの位置関係を特定する、請求項４に記載の画像処理装置。
【請求項6】
前記決定部は、前記第１の特徴マップと所定の第２の特徴マップとの間の誤差を複数の領域に分割し、それぞれの領域の誤差を順次逆伝播させることで、前記第１の特徴マップ及び所定の第２の特徴マップの各領域と、前記画像データの各ブロックとの位置関係を特定する、請求項４に記載の画像処理装置。
【請求項7】
前記決定部により決定された量子化値を用いて、前記画像データを符号化する符号化部を更に有する、請求項１乃至６のいずれか１項に記載の画像処理装置。【請求項8】
前記第１の特徴マップ及び前記第２の特徴マップがそれぞれ取得される隠れ層の位置、または、前記画像データを順次符号化する際に用いる量子化値の変更間隔は、演算量、演算時間、認識精度、電力量、発熱量のいずれかを指標として動的に変更される、請求項１乃至７のいずれか１項に記載の画像処理装置。【請求項9】
画像データが順伝播されることで隠れ層より出力される第１の特徴マップを取得し、前記画像データが異なる量子化値を用いて順次符号化された後、復号されることで得られる複数の復号データが、それぞれ順伝播されることで隠れ層より出力される複数の第２の特徴マップを取得し、
前記第１の特徴マップと前記複数の第２の特徴マップとの間のそれぞれの誤差を逆伝播させることで、前記画像データの各ブロックの認識結果への影響度を算出し、前記画像データを符号化する際の各ブロックの量子化値を決定する、
処理をコンピュータが実行する画像処理方法。
【請求項10】
画像データが順伝播されることで隠れ層より出力される第１の特徴マップを取得し、前記画像データが異なる量子化値を用いて順次符号化された後、復号されることで得られる複数の復号データが、それぞれ順伝播されることで隠れ層より出力される複数の第２の特徴マップを取得し、
前記第１の特徴マップと前記複数の第２の特徴マップとの間のそれぞれの誤差を逆伝播させることで、前記画像データの各ブロックの認識結果への影響度を算出し、前記画像データを符号化する際の各ブロックの量子化値を決定する、
処理をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【0002】
一般に、画像データを記録または伝送する際には、符号化処理によりデータサイズを小さくすることで、記録コストや伝送コストの削減を図る。
【0003】
一方で、ＡＩ（Artificial Intelligence）による認識処理に利用する目的で、画像データを記録または伝送する場合においては、認識対象をＡＩが認識できる限界まで圧縮率を上げて（つまり、限界圧縮率で）符号化処理を行うことが考えられる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１９－０５０８９６号公報
【文献】特開２０２０－００３７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、限界圧縮率を算出しようとすると、符号化処理時の演算量が増大することが想定される。
【0006】
一つの側面では、ＡＩによる認識処理に適した符号化処理を行う際の、演算量を削減することを目的とする。
【課題を解決するための手段】
【0007】
一態様によれば、画像処理装置は、
画像データが順伝播されることで隠れ層より出力される第１の特徴マップを取得する第１の取得部と、
前記画像データが異なる量子化値を用いて順次符号化された後、復号されることで得られる複数の復号データが、それぞれ順伝播されることで隠れ層より出力される複数の第２の特徴マップを取得する第２の取得部と、
前記第１の特徴マップと前記複数の第２の特徴マップとの間のそれぞれの誤差を逆伝播させることで、前記画像データの各ブロックの認識結果への影響度を算出し、前記画像データを符号化する際の各ブロックの量子化値を決定する決定部とを有する。
画像データが順伝播されることで隠れ層より出力される第１の特徴マップを取得する第１の取得部と、
前記画像データが異なる量子化値を用いて順次符号化された後、復号されることで得られる複数の復号データが、それぞれ順伝播されることで隠れ層より出力される複数の第２の特徴マップを取得する第２の取得部と、
前記第１の特徴マップと前記複数の第２の特徴マップとの間のそれぞれの誤差を逆伝播させることで、前記画像データの各ブロックの認識結果への影響度を算出し、前記画像データを符号化する際の各ブロックの量子化値を決定する決定部とを有する。
【発明の効果】
【0008】
ＡＩによる認識処理に適した符号化処理を行う際の、演算量を削減することができる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0011】
［第１の実施形態］
＜画像処理システムのシステム構成＞
はじめに、第１の実施形態に係る画像処理装置を備える画像処理システムのシステム構成について説明する。図１は、画像処理システムのシステム構成の一例を示す図である。図１に示すように、画像処理システム１００は、撮像装置１１０、画像処理装置１２０、サーバ装置１３０を有する。画像処理システム１００において、画像処理装置１２０とサーバ装置１３０とは、ネットワーク（不図示）を介して通信可能に接続される。
＜画像処理システムのシステム構成＞
はじめに、第１の実施形態に係る画像処理装置を備える画像処理システムのシステム構成について説明する。図１は、画像処理システムのシステム構成の一例を示す図である。図１に示すように、画像処理システム１００は、撮像装置１１０、画像処理装置１２０、サーバ装置１３０を有する。画像処理システム１００において、画像処理装置１２０とサーバ装置１３０とは、ネットワーク（不図示）を介して通信可能に接続される。
【0012】
撮像装置１１０は、所定のフレーム周期で撮影を行い、動画像データを画像処理装置１２０に送信する。なお、動画像データには、少なくとも認識処理の対象となる物体（認識対象）が含まれるフレームの画像データと、認識処理の対象となる物体（認識対象）が含まれない（認識対象外の物体のみが含まれる）フレームの画像データとが含まれる。更には、動画像データにはいずれの物体も含まれないフレーム画像が含まれていてもよい。
【0013】
画像処理装置１２０には画像処理プログラムがインストールされており、当該画像処理プログラムが実行されることで、画像処理装置１２０は、解析部１２１及び符号化部１２２として機能する。
【0014】
解析部１２１は、認識処理を行う学習済みモデルを有する。解析部１２１は、動画像データの各フレームの画像データまたは復号データ（画像データに対して異なる量子化値（量子化ステップともいう）で符号化処理が行われた場合の符号化データを復号した復号データ）を、学習済みモデルに入力することで認識処理を行う。
【0015】
また、解析部１２１は、認識処理の際に、例えば、誤差逆伝播法を用いて学習済みモデルの動作解析を行うことで、認識結果への影響度を示すマップ（「重要特徴マップ」と称す）を生成し、所定領域ごとに影響度を集計する。なお、ここでいう所定領域とは、符号化処理が行われる際に用いられるブロックを指す。
【0016】
また、解析部１２１は、符号化部１２２に対して、所定数の異なる量子化値での符号化処理をブロックごとに指示し、それぞれの量子化値で符号化処理が行われた場合の符号化データを復号した復号データについて、同様の処理を繰り返す。なお、符号化部１２２に対して指示する、ブロックごとの量子化値の集合を、以下では、「量子化値マップ」と称す。
【0017】
つまり、解析部１２１では、量子化値マップを変更することで、学習済みモデルに入力する画像データの画質を変更しながら、変更後の各画像データについて、各ブロックの認識結果への影響度を集計する。
【0018】
また、解析部１２１は、量子化値マップを変更したことに伴う集計値の変化に基づいて、各ブロックの最適な量子化値を探索する。なお、最適な量子化値とは、所定数の異なる量子化値のうち、画像データに含まれる認識対象を正しく認識処理することができる、限界圧縮率に応じた量子化値を指す。ブロックごとに算出される限界圧縮率に応じた量子化値の集合を、以下では「決定量子化値マップ」と称す。
【0019】
符号化部１２２は、解析部１２１から指示された量子化値マップを用いて、動画像データの対応するフレームの画像データを符号化し、生成した符号化データを解析部１２１に戻す。
【0020】
また、符号化部１２２は、解析部１２１から指示された決定量子化値マップを用いて、動画像データの対応するフレームの画像データを符号化し、生成した符号化データをサーバ装置１３０に伝送する。
【0021】
サーバ装置１３０には、復号プログラムがインストールされており、当該復号プログラムが実行されることで、サーバ装置１３０は、復号部１３１として機能する。
【0022】
復号部１３１は、画像処理装置１２０から伝送された符号化データを復号し、復号データを生成する。復号部１３１は、生成した復号データを、復号データ格納部１３２に格納する。
【0023】
＜画像処理装置及びサーバ装置のハードウェア構成＞
次に、画像処理装置１２０及びサーバ装置１３０のハードウェア構成について説明する。図２は、画像処理装置及びサーバ装置のハードウェア構成の一例を示す図である。
次に、画像処理装置１２０及びサーバ装置１３０のハードウェア構成について説明する。図２は、画像処理装置及びサーバ装置のハードウェア構成の一例を示す図である。
【0024】
このうち、図２の２ａは、画像処理装置のハードウェア構成の一例を示す図である。画像処理装置１２０は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、Ｉ／Ｆ（Interface）装置２０４、通信装置２０５、ドライブ装置２０６を有する。なお、画像処理装置１２０の各ハードウェアは、バス２０７を介して相互に接続されている。
【0025】
プロセッサ２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラム（例えば、画像処理プログラム等）をメモリ２０２上に読み出して実行する。
【0026】
メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
【0027】
補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種データを格納する。
【0028】
Ｉ／Ｆ装置２０４は、外部装置の一例である撮像装置１１０と、画像処理装置１２０とを接続する接続デバイスである。
【0029】
通信装置２０５は、他の装置の一例であるサーバ装置１３０と通信するための通信デバイスである。
【0030】
ドライブ装置２０６は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【0031】
なお、補助記憶装置２０３にインストールされる各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０６にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０６により読み出されることでインストールされる。あるいは、補助記憶装置２０３にインストールされる各種プログラムは、通信装置２０５を介してネットワークからダウンロードされることで、インストールされてもよい。
【0032】
一方、図２の２ｂは、サーバ装置１３０のハードウェア構成の一例を示す図である。なお、サーバ装置１３０のハードウェア構成は、画像処理装置１２０のハードウェア構成と概ね同じであるため、ここでは、画像処理装置１２０との相違点を中心に説明する。
【0033】
プロセッサ２２１は、例えば、復号プログラム等をメモリ２２２上に読み出して実行する。
【0034】
Ｉ／Ｆ装置２２４は、サーバ装置１３０に対する操作を、操作装置２３１を介して受け付ける。また、Ｉ／Ｆ装置２２４は、サーバ装置１３０による処理の結果を出力し、表示装置２３２を介して表示する。また、通信装置２２５は、画像処理装置１２０と通信する。
【0035】
＜画像処理装置の解析部の機能構成＞
次に、画像処理装置１２０の解析部１２１の機能構成について説明する。図３は、画像処理装置の解析部の機能構成の一例を示す第１の図である。図３に示すように、解析部１２１は、入力部／復号部３１０、ＣＮＮ部３２０、重要特徴マップ生成部３３０、集計部３４０、量子化値マップ生成部３５０、出力部３６０を有する。
次に、画像処理装置１２０の解析部１２１の機能構成について説明する。図３は、画像処理装置の解析部の機能構成の一例を示す第１の図である。図３に示すように、解析部１２１は、入力部／復号部３１０、ＣＮＮ部３２０、重要特徴マップ生成部３３０、集計部３４０、量子化値マップ生成部３５０、出力部３６０を有する。
【0036】
入力部／復号部３１０は、撮像装置１１０より送信された動画像データの各フレームの画像データを取得し、ＣＮＮ部３２０に通知する。また、入力部／復号部３１０は、符号化部１２２より通知された符号化データを取得し、復号したうえで、復号データをＣＮＮ部３２０に通知する。
【0037】
ＣＮＮ部３２０は、認識処理を行う学習済みモデルを有する。ＣＮＮ部３２０は、画像データまたは復号データを入力することで、学習済みモデルを実行させる。
【0038】
重要特徴マップ生成部３３０は第１及び第２の取得部の一例であり、学習済みモデルの実行時に隠れ層のレイヤから出力される特徴マップを取得する。また、重要特徴マップ生成部３３０は、取得した特徴マップを用いて誤差逆伝播法による重要特徴マップを生成する。
【0039】
具体的には、重要特徴マップ生成部３３０は、画像データが入力されたことで取得した特徴マップと、復号データが入力されたことで取得した特徴マップとの誤差を算出する。また、重要特徴マップ生成部３３０は、算出した誤差を逆伝播させることで、学習済みモデルの入力層より、誤差逆伝播結果を取得する。更に、重要特徴マップ生成部３３０は、取得した誤差逆伝播結果に基づく重要特徴マップを生成し、集計部３４０に通知する。
【0040】
なお、誤差逆伝播法による重要特徴マップの生成方法の詳細は、例えば、
「Selvaraju, Ramprasaath R., et al. "Grad-cam: Visual explanations from deep networks via gradient-based localization." The IEEE International Conference on Computer Vision (ICCV), 2017, pp. 618-626」、
等の文献に開示されている。
「Selvaraju, Ramprasaath R., et al. "Grad-cam: Visual explanations from deep networks via gradient-based localization." The IEEE International Conference on Computer Vision (ICCV), 2017, pp. 618-626」、
等の文献に開示されている。
【0041】
集計部３４０は、通知された重要特徴マップに基づいて、各領域の認識結果への影響度を、ブロック単位で集計し、ブロックごとの影響度の集計値を算出する。また、集計部３４０は、算出した各ブロックの集計値を、符号化処理に用いた量子化値と対応付けて集計結果格納部３７０に格納する。
【0042】
量子化値マップ生成部３５０は決定部の一例であり、ブロックごとに量子化値を順次変更しながら、量子化値マップを生成する。なお、量子化値の変更範囲は予め定められているものとする。また、量子化値の変更間隔（つまり、「解析粒度」）は、例えば、ユーザから指示され、予め設定値として設定されているものとする。
【0043】
また、量子化値マップ生成部３５０は、集計結果格納部３７０に格納された集計結果に基づいて、ブロックごとに、限界圧縮率に応じた量子化値を探索し、決定量子化値マップを生成する。
【0044】
出力部３６０は、量子化値マップ生成部３５０により生成された量子化値マップまたは決定量子化値マップを、符号化部１２２に通知する。また、出力部３６０は、動画像データの対応するフレームの画像データを、符号化部１２２に通知する。
【0045】
＜ＣＮＮ部及び重要特徴マップ生成部の処理の具体例＞
次に、解析部１２１を構成する各部のうち、ＣＮＮ部３２０及び重要特徴マップ生成部３３０の処理の具体例について説明する。図４は、ＣＮＮ部及び重要特徴マップ生成部の処理の具体例を示す第１の図である。
次に、解析部１２１を構成する各部のうち、ＣＮＮ部３２０及び重要特徴マップ生成部３３０の処理の具体例について説明する。図４は、ＣＮＮ部及び重要特徴マップ生成部の処理の具体例を示す第１の図である。
【0046】
図４に示すように、ＣＮＮ部３２０は、学習済みモデルとして、入力層、隠れ層、出力層を有し、入力層のレイヤ４０１に画像データが入力されると、画像データは各レイヤにて順伝播方向に処理される。これにより、隠れ層のレイヤ４０２からは、特徴マップ４１０（第１の特徴マップの一例）が出力される（実線太矢印参照）。
【0047】
同様に、入力層のレイヤ４０１に復号データ１が入力されると、復号データ１は各レイヤにて順伝播方向に処理され、隠れ層のレイヤ４０２より、特徴マップ４１１（第２の特徴マップの一例）が出力される（実線太矢印参照）。なお、復号データ１とは、画像データの各ブロックが、例えば、量子化値Ｑ１からなる量子化値マップで符号化処理された後、符号化データが、入力部／復号部３１０により復号されたデータを指す。
【0048】
同様に、入力層のレイヤ４０１に復号データ２が入力されると、復号データ２は、各レイヤにて順伝播方向に処理され、隠れ層のレイヤ４０２より、特徴マップ４１２（第２の特徴マップの他の一例）が出力される（実線太矢印参照）。なお、復号データ２とは、画像データの各ブロックが、例えば、量子化値Ｑ２からなる量子化値マップで符号化処理された後、符号化データが、入力部／復号部３１０により復号されたデータを指す。
【0049】
以降、図４においては記載を省略しているが、復号データ３、復号データ４、・・・等についても同様に処理され、特徴マップが出力される。なお、特徴マップが出力されるレイヤは、例えば、ユーザから「処理範囲」として指示され、予め設定値として設定されているものとする。
【0050】
また、図４に示すように、重要特徴マップ生成部３３０は、
・画像データが順伝播方向に処理されることで出力された特徴マップ４１０と、
・各復号データ（復号データ１、２、・・・）が順伝播方向に処理されることで出力された各特徴マップ（特徴マップ４１１、４１２、・・・）と、
の間の各誤差（誤差１、２、・・・）を算出する。
・画像データが順伝播方向に処理されることで出力された特徴マップ４１０と、
・各復号データ（復号データ１、２、・・・）が順伝播方向に処理されることで出力された各特徴マップ（特徴マップ４１１、４１２、・・・）と、
の間の各誤差（誤差１、２、・・・）を算出する。
【0051】
また、重要特徴マップ生成部３３０は、算出した各誤差（誤差１、２、・・・）を、隠れ層のレイヤ４０２から逆方向に伝播させる。これにより、ＣＮＮ部３２０の入力層のレイヤ４０１からは、誤差逆伝播結果として、各重要特徴マップ（重要特徴マップ４２１、４２２、・・・）が出力される（点線太矢印参照）。重要特徴マップ生成部３３０は、ＣＮＮ部３２０より出力された各重要特徴マップ（重要特徴マップ４２１、４２２）を、集計部３４０に通知する。
【0052】
このように、ＣＮＮ部３２０は、順伝播方向の処理を、出力層のレイヤまで実行せず、途中のレイヤ（隠れ層のレイヤ４０２）まで実行し、当該レイヤから出力される特徴マップについて算出した誤差を、当該レイヤから逆伝播する。これにより、第１の実施形態に係る画像処理装置１２０によれば、
・隠れ層のレイヤ４０２の次のレイヤ以降の順伝播方向の処理と、
・隠れ層のレイヤ４０２の手前のレイヤ（順伝播方向に見た場合には次のレイヤ）までの誤差逆伝播と、
を省略することが可能となり、ＡＩによる認識処理に適した符号化処理を行う際の、演算量を削減することができる。
・隠れ層のレイヤ４０２の次のレイヤ以降の順伝播方向の処理と、
・隠れ層のレイヤ４０２の手前のレイヤ（順伝播方向に見た場合には次のレイヤ）までの誤差逆伝播と、
を省略することが可能となり、ＡＩによる認識処理に適した符号化処理を行う際の、演算量を削減することができる。
【0053】
このように、途中のレイヤまでの順伝播方向の処理と、途中のレイヤからの誤差逆伝播とにより、重要特徴マップを生成することができるのは、途中のレイヤにおける特徴マップが同じであるならば、出力層のレイヤからの出力も同じになる、という特性に基づく。
【0054】
なお、上記説明では、途中のレイヤの決定方法（つまり、「処理範囲」の決定方法）について言及しなかったが、処理範囲は、例えば、動画像データのシーンの傾向に応じて決められてもよい。具体的には、まず、シーンごとに、様々な処理範囲を設定し、それぞれの処理範囲のもとで生成された重要特徴マップを用いて限界圧縮率を求める。そして、限界圧縮率に応じた量子化値で符号化した後に復号し、復号データの認識精度が許容限界精度となる処理範囲を、当該シーンにおける最適な処理範囲として決めてもよい。
【0055】
あるいは、画像処理装置１２０の処理性能の観点から、動画像データをリアルタイムに処理可能な処理範囲を探索し、リアルタイムに処理可能な最大の処理範囲を、最適な処理範囲として決めてもよい。
【0056】
また、上記説明では、誤差の算出方法の詳細について言及しなかったが、重要特徴マップ生成部３３０では、レイヤ４０２から出力される、複数のチャネルの特徴マップに対して、対応するチャネル同士で誤差を算出する。このとき、全てのチャネルについて誤差を算出してもよいし、一部のチャネルについて誤差を算出してもよい。また、対応するチャネル同士で算出した誤差は、単純に加算してもよいし、重み付け加算してもよい。なお、いずれの算出方法を用いるかは、ユーザから「誤差の算出方法」として指示され、予め設定値として設定されているものとする。
【0057】
＜集計部の処理の具体例＞
次に、解析部１２１を構成する各部のうち、集計部３４０の処理の具体例について説明する。図５は、集計部の処理の具体例を示す図である。このうち、５ａは、画像データ５１０について符号化処理が行われる際に用いられるブロックの配置例を示している。５ａに示すように、本実施形態では説明の簡略化のため、画像データ５１０内のブロックは全て同じ大きさであるとする。また、５ａの例は、画像データ５１０の左上のブロックのブロック番号を"ブロック１"とし、右下のブロックのブロック番号を"ブロックｍ"としている。
次に、解析部１２１を構成する各部のうち、集計部３４０の処理の具体例について説明する。図５は、集計部の処理の具体例を示す図である。このうち、５ａは、画像データ５１０について符号化処理が行われる際に用いられるブロックの配置例を示している。５ａに示すように、本実施形態では説明の簡略化のため、画像データ５１０内のブロックは全て同じ大きさであるとする。また、５ａの例は、画像データ５１０の左上のブロックのブロック番号を"ブロック１"とし、右下のブロックのブロック番号を"ブロックｍ"としている。
【0058】
また、５ｂに示すように、集計部３４０により算出される集計結果５２０には、情報の項目として、"ブロック番号"、"量子化値"が含まれる。
【0059】
"ブロック番号"には、画像データ５１０内の各ブロックのブロック番号が格納される。"量子化値"には、符号化部１２２が符号化処理を行う際に設定可能な所定数の量子化値が格納される。
【0060】
なお、５ｂの例では、説明の簡略化のため、４種類の量子化値（"Ｑ１"から"Ｑ４"）のみを記載しているが、符号化部１２２による符号化処理では、４種類以上の量子化値が設定可能であるとする。
【0061】
また、集計結果５２０において、"ブロック番号"と"量子化値"とに対応付けられた欄には、
・対応する量子化値を用いて画像データ５１０に対して符号化処理を行い、
・復号データについて認識処理が行われた際に算出された重要特徴マップに基づいて、対応するブロックにおいて集計された、
"集計値"が格納される。
・対応する量子化値を用いて画像データ５１０に対して符号化処理を行い、
・復号データについて認識処理が行われた際に算出された重要特徴マップに基づいて、対応するブロックにおいて集計された、
"集計値"が格納される。
【0062】
＜量子化値マップ生成部による処理の具体例＞
次に、解析部１２１を構成する各部のうち、量子化値マップ生成部３５０による処理の具体例について説明する。図６は、量子化値マップ生成部による処理の具体例を示す図である。図６において、グラフ６１０＿１～６１０＿ｍは、横軸に量子化値、縦軸に集計値をとり、集計結果５２０に含まれる各ブロックの集計値をプロットすることで生成されるグラフである。
次に、解析部１２１を構成する各部のうち、量子化値マップ生成部３５０による処理の具体例について説明する。図６は、量子化値マップ生成部による処理の具体例を示す図である。図６において、グラフ６１０＿１～６１０＿ｍは、横軸に量子化値、縦軸に集計値をとり、集計結果５２０に含まれる各ブロックの集計値をプロットすることで生成されるグラフである。
【0063】
グラフ６１０＿１～６１０＿ｍに示すように、量子化値を用いて符号化処理を行った場合の集計値の変化は、ブロックごとに異なる。量子化値マップ生成部３５０では、例えば、
・集計値の大きさが所定の閾値を超えた場合、あるいは、
・集計値の変化量が所定の閾値を超えた場合、あるいは、
・集計値の傾きが所定の閾値を超えた場合、あるいは、
・集計値の傾きの変化が所定の閾値を超えた場合、
のいずれかの条件を満たす場合の量子化値を、各ブロックの限界圧縮率に応じた量子化値と判定する。
・集計値の大きさが所定の閾値を超えた場合、あるいは、
・集計値の変化量が所定の閾値を超えた場合、あるいは、
・集計値の傾きが所定の閾値を超えた場合、あるいは、
・集計値の傾きの変化が所定の閾値を超えた場合、
のいずれかの条件を満たす場合の量子化値を、各ブロックの限界圧縮率に応じた量子化値と判定する。
【0064】
図６の例は、量子化値マップ生成部３５０が、グラフ６１０＿１に基づいて、限界圧縮率に応じた量子化値を"Ｑ３"と判定したことを示している。また、図６の例は、量子化値マップ生成部３５０が、グラフ６１０＿２に基づいて、限界圧縮率に応じた量子化値を"Ｑ１"と判定したことを示している。また、図６の例は、量子化値マップ生成部３５０が、グラフ６１０＿３に基づいて、限界圧縮率に応じた量子化値を"Ｑ２"と判定したことを示している。更に、図６の例は、量子化値マップ生成部３５０が、グラフ６１０＿ｍに基づいて、限界圧縮率に応じた量子化値を"Ｑ３"と判定したことを示している。
【0065】
図６の例は、画像データ５１０内のブロック１～ブロックｍに、限界圧縮率に応じた量子化値が設定され、決定量子化値マップが生成された様子を示している。
【0066】
＜画像処理の流れ＞
次に、画像処理装置１２０による画像処理の流れについて説明する。図７は、画像処理装置による画像処理の流れを示す第１のフローチャートである。
次に、画像処理装置１２０による画像処理の流れについて説明する。図７は、画像処理装置による画像処理の流れを示す第１のフローチャートである。
【0067】
ステップＳ７０１において、解析部１２１は、量子化値の解析粒度を設定する。
【0068】
ステップＳ７０２において、解析部１２１は、処理範囲及び誤差の算出方法を設定する。
【0069】
ステップＳ７０３において、解析部１２１は、撮像装置１１０により撮影された動画像データの取得開始が可能であると判断する。また、既に、動画像データの取得を開始している場合にあっては、解析部１２１は、動画像データの取得継続が可能であると判断する。これにより、解析部１２１は、次のフレームの画像データを取得する前に、量子化値を初期化して、デフォルトの量子化値マップを生成する。
【0070】
ステップＳ７０４において、解析部１２１は、画像データまたは符号化データを取得する。また、解析部１２１は、符号化データを取得した場合にあっては、符号化データを復号し、復号データを生成する。
【0071】
ステップＳ７０５において、解析部１２１は、画像データまたは復号データを、設定された処理範囲まで、順伝播方向に処理し、特徴マップを出力する。
【0072】
ステップＳ７０６において、解析部１２１は、画像データが順伝播方向に処理されることで出力された特徴マップと、復号データが順伝播方向に処理されることで出力された特徴マップとの間の誤差を算出する。
【0073】
ステップＳ７０７において、解析部１２１は、誤差逆伝播により重要特徴マップを生成する。
【0074】
ステップＳ７０８において、解析部１２１は、生成した重要特徴マップをブロック単位で集計し、集計結果格納部３７０に格納する。
【0075】
ステップＳ７０９において、解析部１２１は、符号化部１２２に設定可能な所定数全ての量子化値について解析を行ったか否かを判定する。ステップＳ７０９において、解析を行っていない量子化値があると判定した場合には（ステップＳ７０９においてＮＯの場合には）、ステップＳ７１０に進む。
【0076】
ステップＳ７１０において、解析部１２１は、量子化値を上げて、量子化値マップを変更する。また、符号化部１２２は、変更された量子化値マップを用いて、画像データに対して符号化処理を行い、符号化データを生成する。その後、ステップＳ７０４に戻る。
【0077】
一方、ステップＳ７０９において、全ての量子化値について解析を行ったと判定した場合には（ステップＳ７０９においてＹＥＳの場合には）、ステップＳ７１１に進む。
【0078】
ステップＳ７１１において、解析部１２１は、ブロック単位で最適な量子化値を探索し、決定量子化値マップを生成する。
【0079】
ステップＳ７１２において、符号化部１２２は、生成された決定量子化値マップを用いて、画像データを符号化し、符号化データを生成する。
【0080】
ステップＳ７１３において、符号化部１２２は、生成した符号化データをサーバ装置１３０に伝送する。
【0081】
ステップＳ７１４において、解析部１２１は、画像処理を終了するか否かを判定する。ステップＳ７１４において、画像処理を終了しないと判定した場合には（ステップＳ７１４においてＮＯの場合には）、ステップＳ７０３に戻り、動画像データにおける次のフレームの画像データを取得する前に、量子化値を初期化し、量子化値マップを生成する。
【0082】
一方、ステップＳ７０４において、画像処理を終了すると判定した場合には（ステップＳ７１４においてＹＥＳの場合には）、画像処理を終了する。
【0083】
以上の説明から明らかなように、第１の実施形態に係る画像処理装置１２０は、画像データがＣＮＮ部にて順伝播されることでＣＮＮ部の隠れ層より出力される第１の特徴マップを取得する。また、第１の実施形態に係る画像処理装置１２０は、画像データが異なる量子化値を用いて順次符号化された後、復号されることで得られる複数の復号データが、それぞれＣＮＮ部にて順伝播されることで隠れ層より出力される複数の第２の特徴マップを取得する。また、第１の実施形態に係る画像処理装置１２０は、第１の特徴マップと第２の特徴マップとの間の各誤差を逆伝播することで、画像データの各ブロックの認識結果への影響度を算出し、画像データを符号化する際の各ブロックの量子化値を決定する。
【0084】
このように、第１の実施形態では、ＡＩによる認識処理に適した符号化処理を行う際、順伝播方向の処理を出力層まで実行せず、隠れ層のレイヤまで実行し、当該レイヤから出力される特徴マップについて算出した誤差を、当該レイヤから逆伝播させる。
【0085】
これにより、第１の実施形態によれば、ＡＩによる認識処理に適した符号化処理を行う際の、演算量を削減することができる。
【0086】
［第２の実施形態］
上記第１の実施形態では、隠れ層から出力される特徴マップの誤差を逆伝播させることで、画像データの各ブロックの認識結果への影響度を算出した。しかしながら、隠れ層における特徴マップには、当該隠れ層以降の順伝播方向の処理により取り除かれるべき情報が含まれている。
上記第１の実施形態では、隠れ層から出力される特徴マップの誤差を逆伝播させることで、画像データの各ブロックの認識結果への影響度を算出した。しかしながら、隠れ層における特徴マップには、当該隠れ層以降の順伝播方向の処理により取り除かれるべき情報が含まれている。
【0087】
そこで、第２の実施形態では、隠れ層から出力される特徴マップの誤差を逆伝播させる際、当該取り除かれるべき情報を取り除いたうえで逆伝播させる。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【0088】
＜ＣＮＮ部及び重要特徴マップ生成部の処理の具体例＞
はじめに、第２の実施形態に係る画像処理装置１２０の解析部１２１を構成する各部のうち、ＣＮＮ部及び重要特徴マップ生成部の処理の具体例について説明する。図８は、ＣＮＮ部及び重要特徴マップ生成部の処理の具体例を示す第２の図である。
はじめに、第２の実施形態に係る画像処理装置１２０の解析部１２１を構成する各部のうち、ＣＮＮ部及び重要特徴マップ生成部の処理の具体例について説明する。図８は、ＣＮＮ部及び重要特徴マップ生成部の処理の具体例を示す第２の図である。
【0089】
図８に示すように、ＣＮＮ部３２０は、学習済みモデルとして、入力層、隠れ層、出力層を有し、入力層のレイヤ４０１に画像データが入力されると、画像データは各レイヤにて順伝播方向に処理され、隠れ層のレイヤ４０２より、特徴マップ８００が出力される。また、画像データは、隠れ層のレイヤ４０２以降も順伝播方向に処理され、出力層のレイヤ４０３より、出力結果８０１が出力される。
【0090】
同様に、入力層のレイヤ４０１に復号データ１が入力されると、復号データ１は各レイヤにて順伝播方向に処理され、隠れ層のレイヤ４０２より、特徴マップ８１０が出力される。また、復号データ１は、隠れ層のレイヤ４０２以降も順伝播方向に処理され、出力層のレイヤ４０３より、出力結果８１１が出力される。
【0091】
更に、入力層のレイヤ４０１に復号データ２が入力されると、復号データ２は各レイヤにて順伝播方向に処理され、隠れ層のレイヤ４０２より、特徴マップ８２０が出力される。
【0092】
以降、図８においては記載を省略しているが、復号データ３、復号データ４、・・・等についても、復号データ２と同様の処理が行われ、隠れ層のレイヤ４０２より特徴マップがそれぞれ出力される。
【0093】
なお、本実施形態において、特徴マップが出力されるレイヤは、例えば、ユーザから「処理範囲」として指示され、予め設定値として設定されているものとする。また、出力層のレイヤ４０３まで順伝播方向の処理を行う対象（図８の例では、画像データと復号データ１）は、例えば、ユーザから「出力層まで処理する対象」として指示され、予め設定値として設定されているものとする。
【0094】
また、重要特徴マップ生成部８３０は第１～第３の取得部の一例であり、図８に示すように、
・画像データが順伝播方向に処理されることで、出力層のレイヤ４０３より出力された出力結果８０１と、
・復号データ１が順伝播方向に処理されることで、出力層のレイヤ４０３より出力された出力結果８１１と、
の間の誤差（誤差０）を算出する。
・画像データが順伝播方向に処理されることで、出力層のレイヤ４０３より出力された出力結果８０１と、
・復号データ１が順伝播方向に処理されることで、出力層のレイヤ４０３より出力された出力結果８１１と、
の間の誤差（誤差０）を算出する。
【0095】
また、重要特徴マップ生成部８３０は、算出した誤差（誤差０）を、隠れ層のレイヤ４０２の手前のレイヤ（順伝播方向に見た場合には次のレイヤ）まで、逆伝播させる。これにより、隠れ層のレイヤ４０２の手前のレイヤからは、誤差逆伝播結果として、特徴マップ８０２（第３の特徴マップの一例）が出力され、重要特徴マップ生成部８３０では、ＣＮＮ部３２０より出力される特徴マップ８０２を取得する。
【0096】
また、図８に示すように、重要特徴マップ生成部８３０は、
・画像データが順伝播方向に処理されることで、隠れ層のレイヤ４０２より出力された特徴マップ８００と、
・復号データ１が順伝播方向に処理されることで、隠れ層のレイヤ４０２より出力された特徴マップ８１０と、
の間の誤差（誤差１）を算出する。更に、重要特徴マップ生成部８３０は、算出した誤差（誤差１）を、取得した特徴マップ８０２を用いて加工し、加工後の誤差１を、隠れ層のレイヤ４０２から逆伝播させる。これにより、ＣＮＮ部３２０の入力層のレイヤ４０１からは、誤差逆伝播結果として、重要特徴マップ８４０が出力され、重要特徴マップ生成部８３０では、ＣＮＮ部３２０より出力された重要特徴マップ８４０を、集計部３４０に通知する。
・画像データが順伝播方向に処理されることで、隠れ層のレイヤ４０２より出力された特徴マップ８００と、
・復号データ１が順伝播方向に処理されることで、隠れ層のレイヤ４０２より出力された特徴マップ８１０と、
の間の誤差（誤差１）を算出する。更に、重要特徴マップ生成部８３０は、算出した誤差（誤差１）を、取得した特徴マップ８０２を用いて加工し、加工後の誤差１を、隠れ層のレイヤ４０２から逆伝播させる。これにより、ＣＮＮ部３２０の入力層のレイヤ４０１からは、誤差逆伝播結果として、重要特徴マップ８４０が出力され、重要特徴マップ生成部８３０では、ＣＮＮ部３２０より出力された重要特徴マップ８４０を、集計部３４０に通知する。
【0097】
同様に、図８に示すように、重要特徴マップ生成部８３０は、
・画像データが順伝播方向に処理されることで、隠れ層のレイヤ４０２より出力された特徴マップ８００と、
・復号データ２が順伝播方向に処理されることで、隠れ層のレイヤ４０２より出力された特徴マップ８２０と、
の間の誤差（誤差２）を算出する。また、重要特徴マップ生成部８３０は、算出した誤差（誤差２）を、取得した特徴マップ８０２を用いて加工し、加工後の誤差２を、隠れ層のレイヤ４０２から逆伝播させる。これにより、ＣＮＮ部３２０の入力層のレイヤ４０１からは、誤差逆伝播結果として、重要特徴マップ８５０が出力され、重要特徴マップ生成部８３０では、ＣＮＮ部３２０より出力された重要特徴マップ８５０を、集計部３４０に通知する。
・画像データが順伝播方向に処理されることで、隠れ層のレイヤ４０２より出力された特徴マップ８００と、
・復号データ２が順伝播方向に処理されることで、隠れ層のレイヤ４０２より出力された特徴マップ８２０と、
の間の誤差（誤差２）を算出する。また、重要特徴マップ生成部８３０は、算出した誤差（誤差２）を、取得した特徴マップ８０２を用いて加工し、加工後の誤差２を、隠れ層のレイヤ４０２から逆伝播させる。これにより、ＣＮＮ部３２０の入力層のレイヤ４０１からは、誤差逆伝播結果として、重要特徴マップ８５０が出力され、重要特徴マップ生成部８３０では、ＣＮＮ部３２０より出力された重要特徴マップ８５０を、集計部３４０に通知する。
【0098】
以降、図８においては記載を省略しているが、復号データ３、復号データ４、・・・等についても同様に処理され、重要特徴マップがそれぞれ出力される。
【0099】
このように、隠れ層のレイヤ４０２より出力される特徴マップ８００、８１０、８２０、・・・には、隠れ層のレイヤ４０２以降の順伝播方向の処理により、取り除かれるべき情報が含まれていることに鑑みて、第２の実施形態では、
・最低限、１つの画像データと１つの復号データ（例えば、復号データ１）については、出力層のレイヤ４０３まで順伝播方向の処理を行い、出力層のレイヤ４０３からそれぞれ出力される出力結果を取得し、
・取得した出力結果間の誤差を、隠れ層のレイヤ４０２の手前のレイヤまで逆伝播させる。
・最低限、１つの画像データと１つの復号データ（例えば、復号データ１）については、出力層のレイヤ４０３まで順伝播方向の処理を行い、出力層のレイヤ４０３からそれぞれ出力される出力結果を取得し、
・取得した出力結果間の誤差を、隠れ層のレイヤ４０２の手前のレイヤまで逆伝播させる。
【0100】
これにより、第２の実施形態では、隠れ層のレイヤ４０２以降の順伝播方向の処理により取り除かれるべき情報を、特徴マップ８０２として顕在化させることができる。
【0101】
そして、隠れ層のレイヤ４０２以降に取り除かれるべき情報を、誤差１、２から取り除く加工を行い、加工後の誤差１、２を逆伝播させることで、入力層のレイヤ４０１からは、より精度の高い重要特徴マップを取得することができる。
【0102】
なお、"隠れ層のレイヤ４０２以降に取り除かれるべき情報を、誤差１、２から取り除く"とは、誤差１、２の各領域の誤差値のうち、隠れ層のレイヤ４０２以降に取り除かれるべき情報が位置する領域の誤差値をゼロにすることを指す。
【0103】
＜画像処理の流れ＞
次に、画像処理装置１２０による画像処理の流れについて説明する。図９は、画像処理装置による画像処理の流れを示す第２のフローチャートである。図７を用いて説明した第１のフローチャートとの相違点は、ステップＳ９０１、Ｓ９０２～Ｓ９０４である。
次に、画像処理装置１２０による画像処理の流れについて説明する。図９は、画像処理装置による画像処理の流れを示す第２のフローチャートである。図７を用いて説明した第１のフローチャートとの相違点は、ステップＳ９０１、Ｓ９０２～Ｓ９０４である。
【0104】
ステップＳ９０１において、解析部１２１は、処理範囲及び出力層まで処理する対象（例えば、画像データ及び復号データ１）を設定する。また、解析部１２１は、誤差の算出方法を設定する。
【0105】
ステップＳ９０２において、解析部１２１は、処理中の画像データまたは復号データが、出力層まで処理する対象（例えば、画像データまたは復号データ１）であった場合には、出力層のレイヤまで順伝播方向の処理を行う。また、解析部１２１は、出力層のレイヤより出力された出力結果を用いて、誤差（例えば、誤差０）の算出が可能である場合には、誤差（例えば、誤差０）を算出し、算出した誤差（例えば、誤差０）を逆伝播させることで、取り除かれるべき情報を取得する。
【0106】
ステップＳ９０３において、解析部１２１は、ステップＳ７０６において算出された誤差（例えば、誤差１、２、・・・）を、取り除かれるべき情報を用いて加工する。
【0107】
ステップＳ９０４において、解析部１２１は、加工後の誤差（例えば、加工後の誤差１、２、・・・）を逆伝播させ、重要特徴マップを生成する。
【0108】
以上の説明から明らかなように、第２の実施形態に係る画像処理装置１２０は、指定された画像データ及び復号データについて、出力層のレイヤまで順伝播方向の処理を行い、出力層のレイヤから出力された出力結果を用いて誤差を算出する。また、第２の実施形態に係る画像処理装置１２０は、出力結果を用いて算出した誤差を、隠れ層の所定のレイヤの手前まで逆伝播させることで、隠れ層の所定のレイヤ以降に取り除かれるべき情報（第３の特徴マップ）を取得する。更に、第２の実施形態に係る画像処理装置１２０は、隠れ層の所定のレイヤから出力される特徴マップの誤差から、取り除かれるべき情報を取り除く加工を行い、加工後の誤差を逆伝播させることで、画像データの各ブロックの認識結果への影響度を算出する。
【0109】
これにより、第２の実施形態によれば、上記第１の実施形態と同様の効果を享受しつつ、更に、画像データの各ブロックの認識結果への影響度を、より高い精度で算出することができる。
【0110】
［第３の実施形態］
上記第１及び第２の実施形態では、画像データの各ブロックの認識結果への影響度を算出する際に、隠れ層のレイヤから出力される特徴マップを用いて誤差を算出し、算出した誤差（または加工した誤差）を逆伝播させて重要特徴マップを生成した。
上記第１及び第２の実施形態では、画像データの各ブロックの認識結果への影響度を算出する際に、隠れ層のレイヤから出力される特徴マップを用いて誤差を算出し、算出した誤差（または加工した誤差）を逆伝播させて重要特徴マップを生成した。
【0111】
これに対して、第３の実施形態では、隠れ層のレイヤから出力される特徴マップの信号強度を用いて、画像データの各ブロックの認識結果への影響度を算出する。以下、第３の実施形態について、上記第１及び第２の実施形態との相違点を中心に説明する。
【0112】
＜画像処理装置の解析部の機能構成＞
はじめに、第３の実施形態に係る画像処理装置１２０の解析部の機能構成について説明する。図１０は、画像処理装置の解析部の機能構成の一例を示す第２の図である。図１０に示すように、解析部１０００は、入力部／復号部３１０、ＣＮＮ部１０１０、信号強度算出部１０２０、量子化値マップ生成部１０３０、出力部３６０を有する。
はじめに、第３の実施形態に係る画像処理装置１２０の解析部の機能構成について説明する。図１０は、画像処理装置の解析部の機能構成の一例を示す第２の図である。図１０に示すように、解析部１０００は、入力部／復号部３１０、ＣＮＮ部１０１０、信号強度算出部１０２０、量子化値マップ生成部１０３０、出力部３６０を有する。
【0113】
このうち、入力部／復号部３１０、出力部３６０は、図３の入力部／復号部３１０、出力部３６０と同様の機能を有するため、ここでは、説明を省略する。
【0114】
ＣＮＮ部１０１０は、画像データまたは復号データを入力することで、学習済みモデルを実行させる。また、ＣＮＮ部１０１０は、学習済みモデルの実行時に隠れ層のレイヤから、特徴マップを出力する。
【0115】
信号強度算出部１０２０は第１及び第２の取得部の他の一例であり、ＣＮＮ部１０１０より出力される特徴マップを取得し、取得した特徴マップの信号強度を、ブロック単位で集計し、信号強度格納部１０４０に格納する。なお、信号強度算出部１０２０は、特徴マップの信号強度をブロック単位で集計するにあたり、指定された２つの特徴マップについて誤差を算出し、算出した誤差を逆伝播させることで、学習済みモデルの入力層より、誤差逆伝播結果を取得する。そして、信号強度算出部１０２０は、取得した"誤差逆伝播結果"と"特徴マップ間の誤差"との対応関係から、特徴マップの各領域と、画像データの各ブロックとの位置関係を特定するブロックマップを生成する。
【0116】
信号強度算出部１０２０では、生成したブロックマップを用いて、特徴マップの信号強度をブロック単位で集計する。
【0117】
量子化値マップ生成部１０３０は決定部の他の一例であり、ブロックごとに量子化値を順次変更しながら、量子化値マップを生成する。また、量子化値マップ生成部１０３０は、信号強度格納部１０４０に格納された信号強度の集計結果に基づいて、ブロックごとに、限界圧縮率に応じた量子化値を探索し、決定量子化値マップを生成する。
【0118】
＜ＣＮＮ部及び信号強度算出部の処理の具体例＞
次に、解析部１０００を構成する各部のうち、ＣＮＮ部１０１０及び信号強度算出部１０２０の処理の具体例について説明する。図１１は、ＣＮＮ部及び信号強度算出部の処理の具体例を示す図である。
次に、解析部１０００を構成する各部のうち、ＣＮＮ部１０１０及び信号強度算出部１０２０の処理の具体例について説明する。図１１は、ＣＮＮ部及び信号強度算出部の処理の具体例を示す図である。
【0119】
図１１に示すように、ＣＮＮ部１０１０は、学習済みモデルとして、入力層、隠れ層、出力層を有する。ＣＮＮ部１０１０の入力層のレイヤ４０１に画像データが入力されると、画像データは各レイヤにて順伝播方向に処理され、隠れ層のレイヤ４０２より、特徴マップ１１００が出力される。
【0120】
同様に、入力層のレイヤ４０１に復号データ１が入力されると、復号データ１は各レイヤにて順伝播方向に処理され、隠れ層のレイヤ４０２より、特徴マップ１１１０が出力される。
【0121】
ここで、信号強度算出部１０２０では、特徴マップ１１００と特徴マップ１１１０との誤差を算出し、算出した誤差を、隠れ層のレイヤ４０２から逆伝播させる。これにより、ＣＮＮ部１０１０の入力層のレイヤ４０１からは、誤差逆伝播結果が出力される。
【0122】
信号強度算出部１０２０では、
・入力層のレイヤ４０１から出力された誤差逆伝播結果と、
・特徴マップ１１００と特徴マップ１１１０との間の誤差と
の対応関係から、隠れ層のレイヤ４０２から出力される特徴マップ（特徴マップ１１００及び特徴マップ１１１０）の各領域の信号強度が、画像データの各ブロックのいずれのブロックに対応するかの位置関係を特定するブロックマップ１１３０を生成する。
・入力層のレイヤ４０１から出力された誤差逆伝播結果と、
・特徴マップ１１００と特徴マップ１１１０との間の誤差と
の対応関係から、隠れ層のレイヤ４０２から出力される特徴マップ（特徴マップ１１００及び特徴マップ１１１０）の各領域の信号強度が、画像データの各ブロックのいずれのブロックに対応するかの位置関係を特定するブロックマップ１１３０を生成する。
【0123】
なお、逆伝播させる誤差の算出に用いる対象（例えば、画像データ１、復号データ１）は、例えば、ユーザから「誤差逆伝播する対象」として指示され、予め設定値として設定されているものとする。
【0124】
また、信号強度算出部１０２０では、隠れ層のレイヤ４０２から出力される各特徴マップの信号強度を、ブロックマップ１１３０に基づいて、ブロック単位で集計し、ブロックごとの信号強度の変化を示すグラフ１１４０を生成する。グラフ１１４０は、横軸に量子化値、縦軸に信号強度をとったグラフであり、信号強度が大きいほど、認識結果への影響度が高いことを示す。信号強度算出部１０２０では、生成したグラフ１１４０を、信号強度格納部１０４０に格納する。
【0125】
これにより、量子化値マップ生成部１０３０では、例えば、
・信号強度の大きさが所定の閾値を下回った場合、あるいは、
・信号強度の変化量が所定の閾値を超えた場合、あるいは、
・信号強度の傾きが所定の閾値を超えた場合、あるいは、
・信号強度の傾きの変化が所定の閾値を超えた場合、
のいずれかの条件を満たす場合の量子化値を、各ブロックの限界圧縮率に応じた量子化値と判定する。
・信号強度の大きさが所定の閾値を下回った場合、あるいは、
・信号強度の変化量が所定の閾値を超えた場合、あるいは、
・信号強度の傾きが所定の閾値を超えた場合、あるいは、
・信号強度の傾きの変化が所定の閾値を超えた場合、
のいずれかの条件を満たす場合の量子化値を、各ブロックの限界圧縮率に応じた量子化値と判定する。
【0126】
なお、上記説明では、ブロックマップ１１３０を生成するにあたり、特徴マップ１１００と特徴マップ１１１０との間の誤差を、１回、逆伝播させる場合について説明した。しかしながら、誤差の逆伝播の方法はこれに限定されず、例えば、特徴マップ１１００と特徴マップ１１１０との間の誤差を、複数の領域に分割し、それぞれの領域の誤差を、順次逆伝播させることで、ブロックマップ１１３０を生成してもよい。なお、誤差の逆伝播の方法は、例えば、ユーザから「領域の分割方法」として指示され、予め設定値として設定される。
【0127】
＜画像処理の流れ＞
次に、画像処理装置１２０による画像処理の流れについて説明する。図１２は、画像処理装置による画像処理の流れを示す第３のフローチャートである。図７を用いて説明した第１のフローチャートとの相違点は、ステップＳ１２０１、Ｓ１２０２、Ｓ１２０３、Ｓ１２０４である。
次に、画像処理装置１２０による画像処理の流れについて説明する。図１２は、画像処理装置による画像処理の流れを示す第３のフローチャートである。図７を用いて説明した第１のフローチャートとの相違点は、ステップＳ１２０１、Ｓ１２０２、Ｓ１２０３、Ｓ１２０４である。
【0128】
ステップＳ１２０１において、解析部１０００は、処理範囲及び誤差逆伝播する対象（例えば、画像データ、復号データ１）を設定する。
【0129】
ステップＳ１２０２において、解析部１０００は、処理中の画像データまたは復号データが、誤差逆伝播する対象（例えば、画像データ、復号データ１）であった場合には、特徴マップの誤差を算出し、算出した誤差を入力層まで逆伝播させる。また、解析部１０００は、入力層より出力される誤差逆伝播結果を用いて、ブロックマップを生成する。
【0130】
ステップＳ１２０３において、解析部１０００は、生成したブロックマップを用いて、ステップＳ７０５において出力された特徴マップの各領域の信号強度を、ブロック単位で集計する。
【0131】
ステップＳ１２０４において、解析部１０００は、信号強度の変化に基づいて、ブロック単位で最適な量子化値を探索し、決定量子化値マップを生成する。
【0132】
以上の説明から明らかなように、第３の実施形態に係る画像処理装置１２０は、隠れ層のレイヤより出力される特徴マップの各領域の信号強度を、ブロック単位で集計することで、決定量子化値マップを生成する。
【0133】
これにより、第３の実施形態に係る画像処理装置１２０によれば、
・隠れ層のレイヤ４０２の次のレイヤ以降の順伝播方向の処理と、
・隠れ層のレイヤ４０２の手前のレイヤ（順伝播方向に見た場合には次のレイヤ）までの誤差逆伝播と、
・「誤差逆伝播する対象」として設定された対象以外の隠れ層のレイヤ４０２からの誤差逆伝播と、
を省略することが可能となり、演算量を削減することができる。
・隠れ層のレイヤ４０２の次のレイヤ以降の順伝播方向の処理と、
・隠れ層のレイヤ４０２の手前のレイヤ（順伝播方向に見た場合には次のレイヤ）までの誤差逆伝播と、
・「誤差逆伝播する対象」として設定された対象以外の隠れ層のレイヤ４０２からの誤差逆伝播と、
を省略することが可能となり、演算量を削減することができる。
【0134】
つまり、第３の実施形態によれば、ＡＩによる認識処理に適した符号化処理を行う際の、演算量を削減することができる。
【0135】
［第４の実施形態］
上記第１乃至第３の実施形態では、各種設定値を、予め設定するものとして説明した。これに対して、第４の実施形態では、各種設定値のうち、演算量または演算時間の増減に関わる設定値を動的に変更させる場合について説明する。以下、第４の実施形態について説明する。
上記第１乃至第３の実施形態では、各種設定値を、予め設定するものとして説明した。これに対して、第４の実施形態では、各種設定値のうち、演算量または演算時間の増減に関わる設定値を動的に変更させる場合について説明する。以下、第４の実施形態について説明する。
【0136】
＜動的に変更する設定値の説明＞
はじめに、動的に変更する設定値（演算量または演算時間の増減に関わる設定値）について説明する。図１３は、動的に変更する設定値を説明するための図である。
はじめに、動的に変更する設定値（演算量または演算時間の増減に関わる設定値）について説明する。図１３は、動的に変更する設定値を説明するための図である。
【0137】
図１３に示すように、動的に変更する設定値には、量子化値の「解析粒度」が含まれる（符号１３０１）。量子化値の解析粒度を細かくすると、ＣＮＮ部３２０に入力される復号データの数が増え、量子化値の解析粒度を粗くすると、ＣＮＮ部３２０に入力される復号データの数が減る。つまり、ＣＮＮ部３２０に入力される復号データの数を増減させることで、ＣＮＮ部３２０の演算量が増減するからである。
【0138】
また、図１３に示すように、動的に変更する設定値には、「処理範囲」が含まれる（符号１３０２）。処理範囲を広くすると、ＣＮＮ部３２０における演算量が増え、処理範囲を狭くすると、ＣＮＮ部３２０における演算量が減る。つまり、処理範囲を拡縮することで、ＣＮＮ部３２０の演算量が増減するからである。
【0139】
また、図１３に示すように、動的に変更する設定値には、装置の分担範囲が含まれる（符号１３０３）。上記各実施形態では、１つの画像処理装置１２０を用いて画像処理を実行する場合について説明したが、例えば、処理性能の異なる複数の画像処理装置を用いて画像処理を実行する場合も考えられる。この場合、各画像処理装置の分担範囲を変更することで、演算時間が増減するからである。
【0140】
また、図１３に示すように、動的に変更する設定値には、「出力層まで処理する対象」の数が含まれる（符号１３０３）。上記第２の実施形態では、画像データと復号データ１を、出力層まで処理する対象として設定する場合について説明した。しかしながら、出力層まで処理する対象を、複数組設定する場合も考えられる。このような場合においては、出力層まで処理する対象の数を増減させることで、ＣＮＮ部３２０の演算量が増減するからである。
【0141】
また、図１３に示すように、動的に変更する設定値には、「誤差逆伝播させる対象」の数が含まれる（符号１３０４）。上記第３の実施形態では、ブロックマップを生成するにあたり、誤差を複数の領域に分割し、それぞれの領域の誤差を、順次逆伝播させる場合について説明した。このとき、誤差を分割する数を増やすと、誤差逆伝播させる回数が増え、誤差を分割する数を減らすと、誤差逆伝播させる回数が減る。つまり、「領域の分割方法」を変えることで、ＣＮＮ部３２０の演算量が増減するからである。
【0142】
なお、本実施形態において、上記設定値は、例えば、解析部１２１、１０００が、予め定められた指標（例えば、演算量、演算時間等）に基づいて、動的に変更するものとする。つまり、本実施形態において、解析部１２１、１０００は、設定値を動的に変更する変更部として機能する。
【0143】
＜設定値の動的変更処理の具体例＞
次に、上記設定値のうち、「処理範囲」を動的に変更させる場合の処理の具体例について説明する。図１４は、設定値の動的変更処理の具体例を示す図である。
次に、上記設定値のうち、「処理範囲」を動的に変更させる場合の処理の具体例について説明する。図１４は、設定値の動的変更処理の具体例を示す図である。
【0144】
図１４において、グラフ１４１０は、縦軸に所定の処理単位（例えば、1フレーム）あたり演算時間（演算時間／処理単位）をとり、横軸に時刻をとったグラフである。なお、グラフ１４１０において、許容限界演算時間とは、動画像データをリアルタイムに処理するために許容されうる、１フレームあたりの演算時間を指す。
【0145】
また、グラフ１４２０は、縦軸に認識精度をとり、横軸に時刻をとったグラフである。なお、グラフ１４２０において、許容限界精度とは、決定量子化値マップを用いて符号化した符号化データを復号し、復号データに対して認識処理を行った場合の認識精度の限界値を指す。更に、グラフ１４３０は、縦軸に処理範囲をとり、横軸に時刻をとったグラフである。
【0146】
図１４の例の場合、画像処理の開始直後は、演算時間／処理単位が、許容限界演算時間を超えていたところ（時刻ｔ１）、処理範囲を動的に変更し（処理範囲を狭くし）、演算量を減らすことで、許容限界演算時間まで落ちている（時刻ｔ２）。
【0147】
また、図１４の例の場合、更に処理範囲を動的に変更し（処理範囲を狭くし）、演算量を減らしたことで、演算時間／処理単位が、許容限界演算時間を大きく下回っている（時刻ｔ３、ｔ４）。ただし、図１４の例の場合、演算時間／処理単位が、許容限界演算時間を大きく下回ったタイミングで、認識精度が、許容限界精度に近づいている。
【0148】
このため、図１４の例では、処理範囲を動的に変更し（処理範囲を少し拡げ）、演算量を増やしている（時刻ｔ５）。これにより、演算時間／処理単位が少し増える一方で、認識精度が回復している（時刻ｔ５）。
【0149】
また、図１４の例では、以降、処理範囲を動的に変更しながら（処理範囲を少し狭めたり、少し広げたりしながら）、演算時間／処理単位と、認識精度との最適なバランスを探索している（時刻ｔ６、ｔ７）。
【0150】
このように、「処理範囲」を動的に変更させることで、最適な処理範囲を探索することができる。なお、図１４の例では、最適な処理範囲を探索する際の指標として、"演算時間／処理単位"と、"認識精度"とを用いたが、それら以外の指標を用いてもよい。
【0151】
演算時間／処理単位と、認識精度以外の指標としては、例えば、画像処理装置１２０の使用電力量や、発熱量等が挙げられる。
【0152】
［その他の実施形態］
上記各実施形態では、紙面の都合上、ＣＮＮ部に含まれるレイヤの数を５個としたが、ＣＮＮ部に含まれるレイヤの数は、５個以上であってもよい。
上記各実施形態では、紙面の都合上、ＣＮＮ部に含まれるレイヤの数を５個としたが、ＣＮＮ部に含まれるレイヤの数は、５個以上であってもよい。
【0153】
また、上記第１乃至第３の実施形態では、各種設定値の設定方法について言及しなかったが、例えば、各種設定値は、操作装置２３１を介してサーバ装置１３０に入力し、ネットワークを介して画像処理装置１２０に送信することで、設定されてもよい。あるいは、画像処理装置１２０に操作装置を接続し、接続した操作装置から直接、画像処理装置１２０に入力することで設定されてもよい。
【0154】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【0155】
１００ ：画像処理システム
１１０ ：撮像装置
１２０ ：画像処理装置
１２１ ：解析部
１２２ ：符号化部
１３０ ：サーバ装置
１３１ ：復号部
３１０ ：入力部／復号部
３２０ ：ＣＮＮ部
３３０ ：重要特徴マップ生成部
３４０ ：集計部
３５０ ：量子化値マップ生成部
３６０ ：出力部
８３０ ：重要特徴マップ生成部
１０００ ：解析部
１０１０ ：ＣＮＮ部
１０２０ ：信号強度算出部
１０３０ ：量子化値マップ生成部
１１０ ：撮像装置
１２０ ：画像処理装置
１２１ ：解析部
１２２ ：符号化部
１３０ ：サーバ装置
１３１ ：復号部
３１０ ：入力部／復号部
３２０ ：ＣＮＮ部
３３０ ：重要特徴マップ生成部
３４０ ：集計部
３５０ ：量子化値マップ生成部
３６０ ：出力部
８３０ ：重要特徴マップ生成部
１０００ ：解析部
１０１０ ：ＣＮＮ部
１０２０ ：信号強度算出部
１０３０ ：量子化値マップ生成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】