知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-09
(45)【発行日】2024-09-18
(54)【発明の名称】画像処理装置、画像処理方法及び画像処理プログラム
(51)【国際特許分類】
H04N 19/126 20140101AFI20240910BHJP
H04N 19/152 20140101ALI20240910BHJP
H04N 19/167 20140101ALI20240910BHJP
H04N 19/176 20140101ALI20240910BHJP
【ＦＩ】
H04N19/126
H04N19/152
H04N19/167
H04N19/176
【請求項の数】
9
(21)【出願番号】P 2022576327
(86)(22)【出願日】2021-01-22
(86)【国際出願番号】 JP2021002221
(87)【国際公開番号】W WO2022157921
(87)【国際公開日】2022-07-28
【審査請求日】2023-07-14
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】久保田 智規
(72)【発明者】
【氏名】中尾 鷹詔
【審査官】山▲崎▼ 雄介
(56)【参考文献】
【文献】特開２０１７－１６８８７８（ＪＰ，Ａ）
【文献】特開平０７－１８４０６２（ＪＰ，Ａ）
【文献】特開２００５－００５８６２（ＪＰ，Ａ）
【文献】久保田 智規 他，AI解析に適した映像データ高圧縮技術 ～クラウド・５Ｇでの利用に向けて～ [online]，富士通テクニカルレビュー，日本，富士通株式会社，2020年08月19日，pp. 1-7，インターネット: <URL: https://www.fujitsu.com/jp/documents/about/resources/publications/technicalreview/topics/article003.pdf>，[検索日 2021.03.12]
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
動画像データの各フレームの画像データを符号化する際、仮想バッファにおいてオーバフローが発生するか否かを判定する判定部と、オーバフローが発生すると判定され、仮想バッファ位置に基づいて割り当てられた情報量が通知された場合に、認識対象情報を参照し、画像データに含まれる認識対象のうち、認識対象情報により指定された認識対象以外の認識対象の領域に対応する位置のブロックの量子化値を、前記情報量に基づいて、限界圧縮率に応じた量子化値よりも高い量子化値に変更する変更部と
を有する画像処理装置。
【請求項2】
前記画像データに対して認識処理を行うことで取得される認識結果と、前記画像データが異なる量子化値を用いてそれぞれ符号化された後、復号されることで得られる複数の復号データに対してそれぞれ認識処理を行うことで取得される認識結果との間の各誤差を逆伝播させることで、前記画像データの各ブロックの認識結果への影響度を算出し、前記画像データを符号化する際の各ブロックの量子化値を決定することで、限界圧縮率に応じた量子化値の暫定量子化値マップを生成する解析部を更に有し、前記変更部は、
前記暫定量子化値マップにおいて量子化値を変更する、請求項１に記載の画像処理装置。
【請求項3】
動画像データの各フレームの画像データを符号化する際、仮想バッファにおいてオーバフローが発生するか否かを判定する判定部と、
オーバフローが発生すると判定された場合に、認識対象情報を参照し、画像データに含まれる認識対象のうち、認識対象情報により指定された認識対象以外の認識対象の領域に対応する位置のブロックの量子化値を、限界圧縮率に応じた量子化値よりも高い量子化値に変更する変更部と、を有し、
前記変更部は、
前記画像データに対して認識処理を行うことで取得される認識結果と、前記画像データが異なる量子化値を用いてそれぞれ符号化された後、復号されることで得られる複数の復号データに対してそれぞれ認識処理を行うことで取得される認識結果との間の各誤差を逆伝播させることで、前記画像データの各ブロックの認識結果への影響度を算出し、
前記画像データに含まれる認識対象のうち、認識対象情報により指定された認識対象以外の認識対象の領域に対応する位置のブロックの認識結果への影響度を修正することで、限界圧縮率に応じた量子化値よりも高い量子化値に変更する、画像処理装置。
【請求項4】
動画像データの各フレームの画像データを符号化する際、仮想バッファにおいてオーバフローが発生するか否かを判定する判定部と、
オーバフローが発生すると判定された場合に、認識対象情報を参照し、画像データに含まれる認識対象のうち、認識対象情報により指定された認識対象以外の認識対象の領域に対応する位置のブロックの量子化値を、限界圧縮率に応じた量子化値よりも高い量子化値に変更する変更部と、
前記画像データに対して認識処理が行われる際、隠れ層より出力される第１の特徴マップと、前記画像データが異なる量子化値を用いてそれぞれ符号化された後、復号されることで得られる複数の復号データに対してそれぞれ認識処理が行われる際、隠れ層より出力される複数の第２の特徴マップとを取得し、前記第１の特徴マップ及び複数の第２の特徴マップの各領域の信号強度を、ブロックごとに集計することで、前記画像データの各ブロックの認識結果への影響度を算出し、前記画像データを符号化する際の各ブロックの量子化値を決定することで、限界圧縮率に応じた量子化値の暫定量子化値マップを生成する解析部と、を有し、
前記変更部は、
前記暫定量子化値マップにおいて量子化値を変更する、画像処理装置。
【請求項5】
動画像データの各フレームの画像データを符号化する際、仮想バッファにおいてオーバフローが発生するか否かを判定する判定部と、
オーバフローが発生すると判定された場合に、認識対象情報を参照し、画像データに含まれる認識対象のうち、認識対象情報により指定された認識対象以外の認識対象の領域に対応する位置のブロックの量子化値を、限界圧縮率に応じた量子化値よりも高い量子化値に変更する変更部と、を有し、
前記変更部は、
前記画像データに対して認識処理が行われる際、隠れ層より出力される第１の特徴マップと、前記画像データが異なる量子化値を用いてそれぞれ符号化された後、復号されることで得られる複数の復号データに対してそれぞれ認識処理が行われる際、隠れ層より出力される複数の第２の特徴マップとを取得し、
前記第１の特徴マップ及び複数の第２の特徴マップの各領域の信号強度を、ブロックごとに集計することで、前記画像データの各ブロックの認識結果への影響度を算出し、
前記画像データに含まれる認識対象のうち、認識対象情報により指定された認識対象以外の認識対象の領域に対応する位置のブロックの認識結果への影響度を修正することで、限界圧縮率に応じた量子化値よりも高い量子化値に変更する、画像処理装置。
【請求項6】
前記認識対象情報により指定される認識対象は、フレーム単位で変更される、請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項7】
前記変更部により変更された量子化値を用いて、前記画像データを符号化する符号化部を更に有する、請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項8】
動画像データの各フレームの画像データを符号化する際、仮想バッファにおいてオーバフローが発生するか否かを判定し、オーバフローが発生すると判定され、仮想バッファ位置に基づいて割り当てられた情報量が通知された場合に、認識対象情報を参照し、画像データに含まれる認識対象のうち、認識対象情報により指定された認識対象以外の認識対象の領域に対応する位置のブロックの量子化値を、前記情報量に基づいて、限界圧縮率に応じた量子化値よりも高い量子化値に変更する、
処理をコンピュータが実行する画像処理方法。
【請求項9】
動画像データの各フレームの画像データを符号化する際、仮想バッファにおいてオーバフローが発生するか否かを判定し、オーバフローが発生すると判定され、仮想バッファ位置に基づいて割り当てられた情報量が通知された場合に、認識対象情報を参照し、画像データに含まれる認識対象のうち、認識対象情報により指定された認識対象以外の認識対象の領域に対応する位置のブロックの量子化値を、前記情報量に基づいて、限界圧縮率に応じた量子化値よりも高い量子化値に変更する、
処理をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【0002】
動画像データを符号化して伝送する場合、例えば、伝送負荷に応じた圧縮率で符号化するビットレート制御が行われる。
【0003】
一方で、ＡＩ（Artificial Intelligence）による認識処理に利用する目的で、動画像データを符号化して伝送する場合には、例えば、認識対象をＡＩが認識できる限界まで圧縮率を上げて（つまり、限界圧縮率で）符号化することが考えられる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１９－０５０８９６号公報
【文献】特開２０２０－００３７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、限界圧縮率で符号化した場合であっても、仮想バッファにおいてオーバフローが発生することが考えられる。このような場合において、各ブロックの圧縮率を、限界圧縮率を超えて一律に上げたのでは、動画像データに含まれる全ての認識対象について、ＡＩによる認識が困難となり、認識精度が著しく低下する。
【0006】
一つの側面では、ＡＩによる認識が可能な限界圧縮率を超えた圧縮率で符号化する場合において、認識精度の低下を抑えることを目的とする。
【課題を解決するための手段】
【0007】
一態様によれば、画像処理装置は、
動画像データの各フレームの画像データを符号化する際、仮想バッファにおいてオーバフローが発生するか否かを判定する判定部と、
オーバフローが発生すると判定され、仮想バッファ位置に基づいて割り当てられた情報量が通知された場合に、認識対象情報を参照し、画像データに含まれる認識対象のうち、認識対象情報により指定された認識対象以外の認識対象の領域に対応する位置のブロックの量子化値を、前記情報量に基づいて、限界圧縮率に応じた量子化値よりも高い量子化値に変更する変更部とを有する。
動画像データの各フレームの画像データを符号化する際、仮想バッファにおいてオーバフローが発生するか否かを判定する判定部と、
オーバフローが発生すると判定され、仮想バッファ位置に基づいて割り当てられた情報量が通知された場合に、認識対象情報を参照し、画像データに含まれる認識対象のうち、認識対象情報により指定された認識対象以外の認識対象の領域に対応する位置のブロックの量子化値を、前記情報量に基づいて、限界圧縮率に応じた量子化値よりも高い量子化値に変更する変更部とを有する。
【発明の効果】
【0008】
ＡＩによる認識が可能な限界圧縮率を超えた圧縮率で符号化する場合において、認識精度の低下を抑えることができる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0011】
［第１の実施形態］
＜画像処理システムのシステム構成＞
はじめに、第１の実施形態に係る画像処理装置を備える画像処理システム全体のシステム構成について説明する。図１は、画像処理システムのシステム構成の一例を示す第１の図である。図１に示すように、画像処理システム１００は、撮像装置１１０、画像処理装置１２０、サーバ装置１３０を有する。画像処理システム１００において、画像処理装置１２０とサーバ装置１３０とは、ネットワーク１４０を介して通信可能に接続される。
＜画像処理システムのシステム構成＞
はじめに、第１の実施形態に係る画像処理装置を備える画像処理システム全体のシステム構成について説明する。図１は、画像処理システムのシステム構成の一例を示す第１の図である。図１に示すように、画像処理システム１００は、撮像装置１１０、画像処理装置１２０、サーバ装置１３０を有する。画像処理システム１００において、画像処理装置１２０とサーバ装置１３０とは、ネットワーク１４０を介して通信可能に接続される。
【0012】
撮像装置１１０は、所定のフレーム周期で撮影を行い、動画像データを画像処理装置１２０に送信する。なお、動画像データには、少なくとも認識処理の対象となる物体（認識対象）が含まれるフレームの画像データと、認識処理の対象となる物体（認識対象）が含まれない（認識対象以外の物体のみが含まれる）フレームの画像データとが含まれる。更には、動画像データには、いずれの物体も含まれないフレームの画像データが含まれていてもよい。
【0013】
画像処理装置１２０には画像処理プログラムがインストールされており、当該画像処理プログラムが実行されることで、画像処理装置１２０は、解析部１２１、符号化部１２２及びビットレート制御部１２３として機能する。
【0014】
解析部１２１は、認識処理を行う学習済みモデルを有する。解析部１２１は、動画像データの各フレームの画像データまたは復号データ（画像データに対して異なる量子化値（量子化ステップともいう）で符号化処理が行われた場合の符号化データを復号した復号データ）を、学習済みモデルに入力することで認識処理を行う。
【0015】
また、解析部１２１は、認識処理の際に、例えば、誤差逆伝播法を用いて学習済みモデルの動作解析を行うことで、認識結果への影響度を示すマップ（「重要特徴マップ」と称す）を生成し、所定領域ごとに影響度を集計する。なお、ここでいう所定領域とは、符号化処理が行われる際に用いられるブロックを指す。
【0016】
また、解析部１２１は、符号化部１２２に対して、所定数の異なる量子化値での符号化処理を指示し、それぞれの量子化値で画像データに対して符号化処理が行われた場合の符号化データを復号した各復号データについて、上記と同様の処理を繰り返す。なお、符号化部１２２に対して指示する、ブロックごとの量子化値の集合を、以下では、「量子化値マップ」と称す。
【0017】
つまり、解析部１２１では、量子化値マップを変更することで、学習済みモデルに入力する画像データの画質を変更しながら、変更後の各画像データについて、各ブロックの認識結果への影響度を集計する。
【0018】
また、解析部１２１は、量子化値マップを変更したことに伴う集計値の変化に基づいて、各ブロックの最適な量子化値を探索する。なお、最適な量子化値とは、所定数の異なる量子化値のうち、画像データに含まれる認識対象を正しく認識することが可能な限界圧縮率に応じた量子化値を指す。ブロックごとに算出される、限界圧縮率に応じた量子化値の集合を、本実施形態では「暫定量子化値マップ」と称す。
【0019】
また、解析部１２１は、暫定量子化値マップと、認識対象の領域を示す情報（「対象領域情報」）とを、ビットレート制御部１２３に通知する。なお、対象領域情報は、画像データに対して認識処理を行うことで学習済みモデルから出力される認識結果に基づいて算出される。
【0020】
符号化部１２２は、解析部１２１から指示された量子化値マップを用いて、動画像データの対応するフレームの画像データに対して符号化処理を行い、生成した符号化データを解析部１２１に戻す。
【0021】
また、符号化部１２２は、前回の処理対象のフレームの画像データに対して符号化処理を行った際に測定した、符号化データの情報量（実績情報量）を、ビットレート制御部１２３に通知する。更に、符号化部１２２は、実績情報量を通知したことに応じて、ビットレート制御部１２３から通知された決定量子化値マップを用いて、今回の処理対象のフレームの画像データに対して符号化処理を行い、符号化データをサーバ装置１３０に伝送する。
【0022】
ビットレート制御部１２３は、取得した実績情報量に基づいて、現在の仮想バッファの残量を示す「仮想バッファ位置」を算出する。また、ビットレート制御部１２３は、今回の処理対象のフレームの画像データに対して、暫定量子化値マップを用いて符号化処理を行った場合の、仮想バッファ位置の変化を予測する。
【0023】
また、ビットレート制御部１２３は、予測した変化後の仮想バッファ位置に基づいて、仮想バッファにてオーバフローが発生するか否かを判定する。オーバフローが発生しないと判定した場合、ビットレート制御部１２３では、暫定量子化値マップを決定量子化値マップとして、符号化部１２２に通知する。
【0024】
一方、オーバフローが発生すると判定した場合、ビットレート制御部１２３は、対象領域情報が示す認識対象のうち、予め指定された認識対象以外の認識対象を特定する。更に、ビットレート制御部１２３は、暫定量子化値マップのうち、特定した認識対象の領域に対応する位置のブロックの量子化値を、限界圧縮率に応じた量子化値よりも高い量子化値に変更する。そして、ビットレート制御部１２３では、量子化値を変更した変更後の暫定量子化値マップを、決定量子化値マップとして、符号化部１２２に通知する。
【0025】
このように、仮想バッファにてオーバフローが発生すると判定した場合、ビットレート制御部１２３では、暫定量子化値マップのうち、予め指定された認識対象以外の認識対象の領域については、限界圧縮率を超えた圧縮率で符号化処理を行う。これにより、仮想バッファでのオーバフローを回避しつつ、予め指定された認識対象については、認識精度を維持することができる。つまり、画像処理装置１２０によれば、ＡＩによる認識が可能な限界圧縮率を超えた圧縮率で符号化する場合において、認識精度の低下を抑えることができる。
【0026】
サーバ装置１３０には、復号プログラムがインストールされており、当該復号プログラムが実行されることで、サーバ装置１３０は、復号部１３１として機能する。
【0027】
復号部１３１は、画像処理装置１２０から伝送された符号化データを復号し、復号データを生成する。復号部１３１は、生成した復号データを、復号データ格納部１３２に格納する。
【0028】
＜画像処理装置及びサーバ装置のハードウェア構成＞
次に、画像処理装置１２０及びサーバ装置１３０のハードウェア構成について説明する。図２は、画像処理装置及びサーバ装置のハードウェア構成の一例を示す図である。
次に、画像処理装置１２０及びサーバ装置１３０のハードウェア構成について説明する。図２は、画像処理装置及びサーバ装置のハードウェア構成の一例を示す図である。
【0029】
このうち、図２の２ａは、画像処理装置のハードウェア構成の一例を示す図である。画像処理装置１２０は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、Ｉ／Ｆ（Interface）装置２０４、通信装置２０５、ドライブ装置２０６を有する。なお、画像処理装置１２０の各ハードウェアは、バス２０７を介して相互に接続されている。
【0030】
プロセッサ２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラム（例えば、画像処理プログラム等）をメモリ２０２上に読み出して実行する。
【0031】
メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
【0032】
補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種データを格納する。
【0033】
Ｉ／Ｆ装置２０４は、外部装置の一例である撮像装置１１０と、画像処理装置１２０とを接続する接続デバイスである。
【0034】
通信装置２０５は、他の装置の一例であるサーバ装置１３０と通信するための通信デバイスである。
【0035】
ドライブ装置２０６は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【0036】
なお、補助記憶装置２０３にインストールされる各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０６にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０６により読み出されることでインストールされる。あるいは、補助記憶装置２０３にインストールされる各種プログラムは、通信装置２０５を介してネットワークからダウンロードされることで、インストールされてもよい。
【0037】
一方、図２の２ｂは、サーバ装置１３０のハードウェア構成の一例を示す図である。なお、サーバ装置１３０のハードウェア構成は、画像処理装置１２０のハードウェア構成と概ね同じであるため、ここでは、画像処理装置１２０との相違点を中心に説明する。
【0038】
プロセッサ２２１は、例えば、復号プログラム等をメモリ２２２上に読み出して実行する。補助記憶装置２２３は、例えば、復号データ格納部１３２を実現する。
【0039】
Ｉ／Ｆ装置２２４は、サーバ装置１３０に対する操作を、操作装置２３１を介して受け付ける。また、Ｉ／Ｆ装置２２４は、サーバ装置１３０による処理の結果を出力し、表示装置２３２を介して表示する。また、通信装置２２５は、画像処理装置１２０と通信する。
【0040】
＜画像処理装置の解析部の機能構成＞
次に、画像処理装置１２０の解析部１２１の機能構成について説明する。図３は、画像処理装置の解析部の機能構成の一例を示す第１の図である。図３に示すように、解析部１２１は、入力部／復号部３１０、ＣＮＮ部３２０、重要特徴マップ生成部３３０、集計部３４０、量子化値マップ生成部３５０、出力部３６０を有する。
次に、画像処理装置１２０の解析部１２１の機能構成について説明する。図３は、画像処理装置の解析部の機能構成の一例を示す第１の図である。図３に示すように、解析部１２１は、入力部／復号部３１０、ＣＮＮ部３２０、重要特徴マップ生成部３３０、集計部３４０、量子化値マップ生成部３５０、出力部３６０を有する。
【0041】
入力部／復号部３１０は、撮像装置１１０より送信された動画像データの各フレームの画像データを取得し、ＣＮＮ部３２０に通知する。また、入力部／復号部３１０は、符号化部１２２より通知された符号化データを取得し、復号したうえで、復号データをＣＮＮ部３２０に通知する。
【0042】
ＣＮＮ部３２０は、認識処理を行う学習済みモデルを有する。ＣＮＮ部３２０は、画像データまたは復号データを入力することで、学習済みモデルを実行させる。また、ＣＮＮ部３２０は、画像データを入力することで、学習済みモデルより出力される認識結果を、重要特徴マップ生成部３３０及び量子化値マップ生成部３５０に通知する。
【0043】
また、ＣＮＮ部３２０は、復号データを入力することで、学習済みモデルより出力される認識結果を、重要特徴マップ生成部３３０に通知する。
【0044】
重要特徴マップ生成部３３０は、学習済みモデルより出力される認識結果を取得する。また、重要特徴マップ生成部３３０は、取得した認識結果を用いて誤差逆伝播法による重要特徴マップを生成する。
【0045】
具体的には、重要特徴マップ生成部３３０は、画像データが入力されたことで取得した認識結果と、復号データが入力されたことで取得した認識結果との誤差を算出する。また、重要特徴マップ生成部３３０は、算出した誤差を逆伝播させることで、学習済みモデルの入力層より、誤差逆伝播結果を取得する。更に、重要特徴マップ生成部３３０は、取得した誤差逆伝播結果に基づく重要特徴マップを生成し、集計部３４０に通知する。
【0046】
なお、誤差逆伝播法による重要特徴マップの生成方法の詳細は、例えば、
「Selvaraju, Ramprasaath R., et al. "Grad-cam: Visual explanations from deep networks via gradient-based localization." The IEEE International Conference on Computer Vision (ICCV), 2017, pp. 618-626」、
等の文献に開示されている。
「Selvaraju, Ramprasaath R., et al. "Grad-cam: Visual explanations from deep networks via gradient-based localization." The IEEE International Conference on Computer Vision (ICCV), 2017, pp. 618-626」、
等の文献に開示されている。
【0047】
集計部３４０は、通知された重要特徴マップに基づいて、各領域の認識結果への影響度をブロック単位で集計し、ブロックごとの影響度の集計値を算出する。また、集計部３４０は、算出した各ブロックの集計値を、符号化処理に用いた量子化値と対応付けて集計結果格納部３７０に格納する。
【0048】
量子化値マップ生成部３５０は、ブロックごとに量子化値を順次変更しながら、量子化値マップを生成し、出力部３６０に通知する。なお、量子化値を順次変更する際の変更範囲は予め定められているものとする。
【0049】
また、量子化値マップ生成部３５０は、集計結果格納部３７０に格納された集計結果に基づいて、ブロックごとに、限界圧縮率に応じた量子化値を探索することで暫定量子化値マップを生成し、出力部３６０に通知する。
【0050】
更に、量子化値マップ生成部３５０は、ＣＮＮ部３２０より取得した認識結果に基づいて、認識対象の領域を示す情報（対象領域情報）を生成し、出力部３６０に通知する。
【0051】
出力部３６０は、量子化値マップ生成部３５０により生成された量子化値マップを、符号化部１２２に通知する。また、出力部３６０は、動画像データの対応するフレームの画像データを、符号化部１２２に通知する。更に、出力部３６０は、量子化値マップ生成部３５０により生成された暫定量子化値マップ及び対象領域情報を、ビットレート制御部１２３に通知する。
【0052】
＜ＣＮＮ部及び重要特徴マップ生成部の処理の具体例＞
次に、解析部１２１を構成する各部のうち、ＣＮＮ部３２０及び重要特徴マップ生成部３３０の処理の具体例について説明する。図４は、ＣＮＮ部及び重要特徴マップ生成部の処理の具体例を示す第１の図である。
次に、解析部１２１を構成する各部のうち、ＣＮＮ部３２０及び重要特徴マップ生成部３３０の処理の具体例について説明する。図４は、ＣＮＮ部及び重要特徴マップ生成部の処理の具体例を示す第１の図である。
【0053】
図４に示すように、ＣＮＮ部３２０は、学習済みモデルとして、入力層、隠れ層、出力層を有し、入力層のレイヤ４０１に画像データが入力されると、画像データは各レイヤにて順伝播方向に処理される。これにより、出力層のレイヤ４０２からは、認識結果４１０が出力される（実線太矢印参照）。なお、図４の例は、認識対象の一例である"人物"が３人含まれる画像データ４３０が入力された様子を示している。
【0054】
同様に、入力層のレイヤ４０１に復号データ１が入力されると、復号データ１は各レイヤにて順伝播方向に処理され、出力層のレイヤ４０２より、認識結果４１１が出力される（実線太矢印参照）。なお、復号データ１とは、画像データ４３０の各ブロックに対して、例えば、量子化値Ｑ１の集合である量子化値マップを用いて符号化処理が行われた後、符号化データが、入力部／復号部３１０により復号されることで得られるデータを指す。
【0055】
同様に、入力層のレイヤ４０１に復号データ２が入力されると、復号データ２は、各レイヤにて順伝播方向に処理され、出力層のレイヤ４０２より、認識結果４１２が出力される（実線太矢印参照）。なお、復号データ２とは、画像データ４３０の各ブロックに対して、例えば、量子化値Ｑ２の集合である量子化値マップを用いて符号化処理が行われた後、符号化データが、入力部／復号部３１０により復号されることで得られるデータを指す。
【0056】
以降、図４においては記載を省略しているが、復号データ３、復号データ４、・・・等についても同様の処理が行われ、認識結果が出力される。
【0057】
また、図４に示すように、重要特徴マップ生成部３３０は、
・画像データが順伝播方向に処理されることで出力された認識結果４１０と、
・各復号データ（復号データ１、２、・・・）が順伝播方向に処理されることで出力された各認識結果（認識結果４１１、４１２、・・・）と、
の間の各誤差（誤差１、２、・・・）を算出する。
・画像データが順伝播方向に処理されることで出力された認識結果４１０と、
・各復号データ（復号データ１、２、・・・）が順伝播方向に処理されることで出力された各認識結果（認識結果４１１、４１２、・・・）と、
の間の各誤差（誤差１、２、・・・）を算出する。
【0058】
また、重要特徴マップ生成部３３０は、算出した各誤差（誤差１、２、・・・）を、出力層のレイヤ４０２から逆伝播させる。これにより、ＣＮＮ部３２０の入力層のレイヤ４０１からは、誤差逆伝播結果として、各重要特徴マップ（重要特徴マップ４２１、４２２、・・・）が出力される（点線太矢印参照）。重要特徴マップ生成部３３０は、ＣＮＮ部３２０より出力された各重要特徴マップ（重要特徴マップ４２１、４２２、・・・）を、集計部３４０に通知する。
【0059】
＜集計部の処理の具体例＞
次に、解析部１２１を構成する各部のうち、集計部３４０の処理の具体例について説明する。図５は、集計部の処理の具体例を示す図である。このうち、５ａは、画像データ５１０に対して符号化処理が行われる際に用いられるブロックの配置例を示している。５ａに示すように、本実施形態では説明の簡略化のため、画像データ５１０内のブロックは全て同じ大きさであるとする。また、５ａの例は、画像データ５１０の左上のブロックのブロック番号を"ブロック１"とし、右下のブロックのブロック番号を"ブロックｍ"としている。
次に、解析部１２１を構成する各部のうち、集計部３４０の処理の具体例について説明する。図５は、集計部の処理の具体例を示す図である。このうち、５ａは、画像データ５１０に対して符号化処理が行われる際に用いられるブロックの配置例を示している。５ａに示すように、本実施形態では説明の簡略化のため、画像データ５１０内のブロックは全て同じ大きさであるとする。また、５ａの例は、画像データ５１０の左上のブロックのブロック番号を"ブロック１"とし、右下のブロックのブロック番号を"ブロックｍ"としている。
【0060】
また、５ｂに示すように、集計部３４０により算出される集計結果５２０には、情報の項目として、"ブロック番号"、"量子化値"が含まれる。
【0061】
"ブロック番号"には、画像データ５１０内の各ブロックのブロック番号が格納される。"量子化値"には、符号化部１２２が符号化処理を行う際に設定可能な所定数の量子化値が格納される。
【0062】
なお、５ｂの例では、説明の簡略化のため、４種類の量子化値（"Ｑ１"から"Ｑ４"）のみを記載しているが、符号化部１２２による符号化処理では、４種類以上の量子化値が設定可能であるとする。
【0063】
また、集計結果５２０において、"ブロック番号"と"量子化値"とに対応付けられた欄には、
・対応する量子化値を用いて画像データ５１０に対して符号化処理を行い、
・復号データについて認識処理が行われた際に算出された重要特徴マップに基づいて、対応するブロックにおいて集計された、
"集計値"が格納される。
・対応する量子化値を用いて画像データ５１０に対して符号化処理を行い、
・復号データについて認識処理が行われた際に算出された重要特徴マップに基づいて、対応するブロックにおいて集計された、
"集計値"が格納される。
【0064】
＜量子化値マップ生成部による処理の具体例＞
次に、解析部１２１を構成する各部のうち、量子化値マップ生成部３５０の処理の具体例について説明する。図６は、量子化値マップ生成部の処理の具体例を示す図である。図６において、グラフ６１０＿１～６１０＿ｍは、横軸に量子化値、縦軸に集計値をとり、集計結果５２０に含まれる各ブロックの集計値をプロットすることで生成されるグラフである。
次に、解析部１２１を構成する各部のうち、量子化値マップ生成部３５０の処理の具体例について説明する。図６は、量子化値マップ生成部の処理の具体例を示す図である。図６において、グラフ６１０＿１～６１０＿ｍは、横軸に量子化値、縦軸に集計値をとり、集計結果５２０に含まれる各ブロックの集計値をプロットすることで生成されるグラフである。
【0065】
グラフ６１０＿１～６１０＿ｍに示すように、それぞれの量子化値を用いて符号化処理を行った場合の集計値の変化は、ブロックごとに異なる。量子化値マップ生成部３５０では、例えば、
・集計値の大きさが所定の閾値を超えた場合、あるいは、
・集計値の変化量が所定の閾値を超えた場合、あるいは、
・集計値の傾きが所定の閾値を超えた場合、あるいは、
・集計値の傾きの変化が所定の閾値を超えた場合、
のいずれかの条件を満たす場合の量子化値を、各ブロックの限界圧縮率に応じた量子化値と判定する。
・集計値の大きさが所定の閾値を超えた場合、あるいは、
・集計値の変化量が所定の閾値を超えた場合、あるいは、
・集計値の傾きが所定の閾値を超えた場合、あるいは、
・集計値の傾きの変化が所定の閾値を超えた場合、
のいずれかの条件を満たす場合の量子化値を、各ブロックの限界圧縮率に応じた量子化値と判定する。
【0066】
図６の例は、量子化値マップ生成部３５０が、グラフ６１０＿１に基づいて、限界圧縮率に応じた量子化値を"Ｑ３"と判定したことを示している。また、図６の例は、量子化値マップ生成部３５０が、グラフ６１０＿２に基づいて、限界圧縮率に応じた量子化値を"Ｑ１"と判定したことを示している。また、図６の例は、量子化値マップ生成部３５０が、グラフ６１０＿３に基づいて、限界圧縮率に応じた量子化値を"Ｑ２"と判定したことを示している。更に、図６の例は、量子化値マップ生成部３５０が、グラフ６１０＿ｍに基づいて、限界圧縮率に応じた量子化値を"Ｑ３"と判定したことを示している。
【0067】
図６の例は、画像データ５１０内のブロック１～ブロックｍに、それぞれ、限界圧縮率に応じた量子化値が設定されることで、暫定量子化値マップが生成される様子を示している。
【0068】
＜ビットレート制御部の機能構成＞
次に、画像処理装置１２０のビットレート制御部１２３の機能構成について説明する。図７は、画像処理装置のビットレート制御部の機能構成の一例を示す第１の図である。図７に示すように、ビットレート制御部１２３は、情報量予測部７１０、仮想バッファ位置算出部７２０、オーバフロー判定部７３０、割当情報量算出部７４０、量子化値マップ決定部７５０を有する。
次に、画像処理装置１２０のビットレート制御部１２３の機能構成について説明する。図７は、画像処理装置のビットレート制御部の機能構成の一例を示す第１の図である。図７に示すように、ビットレート制御部１２３は、情報量予測部７１０、仮想バッファ位置算出部７２０、オーバフロー判定部７３０、割当情報量算出部７４０、量子化値マップ決定部７５０を有する。
【0069】
このうち、情報量予測部７１０は、処理対象のフレームの画像データに対して、暫定量子化値マップを用いて符号化処理を行った場合の符号化データの情報量（予測情報量）を特定する。
【0070】
なお、図７に示すように、情報量予測部７１０は、予め統計情報量７６０（それぞれの量子化値を用いて符号化処理を行った場合の符号化データの情報量の統計値を、予測情報量として格納したテーブル）を有している。このため、情報量予測部７１０は、統計情報量７６０を参照することで、予測情報量を特定する。
【0071】
また、情報量予測部７１０は、解析部１２１より通知された、暫定量子化値マップ及び対象領域情報を、量子化値マップ決定部７５０に通知する。なお、図７において、符号７７０は、暫定量子化値マップ及び対象領域情報の具体例を表している。符号７７０において、各ブロック内の数値は、限界圧縮率に応じた量子化値を表している。また、符号７７０において、太線は、認識対象の領域に対応する位置のブロックの外縁（対象領域情報の一例）を表している。なお、符号７７０の例では、説明の便宜上、認識対象の一例である"人物"を重ねて表示している。
【0072】
仮想バッファ位置算出部７２０は、符号化部１２２より取得した実績情報量に基づいて、仮想バッファ位置を算出する。また、仮想バッファ位置算出部７２０は、仮想バッファ位置と、予測情報量とに基づいて、処理対象のフレームの画像データに対して、暫定量子化値マップを用いて符号化処理を行った場合の、仮想バッファ位置の変化を予測する。
【0073】
オーバフロー判定部７３０は判定部の一例であり、仮想バッファ位置算出部７２０により予測された、変化後の仮想バッファ位置の予測結果に基づいて、オーバフローが発生するか否かを判定する。また、オーバフロー判定部７３０は、オーバフローが発生しないと判定した場合には、判定結果を、量子化値マップ決定部７５０に通知する。一方、オーバフロー判定部７３０は、オーバフローが発生すると判定した場合には、判定結果を、割当情報量算出部７４０に通知する。
【0074】
割当情報量算出部７４０は、オーバフロー判定部７３０より、オーバフローが発生するとの判定結果が通知された場合、仮想バッファ位置算出部７２０により算出された仮想バッファ位置に基づいて、割り当て可能な符号化データの情報量を算出する。また、割当情報量算出部７４０は、割り当て可能な符号化データの情報量を、量子化値マップ決定部７５０に通知する。
【0075】
量子化値マップ決定部７５０は変更部の一例であり、決定量子化値マップを生成する。具体的には、量子化値マップ決定部７５０は、オーバフロー判定部７３０より、オーバフローが発生しないとの判定結果が通知された場合には、情報量予測部７１０より通知された暫定量子化値マップを、決定量子化値マップとして、符号化部１２２に通知する。
【0076】
一方、量子化値マップ決定部７５０は、割当情報量算出部７４０より、割り当て可能な符号化データの情報量が通知された場合には、「認識対象情報」を参照する。なお、認識対象情報には、仮想バッファにおいてオーバフローが発生する可能性が生じた場合に、優先的に認識されるべき認識対象が予め指定されているものとする。また、認識対象情報において、優先的に認識されるべき認識対象の指定方法は任意であり、例えば、認識対象の属性、サイズ、位置等により指定されているものとする。
【0077】
そして、量子化値マップ決定部７５０では、画像データに含まれる複数の認識対象（具体的には、情報量予測部７１０から通知された対象領域情報に含まれる複数の認識対象）のうち、認識対象情報により指定された認識対象以外の認識対象を特定する。また、量子化値マップ決定部７５０は、情報量予測部７１０から通知された暫定量子化値マップのうち、特定した認識対象の領域に対応する位置のブロックの量子化値を限界圧縮率に応じた量子化値よりも高い量子化値に変更する。
【0078】
このとき、量子化値マップ決定部７５０では、割当情報量算出部７４０より通知された、割り当て可能な符号化データの情報量に基づいて、量子化値の変更幅を決定する。更に、量子化値マップ決定部７５０では、量子化値を変更した変更後の暫定量子化値マップを、決定量子化値マップとして、符号化部１２２に通知する。
【0079】
なお、図７において、符号７８０は、量子化値を変更した変更後の暫定量子化値マップの一例を示している。符号７８０の例は、認識対象７８１～７８３のうち、認識対象情報において指定された認識対象７８１以外の認識対象７８２、７８３の領域に対応する位置のブロックの量子化値を、限界圧縮率に応じた量子化値よりも高い量子化値に変更したことを示している。
【0080】
＜画像処理の流れ＞
次に、画像処理装置１２０による画像処理の流れについて説明する。図８は、画像処理装置による画像処理の流れを示す第１のフローチャートである。
次に、画像処理装置１２０による画像処理の流れについて説明する。図８は、画像処理装置による画像処理の流れを示す第１のフローチャートである。
【0081】
ステップＳ８０１において、解析部１２１は、量子化値を初期化して、デフォルトの量子化値マップを生成する。
【0082】
ステップＳ８０２において、解析部１２１は、画像データまたは符号化データを取得する。また、解析部１２１は、符号化データを取得した場合にあっては、符号化データを復号し、復号データを生成する。
【0083】
ステップＳ８０３において、解析部１２１は、画像データまたは復号データに対して認識処理を行い、認識結果を出力するとともに対象領域情報を算出する。また、解析部１２１は、画像データに対して認識処理が行われることで出力された認識結果と、復号データに対して認識処理が行われることで出力された認識結果との間の誤差を算出する。
【0084】
ステップＳ８０４において、解析部１２１は、算出した誤差を逆伝播させることで重要特徴マップを生成する。
【0085】
ステップＳ８０５において、解析部１２１は、生成した重要特徴マップをブロック単位で集計し、集計結果格納部３７０に格納する。
【0086】
ステップＳ８０６において、解析部１２１は、符号化部１２２に設定可能な所定数の量子化値全てについて解析を行ったか否かを判定する。ステップＳ８０６において、解析を行っていない量子化値があると判定した場合には（ステップＳ８０６においてＮＯの場合には）、ステップＳ８０７に進む。
【0087】
ステップＳ８０７において、解析部１２１は、量子化値を上げて、量子化値マップを変更する。また、符号化部１２２は、変更された量子化値マップを用いて、画像データに対して符号化処理を行い、符号化データを生成する。その後、ステップＳ８０２に戻る。
【0088】
一方、ステップＳ８０６において、全ての量子化値について解析を行ったと判定した場合には（ステップＳ８０６においてＹＥＳの場合には）、ステップＳ８０８に進む。
【0089】
ステップＳ８０８において、解析部１２１は、ブロックごとに、限界圧縮率に応じた量子化値を探索し、暫定量子化値マップを生成する。解析部１２１は、生成した暫定量子化値マップを、対象領域情報とともに、ビットレート制御部１２３に通知する。
【0090】
ステップＳ８０９において、ビットレート制御部１２３は、実績情報量を取得し、仮想バッファ位置を算出する。
【0091】
ステップＳ８１０において、ビットレート制御部１２３は、処理対象のフレームの画像データに対して、暫定量子化値マップを用いて符号化処理を行った場合に、オーバフローが発生するか否かを判定する。
【0092】
ステップＳ８１０においてオーバフローが発生すると判定した場合には（ステップＳ８１０においてＹＥＳの場合には）、ステップＳ８１１に進む。ステップＳ８１１において、ビットレート制御部１２３は、割当情報量を算出する。
【0093】
ステップＳ８１２において、ビットレート制御部１２３は、認識対象情報を参照し、対象領域情報が示す認識対象のうち、認識対象情報により予め指定された認識対象以外の認識対象を特定する。また、ビットレート制御部１２３は、暫定量子化値マップにおいて、特定した認識対象の領域に対応する位置のブロックの量子化値を、割り当て情報量に基づく変更幅分、変更し、決定量子化値マップを生成する。更に、ビットレート制御部１２３は、生成した決定量子化値マップを、符号化部１２２に通知する。
【0094】
一方、ステップＳ８１０においてオーバフローが発生しないと判定した場合には（ステップＳ８１０においてＮＯの場合には）、ステップＳ８１３に進む。
【0095】
ステップＳ８１３において、ビットレート制御部１２３は、暫定量子化値マップを決定量子化値マップとして、符号化部１２２に通知する。
【0096】
ステップＳ８１４において、符号化部１２２は、通知された決定量子化値マップを用いて、処理対象のフレームの画像データに対して符号化処理を行い、符号化データを生成する。
【0097】
ステップＳ８１５において、符号化部１２２は、生成した符号化データをサーバ装置１３０に伝送する。
【0098】
ステップＳ８１６において、解析部１２１は、画像処理を終了するか否かを判定する。ステップＳ８１６において、画像処理を終了しないと判定した場合には（ステップＳ８１６においてＮＯの場合には）、ステップＳ８０１に戻る。この場合、解析部１２１は、動画像データにおける次のフレームの画像データを取得する前に、量子化値を初期化して、デフォルトの量子化値マップを生成する。
【0099】
一方、ステップＳ８１６において、画像処理を終了すると判定した場合には（ステップＳ８１６においてＹＥＳの場合には）、画像処理を終了する。
【0100】
以上の説明から明らかなように、第１の実施形態に係る画像処理装置１２０は、動画像データの処理対象のフレームの画像データに対して符号化処理を行う際、仮想バッファにおいてオーバフローが発生するか否かを判定する。また、第１の実施形態に係る画像処理装置１２０は、オーバフローが発生すると判定された場合に、認識対象情報を参照する。更に、第１の実施形態に係る画像処理装置１２０は、画像データに含まれる認識対象のうち、認識対象情報により予め指定された認識対象以外の認識対象の領域に対応する位置のブロックの量子化値を、限界圧縮率に応じた量子化値よりも高い量子化値に変更する。
【0101】
このように、第１の実施形態では、仮想バッファにてオーバフローが発生すると判定された場合、指定された認識対象以外の認識対象の領域については、限界圧縮率を超えた圧縮率で符号化処理を行う。
【0102】
これにより、第１の実施形態によれば、仮想バッファでのオーバフローを回避しつつ、予め指定された認識対象については、認識精度を維持することができる。つまり、第１の実施形態によれば、ＡＩによる認識が可能な限界圧縮率を超えた圧縮率で符号化する場合において、認識精度の低下を抑えることができる。
【0103】
［第２の実施形態］
上記第１の実施形態では、暫定量子化値マップを生成する際、認識結果の誤差を逆伝播させることで、重要特徴マップを生成し、生成した重要特徴マップをブロック単位で集計することで、各ブロックについて、限界圧縮率に応じた量子化値を判定した。
上記第１の実施形態では、暫定量子化値マップを生成する際、認識結果の誤差を逆伝播させることで、重要特徴マップを生成し、生成した重要特徴マップをブロック単位で集計することで、各ブロックについて、限界圧縮率に応じた量子化値を判定した。
【0104】
これに対して、第２の実施形態では、暫定量子化値マップを生成する際、認識処理において隠れ層のレイヤから出力される特徴マップの各領域の信号強度を、ブロック単位で集計することで、各ブロックについて、限界圧縮率に応じた量子化値を判定する。
【0105】
以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【0106】
＜画像処理装置の解析部の機能構成＞
はじめに、第２の実施形態に係る画像処理装置１２０の解析部の機能構成について説明する。図９は、画像処理装置の解析部の機能構成の一例を示す第２の図である。図９に示すように、解析部９００は、入力部／復号部３１０、ＣＮＮ部９１０、信号強度算出部９２０、量子化値マップ生成部９３０、出力部３６０を有する。
はじめに、第２の実施形態に係る画像処理装置１２０の解析部の機能構成について説明する。図９は、画像処理装置の解析部の機能構成の一例を示す第２の図である。図９に示すように、解析部９００は、入力部／復号部３１０、ＣＮＮ部９１０、信号強度算出部９２０、量子化値マップ生成部９３０、出力部３６０を有する。
【0107】
このうち、入力部／復号部３１０、出力部３６０は、図３の入力部／復号部３１０、出力部３６０と同様の機能を有するため、ここでは、説明を省略する。
【0108】
ＣＮＮ部９１０は、認識処理を行う学習済みモデルを有する。ＣＮＮ部９１０は、画像データまたは復号データを入力することで、学習済みモデルを実行させる。また、ＣＮＮ部９１０は、画像データを入力することで、学習済みモデルより出力される認識結果を、量子化値マップ生成部９３０に通知する。更に、ＣＮＮ部９１０は、学習済みモデルの実行時に隠れ層のレイヤから、特徴マップを出力する。
【0109】
信号強度算出部９２０は、ＣＮＮ部９１０より出力される特徴マップを取得し、取得した特徴マップの信号強度を、ブロック単位で集計することで、画像データの各ブロックの認識結果への影響度を算出し、信号強度格納部９４０に格納する。なお、信号強度算出部９２０は、特徴マップの信号強度をブロック単位で集計するにあたり、指定された２つの特徴マップについて誤差を算出し、算出した誤差を逆伝播させることで、学習済みモデルの入力層より、誤差逆伝播結果を取得する。そして、信号強度算出部９２０は、取得した"誤差逆伝播結果"と"特徴マップ間の誤差"との対応関係から、特徴マップの各領域と、画像データの各ブロックとの位置関係を特定するブロックマップを生成する。
【0110】
信号強度算出部９２０では、生成したブロックマップを用いて、特徴マップの信号強度をブロック単位で集計することで、画像データの各ブロックの認識結果への影響度を算出する。
【0111】
量子化値マップ生成部９３０は、ブロックごとに量子化値を順次変更しながら、量子化値マップを生成し、出力部３６０に通知する。また、量子化値マップ生成部９３０は、信号強度格納部９４０に格納された信号強度の集計結果に基づいて、ブロックごとに、限界圧縮率に応じた量子化値を探索することで、暫定量子化値マップを生成する。また、量子化値マップ生成部９３０は、生成した暫定量子化値マップを、出力部３６０に通知する。
【0112】
更に、量子化値マップ生成部９３０は、ＣＮＮ部９１０より取得した認識結果に基づいて、対象領域情報を生成し、出力部３６０に通知する。
【0113】
＜ＣＮＮ部及び信号強度算出部の処理の具体例＞
次に、解析部９００を構成する各部のうち、ＣＮＮ部９１０及び信号強度算出部９２０の処理の具体例について説明する。図１０は、ＣＮＮ部及び信号強度算出部の処理の具体例を示す図である。
次に、解析部９００を構成する各部のうち、ＣＮＮ部９１０及び信号強度算出部９２０の処理の具体例について説明する。図１０は、ＣＮＮ部及び信号強度算出部の処理の具体例を示す図である。
【0114】
図１０に示すように、ＣＮＮ部９１０は、学習済みモデルとして、入力層、隠れ層、出力層を有する。ＣＮＮ部９１０の入力層のレイヤ１００１に画像データが入力されると、画像データは各レイヤにて順伝播方向に処理され、隠れ層のレイヤ１００２より、特徴マップ１０００（第１の特徴マップの一例）が出力される（実線太矢印参照）。なお、図１０の例は、認識対象の一例である"人物"が３人含まれる画像データ１０５０が入力された様子を示している。
【0115】
同様に、入力層のレイヤ１００１に復号データ１が入力されると、復号データ１は各レイヤにて順伝播方向に処理され、隠れ層のレイヤ１００２より、特徴マップ１０１０（第２の特徴マップの一例）が出力される（実線太矢印参照）。なお、復号データ１とは、画像データ１０５０の各ブロックに対して、例えば、量子化値Ｑ１の集合である量子化値マップを用いて符号化処理が行われた後、符号化データが、入力部／復号部３１０により復号されることで得られるデータを指す。
【0116】
同様に、入力層のレイヤ１００１に復号データ２が入力されると、復号データ２は各レイヤにて順伝播方向に処理され、隠れ層のレイヤ１００２より、特徴マップ１０２０（第２の特徴マップの他の一例）が出力される（実線太矢印参照）。なお、復号データ２とは、画像データ１０５０の各ブロックに対して、例えば、量子化値Ｑ２の集合である量子化値マップを用いて符号化処理が行われた後、符号化データが、入力部／復号部３１０により復号されることで得られるデータを指す。
【0117】
以降、図１０においては記載を省略しているが、復号データ３、復号データ４、・・・等についても同様に処理され、特徴マップが出力される。
【0118】
ここで、信号強度算出部９２０では、特徴マップ１０００と特徴マップ１０１０との誤差を算出し、算出した誤差を、隠れ層のレイヤ１００２から逆伝播させる。これにより、ＣＮＮ部９１０の入力層のレイヤ１００１からは、誤差逆伝播結果が出力される。
【0119】
信号強度算出部９２０では、
・入力層のレイヤ１００１から出力された誤差逆伝播結果と、
・特徴マップ１０００と特徴マップ１０１０との間の誤差と
の対応関係から、隠れ層のレイヤ１００２から出力される特徴マップ（特徴マップ１０００、１０１０、１０２０、・・・）の各領域の信号強度が、画像データの各ブロックのいずれのブロックに対応するかの位置関係を特定するブロックマップ１０３０を生成する。
・入力層のレイヤ１００１から出力された誤差逆伝播結果と、
・特徴マップ１０００と特徴マップ１０１０との間の誤差と
の対応関係から、隠れ層のレイヤ１００２から出力される特徴マップ（特徴マップ１０００、１０１０、１０２０、・・・）の各領域の信号強度が、画像データの各ブロックのいずれのブロックに対応するかの位置関係を特定するブロックマップ１０３０を生成する。
【0120】
また、信号強度算出部９２０では、隠れ層のレイヤ１００２から出力される各特徴マップの信号強度を、ブロックマップ１０３０に基づいて、ブロック単位で集計し、ブロックごとの信号強度の変化を示すグラフ１０４０を生成する。グラフ１０４０は、横軸に量子化値、縦軸に信号強度をとったグラフであり、信号強度が大きいほど、認識結果への影響度が高いことを示す。信号強度算出部９２０では、生成したグラフ１０４０を、信号強度格納部９４０に格納する。
【0121】
これにより、量子化値マップ生成部９３０では、例えば、
・信号強度の大きさが所定の閾値を下回った場合、あるいは、
・信号強度の変化量が所定の閾値を超えた場合、あるいは、
・信号強度の傾きが所定の閾値を超えた場合、あるいは、
・信号強度の傾きの変化が所定の閾値を超えた場合、
のいずれかの条件を満たす場合の量子化値を、各ブロックの限界圧縮率に応じた量子化値と判定する。
・信号強度の大きさが所定の閾値を下回った場合、あるいは、
・信号強度の変化量が所定の閾値を超えた場合、あるいは、
・信号強度の傾きが所定の閾値を超えた場合、あるいは、
・信号強度の傾きの変化が所定の閾値を超えた場合、
のいずれかの条件を満たす場合の量子化値を、各ブロックの限界圧縮率に応じた量子化値と判定する。
【0122】
＜画像処理の流れ＞
次に、画像処理装置１２０による画像処理の流れについて説明する。図１１は、画像処理装置による画像処理の流れを示す第２のフローチャートである。図８を用いて説明した第１のフローチャートとの相違点は、ステップＳ１１０１～Ｓ１１０３である。
次に、画像処理装置１２０による画像処理の流れについて説明する。図１１は、画像処理装置による画像処理の流れを示す第２のフローチャートである。図８を用いて説明した第１のフローチャートとの相違点は、ステップＳ１１０１～Ｓ１１０３である。
【0123】
ステップＳ１１０１において、解析部９００は、画像データまたは復号データを、所定の処理範囲まで、順伝播方向に処理し、隠れ層のレイヤより特徴マップを出力する。
【0124】
ステップＳ１１０２において、解析部９００は、処理中の画像データまたは復号データが誤差逆伝播する対象（例えば、画像データ、復号データ１）であった場合には、特徴マップの誤差を算出し、算出した誤差を入力層まで逆伝播させる。また、解析部９００は、入力層より出力される誤差逆伝播結果を用いて、ブロックマップを生成する。
【0125】
ステップＳ１１０３において、解析部９００は、生成したブロックマップを用いて、ステップＳ１１０１において出力された特徴マップの各領域の信号強度を、ブロック単位で集計する。
【0126】
以上の説明から明らかなように、第２の実施形態に係る画像処理装置１２０は、隠れ層のレイヤより出力される特徴マップの各領域の信号強度を、ブロック単位で集計することで、各ブロックについて、限界圧縮率に応じた量子化値を判定する。
【0127】
これにより、第２の実施形態によれば、上記第１の実施形態と同様の効果を享受することができる。
【0128】
［第３の実施形態］
上記第１及び第２の実施形態では、暫定量子化値マップを生成した後に、仮想バッファにてオーバフローが発生するか否かを判定し、オーバフローが発生すると判定した場合に、暫定量子化値マップの量子化値を変更するケースについて説明した。
上記第１及び第２の実施形態では、暫定量子化値マップを生成した後に、仮想バッファにてオーバフローが発生するか否かを判定し、オーバフローが発生すると判定した場合に、暫定量子化値マップの量子化値を変更するケースについて説明した。
【0129】
これに対して、第３の実施形態では、はじめに、仮想バッファにてオーバフローが発生するか否かを判定し、オーバフローが発生すると判定した場合に、重要特徴マップを修正することで、量子化値を変更するケースについて説明する。以下、第３の実施形態について上記第１及び第２の実施形態との相違点を中心に説明する。
【0130】
＜画像処理システムのシステム構成＞
はじめに、第３の実施形態に係る画像処理装置を備える画像処理システム全体のシステム構成について説明する。図１２は、画像処理システムのシステム構成の一例を示す第２の図である。図１の画像処理システム１００との相違点は、図１２の画像処理システム１００の場合、画像処理装置１２０が実現する解析部１２１０、ビットレート制御部１２２０の機能が、図１の解析部１２１、ビットレート制御部１２３の機能とは異なる点である。そこで、以下では、解析部１２１０とビットレート制御部１２２０の機能について説明する。
はじめに、第３の実施形態に係る画像処理装置を備える画像処理システム全体のシステム構成について説明する。図１２は、画像処理システムのシステム構成の一例を示す第２の図である。図１の画像処理システム１００との相違点は、図１２の画像処理システム１００の場合、画像処理装置１２０が実現する解析部１２１０、ビットレート制御部１２２０の機能が、図１の解析部１２１、ビットレート制御部１２３の機能とは異なる点である。そこで、以下では、解析部１２１０とビットレート制御部１２２０の機能について説明する。
【0131】
解析部１２１０は変更部の他の一例であり、認識処理を行う学習済みモデルを有する。解析部１２１０は、動画像データの各フレームの画像データまたは復号データを、学習済みモデルに入力することで認識処理を行う。
【0132】
また、解析部１２１０は、認識処理の際に、例えば、誤差逆伝播法を用いて学習済みモデルの動作解析を行うことで、重要特徴マップを生成する。その際、解析部１２１０では、ビットレート制御部１２２０から、オーバフロー予測情報が通知されているか否かを判定する。
【0133】
オーバフロー予測情報が通知されていないと判定した場合、解析部１２１０では、生成した重要特徴マップについて、ブロック単位で影響度を集計する。
【0134】
一方、オーバフロー予測情報が通知されていると判定した場合、解析部１２１０では、認識対象情報を参照し、画像データに含まれる認識対象のうち、認識対象情報により予め指定された認識対象以外の認識対象を特定する。また、解析部１２１０では、重要特徴マップに対して、特定した認識対象の領域に対応する位置の影響度を無効化する修正を行う。そして、解析部１２１０では、影響度を無効化する修正を行った修正後の重要特徴マップについて、ブロック単位で影響度を集計する。
【0135】
また、解析部１２１０は、符号化部１２２に対して、所定数の異なる量子化値での符号化処理を指示し、それぞれの量子化値で画像データに対して符号化処理が行われた場合の符号化データを復号した各復号データについて、上記と同様の処理を繰り返す。
【0136】
つまり、解析部１２１０では、量子化値マップを変更することで、学習済みモデルに入力する画像データの画質を変更しながら、変更後の各画像データについて、各ブロックの認識結果への影響度を集計する。その際、オーバフロー予測情報が通知されているか否かを判定し、通知されている場合には影響度を無効化する修正を行う。
【0137】
また、解析部１２１０は、量子化値マップを変更したことに伴う集計値の変化に基づいて、ブロックごとに、限界圧縮率に応じた量子化値を探索することで、決定量子化値マップを生成する。更に、解析部１２１は、生成した決定量子化値マップを、符号化部１２２に通知する。
【0138】
ビットレート制御部１２２０は判定部の他の一例であり、実績情報量に基づいて、仮想バッファ位置を算出する。また、ビットレート制御部１２２０は、算出した仮想バッファ位置が所定の閾値を超えているか否かを判定し、超えていると判定した場合、オーバフロー予測情報を、解析部１２１０に通知する。
【0139】
＜画像処理装置の解析部の機能構成＞
次に、画像処理装置１２０の解析部１２１０の機能構成について説明する。図１３は、画像処理装置の解析部の機能構成の一例を示す第３の図である。図１３に示すように、解析部１２１０は、入力部／復号部３１０、ＣＮＮ部３２０、重要特徴マップ生成部１３１０、集計部３４０、量子化値マップ生成部１３２０、出力部１３３０を有する。
次に、画像処理装置１２０の解析部１２１０の機能構成について説明する。図１３は、画像処理装置の解析部の機能構成の一例を示す第３の図である。図１３に示すように、解析部１２１０は、入力部／復号部３１０、ＣＮＮ部３２０、重要特徴マップ生成部１３１０、集計部３４０、量子化値マップ生成部１３２０、出力部１３３０を有する。
【0140】
このうち、入力部／復号部３１０、ＣＮＮ部３２０、集計部３４０は、図３の入力部／復号部３１０、ＣＮＮ部３２０、集計部３４０と同様の機能を有するため、ここでは、説明を省略する。
【0141】
重要特徴マップ生成部１３１０は、ＣＮＮ部３２０の学習済みモデルより出力される認識結果を取得する。また、重要特徴マップ生成部１３１０は、取得した認識結果を用いて誤差逆伝播法による重要特徴マップを生成する。
【0142】
具体的には、重要特徴マップ生成部３３０は、画像データが入力されたことで取得した認識結果と、復号データが入力されたことで取得した認識結果との誤差を算出する。また、重要特徴マップ生成部１３１０は、算出した誤差を逆伝播させることで、学習済みモデルの入力層より、誤差逆伝播結果を取得する。更に、重要特徴マップ生成部３３０は、取得した誤差逆伝播結果に基づく重要特徴マップを生成する。
【0143】
このとき、重要特徴マップ生成部１３１０では、ビットレート制御部１２２０より、オーバフロー予測情報が通知されているか否かを判定する。オーバフロー予測情報が通知されていないと判定した場合、重要特徴マップ生成部１３１０は、生成した重要特徴マップを集計部３４０に通知する。
【0144】
一方、ビットレート制御部１２２０よりオーバフロー予測情報が通知されていると判定した場合、重要特徴マップ生成部１３１０は、認識対象情報を参照する。そして、重要特徴マップ生成部１３１０は、生成した重要特徴マップのうち、認識対象情報により指定された認識対象以外の認識対象の領域に対応する位置の影響度を無効化するよう、重要特徴マップの修正を行う。更に、重要特徴マップ生成部１３１０は、影響度を無効化する修正を行った修正後の重要特徴マップを、集計部３４０に通知する。
【0145】
このように、オーバフロー予測情報が通知されていると判定した場合、重要特徴マップ生成部１３１０では、重要特徴マップにおいて、予め指定された認識対象以外の認識対象の領域に対応する位置の影響度を無効化する。これにより、当該領域については、結果的に、無効化しないで影響度を集計した場合の集計結果に基づいて判定されるであろう圧縮率（限界圧縮率）を超えた圧縮率で、符号化処理が行われることになる。この結果、仮想バッファでのオーバフローを回避しつつ、予め指定された認識対象については、認識精度を維持することができる。つまり、ＡＩによる認識が可能な限界圧縮率を超えた圧縮率で符号化する場合において、認識精度の低下を抑えることができる。
【0146】
量子化値マップ生成部１３２０は、ブロックごとに量子化値を順次変更しながら、量子化値マップを生成し、出力部１３３０に通知する。また、量子化値マップ生成部１３２０は、集計結果格納部３７０に格納された集計結果に基づいて、ブロックごとに、限界圧縮率に応じた量子化値を探索することで、決定量子化値マップを生成し、出力部１３３０に通知する。
【0147】
出力部１３３０は、量子化値マップ生成部１３２０により生成された量子化値マップを、符号化部１２２に通知する。また、出力部１３３０は、量子化値マップ生成部１３２０により生成された決定量子化値マップを、符号化部１２２に通知する。更に、出力部１３３０は、動画像データの対応するフレームの画像データを、符号化部１２２に通知する。
【0148】
なお、図１３において、符号１３４０は、オーバフロー予測情報が通知されていると判定した場合の決定量子化値マップの一例を示している。符号１３４０の例では、認識対象１３４１～１３４３のうち、認識対象情報において指定された認識対象１３４１以外の認識対象１３４２、１３４３の領域に対応する位置のブロックの量子化値が最大になっている。
【0149】
＜ビットレート制御部の機能構成＞
次に、画像処理装置１２０のビットレート制御部１２２０の機能構成について説明する。図１４は、画像処理装置のビットレート制御部の機能構成の一例を示す第２の図である。図１４に示すように、ビットレート制御部１２２０は、仮想バッファ位置算出部１４０１、オーバフロー判定部１４０２を有する。
次に、画像処理装置１２０のビットレート制御部１２２０の機能構成について説明する。図１４は、画像処理装置のビットレート制御部の機能構成の一例を示す第２の図である。図１４に示すように、ビットレート制御部１２２０は、仮想バッファ位置算出部１４０１、オーバフロー判定部１４０２を有する。
【0150】
仮想バッファ位置算出部１４０１は、符号化部１２２より取得した実績情報量に基づいて、仮想バッファ位置を算出する。また、仮想バッファ位置算出部１４０１は、算出した仮想バッファ位置を、オーバフロー判定部１４０２に通知する。
【0151】
オーバフロー判定部１４０２は、仮想バッファ位置算出部１４０１より通知された仮想バッファ位置が所定の閾値以上であるか否かを判定する。オーバフロー判定部１４０２は、仮想バッファ位置が所定の閾値未満であると判定した場合には、オーバフローが発生する可能性が低いと判定する。一方、オーバフロー判定部１４０２は、仮想バッファ位置が所定の閾値以上であると判定した場合には、オーバフローが発生する可能性が高いと判定し、オーバフロー予測情報を、解析部１２１０に通知する。
【0152】
＜画像処理の流れ＞
次に、画像処理装置１２０による画像処理の流れについて説明する。図１５は、画像処理装置による画像処理の流れを示す第３のフローチャートである。
次に、画像処理装置１２０による画像処理の流れについて説明する。図１５は、画像処理装置による画像処理の流れを示す第３のフローチャートである。
【0153】
ステップＳ１５０１において、解析部１２１０は、量子化値を初期化して、デフォルトの量子化値マップを生成する。
【0154】
ステップＳ１５０２において、解析部１２１０は、画像データまたは符号化データを取得する。また、解析部１２１０は、符号化データを取得した場合にあっては、符号化データを復号し、復号データを生成する。
【0155】
ステップＳ１５０３において、解析部１２１０は、画像データまたは復号データに対して認識処理を行い、認識結果を出力する。また、解析部１２１０は、画像データに対して認識処理が行われることで出力された認識結果と、復号データに対して認識処理が行われることで出力された認識結果との間の誤差を算出する。
【0156】
ステップＳ１５０４において、解析部１２１０は、算出した誤差を逆伝播させることで重要特徴マップを生成する。
【0157】
ステップＳ１５０５において、解析部１２１０は、ビットレート制御部１２２０より、オーバフロー予測情報が通知されているか否かを判定する。ステップＳ１５０５において、オーバフロー予測情報が通知されていると判定した場合には（ステップＳ１５０５においてＹＥＳの場合には）、ステップＳ１５０６に進む。
【0158】
ステップＳ１５０６において、解析部１２１０は、認識対象情報を参照し、画像データに含まれる認識対象のうち、認識対象情報により予め指定された認識対象以外の認識対象を特定する。また、解析部１２１０は、重要特徴マップにおいて、特定した認識対象の領域に対応する位置の影響度を無効化する修正を行い、修正後の重要特徴マップを生成した後、ステップＳ１５０７に進む。
【0159】
一方、ステップＳ１５０５において、オーバフロー予測情報が通知されていないと判定した場合には（ステップＳ１５０５においてＮＯの場合には）、直接、ステップＳ１５０７に進む。
【0160】
ステップＳ１５０７において、解析部１２１０は、ステップＳ１５０４において生成した重要特徴マップ、または、ステップＳ１５０６において修正した修正後の重要特徴マップのいずれかについて、ブロック単位で影響度を集計する。
【0161】
ステップＳ１５０８において、解析部１２１０は、符号化部１２２に設定可能な所定数量子化値全てについて解析を行ったか否かを判定する。ステップＳ１５０８において、解析を行っていない量子化値があると判定した場合には（ステップＳ１５０８においてＮＯの場合には）、ステップＳ１５０９に進む。
【0162】
ステップＳ１５０９において、解析部１２１０は、量子化値を上げて、量子化値マップを変更する。また、符号化部１２２は、変更された量子化値マップを用いて、画像データに対して符号化処理を行い、符号化データを生成する。その後、ステップＳ１５０２に戻る。
【0163】
一方、ステップＳ１５０８において、全ての量子化値について解析を行ったと判定した場合には（ステップＳ１５０８においてＹＥＳの場合には）、ステップＳ１５１０に進む。
【0164】
ステップＳ１５１０において、解析部１２１０は、ブロックごとに、限界圧縮率に応じた量子化値を探索し、決定量子化値マップを生成する。解析部１２１０は、生成した決定量子化値マップを、符号化部１２２に通知する。
【0165】
ステップＳ１５１１において、符号化部１２２は、通知された決定量子化値マップを用いて、処理対象のフレームの画像データに対して符号化処理を行い、符号化データを生成する。
【0166】
ステップＳ１５１２において、符号化部１２２は、生成した符号化データをサーバ装置１３０に伝送する。
【0167】
ステップＳ１５１３において、解析部１２１０は、画像処理を終了するか否かを判定する。ステップＳ１５１３において、画像処理を終了しないと判定した場合には（ステップＳ１５１３においてＮＯの場合には）、ステップＳ１５０１に戻る。この場合、解析部１２１０は、動画像データにおける次のフレームの画像データを取得する前に、量子化値を初期化して、デフォルトの量子化値マップを生成する。
【0168】
一方、ステップＳ１５１３において、画像処理を終了すると判定した場合には（ステップＳ１５１３においてＹＥＳの場合には）、画像処理を終了する。
【0169】
以上の説明から明らかなように、第３の実施形態に係る画像処理装置１２０は、動画像データの処理対象のフレームの画像データに対して符号化処理を行う際、仮想バッファにおいてオーバフローが発生するか否かを判定する。また、第３の実施形態に係る画像処理装置１２０は、オーバフローが発生すると判定した場合に、認識対象情報を参照する。更に、第３の実施形態に係る画像処理装置１２０は、画像データに含まれる認識対象のうち、認識対象情報により予め指定された認識対象以外の認識対象の領域に対応する位置の影響度を無効化することで、重要特徴マップを修正する。
【0170】
これにより、第３の実施形態では、仮想バッファにてオーバフローが発生すると判定された場合、指定された認識対象以外の認識対象の領域については、限界圧縮率を超えた圧縮率で符号化処理が行われることになる。
【0171】
この結果、第３の実施形態によれば、仮想バッファでのオーバフローを回避しつつ、予め指定された認識対象については、認識精度を維持することができる。つまり、第３の実施形態によれば、ＡＩによる認識が可能な限界圧縮率を超えた圧縮率で符号化する場合において、認識精度の低下を抑えることができる。
【0172】
［第４の実施形態］
上記第３の実施形態では、仮想バッファにてオーバフローが発生すると判定した場合に、重要特徴マップを修正するケースを説明した。
上記第３の実施形態では、仮想バッファにてオーバフローが発生すると判定した場合に、重要特徴マップを修正するケースを説明した。
【0173】
これに対して、第４の実施形態では、仮想バッファにてオーバフローが発生すると判定した場合に、特徴マップの各領域の信号強度についてのブロックごとの集計結果を修正するケースを説明する。
【0174】
以下、第４の実施形態について、上記第２または第３の実施形態との相違点を中心に説明する。
【0175】
＜画像処理装置の解析部の機能構成＞
はじめに、第４の実施形態に係る画像処理装置１２０の解析部１２１０の機能構成について説明する。図１６は、画像処理装置の解析部の機能構成の一例を示す第４の図である。図１６に示すように、解析部１２１０は、入力部／復号部３１０、ＣＮＮ部９１０、信号強度算出部１６１０、量子化値マップ生成部１６２０、出力部１６３０を有する。
はじめに、第４の実施形態に係る画像処理装置１２０の解析部１２１０の機能構成について説明する。図１６は、画像処理装置の解析部の機能構成の一例を示す第４の図である。図１６に示すように、解析部１２１０は、入力部／復号部３１０、ＣＮＮ部９１０、信号強度算出部１６１０、量子化値マップ生成部１６２０、出力部１６３０を有する。
【0176】
【0177】
信号強度算出部１６１０は、ＣＮＮ部９１０より出力される特徴マップを取得し、取得した特徴マップの信号強度を、ブロック単位で集計することで、画像データの各ブロックの認識結果への影響度を算出する。その際、信号強度算出部１６１０では、ビットレート制御部１２２０から、オーバフロー予測情報が通知されているか否かを判定する。
【0178】
オーバフロー予測情報が通知されていないと判定した場合、信号強度算出部１６１０では、ブロック単位で集計した信号強度を、信号強度格納部９４０に格納する。
【0179】
一方、オーバフロー予測情報が通知されていると判定した場合、信号強度算出部１６１０では、認識対象情報を参照し、画像データに含まれる認識対象のうち、認識対象情報により予め指定された認識対象以外の認識対象を特定する。また、信号強度算出部１６１０では、ブロック単位で集計した信号強度のうち、特定した認識対象の領域に対応する位置のブロックの信号強度を無効化する修正を行う。そして、信号強度算出部１６１０では、信号強度を無効化する修正を行った修正後の各ブロックの信号強度を、信号強度格納部９４０に格納する。
【0180】
量子化値マップ生成部１６２０は、ブロックごとに量子化値を順次変更しながら、量子化値マップを生成し、出力部１６３０に通知する。また、量子化値マップ生成部１６２０は、信号強度格納部９４０に格納された信号強度の集計結果に基づいて、ブロックごとに、限界圧縮率に応じた量子化値を探索することで、決定量子化値マップを生成する。また、量子化値マップ生成部１６２０は、生成した決定量子化値マップを、出力部１６３０に通知する。
【0181】
出力部１６３０は、量子化値マップ生成部１６２０により生成された量子化値マップを、符号化部１２２に通知する。また、出力部１６３０は、量子化値マップ生成部１６２０により生成された決定量子化値マップを、符号化部１２２に通知する。更に、出力部１６３０は、動画像データの対応するフレームの画像データを、符号化部１２２に通知する。
【0182】
なお、図１６において、符号１６４０は、オーバフロー予測情報が通知されていると判定した場合の決定量子化値マップの一例を示している。符号１６４０の例では、認識対象１６４１～１６４３のうち、認識対象情報において指定された認識対象１６４１以外の認識対象１６４２、１６４３の領域に対応する位置のブロックの量子化値が最大になっている。
【0183】
＜画像処理の流れ＞
次に、画像処理装置１２０による画像処理の流れについて説明する。図１７は、画像処理装置による画像処理の流れを示す第４のフローチャートである。図１５を用いて説明した第３のフローチャートとの相違点は、ステップＳ１７０１～Ｓ１７０３、Ｓ１７０４である。
次に、画像処理装置１２０による画像処理の流れについて説明する。図１７は、画像処理装置による画像処理の流れを示す第４のフローチャートである。図１５を用いて説明した第３のフローチャートとの相違点は、ステップＳ１７０１～Ｓ１７０３、Ｓ１７０４である。
【0184】
ステップＳ１７０１において、解析部１２１０は、画像データまたは復号データを、所定の処理範囲まで、順伝播方向に処理し、隠れ層のレイヤより特徴マップを出力する。
【0185】
ステップＳ１７０２において、解析部１２１０は、処理中の画像データまたは復号データが誤差逆伝播する対象（例えば、画像データ、復号データ１）であった場合には、特徴マップの誤差を算出し、算出した誤差を入力層まで逆伝播させる。また、解析部１２１０は、入力層より出力される誤差逆伝播結果を用いて、ブロックマップを生成する。
【0186】
ステップＳ１７０３において、解析部１２１０は、生成したブロックマップを用いて、ステップＳ１７０１において出力された特徴マップの各領域の信号強度を、ブロック単位で集計する。
【0187】
ステップＳ１７０４において、解析部１２１０は、認識対象情報を参照し、画像データに含まれる認識対象のうち、認識対象情報により予め指定された認識対象以外の認識対象を特定する。また、解析部１２１０は、ブロック単位で集計した信号強度のうち、特定した認識対象の領域に対応する位置のブロックの信号強度の集計結果を無効化する修正を行う。
【0188】
以上の説明から明らかなように、第４の実施形態に係る画像処理装置１２０は、仮想バッファにてオーバフローが発生すると判定した場合に、特徴マップの各領域の信号強度についてのブロックごとの集計結果を修正する。
【0189】
これにより、第４の実施形態によれば、上記第３の実施形態と同様の効果を享受することができる。
【0190】
［第５の実施形態］
上記各実施形態では、認識対象情報が固定であるとして説明した。しかしながら、認識対象情報は可変であってもよく、例えば、フレーム単位で切り替えてもよい。具体的には、複数のフレームにわたって、例えば、３つの認識対象として、第１乃至第３の認識対象が含まれていたとする。この場合、第１のフレームの画像データに対して符号化処理を行う際には、認識対象情報として、第１の認識対象を指定し、第２のフレームの画像データに対して符号化処理を行う際には、認識対象として、第２の認識対象を指定する。更に、第３のフレームの画像データに対して符号化処理を行う際には、認識対象情報として、第３の認識対象を指定する。
上記各実施形態では、認識対象情報が固定であるとして説明した。しかしながら、認識対象情報は可変であってもよく、例えば、フレーム単位で切り替えてもよい。具体的には、複数のフレームにわたって、例えば、３つの認識対象として、第１乃至第３の認識対象が含まれていたとする。この場合、第１のフレームの画像データに対して符号化処理を行う際には、認識対象情報として、第１の認識対象を指定し、第２のフレームの画像データに対して符号化処理を行う際には、認識対象として、第２の認識対象を指定する。更に、第３のフレームの画像データに対して符号化処理を行う際には、認識対象情報として、第３の認識対象を指定する。
【0191】
このように、認識対象情報において指定する認識対象を、順番に変更することで、第１乃至第３の認識対象は、それぞれ、３フレームに１回の割合で認識されることになる。この場合、例えば、第１の認識対象が認識された第１のフレームの画像データと、次に、第１の認識対象が認識される第４のフレームの画像データとを用いて、第２及び第３のフレームの画像データにおいて、第１の認識対象を補完することが可能になる。
【0192】
また、上記各実施形態では、紙面の都合上、ＣＮＮ部に含まれるレイヤの数を５個としたが、ＣＮＮ部に含まれるレイヤの数は、５個以上であってもよい。
【0193】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【0194】
１００ ：画像処理システム
１１０ ：撮像装置
１２０ ：画像処理装置
１２１ ：解析部
１２２ ：符号化部
１２３ ：ビットレート制御部
１３０ ：サーバ装置
１３１ ：復号部
３１０ ：入力部／復号部
３２０ ：ＣＮＮ部
３３０ ：重要特徴マップ生成部
３４０ ：集計部
３５０ ：量子化値マップ生成部
３６０ ：出力部
７１０ ：情報量予測部
７２０ ：仮想バッファ位置算出部
７３０ ：オーバフロー判定部
７４０ ：割当情報量算出部
７５０ ：量子化値マップ決定部
９００ ：解析部
９１０ ：ＣＮＮ部
９２０ ：信号強度算出部
９３０ ：量子化値マップ生成部
１２１０ ：解析部
１２２０ ：ビットレート制御部
１３１０ ：重要特徴マップ生成部
１３２０ ：量子化値マップ生成部
１３３０ ：出力部
１４０１ ：仮想バッファ位置算出部
１４０２ ：オーバフロー判定部
１６１０ ：信号強度算出部
１６２０ ：量子化値マップ生成部
１６３０ ：出力部
１１０ ：撮像装置
１２０ ：画像処理装置
１２１ ：解析部
１２２ ：符号化部
１２３ ：ビットレート制御部
１３０ ：サーバ装置
１３１ ：復号部
３１０ ：入力部／復号部
３２０ ：ＣＮＮ部
３３０ ：重要特徴マップ生成部
３４０ ：集計部
３５０ ：量子化値マップ生成部
３６０ ：出力部
７１０ ：情報量予測部
７２０ ：仮想バッファ位置算出部
７３０ ：オーバフロー判定部
７４０ ：割当情報量算出部
７５０ ：量子化値マップ決定部
９００ ：解析部
９１０ ：ＣＮＮ部
９２０ ：信号強度算出部
９３０ ：量子化値マップ生成部
１２１０ ：解析部
１２２０ ：ビットレート制御部
１３１０ ：重要特徴マップ生成部
１３２０ ：量子化値マップ生成部
１３３０ ：出力部
１４０１ ：仮想バッファ位置算出部
１４０２ ：オーバフロー判定部
１６１０ ：信号強度算出部
１６２０ ：量子化値マップ生成部
１６３０ ：出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】