知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-27
(45)【発行日】2024-03-06
(54)【発明の名称】画像処理システム及び画像処理プログラム
(51)【国際特許分類】
H04N 19/126 20140101AFI20240228BHJP
H04N 19/117 20140101ALI20240228BHJP
H04N 19/136 20140101ALI20240228BHJP
H04N 19/167 20140101ALI20240228BHJP
H04N 19/176 20140101ALI20240228BHJP
【ＦＩ】
H04N19/126
H04N19/117
H04N19/136
H04N19/167
H04N19/176
【請求項の数】
5
(21)【出願番号】P 2021566650
(86)(22)【出願日】2019-12-25
(86)【国際出願番号】 JP2019050895
(87)【国際公開番号】W WO2021130918
(87)【国際公開日】2021-07-01
【審査請求日】2022-06-08
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】中尾 鷹詔
(72)【発明者】
【氏名】久保田 智規
【審査官】鉢呂 健
(56)【参考文献】
【文献】特開２０１３－１８７７６９（ＪＰ，Ａ）
【文献】特開２０１０－２２００４２（ＪＰ，Ａ）
【文献】CHOI, Hyomin and BAJIC, Ivan V.，HIGH EFFICIENCY COMPRESSION FOR OBJECT DETECTION，2018 IEEE Internatilnal Conference on Acoustics, Speech and Signal Processing，米国，IEEE，2018年09月13日，pp.1792-1796，<URL: https://ieeexplore.ieee.org/document/8462653>，<DOI: 10.1109/ICASSP.2018.8462653>
【文献】SUZUKI, Satoshi et al.，IMAGE PRE-TRANSFORMATION FOR RECOGNITION-AWARE IMAGE COMPRESSION，2019 IEEE International Conference on Image Processing，米国，IEEE，2019年08月26日，pp.2686-2690，<URL: https://ieeexplore.ieee.org/document/8803275>，<DOI: 10.1109/ICIP.2019.8803275>
【文献】GALTERI, Leonardo et al.，Video Compression for Object Detection Algorithms，2018 24th International Conference on Pattern Recognition，米国，IEEE，2018年11月29日，pp.3007-3012，<URL: https://ieeexplore.ieee.org/document/8546064>，<DOI: 10.1109/ICPR.2018.8546064>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
第１の画像データを認識処理した際の、該第１の画像データの各領域の認識結果への影響度合いを算出し、第１の画像データを圧縮処理する際の処理ブロックごとに集計する算出部と、各処理ブロックの集計結果の値に応じて、第２の画像データを圧縮処理する際の各処理ブロックの量子化値を決定し、決定した量子化値のうち、対象オブジェクトに含まれる処理ブロックの量子化値を、前記第１の画像データと前記第２の画像データとの間の対象オブジェクトの位置及びサイズの変化量に応じて特定される処理ブロックに対して適用することで、決定した量子化値を修正する決定部と、
各処理ブロックの修正後の量子化値を用いて、前記第２の画像データのデータサイズを削減するための処理を実行する実行部と
を有する画像処理システム。
【請求項2】
第１の画像データを認識処理した際の、該第１の画像データの各領域の認識結果への影響度合いを算出し、第１の画像データを加工処理する際の処理ブロックごとに集計する算出部と、各処理ブロックの集計結果の値に応じて、第２の画像データを加工処理する際の各処理ブロックの加工処理の方法を決定し、決定した加工処理の方法のうち、対象オブジェクトに含まれる処理ブロックの加工処理の方法を、前記第１の画像データと前記第２の画像データとの間の対象オブジェクトの位置及びサイズの変化量に応じて特定される処理ブロックに対して適用することで、決定した加工処理の方法を修正する決定部と、
各処理ブロックの修正後の加工処理の方法を用いて、前記第２の画像データのデータサイズを削減するための処理を実行する実行部と
を有する画像処理システム。
【請求項3】
前記算出部は、ＢＰ法、ＧＢＰ法または選択的ＢＰ法のいずれかを用いて、前記画像データの各領域の認識結果への影響度合いを算出する、請求項１または２に記載の画像処理システム。
【請求項4】
第１の画像データを認識処理した際の、該第１の画像データの各領域の認識結果への影響度合いを算出し、第１の画像データを圧縮処理する際の処理ブロックごとに集計し、各処理ブロックの集計結果の値に応じて、第２の画像データを圧縮処理する際の各処理ブロックの量子化値を決定し、決定した量子化値のうち、対象オブジェクトに含まれる処理ブロックの量子化値を、前記第１の画像データと前記第２の画像データとの間の対象オブジェクトの位置及びサイズの変化量に応じて特定される処理ブロックに対して適用することで、決定した量子化値を修正し、
各処理ブロックの修正後の量子化値を用いて、前記第２の画像データのデータサイズを削減するための処理を実行する、
処理をコンピュータに実行させるための画像処理プログラム。
【請求項5】
第１の画像データを認識処理した際の、該第１の画像データの各領域の認識結果への影響度合いを算出し、第１の画像データを加工処理する際の処理ブロックごとに集計し、各処理ブロックの集計結果の値に応じて、第２の画像データを加工処理する際の各処理ブロックの加工処理の方法を決定し、決定した加工処理の方法のうち、対象オブジェクトに含まれる処理ブロックの加工処理の方法を、前記第１の画像データと前記第２の画像データとの間の対象オブジェクトの位置及びサイズの変化量に応じて特定される処理ブロックに対して適用することで、決定した加工処理の方法を修正し、
各処理ブロックの修正後の加工処理の方法を用いて、前記第２の画像データのデータサイズを削減するための処理を実行する、
処理をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理システム及び画像処理プログラムに関する。
【背景技術】
【0002】
一般に、画像データを記録または伝送する場合、圧縮処理によりデータサイズを削減することで、記録コストや伝送コストの削減を実現している。
【0003】
一方で、近年、ＡＩ（Artificial Intelligence）による画像認識処理に利用することを目的として、画像データを記録または伝送するケースが増えてきている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００９－４９９７６号公報
【文献】特開２００１－２８６９２号公報
【文献】特開２００１－３３３２８１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の圧縮処理は、推論時にＡＩが注目した特徴部分に基づいて行われているわけではない（人間の概念で把握できる形状や性質に基づいて行われている）。つまり、推論時にＡＩが真に注目した特徴部分（必ずしも人間の概念で境界分けすることができない特徴部分）を解析して行われているわけでない。
【0006】
このため、従来の圧縮処理では、データサイズを十分に削減できない場合があった。あるいは、従来の圧縮処理では、画像認識処理において重要な領域の画質が劣化し、復号した際に、十分な認識精度が得られない場合があった。
【0007】
一つの側面では、画像認識処理に適したデータサイズ削減処理を実現することを目的とする。
【課題を解決するための手段】
【0008】
一態様によれば、画像処理システムは、
第１の画像データを認識処理した際の、該第１の画像データの各領域の認識結果への影響度合いを算出し、第１の画像データを圧縮処理する際の処理ブロックごとに集計する算出部と、
各処理ブロックの集計結果の値に応じて、第２の画像データを圧縮処理する際の各処理ブロックの量子化値を決定し、決定した量子化値のうち、対象オブジェクトに含まれる処理ブロックの量子化値を、前記第１の画像データと前記第２の画像データとの間の対象オブジェクトの位置及びサイズの変化量に応じて特定される処理ブロックに対して適用することで、決定した量子化値を修正する決定部と、
各処理ブロックの修正後の量子化値を用いて、前記第２の画像データのデータサイズを削減するための処理を実行する実行部とを有する。
第１の画像データを認識処理した際の、該第１の画像データの各領域の認識結果への影響度合いを算出し、第１の画像データを圧縮処理する際の処理ブロックごとに集計する算出部と、
各処理ブロックの集計結果の値に応じて、第２の画像データを圧縮処理する際の各処理ブロックの量子化値を決定し、決定した量子化値のうち、対象オブジェクトに含まれる処理ブロックの量子化値を、前記第１の画像データと前記第２の画像データとの間の対象オブジェクトの位置及びサイズの変化量に応じて特定される処理ブロックに対して適用することで、決定した量子化値を修正する決定部と、
各処理ブロックの修正後の量子化値を用いて、前記第２の画像データのデータサイズを削減するための処理を実行する実行部とを有する。
【発明の効果】
【0009】
画像認識処理に適したデータサイズ削減処理を実現できる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0012】
［第１の実施形態］
＜画像処理システムのシステム構成＞
はじめに、第１の実施形態に係る画像処理システムのシステム構成について説明する。図１は、画像処理システムのシステム構成の一例を示す第１の図である。図１に示すように、画像処理システム１００は、撮像装置１１０、画像認識装置１２０、画像圧縮装置１３０、ストレージ装置１４０を有する。
＜画像処理システムのシステム構成＞
はじめに、第１の実施形態に係る画像処理システムのシステム構成について説明する。図１は、画像処理システムのシステム構成の一例を示す第１の図である。図１に示すように、画像処理システム１００は、撮像装置１１０、画像認識装置１２０、画像圧縮装置１３０、ストレージ装置１４０を有する。
【0013】
撮像装置１１０は、所定のフレーム周期で撮影を行い、画像データを画像認識装置１２０に送信する。
【0014】
画像認識装置１２０は、撮像装置１１０より送信される画像データについて、フレーム単位で認識処理し、認識結果をフレーム単位の画像データと対応付けて画像圧縮装置１３０に送信する。
【0015】
また、画像認識装置１２０は、画像データを認識処理した際、画像データの各領域の認識結果への影響度合いを示すマップをフレーム単位で生成し、画像圧縮装置１３０に送信する。
【0016】
画像圧縮装置１３０は、画像認識装置１２０より送信された画像データをフレーム単位で圧縮処理し、圧縮データを生成する。画像圧縮装置１３０は、画像データを圧縮処理する際、画像認識装置１２０より送信されたマップを参照し、マップに応じた圧縮レベルで画像データを圧縮処理する。また、画像圧縮装置１３０は、生成した圧縮データをストレージ装置１４０に送信する。
【0017】
ストレージ装置１４０は、画像圧縮装置１３０より送信された圧縮データを格納する。
【0018】
＜画像認識装置及び画像圧縮装置のハードウェア構成＞
次に、画像認識装置１２０及び画像圧縮装置１３０のハードウェア構成について説明する。なお、画像認識装置１２０と画像圧縮装置１３０とは、同様のハードウェア構成を有するため、ここでは、両装置の説明をまとめて図２を用いて行う。
次に、画像認識装置１２０及び画像圧縮装置１３０のハードウェア構成について説明する。なお、画像認識装置１２０と画像圧縮装置１３０とは、同様のハードウェア構成を有するため、ここでは、両装置の説明をまとめて図２を用いて行う。
【0019】
図２は、画像認識装置または画像圧縮装置のハードウェア構成の一例を示す図である。画像認識装置１２０または画像圧縮装置１３０は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、Ｉ／Ｆ（Interface）装置２０４、通信装置２０５、ドライブ装置２０６を有する。なお、画像認識装置１２０または画像圧縮装置１３０の各ハードウェアは、バス２０７を介して相互に接続されている。
【0020】
プロセッサ２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラム（例えば、後述する画像認識プログラムまたは画像圧縮プログラム等）をメモリ２０２上に読み出して実行する。
【0021】
メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する（各種機能の詳細は後述する）。
【0022】
補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種データを格納する。
【0023】
Ｉ／Ｆ装置２０４は、外部装置の一例である操作装置２１０、表示装置２２０と、画像認識装置１２０または画像圧縮装置１３０とを接続する接続デバイスである。Ｉ／Ｆ装置２０４は、画像認識装置１２０または画像圧縮装置１３０に対する操作を、操作装置２１０を介して受け付ける。また、Ｉ／Ｆ装置２０４は、画像認識装置１２０または画像圧縮装置１３０による処理の結果を出力し、表示装置２２０を介して表示する。
【0024】
通信装置２０５は、他の装置と通信するための通信デバイスである。画像認識装置１２０の場合、通信装置２０５を介して撮像装置１１０及び画像圧縮装置１３０と通信する。また、画像圧縮装置１３０の場合、通信装置２０５を介して画像認識装置１２０及びストレージ装置１４０と通信する。
【0025】
ドライブ装置２０６は記録媒体２３０をセットするためのデバイスである。ここでいう記録媒体２３０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２３０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【0026】
なお、補助記憶装置２０３にインストールされる各種プログラムは、例えば、配布された記録媒体２３０がドライブ装置２０６にセットされ、該記録媒体２３０に記録された各種プログラムがドライブ装置２０６により読み出されることでインストールされる。あるいは、補助記憶装置２０３にインストールされる各種プログラムは、通信装置２０５を介してネットワークからダウンロードされることで、インストールされてもよい。
【0027】
＜画像認識装置の機能構成＞
次に、画像認識装置１２０の機能構成について説明する。図３は、画像認識装置の機能構成の一例を示す図である。上述したように、画像認識装置１２０には、画像認識プログラムがインストールされており、当該プログラムが実行されることで、画像認識装置１２０は、入力部３１０、ＣＮＮ部３２０、マップ生成部３３０、出力部３４０として機能する。
次に、画像認識装置１２０の機能構成について説明する。図３は、画像認識装置の機能構成の一例を示す図である。上述したように、画像認識装置１２０には、画像認識プログラムがインストールされており、当該プログラムが実行されることで、画像認識装置１２０は、入力部３１０、ＣＮＮ部３２０、マップ生成部３３０、出力部３４０として機能する。
【0028】
入力部３１０は、撮像装置１１０より送信された画像データをフレーム単位で取得し、ＣＮＮ部３２０及び出力部３４０に通知する。
【0029】
ＣＮＮ部３２０は、ＣＮＮ（Convolutional Neural Network）を用いて、取得された画像データについてフレーム単位で認識処理する。また、ＣＮＮ部３２０は、認識結果を出力部３４０に通知する。
【0030】
また、ＣＮＮ部３２０は、画像データを認識処理した際に取得されるＣＮＮ部構造情報をマップ生成部３３０に通知する。
【0031】
マップ生成部３３０は算出部の一例である。マップ生成部３３０は、ＣＮＮ部３２０が画像データをフレーム単位で認識処理した際に取得されるＣＮＮ部構造情報を解析し、画像データの各領域の認識結果への影響度合いを示すマップを生成し、出力部３４０に通知する。
【0032】
出力部３４０は、入力部３１０より通知された画像データ、ＣＮＮ部３２０より通知された認識結果、マップ生成部３３０より通知されたマップを、相互に対応付けてフレーム単位で画像圧縮装置１３０に送信する。
【0033】
＜画像認識装置による処理の第１の具体例＞
次に、画像認識装置１２０による処理の第１の具体例について説明する。図４は、画像認識装置による処理の第１の具体例を示す図である。
次に、画像認識装置１２０による処理の第１の具体例について説明する。図４は、画像認識装置による処理の第１の具体例を示す図である。
【0034】
図４に示すように、撮像装置１１０から送信された画像データに含まれる複数のフレームのうち、所定フレームの画像データ４００がＣＮＮ部３２０に入力されると、画像データ４００は、ＣＮＮ部３２０によって順伝播処理される。これにより、ＣＮＮ部３２０の出力層からは、画像データ４００に含まれる対象オブジェクト４０１についての認識結果が出力される。なお、ここでは、ＣＮＮ部３２０より出力されるラベルを正解ラベルとする。
【0035】
また、図４に示すように、マップ生成部３３０は、例えば、重要特徴マップ生成部４１０と集計部４１１とを有する。重要特徴マップ生成部４１０は、ＢＰ（Back Propagation）法、ＧＢＰ（Guided Back Propagation）法または選択的ＢＰ法等を用いることで、ＣＮＮ部構造情報に基づいて"重要特徴マップ"を生成する。重要特徴マップとは、認識処理した際に反応した特徴部分（画像データの各領域の認識結果への影響度合い）を可視化したマップである。
【0036】
なお、ＢＰ法は、認識結果として正解ラベルが出力される画像データについて認識処理することで得た分類確率から各ラベルの誤差を計算し、入力層まで逆伝播して得られる勾配の大小を画像化することで、特徴部分を可視化する方法である。また、ＧＢＰ法は、勾配情報の正値のみを特徴部分として画像化することで、特徴部分を可視化する方法である。
【0037】
更に、選択的ＢＰ法は、正解ラベルの誤差のみを最大にしたうえで、ＢＰ法またはＧＢＰ法を用いて処理を行う方法である。選択的ＢＰ法の場合、可視化される特徴部分は、正解ラベルのスコアのみに影響を与える特徴部分となる。
【0038】
図４の例は、選択的ＢＰ法により重要特徴マップ４２０を生成した様子を示している。重要特徴マップ生成部４１０では、生成した重要特徴マップ４２０を、集計部４１１に通知する。
【0039】
なお、図４では、マップ生成部３３０に重要特徴マップ生成部４１０を配し、重要特徴マップ４２０を生成する場合について説明したが、マップ生成部３３０が生成するマップは、重要特徴マップ４２０に限定されない。例えば、Ｇｒａｄ－ＣＡＭ法を用いて、ヒートマップを生成してもよい。
【0040】
集計部４１１は、重要特徴マップ（あるいはヒートマップ）を用いて、画像データの各領域の認識結果への影響度合いを所定の処理ブロック単位で集計することで、処理ブロックごとの認識結果への影響度合いを示すマップ４３０を生成する。なお、処理ブロックとは、例えば、画像圧縮装置１３０において圧縮処理する際に用いられる処理ブロックを指すものとする。
【0041】
このように、第１の具体例では、ＣＮＮ部３２０が認識結果を出力する際に、画像データにおいて重要な処理ブロックを示すマップを、（人間の概念で把握できる形状や性質に基づくのではなく）ＣＮＮ部３２０による認識処理に基づいて生成する。
【0042】
＜画像認識装置による処理の第２の具体例＞
次に、画像認識装置１２０による処理の第２の具体例について説明する。図５は、画像認識装置による処理の第２の具体例を示す図である。
次に、画像認識装置１２０による処理の第２の具体例について説明する。図５は、画像認識装置による処理の第２の具体例を示す図である。
【0043】
図５に示すように、撮像装置１１０から送信された画像データに含まれる複数のフレームのうち、所定フレームの画像データ５００が入力部３１０に入力されると、画像データ５００は、所定の量子化値５０２を用いて画像圧縮部５６０によって圧縮処理される。
【0044】
圧縮処理された画像データ５００は、画像復号部５７０によって復号処理された後、ＣＮＮ部３２０に入力され、ＣＮＮ部３２０によって順伝播処理される。これにより、ＣＮＮ部３２０の出力層からは、画像データ５００に含まれる対象オブジェクト５０１についての認識結果が出力される。なお、ここでは、ＣＮＮ部３２０の出力層から、正解ラベルの認識結果として低いスコアが出力されるものとする。
【0045】
この場合、マップ生成部３３０では、正解ラベルの認識結果として高いスコアが出力されるように、画像データ５００を変更し、認識結果のスコアが最大となる画像データを用いてマップを生成する。
【0046】
具体的には、図５に示すように、マップ生成部３３０は、例えば、リファイン画像生成部５１０と、重要特徴指標マップ生成部５２０と、集計部５４０とを有する。
【0047】
更に、リファイン画像生成部５１０は、画像リファイナ部５１１、画像誤差演算部５１２、推論部５１３、スコア誤差演算部５１４を有する。
【0048】
画像リファイナ部５１１は、例えば、画像データの生成モデルとしてＣＮＮを用いて、画像データ５００からリファイン画像データを生成する。
【0049】
なお、画像リファイナ部５１１は、生成したリファイン画像データを用いて推論部５１３が認識処理した際に、正解ラベルのスコアが最大となるように、画像データ５００を変更する。また、画像リファイナ部５１１は、例えば、画像データ５００からの変更量（リファイン画像データと画像データ５００との差分）が小さくなるように、リファイン画像データを生成する。これにより、画像リファイナ部５１１によれば、視覚的に変更前の画像データ（画像データ５００）に近い画像データ（リファイン画像データ）を得ることができる。
【0050】
具体的には、画像リファイナ部５１１では、
・生成したリファイン画像データを用いて認識処理した際のスコアと、正解ラベルのスコアを最大にしたスコアとの誤差（スコア誤差）と、
・生成したリファイン画像データと画像データ５００との差分である画像差分値と、
を最小化するようにＣＮＮの学習を行う。
・生成したリファイン画像データを用いて認識処理した際のスコアと、正解ラベルのスコアを最大にしたスコアとの誤差（スコア誤差）と、
・生成したリファイン画像データと画像データ５００との差分である画像差分値と、
を最小化するようにＣＮＮの学習を行う。
【0051】
画像誤差演算部５１２は、画像データ５００と、ＣＮＮの学習中に画像リファイナ部５１１より出力されるリファイン画像データとの差分を算出し、画像差分値を、画像リファイナ部５１１に入力する。画像誤差演算部５１２では、例えば、画素ごとの差分（Ｌ１差分）やＳＳＩＭ（Structural Similarity）演算を行うことにより、画像差分値を算出し、画像リファイナ部５１１に入力する。
【0052】
推論部５１３は、画像リファイナ部５１１により生成されたリファイン画像データを入力として認識処理し、認識結果のラベルのスコアを出力する、学習済みのＣＮＮを有する。なお、推論部５１３により出力されたスコアは、スコア誤差演算部５１４に通知される。
【0053】
スコア誤差演算部５１４は、推論部５１３により通知されたスコアと、正解ラベルのスコアを最大にしたスコアとの誤差を算出し、画像リファイナ部５１１にスコア誤差を通知する。スコア誤差演算部５１４により通知されたスコア誤差は、画像リファイナ部５１１においてＣＮＮの学習に用いられる。
【0054】
なお、画像リファイナ部５１１が有するＣＮＮの学習中に画像リファイナ部５１１から出力されるリファイン画像は、リファイン画像格納部５１５に格納される。画像リファイナ部５１１が有するＣＮＮの学習は、
・予め定められた学習回数分（例えば、最大学習回数＝Ｎ回分）、あるいは、
・正解ラベルのスコアが所定の閾値を超えるまで、あるいは、
・正解ラベルのスコアが所定の閾値を超え、かつ、画像差分値が所定の閾値より小さくなるまで、
行われ、推論部５１３より出力される正解ラベルのスコアが最大化した際のリファイン画像データを、以下では、"スコア最大化リファイン画像データ"と称す。
・予め定められた学習回数分（例えば、最大学習回数＝Ｎ回分）、あるいは、
・正解ラベルのスコアが所定の閾値を超えるまで、あるいは、
・正解ラベルのスコアが所定の閾値を超え、かつ、画像差分値が所定の閾値より小さくなるまで、
行われ、推論部５１３より出力される正解ラベルのスコアが最大化した際のリファイン画像データを、以下では、"スコア最大化リファイン画像データ"と称す。
【0055】
続いて、重要特徴指標マップ生成部５２０の詳細について説明する。図５に示すように、重要特徴指標マップ生成部５２０は、重要特徴マップ生成部５２１、劣化尺度マップ生成部５２２、重畳部５２３を有する。
【0056】
重要特徴マップ生成部５２１は、スコア最大化リファイン画像データを入力として認識処理した際の推論部構造情報を、推論部５１３より取得する。また、重要特徴マップ生成部５２１は、ＢＰ法、ＧＢＰ法または選択的ＢＰ法を用いることで、推論部構造情報に基づいて重要特徴マップを生成する。
【0057】
劣化尺度マップ生成部５２２は、画像データ５００とスコア最大化リファイン画像データとに基づいて、"劣化尺度マップ"を生成する。劣化尺度マップとは、画像データ５００からスコア最大化リファイン画像データに変更した際の変更部分と各変更部分の変更度合いとを示したマップである。
【0058】
重畳部５２３は、重要特徴マップ生成部５２１において生成された重要特徴マップと、劣化尺度マップ生成部５２２において生成された劣化尺度マップとを重畳することで、重要特徴指標マップ５３０を生成する。重要特徴指標マップ５３０は、画像データの各領域の認識結果への影響度合いを可視化したマップである。
【0059】
集計部５４０は、重要特徴指標マップ５３０を用いて、画像データの各領域の認識結果への影響度合いを所定の処理ブロック単位で集計することで、処理ブロックごとの認識結果への影響度合いを示すマップ５５０を生成する。なお、上述したように、処理ブロックとは、例えば、画像圧縮装置１３０において圧縮処理する際に用いられる処理ブロックを指すものとする。
【0060】
このように、第２の具体例では、ＣＮＮ部３２０が認識結果を出力する際に、画像データにおいて重要な処理ブロックを示すマップを、（人間の概念で把握できる形状や性質に基づくのではなく）ＣＮＮ部３２０による認識処理に基づいて生成する。更に、第２の具体例では、
・ＣＮＮ部３２０が認識結果を劣化させる劣化部分を表す劣化尺度マップと、
・ＣＮＮ部３２０が認識結果を出力する際に、画像データにおいて重要な特徴部分を表す重要特徴マップと、
を適用することで、劣化尺度マップと重要特徴マップのいずれか一方のみを用いる場合と比較して、より精度の高いマップ５５０を生成する。
・ＣＮＮ部３２０が認識結果を劣化させる劣化部分を表す劣化尺度マップと、
・ＣＮＮ部３２０が認識結果を出力する際に、画像データにおいて重要な特徴部分を表す重要特徴マップと、
を適用することで、劣化尺度マップと重要特徴マップのいずれか一方のみを用いる場合と比較して、より精度の高いマップ５５０を生成する。
【0061】
なお、上記説明では、画像データ５００に対して、マップ５５０を１回生成するものとして説明した。しかしながら、マップ５５０を生成する回数は１回に限定されない。例えば、生成したマップ５５０に基づいて画像圧縮装置１３０が量子化値５０２を決定し、決定した量子化値５０２を用いて、再度、同じ処理を行うことで、マップ５５０を生成するようにしてもよい。また、これらの処理は複数回繰り返してもよい。これにより、生成されるマップ５５０の精度を向上させることができる。
【0062】
＜画像圧縮装置の機能構成＞
次に、画像圧縮装置１３０の機能構成について説明する。図６は、画像圧縮装置の機能構成の一例を示す第１の図である。上述したように、画像圧縮装置１３０には、画像圧縮プログラムがインストールされており、当該プログラムが実行されることで、画像圧縮装置１３０は、決定部６１０、符号化部６２０として機能する。
次に、画像圧縮装置１３０の機能構成について説明する。図６は、画像圧縮装置の機能構成の一例を示す第１の図である。上述したように、画像圧縮装置１３０には、画像圧縮プログラムがインストールされており、当該プログラムが実行されることで、画像圧縮装置１３０は、決定部６１０、符号化部６２０として機能する。
【0063】
決定部６１０は実行部の一例である。図６に示すように、決定部６１０は、更に、量子化値決定部６１１を有する。
【0064】
量子化値決定部６１１は、画像認識装置１２０より送信されたマップ（例えば、マップ４３０、５５０）に基づいて、各処理ブロックの量子化値６１２を決定し、符号化部６２０に通知する。
【0065】
例えば、量子化値決定部６１１は、マップ４３０に基づいて認識結果への影響度に応じた量子化値６１２を決定する。また、例えば、量子化値決定部６１１は、マップ５３０に基づいて認識結果への影響度に応じた量子化値６１２を決定する、あるいは、量子化値５０２を補正する。なお、量子化値５０２による圧縮処理で認識精度の低下が生じていた場合、マップ５３０は、認識精度の低下の原因となる劣化部分を示すため、量子化値５０２を、マップ５３０で示される認識結果への影響度に基づいて補正することで、認識精度が向上する。
【0066】
このように、量子化値決定部６１１では、処理ブロックごとの認識結果への影響度合いに基づいて、量子化値を決定する処理（画像データのデータサイズを削減するための処理）を実行する。
【0067】
符号化部６２０は圧縮部の一例である。符号化部６２０は、差分部６２１、直交変換部６２２、量子化部６２３、エントロピ符号化部６２４、逆量子化部６２５、逆直交変換部６２６を有する。また、符号化部６２０は、加算部６２７、バッファ部６２８、ループ内フィルタ部６２９、フレームバッファ部６３０、画面内予測部６３１、画面間予測部６３２を有する。
【0068】
差分部６２１は、画像データ（例えば、画像データ４００、５００）と予測画像データとの差分を算出し、予測残差信号を出力する。
【0069】
直交変換部６２２は、差分部６２１により出力された予測残差信号に対して、直交変換処理を実行する。
【0070】
量子化部６２３は、直交変換処理された予測残差信号を量子化し、量子化信号を生成する。量子化部６２３では、決定部６１０により処理ブロックごとに決定された量子化値６１２を用いて量子化信号を生成する。
【0071】
エントロピ符号化部６２４は、量子化信号に対してエントロピ符号化処理を行うことで、圧縮データを生成する。
【0072】
逆量子化部６２５は、量子化信号を逆量子化する。逆直交変換部６２６は、逆量子化された量子化信号に対して、逆直交変換処理を実行する。
【0073】
加算部６２７は、逆直交変換部６２６より出力された信号と、予測画像とを加算することで、参照画像データを生成する。バッファ部６２８は、加算部６２７により生成された参照画像データを格納する。
【0074】
ループ内フィルタ部６２９は、バッファ部６２８に格納された参照画像データに対してフィルタ処理を行う。ループ内フィルタ部６２９には、
・デブロッキングフィルタ（Deblocking filter：ＤＢ）、
・サンプルアダプティブオフセットフィルタ（Sample Adaptive Offset filter：ＳＡＯ）、
・適応ループフィルタ（Adaptive loop filter：ＡＬＦ）、
が含まれる。
・デブロッキングフィルタ（Deblocking filter：ＤＢ）、
・サンプルアダプティブオフセットフィルタ（Sample Adaptive Offset filter：ＳＡＯ）、
・適応ループフィルタ（Adaptive loop filter：ＡＬＦ）、
が含まれる。
【0075】
フレームバッファ部６３０は、ループ内フィルタ部６２９によりフィルタ処理が行われた参照画像データをフレーム単位で格納する。
【0076】
画面内予測部６３１は、参照画像データに基づいて画面内予測を行い、予測画像データを生成する。画面間予測部６３２は、入力された画像データ（例えば、画像データ４００、５００）と参照画像データとを用いてフレーム間で動き補償を行い、予測画像データを生成する。
【0077】
なお、画面内予測部６３１または画面間予測部６３２により生成された予測画像データは、差分部６２１及び加算部６２７に出力される。
【0078】
なお、上記説明では、符号化部６２０が、ＭＰＥＧ－２、ＭＰＥＧ－４、Ｈ．２６４、ＨＥＶＣなどの既存の動画符号化方式を用いて圧縮処理を行うものとした。しかしながら、符号化部６２０による圧縮処理は、これらの動画符号化方式に限定されず、量子化により圧縮率を制御する任意の符号化方式を用いて行われてもよい。
【0079】
＜画像圧縮装置の処理の具体例＞
次に、画像圧縮装置１３０の処理（ここでは、量子化値決定部６１１の処理）の具体例について説明する。図７は、画像圧縮装置による処理の具体例を示す第１の図である。
次に、画像圧縮装置１３０の処理（ここでは、量子化値決定部６１１の処理）の具体例について説明する。図７は、画像圧縮装置による処理の具体例を示す第１の図である。
【0080】
図７に示すように、マップ生成部３３０において生成されたマップ４３０（あるいはマップ５５０）が送信されると、量子化値決定部６１１では、各処理ブロックの集計結果の値に基づいて、各処理ブロックの量子化値６１２を決定する。
【0081】
図７の例は、領域７０１に含まれる各処理ブロックと、領域７０２に含まれる各処理ブロックとで、異なる量子化値を決定した様子を示している。なお、図７の場合は、領域７０１に含まれる各処理ブロックの量子化値の方が、領域７０２に含まれる各ブロックの量子化値よりも大きい値が設定されている。
【0082】
この結果、画像データ４００のうち、領域７０１に含まれる各処理ブロックについては高い圧縮レベルで圧縮処理され、領域７０２に含まれる各処理ブロックについては低い圧縮レベルで圧縮処理されることになる。つまり、画像圧縮装置１３０によれば、
・認識処理において重要な領域（認識結果への影響度合いが大きい領域）については画質の劣化を小さくし、
・認識処理において重要でない領域（認識結果への影響度合いが小さい領域）については画質の劣化を大きくすることができる。
・認識処理において重要な領域（認識結果への影響度合いが大きい領域）については画質の劣化を小さくし、
・認識処理において重要でない領域（認識結果への影響度合いが小さい領域）については画質の劣化を大きくすることができる。
【0083】
＜画像処理システムによるデータサイズ削減処理の流れ＞
次に、画像処理システム１００によるデータサイズ削減処理の流れについて説明する。図８は、画像処理システムによるデータサイズ削減処理の流れを示す第１のフローチャートの一例である。
次に、画像処理システム１００によるデータサイズ削減処理の流れについて説明する。図８は、画像処理システムによるデータサイズ削減処理の流れを示す第１のフローチャートの一例である。
【0084】
ステップＳ８０１において、入力部３１０は画像データをフレーム単位で取得する。
【0085】
ステップＳ８０２において、ＣＮＮ部３２０は、フレーム単位で取得した画像データについて認識処理する。
【0086】
ステップＳ８０３において、マップ生成部３３０は、ＣＮＮ部３２０による認識処理の結果、画像データにおいて対象オブジェクトが抽出されたか否かを判定する。ステップＳ８０３において、対象オブジェクトが抽出されたと判定した場合には（ステップＳ８０３においてＹｅｓの場合には）、ステップＳ８０４に進む。
【0087】
ステップＳ８０４において、マップ生成部３３０は、画像データの各領域の認識結果への影響度合いを、処理ブロック単位で集計したマップを生成する。
【0088】
ステップＳ８０５において、決定部６１０は、生成されたマップに基づいて、各処理ブロックの量子化値を決定する。
【0089】
一方、ステップＳ８０３において、対象オブジェクトが抽出されなかったと判定した場合には（ステップＳ８０３においてＮｏの場合には）、ステップＳ８０６に進む。
【0090】
ステップＳ８０６において、決定部６１０は、画像データを圧縮処理する際に用いる各処理ブロックの量子化値を、所定の量子化値に決定する。
【0091】
ステップＳ８０７において、符号化部６２０は、決定された各処理ブロックの量子化値を用いて圧縮処理し、圧縮データを生成する。
【0092】
ステップＳ８０８において、符号化部６２０は、圧縮データをストレージ装置１４０に格納する。
【0093】
ステップＳ８０９において、入力部３１０は次の画像データがあるか否かを判定する。ステップＳ８１０において、次の画像データがある場合にはデータサイズ削減処理を継続すると判定し（ステップＳ８０９においてＮｏと判定し）、ステップＳ８０１に戻る。
【0094】
一方、ステップＳ８０９において、次の画像データがない場合にはデータサイズ削減処理を終了すると判定し（ステップＳ８０９においてＹｅｓと判定し）、データサイズ削減処理を終了する。
【0095】
以上の説明から明らかなように、第１の実施形態に係る画像処理システムは、画像データを認識処理した際、画像データの各領域の認識結果への影響度合いを、処理ブロックごとに集計したマップを生成する。また、第１の実施形態に係る画像処理システムは、生成したマップ（処理ブロックごとに集計した、認識結果への影響度合いを示すマップ）に基づいて量子化値を決定する。
【0096】
これにより、第１の実施形態に係る画像処理システムによれば、認識処理において重要な処理ブロックについては画質の劣化を小さくし、認識処理において重要でない処理ブロックについては画質の劣化を大きくすることができる。
【0097】
この結果、第１の実施形態によれば、画像認識処理に適したデータサイズ削減処理を実現できる。
【0098】
［第２の実施形態］
上記第１の実施形態では、画像データ４００が認識処理された際に生成されたマップに基づき決定した量子化値を、画像データ４００の圧縮処理に用いるものとして説明した。しかしながら、マップの生成及び量子化値の決定には時間がかかることも考えられる。
上記第１の実施形態では、画像データ４００が認識処理された際に生成されたマップに基づき決定した量子化値を、画像データ４００の圧縮処理に用いるものとして説明した。しかしながら、マップの生成及び量子化値の決定には時間がかかることも考えられる。
【0099】
そこで、第２の実施形態では、画像データ４００が認識処理された際に生成されたマップに基づき決定した量子化値を、画像データ４００より後に取得した画像データの圧縮処理に用いる場合について説明する。なお、以下では、第１の実施形態との相違点を中心に説明する。
【0100】
＜画像圧縮装置の機能構成＞
はじめに、第２の実施形態に係る画像圧縮装置１３０の機能構成について説明する。図９は、画像圧縮装置の機能構成の一例を示す第２の図である。図６との相違点は、決定部９１０の機能構成である。
はじめに、第２の実施形態に係る画像圧縮装置１３０の機能構成について説明する。図９は、画像圧縮装置の機能構成の一例を示す第２の図である。図６との相違点は、決定部９１０の機能構成である。
【0101】
【0102】
なお、量子化値決定部６１１が画像認識装置１２０より取得するマップは、例えば、時刻ｔ１に入力部３１０が取得した画像データ４００（第１の画像データ）を、ＣＮＮ部３２０が認識処理した際に生成されたマップであるとする。
【0103】
位置修正部９１１は、例えば、画像データ９００（第２の画像データ）について圧縮処理する際、画像認識装置１２０により、画像データ９００が認識処理された際の認識結果を取得する。なお、画像データ９００は、符号化部６２０が時刻ｔ２（時刻ｔ１より後の時刻）において入力部３１０により取得された画像データである。また、位置修正部９１１が取得する認識結果には、対象オブジェクトの位置情報が含まれているものとする。
【0104】
また、位置修正部９１１は、量子化値決定部６１１により決定された各処理ブロックの量子化値を、画像データ９００に含まれる対象オブジェクトの位置情報に基づいて修正し、修正後の量子化値９１２を符号化部６２０に通知する。
【0105】
具体的には、位置修正部９１１は、まず、
・時刻ｔ１において入力部３１０により取得された画像データ４００が認識処理された際の認識結果に含まれる位置情報と、
・時刻ｔ２において入力部３１０により取得された画像データ９００が認識処理された際の認識結果に含まれる位置情報と、
に基づいて、時刻ｔ１と時刻ｔ２との間における対象オブジェクトの位置及びサイズの変化量を算出する。
・時刻ｔ１において入力部３１０により取得された画像データ４００が認識処理された際の認識結果に含まれる位置情報と、
・時刻ｔ２において入力部３１０により取得された画像データ９００が認識処理された際の認識結果に含まれる位置情報と、
に基づいて、時刻ｔ１と時刻ｔ２との間における対象オブジェクトの位置及びサイズの変化量を算出する。
【0106】
続いて、位置修正部９１１は、量子化値決定部６１１より通知された各処理ブロックの量子化値を、算出した対象オブジェクトの位置及びサイズの変化量に基づいて修正する。例えば、量子化値決定部６１１より通知された各処理ブロックの量子化値が、対象オブジェクトに含まれる処理ブロックと、対象オブジェクトに含まれない処理ブロックとで異なる量子化値であったとする。
【0107】
この場合、位置修正部９１１では、対象オブジェクトに含まれる処理ブロックの量子化値を、算出した対象オブジェクトの位置及びサイズの変化量に応じて特定される処理ブロックに対して適用する。また、位置修正部９１１では、対象オブジェクトに含まれる処理ブロックの量子化値が適用された処理ブロック以外の処理ブロックの量子化値として、対象オブジェクトに含まれない処理ブロックの量子化値を適用する。
【0108】
＜画像圧縮装置の処理の具体例＞
次に、画像圧縮装置１３０の処理の具体例について説明する。図１０は、画像圧縮装置の処理の具体例を示す第２の図である。
次に、画像圧縮装置１３０の処理の具体例について説明する。図１０は、画像圧縮装置の処理の具体例を示す第２の図である。
【0109】
図１０に示すように、マップ生成部３３０において生成された、画像データ４００についてのマップ４３０が送信されると、量子化値決定部６１１では、マップ４３０の各処理ブロックの集計結果の値に基づいて、各処理ブロックの量子化値６１２を決定する。
【0110】
図１０の例は、対象オブジェクト以外の領域７０１に含まれる各処理ブロックの量子化値と、対象オブジェクトの領域７０２に含まれる各処理ブロックの量子化値とで、異なる値が決定された場合を示している。
【0111】
ここで、位置修正部９１１は、画像データ９００が認識処理された際の認識結果を取得する。そして、位置修正部９１１は、既に取得している、画像データ４００が認識処理された際の認識結果と比較することで、画像データ４００が取得されてから画像データ９００が取得されるまでの間の、対象オブジェクトの位置及びサイズの変化量を算出する。
【0112】
更に、位置修正部９１１は、算出した変化量に基づいて、各処理ブロックの量子化値６１２を修正し、各処理ブロックの量子化値９１２を得る。図１０の例は、画像データ４００が取得されてから画像データ９００が取得されるまでの間に、対象オブジェクトが、右下の位置に移動した様子を示している（領域７０２→領域７０２'参照）。
【0113】
このため、領域７０２'に含まれる処理ブロックには、領域７０２に含まれる処理ブロックにおいて決定された量子化値が適用され、領域７０１'に含まれる処理ブロックには、領域７０１に含まれる処理ブロックにおいて決定された量子化値が適用される。
【0114】
＜画像処理システムによる画像圧縮処理の流れ＞
次に、画像処理システム１００による画像圧縮処理の流れについて説明する。図１１は、画像処理システムによる画像圧縮処理の流れを示す第２のフローチャートの一例である。図８に示した第１のフローチャートとの相違点は、ステップＳ１１０１である。
次に、画像処理システム１００による画像圧縮処理の流れについて説明する。図１１は、画像処理システムによる画像圧縮処理の流れを示す第２のフローチャートの一例である。図８に示した第１のフローチャートとの相違点は、ステップＳ１１０１である。
【0115】
ステップＳ１１０１において、位置修正部９１１は、決定された各処理ブロックの量子化値を、対象オブジェクトの位置及びサイズの変化量に基づいて修正する。
【0116】
以上の説明から明らかなように、第２の実施形態に係る画像処理システムは、画像データを認識処理した際、第１の画像データの各領域の認識結果への影響度合いを、処理ブロック単位で集計したマップを生成する。また、第２の実施形態に係る画像処理システムは、生成したマップ（処理ブロックごとに集計した、認識結果への影響度合いを示すマップ）に基づいて量子化値を決定する。また、第２の実施形態に係る画像処理システムは、第１の画像データが取得されてから第２の画像データが取得されるまでの間の対象オブジェクトの位置及びサイズの変化量に基づいて、決定した量子化値を修正する。更に、第２の実施形態に係る画像処理システムは、修正後の量子化値を用いて第２の画像データを圧縮処理することで、第２の画像データのデータサイズを削減する。
【0117】
これにより、第２の実施形態に係る画像処理システムによれば、認識処理において重要な処理ブロックが移動した場合でも、当該処理ブロックについては画質の劣化を小さくし、当該処理ブロック以外の処理ブロックについては画質の劣化を大きくすることができる。
【0118】
この結果、第２の実施形態によれば、画像認識処理に適したデータサイズ削減処理を実現できる。
【0119】
［第３の実施形態］
上記第１及び第２の実施形態では、認識処理において重要な処理ブロックと重要でない処理ブロックとで圧縮レベルを変えて圧縮処理することで、データサイズを削減する場合について説明した。これに対して、第３の実施形態では、対象オブジェクトと背景とを分けて圧縮処理することで、圧縮データを効率的に格納する。以下、第３の実施形態について、上記第１の実施形態との相違点を中心に説明する。
上記第１及び第２の実施形態では、認識処理において重要な処理ブロックと重要でない処理ブロックとで圧縮レベルを変えて圧縮処理することで、データサイズを削減する場合について説明した。これに対して、第３の実施形態では、対象オブジェクトと背景とを分けて圧縮処理することで、圧縮データを効率的に格納する。以下、第３の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【0120】
＜画像処理システムのシステム構成及び圧縮データの格納方法の具体例＞
図１２は、画像処理システムのシステム構成の一例を示す第２の図である。図１２を用いて、第３の実施形態に係る画像処理システム１２００のシステム構成及び圧縮データの格納方法の具体例について説明する。
図１２は、画像処理システムのシステム構成の一例を示す第２の図である。図１２を用いて、第３の実施形態に係る画像処理システム１２００のシステム構成及び圧縮データの格納方法の具体例について説明する。
【0121】
図１に示したシステム構成との相違点は、図１２の場合、画像圧縮装置１３０が差分画像生成部１２２０を有する点である。また、図１２の場合、高速ストレージ装置１２３０第１のストレージ装置）と、低コストストレージ装置１２４０（第２のストレージ装置）とを含む点である。また、図１２の場合、高速ストレージ装置１２３０には、不図示の情報処理装置の解析処理部１２５１及び復元処理部１２５２が接続されている点である。更に、図１２の場合、低コストストレージ装置１２４０には、不図示の情報処理装置の庫外管理部及び廃棄処理部１２５３が接続されている点である。
【0122】
図１２に示すように、画像認識装置１２０では、対象オブジェクト４０１が含まれる画像データ４００について認識処理し、認識結果を画像データ４００とともに画像圧縮装置１３０に送信する。
【0123】
また、画像認識装置１２０では、画像データ４００の取得前後に取得された画像データであって、対象オブジェクトが含まれない画像データ１２１０について認識処理し、認識結果を画像データとともに画像圧縮装置１３０に送信する。
【0124】
画像圧縮装置１３０は、差分画像生成部１２２０を有し、対象オブジェクトが含まれる画像データ４００と対象オブジェクトが含まれない画像データ１２１０との差分を算出し、差分画像データ４０２（対象オブジェクトの画像データ）を符号化部６２０に入力する。
【0125】
なお、差分画像データ４０２は、対象オブジェクトが含まれる画像データ４００において、対象オブジェクトの領域以外の領域がゼロ値の第１の差分画像データである。
【0126】
また、差分画像生成部１２２０は、対象オブジェクトが含まれる画像データ４００と差分画像データ４０２（対象オブジェクトの画像データ）との差分を算出し、差分画像データ１２１１（背景の画像データ）を生成する。なお、差分画像データ１２１１は、対象オブジェクトが含まれない画像データ１２１０において、対象オブジェクトの領域に対応する領域がゼロ値の第２の差分画像データである。更に、差分画像生成部１２２０は、生成した差分画像データ１２１１を符号化部６２０に入力する。
【0127】
符号化部６２０では、画像データ４００が認識処理された際に生成されたマップに基づいて決定部６１０が決定した量子化値を用いて、差分画像データ４０２を圧縮処理し、圧縮データ（第１の圧縮データ）を高速ストレージ装置１２３０に格納する。
【0128】
また、符号化部６２０では、予め決定された量子化値（高圧縮用の量子化値）を用いて、差分画像データ１２１１を圧縮処理し、圧縮データ（第２の圧縮データ）を低コストストレージ装置１２４０に格納する。
【0129】
これにより、高速ストレージ装置１２３０には、対象オブジェクトの圧縮データが格納される。対象オブジェクトの圧縮データは、対象オブジェクトのうち、認識処理において重要な処理ブロックについては画質の劣化を小さくし、認識処理において重要でない処理ブロックについては画質の劣化を大きくした圧縮データである。
【0130】
また、低コストストレージ装置１２４０には、背景の圧縮データが格納される。背景の圧縮データは、背景の画像データを高圧縮処理した圧縮データである。
【0131】
この結果、解析処理部１２５１では、高速ストレージ装置１２３０より圧縮データを読み出すことで、認識処理において重要な処理ブロックについて画質の劣化を小さくした対象オブジェクトの画像データを解析することができる。
【0132】
また、復元処理部１２５２では、高速ストレージ装置１２３０及び低コストストレージ装置１２４０より圧縮データを読み出すことで、
・認識処理において重要な処理ブロックについては画質の劣化を小さくした対象オブジェクトの画像データと、
・画質の劣化が大きい背景の画像データと
を組み合わせた画像データを復元することができる。つまり、ユーザが、対象オブジェクトと背景とを含む全体の画像データを確認したい場合に、当該全体の画像データをユーザに提供することができる。
・認識処理において重要な処理ブロックについては画質の劣化を小さくした対象オブジェクトの画像データと、
・画質の劣化が大きい背景の画像データと
を組み合わせた画像データを復元することができる。つまり、ユーザが、対象オブジェクトと背景とを含む全体の画像データを確認したい場合に、当該全体の画像データをユーザに提供することができる。
【0133】
更に、庫外管理部及び廃棄処理部１２５３では、低コストストレージ装置１２４０より圧縮データを読み出すことで、背景の圧縮データについて、庫外管理処理または廃棄処理を行うことができる。
【0134】
以上の説明から明らかなように、第３の実施形態に係る画像処理システム１２００では、対象オブジェクトと背景とを分けて圧縮処理する。これにより、第３の実施形態に係る画像処理システムによれば、圧縮データを効率的に格納することができる。
【0135】
［第４の実施形態］
上記第１乃至第３の実施形態では、撮像装置１１０より送信される画像データと、画像認識装置１２０が認識処理する画像データとが同じデータサイズであるとして説明した。
上記第１乃至第３の実施形態では、撮像装置１１０より送信される画像データと、画像認識装置１２０が認識処理する画像データとが同じデータサイズであるとして説明した。
【0136】
しかしながら、撮像装置１１０より送信される画像データの画像サイズが、画像認識装置１２０で認識処理可能な画像サイズを超えている場合もありうる。このような場合、撮像装置１１０より送信された画像データは縮小処理または切り出し処理が行われたうえで、画像認識装置１２０に入力される。
【0137】
第４の実施形態では、このようにしてストレージ装置に格納された圧縮データであっても、復元した際に、元の画像サイズの画像データを視認可能な画像処理システムについて説明する。
【0138】
【0139】
図１３に示すように、画像処理システム１３００は、撮像装置１１０、縮小または切り出し装置１３１０、画像認識装置１２０、画像圧縮装置１３０、復号装置１３２０、拡大またはマージ装置１３３０を有する。更に、画像処理システム１３００は、差分装置１３４０、画像圧縮装置１３５０、復号装置１３６０、加算装置１３７０を有する。
【0140】
かかるシステム構成のもと、撮像装置１１０により画像データ１３１１が送信されると、縮小または切り出し装置１３１０では、画像認識装置１２０において認識処理可能な画像サイズとなるよう、画像データ１３１１に対して縮小処理または切り出し処理を行う。
【0141】
縮小または切り出し装置１３１０では、縮小処理または切り出し処理を行うことで生成した画像データ１３１２を、画像認識装置１２０に送信する。なお、図１３に示すように、画像データ１３１２の画像サイズは、画像データ１３１１の画像サイズよりも小さいものとする。
【0142】
画像認識装置１２０は、縮小または切り出し装置１３１０より送信された画像データ１３１２について認識処理するとともに、認識結果への影響度合いを処理ブロックごとに集計したマップを生成する。また、画像認識装置１２０は、画像データ及びマップを画像圧縮装置１３０に送信する。
【0143】
画像圧縮装置１３０は、画像認識装置１２０より送信された画像データについて、マップに応じた量子化値を用いて圧縮処理し、圧縮データを高速ストレージ装置１３８０に格納する。
【0144】
復号装置１３２０は、高速ストレージ装置１３８０から圧縮データを読み出し、復号することで復号データ１３２１を生成する。復号装置１３２０は、生成した復号データ１３２１を拡大またはマージ装置１３３０に送信する。
【0145】
拡大またはマージ装置１３３０は、復号装置１３２０より送信された復号データ１３２１に対して、拡大処理またはマージ処理を行うことで、復号データ１３３１を生成する。
【0146】
差分装置１３４０は、復号データ１３３１と、画像データ１３１１との差分を算出し、差分データを生成する。また、差分装置１３４０は、生成した差分データを画像圧縮装置１３５０に送信する。
【0147】
画像圧縮装置１３５０は、差分装置１３４０より送信された差分データについて圧縮処理し、圧縮データを高速ストレージ装置１３９０に格納する。
【0148】
このように、画像処理システム１３００では、画像データ１３１１を、
・画像圧縮装置１３０により生成された圧縮データ、及び、
・画像圧縮装置１３５０により生成された圧縮データ、
として、高速ストレージ装置１３８０及び高速ストレージ装置１３９０に格納する。
・画像圧縮装置１３０により生成された圧縮データ、及び、
・画像圧縮装置１３５０により生成された圧縮データ、
として、高速ストレージ装置１３８０及び高速ストレージ装置１３９０に格納する。
【0149】
ここで、画像処理システム１３００では、画像圧縮装置１３０により生成された圧縮データと、画像圧縮装置１３５０により生成された圧縮データとに基づいて、以下の手順により、画像データ１３１１を復元する。
【0150】
まず、復号装置１３２０は、高速ストレージ装置１３８０より圧縮データを読み出して復号し、復号データ１３２１を生成する。続いて、拡大またはマージ装置１３３０は、復号データ１３２１に対して拡大処理またはマージ処理を行うことで、復号データ１３３１を生成し、加算装置１３７０に送信する。
【0151】
一方、復号装置１３６０は、高速ストレージ装置１３９０より圧縮データを読み出して復号し、復号データ１３６１を生成する。また、復号装置１３６０は、生成した復号データ１３６１を加算装置１３７０に送信する。
【0152】
加算装置１３７０では、拡大またはマージ装置１３３０より送信された復号データ１３３１と、復号装置１３６０より送信された復号データ１３６１とを加算することで、画像データ１３１１を復元する。
【0153】
このように、画像処理システム１３００によれば、撮像装置１１０より送信される画像データを縮小または切り出して圧縮処理した場合であっても、元の画像サイズの画像データを復元することができる。
【0154】
［第５の実施形態］
上記第１乃至第４の実施形態では、画像圧縮装置１３０が、画像認識装置１２０により生成されたマップに応じた量子化値で圧縮処理するものとして説明した。しかしながら、画像圧縮装置１３０によっては、量子化値を変更できない場合もある。
上記第１乃至第４の実施形態では、画像圧縮装置１３０が、画像認識装置１２０により生成されたマップに応じた量子化値で圧縮処理するものとして説明した。しかしながら、画像圧縮装置１３０によっては、量子化値を変更できない場合もある。
【0155】
第５の実施形態では、このような場合であっても、認識結果への影響度合いに応じた加工処理を行うことで、画像認識処理に適したデータサイズ削減処理を実現する。以下、第５の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【0156】
【0157】
図１４に示すように、画像処理システム１４００は、撮像装置１１０、画像認識装置１２０、画像加工装置１４１０、画像圧縮装置１３０を有する。
【0158】
撮像装置１１０により画像データが送信されると、画像認識装置１２０では、画像データについて認識処理するとともに、認識結果への影響度合いを処理ブロックごとに集計したマップを生成する。また、画像認識装置１２０は、画像データ及びマップを画像加工装置１４１０に送信する。
【0159】
画像加工装置１４１０は実行部として機能する装置であり、画像圧縮装置１３０による圧縮処理によって、データサイズ削減処理を実現可能なデータ（加工データ）に、画像データを加工する。
【0160】
具体的には、画像加工装置１４１０は、画像データのデータサイズを削減するための処理として、
・画像データの各処理ブロックのうち、マップにおいて集計結果の値が低い処理ブロックを無効化する、
・画像データの各処理ブロックのうち、マップにおいて集計結果の値が低い処理ブロックについて、高周波成分を除去する、
・画像データの各処理ブロックのうち、マップにおいて集計結果の値が低い処理ブロックについて、色成分を除去する、
等の加工処理を行う。なお、画像加工装置１４１０において行われるこれらの加工処理は一例であり、これらのいずれかの加工処理が行われてもよいし、他の加工処理が行われてもよい（加工処理の方法は任意である）。また、マップにおける各処理ブロックの集計結果の値と、加工処理の方法との関係は、予め定められているものとする。
・画像データの各処理ブロックのうち、マップにおいて集計結果の値が低い処理ブロックを無効化する、
・画像データの各処理ブロックのうち、マップにおいて集計結果の値が低い処理ブロックについて、高周波成分を除去する、
・画像データの各処理ブロックのうち、マップにおいて集計結果の値が低い処理ブロックについて、色成分を除去する、
等の加工処理を行う。なお、画像加工装置１４１０において行われるこれらの加工処理は一例であり、これらのいずれかの加工処理が行われてもよいし、他の加工処理が行われてもよい（加工処理の方法は任意である）。また、マップにおける各処理ブロックの集計結果の値と、加工処理の方法との関係は、予め定められているものとする。
【0161】
画像加工装置１４１０では、画像データを加工処理することで生成した加工データを画像圧縮装置１３０に送信する。
【0162】
画像圧縮装置１３０では、画像加工装置１４１０から送信された加工データについて、予め定められた量子化値を用いて圧縮処理し、圧縮データを生成する。また、画像圧縮装置１３０では、生成した圧縮データをストレージ装置１４０に格納する。
【0163】
このように、画像処理システム１４００によれば、画像圧縮装置１３０が、圧縮処理の際に量子化値を変更できない場合であっても、認識結果への影響度合いに応じた圧縮データを生成することができる。
【0164】
［その他の実施形態］
上記第２の実施形態では、認識結果に含まれる位置情報に基づいて対象オブジェクトの位置及びサイズの変化量を算出するものとして説明した。しかしながら、対象オブジェクトの位置及びサイズの変化量の算出方法はこれに限定されず、任意のトラッキングアルゴリズムを用いて、対象オブジェクトの位置及びサイズの変化量を算出してもよい。
上記第２の実施形態では、認識結果に含まれる位置情報に基づいて対象オブジェクトの位置及びサイズの変化量を算出するものとして説明した。しかしながら、対象オブジェクトの位置及びサイズの変化量の算出方法はこれに限定されず、任意のトラッキングアルゴリズムを用いて、対象オブジェクトの位置及びサイズの変化量を算出してもよい。
【0165】
また、上記第５の実施形態では、画像圧縮装置１３０が、圧縮処理の際に量子化値を変更できない場合に、画像加工装置１４１０を設けるものとして説明した。しかしながら、画像圧縮装置１３０が、圧縮処理の際に量子化値を変更できる場合であっても、画像加工装置１４１０を設け、加工処理を行うようにしてもよい。
【0166】
また、上記各実施形態では、ＣＮＮ部３２０が認識処理することで、対象オブジェクトの有無を判定するものとして説明した。しかしながら、対象オブジェクトの有無の判定方法はこれに限定されず、ＣＮＮ部３２０の前に抽出部等を設け、当該抽出部等が画像データから対象オブジェクトを抽出する処理を行うことで、対象オブジェクトの有無を判定するようにしてもよい。
【0167】
また、上記各実施形態では、対象オブジェクトが含まれない画像データについても、圧縮処理してストレージ装置に格納するものとして説明した。しかしながら、対象オブジェクトが含まれない画像データについては、ストレージ装置への格納を行わないようにしてもよい。
【0168】
また、上記各実施形態では、画像認識装置１２０と画像圧縮装置１３０とを別体として示したが、画像認識装置１２０と画像圧縮装置１３０は、一体の装置であってもよい。この場合、当該一体化した装置にインストールされた画像処理プログラム（画像認識プログラム＋画像圧縮プログラム）が実行されることで、当該一体化した装置は、入力部３１０～出力部３４０及び決定部６１０～符号化部６２０として機能する。
【0169】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【0170】
１００ ：画像処理システム
１１０ ：撮像装置
１２０ ：画像認識装置
１３０ ：画像圧縮装置
１４０ ：ストレージ装置
３１０ ：入力部
３２０ ：ＣＮＮ部
３３０ ：マップ生成部
３４０ ：出力部
４１０ ：重要特徴マップ生成部
５１０ ：リファイン画像生成部
５２０ ：重要特徴指標マップ生成部
６１０ ：決定部
６１１ ：量子化値決定部
９１１ ：位置修正部
１２００ ：画像処理システム
１２２０ ：差分画像生成部
１２３０ ：高速ストレージ装置
１２４０ ：低コストストレージ装置
１３１０ ：縮小または切り出し装置
１３２０ ：復号装置
１３３０ ：拡大またはマージ装置
１３４０ ：差分装置
１３５０ ：画像圧縮装置
１３６０ ：復号装置
１３７０ ：加算装置
１１０ ：撮像装置
１２０ ：画像認識装置
１３０ ：画像圧縮装置
１４０ ：ストレージ装置
３１０ ：入力部
３２０ ：ＣＮＮ部
３３０ ：マップ生成部
３４０ ：出力部
４１０ ：重要特徴マップ生成部
５１０ ：リファイン画像生成部
５２０ ：重要特徴指標マップ生成部
６１０ ：決定部
６１１ ：量子化値決定部
９１１ ：位置修正部
１２００ ：画像処理システム
１２２０ ：差分画像生成部
１２３０ ：高速ストレージ装置
１２４０ ：低コストストレージ装置
１３１０ ：縮小または切り出し装置
１３２０ ：復号装置
１３３０ ：拡大またはマージ装置
１３４０ ：差分装置
１３５０ ：画像圧縮装置
１３６０ ：復号装置
１３７０ ：加算装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】