知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-17
(45)【発行日】2024-06-25
(54)【発明の名称】画像処理システム、画像処理装置及び画像処理プログラム
(51)【国際特許分類】
H04N 19/115 20140101AFI20240618BHJP
H04N 19/136 20140101ALI20240618BHJP
H04N 19/137 20140101ALI20240618BHJP
【ＦＩ】
H04N19/115
H04N19/136
H04N19/137
【請求項の数】
11
(21)【出願番号】P 2022527320
(86)(22)【出願日】2020-05-26
(86)【国際出願番号】 JP2020020742
(87)【国際公開番号】W WO2021240647
(87)【国際公開日】2021-12-02
【審査請求日】2022-11-17
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100107515
【弁理士】
【氏名又は名称】廣田 浩一
(72)【発明者】
【氏名】久保田 智規
(72)【発明者】
【氏名】中尾 鷹詔
【審査官】間宮 嘉誉
(56)【参考文献】
【文献】特開２０１４－２２７８７（ＪＰ，Ａ）
【文献】特開２０１３－２３９９９５（ＪＰ，Ａ）
【文献】特表２０１９－５２５５７５（ＪＰ，Ａ）
【文献】国際公開第２０２０／０８０１４１（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１２
Ｈ０４Ｎ １９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
第１の時間に取得された第１の画像データに対して画像認識処理を実行することで、画像認識処理に影響を与える特徴部分を示す情報を生成する生成部と、前記第１の画像データに含まれるオブジェクトの特徴量と、前記第１の時間より後の第２の時間に取得された第２の画像データに含まれる該オブジェクトの特徴量とに基づいて、前記第２の時間での該オブジェクトの動きを解析する動き解析部と、
前記第１の時間での前記特徴部分を示す情報と、解析された前記第２の時間での該オブジェクトの動きとに基づいて、前記第２の時間での第１の前記特徴部分を示す情報を予測する予測部と、
予測した前記第２の時間での第１の前記特徴部分を示す情報に基づく圧縮率を用いて、前記第２の時間に取得された第２の画像データを符号化する符号化部と
を有する画像処理システム。
【請求項2】
前記動き解析部は、
前記第１の時間での前記特徴部分を示す情報に基づいて算出された、オブジェクトの領域の特徴量と、
前記第１の時間と前記第２の時間との間の第３の時間に取得された第３の画像データに対して前記生成部が画像認識処理を実行することで生成した前記第３の時間での前記特徴部分を示す情報に基づいて算出された該オブジェクトの領域の特徴量と、
に基づいて、前記第３の時間での該オブジェクトの領域の動きを解析し、
前記予測部は、
前記第３の時間での前記特徴部分を示す情報と、
解析された前記第３の時間での該オブジェクトの領域の動きと、
に基づいて、前記第２の時間での第２の前記特徴部分を示す情報を予測する、請求項１に記載の画像処理システム。
【請求項3】
前記符号化部は、第１の前記特徴部分を示す情報と、
第２の前記特徴部分を示す情報と、
に基づく圧縮率を用いて、前記第２の画像データを符号化する、請求項２に記載の画像処理システム。
【請求項4】
前記生成部は、前記特徴部分を示す情報を、画像データが取得された順序とは異なる順序で生成し、
前記予測部は、
第１の前記特徴部分を示す情報を予測する際、時間軸において前後の画像データに対して前記生成部が画像認識処理を実行することで生成した前記特徴部分を示す情報を用いて予測する、請求項１に記載の画像処理システム。
【請求項5】
前記動き解析部は、
前記第１の時間での前記特徴部分を示す情報に基づいて算出された、オブジェクトの領域の特徴量と、
前記第２の時間より後の第４の時間に取得された第４の画像データに対して前記生成部が画像認識処理を実行することで生成した前記第４の時間での前記特徴部分を示す情報に基づいて算出された該オブジェクトの領域の特徴量と、
に基づいて、前記第２の時間での該オブジェクトの領域の動きを解析し、
前記予測部は、
前記第１の時間での前記特徴部分を示す情報と、
前記第４の時間での前記特徴部分を示す情報と、
解析された前記第２の時間での前記オブジェクトの領域の動きと、
に基づいて、前記第２の時間での第３の前記特徴部分を示す情報を予測する、請求項４に記載の画像処理システム。
【請求項6】
前記生成部は、取得された複数の画像データのうちの一部の画像データに対して画像認識処理を実行することで、前記特徴部分を示す情報を生成し、
前記予測部は、
第１の前記特徴部分を示す情報を予測する際、時間軸において前後の画像データについて生成された前記特徴部分を示す情報を用いて予測する、請求項１に記載の画像処理システム。
【請求項7】
前記動き解析部は、
前記第１の画像データに含まれるオブジェクトの特徴量と、
前記第２の時間より後の第４の時間に取得された第４の画像データに含まれる該オブジェクトの特徴量と、
に基づいて、前記第２の時間での該オブジェクトの動きを解析し、
前記予測部は、
前記第１の時間での前記特徴部分を示す情報と、
前記生成部が前記第４の画像データに対して画像認識処理を実行することで生成した前記第４の時間での前記特徴部分を示す情報と、
解析された前記第２の時間での該オブジェクトの動きと、
に基づいて、前記第２の時間での第４の前記特徴部分を示す情報を予測する、請求項６に記載の画像処理システム。
【請求項8】
前記符号化部は、前記予測部により予測された前記第２の時間での第４の前記特徴部分を示す情報と、
前記生成部が前記第２の画像データに対して画像認識処理を実行することで生成した前記第２の時間での前記特徴部分を示す情報と、
に基づく圧縮率を用いて、前記第２の画像データを符号化する、請求項７に記載の画像処理システム。
【請求項9】
前記符号化部は、前記第２の画像データを符号化する際の処理ブロックごとに、予測した第１の前記特徴部分を示す情報を集計し、集計結果に基づいて決定された処理ブロックごとの圧縮率を用いて、前記第２の画像データを符号化する、請求項１に記載の画像処理システム。
【請求項10】
第１の時間に取得された第１の画像データに対して画像認識処理を実行することで生成された、画像認識処理に影響を与える特徴部分を示す情報と、前記第１の画像データに含まれるオブジェクトの特徴量と前記第１の時間より後の第２の時間に取得された第２の画像データに含まれる該オブジェクトの特徴量とに基づいて解析された、前記第２の時間での該オブジェクトの動きとに基づいて、前記第２の時間での前記特徴部分を示す情報を予測する予測部と、予測した前記第２の時間での前記特徴部分を示す情報に基づく圧縮率を用いて、前記第２の時間に取得された第２の画像データを符号化する符号化部と
を有する画像処理装置。
【請求項11】
第１の時間に取得された第１の画像データに対して画像認識処理を実行することで生成された、画像認識処理に影響を与える特徴部分を示す情報と、前記第１の画像データに含まれるオブジェクトの特徴量と前記第１の時間より後の第２の時間に取得された第２の画像データに含まれる該オブジェクトの特徴量とに基づいて解析された、前記第２の時間での該オブジェクトの動きとに基づいて、前記第２の時間での前記特徴部分を示す情報を予測し、予測した前記第２の時間での前記特徴部分を示す情報に基づく圧縮率を用いて、前記第２の時間に取得された第２の画像データを符号化する、
処理をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理システム、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【0002】
一般に、画像データを記録または伝送する場合には、予め符号化処理を実行することでデータサイズを削減し、記録コストや伝送コストを削減する。
【0003】
一方で、近年、ＡＩ（Artificial Intelligence）による画像認識処理に利用することを目的として、画像データを記録または伝送するケースが増えてきている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００９－０２７５６３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の符号化処理は、人間の概念で把握できる形状や性質に基づいて行われており、画像認識処理時にＡＩが注目する特徴部分（必ずしも人間の概念で境界分けをすることができない特徴部分）に基づいて行われているわけでない。このため、ＡＩによる画像認識処理に適した符号化処理が行われることが求められる。
【0006】
一方で、画像認識処理時にＡＩが注目する特徴部分を特定するには、一定程度の時間を要する。このため、特定した特徴部分に基づく圧縮率を反映して符号化処理を実行しようとしても、符号化対象の画像データ内では既に特徴部分が移動していることもあり得る。このような場合、特定した特徴部分に基づく圧縮率が、符号化対象の画像データ内で適切な位置に反映されないことになる。
【0007】
一つの側面では、画像認識処理に適した圧縮率を反映した符号化処理を実現することを目的とする。
【課題を解決するための手段】
【0008】
一態様によれば、画像処理システムは、
第１の時間に取得された第１の画像データに対して画像認識処理を実行することで、画像認識処理に影響を与える特徴部分を示す情報を生成する生成部と、
前記第１の画像データに含まれるオブジェクトの特徴量と、前記第１の時間より後の第２の時間に取得された第２の画像データに含まれる該オブジェクトの特徴量とに基づいて、前記第２の時間での該オブジェクトの動きを解析する動き解析部と、
前記第１の時間での前記特徴部分を示す情報と、解析された前記第２の時間での該オブジェクトの動きとに基づいて、前記第２の時間での第１の前記特徴部分を示す情報を予測する予測部と、
予測した前記第２の時間での第１の前記特徴部分を示す情報に基づく圧縮率を用いて、前記第２の時間に取得された第２の画像データを符号化する符号化部とを有する。
第１の時間に取得された第１の画像データに対して画像認識処理を実行することで、画像認識処理に影響を与える特徴部分を示す情報を生成する生成部と、
前記第１の画像データに含まれるオブジェクトの特徴量と、前記第１の時間より後の第２の時間に取得された第２の画像データに含まれる該オブジェクトの特徴量とに基づいて、前記第２の時間での該オブジェクトの動きを解析する動き解析部と、
前記第１の時間での前記特徴部分を示す情報と、解析された前記第２の時間での該オブジェクトの動きとに基づいて、前記第２の時間での第１の前記特徴部分を示す情報を予測する予測部と、
予測した前記第２の時間での第１の前記特徴部分を示す情報に基づく圧縮率を用いて、前記第２の時間に取得された第２の画像データを符号化する符号化部とを有する。
【発明の効果】
【0009】
画像認識処理に適した圧縮率を反映した符号化処理を実現することができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0012】
［第１の実施形態］
＜画像処理システムのシステム構成＞
はじめに、第１の実施形態に係る画像処理システムのシステム構成について説明する。図１は、画像処理システムのシステム構成の一例を示す第１の図である。図１に示すように、画像処理システム１００は、撮像装置１１０、エッジ装置１２０、クラウド装置１３０を有する。
＜画像処理システムのシステム構成＞
はじめに、第１の実施形態に係る画像処理システムのシステム構成について説明する。図１は、画像処理システムのシステム構成の一例を示す第１の図である。図１に示すように、画像処理システム１００は、撮像装置１１０、エッジ装置１２０、クラウド装置１３０を有する。
【0013】
撮像装置１１０は、所定のフレーム周期で撮影を行い、動画像データをエッジ装置１２０に送信する。
【0014】
エッジ装置１２０は画像処理装置の一例であり、撮像装置１１０より送信される動画像データについて、フレーム単位で符号化し、符号化データを出力する。エッジ装置１２０は、動画像データをフレーム単位で符号化する際、各フレームの画像データについてクラウド装置１３０よりマップを取得し、取得したマップに応じた圧縮率を反映する。なお、ここでいうマップとは、画像認識処理時にＡＩが注目した特徴部分を可視化したマップであり、本実施形態では、画像認識処理を行う画像認識部（詳細は後述）を解析し、画像認識処理に影響を与える特徴部分を特定することで生成される。
【0015】
エッジ装置１２０には、画像処理プログラムがインストールされており、当該プログラムが実行されることで、エッジ装置１２０は、バッファ部１２１、解析部１２２、圧縮率決定部１２３、符号化部１２４として機能する。
【0016】
バッファ部１２１は、撮像装置１１０より送信される動画像データに含まれる各フレームの画像データを、所定数バッファリングする。
【0017】
解析部１２２は、バッファ部１２１より第１の時間（＝ｔ）にバッファリングされた画像データ１４０を読み出し、符号化部１２４に通知して符号化した後、符号化データをクラウド装置１３０に送信する。なお、符号化部１２４では、時間＝ｔ－ｘにバッファリングされた画像データに基づいて生成された圧縮率情報を用いて、第１の時間（＝ｔ）にバッファリングされた画像データ１４０を符号化する（ただし、ここでは符号化処理の詳細説明は割愛する）。
【0018】
また、解析部１２２は、第１の時間（＝ｔ）より所定時間（＝ｘ）後の第２の時間（＝ｔ＋ｘ）にバッファリングされた画像データ１８０をバッファ部１２１より読み出し、符号化部１２４に通知する。また、解析部１２２は、第２の時間（＝ｔ＋ｘ）にバッファリングされた画像データ１８０の、第１の時間（＝ｔ）にバッファリングされた画像データからの変化量を算出する。更に、解析部１２２は、算出した変化量に基づいて、第２の時間（＝ｔ＋ｘ）におけるマップを予測するための変換情報を生成し、圧縮率決定部１２３に通知する。
【0019】
圧縮率決定部１２３は、クラウド装置１３０により生成されたマップであって、第１の時間（＝ｔ）にバッファリングされた画像データ１４０に対応するマップ１５０を取得する。また、圧縮率決定部１２３は、取得したマップ１５０を、解析部１２２より通知された変換情報を用いて変換することで、第２の時間（＝ｔ＋ｘ）にバッファリングされた画像データ１８０に対応するマップ１６０を予測する。
【0020】
更に、圧縮率決定部１２３は、算出したマップ１６０に基づいて、第２の時間（＝ｔ＋ｘ）にバッファリングされた画像データ１８０を符号化する際に用いる圧縮率を、符号化処理時の処理ブロック単位で決定する。圧縮率決定部１２３は、各処理ブロックの圧縮率を、圧縮率情報１７０として符号化部１２４に通知する。
【0021】
符号化部１２４は、解析部１２２より通知された、第２の時間（＝ｔ＋ｘ）にバッファリングされた画像データ１８０を、圧縮率決定部１２３より通知された圧縮率情報１７０を用いて符号化し、符号化データを生成する。
【0022】
一方、クラウド装置１３０には、解析プログラムがインストールされており、当該プログラムが実行されることで、クラウド装置１３０は、マップ生成部１３１として機能する。なお、クラウド装置１３０は、更に、エッジ装置１２０より送信される符号化データ（画像データ（例えば、画像データ１４０）を符号化した符号化データ）を復号する復号部を有するが、図１では省略している。
【0023】
マップ生成部１３１は生成部の一例である。マップ生成部１３１は、エッジ装置１２０より送信され、復号部にて復号された画像データ（例えば、画像データ１４０）を取得する。また、マップ生成部１３１は、取得した画像データに対して、画像認識部がＣＮＮ（Convolutional Neural Network）を用いて画像認識処理を実行する。また、マップ生成部１３１は、画像認識処理を実行した際の画像認識部の構造情報に基づいて、画像認識処理に影響を与える特徴部分を可視化したマップ（例えば、マップ１５０）を生成する。
【0024】
更に、マップ生成部１３１は、生成したマップをエッジ装置１２０に送信する。なお、本実施形態において、エッジ装置１２０がクラウド装置１３０に画像データ１４０を送信してから、エッジ装置１２０がクラウド装置１３０からマップ１５０を受信するまでのタイムラグは所定時間ｘ未満であるとする。
【0025】
＜クラウド装置及びエッジ装置のハードウェア構成＞
次に、クラウド装置１３０及びエッジ装置１２０のハードウェア構成について説明する。図２は、クラウド装置及びエッジ装置のハードウェア構成の一例を示す図である。このうち、図２（ａ）は、クラウド装置１３０のハードウェア構成の一例を示す図である。図２（ａ）に示すように、クラウド装置１３０は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、Ｉ／Ｆ（Interface）装置２０４、通信装置２０５、ドライブ装置２０６を有する。なお、クラウド装置１３０の各ハードウェアは、バス２０７を介して相互に接続されている。
次に、クラウド装置１３０及びエッジ装置１２０のハードウェア構成について説明する。図２は、クラウド装置及びエッジ装置のハードウェア構成の一例を示す図である。このうち、図２（ａ）は、クラウド装置１３０のハードウェア構成の一例を示す図である。図２（ａ）に示すように、クラウド装置１３０は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、Ｉ／Ｆ（Interface）装置２０４、通信装置２０５、ドライブ装置２０６を有する。なお、クラウド装置１３０の各ハードウェアは、バス２０７を介して相互に接続されている。
【0026】
プロセッサ２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラム（例えば、解析プログラム等）をメモリ２０２上に読み出して実行する。
【0027】
メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータはクラウド装置１３０の各種機能を実現する。
【0028】
補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種データを格納する。
【0029】
Ｉ／Ｆ装置２０４は、外部装置の一例である操作装置２１１、表示装置２１２と接続する接続デバイスである。Ｉ／Ｆ装置２０４は、クラウド装置１３０に対する操作を、操作装置２１１を介して受け付ける。また、Ｉ／Ｆ装置２０４は、クラウド装置１３０による処理の結果を出力し、表示装置２１２を介して表示する。
【0030】
通信装置２０５は、他の装置と通信するための通信デバイスである。クラウド装置１３０は、通信装置２０５を介してエッジ装置１２０と通信する。
【0031】
ドライブ装置２０６は記録媒体２１３をセットするためのデバイスである。ここでいう記録媒体２１３には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１３には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【0032】
なお、補助記憶装置２０３にインストールされる各種プログラムは、例えば、配布された記録媒体２１３がドライブ装置２０６にセットされ、該記録媒体２１３に記録された各種プログラムがドライブ装置２０６により読み出されることでインストールされる。あるいは、補助記憶装置２０３にインストールされる各種プログラムは、通信装置２０５を介してネットワークからダウンロードされることで、インストールされてもよい。
【0033】
【0034】
ただし、エッジ装置１２０の場合、補助記憶装置２２３には、画像処理プログラムがインストールされている。また、エッジ装置１２０の場合、通信装置２２５を介して撮像装置１１０及びクラウド装置１３０と通信する。
【0035】
【0036】
（１）マップ生成部の機能構成及び処理の具体例その１
図３は、クラウド装置のマップ生成部の機能構成及び処理の具体例を示す第１の図である。図３に示すように、マップ生成部１３１は、画像認識部３１０と重要特徴マップ生成部３２０とを有する。
図３は、クラウド装置のマップ生成部の機能構成及び処理の具体例を示す第１の図である。図３に示すように、マップ生成部１３１は、画像認識部３１０と重要特徴マップ生成部３２０とを有する。
【0037】
エッジ装置１２０から送信され、復号部により復号された画像データ（例えば、画像データ１４０）が画像認識部３１０に入力されると、画像データ１４０は、画像認識部３１０のＣＮＮによって順伝播処理される。これにより、ＣＮＮの出力層からは、画像データ１４０に含まれる認識対象のオブジェクト３５０についての認識結果（例えば、ラベル）が出力される。なお、ここでは、画像認識部３１０より出力されるラベルは正解ラベルであるとする。
【0038】
重要特徴マップ生成部３２０は、ＢＰ（Back Propagation）法、ＧＢＰ（Guided Back Propagation）法または選択的ＢＰ法等を用いることで、画像認識部３１０の構造情報に基づいて"重要特徴マップ"を生成する。重要特徴マップとは、画像認識処理を実行した際の画像認識部３１０の構造情報に基づいて、画像データにおいて、画像認識処理に影響を与える特徴部分を可視化したマップである。
【0039】
なお、ＢＰ法は、認識結果として正解ラベルが出力される画像データについて画像認識処理を実行することで得た分類確率から各ラベルの誤差を計算し、入力層まで逆伝播して得られる勾配の大小を画像化することで、特徴部分を可視化する方法である。また、ＧＢＰ法は、勾配情報の正値のみを特徴部分として画像化することで、特徴部分を可視化する方法である。
【0040】
更に、選択的ＢＰ法は、正解ラベルの誤差のみを最大にしたうえで、ＢＰ法またはＧＢＰ法を用いて処理を行う方法である。選択的ＢＰ法の場合、可視化される特徴部分は、正解ラベルのスコアのみに影響を与える特徴部分となる。
【0041】
図３の例は、選択的ＢＰ法により重要特徴マップ３６０を生成した様子を示している。重要特徴マップ生成部３２０では、生成した重要特徴マップ３６０を、マップ１５０としてエッジ装置１２０に送信する。
【0042】
（２）マップ生成部の機能構成及び処理の具体例その２
図４は、クラウド装置のマップ生成部の機能構成及び処理の具体例を示す第２の図である。図４の場合、マップ生成部１３１は、リファイン画像生成部４１０と重要特徴指標マップ生成部４２０とを有する。
図４は、クラウド装置のマップ生成部の機能構成及び処理の具体例を示す第２の図である。図４の場合、マップ生成部１３１は、リファイン画像生成部４１０と重要特徴指標マップ生成部４２０とを有する。
【0043】
更に、リファイン画像生成部４１０は、画像リファイナ部４１１、画像誤差演算部４１２、画像認識部４１３、スコア誤差演算部４１４を有する。
【0044】
画像リファイナ部４１１は、画像データの生成モデルとしてＣＮＮを用いて、復号部により復号された画像データ（例えば、画像データ１４０）からリファイン画像データを生成する。
【0045】
なお、画像リファイナ部４１１は、生成したリファイン画像データを用いて画像認識部４１３が画像認識処理を実行した際に、正解ラベルのスコアが最大となるように、画像データ１４０を変更する。また、画像リファイナ部４１１は、例えば、画像データ１４０からの変更量（リファイン画像データと画像データ１４０との差分）が小さくなるように、リファイン画像データを生成する。これにより、画像リファイナ部４１１によれば、視覚的に変更前の画像データ（画像データ１４０）に近い画像データ（リファイン画像データ）を生成することができる。
【0046】
具体的には、画像リファイナ部４１１では、
・生成したリファイン画像データを用いて画像認識処理を実行した際のスコアと、正解ラベルのスコアを最大にしたスコアとの誤差（スコア誤差）と、
・生成したリファイン画像データと画像データ１４０との差分である画像差分値と、
を最小化するように画像リファイナ部４１１が有するＣＮＮの学習を行う。
・生成したリファイン画像データを用いて画像認識処理を実行した際のスコアと、正解ラベルのスコアを最大にしたスコアとの誤差（スコア誤差）と、
・生成したリファイン画像データと画像データ１４０との差分である画像差分値と、
を最小化するように画像リファイナ部４１１が有するＣＮＮの学習を行う。
【0047】
画像誤差演算部４１２は、画像データ１４０と、ＣＮＮの学習中に画像リファイナ部４１１より出力されるリファイン画像データとの差分を算出し、画像差分値を、画像リファイナ部４１１に入力する。画像誤差演算部４１２では、例えば、画素ごとの差分（Ｌ１差分）やＳＳＩＭ（Structural Similarity）演算を行うことにより、画像差分値を算出し、画像リファイナ部４１１に入力する。
【0048】
画像認識部４１３は、画像リファイナ部４１１により生成されたリファイン画像データを入力として画像認識処理を実行し、認識結果のラベルのスコアを出力する、学習済みのＣＮＮを有する。なお、画像認識部４１３により出力されたスコアは、スコア誤差演算部４１４に通知される。
【0049】
スコア誤差演算部４１４は、画像認識部４１３により通知されたスコアと、正解ラベルのスコアを最大にしたスコアとの誤差を算出し、画像リファイナ部４１１にスコア誤差を通知する。スコア誤差演算部４１４により通知されたスコア誤差は、画像リファイナ部４１１においてＣＮＮの学習に用いられる。
【0050】
なお、画像リファイナ部４１１が有するＣＮＮの学習中に画像リファイナ部４１１から出力されるリファイン画像は、リファイン画像格納部４１５に格納される。画像リファイナ部４１１が有するＣＮＮの学習は、
・予め定められた学習回数分（例えば、最大学習回数＝Ｎ回分）、あるいは、
・正解ラベルのスコアが所定の閾値を超えるまで、あるいは、
・正解ラベルのスコアが所定の閾値を超え、かつ、画像差分値が所定の閾値より小さくなるまで、
行われ、画像認識部４１３より出力される正解ラベルのスコアが最大化した際のリファイン画像データを、以下では、"スコア最大化リファイン画像データ"と称す。
・予め定められた学習回数分（例えば、最大学習回数＝Ｎ回分）、あるいは、
・正解ラベルのスコアが所定の閾値を超えるまで、あるいは、
・正解ラベルのスコアが所定の閾値を超え、かつ、画像差分値が所定の閾値より小さくなるまで、
行われ、画像認識部４１３より出力される正解ラベルのスコアが最大化した際のリファイン画像データを、以下では、"スコア最大化リファイン画像データ"と称す。
【0051】
続いて、重要特徴指標マップ生成部４２０の詳細について説明する。図４に示すように、重要特徴指標マップ生成部４２０は、重要特徴マップ生成部４２１、劣化尺度マップ生成部４２２、重畳部４２３を有する。
【0052】
重要特徴マップ生成部４２１は、スコア最大化リファイン画像データを入力として画像認識処理を実行した際の画像認識部４１３の構造情報を、画像認識部４１３より取得する。また、重要特徴マップ生成部４２１は、ＢＰ法、ＧＢＰ法または選択的ＢＰ法を用いることで、画像認識部４１３の構造情報に基づいて重要特徴マップを生成する。
【0053】
劣化尺度マップ生成部４２２は、復号部により復号された画像データ（例えば、画像データ１４０）とスコア最大化リファイン画像データとに基づいて、"劣化尺度マップ"を生成する。劣化尺度マップとは、画像データ１４０からスコア最大化リファイン画像データを生成した際の変更部分と各変更部分の変更度合いとを示したマップである。
【0054】
重畳部４２３は、重要特徴マップ生成部４２１において生成された重要特徴マップと、劣化尺度マップ生成部４２２において生成された劣化尺度マップとを重畳することで、重要特徴指標マップ４３０を生成する。重要特徴指標マップ４３０は、画像データにおいて画像認識処理に影響を与える特徴部分を可視化したマップである。
【0055】
重要特徴指標マップ生成部４２０では、生成した重要特徴指標マップ４３０を、マップ１５０としてエッジ装置１２０に送信する。
【0056】
（３）マップ生成部による他のマップ生成方法
上記（１）、（２）に記載したように、マップ生成部１３１は、
・人間を基準とした圧縮率を決定する代わりに、
・ＡＩを基準とした圧縮率を決定するために、
ＡＩが画像認識処理を実行する際に注目する特徴部分についての認識精度への影響度に基づいて、圧縮率を決定するためのマップを生成する。そして、マップ生成部１３１により生成されたマップに基づいて、最終的に、エッジ装置１２０において画像データに対して符号化処理を実行する。
上記（１）、（２）に記載したように、マップ生成部１３１は、
・人間を基準とした圧縮率を決定する代わりに、
・ＡＩを基準とした圧縮率を決定するために、
ＡＩが画像認識処理を実行する際に注目する特徴部分についての認識精度への影響度に基づいて、圧縮率を決定するためのマップを生成する。そして、マップ生成部１３１により生成されたマップに基づいて、最終的に、エッジ装置１２０において画像データに対して符号化処理を実行する。
【0057】
つまり、上記（１）、（２）では、このような目的でマップを生成する場合のマップ生成方法を２種類例示したに過ぎず、同じ目的であれば、上記（１）、（２）とは異なる方法でマップを生成してもよい。
【0058】
例えば、画像認識処理を実行した際のＣＮＮの各層の出力である特徴マップを用いて、ＡＩが画像認識処理を実行する際に注目する特徴部分を特定して、圧縮率を決定してもよい。
【0059】
あるいは、上記（１）において、異なる画質の画像データを入力として、ＡＩが画像認識処理を実行する際に注目した特徴部分の変化に基づいて、圧縮率を決定してもよい。
【0060】
あるいは、上記（２）において、画像認識部４１３により画像認識処理が実行された際の認識精度が所定の基準となるリファイン画像データを、スコア最大化リファイン画像データとみなしてもよい。この場合、重要特徴指標マップ生成部４２０では、マップ生成部１３１に入力された画像データと、所定の基準となるリファイン画像データとを用いて、重要特徴指標マップ４３０を生成することになる。
【0061】
【0062】
（１）バッファ部の処理の具体例
はじめに、バッファ部１２１の処理の具体例について説明する。図５は、エッジ装置のバッファ部の処理の具体例を示す第１の図である。図５に示すように、エッジ装置１２０のバッファ部１２１は、撮像装置１１０より送信された動画像データに含まれる各フレームの画像データを、所定数バッファリングする。
はじめに、バッファ部１２１の処理の具体例について説明する。図５は、エッジ装置のバッファ部の処理の具体例を示す第１の図である。図５に示すように、エッジ装置１２０のバッファ部１２１は、撮像装置１１０より送信された動画像データに含まれる各フレームの画像データを、所定数バッファリングする。
【0063】
図５の例は、バッファ部１２１が、所定時間ｘに対応するフレーム数の画像データをバッファリングした様子を示している。具体的には、現在の時間が第２の時間（＝ｔ＋ｘ）であるとすると、バッファ部１２１では、少なくとも、現在の時間から、所定時間ｘだけ過去の時間である第１の時間（＝ｔ）までの画像データをバッファリングする。
【0064】
なお、図５の例では、第１の時間（＝ｔ）と第２の時間（＝ｔ＋ｘ）との間の各時間の画像データを省略しているが、バッファ部１２１には、第１の時間（＝ｔ）と第２の時間（＝ｔ＋ｘ）との間の各時間に複数の画像データがバッファリングされているものとする。
【0065】
（２）解析部の機能構成及び処理の具体例
次に、解析部１２２の機能構成及び処理の具体例について説明する。図６は、エッジ装置の解析部の機能構成及び処理の具体例を示す第１の図である。図６に示すように、解析部１２２は、画像データ読み出し部６０１、動き解析部６０２、変換情報算出部６０３を有する。
次に、解析部１２２の機能構成及び処理の具体例について説明する。図６は、エッジ装置の解析部の機能構成及び処理の具体例を示す第１の図である。図６に示すように、解析部１２２は、画像データ読み出し部６０１、動き解析部６０２、変換情報算出部６０３を有する。
【0066】
画像データ読み出し部６０１は、バッファ部１２１にバッファリングされた画像データを読み出し、符号化部１２４に通知して符号化した後、符号化データをクラウド装置１３０に送信する。また、画像データ読み出し部６０１は、読み出した画像データを、動き解析部６０２に通知する。
【0067】
例えば、画像データ読み出し部６０１は、バッファ部１２１にバッファリングされた第１の時間（＝ｔ）の画像データを読み出し、符号化部１２４に通知して符号化した後、符号化データをクラウド装置１３０に送信する。また、画像データ読み出し部６０１は、読み出した第１の時間（＝ｔ）の画像データを、動き解析部６０２に通知する。
【0068】
また、画像データ読み出し部６０１は、所定時間ｘが経過した後にバッファ部１２１にバッファリングされた画像データを読み出し、動き解析部６０２及び符号化部１２４に通知する。
【0069】
例えば、画像データ読み出し部６０１は、バッファ部１２１にバッファリングされた第２の時間（＝ｔ＋ｘ）の画像データを読み出し、動き解析部６０２及び符号化部１２４に通知する。
【0070】
動き解析部６０２は、画像データ読み出し部６０１から通知された画像データの組に基づいて、所定時間ｘの間に生じた画像データの変化量を算出し、算出した変化量に基づいて動き情報を生成する。
【0071】
例えば、動き解析部６０２は、画像データ読み出し部６０１から通知された画像データの組として、第１の時間（＝ｔ）の画像データ１４０と、第２の時間（＝ｔ＋ｘ）の画像データ１８０とを取得したとする。
【0072】
この場合、動き解析部６０２では、例えば、画像データ１４０に含まれるオブジェクトの座標、傾き、高さ、幅、面積等の特徴量を算出する。また、動き解析部６０２では、例えば、画像データ１８０に含まれるオブジェクトの座標、傾き、高さ、幅、面積等の特徴量を算出する。
【0073】
更に、動き解析部６０２では、例えば、画像データ１８０と画像データ１４０との間の特徴量の変化量である、座標差、回転角度差、縦横縮尺比等を算出することで、第２の時間（＝ｔ＋ｘ）でのオブジェクトの動きを解析し、動き情報を生成する。また、動き解析部６０２では、生成した動き情報を、変換情報算出部６０３に通知する。
【0074】
変換情報算出部６０３は、動き解析部６０２より通知された動き情報に基づいて、
・クラウド装置１３０から送信される第１の時間（＝ｔ）の画像データ１４０に対応するマップ１６０から、
・第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップを、
予測するための変換情報を生成する。また、変換情報算出部６０３は、生成した変換情報を、圧縮率決定部１２３に通知する。
・クラウド装置１３０から送信される第１の時間（＝ｔ）の画像データ１４０に対応するマップ１６０から、
・第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップを、
予測するための変換情報を生成する。また、変換情報算出部６０３は、生成した変換情報を、圧縮率決定部１２３に通知する。
【0075】
なお、動き解析部６０２による動き情報の生成方法は、上記に限定されない。例えば、画像データ１４０から画像データ１８０までの間にバッファリングされた各画像データから、オブジェクトの座標、傾き、高さ、幅、面積等の特徴量を算出し、それらを補助的に、あるいは、主体的に用いて動き情報を生成してもよい。
【0076】
あるいは、画像データ１４０から画像データ１８０の直前の画像データまでの間にバッファリングされた各画像データを符号化した符号化データのうちの複数の符号化データから、
・オブジェクトの動きを示す情報（例えば、符号化データの動きベクトル情報等）、
・オブジェクトの存在を示す情報（例えば、符号化モード（イントラ予測モードまたはインタ予測モード）を示す情報、係数の分布を示す情報、量子化値の配置を示す情報等）、
を算出し、それらを補助的に、あるいは、主体的に用いて動き情報を生成してもよい。
・オブジェクトの動きを示す情報（例えば、符号化データの動きベクトル情報等）、
・オブジェクトの存在を示す情報（例えば、符号化モード（イントラ予測モードまたはインタ予測モード）を示す情報、係数の分布を示す情報、量子化値の配置を示す情報等）、
を算出し、それらを補助的に、あるいは、主体的に用いて動き情報を生成してもよい。
【0077】
また、動き解析部６０２が動き情報を生成する際には、
・直接的に画像データにおけるオブジェクトの動きを解析する方法、
・画像データにおいてオブジェクトを意識しないで取得できる特徴量の動きによって、結果としてオブジェクトの動きを解析する方法、
のいずれか一方、または、両方を補完的に用いてもよい。なお、オブジェクトを意識しないで取得できる特徴量には、例えば、エッジ情報、コーナー情報、色彩や輝度の変化を示す情報、領域ごとの画像的統計情報等、結果的にオブジェクトの形状と結びつく情報が含まれる。あるいは、オブジェクトを意識しないで取得できる特徴量には、算出する際に、オブジェクトという括りが必ずしも必要でない特徴量が含まれる。
・直接的に画像データにおけるオブジェクトの動きを解析する方法、
・画像データにおいてオブジェクトを意識しないで取得できる特徴量の動きによって、結果としてオブジェクトの動きを解析する方法、
のいずれか一方、または、両方を補完的に用いてもよい。なお、オブジェクトを意識しないで取得できる特徴量には、例えば、エッジ情報、コーナー情報、色彩や輝度の変化を示す情報、領域ごとの画像的統計情報等、結果的にオブジェクトの形状と結びつく情報が含まれる。あるいは、オブジェクトを意識しないで取得できる特徴量には、算出する際に、オブジェクトという括りが必ずしも必要でない特徴量が含まれる。
【0078】
（３）圧縮率決定部の機能構成及び処理の具体例
次に、圧縮率決定部１２３の機能構成及び処理の具体例について説明する。図７は、エッジ装置の圧縮率決定部の機能構成及び処理の具体例を示す第１の図である。図７に示すように、圧縮率決定部１２３は、マップ取得部７０１、変換情報取得部７０２、予測部７０３、圧縮率算出部７０４を有する。
次に、圧縮率決定部１２３の機能構成及び処理の具体例について説明する。図７は、エッジ装置の圧縮率決定部の機能構成及び処理の具体例を示す第１の図である。図７に示すように、圧縮率決定部１２３は、マップ取得部７０１、変換情報取得部７０２、予測部７０３、圧縮率算出部７０４を有する。
【0079】
マップ取得部７０１は、クラウド装置１３０よりマップ（例えば、第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０）を取得し、予測部７０３に通知する。
【0080】
変換情報取得部７０２は、解析部１２２より変換情報（例えば、第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０から、第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップ１６０を予測するための変換情報）を取得する。また、変換情報取得部７０２は、取得した変換情報を、予測部７０３に通知する。
【0081】
予測部７０３は、変換情報取得部７０２より通知された変換情報に基づいて、第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０から、第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップ１６０を予測し、圧縮率算出部７０４に通知する。
【0082】
圧縮率算出部７０４は、予測部７０３より通知されたマップ１６０に基づいて、符号化部１２４が画像データ（第２の時間（＝ｔ＋ｘ）の画像データ１８０）を符号化する際の、各処理ブロックの圧縮率を決定することで圧縮率情報１７０を生成する。具体的には、圧縮率算出部７０４は、処理ブロックごとにマップ１６０の各画素値を集計し、集計結果に応じた圧縮率を決定することで、圧縮率情報１７０を生成する。図７の例は、圧縮率情報１７０のうち、ハッチングされた処理ブロックの圧縮率が、ハッチングされていない処理ブロックの圧縮率よりも小さいことを示している。
【0083】
（４）符号化部の機能構成及び処理の具体例
次に、符号化部１２４の機能構成及び処理の具体例について説明する。図８は、エッジ装置の符号化部の機能構成及び処理の具体例を示す図である。図８に示すように、符号化部１２４は、差分部８０１、直交変換部８０２、量子化部８０３、エントロピ符号化部８０４、逆量子化部８０５、逆直交変換部８０６を有する。また、符号化部１２４は、加算部８０７、バッファ部８０８、ループ内フィルタ部８０９、フレームバッファ部８１０、画面内予測部８１１、画面間予測部８１２を有する。
次に、符号化部１２４の機能構成及び処理の具体例について説明する。図８は、エッジ装置の符号化部の機能構成及び処理の具体例を示す図である。図８に示すように、符号化部１２４は、差分部８０１、直交変換部８０２、量子化部８０３、エントロピ符号化部８０４、逆量子化部８０５、逆直交変換部８０６を有する。また、符号化部１２４は、加算部８０７、バッファ部８０８、ループ内フィルタ部８０９、フレームバッファ部８１０、画面内予測部８１１、画面間予測部８１２を有する。
【0084】
差分部８０１は、画像データ（例えば、第２の時間（＝ｔ＋ｘ）の画像データ１８０）と予測画像データとの差分を算出し、予測残差信号を出力する。
【0085】
直交変換部８０２は、差分部８０１により出力された予測残差信号に対して、直交変換処理を実行する。
【0086】
量子化部８０３は、直交変換処理された予測残差信号を量子化し、量子化信号を生成する。量子化部８０３では、圧縮率決定部１２３により処理ブロックごとに決定された圧縮率を含む圧縮率情報１７０を用いて量子化信号を生成する。
【0087】
エントロピ符号化部８０４は、量子化信号に対してエントロピ符号化処理を行うことで、符号化データを生成する。
【0088】
逆量子化部８０５は、量子化信号を逆量子化する。逆直交変換部８０６は、逆量子化された量子化信号に対して、逆直交変換処理を実行する。
【0089】
加算部８０７は、逆直交変換部８０６より出力された信号と、予測画像とを加算することで、参照画像データを生成する。バッファ部８０８は、加算部８０７により生成された参照画像データを格納する。
【0090】
ループ内フィルタ部８０９は、バッファ部８０８に格納された参照画像データに対してフィルタ処理を行う。ループ内フィルタ部８０９には、
・デブロッキングフィルタ（Deblocking filter：ＤＢ）、
・サンプルアダプティブオフセットフィルタ（Sample Adaptive Offset filter：ＳＡＯ）、
・適応ループフィルタ（Adaptive loop filter：ＡＬＦ）、
が含まれる。
・デブロッキングフィルタ（Deblocking filter：ＤＢ）、
・サンプルアダプティブオフセットフィルタ（Sample Adaptive Offset filter：ＳＡＯ）、
・適応ループフィルタ（Adaptive loop filter：ＡＬＦ）、
が含まれる。
【0091】
フレームバッファ部８１０は、ループ内フィルタ部８０９によりフィルタ処理が行われた参照画像データをフレーム単位で格納する。
【0092】
画面内予測部８１１は、参照画像データに基づいて画面内予測を行い、予測画像データを生成する。画面間予測部８１２は、入力された画像データ（例えば、第２の時間（＝ｔ＋ｘ）の画像データ１８０）と参照画像データとを用いてフレーム間で動き補償を行い、予測画像データを生成する。
【0093】
なお、画面内予測部８１１または画面間予測部８１２により生成された予測画像データは、差分部８０１及び加算部８０７に出力される。
【0094】
なお、上記説明では、符号化部１２４が、ＭＰＥＧ－２、ＭＰＥＧ－４、Ｈ．２６４、ＨＥＶＣなどの既存の動画符号化方式を用いて符号化処理を行うものとした。しかしながら、符号化部１２４が行う符号化処理は、これらの動画符号化方式に限定されず、量子化により圧縮率を制御する任意の符号化方式を用いて行われてもよい。
【0095】
＜画像処理システムによる符号化処理の流れ＞
次に、画像処理システム１００全体により実行される符号化処理の流れについて説明する。図９は、画像処理システムによる符号化処理の流れを示す第１のフローチャートである。撮像装置１１０による撮影が開始されることで、図９に示す符号化処理が開始される。
次に、画像処理システム１００全体により実行される符号化処理の流れについて説明する。図９は、画像処理システムによる符号化処理の流れを示す第１のフローチャートである。撮像装置１１０による撮影が開始されることで、図９に示す符号化処理が開始される。
【0096】
ステップＳ９０１において、エッジ装置１２０のバッファ部１２１は、撮像装置１１０より送信される動画像データの各フレームの画像データを取得し、バッファリングする。
【0097】
ステップＳ９０２において、エッジ装置１２０の解析部１２２は、バッファ部１２１にバッファリングされた画像データから、第１の時間（＝ｔ）の画像データを読み出し、符号化部１２４に通知して符号化した後、クラウド装置１３０に送信する。
【0098】
ステップＳ９０３において、クラウド装置１３０のマップ生成部１３１は、第１の時間（＝ｔ）の画像データに対応するマップを生成し、エッジ装置１２０に送信する。
【0099】
ステップＳ９０４において、エッジ装置１２０の解析部１２２は、バッファ部１２１より第２の時間（＝ｔ＋ｘ）の画像データを読み出し、第１の時間（＝ｔ）の画像データからの変化量を算出する。これにより、エッジ装置１２０の解析部１２２は、第２の時間（＝ｔ＋ｘ）でのオブジェクトの動きを解析し、動き情報を生成する。また、エッジ装置１２０の解析部１２２は、生成した動き情報に基づき、変換情報を生成する。
【0100】
ステップＳ９０５において、エッジ装置１２０の圧縮率決定部１２３は、変換情報を用いて、第１の時間（＝ｔ）の画像データに対応するマップを変換し、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップを予測する。
【0101】
ステップＳ９０６において、エッジ装置１２０の圧縮率決定部１２３は、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップに基づいて、第２の時間（＝ｔ＋ｘ）の画像データを符号化する際の各処理ブロックの圧縮率を決定する。
【0102】
ステップＳ９０７において、エッジ装置１２０の符号化部１２４は、圧縮率決定部１２３により決定された各処理ブロックの圧縮率を用いて、第２の時間（＝ｔ＋ｘ）の画像データを符号化する。
【0103】
ステップＳ９０８において、エッジ装置１２０は、符号化処理を終了するか否かを判定する。ステップＳ９０８において、符号化処理を継続すると判定した場合には（ステップＳ９０８においてＮＯの場合には）、ステップＳ９０１に戻る。この場合、画像処理システム１００では、第１の時間＝ｔ）をフレーム周期分進めて、同様の処理を実行する。
【0104】
一方、ステップＳ９０８において、符号化処理を終了すると判定した場合には（ステップＳ９０８においてＹＥＳの場合には）、符号化処理を終了する。
【0105】
以上の説明から明らかなように、第１の実施形態に係る画像処理システム１００は、第１の時間に取得された画像データに対して画像認識処理を実行することで、画像認識処理に影響を与える特徴部分を可視化したマップを生成する。また、第１の実施形態に係る画像処理システム１００は、生成した第１の時間でのマップと、第１の時間より後の第２の時間でのオブジェクトの動きとに基づいて、第２の時間でのマップを予測する。更に、第１の実施形態に係る画像処理システム１００は、予測したマップに基づき、処理ブロックごとに決定した圧縮率を用いて、第２の時間に取得された画像データを符号化する。
【0106】
このように、画像処理システム１００では、画像認識処理に影響を与える特徴部分を可視化したマップに基づき圧縮率を決定する際、決定した圧縮率が反映されるまでの時間（所定時間ｘ）に応じてマップを変換し、所定時間が経過した後のマップを予測する。これにより、画像認識処理に適した圧縮率を、符号化対象の画像データにおいて適切な位置に反映させることができる。
【0107】
この結果、第１の実施形態によれば、画像認識処理に適した圧縮率を反映した符号化処理を実現することができる。
【0108】
［第２の実施形態］
上記第１の実施形態では、第１の時間（＝ｔ）でのマップと第２の時間（＝ｔ＋ｘ）でのオブジェクトの動きとに基づいて、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップを予測した。これに対して、第２の実施形態では、第３の時間（＝ｔ＋ｙ（ｙ＜ｘ））の画像データに対応するマップと、第３の時間でのオブジェクトに対応する領域の動きとに基づいて、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップを予測する。以下、第２の実施形態について、第１の実施形態との相違点を中心に説明する。
上記第１の実施形態では、第１の時間（＝ｔ）でのマップと第２の時間（＝ｔ＋ｘ）でのオブジェクトの動きとに基づいて、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップを予測した。これに対して、第２の実施形態では、第３の時間（＝ｔ＋ｙ（ｙ＜ｘ））の画像データに対応するマップと、第３の時間でのオブジェクトに対応する領域の動きとに基づいて、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップを予測する。以下、第２の実施形態について、第１の実施形態との相違点を中心に説明する。
【0109】
＜画像処理システムのシステム構成＞
はじめに、第２の実施形態に係る画像処理システムのシステム構成について説明する。図１０は、画像処理システムのシステム構成の一例を示す第２の図である。図１０に示すように、画像処理システム１０００の場合、図１の画像処理システム１００に対して以下の相違点を有する。
はじめに、第２の実施形態に係る画像処理システムのシステム構成について説明する。図１０は、画像処理システムのシステム構成の一例を示す第２の図である。図１０に示すように、画像処理システム１０００の場合、図１の画像処理システム１００に対して以下の相違点を有する。
【0110】
具体的には、エッジ装置１２０の解析部１００１が、第１の時間（＝ｔ）より所定時間（＝ｙ）後の第３の時間（＝ｔ＋ｙ）にバッファリングされた画像データ１０１０を読み出し、符号化部１２４に通知して符号化する点である。そして、エッジ装置１２０の解析部１００１が、第３の時間（＝ｔ＋ｙ）にバッファリングされた画像データ１０１０を符号化した符号化データを、クラウド装置１３０に送信する点である。
【0111】
なお、第３の時間（＝ｔ＋ｙ）は、例えば、
・時間ｙと、
・第３の時間の画像データ１０１０をクラウド装置１３０に送信する際にかかる送信時間と、
・クラウド装置１３０において第３の時間の画像データ１０１０に対応するマップ１０２０を生成する際にかかる生成時間と、
・生成したマップ１０２０をエッジ装置１２０に送信する際にかかる送信時間と、
を加算した時間が、所定時間ｘと概ね等しくなるように調整した時間ｙを第１の時間（＝ｔ）に加算した時間である。
・時間ｙと、
・第３の時間の画像データ１０１０をクラウド装置１３０に送信する際にかかる送信時間と、
・クラウド装置１３０において第３の時間の画像データ１０１０に対応するマップ１０２０を生成する際にかかる生成時間と、
・生成したマップ１０２０をエッジ装置１２０に送信する際にかかる送信時間と、
を加算した時間が、所定時間ｘと概ね等しくなるように調整した時間ｙを第１の時間（＝ｔ）に加算した時間である。
【0112】
また、図１の画像処理システム１００との相違点は、エッジ装置１２０の圧縮率決定部１００２が、クラウド装置１３０より送信されたマップ１６０'に基づいて、圧縮率情報１７０を生成する点である。
【0113】
なお、第３の時間（＝ｔ＋ｙ）と第２の時間（＝ｔ＋ｘ）との間には、バッファリングされた複数の画像データが存在してもよいことは、上記第１の実施形態と同様である。
【0114】
また、図１の画像処理システム１００との相違点は、クラウド装置１３０のマップ生成部１３１が、第３の時間（＝ｔ＋ｙ）の画像データ１０１０に対応するマップ１０２０を生成する点である。
【0115】
更に、図１の画像処理システム１００との相違点は、クラウド装置１３０が解析部１００３を有し、解析部１００３が、
・第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０と、
・第３の時間（＝ｔ＋ｙ）の画像データ１０１０に対応するマップ１０２０と、
に基づいて、第２の時間（ｔ＋ｘ）の画像データ１８０に対応するマップ１６０'を予測する点である。
・第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０と、
・第３の時間（＝ｔ＋ｙ）の画像データ１０１０に対応するマップ１０２０と、
に基づいて、第２の時間（ｔ＋ｘ）の画像データ１８０に対応するマップ１６０'を予測する点である。
【0116】
＜エッジ装置の処理の具体例＞
次に、エッジ装置１２０の処理の具体例（ここでは、バッファ部１２１の処理の具体例）について説明する。図１１は、エッジ装置のバッファ部の処理の具体例を示す第２の図である。図１１に示すように、エッジ装置１２０のバッファ部１２１は、撮像装置１１０より送信された動画像データに含まれる各フレームの画像データを、所定数バッファリングする。第２の実施形態においてエッジ装置１２０のバッファ部１２１にバッファリングされる画像データには、少なくとも、第３の時間（＝ｔ＋ｙ）の画像データ１０１０が含まれる。
次に、エッジ装置１２０の処理の具体例（ここでは、バッファ部１２１の処理の具体例）について説明する。図１１は、エッジ装置のバッファ部の処理の具体例を示す第２の図である。図１１に示すように、エッジ装置１２０のバッファ部１２１は、撮像装置１１０より送信された動画像データに含まれる各フレームの画像データを、所定数バッファリングする。第２の実施形態においてエッジ装置１２０のバッファ部１２１にバッファリングされる画像データには、少なくとも、第３の時間（＝ｔ＋ｙ）の画像データ１０１０が含まれる。
【0117】
＜クラウド装置の機能構成及び処理の具体例＞
次に、クラウド装置１３０の解析部１００３の機能構成及び処理の具体例について、図１２を用いて説明する。図１２は、クラウド装置の解析部の機能構成及び処理の具体例を示す第１の図である。
次に、クラウド装置１３０の解析部１００３の機能構成及び処理の具体例について、図１２を用いて説明する。図１２は、クラウド装置の解析部の機能構成及び処理の具体例を示す第１の図である。
【0118】
図１２に示すように、クラウド装置１３０の解析部１００３は、マップ取得部１２０１、動き解析部１２０２、予測部１２０３を有する。
【0119】
マップ取得部１２０１は、マップ生成部１３１から通知されるマップの組を取得する。具体的には、マップ取得部１２０１は、マップ生成部１３１において生成された、第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０と、第３の時間（＝ｔ＋ｙ）の画像データ１０１０に対応するマップ１０２０との組を取得する。また、マップ取得部１２０１は、取得したマップの組を動き解析部１２０２に通知する。
【0120】
動き解析部１２０２は、マップ取得部１２０１より通知されたマップの組に基づいて、時間ｙの間に生じたマップの変化量を算出し、算出した変化量に基づいて動き情報を生成する。
【0121】
例えば、動き解析部１２０２は、マップ１５０に含まれるオブジェクトに対応する領域の座標、傾き、高さ、幅、面積等の特徴量を算出する。また、例えば、動き解析部１２０２は、マップ１０２０に含まれるオブジェクトに対応する領域の座標、傾き、高さ、幅、面積等の特徴量を算出する。
【0122】
更に、動き解析部１２０２は、例えば、マップ１５０とマップ１０２０との間の特徴量の変化量である、座標差、回転角度差、縦横縮尺比等を算出することで、第３の時間（＝ｔ＋ｙ）でのオブジェクトに対応する領域の動きを解析し、動き情報を生成する。また、動き解析部１２０２では、生成した動き情報を、予測部１２０３に通知する。
【0123】
予測部１２０３は、動き解析部１２０２より通知された動き情報に基づいて、第３の時間（＝ｔ＋ｙ）の画像データ１０１０に対応するマップ１０２０から、第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップ１６０'を予測するための変換情報を生成する。また、予測部１２０３は、生成した変換情報に基づいて、第３の時間（＝ｔ＋ｙ）の画像データ１０１０に対応するマップ１０２０から、第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップ１６０'を予測する。なお、予測部１２０３により予測されたマップ１６０'は、エッジ装置１２０に送信される。
【0124】
＜画像処理システムによる符号化処理の流れ＞
次に、画像処理システム１０００全体により実行される符号化処理の流れについて説明する。図１３は、画像処理システムによる符号化処理の流れを示す第２のフローチャートである。図９との相違点は、ステップＳ１３０１～Ｓ１３０４である。
次に、画像処理システム１０００全体により実行される符号化処理の流れについて説明する。図１３は、画像処理システムによる符号化処理の流れを示す第２のフローチャートである。図９との相違点は、ステップＳ１３０１～Ｓ１３０４である。
【0125】
ステップＳ１３０１において、エッジ装置１２０の解析部１００１は、バッファ部１２１にバッファリングされた画像データから、第３の時間（＝ｔ＋ｙ）の画像データを読み出し、符号化部１２４に通知して符号化した後、クラウド装置１３０に送信する。
【0126】
ステップＳ１３０２において、クラウド装置１３０のマップ生成部１３１は、第３の時間（＝ｔ＋ｙ）の画像データに対応するマップを生成する。
【0127】
ステップＳ１３０３において、クラウド装置１３０の解析部１００３は、第３の時間（＝ｔ＋ｙ）の画像データに対応するマップの、第１の時間（＝ｔ）の画像データに対応するマップからの変化量を算出する。これにより、クラウド装置１３０の解析部１００３は、第３の時間（＝ｔ＋ｙ）でのオブジェクトに対応する領域の動きを解析し、動き情報を生成する。また、クラウド装置１３０の解析部１００３は、生成した動き情報に基づき、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップを予測するための変換情報を生成する。
【0128】
ステップＳ１３０４において、クラウド装置１３０の解析部１００３は、生成された変換情報を用いて、第３の時間（＝ｔ＋ｙ）の画像データに対応するマップを変換することで、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップを予測する。
【0129】
以上の説明から明らかなように、第２の実施形態に係る画像処理システム１０００は、第３の時間の画像データに対応するマップと、第３の時間でのオブジェクトに対応する領域の動きとに基づいて、第２の時間の画像データに対応するマップを予測する。これにより、第２の実施形態に係る画像処理システム１０００によれば、上記第１の実施形態と同様の効果を享受することができる。
【0130】
［第３の実施形態］
上記第１の実施形態と第２の実施形態とでは、異なる手法により、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップを予測し、それぞれの手法で予測したマップを用いて圧縮率を決定した。
上記第１の実施形態と第２の実施形態とでは、異なる手法により、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップを予測し、それぞれの手法で予測したマップを用いて圧縮率を決定した。
【0131】
これに対して、第３の実施形態では、第１の実施形態において予測した第２の時間（＝ｔ＋ｘ）の画像データに対応するマップと、第２の実施形態において予測した第２の時間（＝ｔ＋ｘ）の画像データに対応するマップとを用いて、圧縮率を決定する。以下、第１及び第２の実施形態との相違点を中心に説明する。
【0132】
＜画像処理システムのシステム構成＞
図１４は、画像処理システムのシステム構成の一例を示す第３の図である。図１または図１０の画像処理システム１００、１０００との相違点は、解析部１４０１、圧縮率決定部１４０２である。
図１４は、画像処理システムのシステム構成の一例を示す第３の図である。図１または図１０の画像処理システム１００、１０００との相違点は、解析部１４０１、圧縮率決定部１４０２である。
【0133】
図１４に示すように、画像処理システム１４００の場合、解析部１４０１は、第１の時間（＝ｔ）にバッファリングされた画像データ１４０を読み出し、符号化部１２４に通知して符号化した後、符号化データをクラウド装置１３０に送信する。また、解析部１４０１は、第１の時間（＝ｔ）より所定時間（＝ｙ）後の第３の時間（＝ｔ＋ｙ）にバッファリングされた画像データ１０１０を読み出し、符号化部１２４に通知して符号化した後、符号化データをクラウド装置１３０に送信する。また、解析部１４０１は、第１の時間（＝ｔ）より所定時間（＝ｘ）後の第２の時間（＝ｔ＋ｘ）にバッファリングされた画像データ１８０を読み出し（ただし、ｙ＜ｘ）、符号化部１２４に通知する。また、解析部１４０１は、第２の時間（＝ｔ＋ｘ）にバッファリングされた画像データ１８０の、第１の時間（＝ｔ）にバッファリングされた画像データからの変化量を算出することで、第２の時間（＝ｔ＋ｘ）でのオブジェクトの動きを解析し、動き情報を生成する。更に、解析部１４０１は、生成した動き情報に基づいて変換情報を生成し、圧縮率決定部１２３に通知する。
【0134】
圧縮率決定部１４０２は、クラウド装置１３０により生成されたマップであって、第１の時間（＝ｔ）の画像データに対応するマップ１５０を取得する。また、圧縮率決定部１４０２は、取得したマップ１５０を、解析部１４０１より通知された変換情報に基づいて変換し、第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップ１６０を予測する。
【0135】
また、圧縮率決定部１４０２は、クラウド装置１３０により生成されたマップであって、第２の時間（＝ｔ＋ｙ）の画像データに対応するマップ１６０'を取得する。
【0136】
また、圧縮率決定部１４０２は、予測したマップ１６０と、取得したマップ１６０'とに基づいて、第２の時間（＝ｔ＋ｘ）の画像データ１８０を符号化する際の各処理ブロックの圧縮率を決定する。更に、圧縮率決定部１４０２は、各処理ブロックについて決定した圧縮率を、圧縮率情報１７０として符号化部１２４に通知する。
【0137】
以上の説明から明らかなように、第３の実施形態に係る画像処理システム１４００は、異なる手法により予測した、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップ１６０、１６０'に基づいて圧縮率を決定する。これにより、第３の実施形態に係る画像処理システム１４００によれば、画像認識処理に適した圧縮率を、符号化対象の画像データにおいてより適切な位置に反映させることができる。
【0138】
この結果、第３の実施形態に係る画像処理システム１４００によれば、画像認識処理に適した圧縮率を反映した符号化処理を実現することができる。
【0139】
［第４の実施形態］
上記各実施形態では、バッファ部１２１にバッファリングされた時間順に従って画像データを処理することで、時間軸において過去の画像データに対応するマップから、時間軸において未来の画像データに対応するマップを予測する場合について説明した。
上記各実施形態では、バッファ部１２１にバッファリングされた時間順に従って画像データを処理することで、時間軸において過去の画像データに対応するマップから、時間軸において未来の画像データに対応するマップを予測する場合について説明した。
【0140】
これに対して、第４の実施形態では、バッファ部１２１にバッファリングされた時間順とは異なる順序で画像データを処理する（つまり、画像データを並び替えて処理する）。更に、第４の実施形態では、時間軸上で前後の画像データに挟み込まれている画像データに対応するマップを、前後の画像データに対応する各マップに基づいて予測する。
【0141】
例えば、第４の実施形態では、
・第１の時間（＝ｔ）→第２の時間（＝ｔ＋ｘ）→第４の時間（＝ｔ＋ｚ）の時間順にバッファ部１２１にバッファリングされた画像データに対して（ただし、ｘ＜ｚ）、
・第１の時間（＝ｔ）→第４の時間（＝ｔ＋ｚ）→第２の時間（＝ｔ＋ｘ）の時間順に画像データを並び替えて処理する。そして、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップを、第１の時間（＝ｔ）の画像データに対応するマップと、第４の時間（＝ｔ＋ｚ）の画像データに対応するマップとに基づいて予測する。
・第１の時間（＝ｔ）→第２の時間（＝ｔ＋ｘ）→第４の時間（＝ｔ＋ｚ）の時間順にバッファ部１２１にバッファリングされた画像データに対して（ただし、ｘ＜ｚ）、
・第１の時間（＝ｔ）→第４の時間（＝ｔ＋ｚ）→第２の時間（＝ｔ＋ｘ）の時間順に画像データを並び替えて処理する。そして、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップを、第１の時間（＝ｔ）の画像データに対応するマップと、第４の時間（＝ｔ＋ｚ）の画像データに対応するマップとに基づいて予測する。
【0142】
このように、第４の実施形態では、画像データを並び替え、時間軸上で前後の画像データに挟み込まれている画像データに対応するマップを予測する。これにより、第４の実施形態によれば、時間軸において過去の画像データに対応するマップから未来の画像データに対応するマップを予測する場合と比較して、予測精度を向上させることができる。以下、第４の実施形態について、第１の実施形態との相違点を中心に説明する。
【0143】
＜画像処理システムのシステム構成＞
はじめに、第４の実施形態に係る画像処理システムのシステム構成について説明する。図１５は、画像処理システムのシステム構成の一例を示す第４の図である。図１５に示すように、画像処理システム１５００の場合、図１の画像処理システム１００に対して以下の相違点を有する。
はじめに、第４の実施形態に係る画像処理システムのシステム構成について説明する。図１５は、画像処理システムのシステム構成の一例を示す第４の図である。図１５に示すように、画像処理システム１５００の場合、図１の画像処理システム１００に対して以下の相違点を有する。
【0144】
具体的には、エッジ装置１２０の解析部１５０１が、第１の時間（＝ｔ）より所定時間（＝ｚ＞ｘ）後の第４の時間（＝ｔ＋ｚ）にバッファリングされた画像データ１５１０を読み出し、符号化部１２４に通知して符号化する点である。そして、エッジ装置１２０の解析部１５０１が第４の時間（＝ｔ＋ｚ）にバッファリングされた画像データ１５１０を符号化した符号化データをクラウド装置１３０に送信する点である。
【0145】
つまり、エッジ装置１２０の解析部１５０１の場合、第３の時間（＝ｔ＋ｘ）にバッファリングされた画像データ１０１０（図１５において不図示）を読み出す前に、第４の時間（＝ｔ＋ｚ）にバッファリングされた画像データ１５１０を読み出す。これにより、画像データ１０１０と画像データ１５１０との間で並べ替えが行われることになる。
【0146】
また、図１の画像処理システム１００との相違点は、エッジ装置１２０の圧縮率決定部１５０２が、クラウド装置１３０より送信されたマップ１６０'に基づいて、圧縮率情報１７０を生成する点である。
【0147】
更に、図１の画像処理システム１００との相違点は、クラウド装置１３０が解析部１５０３を有し、解析部１５０３が、
・第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０と、
・第４の時間（＝ｔ＋ｚ）の画像データ１５１０に対応するマップ１５２０と、
に基づいて、第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップ１６０'を予測する点である。
・第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０と、
・第４の時間（＝ｔ＋ｚ）の画像データ１５１０に対応するマップ１５２０と、
に基づいて、第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップ１６０'を予測する点である。
【0148】
なお、所定時間（＝ｚ）は、第１の時間（＝ｔ）と第４の時間（＝ｔ＋ｚ）との間にバッファリングされる画像データの数が、一般的な動画像符号化処理の双方向参照符号化構造を形成するのに必要な数となるように調整されているものとする。
【0149】
＜エッジ装置の処理の具体例＞
次に、エッジ装置１２０の処理の具体例（ここでは、バッファ部１２１の処理の具体例）について説明する。図１６は、エッジ装置のバッファ部の処理の具体例を示す第３の図である。図１６に示すように、エッジ装置１２０のバッファ部１２１は、撮像装置１１０より送信された動画像データに含まれる各フレームの画像データのうち、所定数のフレームの画像データをバッファリングする。第４の実施形態においてエッジ装置１２０のバッファ部１２１にバッファリングされる画像データには、第１の時間（＝ｔ）の画像データ１４０と、第２の時間（＝ｔ＋ｘ）の画像データ１８０と、第４の時間（＝ｔ＋ｚ）の画像データ１５１０とが含まれる。
次に、エッジ装置１２０の処理の具体例（ここでは、バッファ部１２１の処理の具体例）について説明する。図１６は、エッジ装置のバッファ部の処理の具体例を示す第３の図である。図１６に示すように、エッジ装置１２０のバッファ部１２１は、撮像装置１１０より送信された動画像データに含まれる各フレームの画像データのうち、所定数のフレームの画像データをバッファリングする。第４の実施形態においてエッジ装置１２０のバッファ部１２１にバッファリングされる画像データには、第１の時間（＝ｔ）の画像データ１４０と、第２の時間（＝ｔ＋ｘ）の画像データ１８０と、第４の時間（＝ｔ＋ｚ）の画像データ１５１０とが含まれる。
【0150】
なお、第２の時間（＝ｔ＋ｘ）と第４の時間（＝ｔ＋ｚ）との間には、バッファリングされた複数の画像データが存在してもよいことは、上記第１の実施形態と同様である。
【0151】
＜クラウド装置の機能構成及び処理の具体例＞
次に、クラウド装置１３０の解析部１５０３の機能構成及び処理の具体例について、図１７を用いて説明する。図１７は、クラウド装置の解析部の機能構成及び処理の具体例を示す第２の図である。
次に、クラウド装置１３０の解析部１５０３の機能構成及び処理の具体例について、図１７を用いて説明する。図１７は、クラウド装置の解析部の機能構成及び処理の具体例を示す第２の図である。
【0152】
図１７に示すように、クラウド装置１３０の解析部１５０３は、マップ取得部１７０１、動き解析部１７０２、予測部１７０３を有する。
【0153】
マップ取得部１７０１は、マップ生成部１３１から通知されるマップの組を取得する。具体的には、マップ取得部１７０１は、マップ生成部１３１において生成された、第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０と、第４の時間（＝ｔ＋ｚ）の画像データ１５１０に対応するマップ１５２０との組を取得する。また、マップ取得部１７０１は、取得したマップの組を動き解析部１７０２に通知する。
【0154】
動き解析部１７０２は、マップ取得部１７０１より通知されたマップの組に基づいて、時間ｚの間に生じたマップの変化量を算出し、算出した変化量に基づいて動き情報を生成する。
【0155】
例えば、動き解析部１７０２は、マップ１５０に含まれるオブジェクトに対応する領域の座標、傾き、高さ、幅、面積等の特徴量を算出する。また、例えば、動き解析部１７０２は、マップ１５２０に含まれるオブジェクトに対応する領域の座標、傾き、高さ、幅、面積等の特徴量を算出する。
【0156】
更に、動き解析部１７０２は、例えば、マップ１５０とマップ１５２０との間の特徴量の変化量である、座標差、回転角度差、縦横縮尺比等を算出することで、第２の時間（＝ｔ＋ｘ）でのオブジェクトに対応する領域の動きを解析し、動き情報を生成する。また、動き解析部１７０２では、生成した動き情報を、予測部１７０３に通知する。
【0157】
予測部１７０３は、動き解析部１７０２より通知された動き情報に基づいて、
・第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０と、
・第４の時間（＝ｔ＋ｚ）の画像データ１５１０に対応するマップ１５２０と、
を変換し、第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップ１６０'を予測するための変換情報を生成する。また、予測部１７０３は、生成した変換情報に基づいて、
・第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０と、
・第４の時間（＝ｔ＋ｚ）の画像データ１５１０に対応するマップ１５２０と、
から、第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップ１６０'を予測する。なお、予測部１７０３により予測されたマップ１６０'は、エッジ装置１２０に送信される。
・第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０と、
・第４の時間（＝ｔ＋ｚ）の画像データ１５１０に対応するマップ１５２０と、
を変換し、第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップ１６０'を予測するための変換情報を生成する。また、予測部１７０３は、生成した変換情報に基づいて、
・第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０と、
・第４の時間（＝ｔ＋ｚ）の画像データ１５１０に対応するマップ１５２０と、
から、第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップ１６０'を予測する。なお、予測部１７０３により予測されたマップ１６０'は、エッジ装置１２０に送信される。
【0158】
＜画像処理システムによる符号化処理の流れ＞
次に、画像処理システム１５００全体により実行される符号化処理の流れについて説明する。図１８は、画像処理システムによる符号化処理の流れを示す第３のフローチャートである。図９との相違点は、ステップＳ１８０１～Ｓ１８０４である。
次に、画像処理システム１５００全体により実行される符号化処理の流れについて説明する。図１８は、画像処理システムによる符号化処理の流れを示す第３のフローチャートである。図９との相違点は、ステップＳ１８０１～Ｓ１８０４である。
【0159】
ステップＳ１８０１において、エッジ装置１２０の解析部１５０１は、バッファ部１２１にバッファリングされた画像データから、第４の時間（＝ｔ＋ｚ）の画像データを読み出し、符号化部１２４に通知して符号化した後、クラウド装置１３０に送信する。
【0160】
ステップＳ１８０２において、クラウド装置１３０のマップ生成部１３１は、第４の時間（＝ｔ＋ｚ）の画像データに対応するマップを生成する。
【0161】
ステップＳ１８０３において、クラウド装置１３０の解析部１５０３は、第４の時間（＝ｔ＋ｚ）の画像データに対応するマップの、第１の時間（＝ｔ）の画像データに対応するマップからの変化量を算出する。これにより、クラウド装置１３０の解析部１５０３は、第２の時間（＝ｔ＋ｘ）でのオブジェクトに対応する領域の動きを解析し、動き情報を生成する。また、クラウド装置１３０の解析部１５０３は、生成した動き情報に基づき、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップを予測するための変換情報を生成する。
【0162】
ステップＳ１８０４において、クラウド装置１３０の解析部１５０３は、生成された変換情報を用いて、第１の時間（＝ｔ）及び第４の時間（＝ｔ＋ｘ）の画像データに対応するマップを変換する。これにより、クラウド装置１３０の解析部１５０３では、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップを予測する。
【0163】
以上の説明から明らかなように、第４の実施形態に係る画像処理システム１５００は、第１及び第４の時間の画像データに対応するマップと、第２の時間でのオブジェクトに対応する領域の動きとに基づいて、第２の時間の画像データに対応するマップを予測する。これにより、第４の実施形態に係る画像処理システム１５００によれば、上記第１の実施形態と同様の効果を享受することができる。
【0164】
［第５の実施形態］
上記第１乃至第４の実施形態では、撮像装置１１０から送信された動画像データの各フレームの画像データを全てクラウド装置１３０に送信するものとして説明した。これに対して、第５の実施形態では、動画像データの各フレームの画像データのうち、一部の画像データをクラウド装置１３０に送信し、クラウド装置１３０にて一部の画像データに対応するマップを生成する。また、第５の実施形態では、マップが生成された一部の画像データの間に挟まれる他の画像データに対応するマップを、当該一部の画像データに対応するマップに基づいて予測する。以下、第５の実施形態について、上記第１の実施形態との相違点を中心に説明する。
上記第１乃至第４の実施形態では、撮像装置１１０から送信された動画像データの各フレームの画像データを全てクラウド装置１３０に送信するものとして説明した。これに対して、第５の実施形態では、動画像データの各フレームの画像データのうち、一部の画像データをクラウド装置１３０に送信し、クラウド装置１３０にて一部の画像データに対応するマップを生成する。また、第５の実施形態では、マップが生成された一部の画像データの間に挟まれる他の画像データに対応するマップを、当該一部の画像データに対応するマップに基づいて予測する。以下、第５の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【0165】
＜画像処理システムのシステム構成＞
はじめに、第５の実施形態に係る画像処理システムのシステム構成について説明する。図１９は、画像処理システムのシステム構成の一例を示す第５の図である。図１、図１０、図１４、図１５の画像処理システム１００、１０００、１４００、１５００との相違点は、解析部１９０１、圧縮率決定部１９０２である。
はじめに、第５の実施形態に係る画像処理システムのシステム構成について説明する。図１９は、画像処理システムのシステム構成の一例を示す第５の図である。図１、図１０、図１４、図１５の画像処理システム１００、１０００、１４００、１５００との相違点は、解析部１９０１、圧縮率決定部１９０２である。
【0166】
図１９に示すように、画像処理システム１９００の場合、解析部１９０１は、第１の時間（＝ｔ）にバッファリングされた画像データ１４０を読み出し、符号化部１２４に通知して符号化した後、符号化データをクラウド装置１３０に送信する。また、解析部１９０１は、第１の時間（＝ｔ）より所定時間（＝ｘ）後の第２の時間（＝ｔ＋ｘ）にバッファリングされた画像データ１８０を読み出し、符号化部１２４に通知して符号化した後、符号化データをクラウド装置１３０に送信する。
【0167】
また、解析部１９０１は、第１の時間（＝ｔ）と第２の時間（＝ｔ＋ｘ）との間にバッファリングされた全ての画像データ（図１９の例では、紙面の都合から、画像データ１０１０のみを明示）を読み出し、符号化部１２４に通知する。
【0168】
更に、解析部１９０１は、第１の時間（＝ｔ）と第２の時間（＝ｔ＋ｘ）との間にバッファリングされた全ての画像データについて、前後の画像データからの変換情報を生成し、圧縮率決定部１９０２に通知する。例えば、解析部１９０１は、画像データ１０１０について、前後の画像データである、画像データ１４０及び画像データ１８０からの変換情報を生成し、圧縮率決定部１９０２に通知する。
【0169】
圧縮率決定部１９０２は、クラウド装置１３０により算出されたマップであって、第１の時間（＝ｔ）の画像データに対応するマップ１５０と、第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップ１６０とを取得する。また、圧縮率決定部１９０２は、取得したマップ１５０とマップ１６０とを、解析部１９０１より通知された変換情報に基づいて変換し、第３の時間（＝ｔ＋ｙ）の画像データ１０１０に対応するマップ１０２０を予測する。
【0170】
また、圧縮率決定部１９０２は、取得したマップ１５０と予測したマップ１０２０とを、解析部１９０１より通知された他の変換情報に基づいて変換し、第１の時間と第３の時間との間の時間の画像データ（不図示）に対応するマップを予測する。
【0171】
同様に、圧縮率決定部１９０２は、予測したマップ１０２０と算出したマップ１６０とを、解析部１９０１より通知された他の変換情報に基づいて変換し、第３の時間と第２の時間との間の時間の画像データ（不図示）に対応するマップを予測する。以下、同様の処理を繰り返すことで、圧縮率決定部１９０２では、第１の時間（＝ｔ）と第２の時間（＝ｔ＋ｘ）との間に含まれる全ての画像データに対応するマップを予測する。
【0172】
更に、圧縮率決定部１９０２は、第１の時間（＝ｔ）の画像データに対応するマップに基づいて、第１の時間（＝ｔ）の画像データを符号化する際に用いる各処理ブロックの圧縮率を決定し、圧縮率情報１９１０を生成する。また、圧縮率決定部１９０２は、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップに基づいて、第２の時間（＝ｔ＋ｘ）の画像データを符号化する際に用いる各処理ブロックの圧縮率を決定し、圧縮率情報１７０を生成する。更に、圧縮率決定部１９０２は、第１の時間（＝ｔ）と第２の時間（＝ｔ＋ｘ）との間の各画像データに対応する各マップに基づいて、第１の時間（＝ｔ）と第２の時間（＝ｔ＋ｘ）との間の各画像データを符号化する際に用いる各処理ブロックの圧縮率を決定する。更に、圧縮率決定部１９０２は、決定した各処理ブロックの圧縮率を有する圧縮率情報を生成する。図１９の例は、圧縮率決定部１９０２が、画像データ１０１０を符号化する際に用いる各処理ブロックの圧縮率を決定し、圧縮率情報１９２０を生成した様子を示している。
【0173】
【0174】
（１）バッファ部の処理の具体例
図２０は、エッジ装置のバッファ部の処理の具体例を示す第４の図である。図１９に示すように、エッジ装置１２０のバッファ部１２１は、撮像装置１１０より送信された動画像データに含まれる各フレームの画像データのうち、所定数のフレームの画像データをバッファリングする。第５の実施形態においてエッジ装置１２０のバッファ部１２１にバッファリングされる画像データには、第１の時間（＝ｔ）の画像データ１４０と、第２の時間（＝ｔ＋ｘ）の画像データ１８０と、第１の時間と第２の時間との間の各時間の画像データとが含まれる。
図２０は、エッジ装置のバッファ部の処理の具体例を示す第４の図である。図１９に示すように、エッジ装置１２０のバッファ部１２１は、撮像装置１１０より送信された動画像データに含まれる各フレームの画像データのうち、所定数のフレームの画像データをバッファリングする。第５の実施形態においてエッジ装置１２０のバッファ部１２１にバッファリングされる画像データには、第１の時間（＝ｔ）の画像データ１４０と、第２の時間（＝ｔ＋ｘ）の画像データ１８０と、第１の時間と第２の時間との間の各時間の画像データとが含まれる。
【0175】
図２０の例は、第１の時間と第２の時間との間の各時間の画像データとして、時間ｔ＋ｙ０～時間ｔ＋ｙ６の７フレームの画像データがバッファリングされることを示している。
【0176】
（２）解析部の機能構成及び処理の具体例
次に、解析部１９０１の機能構成及び処理の具体例について説明する。図２１は、エッジ装置の解析部の機能構成及び処理の具体例を示す第２の図である。図２１に示すように、解析部１９０１は、画像データ読み出し部２１０１、動き解析部２１０２、変換情報算出部２１０３を有する。
次に、解析部１９０１の機能構成及び処理の具体例について説明する。図２１は、エッジ装置の解析部の機能構成及び処理の具体例を示す第２の図である。図２１に示すように、解析部１９０１は、画像データ読み出し部２１０１、動き解析部２１０２、変換情報算出部２１０３を有する。
【0177】
画像データ読み出し部２１０１は、バッファ部１２１にバッファリングされた画像データ（例えば、第１の時間の画像データから第２の時間の画像データまで）を読み出す。また、画像データ読み出し部２１０１は、読み出した画像データを動き解析部２１０２及び符号化部１２４に通知する。また、画像データ読み出し部２１０１は、読み出した画像データのうち、符号化部１２４により符号化された第１の時間（＝ｔ）の画像データ及び第２の時間（＝ｔ＋ｘ）の画像データの符号化データを、クラウド装置１３０に送信する。
【0178】
動き解析部２１０２は、画像データ読み出し部２１０１から通知された画像データに基づいて、画像データの組を生成し、生成した組に基づいて、生成した組に挟み込まれる画像データの変化量を算出することで動き情報を生成する。
【0179】
例えば、第１の時間（＝ｔ）の画像データと、第２の時間（＝ｔ＋ｘ）の画像データとの組に基づいて、時間ｔ＋ｙ３の画像データの変化量を算出することで、時間ｔ＋ｙ３でのオブジェクトの動きを解析し、動き情報を生成する。また、第１の時間（＝ｔ）の画像データと、時間ｔ＋ｙ３の画像データとの組に基づいて、時間ｔ＋ｙ１の画像データの変化量を算出することで、時間ｔ＋ｙ１でのオブジェクトの動きを解析し、動き情報を生成する。また、時間ｔ＋ｙ３の画像データと第２の時間（＝ｔ＋ｘ）の画像データとの組に基づいて、時間ｔ＋ｙ５の画像データの変化量を算出することで時間ｔ＋ｙ５でのオブジェクトの動きを解析し、動き情報を生成する。
【0180】
以下、同様に、
・第１の時間（＝ｔ）の画像データと、時間ｔ＋ｙ１の画像データとの組に基づいて、時間ｔ＋ｙ０の画像データの変化量を算出することで、時間ｔ＋ｙ０でのオブジェクトの動きを解析し、動き情報を生成する。
・時間ｔ＋ｙ１の画像データと、時間ｔ＋ｙ３の画像データとの組に基づいて、時間ｔ＋ｙ２の画像データの変化量を算出することで、時間ｔ＋ｙ２でのオブジェクトの動きを解析し、動き情報を生成する。
・時間ｔ＋ｙ３の画像データと、時間ｔ＋ｙ５の画像データとの組に基づいて、時間ｔ＋ｙ４の画像データの変化量を算出することで、時間ｔ＋ｙ４でのオブジェクトの動きを解析し、動き情報を生成する。
・時間ｔ＋ｙ５の画像データと、第２の時間（＝ｔ＋ｘ）の画像データとの組に基づいて、時間ｔ＋ｙ６の画像データの変化量を算出することで、時間ｔ＋ｙ６でのオブジェクトの動きを解析し、動き情報を生成する。
・第１の時間（＝ｔ）の画像データと、時間ｔ＋ｙ１の画像データとの組に基づいて、時間ｔ＋ｙ０の画像データの変化量を算出することで、時間ｔ＋ｙ０でのオブジェクトの動きを解析し、動き情報を生成する。
・時間ｔ＋ｙ１の画像データと、時間ｔ＋ｙ３の画像データとの組に基づいて、時間ｔ＋ｙ２の画像データの変化量を算出することで、時間ｔ＋ｙ２でのオブジェクトの動きを解析し、動き情報を生成する。
・時間ｔ＋ｙ３の画像データと、時間ｔ＋ｙ５の画像データとの組に基づいて、時間ｔ＋ｙ４の画像データの変化量を算出することで、時間ｔ＋ｙ４でのオブジェクトの動きを解析し、動き情報を生成する。
・時間ｔ＋ｙ５の画像データと、第２の時間（＝ｔ＋ｘ）の画像データとの組に基づいて、時間ｔ＋ｙ６の画像データの変化量を算出することで、時間ｔ＋ｙ６でのオブジェクトの動きを解析し、動き情報を生成する。
【0181】
変換情報算出部２１０３は、動き解析部２１０２より通知されたそれぞれの動き情報に基づいて、画像データの組に対応するマップの組から、画像データの組に挟み込まれる画像データに対応するマップを予測するための変換情報を生成する。図２１の例は、変換情報算出部２１０３が、変換情報ｔ＋ｙ０～ｔ＋ｙ６を生成した様子を示している。
【0182】
（２）圧縮率決定部の機能構成及び処理の具体例
次に、圧縮率決定部１９０２の機能構成及び処理の具体例について説明する。図２２は、エッジ装置の圧縮率決定部の機能構成及び処理の具体例を示す第２の図である。図２２に示すように、圧縮率決定部１９０２は、マップ取得部２２０１、変換情報取得部２２０２、予測部２２０３、圧縮率算出部２２０４を有する。
次に、圧縮率決定部１９０２の機能構成及び処理の具体例について説明する。図２２は、エッジ装置の圧縮率決定部の機能構成及び処理の具体例を示す第２の図である。図２２に示すように、圧縮率決定部１９０２は、マップ取得部２２０１、変換情報取得部２２０２、予測部２２０３、圧縮率算出部２２０４を有する。
【0183】
マップ取得部２２０１は、クラウド装置１３０よりマップ（例えば、第１の時間（＝ｔ）及び第２の時間（＝ｔ＋ｘ）の画像データ１４０、１８０に対応するマップ１５０、１６０）を取得し、予測部２２０３に通知する。
【0184】
変換情報取得部２２０２は、解析部１９０１より変換情報（例えば、第１の時間（＝ｔ）と第２の時間（＝ｔ＋ｘ）との間の各フレームの画像データについて生成された変換情報ｔ＋ｙ０～ｔ＋ｙ６）を取得する。また、変換情報取得部２２０２は、取得した変換情報ｔ＋ｙ０～ｔ＋ｙ６を、予測部２２０３に通知する。
【0185】
予測部２２０３は、マップ取得部２２０１から通知された第１の時間（＝ｔ）の画像データに対応するマップ１５０及び第２の時間（＝ｔ＋ｘ）の画像データに対応するマップ１６０を圧縮率算出部２２０４に通知する。
【0186】
また、予測部２２０３は、第１の時間（＝ｔ）と第２の時間（＝ｔ＋ｘ）との間の各時間の画像データに対応するマップを予測する。例えば、
・第１の時間（＝ｔ）の画像データに対応するマップ１５０と、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップ１６０と、変換情報ｔ＋ｙ３とに基づいて、時間ｔ＋ｙ３の画像データに対応するマップ２２１３を予測する。
・第１の時間（＝ｔ）の画像データに対応するマップ１５０と、時間ｔ＋ｙ３の画像データに対応するマップ２２１３と、変換情報ｔ＋ｙ１とに基づいて、時間ｔ＋ｙ１の画像データに対応するマップを予測する。
・・・
・時間ｔ＋ｙ６の画像データに対応するマップと、第２の時間ｔ＋ｘの画像データ１８０に対応するマップ１６０と、変換情報ｔ＋ｙ６とに基づいて、時間ｔ＋ｙ６の画像データに対応するマップを予測する。
・第１の時間（＝ｔ）の画像データに対応するマップ１５０と、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップ１６０と、変換情報ｔ＋ｙ３とに基づいて、時間ｔ＋ｙ３の画像データに対応するマップ２２１３を予測する。
・第１の時間（＝ｔ）の画像データに対応するマップ１５０と、時間ｔ＋ｙ３の画像データに対応するマップ２２１３と、変換情報ｔ＋ｙ１とに基づいて、時間ｔ＋ｙ１の画像データに対応するマップを予測する。
・・・
・時間ｔ＋ｙ６の画像データに対応するマップと、第２の時間ｔ＋ｘの画像データ１８０に対応するマップ１６０と、変換情報ｔ＋ｙ６とに基づいて、時間ｔ＋ｙ６の画像データに対応するマップを予測する。
【0187】
圧縮率算出部２２０４は、予測部２２０３から通知されるマップに基づいて各処理ブロックの圧縮率を決定し、圧縮率情報を生成する。例えば、圧縮率算出部２２０４は、
・第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０に基づいて各処理ブロックの圧縮率を決定し、圧縮率情報１９１０を生成する。
・・・
・時間ｔ＋ｙ３の画像データに対応するマップ２２１３に基づいて各処理ブロックの圧縮率を決定し、圧縮率情報１９２０を生成する。
・・・
・第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップ１６０に基づいて各処理ブロックの圧縮率を決定し、圧縮率情報１７０を生成する。
・第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０に基づいて各処理ブロックの圧縮率を決定し、圧縮率情報１９１０を生成する。
・・・
・時間ｔ＋ｙ３の画像データに対応するマップ２２１３に基づいて各処理ブロックの圧縮率を決定し、圧縮率情報１９２０を生成する。
・・・
・第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップ１６０に基づいて各処理ブロックの圧縮率を決定し、圧縮率情報１７０を生成する。
【0188】
＜画像処理システムによる符号化処理の流れ＞
次に、画像処理システム１９００全体により実行される符号化処理の流れについて説明する。図２３は、画像処理システムによる符号化処理の流れを示す第４のフローチャートである。
次に、画像処理システム１９００全体により実行される符号化処理の流れについて説明する。図２３は、画像処理システムによる符号化処理の流れを示す第４のフローチャートである。
【0189】
ステップＳ２３０１において、エッジ装置１２０のバッファ部１２１は、撮像装置１１０より送信される動画像データの各フレームの画像データを取得し、バッファリングする。
【0190】
ステップＳ２３０２において、エッジ装置１２０の解析部１５０１は、バッファ部１２１にバッファリングされた画像データから、第１の時間（＝ｔ）及び第２の時間（＝ｔ＋ｘ）の画像データを読み出す。また、エッジ装置１２０の解析部１５０１は、読み出した第１の時間（＝ｔ）及び第２の時間（＝ｔ＋ｘ）の画像データを、符号化部１２４１に通知して符号化した後、クラウド装置１３０に送信する。
【0191】
ステップＳ２３０３において、クラウド装置１３０のマップ生成部１３１は、第１の時間（＝ｔ）及び第２の時間（＝ｔ＋ｘ）の画像データに対応するマップをそれぞれ生成し、エッジ装置１２０に送信する。
【0192】
ステップＳ２３０４において、エッジ装置１２０の解析部１９０１は、第１の時間（＝ｔ）と第２の時間（＝ｔ＋ｘ）との間の各時間のオブジェクトの動きを解析し、動き情報を生成する。また、エッジ装置１２０の解析部１９０１は、生成した動き情報に基づき、第１の時間（＝ｔ）と第２の時間（＝ｔ＋ｘ）との間の各時間の画像データに対応する変換情報を生成する。
【0193】
ステップＳ２３０５において、エッジ装置１２０の圧縮率決定部１９０２は、生成された変換情報に基づいて、第１の時間（＝ｔ）と第２の時間（＝ｔ＋ｘ）との間の各時間の画像データに対応する各マップを予測する。
【0194】
ステップＳ２３０６において、エッジ装置１２０の圧縮率決定部１９０２は、各マップに基づいて、第１の時間（＝ｔ）～第２の時間（＝ｔ＋ｘ）の各画像データを符号化する際の各処理ブロックの圧縮率を決定し、各圧縮率情報を生成する。
【0195】
ステップＳ２３０７において、エッジ装置１２０の符号化部１２４は、第１の時間（＝ｔ）～第２の時間（＝ｔ＋ｘ）の各画像データを、対応する各圧縮率情報を用いて符号化する。
【0196】
ステップＳ２３０８において、エッジ装置１２０は、符号化処理を終了するか否かを判定する。ステップＳ２３０８において、符号化処理を継続すると判定した場合には（ステップＳ２３０８においてＮＯの場合には）、ステップＳ２３０１に戻る。この場合、画像処理システム１９００では、第２の時間（＝ｔ＋ｘ）をフレーム周期分進めた時間を第１の時間として、同様の処理を実行する。
【0197】
一方、ステップＳ２３０８において、符号化処理を終了すると判定した場合には（ステップＳ２３０８においてＹＥＳの場合には）、符号化処理を終了する。
【0198】
以上の説明から明らかなように、第５の実施形態に係る画像処理システム１９００は、動画像データの各フレームの画像データのうち、一部の画像データをクラウド装置１３０に送信してマップを生成する。また、第５の実施形態に係る画像処理システム１９００は、生成したマップと、一部の画像データの間の画像データが取得された時間でのオブジェクトの動きとに基づいて、一部の画像データの間の画像データに対応するマップを予測する。これにより、第５の実施形態によれば、上記各実施形態と同様の効果を享受しつつ、更に、エッジ装置１２０とクラウド装置１３０との間の通信量を削減することが可能となる。
【0199】
［第６の実施形態］
上記第１乃至第５の実施形態では、エッジ装置１２０からクラウド装置１３０に画像データを符号化した符号化データを送信し、クラウド装置１３０からエッジ装置１２０にマップを送信する場合について説明した。しかしながら、エッジ装置１２０からクラウド装置１３０に送信する情報は、符号化データに限定されない。また、クラウド装置１３０からエッジ装置１２０に送信する情報は、マップに限定されない。
上記第１乃至第５の実施形態では、エッジ装置１２０からクラウド装置１３０に画像データを符号化した符号化データを送信し、クラウド装置１３０からエッジ装置１２０にマップを送信する場合について説明した。しかしながら、エッジ装置１２０からクラウド装置１３０に送信する情報は、符号化データに限定されない。また、クラウド装置１３０からエッジ装置１２０に送信する情報は、マップに限定されない。
【0200】
図２４は、画像処理システムのシステム構成の一例を示す第６の図である。図２４に示すように、画像処理システム２４００において、エッジ装置１２０の解析部２４０１は、例えば、第１の時間（＝ｔ）の画像データ１４０を送信する際、画像データ１４０に含まれるオブジェクトの位置を示す位置情報を送信してもよい。これにより、クラウド装置１３０のマップ生成部１３１では、画像データ１４０に対して画像認識処理を実行する際、あわせて、位置情報を入力することができる。この結果、マップ生成部１３１では、画像データ１４０に対する認識精度が向上し、より適切なマップ１５０を生成することができる。
【0201】
また、図２４に示すように、画像処理システム２４００において、クラウド装置１３０のマップ生成部１３１は、例えば、マップ１５０を送信する際、画像データ１４０に対する画像認識処理の処理結果（認識結果）を送信してもよい。これにより、エッジ装置１２０の圧縮率決定部２４０２では、変換情報に基づいてマップ１６０を予測する際、認識結果を用いることで、より適切なマップを予測することができる。
【0202】
以上の説明から明らかなように、第６の実施形態に係る画像処理システム２４００では、エッジ装置１２０及びクラウド装置１３０それぞれにおいて処理を実行した際に得られる情報を、相互に送信する。これにより、エッジ装置１２０及びクラウド装置１３０においてより適切な処理を実現することができる。
【0203】
［その他の実施形態］
上記第５の実施形態では、第１の時間（＝ｔ）～第２の時間（＝ｔ＋ｘ）の各画像データがバッファリングされた際、第１の時間（＝ｔ）及び第２の時間（＝ｔ＋ｘ）の画像データの符号化データをクラウド装置１３０に送信するものとして説明した。しかしながら、第１の時間（＝ｔ）～第２の時間（＝ｔ＋ｘ）の各画像データの符号化データをクラウド装置１３０に送信してもよい。この場合、圧縮率算出部２２０４では、予測部２２０３にて予測されたマップと、クラウド装置１３０にて生成されたマップとに基づいて圧縮率を決定してもよい。
上記第５の実施形態では、第１の時間（＝ｔ）～第２の時間（＝ｔ＋ｘ）の各画像データがバッファリングされた際、第１の時間（＝ｔ）及び第２の時間（＝ｔ＋ｘ）の画像データの符号化データをクラウド装置１３０に送信するものとして説明した。しかしながら、第１の時間（＝ｔ）～第２の時間（＝ｔ＋ｘ）の各画像データの符号化データをクラウド装置１３０に送信してもよい。この場合、圧縮率算出部２２０４では、予測部２２０３にて予測されたマップと、クラウド装置１３０にて生成されたマップとに基づいて圧縮率を決定してもよい。
【0204】
また、上記第４の実施形態では、バッファリングされた画像データを並べ替えて処理する場合について説明したが、これは、マップの予測精度を上げ、マップの予測難易度を下げるためである。上記説明から明らかなように、並び替えが行われていない場合、クラウド装置１３０により生成されるマップが反映される画像データは、クラウド装置１３０から見た場合、未来の画像データである。一方で、並び替えが行われた場合、複数の画像データを、既にマップが生成された画像データで挟み込むことができる。
【0205】
この場合、挟み込まれた画像データに含まれるオブジェクトに対応する領域の動きは、オブジェクトの位置が確定した時間の画像データと、当該時間よりも後の同じくオブジェクトの位置が確定した時間の画像データと、に基づいて解析されることになる。これにより、マップの予測精度を上げ、マップの予測難易度を下げることができる。
【0206】
なお、上記第４の実施形態の場合、一般的な動画像符号化処理が画像データを並べ替えて符号化するケースとは異なり、定型的な並べ替えは行わない。これは、圧縮率を決定するための情報が、定型的な並べ替えとは必ずしも一致しないタイミングで、クラウド装置から送信されることもありうるからである。このため、上記第４の実施形態では、定型的な並べ替えを行って符号化処理を実行する代わりに、符号化できるタイミングで符号化処理を行う。この結果、上記第４の実施形態によれば、クラウド装置とエッジ装置との間の送信時間やクラウド装置でのマップ生成時間と、並べ替え後のタイムラグとの差分を小さくすることができる。
【0207】
また、上記各実施形態のマップ生成部により生成されるマップは、画素粒度の情報を有するものとして説明したが、マップは、必ずしも画素粒度の情報を有している必要なない。このため、生成したマップは、例えば、粒度の異なる情報を有するマップに変換してもよい。
【0208】
具体的には、所定の領域ごとに集計した情報や、所定の領域ごとに集計した情報の統計量、あるいは、所定の領域ごとの量子化値などの圧縮率を示す情報を有するマップに変換してもよい。その場合、エッジ装置１２０には、画素粒度の情報を有するマップを生成する第１の圧縮率決定部と、画素粒度の情報を有するマップから、異なる粒度の情報を有するマップに変換する第２の圧縮率決定部とが含まれることになる。
【0209】
図２５は、異なる粒度の情報を有するマップに変換可能な画像処理システムを示す概念図である。図２５において、２５ａは、第１の圧縮率決定部２５１１と第２の圧縮率決定部２５１２とを含めることで、画像処理システム１００（図１）を、異なる粒度の情報を有するマップに変換可能な画像処理システムに変形した場合の概念図を示している。
【0210】
また、２５ｂは、第１の圧縮率決定部２５２１と第２の圧縮率決定部２５２２とを含めることで、画像処理システム１０００（図１０）を、異なる粒度の情報を有するマップに変換可能な画像処理装置に変形した場合の概念図を示している。
【0211】
更に、２５ｃは、第１の圧縮率決定部２５３１と第２の圧縮率決定部２５３２とを含めることで、画像処理システム１４００（図１４）を、異なる粒度の情報を有するマップに変換可能な画像処理システムに変形した様子を示している。
【0212】
このように、異なる粒度の情報を有するマップに変換することで、例えば、クラウド装置からエッジ装置に伝送するデータ量を削減することができる。また、画素粒度の情報を有するマップの場合、オブジェクトに対応する領域の動きを解析する際の演算量が大きいのに対して、異なる粒度の情報を有するマップに変換することで、演算量を削減することができる。更に、画素粒度の情報を有するマップの場合、マップの予測精度が、画素粒度のノイズに影響される可能性があるのに対して、異なる粒度の情報を有するマップに変換することで、画素粒度のノイズの影響を軽減することができる。
【0213】
また、上記各実施形態では、画像処理システムがクラウド装置とエッジ装置とを有するものとして説明したが、クラウド装置は、必ずしもクラウド上にある必要はなく、マップ生成部や解析部と、符号化部との間にタイムラグがある状態で配置されてもよい。
【0214】
例えば、画像処理システムに含まれるクラウド装置及びマップ装置は、映像解析装置が設置される所定の拠点に配されたエッジ装置、及び、当該拠点において集約装置として機能するセンタ装置であってもよい。あるいは、ネットワークを介することにより生じるタイムラグとは異なる要因でタイムラグが生じる環境下で接続された装置群であってもよい。
【0215】
また、上記各実施形態では、画像データより取得される特徴部分と、ＡＩが画像認識処理を実行する際に注目する特徴部分とが、効果的に作用するようにマップを生成するものとしたが、そのうちの一部の特徴部分を用いてマップを生成するようにしてもよい。
【0216】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【0217】
１００ ：画像処理システム
１１０ ：撮像装置
１２０ ：エッジ装置
１２１ ：バッファ部
１２２ ：解析部
１２３ ：圧縮率決定部
１２４ ：符号化部
１３０ ：クラウド装置
１３１ ：マップ生成部
３１０ ：画像認識部
３２０ ：重要特徴マップ生成部
４１０ ：リファイン画像生成部
４２０ ：重要特徴指標マップ生成部
６０１ ：画像データ読み出し部
６０２ ：動き解析部
６０３ ：変換情報算出部
７０１ ：マップ取得部
７０２ ：変換情報取得部
７０３ ：予測部
７０４ ：圧縮率算出部
１０００ ：画像処理システム
１００１ ：解析部
１００２ ：圧縮率決定部
１００３ ：解析部
１２０１ ：マップ取得部
１２０２ ：動き解析部
１２０３ ：予測部
１４００ ：画像処理システム
１４０１ ：解析部
１４０２ ：圧縮率決定部
１５０１ ：解析部
１５０２ ：圧縮率決定部
１７０１ ：マップ取得部
１７０２ ：動き解析部
１７０３ ：予測部
１９００ ：画像処理システム
１９０１ ：解析部
１９０２ ：圧縮率決定部
２１０１ ：画像データ読み出し部
２１０２ ：動き解析部
２１０３ ：変換情報算出部
２２０１ ：マップ取得部
２２０２ ：変換情報取得部
２２０３ ：予測部
２２０４ ：圧縮率算出部
２４００ ：画像処理システム
２４０１ ：解析部
２４０２ ：圧縮率決定部
１１０ ：撮像装置
１２０ ：エッジ装置
１２１ ：バッファ部
１２２ ：解析部
１２３ ：圧縮率決定部
１２４ ：符号化部
１３０ ：クラウド装置
１３１ ：マップ生成部
３１０ ：画像認識部
３２０ ：重要特徴マップ生成部
４１０ ：リファイン画像生成部
４２０ ：重要特徴指標マップ生成部
６０１ ：画像データ読み出し部
６０２ ：動き解析部
６０３ ：変換情報算出部
７０１ ：マップ取得部
７０２ ：変換情報取得部
７０３ ：予測部
７０４ ：圧縮率算出部
１０００ ：画像処理システム
１００１ ：解析部
１００２ ：圧縮率決定部
１００３ ：解析部
１２０１ ：マップ取得部
１２０２ ：動き解析部
１２０３ ：予測部
１４００ ：画像処理システム
１４０１ ：解析部
１４０２ ：圧縮率決定部
１５０１ ：解析部
１５０２ ：圧縮率決定部
１７０１ ：マップ取得部
１７０２ ：動き解析部
１７０３ ：予測部
１９００ ：画像処理システム
１９０１ ：解析部
１９０２ ：圧縮率決定部
２１０１ ：画像データ読み出し部
２１０２ ：動き解析部
２１０３ ：変換情報算出部
２２０１ ：マップ取得部
２２０２ ：変換情報取得部
２２０３ ：予測部
２２０４ ：圧縮率算出部
２４００ ：画像処理システム
２４０１ ：解析部
２４０２ ：圧縮率決定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】