知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-22
(45)【発行日】2024-07-30
(54)【発明の名称】符号化システム、符号化方法及び符号化プログラム
(51)【国際特許分類】
H04N 19/85 20140101AFI20240723BHJP
H04N 19/126 20140101ALI20240723BHJP
H04N 19/136 20140101ALI20240723BHJP
H04N 19/17 20140101ALI20240723BHJP
【ＦＩ】
H04N19/85
H04N19/126
H04N19/136
H04N19/17
【請求項の数】
5
(21)【出願番号】P 2022570911
(86)(22)【出願日】2020-12-24
(86)【国際出願番号】 JP2020048568
(87)【国際公開番号】W WO2022137463
(87)【国際公開日】2022-06-30
【審査請求日】2023-06-14
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】久保田 智規
(72)【発明者】
【氏名】中尾 鷹詔
【審査官】岩井 健二
(56)【参考文献】
【文献】国際公開第２０２０／０８０１３９（ＷＯ，Ａ１）
【文献】特開２０１６－０４６７０７（ＪＰ，Ａ）
【文献】特開２０１６－０２５４９４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ ー １９／９８
(57)【特許請求の範囲】
【請求項1】
認識対象を含む第１画像の前記認識対象を含まない領域について、認識処理の際の認識精度への影響度に応じた第１圧縮率となる量子化値を算出する算出部と、前記第１画像より後に取得される第２画像に対して、算出された量子化値を設定する際、前記第１画像のうちの一部である探索用の帯状領域について、前記第１圧縮率よりも低い第２圧縮率となる量子化値を設定する設定部と、
前記設定部により設定された量子化値を用いて前記第２画像を符号化する符号化部と
を有する符号化システム。
【請求項2】
前記帯状領域は、画像内を複数の帯状の領域に分割した場合の、少なくとも１つの帯状領域のことであり、
前記符号化システムは、
前記帯状領域を前記複数の帯状の領域の中から予め定められた順序で順次選択する特定部を更に有し、
前記設定部は、
前記複数の帯状の領域のうち、前記特定部により選択された前記帯状領域について、前記第１圧縮率よりも低い第２圧縮率となる量子化値を設定する、請求項１に記載の符号化システム。
【請求項3】
前記設定部は、前記算出部により算出された量子化値を設定する際、前記算出部により算出された量子化値を低圧縮方向に補正し、補正後の量子化値を設定する、請求項２に記載の符号化システム。
【請求項4】
認識対象を含む第１画像の前記認識対象を含まない領域について、認識処理の際の認識精度への影響度に応じた第１圧縮率となる量子化値を算出し、前記第１画像より後に取得される第２画像に対して、算出された量子化値を設定する際、前記第１画像のうちの一部である探索用の帯状領域について、前記第１圧縮率よりも低い第２圧縮率となる量子化値を設定し、
前記設定された量子化値を用いて前記第２画像を符号化する、
処理をコンピュータが実行する符号化方法。
【請求項5】
認識対象を含む第１画像の前記認識対象を含まない領域について、認識処理の際の認識精度への影響度に応じた第１圧縮率となる量子化値を算出し、前記第１画像より後に取得される第２画像に対して、算出された量子化値を設定する際、前記第１画像のうちの一部である探索用の帯状領域について、前記第１圧縮率よりも低い第２圧縮率となる量子化値を設定し、
前記設定された量子化値を用いて前記第２画像を符号化する、
処理をコンピュータに実行させるための符号化プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、符号化システム、符号化方法及び符号化プログラムに関する。
【背景技術】
【0002】
一般に、画像データを記録または伝送する際には、符号化処理によりデータサイズを小さくすることで、記録コストや伝送コストの削減を図る。
【0003】
一方で、ＡＩ（Artificial Intelligence）による認識処理に利用する目的で、画像データを記録または伝送する場合においては、認識対象をＡＩが認識できる限界まで圧縮率を上げて（つまり、限界圧縮率で）符号化処理を行うことが考えられる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０２０－０６８００８号公報
【文献】特開２００９－１１７９９７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、限界圧縮率の算出に時間を要する場合、動画像データをリアルタイムに伝送しようとすると、限界圧縮率の算出に用いるフレーム画像と、算出した限界圧縮率を適用するフレーム画像とが異なることになる。この結果、限界圧縮率の算出に用いるフレーム画像には含まれていない認識対象が、限界圧縮率を適用するフレーム画像に新たに含まれるといったケースが生じ得る。
【0006】
このようなケースでは、当該新たな認識対象に認識対象外の限界圧縮率を適用して符号化処理が行われるため、復号時に当該新たな認識対象を認識するのが困難となる。
【0007】
一つの側面では、動画像の符号化処理に起因する認識精度への影響を抑えることを目的とする。
【課題を解決するための手段】
【0008】
一態様によれば、符号化システムは、
認識対象を含む第１画像の前記認識対象を含まない領域について、認識処理の際の認識精度への影響度に応じた第１圧縮率となる量子化値を算出する算出部と、
前記第１画像より後に取得される第２画像に対して、算出された量子化値を設定する際、前記第１画像のうちの一部である探索用の帯状領域について、前記第１圧縮率よりも低い第２圧縮率となる量子化値を設定する設定部と、
前記設定部により設定された量子化値を用いて前記第２画像を符号化する符号化部とを有する。
認識対象を含む第１画像の前記認識対象を含まない領域について、認識処理の際の認識精度への影響度に応じた第１圧縮率となる量子化値を算出する算出部と、
前記第１画像より後に取得される第２画像に対して、算出された量子化値を設定する際、前記第１画像のうちの一部である探索用の帯状領域について、前記第１圧縮率よりも低い第２圧縮率となる量子化値を設定する設定部と、
前記設定部により設定された量子化値を用いて前記第２画像を符号化する符号化部とを有する。
【発明の効果】
【0009】
動画像の符号化処理に起因する認識精度への影響を抑えることができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0012】
［第１の実施形態］
＜符号化システムのシステム構成＞
はじめに、第１の実施形態に係る符号化システムのシステム構成について説明する。図１は、符号化システムのシステム構成の一例を示す第１の図である。図１に示すように、符号化システム１００は、撮像装置１１０、エッジ装置１２０、サーバ装置１３０を有する。符号化システム１００において、エッジ装置１２０とサーバ装置１３０とは、ネットワークを介して通信可能に接続される。
＜符号化システムのシステム構成＞
はじめに、第１の実施形態に係る符号化システムのシステム構成について説明する。図１は、符号化システムのシステム構成の一例を示す第１の図である。図１に示すように、符号化システム１００は、撮像装置１１０、エッジ装置１２０、サーバ装置１３０を有する。符号化システム１００において、エッジ装置１２０とサーバ装置１３０とは、ネットワークを介して通信可能に接続される。
【0013】
撮像装置１１０は、所定のフレーム周期で撮影を行い、動画像データをエッジ装置１２０に送信する。なお、動画像データには、少なくとも認識処理の対象となる物体（認識対象）が含まれるフレーム画像と、認識処理の対象となる物体（認識対象）が含まれない（認識対象外の物体のみが含まれる）フレーム画像とが含まれる。更には、動画像データには物体を含まないフレーム画像が含まれてもよい。
【0014】
エッジ装置１２０には符号化プログラムがインストールされており、当該符号化プログラムが実行されることで、エッジ装置１２０は、符号化部１２１として機能する。
【0015】
符号化部１２１は、サーバ装置１３０から指示された量子化値（量子化ステップともいう。以下同様）を設定して、動画像データの各フレーム画像を符号化し、符号化データを生成する。また、符号化部１２１は、生成した符号化データをサーバ装置１３０に送信する。
【0016】
なお、符号化部１２１は、サーバ装置１３０から、符号化時の処理単位であるブロックごとの量子化値が指示される。ブロックごとに指示される量子化値の集合を、以下では、「量子化値マップ」と称す。
【0017】
本実施形態において、符号化部１２１は、サーバ装置１３０から更新量子化値マップ（詳細は後述）を取得し、当該更新量子化値マップを用いて動画像データの各フレーム画像を符号化する。
【0018】
サーバ装置１３０には、復号プログラムがインストールされており、当該復号プログラムが実行されることで、サーバ装置１３０は、復号部１３１、解析部１３２、更新部１３３として機能する。
【0019】
復号部１３１は、エッジ装置１２０から送信された符号化データを復号し、復号データを生成する。復号部１３１は、生成した復号データを、復号データ格納部１３４に格納する。また、復号部１３１は、生成した復号データを、解析部１３２に通知する。
【0020】
解析部１３２は、復号部１３１から通知された復号データを解析し、量子化値マップを生成する。具体的には、解析部１３２は、復号データに対して認識処理を行うことで、認識処理の際の復号データの各領域の認識精度への影響度を算出する。また、解析部１３２は、各領域の影響度を、ブロックごとに集計し、集計結果に応じた量子化値を算出することで、認識精度への影響度に応じた量子化値マップ１４０を生成する。
【0021】
なお、図１の量子化値マップ１４０において、白色矩形の領域は、対応する復号データにおいて、
・認識対象が認識された領域、かつ、
・認識対象を認識するための限界圧縮率となる量子化値、あるいは、認識対象を認識するための限界圧縮率に到達するまでの途中過程の量子化値が設定される領域、
である。また、量子化値マップ１４０において、斜線領域は、対応する復号データにおいて、
・認識対象が認識されなかった領域、かつ、
・認識対象外の限界圧縮率（認識対象を認識するための限界圧縮率よりも高い限界圧縮率）、あるいは、認識対象外の限界圧縮率に到達するまでの途中過程の量子化値が設定される領域、
である。
・認識対象が認識された領域、かつ、
・認識対象を認識するための限界圧縮率となる量子化値、あるいは、認識対象を認識するための限界圧縮率に到達するまでの途中過程の量子化値が設定される領域、
である。また、量子化値マップ１４０において、斜線領域は、対応する復号データにおいて、
・認識対象が認識されなかった領域、かつ、
・認識対象外の限界圧縮率（認識対象を認識するための限界圧縮率よりも高い限界圧縮率）、あるいは、認識対象外の限界圧縮率に到達するまでの途中過程の量子化値が設定される領域、
である。
【0022】
更新部１３３は、量子化値マップ１４０を生成する際に用いられた復号データには含まれていない新たな認識対象が、量子化値マップ１４０が適用される次のフレーム画像に含まれる可能性があることを考慮し、探索用量子化値マップを生成する。
【0023】
具体的には、更新部１３３は、量子化値マップ１４０において、斜線領域に設定された量子化値よりも低い圧縮率となる量子化値が、斜線領域の一部に設定されるよう、探索用量子化値マップ１５１～１５３を生成する。
【0024】
更新部１３３では、解析部１３２から量子化値マップ１４０が通知されるごとに、通知された量子化値マップ１４０に、探索用量子化値マップ１５１～１５３のいずれかを重畳することで、更新量子化値マップ１６１～１６３のいずれかを生成する。
【0025】
なお、探索用量子化値マップ１５１～１５３において、網掛け矩形の領域は、量子化値マップ１４０の斜線領域よりも低い圧縮率となる量子化値が設定される領域である。図１の例は、
・フレーム画像の上段部の帯状領域（特定領域の一例）の位置に、量子化値マップ１４０の斜線領域よりも低い圧縮率となる量子化値が設定された探索用量子化値マップ１５１、
・フレーム画像の中段部の帯状領域の位置に、量子化値マップ１４０の斜線領域よりも低い圧縮率となる量子化値が設定された探索用量子化値マップ１５２、
・フレーム画像の下段部の帯状領域の位置に、量子化値マップ１４０の斜線領域よりも低い圧縮率となる量子化値が設定された探索用量子化値マップ１５３、
のいずれかが生成される様子を示している。
・フレーム画像の上段部の帯状領域（特定領域の一例）の位置に、量子化値マップ１４０の斜線領域よりも低い圧縮率となる量子化値が設定された探索用量子化値マップ１５１、
・フレーム画像の中段部の帯状領域の位置に、量子化値マップ１４０の斜線領域よりも低い圧縮率となる量子化値が設定された探索用量子化値マップ１５２、
・フレーム画像の下段部の帯状領域の位置に、量子化値マップ１４０の斜線領域よりも低い圧縮率となる量子化値が設定された探索用量子化値マップ１５３、
のいずれかが生成される様子を示している。
【0026】
なお、更新部１３３では、量子化値マップ１４０に、探索用量子化値マップ１５１～１５３を順次重畳する際、例えば、ブロックごとに、量子化値の低い方を選択して、更新量子化値マップを生成する。つまり、更新部１３３では、認識対象の領域に対応する領域以外の領域のうちの帯状領域（＝特定領域）に含まれるブロックの量子化値を下げて設定する。
【0027】
また、更新部１３３では、生成した更新量子化値マップ１６１～１６３のいずれかを、エッジ装置１２０に送信する。
【0028】
なお、上記白色矩形の領域は、認識結果や限界圧縮率の導出結果により決まる形状であれば、矩形に限定されず、矩形以外の形状であってもよい。また、網掛け矩形の領域の形状、配置等は、図１の例に限定されない。
【0029】
＜エッジ装置及びサーバ装置のハードウェア構成＞
次に、エッジ装置１２０及びサーバ装置１３０のハードウェア構成について説明する。図２は、エッジ装置及びサーバ装置のハードウェア構成の一例を示す図である。
次に、エッジ装置１２０及びサーバ装置１３０のハードウェア構成について説明する。図２は、エッジ装置及びサーバ装置のハードウェア構成の一例を示す図である。
【0030】
このうち、図２の２ａは、エッジ装置のハードウェア構成の一例を示す図である。エッジ装置１２０は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、Ｉ／Ｆ（Interface）装置２０４、通信装置２０５、ドライブ装置２０６を有する。なお、エッジ装置１２０の各ハードウェアは、バス２０７を介して相互に接続されている。
【0031】
プロセッサ２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラム（例えば、符号化プログラム等）をメモリ２０２上に読み出して実行する。
【0032】
メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
【0033】
補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種データを格納する。
【0034】
Ｉ／Ｆ装置２０４は、外部装置の一例である撮像装置１１０と、エッジ装置１２０とを接続する接続デバイスである。
【0035】
通信装置２０５は、他の装置の一例であるサーバ装置１３０と通信するための通信デバイスである。
【0036】
ドライブ装置２０６は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【0037】
なお、補助記憶装置２０３にインストールされる各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０６にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０６により読み出されることでインストールされる。あるいは、補助記憶装置２０３にインストールされる各種プログラムは、通信装置２０５を介してネットワークからダウンロードされることで、インストールされてもよい。
【0038】
一方、図２の２ｂは、サーバ装置１３０のハードウェア構成の一例を示す図である。なお、サーバ装置１３０のハードウェア構成は、エッジ装置１２０のハードウェア構成と概ね同じであるため、ここでは、エッジ装置１２０との相違点を中心に説明する。
【0039】
プロセッサ２２１は、例えば、復号プログラム等をメモリ２２２上に読み出して実行する。
【0040】
Ｉ／Ｆ装置２２４は、サーバ装置１３０に対する操作を、操作装置２３１を介して受け付ける。また、Ｉ／Ｆ装置２２４は、サーバ装置１３０による処理の結果を出力し、表示装置２３２を介して表示する。また、通信装置２２５は、エッジ装置１２０と通信する。
【0041】
＜更新量子化値マップと認識結果との関係（１）＞
次に、動画像の各フレーム画像に適用される更新量子化値マップ（量子化値マップ及び探索用量子化値マップ）と、対応する復号データに対する認識処理の結果との関係について説明する。図３は、動画像の各フレーム画像に適用される更新量子化値マップと、認識結果との関係を示す第１の図である。
次に、動画像の各フレーム画像に適用される更新量子化値マップ（量子化値マップ及び探索用量子化値マップ）と、対応する復号データに対する認識処理の結果との関係について説明する。図３は、動画像の各フレーム画像に適用される更新量子化値マップと、認識結果との関係を示す第１の図である。
【0042】
図３において、縦軸３００は、時間軸を表しており、図３の例は、エッジ装置１２０が、時刻Ｔ１～Ｔ４に、それぞれ、動画像のフレーム画像３１１～３４１を取得したことを示している。なお、図３の例の場合、時刻Ｔ１では、認識対象として２名の人物がフレーム画像３１１に含まれていたところ、時刻Ｔ２～Ｔ４では、認識対象として３名の人物がフレーム画像３２１、３３１、３４１に含まれている。
【0043】
また、図３の例は、時刻Ｔ１に取得されたフレーム画像３１１（第１画像の一例）に対して、エッジ装置１２０が、量子化値マップ３１２に探索用量子化値マップ３１３を重畳した更新量子化値マップを用いて、符号化処理を行う様子を示している。更に、図３の例は、フレーム画像３１１に対して符号化処理を行うことで生成された符号化データを、サーバ装置１３０が復号し、復号データに対して認識処理を行うことで、認識結果３１４が得られた様子を示している。
【0044】
図３の例によれば、フレーム画像３１１内の認識対象（２名の人物）が位置する領域に対応する領域の量子化値が低く設定された量子化値マップ３１２が用いられることで、復号データにおいては、認識対象の領域が精度よく再現されることになる。この結果、認識結果３１４に示すように、サーバ装置１３０では、復号データにおいて認識対象（２名の人物）を認識することができる。
【0045】
なお、この場合、サーバ装置１３０では、認識結果３１４に応じて量子化値マップを生成する。図３の例は、認識結果３１４に応じて量子化値マップ３２２が生成された様子を示している。
【0046】
また、図３の例は、時刻Ｔ２に取得されたフレーム画像３２１（第２画像の一例）に対して、エッジ装置１２０が、量子化値マップ３２２に探索用量子化値マップ３２３を重畳した更新量子化値マップを用いて、符号化処理を行う様子を示している。更に、図３の例は、フレーム画像３２１に対して符号化処理を行うことで生成された符号化データを、サーバ装置１３０が復号し、復号データに対して認識処理を行うことで、認識結果３２４が得られた様子を示している。
【0047】
図３の例の場合、フレーム画像３２１内の認識対象（３名の人物）が位置する領域の一部の領域（新たな認識対象が位置する領域）の量子化値が低く設定されていない量子化値マップ３２２が用いられることになる。
【0048】
しかしながら、図３の例の場合、探索用量子化値マップ３２３は、フレーム画像３２１の上段部の帯状領域の量子化値が低く設定されている。このため、復号データにおいて、新たな認識対象が位置する領域は、精度よく再現されることになる。この結果、サーバ装置１３０では、復号データにおいて認識対象（３名の人物）を認識することができる（認識結果３２４参照）。
【0049】
なお、この場合、サーバ装置１３０では、認識結果３２４に応じて量子化値マップを生成する。図３の例は、認識結果３２４に応じて量子化値マップ３３２が生成された様子を示している。
【0050】
また、図３の例は、時刻Ｔ３に取得されたフレーム画像３３１に対して、エッジ装置１２０が、量子化値マップ３３２に探索用量子化値マップ３３３を重畳した更新量子化値マップを用いて、符号化処理を行う様子を示している。更に、図３の例は、フレーム画像３３１に対して符号化処理を行うことで生成された符号化データを、サーバ装置１３０が復号し、復号データに対して認識処理を行うことで、認識結果３３４が得られた様子を示している。
【0051】
図３の例によれば、フレーム画像３３１内の認識対象（３名の人物）が位置する領域に対応する領域の量子化値が低く設定された量子化値マップ３３２が用いられることで、復号データにおいては、認識対象の領域が精度よく再現されることになる。この結果、認識結果３３４に示すように、サーバ装置１３０では、復号データにおいて認識対象（３名の人物）を認識することができる。
【0052】
なお、この場合、サーバ装置１３０では、認識結果３３４に応じて量子化値マップを生成する。図３の例は、認識結果３３４に応じて量子化値マップ３４２が生成された様子を示している。
【0053】
また、図３の例は、時刻Ｔ４に取得されたフレーム画像３４１に対して、エッジ装置１２０が、量子化値マップ３４２に探索用量子化値マップ３４３を重畳した更新量子化値マップを用いて、符号化処理を行う様子を示している。更に、図３の例は、フレーム画像３４１に対して符号化処理を行うことで生成された符号化データを、サーバ装置１３０が復号し、復号データに対して認識処理を行うことで、認識結果３４４が得られた様子を示している。
【0054】
図３の例によれば、フレーム画像３４１内の認識対象（３名の人物）が位置する領域に対応する領域の量子化値が低く設定された量子化値マップ３４２が用いられることで、復号データにおいては、認識対象の領域が精度よく再現されることになる。この結果、認識結果３４４に示すように、サーバ装置１３０では、復号データにおいて認識対象（３名の人物）を認識することができる。
【0055】
このように、探索用量子化値マップを用いることで、新たな認識対象を認識することが可能となる。
【0056】
＜更新量子化値マップと認識結果との関係（２）＞
次に、動画像の各フレーム画像に適用される更新量子化値マップ（量子化値マップ及び探索用量子化値マップ）と、対応する復号データに対する認識処理の結果との関係について、図３とは異なる具体例を用いて説明する。
次に、動画像の各フレーム画像に適用される更新量子化値マップ（量子化値マップ及び探索用量子化値マップ）と、対応する復号データに対する認識処理の結果との関係について、図３とは異なる具体例を用いて説明する。
【0057】
【0058】
具体的には、図３では、時刻Ｔ１において、斜線領域よりも低い量子化値が設定される帯状領域が下段部に位置していたのに対して、図４では、時刻Ｔ１において、中段部に位置している。同様に、図３では、時刻Ｔ２において、斜線領域よりも低い量子化値が設定される帯状領域が上段部に位置していたのに対して、図４では、時刻Ｔ２において、下段部に位置している。同様に、図３では、時刻Ｔ３において、斜線領域よりも低い量子化値が設定される帯状領域が中段部に位置していたのに対して、図４では、時刻Ｔ３において、上段部に位置している。同様に、図３では、時刻Ｔ４において、斜線領域よりも低い量子化値が設定される帯状領域が下段部に位置していたのに対して、図４では、時刻Ｔ４において、中段部に位置している。
【0059】
このように、各時刻に重畳される探索用量子化値マップが異なることで、更新量子化値マップも異なってくる。具体的には、図４の例の場合、時刻Ｔ２に取得されたフレーム画像３２１に対しては、量子化値マップ４２２に探索用量子化値マップ４２３が重畳された更新量子化値マップを用いて、符号化処理が行われることになる。
【0060】
ここで、図４の例によれば、時刻Ｔ２においては、フレーム画像３２１内の認識対象（３名の人物）が位置する領域の一部の領域（新たな認識対象が位置する領域）の量子化値が低く設定されていない量子化値マップ４２２が用いられることになる。
【0061】
加えて、図４の例によれば、探索用量子化値マップ４２３は、フレーム画像３２１の下段部の帯状領域の量子化値が低く設定されている。このため、復号データにおいて、新たな認識結果が位置する領域は、精度よく再現されないことになる。この結果、サーバ装置１３０では、復号データにおいて、認識対象（３名の人物）のうち、新たな認識対象については、認識することができない（認識結果４２４参照）。
【0062】
なお、この場合、サーバ装置１３０では、認識結果４２４に応じて量子化値マップを生成する。図４の例は、認識結果４２４に応じて量子化値マップ４３２が生成された様子を示している。
【0063】
また、図４の例は、時刻Ｔ３に取得されたフレーム画像３３１に対して、エッジ装置１２０が、量子化値マップ４３２に探索用量子化値マップ４３３を重畳した更新量子化値マップを用いて、符号化処理を行う様子を示している。更に、図４の例は、フレーム画像３３１に対して符号化処理を行うことで生成された符号化データを、サーバ装置１３０が復号し、復号データに対して認識処理を行うことで、認識結果４３４が得られた様子を示している。
【0064】
ここで、図４の例によれば、時刻Ｔ３においては、フレーム画像３３１内の認識対象（３名の人物）が位置する領域の一部の領域（新たな認識対象が位置する領域）の量子化値が低く設定されていない量子化値マップ４３２が用いられることになる。
【0065】
しかしながら、図４の例の場合、探索用量子化値マップ４３３は、フレーム画像３３１の上段部の帯状領域の量子化値が低く設定されている。このため、復号データにおいて、新たな認識対象が位置する領域は、精度よく再現されることになる。この結果、サーバ装置１３０では、復号データにおいて、認識対象（３名の人物）を認識することができる（認識結果４３４参照）。
【0066】
なお、この場合、サーバ装置１３０では、認識結果４３４に応じて量子化値マップを生成する。図４の例は、認識結果４３４に基づいて、量子化値マップ４４２が生成された様子を示している。以降、時刻Ｔ４においても、図３の時刻Ｔ３における処理と同様の処理が行われる。
【0067】
このように、探索用量子化値マップを用いることで、１フレーム画像遅れて、新たな認識対象を認識することが可能となる。
【0068】
＜更新量子化値マップと認識結果との関係（３）＞
次に、動画像の各フレーム画像に適用される更新量子化値マップ（量子化値マップ及び探索用量子化値マップ）と、対応する復号データに対する認識処理の結果との関係について、図３、図４とは異なる具体例を用いて説明する。
次に、動画像の各フレーム画像に適用される更新量子化値マップ（量子化値マップ及び探索用量子化値マップ）と、対応する復号データに対する認識処理の結果との関係について、図３、図４とは異なる具体例を用いて説明する。
【0069】
【0070】
図５に示すように、新たな認識対象が出現したタイミング及び位置と、各時刻において重畳される探索用量子化値マップとの関係によっては、最大で、２つのフレーム画像について、認識対象が正しく認識できないことになる（認識結果５２４、５３４参照）。
【0071】
一方で、時刻Ｔ４のフレーム画像３４１については、認識対象を正しく認識することができる（認識結果５４４参照）。つまり、本実施形態における探索用量子化値マップによれば、解析部１３２は、新たな認識対象が出現してから、３フレーム画像以内に当該新たな認識対象を認識することが可能となる。
【0072】
＜更新量子化値マップと認識結果との関係（４）＞
次に、動画像の各フレーム画像に適用される更新量子化値マップ（量子化値マップ及び探索用量子化値マップ）と、対応する復号データに対する認識処理の結果との関係について、図３～図５とは異なる具体例を用いて説明する。
次に、動画像の各フレーム画像に適用される更新量子化値マップ（量子化値マップ及び探索用量子化値マップ）と、対応する復号データに対する認識処理の結果との関係について、図３～図５とは異なる具体例を用いて説明する。
【0073】
【0074】
【0075】
図６の例の場合、時刻Ｔ２に取得されたフレーム画像６２１に対して、エッジ装置１２０では、量子化値マップ６２２に探索用量子化値マップ６２３を重畳した更新量子化値マップを用いて、符号化処理を行うことになる。
【0076】
図６の例によれば、時刻Ｔ２においては、フレーム画像６２１内の認識対象（２名の人物）が位置する領域に対応する領域の量子化値が低く設定された量子化値マップ６２２が用いられる。このため、復号データにおいては、認識対象の領域が精度よく再現されることになる。
【0077】
一方で、図６の例の場合、探索用量子化値マップ６２３は、フレーム画像６２１の下段部の帯状領域の量子化値が低く設定されている。このため、復号データにおいて、新たな物体（認識対象外の物体）が位置する領域も、精度よく再現されることになる。しかしながら、当該新たな物体は、認識対象外であるため、サーバ装置１３０において認識されない。この結果、サーバ装置１３０では、復号データにおいて認識対象（２名の人物）のみが認識されることになる（認識結果６２４参照）。
【0078】
なお、この場合、サーバ装置１３０では、認識結果６２４に応じて量子化値マップを生成する。図６の例は、認識結果６２４に応じて量子化値マップ６３２が生成された様子を示している。
【0079】
また、図６の例は、時刻Ｔ３に取得されたフレーム画像６３１に対して、エッジ装置１２０が、量子化値マップ６３２に探索用量子化値マップ６３３を重畳した更新量子化値マップを用いて、符号化処理を行う様子を示している。更に、図６の例は、フレーム画像６３１に対して符号化処理を行うことで生成された符号化データを、サーバ装置１３０が復号し、復号データに対して認識処理を行うことで、認識結果６３４が得られた様子を示している。
【0080】
図６の例によれば、時刻Ｔ３においては、フレーム画像６３１内の認識対象（２名の人物）が位置する領域に対応する領域の量子化値が低く設定された量子化値マップ６３２が用いられる。このため、復号データにおいては、認識対象の領域が精度よく再現されることになる。
【0081】
また、図６の例の場合、探索用量子化値マップ６３３は、フレーム画像６３１の上段部の帯状領域の量子化値が低く設定されている。このため、復号データにおいて、認識対象外の物体が位置する領域については、精度よく再現されない。この結果、サーバ装置１３０では、復号データにおいて、新たな物体（認識対象外の物体）が認識されることなく、認識対象（２名の人物）のみが認識されることになる。
【0082】
なお、この場合、サーバ装置１３０では、認識結果６３４に応じて量子化値マップを生成する。図６の例は、認識結果６３４に応じて量子化値マップ６４２が生成された様子を示している。以降、時刻Ｔ４においても、時刻Ｔ３における処理と同様の処理が行われる。
【0083】
＜解析部の機能構成＞
次に、サーバ装置１３０の解析部１３２の機能構成について説明する。図７は、解析部の機能構成の一例を示す図である。図７に示すように、解析部１３２は、入力部７１０、ＣＮＮ部７２０、重要特徴マップ生成部７３０、集計部７４０、量子化値生成部７５０、出力部７６０を有する。
次に、サーバ装置１３０の解析部１３２の機能構成について説明する。図７は、解析部の機能構成の一例を示す図である。図７に示すように、解析部１３２は、入力部７１０、ＣＮＮ部７２０、重要特徴マップ生成部７３０、集計部７４０、量子化値生成部７５０、出力部７６０を有する。
【0084】
入力部７１０は、復号部１３１より復号データを取得する。入力部７１０は、取得した復号データをＣＮＮ部７２０に通知する。
【0085】
ＣＮＮ部７２０は、学習済みモデルを有する。ＣＮＮ部７２０は、復号データを入力することで、復号データに含まれる認識対象についての認識処理を行う。
【0086】
重要特徴マップ生成部７３０は、学習済みモデルが復号データに対して認識処理を行った際の認識結果に基づいて算出される誤差から、誤差逆伝播法を利用して重要特徴マップを生成する。
【0087】
重要特徴マップ生成部７３０では、例えば、ＢＰ（Back Propagation）法、ＧＢＰ（Guided Back Propagation）法または選択的ＢＰ法を用いることで、重要特徴マップを生成する。
【0088】
なお、ＢＰ法は、認識結果が正解ラベルとなる復号データに対して認識処理を行うことで得たスコアから各ラベルの誤差（所定の基準スコアに対する誤差）を計算し、入力層まで逆伝播して得られる勾配の大小を画像化することで、特徴部分を可視化する方法である。また、ＧＢＰ法は、勾配情報の正値のみを特徴部分として画像化することで、特徴部分を可視化する方法である。
【0089】
更に、選択的ＢＰ法は、正解ラベルの誤差のみを最大にしたうえで、ＢＰ法またはＧＢＰ法を用いて逆伝播する方法である。選択的ＢＰ法の場合、可視化される特徴部分は、正解ラベルのスコアにのみ影響を与える特徴部分となる。
【0090】
このように、重要特徴マップ生成部７３０では、ＢＰ法、ＧＢＰ法または選択的ＢＰ法等の誤差逆伝播法による誤差逆伝播結果を用いる。これにより、重要特徴マップ生成部７３０では、復号データが入力されてから認識結果が出力されるまでのＣＮＮ部７２０内の各経路の信号の流れと強度とを解析することができる。この結果、重要特徴マップ生成部７３０によれば、入力された復号データのどの領域が、認識結果にどの程度影響を及ぼしているかを可視化することができる。
【0091】
なお、誤差逆伝播法による重要特徴マップの生成方法は、例えば、
「Selvaraju, Ramprasaath R., et al. "Grad-cam: Visual explanations from deep networks via gradient-based localization." The IEEE International Conference on Computer Vision (ICCV), 2017, pp. 618-626」、
等の文献に開示されている。
「Selvaraju, Ramprasaath R., et al. "Grad-cam: Visual explanations from deep networks via gradient-based localization." The IEEE International Conference on Computer Vision (ICCV), 2017, pp. 618-626」、
等の文献に開示されている。
【0092】
集計部７４０は、重要特徴マップに基づいて、各領域の認識結果への影響度を、ブロック単位で集計し、ブロックごとの影響度の集計値を算出する。また、集計部７４０は、算出した各ブロックの集計値を、量子化値と対応付けて集計結果格納部７７０に格納する。
【0093】
量子化値生成部７５０は算出部の一例であり、集計結果格納部７７０に格納された集計結果に基づいて、ブロックごとに量子化値を変更しながら量子化値マップを生成する。また、量子化値生成部７５０は、ブロックごとに限界圧縮率となる量子化値を判定しながら、量子化値マップを生成する。
【0094】
出力部７６０は、量子化値生成部７５０により生成された量子化値マップ（限界圧縮率となる量子化値が設定された量子化値マップ、または、限界圧縮率に到達するための途中過程の量子化値が設定された量子化値マップ）を、更新部１３３に通知する。
【0095】
＜集計結果の具体例＞
次に、集計結果格納部７７０に格納される集計結果の具体例について説明する。図８は、集計結果の具体例を示す図である。このうち、８ａは、フレーム画像８１０内の符号化時のブロックの配置例を示している。８ａに示すように、本実施形態では説明の簡略化のため、フレーム画像８１０内のブロックは全て同じ大きさであるとする。また、８ａの例は、フレーム画像８１０の左上のブロックのブロック番号を"ブロック１"とし、右下のブロックのブロック番号を"ブロックｍ"としている。
次に、集計結果格納部７７０に格納される集計結果の具体例について説明する。図８は、集計結果の具体例を示す図である。このうち、８ａは、フレーム画像８１０内の符号化時のブロックの配置例を示している。８ａに示すように、本実施形態では説明の簡略化のため、フレーム画像８１０内のブロックは全て同じ大きさであるとする。また、８ａの例は、フレーム画像８１０の左上のブロックのブロック番号を"ブロック１"とし、右下のブロックのブロック番号を"ブロックｍ"としている。
【0096】
また、８ｂに示すように、集計結果８２０には、情報の項目として、"ブロック番号"、"量子化値"が含まれる。
【0097】
"ブロック番号"には、フレーム画像８１０内の各ブロックのブロック番号が格納される。"量子化値"には、符号化部１２１が符号化処理を行う際に設定可能な量子化値が格納される。
【0098】
なお、８ｂの例では、説明の簡略化のため、４種類の量子化値（"Ｑ１"から"Ｑ４"）のみを記載しているが、符号化部１２１による符号化処理では、４種類以上の量子化値が設定可能であるとする。
【0099】
また、集計結果８２０において、"ブロック番号"と"量子化値"とに対応付けられた欄には、
・対応する量子化値を用いてフレーム画像８１０に対して符号化処理を行い、
・復号データについて認識処理が行われた際に算出された重要特徴マップに基づいて、対応するブロックにおいて集計された、
集計値が格納される。
・対応する量子化値を用いてフレーム画像８１０に対して符号化処理を行い、
・復号データについて認識処理が行われた際に算出された重要特徴マップに基づいて、対応するブロックにおいて集計された、
集計値が格納される。
【0100】
＜量子化値生成部による処理の具体例＞
次に、量子化値生成部７５０による処理の具体例について説明する。図９は、量子化値生成部による処理の具体例を示す図である。図９において、グラフ９１０＿１～９１０＿ｍは、横軸に量子化値、縦軸に集計値をとり、集計結果８２０に含まれる各ブロックの集計値をプロットすることで生成されるグラフである。
次に、量子化値生成部７５０による処理の具体例について説明する。図９は、量子化値生成部による処理の具体例を示す図である。図９において、グラフ９１０＿１～９１０＿ｍは、横軸に量子化値、縦軸に集計値をとり、集計結果８２０に含まれる各ブロックの集計値をプロットすることで生成されるグラフである。
【0101】
グラフ９１０＿１～９１０＿ｍに示すように、量子化値を用いて符号化処理を行った場合の集計値の変化は、ブロックごとに異なる。量子化値生成部７５０では、例えば、
・集計値の大きさが所定の閾値を超えた場合、あるいは、
・集計値の変化量が所定の閾値を超えた場合、あるいは、
・集計値の傾きが所定の閾値を超えた場合、あるいは、
・集計値の傾きの変化が所定の閾値を超えた場合、
のいずれかの条件を満たす場合の量子化値を、各ブロックの限界圧縮率となる量子化値と判定する。
・集計値の大きさが所定の閾値を超えた場合、あるいは、
・集計値の変化量が所定の閾値を超えた場合、あるいは、
・集計値の傾きが所定の閾値を超えた場合、あるいは、
・集計値の傾きの変化が所定の閾値を超えた場合、
のいずれかの条件を満たす場合の量子化値を、各ブロックの限界圧縮率となる量子化値と判定する。
【0102】
図９の例は、量子化値生成部７５０が、グラフ９１０＿１に基づいて、限界圧縮率となる量子化値を"Ｑ３"と判定したことを示している。また、図９の例は、量子化値生成部７５０が、グラフ９１０＿２に基づいて、限界圧縮率となる量子化値を"Ｑ１"と判定したことを示している。また、図９の例は、量子化値生成部７５０が、グラフ９１０＿３に基づいて、限界圧縮率となる量子化値を"Ｑ２"と判定したことを示している。更に、図９の例は、量子化値生成部７５０が、グラフ９１０＿ｍに基づいて、限界圧縮率となる量子化値を"Ｑ３"と判定したことを示している。
【0103】
図９において、符号９３０は、ブロック１～ブロックｍに、限界圧縮率となる量子化値が設定され、量子化値マップが生成された様子を示している。
【0104】
＜更新部の機能構成＞
次に、更新部１３３の機能構成について説明する。図１０は、更新部の機能構成の一例を示す図である。図１０に示すように、更新部１３３は、入力部１００１、更新量子化値マップ生成部１００２、探索用量子化値特定部１００３を有する。
次に、更新部１３３の機能構成について説明する。図１０は、更新部の機能構成の一例を示す図である。図１０に示すように、更新部１３３は、入力部１００１、更新量子化値マップ生成部１００２、探索用量子化値特定部１００３を有する。
【0105】
入力部１００１は、解析部１３２より通知された量子化値マップを取得し、更新量子化値マップ生成部１００２に通知する。
【0106】
探索用量子化値特定部１００３は特定部の一例であり、探索用量子化値マップ１５１～１５３を生成する。具体的には、探索用量子化値特定部１００３は、
・帯状領域の位置、大きさ、
・帯状領域に設定する量子化値、
を特定する。
・帯状領域の位置、大きさ、
・帯状領域に設定する量子化値、
を特定する。
【0107】
そして、探索用量子化値特定部１００３は、特定した帯状領域の位置、大きさに基づいて、画像内を複数の帯状領域に分割し、いずれか１つの帯状領域を、予め定められた順序で順次選択し、特定した量子化値を設定することで、探索用量子化値マップを生成する。
【0108】
更新量子化値マップ生成部１００２は設定部の一例であり、入力部１００１から通知された量子化値マップに、探索用量子化値特定部１００３により生成された探索用量子化値マップを重畳することで、更新量子化値マップを生成し、エッジ装置１２０に送信する。
【0109】
＜符号化処理の流れ＞
次に、符号化システム１００による符号化処理の流れについて説明する。図１１は、符号化処理の流れを示すフローチャートである。
次に、符号化システム１００による符号化処理の流れについて説明する。図１１は、符号化処理の流れを示すフローチャートである。
【0110】
ステップＳ１１０１において、サーバ装置１３０は、更新量子化値マップを初期化して、エッジ装置１２０に設定するとともに、撮像装置１１０により撮影された動画像データの取得を開始する。
【0111】
ステップＳ１１０２において、エッジ装置１２０は、フレーム画像を取得する。
【0112】
ステップＳ１１０３において、エッジ装置１２０は、更新量子化値マップを用いてフレーム画像を符号化し、符号化データを生成する。
【0113】
ステップＳ１１０４において、エッジ装置１２０は、符号化データをサーバ装置１３０に送信する。
【0114】
ステップＳ１１０５において、サーバ装置１３０は、エッジ装置１２０から送信された符号化データを復号し、復号データを、復号データ格納部１３４に格納する。
【0115】
ステップＳ１１０６において、サーバ装置１３０は、復号データに対して認識処理を行う。
【0116】
ステップＳ１１０７において、サーバ装置１３０は、認識処理を行った際の誤差（所定の基準スコアに対する誤差）から、誤差逆伝播法を利用して重要特徴マップを生成する。また、サーバ装置１３０は、生成した重要特徴マップをブロック単位で集計する。
【0117】
ステップＳ１１０８において、サーバ装置１３０は、集計結果が限界圧縮率に到達したか否かを、ブロックごとに判定する。ステップＳ１１０８において、集計結果が限界圧縮率に到達していないと判定された場合には（ステップＳ１１０８においてＮｏの場合には）、ステップＳ１１０９に進む。
【0118】
ステップＳ１１０９において、サーバ装置１３０は、集計結果が限界圧縮率に到達していないブロックについて、量子化値を変更したのち（例えば、Ｑ１→Ｑ２）、ステップＳ１１１０に進む。
【0119】
一方、ステップＳ１１０８において、集計結果が限界圧縮率に到達したと判定された場合には（ステップＳ１１０８においてＹｅｓの場合には）、直接（つまり、量子化値を変更することなく）、ステップＳ１１１０に進む。
【0120】
ステップＳ１１１０において、サーバ装置１３０は、量子化値マップを生成する。
【0121】
ステップＳ１１１１において、サーバ装置１３０は、生成した量子化値マップに、探索用量子化値マップを重畳し、更新量子化値マップを生成する。
【0122】
ステップＳ１１１２において、サーバ装置１３０は、生成した更新量子化値マップをエッジ装置１２０に送信する。
【0123】
ステップＳ１１１３において、エッジ装置１２０は、符号化処理を終了するか否かを判定する。ステップＳ１１１３において、符号化処理を終了しないと判定した場合には（ステップＳ１１１３においてＮｏの場合には）、ステップＳ１１０２に戻る。
【0124】
一方、ステップＳ１１１３において、符号化処理を終了すると判定した場合には（ステップＳ１１１３においてＹｅｓの場合には）、符号化処理を終了する。
【0125】
以上の説明から明らかなように、第１の実施形態に係る符号化システム１００は、時刻Ｔ１のフレーム画像について、認識処理の際の認識精度への影響度に応じた圧縮率となる量子化値を、ブロックごとに算出する。また、第１の実施形態に係る符号化システム１００は、時刻Ｔ１のフレーム画像より後に取得される時刻Ｔ２のフレーム画像の各ブロックに対して、ブロックごとに算出した量子化値を設定する。その際、第１の実施形態に係る符号化システム１００では、時刻Ｔ１のフレーム画像に含まれる認識対象の領域に対応する領域以外の特定領域（探索用量子化値マップが重畳される領域）について、算出した圧縮率よりも低い圧縮率となる量子化値を設定する。
【0126】
このように、符号化処理の際、特定領域について、量子化値を下げて設定することで、第１の実施形態によれば、新たな認識対象の出現に対応した認識処理を行うことが可能となる。
【0127】
この結果、第１の実施形態によれば、動画像の符号化処理に起因する認識精度への影響を抑えることができる。
【0128】
［第２の実施形態］
上記第１の実施形態では、新たな認識対象の出現に対応するために、探索用量子化値マップを用いる場合について説明した。しかしながら、新たな認識対象の出現に対応するための方法はこれに限定されない。
上記第１の実施形態では、新たな認識対象の出現に対応するために、探索用量子化値マップを用いる場合について説明した。しかしながら、新たな認識対象の出現に対応するための方法はこれに限定されない。
【0129】
例えば、エッジ装置において、新たに出現した物体を検出し、当該フレーム画像に対して符号化処理を行う際、新たに出現した物体が位置する領域について、量子化値マップを修正したうえで符号化処理を行うように構成してもよい。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【0130】
＜符号化システムのシステム構成＞
はじめに、第２の実施形態に係る符号化システムのシステム構成について説明する。図１２は、符号化システムのシステム構成の一例を示す第２の図である。図１に示した符号化システム１００との相違点は、符号化システム１２００の場合、エッジ装置１２１０及びサーバ装置１２２０において実現される機能が、エッジ装置１２０及びサーバ装置１３０において実現される機能とは異なっている点である。
はじめに、第２の実施形態に係る符号化システムのシステム構成について説明する。図１２は、符号化システムのシステム構成の一例を示す第２の図である。図１に示した符号化システム１００との相違点は、符号化システム１２００の場合、エッジ装置１２１０及びサーバ装置１２２０において実現される機能が、エッジ装置１２０及びサーバ装置１３０において実現される機能とは異なっている点である。
【0131】
図１２に示すように、エッジ装置１２１０は、符号化プログラムを実行することで、検出部１２１１、量子化値マップ修正部１２１２、符号化部１２１３として機能する。
【0132】
検出部１２１１は、撮像装置１１０により撮影された動画像データの各フレーム画像において、物体を検出する（物体の位置及び大きさを特定する）。
【0133】
なお、検出部１２１１における物体の検出機能は、直接的に物体を検出する機能であってもよいし、間接的に物体を検出する機能であってもよい。直接的に物体を検出する機能の場合、演算量を多く使う手法や、物体の種別・位置を正しく検出する手法等を用いてもよいし、演算量が少ない手法や、物体の種別・位置が、量子化値マップとの対比を行うのに足る程度の情報が得られる手法等を用いてもよい。つまり、検出部１２１１における物体の検出機能は、認識エンジン等のような高度な検出機能であっても、フレーム画像間で何らかの変化があったことを検出できる程度のものであってもよい。具体的には、コンピュータビジョンで物体を検出する機能や、マシンラーニングにより物体を検出する機能、色の変化を検出する機能等であってもよい。
【0134】
また、間接的に物体を検出する機能の場合、エッジ装置１２１０で明に物体検出処理を行うことなく、過去に得られた量子化値マップの情報に基づいて、物体の位置を予測する手法を用いてもよい。なお、検出部１２１１に、直接的に物体を検出する機能と、間接的に物体を検出する機能の両方を配し、両方の手法を組み合わせて用いてもよい。
【0135】
量子化値マップ修正部１２１２は設定部の他の一例であり、検出部１２１１における検出結果に基づいて、サーバ装置１２２０から送信された量子化値マップを修正する。具体的には、量子化値マップ修正部１２１２では、サーバ装置１２２０から送信された量子化値マップの各ブロックの量子化値のうち、検出部１２１１において検出された物体の領域に対応するブロックの量子化値を、低い値に修正する。
【0136】
例えば、量子化値マップ修正部１２１２では、認識対象の領域に対応する領域以外の領域のうちの検出された物体の領域（＝特定領域）に含まれるブロックの量子化値を下げて設定する。
【0137】
符号化部１２１３は、量子化値マップ修正部１２１２により修正された修正後の量子化値マップ（修正量子化値マップと称す）を用いて、動画像データの各フレーム画像を符号化し、符号化データを生成する。また、符号化部１２１は、生成した符号化データをサーバ装置１３０に送信する。
【0138】
サーバ装置１２２０は、復号プログラムを実行することで、復号部１３１、解析部１３２として機能する。
【0139】
復号部１３１は、エッジ装置１２１０から送信された符号化データを復号し、復号データを生成する。復号部１３１は、生成した復号データを、復号データ格納部１３４に格納する。また、復号部１３１は、生成した復号データを、解析部１３２に通知する。
【0140】
解析部１３２は、復号部１３１から通知された復号データを解析し、量子化値マップを生成する。具体的には、解析部１３２は、復号データに対して認識処理を行うことで、認識処理の際の復号データの各領域の認識精度への影響度を算出する。また、解析部１３２は、各領域の影響度を、ブロックごとに集計し、集計結果に応じた量子化値を算出することで、認識精度への影響度に応じた量子化値マップ１２３０を生成する。解析部１３２は、生成した量子化値マップ１２３０を、エッジ装置１２１０に送信する。
【0141】
＜修正量子化値マップと認識結果との関係（１）＞
次に、動画像の各フレーム画像において検出された物体の領域と、動画像の各フレーム画像に適用される、量子化値マップを修正した修正量子化値マップと、対応する復号データに対する認識結果との関係について説明する。図１３は、動画像の各フレーム画像に適用される修正量子化値マップと、認識結果との関係を示す第１の図である。
次に、動画像の各フレーム画像において検出された物体の領域と、動画像の各フレーム画像に適用される、量子化値マップを修正した修正量子化値マップと、対応する復号データに対する認識結果との関係について説明する。図１３は、動画像の各フレーム画像に適用される修正量子化値マップと、認識結果との関係を示す第１の図である。
【0142】
図１３において、縦軸１３００は、時間軸を表しており、図１３の例は、エッジ装置１２１０が、時刻Ｔ１～Ｔ４に、それぞれ、動画像のフレーム画像３１１～３４１を取得したことを示している。なお、図１３の例の場合、時刻Ｔ１では、認識対象として２名の人物がフレーム画像３１１に含まれていたところ、時刻Ｔ２～Ｔ４では、認識対象として３名の人物がフレーム画像３２１、３３１、３４１に含まれている。
【0143】
また、図１３の例は、時刻Ｔ１に取得されたフレーム画像３１１に対して、エッジ装置１２１０が、物体の検出処理を行い、２名の人物を検出した様子を示している（検出結果１３１１参照）。更に、図１３の例は、フレーム画像３１１に対して、エッジ装置１２０が、量子化値マップ１３１２を修正することなく、符号化処理を行った様子を示している（修正量子化値マップ１３１３参照）。更に、図１３の例は、フレーム画像３１１に対して符号化処理を行うことで生成された符号化データを、サーバ装置１２２０が復号し、復号データに対して認識処理を行うことで、認識結果１３１４が得られた様子を示している。
【0144】
図１３の例によれば、フレーム画像３１１内の認識対象（２名の人物）が位置する領域に対応する領域の量子化値が低く設定された量子化値マップ１３１２が用いられることで、復号データにおいては、認識対象の領域が精度よく再現されることになる。この結果、サーバ装置１２２０では、復号データにおいて認識対象（２名の人物）を認識することができる。
【0145】
なお、この場合、サーバ装置１２２０では、認識結果１３１４に応じて量子化値マップを生成する。図１３の例は、認識結果１３１４に応じて量子化値マップ１３２２が生成された様子を示している。
【0146】
また、図１３の例は、時刻Ｔ２に取得されたフレーム画像３２１に対して、エッジ装置１２１０が物体の検出処理を行い、３名の人物を検出した様子を示している（検出結果１３２１参照）。更に、図１３の例は、エッジ装置１２１０が、量子化値マップ１３２２を、検出結果１３２１に基づいて修正し、修正量子化値マップ１３２３を生成した様子を示している。更に、図１３の例は、エッジ装置１２１０が、修正量子化値マップ１３２３を用いて、フレーム画像３２１に対して符号化処理を行う様子を示している。更に、図１３の例は、フレーム画像３２１に対して符号化処理を行うことで生成された符号化データを、サーバ装置１２２０が復号し、復号データに対して認識処理を行うことで、認識結果１３２４が得られた様子を示している。
【0147】
図１３の例によれば、フレーム画像３２１内の認識対象（３名の人物）が位置する領域に対応する領域の量子化値が低く設定された修正量子化値マップ１３２３が用いられることで、復号データにおいては、認識対象の領域が精度よく再現されることになる。この結果、サーバ装置１２２０では、復号データにおいて認識対象（３名の人物）を認識することができる。
【0148】
なお、この場合、サーバ装置１２２０では、認識結果１３２４に応じて量子化値マップを生成する。図１３の例は、認識結果１３２４に応じて量子化値マップ１３３２が生成された様子を示している。
【0149】
また、図１３の例は、時刻Ｔ３に取得されたフレーム画像３３１に対して、エッジ装置１２１０が物体の検出処理を行い、３名の人物を検出した様子を示している（検出結果１３３１参照）。更に、図１３の例は、エッジ装置１２１０が、量子化値マップ１３３２を修正することなく、符号化処理を行う様子を示している（修正量子化値マップ１３３３参照）。更に、図１３の例は、フレーム画像３３１に対して符号化処理を行うことで生成された符号化データを、サーバ装置１２２０が復号し、復号データに対して認識処理を行うことで、認識結果１３３４が得られた様子を示している。
【0150】
図１３の例によれば、フレーム画像３３１内の認識対象（３名の人物）が位置する領域に対応する領域の量子化値が低く設定された量子化値マップ１３３２が用いられることで、復号データにおいては、認識対象の領域が精度よく再現されることになる。この結果、サーバ装置１２２０では、復号データにおいて認識対象（３名の人物）を認識することができる。
【0151】
なお、この場合、サーバ装置１２２０では、認識結果１３３４に応じて量子化値マップを生成する。図１３の例は、認識結果１３３４に応じて量子化値マップ１３４２が生成された様子を示している。以降、時刻Ｔ４においても、時刻Ｔ３における処理と同様の処理が行われる。
【0152】
このように、検出した物体の領域に基づいて量子化値マップを修正することで、新たな認識対象を認識することが可能となる。
【0153】
＜修正量子化値マップと認識結果との関係（２）＞
次に、動画像の各フレーム画像において検出された物体の領域と、動画像の各フレーム画像に適用される、量子化値マップを修正した修正量子化値マップと、対応する復号データに対する認識結果との関係について、図１３とは異なる具体例を用いて説明する。
次に、動画像の各フレーム画像において検出された物体の領域と、動画像の各フレーム画像に適用される、量子化値マップを修正した修正量子化値マップと、対応する復号データに対する認識結果との関係について、図１３とは異なる具体例を用いて説明する。
【0154】
【0155】
【0156】
図１４の例の場合、時刻Ｔ２に取得されたフレーム画像６２１に対して、エッジ装置１２１０は、物体の検出処理を行うことで、２名の人物と、１つの物体とを検出する（検出結果１４２１参照）。また、図１４の例の場合、エッジ装置１２１０は、検出結果１４２１に基づいて量子化値マップ１４２２を修正し、修正量子化値マップ１４２３を生成する。また、図１４の例の場合、エッジ装置１２１０は、修正量子化値マップ１４２３を用いて、フレーム画像６２１に対して符号化処理を行う。更に、図１４の例の場合、フレーム画像６２１に対して符号化処理を行うことで生成された符号化データを、サーバ装置１２２０が復号し、復号データに対して認識処理を行うことで、認識結果１４２４を得る。
【0157】
図１４の例によれば、フレーム画像６２１内の認識対象（２名の人物）と認識対象外の１つの物体とが位置する領域に対応する領域の量子化値が低く設定された修正量子化値マップ１４２３が用いられる。このため、復号データにおいて、認識対象と、認識対象外の物体とが精度よく再現されることになる。
【0158】
しかしながら、サーバ装置１２２０では、認識対象外の物体については認識せず、認識対象のみを認識するため、認識結果１４２４が生成されることになる。
【0159】
なお、この場合、サーバ装置１２２０では、認識結果１４２４に応じて量子化値マップを生成する。図１４の例は、認識結果１４２４に応じて量子化値マップ１４３２が生成された様子を示している。以降、時刻Ｔ３、Ｔ４においても、時刻Ｔ２における処理と同様の処理が行われる。
【0160】
＜符号化処理の流れ＞
次に、符号化システム１２００による符号化処理の流れについて説明する。図１５は、符号化処理の流れを示すフローチャートである。
次に、符号化システム１２００による符号化処理の流れについて説明する。図１５は、符号化処理の流れを示すフローチャートである。
【0161】
ステップＳ１５０１において、サーバ装置１２２０は、量子化値マップを初期化して、エッジ装置１２１０に設定するとともに、撮像装置１１０により撮影された動画像データの取得を開始する。
【0162】
ステップＳ１５０２において、エッジ装置１２１０は、フレーム画像を取得する。
【0163】
ステップＳ１５０３において、エッジ装置１２１０は、フレーム画像内の物体を検出し、検出した物体の領域を特定する。
【0164】
ステップＳ１５０４において、エッジ装置１２１０は、特定した物体の領域と、量子化値マップとを対比し、量子化値マップを修正する。
【0165】
ステップＳ１５０５において、エッジ装置１２１０は、修正量子化値マップを用いてフレーム画像を符号化し、符号化データを生成する。
【0166】
ステップＳ１５０６において、エッジ装置１２１０は、符号化データをサーバ装置１２２０に送信する。
【0167】
ステップＳ１５０７において、サーバ装置１２２０は、エッジ装置１２１０から送信された符号化データを復号し、復号データを、復号データ格納部１３４に格納する。
【0168】
ステップＳ１５０８において、サーバ装置１２２０は、復号データに対して認識処理を行う。
【0169】
ステップＳ１５０９において、サーバ装置１２２０は、認識処理を行った際の誤差（所定の基準スコアに対する誤差）から、誤差逆伝播法を利用して重要特徴マップを生成する。また、サーバ装置１２２０は、生成した重要特徴マップをブロック単位で集計する。
【0170】
ステップＳ１５１０において、サーバ装置１２２０は、集計結果が限界圧縮率に到達したか否かを、ブロックごとに判定する。ステップＳ１５１０において、集計結果が限界圧縮率に到達していないと判定された場合には（ステップＳ１５１０においてＮｏの場合には）、ステップＳ１５１１に進む。
【0171】
ステップＳ１５１１において、サーバ装置１２２０は、集計結果が限界圧縮率に到達していないブロックについて、量子化値を変更したのち（例えば、Ｑ１→Ｑ２）、ステップＳ１５１２に進む。
【0172】
一方、ステップＳ１５１０において、集計結果が限界圧縮率に到達したと判定された場合には（ステップＳ１５１０においてＹｅｓの場合には）、直接（つまり、量子化値を変更することなく）、ステップＳ１５１２に進む。
【0173】
ステップＳ１５１２において、サーバ装置１２２０は、量子化値マップを生成する。
【0174】
ステップＳ１５１３において、サーバ装置１２２０は、生成した量子化値マップを、エッジ装置１２１０に送信する。
【0175】
ステップＳ１５１４において、エッジ装置１２１０は、符号化処理を終了するか否かを判定する。ステップＳ１５１４において、符号化処理を終了しないと判定した場合には（ステップＳ１５１４においてＮｏの場合には）、ステップＳ１５０２に戻る。
【0176】
一方、ステップＳ１５１４において、符号化処理を終了すると判定した場合には（ステップＳ１５１４においてＹｅｓの場合には）、符号化処理を終了する。
【0177】
以上の説明から明らかなように、第２の実施形態に係る符号化システム１２００は、時刻Ｔ１のフレーム画像について、認識処理の際の認識精度への影響度に応じた圧縮率となる量子化値をブロックごとに算出し、量子化値マップを生成する。また、第２の実施形態に係る符号化システム１２００は、時刻Ｔ１のフレーム画像より後に取得される時刻Ｔ２のフレーム画像の各ブロックに対して、算出した量子化値マップを設定する。その際、第２の実施形態に係る符号化システム１２００では、物体の検出処理を行い、認識対象の領域に対応する領域以外の領域であって、検出した物体の領域（特定領域）について、算出した圧縮率よりも低い圧縮率となる量子化値に修正する。
【0178】
このように、符号化処理の際、特定領域について、量子化値を下げて設定することで、第２の実施形態によれば、新たな認識対象の出現に対応した認識処理を行うことが可能となる。
【0179】
この結果、第２の実施形態によれば、動画像の符号化処理に起因する認識精度への影響を抑えることができる。
【0180】
［第３の実施形態］
上記第１及び第２の実施形態では、復号データについて、限界圧縮率を判定しながら、量子化値マップを生成するものとして説明した。しかしながら、量子化値マップの生成方法はこれに限定されない。
上記第１及び第２の実施形態では、復号データについて、限界圧縮率を判定しながら、量子化値マップを生成するものとして説明した。しかしながら、量子化値マップの生成方法はこれに限定されない。
【0181】
例えば、限界圧縮率を判定し、判定した限界圧縮率となる量子化値を微小に低圧縮方向に補正したうえで、量子化値マップを生成するように構成してもよい。
【0182】
なお、補正後の量子化値マップを生成するにあたり、低圧縮方向への補正量は、所定の固定値であってもよい。あるいは、認識処理の際の認識精度の推移を監視し、精度劣化の予兆が検知された場合に、精度劣化の変化速度等を考慮して、適応的に補正量を決定してもよい。
【0183】
また、低圧縮方向への補正は、サーバ装置において実行してもよいし、エッジ装置において実行してもよい。
【0184】
［その他の実施形態］
上記各実施形態では、符号化システムのエッジ装置にて実現される機能及びサーバ装置にて実現される機能について、例えば、図１及び図１２等を用いて説明した。しかしながら、符号化システムにおいて、エッジ装置にて実現される機能及びサーバ装置にて実現される機能は、図１及び図１２に示した例に限定されない。
上記各実施形態では、符号化システムのエッジ装置にて実現される機能及びサーバ装置にて実現される機能について、例えば、図１及び図１２等を用いて説明した。しかしながら、符号化システムにおいて、エッジ装置にて実現される機能及びサーバ装置にて実現される機能は、図１及び図１２に示した例に限定されない。
【0185】
例えば、第１の実施形態において、解析部１３２の量子化値生成部７５０及び更新部１３３は、エッジ装置１２０において実現されてもよい（つまり、符号化プログラムが実行されることで実現されてもよい）。
【0186】
また、上記各実施形態では、説明の簡略化のため、動画像データの各フレーム画像３１１～３４１、６１１～６４１において、認識対象が移動しない場合について示した。しかしながら、認識対象はフレーム画像間で移動してもよい。ただし、その場合、認識対象の移動方向及び移動量を予測して、量子化値マップが補正されるものとする。
【0187】
また、上記第１の実施形態では、動画像の各フレーム画像について、探索用量子化値マップを重畳した更新量子化値マップが適用されるものとして説明した。しかしながら、更新量子化値マップの適用頻度はこれに限定されず、例えば、所定数のフレーム画像に１回の割合で、探索用量子化値マップを重畳した更新量子化値マップが適用されてもよい。
【0188】
同様に、上記第２の実施形態では、動画像の各フレーム画像について、修正量子化値マップが適用されるものとして説明した。しかしながら、修正量子化値マップの適用頻度はこれに限定されず、例えば、所定数のフレーム画像に１回の割合で、修正量子化値マップが適用されてもよい。
【0189】
また、上記第１及び第２の実施形態では、新たな認識対象の領域が、探索用量子化値マップまたは修正量子化値マップにおいて量子化値を下げて再現性を上げる領域に全て含まれるものとして説明した。しかしながら、新たな認識対象の領域は、探索用量子化値マップまたは修正量子化値マップにおいて量子化値を下げて再現性を上げる領域に、全て含まれていなくてもよい。
【0190】
つまり、ＣＮＮ部７２０等が、新たな認識対象の領域に、新たな認識対象が存在することを識別できるだけの情報があればよい。例えば、ＣＮＮ部７２０等が、新たな認識対象の領域の一部の領域から、新たな認識対象が存在することを識別することができる場合にあっては、当該一部の領域の情報があればよい。また、ＣＮＮ部７２０等が、例えば、新たな認識対象の領域の一部の領域が隠れていても、当該隠れた一部の領域を推測することができる場合にあっては、新たな認識対象の領域の一部の領域は含まれていなくてもよい。
【0191】
これらの場合、新たな認識対象の領域の全ての領域が含まれていなくても、量子化値生成部７５０では、新たな認識対象の領域の全ての領域が反映された量子化値マップを生成することができる。
【0192】
また、上記第１の実施形態では、探索用量子化値マップを帯状に形成したが、探索用量子化値マップの形状は、例えば、動画像データに含まれる認識対象の特性（形状、大きさ、動作）に基づいて決定されてもよい。例えば、街を歩行する人物が認識対象である場合のように、縦長の認識対象が動画像データに含まれることが想定される場合には、探索用量子化値マップは縦長の矩形により形成されてもよい。
【0193】
また、上記第３の実施形態では、低圧縮方向への補正の趣旨について特に言及しなかったが、低圧縮方向への補正は、例えば、集計値の大きさの変化を観測するために行ってもよい。あるいは、上記第１及び第２の実施形態で説明した手法以外の手法により量子化値マップを生成する場合であって、量子化値を微小に低圧縮方向に補正することが有効である場合に、低圧縮方向への補正を行ってもよい。あるいは、単純にマージンを持たせる目的で、低圧縮方向への補正を行ってもよい。
【0194】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【0195】
１００ ：符号化システム
１１０ ：撮像装置
１２０ ：エッジ装置
１２１ ：符号化部
１３０ ：サーバ装置
１３１ ：復号部
１３２ ：解析部
１３３ ：更新部
１４０ ：量子化値マップ
１５１～１５３ ：探索用量子化値マップ
１６１～１６３ ：更新量子化値マップ
７１０ ：入力部
７２０ ：ＣＮＮ部
７３０ ：重要特徴マップ生成部
７４０ ：集計部
７５０ ：量子化値生成部
７６０ ：出力部
１００１ ：入力部
１００２ ：更新量子化値マップ生成部
１００３ ：探索用量子化値特定部
１２００ ：符号化システム
１２１０ ：エッジ装置
１２１１ ：検出部
１２１２ ：量子化値マップ修正部
１２１３ ：符号化部
１２２０ ：サーバ装置
１２３０ ：量子化値マップ
１１０ ：撮像装置
１２０ ：エッジ装置
１２１ ：符号化部
１３０ ：サーバ装置
１３１ ：復号部
１３２ ：解析部
１３３ ：更新部
１４０ ：量子化値マップ
１５１～１５３ ：探索用量子化値マップ
１６１～１６３ ：更新量子化値マップ
７１０ ：入力部
７２０ ：ＣＮＮ部
７３０ ：重要特徴マップ生成部
７４０ ：集計部
７５０ ：量子化値生成部
７６０ ：出力部
１００１ ：入力部
１００２ ：更新量子化値マップ生成部
１００３ ：探索用量子化値特定部
１２００ ：符号化システム
１２１０ ：エッジ装置
１２１１ ：検出部
１２１２ ：量子化値マップ修正部
１２１３ ：符号化部
１２２０ ：サーバ装置
１２３０ ：量子化値マップ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】