知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024009487
(43)【公開日】2024-01-23
(54)【発明の名称】画像処理システム及び画像処理方法
(51)【国際特許分類】
H04N 19/115 20140101AFI20240116BHJP
G06V 10/94 20220101ALI20240116BHJP
G06T 7/00 20170101ALI20240116BHJP
H04N 19/136 20140101ALI20240116BHJP
H04N 19/156 20140101ALI20240116BHJP
H04N 19/172 20140101ALI20240116BHJP
【ＦＩ】
H04N19/115
G06V10/94
G06T7/00 350B
H04N19/136
H04N19/156
H04N19/172
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022111047
(22)【出願日】2022-07-11
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100092978
【弁理士】
【氏名又は名称】真田 有
(74)【代理人】
【識別番号】100189201
【弁理士】
【氏名又は名称】横田 功
(72)【発明者】
【氏名】雷 旭穎
【テーマコード（参考）】
5C159
5L096
【Ｆターム（参考）】
5C159MA05
5C159MD02
5C159ME01
5C159TA60
5C159TB04
5C159TC02
5C159TC41
5C159TC51
5C159TD04
5C159UA02
5L096AA06
5L096BA02
5L096CA04
5L096EA24
5L096FA33
5L096FA64
5L096GA08
5L096HA11
5L096JA11
5L096KA04
(57)【要約】
【課題】複数の機器が取得した複数の入力画像に対する推論処理を複数のサーバが行なう画像処理システムにおいて、推論処理を入力画像に応じて適切に制御する。
【解決手段】第１機器２は、機械学習モデルの前段の層に第１入力画像１１を入力して第１特徴量１２を取得し、前記第１特徴量の統計情報１３を算出して制御装置４に送信し、前記第１特徴量を、前記制御装置が決定したネットワーク帯域に基づき、複数のサーバ３のうちの前記制御装置が決定した第１サーバ３に送信し、前記複数の機器及び前記複数のサーバの制御を行なう前記制御装置は、前記第１機器から受信した前記統計情報と、前記複数のサーバの各々の性能とに基づき、前記第１機器に割り当てる前記ネットワーク帯域と、前記第１サーバと、を決定し、前記第１サーバは、前記機械学習モデルの後段の層に、前記第１機器から受信した前記第１特徴量を入力して推論結果１４を取得する。
【選択図】図４
【解決手段】第１機器２は、機械学習モデルの前段の層に第１入力画像１１を入力して第１特徴量１２を取得し、前記第１特徴量の統計情報１３を算出して制御装置４に送信し、前記第１特徴量を、前記制御装置が決定したネットワーク帯域に基づき、複数のサーバ３のうちの前記制御装置が決定した第１サーバ３に送信し、前記複数の機器及び前記複数のサーバの制御を行なう前記制御装置は、前記第１機器から受信した前記統計情報と、前記複数のサーバの各々の性能とに基づき、前記第１機器に割り当てる前記ネットワーク帯域と、前記第１サーバと、を決定し、前記第１サーバは、前記機械学習モデルの後段の層に、前記第１機器から受信した前記第１特徴量を入力して推論結果１４を取得する。
【選択図】図４
【特許請求の範囲】
【請求項1】
入力画像を取得する複数の機器と、
複数の前記入力画像に対する推論処理を行なう複数のサーバと、
前記複数の機器及び前記複数のサーバの制御を行なう制御装置と、を備え、
前記複数の機器のうちの第１入力画像を取得する第１機器は、
入力される画像に対する推論処理を実行する機械学習モデルの前段の層に、前記第１入力画像を入力して前記第１入力画像の第１特徴量を取得し、
前記第１特徴量の統計情報を算出して前記制御装置に送信し、
前記第１特徴量を、前記制御装置が決定したネットワーク帯域に基づき、前記複数のサーバのうちの前記制御装置が決定した第１サーバに送信し、
前記制御装置は、
前記第１機器から受信した前記統計情報と、前記複数のサーバの各々の性能とに基づき、前記第１機器に割り当てる前記ネットワーク帯域と、前記第１サーバと、を決定し、
前記第１サーバは、
前記機械学習モデルの後段の層に、前記第１機器から受信した前記第１特徴量を入力して推論結果を取得する、
画像処理システム。
複数の前記入力画像に対する推論処理を行なう複数のサーバと、
前記複数の機器及び前記複数のサーバの制御を行なう制御装置と、を備え、
前記複数の機器のうちの第１入力画像を取得する第１機器は、
入力される画像に対する推論処理を実行する機械学習モデルの前段の層に、前記第１入力画像を入力して前記第１入力画像の第１特徴量を取得し、
前記第１特徴量の統計情報を算出して前記制御装置に送信し、
前記第１特徴量を、前記制御装置が決定したネットワーク帯域に基づき、前記複数のサーバのうちの前記制御装置が決定した第１サーバに送信し、
前記制御装置は、
前記第１機器から受信した前記統計情報と、前記複数のサーバの各々の性能とに基づき、前記第１機器に割り当てる前記ネットワーク帯域と、前記第１サーバと、を決定し、
前記第１サーバは、
前記機械学習モデルの後段の層に、前記第１機器から受信した前記第１特徴量を入力して推論結果を取得する、
画像処理システム。
【請求項2】
前記複数のサーバの各々は、
受信した特徴量に基づく推論結果を前記制御装置に送信し、
前記制御装置は、
前記決定する処理において、受信した第１推論結果であって、前記第１入力画像よりも時間的に先行する第２入力画像の第２特徴量に基づく前記第１推論結果にさらに基づき、前記ネットワーク帯域と、前記第１サーバと、を決定する、
請求項１に記載の画像処理システム。
受信した特徴量に基づく推論結果を前記制御装置に送信し、
前記制御装置は、
前記決定する処理において、受信した第１推論結果であって、前記第１入力画像よりも時間的に先行する第２入力画像の第２特徴量に基づく前記第１推論結果にさらに基づき、前記ネットワーク帯域と、前記第１サーバと、を決定する、
請求項１に記載の画像処理システム。
【請求項3】
前記推論処理は、物体の検出処理であり、
前記制御装置は、前記決定する処理において、
前記統計情報と、前記第２入力画像における物体の検出数を示す前記第１推論結果とに基づき、前記第１入力画像における物体の検出数を推定し、
前記統計情報と、前記複数のサーバの各々の性能と、前記第１入力画像における物体の検出数とに基づき、前記ネットワーク帯域と、前記第１サーバと、を決定する、
請求項２に記載の画像処理システム。
前記制御装置は、前記決定する処理において、
前記統計情報と、前記第２入力画像における物体の検出数を示す前記第１推論結果とに基づき、前記第１入力画像における物体の検出数を推定し、
前記統計情報と、前記複数のサーバの各々の性能と、前記第１入力画像における物体の検出数とに基づき、前記ネットワーク帯域と、前記第１サーバと、を決定する、
請求項２に記載の画像処理システム。
【請求項4】
前記第１機器は、前記第１特徴量を送信する処理において、
前記第１特徴量を符号化し、
符号化した前記第１特徴量を、前記制御装置が決定した前記ネットワーク帯域に基づき量子化し、
量子化した前記第１特徴量を前記第１サーバに送信する、
請求項１～請求項３のいずれか１項に記載の画像処理システム。
前記第１特徴量を符号化し、
符号化した前記第１特徴量を、前記制御装置が決定した前記ネットワーク帯域に基づき量子化し、
量子化した前記第１特徴量を前記第１サーバに送信する、
請求項１～請求項３のいずれか１項に記載の画像処理システム。
【請求項5】
前記第１機器は、前記統計情報を算出する処理において、
前記符号化した前記第１特徴量の前記統計情報を算出する、
請求項４に記載の画像処理システム。
前記符号化した前記第１特徴量の前記統計情報を算出する、
請求項４に記載の画像処理システム。
【請求項6】
前記第１機器は、前記第１特徴量を取得する処理において、
画像を固定位置から撮像する撮像装置により撮像された前記第１入力画像と、前記撮像装置により撮像される画像の背景画像との差分画像を、前記機械学習モデルの前記前段の層に入力して前記第１特徴量を取得する、
請求項１～請求項３のいずれか１項に記載の画像処理システム。
画像を固定位置から撮像する撮像装置により撮像された前記第１入力画像と、前記撮像装置により撮像される画像の背景画像との差分画像を、前記機械学習モデルの前記前段の層に入力して前記第１特徴量を取得する、
請求項１～請求項３のいずれか１項に記載の画像処理システム。
【請求項7】
入力画像を取得する複数の機器と、
複数の前記入力画像に対する推論処理を行なう複数のサーバと、
前記複数の機器及び前記複数のサーバの制御を行なう制御装置と、を備える画像処理システムにおける画像処理方法であって、
前記複数の機器のうちの第１入力画像を取得する第１機器は、
入力される画像に対する推論処理を実行する機械学習モデルの前段の層に、前記第１入力画像を入力して前記第１入力画像の第１特徴量を取得し、
前記第１特徴量の統計情報を算出して前記制御装置に送信し、
前記第１特徴量を、前記制御装置が決定したネットワーク帯域に基づき、前記複数のサーバのうちの前記制御装置が決定した第１サーバに送信し、
前記制御装置は、
前記第１機器から受信した前記統計情報と、前記複数のサーバの各々の性能とに基づき、前記第１機器に割り当てる前記ネットワーク帯域と、前記第１サーバと、を決定し、
前記第１サーバは、
前記機械学習モデルの後段の層に、前記第１機器から受信した前記第１特徴量を入力して推論結果を取得する、
画像処理方法。
複数の前記入力画像に対する推論処理を行なう複数のサーバと、
前記複数の機器及び前記複数のサーバの制御を行なう制御装置と、を備える画像処理システムにおける画像処理方法であって、
前記複数の機器のうちの第１入力画像を取得する第１機器は、
入力される画像に対する推論処理を実行する機械学習モデルの前段の層に、前記第１入力画像を入力して前記第１入力画像の第１特徴量を取得し、
前記第１特徴量の統計情報を算出して前記制御装置に送信し、
前記第１特徴量を、前記制御装置が決定したネットワーク帯域に基づき、前記複数のサーバのうちの前記制御装置が決定した第１サーバに送信し、
前記制御装置は、
前記第１機器から受信した前記統計情報と、前記複数のサーバの各々の性能とに基づき、前記第１機器に割り当てる前記ネットワーク帯域と、前記第１サーバと、を決定し、
前記第１サーバは、
前記機械学習モデルの後段の層に、前記第１機器から受信した前記第１特徴量を入力して推論結果を取得する、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理システム及び画像処理方法に関する。
【背景技術】
【0002】
カメラ等のエッジ端末（機器）が取得したフレーム画像に基づく推論処理、例えば人物等の物体を検出する物体検出処理を、クラウドサーバ等のエッジサーバ（サーバ）にオフロードする技術が知られている。
【0003】
上述した技術では、エッジ端末からエッジサーバにフレーム画像を送信するためのネットワーク帯域を複数のエッジ端末間で均等に割り当てることが行なわれる場合がある。
【0004】
フレーム画像の伝送手法としては、例えば、フレーム間の差分を伝送することで通信量を削減する手法が知られている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】米国特許出願公開第２０１１／０２５５５９０号明細書
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述した技術では、動きのある物体の数が多い（フレーム間の差分が大きい）フレーム画像を送信するエッジ端末に割り当てられるネットワーク帯域が不足する場合がある。ネットワーク帯域が不足すると、当該フレーム画像の伝送により画質が劣化し、サーバでの物体検出精度が低下することがある。
【0007】
また、物体検出処理を行なうエッジサーバを各エッジ端末に固定的に割り当てると、入力画像に応じて特定のエッジサーバに負荷が集中し、リアルタイムの物体検出ができない場合がある。
【0008】
このように、上述した技術では、物体検出処理等の推論処理が適切に実行できない場合がある。
【0009】
１つの側面では、本発明は、複数の機器が取得した複数の入力画像に対する推論処理を複数のサーバが行なう画像処理システムにおいて、推論処理を入力画像に応じて適切に制御することを目的の１つとする。
【課題を解決するための手段】
【0010】
１つの側面では、画像処理システムは、入力画像を取得する複数の機器と、複数の前記入力画像に対する推論処理を行なう複数のサーバと、前記複数の機器及び前記複数のサーバの制御を行なう制御装置と、を備えてよい。前記複数の機器のうちの第１入力画像を取得する第１機器は、入力される画像に対する推論処理を実行する機械学習モデルの前段の層に、前記第１入力画像を入力して前記第１入力画像の第１特徴量を取得してよい。また、前記第１機器は、前記第１特徴量の統計情報を算出して前記制御装置に送信し、前記第１特徴量を、前記制御装置が決定したネットワーク帯域に基づき、前記複数のサーバのうちの前記制御装置が決定した第１サーバに送信してよい。前記制御装置は、前記第１機器から受信した前記統計情報と、前記複数のサーバの各々の性能とに基づき、前記第１機器に割り当てる前記ネットワーク帯域と、前記第１サーバと、を決定してよい。前記第１サーバは、前記機械学習モデルの後段の層に、前記第１機器から受信した前記第１特徴量を入力して推論結果を取得してよい。
【発明の効果】
【0011】
１つの側面では、本発明は、複数の機器が取得した複数の入力画像に対する推論処理を複数のサーバが行なう画像処理システムにおいて、推論処理を入力画像に応じて適切に制御することができる。
【図面の簡単な説明】
【0012】
【図1】第１比較例に係るシステムの構成例を示すブロック図である。
【図2】第２比較例に係るシステムの構成例を示すブロック図である。
【図3】一実施形態に係るシステムの構成例を示すブロック図である。
【図4】一実施形態に係るシステムのソフトウェア構成例を示すブロック図である。
【図5】一実施形態に係る物体検出モデルの一例を示す図である。
【図6】ネットワーク帯域に基づく量子化処理及び逆量子化処理の一例を説明するための図である。
【図7】送信先の決定処理の一例を説明するための図である。
【図8】フレーム画像と特徴量との一例を示す図である。
【図9】一実施形態に係るシステムで実行される各処理のタイミングチャートの一例を示す図である。
【図10】一実施形態に係るエッジ端末の動作例を説明するフローチャートである。
【図11】一実施形態に係るエッジサーバの動作例を説明するフローチャートである。
【図12】一実施形態に係る制御サーバの動作例を説明するフローチャートである。
【図13】第１変形例に係るエッジ端末のソフトウェア構成例を示すブロック図である。
【図14】一実施形態に係るコンピュータのハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【0013】
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形又は技術の適用を排除する意図はない。例えば、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。なお、以下の説明で用いる図面において、同一符号を付した部分は、特に断らない限り、同一若しくは同様の部分を表す。
【0014】
〔Ａ〕比較例に係るシステムの説明
図１は、第１比較例に係るシステム１００の構成例を示すブロック図である。図１に示すように、システム１００は、複数のエッジ端末１２０と、複数のエッジサーバ１３０とを備える。以下、特定のエッジ端末１２０を示す場合は、エッジ端末＃０～＃３（図１参照）と表記し、特定のエッジサーバ１３０を示す場合は、エッジサーバ＃０，＃１（図１参照）と表記する。
図１は、第１比較例に係るシステム１００の構成例を示すブロック図である。図１に示すように、システム１００は、複数のエッジ端末１２０と、複数のエッジサーバ１３０とを備える。以下、特定のエッジ端末１２０を示す場合は、エッジ端末＃０～＃３（図１参照）と表記し、特定のエッジサーバ１３０を示す場合は、エッジサーバ＃０，＃１（図１参照）と表記する。
【0015】
エッジ端末１２０は、カメラ等の撮像装置と接続された端末であり、撮像装置からフレーム画像１１０を取得し、取得したフレーム画像１１０をいずれかのエッジサーバ１３０に送信する。フレーム画像１１０は、図１に顔のマークで示すように、例えば人物を含むカメラ映像における１フレームの画像であってよい。
【0016】
エッジサーバ１３０は、例えばクラウドサーバ等のコンピュータであり、エッジ端末１２０から受信したフレーム画像１１０に対する物体検出処理を行ない、物体、例えば人物の検出結果を出力する。
【0017】
図１に示すシステム１００において、例えばカメラ映像に含まれる人物が動いている場合、各フレーム画像１１０に含まれる人物の位置及び数が変動する。
【0018】
このため、エッジ端末１２０とエッジサーバ１３０との間のネットワーク帯域を、エッジ端末１２０間で均等に割り当てると、例えば人物が多く映っているフレーム画像１１０を送信するエッジ端末＃１のネットワーク帯域が不足する。
【0019】
例えば、エッジ端末１２０は、フレーム画像１１０を符号化する際に、Ｂ，Ｐフレームにおいて、フレーム間の差分画像を算出し、当該差分画像を伝送することにより、データ量を削減する。しかし、エッジ端末＃１のように、カメラ映像に映っている人物の数が多くなると、現在フレームと前フレームとの差分が大きくなるため、伝送する差分画像のデータ量が大きくなり、伝送に用いるネットワーク帯域が増加する。
【0020】
不足したネットワーク帯域において、エッジ端末＃１からフレーム画像１１０を伝送すると、画質が劣化し、エッジサーバ＃０での物体検出精度が低下する場合がある。
【0021】
また、エッジ端末１２０とエッジサーバ１３０とを固定的に割り当てる場合、特定のエッジサーバ１３０に負荷が集中し、リアルタイムの解析処理（検出処理）が実現できない場合がある。
【0022】
エッジサーバ１３０が物体検出処理を行なう物体検出モデルとして、ＹＯＬＯ ｖ３を利用する場合を想定する。ＹＯＬＯ ｖ３は、入力画像に含まれる物体の位置を検出し、その物体の名前を予測するモデルである。ＹＯＬＯ ｖ３では、入力画像に対して、入力画像に含まれる全ての物体の位置（バウンディングボックス）の検出と、各物体が属するカテゴリの分類とが算出されるため、物体の数が増加するほど、処理負荷が高くなる。
【0023】
例えば、図１では、エッジサーバ＃０がエッジ端末＃０及び＃１からのフレーム画像１１０を処理し、エッジサーバ＃１がエッジ端末＃２及び＃３からのフレーム画像１１０を処理する。この場合、エッジ端末＃０及び＃１は、いずれも、エッジ端末＃２及び＃３よりも人物を多く含むフレーム画像１１０を送信するため、エッジサーバ＃０における物体検出処理の処理負荷が高まる、換言すれば多くの演算パワーが使用される。
【0024】
図２は、第２比較例に係るシステム２００の構成例を示すブロック図である。システム２００は、複数のエッジ端末１２０及び複数のエッジサーバ１３０に加えて、制御サーバ２４０を備える。
【0025】
制御サーバ２４０は、各エッジサーバ１３０による物体検出処理の解析結果に基づき、各エッジ端末１２０に対するフィードバック制御を行なう。
【0026】
例えば、制御サーバ２４０は、以前のフレーム画像１１０の解析結果に基づく物体の検出数に応じて、各エッジ端末１２０に分配するネットワーク帯域と、各エッジ端末１２０からのフレーム画像１１０の送信先となるエッジサーバ１３０とを動的に制御する。
【0027】
これにより、図２に例示するように、エッジサーバ＃０は、エッジ端末＃０，＃２，＃３からのフレーム画像１１０を処理し、エッジサーバ＃１は、エッジ端末＃１からのフレーム画像１１０を処理するように制御でき、物体の検出数の観点で負荷を分散できる。
【0028】
しかし、システム２００では、制御部２４０によるフィードバック制御において、物体の検出数の算出，ネットワークの伝送等において遅延が発生し得る。例えば、カメラ映像が30fps（frames per second）である場合、カメラからのフレーム画像１１０の出力間隔は33msec（ミリ秒）となる。一方、遅延は、例えば100msec等になる。このため、フィードバック制御は、例えば３フレーム以上の前のフレーム画像１１０に基づく制御となる。
【0029】
このような遅延が発生すると、動いている物体、すなわち人流の変化にフィードバック制御が追い付けず、フィードバック制御の精度が低下することがある。この場合、図１に示すシステム１００において発生するネットワーク帯域の不足，エッジサーバ１３０での処理負荷の増加等を解消できない場合がある。
【0030】
〔Ｂ〕一実施形態に係るシステムの構成例
図３は、一実施形態に係るシステム１の構成例を示すブロック図である。システム１は、複数のエッジ端末２が取得したフレーム画像１１に対する推論処理を複数のエッジサーバ３が行なう、画像処理システム又は画像推論システムの一例である。
図３は、一実施形態に係るシステム１の構成例を示すブロック図である。システム１は、複数のエッジ端末２が取得したフレーム画像１１に対する推論処理を複数のエッジサーバ３が行なう、画像処理システム又は画像推論システムの一例である。
【0031】
システム１は、例えば、入力される画像に対して機械学習モデルにより推論処理を行ない、推論結果を利用した種々の処理を実行するシステムに適用されてよい。例えば、システム１は、工場に設置されたカメラで撮影された映像を機械学習モデルにより認識し、不良品の検出や稼働機器の異常検出等を行ない、品質向上と生産性の向上を図るシステムに適用されてもよい。或いは、システム１は、商業施設において人の流れ（人流）をリアルタイムで分析し、分析結果を、マーケティングや作業の効率化、集客施策やコロナ中の密な状態を避ける等の目的に利用するシステム等に適用されてもよい。
【0032】
一実施形態では、推論処理が物体検出処理である場合を例に挙げるが、これに限定されるものではない。図３に示すように、システム１は、複数のエッジ端末２，複数のエッジサーバ３及び制御サーバ４を備える。
【0033】
複数のエッジ端末２は、入力画像を取得する複数の機器の一例である。エッジ端末２は、カメラ２０と接続された端末であり、カメラ２０からフレーム画像１１を取得する。カメラ２０は、撮像装置の一例であり、フレーム画像１１は、入力画像の一例である。なお、エッジ端末２の機能は、カメラ２０が備える機能、例えば通信機能の一部であってもよい。この場合、カメラ２０がエッジ端末２として動作してよい。
【0034】
複数のエッジサーバ３は、複数の入力画像に対する推論処理を行なう複数のサーバの一例である。エッジサーバ３は、例えばクラウドサーバ等のコンピュータであり、エッジ端末２から受信するフレーム画像１１に基づく情報に基づき、物体検出処理を行なう。物体検出処理は、推論処理の一例であり、例えば、訓練済みの物体検出モデル等の機械学習モデルに情報を入力することにより実行されてよい。
【0035】
制御サーバ４は、複数のエッジ端末２及び複数のエッジサーバ３の制御を行なう制御装置の一例である。
【0036】
制御サーバ４は、複数のエッジ端末２の各々から、フレーム画像１１の特徴量の統計情報を受信し、受信した統計情報と、複数のエッジサーバ３の各々の性能とに基づき、エッジ端末２に割り当てるネットワーク帯域と、送信先のエッジサーバ３とを決定する。
【0037】
送信先のエッジサーバ３とは、エッジ端末２から受信した統計情報の算出元となるフレーム画像１１の送信先となるエッジサーバ３である。統計情報としては、例えば、特徴量の分散値が挙げられる。エッジサーバ３の性能としては、例えば、エッジサーバ３の演算パワー、一例として、プロセッサ等のハードウェア資源の処理性能を示す指標が挙げられる。エッジサーバ３は、システム１の運用開始前又は後のタイミング，定期的なタイミング等の所定のタイミングで、性能を示す情報を制御サーバ４に送信してよい。
【0038】
このように、制御サーバ４は、フィードフォワード制御を実行する。なお、図３に破線で示すように、制御サーバ４は、各エッジサーバ３による解析結果（推論結果）に基づき、各エッジ端末２に対するフィードバック制御を行なってもよい。一例として、制御サーバ４は、以前のフレーム画像１１の推論結果に基づく物体の検出数に基づき、各エッジ端末２から取得した統計情報と、複数のエッジサーバ３の各々の性能とに基づくフィードフォワード制御を補正してもよい。
【0039】
〔Ｃ〕ソフトウェア構成例
図４は、一実施形態に係るシステム１のソフトウェア構成例を示すブロック図である。図４の例では、システム１は、Ｎ＋１台（Ｎは１以上の整数）のエッジ端末２，Ｍ＋１台（Ｍは１以上の整数）のエッジサーバ３及び制御サーバ４を備える。
図４は、一実施形態に係るシステム１のソフトウェア構成例を示すブロック図である。図４の例では、システム１は、Ｎ＋１台（Ｎは１以上の整数）のエッジ端末２，Ｍ＋１台（Ｍは１以上の整数）のエッジサーバ３及び制御サーバ４を備える。
【0040】
複数のエッジ端末２と複数のエッジサーバ３との間は、ネットワーク（ＮＷ）１ａにより相互に通信可能に接続されてよい。ＮＷ１ａは、ＬＡＮ（Local Area Network）及びインターネットの一方又は双方を含む種々のＮＷにより形成されてよい。ＮＷ１ａは、有線ＮＷ及び無線ＮＷの一方又は双方を含んでよい。
【0041】
なお、エッジ端末２と制御サーバ４との間、及び、エッジサーバ３と制御サーバ４との間の一方又は双方は、ＮＷ１ａにより相互に通信可能に接続されてもよいし、ＮＷ１ａとは異なるＮＷにより相互に通信可能に接続されてもよい。
【0042】
図４に例示するように、エッジ端末２は、画像取得部２１，モデル前段処理部２２，分散値算出部２３，特徴量符号化部２４，量子化部２５及び送信部２６を備えてよい。
【0043】
画像取得部２１は、カメラ２０により撮像されたフレーム画像１１を取得する。フレーム画像１１は、時系列的に連続する複数の画像、例えばカメラ映像等の動画像のうちの１つの画像である。
【0044】
モデル前段処理部２２は、フレーム画像１１に対する推論処理を行なう訓練済み機械学習モデルのうちの、前段部分における処理を実行し、フレーム画像１１の特徴量１２を出力する。特徴量１２の一例としては、特徴量マップが挙げられる。
【0045】
機械学習モデルの前段部分とは、例えば、機械学習モデルの最初の層から、フレーム画像１１の特徴量１２が出力される層、例えば畳み込み層までの１以上の層（レイヤ）が挙げられる。換言すれば、モデル前段処理部２２は、フレーム画像１１を機械学習モデルに入力し、機械学習モデルの中間層の出力データである特徴量１２を取得する。
【0046】
機械学習モデルとしては、例えば、ＹＯＬＯ等の物体検出（検知）モデルが挙げられる。一実施形態では、物体検出モデルとして、ＹＯＬＯ ｖ３が用いられる場合を例に挙げるが、これに限定されるものではなく、機械学習モデルとしては、ＹＯＬＯの他のバージョン、或いは、ＹＯＬＯ以外の種々の物体検出モデルが用いられてもよい。また、物体検出モデルに限らず、機械学習モデルは、種々のＤＮＮ（Deep Neural Network）の訓練済みＡＩ（Artificial Intelligence）モデルであってもよい。
【0047】
モデル前段処理部２２は、分散値算出部２３及び特徴量符号化部２４のそれぞれに特徴量１２を出力する。
【0048】
分散値算出部２３は、特徴量１２の分散値１３を算出し、算出した分散値１３を制御サーバ４に送信する。分散値１３は、特徴量１２の統計情報の一例である。
【0049】
特徴量符号化部２４は、特徴量１２を符号化することで、特徴量１２の圧縮（データ量の削減）を行なう。符号化処理により、特徴量１２に対する丸め処理が行なわれ、特徴量１２は浮動小数点データに変換される。特徴量符号化部２４による符号化処理は、例えば、特徴量１２をオートエンコーダ１５に入力し、オートエンコーダ１５の中間層からデータを取得することで行なわれてよい。
【0050】
量子化部２５は、符号化されたデータに対して、制御サーバ４により決定されたＮＷ帯域１７に基づき、送信前処理を実行する。送信前処理には、符号化されたデータの量子化処理、及び、量子化されたデータのエントロピー符号化処理が含まれてよい。量子化処理により、データは整数のデータに変換される。エントロピー符号化処理により、データ量が削減される。
【0051】
送信部２６は、送信前処理が行なわれた送信データを、ＮＷ１ａを介して所定のエッジサーバ３に送信する。所定のエッジサーバ３は、第１サーバの一例であり、例えば、制御サーバ４が決定した送信先１８のエッジサーバ３であってよい。
【0052】
図４に例示するように、エッジサーバ３は、受信部３１，逆量子化部３２，特徴量復号部３３，モデル後段処理部３４及び格納部３５を備えてよい。
【0053】
受信部３１は、エッジ端末２からデータを受信する。受信部３１が受信するデータは、符号化，量子化及びエントロピー符号化が行なわれた特徴量１２であって、フレーム画像１１に基づく情報の一例である。
【0054】
逆量子化部３２は、受信部３１が受信したデータに対して、復号前処理を行なう。復号前処理には、受信したデータの逆エントロピー符号化処理、及び、逆エントロピー符号化されたデータの逆量子化処理が含まれてよい。逆エントロピー符号化処理により、量子化されたデータが取得される。逆量子化処理により、符号化された特徴量１２が取得される。
【0055】
特徴量復号部３３は、復号前処理が行なわれたデータ、換言すれば符号化（圧縮）された特徴量１２を復号することで、特徴量１２を復元する。特徴量復号部３３による復号処理は、例えば、圧縮された特徴量１２をオートエンコーダ１５の中間層に入力し、オートエンコーダ１５の出力から特徴量１２を取得することで行なわれてよい。
【0056】
モデル後段処理部３４は、復号された特徴量１２に対して、フレーム画像１１に対する推論処理を行なう訓練済み機械学習モデルのうちの、後段部分における処理を実行し、推論結果、例えば特徴量１２からの物体の検出結果１４（解析結果）を出力する。
【0057】
機械学習モデルの後段部分とは、例えば、機械学習モデルのうちの、モデル前段処理部２２により実行される層を除いた残りの部分、一例として、特徴量１２を出力する層の次の層から、最後の層までの１以上の層（レイヤ）が挙げられる。
【0058】
格納部３５は、モデル後段処理部３４から出力される検出結果１４を格納する。格納部３５に格納された検出結果１４は、制御サーバ４に送信されてもよい。検出結果１４には、例えば、フレーム画像１１の特徴量１２から検出された物体の位置及び個数、並びに、物体が検出された当該フレーム画像１１の識別情報が含まれてよい。識別情報としては、例えば、フレーム番号が挙げられる。また、識別情報には、エッジ端末２（或いはカメラ２０）の識別情報が含まれてもよい。
【0059】
このように、図４に示すシステム１は、推論処理を行なう訓練済み機械学習モデルを、モデル前段処理部２２及びモデル後段処理部３４に分割して、それぞれをエッジ端末２及びエッジサーバ３に配置する。
【0060】
また、システム１は、モデル前段処理部２２から出力され、モデル後段処理部３４に入力される、機械学習モデルの中間層の特徴量１２を、特徴量符号化部２４及び特徴量復号部３３により圧縮及び復元する。特徴量符号化部２４及び特徴量復号部３３は、オートエンコーダ１５の一例である。
【0061】
このとき、システム１は、エッジ端末２において、特徴量符号化部２４により圧縮されたデータの送信前処理を行ない、エッジサーバ３に送信する。そして、システム１は、エッジサーバ３において、受信したデータに復号前処理を行なって得られたデータを特徴量復号部３３により復元する。
【0062】
上述した構成により、システム１は、推論処理の少なくとも一部をエッジ端末２からエッジサーバ３にオフロードすることで、エッジ端末２の処理負荷を軽減できる。また、入力画像よりもサイズを削減したデータがエッジ端末２からエッジサーバ３に送信されるため、ＮＷ１ａの輻輳を軽減できる。
【0063】
図５は、一実施形態に係る物体検出モデル１６の一例を示す図である。図５に示すように、機械学習モデルの一例である物体検出モデル１６は、複数の層１６ａ～１６ｌ及び複数の物体検出処理１６ｍ～１６ｏを備えてよい。各層１６ａ～１６ｌにおける括弧内のbatch_sizeは、当該層から出力されるデータ（画像）のサイズであり、例えば、batch_size:52,52,256は、出力される画像の高さ，幅，チャネル数がそれぞれ52,52,256であることを示してよい。
【0064】
入力層（Inputs）１６ａは、フレーム画像１１が入力される層である。畳み込み層（Conv）１６ｂ，１６ｄ，１６ｆ，１６ｈ，１６ｊ，畳み込み層ブロック（Conv Block）１６ｌは、前の層から入力される画像に対して畳み込み演算を行ない、演算結果を次の層に出力する層である。畳み込み演算により、入力される画像のサイズが縮小される。残差ブロック（Residual Block）１６ｃ，１６ｅ，１６ｇ，１６ｉ，１６ｋは、前の層から入力される画像に対して複数回の畳み込み演算を行なう層である。
【0065】
小物体検出処理１６ｍは、残差ブロック１６ｇの出力結果に基づき、フレーム画像１１に含まれる比較的小さい物体を検出する処理であり、複数の層を含んでよい。中物体検出処理１６ｎは、残差ブロック１６ｉ及び畳み込み層１６ｌの出力結果に基づき、フレーム画像１１に含まれる比較的中程度の物体を検出する処理であり、複数の層を含んでよい。大物体検出処理１６ｏは、畳み込み層１６ｌの出力結果に基づき、フレーム画像１１に含まれる比較的大きい物体を検出する処理である。物体検出処理１６ｍ～１６ｏの少なくともいずれか１つの出力結果は、検出結果１４の一例である。
【0066】
図５の例において、層１６ｂ～１６ｆの各々は、物体検出モデル１６の中間層の一例であり、これらの層１６ｂ～１６ｆからの出力データは、特徴量１２の一例である。
【0067】
また、層１６ａ～１６ｆは、物体検出モデル１６の前段部分の処理の一例であり、エッジ端末２のモデル前段処理部２２に配置される。さらに、層１６ｇ～１６ｌ，物体検出処理１６ｍ～１６ｏは、物体検出モデル１６の後段部分の処理の一例であり、エッジサーバ３のモデル後段処理部３４に配置される。
【0068】
図５に例示するように、前段部分の最後の層の一例である畳み込み層１６ｆから出力される特徴量１２は、エッジ端末２の特徴量符号化部２４に入力される（図４参照）。また、特徴量符号化部２４の符号化処理，エッジ端末２における送信前処理，エッジサーバ３における復号前処理、が行なわれ、特徴量復号部３３で復号されて出力される特徴量１２は、前段部分の最初の層の一例である残差ブロック１６ｇに入力される。
【0069】
なお、物体検出モデル１６において、前段部分と後段部分との境界は、畳み込み層１６ｆと残差ブロック１６ｇとの間に限定されるものではなく、物体検出処理１６ｍ～１６ｏよりも前に位置する種々の畳み込み層１６ｂ，１６ｄ，１６ｆの後であってよい。例えば、境界は、畳み込み層１６ｂと残差ブロック１６ｃとの間であってもよいし、畳み込み層１６ｄと残差ブロック１６ｅとの間であってもよい。
【0070】
図４の説明に戻り、制御サーバ４は、エッジ端末２から受信するフレーム画像１１の分散値１３と、エッジサーバ３から受信する演算パワーとに基づき、各エッジ端末２に分配するＮＷ帯域１７及び送信先１８を決定する。図４に破線で示すように、制御サーバ４は、ＮＷ帯域１７及び送信先１８の決定において、エッジサーバ３から受信する前（過去）のフレーム画像１１の物体の検出結果１４にさらに基づき、ＮＷ帯域１７及び送信先１８を決定してもよい。
【0071】
図４に例示するように、制御サーバ４は、制御部４１，ＮＷ帯域決定部４２及び送信先決定部４３を備えてよい。
【0072】
制御部４１は、エッジ端末２から、現在のフレーム画像１１の分散値１３を受信し、エッジサーバ３から、演算パワーと過去のフレーム画像１１の物体の検出結果１４とを受信する。現在のフレーム画像１１は、第１入力画像の一例であり、過去のフレーム画像１１は、第１入力画像よりも時間的に先行する第２入力画像の一例である。過去のフレーム画像１１とは、例えば、フィードバック制御の遅延量に応じたフレーム数だけ現在のフレーム画像１１よりも前のフレーム画像１１であってよく、一例として、現在のフレーム画像１１よりも１フレーム以上（例えば３～５フレーム）前であってよい。
【0073】
制御部４１は、受信した分散値１３及び検出結果１４のそれぞれについて、エッジ端末２ごとの少なくとも最新の（直近の）データを、制御サーバ４のメモリ等の記憶領域に保持してよい。
【0074】
なお、制御サーバ４がＮＷ帯域１７及び送信先１８の決定に物体の検出結果１４を利用しない場合、制御部４１がエッジサーバ３から検出結果１４を受信し保持する処理は、省略されてもよい。
【0075】
また、制御部４１は、検出結果１４を取得する場合、物体数に基づき、人流予測等のＡＩアプリケーションとしての処理を行ない、予測結果等の処理結果を出力してよい。
【0076】
ＮＷ帯域決定部４２は、現在のフレーム画像１１の分散値１３に基づき、各エッジ端末２に分配するＮＷ帯域１７を決定する。また、ＮＷ帯域決定部４２は、過去のフレーム画像１１の物体の検出結果１４にさらに基づき、ＮＷ帯域１７を決定してもよい。
【0077】
例えば、ＮＷ帯域決定部４２は、下記式（１）に基づき、ｉ番目（ｉは０～Ｎの整数）のエッジ端末２に割り当てるＮＷ帯域１７を決定してよい。ＮＷ帯域１７は、レートR1_pred(i)によって表されてよい。
R1_pred(i) = R_total * var(i)/Σvar （１）
R1_pred(i) = R_total * var(i)/Σvar （１）
【0078】
上記式（１）において、R_totalは、複数の（Ｎ＋１台の）エッジ端末２の全体に割当可能なＮＷ帯域である。var(i)は、ｉ番目のエッジ端末２から受信した、現在のフレーム画像１１の分散値１３である。Σvarは、複数の（Ｎ＋１台の）エッジ端末２のそれぞれから受信した、現在のフレーム画像１１の分散値１３の合計値である。
【0079】
このように、ＮＷ帯域決定部４２は、各エッジ端末２から受信した現在のフレーム画像１１の分散値１３の比率に応じたフィードフォワード制御によって、R_totalを各エッジ端末２に分配してよい。
【0080】
なお、各エッジ端末２では、それぞれの撮像画像がフレーム画像１１を出力するタイミングで、逐次に分散値１３が算出される。すなわち、制御部４１がエッジ端末２から分散値１３を受信するタイミングは、エッジ端末２ごとに異なる。
【0081】
このため、ＮＷ帯域決定部４２は、例えば、ｉ番目のエッジ端末２から分散値１３を受信し、R1_pred(i)を算出する場合、他のエッジ端末２の分散値１３として、制御サーバ４の記憶領域に保持された最新の分散値１３を利用してよい。
【0082】
また、ＮＷ帯域決定部４２は、ＮＷ帯域１７の決定に検出結果１４を利用する場合、下記式（２）に基づき、検出結果１４に基づくＮＷ帯域１７として、レートR2_pred(i)を算出してよい。
R2_pred(i) = R_total * num(i)/Σnum （２）
R2_pred(i) = R_total * num(i)/Σnum （２）
【0083】
上記式（２）において、num(i)は、ｉ番目のエッジ端末２の過去のフレーム画像１１から検出された物体数（検出結果１４）である。Σnumは、複数の（Ｎ＋１台の）エッジ端末２のそれぞれの過去のフレーム画像１１から検出された物体数（検出結果１４）の合計値である。なお、ＮＷ帯域決定部４２は、上記式（２）の算出に利用する物体数として、制御サーバ４が保持する最新の検出結果１４を利用してよい。
【0084】
上記式（２）によれば、ＮＷ帯域決定部４２は、各エッジ端末２の過去のフレーム画像１１に基づき検出された物体数の比率に応じたフィードバック制御によって、R_totalを各エッジ端末２に分配するためのレートR2_pred(i)を算出できる。
【0085】
そして、ＮＷ帯域決定部４２は、下記式（３）に基づき、分散値１３及び検出結果１４の双方に基づくＮＷ帯域１７として、レートR_pred(i)を算出してよい。
R_pred(i) = (1-k1) * R1_pred(i) + k1 * R2_pred(i) （３）
R_pred(i) = (1-k1) * R1_pred(i) + k1 * R2_pred(i) （３）
【0086】
上記式（３）において、k1は、重み係数であり、0以上1以下の値であってよい。ＮＷ帯域決定部４２は、上記式（３）に基づきＮＷ帯域１７を決定する場合、R1_pred(i)とR2_pred(i)との重み付け総和に基づき、レートR_pred(i)を決定してよい。
【0087】
なお、k1=0の場合、上記式（１）と同様に、分散値１３及び検出結果１４のうちの分散値１３のみに基づくＮＷ帯域１７が決定され、k1=1の場合、上記式（２）と同様に、分散値１３及び検出結果１４のうちの検出結果１４のみに基づくＮＷ帯域１７が決定される。また、0<k1<1の場合、分散値１３に基づき決定されるＮＷ帯域１７を、検出結果１４に基づく過去の物体数に応じて補正することができる。
【0088】
ＮＷ帯域決定部４２は、上記式（１）又は式（３）に基づき決定したｉ番目のＮＷ帯域１７（R1_pred(i)又はR_pred(i)）を、ｉ番目のエッジ端末２に送信する。
【0089】
例えば、ｉ番目のエッジ端末２は、受信したＮＷ帯域１７に基づき、量子化部２５による量子化処理を実行する。
【0090】
【0091】
量子化部２５は、エッジ端末２が受信したＮＷ帯域１７（R_pred）を用いて、下記式（４）に基づき量子化値Qを算出する。
Q = max (1.0, R_act / R_pred) （４）
Q = max (1.0, R_act / R_pred) （４）
【0092】
上記式（４）において、R_actは、特徴量符号化部２４から出力されたデータyの実際のデータ量であり、maxは、括弧内のカンマ区切りの値のうちの大きい方を出力する関数である。上記式（４）により、実際のデータ量R_actが分配されるＮＷ帯域１７よりも小さい場合、量子化量Q=1.0となり、実際のデータ量R_actが分配されるＮＷ帯域１７よりも大きい場合は、量子化量Q=R_act/R_predとなる。
【0093】
そして、量子化部２５は、量子化処理において、下記式（５）に基づき、特徴量符号化部２４から出力される符号化されたデータyを量子化し、量子化されたデータy_encを取得する。
【数1】
【0094】
上記式（５）において、signは、括弧内の値の符号（正負）を出力する関数である。量子化部２５は、上記式（５）に従い、算出された量子化値Qを用いて、データyの量子化を行ない、データy_encを出力する。
【0095】
なお、量子化部２５では、データy_encに対して、エントロピー符号化処理が行なわれてもよい。
【0096】
また、エッジサーバ３の逆量子化部３２は、逆量子化処理において、下記式（６）に基づき、逆エントロピー符号化処理により得られる量子化されたデータy_encを逆量子化し、逆量子化されたデータy_decを取得する。
y_dec = y_enc・Q （６）
y_dec = y_enc・Q （６）
【0097】
なお、量子化部２５が算出した量子化値Qは、エッジ端末２からエッジサーバ３に送信されてもよい。例えば、量子化値Qは、エッジ端末２から送信されるデータに付加されてもよいし、データy_encに付加されてエントロピー符号化処理等が施されてもよい。
【0098】
送信先決定部４３は、現在のフレーム画像１１の分散値１３と、各エッジサーバ３の演算パワーとに基づき、各エッジ端末２の送信先１８を決定する。また、送信先決定部４３は、過去のフレーム画像１１の物体の検出結果１４にさらに基づき、送信先１８を決定してもよい。
【0099】
例えば、送信先決定部４３は、現在のフレーム画像１１の分散値１３を用いて、下記式（７）に基づき、ｉ番目のエッジ端末２からの特徴量１２に対する推論処理で使用される演算量C1_pred(i)を算出してよい。
C1_pred(i) = C_total * var(i)/Σvar （７）
C1_pred(i) = C_total * var(i)/Σvar （７）
【0100】
上記式（７）において、C_totalは、複数の（Ｍ＋１台の）エッジサーバ３の演算パワーの合計値である。
【0101】
また、送信先決定部４３は、送信先１８の決定に検出結果１４を利用する場合、下記式（８）に基づき、ｉ番目のエッジ端末２からの特徴量１２に対する推論処理で使用される演算量C2_pred(i)を算出してよい。
C2_pred(i) = C_total * num(i)/Σnum （８）
C2_pred(i) = C_total * num(i)/Σnum （８）
【0102】
そして、送信先決定部４３は、下記式（９）に基づき、分散値１３及び検出結果１４の双方に基づく演算量C_pred(i)を算出してよい。
C_pred(i) = (1-k2) * C1_pred(i) + k2 * C2_pred(i) （９）
C_pred(i) = (1-k2) * C1_pred(i) + k2 * C2_pred(i) （９）
【0103】
上記式（９）において、k2は、重み係数であり、0以上1以下の値であってよい。k2は、k1と同一であってもよいし、異なってもよい。送信先決定部４３は、上記式（９）に基づき演算量を算出する場合、C1_pred(i)とC2_pred(i)との重み付け総和に基づき、演算量C_pred(i)を算出してよい。
【0104】
なお、k2=0の場合、上記式（７）と同様に、分散値１３及び検出結果１４のうちの分散値１３のみに基づく演算量が算出され、k2=1の場合、上記式（８）と同様に、分散値１３及び検出結果１４のうちの検出結果１４のみに基づく演算量が算出される。また、0<k2<1の場合、分散値１３に基づき決定される演算量を、検出結果１４に基づく過去の物体数に応じて補正することができる。
【0105】
送信先決定部４３は、演算量C1_pred(i)又はC_pred(i)を算出すると、エッジ端末２ごとに、少なくとも最新の（直近の）演算量を、制御サーバ４のメモリ等の記憶領域に保持してよい。
【0106】
送信先決定部４３は、算出した演算量C1_pred(i)又はC_pred(i)と、各エッジサーバ３の演算パワーとに基づき、エッジ端末２ごとに送信先１８を決定する。
【0107】
図７は、送信先１８の決定処理の一例を説明するための図である。図７では、各エッジ端末２（エッジ端末＃０～＃４）について算出された演算量を、簡単のために、C_totalに対する割合がわかるように表記している。例えば、エッジ端末＃０の演算量は、1/7*C_totalである。また、簡単のために、複数のエッジサーバ３（エッジサーバ＃０～＃２）の演算パワーは、互いに同一であるものとする。
【0108】
図７に示すように、送信先決定部４３は、演算量の大きさで降順にエッジ端末２を選択し、演算パワーの空きがあるエッジサーバ３に割り当てることで送信先１８を決定してよい。図７の例では、演算量が1/3*C_totalのエッジ端末＃３の送信先１８が、エッジサーバ＃０に決定される。また、演算量が1/6*C_totalのエッジ端末＃０及び演算量が1/7*C_totalのエッジ端末＃２の送信先１８が、エッジサーバ＃１に決定される。さらに、演算量が1/12*C_totalのエッジ端末＃４及び演算量が1/14*C_totalのエッジ端末＃１の送信先１８が、エッジサーバ＃２に決定される。
【0109】
送信先決定部４３は、送信先１８として決定したエッジサーバ３の情報を、エッジ端末２に送信する。エッジサーバ３の情報としては、例えば、エッジサーバ３の識別子等の識別情報，エッジサーバ３のアドレス等の情報が挙げられる。アドレスとしては、例えば、ＩＰ（Internet Protocol）アドレス等の種々のアドレスが挙げられる。
【0110】
なお、各エッジ端末２について算出された演算量に基づく送信先１８の決定処理は、図７に例示する処理に限定されるものではなく、種々の手法が用いられてよい。
【0111】
このように、送信先決定部４３は、各エッジ端末２から受信した現在のフレーム画像１１の分散値１３の比率に応じて算出した演算量に基づくフィードフォワード制御によって、各エッジ端末２の送信先１８を決定してよい。
【0112】
また、送信先決定部４３は、各エッジ端末２の過去のフレーム画像１１に基づき検出された物体数の比率に応じて算出した演算量に基づくフィードバック制御によって、フィードフォワード制御において算出した演算量を補正することができる。
【0113】
ところで、物体検出処理では、物体検出モデル１６に入力される画像に含まれる物体（例えば人物）が多くなるほど、画像の絵柄が複雑になり、物体検出処理におけるデータ量と処理負荷とが高くなる。
【0114】
画像の絵柄の複雑さ、換言すれば、画像に基づく推論処理（解析処理，分析処理）の難易度は、分散値１３の大きさに基づき、データ量及び処理負荷を示す指標、例えば、R_pred及びC_predとして、制御サーバ４により推定（算出）される。
【0115】
しかし、仮に、分散値がフレーム画像１１そのものから算出され、且つ、フレーム画像１１のサイズが大きい場合、分散値の算出に時間がかかり、システム１では、リアルタイムによる物体検出処理の実現が難しくなる場合がある。
【0116】
これに対し、一実施形態に係る手法によれば、分散値算出部２３が、モデル前段処理部２２によって物体検出モデル１６の中間層から出力される特徴量１２（中間特徴量）の分散値１３を算出する。そして、ＮＷ帯域決定部４２及び送信先決定部４３は、中間特徴量の分散値１３に基づいて、データ量及び処理負荷を示す指標の推定を行なう。
【0117】
【0118】
図８に例示するように、物体検出モデル１６の中間特徴量は、フレーム画像１１と比較してサイズが小さいため、分散値１３の算出時間が短くなる。
【0119】
例えば、中間特徴量（第１例）が畳み込み層１６ｄから出力される特徴量１２である場合（図５参照）、データサイズは、104*104となり、フレーム画像１１のデータサイズの16分の1となる。また、中間特徴量（第２例）が畳み込み層１６ｆから出力される特徴量１２である場合（図５参照）、データサイズは、52*52となり、フレーム画像１１のデータサイズの64分の1となる。
【0120】
図５に示す物体検出モデル１６等のＤＮＮにおいて、浅い位置のレイヤ、例えばモデル前段処理部２２に配置されるレイヤから出力される特徴量１２は、エッジ等の抽出によりフレーム画像１１の全体情報が残っているため、フレーム画像１１に近い情報である。
【0121】
このため、特徴量符号化に用いられるデータ量及び推論（解析）の処理負荷は、フレーム画像１１の特徴量１２から取得される分散値１３の大きさに基づき推定可能である。また、分散値算出部２３は、フレーム画像１１よりもデータサイズが小さい特徴量１２に基づき分散値１３を算出するため、フレーム画像１１から分散値を算出するよりも算出処理時間を短縮できる。従って、システム１では、物体検出処理をリアルタイムで（或いは低遅延で）実現可能となる。
【0122】
図９は、一実施形態に係るシステム１で実行される各処理のタイミングチャートの一例を示す図である。図９において、破線で区切った上段は、制御サーバ４による制御が行なわれない場合を示し、破線で区切った下段は、制御サーバ４による制御が行なわれる場合を示す。
【0123】
図９の上段では、タイミングｔ０において、エッジ端末２のモデル前段処理部２２は、フレーム画像１１のモデル前段処理Ａを実行する。特徴量符号化部２４は、モデル前段処理から出力される特徴量１２に基づき符号化処理Ｂを実行する。
【0124】
量子化部２５は、符号化された特徴量１２に対して量子化処理（及びエントロピー符号化処理）Ｃ、すなわち送信前処理を実行する。送信部２６は、送信前処理が行なわれた送信データの送信処理Ｄを実行する。
【0125】
エッジサーバ３の逆量子化部３２は、受信部３１が受信したデータに対して逆量子化処理Ｅを実行し、タイミングｔ１において、符号化されたデータを出力する。なお、図９の上段及び下段のいずれにおいても、逆量子化処理Ｅの後に、上述した特徴量復号部３３，モデル後段処理部３４及び格納部３５の処理が実行される。
【0126】
図９の下段では、図９の上段の処理に加えて、分散値算出部２３は、モデル前段処理から出力される特徴量１２に基づき分散値１３を算出し、制御サーバ４に送信する分散値算出処理Ｆを、符号化処理Ｂと並行して実行する。
【0127】
制御サーバ４のＮＷ帯域決定部４２は、制御サーバ４が受信した分散値１３に基づきＮＷ帯域１７を決定し、エッジ端末２に送信するＮＷ分配処理Ｇを、符号化処理Ｂと並行して実行する。
【0128】
エッジ端末２の量子化部２５は、符号化処理Ｂの処理結果と、ＮＷ分配処理Ｇで決定されたＮＷ帯域１７とに基づき量子化処理Ｃを実行する。
【0129】
また、送信先決定部４３は、分散値１３とエッジサーバ３の演算パワーとに基づき送信先１８を決定し、エッジ端末２に送信する送信先決定処理Ｈを、量子化部２５と並行して実行する。なお、送信先決定処理Ｈは、ＮＷ分配処理Ｇと少なくとも一部が並行して実行されてもよい。
【0130】
エッジ端末２の送信部２６は、量子化部２５の処理結果と、送信先決定処理Ｈで決定された送信先１８とに基づき送信処理Ｄを実行する。エッジサーバ３の逆量子化部３２は、受信部３１が受信した送信データに対して逆量子化処理Ｅを実行し、タイミングｔ１において、符号化されたデータを出力する。
【0131】
このように、分散値算出部２３，ＮＷ帯域決定部４２及び送信先決定部４３による処理Ｆ～Ｈは、符号化処理Ｂ，量子化処理Ｃ等とパイプライン処理が可能である。このため、処理Ｆ～Ｈの実行による、図９の上段と比較したシステム１全体の処理遅延を、低遅延（ゼロ或いは短時間）に抑えることができる。
【0132】
以上のように、制御サーバ４によれば、現在のフレーム画像１１の統計情報、例えば特徴量１２の分散値１３に基づく、機械学習処理の推論処理の処理負荷（解析負荷）及びデータ量を推定する制御が行なわれる。そして、制御サーバ４により、推定結果に基づき、各エッジ端末２に分配されるＮＷ帯域１７及び送信先１８が決定される。
【0133】
このような制御により、現在のフレーム画像１１の処理負荷及びデータ量を低遅延で高精度に推定でき、リアルタイムによる推論処理を実現できる。すなわち、システム１において、物体検出処理等の推論処理を、入力されるフレーム画像１１に応じて適切に制御することができる。
【0134】
また、制御サーバ４では、過去のフレーム画像１１の推論結果（解析結果）に基づき、推論負荷を推定する制御により、分散値１３に基づき推定される推論負荷に応じた制御の補正が行なわれる。これにより、フレーム画像１１の経時的な内容の変化、例えば物体数の変化に追従して、制御サーバ４による制御の精度を向上させることができる。
【0135】
〔Ｄ〕動作例
次に、一実施形態に係るシステム１の動作例を説明する。なお、事前処理として、例えばシステム１の運用開始前の所定のタイミングで、物体検出モデル１６を分割して得られる前段部分が複数のエッジ端末２の各々に配置され、後段部分が複数のエッジサーバ３の各々に配置されるものとする。また、事前処理又は定期的な処理として、複数のエッジサーバ３の各々から、エッジサーバ３の演算パワーを示す情報が制御サーバ４に送信されるものとする。
次に、一実施形態に係るシステム１の動作例を説明する。なお、事前処理として、例えばシステム１の運用開始前の所定のタイミングで、物体検出モデル１６を分割して得られる前段部分が複数のエッジ端末２の各々に配置され、後段部分が複数のエッジサーバ３の各々に配置されるものとする。また、事前処理又は定期的な処理として、複数のエッジサーバ３の各々から、エッジサーバ３の演算パワーを示す情報が制御サーバ４に送信されるものとする。
【0136】
〔Ｄ－１〕エッジ端末の動作例
図１０は、一実施形態に係るエッジ端末２の動作例を説明するフローチャートである。なお、図１０に示す処理は、複数のエッジ端末２の各々において、画像取得部２１がフレーム画像１１を取得する都度、実行されるものとする。
図１０は、一実施形態に係るエッジ端末２の動作例を説明するフローチャートである。なお、図１０に示す処理は、複数のエッジ端末２の各々において、画像取得部２１がフレーム画像１１を取得する都度、実行されるものとする。
【0137】
図１０に例示するように、エッジ端末２のモデル前段処理部２２は、画像取得部２１が取得したフレーム画像１１を物体検出モデル１６の前段部分に入力することで、前段部分の最後のレイヤからフレーム画像１１の特徴量１２を抽出する（ステップＳ１）。
【0138】
分散値算出部２３は、特徴量１２の分散値１３を算出し（ステップＳ２）、算出した分散値１３を制御サーバ４に送信する（ステップＳ３）。
【0139】
特徴量符号化部２４は、特徴量１２に対して符号化処理を行なう（ステップＳ４）。ステップＳ４は、ステップＳ２及びＳ３と並行して実行されてよい。
【0140】
エッジ端末２は、制御サーバ４からＮＷ帯域１７の情報（例えばR_pred）を受信する（ステップＳ５）。
【0141】
量子化部２５は、割り当てられたＮＷ帯域１７に基づき、符号化された特徴量１２に対して量子化処理（及びエントロピー符号化処理）等の送信前処理を実行する（ステップＳ６）。量子化処理では、ＮＷ帯域１７に基づく量子化値Qの算出と、量子化値Qに基づく量子化とが実行されてよい。
【0142】
エッジ端末２は、制御サーバ４から送信先１８の情報を受信する（ステップＳ７）。ステップＳ７は、ステップＳ４～Ｓ６の間のいずれのタイミングで行なわれてもよい。
【0143】
送信部２６は、量子化されたデータ（送信前処理が行なわれた送信データ）を、指定された送信先１８に送信し（ステップＳ８）、処理が終了する。なお、送信データには、量子化値Qが含まれてよい。
【0144】
〔Ｄ－２〕エッジサーバの動作例
図１１は、一実施形態に係るエッジサーバ３の動作例を説明するフローチャートである。なお、図１１に示す処理は、複数のエッジサーバ３の各々において、エッジ端末２からデータを受信する都度、実行されるものとする。
図１１は、一実施形態に係るエッジサーバ３の動作例を説明するフローチャートである。なお、図１１に示す処理は、複数のエッジサーバ３の各々において、エッジ端末２からデータを受信する都度、実行されるものとする。
【0145】
図１１に例示するように、エッジサーバ３の逆量子化部３２は、受信部３１がエッジ端末２から受信したデータに対して、（逆エントロピー符号化処理及び）逆量子化処理等の復号前処理を実行する（ステップＳ１１）。逆量子化処理では、エッジ端末２から受信した量子化値Qに基づく量子化が実行されてよい。
【0146】
特徴量復号部３３は、逆量子化されたデータ（復号前処理が行なわれたデータ）に対して復号処理を実行することで、特徴量１２を取得する（ステップＳ１２）。
【0147】
モデル後段処理部３４は、復号により取得した特徴量１２を物体検出モデル１６の後段部分に入力することで、特徴量１２から物体を検出する（ステップＳ１３）。
【0148】
格納部３５は、物体の検出結果１４を保存し、検出結果１４を制御サーバ４に送信して（ステップＳ１４）、処理が終了する。
【0149】
〔Ｄ－３〕制御サーバの動作例
図１２は、一実施形態に係る制御サーバ４の動作例を説明するフローチャートである。なお、図１２に示す処理は、制御サーバ４が複数のエッジ端末２の各々から分散値１３を受信する都度、実行されるものとする。
図１２は、一実施形態に係る制御サーバ４の動作例を説明するフローチャートである。なお、図１２に示す処理は、制御サーバ４が複数のエッジ端末２の各々から分散値１３を受信する都度、実行されるものとする。
【0150】
図１２に例示するように、制御サーバ４の制御部４１は、エッジ端末２から現在のフレーム画像１１の分散値１３を受信し、エッジサーバ３から過去のフレーム画像１１における物体の検出結果１４を受信する（ステップＳ２１）。
【0151】
ＮＷ帯域決定部４２は、受信した分散値１３と、検出結果１４とに基づき、分散値１３の送信元であるエッジ端末２に分配する（割り当てる）ＮＷ帯域１７を決定する（ステップＳ２２）。
【0152】
ＮＷ帯域決定部４２は、決定したＮＷ帯域１７の情報を、当該エッジ端末２に送信する（ステップＳ２３）。
【0153】
送信先決定部４３は、受信した分散値１３と、検出結果１４と、各エッジサーバ３の演算パワーとに基づき、分散値１３の送信元であるエッジ端末２を含む複数のエッジ端末２の各々のデータの送信先１８を決定する（ステップＳ２４）。
【0154】
送信先決定部４３は、決定した送信先１８の情報を、各エッジ端末２に送信する（ステップＳ２５）。ステップＳ２４及びＳ２５は、ステップＳ２１よりも前に実行されてもよいし、ステップＳ２４及びＳ２５の処理と少なくとも一部が並行して実行されてもよい。
【0155】
制御部４１は、エッジサーバ３から受信した検出結果１４に基づき、予測処理等の処理を実行し、処理結果を出力して（ステップＳ２６）、処理が終了する。
【0156】
〔Ｅ〕変形例
一実施形態では、分散値算出部２３がモデル後段処理部３４から出力される特徴量１２の分散値１３を算出し、制御サーバ４が当該分散値１３に基づきＮＷ帯域１７及び送信先１８を決定するものとして説明したが、これに限定されるものではない。
一実施形態では、分散値算出部２３がモデル後段処理部３４から出力される特徴量１２の分散値１３を算出し、制御サーバ４が当該分散値１３に基づきＮＷ帯域１７及び送信先１８を決定するものとして説明したが、これに限定されるものではない。
【0157】
〔Ｅ－１〕第１変形例
図１３は、第１変形例に係るエッジ端末２のソフトウェア構成例を示すブロック図である。図１３に示すように、第１変形例に係るエッジ端末２は、分散値算出部２３に代えて、分散値算出部２３Ａを備えてよい。
図１３は、第１変形例に係るエッジ端末２のソフトウェア構成例を示すブロック図である。図１３に示すように、第１変形例に係るエッジ端末２は、分散値算出部２３に代えて、分散値算出部２３Ａを備えてよい。
【0158】
分散値算出部２３Ａは、特徴量符号化部２４から出力される圧縮後特徴量１２Ａの分散値１３Ａを算出し、算出した分散値１３Ａを制御サーバ４に送信してよい。
【0159】
第１変形例に係るエッジ端末２によれば、一実施形態と同様の効果を奏することができるほか、特徴量１２よりもデータサイズの小さい圧縮後特徴量１２Ａに基づき分散値１３Ａが算出されるため、一実施形態よりもエッジ端末２の処理負荷を軽減できる。
【0160】
例えば、エッジ端末２のプロセッサ等の演算パワー（性能）が小さい場合、図９に例示する符号化処理Ｂと、分散値算出処理Ｆとをパイプラインで処理することが困難となり、符号化処理Ｂと分散値算出処理Ｆとが逐次処理される場合がある。
【0161】
このような場合、分散値算出部２３Ａは、分散値算出処理Ｆにおいて、圧縮後特徴量１２Ａに基づき分散値１３Ａを算出することで、特徴量１２に基づき分散値１３を算出するよりも処理時間を短縮することができる。これにより、システム１の処理遅延を軽減することができる。
【0162】
〔Ｅ－２〕第２変形例
カメラ２０は、画像を固定位置から撮像する撮像装置、例えば監視カメラ等であってもよい。カメラ２０が監視カメラ等である場合、カメラ２０が出力するフレーム画像１１内の背景画像（背景部分）の経時的な変化量は小さい。
カメラ２０は、画像を固定位置から撮像する撮像装置、例えば監視カメラ等であってもよい。カメラ２０が監視カメラ等である場合、カメラ２０が出力するフレーム画像１１内の背景画像（背景部分）の経時的な変化量は小さい。
【0163】
第２変形例では、画像取得部２１又はモデル前段処理部２２は、エッジ端末２のメモリ等の記憶領域に背景画像を保持し、現在のフレーム画像１１と背景画像との差分となる差分画像（差分領域の画像）を算出してもよい。
【0164】
この場合、モデル前段処理部２２は、差分画像を物体検出モデル１６の前段部分に入力することで、差分画像の特徴量１２を抽出してよい。また、分散値算出部２３は、差分画像の特徴量１２の分散値１３を算出し、制御サーバ４に送信してよい。さらに、ＮＷ帯域決定部４２及び送信先決定部４３は、当該分散値１３に基づき、ＮＷ帯域１７及び送信先１８を決定してよい。
【0165】
なお、特徴量符号化部２４，量子化部２５及び送信部２６は、差分画像の特徴量１２に対して、符号化処理，量子化処理（送信前処理）及び送信処理を行なってよい。
【0166】
このように、フレーム画像１１のうちの物体が存在する可能性の高い領域が抽出された差分画像の特徴量１２が用いられることで、特徴量１２から取得される分散値１３の大きさに基づき推定した特徴量符号化に用いられるデータ量及び推論（解析）の処理負荷の精度が高くなる。その結果、エッジサーバ３における推論精度（物体の検出精度）を向上させることができる。
【0167】
また、第２変形例は、第１変形例と組み合わせて実施されてもよい。例えば、分散値算出部２３Ａは、特徴量符号化部２４により差分画像の特徴量１２が符号化された圧縮後特徴量１２Ａの分散値１３Ａを算出してよい。
【0168】
なお、例えば、図４又は図１３に示すエッジ端末２が備える機能ブロック２１～２６は、種々の組み合わせで併合してもよく、それぞれ分割してもよい。また、例えば、図４に示すエッジサーバ３が備える機能ブロック３１～３５は、種々の組み合わせで併合してもよく、それぞれ分割してもよい。さらに、例えば、図４に示す制御サーバ４が備える機能ブロック４１～４３は、種々の組み合わせで併合してもよく、それぞれ分割してもよい。
【0169】
〔Ｆ〕ハードウェア構成例
一実施形態に係るエッジ端末２，エッジサーバ３及び制御サーバ４の各々は、仮想サーバ（ＶＭ；Virtual Machine）であってもよいし、物理サーバであってもよい。また、エッジ端末２，エッジサーバ３及び制御サーバ４の各々の機能は、１台のコンピュータにより実現されてもよいし、２台以上のコンピュータにより実現されてもよい。
一実施形態に係るエッジ端末２，エッジサーバ３及び制御サーバ４の各々は、仮想サーバ（ＶＭ；Virtual Machine）であってもよいし、物理サーバであってもよい。また、エッジ端末２，エッジサーバ３及び制御サーバ４の各々の機能は、１台のコンピュータにより実現されてもよいし、２台以上のコンピュータにより実現されてもよい。
【0170】
以下、エッジ端末２の機能を実現するコンピュータ，エッジサーバ３の機能を実現するコンピュータ及び制御サーバ４の機能を実現するコンピュータとして、代表して図１４に示すコンピュータ１０を例に挙げて説明する。
【0171】
図１４は、一実施形態に係るコンピュータ１０のハードウェア構成例を示すブロック図である。エッジ端末２，エッジサーバ３及び制御サーバ４の各々の機能を実現するＨＷリソースとして、複数のコンピュータが用いられる場合は、各コンピュータが図１４に例示するＨＷ構成を備えてよい。
【0172】
図１４に示すように、コンピュータ１０は、ＨＷ構成として、例示的に、プロセッサ１０ａ，グラフィック処理装置１０ｂ，メモリ１０ｃ，記憶部１０ｄ，ＩＦ（Interface）部１０ｅ，ＩＯ（Input / Output）部１０ｆ及び読取部１０ｇを備えてよい。
【0173】
プロセッサ１０ａは、種々の制御や演算を行なう演算処理装置の一例である。プロセッサ１０ａは、コンピュータ１０内の各ブロックとバス１０ｊで相互に通信可能に接続されてよい。なお、プロセッサ１０ａは、複数のプロセッサを含むマルチプロセッサであってもよいし、複数のプロセッサコアを有するマルチコアプロセッサであってもよく、或いは、マルチコアプロセッサを複数有する構成であってもよい。
【0174】
プロセッサ１０ａとしては、例えば、ＣＰＵ，ＭＰＵ，ＡＰＵ，ＤＳＰ，ＡＳＩＣ，ＦＰＧＡ等の集積回路（ＩＣ；integrated circuit）が挙げられる。なお、プロセッサ１０ａとして、これらの集積回路の２以上の組み合わせが用いられてもよい。ＣＰＵはCentral Processing Unitの略称であり、ＭＰＵはMicro Processing Unitの略称である。ＡＰＵはAccelerated Processing Unitの略称である。ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific ICの略称であり、ＦＰＧＡはField-Programmable Gate Arrayの略称である。
【0175】
グラフィック処理装置１０ｂは、ＩＯ部１０ｆのうちのモニタ等の出力装置に対する画面表示制御を行なう。また、グラフィック処理装置１０ｂは、機械学習モデルを利用した機械学習処理及び推論処理を実行するアクセラレータとしての構成を有してよい。グラフィック処理装置１０ｂとしては、種々の演算処理装置、例えば、ＧＰＵ（Graphics Processing Unit），ＡＰＵ，ＤＳＰ，ＡＳＩＣ又はＦＰＧＡ等の集積回路（ＩＣ）が挙げられる。
【0176】
図４に例示するエッジ端末２のモデル前段処理部２２は、エッジ端末２のグラフィック処理装置１０ｂに、フレーム画像１１を入力とした物体検出モデル１６の前段部分の推論処理を実行させ、グラフィック処理装置１０ｂから特徴量１２を取得してよい。
【0177】
図４に例示するエッジサーバ３のモデル後段処理部３４は、エッジサーバ３のグラフィック処理装置１０ｂに、特徴量１２を入力とした物体検出モデル１６の後段部分の推論処理を実行させ、グラフィック処理装置１０ｂから検出結果１４を取得してよい。
【0178】
メモリ１０ｃは、種々のデータやプログラム等の情報を格納するＨＷの一例である。メモリ１０ｃとしては、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性メモリ、及び、ＰＭ（Persistent Memory）等の不揮発性メモリ、の一方又は双方が挙げられる。
【0179】
記憶部１０ｄは、種々のデータやプログラム等の情報を格納するＨＷの一例である。記憶部１０ｄとしては、ＨＤＤ（Hard Disk Drive）等の磁気ディスク装置，ＳＳＤ（Solid State Drive）等の半導体ドライブ装置，不揮発性メモリ等の各種記憶装置が挙げられる。不揮発性メモリとしては、例えば、フラッシュメモリ，ＳＣＭ（Storage Class Memory），ＲＯＭ（Read Only Memory）等が挙げられる。
【0180】
エッジ端末２，エッジサーバ３及び制御サーバ４が各種データを保持する記憶領域としては、エッジ端末２，エッジサーバ３及び制御サーバ４のそれぞれのメモリ１０ｃ及び記憶部１０ｄの一方又は双方の記憶領域が用いられてよい。
【0181】
記憶部１０ｄは、コンピュータ１０の各種機能の全部若しくは一部を実現するプログラム１０ｈ（画像処理プログラム）を格納してよい。
【0182】
例えば、エッジ端末２のコンピュータ１０において、プロセッサ１０ａが、記憶部１０ｄに格納されたプログラム１０ｈをメモリ１０ｃに展開して実行することにより、図４又は図１３に示すブロック２１～２６としての機能を実現できる。また、エッジサーバ３のコンピュータ１０において、プロセッサ１０ａが、記憶部１０ｄに格納されたプログラム１０ｈをメモリ１０ｃに展開して実行することにより、図４に示すブロック３１～３５としての機能を実現できる。さらに、制御サーバ４のコンピュータ１０において、プロセッサ１０ａが、記憶部１０ｄに格納されたプログラム１０ｈをメモリ１０ｃに展開して実行することにより、図４に示すブロック４１～４３としての機能を実現できる。
【0183】
ＩＦ部１０ｅは、コンピュータ１０と他のコンピュータとの間の接続及び通信の制御等を行なう通信ＩＦの一例である。例えば、ＩＦ部１０ｅは、イーサネット（登録商標）等のＬＡＮ、或いは、ＦＣ（Fibre Channel）等の光通信等に準拠したアダプタを含んでよい。当該アダプタは、無線及び有線の一方又は双方の通信方式に対応してよい。
【0184】
例えば、エッジ端末２，エッジサーバ３及び制御サーバ４の各々は、ＩＦ部１０ｅ及びＮＷ１ａ又は他のＮＷを介して、送信データ，分散値１３，検出結果１４，ＮＷ帯域１７，送信先１８，演算パワー等の種々のデータの通信を行なってよい。なお、プログラム１０ｈは、当該通信ＩＦを介して、ネットワークからコンピュータ１０にダウンロードされ、記憶部１０ｄに格納されてもよい。
【0185】
ＩＯ部１０ｆは、入力装置、及び、出力装置、の一方又は双方を含んでよい。入力装置としては、例えば、キーボード、マウス、タッチパネル等が挙げられる。出力装置としては、例えば、モニタ、プロジェクタ、プリンタ等が挙げられる。また、ＩＯ部１０ｆは、入力装置及び表示装置が一体となったタッチパネル等を含んでもよい。出力装置は、グラフィック処理装置１０ｂに接続されてよい。
【0186】
読取部１０ｇは、記録媒体１０ｉに記録されたデータやプログラムの情報を読み出すリーダの一例である。読取部１０ｇは、記録媒体１０ｉを接続可能又は挿入可能な接続端子又は装置を含んでよい。読取部１０ｇとしては、例えば、ＵＳＢ（Universal Serial Bus）等に準拠したアダプタ、記録ディスクへのアクセスを行なうドライブ装置、ＳＤカード等のフラッシュメモリへのアクセスを行なうカードリーダ等が挙げられる。なお、記録媒体１０ｉにはプログラム１０ｈが格納されてもよく、読取部１０ｇが記録媒体１０ｉからプログラム１０ｈを読み出して記憶部１０ｄに格納してもよい。
【0187】
記録媒体１０ｉとしては、例示的に、磁気／光ディスクやフラッシュメモリ等の非一時的なコンピュータ読取可能な記録媒体が挙げられる。磁気／光ディスクとしては、例示的に、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク、ＨＶＤ（Holographic Versatile Disc）等が挙げられる。フラッシュメモリとしては、例示的に、ＵＳＢメモリやＳＤカード等の半導体メモリが挙げられる。
【0188】
上述したコンピュータ１０のＨＷ構成は例示である。従って、コンピュータ１０内でのＨＷの増減（例えば任意のブロックの追加や削除）、分割、任意の組み合わせでの統合、又は、バスの追加若しくは削除等は適宜行なわれてもよい。
【0189】
〔Ｇ〕付記
以上の実施形態，第１変形例及び第２変形例に関し、さらに以下の付記を開示する。
以上の実施形態，第１変形例及び第２変形例に関し、さらに以下の付記を開示する。
【0190】
（付記１）
入力画像を取得する複数の機器と、
複数の前記入力画像に対する推論処理を行なう複数のサーバと、
前記複数の機器及び前記複数のサーバの制御を行なう制御装置と、を備え、
前記複数の機器のうちの第１入力画像を取得する第１機器は、
入力される画像に対する推論処理を実行する機械学習モデルの前段の層に、前記第１入力画像を入力して前記第１入力画像の第１特徴量を取得し、
前記第１特徴量の統計情報を算出して前記制御装置に送信し、
前記第１特徴量を、前記制御装置が決定したネットワーク帯域に基づき、前記複数のサーバのうちの前記制御装置が決定した第１サーバに送信し、
前記制御装置は、
前記第１機器から受信した前記統計情報と、前記複数のサーバの各々の性能とに基づき、前記第１機器に割り当てる前記ネットワーク帯域と、前記第１サーバと、を決定し、
前記第１サーバは、
前記機械学習モデルの後段の層に、前記第１機器から受信した前記第１特徴量を入力して推論結果を取得する、
画像処理システム。
入力画像を取得する複数の機器と、
複数の前記入力画像に対する推論処理を行なう複数のサーバと、
前記複数の機器及び前記複数のサーバの制御を行なう制御装置と、を備え、
前記複数の機器のうちの第１入力画像を取得する第１機器は、
入力される画像に対する推論処理を実行する機械学習モデルの前段の層に、前記第１入力画像を入力して前記第１入力画像の第１特徴量を取得し、
前記第１特徴量の統計情報を算出して前記制御装置に送信し、
前記第１特徴量を、前記制御装置が決定したネットワーク帯域に基づき、前記複数のサーバのうちの前記制御装置が決定した第１サーバに送信し、
前記制御装置は、
前記第１機器から受信した前記統計情報と、前記複数のサーバの各々の性能とに基づき、前記第１機器に割り当てる前記ネットワーク帯域と、前記第１サーバと、を決定し、
前記第１サーバは、
前記機械学習モデルの後段の層に、前記第１機器から受信した前記第１特徴量を入力して推論結果を取得する、
画像処理システム。
【0191】
（付記２）
前記複数のサーバの各々は、
受信した特徴量に基づく推論結果を前記制御装置に送信し、
前記制御装置は、
前記決定する処理において、受信した第１推論結果であって、前記第１入力画像よりも時間的に先行する第２入力画像の第２特徴量に基づく前記第１推論結果にさらに基づき、前記ネットワーク帯域と、前記第１サーバと、を決定する、
付記１に記載の画像処理システム。
前記複数のサーバの各々は、
受信した特徴量に基づく推論結果を前記制御装置に送信し、
前記制御装置は、
前記決定する処理において、受信した第１推論結果であって、前記第１入力画像よりも時間的に先行する第２入力画像の第２特徴量に基づく前記第１推論結果にさらに基づき、前記ネットワーク帯域と、前記第１サーバと、を決定する、
付記１に記載の画像処理システム。
【0192】
（付記３）
前記推論処理は、物体の検出処理であり、
前記制御装置は、前記決定する処理において、
前記統計情報と、前記第２入力画像における物体の検出数を示す前記第１推論結果とに基づき、前記第１入力画像における物体の検出数を推定し、
前記統計情報と、前記複数のサーバの各々の性能と、前記第１入力画像における物体の検出数とに基づき、前記ネットワーク帯域と、前記第１サーバと、を決定する、
付記２に記載の画像処理システム。
前記推論処理は、物体の検出処理であり、
前記制御装置は、前記決定する処理において、
前記統計情報と、前記第２入力画像における物体の検出数を示す前記第１推論結果とに基づき、前記第１入力画像における物体の検出数を推定し、
前記統計情報と、前記複数のサーバの各々の性能と、前記第１入力画像における物体の検出数とに基づき、前記ネットワーク帯域と、前記第１サーバと、を決定する、
付記２に記載の画像処理システム。
【0193】
（付記４）
前記第１機器は、前記第１特徴量を送信する処理において、
前記第１特徴量を符号化し、
符号化した前記第１特徴量を、前記制御装置が決定した前記ネットワーク帯域に基づき量子化し、
量子化した前記第１特徴量を前記第１サーバに送信する、
付記１～付記３のいずれか１項に記載の画像処理システム。
前記第１機器は、前記第１特徴量を送信する処理において、
前記第１特徴量を符号化し、
符号化した前記第１特徴量を、前記制御装置が決定した前記ネットワーク帯域に基づき量子化し、
量子化した前記第１特徴量を前記第１サーバに送信する、
付記１～付記３のいずれか１項に記載の画像処理システム。
【0194】
（付記５）
前記第１機器は、前記統計情報を算出する処理において、
前記符号化した前記第１特徴量の前記統計情報を算出する、
付記４に記載の画像処理システム。
前記第１機器は、前記統計情報を算出する処理において、
前記符号化した前記第１特徴量の前記統計情報を算出する、
付記４に記載の画像処理システム。
【0195】
（付記６）
前記第１機器は、前記第１特徴量を取得する処理において、
画像を固定位置から撮像する撮像装置により撮像された前記第１入力画像と、前記撮像装置により撮像される画像の背景画像との差分画像を、前記機械学習モデルの前記前段の層に入力して前記第１特徴量を取得する、
付記１～付記５のいずれか１項に記載の画像処理システム。
前記第１機器は、前記第１特徴量を取得する処理において、
画像を固定位置から撮像する撮像装置により撮像された前記第１入力画像と、前記撮像装置により撮像される画像の背景画像との差分画像を、前記機械学習モデルの前記前段の層に入力して前記第１特徴量を取得する、
付記１～付記５のいずれか１項に記載の画像処理システム。
【0196】
（付記７）
入力画像を取得する複数の機器と、
複数の前記入力画像に対する推論処理を行なう複数のサーバと、
前記複数の機器及び前記複数のサーバの制御を行なう制御装置と、を備える画像処理システムにおける画像処理方法であって、
前記複数の機器のうちの第１入力画像を取得する第１機器は、
入力される画像に対する推論処理を実行する機械学習モデルの前段の層に、前記第１入力画像を入力して前記第１入力画像の第１特徴量を取得し、
前記第１特徴量の統計情報を算出して前記制御装置に送信し、
前記第１特徴量を、前記制御装置が決定したネットワーク帯域に基づき、前記複数のサーバのうちの前記制御装置が決定した第１サーバに送信し、
前記制御装置は、
前記第１機器から受信した前記統計情報と、前記複数のサーバの各々の性能とに基づき、前記第１機器に割り当てる前記ネットワーク帯域と、前記第１サーバと、を決定し、
前記第１サーバは、
前記機械学習モデルの後段の層に、前記第１機器から受信した前記第１特徴量を入力して推論結果を取得する、
画像処理方法。
入力画像を取得する複数の機器と、
複数の前記入力画像に対する推論処理を行なう複数のサーバと、
前記複数の機器及び前記複数のサーバの制御を行なう制御装置と、を備える画像処理システムにおける画像処理方法であって、
前記複数の機器のうちの第１入力画像を取得する第１機器は、
入力される画像に対する推論処理を実行する機械学習モデルの前段の層に、前記第１入力画像を入力して前記第１入力画像の第１特徴量を取得し、
前記第１特徴量の統計情報を算出して前記制御装置に送信し、
前記第１特徴量を、前記制御装置が決定したネットワーク帯域に基づき、前記複数のサーバのうちの前記制御装置が決定した第１サーバに送信し、
前記制御装置は、
前記第１機器から受信した前記統計情報と、前記複数のサーバの各々の性能とに基づき、前記第１機器に割り当てる前記ネットワーク帯域と、前記第１サーバと、を決定し、
前記第１サーバは、
前記機械学習モデルの後段の層に、前記第１機器から受信した前記第１特徴量を入力して推論結果を取得する、
画像処理方法。
【0197】
（付記８）
前記複数のサーバの各々は、
受信した特徴量に基づく推論結果を前記制御装置に送信し、
前記制御装置は、
前記決定する処理において、受信した第１推論結果であって、前記第１入力画像よりも時間的に先行する第２入力画像の第２特徴量に基づく前記第１推論結果にさらに基づき、前記ネットワーク帯域と、前記第１サーバと、を決定する、
付記７に記載の画像処理方法。
前記複数のサーバの各々は、
受信した特徴量に基づく推論結果を前記制御装置に送信し、
前記制御装置は、
前記決定する処理において、受信した第１推論結果であって、前記第１入力画像よりも時間的に先行する第２入力画像の第２特徴量に基づく前記第１推論結果にさらに基づき、前記ネットワーク帯域と、前記第１サーバと、を決定する、
付記７に記載の画像処理方法。
【0198】
（付記９）
前記推論処理は、物体の検出処理であり、
前記制御装置は、前記決定する処理において、
前記統計情報と、前記第２入力画像における物体の検出数を示す前記第１推論結果とに基づき、前記第１入力画像における物体の検出数を推定し、
前記統計情報と、前記複数のサーバの各々の性能と、前記第１入力画像における物体の検出数とに基づき、前記ネットワーク帯域と、前記第１サーバと、を決定する、
付記８に記載の画像処理方法。
前記推論処理は、物体の検出処理であり、
前記制御装置は、前記決定する処理において、
前記統計情報と、前記第２入力画像における物体の検出数を示す前記第１推論結果とに基づき、前記第１入力画像における物体の検出数を推定し、
前記統計情報と、前記複数のサーバの各々の性能と、前記第１入力画像における物体の検出数とに基づき、前記ネットワーク帯域と、前記第１サーバと、を決定する、
付記８に記載の画像処理方法。
【0199】
（付記１０）
前記第１機器は、前記第１特徴量を送信する処理において、
前記第１特徴量を符号化し、
符号化した前記第１特徴量を、前記制御装置が決定した前記ネットワーク帯域に基づき量子化し、
量子化した前記第１特徴量を前記第１サーバに送信する、
付記７～付記９のいずれか１項に記載の画像処理方法。
前記第１機器は、前記第１特徴量を送信する処理において、
前記第１特徴量を符号化し、
符号化した前記第１特徴量を、前記制御装置が決定した前記ネットワーク帯域に基づき量子化し、
量子化した前記第１特徴量を前記第１サーバに送信する、
付記７～付記９のいずれか１項に記載の画像処理方法。
【0200】
（付記１１）
前記第１機器は、前記統計情報を算出する処理において、
前記符号化した前記第１特徴量の前記統計情報を算出する、
付記１０に記載の画像処理方法。
前記第１機器は、前記統計情報を算出する処理において、
前記符号化した前記第１特徴量の前記統計情報を算出する、
付記１０に記載の画像処理方法。
【0201】
（付記１２）
前記第１機器は、前記第１特徴量を取得する処理において、
画像を固定位置から撮像する撮像装置により撮像された前記第１入力画像と、前記撮像装置により撮像される画像の背景画像との差分画像を、前記機械学習モデルの前記前段の層に入力して前記第１特徴量を取得する、
付記７～付記１１のいずれか１項に記載の画像処理方法。
前記第１機器は、前記第１特徴量を取得する処理において、
画像を固定位置から撮像する撮像装置により撮像された前記第１入力画像と、前記撮像装置により撮像される画像の背景画像との差分画像を、前記機械学習モデルの前記前段の層に入力して前記第１特徴量を取得する、
付記７～付記１１のいずれか１項に記載の画像処理方法。
【符号の説明】
【0202】
１ システム
１ａ ネットワーク（ＮＷ）
１０ コンピュータ
１１ フレーム画像
１２ 特徴量
１２Ａ 圧縮後特徴量
１３，１３Ａ 分散値
１４ 検出結果
１５ オートエンコーダ
１６ 物体検出モデル
１７ ＮＷ帯域
１８ 送信先
２ エッジ端末
２０ カメラ
２１ 画像取得部
２２ モデル前段処理部
２３，２３Ａ 分散値算出部
２４ 特徴量符号化部
２５ 量子化部
２６ 送信部
３ エッジサーバ
３１ 受信部
３２ 逆量子化部
３３ 特徴量復号部
３４ モデル後段処理部
３５ 格納部
４ 制御サーバ
４１ 制御部
４２ ＮＷ帯域決定部
４３ 送信先決定部
１ａ ネットワーク（ＮＷ）
１０ コンピュータ
１１ フレーム画像
１２ 特徴量
１２Ａ 圧縮後特徴量
１３，１３Ａ 分散値
１４ 検出結果
１５ オートエンコーダ
１６ 物体検出モデル
１７ ＮＷ帯域
１８ 送信先
２ エッジ端末
２０ カメラ
２１ 画像取得部
２２ モデル前段処理部
２３，２３Ａ 分散値算出部
２４ 特徴量符号化部
２５ 量子化部
２６ 送信部
３ エッジサーバ
３１ 受信部
３２ 逆量子化部
３３ 特徴量復号部
３４ モデル後段処理部
３５ 格納部
４ 制御サーバ
４１ 制御部
４２ ＮＷ帯域決定部
４３ 送信先決定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】