ホーム > 特許ランキング > 日本電信電話株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024119951
(43)【公開日】2024-09-03
(54)【発明の名称】エッジ装置、処理方法及び処理プログラム
(51)【国際特許分類】
G06V 10/70 20220101AFI20240827BHJP
G06F 9/38 20180101ALI20240827BHJP
G06T 7/00 20170101ALI20240827BHJP
【ＦＩ】
G06V10/70
G06F9/38 370X
G06T7/00 350B
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2024095528
(22)【出願日】2024-06-13
(62)【分割の表示】P 2022564707の分割
【原出願日】2020-11-24
(71)【出願人】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】坂本 啓
(72)【発明者】
【氏名】森永 一路
(72)【発明者】
【氏名】史 旭
(72)【発明者】
【氏名】榎本 昇平
(72)【発明者】
【氏名】江田 毅晴
(57)【要約】
【課題】エッジ装置からサーバ装置に対するデータ転送量の低減及びサーバ装置における演算負荷の低減を図ることができる。
【解決手段】エッジ装置３０は、処理データを複数に分割した分割データを、複数のＤＮＮ１－１～ＤＮＮ１－Ｎのうち対応するＤＮＮ１－１～ＤＮＮ１－Ｎにそれぞれ入力して、各ＤＮＮ１－１～ＤＮＮ１－Ｎにおける推論を実行させる推論部３２と、複数の分割データのうち、各ＤＮＮ１－１～ＤＮＮ１－Ｎにおける推論結果が予め定められた結果と合致すると判定した分割データのみをサーバ装置２０に出力する判定部３３と、を有する。
【選択図】図３
【解決手段】エッジ装置３０は、処理データを複数に分割した分割データを、複数のＤＮＮ１－１～ＤＮＮ１－Ｎのうち対応するＤＮＮ１－１～ＤＮＮ１－Ｎにそれぞれ入力して、各ＤＮＮ１－１～ＤＮＮ１－Ｎにおける推論を実行させる推論部３２と、複数の分割データのうち、各ＤＮＮ１－１～ＤＮＮ１－Ｎにおける推論結果が予め定められた結果と合致すると判定した分割データのみをサーバ装置２０に出力する判定部３３と、を有する。
【選択図】図３
【特許請求の範囲】
【請求項1】
処理データを複数に分割した分割データを、複数の第１のモデルのうち対応する第１のモデルにそれぞれ入力して、各第１のモデルにおける推論を実行させる第１の推論部と、
複数の前記分割データのうち、各第１のモデルにおける推論結果が予め定められた結果と合致すると判定した前記分割データのみをサーバ装置に出力する判定部と、
を有することを特徴とするエッジ装置。
複数の前記分割データのうち、各第１のモデルにおける推論結果が予め定められた結果と合致すると判定した前記分割データのみをサーバ装置に出力する判定部と、
を有することを特徴とするエッジ装置。
【請求項2】
前記第１の推論部は、前記分割した分割データを、前記複数の第１のモデルのうち対応する第１のモデルにそれぞれ入力して、各第１のモデルにおける物体検出を実行させ、
前記判定部は、複数の前記分割データのうち、各第１のモデルにおいて少なくとも所定の物体を含むと判定した前記分割データを前記サーバ装置に出力することを特徴とする請求項１に記載のエッジ装置。
前記判定部は、複数の前記分割データのうち、各第１のモデルにおいて少なくとも所定の物体を含むと判定した前記分割データを前記サーバ装置に出力することを特徴とする請求項１に記載のエッジ装置。
【請求項3】
前記判定部は、複数の前記分割データのうち、前記所定の物体を含み、かつ、前記第１のモデルによる前記物体検出の結果が正解であることの確からしさの度合いである確信度が、所定の閾値以上である前記分割データを、前記サーバ装置に出力することを特徴とする請求項２に記載のエッジ装置。
【請求項4】
前記第１の推論部は、前記分割データに対して、物体検出を行うとともに動体検出を行い、
前記判定部は、複数の前記分割データのうち、前記所定の物体を含み、かつ、動体検出された分割データを前記サーバ装置に出力することを特徴とする請求項２または３に記載のエッジ装置。
前記判定部は、複数の前記分割データのうち、前記所定の物体を含み、かつ、動体検出された分割データを前記サーバ装置に出力することを特徴とする請求項２または３に記載のエッジ装置。
【請求項5】
前記処理データは、１枚の画像であり、
前記第１の推論部は、前記１枚の画像を分割した複数の分割画像を、前記複数の第１のモデルのうち対応する第１のモデルにそれぞれ入力して、各第１のモデルにおける被写体認識を実行させ、
前記判定部は、前記複数の分割画像のうち、各第１のモデルにおいて少なくとも所定の被写体を含むと判定した前記分割画像を前記サーバ装置に出力することを特徴とする請求項２～４のいずれか一つに記載のエッジ装置。
前記第１の推論部は、前記１枚の画像を分割した複数の分割画像を、前記複数の第１のモデルのうち対応する第１のモデルにそれぞれ入力して、各第１のモデルにおける被写体認識を実行させ、
前記判定部は、前記複数の分割画像のうち、各第１のモデルにおいて少なくとも所定の被写体を含むと判定した前記分割画像を前記サーバ装置に出力することを特徴とする請求項２～４のいずれか一つに記載のエッジ装置。
【請求項6】
前記処理データは、時系列に沿って撮像された複数の画像であり、
前記第１の推論部は、前記複数の画像をそれぞれ、前記複数の第１のモデルのうち対応する第１のモデルにそれぞれ入力して、各第１のモデルにおける被写体認識を実行させ、
前記判定部は、前記複数の画像のうち、各第１のモデルにおいて少なくとも所定の被写体を含むと判定した前記画像を前記サーバ装置に出力することを特徴とする請求項２～４のいずれか一つに記載のエッジ装置。
前記第１の推論部は、前記複数の画像をそれぞれ、前記複数の第１のモデルのうち対応する第１のモデルにそれぞれ入力して、各第１のモデルにおける被写体認識を実行させ、
前記判定部は、前記複数の画像のうち、各第１のモデルにおいて少なくとも所定の被写体を含むと判定した前記画像を前記サーバ装置に出力することを特徴とする請求項２～４のいずれか一つに記載のエッジ装置。
【請求項7】
前記処理データは、時系列に沿って撮像された複数の画像であり、
前記第１の推論部は、前記複数の画像をそれぞれ、前記複数の第１のモデルのうち対応する第１のモデルにそれぞれ入力して、各第１のモデルにおける被写体認識を実行させ、
前記判定部は、前記複数の画像のうち、各第１のモデルにおいて少なくとも所定の被写体を含むことを認識された画像を選別し、
前記第１の推論部は、前記判定部によって選別された画像を分割した複数の分割画像を、前記複数の第１のモデルのうち対応する第１のモデルにそれぞれ入力して、各第１のモデルにおける被写体認識を実行させ、
前記判定部は、前記複数の分割画像のうち、各第１のモデルにおいて少なくとも所定の被写体を含むと判定された前記分割画像を前記サーバ装置に出力することを特徴とする請求項２～４のいずれか一つに記載のエッジ装置。
前記第１の推論部は、前記複数の画像をそれぞれ、前記複数の第１のモデルのうち対応する第１のモデルにそれぞれ入力して、各第１のモデルにおける被写体認識を実行させ、
前記判定部は、前記複数の画像のうち、各第１のモデルにおいて少なくとも所定の被写体を含むことを認識された画像を選別し、
前記第１の推論部は、前記判定部によって選別された画像を分割した複数の分割画像を、前記複数の第１のモデルのうち対応する第１のモデルにそれぞれ入力して、各第１のモデルにおける被写体認識を実行させ、
前記判定部は、前記複数の分割画像のうち、各第１のモデルにおいて少なくとも所定の被写体を含むと判定された前記分割画像を前記サーバ装置に出力することを特徴とする請求項２～４のいずれか一つに記載のエッジ装置。
【請求項8】
前記判定部によって前記サーバ装置に出力することを判定された各分割データをそれぞれ符号化し、前記サーバ装置に出力する複数の符号化部
を有することを特徴とする請求項２～７のいずれか一つに記載のエッジ装置。
を有することを特徴とする請求項２～７のいずれか一つに記載のエッジ装置。
【請求項9】
エッジ装置が実行する処理方法であって、
処理データを複数に分割した分割データを、複数の第１のモデルのうち対応する第１のモデルにそれぞれ入力して、各第１のモデルにおける推論を実行させる第１の推論工程と、
複数の前記分割データのうち、各第１のモデルにおける推論結果が予め定められた結果と合致すると判定した前記分割データのみを出力する判定工程と、
を含んだことを特徴とする処理方法。
処理データを複数に分割した分割データを、複数の第１のモデルのうち対応する第１のモデルにそれぞれ入力して、各第１のモデルにおける推論を実行させる第１の推論工程と、
複数の前記分割データのうち、各第１のモデルにおける推論結果が予め定められた結果と合致すると判定した前記分割データのみを出力する判定工程と、
を含んだことを特徴とする処理方法。
【請求項10】
方法をコンピュータに実行させる処理プログラムであって、
エッジ装置としてのコンピュータに、
処理データを複数に分割した分割データを、複数の第１のモデルのうち対応する第１のモデルにそれぞれ入力して、各第１のモデルにおける推論を実行させる第１の推論ステップと、
複数の前記分割データのうち、各第１のモデルにおける推論結果が予め定められた結果と合致すると判定した前記分割データのみを出力する判定ステップと、
を実行させることを特徴とする処理プログラム。
エッジ装置としてのコンピュータに、
処理データを複数に分割した分割データを、複数の第１のモデルのうち対応する第１のモデルにそれぞれ入力して、各第１のモデルにおける推論を実行させる第１の推論ステップと、
複数の前記分割データのうち、各第１のモデルにおける推論結果が予め定められた結果と合致すると判定した前記分割データのみを出力する判定ステップと、
を実行させることを特徴とする処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、エッジ装置、処理方法及び処理プログラムに関する。
【背景技術】
【0002】
センサに代表されるＩｏＴデバイスにより収集されたデータのデータ量は、膨大であるため、クラウドコンピューティングで収集されたデータを集約及び処理する際、膨大な通信量が発生する。このため、ユーザに近いエッジ装置でも、収集されたデータを処理するエッジコンピューティングに注目が集まっている。
【0003】
しかしながら、エッジ装置で用いられる装置の演算量やメモリ等のリソースは、エッジ装置よりもユーザから物理的及び論理的に遠くに配置されたエッジ装置以外の装置(以下、簡便のためクラウドと記載する)と比して、貧弱である。このため、演算負荷が大きい処理をエッジ装置で行うと、処理が完了するまでに多大な時間を要したり、演算量が大きくない他の処理が完了するまでにも時間を要したりする場合がある。
【0004】
ここで、演算量が大きい処理の一つに機械学習に係る処理が挙げられる。非特許文献１には、いわゆるアダプティブラーニングのエッジ・クラウドへの適用が提案されている。すなわち、非特許文献１に記載の方法は、クラウドで汎用的な学習データを用いて学習を行った学習済みモデルをエッジ装置に展開し、エッジ装置で取得されたデータを用いて、クラウドで学習を行ったモデルに対して再度学習を行うことでクラウドとエッジ装置との利点を活かした運用を実現している。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】：大越他, “クラウド・エッジ連携によるDNNモデル運用方式の提案と評価”, 第80回全国大会講演論文集 2018(1), 3-4, 2018-03-13.
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、高精度（ハイビジョン（４Ｋ，８Ｋ））カメラ画像等、処理データのデータサイズが大きい場合、エッジ側で判定できない処理データを全てクラウド側に送信してしまうと、伝送路を圧迫するととともに、サーバ側でも、データサイズが大きい処理データに対する処理時間が長くなってしまうという問題があった。
【0007】
本発明は、上記に鑑みてなされたものであって、エッジ装置からサーバ装置に対するデータ転送量の低減及びサーバ装置における演算負荷の低減を図ることができるエッジ装置、処理方法及び処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上述した課題を解決し、目的を達成するために、本発明に係るエッジ装置は、処理データを複数に分割した分割データを、複数の第１のモデルのうち対応する第１のモデルにそれぞれ入力して、各第１のモデルにおける推論を実行させる第１の推論部と、複数の分割データのうち、各第１のモデルにおける推論結果が予め定められた結果と合致すると判定した分割データのみをサーバ装置に出力する判定部と、を有することを特徴とする。
【発明の効果】
【0009】
本発明によれば、エッジ装置からサーバ装置に対するデータ転送量の低減及びサーバ装置における演算負荷の低減を図ることができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【0012】
［実施の形態］
［実施の形態の概要］
本発明の実施の形態について説明する。本発明の実施の形態では、学習済みの高精度モデル及び軽量モデルを使って推論処理を行う処理システムについて説明する。なお、実施の形態の処理システムでは、推論処理において用いるモデルとして、ＤＮＮ（Deep Neural Network）を用いた場合を例に説明する。実施の形態の処理システムでは、ＤＮＮ以外のニューラルネットワークを用いてもよいし、学習済みモデルに代えて低演算量の信号処理と高演算量の信号処理を用いてもよい。
［実施の形態の概要］
本発明の実施の形態について説明する。本発明の実施の形態では、学習済みの高精度モデル及び軽量モデルを使って推論処理を行う処理システムについて説明する。なお、実施の形態の処理システムでは、推論処理において用いるモデルとして、ＤＮＮ（Deep Neural Network）を用いた場合を例に説明する。実施の形態の処理システムでは、ＤＮＮ以外のニューラルネットワークを用いてもよいし、学習済みモデルに代えて低演算量の信号処理と高演算量の信号処理を用いてもよい。
【0013】
図１は、実施の形態に係る処理システムの処理方法の概要を説明する図である。実施の形態の処理システムは、高精度モデル及び軽量モデルを用いたモデルカスケードを構成する。実施の形態の処理システムでは、高速かつ低精度な軽量モデル（例えば、ＤＮＮ１（第１のモデル））を用いるエッジ装置と、低速かつ高精度な高精度モデル（例えば、ＤＮＮ２（第２のモデル））を用いるクラウド（サーバ装置）とのいずれにおいて処理を実行するかを制御する。例えば、サーバ装置は、ユーザから物理的及び論理的に遠い場所に配置された装置である。エッジ装置は、ユーザから物理的及び論理的に近い場所に配置されたＩｏＴ機器及び各種端末装置であり、サーバ装置と比してリソースが少ない。
【0014】
ＤＮＮ１及びＤＮＮ２は、入力された処理対象データを基に推論結果を出力するモデルである。本実施の形態では、例えば、データサイズが大きい高精度カメラ画像についても高速処理を可能にするため、エッジ装置において、入力画像を分割し、分割画像ごとに複数の処理を並列に実行し、所定の条件を満たす分割画像のみをクラウド側に送信する。エッジ装置及びサーバ装置では、ＤＮＮ１及びＤＮＮ２を複数備え、推論処理を含む各処理を並列に実行する。また、ハイフレームレートの映像についても効果を奏する。所望の被写体が撮影されているとエッジ装置で判断された画像や、前もしくは後ろの画像と比較して変化がある（動きがある）画像のみをクラウド側に伝送するようにするようにしてもよい。さらに、当該画像を分割し、所望の被写体が含まれている画像の分割画像をクラウド側に送信するようにしてもよい。
【0015】
図１の例では、エッジ装置に、ハイビジョン（４Ｋ，８Ｋ）画像（以降、画像Ｇ１とする。）が処理データとして入力された場合、エッジ装置では、この画像Ｇ１を、例えば９等分に分割し、分割画像Ｇ１－１～Ｇ１－９を、ＤＮＮ１－１～ＤＮＮ１－９にそれぞれ分配する（図１の（１））。各ＤＮＮ１－１～ＤＮＮ１－９は、入力された分割画像Ｇ１－１～Ｇ１－９に対して、画像に写る物体のクラスごとの確率を推論する被写体認識と、動体検出とを行う（図１の（２））。なお、エッジ装置におけるＤＮＮ１－１～ＤＮＮ１－９の数は一例であり、画像の分割数に応じた数を設ければよい。また、ＤＮＮ１－１～ＤＮＮ１－Ｍ（Ｍは分割数よりも小さい数）を用いて分割された画像を順番に処理するよう構成してもよい。
【0016】
そして、エッジ装置では、ＤＮＮ１－１～ＤＮＮ１－９の推論結果を基に、所定の被写体（例えば、猫或いは猫のー部）を含み、かつ、動体検出された分割画像Ｇ１－１，Ｇ１－５を選別し、この分割画像Ｇ１－１，Ｇ１－５の確信度を取得する。確信度は、ＤＮＮ１－１～ＤＮＮ１－９による被写体認識の結果が正解であることの確からしさの度合いである。
【0017】
続いて、エッジ装置では、確信度が所定の閾値以上である分割画像Ｇ１－１，Ｇ１－５を送信対象であると判定し（図１の（３））、分割画像Ｇ１－１，Ｇ１－５に対し、分割画像Ｇ１－１，Ｇ１－５ごとにエンコード処理を行い、クラウド（サーバ装置）に送信する（図１の（４））。この際、分割画像の周囲の領域も送るように設計してもよい。これは、所望の被写体が分割画像からはみ出して存在するような場合における推論精度の向上に有効である。特に、所望の被写体が複数の分割画面に同じくらいの領域を占めるよう撮影されている場合である。複数の分割画面とは、例えば２つの分割画面である場合や、周囲の複数の分割画面であるような場合有効である。
【0018】
クラウド側では、エッジ装置から出力された分割画像Ｇ１－１，Ｇ１－５を受信すると、分割画像Ｇ１－１，Ｇ１－５ごとにデコードし（図１の（５））、２－１～ＤＮＮ２－９にそれぞれ入力する（図１の（６））。各２－１～ＤＮＮ２－９は、入力された分割画像Ｇ１－１，Ｇ１－５に対し、画像に写る物体のクラスごとの確率を推論する推論処理を行う（図１の（６））。そして、クラウド側では、所定の後処理を行った後、各２－１～ＤＮＮ２－９の推論結果を統合して（図１の（７））、処理データである画像Ｇ１の処理結果として出力する。クラウド側の２－１～ＤＮＮ２－９の数は一例であり、入力される分割画像の数に応じた数を設ければよい。
【0019】
このように、実施の形態に係る処理システムは、エッジ装置において、処理対象の画像を分割し、分割画像ごとに推論処理を含む各処理を並列に実行し、所定の条件を満たす分割画像のみをクラウド側に送信する。したがって、本実施の形態では、処理対象の画像全体を送信する場合と比して、エッジ装置からサーバ装置に対するデータ転送量を低減することが可能である。また、サーバ装置は、送信された分割画像のみについて推論処理を行う。このため、実施の形態に係る処理システムでは、処理対象の画像全体に対して推論処理を行う場合と比して、サーバ装置における演算負荷を低減することが可能である。
【0020】
［軽量モデル及び高精度モデル］
次に、ＤＮＮ１、ＤＮＮ２について説明する。図２は、ＤＮＮ１及びＤＮＮ２の一例を説明する図である。ＤＮＮは、データが入る入力層、入力層から入力されたデータを様々に変換する複数の中間層、確率や尤度など、いわゆる推論した結果を出力する出力層を有する。また、上述した確信度を出力するよう構成してもよい。クラウドに送る出力値とする中間層の出力値は、入力されるデータが匿名性を保つ必要がある場合は非可逆としてもよい。
次に、ＤＮＮ１、ＤＮＮ２について説明する。図２は、ＤＮＮ１及びＤＮＮ２の一例を説明する図である。ＤＮＮは、データが入る入力層、入力層から入力されたデータを様々に変換する複数の中間層、確率や尤度など、いわゆる推論した結果を出力する出力層を有する。また、上述した確信度を出力するよう構成してもよい。クラウドに送る出力値とする中間層の出力値は、入力されるデータが匿名性を保つ必要がある場合は非可逆としてもよい。
【0021】
図２に示すように、処理システムは、ＤＮＮ１－１～ＤＮＮ１－９及びＤＮＮ２－１～ＤＮＮ２－９として、それぞれ独立したＤＮＮ１ａ及びＤＮＮ２ａを用いてもよい。例えば、ＤＮＮ２ａが既知の方法でトレーニングされた後、ＤＮＮ１ａが、ＤＮＮ２ａのトレーニングで使用された学習データを用いてトレーニングされてもよい。なお、ＤＮＮ１－・・・，ＤＮＮ２－・・・は、１以上であればいずれも数に制限はない。
【0022】
なお、ＤＮＮ１ａ及びＤＮＮ２ａには、精度とパフォーマンスが異なる同じタスクが割り当てられてもよいし、軽量モデル及び高精度モデルに代えて、低演算量のモデルと高演算量のモデルからなる異なるタスクが割り当てられてもよい。例えば、低演算量のモデルとして動体の検知を行い、高演算量のモデルとして被写体認識を行ってもよい。また、ＤＮＮ１－１～ＤＮＮ１－９は、分割された領域ごとに学習してもよく、或いは、共通するＤＮＮであってもよい。さらに、ＤＮＮ１－１～ＤＮＮ１－９は、被写体認識とともに動体検出をおこなってもよい。
【0023】
［処理システム］
次に、処理システムの構成について説明する。図３は、実施の形態に係る処理システムの構成の一例を模式的に示す図である。
次に、処理システムの構成について説明する。図３は、実施の形態に係る処理システムの構成の一例を模式的に示す図である。
【0024】
実施の形態に係る処理システム１００は、サーバ装置２０及びエッジ装置３０を有する。また、サーバ装置２０及びエッジ装置３０は、ネットワークＮを介して接続される。ネットワークＮは、例えばインターネットである。例えば、サーバ装置２０は、クラウド環境に設けられたサーバである。また、エッジ装置３０は、例えば、ＩｏＴ機器及び各種端末装置である。
【0025】
サーバ装置２０及びエッジ装置３０は、それぞれＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＣＰＵ（Central Processing Unit）等を含むコンピュータ等に所定のプログラムが読み込まれて、ＣＰＵが所定のプログラムを実行することで実現される。また、ＧＰＵやＶＰＵ（Vision Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）や専用のＡＩ（Artificial Intelligence）チップに代表されるいわゆるアクセラレータも用いられる。サーバ装置２０及びエッジ装置３０は、それぞれ、ＮＩＣ（Network Interface Card）等を有し、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介した他の装置との間の通信を行うことも可能である。
【0026】
図３に示すように、サーバ装置２０は、複数のデコーダを有する復号化部２１と、学習済みの高精度モデルである複数のＤＮＮ２－１～ＤＮＮ２－９を用いて推論を行う推論部２２（第２の推論部）と、統合部２３とを有する。ＤＮＮ２－１～ＤＮＮ２－９は、モデルパラメータ等の情報を含む。なお、ＤＮＮ２－１～ＤＮＮ２－９の数は一例であり、入力される分割画像の数に応じた数を設ければよい。
【0027】
復号化部２１は、第１デコーダ２１－１、第２デコーダ２１－２を有する。第１デコーダ２１－１、第２デコーダ２１－２は、エッジ装置３０から送信された分割画像を受信し、デコード処理を行う。なお、復号化部２１における第１デコーダ２１－１、第２デコーダ２１－２の数は一例であり、最小の構成とする場合、推論部２２が有するデコーダ２１の数は１となる。ここで、システム全体としての最小構成についても記載する。ＤＮＮ１、エンコーダ、デコーダ、ＤＮＮ２のいずれも１つが最小構成である。また、いずれの構成の数も可変としてよい。例えば、ＤＮＮ１の数を２、エンコーダの数を４、その他を１というようにアシンメトリックに設計してもよい。
【0028】
推論部２２は、ＤＮＮ２を用いて、エッジ装置３０から出力された分割画像に対する推論処理を実行する。推論部２２は、エッジ装置３０から出力された各分割画像を、ＤＮＮ２－１～ＤＮＮ２－９の入力とする。推論部２２は、ＤＮＮ２－１～ＤＮＮ２－９の出力として推論結果（例えば、画像に写る物体のクラスごとの確率や前後の画像と比較した動体の有無）を取得する。推論部２２は、推論用データの入力を受け付け、推論結果を出力する。各分割画像は、ラベルが未知のデータであるものとする。また、推論結果をユーザに返す場合、推論部２２で得られた推論結果はエッジ装置３０に伝送され、エッジ装置３０からユーザに返してもよい。最小の構成とする場合、推論部２２が有するＤＮＮ２の数は１となる。
【0029】
統合部２３は、推論部２２による各分割画像に対する各推論結果を統合し、統合した推論結果を、処理データである画像の処理結果として出力する。
【0030】
ここで、サーバ装置２０及びエッジ装置３０は、モデルカスケードを構成する。なお、モデルカスケードとは、２つないしそれ以上の独立したモデルを層状（２層ないし多層）につないで利用することを意図する。このため、推論部２２は、常に推論を行うわけではない。推論部２２は、エッジ装置３０において、推論処理をサーバ装置２０に実行させると判定された分割画像の入力を受け付けて、ＤＮＮ２による推論を行う。
【0031】
エッジ装置３０は、分割部３１と、学習済みの軽量モデルであるＤＮＮ１－１～ＤＮＮ１－Ｎ（Ｎは自然数）を有する推論部３２（第１の推論部）と、判定部３３と、符号化部３４を有する。
【0032】
分割部３１は、処理データを分割する。分割部３１は、処理対象の画像を分割する。分割部分の大きさや分割数は、エッジ装置３０及びサーバ装置２０のリソースや、エッジ装置３０とサーバ装置２０との間の伝送路の伝送能力に応じて設定される。
【0033】
推論部３２は、学習済みの軽量モデルである複数のＤＮＮ１－１～ＤＮＮ１－Ｎを用いて推論を行う。推論部３２は、分割部３１が分割した分割データを、複数のＤＮＮ１－１～ＤＮＮ１－Ｎのうち対応するＤＮＮにそれぞれ入力して、各ＤＮＮ１－１～ＤＮＮ１－Ｎにおける推論を実行させる。なお、エッジ装置３０におけるＤＮＮ１の数は一例であり、分割数よりも少ないＤＮＮ１を用いて、分割された画像を順番に処理するよう構成してもよい。
【0034】
ＤＮＮ１－１～ＤＮＮ１－Ｎは、画像に写る物体のクラスごとの確率を推論する被写体認識を行う。さらに、ＤＮＮ１－１～ＤＮＮ１－Ｎは、被写体認識とともに動体検出を行ってもよい。また、ＤＮＮ１－１～ＤＮＮ１－Ｎにおいて、動体検知のみを行ってもよい。
【0035】
また、推論部３２は、動体検知を行うために、さらに軽量化されたモデルを用いてもよい。例えば、軽量化されたモデルとして、画像を符号化したデータに含まれる符号化データを用いて動体検出を行うモデルがある。具体的には、分割された領域のイントラ符号化されたブロックとインター符号化されたブロックとの割合に応じて動体検知の有無を決定するモデルや、他領域との符号量の比などを基に動体検出を行うモデルがある。また、現実空間におけるほぼ同じ位置を撮影した２枚の画像における、対応する領域同士の符号量に基づいて、これらの領域間の変化の有無を判定するモデルや、２枚の静止画像間の動きベクトルを基に被写体の動作の有無を取得するモデルがある。
【0036】
推論部３２は、分割部３１によって分割された分割画像を、ＤＮＮ１－１～ＤＮＮ１－Ｎのうち対応するＤＮＮ１－１～ＤＮＮ１－Ｎにそれぞれ入力して、各ＤＮＮ１－１～ＤＮＮ１－Ｎにおける被写体認識を実行させる。さらに、推論部３２は、ＤＮＮ１－１～ＤＮＮ１－Ｎに動体検出を実行させてもよい。推論部３２は、複数の画像に対する推論結果（例えば、被写体認識結果、或いは、被写体認識結果及び動体検出）を出力する。
【0037】
判定部３３は、複数の分割データのうち、各ＤＮＮ１－１～ＤＮＮ１－Ｎにおける推論結果が予め定められた結果と合致すると判定した分割データのみをサーバ装置２０に出力する。判定部３３は、複数の分割画像のうち、各ＤＮＮ１－１～ＤＮＮ１－Ｎにおいて、少なくとも所定の被写体を含むと判定した分割画像をサーバ装置２０に出力して、推論用データに係る処理（推論処理）をサーバ装置２０に実行させることを判定する第１判定部３３－１～第Ｎ判定部３３－Ｎを有する。第１判定部３３－１～第Ｎ判定部３３－Ｎの数は一例であり、分割画像に対して並列処理を実行できるように、推論部３２が有するＤＮＮ１―１～ＤＮＮ１－Ｎと同数であればよい。
【0038】
そして、第１判定部３３－１～第Ｎ判定部３３－Ｎは、それぞれ、所定の被写体を含み、かつ、分割画像に対する被写体認識の結果に対する確信度が所定の閾値以上である分割画像を選別して、サーバ装置２０に出力してもよい。確信度は、各ＤＮＮ１－１～ＤＮＮ１－Ｎによる被写体認識の結果が正解であることの確からしさの度合いである。例えば、確信度は、各ＤＮＮ１－１～ＤＮＮ１－Ｎがそれぞれ出力した、各分割画像に写る物体のクラスごとの確率であってもよい。
【0039】
また、第１判定部３３－１～第Ｎ判定部３３－Ｎは、それぞれ、所定の被写体を含み、かつ、動体検出された分割画像を選別して、サーバ装置２０に出力してもよい。或いは、第１判定部３３－１～第Ｎ判定部３３－Ｎは、それぞれ、所定の被写体を含み、かつ、動体検出された分割画像であって、分割画像に対する被写体認識の結果に対する確信度が所定の閾値以上である分割画像を選別して、サーバ装置２０に出力する。なお、判定部３３は、所定の被写体を含む分割画像がない場合、推論部３２が推論した推論結果を出力する。
【0040】
符号化部３４は、第１エンコーダ３４－１～第Ｎエンコーダを有し、第１判定部３３－１～第Ｎ判定部３３－Ｎによってサーバ装置２０に出力することを判定された各分割画像をそれぞれ量子化後、通信用のエンコード処理を施す符号化処理を行い、サーバ装置２０に出力する。第１エンコーダ３４－１～第Ｎエンコーダの数は一例であり、分割画像に対して並列処理を実行できるように、推論部３２が有するＤＮＮ１―１～ＤＮＮ１－Ｎと同数であってもよく、また、分割数よりも少ないエンコーダを用いて、分割された画像を順番に処理するよう構成してもよい。
【0041】
ここで、符号化部３４は、サーバ装置２０への送信を判定された分割画像ごとにエンコードするほか、分割画像を結合して１つの画像としてエンコードしてもよい。原画像と同じ解像度にする場合には、符号化部３４は、サーバ装置２０に送信しないと判定された分割画像を黒単色などに変換すればよい。この際、符号化部３４は、符号化効率が高くなるように、サーバ装置２０への送信を判定された各分割画像を、元の画像の配置と異なる位置に並び替えて、１つの画像としてエンコードしてもよい。具体的には、符号化部３４は、サーバ装置２０への送信を判定された分割画像が隣接するように配置を変える。
【0042】
［エッジ装置における処理］
図４は、図３に示すエッジ装置３０が実行する処理の流れを示すフローチャートである。図４に示すように、まず、エッジ装置３０において、処理対象の画像（例えば、画像Ｇ）の入力を受け付けると（ステップＳ１）、分割部３１は、処理対象の画像を分割画像Ｇ－１～Ｇ－Ｎに分割し、ＤＮＮ１－１～ＤＮＮ１－Ｎに分配する（ステップＳ２）。
図４は、図３に示すエッジ装置３０が実行する処理の流れを示すフローチャートである。図４に示すように、まず、エッジ装置３０において、処理対象の画像（例えば、画像Ｇ）の入力を受け付けると（ステップＳ１）、分割部３１は、処理対象の画像を分割画像Ｇ－１～Ｇ－Ｎに分割し、ＤＮＮ１－１～ＤＮＮ１－Ｎに分配する（ステップＳ２）。
【0043】
推論部３２では、ＤＮＮ１－１～ＤＮＮ１－Ｎに対し、分配された各分割画像Ｇ－１～Ｇ－Ｎをそれぞれ入力し（ステップＳ３－１～ステップＳ３－Ｎ）、被写体認識、または、被写体認識及び動体検出を実行させる（ステップＳ４－１～ステップＳ４－Ｎ）。
【0044】
第１判定部３３－１～第Ｎ判定部３３－Ｎは、各分割画像Ｇ－１～Ｇ－Ｎについて、所定の被写体を含むか否か、或いは、所定の被写体を含み、かつ、動体検出されたか否かを判定する（ステップＳ５－１～ステップＳ５－Ｎ）。
【0045】
所定の被写体を含む、或いは、所定の被写体を含み、かつ、動体検出されたと判定した場合（ステップＳ５－１～ステップＳ５－Ｎ：Ｙｅｓ）、第１判定部３３－１～第Ｎ判定部３３－Ｎは、各分割画像Ｇ－１～Ｇ－Ｎに対する被写体認識の結果に対する確信度を取得する（ステップＳ７－１～ステップＳ７－Ｎ）。そして、第１判定部３３－１～第Ｎ判定部３３－Ｎは、確信度が所定の閾値以上であるか否かを判定する（ステップＳ８－１～ステップＳ８－Ｎ）。
【0046】
確信度が所定の閾値以上であると判定された場合（ステップＳ８－１～ステップＳ８－Ｎ：Ｙｅｓ）、符号化部３４は、確信度が所定の閾値以上であると判定された分割画像Ｇ－１～Ｇ－Ｎをそれぞれ量子化後、通信用のエンコード処理を実行し（ステップＳ９－１～ステップＳ９－Ｎ）、サーバ装置２０に送信する（ステップＳ１０－１～ステップＳ１０－Ｎ）。
【0047】
第１判定部３３－１～第Ｎ判定部３３－Ｎは、所定の被写体を含まない判定した場合、或いは、所定の被写体を含むものの動体検出されない、すなわち、所定の被写体は写っているが動いてはいないと判定した場合（ステップＳ５－１～ステップＳ５－Ｎ：Ｎｏ）、または、確信度が所定の閾値以上でないと判定した場合（ステップＳ８－１～ステップＳ８－Ｎ：Ｎｏ）、この分割画像は送信不要であると判定する（ステップＳ６－１～ステップＳ６－Ｎ）。そして、判定部３３は、全分割画像が送信不要であると判定した場合には（ステップＳ１１：Ｙｅｓ）、推論部３２が推論した推論結果を出力する（ステップＳ１２）。また、判定部３３は、全分割画像が送信不要でないと判定した場合には（ステップＳ１１：Ｎｏ）、処理対象の画像Ｇに対する処理を終了する。
【0048】
［サーバ装置における処理］
図５は、図３に示すサーバ装置２０が実行する処理の流れを示すフローチャートである。図５に示すように、サーバ装置２０では、エッジ装置３０から送信された分割画像Ｇ－ｉ，Ｇ－ｊの入力を受け付けると（ステップＳ２１－１，Ｓ２１－２）、第１デコーダ２１－１、第２デコーダ２１－２が、分割画像Ｇ－ｉ，Ｇ－ｊに対してそれぞれデコード処理を行う（ステップＳ２２－１，Ｓ２２－２）。
図５は、図３に示すサーバ装置２０が実行する処理の流れを示すフローチャートである。図５に示すように、サーバ装置２０では、エッジ装置３０から送信された分割画像Ｇ－ｉ，Ｇ－ｊの入力を受け付けると（ステップＳ２１－１，Ｓ２１－２）、第１デコーダ２１－１、第２デコーダ２１－２が、分割画像Ｇ－ｉ，Ｇ－ｊに対してそれぞれデコード処理を行う（ステップＳ２２－１，Ｓ２２－２）。
【0049】
そして、推論部２２では、エッジ装置３０から出力された分割画像Ｇ－ｉ，Ｇ－ｊを、ＤＮＮ２－１～ＤＮＮ２－９に入力し、分割画像Ｇ－ｉ，Ｇ－ｊに対する推論処理をそれぞれ実行する（ステップＳ２３－１，Ｓ２３－２）。
【0050】
統合部２３は、分割画像Ｇ－ｉ，Ｇ－ｊに対する各推論結果を統合し（ステップＳ２４）、統合した推論結果を、処理データである画像の処理結果として出力する（ステップＳ２５）。
【0051】
［実施の形態の効果］
実施の形態に係る処理システムは、エッジ装置３０において、処理画像を分割した分割画像ごとに推論処理を含む各処理を並列に実行し、所定の条件を満たす分割画像のみをサーバ装置２０に送信する。したがって、本実施の形態では、処理対象の画像全体をサーバ装置に送信する場合と比して、エッジ装置３０からサーバ装置２０に対するデータ転送量を低減することが可能である。また、サーバ装置２０は、送信された分割画像のみについて推論処理を行う。このため、実施の形態に係る処理システムでは、処理対象の画像全体に対して推論処理を行う場合と比して、サーバ装置２０における演算負荷を低減することが可能である。また、広く使われているYOLO等のモデルでは、入力する画像の最大解像度が決まっている場合がある。このようなモデルをエッジ装置に配置するＤＮＮ１－１～ＤＮＮ１－Ｎとして選択する場合、対象画像を分割した画像毎にＤＮＮ１－１～ＤＮＮ１－Ｎに入力することから、分割するサイズを上記最大解像度以下となるような設計とすることで、画像が持つ情報を劣化させることなく推論のために用いることができる。当該分割するサイズは、例えば被写体の認識やイベントの検知等の対象に応じて、当該対象を満たすサイズとすべきであることは言うまでもない。
実施の形態に係る処理システムは、エッジ装置３０において、処理画像を分割した分割画像ごとに推論処理を含む各処理を並列に実行し、所定の条件を満たす分割画像のみをサーバ装置２０に送信する。したがって、本実施の形態では、処理対象の画像全体をサーバ装置に送信する場合と比して、エッジ装置３０からサーバ装置２０に対するデータ転送量を低減することが可能である。また、サーバ装置２０は、送信された分割画像のみについて推論処理を行う。このため、実施の形態に係る処理システムでは、処理対象の画像全体に対して推論処理を行う場合と比して、サーバ装置２０における演算負荷を低減することが可能である。また、広く使われているYOLO等のモデルでは、入力する画像の最大解像度が決まっている場合がある。このようなモデルをエッジ装置に配置するＤＮＮ１－１～ＤＮＮ１－Ｎとして選択する場合、対象画像を分割した画像毎にＤＮＮ１－１～ＤＮＮ１－Ｎに入力することから、分割するサイズを上記最大解像度以下となるような設計とすることで、画像が持つ情報を劣化させることなく推論のために用いることができる。当該分割するサイズは、例えば被写体の認識やイベントの検知等の対象に応じて、当該対象を満たすサイズとすべきであることは言うまでもない。
【0052】
また、実施の形態では、エッジ装置３０は、複数の分割画像のうち、所定の被写体を含み、かつ、分割画像に対する被写体認識についての確信度が、所定の閾値以上である分割画像を選別して、サーバ装置２０に出力する。或いは、エッジ装置３０は、複数の分割画像のうち、所定の被写体を含み、かつ、動体検出された分割画像であって、分割画像に対する被写体認識の結果に対する確信度が所定の閾値以上である分割画像を選別して、サーバ装置２０に出力する。したがって、実施の形態では、高精度の推論処理が必要と考えられる分割画像のみを、エッジ装置３０からサーバ装置２０に送信することができる。
【0053】
また、サーバ装置２０は、推論部２２による各分割画像に対する各推論結果を統合し、統合した推論結果を処理対象の１枚の画像に対する推論結果として出力するため、ユーザは、処理対象の画像に対する推論結果を正確に認識することが可能である。
【0054】
なお、エッジ装置３０は、分割画像にある被写体１体が写っている場合、被写体のバウンディングボックスに分類結果を付して、後段のサーバ装置２０に送信してもよい。なお、被写体のバウンティングボックスとは、分割された画像であって被写体が写っている領域を意図する。エッジ装置３０は、分割画像にある被写体１体が写っている場合、被写体が写っている対象部分を切り取って、切り取った部分画像に分類結果を付して、後段のサーバ装置２０に送信してもよい。
【0055】
また、エッジ装置３０は、分割画像に、種々の被写体が複数体写っている場合、各被写体のバウンディングボックスに分類結果を付して、全ての結果を後段のサーバ装置２０に送信してもよい。エッジ装置３０は、種々の被写体が複数体写っている場合、各被写体が写っている対象部分を切り取り、分割して別々に後段のサーバ装置２０に送信してもよい。
【0056】
また、エッジ装置３０は、分割画像に、種々の被写体が複数体写っている場合、特定の分類に属する被写体のバウンディングボックスに分類結果を付して、それぞれ後段のサーバ装置２０に送信してもよい。エッジ装置３０は、分割画像に、種々の被写体が複数体写っている場合、各被写体が写っている対象部分を切り取り、分割して別々に後段のサーバ装置２０に送信してもよい。また、エッジ装置３０は、特定の分類の被写体が写る分割画像を選別して、後段のサーバ装置２０に送信してもよい。例えば、エッジ装置３０は、人と犬とが写っている画像である場合、人のみが写る分割画像を、後段のサーバ装置２０に送信してもよい。
【0057】
［変形例１］
実施の形態では、処理データが、１枚の画像である場合を例に説明したが、処理データは、時系列に撮像された複数の画像（時系列画像）であってもよい。図６は、実施の形態の変形例１に係る処理システムの処理方法の概要を説明する図である。
実施の形態では、処理データが、１枚の画像である場合を例に説明したが、処理データは、時系列に撮像された複数の画像（時系列画像）であってもよい。図６は、実施の形態の変形例１に係る処理システムの処理方法の概要を説明する図である。
【0058】
図６に示すように、エッジ装置３０は、時系列画像である画像Ｇｔ１１～Ｇｔ１３が処理データとして入力された場合、各画像Ｇｔ１１～Ｇｔ１３を、ＤＮＮ１ｔ－１～ＤＮＮ１ｔ－３にそれぞれ分配して、ＤＮＮ１ｔ－１～ＤＮＮ１ｔ－３に被写体認識と動体検出とを実行させる（図６の（１））。なお、ＤＮＮ１ｔ－１～ＤＮＮ１ｔ－３の数は一例であり、エッジ装置３０のリソース等に応じて設定される。ＤＮＮ１ｔ－１～ＤＮＮ１ｔ－３は、一つの共通するＤＮＮであってもよい。また、ＤＮＮ１ｔ－１～ＤＮＮ１ｔ－３は、ＤＮＮ１－１～ＤＮＮ１―Ｎと同じＤＮＮであってもよく、また、異なるＤＮＮであってもよい。また、各ＤＮＮ１ｔ－１～ＤＮＮ１ｔ－３は、動体検出を省略することも可能である。
【0059】
続いて、エッジ装置３０は、ＤＮＮ１ｔ－１～ＤＮＮ１ｔ－３のうち、所定の被写体を含み、かつ、動体検出された画像Ｇｔ１１，Ｇｔ１２を選別する。続いて、エッジ装置３０は、画像に対する被写体認識の結果に対する確信度が所定の閾値以上である画像Ｇｔ１１，Ｇｔ１２を送信対象であると判定する（図６の（２））。
【0060】
そして、エッジ装置３０は、選別された画像Ｇｔ１１，Ｇｔ１２に対し、画像Ｇｔ１１，Ｇｔ１２ごとにエンコード処理を行い、クラウド（サーバ装置２０）に送信する（図６の（３））。なお、本変形例１では、エッジ装置３０は、図３に示す分割部３１を省略することができる。また、各ＤＮＮ１ｔ－１～ＤＮＮ１ｔ－３が動体検出を省略した場合には、エッジ装置３０は、所定の被写体を含み、かつ、確信度が所定の閾値以上である画像を送信対象として選別すればよい。
【0061】
そして、クラウド側のサーバ装置２０では、エッジ装置３０から出力された画像Ｇｔ１１，Ｇｔ１２を受信すると、画像Ｇｔ１１，Ｇｔ１２ごとにデコードし（図６の（４））、ＤＮＮ２－１～ＤＮＮ２－９にそれぞれ入力する。サーバ装置２０では、各ＤＮＮ２－１～ＤＮＮ２－９が、入力された画像Ｇｔ１１，Ｇｔ１２に対し、画像に写る物体のクラスごとの確率を推論する推論処理を行う（図６の（５））。そしてサーバ装置２０は、所定の後処理を行った後、各ＤＮＮ２－１～ＤＮＮ２－９の推論結果を出力する。なお、本変形例１では、サーバ装置２０は、図３に示す統合部２３を省略することができる。
【0062】
このように、処理データが時系列に沿って撮像された複数の画像であっても、エッジ装置３０では、この複数の画像から、高精度な推論処理が必要である画像のみを選別して、サーバ装置２０に送信するため、実施の形態と同様の効果を奏する。
【0063】
［変形例２］
また、処理システムは、時系列に沿って撮像された複数の画像から一部の画像を選別後、選別した画像を分割して、高精度な推論処理が必要である分割画像を選別し、選別した分割画像のみをサーバ装置に送信してもよい。
また、処理システムは、時系列に沿って撮像された複数の画像から一部の画像を選別後、選別した画像を分割して、高精度な推論処理が必要である分割画像を選別し、選別した分割画像のみをサーバ装置に送信してもよい。
【0064】
【0065】
図７及び図８に示すように、実施の形態の変形例２に係る処理システム１００Ｂにおいて、エッジ装置３０Ｂに、時系列画像である入力画像群（例えば、画像Ｇｔ１１～Ｇｔ１３）が処理データとして入力された場合、推論部３２Ｂは、各画像を、ＤＮＮ１ｔ－１～ＤＮＮ１ｔ－Ｍ（Ｍは自然数）にそれぞれ分配して、ＤＮＮ１ｔ－１～ＤＮＮ１ｔ－Ｍに被写体認識と動体検出とを実行させる（図７の（１））。
【0066】
続いて、判定部３３Ｂでは、第１判定部３３－１～第Ｍ判定部３３－Ｍが、ＤＮＮ１ｔ－１～ＤＮＮ１ｔ－Ｍの推論結果を基に、所定の被写体を含み、かつ、動体検出された画像（例えば、画像Ｇｔ１１，Ｇｔ１２）を選別する。そして、第１判定部３３－１～第Ｍ判定部３３－Ｍ（例えば、第１判定部３３－１、第２判定部３３－２）は、画像Ｇｔ１１，Ｇｔ１２の確信度が所定の閾値以上であるか否かを判定し、送信対象の画像（例えば、画像Ｇｔ１１）を選別する（図７の（２））。なお、各ＤＮＮ１ｔ－１～ＤＮＮ１ｔ－Ｍは、動体検出を省略することも可能である。各ＤＮＮ１ｔ－１～ＤＮＮ１ｔ－Ｍが動体検出を省略した場合には、第１判定部３３－１～第Ｍ判定部３３－Ｍは、所定の被写体を含み、かつ、確信度が所定の閾値以上である画像を、送信対象として選別すればよい。
【0067】
そして、エッジ装置では、分割部３１が、この画像Ｇｔ１１を、例えば９等分に分割し、分割画像Ｇｔ１１－１～Ｇｔ１１－９を、推論部３２のＤＮＮ１－１～ＤＮＮ１－Ｎ（例えば、ＤＮＮ１－１～ＤＮＮ１－９）にそれぞれ分配する（図７の（３））。
【0068】
続いて、各ＤＮＮ１－１～ＤＮＮ１－Ｎは、入力された分割画像（例えば、分割画像Ｇｔ１１－１～Ｇｔ１１－９）に対して、画像に写る物体のクラスごとの確率を推論する被写体認識と動体検出とを行う（図７の（４））。
【0069】
判定部３３では、第１判定部３３－１～第Ｎ判定部３３－Ｎが、ＤＮＮ１－１～ＤＮＮ１－Ｎの推論結果を基に、所定の被写体を含み、かつ、動体検出された分割画像（例えば、分割画像Ｇｔ１１－１，Ｇｔ１１－５）を選別し、この分割画像Ｇ１－１，Ｇ１－５の確信度を取得する。
【0070】
続いて、第１判定部３３－１～第Ｎ判定部３３－Ｎは、確信度が所定の閾値以上である分割画像Ｇｔ１１－１，Ｇｔ１１－５を送信対象であると判定する（図７の（５））。符号化部３４では、分割画像Ｇｔ１１－１，Ｇｔ１１－５をそれぞれ量子化後、エンコード処理を行い、クラウド（サーバ装置２０）に送信する（図７の（６））。なお、各ＤＮＮ１－１～ＤＮＮ１－Ｎは、動体検出を省略することも可能である。各ＤＮＮ１－１～ＤＮＮ１－Ｎが動体検出を省略した場合には、第１判定部３３－１～第Ｎ判定部３３－Ｎは、所定の被写体を含み、かつ、確信度が所定の閾値以上である分割画像を送信対象として選別すればよい。
【0071】
このように、実施の形態の変形例２では、エッジ装置３０Ｂにおいて、推論部３２Ｂが、時系列に沿って撮影された複数の画像をそれぞれ、各ＤＮＮ１ｔ－１～ＤＮＮ１ｔ－Ｍにそれぞれ入力して被写体認識を実行させ、判定部３３Ｂが、複数の画像のうち、各ＤＮＮ１ｔ－１～ＤＮＮ１ｔ－Ｍにおいて少なくとも所定の被写体を含むことを認識された画像を選別する。
【0072】
そして、エッジ装置３０Ｂでは、分割部３１が、判定部３３Ｂによって選別された画像を分割し、推論部３２が、複数の分割画像を、ＤＮＮ１－１～ＤＮＮ１－Ｎのうち対応するＤＮＮ１にそれぞれ入力して、各ＤＮＮ１－１～ＤＮＮ１－Ｎにおける被写体認識を実行させる。続いて、エッジ装置３０Ｂでは、判定部３３が、複数の分割画像のうち、各ＤＮＮ１－１～ＤＮＮ１－Ｎにおいて少なくとも所定の被写体を含み、かつ、確信度が所定の閾値以上であると判定された分割画像をサーバ装置２０に出力する。
【0073】
上記のように、エッジ装置３０Ｂは、複数の画像から、高精度な推論処理が必要である画像のみを選別後、選別した画像をさらに分割して、高精度な推論処理が必要である分割画像を選別し、選別した分割画像のみをサーバ装置２０に送信することで、データ転送量とサーバ装置２０における演算負荷とをより低減するようにしてもよい。
【0074】
［変形例３］
データ転送量と全体的な演算負荷をさらに低減する手法を示す。以下では、ＤＮＮ１で推論を行うよう記載しているが、ＤＮＮ１－１～ＤＮＮ１－Ｎいずれで推論が行われてもよい。ある時点Tにおいて、ＤＮＮ１－１で推論を行った結果、動体を検出したとする。この動体に対応するバウンティングボックスよりも広いかつ画像全体ではない一部である領域内において、T-n・・・T-1の時点において被写体を検出していた場合、ある時点Tにおいて検出した動体は、T-n・・T-1の時点において検出していた被写体であると推論するようにしてもよい。
データ転送量と全体的な演算負荷をさらに低減する手法を示す。以下では、ＤＮＮ１で推論を行うよう記載しているが、ＤＮＮ１－１～ＤＮＮ１－Ｎいずれで推論が行われてもよい。ある時点Tにおいて、ＤＮＮ１－１で推論を行った結果、動体を検出したとする。この動体に対応するバウンティングボックスよりも広いかつ画像全体ではない一部である領域内において、T-n・・・T-1の時点において被写体を検出していた場合、ある時点Tにおいて検出した動体は、T-n・・T-1の時点において検出していた被写体であると推論するようにしてもよい。
【0075】
同様の推論を動体として、ＤＮＮ２に伝送されてきた分割画像を対象として行ってもよい。さらに、上記領域が現実空間においてほぼ同じ空間を示している場合、複数のＤＮＮ１－ｋ（１≦ｋ≦Ｎ）から伝送されていた分割画像を対象として同様の推論を行ってもよい。
【0076】
なお、本実施の形態では、エッジ装置３０，３０Ｂまたはサーバ装置２０が複数であってもよく、また、エッジ装置３０，３０Ｂとサーバ装置２０とがいずれも複数であってもよい。
【0077】
また、本実施の形態では、画像を処理する例について説明したが、これに限らず、処理データはセンサの検知結果等であってもよく、また、推論部３２、推論部２２は、例えば、所定の物体の有無を検出する物体検出を行ってもよい。
【0078】
［システム構成等］
図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【0079】
また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部又は一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【0080】
［プログラム］
図９は、プログラムが実行されることにより、エッジ装置３０，３０Ｂ及びサーバ装置２０が実現されるコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、演算を補助するために前述したアクセラレータを備えてもよい。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
図９は、プログラムが実行されることにより、エッジ装置３０，３０Ｂ及びサーバ装置２０が実現されるコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、演算を補助するために前述したアクセラレータを備えてもよい。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
【0081】
メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
【0082】
ハードディスクドライブ１０９０は、例えば、ＯＳ（Operating System）１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、エッジ装置３０，３０Ｂ及びサーバ装置２０の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、エッジ装置３０，３０Ｂ及びサーバ装置２０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid State Drive）により代替されてもよい。
【0083】
また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。
【0084】
なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
【0085】
以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例及び運用技術等は全て本発明の範疇に含まれる。
【符号の説明】
【0086】
２０ サーバ装置
２１ 復号化部
２２，３２，３２Ｂ 推論部
２３ 統合部
３０ エッジ装置
３１ 分割部
３３，３３Ｂ 判定部
３４ 符号化部
１００，１００Ｂ 処理システム
２１ 復号化部
２２，３２，３２Ｂ 推論部
２３ 統合部
３０ エッジ装置
３１ 分割部
３３，３３Ｂ 判定部
３４ 符号化部
１００，１００Ｂ 処理システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】