知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024070152
(43)【公開日】2024-05-22
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
H04L 47/125 20220101AFI20240515BHJP
【ＦＩ】
H04L47/125
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022180590
(22)【出願日】2022-11-10
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】110002044
【氏名又は名称】弁理士法人ブライタス
(72)【発明者】
【氏名】柴田 誠也
【テーマコード（参考）】
5K030
【Ｆターム（参考）】
5K030HB15
5K030LE03
5K030LE16
(57)【要約】
【課題】 エッジ側の処理が所定期間に実行できない場合に、処理できなかった残りの処理を、処理内容に基づいてクラウド側に分担することで、処理遅延を低減する。
【解決手段】 情報処理装置は、処理期間ごとに画像に対して第一の画像処理を実行し、第一の情報を生成する第一の画像処理部と、処理期間に、第一の情報を用いて第二の画像処理を実行し、第二の情報を生成する第二の画像処理部と、第一の画像処理に要した時間と、第一の情報とに基づいて、現時点の処理期間内で第二の画像処理を完了できるか否かを推定する第一の推定部と、現時点の処理期間において第二の画像処理が完了できないと推定された場合、現時点の処理期間より後の処理期間に、残りの第二の画像処理で用いる第一の情報を、第二の画像処理部と、第二の画像処理を実行する第三の画像処理部と、に分配する分配部と、を有する。
【選択図】図１
【解決手段】 情報処理装置は、処理期間ごとに画像に対して第一の画像処理を実行し、第一の情報を生成する第一の画像処理部と、処理期間に、第一の情報を用いて第二の画像処理を実行し、第二の情報を生成する第二の画像処理部と、第一の画像処理に要した時間と、第一の情報とに基づいて、現時点の処理期間内で第二の画像処理を完了できるか否かを推定する第一の推定部と、現時点の処理期間において第二の画像処理が完了できないと推定された場合、現時点の処理期間より後の処理期間に、残りの第二の画像処理で用いる第一の情報を、第二の画像処理部と、第二の画像処理を実行する第三の画像処理部と、に分配する分配部と、を有する。
【選択図】図１
【特許請求の範囲】
【請求項1】
あらかじめ設定された処理期間ごとに取得した画像に対して第一の画像処理を実行し、第一の情報を生成する第一の画像処理手段と、
前記処理期間に、前記第一の情報を用いて第二の画像処理を実行し、第二の情報を生成する第二の画像処理手段と、
前記第一の画像処理に要した時間と、前記第一の情報とに基づいて、現時点の処理期間内で前記第二の画像処理を完了できるか否かを推定する第一の推定手段と、
前記現時点の処理期間において前記第二の画像処理が完了できないと推定された場合、現時点の処理期間より後のあらかじめ設定された数の処理期間に、残りの第二の画像処理を実行させるために、前記残りの第二の画像処理で用いる前記第一の情報を、前記第二の画像処理手段と、前記第二の画像処理手段と別に設けられた前記第二の画像処理を実行する第三の画像処理手段と、に分配する分配手段と、
を有する情報処理装置。
前記処理期間に、前記第一の情報を用いて第二の画像処理を実行し、第二の情報を生成する第二の画像処理手段と、
前記第一の画像処理に要した時間と、前記第一の情報とに基づいて、現時点の処理期間内で前記第二の画像処理を完了できるか否かを推定する第一の推定手段と、
前記現時点の処理期間において前記第二の画像処理が完了できないと推定された場合、現時点の処理期間より後のあらかじめ設定された数の処理期間に、残りの第二の画像処理を実行させるために、前記残りの第二の画像処理で用いる前記第一の情報を、前記第二の画像処理手段と、前記第二の画像処理手段と別に設けられた前記第二の画像処理を実行する第三の画像処理手段と、に分配する分配手段と、
を有する情報処理装置。
【請求項2】
前記分配手段は、前記現時点の処理期間より後のあらかじめ設定された数の処理期間に、前記残りの第二の画像処理で用いる全ての前記第一の情報を、前記第二の画像処理手段と、前記第三の画像処理手段に分配し、
前記第二の画像処理手段は、前記現時点より後のあらかじめ設定された数の処理期間に、前記残りの第二の画像処理を実行可能な余裕期間がある場合、前記余裕期間において前記残りの第二の画像処理で用いる前記第一の情報を用いて、前記第二の画像処理を実行する、
請求項１に記載の情報処理装置。
前記第二の画像処理手段は、前記現時点より後のあらかじめ設定された数の処理期間に、前記残りの第二の画像処理を実行可能な余裕期間がある場合、前記余裕期間において前記残りの第二の画像処理で用いる前記第一の情報を用いて、前記第二の画像処理を実行する、
請求項１に記載の情報処理装置。
【請求項3】
さらに、前記第二の画像処理手段と前記第三の画像処理手段のうち、前記残りの第二の画像処理を早く完了した方から、前記残りの第二の画像処理で生成された第二の情報を取得し、取得した前記第二の情報を用いて第三の画像処理を実行する第四の画像処理手段を有する、
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項4】
さらに、前記現時点の処理期間において前記第二の画像処理が完了できないと推定された場合、前記現時点の処理期間より後の処理期間において取得した第一の画像と、当該処理期間より前の処理期間において取得した第二の画像との変化に基づいて、当該処理期間において前記残りの第二の画像処理を実行可能な余裕期間があるか否かを推定する第二の推定手段を有する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項5】
前記第二の画像処理手段は、前記余裕期間があると推定された場合、前記余裕期間において前記残りの第二の画像処理で用いる前記第一の情報を用いて、前記第二の画像処理を実行し、
前記分配手段は、前記余裕期間がないと推定された場合、前記残りの第二の画像処理で用いる前記第一の情報を、前記第三の画像処理手段に分配する、
請求項４に記載の情報処理装置。
前記分配手段は、前記余裕期間がないと推定された場合、前記残りの第二の画像処理で用いる前記第一の情報を、前記第三の画像処理手段に分配する、
請求項４に記載の情報処理装置。
【請求項6】
前記第三の画像処理手段は、分配された前記第一の情報を用いて前記第二の画像処理を実行する、
請求項５に記載の情報処理装置。
請求項５に記載の情報処理装置。
【請求項7】
さらに、前記第二の画像処理手段と前記第三の画像処理手段とで生成された第二の情報を取得し、取得した前記第二の情報を用いて第三の画像処理を実行する第五の画像処理手段を有する、
請求項６に記載の情報処理装置。
請求項６に記載の情報処理装置。
【請求項8】
前記第二の推定手段は、前記第一の画像の画素と、前記第二の画像の画素の差分に基づいて、前記余裕期間があるか否かを推定する、
請求項４に記載の情報処理装置。
請求項４に記載の情報処理装置。
【請求項9】
情報処理装置が、
あらかじめ設定された処理期間ごとに取得した画像に対して第一の画像処理を実行し、第一の情報を生成し、
前記処理期間に、前記第一の情報を用いて第二の画像処理を実行し、第二の情報を生成し、
前記第一の画像処理に要した時間と、前記第一の情報とに基づいて、現時点の処理期間内で前記第二の画像処理を完了できるか否かを推定し、
前記現時点の処理期間において前記第二の画像処理が完了できないと推定された場合、現時点の処理期間より後のあらかじめ設定された数の処理期間に、残りの第二の画像処理を実行させるために、前記残りの第二の画像処理で用いる前記第一の情報を、前記情報処理装置と、前記情報処理装置と別に設けられた前記第二の画像処理を実行する他の情報処理装置と、に分配する、
情報処理方法。
あらかじめ設定された処理期間ごとに取得した画像に対して第一の画像処理を実行し、第一の情報を生成し、
前記処理期間に、前記第一の情報を用いて第二の画像処理を実行し、第二の情報を生成し、
前記第一の画像処理に要した時間と、前記第一の情報とに基づいて、現時点の処理期間内で前記第二の画像処理を完了できるか否かを推定し、
前記現時点の処理期間において前記第二の画像処理が完了できないと推定された場合、現時点の処理期間より後のあらかじめ設定された数の処理期間に、残りの第二の画像処理を実行させるために、前記残りの第二の画像処理で用いる前記第一の情報を、前記情報処理装置と、前記情報処理装置と別に設けられた前記第二の画像処理を実行する他の情報処理装置と、に分配する、
情報処理方法。
【請求項10】
コンピュータに、
あらかじめ設定された処理期間ごとに取得した画像に対して第一の画像処理を実行させ、第一の情報を生成させ、
前記処理期間に、前記第一の情報を用いて第二の画像処理を実行し、第二の情報を生成させ、
前記第一の画像処理に要した時間と、前記第一の情報とに基づいて、現時点の処理期間内で前記第二の画像処理を完了できるか否かを推定させ、
前記現時点の処理期間において前記第二の画像処理が完了できないと推定された場合、現時点の処理期間より後のあらかじめ設定された数の処理期間に、残りの第二の画像処理を実行させるために、前記残りの第二の画像処理で用いる前記第一の情報を、前記コンピュータと、前記コンピュータと別に設けられた前記第二の画像処理を実行する他のコンピュータと、に分配させる、
命令を含むプログラム。
あらかじめ設定された処理期間ごとに取得した画像に対して第一の画像処理を実行させ、第一の情報を生成させ、
前記処理期間に、前記第一の情報を用いて第二の画像処理を実行し、第二の情報を生成させ、
前記第一の画像処理に要した時間と、前記第一の情報とに基づいて、現時点の処理期間内で前記第二の画像処理を完了できるか否かを推定させ、
前記現時点の処理期間において前記第二の画像処理が完了できないと推定された場合、現時点の処理期間より後のあらかじめ設定された数の処理期間に、残りの第二の画像処理を実行させるために、前記残りの第二の画像処理で用いる前記第一の情報を、前記コンピュータと、前記コンピュータと別に設けられた前記第二の画像処理を実行する他のコンピュータと、に分配させる、
命令を含むプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
クラウド・コンピューティングでは、クラウド上のサーバコンピュータ（クラウドサーバ）が、コンピュータネットワークの周縁部分（エッジ）に配置されたエッジデバイスから集約したデータを用いて、情報処理を実行している。ところが、通信遅延、ネットワーク負荷などが増加した場合、情報処理に影響がでることがある。そこで、エッジ・コンピューティングが提案されている。
【0003】
エッジ・コンピューティングでは、エッジデバイス、エッジデバイスの周辺領域に配置されたサーバコンピュータ（エッジサーバ）を用いて、情報処理の一部を実行し、処理されたデータをクラウド上のサーバコンピュータに送信している。このように、エッジ・コンピューティングでは、クラウド・コンピューティングを補強することで、通信遅延、ネットワーク負荷などの影響を低減している。
【0004】
ところが、エッジデバイス、エッジサーバは、通常、クラウドサーバのように高性能ではないので、処理する情報量が増えた場合、エッジデバイス、エッジサーバに処理遅延が生じる場合がある。
【0005】
関連する技術として特許文献１には、データ処理を引き継ぐ処理ノードに転送されるデータの過不足を低減する情報処理装置が開示されている。特許文献１の情報処理装置は、バッファと、該バッファに保持されたデータを処理する処理部とを含む複数の処理ノードを管理する。また、情報処理装置は、データ処理中の処理ノードのリソース負荷が所定量に到達する到達予測時刻におけるバッファ内の処理済みデータと未処理データとの境界を予測し、予測に基づいて、未処理データを処理順が遅い側から境界に向けて、データ処理を引き継ぐ他の処理ノードに転送する。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０２２－７４８６４号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献１の情報処理装置は、エッジ・コンピューティングで用いるエッジデバイス、エッジサーバそれぞれが実行する処理（エッジ側の処理）を、エッジ側とクラウドサーバ（クラウド側）に分担するか否かの推定を、リソース負荷に基づいて決定しているので、処理遅延を低減することができない。
【0008】
本開示の目的の一例は、エッジ側の処理が所定期間に実行できないと推定された場合、処理できなかった残りの処理を、処理内容に基づいてクラウド側に分配することで、処理遅延を低減することにある。
【課題を解決するための手段】
【0009】
上記目的を達成するため、本開示の一側面における情報処理装置は、
あらかじめ設定された処理期間ごとに取得した画像に対して第一の画像処理を実行し、第一の情報を生成する第一の画像処理部と、
前記処理期間に、前記第一の情報を用いて第二の画像処理を実行し、第二の情報を生成する第二の画像処理部と、
前記第一の画像処理に要した時間と、前記第一の情報とに基づいて、現時点の処理期間内で前記第二の画像処理を完了できるか否かを推定する第一の推定部と、
前記現時点の処理期間において前記第二の画像処理が完了できないと推定された場合、現時点の処理期間より後のあらかじめ設定された数の処理期間に、残りの第二の画像処理を実行させるために、前記残りの第二の画像処理で用いる前記第一の情報を、前記第二の画像処理手段と、前記第二の画像処理手段と別に設けられた前記第二の画像処理を実行する第三の画像処理手段と、に分配する分配部と、
を有することを特徴とする。
あらかじめ設定された処理期間ごとに取得した画像に対して第一の画像処理を実行し、第一の情報を生成する第一の画像処理部と、
前記処理期間に、前記第一の情報を用いて第二の画像処理を実行し、第二の情報を生成する第二の画像処理部と、
前記第一の画像処理に要した時間と、前記第一の情報とに基づいて、現時点の処理期間内で前記第二の画像処理を完了できるか否かを推定する第一の推定部と、
前記現時点の処理期間において前記第二の画像処理が完了できないと推定された場合、現時点の処理期間より後のあらかじめ設定された数の処理期間に、残りの第二の画像処理を実行させるために、前記残りの第二の画像処理で用いる前記第一の情報を、前記第二の画像処理手段と、前記第二の画像処理手段と別に設けられた前記第二の画像処理を実行する第三の画像処理手段と、に分配する分配部と、
を有することを特徴とする。
【0010】
また、上記目的を達成するため、本開示の一側面における情報処理方法は、
情報処理装置が、
あらかじめ設定された処理期間ごとに取得した画像に対して第一の画像処理を実行し、第一の情報を生成し、
前記処理期間に、前記第一の情報を用いて第二の画像処理を実行し、第二の情報を生成し、
前記第一の画像処理に要した時間と、前記第一の情報とに基づいて、現時点の処理期間内で前記第二の画像処理を完了できるか否かを推定し、
前記現時点の処理期間において前記第二の画像処理が完了できないと推定された場合、現時点の処理期間より後のあらかじめ設定された数の処理期間に、残りの第二の画像処理を実行させるために、前記残りの第二の画像処理で用いる前記第一の情報を、前記情報処理装置と、前記情報処理装置と別に設けられた前記第二の画像処理を実行する他の情報処理装置と、に分配する、
ことを特徴とする。
情報処理装置が、
あらかじめ設定された処理期間ごとに取得した画像に対して第一の画像処理を実行し、第一の情報を生成し、
前記処理期間に、前記第一の情報を用いて第二の画像処理を実行し、第二の情報を生成し、
前記第一の画像処理に要した時間と、前記第一の情報とに基づいて、現時点の処理期間内で前記第二の画像処理を完了できるか否かを推定し、
前記現時点の処理期間において前記第二の画像処理が完了できないと推定された場合、現時点の処理期間より後のあらかじめ設定された数の処理期間に、残りの第二の画像処理を実行させるために、前記残りの第二の画像処理で用いる前記第一の情報を、前記情報処理装置と、前記情報処理装置と別に設けられた前記第二の画像処理を実行する他の情報処理装置と、に分配する、
ことを特徴とする。
【0011】
さらに、上記目的を達成するため、本開示の一側面におけるプログラムは、
コンピュータに、
あらかじめ設定された処理期間ごとに取得した画像に対して第一の画像処理を実行させ、第一の情報を生成させ、
前記処理期間に、前記第一の情報を用いて第二の画像処理を実行し、第二の情報を生成させ、
前記第一の画像処理に要した時間と、前記第一の情報とに基づいて、現時点の処理期間内で前記第二の画像処理を完了できるか否かを推定させ、
前記現時点の処理期間において前記第二の画像処理が完了できないと推定された場合、現時点の処理期間より後のあらかじめ設定された数の処理期間に、残りの第二の画像処理を実行させるために、前記残りの第二の画像処理で用いる前記第一の情報を、前記コンピュータと、前記コンピュータと別に設けられた前記第二の画像処理を実行する他のコンピュータと、に分配させる、
命令を実行させることを特徴とする。
コンピュータに、
あらかじめ設定された処理期間ごとに取得した画像に対して第一の画像処理を実行させ、第一の情報を生成させ、
前記処理期間に、前記第一の情報を用いて第二の画像処理を実行し、第二の情報を生成させ、
前記第一の画像処理に要した時間と、前記第一の情報とに基づいて、現時点の処理期間内で前記第二の画像処理を完了できるか否かを推定させ、
前記現時点の処理期間において前記第二の画像処理が完了できないと推定された場合、現時点の処理期間より後のあらかじめ設定された数の処理期間に、残りの第二の画像処理を実行させるために、前記残りの第二の画像処理で用いる前記第一の情報を、前記コンピュータと、前記コンピュータと別に設けられた前記第二の画像処理を実行する他のコンピュータと、に分配させる、
命令を実行させることを特徴とする。
【発明の効果】
【0012】
以上のように本開示によれば、エッジ側の処理が所定期間に実行できないと推定された場合に、処理できなかった残りの処理を、処理内容に基づいてクラウド側に分配することで、処理遅延を低減することができる。
【図面の簡単な説明】
【0013】
【発明を実施するための形態】
【0014】
以下、図面を参照して実施形態について説明する。なお、以下で説明する図面において、同一の機能又は対応する機能を有する要素には同一の符号を付し、その繰り返しの説明は省略することもある。
【0015】
（実施形態１）
実施形態１において、エッジ・コンピューティングを実現するシステムに設けられた、エッジ側の情報処理装置は、複数の処理期間それぞれにおいて、所定の処理を実行する。
実施形態１において、エッジ・コンピューティングを実現するシステムに設けられた、エッジ側の情報処理装置は、複数の処理期間それぞれにおいて、所定の処理を実行する。
【0016】
エッジ側の情報処理装置は、現時点の処理期間において、所定の処理が完了できないと推定した場合、所定の処理のうち現時点の処理期間に実行できなった残りの処理を、現時点の処理期間より後の期間において、エッジ側の情報処理装置とクラウド側の情報処理装置で実行する。
【0017】
具体的には、エッジ側の情報処理装置では、現時点の処理期間より後の、一つ以上の処理期間に、残りの処理を実行する余裕期間があれば、余裕期間を利用して残りの処理を実行する。また、クラウド側の情報処理装置にも、早期に残りの処理を実行させる。
【0018】
その後、エッジ側の情報処理装置とクラウド側の情報処理装置のうち、残りの処理を早く完了した方から、残りの処理に対応する処理結果を取得する。
【0019】
すなわち、エッジ側の情報処理装置が、クラウド側の情報処理装置よりも早く残りの処理を完了した場合には、エッジ側の情報処理装置で実行した残りの処理の結果を取得する。対して、クラウド側の情報処理装置が、エッジ側の情報処理装置よりも早く残りの処理を完了した場合には、クラウド側の情報処理装置で実行した残りの処理の結果を取得する。
【0020】
このように、実施形態１では、残りの処理を早く完了した方から、残りの処理に対応する処理結果を取得できるので、従来よりも処理遅延を低減できる。
【0021】
例えば、エッジ側の情報処理装置において、現時点の処理期間より後の処理期間において、十分な余裕期間が確保できずに、残りの処理がなかなか完了できない場合がある。そのような場合でも、クラウド側の情報処理装置において残りの処理を実行する。そして、クラウド側の情報処理装置が早く残りの処理を完了すれば、クラウド側の情報処理装置で実行した残りの処理の結果を利用する。その結果、現時点の処理期間で実行するはずだった残りの処理を、早く完了できるので、処理全体の処理遅延を低減できる。
【0022】
【0023】
システム１００は、エッジ・コンピューティングを実現するシステムである。図１のシステム１００は、エッジ側に設けられた情報処理装置１０と、クラウド側に設けられた情報処理装置２０と、ネットワーク３０とを有する。また、情報処理装置１０と情報処理装置２０は、ネットワーク３０を介して通信をする。
【0024】
情報処理装置１０は、例えば、ＣＰＵ（Central Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）などのプログラマブルなデバイス、又はＧＰＵ（Graphics Processing Unit）、又はそれらのうちのいずれか一つ以上を搭載した回路、サーバコンピュータ、パーソナルコンピュータ、モバイル端末などである。
【0025】
情報処理装置２０は、例えば、ＣＰＵ、又はＦＰＧＡなどのプログラマブルなデバイス、又はＧＰＵ、又はそれらのうちのいずれか一つ以上を搭載した回路、一つ以上のサーバコンピュータなどである。
【0026】
ネットワーク３０は、例えば、インターネット、ＬＡＮ（Local Area Network）、専用回線、電話回線、企業内ネットワーク、移動体通信網、ブルートゥース（登録商標）、ＷｉＦｉ（Wireless Fidelity）などの通信回線を用いて構築された一般的な通信ネットワークである。
【0027】
●エッジ側の情報処理装置１０について説明する。
情報処理装置１０は、図１に示すように、第一の画像処理部１１と、第二の画像処理部１２と、第一の推定部１３と、分配部１４と、第四の画像処理部１５とを有する。
情報処理装置１０は、図１に示すように、第一の画像処理部１１と、第二の画像処理部１２と、第一の推定部１３と、分配部１４と、第四の画像処理部１５とを有する。
【0028】
第一の画像処理部１１は、あらかじめ設定された処理期間Ｔ１ごとに、時系列に、画像を取得し、取得した画像に対して第一の画像処理を実行し、第一の情報を生成する。画像は、例えば、撮像装置、記憶装置などから、時系列に取得する。
【0029】
第一の情報は、後述する第二の画像処理で用いる情報である。また、第一の情報は、第二の画像処理で用いる複数の入力データを有する。
【0030】
第二の画像処理部１２は、処理期間Ｔ１において、第一の情報を用いて第二の画像処理を実行し、第二の情報を生成する。第二の情報は、後述する第三の画像処理で用いる情報である。
【0031】
第一の推定部１３は、第一の画像処理に要した時間（期間Ｔｉ１）と、当該第一の画像処理において生成された第一の情報とに基づいて、現時点の処理期間Ｔ１＿０に第二の画像処理が完了できるか否かを推定する。
【0032】
具体的には、第一の推定部１３は、現時点の処理期間Ｔ１＿０において第二の画像処理に使用できる時間（期間Ｔｉ２）を推定し、推定した期間Ｔｉ２内に、第一の情報を用いて第二の画像処理が完了できるかを推定する。
【0033】
期間Ｔｉ２中に第二の画像処理が完了できるか推定する方法としては、例えば、事前に、情報処理装置１０における第二の画像処理の一つの入力データに対する処理時間（平均又は最悪）ｔ２を計測しておき、第一の情報に含まれるデータ数ｎを用いて、Ｔｉ２とＴｉ２×ｎの大小関係を比較することなどが考えられる。
【0034】
このように、実行時に簡単に把握可能な処理時間の変動要因（先の例での入力データ数）と、その変動要因の１単位あたりに対する処理時間（先の例での、一つの入力データに対する処理時間）の事前に把握可能な値（平均値又は最悪値）を用いることで第二の画像処理に必要な処理時間を推定することができ、その推定した処理時間と期間Ｔｉ２を比較することで第二の画像処理が完了できるか推定することができる。
【0035】
分配部１４は、現時点の処理期間Ｔ１＿０において第二の画像処理が完了できないと推定された場合、現時点の処理期間Ｔ１＿０より後のあらかじめ設定された数の処理期間（期間Ｔ３）に、残りの第二の画像処理を実行させるために、残りの第二の画像処理で用いる第一の情報を、第二の画像処理部１２と、第二の画像処理部１２と別に設けられた第二の画像処理を実行する第三の画像処理部２１と、に分配する。
【0036】
具体的には、実施形態１では、分配部１４は、現時点の処理期間Ｔ１＿０より後のあらかじめ設定された数の処理期間（期間Ｔ３）に、残りの第二の画像処理を実行するため、残りの第二の画像処理で用いる全ての第一の情報を、第二の画像処理部１２と、第三の画像処理部２１に分配する。
【0037】
なお、現時点の処理期間Ｔ１＿０において第二の画像処理で処理したかった第一の情報が１００個の入力データを有していた場合、現時点の処理期間Ｔ１＿０において実際に第二の画像処理で利用された第一の情報が６０個の入力データであれば、残りの第二の画像処理で用いる第一の情報は４０個の入力データとなる。
【0038】
残りの第二の画像処理で用いる第一の情報が分配されると、第二の画像処理部１２は、現時点の処理期間Ｔ１＿０より後のあらかじめ設定された数の処理期間（期間Ｔ３）に、残りの第二の画像処理を実行可能な余裕期間において、残りの第二の画像処理で用いる全ての第一の情報を用いて第二の画像処理を実行する。また、第三の画像処理部２１でも、残りの第二の画像処理で用いる全ての第一の情報を用いて、第二の画像処理を実行する。
【0039】
第四の画像処理部１５は、第二の画像処理部１２と第三の画像処理部２１のうち、残りの第二の画像処理を早く完了した方から、残りの第二の画像処理で生成された第二の情報を取得する。また、第四の画像処理部１５は、現時点の処理期間Ｔ１＿０で生成した第二の情報と、現時点の処理期間Ｔ１＿０より後のあらかじめ設定された数の処理期間（期間Ｔ３）で生成された第二の情報と、を用いて第三の画像処理を実行する。
【0040】
●クラウド側の情報処理装置２０について説明する。
情報処理装置２０は、図１に示すように、上述した第三の画像処理部２１を有する。なお、図１の例では、第四の画像処理部１５がエッジ側の情報処理装置１０に設けられているが、クラウド側の情報処理装置が２０に設けてもよい。
情報処理装置２０は、図１に示すように、上述した第三の画像処理部２１を有する。なお、図１の例では、第四の画像処理部１５がエッジ側の情報処理装置１０に設けられているが、クラウド側の情報処理装置が２０に設けてもよい。
【0041】
第三の画像処理部２１は、まず、分配部１４から送信された残りの第二の画像処理で用いる全ての第一の情報を、ネットワーク３０を介して受信する。次に、第三の画像処理部２１は、取得した残りの第二の画像処理で用いる全ての第一の情報を用いて、第二の画像処理を実行し、第二の情報を生成する。次に、第三の画像処理部２１は、生成した第二の情報を、ネットワーク３０を介して、第四の画像処理部１５へ送信する。
【0042】
［システム動作］
図２、図３は、実施形態１のシステムの動作の一例を説明するための図である。図２のＡの期間Ｔ２は、５個の処理期間Ｔ１＿０、Ｔ１＿１、Ｔ１＿２、Ｔ１＿３、Ｔ１＿４を有する。ただし、処理期間の数は５個に限定されるものではない。
図２、図３は、実施形態１のシステムの動作の一例を説明するための図である。図２のＡの期間Ｔ２は、５個の処理期間Ｔ１＿０、Ｔ１＿１、Ｔ１＿２、Ｔ１＿３、Ｔ１＿４を有する。ただし、処理期間の数は５個に限定されるものではない。
【0043】
また、図２のＡには、処理期間Ｔ１＿０、Ｔ１＿１、Ｔ１＿２、Ｔ１＿３、Ｔ１＿４内に、第一の画像処理と第二の画像処理を完了し、処理期間Ｔ１＿４において第三の画像処理を完了した例を示している。すなわち、図２のＡのような場合には、エッジ側の情報処理装置１０だけで、期間Ｔ２内に、第一の画像処理、第二の画像処理、第三の画像処理を、完了できる。
【0044】
ところが、図２のＢのように、処理期間Ｔ１＿０において、第二の画像処理が処理期間Ｔ１＿０内に完了せずに、第二の画像処理が溢れることがある。そこで、図３のＡに示す期間Ｔｓにおいて、第一の推定部１３が、第一の画像処理に要した時間Ｔｉ１と、第一の情報とに基づいて、現時点の処理期間Ｔ１＿０内で第二の画像処理が完了できるか否かを推定する。
【0045】
次に、第一の推定部１３により、現時点の処理期間Ｔ１＿０において第二の画像処理が完了できないと推定された場合、分配部１４は、現時点の処理期間Ｔ１＿０より後の期間Ｔ３に、残りの第二の画像処理を実行するために、残りの第二の画像処理で用いる第一の情報を、第二の画像処理部１２と第三の画像処理部２１とに分配する。
【0046】
具体的には、分配部１４は、クラウド側の情報処理装置２０の第三の画像処理部２１に、残りの第二の画像処理で用いる全ての第一の情報を、ネットワーク３０を介して送信する。次に、図３のＢに示すように、期間Ｔｏにおいて、第三の画像処理部２１は、全ての第一の情報を用いて残りの第二の画像処理を実行する。
【0047】
また、図３のＣに示すように、第二の画像処理部１２は、処理期間Ｔ１＿１、Ｔ１＿２、Ｔ１＿３の余裕期間Ｔｏ１、Ｔｏ２、Ｔｏ３それぞれにおいて、余裕期間Ｔｏ１、Ｔｏ２、Ｔｏ３で実行可能な、残りの第二の画像処理で用いる第一の情報を用いて、第二の画像処理（溢れ処理）を実行する。
【0048】
次に、第四の画像処理部１５は、第二の画像処理部１２と第三の画像処理部２１のうち、残りの第二の画像処理を早く完了した方から、残りの第二の画像処理で生成された第二の情報を取得する。図３のＣの場合、クラウド側の第三の画像処理部２１の方が、残りの第二の画像処理を早く完了しているので、第四の画像処理部１５は、第三の画像処理部２１から第二の情報を取得する。
【0049】
次に、第四の画像処理部１５は、処理期間Ｔ１＿０、Ｔ１＿１、Ｔ１＿２、Ｔ１＿３、Ｔ１＿４それぞれにおいて生成された全ての第二の情報を用いて、第三の画像処理を実行する。
【0050】
［装置動作］
実施形態１におけるエッジ側の情報処理装置１０の動作について図４を用いて説明する。図４は、実施形態１のエッジ側の情報処理装置の動作の一例を説明するための図である。以下の説明においては、適宜図を参照する。また、実施形態１では、情報処理装置１０を動作させることによって、情報処理方法が実施される。よって、実施形態１における情報処理方法の説明は、以下の情報処理装置の動作説明に代える。
実施形態１におけるエッジ側の情報処理装置１０の動作について図４を用いて説明する。図４は、実施形態１のエッジ側の情報処理装置の動作の一例を説明するための図である。以下の説明においては、適宜図を参照する。また、実施形態１では、情報処理装置１０を動作させることによって、情報処理方法が実施される。よって、実施形態１における情報処理方法の説明は、以下の情報処理装置の動作説明に代える。
【0051】
図４に示すように、第一の画像処理部１１は、処理期間Ｔ１ごとに、時系列に、画像を取得する（ステップＡ１）。次に、第一の画像処理部１１は、第一の画像処理を実行して第一の情報を生成し、生成した第一の情報をメモリに記憶する（ステップＡ２）。なお、ステップＡ２において、第一の画像処理に要した時間（期間Ｔｉ１）も計測する。
【0052】
次に、第一の推定部１３は、第一の画像処理に要した時間（期間Ｔｉ１）と、当該第一の画像処理において生成された第一の情報とに基づいて、現時点の処理期間Ｔ１＿０に第二の画像処理が完了できるか否かを推定する（ステップＡ３）。
【0053】
具体的には、ステップＡ３において、第一の推定部１３は、現時点の処理期間Ｔ１＿０において第二の画像処理に使用できる時間（期間Ｔｉ２）を推定し、推定した期間Ｔｉ２内に、第一の情報を用いて第二の画像処理が完了できるかを推定する。
【0054】
次に、分配部１４は、現時点の処理期間Ｔ１＿０において第二の画像処理が完了できないと推定された場合（ステップＡ４：Ｎｏ）、現時点の処理期間Ｔ１＿０より後のあらかじめ設定された数の処理期間（期間Ｔ３）に、残りの第二の画像処理を実行させるために、残りの第二の画像処理で用いる第一の情報を、第二の画像処理部１２と、第二の画像処理部１２と別に設けられた第二の画像処理を実行する第三の画像処理部２１と、に分配する（ステップＡ５）。
【0055】
具体的には、ステップＡ５において、分配部１４は、現時点の処理期間Ｔ１＿０より後のあらかじめ設定された数の処理期間（期間Ｔ３）に、残りの第二の画像処理で用いる全ての第一の情報を、第二の画像処理部１２と、第三の画像処理部２１に分配する。なお、第三の画像処理部２１は、残りの第二の画像処理で用いる全ての第一の情報を用いて、第二の画像処理を実行して、第二の情報を生成する。
【0056】
分配部１４は、現時点の処理期間Ｔ１＿０において第二の画像処理が完了できると推定された場合（ステップＡ４：Ｙｅｓ）、ステップＡ６の処理に移行する。
【0057】
次に、第二の画像処理部１２は、現時点の処理期間Ｔ１＿０において、残りの第二の画像処理で用いない第一の情報を用いて第二の画像処理を実行して第二の情報を生成し、生成した第二の情報をメモリに記憶する（ステップＡ６）。
【0058】
次に、第四の画像処理部１５は、第三の画像処理部２１から、残りの第二の画像処理に対応する第二の情報を取得している場合（ステップＡ７：Ｙｅｓ）、すなわち第二の画像処理部１２より第三の画像処理部２１の方が早く残りの第二の画像処理に対応する第二の情報を生成した場合、残りの第二の画像処理に対応する第二の情報をメモリに記憶する（ステップＡ１２）。
【0059】
なお、ステップＡ７における第二の情報は、直前のステップＡ５において分配した結果だけでなく、以前のループ（Ｔ１＿１に対するＴ１_０など）におけるステップＡ５で分配したものの結果としての第二の情報も含む。
【0060】
また、第三の画像処理部２１から、残りの第二の画像処理に対応する第二の情報を取得していない場合（ステップＡ７：Ｎｏ）、ステップＡ８の処理に移行する。
【0061】
次に、第二の画像処理部１２は、残りの第二の画像処理があり（ステップＡ８：Ｙｅｓ）、かつ余裕期間がある場合（ステップＡ９：Ｙｅｓ）、余裕期間において、残りの第二の画像処理で用いる第一の情報を用いて、第二の画像処理を実行する（ステップＡ１０）。
【0062】
また、残りの第二の画像処理がない場合（ステップＡ８：Ｎｏ）で、かつ余裕期間がない場合（ステップＡ９：Ｎｏ）、ステップＡ１の処理に移行する。
【0063】
次に、第二の画像処理部１２が、残りの第二の画像処理を全て完了した場合（ステップＡ１１：Ｙｅｓ）、残りの第二の画像処理に対応する第二の情報をメモリに記憶する（ステップＡ１２）。また、残りの第二の画像処理を全て完了していない場合（ステップＡ１１：Ｎｏ）、ステップＡ１の処理に移行する。
【0064】
次に、期間Ｔ３の処理期間それぞれにおいて、全ての第二の画像処理を完了又は分配済みで（ステップＡ１３：Ｙｅｓ）、未完了の第二の画像処理がある場合（ステップＡ１４：Ｙｅｓ）、第三の画像処理の完了を待ち、第二の情報を取得する（ステップＡ１５）。その後、第四の画像処理部１５は、期間Ｔ３の処理期間それぞれにおいて生成された全ての第二の情報を用いて、第三の画像処理を実行する（ステップＡ１６）。
【0065】
また、期間Ｔ３の処理期間それぞれにおいて、全ての第二の画像処理を完了又は分配済みで（ステップＡ１３：Ｙｅｓ）、未完了の第二の画像処理がない場合（ステップＡ１４：Ｎｏ）、第四の画像処理部１５は、期間Ｔ３の処理期間それぞれにおいて生成された全ての第二の情報を用いて、第三の画像処理を実行する（ステップＡ１６）。
【0066】
なお、第四の画像処理部１５は、期間Ｔ３の処理期間それぞれにおいて、全ての第二の画像処理を完了又は分配済みでない場合（ステップＡ１３：Ｎｏ）、ステップＡ１の処理に移行する。
【0067】
なお、実施形態１では、上述したステップＡ１からＡ１６の処理を繰り返し実行する。
【0068】
［実施形態１の効果］
以上のように実施形態１によれば、第二の画像処理部１２と第三の画像処理部２１のうち、残りの第二の画像処理を早く完了した方から、残りの第二の画像処理で生成された第二の情報を取得するので、処理全体の処理遅延を低減できる。
以上のように実施形態１によれば、第二の画像処理部１２と第三の画像処理部２１のうち、残りの第二の画像処理を早く完了した方から、残りの第二の画像処理で生成された第二の情報を取得するので、処理全体の処理遅延を低減できる。
【0069】
［プログラム］
実施形態１におけるプログラムは、コンピュータに、図４に示すステップＡ１からＡ１６を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、実施形態１におけるエッジ側の情報処理装置と情報処理方法とを実現することができる。この場合、コンピュータのプロセッサは、第一の画像処理部１１、第二の画像処理部１２、第一の推定部１３、分配部１４、第四の画像処理部１５として機能し、処理を行なう。
実施形態１におけるプログラムは、コンピュータに、図４に示すステップＡ１からＡ１６を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、実施形態１におけるエッジ側の情報処理装置と情報処理方法とを実現することができる。この場合、コンピュータのプロセッサは、第一の画像処理部１１、第二の画像処理部１２、第一の推定部１３、分配部１４、第四の画像処理部１５として機能し、処理を行なう。
【0070】
また、実施形態１におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、第一の画像処理部１１、第二の画像処理部１２、第一の推定部１３、分配部１４、第四の画像処理部１５のいずれかとして機能してもよい。
【0071】
（実施形態２）
実施形態２において、エッジ・コンピューティングを実現するシステムに設けられた、エッジ側の情報処理装置は、複数の処理期間それぞれにおいて、所定の処理を実行する。
実施形態２において、エッジ・コンピューティングを実現するシステムに設けられた、エッジ側の情報処理装置は、複数の処理期間それぞれにおいて、所定の処理を実行する。
【0072】
エッジ側の情報処理装置は、現時点の処理期間において、所定の処理が完了できないと推定した場合、所定の処理のうち現時点の処理期間に実行できなった残りの処理を、現時点の処理期間より後の期間において、エッジ側の情報処理装置とクラウド側の情報処理装置で実行する。
【0073】
具体的には、エッジ側の情報処理装置は、現時点の処理期間より後の一つ以上の処理期間それぞれにおいて、残りの処理を実行する余裕期間があるか否かを推定する。
【0074】
次に、エッジ側の情報処理装置は、余裕期間があると推定された場合、余裕期間を利用して残りの処理を実行する。対して、余裕期間がないと推定された場合、早期にクラウド側での情報処理装置で残りの処理を実行させる。
【0075】
このように、実施形態２では、エッジ側の情報処理装置とクラウド側の情報処理装置とで処理を分担して、両方から残りの処理に対応する処理結果を取得し、処理期間内で実行するはずだった残りの処理を、早く完了できるので、従来よりも処理遅延を低減できる。
【0076】
【0077】
システム５００は、エッジ・コンピューティングを実現するシステムである。図５のシステム５００は、エッジ側に設けられた情報処理装置１０ａと、クラウド側に設けられた情報処理装置２０ａと、ネットワーク３０とを有する。また、情報処理装置１０ａと情報処理装置２０ａは、ネットワーク３０を介して通信をする。
【0078】
なお、情報処理装置１０ａ、情報処理装置２０ａ、ネットワーク３０のハードウェアの説明は、図１の情報処理装置１０、情報処理装置２０、ネットワーク３０と同じであるため説明を省略する。
【0079】
●エッジ側の情報処理装置１０ａについて説明する。
情報処理装置１０ａは、図５に示すように、第一の画像処理部１１と、第二の画像処理部１２と、第一の推定部１３と、第二の推定部５１と、分配部５２と、第五の画像処理部５３とを有する。
情報処理装置１０ａは、図５に示すように、第一の画像処理部１１と、第二の画像処理部１２と、第一の推定部１３と、第二の推定部５１と、分配部５２と、第五の画像処理部５３とを有する。
【0080】
なお、第一の画像処理部１１、第二の画像処理部１２、第一の推定部１３の説明は、既に実施形態１で説明したので省略する。
【0081】
第二の推定部５１は、現時点の処理期間Ｔ０＿１において第二の画像処理が完了できないと推定された場合、現時点の処理期間Ｔ１＿０より後の処理期間において取得した第一の画像と、当該処理期間より前の処理期間において取得した第二の画像との変化に基づいて、当該処理期間において残りの第二の画像処理を実行可能な余裕期間があるか否かを推定する。
【0082】
第一の画像と第二の画像の変化は、第一の画像の画素と第二の画像の画素の差分である。画素の差分Ｓｕｂの計算については、例えば、数１に示すように、画像の幅Ｗと高さＨとし、第一の画像の画素位置（ｘ，ｙ）の値をｐ１、第二の画像の画素位置（ｘ，ｙ）の値を ｐ２として、以下の式で得ることができる。なお、ｐ１、ｐ２はそれぞれ、ＲＧＢ三色の各チャネルそれぞれを８ｂｉｔで表した２４ｂｉｔ値（を包含する３２ｂｉｔ値）、又はそれを正規化した浮動小数点１６ｂｉｔ値、３２ｂｉｔ値などで表現されうる。
【0083】
【数1】
【0084】
余裕期間があるか否かの推定は、画素の差分Ｓｕｂが、あらかじめ設定した差分閾値Ｔｈａ以下である場合（Ｓｕｂ≦Ｔｈａ）、余裕期間があると推定する。すなわち、画素の差分が大きいほど画像間の変化が大きいので、第二の画像処理もそれに伴い増加し、相対的に余裕期間は短くなることが期待できる。また、差分が小さいほど画像間の変化が小さいので、第二の画像処理にかかる時間が短くなり、相対的に余裕期間は長くなることが期待できる。
【0085】
なお、差分閾値Ｔｈａは、実験、シミュレーションなどによって事前に決定することが考えられる。
【0086】
分配部５２は、余裕期間がないと推定された場合、残りの第二の画像処理で用いる第一の情報を、第三の画像処理部２１に分配する。そして、第三の画像処理部２１は、分配された第一の情報を用いて第二の画像処理を実行する。
【0087】
対して、余裕期間があると推定された場合、第二の画像処理部１２は、余裕期間において残りの第二の画像処理で用いる第一の情報を用いて、第二の画像処理を実行する。
【0088】
第五の画像処理部５３は、第二の画像処理部１２と第三の画像処理部２１とで生成された第二の情報を取得し、取得した第二の情報を用いて第三の画像処理を実行する。
【0089】
●クラウド側の情報処理装置２０ａについて説明する。
情報処理装置２０ａは、図５に示すように、上述した第三の画像処理部２１を有する。なお、図５の例では、第五の画像処理部５３がエッジ側の情報処理装置１０ａに設けられているが、クラウド側の情報処理装置が２０ａに設けてもよい。なお、第三の画像処理部２１の説明は、既に実施形態１で説明したので省略する。
情報処理装置２０ａは、図５に示すように、上述した第三の画像処理部２１を有する。なお、図５の例では、第五の画像処理部５３がエッジ側の情報処理装置１０ａに設けられているが、クラウド側の情報処理装置が２０ａに設けてもよい。なお、第三の画像処理部２１の説明は、既に実施形態１で説明したので省略する。
【0090】
［システム動作］
図６は、実施形態２のシステムの動作の一例を説明するための図である。なお、図６のＣの期間Ｔ２は、５個の処理期間Ｔ１＿０、Ｔ１＿１、Ｔ１＿２、Ｔ１＿３、Ｔ１＿４を有する。ただし、処理期間の数は５個に限定されるものではない。
図６は、実施形態２のシステムの動作の一例を説明するための図である。なお、図６のＣの期間Ｔ２は、５個の処理期間Ｔ１＿０、Ｔ１＿１、Ｔ１＿２、Ｔ１＿３、Ｔ１＿４を有する。ただし、処理期間の数は５個に限定されるものではない。
【0091】
また、図６のＣには、処理期間Ｔ１＿０、Ｔ１＿１、Ｔ１＿２、Ｔ１＿３、Ｔ１＿４内に、第一の画像処理と第二の画像処理を完了し、処理期間Ｔ１＿４において第三の画像処理を完了した例を示している。
【0092】
図６のＡのように、処理期間Ｔ１＿０において、第二の画像処理が処理期間Ｔ１＿０内に完了せずに、第二の画像処理が溢れることがある。そのような場合、図６のＣに示す期間Ｔｓにおいて、第一の推定部１３が、第一の画像処理に要した時間Ｔｉ１と、第一の情報とに基づいて、現時点の処理期間Ｔ１＿０内で第二の画像処理が完了できるか否かを推定する。
【0093】
次に、現時点の処理期間Ｔ１＿０において第二の画像処理が完了できないと推定された場合、第二の推定部５１は、現時点の処理期間Ｔ１＿０より後の処理期間Ｔ１＿１において余裕期間があるか否かを推定する。
【0094】
具体的には、第二の推定部５１は、現時点の処理期間Ｔ１＿０より後の処理期間Ｔ１＿１において取得した第一の画像と、当該処理期間Ｔ１＿１より前の処理期間Ｔ１＿０において取得した第二の画像との変化に基づいて、当該処理期間Ｔ１＿１において残りの第二の画像処理を実行可能な余裕期間があるか否かを推定する。
【0095】
図６のＣでは、処理期間Ｔ１＿１において余裕期間があると推定されたので、余裕期間Ｔｏ１において、残りの第二の画像処理で用いる第一の情報を用いて、第二の画像処理（溢れ処理）を実行している。
【0096】
次に、図６のＣでは、現時点の処理期間Ｔ１＿２においては、余裕期間がないと推定されたので、分配部１４は、処理期間Ｔ１_０、Ｔ１_１、Ｔ１_２で出力された第一の情報のうち、第二の画像処理に未入力である第一の情報を、第三の画像処理部２１に分配する。
【0097】
その後、図６のＢに示すように、期間Ｔｏａにおいて、第三の画像処理部２１は、余裕期間Ｔｏ１で用いられなかった第一の情報を用いて、第二の画像処理を実行する。
【0098】
次に、第五の画像処理部５３は、第二の画像処理部１２と第三の画像処理部２１の両方で生成された第二の情報を取得する。図６のＣの場合、第五の画像処理部５３は、第二の画像処理部１２と第三の画像処理部２１で生成された第二の情報を用いて、第三の画像処理を実行する。
［装置動作］
実施形態２におけるエッジ側の情報処理装置１０ａの動作について図７を用いて説明する。図７は、実施形態２のエッジ側の情報処理装置の動作の一例を説明するための図である。以下の説明においては、適宜図を参照する。また、実施形態２では、情報処理装置１０ａを動作させることによって、情報処理方法が実施される。よって、実施形態２における情報処理方法の説明は、以下の情報処理装置の動作説明に代える。
［装置動作］
実施形態２におけるエッジ側の情報処理装置１０ａの動作について図７を用いて説明する。図７は、実施形態２のエッジ側の情報処理装置の動作の一例を説明するための図である。以下の説明においては、適宜図を参照する。また、実施形態２では、情報処理装置１０ａを動作させることによって、情報処理方法が実施される。よって、実施形態２における情報処理方法の説明は、以下の情報処理装置の動作説明に代える。
【0099】
図７に示すように、第一の画像処理部１１は、処理期間Ｔ１ごとに、時系列に、画像を取得する（ステップＢ１）。次に、第一の画像処理部１１は、第一の画像処理を実行して第一の情報を生成し、生成した第一の情報をメモリに記憶する（ステップＢ２）。なお、ステップＢ２において、第一の画像処理に要した時間（期間Ｔｉ１）も計測する。
【0100】
次に、第一の推定部１３は、第一の画像処理に要した時間（期間Ｔｉ１）と、当該第一の画像処理において生成された第一の情報とに基づいて、処理期間に第二の画像処理が完了できるか否かを推定する（ステップＢ３）。
【0101】
具体的には、ステップＢ３において、第一の推定部１３は、処理期間Ｔ１において第二の画像処理に使用できる時間（期間Ｔｉ２）を推定し、推定した期間Ｔｉ２内に、第一の情報を用いて第二の画像処理が完了できるかを推定する。
【0102】
次に、処理期間Ｔ１において第二の画像処理が完了できると推定された場合（ステップＢ４：Ｙｅｓ）、第二の推定部５１は、当該処理期間において残りの第二の画像処理を実行可能な余裕期間があるか否かを推定する（ステップＢ５）。
【0103】
具体的には、図６のＣのような場合、ステップＢ５において、処理期間Ｔ１＿１において取得した第一の画像と、処理期間Ｔ１＿１より前の処理期間Ｔ１＿０において取得した第二の画像との変化に基づいて、処理期間Ｔ１＿１に余裕期間Ｔｏ１があるか否かを推定する。
【0104】
分配部１４は、現時点の処理期間Ｔ１＿０において第二の画像処理が完了できないと推定された場合（ステップＢ４：Ｎｏ）、ステップＢ７の処理に移行する。
【0105】
次に、当該処理期間において残りの第二の画像処理を実行可能な余裕期間があると推定された場合（ステップＢ６：Ｙｅｓ）、ステップＢ８の処理に移行する。
【0106】
また、当該処理期間において残りの第二の画像処理を実行可能な余裕期間がないと推定された場合（ステップＢ６：Ｎｏ）、分配部５２は、残りの第二の画像処理で用いる第一の情報を、第三の画像処理部２１に分配する（ステップＢ７）。そして、第三の画像処理部２１は、分配された第一の情報を用いて第二の画像処理を実行する。
【0107】
次に、第二の画像処理部１２は、処理期間Ｔ１において、残りの第二の画像処理で用いない第一の情報を用いて第二の画像処理を実行して第二の情報を生成し、生成した第二の情報をメモリに記憶する（ステップＢ８）。
【0108】
次に、第二の画像処理部１２は、余裕期間があり（ステップＢ６：Ｙｅｓ）、かつ残りの第二の画像処理がある場合（ステップＢ９：Ｙｅｓ）、余裕期間において、残りの第二の画像処理で用いる第一の情報を用いて、第二の画像処理を実行する（ステップＢ１０）。
【0109】
次に、第二の画像処理部１２が、余裕期間における残りの第二の画像処理を完了した場合（ステップＢ１１：Ｙｅｓ）、余裕期間における残りの第二の画像処理に対応する第二の情報をメモリに記憶する（ステップＢ１２）。また、余裕期間における残りの第一、第二の画像処理を完了していない場合（ステップＢ１１：Ｎｏ）、ステップＢ１の処理に移行する。
【0110】
次に、第五の画像処理部５３は、第三の画像処理部２１から、第二の情報（分配した第一の情報に対して第二の画像処理を実行した結果）を取得している場合（ステップＢ１３：Ｙｅｓ）、取得した第二の情報をメモリに記憶する（ステップＢ１４）。
【0111】
また、第五の画像処理部５３が、第三の画像処理部２１から、第二の情報を取得していない場合（ステップＢ１３：Ｎｏ）、ステップＢ１５の処理に移行する。
【0112】
次に、期間Ｔ３の処理期間Ｔ１それぞれにおいて、全ての第二の画像処理を完了又は分配済みで（ステップＢ１５：Ｙｅｓ）、未完了の第二の画像処理がある場合（ステップＢ１６：Ｙｅｓ）、第三の画像処理の完了を待ち、第二の情報を取得する（ステップＢ１７）。その後、第五の画像処理部５３は、期間Ｔ３の処理期間それぞれにおいて生成された全ての第二の情報を用いて、第三の画像処理を実行する（ステップＢ１８）。
【0113】
また、期間Ｔ３の処理期間それぞれにおいて、全ての第二の画像処理を完了又は分配済みで（ステップＢ１５：Ｙｅｓ）、未完了の第二の画像処理がない場合（ステップＢ１６：Ｎｏ）、第五の画像処理部５３は、期間Ｔ３の処理期間それぞれにおいて生成された全ての第二の情報を用いて、第三の画像処理を実行する（ステップＢ１８）。
【0114】
なお、第五の画像処理部５３は、期間Ｔ３の処理期間Ｔ１それぞれにおいて、全ての第二の画像処理を完了又は分配済みでない場合（ステップＢ１５：Ｎｏ）、ステップＢ１の処理に移行する。
【0115】
なお、実施形態２では、上述したステップＢ１からＢ１８の処理を繰り返し実行する。
［実施形態２の効果］
以上のように実施形態２によれば、第二の画像処理部１２と第三の画像処理部２１とで処理を分担して、両方から残りの第二の画像処理で生成された第二の情報を取得し、処理期間内で実行するはずだった残りの第二の画像処理を、早く完了できるので、従来よりも処理遅延を低減できる。
［実施形態２の効果］
以上のように実施形態２によれば、第二の画像処理部１２と第三の画像処理部２１とで処理を分担して、両方から残りの第二の画像処理で生成された第二の情報を取得し、処理期間内で実行するはずだった残りの第二の画像処理を、早く完了できるので、従来よりも処理遅延を低減できる。
【0116】
［プログラム］
実施形態２におけるプログラムは、コンピュータに、図７に示すステップＢ１からＢ１８を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、実施形態１におけるエッジ側の情報処理装置と情報処理方法とを実現することができる。この場合、コンピュータのプロセッサは、第一の画像処理部１１、第二の画像処理部１２、第一の推定部１３、第二の推定部５１、分配部５２、第五の画像処理部５３として機能し、処理を行なう。
実施形態２におけるプログラムは、コンピュータに、図７に示すステップＢ１からＢ１８を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、実施形態１におけるエッジ側の情報処理装置と情報処理方法とを実現することができる。この場合、コンピュータのプロセッサは、第一の画像処理部１１、第二の画像処理部１２、第一の推定部１３、第二の推定部５１、分配部５２、第五の画像処理部５３として機能し、処理を行なう。
【0117】
また、実施形態２におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、第一の画像処理部１１、第二の画像処理部１２、第一の推定部１３、第二の推定部５１、分配部５２、第五の画像処理部５３のいずれかとして機能してもよい。
【0118】
【0119】
システム８００は、エッジ・コンピューティングを実現するシステムである。図８のシステム８００は、エッジ側に設けられた情報処理装置１０ｂと、クラウド側に設けられた情報処理装置２０ｂと、ネットワーク３０とを有する。また、情報処理装置１０ｂと情報処理装置２０ｂは、ネットワーク３０を介して通信をする。
【0120】
なお、情報処理装置１０ｂ、情報処理装置２０ｂ、ネットワーク３０のハードウェアの説明は、図１の情報処理装置１０、情報処理装置２０、ネットワーク３０と同じであるため説明を省略する。
【0121】
●エッジ側の情報処理装置１０ｂについて説明する。
情報処理装置１０ｂは、図８に示すように、第一の画像処理部１１と、第二の画像処理部１２と、第一の推定部１３と、分配部１４と、第四の画像処理部１５とを有する。
情報処理装置１０ｂは、図８に示すように、第一の画像処理部１１と、第二の画像処理部１２と、第一の推定部１３と、分配部１４と、第四の画像処理部１５とを有する。
【0122】
第一の画像処理部１１は、検知部８１と、生成部８２とを有する。第二の画像処理部１２は、特徴抽出部８３を有する。第四の画像処理部１５は、行動認識部８４を有する。
【0123】
検知部８１は、画像に撮像された一つ以上の物体に対応する物体画像を検知する画像処理を実行する。検知部８１は、例えば、画像から、検知された物体画像を識別する物体識別情報と、画像上の物体画像の位置を表す物体位置情報とを検知する。物体のカテゴリ（クラス）と、物体を含む位置を含む矩形（バウンディングボックス）とを推定する。
【0124】
物体識別情報は、例えば、物体のカテゴリ（クラス）などを表す情報（トラッキングＩＤ）である。物体位置情報は、物体を含む位置を含む矩形（バウンディングボックス）を表す情報である。
【0125】
生成部８２は、処理期間ごとに、画像を識別する画像識別情報と、物体識別情報と、物体位置情報とを関連付け、第一の情報を生成する。第一の情報は、画像ごとに生成される。
【0126】
特徴抽出部８３は、物体画像それぞれの特徴を抽出する特徴抽出処理を実行し、第二の情報を生成する。第二の情報は、例えば、多次元ベクトル空間上の値、すなわち多次元ベクトル量などである。
【0127】
行動認識部８４は、第二の画像処理部１２又は第三の画像処理部２１の早い方から、第二の情報を取得し、第二の情報を用いて行動認識処理を実行し、第三の情報を生成する。行動認識処理は、例えば、物体の行動を認識するための処理である。具体的には、物体が人である場合、歩いている、踊っているなどの行動を認識する。
【0128】
●クラウド側の情報処理装置２０ｂについて説明する。
情報処理装置２０ｂは、図８に示すように、上述した第三の画像処理部２１を有する。第三の画像処理部２１は、上述した特徴抽出部８３を有する。
情報処理装置２０ｂは、図８に示すように、上述した第三の画像処理部２１を有する。第三の画像処理部２１は、上述した特徴抽出部８３を有する。
【0129】
なお、図８の例では、第四の画像処理部１５がエッジ側の情報処理装置１０ｂに設けられているが、クラウド側の情報処理装置が２０ｂに設けてもよい。
【0130】
【0131】
システム９００は、エッジ・コンピューティングを実現するシステムである。図９のシステム９００は、エッジ側に設けられた情報処理装置１０ｃと、クラウド側に設けられた情報処理装置２０ｃと、ネットワーク３０とを有する。また、情報処理装置１０ｃと情報処理装置２０ｃは、ネットワーク３０を介して通信をする。
【0132】
なお、情報処理装置１０ｃ、情報処理装置２０ｃ、ネットワーク３０のハードウェアの説明は、図１の情報処理装置１０、情報処理装置２０、ネットワーク３０と同じであるため説明を省略する。
【0133】
●エッジ側の情報処理装置１０ｃについて説明する。
情報処理装置１０ｃは、図９に示すように、第一の画像処理部１１と、第二の画像処理部１２と、第一の推定部１３と、分配部５２と、第五の画像処理部５３とを有する。
情報処理装置１０ｃは、図９に示すように、第一の画像処理部１１と、第二の画像処理部１２と、第一の推定部１３と、分配部５２と、第五の画像処理部５３とを有する。
【0134】
第一の画像処理部１１は、検知部８１と、生成部８２とを有する。第二の画像処理部１２は、特徴抽出部８３を有する。第五の画像処理部５３は、行動認識部８４を有する。なお、検知部８１、生成部８２、特徴抽出部８３、行動認識部８４の説明は、実施例１で説明したので説明を省略する。
【0135】
第二の推定部について説明する。
実施例２における第二の推定部５１では、例えば、現時点の処理期間Ｔ０＿１において第二の画像処理が完了できないと推定された場合、次の処理期間において、第一の画像の物体画像の数と、第二の画像の物体画像の数との差分に基づいて、余裕期間があるか否かを推定してもよい。
実施例２における第二の推定部５１では、例えば、現時点の処理期間Ｔ０＿１において第二の画像処理が完了できないと推定された場合、次の処理期間において、第一の画像の物体画像の数と、第二の画像の物体画像の数との差分に基づいて、余裕期間があるか否かを推定してもよい。
【0136】
具体的には、第一の画像の物体画像の数と、第二の画像の物体画像の数との差分Ｓｕｂ２が、あらかじめ設定された閾値Ｔｈｂ以下である場合（Ｓｕｂ２≦Ｔｈｂ）、余裕期間があると推定する。なお、差分閾値Ｔｈｂは、実験、シミュレーションなどによって決定することが考えられる。
【0137】
また、実施例２における第二の推定部５１では、例えば、現時点の処理期間Ｔ０＿１において第二の画像処理が完了できないと推定された場合、次の処理期間において、第一の画像の物体画像が、第二の画像において移動したフレーム間移動量に基づいて、余裕期間があるか否かを推定してもよい。
【0138】
具体的には、まず、一つ以上の対象の物体画像ごとに、第一の画像の対象の物体画像が、第二の画像において移動したフレーム間移動量Ｍｏｖを算出し、算出したフレーム間移動量Ｍｏｖを合計する。次に、合計したフレーム間移動量ＭｏｖＴｏｌがあらかじめ設定された閾値Ｔｈｃ以下である場合（ＭｏｖＴｏｌ≦Ｔｈｂ）、余裕期間があると推定する。なお、差分閾値Ｔｈｃは、実験、シミュレーションなどによって決定することが考えられる。
【0139】
フレーム間移動量Ｍｏｖは、例えば、同一の物体識別情報を持つ物体画像のバウンディングボックスの中心位置（中心点）が、第一の画像と第二の画像の間で移動した距離の総和又は平均値を表す。
【0140】
上述したように、対象の物体に対応する物体画像（オブジェクト）の数に変化が小さく、各オブジェクトにも動き（カメラ内位置移動量）が小さい場合、次の処理期間の画像と現時点の処理期間の画像の変化が小さい可能性は高いので、例えば、第二の画像処理を実施せず過去の結果を代替として使用することができ、次の処理期間の第二の画像処理（特徴抽出処理）時間が小さくなると推定できる。したがって、現時点の処理期間で溢れた第二の画像処理（特徴抽出処理）を実行する余裕期間があると判断できる。
【0141】
逆に、オブジェクト数の変化が大きく、各オブジェクトにも動きが激しい場合、次の処理期間の画像と現時点の処理期間の画像の変化が大きい可能性は高いので、次の処理期間の第二の画像処理（特徴抽出処理）時間が大きくなる、もしくは低減できない、と推定できる。したがって、現時点の処理期間で溢れた第二の画像処理（特徴抽出処理）を実行する余裕期間がないと判断できる。
【0142】
●クラウド側の情報処理装置２０ｃについて説明する。
情報処理装置２０ｃは、図９に示すように、上述した第三の画像処理部２１を有する。第三の画像処理部２１は、上述した特徴抽出部８３を有する。
情報処理装置２０ｃは、図９に示すように、上述した第三の画像処理部２１を有する。第三の画像処理部２１は、上述した特徴抽出部８３を有する。
【0143】
なお、図９の例では、第五の画像処理部５３がエッジ側の情報処理装置１０ｃに設けられているが、クラウド側の情報処理装置が２０ｃに設けてもよい。
【0144】
［物理構成］
ここで、実施形態１、２、実施例１、２におけるプログラムを実行することによって、情報処理装置を実現するコンピュータについて図１０を用いて説明する。図１０は、実施形態１、２、実施例１、２における情報処理装置を実現するコンピュータの一例を説明するための図である。
ここで、実施形態１、２、実施例１、２におけるプログラムを実行することによって、情報処理装置を実現するコンピュータについて図１０を用いて説明する。図１０は、実施形態１、２、実施例１、２における情報処理装置を実現するコンピュータの一例を説明するための図である。
【0145】
図１０に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ、又はＦＰＧＡを備えていてもよい。
【0146】
ＣＰＵ１１１は、記憶装置１１３に格納された、実施形態１、２、実施例１、２におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置である。また、実施形態１、２、実施例１、２におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、実施形態１、２、実施例１、２におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。なお、記録媒体１２０は、不揮発性記録媒体である。
【0147】
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリなどの半導体記憶装置があげられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
【0148】
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
【0149】
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）などの汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）などの磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体があげられる。
【0150】
なお、実施形態１、２、実施例１、２における情報処理装置は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。さらに、情報処理装置は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
【0151】
以上、実施形態１、２、実施例１、２を参照して発明を説明したが、発明は上述した実施形態に限定されるものではない。発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【産業上の利用可能性】
【0152】
上述した記載によれば、エッジ側の処理が所定期間に実行できないと推定された場合に、処理できなかった残りの処理を、処理内容に基づいてクラウド側に分配することで、処理遅延を低減することができる。また、エッジ・コンピューティングの分野において有用である。
【符号の説明】
【0153】
１０、１０ａ、１０ｂ、１０ｃ 情報処理装置
１１ 第一の画像処理部
１２ 第二の画像処理部
１３ 第一の推定部
１４ 分配部
１５ 第四の画像処理部
２０、２０ａ、２０ｂ、２０ｃ 情報処理装置
２１ 第三の画像処理部
３０ ネットワーク
５１ 第二の推定部
５２ 分配部
５３ 第五の画像処理部
８１ 検知部
８２ 生成部
８３ 特徴抽出部
８４ 行動認識部
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
１１ 第一の画像処理部
１２ 第二の画像処理部
１３ 第一の推定部
１４ 分配部
１５ 第四の画像処理部
２０、２０ａ、２０ｂ、２０ｃ 情報処理装置
２１ 第三の画像処理部
３０ ネットワーク
５１ 第二の推定部
５２ 分配部
５３ 第五の画像処理部
８１ 検知部
８２ 生成部
８３ 特徴抽出部
８４ 行動認識部
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】