知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024032346
(43)【公開日】2024-03-12
(54)【発明の名称】画像処理プログラム、画像処理装置及び画像処理方法
(51)【国際特許分類】
G06T 7/215 20170101AFI20240305BHJP
G09G 5/377 20060101ALI20240305BHJP
G09G 5/36 20060101ALI20240305BHJP
G09G 5/38 20060101ALI20240305BHJP
G09G 5/00 20060101ALI20240305BHJP
【ＦＩ】
G06T7/215
G09G5/36 520M
G09G5/36 510M
G09G5/38 A
G09G5/00 510B
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022135953
(22)【出願日】2022-08-29
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100107515
【弁理士】
【氏名又は名称】廣田 浩一
(72)【発明者】
【氏名】山田 幸二
【テーマコード（参考）】
5C182
5L096
【Ｆターム（参考）】
5C182AA04
5C182AC39
5C182AC43
5C182BA14
5C182BC26
5C182CB54
5C182CC24
5C182DA14
5C182DA44
5C182DA54
5L096DA01
5L096FA32
5L096GA08
5L096GA17
5L096GA19
5L096GA51
5L096HA04
5L096MA03
(57)【要約】
【課題】動き探索処理の処理負荷を低減させる。
【解決手段】画像処理プログラムは、撮影した第１画像に含まれる対象物体のバウンディングボックスの情報を取得する画像処理装置のコンピュータに、複数種類のブロックサイズの中から、前記バウンディングボックスのサイズに応じた１または複数種類のブロックサイズを選択し、選択したブロックサイズの範囲内で、前記第１画像内の前記バウンディングボックスの位置に応じた画像についてブロック分割処理を行い、各ブロックの画像に基づいて前記第１画像より後に撮影した第２画像を参照画像として前記第１画像において動き探索処理を行うことで、前記第１画像の各ブロックの動きベクトルを決定し、決定した各ブロックの動きベクトルに基づいて、前記バウンディングボックスの位置を補正し、位置を補正した後の前記バウンディングボックスを可視化する、処理を実行させる。
【選択図】図１
【解決手段】画像処理プログラムは、撮影した第１画像に含まれる対象物体のバウンディングボックスの情報を取得する画像処理装置のコンピュータに、複数種類のブロックサイズの中から、前記バウンディングボックスのサイズに応じた１または複数種類のブロックサイズを選択し、選択したブロックサイズの範囲内で、前記第１画像内の前記バウンディングボックスの位置に応じた画像についてブロック分割処理を行い、各ブロックの画像に基づいて前記第１画像より後に撮影した第２画像を参照画像として前記第１画像において動き探索処理を行うことで、前記第１画像の各ブロックの動きベクトルを決定し、決定した各ブロックの動きベクトルに基づいて、前記バウンディングボックスの位置を補正し、位置を補正した後の前記バウンディングボックスを可視化する、処理を実行させる。
【選択図】図１
【特許請求の範囲】
【請求項1】
撮影した第１画像に含まれる対象物体であって、撮影中に移動する該対象物体のバウンディングボックスの情報を取得する画像処理装置のコンピュータに、
複数種類のブロックサイズの中から、前記バウンディングボックスのサイズに応じた１または複数種類のブロックサイズを選択し、
選択したブロックサイズの範囲内で、前記第１画像内の前記バウンディングボックスの位置に応じた画像についてブロック分割処理を行い、各ブロックの画像に基づいて前記第１画像より後に撮影した第２画像を参照画像として前記第１画像において動き探索処理を行うことで、前記第１画像の各ブロックの動きベクトルを決定し、
決定した各ブロックの動きベクトルに基づいて、前記バウンディングボックスの位置を補正し、
位置を補正した後の前記バウンディングボックスを可視化する、
処理を実行させるための画像処理プログラム。
複数種類のブロックサイズの中から、前記バウンディングボックスのサイズに応じた１または複数種類のブロックサイズを選択し、
選択したブロックサイズの範囲内で、前記第１画像内の前記バウンディングボックスの位置に応じた画像についてブロック分割処理を行い、各ブロックの画像に基づいて前記第１画像より後に撮影した第２画像を参照画像として前記第１画像において動き探索処理を行うことで、前記第１画像の各ブロックの動きベクトルを決定し、
決定した各ブロックの動きベクトルに基づいて、前記バウンディングボックスの位置を補正し、
位置を補正した後の前記バウンディングボックスを可視化する、
処理を実行させるための画像処理プログラム。
【請求項2】
前記バウンディングボックスのサイズが大きいほど、選択するブロックサイズの種類を減らす、請求項１に記載の画像処理プログラム。
【請求項3】
前記バウンディングボックスのサイズが所定の閾値以上であった場合、複数種類のブロックサイズのうちの最大のブロックサイズを選択する、請求項２に記載の画像処理プログラム。
【請求項4】
前記複数種類のブロックサイズを降順に配列した際の１番目からＮ番目までのブロックサイズを選択する場合において、前記バウンディングボックスのサイズが大きいほどＮの値を小さくし、前記バウンディングボックスのサイズが小さいほどＮの値を大きくする、請求項２に記載の画像処理プログラム。
【請求項5】
前記決定した各ブロックの動きベクトルから１つの動きベクトルを算出し、算出した１つの動きベクトルに基づいて、前記バウンディングボックスの位置を補正する、請求項１に記載の画像処理プログラム。
【請求項6】
前記決定した各ブロックの動きベクトルのうち、所定の条件を満たさない動きベクトルを除外した、除外後の動きベクトルの平均値を算出することで、前記１つの動きベクトルを算出する、請求項５に記載の画像処理プログラム。
【請求項7】
位置を補正した後の前記バウンディングボックスを透過型スクリーンに投影する、請求項１に記載の画像処理プログラム。
【請求項8】
位置を補正した後の前記バウンディングボックスを前記第２画像に重畳して表示する、請求項１に記載の画像処理プログラム。
【請求項9】
撮影した第１画像に含まれる対象物体であって、撮影中に移動する該対象物体のバウンディングボックスの情報を取得する画像処理装置であって、
複数種類のブロックサイズの中から、前記バウンディングボックスのサイズに応じた１または複数種類のブロックサイズを選択する選択部と、
選択したブロックサイズの範囲内で、前記第１画像内の前記バウンディングボックスの位置に応じた画像についてブロック分割処理を行い、各ブロックの画像に基づいて前記第１画像より後に撮影した第２画像を参照画像として前記第１画像において動き探索処理を行うことで、前記第１画像の各ブロックの動きベクトルを決定する算出部と、
決定した各ブロックの動きベクトルに基づいて、前記バウンディングボックスの位置を補正する補正部と、
位置を補正した後の前記バウンディングボックスを可視化する可視化部と
を有する画像処理装置。
複数種類のブロックサイズの中から、前記バウンディングボックスのサイズに応じた１または複数種類のブロックサイズを選択する選択部と、
選択したブロックサイズの範囲内で、前記第１画像内の前記バウンディングボックスの位置に応じた画像についてブロック分割処理を行い、各ブロックの画像に基づいて前記第１画像より後に撮影した第２画像を参照画像として前記第１画像において動き探索処理を行うことで、前記第１画像の各ブロックの動きベクトルを決定する算出部と、
決定した各ブロックの動きベクトルに基づいて、前記バウンディングボックスの位置を補正する補正部と、
位置を補正した後の前記バウンディングボックスを可視化する可視化部と
を有する画像処理装置。
【請求項10】
撮影した第１画像に含まれる対象物体であって、撮影中に移動する該対象物体のバウンディングボックスの情報を取得する画像処理装置のコンピュータが、
複数種類のブロックサイズの中から、前記バウンディングボックスのサイズに応じた１または複数種類のブロックサイズを選択し、
選択したブロックサイズの範囲内で、前記第１画像内の前記バウンディングボックスの位置に応じた画像についてブロック分割処理を行い、各ブロックの画像に基づいて前記第１画像より後に撮影した第２画像を参照画像として前記第１画像において動き探索処理を行うことで、前記第１画像の各ブロックの動きベクトルを決定し、
決定した各ブロックの動きベクトルに基づいて、前記バウンディングボックスの位置を補正し、
位置を補正した後の前記バウンディングボックスを可視化する、
処理を実行する画像処理方法。
複数種類のブロックサイズの中から、前記バウンディングボックスのサイズに応じた１または複数種類のブロックサイズを選択し、
選択したブロックサイズの範囲内で、前記第１画像内の前記バウンディングボックスの位置に応じた画像についてブロック分割処理を行い、各ブロックの画像に基づいて前記第１画像より後に撮影した第２画像を参照画像として前記第１画像において動き探索処理を行うことで、前記第１画像の各ブロックの動きベクトルを決定し、
決定した各ブロックの動きベクトルに基づいて、前記バウンディングボックスの位置を補正し、
位置を補正した後の前記バウンディングボックスを可視化する、
処理を実行する画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理プログラム、画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
ＡＲ（Augmented Reality：拡張現実）やＭＲ（Mixed Reality：複合現実）等を実現するための処理を、エッジ端末とサーバ装置とで分散して行うシステムが知られている。当該システムでは、サーバ装置において処理負荷の高い物体検出処理等が行われ、処理結果（例えば、対象物体のバウンディングボックスの位置、サイズ）がエッジ端末に送信される。そして、エッジ端末において、現実世界を撮影した画像に対して当該バウンディングボックスを重畳する処理や、現実世界を視認するための透過型のスクリーンに対して当該バウンディングボックスを投影する処理等が行われる。
【0003】
当該システムによれば、現実世界において対象物体が移動していた場合に、サーバ装置とエッジ端末との間のデータ転送時間に起因して、ユーザによって視認される対象物体とバウンディングボックスとの間に、位置ずれが生じ得る。
【0004】
このような位置ずれを回避するために、エッジ端末では、例えば、動き探索処理を行うことで動きベクトルを算出し、算出した動きベクトルに基づいて、バウンディングボックスの位置を補正する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】米国特許第２０１９／０３４０８１２号明細書
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、エッジ端末の処理性能が低い場合や、対象物体のサイズが大きい場合、あるいは、対象物体の数が多い場合等、動き探索処理の処理負荷が増大するケースでは、エッジ端末のフレームレートが低下するといった不具合が生じる。
【0007】
一つの側面では、動き探索処理の処理負荷を低減させることを目的としている。
【課題を解決するための手段】
【0008】
一態様によれば、画像処理プログラムは、以下の構成を備える。すなわち、
撮影した第１画像に含まれる対象物体であって、撮影中に移動する該対象物体のバウンディングボックスの情報を取得する画像処理装置のコンピュータに、
複数種類のブロックサイズの中から、前記バウンディングボックスのサイズに応じた１または複数種類のブロックサイズを選択し、
選択したブロックサイズの範囲内で、前記第１画像内の前記バウンディングボックスの位置に応じた画像についてブロック分割処理を行い、各ブロックの画像に基づいて前記第１画像より後に撮影した第２画像を参照画像として前記第１画像において動き探索処理を行うことで、前記第１画像の各ブロックの動きベクトルを決定し、
決定した各ブロックの動きベクトルに基づいて、前記バウンディングボックスの位置を補正し、
位置を補正した後の前記バウンディングボックスを可視化する、処理を実行させる。
撮影した第１画像に含まれる対象物体であって、撮影中に移動する該対象物体のバウンディングボックスの情報を取得する画像処理装置のコンピュータに、
複数種類のブロックサイズの中から、前記バウンディングボックスのサイズに応じた１または複数種類のブロックサイズを選択し、
選択したブロックサイズの範囲内で、前記第１画像内の前記バウンディングボックスの位置に応じた画像についてブロック分割処理を行い、各ブロックの画像に基づいて前記第１画像より後に撮影した第２画像を参照画像として前記第１画像において動き探索処理を行うことで、前記第１画像の各ブロックの動きベクトルを決定し、
決定した各ブロックの動きベクトルに基づいて、前記バウンディングボックスの位置を補正し、
位置を補正した後の前記バウンディングボックスを可視化する、処理を実行させる。
【発明の効果】
【0009】
動き探索処理の処理負荷を低減させることができる。
【図面の簡単な説明】
【0010】
【図1】物体検出システムのシステム構成の一例を示す図である。
【図2】エッジ端末のハードウェア構成の一例を示す図である。
【図3】サーバ装置のハードウェア構成の一例を示す図である。
【図4】位置ずれが生じたバウンディングボックスの具体例を示す図である。
【図5】位置ずれを補正するための補正処理の概要を説明するための図である。
【図6】一般的な動き探索処理に含まれるブロック分割処理の概要を説明するための図である。
【図7】一般的な動き探索処理に含まれるベクトル決定処理の概要を説明するための図である。
【図8】比較例のエッジ端末の機能構成を示す第１の図である。
【図9】比較例のエッジ端末の機能構成を示す第２の図である。
【図10A】比較例のエッジ端末の動き探索部によるブロック分割処理の流れを示すフローチャートである。
【図10B】比較例のエッジ端末の物体位置推定制御部による物体推定位置算出処理の流れを示すフローチャートである。
【図11】第１の実施形態に係るエッジ端末の機能構成の一例を示す第１の図である。
【図12】第１の実施形態に係るエッジ端末の機能構成の一例を示す第２の図である。
【図13】第１の実施形態に係るエッジ端末の動き探索ブロック分割決定部の詳細を説明するための図である。
【図14A】第１の実施形態に係るエッジ端末の動き探索ブロック分割決定部による動き探索ブロック分割決定処理の流れを示すフローチャートである。
【図14B】第１の実施形態に係るエッジ端末の動き探索部によるブロック分割処理の流れを示すフローチャートである。
【図15】位置ずれを補正したバウンディングボックスの具体例を示す図である。
【発明を実施するための形態】
【0011】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0012】
［第１の実施形態］
＜物体検出システムのシステム構成＞
はじめに、第１の実施形態に係るエッジ端末（画像処理装置の一例）を有する物体検出システムのシステム構成について説明する。第１の実施形態において物体検出システムとは、現実世界を撮影した画像データに対して物体検出処理を行い、撮影中に移動する対象物体を検出することで、
・画像データが非透過型スクリーンに表示される場合にあっては、撮影した画像データ内の対象物体の位置にバウンディングボックス（境界ボックスともいう）を重畳して表示する、あるいは、
・ＡＲ技術が搭載されている場合にあっては、現実世界を視認するための透過型のスクリーンにおいて、現実世界の対象物体の位置に対応する位置にバウンディングボックスを投影する、
処理を行うシステムを指す。
＜物体検出システムのシステム構成＞
はじめに、第１の実施形態に係るエッジ端末（画像処理装置の一例）を有する物体検出システムのシステム構成について説明する。第１の実施形態において物体検出システムとは、現実世界を撮影した画像データに対して物体検出処理を行い、撮影中に移動する対象物体を検出することで、
・画像データが非透過型スクリーンに表示される場合にあっては、撮影した画像データ内の対象物体の位置にバウンディングボックス（境界ボックスともいう）を重畳して表示する、あるいは、
・ＡＲ技術が搭載されている場合にあっては、現実世界を視認するための透過型のスクリーンにおいて、現実世界の対象物体の位置に対応する位置にバウンディングボックスを投影する、
処理を行うシステムを指す。
【0013】
図１は、物体検出システムのシステム構成の一例を示す図である。図１に示すように、物体検出システム１００は、エッジ端末１１０と、サーバ装置１２０とを有する。物体検出システム１００において、エッジ端末１１０と、サーバ装置１２０とは、ネットワーク１３０を介して通信可能に接続される。
【0014】
エッジ端末１１０は、例えば、ユーザ１４０の頭部に装着されるヘッドマウントディスプレイである。エッジ端末１１０は撮像装置を備え、当該撮像装置により撮影された画像データをサーバ装置１２０に送信する。また、エッジ端末１１０は、画像データを送信したことに応じてサーバ装置１２０から物体検出結果（バウンディングボックスの位置、サイズ）等を受信する。更に、エッジ端末１１０は、受信した物体検出結果等に基づいて、例えば、画像データが非透過型スクリーンに表示される場合にあっては、現実世界を撮影した画像データ内の対象物体の位置にバウンディングボックスを重畳して表示する。また、ＡＲ技術が搭載されている場合にあっては、現実世界を視認するための透過型スクリーンにおいて、現実世界の対象物体の位置に対応する位置にバウンディングボックスを投影する。
【0015】
なお、図１に示すように、時刻＝Ｔ０においてエッジ端末１１０により送信された画像データは、時刻＝Ｔ１においてサーバ装置１２０にて受信され、物体検出処理等が行われる。また、時刻＝Ｔ２においてサーバ装置１２０により送信された物体検出結果等は、時刻＝Ｔ３においてエッジ端末１１０にて受信される。
【0016】
このため、エッジ端末１１０では、時刻＝Ｔ０から時刻＝Ｔ３までのデータ転送時間の間に（つまり、撮影中に）、対象物体が移動したことに応じて生じる位置ずれに対して動き探索処理を行い、バウンディングボックスの位置を補正したうえで重畳または投影する。これにより、時刻＝Ｔ０から時刻＝Ｔ３までの撮影中に移動した対象物体に合わせて、バウンディングボックスの位置を適切に補正することができる。
【0017】
サーバ装置１２０は、ネットワーク１３０を介してエッジ端末１１０から画像データを受信し、受信した画像データに対して、物体検出処理を行う。また、サーバ装置１２０は、物体検出処理を行うことで得た物体検出結果等を、ネットワーク１３０を介してエッジ端末１１０に送信する。
【0018】
＜エッジ端末及びサーバ装置のハードウェア構成＞
次に、エッジ端末１１０及びサーバ装置１２０のハードウェア構成について説明する。
次に、エッジ端末１１０及びサーバ装置１２０のハードウェア構成について説明する。
【0019】
（１）エッジ端末のハードウェア構成
はじめに、エッジ端末１１０のハードウェア構成について説明する。図２は、エッジ端末のハードウェア構成の一例を示す図である。
はじめに、エッジ端末１１０のハードウェア構成について説明する。図２は、エッジ端末のハードウェア構成の一例を示す図である。
【0020】
エッジ端末１１０は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、撮像装置２０４、可視化装置２０５、センサ２０６、接続装置２０７、通信装置２０８を有する。なお、エッジ端末１１０の各ハードウェアは、バス２０９を介して相互に接続されている。
【0021】
プロセッサ２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラム（例えば、画像処理プログラム等）をメモリ２０２上に読み出して実行する。
【0022】
メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
【0023】
補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種データを格納する。
【0024】
撮像装置２０４は、所定のフレーム周期で現実世界を撮影し、画像データを生成する。可視化装置２０５は可視化部の一例であり、画像データが非透過型スクリーンに表示される場合にあっては、撮像装置２０４により撮影された画像データを表示するディスプレイ（非透過型スクリーン）が含まれる。また、可視化装置２０５は、ＡＲ技術が搭載されたエッジ端末の場合にあっては、透過型スクリーン及び透過型スクリーンに画像を投影する投影装置が含まれる。
【0025】
センサ２０６は、エッジ端末１１０を装着したユーザ１４０の動きを検出するセンサや、エッジ端末１１０の位置を検出するセンサ等、各種センサを含む。
【0026】
接続装置２０７は、外部装置と、エッジ端末１１０とを接続する接続デバイスである。通信装置２０８は、ネットワーク１３０を介してサーバ装置１２０と通信するための通信デバイスである。
【0027】
なお、補助記憶装置２０３にインストールされる各種プログラムは、例えば、通信装置２０８を介してネットワーク１３０からダウンロードされることで、インストールされてもよい。
【0028】
（２）サーバ装置のハードウェア構成
次に、サーバ装置１２０のハードウェア構成について説明する。図３は、サーバ装置のハードウェア構成の一例を示す図である。
次に、サーバ装置１２０のハードウェア構成について説明する。図３は、サーバ装置のハードウェア構成の一例を示す図である。
【0029】
サーバ装置１２０は、プロセッサ３０１、メモリ３０２、補助記憶装置３０３、Ｉ／Ｆ（Interface）装置３０４、通信装置３０５、ドライブ装置３０６を有する。なお、サーバ装置１２０の各ハードウェアは、バス３０７を介して相互に接続されている。
【0030】
プロセッサ３０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ３０１は、各種プログラム（例えば、物体検出プログラム等）をメモリ３０２上に読み出して実行する。
【0031】
メモリ３０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ３０１とメモリ３０２とは、いわゆるコンピュータを形成し、プロセッサ３０１が、メモリ３０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
【0032】
補助記憶装置３０３は、各種プログラムや、各種プログラムがプロセッサ３０１によって実行される際に用いられる各種データを格納する。
【0033】
Ｉ／Ｆ装置３０４は、外部装置の一例である入力装置３１０、表示装置３２０と、サーバ装置１２０とを接続する接続デバイスである。
【0034】
通信装置３０５は、ネットワーク１３０を介してエッジ端末１１０と通信するための通信デバイスである。
【0035】
ドライブ装置３０６は記録媒体３３０をセットするためのデバイスである。ここでいう記録媒体３３０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体３３０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【0036】
なお、補助記憶装置３０３にインストールされる各種プログラムは、例えば、配布された記録媒体３３０がドライブ装置３０６にセットされ、該記録媒体３３０に記録された各種プログラムがドライブ装置３０６により読み出されることでインストールされる。あるいは、補助記憶装置３０３にインストールされる各種プログラムは、通信装置３０５を介してネットワーク１３０からダウンロードされることで、インストールされてもよい。
【0037】
＜位置ずれ及び位置ずれを補正するための補正処理についての説明＞
次に、一般的な物体検出システムにおいて生じ得る、バウンディングボックスの位置ずれと、それを補正するための一般的な補正処理の概要について説明する。
次に、一般的な物体検出システムにおいて生じ得る、バウンディングボックスの位置ずれと、それを補正するための一般的な補正処理の概要について説明する。
【0038】
（１）位置ずれの説明
はじめに、一般的な物体検出システムにおいて生じ得る位置ずれであって、エッジ端末とサーバ装置との間のデータ転送時間に起因する、バウンディングボックスの位置ずれについて説明する。図４は、位置ずれが生じたバウンディングボックスの具体例を示す図である。
はじめに、一般的な物体検出システムにおいて生じ得る位置ずれであって、エッジ端末とサーバ装置との間のデータ転送時間に起因する、バウンディングボックスの位置ずれについて説明する。図４は、位置ずれが生じたバウンディングボックスの具体例を示す図である。
【0039】
図４において、画像データ４１０は、エッジ端末の撮像装置が、時刻＝Ｔ０において撮影した画像データである。図４に示すように、画像データ４１０には、対象物体４１１、４１１'が含まれる。エッジ端末では、画像データ４１０をサーバ装置に送信する。これにより、サーバ装置では、画像データ４１０に対して、物体検出処理を行い、物体検出結果（バウンディングボックスの位置、サイズ）をエッジ端末に送信する。
【0040】
図４において、画像データ４２０は、エッジ端末の撮像装置が、時刻＝Ｔ３において撮影した画像データである。図４に示すように、時刻＝Ｔ０から時刻＝Ｔ３までのデータ転送時間の間に、対象物体４１１、４１１'は、それぞれ、対象物体４２１、４２１'の位置まで移動している。一方、エッジ端末では、時刻＝Ｔ３に、サーバ装置から物体検出結果（バウンディングボックス４３０、４３０'の位置、サイズ）を受信したとする。
【0041】
この場合、エッジ端末が、バウンディングボックス４３０、４３０'の位置を補正する処理を行わないとすると、図４に示すように、バウンディングボックス４３０、４３０'は、画像データ４２０に示す位置に表示される。つまり、データ転送時間に相当する過去の時刻＝Ｔ０における対象物体４１１、４１１'の位置に、バウンディングボックス４３０、４３０'が表示され、現在の時刻＝Ｔ３における対象物体４２１、４２１'の位置との間に、位置ずれが生じる。
【0042】
（２）位置ずれを補正するための一般的な補正処理
次に、上記位置ずれを補正するための一般的な補正処理の概要について説明する。図５は、位置ずれを補正するための補正処理の概要を説明するための図である。
次に、上記位置ずれを補正するための一般的な補正処理の概要について説明する。図５は、位置ずれを補正するための補正処理の概要を説明するための図である。
【0043】
図５において、符号５１０は、エッジ端末の撮像装置が撮影した画像データの各フレーム画像を示している。符号５１０に含まれる各フレーム画像の位置は、時間軸５２０の各時刻において撮影されたことを示している。また、符号５１０に含まれる各フレーム画像のうち、ハッチングされたフレーム画像は、サーバ装置に送信され、物体検出処理が行われた後、物体検出結果がエッジ端末に送信されたフレーム画像である。一方、符号５１０に含まれる各フレーム画像のうち、ハッチングされていないフレーム画像は、サーバ装置に対して送信済みであるが、
・サーバ装置が未だ受信していない、あるいは、
・サーバ装置が受信したが、物体検出処理が完了していない、あるいは、
・サーバ装置が物体検出処理を完了したが、物体検出結果をエッジ端末に送信していない、あるいは、
・サーバ装置が物体検出結果を送信したが、エッジ端末が未だ受信していない、
いずれかのフレーム画像を示している。
・サーバ装置が未だ受信していない、あるいは、
・サーバ装置が受信したが、物体検出処理が完了していない、あるいは、
・サーバ装置が物体検出処理を完了したが、物体検出結果をエッジ端末に送信していない、あるいは、
・サーバ装置が物体検出結果を送信したが、エッジ端末が未だ受信していない、
いずれかのフレーム画像を示している。
【0044】
また、図５において、符号５３０は、エッジ端末が、物体検出結果を受信したフレーム画像のうち、最新のフレーム画像を示している。エッジ端末では、物体検出結果を受信したフレーム画像のうち、最新のフレーム画像（符号５３０）について、物体検出結果から、対象物体の位置を特定する（符号５３１参照）。
【0045】
また、エッジ端末は、撮像装置が撮影したフレーム画像のうち、最新のフレーム画像（符号５４０）において、符号５３１に示す領域内の画像との誤差が十分に小さい領域（符号５４１参照）を探索する（動き探索処理を行う）。これにより、対象物体が含まれる領域の動きベクトル（符号５５０参照）を算出する。
【0046】
そして、エッジ端末では、算出した動きベクトル（符号５５０参照）に基づいてバウンディングボックスの位置を補正し、位置を補正した後のバウンディングボックスを、最新のフレーム画像（符号５４０）に重畳する。
【0047】
このように、動き探索処理により算出した動きベクトルに基づいてバウンディングボックスの位置を補正することで、データ転送時間に起因するバウンディングボックスの位置ずれを補正することができる。
【0048】
＜一般的な動き探索処理の概要＞
次に、動画圧縮規格であるＨＥＶＣ（High Efficiency Video Coding）等における一般的な動き探索処理に含まれる各種処理のうち、ブロック分割処理及びベクトル決定処理の概要について説明する。
次に、動画圧縮規格であるＨＥＶＣ（High Efficiency Video Coding）等における一般的な動き探索処理に含まれる各種処理のうち、ブロック分割処理及びベクトル決定処理の概要について説明する。
【0049】
（１）ブロック分割処理
はじめに、一般的な動き探索処理に含まれるブロック分割処理の概要について説明する。図６は、一般的な動き探索処理に含まれるブロック分割処理の概要を説明するための図である。ＨＥＶＣ等の場合、最大符号化ブロックサイズは６４画素×６４画素であり、図６は、ＨＥＶＣの場合のブロック分割処理の一例を示している。
はじめに、一般的な動き探索処理に含まれるブロック分割処理の概要について説明する。図６は、一般的な動き探索処理に含まれるブロック分割処理の概要を説明するための図である。ＨＥＶＣ等の場合、最大符号化ブロックサイズは６４画素×６４画素であり、図６は、ＨＥＶＣの場合のブロック分割処理の一例を示している。
【0050】
図６に示すように、ＨＥＶＣの場合、はじめに、６４画素×６４画素のブロック６１０内の画像に基づいて動き探索処理が行われる。
【0051】
また、ブロック分割処理では、６４画素×６４画素のブロック６１０を４つに分割し、３２画素×３２画素のブロック（ブロック６２０～６２３）を生成する。そして、４つの当該３２画素×３２画素のブロック内の画像それぞれに基づいて動き探索処理が行われる。
【0052】
このとき、ブロック分割処理では、６４画素×６４画素のブロックの誤差と、３２画素×３２画素の４つのブロック（ブロック６２０～６２３）の合計の誤差とを比較する。そして、３２画素×３２画素の４つのブロック（ブロック６２０～６２３）の合計の誤差の方が小さい場合、ブロック分割処理では、６４画素×６４画素のブロックを、３２画素×３２画素の４つのブロック（ブロック６２０～６２３）に分割する。
【0053】
次に、ブロック分割処理では、３２画素×３２画素のブロックのうち、まず、左上のブロックを４つに分割し、１６画素×１６画素のブロック（例えば、ブロック６３０）を生成する。そして、４つの当該１６画素×１６画素のブロック内の画像それぞれに基づいて動き探索処理が行われる。
【0054】
このとき、ブロック分割処理では、左上の３２画素×３２画素のブロックの誤差と１６画素×１６画素の４つのブロックの合計の誤差とを比較する。そして、左上の３２画素×３２画素のブロックの誤差の方が小さい場合、ブロック分割処理では、左上の３２画素×３２画素のブロックを分割しない。
【0055】
次に、ブロック分割処理では、右上の３２画素×３２画素のブロックに移動し、右上の３２画素×３２画素のブロックを４つに分割し、１６画素×１６画素のブロックを生成する。そして、４つの当該１６画素×１６画素のブロック内の画像それぞれに基づいて動き探索処理が行われる。
【0056】
このとき、ブロック分割処理では、右上の３２画素×３２画素のブロックの誤差と１６画素×１６画素の４つのブロックの合計の誤差とを比較する。そして、１６画素×１６画素の４つのブロックの誤差の方が小さい場合、ブロック分割処理では、右上の３２画素×３２画素のブロックを、１６画素×１６画素の４つのブロックに分割する。
【0057】
次に、ブロック分割処理では、１６画素×１６画素のブロックのうち、まず、左上の１６画素×１６画素のブロックを４つに分割する。これにより、ブロック分割処理では、８画素×８画素のブロック（例えば、ブロック６４０）を生成する。そして、４つの当該８画素×８画素のブロック内の画像それぞれに基づいて動き探索処理が行われる。このとき、左上の１６画素×１６画素のブロックの誤差と８画素×８画素の４つのブロックの合計の誤差とを比較し、左上の１６画素×１６画素のブロックの誤差の方が小さい場合、ブロック分割処理では、左上の１６画素×１６画素のブロックを分割しない。
【0058】
続いて、ブロック分割処理では、右上の１６画素×１６画素のブロックに移動し、右上の１６画素×１６画素のブロックを４つに分割し、８画素×８画素のブロック（例えば、ブロック６４１）を生成する。そして、４つの当該８画素×８画素のブロック内の画像それぞれに基づいて動き探索処理が行われる。以降、左下の１６画素×１６画素のブロック、右下の１６画素×１６画素のブロックについても同様のブロック分割処理が行われる。
【0059】
これにより、右上の３２画素×３２画素のブロックについてブロック分割処理が完了すると、左下の３２画素×３２画素のブロックに移動し、同様のブロック分割処理が行われる。更に、右下の３２画素×３２画素のブロックに移動し、同様のブロック分割処理が行われる。
【0060】
（２）ベクトル決定処理
次に、一般的な動き探索処理に含まれるベクトル決定処理の概要について説明する。図７は、一般的な動き探索処理に含まれるベクトル決定処理の概要を説明するための図である。
次に、一般的な動き探索処理に含まれるベクトル決定処理の概要について説明する。図７は、一般的な動き探索処理に含まれるベクトル決定処理の概要を説明するための図である。
【0061】
図７の例に示すように、６４画素×６４画素のブロック６１０内の画像に基づいて動き探索処理を行うことで、動きベクトル７０１と誤差が算出される。ブロック分割処理では、６４画素×６４画素のブロック６１０を４つに分割し、３２画素×３２画素のブロック（ブロック６２０～６２３）を生成する。そして、４つの当該３２画素×３２画素のブロック６２０～６２３内の画像それぞれに基づいて動き探索処理を行うことで、動きベクトル７２０～７２３と誤差が算出される。
【0062】
図７の例は、６４画素×６４画素のブロックの誤差と３２画素×３２画素の４つのブロック６２０、６２１、６２２、６２３の合計の誤差とを比較して、３２画素×３２画素の４つのブロックの誤差が小さい場合を示している。この場合、ブロック分割処理では、６４画素×６４画素のブロックを３２画素×３２画素のブロック６２０、６２１、６２２、６２３に分割する。また、動き探索処理では、３２画素×３２画素のブロック６２０、６２２、６２１、６２３の動きベクトルを、動きベクトル７２０、７２１、７２２、７２３とする。
【0063】
なお、図７の例では示していないが、ブロック分割処理では、３２画素×３２画素のブロック６２０、６２１、６２２、６２３をそれぞれ４つに分割し、１６画素×１６画素のブロックを生成する。そして、１６画素×１６画素のブロックの画像それぞれに基づいて動き探索処理を行うことで、動きベクトルと誤差が算出される。
【0064】
また、図７の例では示していないが、ブロック分割処理では、４つの３２画素×３２画素のブロックのそれぞれについて、３２画素×３２画素のブロックの誤差と１６画素×１６画素の４つのブロックの合計の誤差とを比較する。そして、３２画素×３２画素のブロックの誤差の方が小さい場合、ブロック分割処理では、３２画素×３２画素のブロックを分割しない。一方、１６画素×１６画素の４つのブロックの合計の誤差の方が小さい場合、ブロック分割処理では、３２画素×３２画素のブロックを１６画素×１６画素の４つのブロックに分割する。
【0065】
図７の例は、３２画素×３２画素のブロック６２０、６２２、６２３においては、３２画素×３２画素のブロックの誤差の方が小さい場合を示している。この場合、ブロック分割処理では、１６画素×１６画素に分割せず、３２画素×３２画素のブロックのままとすることを決定する。また、ベクトル決定処理では、３２画素×３２画素のブロック６２０、６２２、６２３の動きベクトルを、動きベクトル７２０、７２２、７２３に決定する。
【0066】
また、図７の例は、３２画素×３２画素のブロック６２１においては、３２画素×３２画素のブロックの誤差より１６画素×１６画素の４つのブロックの合計の誤差の方が小さい場合を示している。この場合、図６を用いて説明したとおり、ブロック分割処理では、３２画素×３２画素のブロック６２１を４つに分割し、１６画素×１６画素のブロックを生成する（図７において不図示）。
【0067】
このように、一般的な動き探索処理におけるベクトル決定処理では、ブロック分割前後の誤差を比較してブロック分割処理を進めることで、それぞれのブロックの動きベクトルを決定する。また、一般的な動き探索処理におけるベクトル決定処理では、フレーム画像内の全ての領域に対して、同様の処理を行う。
【0068】
これに対して、物体検出システムのように、バウンディングボックスの位置ずれの補正を目的として動き探索処理を行うシステムの場合、動画圧縮を目的とする一般的な動き探索処理が行われるシステムとは、異なる処理が行われる。
【0069】
具体的には、バウンディングボックスの位置ずれの補正を目的として動き探索処理を行うシステムの場合、フレーム画像のうちのバウンディングボックスと重なるブロック（バウンディングボックスの位置に応じたブロック）内の画像に基づいて動き探索処理を行う。
【0070】
このため、当該システムの場合、ブロック分割処理において、はじめに６４画素×６４画素（最大のブロックサイズ）のブロックに分割した際、バウンディングボックスと重なるブロック内の画像を抽出する。そして、当該システムの場合、当該ブロックの動きベクトルと誤差を算出し、また、３２画素×３２画素の４つのブロックの動きベクトルの合計の誤差を算出する。そして、３２画素×３２画素のブロックの合計の誤差の方が小さい場合に、当該ブロックを、３２画素×３２画素のブロックに分割し、各ブロックの動きベクトルを決定する（以下、同様）。
【0071】
また、当該システムの場合、バウンディングボックスと重なるブロックであって、ブロック分割処理を行うことで決定した各ブロックの動きベクトルに基づいて、最終的に１つの動きベクトルを決定する。
【0072】
以下、バウンディングボックスの位置ずれの補正を目的として動き探索処理を行うエッジ端末の機能構成について詳説する。
【0073】
＜エッジ端末の機能構成＞
（１）比較例のエッジ端末の機能構成
はじめに、比較例のエッジ端末の機能構成について説明する。なお、上述したように、第１の実施形態に係るエッジ端末１１０には、ディスプレイ（非透過型スクリーン）が搭載されたエッジ端末とＡＲ技術が搭載されたエッジ端末とが含まれる。このため、比較例のエッジ端末の機能構成についても、両方のエッジ端末の機能構成について説明する。
（１）比較例のエッジ端末の機能構成
はじめに、比較例のエッジ端末の機能構成について説明する。なお、上述したように、第１の実施形態に係るエッジ端末１１０には、ディスプレイ（非透過型スクリーン）が搭載されたエッジ端末とＡＲ技術が搭載されたエッジ端末とが含まれる。このため、比較例のエッジ端末の機能構成についても、両方のエッジ端末の機能構成について説明する。
【0074】
（１－１）比較例のエッジ端末の機能構成その１
図８は、比較例のエッジ端末の機能構成を示す第１の図であって、ＡＲ技術が搭載されたエッジ端末の機能構成の一例を示す図である。図８に示すように、ＡＲ技術が搭載された場合の比較例のエッジ端末８１０は、画像取得部８１１、物体位置推定処理部８１２、物体検出結果格納メモリ８１３、画像メモリ８１４、動き探索部８１５、物体位置推定制御部８１６、映像表示部８１７を有する。
図８は、比較例のエッジ端末の機能構成を示す第１の図であって、ＡＲ技術が搭載されたエッジ端末の機能構成の一例を示す図である。図８に示すように、ＡＲ技術が搭載された場合の比較例のエッジ端末８１０は、画像取得部８１１、物体位置推定処理部８１２、物体検出結果格納メモリ８１３、画像メモリ８１４、動き探索部８１５、物体位置推定制御部８１６、映像表示部８１７を有する。
【0075】
画像取得部８１１は、撮像装置２０４により撮影された画像データを取得し、画像データに含まれるフレーム画像をサーバ装置１２０に送信するとともに、エッジ端末８１０内の画像メモリ８１４、動き探索部８１５に通知する。また、画像取得部８１１は、各フレーム画像を取得したタイミングを示すフレーム画像取得信号を、物体位置推定処理部８１２に通知する。
【0076】
物体位置推定処理部８１２は、サーバ装置１２０のＡＩ処理部８２０により物体検出処理が行われることで、サーバ装置１２０のＡＩ処理部８２０より送信された物体検出結果と、物体検出処理が行われたフレーム画像を特定するフレーム画像特定信号とを取得する。なお、サーバ装置１２０のＡＩ処理部８２０は、サーバ装置１２０にて物体検出プログラムが実行されることで実現される。また、物体位置推定処理部８１２は、取得した物体検出結果をフレーム画像特定信号と対応付けて、物体検出結果格納メモリ８１３に格納する。
【0077】
また、物体位置推定処理部８１２は、新たにフレーム画像取得信号が通知されると、対応する新たなフレーム画像において動き探索処理を行う際に用いる情報を物体検出結果格納メモリ８１３から読み出す。
【0078】
具体的には、物体位置推定処理部８１２では、物体検出結果格納メモリ８１３から、物体検出結果を受信したフレーム画像のうちの最新のフレーム画像について、物体検出結果と、対応するフレーム画像特定信号とを読み出す。
【0079】
また、物体位置推定処理部８１２は、読み出したフレーム画像特定信号を画像メモリ８１４に通知するとともに、読み出した物体検出結果を動き探索部８１５及び物体位置推定制御部８１６に通知する。
【0080】
物体検出結果格納メモリ８１３は、物体位置推定処理部８１２より通知された、物体検出結果とフレーム画像特定信号とを対応付けて格納する。
【0081】
画像メモリ８１４は、画像取得部８１１から通知された画像データを、探索元のフレーム画像（第１画像）として格納する。また、画像メモリ８１４では、物体位置推定処理部８１２よりフレーム画像特定信号が通知されることで、探索元のフレーム画像（物体検出結果を受信したフレーム画像のうち、最新のフレーム画像）が特定される。
【0082】
動き探索部８１５は、動き探索処理を行うことで動きベクトルを算出する。なお、動き探索部８１５の場合、上述したように、図６、図７を用いて説明した一般的な動き探索処理とは異なり、フレーム画像のうちのバウンディングボックスと重なるブロック内の画像に基づいて動き探索処理を行う。
【0083】
具体的には、動き探索部８１５は、特定された探索元のフレーム画像を画像メモリ８１４から読み出し、６４画素×６４画素のブロックに分割する。また、動き探索部８１５は、物体検出結果により位置及びサイズが特定されるバウンディングボックスと重なる各ブロック内の画像（各ブロック画像）を抽出する。また、動き探索部８１５は、各ブロック画像との誤差が最も小さい領域を、画像取得部８１１により新たに取得されたフレーム画像（第２画像）において探索することで、各ブロックの動きベクトルを算出する。
【0084】
なお、動き探索部８１５の場合、図６、図７を用いて説明した一般的な動き探索処理同様、６４画素×６４画素のブロックと分割した３２画素×３２画素の４つのブロックの動きベクトルを算出する。そして、３２画素×３２画素の４つのブロックの合計の誤差が６４画素×６４画素のブロックの誤差より小さい場合、３２画素×３２画素のブロックに分割する。続いて、動き探索部８１５では、３２画素×３２画素のブロックと分割した１６画素×１６画素のブロックの動きベクトルを算出する。以降、動き探索部８１５では、ブロックを分割した場合の誤差の方が小さくなるならば、８画素×８画素のブロックまでブロック分割処理を進めることで、各ブロックの動きベクトルを決定する。また、動き探索部８１５では、ブロック分割処理を行うことで決定した各ブロックの動きベクトルを、物体位置推定制御部８１６に通知する。なお、動き探索部８１５による「ブロック分割処理」の詳細は後述する。
【0085】
物体位置推定制御部８１６は補正部の一例である。物体位置推定制御部８１６は、上述したような一般的なベクトル決定処理とは異なり、動き探索部８１５より通知された複数の動きベクトルを用いて、１つのバウンディングボックスに対して、最終的に１つの動きベクトルを決定し、対象物体の位置を推定する。バウンディングボックスの位置ずれを補正するには、１つのバウンディングボックスに１つの動きベクトルが決定されればよいからである。なお、動き探索部８１５より通知された複数の動きベクトルを用いて、１つの動きベクトルを決定し、対象物体の位置を推定する「物体推定位置算出処理」の詳細は後述する。
【0086】
また、物体位置推定制御部８１６は、物体位置推定処理部８１２より通知された物体検出結果により特定されるバウンディングボックスの位置を、推定した対象物体の位置に補正する。また、物体位置推定制御部８１６は、位置を補正した後のバウンディングボックスを映像表示部８１７に通知する。
【0087】
映像表示部８１７は、物体位置推定制御部８１６より通知された、位置を補正した後のバウンディングボックスを、現実世界を視認するための透過型スクリーンに投影するよう制御する。
【0088】
（１－２）比較例のエッジ端末の機能構成その２
図９は、比較例のエッジ端末の機能構成を示す第２の図であって、ディスプレイ（非透過型スクリーン）が搭載された場合の機能構成の一例を示す図である。図９に示すように、ディスプレイ（非透過型スクリーン）が搭載された場合の比較例のエッジ端末９１０は、画像取得部９１１、物体位置推定処理部８１２、物体検出結果格納メモリ８１３を有する。また、ディスプレイ（非透過型スクリーン）が搭載された場合の比較例のエッジ端末９１０は、画像メモリ８１４、動き探索部８１５、物体位置推定制御部８１６、検出結果重畳部９１２、映像表示部９１３を有する。
図９は、比較例のエッジ端末の機能構成を示す第２の図であって、ディスプレイ（非透過型スクリーン）が搭載された場合の機能構成の一例を示す図である。図９に示すように、ディスプレイ（非透過型スクリーン）が搭載された場合の比較例のエッジ端末９１０は、画像取得部９１１、物体位置推定処理部８１２、物体検出結果格納メモリ８１３を有する。また、ディスプレイ（非透過型スクリーン）が搭載された場合の比較例のエッジ端末９１０は、画像メモリ８１４、動き探索部８１５、物体位置推定制御部８１６、検出結果重畳部９１２、映像表示部９１３を有する。
【0089】
なお、図９に示す比較例のエッジ端末９１０のうち、物体位置推定処理部８１２～物体位置推定制御部８１６の各機能部は、図８を用いて説明した、比較例のエッジ端末８１０の、物体位置推定処理部８１２～物体位置推定制御部８１６の各機能部と同様である。このため、ここでは説明を割愛する。
【0090】
画像取得部９１１は、撮像装置２０４により撮影された画像データを取得し、画像データに含まれるフレーム画像をサーバ装置１２０に送信するとともに、エッジ端末９１０内の画像メモリ８１４、動き探索部８１５、検出結果重畳部９１２に通知する。また、画像取得部９１１は、各フレーム画像を取得したタイミングを示すフレーム画像取得信号を、物体位置推定処理部８１２に通知する。
【0091】
検出結果重畳部９１２は、物体位置推定制御部８１６より通知された、位置を補正した後のバウンディングボックスを、画像取得部９１１より通知されたフレーム画像に重畳する。また、検出結果重畳部９１２は、位置を補正した後のバウンディングボックスを重畳したフレーム画像を、映像表示部９１３に通知する。
【0092】
映像表示部９１３は、検出結果重畳部９１２より通知されたフレーム画像を、ディスプレイ（非透過型スクリーン）に表示するよう制御する。
【0093】
（１－３）ブロック分割処理の詳細
次に、動き探索部８１５による「ブロック分割処理」の詳細について説明する。図１０Ａは、比較例のエッジ端末の動き探索部によるブロック分割処理の流れを示すフローチャートである。
次に、動き探索部８１５による「ブロック分割処理」の詳細について説明する。図１０Ａは、比較例のエッジ端末の動き探索部によるブロック分割処理の流れを示すフローチャートである。
【0094】
ステップＳ１００１において、動き探索部８１５は、物体位置推定処理部８１２から物体検出結果を取得する。
【0095】
ステップＳ１００２において、動き探索部８１５は、画像メモリ８１４から探索元のフレーム画像を読み出し、６４画素×６４画素のブロックに分割する。
【0096】
ステップＳ１００３において、動き探索部８１５は、取得した物体検出結果に基づいて特定されるバウンディングボックスと重なる各ブロック内の画像を、動き探索処理におけるブロック画像として抽出する。
【0097】
ステップＳ１００４において、動き探索部８１５は、抽出した各ブロック画像と、算出した動きベクトルにより特定される探索先の領域の画像との誤差が、（様々なブロック分割パターンの中で）最小となるブロック分割を探索して決定するブロック分割処理を行う。
【0098】
なお、上述したように、動き探索部８１５では、ブロック分割処理を行うことで決定した各ブロックの動きベクトルを物体位置推定制御部８１６に通知する。
【0099】
（１－４）物体推定位置算出処理の詳細
次に、物体位置推定制御部８１６による「物体推定位置算出処理」の詳細について説明する。図１０Ｂは、比較例のエッジ端末の物体位置推定制御部による物体推定位置算出処理の流れを示すフローチャートである。
次に、物体位置推定制御部８１６による「物体推定位置算出処理」の詳細について説明する。図１０Ｂは、比較例のエッジ端末の物体位置推定制御部による物体推定位置算出処理の流れを示すフローチャートである。
【0100】
ステップＳ１０１１において、物体位置推定制御部８１６は、動き探索部８１５より通知された各ブロックの動きベクトルを取得する。また、物体位置推定制御部８１６は、取得した動きベクトルの平均値を算出する。
【0101】
ステップＳ１０１２において、物体位置推定制御部８１６は、取得した動きベクトルのうち、ステップＳ１０１１において算出した平均値から大きく外れている動きベクトル（所定の条件を満たさない動きベクトル）を除外動きベクトルとする。
【0102】
ステップＳ１０１３において、物体位置推定制御部８１６は、取得した動きベクトルのうち、除外動きベクトルを除外した除外後の動きベクトル（所定の条件を満たす動きベクトル）について、平均値を算出する。物体位置推定制御部８１６は、算出した平均値を、バウンディングボックスの位置を補正するのに用いる動きベクトルに決定する。
【0103】
ステップＳ１０１４において、物体位置推定制御部８１６は、決定した動きベクトルに基づいて対象物体の位置を推定し、推定した対象物体の位置にバウンディングボックスの位置を補正する。
【0104】
ステップＳ１０１５において、物体位置推定制御部８１６は、フレーム画像内の全ての対象物体について、対象物体の位置を推定したか否かを判定する。ステップＳ１０１５において、未だ位置を推定していない対象物体があると判定した場合には（ステップＳ１０１５においてＮＯの場合には）、ステップＳ１０１１に戻る。
【0105】
一方、ステップＳ１０１５において、フレーム画像内の全ての対象物体について位置を推定したと判定した場合には（ステップＳ１０１５においてＹＥＳの場合には）、対象とするフレーム画像についての物体推定位置算出処理を終了する。
【0106】
（２）第１の実施形態に係るエッジ端末の機能構成
次に、第１の実施形態に係るエッジ端末１１０の機能構成として、ディスプレイ（非透過型スクリーン）が搭載されたエッジ端末１１０の機能構成と、ＡＲ技術が搭載されたエッジ端末１１０の機能構成について、説明する。
次に、第１の実施形態に係るエッジ端末１１０の機能構成として、ディスプレイ（非透過型スクリーン）が搭載されたエッジ端末１１０の機能構成と、ＡＲ技術が搭載されたエッジ端末１１０の機能構成について、説明する。
【0107】
（２－１）エッジ端末の機能構成その１
図１１は、第１の実施形態に係るエッジ端末の機能構成の一例を示す第１の図であって、ＡＲ技術が搭載されたエッジ端末１１０の機能構成の一例を示す図である。図１１に示すように、ＡＲ技術が搭載されたエッジ端末１１０は、画像取得部８１１、物体位置推定処理部１１１１、物体検出結果格納メモリ８１３、画像メモリ８１４、動き探索部１１１３、物体位置推定制御部８１６、映像表示部８１７を有する。加えて、ＡＲ技術が搭載されたエッジ端末１１０は、動き探索ブロック分割決定部１１１２を有する。
図１１は、第１の実施形態に係るエッジ端末の機能構成の一例を示す第１の図であって、ＡＲ技術が搭載されたエッジ端末１１０の機能構成の一例を示す図である。図１１に示すように、ＡＲ技術が搭載されたエッジ端末１１０は、画像取得部８１１、物体位置推定処理部１１１１、物体検出結果格納メモリ８１３、画像メモリ８１４、動き探索部１１１３、物体位置推定制御部８１６、映像表示部８１７を有する。加えて、ＡＲ技術が搭載されたエッジ端末１１０は、動き探索ブロック分割決定部１１１２を有する。
【0108】
なお、図１１に示すエッジ端末１１０のうち、
・画像取得部８１１、
・物体検出結果格納メモリ８１３～画像メモリ８１４、
・物体位置推定制御部８１６～映像表示部８１７、
の各機能部は、図８を用いて説明した、比較例のエッジ端末８１０の対応する各機能部と同様である。このため、ここでは説明を割愛する。
・画像取得部８１１、
・物体検出結果格納メモリ８１３～画像メモリ８１４、
・物体位置推定制御部８１６～映像表示部８１７、
の各機能部は、図８を用いて説明した、比較例のエッジ端末８１０の対応する各機能部と同様である。このため、ここでは説明を割愛する。
【0109】
物体位置推定処理部１１１１は、サーバ装置１２０のＡＩ処理部８２０により物体検出処理が行われ、サーバ装置１２０のＡＩ処理部８２０より送信された物体検出結果と、物体検出処理が行われたフレーム画像を特定するフレーム画像特定信号とを取得する。また、物体位置推定処理部１１１１は、取得した物体検出結果をフレーム画像特定信号と対応付けて、物体検出結果格納メモリ８１３に格納する。
【0110】
また、物体位置推定処理部１１１１は、新たにフレーム画像取得信号が通知されると、対応する新たなフレーム画像において動き探索処理を行う際に用いる情報を物体検出結果格納メモリ８１３から読み出す。
【0111】
具体的には、物体位置推定処理部１１１１では、物体検出結果格納メモリ８１３から、物体検出結果を受信したフレーム画像のうちの最新のフレーム画像について、物体検出結果と、対応するフレーム画像特定信号とを読み出す。
【0112】
また、物体位置推定処理部１１１１は、読み出したフレーム画像特定信号を画像メモリ８１４に通知し、読み出した物体検出結果を動き探索部１１１３、動き探索ブロック分割決定部１１１２及び物体位置推定制御部８１６に通知する。
【0113】
動き探索ブロック分割決定部１１１２は選択部の一例であり、物体位置推定処理部１１１１より通知された物体検出結果から、バウンディングボックスのサイズを特定する。また、動き探索ブロック分割決定部１１１２は、複数種類のブロックサイズの中からバウンディングボックスのサイズに応じた１または複数種類のブロックサイズを選択する。また、動き探索ブロック分割決定部１１１２は、選択したブロックサイズの種類を動き探索部１１１３に通知する。
【0114】
なお、動き探索ブロック分割決定部１１１２が、１または複数種類のブロックサイズをバウンディングボックスのサイズに応じて選択する「動き探索ブロック分割決定処理」の意義、及び、「動き探索ブロック分割決定処理」の詳細はそれぞれ後述する。
【0115】
動き探索部１１１３は算出部の一例であり、動き探索処理を行うことで、動きベクトルを算出する。なお、動き探索部１１１３の場合、上述したように、図６、図７を用いて説明した一般的な動き探索処理とは異なり、フレーム画像のうちのバウンディングボックスと重なるブロック内の画像に基づいて動き探索処理を行う。加えて、動き探索部１１１３の場合、図８を用いて説明した比較例の動き探索部８１５とは異なり、動き探索ブロック分割決定部１１１２より通知された種類のブロックサイズの範囲で「ブロック分割処理」を行う。
【0116】
具体的には、動き探索部１１１３は、特定された探索元のフレーム画像を画像メモリ８１４から読み出し、６４画素×６４画素のブロックに分割する。また、動き探索部１１１３は、物体検出結果により位置及びサイズが特定されるバウンディングボックスと重なる各ブロック画像を抽出する。また、動き探索部１１１３は、各ブロック画像との誤差が最も小さい領域を、画像取得部８１１により新たに取得されたフレーム画像（第２画像）において探索することで、各ブロックの動きベクトルを算出する。
【0117】
なお、動き探索部１１１３の場合、動き探索ブロック分割決定部１１１２より通知されたブロックサイズの範囲内で各ブロックの動きベクトルを算出し、誤差が最も小さくなるブロック分割を決定するブロック分割処理を行う。そして、動き探索部１１１３の場合、通知されたブロックサイズの範囲内でのみブロック分割処理を行うことで各ブロックの動きベクトルを決定する。十分に小さい誤差が得られなかったブロックについて決定した動きベクトルは、物体位置推定制御部８１６において除外されるため、バウンディングボックスの位置の推定精度に影響しないからである。
【0118】
更に、動き探索部１１１３は、決定した各ブロックの動きベクトルを、物体位置推定制御部８１６に通知する。なお、動き探索部１１１３による「ブロック分割処理」の詳細は後述する。
【0119】
（２－２）エッジ端末の機能構成その２
図１２は、第１の実施形態に係るエッジ端末の機能構成の一例を示す第２の図であって、ディスプレイ（非透過型スクリーン）が搭載されたエッジ端末１１０の機能構成の一例を示す図である。図１２に示すように、ディスプレイ（非透過型スクリーン）が搭載されたエッジ端末１１０は、画像取得部９１１、物体位置推定処理部１１１１、物体検出結果格納メモリ８１３、画像メモリ８１４を有する。また、ディスプレイ（非透過型スクリーン）が搭載されたエッジ端末１１０は、動き探索部１１１３、物体位置推定制御部８１６、検出結果重畳部９１２、映像表示部９１３を有する。加えて、ＡＲ技術が搭載されたエッジ端末１１０は、動き探索ブロック分割決定部１１１２を有する。
図１２は、第１の実施形態に係るエッジ端末の機能構成の一例を示す第２の図であって、ディスプレイ（非透過型スクリーン）が搭載されたエッジ端末１１０の機能構成の一例を示す図である。図１２に示すように、ディスプレイ（非透過型スクリーン）が搭載されたエッジ端末１１０は、画像取得部９１１、物体位置推定処理部１１１１、物体検出結果格納メモリ８１３、画像メモリ８１４を有する。また、ディスプレイ（非透過型スクリーン）が搭載されたエッジ端末１１０は、動き探索部１１１３、物体位置推定制御部８１６、検出結果重畳部９１２、映像表示部９１３を有する。加えて、ＡＲ技術が搭載されたエッジ端末１１０は、動き探索ブロック分割決定部１１１２を有する。
【0120】
なお、図１２に示すエッジ端末１１０のうち、画像取得部９１１、物体検出結果格納メモリ８１３～映像表示部９１３の各機能部は、図９を用いて説明した、比較例のエッジ端末９１０の対応する各機能部と同様である。このため、ここでは説明を割愛する。
【0121】
また、物体位置推定処理部１１１１～動き探索部１１１３の各機能部は、図１２を用いて説明した、物体位置推定処理部１１１１～動き探索部１１１３の各機能部と同様である。このため、ここでは説明を割愛する。
【0122】
（２－３）動き探索ブロック分割決定処理の意義
次に、動き探索ブロック分割決定部１１１２が、バウンディングボックスのサイズに応じた１または複数種類のブロックサイズを選択する「動き探索ブロック分割決定処理」の意義について説明する。図１３は、第１の実施形態に係るエッジ端末の動き探索ブロック分割決定部の詳細を説明するための図である。なお、図１３の例は、フレーム画像１３１０に２つの対象物体が含まれ、それぞれの対象物体について、物体検出結果としてバウンディングボックス１３１１、１３１２の位置及びサイズが取得された様子を示している。
次に、動き探索ブロック分割決定部１１１２が、バウンディングボックスのサイズに応じた１または複数種類のブロックサイズを選択する「動き探索ブロック分割決定処理」の意義について説明する。図１３は、第１の実施形態に係るエッジ端末の動き探索ブロック分割決定部の詳細を説明するための図である。なお、図１３の例は、フレーム画像１３１０に２つの対象物体が含まれ、それぞれの対象物体について、物体検出結果としてバウンディングボックス１３１１、１３１２の位置及びサイズが取得された様子を示している。
【0123】
ここで、バウンディングボックス１３１１のように、サイズの小さいバウンディングボックスの場合、当該バウンディングボックスに含まれる対象物体の解像度も低くなる。このため、動き探索部１１１３では、動き探索処理において十分小さい誤差を得るためには、ブロックサイズの小さいブロック（例えば、８画素×８画素のブロック）までブロック分割処理を進めて動き探索処理を行うことが必要となる。つまり、物体の動きを正しく反映した動きベクトルを得るためには、ブロックサイズの小さいブロック（例えば、８画素×８画素のブロック）までブロック分割処理を進めて動き探索処理を行うことが必要となる。
【0124】
このようなことから、動き探索ブロック分割決定部１１１２では、バウンディングボックスのサイズが小さい場合、大きいサイズから小さいサイズまでの複数種類のブロックサイズを選択し、動き探索部８１５に通知する。
【0125】
一方、バウンディングボックス１３１２のように、サイズの大きいバウンディングボックスの場合、当該バウンディングボックスに含まれる対象物体の解像度も高くなる。このため、動き探索部１１１３では、動き探索処理において十分小さい誤差を得るために、ブロックサイズの大きいブロック（例えば、６４画素×６４画素のブロック）についてブロック分割処理を行って動き探索処理を行えば足りる。つまり、物体の動きを正しく反映した動きベクトルを得るためには、ブロックサイズの大きいブロック（例えば、６４画素×６４画素のブロック）についてブロック分割処理を行って動き探索処理を行えば足りる。
【0126】
このようなことから、動き探索ブロック分割決定部１１１２では、バウンディングボックスのサイズが大きい場合、大きいサイズを選択し、動き探索部８１５に通知する。これにより、ブロックサイズが小さいサイズを選択した場合と比較して、動き探索部１１１３による動き探索処理の処理負荷を低減させることができる。
【0127】
更に、バウンディングボックスのサイズが大きい場合、選択するブロックサイズの種類を１種類のみとする。これにより、複数種類のブロックサイズを選択した場合と比較して、動き探索部１１１３による動き探索処理の処理負荷を低減させることができる。
【0128】
（２－４）動き探索ブロック分割決定処理の詳細
次に、動き探索ブロック分割決定部１１１２による動き探索ブロック分割決定処理の詳細について説明する。図１４Ａは、第１の実施形態に係るエッジ端末の動き探索ブロック分割決定部による動き探索ブロック分割決定処理の流れを示すフローチャートである。
次に、動き探索ブロック分割決定部１１１２による動き探索ブロック分割決定処理の詳細について説明する。図１４Ａは、第１の実施形態に係るエッジ端末の動き探索ブロック分割決定部による動き探索ブロック分割決定処理の流れを示すフローチャートである。
【0129】
ステップＳ１４０１において、動き探索ブロック分割決定部１１１２は、物体位置推定処理部１１１１から、物体検出結果を取得し、バウンディングボックスのサイズを特定する。
【0130】
ステップＳ１４０２において、動き探索ブロック分割決定部１１１２は、特定したバウンディングボックスのサイズが、第１閾値以上であるか否かを判定する。ステップＳ１４０２において、特定したバウンディングボックスのサイズが、第１閾値以上であると判定した場合には（ステップＳ１４０２においてＹＥＳの場合には）、ステップＳ１４０３に進む。
【0131】
ステップＳ１４０３において、動き探索ブロック分割決定部１１１２は、動き探索処理を行う際に用いるブロックサイズとして１種類のブロックサイズ（６４画素×６４画素）を選択する。
【0132】
一方、ステップＳ１４０２において、特定したバウンディングボックスのサイズが、第１閾値未満であると判定した場合には（ステップＳ１４０２においてＮＯの場合には）、ステップＳ１４０４に進む。
【0133】
ステップＳ１４０４において、動き探索ブロック分割決定部１１１２は、特定したバウンディングボックスのサイズが、第２閾値以上であるか否かを判定する。ステップＳ１４０４において、特定したバウンディングボックスのサイズが、第２閾値以上であると判定した場合には（ステップＳ１４０４においてＹＥＳの場合には）、ステップＳ１４０５に進む。
【0134】
ステップＳ１４０５において、動き探索ブロック分割決定部１１１２は、動き探索処理を行う際に用いるブロックサイズとして２種類のブロックサイズ（６４画素×６４画素、３２画素×３２画素）を選択する。
【0135】
一方、ステップＳ１４０４において、特定したバウンディングボックスのサイズが、第２閾値未満であると判定した場合には（ステップＳ１４０４においてＮＯの場合には）、ステップＳ１４０６に進む。
【0136】
ステップＳ１４０６において、動き探索ブロック分割決定部１１１２は、特定したバウンディングボックスのサイズが、第３閾値以上であるか否かを判定する。ステップＳ１４０６において、特定したバウンディングボックスのサイズが、第３閾値以上であると判定した場合には（ステップＳ１４０６においてＹＥＳの場合には）、ステップＳ１４０７に進む。
【0137】
ステップＳ１４０７において、動き探索ブロック分割決定部１１１２は、動き探索処理を行う際に用いるブロックサイズとして３種類のブロックサイズ（６４画素×６４画素、３２画素×３２画素、１６画素×１６画素）を選択する。
【0138】
一方、ステップＳ１４０６において、特定したバウンディングボックスのサイズが、第３閾値未満であると判定した場合には（ステップＳ１４０６においてＮＯの場合には）、ステップＳ１４０８に進む。
【0139】
ステップＳ１４０８において、動き探索ブロック分割決定部１１１２は、動き探索処理を行う際に用いるブロックサイズとして４種類のブロックサイズ（６４画素×６４画素、３２画素×３２画素、１６画素×１６画素、８画素×８画素）を選択する。
【0140】
このように、バウンディングボックスのサイズに応じた１または複数種類のブロックサイズを選択することで、バウンディングボックスのサイズが大きいほど、小さいブロックサイズを排除し、ブロックサイズの種類を減らすことができる。
【0141】
例えば、図１４に示したフローによれば、４種類のブロックサイズを降順に配列した際の１番目からＮ番目までのブロックサイズを選択する場合において、
・バウンディングボックスのサイズが大きいほど、Ｎの値を小さくすることができる。
・バウンディングボックスのサイズが小さいほど、Ｎの値を大きくすることができる。
・バウンディングボックスのサイズが大きいほど、Ｎの値を小さくすることができる。
・バウンディングボックスのサイズが小さいほど、Ｎの値を大きくすることができる。
【0142】
これにより、エッジ端末１１０では、動き探索部８１５が動き探索処理を行う際、探索精度を維持しつつ、バウンディングボックスのサイズが大きいほど、処理負荷を低減させることができる。
【0143】
（２－５）ブロック分割処理の詳細
次に、動き探索部１１１３による「ブロック分割処理」の詳細について説明する。図１４Ｂは、第１の実施形態に係るエッジ端末の動き探索部によるブロック分割処理の流れを示すフローチャートである。このうち、ステップＳ１００１～ステップＳ１００３までの処理は、図１０ＡのステップＳ１００１～ステップＳ１００３までの処理と同じである。
次に、動き探索部１１１３による「ブロック分割処理」の詳細について説明する。図１４Ｂは、第１の実施形態に係るエッジ端末の動き探索部によるブロック分割処理の流れを示すフローチャートである。このうち、ステップＳ１００１～ステップＳ１００３までの処理は、図１０ＡのステップＳ１００１～ステップＳ１００３までの処理と同じである。
【0144】
ステップＳ１４０１において、動き探索部１１１３は、動き探索処理を行う際に、指定された種類のブロックサイズの範囲内でブロック分割処理を行う。
【0145】
なお、上述したように、動き探索部１１１３では、ブロック分割処理を行うことで決定した各ブロックの動きベクトルを、物体位置推定制御部８１６に通知する。
【0146】
＜バウンディングボックスの具体例＞
次に、位置ずれを補正した補正後のバウンディングボックスの具体例について説明する。図１５は、位置ずれを補正したバウンディングボックスの具体例を示す図である。第１の実施形態に係るエッジ端末１１０によれば、動き探索部１１１３が動き探索処理を行い、物体位置推定制御部８１６がバウンディングボックスの位置を補正するのに用いる動きベクトルを決定することで、バウンディングボックスの位置ずれを補正する。このため、対象物体４２１、４２１'が移動していた場合であっても、バウンディングボックスの位置ずれは生じない（対象物体４２１とバウンディングボックス４３０、対象物体４２１'とバウンディングボックス４３０'参照）。
次に、位置ずれを補正した補正後のバウンディングボックスの具体例について説明する。図１５は、位置ずれを補正したバウンディングボックスの具体例を示す図である。第１の実施形態に係るエッジ端末１１０によれば、動き探索部１１１３が動き探索処理を行い、物体位置推定制御部８１６がバウンディングボックスの位置を補正するのに用いる動きベクトルを決定することで、バウンディングボックスの位置ずれを補正する。このため、対象物体４２１、４２１'が移動していた場合であっても、バウンディングボックスの位置ずれは生じない（対象物体４２１とバウンディングボックス４３０、対象物体４２１'とバウンディングボックス４３０'参照）。
【0147】
また、図１５に示すように、バウンディングボックスのサイズが大きい場合、動き探索部１１１３が動き探索処理を行う際に用いるブロックサイズの種類が減り、かつ、ブロックサイズが大きくなるため、動きベクトルが算出されるブロックの数が少なくなる。
【0148】
具体的には、サイズの小さいバウンディングボックス４３０'の場合、ブロックサイズの種類は"３種類"であり、かつ、ブロックサイズの小さいブロックまで選択されるため（符号１５１０参照）、動きベクトルが算出されるブロックの数は、
・６４画素×６４画素のブロック：６
・３２画素×３２画素のブロック：２４
・１６画素×１６画素のブロック：６４
となり、合計"９４"となる。なお、ブロック分割処理は、非分割ブロックと分割ブロックの誤差を比較して、ブロック分割処理を行うか否かを決定するため、最終的に非分割になったブロックであっても、ブロック分割処理を行い動きベクトルを算出しているため、上記のような数となる。
・６４画素×６４画素のブロック：６
・３２画素×３２画素のブロック：２４
・１６画素×１６画素のブロック：６４
となり、合計"９４"となる。なお、ブロック分割処理は、非分割ブロックと分割ブロックの誤差を比較して、ブロック分割処理を行うか否かを決定するため、最終的に非分割になったブロックであっても、ブロック分割処理を行い動きベクトルを算出しているため、上記のような数となる。
【0149】
これに対して、サイズの大きいバウンディングボックス４３０の場合、ブロックサイズの種類は"１種類"であり、かつ、ブロックサイズの大きいブロックのみが選択されるため（符号１５２０参照）、動きベクトルが算出されるブロックの数は、
・６４画素×６４画素のブロック：２８
となり、合計"２８"となる。
・６４画素×６４画素のブロック：２８
となり、合計"２８"となる。
【0150】
つまり、選択したブロックサイズの範囲内でブロック分割処理を行うことで、動きベクトルが算出されるブロックの数を少なくすることができる。この結果、動き探索部１１１３の処理負荷を低減させることが可能となる。
【0151】
以上の説明から明らかなように、第１の実施形態に係るエッジ端末１１０は、第１時刻に撮影した第１画像に含まれる対象物体であって、撮影中に移動する対象物体を特定するバウンディングボックスの位置及びサイズを取得する。また、第１の実施形態に係るエッジ端末１１０は、複数種類のブロックサイズの中から、バウンディングボックスのサイズに応じた１または複数種類のブロックサイズを選択する。また、第１の実施形態に係るエッジ端末１１０は、選択したブロックサイズの範囲内で、第１画像内のバウンディングボックスの位置に応じた画像についてブロック分割処理を行う。また、第１の実施形態に係るエッジ端末１１０は、各ブロックの画像に基づいて第１画像より後に撮影した第２画像を参照画像として第１画像において動き探索処理を行うことで、第１画像の各ブロックの動きベクトルを算出する。また、第１の実施形態に係るエッジ端末１１０は、決定した各ブロックの動きベクトルに基づいて、バウンディングボックスの位置を補正し、位置を補正した後のバウンディングボックスを可視化する。
【0152】
このように、動き探索処理を行う際に用いるブロックサイズの種類を、バウンディングボックスのサイズに応じて変更することで、バウンディングボックスのサイズが大きいほど、動き探索処理を行う際の処理負荷を低減させることができる。
【0153】
［その他の実施形態］
上記第１の実施形態では、バウンディングボックスのサイズが大きい場合に、動き探索処理を行う際に用いるブロックサイズの種類を減らすものとして説明した。しかしながら、バウンディングボックスのサイズが小さい場合に、動き探索処理を行う際に用いるブロックサイズの種類を減らしてもよい。例えば、上記第１の実施形態では、バウンディングボックスのサイズが第３閾値未満であると判定された場合に、動き探索処理を行う際に用いるブロックサイズとして、
・６４画素×６４画素のブロック、
・３２画素×３２画素のブロック、
・１６画素×１６画素のブロック、
・８画素×８画素のブロック、
を選択するものとしたが、例えば、動き探索処理を行う際に用いるブロックサイズとして、
・１６画素×１６画素のブロック、
・８画素×８画素のブロック、
のみを選択してもよい。つまり、バウンディングボックスが小さい場合においても動き探索処理を行う際に用いるブロックサイズの種類を、バウンディングボックスのサイズに応じて変更するようにしてもよい。ただし、この場合、動き探索部１１１３では、はじめに、フレーム画像全体を、１６画素×１６画素のブロックに分割し、バウンディングボックスと重なるブロック内の画像に基づいて動き探索処理を行うことになる。そして、動き探索部１１１３では、当該ブロックと当該ブロックを分割した８画素×８画素の４つのブロックの動きベクトルを算出する。更に、動き探索部１１１３では、分割した８画素×８画素の４つのブロックの合計の誤差が当該ブロックの誤差より小さい場合に、当該ブロックそれぞれを、８画素×８画素のブロックに分割することになる。
上記第１の実施形態では、バウンディングボックスのサイズが大きい場合に、動き探索処理を行う際に用いるブロックサイズの種類を減らすものとして説明した。しかしながら、バウンディングボックスのサイズが小さい場合に、動き探索処理を行う際に用いるブロックサイズの種類を減らしてもよい。例えば、上記第１の実施形態では、バウンディングボックスのサイズが第３閾値未満であると判定された場合に、動き探索処理を行う際に用いるブロックサイズとして、
・６４画素×６４画素のブロック、
・３２画素×３２画素のブロック、
・１６画素×１６画素のブロック、
・８画素×８画素のブロック、
を選択するものとしたが、例えば、動き探索処理を行う際に用いるブロックサイズとして、
・１６画素×１６画素のブロック、
・８画素×８画素のブロック、
のみを選択してもよい。つまり、バウンディングボックスが小さい場合においても動き探索処理を行う際に用いるブロックサイズの種類を、バウンディングボックスのサイズに応じて変更するようにしてもよい。ただし、この場合、動き探索部１１１３では、はじめに、フレーム画像全体を、１６画素×１６画素のブロックに分割し、バウンディングボックスと重なるブロック内の画像に基づいて動き探索処理を行うことになる。そして、動き探索部１１１３では、当該ブロックと当該ブロックを分割した８画素×８画素の４つのブロックの動きベクトルを算出する。更に、動き探索部１１１３では、分割した８画素×８画素の４つのブロックの合計の誤差が当該ブロックの誤差より小さい場合に、当該ブロックそれぞれを、８画素×８画素のブロックに分割することになる。
【0154】
また、上記第１の実施形態では、第１閾値～第３閾値を用いて、動き探索処理を行う際に用いるブロックサイズの種類を、４パターンのいずれかにする場合について説明したが、分類するパターン数は４パターンに限定されない。
【0155】
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
撮影した第１画像に含まれる対象物体であって、撮影中に移動する該対象物体のバウンディングボックスの情報を取得する画像処理装置のコンピュータに、
複数種類のブロックサイズの中から、前記バウンディングボックスのサイズに応じた１または複数種類のブロックサイズを選択し、
選択したブロックサイズの範囲内で、前記第１画像内の前記バウンディングボックスの位置に応じた画像についてブロック分割処理を行い、各ブロックの画像に基づいて前記第１画像より後に撮影した第２画像を参照画像として前記第１画像において動き探索処理を行うことで、前記第１画像の各ブロックの動きベクトルを決定し、
決定した各ブロックの動きベクトルに基づいて、前記バウンディングボックスの位置を補正し、
位置を補正した後の前記バウンディングボックスを可視化する、
処理を実行させるための画像処理プログラム。
（付記２）
前記バウンディングボックスのサイズが大きいほど、選択するブロックサイズの種類を減らす、付記１に記載の画像処理プログラム。
（付記３）
前記バウンディングボックスのサイズが所定の閾値以上であった場合、複数種類のブロックサイズのうちの最大のブロックサイズを選択する、付記２に記載の画像処理プログラム。
（付記４）
前記複数種類のブロックサイズを降順に配列した際の１番目からＮ番目までのブロックサイズを選択する場合において、前記バウンディングボックスのサイズが大きいほどＮの値を小さくし、前記バウンディングボックスのサイズが小さいほどＮの値を大きくする、付記２に記載の画像処理プログラム。
（付記５）
前記決定した各ブロックの動きベクトルから１つの動きベクトルを算出し、算出した１つの動きベクトルに基づいて、前記バウンディングボックスの位置を補正する、付記１に記載の画像処理プログラム。
（付記６）
前記決定した各ブロックの動きベクトルのうち、所定の条件を満たさない動きベクトルを除外した、除外後の動きベクトルの平均値を算出することで、前記１つの動きベクトルを算出する、付記５に記載の画像処理プログラム。
（付記７）
位置を補正した後の前記バウンディングボックスを透過型スクリーンに投影する、付記１に記載の画像処理プログラム。
（付記８）
位置を補正した後の前記バウンディングボックスを前記第２画像に重畳して表示する、付記１に記載の画像処理プログラム。
（付記９）
前記第１画像内の前記バウンディングボックスの位置に応じた画像は、前記第１画像を、前記複数種類のブロックサイズのうちの最大のブロックサイズで分割したブロックであって、前記バウンディングボックスと重なるブロック内の画像である、付記１に記載の画像処理プログラム。
（付記１０）
撮影した第１画像に含まれる対象物体であって、撮影中に移動する該対象物体のバウンディングボックスの情報を取得する画像処理装置であって、
複数種類のブロックサイズの中から、前記バウンディングボックスのサイズに応じた１または複数種類のブロックサイズを選択する選択部と、
選択したブロックサイズの範囲内で、前記第１画像内の前記バウンディングボックスの位置に応じた画像についてブロック分割処理を行い、各ブロックの画像に基づいて前記第１画像より後に撮影した第２画像を参照画像として前記第１画像において動き探索処理を行うことで、前記第１画像の各ブロックの動きベクトルを決定する算出部と、
決定した各ブロックの動きベクトルに基づいて、前記バウンディングボックスの位置を補正する補正部と、
位置を補正した後の前記バウンディングボックスを可視化する可視化部と
を有する画像処理装置。
（付記１１）
撮影した第１画像に含まれる対象物体であって、撮影中に移動する該対象物体のバウンディングボックスの情報を取得する画像処理装置のコンピュータが、
複数種類のブロックサイズの中から、前記バウンディングボックスのサイズに応じた１または複数種類のブロックサイズを選択し、
選択したブロックサイズの範囲内で、前記第１画像内の前記バウンディングボックスの位置に応じた画像についてブロック分割処理を行い、各ブロックの画像に基づいて前記第１画像より後に撮影した第２画像を参照画像として前記第１画像において動き探索処理を行うことで、前記第１画像の各ブロックの動きベクトルを決定し、
決定した各ブロックの動きベクトルに基づいて、前記バウンディングボックスの位置を補正し、
位置を補正した後の前記バウンディングボックスを可視化する、
処理を実行する画像処理方法。
（付記１）
撮影した第１画像に含まれる対象物体であって、撮影中に移動する該対象物体のバウンディングボックスの情報を取得する画像処理装置のコンピュータに、
複数種類のブロックサイズの中から、前記バウンディングボックスのサイズに応じた１または複数種類のブロックサイズを選択し、
選択したブロックサイズの範囲内で、前記第１画像内の前記バウンディングボックスの位置に応じた画像についてブロック分割処理を行い、各ブロックの画像に基づいて前記第１画像より後に撮影した第２画像を参照画像として前記第１画像において動き探索処理を行うことで、前記第１画像の各ブロックの動きベクトルを決定し、
決定した各ブロックの動きベクトルに基づいて、前記バウンディングボックスの位置を補正し、
位置を補正した後の前記バウンディングボックスを可視化する、
処理を実行させるための画像処理プログラム。
（付記２）
前記バウンディングボックスのサイズが大きいほど、選択するブロックサイズの種類を減らす、付記１に記載の画像処理プログラム。
（付記３）
前記バウンディングボックスのサイズが所定の閾値以上であった場合、複数種類のブロックサイズのうちの最大のブロックサイズを選択する、付記２に記載の画像処理プログラム。
（付記４）
前記複数種類のブロックサイズを降順に配列した際の１番目からＮ番目までのブロックサイズを選択する場合において、前記バウンディングボックスのサイズが大きいほどＮの値を小さくし、前記バウンディングボックスのサイズが小さいほどＮの値を大きくする、付記２に記載の画像処理プログラム。
（付記５）
前記決定した各ブロックの動きベクトルから１つの動きベクトルを算出し、算出した１つの動きベクトルに基づいて、前記バウンディングボックスの位置を補正する、付記１に記載の画像処理プログラム。
（付記６）
前記決定した各ブロックの動きベクトルのうち、所定の条件を満たさない動きベクトルを除外した、除外後の動きベクトルの平均値を算出することで、前記１つの動きベクトルを算出する、付記５に記載の画像処理プログラム。
（付記７）
位置を補正した後の前記バウンディングボックスを透過型スクリーンに投影する、付記１に記載の画像処理プログラム。
（付記８）
位置を補正した後の前記バウンディングボックスを前記第２画像に重畳して表示する、付記１に記載の画像処理プログラム。
（付記９）
前記第１画像内の前記バウンディングボックスの位置に応じた画像は、前記第１画像を、前記複数種類のブロックサイズのうちの最大のブロックサイズで分割したブロックであって、前記バウンディングボックスと重なるブロック内の画像である、付記１に記載の画像処理プログラム。
（付記１０）
撮影した第１画像に含まれる対象物体であって、撮影中に移動する該対象物体のバウンディングボックスの情報を取得する画像処理装置であって、
複数種類のブロックサイズの中から、前記バウンディングボックスのサイズに応じた１または複数種類のブロックサイズを選択する選択部と、
選択したブロックサイズの範囲内で、前記第１画像内の前記バウンディングボックスの位置に応じた画像についてブロック分割処理を行い、各ブロックの画像に基づいて前記第１画像より後に撮影した第２画像を参照画像として前記第１画像において動き探索処理を行うことで、前記第１画像の各ブロックの動きベクトルを決定する算出部と、
決定した各ブロックの動きベクトルに基づいて、前記バウンディングボックスの位置を補正する補正部と、
位置を補正した後の前記バウンディングボックスを可視化する可視化部と
を有する画像処理装置。
（付記１１）
撮影した第１画像に含まれる対象物体であって、撮影中に移動する該対象物体のバウンディングボックスの情報を取得する画像処理装置のコンピュータが、
複数種類のブロックサイズの中から、前記バウンディングボックスのサイズに応じた１または複数種類のブロックサイズを選択し、
選択したブロックサイズの範囲内で、前記第１画像内の前記バウンディングボックスの位置に応じた画像についてブロック分割処理を行い、各ブロックの画像に基づいて前記第１画像より後に撮影した第２画像を参照画像として前記第１画像において動き探索処理を行うことで、前記第１画像の各ブロックの動きベクトルを決定し、
決定した各ブロックの動きベクトルに基づいて、前記バウンディングボックスの位置を補正し、
位置を補正した後の前記バウンディングボックスを可視化する、
処理を実行する画像処理方法。
【0156】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【0157】
１００ ：物体検出システム
１１０ ：エッジ端末
１２０ ：サーバ装置
８１１ ：画像取得部
８１２ ：物体位置推定処理部
８１３ ：物体検出結果格納メモリ
８１４ ：画像メモリ
８１５ ：動き探索部
８１６ ：物体位置推定制御部
８１７ ：映像表示部
９１１ ：画像取得部
９１２ ：検出結果重畳部
９１３ ：映像表示部
１１１１ ：物体位置推定処理部
１１１２ ：動き探索ブロック分割決定部
１１１３ ：動き探索部
１１０ ：エッジ端末
１２０ ：サーバ装置
８１１ ：画像取得部
８１２ ：物体位置推定処理部
８１３ ：物体検出結果格納メモリ
８１４ ：画像メモリ
８１５ ：動き探索部
８１６ ：物体位置推定制御部
８１７ ：映像表示部
９１１ ：画像取得部
９１２ ：検出結果重畳部
９１３ ：映像表示部
１１１１ ：物体位置推定処理部
１１１２ ：動き探索ブロック分割決定部
１１１３ ：動き探索部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【図13】
【図14A】
【図14B】
【図15】