特開 2024-53533 画像処理装置、画像処理システム、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024053533

(43)【公開日】2024-04-15

(54)【発明の名称】画像処理装置、画像処理システム、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240408BHJP

   H04N 7/18 20060101ALI20240408BHJP

【ＦＩ】

G06T7/20

H04N7/18 K

H04N7/18 G

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023112494

(22)【出願日】2023-07-07

(31)【優先権主張番号】P 2022159283

(32)【優先日】2022-10-03

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】大山 芽依

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054HA01

5C054HA26

5C054HA31

5L096CA02

5L096FA52

5L096FA70

5L096HA05

5L096HA09

(57)【要約】

【課題】移動物に表示される識別符号を認識できなくなった場合でも、移動物を追跡すること。
【解決手段】対象物体の存在するエリア情報を算出する、撮像装置と通信可能な画像処理装置であって、前記撮像装置が撮像した撮像範囲における画像を取得する取得部と、前記画像に含まれる対象物体が移動した位置の軌跡を算出する軌跡算出部と、前記画像に含まれる前記対象物体の個体を識別する識別符号を認識する認識部と、前記軌跡に基づいて、前記対象物体が存在するエリアを推定する推定部と、前記識別符号が認識された位置に基づき前記軌跡を取得し、前記取得された前記軌跡に対応する推定された前記エリアと前記識別符号とを関連付けた個体別エリア推定情報を算出する個体別推定情報算出部と、を有することを特徴とする。
【選択図】図３

【特許請求の範囲】

【請求項1】

対象物体の存在するエリア情報を算出する、撮像装置と通信可能な画像処理装置であって、
前記撮像装置が撮像した撮像範囲における画像を取得する取得部と、
前記画像に含まれる対象物体が移動した位置の軌跡を算出する軌跡算出部と、
前記画像に含まれる前記対象物体の個体を識別する識別符号を認識する認識部と、
前記軌跡に基づいて、前記対象物体が存在するエリアを推定する推定部と、
前記識別符号が認識された位置に基づき前記軌跡を取得し、前記取得された前記軌跡に対応する推定された前記エリアと前記識別符号とを関連付けた個体別エリア推定情報を算出する個体別推定情報算出部と、
を備える画像処理装置。

【請求項2】

前記認識部は、前記画像において検出された前記識別符号を含む領域の縦横比に基づいて、前記識別符号を認識できるか否かを判定する、請求項１に記載の画像処理装置。

【請求項3】

前記認識部は、認識した前記識別符号の文字数に基づいて、前記識別符号を認識できるか否かを判定する、請求項１に記載の画像処理装置。

【請求項4】

更に追跡終了判定部を有し、前記軌跡が更新されていない時間に基づいて、前記対象物体の追跡を終了するか否かを判定する、請求項１に記載の画像処理装置。

【請求項5】

更に追跡終了判定部を有し、前記対象物体が予め定めた時間あたりに移動した移動量に基づいて、前記対象物体の追跡を終了するか否かを判定する、請求項１に記載の画像処理装置。

【請求項6】

前記推定部は、前記軌跡に基づいて推定した将来進行方向と、前記エリアの前記画像における隣接エリアの方向に基づいて、前記対象物体が存在する前記エリアを推定する、請求項１に記載の画像処理装置。

【請求項7】

前記推定部は、前記対象物体が最後に検出された位置に基づいて、前記対象物体が存在する前記エリアを推定する、請求項１に記載の画像処理装置。

【請求項8】

撮像装置と対象物体の存在するエリア情報を算出する、前記撮像装置と通信可能な画像処理装置を有する画像処理システムであって、
前記画像処理装置は、
前記撮像装置が撮像した撮像範囲における画像を取得する取得部と、
前記画像に含まれる対象物体が移動した位置の軌跡を算出する軌跡算出部と、
前記画像に含まれる前記対象物体の個体を識別する識別符号を認識する認識部と、
前記軌跡に基づいて、前記対象物体が存在するエリアを推定する推定部と、
前記識別符号が認識された位置に基づき前記軌跡を取得し、前記取得された前記軌跡に対応する推定された前記エリアと前記識別符号とを関連付けた個体別エリア推定情報を算出する個体別推定情報算出部と、
を備える画像処理システム。

【請求項9】

前記画像処理装置から前記個体別エリア推定情報を受信する通信部と、
前記個体別エリア推定情報に基づいて、前記識別符号と前記識別符号が付与された前記対象物体が存在する前記エリアを表示する表示制御部と、
を備える端末装置と、
を更に備える、請求項８に記載の画像処理システム。

【請求項10】

対象物体の存在するエリア情報を算出する、撮像装置と通信可能な画像処理装置が実行する画像処理方法であって、
前記撮像装置が撮像した撮像範囲における画像を取得するステップと、
前記画像に含まれる対象物体が移動した位置の軌跡を算出するステップと、
前記画像に含まれる前記対象物体の個体を識別する識別符号を認識するステップと、
前記軌跡に基づいて、前記対象物体が存在するエリアを推定するステップと、
前記識別符号が認識された位置に基づき前記軌跡を取得し、前記取得された前記軌跡に対応する推定された前記エリアと前記識別符号とを関連付けた個体別エリア推定情報を算出するステップと、
を備える画像処理方法。

【請求項11】

対象物体の存在するエリア情報を算出する、撮像装置と通信可能な画像処理装置に、
前記撮像装置が撮像した撮像範囲における画像を取得するステップ、
前記画像に含まれる対象物体が移動した位置の軌跡を算出するステップ、
前記画像に含まれる前記対象物体の個体を識別する識別符号を認識するステップ、
前記軌跡に基づいて、前記対象物体が存在するエリアを推定するステップ、
前記識別符号が認識された位置に基づき前記軌跡を取得し、前記取得された前記軌跡に対応する推定された前記エリアと前記識別符号とを関連付けた個体別エリア推定情報を算出するステップ、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理システム、画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

作業場や施設などにおいて、カメラを用いて、人、物体、及び機械などの移動物を追跡する技術が一般に知られている。特許文献１には、１台以上のカメラを用いて、対象領域を動く移動物に表示されたユニークな識別符号を認識し、認識した識別符号が表示された移動物の撮像画像に基づいて、移動物を追跡する技術が開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、従来の技術では、移動物を追跡するために移動体をカメラで撮影するが、移動体が遮蔽物や障害物等で隠れると、移動物に表示される識別符号を認識できず、移動物を追跡することができないという問題があった。

【0004】

本発明の実施形態は、上記課題に鑑み、移動物に表示される識別符号を認識できなくなった場合でも、移動物を追跡することができることを目的とする。

【課題を解決するための手段】

【0005】

上述した課題を解決するために、本発明は、対象物体の存在するエリア情報を算出する、撮像装置と通信可能な画像処理装置であって、前記撮像装置が撮像した撮像範囲における画像を取得する取得部と、前記画像に含まれる対象物体が移動した位置の軌跡を算出する軌跡算出部と、前記画像に含まれる前記対象物体の個体を識別する識別符号を認識する認識部と、前記軌跡に基づいて、前記対象物体が存在するエリアを推定する推定部と、前記識別符号が認識された位置に基づき前記軌跡を取得し、前記取得された前記軌跡に対応する推定された前記エリアと前記識別符号とを関連付けた個体別エリア推定情報を算出する個体別推定情報算出部と、を有することを特徴とする。

【発明の効果】

【0006】

本発明の実施形態によれば、移動物に表示される識別符号を認識できなくなった場合でも、移動物を追跡することができる。

【図面の簡単な説明】

【0007】

【図1】本発明の実施形態に係る画像処理システムの概略図の一例を示す図である。

【図2】本発明の実施形態に係る画像処理装置及び端末装置のハードウェア構成の一例を示す図である。

【図3】本発明の実施形態に係る画像処理システムにおける機能ブロックの構成図の一例を示す図である。

【図4】本発明の実施形態に係る対象物体追跡処理に関するフローチャートの一例を示す図である。

【図5】本発明の実施形態に係るＩＤ認識情報の一例を示す図である。

【図6】本発明の実施形態に係る物体追跡情報の一例を示す図である。

【図7】本発明の実施形態に係る追跡番号情報の一例を示す図である。

【図8】本発明の実施形態に係るカメラ情報の一例を示す図である。

【図9】本発明の実施形態に係るエリア情報の一例を示す図である。

【図10】本発明の実施形態に係るエリアとカメラの撮像範囲を説明する図である。

【図11】本発明の実施形態に係るエリア推定方法を説明する図である。

【図12】本発明の実施形態に係るエリア推定情報の一例を示す図である。

【図13】本発明の実施形態に係るＩＤラベルと追跡対象物体の対応付け方法を説明する図である。

【図14】本発明の実施形態に係る個体別エリア推定情報の一例を示す図である。

【図15】本発明の実施形態に係る端末装置に表示する表示画面の一例を示す図である。

【図16】本発明の実施形態に係るＩＤ認識処理を説明する図である。

【図17】本発明の実施形態に係るＩＤ認識処理に関するフローチャートの一例を示す図である。

【発明を実施するための形態】

【0008】

以下、添付図面を参照しながら、本発明に係る画像処理装置、画像処理システム、画像処理方法、及びプログラムの実施形態を詳細に説明する。

【0009】

［第１の実施形態］
＜システム概要＞
図１は、本発明の実施形態に係る画像処理システムの概略図の一例を示す図である。画像処理システム１は、例えば、インターネットやローカルネットワーク等の通信ネットワーク２に接続する少なくともの一台のカメラ３、画像処理装置５、及び少なくともの一台の端末装置６を含む。カメラは、撮像装置とよんでもよい。

【0010】

カメラ３は、カメラ３の撮像領域において移動する追跡対象物体４を撮像し、撮像した画像を入力画像８として通信ネットワーク２を介して画像処理装置５に送信する。追跡対象物体４は、例えば、航空貨物輸送で用いられるＵＬＤ（Ｕｎｉｔ Ｌｏａｄ Ｄｅｖｉｃｅｓ）と呼ばれるコンテナであり、個体を識別するためのＩＤラベル７が付与されている。ＩＤラベル７には、個体を識別するために、例えば、個体ごとに異なる英数字などの文字が記載されており、この文字をＩＤ（又は識別符号、識別子）とよぶ。ＩＤはＩｄｅｎｔｉｆｉｃａｔｉｏｎの略である。

【0011】

画像処理装置５は、カメラ３から受信した入力画像８を用いて、追跡対象物体４の各個体が存在するエリアを推定した情報を含む個体別エリア推定情報９を出力し、個体別エリア推定情報９を端末装置６に送信する。画像処理装置５は、入力画像８において、追跡対象物体４のＩＤラベル７を、識別符号（ＩＤ）を認識できる程度に十分に撮像できておらず、ＩＤラベル７に記載されている識別符号（ＩＤ）を認識できない場合においても、追跡対象物体４の位置や進行方向を個別に検出して追跡する。その後、識別符号（ＩＤ）が認識できた時に、追跡対象物体４の追跡結果に関する物体追跡情報と識別符号（ＩＤ）の認識結果に関するＩＤ認識情報を関連付けることにより、個体別エリア推定情報９を出力することが可能である。個体別エリア推定情報９には、追跡対象物体４に対応する識別符号（ＩＤ）ごとに、追跡対象物体４が存在すると推定されるエリアの名称が含まれる。画像処理装置５は、通信ネットワーク２を介して個体別エリア推定情報９を管理者が操作するＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などの端末装置６に送信する。

【0012】

端末装置６は、受信した個体別エリア推定情報９を用いて、追跡対象物体４の識別符号（ＩＤ）と追跡対象物体４が存在するエリアなどを表示画面に表示する。管理者は、表示される情報を用いて、追跡対象物体４であるコンテナの現在位置を確認することにより、コンテナの管理を行うことが可能である。例えば、管理者は、端末装置６に工程表を入力し、工程表とコンテナの現在位置を比較することで、進捗の自動判定や、工程表と異なる場所にコンテナがある場合にアラームを鳴らすことが可能である。

【0013】

以上の構成により、画像処理システム１は、移動物の識別符号が常にカメラに映っていなくても、移動物を追跡して位置を特定することができる。なお、図１に示す画像処理システム１のシステム構成は一例である。例えば、カメラ３及び端末装置６の台数は任意の数であってよい。また、カメラ３は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルなどにより画像処理装置５に接続されており、ＵＳＢケーブルを介して入力画像８が送受信されてもよい。また、通信ネットワーク２は、例えば、移動体通信、又は無線ＬＡＮ等の無線通信による接続区間が含まれていても良い。また、端末装置６は、ＰＣ以外に、スマートフォンやタブレット端末などであってもよい。また、端末装置６は、画像処理装置５から受信した個体別エリア推定情報９に基づく表示画面を表示するためのアプリケーションを予めインストールしてもよい。或いは、画像処理装置５は、端末装置６が個体別エリア推定情報９に基づく表示画面を表示するための画面情報を端末装置６に送付してもよい。ここで、画面情報は、ＨＴＭＬ（Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）などを用いて作成されたＷｅｂブラウザを用いて表示可能な情報であってもよい。

【0014】

＜ハードウェア構成例＞
図２は、本発明の実施形態に係る画像処理装置５及び端末装置６のハードウェア構成の一例を示す図である。図２に示されるように、画像処理装置５及び端末装置６はコンピュータによって構築されており、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ（Ｈａｒｄ Ｄｉｓｋ）５０４、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）５０８、ネットワークＩ／Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ－ＲＷ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅｗｒｉｔａｂｌｅ）ドライブ５１４、メディアＩ／Ｆ５１６を備えている。

【0015】

これらのうち、ＣＰＵ５０１は、画像処理装置５及び端末装置６全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやプリンタ等である。ネットワークＩ／Ｆ５０９は、通信ネットワーク２を利用してデータ通信をするためのインターフェースである。バスライン５１０は、図２に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0016】

また、キーボード５１１は、文字、数値、又は各種指示などの入力に使用される複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷドライブ５１４は、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

【0017】

＜機能について＞
図３は、本発明の実施形態に係る画像処理システム１における機能ブロックの構成図の一例を示す図である。カメラ３は、通信部３０、撮像部３１、及び処理部３２を有する。

【0018】

通信部３０は、カメラ３が有する通信機能であり、例えば、通信ネットワーク２を介して画像処理装置５に入力画像８を送信する。

【0019】

撮像部３１は、カメラ３の機能を用いて撮像範囲を撮像した画像情報を取得する。画像情報は、例えば、１画素を８ビットで表現したモノクロの画像データであってもよいし、１画素をＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）の３色をそれぞれ８ビットで表現したカラーの画像データなどであってもよい。画像情報は、単に画像とよんでもよい。

【0020】

処理部３２は、撮像部３１が取得した画像情報に対して、静止画像又は動画像の圧縮符号化した圧縮画像データを生成する。更に、処理部３２は、生成した圧縮画像データ、カメラ３を特定するためのカメラ番号、及びカメラ３で画像情報が撮像された時刻を含む入力画像８を生成する。ここで、カメラ番号は、例えば、カメラごとにユニークな番号または文字列である。

【0021】

画像処理装置５は、通信部１０、取得部１１、認識部１２、追跡部１３、推定部１４、及び個体別推定情報算出部１５を有する。追跡部１３は、内部に物体位置検出部１６、軌跡算出部１７、及び追跡終了判定部１８を有する。個体別推定情報算出部１５は、内部にＩＤ位置照合部１９と追跡番号照合部２０を有する。これら各部は、画像処理装置５にインストールされた１以上のプログラムに含まれる命令をＣＰＵ５０１が実行することで実現される機能又は手段である。記憶部２１は、例えば、画像処理装置５が有するＨＤ５０４などの記憶装置によって実現可能である。

【0022】

通信部１０は、画像処理装置５が有する通信機能であり、通信ネットワーク２を介してカメラ３及び端末装置６と情報の送受信を行う。例えば、通信部１０は、入力画像８をカメラ３から受信する。また、通信部１０は、個体別エリア推定情報９を端末装置６に送信する。

【0023】

取得部１１は、通信部１０がカメラ３から受信した入力画像８を取得する。或いは、取得部１１は、画像処理装置５の記憶部２１などに記憶された入力画像８を取得する。また、取得部１１は、入力画像８に含まれる圧縮符号化されたデータを復号することで画像情報を取得し、取得した画像情報の１フレームごとに画像番号を付与する。また、取得部１１は、画像情報、画像番号、及び入力画像８に含まれるカメラ番号と画像情報が撮像された時刻を含む入力画像情報５０を生成し、生成した入力画像情報５０を認識部１２と追跡部１３の物体位置検出部１６に送信する。

【0024】

認識部１２は、取得部１１から受信した入力画像情報５０を用いて、追跡対象物体４のＩＤラベル７に記載された識別符号（ＩＤ）を認識し、認識結果としてＩＤ認識情報５１を算出して、算出したＩＤ認識情報５１を個体別推定情報算出部１５のＩＤ位置照合部１９に送信する。即ち、認識部１２は、取得した画像を用いて、対象物体に付与された識別符号を認識する。

【0025】

追跡部１３は、画像処理装置５の取得部１１から受信した入力画像情報５０を用いて、物体追跡情報５３を算出して、算出した物体追跡情報５３を個体別推定情報算出部１５のＩＤ位置照合部１９に送信する。即ち、追跡部１３は、取得した画像を用いて、対象物体が移動した軌跡を算出する。

【0026】

物体位置検出部１６は、入力画像情報５０を用いて、物体位置情報５２を算出して、算出した物体位置情報５２を追跡部１３の軌跡算出部１７に送信する。

【0027】

軌跡算出部１７は、物体位置検出部１６から受信した物体位置情報５２を用いて、物体追跡情報５３を算出し、算出した物体追跡情報５３を追跡部１３の追跡終了判定部１８と個体別推定情報算出部１５のＩＤ位置照合部１９に送信する。

【0028】

追跡終了判定部１８は、軌跡算出部１７から受信した物体追跡情報５３を用いて、追跡番号ごとに追跡対象物体４の追跡が終了したか否かを判定する。更に、追跡終了判定部１８は、追跡が終了したと判定した追跡対象物体４の追跡番号に対応する追跡番号情報５４を算出し、算出した追跡番号情報５４を推定部１４に送信する。

【0029】

推定部１４は、追跡部１３から受信した追跡番号情報５４と記憶部２１から受信したエリア情報５６を用いて、エリア推定情報５７を算出し、算出したエリア推定情報５７を個体別推定情報算出部１５の追跡番号照合部２０に送信する。即ち、推定部１４は、追跡部１３が算出した軌跡に基づいて、対象物体が存在するエリアを推定する。

【0030】

個体別推定情報算出部１５は、認識部１２から受信したＩＤ認識情報５１、追跡部１３から受信した物体追跡情報５３、及び推定部１４から受信したエリア推定情報５７を用いて、個体別エリア推定情報９を算出する。即ち、個体別推定情報算出部１５は、受信した情報を用いて、認識部１２が認識した識別符号と、推定部１４が推定したエリアとを関連付けた個体別エリア推定情報９を算出する。また、個体別推定情報算出部１５は、算出した個体別エリア推定情報９を通信部１０に送信する。

【0031】

ＩＤ位置照合部１９は、ＩＤ認識情報５１と物体追跡情報５３を用いて、ＩＤ追跡情報５８を算出し、算出したＩＤ追跡情報５８を個体別推定情報算出部１５の追跡番号照合部２０に送信する。

【0032】

追跡番号照合部２０は、ＩＤ位置照合部１９から受信したＩＤ追跡情報５８と推定部１４から受信したエリア推定情報５７を用いて、個体別エリア推定情報９を算出し、算出した個体別エリア推定情報９を通信部１０に送信する。

【0033】

端末装置６は、通信部６０、表示制御部６１、および操作受付部６２を有する。これら各部は、端末装置６にインストールされた１以上のプログラムに含まれる命令をＣＰＵ５０１が実行することで実現される機能又は手段である。

【0034】

通信部６０は、端末装置６が有する通信機能であり、通信ネットワーク２を介して画像処理装置５と情報の送受信を行う。

【0035】

表示制御部６１は、受信した個体別エリア推定情報９を用いて、追跡対象物体４の識別符号（ＩＤ）と追跡対象物体４が存在するエリアを含む表示画面などを端末装置６のディスプレイ５０６などに表示する。

【0036】

操作受付部６２は、端末装置６のキーボード５１１やポインティングデバイス５１２を介して、管理者による文字入力やボタンの押下などの操作を受け付ける。

【0037】

＜対象物体追跡処理＞
図４は、本発明の実施形態に係る対象物体追跡処理に関するシーケンスの一例を示す図である。本シーケンスでは、画像処理装置５が、カメラ３から受信した入力画像８を用いて、追跡対象物体４の各個体がどのエリアに存在するかを推定した情報を含む個体別エリア推定情報９を出力し、個体別エリア推定情報９を端末装置６に送信する。以下、図４の各ステップの処理について説明する。

【0038】

ステップＳ１００：画像処理装置５の取得部１１は、通信部１０がカメラ３の通信部３０から通信ネットワーク２を介して受信した入力画像８を取得する。或いは、取得部１１は、カメラ３の通信部３０から受信した入力画像８でなく、画像処理装置５の記憶部２１などに記憶された入力画像８を取得してもよい。入力画像８には、カメラ３で撮像された画像を圧縮符号化したデータ、カメラ３を特定するためのカメラ番号、及びカメラ３で画像情報が撮像された時刻が含まれている。

【0039】

次に、取得部１１は、入力画像８に含まれる圧縮符号化したデータを復号することで画像情報を取得し、取得した画像情報の１フレームごとに画像番号を付与する。画像番号は、ユニークな番号を採番してもよいし、カメラ番号とその画像を撮像した時刻の組み合わせで表現してもよい。

【0040】

最後に、取得部１１は、画像情報、画像番号、及び入力画像８に含まれるカメラ番号と画像情報が撮像された時刻を含む入力画像情報５０を生成し、生成した入力画像情報５０を認識部１２と追跡部１３の物体位置検出部１６に送信する。取得部１１は、１フレームの画像情報ごとに入力画像情報５０を作成しても良いし、複数フレーム分の画像情報を纏めたブロックごとに入力画像情報５０を作成しても良い。

【0041】

ステップＳ１０１：画像処理装置５の認識部１２は、画像処理装置５の取得部１１から受信した入力画像情報５０を用いて、追跡対象物体４のＩＤラベル７に記載された識別符号（ＩＤ）を認識し、認識結果としてＩＤ認識情報５１を算出して、算出したＩＤ認識情報５１を個体別推定情報算出部１５のＩＤ位置照合部１９に送信する。ＩＤ認識情報５１の算出方法の詳細については後述する。図５は、本発明の実施形態に係るＩＤ認識情報５１の一例を示す図である。図５のＩＤ認識情報５１は、画像番号２１１、カメラ番号２１２、時刻２１３、及びＩＤ認識結果２１４の項目を有する。画像番号２１１、カメラ番号２１２、及び時刻２１３は、それぞれＩＤ認識を実行した１フレームの画像に対応する画像番号、カメラ番号、及び時刻であり、これらの情報は入力画像８から取得できる。ＩＤ認識結果２１４は、ＩＤ認識の結果であり、画像において検出されたＩＤラベル７の位置（中心点の座標など）と認識された識別情報（ＩＤ）を含む。例えば、画像番号２１１が「０００００１」の画像に対するＩＤ認識結果２１４は、「｛Ｘ：１０， Ｙ：２０， ＩＤ："ＡＢＣ１２３"｝」である。これは、ＩＤラベル７の中心点のＸ座標が「１０」、Ｙ座標が「２０」であり、認識された識別情報（ＩＤ）が「ＡＢＣ１２３」であることを意味する。中心点は、例えば、ＩＤラベル７の領域として認識された長方形の対角線の交点の座標とする。或いは、中心点の座標でなく、長方形の左上と右下の頂点の座標をＩＤ認識結果２１４に含めてもよい。また、ＩＤラベル７又は識別情報（ＩＤ）が認識できない場合は、画像番号２１１が「０００００４」の画像に対するＩＤ認識結果２１４のように「｛｝」と表示される。図４に戻って説明する。

【0042】

ステップＳ１０２：画像処理装置５の追跡部１３は、画像処理装置５の取得部１１から受信した入力画像情報５０を用いて、物体追跡情報５３を算出して、算出した物体追跡情報５３を個体別推定情報算出部１５のＩＤ位置照合部１９に送信する。

【0043】

この処理において、まず、追跡部１３の物体位置検出部１６は、入力画像情報５０を用いて、物体位置情報５２を算出して、算出した物体位置情報５２を追跡部１３の軌跡算出部１７に送信する。物体位置検出部１６は、例えば、入力画像情報５０に含まれる画像に対して、予め追跡対象物体４の画像を用いて学習しておいた物体検出の深層学習モデルを使用し、ＩＤラベル７がカメラ３に映っているか否かにかかわらず、追跡対象物体４の画像内の位置座標を検出する。物体検出のモデルは、深層学習ではなく、テンプレートマッチング等の物体検出手法を用いても良い。物体位置検出部１６は、検出された追跡対象物体４の画像における領域に関する情報（例えば、長方形の左上と右下の頂点の座標）と、入力画像情報５０に含まれる情報（画像番号、カメラ番号、及び時刻）とを合わせた物体位置情報５２を算出して、算出した物体位置情報５２を追跡部１３の軌跡算出部１７に送信する。

【0044】

次に、追跡部１３の軌跡算出部１７は、物体位置情報５２を用いて、物体追跡情報５３を算出し、算出した物体追跡情報５３を追跡部１３の追跡終了判定部１８と個体別推定情報算出部１５のＩＤ位置照合部１９に送信する。軌跡算出部１７は、以下に示す方法により、追跡対象物体４が移動した軌跡を算出する。まず、軌跡算出部１７は、物体位置情報５２をカメラ番号ごとに分割して、それぞれ時系列順に並べる。次に、軌跡算出部１７は、あるカメラのある時刻で検出された追跡対象物体４の画像における領域とその１つ前の時刻で検出された追跡対象物体４の画像における領域を用いて、領域の重なり度合いを示す指標であるＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を算出する。軌跡算出部１７は、ＩｏＵがある閾値を越えた場合、これら２つの物体は同一の個体とみなし、それぞれに同じ追跡番号を付与することで、追跡対象物体４を追跡して、移動した軌跡を算出する。或いは、カルマンフィルタや深層学習を用いた追跡手法を利用する、又は組み合わせて利用しても良い。最後に、軌跡算出部１７は、算出された追跡番号と、入力画像情報５０に含まれる情報（画像番号、カメラ番号、及び時刻）とを組み合わせた物体追跡情報５３を作成する。図６は、本発明の実施形態に係る物体追跡情報５３の一例を示す図である。図６の物体追跡情報５３は、画像番号２２１、カメラ番号２２２、時刻２２３、及び物体追跡結果２２４の項目を有する。画像番号２２１、カメラ番号２２２、及び時刻２２３は、それぞれ軌跡の算出を実行した画像に対する画像番号、カメラ番号、及び時刻であり、これらの情報は入力画像８から取得できる。物体追跡結果２２４は、物体追跡の結果であり、追跡した追跡対象物体４の位置情報と追跡番号を含む。例えば、画像番号２２１が「０００００１」の画像に対する物体追跡結果２２４は、「｛Ｘ０：５，Ｙ０：１０，ｘ１：９０，ｙ１：１２０，ｔｒａｃｋｉｎｇ＿ｎｏ：１｝」である。ここには、追跡した追跡対象物体４の位置情報として、検出された追跡対象物体４の画像における長方形の領域における対角する２つの頂点（左上と右下の頂点）の座標が含まれている。或いは、位置情報として、検出された追跡対象物体４の画像における長方形の領域の幅や高さが含まれていてもよいし、領域の全画素（ピクセル）の座標がふくまれていてもよい。また、追跡番号を示す情報として、「ｔｒａｃｋｉｎｇ＿ｎｏ：１」が含まれている。また、画像番号２２１が「０００００３」の画像に対する物体追跡結果２２４は、「｛Ｘ０：１５，Ｙ０：２５，ｘ１：１１０，ｙ１：１３５，ｔｒａｃｋｉｎｇ＿ｎｏ：１｝，｛Ｘ０：１３０，Ｙ０：９０，ｘ１：２００，ｙ１：１５０，ｔｒａｃｋｉｎｇ＿ｎｏ：２｝」である。ここには、２つの異なる追跡対象物体４に対する位置情報と追跡番号が含まれている。図４に戻って説明する。

【0045】

ステップＳ１０３：画像処理装置５の追跡部１３は、追跡番号情報５４を算出して、算出した追跡番号情報５４を推定部１４に送信する。この処理において、追跡部１３の追跡終了判定部１８は、軌跡算出部１７から受信した物体追跡情報５３を用いて、追跡対象物体４の追跡が終了したか否かを判定する。追跡終了判定部１８は、まず、受信した物体追跡情報５３を追跡番号ごとに分割した追跡番号分割情報を作成する。ここで、新しい追跡番号が出現した場合には、新たな追跡番号の追跡番号分割情報として保持する。また、過去に出現した追跡番号が再び現れた場合、その情報は保持していた追跡番号分割情報の末尾に追加する。このようにして、追跡対象物体４の追跡結果が追跡番号ごと時系列順に並んだ追跡番号情報５４を作成する。図７は、本発明の実施形態に係る追跡番号情報５４の一例を示す図である。図７の追跡番号情報５４は、追跡番号ごとに、画像番号２３１、カメラ番号２３２、時刻２３３、及び物体位置座標２３４の項目を有する。これらの項目は、それぞれ図６の物体追跡情報５３の画像番号２２１、カメラ番号２２２、時刻２２３、及び物体追跡結果２２４の項目と同じ情報である。ただし、物体位置座標２３４は、物体追跡結果２２４から追跡番号に関する情報を除いており、追跡対象物体４の位置情報のみを含む。図４に戻って説明する。

【0046】

次に、追跡部１３の追跡終了判定部１８は、各追跡番号について、追跡が終了したか否かを判定する。追跡終了判定部１８は、以下に示す２つの条件のいずれかが満たされる場合に、追跡が終了したと判定する。

【0047】

第１の条件は、追跡対象物体４がカメラ３の撮像範囲外に移動した場合である。この条件に関する判定を行うために、追跡終了判定部１８は、追跡番号ごとに追跡番号情報５４における最も新しい時刻を参照する。この時刻が、例えば５秒など、予め定めた一定時間以上更新されていない場合、該当する追跡番号の追跡対象物体４はカメラの撮像エリア外へ進行したとみなし、追跡を終了したと判定する。即ち、追跡終了判定部１８は、対象物体が移動した軌跡が更新されていない時間に基づいて、対象物体の追跡を終了するか否かを判定する。

【0048】

第２の条件は、追跡対象物体４がカメラ３の撮像範囲内で停止した場合である。追跡終了判定部１８は、追跡番号ごとに追跡番号情報５４における最新の時刻での追跡対象物体４の中心位置座標と、最新の時刻から予め定めた一定時間前（例えば５秒前など）の時刻の中心位置座標とを比較し、それがある閾値（例えば５０ピクセルなど）以上移動していなかった場合、追跡が終了したと判定する。即ち、追跡終了判定部１８は、対象物体が予め定めた時間あたりに移動した移動量に基づいて、対象物体の追跡を終了するか否かを判定する。また、追跡終了判定部１８は、次に追跡対象物体４の中心位置座標がある閾値以上に移動した場合には、同じ追跡番号で追跡を再開してもよい。

【0049】

ステップＳ１０４：画像処理装置５の追跡部１３は、追跡終了判定部１８により追跡が終了したと判定された追跡番号が存在する場合は、処理をステップＳ１０５に遷移させ、そうでない場合は、処理をステップＳ１００に遷移させる。

【0050】

ステップＳ１０５：画像処理装置５の推定部１４は、追跡部１３から受信した追跡番号情報５４と記憶部２１から受信したエリア情報５６を用いて、エリア推定情報５７を算出し、算出したエリア推定情報５７を個体別推定情報算出部１５に送信する。この処理において、まず、推定部１４は、追跡番号情報５４に含まれるカメラ番号を含むカメラ情報５５を画像処理装置５の記憶部２１に送信する。図８は、本発明の実施形態に係るカメラ情報５５の一例を示す図である。図８のカメラ情報５５は、カメラ番号２４１、カメラ設置位置２４２、及びカメラ機種２４３の項目を有する。カメラ番号２４１は、カメラ３を特定するための番号である。カメラ設置位置２４２は、カメラ３の設置位置を示す。例えば、｛Ｘ：５００，Ｙ：１００，Ｚ：３００｝は、カメラの設置位置が、カメラが設置された部屋における横、奥行き、高さの位置が基準となる点からそれぞれが５ｍ、１ｍ、３ｍであることを示す。カメラ機種２４３は、カメラの機種を示す情報である。これらの項目以外にも、カメラの設置角度や撮像範囲などを示す項目が含まれていても良い。また、カメラ情報５５は、カメラ３から送信される入力画像８に毎回全ての項目の情報が含まれていてもよいし、カメラ番号２４１以外の項目の情報は、最初に送信した後は、一定周期、或いは情報を更新する場合のみ入力画像８に含めるようにしてもよい。図４に戻って説明する。

【0051】

画像処理装置５の記憶部２１は、推定部１４から受信したカメラ情報５５に対応するエリア情報５６を推定部１４に送信する。図９は、本発明の実施形態に係るエリア情報５６の一例を示す図である。図９のエリア情報５６は、隣接エリア名２５１、方向２５２、画像内位置２５３の項目を有する。隣接エリア名２５１は、カメラ番号に対応するカメラ３の撮像範囲に隣接するエリアの名称である。方向２５２は、カメラ番号に対応するカメラ３の撮像範囲で撮像した画像における隣接エリアの方向を示す。例えば、「｛Ｘ：０、Ｙ：１｝」は画像における上方向、「｛Ｘ：－１、Ｙ：０｝」は画像における左方向、「｛Ｘ：０、Ｙ：－１｝」は画像における下方向を示す。即ち、Ｘは画像の横方向を示し、Ｘ＝―１は左、Ｘ＝１は右、Ｘ＝０は真ん中を示す。Ｙは画像の縦方向を示し、Ｙ＝―１は下、Ｙ＝１は上、Ｙ＝０は真ん中を示す。また、「｛Ｘ：１、Ｙ：１｝」により斜め右上方向を示してもよい。画像内位置２５３は、隣接エリアの方向を示すヒートマップであり、隣接エリアが近い場所ほど色が濃く表示されている。隣接エリア名２５１の「Ａ」「Ｂ」「Ｃ」に対応する画像内位置２５３は、それぞれ図９の下部に示す「マップ１０ａ」「マップ１０ｂ」「マップ１０ｃ」である。更に、エリア情報５６には、カメラの設置位置や撮像範囲、及び全体の地図とエリアとの対応などの情報が含まれていても良い。

【0052】

図１０は、本発明の実施形態に係るエリアとカメラの撮像範囲を説明する図である。図１０の左側の説明図２６０は、狭い通路におけるエリアの例を示す。説明図２６０には、Ａ～Ｆの６つのエリアが存在し、エリアごとに存在する追跡対象物体のＩＤを管理する。また、説明図２６０には、十字路に１台のカメラ２６１、Ｔ字路に１台のカメラ２６２の合計で２台のカメラが設置されている。このようにカメラを配置することで、追跡対象物体が各エリアを跨いだ移動をする際に、必ずどちらかのカメラの撮像範囲（斜線で塗られた領域）に侵入することになる。したがって、すべての通路が見えるようにカメラを置く必要がなく、最小限の台数によるカメラ設置により、全ての追跡対象物体が存在するエリアを推定することが可能となる。

【0053】

また、図１０の右側の説明図２７０は、広い通路におけるエリアの例を示す。説明図２７０には、Ｈ～Ｋの４つのエリアが存在し、エリアごとに存在する追跡対象物体のＩＤを管理する。また、説明図２７０には、４つのエリアの分岐点にカメラ２７１、及びエリアＪとエリアＫとの境界線上にカメラ２７２が設置されている。ここで、カメラの撮像範囲（斜線で塗られた領域）に入らない各境界線の長さが追跡対象物体の幅よりも小さくなるようにカメラを設置すれば、追跡対象物体が各エリアを跨いだ移動をする際に、必ずいずれかのカメラの撮像範囲に侵入することになる。したがって、すべての通路が見えるようにカメラを置く必要がなく、最小限の台数によるカメラ設置により、全ての追跡対象物体が存在するエリアを推定することが可能となる。

【0054】

なお、各カメラの撮像範囲は、隣接する１つ以上のエリアに分割して含めても良いし、個別のエリアとして「第１カメラ」等のエリア名を別途付けても良い。また、説明図２６０におけるカメラ２６１に対応するエリア情報５６には、少なくとも、隣接するＡ～Ｄのエリアの名称と、カメラ２６１の撮像画像において各エリアがどの方向にあるのかを示す情報が含まれる。また、カメラの撮像範囲がエリアに含まれる場合、エリア情報５６には、そのエリアがどのように分割されているかについての情報（境界線の位置など）も含まれる。図４に戻って説明する。

【0055】

最後に、画像処理装置５の推定部１４は、追跡部１３から受信した追跡番号情報５４と記憶部２１から受信したエリア情報５６を用いて、エリア推定情報５７を算出し、算出したエリア推定情報５７を個体別推定情報算出部１５の追跡番号照合部２０に送信する。図１１は、本発明の実施形態に係るエリア推定方法を説明する図である。図１１の左側の説明図２８０と右側の説明図２９１は、図１０のカメラ２６１の撮像範囲おける、推定部１４によるエリア推定方法のそれぞれ第１の例と第２の例を説明している。

【0056】

説明図２８０が示す第１の例では、まず、推定部１４は、追跡部１３から受信した図７の追跡番号情報５４において、特定の追跡番号における追跡対象物体の物体位置座標２３４を最新の時刻から遡って一定個数（例えば３個）抽出する。説明図２８０には、カメラ２６１により撮像される撮像画像２８１において、抽出した物体位置座標２３４に基づいて、時刻の経過順に３つの追跡対象物体の物体位置領域２８２、２８５、２８８と、それらの中心位置２８３、２８６、２８９が表示されている。また、追跡対象物体の中心位置２８３と中心位置２８６とを結ぶ軌跡２８４と、中心位置２８６と中心位置２８９とを結ぶ軌跡２８７も表示されている。次に、推定部１４は、これらの追跡結果を用いて、将来軌跡２９０を予測する。予測には、例えば、深層学習モデルを含む機械学習等を用いる。更に、推定部１４は、予測した将来軌跡２９０と記憶部２１から受信した図９のエリア情報５６における方向２５２に基づいて、進行方向の推定エリアとしてエリアＢを算出する。即ち、推定部１４は、対象物体が移動した軌跡に基づいて推定した将来進行方向と、カメラの撮像範囲で撮像した画像における隣接エリアの方向に基づいて、対象物体が存在するエリアを推定する。

【0057】

説明図２９１が示す第２の例では、まず、カメラ２６１により撮像される撮像画像２９２において、予め隣接するエリアを区切っておく。区切る方法は、手動であっても良いし、図９のエリア情報５６の方向２５２や画像内位置２５３を用いて自動で行っても良い。まず、推定部１４は、特定の追跡番号の追跡番号情報５４において、最も新しい時刻における追跡対象物体の物体位置座標２３４からその中心位置の座標を算出する。次に、推定部１４は、追跡対象物体が、カメラ２６１に最後に映った場所に対応するエリアに移動したと判断し、この座標があらかじめ区切られていた範囲のどこに属するかによって、進行方向の推定エリアを算出する。説明図２９１では、最後に追跡された中心位置２９３がエリアＢに対応する範囲にあるため、推定部１４は、進行方向の推定エリアとしてエリアＢを算出する。即ち、推定部１４は、対象物体が最後に検出された位置に基づいて、対象物体が存在するエリアを推定する。

【0058】

図１２は、本発明の実施形態に係るエリア推定情報の一例を示す図である。図１２のエリア推定情報５７は、追跡番号３０１、最終撮像時刻３０２、カメラ番号３０３、及び推定エリア３０４の項目を有する。追跡番号３０１は、推定部１４が推定エリアを算出した追跡対象物体に対応する追跡番号である。最終撮像時刻３０２は、推定部１４が推定エリアを算出した追跡対象物体が最後に撮像された時刻である。カメラ番号３０３は、推定部１４が推定エリアを算出した追跡対象物体を撮像したカメラを特定する番号である。推定エリア３０４は、推定部１４が算出した追跡対象物体が存在するエリアの名称である。図４に戻って説明する。

【0059】

ステップＳ１０６：画像処理装置５の個体別推定情報算出部１５は、認識部１２から受信したＩＤ認識情報５１、追跡部１３から受信した物体追跡情報５３、及び推定部１４から受信したエリア推定情報５７を用いて、個体別エリア推定情報９を算出する。また、個体別推定情報算出部１５は、算出した個体別エリア推定情報９を通信部１０に送信する。この処理において、まず、認識部１２のＩＤ位置照合部１９は、ＩＤ認識情報５１と物体追跡情報５３を用いて、ＩＤ追跡情報５８を算出し、算出したＩＤ追跡情報５８を追跡番号照合部２０に送信する。ＩＤ位置照合部１９は、まず、ＩＤ認識情報５１のＩＤ認識結果２１４に認識結果が存在するか否かを確認する。認識結果が存在する場合、ＩＤ位置照合部１９は、ＩＤ認識結果２１４が示すＩＤラベルの位置と最も近い位置にある、物体追跡情報５３の物体追跡結果２２４が示す追跡対象物体を選択する。更に、ＩＤ位置照合部１９は、選択した追跡対象物体の追跡番号を取得し、ＩＤラベルに記載されている識別符号（ＩＤ）と取得した追跡番号を含むＩＤ追跡情報５８を算出する。

【0060】

図１３は、本発明の実施形態に係るＩＤラベルと追跡対象物体の対応付け方法を説明する図である。図１３の撮像画像３０５には、検出されたＩＤラベルの領域であるＩＤラベル領域３０６と２つの異なる追跡対象物体の領域である追跡対象物体領域３０７、３０８が表示されている。このとき、ＩＤ位置照合部１９は、ＩＤラベル領域３０６に最も近い追跡対象物体領域３０７を選択して、その追跡対象物体の追跡番号を取得する。これにより、ＩＤラベル領域３０６に対応するＩＤと追跡対象物体が対応付けされる。また、撮像画像３０５より後の時刻における撮像画像３０９には、ＩＤラベル領域３１０とは別の検出されたＩＤラベルの領域であるＩＤラベル領域３１０と２つの異なる追跡対象物体の領域である追跡対象物体領域３１１、３１２が表示されている。ここで、追跡対象物体領域３１１、３１２は、それぞれ追跡対象物体領域３０７、３０８と同じ追跡番号の追跡対象物体の領域である。このとき、ＩＤ位置照合部１９は、ＩＤラベル領域３１０に最も近い追跡対象物体領域３１２を選択して、その追跡対象物体の追跡番号を取得する。これにより、ＩＤラベル領域３１０に対応するＩＤと追跡対象物体が対応付けされる。また、追跡対象物体領域３１１は、すでに別のＩＤと対応付けされていることから、ＩＤ位置照合部１９は、ＩＤと対応付けがされていない追跡対象物体領域３１２のみを選択の対象としてもよい。更に、ＩＤ位置照合部１９は、ＩＤと追跡対象物体の対応付けができた後に、認識できていない過去の時間に遡って、ＩＤと追跡対象物体の対応付けを行ってもよい。また、ＩＤと追跡対象物体の対応付けは、ＩＤラベルの領域の中心位置と追跡対象物体の領域の距離に基づいて、又は、ＩＤラベルの領域の中心位置が追跡対象物体の領域に含まれるか否かに基づいて行ってもよい。図４に戻って説明する。

【0061】

次に、認識部１２の追跡番号照合部２０は、ＩＤ位置照合部１９から受信したＩＤ追跡情報５８と推定部１４から受信したエリア推定情報５７を用いて、個体別エリア推定情報９を算出し、算出した個体別エリア推定情報９を通信部１０に送信する。即ち、追跡番号照合部２０は、ＩＤ追跡情報５８を用いて、図１２のエリア推定情報５７の追跡番号３０１を対応するＩＤに置き換えることにより、個体別エリア推定情報９を算出する。図１４は、本発明の実施形態に係る個体別エリア推定情報の一例を示す図である。図１４の個体別エリア推定情報９は、ＩＤ３２１、最終撮像時刻３２２、カメラ番号３２３、及び推定エリア３２４の項目を有する。ＩＤ３２１は、追跡番号照合部２０が、ＩＤ追跡情報５８を用いて、図１２のエリア推定情報５７の追跡番号３０１を対応するＩＤに置き換えることにより算出されたものである。最終撮像時刻３２２、カメラ番号３２３、及び推定エリア３２４は、図１２のエリア推定情報５７の最終撮像時刻３０２、カメラ番号３０３、及び推定エリア３０４と同じである。即ち、個体別推定情報算出部１５は、識別符号（ＩＤ）が検出された位置と、対象物体が移動した軌跡を関連付けることにより、個体別エリア推定情報９を算出する。図４に戻って説明する。

【0062】

ステップＳ１０７：画像処理装置５の通信部１０は、個体別推定情報算出部１５から受信した個体別エリア推定情報９を端末装置６の通信部６０に通信ネットワーク２を介して送信する。端末装置６の表示制御部６１は、受信した個体別エリア推定情報９に基づいて、表示画面を端末装置６のディスプレイ５０６に表示する。図１５は、本発明の実施形態に係る端末装置に表示する表示画面の一例を示す図である。図１５の表示画面３３０は、地図表示領域３３１、入力領域３３２、検索開始ボタン３３３、及びＩＤ別エリア表示領域３３４を有する。更に、地図表示領域３３１は、地図３３５と指定エリア情報３３６を有する。地図３３５は、管理者が管理する倉庫の地図であり、エリア名（Ａ～Ｆ、第１カメラ、第２カメラ）と各エリアの領域の右上に存在するコンテナの数が表示されている。指定エリア情報３３６には、指定されたエリア（斜線で示すエリアＡが指定されている）に存在するコンテナのＩＤが表示されている。また、指定エリア情報３３６の右側にあるスクロールボタンを移動させることで、表示されていないＩＤを表示させることができる。ＩＤ別エリア表示領域３３４には、端末装置６が受信した個体別エリア推定情報９に含まれる全てのコンテナに対するＩＤとコンテナが存在するエリアが表示されている。また、ＩＤ別エリア表示領域３３４の右側にあるスクロールボタンを移動させることで、表示されていないＩＤとエリアを表示させることができる。更に、管理者は、入力領域３３２に検索したいコンテナのＩＤを入力した後、検索開始ボタン３３３を押下することにより、ＩＤ別エリア表示領域３３４に、検索したコンテナのＩＤとエリアを表示させることが可能である。

【0063】

＜ＩＤ認識処理＞
続いて、図４のステップＳ１０１において、画像処理装置５の認識部１２が実行するＩＤ認識情報５１の算出における算出方法の詳細について説明する。図１６は、本発明の実施形態に係るＩＤ認識処理を説明する図である。図１６の撮像画像２００はＩＤ認識を行う場合の例を示しており、撮像画像２０３はＩＤ認識を行わない場合の例を示している。撮像画像２００では、追跡対象物体２０１に付与されたＩＤラベル２０２が隠れることなく完全に撮像されていることから、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）技術を用いてＩＤラベル２０２に記載されているＩＤ（ＡＢＣ１２３）を認識することが可能である。一方、撮像画像２０３では、追跡対象物体２０４に付与されたＩＤラベル２０５の一部が作業者により隠れているため、ＩＤラベル２０５に記載されているＩＤを認識することができない。即ち、認識部１２は、撮像画像に対してＯＣＲにより文字認識を実行した結果に基づいて、ＩＤ認識を行うか否かを判断し、ＩＤ認識を行った場合は、ＩＤ認識情報５１のＩＤ認識結果２１４にＩＤラベルの位置と認識したＩＤに関する情報を含める。以下、フローチャートを用いて、認識部１２が実行するＩＤ認識処理について詳細に説明する。図１７は、本発明の実施形態に係るＩＤ認識処理に関するフローチャートの一例を示す図である。

【0064】

ステップＳ１１０：画像処理装置５の認識部１２は、画像処理装置５の取得部１１から入力画像情報５０を受信する。入力画像情報５０には、図４のステップＳ１００で説明したように、カメラ３で撮像された画像情報（以降、単に画像とよぶ）が含まれる。

【0065】

ステップＳ１１１：画像処理装置５の認識部１２は、入力画像情報５０に含まれる画像に対して、ＯＣＲ技術に基づく文字認識を実行して、文字が存在する領域（文字領域）を検出する。

【0066】

ステップＳ１１２：画像処理装置５の認識部１２は、検出した文字領域の縦横比を算出し、予め定めた縦横比の比率との差分が予め定めた閾値よりも大きいならば、処理をステップＳ１１３に遷移させ、そうでないならば、処理をステップＳ１１６に遷移させる。即ち、認識部１２は、取得した画像において検出された識別符号（ＩＤ）を含む領域（文字領域）の縦横比に基づいて、識別符号（ＩＤ）を認識できるか否かを判定する。ここで、ＩＤラベルは長方形であり、予め定める縦横比の比率は、ＩＤラベルの縦の長さと横の長さの比率である。また、検出する文字領域は、長方形となるように領域を検出する。ここで、カメラの撮像角度によって台形に歪んだ領域を長方形となるように補正して比率を算出してもよい。

【0067】

ステップＳ１１３：画像処理装置５の認識部１２は、文字領域に存在する文字を認識する。

【0068】

ステップＳ１１４：画像処理装置５の認識部１２は、認識した文字の文字数がＮ文字である場合は、処理をステップＳ１１６に遷移させ、そうでないならば、処理をステップＳ１１５に遷移させる。ここで、Ｎは、予め定められたＩＤラベルに記載されるＩＤの文字数であり、認識した文字の文字数がＮと一致しない場合は、ＩＤが正しく認識できていないことを意味する。即ち、認識部１２は、識別した識別符号（ＩＤ）の文字数に基づいて、識別符号（ＩＤ）を認識できるか否かを判定する。或いは、認識部１２は、例えば、最初の３文字はアルファベットに限る等の文字数以外の条件により、正しくＩＤを認識したか否かを判断してもよい。

【0069】

ステップＳ１１５：画像処理装置５の認識部１２は、認識した文字を削除する。

【0070】

ステップＳ１１６：画像処理装置５の認識部１２は、検出したＩＤラベルの位置と認識した識別符号（ＩＤ）をＩＤ認識結果２１４に設定することにより、ＩＤ認識情報５１を作成する。また、認識部１２は、ステップＳ１１１において、複数の文字領域を検出した場合は、それぞれの文字領域に対して、ステップＳ１１２からステップＳ１１６の処理を繰り返して実行する。

【0071】

ステップＳ１１７：画像処理装置５の認識部１２は、生成したＩＤ認識情報５１を画像処理装置５の個体別推定情報算出部１５に送信する。

【0072】

以上の処理により、画像処理システム１は、移動物（追跡対象物体）の識別符号（ＩＤ）が常にカメラに映っていなくても、移動物を追跡して位置を特定することができる。この理由は、移動物の識別符号がカメラに映っていない（認識できない）場合でも、移動物を個別に検出して追跡し、識別符号が認識できた時に、移動物と識別符号の対応付けを行うからである。

【0073】

以上、本発明を実施するための幾つかの形態について説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【0074】

例えば、図３の機能ブロックの構成図の一例は、画像処理システム１及び画像処理装置５による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。画像処理システム１及び画像処理装置５における処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

【0075】

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）や従来の回路モジュール等のデバイスを含むものとする。

【0076】

また、記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、画像処理システム１及び画像処理装置５は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。

【符号の説明】

【0077】

１ 画像処理システム
２ 通信ネットワーク
３ カメラ
４ 追跡対象物体
５ 画像処理装置
６ 端末装置
７ ＩＤラベル
８ 入力画像
９ 個体別エリア推定情報
１０、３０、６０ 通信部
１１ 取得部
１２ 認識部
１３ 追跡部
１４ 推定部
１５ 個体別推定情報算出部
１６ 物体位置検出部
１７ 軌跡算出部
１８ 追跡終了判定部
１９ ＩＤ位置照合部
２０ 追跡番号照合部
２１ 記憶部
３１ 撮像部
３２ 処理部
５０ 入力画像情報
５１ ＩＤ認識情報
５２ 物体位置情報
５３ 物体追跡情報
５４ 追跡番号情報
５５ カメラ情報
５６ エリア情報
５７ エリア推定情報
５８ ＩＤ追跡情報
６１ 表示制御部
６２ 操作受付部

【先行技術文献】

【特許文献】

【0078】

【特許文献1】特開２０２０－０９８５９０号

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】