特開 2022-171236 物品監視装置、物品監視方法、及び物品監視プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022171236

(43)【公開日】2022-11-11

(54)【発明の名称】物品監視装置、物品監視方法、及び物品監視プログラム

(51)【国際特許分類】

   G06T 7/246 20170101AFI20221104BHJP

【ＦＩ】

G06T7/246

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021077775

(22)【出願日】2021-04-30

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100094525

【弁理士】

【氏名又は名称】土井 健二

(74)【代理人】

【識別番号】100094514

【弁理士】

【氏名又は名称】林 恒徳

(72)【発明者】

【氏名】牛嶋 悟

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA02

5L096BA08

5L096DA02

5L096FA52

5L096FA59

5L096GA51

5L096HA05

(57)【要約】

【課題】画像データの撮影範囲内に対象物品が存在しないと誤判定することを抑制する。
【解決手段】時間的に連続したタイミングで撮影された画像データを取得する取得部と、第１物品と第２物品を前記画像データから検出する検出部と、第１画像データ内の前記第１物品と前記第２物品が重なっているとき、第１カウンタをカウントアップし、前記第１画像データ内の前記第１物品の映っている大きさが、前記第１画像データより前に撮影された第２画像データ内の前記第１物品の映っている大きさより小さいとき、第２カウンタをカウントアップし、前記第１物品が前記画像データ内に検出できないとき、前記第１カウンタが第１閾値以上、かつ前記第２カウンタが第２閾値以上である場合、前記第１物品が前記画像データの撮影された範囲内に存在すると判定する判定部と、を有する。
【選択図】図７

【特許請求の範囲】

【請求項1】

時間的に連続したタイミングで撮影された画像データを取得する取得部と、
第１物品と第２物品を前記画像データから検出する検出部と、
第１画像データ内の前記第１物品と前記第２物品が重なっているとき、第１カウンタをカウントアップし、前記第１画像データ内の前記第１物品の映っている大きさが、前記第１画像データより前に撮影された第２画像データ内の前記第１物品の映っている大きさより小さいとき、第２カウンタをカウントアップし、前記第１物品が前記画像データ内に検出できないとき、前記第１カウンタが第１閾値以上、かつ前記第２カウンタが第２閾値以上である場合、前記第１物品が前記画像データの撮影された範囲内に存在すると判定する判定部と、
を有する物品監視装置。

【請求項2】

前記判定部は、前記第１画像データ内の前記第１物品の映っている大きさが、前記第２画像データ内の前記第１物品の映っている大きさ以上であるとき、前記第２カウンタをカウントダウンする
請求項１記載の物品監視装置。

【請求項3】

前記判定部は、第１画像データ内の前記第１物品と前記第２物品が重なっていないとき、前記第１カウンタをカウントダウンする
請求項２記載の物品監視装置。

【請求項4】

前記判定部は、第１画像データ内の前記第１物品と前記第２物品が重なっていないとき、前記第１カウンタをクリアする
請求項２記載の物品監視装置。

【請求項5】

前記判定部は、第１画像データ内の前記第１物品と前記第２物品が重なっていないとき、前記第２カウンタをクリアする
請求項４記載の物品監視装置。

【請求項6】

前記第２物品は人物の手であり、
前記検出部は、検出した前記第１物品にバウンディングボックスを設定し、
前記判定部は、前記手の指先が前記バウンディングボックス内に位置する場合、前記第１物品と前記第２物品が重なっていると判定する
請求項１記載の物品監視装置。

【請求項7】

前記判定部は、前記第１画像データの前記バウンディングボックスの面積が、前記第２画像データの前記バウンディングボックスの面積より小さいとき、前記第１画像データ内の前記第１物品の映っている大きさが、前記第２画像データ内の前記第１物品の映っている大きさより小さいと判定する
請求項６記載の物品監視装置。

【請求項8】

前記判定部は、前記第１物品が前記画像データ内に検出できないとき、さらに、前記第２物品も前記画像データ内に検出できない場合、前記第１物品が前記画像データの撮影された範囲内に存在しないと判定する
請求項１記載の物品監視装置。

【請求項9】

時間的に連続したタイミングで撮影された画像データを取得し、
第１物品と第２物品を前記画像データから検出し、
第１画像データ内の前記第１物品と前記第２物品が重なっているとき、第１カウンタをカウントアップし、前記第１画像データ内の前記第１物品の映っている大きさが、前記第１画像データより前に撮影された第２画像データ内の前記第１物品の映っている大きさより小さいとき、第２カウンタをカウントアップし、前記第１物品が前記画像データ内に検出できないとき、前記第１カウンタが第１閾値以上、かつ前記第２カウンタが第２閾値以上である場合、前記第１物品が前記画像データの撮影された範囲内に存在すると判定する
物品監視方法。

【請求項10】

時間的に連続したタイミングで撮影された画像データを取得する取得工程と、
第１物品と第２物品を前記画像データから検出する検出工程と、
第１画像データ内の前記第１物品と前記第２物品が重なっているとき、第１カウンタをカウントアップし、前記第１画像データ内の前記第１物品の映っている大きさが、前記第１画像データより前に撮影された第２画像データ内の前記第１物品の映っている大きさより小さいとき、第２カウンタをカウントアップし、前記第１物品が前記画像データ内に検出できないとき、前記第１カウンタが第１閾値以上、かつ前記第２カウンタが第２閾値以上である場合、前記第１物品が前記画像データの撮影された範囲内に存在すると判定する判定工程とを、
物品監視装置が有するコンピュータに実行させる物品監視プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物品監視装置、物品監視方法、及び物品監視プログラムに関する。

【背景技術】

【0002】

近年、人物や道具などの物品を撮影し、撮影した画像から対象となる物品を検出する画像処理技術を用いたシステムが注目されている。このようなシステムは、例えば、工場に設置され、作業者及び作業者が使用する工具を撮影し、正しい工具を使用しているか否かの安全性の確認や、作業時間の監視などに使用される。

【0003】

物品を監視する技術については、以下の特許文献に記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開2016-115179号公報

【特許文献2】特開2005-250708号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、例えば、作業者が工具（監視の対象となる物品：対象物品）を手に持って使用していると、工具を握っている姿勢や、画像を撮影する角度によっては、画像データから工具が検出できない場合がある。

【0006】

また、例えば、対象物品が他の物体に隠れることで、画像データから対象物品が検出できない場合がある。

【0007】

画像データから対象物品が検出できない場合、実際には画像データの撮影範囲内に対象物品が存在しても、対象物品が撮影範囲内に存在しないと誤判定されることがある。

【0008】

そこで、一開示は、画像データの撮影範囲内に対象物品が存在しないと誤判定することを抑制する物品監視装置、物品監視方法、及び物品監視プログラムを提供する。

【課題を解決するための手段】

【0009】

時間的に連続したタイミングで撮影された画像データを取得する取得部と、第１物品と第２物品を前記画像データから検出する検出部と、第１画像データ内の前記第１物品と前記第２物品が重なっているとき、第１カウンタをカウントアップし、前記第１画像データ内の前記第１物品の映っている大きさが、前記第１画像データより前に撮影された第２画像データ内の前記第１物品の映っている大きさより小さいとき、第２カウンタをカウントアップし、前記第１物品が前記画像データ内に検出できないとき、前記第１カウンタが第１閾値以上、かつ前記第２カウンタが第２閾値以上である場合、前記第１物品が前記画像データの撮影された範囲内に存在すると判定する判定部と、を有する。

【発明の効果】

【0010】

一開示は、画像データの撮影範囲内に対象物品が存在しないと誤判定することを抑制することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、物品監視システム１０の構成例を示す図である。

【図2】図２は、画像処理装置１００の構成例を表す図である。

【図3】図３は、対象物品を映す画像の例を示す図である。

【図4】図４は、物品監視処理Ｓ１００の処理フローチャートの例を示す図である。

【図5】図５は、フレーム毎物品判定処理Ｓ２００の処理フローチャートの例を示す図である。

【図6】図６は、物品存在判定処理Ｓ３００の処理フローチャートの例を示す図である。

【図7】図７は、対象物品が映る画像の例を示す図である。

【図8】図８は、第２の実施の形態における、フレーム毎物品判定処理Ｓ２００の処理フローチャートの例を示す図である。

【図9】図９は、人物がフォークリフトに乗り込む画像の例を示す図である。

【発明を実施するための形態】

【0012】

［第１の実施の形態］
第１の実施の形態について説明する。

【0013】

＜物品監視システム１０の構成例＞
図１は、物品監視システム１０の構成例を示す図である。物品監視システム１０は、画像処理装置（物品監視装置）１００及びカメラ２００を有する。物品監視システム１０は、監視対象である対象物品３００を監視し、画像データから対象物品３００が検出できないとき、対象物品３００が撮影範囲Ｒ１内に存在するか否かを判定するシステムである。

【0014】

カメラ２００は、撮影範囲Ｒ１を撮影し、画像データを生成する。撮影範囲Ｒ１には、例えば、対象物品（例えば工具）３００、及び対象物品３００を隠す可能性がある非対象物品（例えば手）４００が存在する。カメラ２００は、撮影した画像データを画像処理装置１００に引き渡す。なお、カメラ２００が撮影する画像データは、動画であってもよいし、時間的に連続した静止画であってもよい。

【0015】

画像処理装置１００は、カメラ２００から撮影した映像データを解析し、映像データに映る対象物品３００や非対象物品４００を検出する。また、画像処理装置１００は、検出した対象物品３００及び非対象物品４００を監視する。そして、画像処理装置１００は、対象物品３００が画像データから検出できなくなったとき、対象物品３００が撮影範囲Ｒ１内に存在するか否かを判定する。

【0016】

＜画像処理装置１００の構成例＞
図２は、画像処理装置１００の構成例を表す図である。画像処理装置１００は、ＣＰＵ（Central Processing Unit）１１０、ストレージ１２０、メモリ１３０、通信回路１４０、及びアクセラレータ１５０を有する。

【0017】

ストレージ１２０は、プログラムやデータを記憶する、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）などの補助記憶装置である。ストレージ１２０は、物品監視プログラム１２１及び画像処理プログラム１２２を記憶する。

【0018】

メモリ１３０は、ストレージ１２０に記憶されているプログラムをロードする領域である。また、メモリ１３０は、プログラムがデータを記憶する領域としても使用されてもよい。

【0019】

ＣＰＵ１１０は、ストレージ１２０に記憶されているプログラムを、メモリ１３０にロードし、ロードしたプログラムを実行し、各部を構築し、各処理を実現するプロセッサである。

【0020】

通信回路１４０は、カメラ２００と通信を行う回路である。通信回路１４０は、例えば、ＮＩＣ（Network Interface Card）である。また、通信回路１４０は、例えば、ブルートゥース（登録商標）の接続アダプタである。通信回路１４０における通信手段は、無線及び有線のいずれであってもよい。また、通信回路１４０は、ネットワーク（インターネット、ローカルネットワーク）を介して、カメラ２００と通信を行ってもよい。

【0021】

アクセラレータ１５０は、例えば、ＣＰＵ１１０の命令に従い特定の処理を行う、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）である。アクセラレータ１５０は、例えば、ハードウェアアクセラレータであり、画像処理や演算処理などを行う。

【0022】

ＣＰＵ１１０は、物品監視プログラム１２１を実行することで、取得部、検出部、及び判定部を構築し、物品監視処理を行う。物品監視処理は、画像データをカメラ２００から取得し、画像データから監視対象の対象物品を検出し、対象物品を監視する処理である。画像処理装置１００は、物品監視処理において、対象物品が画像データから検出できないとき、対象物品が撮影範囲内に存在するか否かを判定する。

【0023】

ＣＰＵ１１０は、物品監視プログラム１２１の有するフレーム毎物品判定モジュール１２１１を実行することで、検出部及び判定部を構築し、フレーム毎物品判定処理を行う。フレーム毎物品判定処理は、画像データの１フレームに対して実行される処理であり、対象物品が撮影範囲内に存在するか否かの物品存在判定に使用するカウンタの値の操作、対象物品の検出、及び物品存在判定を行う。フレームは、例えば、動画データの１フレームであってもよいし、あるタイミングに撮影された静止画であってもよい。

【0024】

ＣＰＵ１１０は、物品監視プログラム１２１の有する物品存在判定モジュール１２１２を実行することで、判定部を構築し、物品存在判定処理を行う。物品存在判定処理は、例えばフレーム毎物品判定処理において、対象物品を検出できないときに実行される処理であり、画像データの撮影範囲内に対象物品が存在するか否かを判定する処理である。

【0025】

また、ＣＰＵ１１０は、画像処理プログラム１２２を実行することで、検出部を構築し、画像処理を行う。画像処理は、画像データから特定の物品（人物や手足などを含む）を検出する処理である。画像処理は、例えば、対象物品や非対象物品の検出に用いられる。また、画像処理は、例えば、ＡＩ（Artificial Intelligence）を用いて実行される。ＡＩは、工具などの対象物品の画像や、手などの非対象物品の画像を用いて学習させたものが使用される。

【0026】

＜物品監視処理Ｓ１００＞
物品監視処理Ｓ１００について説明する。図３は、対象物品を映す画像の例を示す図である。図３は、図３（Ａ）、（Ｂ）、（Ｃ）の順に、古い時間に撮影された画像である。図３において、対象物品はミニカーとする。

【0027】

図３（Ａ）では、対象物品Ｄ１が映っている。図３（Ａ）では、手Ｈ１が映っているものの、対象物品Ｄ１とは接していない（重なっていない）ため、対象物品Ｄ１は全体像が映っている。

【0028】

図３（Ｂ）では、手Ｈ１が対象物品Ｄ１を把握することで、対象物品Ｄ１の一部が手Ｈ１に隠れており、対処物品Ｄ１の一部が映っていない。

【0029】

図３（Ｃ）では、手Ｈ１が対象物品Ｄ１をさらに深く把握することで、対象物品Ｄ１のほぼ全体が手Ｈ１に隠れており、対象物品Ｄ１がほとんど映っていない。

【0030】

図３（Ａ）～（Ｃ）に示すように、例えば、非対象物品である手が、対象物品であるミニカーを把握することで、画像データに映る対象物品は、徐々に小さくなっていき、把握の仕方によっては、ほとんどなくなってしまう。図３（Ｃ）において、対象物品Ｄ１は画像には映っていないが、撮影範囲内には存在しており、手Ｈ１に把握されることで隠れている状態である。

【0031】

画像処理装置１００は、撮影範囲内で対象物品が隠されているときの特徴である、映っている対象物品の大きさ（面積）が時間経過に応じて小さくなること、及び対象物品と対象物品を隠す非対象物品とが一定時間接している（接しているように見える、画像上重なっている）ことなどを利用し、物品監視処理Ｓ１００を実行する。

【0032】

図４は、物品監視処理Ｓ１００の処理フローチャートの例を示す図である。画像処理装置１００は、画像の取得を開始する（Ｓ１００－１）。画像処理装置１００は、例えば、動画データや静止画データを定期的にカメラ２００から取得することで、画像を取得する。取得する画像データは、例えば、時間的に連続したタイミングで撮影された画像であれば、動画であっても、静止画であってもよい。

【0033】

画像処理装置１００は、対象物品を画像から探索する（Ｓ１００－２）。画像処理装置１００は、処理Ｓ１００－２において、例えば、対象物品を検出し、対象物品のバウンディングボックスを設定する。バウンディングボックスは、対象物品を含む矩形の領域である。画像処理装置１００は、このバウンディングボックスの領域を、対象物品の領域とみなし、以降の処理を行う。

【0034】

そして、画像処理装置１００は、キーポイントを画像から探索する（Ｓ１００－３）。キーポイントは、非対象物品の特定のポイントや領域である。キーポイントは、対象物品と非対象物品が重なっている（接触している）ことを判定するときに用いる。画像処理装置１００は、キーポイントが対象物品のバウンディングボックスと重複する場合、非対象物品と対象物品が接している（実際に接している場合だけではなく、画像上重なっている場合も含む）と判定する。

【0035】

画像処理装置１００は、対象物品とキーポイントを検出したか否かを判定する（Ｓ１００－４）。画像処理装置１００は、対象物品とキーポイントを検出しない場合（Ｓ１００－４のＮｏ）、次の画像を取得し（Ｓ１００－５）、再度処理Ｓ１００－２、Ｓ１００－３を行う。画像処理装置１００は、初期状態から、対象物品を検出し、さらに対象物品を隠す可能性のある非対象物品のキーポイントを検出することで、対象物品の監視を開始することができる。また、次の画像とは、次のタイミングで撮影された画像を示し、動画のフレームであってもよいし、静止画であってもよい。

【0036】

画像処理装置１００は、対象物品とキーポイントを検出した場合（Ｓ１００－４のＹｅｓ）、カウンタ１，２をクリアする（Ｓ１００－６）。カウンタ１，２は、フレーム毎物品判定処理Ｓ２００で使用するカウンタである。画像処理装置１００は、フレーム毎物品判定処理を行う（Ｓ２００）。フレーム毎物品判定処理Ｓ２００については、後述する。

【0037】

カウンタ１は、例えば、非対象物品が対象物品を隠している、あるいは隠し続けている度合いを示す。非対象物品が人物の手である場合、カウンタ１は、手が対象物品を把持し続けている度合いを示す。また、非対象物品が乗り物などの人物より大きい物体である場合、カウンタ１は、対象物品が非対象物品の中や後ろに隠れ続けている度合いを示す。

【0038】

カウンタ２は、対象物品が小さくなり続けている度合いを示す。非対象物品が人物の手である場合、カウンタ２は、手が対象物品を把持し、対象物品の覆い隠している（握り込んでいる）続けている度合いを示す。また、非対象物品が乗り物などの人物より大きい物体である場合、カウンタ２は、対象物品が非対象物品の中や後ろに隠れている度合いを示す。

【0039】

画像処理装置１００は、フレーム毎物品判定処理Ｓ２００において、対象物品が撮影範囲内に存在しないと判定された場合（Ｓ１００－７のＹｅｓ）、次の画像を取得し、再度処理Ｓ１００－２、Ｓ１００－３を実行する。

【0040】

画像処理装置１００は、フレーム毎物品判定処理Ｓ２００において、対象物品が撮影範囲内に存在すると判定された場合（Ｓ１００－７のＮｏ）、対象物品の監視を継続し、次の画像を取得し（Ｓ１００８）、再度フレーム毎物品判定処理Ｓ２００を実行する。

【0041】

＜フレーム毎物品判定処理Ｓ２００＞
図５は、フレーム毎物品判定処理Ｓ２００の処理フローチャートの例を示す図である。画像処理装置１００は、対象物品を探索する（Ｓ２００－１）。そして、画像処理装置１００は、キーポイントを探索する（Ｓ２００－２）。なお、処理Ｓ２００－１、Ｓ２００－２は、物品監視処理Ｓ１００の処理Ｓ１００－２、Ｓ１００－３と同様の処理である。

【0042】

画像処理装置１００は、対象物品を検出したか否かを判定する（Ｓ２００－３）。画像処理装置１００は、対象物品を検出しない場合（Ｓ２００－３のＮｏ）、物品存在判定処理Ｓ３００を行い、処理を終了する。物品存在判定処理Ｓ３００については、後述する。

【0043】

一方、画像処理装置１００は、対象物品を検出した場合（Ｓ２００－３のＹｅｓ）、キーポイントが対象物品のバウンディングボックス（ＢＢＯＸ）内に位置するか否かを判定する（Ｓ２００－４）。

【0044】

画像処理装置１００は、キーポイントが対象物品のバウンディングボックス内に位置する場合（Ｓ２００－４のＹｅｓ）、カウンタ１をインクリメントする（Ｓ２００－６）。一方、キーポイントが対象物品のバウンディングボックス内に位置しない場合（Ｓ２００－４のＮｏ）、カウンタ１をデクリメントする（Ｓ２００－５）。

【0045】

カウンタ１は、非対象物品と対象物品が接している時間や度合いを計測するカウンタであり、数値が大きいほど、長い時間、あるいは高い頻度で対象物品と非対象物品が接していることを示す。

【0046】

画像処理装置１００は、対象物品のバウンディングボックスの面積が、前回取得していた画像における対象物品のバウンディングボックスの面積より小さいか否かを判定する（Ｓ２００－７）。

【0047】

画像処理装置１００は、対象物品のバウンディングボックスの面積が、前回取得していた画像における対象物品のバウンディングボックスの面積より小さい場合（Ｓ２００－７のＹｅｓ）、カウンタ２をインクリメントする（Ｓ２００－９）。一方、画像処理装置１００は、対象物品のバウンディングボックスの面積が、前回取得していた画像における対象物品のバウンディングボックスの面積より小さくない場合（Ｓ２００－７のＮｏ）、カウンタ２をデクリメントする（Ｓ２００－８）。

【0048】

カウンタ２は、対象物品（又は対象物品のバウンディングボックス）の面積の縮小度合いを示すカウンタであり、数値が大きいほど、全体的に（長期的に、移動平均において）対象物品の面積が縮小傾向であることを示す。

【0049】

画像処理装置１００は、対象物品が撮影範囲内に存在すると判定し（Ｓ２００－１）、処理を終了する。対象物品が撮影範囲内に存在すると判定する理由は、面積の大小に関わらず、対象物品を画像から検出できているためである。

【0050】

＜物品存在判定処理Ｓ３００＞
図６は、物品存在判定処理Ｓ３００の処理フローチャートの例を示す図である。画像処理装置１００は、カウンタ１が第１閾値以上、かつカウンタ２が第２閾値以上か否かを確認する（Ｓ３００－１）。

【0051】

第１閾値及び第２閾値は、例えば、過去の統計データから設定される。第１閾値は、例えば、非対象物品が手である場合、手が対象物品を把握していると想定できる時間に対応した値である。第２閾値は、例えば、非対象物品が手であり、対象物品がミニカーである場合、手がミニカーを掴み始めてから、手でミニカーを覆いつくすまでに時間に対応した値である。

【0052】

画像処理装置１００は、カウンタ１が第１閾値以上、かつカウンタ２が第２閾値以上でない場合（Ｓ３００－１のＮｏ）、対象物品は撮影範囲内に存在しないと判定し（Ｓ３００－４）、処理を終了する。

【0053】

一方、画像処理装置１００は、カウンタ１が第１閾値以上、かつカウンタ２が第２閾値以上である場合（Ｓ３００－１のＹｅｓ）、キーポイントを検出できたか否かを判定する（Ｓ３００－２）。

【0054】

画像処理装置１００は、キーポイントが検出できていない場合（Ｓ３００－２のＮｏ）、対象物品は撮影範囲内に存在しないと判定し（Ｓ３００－４）、処理を終了する。対象物品は撮影範囲内に存在しないと判定する理由は、キーポイントが存在しないため、非対象物品に対象物品が隠れていることはないとみなすことができるためである。

【0055】

一方、画像処理装置１００は、キーポイントが検出できている場合（Ｓ３００－２のＹｅｓ）、対象物品は撮影範囲内に存在すると判定し（Ｓ３００－３）、処理を終了する。対象物品は撮影範囲内に存在すると判定する理由は、非対象物品に対象物品が隠れているとみなすことができるためである。

【0056】

＜物品監視処理の具体例＞
次に、画像を用いて物品監視処理Ｓ１００の具体例を示す。図７は、対象物品が映る画像の例を示す図である。図７は、図７（Ａ）～図７（Ｅ）の順に、古い時間に撮影された画像である。図７において、バウンディングボックスＢ１は、対象物品であるミニカーのバウンディングボックスを示す。また、図７において、キーポイントＫｐ１及びＫｐ２は、それぞれ非対象物品の手の指先であり、親指の指先をキーポイントＫｐ１、人差し指の指先をキーポイントＫｐ２とする。なお、前提条件として、画像処理装置１００は、図７（Ａ）の画像を取得するまで、キーポイントと対象物品の両方を検出することができていないものとする。

【0057】

＜１．図７（Ａ）における判定＞
画像処理装置１００は、物品監視処理Ｓ１００において、図７（Ａ）の画像を取得し（図４のＳ１００－５）、ミニカーを検出し（図４のＳ１００－２）、バウンディングボックスＢ１を設定する。また、画像処理装置１００は、手を検出し、キーポイントＫｐ１及びＫｐ２を検出する（図４のＳ１００－３）。

【0058】

画像処理装置１００は、キーポイントと対象物品の両方を検出したため（図４のＳ１００－３のＹｅｓ）、カウンタ１，２をクリアし（図４のＳ１００－６）、フレーム毎物品判定処理Ｓ２００を実行する。

【0059】

画像処理装置１００は、フレーム毎物品判定処理Ｓ２００において、対象物品とキーポイントを探索する（図５のＳ２００－１、Ｓ２００－２）。なお、同一の画像において、対象物品とキーポイントを探索する処理を行っている場合、当該探索は省略してもよい。

【0060】

画像処理装置１００は、対象物品を検出しているため（図５のＳ２００－３のＹｅｓ）、キーポイントが対象物品のバウンディングボックス内に位置するか否かを確認する（図５のＳ２００－４）。画像処理装置１００は、複数のキーポイントが存在する場合、例えば、少なくとも１つのキーポイントが対象物品のバウンディングボックス内に位置することで、キーポイントが対象物品のバウンディングボックス内に位置すると判定する。

【0061】

画像処理装置１００は、キーポイントＫｐ１及びＫｐ２の両方がバウンディングボックスＢ１に接していないので（図５のＳ２００－４のＮｏ）、カウンタ１をデクリメントする（図５のＳ２００－５）。なお、カウンタ１は、例えば、最小値が０であり、マイナスの値とならないものとする。図７（Ａ）の取得時点において、カウンタ１は０であるため（図４の処理Ｓ１００－６による）、デクリメントされても０のままとなる。

【0062】

次に画像処理装置１００は、対象物品のバウンディボックスが前回画像のバウンディングボックスより小さいか否かを判定する（図５のＳ２００－７）。前回画像（図示しない）には、対象物品が映っていない、あるいは映っていたとしても、何にも隠されていないため、図７（Ａ）と同等の大きさである。そのため、画像処理装置１００は、前回画像のバウンディングボックスより小さくはないと判定し（図５のＳ２００－７のＮｏ）、カウンタ２をデクリメントする（図５のＳ２００－８）。なお、カウンタ２は、例えば、最小値が０であり、マイナスの値とならないものとする。図７（Ａ）の取得時点において、カウンタ２は０であるため（図４の処理Ｓ１００－６による）、デクリメントされても０のままとなる。

【0063】

そして、画像処理装置１００は、図７（Ａ）の状態においては、対象物品は撮影範囲内に存在すると判定し（図５のＳ２００－１０）、処理を終了する。なお、このタイミングにおいて、カウンタ１及びカウンタ２は、０である。

【0064】

＜２．図７（Ｂ）における判定＞
画像処理装置１００は、対象物品が撮影範囲内に存在すると判定されたため（図４のＳ１００－７のＹｅｓ）、次の画像である図７（Ｂ）を取得し（図４のＳ１００－８）、フレーム毎物品判定処理Ｓ２００を実行する。

【0065】

画像処理装置１００は、フレーム毎物品判定処理Ｓ２００において、対象物品とキーポイントを探索する（図５のＳ２００－１、Ｓ２００－２）。画像処理装置１００は、バウンディングボックスＢ１とキーポイントＫｐ１及びＫｐ２を検出する。

【0066】

画像処理装置１００は、対象物品を検出しているため（図５のＳ２００－３のＹｅｓ）、キーポイントが対象物品のバウンディングボックス内に位置するか否かを確認する（図５のＳ２００－４）。

【0067】

画像処理装置１００は、キーポイントＫｐ１及びＫｐ２の両方がバウンディングボックスＢ１に接しているため（図５のＳ２００－４のＹｅｓ）、カウンタ１をインクリメントする（図５のＳ２００－６）。図７（Ｂ）の取得時点においてカウンタ１は０であるため、カウンタ１は、１となる。画像処理装置１００は、図７（Ｂ）の例のようにキーポイントが手（又は指先）である場合、キーポイントがバウンディングボックス内に位置することで、手が対象物品を把持しているものとみなし、カウンタ１をインクリメントする。

【0068】

次に画像処理装置１００は、対象物品のバウンディボックスが前回画像のバウンディングボックスより小さいか否かを判定する（図５のＳ２００－７）。画像処理装置１００は、前回画像である図７（Ａ）のバウンディングボックスＢ１が、図７（Ｂ）のバウンディングボックスＢ１より大きいため、バウンディングボックスＢ１が小さくなっていると判定し（図５のＳ２００－７のＹｅｓ）、カウンタ２をインクリメントする（図５のＳ２００－９）。図７（Ｂ）の取得時点においてカウンタ２は０であるため、カウンタ２は、１となる。

【0069】

そして、画像処理装置１００は、図７（Ｂ）の状態においては、対象物品は撮影範囲内に存在すると判定し（図５のＳ２００－１０）、処理を終了する。なお、このタイミングにおいて、カウンタ１及びカウンタ２は、ともに１である。

【0070】

＜３．図７（Ｃ）及び（Ｄ）における判定＞
画像処理装置１００は、図７（Ｃ）及び図７（Ｄ）において、図７（Ｂ）と同様の処理及び判定を行い。カウンタ１及びカウンタ２の値は、図７（Ｃ）においては２となり、図７（Ｄ）においては３となる。

【0071】

＜４．図７（Ｅ）における判定＞
画像処理装置１００は、対象物品が撮影範囲内に存在すると判定されたため（図４のＳ１００－７のＹｅｓ）、次の画像である図７（Ｅ）を取得し（図４のＳ１００－８）、フレーム毎物品判定処理Ｓ２００を実行する。

【0072】

画像処理装置１００は、フレーム毎物品判定処理Ｓ２００において、対象物品とキーポイントを探索する（図５のＳ２００－１、Ｓ２００－２）。画像処理装置１００は、対象物品 を検出できないため（図５のＳ２００－３のＮｏ）、物品存在判定処理Ｓ３００を実行する。

【0073】

画像処理装置１００は、物品存在判定処理Ｓ３００において、カウンタ１が第１閾値以上、かつカウンタ２が第２閾値以上であるか否かを確認する（図６のＳ３００－１）。第１閾値及び第２閾値は、例えば、３であるとする。

【0074】

画像処理装置１００は、カウンタ１が３であり第１閾値の３以上、かつカウンタ２が３であり第２閾値の３以上であるため（図６のＳ３００－１のＹｅｓ）、キーポイントが検出できたか否かを確認する（図６のＳ３００－２）。

【0075】

画像処理装置１００は、キーポイントＫｐ１及びＫｐ２を検出できているため（図６のＳ３００－２のＹｅｓ）、対象物品であるミニカーは、非対象物品である手の中に隠れているとみなし、対象物品は撮影範囲内に存在すると判定し（図６のＳ３００－３）、処理を終了する。

【0076】

これにより、第１の実施の形態において、画像処理装置１００は、画像データから対象物品を検出できない場合でも、対象物品が他の物品に隠れており、撮影範囲内に存在すると判定することができる。

【0077】

［第２の実施の形態］
第２の実施の形態について説明する。第２の実施の形態は、カウンタ１、２のカウント方法が異なる。

【0078】

図８は、第２の実施の形態における、フレーム毎物品判定処理Ｓ２００の処理フローチャートの例を示す図である。処理Ｓ２００－１～処理Ｓ２００－３は、図５の処理Ｓ２００－１～処理Ｓ２００－３と同様である。

【0079】

画像処理装置１００は、対象物品を検出した場合（Ｓ２００－３のＹｅｓ）、キーポイントが対象物品のバウンディングボックス内に位置するか否かを判定する（Ｓ２００－４）。

【0080】

画像処理装置１００は、キーポイントが対象物品のバウンディングボックス内に位置する場合（Ｓ２００－４のＹｅｓ）、カウンタ１をインクリメントする（Ｓ２００－６）。

【0081】

一方、画像処理装置１００は、キーポイントが対象物品のバウンディングボックス内に位置しない場合（Ｓ２００－４のＮｏ）、カウンタ１をクリアし（Ｓ２００－５）、カウンタ２をクリアする（Ｓ２００－６）。

【0082】

ここで、カウンタ１、２を共にクリアする理由は、キーポイントが対象物品のバウンディングボックス内に位置しないことを、非対象物品が対象物品から離れた（例えば、手をミニカーから離した）とみなし、再び対象物品を掴む前の状態（例えば、図７（Ａ）の画像の状態）から監視を再開するためである。

【0083】

また、画像処理装置１００は、キーポイントが対象物品のバウンディングボックス内に位置しない場合（Ｓ２００－４のＮｏ）、対象物品のバウンディングボックスの大きさの判定（処理Ｓ２００－８）を行わない。この理由は、キーポイントと対象物品が接していないため、面積は小さくなっていない（大きくなっている可能性が高い）とみなすことができるためである。

【0084】

以降、キーポイントが対象物品のバウンディングボックス内に位置する場合（Ｓ２００－４のＮｏ）の以降の処理Ｓ２００－７～処理Ｓ２００－１１の処理は、図５の処理Ｓ２００－６～処理Ｓ２００－１０と同様である。

【0085】

［第３の実施の形態］
第３の実施の形態について説明する。第１、第２の実施の形態は、対象物品がミニカーなどの手に持つことが可能な物品であり、非対象物品が手などの対象物品を把握することができる物品である場合を例として説明した。

【0086】

第３の実施の形態では、対象物品が人であり、非対象物品が乗り物（例えばフォークリフト）などの人より大きな物品である場合でも、物体監視処理が適用可能であることを説明する。

【0087】

図９は、人物がフォークリフトに乗り込む画像の例を示す図である。図９は、図９（Ａ）から図９（Ｄ）の順に、古い時間に撮影された画像である。

【0088】

＜１．図９（Ａ）における判定＞
画像処理装置１００は、物品監視処理Ｓ１００において、図９（Ａ）の画像を取得し（図４のＳ１００－５）、人物を検出し（図４のＳ１００－２）、バウンディングボックスＢ１１を設定する。また、画像処理装置１００は、フォークリフトを検出し、キーポイントＫｐ１１を検出する（図４のＳ１００－３）。なお、キーポイントＫｐ１１は、フォークリフト全体の領域を示すものとする。

【0089】

画像処理装置１００は、キーポイントと対象物品の両方を検出したため（図４のＳ１００－３のＹｅｓ）、カウンタ１，２をクリアし（図４のＳ１００－６）、フレーム毎物品判定処理Ｓ２００を実行する。

【0090】

画像処理装置１００は、フレーム毎物品判定処理Ｓ２００において、対象物品とキーポイントを探索する（図５のＳ２００－１、Ｓ２００－２）。なお、同一の画像において、対象物品とキーポイントを探索する処理を行っている場合、当該探索は省略してもよい。

【0091】

画像処理装置１００は、対象物品を検出しているため（図５のＳ２００－３のＹｅｓ）、キーポイントが対象物品のバウンディングボックス内に位置するか否かを確認する（図５のＳ２００－４）。

【0092】

画像処理装置１００は、キーポイントＫｐ１１がバウンディングボックスＢ１１に接していないので（図５のＳ２００－４のＮｏ）、カウンタ１をデクリメントする（図５のＳ２００－５）。図９（Ａ）の取得時点において、カウンタ１は０であるため（図４の処理Ｓ１００－６による）、デクリメントされても０のままとなる。

【0093】

次に画像処理装置１００は、対象物品のバウンディボックスが前回画像のバウンディングボックスより小さいか否かを判定する（図５のＳ２００－７）。前回画像（図示しない）には、対象物品が映っていない、あるいは映っていたとしても、何にも隠されていないため、図９（Ａ）と同等の大きさである。そのため、画像処理装置１００は、前回画像のバウンディングボックスより小さくはないと判定し（図５のＳ２００－７のＮｏ）、カウンタ２をデクリメントする（図５のＳ２００－８）。図９（Ａ）の取得時点において、カウンタ２は０であるため（図４の処理Ｓ１００－６による）、デクリメントされても０のままとなる。

【0094】

そして、画像処理装置１００は、図９（Ａ）の状態においては、対象物品は撮影範囲内に存在すると判定し（図５のＳ２００－１０）、処理を終了する。なお、このタイミングにおいて、カウンタ１及びカウンタ２は、０である。

【0095】

＜２．図９（Ｂ）における判定＞
画像処理装置１００は、対象物品が撮影範囲内に存在すると判定されたため（図４のＳ１００－７のＹｅｓ）、次の画像である図９（Ｂ）を取得し（図４のＳ１００－８）、フレーム毎物品判定処理Ｓ２００を実行する。

【0096】

画像処理装置１００は、フレーム毎物品判定処理Ｓ２００において、対象物品とキーポイントを探索する（図５のＳ２００－１、Ｓ２００－２）。画像処理装置１００は、バウンディングボックスＢ１１とキーポイントＫｐ１１を検出する。

【0097】

画像処理装置１００は、対象物品を検出しているため（図５のＳ２００－３のＹｅｓ）、キーポイントが対象物品のバウンディングボックス内に位置するか否かを確認する（図５のＳ２００－４）。

【0098】

画像処理装置１００は、キーポイントＫｐ１１がバウンディングボックスＢ１１に接しているため（図５のＳ２００－４のＹｅｓ）、カウンタ１をインクリメントする（図５のＳ２００－６）。図９（Ｂ）の取得時点においてカウンタ１は０であるため、カウンタ１は、１となる。

【0099】

次に画像処理装置１００は、対象物品のバウンディボックスが前回画像のバウンディングボックスより小さいか否かを判定する（図５のＳ２００－７）。画像処理装置１００は、前回画像である図９（Ａ）のバウンディングボックスＢ１１が、図９（Ｂ）のバウンディングボックスＢ１１より大きいため、バウンディングボックスＢ１１が小さくなっていると判定し（図５のＳ２００－７のＹｅｓ）、カウンタ２をインクリメントする（図５のＳ２００－９）。図９（Ｂ）の取得時点においてカウンタ２は０であるため、カウンタ２は、１となる。

【0100】

そして、画像処理装置１００は、図９（Ｂ）の状態においては、対象物品は撮影範囲内に存在すると判定し（図５のＳ２００－１０）、処理を終了する。なお、このタイミングにおいて、カウンタ１及びカウンタ２は、ともに１である。

【0101】

＜３．図９（Ｃ）における判定＞
画像処理装置１００は、図９（Ｃ）において、図９（Ｂ）と同様の処理及び判定を行う。カウンタ１及びカウンタ２の値は、図９（Ｃ）において、ともに２となる。

【0102】

＜４．図９（Ｄ）における判定＞
画像処理装置１００は、対象物品が撮影範囲内に存在すると判定されたため（図４のＳ１００－７のＹｅｓ）、次の画像である図９（Ｄ）を取得し（図４のＳ１００－８）、フレーム毎物品判定処理Ｓ２００を実行する。

【0103】

画像処理装置１００は、フレーム毎物品判定処理Ｓ２００において、対象物品とキーポイントを探索する（図５のＳ２００－１、Ｓ２００－２）。画像処理装置１００は、対象物品 を検出できないため（図５のＳ２００－３のＮｏ）、物品存在判定処理Ｓ３００を実行する。

【0104】

画像処理装置１００は、物品存在判定処理Ｓ３００において、カウンタ１が第１閾値以上、かつカウンタ２が第２閾値以上であるか否かを確認する（図６のＳ３００－１）。第１閾値及び第２閾値は、例えば、２であるとする。

【0105】

画像処理装置１００は、カウンタ１が２であり第１閾値の２以上、かつカウンタ２が２であり第２閾値の２以上であるため（図６のＳ３００－１のＹｅｓ）、キーポイントが検出できたか否かを確認する（図６のＳ３００－２）。

【0106】

画像処理装置１００は、キーポイントＫｐ１１を検出できているため（図６のＳ３００－２のＹｅｓ）、対象物品である人物は、非対象物品であるフォークリフトの中に隠れている（乗り込んでいる）とみなし、対象物品は撮影範囲内に存在すると判定し（図６のＳ３００－３）、処理を終了する。

【0107】

これにより、第３の実施の形態において、画像処理装置１００は、画像データから対象物品（人物）を検出できない場合でも、対象物品が他の物品（フォークリフト）に隠れており、撮影範囲内に存在すると判定することができる。

【0108】

以上、まとめると、付記のようになる。

【0109】

（付記１）
時間的に連続したタイミングで撮影された画像データを取得する取得部と、
第１物品と第２物品を前記画像データから検出する検出部と、
第１画像データ内の前記第１物品と前記第２物品が重なっているとき、第１カウンタをカウントアップし、前記第１画像データ内の前記第１物品の映っている大きさが、前記第１画像データより前に撮影された第２画像データ内の前記第１物品の映っている大きさより小さいとき、第２カウンタをカウントアップし、前記第１物品が前記画像データ内に検出できないとき、前記第１カウンタが第１閾値以上、かつ前記第２カウンタが第２閾値以上である場合、前記第１物品が前記画像データの撮影された範囲内に存在すると判定する判定部と、
を有する物品監視装置。

【0110】

（付記２）
前記判定部は、前記第１画像データ内の前記第１物品の映っている大きさが、前記第２画像データ内の前記第１物品の映っている大きさ以上であるとき、前記第２カウンタをカウントダウンする
付記１記載の物品監視装置。

【0111】

（付記３）
前記判定部は、第１画像データ内の前記第１物品と前記第２物品が重なっていないとき、前記第１カウンタをカウントダウンする
付記２記載の物品監視装置。

【0112】

（付記４）
前記判定部は、第１画像データ内の前記第１物品と前記第２物品が重なっていないとき、前記第１カウンタをクリアする
付記２記載の物品監視装置。

【0113】

（付記５）
前記判定部は、第１画像データ内の前記第１物品と前記第２物品が重なっていないとき、前記第２カウンタをクリアする
付記４記載の物品監視装置。

【0114】

（付記６）
前記第２物品は、前記第１物品の一部又は全部を隠すことで、前記第１物品の一部又は全部を前記画像データに映らなくする
付記１記載の物品監視装置。

【0115】

（付記７）
前記第２物品は人物の手であり、
前記検出部は、検出した前記第１物品にバウンディングボックスを設定し、
前記判定部は、前記手の指先が前記バウンディングボックス内に位置する場合、前記第１物品と前記第２物品が重なっていると判定する
付記１記載の物品監視装置。

【0116】

（付記８）
前記判定部は、前記第１画像データの前記バウンディングボックスの面積が、前記第２画像データの前記バウンディングボックスの面積より小さいとき、前記第１画像データ内の前記第１物品の映っている大きさが、前記第２画像データ内の前記第１物品の映っている大きさより小さいと判定する
付記７記載の物品監視装置。

【0117】

（付記９）
前記判定部は、前記第１物品が前記画像データ内に検出できないとき、さらに、前記第２物品も前記画像データ内に検出できない場合、前記第１物品が前記画像データの撮影された範囲内に存在しないと判定する
付記１記載の物品監視装置。

【0118】

（付記１０）
前記判定部は、前記第１物品が前記画像データ内に検出できないとき、前記第１カウンタが前記第１閾値より小さい、又は前記第２カウンタが前記第２閾値より小さい場合、前記第１物品が前記画像データの撮影された範囲内に存在しないと判定する
付記１記載の物品監視装置。

【0119】

（付記１１）
時間的に連続したタイミングで撮影された画像データを取得し、
第１物品と第２物品を前記画像データから検出し、
第１画像データ内の前記第１物品と前記第２物品が重なっているとき、第１カウンタをカウントアップし、前記第１画像データ内の前記第１物品の映っている大きさが、前記第１画像データより前に撮影された第２画像データ内の前記第１物品の映っている大きさより小さいとき、第２カウンタをカウントアップし、前記第１物品が前記画像データ内に検出できないとき、前記第１カウンタが第１閾値以上、かつ前記第２カウンタが第２閾値以上である場合、前記第１物品が前記画像データの撮影された範囲内に存在すると判定する
物品監視方法。

【0120】

（付記１２）
時間的に連続したタイミングで撮影された画像データを取得する取得工程と、
第１物品と第２物品を前記画像データから検出する検出工程と、
第１画像データ内の前記第１物品と前記第２物品が重なっているとき、第１カウンタをカウントアップし、前記第１画像データ内の前記第１物品の映っている大きさが、前記第１画像データより前に撮影された第２画像データ内の前記第１物品の映っている大きさより小さいとき、第２カウンタをカウントアップし、前記第１物品が前記画像データ内に検出できないとき、前記第１カウンタが第１閾値以上、かつ前記第２カウンタが第２閾値以上である場合、前記第１物品が前記画像データの撮影された範囲内に存在すると判定する判定工程とを、
物品監視装置が有するコンピュータに実行させる物品監視プログラム。

【符号の説明】

【0121】

１０ ：物品監視システム
１００ ：画像処理装置
１１０ ：ＣＰＵ
１２０ ：ストレージ
１２１ ：物品監視プログラム
１２２ ：画像処理プログラム
１２１１ ：フレーム毎物品判定モジュール
１２１２ ：物品存在判定モジュール
１３０ ：メモリ
１４０ ：通信回路
１５０ ：アクセラレータ
２００ ：カメラ
３００ ：対象物品
４００ ：非対象物品

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】