特許 6854959 行動推定装置、行動推定方法、プログラム及び行動推定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6854959

(24)【登録日】2021年3月18日

(45)【発行日】2021年4月7日

(54)【発明の名称】行動推定装置、行動推定方法、プログラム及び行動推定システム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20210329BHJP

【ＦＩ】

   G06T7/20 300Z

【請求項の数】17

【全頁数】21

(21)【出願番号】特願2020-182477(P2020-182477)

(22)【出願日】2020年10月30日

【審査請求日】2020年11月6日

【早期審査対象出願】

(73)【特許権者】

【識別番号】520239001

【氏名又は名称】株式会社ＶＡＡＫ

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】田中 遼

【審査官】 真木 健彦

(56)【参考文献】

【文献】 国際公開第２０１５／０３３５７６（ＷＯ，Ａ１）

【文献】 特開２０２０−０５３０１９（ＪＰ，Ａ）

【文献】 国際公開第２０１９／１７１５７３（ＷＯ，Ａ１）

【文献】 特開２０１７−０３３４０１（ＪＰ，Ａ）

【文献】 特開２０１６−２０１１０５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

基準人以外の一以上の基準被写体と、前記基準被写体と前記基準人との基準相対関係と、前記基準人の基準行動内容と、が関連付けられたデータベースを記憶する記憶部と、
撮像画像を示す撮像画像データを取得する画像取得部と、
前記撮像画像に含まれる人の動きを検出する人検出部と、
前記撮像画像に含まれる被写体の種別を検出する被写体検出部と、
前記人の動きに伴う前記人と前記被写体との関係である相対関係を特定する関係特定部と、
前記データベースにおいて、前記被写体の種別に対応する前記基準被写体と、前記相対関係に対応する前記基準相対関係と、に関連付けられた前記基準行動内容を特定することにより、前記人検出部が検出した前記人の行動内容を推定する推定部と、
を有する行動推定装置。

【請求項2】

前記関係特定部は、前記人と前記被写体との距離を前記相対関係として特定し、
前記推定部は、前記被写体検出部が検出した前記被写体の種別に関連付けられた基準距離と、前記関係特定部が特定した前記人と前記被写体との距離と、を比較した結果に基づいて前記行動内容を推定する、
請求項１に記載の行動推定装置。

【請求項3】

前記関係特定部は、前記人の目線の方向と前記被写体の位置との関係を、前記相対関係として特定し、
前記推定部は、前記被写体検出部が検出した前記被写体の種別に関連付けられた目線の方向と被写体の位置との関係である基準目線関係と、前記関係特定部が特定した前記人の目線の方向と前記被写体の位置との関係と、を比較した結果に基づいて前記行動内容を推定する、
請求項１又は２に記載の行動推定装置。

【請求項4】

前記関係特定部は、前記人の身体の向きと前記被写体の位置との関係を、前記相対関係として特定し、
前記推定部は、前記被写体検出部が検出した前記被写体の種別に関連付けられた身体の向きと被写体の位置との関係である基準身体向き関係と、前記関係特定部が特定した前記人の目線の方向と前記被写体の位置との関係と、を比較した結果に基づいて前記行動内容を推定する、
請求項１から３のいずれか一項に記載の行動推定装置。

【請求項5】

前記画像取得部は、時系列に作成された複数の前記撮像画像データを取得し、
前記関係特定部は、前記相対関係の変化を特定し、
前記推定部は、前記被写体の種別と、前記相対関係の変化との組み合わせに基づいて、前記人の行動内容を推定する、
請求項１から４のいずれか一項に記載の行動推定装置。

【請求項6】

前記推定部は、前記複数の撮像画像データのいずれかに、前記人検出部が前記人を検出する前に前記被写体が含まれていたか否かを判定した結果にさらに基づいて、前記行動内容を推定する、
請求項５に記載の行動推定装置。

【請求項7】

前記人検出部は、前記人の属性をさらに検出し、
前記推定部は、前記人検出部が検出した前記人の属性にさらに基づいて、前記行動内容を推定する、
請求項１から６のいずれか一項に記載の行動推定装置。

【請求項8】

前記被写体検出部は、前記撮像画像に含まれる第１被写体及び第２被写体を検出し、
前記関係特定部は、前記人の動きに伴う前記人と前記第１被写体との関係である第１相対関係、前記人の動きに伴う前記人と前記第２被写体との関係である第２相対関係、及び前記人の動きに伴う前記第１被写体と前記第２被写体との関係である第３相対関係を特定し、
前記推定部は、前記被写体の種別と、前記第１相対関係、前記第２相対関係又は前記第３相対関係の少なくとも２つの相対関係と、の組み合わせに基づいて、前記人の行動内容を推定する、
請求項１から７のいずれか一項に記載の行動推定装置。

【請求項9】

前記撮像画像に含まれる前記被写体の属性の設定を受け付ける設定受付部をさらに有し、
前記推定部は、前記被写体の属性にさらに基づいて前記行動内容を推定する、
請求項１から８のいずれか一項に記載の行動推定装置。

【請求項10】

前記関係特定部は、前記被写体検出部が検出した被写体と前記設定受付部が属性の設定を受け付けた被写体との位置関係をさらに特定し、
前記推定部は、前記関係特定部が特定した前記位置関係と、前記設定受付部が設定を受け付けた被写体の属性とにさらに基づいて前記行動内容を推定する、
請求項９に記載の行動推定装置。

【請求項11】

前記撮像画像に写っている場所を特定する場所特定部と、
前記推定部が推定した前記行動内容と、前記場所特定部が特定した場所とが所定の条件を満たす場合に通知情報を出力する出力部と、
をさらに有する、
請求項１から１０のいずれか一項に記載の行動推定装置。

【請求項12】

前記出力部は、前記場所特定部が特定した場所と前記行動内容との組み合わせに対応する種別の前記通知情報を出力する、
請求項１１に記載の行動推定装置。

【請求項13】

前記人の色の変化又は前記被写体の色の変化の少なくともいずれかを特定する色特定部をさらに有し、
前記推定部は、前記色特定部が特定した前記人の色の変化又は前記被写体の色の変化の少なくともいずれかにさらに基づいて、前記行動内容を推定する、
請求項１から１２のいずれか一項に記載の行動推定装置。

【請求項14】

前記画像取得部は、複数の前記撮像画像データを取得し、
前記関係特定部は、複数の前記相対関係を特定し、
前記推定部は、複数の前記相対関係それぞれと前記被写体の種別との組み合わせに基づいて、前記人の行動内容を推定する、
請求項１から１３のいずれか一項に記載の行動推定装置。

【請求項15】

コンピュータが実行する、
撮像画像を示す撮像画像データを取得するステップと、
前記撮像画像に含まれる人の動きを検出するステップと、
前記撮像画像に含まれる被写体の種別を検出するステップと、
前記人の動きに伴う前記人と前記被写体との関係である相対関係を特定するステップと、
基準人以外の一以上の基準被写体と、前記基準被写体と前記基準人との基準相対関係と、前記基準人の基準行動内容と、が関連付けられたデータベースにおいて、前記被写体の種別に対応する前記基準被写体と、前記相対関係に対応する前記基準相対関係と、に関連付けられた前記基準行動内容を特定することにより、検出した前記人の行動内容を推定するステップと、
を有する行動推定方法。

【請求項16】

コンピュータに、
撮像画像を示す撮像画像データを取得するステップと、
前記撮像画像に含まれる人の動きを検出するステップと、
前記撮像画像に含まれる被写体の種別を検出するステップと、
前記人の動きに伴う前記人と前記被写体との関係である相対関係を特定するステップと、
基準人以外の一以上の基準被写体と、前記基準被写体と前記基準人との基準相対関係と、前記基準人の基準行動内容と、が関連付けられたデータベースにおいて、前記被写体の種別に対応する前記基準被写体と、前記相対関係に対応する前記基準相対関係と、に関連付けられた前記基準行動内容を特定することにより、検出した前記人の行動内容を推定するステップと、
を実行させるためのプログラム。

【請求項17】

撮像装置が生成した撮像画像に基づいて人の行動内容を推定する行動推定装置と、前記行動推定装置が推定した前記人の行動内容を表示する情報端末と、を備え、
前記行動推定装置は、
基準人以外の一以上の基準被写体と、前記基準被写体と前記基準人との基準相対関係と、前記基準人の基準行動内容と、が関連付けられたデータベースを記憶する記憶部と、
前記撮像画像を示す撮像画像データを取得する画像取得部と、
前記撮像画像に含まれる人の動きを検出する人検出部と、
前記撮像画像に含まれる被写体の種別を検出する被写体検出部と、
前記人の動きに伴う前記人と前記被写体との関係である相対関係を特定する関係特定部と、
前記データベースにおいて、前記被写体の種別に対応する前記基準被写体と、前記相対関係に対応する前記基準相対関係と、に関連付けられた前記基準行動内容を特定することにより、前記人検出部が検出した前記人の行動内容を推定する推定部と、
前記推定部が推定した前記行動内容を示す行動内容情報を前記情報端末に送信する送信部と、
を有し、
前記情報端末は、
前記行動内容情報を受信する情報受信部と、
前記情報受信部が受信した前記行動内容情報に基づいて前記行動内容を表示する表示部と、
を有する行動推定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人の行動を推定するための行動推定装置、行動推定方法、プログラム及び行動推定システムに関する。

【背景技術】

【0002】

時系列画像に写った人の関節を検出し、検出した関節の位置の変化に基づいて被写体の行動を推定する行動推定装置が知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６５２５１８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の行動推定装置は被写体の動きのみに基づいて行動を推定するため、動きが類似する行動を判別することが困難であるという問題が生じていた。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、人の行動を推定する精度を向上させることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様に係る行動推定装置は、撮像画像を示す撮像画像データを取得する画像取得部と、前記撮像画像に含まれる人の動きを検出する人検出部と、前記撮像画像に含まれる被写体の種別を検出する被写体検出部と、前記人の動きに伴う前記人と前記被写体との関係である相対関係を特定する関係特定部と、前記被写体の種別と、前記相対関係との組み合わせに基づいて、前記人の行動内容を推定する推定部と、を有する。

【0007】

前記関係特定部は、前記人と前記被写体との距離を前記相対関係として特定し、前記推定部は、前記被写体検出部が検出した前記被写体の種別に関連付けられた基準距離と、前記関係特定部が特定した前記人と前記被写体との距離と、を比較した結果に基づいて前記行動内容を推定してもよい。

【0008】

前記関係特定部は、前記人の目線の方向と前記被写体の位置との関係を、前記相対関係として特定し、前記推定部は、前記被写体検出部が検出した前記被写体の種別に関連付けられた目線の方向と被写体の位置との関係である基準目線関係と、前記関係特定部が特定した前記人の目線の方向と前記被写体の位置との関係と、を比較した結果に基づいて前記行動内容を推定してもよい。

【0009】

前記関係特定部は、前記人の身体の向きと前記被写体の位置との関係を、前記相対関係として特定し、前記推定部は、前記被写体検出部が検出した前記被写体の種別に関連付けられた身体の向きと被写体の位置との関係である基準身体向き関係と、前記関係特定部が特定した前記人の目線の方向と前記被写体の位置との関係と、を比較した結果に基づいて前記行動内容を推定してもよい。

【0010】

前記画像取得部は、時系列に作成された複数の前記撮像画像データを取得し、前記関係特定部は、前記相対関係の変化を特定し、前記推定部は、前記被写体の種別と、前記相対関係の変化との組み合わせに基づいて、前記人の行動内容を推定してもよい。

【0011】

前記推定部は、前記複数の撮像画像データのいずれかに、前記人検出部が前記人を検出する前に前記被写体が含まれていたか否かを判定した結果にさらに基づいて、前記行動内容を推定してもよい。

【0012】

前記人検出部は、前記人の属性をさらに検出し、前記推定部は、前記人検出部が検出した前記人の属性にさらに基づいて、前記行動内容を推定してもよい。

【0013】

前記被写体検出部は、前記撮像画像に含まれる第１被写体及び第２被写体を検出し、前記関係特定部は、前記人の動きに伴う前記人と前記第１被写体との関係である第１相対関係、前記人の動きに伴う前記人と前記第２被写体との関係である第２相対関係、及び前記人の動きに伴う前記第１被写体と前記第２被写体との関係である第３相対関係を特定し、前記推定部は、前記被写体の種別と、前記第１相対関係、前記第２相対関係又は前記第３相対関係の少なくとも２つの相対関係と、の組み合わせに基づいて、前記人の行動内容を推定してもよい。

【0014】

前記撮像画像に含まれる前記被写体の属性の設定を受け付ける設定受付部をさらに有し、前記推定部は、前記被写体の属性にさらに基づいて前記行動内容を推定してもよい。

【0015】

前記関係特定部は、前記被写体検出部が検出した被写体と前記設定受付部が属性の設定を受け付けた被写体との位置関係をさらに特定し、前記推定部は、前記関係特定部が特定した前記位置関係と、前記設定受付部が設定を受け付けた被写体の属性とにさらに基づいて前記行動内容を推定してもよい。

【0016】

前記撮像画像に写っている場所を特定する場所特定部と、前記推定部が推定した前記行動内容と、前記場所特定部が特定した場所とが所定の条件を満たす場合に通知情報を出力する出力部と、をさらに有してもよい。

【0017】

前記出力部は、前記場所特定部が特定した場所と前記行動内容との組み合わせに対応する種別の前記通知情報を出力してもよい。

【0018】

前記人の色の変化又は前記被写体の色の変化の少なくともいずれかを特定する色特定部をさらに有し、前記推定部は、前記色特定部が特定した前記人の色の変化又は前記被写体の色の変化の少なくともいずれかにさらに基づいて、前記行動内容を推定してもよい。

【0019】

前記画像取得部は、複数の前記撮像画像データを取得し、前記関係特定部は、複数の前記相対関係を特定し、前記推定部は、複数の前記相対関係それぞれと前記被写体の種別との組み合わせに基づいて、前記人の行動内容を推定してもよい。

【0020】

本発明の第２の態様に係る行動推定方法は、コンピュータが実行する、撮像画像を示す撮像画像データを取得するステップと、前記撮像画像に含まれる人の動きを検出するステップと、前記撮像画像に含まれる被写体の種別を検出するステップと、前記人の動きに伴う前記人と前記被写体との関係である相対関係を特定するステップと、前記被写体の種別と、前記相対関係との組み合わせに基づいて、前記人の行動内容を推定するステップと、を有する。

【0021】

本発明の第３の態様に係るプログラムは、コンピュータに、撮像画像を示す撮像画像データを取得するステップと、前記撮像画像に含まれる人の動きを検出するステップと、前記撮像画像に含まれる被写体の種別を検出するステップと、前記人の動きに伴う前記人と前記被写体との関係である相対関係を特定するステップと、前記被写体の種別と、前記相対関係との組み合わせに基づいて、前記人の行動内容を推定するステップと、を実行させる。

【0022】

本発明の第４の態様に係る行動推定システムは、撮像装置が生成した撮像画像に基づいて人の行動内容を推定する行動推定装置と、前記行動推定装置が推定した前記人の行動内容を表示する情報端末と、を備え、前記行動推定装置は、前記撮像画像を示す撮像画像データを取得する画像取得部と、前記撮像画像に含まれる人の動きを検出する人検出部と、前記撮像画像に含まれる被写体の種別を検出する被写体検出部と、前記人の動きに伴う前記人と前記被写体との関係である相対関係を特定する関係特定部と、前記被写体の種別と、前記相対関係との組み合わせに基づいて、前記人の前記行動内容を推定する推定部と、前記推定部が推定した前記行動内容を示す行動内容情報を前記情報端末に送信する送信部と、を有し、前記情報端末は、前記行動内容情報を受信する情報受信部と、前記情報受信部が受信した前記行動内容情報に基づいて前記行動内容を表示する表示部と、を有する。

【発明の効果】

【0023】

本発明によれば、人の行動を推定する精度を向上させるという効果を奏する。

【図面の簡単な説明】

【0024】

【図1】本実施形態に係る行動推定システムＳの概要を説明するための図である。

【図2】行動推定システムＳの構成を説明するための図である。

【図3】情報端末２の構成を説明するための図である。

【図4】行動推定装置１０の構成を説明するための図である。

【図5】行動内容データベースの一例を示す図である。

【図6】行動推定装置１０が人の行動内容を推定する動作の一例を示すフローチャートである。

【図7】人又は被写体の色の変化に基づいて人の行動内容を推定する行動推定装置１０の構成を示す図である。

【発明を実施するための形態】

【0025】

［行動推定システムＳの概要］
図１は、本実施形態に係る行動推定システムＳの概要を説明するための図である。図２は、行動推定システムＳの構成を示す図である。行動推定システムＳは、撮像装置１と、情報端末２と、行動推定装置１０と、を備える。図２に示すように、撮像装置１と情報端末２と行動推定装置１０とは、ネットワークＮを介して接続されている。ネットワークＮは、例えばイントラネット又はインターネットである。ネットワークＮは、無線ネットワークを含んでもよい。

【0026】

図１（ａ）は、空間Ｒを上から見た図であり、図１（ｂ）は、空間Ｒを横から見た図である。空間Ｒは、例えば店舗の売場、店舗の倉庫、工場の倉庫、又は施設の備品置き場のように物体が置かれた空間である。図１に示すように、空間Ｒには複数の棚Ｔ（Ｔ１〜Ｔ４）が設置されている。図１（ｂ）に示すように、複数の棚Ｔ（Ｔ１〜Ｔ３）には、複数の物体Ｐ（Ｐ１〜Ｐ３）がそれぞれ置かれている。図１に示すように、空間Ｒには、人Ｍが滞在している。人Ｍは、物体Ｐを入れることが可能なバッグＢを所持している。

【0027】

図１においては、行動推定システムＳは、空間Ｒに設置された一以上の撮像装置１が生成した撮像画像に基づいて人Ｍの行動内容を推定する行動推定装置１０を備える。撮像装置１は、例えば監視カメラであり、人の行動内容を推定する領域を撮像する。撮像装置１は、撮像して生成した撮像画像データを行動推定装置１０に送信する。撮像装置１は、撮像画像データとして動画像データを生成してもよい。動画像データは、例えばＨ．２６４又はＨ．２６５等の圧縮規格により符号化されたデータである。

【0028】

行動推定装置１０は、撮像装置１が生成した撮像画像に基づいて人Ｍの行動内容を推定し、推定した行動内容を示す行動内容情報を情報端末２に送信する。行動推定装置１０は、撮像画像に含まれる人Ｍと被写体との相対関係に基づいて人Ｍの行動内容を推定する情報処理装置であり、例えばコンピュータである。被写体は、例えば複数の棚Ｔ、複数の物体Ｐ、バッグＢ又は他の人である。行動推定装置１０は、単一の情報処理装置でもよいし、例えばクラウド型サーバのように複数の情報処理装置で構成されてもよい。

【0029】

行動推定装置１０は、人Ｍと被写体との関係である相対関係を特定し、特定した相対関係と被写体の種別との組み合わせに基づいて人Ｍの行動内容を推定する。相対関係は、例えば人Ｍと物体Ｐとの距離、人Ｍの目線の方向と物体Ｐの位置との関係、又は人Ｍの身体の向きと物体Ｐの位置との関係である。被写体の種別は、例えば缶飲料、ナイフ、商品カゴのように、形状又は色の少なくともいずれかに基づいて被写体を特定できる情報により表される。本実施形態においては、説明を簡単にするために、被写体の種別を商品名で表す場合がある。なお、被写体は、物体又は人である。

【0030】

人Ｍが物体Ｐ２を手に取った後に物体Ｐ２をバッグＢに入れた場合、行動推定装置１０は、人Ｍの手と被写体との距離に基づいて「物体Ｐ２と接触している人Ｍの手がバッグＢと近接している」と相対関係を特定する。続いて、検出した物体Ｐ２の種別が「缶飲料」であり、検出したバッグＢの種別が「ハンドバッグ」である場合、行動推定システムＳは、特定した相対関係と、被写体の種別である缶飲料及びハンドバッグとの組み合わせに基づいて「人Ｍが缶飲料をハンドバッグに入れた」と特定することにより、人Ｍの行動内容が万引きであると推定する。

【0031】

一方、特定した相対関係が同じであっても、検出した物体Ｐ２の種別が「缶飲料」であり、検出したバッグＢの種別が「商品カゴ」である場合、行動推定装置１０は、相対関係と、被写体の種別である缶飲料及び商品カゴとの組み合わせに基づいて「人Ｍが缶飲料を商品カゴに入れた」と特定することにより、人Ｍの行動内容が買い物であると推定する。

【0032】

行動推定装置１０は、推定した結果を情報端末２に送信する。情報端末２は、例えばスマートフォン、タブレット又はパーソナルコンピュータである。情報端末２は、例えば店舗の売場を監視する店員又は工場の倉庫を管理する社員（以下、「管理者」という）が使用する端末である。

【0033】

情報端末２は、行動推定装置１０が推定した人の行動内容をディスプレイに表示する。情報端末２は、例えば行動推定装置１０が推定した人の行動内容と当該人が写っている撮像画像とを含む行動内容情報を取得し、行動内容情報に含まれる撮像画像と当該撮像画像に含まれる人の行動内容とを関連付けて表示してもよい。

【0034】

このように、行動推定装置１０は、人Ｍと被写体との相対関係と被写体の種別との組み合わせに基づいて人Ｍの行動内容を推定することで、動きが類似する行動を高い精度で判別することができる。そして、行動推定装置１０は、予め設定された行動（例えば万引き行為）を検出したことを情報端末２に通知することで、情報端末２を使用する管理者が、予め設定された行動が行われたことを高い精度で把握することができる。

【0035】

なお、情報端末２の管理者は、行動推定装置１０が人の行動内容を推定するために使用する各種の情報を設定することができる。情報端末２は、管理者の操作に応じて、人の行動内容を推定するために用いる情報である設定情報を行動推定装置１０に送信する。

【0036】

設定情報は、例えば被写体の属性情報又は被写体の種別情報のうち少なくとも１つを含む。被写体の属性情報は、被写体の位置又は形状と被写体の属性とが関連付けられた情報である。被写体の属性は、例えば被写体の所有者、被写体の機能といった被写体の特徴を示す情報である。例えば、図１に示す棚Ｔ１の属性情報は、棚Ｔ１の位置又は形状と棚Ｔ１の属性を示す「店舗」とが関連付けられた情報である。

【0037】

被写体の種別情報は、被写体の形状と被写体の種別とが関連付けられた情報である。例えば被写体が缶飲料の場合、被写体の種別情報は、被写体の種別を示す「缶飲料」と当該缶飲料の形状とが関連付けられた情報である。

【0038】

［情報端末２の構成］
図３は、情報端末２の構成を説明するための図である。情報端末２は、通信部２１と、記憶部２２と、制御部２３と、表示部２４と、操作部２５と、を有する。制御部２３は、情報送信部２３１と、情報受信部２３２とを有する。

【0039】

通信部２１は、ネットワークＮを介して情報を送受信するための通信デバイスを含む。通信デバイスは、例えばＬＡＮ（Local Area Network）コントローラ又は無線ＬＡＮコントローラである。

【0040】

記憶部２２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＳＳＤ（Solid State Drive）等の記憶媒体を有する。記憶部２２は、制御部２３が実行するプログラムを記憶している。

【0041】

制御部２３は、例えばＣＰＵ（Central Processing Unit）である。制御部２３は、記憶部２２に記憶されているプログラムを実行することにより、情報送信部２３１及び情報受信部２３２として機能する。情報送信部２３１は、情報端末２を使用する管理者が作成した行動推定装置１０の設定情報を、通信部２１を介して行動推定装置１０に送信する。情報受信部２３２は、行動推定装置１０が送信した行動内容情報を、通信部２１を介して受信する。

【0042】

表示部２４は、例えば、液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）等の表示デバイスを有する。表示部２４は、情報受信部２３２が受信した行動内容情報に基づいて行動内容を表示する。表示部２４は、例えば、情報受信部２３２が受信した行動内容情報に含まれる人の行動内容と当該人が写っている撮像画像とを抽出する。表示部２４は、抽出した撮像画像をディスプレイに表示するとともに、当該撮像画像に写っている人の行動内容を当該撮像画像と関連付けて表示する。

【0043】

操作部２５は、情報端末２を使用する管理者の操作を受け付けるデバイスであり、キーボード、マウス又はタッチパネルである。操作部２５は、管理者の操作内容を示す情報を情報送信部２３１に通知する。

【0044】

［行動推定装置１０の構成］
図４は、行動推定装置１０の構成を説明するための図である。行動推定装置１０は、通信部１１と、記憶部１２と、制御部１３とを有する。制御部１３は、画像取得部１３１と、人検出部１３２と、被写体検出部１３３と、設定受付部１３４と、関係特定部１３５と、推定部１３６と、場所特定部１３７と、出力部１３８とを有する。

【0045】

通信部１１は、ネットワークＮを介して情報を送受信するための通信デバイスを含む。通信デバイスは、例えばＬＡＮコントローラ又は無線ＬＡＮコントローラである。記憶部１２は、ＲＯＭ、ＲＡＭ及びＳＳＤ等の記憶媒体を有する。記憶部１２は、制御部１３が実行するプログラムを記憶している。記憶部１２は、情報端末２から取得した設定情報を記憶する。

【0046】

記憶部１２は、推定部１３６が人の行動内容を推定するために用いられる各種の情報をデータベースに記憶している。記憶部１２は、例えば、人の行動内容と、人の動きと、被写体の種別と、人と被写体との相対関係とが関連付けられた行動内容データベースを記憶している。被写体は、物体又は人である。

【0047】

図５は、行動内容データベースの一例を示す図である。図５においては、人の行動内容のカテゴリと、行動内容と、行動内容を特定するための複数の要件とが関連付けられている。複数の要件は、行動を推定する人の属性、人の動き、複数の被写体の種別（図５に示す「被写体１」「被写体２」）、及び人と被写体との相対関係である。人の属性は、例えば購買客又は従業員のように、人の行動を推定する空間における人の立場又は役割等を示す。

【0048】

例えば、行動内容「眺める」は、人の属性が「購買客」、人の動きが「注視する」、被写体１が「商品」、相対関係が「人と被写体１との距離は距離Ａ１未満」及び「人の目線と被写体１との方向差は方向差Ａ２未満」という要件に関連付けられている。距離Ａ１は、例えば人が被写体と接触することが可能と考えられる距離の最大値である。方向差Ａ２は、例えば人が被写体を注視していると考えられる目線の方向のうち最も被写体から離れている方向である。詳細については後述するが、推定部１３６は、行動内容データベースに含まれている要件の組み合わせに対応する行動内容を特定することにより、撮像画像に含まれている被写体の行動内容を特定する。

【0049】

図４に戻って、制御部１３は、例えばＣＰＵである。制御部１３は、記憶部１２に記憶されているプログラムを実行することにより、画像取得部１３１、人検出部１３２、被写体検出部１３３、設定受付部１３４、関係特定部１３５、推定部１３６、場所特定部１３７及び出力部１３８として機能する。

【0050】

画像取得部１３１は、撮像画像を示す撮像画像データを取得する。画像取得部１３１は、撮像装置１が撮像して生成した撮像画像データを、通信部１１を介して取得する。画像取得部１３１は、時系列に作成された複数の撮像画像データを取得してもよい。

【0051】

人検出部１３２は、撮像画像に含まれる人の動きを検出する。人の動きは、例えば図５に示す「人の動き」の欄に記載されたような動きである。人検出部１３２は、撮像画像に含まれる人の位置を検出し、位置を検出した人の動きをさらに検出する。人検出部１３２は、例えば撮像画像に含まれる人の関節の位置及び人の目線の向きの変化を特定することにより、撮像画像に含まれる人の動きを検出する。人検出部１３２は、検出した人の動きを示す人検出情報を推定部１３６に出力する。

【0052】

人検出部１３２は、人の属性をさらに検出してもよい。人検出部１３２は、例えば従業員が着用している作業服又は制服の模様又は色に基づいて従業員であるか否かを判定することにより人の属性を検出する。人検出部１３２は、記憶部１２に記憶されている従業員の顔の輪郭及び形状等の従業員の特徴と、撮像画像に含まれる人の特徴とを比較した結果に基づいて従業員であるか否かを判定することにより人の属性を検出してもよい。

【0053】

被写体検出部１３３は、撮像画像に含まれる被写体の種別を検出する。被写体検出部１３３は、撮像画像に含まれる被写体の位置を検出し、位置を検出した被写体の種別をさらに検出する。被写体検出部１３３は、例えば記憶部１２に記憶されている設定情報に含まれている被写体の形状に基づいて撮像画像に含まれる被写体を検出し、被写体の形状に関連付けられた被写体の種別に基づいて撮像画像に含まれる被写体の種別を検出する。被写体検出部１３３は、検出した被写体の位置と当該被写体の種別とを示す被写体検出情報を推定部１３６に出力する。

【0054】

被写体検出部１３３は、撮像画像に含まれる複数の被写体を検出してもよい。被写体検出部１３３は、撮像画像に含まれる第１被写体及び第２被写体を検出してもよい。第１被写体及び第２被写体は、例えば、図５に示す「被写体１」及び「被写体２」の欄に記載された種別の物品である。被写体検出部１３３が複数の被写体を検出した場合、推定部１３６は、検出した複数の被写体のうち一以上の被写体の種別に基づいて人の行動内容を推定する。

【0055】

設定受付部１３４は、撮像画像に含まれる被写体の属性の設定を受け付ける。設定受付部１３４は、例えば、情報端末２が送信した被写体の属性情報と被写体の種別情報とを含む設定情報を受信することで、撮像画像に含まれる被写体の属性の設定を受け付ける。設定受付部１３４は、受け付けた被写体の属性の設定を含む設定情報を記憶部１２に記憶させてもよいし、被写体検出部１３３に出力してもよい。

【0056】

関係特定部１３５は、人の動きに伴う人と被写体との関係である相対関係を特定する。関係特定部１３５は、人検出部１３２が出力した人検出情報と被写体検出部１３３が出力した被写体検出情報とに基づいて相対関係を特定する。関係特定部１３５は、例えば、人検出部１３２が検出した人の動きに対応する部位と被写体との相対関係を特定する。関係特定部１３５は、例えば人検出部１３２が検出した人の動きが「注視する」である場合、人の目と被写体との関係を特定し、「取る」である場合、人の手と被写体との関係を特定する。関係特定部１３５は、特定した相対関係を推定部１３６に通知する。相対関係は、推定部１３６が人の行動内容を特定するために用いられる。関係特定部１３５は、例えば、人と被写体との距離を相対関係として特定する。関係特定部１３５は、例えば人検出情報に含まれる人の関節の位置と被写体検出情報に含まれる被写体の位置との差に基づいて人と被写体との距離を特定する。

【0057】

関係特定部１３５は、人の目線の方向と被写体の位置との関係を、相対関係として特定してもよい。関係特定部１３５は、例えば人の動きが「注視する」又は「見る」等の人の目の動きである場合、人検出情報に含まれる人の目線の方向と被写体検出情報に含まれる被写体の位置との関係を、相対関係として特定する。関係特定部１３５は、例えば人が被写体を直視した場合の目線の方向と人検出情報に含まれる目線の方向との差を相対関係として特定する。

【0058】

関係特定部１３５は、人の身体の向きと被写体の位置との関係を、相対関係として特定してもよい。関係特定部１３５は、例えば人の動きが「会話する」である場合、人検出情報に含まれる人の関節の位置に基づいて特定した人の身体の向きと被写体検出情報に含まれる被写体の位置との関係を、相対関係として特定する。関係特定部１３５は、例えば人が被写体の正面を向いた場合の身体の向きと人の関節の位置に基づいて特定した身体の向きとの差を相対関係として特定する。

【0059】

関係特定部１３５は、特定した複数の相対関係に基づいて、相対関係の変化を特定してもよい。関係特定部１３５は、例えば時系列に作成された複数の撮像画像に基づいて検出された人の複数の動きと被写体とに基づいて、複数の相対関係を特定し、特定した複数の相対関係それぞれに基づいて相対関係の変化を特定する。

【0060】

例えば、時刻Ｔにおいて、関係特定部１３５が相対関係を「人と被写体との距離は１０ｃｍ」と特定し、時刻Ｔ＋１において、関係特定部１３５が相対関係を「人と被写体との距離は５０ｃｍ」と特定した場合、時刻Ｔ及び時刻Ｔ＋１に特定した相対関係に基づいて、関係特定部１３５は「人が被写体から遠ざかる方向に移動している」と特定する。このように、相対関係の変化を特定することで、関係特定部１３５は、精度の高い相対関係を特定できる。

【0061】

関係特定部１３５は、行動を推定する人と複数の被写体とが撮像画像に含まれている場合、複数の相対関係を特定してもよい。関係特定部１３５は、例えば人の動きに伴う人と第１被写体との関係である第１相対関係、人の動きに伴う人と第２被写体との関係である第２相対関係、及び人の動きに伴う第１被写体と第２被写体との関係である第３相対関係を特定してもよい。第１相対関係は、例えば人と図５に示す被写体１との相対関係であり、第２相対関係は、人と図５に示す被写体２との相対関係であり、第３相対関係は、被写体１と被写体２との相対関係である。

【0062】

例えば店舗の売場に滞在する購買客が商品をバッグの中に入れた場合、行動を推定する人である購買客は、第１被写体である商品と第２被写体であるバッグとを用いて行動している。そこで、関係特定部１３５は、購買客と商品との関係である第１相対関係、購買客とバッグとの関係である第２相対関係、及び商品とバッグとの関係である第３相対関係を特定する。関係特定部１３５がこのような複数の相対関係を推定部１３６に通知することで、推定部１３６は、人の行動内容の特定精度を向上させることができる。

【0063】

関係特定部１３５は、撮像画像に含まれている複数の被写体のうち、属性が設定されている被写体と他の被写体との位置関係を特定してもよい。関係特定部１３５は、例えば被写体検出部１３３が検出した被写体と設定受付部１３４が属性の設定を受け付けた被写体との位置関係をさらに特定する。

【0064】

例えば店舗の売場を撮像した撮像画像は、固定的に設置された商品棚の画像と商品棚に置かれた商品の画像とを含んでいる。万引きを検出するという目的の場合、商品棚の位置と商品の位置との関係が、人が万引きしていると推定する際に有効である。そこで、関係特定部１３５は、被写体検出部１３３が検出した被写体である商品の位置と設定受付部１３４が属性の設定を受け付けた被写体である商品棚の位置との距離の変化を特定する。

【0065】

推定部１３６は、人の行動内容を推定する。推定部１３６は、被写体の種別と、相対関係との組み合わせに基づいて、人の行動内容を推定する。推定部１３６は、例えば被写体の種別と相対関係との組み合わせが、記憶部１２が記憶している行動内容データベースに含まれているか否かを検索する。推定部１３６は、行動内容データベースに類似又は一致する組み合わせが含まれている場合、類似又は一致する組み合わせに関連付けられた行動内容を、人の行動内容と推定する。

【0066】

例えば店舗の売場に滞在する人が商品を入れ物に入れた場合、被写体検出部１３３は、第１被写体である商品と第２被写体である入れ物とを検出する。関係特定部１３５は、人の手と第１被写体との距離、及び第１被写体と第２被写体との距離に基づいて相対関係を特定する。関係特定部１３５は、相対関係を「人の手と第１被写体との距離、及び第１被写体と第２被写体との距離のそれぞれが所定の距離（例えば図５に示す距離Ｄ１及び距離Ｄ２）未満」であると特定する。

【0067】

推定部１３６は、第２被写体の種別が「バッグ」である場合、人の行動内容を万引きと推定し、第２被写体の種別が「商品カゴ」である場合、人の行動内容を買い物と推定する。このように、推定部１３６は、人の行動が類似する場合であっても、被写体の種別を用いて人の行動内容を推定することで、人の行動を高い精度で推定することができる。

【0068】

さらに、推定部１３６は、関係特定部１３５が相対関係の変化を「第１被写体と第２被写体との距離が短くなる」と特定したことにさらに基づいて、人の行動内容を推定してもよい。このように動作することで、推定部１３６は、人の行動をさらに高い精度で推定することができる。

【0069】

推定部１３６は、関係特定部１３５が人と被写体との距離を相対関係として特定した場合、被写体検出部１３３が検出した被写体の種別に関連付けられた基準距離と、関係特定部１３５が特定した人と被写体との距離と、を比較した結果に基づいて行動内容を推定してもよい。基準距離は、例えば人の行動内容の特徴に対応する距離であり、図５に示す「距離Ａ１未満」、「距離Ｂ１未満」等である。基準距離は、被写体の種別により異なる距離であってもよい。

【0070】

例えば、店舗に滞在する人が被写体である商品を注視している場合において、関係特定部１３５は、人と被写体との相対関係を「人と被写体との距離は距離Ｙ１」と特定する。その場合、推定部１３６は、図５に示す基準距離である「距離Ａ１未満」と関係特定部１３５が特定した距離Ｙ１とを比較する。距離Ｙ１が距離Ａ１未満である場合、推定部１３６は、行動内容である「商品を眺める」に関連付けられた相対関係の１つである「人と被写体１との距離は距離Ａ１未満」と一致するので、人が商品を眺めている可能性があると判定する。

【0071】

推定部１３６は、関係特定部１３５が人の目線の方向と被写体の位置との関係を相対関係として特定した場合、被写体検出部１３３が検出した被写体の種別に関連付けられた目線の方向と被写体の位置との関係である基準目線関係と、関係特定部１３５が特定した人の目線の方向と被写体の位置との関係と、を比較した結果に基づいて行動内容を推定してもよい。目線の方向と被写体の位置との関係は、人の目線の方向と人が被写体を直視する場合の目線の方向との差により表される。基準目線関係は、行動内容の特徴に対応する方向差であり、例えば図５に示す「方向差Ａ２未満」である。

【0072】

例えば、店舗に滞在する人が被写体である商品を眺めている場合において、関係特定部１３５は、人と被写体との相対関係を「人の目線の方向と被写体の位置との関係は方向差Ｙ２」と特定する。その場合、推定部１３６は、図５に示す基準目線関係である「方向差Ａ２未満」と関係特定部１３５が特定した方向差Ｙ２とを比較する。方向差Ｙ２が方向差Ａ２よりも被写体に近い方向である場合、推定部１３６は、行動内容である「商品を眺める」に関連付けられた相対関係の１つである「人の目線と被写体１との方向差は方向差Ａ２未満」と一致するので、人が商品を眺めている可能性があると判定する。

【0073】

推定部１３６は、人と被写体との距離、及び人の目線の方向と被写体の位置との方向差の両方が基準を満たしている場合に、人の行動が「商品を眺める」であると推定してもよい。推定部１３６が複数の相対関係に基づいて人の行動内容を推定することで、行動内容の推定精度がさらに向上する。

【0074】

推定部１３６は、関係特定部１３５が人の身体の向きと被写体の位置との関係を相対関係として特定した場合、被写体検出部１３３が検出した被写体の種別に関連付けられた身体の向きと被写体の位置との関係である基準身体向き関係と、関係特定部１３５が特定した人の目線の方向と被写体の位置との関係と、を比較した結果に基づいて行動内容を推定してもよい。身体の向きと被写体の位置との関係は、身体の向きと人が被写体の方向を向いた場合の身体の向きとの差により表される。基準身体向き関係は、行動内容の特徴に対応する向きの差であり、例えば図５に示す向き「角度差Ｂ２未満」である。

【0075】

例えば、店舗に滞在する人（購買客）が被写体である従業員と話している場合において、関係特定部１３５は、人と被写体との相対関係を「人の身体の向きと被写体の位置との関係は角度差Ｘ１」と特定する。その場合、推定部１３６は、図５に示す基準身体向き関係である「角度差Ｂ２未満」と関係特定部１３５が特定した角度差Ｘ１とを比較する。角度差Ｘ１が角度差Ｂ２よりも被写体に近い方向を向いている場合、推定部１３６は、行動内容である「従業員と話す」に関連付けられた相対関係の１つである「人の身体の向きと被写体１との角度差は角度差Ｂ２未満」と一致するので、人が従業員と話している可能性があると判定する。

【0076】

推定部１３６は、人と被写体との距離、及び人の身体の向きと被写体の位置との角度差の両方が基準を満たしている場合に、人の行動が「従業員と話す」であると推定してもよい。推定部１３６が複数の相対関係に基づいて人の行動内容を推定することで、行動内容の推定精度がさらに向上する。

【0077】

推定部１３６は、関係特定部１３５が複数の相対関係を用いて相対関係の変化を特定した場合、被写体の種別と、相対関係の変化との組み合わせに基づいて、人の行動内容を推定してもよい。例えば、店舗に滞在している人が手に取った商品をバッグに入れる場合、関係特定部１３５は、複数の時刻それぞれにおいて第１被写体である商品と第２被写体であるバッグとの距離を相対関係として特定する。関係特定部１３５は、相対関係の変化を「第１被写体と第２被写体との距離が短くなる」と特定する。

【0078】

推定部１３６は、関係特定部１３５が特定した相対関係の変化と被写体の種別である商品及びバッグとの組み合わせに基づいて、人が商品をバッグに入れる動作であると判定し、人の行動内容を「万引き」と推定する。このように、相対関係の変化を用いることで、推定部１３６は、人の行動内容の推定精度を向上させることができる。

【0079】

推定部１３６は、被写体の種別と相対関係の変化との組み合わせに基づいて人の行動内容を推定する場合、複数の撮像画像データのいずれかに、人検出部１３２が人を検出する前に被写体が含まれていたか否かを判定した結果にさらに基づいて、行動内容を推定してもよい。

【0080】

例えば、店舗の売場に滞在している人が棚に置かれた物体を取った場合、物体の種別が商品であるか否かを判別する必要がある。この場合、推定部１３６は、例えば店舗が開店する前の時刻に作成された撮像画像データが示す撮像画像に写った物体と、人検出部１３２が棚に置かれた物体を取った人を検出した時刻に作成された撮像画像データが示す撮像画像に写った物体とが一致するか否かを判定する。一致すると判定した場合、推定部１３６は、物体の種別が商品であると特定する。推定部１３６は、人が物体をバッグに入れ、かつ物体が商品であるという場合に、人の行動内容が「万引き」であると推定する。

【0081】

このように推定部１３６が動作することで、例えば来店した購買客が店舗の棚に私物を置き忘れて移動し、一定の時間が経過した後に置き忘れた私物を取りに戻った場合、推定部１３６は、開店前の撮像画像に基づいて購買客が棚から取った私物と商品とを区別することができる。その結果、推定部１３６は、万引きではない行動の内容を誤って「万引き」と推定することを抑制できる。

【0082】

推定部１３６は、撮像画像に基づいて関係特定部１３５が複数の相対関係を特定した場合、複数の相対関係それぞれと被写体の種別との組み合わせに基づいて、人の行動内容を推定してもよい。

【0083】

例えば、店舗の売場に滞在している人が棚に置かれた商品をバッグに入れた場合、関係特定部１３５は、第１相対関係の一例である人と棚との距離、及び第２相対関係の一例である人と商品との距離を特定する。推定部１３６は、第１相対関係が示す距離と第２相対関係が示す距離とが、それぞれ基準距離未満である場合、第１相対関係と第２相対関係と被写体の種別である商品及びバッグとの組み合わせに基づいて人の行動内容を万引きと推定する。

【0084】

さらに、関係特定部１３５が複数の時刻に特定した複数の第２相対関係に基づいて、第２相対関係の変化を特定した場合、推定部１３６は、第１相対関係と第２相対関係の変化と被写体の種別との組み合わせに基づいて人の行動内容を推定してもよい。推定部１３６は、例えば第１相対関係である「人と棚との距離が基準距離未満」と第２相対関係の変化である「人と商品との距離が短くなる」と被写体の種別である棚及び商品との組み合わせに基づいて人の行動内容を万引きと推定してもよい。

【0085】

推定部１３６は、関係特定部１３５が人と複数の被写体とに基づいて複数の相対関係を特定した場合、複数の相対関係の組み合わせに基づいて人の行動内容を推定してもよい。推定部１３６は、例えば被写体の種別と、第１相対関係、第２相対関係又は第３相対関係の少なくとも２つの相対関係と、の組み合わせに基づいて、人の行動内容を推定してもよい。

【0086】

例えば、店舗の売場で人が商品をバッグに入れた場合、被写体検出部１３３は、商品とバッグとを被写体として検出する。関係特定部１３５は、人と商品との関係を第１相対関係として特定し、人とバッグとの関係を第２相対関係として特定し、商品とバッグとの関係を第３相対関係として特定する。推定部１３６は、被写体の種別がバッグ及び商品であることと、人の手とバッグとが距離Ｄ１未満であることと、バッグと商品とが距離Ｄ２未満であることとに基づいて、人の行動内容を「万引き」と推定する。

【0087】

なお、ここでは、推定部１３６が第２相対関係及び第３相対関係を用いて人の行動内容を「万引き」と推定する場合を例示したが、推定部１３６は、第１相対関係である「人が商品を把持している」をさらに用いて人の行動内容を推定してもよい。

【0088】

推定部１３６は、人検出部１３２が検出した人の属性にさらに基づいて、行動内容を推定してもよい。例えば、店舗の売場で人が商品をバッグに入れた場合、人の属性が購買客であれば、推定部１３６は人の行動内容を「万引き」と推定し、人の属性が従業員であれば、推定部１３６は人の行動内容を「商品整理」と推定する。このように推定部１３６が動作することで、推定部１３６は、例えば商品を手に取る行動である「万引き」と「商品整理」のように、人の動きが類似している場合であっても、行動内容を正しく推定することができる。

【0089】

推定部１３６は、設定受付部１３４が受け付けた被写体の属性にさらに基づいて行動内容を推定してもよい。被写体の属性は、例えば被写体の所有者、被写体の機能といった被写体の特徴を示す情報である。例えば、店舗の倉庫等に設置された棚に置かれた物体の属性が「店舗の所有物」であることを設定受付部１３４が受け付けた場合、推定部１３６は、物体を取る動きをしている従業員の行動内容を「商品又は備品の整理」と推定する。一方、設定受付部１３４が物体の属性が「店舗の所有物」でない場合、推定部１３６は、物体を取る従業員の行動内容を、例えば「私物を動かしている」と推定する。

【0090】

さらに、関係特定部１３５が、被写体検出部１３３が検出した被写体と設定受付部１３４が属性の設定を受け付けた被写体との位置関係を特定した場合、推定部１３６は、関係特定部１３５が特定した位置関係と、設定受付部１３４が設定を受け付けた被写体の属性とにさらに基づいて行動内容を推定してもよい。例えば、関係特定部１３５が特定した被写体が商品棚であり、設定受付部１３４が設定を受け付けた被写体が商品棚に置かれた物体である場合、推定部１３６は、関係特定部１３５が特定した位置関係に基づいて、従業員以外の人が商品棚に置かれた物体をカバンに入れる動きをしていると判定する。続いて、推定部１３６は、物体の属性が「店舗の所有物」である場合に、従業員以外の人の行動内容を万引きと推定する。

【0091】

推定部１３６は、このように被写体の属性に基づいて行動内容を推定することで、複数の商品と複数の商品とは異なる物体（例えば私物）とが同じ場所に置かれている場合であっても、商品と商品とは異なる物体とを区別して人の行動内容を推定することができる。

【0092】

場所特定部１３７は、撮像画像に写っている場所を特定する。場所特定部１３７は、例えば撮像画像に写っている被写体に基づいて撮像画像に写っている場所を特定する。場所特定部１３７は、例えばＧＰＳ（Global Positioning System）信号に基づいて撮像画像に写っている場所を特定してもよい。場所特定部１３７は、特定した場所を示す情報を出力部１３８に通知する。

【0093】

出力部１３８は、推定部１３６が推定した行動内容を示す行動内容情報を情報端末２に送信する送信部として機能する。出力部１３８は、推定部１３６が推定した行動内容と、場所特定部１３７が特定した場所とが所定の条件を満たす場合に通知情報を出力してもよい。所定の条件は、情報端末２のユーザが通知情報を受けて何かしらの対応をすべきことである。情報端末２のユーザは、例えば撮像装置が店舗に設置されている場合、店舗の従業員又は警備員である。

【0094】

具体的には、推定部１３６が推定した行動内容が「万引き」であり、場所特定部１３７が特定した場所が「店舗」である場合、店舗の従業員又は警備員は、万引きをした人を確保する必要がある。したがって、出力部１３８は、所定の条件を満たすと判定し通知情報を出力する。

【0095】

一方、推定部１３６が推定した行動内容が「商品整理」であり、場所特定部１３７が特定した場所が「店舗」である場合、推定した行動内容は従業員の通常の行動であるため、出力部１３８は、所定の条件を満たさないと判定し通知情報を出力しない。このように動作することで、出力部１３８は、情報端末２のユーザが必要とする情報を出力することができる。

【0096】

出力部１３８は、場所特定部１３７が特定した場所と行動内容との組み合わせに対応する種別の通知情報を出力してもよい。例えば、場所特定部１３７が特定した場所が「店舗の売場」であり、推定部１３６が推定した人の行動内容が「万引き」である場合、出力部１３８は、店舗の売場で万引きが行われたことを示す通知情報を出力する。

【0097】

［行動推定装置１０のフローチャート］
図６は、行動推定装置１０が人の行動内容を推定する動作の一例を示すフローチャートである。図６においては、行動推定装置１０が、時刻Ｔ１における相対関係と時刻Ｔ２における相対関係とに基づいて相対関係の変化を特定し、特定した相対関係の変化を用いて人の行動内容を推定する動作を説明する。

【0098】

画像取得部１３１は、撮像装置１が時刻Ｔ１において生成した第１撮像画像データを取得する（Ｓ１１）。場所特定部１３７は、画像取得部１３１が取得した第１撮像画像データが示す撮像画像に写っている場所を特定する。また、人検出部１３２は、第１撮像画像データが示す撮像画像に含まれる人の位置を検出する（Ｓ１２）。被写体検出部１３３は、第１撮像画像データが示す撮像画像に写っている被写体の位置と被写体の種別とを検出する（Ｓ１３）。関係特定部１３５は、時刻Ｔ１における人の位置と被写体の位置と被写体の種別との関係である相対関係を特定する（Ｓ１４）。

【0099】

画像取得部１３１は、撮像装置１が時刻Ｔ２において生成した第２撮像画像データを取得する（Ｓ１５）。人検出部１３２は、第２撮像画像データが示す撮像画像に含まれる人の位置を検出する（Ｓ１６）。被写体検出部１３３は、第２撮像画像データが示す撮像画像に写っている被写体の位置と被写体の種別とを検出する（Ｓ１７）。関係特定部１３５は、時刻Ｔ２における人の位置と被写体の位置と被写体の種別との関係である相対関係を特定する（Ｓ１８）。

【0100】

関係特定部１３５は、Ｓ１４において特定した時刻Ｔ１での相対関係と、Ｓ１８において特定した時刻Ｔ２での相対関係とに基づいて、相対関係の変化を特定する（Ｓ１９）。推定部１３６は、関係特定部１３５が特定した相対関係の変化と被写体検出部１３３が検出した被写体の種別との組み合わせに基づいて人の行動内容を推定する（Ｓ２０）。

【0101】

行動推定装置１０は、人の行動内容を推定する処理を終了する操作が行われていない場合（Ｓ２１のＮＯ）、Ｓ１１からＳ１９までの処理を繰り返す。人の行動内容を推定する処理を終了する操作が行われた場合（Ｓ２１のＹＥＳ）、行動推定装置１０は、処理を終了する。

【0102】

［他の応用例］
以上の説明においては、店舗内での購買客又は従業員の行動内容を推定する場合を例示したが、行動推定装置１０は、他の場所の撮像画像に基づいて人の各種の行動内容を推定してもよい。

【0103】

（色に基づく推定）
図７は、人又は被写体の色の変化に基づいて人の行動内容を推定する行動推定装置１０の構成を示す図である。図７に示す行動推定装置１０は、色特定部１３９を有する点で図４に示す行動推定装置１０と異なり、他の点において同じである。色特定部１３９は、人の色の変化又は被写体の色の変化の少なくともいずれかを特定する。色特定部１３９は、人検出部１３２が検出した人の位置又は被写体検出部１３３が検出した被写体の位置に基づいて、画像取得部１３１が取得した撮像画像に含まれる人又は被写体の色の変化を特定する。

【0104】

推定部１３６は、色特定部１３９が特定した人の色の変化又は被写体の色の変化の少なくともいずれかにさらに基づいて、行動内容を推定してもよい。例えば、人がナイフを使用している場合、被写体検出部１３３は、被写体の種別であるナイフを検出する。関係特定部１３５は、人と被写体であるナイフとの関係である相対関係を「人と被写体との距離は基準距離未満である」と特定する。色特定部１３９は人の位置とナイフの位置とに基づいて、人の手及びナイフが赤色に変化したことを特定する。推定部１３６は、人の手及びナイフが赤色に変化したことに基づいて、人が怪我をしていることを推定する。

【0105】

また、ナイフを使用している人の周囲に他の人が滞在している場合、関係特定部１３５が被写体であるナイフと他の人との相対関係の変化を「ナイフと他の人との距離が時刻ごとに大きく変化している」と特定したことにより、推定部１３６は、人の行動内容を危険行動と推定する。そして、色特定部１３９が、ナイフ又は他の人の色が赤色に変化したことを特定することにより、推定部１３６は、他の人が怪我をしていることを推定する。

【0106】

このように色特定部１３９が人又は被写体の色の変化を特定し、推定部１３６が色の変化に基づいて人の行動を特定することで、行動推定装置１０は、流血等の緊急に対応すべき行動内容を推定することができる。さらに、行動推定装置１０は、例えば赤色と異なる色に変化したことを検出することにより、例えばペンキをこぼす等の行動内容を推定することができる。

【0107】

（危険行為の検出）
行動推定装置１０は、例えば屋外に設置された監視カメラの画像に基づいて、屋外で発生した危険行為を検出してもよい。危険行為は、例えば公園に設置されたベンチ等の器物を破壊する行為である。監視カメラの画像に基づいて、空手の動きをする人とベンチとを検出した場合、関係特定部１３５は、人と被写体であるベンチとの相対関係を特定する。

【0108】

関係特定部１３５が相対関係を「人と被写体との距離は閾値以上」と特定した場合、推定部１３６は、人の行動内容を「空手の練習」と特定する。閾値は、例えば人が空手等の格技の練習で動く範囲を示す距離である。一方、関係特定部１３５が相対関係を「人と被写体との距離は閾値未満」と特定した場合、推定部１３６は、人の行動内容を「ベンチを破壊する」と推定する。このように動作することで、行動推定装置１０は、屋外に設置された器物と当該器物の周囲の人の行動とを監視することができる。

【0109】

（禁止領域への侵入の検出）
行動推定装置１０は、監視カメラの画像に基づいて、人が進入禁止の領域に立ち入る行動を推定してもよい。例えば進入禁止の領域の境界に柵が設置されている場合、被写体検出部１３３は、被写体である柵を検出する。人が柵を乗り越えて侵入した場合、人検出部１３２は、人が柵を乗り越える動きを検出する。関係特定部１３５は、相対関係を「人が被写体を乗り越えている」と特定する。推定部１３６は、被写体の種別である柵と相対関係との組み合わせに基づいて、人の行動内容を「柵の乗り越え」と推定する。

【0110】

進入禁止の領域に柵が設置されていない場合、被写体検出部１３３は、進入禁止の領域を被写体の種別として検出してもよい。進入禁止の領域に人が立ち入った場合、人検出部１３２は、人が移動していることを検出する。関係特定部１３５は、被写体である進入禁止の領域を示す位置情報と人が移動した位置とに基づいて、相対関係を「人が被写体の内部を移動している」と特定する。推定部１３６は、人の行動内容を「進入禁止の領域に侵入」と推定する。

【0111】

このように動作することで、行動推定装置１０は、進入禁止の領域に人が立ち入ることを検出することができる。進入禁止の領域の管理者は、行動推定装置１０が進入禁止の領域に人が侵入したことを情報端末２に通知することで、人が侵入したことを知るとともに、人に警告を発することができる。

【0112】

［行動推定装置１０の効果］
以上説明したように、行動推定装置１０は、撮像画像に含まれる人の動きを検出する人検出部１３２と、撮像画像に含まれる被写体の種別を検出する被写体検出部１３３と、人の動きに伴う人と被写体との関係である相対関係を特定する関係特定部１３５とを有する。そして、推定部１３６は、被写体検出部１３３が検出した被写体の種別と関係特定部１３５が特定した相対関係とに基づいて人の行動内容を推定する。

【0113】

行動推定装置１０は、このように被写体の種別と、人と被写体との相対関係とを用いて人の行動内容を推定することで、動きが類似する行動であっても、精度よく人の行動内容を推定することができる。また、行動推定システムＳによれば、行動推定装置１０が推定した人の行動内容を示す行動内容情報を情報端末２が受信することで、例えば情報端末２のユーザである店舗の従業員は、人の異常行動を精度よく知ることができる。その結果、情報端末２のユーザは、人の行動に正確に対応することができる。

【0114】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0115】

１ 撮像装置
２ 情報端末
１０ 行動推定装置
１１ 通信部
１２ 記憶部
１３ 制御部
２１ 通信部
２２ 記憶部
２３ 制御部
２４ 表示部
２５ 操作部
１３１ 画像取得部
１３２ 人検出部
１３３ 被写体検出部
１３４ 設定受付部
１３５ 関係特定部
１３６ 推定部
１３７ 場所特定部
１３８ 出力部
１３９ 色特定部
２３１ 情報送信部
２３２ 情報受信部

【要約】

【課題】人の行動を推定する精度を向上させる。
【解決手段】行動推定装置１０は、撮像画像を示す撮像画像データを取得する画像取得部１３１と、撮像画像に含まれる人の動きを検出する人検出部１３２と、撮像画像に含まれる被写体の種別を検出する被写体検出部１３３と、人の動きに伴う人と被写体との関係である相対関係を特定する関係特定部１３５と、被写体の種別と、相対関係との組み合わせに基づいて、人の行動内容を推定する推定部１３６と、を有する。
【選択図】図４

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】