特許 7597431 行動推定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-12-02

(45)【発行日】2024-12-10

(54)【発明の名称】行動推定システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241203BHJP

   G06T 7/20 20170101ALI20241203BHJP

【ＦＩ】

G06T7/00 660B

G06T7/20 300Z

【請求項の数】 3

(21)【出願番号】P 2024075748

(22)【出願日】2024-05-08

【審査請求日】2024-09-18

【早期審査対象出願】

(73)【特許権者】

【識別番号】518126409

【氏名又は名称】株式会社アジラ

(74)【代理人】

【識別番号】100176256

【弁理士】

【氏名又は名称】相田 隆敬

(72)【発明者】

【氏名】チャン クアン チュン

(72)【発明者】

【氏名】チン ヴァン タイン

(72)【発明者】

【氏名】リヤナ アラチゲ ウビン インドゥワラ ウィジェシンハ

【審査官】佐田 宏史

(56)【参考文献】

【文献】特開２０１４－１７４６２７（ＪＰ，Ａ）

【文献】特開２０１９－１６９８０８（ＪＰ，Ａ）

【文献】特開２０２１－０９７２８５（ＪＰ，Ａ）

【文献】特開２０１０－２７２９５８（ＪＰ，Ａ）

【文献】国際公開第２０１６／０２１４１１（ＷＯ，Ａ１）

【文献】小▲柳▼ 修平、外２名，“画像処理を用いたライフログ作成システム”，電気学会研究会資料，日本，一般社団法人電気学会，2015年03月26日，pp.27-32

【文献】藤根 俊夫、外４名，“可視・赤外線センサの映像融合による道路監視システム”，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，2000年09月14日，Vol.100, No.311，pp.95-100

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００，７／００－７／９０

Ｇ０６Ｖ １０／００－１０／９８

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ １３／１９４－１３／１９６，２５／００

(57)【特許請求の範囲】

【請求項1】

所定範囲を撮影するように設置された撮影手段により撮影された映像を取得する取得部と、
前記映像内の特徴量に基づき前記映像に映った行動体を検出する検出部と、
前記検出された行動体の特徴量の変位に基づき前記行動体の行動を推定する推定部と、
前記推定された行動に関する情報を出力する出力部と、
前記所定範囲内の複数の位置のそれぞれにおいて所定時間内に前記検出部による行動体の検出が行われた累積回数を計数する計数部と、
前記複数の位置のうち前記累積回数が所定回数を超える高頻度位置に関しては、前記行動の推定を行わないように前記推定部を制御、又は、前記行動に関する情報の出力を行わないように前記出力部を制御する制御部と、
を備え、
前記高頻度位置と異なる位置で検出された行動体が前記高頻度位置まで移動してきた際には、前記制御部は、当該行動体に関しては、前記高頻度位置においても、前記行動の推定を行うように前記推定部を制御、又は、前記行動に関する情報の出力を行うように前記出力部を制御することを特徴とする行動推定システム。

【請求項2】

コンピュータで実行されるプログラムであって、
所定範囲を撮影するように設置された撮影手段により撮影された映像を取得するステップと、
前記映像内の特徴量に基づき前記映像に映った行動体を検出するステップと、
前記検出された行動体の特徴量の変位に基づき前記行動体の行動を推定するステップと、
前記推定された行動に関する情報を出力するステップと、
前記所定範囲内の複数の位置のそれぞれにおいて所定時間内に前記検出するステップにおいて行動体の検出が行われた累積回数を計数するステップと、
を備え、
前記複数の位置のうち前記累積回数が所定回数を超える高頻度位置に関しては、前記推定するステップにおいて前記行動の推定を行わない、又は、前記出力するステップにおいて前記行動に関する情報の出力を行わないが、前記高頻度位置と異なる位置で検出された行動体が前記高頻度位置まで移動してきた際には、当該行動体に関しては、前記高頻度位置においても、前記行動の推定を行う、又は、前記行動に関する情報の出力を行うことを特徴とする行動推定プログラム。

【請求項3】

コンピュータで実行される方法であって、
所定範囲を撮影するように設置された撮影手段により撮影された映像を取得するステップと、
前記映像内の特徴量に基づき前記映像に映った行動体を検出するステップと、
前記検出された行動体の特徴量の変位に基づき前記行動体の行動を推定するステップと、
前記推定された行動に関する情報を出力するステップと、
前記所定範囲内の複数の位置のそれぞれにおいて所定時間内に前記検出するステップにおいて行動体の検出が行われた累積回数を計数するステップと、
を備え、
前記複数の位置のうち前記累積回数が所定回数を超える高頻度位置に関しては、前記推定するステップにおいて前記行動の推定を行わない、又は、前記出力するステップにおいて前記行動に関する情報の出力を行わないが、前記高頻度位置と異なる位置で検出された行動体が前記高頻度位置まで移動してきた際には、当該行動体に関しては、前記高頻度位置においても、前記行動の推定を行う、又は、前記行動に関する情報の出力を行うことを特徴とする行動推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像に映った非行動体を行動体として誤って検出してしまうことが抑制された行動推定システムに関する。

【背景技術】

【0002】

従来より、時系列画像に映った複数の関節に基づき、一の対象に属する関節群を識別し、当該関節群の変位に基づき、当該一の対象の行動を推定する技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６５２５１７９号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記技術では、時系列画像（映像）に映ったマネキンや影等の非行動体を行動体として誤って検出してしまうという問題が生じていた。

【0005】

そこで、本発明は、映像に映った非行動体を行動体として誤って検出してしまうことが抑制された行動推定システムを提供することを目的としている。

【課題を解決するための手段】

【0006】

本発明は、所定範囲を撮影するように設置された撮影手段により撮影された映像を取得する取得部と、前記映像内の特徴量に基づき前記映像に映った行動体を検出する検出部と、前記検出された行動体の特徴量の変位に基づき前記行動体の行動を推定する推定部と、前記推定された行動に関する情報を出力する出力部と、前記所定範囲内の複数の位置のそれぞれにおいて所定時間内に前記検出部による行動体の検出が行われた累積回数を計数する計数部と、前記複数の位置のうち前記累積回数が所定回数を超える高頻度位置に関しては、前記行動の推定を行わないように前記推定部を制御、又は、前記行動に関する情報の出力を行わないように前記出力部を制御する制御部と、を備えたことを特徴とする行動推定システムを提供している。

【0007】

また、本発明の別の観点によれば、所定範囲を撮影するように設置された撮影手段により撮影された映像を取得する取得部と、前記映像内の特徴量に基づき前記映像に映った行動体を検出する検出部と、前記検出された行動体の特徴量の変位に基づき前記行動体の行動を推定する推定部と、前記推定された行動に関する情報を出力する出力部と、前記所定範囲内の複数の位置のそれぞれにおいて所定時間内に前記検出部による行動体の検出が同一範囲の特徴量に基づいて行われた累積回数を計数する計数部と、前記複数の位置のうち前記累積回数が所定回数を超える高頻度位置に関しては、前記同一範囲の特徴量に基づく行動の推定を行わないように前記推定部を制御、又は、前記同一範囲の特徴量に基づき推定された行動に関する情報の出力を行わないように前記出力部を制御する制御部と、を備えたことを特徴とする行動推定システムを提供している。

【0008】

また、本発明の別の観点によれば、上記行動推定システムに対応する行動推定プログラム、及び、行動推定方法を提供している。

【発明の効果】

【0009】

本発明の行動推定システムによれば、映像に映った非行動体を行動体として誤って検出してしまうことが抑制される。

【図面の簡単な説明】

【0010】

【図1】本発明の第１の実施の形態による行動推定システムの使用状態の説明図

【図2】本発明の第１の実施の形態による行動推定システムのブロック図

【図3】本発明第１の実施の形態による累積回数の説明図

【図4】本発明の第１の実施の形態による行動推定のフローチャート

【発明を実施するための形態】

【0011】

以下、本発明の第１の実施の形態による行動推定システム１について、図１－図４を参照して説明する。

【0012】

行動推定システム１は、図１に示すように、撮影手段Ｘによって撮影された映像Ｙ（図１では、映像を構成するフレーム）に映った行動体Ｚの行動を推定するためのものである。本実施の形態では、行動体Ｚとして人間を採用し、理解容易のため、行動体Ｚを骨格だけで簡易的に表示する。

【0013】

行動推定システム１は、図２に示すように、取得部２と、記憶部３と、検出部４と、推定部５と、出力部６と、計数部７と、制御部８と、を備えている。

【0014】

取得部２は、所定範囲を撮影するように設置された撮影手段Ｘにより撮影された映像Ｙを取得する。本実施の形態では、撮影手段Ｘによる撮影範囲の全てを所定範囲として設定した例を説明する。

【0015】

記憶部３には、行動体を検出するための第１の特徴量基準と、行動体の行動を推定するための第２の特徴量基準と、が記憶されている。

【0016】

本実施の形態では、第１の特徴量基準として“関節識別基準”及び“行動体識別基準”が、第２の特徴量基準として“行動識別基準”が、それぞれ記憶されている。

【0017】

“関節識別基準”は、行動体の複数の関節（首、右肘、左肘、腰、右膝、左膝等）を識別するためのものであり、関節ごとに、それぞれを識別するための形状、方向、サイズ等を示したものである。

【0018】

“行動体識別基準”は、行動体の様々なバリエーション（“歩行”、“直立”等）の “基本姿勢“、”各関節の可動域“、一の行動体における”各関節間の距離“等を示したものである。

【0019】

“行動識別基準”は、行動体が所定の行動を行った場合の各関節の動きを示したものであり、本実施の形態では、様々な種類の行動についての“行動識別基準”が記憶されている。

【0020】

検出部４は、映像Ｙ内の特徴量に基づき映像Ｙに映った行動体Ｚを検出する。

【0021】

本実施の形態では、記憶部３に記憶された“関節識別基準”に相当する特徴量が検出されたら、“行動体識別基準”を参照して、一の行動体に含まれる複数の関節（特徴量）を特定する。図１の例では、関節Ａ１－Ａ６が一の行動体Ｚに含まれる関節Ａであると特定され、一の行動体Ｚが存在するものと特定される。

【0022】

推定部５は、検出された行動体Ｚの特徴量の変位に基づき行動体Ｚの行動を推定する。

【0023】

本実施の形態では、“行動識別基準”に相当する各関節（特徴量）の動きが検出された場合に「当該行動を行った」と推定される。

【0024】

出力部６は、推定された行動に関する情報を出力する。

【0025】

出力の態様としては、“転倒”、“立位”等の行動を表示しても良いし、所定の行動が推定された場合に単にアラートを行うだけであっても良い。

【0026】

なお、例えば、行動推定システム１を防犯や見守り等の目的で用いる場合には、出力された情報は、登録された情報端末（警備会社の情報端末、個人の携帯情報端末等）に対して送信されることが考えられる。

【0027】

ここで、検出部４は、特徴量が行動体（人間）に近いものを行動体として検出するが、映像Ｙにマネキンが映っている場合には、当該マネキンを行動体として誤って検出してしまうことが問題となっていた。また、映像Ｙに映った影の特徴量が行動体の特徴量に近似している場合にも、当該影を行動体として誤って検出してしまうことが問題となっていた。

【0028】

そこで、本実施の形態では、高頻度で行動体の検出が行われている高頻度位置では、非行動体が存在している可能性が高いものとみなし、高頻度位置での検出は行動体の検出とは取り扱わないものとする。

【0029】

詳細には、計数部７は、所定範囲（撮影範囲）内の複数の位置のそれぞれにおいて所定時間内に検出部４による行動体の検出が行われた累積回数を計数する。

【0030】

すなわち、計数部７は、実際の行動体であったか否かに関わらず、行動体として検出された累積回数を計数する。

【0031】

“位置”としては、画面上の位置（座標等）を用いても良いし、実空間内における位置（座標等）を用いても良い。

【0032】

実空間内における位置（座標等）を用いる場合には、画面上の平面座標、奥行方向の座標、行動体のサイズ等を考慮して、実空間内における位置を推定することが考えられる。奥行方向の座標としては、公知の深度推定等を用いることが考えられる。

【0033】

また、本実施の形態における“位置”としては、一の座標のみならず、ある程度の範囲を“位置”として用いても良い。例えば、画面を複数に分割し、一の分割画面内に行動体が存在する場合に、当該一の分割画面の位置で行動体の検出が行われたと計数することが考えられる。また、行動体の重心やその他の特定部位（所定の関節等）の位置を“位置”としても良い。その場合、重心等から所定範囲内を“位置”とすることが考えられる。

【0034】

制御部８は、上記複数の位置のうち累積回数が所定回数を超える高頻度位置に関しては、行動の推定を行わないように推定部５を制御、又は、行動に関する情報の出力を行わないように出力部６を制御する。

【0035】

例えば、図３では、マネキンＢが存在する位置において高頻度で行動体の検出が繰り返され、累積回数が所定回数に達した時点で高頻度位置として決定され、以降では、当該高頻度位置で行動体が検出されたとしても、行動の推定、又は、行動に関する情報の出力が行われないこととなる。

【0036】

「行動の推定を行わない」場合には、推定に必要な電力やコンピュータの負荷が低減されると共に、出力も行われないので、ユーザが誤った情報に対応する必要がなくなる。

【0037】

「行動に関する情報の出力を行わない」場合には、推定のための電力等は必要になるが、この場合も、出力部６により行動に関する情報の出力が行われなければ、ユーザが誤った情報に対応する必要がなくなる。

【0038】

続いて、図４のフローチャートを用いて、行動推定システム１による行動の推定について説明する。図４では、上記した「行動の推定を行わない」場合について説明を行う。

【0039】

まず、所定範囲を撮影した映像Ｙが取得されると（Ｓ１）、映像Ｙ内の特徴量に基づき映像Ｙに映った行動体Ｚが検出され（Ｓ２）、当該検出位置において行動体が検出された累積回数が所定回数を超えたか否かが判定される（Ｓ３）。

【0040】

累積回数が所定回数を超えていない場合には（Ｓ３：ＮＯ）、当該検出位置において行動体が検出された回数が加算された上で（Ｓ４）、検出された行動体の特徴量の変位に基づき当該行動体の行動が推定される（Ｓ５）。Ｓ４とＳ５の工程は逆の順序であっても良い。

【0041】

一方、累積回数が所定回数を超えていた場合には（Ｓ３：ＹＥＳ）、当該行動体の行動の推定は行われず、Ｓ１に戻る。

【0042】

以上説明したように、本実施の形態による行動推定システム１では、所定範囲（撮影範囲）内の複数の位置のうち累積回数が所定回数を超える高頻度位置に関しては、行動の推定を行わないように推定部５を制御、又は、行動に関する情報の出力を行わないように出力部６を制御する。

【0043】

このような構成によれば、映像Ｙに映った非行動体を行動体として誤って検出してしまうことが抑制される。

【0044】

続いて、本発明の第２の実施の形態による行動推定システム１について説明する。本実施の形態による行動推定システム１は、計数部７及び制御部８の動作が一部異なる以外は第１の実施の形態と同一の構成を有している。

【0045】

第１の実施の形態では、高頻度位置に関しては、非行動体が存在している可能性が高いものとみなし、行動の推定を行わないように推定部５を制御したが、高頻度位置を実際の行動体が通過等した場合には、当該実際の行動体の行動を推定し損なってしまう。

【0046】

そこで、本実施の形態では、高頻度位置であっても、実際の行動体Ｚが検出された場合には行動の推定等を行う。

【0047】

詳細には、計数部７は、所定範囲内の複数の位置のそれぞれにおいて所定時間内に検出部４による行動体の検出が同一範囲の特徴量に基づいて行われた累積回数を計数する。

【0048】

例えば、常設されているマネキンの場合、毎回、同一の特徴量に基づき行動体として検出されるので、当該マネキンの特徴量が同一範囲の特徴量に相当する。本実施の形態では、厳密に同一の特徴量でなくとも同一範囲の特徴量であれば累積回数に加算するものとする。

【0049】

そして、制御部８は、複数の位置のうち累積回数が所定回数を超える高頻度位置に関しては、同一範囲の特徴量に基づく行動の推定を行わないように推定部５を制御、又は、同一範囲の特徴量に基づき推定された行動に関する情報の出力を行わないように出力部６を制御する。

【0050】

例えば、図３に示すように、マネキンＢが存在する高頻度位置では、マネキンＢに関しては、それ以降、行動の推定が行われなくなるが、当該高頻度位置を実際の行動体が通過等する場合には、行動の推定が行われることとなる。

【0051】

なお、所定回数に関しては、第１の実施の形態と同一の回数であっても良いし、異なる回数に設定しても良い。

【0052】

以上説明したように、本実施の形態による行動推定システム１では、複数の位置のうち（同一範囲の特徴量に基づき検出が行われた）累積回数が所定回数を超える高頻度位置に関しては、同一範囲の特徴量に基づく行動の推定を行わないように推定部５を制御、又は、同一範囲の特徴量に基づき推定された行動に関する情報の出力を行わないように出力部６を制御する。

【0053】

このような構成によれば、実際の行動体Ｚが高頻度位置を通過等した際に、その行動を推定し損なってしまうことが抑制される。

【0054】

尚、本発明の行動推定システムは、上述した実施の形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。

【0055】

例えば、第１の実施の形態において、第２の実施の形態と異なる構成で、「高頻度位置であっても実際の行動体Ｚが検出された場合には行動の推定等を行う」ようにしても良い。

【0056】

例えば、高頻度位置と異なる位置で検出された行動体Ｚが高頻度位置まで移動してきた際には、当該行動体に関しては、高頻度位置においても行動の推定等を行う構成が考えられる。この場合、行動体Ｚの移動は、公知のトラッキングを用いれば良い。

【0057】

また、上記実施の形態では、複数の関節の動きに基づいて行動体の行動を検出したが、関節を検出することなく他の方法で行動体の行動を検出しても良い。

【0058】

また、上記実施の形態では、行動体として人間を例に説明したが、動物やロボットについて使用することも可能である。

【0059】

また、行動推定システム１の各部材は、同一の場所に配置されていなくても良い。例えば、一部の部材がローカルに配置され、他の部材がクラウド上に配置されても良い。

【0060】

また、本発明は、コントローラとしての取得部２、検出部４、推定部５、出力部６、計数部７、及び、制御部８が行う処理に相当するプログラム及び方法や、当該プログラムを記憶した記録媒体にも応用可能である。記録媒体の場合、コンピュータ等に当該プログラムがインストールされることとなる。ここで、当該プログラムを記憶した記録媒体は、非一過性の記録媒体であっても良い。非一過性の記録媒体としては、ＣＤ－ＲＯＭ等が考えられるが、それに限定されるものではない。

【符号の説明】

【0061】

１ 行動推定システム
２ 取得部
３ 記憶部
４ 検出部
５ 推定部
６ 出力部
７ 計数部
８ 制御部
Ａ 関節
Ｂ マネキン
Ｘ 撮影手段
Ｙ 映像
Ｚ 行動体

【要約】

【課題】 映像に映った非行動体を行動体として誤って検出してしまうことが抑制された行動推定システムを提供する。
【解決手段】
行動推定システム１は、所定範囲を撮影するように設置された撮影手段Ｘにより撮影された映像Ｙを取得する取得部２と、映像Ｙ内の特徴量に基づき映像Ｙに映った行動体Ｚを検出する検出部４と、検出された行動体Ｚの特徴量の変位に基づき行動体Ｚの行動を推定する推定部５と、推定された行動に関する情報を出力する出力部６と、所定範囲内の複数の位置のそれぞれにおいて所定時間内に検出部４による行動体の検出が行われた累積回数を計数する計数部７と、複数の位置のうち累積回数が所定回数を超える高頻度位置に関しては、行動の推定を行わないように推定部５を制御、又は、行動に関する情報の出力を行わないように出力部６を制御する制御部８と、を備えている。
【選択図】図４

【図1】

【図2】

【図3】

【図4】