特許 7563714 移動方向推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-09-30

(45)【発行日】2024-10-08

(54)【発明の名称】移動方向推定装置

(51)【国際特許分類】

   G06T 7/20 20170101AFI20241001BHJP

【ＦＩ】

G06T7/20

【請求項の数】 5

(21)【出願番号】P 2024009420

(22)【出願日】2024-01-25

【審査請求日】2024-04-26

【早期審査対象出願】

(73)【特許権者】

【識別番号】518126409

【氏名又は名称】株式会社アジラ

(74)【代理人】

【識別番号】100176256

【弁理士】

【氏名又は名称】相田 隆敬

(72)【発明者】

【氏名】稲岡 駿

(72)【発明者】

【氏名】グエン バン ズン

(72)【発明者】

【氏名】グエン バン ティエウ

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２００８－１００８１４（ＪＰ，Ａ）

【文献】特開２０１０－０５８９０３（ＪＰ，Ａ）

【文献】特開２０２１－００２２６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

複数の所定の方向に移動可能な移動物体が含まれる所定範囲を撮影するように設置された撮影手段により撮影された映像を取得する取得部と、
前記所定範囲内における前記移動物体の移動範囲と、前記映像に映った行動体の少なくとも一部を検出するための検出基準と、を記憶した記憶部と、
前記移動範囲に対して背景差分を用いて、前記映像中における前記移動物体の移動方向を推定する推定部と、
前記検出基準に基づき、前記映像に映った行動体の少なくとも一部を検出可能な検出部と、
を備え、
前記移動範囲内に前記行動体が検出された場合には、前記推定部は、前記移動範囲のうち前記行動体が検出された部分を含む行動体部分を除いた残りの部分の移動方向を、前記移動物体の移動方向として推定することを特徴とする移動方向推定装置。

【請求項2】

前記検出された行動体の少なくとも一部に基づき前記行動体の行動を判定する判定部を更に備え、
前記判定部は、前記行動体が前記推定部により推定された前記移動物体の移動方向と略反対方向に移動している場合に、前記行動体が逆走しているものと判定することを特徴とする請求項１に記載の移動方向推定装置。

【請求項3】

前記検出された行動体の少なくとも一部に基づき前記行動体の行動を判定する判定部と、
前記判定された行動に応じて報知を行う報知部と、
を更に備え、
前記記憶部は、所定の行動に関して前記移動物体の移動方向に応じた危険度を記憶しており、
前記報知部は、前記所定の行動が行われたと判定された場合、前記推定された移動物体の移動方向に応じた危険度に応じて異なる報知を行うことを特徴とする請求項１に記載の移動方向推定装置。

【請求項4】

複数の所定の方向に移動可能な移動物体の所定範囲内における移動範囲と、映像に映った行動体の少なくとも一部を検出するための検出基準と、を記憶したコンピュータで実行されるプログラムであって、
前記移動物体が含まれる前記所定範囲を撮影するように設置された撮影手段により撮影された映像を取得するステップと、
前記移動範囲に対して背景差分を用いて、前記映像中における前記移動物体の移動方向を推定するステップと、
前記検出基準に基づき、前記映像に映った行動体の少なくとも一部を検出するステップと、
を備え、
前記推定するステップでは、前記移動範囲内に前記行動体が検出された場合には、前記移動範囲のうち前記行動体が検出された部分を含む行動体部分を除いた残りの部分の移動方向を、前記移動物体の移動方向として推定する特徴とする移動方向推定プログラム。

【請求項5】

複数の所定の方向に移動可能な移動物体の所定範囲内における移動範囲と、映像に映った行動体の少なくとも一部を検出するための検出基準と、を記憶したコンピュータで実行される方法であって、
前記移動物体が含まれる前記所定範囲を撮影するように設置された撮影手段により撮影された映像を取得するステップと、
前記移動範囲に対して背景差分を用いて、前記映像中における前記移動物体の移動方向を推定するステップと、
前記検出基準に基づき、前記映像に映った行動体の少なくとも一部を検出するステップと、
を備え、
前記推定するステップでは、前記移動範囲内に前記行動体が検出された場合には、前記移動範囲のうち前記行動体が検出された部分を含む行動体部分を除いた残りの部分の移動方向を、前記移動物体の移動方向として推定する特徴とする移動方向推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像に映ったエスカレーター等の移動物体の移動方向を正確に検出するための移動物体検出装置に関する。

【背景技術】

【0002】

従来より、時系列画像に映った複数の関節に基づき、一の対象に属する関節群を識別し、当該関節群の変位に基づき、当該一の対象の行動を推定する技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６５２５１７９号

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記技術を用いて、エスカレーター等の移動物体に乗った人間の逆走等の異常行動を検出することも考えられるが、その場合、移動物体の移動方向に応じて異常行動か否かを判定することとなるので、移動物体の移動方向も把握しておく必要がある。

【0005】

ところで、移動物体の移動方向が一の方向に限定されているのであれば、予め、その移動方向を記憶しておけば良いが、例えば、エスカレーターの場合、その移動方向を上から下、又は、下から上へ変更して使用するケースも存在する。

【0006】

従って、移動方向を変更可能な移動物体の場合、背景差分法等を用いて、その移動方向を映像から把握する必要があるが、人間が移動物体に重なっていたり、更には、重なった人間が移動物体と異なる方向に移動している場合には、当該人間の影響により移動物体の移動方向の検出に失敗してしまうという問題が生じていた。

【0007】

そこで、本発明は、映像に映ったエスカレーター等の移動物体の移動方向を正確に検出するための移動方向推定装置を提供することを目的としている。

【課題を解決するための手段】

【0008】

本発明は、複数の所定の方向に移動可能な移動物体が含まれる所定範囲を撮影するように設置された撮影手段により撮影された映像を取得する取得部と、前記所定範囲内における前記移動物体の移動範囲と、前記映像に映った行動体の少なくとも一部を検出するための検出基準と、を記憶した記憶部と、前記移動範囲に対して背景差分を用いて、前記映像中における前記移動物体の移動方向を推定する推定部と、前記検出基準に基づき、前記映像に映った行動体の少なくとも一部を検出可能な検出部と、を備え、前記移動範囲内に前記行動体が検出された場合には、前記推定部は、前記移動範囲のうち前記行動体が検出された部分を含む行動体部分を除いた残りの部分の移動方向を、前記移動物体の移動方向として推定することを特徴とする移動方向推定装置を提供している。

【0009】

また、本発明の別の観点によれば、上記移動方向推定装置に対応する移動方向推定プログラム及び移動方向推定方法を提供している。

【発明の効果】

【0010】

本発明の移動方向推定装置によれば、映像に映ったエスカレーター等の移動物体の移動方向を正確に検出することが可能となる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施の形態による移動方向推定装置での検出対象の説明図

【図2】本発明の実施の形態による移動方向推定装置のブロック図

【図3】本発明の実施の形態による異常行動検出システムのフローチャート

【発明を実施するための形態】

【0012】

以下、本発明の実施の形態による移動方向推定装置１について、図１－図３を参照して説明する。

【0013】

移動方向推定装置１は、図１に示すように、撮影手段Ｘによって撮影された映像Ｙ（図１では、映像を構成するフレーム）に映った移動物体Ｚ１の移動方向を検出するためのものである。本実施の形態では、移動物体Ｚ１として、その移動方向を上から下、又は、下から上へ変更可能なエスカレーターを採用する。また、図１では、移動物体Ｚ１に行動体Ｚ２が重なっている例を示している。本実施の形態では、行動体Ｚ２として人間を採用し、理解容易のため、行動体Ｚ２を骨格だけで簡易的に表示する。

【0014】

移動方向推定装置１は、図２に示すように、取得部２と、記憶部３と、推定部４と、検出部５と、判定部６と、を備えている。

【0015】

取得部２は、複数の所定の方向に移動可能な移動物体Ｚ１が含まれる所定範囲を撮影するように設置された撮影手段Ｘにより撮影された映像Ｙを取得する。本実施の形態では、撮影手段Ｘによる撮影範囲の全てを所定範囲として設定しているものとする。

【0016】

記憶部３は、上記所定範囲内における移動物体Ｚ１の移動範囲Ｒと、映像Ｙに映った行動体Ｚ２の少なくとも一部を検出するための検出基準と、を記憶している。

【0017】

本実施の形態では、移動範囲Ｒとして、図１に示すように、エスカレーターの踏段が存在する（見えている）範囲をユーザが記憶させるものとする。

【0018】

また、本実施の形態では、検出基準として、“関節識別基準”と、“行動体識別基準”と、“行動識別基準”が記憶されている。

【0019】

“関節識別基準”は、行動体Ｚ２の複数の関節（首、右肘、左肘、腰、右膝、左膝等）を識別するためのものであり、関節ごとに、それぞれを識別するための形状、方向、サイズ等を示したものである。

【0020】

“行動体識別基準”は、行動体Ｚ２の様々なバリエーション（“歩行”、“直立”等）の “基本姿勢“、”各関節の可動域“、一の行動体Ｚ２における”各関節間の距離“等を示したものである。

【0021】

“行動識別基準”は、行動体Ｚ２が所定の行動を行った場合の各関節の動きを示したものであり、本実施の形態では、様々な種類の行動についての“行動識別基準”が記憶されている。

【0022】

推定部４は、移動範囲Ｒに対して背景差分を用いて、映像Ｙ中における移動物体Ｚ１の移動方向を推定する。本実施の形態では、エスカレーターの踏段の位置の変化に応じて移動方向を推定することとなる。上記推定には、公知の背景差分法を用いることが考えられ、本実施の形態の場合、各フレーム内の各踏み段（特徴量の集合体）の位置の差異に基づいて、移動方向を推定すること等が考えられる。

【0023】

検出部５は、検出基準に基づき、映像Ｙに映った行動体Ｚ２の少なくとも一部を検出可能である。本実施の形態では、行動体Ｚ２の全身を検出するものとする。

【0024】

行動体Ｚ２の検出に当たっては、まず、映像Ｙに映った行動体Ｚ２を特定する。

【0025】

本実施の形態では、記憶部３に記憶された“関節識別基準”に該当する複数の関節を検出した上で、“行動体識別基準”を参照して、一の行動体Ｚ２に含まれる複数の関節を特定する。図１の例では、全ての関節が一の行動体Ｚ２に含まれる関節であると特定され、１つの行動体Ｚ２が存在するものと特定される。

【0026】

判定部６は、検出された行動体Ｚ２の少なくとも一部に基づき行動体Ｚ２の行動を判定する。

【0027】

本実施の形態では、行動体Ｚ２を特定した後に、“行動識別基準”に該当する各関節の動きを検出した場合に「該当する行動を行った」と検出される。

【0028】

例えば、判定部６は、行動体Ｚ２が推定部４により推定された移動物体Ｚ１の移動方向と略反対方向に移動している場合に、行動体Ｚ２が逆走しているものと判定する。

【0029】

ここで、逆走を判定するためには、移動物体Ｚ１の移動方向も把握しておく必要があるが、本実施の形態におけるエスカレーターは、その移動方向を上から下、又は、下から上へ変更可能なものであるため、その移動方向を把握しておく必要がある。

【0030】

そこで、本実施の形態では、推定部４により、移動範囲Ｒに対して背景差分を用いて、移動物体Ｚ１の移動方向を推定するが、移動範囲Ｒにおいて行動体Ｚ２が移動物体Ｚ１（エスカレーター）に重なっていたり、更には、重なった行動体Ｚ２が移動物体Ｚ１と異なる方向に移動している場合には、移動物体Ｚ１（エスカレーター）の移動方向と行動体Ｚ２の移動方向が混在することとなるため、当該行動体Ｚ２の影響により移動物体Ｚ１（エスカレーター）の移動方向の推定に失敗してしまうという問題が生じていた。

【0031】

そして、行動体Ｚ２が逆走している場合には、その逆走の影響で移動物体Ｚ１（エスカレーター）の移動方向を正確に推定できないため、逆走の判定にも失敗してしまうという問題が生じていた。

【0032】

そこで、本実施の形態では、移動範囲Ｒ内に行動体Ｚ２が検出された場合には、推定部４は、移動範囲Ｒのうち行動体Ｚ２が検出された行動体部分を除いた残りの部分の移動方向を、移動物体Ｚ１の移動方向として推定する。

【0033】

上記推定では、行動体部分の移動は移動方向の推定に用いなくても良いし、行動体部分が移動物体Ｚ１と同一方向に移動しているものとみなしても良い。

【0034】

行動体部分としては、実際に検出された部分（本実施の形態では関節）のみならず、例えば、検出された関節を連結したスケルトン部分や、スケルトン部分を含む（スケルトン部分から所定距離内の）シルエット部分が考えられる（図１では、理解容易のために両方を示している）。

【0035】

このようにして、本実施の形態による移動方向推定装置１では、行動体Ｚ２の移動に影響されずに移動物体Ｚ１の移動方向を推定することができるため、移動物体Ｚ１の移動方向を正確に推定することが可能となる。そして、正確に推定された移動物体Ｚ１の移動方向と、検出部５により検出された行動体Ｚ２の行動と、に基づき、行動体Ｚ２の逆走等の異常行動を正確に検出することが可能となる。

【0036】

続いて、図３のフローチャートを用いて、移動方向推定装置１による移動方向の推定について説明する。なお、図３では、映像Ｙに行動体Ｚ２が映っているものとして説明を行う。

【0037】

まず、映像Ｙが取得されると（Ｓ１）、映像Ｙに映った行動体Ｚ２が検出される（Ｓ２）。

【0038】

続いて、移動範囲Ｒに対して背景差分を用いて、映像Ｙ中における移動物体Ｚ１の移動方向が推定されるが、検出された行動体Ｚ２が移動範囲Ｒ内に位置する場合には（Ｓ３：ＹＥＳ）、移動範囲Ｒのうち行動体部分を除いた残りの部分の移動方向が、移動物体Ｚ１の移動方向として推定される（Ｓ４）。

【0039】

一方、移動範囲Ｒ内に行動体Ｚ２が検出されなかった場合には（Ｓ３：ＮＯ）、移動範囲Ｒに対してそのまま背景差分を用いて、移動物体Ｚ１の移動方向が推定されることとなる（Ｓ５）。

【0040】

なお、映像Ｙに行動体Ｚ２が映っていない場合には、Ｓ１の後、Ｓ５の処理が行われることとなる。

【0041】

以上説明したように、本実施の形態による移動方向推定装置１では、移動範囲Ｒ内に行動体Ｚ２が検出された場合には、移動範囲Ｒのうち行動体Ｚ２が検出された部分を含む行動体部分を除いた残りの部分の移動方向を、移動物体Ｚ１の移動方向として推定する。

【0042】

このような構成によれば、行動体Ｚ２の移動に影響されずに移動物体Ｚ１の移動方向を推定することができるため、移動物体Ｚ１の移動方向を正確に推定することが可能となる。

【0043】

また、本実施の形態による移動方向推定装置１では、行動体Ｚ２が推定部４により推定された移動物体Ｚ１の移動方向と略反対方向に移動している場合に、行動体Ｚ２が逆走しているものと判定する。

【0044】

このような構成によれば、移動物体Ｚ１の移動方向が正確に推定されることとなるので、行動体Ｚ２の逆走も正確に判定することが可能となる。

【0045】

尚、本発明の移動方向推定装置は、上述した実施の形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。

【0046】

例えば、上記実施の形態では、逆走を判定するために移動物体Ｚ１の移動方向を推定したが、その他の行動に関して移動物体Ｚ１の移動方向を推定しても良い。

【0047】

また、転倒や飛び降り等の異常行動は、エスカレーターの移動方向に応じて、その危険度も異なってくるので、危険度まで考慮して異常行動を判定するために移動物体Ｚ１の移動方向を推定しても良い。

【0048】

この場合、移動方向推定装置１は、判定された行動に応じて報知を行う報知部を更に備え、記憶部３に、所定の行動に関して移動物体Ｚ１の移動方向に応じた危険度を記憶しておく。そして、報知部は、所定の行動が行われたと判定された場合、推定された移動物体Ｚ１の移動方向に応じた危険度に応じて異なる報知を行う構成が考えられる。

【0049】

例えば、所定の行動が“転倒”の場合、エスカレーターが下方向に移動している場合の方が危険度が高いことが多いので、エスカレーターが下方向に移動している場合には、報知部は、上方向に移動している場合よりも、大きな音量や目立つ表示でアラートを行う等が考えられる。また、同じ行動であっても、移動物体Ｚ１の移動方向が一の方向の場合には危険だが、他の方向の場合には危険でないケースも考えられ、この場合には、報知部は、他の方向の場合にはアラートを行わないことで「異なる報知」を行っても良い。

【0050】

また、上記実施の形態では、移動物体Ｚ１としてエスカレーターを例に説明したが、歩く歩道、工場のラインのコンベア、回転寿司コンベア等の他の移動物体に本発明を用いても良い。

【0051】

工場のラインや回転寿司の場合には、移動範囲Ｒ内に作業員や顧客の手（本発明の“行動体の少なくとも一部”）が検出された場合に、推定部４は、検出された手を除いた残りの部分の移動方向を、移動物体（コンベア）の移動方向として推定することが考えられる。

【0052】

また、本発明の“背景差分を用いて”には、オプティカルフローにおいて背景差分を用いる場合も含まれる。

【0053】

また、上記実施の形態では、行動体Ｚ２として人間を例に説明したが、動物やロボットについて使用することも可能である。

【0054】

また、上記実施の形態では複数の関節の動きに基づいて行動体の行動を検出したが、関節を検出することなく他の方法で行動体の行動を検出しても良い。

【0055】

また、本発明は、コントローラとしての各部材が行う処理に相当するプログラム及び方法や、当該プログラムを記憶した記録媒体にも応用可能である。記録媒体の場合、コンピュータ等に当該プログラムがインストールされることとなる。ここで、当該プログラムを記憶した記録媒体は、非一過性の記録媒体であっても良い。非一過性の記録媒体としては、ＣＤ－ＲＯＭ等が考えられるが、それに限定されるものではない。

【符号の説明】

【0056】

１ 移動方向推定装置
２ 取得部
３ 記憶部
４ 推定部
５ 検出部
６ 判定部
Ｒ 移動範囲
Ｘ 撮影手段
Ｙ 映像
Ｚ１ 移動物体
Ｚ２ 行動体

【要約】

【課題】映像に映ったエスカレーター等の移動物体の移動方向を正確に検出するための移動物体検出装置を提供する。
【解決手段】移動方向推定装置１は、移動物体Ｚ１が含まれる所定範囲を撮影するように設置された撮影手段Ｘにより撮影された映像Ｙを取得する取得部２と、所定範囲内における移動物体Ｚ１の移動範囲Ｒと、映像Ｙに映った行動体Ｚ２の少なくとも一部を検出するための検出基準と、を記憶した記憶部３と、移動範囲Ｒに対して背景差分を用いて、映像Ｙ中における移動物体Ｚ１の移動方向を推定する推定部４と、検出基準に基づき、映像Ｙに映った行動体Ｚ２を検出可能な検出部５と、を備え、移動範囲Ｒ内に行動体Ｚ２が検出された場合には、推定部４は、移動範囲Ｒのうち行動体Ｚ２が検出された部分を含む行動体部分を除いた残りの部分の移動方向を、移動物体Ｚ１の移動方向として推定する。
【選択図】図３

【図1】

【図2】

【図3】