IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社アジラの特許一覧

<>
  • 特許-注目行動呼びかけシステム 図1
  • 特許-注目行動呼びかけシステム 図2
  • 特許-注目行動呼びかけシステム 図3
  • 特許-注目行動呼びかけシステム 図4
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2025-01-10
(45)【発行日】2025-01-21
(54)【発明の名称】注目行動呼びかけシステム
(51)【国際特許分類】
   G08B 25/04 20060101AFI20250114BHJP
   G08B 25/00 20060101ALI20250114BHJP
   G06V 40/20 20220101ALI20250114BHJP
   H04N 7/18 20060101ALI20250114BHJP
   G08B 21/02 20060101ALI20250114BHJP
【FI】
G08B25/04 K
G08B25/00 510M
G06V40/20
H04N7/18 D
G08B21/02
【請求項の数】 6
(21)【出願番号】P 2024094081
(22)【出願日】2024-06-11
【審査請求日】2024-09-18
【早期審査対象出願】
(73)【特許権者】
【識別番号】518126409
【氏名又は名称】株式会社アジラ
(74)【代理人】
【識別番号】100176256
【弁理士】
【氏名又は名称】相田 隆敬
(72)【発明者】
【氏名】木村 大介
【審査官】神田 泰貴
(56)【参考文献】
【文献】特開2022-052538(JP,A)
【文献】特開2020-187518(JP,A)
【文献】国際公開第2020/195168(WO,A1)
【文献】国際公開第2020/148889(WO,A1)
【文献】特許第7507524(JP,B1)
【文献】黒澤 瞬,深度センサによる高齢者の見守りシステム,電子情報通信学会技術研究報告,第112巻、第472号,日本,一般財団法人電子情報通信学会,2013年03月04日,P. 17-22,JST資料番号 S0532B、ISSN 0913-5685
(58)【調査した分野】(Int.Cl.,DB名)
G08B 19/00 - 21/24
G08B 23/00 - 31/00
G06T 7/00 - 7/90
G06V 10/00 - 20/90
G06V 30/418
G06V 40/20
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
撮影手段により撮影された時系列画像を取得する取得部と、
前記時系列画像に映った対象行動体の特徴点を検出する検出部と、
行動体が注目行動を行った場合の前記行動体の特徴点の変位を記憶した記憶部と、
前記記憶された特徴点の変位と、各時系列画像から検出された特徴点の変位と、に基づき、前記注目行動が行われたか否かを判定する判定部と、
前記撮影手段の撮影範囲の周辺に設けられ、前記注目行動が行われたと判定された場合に、音声による呼びかけを行う報知部と、
前記時系列画像に映った背景を検出する背景検出部と、
を備え、
前記報知部は、前記注目行動が行われたと判定された場合であっても、前記検出された背景が第1の所定条件を満たす場合には、前記呼びかけを行わない、又は、前記呼びかけの内容又は態様を変更することを特徴とする注目行動呼びかけシステム。
【請求項2】
前記検出された特徴点又は前記対象行動体の外観に基づき、前記対象行動体の属性又は大きさを推定する推定部を更に備え、
前記報知部は、前記注目行動が行われたと判定された場合であっても、前記検出された背景が第1の所定条件を満たし、かつ、前記属性又は大きさが前記背景に対して設定された第2の所定条件を満たす場合には、前記呼びかけを行わない、又は、前記呼びかけの内容又は態様を変更することを特徴とする請求項1に記載の注目行動呼びかけシステム。
【請求項3】
前記検出された背景が第1の所定の条件を満たす場合に、前記呼びかけを行わない、又は、前記呼びかけの内容又は態様を変更するか否かをユーザが設定可能な設定部を更に備えたことを特徴とする請求項1に記載の注目行動呼びかけシステム。
【請求項4】
所定範囲を撮影するように設置された前記撮影手段により撮影されたサンプル映像を取得する学習側取得部と、
前記サンプル映像に映ったサンプル行動体の行動を検出する学習側検出部と、
前記学習側検出部によって検出された多数の前記行動に基づき、前記所定範囲における一又は複数の通常の行動を決定する決定部と、
を更に備え、
前記判定部は、各時系列画像から検出された特徴点の変位が前記通常の行動に相当しない場合に、前記注目行動が行われたと判定することを特徴とする請求項1に記載の注目行動呼びかけシステム。
【請求項5】
行動体が注目行動を行った場合の前記行動体の特徴点の変位を記憶したコンピュータで実行されるプログラムであって、
撮影手段により撮影された時系列画像を取得するステップと、
前記時系列画像に映った対象行動体の特徴点を検出するステップと、
前記記憶された特徴点の変位と、各時系列画像から検出された特徴点の変位と、に基づき、前記注目行動が行われたか否かを判定するステップと、
前記撮影手段の撮影範囲の周辺に設けられ、前記注目行動が行われたと判定された場合に、音声による呼びかけを行うステップと、
前記時系列画像に映った背景を検出するステップと、
を備え、
前記呼びかけるステップでは、前記注目行動が行われたと判定された場合であっても、前記検出された背景第1の所定条件を満たす場合には、前記呼びかけを行わない、又は、前記呼びかけの内容又は態様を変更することを特徴とする注目行動呼びかけプログラム。
【請求項6】
行動体が注目行動を行った場合の前記行動体の特徴点の変位を記憶したコンピュータで実行される方法であって、
撮影手段により撮影された時系列画像を取得するステップと、
前記時系列画像に映った対象行動体の特徴点を検出するステップと、
前記記憶された特徴点の変位と、各時系列画像から検出された特徴点の変位と、に基づき、前記注目行動が行われたか否かを判定するステップと、
前記撮影手段の撮影範囲の周辺に設けられ、前記注目行動が行われたと判定された場合に、音声による呼びかけを行うステップと、
前記時系列画像に映った背景を検出するステップと、
を備え、
前記呼びかけるステップでは、前記注目行動が行われたと判定された場合であっても、前記検出された背景が第1の所定条件を満たす場合には、前記呼びかけを行わない、又は、前記呼びかけの内容又は態様を変更することを特徴とする注目行動呼びかけ方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像に映った行動体の異常行動等の注目行動が検出された際に、場所に適した呼びかけを行うことが可能な注目行動呼びかけシステムに関する。
【背景技術】
【0002】
従来より、時系列画像に映った行動体の行動が、予め決定された“通常の行動”と異なる場合、“通常の行動”と異なる行動を行った行動体を時系列画像の中から抽出する技術が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第6525179号
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記技術を用いることで、異常行動を行った行動体に対して、撮影手段の周辺に設けられた報知部から呼びかけを行うことが考えられる。
【0005】
しかしながら、場所によっては、異常行動が行われたとしても一律に呼びかけを行うことが適切でない状況も考えられる。
【0006】
そこで、本発明は、映像に映った行動体の異常行動等の注目行動が検出された際に、場所に適した呼びかけを行うことが可能な注目行動呼びかけシステムを提供することを目的としている。
【課題を解決するための手段】
【0007】
本発明は、撮影手段により撮影された時系列画像を取得する取得部と、前記時系列画像に映った対象行動体の特徴点を検出する検出部と、行動体が注目行動を行った場合の前記行動体の特徴点の変位を記憶した記憶部と、前記記憶された特徴点の変位と、各時系列画像から検出された特徴点の変位と、に基づき、前記注目行動が行われたか否かを判定する判定部と、前記撮影手段の撮影範囲の周辺に設けられ、前記注目行動が行われたと判定された場合に、音声による呼びかけを行う報知部と、前記時系列画像に映った背景を検出する背景検出部と、を備え、前記報知部は、前記注目行動が行われたと判定された場合であっても、前記検出された背景が第1の所定条件を満たす場合には、前記呼びかけを行わない、又は、前記呼びかけの内容又は態様を変更することを特徴とする注目行動呼びかけシステムを提供している。
【0008】
このような構成によれば、時系列画像において対象行動体の異常行動等の注目行動が検出された際に、場所に適した呼びかけを行うことが可能となる。
【0009】
また、本発明の別の観点では、上記注目行動呼びかけシステムに対応する注目行動呼びかけプログラム及び注目行動呼びかけ方法を提供している。
【発明の効果】
【0010】
本発明の注目行動呼びかけシステムによれば、映像に映った行動体の異常行動等の注目行動が検出された際に、場所に適した呼びかけを行うことが可能となる。
【図面の簡単な説明】
【0011】
図1】本発明の第1の実施の形態による時系列画像の説明図
図2】本発明の第1の実施の形態による注目行動呼びかけシステムのブロック図
図3】本発明の第1の実施の形態による注目行動呼びかけシステムのフローチャート
図4】本発明の第2の実施の形態による注目行動呼びかけシステムのブロック図
【発明を実施するための形態】
【0012】
以下、本発明の第1の実施の形態による注目行動呼びかけシステム1について、図1図3を参照して説明する。
【0013】
注目行動呼びかけシステム1は、図1に示すように、撮影手段Xによって撮影された時系列画像Y(図1では、映像を構成するフレーム)に映った対象行動体Zの注目行動(異常行動等)が検出された際に呼びかけを行うためのものである。本実施の形態では、対象行動体Zとして人間を採用し、理解容易のため、対象行動体Zを骨格だけで簡易的に表示する。
【0014】
注目行動呼びかけシステム1は、図2に示すように、取得部2と、検出部3と、記憶部4と、判定部5と、推定部6と、報知部7と、背景検出部8と、を備えている。また、本実施の形態では、注目行動呼びかけシステム1は、撮影手段Xと一体に設けられているものとする。
【0015】
取得部2は、撮影手段Xにより撮影された時系列画像Yを取得する。
【0016】
検出部3は、時系列画像Yに映った対象行動体Zの特徴点を検出する。
【0017】
特徴点としては、様々なものが考えられるが、本実施の形態では、特徴点として関節を検出する例を用いて説明を行う。
【0018】
特徴点として関節を検出する場合には、例えば、以下のような方法が考えられる。
【0019】
まず、記憶部(記憶部4であっても、他の記憶部であっても良い)に、“関節識別基準”と、“行動体識別基準”と、を記憶しておく。
【0020】
“関節識別基準”は、人間の複数の関節を識別するためのものであり、関節ごとに、それぞれを識別するための形状、方向、サイズ等を示したものである。
【0021】
“行動体識別基準”は、人間の様々なバリエーション(“歩行”、“直立”等)の “基本姿勢“、”各関節の可動域“、一の人間における”各関節間の距離“等を示したものである。
【0022】
上記“関節識別基準”に該当する複数の関節を検出した上で、“行動体識別基準”を参照して、一の対象行動体Zに含まれる複数の関節を特定することで、対象行動体Zそれぞれに含まれる関節を特定することが可能となる。
【0023】
なお、特徴点は、時系列画像Yごとに個別に検出しても良いし、時系列の順番が特定できれば複数の時系列画像Yからまとめて検出しても良い。
【0024】
記憶部4は、行動体が注目行動を行った場合の行動体の特徴点の変位を記憶している。特徴点として関節を検出する場合には、複数の関節の変位を記憶しておくこととなる。
【0025】
注目行動としては、例えば、転倒、殴る、蹴る等の行動が考えられ、1つに限らず複数の行動を記憶しても良い。また、注目行動としては、万引きの予備動作等の“予兆行動”を記憶しても良い。なお、記憶部4には、注目行動以外の行動(歩行、立ち止まる等)を推定するために、それらの行動が生じた場合の特徴点情報の変位を記憶しておいても良い。
【0026】
判定部5は、記憶された特徴点の変位と、各時系列画像Yから検出された特徴点の変位と、に基づき、注目行動が行われたか否かを判定する。
【0027】
例えば、検出された特徴点の変位が、注目行動の特徴点の変位と所定以上一致している場合に、「当該注目行動が行われた」と判定することが考えられる。
【0028】
推定部6は、検出された特徴点又は対象行動体Zの外観に基づき、対象行動体Zの属性又は大きさを推定する。
【0029】
対象行動体Zの属性又は大きさは、公知の方法により推定すれば良い。
【0030】
例えば、上記したように関節により対象行動体Zを特定する場合には、頭部の関節点と、足首の関節点と、の距離を判定することで、対象行動体Zの大きさを推定することが考えられる。
【0031】
また、属性は、上記した大きさに加えて、姿勢、骨格等の特徴点や、服装、髪の毛の長さ、髪の毛の色等の外観から推定することが考えられる。
【0032】
報知部7は、撮影手段Xの撮影範囲の周辺に設けられ、注目行動が行われたと判定された場合に、音声による呼びかけを行う。
【0033】
本実施の形態では、注目行動の種類に応じた異なる呼びかけを行うものとし、例えば、注目行動が犯罪行為(万引き、暴力行為等)の場合には、「万引き(暴力行為)は犯罪です」、注目行動がアクシデント(転倒等)である場合には、「大丈夫ですか?」、「起き上がれますか?」、「お怪我はありませんか?」等の呼びかけを行うことが考えられる。
【0034】
上記呼びかけにより、犯罪行為の場合、その犯罪行為の停止が期待される。また、アクシデントの場合、呼びかけに対する対象行動体Zのアクションやジェスチャーで、救護が必要かどうかを判断することが可能となる。
【0035】
ところで、場所によっては、異常行動が行われたとしても一律に呼びかけを行うことが適切でない状況も考えられる。
【0036】
例えば、場所が階段の場合、対象行動体Zが呼びかけに驚いて落下してしまう危険性があり、また、場所がエレベーターの場合、報知部7と対象行動体Zの距離が近いので、音声が大きく聞こえ過ぎてしまう可能性がある。
【0037】
そこで、本実施の形態では、背景検出部8が、時系列画像Yに映った背景を検出し、報知部7は、注目行動が行われたと判定された場合であっても、検出された背景が第1の所定条件を満たす場合には、呼びかけを行わない、又は、呼びかけの内容又は態様を変更する。
【0038】
背景の検出方法としては、公知のものを用いればよく、例えば、記憶部4等に様々な背景や物体等を記憶しておき、時系列画像Yに映った背景が当該記憶されたものと所定以上の一致度を有する場合に、当該背景として検出する方法が考えられる。
【0039】
“呼びかけを行わない”背景(第1の所定条件)としては、階段、エスカレーター等の呼びかけると落下の危険が生じる可能性のある場所を設定することが考えられる。また、“呼びかけの内容又は態様を変更する”背景(第1の所定条件)としては、音量を下げた方が良い狭い場所(エレベーター等)や、音量を上げた方が良い広い場所(屋外等)を設定することが考えられる。
【0040】
更に、本実施の形態では、推定部6により推定された対象行動体Zの属性又は大きさも考慮する。
【0041】
詳細には、報知部7は、注目行動が行われたと判定された場合であっても、検出された背景が第1の所定条件を満たし、かつ、属性又は大きさが背景に対して設定された第2の所定条件を満たす場合に、呼びかけを行わない、又は、呼びかけの内容又は態様を変更する。
【0042】
例えば、高齢者が階段において注目行動を行った場合に呼びかけると落下の危険が生じる。従って、第1の所定条件を「階段」、第2の所定条件を「高齢者」に設定しておくことで、「階段での高齢者による注目行動」の場合には、呼びかけを行わないことが考えられる。
【0043】
一方で、子供の場合、身軽なため落下の危険性は低く、そのまま放置しておく方が危険性が高まってしまう。従って、第1の所定条件を「階段」、第2の所定条件を「子供」に設定しておくことで、「階段での子供による注目行動」の場合には、呼びかけを行うことが考えられる。
【0044】
また、狭いエレベーター内で音量が大き過ぎることは好ましくないので、第1の所定条件を「エレベーター」、第2の所定条件を「高齢者以外」に設定しておくことで、「エレベーター内での高齢者以外による注目行動」の場合には、呼びかけの態様を変更する(呼びかけの音量を下げる)ことが考えられる。
【0045】
一方で、高齢者の場合には耳が遠いことが多いので、第1の所定条件を「エレベーター」、第2の所定条件を「高齢者」に設定しておくことで、「エレベーター内での高齢者による注目行動」の場合には、呼びかけの態様を変更しない(音量を下げない)ことが考えられる。
【0046】
更に、若い男性の場合、単純に「○○をやめて下さい。」と呼びかけても注目行動をやめないことも考えられる。従って、第1の所定条件を「全ての場所」、第2の所定条件を「属性:若い男性」に設定しておくことで、「(場所に関わらず)若い男性による注目行動」の場合には、「○○をやめて下さい。警備員が来ます。」のように呼びかけの内容を変更することが考えられる。
【0047】
なお、上記したように、“背景”に関する第1の所定条件と、“属性又は大きさ”に関する第2の所定条件と、の組み合わせは様々なものが考えられるため、様々な組み合わせを設定しておいても良い。
【0048】
また、第1の条件及び第2の条件は、注目行動呼びかけシステム1に設定部を設け、ユーザが設定可能としても良い。
【0049】
更に、上記では、属性を考慮する場合について説明したが、単純に、対象行動体Zの大きさが第1の所定の条件を満たす場合(例えば、「対象行動体Zの大きさ(背の高さ)が所定値よりも小さい」場合等)に、同様の制御を行っても良い。
【0050】
このようにして、本実施の形態による注目行動呼びかけシステム1では、時系列画像Yにおいて対象行動体Zの異常行動等の注目行動が検出された際に、場所に適した呼びかけを行うことが可能となる。
【0051】
続いて、図3のフローチャートを用いて、本実施の形態による呼びかけの流れについて説明する。
【0052】
まず、取得部2により時系列画像Yが取得されると(S1)、検出部3により時系列画像Yに映った対象行動体Zの特徴点が検出される(S2)。
【0053】
また、時系列画像Yに映った背景が検出される(S3)。
【0054】
続いて、記憶部4に記憶された特徴点の変位と、S2で検出された特徴点の変位と、に基づき、注目行動が行われたか否かが判定される(S4)。
【0055】
注目行動が行われたと判定された場合には(S4:YES)、S3で検出された背景が第1の所定の条件を満たすか否かが判定される(S5)。
【0056】
第1の所定の条件を満たさない場合には(S5:NO)、音声による通常の呼びかけが行われる(S6)。
【0057】
一方、第1の所定の条件を満たす場合には(S5:YES)、呼びかけを行わない、又は、呼びかけの内容又は態様を変更する(S7)。
【0058】
なお、S3の背景の検出は、S5の前までに行われれば良い。
【0059】
以上説明したように、本実施の形態による注目行動呼びかけシステム1では、注目行動が行われたと判定された場合であっても、検出された背景が第1の所定条件を満たす場合には、呼びかけを行わない、又は、呼びかけの内容又は態様を変更する。
【0060】
このような構成によれば、時系列画像Yにおいて対象行動体Zの異常行動等の注目行動が検出された際に、場所に適した呼びかけを行うことが可能となる。
【0061】
また、本実施の形態による注目行動呼びかけシステム1では、注目行動が行われたと判定された場合であっても、検出された背景が第1の所定条件を満たし、かつ、属性又は大きさが検出された背景に対して設定された第2の所定条件を満たす場合に、呼びかけを行わない、又は、呼びかけの内容又は態様を変更する。
【0062】
このような構成によれば、場所に加えて、属性に適した呼びかけを行うことが可能となる。
【0063】
続いて、図4を用いて、本発明の第2の実施の形態による注目行動呼びかけシステム100について説明する。なお、第1の実施の形態と同一の部材については同一の符号を付し、その説明を省略する。
【0064】
本実施の形態では、記憶部4に記憶される注目行動を学習により決定する。
【0065】
詳細には、注目行動呼びかけシステム100は、第1の実施の形態の構成に加えて、学習側取得部11と、学習側検出部12と、決定部13と、を備えている。
【0066】
学習側取得部11は、所定範囲を撮影するように設置された撮影手段Xにより撮影されたサンプル映像(複数のサンプル時系列画像)を取得する。
【0067】
学習側検出部12は、サンプル映像に映ったサンプル行動体の行動を検出する。
【0068】
サンプル行動体の行動の検出は、サンプル行動体が所定の行動を行った場合の特徴点の変位(各関節の動き等)を記憶部(記憶部4であっても、他の記憶部であっても良い)に記憶しておき、検出部3と同様に特徴点を検出した上で、検出された特徴点情報の変位が、記憶された特徴点の変位と所定以上一致している場合に、「当該所定の行動が行われた」と検出することが考えられる。
【0069】
決定部13は、学習側検出部12によって検出された多数の行動に基づき、所定範囲における一又は複数の“通常の行動”を決定する。本実施の形態では、決定された“通常の行動”は、記憶部4に注目行動として記憶される。
【0070】
“通常の行動”は、様々な基準で決定することが可能であるが、例えば、検出された全行動の中で所定(閾値)以上の割合を有する行動を“通常の行動”として決定することが考えられる。
【0071】
そして、判定部5は、各時系列画像Yから検出された特徴点の変位が“通常の行動”に相当しない場合に、注目行動が行われたと判定する。
【0072】
詳細には、各時系列画像Yから検出された特徴点の変位が“通常の行動”に相当しない場合、すなわち、注目行動が生じたと判定された場合(図3のS4:YES)、第1の実施の形態と同様に、図3のS5-S7の動作が行われることとなる。
【0073】
以上説明したように、本実施の形態による注目行動呼びかけシステム100では、各時系列画像Yから検出された特徴点の変位が、学習により決定された“通常の行動”に相当しない場合に、注目行動が行われたと判定する。
【0074】
このような構成によれば、暴力行動や転倒のような明らかな異常行動でない行動であっても、その場(所定範囲)にふさわしくない行動に対して呼びかけを行うことが可能となる。但し、このような構成の場合、例えば、子供の行動は、注目行動(異常行動)と判定される可能性が更に高くなるが、このような場合であっても、属性又は大きさが第1の所定の条件を満たす場合には、呼びかけを行わない、又は、呼びかけの内容又は態様を変更することで、“子供”等の注目行動(異常行動)により頻繁な呼びかけが生じることが抑制される。
【0075】
尚、本発明の注目行動呼びかけシステムは、上述した実施の形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。
【0076】
例えば、上記実施の形態では、撮影手段Xは、報知部7と一体に設けられていたが、必ずしも一体でなくても、対象行動体Zに対して呼びかけができるように撮影手段Xの撮影範囲の周辺に設けられていれば良い。
【0077】
また、上記実施の形態では、全ての部材が一体に設けられていたが、例えば、一部の部材(記憶部4、判定部5、推定部6等)が異なる場所(クラウド等)に設けられていることを除外するものではない。
【0078】
また、本発明は、コントローラとしての各部材が行う処理に相当するプログラム及び方法や、当該プログラムを記憶した記録媒体にも応用可能である。記録媒体の場合、コンピュータ等に当該プログラムがインストールされることとなる。ここで、当該プログラムを記憶した記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体としては、CD-ROM等が考えられるが、それに限定されるものではない。
【符号の説明】
【0079】
1 注目行動呼びかけシステム
2 取得部
3 検出部
4 記憶部
5 判定部
6 推定部
7 報知部
8 背景検出部
9 設定部
11 学習側取得部
12 学習側検出部
13 決定部
100 注目行動呼びかけシステム
X 撮影手段
Y 時系列画像
Z 対象行動体
【要約】
【課題】 映像に映った行動体の異常行動等の注目行動が検出された際に、場所に適した呼びかけを行うことが可能な注目行動呼びかけシステムを提供する。
【解決手段】 注目行動呼びかけシステム1は、記憶された特徴点の変位と、各時系列画像Yから検出された特徴点の変位と、に基づき、注目行動が行われたか否かを判定する判定部5と、撮影手段Xの撮影範囲の周辺に設けられ、注目行動が行われたと判定された場合に、音声による呼びかけを行う報知部7と、時系列画像Yに映った背景を検出する背景検出部8と、を備えている。報知部8は、注目行動が行われたと判定された場合であっても、検出された背景が第1の所定条件を満たす場合には、呼びかけを行わない、又は、呼びかけの内容又は態様を変更する。
【選択図】図3
図1
図2
図3
図4