IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三菱電機インフォメーションシステムズ株式会社の特許一覧

特許7234324通知受付装置、通知受付方法及び通知受付プログラム
<>
  • 特許-通知受付装置、通知受付方法及び通知受付プログラム 図1
  • 特許-通知受付装置、通知受付方法及び通知受付プログラム 図2
  • 特許-通知受付装置、通知受付方法及び通知受付プログラム 図3
  • 特許-通知受付装置、通知受付方法及び通知受付プログラム 図4
  • 特許-通知受付装置、通知受付方法及び通知受付プログラム 図5
  • 特許-通知受付装置、通知受付方法及び通知受付プログラム 図6
  • 特許-通知受付装置、通知受付方法及び通知受付プログラム 図7
  • 特許-通知受付装置、通知受付方法及び通知受付プログラム 図8
  • 特許-通知受付装置、通知受付方法及び通知受付プログラム 図9
  • 特許-通知受付装置、通知受付方法及び通知受付プログラム 図10
  • 特許-通知受付装置、通知受付方法及び通知受付プログラム 図11
  • 特許-通知受付装置、通知受付方法及び通知受付プログラム 図12
  • 特許-通知受付装置、通知受付方法及び通知受付プログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-02-27
(45)【発行日】2023-03-07
(54)【発明の名称】通知受付装置、通知受付方法及び通知受付プログラム
(51)【国際特許分類】
   H04N 7/18 20060101AFI20230228BHJP
   G06T 7/00 20170101ALI20230228BHJP
   G06F 3/01 20060101ALI20230228BHJP
【FI】
H04N7/18 D
H04N7/18 K
G06T7/00 660B
G06F3/01 570
【請求項の数】 12
(21)【出願番号】P 2021157313
(22)【出願日】2021-09-28
【審査請求日】2021-09-28
(73)【特許権者】
【識別番号】394013002
【氏名又は名称】三菱電機インフォメーションシステムズ株式会社
(74)【代理人】
【識別番号】110002491
【氏名又は名称】弁理士法人クロスボーダー特許事務所
(72)【発明者】
【氏名】山足 光義
(72)【発明者】
【氏名】西濱 令
(72)【発明者】
【氏名】中尾 尭理
(72)【発明者】
【氏名】阿部 紘和
【審査官】長谷川 素直
(56)【参考文献】
【文献】特開2020-071503(JP,A)
【文献】特表2005-521975(JP,A)
【文献】特開2008-052590(JP,A)
【文献】特開2015-080265(JP,A)
【文献】特開2014-174653(JP,A)
【文献】国際公開第2013/099630(WO,A1)
【文献】特開2021-069074(JP,A)
【文献】特表2018-519032(JP,A)
【文献】特開2016-099766(JP,A)
【文献】特開2015-116308(JP,A)
【文献】特開2018-120644(JP,A)
【文献】特開2021-149691(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
G06T 7/00
G06F 3/01
(57)【特許請求の範囲】
【請求項1】
複数のカメラそれぞれを対象として、対象のカメラの撮影領域が人のどの辺りが映り易い状態になっているかに応じた1つ以上の通知ポーズが前記対象のカメラに対して設定されたポーズ定義部を参照して、前記複数のカメラのうちいずれかのカメラによって得られた画像データに映った人のポーズが、前記ポーズ定義部において、前記画像データの取得元のカメラに対して設定された1つ以上の通知ポーズのうちのいずれかの通知ポーズに該当するか否かを判定する通知判定部と、
前記通知判定部によって前記人のポーズが該当すると判定された通知ポーズに対応する通知内容を特定する内容特定部と
を備える通知受付装置。
【請求項2】
前記通知受付装置は、さらに、
前記通知判定部によって前記人のポーズがいずれかの通知ポーズに該当すると判定されると、通知を受領したことを前記画像データに映った人に知らせるための確認信号を送信する受領確認部
を備える請求項1に記載の通知受付装置。
【請求項3】
前記通知受付装置は、さらに、
前記通知ポーズに該当するポーズを行った人が、位置を示す指図ポーズを行ったか否かを判定する指図判定部と、
前記指図判定部によって前記指図ポーズをしたと判定された場合には、前記指図ポーズが示す位置を特定する位置特定部と
を備える請求項1又は2に記載の通知受付装置。
【請求項4】
前記通知受付装置は、さらに、
前記内容特定部によって特定された通知内容に応じた対応先に対して、指示情報を送信する指示送信部
を備える請求項1から3までのいずれか1項に記載の通知受付装置。
【請求項5】
前記通知受付装置は、さらに、
前記内容特定部によって特定された通知内容に応じた対応先に対して、前記位置特定部によって特定された位置を示す指示情報を送信する指示送信部
を備える請求項3に記載の通知受付装置。
【請求項6】
前記通知ポーズは、関節の相対的な位置関係によって定義されており、
前記通知受付装置は、さらに、
前記画像データから前記人の関節の位置を示す骨格情報を抽出する骨格抽出部
を備え、
前記通知判定部は、前記骨格抽出部によって抽出された前記骨格情報が示す関節の相対的な位置関係がいずれかの通知ポーズに該当するか否かを判定する
請求項1から5までのいずれか1項に記載の通知受付装置。
【請求項7】
前記受領確認部は、前記カメラの周辺に設置された受領ランプに対して前記確認信号を送信して、前記受領ランプを点灯させる
請求項2に記載の通知受付装置。
【請求項8】
前記受領確認部は、前記受領ランプを点灯させた後、前記通知判定部によって前記点灯を確認したことを示す通知ポーズに該当すると判定されると、前記受領ランプに対して終了信号を送信して、消灯させる
請求項7に記載の通知受付装置。
【請求項9】
前記受領確認部は、通知ポーズに該当すると判定されたポーズをした人の人数に応じて、前記受領ランプの点灯のさせ方を変える
請求項7又は8に記載の通知受付装置。
【請求項10】
前記受領確認部は、通知ポーズに該当すると判定されたポーズをした人の前記画像データにおける位置に応じて、前記受領ランプの点灯のさせ方を変える
請求項7又は8に記載の通知受付装置。
【請求項11】
コンピュータが、複数のカメラそれぞれを対象として、対象のカメラの撮影領域が人のどの辺りが映り易い状態になっているかに応じた1つ以上の通知ポーズが前記対象のカメラに対して設定されたポーズ定義部を参照して、前記複数のカメラのうちいずれかのカメラによって得られた画像データに映った人のポーズが、前記ポーズ定義部において、前記画像データの取得元のカメラに対して設定された1つ以上の通知ポーズのうちのいずれかの通知ポーズに該当するか否かを判定し、
コンピュータが、前記人のポーズが該当すると判定された通知ポーズに対応する通知内容を特定する通知受付方法。
【請求項12】
複数のカメラそれぞれを対象として、対象のカメラの撮影領域が人のどの辺りが映り易い状態になっているかに応じた1つ以上の通知ポーズが前記対象のカメラに対して設定されたポーズ定義部を参照して、前記複数のカメラのうちいずれかのカメラによって得られた画像データに映った人のポーズが、前記ポーズ定義部において、前記画像データの取得元のカメラに対して設定された1つ以上の通知ポーズのうちのいずれかの通知ポーズに該当するか否かを判定する通知判定処理と、
前記通知判定処理によって前記人のポーズが該当すると判定された通知ポーズに対応する通知内容を特定する内容特定処理と
を行う通知受付装置としてコンピュータを機能させる通知受付プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、カメラを通じて通知を受け付ける技術に関する。
【背景技術】
【0002】
防犯を目的として、建物又は施設といった管理エリアに多数のカメラが設置されている。設置されたカメラの台数は年々増えている。しかし、管理エリアに設置されたカメラは、防犯以外の目的ではあまり使用されていない。
【0003】
管理エリアで発生した事象を管理者は早期に把握して、適切な対応をとる必要がある。例えば、床濡れがある場合には、早期に掃除をする必要がある。また、体調不良者がいる場合には、早期に救護する必要がある。
管理エリアに設置されたカメラを用いて、発生した事象を検出することが考えられる。しかし、カメラでは、撮影範囲で事象が発生していなければ、その事象を発見することはできない。また、たとえ撮影範囲に入っていても、床濡れ等は映像からは発見することが難しい場合もある。
【0004】
事象が発生した現場にいる人であれば、その事象を発見できる可能性は高い。しかし、事象を発見したとしても、管理者へ通知するには、スタッフ等を探す必要があり、手間及び時間がかかる。そのため、床濡れのように軽微な事象の場合には、通知がされない可能性が高い。
【0005】
特許文献1には、不審者を見つけた人が、カメラの撮影範囲に移動して何らかのサイン出すこと等により通報を行うことが記載されている。特許文献1では、通報を集計し、カメラ毎の警戒度を算出している。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2015-56697号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
管理エリアの管理者は、何らかの事象が発生したことだけでなく、どのような事象が発生したかを把握する必要がある。特許文献1に記載された技術では、何らかの事象が発生した可能性があることは伝えられるかもしれない。しかし、どのような事象が発生したかまで伝えることができない。
本開示は、カメラを用いて簡便な方法で発生した事象を通知可能にすることを目的とする。
【課題を解決するための手段】
【0008】
本開示に係る通知受付装置は、
カメラによって得られた画像データに映った人のポーズが、ポーズ定義部に設定された1つ以上の通知ポーズのうちのいずれかの通知ポーズに該当するか否かを判定する通知判定部と、
前記通知判定部によって前記人のポーズが該当すると判定された通知ポーズに対応する通知内容を特定する内容特定部と
を備える。
【0009】
前記ポーズ定義部には、複数のカメラそれぞれを対象として、対象のカメラの撮影領域に応じた通知ポーズが設定されており、
前記通知判定部は、前記複数のカメラのうちいずれかのカメラによって得られた画像データに映った人のポーズが、前記ポーズ定義部において、前記画像データの取得元のカメラについて設定された1つ以上の通知ポーズのうちのいずれかの通知ポーズに該当するか否かを判定する。
【0010】
前記通知受付装置は、さらに、
前記通知判定部によって前記人のポーズがいずれかの通知ポーズに該当すると判定されると、通知を受領したことを前記画像データに映った人に知らせるための確認信号を送信する受領確認部
を備える。
【0011】
前記通知受付装置は、さらに、
前記通知ポーズに該当するポーズを行った人が、位置を示す指図ポーズを行ったか否かを判定する指図判定部と、
前記指図判定部によって前記指図ポーズをしたと判定された場合には、前記指図ポーズが示す位置を特定する位置特定部と
を備える。
【0012】
前記通知受付装置は、さらに、
前記内容特定部によって特定された通知内容に応じた対応先に対して、指示情報を送信する指示送信部
を備える。
【0013】
前記通知受付装置は、さらに、
前記内容特定部によって特定された通知内容に応じた対応先に対して、前記位置特定部によって特定された位置を示す指示情報を送信する指示送信部
を備える。
【0014】
前記通知ポーズは、関節の相対的な位置関係によって定義されており、
前記通知受付装置は、さらに、
前記画像データから前記人の関節の位置を示す骨格情報を抽出する骨格抽出部
を備え、
前記通知判定部は、前記骨格抽出部によって抽出された前記骨格情報が示す関節の相対的な位置関係がいずれかの通知ポーズに該当するか否かを判定する。
【0015】
前記受領確認部は、前記カメラの周辺に設置された受領ランプに対して前記確認信号を送信して、前記受領ランプを点灯させる。
【0016】
前記受領確認部は、前記受領ランプを点灯させた後、前記通知判定部によって前記点灯を確認したことを示す通知ポーズに該当すると判定されると、前記受領ランプに対して終了信号を送信して、消灯させる。
【0017】
前記受領確認部は、通知ポーズに該当すると判定されたポーズをした人の人数に応じて、前記受領ランプの点灯のさせ方を変える。
【0018】
前記受領確認部は、通知ポーズに該当すると判定されたポーズをした人の前記画像データにおける位置に応じて、前記受領ランプの点灯のさせ方を変える。
【0019】
本開示に係る通知受付方法は、
コンピュータが、カメラによって得られた画像データに映った人のポーズが、ポーズ定義部に設定された1つ以上の通知ポーズのうちのいずれかの通知ポーズに該当するか否かを判定し、
コンピュータが、前記人のポーズが該当すると判定された通知ポーズに対応する通知内容を特定する。
【0020】
本開示に係る通知受付プログラムは、
カメラによって得られた画像データに映った人のポーズが、ポーズ定義部に設定された1つ以上の通知ポーズのうちのいずれかの通知ポーズに該当するか否かを判定する通知判定処理と、
前記通知判定処理によって前記人のポーズが該当すると判定された通知ポーズに対応する通知内容を特定する内容特定処理と
を行う通知受付装置としてコンピュータを機能させる。
【発明の効果】
【0021】
本開示では、画像データに映った人のポーズが、ポーズ定義部に定義されたいずれかの通知ポーズに該当するか否かが判定される。そして、該当すると判定された通知ポーズに対応する通知内容が特定される。これにより、発生した事象に応じたポーズをカメラに向かってとることで、発生した事象を通知することができる。
【図面の簡単な説明】
【0022】
図1】実施の形態1に係る通知受付装置10の構成図。
図2】実施の形態1に係る事前設定処理のフローチャート。
図3】実施の形態1に係る骨格情報の説明図。
図4】実施の形態1に係る通知ポーズ41の説明図。
図5】実施の形態1に係る定義案内処理の説明図。
図6】実施の形態1に係る通知受付処理のフローチャート。
図7】実施の形態1に係るポーズリスト51の説明図。
図8】変形例4に係る通知受付装置10の構成図。
図9】実施の形態2に係る通知受付処理のフローチャート。
図10】実施の形態3に係る通知受付装置10の構成図。
図11】実施の形態3に係る指図ポーズ45の説明図。
図12】実施の形態3に係る通知受付処理のフローチャート。
図13】実施の形態3に係るポーズリスト51の説明図。
【発明を実施するための形態】
【0023】
実施の形態1.
***構成の説明***
図1を参照して、実施の形態1に係る通知受付装置10の構成を説明する。
通知受付装置10は、コンピュータである。
通知受付装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
【0024】
プロセッサ11は、プロセッシングを行うICである。ICはIntegrated Circuitの略である。プロセッサ11は、具体例としては、CPU、DSP、GPUである。CPUは、Central Processing Unitの略である。DSPは、Digital Signal Processorの略である。GPUは、Graphics Processing Unitの略である。
【0025】
メモリ12は、データを一時的に記憶する記憶装置である。メモリ12は、具体例としては、SRAM、DRAMである。SRAMは、Static Random Access Memoryの略である。DRAMは、Dynamic Random Access Memoryの略である。
【0026】
ストレージ13は、データを保管する記憶装置である。ストレージ13は、具体例としては、HDDである。HDDは、Hard Disk Driveの略である。また、ストレージ13は、SD(登録商標)メモリカード、CompactFlash(登録商標)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVDといった可搬記録媒体であってもよい。SDは、Secure Digitalの略である。DVDは、Digital Versatile Diskの略である。
【0027】
通信インタフェース14は、外部の装置と通信するためのインタフェースである。通信インタフェース14は、具体例としては、Ethernet(登録商標)、USB、HDMI(登録商標)のポートである。USBは、Universal Serial Busの略である。HDMIは、High-Definition Multimedia Interfaceの略である。
【0028】
通知受付装置10は、通信インタフェース14を介して、1台以上のカメラ31と、1台以上の表示装置32と、1台以上の受領ランプ33とに接続されている。カメラ31は、建物又は施設といった管理エリア内に設置されている。表示装置32は、カメラ31と同様に管理エリア内に設置されている。表示装置32は、カメラ31の付近に設置されているとする。受領ランプ33は、カメラ31と同様に管理エリア内に設置されている。受領ランプ33は、カメラ31の付近に設置されている。受領ランプ33は、カメラ31に取り付けられていてもよい。
通知受付装置10は、通信インタフェース14を介して、1台以上の対応先装置60に接続されている。対応先装置60は、発生した事象に応じて所定の対応を行う部門宛ての通知を受信する装置である。
【0029】
通知受付装置10は、機能構成要素として、定義設定部21と、定義案内部22と、骨格抽出部23と、通知判定部24と、内容特定部25と、指示送信部26と、受領確認部27とを備える。通知受付装置10の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ13には、通知受付装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、通知受付装置10の各機能構成要素の機能が実現される。
【0030】
ストレージ13は、ポーズ定義部30の機能を実現する。ポーズ定義部30には、通知ポーズ41が設定される。
【0031】
図1では、プロセッサ11は、1つだけ示されていた。しかし、プロセッサ11は、複数であってもよく、複数のプロセッサ11が、各機能を実現するプログラムを連携して実行してもよい。
【0032】
***動作の説明***
図2から図7を参照して、実施の形態1に係る通知受付装置10の動作を説明する。
実施の形態1に係る通知受付装置10の動作手順は、実施の形態1に係る通知受付方法に相当する。また、実施の形態1に係る通知受付装置10の動作を実現するプログラムは、実施の形態1に係る通知受付プログラムに相当する。
【0033】
通知受付装置10の動作は、事前設定処理と、通知受付処理とに分けられる。
【0034】
図2を参照して、実施の形態1に係る事前設定処理を説明する。
事前設定処理は、通知受付処理を稼働させる前に実行される。事前設定処理は、通知受付処理を稼働させた後であっても、必要に応じて実行される。事前設定処理の実行が必要になるのは、通知を受け付けたい事象が増えた場合と、通知ポーズ41を変更したい場合とである。
【0035】
(ステップS11:定義設定処理)
定義設定部21は、通知を受け付けたい事象毎に、通知ポーズ41の入力を受け付ける。通知ポーズ41は、ポーズを定義した情報である。通知ポーズ41は、図3に示すような、骨格の関節と骨格の特徴的な点との相対的な位置関係によって定義される。骨格の特徴的な点とは、目及び鼻といった顔のパーツ等である。定義設定部21は、受け付けされた通知ポーズ41をポーズ定義部30に書き込む。
【0036】
図4を参照して、通知ポーズ41の具体例を説明する。
図4では、汚れ有と体調不良者有との2つの事象について通知ポーズ41が定義されている。通知ポーズ41には、説明42と、イメージ43とが付加されている。説明42は、事象に関する説明である。イメージ43は、事象を知らせるためのポーズのイメージ画像である。各事象には、事象ID44が付されている。IDは、identifierの略である。
【0037】
事象ID44が“汚れ有”の通知ポーズ41は、次のように定義されている。
(A)右肘のY座標が右肩のY座標よりも大きい。つまり、右肘が右肩よりも上にある。(B)左肘のY座標が左肩のY座標よりも大きい。つまり、左肘が左肩よりも上にある。(C)右手首のX座標から左手首のX座標を減算した値の絶対値が、右肩のX座標から左肩のX座標を減算した値の絶対値を4で除した値よりも小さい。つまり、右手首と左手首との間の幅が、右肩と左肩との間の幅の1/4よりも小さい。(A)(B)(C)が全て成立する場合には、条件を満たすと判定される。
【0038】
事象ID44が“体調不良者有”の通知ポーズ41は、次のように定義されている。
(A’)右手首のY座標が右肩のY座標よりも小さい。つまり、右手首が右肩よりも下にある。(B’)左手首のY座標が左肩のY座標よりも小さい。つまり、左手首が左肩よりも下にある。(C’)右手首のY座標が右肘のY座標よりも大きい。つまり、右手首が右肘よりも上にある。(D’)左手首のY座標が左肘のY座標よりも大きい。つまり、左手首が左肘よりも上にある。(E’)右手首のX座標が左手首のX座標よりも大きい。ここでは、左側ほどX座標の座標値が大きいとする。つまり、右手首が左手首よりも左側にある。(A’)(B’)(C’)(D’)(E’)が全て成立する場合には、条件を満たすと判定される。
【0039】
定義設定部21は、カメラ31毎に、そのカメラ31の撮影領域に応じた通知ポーズ41を設定してもよい。カメラ31によって、設置位置と、設置角度と、画角とが異なる。そのため、カメラ31によって、撮影領域が、人のどの当たりが映り易い状態になっているかが異なる。例えば、カメラ31によっては上半身だけが映るように設置されたものがある。このカメラ31については、上半身だけで識別可能な通知ポーズ41が設定される。
【0040】
(ステップS12:定義案内処理)
定義案内部22は、ステップS11で設定された通知ポーズ41を表示装置32に表示する。具体的には、定義案内部22は、図5に示すように、通知ポーズ41における説明42及びイメージ43を表示装置32に表示する。これにより、各事象が発生した場合に、どのようなポーズをとれば通知ができるかを周知することができる。
【0041】
図6を参照して、実施の形態1に係る通知受付処理を説明する。
通知受付処理は、管理エリアを監視する時間に繰り返し実行される。例えば、管理エリアが商業施設であれば、商業施設の営業開始から営業終了まで繰り返し実行される。
【0042】
通知受付処理の開始時には、初期化処理が実行される。管理エリアが商業施設であれば、商業施設の営業開始時に初期化処理が実行される。
初期化処理では、事前設定処理で設定された通知ポーズ41が読み込まれる。受領ランプ33が非点灯状態に設定される。ポーズリスト51に設定された情報が消去される。
【0043】
実施の形態1では、1つのカメラ31に映った複数の人が同時に通知を行うことはないという前提で説明する。つまり、仮に複数の人が映っていたとしても、通知を行っている人は1人だけであるとする。
【0044】
(ステップS21:骨格抽出処理)
骨格抽出部23は、カメラ31によって得られた新しいフレームの画像データを取得する。この際、骨格抽出部23は、画像データの取得元のカメラを識別するカメラIDを取得する。
骨格抽出部23は、画像データを解析して、画像データに映った人を特定する。具体的には、骨格抽出部23は、画像データから人を検出するAIのモデルに画像データを入力として与え、映った人を特定する。AIは、Artificial Intelligenceの略である。この際、人が映った部分の領域を示す検出枠も特定される。また、検出枠に対して、識別情報である人IDが割り当てられる。
骨格抽出部23は、特定された人が映った領域の部分画像から、人の骨格情報を抽出する。骨格情報は、関節及び骨格の特徴的な点の位置を示す。具体的には、骨格抽出部23は、骨格情報を抽出するAIのモデルに部分画像を入力として与え、骨格情報を抽出する。
【0045】
続いて、ループ1の処理が実行される。ループ1では、ステップS21で検出された1人以上の人それぞれを処理対象として、ステップS22の処理が実行される。
【0046】
(ステップS22:ポーズ判定処理)
通知判定部24は、人のポーズが、ポーズ定義部30に定義された1つ以上の通知ポーズ41のうちのいずれかの通知ポーズ41に該当するか否かを判定する。
具体的には、通知判定部24は、処理対象の人についての骨格情報を取得する。通知判定部24は、取得された骨格情報が示す関節等の相対的な位置関係がいずれかの通知ポーズ41に該当するか否かを判定する。つまり、通知判定部24は、骨格情報が示す関節等の相対的な位置関係が、通知ポーズ41の条件を満たすか否かを判定する。
【0047】
なお、カメラ31毎に、そのカメラ31の撮影領域に応じて通知ポーズ41が設定されている場合がある。この場合には、通知判定部24は、画像データの取得元のカメラ31について設定された1つ以上の通知ポーズのうちのいずれかの通知ポーズに該当するか否かを判定する。
【0048】
通知判定部24は、いずれかの通知ポーズ41に該当する場合には、ポーズリスト51にレコードを追加する。図7に示すように、ポーズリスト51には、日時と、カメラIDと、人枠と、人IDと、事象IDと等が設定される。通知判定部24は、日時には、処理時点の日時を設定する。通知判定部24は、カメラIDには、画像データの取得元のカメラ31のカメラIDを設定する。通知判定部24は、人枠には、処理対象の人が映った領域を示す検出枠の情報を設定する。通知判定部24は、人IDには、検出枠に割り当てられた人IDを設定する。そして、通知判定部24は、ループ1の処理を終了する。
一方、通知判定部24は、いずれの通知ポーズ41に該当しない場合には、次の人を処理対象としてループ1を継続する。なお、全ての人について処理が済んだ場合には、ループ1の処理を終了する。
【0049】
(ステップS23:通知有無判定処理)
内容特定部25は、ステップS22でいずれかの人のポーズが通知ポーズ41に該当すると判定されたか否かを判定する。具体的には、内容特定部25は、ポーズリスト51にレコードが設定されているか否かを判定する。内容特定部25は、レコードが設定されている場合には、いずれかの人のポーズが通知ポーズ41に該当すると判定されたと判定する。一方、内容特定部25は、レコードが設定されていない場合には、いずれの人のポーズも通知ポーズ41に該当すると判定されなかったと判定する。
内容特定部25は、いずれかの人のポーズが通知ポーズ41に該当すると判定された場合には、処理をステップS23に進める。一方、内容特定部25は、いずれの人のポーズも通知ポーズ41に該当すると判定されなかった場合には、処理をステップS21に戻す。
【0050】
(ステップS24:内容特定処理)
内容特定部25は、ステップS22で画像データに映った人のポーズが該当すると判定された通知ポーズ41に対応する通知内容を特定する。
具体的には、内容特定部25は、ポーズリスト51からレコードを読み出す。内容特定部25は、読み出されたレコードにおける事象IDが示す事象が発生したことを通知内容として特定する。
【0051】
(ステップS25:指示送信処理)
指示送信部26は、通知内容が示す発生した事象と、事象の発生位置とを示す地図データ52を指示情報として生成する。実施の形態1では、事象の発生位置は、カメラ31の設置位置である。ここでいうカメラ31は、ポーズリスト51におけるカメラIDが示すカメラ31である。つまり、ここでいうカメラ31は、画像データの取得元のカメラ31である。
指示送信部26は、発生した事象に応じた対応先である対応先装置60に、地図データ52を送信し、事象が発生したことを通知する。対応先は、事象IDが“掃除要”の事象であれば、掃除を行う部門である。また、対応先は、事象IDが“体調不良者有”の事象であれば、救護を行う部門である。
【0052】
(ステップS26:受領確認処理)
受領確認部27は、通知を受領したことを画像データに映った人に知らせるための確認信号を送信する。
具体的には、受領確認部27は、ポーズリスト51におけるカメラIDが示すカメラ31に取り付けられた受領ランプ33に対して確認信号を送信して、受領ランプ33を点灯させる。受領確認部27は、一定時間経過すると、受領ランプ33に対して消灯信号を送信して、受領ランプ33を消灯させる。
【0053】
(ステップS27:リスト初期化処理)
内容特定部25は、ポーズリスト51からレコードを削除する。
【0054】
その後、処理がステップS21に戻され、新たなフレームの画像データが取得される。
なお、通知受付装置10は、受領ランプ33が点灯している間は、その受領ランプ33が取り付けられたカメラ31から取得された画像データについての処理は行わない。つまり、通知受付装置10は、その受領ランプ33が取り付けられたカメラ31からは新たな通知を受け付けない。これにより、連続して通知が行われ、どの通知が受領されたかがわからなくなることが防止される。
【0055】
***実施の形態1の効果***
以上のように、実施の形態1に係る通知受付装置10は、画像データに映った人のポーズが、ポーズ定義部30に定義されたいずれかの通知ポーズ41に該当するか否かを判定する。そして、該当すると判定された通知ポーズ41に対応する通知内容が特定される。これにより、発生した事象に応じたポーズをカメラに向かってとることで、発生した事象を通知することができる。
【0056】
また、実施の形態1に係る通知受付装置10は、カメラ31の撮影領域に応じて通知ポーズ41が設定される。これにより、カメラ31の撮影領域に応じて検出し易い通知ポーズ41を設定できる。その結果、誤報及び失報を抑制できる。
【0057】
また、実施の形態1に係る通知受付装置10は、確認信号を送信して受領ランプ33を点灯させる。これにより、通知を行った人が、通知ができたことを確認できる。そのため、通知ができていないにも関わらず、通知したつもりになって、通知がされないようなケースを抑制できる。また、通知ができているにも関わらず、通知ができていないと考え、何度も同じ通知をしてしまうようなケースを抑制できる。
【0058】
***他の構成***
<変形例1>
実施の形態1では、通知判定部24は、関節等の相対的な位置関係に基づき通知ポーズ41に該当するか否か判定した。しかし、通知判定部24は、AIのモデルを用いて、人のポーズが通知ポーズ41に該当するか否か判定してもよい。
【0059】
<変形例2>
通知受付装置10は、受領ランプ33が点灯している間は、その受領ランプ33が取り付けられたカメラ31からは新たな通知を受け付けなかった。しかし、通知受付装置10は、受領ランプ33が点灯している間は、受領ランプ33の点灯を確認したことを示す確認通知だけは受け付けるようにしてもよい。そして、通知受付装置10は、確認通知を受け付けると、受領ランプ33を消灯させてもよい。これにより、早期に新たな通知を受け付けられる状態にすることが可能である。
具体的に説明する。ステップS21で受領ランプ33が点灯中のカメラ31から画像データが取得されたとする。すると、ステップS22で通知判定部24は、確認通知に対応する通知ポーズ41に該当するか否かだけを判定する。確認通知に対応する通知ポーズ41に該当すると判定されると、ステップS26で受領確認部27は、受領ランプ3に対して終了信号を送信して、消灯させる。
【0060】
<変形例3>
変形例2では、通知受付装置10は、確認通知を受け付けると、受領ランプ33を消灯させた。これに代えて、通知受付装置10は、事象に対応する対応先の担当者から消灯通知を受け付けると、受領ランプ33を消灯させてもよい。
具体的に説明する。ステップS21で受領ランプ33が点灯中のカメラ31から画像データが取得されたとする。すると、ステップS22で通知判定部24は、担当者に事前に知らせてある消灯通知用のポーズに該当するか否かを判定する。消灯用のポーズに該当すると判定されると、ステップS26で受領確認部27は、受領ランプ3に対して終了信号を送信して、消灯させる。
あるいは、受領確認部27は、担当者の端末から通信インタフェース14を介して消灯通知を受信してもよい。受領確認部27は、通信インタフェース14を介して消灯通知を受信すると、受領ランプ3に対して終了信号を送信して、消灯させる。このように構成することにより、担当者が通知を認知したことを通知を行った人に知らしめることができる。
【0061】
<変形例4>
実施の形態1では、指示送信部26は、通知内容が示す発生した事象と、事象の発生位置とを示す地図データ52を指示情報として生成し、対応先装置60に通知した。しかし、指示情報は発生した事象と事象の発生位置を示す位置情報であればよく、位置情報は地図データ52に限定されず位置を示す情報であればよい。
また実施の形態1では、指示送信部26は、事象が発生したと判定した後、対応先装置60に通知した。しかし、通知受付装置10のストレージ13内に事象発生データベースを構築し、事象発生データベース内に発生した事象と事象の発生位置と対応先装置60の識別情報とを蓄積するように構成してもよい。その場合は、所定のタイミングで対応先装置60から事象発生データベースの情報を取得し、対応先装置60で発生した事象と事象の発生位置を表示し、対応をする人に通知する。あるいは他の装置が事象発生データベースの情報を取得し、他の装置が発生した事象と事象の発生位置とを示す地図データを生成し、対応先装置60に送信するように構成してもよい。
【0062】
<変形例5>
実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例4として、各機能構成要素はハードウェアで実現されてもよい。この変形例4について、実施の形態1と異なる点を説明する。
【0063】
図8を参照して、変形例4に係る通知受付装置10の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、通知受付装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、メモリ12と、ストレージ13との機能とを実現する専用の回路である。
【0064】
電子回路15としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA、ASIC、FPGAが想定される。GAは、Gate Arrayの略である。ASICは、Application Specific Integrated Circuitの略である。FPGAは、Field-Programmable Gate Arrayの略である。
各機能構成要素を1つの電子回路15で実現してもよいし、各機能構成要素を複数の電子回路15に分散させて実現してもよい。
【0065】
<変形例6>
変形例5として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
【0066】
プロセッサ11とメモリ12とストレージ13と電子回路15とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
【0067】
実施の形態2.
実施の形態2は、1つのカメラ31に映った複数の人が同時に通知を行う可能性がある点が実施の形態1と異なる。実施の形態2では、この異なる点を説明し、同一の点については説明を省略する。
【0068】
***動作の説明***
図9を参照して、実施の形態2に係る通知受付装置10の動作を説明する。
実施の形態2に係る通知受付装置10の動作手順は、実施の形態2に係る通知受付方法に相当する。また、実施の形態2に係る通知受付装置10の動作を実現するプログラムは、実施の形態2に係る通知受付プログラムに相当する。
【0069】
図9を参照して、実施の形態2に係る通知受付処理を説明する。
ステップS31の処理は、図6のステップS21の処理と同じである。ステップS33の処理は、図6のステップS23の処理と同じである。ステップS37の処理は、図6のステップS27の処理と同じである。
【0070】
ステップS31に続いて、ループ1の処理が実行される。ループ1では、ステップS31で検出された1人以上の人それぞれを処理対象として、ステップS32の処理が実行される。
【0071】
(ステップS32:ポーズ判定処理)
通知判定部24は、図6のステップS22と同様に、人のポーズが、ポーズ定義部30に定義された1つ以上の通知ポーズ41のうちのいずれかの通知ポーズ41に該当するか否かを判定する。
通知判定部24は、いずれかの通知ポーズ41に該当する場合には、ポーズリスト51にレコードを追加する。そして、通知判定部24は、次の人を処理対象としてループ1を継続する。
一方、通知判定部24は、いずれかの通知ポーズ41に該当しない場合には、次の人を処理対象としてループ1を継続する。なお、全ての人について処理が済んだ場合には、ループ1の処理を終了する。
【0072】
(ステップS34:内容特定処理)
内容特定部25は、ステップS32で画像データに映った人のポーズが該当すると判定された通知ポーズに対応する通知内容を特定する。
具体的には、内容特定部25は、ポーズリスト51からレコードを読み出す。内容特定部25は、読み出されたレコードにおける事象IDが示す事象が発生したことを通知内容として特定する。内容特定部25は、ポーズリスト51に複数のレコードが設定されている場合には、各レコードを読み出す。内容特定部25は、各レコードについて、事象IDが示す事象が発生したことを通知内容として特定する。
【0073】
(ステップS35:指示送信処理)
指示送信部26は、通知内容が示す発生した事象と、事象の発生位置とを示す地図データ52を指示情報として生成する。指示送信部26は、ポーズリスト51に複数のレコードが設定されている場合には、各レコードから特定された通知内容について、通知内容が示す発生した事象と、事象の発生位置とを示す地図データ52を生成する。指示送信部26は、発生した事象に応じた対応先に、地図データ52を送信する。
【0074】
(ステップS36:受領確認処理)
受領確認部27は、画像データに映った人に通知を受領したことを知らせるための確認信号を送信する。
具体的には、受領確認部27は、ポーズリスト51におけるカメラIDが示すカメラ31に取り付けられた受領ランプ33に対して確認信号を送信して、受領ランプ33を点灯させる。
この際、受領確認部27は、ステップS32で通知ポーズ41に該当すると判定されたポーズをした人の人数に応じて、受領ランプ33の点灯のさせ方を変える。例えば、受領確認部27は、人数に応じた回数だけ、受領ランプ33を点滅させる。具体例としては、受領確認部27は、通知ポーズ41に該当するポーズをした人が2人の場合には、受領ランプ33を1秒間ずつ2度点灯させる。つまり、受領確認部27は、1秒点灯させ、1秒消灯させ、1秒点灯させ、消灯させる。同様に、受領確認部27は、3人の場合には1秒間ずつ3度点灯させ、4人の場合には1秒間ずつ24度点灯させる。
【0075】
なお、通知受付装置10は、受領ランプ33を消灯させてから一定時間は、その受領ランプ33が取り付けられたカメラ31から取得された画像データについての処理は行わない。消灯させてから一定時間は、受領ランプ33を別の色で点灯させてもよい。これにより、通知を受け付けない状態であることを知らせることができる。
【0076】
***実施の形態2の効果***
以上のように、実施の形態2に係る通知受付装置10は、同時に複数の人からの通知を受領することが可能である。これにより、多くの人が一斉に通知を行うような場合にも対応可能である。
【0077】
また、実施の形態2に係る通知受付装置10は、通知ポーズ41に該当するポーズをした人の人数に応じて、受領ランプ33の点灯のさせ方を変える。これにより、周囲の状況と合わせて受領ランプ33を確認することにより、通知が受領されたかを概ね確認できる。
【0078】
***他の構成***
<変形例7>
実施の形態2では、人数に応じて受領ランプ33の点灯のさせ方が変わった。画像データにおける位置毎に点灯させる色を設定しておき、通知ポーズ41に該当するポーズをした人の位置に対応する色で受領ランプ33を点灯させてもよい。
例えば、X,Y,Zの3人が通知ポーズ41に該当するポーズをしたとする。この場合には、1度目の点灯は、Xがいる位置に応じた色(赤とする)で受領ランプ33を点灯させる。2度目の点灯は、Yがいる位置に応じた色(青とする)で受領ランプ33を点灯させる。3度目の点灯は、Zがいる位置に応じた色(黄とする)で受領ランプ33を点灯させる。つまり、受領確認部27は、1秒赤で点灯させ、1秒消灯させ、1秒青で点灯させ、1秒消灯させ、1秒黄で点灯させる。
位置毎の色については、通知ポーズ41とともに設定して、表示装置32に表示しておく。これにより、通知を行った人が、通知ができたことを適切に確認できる。
【0079】
実施の形態3.
実施の形態3は、事象が発生した位置を特定する点が実施の形態1,2と異なる。実施の形態3では、この異なる点を説明し、同一の点については説明を省略する。
実施の形態3では、実施の形態1に機能を追加した場合を説明する。しかし、実施の形態2に機能を追加することも可能である。
【0080】
***構成の説明***
図10を参照して、実施の形態3に係る通知受付装置10の構成を説明する。
通知受付装置10は、機能構成要素として、指図判定部28と、位置特定部29とを備える点が図1に示す通知受付装置10と異なる。指図判定部28及び位置特定部29の機能は、他の機能構成要素と同様に、ソフトウェア又はハードウェアによって実現される。
【0081】
***動作の説明***
図11から図13を参照して、実施の形態3に係る通知受付装置10の動作を説明する。
実施の形態3に係る通知受付装置10の動作手順は、実施の形態3に係る通知受付方法に相当する。また、実施の形態3に係る通知受付装置10の動作を実現するプログラムは、実施の形態3に係る通知受付プログラムに相当する。
【0082】
事前設定処理では、定義設定部21は、通知ポーズ41とともに、指図ポーズ45をポーズ定義部30に設定する。指図ポーズ45は、事象が発生した位置を示すポーズを定義した情報である。指図ポーズ45は、通知ポーズ41と同様に関節及び骨格の特徴的な点の相対的な位置関係によって定義される。
図11に示すように、指図ポーズ45には、通知ポーズ41と同様に、説明42と、イメージ43とが付加されている。実施の形態3では、指図ポーズ45は、左手を右腕の肘に当て、右手で事象が発生した位置を指し示すポーズである。
【0083】
図12を参照して、実施の形態3に係る通知受付処理を説明する。
ステップS41の処理は、図6のステップS21の処理と同じである。ステップS48からステップS49の処理は、図6のステップS26からステップS27の処理と同じである。
【0084】
ステップS41の処理に続いて、ループ1の処理が実行される。ループ1では、ステップS41で検出された1人以上の人それぞれを処理対象として、ステップS42からステップS45の処理が実行される。
【0085】
(ステップS42:ポーズ判定処理)
通知判定部24は、図6のステップS22と同様に、人のポーズが、ポーズ定義部30に定義された1つ以上の通知ポーズ41のうちのいずれかの通知ポーズ41に該当するか否かを判定する。
通知判定部24は、いずれかの通知ポーズ41に該当する場合には、ポーズリスト51にレコードを追加する。そして、通知判定部24は、処理をステップS43に進める。一方、通知判定部24は、いずれかの通知ポーズ41に該当しない場合には、ポーズリスト51にレコードを追加することなく、処理をステップS43に進める。
【0086】
(ステップS43:指図判定処理)
指図判定部28は、人のポーズが、指図ポーズ45に該当するか否かを判定する。
具体的には、指図判定部28は、処理対象の人についての骨格情報を取得する。指図判定部28は、取得された骨格情報が示す関節等の相対的な位置関係が指図ポーズ45に該当するか否かを判定する。つまり、指図判定部28は、骨格情報が示す関節等の相対的な位置関係が、指図ポーズ45の条件を満たすか否かを判定する。
なお、変形例1における通知判定部24と同様に、指図判定部28は、AIのモデルを用いて、人のポーズが指図ポーズ45に該当するか否か判定してもよい。
指図判定部28は、指図ポーズ45に該当しない場合には、ステップS44及びステップS45の処理をスキップする。一方、指図判定部28は、指図ポーズ45に該当する場合には、処理をステップS44に進める。
【0087】
(ステップS44:同一人物特定処理)
指図判定部28は、ポーズリスト51に基準時間内の処理対象の人についてのレコードが存在するか否かを判定する。具体的には、指図判定部28は、基準時間内の処理対象の人の人IDと同じ人IDの通知ポーズを示すレコードが存在するか否かを判定する。指図判定部28は、同じ人IDのレコードが存在する場合には、処理対象の人についてのレコードが存在すると判定する。
指図判定部28は、処理対象の人についてのレコードが存在する場合には、処理をステップS45に進める。一方、指図判定部28は、処理対象の人についてのレコードが存在しない場合には、ステップS45の処理をスキップする。
【0088】
つまり、ステップS43からステップS44の処理で、指図判定部28は、通知ポーズに該当するポーズを行った人が、通知ポーズに該当するポーズの後に指図ポーズ45をしたか否かを判定している。
【0089】
(ステップS45:位置特定処理)
位置特定部29は、指図ポーズ45をとった処理対象の人が示す位置を特定する。具体的には、位置特定部29は、処理対象の人の右手が指し示す床面の位置を特定する。つまり、位置特定部29は、処理対象の人の右手が指し示す方向の直線と、床面との交点を特定する。この際、位置特定部29は、指先の方向を認識するAIのモデルを用いて、指図ポーズ45において指し示す方向を特定してもよい。そして、位置特定部29は、特定された位置を事象が発生した位置として特定する。
図13に示すように、位置特定部29は、ポーズリスト51の処理対象の人についてのレコードに、事象が発生した位置を追記する。また、位置特定部29は、指図があったことを示す指図フラグを未から済に変更する。
【0090】
ここでは、実施の形態1と同様に、1つのカメラ31に映った複数の人が同時に通知を行うことはないという前提である。そのため、以下の(1)(2)のいずれかの場合には、通知判定部24は、ループ1の処理を終了する。(1)ステップS42でいずれかの通知ポーズ41に該当すると判定された場合。(2)ステップS44で基準時間内の同じ人IDの通知ポーズと指図ポーズ45とが存在すると判定された場合。
一方、(1)(2)のいずれにも該当しない場合には、通知判定部24は、次の人を処理対象としてループ1を継続する。なお、全ての人について処理が済んだ場合には、ループ1の処理を終了する。
なお基準時間とは、通知ポーズ41と指図ポーズ45の間の最大許容時間として用いられる時間であり、一例として10秒程度で設定される。
【0091】
(ステップS46:内容特定処理)
内容特定部25は、ステップS22で画像データに映った人のポーズが該当すると判定された通知ポーズに対応する通知内容を特定する。
具体的には、内容特定部25は、ポーズリスト51から基準時間以上経過したレコードを読み出す。内容特定部25は、読み出されたレコードにおける事象IDが示す事象が発生したことを通知内容として特定する。
【0092】
(ステップS47:地図生成処理)
指示送信部26は、通知内容が示す発生した事象と、事象の発生位置とを示す地図データ52を生成する。実施の形態3では、事象の発生位置は、ステップS45で設定された位置である。なお、ステップS46で読み出されたレコードの指図フラグが未の場合には、指示送信部26は、そのレコードの人IDが示す人がいた位置を、事象の発生位置とする。具体的には、レコードの検出枠の底辺の中央の位置が人がいた位置になる。
【0093】
***実施の形態3の効果***
以上のように、実施の形態3に係る通知受付装置10は、指図ポーズ45に基づき事象が発生した位置を特定する。これにより、事象が発生した位置をより正確に把握することが可能である。その結果、より迅速に対応をとることが可能である。
【0094】
また、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。
【0095】
以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか1つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。
【符号の説明】
【0096】
10 通知受付装置、11 プロセッサ、12 メモリ、13 ストレージ、14 通信インタフェース、15 電子回路、21 定義設定部、22 定義案内部、23 骨格抽出部、24 通知判定部、25 内容特定部、26 指示送信部、27 受領確認部、28 指図判定部、29 位置特定部、30 ポーズ定義部、31 カメラ、32 表示装置、33 受領ランプ、41 通知ポーズ、42 説明、43 イメージ、44 事象ID、45 指図ポーズ、51 ポーズリスト、52 地図データ。
【要約】
【課題】カメラを用いて簡便な方法で発生した事象を通知可能にする。
【解決手段】ポーズ定義部31には、通知内容に応じた通知ポーズが設定されている。通知判定部24は、カメラ31によって得られた画像データに映った人のポーズが、ポーズ定義部31に設定されたいずれかの通知ポーズに該当するか否かを判定する。内容特定部25は、通知判定部24によって人のポーズが該当すると判定された通知ポーズに対応する通知内容を特定する。
【選択図】図1
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13