(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-17
(45)【発行日】2022-03-28
(54)【発明の名称】情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法
(51)【国際特許分類】
G08B 25/00 20060101AFI20220318BHJP
G06Q 50/10 20120101ALI20220318BHJP
G06F 3/01 20060101ALI20220318BHJP
G08B 21/24 20060101ALI20220318BHJP
G08B 21/00 20060101ALI20220318BHJP
G08B 27/00 20060101ALI20220318BHJP
G06T 7/00 20170101ALI20220318BHJP
G06T 7/70 20170101ALI20220318BHJP
【FI】
G08B25/00 510M
G06Q50/10
G06F3/01 510
G08B21/24
G08B21/00 E
G08B27/00 Z
G06T7/00 660B
G06T7/70 A
(21)【出願番号】P 2019229265
(22)【出願日】2019-12-19
(62)【分割の表示】P 2019551413の分割
【原出願日】2019-09-13
【審査請求日】2019-12-19
(73)【特許権者】
【識別番号】518046794
【氏名又は名称】ニューラルポケット株式会社
(74)【代理人】
【識別番号】100114188
【氏名又は名称】小野 誠
(74)【代理人】
【識別番号】100160255
【氏名又は名称】市川 祐輔
(72)【発明者】
【氏名】周 聞浩
(72)【発明者】
【氏名】岩切 翼
(72)【発明者】
【氏名】山本 正晃
(72)【発明者】
【氏名】小井土 太一
(72)【発明者】
【氏名】周 涵
(72)【発明者】
【氏名】佐々木 雄一
(72)【発明者】
【氏名】重松 路威
【審査官】玉木 宏治
(56)【参考文献】
【文献】特開2000-105835(JP,A)
【文献】特開2015-170141(JP,A)
【文献】中国特許出願公開第104902227(CN,A)
【文献】特開2017-028364(JP,A)
【文献】特開2014-082647(JP,A)
【文献】特開2004-117716(JP,A)
【文献】特許第6525229(JP,B2)
【文献】特開2008-197946(JP,A)
【文献】特開2010-211427(JP,A)
【文献】特開2001-204007(JP,A)
【文献】特許第6534499(JP,B2)
【文献】特許第6562437(JP,B2)
【文献】特開2016-051247(JP,A)
【文献】特開2014-033313(JP,A)
【文献】特開2010-034706(JP,A)
【文献】米国特許出願公開第2012/0121126(US,A1)
【文献】特開2018-106282(JP,A)
【文献】国際公開第2019/163211(WO,A1)
【文献】特開2010-237971(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00 - 7/90
G08B 13/00 -15/02
G08B 19/00 -31/00
H04N 5/222- 5/257
H04N 7/18
G06Q 50/10
G06F 3/01
G06F 3/048-0489
(57)【特許請求の範囲】
【請求項1】
撮像部によって撮像された画像を表示可能な表示部と、
前記表示部内に、領域を設定可能な領域部と、
前記撮像部によって撮像された画像内の人が、前記領域内であるかどうか、及び、前記人が所定のアイテムを着用しているかどうか、のみの判定に係る機械学習済み機能を有し、前記人の一部における2点間の距離である人一部距離を
前記撮像部によって撮像された画像内の人が前記領域内であるかどうかを判定するために用いる判定部と、
を有するシステム。
【請求項2】
前記判定部は、
前記人の足に係る情報を検出できた場合は、前記人一部距離を用いて、前記人の両足の中心としての前記人の位置を計算し、
前記人の足に係る情報を検出できない場合は、前記人一部距離を用いて、前記人の足に係る情報を推定して、前記人の位置を計算し、
前記人の位置に基づいて、前記人が、前記領域内であるか、前記領域外であるかを判定する、
請求項1に記載のシステム。
【請求項3】
前記判定部は、前記人一部距離と所定の定数とを乗じたものを用いて、前記人が前記領域内であるか、前記領域外であるかを判定する、
請求項1又は2に記載のシステム。
【請求項4】
前記判定部は、カメラ・レンズと、画角、歪み及び/又は解像度に係るパラメータと、の関係を示すルールを有し、
前記判定部は、撮像する撮像装置に係るカメラ・レンズの種別に対応した、画角、歪み及び/又は解像度に係るパラメータ、を用いて人の位置又は撮像装置と人の間の距離を測定し、前記人が、前記領域内であるか、前記領域外であるかを判定する、
請求項1乃至3のいずれか1項に記載のシステム。
【請求項5】
前記判定部は、手動によって設定された画角及び解像度を用いて、画像内のピクセルあたりの画角を計算し、人一部距離に対応する角度を計算することで、対応する標準的な人一部距離を用いて、前記人が、前記領域内であるか、前記領域外であるかを判定する、
請求項1乃至4のいずれか1項に記載のシステム。
【請求項6】
前記判定部は、所定の距離よりも短い距離にいる前記人に対して、前記人が所定のアイテムを着用しているかどうか、を判定する、
請求項1乃至5のいずれか1項に記載のシステム。
【請求項7】
前記判定部は、所定の速度よりも小さい相対的移動速度を有する前記人に対して、前記人が所定のアイテムを着用しているかどうか、を判定する、
請求項1乃至5のいずれか1項に記載のシステム。
【請求項8】
前記撮像部は、デジタルサイネージと一体化されたものである、
請求項1乃至7のいずれか1項に記載のシステム。
【請求項9】
前記撮像部は、地面に対して、所定の角度以下の俯角で設置される、
請求項1乃至7のいずれか1項に記載のシステム。
【請求項10】
前記所定のアイテムは、墜落制止用器具、ヘルメット、安全ゴーグル、手袋、安全ブーツ、スマートフォン、刀剣類、及び/又は、暴行用途アイテムを含む、
請求項1乃至9のいずれか1項に記載のシステム。
【請求項11】
メモリを備える、
請求項1乃至10のいずれか1項に記載のシステム。
【請求項12】
演算装置を備える、
請求項1乃至11のいずれか1項に記載のシステム。
【請求項13】
コンピュータを、
撮像手段によって撮像された画像を表示可能な表示手段、
前記表示手段内に、領域を設定可能な領域設定手段、
前記撮像手段によって撮像された画像内の人が、前記領域内であるかどうか、及び、前記人が所定のアイテムを着用しているかどうか、のみの判定に係る機械学習済み機能を有し、前記人の一部における2点間の距離である人一部距離を
前記撮像手段によって撮像された画像内の人が前記領域内であるかどうかを判定するために用いる判定手段、
として機能させるためのプログラム。
【請求項14】
前記コンピュータがメモリを備える、
請求項13に記載のプログラム。
【請求項15】
前記コンピュータが演算装置を備える、
請求項13又は14に記載のプログラム。
【請求項16】
コンピュータが、
撮像手段によって撮像された画像を表示手段によって表示するステップ、
前記表示手段内に、領域を設定するステップ、
前記撮像手段によって撮像された画像内の人が、前記領域内であるかどうか、及び、前記人が所定のアイテムを着用しているかどうか、のみの判定に係る機械学習済み機能を有し、前記人の一部における2点間の距離である人一部距離を
前記撮像手段によって撮像された画像内の人が前記領域内であるかどうかを判定するために用いる判定ステップ、
を実行する方法。
【請求項17】
前記コンピュータがメモリを備える、
請求項16に記載の方法。
【請求項18】
前記コンピュータが演算装置を備える、
請求項16又は17のいずれか1項に記載の方法。
【請求項19】
コンピュータを、請求項1乃至12のいずれか1項に記載のシステムとして機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願において開示された技術は、情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法に関する。
【背景技術】
【0002】
撮像装置によって撮像された画像は、客観的な情報を提供できる。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2012-203677号公報
【文献】特開2003-105807号公報
【文献】特開2019-101516号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に係る発明は、画像内を変移する重機や作業員に基づいて、ターゲットエリアが設定されているにとどまる。また、特許文献2に係る発明は、進入禁止領域が、作業車両の位置及び向きに応じて、決定されているにとどまる。また、特許文献3に係る発明は、作業者のステータスを取得するにとどまる。そのため、いずれも、撮像された画像内の情報を適切に利用できていない。そこで、本発明の様々な実施形態は、上記の課題を解決するために、情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法を提供する。
【課題を解決するための手段】
【0005】
本願に係るシステムの第1実施例は、
撮像部と、
前記撮像部によって撮像された画像を表示可能な表示部と、
前記表示部内に、領域を設定可能な領域部と、
前記撮像部によって撮像された画像内の人が、前記領域内であるか、前記領域外であるか、を判定可能な判定部と、
を備えるシステム。
本願に係るシステムの第2実施例は、
前記領域部によって設定された領域は、前記表示部内の位置と関係付けられている、
第1実施例のシステム。
本願に係るシステムの第3実施例は、
前記領域部によって設定された領域は、前記撮像部によって撮像された画像内の対象と関係付けられていない、
第1又は2実施例のシステム。
本願に係るシステムの第4実施例は、
前記判定部は、前記人が前記領域内であると判定した場合において、前記人が所定のアイテムを着用しているか着用していないか、を判定する、
第1乃至3実施例のいずれかのシステム。
本願に係るシステムの第5実施例は、
前記所定のアイテムは、墜落制止用器具、又はヘルメット、安全ゴーグル、手袋、安全ブーツ、スマートフォン、刀剣類、及び/又は、暴行用途アイテムを含む、
第4実施例のシステム。
本願に係るシステムの第6実施例は、
前記領域部は、第1領域と第2領域とを設定可能であり、
前記領域部は、
前記撮像部によって撮像された画像内の人が、前記第1領域内である、
又は、
前記撮像部によって撮像された画像内の人が、前記第2領域内であり、かつ、前記人が所定のアイテムを着用していない、
と前記判定部が判定した場合、通知するよう設定可能である
第1乃至5実施例のいずれかのシステム。
本願に係るシステムの第7実施例は、
前記撮像部と、前記表示部と、を一体化して有する携帯可能な情報処理装置である、
第1乃至6実施例のいずれかのシステム。
本願に係るシステムの第8実施例は、
前記撮像部と、前記表示部と、を一体化して有する携帯可能な情報処理装置を含む、
第1乃至7実施例のいずれかのシステム。
本願に係るシステムの第9実施例は、
前記判定部は、人が前記領域内であるかどうか、及び、人が前記所定のアイテムの着用の有無、のみを判定する機械学習済み機能を有する、
第1乃至8実施例のいずれかのシステム。
本願に係るシステムの第10実施例は、
前記判定部は、人が前記領域内であるかどうか、及び、人が前記所定のアイテムの着用の有無、を判定する機械学習済み機能によって判定され、通知状況であるかどうかの情報を取得する、
第1乃至9実施例のいずれかのシステム。
本願に係るシステムの第11実施例は、
表示画面内に、領域が設定可能であり、
前記領域内に人がいると判定した場合に、他の情報処理装置に通知する、
携帯可能な情報処理装置であって、
前記情報処理装置は、撮像部と表示部とを一体化した備える情報処理装置であり、
前記領域は、前記情報処理装置の使用が予定される位置において、設定される、
情報処理装置。
本願に係る情報処理装置の第12実施例は、
表示画面内に、領域が設定可能であり、
前記領域内に人がいると判定した場合に、音、光、又は振動を生じさせる、
携帯可能な情報処理装置であって、
前記情報処理装置は、撮像部と表示部とを一体化した備える情報処理装置であり、
前記領域は、前記情報処理装置の使用が予定される位置において、設定される、
情報処理装置。
本願に係るプログラムの第13実施例は、
コンピュータを、
撮像手段によって撮像された画像を表示する表示手段、
前記表示内に、領域を設定する手段、
撮像手段によって撮像された画像内の人が、前記領域内であるか、前記領域外であるか、を判定する判定手段、
として機能させるためのプログラム。
本願に係る方法の第14実施例は、
コンピュータが、
撮像手段によって撮像された画像を表示するステップ、
前記表示内に、領域を設定するステップ、
撮像手段によって撮像された画像内の人が、前記領域内であるか、前記領域外であるか、を判定するステップ、
を実行する方法。
本願に係るプログラムの第15実施例は、
コンピュータを、第1乃至10実施例のいずれかのシステム又は第11若しくは12実施例の情報処理装置として機能させるためのプログラム。
【発明の効果】
【0006】
本発明の一実施形態により、より適切に画像を活用できる。
【図面の簡単な説明】
【0007】
【
図1】
図1は、一実施形態に係るシステムの機能を示すブロック図である。
【
図2】
図2は、一実施例に係るシステムが有するデータ構造の一例である。
【
図3】
図3は、一実施例に係るシステムの表示例を示す図である。
【
図4】
図4は、一実施例に係るシステムのフローの一例を示すものである。
【
図5】
図5は、一実施例に係るシステムのフローの一例を示すものである。
【
図6】
図6は、一実施例に係るシステムのフローの一例を示すものである。
【
図7】
図7は、一実施例に係るシステムが撮像している状況を示す一例である。
【
図8】
図8は、一実施例に係るシステムが撮像している状況を示す他の例である。
【
図9】
図9は、一実施例に係るシステムが撮像している状況を示す他の例である。
【
図10】
図10は、一実施例に係るシステムの表示例を示す図である。
【
図11】
図11は、一実施例に係るシステムの表示例を示す図である。
【
図12】
図12は、一実施例に係るシステムが有するデータ構造の一例である。
【
図13】
図13は、一実施例に係るシステムが撮像している状況を示す他の例である。
【
図14】
図14は、一実施例に係るシステムの利用態様を示す一例である。
【
図15】
図15は、一実施例に係るシステムが有するデータ構造の一例である。
【
図16】
図16は、一実施例に係るシステムの表示例を示す図である。
【
図17】
図17は、一実施例に係るシステムの表示例を示す図である。
【
図18】
図18は、一実施例に係るシステムの表示例を示す図である。
【
図19】
図19は、一実施例に係るシステムが有するデータ構造の一例である。
【
図20】
図20は、一実施例に係るシステムの表示例を示す図である。
【
図21】
図21は、一実施例に係るシステムの利用態様を示す一例である。
【
図22】
図22は、一実施例に係るシステムの利用態様を示す一例である。
【
図23】
図23は、一実施例に係るシステムの利用態様を示す一例である。
【
図24】
図24は、一実施例に係る情報処理装置の構成を示すブロック図である。
【0008】
1.本願発明に係るシステムの機能
本願発明に係るシステムにおける機能の一例について、
図1を参照して説明する。
図1は、本例のシステムに係る機能の具体例を示すブロック図である。なお、本願発明に係るシステムは、以下で説明する全ての機能を備えてもよいし、単独又は組み合わせで所定の技術的意義を有する以下の機能の一部の機能のみを有してもよい。
【0009】
1.1.取得部
取得部は、情報を取得する機能を有する。取得部は、画像を取得してよい。取得部は、動画を取得してもよいし、静止画を取得してもよい。なお、画像は、本願書類において、動画像と静止画像の上位概念として扱う。
【0010】
また、取得部は、画像に係る情報を取得してよい。画像に係る情報は、画像を撮像した撮像装置に係る情報、画像が撮像された位置に係る情報、画像が撮像された時間に係る情報、を含んでよい。
【0011】
撮像装置に係る情報は、撮像装置のID、撮像装置の所属情報、撮像装置の名称など、撮像装置を特定する情報であってよいし、撮像装置の種類を示す情報、撮像装置の機能を示す情報、などであってよい。
【0012】
画像が撮像された位置に係る情報は、画像が撮像された地理的な位置、画像が撮像された方向、などであってよい。地理的な位置は、GPSで測定された情報、基地局に基づく情報、などであってよい。画像が撮像された方向は、ジャイロスコープによって測定された情報、などであってよい。
【0013】
画像が撮像された時間に係る情報は、画像が撮像された時刻に係る情報、画像が撮像された継続時間、であってよい。画像が撮像された時刻に係る情報は、撮像が開始された時刻、撮像が終了した時刻、通知状況と判定された時刻、などであってよい。
【0014】
取得部は、画像と、前記画像に係る情報を、関連付けて記憶してよい。例えば、取得部は、画像と、前記画像を撮像した撮像装置に係る情報、前記画像が撮像された位置に係る情報、前記画像が撮像された時間に係る情報、とを関連付けて記憶してよい。
図2は、取得部が取得した、画像と前記画像に係る情報と、を関連付けて記憶した一例である。
【0015】
取得部は、画像を取得するための撮像部を備えてよい。撮像部によって撮像された対象は、記録部に記録されてよい。記録部は、リングバッファを備え、撮像された画像を、リングバッファに記録してよい。リングバッファに記憶することにより、記録部を有する情報処理装置の記録量を一定の範囲で抑えられる利点がある。
【0016】
リングバッファの記憶量は、所定の量に設定できてよい。所定の量の設定は、マニュアルで設定されてもよいし、予め設定されてもよい。また、リングバッファの記憶量は、撮像される動画の時間、及び/又は、撮像される画像の品質に係る情報、に基づいて、算出されることで、設定されてよい。
【0017】
撮像される動画の時間としては、例えば、3分の動画を撮影できる設定、5分の動画を設定できる設定、10分の動画を撮影できる設定、などのように設定される動画の所定の時間に応じて、リングバッファの記憶量が設定されてよい。
【0018】
撮像される画像の品質に係る情報は、例えば、画像の解像度、フレームレート、及び/又は、ビットレート、などであってよく、これらの情報に基づいて、リングバッファの記憶量が設定されてよい。
【0019】
撮像される動画の時間、及び/又は、撮像される画像の品質に係る情報、は情報処理装置によって入力され、設定されてよい。例えば、
図3は、タッチパネル形式で入力可能な表示画面の一例である。本図においては、録画時間301、画像解像度302、フレームレート303、ビットレート304、を各々入力可能な例を示している。これらは、複数の候補を示すリストから、選択されたものが設定できるようされてもよい。
【0020】
なお、録画に関する設定画面において、後述する通知状況に至るまでの状況を録画する観点で、通知状況時点より前の動画を録画する場合における録画期間(以下、「通知状況事前録画期間」ということもある)、が入力され、設定され、記憶してよい。取得部は、かかる通知状況事前録画期間を取得した場合、記憶してよい。
【0021】
なお、撮像部によって撮像される画像を記憶する記憶機能としては、上述のリングバッファが利用されてよいが、通知状況であると判定され、通知情報が生成された場合において、撮像情報処理装置は、通知情報の一部又は全部について、リングバッファに記憶されてもよいし、リングバッファとは異なる記憶形式で記憶されてもよい。ここで、撮像情報処理装置は、通知情報を通知した後に、通知情報の一部又は全部について、リングバッファに記憶されてもよいし、リングバッファとは異なる記憶形式で記憶してよい。通知情報を通知した後であっても記憶することにより、後から通知状況を理解できる利点がある。
【0022】
前者においては、一実施形態に係るシステムは、撮像部によって撮像された画像を記憶する第1の記憶部と、通知状況と判定され通知情報の一部又は全部を記憶する第2の記憶部を備えてよい。第1の記憶部と第2の記憶部は、同一の記憶形式であってもよいし、異なる記憶形式であってもよい。第2の記憶部は、第1の記憶部よりも、記憶容量が多く設定されてよい。この場合、複数の通知状況に関する通知情報を記憶することが可能となり、過去の通知状況を保存できる利点がある。また、第1の記憶部が、第1リングバッファであり、第2の記憶部が第2リングバッファであってよい。第2の記憶部がリングバッファであることにより、過去の古い記憶を自動的に削除可能とし、第2の記憶部の記憶量が減った場合においても、最新の通知情報を記憶できる利点がある。また、この場合、第1リングバッファと第2リングバッファの記憶容量は異なってよい。また、第2リングバッファの記憶容量は、第1リングバッファの記憶量より多くてよい。この場合、通知状況と判定された情報を、複数記憶できる利点がある。
【0023】
また、通知情報は、通知先情報処理装置、管理情報処理装置に通知されることから、通知先情報処理装置、及び/又は、管理情報処理装置においても、上述と同様の記憶機能を有してよい。
【0024】
但し、記憶容量が一定以上の大きさである場合など、撮像情報処理装置、通知先情報処理装置、管理情報処理装置において記憶される情報の記憶形式は、リングバッファに限られず、他の記憶形式であってもよい。
【0025】
3.2.判定部
判定部は、取得部が取得した画像を判定する機能を有し、判定結果を生成する機能を有する。画像は、動画であっても、静止画であってもよい。
【0026】
判定部は、一又は複数の対象と、所定の領域と、の関係(本願書類において、「対象領域関係」ということがある)を判定する機能を有してよい。判定部は、一又は複数の対象が、所定の領域の範囲内であるか、所定の領域の範囲外であるか、を判定してよい。
【0027】
対象は、人、ペット、家畜、等の生物であってよいし、二輪車、四輪車などの車両、であってよい。また、対象は、人、ペット、家畜、等の生物の一部対象であってもよいし、所定のアイテムであってもよい。所定のアイテムの例としては、ヘルメット、墜落制止用器具(本願書類において、いわゆる、安全帯、命綱付きベルト、ハーネスなどをまとめて、「墜落制止用器具」と称することがある。)、銃砲刀剣類所持等取締法で規定する刀剣類、スマートフォン、安全ゴーグル、手袋、及び/又は、安全ブーツなどが挙げられるが、これらに限られない。また、安全ゴーグルは、防塵用、溶接用時の目の保護用であってよい。
【0028】
対象が人である場合において、判定部は、撮像された画像内において推定される人の位置を特定し、前記人の位置が、前記撮像された画像内における所定の領域内であるか、所定の領域外であるか、を判定部が判定してもよい。人の位置は、人がいる場所を特定できる情報であればよい。人の位置は、例えば、足首を含む、人の両足の中心であってよい。また、人の位置は、人の腰の中心、人の両肩の中心、人の鼻の位置、人ののどの位置、人の首の位置、が用いられて推定されてもよい。推定は例えば、平均的な人における人の腰の中心から人の両足の中心までの距離、平均的な人における人の両肩の中心から人の両足の中心までの距離、平均的な人における人の鼻の位置から人の両足の中心までの距離、平均的な人における人ののどの位置から人の両足の中心までの距離、平均的な人における人の首の位置から人の両足の中心までの距離、を各々用いて対象となる人の両足の中心の位置を特定してよい。これは、撮像装置の位置や方向により、必ずしも、対象となる人の足が撮像された画像内に入っていない場合であっても、人の足以外の、腰、肩、首、のど、鼻、などが撮像された画像内に入っている場合には、これらを用いて、人の両足の中心を推定できる利点がある。
【0029】
また、判定部は、撮像された画像内の人の位置について、人の腰の中心、人の両肩の中心、人の鼻の位置、人ののどの位置、人の首の位置、のうちの2点の距離を用いて、推定してもよい。例えば、人ののどの位置と人の鼻の位置との距離、を用いて、かかる距離の定数倍の位置として、撮像された画像内の人の位置を推定してもよい。定数倍は、人の平均的な距離を用いて、決定されてよい。
【0030】
所定の領域は、撮像された画像内において、少なくともその領域の一部について、座標又は関数などで指定されることによって、指定されてもよい。例えば、所定の領域は、撮像された画像内において、少なくともその一部が複数のデカルト座標の各点を頂点で結ぶことで境界が特定されるものであってもよいし、一又は複数の関数で指定される直線又は曲線で境界が特定されるものであってもよいし、撮像された画像の縁によって境界が特定されるものであってもよいし、又は、これらの組み合わせによって境界が特定されるものであってもよい。
【0031】
判定部は、画像が動画である場合において、動画を構成する特定の一又は複数の静止画を決定し、かかる特定の一又は複数の静止画を用いて、対象領域関係を判定してよい。また、判定部は、特定の一又は複数の静止画を決定した後に、対象領域関係を判定してよい。
【0032】
判定部は、動画に係る全ての静止画について、対象領域関係を判定してよい。この場合、動画を構成する静止画において、対象が、所定の領域と、最初に、関係を有した段階において、かかる関係を判定できる利点がある。なお、全ての静止画に関する判定処理の負担がある。
【0033】
また、判定部は、動画に係る静止画のうち、所定のインターバル毎の静止画について、対象領域関係を判定してよい。この場合、動画に係る全ての静止画について判定処理を行う必要がないため、処理負担が減少する利点がある。
【0034】
この場合の判定部の処理の流れの一例は、
図4のように、まず、動画を構成する複数の静止画のうち、動画の時系列に沿って所定のインターバル毎に、静止画を決定する(ステップ1)。次に、静止画について、対象領域関係を判定する(ステップ2)。対象領域関係を判定して、人が領域内にいると判定した場合、通知状況であるとして、通知を行う(ステップ3A)。対象領域関係を判定して人が領域内にいないと判定した場合、通知を行わずに、ステップ1に戻る(ステップ3B)。
【0035】
また、判定部は、複数の対象についての、所定の関係(本願書類において、「複数対象関係」ということがある)を判定する機能を有してよい。
【0036】
例えば、第1対象である人の頭部に、第2対象であり所定のアイテムであるヘルメットが、着用されているか、又は、着用されていないか、という関係を判定する機能を有してよい。
【0037】
また、第1対象である人の胸部に、第2対象であり所定のアイテムである墜落制止用器具が、着用されているか、又は、着用されていないか、という関係を判定する機能を有してよい。
【0038】
また、第1対象である人の頭部に、第2対象であり所定のアイテムである安全ゴーグルが、着用されているか、又は、着用されていないか、という関係を判定する機能を有してよい。
【0039】
また、第1対象である人の上肢又は手に、第2対象であり所定のアイテムである手袋が、着用されているか、又は、着用されていないか、という関係を判定する機能を有してよい。
【0040】
また、第1対象である人の脚部に、第2対象であり所定のアイテムである安全ブーツが、着用されているか、又は、着用されていないか、という関係を判定する機能を有してよい。
【0041】
また、第1対象である人の手が、第2対象であり所定のアイテムである銃砲刀剣類所持等取締法で規定する刀剣類、野球バット、所定の長さ以上の棒、などの暴行用途アイテムを、保持しているか、又は、保持していないか、という関係を判定する機能を有してよい。ここで、暴行用途アイテムは、撮像装置が撮像される場所において、通常使用される物ではなく、暴力行為に使用されたときに、かかる撮像される場にいる人が危険を感じるアイテムを指す。なお、銃砲刀剣類所持等取締法で規定する刀剣類、野球バット、所定の長さ以上の棒、は暴行用途アイテムの例である。
【0042】
また、第1対象である人の腰部に、第2対象であり所定のアイテムである拳銃を、着装しているか、又は、着装していないか、という関係を判定する機能を有してよい。前記腰部は、人の右腰であってよい。
【0043】
また、第1対象である人の腰部に、第2対象であり所定のアイテムである警棒を、着装しているか、又は、着装していないか、という関係を判定する機能を有してよい。
【0044】
また、第1対象である人の手が、第2対象であり所定のアイテムであるスマートフォンを、保持しているか、又は、保持していないか、という関係を判定する機能を有してよい。
【0045】
判定部は、画像が動画である場合において、動画を構成する特定の一又は複数の静止画を決定し、かかる特定の一又は複数の静止画を用いて、複数対象関係を判定してよい。判定部は、特定の一又は複数の静止画を決定した後に、複数対象関係を判定してよい。
【0046】
判定部は、動画に係る全ての静止画について、複数対象関係を判定してよい。この場合、動画を構成する静止画において、複数の対象が所定の関係を最初に有した段階において、かかる関係を判定できる利点がある。但し、全ての静止画について、判定処理を行う必要があるため、処理負担が増加する。
【0047】
また、判定部は、動画に係る静止画のうち、所定のインターバル毎の静止画について、複数対象関係を判定してよい。この場合、動画に係る全ての静止画について判定処理を行う必要がないため、処理負担が減少する利点がある。
【0048】
この場合の判定部の処理の流れの一例は、
図5のように、まず、動画を構成する複数の静止画の中で、動画の時系列に沿って所定のインターバル毎に、静止画を決定する(ステップ1)。次に、静止画について、複数対象関係の判定を行う(ステップ2)。複数対象関係の判定で、複数の対象に所定の関係があると判定した場合、通知状況であるとして、通知を行う(ステップ3A)。複数対象関係の判定で、複数の対象に所定の関係がないと判定した場合、通知を行わずに、ステップ1に戻る(ステップ3B)。なお、複数の対象に対する所定の関係が、複数必要であるような場合(例えば、ヘルメットの着用と、墜落制止用器具の着用など)、ステップ3Aにおいて、それらの必要な複数の所定の関係について、複数対象関係の判定を行ってよい。
【0049】
また、判定部は、対象領域関係を判定した後に、複数対象関係を判定してよい。例えば、判定部は、対象領域関係を判定し、対象領域関係があると判定された静止画について、複数対象関係を判定してよい。例えば、人が所定の領域にいることを前提としたうえで、人が所定のアイテムを着用するかどうかを判定してよい。この場合、複数対象関係を判定する対象となる静止画は、対象領域関係があると判定された静止画であるため、通知状況が、対象が所定の領域にいること、かつ、複数の対象が所定の関係を有すること、である場合には、効率的に処理ができる利点がある。また、判定部は、対象領域関係を判定した後、自動的に、複数対象関係を判定してよい。
【0050】
判定部は、動画に係る動画に係る全ての静止画について、対象領域関係を判定し、所定の関係を有する静止画について、複数対象関係を判定してよい。この場合、対象領域関係がある静止画について、早期に複数対象関係を判定できる利点がある。
【0051】
また、判定部は、動画に係る静止画のうち、所定のインターバル毎の静止画について、対象領域関係を判定し、所定の関係を有する静止画について、複数対象関係を判定してよい。この場合、動画に係る全ての静止画について判定処理を行う必要がないため、処理負担が減少する利点がある。
【0052】
この場合の判定部の処理の流れの一例は、
図6のように、まず、動画を構成する複数の静止画の中で、動画の時系列に沿って所定のインターバル毎に、静止画を決定する(ステップ1)。次に、静止画について、対象領域関係を判定する(ステップ2)。対象領域関係を判定して、対象が所定の領域にいると判定した場合、複数対象関係を判定する(ステップ3A)。対象領域関係を判定して、対象が所定の領域にいないと判定した場合、通知を行わずに、ステップ1に戻る(ステップ3B)。複数対象関係を判定して、複数の対象が所定の関係にあると判定した場合、通知状況として、通知を行う(ステップ4A)。複数対象関係を判定して、複数の対象が所定の関係にないと判定した場合、通知を行わずに、ステップ1に戻る(ステップ4B)。
【0053】
なお、上述のとおり、複数の対象に対する所定の関係が、複数設定されているような場合(例えば、ヘルメットの着用と、墜落制止用器具の着用など)、ステップ4Aにおいて、それらの複数の所定の関係の、各々について、複数対象関係の判定を行ってよい。
【0054】
なお、上述の複数対象領域の判定においては、複数の対象の関係の成否を判定するのに適した画像がありうる。例えば、現実には人がヘルメットを着用しているにもかかわらず、画像の角度や位置によってヘルメットの着用の可否を判定できない場合がある。このような場合において、通知状況として、人がヘルメットを着用しているかいないこと、が設定されている場合、本来は現実に人がヘルメットを着用しているため通知すべきではないが、システム的には人がヘルメットを着用していると判定できないため、通知しうる状況となる。
【0055】
そこで、このようなケースを想定して、判定部は、通知状況であると判定するための前提としての複数対象関係の判定について、複数対象関係を判定するための前提として、後述の追加的条件について判定した上で複数対象関係を判定してもよいし、又は、判定部は、所定の時間又は所定の静止画枚数について、複数回、複数対象関係を判定して、一度でも通知状況でないとする複数対象関係の判定結果が出るかどうか、を判定してもよい。
【0056】
前者における追加的条件は、この場合、より適切な画像に基づいて、複数対象関係を判定し、複数対象関係の判定の精度を向上できる利点がある。
【0057】
後者については、例えば、上述のとおり、人領域関係を設定することにより、人が領域内にいると判定された時点から、所定の時間以内に、複数対象領域の判定において通知状況でないと判定できない場合に、通知してよい。また、人が領域内にいると判定された時点から、所定の静止画枚数内に、複数対象領域の判定において通知状況でないと判定できない場合に、通知してよい。
【0058】
なお、このような、追加的条件、所定の時間、所定の静止画枚数、などは、判定条件をどの程度厳しくするのかという程度に係るものであり、危険予測を重視するのであれば、通知条件を厳しくして、少しでも条件が満たされない場合には通知状況としてもよいし、頻繁に通知される状況が煩わしいのであれば条件を緩和して、所定の時間や所定の静止画枚数など、一定程度の猶予を経た上で、通知状況ではないと判定できない場合に、通知するというように設定されてもよい。このような観点で、上述の所定の時間、所定の静止画枚数、追加的条件などは、システムの利用者によって入力され、設定されてよいし、又は、システムの管理者によって内部情報として設定されてもよい。
【0059】
また、上述のとおり、判定部は、一又は複数の人と、所定の領域と、の関係(本願書類において、「人領域関係」ということがある)を判定してよい。そして、画像が動画であり、通知状況が複数対象関係のみに関わり、通知状況が人領域関係に関わらない場合においても、判定部は、人領域関係があると判定した静止画について、複数対象関係を判定するよう構成されてよい。判定部が人領域関係を判定することにより、複数対象関係を判定する対象となる静止画を少なくすることができ、処理量を減少できる利点がある。以下、この点を詳述する。この場合のために、一実施形態のシステムは、通知状況の条件ではない領域を設定可能であってよい。
【0060】
例えば、撮像カメラの設定される位置や方向によっては、多数の人を撮像範囲に収める場合がある。例えば、
図7は、施設入口の内側に備えられた撮像装置によって、どのような人が撮像視野範囲に含まれるかを示した一例である。施設001の入口004に撮像範囲を向けて、施設001内に備えられた情報処理装置002は、撮像範囲003によって、種々の人005乃至010が撮像範囲に入る可能性がある。人005及び006は、施設001内の人として撮像範囲003に含まれている。他方、人007乃至009は、撮像範囲003には含まれているものの、施設001内ではない。人010は、撮像範囲003の範囲外となっている。これは、撮像装置002が、地面と平行の角度で備えられておらず、所定の俯角で設置されていることから、人010が撮像範囲外となっている例である。距離011は、撮像装置002から入口004までの撮像方向と平行な方向の距離を示している。また、撮像装置で撮像された画像における所定の領域に対応する現実の領域(本願書類において、撮像装置で撮像された画像内の所定の領域に対応する現実の領域を、「現実領域」ということがある)は、斜線部分013によって、その範囲を図示している。ここで、距離011は、撮像方向に沿った方向において、撮像装置002から施設001内の距離として設定されているが、他の例としては、距離011は、撮像装置002から施設001の入口004の入口の両端の一方までの距離であってもよい。
【0061】
判定部は、人領域関係として、一又は複数の人が、所定の領域内であるか、所定の領域外であるかを、判定してよい。また、判定部は、一又は複数の人が、所定の範囲内であるか、所定の範囲外であるか、を前記一又は複数の人の、人の位置を用いて、判定してよい。
【0062】
このように、所定の領域と、施設内外の境界と、が所定の関係を有するよう設定される場合、施設外の情報を遮断できる利点がある。すなわち、施設内の情報を収集することを主目的に備えられた撮像装置であっても、施設の内部から外部方向に設置された場合、施設の外部の情報はむやみに収集しないことが好ましいところ、画像の撮像範囲内に領域を設定し、施設の外に対応する部分の情報を取得しないよう構成することで、プライバシーをむやみに収集しないよう構成できる利点がある。所定の領域は、例えば、前記所定の領域の境界の少なくとも一部と、施設内外の境界の一部と、が一定の距離を有するよう設定されたり、前記所定の領域の境界の少なくとも一部とが、施設内外の境界の一部と、が接するよう設定されてよい。
【0063】
図8は、撮像装置が、所定の俯角で設置されている例である。なお、俯角は、撮像装置の撮像方向と、地面の水平方向と、の角度であってよい。撮像方向は、画角の中心の方向であってよい。
【0064】
本図において、撮像装置001は、所定の俯角で、天井002に備えられ、天井002と地面003の間の一部について、撮像範囲004としている。判定部は、人005乃至008のうち、人006が所定の領域009内であると判定し、人005、007、008を所定の領域009外であると判定してよい。なお、人005は、顔部分は撮像範囲であるが、人005の位置は、第1所定の領域に対応する現実領域009外であることから、第1所定の領域外と判定してよい。なお、第2所定の領域に対応する現実領域が010と設定されている場合は、人005も含めて、第2所定の領域内と判定してよい。なお、本図において、撮像装置001の画角は狭いものであるが、これは一例であり、いわゆるスマートフォンのように画角が広いものであっても、このように天井に所定の俯角で撮像可能に設置されてもよい。
【0065】
また、
図9は、撮像装置001が、器具009に備えられている例である。また、本図は、撮像装置001の撮像方向が、地面に対して、略平行に設置されている例である。この場合、撮像装置001は、その撮像方向において、壁や柱などの障害物に到達するまで、天井003と地面004の間にいる人を撮像することになり、人々の重なりによって撮像装置から見て奥側の人は撮像されないものの、多数の人を撮像する可能性がある。そのような場合において、上述のようなプライバシーの問題がない場合においても、撮像範囲に入った人々を全て処理する場合、処理量が増大しうる。そこで、撮像された画像内の人のうち、処理対象となる人を限定する目的で、判定部は、撮像された画像内の人が、所定の領域内であるか、所定の領域外であるか、を判定してよい。
【0066】
また、判定部は、一又は複数の人が、所定の領域であるかどうかを、画像内の人の一部の長さを用いて、判定してよい。例えば、判定部は、人の腰内の両太ももの付け根の位置、人の両肩の位置、人の両耳の位置、人の鼻の位置、人ののどの位置、などの人の一部における2点間の距離や3点間の距離(本願書類において、「人一部距離」ということがある)を用いて、所定の領域内であるか、所定の領域外であるか、を判定してよい。例えば、人ののどの位置と人の鼻の位置との距離、を用いて、人が、所定の領域内であるか、所定の領域外であるか、を判定してよい。また、例えば、人一部距離が所定の距離以上の場合、判定部は所定の領域内と判定し、人一部距離が所定の長さ未満の場合、判定部は所定の領域内ではないと判定してよい。
【0067】
例えば、人ののどの位置と人の鼻の位置の距離が、所定の解像度の画像内において、5ピクセル以上10ピクセル未満までの場合は所定の領域内とし、5ピクセル未満や10ピクセル以上の場合は所定の領域内ではないとしている場合において、得られた画像内の人ののどの位置と人の鼻の位置の距離を用いて、判定部は、所定の領域内であるか、所定の領域内ではないか、を判定してよい。
【0068】
この場合、画角や歪みによって多少の誤差はあり得るが、判定部は、予め定められたパラメータを用いて、人の位置又は撮像装置と人の間の距離を設定してもよい。例えば、判定部は、画角、歪み及び/又は解像度に係るパラメータを予め有してよく、かかるパラメータとカメラ・レンズの種別との関係を用いて、設定されるよう構成されてもよい。すなわち、一例のシステムに係る判定部は、カメラ・レンズと、画角、歪み及び/又は解像度に係るパラメータと、の関係を示すルールを有し、判定部は、撮像する撮像装置に係るカメラ・レンズの種別に対応した、画角、歪み及び/又は解像度に係るパラメータ、を用いて人の位置又は撮像装置と人の間の距離を測定してよい。
【0069】
また、判定部は、画角及び解像度、を手動によって設定してもよい。この場合、判定部は、設定された画角及び解像度を用いて、画像内のピクセルあたりの画角を計算し、人一部距離に対応する角度を計算することで、対応する標準的な人一部距離を用いて、距離を逆算してよい。画角は、縦○○度、横○○度などでよい。また、この場合の人一部距離は、顔の大きさであってもよいが、他の距離であってもよい。
【0070】
このように、判定部が、画像内の人の位置について、所定の領域内であるか、所定の領域内でないか、を判定した後、所定の領域内と判定した人のみを対象として、その後の処理をすることにより、処理量を減少できる利点がある。特に、撮像装置の俯角が所定の角度以下の場合、撮像装置が地面と平行に撮像可能となり、遮蔽物がない環境においては多数の人が画像内に現れる可能性が高くなり処理量が増加することから、かかる所定の領域内と判定した人のみを対象として処理することで処理量を減少できる利点がある。所定の角度としては、10度、15度、20度、25度、30度などが挙げられるが、これらに限られない。
【0071】
なお、後述する領域の設定において、表示画面内において、領域画面内におけるどのような大きさの人を領域内として判定し、どのような大きさの人を領域外とするか、の参考となるような仮想的な人を、表示部が表示してもよい。これは、地面を撮像しない方向で撮像装置が設定される場合等において、どのような人を領域内と判定させ、どのような人を領域外と判定させるかについて、参考となる情報を提供するものであってよい。この場合、領域を設定する機能は、あってもなくともよい。領域を設定する機能がないとしても、閲覧者は、どのような人が領域内と判定され、どのような人が領域外と判定されるかの参考となる情報を得ることができる。例えば、
図10は、撮像された対象を表示する表示部001において、現実には撮像されていない仮想的な人の顔の大きさ002が表示されている。ここで、顔の大きさ002の表示は、この人の大きさ以上近づくと、人領域関係の判定において、人が領域内であると判定される対象になる、又は、複数対象関係を判定する対象になる、ことを示している。また、本例では、一の人の顔のみを示したが、例えば、複数の人の顔を写し、その複数の人の顔のなかで、どのような大きさの人の顔が、上述の判定の対象になるかを示してもよい。例えば、
図12のように、人の顔の大きさ002乃至005が表示され、この中でどの大きさからが領域の対象となるかを表示してもよい。例えば、人の顔004及び005は、人の顔002及び003と異なる態様で表示されてもよい。なお、これら図においては、人の顔のみを示したが、顔でなく、人の体全体であってもよいし、上半身であってもよい。要するに、人の大きさを人が理解できるようなものであればよい。
【0072】
また、表示部は、かかる仮想的な人を表示させ、領域を設定する補助機能を有してもよい。この場合は、対象となる人の大きさを閲覧者自身が設定できる利点である。例えば、上述の
図11において、人の顔の大きさが変更可能となっており、対象となる人の大きさを設定可能であってよい。また、上述の
図12において、人の顔の大きさが異なるものが、複数、表示されている画面において、対象としたいと考える人の大きさを選択するようなものであってもよい。
【0073】
上述のように、仮想的な人を用いて領域が設定された場合、判定部は、上述の人一部距離と、領域の設定に使用された上述の仮想的な人における対応する人一部距離と、を対比して用いて、撮像された画像内の人が、所定の領域内であるか、所定の領域外であるか、を判定してよい。
【0074】
撮像装置001が備えられる器具009は、種々のものであってよく、例えば、売り場、棚、看板、壁、であってよい。また、撮像装置001は、施設の壁や柱など施設の一部に直接備えられてもよい。また、撮像装置001は、器具009や施設の一部に、着脱可能に設置されてよい。
【0075】
また、撮像装置001は、器具009と一体化されていてもよい。例えば、器具009がデジタルサイネージである場合、デジタルサイネージの一部として撮像装置001が備えられていてよい。デジタルサイネージによって情報物が表示される場合、撮像装置001は、広告を閲覧した人の画像も取得することができてよい。この場合、本実施形態のシステムに係る統計処理部は、画像内の人について、後述する、人が所定のアイテムの有無、及び、画像内の人に係る統計情報、の両方の情報を取得してよい。この場合、画像内の人に係る統計情報は、人の数、人の属性、広告に興味を有した人の数、広告に興味を有した人の数、などであってよい。これらは、所定期間の合計数、平均数、などであってよい。
【0076】
判定部は、人領域関係があると判定した全ての静止画について、複数対象関係を判定してもよいし、人領域関係があると判定した静止画の一部の静止画について、複数対象関係を判定してもよい。前者は、いわば、人領域関係があるという判定が、複数対象関係を判定するための条件となっているものであるが、後者は、人領域関係があるという判定に加えて、更に追加的条件が成立している場合に、複数対象関係を判定するものである。
【0077】
後者における追加的条件としては、例えば、撮像装置と人との関係があってよい。より具体的には、例えば、撮像装置と人との距離、撮像装置と人との方向性、及び/又は、撮像装置と人との相対的移動速度、などが挙げられる。
【0078】
例えば、撮像装置と人との距離を用いて、動画に係る静止画のうち、所定の距離より短い距離に係る静止画や、最も短い距離に係る静止画を用いてよい。この場合、撮像装置と人との距離が短いものは、大きく撮像されるため、より正確に判定できる利点がある。また、撮像装置と人の方向性を用いて、撮像装置と人との距離が同じ静止画であっても、より撮像装置に対して人が正対する静止画の方が、より正確に判定できる利点がある。また、撮像装置と人との相対的移動速度を用いて、所定の速度より小さい相対的移動速度に係る静止画や、最も相対的相対速度が小さいものに係る静止画を用いてよい。この場合、よりブレのない静止画となるため、より正確に判定できる利点がある。
【0079】
撮像装置と人との距離は、撮像装置と人との距離を推定できるものであってもよいし、撮像装置と人との距離を相対的に示すものでもよい。例えば、撮像装置によって撮像された画像内の人に係る大きさは、撮像装置と人との距離を比例的に示すものの一例である。人に係る大きさは、人の身長、人の撮像された面積、人の肩幅の長さ、人の身長、人の顔面の大きさ、人の顔面の面積、人の鼻とのどの距離、人の両耳の距離、などであってよい。また、これらの一又は複数のものを用いてよい。
【0080】
人が上を向いていたり、下を向いている場合においても、両耳の位置は基本的には変更がないため、人の両耳の距離は、人が顔を上下に振っている場合においても、距離を測定できる可能性が高くなる利点がある。
【0081】
また、人の鼻とのどの距離は、人が撮像装置に対し側面に位置する場合のように一方の耳が撮像されていない状況であっても、入口から侵入する者を撮像する位置に設置される撮像装置において、鼻は撮像される可能性が高く、距離を測定できる可能性が高くなる利点がある。
【0082】
撮像装置と人との方向性は、例えば、人の両肩の幅の長さを用いてよい。例えば、動画に係る人の両肩の幅が所定の値よりも長く撮像されている静止画や、動画に係る人の両肩の幅が最も長い静止画を、用いてよい。
【0083】
また、撮像装置と人の相対的移動速度は、例えば、ブレの程度が低い静止画を用いてよい。
【0084】
なお、判定部は、これらの情報を明示的に使用する必要はなく、これらの情報を意図した他の情報を用いてもよい。
【0085】
判定部は、判定結果を生成してよい。判定結果は、一又は複数の対象が、所定の領域内である、又は、所定の領域外である、という情報であってよい。また、判定結果は、一又は複数の対象が所定の関係にある、という情報であってよい。所定の関係は、上述の装着、着装、保持、有する、などの関係であってよい。また、判定結果は、一又は複数の、上述のものであってよい。例えば、人が所定の領域にいること、かつ、人がヘルメットを着用していること、かつ、人が墜落制止用器具を着用していないこと、などであってよい。
【0086】
図12は、判定結果の一例である。本判定結果は、特定の静止画に対し、人1、人2、人3、の各々について結果が表示されている。また、領域は、禁止領域Aと、領域Bとが設定されており、人1と人2は、禁止領域Aにいると判定され、人3は、領域Bにいると判定されている。また、領域Bには、ヘルメットと墜落制止用器具の着用が条件として設定されており、人3は、ヘルメットは着用しているが、墜落制止用器具は着用していない、という結果が出ている。
【0087】
なお、判定部に係る撮像装置は、例えば、
図13のように、天井に設置されているものであってもよい。この場合も、セキュリティカメラなどを利用できる利点があり、一のカメラによって広い部分を対象に判定できる利点がある。
【0088】
また、判定部は、予め通知するよう設定された状況(本願書類においては、「通知状況」ということがある。)であるかどうかを、判定してよい。通知状況は、判定結果が、予め定められたものである場合に、通知するよう設定されているものであってよい。判定部は、通知状況であるかどうかを、後述する通知部に伝達してよい。
【0089】
また、判定部は、リアルタイムに通知状況であるかどうかを判定し、リアルタイムに、通知部に、通知状況であるかどうかを伝達してよい。
【0090】
判定部は、機械学習済みの識別装置を用いて、上述の対象を特定してよい。機械学習は、ニューラルネットワークを用いたものであってよい。また、ニューラルネットワークは、ディープラーニングを用いたものであってよい。
【0091】
機械学習済みの識別機能を有する識別部は、本願発明に係るシステムの一構成要素であってよい。この場合、識別部は撮像部と同一の情報処理装置内で動作してもよいし、識別部は表示部と同一の情報処理装置内で動作してもよいし、識別部は撮像部又は表示部と異なる情報処理装置内で動作してもよい。識別部が撮像部と同一の情報処理装置内で動作する場合、撮像された画像を他の情報処理装置にネットワークを介して伝達する必要がなく、リアルタイムに撮像された画像を識別できる利点がある。また、識別部が表示部と同一の情報処理装置内で動作する場合、識別した画像を他の情報処理装置にネットワークを介して伝達する必要がなく、リアルタイムに識別して表示できる利点がある。また、識別部が撮像部又は表示部と異なる情報処理装置内で動作する場合、ネットワークを介して接続可能なサーバ装置やクラウド等の情報処理装置内に識別部が含まれてよく、撮像された画像がネットワークを介して通信される必要があるものの、サーバ装置やクラウド装置等、撮像部や表示部とは異なる大規模な機械学習済みの識別機能を用いて識別できる利点がある。この場合、撮像された全ての画像を通信するのではなく、所定のインターバルを経た時点の画像の一部を送る場合、通信量を削減できる利点がある。
【0092】
また、識別部は、機械学習済みで識別可能な対象が、予め定められたものに限られてよい。例えば、人、ヘルメット、墜落制止用器具、安全ゴーグル、手袋、安全ブーツ、スマートフォン、刀剣類、及び/又は、暴行用途アイテム、などである。また、対象の識別可能な関係が、予め定められたものに限られていてよい。例えば、人の頭にヘルメットが着用されている関係、人の胸部に墜落制止用器具が着用されている関係、人の頭部に安全ゴーグルが着用されている関係、人の上肢に手袋が着用されている関係、人の脚部に安全ブーツが着用されている関係、人の手にスマートフォン、刀剣類、及び/又は、暴行用途アイテムが保持されている関係、などである。このように、識別可能な対象、又は、識別可能な関係が、予め定められた物に限られている場合、演算機能がGPUなどと比べて低演算機能を有する携帯可能な情報処理装置であっても、計算量の負担を少なくして識別できる利点がある。かかる携帯可能な情報処理装置は、スーパースカラー方式のCPUを有してよい。また、携帯可能な情報処理装置は、ベクトルプロセッサー方式ではないCPUを有してよい。また、携帯可能な情報処理装置は、GPU(Graphic Processor Unit)を有しないものであってよい。
【0093】
なお、識別部は、本願発明に係るシステム外に存在してもよい。この場合、システム内の判定部は、システム外の識別部に対して、ネットワークを介して、画像を伝達し、画像に係る通知状況であるかどうかを問い合わせてよい。システム外の識別部は、取得した画像を用いて、画像について、通知状況であるかどうかを生成し、システム内の判定部に、かかる通知状況であるかどうかを送信してよい。システム内の判定部は、かかるシステム外の識別部から通知状況であるかどうかを取得してよい。この場合、本願発明に係るシステムは、クラウドやサーバなどの第三者が有するシステムにおける、機械学習に基づく識別機能を用いて、画像について、通知状況であるかどうかを得る利点がある。
【0094】
1.3.通知部
通知部は、通知先に係る情報処理装置(本願書類において、「通知先情報処理装置」ということもある)に、通知する機能を有する。
【0095】
通知部は、判定部が生成した判定結果を用いて、通知される情報(本願書類において、「通知情報」ということもある)を生成してよい。
【0096】
通知部は、通知状況である場合に、通知してよい。また、通知部は、通知状況に至った時点で、通知してよい。すなわち、通知部は、判定部から、通知状況に至ったとの情報を取得した後に、通知してよい。
【0097】
1.4.統計処理部
統計処理部は、判定部において判定された情報を用いて、統計処理を行う機能を有する。統計処理部によって得られた情報は、通知先情報処理装置に伝達されてよい。
【0098】
1.5.記憶部
記憶部は、上述の全部または一部の機能に関連するプログラム、及び/又は、対応するデータを記憶する機能を有する。
【0099】
一実施形態のシステムが、上述の各部を用いた流れを説明すると、まず、本実施形態のシステムに係る取得部が、画像を取得し(ステップ1)、本実施形態のシステムに係る判定部が、画像を用いて、判定し、判定結果を生成し(ステップ2)、本実施形態のシステムに係る通知部が、判定結果を用いて通知情報を生成し、通知先に、通知情報を、通知する(ステップ3)、という流れであってよい。
【0100】
2.実施形態
2.1.実施形態1
本願発明の一実施形態に係るシステムを説明する。本実施形態のシステムは、例えば、
図14のようなシステム構成であり、建築現場や土木現場などの工事現場における使用として説明する。
【0101】
まず、工事現場における関係者を説明すると、工事現場には種々の役職の人がいる。例えば、実際の作業を行う作業員、これらの作業員のチームリーダ的存在の職長、職長をまとめる現場監督、安全面の書類などの管理を行う安全衛生責任者、工事現場の全ての責任を負う所長、所長を補佐する監理技術者、など(本願書類において、これらの者を「工事関係者」ということがある)である。
【0102】
本図では、工事現場001において、本実施形態のシステムに係るスマートフォン002が置かれている。スマートフォン002が、工事現場において置かれる場所は、どのような場所でもよい。工事現場においては、種々の資材、建築物、種々の機器、車両などがあるため、例えば、これらに備え付けられたり、着脱可能に固定されたり、置かれたり、立てかけられたり、されてよい。
【0103】
工事現場においては、日々、種々の作業がされるため、後述の危険領域も、一又は複数あり、その場所も、日々変更されうる。例えば、前日に雨である場合には濡れた場所が危険な領域になりうるし、不安定な資材を仮置きする場所の周辺も危険な領域になりうるし、高所作業周辺も危険な領域になりうる。他方、工事現場は、一又は複数の重機が利用されたり、多数の資材が搬入されたり、構造物が築造されていくことから、工事現場のあらゆる箇所を常に死角なく撮像可能な撮像装置が工事現場に設置されていることを期待することは難しいし、設置することも難しいと考えられる。本実施形態のシステムが、携帯可能な情報処理装置内の撮像装置を用いる場合、携帯可能な情報処理装置は軽量かつ小型であることから、日々の危険領域に合わせて、手軽に、携帯可能な情報処理装置を置く場所や方向を変更し、撮像範囲を変更できる利点がある。特に、一の携帯可能な情報処理装置が、撮像部と表示部とを一体化して有する場合、かかる一の携帯可能な情報処理装置によって撮像機能と表示機能を有するため、便利である利点がある。なお、一体化の態様は種々のものであってよく、撮像機能と表示機能とが一の情報処理装置において物理的に接続されていればよい。撮像機能における撮像方向は、表示機能における表示方向と同じ方向であってもよいし、逆方向であってもよい。また、撮像機能は、一の情報処理装置内に2以上の複数あってもよい。
【0104】
また、危険な領域に人が入ることは人命に直接影響するものであるが、労働力不足の社会状況下においては労働力を簡易に動員できるとは限らない。そのため、本実施形態のシステムが、携帯可能な情報処理装置内の撮像装置を用いる場合、既に普及している携帯可能な情報処理装置を用いてダウンロードしインストールして利用できるため、簡易に通知システムを導入できる利点がある。
【0105】
スマートフォン002は、撮像装置を備え、撮像できる範囲003を撮像可能とされている。この撮像可能範囲003において、領域を設定可能であってよい。本図においては、第1領域004aと、第2領域004bと、が設定されている例であるが、一又は複数の領域が設定可能であってよい。領域は、人が入った場合に判定され、後述のように通知されるような場所と対応付けて、設定されてよい。領域が複数設定可能であることにより、一のスマートフォンで撮像可能な範囲に複数領域を設定したい場合においても、複数のスマートフォンを用意する必要なく、一のスマートフォンで対応できる利点がある。また、スマートフォンの設置場所に起因する撮像範囲の限定に留まらずに、通知に必要な範囲の領域の設定を可能に出来る利点がある。
【0106】
領域の例としては、人に危険が生じる場所又は人に危険が生じうる場所(本願書類において、これらをまとめて、「危険領域」ということがある)が挙げられるが、それ以外に、重機を制御する運転台などその場所自体は危険でなくとも危険なものをコントロール可能な場所(本願書類において、「危険制御領域」ということがある)や、所定の人のみアクセスすることが許されるような金銭的価値が管理されている場所(本願書類において、「金銭的価値管理領域」ということがある)や、所定の人のみアクセスすることが許されるような機密情報が管理されている場所(本願書類において、「機密情報管理領域」ということがある)、などであってもよい(本願書類において、危険領域、危険制御領域、金銭的価値管理領域、機密情報管理領域、を含む上位概念として、「禁止領域」ということもある)。
【0107】
また、領域には条件が設定されてもよい。条件が設定されることにより、単に人が領域にいる場合に常に通知されるのではなく、人が領域にいること、及び、所定の条件に応じて通知できるよう構成されるため、無駄な通知を排除して必要十分な場合に通知できる利点がある。特に、危険領域は、全ての人がいることを許されない領域もあれば、所定のアイテムを着用した者であればいることを許される領域もあってよい。より具体的には、例えば、所定のアイテムとして、ヘルメットを着用していれば、侵入してよい、所定のアイテムとしてヘルメット及び墜落制止用器具を着用していれば、侵入してよい、などである。従って、本実施形態のシステムが領域について条件を設定可能な場合、各領域の危険とその領域内に入る人の装備を踏まえて、通知できるよう設定できる利点がある。
【0108】
設定される条件は、条件が満たされる場合に、通知するよう設定されてもよいし、条件が満たされない場合に、通知するよう設定されてもよい。ここでは、第1領域は条件がないものとして、第1領域内に人がいると判定した場合に通知するよう設定され、第2領域は条件があるものとして、第2領域内にヘルメット及び墜落制止用器具を着用していない人がいる場合に通知するよう設定されているものとして説明する。なお、この領域についての詳細は、後述する。
【0109】
本図では、スマートフォン005aを保有する人005が第1領域004a内にいる状態と、スマートフォン006aを保有する人006がヘルメット又は墜落制止用器具を着用していない状態で第2領域にいる状態と、が図示されている。第1領域と第2領域は、撮像可能範囲003内において設定された領域であるため、この場合、スマートフォン002は、人005が第1領域内にいると判定し、ヘルメット又は墜落制止用器具を着用していない人006が第2領域内にいると判定してよい。
【0110】
スマートフォン002は、通知状況と判定した場合、通知情報を、所定の通知先情報処理装置に通知してよい。
【0111】
通知情報は、通知状況と判定された画像を撮像した撮像部を備える情報処理装置(本願書類において、「撮像情報処理装置」ということがある。)に係る情報、通知状況であることを示す情報、及び/又は、通知状況に係る情報、などであってよい。
【0112】
撮像情報処理装置に係る情報は、撮像情報処理装置を特定する情報、撮像情報処理装置が所属するグループを特定する情報、などであってよい。
【0113】
撮像情報処理装置を特定する情報は、撮像情報処理装置の位置、撮像情報処理装置の名称やID、撮像情報処理装置の使用者及び/又は管理者、などであってよい。
【0114】
撮像情報処理装置が所属するグループを特定する情報は、撮像情報処理装置の所属、撮像情報処理装置の使用者及び/又は管理者、撮像情報処理装置が通知状況時に使用された工事現場を特定する情報、などであってよい。
【0115】
工事現場を特定する情報は、工事のプロジェクト名、工事現場の愛称、工事現場の位置、などであってよい。
【0116】
撮像情報処理装置の位置や工事現場の位置は、GPSで特定された位置や、撮像情報処理装置に係る基地局に基づく位置、あるいはこれらから特定される位置、などであってよい。
【0117】
また、使用者及び/又は管理者は、個人であってもよいし、法人であってもよい。
【0118】
なお、通知情報は、予め、以下で説明する管理情報処理装置内に記憶されていてもよく、通知情報としては、撮像情報処理装置を特定する一の情報(例えば、撮像情報処理装置ID、撮像情報処理装置の名称など)を伝達する構成であってもよい。この場合、予め伝達された管理情報処理装置内の通知情報と、撮像情報処理装置を特定する一の情報と、を用いることにより、撮像情報処理装置に係る他の情報を、管理情報処理装置において、使用可能となり、かかる管理情報処理装置にアクセスする他の情報処理装置に対して、かかる通知情報を伝達し、かかる他の情報処理装置においても、かかる通知情報を取得し、表示可能とされてよい。
【0119】
通知状況であることを示す情報は、撮像情報処理装置と通知先情報処理装置との間で、撮像情報処理装置から伝達された場合に、通知先情報処理装置において通知手段を実行するよう、予め定められた情報であってよい。
【0120】
通知状況に係る情報は、通知状況に係る画像、通知状況に係る領域、通知状況に係る条件、通知状況に係る時間、などであってよい。
【0121】
通知状況に係る画像は、通知状況を生じさせた動画や静止画であってよい。また、動画や静止画は、通知状況に至る前所定の時間から、通知状況後の所定の時間までの間の一部又は全部であってよい。通知状況に至る前所定の時間は、通知状況が発生する5秒前、10秒前、15秒前、20秒前、30秒前、1分前、2分前などであってよい。特に、通知状況に至る前所定の時間は、0秒前乃至15秒前、0秒前乃至30秒前、0秒前乃至1分前、0秒前乃至2分前、等で設定されてよい。また、通知状況後の所定の時間は、1分、3分、5分、7分、10分などであってよい。
【0122】
通知状況に係る領域は、通知状況を発生させた一又は複数の領域を特定する情報、などであってよい。
【0123】
通知状況に係る条件は、通知状況を発生させた一又は複数の条件、かかる条件の成立性、などであってよい。
【0124】
通知状況に係る時間は、通知状況が発生した日時、通知状況に係る画像の撮像日時、などであってよい。
【0125】
通知状況に係る画像の撮像日時は、通知状況に係る動画の開始時刻、かかる動画の終了時刻、通知状況に係る静止画の撮像日時、などであってよい。
【0126】
本実施形態のシステムに係る情報処理装置025aが記憶した通知情報の一例として、例えば、
図15のようなテーブルにより、情報を記憶してよい。通知状況の発生の度にIDが付与され、かかるIDと関連付けられて、通知情報が、格納されてよい。また、本図に係るテーブルは、通知状況の発生の度に、リアルタイムに、通知情報が追加されてよい。
【0127】
かかる情報が記録されていることにより、情報処理装置025aにアクセスした情報処理装置は、過去の通知状況と、通知状況に係る情報を取得できる利点がある。すなわち、通知先報処理装置又は他の情報処理装置は、情報処理装置025aにアクセスすることにより、通知情報の一部又は全部を表示可能であってよい。なお、ここで、他の情報処理装置は、通知先情報処理装置に限られず、例えば、IDを有してアクセスが許された利用者によって、WEBなどを介して、他の情報処理装置からアクセス可能であってもよい。
【0128】
撮像情報処理装置が、通知情報を、通知先情報処理装置に伝達する手法は、種々の手法であってよい。例えば、撮像情報処理装置は、通知情報を、通知先情報処理装置(例えば、本図において、スマートフォン006a、スマートフォン007a、スマートフォン008a、スマートフォン009a、情報処理装置011a、スマートフォン021a、情報処理装置023a、情報処理装置025aなど)に直接伝達してよい。この場合、各情報処理装置に直接情報が伝達できる利点がある。
【0129】
また、撮像情報処理装置は、通知情報を、一又は複数の所定の一部の通知先情報処理装置に伝達し、かかる一又は複数の通知先情報処理装置の一部又は全部から、一又は複数の所定の一部以外の通知先情報処理装置に伝達されてもよい。例えば、本図において、スマートフォン002は、通知情報を、情報処理装置025aに伝達し、情報処理装置025aが、スマートフォン006a、スマートフォン007a、スマートフォン008a、スマートフォン009a、情報処理装置011a、スマートフォン021a、情報処理装置023aなどに伝達してよい。通知情報の処理量が多い場合、スマートフォン002による送信処理等の負担を軽減できる利点がある。
【0130】
また、撮像情報処理装置は、一部の通知情報を、第1所定の通知先情報処理装置に伝達し、一部又は全部の通知情報を、第2所定の通知先情報処理装置に伝達してもよい。例えば、本図において、スマートフォン002は、通知状況であることを示す情報を、第1所定の通知先情報処理装置(例えば、本図において、スマートフォン006a、スマートフォン007a、スマートフォン008a、スマートフォン009a、情報処理装置011a、スマートフォン021a、情報処理装置023aなど)に伝達し、通知情報を、第2所定の通知先情報処理装置(例えば、本図において、情報処理装置025a)に伝達してよい。この場合、各工事関係者は、通知状況であることを示す情報を取得し、通知状況であることを理解でき、必要に応じて、かかる工事関係者に係る情報処理装置から、情報処理装置025aにアクセスすることで、具体的な通知情報にアクセスできる利点がある。なお、このように、撮像情報処理装置や各通知先情報処理装置からアクセス可能であって、撮像情報処理装置によって撮像された画像を格納する一又は複数の情報処理装置を、「管理情報処理装置」ということがある(又は、「管理システム」ということがある)。管理情報処理装置は、通知先情報処理装置である場合もあれば、通知先情報処理装置でない場合もある。
【0131】
また、通知情報は、通知先に応じたものであってもよい。例えば現場の職長007や現場監督011は、すぐに設定された領域に移動すれば通知状況の具体的な意義が理解できるため、通知状況であることを示す情報、が通知先に係る情報処理装置に伝達されるのみであってもよい。例えば、職長007や現場監督011に係るスマートフォンは、通知状況であることを示す情報を取得し、通知手段として、音を出す、光を出す、及び/又は、震える、との処理を実行してよい。
【0132】
他方、職長007、現場監督011であっても具体的な情報が知りたい場合もあるし、工事現場以外にいる者021、023は具体的な情報が知りえない可能性があることから、これらの者に係る情報処理装置(スマートフォン007a、情報処理装置011a、スマートフォン021a、情報処理装置023aなど)に、通知情報が通知されてよい。
【0133】
あるいは、工事関係者に係る情報処理装置に、通知状況であることを示す情報のみを伝達し、通知状況であることを認識した工事関係者がより具体的な情報を知りたい場合に、工事関係者に係る情報処理装置から、通知情報が伝達されている別途情報処理装置025aにアクセスすることで、通知情報を取得できるよう構成されてもよい。この場合、必要に応じて、通知情報の具体的な中身にアクセスできる利点がある。
【0134】
また、スマートフォン002は、種々の工事関係者に係る情報処理装置に通知してよい。
【0135】
例えば、スマートフォン002は、作業員006に係るスマートフォン006aに通知してもよい。例えば、気づかずに領域内に入ってしまった人に対して、領域内であることを、気づかせることができる利点がある。
【0136】
また、スマートフォン002は、作業員008に係るスマートフォン008aに通知してもよい。これは、領域内にいる人が、自力で領域から脱することができない状態等においては助けることが可能である利点がある。また、領域が危険制御領域である場合には、かかる制御されうる危険が生じる場所にいる人に対し、危険が生じうることを通知できる利点がある。
【0137】
他方で、スマートフォン002は、工事現場内の全員に対して通知するよう設定されなくてもよい。例えば、作業員009は、撮像範囲003から遠方であり、危険が生じないことが明らかな場合等においては、作業員009に係るスマートフォン009aには通知されなくてもよい。すなわち、本実施形態のシステムにおいて、撮像情報処理装置は、撮像情報処理装置と、通知先情報処理装置と、の距離に応じて、前記通知先情報処理装置に通知するか、通知しないか、を決定してよい。前記距離は、撮像情報処理装置の位置と、前記通知先情報処理装置の位置と、から決定されてよい。また、本実施形態のシステムは、第1の所定の一又は複数の情報処理装置に対して通知できるよう設定し、第2の所定の一又は複数の情報処理装置に対しては通知しないよう設定できてよい。また、通知先情報処理装置は、所定の条件に基づいて、決定されてもよい。また、通知先情報処理装置は、所定の条件に基づいて、動的に決定されてよい。例えば、所定の条件として、通知先情報処理装置に係る位置と、本実施形態のシステムに係るスマートフォン002に係る位置と、が所定の距離以内である場合に、通知するよう設定されてもよい。
【0138】
一実施形態のシステムがかかる構成を備える場合、本実施形態のシステムに係るスマートフォン002から所定の距離内のスマートフォン002に通知され、かかる所定の距離外のスマートフォン002には通知されないため、近辺の作業員には危険が生じる可能性がある又は救助が可能であるとして通知される一方、遠方の作業員には関係が薄いものとして通知されないという運用を可能にする利点がある。
【0139】
また、スマートフォン002は、情報処理装置012に通知してもよい。情報処理装置012は、音を発生する音発生装置、及び/又は、光を発生する光発生装置、を備え、通知内容を受信すると、音を発生するよう構成されてよい。情報処理装置012は、個別の工事関係者と関連付けられていなくてもよいが、工事現場内に通知状況が生じたことを周知できる利点がある。
【0140】
また、スマートフォン002は、工事現場外の施設020内の工事関係者021に係るスマートフォン021a、工事現場外の施設022内の工事関係者023に係る情報処理装置023aに通知してもよい。
【0141】
また、スマートフォン002は、本実施形態のシステムに関係する情報処理装置025aに通知してもよい。
【0142】
通知された情報処理装置は、工事関係者に通知できるように、種々の通知手段を用いてよい。例えば、通知された情報処理装置は、通知状況を、通知された情報処理装置の利用者に通知する通知手段として、音を発生したり、振動したり、光を出したり、所定の画面を表示したり、通知内容を表示したり、などを行ってよい。
【0143】
<アプリケーション例>
次に、スマートフォン002における本形態に係るシステムのアプリケーション例を説明する。
図16は、スマートフォン002内の表示画面の一例を示すものである。表示画面には、スマートフォン002のIDを示す端末ID001、領域を設定可能とする領域設定002、領域内の人などを判定して通知した履歴である通知履歴003、撮像部によって撮像されているものを表示する画面004、が含まれている。
【0144】
図17は、領域設定002についての具体的な設定の画面例である。一つ目の領域である領域1002aと、2つ目の領域である領域002bが、設定されている例であるが、1つ以上の領域が設定可能であってよい。また、領域1及び領域2には、どのような条件が設定されているのかを、簡易に表示してよい。これにより、各領域について、条件がないのか、条件がある場合にどのような条件であるのか、を容易に理解できる利点がある。
【0145】
画面003は、領域を具体的に設定する画面の一例である。領域1として、領域003aが設定されてよく、領域2として領域003bが設定されてよい。設定は、種々の手法により設定されてよい。例えば、領域003内に撮像装置が撮像した対象が表示されている状態で、領域を設定する者が、タッチパネル上で、撮像した対象が表示される範囲内において設定したい領域をタッチして囲んだり、領域に係る多角形の各点をタッチするなどであってよい。タッチパネルを含む表示部は、タッチにより指定された具体的な領域を記憶してよい。
【0146】
また、設定される領域は、表示された具体的な画像と関連付けられていてもよいが、表示された具体的な画像と関連付けられていなくともよい。
【0147】
前者は、具体的な画像と関連付けられて領域が設定されている場合であることから、例えば、撮像部の位置や方向が変更されることにより、表示部内の撮像された画像も変動することから、これに合わせて、表示部内の領域の位置も、変動することとなる。この場合、後述のように、画像処理技術によって、撮像された具体的な画像における色、形態等に基づいて領域と関連付けておき、変動した画像に対応して、表示部内における領域の表示位置を変動する必要がある。
【0148】
他方、後者は、例えば、撮像部がクレーン車の下方を撮像し、これと対応して、表示部が、クレーン車の下方を表示している場合において、設定される領域は、かかるクレー車の下方の表示された画像と関係づけられていない場合を指す。この場合、設定される領域は、あくまで、表示部範囲内の座標と関連付けられていてよい。設定される領域が、上述の前者と異なり、撮像装置又は撮像方向の移動に伴う撮像対象の移動と撮像された対象の表示されるものの移動又は変更によって、設定される領域がどのように変更するかを計算する計算負担が生じない利点がある。すなわち、一実施形態のシステムにおいて、領域部によって設定された領域は、前記表示部内の位置と関連付けられている、又は、前記撮像部によって撮像された画像内の対象と関連付けられていない、ものであってよい。そして、本実施形態のシステムが、かかる構成及び、画像内の人が、前記領域内であるか、前記領域外であるか、を判定可能な判定部を備える場合、予め表示部内で設定された領域内に人が入るか、人が入らないか、に着目した技術思想を有する。なお、この場合、ある画像に対応して工事関係者が領域を設定した場合において、その撮像部の位置や方向を変えると画像が変更してしまい、領域を設定した当初想定していた画像内の部分も変更する可能性がある。
【0149】
また、領域設定において、一の領域と関係づけて、条件、通知先、及び/又は、通知手段、を設定可能であってよい。一の領域と関係づけて設定された条件、通知先、及び/又は、通知手段は、前記一の領域と関係づけて、本実施形態のシステムに記憶されてよい。
【0150】
条件は、上述のとおり、ヘルメット、墜落制止用器具、などであってよい。これらは、予め定められたものから選択されてよい。予め定められたものは、判定部において機械学習済みのものとして識別可能なものであってよい。
【0151】
通知先は、上述の工事関係者であってよい。設定される工事関係者は、人名、ID、役職、等によって個々に指定されてもよいし、予め定められたグループを選択することで設定してもよい。この場合、簡易に通知先を選択できる利点がある。グループとしては、例えば、全作業員、所定の距離内の作業員、現場にいる工事関係者、遠隔の責任者、全ての責任者、全ての工事関係者、などのように階層化されて、設定されてよい。なお、情報について記録を行う情報処理装置025aは、常に通知先に設定されていてよい。これは、通知状況が生じた場合において、記録を取る必要があるためである。なお、情報処理装置025aは、通知先として、表示されていてもよいし、表示されていなくとくもよい。
【0152】
通知手段は、各通知先に応じて、設定できてよい。通知手段は、通知先情報処理装置が備える一又は複数の通知手段の中から選択できるよう構成されてよい。通知手段としては、上述のとおり、光、音、振動、などであってよい。
【0153】
なお、通知手段は、スマートフォン002から設定できてもよいし、通知先たる各情報処理装置自身において、通知手段が設定できてもよい。これにより、通知先たる各情報処理装置に係る者の利用者の便宜に応じた通知手段を設定できる利点がある。他方、通知手段は、スマートフォン002のみから設定可能であり、通知先たる各情報処理装置自身においては通知手段を設定できないようシステムを構成してもよい。これは、危険領域時に各通知先たる情報処理装置に係る者に通知する必要性は高いことから、通知手段の効果を低下するような措置を安易に取られないようにするためである。
【0154】
判定部は、上述のように設定された一又は複数の領域について、情報と関連付けて記憶してよい。例えば、判定部は、各領域と関連付けて、領域の座標などの領域を特定する情報、通知状況となる条件、通知先、通知手段、などを記憶している。スマートフォン002は、領域の設定に伴い、かかる情報を記憶してよい。
【0155】
図18は、通知履歴003について、確認可能な画面例である。本図においては、通知状況が2回発生し、夫々、履歴1003aと、履歴2003bと、が表示されている例である。また、各履歴には、それぞれ、通知状況を発生させた領域、通知状況を発生させた条件、通知状況が発生した日時、も表示されてよい。また、これらをタップ等選択することにより、通知状況時に撮影された動画が、画面004において、表示されてよい。かかる動画は、通知状況の発生から所定時間前から動画が再生できるよう構成されてよい。かかる動画により、通知状況がどのようなものであったかを、理解できる利点がある。また、これらの履歴は、選択されるまで未読の表示とされていてよい。かかる未読の表示により、過去に生じた状況で未確認のものを一覧表示により、理解できる利点がある。
【0156】
次に、領域が設定されて、スマートフォン002が撮像を開始し、人が領域内にいることや条件を判定するステップについて、説明する。
【0157】
本実施形態のシステムに係る撮像部は、開始後、常に撮像範囲の撮像を継続してよい。判定部は、撮像中、通知状況であるかどうかを、判定してよい。また、撮像された対象は、リングバッファに記憶されてよい。リングバッファに記憶されることにより、上述のとおり、通知状況に至る所定前の時間がリングバッファ上に記憶されているよう構成できるため、かかる情報を、情報処理装置025aなどに送信し、表示されてよい。
【0158】
判定部は、上述のとおり、領域内に人がいるかどうか、領域内の人と所定の条件の関係にあるかどうか、を判定し、通知状況にあるかどうかを判定してよい。
【0159】
本実施形態においては、スマートフォン002、005a、006a、007a、008a、009a、として説明したが、スマートフォンに代えて、各々、スマートフォン、ポータブルコンピュータ、タブレットPC、ハンドヘルド、タブレット、PDAなどの種々の携帯端末であってよい。また、これらの携帯端末は、撮像範囲を撮像可能な撮像部と、撮像された対象を表示する表示部と、を備えてよい。また、表示部は、領域を設定可能なタッチパネルを備えてよい。また、携帯端末は、携帯端末の保有者に通知状況を知らせるため、音を発生する音声発生装置、光を発生する光発生装置、及び/又は、振動を生じさせる振動装置を備えてよい。
【0160】
また、情報処理装置011a、情報処理装置023a、情報処理装置025aは、サーバ、デスクトップPC、ノートパソコンPCであってよい。
【0161】
また、本実施形態のシステムは、一の情報処理装置であってもよいし、複数の情報処理装置をまとめたものであってもよい。
【0162】
ここで、工事現場において、本実施形態のシステムを用いた利用方法の流れの一例を説明する。
【0163】
撮像情報処理装置(例えば、スマートフォン002)は、撮像機能を有することから、
人も撮像可能である。そこで、まず、撮像情報処理装置(例えば、スマートフォン002)を用いて、工事現場における作業員を撮像に使用されてよい。作業員を撮像した画像は、撮像情報処理装置(例えば、スマートフォン002)内に記憶されてよい。また、かかる作業員を撮像した画像は、当該工事現場を特定する情報(例えば、工事の日時、工事のプロジェクト名、工事の場所、工事の管理者など)と関連付けられて、記憶されてよい。また、かかる記憶された情報は、情報処理装置025aに伝達されて記憶され、工事現場の記録とされてよい。
【0164】
また、かかる作業員を撮像した画像は、当該工事現場において作業することが予定された作業員であるかどうか、作業員の照合に用いられてよい。例えば、撮像情報処理装置(例えば、スマートフォン002)は、予め、当該工事現場において作業することが予定された作業員に係る情報を有してよい。かかる作業員に係る情報は、作業員を特定するための情報(ID、氏名、住所、など)、作業員の資格、作業員の所属、作業員の画像(例えば、全体写真、顔写真など)、作業員に係る契約情報、作業員の経験、などの情報であってよい。
図19は、かかる作業員に係る情報を格納したデータの一例である。なお、かかるデータ、リレーショナルデータベース等によって構築されてよい。
【0165】
撮像情報処理装置は、かかる作業員に係る情報に含まれる作業員の画像と、撮像された画像と、を比較することで、作業員の照合をしてよい。作業員の照合により、当該工事現場において作業することが予定された各作業員の有無を判定し、撮像情報処理装置に係る表示装置において、表示してよい。このとき、予め格納されている作業員に係る情報と、撮像された画像と、を対比して表示してもよい。例えば、予め格納された作業員に係る画像を含む作業員に係る情報と、撮像された画像と、を対比して、表示してよい。
図20は、かかる表示の一例である。なお、この場合、照合率が表示されることにより、本人確認を画像処理によって、数値で表示してもよい。
【0166】
作業員に係る情報は、撮像情報処理装置内に記憶されていることに代えて、予め、管理情報処理装置(例えば情報処理装置025a)に記憶されてよく、撮像情報処理装置は、かかる管理情報処理装置にアクセスすることにより、作業員に係る情報を取得し、上述の照合や、本図のように、対比表示をしてもよい。この場合、撮像情報処理装置以外の情報処理装置によって予め作業員に係る情報が入力された場合など、管理情報処理装置内に作業員に係る情報が格納された場合にも、同様の照合が可能な利点がある。
【0167】
また、撮像情報処理装置は、撮像した画像を、管理情報処理装置に伝達し、管理情報処理装置内において、上述の照合を行い、撮像情報処理装置は、照合の結果としての、上述の対比表示に必要な情報を取得し、本図のように、対比表示をしてもよい。この場合も同様に、撮像情報処理装置以外の情報処理装置によって予め作業員に係る情報が入力された場合など、管理情報処理装置内に作業員に係る情報が格納された場合にも、同様の照合が可能な利点がある。特に、照合作業を管理情報処理装置内で実行できるため、撮像情報処理装置がモバイル端末など現場においてバッテリーの消耗が気になる場合においても、照合を効率的に出来る利点がある。
【0168】
また、他の工事関係者に係る情報処理装置は、管理情報処理装置にアクセスし、同様に、上述の対比表に必要な情報を取得し、本図のように、対比表示をしてもよい。これにより、撮像情報処理装置以外の工事関係者に係る情報処理装置においても、作業員の照合を出来る利点がある。
【0169】
次に、工事現場において、職長や現場監督が、危険領域を認識し、本実施形態のシステムに領域を設定し、撮像状態とする。これは、工事現場において、典型的に実施される朝礼などの機会に実施されてよいが、その状況に限られない。関係者において危険となりうる箇所や人の侵入について留意すべき場所について、情報を共有しつつ、実施できる利点がある。
【0170】
ここで、撮像情報処理装置は、実際の利用状況で置かれる状態において、表示部内の領域が設定されてよい。これは、撮像情報処理装置の位置及び/又は方向が変更すると、撮像される対象が変更され、設定される領域が、当初意図したものと変更してしまう可能性があるためである。情報処理装置が使用される予定の位置において、領域が設定されてよい。また、人が来る経路を考慮して、人の前面から撮像可能な位置及び方向において、撮像部を備える情報処理装置が置かれてよい。これにより、人が来る際に全面から撮像可能となり、例えば、ヘルメットや墜落制止用器具の判定の正確性を向上する利点がある。この場合、例えば、撮像画面の平面が、地面の平面に対して、垂直方向または垂直から前後30度方向、垂直から前後45度方向、垂直から前後50度方向の角度等で置かれてよい。
【0171】
また、撮像情報処理装置は、人がいることを判定したい地面が撮像範囲に含まれるように、撮像情報処理装置の位置及び/又は方向が、おかれてよい。この場合、人の位置を、画像から直接特定できることから、人が領域内であるか、人が領域外であるかを、正確に判定できる可能性が高まる利点がある。
【0172】
また、撮像情報処理装置は、複数対象関係の判定の対象となる部分が撮像範囲に含まれるように、撮像情報処理装置の位置及び/又は方向が、おかれてよい。この場合、対象領域関係の判定に対象となる部分を、画像から直接特定できることから、複数対象関係を正確に判定できる可能性が高まる利点がある。複数対象関係の判定の対象となる部分としては、例えば、ヘルメットであれば、人の頭部であり、墜落制止用器具であれば、人の胸部乃至腰部であってよい。ヘルメットと墜落制止用器具の両方を対象とする場合は、人の頭部と胸部と腰部とを撮像範囲とするように、撮像情報処理装置の位置及び/又は方向が、おかれてよい。
【0173】
また、人が来る経路が複数ある場合、人がどこから来るか不明である場合、又は、人が来る経路が一つであっても判定の正確性を向上させたい場合などにおいて、撮像部を備える情報処理装置を、複数用いてよい。例えば、人がいる場合に通知状況にしたいような場所について、複数の撮像情報処理装置によって撮像可能とし、かかる複数の撮像情報処理装置の各々は、前記場所について、互いに、異なる位置、及び/又は方向から、撮像可能としてよい。これにより、一の撮像情報処理装置によって、人がいることについて通知状況にできない場合であっても、他の撮像情報処理装置によって、人がいることについて通知状況にできる可能性が高まり、より所望の通知状況を実現できる可能性が高まる利点がある。
【0174】
また、上述のように、人がいる場合に通知状況にしたいような場所について、複数の撮像情報処理装置のうち、一の撮像情報処理装置が通知状況であると判定した場合に、通知状況を通知するケース以外にも、前記複数の撮像情報処理装置のうち、少なくとも2の撮像情報処理装置が通知状況であると判定した場合に、通知状況であるとして通知したり、又は、前記複数の撮像情報処理装置のうちの全ての撮像情報処理装置が通知状況であると判定した場合に、通知状況であるとして通知してもよい。この場合、多様な位置や方向におかれた撮像情報処理装置においても、共通して、通知状況であると判定した場合に限り、通知することから、通知状況である可能性が高い場合に通知することが可能である利点がある。
【0175】
なお、上述では、人がいることについて通知状況とする人領域関係を判定する場合について説明したが、同様に、一又は複数回の、複数対象関係を判定する場合についても、同様であってよい。
【0176】
設置後、本実施形態のシステムにおいて設定された領域内に、人が侵入したり、所定の装備を着用せずに人が侵入した場合、リアルタイムに、設定された情報処理装置に、システムから、通知がされてよい。これにより、通知された情報処理装置に係る人は、迅速に緊急対応が可能となる利点がある。
【0177】
システム終了後、場合によっては、関係者は履歴を閲覧することにより、設定された領域に入らないような保全が十分されているかを検討したり、通知状況において適切な対応がとられたかを検討してもよい。
【0178】
<複数の工事現場に係るシステム>
他の実施形態のシステムは、複数の工事現場について、管理するシステムであってもよい。例えば、
図21は、工事現場001A、001B、001Cにおいて、本実施形態のシステムを利用する一例である。各工事現場において、スマートフォン002A、002B、002Cに対し、各々、領域003A、003B、003Cが設定されて、置かれているとする。なお、本図は、各工事現場において一の撮像情報処理装置が置かれている例であるが、各工事現場において複数の撮像情報処理装置が置かれてもよい。また、本図においては、各一つの領域のみが設定されている例であるが、複数領域が設定可能であってよく、また、一又は複数の条件が設定可能であってよい。
【0179】
この場合、撮像情報処理装置002Bが、通知状況に至ったと判定した場合、撮像情報処理装置002Bは、通知先情報処理装置005B及び管理情報処理装置025aに、通知情報を伝達してよい。なお、通知先情報処理装置005Bと、管理情報処理装置025aに対する通知情報の内容は異なってよく、例えば、通知先情報処理装置005Bに対しては、通知状況であることを示す情報を伝達し、管理情報処理装置025aに対しては、通知状況に係る情報を伝達してよい。また、情報処理装置021aや情報処理装置023aに対しても、通知情報を伝達してよい。その内容は、上述のように種々のものであってよい。
【0180】
撮像情報処理装置002Bから送信された通知情報には、撮像情報処理装置002Bを特定する情報が含まれてよい。かかる情報が、工事関係者に係る情報処理装置の表示装置に表示されることにより、工事現場001A、001B、001Cと3つある中において、工事現場002で生じたものであることが理解できる利点がある。なお、各工事現場において、複数の撮像情報処理装置が置かれている場合においても、工事関係者に係る情報処理装置において、工事現場のみを特定する情報が表示されてもよいし、撮像情報処理装置を特定する情報が表示されてもよい。情報処理装置021aや023などの工事現場の敷地とは異なる場所に設置されている情報処理装置においては、一の工事現場内におけるどの撮像情報処理装置で撮像されたものであるかより、どこの工事現場において生じたものであるかが必要な情報である場合には、工事現場を特定する情報である例えば001Bという情報のみが表示される利点がある。なお、この場合であっても、通知状況に係る具体的な情報について、工事関係者に係る情報処理装置から、管理情報処理装置にアクセス可能であってよい。
【0181】
<単一の現場におけるシステム>
また、他の実施形態のシステムは、小規模な点検や工事において、通知するシステムであってもよい。例えば、
図22は、電柱001において、送電システムや電話システムなどの機械システム002について、点検や調整などを行う点検者003を示すものである。この場合、点検者003は電柱の上方にいるため、下方に十分注意をすることができないが、下方に物を落とす可能性があることから、下方に一般人が侵入しないよう注意喚起することが望まれる。
【0182】
本図においては、本実施形態のシステムであるスマートフォン004a及びスマートフォン004bは、夫々、撮像範囲005a、005b、について撮像することにより、一般人006が、撮像範囲005a又は005b内の設定された領域に入るなど、設定された通知状況が発生した場合、通知手段が動作するよう構成されてよい。
【0183】
なお、本図における本実施形態のシステムでは、通知手段として、スマートフォン004a及び/又はスマートフォン004b自体が、音・光等を発生することで、一般人006に注意喚起させてよい。また、本実施形態のシステムは、別途設けられた音を発生するスピーカー及び/又は光を発生する光発生装置を含む装置007に通知状況を通知し、かかる装置007が、音及び/又は光を発生することにより、一般人006に注意喚起してもよい。この場合、スマートフォンに内蔵の音や光よりも、より外部においても注意喚起可能な装置を用いることで、一般人006が気づくことができる可能性が高まる利点がある。
【0184】
また、本実施形態のシステムにおいて、検査者003に係るスマートフォン008も、同様に通知手段が動作してよい。すなわち、本実施形態のシステム004a及び/又は004bから、スマートフォン008に通知状況が通知され、スマートフォン008に係る通知手段が動作するよう構成されてもよい。この場合、検査者003自身も、領域範囲内における通知状況を理解できる利点がある。
【0185】
なお、単一のスマートフォン004a、又は、スマートフォン004b、のそれぞれが、独立した、本実施形態のシステムであってもよいし、又は、本実施形態のシステムは、これらを相互に連携可能とされたスマートフォン004a及びスマートフォン004bの二つのスマートフォンから構成されるものであってもよい。また、撮像部を有するスマートフォン004a及び004bは、本図では2つの例を示したが、一つであってもよいし、3つ以上であってもよい。また、本実施形態のシステムは、上述に加えて、通知情報の一部又は全部を記憶可能な情報処理装置025aを含んでよい。この場合、撮像情報処理装置(例えば、スマートフォン004aや004bなど)が記憶した撮像内容を記録することで、保存機能を有してよい。
【0186】
なお、本願に係るシステムにおいて、撮像部による動画の撮像機能は、音の録音機能を含んでよい。また、通知情報における撮像された動画には、かかる録音された音が記録されてよい。本願に係るシステムがかかる構成を備える場合において、領域内に人が入ったり、条件が満たされるなど、通知状況に至った場合、通知手段による音が生成され、現実領域内にいる人に対しても十分注意喚起が行われていることを示す記録を保存できる利点がある。
【0187】
なお、本図は、検査者003がいる状態を説明したが、検査者003がいない現場において上述の実施形態に係るシステムが利用されてもよい。
【0188】
また、上述の各実施形態におけるシステムは、人領域関係を判定する例を説明したが、人領域関係を判定せずに、一又は複数回、複数対象関係を判定してもよい。この場合、一実施形態に係るシステムは、人領域関係を判定する構成がなくてよく、領域に対して条件を設定する構成、あるいは、領域なく条件のみを設定する構成であってよい。
【0189】
領域に対して条件を設定する場合には、一又は複数の領域が設定可能であり、各領域に対し、一又は複数の条件が設定可能であってよい。この場合、工事関係者は、一又は複数の領域を設定し、各領域に対して、一又は複数の条件を設定してよい。このケースにおいては、一の領域を設定すると、その領域に対する条件の設定を行う構成となっており、領域のみの設定はできないようになっていてよい。このように、領域に対して条件を設定する構成の場合、人が領域にいることに加えて、一又は複数の条件について判定がされることにより、通知状況であるか、そうでないか、を判定することになり、通知状況であれば、上述のように、通知先情報処理装置に、通知情報が通知される構成となる。
【0190】
また、領域なく条件のみを設定する構成の場合、一又は複数の条件が設定可能であってよい。この場合、工事関係者は、領域を設定せずに、画面に対して、一又は複数の条件を設定してよい。このケースにおいては、領域自体設定ができない構成となっていてよく、撮像対象に入った人について、一又は複数の条件について判定がされることにより、通知状況であるか、そうでないか、を判定することになり、通知状況であれば、上述のように、通知先情報処理装置に、通知情報が通知される構成となる。
【0191】
各実施形態におけるシステムは、一又は複数の撮像情報処理装置のみであってもよいし、一又は複数の撮像情報処理装置と一又は複数の管理情報処理装置から構成されてもよいし、一又は複数の撮像報処理装置と管理情報処理装置と一又は複数の通知先情報処理装置から構成されてよい。
【0192】
上述の各実施形態において、撮像情報処理装置(例えば、スマートフォン002、002a、002b、002c、004a、004b)は、スマートフォンに代えて、タブレット、ラップトップパソコン、ノートパソコン、PDA、などの携帯可能な情報処理装置であってよい。携帯可能な情報処理装置であれば、工事関係者が希望する場所において、工事希望者が希望する方向を撮像可能なように、置くことができる利点がある。
【0193】
また、上述の各実施形態において、同様に、スマートフォン005A、005B、005C、006a、007a、008a、009a、021a、情報処理装置023a、情報処理装置025a(管理情報処理装置)のような通知先情報処理装置は、上述の携帯可能な情報処理装置であってもよいし、固定された情報処理装置であってもよい。固定された情報処理装置は、サーバ装置、クラウド装置などであってもよい。
【0194】
また、上述では、工事現場の全体を常に死角なく撮像可能な撮像装置の設置は難しいことを説明したが、例えば、一部であっても撮像可能なセキュリティカメラによる撮像装置や工事現場上をホバリングにより飛行するドローン内の撮像装置を用いる場合においても、かかる撮像装置は、撮像情報処理装置として、機能されてよい。この場合においても、かかる撮像情報処理装置が、上述のとおり機能してもよいし、撮像情報処理装置から情報を取得した管理情報処理装置が、上述のとおり機能してもよい。
【0195】
また、一又は複数の、撮像情報処理装置、管理情報処理装置、通知先情報処理装置は、所有者、利用者、管理者、が同じであってもよいし、夫々異なってもよい。
【0196】
2.2.実施形態2
次に、施設内における人の所有物を判定する実施形態について、
図23を用いて、説明する。なお、実施形態2に係るシステムは、実施形態1に係るシステムと重複する箇所については、説明を省略する。例えば、通知情報は、実施形態1に係るシステムにおいては危険などを知らせる必要があるものに関連する情報であったのに対し、実施形態2においても、同様に危険や便宜上知らせる必要がある対応するものに関連する情報であってよい。また、通知先情報処理装置などは、上述のとおり、携帯可能な情報処理装置であってもよいし、固定化された情報処理装置であってもよい。これらの説明の省略は、実施形態3及び4においても、同様である。
【0197】
本図は、施設の入口部分001A及び001Bを図示するものであり、敷地010が施設内を示す。本実施形態のシステムに係る情報処理装置002a及び002bは、各々、撮像範囲003A、003Bを有している。人004は、撮像範囲003A内で撮像されており、人005は、撮像範囲002Bの延長線上にあるものの、施設外であることから、撮像の対象外とされている。
【0198】
施設は、警察署、金融機関、医療施設、宿泊施設、官公庁、教育施設、文化施設、スポーツ施設、工場、航空機施設、車両施設及びこれらの附属施設等であってよい。
【0199】
入口部分は、人が、施設の外部から施設の内部に進入できる場所であればよく、施設の外部と施設の内部の境界領域であってもよいし、施設の外部から施設の内部に通じる通路であってもよい。
【0200】
システムは、上述の施設における入口部分において、撮影範囲を入口側に向けて、備えられてよい。システムが備えられる場所は、施設内の天井、壁、施設内の器具に設置又は固定されてよい。
【0201】
本実施形態のシステムは、
撮像部と、
前記撮像部によって撮像された画像内の人が、所定のアイテムを有するか、所定のアイテムを有しないか、を判定可能な判定部と、
を備えるシステムであってよい。判定部が判定可能な前記所定のアイテムは、刀剣類や、暴行用途アイテムであってよい。
【0202】
撮像部は、スマートフォン、携帯電話、タブレット、等の端末装置に内蔵されたものであってもよいし、施設に固着可能なセキュリティカメラであってもよい。
【0203】
判定部が通知状況であると判定した場合、通知部は、通知先に係る情報処理装置に、通知してよい。通知先に係る情報処理装置は、種々の情報処理装置であってよい。また、通知先に係る情報処理装置は、本実施形態のシステムに係る撮像部が備えられる施設に応じてよい。
【0204】
例えば、本実施形態のシステムに係る撮像部が、駐在所、派出所、又は交番などを含む国又は都道府県に係る警察関係機関の施設(本願書類において、「警察関係施設」ということもある)に備えられることが考えられる。
【0205】
本実施形態のシステムに係る撮像部が、一の警察関係施設に備えられた場合、通知先に係る情報処理装置は、通知状況時点において前記一の警察関係施設に勤務する職員に係る情報処理装置であってよい。この場合、職員が、迅速にリスクを察知できる利点がある。また、この場合、職員に係る情報処理装置は、かかる職員にのみ通知できるよう、通知手段として、振動を用いてもよいし、周辺の人に対しても周知できるよう通知手段として音を用いてもよい。
【0206】
また、通知先に係る情報処理装置は、前記一の警察関係施設内に設置される情報処理装置であってよい。この場合、通知手段として、音声、光などで、前記一の警察関係施設内の人に通知してよい。この場合、前記一の警察関係施設内の関係者のみでなく、たまたま前記一の警察関係施設内にいた人に対しても、危険が生じうることを周知でき、また、対応を取ることが可能な利点がある。
【0207】
また、通知先に係る情報処理装置は、通知状況時点において前記一の警察関係施設内のリスクに対処する職責を司る職員に係る情報処理装置であってよい。この場合、リスクに対処する職責を司る職員により、安全に、リスクを排除できる可能性が高まる。
【0208】
また、通知先に係る情報処理装置は、備えられた前記一の警察関係施設から所定の範囲内の他の警察関係施設に設置される情報処理装置であってよい。この場合、所定の範囲内の他の警察関係施設の人も、リスクを理解することが可能となり、救助や応援などの対策を取ることが可能となる利点がある。
【0209】
また、通知先に係る情報処理装置は、備えられた前記一の警察関係施設から所定の範囲内の他の警察関係施設に通知状況時点において勤務する職員又はリスクに対処する職責を司る職員に係る情報処理装置であってよい。この場合、所定の範囲内の他の警察関係施設の職員も、リスクを理解することが可能となり、救助や応援などの対策を取ることが可能となる利点がある。
【0210】
2.2.1.実施形態2.1
また、本実施形態のシステムに係る撮像部が、警察関係施設以外の施設(本願書類において、「一般施設」ということもある)に備えられることが考えられる。
【0211】
この場合、通知先に係る情報処理装置は、一般施設内の安全を管轄する警備室に係る情報処理装置であってよい。この場合、警備室に、施設内のリスク情報が伝達されることで、適切な対応を取れる可能性が高まる。
【0212】
また、通知先に係る情報処理装置は、通知状況を判定した画像が取得された撮像装置が設置された施設内の箇所から、所定の範囲内で職責を司る職員に係る情報処理装置又は所定の範囲内にある情報処理装置であってよい。ここで、職員は、施設の特性に応じて、当該施設内に職務を有する者であってよい。この場合、危険が生じた個所に近いため、適切な対応を取れる可能性が高まる利点がある。
【0213】
また、通知先に係る情報処理装置は、一般施設内の安全維持を職務とする職員に係る情報処理装置であってよい。安全維持を職務とする職員としては、警備員が挙げられる。この場合、警備員に直接、施設内のリスク情報が伝達されることで、適切な対応を取れる可能性が高まる。
【0214】
また、通知先に係る情報処理装置は、施設から所定の範囲内の警察関係施設に設置される情報処理装置や施設から所定の範囲内にいる警察関係者に係る情報処理装置であってよい。この場合、所定の範囲内の警察関係者が、リスクを理解することが可能となり、救助や応援などの対策を取ることが可能となる利点がある。
【0215】
2.2.2.実施形態2.2
また、実施形態2における刀剣類や暴行用途アイテムに代えて、他のアイテムであってもよい。例えば、他のアイテムとして、施設におけるサービスを促進させるために、施設来訪者が、ベビーカーを用いていたり、所定以上の大きさの荷物を有していたりする場合に、通知してもよい。
【0216】
すなわち、本実施形態のシステムは、
撮像部と、
前記撮像部によって撮像された画像内の人が、所定のアイテムを有するか、所定のアイテムを有しないか、を判定可能な判定部と、
を備えるシステムであってよく、判定部が判定可能な前記所定のアイテムは、ベビーカー、所定以上の大きさの荷物であってよい。
【0217】
判定部が通知状況であると判定した場合において、通知先に係る情報処理装置は、通知状況を判定した画像が取得された撮像装置が設置された施設内の箇所から所定の範囲内で職責を司る職員に係る情報処理装置又は所定の範囲内にある情報処理装置であってよい。これにより、近い場所にいる職員は手助けが必要な可能性の高い来訪者が来ていることを迅速に理解し、手助けできる可能性が高まる利点がある。
【0218】
2.2.3.実施形態2.3
また、実施形態2における刀剣類や暴行用途アイテムに代えて、ヘルメットであってもよい。施設内では、ヘルメットのような顔を遮るものは、保安上、好ましくないことから、かかるヘルメットを被る来訪者に対して、ヘルメットを脱ぐよう、通知してよい。
【0219】
すなわち、本実施形態のシステムは、
撮像部と、
前記撮像部によって撮像された画像内の人が、ヘルメットを着用しているか、着用していないか、を判定可能な判定部と、
前記人がヘルメットを着用していると判定した場合、通知先に係る情報処理装置に通知する通知部と、
を備えるシステムであってよい。
【0220】
通知先に係る情報処理装置は、通知状況を判定した画像が取得された撮像装置が設置された施設内の箇所から所定の範囲内で職責を司る職員に係る情報処理装置又は所定の範囲内にある情報処理装置であってよい。前者の場合、職員に連絡されることから、迅速に、ヘルメットを脱ぐための手段を対策が取れる利点がある。また、後者の場合、かかる情報処理装置が、かかるヘルメットを着用する人に対して、音を発生できる場合、かかるヘルメットを着用する人に注意喚起できる利点がある。
【0221】
2.2.4.実施形態2.4
また、実施形態2における刀剣類や暴行用途アイテムに代えて、スマートフォンであってもよい。施設内の厨房エリアなど、スマートフォンを用いることは、衛生上等、好ましくないことから、かかるスマートフォンを用いる者がいる場合、所定の通知先に通知することで、対応を取れる可能性が高まる利点がある。
【0222】
すなわち、本実施形態のシステムは、
撮像部と、
前記撮像部によって撮像された画像内の人が、スマートフォンを保有しているか、保有していないか、を判定可能な判定部と、
前記人がスマートフォンを保有していると判定した場合、通知先に係る情報処理装置に通知する通知部と、
を備えるシステムであってよい。
【0223】
通知先に係る情報処理装置は、通知状況を判定した画像が取得された撮像装置が設置された施設内の箇所から所定の範囲内で職責を司る職員に係る情報処理装置又は所定の範囲内にある情報処理装置であってよい。前者の場合、職員に連絡されることから、迅速に、ヘルメットを脱ぐための手段を対策が取れる利点がある。また、後者の場合、かかる情報処理装置が、かかるヘルメットを着用する人に対して、音を発生できる場合、かかるヘルメットを着用する人に注意喚起できる利点がある。
【0224】
2.3.実施形態3
次の実施形態に係るシステムは、所定のアイテムの検査に使用されるものである。すなわち、一定の職責の人は、所定のアイテムを装備していることが求められる場合があり、かかるアイテムの装備忘れを検知できる利点がある。
【0225】
すなわち、本実施形態のシステムは、
撮像部と、
前記撮像部によって撮像された画像内の人が、所定のアイテムを有しているか、有していないか、を判定可能な判定部と、
前記人が所定のアイテムを有していないと判定した場合、通知先に係る情報処理装置に通知する通知部と、
を備えるシステムであってよい。また、所定のアイテムは、所定の拳銃、所定の手錠、及び、所定の警棒であってよい。
【0226】
また、前記撮像部は、上述の警察関係施設に設置されてよい。また、前記撮像部は、上述の警察関係施設内の出口において、警察関係施設内の内部から外部に移動する者を撮像可能な位置に備えられていてよい。また、前記内部から外部に移動する者は、警察関係施設に入る一般人などではなく、警察関係者であってよい。例えば、警察関係者が、警察関係施設の内部から外部に移動する通路上であってよい。また、かかる通路は、警察関係者専用の通路であってよい。
【0227】
また、前記人が、所定のアイテムを有しているか、有していないか、を判定可能な判定部は、前記人が、所定のアイテムを、所定の箇所に、装備しているかどうかを判定可能な判定部であってよい。
【0228】
また、前記人が所定のアイテムを有していないと判定した場合、通知先に係る情報処理装置に通知する通知部は、前記人が所定のアイテムを、所定の箇所に、装備していないと判定した場合、通知先に係る情報処理装置に通知する通知部であってよい。なお、所定のアイテムを有することは、所定のアイテムを所定の箇所に装備することの上位概念であってよい。
【0229】
前記通知先に係る情報処理装置は、前記人に係る情報処理装置であってよい。この場合、当該人は、所定のアイテムを装備していないことに気づき、迅速に対応できる利点がある。
【0230】
また、通知先に係る情報処理装置は、前記人に対して、音声及び/又は振動によって、通知してよい。この場合、前記人は、例えば出発間際の忙しい状態においても、装備されていないことに気付く可能性が高まる利点がある。
【0231】
また、前記判定部は、所定の拳銃、所定の手錠、及び、所定の警棒、という所定のアイテムのうち、装備されていないものを特定し、前記通知部は、前記装備されていないものを、通知先に係る情報処理装置に、通知してよい。この場合、前記人は、所定のアイテムの内、何が装備されていないかに、気づくことができる利点がある。
【0232】
また、通知先に係る情報処理装置は、前記人に対して、前記装備されていないものを特定する情報を音によって通知してよい。この場合、前記人は、装備されていないものを、具体的に音によって知らされ、気づくことができる利点がある。
【0233】
また、通知先に係る情報処理装置は、前記警察関係施設内の出口に係る情報処理装置で
あってよい。例えば、前記出口のゲートに係る情報処理装置であってよい。
【0234】
2.4.実施形態4
次の実施形態に係るシステムは、自動車利用者が所定のアイテムを使用しているかどうかを判定するものである。すなわち、運転中の利用者は、スマートフォン、携帯電話などの道路交通法で定める無線通話装置を使用することは危険であることから、これを判定できる利点がある。
【0235】
一実施形態に係るシステムは、車両内の運転手を撮像する撮像部と、
前記撮像部によって撮像された画像内の人が、所定のアイテムを保持しているか、保持していないか、を判定する判定部と、
前記判定部が、前記画像内の人は前記所定のアイテムを保持していると判定した場合、通知先の情報処理装置に、通知する通知部と、
を備えるシステムであってよい。
【0236】
前記所定のアイテムは、道路交通法で定める無線通話装置であってよい。
【0237】
通知先の情報処理装置は、前記車両に係る情報処理装置であってよい。また、かかる車両に係る情報処理装置は、前記運転手に対して、警告を発する警告機能を有してよい。警告機能は、音、光、動作などであってよい。音は、運転手に対して、警告するようなものであればよく、単なるアラームが発生するものでもよいし、無線通話装置の使用をやめるような表現であってもよい。光は、アラームであってよい。動作は、車両を徐行又は停止に向けるための動作であってよい。
【0238】
また、通知先の情報処理装置は、警察機関に係る情報処理装置であってよい。この場合、車両等がいる場所を管轄する警察機関に係る情報処理装置であってもよいし、車両等がいる場所から所定の範囲にいる警察関係者に係る情報処理装置であってもよい。前者の場合、交通違反の管轄内の警察機関に情報が提供可能であり、後者の場合、交通違反の現場に近い警察関係者に情報が提供可能である利点がある。なお、一実施形態に係るシステムにおける撮像部は、車両を特定する情報を撮像してよい。例えば、撮像部は、ナンバープレート及び/又は運転手を含む車両を撮像してよい。また、警察機関に係る情報処理装置は、ナンバープレートから、車両の所有者を特定してよい。所有者の特定は、ナンバープレートと所有者との関係付けをデータベースとして有する情報処理装置が用いられてよい。かかる情報処理装置は、警察機関に係る情報処理装置であってよく、例えば、サーバ装置、クラウド装置などであってよい。また、警察機関に係る情報処理装置は、車両の所有者、車両のナンバープレート、撮像された画像、撮像された日時、及び/又は、撮像された場所、を表示する表示機能を有してよい。かかる表示により、画像によって違反行為を理解しつつ、違反行為者に関する情報を、閲覧者は理解することができる。かかる表示は、車両等が撮像された場所から所定の範囲にいる警察関係者に係る情報処理装置に伝達され、表示されてよい。例えば、撮像された場所から所定の範囲にいる警察関係者である、例えば、パトロールカーや白バイ又はこれらの運転手に係る情報処理装置であってよい。これにより、現場に急行し、違反者に対して対処できる可能性がある。
【0239】
また、一実施形態に係るシステムは、車両内の運転手を特定するために、撮像部によって撮像された画像内における、ステアリング、ハンドルなどの操舵装置から所定の範囲にいる人を運転手と特定してよい。一実施形態に係るシステムにおける判定部は、上述の操舵装置及び人を特定する機能を有してよい。
【0240】
3.システムのハードウェア構成
本願発明に係るシステムは、一又は複数の情報処理装置から構成されてよい。本願発明に係る情報処理装置10は、
図24のように、バス15、演算装置11、記憶装置12、及び通信装置16を備えてよい。また、一実施態様における情報処理装置10は、入力装置13、表示装置14を備えてよい。また、ネットワーク17と、直接または間接的に接続される。
【0241】
バス15は、演算装置11、記憶装置12、入力装置13、表示装置14及び通信装置16の間の情報を伝達する機能を有してよい。
【0242】
演算装置11の例としては、例えばプロセッサが挙げられる。これは、CPUであってもよいし、MPUであってもよい。また、一実施態様における演算装置は、グラフィックスプロセッシングユニット、デジタルシグナルプロセッサなどを有してもよい。要するに、演算装置12は、プログラムの命令を実行できる装置であればよい。
【0243】
記憶装置12は、情報を記録する装置である。これは、外部メモリと内部メモリのいずれでもよく、主記憶装置と補助記憶装置のいずれでもよい。また、磁気ディスク(ハードディスク)、光ディスク、磁気テープ、半導体メモリなどでもよい。また、ネットワークを介した記憶装置又は、ネットワークを介したクラウド上の記憶装置を有してもよい。
【0244】
なお、演算装置に物理的に近い位置で情報を記憶する、レジスタ、L1キャッシュ、L2キャッシュなどは、本ブロック図においては、演算装置11内に含まれる場合もあるが、計算機アーキテクチャのデザインにおいて、情報を記録する装置としては、記憶装置12がこれらを含んでもよい。要するに、演算装置11、記憶装置12及びバス11が協調して、情報処理を実行できるよう構成されていればよい。
【0245】
記憶装置12は、本願発明に係る処理を実行可能なプログラムの一部又は全部を備えることができる。また、本願発明に係る処理を実行する際に必要なデータを、適宜記録することもできる。また、一実施態様における記憶装置12は、データベースを含んでもよい。
【0246】
また、上記は、演算装置12が、記憶装置13に備えられたプログラムに基づいて実行される場合を記載したが、上記のバス11、演算装置12と記憶装置13が組み合わされた形式の一つとして、本願発明に係る情報処理の一部又は全部を、ハードウェア回路自体を変更することができるプログラマブルロジックデバイス又は実行する情報処理が決まっている専用回路で実現されてもよい。
【0247】
入力装置13は、情報を入力するものであるが、他の機能を有してもよい。入力装置14としては、キーボード、マウス、タッチパネル、又はペン型の指示装置などの入力装置が挙げられる。
【0248】
表示装置14は、情報を表示する機能を有する。例えば、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイなどが挙げられるが、要するに、情報を表示できる装置であればよい。また、タッチパネルのように入力装置13を一部に備えてもよい。
【0249】
ネットワーク17は、通信装置16と共に、情報を伝達する。すなわち、情報処理装置である10の情報を、ネットワーク17を介して他の情報端末(図示しない)に伝達できるようにする機能を有する。通信装置16は、どのような接続形式を用いてもよく、IEEE1394、イーサネット(登録商標)、PCI、SCSI、USB、2G、3G、4G、5Gなどでもよい。ネットワーク17への接続は、有線と無線のいずれでもよい。
【0250】
本願発明に係る情報処理装置は、汎用型であってもよいし、専用型であってもよい。また、当該情報処理装置は、ワークステーション、デスクトップパソコン、ラップトップパソコン、ノートパソコン、PDA、携帯電話、スマートフォンなどでもよい。
【0251】
本図では、一台の情報処理装置10として説明したが、本願発明に係るシステムは、複数の情報処理装置によって構成されてもよい。当該複数の情報処理装置は、内部的に接続されていてもよいし、外部的に接続されていてもよい。
【0252】
また、本願発明に係るシステムは、種々の態様の装置形式であってよい。例えば、本願発明に係るシステムは、スタンドアローンであってもよいし、サーバクライアント形式であってもよいし、ピアツーピア形式であってもよいし、クラウド形式であってもよい。本願発明に係るシステムは、スタンドアローンの情報処理装置であってもよいし、サーバクライアント形式の一部又は全部の情報処理装置から構成されてもよいし、ピアツーピア形式の一部又は全部の情報処理装置から構成されてもよいし、クラウド形式の一部又は全部の情報処理装置から構成されてもよい。
【0253】
また、本願発明に係るシステムが複数の情報処理装置で構成される場合、各情報処理装置の所有者や管理者は、異なってもよい。
【0254】
また、情報処理装置10は、物理的な存在であってもよいし、仮想的なものであってもよい。例えば、クラウドコンピューティングを用いて、情報処理装置10を仮想的に実現してもよい。
【0255】
上述では、本例のシステムが実施する構成として説明したが、これらは、システム内の一又は複数の情報処理装置が実施する構成であってもよい。また、上述において、携帯可能な情報処理装置として説明されたものは、適宜、設置され、固定化された情報処理装置であってもよい。
【0256】
本願書類の実施例において述べた発明例は、本願書類で説明されたものに限らず、その技術的思想の範囲内で、種々の例に適用できることはいうまでもない。例えば、本願書類の実施例において、情報処理装置の画面に提示される情報は、他の情報処理装置における画面で表示できるために前記他の情報処理装置に対して送信できるよう、各実施例のシステムが構成されてもよい。
【0257】
また、本願書類で説明される処理及び手順は、実施形態において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能なものであってよい。また、本願書類で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、各種のコンピュータに実行させることが可能であってよい。またこれらのコンピュータプログラムは、記憶媒体に記憶されてよい。また、これらのプログラムは、非一過性又は一時的な記憶媒体に記憶されてよい。
【符号の説明】
【0258】
10 情報処理装置
11 演算装置
12 記憶装置
13 入力装置
14 表示装置
15 バス
16 通信装置
17 ネットワーク