IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

<>
  • 特開-人物検出システム 図1
  • 特開-人物検出システム 図2
  • 特開-人物検出システム 図3
  • 特開-人物検出システム 図4
  • 特開-人物検出システム 図5
  • 特開-人物検出システム 図6
  • 特開-人物検出システム 図7
  • 特開-人物検出システム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022168070
(43)【公開日】2022-11-04
(54)【発明の名称】人物検出システム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20221027BHJP
【FI】
G06T7/00 660Z
【審査請求】有
【請求項の数】18
【出願形態】OL
(21)【出願番号】P 2022141895
(22)【出願日】2022-09-07
(62)【分割の表示】P 2021048069の分割
【原出願日】2017-02-13
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100124811
【弁理士】
【氏名又は名称】馬場 資博
(74)【代理人】
【識別番号】100088959
【弁理士】
【氏名又は名称】境 廣巳
(74)【代理人】
【識別番号】100097157
【弁理士】
【氏名又は名称】桂木 雄二
(74)【代理人】
【識別番号】100187724
【弁理士】
【氏名又は名称】唐鎌 睦
(72)【発明者】
【氏名】新野 竜太
(57)【要約】
【課題】手間を削減しつつ、適切に迷子を検出すること。
【解決手段】本発明である人物検出システムは、監視カメラにて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部と、画像情報から、人物の行動を表す行動情報を抽出し、行動情報に基づいて複数の人物により形成されるグループを判定して人物情報を含むグループ情報を登録するグループ判定部と、監視カメラにて撮影した画像情報から、抽出した人物情報と行動情報とに基づいて第一人物を特定する第一人物特定部と、監視カメラにて撮影した画像情報から、第一人物として特定された人物の人物情報とグループ情報とに基づいて、第一人物と同一グループに属する第二人物を特定する第二人物特定部と、第一人物と第二人物とがそれぞれ特定された画像情報を撮影した監視カメラの位置情報に基づいて、第一人物と第二人物との位置を特定する位置特定部と、を備える。
【選択図】図8
【特許請求の範囲】
【請求項1】
撮像装置から画像を取得し、前記画像に基づいて人物に関する第1の特徴と第2の特徴とを含む人物情報を取得し、
検索対象の人物の人物情報と前記画像に基づいて取得した人物情報とに基づいて、所定の条件を満たす候補を取得し、
前記所定の条件を満たす候補と共に、前記第1の特徴および前記第1の特徴の関連性と、前記第2の特徴および前記第2の特徴の関連性とを提示する、
人物検出方法。
【請求項2】
請求項1に記載の人物検出方法であって、
前記所定の条件は、前記検索対象の人物と類似していることを含む、
人物検出方法。
【請求項3】
請求項1又は2に記載の人物検出方法であって、
前記撮像装置の情報と前記画像の時刻情報とを取得し、
前記画像に基づいて取得した人物情報と、前記撮像装置の情報と、前記画像の時刻情報とを結びつけて、データベースに保存する、
人物検出方法。
【請求項4】
請求項3に記載の人物検出方法であって、
前記撮像装置の情報は、前記撮像装置の位置情報を含む、
人物検出方法。
【請求項5】
請求項3又は4に記載の人物検出方法であって、
前記時刻情報は、前記候補を撮影した時刻を含む、
人物検出方法。
【請求項6】
請求項1乃至5のいずれかに記載の人物検出方法であって、
前記第1の特徴は、服に関する情報である、
人物検出方法。
【請求項7】
請求項1乃至6のいずれかに記載の人物検出方法であって、
前記第1の特徴の関連性は、前記候補における前記第1の特徴と前記検索対象の人物における前記第1の特徴との類似度合いを示し、
前記第2の特徴の関連性は、前記候補における前記第2の特徴と前記検索対象の人物における前記第2の特徴との類似度合いを示す、
人物検出方法。
【請求項8】
請求項1乃至7のいずれかに記載の人物検出方法であって、
前記第1の特徴の関連性は、前記候補における前記第1の特徴と前記検索対象の人物における前記第1の特徴とが一致するか否かを示し、
前記第2の特徴の関連性は、前記候補における前記第2の特徴と前記検索対象の人物における前記第2の特徴とが一致するか否かを示す、
人物検出方法。
【請求項9】
請求項1乃至8のいずれかに記載の人物検出方法であって、
前記撮像装置は、監視カメラである、
人物検出方法。
【請求項10】
撮像装置から画像を取得し、前記画像に基づいて人物に関する第1の特徴と第2の特徴とを含む人物情報を取得し、
検索対象の人物の人物情報と前記画像に基づいて取得した人物情報とに基づいて、所定の条件を満たす候補を取得し、
前記所定の条件を満たす候補と共に、前記第1の特徴および前記第1の特徴の関連性と、前記第2の特徴および前記第2の特徴の関連性とを提示する、
処理をコンピュータに実行させるためのプログラム。
【請求項11】
請求項10に記載のプログラムであって、
前記所定の条件は、前記検索対象の人物と類似していることを含む、
プログラム。
【請求項12】
請求項10又は11に記載のプログラムであって、
さらに、前記撮像装置の情報と前記画像の時刻情報とを取得し、
前記画像に基づいて取得した人物情報と、前記撮像装置の情報と、前記画像の時刻情報とを結びつけて、データベースに保存する、
処理をコンピュータに実行させるためのプログラム。
【請求項13】
請求項12に記載のプログラムであって、
前記撮像装置の情報は、前記撮像装置の位置情報を含む、
プログラム。
【請求項14】
請求項12又は13に記載のプログラムであって、
前記時刻情報は、前記候補を撮影した時刻を含む、
プログラム。
【請求項15】
請求項10乃至14のいずれかに記載のプログラムであって、
前記第1の特徴は、服に関する情報である、
プログラム。
【請求項16】
請求項10乃至15のいずれかに記載のプログラムであって、
前記第1の特徴の関連性は、前記候補における前記第1の特徴と前記検索対象の人物における前記第1の特徴との類似度合いを示し、
前記第2の特徴の関連性は、前記候補における前記第2の特徴と前記検索対象の人物における前記第2の特徴との類似度合いを示す、
プログラム。
【請求項17】
請求項10乃至16のいずれかに記載のプログラムであって、
前記第1の特徴の関連性は、前記候補における前記第1の特徴と前記検索対象の人物における前記第1の特徴とが一致するか否かを示し、
前記第2の特徴の関連性は、前記候補における前記第2の特徴と前記検索対象の人物における前記第2の特徴とが一致するか否かを示す、
プログラム。
【請求項18】
請求項10乃至17のいずれかに記載のプログラムであって、
前記撮像装置は、監視カメラである、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人物検出システムにかかり、特に、画像内から人物を検出する人物検出システムに関する。
【背景技術】
【0002】
大型娯楽施設や商用施設において、子供が保護者とはぐれて迷子となった場合には、スタッフや他のお客様が泣いている子を発見し、迷子センターへ誘導することで初めて判明する。しかしながら、迷子の発見を人手や目視に頼っているため、正確性の低下や時間がかかる、という問題がある。
【0003】
また、迷子を保護した後に保護者を引き合わせるためには、迷子の特徴を放送したり、保護者の迷子センターへの問い合わせに頼るのが現状である。しかしながら、迷子(特に小さい子)からは、情報の入手が困難である。また、放送を行わない娯楽施設もあり、保護者への喚起を行う手段が制限されている場合ある。このため、保護者への迷子の引き合わせにさらに時間がかかる、という問題がある。
【0004】
一方で、迷子の検知手段として、あらかじめ無線通信機器を携帯させて場所を検知する、または音で知らせる、といったことが行われている。しかしながら、常にそのような機器を子供や保護者が装着していなければならず、機器装備の負担が生じる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2007-60528号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ここで、特許文献1に、迷子を検出するシステムが開示されている。特許文献1に開示の技術では、予め登録用カメラを用意し、当該登録用カメラにて、引率者と子供との顔画像を撮影し、各顔画像とメールアドレスなどを対応づけてデータベースに登録している。そして、監視カメラにより取得した各画像から人物の顔画像を検出し、一致する顔画像があるか否かを判定する。一致する顔画像がある場合には、監視カメラの位置から子供の位置を特定し、さらに、データベースから引率者を特定する。
【0007】
しかしながら、上述した特許文献1の技術では、事前に引率者と子供とを登録用カメラで撮影して登録しなければならず、手間が生じる。一方で、撮影を怠った場合には、迷子を検出できない、という問題が生じる。
【0008】
このため、本発明の目的は、上述した課題である、手間を削減しつつ、適切に迷子を検出することができる人物検出システムを提供することにある。
【課題を解決するための手段】
【0009】
本発明の一形態である人物検出システムは、
監視カメラにて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部と、
前記画像情報から、前記人物の行動を表す行動情報を抽出し、当該行動情報に基づいて複数の人物により形成されるグループを判定して前記人物情報を含むグループ情報を登録するグループ判定部と、
前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報と前記行動情報とに基づいて第一人物を特定する第一人物特定部と、
前記監視カメラにて撮影した前記画像情報から、前記第一人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、前記第一人物と同一グループに属する第二人物を特定する第二人物特定部と、
前記第一人物と前記第二人物とがそれぞれ特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第一人物と前記第二人物との位置を特定する位置特定部と、
を備えた、
という構成をとる。
【0010】
また、本発明の一形態である人物検出方法は、
監視カメラにて撮影した画像情報から、人物を表す人物情報を抽出し、
前記画像情報から、前記人物の行動を表す行動情報を抽出し、当該行動情報に基づいて複数の人物により形成されるグループを判定して前記人物情報を含むグループ情報を登録し、
その後、前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報と前記行動情報とに基づいて第一人物を特定し、
前記監視カメラにて撮影した前記画像情報から、前記第一人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、前記第一人物と同一グループに属する第二人物を特定し、
前記第一人物と前記第二人物とがそれぞれ特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第一人物と前記第二人物との位置を特定する、
という構成をとる。
【0011】
本発明の一形態である人物検出システムは、
情報処理装置に、
監視カメラにて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部と、
前記画像情報から、前記人物の行動を表す行動情報を抽出し、当該行動情報に基づいて複数の人物により形成されるグループを判定して前記人物情報を含むグループ情報を登録するグループ判定部と、
前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報と前記行動情報とに基づいて第一人物を特定する第一人物特定部と、
前記監視カメラにて撮影した前記画像情報から、前記第一人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、前記第一人物と同一グループに属する第二人物を特定する第二人物特定部と、
前記第一人物と前記第二人物とがそれぞれ特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第一人物と前記第二人物との位置を特定する位置特定部と、
を実現させる、
という構成をとる。
【発明の効果】
【0012】
本発明は、以上のように構成されることにより、利用者の手間を削減しつつ、適切に人物を検出することができる。
【図面の簡単な説明】
【0013】
図1】本発明の第1の実施形態における情報処理システムの構成を示すブロック図である。
図2図1に開示した情報処理システムの動作を示すフローチャートである。
図3図1に開示した情報処理システムの動作を示す図である。
図4図1に開示した情報処理システムの動作を示すフローチャートである。
図5図1に開示した情報処理システムの動作を示す図である。
図6図1に開示した情報処理システムの動作を示すフローチャートである。
図7図1に開示した情報処理システムの動作を示す図である。
図8】本発明の第2の実施形態における情報処理システムの構成を示すブロック図である。
【発明を実施するための形態】
【0014】
<実施形態1>
本発明の第1の実施形態を、図1乃至図7を参照して説明する。図1は、実施形態1における情報処理システムの構成を説明するための図である。図2乃至図7は、情報処理システムの動作を説明するための図である。
【0015】
本発明における情報処理システム(人物検出システム)は、主に、大型娯楽施設や商用施設において、迷子を検出して保護者と引き合わせるために利用可能である。但し、本発明の情報処理システムは、迷子を検出することに限定されず、いかなる場所でいかなる人物を検出するために利用されてもよい。
【0016】
[構成]
本実施形態における情報処理システム10は、演算装置や記憶装置を備えた、1台又は複数台の情報処理装置にて構成されている。情報処理システム10は、図1に示すように、演算装置がプログラムを実行することで構築された、特徴抽出部11、人物抽出部12、個人特徴解析部13、行動解析部14、グループ判断部15、迷子特定部16、保護者特定部、人物位置特定部18、を備えている。また、情報処理システム10は、記憶装置に形成された、位置情報データベース(DB)21、グループデータベース(DB)22、を備えている。
【0017】
さらに、情報処理システム10には、監視カメラ31及びカメラ32が接続可能となっている。監視カメラ31は、施設内の複数箇所に設置されており、設置箇所の画像を撮影し、画像情報を情報処理システムに10に入力している。このとき、情報処理システム10内では、監視カメラ31と、当該監視カメラ31の設置箇所に対応する位置情報とが、関連付けられて登録されている。つまり、情報処理システム10では、監視カメラ31から入力された画像情報の撮影位置を認識することができる。例えば、監視カメラ31は、施設の入り口や、施設内の目印となる箇所に設置されている。
【0018】
また、上記カメラ32は、上記監視カメラ31とは異なるカメラであり、施設内の所定箇所に用意されている。カメラ32は、デジタルカメラや携帯電話に装備されたカメラであってもよく、無線や有線によって情報処理システムに接続され、撮影した画像情報を情報処理システム10に入力可能である。
【0019】
上記特徴抽出部11、人物抽出部12、個人特徴解析部13は、協働して、監視カメラ31にて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部として機能する。具体的に、特徴抽出部11は、画像情報から人物の輪郭等の外観的な特徴を表す特徴情報の抽出を行う。人物抽出部12は、抽出した特徴情報から人物を自動的に把握していく。個人特徴解析部13は、把握した各人物の年齢、服、体格等の個人特徴解析を行い、人物毎の人物情報として、監視カメラ31の位置情報及び撮影時刻と結び付けて、位置情報データベース21に保存する。これにより、位置情報データベース21は、各人物の特徴と、当該人物が出現した場所及び時刻を記憶していることとなり、人物の移動に伴い更新される。
【0020】
上記行動解析部14及びグループ判断部15は、協働して、複数の人物により形成されるグループを判定して、グループと判定された複数の人物情報を含むグループ情報をグループデータベース22に登録するグループ判定部として機能する。具体的に、行動解析部14は、動画である画像より人物の行動を解析して行動情報を抽出する。グループ判断部15は、行動情報に基づいて、相互に近い距離にいる複数の人物間における行動、例えば、移動の方向、タイミングや、会話をしているか等の行動解析を行い、複数の人物かグループか否かを自動的に判定する。グループと判断した場合は、複数の人物情報を1つのグループ情報としてグループデータベース22に登録する。
【0021】
なお、グループ判断部15によるグループ登録処理は、例えば、施設の入口付近に設置された監視カメラ31で撮影した映像から行う。但し、グループ登録処理は、あらゆる監視カメラ31で撮影した映像から行ってもよく、グループの判別を行う度に、グループ情報の更新を行ってもよい。例えば、もともと4人の人物からなるグループが、2人ずつのグループに分割したと判断した場合には、2人ずつのグループ情報をそれぞれ登録すると共に、これらグループ情報を相互に関連付けて登録してもよい。
【0022】
上記迷子特定部16(第一人物特定部)は、監視カメラにて撮影した画像情報から、抽出した人物情報と行動情報とに基づいて迷子(第一人物)を特定する。例えば、迷子特定部16は、ある場所に設置された監視カメラ31の画像から、上述した特徴抽出部11、人物抽出部12、個人特徴解析部13にて、輪郭等の特徴抽出を行い、人物を自動的に把握し、各人物の年齢、服、体格等の個人特徴解析を行った結果である人物情報に基づいて、特に迷子になりうる年齢の人物のみを抽出する。さらに、迷子特定部16は、並行して上述した行動解析部14にて行われた人物の行動解析結果である、不安げな表情や行動、単独(一人)で行動しているか等の情報より、迷子の可能性があると判断した場合は、かかる人物を迷子と特定する。
【0023】
なお、迷子特定部16は、監視カメラ31の設置位置や状況によっては、迷子と判定しないケースも設けてもよい。例えば、託児所にいる場合など、例外的に子供が親と離れていると考えられる場所では、子供が一人で行動していても、迷子と特定しなくてもよい。
【0024】
上記人物位置特定部18は、上述したように迷子特定部16で特定された迷子の位置を、当該迷子を撮影した監視カメラ31の位置情報に基づいて特定して出力する。迷子の位置情報は、例えば、迷子の位置にスタッフを派遣できるよう施設スタッフに対して通知するよう出力される。
【0025】
上記保護者特定部17(第二人物特定部)は、迷子特定部16にて特定された迷子の人物情報とグループデータベース22に登録されたグループ情報とに基づいて、迷子と同一グループに属する保護者(第二人物)を特定する。例えば、保護者特定部17は、迷子の特徴情報をグループデータベース22に問い合わせ、かかる迷子が属するグループを特定し、特定したグループ内の人物情報から大人と思われる保護者を特定する。
【0026】
上記人物位置特定部18は、上述したように保護者特定部17で特定された保護者の位置を、当該保護者の人物情報を位置情報データベース21に問い合わせて特定する。保護者の位置情報は、例えば、保護者の位置にスタッフを派遣できるように、施設スタッフに対して通知するよう出力される。
【0027】
また、上述した特徴抽出部11、人物抽出部12、個人特徴解析部13は、協働して、カメラ32にて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部として機能する。具体的には、カメラ32では迷子を探している保護者が撮影されるが、その画像情報から、上述同様に、人物の輪郭等の特徴情報の抽出を行い、人物を自動的に把握し、個人特徴解析を行う。そして、抽出した人物情報を保護者特定部17に渡す。
【0028】
上記保護者特定部17(第三人物特定部)は、カメラ32にて撮影された画像から抽出された人物情報に基づいて、グループデータベース22内を検索する。そして、グループデータベース22内に登録されているグループ情報に含まれる人物情報のうち、画像から抽出された人物情報と合致する人物を、保護者(第三人物)として特定する。このとき、特定した保護者が属するグループも特定する。
【0029】
また、上記迷子特定部16(第四人物特定部)は、上述したように特定した保護者のグループ内から、そのグループ情報に含まれる人物情報に基づいて迷子(第四人物)を特定して、迷子の人物情報を抽出する。このとき、例えば、グループ内の人物情報を調べ、その特徴情報などから子供と判定される人物を迷子として特定して、その人物情報を抽出する。さらに、迷子特定部16は、監視カメラ31にて撮影した画像から、抽出した迷子を特定する。例えば、抽出した迷子の人物情報を位置情報データベース21に問い合わせ、一致する人物情報の人物を迷子として特定する。
【0030】
上記人物位置特定部18は、上述したように特定した迷子の人物情報から、位置情報データベース21を用いて、当該迷子の位置を特定する。迷子の位置情報は、例えば、迷子の位置にスタッフを派遣できるよう施設スタッフに対して通知するよう出力される。
【0031】
[動作]
次に、上述した情報処理システムの動作を説明する。以下では、(1)グループ登録動作、(2)第一の迷子発見動作、(3)第二の迷子発見動作、を詳細に説明する。
【0032】
(1)グループ登録動作
図2及び図3を参照して、施設内にある監視カメラ31を用いて、お客様の位置情報及びグループ情報を判断し、データベースにリアルタイムに更新していくときの動作を説明する。
【0033】
まず、施設の各入口で来場者を監視カメラ31で撮影する(図2のステップS1)。そして、画像から輪郭等の特徴抽出を行い(図3のステップS11)、人物を自動的に把握していく(図3のステップS12)。さらに、各人物の年齢、服、体格等の個人特徴解析を行って、各人物の人物情報を抽出し、かかる人物情報と監視カメラ31の位置情報とを結び付けて、位置情報データベース21に保存する(図3のステップS13)。
【0034】
また、近い距離にいる人物間で、移動の方向、タイミングや、会話をしているか等の行動解析を行い(図3のステップS14)、複数の人物かグループか否かを自動的に判定する(図2のステップS2、図3のステップS15)。例えば、身長や年齢認識を用い、特に子供とその保護者の組み合わせをグループと判断する。複数の人物をグループと判断した場合は、各人物の人物情報を含むグループ情報をグループデータベース22に登録する(図2のステップS3)。これにより、後述するように、あるグループの人物が検索対象となると、同じグループと判定された他の人物の情報が出力できるようになっている。
【0035】
なお、施設内のいかなる監視カメラ31でも、常にリアルタイムに画像を撮影して、人物抽出と解析を行い、監視カメラ31の位置情報と共に人物情報を含むグループ情報を更新登録していく。これにより、どこに個人やグループがいるのかということが適宜更新される。また、各出口付近の監視カメラ31での撮影及び画像の解析によって、あるグループのメンバー全員が退場したと判断した場合には、そのグループ情報をグループデータベース22から削除する。
【0036】
同時に、各監視カメラ31にて画像が撮影される度に、上述したように画像から人物情報が抽出され、当該人物情報の位置情報が位置情報データベース21に登録される。そして、位置情報データベース21は、人物の移動に伴い更新される。
【0037】
(2)第一の迷子発見動作
図4及び図5を参照して、保護者から連絡を受ける前に迷子を発見した場合であり、保護者への連絡までの動作を説明する。
【0038】
まず、施設の各場所に設置された監視カメラ31で画像を撮影する(図4のステップS21)。そして、画像から輪郭等の特徴抽出を行い(図5のステップS31)、人物を自動的に把握していく(図5のステップS32)。さらに、各人物の年齢、服、体格等の個人特徴解析を行い(図5のステップS33)、特に迷子になりうる年齢の人物のみを抽出する。並行して、その人物の行動解析を行い(図5のステップS34)、不安げな表情や行動、単独で行動しているか等の情報より迷子の可能性があると判断した場合は、その人物を迷子として特定する(図4のステップS22、図5のステップS35)。このとき、即座に現地にスタッフを派遣できるよう施設スタッフに通知する(図5のステップS36)。現地でスタッフが迷子と判断した場合は、迷子を保護する。
【0039】
さらに、上述した処理に加えて、特定した迷子の人物情報をグループデータベース22に問い合わせ、保護者の人物情報を特定する(図4のステップS23、図5のステップS37)。例えば、特定した迷子が属するグループ内の人物情報から、大人と思われる人物を保護者として特定する。そして、保護者の人物情報を位置情報データベース21に問い合わせ、保護者の現在位置を特定する(図4のステップS24、図5のステップS38)。このとき、そこにスタッフを派遣することで、保護者に迷子を保護していることを知らせ(図5のステップS39)、保護者と迷子を速やかに引き合わせることが可能となる。
【0040】
(3)第二の迷子発見動作
図6及び図7を参照して、保護者から迷子の問い合わせがあった場合であり、迷子保護までの動作を説明する。
【0041】
保護者が迷子センターに迷子がいないか問い合わせてきた場合に、まずカメラ32で保護者を撮影する(図6のステップS41)。そして、保護者を撮影した画像から、特徴抽出(図7のステップS51)、人物抽出(図7のステップS52)、個人特徴抽出(図7のステップS53)を経て、保護者の人物情報を抽出する。そして、保護者の人物情報を元にグループデータベース22に問い合わせ、保護者と同一グループの迷子を特定し(図6のステップS42、図7のステップS54)、当該迷子の特徴を表す人物情報を取得する。
【0042】
続いて、迷子の人物情報を位置情報データベース21に問い合わせ、迷子の位置情報を取得する(図6のステップS43、図7のステップS55)。このことをスタッフに知らせることで、スタッフは現地で迷子を速やかに保護し、保護者に引き合わせることができる。
【0043】
なお、本実施形態では、グループデータベース22の問い合わせに保護者をカメラ32で撮影した画像を利用しているが、偽保護者のなりすましによる誘拐を防ぐ、及び人手によるミスを排除する効果がある。
【0044】
以上のように、本発明によると、迷子の発生から検知、その後の保護者との引き合わせまでの実行が、より短時間に、より正確に、より人手を介さず実施可能となる。その際に、モバイル機器の携帯電話等を必要とすることなく、場内に設置されたカメラ機器でシステムを構築可能であるため、サービス提供者や利用者の手間も軽減できる。
【0045】
なお、上述した情報処理システムにおいて、迷子の検知やグループの検知が、カメラ精度、行動認識の精度の問題で難しい場合は、対象を1つに限らず複数の候補を回答する形式としてもよい。その場合は、選ばれた複数の対象と与えられたヒント(何%の確率でマッチ、顔は似ているが服装が異なっている、等の情報)から、目視で正解の1つを選別してもよい。複数の候補を回答する場合でも、当たりの可能性がマッチングの過程で算出できているのであれば、当たりの可能性の高い順にソートして出力することで、迷子と保護者の引き合わせをより早く行うことの助けになる。
【0046】
<実施形態2>
次に、本発明の第2の実施形態を、図8を参照して説明する。図8は、実施形態2における人物検出システムの構成を示すブロック図である。なお、本実施形態における人物検出システムは、実施形態1で説明した情報処理システムの構成の概略を示している。
【0047】
図8に示すように、本実施形態おける人物検出システム100は、監視カメラ110にて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部101と、
画像情報から、人物の行動を表す行動情報を抽出し、当該行動情報に基づいて複数の人物により形成されるグループを判定して人物情報を含むグループ情報を登録するグループ判定部102と、
監視カメラ110にて撮影した画像情報から、抽出した人物情報と行動情報とに基づいて第一人物を特定する第一人物特定部103と、
監視カメラ110にて撮影した画像情報から、第一人物として特定された人物の人物情報とグループ情報とに基づいて、第一人物と同一グループに属する第二人物を特定する第二人物特定部104と、
第一人物と第二人物とがそれぞれ特定された画像情報を撮影した監視カメラ110の位置情報に基づいて、第一人物と第二人物との位置を特定する位置特定部105と、
を備えている。
【0048】
なお、上述した各構成101~105は、情報処理装置に装備された演算装置がプログラムを実行することで、構築されてもよい。
【0049】
上記構成の人物検出システムによると、まず、監視カメラにて撮影した画像情報から人物情報と行動情報とが抽出され、当該人物情報と行動情報とから自動的に複数の人物からなるグループ情報が登録される。このため、ユーザの手間がかからず、必ずグループ登録されることとなる。その後、あらゆる場所の監視カメラにて撮影した画像情報から抽出した人物情報と行動情報とに基づいて第一人物(例えば迷子)を特定した場合に、当該第一人物の人物情報とグループ情報とから、当該第一人物が属するグループの第二人物(例えば保護者)を特定する。そして、第一人物と第二人物とがそれぞれ撮影された監視カメラの位置情報を用いることで、それらの位置を特定することができる。その結果、事前に登録用カメラで撮影するなどの準備が不用となり、利用者の手間を削減しつつ、適切に人物を検出することができる。
【0050】
また、上述した構成に加え、上記人物抽出部は、監視カメラとは異なるカメラで人物を撮影した画像情報から、当該人物の人物情報を抽出する。そして、人物検出システムは、さらに、監視カメラとは異なるカメラで撮影した画像情報から抽出した人物の人物情報に基づいて、グループ情報の中から第三人物を特定する第三人物特定部と、第三人物として特定された人物の人物情報とグループ情報とに基づいて、特定された前記第三人物と同一グループに属する第四人物を特定すると共に、監視カメラにて撮影した画像情報から、抽出した人物情報に基づいて前記第四人物を特定する第四人物特定部と、を備える。そしてさらに、上記位置特定部は、第四人物が特定された画像情報を撮影した監視カメラの位置情報に基づいて、第四人物の位置を特定する。
【0051】
上記構成によると、まず、第三人物(例えば保護者)を監視カメラとは異なるカメラで撮影することで、その画像情報から抽出した人物情報から、グループ情報内の第三人物を特定する。そして、この第三人物と同一グループに属する第四人物(例えば迷子)をグループ情報内から特定することで当該第四人物の人物情報を取得し、監視カメラにて撮影した画像情報から第四人物を特定して、その位置を特定することができる。このように、第三人物が第四人物を探している場合であっても、適切に人物を検出することができる。
【0052】
<付記>
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における人物検出システム、プログラム、人物検出方法の構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
【0053】
(付記1)
監視カメラにて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部と、
前記画像情報から、前記人物の行動を表す行動情報を抽出し、当該行動情報に基づいて複数の人物により形成されるグループを判定して前記人物情報を含むグループ情報を登録するグループ判定部と、
前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報と前記行動情報とに基づいて第一人物を特定する第一人物特定部と、
前記監視カメラにて撮影した前記画像情報から、前記第一人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、前記第一人物と同一グループに属する第二人物を特定する第二人物特定部と、
前記第一人物と前記第二人物とがそれぞれ特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第一人物と前記第二人物との位置を特定する位置特定部と、
を備えた、
人物検出システム。
【0054】
(付記2)
付記1に記載の人物検出システムであって、
前記人物抽出部は、前記人物情報として人物の外観的な特徴を表す特徴情報を抽出し、
前記第一人物特定部は、前記特徴情報に基づいて前記第一人物として迷子を特定する、
人物検出システム。
【0055】
(付記3)
付記2に記載の人物検出システムであって、
前記第一人物特定部は、前記行動情報と前記特徴情報とに基づいて、一人で行動している子供を前記第一人物である迷子として特定する、
人物検出システム。
【0056】
(付記4)
付記2又は3に記載の人物検出システムであって、
前記第二人物特定部は、前記特徴情報に基づいて、前記第一人物として特定された迷子の保護者として前記第二人物を特定する、
人物検出システム。
【0057】
(付記5)
付記1に記載の人物検出システムであって、
前記人物抽出部は、前記監視カメラとは異なるカメラで人物を撮影した画像情報から、当該人物の人物情報を抽出し、
さらに、
前記監視カメラとは異なるカメラで撮影した画像情報から抽出した人物の前記人物情報に基づいて、前記グループ情報の中から第三人物を特定する第三人物特定部と、
前記第三人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、特定された前記第三人物と同一グループに属する第四人物を特定すると共に、前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報に基づいて前記第四人物を特定する第四人物特定部と、
を備え、
前記位置特定部は、前記第四人物が特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第四人物の位置を特定する、
人物検出システム。
【0058】
(付記6)
付記5に記載の人物検出システムであって、
前記第三人物特定部は、保護者として前記第三人物を特定し、
前記第四人物特定部は、前記第三人物として特定された保護者の子供として前記第四人物を特定する、
人物検出システム。
【0059】
(付記7)
付記1乃至6のいずれかに記載の人物検出システムであって、
前記グループ判定部は、新たな前記画像情報から抽出した前記行動情報に基づいて、前記グループ情報を更新して登録する、
人物検出システム。
【0060】
(付記8)
監視カメラにて撮影した画像情報から、人物を表す人物情報を抽出し、
前記画像情報から、前記人物の行動を表す行動情報を抽出し、当該行動情報に基づいて複数の人物により形成されるグループを判定して前記人物情報を含むグループ情報を登録し、
その後、前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報と前記行動情報とに基づいて第一人物を特定し、
前記監視カメラにて撮影した前記画像情報から、前記第一人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、前記第一人物と同一グループに属する第二人物を特定し、
前記第一人物と前記第二人物とがそれぞれ特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第一人物と前記第二人物との位置を特定する、
人物検出方法。
【0061】
(付記9)
付記8に記載の人物検出方法であって、
前記監視カメラとは異なるカメラで人物を撮影した画像情報から抽出した人物の前記人物情報に基づいて、前記グループ情報の中から第三人物を特定し、
前記第三人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、特定された前記第三人物と同一グループに属する第四人物を特定すると共に、前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報に基づいて前記第四人物を特定し、
前記第四人物が特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第四人物の位置を特定する、
人物検出方法。
【0062】
(付記10)
情報処理装置に、
監視カメラにて撮影した画像情報から、人物を表す人物情報を抽出する人物抽出部と、
前記画像情報から、前記人物の行動を表す行動情報を抽出し、当該行動情報に基づいて複数の人物により形成されるグループを判定して前記人物情報を含むグループ情報を登録するグループ判定部と、
前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報と前記行動情報とに基づいて第一人物を特定する第一人物特定部と、
前記監視カメラにて撮影した前記画像情報から、前記第一人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、前記第一人物と同一グループに属する第二人物を特定する第二人物特定部と、
前記第一人物と前記第二人物とがそれぞれ特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第一人物と前記第二人物との位置を特定する位置特定部と、
を実現させるためのプログラム。
【0063】
(付記11)
付記10に記載のプログラムであって、
前記人物抽出部は、前記監視カメラとは異なるカメラで人物を撮影した画像情報から、当該人物の人物情報を抽出し、
さらに、前記情報処理装置に、
前記監視カメラとは異なるカメラで撮影した画像情報から抽出した人物の前記人物情報に基づいて、前記グループ情報の中から第三人物を特定する第三人物特定部と、
前記第三人物として特定された人物の前記人物情報と前記グループ情報とに基づいて、特定された前記第三人物と同一グループに属する第四人物を特定すると共に、前記監視カメラにて撮影した前記画像情報から、抽出した前記人物情報に基づいて前記第四人物を特定する第四人物特定部と、
を実現させ、
前記位置特定部は、前記第四人物が特定された前記画像情報を撮影した前記監視カメラの位置情報に基づいて、前記第四人物の位置を特定する、
プログラム。
【0064】
なお、上述したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
【0065】
以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
【符号の説明】
【0066】
10 情報処理システム
11 特徴抽出部
12 人物抽出部
13 個人特徴解析部
14 行動解析部
15 グループ判断部
16 迷子特定部
17 保護者特定部
18 人物位置特定部
21 位置情報データベース
22 グループデータベース
31 監視カメラ
32 カメラ
100 人物検出システム
101 人物抽出部
102 グループ判定部
103 第一人物特定部
104 第二人物特定部
105 位置特定部
110 監視カメラ
図1
図2
図3
図4
図5
図6
図7
図8