特許 5888770 迷子発見システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5888770

(24)【登録日】2016年2月26日

(45)【発行日】2016年3月22日

(54)【発明の名称】迷子発見システム及び方法

(51)【国際特許分類】

   G08B 25/00 20060101AFI20160308BHJP

   G08B 21/02 20060101ALI20160308BHJP

【ＦＩ】

   G08B25/00 510M

   G08B21/02

【請求項の数】11

【全頁数】17

(21)【出願番号】特願2011-207350(P2011-207350)

(22)【出願日】2011年9月22日

(65)【公開番号】特開2013-69128(P2013-69128A)

(43)【公開日】2013年4月18日

【審査請求日】2014年8月11日

(73)【特許権者】

【識別番号】302069930

【氏名又は名称】ＮＥＣエンベデッドプロダクツ株式会社

(74)【代理人】

【識別番号】100123788

【弁理士】

【氏名又は名称】宮崎 昭夫

(74)【代理人】

【識別番号】100127454

【弁理士】

【氏名又は名称】緒方 雅昭

(72)【発明者】

【氏名】小関 雅典

【審査官】 宮田 繁仁

(56)【参考文献】

【文献】 特開２００６−０９２３９６（ＪＰ，Ａ）

【文献】 特開２００７−０６０５２８（ＪＰ，Ａ）

【文献】 特開２００４−１５１８２０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｂ１９／００−３１／００

Ｇ０６Ｑ５０／００

Ｇ０６Ｔ７／００−７／６０

Ｈ０４Ｎ７／１８

(57)【特許請求の範囲】

【請求項1】

子供と前記子供の保護者とが来訪する場所に設けられる迷子発見システムであって、
前記場所内に複数台設けられたカメラからの撮像データを保持する来場者画像データベースと、
前記来場者画像データベース内の各撮像データから当該撮像データに含まれる人物の顔特徴情報を抽出する顔特徴情報抽出手段と、
前記来場者画像データベース内の各撮像データから当該撮像データに含まれる人物の年齢を推定する年齢推定手段と、
各保護者について顔特徴情報を保持する保護者情報と、各子供について当該子供の顔特徴情報と迷子度と対応する保護者に関する前記保護者情報へのリンクとを有する子供情報と、を保持する保護者推定データベースと、
前記場所の入場口に設けられたカメラによる前記撮像データ内に写っている人物に関し、前記年齢推定手段で得られた推定年齢に基づき子供とその保護者とに分類し、分類した子供とその保護者とを対応付けて前記保護者推定データベースに登録する保護者推定ＤＢ登録手段と、
子供を含んでいる新たな撮像データに関し、当該子供の顔特徴量に基づいて前記保護者推定データベース内の子供情報を検索してまず当該子供を特定して当該子供に対応する保護者の保護者情報から当該子供に対応する保護者の顔特徴情報を取得して当該撮像データとのマッチングを行うことにより、当該子供が当該保護者と一緒に写っているか否かを判別し、一緒に写っていれば当該子供の迷子度をダウンし、一緒に写っていなければアップし、その後、前記迷子度がしきい値に達していればアラームを発生する保護者推定手段と、
を有する、迷子発見システム。

【請求項2】

前記保護者推定データベースは、いずれかの撮像データで前記子供と一緒に写っているが前記子供の保護者ではない人物である第三者について、当該第三者の顔特徴情報と前記子供に対する当該第三者の第三者同伴度とを有する第三者情報をさらに保持し、
前記保護者推定手段は、前記新たな撮像データに関し、前記子供と第三者とが一緒に写っていて前記子供に対応する保護者が写っていない場合に当該第三者の第三者同伴度をアップし、前記子供と当該第三者と前記子供に対応する保護者とが一緒に写っている場合に当該第三者の第三者同伴度をダウンし、その後、前記第三者同伴度がしきい値に達していればアラームを発生する、請求項１に記載の迷子発見システム。

【請求項3】

前記保護者情報内に保護者同伴度を有し、
前記保護者推定手段は、前記新たな撮像データに関し、前記子供と当該子供に対応する保護者とが一緒に写っていれば当該保護者の保護者同伴度をアップし、当該子供に関して前記保護者が一緒に写っていなければ当該保護者の保護者同伴度をダウンし、前記アラームを発生したときに、当該子供の保護者のうち前記保護者同伴度が高い保護者から保護者の所在検索を行う、
請求項１または２に記載の迷子発見システム。

【請求項4】

前記各撮像データごとに撮像したカメラを特定する情報と、撮像時刻と、当該撮像データに含まれる人物の前記顔特徴情報及び前記推定年齢とを保持する顔特徴データベースをさらに備える、請求項１乃至３のいずれか１項に記載の迷子発見システム。

【請求項5】

前記入場口に、前記子供と前記子供に対応する保護者との組み合わせごとに前記場所に来場することを促すための回転扉または二重扉を備える、請求項１乃至４のいずれか１項に記載の迷子発見システム。

【請求項6】

子供と前記子供の保護者とが来訪する場所における迷子発見方法であって、
各保護者について顔特徴情報を保持する保護者情報と、各子供について当該子供の顔特徴情報と迷子度と対応する保護者に関する前記保護者情報へのリンクとを有する子供情報と、を保持する保護者推定データベースを用い、
前記場所内に複数台設けられたカメラからの撮像データを来場者画像データベースに保持することと、
画像処理により、前記来場者画像データベース内の各撮像データから当該撮像データに含まれる人物の顔特徴情報を抽出することと、
画像処理により、推定年齢として、前記来場者画像データベース内の各撮像データから当該撮像データに含まれる人物の年齢を推定することと、
前記場所の入場口に設けられたカメラによる前記撮像データ内に写っている人物に関し、前記推定年齢に基づき子供とその保護者とに分類し、分類した子供とその保護者とを対応付けて、前記保護者推定データベースに登録することと、
子供を含んでいる新たな撮像データに関し、当該子供の顔特徴量に基づいて前記保護者推定データベース内の子供情報を検索してまず当該子供を特定して当該子供に対応する保護者の保護者情報から当該子供に対応する保護者の顔特徴情報を取得して当該撮像データとのマッチングを行うことにより、当該子供が当該保護者と一緒に写っているか否かを判別し、一緒に写っていれば当該子供の迷子度をダウンし、一緒に写っていなければアップし、その後、前記迷子度がしきい値に達していればアラームを発生することと、
を有する、迷子発見方法。

【請求項7】

前記保護者推定データベースは、いずれかの撮像データで前記子供と一緒に写っているが前記子供の保護者ではない人物である第三者について、当該第三者の顔特徴情報と前記子供に対する当該第三者の第三者同伴度とを有する第三者情報をさらに保持し、
前記新たな撮像データに関し、前記子供と第三者とが一緒に写っていて前記子供に対応する保護者が写っていない場合に当該第三者の第三者同伴度をアップし、前記子供と当該第三者と前記子供に対応する保護者とが一緒に写っている場合に当該第三者の第三者同伴度をダウンし、その後、前記第三者同伴度がしきい値に達していればアラームを発生する、請求項６に記載の迷子発見方法。

【請求項8】

前記保護者情報内に保護者同伴度を有し、
前記新たな撮像データに関し、前記子供と当該子供に対応する保護者とが一緒に写っていれば当該保護者の保護者同伴度をアップし、当該子供に関して前記保護者が一緒に写っていなければ当該保護者の保護者同伴度をダウンし、前記アラームを発生したときに、当該子供の保護者のうち前記保護者同伴度が高い保護者から保護者の所在検索を行う、請求項６または７に記載の迷子発見方法。

【請求項9】

コンピュータを、
子供と前記子供の保護者とが来訪する場所内に複数台設けられたカメラからの撮像データを保持する来場者画像データベースと、
前記来場者画像データベース内の各撮像データから当該撮像データに含まれる人物の顔特徴情報を抽出する顔特徴情報抽出手段と、
前記来場者画像データベース内の各撮像データから当該撮像データに含まれる人物の年齢を推定する年齢推定手段と、
各保護者について顔特徴情報を保持する保護者情報と、各子供について当該子供の顔特徴情報と迷子度と対応する保護者に関する前記保護者情報へのリンクとを有する子供情報と、を保持する保護者推定データベースと、
前記場所の入場口に設けられたカメラによる前記撮像データ内に写っている人物に関し、前記年齢推定手段で得られた推定年齢に基づき子供とその保護者とに分類し、分類した子供とその保護者とを対応付けて前記保護者推定データベースに登録する保護者推定ＤＢ登録手段と、
子供を含んでいる新たな撮像データに関し、当該子供の顔特徴量に基づいて前記保護者推定データベース内の子供情報を検索してまず当該子供を特定して当該子供に対応する保護者の保護者情報から当該子供に対応する保護者の顔特徴情報を取得して当該撮像データとのマッチングを行うことにより、当該子供が当該保護者と一緒に写っているか否かを判別し、一緒に写っていれば当該子供の迷子度をダウンし、一緒に写っていなければアップし、その後、前記迷子度がしきい値に達していればアラームを発生する保護者推定手段と、
として機能させるプログラム。

【請求項10】

前記保護者推定データベースは、いずれかの撮像データで前記子供と一緒に写っているが前記子供の保護者ではない人物である第三者について、当該第三者の顔特徴情報と前記子供に対する当該第三者の第三者同伴度とを有する第三者情報をさらに保持し、
前記保護者推定手段は、前記新たな撮像データに関し、前記子供と第三者とが一緒に写っていて前記子供に対応する保護者が写っていない場合に当該第三者の第三者同伴度をアップし、前記子供と当該第三者と前記子供に対応する保護者とが一緒に写っている場合に当該第三者の第三者同伴度をダウンし、その後、前記第三者同伴度がしきい値に達していればアラームを発生する、請求項９に記載のプログラム。

【請求項11】

前記保護者情報内に保護者同伴度を有し、
前記保護者推定手段は、前記新たな撮像データに関し、前記子供と当該子供に対応する保護者とが一緒に写っていれば当該保護者の保護者同伴度をアップし、当該子供に関して前記保護者が一緒に写っていなければ当該保護者の保護者同伴度をダウンし、前記アラームを発生したときに、当該子供の保護者のうち前記保護者同伴度が高い保護者から保護者の所在検索を行う、
請求項９または１０に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、多人数が来訪する場所等において、迷子の発生を早期に発見する迷子発見システム及び方法に関する。

【背景技術】

【0002】

ショッピングセンターや子供向けイベント会場においては、子供が保護者からはぐれてしまういわゆる迷子の事象が発生しがちである。従来は、子供がいないことに気付いた保護者からの申告に基づいて、迷子となった子供の捜索を開始するため、実際に迷子となったときからその解決までの時間が長くかかりがちである。

【0003】

特許文献１には、予め複数のカメラが配置されて映像を収集している会場内において迷子となった子供を捜すための迷子検索・監視システムが開示されている。この迷子検索・監視システムでは、現在までに撮影された（あるいは現に撮影しつつある）映像に映っている人物像の中から、迷子となった子供の人物像と類似しているものを検索することによって、その子供が現時点でどこにいるか（あるいは直前にどこにいたか）を探し出すものである。このシステムでは、迷子となった子供の人物像を必要とするが、これについては、迷子となる前にはその子供と保護者とは同一映像に記録されているであろうことを利用する。すなわち、保護者から迷子の発生の申告があったときに、その保護者の画像を撮影し、会場内のカメラで既に撮影した映像の中からその保護者が含まれているものを検索し、保護者と一緒に写っている子供を捜索対象の子供の候補として提示し、候補の中から捜索対象の子供が指定されたら、指定された子供の人物像を迷子となった子供の人物像として用いる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００４−１５１８２０

【発明の開示】

【発明が解決しようとする課題】

【0005】

保護者によって迷子発生の申告があってから、迷子となる子供の捜索を開始する場合には、迷子の発生に気付くのが遅くなればなるほど、子供が迷子状態となっている時間が長くなってしまう、という問題点がある。特許文献１に記載の迷子捜索・監視システムも保護者からの申告があることを前提としている。しかしながら、子供の連れ去りなどの犯罪を未然に防止する観点からも迷子の早期解決が必要であり、保護者からの申告の有無等によらず、迷子の事象の発生を早期に検出できるようにすることが求められている。

【0006】

本発明の目的は、保護者などからの申告に依存することなく、迷子の発生を早期に検出し、その迷子に対応できるようにする迷子発見システム及び方法を提供することにある。

【課題を解決するための手段】

【0007】

本発明の迷子発見システムは、子供とその子供の保護者とが来訪する場所に設けられる迷子発見システムであって、場所内に複数台設けられたカメラからの撮像データを保持する来場者画像データベースと、来場者画像データベース内の各撮像データからその撮像データに含まれる人物の顔特徴情報を抽出する顔特徴情報抽出手段と、来場者画像データベース内の各撮像データからその撮像データに含まれる人物の年齢を推定する年齢推定手段と、各保護者について顔特徴情報を保持する保護者情報と、各子供についてその子供の顔特徴情報と迷子度と対応する保護者に関する保護者情報へのリンクとを有する子供情報と、を保持する保護者推定データベースと、場所の入場口に設けられたカメラによる撮像データ内に写っている人物に関し、年齢推定手段で得られた推定年齢に基づき子供とその保護者とに分類し、分類した子供とその保護者とを対応付けて保護者推定データベースに登録する保護者推定ＤＢ登録手段と、子供を含んでいる新たな撮像データに関し、その子供の顔特徴量に基づいて保護者推定データベース内の子供情報を検索してまず子供を特定してその子供に対応する保護者の保護者情報からその子供に対応する保護者の顔特徴情報を取得して撮像データとのマッチングを行うことにより、子供が保護者と一緒に写っているか否かを判別し、一緒に写っていればその子供の迷子度をダウンし、一緒に写っていなければアップし、その後、迷子度がしきい値に達していればアラームを発生する保護者推定手段と、を有する。

【0008】

本発明の迷子発見方法は、子供とその子供の保護者とが来訪する場所における迷子発見方法であって、各保護者について顔特徴情報を保持する保護者情報と、各子供についてその子供の顔特徴情報と迷子度と対応する保護者に関する保護者情報へのリンクとを有する子供情報と、を保持する保護者推定データベースを用い、場所内に複数台設けられたカメラからの撮像データを来場者画像データベースに保持することと、画像処理により、来場者画像データベース内の各撮像データからその撮像データに含まれる人物の顔特徴情報を抽出することと、画像処理により、推定年齢として、来場者画像データベース内の各撮像データからその撮像データに含まれる人物の年齢を推定することと、場所の入場口に設けられたカメラによる撮像データ内に写っている人物に関し、推定年齢に基づき子供とその保護者とに分類し、分類した子供とその保護者とを対応付けて、保護者推定データベースに登録することと、子供を含んでいる新たな撮像データに関し、子供の顔特徴量に基づいて保護者推定データベース内の子供情報を検索してまずその子供を特定してその子供に対応する保護者の保護者情報からその子供に対応する保護者の顔特徴情報を取得して撮像データとのマッチングを行うことにより、子供が保護者と一緒に写っているか否かを判別し、一緒に写っていればその子供の迷子度をダウンし、一緒に写っていなければアップし、その後、迷子度がしきい値に達していればアラームを発生することと、を有する。

【発明の効果】

【0009】

本発明では、入場口での撮像データに基づいて子供とその子供に対応する保護者とを判別して保護者推定データベースに登録し、その後の新たな撮像データにおいて子供が保護者とは一緒に写っていない場合にはその子供の迷子度を大きくし、迷子度がしきい値に達した時点でアラームを自動的に発生させることにより、子供が保護者と離れて行動していることを推測できて、保護者が気づいていない早期の段階から迷子の発生を検出できるように、迷子の早期解決を可能とすることができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施の一形態の迷子発見システムの構成を示す概要図である。

【図2】実施の一形態の迷子発見システムの構成を示すブロック図である。

【図3】実施の一形態の迷子発見システムの動作を示すフローチャートである。

【図4】実施の一形態の迷子発見システムの動作を示すフローチャートである。

【図5】実施の一形態の迷子発見システムの動作を説明する図である。

【図6】実施の一形態の迷子発見システムの動作を説明する図である。

【図7】実施の一形態の迷子発見システムの動作を説明する図である。

【図8】実施の一形態の迷子発見システムの動作を説明する図である。

【図9】入場口の構造の一例を示す図である。

【図10】入場口の構造の一例を示す図である。

【発明を実施するための形態】

【0011】

次に本発明の実施の形態について、図面を参照して説明する。図１は、本発明の実施の一形態の迷子発見システムの概要を示している。ここで示す例では、子供連れを含む多数の来訪者がある場所としてショッピングセンターを例に挙げ、ショッピングセンターにおいて迷子の早期発見を行う場合を説明する。

【0012】

ショッピングセンター１０では、例えば、１階に食料品売り場、２階に婦人服売り場、３階に玩具売り場と子供服売り場が設けられているものとし、１階の入場口と各売り場とには、来場者を撮像するために、それぞれカメラ１１が設けられている。カメラ１１で撮像されたデータは、ネットワークを構成するハブ１２を介して、管理装置１３に送信される。管理装置１３は、例えば、パーソナルコンピュータなどによって構成することができる。特にこの迷子発見システムでは、来場者が来場した時点で画像処理によって保護者と子供とを対応付けており、このため、入場口では、保護者と子供との組み合わせごとにそれらの保護者と子供とが一緒に写った画像を取得する必要がある。そこで後述するように、一例として入場口において回転扉を用い、保護者と子供との組み合わせごとに回転扉を介して入場するようにしてその入場の際にカメラ１１によって画像を取得する。

【0013】

図２は、本実施形態の迷子発見システムの構成を示すブロック図である。

【0014】

ショッピングセンター１０内の各所に配置された複数台のカメラ１１と、管理装置１３とは、ハブ１２（図１参照）を含むネットワーク１４を介して接続している。複数台のカメラ１１には、重複がないようにカメラ番号が付与されている。図示したものでは、入場口、食料品売り場、婦人服売り場、玩具売り場及び子供服売り場のカメラ１１に対し、それぞれ、１〜５のカメラ番号が付与されているものとする。各カメラ１１は、レンズとイメージセンサなどを備えて実際に画像を取得する撮像部２１と、撮像部２１で取得した撮像データから画像処理によって顔を検出し、その撮像データ中に含まれる人物の人数を検出人数として判定する顔検出部２２と、ネットワーク１４と接続するインタフェース（Ｉ／Ｆ）２３とを備えている。顔検出部２２は、例えば、公知の技術によって、撮像データから瞳を検出することにより顔を検出するものである。各カメラ１１から管理装置１３へは、ネットワーク１４を介して、当該カメラのカメラ番号と、撮像データと、その撮像データの撮像時刻と、その撮像データに対する検出人数とが送信されるようになっている。

【0015】

管理装置１３は、ネットワーク１４に対して接続するインタフェース（Ｉ／Ｆ）３１と、各カメラ１１による撮像データを保存するためのデータベース（ＤＢ）である来場者画像ＤＢ３２と、人物を特定するために、撮像データから検出された顔の特徴点を顔特徴情報として抽出する顔特徴情報抽出部３３と、撮像データから検出された顔からその人物の年齢を推定する年齢推定部３４と、顔特徴情報抽出部３３によって抽出された顔特徴情報と年齢推定部３４によって推定された推定年齢とを保持する顔特徴ＤＢ３５と、子供情報と保護者情報と第三者情報とがリンク付けされて記録されるデータベースである保護者推定ＤＢ３６と、保護者推定ＤＢ３６中の指定された子供情報に対応する保護者もしくは第三者として保護者情報もしくは第三者情報を保護者推定ＤＢ３６に登録する保護者推定ＤＢ登録部３７と、保護者推定部３８と、を備えている。保護者推定部３８は、推定年齢から子供を含んでいると判定された撮像データに関し、その撮像データによる画像中の子供以外の人物について、その人物の顔画像特徴と、保護者推定ＤＢ３６においてその画像中の子供に対応する子供情報に関連付けられている保護者の顔画像特徴とのマッチングを行い、一致すれば保護者として推定し、一致しなければ第三者として推定する。保護者推定部３８は、推定結果と保護者推定ＤＢ３６内の各情報とに基づいて、迷子の発生などを検知し、アラームを出力する機能も備えている。

【0016】

ここで、管理装置１３内に設けられる３つのデータベース（来場者画像ＤＢ３２、顔特徴ＤＢ３５及び保護者推定ＤＢ３６）について説明する。

【0017】

カメラ１１による撮像データを保存するための来場者画像ＤＢ３２は、カメラ番号で特定されるカメラごとに、及び、撮像時刻ごとに、撮像データとその撮像データ中に含まれる人物の人数（すなわち検出人数）とを格納するものであり、データフィールドとして、「カメラ番号」、「撮像データ」、「撮像時刻」及び「検出人数」を備えている。来場者画像ＤＢ３２には、管理装置１３がネットワーク１４を介してそれぞれのカメラ１１から撮像データを受け取るたびに、その撮像データが蓄積されることになる。

【0018】

顔特徴ＤＢ３５は、各撮像データに含まれる人物像ごとに、顔特徴情報抽出部３３によって抽出された顔特徴情報と年齢推定部３４によって推定された推定年齢とを保持する。例えば、あるカメラのある時刻の撮像データに３人の人物が写っていたとすれば、その撮像データから顔特徴ＤＢ３５における３件分のデータレコードが生成することになる。顔特徴ＤＢ３５は、データフィールドとして、「カメラ番号」、「撮像時刻」、「顔特徴情報」及び「推定年齢」を備えている。

【0019】

保護者推定ＤＢ３６は、上述したように、子供情報と保護者情報と第三者情報とをリンク付けして記録するデータベースである。ここで子供情報とは、推定年齢により子供であると判断された来場者ごとに、その子供である来場者の顔特徴情報、推定年齢、迷子度、保護者情報及び第三者情報への関連付けを記録するものであり、データフィールドとして、「子供番号」、「顔特徴情報」、「推定年齢」、「迷子度」、「保護者情報へのリンク」、「第三者情報へのリンク」を含んでいる。子供番号は、子供である来場者を重複なく識別するために一意に付与される番号である。

【0020】

保護者情報とは、入場口で取得した撮像データにおいて子供と一緒に写っていたことにより、その子供の保護者と推定した来場者ごとに、その来場者の顔特徴情報、推定年齢、保護者同伴度、他の保護者情報への関連付けを記録するものであり、データフィールドとして、「保護者番号」、「顔特徴情報」、「推定年齢」、「保護者同伴度」、「次の保護者情報へのリンク」を含んでいる。保護者番号は、保護者と推定された来場者を重複なく識別するために一意に付与される番号である。子供情報から保護者情報へのリンク付けは、子供情報の「保護者情報へのリンク」のフィールドに、その子供に対応する保護者の保護者番号を格納することによって行われる。１人の子供に対して２人以上の保護者が対応する場合があり得るが、その場合は、子供情報の「保護者情報へのリンク」のフィールドに複数の保護者番号を格納するか、あるいは、子供情報の「保護者情報へのリンク」には１人分の保護者番号を格納し、残りの保護者については、子供情報からリンクされている保護者情報の「次の保護者情報へのリンク」に保護者番号を格納することにより、ディジーチェーン形態で子供情報から保護者情報をたぐることができるようにする。

【0021】

第三者情報とは、子供でもその子供に対して推定された保護者でもないが、いずれかの撮像データにおいてその子供と一緒に写っていた来場者（以下、第三者と呼ぶ）に関する情報であり、子供情報や保護者情報とは異なって、そのような第三者の存在が確認されたときに初めて生成されるものである。第三者情報は、第三者であると判断された来場者ごとに、その来場者の顔特徴情報、推定年齢、第三者同伴度、他の第三者情報への関連付けを記録するものであり、データフィールドとして、「第三者番号」、「顔特徴情報」、「推定年齢」、「第三者同伴度」、「次の第三者情報へのリンク」を含んでいる。第三者番号は、第三者と判断された来場者を重複なく識別するために一意に付与される番号である。子供情報から第三者情報へのリンク付けは、子供情報の「第三者情報へのリンク」のフィールドに、その子供に対応する第三者の第三者番号を格納することによって行われる。１人の子供に対して２人以上の第三者が対応する場合があり得るが、その場合は、子供情報の「第三者情報へのリンク」のフィールドに複数の第三者番号を格納するか、あるいは、子供情報の「第三者情報へのリンク」には１人分の第三者番号を格納し、残りの第三者については、子供情報からリンクされている第三者情報の「次の第三者情報へのリンク」に第三者番号を格納することにより、ディジーチェーン形態で子供情報から第三者情報をたぐることができるようにする。なお、推定された保護者であるか第三者であるかは、子供である来場者からの関係で決定されるので、ある子供の保護者として推定された人物が、他の子供との関係では第三者となることは起こり得ることである。

【0022】

次に、保護者指定ＤＢ３６に格納される「迷子度」、「保護者同伴度」及び「第三者同伴度」について説明する。

【0023】

迷子度とは、例えば０以上の整数値で表され、その値が大きいほど、子供である来場者についてその子供が迷子であるとことがより強く推定される指標である。入場口で撮像された画像において推定年齢から子供と判断された人物が、その後に撮像された画像において、その子供に関して推定された保護者と一緒には写っていない場合、すなわち、その子供一人で行動しているか、保護者以外の来場者のみとともに写っている場合に、迷子度の値は大きく（例えば、１だけアップ（すなわちインクリメント））される。一方、子供がその保護者と一緒に画像に写っている場合には、迷子度の値は小さく（例えば、１だけダウン（すなわちデクリメント））されるか、あるいはゼロにリセットされる。入場口では子供とその保護者とは一緒の画像に写っているので、迷子度の初期値はゼロとする。以下の説明において、入場口での撮像により推定年齢から子供と判断された人物のことを単に「子供」と呼ぶ。ある子供に関して迷子度があるしきい値（例えば、３）以上となった場合に、保護者推定部３８は、その子供に関して迷子になったおそれがあるとして、アラームを発生する。

【0024】

保護者同伴度とは、入場口での撮像によってある子供の保護者と推定された人物（以下、単に「保護者」と呼ぶ）に関し、その人物とリンクされている子供とどれだけ一緒にいるかを示す指標であって、例えば、０以上の整数値で表されるものである。新たに入力した画像において子供が、その子供に関連付けられている保護者と一緒に写っている場合に、その保護者についての保護者同伴度が大きく（例えば、１だけアップ）され、そうでない場合には、保護者同伴度は小さく（例えば、１だけダウン）される。１人の子供に２人の保護者が対応することもあるが、その場合、いずれかの画像において一方の保護者だけが子供と一緒に映っていたとすれば、当該画像に写っている方の保護者の保護者同伴度を大きくし、写っていない方の保護者同伴度を小さくする。入場口では子供とその保護者とは一緒の画像に写っているので、保護者同伴度の初期値は例えば１０とする。この初期値は、子供と一緒に画像に写っている保護者についての保護者同伴度の最小値としても使用することができる。このように最小値を設定すると、子供と別れて行動していたなどの理由で保護者同伴度が例えば７などになっていたとしても、子供と同一画像に写ることで、保護者同伴度は少なくとも１０にまで回復することになる。子供とその保護者が常に同じ行動をとっていると、保護者同伴度が際限なく大きくなる可能性があるので、保護者同伴度のとりうる値に上限を設け、上限に達した後は、画像において子供と一緒にその保護者が写っている場合には保護者同伴度を変化させないようにしてもよい。

【0025】

第三者同伴度は、子供の連れ去りなどのおそれを早期に発見するために設けられた指標であり、例えば、０以上の整数値で表されるものである。入場口での撮像データ中には子供と写ってはいないのでその子供の保護者ではないが、それ以降に撮像された画像において子供と一緒に写っている人物を第三者と定義する。ある子供に関してその子供がその保護者とは一緒に写っていない画像において、ある第三者がその子供と一緒に写っていれば、その第三者についての第三者同伴度が大きく（例えば、１だけアップ）される。一方、画像においてその子供が単独で写っている場合、あるいは、その第三者も写っているがその子供の保護者とも一緒に写っている場合には、その第三者についての第三者同伴度は小さく（例えば、１だけダウン）される。ただし、保護者と第三者が子供と一緒に撮像データ中に写っている場合には、最低でも第三者同伴度が１となるようにする。ある子供に関してその子供と対応付けられている第三者の第三者同伴度があるしきい値（例えば、３）以上となった場合に、保護者推定部３８は、その子供に関して第三者による連れ去りのおそれがあるとして、アラームを発生する。第三者は入場口での画像では子供とは写っていないので、第三者同伴度の初期値は潜在的には０であるが、実際には、子供と一緒に写っている第三者を初めて検出した時点で上述した保護者推定ＤＢ３６中の第三者情報が生成されるので、第三者を初めて検出した時点でゼロでない第三者同伴度をその第三者に与えるようにすればよい。また、第三者同伴度の値が正からゼロになった時点で、対応する第三者の第三者情報自体を保護者推定ＤＢ３６から削除してしまえばよい。

【0026】

本実施形態では第三者同伴度を規定しているが、第三者同伴度を用いることにより、保護者以外の第三者と子供が行動を共にしていることを早期に検出できるので、連れ去りなどの万が一の犯罪の発生抑止に寄与することができる。

【0027】

「迷子度」、「保護者同伴度」及び「第三者同伴度」についての説明から明らかなように、入場口での撮像データに基づいて子供とその保護者との関連付けがなされ、それに基づいて保護者推定ＤＢ３６に子供情報と保護者情報が記録されているとして、保護者推定部３８は、入場口以外で撮像され新たに入力した撮像データであって子供を含む画像に関し、顔特徴量に基づいて保護者推定ＤＢ３６内の子供情報を検索してまずその子供を特定し、その画像に子供が単独で写っていれば迷子度をアップして保護者同伴度と第三者同伴度をダウンし、その画像に保護者が写っていれば迷子度と第三者同伴度をダウンして保護者同伴度をアップし、その画像に保護者は写っていないが第三者が写っていれば迷子度と第三者同伴度をアップして保護者同伴度をダウンする処理を行い、迷子度と第三者同伴度のいずれかがそれぞれのしきい値に達した場合にアラームを発生する処理を実行する。

【0028】

次に、この迷子発見システムの動作を説明する。

【0029】

まず、図３を用いて、入場口で撮像した撮像データに対する処理を説明する。ステップ１０１では、入場口のカメラ１１において、撮像を行って来場者の瞳検出を行い、そのカメラのカメラ番号と撮像データと検出人数と撮像時刻とを管理装置１３に送信する。入場口では、子供と保護者との対応付けを行うために、子供と保護者とが１枚の画像に収まるように誘導して撮像を行うようにする。次にステップ１０２において、管理装置１３では、カメラ１１から送信されてきたこれらのデータを来場者画像ＤＢ３２に登録する。

【0030】

次に、ステップ１０３において、来場者画像ＤＢ３２に登録された撮像データから、顔特徴情報抽出部３３が顔特徴情報を抽出し、年齢推定部３４が年齢を推定し、これらの顔特徴情報と推定年齢とは、対応する撮像データのカメラ番号と撮像時刻とともに、顔特徴ＤＢ３５に登録される。ステップ１０４では、対象としている撮像データから検出された全ての人物に関して顔特徴データＤＢ３５への登録が行われたかどうかをチェックし、未処理の人物があればステップ１０３に戻り、検出された全ての人物に関して処理が完了していれば、ステップ１０５に進む。

【0031】

ステップ１０５では、保護者推定ＤＢ登録部３７が、顔特徴ＤＢ３５に登録されたデータに関してその中に子供が存在するかを判断し、存在していなければそのまま処理を終了し、存在していれば、ステップ１０６において保護者推定ＤＢ３６への登録処理を行ってから、処理を終了する。ステップ１０６の登録処理では、同一の撮像データから検出された人物に関し、推定年齢から子供と判断される人物に関する顔特徴情報と推定年齢とを保護者推定ＤＢ３６の子供情報に登録し、子供とは判断されなかった人物を保護者として、保護者の顔特徴情報と推定年齢とを保護者推定ＤＢ３６の保護者情報に登録する。これらの処理は、同一の撮像データから検出された全ての人物に関して実行される。

【0032】

以上の処理により、入場口で撮像された画像に基づいて、子供とその潜在保護者とが関連付けられて保護者推定ＤＢ３６に登録されたことになる。

【0033】

次に、入場口以外のカメラ１１（すなわち、各売り場等に設けられたカメラ１１）で撮像した撮像データに対する処理を説明する。

【0034】

ステップ１１１において、各売り場などに設けられたカメラ１１において撮像を行って来場者の瞳検出を行い、そのカメラのカメラ番号と撮像データと検出人数と撮像時刻とを管理装置１３に送信する。次にステップ１１２において、管理装置１３では、カメラ１１から送信されてきたこれらのデータを来場者画像ＤＢ３２に登録する。次に、ステップ１１３において、来場者画像ＤＢ３２に登録された撮像データから、顔特徴情報抽出部３３が顔特徴情報を抽出し、年齢推定部３４が年齢を推定し、これらの顔特徴情報と推定年齢とは、対応する撮像データのカメラ番号と撮像時刻とともに、顔特徴ＤＢ３５に登録される。ステップ１１４では、対象としている撮像データから検出された全ての人物に関して顔特徴データＤＢ３５への登録が行われたかどうかをチェックし、未処理の人物があればステップ１１３に戻り、検出された全ての人物に関して処理が完了していれば、ステップ１１５に進む。ステップ１１５では、保護者推定部３８が、顔特徴ＤＢ３５に登録されたデータに関してその中に子供が存在するかを判断し、存在していなければそのまま処理を終了し、存在していれば、ステップ１１６に進む。

【0035】

ステップ１１６では、子供を含む現在処理対象としている撮像データに関し、保護者推定部３８が、その子供の顔特徴に基づいて保護者推定ＤＢ３６内の子供情報を検索してどの子供であるかを特定し、その子供に対応した保護者を検索する。具体的には、顔特徴ＤＢ３５から得られたその子供の顔特徴情報と同じ顔特徴情報である子供を子供情報から検索する。

【0036】

次にステップ１１７において、保護者推定部３８は、現在処理対象としている撮像データ中に、ステップ１１６で特定した子供以外の人物が存在するかどうかを調べ、もし存在すればその人物を現時点推定保護者とする。現時点推定保護者には、入場口での撮像によってその子供に関連付けられた保護者と、第三者との両方が含まれ得る。ステップ１１７ののち、ステップ１１８では、撮像データ中に現時点推定保護者が含まれているかどうかを判断し、現時点推定保護者がいればステップ１１９に進み、いなければステップ１２５に進む。

【0037】

ステップ１１９では、保護者推定部３８は、特定された子供に関し、保護者推定ＤＢ３６内の子供情報中の「保護者情報へのリンク」をたどってその子供の保護者情報を取得し、保護者情報中の顔特徴情報と現時点推定保護者の顔特徴情報とをマッチングさせる。ステップ１２０では、マッチングの結果、一致したかどうか、すなわち、対象とした撮像データ中に保護者がいたかどうかを判断する。一致した場合は、子供がその保護者と同一行動をとっている場合なので、ステップ１２１において、当該保護者の保護者同伴度をアップし、その子供の迷子度をダウンし、第三者同伴度が設定されている場合であればその第三者同伴度もダウンする。ただし、現時点推定保護者が複数存在し、一方が保護者であって他方が第三者である場合もあるが、その場合は、第三者同伴度を原則としてダウンさせるものの、第三者同伴度がゼロにはならないようにする。

【0038】

ステップ１２０において一致しなかった場合、これは、子供と一緒に写っている現時点推定保護者が第三者である場合なので、ステップ１２２において、その第三者について第三者情報が作成されていなければ第三者情報を作成した上で、当該第三者に対する第三者同伴度をアップし、子供の迷子度をアップし、保護者同伴度をダウンする。その後、ステップ１２３において、第三者同伴度がしきい値に達したかどうかを判断する。しきい値に達していない場合にはそのまま処理を終了し、しきい値に達した場合には、第三者による連れ去りのおそれがあるとして、ステップ１２４において、保護者推定部３８は、アラームを発生し、その上で保護者の所在検索を行って処理を終了する。保護者の所在検索は、対象となる子供に関連した保護者の保護者情報に含まれる顔特徴情報を抽出し、その顔特徴情報と同じ顔特徴情報のデータを顔特徴ＤＢ内３５で検索して、その顔特徴情報を含む撮像データのカメラ番号（すなわち撮像場所）と撮像時刻とを求めることによって行われる。当然のことながら、より直近の撮像データが優先して検索される。また、１人の子供に対して複数の保護者が対応する場合もあるが、その場合は、保護者同伴度の高い方の保護者を優先して検索する。

【0039】

ステップ１１８において現時点推定保護者が存在しない場合は、対象としている子供が１人で行動しているときであるので、ステップ１２５において、保護者推定部３８は、その子供の迷子度をアップし、対応する保護者の保護者同伴度をダウンし、対応する第三者同伴度が正の場合にはその第三者同伴度もダウンする。その後、ステップ１２６において、迷子度がしきい値に達したかどうかを判断する。しきい値に達していない場合にはそのまま処理を終了し、しきい値に達した場合には、迷子になっているおそれがあるとして、ステップ１２７において、保護者推定部３８は、アラームを発生し、その上で保護者の所在検索を行って処理を終了する。保護者の所在検索のやり方については、ステップ１２４の場合と同様である。

【0040】

以上の処理により、保護者推定部３８は、迷子の発生や連れ去りのおそれなどを早期に発見してアラームを出力することができる。

【0041】

上述したように管理装置１３は、パーソナルコンピュータなどのコンピュータを用いて構成することができる。コンピュータによって管理装置１３を構成する場合には、上述した各機能を実現するためのプログラムを用意し、そのプログラムをコンピュータ上で実行させればよい。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述の実施形態における管理装置１３として機能させ、前述した処理を行わせる。

【0042】

以下、例を挙げて本実施形態を説明する。図５〜図８において、太線で示された枠内は、カメラで撮像された撮像データの異例を示しており、子供Ａと大人Ｐを結ぶ線などの細線で示されたものは、保護者推定ＤＢ３６内での結びつきの関係を示している。

【0043】

図５は子供１人（子供Ａ）とその保護者１人（大人Ｐ）とが一緒に来場した場合を示している。（ａ）に示すように、入場口のカメラ１１では、子供Ａと大人Ｐとが一緒に撮像され、これにより、子供Ａに対して大人Ｐが保護者であると関連付けられ、保護者推定ＤＢ３６に登録される。このとき、子供Ａの迷子度は０であり、大人Ｐの保護者同伴度は１０である。続いて、（ｂ）に示すように、子供Ａと大人Ｐのほかに、もう一人の人物（大人Ｘ）が同一画像内に映ったとする。子供Ａと大人Ｐは子供とその保護者の関係にあるが、大人Ｘは第三者に該当するので、保護者推定ＤＢ３６中では、子供Ａの迷子度は０、大人Ｐの保護者同伴度は１１とされ、大人Ｘの第三者同伴度は１にされる。続いて、（ｃ）に示すように、子供Ａが単独で撮像されたら、子供Ａの迷子度がアップされて１となり、大人Ｐの保護者同伴度はダウンして１０となり、大人Ｘの第三者同伴度も０にされる。その後、子供Ａはしばらくの間、１人で行動していたとすると、（ｄ）に示すように、子供Ａの迷子度が３になってしきい値に達し、迷子アラームが発生する。このとき、大人Ｐの保護者同伴度はさらにダウンされて８となる。（ｅ）に示すように、子供Ａと大人Ｐとが落ち合って同一撮像データ中に存在するようになると、子供Ａの迷子度は０となり、迷子アラームが解除する。

【0044】

図６は子供１人（子供Ａ）とその保護者１人（大人Ｐ）とが一緒に来場した場合を示している。（ａ）に示すように、入場口のカメラ１１では、子供Ａと大人Ｐとが一緒に撮像され、図５（ａ）のときと同様に、保護者推定ＤＢ３６に登録される。このとき、子供Ａの迷子度は０であり、大人Ｐの保護者同伴度は１０である。続いて、（ｂ）に示すように、子供Ａと大人Ｐのほかに、第三者（大人Ｘ）が同一画像内に映ったとすると、子供Ａの迷子度は０、大人Ｐの保護者同伴度は１１とされ、大人Ｘの第三者同伴度は１にされる。続いて、（ｃ）に示すように、子供Ａと第三者である大人Ｘが同一画像中に撮像されたが保護者（大人Ｐ）がいないとすると、子供Ａの迷子度がアップされて１となり、大人Ｐの保護者同伴度はダウンして１０となり、大人Ｘの第三者同伴度は２にされる。その後、子供Ａと第三者である大人Ｘとが同一行動をとっていたとすると、（ｄ）に示すように、大人Ｘの第三者同伴度が３になってしきい値に達し、連れ去りアラームが発生する。このとき、大人Ｐの保護者同伴度はさらにダウンされて９となり、子供Ａの迷子度も２となる。（ｅ）に示すように、子供Ａと大人Ｐとが落ち合って同一撮像データ中に存在するようになると、大人Ｘの第三者同伴度はダウンしてしきい値未満となり、連れ去りアラームが解除する。

【0045】

図７は子供２人（子供Ａ、子供Ｂ）とその保護者１人（大人Ｐ）とが一緒に来場した場合を示している。（ａ）に示すように、入場口のカメラ１１では、子供Ａと子供Ｂと大人Ｐとが一緒に撮像され、その結果、子供Ａに対して大人Ｐが対応付けられ、子供Ｂに対しても大人Ｐが対応付けられ、保護者推定ＤＢ３６に登録される。子供Ａに関し、迷子度は０であり、子供Ａからみた大人Ｐの保護者同伴度は１０である。同様に子供Ｂについても迷子度は０であり、子供Ｂからみた大人Ｐの保護者同伴度も１０である。次に、子供Ａと子供Ｂとが別行動となり、保護者である大人Ｐは子供Ｂと一緒に行動したものとする。このとき、（ｂ）に示すように、子供Ａの画像には第三者である大人Ｘが写っているとすると、そこには保護者はいないので、子供Ａの迷子度は１となり、子供Ａに対する大人Ｐの保護者同伴度はダウンして９となり、子供Ａに対する大人Ｘの第三者同伴度が１となる。同時に、子供Ａが写っているのとは別のカメラでは、（ｃ）に示すように、子供Ｂと大人Ｐとが一緒に写っており、こちらでは、子供Ｂの迷子度は０であり、子供Ｂに対する大人Ｐの保護者同伴度はアップして１１となる。その後、子供Ａ、子供Ｂ及び大人Ｐが一緒に行動すると、（ｄ）に示すように、子供Ａ、子供Ｂ及び大人Ｐが同一のカメラ内で撮像されることとなって、子供Ａの迷子度は０となり、子供Ａに対する大人Ｐの保護者同伴度はアップして１０となり、子供Ａに対する大人Ｘの第三者同伴度は０となる。子供Ｂの方は引き続き迷子度が０であって、子供Ｂに対する大人Ｐの保護者同伴度はさらにアップして１２となる。

【0046】

図８は子供１人（子供Ａ）とその保護者２人（大人Ｐ、大人Ｑ）とが一緒に来場した場合を示している。（ａ）に示すように、入場口のカメラ１１では、子供Ａと大人Ｐと大人Ｑとが一緒に撮像され、その結果、子供Ａに対して大人Ｐと大人Ｑとが対応付けられ、保護者推定ＤＢ３６に登録される。子供Ａの迷子度は０であり、大人Ｐと大人Ｑの保護者同伴度はいずれも１０である。次に、（ｂ）に示すように、同一画像に子供Ａと大人Ｑと第三者である大人Ｘが写っているとすると、保護者がいるので子供Ａの迷子度は０のままであり、大人Ｑの保護者同伴度は１１にアップし、大人Ｘの第三者同伴度は１となる。大人Ｐについては、子供Ａとは一緒にはいないので、保護者同伴度は９にダウンする。次に、（ｃ）に示すように、子供Ａと大人Ｘだけが写って保護者が写らなかった場合には、子供Ａの迷子度が１となり、大人Ｘの第三者同伴度は２となり、大人Ｐと大人Ｑの保護者同伴度はいずれもダウンしてそれぞれ８と１０になる。次に、（ｄ）に示すように、画像には子供Ａだけが写っているとすると、子供Ａの迷子度は２となり、大人Ｐと大人Ｑの保護者同伴度はいずれもダウンしてそれぞれ７と９になり、大人Ｘの第三者同伴度は１となる。その後、（ｅ）に示すように、今度は、大人Ｐと子供Ａが一緒に行動している場合には、子供Ａの迷子度は０にされ、大人Ｐの保護者同伴度はアップして１０となり、大人Ｑの保護者同伴度はダウンして８となり、大人Ｘの第三者同伴度は０となる。

【0047】

本実施形態の迷子発見システムでは、来場者が来場した時点で画像処理によって保護者と子供とを対応付けており、このため入場口では、保護者と子供との組み合わせごとにそれらの保護者と子供とが一緒に写り、かつ他人が写っていない画像を取得する必要がある。そこで、何らかの手段で来場者を誘導して、保護者と子供との組み合わせごとに入場させ、かつ、その際に入場口で保護者と子供とを一緒に撮像できるようにする必要がある。以下、保護者と子供との組み合わせごとに入場させるための構成の例を説明する。

【0048】

図９は、入場口を回転扉とした例を示しており、ここでは、回転扉を上から見た状態を示している。回転扉４１の扇形の区画４２ごとに子供と保護者とが入るようにし、かつ、一例として、回転扉の作動力を調整して、子供の力では回転扉を押せないようにして、保護者と子供とが一緒に入場するようにしている。自動式の回転扉４１を用いる場合であれば、子供が操作できないように回転扉４１の操作スイッチを設けることも考えられる。

【0049】

また、図１０は、連動型の二重扉を使用した例を示している。二重扉４３は、入場方向に対して外側に配置された外扉４４と内側に配置された内扉４５とを備えており、通常時は、（ａ）に示すように、外扉４４が開いて内扉４５が閉じており、保護者と子供との組み合わせが外扉４４を通って二重扉４３の内部（すなわち、外扉４４と内扉４５の間の空間）に入ったら、（ｂ）に示すように外扉４４を閉め、その直後に（ｃ）に示すように内扉４５を開けて、入場を促すようにしたものである。その際、保護者と子供との組み合わせを単位として入場するように、例えば、外扉４４の前に、スピーカーとマイクロホンとを設置し、来場者に対して「何名様ですか？」と問いかけ、その返答があったら、返答された人数と一致する人数が二重扉４３の内部に入らない限り、外扉４４を閉めない（したがって、内扉４５は開かない）構成とすることができる。あるいは、二重扉４３の内部に、外扉４４を閉じるためのスイッチを子供では操作できないように配置することが考えられる。二重扉４３は、入場口に、例えば、１または複数設けることができる。

【0050】

あるいは、エレベータを用いて入場する建物構造となっている場合には、子供連れの来訪者に対しては、保護者と子供との組み合わせで一緒にエレベータに乗るように促したりすることもできる。また、動く歩道を入場口に配置し、保護者と子供との組み合わせで一緒に歩く歩道を利用するように促したりすることもできる。

【0051】

以上説明した本発明の実施形態では、保護者の所在検索を行う際の優先順位を設定するために保護者同伴度を用いている。このような優先順位を設定しない場合には、保護者推定ＤＢ３６の保護者情報内に保護者同伴度を記録する必要はなく、また、保護者同伴度に関連した上述の諸処理を行う必要もない。また、連れ去りなどの防止のために、保護者推定ＤＢ３６内に第三者情報を設け、第三者同伴度を記録するようにしているが、来場者が限定されているなどの理由で連れ去りの防止等を行う必要がない場合には、保護者推定ＤＢ３６内に第三者情報を設ける必要はなく、第三者や第三者同伴度に関連した上述の諸処理も行う必要はない。

【符号の説明】

【0052】

１０ ショッピングセンター
１１ カメラ
１２ ハブ
１３ 管理装置
１４ ネットワーク
２１ 撮像部
２２ 顔検出部
２３，３１ インタフェース（Ｉ／Ｆ）
３２ 来場者画像ＤＢ（データベース）
３３ 顔特徴情報抽出部
３４ 年齢推定部
３５ 顔特徴ＤＢ
３６ 保護者推定ＤＢ
３７ 保護者推定ＤＢ登録部
３８ 保護者推定部
４１ 回転扉
４２ 区画
４３ 二重扉
４４ 外扉
４５ 内扉
１０１〜１０６，１１１〜１２７ ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】