特許 7167785 連れ去り推定装置、連れ去り推定方法、および連れ去り推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-31

(45)【発行日】2022-11-09

(54)【発明の名称】連れ去り推定装置、連れ去り推定方法、および連れ去り推定プログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20221101BHJP

   G06T 7/20 20170101ALI20221101BHJP

   G08B 21/02 20060101ALI20221101BHJP

   G08B 25/00 20060101ALI20221101BHJP

   G08B 25/04 20060101ALI20221101BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 K

G06T7/20 300Z

G08B21/02

G08B25/00 510M

G08B25/04 E

【請求項の数】 8

(21)【出願番号】P 2019047876

(22)【出願日】2019-03-15

(65)【公開番号】P2020150474

(43)【公開日】2020-09-17

【審査請求日】2021-03-04

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】箭野 裕己

(72)【発明者】

【氏名】白井 将之

(72)【発明者】

【氏名】田中 信頼

(72)【発明者】

【氏名】張 海虹

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０１３－６９１２８（ＪＰ，Ａ）

【文献】特開２０１８－１０６２８２（ＪＰ，Ａ）

【文献】国際公開第２０１８／１１０１６５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／００－７／９０

Ｇ０８Ｂ １９／００－２１／２４

Ｇ０８Ｂ ２３／００－３１／００

(57)【特許請求の範囲】

【請求項1】

対象エリアを撮像した動画像が入力される動画像入力部と、
前記動画像入力部に入力された動画像のフレーム画像を処理し、撮像されている対象者を検出する対象者検出部と、
前記対象エリア内において、前記対象者検出部が検出した対象者を追跡する追跡部と、
実空間上における対象者間の相対的な位置関係に基づいて、対象者のペアを生成するペア生成部と、
前記ペア生成部によって生成された対象者のペアについて、前記追跡部の追跡結果に基づき連れ去りである可能性が高いかどうかを判定する判定部と、を備え、
前記判定部は、前記ペア生成部によって生成された対象者のペアの移動速度が設定速度に達しない停止状態が設定時間以上継続した後、当該対象者のペアが同じ方向に移動したとき、連れ去りである可能性が高いと判定する、連れ去り推定装置。

【請求項2】

前記ペア生成部が生成する対象者のペアは、実空間上における対象者間の距離が設定距離よりも短い対象者の組み合わせである、請求項１に記載の連れ去り推定装置。

【請求項3】

前記ペア生成部は、フレーム画像上における対象者間の相対的な位置関係にも基づく、対象者のペアを生成する、請求項１、または２に記載の連れ去り推定装置。

【請求項4】

前記ペア生成部は、フレーム画像上における、対象者を囲む矩形領域の重なり度合いを用いて、対象者のペアを生成する、請求項３に記載の連れ去り推定装置。

【請求項5】

前記判定部が連れ去りである可能性が高いと判定した日時を出力する出力部を備えた、請求項１～４のいずれかに記載の連れ去り推定装置。

【請求項6】

前記対象者検出部は、検出した対象者を大人、または子供に分類し、
前記ペア生成部は、大人と子供のペアを生成する、請求項１～５のいずれかに記載の連れ去り推定装置。

【請求項7】

動画像入力部に入力された、対象エリアを撮像した動画像のフレーム画像を処理し、撮像されている対象者を検出する対象者検出ステップと、
前記対象エリア内において、前記対象者検出ステップで検出した対象者を追跡する追跡ステップと、
実空間上における対象者間の相対的な位置関係に基づいて、対象者のペアを生成するペア生成ステップと、
前記ペア生成ステップで生成した対象者のペアについて、前記追跡ステップでの追跡結果に基づき連れ去りである可能性が高いかどうかを判定する判定ステップと、をコンピュータが実行し、
前記判定ステップは、前記ペア生成ステップで生成した対象者のペアの移動速度が設定速度に達しない停止状態が設定時間以上継続した後、当該対象者のペアが同じ方向に移動したとき、連れ去りである可能性が高いと判定するステップである、連れ去り推定方法。

【請求項8】

動画像入力部に入力された、対象エリアを撮像した動画像のフレーム画像を処理し、撮像されている対象者を検出する対象者検出ステップと、
前記対象エリア内において、前記対象者検出ステップで検出した対象者を追跡する追跡ステップと、
実空間上における対象者間の相対的な位置関係に基づいて、対象者のペアを生成するペア生成ステップと、
前記ペア生成ステップで生成した対象者のペアについて、前記追跡ステップでの追跡結果に基づき連れ去りである可能性が高いかどうかを判定する判定ステップと、をコンピュータに実行させ、
前記判定ステップは、前記ペア生成ステップで生成した対象者のペアの移動速度が設定速度に達しない停止状態が設定時間以上継続した後、当該対象者のペアが同じ方向に移動したとき、連れ去りである可能性が高いと判定するステップである、連れ去り推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、対象エリアを撮像した動画像を処理して、連れ去りの発生を推定する技術に関する。

【背景技術】

【0002】

従来、通学時に、児童が第三者によって連れ去られるのを防止するための対策として、教職員や地域住民等による通学路の見守りが行われていた。

【0003】

また、特許文献１には、無線タグを児童に所持させ、この無線タグの位置（すなわち、児童の位置）を追跡することによって、児童が第三者によって連れ去られるのを防止する技術が記載されている。この特許文献１は、児童の通学路を予め設定しておくことで、児童が移動している経路が、設定されている通学路から外れると、異常行動であると判断して児童の保護者にメールを送信する技術を開示している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００８－２９９７２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載された技術は、児童が無線タグを所持していなければ、第三者による連れ去りに対応できない。例えば、公園、運動場等の公共の施設で遊んでいる児童が、無線タグを所持してくることを忘れていると（無線タグを所持していないと、）、この児童が第三者に連れ去られることに対して対応できない。

【0006】

そして、児童が公園、運動場等の公共の施設に遊びに出かけるときに、無線タグを忘れる（所持しないで外出する。）という事態は、ある程度の頻度で起こり得る事象である。したがって、特許文献１に記載された児童の連れ去り対策は、児童の行動（外出するときに無線タグを所持する。）によるところが大きかった。

【0007】

この発明の目的は、特別な端末を所持させなくても、連れ去りに対して対応できる技術を提供することにある。

【課題を解決するための手段】

【0008】

この発明の連れ去り推定装置は、上記目的を達成するため以下に示すように構成している。

【0009】

対象者検出部が、動画像入力部に入力された対象エリアを撮像した動画像のフレーム画像を処理し、撮像されている対象者を検出する。対象エリアは、例えば道路、公園、運動場等、不特定多数の人が通行したり、集まったりする場所である。

【0010】

追跡部が、対象エリア内において、対象者検出部が検出した対象者を追跡する。また、ペア生成部が、実空間上における対象者間の相対的な位置関係に基づいて、対象者のペアを生成する。連れ去りにおいては、連れ去る側の人と、連れ去られる側の人とが接近することから、ペア生成部は、ある程度近づいた対象者の組み合わせをペアにすればよい。また、ペア生成部は、フレーム画像上での対象者の重なり（オクルージョン）による影響を受けて、実空間上での対象者間の距離を精度よく検出できないことがある。したがって、この影響を抑えるために、フレーム画像上における、対象者を囲む矩形領域の重なり度合いを用いて、対象者のペアを生成してもよい。

【0011】

さらに、連れ去る側が大人であり、連れ去られる側が子供（幼児を含む）であることを前提にしてもよい。この場合、ペア生成部は、大人と子供のペアを生成する構成に限定すればよい。

【0012】

そして、判定部が、ペア生成部によって生成された対象者のペアについて、追跡部の追跡結果に基づき連れ去りである可能性が高いかどうかを判定する。判定部は、ペア生成部によって生成された対象者のペアの追跡結果を、連れ去りにおける、連れ去る側の人と、連れ去られる側の人とのペアの行動パターンに照らし合わせることによって、連れ去りである可能性が高いかどうかを判定すればよい。例えば、連れ去りにおいては、
（１）連れ去る側の人と、連れ去られる側の人とが接近し、
（２）接近した状態で、なにがしかの会話をし、
（３）その後に２人で一緒に移動する、
行動パターンが一般的である。

【0013】

このことから、例えば、ペア生成部によって生成された対象者のペアの移動速度が設定速度に達しない停止状態が設定時間以上継続した後（この対象者のペアの間で何らかの会話が行われた後）、当該対象者のペアが同じ方向に移動すれば、連れ去りである可能性が高いと判定部に判定させてもよい。

【0014】

このように、連れ去られる側の人（例えば、児童、幼児）が、特別な端末を所持していなくても、連れ去りの可能性が高いかどうかを判定することができる。したがって、特別な端末を所持させなくても、連れ去りに対して対応できる。

【0015】

また、判定部が連れ去りである可能性が高いと判定した日時、場所、このペアが撮像されているフレーム画像等を対応付けて出力する出力部を備えてもよい。このようにすれば、連れ去りが発覚したときに、迅速に対応することができる。

【発明の効果】

【0016】

この発明によれば、特別な端末を所持させなくても、連れ去りに対して対応できる。

【図面の簡単な説明】

【0017】

【図1】この例にかかる連れ去り推定装置の主要部を示す図である。

【図2】対象エリアを撮像したフレーム画像を示す図である。

【図3】対象者の追跡データを示す図である。

【図4】図４（Ａ）～（Ｄ）は、処理対象フレーム画像上における、対象者を囲む矩形領域の重なり度合いを説明する図である。

【図5】ペア登録テーブルを示す図である。

【図6】追跡処理を示すフローチャートである。

【図7】ペア登録テーブル更新処理を示すフローチャートである。

【図8】連れ去り判定処理を示すフローチャートである。

【発明を実施するための形態】

【0018】

以下、この発明の実施形態について説明する。

【0019】

＜１．適用例＞
図１は、この例にかかる連れ去り推定装置の主要部を示す図である。図２は、ビデオカメラによって撮像された対象エリアのフレーム画像の例を示す図である。図１に示すように、この例にかかる連れ去り推定装置１には、ビデオカメラ５が接続されている。ビデオカメラ５は、対象エリアを撮像したビデオ画像（動画像）を連れ去り推定装置１に出力する。ビデオカメラ５のフレームレートは、数十フレーム／ｓｅｃ（１０～３０フレーム／ｓｅｃ）である。対象エリアは、道路、公園、運動場等、不特定多数の人が通行したり、集まったりする場所である。

【0020】

連れ去り推定装置１は、入力されたビデオ画像にかかるフレーム画像（図２参照）を処理し、対象エリアにおいて連れ去りが起きた可能性が高いかどうかを判定する。連れ去り推定装置１は、対象エリアにおいて連れ去りが起きた可能性が高いと判定すると、その旨を上位装置（不図示）に通知する。この上位装置は、子供の行方が分からない等の保護者からの問い合わせを照会する装置であってもよいし、対象エリアの周辺において、連れ去りに対して注意を促すメッセージを出力する装置であってもよい。

【0021】

連れ去り推定装置１は、対象エリアを撮像したビデオ画像を処理して、この対象エリア内を通行したオブジェクト（対象者）の移動を追跡する。図２では、対象者を大人６と子供７とで区別して示している。また、この例では、連れ去りの一般的な事例に合わせ、大人６が子供７を連れ去るものとして説明する。

【0022】

連れ去り推定装置１は、対象エリアを撮像したフレーム画像を処理し、大人６と子供７のペアを生成する。連れ去り推定装置１は、生成した大人６と子供７のペアが接近した状態で、ほとんど移動することなく立ち止まっている停止状態が設定時間以上継続するかどうかを判定する。ここで言う停止状態とは、移動速度が設定速度（例えば、設定速度は、１～３ｋｍ／ｈである。）に達していない状態である。この停止状態は、ペアである大人６と子供７が会話をしている状態であると推測できる。また、大人６が子供７を連れ去るときの会話は、短くても１０秒程度であることから、この例では上記の設定時間を５～８秒に設定している。連れ去り推定装置１は、停止状態が設定時間以上継続したペアの２人がある程度の距離（例えば、１０ｍ）同じ方向に移動すると、連れ去りの可能性が高いと判定する。以下の説明では、この距離を判定距離と言う。

【0023】

連れ去り推定装置１は、連れ去りの可能性が高いと判定すると、日時、場所、このペアが撮像されているフレーム画像等を対応付けた、連れ去り確認情報を上位装置に出力する。

【0024】

この場合の上位装置は、子供７の行方が分からない等の保護者からの問い合わせを照会する装置である。上位装置は、連れ去り推定装置１からの連れ去り確認情報を蓄積的に記憶する。子供７の行方が分からない等の保護者からの問い合わせがあると、この上位装置において、子供７の行方がわからなくなった、日時、場所をキーにして確認情報を検索し、該当する確認情報に含まれているフレーム画像によって、子供７の連れ去りの確認を行う。また、子供７が連れ去られていることが確認できた場合には、連れ去った大人６の画像も同時に確認できるので、連れ去られた子供７の捜索が迅速かつ適正に行える。したがって、特別な端末を子供７に所持させることなく、子供７の連れ去りに対して対応できる。

【0025】

また、上位装置は、対象エリアの周辺において、連れ去りに対して注意を促すメッセージを出力する装置にしてもよい。この場合、連れ去り推定装置１は、上位装置に対して、連れ去りの可能性が高いと判定したことを出力する。この上位装置は、連れ去り推定装置１から連れ去りの可能性が高いと判定した旨の入力があると、「最近、子供が連れ去られることがあります。知らない人についていかないようにしましょう。」等、連れ去りに対して注意を促すメッセージを音声、または表示により出力する。

【0026】

なお、この例にかかる連れ去り推定装置１は、連れ去りが発生した可能性が高いかどうかを判定する装置であって、連れ去りが発生したことを精度よく検出する装置ではない。

【0027】

＜２．構成例＞
この例にかかる連れ去り推定装置１は、図１に示すように、制御ユニット１１と、動画像入力部１２と、動画記憶部１３と、出力部１４と、を備えている。

【0028】

制御ユニット１１は、連れ去り推定装置１本体各部の動作を制御する。また、制御ユニット１１は、物体検出部２１、追跡部２２、ペア生成部２３、および判定部２４を有している。制御ユニット１１が有する物体検出部２１、追跡部２２、ペア生成部２３、および判定部２４については、後述する。

【0029】

動画像入力部１２には、ビデオカメラ５によって撮像された対象エリアのビデオ画像が入力される。対象エリアは、上記したように、道路、公園、運動場等、不特定多数の人が通行したり、集まったりする場所である。

【0030】

動画記憶部１３は、ビデオカメラ５によって撮像された対象エリアのビデオ画像を記憶する。動画記憶部１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード等の記憶媒体によって構成される。

【0031】

出力部１４は、連れ去りが発生した可能性が高いと判定したときに、そのことを上位装置に通知する出力を行う。

【0032】

次に、制御ユニット１１が有する、物体検出部２１、追跡部２２、ペア生成部２３、および判定部２４について説明する。

【0033】

物体検出部２１は、動画像入力部１２に入力されたビデオ画像にかかるフレーム画像の中から、処理対象フレーム画像を選択し、選択した処理対象フレーム画像に撮像されている対象者（大人６、子供７）を検出する。物体検出部２１は、入力されたビデオ画像にかかるフレーム画像を１フレームずつ順番に処理対象フレーム画像として選択してもよいし、入力されたビデオ画像にかかるフレーム画像を数フレーム（２～５フレーム）間隔で順番に処理対象フレーム画像として選択してもよい。

【0034】

物体検出部２１は、背景差分等の公知の手法で、処理対象フレーム画像に撮像されている対象者の検出を行えばよい。また、物体検出部２１は、検出した対象者の大きさ等に基づいて、その対象者が大人６であるか、子供７であるかを区別する。

【0035】

さらに、物体検出部２１は、検出した対象者毎に、その対象者の実空間上の位置を算出する。物体検出部２１は、フレーム画像上の位置を実空間上の位置に変換する変換パラメータを用いて、対象者の実空間上の位置を算出する。物体検出部２１が算出する対象者の実空間上の位置は、その対象者が地面に当接している足元位置である。物体検出部２１が、この発明で言う対象者検出部に相当する。

【0036】

なお、物体検出部２１は、足元位置が他の対象者等によってフレーム画像上に撮像されていない対象者については、当該対象者の足元位置を推測する。

【0037】

追跡部２２は、時間的に連続する２つの処理対象フレーム画像において検出された対象者を対応づける同定処理を行う。この同定処理を行うことによって、物体検出部２１が検出した対象者毎に、対象エリア内における移動を追跡した追跡データを生成する。

【0038】

図３は、追跡部によって生成された、ある対象者の追跡データを示す図である。追跡データは、図３に示すように、対象者を識別するＩＤ、および対象者の種別（大人、または子供）、検知時刻毎における、対象者の速度、対象者の移動方向、および対象者の位置を対応づけたデータである。図３に示す検知時刻は、処理対象フレーム画像が撮像された時刻である。速度は、時間的に連続する２つの処理対象フレーム画像間での、対象者の速度である。移動方向は、時間的に連続する２つの処理対象フレーム画像間での、対象者の移動方向であり、この例では基準方向に対して、移動方向がなす角度を用いている。位置は、実空間上の位置である。

【0039】

ペア生成部２３は、大人６と子供７のペアを生成する。この例では、ペア生成部２３は、以下に示す（１）、および（２）の２つの処理で、ペアを生成する。
（１）ペア生成部２３は、実空間上における距離が、第１設定距離（この例では１ｍ）よりも接近している大人６と子供７をペアとして生成する。
（２）ペア生成部２３は、処理対象フレーム画像において、対象者を囲む矩形領域の重なり度合いを用いて、大人６と子供７をペアとして生成する。
上記（１）は、図３に示した追跡データを参照することにより行える。なお、第１設定距離が、この発明で言う設定距離に相当する。

【0040】

上記（２）について、図４を参照しながら具体的に説明する。図４は、処理対象フレーム画像上における、対象者を囲む矩形領域の重なり度合いを説明する図である。ペア生成部２３は、図４（Ａ）、（Ｃ）に示すように、処理対象フレーム画像上に、検出された大人６を囲む矩形領域６ａと、検出された子供７を囲む矩形領域７ａを設定する。図４（Ｂ）、（Ｄ）は、矩形領域６ａと矩形領域７ａの重なりをわかりやすくするために、大人６、および子供７の図示を省略した図である。図４（Ｂ）が図４（Ａ）に対応し、図４（Ｄ）が図４（Ｃ）に対応する。ペア生成部２３は、矩形領域７ａに占める重なり領域１００の比率（この発明で言う、重なり度合い。）を算出し、この比率が設定比率を超えている大人６と子供７をペアとして生成する。

【0041】

ペア生成部２３は、これら（１）、および（２）の処理で生成したペアをペア登録テーブルに登録する。図５は、ペア登録テーブルを示す図である。ペア登録テーブルは、ペア毎に、そのペアを構成する大人６のＩＤ、子供７のＩＤ、登録時刻、および解除時刻を対応づけて登録したテーブルである。登録時刻は、対応する大人６と子供７をペアとして最初に抽出したフレーム画像の撮像時刻である。解除時刻は、対応する大人６と子供７のペアを解除したときのフレーム画像の撮像時刻である。

【0042】

ペア生成部２３は、今回の処理対象フレーム画像を処理して抽出した大人６と子供７のペアであっても、すでにペア登録テーブルに登録されていれば、このペアをペア登録テーブルに登録しない（同じペアを、ペア登録テーブルに複数登録しない。）。ペア生成部２３は、今回の処理対象フレーム画像を処理して抽出した大人６と子供７のペアであって、ペア登録テーブルに未登録であるペアをペア登録テーブルに登録する。ペアの登録時における、解除時刻は空である。

【0043】

また、ペア生成部２３は、ペア登録テーブルに登録されている解除時刻が空であるペアであって、今回の処理対象フレーム画像を処理して抽出されなかった大人６と子供７のペアについて、ペアを解除するかどうかの判定を行う。具体的には、今回の処理対象フレーム画像において、ペアを構成する大人６と子供７との実空間上における距離が、上記した第１設定距離よりも長い、第２設定距離（２～４ｍ）以上離れていると、ペアを解除すると判定する。また、ペアを構成する大人６、または子供７の一方が今回の処理対象フレーム画像において検出されていない場合、ペア生成部２３は、ペアを解除しないと判定する。これは、今回の処理対象フレーム画像において、ペアを構成する大人６、または子供７の一方が、他方に隠れて撮像されていなかったときに、ペアを誤って解除してしまうのを防止する対策（オクルージョン対策）である。

【0044】

ペア生成部２３は、ペアを解除すると判定したペアについて、ペア登録テーブルに解除時刻（今回の処理対象フレーム画像の撮像時刻）を登録する。

【0045】

上記の説明から明らかなように、ペア登録テーブルを参照することによって、大人６と子供７がペアであった期間を取得できる。また、対象エリア内における大人６、および子供７の移動は、追跡データを参照することによって、取得できる。

【0046】

判定部２４は、ペア登録テーブルに登録されている大人６と子供７のペア毎に、連れ去りである可能性が高いかどうかを判定する。判定部２４は、ペアである大人６と子供７がほとんど移動することなく立ち止まっている停止状態が設定時間以上継続したかどうかを判定する。また、判定部２４は、この停止状態が設定時間以上継続したペアについて、このペアの大人６と子供７が同じ方向に移動した距離が判定距離以上であるかどうかを判定する。

【0047】

連れ去り推定装置１の制御ユニット１１は、ハードウェアＣＰＵ、メモリ、その他の電子回路によって構成されている。ハードウェアＣＰＵが、この発明にかかる連れ去り推定プログラムを実行したときに、物体検出部２１、追跡部２２、ペア生成部２３、および判定部２４として動作する。また、メモリは、この発明にかかる連れ去り推定プログラムを展開する領域や、この連れ去り推定プログラムの実行時に生じたデータ（例えば、図３に示した追跡データ、図５に示したペア登録テーブル）等を一時記憶する領域を有している。また、メモリは、ビデオカメラ５が撮像したビデオ画像にかかるフレーム画像上の位置を実空間上の位置に変換する変換パラメータ等も記憶している。制御ユニット１１は、ハードウェアＣＰＵ、メモリ等を一体化したＬＳＩであってもよい。また、ハードウェアＣＰＵが、この発明にかかる連れ去り推定方法を実行するコンピュータである。

【0048】

＜３．動作例＞
この例にかかる連れ去り推定装置１は、ビデオカメラ５から動画像入力部１２に入力された対象エリアを撮像したビデオ画像を動画記憶部１３に記憶しながら、以下に示す追跡処理、および連れ去り判定処理を行う。

【0049】

図６は、追跡処理を示すフローチャートである。物体検出部２１が、動画像入力部１２に入力されたビデオ画像にかかるフレーム画像の中から、処理対象フレーム画像を選択する（ｓ１）。物体検出部２１は、選択した処理対象フレーム画像に撮像されている対象者（大人６、および子供７）を検出する（ｓ２）。物体検出部２１は、ｓ２で検出した対象者毎に、その対象者の大きさ等に基づき、対象者の種別（大人６、または子供７）を検出する（ｓ３）。また、物体検出部２１は、ｓ２で検出した対象者毎に、実空間上の位置を算出する（ｓ４）。

【0050】

追跡部２２が、今回の処理対象フレーム画像に撮像されていた対象者（ｓ２で検出したオブジェクト）と、今回の処理対象フレーム画像に撮像されていた対象者とを対応づける同定処理を行う（ｓ５）。ｓ５にかかる同定処理では、対象者の大きさ、種別、位置等を用いて対応づける。追跡部２２は、ｓ５で対応付けることができなかった対象者については、今回初めて検出した対象者であると判定し、ＩＤを付与する。追跡部２２は、ｓ５で対応付けることができた対象者について、その対象者の速度、および移動方向を算出する（ｓ６）。追跡部２２は、今回検出した対象者毎に、追跡データを更新する（ｓ７）。また、ペア生成部２３が、以下に示すペア登録テーブル更新処理を実行し（ｓ８）、ｓ１に戻る。

【0051】

ｓ７では、ｓ５で対応づけることができなかった対象者（今回ＩＤを付与した対象者）については、その対象者の追跡データを生成する。また、ｓ５で対応づけることができた対象者については、すでに生成されている追跡データに対して、今回の処理対象フレーム画像の処理で取得した、検知時刻、速度、移動方向、および実空間上の位置を対応づけたレコードを追加する。

【0052】

なお、追跡部２２は、前回の処理対象フレーム画像に撮像されていた対象者であって、今回の処理対象フレーム画像に撮像されていなかった対象者については、対象エリア外に移動したと判定する。

【0053】

ここで、ｓ８にかかるペア登録テーブル更新処理について説明する。図７は、ペア登録テーブル更新処理を示すフローチャートである。ペア生成部２３は、実空間上における距離が、第１設定距離よりも接近している大人６と子供７のペアを抽出する（ｓ１１）。また、ペア生成部２３は、大人６を囲む矩形領域６ａと、子供７を囲む矩形領域７ａとが重なっている重なり領域１００の比率（矩形領域７ａに占める重なり領域１００の比率）が設定比率を超えている大人６と子供７のペアを抽出する（ｓ１２）。

【0054】

ペア生成部２３は、ｓ１１、およびｓ１２で抽出したペアの中に、ｓ１４以降の処理を行っていないペア（未処理のペア）があるかどうかを判定する（ｓ１３）。ペア生成部２３は、未処理のペアがあれば、この未処理のペアの中から、処理対象のペアを選択する（ｓ１４）。ペア生成部２３は、選択したペアがペア登録テーブルに登録されているかどうかを判定し（ｓ１５）、登録されていれば、ｓ１３に戻る。また、ペア生成部２３は、ｓ１４で選択したペアがペア登録テーブルに未登録であれば、このペアをペア登録テーブルに登録し（ｓ１６）、ｓ１３に戻る。ｓ１６では、ペアを構成する大人６のＩＤ、子供７のＩＤ、および登録時刻（今回の処理対象フレーム画像の撮像時刻）を対応づけて、ペア登録テーブルに登録する。このとき、解除時刻は、空である。

【0055】

ペア生成部２３は、ｓ１３で未処理のペアがないと判定すると、解除候補のペアを抽出する（ｓ１７）。ｓ１７では、ペア登録テーブルに登録されているペアであって、その時点において解除時刻が空であるペアの中で、ｓ１１、またはｓ１２で抽出されなかったペアを解除候補のペアとして抽出する。ペア生成部２３は、ｓ１７で抽出したペアの中に、ｓ１９以降の処理を行っていないペア（未処理のペア）があるかどうかを判定する（ｓ１８）。

【0056】

ペア生成部２３は、未処理のペアがあれば、この未処理のペアの中から、処理対象のペアを選択する（ｓ１９）。ペア生成部２３は、選択したペアを構成する大人６と子供７の実空間上の距離が、第２設定距離（２～３ｍ）以上離れているかどうかを判定する（ｓ２０）。ペア生成部２３は、ｓ２０で設定距離（２～３ｍ）以上離れていないと判定すると、ｓ１８に戻る。また、ペア生成部２３は、ｓ２０で第２設定距離（２～３ｍ）以上離れていると判定すると、該当するペアの解除時刻を登録し（ｓ２１）、ｓ１８に戻る。ｓ２１では、今回の処理対象フレーム画像の撮像時刻を解除時刻として登録する。

【0057】

なお、ペア生成部２３は、今回の処理対象フレーム画像において、ペアを構成する大人６、または子供７の少なくとも一方を検出することができなかった場合、ｓ２０で第２の設定距離以上離れていないと判定する。これは、ペアを構成する大人６、または子供７の一方が、他方に隠れて撮像されなかったときに、誤ってペアが解除されるのを防止する対策（オクルージョン対策）である。

【0058】

ペア生成部２３は、ｓ１８で未処理のペアが無いと判定すると、本処理を終了する。

【0059】

次に、判定部２４における連れ去り判定処理について説明する。図８は、連れ去り判定処理を示すフローチャートである。判定部２４は、この連れ去り判定処理を実行する実行タイミングになるのを待つ（ｓ３１）。この連れ去り判定処理は、適当な時間間隔で繰り返し実行すればよい。連れ去り判定処理の周期は、例えば数十秒～数分である。判定部２４は、実行タイミングになると、ペア登録テーブルを参照し、判定対象のペアを抽出する（ｓ３２）。ｓ３２では、ペア登録テーブルに登録されているペアの中で、解除時刻が前回の実行タイミング以前であるペアを除いた残りのペアを抽出する。

【0060】

なお、解除時刻が前回の実行タイミング以前であるペアについては、すでに連れ去りの可能性が高いかどうかの判定結果が確定している。

【0061】

判定部２４は、ｓ３２で抽出した判定対象のペアの中に、ｓ３４以降の処理を行っていないペア（未処理のペア）があるかどうかを判定する（ｓ３３）。判定部２４は、未処理のペアがあれば、この未処理のペアの中から、処理対象のペアを選択する（ｓ３４）。

【0062】

判定部２４は、追跡データを参照し、ｓ３４で選択した処理対象のペア（大人６と、子供７）が、接近した状態で、ほとんど移動することなく立ち止まっていた停止状態が設定時間以上継続したペアであるかどうかを判定する（ｓ３５）。判定部２４は、ｓ３５で停止状態が設定時間以上継続したペアでないと判定すると、ｓ３３に戻る。

【0063】

判定部２４は、ｓ３５で停止状態が設定時間以上継続したペアであると判定すると、停止状態後に、ペアを構成する大人６と子供７が同じ方向に、判定距離（例えば、実空間上で１０ｍ）以上、同じ方向に移動したかどうかを判定する（ｓ３６）。判定部２４は、ｓ３６で停止状態後に、ペアを構成する大人６と子供７が同じ方向に、判定距離以上、同じ方向に移動していないと判定すると、ｓ３３に戻る。

【0064】

判定部２４は、ｓ３６で停止状態後に、ペアを構成する大人６と子供７が同じ方向に、判定距離以上、同じ方向に移動していると判定すると、このペアが連れ去りである可能性が高いと判定する（ｓ３７）。判定部２４は、出力部１４において、連れ去りの可能性が高いと判定したペアがあった旨の通知を出力し（ｓ３８）、ｓ３３に戻る。判定部２４は、ｓ３３で未処理のペアが無いと判定すると、ｓ３１に戻る。

【0065】

ｓ３８で出力する通知は、上位装置に応じて決めればよい。例えば、上位装置が、子供７の行方が分からない等の保護者からの問い合わせを照会する装置である場合には、連れ去りの可能性が高いと判定した、日時、場所（対象エリア）、このペア（大人６と子供７）が撮像されているフレーム画像等を対応付けた確認情報を、ｓ３８で出力する通知にすればよい。上位装置は、連れ去り推定装置１からの通知である確認情報を蓄積的に記憶する。子供７の行方が分からない等の保護者からの問い合わせがあると、この上位装置において、子供７の行方がわからなくなった、日時、場所をキーにして確認情報を検索し、該当する確認情報に対応づけられているフレーム画像によって、子供７の連れ去りについての確認が行える。また、子供７が連れ去られていることが確認できた場合には、連れ去った大人６の画像も同時に確認できるので、連れ去られた子供７の捜索も迅速かつ適正に行える。したがって、特別な端末を子供７に所持させることなく、子供７の連れ去りに対して対応できる。

【0066】

また、上位装置が、対象エリアの周辺において、連れ去りに対して注意を促すメッセージを出力する装置である場合には、連れ去りの可能性が高いと判定したことを、ｓ３８で出力する通知にすればよい。上位装置は、連れ去りの可能性が高いと判定したことが通知されると、対象エリア周辺で、例えば、「最近、子供が連れ去られることがあります。知らない人についていかないようにしましょう。」等、連れ去りに対して注意を促すメッセージを音声、または表示により出力する。このような上位装置であっても、特別な端末を子供７に所持させることなく、子供７の連れ去りに対して対応できる。

【0067】

また、この連れ去り推定装置１がｓ３８で通知を出力する上位装置は、１つの装置に限らず複数であってもよい。また、この連れ去り推定装置１がｓ３８で通知を出力した上位装置が、別の上位装置に対して、この通知を転送するようにしてもよい。

【0068】

また、連れ去り推定装置１は、ビデオカメラ５が撮像した対象エリアのビデオ画像を、動画記憶部１３に記憶している。したがって、このビデオ画像を利用することによって、子供７を連れ去った大人６の捜査も適正に行える。

【0069】

また、図６～図８に示したフローチャートは、一例であるので、ステップの順番を入れ替えることも可能である。例えば、ｓ３と、ｓ４との順番を入れ替えてもよいし、ｓ１１と、ｓ１２との順番を入れ替えてもよいし、ｓ３５と、ｓ３６との順番を入れ替えてもよいし、これら以外のステップ間で順番を入れ替えてもよい。

【0070】

また、上記の例では、ペア生成部２３は、処理対象フレーム画像において、対象者を囲む矩形領域の重なり度合いを用いて、大人６と子供７のペアを生成するとしたが、このペアについては生成しない構成にしてもよい。

【0071】

また、上記の例では、大人６と子供７のペアを生成するとしたが、大人６と大人６のペアも生成する構成にしてもよいし、さらには子供７と子供７のペアも生成する構成にしてもよい。

【0072】

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

【0073】

さらに、この発明に係る構成と上述した実施形態に係る構成との対応関係は、以下の付記のように記載できる。
＜付記＞
対象エリアを撮像した動画像が入力される動画像入力部（１２）と、
前記動画像入力部（１２）に入力された動画像のフレーム画像を処理し、撮像されている対象者を検出する対象者検出部（２１）と、
前記対象エリア内において、前記対象者検出部（２１）が検出した対象者を追跡する追跡部（２２）と、
実空間上における対象者間の相対的な位置関係に基づいて、対象者のペアを生成するペア生成部（２３）と、
前記ペア生成部（２３）によって生成された対象者のペアについて、前記追跡部（２２）の追跡結果に基づき連れ去りである可能性が高いかどうかを判定する判定部（２４）と、を備えた連れ去り推定装置（１）。

【符号の説明】

【0074】

１…連れ去り推定装置
５…ビデオカメラ
６…大人
７…子供
６ａ、７ａ…矩形領域
１１…制御ユニット
１２…動画像入力部
１３…動画記憶部
１４…出力部
２１…物体検出部
２２…追跡部
２３…ペア生成部
２４…判定部
１００…重なり領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】