知財求人 - 知財ポータルサイト「IP Force」
特開2024-48572置去人特定装置、置去人特定方法及び置去人特定プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024048572
(43)【公開日】2024-04-09
(54)【発明の名称】置去人特定装置、置去人特定方法及び置去人特定プログラム
(51)【国際特許分類】
G06V 10/74 20220101AFI20240402BHJP
G06T 7/00 20170101ALI20240402BHJP
【ＦＩ】
G06V10/74
G06T7/00 300D
G06T7/00 300F
【審査請求】有
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022154552
(22)【出願日】2022-09-28
(11)【特許番号】
(45)【特許公報発行日】2024-01-11
(71)【出願人】
【識別番号】394013002
【氏名又は名称】三菱電機インフォメーションシステムズ株式会社
(74)【代理人】
【識別番号】110002491
【氏名又は名称】弁理士法人クロスボーダー特許事務所
(72)【発明者】
【氏名】檜垣 宏策
(72)【発明者】
【氏名】中尾 尭理
(72)【発明者】
【氏名】山足 光義
(72)【発明者】
【氏名】阿部 紘和
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA02
5L096CA04
5L096DA02
5L096EA03
5L096EA35
5L096FA02
5L096FA52
5L096FA66
5L096FA69
5L096GA51
5L096HA02
5L096JA03
5L096JA09
5L096JA11
(57)【要約】 （修正有）
【課題】置去物を置き去った人である置去人を映像から特定する置去人特定装置、置去人特定方法及び置去人特定プログラムを提供する。
【解決手段】置去人特定装置１０において、置去位置特定部２２は、動画を構成するフレームのうち、置去物が置き去られた時刻である置去時刻以前の基準期間のフレームそれぞれを対象フレームとして、対象フレームにおける置去物の位置を特定する。距離計算部２４は、対象フレームに映った１人以上の人それぞれについて、対象フレームにおける置去物の位置からの距離を計算する。置去人特定部２６は、基準期間のフレームそれぞれについて距離計算部によって計算された距離に基づき、基準期間のフレームに映った人から置去人を特定する。
【選択図】図１
【解決手段】置去人特定装置１０において、置去位置特定部２２は、動画を構成するフレームのうち、置去物が置き去られた時刻である置去時刻以前の基準期間のフレームそれぞれを対象フレームとして、対象フレームにおける置去物の位置を特定する。距離計算部２４は、対象フレームに映った１人以上の人それぞれについて、対象フレームにおける置去物の位置からの距離を計算する。置去人特定部２６は、基準期間のフレームそれぞれについて距離計算部によって計算された距離に基づき、基準期間のフレームに映った人から置去人を特定する。
【選択図】図１
【特許請求の範囲】
【請求項1】
動画を構成するフレームのうち、置去物が置き去られた時刻である置去時刻以前の基準期間のフレームそれぞれを対象フレームとして、対象フレームにおける前記置去物の位置を特定する置去位置特定部と、
前記対象フレームに映った１人以上の人それぞれについて、前記置去位置特定部によって特定された前記対象フレームにおける前記置去物の位置からの距離を計算する距離計算部と、
前記基準期間のフレームそれぞれについて前記距離計算部によって計算された距離に基づき、前記基準期間のフレームに映った人から、前記置去物を置き去った置去人を特定する置去人特定部と
を備える置去人特定装置。
前記対象フレームに映った１人以上の人それぞれについて、前記置去位置特定部によって特定された前記対象フレームにおける前記置去物の位置からの距離を計算する距離計算部と、
前記基準期間のフレームそれぞれについて前記距離計算部によって計算された距離に基づき、前記基準期間のフレームに映った人から、前記置去物を置き去った置去人を特定する置去人特定部と
を備える置去人特定装置。
【請求項2】
前記対象フレームに映った人のうち、前記置去物の位置からの距離が近い人を隣接人として特定する隣接人特定部
を備え、
前記置去人特定部は、前記基準期間のフレームに映った１人以上の人それぞれを対象人として、前記隣接人特定部によって前記対象人が前記隣接人として特定されたフレームの数を前記対象人のスコアとして計算して、前記スコアが高い人を、前記置去人として特定する
請求項１に記載の置去人特定装置。
を備え、
前記置去人特定部は、前記基準期間のフレームに映った１人以上の人それぞれを対象人として、前記隣接人特定部によって前記対象人が前記隣接人として特定されたフレームの数を前記対象人のスコアとして計算して、前記スコアが高い人を、前記置去人として特定する
請求項１に記載の置去人特定装置。
【請求項3】
前記対象フレームに映った人のうち、前記置去物の位置からの距離が近い人を隣接人として特定する隣接人特定部
を備え、
前記置去人特定部は、前記基準期間のフレームに映った１人以上の人それぞれを対象人として、前記隣接人特定部によって前記対象人が前記隣接人として特定されたフレームの数と、前記対象人が前記隣接人として特定されたフレームにおける前記置去物の位置から前記対象人までの距離とからスコアを計算して、前記スコアが高い人を、前記置去物を置き去った置去人として特定する
請求項１に記載の置去人特定装置。
を備え、
前記置去人特定部は、前記基準期間のフレームに映った１人以上の人それぞれを対象人として、前記隣接人特定部によって前記対象人が前記隣接人として特定されたフレームの数と、前記対象人が前記隣接人として特定されたフレームにおける前記置去物の位置から前記対象人までの距離とからスコアを計算して、前記スコアが高い人を、前記置去物を置き去った置去人として特定する
請求項１に記載の置去人特定装置。
【請求項4】
前記置去人特定部は、前記対象人が前記隣接人として特定されたフレームにおける前記置去物の位置から前記対象人以外の人までの距離を考慮して前記スコアを計算する
請求項３に記載の置去人特定装置。
請求項３に記載の置去人特定装置。
【請求項5】
前記対象フレームに映った人のうち、前記置去物の位置からの距離が所定の距離内の人を隣接人として特定する隣接人特定部
を備え、
前記置去人特定部は、前記基準期間のフレームに映った１人以上の人それぞれを対象人として、前記隣接人特定部によって前記対象人が前記隣接人として特定されたフレーム毎に、前記対象人が前記隣接人として特定されたフレームにおける前記隣接人と前記置去物の位置との比較による算出されるスコアを計算し、前記スコアを前記対象人のスコアとして加算し、前記スコアが高い人を、前記置去物を置き去った置去人として特定する
請求項１に記載の置去人特定装置。
を備え、
前記置去人特定部は、前記基準期間のフレームに映った１人以上の人それぞれを対象人として、前記隣接人特定部によって前記対象人が前記隣接人として特定されたフレーム毎に、前記対象人が前記隣接人として特定されたフレームにおける前記隣接人と前記置去物の位置との比較による算出されるスコアを計算し、前記スコアを前記対象人のスコアとして加算し、前記スコアが高い人を、前記置去物を置き去った置去人として特定する
請求項１に記載の置去人特定装置。
【請求項6】
前記置去位置特定部は、基準期間のフレームそれぞれを前記置去時刻のフレームから時刻の逆順に前記対象フレームとして、前記対象フレームの次の時刻のフレームにおける前記置去物の位置の周囲基準範囲を前記対象フレームについての検索範囲に設定し、前記置去物の画像をテンプレート画像として前記検索範囲についてテンプレートマッチングを行うことにより、前記対象フレームにおける前記置去物の位置を特定する
請求項１に記載の置去人特定装置。
請求項１に記載の置去人特定装置。
【請求項7】
前記置去位置特定部は、前記対象フレームの処理までに検知された前記置去物の画像のうち類似度が基準以下の１つ以上の画像それぞれを、前記対象フレームについてのテンプレート画像としてテンプレートマッチングを行う
請求項６に記載の置去人特定装置。
請求項６に記載の置去人特定装置。
【請求項8】
前記置去位置特定部は、前記置去物の画像に対して拡大した画像と縮小した画像との少なくともいずれかを前記テンプレート画像に加えて、テンプレートマッチングを行う
請求項７に記載の置去人特定装置。
請求項７に記載の置去人特定装置。
【請求項9】
前記置去位置特定部は、前記テンプレート画像とマッチする部分画像が特定されないフレームの次の時刻のフレームを前記置去物が出現した出現時刻のフレームとして特定し、
前記距離計算部は、前記基準期間のフレームのうち、前記出現時刻以降のフレームだけを前記対象フレームとして、前記対象フレームにおける前記距離を計算する
請求項６に記載の置去人特定装置。
前記距離計算部は、前記基準期間のフレームのうち、前記出現時刻以降のフレームだけを前記対象フレームとして、前記対象フレームにおける前記距離を計算する
請求項６に記載の置去人特定装置。
【請求項10】
前記置去人特定装置は、さらに、
フレーム間で同一の人を特定する同一人特定部
を備え、
前記置去人特定部は、前記同一人特定部によって同一の人と特定された結果を参照して、前記隣接人として特定されたフレームの数を特定する
請求項２に記載の置去人特定装置。
フレーム間で同一の人を特定する同一人特定部
を備え、
前記置去人特定部は、前記同一人特定部によって同一の人と特定された結果を参照して、前記隣接人として特定されたフレームの数を特定する
請求項２に記載の置去人特定装置。
【請求項11】
コンピュータが、動画を構成するフレームのうち、置去物が置き去られた時刻である置去時刻以前の基準期間のフレームそれぞれを対象フレームとして、対象フレームにおける前記置去物の位置を特定し、
コンピュータが、前記対象フレームに映った１人以上の人それぞれについて、前記対象フレームにおける前記置去物の位置からの距離を計算し、
コンピュータが、前記基準期間のフレームそれぞれについて計算された距離に基づき、前記基準期間のフレームに映った人から、前記置去物を置き去った置去人を特定する置去人特定方法。
コンピュータが、前記対象フレームに映った１人以上の人それぞれについて、前記対象フレームにおける前記置去物の位置からの距離を計算し、
コンピュータが、前記基準期間のフレームそれぞれについて計算された距離に基づき、前記基準期間のフレームに映った人から、前記置去物を置き去った置去人を特定する置去人特定方法。
【請求項12】
動画を構成するフレームのうち、置去物が置き去られた時刻である置去時刻以前の基準期間のフレームそれぞれを対象フレームとして、対象フレームにおける前記置去物の位置を特定する置去位置特定処理と、
前記対象フレームに映った１人以上の人それぞれについて、前記置去位置特定処理によって特定された前記対象フレームにおける前記置去物の位置からの距離を計算する距離計算処理と、
前記基準期間のフレームそれぞれについて前記距離計算処理によって計算された距離に基づき、前記基準期間のフレームに映った人から、前記置去物を置き去った置去人を特定する置去人特定処理と
を行う置去人特定装置としてコンピュータを機能させる置去人特定プログラム。
前記対象フレームに映った１人以上の人それぞれについて、前記置去位置特定処理によって特定された前記対象フレームにおける前記置去物の位置からの距離を計算する距離計算処理と、
前記基準期間のフレームそれぞれについて前記距離計算処理によって計算された距離に基づき、前記基準期間のフレームに映った人から、前記置去物を置き去った置去人を特定する置去人特定処理と
を行う置去人特定装置としてコンピュータを機能させる置去人特定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、置去物を置き去った人である置去人を映像から特定する技術に関する。
【背景技術】
【0002】
公共施設等に設置された監視カメラで得られた映像を用いて、不審物等の置き去りを検知することが行われている。この検知では、事前に用意された背景画像とリアルタイムの画像とが比較され、置き去りされた置去物の候補が見つけられる。そして、この候補が一定時間同じ場所にあった場合に、置去物であると判定される。
【0003】
特許文献１には、映像から、置去物を置き去った人である置去人を特定する技術が記載されている。特許文献１では、置き去られた際の置去物の位置からの距離が近い人を置去人として特定している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０１９／０２１６２８号
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１に記載されたように、置き去られた際の置去物の位置からの距離だけで置去人を特定すると、置去物が置き去られた時に置去物の近くにいた他の人を誤って置去人として特定してしまう恐れがある。また、置去物が置き去られた時に置き去った人が映像上で物体等に隠れてしまう状況では、適切に置去人を特定することが困難である。
本開示は、適切に置去人を特定可能にすることを目的とする。
本開示は、適切に置去人を特定可能にすることを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る置去人特定装置は、
動画を構成するフレームのうち、置去物が置き去られた時刻である置去時刻以前の基準期間のフレームそれぞれを対象フレームとして、対象フレームにおける前記置去物の位置を特定する置去位置特定部と、
前記対象フレームに映った１人以上の人それぞれについて、前記置去位置特定部によって特定された前記対象フレームにおける前記置去物の位置からの距離を計算する距離計算部と、
前記基準期間のフレームそれぞれについて前記距離計算部によって計算された距離に基づき、前記基準期間のフレームに映った人から、前記置去物を置き去った置去人を特定する置去人特定部と
を備える。
動画を構成するフレームのうち、置去物が置き去られた時刻である置去時刻以前の基準期間のフレームそれぞれを対象フレームとして、対象フレームにおける前記置去物の位置を特定する置去位置特定部と、
前記対象フレームに映った１人以上の人それぞれについて、前記置去位置特定部によって特定された前記対象フレームにおける前記置去物の位置からの距離を計算する距離計算部と、
前記基準期間のフレームそれぞれについて前記距離計算部によって計算された距離に基づき、前記基準期間のフレームに映った人から、前記置去物を置き去った置去人を特定する置去人特定部と
を備える。
【発明の効果】
【0007】
本開示では、置去時刻以前の基準期間のフレームそれぞれについての置去物の位置からの距離により置去人を特定する。これにより、置去物が置き去られた時に置去物の近くにいた他の人を誤って置去人として特定してしまうことを防止できる。また、置去物が置き去られた時に置き去った人が映像上で物体等に隠れてしまう状況でも、適切に置去人を特定することが可能になる。
【図面の簡単な説明】
【0008】
【図1】実施の形態１に係る置去人特定装置１０の構成図。
【図2】実施の形態１に係る置去人特定装置１０の全体的な動作を示すフローチャート。
【図3】実施の形態１に係る置去人特定装置１０の動作の説明図。
【図4】実施の形態１に係る距離計算処理の説明図。
【図5】変形例１に係る置去人特定装置１０の構成図。
【図6】テンプレートマッチングの説明図。
【図7】実施の形態３に係る検索範囲の説明図。
【図8】実施の形態４に係るテンプレート画像の説明図。
【発明を実施するための形態】
【0009】
実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る置去人特定装置１０の構成を説明する。
置去人特定装置１０は、コンピュータである。
置去人特定装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る置去人特定装置１０の構成を説明する。
置去人特定装置１０は、コンピュータである。
置去人特定装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
【0010】
プロセッサ１１は、プロセッシングを行うＩＣである。ＩＣはＩｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。プロセッサ１１は、具体例としては、ＣＰＵ、ＤＳＰ、ＧＰＵである。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略である。ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。
【0011】
メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ、ＤＲＡＭである。ＳＲＡＭは、Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。ＤＲＡＭは、Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。
【0012】
ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤである。ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。また、ストレージ１３は、ＳＤ（登録商標）メモリカード、ＣｏｍｐａｃｔＦｌａｓｈ（登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤといった可搬記録媒体であってもよい。ＳＤは、Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌの略である。ＤＶＤは、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋの略である。
【0013】
通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標）のポートである。ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。ＨＤＭＩは、Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅの略である。
【0014】
置去人特定装置１０は、機能構成要素として、置去物特定部２１と、置去位置特定部２２と、同一人特定部２３と、距離計算部２４と、隣接人特定部２５と、置去人特定部２６とを備える。置去人特定装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、置去人特定装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、置去人特定装置１０の各機能構成要素の機能が実現される。
ストレージ１３には、置去人特定装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、置去人特定装置１０の各機能構成要素の機能が実現される。
【0015】
図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。
【0016】
＊＊＊動作の説明＊＊＊
図２から図４を参照して、実施の形態１に係る置去人特定装置１０の動作を説明する。
実施の形態１に係る置去人特定装置１０の動作手順は、実施の形態１に係る置去人特定方法に相当する。また、実施の形態１に係る置去人特定装置１０の動作を実現するプログラムは、実施の形態１に係る置去人特定プログラムに相当する。
図２から図４を参照して、実施の形態１に係る置去人特定装置１０の動作を説明する。
実施の形態１に係る置去人特定装置１０の動作手順は、実施の形態１に係る置去人特定方法に相当する。また、実施の形態１に係る置去人特定装置１０の動作を実現するプログラムは、実施の形態１に係る置去人特定プログラムに相当する。
【0017】
図２を参照して、実施の形態１に係る置去人特定装置１０の全体的な動作を説明する。
（ステップＳ１：置去物特定処理）
置去物特定部２１は、置去物３１を特定する。置去物３１は、不審物、鞄といった物体である。
具体的には、置去物特定部２１は、通信インタフェース１４を介して映像を取得する。映像は、監視カメラ等によって対象領域を撮影して得られる。置去物特定部２１は、既存技術を用いて映像から置去物３１を特定する。実施の形態１では、置去物特定部２１は、事前に用意された背景画像と映像を構成する各フレームの画像とを比較し、置き去りされた置去物３１の候補を見つける。そして、置去物特定部２１は、この候補が指定時間同じ場所にあった場合に、置去物３１として特定する。
（ステップＳ１：置去物特定処理）
置去物特定部２１は、置去物３１を特定する。置去物３１は、不審物、鞄といった物体である。
具体的には、置去物特定部２１は、通信インタフェース１４を介して映像を取得する。映像は、監視カメラ等によって対象領域を撮影して得られる。置去物特定部２１は、既存技術を用いて映像から置去物３１を特定する。実施の形態１では、置去物特定部２１は、事前に用意された背景画像と映像を構成する各フレームの画像とを比較し、置き去りされた置去物３１の候補を見つける。そして、置去物特定部２１は、この候補が指定時間同じ場所にあった場合に、置去物３１として特定する。
【0018】
（ステップＳ２：置去時刻処理）
置去物特定部２１は、置去物が置き去られた時刻である置去時刻３２を特定する。
具体的には、置去物特定部２１は、ステップＳ１で置去物３１として特定された時刻の指定時間前の時刻を置去時刻３２として特定する。
例えば、図３に示すように、時刻ｔｎに置去物３１が特定されたとする。ステップＳ１では、置去物３１の候補が指定時間同じ場所にあった場合に、置去物３１として特定される。そのため、置去物３１は、時刻ｔｎの指定時間前に置き去られ、同じ場所に置かれていたことになる。そこで、置去物特定部２１は、時刻ｔｎの指定時間前の時刻ｔｍを置去時刻３２として特定する。
置去物特定部２１は、置去物が置き去られた時刻である置去時刻３２を特定する。
具体的には、置去物特定部２１は、ステップＳ１で置去物３１として特定された時刻の指定時間前の時刻を置去時刻３２として特定する。
例えば、図３に示すように、時刻ｔｎに置去物３１が特定されたとする。ステップＳ１では、置去物３１の候補が指定時間同じ場所にあった場合に、置去物３１として特定される。そのため、置去物３１は、時刻ｔｎの指定時間前に置き去られ、同じ場所に置かれていたことになる。そこで、置去物特定部２１は、時刻ｔｎの指定時間前の時刻ｔｍを置去時刻３２として特定する。
【0019】
置去位置特定部２２は、第１ループの処理を、置去時刻３２以前の基準期間のフレームを置去時刻のフレームから時刻の逆順に対象フレームとして実行する。第１ループには、ステップＳ３及びステップＳ４の処理が含まれる。基準期間は、人が撮影領域の端から端まで移動できる程度の期間のような、ある程度の長さを持った期間である。したがって、基準期間には、複数のフレームが含まれる。
【0020】
（ステップＳ３：置去位置特定処理）
置去位置特定部２２は、対象フレームにおける置去物３１の位置を特定する。
具体的には、置去位置特定部２２は、置去物３１の画像をテンプレート画像としてテンプレートマッチングを行うことにより、対象フレームにおける置去物３１を検知する。置去位置特定部２２は、検知された置去物３１の位置を特定する。ここでは、検知された置去物３１の位置は、置去物検知枠３３の下辺の中点である。実施の形態１では、置去位置特定部２２は、ステップＳ１で置去物３１として特定された際の置去物３１の画像をテンプレート画像とする。つまり、図３では、時刻ｔｎのフレームにおいて置去物３１が検知された矩形の検知枠である置去物検知枠３３内の画像がテンプレート画像である。
置去位置特定部２２は、対象フレームにおける置去物３１の位置を特定する。
具体的には、置去位置特定部２２は、置去物３１の画像をテンプレート画像としてテンプレートマッチングを行うことにより、対象フレームにおける置去物３１を検知する。置去位置特定部２２は、検知された置去物３１の位置を特定する。ここでは、検知された置去物３１の位置は、置去物検知枠３３の下辺の中点である。実施の形態１では、置去位置特定部２２は、ステップＳ１で置去物３１として特定された際の置去物３１の画像をテンプレート画像とする。つまり、図３では、時刻ｔｎのフレームにおいて置去物３１が検知された矩形の検知枠である置去物検知枠３３内の画像がテンプレート画像である。
【0021】
（ステップＳ４：出現判定処理）
置去位置特定部２２は、ステップＳ３で置去物３１の位置が特定されたか否かを判定する。
置去位置特定部２２は、置去物３１の位置が特定された場合には、対象フレームについての処理を終了する。一方、置去位置特定部２２は、置去物３１の位置が特定されなかった場合には、対象フレームの次の時刻のフレームを置去物３１が出現した出現時刻３４のフレームとして特定する。置去位置特定部２２は、出現時刻３４のフレームを特定した場合には、第１ループの処理を終了して、処理をステップＳ５に進める。図３では、時刻ｔ０には置去物３１が存在せず、置去物３１の位置が特定されない。そのため、時刻ｔ０の次の時刻ｔ１のフレームが出現時刻３４のフレームになる。
なお、基準期間のフレームの最初のフレームでも置去物３１の位置が特定された場合には、置去位置特定部２２は、基準期間のフレームの最初のフレームを出現時刻３４のフレームとして処理を進める。
置去位置特定部２２は、ステップＳ３で置去物３１の位置が特定されたか否かを判定する。
置去位置特定部２２は、置去物３１の位置が特定された場合には、対象フレームについての処理を終了する。一方、置去位置特定部２２は、置去物３１の位置が特定されなかった場合には、対象フレームの次の時刻のフレームを置去物３１が出現した出現時刻３４のフレームとして特定する。置去位置特定部２２は、出現時刻３４のフレームを特定した場合には、第１ループの処理を終了して、処理をステップＳ５に進める。図３では、時刻ｔ０には置去物３１が存在せず、置去物３１の位置が特定されない。そのため、時刻ｔ０の次の時刻ｔ１のフレームが出現時刻３４のフレームになる。
なお、基準期間のフレームの最初のフレームでも置去物３１の位置が特定された場合には、置去位置特定部２２は、基準期間のフレームの最初のフレームを出現時刻３４のフレームとして処理を進める。
【0022】
ここでは、置去位置特定部２２は、１度でも置去物３１の位置が特定されなかった場合には、次の時刻のフレームを置去物３１が出現した出現時刻３４のフレームとして特定した。しかし、オクルージョン等により一時的に置去物３１が検出されなくなる可能性がある。そこで、置去位置特定部２２は、指定数のフレームで連続して置去物３１の位置が特定されなかった場合には、置去物３１の位置が特定された最後のフレームを置去物３１が出現した出現時刻３４のフレームとして特定してもよい。
【0023】
同一人物特定部２３と距離計算部２４と隣接人特定部２５と置去人特定部２６とは、第２ループの処理を、出現時刻３４のフレームから置去時刻３２のフレームまでを対象フレームとして実行する。第２ループには、ステップＳ５からステップＳ１１の処理が含まれる。
【0024】
（ステップＳ５：人検知処理）
同一人特定部２３は、対象フレームに映っている人を検知する。
具体的には、同一人特定部２３は、対象フレームを入力として既存の人検知処理により人を検知する。ここでは、図３に示すように、人が検知された領域を囲った矩形の人検知枠３５が得られるものとする。
同一人特定部２３は、対象フレームに映っている人を検知する。
具体的には、同一人特定部２３は、対象フレームを入力として既存の人検知処理により人を検知する。ここでは、図３に示すように、人が検知された領域を囲った矩形の人検知枠３５が得られるものとする。
【0025】
同一人特定部２３と距離計算部２４とは、第３ループの処理を、ステップＳ５で検知された各人を順に対象人として実行する。第３ループには、ステップＳ６からステップＳ９の処理が含まれる。
【0026】
（ステップＳ６：同一人判定処理）
同一人特定部２３は、対象人と同一の人が人物リストに登録済か否かを判定する。
具体的には、同一人特定部２３は、対象人の特徴量を計算する。同一人特定部２３は、対象人の特徴量と、人物リストに登録された各人の特徴量とを比較する。同一人特定部２３は、対象人の特徴量との一致率が閾値以上の特徴量を有する人を、対象人と同一の人として特定する。同一人特定部２３は、対象人と同一の人が特定された場合には、対象人と同一の人が人物リストに登録済と判定する。同一人特定部２３は、対象人の特徴量との一致率が閾値以上の特徴量を有する人が人物リストにいない場合には、対象人と同一の人が人物リストに未登録と判定する。
同一人特定部２３は、対象人と同一の人が人物リストに登録済の場合には、同一と判定された人の人物ＩＤを対象人に付与し、処理をステップＳ７に進める。一方、同一人特定部２３は、対象人と同一の人が人物リストに未登録の場合には、処理をステップＳ８に進める。
同一人特定部２３は、対象人と同一の人が人物リストに登録済か否かを判定する。
具体的には、同一人特定部２３は、対象人の特徴量を計算する。同一人特定部２３は、対象人の特徴量と、人物リストに登録された各人の特徴量とを比較する。同一人特定部２３は、対象人の特徴量との一致率が閾値以上の特徴量を有する人を、対象人と同一の人として特定する。同一人特定部２３は、対象人と同一の人が特定された場合には、対象人と同一の人が人物リストに登録済と判定する。同一人特定部２３は、対象人の特徴量との一致率が閾値以上の特徴量を有する人が人物リストにいない場合には、対象人と同一の人が人物リストに未登録と判定する。
同一人特定部２３は、対象人と同一の人が人物リストに登録済の場合には、同一と判定された人の人物ＩＤを対象人に付与し、処理をステップＳ７に進める。一方、同一人特定部２３は、対象人と同一の人が人物リストに未登録の場合には、処理をステップＳ８に進める。
【0027】
（ステップＳ７：特徴量更新処理）
同一人特定部２３は、人物リストにおける対象人と同一の人と判定された人の特徴量を、対象人の特徴量を用いて更新する。更新方法は、任意であるが、例えば重み付け平均を取るといった方法である。
同一人特定部２３は、人物リストにおける対象人と同一の人と判定された人の特徴量を、対象人の特徴量を用いて更新する。更新方法は、任意であるが、例えば重み付け平均を取るといった方法である。
【0028】
（ステップＳ８：人追加処理）
同一人特定部２３は、対象人を人物リストに追加する。
具体的には、同一人特定部２３は、対象人に対して新しい人物ＩＤを付与する。同一人特定部２３は、付与された人物ＩＤと、対象人の特徴量とを対応付けて人物リストに登録する。
同一人特定部２３は、対象人を人物リストに追加する。
具体的には、同一人特定部２３は、対象人に対して新しい人物ＩＤを付与する。同一人特定部２３は、付与された人物ＩＤと、対象人の特徴量とを対応付けて人物リストに登録する。
【0029】
（ステップＳ９：距離計算処理）
距離計算部２４は、対象フレームにおける置去物３１の位置と対象人の位置の距離３６を計算する。
具体的には、図４に示すように、距離計算部２４は、１人以上の人それぞれについて、その人についての人検知枠３５の下辺の中点と、置去物検知枠３３の下辺の中点との間のユークリッド距離を距離３６として計算する。
距離計算部２４は、対象フレームにおける置去物３１の位置と対象人の位置の距離３６を計算する。
具体的には、図４に示すように、距離計算部２４は、１人以上の人それぞれについて、その人についての人検知枠３５の下辺の中点と、置去物検知枠３３の下辺の中点との間のユークリッド距離を距離３６として計算する。
【0030】
（ステップＳ１０：隣接人特定処理）
隣接人特定部２５は、対象フレームに映った人のうち、ステップＳ９で計算された、対象フレームにおける置去物３１の位置からの距離３６が最も近い人を隣接人として特定する。
隣接人特定部２５は、対象フレームに映った人のうち、ステップＳ９で計算された、対象フレームにおける置去物３１の位置からの距離３６が最も近い人を隣接人として特定する。
【0031】
（ステップＳ１１：スコア計算処理）
置去人特定部２６は、ステップＳ１０で隣接人として特定された人の人物ＩＤのスコアに１加算する。なお、各人物ＩＤについてのスコアの初期値は０である。
置去人特定部２６は、ステップＳ１０で隣接人として特定された人の人物ＩＤのスコアに１加算する。なお、各人物ＩＤについてのスコアの初期値は０である。
【0032】
（ステップＳ１２：置去人特定処理）
置去人特定部２６は、距離３６に基づき、出現時刻３４のフレームから置去時刻３２のフレームに映った人から、置去物３１を置き去った置去人３７を特定する。
実施の形態１では、置去人特定部２６は、ステップＳ１１で計算されたスコアが最も高い人を置去人３７として特定する。
置去人特定部２６は、距離３６に基づき、出現時刻３４のフレームから置去時刻３２のフレームに映った人から、置去物３１を置き去った置去人３７を特定する。
実施の形態１では、置去人特定部２６は、ステップＳ１１で計算されたスコアが最も高い人を置去人３７として特定する。
【0033】
＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る置去人特定装置１０は、置去時刻３２以前の基準期間のフレームそれぞれについての置去物３１の位置からの距離３６により置去人３７を特定する。これにより、置去物３１が置き去られた時に置去物３１の近くに偶然いた他の人を誤って置去人３７として特定してしまうことを防止できる。また、置去物３１が置き去られた時に置き去った人が映像上で物体等に隠れてしまう状況でも、適切に置去人３７を特定することが可能になる。そのため、適切に置去人３７を特定可能になる。
以上のように、実施の形態１に係る置去人特定装置１０は、置去時刻３２以前の基準期間のフレームそれぞれについての置去物３１の位置からの距離３６により置去人３７を特定する。これにより、置去物３１が置き去られた時に置去物３１の近くに偶然いた他の人を誤って置去人３７として特定してしまうことを防止できる。また、置去物３１が置き去られた時に置き去った人が映像上で物体等に隠れてしまう状況でも、適切に置去人３７を特定することが可能になる。そのため、適切に置去人３７を特定可能になる。
【0034】
なお、置去時刻３２以前の時間は、置去物３１が置去人３７によって運ばれていると想定される。そのため、置去時刻３２以前の時間のフレームでは、そのフレームにおける置去物３１の位置からの距離３６が最も近い人が置去人３７である可能性が高い。したがって、実施の形態１のように、距離３６が最も近い人である隣接人として特定されたフレームの数が多い人を置去人３７として特定することで、適切に置去人３７を特定可能である。
【0035】
＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例１として、各機能構成要素はハードウェアで実現されてもよい。この変形例１について、実施の形態１と異なる点を説明する。
＜変形例１＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例１として、各機能構成要素はハードウェアで実現されてもよい。この変形例１について、実施の形態１と異なる点を説明する。
【0036】
図５を参照して、変形例１に係る置去人特定装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、置去人特定装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。
各機能構成要素がハードウェアで実現される場合には、置去人特定装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。
【0037】
電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、ＦＰＧＡが想定される。ＧＡは、Ｇａｔｅ Ａｒｒａｙの略である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。ＦＰＧＡは、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。
【0038】
＜変形例２＞
変形例２として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
変形例２として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
【0039】
プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
【0040】
実施の形態２．
実施の形態２は、スコアの計算方法が実施の形態１と異なる。実施の形態２では、この異なる点を説明して、同一の点については説明を省略する。
実施の形態２は、スコアの計算方法が実施の形態１と異なる。実施の形態２では、この異なる点を説明して、同一の点については説明を省略する。
【0041】
スコア計算処理（図２のステップＳ１１）が実施の形態１と異なる。
スコア計算処理では、置去人特定部２６は、置去物３１の位置からの距離を考慮してスコアを計算する。具体的には、置去人特定部２６は、ステップＳ１０で隣接人として特定された人について、置去物３１の位置からの距離に応じた値をスコアに加算する。ここで、置去人特定部２６は、置去物３１の位置からの距離が近いほど、大きい値をスコアに加算する。置去物３１を運んでいる人は置去物３１に近い位置にいると予想されるためである。
スコア計算処理では、置去人特定部２６は、置去物３１の位置からの距離を考慮してスコアを計算する。具体的には、置去人特定部２６は、ステップＳ１０で隣接人として特定された人について、置去物３１の位置からの距離に応じた値をスコアに加算する。ここで、置去人特定部２６は、置去物３１の位置からの距離が近いほど、大きい値をスコアに加算する。置去物３１を運んでいる人は置去物３１に近い位置にいると予想されるためである。
【0042】
＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る置去人特定装置１０は、置去物３１の位置からの距離を考慮してスコアを計算する。これにより、より適切にスコアを計算することが可能になる。その結果、より適切に置去人３７を特定可能になる。
以上のように、実施の形態２に係る置去人特定装置１０は、置去物３１の位置からの距離を考慮してスコアを計算する。これにより、より適切にスコアを計算することが可能になる。その結果、より適切に置去人３７を特定可能になる。
【0043】
＊＊＊他の構成＊＊＊
＜変形例３＞
実施の形態２では、隣接人として特定された人についての置去物３１の位置からの距離だけを考慮してスコアを計算した。変形例３として、対象フレームに映った他の人についての置去物３１の位置からの距離も考慮してスコアを計算してもよい。
具体的には、置去人特定部２６は、隣接人として特定された人についての置去物３１の位置からの距離が近く、かつ、隣接人として特定された人以外の人についての置去物３１の位置からの距離が遠いほど、大きい値をスコアに加算する。隣接人として特定された人以外の人が置去物３１の近くにいる場合には、置去人３７以外の人が隣接人として特定されている可能性があるためである。
＜変形例４＞
実施の形態２及び変形例３では、スコア計算処理のスコアの値に重みを持たせているが、対象フレームでの隣接人は一人に特定されている。変形例４として、対象フレームの隣接人を複数であってもよくそれぞれの隣接人との距離３６により、スコアの値に重みづけを持たせるように構成してもよい。
具体的には、隣接人特定処理（図２のステップＳ１０）では隣接人特定部２５は、距離３６が所定の距離内である人を隣接人として特定する。次にスコア計算処理（図２のステップＳ１１）では置去人特定部２６は、特定された人の人物ＩＤのスコアの値にそれぞれの距離３６の比較により算出される数値を加算する。距離３６から算出される数値について、具体例で説明する。例えば隣接人として人物Ａ、人物Ｂ、人物Ｃが特定され、その順番に距離３６が短く、距離３６は相対的に１、１．５、３の関係性であるとする。スコアの値は、距離３６の短さだけを考慮して、例えば人物Ａが０．８、人物Ｂが０．５、人物Ｃが０．２と所定の数値とするように構成してもよい。あるいは複数人の隣接人の距離３６の相対的な比較により、人物Ａが１／１＝１、人物Ｂが１／１．５＝０．６７、人物Ｃが１／３＝０．３４と算出した数値でもよい。
このように構成することにより、隣接人から置去人３７の特定の精度が向上できる可能性がある。所定の距離とは、無限の距離でもよい。この場合、実質的には距離の指定はなく、全ての人が対象となる。
更なる変形例として、ステップＳ１０の処理を省略し、ステップＳ１１の処理を行うことで、対象フレームにおける全ての人を対象として、本変形例で上述したようなスコア計算するように構成してもよい。
＜変形例３＞
実施の形態２では、隣接人として特定された人についての置去物３１の位置からの距離だけを考慮してスコアを計算した。変形例３として、対象フレームに映った他の人についての置去物３１の位置からの距離も考慮してスコアを計算してもよい。
具体的には、置去人特定部２６は、隣接人として特定された人についての置去物３１の位置からの距離が近く、かつ、隣接人として特定された人以外の人についての置去物３１の位置からの距離が遠いほど、大きい値をスコアに加算する。隣接人として特定された人以外の人が置去物３１の近くにいる場合には、置去人３７以外の人が隣接人として特定されている可能性があるためである。
＜変形例４＞
実施の形態２及び変形例３では、スコア計算処理のスコアの値に重みを持たせているが、対象フレームでの隣接人は一人に特定されている。変形例４として、対象フレームの隣接人を複数であってもよくそれぞれの隣接人との距離３６により、スコアの値に重みづけを持たせるように構成してもよい。
具体的には、隣接人特定処理（図２のステップＳ１０）では隣接人特定部２５は、距離３６が所定の距離内である人を隣接人として特定する。次にスコア計算処理（図２のステップＳ１１）では置去人特定部２６は、特定された人の人物ＩＤのスコアの値にそれぞれの距離３６の比較により算出される数値を加算する。距離３６から算出される数値について、具体例で説明する。例えば隣接人として人物Ａ、人物Ｂ、人物Ｃが特定され、その順番に距離３６が短く、距離３６は相対的に１、１．５、３の関係性であるとする。スコアの値は、距離３６の短さだけを考慮して、例えば人物Ａが０．８、人物Ｂが０．５、人物Ｃが０．２と所定の数値とするように構成してもよい。あるいは複数人の隣接人の距離３６の相対的な比較により、人物Ａが１／１＝１、人物Ｂが１／１．５＝０．６７、人物Ｃが１／３＝０．３４と算出した数値でもよい。
このように構成することにより、隣接人から置去人３７の特定の精度が向上できる可能性がある。所定の距離とは、無限の距離でもよい。この場合、実質的には距離の指定はなく、全ての人が対象となる。
更なる変形例として、ステップＳ１０の処理を省略し、ステップＳ１１の処理を行うことで、対象フレームにおける全ての人を対象として、本変形例で上述したようなスコア計算するように構成してもよい。
【0044】
実施の形態３．
実施の形態３は、置去物３１の位置を効率的に特定する点が実施の形態１，２と異なる。実施の形態３では、この異なる点を説明し、同一の点については説明を省略する。
実施の形態３は、置去物３１の位置を効率的に特定する点が実施の形態１，２と異なる。実施の形態３では、この異なる点を説明し、同一の点については説明を省略する。
【0045】
置去位置特定処理（図２のステップＳ３）が実施の形態１，２と異なる。
置去位置特定処理では、置去物３１の画像をテンプレート画像としてテンプレートマッチングを行う。図６に示すように、テンプレートマッチングは、対象フレーム上でテンプレート画像を移動させて、類似度が基準以上となる部分を検出する処理である。そのため、対象フレームのピクセル数が多いと処理時間が長くなってしまう。
置去位置特定処理では、置去物３１の画像をテンプレート画像としてテンプレートマッチングを行う。図６に示すように、テンプレートマッチングは、対象フレーム上でテンプレート画像を移動させて、類似度が基準以上となる部分を検出する処理である。そのため、対象フレームのピクセル数が多いと処理時間が長くなってしまう。
【0046】
そこで、置去位置特定部２２は、テンプレートマッチングを行う対象フレームにおける範囲を絞る。
具体的には、図７に示すように、置去位置特定部２２は、対象フレームの次の時刻のフレームにおける置去物３１の位置の周囲基準範囲を対象フレームについての検索範囲に設定する。つまり、第１ループにおいて、前回の対象フレームで特定された置去物３１の位置の周囲基準範囲を今回の対象フレームについての検索範囲に設定する。そして、置去位置特定部２２は、置去物３１の画像をテンプレート画像として検索範囲についてのみテンプレートマッチングを行う。
ここでは、置去位置特定部２２は、対象フレームの次の時刻のフレームにおける置去物検知枠３３を周囲に一定割合拡大させた範囲を、置去物３１の位置の周囲基準範囲とする。なお、拡大させる割合は、次の時刻のフレームとその次の時刻のフレームとの間の置去物３１の移動量に応じて決定されてもよい。
具体的には、図７に示すように、置去位置特定部２２は、対象フレームの次の時刻のフレームにおける置去物３１の位置の周囲基準範囲を対象フレームについての検索範囲に設定する。つまり、第１ループにおいて、前回の対象フレームで特定された置去物３１の位置の周囲基準範囲を今回の対象フレームについての検索範囲に設定する。そして、置去位置特定部２２は、置去物３１の画像をテンプレート画像として検索範囲についてのみテンプレートマッチングを行う。
ここでは、置去位置特定部２２は、対象フレームの次の時刻のフレームにおける置去物検知枠３３を周囲に一定割合拡大させた範囲を、置去物３１の位置の周囲基準範囲とする。なお、拡大させる割合は、次の時刻のフレームとその次の時刻のフレームとの間の置去物３１の移動量に応じて決定されてもよい。
【0047】
＊＊＊実施の形態３の効果＊＊＊
以上のように、実施の形態３に係る置去人特定装置１０は、対象フレームの次の時刻のフレームにおける置去物３１の位置の周囲基準範囲を対象フレームについての検索範囲に設定する。これにより、テンプレートマッチングに係る処理時間を短縮可能である。
以上のように、実施の形態３に係る置去人特定装置１０は、対象フレームの次の時刻のフレームにおける置去物３１の位置の周囲基準範囲を対象フレームについての検索範囲に設定する。これにより、テンプレートマッチングに係る処理時間を短縮可能である。
【0048】
フレーム間での置去物３１の移動量はある程度限定される。そのため、次の時刻のフレームにおける置去物３１の位置の付近に置去物３１は存在するものと推定される。したがって、次の時刻のフレームにおける置去物３１の位置の周囲基準範囲に検索範囲を限定しても、置去物３１の位置を適切に特定可能である。
【0049】
実施の形態４．
実施の形態４は、置去物３１の位置の特定精度を高くする点が実施の形態１～３と異なる。実施の形態４では、この異なる点を説明して、同一の点については説明を省略する。
実施の形態４は、置去物３１の位置の特定精度を高くする点が実施の形態１～３と異なる。実施の形態４では、この異なる点を説明して、同一の点については説明を省略する。
【0050】
置去位置特定処理（図２のステップＳ３）が実施の形態１～３と異なる。
置去位置特定処理では、置去物３１の画像をテンプレート画像としてテンプレートマッチングを行う。実施の形態１では、ステップＳ１で置去物３１として特定された際の置去物３１の画像をテンプレート画像とした。テンプレートマッチングでは、置去物３１の移動等によりサイズの変化又は変形が起こると、テンプレート画像とマッチングしなくなり、検知精度が低下してしまう。
置去位置特定処理では、置去物３１の画像をテンプレート画像としてテンプレートマッチングを行う。実施の形態１では、ステップＳ１で置去物３１として特定された際の置去物３１の画像をテンプレート画像とした。テンプレートマッチングでは、置去物３１の移動等によりサイズの変化又は変形が起こると、テンプレート画像とマッチングしなくなり、検知精度が低下してしまう。
【0051】
そこで、図８に示すように、置去位置特定部２２は、対象フレームの処理までに検知された置去物３１の画像をテンプレート画像に追加する。つまり、置去位置特定部２２は、置去位置特定処理を実行する度に、検知された置去物３１の画像をテンプレート画像に追加する。これにより、置去物３１の移動等によりサイズの変化又は変形が起こった画像がテンプレート画像に追加される。
ただ、テンプレート画像が追加されるほど、テンプレートマッチングに係る処理時間が長くなってしまう。そこで、置去位置特定部２２は、既存のテンプレート画像と類似度が基準以下の場合にのみ、検知された置去物３１の画像をテンプレート画像に追加してもよい。
ただ、テンプレート画像が追加されるほど、テンプレートマッチングに係る処理時間が長くなってしまう。そこで、置去位置特定部２２は、既存のテンプレート画像と類似度が基準以下の場合にのみ、検知された置去物３１の画像をテンプレート画像に追加してもよい。
【0052】
＊＊＊実施の形態４の効果＊＊＊
以上のように、実施の形態４に係る置去人特定装置１０は、対象フレームの処理までに検知された置去物３１の画像をテンプレート画像に追加する。これにより、置去物３１の移動等によりサイズの変化又は変形が起こった場合にも、置去物３１を適切に検知できる可能性が高くなる。
以上のように、実施の形態４に係る置去人特定装置１０は、対象フレームの処理までに検知された置去物３１の画像をテンプレート画像に追加する。これにより、置去物３１の移動等によりサイズの変化又は変形が起こった場合にも、置去物３１を適切に検知できる可能性が高くなる。
【0053】
＊＊＊他の構成＊＊＊
＜変形例５＞
置去位置特定部２２は、置去物３１の画像に対して拡大した画像と縮小した画像との少なくともいずれかをテンプレート画像に加えてもよい。これにより、置去物３１を適切に検知できる可能性がより高くなる。
＜変形例５＞
置去位置特定部２２は、置去物３１の画像に対して拡大した画像と縮小した画像との少なくともいずれかをテンプレート画像に加えてもよい。これにより、置去物３１を適切に検知できる可能性がより高くなる。
【0054】
なお、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。
【0055】
以下、本開示の諸態様を付記としてまとめて記載する。
（付記１）
動画を構成するフレームのうち、置去物が置き去られた時刻である置去時刻以前の基準期間のフレームそれぞれを対象フレームとして、対象フレームにおける前記置去物の位置を特定する置去位置特定部と、
前記対象フレームに映った１人以上の人それぞれについて、前記置去位置特定部によって特定された前記対象フレームにおける前記置去物の位置からの距離を計算する距離計算部と、
前記基準期間のフレームそれぞれについて前記距離計算部によって計算された距離に基づき、前記基準期間のフレームに映った人から、前記置去物を置き去った置去人を特定する置去人特定部と
を備える置去人特定装置。
（付記２）
前記対象フレームに映った人のうち、前記置去物の位置からの距離が近い人を隣接人として特定する隣接人特定部
を備え、
前記置去人特定部は、前記基準期間のフレームに映った１人以上の人それぞれを対象人として、前記隣接人特定部によって前記対象人が前記隣接人として特定されたフレームの数を前記対象人のスコアとして計算して、前記スコアが高い人を、前記置去人として特定する
付記１に記載の置去人特定装置。
（付記３）
前記対象フレームに映った人のうち、前記置去物の位置からの距離が近い人を隣接人として特定する隣接人特定部
を備え、
前記置去人特定部は、前記基準期間のフレームに映った１人以上の人それぞれを対象人として、前記隣接人特定部によって前記対象人が前記隣接人として特定されたフレームの数と、前記対象人が前記隣接人として特定されたフレームにおける前記置去物の位置から前記対象人までの距離とからスコアを計算して、前記スコアが高い人を、前記置去物を置き去った置去人として特定する
付記１に記載の置去人特定装置。
（付記４）
前記置去人特定部は、前記対象人が前記隣接人として特定されたフレームにおける前記置去物の位置から前記対象人以外の人までの距離を考慮して前記スコアを計算する
付記３に記載の置去人特定装置。
（付記５）
前記対象フレームに映った人のうち、前記置去物の位置からの距離が所定の距離内の人を隣接人として特定する隣接人特定部
を備え、
前記置去人特定部は、前記基準期間のフレームに映った１人以上の人それぞれを対象人として、前記隣接人特定部によって前記対象人が前記隣接人として特定されたフレーム毎に、前記対象人が前記隣接人として特定されたフレームにおける前記隣接人と前記置去物の位置との比較による算出されるスコアを計算し、前記スコアを前記対象人のスコアとして加算し、前記スコアが高い人を、前記置去物を置き去った置去人として特定する
付記１に記載の置去人特定装置。
（付記６）
前記置去位置特定部は、基準期間のフレームそれぞれを前記置去時刻のフレームから時刻の逆順に前記対象フレームとして、前記対象フレームの次の時刻のフレームにおける前記置去物の位置の周囲基準範囲を前記対象フレームについての検索範囲に設定し、前記置去物の画像をテンプレート画像として前記検索範囲についてテンプレートマッチングを行うことにより、前記対象フレームにおける前記置去物の位置を特定する
付記１から５までのいずれか１項に記載の置去人特定装置。
（付記７）
前記置去位置特定部は、前記対象フレームの処理までに検知された前記置去物の画像のうち類似度が基準以下の１つ以上の画像それぞれを、前記対象フレームについてのテンプレート画像としてテンプレートマッチングを行う
付記６に記載の置去人特定装置。
（付記８）
前記置去位置特定部は、前記置去物の画像に対して拡大した画像と縮小した画像との少なくともいずれかを前記テンプレート画像に加えて、テンプレートマッチングを行う
付記７に記載の置去人特定装置。
（付記９）
前記置去位置特定部は、前記テンプレート画像とマッチする部分画像が特定されないフレームの次の時刻のフレームを前記置去物が出現した出現時刻のフレームとして特定し、
前記距離計算部は、前記基準期間のフレームのうち、前記出現時刻以降のフレームだけを前記対象フレームとして、前記対象フレームにおける前記距離を計算する
付記６から８までのいずれか１項に記載の置去人特定装置。
（付記１０）
前記置去人特定装置は、さらに、
フレーム間で同一の人を特定する同一人特定部
を備え、
前記置去人特定部は、前記同一人特定部によって同一の人と特定された結果を参照して、前記隣接人として特定されたフレームの数を特定する
付記２又は３に記載の置去人特定装置。
（付記１１）
コンピュータが、動画を構成するフレームのうち、置去物が置き去られた時刻である置去時刻以前の基準期間のフレームそれぞれを対象フレームとして、対象フレームにおける前記置去物の位置を特定し、
コンピュータが、前記対象フレームに映った１人以上の人それぞれについて、前記対象フレームにおける前記置去物の位置からの距離を計算し、
コンピュータが、前記基準期間のフレームそれぞれについて計算された距離に基づき、前記基準期間のフレームに映った人から、前記置去物を置き去った置去人を特定する置去人特定方法。
（付記１２）
動画を構成するフレームのうち、置去物が置き去られた時刻である置去時刻以前の基準期間のフレームそれぞれを対象フレームとして、対象フレームにおける前記置去物の位置を特定する置去位置特定処理と、
前記対象フレームに映った１人以上の人それぞれについて、前記置去位置特定処理によって特定された前記対象フレームにおける前記置去物の位置からの距離を計算する距離計算処理と、
前記基準期間のフレームそれぞれについて前記距離計算処理によって計算された距離に基づき、前記基準期間のフレームに映った人から、前記置去物を置き去った置去人を特定する置去人特定処理と
を行う置去人特定装置としてコンピュータを機能させる置去人特定プログラム。
（付記１）
動画を構成するフレームのうち、置去物が置き去られた時刻である置去時刻以前の基準期間のフレームそれぞれを対象フレームとして、対象フレームにおける前記置去物の位置を特定する置去位置特定部と、
前記対象フレームに映った１人以上の人それぞれについて、前記置去位置特定部によって特定された前記対象フレームにおける前記置去物の位置からの距離を計算する距離計算部と、
前記基準期間のフレームそれぞれについて前記距離計算部によって計算された距離に基づき、前記基準期間のフレームに映った人から、前記置去物を置き去った置去人を特定する置去人特定部と
を備える置去人特定装置。
（付記２）
前記対象フレームに映った人のうち、前記置去物の位置からの距離が近い人を隣接人として特定する隣接人特定部
を備え、
前記置去人特定部は、前記基準期間のフレームに映った１人以上の人それぞれを対象人として、前記隣接人特定部によって前記対象人が前記隣接人として特定されたフレームの数を前記対象人のスコアとして計算して、前記スコアが高い人を、前記置去人として特定する
付記１に記載の置去人特定装置。
（付記３）
前記対象フレームに映った人のうち、前記置去物の位置からの距離が近い人を隣接人として特定する隣接人特定部
を備え、
前記置去人特定部は、前記基準期間のフレームに映った１人以上の人それぞれを対象人として、前記隣接人特定部によって前記対象人が前記隣接人として特定されたフレームの数と、前記対象人が前記隣接人として特定されたフレームにおける前記置去物の位置から前記対象人までの距離とからスコアを計算して、前記スコアが高い人を、前記置去物を置き去った置去人として特定する
付記１に記載の置去人特定装置。
（付記４）
前記置去人特定部は、前記対象人が前記隣接人として特定されたフレームにおける前記置去物の位置から前記対象人以外の人までの距離を考慮して前記スコアを計算する
付記３に記載の置去人特定装置。
（付記５）
前記対象フレームに映った人のうち、前記置去物の位置からの距離が所定の距離内の人を隣接人として特定する隣接人特定部
を備え、
前記置去人特定部は、前記基準期間のフレームに映った１人以上の人それぞれを対象人として、前記隣接人特定部によって前記対象人が前記隣接人として特定されたフレーム毎に、前記対象人が前記隣接人として特定されたフレームにおける前記隣接人と前記置去物の位置との比較による算出されるスコアを計算し、前記スコアを前記対象人のスコアとして加算し、前記スコアが高い人を、前記置去物を置き去った置去人として特定する
付記１に記載の置去人特定装置。
（付記６）
前記置去位置特定部は、基準期間のフレームそれぞれを前記置去時刻のフレームから時刻の逆順に前記対象フレームとして、前記対象フレームの次の時刻のフレームにおける前記置去物の位置の周囲基準範囲を前記対象フレームについての検索範囲に設定し、前記置去物の画像をテンプレート画像として前記検索範囲についてテンプレートマッチングを行うことにより、前記対象フレームにおける前記置去物の位置を特定する
付記１から５までのいずれか１項に記載の置去人特定装置。
（付記７）
前記置去位置特定部は、前記対象フレームの処理までに検知された前記置去物の画像のうち類似度が基準以下の１つ以上の画像それぞれを、前記対象フレームについてのテンプレート画像としてテンプレートマッチングを行う
付記６に記載の置去人特定装置。
（付記８）
前記置去位置特定部は、前記置去物の画像に対して拡大した画像と縮小した画像との少なくともいずれかを前記テンプレート画像に加えて、テンプレートマッチングを行う
付記７に記載の置去人特定装置。
（付記９）
前記置去位置特定部は、前記テンプレート画像とマッチする部分画像が特定されないフレームの次の時刻のフレームを前記置去物が出現した出現時刻のフレームとして特定し、
前記距離計算部は、前記基準期間のフレームのうち、前記出現時刻以降のフレームだけを前記対象フレームとして、前記対象フレームにおける前記距離を計算する
付記６から８までのいずれか１項に記載の置去人特定装置。
（付記１０）
前記置去人特定装置は、さらに、
フレーム間で同一の人を特定する同一人特定部
を備え、
前記置去人特定部は、前記同一人特定部によって同一の人と特定された結果を参照して、前記隣接人として特定されたフレームの数を特定する
付記２又は３に記載の置去人特定装置。
（付記１１）
コンピュータが、動画を構成するフレームのうち、置去物が置き去られた時刻である置去時刻以前の基準期間のフレームそれぞれを対象フレームとして、対象フレームにおける前記置去物の位置を特定し、
コンピュータが、前記対象フレームに映った１人以上の人それぞれについて、前記対象フレームにおける前記置去物の位置からの距離を計算し、
コンピュータが、前記基準期間のフレームそれぞれについて計算された距離に基づき、前記基準期間のフレームに映った人から、前記置去物を置き去った置去人を特定する置去人特定方法。
（付記１２）
動画を構成するフレームのうち、置去物が置き去られた時刻である置去時刻以前の基準期間のフレームそれぞれを対象フレームとして、対象フレームにおける前記置去物の位置を特定する置去位置特定処理と、
前記対象フレームに映った１人以上の人それぞれについて、前記置去位置特定処理によって特定された前記対象フレームにおける前記置去物の位置からの距離を計算する距離計算処理と、
前記基準期間のフレームそれぞれについて前記距離計算処理によって計算された距離に基づき、前記基準期間のフレームに映った人から、前記置去物を置き去った置去人を特定する置去人特定処理と
を行う置去人特定装置としてコンピュータを機能させる置去人特定プログラム。
【0056】
以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。
【符号の説明】
【0057】
１０ 置去人特定装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、２１ 置去物特定部、２２ 置去位置特定部、２３ 同一人特定部、２４ 距離計算部、２５ 隣接人特定部、２６ 置去人特定部、３１ 置去物、３２ 置去時刻、３３ 置去物検知枠、３４ 出現時刻、３５ 人検知枠、３６ 距離、３７ 置去人。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【手続補正書】
【提出日】2023-11-14
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
動画を構成するフレームのうち、置去物が置き去られた時刻である置去時刻以前の基準期間のフレームそれぞれを前記置去時刻のフレームから時刻の逆順に対象フレームとして、前記対象フレームの次の時刻のフレームにおける前記置去物の位置の周囲基準範囲を前記対象フレームについての検索範囲に設定し、前記置去物の画像をテンプレート画像として前記検索範囲についてテンプレートマッチングを行うことにより、前記対象フレームにおける前記置去物の位置を特定する置去位置特定部と、
前記対象フレームに映った１人以上の人それぞれについて、前記置去位置特定部によって特定された前記対象フレームにおける前記置去物の位置からの距離を計算する距離計算部と、
前記基準期間のフレームそれぞれについて前記距離計算部によって計算された距離に基づき、前記基準期間のフレームに映った人から、前記置去物を置き去った置去人を特定する置去人特定部と
を備える置去人特定装置。
前記対象フレームに映った１人以上の人それぞれについて、前記置去位置特定部によって特定された前記対象フレームにおける前記置去物の位置からの距離を計算する距離計算部と、
前記基準期間のフレームそれぞれについて前記距離計算部によって計算された距離に基づき、前記基準期間のフレームに映った人から、前記置去物を置き去った置去人を特定する置去人特定部と
を備える置去人特定装置。
【請求項2】
前記対象フレームに映った人のうち、前記置去物の位置からの距離が近い人を隣接人として特定する隣接人特定部
を備え、
前記置去人特定部は、前記基準期間のフレームに映った１人以上の人それぞれを対象人として、前記隣接人特定部によって前記対象人が前記隣接人として特定されたフレームの数を前記対象人のスコアとして計算して、前記スコアが高い人を、前記置去人として特定する
請求項１に記載の置去人特定装置。
を備え、
前記置去人特定部は、前記基準期間のフレームに映った１人以上の人それぞれを対象人として、前記隣接人特定部によって前記対象人が前記隣接人として特定されたフレームの数を前記対象人のスコアとして計算して、前記スコアが高い人を、前記置去人として特定する
請求項１に記載の置去人特定装置。
【請求項3】
前記対象フレームに映った人のうち、前記置去物の位置からの距離が近い人を隣接人として特定する隣接人特定部
を備え、
前記置去人特定部は、前記基準期間のフレームに映った１人以上の人それぞれを対象人として、前記隣接人特定部によって前記対象人が前記隣接人として特定されたフレームの数と、前記対象人が前記隣接人として特定されたフレームにおける前記置去物の位置から前記対象人までの距離とからスコアを計算して、前記スコアが高い人を、前記置去物を置き去った置去人として特定する
請求項１に記載の置去人特定装置。
を備え、
前記置去人特定部は、前記基準期間のフレームに映った１人以上の人それぞれを対象人として、前記隣接人特定部によって前記対象人が前記隣接人として特定されたフレームの数と、前記対象人が前記隣接人として特定されたフレームにおける前記置去物の位置から前記対象人までの距離とからスコアを計算して、前記スコアが高い人を、前記置去物を置き去った置去人として特定する
請求項１に記載の置去人特定装置。
【請求項4】
前記置去人特定部は、前記対象人が前記隣接人として特定されたフレームにおける前記置去物の位置から前記対象人以外の人までの距離を考慮して前記スコアを計算する
請求項３に記載の置去人特定装置。
請求項３に記載の置去人特定装置。
【請求項5】
前記対象フレームに映った人のうち、前記置去物の位置からの距離が所定の距離内の人を隣接人として特定する隣接人特定部
を備え、
前記置去人特定部は、前記基準期間のフレームに映った１人以上の人それぞれを対象人として、前記隣接人特定部によって前記対象人が前記隣接人として特定されたフレーム毎に、前記対象人が前記隣接人として特定されたフレームにおける前記隣接人と前記置去物の位置との比較により算出されるスコアを計算し、前記スコアを前記対象人のスコアとして加算し、前記スコアが高い人を、前記置去物を置き去った置去人として特定する
請求項１に記載の置去人特定装置。
を備え、
前記置去人特定部は、前記基準期間のフレームに映った１人以上の人それぞれを対象人として、前記隣接人特定部によって前記対象人が前記隣接人として特定されたフレーム毎に、前記対象人が前記隣接人として特定されたフレームにおける前記隣接人と前記置去物の位置との比較により算出されるスコアを計算し、前記スコアを前記対象人のスコアとして加算し、前記スコアが高い人を、前記置去物を置き去った置去人として特定する
請求項１に記載の置去人特定装置。
【請求項6】
前記置去位置特定部は、前記対象フレームの処理までに検知された前記置去物の画像のうち類似度が基準以下の１つ以上の画像それぞれを、前記対象フレームについてのテンプレート画像としてテンプレートマッチングを行う
請求項１に記載の置去人特定装置。
請求項１に記載の置去人特定装置。
【請求項7】
前記置去位置特定部は、前記置去物の画像に対して拡大した画像と縮小した画像との少なくともいずれかを前記テンプレート画像に加えて、テンプレートマッチングを行う
請求項１に記載の置去人特定装置。
請求項１に記載の置去人特定装置。
【請求項8】
前記置去位置特定部は、前記テンプレート画像とマッチする部分画像が特定されないフレームの次の時刻のフレームを前記置去物が出現した出現時刻のフレームとして特定し、
前記距離計算部は、前記基準期間のフレームのうち、前記出現時刻以降のフレームだけを前記対象フレームとして、前記対象フレームにおける前記距離を計算する
請求項１に記載の置去人特定装置。
前記距離計算部は、前記基準期間のフレームのうち、前記出現時刻以降のフレームだけを前記対象フレームとして、前記対象フレームにおける前記距離を計算する
請求項１に記載の置去人特定装置。
【請求項9】
前記置去人特定装置は、さらに、
フレーム間で同一の人を特定する同一人特定部
を備え、
前記置去人特定部は、前記同一人特定部によって同一の人と特定された結果を参照して、前記隣接人として特定されたフレームの数を特定する
請求項２に記載の置去人特定装置。
フレーム間で同一の人を特定する同一人特定部
を備え、
前記置去人特定部は、前記同一人特定部によって同一の人と特定された結果を参照して、前記隣接人として特定されたフレームの数を特定する
請求項２に記載の置去人特定装置。
【請求項10】
前記置去位置特定部は、前記次の時刻のフレームにおける前記置去物が検知された範囲を、前記次の時刻のフレームと前記次の時刻のフレームのさらに次の時刻のフレームとの間における前記置去物の移動量に応じた割合だけ周囲に拡大した範囲を前記検索範囲として決定する
請求項１に記載の置去人特定装置。
請求項１に記載の置去人特定装置。
【請求項11】
コンピュータが、動画を構成するフレームのうち、置去物が置き去られた時刻である置去時刻以前の基準期間のフレームそれぞれを前記置去時刻のフレームから時刻の逆順に対象フレームとして、前記対象フレームの次の時刻のフレームにおける前記置去物の位置の周囲基準範囲を前記対象フレームについての検索範囲に設定し、前記置去物の画像をテンプレート画像として前記検索範囲についてテンプレートマッチングを行うことにより、前記対象フレームにおける前記置去物の位置を特定し、
コンピュータが、前記対象フレームに映った１人以上の人それぞれについて、前記対象フレームにおける前記置去物の位置からの距離を計算し、
コンピュータが、前記基準期間のフレームそれぞれについて計算された距離に基づき、前記基準期間のフレームに映った人から、前記置去物を置き去った置去人を特定する置去人特定方法。
コンピュータが、前記対象フレームに映った１人以上の人それぞれについて、前記対象フレームにおける前記置去物の位置からの距離を計算し、
コンピュータが、前記基準期間のフレームそれぞれについて計算された距離に基づき、前記基準期間のフレームに映った人から、前記置去物を置き去った置去人を特定する置去人特定方法。
【請求項12】
動画を構成するフレームのうち、置去物が置き去られた時刻である置去時刻以前の基準期間のフレームそれぞれを前記置去時刻のフレームから時刻の逆順に対象フレームとして、前記対象フレームの次の時刻のフレームにおける前記置去物の位置の周囲基準範囲を前記対象フレームについての検索範囲に設定し、前記置去物の画像をテンプレート画像として前記検索範囲についてテンプレートマッチングを行うことにより、前記対象フレームにおける前記置去物の位置を特定する置去位置特定処理と、
前記対象フレームに映った１人以上の人それぞれについて、前記置去位置特定処理によって特定された前記対象フレームにおける前記置去物の位置からの距離を計算する距離計算処理と、
前記基準期間のフレームそれぞれについて前記距離計算処理によって計算された距離に基づき、前記基準期間のフレームに映った人から、前記置去物を置き去った置去人を特定する置去人特定処理と
を行う置去人特定装置としてコンピュータを機能させる置去人特定プログラム。
前記対象フレームに映った１人以上の人それぞれについて、前記置去位置特定処理によって特定された前記対象フレームにおける前記置去物の位置からの距離を計算する距離計算処理と、
前記基準期間のフレームそれぞれについて前記距離計算処理によって計算された距離に基づき、前記基準期間のフレームに映った人から、前記置去物を置き去った置去人を特定する置去人特定処理と
を行う置去人特定装置としてコンピュータを機能させる置去人特定プログラム。