(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024138975
(43)【公開日】2024-10-09
(54)【発明の名称】監視装置
(51)【国際特許分類】
G06V 10/26 20220101AFI20241002BHJP
G06T 7/00 20170101ALI20241002BHJP
G06V 20/52 20220101ALI20241002BHJP
H04N 7/18 20060101ALI20241002BHJP
H04N 23/60 20230101ALI20241002BHJP
【FI】
G06V10/26
G06T7/00 660Z
G06V20/52
H04N7/18 D
H04N7/18 K
H04N7/18 F
H04N23/60 500
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023049716
(22)【出願日】2023-03-27
(71)【出願人】
【識別番号】000108085
【氏名又は名称】セコム株式会社
(74)【代理人】
【識別番号】100103850
【弁理士】
【氏名又は名称】田中 秀▲てつ▼
(74)【代理人】
【識別番号】100114177
【弁理士】
【氏名又は名称】小林 龍
(74)【代理人】
【識別番号】100066980
【弁理士】
【氏名又は名称】森 哲也
(72)【発明者】
【氏名】宗片 匠
(72)【発明者】
【氏名】永橋 知行
【テーマコード(参考)】
5C054
5C122
5L096
【Fターム(参考)】
5C054CC02
5C054CH09
5C054EA01
5C054EA05
5C054EA07
5C054FC12
5C054FC13
5C054FD07
5C054FF02
5C054GB01
5C054HA19
5C122DA11
5C122EA63
5C122FA18
5C122FH11
5C122FH14
5C122FK23
5C122GC53
5C122HA86
5C122HB01
5L096BA02
5L096CA05
5L096FA69
5L096FA78
(57)【要約】
【課題】監視領域内の人物の身体の一部がこの人物の身体によって隠蔽されている場合に、当該人物が不審者であるか否かの判定を容易にする。
【解決手段】監視装置10は、監視領域1内を撮影する少なくとも1台のカメラ11の撮像画像に基づいて、撮像画像内の人物3の姿勢を推定する姿勢推定部34と、推定した姿勢に基づいて、監視領域1内の特定の視点から見たときに人物3の身体によって隠蔽されている人物3の身体の部位である隠蔽部位3aを特定する隠蔽部位特定部35と、を備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
監視領域内を撮影する少なくとも1台のカメラの撮像画像に基づいて、前記撮像画像内の人物の姿勢を推定する姿勢推定部と、
推定した前記姿勢に基づいて、監視領域内の特定の視点から見たときに前記人物の身体によって隠蔽されている当該人物の身体の部位である隠蔽部位を特定する隠蔽部位特定部と、
を備える監視装置。
【請求項2】
前記特定の視点は、前記少なくとも1台のカメラの視点であることを特徴とする請求項1に記載の監視装置。
【請求項3】
前記監視領域に存在する他の人物の位置を推定する人物位置推定部を備え、
推定した前記他の人物の視点が前記特定の視点として設定されることを特徴とする請求項1に記載の監視装置。
【請求項4】
複数の前記カメラの設置位置を記憶する記憶部と、
前記隠蔽部位の位置を推定する隠蔽部位位置推定部と、
前記特定した隠蔽部位が予め設定した特定部位である場合に、前記設置位置と前記隠蔽部位の位置とに基づいて、前記隠蔽部位を撮影するカメラを前記複数のカメラの中から選択するカメラ選択部と、
前記カメラ選択部が撮影した撮像画像を出力する画像出力部と、
を備えることを特徴とする請求項1に記載の監視装置。
【請求項5】
複数の前記カメラの設置位置を記憶する記憶部と、
前記特定した隠蔽部位が予め設定した特定部位である場合に、前記設置位置と前記特定の視点の位置とに基づいて、前記隠蔽部位を撮影するカメラを前記複数のカメラの中から選択するカメラ選択部と、
前記カメラ選択部が撮影した撮像画像を出力する画像出力部と、
を備えることを特徴とする請求項1に記載の監視装置。
【請求項6】
前記隠蔽部位が前記特定部位であり、前記複数のカメラのいずれもが前記隠蔽部位を撮影していない場合に、前記隠蔽部位を撮影するように前記複数のカメラのいずれかの光軸を制御するカメラ制御部を備えることを特徴とする請求項4又は5に記載の監視装置。
【請求項7】
前記特定した前記隠蔽部位が継続して隠蔽されている期間である隠蔽期間が所定期間よりも長い場合に前記隠蔽部位を要監視部位に設定する要監視部位設定部と、
前記人物の前記要監視部位の動きに応じて当該人物の不審行動の有無を判定する不審行動判定部と、
を備えることを特徴とする請求項1に記載の監視装置。
【請求項8】
前記特定した前記隠蔽部位が継続して隠蔽されている期間である隠蔽期間が所定期間よりも長い場合に前記隠蔽部位を要監視部位に設定する要監視部位設定部と、
前記人物の前記要監視部位が予め設定した特定部位であるか否かに応じて、当該人物の不審行動の有無を判定する不審行動判定部と、
を備えることを特徴とする請求項1に記載の監視装置。
【請求項9】
複数の前記カメラの設置位置を記憶する記憶部と、
前記隠蔽部位の位置を推定する隠蔽部位位置推定部と、
前記不審行動を検出した場合、前記設置位置と前記隠蔽部位の位置とに基づいて、前記不審行動を行った前記人物の前記隠蔽部位を撮影するカメラを前記複数のカメラの中から選択するカメラ選択部と、
前記カメラ選択部が撮影した撮像画像を出力する画像出力部と、
を備えることを特徴とする請求項7又は8に記載の監視装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視装置に関する。
【背景技術】
【0002】
現在、様々な分野において、カメラにより撮影された撮像画像を用いて現場の状況を監視する監視装置が活用されている。
例えば下記特許文献1には、3次元空間の任意の位置を指示すると、その位置が各カメラから可視か否かを判断し、可視のカメラに自動的に切り替える方法が提案されている。
また下記特許文献2には、所定カメラにて人物の手元を撮影することができないと判定した場合、各カメラの画像を解析して、手元を撮影できるカメラを選択し、選択したカメラでズーム表示する撮影システムが提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008-005450号公報
【特許文献2】特開2017-169787号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
カメラで撮影した人物が不審者か否かを判定する際、一般的に、人物の服装や行動履歴等に基づいて判定する。しかし、常習的な不審者は、不審行動が認識されないように(証拠が残らないように)カモフラージュする傾向がある。例えば万引き等の犯罪の場合には、不審者は、カメラに映らないように(または店員に見られないように)自身の身体で手元を隠すことが知られている。そのため、そのような不審者の不審行動をカメラ画像のみで判定することは容易ではない。
本発明は、上記の問題点を鑑みてなされたものであり、監視領域内の人物の身体の一部がこの人物の身体によって隠蔽されている場合に、当該人物が不審者であるか否かの判定を容易にすることを目的とする。
【課題を解決するための手段】
【0005】
本発明の一形態による監視装置は、監視領域内を撮影する少なくとも1台のカメラの撮像画像に基づいて、撮像画像内の人物の姿勢を推定する姿勢推定部と、推定した姿勢に基づいて、監視領域内の特定の視点から見たときに上記の人物の身体によって隠蔽されている当該人物の身体の部位である隠蔽部位を特定する隠蔽部位特定部と、を備える。
【発明の効果】
【0006】
本発明によれば、監視領域内の人物の身体の一部がこの人物の身体によって隠蔽されている場合に、当該人物が不審者であるか否かの判定を容易にすることができる。
【図面の簡単な説明】
【0007】
【
図1】実施形態の監視システムの全体構成の一例の概略図である。
【
図2】第1実施形態の監視装置の機能構成の一例を示すブロック図である。
【
図5】(a)は姿勢推定方法の第1例の説明図であり、(b)は姿勢推定方法の第2例の説明図である。
【
図8】第1実施形態の監視方法の一例のフローチャートである。
【
図9】第2実施形態の監視装置の機能構成の一例を示すブロック図である。
【
図10】第2実施形態の監視方法の一例のフローチャートである。
【発明を実施するための形態】
【0008】
以下において、図面を参照して本発明の実施形態を説明する。なお、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
【0009】
(第1実施形態)
図1は、実施形態の監視システムの全体構成の一例の概略図である。実施形態の監視システムは、監視領域1内に存在する人物を監視するシステムであり、監視領域1やその近傍に設置される監視装置10と、構内LAN又はインターネット等の通信ネットワークを介して監視装置10と接続されるセンタ装置20とを有する。
【0010】
例えば監視領域1は、コンビニエンスストア及びスーパーマーケット等の小売店舗や、レンタルビデオ店などの店舗であってよく、監視対象となる人物は、これらの店舗を利用するユーザであってよい。
例として、監視領域1には、所定人物2と、所定人物2以外の人物3と、構造物4a~4cが存在している場合を想定する。
【0011】
所定人物2は、監視領域1における監視業務に協力する人物である。所定人物2は、例えば監視領域1で働く従業員(例えば店舗の従業員)であってもよく、監視領域1における監視業務に携わる監視員(ガードマン)であってもよい。
人物3は、監視領域1における監視の対象となる人物であり、例えば監視領域1を利用する不特定人物である。
【0012】
構造物4a及び4bは、所定人物2やカメラ11から人物3を観察する視界の遮蔽物となりうる物体であり、例えば所定人物2やカメラ11の視界を妨げる高さを有する備品(例えば商品棚など)や、監視領域1の建築物の構成要素(例えば柱)である。構造物4cは、所定人物2やカメラ11から人物3を観察する視界の遮蔽物となりにくい物体(例えばレジカウンターなど)である。
【0013】
監視装置10には、監視領域1内を撮影する1つ以上のカメラ11a~11dが接続される。以下の説明においてカメラ11a~11dを総称して「カメラ11」と表記することがある。
監視装置10は、入力部12、通信部13、記憶部14、制御部15及び出力部16を備える。これらのうちの記憶部14及び制御部15はいわゆるコンピュータで実現でき、入力部12、通信部13及び出力部16は、当該コンピュータの周辺機器として実現できる。
【0014】
入力部12は、利用者に操作されてデータの入力等に用いられるキーボード、マウス等のユーザーインターフェースを含む。入力部12は、制御部15に接続され、利用者の操作を操作信号に変換して制御部15に出力する。
また、入力部12はDVD(Digital Versatile Disc)ドライブ、USB(Universal Serial Bus)インターフェースを含んでもよい。入力部12は、データをファイルとして制御部15に入力し、およびデータをファイルとして制御部15から出力する。
【0015】
通信部13は、有線通信又は無線通信により監視装置10とセンタ装置20との間でデータの送受信を行うネットワークインターフェース等を含む。
記憶部14は、ROM(Read Only Memory)、RAM(Random Access Memory)等のメモリ装置であり、各種プログラムや各種データを記憶する。例えば記憶部14には、カメラ11で監視領域1内を撮影して生成された撮像画像(以下の説明において「監視画像」と表記することがある)が記録される。
【0016】
制御部15は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、MCU(Micro Control Unit)等の演算装置(プロセッサ)で構成される。制御部15は、記憶部14と接続され、記憶部14からコンピュータプログラムを読み出して実行することにより各種処理部として動作し、各種データを記憶部14に記憶したり、これらデータを読み出す。以下に説明する監視装置10の機能は、記憶部14に記憶されたコンピュータプログラムを制御部15が実行することにより実現される。
【0017】
また制御部15は、入力部12および出力部16と接続され、利用者による入力部12の操作に応じて、監視装置10による監視領域1の監視処理を開始又は終了させる。また制御部15は、カメラ11によって撮影された監視画像を出力部16に出力する。
制御部15は、通信部13とも接続され、通信部13を経由して監視画像をセンタ装置20へ送信する。
出力部16は、液晶ディスプレイ又はCRT(Cathode Ray Tube)ディスプレイ等のディスプレイ装置を含んでよい。出力部16は、制御部15と接続され、監視画像を表示してよい。出力部16は、スピーカ又はブザー等の音声信号出力装置を備えてもよい。
【0018】
センタ装置20は、例えばサーバ等であり、入力部22と、通信部23と、記憶部24と、制御部25と、出力部26を備える。
入力部22は、例えばタッチパネル、マウス、キーボード等であり、センタ装置20が設けられた監視装置の監視員による操作を受け付け、受け付けた操作に応じた信号を制御部25に送る。
【0019】
通信部23は、有線通信又は無線通信によりセンタ装置20と監視装置10との間でデータの送受信を行うネットワークインターフェース等を含む。
記憶部24は、ROM、RAM等のメモリ装置であり、各種プログラムや各種データを記憶する。例えば記憶部24には、センタ装置20から受信した監視画像が記録される。
制御部25は、監視装置10の制御部15と同様の演算装置を有し、センタ装置20の各種信号処理を実行する。
【0020】
例えば制御部25は、監視装置10から送信された監視画像を、通信部23を経由して受信する。また例えば制御部25は、監視装置10から受信した監視画像を出力部26に出力する。
出力部26は、液晶ディスプレイ又はCRTディスプレイ等のディスプレイ装置を含んでよい。出力部26は、監視画像を表示してよい。出力部26は、スピーカ又はブザー等の音声信号出力装置を備えてもよい。
【0021】
図2、第1実施形態の監視装置10の機能構成の一例を示すブロック図である。監視装置10は、カメラ記憶手段30と、人物検出手段31と、視点設定手段32と、対象人物選択手段33と、姿勢推定手段34と、隠蔽部位特定手段35と、隠蔽部位位置推定手段36と、カメラ選択手段37と、カメラ制御手段38と、画像出力手段39と、画像送信手段40とを備える。
【0022】
図1の制御部15は、人物検出手段31と、視点設定手段32と、対象人物選択手段33と、姿勢推定手段34と、隠蔽部位特定手段35と、隠蔽部位位置推定手段36と、カメラ選択手段37と、カメラ制御手段38として機能する。記憶部14は、カメラ記憶手段30として機能する。出力部16は、画像出力手段39として機能する。通信部13は、画像送信手段40として機能する。
【0023】
カメラ記憶手段30は、カメラ11に関するカメラ情報を記憶する。カメラ情報は、例えばカメラ11の設置位置、視点、画角及び光軸方向(すなわちカメラの画角中心方向)等の情報を含んでよい。
人物検出手段31は、カメラ11が生成する監視画像に基づいて、監視領域1内に存在する人物を検出し、当該人物の位置を推定する。人物検出手段31は、検出した人物を追跡することにより人物の移動軌跡を算出してもよい。
【0024】
視点設定手段32は、監視領域1内の人物3を観察するための既知手段の視点(以下「特定視点」と表記することがある)を設定する。
例えば視点設定手段32は、カメラ記憶手段30に記憶されているカメラ情報に基づいて、カメラ11のいずれかの視点を特定視点として設定してよい。
【0025】
図3は、特定視点の第1例の説明図である。
図3の例では、視点設定手段32はカメラ11aの視点VP1を特定視点として設定する。なお、
図3においてハッチングされた領域VF1はカメラ11aの画角範囲(視野範囲)を示し、ハッチングされた領域VF2は、カメラ11cの画角範囲を示している。上述のとおり、構造物4a及び4bはカメラ11の視界を妨げる高さを有しているため、カメラ11a及びカメラ11cの視野範囲VF1及びVF2は構造物4a及び4bによって制限されている。
また参照符号3aは、特定視点VP1から見たときに人物3の身体によって隠蔽されている人物3の身体の部位である隠蔽部位を示している。
【0026】
また例えば視点設定手段32は、所定人物2の視点を特定視点として設定してもよい。
図4は、特定視点の第2例の説明図である。
図4の例では視点設定手段32は、所定人物2の視点VP2を特定視点として設定する。なお、
図3においてハッチングされた領域VF3は所定人物2の視野範囲を示している。参照符号3aは、特定視点VP2から見たときに人物3の身体によって隠蔽されている人物3の身体の部位である隠蔽部位を示している。
【0027】
視点設定手段32は、人物検出手段31が検出した人物の顔画像の画像認識処理を行うことにより、予め監視装置10に顔画像が登録された所定人物2を検出してもよい。また例えば人物検出手段31が検出した人物の全身画像の画像認識処理を行うことにより、所定の衣装(例えば店舗のユニフォーム)を着用している者や、所定の装身具(例えば身分証や記章、バッジなど)を付けている者を所定人物2として検出してもよい。また例えば所定の挙動やジェスチャを行った者を所定人物2として検出してもよい。
【0028】
視点設定手段32は、所定人物2の顔画像の画像認識処理を行うことにより、所定人物2の目の位置を特定視点VP2として設定してよい。また例えば所定人物2の全身画像の画像認識処理を行うことにより、所定人物2の頭部を検出し、所定人物2の頭部領域内の何れかの位置(例えば頭部の中心)を所定人物2の視点と仮定してもよい。
【0029】
図2を参照する。対象人物選択手段33は、監視領域1内に存在する人物のうち所定人物2以外のいずれかの人物3を、監視対象の人物(以下の説明において「対象人物」と表記することがある)を選択する。
例えば、対象人物選択手段33は、監視領域1に人物3が入ったとき(監視領域1が店舗の場合には人物3が入店したとき)に、人物3が写っている監視画像を取得する。対象人物選択手段33は、監視画像に含まれている人物3の顔画像を認識し、監視対象とすべき人物として予め登録された人物のリストの中に人物3が含まれている場合に、監視領域1に入った人物3を対象人物として選択する。
また例えば、対象人物選択手段33は、所定人物2が写っている監視画像を取得し、監視対象とすべき人物を指定するために所定人物2が行った所定の動作に基づいて、対象人物3を選択してもよい。
【0030】
姿勢推定手段34は、監視画像に基づいて対象人物選択手段33が選択した対象人物3の姿勢を推定する。
図5(a)は、姿勢推定方法の第1例の説明図である。例えば姿勢推定手段34は、トップダウン型の姿勢推定によって対象人物3の姿勢を推定してよい。トップダウン型の姿勢推定では、まず物体検知アルゴリズムで画像50から人物P1及びP2をそれぞれ検出する。矩形R1及びR2は、それぞれ人物P1及びP2の検出領域を示している。それぞれの人物P1及びP2の検出領域R1及びR2において、人物P1及びP2の関節部位j1及びj2をそれぞれ検出し、関節部位j1及びj2を接続することによって、人物P1及びP2の姿勢推定結果である骨格データS1及びS2を生成する。
【0031】
図5(b)は、姿勢推定方法の第2例の説明図である。例えば姿勢推定手段34は、ボトムアップ型の姿勢推定によって対象人物3の姿勢を推定してよい。ボトムアップ型の姿勢推定では、画像50内の関節部位jを全て検出し、人物ごとの最適な関節部位jをマッチングして接続することによって骨格データS1及びS2を生成する。
また例えば姿勢推定手段34は、単一又は複数のカメラの撮像画像に基づいて対象人物3の関節部位の3次元位置を推定し、推定された関節部位を接続することによって、対象人物3の姿勢を推定してもよい。
【0032】
なお、視点設定手段32が、カメラ11の視点(
図3の例ではカメラ11aの視点VP1)を特定視点として設定した場合に、特定視点が設定されたカメラ(
図3の例ではカメラ11a)が生成した監視画像に基づいて対象人物3の姿勢を推定してもよく、特定視点が設定されたカメラ以外のカメラが生成した監視画像に基づいて対象人物3の姿勢を推定してもよい。
【0033】
図2を参照する。隠蔽部位特定手段35は、姿勢推定手段34により推定された対象人物3の姿勢に基づいて、特定視点から見たときに対象人物3の身体によって隠蔽されている対象人物3の身体の部位(以下の説明において「隠蔽部位」と表記することがある)を特定する。
例えば、姿勢推定手段34と隠蔽部位特定手段35は、人物の部位の位置と部位の隠蔽の有無を学習した学習モデルに基づいて、関節部位の位置推定(すなわち姿勢推定)と同時に隠蔽部位の有無を同時に推定してもよい。
【0034】
図6は、隠蔽部位特定方法の他の一例の説明図である。OpenPoseのような既存の姿勢推定ソフトウエアを用いて関節部位間の接続関係のスコアが算出されている場合には、隠蔽部位特定手段35は、関節部位ja及びjb間の接続cが切れている、又は接続cが弱い場合に、関節部位jbが隠蔽部位であると判定してもよい。
また例えば、隠蔽部位特定手段35は、過去の関節部位の履歴情報を利用して関節部位を追跡し、部位が隠蔽されるかどうかを予測してもよい。この場合に3次元の部位情報が推定されていると、部位の前後関係に基づいてより高精度な予測が可能となる。
【0035】
さらに隠蔽部位特定手段35は、特定した隠蔽部位が、対象人物3の予め設定した特定部位であるか否かを判定する。例えば、監視領域1内における不審行動として万引きの有無を監視する場合、対象人物3の特定部位として「手先」を設定してよい。また、対象人物3の特定部位として「股関節」を設定してもよい。万引きの際に商品をポケットに入れる場合には、不審者は、股関節付近にあるポケットを隠蔽することがあるためである。
【0036】
図2を参照する。隠蔽部位位置推定手段36は、対象人物3の隠蔽部位の3次元位置を推定する。例えば隠蔽部位位置推定手段36は、複数のカメラ11の監視画像上の対象人物3の位置に基づいて、対象人物3全体の3次元位置を推定し、推定した対象人物3全体の3次元位置に基づいて隠蔽部位の3次元位置を推定してもよい。また例えば隠蔽部位位置推定手段36は、単一のカメラ11の監視画像上の対象人物3の位置に基づいて対象人物3の着地点の3次元位置を推定し、推定した着地点の3次元位置に基づいて隠蔽部位の3次元位置を推定してもよい。
【0037】
なお、隠蔽部位位置推定手段36により隠蔽部位3aの3次元位置を推定するのに代えて、隠蔽部位特定手段35で隠蔽部位3aの有無とその位置を同時に推定してもよい。隠蔽部位の有無とその位置を同時に推定する方法は、例えば「Peeking into occluded joints: A novel framework for crowd pose estimation」2003.10506.pdf (arxiv.org)に記載されている。
【0038】
カメラ選択手段37は、カメラ記憶手段30に記憶されているカメラ11の設置位置と、隠蔽部位位置推定手段36が推定した隠蔽部位の3次元位置とに基づいて、複数のカメラ11の中から隠蔽部位を撮影しているいずれかのカメラ11を選択する。例えばカメラ選択手段37は、隠蔽部位が、対象人物3の特定部位(例えば「手先」や「股関節」等)である場合に、隠蔽部位を撮影しているカメラ11を選択してよい。
【0039】
図7を参照する。例えばカメラ選択手段37は、対象人物3の隠蔽部位3aを撮影しているカメラ11cを選択してよい。
また、例えばPTZカメラのように、カメラ11の光軸方向が可変制御できる場合、カメラ選択手段37は、現時点では実際に隠蔽部位3aを撮影していなくても、光軸方向を制御することで隠蔽部位3aを撮影できる位置に設置されているカメラ11が存在する場合には、このようなカメラ11を対象人物3の隠蔽部位3aを撮影するために選択してもよい。
例えば
図3や
図4の状態ではカメラ11cは隠蔽部位3aを撮影していないが、カメラ11cの光軸方向を変えることで対象人物3の隠蔽部位3aの撮影が可能になる場合には、カメラ選択手段37はカメラ11cを選択してよい。
【0040】
図2を参照する。カメラ選択手段37が選択したカメラ11cが、現時点では実際に隠蔽部位3aを撮影していない場合、カメラ制御手段38は、隠蔽部位3aを撮影するようにカメラ11cの少なくとも光軸方向を制御する。例えば、
図3や
図4に示すように隠蔽部位3aを撮影していないカメラ11cの状態を、
図7に示すような隠蔽部位3aを撮影する状態に変化させる。カメラ制御手段38は、カメラ11cの光軸方向に加えてズーム機能を制御してもよい。これにより、隠蔽部位3aが写っている画像部分を拡大したり、画像を縮小して、隠蔽部位3aとその周辺の全体が写った監視画像を生成してもよい。
【0041】
なお、隠蔽部位位置推定手段36により隠蔽部位3aの3次元位置を推定するのに代えて、特定視点から見たときの隠蔽部位3aを隠蔽部位特定手段35が特定したとき、複数のカメラ11のうち、特定視点に対して監視空間1の対角位置に配置されているカメラ(
図7の例ではカメラ11d)が、隠蔽部位3aを撮影しているカメラ11であると推定してもよい。
【0042】
または、対象人物3を挟んで特定視点とは反対側に配置されているカメラ(
図7の例ではカメラ11c)が、隠蔽部位3aを撮影しているカメラ11であると推定してもよい。
すなわち、カメラ選択手段37は、特定視点に対して監視空間1の対角位置に配置されているカメラやや対象人物3を挟んで特定視点とは反対側に配置されているカメラ(
図7の例ではカメラ11c)を、隠蔽部位3aを撮影しているカメラ11を、隠蔽部位3aを撮影するために選択してもよい。
【0043】
画像出力手段39は、カメラ選択手段37が選択したカメラ11が撮影した監視画像を出力部16のディスプレイ装置に表示する。画像送信手段40は、カメラ選択手段37が選択したカメラ11が撮影した監視画像をセンタ装置20へ送信する。
図1を参照する。センタ装置20の制御部25は、通信部23を介して、監視装置10から送信された画像(隠蔽部位3aが写っている監視画像)を受信し、受信した画像を出力部26のディスプレイ装置に表示する。
【0044】
(動作)
図8は、第1実施形態の監視方法の一例のフローチャートである。ステップS1において人物検出手段31は、カメラ11が生成する監視画像に基づいて、監視領域1内に存在する人物を検出する。
ステップS2において対象人物選択手段33は、監視領域1内に存在する人物のうち監視対象となる対象人物3を選択する。
【0045】
ステップS3において姿勢推定手段34は、監視画像に基づいて対象人物選択手段33が選択した対象人物3の姿勢を推定する。
ステップS4において隠蔽部位特定手段35は、対象人物3の姿勢の推定結果に基づいて、特定視点から見たときに対象人物3の身体によって隠蔽されている隠蔽部位3aを特定する。
ステップS5において隠蔽部位位置推定手段36は、隠蔽部位3aの3次元位置を推定する。
【0046】
ステップS6においてカメラ選択手段37は、隠蔽部位3aを撮影できる位置に設置されているカメラ11を選択する。
ステップS7においてカメラ制御手段38は、カメラ選択手段37が選択したカメラ11が隠蔽部位3aを撮影しているか否かを判定する。カメラ11が隠蔽部位3aを撮影している場合(ステップS7:Y)に処理はステップS9へ進む。カメラ11が隠蔽部位3aを撮影していない場合(ステップS7:N)に処理はステップS8へ進む。
【0047】
ステップS8においてカメラ制御手段38は、隠蔽部位3aを撮影するようにカメラ選択手段37が選択したカメラ11を制御する。その後に処理はステップS9へ進む。
ステップS9において画像出力手段39は、カメラ選択手段37が選択したカメラ11が撮影した監視画像を出力部16のディスプレイ装置に表示する。画像送信手段40は、カメラ選択手段37が選択したカメラ11が撮影した監視画像をセンタ装置20へ送信する。センタ装置20の制御部25は、受信した画像を出力部26のディスプレイ装置に表示する。
【0048】
ステップS10において監視装置10の制御部15は、監視処理を終了操作が入力部12で行われたか否かを判定する。終了操作が行われていない場合(ステップS10:N)に処理はステップS1へ戻る。終了操作が行われた場合(ステップS10:Y)に処理は終了する。
【0049】
(第2実施形態)
第2実施形態の監視装置10は、監視領域1内に存在する人物が不審者か否かを判定する。
図9は、第2実施形態の監視装置10の機能構成の一例を示すブロック図である。第2実施形態の監視装置10は、第1実施形態の監視装置10に類似する構成を有しており同一又は類似の構成要素には同じ参照符号を付与する。
【0050】
第2実施形態の監視装置10は、隠蔽部位特定手段35が特定した隠蔽部位の監視が必要であるか否かを判定して、監視すべき隠蔽部位を要監視部位に設定する要監視部位設定手段41を備える。
例えば要監視部位設定手段41は、隠蔽部位が対象人物3の身体によって継続して隠蔽されている期間である隠蔽期間が所定期間よりも長い場合に隠蔽部位を要監視部位に設定する。
【0051】
また、第2実施形態の監視装置10は、要監視部位設定手段41が設定した要監視部位に応じて対象人物3の不審行動の有無を判定する不審行動判定手段42を備える。
例えば不審行動判定手段42は、要監視部位設定手段41が設定した要監視部位の動きに応じて対象人物3の不審行動の有無を判定してよい。
【0052】
例えば、要監視部位が対象人物3の「手先」である場合、通常の動作よりも早い速度で鞄やポケットに商品を入れようとする手先の動きを検知した場合に、対象人物3の行動が不審行動であると判定してよい。また、万引きの予備動作や、いくつも商品を入れる動きや、鞄やポケットをしきりに触れる行動を不審行動であると判定してよい。
【0053】
要監視部位が対象人物3の「股関節」である場合には、ポケットの近くの部位である股関節を不自然隠そうとする動作(例えば、カメラや店員から見えないようにする動作)や、股関節の近くにあるポケットに商品を入れる動きや、ポケットにしきりに触れる動作を、不審行動であると判定してよい。
なお、
図1の制御部15は、要監視部位設定手段41及び不審行動判定手段42として機能する。
【0054】
不審行動判定手段42が対象人物3の不審行動を検出した場合に、カメラ選択手段37は、隠蔽部位を撮影しているカメラ11を選択してよい。カメラ選択手段37は、隠蔽部位を撮影できる位置に設置されているカメラ11を選択してもよい。選択されたカメラ11が現時点では実際に隠蔽部位を撮影していない場合、カメラ制御手段38は、隠蔽部位を撮影するようにカメラ11の少なくとも光軸方向を制御してもよい。
【0055】
図10は、第2実施形態の監視方法の一例のフローチャートである。ステップS21~S25の処理は、
図8を参照して説明したステップS1~S5の処理と同様である。
ステップS26において要監視部位設定手段41は、隠蔽部位が対象人物3の身体によって継続して隠蔽されている期間である隠蔽期間が所定期間よりも長い場合に隠蔽部位を要監視部位に設定する。
【0056】
ステップS27において不審行動判定手段42は、要監視部位設定手段41が設定した要監視部位に応じて、対象人物3の不審行動の有無を判定する。不審行動がない場合(ステップS27:N)に処理はステップS32へ進む。不審行動がある場合(ステップS27:Y)に処理はステップS28へ進む。
ステップS28~S32の処理は、
図8を参照して説明したステップS6~S10の処理と同様である。
【0057】
(実施形態の効果)
(1)監視装置10は、監視領域内を撮影する少なくとも1台のカメラ11の撮像画像に基づいて、撮像画像内の対象人物3の姿勢を推定する姿勢推定手段34と、推定した姿勢に基づいて、監視領域内の特定視点から見たときに対象人物3の身体によって隠蔽されている対象人物3の身体の部位である隠蔽部位を特定する隠蔽部位特定手段35と、を備える。
これにより、監視領域内の人物が、不審行動を認識されないように自分の身体の一部の部位を自分の身体で隠蔽した場合に、その隠蔽部位を特定することができる。この結果、監視領域内の人物の身体の一部がこの人物の身体によって隠蔽されている場合に、当該人物が不審者であるか否かの判定を容易にする
【0058】
(2)例えば、特定視点は、少なくとも1台のカメラ11の視点であってもよい。
これにより、監視領域に設置されたカメラ11で観察したときに隠蔽されている隠蔽部位を特定できる。
(3)視点設定手段32は、監視領域に存在する他の人物2の位置を推定し、推定した他の人物2の視点を特定視点として設定してもよい。
これにより、監視領域にいる他の人物2から見たときに隠蔽されている隠蔽部位を特定できる。例えば、監視領域1における監視業務に協力する人物(例えば店員や警備員)から見たときに隠蔽されている隠蔽部位を特定できる。
【0059】
(4)監視装置10は、複数のカメラ11の設置位置を記憶するカメラ記憶手段30と、隠蔽部位の位置を推定する隠蔽部位位置推定手段36と、特定した隠蔽部位が対象人物3の予め設定した特定部位である場合に、カメラ11の設置位置と隠蔽部位の位置とに基づいて、隠蔽部位を撮影するカメラ11を複数のカメラ11の中から選択するカメラ選択手段37と、カメラ選択手段37が撮影した撮像画像を出力する画像出力手段39又は画像送信手段40と備えてもよい。なお、上記のとおり隠蔽部位特定手段35で隠蔽部位の有無とその位置を同時に推定する場合は、隠蔽部位位置推定手段36を省略してもよい。
これにより、特定視点から見たときに対象人物3の身体で隠蔽されている隠蔽部位が写っている監視画像を取得できる。
【0060】
(5)監視装置10は、隠蔽部位が特定部位であり、複数のカメラ11のいずれもが隠蔽部位を撮影していない場合に、隠蔽部位を撮影するように複数のカメラ11のいずれかの光軸を制御するカメラ制御手段38を備えてもよい。
これにより、特定視点から見たときに対象人物3の身体で隠蔽されている隠蔽部位が写っている監視画像を取得できる。
【0061】
(6)監視装置10は、特定した隠蔽部位が継続して隠蔽されている期間である隠蔽期間が所定期間よりも長い場合に隠蔽部位を要監視部位に設定する要監視部位設定手段41と、対象人物3の要監視部位の動きに応じて対象人物3の不審行動の有無を判定する不審行動判定手段42と、を備えてもよい。
これにより、対象人物3が自分の身体で隠した隠蔽部位において不審行動を行われているか否かを判定できる。
【0062】
(7)監視装置10は、特定した隠蔽部位が継続して隠蔽されている期間である隠蔽期間が所定期間よりも長い場合に隠蔽部位を要監視部位に設定する要監視部位設定手段41と、対象人物3の監視部位が対象人物3の予め設定した特定部位であるか否かに応じて対象人物3の不審行動の有無を判定する不審行動判定手段42と、を備えてもよい。
これにより、対象人物3が自分の身体で隠した隠蔽部位において不審行動を行われているか否かを判定できる。
【0063】
(8)監視装置10は、複数のカメラ11の設置位置を記憶するカメラ記憶手段30と、隠蔽部位の位置を推定する隠蔽部位位置推定手段36と、上記の不審行動を検出した場合、設置位置と隠蔽部位の位置とに基づいて、対象人物3の隠蔽部位を撮影するカメラ11を複数のカメラ11の中から選択するカメラ選択手段37と、カメラ選択手段37が撮影した撮像画像を出力する画像出力手段39又は画像送信手段40と、を備えてもよい。
これにより、特定視点から見たときに対象人物3の身体で隠蔽されている不審行動を撮影できる。
【符号の説明】
【0064】
1…監視領域、2…所定人物、3…人物(対象人物)、3a…隠蔽部位、4a~4c…構造物、10…監視装置、11、11a~11d…カメラ、12、22…入力部、13、23…通信部、14、24…記憶部、15、25…制御部、16、26…出力部、20…センタ装置、230…カメラ記憶手段、31…人物検出手段、32…視点設定手段、33…対象人物選択手段、34…姿勢推定手段、35…隠蔽部位特定手段、36…隠蔽部位位置推定手段、37…カメラ選択手段、38…カメラ制御手段、39…画像出力手段、40…画像送信手段、41…要監視部位設定手段、42…不審行動判定手段