特許 6562437 監視装置、及び、監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6562437

(24)【登録日】2019年8月2日

(45)【発行日】2019年8月21日

(54)【発明の名称】監視装置、及び、監視方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20190808BHJP

   G08B 25/00 20060101ALI20190808BHJP

【ＦＩ】

   H04N7/18 D

   H04N7/18 U

   G08B25/00 510M

【請求項の数】5

【全頁数】18

(21)【出願番号】特願2019-85176(P2019-85176)

(22)【出願日】2019年4月26日

【審査請求日】2019年4月26日

【早期審査対象出願】

(73)【特許権者】

【識別番号】515297076

【氏名又は名称】アースアイズ株式会社

(74)【代理人】

【識別番号】100145713

【弁理士】

【氏名又は名称】加藤 竜太

(74)【代理人】

【識別番号】100165238

【弁理士】

【氏名又は名称】中西 陽一郎

(72)【発明者】

【氏名】山内 三郎

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開２００７−２５７３３３（ＪＰ，Ａ）

【文献】 特開２０１８−１６０８５３（ＪＰ，Ａ）

【文献】 特開２０１７−１９９３０３（ＪＰ，Ａ）

【文献】 国際公開第２０１５／０３３５７６（ＷＯ，Ａ１）

【文献】 特開２０１７−０８５５１９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ ２３／００−３１／００

(57)【特許請求の範囲】

【請求項1】

監視対象領域を撮影する撮影部と、
前記撮影部が撮影した監視画像中の監視対象人物を認識して特定することができる監視対象特定部と、
前記監視対象人物の両耳及び鼻の位置に対応する３か所の視線方向検知用特徴点、及び、前記監視対象人物の右肩、左肩の位置に対応する２か所の胴体方向検知用特徴点を含んでなる複数の特徴点を連接する骨格線で構成される前記監視対象人物の骨格を抽出する骨格抽出部と、
前記骨格抽出部が抽出した前記特徴点の前記監視対象領域内での３次元位置を特定する、特徴点位置特定部と、
前記監視対象人物の視線方向を検知する、視線方向検知部と、
胴体方向検知部と、
特定動作検知部と、
不審動作判定部と、を備え、
前記視線方向検知部は、前記視線方向検知用特徴点を結んで形成される三角形の両耳の位置に対応する点を結んでなる底辺の中点から、鼻の位置に対応する点である前記三角形の頂点に向かう方向を、前記監視対象人物の３次元空間内での視線方向として検知し、
前記胴体方向検知部は、２か所の前記胴体方向検知用特徴点を結ぶ直線に直交する２方向のうち、前記視線方向との角度差のより小さい方向を、前記監視対象人物の３次元空間内での胴体方向として検知し、
前記特定動作検知部は、前記視線方向の変動量、又は、前記視線方向と前記胴体方向との差分の変動量から、特定動作を検知し、
前記不審動作判定部は、前記特定動作検知部により検知された前記特定動作と、予め登録されている基準不審動作とを比較して、前記監視対象人物の前記特定動作の不審度を判定して出力する、
監視装置。

【請求項2】

前記監視画像中の床面又は地面に相当する位置を前記監視対象領域を構成する３次元空間内における実寸法と関連付けて特定可能な座標を、前記監視画像に基づいて設定する座標設定部を更に備え、
前記特徴点位置特定部は、前記座標設定部が設定した前記座標に基づいて前記特徴点の前記３次元空間内における位置を特定する、
請求項１に記載の監視装置。

【請求項3】

前記監視画像を表示する監視画像表示装置を更に備え、
前記監視画像表示装置は、前記監視対象人物の前記視線方向を示す図形を前記監視画像内において表示する、請求項１又は２に記載の監視装置。

【請求項4】

撮影部が、監視対象領域を撮影する監視撮影ステップと、
監視対象特定部が、前記撮影部が撮影した監視画像中の監視対象人物を認識して特定する監視対象特定ステップと、
骨格抽出部が、前記監視対象人物の鼻、右耳、左耳の位置に対応する３か所の視線方向検知用特徴点、及び、前記監視対象人物の右肩、左肩の位置に対応する２か所の胴体方向検知用特徴点を含む複数の特徴点を連接する骨格線で構成される監視対象人物の骨格を抽出する監視対象人物の骨格抽出ステップと、
特徴点位置特定部が、前記骨格抽出部が抽出した前記特徴点の前記監視対象領域内での３次元位置を特定する特徴点位置特定ステップと、
視線方向検知部が、３か所の前記視線方向検知用特徴点によって形成される三角形の両耳の位置に対応する点を結んでなる底辺の中点から、鼻の位置に対応する点である前記三角形の頂点に向かう方向を、前記監視対象人物の３次元空間内での視線方向として検知する、視線方向検知ステップと、
２か所の前記胴体方向検知用特徴点を結ぶ直線に直交する２方向のうち、前記視線方向との角度差のより小さい方向を、前記監視対象人物の３次元空間内での胴体方向として検知する胴体方向検知ステップと、
前記視線方向の変動量、又は、前記視線方向と前記胴体方向との差分の変動量から、前記監視対象人物の特定動作を検知する特定動作検知ステップと、
検知された前記特定動作と、予め登録されている基準不審動作とを比較して、前記監視対象人物の前記特定動作の不審度を判定する不審動作判定ステップと、
を、含んでなる監視方法。

【請求項5】

座標設定部が、前記監視画像中の床面又は地面に相当する位置を前記監視対象領域を構成する３次元空間内における実寸法と関連付けて特定可能な座標を、前記監視画像に基づいて設定する座標設定ステップを更に含んでなる、
請求項４に記載の監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視装置、及び、監視方法に関する。

【背景技術】

【0002】

従来、防犯や防災等の目的、或いは、看護や介護の目的で、監視カメラを用いた監視装置が利用されている。この種の監視装置は、一般に、監視カメラと情報処理装置と、を含んで構成されている。そして、例えば、店舗や商業施設、或いは病院や介護施設等の所定の監視対象領域内に設置した監視カメラによって撮影された画像を用いて監視対象の監視を行っている。

【0003】

このような監視装置によって、画像内の「監視対象人物」の頭部、胴体、及び四肢の動き等からなる「得意的な動作」を、画像データから検知して、「監視対象人物」に対する対応の要否を機械的に判断することが行われている（特許文献１参照）。

【0004】

そして、このような監視装置による監視作業においては、「特異的な動作」を構成する身体各部の動きの中でも、特に監視対象人物の「視線方向」を検知することが、監視対象に対する対応の必要度の判定において有用である場合が多い。

【0005】

監視装置によって、画像内の「監視対象人物」の「視線方向」を検知する手段として、例えば、「様々な角度の顔部のテンプレート」と監視画像における監視対象人物の顔部とを「マッチング」させることにより、当該顔部に近似するテンプレートから視線方向を検知する視線方向検知手段（特許文献２参照）や、或いは、監視対象人物の「人物の頭部全体」と「目や鼻の位置」を検知し、これらの「位置関係」から顔の向きを求め、これを視線方向とする視線方向検知手段（特許文献３）等が提案されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特許第５８９９５０６号公報

【特許文献2】特開２００８−２８８７０７号公報

【特許文献3】特開２０１８−１４８４０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献２の視線方向検知手段は、膨大な基礎データ（「様々な角度の顔部のテンプレート」）を予め準備する必要がある。

【0008】

一方、特許文献３の視線方向検知手段は、視線方向を正確に検知するために、「人物の頭部全体」の輪郭全体の３次元位置情報と、「目や鼻の位置」３次元情報の両方を、把握する必要があり、３Ｄカメラや精度の高い距離センサー等の高価な距離測定手段の設置が必須である。

【0009】

本発明は、従来よりも簡易な測定手段によって、最小限の情報処理量により、監視対象人物の「視線方向」を、正確に検知することができる監視装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明は、以下のような解決手段により、前記課題を解決する。

【0011】

（１） 監視対象領域を撮影する撮影部と、前記撮影部が撮影した監視画像中の監視対象人物を認識して特定することができる監視対象特定部と、前記監視対象人物の両耳及び鼻の位置に対応する３か所の視線方向検知用特徴点を含んでなる複数の特徴点を連接する骨格線で構成される前記監視対象人物の骨格を抽出する骨格抽出部と、前記骨格抽出部が抽出した前記特徴点の前記監視対象領域内での３次元位置を特定する、特徴点位置特定部と、前記監視対象人物の視線方向を検知する、視線方向検知部と、を備え、前記視線方向検知部は、前記視線方向検知用特徴点を結んで形成される三角形の両耳の位置に対応する点を結んでなる底辺の中点から、鼻の位置に対応する点である前記三角形の頂点に向かう方向を、前記監視対象人物の３次元空間内での視線方向として検知する、監視装置。

【0012】

（２） 特定動作検知部と、不審動作判定部と、を更に備え、前記特定動作検知部は、前記視線方向の変動量から、前記監視対象人物の特定動作を検知し、前記不審動作判定部は、前記特定動作検知部により検知された前記特定動作と、予め登録されている基準不審動作とを比較して、前記監視対象人物の特定動作の不審度を判定して出力する、（１）に記載の監視装置。

【0013】

（３） 特定動作検知部と、不審動作判定部と、胴体方向検知部と、を更に備え、前記特徴点には、更に前記監視対象人物の右肩、左肩の位置に対応する２か所の胴体方向検知用特徴点が含まれていて、前記胴体方向検知部は、２か所の前記胴体方向検知用特徴点を結ぶ直線に直交する２方向のうち、前記視線方向との角度差のより小さい方向を、前記監視対象人物の３次元空間内での胴体方向として検知し、前記特定動作検知部は、前記視線方向の変動量、又は、前記視線方向と前記胴体方向との差分の変動量から、前記特定動作を検知し、前記不審動作判定部は、前記特定動作検知部により検知された前記特定動作と、予め登録されている基準不審動作とを比較して、前記監視対象人物の特定動作の不審度を判定して出力する、（１）に記載の監視装置。

【0014】

（４） 前記監視画像中の床面又は地面に相当する位置を前記監視対象領域を構成する３次元空間内における実寸法と関連付けて特定可能な座標を、前記監視画像に基づいて設定する座標設定部を更に備え、前記特徴点位置特定部は、前記座標設定部が設定した前記座標に基づいて前記特徴点の前記３次元空間内における位置を特定する、（１）から（３）の何れかに記載の監視装置。

【0015】

（５） 前記監視画像を表示する監視画像表示装置を更に備え、前記監視画像表示装置は、前記監視対象人物の前記視線方向を示す図形を前記監視画像内において表示する、（１）から（４）の何れかに記載の監視装置。

【0016】

（６） 撮影部が、監視対象領域を撮影する監視撮影ステップと、監視対象特定部が、前記撮影部が撮影した監視画像中の監視対象人物を認識して特定する監視対象特定ステップと、骨格抽出部が、前記監視対象人物の鼻、右耳、左耳の位置に対応する３か所の視線方向検知用特徴点を含む複数の特徴点を連接する骨格線で構成される監視対象人物の骨格を抽出する監視対象人物の骨格抽出ステップと、特徴点位置特定部が、前記骨格抽出部が抽出した前記特徴点の前記監視対象領域内での３次元位置を特定する特徴点位置特定ステップと、視線方向検知部が、３か所の前記視線方向検知用特徴点によって形成される三角形の両耳の位置に対応する点を結んでなる底辺の中点から、鼻の位置に対応する点である前記三角形の頂点に向かう方向を、前記監視対象人物の３次元空間内での視線方向として検知する、視線方向検知ステップと、を含んでなる、監視方法。

【0017】

（７） 前記視線方向の変動量から、前記監視対象人物の特定動作を検知する特定動作検知ステップと、検知された前記特定動作と、予め登録されている基準不審動作とを比較して、前記監視対象人物の特定動作の不審度を判定する不審動作判定ステップと、を、更に含んでなる（６）に記載の監視方法。

【0018】

（８） 前記特徴点には、前記監視対象人物の右肩、左肩の位置に対応する２か所の胴体方向検知用特徴点が含まれていて、２か所の前記胴体方向検知用特徴点を結ぶ直線に直交する２方向のうち、前記視線方向との角度差のより小さい方向を、前記監視対象人物の３次元空間内での胴体方向として検知する胴体方向検知ステップと、前記視線方向の変動量、又は、前記視線方向と前記胴体方向との差分の変動量から、前記監視対象人物の特定動作を検知する特定動作検知ステップと、検知された前記特定動作と、予め登録されている基準不審動作とを比較して、前記監視対象人物の特定動作の不審度を判定する不審動作判定ステップと、を、更に含んでなる（６）に記載の監視方法。

【0019】

（９） 座標設定部が、前記監視画像中の床面又は地面に相当する位置を前記監視対象領域を構成する３次元空間内における実寸法と関連付けて特定可能な座標を、前記監視画像に基づいて設定する座標設定ステップを更に含んでなる、（６）から（８）の何れかに記載の監視方法。

【発明の効果】

【0020】

本発明によれば、従来よりも簡易な測定手段によって、最小限の情報処理量により、監視対象人物の「視線方向」を、正確に検知することができる監視装置を提供することができる。

【図面の簡単な説明】

【0021】

【図1】本発明の監視装置の構成を示すブロック図である。

【図2】本発明の監視方法の流れを示すフローチャートである。

【図3】本発明の監視装置が備える監視対象特定部によって、監視画像中の監視対人物が認識されている状態を示す図である。

【図4】本発明の監視装置が備える骨格抽出部によって、図３の監視対象人物から骨格が抽出されている状態を示す図である。

【図5】本発明の監視装置が備える特徴点位置特定部によって、上記の骨格の特徴点が、３次元情報（奥行情報）を含む座標上に重ね合わされている状態を示す図である。

【図6】鼻、右耳、左耳の位置に対応する３か所の視線方向検知用特徴点、及び、右肩、左肩の位置に対応する２か所の胴体方向検知用特徴点の基本的な位置関係の説明に供する図面である。

【図7】視線方向検知用特徴点、及び、胴体方向検知用特徴点と、視線方向、及び、胴体方向との基本的な位置関係について説明する図面である。

【図8】視線方向検知用特徴点、及び、胴体方向検知用特徴点と、視線方向、及び、胴体方向との位置関係の変動の態様について説明する図面である。

【図9】本発明の監視装置を構成する撮影部の取り付け態様の一例を示す図である。

【図10】本発明の監視装置が備える座標設定部が座標設定を行うために用いる背景画像の一例を示す図である。

【図11】上記の座標設定部が設定した座標の一例を示す図である。

【発明を実施するための形態】

【0022】

以下、本発明を実施するための最良の形態について図面等を参照して説明する。

【0023】

＜監視装置＞
図１は、本発明の監視装置１００の構成を示すブロック図である。以下の説明では、具体的な構成の一例を示して説明を行うが、これらは、本発明の技術的範囲内において適宜変更して実施することができる。

【0024】

［全体構成］
監視装置１００は、撮影部１１０と、演算処理部１２０とを備えている。又、監視画像を表示する監視画像表示装置１３０を更に含んで構成されていることが好ましい。監視装置１００は、撮影部１１０、演算処理部１２０、及び、監視画像表示装置１３０を、それぞれ離れた位置に別々に配置して構成することもできる。又、監視装置１００は、撮影部１１０と演算処理部１２０、若しくは、撮影部１１０と演算処理部１２０の一部のみと、を１つの監視装置として一体化し、これらの装置と、監視画像表示装置１３０とを、有線或いは無線で接続した構成とすることもできる。

【0025】

［撮影部］
撮影部１１０は、所謂、監視カメラである。そして、この撮影部１１０は、監視対象領域を構成する３次元空間を撮影する監視撮影ステップ（Ｓ１２）を行う。

【0026】

尚、撮影部１１０を構成する監視カメラは、例えば、監視装置１００に後述する座標設定部１２１を備えさせることにより、監視対象領域を構成する３次元空間を２次元の画像として撮影する単眼のカメラで構成することができる。この場合、高価な３Ｄカメラを導入する必要はなく、監視装置１００の導入コストを大幅に低減させることができる。

【0027】

撮影部１１０を構成する監視カメラの設置方法については、例えば、図９に図示したように、監視対象領域となる室内の天井部分の端部位置に取り付ければよい。但し、監視かメラの取り付け場所は、監視対象領域の広さやカメラのレンズの画角等に応じて適宜変更可能である。

【0028】

又、撮影部１１０は、撮像素子１１１と、撮影レンズ１１２と、画像処理部１１３とを備える構成とすることができる。撮像素子１１１は、撮影レンズ１１２が結像する像を撮像して、画像処理部１１３へ送る。又、図９には、撮影レンズ１１２の光軸（映像光の光軸）Ｏ、及び、撮影範囲（角度θ_０の範囲）を模式的に示した。尚、撮影範囲は、アスペクト比に応じて、上下、左右の各方向における実撮影範囲が異なるので、ここでは、理解を容易にするために図示したような撮影画面における上下方向の撮影範囲を角度θ_０（垂直方向画角）の範囲として示した。画像処理部１１３は、撮像素子１１１から出力されるデータを処理して画像データ化して、演算処理部１２０へ送信する。

【0029】

［演算処理部］
演算処理部１２０は、撮影部１１０から送信された画像データに対して、監視に必要な演算処理を行う。演算処理部１２０は、例えば、パーソナルコンピュータやタブレット端末、スマートフォン等を利用して構成することができる。或いは、演算処理部１２０は、監視動作に特化した専用の装置として構成することもできる。これらの何れの構成においても、演算処理部１２０は、ＣＰＵ、メモリ、通信部等のハードウェアを備えている。そして、このような構成からなる演算処理部１２０は、コンピュータプログラム（監視プログラム）を実行することにより、以下に説明する各種動作、及び、監視方法を具体的に実行することができる。

【0030】

演算処理部１２０は、撮影部１１０から画像データを受信することができるように撮影部１１０と接続されている。この接続は、専用の通信ケーブルを利用した有線接続、或いは、有線ＬＡＮによる接続とすることができる。又、有線接続に限らず、無線ＬＡＮや近距離無線通信、携帯電話回線等の各種無線通信を用いた接続としてもよい。尚、演算処理部１２０は、撮影部１１０の近傍に配置せずに、撮影部１１０から離れた遠隔地に配置してもよい。

【0031】

演算処理部１２０は、少なくとも監視対象特定部１２３、骨格抽出部１２４、特徴点位置特定部１２５、視線方向検知部１２６を含んで構成される。この最小限の構成により、監視対象人物の視線方向に係る情報を、任意の監視装置に有用な情報として出力することができる。

【0032】

又、演算処理部１２０は、必要に応じて、更に、座標設定部１２１、入力部１２２、胴体方向検知部１２７、特定動作検知部１２８、不審動作判定部１２９を含んで構成されることが好ましい。

【0033】

（座標設定部）
座標設定部１２１は、撮影部１１０が撮影した撮影画像である監視画像中の床面又は地面に相当する位置を監視対象領域３次元空間内における実寸法と関連付けて特定可能な座標を設定する座標設定ステップ（Ｓ１１）を行う。尚、以下においては監視対象物までの距離測定を要せずに上記座標を設定する実施形態を好ましい実施形態の具体例として説明するが、撮影部１１０に３Ｄカメラや各種の距離センサー等を備えさせ、これにより監視対象領域内の奥行情報を得ることによっても上記座標を設定することは勿論可能であり、この場合は、独立した座標設定部１２１は、必ずしも必須の構成要件ではない。

【0034】

（入力部）
入力部１２２は、座標設定部１２１の機能の発現を補助する。入力部１２２は、撮影部１１０から床面又は地面までの距離（高さｈ）について、外部からの入力を受け付ける。又、入力部１２２は、撮影部１１０が撮影する映像光の光軸の向き（鉛直方向（Ｚ方向）に対する角度α）の入力を受け付ける。入力部１２２は、演算処理部１２０に設けられたキーボード等の汎用の入力装置を介して入力される値を受け付けてもよいし、設定値が保存された記憶媒体を介して入力される値を受け付けてもよいし、ネットワーク等を介して入力される値を受け付けてもよい。

【0035】

（監視対象特定部）
監視対象特定部１２３は、監視動作中に、監視画像中の任意の「人（監視対象人物）」を認識して、これを監視対象人物として特定する監視対象特定ステップ（Ｓ１３）を行う。又、監視対象特定部１２３は、複数の監視対象人物を同時に並行して個別に特定する機能を有する。

【0036】

（骨格抽出部）
骨格抽出部１２４は、複数の特徴点を連接する骨格線で構成される監視対象人物の骨格を抽出する骨格抽出ステップ（Ｓ１４）を行う（図４参照）。

【0037】

（特徴点位置特定部）
特徴点位置特定部１２５は、骨格抽出部１２４が抽出した骨格を構成する特徴点の「監視対象領域３次元空間内における位置」を特定する特徴点位置特定ステップ（Ｓ１５）を行う（図５参照）。この「監視対象領域３次元空間内における位置」とは、各特徴点が現実の監視対象領域を構成する３次元空間内で実際に占める位置である。この位置は、各特徴点が、上記の座標上に占める位置から得ることができる「３次元位置情報」に基づいて特定することができる。

【0038】

（視線方向検知部）
視線方向検知部１２６は、「監視対象人物」に係る両耳と鼻の位置に対応する「３か所の視線方向検知用特徴点」を結んで形成される三角形の「３次元位置情報」から、当該監視対象の視線方向を検知する視線方向検知ステップ（Ｓ１６）を行う（図６〜８参照）。具体的には、上記の三角形において両耳の位置に対応する点を結んでなる底辺の中点から、鼻の位置に対応する点である頂点に向かう方向を、監視対象人物の３次元空間内での視線方向として検知する。

【0039】

（胴体方向検知部）
胴体方向検知部１２７は、「監視対象人物」に係る両肩の位置に対応する「２か所の胴体方向検知用特徴点」を結ぶ直線の「３次元位置情報」から、当該監視対象の胴体方向を検知する胴体方向検知ステップ（Ｓ１７）を行う（図６〜８参照）。具体的には、上記の直線に直交する２方向のうち、前記視線方向との角度差のより小さい方向を、監視対象人物の３次元空間内での視線方向として検知する。

【0040】

（特定動作検知部）
特定動作検知部１２８は、視線方向検知部１２６が検知した「視線方向」の変動量や、或いは、「視線方向」と胴体方向検知部１２７が検知した「胴体方向」の差分の変動量から、「監視対象人物」の「特定動作」を検知する特定動作検知ステップ（Ｓ１８）を行う。「特定動作」は、例えば、「視線方向」や、「視線方向」と「胴体方向」の差分が、特定の短時間内に周期的に変動する動作であり、この動作を「視線方向」ベクトルと「胴体方向」ベクトルの差分として数値化して把握することができる。

【0041】

（不審動作判定部）
不審動作判定部１２９は、特定動作検知部１２８により検知された監視対象人物の特定動作に係る数値（例えば、上記のようにして数値かされた特定動作に係る数値）を、入力し、予め登録されている基準不審動作に係る数値と比較して、監視対象人物の特定動作の不審度を判定する。そして、監視対象人物の動作の不審度を判定して監視画像表示装置１３０等に出力する。

【0042】

［監視画像表示装置］
監視画像表示装置１３０は、撮影部１１０によって撮影された監視画像に、演算処理部１２０で得た監視情報、具体的には監視対象人物の視線方向を示す矢印等、を付加して視認可能に表示できる装置であれば、従来の公知の各種の画像表示装置を適宜用いることができる。この監視画像表示装置１３０は管理者の作業領域に据え置かれる据え置き型のモニターであってもよいし、管理者が持ち運ぶことができる携帯端末型のモニターであってもよい。

【0043】

［監視方法］
図２は、監視装置１００を用いて実行することができる本発明の監視方法の流れを示すフローチャートである。

【0044】

（座標設定ステップ）
座標設定ステップ（Ｓ１１）では、座標設定部１２１が、座標設定処理を行う。この座標設定ステップ（Ｓ１１）で行われる座標設定処理とは、好ましくは、座標設定部１２１が、撮影部１１０が撮影した撮影画像である監視画像中の床面又は地面に相当する位置を監視対象領域３次元空間内における実寸法と関連付けて特定可能な座標、即ち、監視対象領域についての奥行き情報も有する３次元座標を設定する処理である。

【0045】

尚、この座標設定ステップ（Ｓ１１）は、監視領域を監視するための事前準備であって、これ以降のステップにより本稼働としての実際の監視が開始される。換言すると、座標設定ステップ（Ｓ１１）は、監視の本稼働の開始に先行して、撮影部１１０の設置後に少なくとも１回行われればよい。例えば、監視装置１００を設置したときに適切に上記の座標を設定しておけば、その後、撮影部１１０の配置の変更等、監視画像の撮影条件に特段の変更がない限り、監視システムの稼働中における再度の座標設定を不要とすることができる。

【0046】

この座標設定部１２１が設定する座標とは、撮影部１１０が撮影する監視画像中において、ある任意の位置を特定し、その位置が床面又は地面にあるとしたときに、その床面又は地面が、実際の監視対象領域の空間においてどの位置に相当するのか特定可能な座標である。即ち、この設定される座標上の位置は、監視対象領域を構成する３次元空間内における実寸法と関連付けて設定される。

【0047】

図１０は、座標設定部１２１が座標設定を行うときに撮影される背景画像の一例を示す図である。図１０に示した例では、床面５０１と、壁面５０２と、陳列棚５０３とが撮影された監視画像中に含まれている。図１０及び図１１において、床面に平行な面をＸＹ平面とし、ＸＹ平面のうち図３中の左右方向をＸ方向とし、左右方向に直交する奥行方向をＹ方向とする。又、床面に垂直な鉛直方向をＺ方向とする。

【0048】

撮影部１１０が撮影する監視画像が２次元の画像情報である場合、監視画像中である位置を選択（特定）したとしても、それだけでは、選択（特定された）位置（２次元位置）が、実際の３次元空間上におけるいかなる位置（３次元位置）であるのかを特定することができない。しかし、床面、又は、地面上に、「監視対象領域３次元空間内における実寸法」と関連付けた座標を設定した上で、監視画像中で選択（特定）する位置を、床面又は地面であると限定すれば、監視画像中で選択（特定）された位置が監視対象領域３次元空間内におけるどの位置の床面又は地面であるのかを特定することが可能となる。そこで、座標設定部１２１は床面又は地面に対応させた座標を設定する。

【0049】

座標設定部１２１は、撮影部１１０から床面又は地面までの距離ｈと、撮影部１１０が撮影する映像光の光軸Ｏの向き（角度α）と、撮影部１１０が撮影する監視画像の画角（θ_０）とを用いて座標を設定する。

【0050】

図９に示すように、撮影部１１０が撮影する監視画像中における、中心位置に存在する床面又は地面の実際の中心位置ＰＯ、即ち、撮影レンズ１１２の光軸Ｏが床面又は地面と交わる中心位置ＰＯは、幾何学的に特定可能である。具体的には、撮影部１１０が設置されている位置の床面又は地面からの高さｈと、光軸Ｏの向きを特定可能な角度α（光軸Ｏと鉛直方向Ｇとのなす角度）とを取得できれば、撮影部１１０の真下の位置から位置ＰＯまでの距離ＬＯを求めることができる。

【0051】

又、垂直方向画角θ_０は、撮像素子１１１のサイズと撮影レンズ１１２の諸元から一義的に決まる既知の値であるので、中心位置ＰＯから撮影範囲の最近点Ｐ１までの距離Ｌ１と、中心位置ＰＯから撮影範囲の最遠点Ｐ２までの距離Ｌ２とについても、幾何学的に求めることができる。同様に、これらの中間の任意の位置についても、画像中の位置と監視対象領域３次元空間内における実際の位置（実寸法、実距離）とを関連付けることができる。又、上述した奥行方向（図中のＹ方向）と同様に、左右方向（図中のＸ方向）についても、画像中の位置と監視対象領域３次元空間内における実際の位置（実寸法、実距離）とを関連付けることができる。

【0052】

以上のようにして、座標設定部１２１は、監視画像中に、「監視対象領域３次元空間内における位置」と関連付けされた座標を設定することができる。

【0053】

図１１は、座標設定部１２１が設定した座標の一例を示す図である。図１１では、説明のために、図１０の監視画像にＹ方向及びＸ方向に、監視対象領域３次元空間内における実寸法において等間隔となるグリッドを重ねて示した。尚、このようにグリッドで領域を分割することは、一例であって、グリッド分けをせずに連続した座標が設定されていてもよい。尚、座標設定部１２１が設定する座標は、床面５０１（又は地面）が無限に広がっていると仮定して設定されるので、これを説明するために、あえて壁面５０２や陳列棚５０３等に対してもグリッドを重ねて表示した。

【0054】

ここで、撮影された監視画像では、監視対象領域３次元空間内における実寸法が同じであっても、近くの位置よりも遠くの位置の方が小さく見える。よって、設定された座標において、上記実寸法上で等間隔のグリッドは、遠方の方が小さくなるように設定される。このように、座標設定部１２１が設定する座標は、監視対象領域３次元空間内における実際の位置（実寸法、実距離）と関連付けられている。

【0055】

座標設定部１２１が設定する座標が、上述の通り、監視対象領域３次元空間内における実際の位置（実寸法、実距離）と関連付けられているということは、換言すれば、座標設定部１２１が設定する上記座標上の各グリッド、或いは、各点は、撮影部１１０からの距離情報を含んでいるということでもある。そうすると、所定領域内の監視対象がどのグリッドに位置しているかを把握することで、当該監視対象の大きさや立体形状に係る３次元情報を取得することが可能である。

【0056】

尚、本発明の監視装置１００においては、撮影部１１０が設置されている位置の床面又は地面からの高さｈと、光軸Ｏの向きを特定可能な角度α（光軸Ｏと鉛直方向Ｇとのなす角度）とを取得できれば、撮影部１１０の真下の位置から位置ＰＯまでの距離ＬＯを求めることができる。一方で、監視装置１００を構成する撮影部１１０は、赤外線等を照射して距離測定を行う距離測定部に相当する構成を必須の構成としてはいない。上記のように幾何学的に監視対象領域３次元空間の位置を特定する前提として必要な初期情報となる「高さｈ」に関しては、監視装置１００が自動的に得られる値ではない。撮影部１１０が設置される高さは、監視を行う現場に応じて様々である。監視装置１００では、入力部１２２が高さｈの入力を受け付けることで、適切な高さｈを取得する。

【0057】

又、光軸Ｏの向きを特定可能な角度αについても、正しい値を取得する必要がある。ここで説明する撮影部１１０は、光軸Ｏの向きを任意の向きに向けて設置が可能なように構成されているが、設置後は、光軸Ｏの向きに変化はない。そこで、本実施形態の監視装置１００では、角度αについても、入力部１２２が入力を受け付けることで、適切な角度αを取得する。尚、角度αについては、撮影部１１０の設置工事時に調整されるので、設置工事完了後に入力が行われる。その際、最終的な調整値を得ることができるように、例えば、撮影部１１０の向き調整機構に目盛を設けておけば、この目盛に応じた値を入力部１２２に入力することにより、適切な値を簡単に入力可能である。尚、光軸Ｏの向きを変更できない簡素な構成の撮影部１１０の場合に、この角度αは、その規定値を用いればよいので、入力部１２２による角度αの入力を省略可能である。

【0058】

尚、撮影部１１０が、赤外線等を照射して距離測定を行う距離測定部に相当する構成を有する場合においては、距離測定部によって先ず撮影部から監視画像の背景に対応する実際の各点までの距離を実測し、この実測値に基づいて、上記同様、監視対象領域３次元空間内における実際の位置（実寸法、実距離）と関連付けられている座標を設定することができる。本発明の好ましい実施形態によれば、特許文献２に開示されている監視システム等において座標設定のための初期情報を得るために必須とされている撮影部から監視対象等までの距離の測定は不要ではあるが、上記文献に開示されているような方法によって座標設定を行ってもよい。

【0059】

（監視撮影ステップ）
監視撮影ステップ（Ｓ１２）では、撮影部１１０が、監視撮影を行う。ここで、監視撮影は、静止画の撮影を所定間隔で連続して行い、撮影される画像の連続として後述する監視動作を行うが、撮影間隔を非常に短くすることにより、実質的には、動画撮影として、監視動作を行っているものと捉えることもできる。

【0060】

（監視対象特定ステップ）
監視対象特定ステップ（Ｓ１３）では、監視撮影ステップ（Ｓ１２）で取得した監視画像中の監視対象人物を認識して特定する処理を行う。より具体的には、監視対象特定部１２３が、撮影部１１０が撮影した監視画像中の監視対象を認識して特定したか否かについて判断を行う。監視対象人物を検知して特定した場合（Ｓ１３、Ｙｅｓ）には、骨格抽出ステップ（Ｓ１４）へ進み、監視対象が特定されていない場合（Ｓ１３、Ｎｏ）には、監視撮影ステップ（Ｓ１２）へ戻り、監視撮影を継続する。

【0061】

監視対象人物の検知は、具体的には、従来公知の様々な手法の何れか、又は、それらを組合せて行うことができる。例えば、背景差分によって監視領域内の「人」を認識することができる。この背景差分は公知の技術であり、監視カメラで取得された画像データと、事前に取得しておいた監視領域の背景画像との差分をとることで、動きのある監視対象人物を認識する技術である。

【0062】

又、検知した監視対象人物の特定については、近年、画像認識分野において、認識率の飛躍的向上が注目を集めているディープラーニングを用いた画像認識技術と本発明との組合せが有効である。このような画像認識技術と組合せることにより、撮影された監視画像中の「人」や物を自動的に、且つ、極めて高い認識正解率で検知して特定することができる。又、多数の監視対象人物をカテゴリーや種類毎に分類認識して、同時並行的に検知して特定することもできる。

【0063】

尚、ディープランニングを用いた画像認識技術については、例えば、下記に公開されている。
「ディープラーニングと画像認識、オペレーションズ・リサーチ」
（ｈｔｔｐ：／／ｗｗｗ．ｏｒｓｊ．ｏ．ｊｐ／ａｒｃｈｉｖｅ２／ｏｒ６０−４／ｏｒ６０＿４＿１９８．ｐｄｆ））

【0064】

（骨格抽出ステップ）
骨格抽出ステップ（Ｓ１４）では、図４に示すように、骨格抽出部１２４が、監視対象特定ステップ（Ｓ１３）で検知され特定された監視対象人物Ｈについて、複数の特徴点とそれらの複数の特徴点を連接する骨格線とで構成される各監視対象人物の骨格を抽出する。

【0065】

本明細書において、監視対象人物の「骨格」とは、監視対象人物の複数の特徴点とこれらを連接してなる線状の図形である。図５は、骨格抽出部１２４によって、監視対象人物Ｈから骨格が抽出されている状態を示す図である。図５において、監視対象人物Ｈの頭頂部、左手Ｈ_２、及び、その他の四肢の先端や主たる関節部分に対応する位置が特徴点（ｈ_１、・・・、ｈ_ｎ）として把握されており、これらの複数の特徴点と、それらを連接する線分とによって形成される監視対象人物Ｈの「骨格」が、２次元の撮影画像である監視画像内の図形として認識されている。

【0066】

骨格抽出ステップ（Ｓ１４）で骨格を抽出する監視対象人物をどの程度の数の特徴点で区切って動作解析の単位となる各部分に細分化するかは、監視目的に応じて、どのような行動の差異を峻別して判定する必要があるかを考慮して適宜設計すればよい。但し、本発明の監視装置、監視方法の有利な効果を享受するための最小限の構成として、複数の上記特徴点が、少なくとも、図６に示す特徴点（ｈ１、ｈ２、ｈ３）、即ち、監視対象人物の鼻、右耳、左耳の位置に対応する３か所の「視線方向検知用特徴点（ｈ１、ｈ２、ｈ３）を含んで構成されていることが必須である。又、本発明の更に有利な効果を享受するために、複数の上記特徴点が、図６に示す特徴点（ｈ４、ｈ５）、即ち、監視対象人物の右肩、左肩の位置に対応する２か所の胴体方向検知用特徴点（ｈ４、ｈ５）を含んで構成されていることが好ましい。

【0067】

監視対象人物の骨格の抽出は、具体的には、従来公知の様々な手法の何れか、又は、それらを組合せて行うことができる。一例として、下記文献に開示されている「ＯｐｅｎＰｏｓｅ」と称される技術を用いることにより、２次元の撮影画像から任意の特徴点を結んで形成される監視対象人物の骨格を抽出することができる。
「Ｚｈｅ Ｃａｏ 他 Ｒｅａｌｔｉｍｅ Ｍｕｌｔｉ−Ｐｅｒｓｏｎ ２Ｄ Ｈｕｍａｎ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ Ｐａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ， ＣＶＰＲ ２０１７」

【0068】

（特徴点位置特定ステップ）
特徴点位置特定ステップ（Ｓ１５）では、骨格抽出ステップ（Ｓ１４）で２次元の図形として抽出した監視対象人物の骨格の位置情報から、これを構成する各特徴点の監視対象領域を構成する３次元空間内における位置を特定する。

【0069】

図５は、特徴点位置特定部１２５によって、監視対象特定ステップ（Ｓ１３）で監視対象人物として検知された人Ｈについて、骨格抽出ステップ（Ｓ１４）で抽出されたそれぞれの骨格の特徴点（ｈ１、ｈ２、・・・ｈ１１）が、座標設定ステップ（Ｓ１１）において予め設定されている３次元情報（奥行情報）を含む座標上に重ね合わされている状態を示す図である。

【0070】

図５に示すように、特徴点位置特定部１２５の動作により、監視対象人物の人Ｈの骨格の脚部先端近傍の特徴点（ｈ１０、ｈ１１）の位置が、３次元情報（奥行情報）を含む座標上におけるどの位置を占めているか（どのグリッド内にあるか）によって、監視対象人物の人Ｈの立ち位置が斜線部分のグリッド内であることを特定することができる。

【0071】

そして、人Ｈの立ち位置が、３次元情報（奥行情報）を含む座標上で特定できれば、例えば、監視画像内での人Ｈのサイズや形状から、監視対象領域３次元空間内における人Ｈの実際のサイズや立体形状を算出して把握することができる。つまり、２次元の画像データ（監視画像内の座標上に重ね合わされた特徴点の位置情報）から、人Ｈの位置や動作に係る三次元データを取得することができる。

【0072】

上記原理により、特徴点位置特定ステップ（Ｓ１５）では、監視対象人物の骨格を構成する特徴点について「監視対象領域３次元空間内における位置」が特定される。又、「監視対象領域３次元空間内における位置」を特定することができれば、上述の通り、当該監視対象人物の大きさや立体形状に係る３次元情報を取得することもできる。

【0073】

例えば、上述の「ＯｐｅｎＰｏｓｅ」を用いることにより、監視対象人物となる「人Ｈ」の２次元の撮影画像から、複数の特徴点（ｈ１〜ｈ１１で構成される複数の特徴点）が連接されてなる骨格を抽出することが可能である。そして、これら各特徴点の上記座標上の位置から、各特徴点の「監視対象領域３次元空間内における位置」を特定することができる。

【0074】

（視線方向検知ステップ）
視線方向検知ステップ（Ｓ１６）では、特徴点位置特定ステップ（Ｓ１５）で取得した３か所の視線方向検知用特徴点（ｈ１、ｈ２、ｈ３）の位置情報から、これら３点を結んで形成される三角形の位置情報を更に取得し、当該三角形の両耳の位置に対応する点（ｈ２、ｈ３）を結んでなる底辺の中点から、鼻の位置に対応する点（ｈ１）である三角形の頂点に向かう方向を、監視対象人物の３次元空間内での視線方向Ｅとして検知する（図７参照）。

【0075】

監視対象人物について、上述の通り、「ＯｐｅｎＰｏｓｅ」等を用いれば、３か所の視線方向検知用特徴点（ｈ１、ｈ２、ｈ３）を、先ずは監視画像内の二次元情報として容易に抽出することができる。そして、当該二次元情報から上記原理により算出可能な三次元情報に基づいて、三次元座標における視線方向を正確に検知することが可能である。つまり、全ての人物において概ね共通の位置関係にある３点の位置情報のみから、当該人物の視線方向を正確に検知することができる。尚、監視画像内において上記３点のうち１点が画像内において死角にあって直接視認できない場合であっても視認可能な２点から残りの１点の位置を一定以上の精度で推定することは可能であり、この推定値を用いることにより、監視画像内での監視画像対象人物の姿勢や顔の向きにかかわらず、十分に高い精度で、当該監視対象人物の視線方向を検知することができる。

【0076】

尚、このようにして検知された監視対象人物の「視線方向」は、例えば、当該方向を表す矢印等、分かりやすい図形情報として、必要に応じて、上述の監視画像表示装置にも表示させることが好ましい。この点は、「胴体方向」についても同様である。

【0077】

（胴体方向検知ステップ）
胴体方向検知ステップ（Ｓ１７）では、特徴点位置特定ステップ（Ｓ１５）で取得した２か所の胴体視線方向検知用特徴点（ｈ４、ｈ５）の位置情報から、これら２点を結んで形成される直線の位置情報を更に取得し、当該直線に直交する２方向のうち、視線方向検知ステップ（Ｓ１６）で得た視線方向Ｅとの角度差のより小さい方向を、監視対象人物の３次元空間内での胴体方向Ｂとして検知する（図７参照）。

【0078】

監視対象人物について、上記同様に「ＯｐｅｎＰｏｓｅ」等を用いれば、２か所の胴体方向検知用特徴点（ｈ４、ｈ５）を容易に抽出することができる。そして、監視対象人物の両肩を結ぶ直線の位置情報のみから、当該人物の胴体方向を正確に検知することができる。

【0079】

（特定動作検知ステップ）
特定動作検知ステップ（Ｓ１８）では、視線方向検知ステップ（Ｓ１６）において検知した視線方向Ｅの変動量から、監視対象領域内における監視対象人物の特定動作を検知する。又、特定動作検知ステップ（Ｓ１８）では、「視線方向」と胴体方向検知部１２７が検知した「胴体方向」の差分の変動量からも、同様に、監視対象人物の特定動作を検知する。

【0080】

図８は、特定動作検知部１２８によって、視線方向Ｅと胴体方向Ｂの差分（角度θ_１）或いは、その変動量として、監視対象人物Ｈの「特定動作」が認識される状態を示す図である。ここでは、監視対象人物として特定された人Ｈが、胴体方向Ｂとは角度θ_１分だけ異なる方向に視線を向けていることが、特定動作検知部１２８によって認識されている。又、単位時間当たりの上記の角度θ_１の変動から、不審な首振り動作等を検知することもできる。

【0081】

（不審動作判定ステップ）
不審動作判定ステップ（Ｓ１９）では、不審動作判定部（１２９）が、特定動作検知ステップ（Ｓ１８）において検知された監視対象の「特定動作」を、予め登録されている基準不審動作と比較して、監視対象人物の特定動作の不審度を判定する。この不審動作判定ステップ（Ｓ１９）において、監視対象人物の動作の不審度が高い（異常な動作を行っている）と判断した場合（Ｓ１９、Ｙｅｓ）には、監視者に対して警告を発信する警告ステップ（Ｓ２０）行った後、監視を終了する。一方、監視対象人物の動作の不審度が低い（異常な動作を行っていない）と判断した場合（Ｓ１９、Ｎｏ）には、監視撮影ステップ（Ｓ１２）へ戻る。

【0082】

不審動作判定ステップ（Ｓ１９）で行う警告の発信の態様は特定態様に限定されず、例えば、警告音を発したり、警告表示を行ったりするといった簡単な処理であってもよいし、管理者や警備会社等への通報を更に行ってもよい。

【0083】

不審動作判定ステップ（Ｓ１９）においては、「視線方向」の変動や、或いは、「視線方向」と「胴体方向」との差分の変動から、監視対象人物の「特定動作」を検知し、この「特定動作」が不審度の高い「動作」であるか否かを判断する。一例として、監視対象人物が、一定の位置に所定時間以上留まっていて、且つ、短時間のうちに首振り動作を所定回数以上繰り返す行動等を検知した場合に、そのような「動作」を不審度の高い動作と判断する。又、その場合において、視線方向の座標上にある物品を画像認識によって特定し、当該物品の種類等によって、上記判定の基準を変更することもできる。

【0084】

又、不審動作判定ステップ（Ｓ１９）においては、視線方向検知部１２６によって検知された視線方向と、骨格抽出部１２４の機能によって抽出可能な両手の動きとの組合せにより、より高度な不審動作の判定を行うことが可能である。例えば、視線方向Ｅの延長線上で激しく手が動く場合や、或いは視線方向の延長線上からはずれた位置で手が激しく動く場合等、様々な監視対象に応じて、検知すべき「特定動作」を適切に設定しておくことで、適切な監視を機械的判断に基づいて効率よく行うことができる。

【符号の説明】

【0085】

１００ 監視装置
１１０ 撮影部
１１１ 撮像素子
１１２ 撮影レンズ
１２０ 演算処理部
１２１ 座標設定部
２２１ 条件設定部
１２２ 入力部
１２３ 監視対象特定部
１２４ 骨格抽出部
１２５ 特徴点位置特定部
１２６ 視線方向検知部
１２７ 胴体方向検知部
１２８ 特定動作検知部
１２９ 不審動作判定部
１３０ 監視画像表示装置
５０１ 床面
５０２ 壁面
５０３ 陳列棚
Ｓ１１ 座標設定ステップ
Ｓ１２ 監視撮影ステップ
Ｓ１３ 監視対象特定ステップ
Ｓ１４ 骨格抽出ステップ
Ｓ１５ 特徴点位置特定ステップ
Ｓ１６ 視線方向検知ステップ
Ｓ１７ 胴体方向検知ステップ
Ｓ１８ 特定動作検知ステップ
Ｓ１９ 不審動作判定ステップ
Ｓ２０ 警告ステップ

【要約】

【課題】従来よりも簡易な測定手段によって、監視対象人物の「視線方向」をより正確に検知することができる監視装置を提供すること。
【解決手段】撮影部１１０と、監視対象人物を認識して特定することができる監視対象特定部１２３と、監視対象人物の骨格を抽出する骨格抽出部１２４と、各特徴点の監視対象領域内での３次元位置を特定する、特徴点位置特定部１２５と、監視対象人物の視線方向を検知する、視線方向検知部１２６と、を備え、視線方向検知部１２６は、監視対象人物の両耳及び鼻の位置に対応する３か所の視線方向検知用特徴点を結んで形成される三角形の両耳の位置に対応する点を結んでなる底辺の中点から、鼻の位置に対応する点である三角形の頂点に向かう方向を、監視対象人物の３次元空間内での視線方向として検知する、監視装置１００とする。
【選択図】図７

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】