特許 7568059 判定装置、判定方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-07

(45)【発行日】2024-10-16

(54)【発明の名称】判定装置、判定方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241008BHJP

   H04N 7/18 20060101ALI20241008BHJP

   G08B 25/00 20060101ALI20241008BHJP

   G08B 13/196 20060101ALI20241008BHJP

【ＦＩ】

G06T7/00 660B

H04N7/18 D

H04N7/18 K

G08B25/00 510M

G08B13/196

【請求項の数】 3

(21)【出願番号】P 2023508199

(86)(22)【出願日】2021-03-23

(86)【国際出願番号】 JP2021011852

(87)【国際公開番号】W WO2022201282

(87)【国際公開日】2022-09-29

【審査請求日】2023-07-25

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】平川 康史

【審査官】宮島 潤

(56)【参考文献】

【文献】特開２０１７－６９７４８（ＪＰ，Ａ）

【文献】特開２００６－９４１００（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

撮影装置が撮影した所定の空間の画像データを取得する画像データ取得手段と、
前記画像データに含まれる人物の複数の関節点を推定する関節点推定手段と、
侵入検知を行うために設定される前記人物の特徴要素を設定する特徴要素設定手段と、
前記人物が所定の領域に侵入しているか否かを判定する侵入判定手段と、
前記侵入判定手段が行った判定の判定結果に関する情報を出力する出力手段と、を備え、
前記特徴要素設定手段は、
前記推定された複数の関節点のうちで、手先の関節点を、第１特徴要素として設定し、
前記推定された複数の関節点のうちの両足の関節点を結ぶ線分の中点、又は、足の関節点を、第２特徴要素として設定し、
前記侵入判定手段は、
前記第１特徴要素が予め設定された前記所定の空間の水平面に対して平行な矩形の領域であり且つ所定の物体画像を含む第１参照領域に入っているかを判定し、
前記第２特徴要素が予め設定された前記所定の空間の床面と同じ高さで前記第１参照領域に隣接する第２参照領域に入っているかを判定し、
前記第２特徴要素が予め設定された前記所定の空間の床面と同じ高さで且つ前記第２参照領域と重ならない第３参照領域を通過したか否かを判定し、
前記第２特徴要素が前記第３参照領域を通過した後に、前記第１特徴要素が前記第１参照領域に入っており且つ前記第２特徴要素が前記第２参照領域に入っていると判定した場合、前記人物が前記所定の領域に侵入していると判定し、
前記出力手段は、前記人物が前記所定の領域に侵入していると判定された場合、前記判定結果を出力する、
判定装置。

【請求項2】

コンピュータが実行する判定方法であって、
撮影装置が撮影した所定の空間の画像データを取得することと、
前記画像データに含まれる人物の複数の関節点を推定することと、
侵入検知を行うために設定される前記人物の特徴要素を設定することと、
前記人物が所定の領域に侵入しているか否かを判定することと、
前記判定にかかる判定結果に関する情報を出力することと、
を含み、
前記特徴要素を設定することは、
前記推定された複数の関節点のうちで、手先の関節点を、第１特徴要素として設定することと、
前記推定された複数の関節点のうちの両足の関節点を結ぶ線分の中点、又は、足の関節点を、第２特徴要素として設定することと、
を含み、
前記所定の領域に侵入しているか否かを判定することは、
前記第１特徴要素が予め設定された前記所定の空間の水平面に対して平行な矩形の領域であり且つ所定の物体画像を含む第１参照領域に入っているかを判定することと、
前記第２特徴要素が予め設定された前記所定の空間の床面と同じ高さで前記第１参照領域に隣接する第２参照領域に入っているかを判定することと、
前記第２特徴要素が予め設定された前記所定の空間の床面と同じ高さで且つ前記第２参照領域と重ならない第３参照領域を通過したか否かを判定することと、
前記第２特徴要素が前記第３参照領域を通過した後に、前記第１特徴要素が前記第１参照領域に入っており且つ前記第２特徴要素が前記第２参照領域に入っていると判定した場合、前記人物が前記所定の領域に侵入していると判定することと、
を含み、
前記判定結果に関する情報を出力することは、前記人物が前記所定の領域に侵入していると判定された場合、前記判定結果を出力することを含む、
判定方法。

【請求項3】

コンピュータに処理を実行させるプログラムであって、
前記処理は、
撮影装置が撮影した所定の空間の画像データを取得することと、
前記画像データに含まれる人物の複数の関節点を推定することと、
侵入検知を行うために設定される前記人物の特徴要素を設定することと、
前記人物が所定の領域に侵入しているか否かを判定することと、
前記判定にかかる判定結果に関する情報を出力することと、
を含み、
前記特徴要素を設定することは、
前記推定された複数の関節点のうちで、手先の関節点を、第１特徴要素として設定することと、
前記推定された複数の関節点のうちの両足の関節点を結ぶ線分の中点、又は、足の関節点を、第２特徴要素として設定することと、
を含み、
前記所定の領域に侵入しているか否かを判定することは、
前記第１特徴要素が予め設定された前記所定の空間の水平面に対して平行な矩形の領域であり且つ所定の物体画像を含む第１参照領域に入っているかを判定することと、
前記第２特徴要素が予め設定された前記所定の空間の床面と同じ高さで前記第１参照領域に隣接する第２参照領域に入っているかを判定することと、
前記第２特徴要素が予め設定された前記所定の空間の床面と同じ高さで且つ前記第２参照領域と重ならない第３参照領域を通過したか否かを判定することと、
前記第２特徴要素が前記第３参照領域を通過した後に、前記第１特徴要素が前記第１参照領域に入っており且つ前記第２特徴要素が前記第２参照領域に入っていると判定した場合、前記人物が前記所定の領域に侵入していると判定することと、
を含み、
前記判定結果に関する情報を出力することは、前記人物が前記所定の領域に侵入していると判定された場合、前記判定結果を出力することを含む、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は判定装置、判定方法、判定システム及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。

【背景技術】

【0002】

撮影された画像に含まれる人物が所定の領域に侵入したことを検出するための技術が開発されている。

【0003】

例えば、撮影された画像に基づいて、検出された対象の特徴量を算出し、算出した特徴量から対象の姿勢を推定するためのモデルパラメータを切り替え、切り替え後のモデルパラメータを用いて姿勢を推定する姿勢推定装置が開示されている（特許文献１）。

【0004】

また、送電線の周囲に１重また多重の危険エリアを設定し、重機の一部が先の危険エリア内に侵入しているか否かを判定し、侵入している場合は、警報を発する接近監視動作を行う重機接近監視システムについて開示されている（特許文献２）。

【0005】

また、映像中の対象物の位置の変化を示す軌跡を表示部に表示させる表示制御手段を有する映像処理装置が開示されている（特許文献３）。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０２０－１２３２３９号公報

【文献】特開平０７－０２８９８５号公報

【文献】国際公開第２０１８／１８００４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

人物の特定の部分が所定の領域に侵入しているか否かを判定する好適な技術が望まれている。また、所定の領域に侵入したと判定される人物の行動履歴を把握したいという要求も存在する。

【0008】

本開示はこのような課題を鑑みてなされたものであり、好適に侵入検知を判定する判定装置、判定方法、判定システムおよびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本開示の１実施形態にかかる判定装置は、画像データ取得部、関節点推定部、特徴要素設定部、侵入判定部および出力部を有する。画像データ取得部は、撮影装置が撮影した所定の空間の画像データを取得する。関節点推定部は、画像データに含まれる人物の関節点を推定する。特徴要素設定部は、関節点に基づいて前記人物の特徴要素を設定する。侵入判定部は、特徴要素に基づいて前記人物が予め設定された参照領域に侵入しているか否かを判定する。出力部は、侵入判定部が行った判定の判定結果に関する情報を出力する。

【0010】

本開示の１実施形態にかかる判定方法は、以下の方法をコンピュータが実行する。コンピュータは、撮影装置が撮影した所定の空間の画像データを取得する。コンピュータは、前記画像データに含まれる人物の関節点を推定する。コンピュータは、前記関節点に基づいて前記人物の特徴要素を設定する。コンピュータは、前記特徴要素に基づいて前記人物が予め設定された参照領域に侵入しているか否かを判定する。コンピュータは、前記判定にかかる判定結果に関する情報を出力する。

【0011】

本開示の１実施形態にかかるプログラムは、コンピュータに、以下のステップを実行させるものである。コンピュータは、撮影装置が撮影した所定の空間の画像データを取得する。コンピュータは、前記画像データに含まれる人物の関節点を推定する。コンピュータは、前記関節点に基づいて前記人物の特徴要素を設定する。コンピュータは、前記特徴要素に基づいて前記人物が予め設定された参照領域に侵入しているか否かを判定する。コンピュータは、前記判定にかかる判定結果に関する情報を出力する。

【発明の効果】

【0012】

本開示によれば、好適に侵入検知を判定する判定装置、判定方法、判定システムおよびプログラムを提供することができる。

【図面の簡単な説明】

【0013】

【図1】実施形態１にかかる判定装置の構成を示すブロック図である。

【図2】実施形態１にかかる判定方法を示すフローチャートである。

【図3】実施形態２にかかる判定システムの構成を示すブロック図である。

【図4】実施形態２にかかる判定装置の構成を示すブロック図である。

【図5】実施形態２にかかる判定方法を示すフローチャートである。

【図6】判定装置が処理する画像の第１例を示す図である。

【図7】判定装置が処理する画像の第２例を示す図である。

【図8】侵入判定の第１例を示す図である。

【図9】侵入判定の第２例を示す図である。

【図10】侵入判定の第３例を示す図である。

【図11】侵入判定の第４例を示す図である。

【図12】侵入判定の第５例を示す図である。

【図13】実施形態３にかかる判定装置が処理する画像の例を示す図である。

【図14】実施形態４にかかる判定装置が処理する画像の例を示す図である。

【図15】コンピュータのハードウェア構成を例示するブロック図である。

【発明を実施するための形態】

【0014】

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

【0015】

＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、実施の形態１にかかる判定装置１０のブロック図である。図１に示す判定装置１０は、所定の施設内または屋外に設置されたカメラ（撮影装置）に通信可能に接続して使用される。判定装置１０は、画像データにおいて設定された所定の参照領域に人物が進入したか否かを判定し、その判定結果を出力する侵入検知機能を有している。判定装置は主な構成として、画像データ取得部１１１、関節点推定部１１２、特徴要素設定部１１３、侵入判定部１１４および出力部１１５を有している。

【0016】

画像データ取得部１１１は、撮影装置が撮影した所定の空間の画像データを取得する。画像データ取得部１１１が接続するカメラは１台でもよいし複数でもよい。また画像データ取得部１１１が接続するカメラは所定の画角を撮影するために固定されていてもよいし、パン、チルトまたはズームを行う可動式のものであってもよい。画像データ取得部１１１は、カメラから取得した画像データを、適宜各構成に供給する。

【0017】

関節点推定部１１２は、画像データ取得部１１１から画像データを受け取り、受け取った画像データに含まれる人物の関節点を推定する。具体的には、関節点推定部１１２は例えば、受け取った画像データに含まれる人物の画像（人物画像）を特定する。例えば関節点推定部１１２は、例えば画像データに対して畳み込み処理を行うことにより人物画像の特徴量と一致する特徴量を有する領域を検索する。関節点推定部１１２は人物画像の特徴量と一致する領域を人物画像と特定する。

【0018】

さらに関節点推定部１１２は、人物画像からこの人物の関節点を推定する。関節点とは例えば手首、肘、肩、首、股関節、膝などである。関節点推定部１１２は１つの人物画像から関節点を推定してもよいし、複数の異なる時刻に撮影された画像にかかる画像データから関節点を推定してもよい。関節点推定部１１２は推定した関節点に関する情報を、特徴要素設定部１１３に供給する。

【0019】

特徴要素設定部１１３は、関節点推定部１１２から関節点に関する情報を受け取ると、この推定された関節点を利用して人物の特徴要素を設定する。人物の特徴要素とは、侵入検知を行うために設定される特定の関節点または関節点に関連する要素である。特定された人物画像には複数の関節点が含まれる。これら複数の関節点の内のどの関節点を特徴要素として設定するかは、予め設定されていてもよいし、個別に設定されてもよい。個別に設定される場合には、判定装置１０を使用するユーザによりかかる特徴要素が設定されてもよいし、予め設定された所定の条件にしたがって自動的に設定されてもよい。特徴要素設定部１１３は、特徴要素を設定すると、設定した特徴要素に関する情報を侵入判定部１１４に供給する。

【0020】

侵入判定部１１４は、特徴要素設定部１１３から特徴要素に関する情報を受け取り、特徴要素にかかる人物が参照領域に侵入しているか否かを判定する。参照領域とは、侵入検知を行うための特定の領域であって、画像データにおいて予め設定された領域である。侵入判定部１１４は、特徴要素にかかる人物が参照領域に侵入しているか否かの判定を行うと、判定結果に関する情報を出力部１１５に供給する。なお、以降の説明において、判定の結果に関する情報を、単に判定結果と称する場合もある。

【0021】

出力部１１５は、侵入判定部１１４から侵入判定部１１４が行った判定の判定結果に関する情報を受け取り、受け取った情報を出力する。出力部１１５が出力する判定結果は、判定装置を利用するユーザが判定結果を認識できる態様において出力される。より具体的には例えば判定結果は、音声、光または画像により出力されてもよい。また判定結果は、判定装置１０に通信可能に接続する任意の他の機器に対して送信されてもよい。

【0022】

次に、図２を参照して判定装置１０が実行する処理について説明する。図２は、実施形態１にかかる判定方法を示すフローチャートである。図２に示すフローチャートは、例えば判定装置１０を起動することにより開始される。あるいは図２に示すフローチャートは、撮影装置から画像データを受け取ることにより開始されてもよい。

【0023】

まず、画像データ取得部１１１は、撮影装置が撮影した所定の空間の画像データを取得する（ステップＳ１１）。画像データ取得部１１１は、取得した画像データを少なくとも関節点推定部１１２に供給する。

【0024】

次に、関節点推定部１１２は、受け取った画像データに含まれる人物の関節点を推定する（ステップＳ１２）。関節点推定部１１２は推定した関節点に関する情報を特徴要素設定部１１３に供給する。なお、関節点推定部１１２は、画像データに複数の人物画像を特定した場合には、それぞれの人物画像に対して関節点を推定する。すなわち関節点推定部１１２は、複数の人物画像に対応した情報を生成し、特徴要素設定部１１３に供給する。

【0025】

次に、特徴要素設定部１１３は、関節点推定部１１２から受け取った情報を利用して、人物画像の関節点から特徴要素を設定する（ステップＳ１３）。特徴要素設定部１１３は、特徴要素を設定すると、特徴要素に関する情報を侵入判定部１１４に供給する。なお、特徴要素設定部１１３は、画像データに複数の人物画像が特定されている場合には、それぞれの人物画像に対応した特徴要素を設定する。

【0026】

次に、侵入判定部１１４は、設定された特徴要素を用いて、特徴要素にかかる人物が予め設定された参照領域に侵入しているか否かを判定する（ステップＳ１４）。侵入判定部１１４は、画像データに複数の人物画像が特定されている場合には、いずれかの人物画像が参照領域に侵入しているか否かを判定してもよい。また侵入判定部１１４は、画像データに複数の人物画像が特定されている場合には、それぞれの人物画像に対応した侵入検出の判定を行ってもよい。

【0027】

次に、出力部１１５は、判定にかかる判定結果に関する情報を出力する（ステップＳ１５）。出力部１１５が判定結果を出力すると、判定装置１０は一連の処理を終了する。

【0028】

以上、実施の形態１にかかる判定装置について説明した。尚、判定装置１０は、図示しない構成としてプロセッサ及び記憶装置を有するものである。判定装置１０が有する記憶装置は、例えばフラッシュメモリやＳＳＤ（Solid State Drive）などの不揮発性メモリを含む記憶装置を含む。この場合に、判定装置１０が有する記憶装置は、上述の画像処理方法を実行するためのコンピュータプログラム（以降、単にプログラムとも称する）を記憶している。またプロセッサは、記憶装置からコンピュータプログラムをＤＲＡＭ（Dynamic Random Access Memory）等のバッファメモリへ読み込ませ、当該プログラムを実行する。

【0029】

判定装置１０が有する各構成は、それぞれが専用のハードウェアで実現されていてもよい。また、各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）等を用いることができる。なお、ここに説明した構成に関する説明は、本開示において以下に説明するその他の装置またはシステムにおいても、適用され得る。

【0030】

また、判定装置１０の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、判定装置１０の機能がＳａａＳ（Software as a Service）形式で提供されてもよい。

【0031】

以上、実施の形態１について説明した。実施の形態１にかかる判定装置１０は、画像データから人物画像を特定し、特定した人物画像がマスク領域に含まれる場合にマスク処理を行う。よって、実施の形態１によれば、好適に侵入検知を判定する判定装置、判定方法およびプログラムを提供することができる。

【0032】

＜実施の形態２＞
次に、実施の形態２について説明する。図３は、実施形態２にかかる判定システムの構成を示すブロック図である。図３に示す判定システム１は、判定装置２０およびカメラ３００を含む。判定装置２０とカメラ３００とは、ネットワークＮ１を介して通信可能に接続している。

【0033】

カメラ３００は、空間９００に設置されており、空間９００の風景を撮影して画像データを生成し、生成した画像データを、ネットワークＮ１を介して判定装置２０に供給する。カメラ３００が撮影する空間９００には、例えば人物Ｐ１、人物Ｐ２が存在しうる。またこの空間９００には、所定の参照領域が予め設定されている。判定システム１において、カメラ３００に接続している判定装置２０は、参照領域に人物Ｐ１または人物Ｐ２が侵入しているか否かを判定する。

【0034】

次に、図４を参照して本実施の形態に係る判定装置について説明する。図４は、実施形態２にかかる判定装置２０の構成を示すブロック図である。図４に示す判定装置２０は、ディスプレイ１１６および記憶部１２０を有する点が、実施の形態１にかかる判定装置１０と異なる。

【0035】

ディスプレイ１１６は、例えば有機エレクトロルミネッセンスや液晶パネルを含む表示装置である。ディスプレイ１１６は、出力部１１５から判定結果を画像データとして受け取り、受け取った判定結果を表示する。判定結果に関する表示は、例えばカメラ３００が撮影した画像を含んでも良い。また判定結果に関する表示は、カメラ３００が撮影した画像に、関節点、特徴要素および参照領域が重畳されたものであってもよい。

【0036】

記憶部１２０は例えばフラッシュメモリ、ＳＳＤ（Solid State Drive）またはＥＰＲＯＭ（Erasable Programmable Read Only Memory）等の不揮発性メモリを含む記憶装置である。記憶部１２０は例えば参照領域に関する情報を記憶している。記憶部１２０は、記憶している参照領域に関する情報を、侵入判定部１１４に供給する。

【0037】

本実施形態における出力部１１５は、特定した人物にかかる特徴要素が参照領域に侵入したと判定された場合に、判定結果としてアラートを含む情報を出力する。出力部１１５は、かかるアラートを、ディスプレイ１１６に供給する。

【0038】

次に、本実施の形態に係る判定装置が実行する処理について説明する。図５は、実施形態２にかかる判定方法を示すフローチャートである。図５に示すフローチャートは、ステップＳ１３の後の処理が、図２に示すフローチャートと異なる。

【0039】

ステップＳ１３の後、侵入判定部１１４は、設定された特徴要素が参照領域に侵入しているか否かを判定する（ステップＳ２１）。かかる特徴要素が参照領域に侵入していると判定しない場合（ステップＳ２１：ＮＯ）、判定装置２０はステップＳ２３に進む。一方、かかる特徴要素が参照領域に侵入していると判定する場合（ステップＳ２１：ＹＥＳ）、判定装置２０はステップＳ２２に進む。

【0040】

ステップＳ２２において、出力部１１５は判定結果に応じてアラートを出力する（ステップＳ２２）。この場合、出力部１１５は、ディスプレイ１１６に侵入を検知したことを示す表示をするための信号を供給する。出力部１１５は、アラートを所定の期間継続して出力してもよい。出力部１１５がアラートを出力すると、判定装置２０はステップＳ２３に進む。

【0041】

ステップＳ２３において、判定装置２０は、一連の処理を終了するか否かを判定する（ステップＳ２３）。一連の処理を終了する場合とは例えばユーザの操作により判定装置２０を停止する場合や、カメラ３００からの画像データの供給が停止された場合などである。一連の処理を終了すると判定する場合（ステップＳ２３：ＹＥＳ）、判定装置２０は処理を終了する。一方、一連の処理を終了すると判定しない場合（ステップＳ２３：ＮＯ）、判定装置２０はステップＳ１１に戻り、処理を続ける。

【0042】

次に、判定装置２０が処理する画像の具体例を説明する。図６は、判定装置が処理する画像の第１例を示す図である。図６には、画像２０１が示されている。画像２０１は、ディスプレイ１１６に表示される画像の例である。画像２０１は、カメラ３００により撮影された空間９００の風景であって、人物Ｐ１にかかる第１人物画像２１０、人物Ｐ２にかかる第２人物画像２２０および所定の物体画像２３０が含まれている。また物体画像２３０には、参照領域２４０が設定されている。

【0043】

図６において、参照領域２４０は、太い二点鎖線の台形により示されている。ここで参照領域２４０が台形により示されているのは、参照領域２４０が空間９００の水平面に対して平行な矩形により設定されているからである。このように、参照領域２４０は、空間９００における所定の高さおよび所定の形状に擬似的に対応するように設定される。上述の状況において、判定装置２０は、人物が参照領域２４０に侵入しているか否かを判定する。

【0044】

次に、図７を参照して、判定装置２０が推定する関節点について説明する。図７は、判定装置が処理する画像の第２例を示す図である。

【0045】

関節点推定部１１２が人物画像を特定する際に、関節点推定部１１２は、例えば画像２０１を、畳み込み処理により所定の大きさの人物画像が存在するか否かを解析する。画像２０１は、例えば画像の左上が原点であり、左から右に向かう横方向がＸ軸であり、上から下に向かう縦方向がＹ軸である。この場合、例えば関節点推定部１１２は、原点からＸプラス方向に画像の解析処理を行い、右端まで処理が終わると、Ｙ軸をプラス方向に移動させ、再び左端からＸプラス方向に解析処理を行う。

【0046】

このとき関節点推定部１１２は、画像２０１の奥行きに応じて、解析する際の矩形の大きさを変化させ得る。すなわち関節点推定部１１２は、画像２０１の上側すなわち空間の奥側ほど比較的に小さいサイズにより人物画像の特定を行い、画像２０１の下側すなわち空間の手前側ほど比較的に大きいサイズにより人物画像の特定を行う。このような処理により、関節点推定部１１２は、効率よく人物画像を特定できる。

【0047】

図７には、矩形Ｆ１０および矩形Ｆ２０が示されている。矩形Ｆ１０は、第１人物画像２１０を特定する際に用いられたものである。関節点推定部１１２は、矩形Ｆ１０に含まれる第１人物画像２１０の特徴量を算出して第１人物画像２１０を特定する。同様に、関節点推定部１１２は、矩形Ｆ２０の特徴量を算出して第２人物画像２２０を特定する。

【0048】

関節点推定部１１２は、人物画像を特定すると、特定した人物画像の関節点を推定する。関節点推定部１１２は例えば、特定した人物画像の特徴量から人物画像にかかる関節点を推定する。また関節点推定部１１２は例えば人物画像にかかる人物の姿勢を推定するために、機械学習により学習させた学習モデルを有していてもよい。すなわちこの場合、関節点推定部１１２は例えば、学習モデルを用いて、図７に示す矩形Ｆ１０に含まれる人物の姿勢を推定するとともに、推定された人物の姿勢から関節点を推定する。

【0049】

図７において、第１人物画像２１０には、複数の関節点２１１が重畳されている。また第１人物画像２１０には、関節点同士を繋ぐ複数の接続線２１２も重畳されている。同様に、第２人物画像２２０には、複数の関節点２２１が重畳されている。また第２人物画像２２０には、関節点同士を繋ぐ複数の接続線２２２も重畳されている。

【0050】

（侵入判定の第１例）
次に、判定装置２０が設定する特徴要素と参照領域の関係により行われる侵入判定の例について説明する。図８は、侵入判定の第１例を示す図である。図８は、図７から参照領域２４０、第１人物画像２１０、および第１人物画像２１０の関節点２１１および関節点２１１を繋ぐ接続線２１２を抽出して示したものである。

【0051】

また図８に示す第１人物画像２１０において、左右の手の部分に対応する関節点２１１の位置には、特徴要素２１３が黒い四角形により示されている。すなわち図８の例は、特徴要素設定部１１３が、第１人物画像２１０の関節点２１１のうち、端に位置する点（つまり端点）を特徴要素２１３として設定した状態を示している。図８に示した具体例では、特徴要素設定部１１３は、関節点の端点である手先の関節点を特徴要素に設定している。なお、特徴要素設定部１１３は、手先の関節点に代えて、人物の頭または足先を関節点の端点として設定してもよい。

【0052】

さらに図８は、設定した２つの特徴要素２１３の内の１つが参照領域２４０の内側に侵入している。この場合、侵入判定部１１４は、特徴要素２１３が参照領域２４０の内側に侵入していると判定する。このように、関節点の内の１点を特徴要素として設定し、設定した特徴要素が参照領域２４０に侵入している場合には、侵入判定部１１４は、第１人物画像２１０にかかる人物Ｐ１が参照領域２４０に侵入していると判定する。このような構成により、本実施の形態にかかる判定装置２０は、身体の先端部が参照領域に侵入することを好適に検知できる。

【0053】

なお、上述の端点は、以下のように定義されてもよい。すなわち、特徴要素設定部１１３は、人物に対応する画像データから２つの関節点２１１を接続する接続線２１２を設定し、次に、複数存在する関節点２１１から１本の接続線２１２が接続する関節点２１１を、端点として認識し、ここに特徴要素２１３に設定する。

【0054】

（侵入判定の第２例）
次に、図９に示す例について説明する。図９は、侵入判定の第２例を示す図である。図９の例にかかる特徴要素設定部１１３は、上述した端点を含む複数の隣接する関節点を特徴要素としてそれぞれ設定する。特徴要素設定部１１３は、人物の腕または脚に対応する複数の隣接する関節点を、特徴要素として設定するものであってもよい。この場合、侵入判定部１１４は、隣接する複数の特徴要素が全て参照領域に侵入しているか否かを判定する。

【0055】

図９に示す例の場合、特徴要素設定部１１３は、手先と肘の２か所を特徴要素２１４として設定している。また図９の例では、両腕の内の一方の腕に相当する特徴要素２１４が参照領域２４０の内側に存在している。この場合、侵入判定部１１４は、第１人物画像２１０が参照領域２４０に侵入していると判定する。

【0056】

（侵入判定の第３例）
次に、図１０に示す例について説明する。図１０は、侵入判定の第３例を示す図である。図１０の例にかかる特徴要素設定部１１３は、人物の外側に接する外接矩形を特定し、この外接矩形に接する関節点を、特徴要素に設定する。

【0057】

図１０に示す例の場合、第１人物画像２１０にかかる関節点２１１の周囲に外接矩形Ｆ１１が設定されている。特徴要素設定部１１３はこの外接矩形Ｆ１１の周囲に接する関節点を、特徴要素２１５として設定している。また図１０の例では、設定された複数の特徴要素２１５のうち、外接矩形Ｆ１１の左側の辺に接している特徴要素２１５が参照領域２４０の内側に存在している。よって、侵入判定部１１４は、第１人物画像２１０が参照領域２４０に侵入していると判定する。このような構成により、判定装置２０は、人物画像における外縁部に位置する関節点を特徴要素として設定できる。

【0058】

（侵入判定の第４例）
次に、図１１に示す例について説明する。図１１は、侵入判定の第４例を示す図である。図１１の例にかかる特徴要素設定部１１３も、図１０の例と同様に、人物の外側に接する外接矩形に接する関節点を、特徴要素に設定する。

【0059】

図１１に示す例の場合、第１人物画像２１０にかかる関節点２１１の周囲には、外接矩形Ｆ１２が設定されている。図１１にかかる第１人物画像２１０は、図の左側に位置する腕の肘を曲げて自身の外側へ突き出している。そのため、肘の関節点が外接矩形Ｆ１２に接している。したがって、特徴要素設定部１１３は外接矩形Ｆ１２の左側の辺に接している関節点を特徴要素２１５として設定している。また図１１において、外接矩形Ｆ１２の左側の辺に接している特徴要素２１５が参照領域２４０の内側に存在している。よって、侵入判定部１１４は、第１人物画像２１０が参照領域２４０に侵入していると判定する。

【0060】

（侵入判定の第５例）
次に、図１２に示す例について説明する。図１２は、侵入判定の第５例を示す図である。図１２に示す例において、特徴要素設定部１１３は、人物に対応する画像データに基づいて２つの関節点を接続する接続線を前記特徴要素に設定する。この場合に、侵入判定部１１４は、特徴要素に設定された接続線の少なくとも一部が参照領域に侵入しているか否かを判定する。

【0061】

図１２に示す例の場合、特徴要素設定部１１３は、手先と肘を繋ぐ接続線を特徴要素２１６として設定している。図１２は、特徴要素２１６が白抜きの太線により示されている。また図１２において、特徴要素２１６の一部は、参照領域２４０と重なっている。よって、侵入判定部１１４は、第１人物画像２１０が参照領域２４０に侵入していると判定する。

【0062】

以上、実施の形態２について説明した。なお、実施の形態２における侵入検知の態様は、上述の例に限られない。例えば図９に示す侵入検知の第２例の場合において、特徴要素設定部１１３は、３点以上の隣接する関節点を特徴要素として設定してもよい。よって特徴要素設定部１１３は、例えば第１人物画像２１０にかかる全ての関節点２１１を特徴要素と設定してもよい。特徴要素設定部１１３は、人物画像にかかる関節点を利用して、種々の特徴要素を設定できる。実施の形態２によれば、好適に侵入検知を判定する判定装置、判定方法、判定システムおよびプログラムを提供することができる。

【0063】

＜実施の形態３＞
次に、実施の形態３について説明する。実施の形態３にかかる判定装置は、侵入検知の手法が上述の判定装置と異なる。より具体的には、実施の形態３にかかる判定装置は、特徴要素設定部１１３および侵入判定部１１４が行う処理が実施の形態２にかかる判定装置２０と異なる。

【0064】

本実施の形態における特徴要素設定部１１３は、人物における複数の関節点から第１特徴要素および第２特徴要素を設定する。またこの場合、侵入判定部１１４は、第１特徴要素が予め設定された第１参照領域に侵入しているかを判定すると共に、第２特徴要素が予め設定された第２参照領域に侵入しているかを判定する。さらに出力部１１５は、第１特徴要素が第１参照領域に侵入し、且つ、第２特徴要素が第２参照領域に侵入した場合に、判定結果を出力する。

【0065】

図１３を参照して本実施の形態における侵入検知の処理を具体例と共に説明する。図１３は、実施形態３にかかる判定装置２０が処理する画像の例を示す図である。図１３に示す画像２０３において、特徴要素設定部１１３は、第１人物画像２１０の手先の関節点を第１特徴要素２１７として設定している。また特徴要素設定部１１３は、第１人物画像２１０の両足の関節点を結ぶ線分の中央部（白丸）を第２特徴要素２１８として設定している。同様に、特徴要素設定部１１３は、第２人物画像２２０の手先の関節点を第１特徴要素２２７として設定している。また特徴要素設定部１１３は、第２人物画像２２０の両足の関節点を結ぶ線分の中央部（白丸）を第２特徴要素２２８として設定している。

【0066】

また、図１３の例では、第１参照領域２４１と第２参照領域２４２とが設定されている。第１参照領域２４１は、図６に示す参照領域２４０と同様に、物体画像２３０を含む所定の領域である。第２参照領域２４２は、参照領域２４０の右側の床面に設定されている。

【0067】

第１参照領域２４１には、第１人物画像２１０の第１特徴要素２１７と、第２人物画像２２０の第１特徴要素２２７とが存在している。また第２参照領域２４２には、第１人物画像２１０の第２特徴要素２１８が存在している。第２人物画像２２０の第２特徴要素２２８は、第２参照領域２４２の外に存在している。

【0068】

上述の状況において、侵入判定部１１４は、第１参照領域２４１に第１特徴要素２１７が存在し、且つ、第２参照領域２４２に第２特徴要素２１８が存在する第１人物画像２１０を、第１参照領域２４１に侵入していると判定する。一方、第２人物画像２２０は、第１特徴要素２２７が第１参照領域２４１に存在するものの、第２特徴要素２２８が第２参照領域２４２に存在していないため、侵入判定部１１４は、第２人物画像２２０が第１参照領域２４１に侵入していると判定しない。

【0069】

以上、実施の形態３について説明したが、実施の形態３にかかる判定装置２０は、上述の機能または構成に限られない。例えば第１参照領域２４１および第２参照領域２４２は、それぞれ２つ以上存在していてもよい。また判定装置２０は、上述の条件に加えて、第２参照領域２４２に第２特徴要素２１８が存在する期間が予め設定された期間（例えば３秒、１０秒、１５秒など）より長い場合に、第１人物画像２１０が侵入していると判定してもよい。第２特徴要素２１８は、上述した両足の間に設定される点に代えて、両足の関節点そのものであってもよいし、両足の内のいずれか一方という設定でもよい。また第２参照領域２４２の高さは、床面に代えて人物画像の腰の高さに対応してもよいし、頭の位置に対応してもよい。この場合、第２特徴要素は、設定されている第２参照領域の高さに対応する部分に設定され得る。

【0070】

出力部１１５は、例えば第２特徴要素２１８が第２参照領域２４２に侵入した後に、第１特徴要素２１７が第１参照領域２４１に侵入した場合に、判定結果を出力するものであってもよい。このような構成により、判定装置２０は、人物の動作順を追跡しつつ、好適に侵入検知を判定できる。

【0071】

以上、実施の形態３によれば、好適に侵入検知を判定する判定装置、判定方法、判定システムおよびプログラムを提供することができる。

【0072】

＜実施の形態４＞
次に、実施の形態４について説明する。実施の形態４は、参照領域に関する処理が、実施の形態３にかかる判定装置２０と異なる。図１４は、実施形態４にかかる判定装置２０が処理する画像の例を示す図である。図１４に示す画像２０４において、判定装置２０は、第１参照領域２４１、第２参照領域２４２に加えて、第３参照領域２４３を設定する。第３参照領域２４３は、第２参照領域２４２と同じく床面と同じ高さにおいて、第２参照領域２４２から数メートルに相当する距離の場所に設定されている。

【0073】

また本実施の形態にかかる判定装置２０は、画像２０４内における人物の軌跡を追跡する。侵入判定部１１４は、第２特徴要素が予め設定された第３参照領域を通過したか否かを判定する。この場合に、出力部１１５は、第２特徴要素２１８が第３参照領域２４３を通過した後に、第２参照領域２４２に侵入し、且つ、第１特徴要素２１７が第１参照領域２４１に侵入した場合に、判定結果を出力する。

【0074】

図１４には、第１人物画像２１０に設定されている第２特徴要素２１８の軌跡２１９が示されている。軌跡２１９は、画像２０４が撮影された時点から所定の期間さかのぼった時点までの期間において第２特徴要素２１８が存在していた位置を重畳して示したものである。図１４によれば、第１人物画像２１０の第２特徴要素２１８は、第３参照領域２４３を通過した後に、第２参照領域２４２に侵入している。また第１人物画像２１０は、足元の第２特徴要素２１８が第２参照領域２４２に存在している状態のまま、手元に設定された第１特徴要素２１７が第１参照領域２４１に侵入している。よって、判定装置２０の侵入判定部１１４は、第１人物画像２１０が第１参照領域２４１に侵入していると判定する。

【0075】

以上、実施の形態４について説明した。上述の判定装置２０は、所定の空間における参照領域を設定する参照領域設定部を有してもよい。これにより、所望の参照領域を設定できる。参照領域は、画像データに含まれる物体の位置、大きさ、形状等に紐づけて設定されてもよい。これにより、判定装置２０は、例えばカメラがズームやパンなどを行っても、所定の参照領域を保持できる。

【0076】

以上、実施の形態４によれば、人物の行動軌跡を把握しつつ、好適に侵入検知を判定する判定装置、判定方法、判定システムおよびプログラムを提供することができる。

【0077】

なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0078】

＜ハードウェア構成の例＞
以下、本開示における判定装置の各機能構成がハードウェアとソフトウェアとの組み合わせで実現される場合について説明する。

【0079】

図１５は、コンピュータのハードウェア構成を例示するブロック図である。本開示における判定装置は、図に示すハードウェア構成を含むコンピュータ５００により上述の機能を実現できる。コンピュータ５００は、スマートフォンやタブレット端末などといった可搬型のコンピュータであってもよいし、ＰＣなどの据え置き型のコンピュータであってもよい。コンピュータ５００は、各装置を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。コンピュータ５００は、所定のアプリケーションをインストールされることにより、所望の機能を実現できる。

【0080】

コンピュータ５００は、バス５０２、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース（Ｉ／Ｆ）５１０およびネットワークインタフェース（Ｉ／Ｆ）５１２を有する。バス５０２は、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ５０４などを互いに接続する方法は、バス接続に限定されない。

【0081】

プロセッサ５０４は、ＣＰＵ、ＧＰＵまたはＦＰＧＡなどの種々のプロセッサである。メモリ５０６は、ＲＡＭ（Random Access Memory）などを用いて実現される主記憶装置である。

【0082】

ストレージデバイス５０８は、ハードディスク、ＳＳＤ、メモリカード、又はＲＯＭ（Read Only Memory）などを用いて実現される補助記憶装置である。ストレージデバイス５０８は、所望の機能を実現するためのプログラムが格納されている。プロセッサ５０４は、このプログラムをメモリ５０６に読み出して実行することで、各装置の各機能構成部を実現する。

【0083】

入出力インタフェース５１０は、コンピュータ５００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース５１０には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。

【0084】

ネットワークインタフェース５１２は、コンピュータ５００をネットワークに接続するためのインタフェースである。

【0085】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【0086】

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
撮影装置が撮影した所定の空間の画像データを取得する画像データ取得手段と、
前記画像データに含まれる人物の関節点を推定する関節点推定手段と、
前記関節点に基づいて前記人物の特徴要素を設定する特徴要素設定手段と、
前記特徴要素に基づいて前記人物が予め設定された参照領域に侵入しているか否かを判定する侵入判定手段と、
前記侵入判定手段が行った判定の判定結果に関する情報を出力する出力手段と、を備える
判定装置。
（付記２）
前記特徴要素設定手段は、前記関節点の端点を前記特徴要素に設定する、
付記１に記載の判定装置。
（付記３）
前記特徴要素設定手段は、前記人物の頭、手先または足先を前記関節点の前記端点として設定する、
付記２に記載の判定装置。
（付記４）
前記特徴要素設定手段は、前記端点を含む複数の隣接する前記関節点を前記特徴要素にそれぞれ設定し、
前記侵入判定手段は、複数の隣接する前記特徴要素が全て前記参照領域に侵入しているか否かを判定する、
付記２または３に記載の判定装置。
（付記５）
前記特徴要素設定手段は、前記人物の腕または脚に対応する複数の隣接する前記関節点を、前記特徴要素として設定する、
付記１に記載の判定装置。
（付記６）
前記特徴要素設定手段は、前記人物の外側に接する外接矩形を特定し、前記外接矩形に接する前記関節点を、前記特徴要素に設定する、
付記１に記載の判定装置。
（付記７）
前記特徴要素設定手段は、前記人物に対応する前記画像データに基づいて２つの前記関節点を接続する接続線を設定し、一の前記接続線が接続する前記関節点を、前記特徴要素に設定する、
付記１に記載の判定装置。
（付記８）
前記特徴要素設定手段は、前記人物に対応する前記画像データに基づいて２つの前記関節点を接続する接続線を前記特徴要素に設定し、
前記侵入判定手段は、前記特徴要素に設定された前記接続線の少なくとも一部が前記参照領域に侵入しているか否かを判定する、
付記１に記載の判定装置。
（付記９）
前記出力手段は、前記特徴要素が前記参照領域に侵入したと判定された場合に、前記判定結果を出力する、
付記１～８のいずれか一項に記載の判定装置。
（付記１０）
前記特徴要素設定手段は、前記人物における複数の前記関節点に基づいて第１特徴要素および第２特徴要素を設定し、
前記侵入判定手段は、前記第１特徴要素が予め設定された第１参照領域に侵入しているかを判定すると共に、前記第２特徴要素が予め設定された第２参照領域に侵入しているかを判定する、
付記１～９のいずれか一項に記載の判定装置。
（付記１１）
前記出力手段は、前記第１特徴要素が前記第１参照領域に侵入し、且つ、前記第２特徴要素が前記第２参照領域に侵入した場合に、前記判定結果を出力する、
付記１０に記載の判定装置。
（付記１２）
前記侵入判定手段は、前記第２特徴要素が予め設定された第３参照領域を通過したか否かをさらに判定し、
前記出力手段は、前記第２特徴要素が前記第３参照領域を通過した後に、前記第２参照領域に侵入し、且つ、前記第１特徴要素が前記第１参照領域に侵入した場合に、前記判定結果を出力する、
付記１１に記載の判定装置。
（付記１３）
前記出力手段は、前記第２特徴要素が前記第２参照領域に侵入した後に、前記第１特徴要素が前記第１参照領域に侵入した場合に、前記判定結果を出力する、
付記１０～１２のいずれか一項に記載の判定装置。
（付記１４）
付記１～１３のいずれか一項に記載の判定装置と、
所定の空間を撮影して生成した前記画像データを前記判定装置に供給するカメラと、を備える
判定システム。
（付記１５）
コンピュータが、
撮影装置が撮影した所定の空間の画像データを取得し、
前記画像データに含まれる人物の関節点を推定し、
前記関節点に基づいて前記人物の特徴要素を設定し、
前記特徴要素に基づいて前記人物が予め設定された参照領域に侵入しているか否かを判定し、
前記判定にかかる判定結果に関する情報を出力する、
判定方法。
（付記１６）
撮影装置が撮影した所定の空間の画像データを取得し、
前記画像データに含まれる人物の関節点を推定し、
前記関節点に基づいて前記人物の特徴要素を設定し、
前記特徴要素に基づいて前記人物が予め設定された参照領域に侵入しているか否かを判定し、
前記判定にかかる判定結果に関する情報を出力する、
判定方法
を、コンピュータに実行させる情報制御プログラムが格納された非一時的なコンピュータ可読媒体。

【符号の説明】

【0087】

１ 判定システム
１０ 判定装置
２０ 判定装置
１１１ 画像データ取得部
１１２ 関節点推定部
１１３ 特徴要素設定部
１１４ 侵入判定部
１１５ 出力部
１１６ ディスプレイ
１１７ スピーカ
１２０ 記憶部
２０１ 画像
２１０ 第１人物画像
２２０ 第２人物画像
２３０ 物体画像
２４０ 参照領域
３００ カメラ
９００ 空間
Ｎ１ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】