特開 2024-117019 人物属性特定方法、人物属性域特定装置、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024117019

(43)【公開日】2024-08-28

(54)【発明の名称】人物属性特定方法、人物属性域特定装置、およびプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240821BHJP

   G08B 25/00 20060101ALI20240821BHJP

   G06T 7/00 20170101ALI20240821BHJP

   H04N 7/18 20060101ALI20240821BHJP

【ＦＩ】

G06T7/70 A

G08B25/00 510M

G06T7/00 660Z

H04N7/18 D

H04N7/18 K

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023022934

(22)【出願日】2023-02-16

(71)【出願人】

【識別番号】000134707

【氏名又は名称】株式会社ナカヨ

(74)【代理人】

【識別番号】100104570

【弁理士】

【氏名又は名称】大関 光弘

(72)【発明者】

【氏名】横坂 直克

(72)【発明者】

【氏名】弥田 紘一

(72)【発明者】

【氏名】明石 貴靖

【テーマコード（参考）】

5C054

5C087

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054DA07

5C054EA01

5C054EA03

5C054EA05

5C054EA07

5C054FC07

5C054FC12

5C054FE28

5C054FF06

5C054HA19

5C087AA10

5C087AA11

5C087AA19

5C087AA32

5C087EE18

5C087GG02

5C087GG08

5C087GG10

5C087GG66

5L096BA02

5L096DA02

5L096DA03

5L096FA09

5L096FA64

5L096FA66

5L096FA67

5L096FA69

5L096HA09

(57)【要約】

【課題】作業現場に設置されたカメラの映像に映し出された現場立ち入り人物の人物属性を特定する。
【解決手段】作業現場６に設置されたカメラ２－１、２－２と、カメラ２－１、２－２に接続された作業現場監視装置１と、を用いて、カメラ２－１、２－２のカメラ映像に映し出された現場立ち入り人物の人物属性を特定する。作業現場監視装置１は、カメラ２－１、２－２からカメラ映像を取得して、この取得したカメラ映像に映し出された人物に対して姿勢推定処理を実施して、この現場立ち入り人物の骨格情報を取得して、取得した骨格情報に基づいて、このカメラ映像に映し出された現場立ち入り人物の頭部領域を特定する。そして、カメラ映像からこの現場立ち入り人物の頭部領域の特徴を特定することにより、この人物が頭部に装着しているヘルメット、帽子等の頭部装着物７の特徴を判定し、判定した特徴に紐付けられている人物の属性を特定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

カメラと、前記カメラに接続された人物属性特定装置と、を用いて、前記カメラの映像に映し出された人物の人物属性を特定する人物属性特定方法であって、
前記人物属性特定装置は、
前記カメラの映像に映し出された人物に対して姿勢推定処理を実施して、当該人物の骨格情報を取得し、
前記取得した骨格情報に基づいて、前記カメラの映像に映し出された人物の頭部領域を特定し、
前記カメラの映像から前記特定した頭部領域の特徴を判定し、
前記判定した特徴にあらかじめ紐付けされている人物属性を、前記カメラの映像に映し出された人物の人物属性として特定する
ことを特徴とする人物属性特定方法。

【請求項2】

請求項１に記載の人物属性特定方法であって、
前記人物属性特定装置は、
前記姿勢推定処理により取得した前記人物の骨格情報に含まれている両足首、両肩、両目、および両耳の位置座標に基づいて、当該人物の頭部領域を特定する
ことを特徴とする人物属性特定方法。

【請求項3】

請求項２に記載の人物属性特定方法であって、
前記人物属性特定装置は、
前記姿勢推定処理により取得した前記人物の骨格情報から両目の位置座標が欠落している場合、両足首、両肩、および両耳の位置座標に基づいて、当該人物の頭部領域を特定する
ことを特徴とする人物属性特定方法。

【請求項4】

請求項３に記載の人物属性特定方法であって、
前記人物属性特定装置は、
前記姿勢推定処理により取得した前記人物の骨格情報から一方の耳の位置座標がさらに欠落している場合、両足首、両肩、および他方の耳の位置座標に基づいて、当該人物の頭部領域を特定する
ことを特徴とする人物属性特定方法。

【請求項5】

請求項２に記載の人物属性特定方法であって、
前記人物属性特定装置は、
前記カメラの映像の横方向をｘ方向、縦方向をｙ方向とし、前記両肩間のｘ方向距離をａ、右目から右耳までのｙ方向距離をｂ１、左目から左耳までのｙ方向距離をｂ２とした場合、前記頭部領域を矩形に画定する４つの座標値（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）は、
ｘ１が、前記右目のｘ座標値、
ｙ１が、前記両足首から前記両肩に向かってｙ方向に、前記両足首のｙ座標値平均から４ａ離れた座標値、
ｘ２が、左目のｘ座標値、
ｙ２が、前記両足首から前記両肩に向かってｙ方向に、両足首のｙ座標値平均から４ａ離れた座標値、
ｘ３が、前記右目のｘ座標値、
ｙ３が、前記右目に対して前記両足首とは反対側に向かってｙ方向に、前記右目のｙ座標値からｂ１離れた座標値、
ｘ４が、左目のｘ座標値、そして、
ｙ４が、前記左目に対して前記両足首とは反対側に向かってｙ方向に、前記左目のｙ座標値からｂ２離れた位置のｙ座標値である
ことを特徴とする人物属性特定方法。

【請求項6】

請求項３に記載の人物属性特定方法であって、
前記人物属性特定装置は、
前記カメラの映像の横方向をｘ方向、縦方向をｙ方向とし、前記両肩間のｘ方向距離をａとした場合、前記頭部領域を矩形に画定する４つの座標値（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）は、
ｘ１が、前記右耳のｘ座標値、
ｙ１が、前記両足首から前記両肩に向かってｙ方向に、前記両足首のｙ座標値平均から４ａ離れた座標値、
ｘ２が、前記左耳のｘ座標値、
ｙ２が、前記両足首から前記両肩に向かってｙ方向に、前記両足首のｙ座標値平均から４ａ離れた座標値、
ｘ３が、前記右耳のｘ座標値、
ｙ３が、前記右耳のｙ座標値、
ｘ４が、前記左耳のｘ座標値、そして、
ｙ４が、前記左耳のｙ座標値である
ことを特徴とする人物属性特定方法。

【請求項7】

請求項４に記載の人物属性特定方法であって、
前記人物属性特定装置は、
前記カメラの映像の横方向をｘ方向、縦方向をｙ方向とし、前記両肩間のｘ方向距離をａとし、前記他方の片耳から前記両肩間の中点までのｘ方向距離をｃとした場合、前記頭部領域を矩形に画定する４つの座標値（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）は、
ｘ１が、前記他方の片耳のｘ座標値、
ｙ１が、前記両足首から前記両肩に向かってｙ方向に、前記両足首のｙ座標値平均から４ａ離れた座標値、
ｘ２が、前記両肩間の中点に対して前記他方の片耳とは反対側に向かってｘ方向に、前記両肩間の中点のｘ座標値からｃ離れた座標値、
ｙ２が、前記両足首から前記両肩に向かってｙ方向に、前記両足首のｙ座標値平均から４ａ離れた座標値、
ｘ３が、前記他方の片耳のｘ座標値、
ｙ３が、前記他方の片耳のｙ座標値、
ｘ４が、前記両肩間の中点に対して前記他方の片耳とは反対側に向かってｘ方向に、前記両肩のｘ座標値の中間座標値からｃ離れた座標値、そして、
ｙ４が、前記他方の片耳のｙ座標値である
ことを特徴とする人物属性特定方法。

【請求項8】

請求項１ないし７のいずれか一項に記載の人物属性特定方法であって、
前記人物属性特定装置は、
前記特定した人物属性を前記カメラの映像に重ねて表示装置に表示する
ことを特徴とする人物属性特定方法。

【請求項9】

請求項１ないし７のいずれか一項に記載の人物属性特定方法であって、
前記人物属性特定装置は、
前記特定した人物属性が所定の人物属性である場合に、警報装置から、前記カメラの映像に映し出された人物への警報を出力する
ことを特徴とする人物属性特定方法。

【請求項10】

請求項８に記載の人物属性特定方法であって、
前記人物属性特定装置は、
前記特定した人物属性が所定の人物属性である場合に、警報装置から、前記カメラの映像に映し出された人物への警報を出力する
ことを特徴とする人物属性特定方法。

【請求項11】

カメラの映像に映し出された人物の人物属性を特定する人物属性特定装置であって、
前記カメラの映像を取得する映像取得手段と、
前記映像取得手段により取得された前記カメラの映像に映し出された人物に対して姿勢推定処理を実施して、当該人物の骨格情報を取得する姿勢推定処理実施手段と、
前記姿勢推定処理実施手段により取得された骨格情報に基づいて、前記カメラの映像に映し出された人物の頭部領域を特定する頭部領域特定手段と、
前記カメラの映像から前記頭部領域特定手段により特定された人物の頭部領域の特徴を判定する特徴判定手段と、
前記特徴判定手段により判定された特徴にあらかじめ紐付けられている人物属性を、前記カメラの映像に映し出された人物の人物属性として特定する人物属性特定手段と、を有する
ことを特徴とする人物属性特定装置。

【請求項12】

カメラの映像に映し出された人物の人物属性を特定する人物属性特定装置としてコンピュータを機能させるプログラムであって、
前記カメラの映像を取得する映像取得手段、
前記映像取得手段により取得された前記カメラの映像に映し出された人物に対して姿勢推定処理を実施して、当該人物の骨格情報を取得する姿勢推定処理実施手段、
前記姿勢推定処理実施手段により取得された骨格情報に基づいて、前記カメラの映像に映し出された人物の頭部領域を特定する頭部領域特定手段、
前記カメラの映像から前記頭部領域特定手段により特定された人物の頭部領域の特徴を判定する特徴判定手段、および
前記特徴判定手段により判定された特徴にあらかじめ紐付けられている人物属性を、前記カメラの映像に映し出された人物の人物属性として特定する人物属性特定手段として、前記コンピュータを機能させる
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、製造現場、建築現場等の作業現場において、作業者等、現場立ち入り人物の人物属性を自動的に特定する技術に関する。

【背景技術】

【0002】

従来、製造現場、建築現場等の作業現場における安全管理を促進する各種取り組みが行われている。例えば、作業現場にカメラを設置し、管理者が、このカメラの映像に映し出された人物の属性・レベルに応じた安全管理を遠隔で行うことがある。

【0003】

また、特許文献１には、被写体人物を含む撮影画像から顔関連情報を抽出して、予め登録されている人物の顔関連情報のなかから、抽出した顔関連情報とマッチング度合いの最も高い顔関連情報を特定し、被写体人物を、この特定した顔関連情報に紐付けられている人物と推定する人物推定技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５－２３２７５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

管理者の負担軽減等の理由から上述の安全管理業務の自動化が望まれている。ここで、特許文献１に記載の技術は、工場見学の来訪者等、予め登録されていない人物を推定できないこと、および、人物が防塵マスクを付けていたり、作業ゴーグルを付けていたりすると、顔関連情報の特定が困難であることから、上述の安全管理の自動化への適用には適していない。

【0006】

一方、近年、作業者、来訪者等、作業現場に立ち入る人物が装着するヘルメットを色分けして、ヘルメット装着者の人物属性の見える化を図り、作業現場における安全管理の効率化を促進する取り組みが行われている。

【0007】

本発明は、上記事情に鑑みてなされたものであり、本発明は、作業現場に設置されたカメラの映像に映し出された人物の人物属性を自動的に特定する技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明では、作業現場に設置されたカメラと、このカメラに接続された人物属性特定装置と、を用いる。人物属性特性装置は、カメラ映像に映し出された人物に対して姿勢推定処理を実施して、この人物の骨格情報を取得し、取得した骨格情報に基づいてこの人物の頭部領域を特定する。そして、カメラ映像からこの人物の頭部領域の特徴を特定することにより、この人物が頭部に装着しているヘルメット、帽子等の頭部装着物の特徴を判定し、判定した特徴に紐付けられている人物の属性を特定する。

【0009】

例えば、本発明は、
カメラと、前記カメラに接続された人物属性特定装置と、を用いて、前記カメラの映像に映し出された人物の人物属性を特定する人物属性特定方法であって、
前記人物属性特定装置は、
前記カメラの映像に映し出された人物に対して姿勢推定処理を実施して、当該人物の骨格情報を取得し、
前記取得した骨格情報に基づいて、前記カメラの映像に映し出された人物の頭部領域を特定し、
前記カメラの映像から前記特定した頭部領域の特徴を判定し、
前記判定した特徴にあらかじめ紐付けされている人物属性を、前記カメラの映像に映し出された人物の人物属性として特定する。

【発明の効果】

【0010】

本発明によれば、作業現場に設置されたカメラのカメラ映像に映し出された人物に対して姿勢推定処理を実施して骨格情報を取得し、この骨格情報からこの人物の頭部領域を特定して、この人物の頭部領域の特徴をカメラ映像から判定する。これにより、人物の人物属性を、ヘルメット、帽子等の頭部装着物から自動的に効率よく特定することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、本発明の一実施の形態に係る作業現場監視システムの概略構成図である。

【図2】図２は、作業現場監視装置１の概略機能構成図である。

【図3】図３は、人物属性記憶部１２の登録内容例を模式的に表した図である。

【図4】図４は、警報条件記憶部１３の登録内容例を模式的に表した図である。

【図5】図５は、作業現場監視装置１の動作を説明するためのフロー図である。

【図6】図６は、図５に示す頭部領域特定処理Ｓ１４を説明するためのフロー図である。

【図7】図７は、図６に示すＳ１４１における、両肩、両足首、両耳、両目の位置座標を用いた頭部領域特定原理を説明するための図である。

【図8】図８は、図６に示すＳ１４３における、両肩、両足首、両耳の位置座標を用いた頭部領域特定原理を説明するための図である。

【図9】図９は、図６に示すＳ１４５における、両肩、両足首、片耳の位置座標を用いた頭部領域特定原理を説明するための図である。

【発明を実施するための形態】

【0012】

以下に、本発明の一実施の形態について説明する。

【0013】

図１は、本発明の一実施の形態に係る作業現場監視システムの概略構成図である。

【0014】

図示するように、本実施の形態に係る作業現場監視システムは、作業現場監視装置１と、無線ＡＰ(アクセスポイント)５を介して作業現場監視装置１に無線接続された複数のカメラ２－１、２－２（以下、単にカメラ２とも呼ぶ）、警告灯３、およびスピーカ４と、を備えて構成される。

【0015】

カメラ２－１は、製造現場、建築現場等の作業現場６の出入口６０から出入りする人物を撮影するように設置され、カメラ２－２は、作業現場６内に設置された所定の機械設備（例えば、熟練作業者のみにその取扱いが許可された機械設備）に近づく人物を撮影するように設置されている。また、警告灯３およびスピーカ４は、作業現場６内の例えば目立つ場所に設置されている。なお、作業現場６への立ち入り人物（現場立ち入り人物）には、その人物の人物属性に応じて色分けされたヘルメット、帽子等の頭部装着物７を頭部に着用することが義務付けされている（現場立ち入り人物の人物特性の見える化）。

【0016】

作業現場監視装置１は、カメラ２の映像に映し出された現場立ち入り人物が装着する頭部装着物７の色を判別することにより、この現場立ち入り人物の人物属性を特定する。そして、特定した人物属性とこの現場立ち入り人物を撮影したカメラ２の設置位置に応じて、この現場立ち入り人物に対する警告の要否を判断し、その判断結果に基づいて警告灯３の点灯およびスピーカ４の警告音出力を制御する。

【0017】

つぎに、作業現場監視装置１の詳細を説明する。

【0018】

なお、作業現場監視装置１とともに本実施の形態に係る作業現場監視システムを構成するカメラ２、警告灯３、およびスピーカ４には、無線接続機能を有する、あるいは無線アダプタが接続された既存のカメラ、警告灯、およびスピーカを用いることができるので、それらの詳細な説明を省略する。

【0019】

図２は、作業現場監視装置１の概略機能構成図である。

【0020】

図示するように、作業現場監視装置１は、無線インターフェース部１０と、マンマシンインターフェース部１１と、人物属性記憶部１２と、警報条件記憶部１３と、カメラ映像取得部１４と、姿勢推定処理部１５と、頭部領域特定部１６と、色判定部１７と、人物属性特定部１８と、警報制御部１９と、を有している。

【0021】

無線インターフェース部１０は、無線ＡＰ５を介してカメラ２、警告灯３、およびスピーカ４に無線接続するためのインターフェースである。

【0022】

マンマシンインターフェース部１１は、作業現場監視装置１の操作者（作業現場の監視者）に情報を表示したり、この操作者から各種操作を受け付けたりするためのインターフェースであり、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示装置と、マウス、キーボード、タッチパネル等の入力装置と、を有する。

【0023】

人物属性記憶部１２は、マンマシンインターフェース部１１を介して操作者から受け付けた操作に従い、頭部装着物７の色とその装着者の人物属性との対応関係を記憶する。

【0024】

図３は、人物属性記憶部１２の登録内容例を模式的に表した図である。

【0025】

図示するように、人物属性記憶部１２には、頭部装着物７の色毎に、人物属性のレコード１２０が記憶される。人物属性のレコード１２０は、頭部装着物７の色が登録されたフィールド１２１と、人物属性が登録されたフィールド１２２と、を有する。なお、本実施の形態では、現場立ち入り人物の人物属性を、来訪者、熟練作業者、見習作業者、および監督者に分類しているが、現場立ち入り人物の人物属性の分類は、作業現場の実態および環境等に応じて定められていればよい。

【0026】

警報条件記憶部１３は、マンマシンインターフェース部１１を介して操作者から受け付けた操作に従い、カメラ２毎に、現場立ち入り人物に対する警報条件を記憶する。

【0027】

図４は、警報条件記憶部１３の登録内容例を模式的に表した図である。

【0028】

図示するように、警報条件記憶部１３には、カメラ２毎に、現場立ち入り人物に対する警報条件のレコード１３０が記憶される。警報条件のレコード１３０は、カメラ２の識別情報であるカメラＩＤが登録されたフィールド１３１と、警告灯３およびスピーカ４を用いた警告の対象となる現場立ち入り人物の人物属性が警報条件として登録されたフィールド１３２と、スピーカ４から音声出力する警報メッセージが登録されたフィールド１３３と、を有する。

【0029】

カメラ映像取得部１４は、カメラ２毎に、無線インターフェース部１０を介してカメラ２からカメラ映像を取得してマンマシンインターフェース部１１に表示する。また、カメラ映像取得部１４は、カメラ２から取得したカメラ映像に現場立ち入り人物が映っているか否かを判断し、現場立ち入り人物が映っている場合は、そのカメラ映像をキャプチャして静止画像を取得する。そして、取得した静止画像を、そのカメラ２に付与されているカメラＩＤとともに姿勢推定処理部１５および色判定部１７に渡す。

【0030】

姿勢推定処理部１５は、カメラ映像取得部１４からカメラＩＤとともに受け取った静止画像に映し出されている現場立ち入り人物に対して既存の姿勢推定処理を実施して、この現場立ち入り人物の骨格情報を取得する。姿勢推定処理として、例えば、米国グーグル社の学習済みモデル「コーラルポーズネット（商標）」を用いたＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）処理がある。この姿勢推定処理によれば、静止画像に映し出されている人物の姿勢（カメラ２に対して正面を向いているか、背を向けているか、横を向いているか、屈んでいるか等）によって異なるが、両目、両耳、両肩、両足首等の最大１７部位の位置座標を含む骨格情報を取得することができる。

【0031】

頭部領域特定部１６は、姿勢推定処理部１５により取得された骨格情報に基づいて現場立ち入り人物の頭部領域を特定する。

【0032】

色判定部１７は、カメラ映像取得部１４からカメラＩＤとともに受け取った静止画像において、頭部領域特定部１６により特定された頭部領域の色（すなわち、静止画像に映し出されている現場立ち入り人物が頭部に装着している頭部装着物７の色）を判定する。そして、その判定結果をカメラＩＤとともに人物属性特定部１８に通知する。

【0033】

人物属性特定部１８は、人物属性記憶部１２を参照して、色判定部１７からカメラＩＤとともに受け取った色の判定結果に紐付けられる人物属性を特定する。そして、特定した人物属性をカメラＩＤとともに警報制御部１９に通知する。

【0034】

警報制御部１９は、マンマシンインターフェース部１１に表示中のカメラ映像のうち、人物属性特定部１８から受け取ったカメラＩＤにより特定されるカメラ２のカメラ映像に、このカメラＩＤとともに人物属性特定部１８から受け取った人物属性を重ねて表示する。また、警報制御部１９は、警告灯３の点灯およびスピーカ４の警報音出力を制御する。

【0035】

なお、図２に示す作業現場監視装置１の機能構成は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの集積ロジックＩＣによりハード的に実現されるものでもよいし、あるいはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などの計算機によりソフトウエア的に実現されるものでもよい。または、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、メモリと、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の補助記憶装置と、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）アダプタ等の通信装置と、を備えたＰＣ等の汎用コンピュータにおいて、ＣＰＵが所定のプログラムを補助記憶装置からメモリ上にロードして実行することによりプロセスとして実現されるものでもよい。

【0036】

図５は、作業現場監視装置１の動作フローを説明するための図である。

【0037】

カメラ映像取得部１４は、カメラ２毎に、無線インターフェース部１０を介してカメラ２から送られてくるカメラ映像を取得してマンマシンインターフェース部１１に表示するとともに、このカメラ映像に現場立ち入り人物が映っているか否かを監視する（Ｓ１０）。そして、いずれかのカメラ２のカメラ映像から現場立ち入り人物を検出したならば（Ｓ１１でＹＥＳ）、そのカメラ映像をキャプチャして静止画像を取得する（Ｓ１２）。それから、取得した静止画像を、そのカメラ２に付与されているカメラＩＤとともに姿勢推定処理部１５および色判定部１７に渡す。

【0038】

これを受けて、姿勢推定処理部１５は、カメラ映像取得部１４からカメラＩＤとともに受け取った静止画像に映し出されている現場立ち入り人物に対して既存の姿勢推定処理を実施して、この現場立ち入り人物の骨格情報を取得する（Ｓ１３）。

【0039】

つぎに、頭部領域特定部１６は、姿勢推定処理部１５により取得された骨格情報に基づいて、後述の頭部領域特定処理を実施して、姿勢推定処理部１５が受け取った静止画像に映し出されている現場立ち入り人物の頭部領域を特定する（Ｓ１４）。

【0040】

それから、色判定部１７は、カメラ映像取得部１４からカメラＩＤとともに受け取った静止画像において、頭部領域特定部１６により特定された頭部領域の色、すなわち、静止画像に映し出されている現場立ち入り人物が頭部に装着している頭部装着物７の色を判定する。なお、頭部領域に複数の色が含まれている場合は、その占める面積が最も大きい色を頭部装着物７の色と判定する。そして、色判定結果をカメラＩＤとともに人物属性特定部１８に通知する（Ｓ１５）。

【0041】

これを受けて、人物属性特定部１８は、人物属性記憶部１２を参照して、色判定部１７から受け取った色判定結果（頭部装着物７の色）に紐付けられている人物属性を特定する。ここで、色判定結果に紐付けられる人物属性が人物属性記憶部１２に存在しない場合、人物属性特定部１８は、人物属性不明と特定する。そして、人物属性の特定結果を、色判定部１７から判定結果とともに受け取ったカメラＩＤとともに警報制御部１９に通知する（Ｓ１６）。

【0042】

つぎに、警報制御部１９は、マンマシンインターフェース部１１に表示中のカメラ映像のうち、人物属性特定部１８から受け取ったカメラＩＤにより特定されるカメラ２のカメラ映像に、このカメラＩＤとともに人物属性特定部１８から受け取った人物属性の特定結果を重ねて表示する（Ｓ１７）。

【0043】

また、警報制御部１９は、人物属性特定部１８から受け取ったカメラＩＤおよび人物属性の特定結果に基づいて警報出力の要否を判断する（Ｓ１８）。具体的には、（１）人物属性特定部１８から受け取った人物属性の特定結果が人物属性不明の場合、および、（２）人物属性特定部１８から受け取ったカメラＩＤに紐付けられて警報条件記憶部１３に記憶されている警報条件に、このカメラＩＤとともに人物属性特定部１８から受け取った人物属性の特定結果が含まれている場合に、警報要と判断し、それ以外の場合に警報不要と判断する。

【0044】

そして、警報制御部１９は、警報要と判断した場合（Ｓ１８でＹＥＳ）、警告灯３の点灯およびスピーカ４の警報音出力を制御して警報を実施する（Ｓ１９）。具体的には、人物属性の特定結果が人物属性不明であることによる警報（上記（１）の場合の警報）ならば、警告灯３を点灯させるとともに、人物属性不明の人物が作業現場６に立ち入っている旨の警報メッセージをスピーカ４から音声出力させる。また、人物属性の特定結果が、対応するカメラＩＤに紐付けられて警報条件記憶部１３に記憶された警報条件に含まれていることによる警報（上記（２）の場合の警報）ならば、警告灯３を点灯させるとともに、このカメラＩＤに紐付けられて警報条件記憶部１３に記憶されている警告メッセージをスピーカ４から音声出力させる。それから、Ｓ１１に戻る。

【0045】

一方、警報制御部１９が警報不要と判断した場合（Ｓ１８でＮＯ）、直ちにＳ１１に戻る。

【0046】

図６は、図５に示す頭部領域特定処理Ｓ１４の動作フローを説明するための図である。

【0047】

まず、頭部領域特定部１６は、姿勢推定処理部１５により取得された骨格情報に、両肩、両足首、両耳、および両目の位置座標がすべて含まれているか否かを判断する（Ｓ１４０）。そして、これらの位置座標がすべて含まれている場合には（Ｓ１４０でＹＥＳ）、これらの位置座標を用いて頭部領域を特定する（Ｓ１４１）。それから、図５のＳ１５に進む。

【0048】

図７は、図６に示すＳ１４１における、両肩、両足首、両耳、両目の位置座標を用いた頭部領域特定原理を説明するための図である。

【0049】

この図は、人物がカメラ２に対して正面を向けている場合のカメラ映像を示しており、Ｒｓは右肩、Ｌｓは左肩、Ｒａは右足首、Ｌａは左足首、Ｒｅａは右耳、Ｌｅａは左耳、Ｒｅｙは右目、そして、Ｌｅｙは左目の位置を示している。

【0050】

また、このカメラ映像には、左上端を原点Ｏ、原点Ｏから右に向かう方向をＸ軸正方向、原点Ｏから下に向かう方向をＹ軸正方向とするＸＹ座標系が定義されている。

【0051】

ウィトルウィウス的人体図によれば、肩幅は身長の１／４に等しいとされている。そこで、矩形に設定した頭部領域７０の各頂点位置の座標を以下のように決定する。

【0052】

右肩Ｒｓのｘ座標値および左肩Ｌｓのｘ座標値の差分（両肩Ｒｓ、Ｌｓ間のｘ軸方向距離）ａと、左右足首Ｌａ、Ｒａを両端とする線分の中央位置のｙ座標値（右足首Ｒａのｙ座標値および左足首Ｌａのｙ座標値の平均値ｙａ）と、を求め、左右足首Ｌａ、Ｒａを両端とする線分の中央位置から、左右肩Ｌｓ、Ｒｓのｘ座標値の差分ａの４倍に相当する距離４ａだけＹ軸負方向（足首から耳側に向かう方向）に平行移動した位置のｙ座標値を、頭部領域７０の上端（原点Ｏ側の端）のｙ座標値に決定する。また、右耳Ｒｅａのｙ座標値および右目Ｒｅｙのｙ座標値の差分（右目Ｒｅａから右耳Ｒｅｙまでのｙ方向距離）ｂ１を求め、右目Ｒｅｙからこの差分ｂ１に相当する距離だけＹ軸負方向（右目Ｒｅｙに対して足首とは反対側に向かう方向）に平行移動した位置のｙ座標値を、頭部領域７０の右下頂点のｙ座標値に決定する。同様に、左耳Ｌｅａのｙ座標値および左目Ｌｅｙのｙ座標値の差分（左耳Ｌｅａから左目Ｌｅｙまでのｙ方向距離）ｂ２を求め、左目Ｌｅｙからこの差分ｂ２に相当する距離だけＹ軸負方向（左目Ｌｅｙに対して足首とは反対側に向かう方向）に平行移動した位置のｙ座標値を、頭部領域７０の左下頂点のｙ座標値に決定する。さらに、右目Ｒｅｙのｘ座標値を頭部領域７０の右端のｘ座標値に決定し、左目Ｌｅｙのｘ座標値を頭部領域７０の左端のｘ座標値に決定する。

【0053】

右目Ｒｅｙの座標を（ｘｒｅｙ，ｙｒｅｙ）、左目Ｌｅｙの座標を（ｘｌｅｙ，ｙｌｅｙ）とした場合、図７に示すカメラ映像のＸＹ座標系において、頭部領域７０の右上頂点、左上頂点、右下頂点、左下頂点それぞれの座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）は、下記の数１で算出することができる。

【0054】

【数1】

【0055】

一方、頭部領域特定部１６は、姿勢推定処理部１５により取得された骨格情報に、両肩、両足首、両耳、および両目のいずれかの位置座標が含まれていない場合（Ｓ１４０でＮＯ）、この骨格情報に、両肩、両足首、および両耳の位置座標がすべて含まれているか否かを判断する（Ｓ１４２）。そして、これらの位置座標がすべて含まれている場合には（Ｓ１４２でＹＥＳ）、これらの位置座標を用いて頭部領域を特定する（Ｓ１４３）。それから、図５のＳ１５に進む。

【0056】

図８は、図６に示すＳ１４３における、両肩、両足首、両耳の位置座標を用いた頭部領域特定原理を説明するための図である。

【0057】

この図は、人物がカメラ２に対して背を向けている場合のカメラ映像を示しており、図７と同様、Ｒｓは右肩、Ｌｓは左肩、Ｒａは右足首、Ｌａは左足首、Ｒｅａは右耳、そして、Ｌｅａは左耳の位置を示している。また、このカメラ映像には、左上端を原点Ｏ、原点Ｏから右に向かう方向をＸ軸正方向、原点Ｏから下に向かう方向をＹ軸正方向とするＸＹ座標系が定義されている。

【0058】

上述したように、ウィトルウィウス的人体図によれば、肩幅は身長の１／４に等しいとされている。そこで、矩形に設定した頭部領域７０の各頂点位置の座標を以下のように決定する。

【0059】

右肩Ｒｓのｘ座標値および左肩Ｌｓのｘ座標値の差分（両肩Ｒｓ、Ｌｓ間のｘ軸方向距離）ａと、左右足首Ｌａ、Ｒａを両端とする線分の中央位置のｙ座標値（右足首Ｒａのｙ座標値および左足首Ｌａのｙ座標値の平均値ｙａ）と、を求め、左右足首Ｌａ、Ｒａを両端とする線分の中央位置から、左右肩Ｌｓ、Ｒｓのｘ座標値の差分ａの４倍に相当する距離４ａだけＹ軸負方向（足首から肩側に向かう方向）に平行移動した位置のｙ座標値を、頭部領域７０の上端（原点Ｏ側の端）のｙ座標値に決定する。また、右耳Ｒｅａのｙ座標値を頭部領域７０の右下頂点のｙ座標値に決定し、左耳Ｌｅａのｙ座標値を頭部領域７０の左下頂点のｙ座標値に決定する。さらに、右耳Ｒｅａのｘ座標値を頭部領域７０の右端のｘ座標値に決定し、左耳Ｌｅａのｘ座標値を頭部領域７０の左端のｘ座標値に決定する。

【0060】

右耳Ｒｅａの座標値を（ｘｒｅａ，ｙｒｅａ）、左耳Ｌｅａの座標値を（ｘｌｅａ，ｙｌｅａ）とした場合、図８に示すカメラ映像のＸＹ座標系において、頭部領域の右上頂点、左上頂点、右下頂点、左下頂点それぞれの座標値（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）は、下記の数２で算出することができる。

【0061】

【数2】

【0062】

一方、頭部領域特定部１６は、姿勢推定処理部１５により取得された骨格情報に、両肩、両足首、および、両耳のいずれかの位置座標が含まれていない場合（Ｓ１４２でＮＯ）、この骨格情報に、両肩、両足首、および片耳の位置座標がすべて含まれているか否かを判断する（Ｓ１４４）。そして、これらの位置座標がすべて含まれている場合には（Ｓ１４４でＹＥＳ）、これらの位置座標を用いて頭部領域を特定する（Ｓ１４５）。それから、図５のＳ１５に進む。

【0063】

図９は、図６に示すＳ１４５における、両肩、両足首、片耳の位置座標を用いた頭部領域特定原理を説明するための図である。

【0064】

この図は、人物がカメラ２に対して背を向けつつ右を向いている場合のカメラ映像を示しており、図７と同様、Ｒｓは右肩、Ｌｓは左肩、Ｒａは右足首、Ｌａは左足首、そして、Ｒｅａは右耳の位置を示している。また、このカメラ映像にも、左上端を原点Ｏ、原点Ｏから右に向かう方向をＸ軸正方向、原点Ｏから下に向かう方向をＹ軸正方向とするＸＹ座標系が定義されている。

【0065】

上述したように、ウィトルウィウス的人体図によれば、肩幅は身長の１／４に等しいとされている。そこで、矩形に設定した頭部領域７０の各頂点位置の座標を以下のように決定する。

【0066】

右肩Ｒｓのｘ座標値および左肩Ｌｓのｘ座標値の差分（両肩Ｒｓ、Ｌｓ間のｘ軸方向距離）ａと、左右足首Ｌａ、Ｒａを両端とする線分の中央位置のｙ座標値（右足首Ｒａのｙ座標値および左足首Ｌａのｙ座標値の平均値ｙａ）と、を求め、左右足首Ｌａ、Ｒａを両端とする線分の中央位置から、左右肩Ｌｓ、Ｒｓのｘ座標値の差分ａの４倍に相当する距離４ａだけＹ軸負方向（足首から肩側に向かう方向）に平行移動した位置のｙ座標値を、頭部領域７０の上端（原点Ｏ側の端）のｙ座標値に決定する。また、右肩Ｒｓから、左右肩Ｌｓ、Ｒｓのｘ座標値の差分ａの１／２倍に相当する距離ａ／２だけ左肩Ｌｓに向かってＸ軸負方向に平行移動した位置（左右肩Ｌｓ、Ｒｓを両端とする線分の中点）のｘ座標値（左肩Ｌｓから距離ａ／２だけ右肩Ｒｓに向かってＸ軸正方向に平行移動した位置のｘ座標値）を、頭部中心軸のｘ座標値に定め、右耳Ｒｅａのｘ座標値とこの頭部中心軸のｘ座標値との差分ｃを求める。そして、右耳Ｒｅａのｘ座標値を頭部領域７０の右端のｘ座標値に決定し、右耳Ｒｅａのｘ座標値から、右耳Ｒｅａおよび頭部中心軸のｘ座標値の差分の２倍に相当する距離２ｃだけ左側（Ｘ軸負方向）に平行移動した位置のｘ座標値（頭部中心軸から、頭部中心軸および右耳Ｒｅａのｘ座標値の差分ｃに相当する距離だけ左側に平行移動した位置のｘ座標値）を頭部領域７０の左端のｘ座標値に決定する。

【0067】

右耳Ｒｅｙの座標値を（ｘｒｅａ，ｙｒｅａ）とした場合、図９に示すカメラ映像のＸＹ座標系において、頭部領域７０の右上頂点、左上頂点、右下頂点、左下頂点それぞれの座標値（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）は、下記の数３で算出することができる。

【0068】

【数3】

【0069】

なお、図９では、人物がカメラ２に対して背を向けつつ右を向いている場合（右耳Ｒｅａの位置座標を取得でき、左耳Ｌｅａの位置座標は欠落している場合）のカメラ映像について説明した。人物がカメラ２に対して背を向けつつ左を向いている場合（左耳Ｌｅａの位置座標を取得でき、右耳Ｒｅａの位置座標は欠落している場合）のカメラ映像については、頭部中心軸のｘ座標値と左耳Ｌｅａのｘ座標値との差分ｃを求める。そして、左耳Ｌｅａのｘ座標値を頭部領域７０の左端のｘ座標値に決定し、左耳Ｌｅａのｘ座標値から、頭部中心軸および左耳Ｌｅａのｘ座標値の差分ｃの２倍に相当する距離２ｃだけ右側（Ｘ軸正方向）に平行移動した位置のｘ座標値を頭部領域７０の右端のｘ座標値に決定する。

【0070】

左耳Ｌｅｙの座標値を（ｘｌｅａ，ｙｌｅａ）とした場合、図９に示すカメラ映像のＸＹ座標系において、頭部領域７０の右上頂点、左上頂点、右下頂点、左下頂点それぞれの座標値（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）は、下記の数４で算出することができる。

【0071】

【数4】

【0072】

一方、頭部領域特定部１６は、姿勢推定処理部１５により取得された骨格情報に、両肩、両足首、および、片耳のいずれかの位置座標が含まれていない場合（Ｓ１４４でＮＯ）、頭部領域の特定不可能と判断し、Ｓ１１に戻る。

【0073】

以上、本発明の一実施の形態を説明した。

【0074】

本実施の形態において、作業現場監視装置１は、作業現場６に設置されたカメラ２のカメラ映像に映し出された現場立ち入り人物に対して姿勢推定処理を実施して、現場立ち入り人物の骨格情報を取得することにより、この骨格情報に基づいて現場立ち入り人物の頭部領域を特定し、カメラ映像から特定した頭部領域の色を判定することにより、このカメラ映像に映し出された現場立ち入り人物が装着している頭部装着物７の色を特定する。この色に基づき、この頭部装着物７の色に紐付けされている人物属性を特定する。したがって、本実施の形態によれば、カメラ映像に映し出された現場立ち入り人物がカメラ２に対して背を向けている場合や、防塵マスクあるいは作業ゴーグルを付けている場合など、現場立ち入り人物の顔情報の特定が困難である場合でも、効率よく人物属性を自動的に特定することができる。

【0075】

また、本実施の形態において、作業現場監視装置１は、少なくとも、姿勢推定処理により取得された骨格情報に、両肩、両足首、および片耳の位置座標が含まれていれば、現場立ち入り人物の頭部領域を特定することができる。このため、カメラ映像から現場立ち入り人物の頭部領域を特定できる可能性が高まる。また、骨格情報に、両肩、両足首、および両耳の位置座標が含まれていれば、これらの位置座標を用いて現場立ち入り人物の頭部領域を特定することにより、両肩、両足首、および片耳の位置座標を用いて現場立ち入り人物の頭部領域を特定する場合に比べて、より高精度に現場立ち入り人物の頭部領域を特定することができる。さらに、骨格情報に、両肩、両足首、両耳、および両目の位置座標が含まれていれば、これらの位置座標を用いて現場立ち入り人物の頭部領域を特定することにより、両肩、両足首、および両耳の位置座標を用いて現場立ち入り人物の頭部領域を特定する場合に比べて、さらに高精度に現場立ち入り人物の頭部領域を特定することができる。

【0076】

また、本実施の形態において、作業現場監視装置１は、現場立ち入り人物の頭部領域の色に紐付けられた人物属性をその現場立ち入り人物が映し出されたカメラ映像に重ねて表示するので、操作者は、カメラ映像に映し出された現場立ち入り人物の人物属性を一目で容易に判断することができる。このため、作業現場６の安全管理における操作者（監視者）の業務負担を軽減することができる。

【0077】

また、本実施の形態において、作業現場監視装置１は、カメラ２毎に、カメラ映像に映し出された現場立ち入り人物の人物特性が、そのカメラ２に紐付けられた警報条件に含まれている場合に、作業現場６に設置された警告灯３およびスピーカ４を用いて警報を出力する。このため、作業現場６の安全管理における監視者の業務負担をさらに軽減することができる。

【0078】

なお、本発明は、上記の実施の形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

【0079】

例えば、上記の実施の形態では、無線ＡＰ(アクセスポイント)５を介して、カメラ２、警告灯３、およびスピーカ４を作業現場監視装置１に無線接続している。しかし、本発明はこれに限定されない。有線ハブ等の有線ネットワーク機器を介して、カメラ２、警告灯３、およびスピーカ４を作業現場監視装置１に有線接続してもよい。

【0080】

また、上記の実施の形態では、カメラ映像から特定した頭部領域の色を判定することにより、このカメラ映像に映し出された人物が装着している頭部装着物７の色を判定して、この頭部装着物７の色に紐付けされている人物属性を特定している。しかし、本発明はこれに限定されない。カメラ映像から特定した頭部領域の模様、マーク等の特徴を判定することにより、このカメラ映像に映し出された人物が頭部に装着しているヘルメット、帽子等の特徴を判定して、このカメラ映像に映し出された人物が装着している頭部装着物７の特徴に紐付けされている人物属性を特定してもよい。

【0081】

また、本発明は、作業現場に設置されたカメラのカメラ映像に映し出されている人物の人物属性を特定する人物属性特定装置に広く適用することができる。

【符号の説明】

【0082】

１：作業現場監視装置 ２－１、２－２：カメラ ３：警告灯
４：スピーカ ５：無線ＡＰ ６：作業現場 ７：頭部装着物
１０：無線インターフェース部 １１：マンマシンインターフェース部
１２：人物属性記憶部 １３：警報条件記憶部 １４：カメラ映像取得部
１５：姿勢推定処理部 １６：頭部領域特定部 １７：色判定部
１８：人物属性特定部 １９：警報制御部
６０：出入口 ６１：機械設備

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】