知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-11
(45)【発行日】2024-03-19
(54)【発明の名称】画像処理装置および画像処理方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240312BHJP
E04G 21/00 20060101ALI20240312BHJP
【ＦＩ】
G06T7/00 660B
E04G21/00 ESW
【請求項の数】
3
(21)【出願番号】P 2020191365
(22)【出願日】2020-11-18
(65)【公開番号】P2022080361
(43)【公開日】2022-05-30
【審査請求日】2023-03-22
(73)【特許権者】
【識別番号】000206211
【氏名又は名称】大成建設株式会社
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】石井 喬之
(72)【発明者】
【氏名】片山 三郎
(72)【発明者】
【氏名】大友 健
【審査官】佐藤 直樹
(56)【参考文献】
【文献】特開２０２０－０９８５９０（ＪＰ，Ａ）
【文献】特開２０２０－１２７２２５（ＪＰ，Ａ）
【文献】国際公開第２０２０／１８８７４６（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｅ０４Ｇ ２１／００
(57)【特許請求の範囲】
【請求項1】
作業領域を斜め上から撮影した画像において、作業員の足元高さに第１平面を設定するとともに、前記第１平面よりも高い位置に前記第１平面に対応する形状の第２平面を設定する設定部と、前記画像において前記第１平面上の位置と前記第２平面上の位置との対応関係を記録するマッピング部と、
前記第２平面上で検出した作業員の特徴点を追跡し、前記対応関係に従い、前記第１平面上での前記作業員の足元位置を特定する追跡部とを備える画像処理装置。
【請求項2】
前記第２平面を前記作業員のヘルメット高さに設定する請求項１に記載の画像処理装置。
【請求項3】
画像処理装置が、作業領域を斜め上から撮影した画像において、作業員の足元高さに第１平面を設定するとともに、前記第１平面よりも高い位置に前記第１平面に対応する形状の第２平面を設定するステップと、
前記画像において前記第１平面上の位置と前記第２平面上の位置との対応関係を記録するステップと、
前記第２平面上で検出した作業員の特徴点を追跡し、前記対応関係に従い、前記第１平面上での前記作業員の足元位置を特定するステップとを実行する画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【0002】
近年、建設現場の作業員の位置情報を取得することで作業管理をするための技術開発が盛んである。作業員の位置情報は、作業員が行っている作業（例：コンクリート打設）の進捗状況の把握や、重機との接触防止などに役立つ。
作業員の位置情報を取得する技術には、例えば、ＧＰＳ（Global Positioning System）やビーコンといった電波を用いる技術がある。しかし、ＧＰＳには、屋外作業にしか適用できないというデメリットがある。また、ビーコンには、測位精度が概して小さいというデメリットがある。
また、作業員の位置情報を取得する技術には、カメラで作業員を撮影し、取得した画像に画像処理を施すことにより位置を特定する技術がある。画像処理で作業員の位置を特定する場合、（１）対象の画像認識、（２）対象の追跡、（３）対象の座標変換、といった技術が組み合わされる。なお、（１）の場合、画像認識が容易となる対象の特徴点が選ばれることがあり、（２）では特徴点が追跡される。また、（３）において、２次元の画像の縦横ピクセルが、作業員の位置を規定するための２次元座標値に変換される。この変換は周知であり、詳細な説明は省略する。
建設現場の真上にカメラを設置できる場合、撮影画像が平面的になり好適であるが、真上に設置できるとは限らない。この場合、建設現場を斜め上から撮影できる位置にカメラを設置し、斜め上から撮影した画像で作業員の位置特定をすることになる。斜め上から撮影した画像については、上記の座標変換の際に画像のゆがみを是正する必要がある。
作業員の位置情報を取得する技術には、例えば、ＧＰＳ（Global Positioning System）やビーコンといった電波を用いる技術がある。しかし、ＧＰＳには、屋外作業にしか適用できないというデメリットがある。また、ビーコンには、測位精度が概して小さいというデメリットがある。
また、作業員の位置情報を取得する技術には、カメラで作業員を撮影し、取得した画像に画像処理を施すことにより位置を特定する技術がある。画像処理で作業員の位置を特定する場合、（１）対象の画像認識、（２）対象の追跡、（３）対象の座標変換、といった技術が組み合わされる。なお、（１）の場合、画像認識が容易となる対象の特徴点が選ばれることがあり、（２）では特徴点が追跡される。また、（３）において、２次元の画像の縦横ピクセルが、作業員の位置を規定するための２次元座標値に変換される。この変換は周知であり、詳細な説明は省略する。
建設現場の真上にカメラを設置できる場合、撮影画像が平面的になり好適であるが、真上に設置できるとは限らない。この場合、建設現場を斜め上から撮影できる位置にカメラを設置し、斜め上から撮影した画像で作業員の位置特定をすることになる。斜め上から撮影した画像については、上記の座標変換の際に画像のゆがみを是正する必要がある。
【0003】
ところで、作業員の位置特定で、実際に知りたいのは作業員の足元位置である。特に、コンクリートの打設管理では、コンクリートの打設位置を正確に捉えるために作業員の足元位置の特定が重要となる。一方、画像処理の性質上、追跡しやすい特徴点は作業員の頭部に被るヘルメットである。よって、ヘルメットを追跡して作業員の足元位置を特定する手法が必要になる。しかし、この手法では、カメラのレンズのゆがみや、画角などといったカメラの型式、カメラの設置角度などの各種パラメータに基づいて、ヘルメットから足元までのオフセット量を計算する必要があり、多大な時間と計算量を要する。具体的には、撮影画像の略中央に位置する作業員に対しては、ヘルメットから足元までのオフセット量は略縦方向であるが、撮影画像の隅に位置する作業員に対しては、ヘルメットから足元までのオフセット量が増減するだけでなく、オフセット方向も斜めになる。このように撮影画像中の作業員の位置に応じたオフセットの計算が求められ、多大な時間と計算量を要する。特に、建設現場では、カメラの設置位置を頻繁に変更するため、変更のたびにオフセットの計算が必要となり、なおさら多大な時間と計算量を要する。
【0004】
特許文献１には、コンクリートの打設現場において筒先オペレータ（作業員）の打設時間を管理するコンクリートの打設管理システムについて開示されている。特許文献１によれば、ビデオカメラで筒先オペレータのヘルメットを認識することにより筒先オペレータの位置を把握できる。しかし、特許文献１の発明は、筒先オペレータの足元を特定するわけではないので、筒先オペレータが打設した位置を正確に捉えている保証がない。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１１-２０２３８３
【発明の概要】
【発明が解決しようとする課題】
【0006】
このような観点から、本発明は、カメラの型式やカメラの設置位置に依存することなく、建設現場等の作業領域において作業員の足元を正確に捉えることができる画像処理装置および画像処理方法を提案することを課題とする。
【課題を解決するための手段】
【0007】
前記課題を解決するために、本発明は、作業領域を斜め上から撮影した画像において、作業員の足元高さに第１平面を設定するとともに、前記第１平面よりも高い位置に前記第１平面に対応する形状の第２平面を設定する設定部と、前記画像において前記第１平面上の位置と前記第２平面上の位置との対応関係を記録するマッピング部と、前記第２平面上で検出した作業員の特徴点を追跡し、前記対応関係に従い、前記第１平面上での前記作業員の足元位置を特定する追跡部とを備える画像処理装置である。
また、本発明は、画像処理装置が、作業領域を斜め上から撮影した画像において、作業員の足元高さに第１平面を設定するとともに、前記第１平面よりも高い位置に前記第１平面に対応する形状の第２平面を設定するステップと、前記画像において前記第１平面上の位置と前記第２平面上の位置との対応関係を記録するステップと、前記第２平面上で検出した作業員の特徴点を追跡し、前記対応関係に従い、前記第１平面上での前記作業員の足元位置を特定するステップとを実行する画像処理方法である。
かかる画像処理装置および画像処理方法では、建設現場等における作業領域の複数個所に例えば作業員を立たせた様子を撮影した画像をキャリブレーション用の画像として使用する。当該画像において、各立ち位置の作業員の足元を結ぶことで第１平面を設定できる。また、各立ち位置において作業員の特徴点（例えば作業員が被るヘルメットなど）を結ぶことで第２平面を設定できる。第１平面および第２平面はそれぞれ、斜め上から撮影した画像上では異なる平面形状を呈しているが、実際は、高さ位置が異なるのみであり、平面形状は作業領域の平面形状と同じである。よって、画像上で第１平面上の位置と第２平面上の位置との対応関係を規定しておけば、第１平面の各点と第２平面の各点が１対１に対応付けられる。したがって、第２平面上で特徴点を検出した場合、特徴点を検出した第２平面上の位置に対応する第１平面上の位置に、作業員の足元位置が存在すると判定することができる。
また、本発明は、画像処理装置が、作業領域を斜め上から撮影した画像において、作業員の足元高さに第１平面を設定するとともに、前記第１平面よりも高い位置に前記第１平面に対応する形状の第２平面を設定するステップと、前記画像において前記第１平面上の位置と前記第２平面上の位置との対応関係を記録するステップと、前記第２平面上で検出した作業員の特徴点を追跡し、前記対応関係に従い、前記第１平面上での前記作業員の足元位置を特定するステップとを実行する画像処理方法である。
かかる画像処理装置および画像処理方法では、建設現場等における作業領域の複数個所に例えば作業員を立たせた様子を撮影した画像をキャリブレーション用の画像として使用する。当該画像において、各立ち位置の作業員の足元を結ぶことで第１平面を設定できる。また、各立ち位置において作業員の特徴点（例えば作業員が被るヘルメットなど）を結ぶことで第２平面を設定できる。第１平面および第２平面はそれぞれ、斜め上から撮影した画像上では異なる平面形状を呈しているが、実際は、高さ位置が異なるのみであり、平面形状は作業領域の平面形状と同じである。よって、画像上で第１平面上の位置と第２平面上の位置との対応関係を規定しておけば、第１平面の各点と第２平面の各点が１対１に対応付けられる。したがって、第２平面上で特徴点を検出した場合、特徴点を検出した第２平面上の位置に対応する第１平面上の位置に、作業員の足元位置が存在すると判定することができる。
【0008】
また、前記第２平面を前記作業員のヘルメット高さに設定するとよい。
かかる構成によれば、建設現場でカメラが容易に認識できるヘルメットを特徴点として採用することで、第２平面の設定を容易にできる。
かかる構成によれば、建設現場でカメラが容易に認識できるヘルメットを特徴点として採用することで、第２平面の設定を容易にできる。
【発明の効果】
【0009】
本発明によれば、カメラの撮影画像に対して、作業員の足元位置に関する第１平面と、作業員の特徴点に関する第２平面とが対応付けられるので、特徴点を検出した場合、カメラの型式やカメラの設置位置に依存することなく、作業領域での作業員の足元を正確に捉えることができる。
【図面の簡単な説明】
【0010】
【図1】第１実施形態の画像処理装置の機能構成図である。
【図2】足元平面およびヘルメット平面の設定に関する画面例である。
【図3】マッピング処理に関する画面例である。
【図4】作業員の追跡に関する画面例である。
【図5】第１実施形態の処理を示すフローチャートである。
【図6】第２実施形態のマッピング処理に関する画面例である。
【発明を実施するための形態】
【0011】
以下、本発明の実施をするための形態を、適宜図面を参照しながら詳細に説明する。各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
【0012】
［第１実施形態］
［構成］
図１に示す画像処理装置１００は、入力部、出力部、制御部、および、記憶部といったハードウェアを含むコンピュータである。例えば、制御部がＣＰＵ（Central Processing Unit）から構成される場合、その制御部を含むコンピュータによる情報処理は、ＣＰＵによるプログラム実行処理で実現される。また、そのコンピュータが含む記憶部は、ＣＰＵの指令により、そのコンピュータの機能を実現するためのさまざまなプログラムを記憶する。これによりソフトウェアとハードウェアの協働が実現される。前記プログラムは、記録媒体に記録したり、ネットワークを経由したりすることで提供することができる。
［構成］
図１に示す画像処理装置１００は、入力部、出力部、制御部、および、記憶部といったハードウェアを含むコンピュータである。例えば、制御部がＣＰＵ（Central Processing Unit）から構成される場合、その制御部を含むコンピュータによる情報処理は、ＣＰＵによるプログラム実行処理で実現される。また、そのコンピュータが含む記憶部は、ＣＰＵの指令により、そのコンピュータの機能を実現するためのさまざまなプログラムを記憶する。これによりソフトウェアとハードウェアの協働が実現される。前記プログラムは、記録媒体に記録したり、ネットワークを経由したりすることで提供することができる。
【0013】
画像処理装置１００は、例えば、施工管理者が操作するコンピュータである。画像処理装置１００は、図１に示すカメラ２００と通信可能に接続されている。画像処理装置１００は、カメラ２００が撮影した画像を受信し、当該画像を表示できる。カメラ２００は、建設現場の作業領域を斜め上から撮影可能な位置に設置されている。カメラ２００は、所定の型式を有しており、カメラ２００が備えるレンズ（図示無し）は所定量のゆがみを有する。また、カメラ２００は所定量の画角を有する。このため、カメラ２００が撮影した画像は、平面的ではなく、画像中の対象はゆがむ（例えば、図２等参照）。
【0014】
画像処理装置１００は、設定部１１と、マッピング部１２と、追跡部１３を有する。また、画像処理装置１００は、マッピング情報２１と、特徴点情報２２を記憶する。
設定部１１は、カメラ２００から受信した画像に任意形状の平面を設定する。具体的には、設定部１１は、カメラ２００が作業領域を斜め上から撮影した画像において、作業員の足元高さに足元平面を設定する。また、設定部１１は、当該画像において、足元平面よりも高い位置に足元平面に対応する形状のヘルメット平面を設定する。なお、足元平面は、第１平面の一例であり、ヘルメット平面は、第２平面の一例である。
マッピング部１２は、カメラ２００からの画像において、足元平面上の位置とヘルメット平面上の位置との対応関係を記録する（マッピング処理）。
追跡部１３は、ヘルメット平面上で検出した作業員の特徴点を追跡し、マッピング部１２が記録する対応関係に従い、足元平面上での作業員の足元位置を特定する。
マッピング情報２１は、足元平面上の位置とヘルメット平面上の位置との対応関係を示す情報である。
特徴点情報２２は、特徴点の画像を示す情報である。追跡部１３は、特徴点情報２２を用いて、カメラ２００の画像中の特徴点をパターンマッチングにより検出できる。本実施形態では、検出の容易性に鑑みて、作業員が被るヘルメットを特徴点とする。よって、追跡部１３は、カメラ２００の画像中のヘルメットを検出できるように構成されている。
設定部１１は、カメラ２００から受信した画像に任意形状の平面を設定する。具体的には、設定部１１は、カメラ２００が作業領域を斜め上から撮影した画像において、作業員の足元高さに足元平面を設定する。また、設定部１１は、当該画像において、足元平面よりも高い位置に足元平面に対応する形状のヘルメット平面を設定する。なお、足元平面は、第１平面の一例であり、ヘルメット平面は、第２平面の一例である。
マッピング部１２は、カメラ２００からの画像において、足元平面上の位置とヘルメット平面上の位置との対応関係を記録する（マッピング処理）。
追跡部１３は、ヘルメット平面上で検出した作業員の特徴点を追跡し、マッピング部１２が記録する対応関係に従い、足元平面上での作業員の足元位置を特定する。
マッピング情報２１は、足元平面上の位置とヘルメット平面上の位置との対応関係を示す情報である。
特徴点情報２２は、特徴点の画像を示す情報である。追跡部１３は、特徴点情報２２を用いて、カメラ２００の画像中の特徴点をパターンマッチングにより検出できる。本実施形態では、検出の容易性に鑑みて、作業員が被るヘルメットを特徴点とする。よって、追跡部１３は、カメラ２００の画像中のヘルメットを検出できるように構成されている。
【0015】
［足元平面およびヘルメット平面の設定］
図２に示すように、作業員Ｍを追跡するための事前準備として、設定部１１がカメラ２００からの画像において足元平面３０およびヘルメット平面４０を設定する。具体的には、まず、作業領域の４隅に作業員Ｍを立たせた作業領域をカメラ２００が撮影する。説明の便宜上、作業領域は各辺が５ｍの正方形の平面とする。また、カメラ２００の撮影中心または焦点は、足元平面３０の略中心またはヘルメット平面４０の略中心にあるとする。作業員Ｍの撮影に関しては、例えば、略同じ背丈の４人の作業員Ｍを作業領域の４隅に立たせて撮影してもよい。また、同じ作業員Ｍを作業領域の１隅に立たせて撮影する手順を作業領域の各隅で繰り返し行うようにしてもよい。また、作業員Ｍの代わりにヘルメットＨを被せたマネキンなどを用いてもよい。
次に、設定部１１は、カメラ２００から受信した画像中の各作業員Ｍの足元位置およびヘルメット位置を記録する。例えば、画像処理装置１００を操作する施工管理者が画像に対して４カ所の足元位置をマウス（入力部の具体的手段）で指定することで足元位置を記録できる。また、施工管理者が画像に対して４カ所のヘルメット位置をマウス（入力部の具体的手段）で指定することでヘルメット位置を記録できる。
次に、設定部１１は、記録した４カ所の足元位置を４隅とする足元平面３０を画像中に描画する。例えば、画像に対して４カ所の足元位置を結ぶ線（枠線）を描くことにより、足元平面３０を描画できる。なお、足元平面３０の描画は、施工管理者に視認可能であってもよいし視認不可であってもよい。
次に、設定部１１は、記録した４カ所のヘルメット位置を４隅とするヘルメット平面４０を画像中に描画する。例えば、画像に対して４カ所のヘルメット位置を結ぶ線（枠線）を描くことにより、ヘルメット平面４０を描画できる。なお、ヘルメット平面４０の描画は、施工管理者に視認可能であってもよいし視認不可であってもよい。
以上の手順で、足元平面３０およびヘルメット平面４０の設定が実現される。
図２に示すように、作業員Ｍを追跡するための事前準備として、設定部１１がカメラ２００からの画像において足元平面３０およびヘルメット平面４０を設定する。具体的には、まず、作業領域の４隅に作業員Ｍを立たせた作業領域をカメラ２００が撮影する。説明の便宜上、作業領域は各辺が５ｍの正方形の平面とする。また、カメラ２００の撮影中心または焦点は、足元平面３０の略中心またはヘルメット平面４０の略中心にあるとする。作業員Ｍの撮影に関しては、例えば、略同じ背丈の４人の作業員Ｍを作業領域の４隅に立たせて撮影してもよい。また、同じ作業員Ｍを作業領域の１隅に立たせて撮影する手順を作業領域の各隅で繰り返し行うようにしてもよい。また、作業員Ｍの代わりにヘルメットＨを被せたマネキンなどを用いてもよい。
次に、設定部１１は、カメラ２００から受信した画像中の各作業員Ｍの足元位置およびヘルメット位置を記録する。例えば、画像処理装置１００を操作する施工管理者が画像に対して４カ所の足元位置をマウス（入力部の具体的手段）で指定することで足元位置を記録できる。また、施工管理者が画像に対して４カ所のヘルメット位置をマウス（入力部の具体的手段）で指定することでヘルメット位置を記録できる。
次に、設定部１１は、記録した４カ所の足元位置を４隅とする足元平面３０を画像中に描画する。例えば、画像に対して４カ所の足元位置を結ぶ線（枠線）を描くことにより、足元平面３０を描画できる。なお、足元平面３０の描画は、施工管理者に視認可能であってもよいし視認不可であってもよい。
次に、設定部１１は、記録した４カ所のヘルメット位置を４隅とするヘルメット平面４０を画像中に描画する。例えば、画像に対して４カ所のヘルメット位置を結ぶ線（枠線）を描くことにより、ヘルメット平面４０を描画できる。なお、ヘルメット平面４０の描画は、施工管理者に視認可能であってもよいし視認不可であってもよい。
以上の手順で、足元平面３０およびヘルメット平面４０の設定が実現される。
【0016】
足元平面３０およびヘルメット平面４０はそれぞれ、斜め上から撮影した画像上では異なる平面形状を呈しているが、実際は、高さ位置が異なるのみであり、平面形状は作業領域の平面形状と同じである。
説明の便宜上、図２に示すように、足元平面３０の４隅をそれぞれ点ａ，ｂ，ｃ，ｄとし、ヘルメット平面４０の４隅をそれぞれ点Ａ，Ｂ，Ｃ，Ｄとする。図２に示すように、点Ａに位置するヘルメットＨは、カメラ２００の型式やカメラ２００の設置位置の影響が無ければ、画像において、点ａの上方に存在したはずのヘルメット位置から左方かつ下方にずれている。同様にして、点Ｂに位置するヘルメットＨは、画像において、点ｂの上方に存在したはずのヘルメット位置から右方かつ下方にずれている。点Ｃに位置するヘルメットＨは、画像において、点ｃの上方に存在したはずのヘルメット位置から左方かつ上方にずれている。点Ｄに位置するヘルメットＨは、画像において、点ｄの上方に存在したはずのヘルメット位置から右方かつ上方にずれている。
説明の便宜上、図２に示すように、足元平面３０の４隅をそれぞれ点ａ，ｂ，ｃ，ｄとし、ヘルメット平面４０の４隅をそれぞれ点Ａ，Ｂ，Ｃ，Ｄとする。図２に示すように、点Ａに位置するヘルメットＨは、カメラ２００の型式やカメラ２００の設置位置の影響が無ければ、画像において、点ａの上方に存在したはずのヘルメット位置から左方かつ下方にずれている。同様にして、点Ｂに位置するヘルメットＨは、画像において、点ｂの上方に存在したはずのヘルメット位置から右方かつ下方にずれている。点Ｃに位置するヘルメットＨは、画像において、点ｃの上方に存在したはずのヘルメット位置から左方かつ上方にずれている。点Ｄに位置するヘルメットＨは、画像において、点ｄの上方に存在したはずのヘルメット位置から右方かつ上方にずれている。
【0017】
［マッピング処理］
図３に示すように、作業員Ｍを追跡するための事前準備として、マッピング部１２が足元平面３０およびヘルメット平面４０に対するマッピング処理を行う。具体的には、まず、マッピング部１２は、足元平面３０について、線分ａｂ，ａｃ，ｂｄ，ｃｄの各々を描くのに要する画素数をカウントする。マッピング部１２は、ヘルメット平面４０について、線分ＡＢ，ＡＣ，ＢＤ，ＣＤの各々を描くのに要する画素数をカウントする。画素数のカウントは画像処理に関する周知の技術で実現できる。
次に、マッピング部１２は、点ａに作業員Ｍを仮に立たせた場合に、足元位置に対するヘルメット位置のズレ量を計算する。このズレ量は、画像において、作業員ＭのヘルメットＨが位置する点Ａから下方に足元平面３０を含む地面に到達する点ｅと、点ａとを結ぶ線分ａｅの寸法である。
図３に示すように、作業員Ｍを追跡するための事前準備として、マッピング部１２が足元平面３０およびヘルメット平面４０に対するマッピング処理を行う。具体的には、まず、マッピング部１２は、足元平面３０について、線分ａｂ，ａｃ，ｂｄ，ｃｄの各々を描くのに要する画素数をカウントする。マッピング部１２は、ヘルメット平面４０について、線分ＡＢ，ＡＣ，ＢＤ，ＣＤの各々を描くのに要する画素数をカウントする。画素数のカウントは画像処理に関する周知の技術で実現できる。
次に、マッピング部１２は、点ａに作業員Ｍを仮に立たせた場合に、足元位置に対するヘルメット位置のズレ量を計算する。このズレ量は、画像において、作業員ＭのヘルメットＨが位置する点Ａから下方に足元平面３０を含む地面に到達する点ｅと、点ａとを結ぶ線分ａｅの寸法である。
【0018】
点ｅは、以下の計算で求めることができる。説明の便宜上、線分ａｂを含む直線、線分ＡＢを含む直線が延在する方向を「横」と呼び、線分ａｃを含む直線、線分ＡＣを含む直線が延在する方向を「縦」と呼ぶ。また、線分ａｂの画素数に対する線分ＡＢの画素数の比を「点ａに対する横比」と呼び、線分ａｃの画素数に対する線分ＡＣの画素数の比を「点ａに対する縦比」と呼ぶ。このとき、線分ａｅの横成分：Δｘと線分ａｅの縦成分：Δｙとの比と、「点ａに対する横比」と「点ａに対する縦比」との比が同じになるように、画像において点ｅを定める。このように定めることで、点ｅを、足元平面３０を含む地面に到達する点とすることができる。
【0019】
マッピング部１２は、点ａで示す足元位置に対するヘルメット位置のズレ量の上記計算と同様の計算を、点ｂ，ｃ，ｄに対しても行い、点ｂ，ｃ，ｄで示す足元位置に対するヘルメット位置のズレ量をそれぞれ計算する（図示略）。
マッピング部１２は、点ａ，ｂ，ｃ，ｄで示す足元位置に対するヘルメット位置のズレ量を用いることで、足元平面３０上の任意の足元位置に対する、ヘルメット平面４０上の任意のヘルメット位置のズレ量を計算できる。例えば、線分ａｂについて、点ａで示す足元位置に対するヘルメット位置のズレ量の横成分から、点ｂで示す足元位置に対するヘルメット位置のズレ量の横成分までの変化は線形的な変化になる。このため、マッピング部１２は、線分ａｂ上の任意の点で示す足元位置に対するヘルメット位置のズレ量の横成分を計算できる。線分ｃｄについても、マッピング部１２は、線分ｃｄ上の任意の点で示す足元位置に対するヘルメット位置のズレ量の横成分を計算できる。また、線分ａｃについて、点ａで示す足元位置に対するヘルメット位置のズレ量の縦成分から、点ｃで示す足元位置に対するヘルメット位置のズレ量の縦成分までの変化は線形的な変化になる。このため、マッピング部１２は、線分ａｃ上の任意の点で示す足元位置に対するヘルメット位置のズレ量の縦成分を計算できる。線分ｂｄについても、マッピング部１２は、線分ｂｄ上の任意の点で示す足元位置に対するヘルメット位置のズレ量の縦成分を計算できる。上記に倣うと、足元平面３０の任意の点で示す足元位置に対するヘルメット位置のズレ量は、横成分であっても縦成分であっても、足元平面３０の他の点に対して線形的に変化する。このため、マッピング部１２は、足元平面３０上の任意の足元位置に対する、ヘルメット平面４０上の任意のヘルメット位置のズレ量を計算できる。その結果、マッピング部１２は、足元平面３０上の各点におけるヘルメット位置のズレ量を用いることで、足元平面３０上の位置とヘルメット平面４０上の位置との対応関係を求めることができる。原理的には、足元平面３０上の特定位置に作業員Ｍが立った場合には、当該特定位置に対して計算されるズレ量で示されるヘルメット平面４０上の位置に作業員ＭのヘルメットＨが存在することになるからである。マッピング部１２は、上記対応関係をマッピング情報２１として記録する。マッピング情報２１は、足元平面３０の各点とヘルメット平面４０の各点を１対１に対応付ける役割を果たす。
以上の手順で、足元平面３０およびヘルメット平面４０に対するマッピング処理が実現する。
マッピング部１２は、点ａ，ｂ，ｃ，ｄで示す足元位置に対するヘルメット位置のズレ量を用いることで、足元平面３０上の任意の足元位置に対する、ヘルメット平面４０上の任意のヘルメット位置のズレ量を計算できる。例えば、線分ａｂについて、点ａで示す足元位置に対するヘルメット位置のズレ量の横成分から、点ｂで示す足元位置に対するヘルメット位置のズレ量の横成分までの変化は線形的な変化になる。このため、マッピング部１２は、線分ａｂ上の任意の点で示す足元位置に対するヘルメット位置のズレ量の横成分を計算できる。線分ｃｄについても、マッピング部１２は、線分ｃｄ上の任意の点で示す足元位置に対するヘルメット位置のズレ量の横成分を計算できる。また、線分ａｃについて、点ａで示す足元位置に対するヘルメット位置のズレ量の縦成分から、点ｃで示す足元位置に対するヘルメット位置のズレ量の縦成分までの変化は線形的な変化になる。このため、マッピング部１２は、線分ａｃ上の任意の点で示す足元位置に対するヘルメット位置のズレ量の縦成分を計算できる。線分ｂｄについても、マッピング部１２は、線分ｂｄ上の任意の点で示す足元位置に対するヘルメット位置のズレ量の縦成分を計算できる。上記に倣うと、足元平面３０の任意の点で示す足元位置に対するヘルメット位置のズレ量は、横成分であっても縦成分であっても、足元平面３０の他の点に対して線形的に変化する。このため、マッピング部１２は、足元平面３０上の任意の足元位置に対する、ヘルメット平面４０上の任意のヘルメット位置のズレ量を計算できる。その結果、マッピング部１２は、足元平面３０上の各点におけるヘルメット位置のズレ量を用いることで、足元平面３０上の位置とヘルメット平面４０上の位置との対応関係を求めることができる。原理的には、足元平面３０上の特定位置に作業員Ｍが立った場合には、当該特定位置に対して計算されるズレ量で示されるヘルメット平面４０上の位置に作業員ＭのヘルメットＨが存在することになるからである。マッピング部１２は、上記対応関係をマッピング情報２１として記録する。マッピング情報２１は、足元平面３０の各点とヘルメット平面４０の各点を１対１に対応付ける役割を果たす。
以上の手順で、足元平面３０およびヘルメット平面４０に対するマッピング処理が実現する。
【0020】
［作業員の追跡］
図４に示すように、カメラ２００が撮影した作業員Ｍを追跡する場合、追跡部１３は、特徴点情報２２を用いて、ヘルメット平面４０で作業員ＭのヘルメットＨを特読点として検出する。追跡部１３は、ヘルメットＨを検出した場合、画像において、ヘルメット画像部分を囲む囲み線４１を表示できる。作業員Ｍが作業領域内を移動した場合、追跡部１３は、ヘルメットＨの検出を継続でき、作業員Ｍを追跡できる。
追跡部１３は、マッピング情報２１が示す対応関係に従い、ヘルメット平面４０上で検出したヘルメットＨに対して、足元平面３０上での作業員Ｍの足元位置を特定できる。作業員Ｍが作業領域内を移動した場合、追跡部１３は、マッピング情報２１が示す対応関係に従い、足元平面３０上での作業員Ｍの足元位置を追跡できる。
図４に示すように、カメラ２００が撮影した作業員Ｍを追跡する場合、追跡部１３は、特徴点情報２２を用いて、ヘルメット平面４０で作業員ＭのヘルメットＨを特読点として検出する。追跡部１３は、ヘルメットＨを検出した場合、画像において、ヘルメット画像部分を囲む囲み線４１を表示できる。作業員Ｍが作業領域内を移動した場合、追跡部１３は、ヘルメットＨの検出を継続でき、作業員Ｍを追跡できる。
追跡部１３は、マッピング情報２１が示す対応関係に従い、ヘルメット平面４０上で検出したヘルメットＨに対して、足元平面３０上での作業員Ｍの足元位置を特定できる。作業員Ｍが作業領域内を移動した場合、追跡部１３は、マッピング情報２１が示す対応関係に従い、足元平面３０上での作業員Ｍの足元位置を追跡できる。
【0021】
［処理］
図５に示すように、画像処理装置１００は、カメラ２００が撮影した画像に対し、以下の処理を実行する。すなわち、まず、設定部１１が平面設定処理を行い、足元平面３０おおびヘルメット平面４０を設定する（ステップＳ１）。次に、マッピング部１２がマッピング処理を行い、足元平面３０上の位置とヘルメット平面４０上の位置との対応関係を求める（ステップＳ２）。作業領域内で作業員Ｍによる作業が開始した後、追跡部１３が追跡処理を行い、作業員Ｍの足元位置を特定しつつ作業員Ｍを追跡する（ステップＳ３）。
図５に示すように、画像処理装置１００は、カメラ２００が撮影した画像に対し、以下の処理を実行する。すなわち、まず、設定部１１が平面設定処理を行い、足元平面３０おおびヘルメット平面４０を設定する（ステップＳ１）。次に、マッピング部１２がマッピング処理を行い、足元平面３０上の位置とヘルメット平面４０上の位置との対応関係を求める（ステップＳ２）。作業領域内で作業員Ｍによる作業が開始した後、追跡部１３が追跡処理を行い、作業員Ｍの足元位置を特定しつつ作業員Ｍを追跡する（ステップＳ３）。
【0022】
第１実施形態によれば、カメラ２００の撮影画像に対して、作業員Ｍの足元位置に関する足元平面３０と、作業員Ｍの特徴点に関するヘルメット平面４０とが対応付けられるので、特徴点であるヘルメットＨを検出した場合、カメラ２００の型式やカメラの設置位置に依存することなく、作業領域での作業員Ｍの足元を正確に捉えることができる。
【0023】
［第２実施形態］
第２実施形態の説明の際、第１実施形態と重複する説明は概ね省略し、相違点について説明する。図６に示すように、設定部１１は、足元平面３０およびヘルメット平面４０を設定する。
第２実施形態の説明の際、第１実施形態と重複する説明は概ね省略し、相違点について説明する。図６に示すように、設定部１１は、足元平面３０およびヘルメット平面４０を設定する。
【0024】
［マッピング処理］
図６に示すように、作業員Ｍを追跡するための事前準備として、マッピング部１２が足元平面３０およびヘルメット平面４０に対するマッピング処理を行う。具体的には、まず、マッピング部１２は、足元平面３０について、線分ａｂ，ａｃ，ｂｄ，ｃｄの各々を、例えば、１０等分し、１００（＝１０×１０）個のメッシュを作成する。マッピング部１２は、足元平面３０の各メッシュに番号を割り当てる。例えば、図６に示すように、足元平面３０の左下隅のメッシュに番号「１」を割り当て、各メッシュに順次番号を割り当て、最終的に右上隅のメッシュに番号「１００」を割り当てる。
次に、マッピング部１２は、ヘルメット平面４０について、線分ＡＢ，ＡＣ，ＢＤ，ＣＤの各々を、例えば、１０等分し、１００（＝１０×１０）個のメッシュを作成する。マッピング部１２は、ヘルメット平面４０の各メッシュに番号を割り当てる。例えば、図６に示すように、ヘルメット平面４０の左下隅のメッシュに番号「１」を割り当て、各メッシュに順次番号を割り当て、最終的に右上隅のメッシュに番号「１００」を割り当てる。
次に、マッピング部１２は、足元平面３０の各メッシュに対して、番号が同じとなる、ヘルメット平面４０の各メッシュを対応付ける。つまり、例えば、マッピング部１２は、足元平面３０の「５３」番目のメッシュと、ヘルメット平面４０の「５３」番目のメッシュとを対応付ける。
図６に示すように、作業員Ｍを追跡するための事前準備として、マッピング部１２が足元平面３０およびヘルメット平面４０に対するマッピング処理を行う。具体的には、まず、マッピング部１２は、足元平面３０について、線分ａｂ，ａｃ，ｂｄ，ｃｄの各々を、例えば、１０等分し、１００（＝１０×１０）個のメッシュを作成する。マッピング部１２は、足元平面３０の各メッシュに番号を割り当てる。例えば、図６に示すように、足元平面３０の左下隅のメッシュに番号「１」を割り当て、各メッシュに順次番号を割り当て、最終的に右上隅のメッシュに番号「１００」を割り当てる。
次に、マッピング部１２は、ヘルメット平面４０について、線分ＡＢ，ＡＣ，ＢＤ，ＣＤの各々を、例えば、１０等分し、１００（＝１０×１０）個のメッシュを作成する。マッピング部１２は、ヘルメット平面４０の各メッシュに番号を割り当てる。例えば、図６に示すように、ヘルメット平面４０の左下隅のメッシュに番号「１」を割り当て、各メッシュに順次番号を割り当て、最終的に右上隅のメッシュに番号「１００」を割り当てる。
次に、マッピング部１２は、足元平面３０の各メッシュに対して、番号が同じとなる、ヘルメット平面４０の各メッシュを対応付ける。つまり、例えば、マッピング部１２は、足元平面３０の「５３」番目のメッシュと、ヘルメット平面４０の「５３」番目のメッシュとを対応付ける。
【0025】
上記の通り、足元平面３０およびヘルメット平面４０の双方に対して、メッシュへの番号の割り当て方が同じである。このため、原理的には、足元平面３０の特定番号のメッシュに作業員Ｍが立った場合には、当該特定番号と同じ番号が割り当てられた、ヘルメット平面４０のメッシュが示す位置に作業員ＭのヘルメットＨが存在する。マッピング部１２は、足元平面３０およびヘルメット平面４０に対して、同じ番号のメッシュ同士を対応付けた対応関係をマッピング情報２１として記録する。
以上の手順で、足元平面３０およびヘルメット平面４０に対するマッピング処理が実現する。
以上の手順で、足元平面３０およびヘルメット平面４０に対するマッピング処理が実現する。
【0026】
［作業員の追跡］
カメラ２００が撮影した作業員Ｍを追跡する場合、追跡部１３は、特徴点情報２２を用いて、ヘルメット平面４０で作業員ＭのヘルメットＨを特読点として検出する。追跡部１３は、マッピング情報２１が示す対応関係に従い、ヘルメット平面４０の特定番号のメッシュ（１つでもよいし複数でもよい）で検出したヘルメットＨに対して、同じ番号の足元平面３０のメッシュを求める。追跡部１３は、足元平面３０の当該メッシュの位置を、足元平面３０上での作業員Ｍの足元位置として特定できる。作業員Ｍが作業領域内を移動した場合、追跡部１３は、マッピング情報２１が示す対応関係に従い、足元平面３０上での作業員Ｍの足元位置を追跡できる。
なお、足元平面３０およびヘルメット平面４０の双方に対して、メッシュの数を多くすることで、ヘルメット平面４０上でのヘルメット位置の検出の精度を向上でき、足元平面３０上での足元位置の検出精度を向上できる。第２実施形態では、足元平面３０およびヘルメット平面４０の対応関係は、メッシュによる面単位となるが、メッシュの数を多くして各メッシュの寸法を十分小さくすれば、実質的に点単位の対応関係を構成できる。
カメラ２００が撮影した作業員Ｍを追跡する場合、追跡部１３は、特徴点情報２２を用いて、ヘルメット平面４０で作業員ＭのヘルメットＨを特読点として検出する。追跡部１３は、マッピング情報２１が示す対応関係に従い、ヘルメット平面４０の特定番号のメッシュ（１つでもよいし複数でもよい）で検出したヘルメットＨに対して、同じ番号の足元平面３０のメッシュを求める。追跡部１３は、足元平面３０の当該メッシュの位置を、足元平面３０上での作業員Ｍの足元位置として特定できる。作業員Ｍが作業領域内を移動した場合、追跡部１３は、マッピング情報２１が示す対応関係に従い、足元平面３０上での作業員Ｍの足元位置を追跡できる。
なお、足元平面３０およびヘルメット平面４０の双方に対して、メッシュの数を多くすることで、ヘルメット平面４０上でのヘルメット位置の検出の精度を向上でき、足元平面３０上での足元位置の検出精度を向上できる。第２実施形態では、足元平面３０およびヘルメット平面４０の対応関係は、メッシュによる面単位となるが、メッシュの数を多くして各メッシュの寸法を十分小さくすれば、実質的に点単位の対応関係を構成できる。
【0027】
第２実施形態によれば、足元平面３０上の任意の足元位置に対する、ヘルメット平面４０上の任意のヘルメット位置のズレ量を、同じ番号が割り当てられた、足元平面３０のメッシュおよびヘルメット平面４０のメッシュの対応付けとして把握できる。よって、特徴点であるヘルメットＨを検出した場合、カメラ２００の型式やカメラの設置位置に依存することなく、作業領域での作業員Ｍの足元を正確に捉えることができる。
【0028】
［変形例］
（ａ）：足元平面３０およびヘルメット平面４０は、四角形に限らず、多角形でもよいし、円、楕円などでもよく、任意形状の平面でもよい。
（ｂ）：特徴点は、ヘルメットに限らず、例えば、反射チョッキ、自然界に無い色で塗られた安全帯でもよいし、作業員が身に着ける衣類にカラーバーコードを付したものでもよい。
（ｃ）：本実施形態による作業員の追跡を、コンクリート打設管理やプロット管理に応用できる。
（ｄ）：設定部１１が足元平面３０およびヘルメット平面４０を設定する際、撮影対象の作業員の姿勢は、直立でなくてもよい。例えば、コンクリート打設作業時に構える少しかがんだ姿勢でもよい。設定部１１は、作業員の姿勢に合わせて、足元平面３０およびヘルメット平面４０を設定できる。
（ｅ）：設定部１１は、撮影対象の作業領域に障害物があっても、その障害物を包含するように足元平面３０およびヘルメット平面４０を設定できる。設定部１１は、作業領域が凹凸していても、足元平面３０およびヘルメット平面４０を設定できる。
（ａ）：足元平面３０およびヘルメット平面４０は、四角形に限らず、多角形でもよいし、円、楕円などでもよく、任意形状の平面でもよい。
（ｂ）：特徴点は、ヘルメットに限らず、例えば、反射チョッキ、自然界に無い色で塗られた安全帯でもよいし、作業員が身に着ける衣類にカラーバーコードを付したものでもよい。
（ｃ）：本実施形態による作業員の追跡を、コンクリート打設管理やプロット管理に応用できる。
（ｄ）：設定部１１が足元平面３０およびヘルメット平面４０を設定する際、撮影対象の作業員の姿勢は、直立でなくてもよい。例えば、コンクリート打設作業時に構える少しかがんだ姿勢でもよい。設定部１１は、作業員の姿勢に合わせて、足元平面３０およびヘルメット平面４０を設定できる。
（ｅ）：設定部１１は、撮影対象の作業領域に障害物があっても、その障害物を包含するように足元平面３０およびヘルメット平面４０を設定できる。設定部１１は、作業領域が凹凸していても、足元平面３０およびヘルメット平面４０を設定できる。
【0029】
（ｆ）：本実施形態で説明した種々の技術を適宜組み合わせた技術を実現することもできる。
（ｇ）：本実施形態で説明したソフトウェアをハードウェアとして実現することもでき、ハードウェアをソフトウェアとして実現することもできる。
（ｈ）：その他、ハードウェア、ソフトウェア、フローチャートなどについて、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
（ｇ）：本実施形態で説明したソフトウェアをハードウェアとして実現することもでき、ハードウェアをソフトウェアとして実現することもできる。
（ｈ）：その他、ハードウェア、ソフトウェア、フローチャートなどについて、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【符号の説明】
【0030】
１００ 画像処理装置
２００ カメラ
１１ 設定部
１２ マッピング部
１３ 追跡部
２１ マッピング情報
２２ 特徴点情報
３０ 足元平面
４０ ヘルメット平面
Ｍ 作業員
Ｈ ヘルメット
２００ カメラ
１１ 設定部
１２ マッピング部
１３ 追跡部
２１ マッピング情報
２２ 特徴点情報
３０ 足元平面
４０ ヘルメット平面
Ｍ 作業員
Ｈ ヘルメット
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】