特許 6368503 障害物監視システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6368503

(24)【登録日】2018年7月13日

(45)【発行日】2018年8月1日

(54)【発明の名称】障害物監視システム及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20180723BHJP

【ＦＩ】

   H04N7/18 D

【請求項の数】7

【全頁数】14

(21)【出願番号】特願2014-38963(P2014-38963)

(22)【出願日】2014年2月28日

(65)【公開番号】特開2015-162886(P2015-162886A)

(43)【公開日】2015年9月7日

【審査請求日】2017年2月28日

(73)【特許権者】

【識別番号】592184706

【氏名又は名称】東芝ロジスティクス株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100109830

【弁理士】

【氏名又は名称】福原 淑弘

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100140176

【弁理士】

【氏名又は名称】砂川 克

(74)【代理人】

【識別番号】100158805

【弁理士】

【氏名又は名称】井関 守三

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100124394

【弁理士】

【氏名又は名称】佐藤 立志

(74)【代理人】

【識別番号】100112807

【弁理士】

【氏名又は名称】岡田 貴志

(74)【代理人】

【識別番号】100111073

【弁理士】

【氏名又は名称】堀内 美保子

(72)【発明者】

【氏名】李 倍

(72)【発明者】

【氏名】山口 安昭

(72)【発明者】

【氏名】関 啓明

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開２０１０−２４８７７７（ＪＰ，Ａ）

【文献】 特開２００８−１４４３７９（ＪＰ，Ａ）

【文献】 特開２０１３−１２０１７６（ＪＰ，Ａ）

【文献】 特開平０６−３４７２２０（ＪＰ，Ａ）

【文献】 特開２０１２−０３０９４９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

支持部材、前記支持部材に対し略同一方向に向けて離間して設置し、追跡対象物及び当該追跡対象物の障害となる可能性を有する障害物を含む範囲を撮像する複数の撮像手段、前記支持部材の傾斜角度を検出する角度検出手段、及び、前記複数の撮像手段で得た画像情報及び前記角度検出手段で検出した角度情報を送信する送信手段を有するカメラ装置と、
画像を表示する表示手段、前記送信手段が送信した画像情報及び角度情報を受信する受信手段、前記受信手段で受信した画像情報を用いて追跡対象物及び障害物の位置を設定する設定手段、前記設定手段で設定した内容に基づき、前記画像情報と前記角度情報から前記追跡対象物と前記障害物の３次元空間での位置関係を算出する演算手段、及び、前記演算手段で算出した前記追跡対象物と前記障害物の３次元空間での位置関係を示す情報を前記撮像手段で得た画像情報と共に前記表示手段で表示させる表示制御手段を有する表示装置と
を備え、前記演算手段は、前記追跡対象物及び障害物の少なくとも一方が移動体である場合に、時間軸に沿った３次元空間での位置関係の変化から一定時間後の位置関係の予測値を算出することを特徴とする障害物監視システム。

【請求項2】

前記設定手段は、障害物として実画像にない高さ情報を設定することを特徴とする請求項１記載の障害物監視システム。

【請求項3】

前記設定手段は、追跡対象物及び障害物の位置をそれぞれ幾何学的形状及びその特徴点として設定することを特徴とする請求項１または２記載の障害物監視システム。

【請求項4】

前記表示装置は、前記表示手段で表示される障害物を指定する第２の指定手段をさらに有し、
前記表示制御手段は、前記撮像手段で得た画像情報と、前記設定手段で設定した内容から作成した、追跡対象物及び前記第２の指定手段で指定した障害物の幾何学的な２次元または３次元のモデリング画像とを前記表示手段で表示させる
ことを特徴とする請求項３記載の障害物監視システム。

【請求項5】

前記表示装置は、前記追跡対象物と障害物間の距離の閾値を設定する閾値設定手段をさらに有し、
前記演算手段は、前記追跡対象物と前記障害物の３次元空間での距離を前記閾値設定手段で設定した距離の閾値と比較してその比較結果を算出し、
前記表示制御手段は、前記演算手段が算出した、前記閾値との比較結果を前記表示手段で表示する
ことを特徴とする請求項１乃至４いずれか記載の障害物監視システム。

【請求項6】

前記表示装置は、前記画像情報中の追跡対象物とその背景を含む部分範囲の画像パターンをテンプレート画像として記憶する記憶手段をさらに有し、
前記演算手段は、前記受信手段で得た画像情報中の追跡対象物の位置を、前記記憶手段で記憶するテンプレート画像とのパターンマッチング処理により認識する
ことを特徴とする請求項１乃至５いずれか記載の障害物監視システム。

【請求項7】

支持部材、前記支持部材に対し略同一方向に向けて離間して設置し、追跡対象物及び当該追跡対象物の障害となる可能性を有する障害物を含む範囲を撮像する複数のカメラ部、前記支持部材の傾斜角度を検出する角度検出部、及び、前記複数のカメラで得た画像情報及び前記角度検出部で検出した角度情報を送信する送信部を備えたカメラ装置と接続され、画像を表示する表示部を備えた装置が内蔵するコンピュータが実行するプログラムであって、
前記送信部が送信した画像情報及び角度情報を受信する受信ステップと、
前記受信ステップで受信した画像情報を用いて追跡対象物及び障害物の位置を設定する設定ステップと、
前記設定ステップで設定した内容に基づき、前記画像情報と前記角度情報から前記追跡対象物と前記障害物の３次元空間での位置関係を算出する演算ステップと、
前記演算ステップで算出した前記追跡対象物と前記障害物の３次元空間での位置関係を示す情報を前記カメラで得た画像情報と共に前記表示部で表示させる表示制御ステップと
を前記コンピュータに実行させ、前記演算ステップは、前記追跡対象物及び障害物の少なくとも一方が移動体である場合に、時間軸に沿った３次元空間での位置関係の変化から一定時間後の位置関係の予測値を算出することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば建設現場での重機の運用等に好適な障害物監視システム及びプログラムに関する。

【背景技術】

【0002】

クレーン作業中に多い事故の１つに、クレーンブームが送電線や建物等の障害物に接触する事故がある。クレーンの操縦者以外に監視者等も配置される例も多いが、肉眼では高所にある物の位置関係を把握することは難しい。ブームの角度や長さを検出するセンサを備えているクレーンの場合でも、障害物との距離は分からない。

【0003】

レーザ光を面状に走査し、その走査面へのクレーンブームの侵入を検出するようなシステムも考えられるが、そのようなシステムでは検出する走査面の数だけレーザ発光器を設置しなくてはならず、システム構成が大がかりでコストが増大する。

【0004】

クレーンブームの先端に障害物を検出するセンサを取付けることも考えられるが、数多い既存のクレーンに対応させることは困難である。

【0005】

また、異なる対象の障害物であるが、歩行者と自動車等との衝突を有効に回避し得る携帯型警報装置として、例えばランドセルに左右方向を監視するレーダを設け、障害物が高速で近づいてきた場合を判断し、警報音を出力すると共に、障害物が存在する方向に対応した光学表示器や振動装置を作動させるようにした技術が提案されている。（例えば、特許文献１）

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００７−００４２８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

前記特許文献に記載された技術をクレーンに応用する場合も、前述した場合と同様に、数多い既存のクレーンに対応させることは困難となる。

【0008】

本発明は前記のような実情に鑑みてなされたもので、その目的とするところは、可搬性と汎用性に優れ、クレーン装置等の追跡対象物と障害物との位置関係を外部から正確に把握することが可能な障害物監視システム及びプログラムを提供することにある。

【課題を解決するための手段】

【0009】

本発明の障害物監視システムは、支持部材、前記支持部材に対し略同一方向に向けて離間して設置し、追跡対象物及び当該追跡対象物の障害となる可能性を有する障害物を含む範囲を撮像する複数の撮像手段、前記支持部材の傾斜角度を検出する角度検出手段、及び、前記複数の撮像手段で得た画像情報及び前記角度検出手段で検出した角度情報を送信する送信手段を有するカメラ装置と、画像を表示する表示手段、前記送信手段が送信した画像情報及び角度情報を受信する受信手段、前記受信手段で受信した画像情報を用いて追跡対象物及び障害物の位置を設定する設定手段、前記設定手段で設定した内容に基づき、前記画像情報と前記角度情報から前記追跡対象物と前記障害物の３次元空間での位置関係を算出する演算手段、及び、前記演算手段で算出した前記追跡対象物と前記障害物の３次元空間での位置関係を示す情報を前記撮像手段で得た画像情報と共に前記表示手段で表示させる表示制御手段を有する表示装置とを備え、前記演算手段は、前記追跡対象物及び障害物の少なくとも一方が移動体である場合に、時間軸に沿った３次元空間での位置関係の変化から一定時間後の位置関係の予測値を算出することを特徴とする。

【0010】

本発明のプログラムは、支持部材、前記支持部材に対し略同一方向に向けて離間して設置し、追跡対象物及び当該追跡対象物の障害となる可能性を有する障害物を含む範囲を撮像する複数のカメラ部、前記支持部材の傾斜角度を検出する角度検出部、及び、前記複数のカメラで得た画像情報及び前記角度検出部で検出した角度情報を送信する送信部を備えたカメラ装置と接続され、画像を表示する表示部を備えた装置が内蔵するコンピュータが実行するプログラムであって、前記送信部が送信した画像情報及び角度情報を受信する受信ステップと、前記受信ステップで受信した画像情報を用いて追跡対象物及び障害物の位置を設定する設定ステップと、前記設定ステップで設定した内容に基づき、前記画像情報と前記角度情報から前記追跡対象物と前記障害物の３次元空間での位置関係を算出する演算ステップと、前記演算ステップで算出した前記追跡対象物と前記障害物の３次元空間での位置関係を示す情報を前記カメラで得た画像情報と共に前記表示部で表示させる表示制御ステップとを前記コンピュータに実行させ、前記演算ステップは、前記追跡対象物及び障害物の少なくとも一方が移動体である場合に、時間軸に沿った３次元空間での位置関係の変化から一定時間後の位置関係の予測値を算出することを特徴とする。

【発明の効果】

【0011】

本発明によれば、可搬性と汎用性に優れ、クレーン装置等の追跡対象物と障害物との位置関係を外部から正確に把握することが可能となる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態に係る障害物監視システムの設置環境の一例を示す図。

【図2】同実施形態に係るカメラ装置と表示装置であるＰＣの具体的な外見構成を示す図。

【図3】同実施形態に係るＰＣに予めインストールしたプログラムに基づく監視動作の処理内容を示すフローチャート。

【図4】同実施形態に係るＰＣのディスプレイ上で表示される監視画像と３Ｄモデリング画像とを例示する図。

【発明を実施するための形態】

【0013】

以下、本発明を障害物監視システムに適用した場合の一実施形態について図面を参照して詳細に説明する。

【0014】

図１は、同システムを建設工事現場で運用する場合の設置環境の一例を示す。同図では、建築工事現場全体を見渡せる位置にカメラ装置１０を設置した上で、このカメラ装置１０により得た画像等を、表示装置としてのパーソナルコンピュータ（以下「ＰＣ」）２０で受信し、後述するモニタリングプログラムにより監視者ＯＢが運用状況を監視している状態を示す。

【0015】

カメラ装置１０で撮像する工事現場においては、クレーン車ＣＬが作業中であり、ＰＣ２０では画面に映し出される画像中の、クレーンブームＣＢの先端位置を第１の追跡対象物である追跡点ＴＰ１、同クレーンブームにより吊り下げられている資材ＭＴの、接触等が起こる可能性の高い１点を第２の追跡対象物である追跡点ＴＰ２としてそれぞれ設定するものとする。

【0016】

同様に、ＰＣ２０の画面で映し出す画像中、前記追跡対象物との干渉を回避するための障害物として、電線ＥＣ上の注意点ＡＰ１、家屋ＨＳの最も工事現場側に張り出した注意点ＡＰ２を設定するものとする。

【0017】

これら各障害物は、設定時に障害物の形状を幾何学的形状として併せて指定することで、数少ない特徴点の位置指定によりそれぞれの設定を簡略化することができる。

【0018】

例えば、電線ＥＣは、工事現場範囲内で映り込んでいる画像中、自重により最も落ち込んでいる位置を注意点ＡＰ１としてその他の線上の数点を合わせて位置指定すると共に、それらが「線」であることを形状として指定することにより、横方向に延在した曲線形状の電線ＥＣを認識できる。

【0019】

したがって、その電線ＥＣに対して、接近時に注意を促す注意距離ＴＤ１を閾値として設定することで、前記電線ＥＣを軸とした半径ＴＤ１の円筒状の範囲が、前記追跡点ＴＰ１，ＴＰ２が侵入した場合に注意を促す範囲となる。

【0020】

同様に、家屋ＨＳにおいては、工事現場範囲内で映り込んでいる画像中、工事現場側に張り出している注意点ＡＰ２ともう一点を併せて位置指定すると共に、それらが地面に鉛直な「面」であることを形状として指定することにより、前記２点を含む、地面に鉛直な面形状の家屋ＨＳの一壁面を認識できる。

【0021】

したがって、その家屋ＨＳの一壁面に対して、接近時に注意を促す注意距離ＴＤ２を閾値として設定することで、前記家屋ＨＳの一壁面と平行で距離ＴＤ２だけ離れた平面が、前記追跡点ＴＰ１，ＴＰ２が侵入した場合に注意を促す境界面となる。

【0022】

なお本実施形態では、実像にはない、地表面から作業可能な水平面の高さの範囲も設定できる。これは、例えば空港近郊での作業現場により、航空障害となる地面からの高さが設定されているような場合に有効となる。

【0023】

図２は、前記カメラ装置１０と表示装置であるＰＣ２０の具体的な外見構成を示す図である。カメラ装置１０は、例えばカメラ用の三脚１１の雲台に対して支持アーム１２を取り付けて構成される。この支持アーム１２の両端に、それぞれカメラ１３，１４を配設してステレオカメラを実現する。

【0024】

これらカメラ１３，１４の各撮影光軸は、支持アーム１２の軸に対してそれぞれ直交し、且つ互いの撮影光軸が同一方向に向いて平行となるように調整されている。さらに支持アーム１２の略中央には、この支持アーム１２の姿勢角度を検出するための傾斜センサ１５が配設される。傾斜センサ１５は、例えば３軸加速度センサで構成される。

【0025】

前記支持アーム１２に配設されたカメラ１３，１４での撮像により得られる画像信号、及び傾斜センサ１５で得られる姿勢角信号は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルでの有線接続により前記ＰＣ２０に送られて、ＰＣ２０側で処理される。

【0026】

ＰＣ２０は、これらの各入力信号を、後述するモニタリングプログラムにより時間的に継続して処理することにより、３次元空間における被撮影対象である前記追跡点ＴＰ１，ＴＰ２や注意点ＡＰ１，ＡＰ２の位置を把握することが可能となる。

【0027】

なお本実施形態では、水平方向に延在する前記電線ＥＣをより正確に認識するために、カメラ装置１０の支持アーム１２はその軸方向が図示するように鉛直に立てた状態から多少傾斜させた状態で設置させる。その結果、例えば支持アーム１２の上方に位置するステレオカメラ１３と、同下方に位置するステレオカメラ１４は、設置場所の地面の傾斜による影響もあるが、共に撮影光軸が例えば４５°〜６０°程度の仰角を持って設置され、互いの視差を有効に活用して、精度良く前記電線ＥＣの位置を把握できることになる。

【0028】

この場合、例えば傾斜センサ１５を構成する３軸加速度センサの出力から重力加速度成分を検出することで、設置位置の地面が傾斜している場合でも、前記検出結果から水平面を正しく認識することができる。

【0029】

またカメラ装置１０からＰＣ２０に送信する各信号に関しては、有線接続ではなく、例えばＩＥＥＥ８０２．１１ａ／１１ｂ／１１ｇ／１１ｎ（Ｗｉ−Ｆｉ（登録商標））規格に則った無線ＬＡＮ技術による送信ユニットをカメラ装置１０側に設け、無線通信によりＰＣ２０側に伝送することも同様に実現できる。

【0030】

なお、前記ステレオカメラ１３，１４、傾斜センサ１５、及びＰＣ２０の各ハードウェア回路の構成自体はきわめて周知の技術であるため、それらの図示及び説明は省略するものとする。

【0031】

次に前記実施形態の動作について説明する。
図３は、カメラ装置１０及び表示装置であるＰＣ２０を建設工事現場に設置した状態から開始する、前記ＰＣ２０に予めインストールしたプログラムに基づく監視動作を示すフローチャートである。当該動作は、ＰＣ２０内のＣＰＵがハードディスク装置等の記録媒体から読出したプログラムをメインメモリ上に展開した上で実行する。その動作開始当初、ＰＣ２０ではカメラ装置１０の傾斜センサ１５から３次元空間内での支持アーム１２の傾斜角度の情報を取得する（ステップＳ１０１）。

【0032】

次にＰＣ２０では、監視者ＯＢ等により予めＰＣ２０内のハードディスク装置等の記憶媒体に記憶させておいた、カメラ装置１０に関するキャリブレーションデータ群を読出す（ステップＳ１０２）。キャリブレーションの方法自体は一般的に多くの方法があるが、ここで読出すキャリブレーションデータ群の一例を挙げてみる。
カメラ１３のレンズの焦点距離：ｅｘ）３．５［ｍｍ］
カメラ１３の撮像素子の対角サイズ：ｅｘ）１／２［ｉｎｃｈ］
カメラ１３の撮像素子の画像サイズ：ｅｘ）横２０４８画素×縦１５３６画素
カメラ１４のレンズの焦点距離：ｅｘ）３．５［ｍｍ］
カメラ１４の撮像素子の対角サイズ：ｅｘ）１／２［ｉｎｃｈ］
カメラ１４の撮像素子の画像サイズ：ｅｘ）横２０４８画素×縦１５３６画素
カメラ１３，１４（の各撮影光軸）間の距離：ｅｘ）１２００［ｍｍ］
カメラ１３の画像中心のＸ，Ｙ方向の座標値、
カメラ１４の画像中心のＸ，Ｙ方向の座標値、
基準座標（地面）からのカメラ１３の姿勢（Ｘ，Ｙ，Ｚ軸周りの回転角）、
基準座標（地面）からのカメラ１４の姿勢（Ｘ，Ｙ，Ｚ軸周りの回転角）。

【0033】

前述したように一例として挙げた前記キャリブレーションデータ群を得る方法としては、まず同一のカメラ１３，１４のセッティング状態で、事前に既知の画像、すなわち視差を生じない、十分に遠方の画像を撮影し、２台のカメラの画像が一致するように２台のカメラの焦点距離の比と姿勢の差（Ｘ，Ｙ，Ｚ軸周りの回転角）を、例えば全探索により求める。

【0034】

その後、同一のセッティング状態で、今度は視差を生じる画像を撮影し、画像中で分かっている位置がどこに写るかを数十点計測し、計算される位置が真の位置に近づくようにして求めることで、前記キャリブレーションデータ群を取得できる。

【0035】

キャリブレーションデータ群の算出には、例えば乱数による組合せを初期値として、最急降下法を用いて収束させる。収束後の位置誤差が小さくなるまで、乱数による組合せを変えて繰返す。

【0036】

前記キャリブレーションデータ群を現場で使用するには、事前に少なくとも１回のキャリブレーション（補正）を行なっておく必要がある。

【0037】

キャリブレーションのパラメータとしては、２台のカメラ１３，１４間の相対的な姿勢を保持しており、同カメラ（座標）を基準として測定した３次元位置を傾斜センサの姿勢角を用いて、基準座標（地面）を基準とする３次元位置に変更する。

【0038】

その後、カメラ１３，１４での撮影により得られる画像をＰＣ２０のディスプレイで表示させた上で、画面中の任意のポイント位置を指定することで、全追跡点、全注意点とその幾何学図形を指定する（ステップＳ１０３）。
以上で監視のための初期動作を完了し、カメラ１３，１４の撮影に基づくモニタリング処理を開始する（ステップＳ１０４）。その当初、まず前記ステップＳ１０３で設定した追跡点に対し、その点位置を含む所定サイズの矩形範囲を第１のテンプレート画像として保持、設定する（ステップＳ１０５）。

【0039】

以後、予め設定されたフレームレート、例えば１２［フレーム／秒］であれば約８３［ミリ秒］周期で撮影タイミングとなるのを待機する（ステップＳ１０６）。

【0040】

撮影タイミングとなったと判断した場合（ステップＳ１０６のＹＥＳ）、ＰＣ２０ではカメラ１３，１４による撮影を実行する（ステップＳ１０７）。得た画像データから各追跡点と各注意点の位置に関する認識を行ない、その認識結果と１フレーム前の同データを用いて、１フレーム後の時点での３次元空間内の追跡点の位置と注意点との相対位置関係を予測値として演算する（ステップＳ１０８）。

【0041】

この場合、特に追跡点の位置の認識に際しては、その時点で設定されているテンプレート画像を用いてパターンマッチングにより類似度が高い位置を探索する。

【0042】

そして、前記算出結果である位置関係の数値を撮影画像の対応する追跡点位置、注意点位置に重畳した画像を作成する一方で、併せてその時点で追跡点と注意点の幾何学図形の相対的な位置関係を３次元（３Ｄ）空間でモデリングしたグラフィック画像を作成し、これら作成した２つの画像を同一ディスプレイ内に別ウィンドウとして同時に表示する（ステップＳ１０９）。

【0043】

図４は、このときＰＣ２０のディスプレイ上で表示される画像を例示する図である。同図では、画面の左下側から中央を含んでそのほとんど全面で、第１のウィンドウＷ１として監視画像と付随データを表示する一方で、画面の右下側の小さな範囲で、第２のウィンドウＷ２としてグラフィック画像による３Ｄモデリング画像を表示している。

【0044】

前記第１のウィンドウＷ１の監視画像においては、左側２／３以上の領域を使って、前記図１で示した例とは異なる、追跡点ＴＰ１と注意点ＡＰ１〜ＡＰ３を含んだ実監視画像を表示している。追跡点ＴＰ１においては、その３次元空間での仮想座標値（(ｘ＝)−１．４，(ｙ＝)＋２７．２，(ｚ＝)＋２６．０）の例を用いている。さらに後述する如く同様の処理を時間的に連続して繰返すことにより、追跡点１の移動軌跡を合わせて表示している。

【0045】

また、同第１のウィンドウＷ１の右側では、前述した追跡点の前記３次元空間内での仮想座標値に加えて、前記注意点ＡＰ１〜ＡＰ３を含む注意面までの距離と、地表面からの実像にはない水平面での上限高さを設定した管理高、例えば４５．０［ｍ］に対する現在の追跡対象点ＴＰ１からの高さ（ｙ）方向の距離１７．８［ｍ］、前記図１の注意距離ＴＤ１，ＴＤ２に該当する一律の注意距離２．０［ｍ］、カメラ装置１０の２台のカメラ１３，１４の中間高さ０．８［ｍ］、カメラ１３，１４の撮影光軸に対する水平角との各値を表示すると共に、画像の記録、追跡の停止または再開、全動作の終了を指示するための各種指示項目を表示している。

【0046】

さらに、同第１のウィンドウＷ１の右端において、追跡対象点ＴＰ１をより正確に認識するための、後述するテンプレート画像をいくつか、例えば５つ表示しており、その時点で選択しているテンプレート画像を他のテンプレート画像と区別するべく、例えば枠線を付加して表示する。

【0047】

一方の第２のウィンドウＷ２では、追跡点の点位置と、各注意点を含むそれぞれ指定した幾何学形状との位置関係がグラフィック画像により３Ｄモデリング画像で表示される。このモデリング画像は、３Ｄに限らず、平面化した２次元（２Ｄ）としても切換て表示させることが可能であると共に、視点位置も前記カメラ装置１０の位置から見た画像のみならず、任意の位置に移動させて、表示される画像を回転させることが可能となる。

【0048】

なお、前記ＰＣ２０のディスプレイ上で表示させる第１のウィンドウＷ１と第２のウィンドウＷ２は、それぞれのウィンドウの大きさと位置、２つのウィンドウで重複した部分の優先関係等を監視者ＯＢが任意に切換え、あるいは可変できる。

【0049】

前記ステップＳ１０９での処理によりディスプレイ画面での表示を行なった後、ＰＣ２０では、直前の前記ステップＳ１０８で算出した、各追跡点から各注意点までの距離が、予め設定した、閾値としての注意距離（例えばＴＤ１，ＴＤ２）以下であるか否かにより、追跡点が注意点へ近付きすぎたことによる報知を行なう必要があるか否かを判断する（ステップＳ１１０）。

【0050】

ここで各追跡点から各注意点までの距離が、予め設定した、閾値としての注意距離（例えばＴＤ１，ＴＤ２）以下であった場合（ステップＳ１１０のＹＥＳ）、ＰＣ２０では注意点から効率的に追跡点を離間させる方向を算出して前記第１のウィンドウＷ１の監視画像上に重畳して表示させる（ステップＳ１１１）。

【0051】

合わせてＰＣ２０では、スピーカ部を用いてアラーム音を報知するなど、予め設定しておいた報知方法に基づいて追跡点が注意点に近付きすぎていることをアラーム報知する（ステップＳ１１２）。

【0052】

また前記ステップＳ１１０において、各追跡点から各注意点までの距離が、予め設定した、閾値としての注意距離より大きかった場合（ステップＳ１１０のＮＯ）には、アラーム報知を行なう必要がないため、その時点ですでにアラーム報知中である場合にのみ、同報知を解除する処理を実行する（ステップＳ１１３）。

【0053】

前記ステップＳ１１２またはＳ１１３での処理後、次いでその時点で選択している追跡点のテンプレート画像を、２フレーム前及び１フレーム前の追跡点近傍の各画像を外挿してパターンマッチングによる類似度を探索し、相関値を算出する（ステップＳ１１４）。相関値の算出に際して具体的には、類似度としてカラー画像のＲＧＢ各原色信号毎の正規化相関を用いる。

【0054】

この場合、２フレーム前の追跡点の位置と１フレーム前の追跡点の位置から現フレームでの追跡点の位置を予測し、予測した位置と、現フレームで認識した追跡点の位置とを比較する。そして、予測した位置から実際の追跡点の位置が離れている場合には、その度合いに応じて、現フレームの追跡点近傍とその時点で選択しているテンプレート画像から算出した相関値を下げるよう補正する。

【0055】

こうして補正した相関値が、予め用意した相関値の閾値以下であるか否かにより、参考とするテンプレート画像の切換えが必要であるか否かを判断する（ステップＳ１１５）。

【0056】

ここで相関値が閾値より大きいと判断した場合（ステップＳ１１５のＮＯ）、テンプレート画像の切換えは必要ないものとして、再び次の撮影タイミングに備えるべく前記ステップＳ１０６からの処理に戻る。

【0057】

また前記ステップＳ１１５において、補正した相関値が閾値以下であると判断した場合（ステップＳ１１５のＹＥＳ）、参考とするテンプレート画像の切換えが必要であるものとして、次に現フレームの画像中の追跡点近傍と、その時点で保持しているすべてのテンプレート画像との各相関値を算出する（ステップＳ１１６）。

【0058】

それらの算出結果に基づき、前記閾値より高い相関値が算出されたテンプレート画像が少なくとも１つあったか否かを判断する（ステップＳ１１７）。

【0059】

ここで前記閾値より高い相関値が算出されたテンプレート画像が少なくとも１つあったと判断した場合（ステップＳ１１７のＹＥＳ）、ＰＣ２０ではそれらテンプレート画像の中で最も相関値が高いと判断したものを選択し、その選択したテンプレート画像を次の相関値の比較に用いるべく切替えて設定した上で（ステップＳ１１８）、再び次の撮影タイミングに備えるべく前記ステップＳ１０６からの処理に戻る。

【0060】

また前記ステップＳ１１７において、前記閾値より高い相関値が算出されたテンプレート画像が１つもなかったと判断した場合、ＰＣ２０では直前の撮影画像中の追跡点近傍の所定サイズの矩形範囲を新たなテンプレート画像として切替えて設定した上で（ステップＳ１１９）、再び次の撮影タイミングに備えるべく前記ステップＳ１０６からの処理に戻る。

【0061】

このように、追跡点が示す追跡対象物の移動に伴ってその形状が変化し、あるいは追跡対象物の背景の画像が変化する場合であっても、前記したテンプレート画像との類似度を相関値として常時算出し、必要に応じて、より相関値が高い他のテンプレート画像に切替えるように制御することで、前記追跡点近傍の画像の変化に確実に追従して、高い認識状態を維持できる。

【0062】

なお前記説明では接続の便宜上、前記ステップＳ１０６〜Ｓ１１３での追跡点と注意点との距離の算出とその算出結果から必要に応じたアラーム報知を行なう処理と、前記ステップＳ１１４〜Ｓ１１９でのテンプレート画像による追跡点近傍の画像の相関値算出に伴うテンプレート画像の切替え設定を行なう処理とを、１つの流れに基づいて行なう場合について例示したが、実際にはこれらの処理は平行して処理することで、常に追跡点近傍の画像と相関値の高いテンプレート画像を用いた認識を行ない、高い精度で追跡点の位置を算出できる。

【0063】

加えて、カメラ１３，１４で得た両画像の視差から３次元位置を検出するに際しては、最も相関が高い画素位置から隣接する１画素ずらした相関値を用いて比例配分して例えば１／１０画素単位で補間することにより、仮想的に画素解像度を１０倍として視差を求めた上で位置の検出を行なうようこととなり、追跡点、注意点共に高い精度での位置検出が実現できる。

【0064】

なお前記実施形態にあっては、単にテンプレート画像を切替えて設定するものとして説明したが、撮影画像が外乱の影響を受け、短い期間で多くのテンプレート画像を追加されるのを防ぐため、テンプレート画像を切替えて設定した後も、一定時間、例えば２秒間はその前に使用していたテンプレート画像と合成したテンプレート画像を用いるようにしても良い。

【0065】

また、テンプレート画像を追加し、あるいは切替えるタイミングなど、類似度の相関値が低下すると思われるタイミングでは、撮影画像中からテンプレート画像を用いて追跡点を探索する範囲を一時的に広げることで、テンプレートの変更などに伴って対象とする追跡点の画像が認識できなくなる可能性を極力排除するようなフェイルセーフ機能を採用することも考えられる。

【0066】

以上詳述した如く本実施形態によれば、可搬性と汎用性に優れ、クレーン装置等の追跡対象物と障害物との位置関係を外部から正確に把握することが可能となる。

【0067】

また前記実施形態では、追跡点と注意点との位置関係について、少なくとも一方が移動体であり、位置関係が時々刻々変化するものとして、時間的に連続した監視を行なう過程で、それまでの移動状態から予測される一定時間後の位置関係を算出するものとしたので、追跡対象物と障害物との位置関係を外部からより正確に把握できる。

【0068】

加えて前記実施形態では、位置関係を示す数値等のみならず、移動体の移動軌跡を画像上で表示することにより、監視者が視覚的にも移動状態を把握し易くなる。

【0069】

特に前記位置関係を示す情報として、３次元空間での距離値を表示することで、監視者が予め３次元座標の各軸方向を把握しておくだけで、より具体的な情報により指示を出し易くなる。

【0070】

またＰＣ２０で表示画面中の障害物の位置を例えばポイント指定すると、その障害物に関する追跡対象物との３次元空間での距離値のみを表示させるようにもできるため、表示画像が繁雑化することなく、その時点で注意すべき障害物との位置関係のみに専念できる。

【0071】

さらに前述した如く、実画像中にはない障害物として水平面の高さ情報を設定するも可能としたので、例えば航空障害の設定がなされているような地域での作業にも対応できる。

【0072】

前記追跡対象物及び障害物の位置をそれぞれ幾何学的形状により規定して計算を行なうことにより、演算量を削減して装置の負担を軽減できる。

【0073】

加えて、前記図４の第２のウィンドウＷ２でも示した如く、表示画像においても幾何学的形状に基づいたモデリング画像を表示することで、作業環境をより客観的に示して、把握が容易となる。

【0074】

その場合、カメラ装置１０での撮像により得た実画像と並設して、すべての追跡対象物及び障害物の幾何学的な２次元または３次元のモデリング画像を表示させることにより、作業可能な２次元または３次元でのエリアを明確に示すことができる。

【0075】

なお前記実施形態では、障害物からの注意距離を閾値として設定することで、当該距離を安全係数として勘案した作業の運用が可能となり、予め任意の注意距離を設定することで、監視者の判断に要する負担を軽減できる。

【0076】

なお前記実施形態では示さなかったが、前記動作における作業の表示内容を、当該プログラムの制御に基づいて、例えばＰＣ２０内のハードディスク装置等の記録媒体にデータファイル化して記憶しておくことも容易に実現可能であり、作業状況を記録して、後の検証等に活用できる他、あらたな注意点を追加した上でのシミュレーション等にも適用可能となる。

【0077】

また前記実施形態では、障害物からの注意距離に設定した閾値より追跡対象物が接近した場合にはアラーム報知するものとしたので、監視者は障害物との接触を回避するべく即時指示等を行なうことができる。

【0078】

その場合、単にアラーム報知を行なうだけではなく、前記追跡対象物と前記障害物の３次元空間での距離に基づいて、追跡対象物が障害物が離間する修正方向等の指示を合わせて出力することにより、監視者の負担を軽減しながら適正な指示を与えることができる。

【0079】

なお前記実施形態では、必要に応じて作成するテンプレート画像とのパターンマッチング処理により撮影画像中から追跡対象物の位置を探索して認識するものとしたので、該テンプレート画像の更新に応じて、追跡対象物の形状等が移動等によって変化し、あるいは追跡対象物の背景となる画像が天候等により変化するような場合でも追従して認識し続けることが可能となる。

【0080】

加えて前記実施形態では、前記パターンマッチング処理により画像情報中の追跡対象物の位置を認識する際のテンプレート画像との類似度を相関値として算出し、算出した類似度に応じて、テンプレート画像の追加保持、及び保持した複数のテンプレート画像からのパターンマッチング処理に用いるテンプレート画像の選択を制御するものとしたので、常にその時点で得られる最も類似度の高いテンプレート画像を用いて正確に追跡対象物を認識できる。

【0081】

また前記実施形態において、カメラ装置１０のカメラ１３，１４が、撮影画角及び焦点距離を可変する光学ズーム機能を有し、ＰＣ２０側から必要に応じてカメラ１３，１４の撮影画角及び焦点距離を任意に可変設定できるようにすれば、追跡対象物の探索範囲を可変することで、監視範囲の大きさやカメラ装置１０の設置位置からの距離、あるいは監視時に特に注目する障害物を特定する場合など、時々の要求に応じて最適な撮影画角及び焦点距離を設定して、常に追跡対象物と障害物との位置関係を外部から正確に把握することが可能となる。

【0082】

さらに本実施形態では、監視者ＯＢ等によりＰＣ２０内の媒体にカメラ装置１０に関するキャリブレーションデータ群を記憶させておき、監視作業時には記憶させたキャリブレーションデータ群を読出してから監視作業の動作を開始するものとしたので、作業現場での繁雑な初期作業を簡略化できる。

【0083】

なお前記実施形態では、傾斜センサ１５を３軸加速度センサで構成する場合について説明したが、本発明はこれに限らず、Ｘ軸とＹ軸の２軸の傾斜センサでも実現できる。

【0084】

さらに前記実施形態では示さなかったが、カメラ装置１０自体を移動体に搭載した状態で監視作業に運用することも考えられる。その場合、カメラ装置１０を搭載した移動体の移動方向と移動速度、さらにカメラ装置１０の三脚１１の雲台を回動する場合はその回動角度情報を検出し、撮影画像と傾斜情報と合わせてＰＣ２０に送信することで、ＰＣ２０側では作業現場の領域内におけるカメラ装置１０と追跡対象物、障害物の相対的な位置関係を把握できる。

【0085】

また、カメラ装置１０に設けるカメラの数は２台に限らず、３台以上であっても良い。その場合、視差を得るためになるべく多数のカメラを相互の間隔を空けて設置することにより、追跡対象物及び障害物の形状をより正しく認識できるようになるが、その反面、撮影画像に対する演算処理量は増大するため、構築するシステムの規模に応じて台数を選定することが必要となる。

【0086】

その他、本発明は前述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、前述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。前述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

【符号の説明】

【0087】

１０…カメラ装置、１１…三脚、１２…支持アーム、１３，１４…カメラ、１５…傾斜センサ、２０…パーソナルコンピュータ（ＰＣ）、ＡＰ１，ＡＰ２…注意点、ＣＢ…クレーンブーム、ＣＬ…クレーン車、ＥＣ…電線、ＨＳ…家屋、ＭＴ…資材、ＴＰ１，ＴＰ２…追跡点。

【図1】

【図2】

【図3】

【図4】