(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0018】
次に、発明の実施の形態を説明する。
図1に示す如く、クレーン1は、本発明の一実施形態に係るガイド情報表示装置の適用対象たるクレーンの一例であり、所望の場所に移動可能な移動式クレーンである。
クレーン1は、走行車両10、クレーン装置20を備えている。
【0019】
走行車両10は、クレーン装置20を搬送するものであり、複数(本実施形態では4個)の車輪11を有し、エンジン(図示せず)を動力源として走行する。
走行車両10の四方角部には、アウトリガ12が設けられている。アウトリガ12は、走行車両10の幅方向両側に油圧によって延伸可能な張り出しビーム12aと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダ12bとから構成されている。そして、走行車両10は、ジャッキシリンダ12bを接地させることにより、クレーン1を作業可能な状態とすることができ、張り出しビーム12aの延伸長さを大きくすることにより、クレーン1の作業可能範囲(作業半径)を広げることができる。
【0020】
クレーン装置20は、吊荷Wをワイヤロープによって吊り上げるものであり、旋回台21、伸縮ブーム22、メインフックブロック23、サブフックブロック24、起伏シリンダ25、メインウインチ26、メインワイヤロープ27、サブウインチ28、サブワイヤロープ29、キャビン30を備えている。
【0021】
旋回台21は、クレーン装置20を旋回可能に構成するものであり、円環状の軸受を介して走行車両10のフレーム上に設けられる。円環状の軸受は、その回転中心が走行車両10の設置面に対して垂直になるように配置されている。旋回台21は、円環状の軸受の中心を回転中心として一方向と他方向とに回転自在に構成されている。また、旋回台21は、油圧式の旋回モータ(図示せず)によって回転される。
【0022】
伸縮ブーム22は、吊荷Wを吊り上げ可能な状態にワイヤロープを支持するものである。伸縮ブーム22は、複数のブーム部材であるベースブーム部材22a、セカンドブーム部材22b、サードブーム部材22c、フォースブーム部材22d、フィフスブーム部材22e、トップブーム部材22fから構成されている。各ブーム部材は、断面積の大きさの順に入れ子式に挿入されている。伸縮ブーム22は、各ブーム部材を図示しない伸縮シリンダで移動させることで軸方向に伸縮自在に構成されている。伸縮ブーム22は、ベースブーム部材22aの基端が旋回台21上に揺動可能に設けられている。これにより、伸縮ブーム22は、走行車両10のフレーム上で水平回転可能かつ揺動自在に構成されている。
【0023】
メインフックブロック23は、吊荷Wを引掛けて吊り下げるためのものであり、メインワイヤロープ27が巻き掛けられる複数のフックシーブと、吊荷Wを吊るメインフック32とが設けられている。
クレーン装置20は、メインフックブロック23の他に、吊荷Wを引掛けて吊り下げるためのサブフックブロック24をさらに備えており、サブフックブロック24には、吊荷Wを吊るサブフック33が設けられている。
【0024】
起伏シリンダ25は、伸縮ブーム22を起立および倒伏させ、伸縮ブーム22の姿勢を保持するものである。起伏シリンダ25はシリンダ部とロッド部とからなる油圧シリンダから構成されている。
【0025】
メインウインチ26は、メインワイヤロープ27の繰り入れ(巻き上げ)および繰り出し(巻き下げ)を行うものであり、本実施形態では油圧ウインチによって構成している。
メインウインチ26は、メインワイヤロープ27が巻きつけられるメインドラムがメイン用油圧モータによって回転されるように構成されている。メインウインチ26は、メイン用油圧モータが一方向へ回転するように作動油が供給されることでメインドラムに巻きつけられているメインワイヤロープ27を繰り出し、メイン用油圧モータが他方向へ回転するように作動油が供給されることでメインワイヤロープ27をメインドラムに巻きつけて繰り入れるように構成されている。
【0026】
また、サブウインチ28は、サブワイヤロープ29の繰り入れおよび繰り出しを行うものであり、本実施形態では、油圧ウインチによって構成している。
【0027】
キャビン30は、オペレータが着座する運転座席31を覆うものであり、旋回台21における伸縮ブーム22の側方に設けられている。
【0028】
このように構成されるクレーン1は、走行車両10を走行させることで、任意の位置にクレーン装置20を移動させることができ、また、起伏シリンダ25で伸縮ブーム22を任意の起伏角度に起立させることで、伸縮ブーム22を任意の伸縮ブーム長さに延伸させることができる。
【0029】
また、クレーン1は、旋回台21、伸縮ブーム22、起伏シリンダ25等の動作(即ち、クレーン1の動作)を制御するコントローラ34を備えている。コントローラ34は、旋回台21、伸縮ブーム22、起伏シリンダ25等の動作状態に係る情報や、クレーン1固有の性能に係る情報、および吊荷Wの重量等を外部に出力することが可能である。
【0030】
尚、本説明では、伸縮ブーム22の起伏支点の軸方向を基準として、
図1に示すようなXYZ座標系を規定している(以下の説明においても同様)。
X軸方向(側線方向とも呼ぶ)は、伸縮ブーム22の起伏支点の軸方向に対して平行な水平方向である。また、Y軸方向(標高方向とも呼ぶ)は、鉛直方向である。さらに、Z軸方向(奥行方向とも呼ぶ)は、伸縮ブーム22の起伏支点の軸方向に対して垂直な水平方向である。即ち、XYZ座標系は、
図2に示すように、伸縮ブーム22を基準としたローカル座標系として規定している。
【0031】
次に、本発明の一実施形態に係るガイド情報表示装置について、説明する。
クレーン1は、
図3に示すようなガイド情報表示装置50を備えている。
ガイド情報表示装置50は、本発明に係るガイド情報表示装置の一例であり、
図1に示すようなクレーン1による作業を効率よく、かつ、安全に行うことを可能にするために、吊荷Wを含む領域(以下、吊荷領域WAと言う)の情報(以下、ガイド情報と言う)を映像で表示し、オペレータに提示するための装置である。
【0032】
ここでいう「吊荷領域WA」とは、
図2および
図4に示すように、クレーン1の作業領域SA内で、Y軸方向視において吊荷Wを含む領域として設定されるものであり、「ガイド情報」を生成する対象となる領域である。
「吊荷領域WA」は、クレーン1における伸縮ブーム22のトップブーム部材22fの直下を含む領域として設定され、吊荷領域WA内に存在する吊荷W、地表面F、地物Cが、ガイド情報表示装置50による測定対象物となる。「吊荷領域WA」は、伸縮ブーム22の旋回動作、起伏動作、伸縮動作に応じて変位する。
【0033】
また、ここで言う「ガイド情報」は、オペレータがクレーン1によって吊荷Wを搬送するときに、伸縮ブーム22の長さ・旋回位置・起伏角度、ワイヤロープの巻き出し量等の良否について、オペレータの判断を補助する情報であり、吊荷領域WAの映像情報、吊荷Wおよび地物Cの形状に係る情報、吊荷Wの高さ情報、地物Cの高さ情報、吊荷Wの動線に係る情報等が含まれる。
【0034】
図3および
図4に示す如く、ガイド情報表示装置50は、データ取得部60と、データ処理部70と、データ表示部80と、データ入力部90によって、構成されている。
【0035】
データ取得部60は、吊荷領域WAにおけるガイド情報を生成するために必要なデータを取得する部位であり、
図3に示すように、カメラ61、レーザスキャナ62、慣性計測装置(IMU)63を備えている。
【0036】
図4に示すように、データ取得部60は、クレーン1の伸縮ブーム22の先端に位置しているトップブーム部材22fに付設されており、吊荷Wの真上に位置するブーム先端から真下の状況を捉えることができる状態で配置されている。尚、ここでいう吊荷Wの「真上」は、吊荷Wの鉛直上方の位置と、その位置を基準とした一定範囲(例えば、吊荷Wの上面の範囲)の位置と、を含む概念である。
【0037】
データ取得部60は、伸縮ブーム22の先端部のトップブーム部材22fに対してジンバル67(
図1参照)を介して付設されており、伸縮ブーム22が起伏動作、旋回動作、伸縮動作をしたときに、データ取得部60の姿勢(Y軸方向に向けた姿勢)を略一定に保持することができるように構成されている。これにより、カメラ61とレーザスキャナ62を常に吊荷Wに向けておくことができる。このため、データ取得部60は、カメラ61とレーザスキャナ62によって、吊荷Wとその下方に存在する地表面F(即ち、吊荷領域WA)から、常にデータを取得することができる。また、吊荷領域WAに地物Cが存在する場合には、カメラ61とレーザスキャナ62によって、地物Cのデータを取得することができる。
【0038】
図5(A)(B)に示すように、カメラ61は、吊荷領域WAの映像を撮影するためのデジタルビデオカメラであり、撮影した映像をリアルタイムで外部に出力する機能を有している。カメラ61は、
図5(A)(B)に示すような画角(水平画角θhおよび垂直画角θv)を有している。また、カメラ61は、適切なガイド情報の生成に必要なデータ量を考慮した画素数、フレームレート、画像伝送レートを有している。
【0039】
図3に示すように、レーザスキャナ62は、測定対象物にレーザを照射し、そのレーザの測定対象物における反射光を受光することによって、その反射点に係る情報を取得し、測定対象物の点群データを取得する装置である。レーザスキャナ62の測定対象物は、吊荷W、地物C、地表面Fである。また、レーザスキャナ62には、測定時刻を取得するための第一GNSS受信機65が接続されている。
ガイド情報表示装置50では、レーザスキャナ62によって、リアルタイムに平面的な三次元点群データを取得する。
【0040】
図6に示すように、レーザスキャナ62は、合計16個のレーザ送受信センサを備えており、同時に16本のレーザを測定対象物に照射して、測定対象物の点群データを取得することができるものである。レーザスキャナ62の16個の各レーザ送受信センサは、Z軸方向において2°ずつ照射角度を異ならせて配置されており、測定対象物に対して、全体で30°の拡がりを持ってレーザを照射可能に構成されている。また、レーザスキャナ62の各レーザ送受信センサは、Z軸回りに360°(全方位)回転可能に構成されている。尚、以下の説明では、吊荷領域WAに向けて照射されるレーザが描く軌跡をレーザ側線と呼ぶ。レーザ側線は、X軸方向に対して平行であり、レーザスキャナ62では、16本のレーザ側線が同時に描かれる。
【0041】
そして、レーザスキャナ62は、レーザ側線がX軸方向に対して平行となるように配置されている。また、レーザスキャナ62は、レーザの照射角度を変更する基準軸が、Z軸方向に対して平行とされている。
【0042】
図3に示すように、慣性計測装置(Inertial Measurement Unit、以下IMUと呼ぶ)63は、データ取得時におけるカメラ61とレーザスキャナ62の姿勢データを取得するための装置である。IMU63は、リアルタイムで姿勢角を測定することが可能であり、レーザスキャナ62によって取得した点群データの補正に利用可能な測定精度を有している。また、IMU63には、測定時刻を取得するための第二GNSS受信機66が接続されている。
【0043】
図7(A)(B)に示すように、データ取得部60はカメラ61、レーザスキャナ62、慣性計測装置(IMU)63をフレーム体64に対して固定し、一体に構成したセンサユニットである。
フレーム体64は、5枚の板材を組み合わせて構成された略直方体状の物体である。フレーム体64は、4枚の板材で直方体の四方の側面部を構成するとともに、残り1枚の板材で、直方体の上面部を構成し、下方に開口部を有する形状に構成されている。データ取得部60では、カメラ61とレーザスキャナ62を、フレーム体64の側面部内側に付設し、IMU63を、フレーム体64の上面部に付設している。
図7(A)に示すように、カメラ61の撮像素子中心位置とレーザスキャナ62のレーザ中心位置は、Y軸方向視において、Z軸方向に距離Δzhで離間している。尚、レーザ中心位置とは、レーザスキャナ62におけるレーザの回転中心であり、Z軸上に位置している。
また、
図7(B)に示すように、カメラ61の撮像素子中心位置とレーザスキャナ62のレーザ中心位置は、X軸方向視において、Y軸方向に距離Δyvで離間している。
データ取得部60は、フレーム体64の四方の側面部のうち、対面する一対の側面部の一方がZ軸に対して垂直となり、対面する一対の側面部の他方がX軸に対して垂直となる姿勢で配置される。また、データ取得部60は、フレーム体64の上面部が、Y軸に対して垂直となる姿勢で配置される。
【0044】
次に、XYZ座標系における点(x,y)のX座標を、カメラ空間座標系におけるXc座標に変換する方法について、説明する。
【0045】
ガイド情報表示装置50では、カメラ61で撮影した映像M上に後述するガイド情報GDを重畳してデータ表示部80に表示するために、XYZ座標系とカメラ空間座標系の間で座標値の変換処理を行う。ガイド情報表示装置50では、カメラ61の映像空間において、三次元のカメラ空間座標系Xc・Yc・Zcを規定している。
【0046】
図5(A)に示すように、カメラ61のレンズ中心から延ばした垂線から点(x,y)までのX軸方向の距離をdh、カメラ61の水平方向の最大画面幅をwhとする。また、点(x,y)は、画面中心からX軸方向の位置をxとしている。このとき、カメラ空間における点(x,y)のXc座標は、以下の数式(1)(2)で表される。
尚、以下の数式では、カメラ61の撮像素子とレーザ中心の位置の水平方向の差分をΔzhとし(
図7(A)参照)、カメラ画像の横幅をwh、カメラ61の水平画角をθh、一時変数をtmp1としている。
tmp1=(y−Δzh)×tan(π×θh/360)・・・(1)
Xc=wh/2−wh×x/(2×tmp1)・・・(2)
【0047】
次に、XYZ座標系における点(y,z)のZ座標を、カメラ空間座標系におけるZc座標に変換する方法について、説明する。
図5(B)に示すように、点(y,z)からレーザ中心までのZ軸方向の距離をdv、カメラ61の水平方向の最大画面幅をwvとしている。また、点(y,z)は、画面中心からZ軸方向の位置をzとしている。このとき、カメラ空間における点(y,z)のZc座標は、以下の数式(3)(4)で表される。
尚、以下の数式では、カメラ61の撮像素子とレーザスキャナ62のレーザ中心の位置の垂直方向の差分をΔyv(
図7(B)参照)、カメラ画像の縦幅をwv、カメラ61の垂直画角をθv、一時変数をtmp2としている。
tmp2=Y×tan(π×θv/360)・・・(3)
Zc=wv/2+wv×(Z−Δyv)/(2×tmp2)・・・(4)
【0048】
ガイド情報表示装置50では、上記数式(1)〜(4)を用いて、XYZ座標系においてレーザスキャナ62等によって取得した点群データの座標を、カメラ空間座標系に変換することによって、カメラ61で撮影した映像M上にガイド情報GDを位置合わせして表示する。
【0049】
尚、レーザスキャナ62としては、伸縮ブーム22の最高到達高さを考慮して、その最高到達高さ(例えば、約100m)から測定対象物の三次元形状を測定可能な機器を選択する。また、レーザスキャナ62としては、適切なガイド情報を生成するために必要なデータ量およびデータ精度を考慮して、測定スピード、測定ポイント数、測定精度等の各仕様について所定の性能を有する機器を選択する。
【0050】
尚、本実施形態では、合計16個のレーザ送受信センサを備えたレーザスキャナ62を用いる場合を例示しているが、本発明に係るガイド情報表示装置は、レーザスキャナを構成するレーザ送受信センサの個数によっては限定されない。即ち、本発明に係るガイド情報表示装置では、クレーンのブーム(ジブ)の最高到達高さ等に応じて、最適な仕様のレーザスキャナを適宜選択する。
【0051】
データ取得部60によって吊荷領域WAにおいて取得するデータには、吊荷Wと、吊荷Wの下方の地表面Fと、吊荷Wの周囲に存在する地物Cをカメラ61によって撮影した映像データが含まれる。また、データ取得部60によって吊荷領域WAにおいて取得するデータには、吊荷Wと、地表面Fと、地物Cをレーザスキャナ62によってスキャンして取得した点群データが含まれる。尚、ここでいう地表面Fには、吊荷Wの搬送元および搬送先となる面を広く含み、地上面のみならず、建物屋上の床面や屋根面等も含まれる。
【0052】
図3に示すように、データ処理部70は、データ取得部60で取得したデータを処理して、オペレータに提示するガイド情報GDを生成するための部位であり、本実施形態では、所定のデータ処理プログラムがインストールされた汎用のパーソナルコンピュータによって構成している。
また、データ処理部70は、クレーン1のコントローラ34と電気的に接続されており、コントローラ34から出力される「クレーン情報」が、データ処理部70に入力される。
【0053】
データ表示部80は、オペレータに提示するガイド情報GDを表示するための部位であり、データ処理部70に接続されたディスプレイ装置により構成される。
データ表示部80には、
図8(A)に示すように、カメラ61によって撮影した吊荷領域WAの映像Mをリアルタイムに表示する。
【0054】
ガイド情報GDには、
図8(B)に示すように、吊荷W・地物CのY軸方向視における外形形状を表すガイド枠画像であるガイド枠GD1や、吊荷Wの下面の標高値画像である高さ情報GD2、地物Cの上面の標高値画像である高さ情報GD3、吊荷Wの動線を示す作業半径情報GD4、伸縮ブーム22の軸線方向を示す軸線情報GD5等が含まれる。
そして、データ表示部80には、データ処理部70で生成したガイド情報GDと映像Mが重畳して表示される。
【0055】
図3に示す如く、データ入力部90は、データ処理部70に対して、設定値等を入力するための部位であり、タッチパネル、マウス、キーボード装置等により構成される。
【0056】
尚、ガイド情報表示装置50は、
図9(A)に示すように、データ処理部70とデータ表示部80とデータ入力部90をタブレット型の汎用パーソナルコンピュータ(以下、タブレットPCとも呼ぶ)によって、一体的に構成することが好ましい。また、ガイド情報表示装置50は、
図9(B)に示すように、データ表示部80とデータ入力部90をタッチパネル式ディスプレイ装置によって一体で構成し、当該タッチパネル式ディスプレイ装置に汎用PCたるデータ処理部70を接続する構成としてもよい。
【0057】
図4に示すように、データ表示部80とデータ入力部90は、キャビン30内の運転座席31の前方のオペレータが見やすい位置に配置する。データ処理部70は、データ取得部60の近傍に配置することが好ましい。尚、データ処理部70とデータ表示部80とデータ入力部90をタブレットPCによって一体的に構成した場合には、データ処理部70をキャビン30内に配置する構成としてもよい。
データ取得部60とデータ処理部70間のデータの伝送は、有線LANによることが好ましい。尚、データ取得部60とデータ処理部70間のデータの伝送は、無線LANを採用してもよく、あるいは、電力線通信を採用してもよい。
【0058】
尚、ガイド情報表示装置50は、
図9(A)に示すように、データ処理部70とデータ表示部80とデータ入力部90をタブレット型の汎用パーソナルコンピュータ(以下、タブレットPCとも呼ぶ)によって、一体的に構成することが好ましい。また、ガイド情報表示装置50は、
図9(B)に示すように、データ表示部80とデータ入力部90をタッチパネル式ディスプレイ装置によって一体で構成し、当該タッチパネル式ディスプレイ装置に汎用PCたるデータ処理部70を接続する構成としてもよい。
【0059】
ここで、データ取得部60によるデータの取得状況を説明する。
データ取得部60では、カメラ61によって、吊荷領域WAを連続的に撮影し、吊荷領域WAの映像Mを取得する。
【0060】
図10に示すように、データ取得部60では、レーザスキャナ62によって、吊荷領域WAを連続的にスキャンし、吊荷領域WAにおける測定対象物の点群データを取得する。以下では、レーザスキャナ62によって取得する点群データを、点群データPと呼ぶ。点群データPは、点データpの集合であり、点データpは、吊荷領域WAに存在する地表面F、吊荷W、地物Cの上面に位置する点を表している。そして、点データpには、
図11に示すように、測定対象物(例えば地物C)からレーザスキャナ62までの距離aと、その点データpを取得したときのレーザスキャナ62の照射角度bの情報が含まれている。
【0061】
図3に示すように、レーザスキャナ62には、第一GNSS受信機65を接続しており、点群データPを取得すると同時に、第一GNSS受信機65によって複数の測位衛星から時間情報を受信する。そして、データ処理部70は、点データpに対して、該点データpの取得時間に係る情報を付与する。即ち、点データpに係る情報には、距離a、照射角度bの他、取得時間tpが含まれている。
【0062】
また、データ取得部60では、レーザスキャナ62によって、点群データPを取得すると同時に、IMU63によって、所定の周期でレーザスキャナ62の姿勢データQを取得する。姿勢データQには、レーザスキャナ62のX・Y・Z軸の各軸方向に対する角度と加速度に係る情報が含まれる。尚、IMU63による姿勢データQの取得周期は、レーザスキャナ62による点群データPの取得周期よりも短くする。姿勢データQは、測定周期ごとに測定される個別姿勢データqの集合である。
【0063】
IMU63には、第二GNSS受信機66を接続しており、姿勢データQを取得すると同時に、第二GNSS受信機66によって、複数の測位衛星から時間情報を受信する。データ処理部70は、個別姿勢データqに対して、該個別姿勢データqの取得時間に係る情報として取得時間tqを付与する。即ち、個別姿勢データqに係る情報には、取得時間tqが含まれている。
【0064】
次に、データ処理部70によるデータの処理状況を説明する。
【0065】
図12に示す如く、データ処理部70によるデータ処理では、まず「フレーム抽出処理」を行う(STEP−101)。
データ処理部70による点群データPのデータ処理では、点群データPのストリームデータから、1フレーム分の点群データPを切り出して出力する。1フレーム分の点群データPは、レーザスキャナ62によるレーザの照射方向がZ軸回りに1周する間に取得する点データpの集合である。
【0066】
図12に示す如く、データ処理部70によるデータ処理では、次に「点群データと姿勢データの同期処理」を行う(STEP−102)。
データ処理部70は、1フレーム分の点群データPに含まれる点データpを、IMU63によって取得した姿勢データQと同期させる。
具体的には、個々の点データpにおいて、その点データpの取得時間tpに最も近い個別姿勢データqの取得時間tqを探索し、該取得時間tqにおける個別姿勢データqを、その点データpに対応付けることで同期する。
【0067】
このようにしてデータ処理部70は、個別姿勢データqに同期された点データpを出力する。
そして、
図11に示すように、データ処理部70は、距離aおよび照射角度bとに基づいて、レーザスキャナ62のレーザ中心位置から点データpまでの距離hを算出する。尚、ここで言う「距離h」は、レーザスキャナ62のレーザ中心位置から点データpが存在する水平面までの距離である。
【0068】
また、データ処理部70では、点データpの距離hを算出する際に、その点データpに対応する個別姿勢データqを用いて補正を行う。これによって、レーザスキャナ62の姿勢に起因する誤差を解消し、より精度よく点データpの距離hを算出することができる。
【0069】
即ち、ガイド情報表示装置50において、データ取得部60は、レーザスキャナ62の姿勢データQを取得するIMU63を備え、データ処理部70は、IMU63で取得したレーザスキャナ62の姿勢データQに基づいて、点群データPを補正している。
ガイド情報表示装置50では、このような構成によって、オペレータに対して、より的確なガイド情報GDを提示することが可能になっている。
【0070】
1フレーム分の点群データPをXYZ座標系にプロットすると、
図13(A)のように表される。
図13(A)はZ軸方向から見た点群データP(点データpの集合)である。
【0071】
図12に示す如く、データ処理部70によるデータ処理では、次に「地表面推定処理」を行う(STEP−103)。データ処理部70は、地表面Fを推定する処理を行う。
【0072】
まず、映像上の特定の位置を基準として、地表面Fを推定する場合を説明する。尚、ここでは、映像上の特定の位置を、オペレータが手動で指定する場合を例示するが、データ処理部70が、映像上の特定の位置を自動的に決定し指定する構成としてもよい。
ガイド情報表示装置50では、データ表示部80およびデータ入力部90において地表面の位置を指定することで、基準となる地表面Fを決定することができる。
手動による場合、まず
図14上図に示すように、オペレータがデータ表示部80に表示される映像上で、地表面であることが明らかな位置を指定する。すると、データ処理部70は、
図14中図に示すように、その指定された位置(点)を中心とする所定半径の基準円を生成する。そして、データ処理部70は、
図14下図に示すように、レーザ側線上にある点データpとの重なりを検出し、基準円内に含まれる複数の点データpを選択する。
【0073】
そして、データ処理部70は、
図15(A)に示すように、選択された複数の点データpからまず、距離hが最大距離hmaxである点データpを抽出する。最大距離hmaxである点データpは、最も低い位置に存在している点データpであると推測される。そして、データ処理部70は、最大距離hmaxを基準として、距離hの離れ量Dが一定範囲内(本実施形態では7cm以内)にある点データpを抽出し、抽出した点データpの距離hの平均値を算出する。データ処理部70は、このようにして算出した平均値を地表面Fまでの距離hであると推定し、これに基づいて、地表面Fの高さ(以下、基準高H0と呼ぶ)を決定する。
そして、データ処理部70は、距離hと基準高H0から、点データpの標高値Hを算出する。
図10に示すように、標高値Hは、点データpの基準高H0からの高さである。
【0074】
ガイド情報表示装置50では、上記処理によって精度よく取得した地表面Fの基準高H0に基づいて、ガイド情報GDを生成する構成としている。このため、ガイド情報表示装置50では、地表面Fの高さに基づいて、吊荷Wやその周辺に存在する地物Cの形状を、精度良く算出することできる。
【0075】
次に、地表面Fを自動的に推定する場合を説明する。
上記説明ではオペレータが地表面Fを指定する構成を示したが、ガイド情報表示装置50では、データ処理部70によって、地表面Fを自動的に推定する構成としてもよい。
【0076】
データ処理部70によって地表面Fを自動的に推定する場合、
図15(B)に示すように、データ処理部70は、吊荷領域WAを、面積が等しい複数(本実施例では160個)の小領域Sに分割する。
【0077】
次に、データ処理部70は、各小領域Sにおいて、距離hが最も大きい(距離hが最大距離hmaxである)点データpを抽出し、
図15(A)に示すように、最大距離hmaxを基準として、距離hの離れ量Dが一定範囲内(本実施形態では離れ量Dが7cm以内)にある点データpを抽出する。
【0078】
次に、データ処理部70は、各小領域Sにおいて、抽出した点データpの距離hの平均値を算出する。データ処理部70は、このようにして算出した距離hの平均値から、各小領域Sにおける地表面Fの基準高H0を自動的に推定する。
【0079】
もしくは、データ処理部70は、各小領域Sにおいて算出した距離hの平均値をさらに全ての小領域Sで平均し、この平均値から吊荷領域WAの地表面Fの基準高H0として自動的に推定する。この場合、データ処理部70は、各小領域Sの距離hの平均値の中の最大値を基準として、この最大値からの離れ量Dが所定の閾値以内の小領域Sだけを用いて、基準高H0を算出する。
【0080】
図12に示す如く、データ処理部70によるデータ処理では、次に「平面の推定処理」を行う(STEP−104)。データ処理部70は、以下に示す上面推定方法によって、吊荷領域WAに存在する測定対象物たる吊荷Wと地物Cの上面を推定する。
【0081】
1フレーム分の点群データPをXYZ座標系で示した吊荷領域WA上にプロットすると、
図13(A)に示すように表される。そして、このような吊荷領域WAにある点群データPを模式的に表すと、
図16上図のように表される。
【0082】
データ処理部70は、
図16上図に示すような吊荷領域WAにおいて取得した点群データPを、
図16中図に示すように、Y軸方向に所定の厚みdで層状に分割し、点群データPを複数のグループに振り分ける(
図13(B)参照)。
このときデータ処理部70は、分割した各グループに個別のグループID(ここでは、ID:001〜006とする)を付与し、各点データpをグループIDに関連付ける。
【0083】
そして、データ処理部70は、各グループにおいて、そのグループに含まれる複数の点データpを用いて、平面を推定する。ここで言う「平面」は、吊荷Wおよび地物Cにおいて上向きに存在する平面であり、即ち、吊荷Wおよび地物Cの「上面」である。
【0084】
具体的には、まず、データ処理部70は、
図17および
図18上図に示すように、同一グループに含まれる複数の点データp・p・・・から2つの点データp・pを選択する(2点選択工程:STEP−201)。
そして、データ処理部70は、
図17および
図18下図に示すように、選択した2つの点データp・pの2点間距離L1を算出する(点間距離算出工程:STEP−202)。
【0085】
次に、データ処理部70は、
図17および
図19上図に示すように、2点間距離L1が所定の閾値r1以下であれば(STEP−203)、その2点(点線で示した2つの点データp・p)は同一平面上にあるものとみなす(2点平面みなし工程:STEP−204)。そして、データ処理部70は、
図17および
図19下図に示すように、同一平面上にあるとみなされた各点(ここでは、選択した2点)の重心G1を算出する(重心算出工程:STEP−205)。仮に、(STEP−203)において、「no」と判定された場合には、(STEP−201)に戻って、新たな2点を選択し直す。
【0086】
次に、データ処理部70は、
図17および
図20上図に示すように、算出した重心G1に対する近傍点となる点データpを探索する(近傍点探索工程:STEP−206)。ここで言う「近傍点」とは、重心G1に対する点間距離が閾値r1以下の点である。
そして、データ処理部70は、
図17および
図20下図に示すように、近傍点たる点データpが見つかれば(STEP−207)、その近傍点たる点データpも、先に選択した2つの点データp・pと同一平面上にあるものとみなす(近傍点平面みなし工程:STEP−208)。
【0087】
そして、データ処理部70は、
図17および
図21上図に示すように、(STEP−205)に戻って、同一平面上にあるとみなされた各点(ここでは、点線で示した3つの点データp・p・p)から、新たな重心G2を算出する。
【0088】
データ処理部70は、(STEP−206)に移行して、重心G2に対する近傍点となる点データpをさらに探索する。そして、データ処理部70は、
図17および
図21下図に示すように、近傍点たる点データpがさらに見つかれば(STEP−207)、その近傍点たる点データpも、先に選択した各点と同一平面上にある点データpであるものとみなす(STEP−208)。
そして、データ処理部70は、新たな重心を算出しながら近傍点を探索し、近傍点たる点データpが検出されなくなるまで(STEP−205)から(STEP−208)までの処理を順に繰り返して行う。
【0089】
そして、データ処理部70は、
図17に示すように、新たな近傍点が見つからなければ、(STEP−207)で「no」と判定し、
図22に示すように、同一平面上にあるとみなされた点データpの部分集合(クラスタ)をクラスタリングして、平面を推定する(STEP−209)。ここで言う「クラスタリング」とは、点データpの集合である点群データPをクラスタに切り分けて、各クラスタに含まれる点データpが、同一平面上にあるという共通の特徴を持つようにする処理である。
データ処理部70は、点群データPを、同一平面上にあるとみなされた点データpに切り分けて、平面クラスタCL1を設定する(
図16下図参照)。平面クラスタCL1に属する各点データpによれば、平面(即ち、吊荷Wおよび地物Cの「上面」)を規定することができる。尚、同一のグループIDが付与されたグループ内には、複数の平面クラスタCL1が存在する場合もある。
【0090】
そして、データ処理部70は、平面クラスタCL1に属する点データpの、X座標の最大値と最小値から平面の「幅」を推定し、Z座標の最大値と最小値から平面の「奥行」を推定する。データ処理部70は、このようにして、平面クラスタCL1が形成する平面を規定する。尚、ここで規定する平面は、矩形以外の多角形であってもよい。
【0091】
このような上面推定方法では、レーザスキャナ62で取得した上面に対応する点群データPのみに基づいて吊荷Wおよび地物Cの上面を推定することができる。このため本実施形態で示した上面推定方法では、レーザスキャナ62で取得した点群データPに基づいて、短時間で吊荷Wおよび地物Cの上面を推定することが可能になり、ひいては、リアルタイムで吊荷Wおよび地物Cの上面を推定することが実現できる。
【0092】
また、このような上面推定方法では、統計的手法を用いずに吊荷Wおよび地物Cの上面を推定することができ、統計的手法を用いる場合に比べて、吊荷Wおよび地物Cの上面の推定に要する計算量を低減することができる。このため本実施形態で示した上面推定方法では、レーザスキャナ62で取得した点群データPに基づいて、より短時間で吊荷Wおよび地物Cの上面を推定することが可能になる。
【0093】
尚、本実施形態で示した吊荷Wおよび地物Cの上面推定方法では、クレーン1において、伸縮ブーム22のトップブーム部材22fにデータ取得部60を設け、レーザスキャナ62によって、吊荷Wの鉛直上方から吊荷W、地物C、地表面Fに係る点群データPを取得する場合を例示しているが、本発明に係る測定対象物の上面推定方法は、クレーンの吊荷とその吊荷の周囲に存在するものを測定対象物とする場合に適用するものとして限定されるものではない。
即ち、本実施形態で示した上面推定方法は、例えば、ブームを備える作業車両(例えば、高所作業車等)のブーム先端部やドローン等にレーザスキャナを設けて、上空からその鉛直下方に存在する測定対象物の点群データを取得し、取得した点群データに基づいて測定対象物の上面を推定する場合に広く適用することができる。
【0094】
次に、データ処理部70は、推定した各平面クラスタCL1(上面)を結合する。
データ処理部70は、
図23および
図24上図に示すように、推定された平面クラスタCL1のうち、異なるグループIDが付与された2つの平面クラスタCL1・CL1を選択し、各平面クラスタCL1の標高値Hの差異dHを算出する(STEP−301:標高値差異算出工程)。
【0095】
ここで、データ処理部70は、差異dHが閾値r2以内である組み合わせを探索する(STEP−302)。ここでいう平面クラスタCL1の標高値Hとは、平面クラスタCL1に属する各点データpの標高値Hの平均値である。
【0096】
次に、データ処理部70は、
図23および
図24中図に示すように、標高値Hの差異dHが閾値r2以内である平面クラスタCL1の組み合わせが検出されたときには、それらの平面クラスタCL1・CL1についてX軸方向における重なりdWを検出する(STEP−303:重なり検出工程)。ここでいう「重なり」とは、平面クラスタCL1によって規定される平面のX軸方向における重複度合および離間度合であり、
図23および
図24に示すように、「幅」の重複量dW1が検出された場合(dW1>0)か、もしくは、離間量dW2が所定の閾値r3以下である場合(0≦dW2≦r3)に、「重なり」を検出するものとする。
【0097】
そして、データ処理部70は、
図23および
図24に示すように、「重なり」が検出された場合には(STEP−304)、それらの平面クラスタCL1・CL1に属する点データpが同一平面上に存在するものとみなし、二つの平面クラスタCL1・CL1を結合し、新たな平面クラスタCL1として更新する(STEP−305:平面結合工程)。また、このとき、新たな平面クラスタCL1に属する各点データpから、新たな標高値Hを算出する。
【0098】
データ処理部70は、
図23に示すように、以上の処理を、条件を満たす平面クラスタCL1・CL1の組み合わせが無くなるまで繰り返して行い(STEP−306)、複数のグループに跨って存在する平面を推定する。
【0099】
そして、データ処理部70は、以上の結合処理によって結合した平面(即ち、平面クラスタCL1)を出力する。
平面クラスタCL1によって規定される平面は、吊荷Wおよび地物Cにおいて上向きに存在する平面であり、即ち、吊荷Wおよび地物Cの上面である。
【0100】
このような平面の推定方法では、点群データPの法線ベクトルを用いずに平面を推定することができる。このため、点群データPの法線ベクトルを用いて平面を推定する場合に比べて、計算量が少なくて済むという特徴がある。
また、このような平面の推定方法では、吊荷Wや地物Cの上面を推定することによって、吊荷Wや地物Cの側面の点データpを取得せずに、吊荷Wや地物Cの立体的形状を把握することができる。
【0101】
図12に示す如く、データ処理部70によるデータ処理では、次に「同一領域のクラスタリング処理」を行う(STEP−105)。ここで言う「クラスタリング」とは、データの集合である点群データPを、クラスタに切り分けて、各クラスタに含まれる点データpが、「同一領域」にあるという共通の特徴を持つようにする処理である。
【0102】
ここで行う「同一領域のクラスタリング処理」は、生成した平面クラスタCL1(平面)を、同一平面を構成するか否かとは無関係に、「同一領域」に存在するか否かという異なる観点でクラスタリングする処理である。
【0103】
具体的には、
図25上図に示すように、データ処理部70は、標高値Hが最大値Hhである点データpを含む平面クラスタCL1と、この平面クラスタCL1に未結合である平面クラスタCL1を抽出する。そして、データ処理部70は、抽出した各平面クラスタCL1の標高値Hの差分ΔHを算出し、差分ΔHが所定の閾値以下であれば、次の判定に移行する。
【0104】
次の判定に移行すると、データ処理部70は、
図25中図に示すように、差分ΔHが所定の閾値以下の二つの平面クラスタCL1・CL1について、Y軸方向視における重なりを確認する。
ここで、二つの平面クラスタCL1・CL1が、Y軸方向視において重なっている場合には、データ処理部70は、
図25下図に示すように、これらの平面クラスタCL1・CL1を「同一領域」にあるものとみなし、これらの平面クラスタCL1・CL1によって、同一領域クラスタCL2を形成する。
【0105】
そして、データ処理部70は、標高値Hの最大値Hhを有する点データpを含む平面クラスタCL1と、この平面クラスタCL1に未結合である平面クラスタCL1をさらに探索し、未結合の平面クラスタCL1が抽出されれば、差分ΔHによる判定と、Y軸方向視における重なりの確認を行い、上記条件に合致する平面クラスタCL1があれば、上記同一領域クラスタCL2にさらに追加する。
【0106】
データ処理部70は、このような処理を、標高値Hの最大値Hhを有する点データpを含む平面クラスタCL1に対して未結合の平面クラスタCL1が見つからなくなるまで繰り返して行う。データ処理部70は、以上のような処理によって、同一領域クラスタCL2を形成する。
【0107】
そして、このようにして形成された同一領域クラスタCL2に属する点データpは、後述するガイド情報GDの表示において、形状的に一つのまとまりがあるものとして扱われ、同一領域クラスタCL2を囲むようにガイド枠GD1が表示される。
【0108】
尚、このような「同一領域のクラスタリング処理」は、
図26(A)(B)に示すような、標高値に基づく木構造を用いた階層的クラスタリングとすることが好ましい。データ処理部70は、「同一領域のクラスタリング処理」において、地物Cごとに、標高値Hを用いて木構造を作成する。ここでは、
図26(A)に示した第一の例の地物Cについて木構造を用いた階層的クラスタリングを行った場合と、
図26(B)に示した第二の例の地物Cについて木構造を用いた階層的クラスタリングを行った場合を例示している。
【0109】
標高値に基づく木構造を用いた階層的クラスタリングでは、データ処理部70は、標高値Hの平均値が最も小さい平面クラスタCL1を「根(ルート)」として設定する。また、データ処理部70は、「根」を構成する平面クラスタCL1に対して、Y軸方向視において重なりを持つ平面クラスタCL1があれば、「根」から「枝(ブランチ)」を伸ばし、「枝」の先に、その重なりを持つ平面クラスタCL1を追加する。そして、データ処理部70は、標高値Hの平均値が最も大きい平面クラスタCL1を「子」として設定する。
【0110】
ここで、ガイド枠GD1の生成方法について、説明する。
データ処理部70は、「同一領域のクラスタリング処理」において作成した地物Cの木構造を取得する。そして、データ処理部70は、木構造を構成する各平面クラスタCL1に含まれる点データpを取得する。
次に、データ処理部70は、
図27上図に示すように、「子」の平面クラスタCL1の点データpから、Z軸方向において最も奥に位置するレーザ側線上の各点データpを取得する。そして、データ処理部70は、隣り合うレーザ側線との距離の1/2だけZ軸方向に離れており、かつ、各点データpを囲むことができるX軸方向の幅を有する矩形を作成する。
【0111】
次に、データ処理部70は、作成した矩形に隣接するレーザ側線上に点データpが存在する場合には、
図27下図に示すように、該当するレーザ側線上の点データpを全て含むように矩形を変形させて、外形線を作成する。
そして、データ処理部70は、対象となるレーザ側線上の点データpが無くなるまで隣接するレーザ側線上に点データpを探索し、上記処理を繰り返す。
最後に、データ処理部70は、選択した木構造に含まれる全ての平面クラスタCL1を外包する外形線を作成する。
【0112】
そして、データ処理部70は、作成した外形線の中から、条件に合う外形線のみをガイド枠GD1として出力する。
ガイド枠GD1として出力する条件は、例えば、
図28(A)に示すように、地物Cの大枠たる外形線のみを表示する条件を選択することができる。この条件を選択した場合には、データ表示部80には、その地物Cに対して、地物Cの全体を囲む一つのガイド枠GD1が表示される。
【0113】
また、ガイド枠GD1として出力する条件としては、例えば、
図28(B)に示すように、地物Cの大枠たる外形線に加えて、「根」に対する標高値Hの差(差分ΔH)が、閾値以上である外形線(小枠)のうち、各枝で標高値Hが最も高い平面クラスタCL1に係る外形線を表示する条件を選択することができる。この条件を選択した場合には、データ表示部80には、その地物Cの全体を囲む一つ目のガイド枠GD1と、一つ目のガイド枠GD1の内側に包含される二つ目のガイド枠GD1が表示され、地物Cの立体的形状が考慮されたより詳細なガイド情報GDが表示される。
【0114】
さらに、ガイド枠GD1として出力する条件としては、例えば、
図28(C)に示すように、地物Cの大枠たる外形線に加えて、「根」に対する標高値Hの差(差分ΔH)が、閾値以上である外形線(小枠)を全て表示する条件を選択することができる。この条件を選択した場合にも、データ表示部80には、地物Cの全体を囲む一つ目のガイド枠GD1と、その内側に包含される二つ目のガイド枠GD1が表示され、地物Cの立体的形状が考慮されたより詳細なガイド情報GDが表示される。
【0115】
このような表示条件は、差分ΔHの閾値を調整することによっても行うことができる。オペレータは、ガイド情報GDの表示がより見易くなるように、ガイド枠GD1の表示条件を適宜選択することができる。
【0116】
即ち、ガイド情報表示装置50では、同一領域クラスタCL2に基づいてガイド枠GD1を生成することによって、地物Cの立体的形状を考慮して、地物Cをより詳細に表現したガイド枠GD1を生成することが可能になる。また、ガイド情報表示装置50では、同一領域に存在する平面クラスタCL1をまとめて囲むガイド枠GD1を生成することが可能になる。即ち、ガイド情報表示装置50によれば、より詳細で見易いガイド情報GDを提示することができる。
【0117】
図12に示す如く、データ処理部70によるデータ処理では、次に「点群データとカメラ映像の同期処理」を行う(STEP−106)。
ここでは、
図5(A)(B)に示した通り、XYZ座標系で取得した点群データPをカメラ空間座標系の座標値に変換して、カメラ61によって撮影した映像M上に同期(位置合わせ)して、データ表示部80へと出力する。
【0118】
図12に示す如く、データ処理部70によるデータ処理では、次に「ガイド表示処理」を行う(STEP−107)。
データ処理部70は、生成した同一領域クラスタCL2の情報に基づいて、ガイド情報GDを生成し、データ表示部80に出力する。
尚、「ガイド表示処理」に際しては、クレーン1のコントローラ34から出力される「クレーン情報」を利用する。ここで利用する「クレーン情報」には、伸縮ブーム22の長さ、起伏角度、クレーン1の作業半径、吊荷Wの重量等に係る情報が含まれる。
【0119】
データ処理部70によるデータ処理の一連の流れを説明したが、このような構成では、測定対象物の側面における点データpを取得する必要がなく、少ない演算量で、吊荷Wや地物Cの立体的形状を的確に把握して、ガイド情報GDを生成することができる。このような構成は、データ演算量が少なくて済むため、リアルタイムに吊荷Wや地物Cの形状を把握する用途に適しており、簡易なハードウェア構成のデータ処理部70を用いることができる。
【0120】
次に、ガイド情報GDの内容について、説明する。
ガイド情報表示装置50では、データ表示部80によって、ガイド情報GDを表示する。データ表示部80によって表示するガイド情報GDには、
図8(B)に示すような、オペレータによる地表面Fの指定位置に係る情報が含まれている。
【0121】
また、ガイド情報表示装置50では、吊荷Wを指定することができる。オペレータが地表面Fを指定する場合と同様に、画面上で吊荷Wを指示することで、その指定位置に存在する平面(上面)が吊荷Wの上面を表すものとして設定される。吊荷Wとして指定された後は、吊荷Wに係るガイド枠GD1と地物Cに係るガイド枠GD1は、線色や線太さ等を変えて区別して表示することが好ましい。
地表面Fと吊荷Wの指定位置に係る情報は、円等の図形で表したマーカーによって表示される。
【0122】
また、データ表示部80によって表示するガイド情報GDには、データ処理部70によって生成したガイド枠GD1が含まれている。
【0123】
データ処理部70は、設定された同一領域クラスタCL2に基づいて、ガイド枠GD1を出力する。尚、データ処理部70は、吊荷Wのガイド枠GD1としては、衝突を確実に回避するための余裕を設けることができ、吊荷Wの外形線から所定の距離だけ外側にオフセットさせた枠線を、ガイド枠GD1として出力することができる。このようなガイド枠GD1は、吊荷Wおよび地物Cにおいて推定された上面(平面クラスタCL1)を線分で囲う枠表示となっている。
【0124】
また、データ表示部80によって表示するガイド情報GDには、基準高H0から吊荷Wの下面までの高さ情報GD2と、基準高H0から地物Cの上面までの高さ情報GD3と、が含まれている。
【0125】
吊荷Wの高さ情報GD2は、データ表示部80の画面上の見やすい位置に独立したエリアを設けて、そのエリアに表示する構成とすることが好ましい。
ガイド情報表示装置50では、このような構成によって、吊荷Wの高さ情報GD2と地物Cの高さ情報GD3を見間違えることがないようにしている。
【0126】
データ処理部70は、高さ情報GD2を、吊荷Wの上面であると推定した平面クラスタCL1の上面高さから吊荷Wの高さを引くことによって算出する。
ガイド情報表示装置50では、オペレータが、吊荷Wに係る情報(以下「吊荷情報」と呼ぶ)を、予めデータ処理部70に入力する。このオペレータによる「吊荷情報」の入力は、データ入力部90から行われる。そして、データ処理部70は、「吊荷情報」を利用して、吊荷Wの高さを取得する。
【0127】
ガイド情報表示装置50では、地物Cの高さ情報GD3を、地物Cを囲むガイド枠GD1の内側に表示する構成としている。あるいは、ガイド情報表示装置50では、ガイド枠GD1が小さい場合には、ガイド枠GD1と一部が重なるように表示する構成としている。
ガイド情報表示装置50では、このような構成によって、地物Cと高さ情報GD3の対応関係を明確にしている。
【0128】
また、ガイド情報表示装置50では、データ処理部70によって、そのガイド枠GD1に対応する平面クラスタCL1の標高値Hに応じて、ガイド枠GD1の線色を変える構成としている。
ガイド情報表示装置50では、このような構成によって、オペレータがガイド枠GD1を見ることで、吊荷Wや地物Cのおおまかな標高値(高さ)を感覚的に知覚することができる。このため、ガイド情報表示装置50では、吊荷Wと地物Cの高さをより的確に提示することができる。
【0129】
さらに、ガイド情報表示装置50では、データ処理部70によって、そのガイド枠GD1に対応する平面クラスタCL1の標高値Hに応じて、高さ情報GD2のフォント色を変える構成としている。
ガイド情報表示装置50では、このような構成によって、オペレータが高さ情報GD2を見ることで、吊荷Wや地物Cのおおまかな標高値(高さ)を感覚的に知覚できる。このため、ガイド情報表示装置50では、吊荷Wと地物Cの高さをより的確に提示することができる。
【0130】
さらに、ガイド情報表示装置50によって行うガイド情報GDの表示には、吊荷Wの動線情報が含まれている。吊荷Wの動線情報には、吊荷Wの作業半径情報GD4と、クレーン1の伸縮ブーム22の軸線情報GD5が含まれる。
【0131】
作業半径情報GD4は、現状から伸縮ブーム22を旋回動作させるときの吊荷Wの動線の目安となるものであり、吊荷Wは作業半径情報GD4として示す円弧に沿って移動する。
【0132】
また、軸線情報GD5は、現状から伸縮ブーム22を起伏動作および伸縮動作させるときの吊荷Wの動線の目安となるものであり、吊荷Wは作業半径情報GD4として示す直線に沿って移動する。
【0133】
ガイド情報表示装置50では、吊荷Wの作業半径情報GD4と伸縮ブーム22の軸線情報GD5を、「クレーン情報」に基づいて生成している。
データ処理部70は、「クレーン情報」に基づいて、クレーン1の作業半径を算出し、その作業半径を示す円弧を生成し、作業半径情報GD4として出力する。
また、データ処理部70は、「クレーン情報」に基づいて、伸縮ブーム22の軸線方向を算出し、その軸線方向を示す直線を生成し、軸線情報GD5として出力する。
【0134】
また、ガイド情報表示装置50では、作業半径情報GD4と軸線情報GD5を表示する線を破線で表して、かつ、その破線の長さおよび間隔を目安となる長さ(以下、基準長さと呼ぶ)で表示する構成としている。例えば、基準長さを1mとした場合、作業半径情報GD4と軸線情報GD5は、データ表示部80に表示される吊荷領域WAの大きさに応じて表示上では破線の長さおよび間隔を変更し、そのときのスケールにおいて、地表面Fで1mに相当する長さおよび間隔として表示される。
ガイド情報表示装置50では、破線の長さや間隔を基準長さ(例えば、1m)で表示することで、オペレータが、ガイド情報GDから吊荷Wや地物Cのスケール感を感じることができる構成としている。
【0135】
また、データ処理部70は、「クレーン情報」に基づいて、データ取得部60の高さを算出するとともに、吊荷領域WAの大きさおよびデータ表示部80の表示範囲の大きさを算出し、その算出結果に応じて、作業半径情報GD4と軸線情報GD5として表示する破線のスケール(破線およびその間隔の大きさ)を変更する。
【0136】
さらに、ガイド情報表示装置50によって行うガイド情報GDの表示には、吊荷Wと地物Cの接触を防止するための警報表示が含まれている。
データ処理部70は、吊荷Wと地物Cを水平面に投影した際の水平距離が、所定の閾値(例えば、1m)以下、または、鉛直方向の距離が所定の閾値(例えば、1m)以下の場合に、接触の恐れがあるものと判定する。
【0137】
ここで、
図29から
図36を用いて、吊荷Wと地物Cの接触を防止するための警報表示の処理について具体的に説明する。尚、警報表示の基準となる水平方向および鉛直方向の各閾値は、吊荷Wの揺れや吊荷Wおよび地物Cの形状の測定誤差等による吊荷Wと地物Cの接触の防止を目的として任意の値が設定されている。
【0138】
図29に示すように、警報表示を出力するガイド情報表示方法は、吊荷Wと地物Cの標高値Hの差から吊荷Wと地物Cとが鉛直方向に接近しているか否かを判定する鉛直方向接近判定工程K101と、吊荷Wの外形線を水平移動させる外形線拡大工程K102と、拡大外形線と地物Cの外形線とが重なっていないか否かを判定する非重なり判定工程K103と、拡大外形線の線分と地物Cの外形線の線分とが重なっているか否かを判定する線分重なり判定工程K104と、拡大外形線と地物Cの外形線とについて一方が他方を内包しているか否かを判定する内包判定工程K105と、拡大外形線と地物Cの外形線との全ての頂点同士における水平方向の距離を算出する頂点間距離算出工程K106と、拡大外形線の全ての頂点と地物Cの外形線の全ての線分との水平方向の距離を算出する頂点線分間距離算出工程K107と、から構成されている。尚、吊荷Wおよび地物Cの外形線は、「同一領域のクラスタリング処理」(STEP−105)(
図12参照)で作成された吊荷Wおよび地物Cの全体を囲む外形線である。
【0139】
図30に示すように、データ処理部70は、まず、吊荷Wと地物Cの標高値Hの差を算出する(鉛直方向接近判定工程K101:STEP−401)。尚、吊荷Wの標高値Hは吊荷Wの下面の標高値であり、高さ情報GD2として算出されている。また、地物Cの標高値Hは、地物Cの上面の標高値Hであり、高さ情報GD3として算出されている。
【0140】
データ処理部70は、吊荷Wと地物Cとの標高値Hの差が鉛直方向における閾値以下か否かを判定する(鉛直方向接近判定工程K101:STEP−402)。
【0141】
データ処理部70は、STEP−402において、吊荷Wと地物Cとの標高値Hの差が鉛直方向における閾値以下でないと判定した場合、警報表示の処理を終了する。
【0142】
データ処理部70は、STEP−402において、吊荷Wと地物Cとの標高値Hの差が鉛直方向における閾値以下であると判定した場合、吊荷Wの外形線と地物Cの外形線とについて、XZ平面上での重なりを判定するための、水平方向の重なり判定Aを開始する(STEP−500)。
【0143】
図31および
図32に示すように、データ処理部70は、水平方向の重なり判定Aでは、まず、吊荷Wの外形線の各辺を、外形線で囲まれる範囲が拡大される方向に水平方向における閾値と等しい距離だけ水平移動した外形線である拡大外形線を生成する(外形線拡大工程K102:STEP−501)。
【0144】
図31に示すように、データ処理部70は、拡大外形線と地物Cの外形線の内側に含まれる点データpの合計が2点以上か否かを判定する(STEP−502)。
【0145】
データ処理部70は、STEP−502において、拡大外形線と地物Cの外形線とに含まれる点データpの合計が2点以上でないと判定した場合、拡大外形線と地物Cの外形線とがXZ平面上で重なっていないと判定する(STEP−508)。
【0146】
また、データ処理部70は、STEP−502において、拡大外形線と地物Cの外形線とに含まれる点データpの合計が2点以上であると判定した場合、次に、拡大外形線と地物Cの外形線とがXZ平面上で重なっていないか否かを判定する(非重なり判定工程K103:STEP−503)。
【0147】
拡大外形線と地物Cの外形線とがXZ平面上で重なっていないか否かの判定は、レーザスキャナ62により照射するレーザの側線方向(X軸方向)、および側線方向に直交する水平方向(Z軸方向)を座標軸とした座標系において、拡大外形線と地物Cの外形線の頂点についてXZ平面上での最大値と最小値に基づいて判定する。具体的には、拡大外形線の全ての頂点におけるXZ平面上でのX座標の最大値をMaxX1、X座標の最小値をMinX1、Z座標の最大値をMaxZ1、Z座標の最小値をMinZ1とし、地物Cの外形線の全ての頂点におけるXZ平面上でのX座標の最大値をMaxX2、X座標の最小値をMinX2、Z座標の最大値をMaxZ2、Z座標の最小値をMinZ2として、以下の数式(5)〜(8)のいずれかの条件に該当する場合、データ処理部70は、拡大外形線と地物Cの外形線とがXZ平面上で重なっていないと判定する(STEP−508)。
MaxX1<MinX2・・・(5)
MaxZ1<MinZ2・・・(6)
MaxX2<MinX1・・・(7)
MaxZ2<MinZ1・・・(8)
図33に示すように、地物Cの外形線の最小値MinX2が拡大外形線の最大値MaxX1よりも大きい場合(
図33(A)参照)、式(5)の条件に該当し、地物Cの外形線の最小値MinZ2が拡大外形線の最大値MaxZ1よりも大きい場合(
図33(B)参照)、式(6)の条件に該当し、拡大外形線の最小値MinX1が地物Cの外形線の最大値MaxX2よりも大きい場合(
図33(C)参照)、式(7)の条件に該当し、拡大外形線の最小値MinZ1が地物Cの外形線の最大値MaxZ2よりも大きい場合(
図33(D)参照)、式(8)の条件に該当する。
【0148】
図34に示すように、数式(5)〜(8)のいずれかの条件にも該当しない場合は、拡大外形線の線分と地物Cの外形線の線分とが重なっている場合(
図34(A)参照)、拡大外形線と地物Cの外形線とのうちの一方が他方を内包している場合(
図34(B)参照)、拡大外形線と地物Cの外形線とが重なっていない、かつ、一方が他方を内包していない場合(
図34(C)参照)、のいずれかに該当する。
【0149】
図31に示すように、データ処理部70は、STEP−503において、数式(5)〜(8)のいずれかの条件にも該当しない場合、次に、外積による判定で拡大外形線の線分と地物Cの外形線の線分とがXZ平面上で重なっているか否かを判定する(線分重なり判定工程K104:STEP−504)。
【0150】
STEP−504における外積による判定では、拡大外形線の線分をab、地物Cの外形線の線分をcdとして、線分abの端点aのX座標をax、Z座標をaz、端点bのX座標をbx、Z座標をbzとし、線分cdの端点cのX座標をcx、Z座標をcz、端点dのX座標をdx、Z座標をdzとしたとき、以下の数式(9)〜(12)によって、2線分の外積を算出する。2線分の外積とは、一方の線分と他方の線分の両端点との外積を算出するものである。外積の算出結果の処理用の値をta、tb、tc、tdとして、taは線分cdと端点aとの外積、tbは線分cdと端点bとの外積、tcは線分abと端点cとの外積、tbは線分abと端点dとの外積である。
ta=(cx−dx)×(az−cz)+(cz−dz)×(cx−ax)・・・(9)
tb=(cx−dx)×(bz−cz)+(cz−dz)×(cx−bx)・・・(10)
tc=(ax−bx)×(cz−az)+(az−bz)×(ax−cx)・・・(11)
td=(ax−bx)×(dz−az)+(az−bz)×(ax−dx)・・・(12)
【0151】
データ処理部70は、2線分の外積の算出結果が、tc×td≦0、かつ、ta×tb≦0であれば、STEP−504において、線分abと線分cdが重なっていると判定する。データ処理部70は、拡大外形線の全ての線分と地物Cの外形線の全ての線分とを対象として、STEP−504における外積による判定を行う。
【0152】
そして、データ処理部70は、STEP−504において、拡大外形線の全ての線分と地物Cの外形線の全ての線分を対象として判定し、判定した線分のうち少なくとも1つ重なっている(
図34(A)参照)と判定した場合、拡大外形線と地物Cの外形線とがXZ平面上で重なっていると判定する(STEP−507)。
【0153】
データ処理部70は、STEP−504において、拡大外形線の全ての線分と地物Cの外形線の全ての線分を対象として判定し、全ての線分が重なっていないと判定した場合、次に、拡大外形線が地物Cの外形線に内包されているか否かを判定する(内包判定工程K105:STEP−505)。
【0154】
拡大外形線が地物Cの外形線に内包されているか否かの判定は、まず、STEP−504における外積による判定と同様の算出方法で、拡大外形線における任意の頂点を端点とする半直線と地物Cの外形線の全ての線分とについて、重なっているか否かの判定を行い、重なった回数を算出する。そして、データ処理部70は、その重なった回数が奇数であれば、拡大外形線が地物Cの外形線に内包されていると判定する。尚、外積による判定を行う際、重なりを判定できる程度に端点から離間した位置の半直線上に仮の端点を設けることにより、線分同士の外積を算出することができる。
【0155】
データ処理部70は、STEP−505において、拡大外形線が地物Cの外形線に内包されている(
図34(B)参照)と判定した場合、拡大外形線と地物Cの外形線とがXZ平面上で重なっていると判定する(STEP−507)。
【0156】
データ処理部70は、STEP−505において、拡大外形線が地物Cの外形線に内包されていないと判定した場合、次に、地物Cの外形線が拡大外形線に内包されているか否かを判定する(内包判定工程K105:STEP−506)。
【0157】
地物Cの外形線が拡大外形線に内包されているか否かの判定は、拡大外形線が地物Cの外形線に内包されているか否かの判定の逆の処理を行う。つまり、データ処理部70は、STEP−504における外積による判定と同様の算出方法で、地物Cの外形線における任意の頂点を端点とする半直線と拡大外形線の全ての線分とについて、重なっているか否かの判定を行い、重なった回数を算出する。そして、データ処理部70は、その重なった回数が奇数であれば、地物Cの外形線が拡大外形線に内包されていると判定する。尚、外積による判定を行う際、重なりを判定できる程度に端点から離間した位置の半直線上に仮の端点を設けることにより、線分同士の外積を算出することができる。
【0158】
データ処理部70は、STEP−506において、地物Cの外形線が拡大外形線に内包されていると判定した場合、拡大外形線と地物Cの外形線とがXZ平面上で重なっていると判定する(STEP−507)。
【0159】
データ処理部70は、STEP−506において、地物Cの外形線が拡大外形線に内包されていない(
図34(C)参照)と判定した場合、拡大外形線と地物Cの外形線とがXZ平面上で重なっていないと判定する(STEP−508)。
【0160】
データ処理部70は、STEP−507において、拡大外形線と地物Cの外形線とがXZ平面上で重なっていると判定し、水平方向の重なり判定Aを終了する。また、データ処理部70は、STEP−508において、拡大外形線と地物Cの外形線とがXZ平面上で重なっていないと判定し、水平方向の重なり判定Aを終了する。
【0161】
図30に示すように、データ処理部70は、水平方向の重なり判定Aにおける判定結果に基づいて、拡大外形線と地物Cの外形線とがXZ平面上で重なっているか否かを判定する(STEP−403)。拡大外形線と地物Cの外形線とがXZ平面上で重なっていると判定した場合、データ表示部80に警報表示を行う(STEP−405)。
【0162】
データ処理部70は、STEP−403において、拡大外形線と地物Cの外形線とがXZ平面上で重なっていないと判定した場合、水平方向の接近判定Bを行う(STEP−600)。
【0163】
図35に示すように、データ処理部70は、水平方向の接近判定Bでは、まず、吊荷Wの外形線と地物Cの外形線と全ての頂点同士の水平方向の距離を算出する(頂点間距離算出工程K106:STEP−601)。
そして、データ処理部70は、算出した頂点間の水平方向の距離のうち少なくとも1つが水平方向の警報表示の閾値以下か否かを判定する(STEP−602)。
データ処理部70は、STEP−602において、算出した頂点間の水平方向の距離ののうち少なくとも1つが水平方向における閾値以下であると判定した場合、警報表示の必要ありと判定する(STEP−605)。
【0164】
データ処理部70は、STEP−602において、算出した頂点間の水平方向の距離の全てが水平方向における閾値以下でないと判定した場合、吊荷Wの外形線の全ての頂点と地物Cの外形線の全ての線分との水平方向の距離を算出する(頂点線分間距離算出工程K107:STEP−603)。尚、データ処理部70は、吊荷Wの外形線の頂点と地物Cの外形線の線分との水平方向の距離として、吊荷Wの外形線の頂点から地物Cの外形線の線分上の最も近い点までの距離を算出する。
そして、データ処理部70は、算出した頂点と線分との水平方向の距離のうち少なくとも1つが水平方向の警報表示か否かを判定する(STEP−604)。
データ処理部70は、STEP−604において、算出した頂点と線分との水平方向の距離のうち少なくとも1つが水平方向の警報表示の閾値以下であると判定した場合、警報表示の必要ありと判定する(STEP−605)。
【0165】
データ処理部70は、STEP−604において、算出した頂点と線分との水平方向の距離の全てが水平方向の警報表示の閾値以下でないと判定した場合、警報表示の必要なしと判定する(STEP−606)。
【0166】
データ処理部70は、STEP−605において、警報表示の必要ありと判定し、水平方向の接近判定Bを終了する。また、データ処理部70は、STEP−606において、警報表示の必要なしと判定し、水平方向の接近判定Bを終了する。
【0167】
図30に示すように、データ処理部70は、水平方向の接近判定Bにおける判定結果に基づいて、警報表示の必要があるか否か判定する(STEP−404)。
【0168】
データ処理部70は、STEP−404において、警報表示の必要があると判定した場合、データ表示部80に警報表示を行い(STEP−405)、警報表示の処理を終了する。
【0169】
データ処理部70は、STEP−404において、警報表示の必要がないと判定した場合、警報表示の処理を終了する。
【0170】
図36に示すように、データ表示部80には、データ処理部70で生成したガイド情報GDと映像Mが重畳して表示されている。データ処理部70は、吊荷Wと地物Cとの水平方向の距離が水平方向における閾値以下、かつ、鉛直方向の距離が鉛直方向における閾値以下になった場合、吊荷Wと接触する恐れがある地物Cのガイド枠GD1および高さ情報GD2を任意の色で点滅させる態様で、地物Cのガイド枠GD1および高さ情報GD2を出力する。あるいは、データ処理部70は、地物Cのガイド枠GD1および高さ情報GD2の線太さや文字サイズを大きくして強調させる態様で、地物Cのガイド枠GD1および高さ情報GD2を出力する。ガイド情報表示装置50では、データ処理部70によって、警報表示たる地物Cのガイド枠GD1および高さ情報GD2を出力し、データ表示部80に表示することで、オペレータの注意を促すことができる。これにより、ガイド情報表示装置50は、吊荷Wやその周辺に存在する地物Cの形状、および地表面Fの高さを精度よく取得し、吊荷Wが地物Cに接近した場合に精度の良い警報表示を提示することができる。
【0171】
尚、データ処理部70は、吊荷Wと地物Cとの水平方向の距離が閾値以下になってから、その距離の変化に応じて地物Cのガイド枠GD1および高さ情報GD2の色や点滅の間隔を変化させ、接触の恐れが高くなっている、または低くなっていることを警報表示してよい。また、データ処理部70は、拡大外形線と拡大する前の外形線とを共にガイド枠GD1として表示しても良い。また、警報の出力は、データ表示部80に警報表示することに限定されず、スピーカーで警報音や音声を出力してもよい。
【0172】
また、ガイド情報表示装置50では、データ処理部70によってガイド情報GDを生成するにあたって、
図37に示すように、吊荷Wとトップブーム部材22fの間に除外領域JAを設定する。そして、データ処理部70は、当該除外領域JA内で取得された点データpを、データ処理の対象から除外する構成としている。
【0173】
除外領域JAには、メインワイヤロープ27が通過している。ガイド情報表示装置50では、メインワイヤロープ27をガイド情報GDの生成対象(測定対象物)に含めないようにすることで、より正確で見やすいガイド情報GDを提示する構成としている。尚、除外領域JAは、吊荷Wのガイド枠GD1の生成に影響を及ぼさないように考慮して、その下端高さを、吊荷Wの上面から所定の距離だけ離れた位置に設定することが好ましい。
【0174】
このような構成のガイド情報表示装置50では、クレーン1のオペレータに対して、吊荷Wと吊荷Wの周辺に存在する地物Cについて、その形状を示すガイド枠GD1と、高さを示す高さ情報GD2・GD3を含むガイド情報GDを的確に提示することができる。そして、このような構成のガイド情報表示装置50を用いれば、例えば、オペレータが吊荷Wを直接視認することができない状況においても、オペレータは、ガイド情報表示装置50によって提示されるガイド情報GDに基づいて、効率よく、かつ、安全にクレーン1による作業を行うことができる。