(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-01-13
(45)【発行日】2022-01-25
(54)【発明の名称】ガイド情報表示装置、ガイド情報表示方法、および作業機
(51)【国際特許分類】
G06T 7/136 20170101AFI20220118BHJP
G01B 11/24 20060101ALI20220118BHJP
G06T 7/521 20170101ALI20220118BHJP
G06T 19/00 20110101ALI20220118BHJP
G09B 29/00 20060101ALI20220118BHJP
【FI】
G06T7/136
G01B11/24 A
G06T7/521
G06T19/00 A
G09B29/00 Z
(21)【出願番号】P 2021027976
(22)【出願日】2021-02-24
(62)【分割の表示】P 2017142197の分割
【原出願日】2017-07-21
【審査請求日】2021-02-25
(73)【特許権者】
【識別番号】000148759
【氏名又は名称】株式会社タダノ
(73)【特許権者】
【識別番号】399030060
【氏名又は名称】学校法人 関西大学
(74)【代理人】
【識別番号】110002217
【氏名又は名称】特許業務法人矢野内外国特許事務所
(72)【発明者】
【氏名】小阪 孝幸
(72)【発明者】
【氏名】石川 巖
(72)【発明者】
【氏名】窪田 諭
(72)【発明者】
【氏名】田中 成典
(72)【発明者】
【氏名】中村 健二
(72)【発明者】
【氏名】山本 雄平
(72)【発明者】
【氏名】中原 匡哉
【審査官】西谷 憲人
(56)【参考文献】
【文献】特開2013-018580(JP,A)
【文献】特開2013-120176(JP,A)
【文献】特開2011-079648(JP,A)
【文献】特開2003-256871(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/136
G01B 11/24
G06T 7/521
G06T 19/00
G09B 29/00
(57)【特許請求の範囲】
【請求項1】
データ表示部と、
カメラにより撮影された吊荷領域の映像データと、レーザスキャナにより前記吊荷領域内の吊荷および地物を含む物体を上面からスキャンして得た点群データ、を取得するデータ取得部と、
前記点群データをクラスタ化した平面クラスタからガイド枠を生成し、生成した前記ガイド枠を前記映像データ内の前記物体に重畳させて、前記データ表示部に表示させるデータ処理部と、を有し、
前記データ処理部は、
前記平面クラスタのうち同一領域にある複数の平面クラスタを同一領域クラスタとみなして、複数の平面クラスタを含む単一のガイド枠を生成して表示する、ガイド情報表示装置。
【請求項2】
前記データ処理部は、
前記レーザスキャナからの距離方向の平面視において、基準平面クラスタと標高値の差が閾値以内である他の平面クラスタとの重複が検出された場合、
又は、
前記基準平面クラスタと標高値の差が閾値以内である他の平面クラスタとの離間量が閾値以下の場合、
前記基準平面クラスタと他の平面クラスタとを同一領域にあるものとみなす、請求項1に記載のガイド情報表示装置。
【請求項3】
前記データ処理部は、前記平面クラスタのガイド枠および前記複数の平面クラスタを含む単一のガイド枠を同時にまたは選択的に表示させる、請求項1または請求項2に記載のガイド情報表示装置。
【請求項4】
前記データ処理部は、前記平面クラスタのうち、標高値が最大であるものを前記基準平面クラスタとして抽出する、請求項2に記載のガイド情報表示装置。
【請求項5】
前記データ処理部は、前記点群データを前記レーザスキャナからの距離方向に階層化し、同一階層に属し、且つ、点間距離が所定値以下の点をクラスタ化して前記平面クラスタを形成する、請求項1から請求項4の何れか一項に記載のガイド情報表示装置。
【請求項6】
カメラにより撮影された吊荷領域の映像データと、レーザスキャナにより前記吊荷領域内の吊荷および地物を含む物体を上面からスキャンして得た点群データ、を取得するデータ取得工程と、
前記点群データをクラスタ化してガイド枠を生成するデータ処理工程と、
前記生成した前記ガイド枠を映像データ内の物体に重畳させて、データ表示部に表示させるデータ表示工程と、を有し、
前記データ処理工程は、
前記点群データを前記レーザスキャナからの距離方向に階層化し、同一階層に属し、且つ点間距離が閾値以下にある点群データをクラスタ化して平面クラスタを形成する工程と、
前記平面クラスタのうち同一領域にある複数の平面クラスタを同一領域クラスタとみなして、複数の平面クラスタを含む単一のガイド枠を生成して表示する工程と、を含むガイド情報表示方法。
【請求項7】
前記データ処理工程は、
前記レーザスキャナからの距離方向の平面視において、基準平面クラスタと標高値の差が閾値以内である他の平面クラスタとの重複が検出された場合、
又は、
前記基準平面クラスタと標高値の差が閾値以内である他の平面クラスタとの離間量が閾値以下の場合、
前記基準平面クラスタと他の平面クラスタとを同一領域にあるものとみなす、請求項6に記載のガイド情報表示方法。
【請求項8】
前記データ処理工程において、
前記レーザスキャナからの距離方向の平面視において、基準平面クラスタと標高値の差が閾値以内である他の平面クラスタとの重複が検出された場合、
又は、
前記基準平面クラスタと標高値の差が閾値以内である他の平面クラスタとの離間量が閾値以下の場合、
前記基準平面クラスタと他の平面クラスタとを同一領域にあるものとみなす工程を繰り返す、請求項7に記載のガイド情報表示方法。
【請求項9】
請求項1から5の何れか一項に記載のガイド情報表示装置を有する、作業機。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、測定対象物の点群データをクラスタリングするガイド情報表示装置、ガイド情報表示方法、およびガイド情報表示装置を有する作業機の技術に関する。
【背景技術】
【0002】
従来、レーザスキャナで取得した測定対象物の点群データに基づいて、その測定対象物の三次元形状を取得する技術が知られている。斯かる技術は、例えば、以下の特許文献1~3に開示されている。
【0003】
特許文献1~3には、測定対象物たる地物の形状を三次元的に表した三次元地図を作成するための技術として、複数の地物等の形状を表した三次元点群を解析する三次元点群解析方法に係る技術が開示されている。特許文献1~3記載の三次元点群解析方法では、まず、複数の地物の外形を表し、解析用に設定された三次元座標空間における位置座標と、その点が存在すると推測される面の法線ベクトルとが格納された三次元点群データを用意する。そして、三次元点群データを主成分分析することによって仮の重力方向を定め、これに沿う法線ベクトルを有する点を除外することで側面点群を抽出する。さらに、点間の距離が近いもの同士をグループ化することで、点群を建物単位に分離し、建物ごとの側面を決定する。こうして得られた各側面について主成分分析によって法線ベクトルを求め、法線ベクトル同士の外積の加重平均をとることによって重力方向を求めている。
このような特許文献1~3記載の三次元点群解析方法では、複数の地物を表す広域の三次元点群データを用い、主成分分析という統計的手法を用いることによって、建物ごとの側面を決定している。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2014-186565号公報
【文献】特開2014-186566号公報
【文献】特開2014-186567号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1~3に記載された従来技術を用いて生成される三次元モデルにおいて、例えば、一の測定対象物(建物)ごとに、その外形を表示するガイド枠や建物の高さ情報等をモニタに表示するように構成する場合、測定対象物が複雑な形状をしていたり複数の測定対象物がまとまって配置されていたりすると、モニタ内に表示される情報がユーザにとって過多となり、視認しづらくなる場合があった。
【0006】
本発明は、斯かる現状の課題に鑑みてなされたものであり、取得される点群データのうち、同一領域に存在する一又は複数の測定対象物の点群データをクラスタリングするガイド情報表示装置、ガイド情報表示方法、およびガイド情報表示装置を有する作業機を提供することを目的としている。
【課題を解決するための手段】
【0007】
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
【0008】
即ち、本発明に係るガイド情報表示装置においては、データ表示部と、カメラにより撮影された吊荷領域の映像データと、レーザスキャナにより前記吊荷領域内の吊荷および地物を含む物体を上面からスキャンして得た点群データ、を取得するデータ取得部と、前記点群データをクラスタ化した平面クラスタからガイド枠を生成し、生成した前記ガイド枠を前記映像データ内の前記物体に重畳させて、前記データ表示部に表示させるデータ処理部と、を有し、前記データ処理部は、前記平面クラスタのうち同一領域にある複数の平面クラスタを同一領域クラスタとみなして、複数の平面クラスタを含む単一のガイド枠を生成して表示することを特徴とする。
このような構成のガイド情報表示装置によれば、レーザスキャナで取得した測定対象物の上面に対応する点群データに基づいて、同一領域に存在する一又は複数の測定対象物の点群データをクラスタリングすることができる。これにより、モニタに表示される情報を、ユーザにとって視認しやすくすることができる。
【0009】
また、本発明に係るガイド情報表示装置においては、前記データ処理部は、前記レーザスキャナからの距離方向の平面視において、基準平面クラスタと標高値の差が閾値以内である他の平面クラスタとの重複が検出された場合、又は、前記基準平面クラスタと標高値の差が閾値以内である他の平面クラスタとの離間量が閾値以下の場合、前記基準平面クラスタと他の平面クラスタとを同一領域にあるものとみなすことを特徴とする。
このような構成のガイド情報表示装置によれば、レーザスキャナで取得した測定対象物の上面に対応する点群データに基づいて、同一領域に存在する一又は複数の測定対象物の点群データをクラスタリングすることができる。これにより、モニタに表示される情報を、ユーザにとって視認しやすくすることができる。
【0010】
また、本発明に係るガイド情報表示装置においては、前記データ処理部は、前記平面クラスタのガイド枠および前記複数の平面クラスタを含む単一のガイド枠を同時にまたは選択的に表示させることを特徴とする。
このような構成のガイド情報表示装置によれば、モニタに表示される情報を、ユーザにとって視認しやすくすることができる。
【0011】
また、本発明に係るガイド情報表示装置においては、前記データ処理部は、前記平面クラスタのうち、標高値が最大であるものを前記基準平面クラスタとして抽出することを特徴とする。
このような構成のガイド情報表示装置によれば、標高値が最大である平面クラスタを基準として同一領域に存在する一又は複数の平面クラスタをクラスタリングすることができる。
【0012】
また、本発明に係るガイド情報表示装置においては、前記データ処理部は、前記点群データを前記レーザスキャナからの距離方向に階層化し、同一階層に属し、且つ、点間距離が所定値以下の点をクラスタ化して前記平面クラスタを形成することを特徴とする。
このような構成のガイド情報表示装置によれば、平面クラスタに属する各点データによって、平面(即ち、吊荷および地物の「上面」)を規定することができる。
【0013】
また、本発明に係るガイド情報表示方法においては、カメラにより撮影された吊荷領域の映像データと、レーザスキャナにより前記吊荷領域内の吊荷および地物を含む物体を上面からスキャンして得た点群データ、を取得するデータ取得工程と、前記点群データをクラスタ化してガイド枠を生成するデータ処理工程と、前記生成した前記ガイド枠を映像データ内の物体に重畳させて、データ表示部に表示させるデータ表示工程と、を有し、前記データ処理工程は、前記点群データを前記レーザスキャナからの距離方向に階層化し、同一階層に属し、且つ点間距離が閾値以下にある点群データをクラスタ化して平面クラスタを形成する工程と、前記平面クラスタのうち同一領域にある複数の平面クラスタを同一領域クラスタとみなして、複数の平面クラスタを含む単一のガイド枠を生成して表示する工程と、を含むことを特徴とする。
このような構成のガイド情報表示方法によれば、レーザスキャナで取得した測定対象物の上面に対応する点群データに基づいて、同一領域に存在する一又は複数の測定対象物の点群データをクラスタリングすることができる。これにより、データ表示部に表示される情報を、ユーザにとって視認しやすくすることができる。
【0014】
また、本発明に係るガイド情報表示方法においては、前記データ処理工程は、前記レーザスキャナからの距離方向の平面視において、基準平面クラスタと標高値の差が閾値以内である他の平面クラスタとの重複が検出された場合、又は、前記基準平面クラスタと標高値の差が閾値以内である他の平面クラスタとの離間量が閾値以下の場合、前記基準平面クラスタと他の平面クラスタとを同一領域にあるものとみなすことを特徴とする。
このような構成のガイド情報表示方法によれば、レーザスキャナで取得した測定対象物の上面に対応する点群データに基づいて、同一領域に存在する一又は複数の測定対象物の点群データをクラスタリングすることができる。これにより、データ表示部に表示されるガイド情報を、ユーザにとって視認しやすくすることができる。
【0015】
また、本発明に係るガイド情報表示方法においては、前記データ処理工程において、前記レーザスキャナからの距離方向の平面視において、基準平面クラスタと標高値の差が閾値以内である他の平面クラスタとの重複が検出された場合、又は、前記基準平面クラスタと標高値の差が閾値以内である他の平面クラスタとの離間量が閾値以下の場合、前記基準平面クラスタと他の平面クラスタとを同一領域にあるものとみなす工程を繰り返すことを特徴とする。
このような構成のガイド情報表示方法によれば、同一領域に存在する一又は複数の平面クラスタを全てクラスタリングすることができる。
【0016】
また、本発明に係る作業機においては、ガイド情報表示装置を有することを特徴とする。
このような構成の作業機によれば、レーザスキャナで取得した測定対象物の上面に対応する点群データに基づいて、同一領域に存在する一又は複数の測定対象物の点群データをクラスタリングすることができる。これにより、ガイド情報表示装置に表示されるガイド情報を、ユーザにとって視認しやすくすることができる。
【発明の効果】
【0017】
本発明の効果として、以下に示すような効果を奏する。
【0018】
本発明に係る点群データのガイド情報表示装置、ガイド情報表示方法、および作業機によれば、同一領域に存在する一又は複数の測定対象物の点群データをクラスタリングすることができる。
【図面の簡単な説明】
【0019】
【
図1】本発明の一実施形態に係るクレーンの全体構成を示す模式図。
【
図3】本発明の一実施形態に係るガイド情報表示装置の全体構成を示す模式図。
【
図5】カメラ空間座標系およびカメラの画角の説明図、(A)Z軸方向視模式図、(B)X軸方向視模式図。
【
図6】レーザスキャナによるレーザの照射状況の説明図、(A)X軸方向視模式図、(B)Y軸方向視模式図。
【
図7】データ取得部を示す模式図、(A)Y軸方向視見上げ図、(B)
図7(A)におけるA-A断面図。
【
図8】ガイド情報の表示状態を示す図、(A)映像Mを表示したデータ表示部を示す図、(B)映像Mとガイド情報GDを重畳表示したデータ表示部を示す図。
【
図9】ガイド情報表示装置の別構成を示す模式図、(A)データ処理部、データ表示部、データ入力部をタブレットPCで構成した場合、(B)データ表示部、データ入力部をタッチパネル式ディスプレイ装置で構成した場合。
【
図10】吊荷領域とレーザ側線の関係を示す模式図。
【
図11】レーザスキャナによるレーザの照射状況を説明するZ軸方向視模式図。
【
図12】データ処理部によるデータ処理の流れを示すフロー図。
【
図13】データ取得部によって取得した点群データを示す図、(A)点群データをXYZ座標系にプロットした図、(B)XYZ座標系にプロットした点群データを複数のグループに分けた図。
【
図15】地表面の指定時における基準高の算出方法の説明図、(A)基準高の算出方法を示す図、(B)吊荷領域の分割状況を示す模式図。
【
図16】オペレータによる地表面の指定状況を示す模式図。
【
図19】平面の推定手順(STEP-301~302)の説明図。
【
図20】平面の推定手順(STEP-303~305)の説明図。
【
図21】平面の推定手順(STEP-306~308)の説明図。
【
図22】平面の推定手順(STEP-306~308(2回目))の説明図。
【
図23】平面の推定手順(上面の推定状況)の説明図。
【
図24】異なるグループに存在する平面の結合方法のフロー図。
【
図25】異なるグループに存在する平面の結合方法の説明図。
【
図26】同一領域のクラスタリング方法のフロー図。
【
図29】階層的クラスタリングの説明図、(A)第一の例の地物の場合、(B)第二の例の地物の場合。
【
図31】階層的クラスタリングにおける同一領域クラスタの設定例を示す図、(A)全体を囲む同一領域クラスタとする場合、(B)標高値が最も高い平面クラスタを別の同一領域クラスタとして設定する場合、(C)標高値の差分が閾値以上である平面クラスタを全て含む別の同一領域クラスタを設定する場合。
【
図32】データ表示部における警報表示を示す模式図。
【発明を実施するための形態】
【0020】
次に、発明の実施の形態を説明する。
図1に示す如く、クレーン1は、本発明の一実施形態に係るガイド情報表示装置を備えたクレーンの一例であり、所望の場所に移動可能な移動式クレーンである。
クレーン1は、走行車両10、クレーン装置20を備えている。
【0021】
走行車両10は、クレーン装置20を搬送するものであり、複数(本実施形態では4個)の車輪11を有し、エンジン(図示せず)を動力源として走行する。
走行車両10の四方角部には、アウトリガ12が設けられている。アウトリガ12は、走行車両10の幅方向両側に油圧によって延伸可能な張り出しビーム12aと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダ12bとから構成されている。そして、走行車両10は、ジャッキシリンダ12bを接地させることにより、クレーン1を作業可能な状態とすることができ、張り出しビーム12aの延伸長さを大きくすることにより、クレーン1の作業可能範囲(作業半径)を広げることができる。
【0022】
クレーン装置20は、吊荷Wをワイヤロープによって吊り上げるものであり、旋回台21、伸縮ブーム22、メインフックブロック23、サブフックブロック24、起伏シリンダ25、メインウインチ26、メインワイヤロープ27、サブウインチ28、サブワイヤロープ29、キャビン30を備えている。
【0023】
旋回台21は、クレーン装置20を旋回可能に構成するものであり、円環状の軸受を介して走行車両10のフレーム上に設けられる。円環状の軸受は、その回転中心が走行車両10の設置面に対して垂直になるように配置されている。旋回台21は、円環状の軸受の中心を回転中心として一方向と他方向とに回転自在に構成されている。また、旋回台21は、油圧式の旋回モータ(図示せず)によって回転される。
【0024】
伸縮ブーム22は、吊荷Wを吊り上げ可能な状態にワイヤロープを支持するものである。伸縮ブーム22は、複数のブーム部材であるベースブーム部材22a、セカンドブーム部材22b、サードブーム部材22c、フォースブーム部材22d、フィフスブーム部材22e、トップブーム部材22fから構成されている。各ブーム部材は、断面積の大きさの順に入れ子式に挿入されている。伸縮ブーム22は、各ブーム部材を図示しない伸縮シリンダで移動させることで軸方向に伸縮自在に構成されている。伸縮ブーム22は、ベースブーム部材22aの基端が旋回台21上に揺動可能に設けられている。これにより、伸縮ブーム22は、走行車両10のフレーム上で水平回転可能かつ揺動自在に構成されている。
【0025】
メインフックブロック23は、吊荷Wを引掛けて吊り下げるためのものであり、メインワイヤロープ27が巻き掛けられる複数のフックシーブと、吊荷Wを吊るメインフック32とが設けられている。
クレーン装置20は、メインフックブロック23の他に、吊荷Wを引掛けて吊り下げるためのサブフックブロック24をさらに備えており、サブフックブロック24には、吊荷Wを吊るサブフック33が設けられている。
【0026】
起伏シリンダ25は、伸縮ブーム22を起立および倒伏させ、伸縮ブーム22の姿勢を保持するものである。起伏シリンダ25はシリンダ部とロッド部とからなる油圧シリンダから構成されている。
【0027】
メインウインチ26は、メインワイヤロープ27の繰り入れ(巻き上げ)および繰り出し(巻き下げ)を行うものであり、本実施形態では油圧ウインチによって構成している。
メインウインチ26は、メインワイヤロープ27が巻きつけられるメインドラムがメイン用油圧モータによって回転されるように構成されている。メインウインチ26は、メイン用油圧モータが一方向へ回転するように作動油が供給されることでメインドラムに巻きつけられているメインワイヤロープ27を繰り出し、メイン用油圧モータが他方向へ回転するように作動油が供給されることでメインワイヤロープ27をメインドラムに巻きつけて繰り入れるように構成されている。
【0028】
また、サブウインチ28は、サブワイヤロープ29の繰り入れおよび繰り出しを行うものであり、本実施形態では、油圧ウインチによって構成している。
【0029】
キャビン30は、オペレータが着座する運転座席31を覆うものであり、旋回台21における伸縮ブーム22の側方に設けられている。
【0030】
このように構成されるクレーン1は、走行車両10を走行させることで、任意の位置にクレーン装置20を移動させることができ、また、起伏シリンダ25で伸縮ブーム22を任意の起伏角度に起立させることで、伸縮ブーム22を任意の伸縮ブーム長さに延伸させることができる。
【0031】
また、クレーン1は、旋回台21、伸縮ブーム22、起伏シリンダ25等の動作(即ち、クレーン1の動作)を制御するコントローラ34を備えている。コントローラ34は、旋回台21、伸縮ブーム22、起伏シリンダ25等の動作状態に係る情報や、クレーン1固有の性能に係る情報、および吊荷Wの重量等を外部に出力することが可能である。
【0032】
尚、本説明では、伸縮ブーム22の起伏支点の軸方向を基準として、
図1に示すようなXYZ座標系を規定している(以下の説明においても同様)。
X軸方向(側線方向とも呼ぶ)は、伸縮ブーム22の起伏支点の軸方向に対して平行な水平方向である。また、Y軸方向(標高方向とも呼ぶ)は、鉛直方向である。さらに、Z軸方向(奥行方向とも呼ぶ)は、伸縮ブーム22の起伏支点の軸方向に対して垂直な水平方向である。即ち、XYZ座標系は、
図2に示すように、伸縮ブーム22を基準としたローカル座標系として規定している。
【0033】
次に、本発明の一実施形態に係るガイド情報表示装置について、説明する。
クレーン1は、
図3に示すようなガイド情報表示装置50を備えている。
ガイド情報表示装置50は、本発明に係るガイド情報表示装置の一例であり、
図1に示すようなクレーン1による作業を効率よく、かつ、安全に行うことを可能にするために、吊荷Wを含む領域(以下、吊荷領域WAと言う)の情報(以下、ガイド情報と言う)を映像で表示し、オペレータに提示するための装置である。
【0034】
ここでいう「吊荷領域WA」とは、
図2および
図4に示すように、クレーン1の作業領域SA内で、Y軸方向視において吊荷Wを含む領域として設定されるものであり、「ガイド情報」を生成する対象となる領域である。
「吊荷領域WA」は、クレーン1における伸縮ブーム22のトップブーム部材22fの直下を含む領域として設定され、吊荷領域WA内に存在する吊荷W、地表面F、地物Cが、ガイド情報表示装置50による測定対象物となる。「吊荷領域WA」は、伸縮ブーム22の旋回動作、起伏動作、伸縮動作に応じて変位する。
【0035】
また、ここで言う「ガイド情報」は、オペレータがクレーン1によって吊荷Wを搬送するときに、伸縮ブーム22の長さ・旋回位置・起伏角度、ワイヤロープの巻き出し量等の良否について、オペレータの判断を補助する情報であり、吊荷領域WAの映像情報、吊荷Wおよび地物Cの形状に係る情報、吊荷Wの高さ情報、地物Cの高さ情報、吊荷Wの動線に係る情報等が含まれる。
【0036】
図3および
図4に示す如く、ガイド情報表示装置50は、データ取得部60と、データ処理部70と、データ表示部80と、データ入力部90によって、構成されている。
【0037】
データ取得部60は、吊荷領域WAにおけるガイド情報を生成するために必要なデータを取得する部位であり、
図3に示すように、カメラ61、レーザスキャナ62、慣性計測装置(IMU)63を備えている。
【0038】
図4に示すように、データ取得部60は、クレーン1の伸縮ブーム22の先端に位置しているトップブーム部材22fに付設されており、吊荷Wの真上に位置するブーム先端から真下の状況を捉えることができる状態で配置されている。尚、ここでいう吊荷Wの「真上」は、吊荷Wの鉛直上方の位置と、その位置を基準とした一定範囲(例えば、吊荷Wの上面の範囲)の位置と、を含む概念である。
【0039】
データ取得部60は、伸縮ブーム22の先端部のトップブーム部材22fに対してジンバル67(
図1参照)を介して付設されており、伸縮ブーム22が起伏動作、旋回動作、伸縮動作をしたときに、データ取得部60の姿勢(Y軸方向に向けた姿勢)を略一定に保持することができるように構成されている。これにより、カメラ61とレーザスキャナ62を常に吊荷Wに向けておくことができる。このため、データ取得部60は、カメラ61とレーザスキャナ62によって、吊荷Wとその下方に存在する地表面F(即ち、吊荷領域WA)から、常にデータを取得することができる。また、吊荷領域WAに地物Cが存在する場合には、カメラ61とレーザスキャナ62によって、地物Cのデータを取得することができる。
【0040】
図5(A)(B)に示すように、カメラ61は、吊荷領域WAの映像を撮影するためのデジタルビデオカメラであり、撮影した映像をリアルタイムで外部に出力する機能を有している。カメラ61は、
図5(A)(B)に示すような画角(水平画角θhおよび垂直画角θv)を有している。また、カメラ61は、適切なガイド情報の生成に必要なデータ量を考慮した画素数、フレームレート、画像伝送レートを有している。
【0041】
図3に示すように、レーザスキャナ62は、測定対象物にレーザを照射し、そのレーザの測定対象物における反射光を受光することによって、その反射点に係る情報を取得し、測定対象物の点群データを取得する装置である。レーザスキャナ62の測定対象物は、吊荷W、地物C、地表面Fである。また、レーザスキャナ62には、測定時刻を取得するための第一GNSS受信機65が接続されている。
ガイド情報表示装置50では、レーザスキャナ62によって、リアルタイムに平面的な三次元点群データを取得する。
【0042】
図6に示すように、レーザスキャナ62は、合計16個のレーザ送受信センサを備えており、同時に16本のレーザを測定対象物に照射して、測定対象物の点群データを取得することができるものである。レーザスキャナ62の16個の各レーザ送受信センサは、Z軸方向において2°ずつ照射角度を異ならせて配置されており、測定対象物に対して、全体で30°の拡がりを持ってレーザを照射可能に構成されている。また、レーザスキャナ62の各レーザ送受信センサは、Z軸回りに360°(全方位)回転可能に構成されている。尚、以下の説明では、吊荷領域WAに向けて照射されるレーザが描く軌跡をレーザ側線と呼ぶ。レーザ側線は、X軸方向に対して平行であり、レーザスキャナ62では、16本のレーザ側線が同時に描かれる。
【0043】
そして、レーザスキャナ62は、レーザ側線がX軸方向に対して平行となるように配置されている。また、レーザスキャナ62は、レーザの照射角度を変更する基準軸が、Z軸方向に対して平行とされている。
【0044】
図3に示すように、慣性計測装置(Inertial Measurement Unit、以下IMUと呼ぶ)63は、データ取得時におけるカメラ61とレーザスキャナ62の姿勢データを取得するための装置である。IMU63は、リアルタイムで姿勢角を測定することが可能であり、レーザスキャナ62によって取得した点群データの補正に利用可能な測定精度を有している。また、IMU63には、測定時刻を取得するための第二GNSS受信機66が接続されている。
【0045】
図7(A)(B)に示すように、データ取得部60はカメラ61、レーザスキャナ62、慣性計測装置(IMU)63をフレーム体64に対して固定し、一体に構成したセンサユニットである。
フレーム体64は、5枚の板材を組み合わせて構成された略直方体状の物体である。フレーム体64は、4枚の板材で直方体の四方の側面部を構成するとともに、残り1枚の板材で、直方体の上面部を構成し、下方に開口部を有する形状に構成されている。データ取得部60では、カメラ61とレーザスキャナ62を、フレーム体64の側面部内側に付設し、IMU63を、フレーム体64の上面部に付設している。
図7(A)に示すように、カメラ61の撮像素子中心位置とレーザスキャナ62のレーザ中心位置は、Y軸方向視において、Z軸方向に距離Δzhで離間している。なお、レーザ中心位置とは、レーザスキャナ62におけるレーザの回転中心であり、Z軸上に位置している。
また、
図7(B)に示すように、カメラ61の撮像素子中心位置とレーザスキャナ62のレーザ中心位置は、X軸方向視において、Y軸方向に距離Δyvで離間している。
データ取得部60は、フレーム体64の四方の側面部のうち、対面する一対の側面部の一方がZ軸に対して垂直となり、対面する一対の側面部の他方がX軸に対して垂直となる姿勢で配置される。また、データ取得部60は、フレーム体64の上面部が、Y軸に対して垂直となる姿勢で配置される。
【0046】
次に、XYZ座標系における点(x,y)のX座標を、カメラ空間座標系におけるXc座標に変換する方法について、説明する。
【0047】
ガイド情報表示装置50では、カメラ61で撮影した映像M上に後述するガイド情報GDを重畳してデータ表示部80に表示するために、XYZ座標系とカメラ空間座標系の間で座標値の変換処理を行う。ガイド情報表示装置50では、カメラ61の映像空間において、三次元のカメラ空間座標系Xc・Yc・Zcを規定している。
【0048】
図5(A)に示すように、カメラ61のレンズ中心から延ばした垂線から点(x,y)までのX軸方向の距離をdh、カメラ61の水平方向の最大画面幅をwhとする。また、点(x,y)は、画面中心からX軸方向の位置をxとしている。このとき、カメラ空間における点(x,y)のXc座標は、以下の数式(1)(2)で表される。
尚、以下の数式では、カメラ61の撮像素子とレーザ中心の位置の水平方向の差分をΔzhとし(
図7(A)参照)、カメラ画像の横幅をwh、カメラ61の水平画角をθh、一時変数をtmp1としている。
tmp1=(y-Δzh)×tan(π×θh/360)・・・(1)
Xc=wh/2-wh×x/(2×tmp1)・・・(2)
【0049】
次に、XYZ座標系における点(y,z)のZ座標を、カメラ空間座標系におけるZc座標に変換する方法について、説明する。
図5(B)に示すように、点(y,z)からレーザ中心までのZ軸方向の距離をdv、カメラ61の水平方向の最大画面幅をwvとしている。また、点(y,z)は、画面中心からZ軸方向の位置をzとしている。このとき、カメラ空間における点(y,z)のZc座標は、以下の数式(3)(4)で表される。
尚、以下の数式では、カメラ61の撮像素子とレーザスキャナ62のレーザ中心の位置の垂直方向の差分をΔyv(
図7(B)参照)、カメラ画像の縦幅をwv、カメラ61の垂直画角をθv、一時変数をtmp2としている。
tmp2=Y×tan(π×θv/360)・・・(3)
Zc=wv/2+wv×(Z-Δyv)/(2×tmp2)・・・(4)
【0050】
ガイド情報表示装置50では、上記数式(1)~(4)を用いて、XYZ座標系においてレーザスキャナ62等によって取得した点群データの座標を、カメラ空間座標系に変換することによって、カメラ61で撮影した映像M上にガイド情報GDを位置合わせして表示する。
【0051】
尚、レーザスキャナ62としては、伸縮ブーム22の最高到達高さを考慮して、その最高到達高さ(例えば、約100m)から測定対象物の三次元形状を測定可能な機器を選択する。また、レーザスキャナ62としては、適切なガイド情報を生成するために必要なデータ量およびデータ精度を考慮して、測定スピード、測定ポイント数、測定精度等の各仕様について所定の性能を有する機器を選択する。
【0052】
尚、本実施形態では、合計16個のレーザ送受信センサを備えたレーザスキャナ62を用いる場合を例示しているが、本発明に係るガイド情報表示装置は、レーザスキャナを構成するレーザ送受信センサの個数によっては限定されない。即ち、本発明に係るガイド情報表示装置では、クレーンのブーム(ジブ)の最高到達高さ等に応じて、最適な仕様のレーザスキャナを適宜選択する。
【0053】
データ取得部60によって吊荷領域WAにおいて取得するデータには、吊荷Wと、吊荷Wの下方の地表面Fと、吊荷Wの周囲に存在する地物Cをカメラ61によって撮影した映像データが含まれる。また、データ取得部60によって吊荷領域WAにおいて取得するデータには、吊荷Wと、地表面Fと、地物Cをレーザスキャナ62によってスキャンして取得した点群データが含まれる。尚、ここでいう地表面Fには、吊荷Wの搬送元および搬送先となる面を広く含み、地上面のみならず、建物屋上の床面や屋根面等も含まれる。
【0054】
図3に示すように、データ処理部70は、データ取得部60で取得したデータを処理して、オペレータに提示するガイド情報GDを生成するための部位であり、本実施形態では、所定のデータ処理プログラムがインストールされた汎用のパーソナルコンピュータによって構成している。
また、データ処理部70は、クレーン1のコントローラ34と電気的に接続されており、コントローラ34から出力される「クレーン情報」が、データ処理部70に入力される。
【0055】
データ表示部80は、オペレータに提示するガイド情報GDを表示するための部位であり、データ処理部70に接続されたディスプレイ装置により構成される。
データ表示部80には、
図8(A)に示すように、カメラ61によって撮影した吊荷領域WAの映像Mをリアルタイムに表示する。
【0056】
ガイド情報GDには、
図8(B)に示すように、吊荷W・地物CのY軸方向視における外形形状を表すガイド枠GD1や、吊荷Wの下面の高さ情報GD2、地物Cの上面の高さ情報GD3、吊荷Wの動線を示す作業半径情報GD4、伸縮ブーム22の軸線方向を示す軸線情報GD5等が含まれる。
そして、データ表示部80には、データ処理部70で生成したガイド情報GDと映像Mが重畳して表示される。
【0057】
図3に示す如く、データ入力部90は、データ処理部70に対して、設定値等を入力するための部位であり、タッチパネル、マウス、キーボード装置等により構成される。
【0058】
尚、ガイド情報表示装置50は、
図9(A)に示すように、データ処理部70とデータ表示部80とデータ入力部90をタブレット型の汎用パーソナルコンピュータ(以下、タブレットPCとも呼ぶ)によって、一体的に構成することが好ましい。また、ガイド情報表示装置50は、
図9(B)に示すように、データ表示部80とデータ入力部90をタッチパネル式ディスプレイ装置によって一体で構成し、当該タッチパネル式ディスプレイ装置に汎用PCたるデータ処理部70を接続する構成としてもよい。
【0059】
図4に示すように、データ表示部80とデータ入力部90は、キャビン30内の運転座席31の前方のオペレータが見やすい位置に配置する。データ処理部70は、データ取得部60の近傍に配置することが好ましい。尚、データ処理部70とデータ表示部80とデータ入力部90をタブレットPCによって一体的に構成した場合には、データ処理部70をキャビン30内に配置する構成としてもよい。
データ取得部60とデータ処理部70間のデータの伝送は、有線LANによることが好ましい。尚、データ取得部60とデータ処理部70間のデータの伝送は、無線LANを採用してもよく、あるいは、電力線通信を採用してもよい。
【0060】
尚、ガイド情報表示装置50は、
図9(A)に示すように、データ処理部70とデータ表示部80とデータ入力部90をタブレット型の汎用パーソナルコンピュータ(以下、タブレットPCとも呼ぶ)によって、一体的に構成することが好ましい。また、ガイド情報表示装置50は、
図9(B)に示すように、データ表示部80とデータ入力部90をタッチパネル式ディスプレイ装置によって一体で構成し、当該タッチパネル式ディスプレイ装置に汎用PCたるデータ処理部70を接続する構成としてもよい。
【0061】
ここで、データ取得部60によるデータの取得状況を説明する。
データ取得部60では、カメラ61によって、吊荷領域WAを連続的に撮影し、吊荷領域WAの映像Mを取得する。
【0062】
図10に示すように、データ取得部60では、レーザスキャナ62によって、吊荷領域WAを連続的にスキャンし、吊荷領域WAにおける測定対象物の点群データを取得する。以下では、レーザスキャナ62によって取得する点群データを、点群データPと呼ぶ。点群データPは、点データpの集合であり、点データpは、吊荷領域WAに存在する地表面F、吊荷W、地物Cの上面に位置する点を表している。そして、点データpには、
図11に示すように、測定対象物(例えば地物C)からレーザスキャナ62までの距離aと、その点データpを取得したときのレーザスキャナ62の照射角度bの情報が含まれている。
【0063】
図3に示すように、レーザスキャナ62には、第一GNSS受信機65を接続しており、点群データPを取得すると同時に、第一GNSS受信機65によって複数の測位衛星から時間情報を受信する。そして、データ処理部70は、点データpに対して、該点データpの取得時間に係る情報を付与する。即ち、点データpに係る情報には、距離a、照射角度bの他、取得時間tpが含まれている。
【0064】
また、データ取得部60では、レーザスキャナ62によって、点群データPを取得すると同時に、IMU63によって、所定の周期でレーザスキャナ62の姿勢データQを取得する。姿勢データQには、レーザスキャナ62のX・Y・Z軸の各軸方向に対する角度と加速度に係る情報が含まれる。尚、IMU63による姿勢データQの取得周期は、レーザスキャナ62による点群データPの取得周期よりも短くする。姿勢データQは、測定周期ごとに測定される個別姿勢データqの集合である。
【0065】
IMU63には、第二GNSS受信機66を接続しており、姿勢データQを取得すると同時に、第二GNSS受信機66によって、複数の測位衛星から時間情報を受信する。データ処理部70は、個別姿勢データqに対して、該個別姿勢データqの取得時間に係る情報として取得時間tqを付与する。即ち、個別姿勢データqに係る情報には、取得時間tqが含まれている。
【0066】
次に、データ処理部70によるデータの処理状況を説明する。
【0067】
図12に示す如く、データ処理部70によるデータ処理では、まず「フレーム抽出処理」を行う(STEP-101)。
データ処理部70による点群データPのデータ処理では、点群データPのストリームデータから、1フレーム分の点群データPを切り出して出力する。1フレーム分の点群データPは、レーザスキャナ62によるレーザの照射方向がZ軸回りに1周する間に取得する点データpの集合である。
【0068】
図12に示す如く、データ処理部70によるデータ処理では、次に「点群データと姿勢データの同期処理」を行う(STEP-102)。
データ処理部70は、1フレーム分の点群データPに含まれる点データpを、IMU63によって取得した姿勢データQと同期させる。
具体的には、個々の点データpにおいて、その点データpの取得時間tpに最も近い個別姿勢データqの取得時間tqを探索し、該取得時間tqにおける個別姿勢データqを、その点データpに対応付けることで同期する。
【0069】
このようにしてデータ処理部70は、個別姿勢データqに同期された点データpを出力する。
そして、
図11に示すように、データ処理部70は、距離aおよび照射角度bとに基づいて、レーザスキャナ62のレーザ中心位置から点データpまでの距離hを算出する。尚、ここで言う「距離h」は、レーザスキャナ62のレーザ中心位置から点データpが存在する水平面までの距離である。
【0070】
また、データ処理部70では、点データpの距離hを算出する際に、その点データpに対応する個別姿勢データqを用いて補正を行う。これによって、レーザスキャナ62の姿勢に起因する誤差を解消し、より精度よく点データpの距離hを算出することができる。
【0071】
即ち、ガイド情報表示装置50において、データ取得部60は、レーザスキャナ62の姿勢データQを取得するIMU63を備え、データ処理部70は、IMU63で取得したレーザスキャナ62の姿勢データQに基づいて、点群データPを補正している。
ガイド情報表示装置50では、このような構成によって、オペレータに対して、より的確なガイド情報GDを提示することが可能になっている。
【0072】
1フレーム分の点群データPをXYZ座標系にプロットすると、
図13(A)のように表される。
図13(A)はZ軸方向から見た点群データP(点データpの集合)である。
【0073】
図12に示す如く、データ処理部70によるデータ処理では、次に「地表面推定処理」を行う(STEP-103)。データ処理部70は、吊荷領域WAに存在する地表面Fの基準高H0を推定する処理を行う。
【0074】
ここでは、まず、地表面Fを自動的に推定する場合を説明する。
【0075】
(点群データ取得工程)
データ処理部70は、まず、1フレーム分の点群データPを取得する。点群データPは、測定対象物たる吊荷Wおよび地物Cの上方から、吊荷Wおよび地物Cおよび地表面Fを含む吊荷領域WAにおいて取得したものである。
【0076】
図14および
図15(B)に示すように、データ処理部70は、吊荷領域WAを、平面視(Y軸方向視)において、格子状に複数の小領域Sに分割する(領域分割工程:STEP-201)。データ処理部70は、Z軸方向に対して平行な分割線によってレーザ側線を等間隔に分割し、分割されたレーザ側線を基準とする同一形状で、かつ、同一面積を有する小領域Sに分割している。本実施形態において、データ処理部70は、レーザ側線を10分割することで、160個の小領域Sに分割している。
【0077】
次に、データ処理部70は、各小領域Sにおいて、距離hが最も大きい(距離hが最大距離hmaxである)点データpを抽出する(最大点データ抽出工程:STEP-202)。最大距離hmaxである点データpは、最も低い位置に存在している点データpであると推測される。そして、
図14および
図15(A)に示すように、データ処理部70は、最大距離hmaxである点データpに対する他の点データの距離hの離れ量Dを算出する(離れ量算出工程:STEP-203)。データ処理部70は、最大距離hmaxを基準として、距離hの離れ量Dが所定の閾値r1以内(本実施形態では離れ量Dが7cm以内)にある点データpを、地表面Fを構成する点データとして抽出する(地表面点データ抽出工程:STEP-204)。
【0078】
次に、データ処理部70は、各小領域Sにおいて、抽出した点データpの距離hに基づいて各小領域Sの地表面Fの基準高H0を推定する(小領域地表面推定工程:STEP-205)。本実施形態では、データ処理部70は、抽出した点データpの距離hの平均値を、小領域Sにおける地表面Fの基準高H0としている。
データ処理部70では、このような構成によって、任意の小領域Sにおいて、地表面Fの基準高H0を推定することができる。
【0079】
さらに、データ処理部70は、各小領域Sにおける地表面Fの基準高H0に基づいて吊荷領域WAの地表面Fの基準高H0を推定する(領域地表面推定工程:STEP-206)。本実施形態では、データ処理部70は、各小領域Sにおける地表面Fの基準高H0(距離hの平均値)をさらに全ての小領域Sで平均した値を、吊荷領域WAの地表面Fの基準高H0としている。
データ処理部70では、このような構成によって、吊荷領域WAの地表面Fの基準高H0を推定することができる。そして、データ処理部70は、距離hと基準高H0から、点データpの標高値Hを算出する。
図10に示すように、標高値Hは、点データpの基準高H0からの高さである。
【0080】
(STEP-206)において、データ処理部70は、吊荷領域WAにおける地表面Fの基準高H0に対する一の小領域Sにおける地表面Fの基準高H0の差異が所定の閾値よりも大きい場合に、地表面Fを構成しない点データpを抽出したものと判断し、一の小領域Sにおける地表面Fの基準高H0の代わりに、一の小領域Sに隣接する小領域Sのうち、差異が所定の閾値未満となる小領域Sの地表面Fの基準高H0を用いて、吊荷領域WAにおける地表面Fの基準高H0を補正してもよい。
データ処理部70では、このような構成によって、地表面Fを構成しない点データpを抽出したものと推定される場合に、一の小領域Sの代わりに、一の小領域Sに隣接する小領域Sのうち、差異が所定の閾値未満となる小領域Sの地表面Fの基準高H0を用いることで、吊荷領域WAの地表面Fの基準高H0をより正確に推定することができる。
【0081】
また、(STEP-206)において、吊荷領域WAにおける地表面Fの基準高H0を推定する際に、全ての小領域Sのうち、地表面Fを構成しない点データpを抽出したものと推定される小領域Sを除外してもよい。例えば、各小領域Sにおいて算出される地表面Fの基準高H0のうち、最小である一の小領域Sにおける地表面Fの基準高H0を基準として、所定の閾値以内にある小領域Sの地表面Fの基準高H0のみを用いて平均値を算出してもよい。以上のように、吊荷領域WAにおける地表面Fの基準高H0を推定する際に、全ての小領域Sの基準高H0を用いる必要はなく、特定の小領域Sの基準高H0のみを用いてもよい。
データ処理部70では、このような構成によって、地表面Fを構成する点データを抽出できていないと推定される小領域Sを除外することができる。そのため、正確に吊荷領域WAにおける基準高H0の推定を行うことができる。
【0082】
以上のように、地表面推定方法では、レーザスキャナ62によって、地表面Fを含む吊荷領域WAにおいて、点群データPを取得する点群データ取得工程と、吊荷領域WAを、平面視において格子状に分割し、同一形状で、かつ、同一面積を有する複数の小領域Sを生成する領域分割工程と、小領域Sにおいて、距離hが最大である点データpを抽出する最大点データ抽出工程と、小領域Sにおいて、距離hが最大である点データpに対する他の点データpの距離hの離れ量Dを算出する離れ量算出工程と、小領域Sにおいて、距離hの離れ量Dが所定の閾値r1以内である点データpを抽出する地表面点データ抽出工程と、地表面点データ抽出工程において抽出される点データpに基づいて小領域Sの地表面Fの基準高H0を推定する小領域地表面推定工程と、各小領域Sの地表面Fの基準高H0に基づいて吊荷領域WAの地表面Fの基準高H0を推定する領域地表面推定工程と、を備えている。
【0083】
ガイド情報表示装置50では、上記処理によって精度よく取得した地表面Fの基準高H0に基づいて、ガイド情報GDを生成する構成としている。このため、ガイド情報表示装置50では、地表面Fの基準高H0に基づいて、吊荷Wの高さ情報、地物Cの高さ情報を、精度良く算出することができる。
【0084】
次に、映像上の特定の位置を基準として、地表面Fを推定する場合を説明する。尚、ここでは、映像上の特定の位置を、オペレータが手動で指定する場合を例示するが、データ処理部70が、映像上の特定の位置を自動的に決定し指定する構成としてもよい。
【0085】
ガイド情報表示装置50では、データ表示部80およびデータ入力部90において地表面の位置を指定することで、基準となる地表面Fを決定することができる。
手動による場合、まず
図16上図に示すように、オペレータがデータ表示部80に表示される映像上で、地表面であることが明らかな位置を指定する。すると、データ処理部70は、
図16中図に示すように、その指定された位置(点)を中心とする所定半径の基準円を生成する。そして、データ処理部70は、
図16下図に示すように、レーザ側線上にある点データpとの重なりを検出し、基準円内に含まれる複数の点データpを選択する。
【0086】
そして、データ処理部70は、
図15(A)に示すように、選択された複数の点データpからまず、距離hが最も大きい(距離hが最大距離hmaxである)点データpを抽出する。そして、データ処理部70は、最大距離hmaxである点データpに対する他の点データの距離hの離れ量Dを算出する。データ処理部70は、最大距離hmaxを基準として、距離hの離れ量Dが所定の閾値r1以内(本実施形態では離れ量Dが7cm以内)にある点データpを地表面Fを構成する点データとして抽出する。データ処理部70は、抽出した点データpの距離hに基づいて地表面Fの基準高H0を推定する。本実施形態では、データ処理部70は、抽出した点データpの距離hの平均値を地表面Fの基準高H0として採用する。
【0087】
図12に示す如く、データ処理部70によるデータ処理では、次に「平面の推定処理」を行う(STEP-104)。データ処理部70は、以下に示す上面推定方法によって、吊荷領域WAに存在する測定対象物たる吊荷Wと地物Cの上面を推定する。
【0088】
1フレーム分の点群データPをXYZ座標系で示した吊荷領域WA上にプロットすると、
図13(A)に示すように表される。そして、このような吊荷領域WAにある点群データPを模式的に表すと、
図17上図のように表される。
【0089】
(点群データ取得工程)
データ処理部70は、まずこのような1フレーム分の点群データPを取得する。点群データPは、測定対象物たる吊荷Wおよび地物Cの上方から、吊荷Wおよび地物Cを含む吊荷領域WAにおいて取得したものである。
【0090】
(グループ振分工程)
データ処理部70は、
図17上図に示すような吊荷領域WAにおいて取得した点群データPを、
図17中図に示すように、Y軸方向に所定の厚みdで層状に分割し、点群データPを複数のグループに振り分ける(
図13(B)参照)。
このときデータ処理部70は、分割した各グループに個別のグループID(ここでは、ID:001~006とする)を付与し、各点データpをグループIDに関連付ける。
【0091】
(上面推定工程)
そして、データ処理部70は、各グループにおいて、そのグループに含まれる複数の点データpを用いて、平面を推定する。ここで言う「平面」は、吊荷Wおよび地物Cにおいて上向きに存在する平面であり、即ち、吊荷Wおよび地物Cの「上面」である。
【0092】
以下、上面推定工程について、具体的に説明する。
まず、データ処理部70は、
図18および
図19上図に示すように、同一グループに含まれる複数の点データp・p・・・から2つの点データp・pを選択する(2点選択工程:STEP-301)。
そして、データ処理部70は、
図18および
図19下図に示すように、選択した2つの点データp・pの2点間距離L1を算出する(点間距離算出工程:STEP-302)。
【0093】
次に、データ処理部70は、
図18および
図20上図に示すように、2点間距離L1が所定の閾値r2以下であれば(STEP-303)、その2点(点線で示した2つの点データp・p)は同一平面上にあるものとみなす(2点平面みなし工程:STEP-304)。そして、データ処理部70は、
図18および
図20下図に示すように、同一平面上にあるとみなされた各点(ここでは、選択した2点)の重心G1を算出する(重心算出工程:STEP-305)。仮に、(STEP-303)において、「no」と判定された場合には、(STEP-301)に戻って、新たな2点を選択し直す。
【0094】
次に、データ処理部70は、
図18および
図21上図に示すように、算出した重心G1に対する近傍点となる点データpを探索する(近傍点探索工程:STEP-306)。ここで言う「近傍点」とは、重心G1に対する点間距離が閾値r2以下の点である。
そして、データ処理部70は、
図18および
図21下図に示すように、近傍点たる点データpが見つかれば(STEP-307)、その近傍点たる点データpも、先に選択した2つの点データp・pと同一平面上にあるものとみなす(近傍点平面みなし工程:STEP-308)。
【0095】
そして、データ処理部70は、
図18および
図22上図に示すように、(STEP-305)に戻って、同一平面上にあるとみなされた各点(ここでは、点線で示した3つの点データp・p・p)から、新たな重心G2を算出する。
【0096】
データ処理部70は、(STEP-306)に移行して、重心G2に対する近傍点となる点データpをさらに探索する。そして、データ処理部70は、
図18および
図22下図に示すように、近傍点たる点データpがさらに見つかれば(STEP-307)、その近傍点たる点データpも、先に選択した各点と同一平面上にある点データpであるものとみなす(STEP-308)。
そして、データ処理部70は、新たな重心を算出しながら近傍点を探索し、近傍点たる点データpが検出されなくなるまで(STEP-305)から(STEP-308)までの処理を順に繰り返して行う。
【0097】
そして、データ処理部70は、
図18および
図23に示すように、新たな近傍点が見つからなければ、(STEP-307)で「no」と判定し、同一平面上にあるとみなされた点データpの部分集合(クラスタ)をクラスタリングして、平面を推定する(STEP-309)。ここで言う「クラスタリング」とは、点データpの集合である点群データPをクラスタに切り分けて、各クラスタに含まれる点データpが、同一平面上にあるという共通の特徴を持つようにする処理である。
データ処理部70は、点群データPを、同一平面上にあるとみなされた点データpに切り分けて、平面クラスタCL1を設定する(
図17下図参照)。平面クラスタCL1に属する各点データpによれば、平面(即ち、吊荷Wおよび地物Cの「上面」)を規定することができる。尚、同一のグループIDが付与されたグループ内には、複数の平面クラスタCL1が存在する場合もある。
【0098】
そして、データ処理部70は、平面クラスタCL1に属する点データpの、X座標の最大値と最小値から平面の「幅」を推定し、Z座標の最大値と最小値から平面の「奥行」を推定する。即ち、本実施形態で示す吊荷Wおよび地物Cの上面推定方法では、データ処理部70によって、同一平面上にあるとみなされた(同一の平面クラスタCL1に属する)複数の点データpのうち、上面の幅方向(X軸方向)において最も離間している2つの点データp・pの点間距離から上面の「幅」を推定し、上面の奥行方向(Z軸方向)において最も離間している2つの点データp・pの点間距離から上面の「奥行」を推定している。
データ処理部70は、このようにして、推定した平面クラスタCL1から平面を規定する。尚、ここで規定する平面は、矩形以外の多角形であってもよい。
【0099】
即ち、吊荷Wおよび地物Cの上面推定方法では、レーザスキャナ62によって、吊荷Wおよび地物Cの上方から、吊荷Wおよび地物Cを含む吊荷領域WAにおいて点群データPを取得する点群データ取得工程と、点群データPを演算処理するデータ処理部70によって、吊荷領域WAを、鉛直方向に所定の厚みdを有する複数のグループ(ID:001~006)として層状に分割し、取得した点群データPを複数のグループ(ID:001~006)に振り分けるグループ振分工程と、データ処理部70によって、複数のグループ(ID:001~006)に振り分けた点群データPに基づいて、グループごとに吊荷Wおよび地物Cの上面を推定する上面推定工程と、を備えている。
【0100】
このような上面推定方法では、レーザスキャナ62で取得した上面に対応する点群データPのみに基づいて吊荷Wおよび地物Cの上面を推定することができる。このため本実施形態で示した上面推定方法では、レーザスキャナ62で取得した点群データPに基づいて、短時間で吊荷Wおよび地物Cの上面を推定することが可能になり、ひいては、リアルタイムに吊荷Wおよび地物Cの上面を推定することが実現できる。
【0101】
また、このような上面推定方法では、統計的手法を用いずに吊荷Wおよび地物Cの上面を推定することができ、統計的手法を用いる場合に比べて、吊荷Wおよび地物Cの上面の推定に要する計算量を低減することができる。このため本実施形態で示した上面推定方法では、レーザスキャナ62で取得した点群データPに基づいて、より短時間で吊荷Wおよび地物Cの上面を推定することが可能になる。
【0102】
尚、吊荷Wおよび地物Cの上面推定方法では、クレーン1において、伸縮ブーム22のトップブーム部材22fにデータ取得部60を設け、レーザスキャナ62によって、吊荷Wの上方から吊荷W、地物C、地表面Fに係る点群データPを取得する場合を例示しているが、測定対象物の上面推定方法は、クレーンの吊荷とその吊荷の周囲に存在するものを測定対象物とする場合に適用するものとして限定されるものではない。
即ち、測定対象物の上面推定方法は、例えば、ブームを備える作業車両(例えば、高所作業車等)のブーム先端部やドローン等にレーザスキャナを設けて、上空からその下方に存在する測定対象物の点群データを取得し、取得した点群データに基づいて測定対象物の上面を推定する場合に広く適用することができる。
【0103】
次に、上面推定方法では、推定した各平面クラスタCL1(上面)を結合する。
データ処理部70は、
図24および
図25上図に示すように、推定された平面クラスタCL1のうち、異なるグループIDが付与された2つの平面クラスタCL1・CL1を選択し、各平面クラスタCL1の標高値Hの差異dHを算出する(STEP-401:標高値差異算出工程)。
【0104】
ここで、データ処理部70は、差異dHが閾値r3以内である組み合わせを探索する(STEP-402)。ここでいう平面クラスタCL1の標高値Hとは、平面クラスタCL1に属する各点データpの標高値Hの平均値である。
【0105】
次に、データ処理部70は、
図24および
図25中図に示すように、標高値Hの差異dHが閾値r3以内である平面クラスタCL1の組み合わせが検出されたときには、それらの平面クラスタCL1・CL1についてX軸方向における重なりを検出する(STEP-403:重なり検出工程)。ここでいう「重なり」とは、平面クラスタCL1によって規定される平面のX軸方向における重複度合および離間度合であり、
図24および
図25に示すように、「幅」の重複量dW1が検出された場合(dW1>0)か、もしくは、離間量dW2が所定の閾値r4以下である場合(0≦dW2≦r4)に、「重なり」を検出するものとする。
【0106】
そして、データ処理部70は、
図24および
図25に示すように、「重なり」が検出された場合には(STEP-404)、それらの平面クラスタCL1・CL1に属する点データpが同一平面上に存在するものとみなし、二つの平面クラスタCL1・CL1を結合し、新たな平面クラスタCL1として更新する(STEP-405:平面結合工程)。また、このとき、新たな平面クラスタCL1に属する各点データpから、新たな標高値Hを算出する。
【0107】
データ処理部70は、
図24に示すように、以上の処理を、条件を満たす平面クラスタCL1・CL1の組み合わせが無くなるまで繰り返して行い(STEP-406)、複数のグループに跨って存在する平面を推定する。
【0108】
そして、データ処理部70は、以上の結合処理によって結合した平面(即ち、平面クラスタCL1)を出力する。
平面クラスタCL1によって規定される平面は、吊荷Wおよび地物Cにおいて上向きに存在する平面であり、即ち、吊荷Wおよび地物Cの上面である。
【0109】
即ち、吊荷Wおよび地物Cの上面推定方法では、上面推定工程で推定された上面のうち、一のグループ(
図25ではID:001)に属する上面と、他のグループ(
図25ではID:002)に属する上面との標高値Hの差異dHを算出する標高値差異算出工程(STEP-401)と、標高値Hの差異dHが所定の閾値r3以下である場合に(STEP-402)、レーザスキャナ62により照射するレーザの側線方向(X軸方向)において、各上面の重なりを検出する重なり検出工程(STEP-403)と、重なりが検出された場合に(STEP-404)、各上面が同一平面を構成するものとみなして、各上面を結合する平面結合工程(STEP-405)と、を備えている。
【0110】
このような平面の推定方法では、点群データPの法線ベクトルを用いずに平面を推定することができる。このため、点群データPの法線ベクトルを用いて平面を推定する場合に比べて、計算量が少なくて済むという特徴がある。
また、このような平面の推定方法では、吊荷Wや地物Cの上面を推定することによって、吊荷Wや地物Cの側面の点データpを取得せずに、吊荷Wや地物Cの立体的形状を把握することができる。
【0111】
図12に示す如く、データ処理部70による点群データのクラスタリング方法では、次に「同一領域のクラスタリング処理」を行う(STEP-105)。ここで言う「クラスタリング」とは、データの集合である点群データPを、クラスタに切り分けて、各クラスタに含まれる点データpが、「同一領域」にあるという共通の特徴を持つようにする処理である。
【0112】
ここで行う「同一領域のクラスタリング処理」は、生成した平面クラスタCL1(平面)を、同一平面を構成するか否かとは無関係に、「同一領域」に存在するか否かという観点でクラスタリングする処理である。以下では、同一領域のクラスタリング処理(STEP-105)における処理内容を、具体的に説明する。
【0113】
具体的には、
図26および
図27上図および
図28上図に示すように、データ処理部70は、同一領域に存在するか否かを判定する際の基準となる平面クラスタCL1である基準平面クラスタCL1Aを抽出する(STEP-501:基準平面クラスタ抽出工程)。データ処理部70は、標高値Hが最大である平面クラスタCL1を基準平面クラスタCL1Aとして抽出する。ここでいう平面クラスタCL1の標高値Hとは、平面クラスタCL1に属する各点データpの標高値Hの平均値である。データ処理部70は、抽出した基準平面クラスタCL1Aを基準にして、他の平面クラスタCL1が、その基準平面クラスタCL1Aと「同一領域」にあるか否かを判定する。「同一領域」にあるか否かの判定は、以下に示す手順による。
【0114】
図26および
図27上図および
図28上図に示すように、データ処理部70は、基準平面クラスタCL1Aを抽出すると、基準平面クラスタCL1Aに対する他の全ての平面クラスタCL1の標高値Hの差異ΔHを算出する(STEP-502:標高値差異算出工程)。
【0115】
次に、データ処理部70は、基準平面クラスタCL1Aに対する標高値Hの差異ΔHが閾値r5以内である平面クラスタCL1を探索する(STEP-503:平面クラスタ探索工程)。そして、差異ΔHが閾値r5以内である平面クラスタCL1が検出されたときには、その中から一の平面クラスタCL1を選択する(STEP-504:平面クラスタ選択工程)。
尚、差異ΔHが閾値r5以内である平面クラスタCL1が検出されないときには、ここで処理を終了する。
【0116】
次に、データ処理部70は、選択した一の平面クラスタCL1についてX軸方向における基準平面クラスタCL1Aとの重なりの有無を検出する(STEP-505:重なり検出工程)。ここでいう「重なり」とは、平面クラスタCL1によって規定される平面のY軸方向視における重複度合および離間度合であり、
図27中図に示すように、「幅」の重複量ΔW1が検出された場合(ΔW1>0)か、もしくは、
図28中図に示すように、離間量ΔW2が所定の閾値r6以下である場合(0≦ΔW2≦r6)に、「重なり」を検出するものとする。
図27中図に示すように、「幅」の重複量ΔW1が検出された場合とは、基準平面クラスタCL1Aと平面クラスタCL1がY軸方向視において重複している状態を指す。
図28中図に示すように、離間量ΔW2が所定の閾値r6以下であることを検出された場合とは、基準平面クラスタCL1Aと平面クラスタCL1がY軸方向視において重複していないが、近傍にある状態を指す。
【0117】
データ処理部70は、
図26および
図27下図および
図28下図に示すように、「重なり」が検出された場合には、その一の平面クラスタCL1が基準平面クラスタCL1Aと同一領域に存在するものとみなし、一の平面クラスタCL1と基準平面クラスタCL1Aによって、同一領域クラスタCL2を形成する(STEP-506:同一領域クラスタリング工程)。尚、(STEP-505:重なり検出工程)において、「重なり」が検出されないときには、同一領域クラスタCL2を形成せずに、次の処理(STEP-507)に移行する。
【0118】
データ処理部70は、(STEP-506)の後で、先に選択した一の平面クラスタCL1以外に、標高値Hの差異ΔHが閾値r5以内である他の平面クラスタCL1があるか否かを判定する(STEP-507:平面クラスタ有無判定工程)。そして、条件に合う他の平面クラスタCL1が存在するときには、(STEP-504)に戻って、新たな平面クラスタCL1を選択し、さらに、(STEP-505)から(STEP-506)までの処理を順に行って、条件を満たす他の平面クラスタCL1があれば、先に形成した同一領域クラスタCL2に追加する。そして、データ処理部70は、差異ΔHが閾値r5以内である平面クラスタCL1がなくなるまで(STEP-504)から(STEP-507)までの処理を順に繰り返して行って、同一領域クラスタCL2を確定する。
【0119】
データ処理部70は、最初に(STEP-501)で抽出した基準平面クラスタCL1Aに対して標高値Hの差異ΔHが閾値r5以内である平面クラスタCL1がなくなった後、さらに新たな基準平面クラスタCL1Aを抽出し、新たな同一領域クラスタCL2を形成してもよい。この場合、データ処理部70は、(STEP-501)に戻ってクラスタリング処理を再開し、(STEP-501)において、既に同一領域クラスタCL2を形成している平面クラスタCL1を除外しつつ、標高値Hが大きい平面クラスタCL1から順に、基準平面クラスタCL1Aとして抽出する。
【0120】
上記の通り、
図12に示す同一領域のクラスタリング処理(STEP-105)の具体的内容は、
図26に示す(STEP-501)~(STEP-507)の処理内容である。
【0121】
即ち、本発明の一実施形態に係る点群データのクラスタリング方法では、平面の推定処理で処理された平面クラスタのうち、同一領域の基準となる基準平面クラスタCL1Aを抽出する基準平面クラスタ抽出工程(STEP-501)と、基準平面クラスタCL1Aに対する標高値Hの差異ΔHを算出する標高差算出工程(STEP-502)と、差異ΔHが閾値r5以内である平面クラスタCL1を探索する平面クラスタ探索工程(STEP-503)と、標高値Hの差異ΔHが閾値r5以内である一の平面クラスタCL1を選択する平面クラスタ選択工程(STEP-504)と、基準平面クラスタCL1Aに対する選択した平面クラスタCL1の重なりの有無を検出する重なり検出工程(STEP-505)と、重なりが検出された場合に、各平面クラスタCL1A・CL1が同一領域に存在するものとみなし、同一領域クラスタCL2を形成する同一領域クラスタリング工程(STEP-506)と、を備えている。
そして、このような構成の点群データのクラスタリング方法によれば、レーザスキャナ62で取得した吊荷Wおよび地物Cの上面に対応する点群データPに基づいて、同一領域に存在する一又は複数の吊荷Wおよび地物Cの点群データPをクラスタリングすることができる。
【0122】
そして、このようにして形成された同一領域クラスタCL2に属する点データpは、後述するガイド情報GDの表示において、形状的に一つのまとまりがあるものとして扱われ、同一領域クラスタCL2を囲むようにガイド枠GD1が表示される。即ち、前述した点群データPのクラスタリング方法によれば、吊荷Wや地物Cについて、全体をまとめてシンプルなガイド枠GD1として表示したり、あるいは、特徴的な部位に分けて詳細な形態を表すガイド枠GD1として表示したりすることができ、オペレータの好みや作業状況、吊荷Wの形状等に合わせて、ガイド枠GD1の表示形態を変更することが可能になる。
【0123】
尚、このような「同一領域のクラスタリング処理」は、
図29(A)(B)に示すような、標高値に基づく木構造を用いた階層的クラスタリングとすることが好ましい。データ処理部70は、「同一領域のクラスタリング処理」において、地物Cごとに、標高値Hを用いて木構造を作成する。ここでは、
図29(A)に示した第一の例の地物Cについて木構造を用いた階層的クラスタリングを行った場合と、
図29(B)に示した第二の例の地物Cについて木構造を用いた階層的クラスタリングを行った場合を例示している。
【0124】
標高値に基づく木構造を用いた階層的クラスタリングでは、データ処理部70は、標高値Hの平均値が最も小さい平面クラスタCL1を「根(ルート)」として設定する。また、データ処理部70は、「根」を構成する平面クラスタCL1に対して、Y軸方向視において重なりを持つ平面クラスタCL1があれば、「根」から「枝(ブランチ)」を伸ばし、「枝」の先に、その重なりを持つ平面クラスタCL1を追加する。そして、データ処理部70は、標高値Hの平均値が最も大きい平面クラスタCL1を「子」として設定する。
【0125】
ここで、ガイド枠GD1の生成方法について、説明する。
データ処理部70は、「同一領域のクラスタリング処理」において作成した地物Cの木構造を取得する。そして、データ処理部70は、木構造を構成する各平面クラスタCL1に含まれる点データpを取得する。
次に、データ処理部70は、
図30上図に示すように、「子」の平面クラスタCL1の点データpから、Z軸方向において最も奥に位置するレーザ側線上の各点データpを取得する。そして、データ処理部70は、隣り合うレーザ側線との距離の1/2だけZ軸方向に離れており、かつ、各点データpを囲むことができるX軸方向の幅を有する矩形を作成する。
【0126】
次に、データ処理部70は、作成した矩形に隣接するレーザ側線上に点データpが存在する場合には、
図30下図に示すように、該当するレーザ側線上の点データpを全て含むように矩形を変形させて、外形線を作成する。
そして、データ処理部70は、対象となるレーザ側線上の点データpが無くなるまで隣接するレーザ側線上に点データpを探索し、上記処理を繰り返す。
最後に、データ処理部70は、選択した木構造に含まれる全ての平面クラスタCL1を外包する外形線を作成する。
【0127】
そして、データ処理部70は、作成した外形線の中から、条件に合う外形線のみをガイド枠GD1として出力する。
ガイド枠GD1として出力する条件は、例えば、
図31(A)に示すように、地物Cの大枠たる外形線のみを表示する条件を選択することができる。この条件を選択した場合には、データ表示部80には、その地物Cに対して、地物Cの全体を囲む一つのガイド枠GD1が表示される。
【0128】
また、ガイド枠GD1として出力する条件としては、例えば、
図31(B)に示すように、地物Cの大枠たる外形線に加えて、「根」に対する標高値Hの差(差異ΔH)が、閾値以上である外形線(小枠)のうち、各枝で標高値Hが最も高い平面クラスタCL1に係る外形線を表示する条件を選択することができる。この条件を選択した場合には、データ表示部80には、その地物Cの全体を囲む一つ目のガイド枠GD1と、一つ目のガイド枠GD1の内側に包含される二つ目のガイド枠GD1が表示され、地物Cの立体的形状が考慮されたより詳細なガイド情報GDが表示される。
【0129】
さらに、ガイド枠GD1として出力する条件としては、例えば、
図31(C)に示すように、地物Cの大枠たる外形線に加えて、「根」に対する標高値Hの差(差異ΔH)が、閾値以上である外形線(小枠)を全て表示する条件を選択することができる。この条件を選択した場合にも、データ表示部80には、地物Cの全体を囲む一つ目のガイド枠GD1と、その内側に包含される二つ目のガイド枠GD1が表示され、地物Cの立体的形状が考慮されたより詳細なガイド情報GDが表示される。
【0130】
このような表示条件は、差異ΔHの閾値を調整することによっても行うことができる。オペレータは、ガイド情報GDの表示がより見易くなるように、ガイド枠GD1の表示条件を適宜選択することができる。
【0131】
即ち、ガイド情報表示装置50では、同一領域クラスタCL2に基づいてガイド枠GD1を生成することによって、地物Cの立体的形状を考慮して、地物Cをより詳細に表現したガイド枠GD1を生成することが可能になる。また、ガイド情報表示装置50では、同一領域に存在する平面クラスタCL1をまとめて囲むガイド枠GD1を生成することが可能になる。即ち、ガイド情報表示装置50によれば、より詳細で見易いガイド情報GDを提示することができる。
【0132】
図12に示す如く、データ処理部70によるデータ処理では、次に「点群データとカメラ映像の同期処理」を行う(STEP-106)。
ここでは、
図5(A)(B)に示した通り、XYZ座標系で取得した点群データPをカメラ空間座標系の座標値に変換して、カメラ61によって撮影した映像M上に同期(位置合わせ)して、データ表示部80へと出力する。
【0133】
図12に示す如く、データ処理部70によるデータ処理では、次に「ガイド表示処理」を行う(STEP-107)。
データ処理部70は、生成した同一領域クラスタCL2の情報に基づいて、ガイド情報GDを生成し、データ表示部80に出力する。
尚、「ガイド表示処理」に際しては、クレーン1のコントローラ34から出力される「クレーン情報」を利用する。ここで利用する「クレーン情報」には、伸縮ブーム22の長さ、起伏角度、クレーン1の作業半径、吊荷Wの重量等に係る情報が含まれる。
【0134】
データ処理部70によるデータ処理の一連の流れを説明したが、このような構成では、測定対象物の側面における点データpを取得する必要がなく、少ない演算量で、吊荷Wや地物Cの立体的形状を的確に把握して、ガイド情報GDを生成することができる。このような構成は、データ演算量が少なくて済むため、リアルタイムに吊荷Wや地物Cの形状を把握する用途に適しており、簡易なハードウェア構成のデータ処理部70を用いることができる。
【0135】
次に、ガイド情報GDの内容について、説明する。
ガイド情報表示装置50では、データ表示部80によって、ガイド情報GDを表示する。データ表示部80によって表示するガイド情報GDには、
図8(B)に示すような、オペレータによる地表面Fの指定位置に係る情報が含まれている。
【0136】
また、ガイド情報表示装置50では、吊荷Wを指定することができる。オペレータが地表面Fを指定する場合と同様に、画面上で吊荷Wを指示することで、その指定位置に存在する平面(上面)が吊荷Wの上面を表すものとして設定される。吊荷Wとして指定された後は、吊荷Wに係るガイド枠GD1と地物Cに係るガイド枠GD1は、線色や線太さ等を変えて区別して表示することが好ましい。
地表面Fと吊荷Wの指定位置に係る情報は、円等の図形で表したマーカーによって表示される。
【0137】
また、データ表示部80によって表示するガイド情報GDには、データ処理部70によって生成したガイド枠GD1が含まれている。
【0138】
データ処理部70は、設定された同一領域クラスタCL2に基づいて、ガイド枠GD1を出力する。尚、データ処理部70は、吊荷Wのガイド枠GD1としては、衝突を確実に回避するための余裕を設けることができ、吊荷Wの外形線から所定の距離だけ外側にオフセットさせた枠線を、ガイド枠GD1として出力することができる。このようなガイド枠GD1は、吊荷Wおよび地物Cにおいて推定された上面(平面クラスタCL1)を線分で囲う枠表示となっている。
【0139】
また、データ表示部80によって表示するガイド情報GDには、基準高H0から吊荷Wの下面までの高さ情報GD2と、基準高H0から地物Cの上面までの高さ情報GD3と、が含まれている。
【0140】
吊荷Wの高さ情報GD2は、データ表示部80の画面上の見やすい位置に独立したエリアを設けて、そのエリアに表示する構成とすることが好ましい。
ガイド情報表示装置50では、このような構成によって、吊荷Wの高さ情報GD2と地物Cの高さ情報GD3を見間違えることがないようにしている。
【0141】
データ処理部70は、高さ情報GD2を、吊荷Wの上面であると推定した平面クラスタCL1の上面高さから吊荷Wの高さを引くことによって算出する。
ガイド情報表示装置50では、オペレータが、吊荷Wに係る情報(以下「吊荷情報」と呼ぶ)を、予めデータ処理部70に入力する。このオペレータによる「吊荷情報」の入力は、データ入力部90から行われる。そして、データ処理部70は、「吊荷情報」を利用して、吊荷Wの高さを取得する。
【0142】
ガイド情報表示装置50では、地物Cの高さ情報GD3を、地物Cを囲むガイド枠GD1の内側に表示する構成としている。あるいは、ガイド情報表示装置50では、ガイド枠GD1が小さい場合には、ガイド枠GD1と一部が重なるように表示する構成としている。
ガイド情報表示装置50では、このような構成によって、地物Cと高さ情報GD3の対応関係を明確にしている。
【0143】
また、ガイド情報表示装置50では、データ処理部70によって、そのガイド枠GD1に対応する平面クラスタCL1の標高値Hに応じて、ガイド枠GD1の線色を変える構成としている。
ガイド情報表示装置50では、このような構成によって、オペレータがガイド枠GD1を見ることで、吊荷Wや地物Cのおおまかな標高値(高さ)を感覚的に知覚することができる。このため、ガイド情報表示装置50では、吊荷Wと地物Cの高さをより的確に提示することができる。
【0144】
さらに、ガイド情報表示装置50では、データ処理部70によって、そのガイド枠GD1に対応する平面クラスタCL1の標高値Hに応じて、高さ情報GD2のフォント色を変える構成としている。
ガイド情報表示装置50では、このような構成によって、オペレータが高さ情報GD2を見ることで、吊荷Wや地物Cのおおまかな標高値(高さ)を感覚的に知覚できる。このため、ガイド情報表示装置50では、吊荷Wと地物Cの高さをより的確に提示することができる。
【0145】
さらに、ガイド情報表示装置50によって行うガイド情報GDの表示には、吊荷Wの動線情報が含まれている。吊荷Wの動線情報には、吊荷Wの作業半径情報GD4と、クレーン1の伸縮ブーム22の軸線情報GD5が含まれる。
【0146】
作業半径情報GD4は、現状から伸縮ブーム22を旋回動作させるときの吊荷Wの動線の目安となるものであり、吊荷Wは作業半径情報GD4として示す円弧に沿って移動する。
【0147】
また、軸線情報GD5は、現状から伸縮ブーム22を起伏動作および伸縮動作させるときの吊荷Wの動線の目安となるものであり、吊荷Wは作業半径情報GD4として示す直線に沿って移動する。
【0148】
ガイド情報表示装置50では、吊荷Wの作業半径情報GD4と伸縮ブーム22の軸線情報GD5を、「クレーン情報」に基づいて生成している。
データ処理部70は、「クレーン情報」に基づいて、クレーン1の作業半径を算出し、その作業半径を示す円弧を生成し、作業半径情報GD4として出力する。
また、データ処理部70は、「クレーン情報」に基づいて、伸縮ブーム22の軸線方向を算出し、その軸線方向を示す直線を生成し、軸線情報GD5として出力する。
【0149】
また、ガイド情報表示装置50では、作業半径情報GD4と軸線情報GD5を表示する線を破線で表して、かつ、その破線の長さおよび間隔を目安となる長さ(以下、基準長さと呼ぶ)で表示する構成としている。例えば、基準長さを1mとした場合、作業半径情報GD4と軸線情報GD5は、データ表示部80に表示される吊荷領域WAの大きさに応じて表示上では破線の長さおよび間隔を変更し、そのときのスケールにおいて、地表面Fで1mに相当する長さおよび間隔として表示される。
ガイド情報表示装置50では、破線の長さや間隔を基準長さ(例えば、1m)で表示することで、オペレータが、ガイド情報GDから吊荷Wや地物Cのスケール感を感じることができる構成としている。
【0150】
また、データ処理部70は、「クレーン情報」に基づいて、データ取得部60の高さを算出するとともに、吊荷領域WAの大きさおよびデータ表示部80の表示範囲の大きさを算出し、その算出結果に応じて、作業半径情報GD4と軸線情報GD5として表示する破線のスケール(破線およびその間隔の大きさ)を変更する。
【0151】
さらに、ガイド情報表示装置50によって行うガイド情報GDの表示には、吊荷Wと地物Cの接触を防止するための警報表示が含まれている。
データ処理部70は、吊荷Wと地物Cを水平面に投影した際の水平距離が、所定の閾値(例えば、1m)以下であり、かつ、鉛直方向の距離が所定の閾値(例えば、1m)以下であった場合に、接触の恐れがあるものと判断する。
【0152】
このときデータ処理部70は、
図32に示すように、吊荷Wと接触する恐れがある地物Cのガイド枠GD1および高さ情報GD2を強調させる態様で、地物Cのガイド枠GD1および高さ情報GD2を出力する。あるいは、データ処理部70は、地物Cのガイド枠GD1および高さ情報GD2を点滅させる態様で、地物Cのガイド枠GD1および高さ情報GD2を出力する。ガイド情報表示装置50では、データ処理部70によって、警報表示たる地物Cのガイド枠GD1および高さ情報GD2を出力し、データ表示部80に表示することで、オペレータの注意を促すことができる。
【0153】
また、ガイド情報表示装置50では、データ処理部70によってガイド情報GDを生成するにあたって、
図33に示すように、吊荷Wとトップブーム部材22fの間に除外領域JAを設定する。そして、データ処理部70は、当該除外領域JA内で取得された点データpを、データ処理の対象から除外する構成としている。
【0154】
除外領域JAには、メインワイヤロープ27が通過している。ガイド情報表示装置50では、メインワイヤロープ27をガイド情報GDの生成対象(測定対象物)に含めないようにすることで、より正確で見やすいガイド情報GDを提示する構成としている。尚、除外領域JAは、吊荷Wのガイド枠GD1の生成に影響を及ぼさないように考慮して、その下端高さを、吊荷Wの上面から所定の距離だけ離れた位置に設定することが好ましい。
【0155】
このような構成のガイド情報表示装置50では、クレーン1のオペレータに対して、吊荷Wと吊荷Wの周辺に存在する地物Cについて、その形状を示すガイド枠GD1と、高さを示す高さ情報GD2・GD3を含むガイド情報GDを的確に提示することができる。そして、このような構成のガイド情報表示装置50を用いれば、例えば、オペレータが吊荷Wを直接視認することができない状況においても、オペレータは、ガイド情報表示装置50によって提示されるガイド情報GDに基づいて、効率よく、かつ、安全にクレーン1による作業を行うことができる。
【符号の説明】
【0156】
1 クレーン
60 データ取得部
62 レーザスキャナ
70 データ処理部
80 データ表示部
P 点群データ
p 点データ
WA 吊荷領域
CL1 平面クラスタ
CL1A 基準平面クラスタ
CL2 同一領域クラスタ
L1 (点データの)2点間距離
H 標高値
ΔH (標高値の)差異