特許 7369654 ガイド表示システムおよびこれを備えたクレーン

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-18

(45)【発行日】2023-10-26

(54)【発明の名称】ガイド表示システムおよびこれを備えたクレーン

(51)【国際特許分類】

   B66C 13/00 20060101AFI20231019BHJP

   B66C 13/22 20060101ALI20231019BHJP

   H04N 7/18 20060101ALI20231019BHJP

【ＦＩ】

B66C13/00 D

B66C13/22 Y

H04N7/18 J

【請求項の数】 6

(21)【出願番号】P 2020056813

(22)【出願日】2020-03-26

(65)【公開番号】P2021155174

(43)【公開日】2021-10-07

【審査請求日】2023-01-06

(73)【特許権者】

【識別番号】000148759

【氏名又は名称】株式会社タダノ

(73)【特許権者】

【識別番号】399030060

【氏名又は名称】学校法人 関西大学

(74)【代理人】

【識別番号】110002217

【氏名又は名称】弁理士法人矢野内外国特許事務所

(72)【発明者】

【氏名】石川 巖

(72)【発明者】

【氏名】小阪 孝幸

(72)【発明者】

【氏名】間嶋 勁太

(72)【発明者】

【氏名】窪田 諭

(72)【発明者】

【氏名】田中 成典

(72)【発明者】

【氏名】中原 匡哉

(72)【発明者】

【氏名】中畑 光貴

【審査官】松江川 宗

(56)【参考文献】

【文献】特開２０１９－０２４１５１（ＪＰ，Ａ）

【文献】特開２０１８－０９５３７６（ＪＰ，Ａ）

【文献】特開２０１８－０８００５４（ＪＰ，Ａ）

【文献】特開２０１２－０６３８６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６６Ｃ １３／００－１５／０６

Ｈ０４Ｎ ７／１８

Ｇ０１Ｂ １１／００－１１／３０

(57)【特許請求の範囲】

【請求項1】

吊荷の上方から当該吊荷ならびに地表面を走査するレーザスキャナと、
前記レーザスキャナが取得した点群データを用いてグリッドごとに代表点を算出するとともに当該代表点に基づいて三次元地図を作成するデータ処理部と、を備え、
新たに算出された前記代表点と既存の前記代表点が異なる場合に前記三次元地図を更新するクレーンのガイド表示システムにおいて、
前記三次元地図に前記吊荷の影であるオクルージョン領域が発生すると、新たに算出された前記代表点と既存の前記代表点が異なる場合であっても前記オクルージョン領域について更新を行わない、ことを特徴とするガイド表示システム。

【請求項2】

前記吊荷の標高値が当該吊荷の高さ寸法に基づいて定まる閾値を超えると、新たに算出された前記代表点と既存の前記代表点が異なる場合であっても前記オクルージョン領域について更新を行わない、ことを特徴とする請求項１に記載のガイド表示システム。

【請求項3】

前記吊荷の外縁から外側へ所定距離を取った領域を前記オクルージョン領域と認識する、ことを特徴とする請求項１又は請求項２に記載のガイド表示システム。

【請求項4】

連続するフレームごとに前記三次元地図が作成されており、
現在のフレームで前記吊荷を追跡できなかった場合に過去のフレームから前記吊荷の存在を削除して前記三次元地図を更新する、ことを特徴とする請求項１から請求項３のいずれか一項に記載のガイド表示システム。

【請求項5】

前記吊荷の上方から当該吊荷ならびに地表面を撮影するカメラと、
前記カメラが撮影した映像を映し出すデータ表示部と、を備え、
前記カメラが撮影した映像に対して前記三次元地図に基づいて生成されたガイド情報を重ね合わせて前記データ表示部に表示する、ことを特徴とする請求項１から請求項４のいずれか一項に記載のガイド表示システム。

【請求項6】

請求項１から請求項５のいずれか一項に記載のガイド表示システムを備えたクレーン。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ガイド表示システムおよびこれを備えたクレーンに関する。

【背景技術】

【0002】

従来より、吊荷と吊荷周辺の地物について、位置および標高に関する情報をオペレータに提示できるガイド表示システムが公知となっている。かかるガイド表示システムは、特許文献１に開示されている。

【0003】

特許文献１に開示されたガイド表示システムは、レーザスキャナが取得した点群データを用いてグリッドごとに代表点を算出するとともに代表点に基づいて三次元地図を作成するデータ処理部を備えている。データ処理部は、吊荷や地物を取り囲むガイド枠図形などのガイド情報を生成し、カメラが撮影した映像に対してガイド情報を重ね合わせてデータ表示部に表示する。このようなガイド表示システムによれば、吊荷と吊荷周辺の地物について、位置および標高に関する情報をオペレータに提示できる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－２４１５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示されたガイド表示システムは、三次元地図に吊荷の影であるオクルージョン領域が発生すると、同一の地物を異なる複数の地物或いは地表面であると誤認識する場合があった。つまり、図１５に示すように、三次元地図に吊荷の影であるオクルージョン領域が発生すると、このオクルージョン領域を反映するように三次元地図が更新されてしまい、結果として同一の地物を異なる複数の地物或いは地表面であると誤認識する場合があったのである。

【0006】

本発明は、このような課題を鑑みてなされたものであり、オクルージョン領域が発生しても同一の地物を異なる複数の地物或いは地表面であると誤認識しないガイド表示システムを提供することを目的としている。

【課題を解決するための手段】

【0007】

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。

【0008】

即ち、第一の発明は、
吊荷の上方から当該吊荷ならびに地表面を走査するレーザスキャナと、
前記レーザスキャナが取得した点群データを用いてグリッドごとに代表点を算出するとともに当該代表点に基づいて三次元地図を作成するデータ処理部と、を備え、
新たに算出された前記代表点と既存の前記代表点が異なる場合に前記三次元地図を更新するクレーンのガイド表示システムにおいて、
前記三次元地図に前記吊荷の影であるオクルージョン領域が発生すると、新たに算出された前記代表点と既存の前記代表点が異なる場合であっても前記オクルージョン領域について更新を行わない、としたものである。

【0009】

第二の発明は、第一の発明に係るガイド表示システムにおいて、
前記吊荷の標高値が当該吊荷の高さ寸法に基づいて定まる閾値を超えると、新たに算出された前記代表点と既存の前記代表点が異なる場合であっても前記オクルージョン領域について更新を行わない、としたものである。

【0010】

第三の発明は、第一又は第二の発明に係るガイド表示システムにおいて、
前記吊荷の外縁から外側へ所定距離を取った領域を前記オクルージョン領域と認識する、としたものである。

【0011】

第四の発明は、第一から第三の発明に係るガイド表示システムにおいて、
連続するフレームごとに前記三次元地図が作成されており、
現在のフレームで前記吊荷を追跡できなかった場合に過去のフレームから前記吊荷の存在を削除して前記三次元地図を更新する、としたものである。

【0012】

第五の発明は、第一から第四の発明に係るガイド表示システムにおいて、
前記吊荷の上方から当該吊荷ならびに地表面を撮影するカメラと、
前記カメラが撮影した映像を映し出すデータ表示部と、を備え、
前記カメラが撮影した映像に対して前記三次元地図に基づいて生成されたガイド情報を重ね合わせて前記データ表示部に表示する、としたものである。

【0013】

第六の発明は、第一から第五の発明に係るガイド表示システムを備えたクレーンである、としたものである。

【発明の効果】

【0014】

本発明の効果として、以下に示すような効果を奏する。

【0015】

第一の発明に係るガイド表示システムは、三次元地図に吊荷の影であるオクルージョン領域が発生すると、新たに算出された代表点と既存の代表点が異なる場合であってもオクルージョン領域について更新を行わない、としたものである。かかるガイド表示システムによれば、オクルージョン領域が発生しても同一の地物を異なる複数の地物或いは地表面であると誤認識しない。

【0016】

第二の発明に係るガイド表示システムは、吊荷の標高値が吊荷の高さ寸法に基づいて定まる閾値を超えると、新たに算出された代表点と既存の代表点が異なる場合であってもオクルージョン領域について更新を行わない、としたものである。かかるガイド表示システムによれば、前述の効果に加え、吊荷が吊り上げられたときから一連の技術的思想が有効となる。

【0017】

第三の発明に係るガイド表示システムは、吊荷の外縁から外側へ所定距離を取った領域をオクルージョン領域と認識する、としたものである。かかるガイド表示システムによれば、前述の効果に加え、吊荷が搬送されたり振れたりしていても三次元地図における吊荷周辺の精度を向上できる。

【0018】

第四の発明に係るガイド表示システムは、現在のフレームで吊荷を追跡できなかった場合に過去のフレームから吊荷の存在を削除して三次元地図を更新する、としたものである。かかるガイド表示システムによれば、前述の効果に加え、吊荷が搬送されたり振れたりしていても三次元地図における吊荷の上面形状の精度を向上できる。

【0019】

第五の発明に係るガイド表示システムは、カメラが撮影した映像に対して三次元地図に基づいて生成されたガイド情報を重ね合わせてデータ表示部に表示する、としたものである。かかるガイド表示システムによれば、前述の効果に加え、映像とともに精度の高いガイド情報をオペレータに提示できる。

【0020】

第六の発明に係るクレーンは、第一から第五の発明に係るガイド表示システムを備えた、としたものである。かかるクレーンによれば、前述の効果と同様の効果を奏する。

【図面の簡単な説明】

【0021】

【図1】本発明の一実施形態に係るクレーンを示す図。

【図2】本発明の一実施形態に係るガイド表示システムを示す図。

【図3】レーザスキャナによる走査態様を示す図。

【図4】データ処理部による処理の流れを示す図。

【図5】点群データ補正工程の概要を示す図。

【図6】三次元地図作成工程の概要を示す図。

【図7】クラスタリング工程の概要を示す図。

【図8】作業領域可視化工程の概要を示す図。

【図9】三次元地図更新処理の流れを示す図。

【図10】三次元地図更新処理の概要を示す図。

【図11】三次元地図更新処理を経て作成された三次元地図を示す図。

【図12】同一領域推定処理の流れを示す図。

【図13】同一領域推定処理の概要を示す図。

【図14】同一領域推定処理を経て生成されたガイド情報を示す図。

【図15】オクルージョン領域の発生によって誤認識が生じる状況を示す図。

【発明を実施するための形態】

【0022】

まず、本発明の一実施形態に係るクレーン１について説明する。

【0023】

図１に示すように、クレーン１は、不特定の場所に移動可能な移動式クレーンである。クレーン１は、走行車両２とクレーン装置６を備えている。

【0024】

走行車両２は、クレーン装置６を搬送するものである。走行車両２は、複数の車輪３を有し、エンジン４を動力源として走行する。走行車両２には、アウトリガ５が設けられている。アウトリガ５は、走行車両２の幅方向に延伸するビームと地表面Ｆに接地して走行車両２を支持するジャッキシリンダで構成されている。

【0025】

クレーン装置６は、吊荷Ｗを吊り上げた状態で搬送するものである。クレーン装置６は、ブーム７を備えている。ブーム７には、ワイヤロープ８が架け渡されている。ブーム７の先端部分から垂下するワイヤロープ８には、フック９が取り付けられている。また、ブーム７の基端側近傍には、ウインチ１０が配置されている。尚、クレーン装置６は、ブーム７の側方にキャビン１１を備えている。キャビン１１の内部には、旋回操作具１９や伸縮操作具２０、起伏操作具２１、巻回操作具２２などが設けられている（図２参照）。

【0026】

ブーム７は、アクチュエータによって旋回自在となっている。本願においては、かかるアクチュエータを旋回用モータ１２と定義する。旋回用モータ１２は、電磁比例切換弁である旋回用バルブ２３によって適宜に稼動する（図２参照）。つまり、旋回用モータ１２は、旋回用バルブ２３が作動油の流量や流動方向を切り替えることで適宜に稼動する。尚、旋回用バルブ２３は、制御装置１８の指示に基づいて稼動する。ブーム７の旋回角度は、旋回用センサ２７によって検出される（図２参照）。

【0027】

また、ブーム７は、アクチュエータによって伸縮自在となっている。本願においては、かかるアクチュエータを伸縮用シリンダ１３と定義する。伸縮用シリンダ１３は、電磁比例切換弁である伸縮用バルブ２４によって適宜に稼動する（図２参照）。つまり、伸縮用シリンダ１３は、伸縮用バルブ２４が作動油の流量や流動方向を切り替えることで適宜に稼動する。尚、伸縮用バルブ２４は、制御装置１８の指示に基づいて稼動する。ブーム７の伸縮長さは、伸縮用センサ２８によって検出される（図２参照）。

【0028】

更に、ブーム７は、アクチュエータによって起伏自在となっている。本願においては、かかるアクチュエータを起伏用シリンダ１４と定義する。起伏用シリンダ１４は、電磁比例切換弁である起伏用バルブ２５によって適宜に稼動する（図２参照）。つまり、起伏用シリンダ１４は、起伏用バルブ２５が作動油の流量や流動方向を切り替えることで適宜に稼動する。尚、起伏用バルブ２５は、制御装置１８の指示に基づいて稼動する。ブーム７の起伏角度は、起伏用センサ２９によって検出される（図２参照）。

【0029】

加えて、フック９は、アクチュエータによって昇降自在となっている。本願においては、かかるアクチュエータを巻回用モータ１５と定義する。巻回用モータ１５は、電磁比例切換弁である巻回用バルブ２６によって適宜に稼動する（図２参照）。つまり、巻回用モータ１５は、巻回用バルブ２６が作動油の流量や流動方向を切り替えることで適宜に稼動する。尚、巻回用バルブ２６は、制御装置１８の指示に基づいて稼動する。フック９の吊下長さは、巻回用センサ３０によって検出される（図２参照）。

【0030】

ところで、本願においては、クレーン１に対してＸＹＺ座標系を規定している。ＸＹＺ座標系におけるＸ軸方向（奥行方向とも呼ぶ）は、ブーム７の起伏支点の軸方向に対して垂直、かつ重力方向に対して垂直な方向となっている。また、ＸＹＺ座標系におけるＹ軸方向（水平方向とも呼ぶ）は、ブーム７の起伏支点の軸方向に対して平行、かつ重力方向に対して垂直な方向となっている。更に、ＸＹＺ座標系におけるＺ軸方向（鉛直方向とも呼ぶ）は、ブーム７の起伏支点の軸方向に対して垂直、かつ重力方向に対して平行な方向となっている。

【0031】

次に、本発明の一実施形態に係るガイド表示システム５０について説明する。

【0032】

図２に示すように、ガイド表示システム５０は、クレーン１の制御装置１８と連携している。ガイド表示システム５０は、データ取得部６０とデータ処理部７０とデータ表示部８０とデータ入力部９０を備えている。

【0033】

データ取得部６０は、後述するガイド情報を生成するために必要な情報を取得するものである。データ取得部６０は、カメラ６１とレーザスキャナ６２と慣性計測装置６３と第一測位装置６４が一体に構成されたセンサユニット６６を有している。センサユニット６６は、ブーム７の先端部分にジンバルを介して取り付けられている（図１参照）。

【0034】

カメラ６１は、作業領域の一部を撮影するものである。カメラ６１は、適宜なスペックを有しており、撮影した映像をデータ処理部７０へ出力する。尚、カメラ６１は、吊荷Ｗの上方から吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）を撮影する。そのため、データ処理部７０は、吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）についての映像を取得することができる。

【0035】

レーザスキャナ６２は、作業領域の一部について点群データＰを取得するものである（図３参照）。レーザスキャナ６２は、適宜なスペックを有しており、取得した点群データＰをデータ処理部７０へ出力する。尚、レーザスキャナ６２は、吊荷Ｗの上方から吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）を走査する。そのため、データ処理部７０は、吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）についての点群データＰを取得することができる。

【0036】

慣性計測装置（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ：以下「ＩＭＵ」とする）６３は、センサユニット６６の姿勢に関する情報（具体的にはカメラ６１とレーザスキャナ６２の姿勢に関する情報）を取得するものである。ＩＭＵ６３は、適宜なスペックを有しており、取得したカメラ６１とレーザスキャナ６２の姿勢に関する情報をデータ処理部７０へ出力する。そのため、データ処理部７０は、カメラ６１とレーザスキャナ６２の姿勢に関する情報を取得することができる。

【0037】

第一測位装置（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ：以下「ＧＮＳＳ受信機」とする）６４は、ＧＮＳＳ衛星から発せられた電波を受信することでセンサユニット６６の緯度、経度、標高値（具体的にはレーザスキャナ６２の座標値）を取得するものである。ＧＮＳＳ受信機６４は、適宜なスペックを有しており、取得したレーザスキャナ６２の座標値をデータ処理部７０へ出力する。そのため、データ処理部７０は、レーザスキャナ６２の座標値を取得することができる。

【0038】

加えて、データ取得部６０においては、第二測位装置６５がクレーン装置６の旋回中心位置に配置されている。第二測位装置（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ：以下「ＧＮＳＳ受信機」とする）６５は、ＧＮＳＳ衛星から発せられた電波を受信することでクレーン装置６の旋回中心の緯度、経度、標高値（具体的にはクレーン装置６の旋回中心の座標値）を取得するものである。ＧＮＳＳ受信機６５は、適宜なスペックを有しており、取得した旋回中心の座標値をデータ処理部７０へ出力する。そのため、データ処理部７０は、クレーン装置６の旋回中心の座標値を取得することができる。

【0039】

このように、ガイド表示システム５０は、レーザスキャナ６２の座標値とクレーン装置６の旋回中心の座標値によってブーム７を基線としたＧＮＳＳコンパスを構成している。このため、データ処理部７０は、レーザスキャナ６２の向きを算出することができる。また、ガイド表示システム５０では、点群データＰおよびＩＭＵ６３の計測時刻がＧＮＳＳ衛星の原子時計の時刻（以下「ＧＮＳＳ時刻」とする）で同期していることを要件としている。尚、ＧＮＳＳ受信機６４とＧＮＳＳ受信機６５には、測位精度の高いＲＴＫ（Ｒｅａｌ Ｔｉｍｅ Ｋｉｎｅｍａｔｉｃ）測位方式を採用している。但し、ＲＴＫ測位方式に限定せず、他の測位方式を採用していてもよい。

【0040】

データ処理部７０は、データ取得部６０と接続されており、様々な処理を行うものである。データ処理部７０は、例えば汎用のコンピュータによって構成されている。尚、データ処理部７０は、センサユニット６６の近傍に配置されている。但し、データ処理部７０は、キャビン１１の内部など他の場所に配置されていてもよい。もちろん持ち運び可能なものであってもよい。

【0041】

データ表示部８０は、データ処理部７０と接続されており、様々な情報を映し出すものである。データ表示部８０は、例えば汎用のモニタによって構成されている。尚、データ表示部８０は、キャビン１１の内部に配置されている。そのため、クレーン１のオペレータに対して情報を提示できる。もちろんデータ処理部７０が持ち運び可能なものである場合などでは、一体となったモニタであってもよい。

【0042】

データ入力部９０は、データ処理部７０と接続されており、様々な数値を入力或いは設定を変更するものである。データ入力部９０は、例えば汎用のキーボードやマウス、タッチパネルによって構成されている。尚、データ入力部９０も、キャビン１１の内部に配置されている。そのため、クレーン１のオペレータが自在に数値を入力或いは設定を変更できる。もちろんデータ処理部７０が持ち運び可能なものである場合などでは、一体となったキーボードやマウス、タッチパネルであってもよい。

【0043】

次に、レーザスキャナ６２による走査態様について説明する。

【0044】

図３に示すように、レーザスキャナ６２は、地表面Ｆに対して上方からレーザ光を照射する。レーザスキャナ６２は、複数のレーザ発信機ならびにレーザ受信機を備えており、同時に複数本のレーザ光を照射して同時に複数個の点データｐ（点データｐの集合が点群データＰである）を取得できる。

【0045】

具体的に説明すると、レーザスキャナ６２は、合計１６個のレーザ発信機を備えており、同時に１６本のレーザ光を照射できる。それぞれのレーザ発信機は、Ｙ軸方向を中心に２°ずつ照射角度を異にしている。また、それぞれのレーザ発信機は、Ｘ軸を中心に連続的に位相角を変えて照射可能に構成されている。そのため、レーザスキャナ６２は、地表面Ｆの所定の範囲に対してレーザ光を照射できる。

【0046】

更に、レーザスキャナ６２は、合計１６個のレーザ受信機を備えており、同時に１６本のレーザ光の反射光を検出できる。それぞれのレーザ受信機は、Ｙ軸方向を中心に２°ずつ検出角度を異にしている。また、それぞれのレーザ受信機は、レーザ発信機から発信されたレーザ光と同じ光路で反射光を検出可能に構成されている。こうして、レーザスキャナ６２は、地表面Ｆを覆う点群データＰを取得できるのである。尚、点群データＰを取得できる範囲は、カメラ６１によって撮影される範囲である計測領域Ｒを含んでいる。

【0047】

このように構成することで、データ処理部７０は、計測領域Ｒを含む範囲について点群データＰを取得できる。レーザスキャナ６２は、吊荷Ｗの上方から吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）を走査するため、点群データＰには、吊荷Ｗ、地表面Ｆ、地物Ｅが表れることとなる（図８（Ｂ）参照）。点群データＰを構成する各点データｐには、ＩＭＵ６３やＧＮＳＳ受信機６４・６５によって取得された様々な情報が付加される。例えば姿勢情報や位置情報などである。

【0048】

次に、データ処理部７０による処理の流れについて説明する。

【0049】

図４に示すように、データ処理部７０は、点群データ補正工程ＳＴＥＰ－１と三次元地図作成工程ＳＴＥＰ－２とクラスタリング工程ＳＴＥＰ－３と作業領域可視化工程ＳＴＥＰ－４を行う。これらの工程は、所定時間ごとに繰り返し行われる。

【0050】

点群データ補正工程ＳＴＥＰ－１は、レーザスキャナ６２、ＩＭＵ６３、ＧＮＳＳ６４・６５による情報を基に現在時刻から最も近い時刻の点群データＰ、姿勢情報および位置情報を取得し、レーザスキャナ６２の向きを算出する。そして、姿勢情報、位置情報および向きを用いて点群データＰの位置と傾きを補正し、これを補正済みの点群データＰとして出力する（図５参照）。

【0051】

具体的に説明すると、点群データ補正工程ＳＴＥＰ－１は、時刻同期処理ＳＴＥＰ－１１と剛体変換処理ＳＴＥＰ－１２で構成されている。

【0052】

時刻同期処理ＳＴＥＰ－１１は、現在時刻から最も近い時刻で、かつ計測領域Ｒの端から端までを一巡したレーザスキャナ６２、ＩＭＵ６３、ＧＮＳＳ６４・６５による情報同士をＧＮＳＳ時刻にて同期する。そして、同期済みの点データｐ、姿勢情報、位置情報の組み合わせを出力する。

【0053】

剛体変換処理ＳＴＥＰ－１２は、同期済みの点データｐ、姿勢情報、位置情報の組み合わせを一つ取得する。そして、取得した姿勢情報を用いて点データｐの座標値を剛体変換し、点データｐの座標系を平面直角座標系に変換して傾き、位置および向きを補正した点群データＰを出力する。

【0054】

三次元地図作成工程ＳＴＥＰ－２は、異なる時期や位置から取得した補正済みの点群データＰ同士を重ね合わせ、格子状のグリッド（複数の点データｐを含む格子状に分割された領域である）Ｇに分割し、グリッドＧごとに代表点Ｐｒを算出する（図６（Ａ）参照）。そして、代表点Ｐｒに基づいて面を生成することで、これを作業領域の三次元地図Ｍとして出力する（図６（Ｂ）参照）。

【0055】

具体的に説明すると、三次元地図作成工程ＳＴＥＰ－２は、グリッド生成処理ＳＴＥＰ－２１と三次元地図更新処理ＳＴＥＰ－２２で構成されている。

【0056】

グリッド生成処理ＳＴＥＰ－２１は、補正済みの点群データＰ同士を重ね合わせて格子状のグリッドＧに分割する。そして、グリッドＧに含まれる点データｐの標高値（座標値の高さ成分）について平均値を算出し、グリッドＧの重心位置に高さ成分を平均値とした代表点Ｐｒを算出する。

【0057】

三次元地図更新処理ＳＴＥＰ－２２は、グリッドＧごとに新たに算出された代表点Ｐｒを取得する。また、前回に算出された既存の代表点Ｐｒも取得する。そして、新たに算出された代表点Ｐｒと既存の代表点Ｐｒが異なる場合に新たに算出された代表点Ｐｒに基づく面を生成して三次元地図Ｍを出力する。このとき、吊荷Ｗの影であるオクルージョン領域Ｒｏが考慮される（図８（Ｂ）参照）。これについては後述する。

【0058】

クラスタリング工程ＳＴＥＰ－３は、上下左右に隣り合うグリッドＧの代表点Ｐｒについて互いの代表点Ｐｒの高さ成分の関係性から特定領域に対してラベルＬを付与する（図７（Ａ）参照）。なお、図７（Ａ）等に示す丸囲み数字がラベルＬを表している。そして、同じラベルＬが付された特定領域について吊荷Ｗに相当する特定領域を吊荷Ｗとし、地表面Ｆに相当する特定領域を地表面Ｆとして出力する（図７（Ｂ）参照）。更に、それ以外の特定領域を地物Ｅとして出力する（図７（Ｃ）参照）。

【0059】

具体的に説明すると、クラスタリング工程ＳＴＥＰ－３は、ラベリング処理ＳＴＥＰ－３１と同一領域推定処理ＳＴＥＰ－３２と地物領域推定処理ＳＴＥＰ－３３で構成されている。

【0060】

ラベリング処理ＳＴＥＰ－３１は、格子状に並ぶグリッドＧを画素に見立てる。また、各グリッドＧに存在する代表点Ｐｒの高さ成分を輝度値に見立てる。そして、上下左右に隣り合うグリッドＧの輝度値を所定の定めに基づいて比較し、特定領域に対してラベルＬを付与する。

【0061】

同一領域推定処理ＳＴＥＰ－３２は、同じラベルＬが付された特定領域を一つの平面に見立てる。そして、同じラベルＬが付された特定領域の中でオペレータが手動操作によって選択した特定領域を吊荷Ｗとして出力する。また、最も点データｐが多い特定領域を地表面Ｆとして出力する。

【0062】

地物領域推定処理ＳＴＥＰ－３３は、吊荷Ｗや地表面Ｆとされた特定領域以外について代表点Ｐｒの集合を特定領域として取得する。そして、この特定領域に最も近い地表面Ｆとされた特定領域を取得した上で高さ成分の平均値を算出し、平均値の差が同じ特定領域の高さ成分の差以下の場合に地物Ｅとして出力する。

【0063】

作業領域可視化工程ＳＴＥＰ－４は、吊荷Ｗや地物Ｅを取り囲むガイド枠図形ＧＤ１などのガイド情報（標高を表す数値ＧＤ２・ＧＤ３を含む）を生成し、カメラ６１が撮影した映像に対してガイド情報を重ね合わせてデータ表示部８０に出力する（図８（Ａ）参照）。また、吊荷Ｗ、地表面Ｆ、地物Ｅの三次元的な位置関係を表す三次元地図Ｍについて可視化して出力する（図８（Ｂ）参照）。

【0064】

具体的に説明すると、作業領域可視化工程ＳＴＥＰ－４は、領域可視化処理ＳＴＥＰ－４１と三次元地図可視化処理ＳＴＥＰ－４２で構成されている。

【0065】

領域可視化処理ＳＴＥＰ－４１は、レーザスキャナ６２の位置と向きに基づいて吊荷Ｗや地物Ｅの映像上における位置を算出する。そして、吊荷Ｗや地物Ｅを取り囲むガイド枠図形ＧＤ１を生成し、カメラ６１が撮影した映像における吊荷Ｗや地物Ｅに対してガイド枠図形ＧＤ１を重ね合わせて出力する。また、吊荷Ｗの標高を表す数値ＧＤ２や地物Ｅの標高を表す数値ＧＤ３についても出力する。

【0066】

三次元地図可視化処理ＳＴＥＰ－４２は、ラベルＬが付された吊荷Ｗ、地表面Ｆ、地物ＥについてグリッドＧごとに代表点Ｐｒの座標値を取得する。そして、グリッドＧごとに代表点Ｐｒを重心とする面を生成する。このとき、面の一辺の幅は、グリッドＧの幅と同じとする。その後、吊荷Ｗ、地表面Ｆ、地物Ｅごとに着色を行って、これを三次元地図Ｍとして可視化するのである。

【0067】

次に、三次元地図更新処理ＳＴＥＰ－２２の流れについて説明する。

【0068】

前述したように、データ処理部７０は、三次元地図作成工程ＳＴＥＰ－２にて三次元地図更新処理ＳＴＥＰ－２２を行う。

【0069】

図９に示すように、三次元地図更新処理ＳＴＥＰ－２２は、グリッドＧごとに行われる複数の処理によって構成されている。以下に説明する処理の流れは、本ガイド表示システム５０に採用された一例である。但し、本願に掲げる発明を実現できればよく、処理の流れについて限定するものではない。

【0070】

第一処理ＳＴＥＰ－２２１において、データ処理部７０は、グリッドＧにおける最新の代表点Ｐｒ１を取得する（図１０（Ａ）参照）。「代表点Ｐｒ１」とは、現在時刻から最も近い時刻に算出された代表点Ｐｒを指している。代表点Ｐｒ１を取得した後には、第二処理ＳＴＥＰ－２２２へ移行する。

【0071】

第二処理ＳＴＥＰ－２２２において、データ処理部７０は、グリッドＧにおける既存の代表点Ｐｒ２を取得する（図１０（Ｂ）参照）。「代表点Ｐｒ２」とは、代表点Ｐｒ１が算出される前に算出された代表点Ｐｒを指している。代表点Ｐｒ２を取得した後には、第三処理ＳＴＥＰ－２２３へ移行する。

【0072】

第三処理ＳＴＥＰ－２２３において、データ処理部７０は、最新の代表点Ｐｒ１と既存の代表点Ｐｒ２が異なるか否かを判断する。代表点Ｐｒ１と代表点Ｐｒ２が異なる場合には、第四処理ＳＴＥＰ－２２４へ移行し、代表点Ｐｒ１と代表点Ｐｒ２が異ならない場合は、第八処理ＳＴＥＰ－２２８へ移行する。

【0073】

第四処理ＳＴＥＰ－２２４において、データ処理部７０は、かかるグリッドＧがオクルージョン領域Ｒｏに含まれるか否かを判断する。グリッドＧがオクルージョン領域Ｒｏに含まれる場合には、第五処理ＳＴＥＰ－２２５へ移行し、グリッドＧがオクルージョン領域Ｒｏに含まれない場合は、第九処理ＳＴＥＰ－２２９へ移行する。

【0074】

第五処理ＳＴＥＰ－２２５において、データ処理部７０は、吊荷Ｗの標高値Ｈを取得する（図８（Ｂ）参照）。つまり、オクルージョン領域Ｒｏから吊荷Ｗの上面までの距離を取得する。標高値Ｈを取得した後には、第六処理ＳＴＥＰ－２２６へ移行する。

【0075】

第六処理ＳＴＥＰ－２２６において、データ処理部７０は、吊荷Ｗの高さ寸法ｈを取得する（図８（Ｂ）参照）。吊荷Ｗの高さ寸法ｈは、吊荷Ｗが地表面Ｆに載置された状態（地物Ｅである状態）のときから引き継がれた標高値に相当する。高さ寸法ｈを取得した後には、第七処理ＳＴＥＰ－２２７へ移行する。

【0076】

第七処理ＳＴＥＰ－２２７において、データ処理部７０は、吊荷Ｗの標高値Ｈが吊荷Ｗの高さ寸法ｈに基づいて定まる閾値（本ガイド表示システム５０においては高さ寸法ｈに等しい値としている）を超えるか否かを判断する。標高値Ｈが閾値を超えている場合には、第八処理ＳＴＥＰ－２２８へ移行し、標高値Ｈが閾値を超えていない場合には、第九処理ＳＴＥＰ－２２９へ移行する。

【0077】

第八処理ＳＴＥＰ－２２８において、データ処理部７０は、かかるグリッドＧにおける代表点Ｐｒ１を削除する（図１０（Ｃ）参照）。そして、かかるグリッドＧにあっては、既存の代表点Ｐｒ２に基づいて面を生成する。このようにすることで、最新の代表点Ｐｒ１と既存の代表点Ｐｒ２が異ならない場合に更新されないこととなる。また、最新の代表点Ｐｒ１と既存の代表点Ｐｒ２が異なっていても、グリッドＧがオクルージョン領域Ｒｏに含まれており、吊荷Ｗの標高値Ｈが吊荷Ｗの高さ寸法ｈに基づいて定まる閾値を超えている場合に更新されないこととなる。

【0078】

他方、第九処理ＳＴＥＰ－２２９において、データ処理部７０は、かかるグリッドＧにおける代表点Ｐｒ２を削除する（図１０（Ｃ）参照）。そして、かかるグリッドＧにあっては、最新の代表点Ｐｒ１に基づいて面を生成する。このようにすることで、最新の代表点Ｐｒ１と既存の代表点Ｐｒ２が異なり、グリッドＧがオクルージョン領域Ｒｏに含まれない場合に更新されることとなる。また、最新の代表点Ｐｒ１と既存の代表点Ｐｒ２が異なり、グリッドＧがオクルージョン領域Ｒｏに含まれていても、吊荷Ｗの標高値Ｈが吊荷Ｗの高さ寸法ｈに基づいて定まる閾値を超えていない場合に更新されることとなる。

【0079】

このように、ガイド表示システム５０は、三次元地図Ｍに吊荷Ｗの影であるオクルージョン領域Ｒｏが発生すると、新たに算出された代表点Ｐｒ１と既存の代表点Ｐｒが異なる場合であってもオクルージョン領域Ｒｏについて更新を行わない、としたものである。かかるガイド表示システム５０によれば、オクルージョン領域Ｒｏが発生しても同一の地物Ｅを異なる複数の地物Ｅ或いは地表面Ｆであると誤認識しない（図１１参照）。

【0080】

加えて、ガイド表示システム５０は、吊荷Ｗの標高値Ｈが吊荷Ｗの高さ寸法ｈに基づいて定まる閾値を超えると、新たに算出された代表点Ｐｒ１と既存の代表点Ｐｒ２が異なる場合であってもオクルージョン領域Ｒｏについて更新を行わない、としたものである。かかるガイド表示システム５０によれば、前述の効果に加え、吊荷Ｗが吊り上げられたときから一連の技術的思想が有効となる。

【0081】

ところで、データ処理部７０は、オクルージョン領域Ｒｏを以下のように認識する。

【0082】

即ち、データ処理部７０は、吊荷Ｗの影を含む広い領域をオクルージョン領域Ｒｏと認識する。

【0083】

具体的に説明すると、データ処理部７０は、吊荷Ｗの外縁にあたるグリッドＧの境界線Ｂ１を特定し、この境界線Ｂ１から外側へ一つ又は複数のグリッドＧを隔てた境界線Ｂ２を特定する（図１０（Ｃ）参照）。そして、境界線Ｂ２に囲まれた領域をオクルージョン領域Ｒｏと認識するのである。

【0084】

このように、ガイド表示システム５０は、吊荷Ｗの外縁から外側へ所定距離を取った領域をオクルージョン領域Ｒｏと認識する、としたものである。かかるガイド表示システム５０によれば、前述の効果に加え、吊荷Ｗが搬送されたり振れたりしていても三次元地図Ｍにおける吊荷Ｗ周辺の精度を向上できる。

【0085】

次に、同一領域推定処理ＳＴＥＰ－３２の流れについて説明する。

【0086】

前述したように、データ処理部７０は、クラスタリング工程ＳＴＥＰ－３にて同一領域推定処理ＳＴＥＰ－３２を行う。

【0087】

図１２に示すように、同一領域推定処理ＳＴＥＰ－３２は、グリッドＧごとに行われる複数の処理によって構成されている。以下に説明する処理の流れは、ガイド表示システム５０に採用された一例である。但し、本願に掲げる発明を実現できればよく、処理の流れについて限定するものではない。

【0088】

第一処理ＳＴＥＰ－３２１において、データ処理部７０は、時系列に並んだ複数のフレームｆ・ｆ・ｆ・・・を取得する（図１３（Ａ）参照）。「フレームｆ」とは、ある時刻の点群データＰに基づいて作成された三次元地図Ｍを指している。フレームｆを取得した後には、第二処理ＳＴＥＰ－３２２へ移行する。

【0089】

第二処理ＳＴＥＰ－３２２において、データ処理部７０は、各フレームｆの同じラベルＬが付された特定領域についてグリッドＧごとに標高値の平均値を算出する（図１３（Ｂ）参照）。ガイド表示システム５０においては、かかる平均値を小数点一桁で表している。平均値を算出した後には、第三処理ＳＴＥＰ－３２３へ移行する。

【0090】

第三処理ＳＴＥＰ－３２３において、データ処理部７０は、最新のフレームｆの特定領域における標高値と平均値との差が閾値を超えるか否かを判断する。これらの差が閾値を超えている場合には、第四処理ＳＴＥＰ－３２４へ移行し、これらの差が閾値を超えていない場合には、第五処理ＳＴＥＰ－３２５へ移行する。

【0091】

第四処理ＳＴＥＰ－３２４において、データ処理部７０は、かかる特定領域を動体ｍであると認定する（図１３（Ｃ）参照）。尚、このような特定領域の中には、吊荷Ｗが含まれることがある。吊荷Ｗは、オペレータが手動操作によって選択した特定領域であることから、見分けることが可能である。このようにすることで、搬送される吊荷Ｗについて見失うことなく追跡することができ、吊荷Ｗを取り囲むガイド枠図形ＧＤ１を吊荷Ｗの搬送に応じて動かすことができるのである。

【0092】

他方、第五処理ＳＴＥＰ－３２５において、データ処理部７０は、かかる特定領域を静止体ｓであると認定する（図１３（Ｃ）参照）。このような特定領域の中には、吊荷Ｗが含まれることがある。吊荷Ｗは、オペレータが手動操作によって選択した特定領域であることから、見分けることが可能である。このようにすることで、搬送を停止された吊荷Ｗについても見失うことなく追跡することができ、吊荷Ｗを取り囲むガイド枠図形ＧＤ１を吊荷Ｗの停止に応じて止めることができるのである。

【0093】

ところで、同一領域推定処理ＳＴＥＰ－３２においては、吊荷Ｗの上面を捉えた点データｐの数が少ない場合など、何らかの原因によって吊荷Ｗを追跡できない事態（吊荷Ｗの位置を正確に特定できない事態を含む）が想定される。

【0094】

このような事態にあっては、最新のフレームｆを除いた過去のフレームｆ・ｆ・ｆ・・・から吊荷Ｗに相当する特定領域のラベルＬを削除した上で同じ処理を行うものとする。このようにすることで、過去のフレームｆ・ｆ・ｆ・・・における吊荷Ｗを反映した三次元地図Ｍが作成されるのを防ぐことができる。ひいては、ガイド枠図形ＧＤ１が実際の吊荷Ｗの形状よりも大きく生成（図１４における二点鎖線Ｖ参照）されるのを防ぐことができるのである。

【0095】

このように、ガイド表示システム５０は、現在のフレームｆで吊荷Ｗを追跡できなかった場合に過去のフレームｆ・ｆ・ｆ・・・から吊荷Ｗの存在を削除して三次元地図Ｍを更新する、としたものである。かかるガイド表示システム５０によれば、前述の効果に加え、吊荷Ｗが搬送されたり振れたりしていても三次元地図Ｍにおける吊荷Ｗの上面形状の精度を向上できる（ひいては三次元地図Ｍに基づいて生成されたガイド枠図形ＧＤ１が吊荷Ｗの上面形状に即したものとなる：図１４参照）。

【0096】

加えて、ガイド表示システム５０は、カメラ６１が撮影した映像に対して三次元地図Ｍに基づいて生成されたガイド情報（ガイド枠図形ＧＤ１など）を重ね合わせてデータ表示部８０に表示する、としたものである。かかるガイド表示システム５０によれば、前述の効果に加え、映像とともに精度の高いガイド情報（ガイド枠図形ＧＤ１や標高を表す数値ＧＤ２・ＧＤ３）をオペレータに提示できる。

【0097】

最後に、発明の対象をガイド表示システム５０からガイド表示システム５０を備えたクレーン１とすることも考えられる。

【0098】

即ち、クレーン１は、ガイド表示システム５０を備えている、としたものである。かかるクレーン１によれば、前述の効果と同様の効果を奏する。

【符号の説明】

【0099】

１ クレーン
５０ ガイド表示システム
６０ データ取得部
６１ カメラ
６２ レーザスキャナ
６３ 慣性計測装置（ＩＭＵ）
６４ 第一測位装置（ＧＮＳＳ受信機）
６５ 第二測位装置（ＧＮＳＳ受信機）
６６ センサユニット
７０ データ処理部
８０ データ表示部
９０ データ入力部
Ｅ 地物
Ｆ 地表面
ｆ フレーム
Ｇ グリッド
ＧＤ１ ガイド情報（ガイド枠図形）
Ｈ 吊荷の標高値
ｈ 吊荷の高さ寸法
Ｍ 三次元地図
Ｐ 点群データ
ｐ 点データ
Ｐｒ 代表点
Ｒｏ オクルージョン領域
Ｗ 吊荷

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】