特許 7501176 移動式クレーン

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-10

(45)【発行日】2024-06-18

(54)【発明の名称】移動式クレーン

(51)【国際特許分類】

   B66C 23/00 20060101AFI20240611BHJP

   B66C 13/46 20060101ALI20240611BHJP

【ＦＩ】

B66C23/00 A

B66C13/46 F

【請求項の数】 7

(21)【出願番号】P 2020118383

(22)【出願日】2020-07-09

(65)【公開番号】P2022015504

(43)【公開日】2022-01-21

【審査請求日】2023-04-28

(73)【特許権者】

【識別番号】000148759

【氏名又は名称】株式会社タダノ

(74)【代理人】

【識別番号】100196623

【弁理士】

【氏名又は名称】松下 計介

(72)【発明者】

【氏名】元木 浩平

【審査官】中島 亮

(56)【参考文献】

【文献】特開２０１８－０９５３７０（ＪＰ，Ａ）

【文献】特開２０１８－０９５３６４（ＪＰ，Ａ）

【文献】特開２０１１－１０２１６７（ＪＰ，Ａ）

【文献】特開２００３－０２０１９２（ＪＰ，Ａ）

【文献】特開２０１９－１２３５９４（ＪＰ，Ａ）

【文献】特開２０１９－０４８６８１（ＪＰ，Ａ）

【文献】特開２０１９－２０５１６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６６Ｃ １３／００ － １５／０６

Ｂ６６Ｃ １９／００ － ２３／９４

(57)【特許請求の範囲】

【請求項1】

旋回台に起伏自在のブームが設けられた移動式クレーンであって、
前記ブームを備えた前記移動式クレーンと前記移動式クレーンの周囲とを上方から撮影する撮影装置と、
前記撮影装置が撮影した画像を表示し、且つ前記ブームの移動軌跡を入力可能な表示装置と、
前記移動式クレーンのアクチュエータを制御する制御装置と、を備え、
前記制御装置は、
前記撮影装置が撮影した前記移動式クレーンおよび前記移動式クレーンの周囲を含む画像を取得し、前記表示装置に前記画像を表示させ、前記画像と前記ブームの姿勢情報とから前記画像の座標系における前記ブームの旋回中心の座標および前記画像の座標系における前記ブームの先端の座標を算出し、前記画像上で設定された前記ブームの先端が通過する通過点の前記画像の座標系における座標を算出し、前記ブームの先端が前記通過点を所定の速度で通過するように前記移動式クレーンのアクチュエータを制御する、移動式クレーン。

【請求項2】

前記制御装置は、
前記撮影装置が撮影した画像から前記ブームの先端部の画像を検出し、前記ブームの先端部の画像の向きおよび大きさと、前記ブームの姿勢情報とから前記画像における前記ブームの旋回中心の座標および前記画像の座標系における前記ブームの先端の座標を算出する、請求項１に記載の移動式クレーン。

【請求項3】

旋回台に起伏自在のブームが設けられた移動式クレーンであって、
前記ブームを備えた前記移動式クレーンと前記移動式クレーンの周囲とを上方から撮影する撮影装置と、
前記ブームの旋回中心の絶対座標を検出する第１ＧＮＳＳ受信機と、
前記ブームの延伸方向の方位を検出する方位センサと、
前記撮影装置の絶対座標を検出する第２ＧＮＳＳ受信機と、
前記撮影装置が撮影した画像を表示し、且つ前記ブームの移動軌跡を入力可能な表示装置と、
前記移動式クレーンのアクチュエータを制御する制御装置と、を備え、
前記制御装置は、
前記撮影装置が撮影した前記移動式クレーンおよび前記移動式クレーンの周囲を含む画像を取得し、前記表示装置に前記画像を表示させ、前記第１ＧＮＳＳ受信機から前記ブームの旋回中心の絶対座標を取得し、前記方位センサから前記ブームの延伸方向の方位を取得し、前記第２ＧＮＳＳ受信機から前記撮影装置の絶対座標を取得し、前記ブームの旋回中心の絶対座標と、前記撮影装置の絶対座標と、前記ブームの姿勢情報とから前記ブームの先端の絶対座標を算出し、
前記ブームの旋回中心の絶対座標と、前記撮影装置の絶対座標と、前記ブームの先端の絶対座標と、前記撮影装置の画角情報とから前記画像上の位置で設定された前記ブームの先端が通過する通過点の絶対座標を算出し、前記ブームの先端が前記通過点の絶対座標を所定の速度で通過するように前記移動式クレーンのアクチュエータを制御する、移動式クレーン。

【請求項4】

前記撮影装置は、
無人飛行体と、前記無人飛行体に設けられているカメラとから構成される請求項１から請求項３のいずれか一項に記載の移動式クレーン。

【請求項5】

前記制御装置は、
前記ブームからウインチによって繰り出しおよび繰り入れ自在に構成されているワイヤロープに吊り下げられているフックの地面からの鉛直方向の座標を算出し、前記ブームの先端が前記通過点を通過するように前記ブームを制御する際、前記フックの地面からの鉛直方向の座標を維持するように前記ウインチを制御する請求項１から請求項４のいずれか一項に記載の移動式クレーン。

【請求項6】

前記制御装置は、
前記ウインチを操作するウインチ用操作具の操作信号を取得すると、前記操作信号に基づいて前記ウインチを制御する請求項５に記載の移動式クレーン。

【請求項7】

無人飛行体と、前記無人飛行体に設けられているカメラとから構成される障害物撮影装置を更に有し、
前記障害物撮影装置は、
前記フックに追従しながら前記フックの周辺を撮影する請求項５から請求項６のいずれか一項に記載の移動式クレーン。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動式クレーンに関する。

【背景技術】

【0002】

従来、移動式クレーンを用いて荷物を搬送する場合、前記移動式クレーンの操縦者は、前記クレーンのブームを操作するための旋回用操作具、起伏用操作具、伸縮用操作具、荷物を吊り上げ、吊り下げるためのウインチ用操作具等の複数の操作具を操作する必要がある。また、前記移動式クレーンの操縦者は、複数の操作具を同時に操作して、作業現場の構造物等に荷物が接触しないように移動式クレーンを操作しなくてはならない。また、移動式クレーンの操縦者は、作業現場の状況によっては、操縦席から荷物および荷物の周囲が視認できない範囲で荷物を搬送させなければならない。このように構成される移動式クレーンは、操縦者の技量と作業現場の状況によっては目的位置までの荷物の搬送が難しい場合があった。そこで、作業現場の３Ｄマップ上で入力された荷物の移動経路に基づいて荷物を自動的に搬送するクレーンが知られている。例えば、特許文献１の如くである。

【0003】

特許文献１に記載のクレーンは、ブーム先端のステレオカメラ等で取得した作業現場の三次元情報に基づいて吊荷（荷物）の三次元情報を抽出する。また、前記クレーンは、前記作業現場の三次元情報に基づいて平面図を作成する。次に、前記クレーンは、前記平面図上で操縦者によって入力されてた前記吊荷の水平方向の移動経路を取得する。更に、前記クレーンは、前記作業現場の三次元情報に基づいて水平方向の移動経路に沿って形成される展開断面図を作成する。前記クレーンは、前記展開断面図上で前記吊荷の高さ方向の移動経路を取得することで、前記吊荷の立体的な移動経路を特定する。前記クレーンは、特定した前記移動経路に沿って吊荷を自動的に移動させる。

【0004】

しかし、特許文献１に記載のクレーンは、前記ブームの先端に設けられたステレオカメラによって作業現場の三次元情報を取得するため、三次元情報を取得できない範囲が生じる場合がある。また、前記３Ｄマップは、リアルタイムで取得した前記作業現場の三次元情報から作成されていない。このため、前記クレーンの操縦者は、前記３Ｄマップを用いて前記吊荷の移動経路を特定する際、前記作業現場の状態が変化していても吊荷を移動させることができるように余裕を持った経路を選択する必要があった。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１８－９５３７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の目的は、作業現場の状況をリアルタイムで把握しつつ、容易な操作で荷物を目的位置まで搬送することができる移動式クレーンの提供を目的とする。

【課題を解決するための手段】

【0007】

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。

【0008】

本発明の一実施形態に係る移動式クレーンは、旋回台に起伏自在のブームが設けられた移動式クレーンであって、前記ブームを備えた前記移動式クレーンを上方から撮影する撮影装置と、前記撮影装置が撮影した画像を表示し、且つ前記ブームの移動軌跡を入力可能な表示装置と、前記移動式クレーンのアクチュエータを制御する制御装置と、を備える。

【0009】

前記制御装置は、前記撮影装置が撮影した前記移動式クレーンと前記移動式クレーンの周囲を含む画像を取得し、前記表示装置に前記画像を表示させる。前記制御装置は、前記画像と前記ブームの姿勢情報とから前記画像の座標系における前記ブームの旋回中心の座標および前記画像の座標系における前記ブームの先端の座標を算出する。更に、前記制御装置は、前記画像上で設定された前記ブームの先端が通過する通過点の前記画像の座標系における座標を算出する。次に、前記制御装置は、前記ブームの先端が前記通過点の座標を所定の速度で通過するように前記移動式クレーンのアクチュエータを制御する。

【0010】

上述の構成では、前記移動式クレーンの制御装置は、撮影装置が撮影した前記移動式クレーンおよび前記移動式クレーンの周囲を含む画像において、前記移動式クレーンの旋回中心の座標と前記ブームの先端の座標とを算出する。前記制御装置は、前記移動式クレーンの旋回中心の座標と前記ブームの先端の座標とを算出することにより、前記画像の座標系を前記移動式クレーンの旋回中心を基準とするクレーン座標系に変換することができる。

【0011】

従って、前記移動式クレーンの操縦者は、前記画像上で前記移動式クレーンの周囲の状況をリアルタイムで確認しながら前記ブームの先端の通過点を前記画像上で設定することができる。また、前記制御装置は、前記ブームの先端が前記通過点を通過するように各アクチュエータを制御する自動搬送制御を行う。これにより、操縦者は、前記移動式クレーンによって作業現場の状況をリアルタイムで把握しつつ、容易な操作で荷物を目的位置まで搬送することができる。

【0012】

他の観点によれば、本発明の移動式クレーンは、以下の構成を含むことが好ましい。前記制御装置は、前記撮影装置が撮影した画像から前記ブームの先端部の画像を検出し、前記ブームの先端部の画像の向きおよび大きさと、前記ブームの姿勢情報とから前記画像の座標系における前記ブームの旋回中心の座標および前記画像の座標系における前記ブームの先端の座標を算出する。

【0013】

上述の構成では、前記制御装置は、予め取得している前記ブームの先端部の画像との比較等により、撮影装置が撮影した前記移動式クレーンを含む画像から前記画像の座標系における前記ブームの旋回中心の座標と前記ブームの先端部の座標とを自動的に検出する。前記制御装置は、前記ブームの旋回中心の座標を基準として前記画像上で指定された前記ブームの先端の通過点の座標を容易に算出することができる。これにより、操縦者は、前記移動式クレーンによって作業現場の状況をリアルタイムで把握しつつ、容易な操作で荷物を目的位置まで搬送することができる。

【0014】

本発明の一実施形態に係る移動式クレーンは、旋回台に起伏自在のブームが設けられた移動式クレーンであって、前記ブームを備えた前記移動式クレーンと前記移動式クレーンの周囲とを上方から撮影する撮影装置と、前記ブームの旋回中心の絶対座標を検出する第１ＧＮＳＳ受信機と、前記ブームの延伸方向の方位を検出する方位センサと、前記撮影装置の絶対座標を検出する第２ＧＮＳＳ受信機と、前記撮影装置が撮影した画像を表示し、且つ前記ブームの移動軌跡を入力可能な表示装置と、前記移動式クレーンのアクチュエータを制御する制御装置と、を備える。

【0015】

前記制御装置は、前記撮影装置が撮影した前記移動式クレーンおよび前記移動式クレーンの周囲を含む画像を取得し、前記表示装置に前記画像を表示させる。次に、前記制御装置は、前記第１ＧＮＳＳ受信機から前記ブームの旋回中心の絶対座標を取得し、前記方位センサから前記ブームの延伸方向の方位を取得し、前記第２ＧＮＳＳ受信機から前記撮影装置の絶対座標を取得する。前記制御装置は、前記ブームの旋回中心の絶対座標と、前記撮影装置の絶対座標と、前記ブームの姿勢情報とから前記ブームの先端の絶対座標を算出する。また、前記制御装置は、前記ブームの旋回中心の絶対座標と、前記撮影装置の絶対座標と、前記ブームの先端の絶対座標と、前記撮影装置の画角情報とから前記画像上の位置で設定された前記ブームの先端が通過する通過点の絶対座標を算出し、前記ブームの先端が前記通過点の絶対座標を所定の速度で通過するように前記移動式クレーンのアクチュエータを制御する。

【0016】

上述の構成では、前記移動式クレーンの制御装置は、前記ブームの旋回中心の絶対座標と前記ブームの延伸方向の方位と前記撮影装置の絶対座標と、前記撮影装置の画角情報と、前記ブームの姿勢情報とから、前記ブームの先端の絶対座標を算出する。また、前記制御装置は、前記撮影装置の絶対座標と前記撮影装置の画角情報とに基づいて前記画像の座標系における旋回中心の座標と前記ブームの先端の座標とを算出する。これにより、前記画像の座標系を絶対座標系に変換することができる。

【0017】

従って、前記移動式クレーンの操縦者は、前記画像上で前記移動式クレーンの周囲の状況をリアルタイムで確認しながら前記ブームの先端の通過点を画像上で設定することができる。また、前記制御装置は、前記ブームの先端が前記通過点を通過するように各アクチュエータを制御する自動搬送制御を行う。これにより、操縦者は、前記移動式クレーンによって作業現場の状況をリアルタイムで把握しつつ、容易な操作で荷物を目的位置まで搬送することができる。

【0018】

他の観点によれば、本発明の移動式クレーンは、以下の構成を含むことが好ましい。前記撮影装置は、無人飛行体と、前記無人飛行体に設けられているカメラとから構成される。

【0019】

上述の構成では、前記移動式クレーンは、前記移動式クレーンおよび前記移動式クレーンの周囲の画像を任意の位置から前記撮影装置によって撮影することができる。従って、前記起動式クレーンは、移動式クレーンの作業範囲、作業現場の状況に応じてた画像を取得することができる。これにより、操縦者は、クレーンによって作業現場の状況をリアルタイムで把握しつつ、容易な操作で荷物を目的位置まで搬送することができる。

【0020】

他の観点によれば、本発明の移動式クレーンは、以下の構成を含むことが好ましい。前記制御装置は、前記ブームからウインチによって繰り出しおよび繰り入れ自在に構成されているワイヤロープに吊り下げられているフックの地面からの鉛直方向の座標を算出する。前記制御装置は、前記ブームの先端が前記通過点を通過するように前記ブームを制御する際、前記フックの地面からの鉛直方向の座標を維持するように前記ウインチを制御する。

【0021】

上述の構成では、前記移動式クレーンは、前記ブームの先端が操縦者によって指示された通過点を通過するように前記ブームが起伏、伸縮されてもフックに吊られている荷物の上下方向の位置を維持する。従って、操縦者は、前記ブームの動きに合わせて荷物の高さを制御する必要がない。これにより、操縦者は、前記移動式クレーンによって作業現場の状況をリアルタイムで把握しつつ、容易な操作で荷物を目的位置まで搬送することができる。

【0022】

他の観点によれば、本発明の移動式クレーンは、以下の構成を含むことが好ましい。前記制御装置は、前記ウインチ用の操作具の操作信号を取得すると、前記操作信号に基づいて前記ウインチを制御する。

【0023】

上述の構成では、前記移動式クレーンは、自動搬送制御中に前記フックに吊られている荷物の上下方向の位置が維持されている状態から操縦者の操作によって前記荷物の上下方向の位置を変更できる状態に切り替えることができる。操縦者は、自動搬送制御中において前記荷物の上下方向の位置を変更する操作に集中することができる。これにより、操縦者は、移動式クレーンによって作業現場の状況をリアルタイムで把握しつつ、容易な操作で荷物を目的位置まで搬送することができる。

【0024】

他の観点によれば、本発明の移動式クレーンは、以下の構成を含むことが好ましい。前記移動式クレーンは、無人飛行体と、前記無人飛行体に設けられているカメラとから構成される障害物撮影装置を更に有する。また、前記障害物撮影装置は、前記フックに追従しながら前記フックの周辺を撮影する。

【0025】

上述の構成では、前記移動式クレーンは、前記障害物撮影装置が前記荷物の周辺を撮影する。従って、前記移動式クレーンの操縦者は、前記荷物の周囲を確認しながら前記荷物の上下方向の位置を変更することができる。これにより、操縦者は、前記移動式クレーンによって作業現場の状況をリアルタイムで把握しつつ、容易な操作で荷物を目的位置まで搬送することができる。

【0026】

本明細書で使用される専門用語は、特定の実施形態のみを定義する目的で使用されるのであって、前記専門用語によって発明を制限する意図はない。他に定義されない限り、本明細書で使用される全ての用語（技術用語及び科学用語を含む）は、本発明が属する技術分野の当業者によって一般的に理解される意味と同じ意味を有する。一般的に使用される辞書に定義された用語は、関連する技術及び本開示の文脈における意味と一致する意味を有すると解釈されるべきであり、本明細書で明示的に定義されていない限り、理想的または過度に形式的な意味で解釈されることはない。

【0027】

本発明の説明においては、いくつもの技術および工程が開示されていると理解される。これらの各々は、個別の利益を有し、他に開示された技術の１つ以上、または、場合によっては全てと共に使用することもできる。したがって、明確にするために、本発明の説明では、不要に個々のステップの可能な組み合わせをすべて繰り返すことを控える。しかしながら、本明細書及び特許請求の範囲は、そのような組み合わせがすべて本発明の範囲内であることを理解して読まれるべきである。

【0028】

以下の説明では、本発明の完全な理解を提供するために多数の具体的な例を述べる。しかしながら、当業者は、これらの具体的な例がなくても本発明を実施できることが明らかである。よって、以下の開示は、本発明の例示として考慮されるべきであり、本発明を以下の図面または説明によって示される特定の実施形態に限定することを意図するものではない。

【発明の効果】

【0029】

本発明の一実施形態によれば、操縦者は、クレーンによって作業現場の状況をリアルタイムで把握しつつ、容易な操作で荷物を目的位置まで搬送することができる。

【図面の簡単な説明】

【0030】

【図1】本発明に係るクレーンの全体構成を示す全体図。

【図2】本発明の第１実施形態に係るクレーンの制御構成を示すブロック図。

【図3】本発明の第１実施形態に係るクレーンによるクレーンの位置関係を取得する状態を示す模式図。

【図4】本発明の第１実施形態に係る画像処理装置の制御構成を示すブロック図。

【図5】本発明の第１実施形態に係るクレーンの通過点を指示している画像を示す概略図。

【図6】本発明の第１実施形態に係るクレーンの自動搬送制御のフローチャートを示す図。

【図7】本発明の第２実施形態に係るクレーンの制御構成を示すブロック図。

【図8】本発明の第２実施形態に係る画像処理装置の制御構成を示すブロック図。

【図9】本発明の第２実施形態に係るクレーンの通過点を指示している画像を示す概略図。

【図10】本発明の第２実施形態に係るクレーンの自動搬送制御のフローチャートを示す図。

【図11】本発明の第２実施形態の他の実施形態に係る画像処理装置の制御構成を示すブロック図。

【発明を実施するための形態】

【0031】

以下に、図１と図２とを用いて、本発明の第１実施形態に係る移動式クレーン（ラフテレーンクレーン）であるクレーン１について説明する。なお、本実施形態においては、ラフテレーンクレーンついて説明を行うが、オールテレーンクレーン、トラッククレーン等でもよい。

【0032】

図１と図２とに示すように、クレーン１は、任意の場所に移動可能な移動式クレーンである。クレーン１は、車両２、クレーン装置６、撮影装置２０（図２参照）、表示装置２４（図２参照）、通信機２５（図２参照）、画像処理装置２６（図２参照）、制御装置２７（図２参照）を有する。

【0033】

車両２は、クレーン装置６を搬送する走行体である。車両２は、複数の車輪３を有し、エンジン４を動力源として走行する。車両２には、アウトリガ５が設けられている。アウトリガ５は、車両２の幅方向両側に油圧によって延伸可能な張り出しビームと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダとから構成されている。

【0034】

クレーン装置６は、荷物Ｗをワイヤロープによって吊り上げる作業装置である。クレーン装置６は、旋回台７、ブーム９、ジブ９ｂ、メインフックブロック１０、サブフックブロック１１、起伏用油圧シリンダ１２、メインウインチ１３、メインワイヤロープ１４、サブウインチ１５、サブワイヤロープ１６およびキャビン１７等を具備する。

【0035】

旋回台７は、クレーン装置６を旋回可能に構成する回転装置である。旋回台７は、円環状の軸受を介して車両２のフレーム上に設けられる。旋回台７は、円環状の軸受の中心を回転中心として回転自在に構成されている。旋回台７には、アクチュエータである油圧式の旋回用油圧モータ８が設けられている。旋回台７は、旋回用油圧モータ８によって一方向と他方向とに旋回可能に構成されている。

【0036】

ブーム９は、荷物Ｗを吊り上げ可能な状態にメインワイヤロープ１４およびサブワイヤロープ１６を支持する可動支柱である。ブーム９は、複数のブーム部材から構成されている。ブーム９は、ベースブーム部材の基端が旋回台７の略中央に揺動可能に設けられている。ブーム９は、各ブーム部材をアクチュエータである伸縮用油圧シリンダ９ａ（図２参照）で移動させることで軸方向に伸縮自在に構成されている。また、ブーム９には、ジブ９ｂが設けられている。

【0037】

メインフックブロック１０とサブフックブロック１１とは、荷物Ｗを吊るものである。メインフックブロック１０には、メインワイヤロープ１４が巻き掛けられる複数のフックシーブと、荷物Ｗを吊るメインフック１０ａとが設けられている。サブフックブロック１１には、荷物Ｗを吊るサブフック１１ａが設けられている。

【0038】

起伏用油圧シリンダ１２は、ブーム９を起立および倒伏させ、ブーム９の姿勢を保持するアクチュエータである。起伏用油圧シリンダ１２は、シリンダ部の端部が旋回台７に起伏自在に連結され、ロッド部の端部がブーム９のベースブーム部材に揺動自在に連結されている。

【0039】

メインウインチ１３とサブウインチ１５とは、メインワイヤロープ１４とサブワイヤロープ１６との繰り入れ（巻き上げ）および繰り出し（巻き下げ）を行うものである。メインウインチ１３は、メインワイヤロープ１４が巻きつけられるメインドラムがアクチュエータである図示しないメイン用油圧モータによって回転されるように構成されている。サブウインチ１５は、サブワイヤロープ１６が巻きつけられるサブドラムがアクチュエータである図示しないサブ用油圧モータによって回転されるように構成されている。

【0040】

キャビン１７は、操縦席を覆う筐体である。キャビン１７は、旋回台７に搭載されている。図示しない操縦席が設けられている。操縦席には、車両２を走行操作するための走行用操作具１８、クレーン装置６を操作するためのクレーン装置用操作具１９、撮影装置２０を操作するための遠隔操作端末等が設けられている（図２参照）。

【0041】

図２と図３とに示すように、撮影装置２０は、クレーン１および作業現場におけるクレーン１の周囲を撮影する。撮影装置２０は、無人飛行体２１、カメラ２２を備える。

【0042】

無人飛行体２１は、制御信号によって遠隔操作および自立飛行可能な自立型無人飛行体（ドローン）である。無人飛行体２１は、例えば、複数のプロペラを有するマルチコプターである。無人飛行体２１は、遠隔操作端末２３と制御信号等を送受信可能に構成されている。これにより、無人飛行体２１は、遠隔操作端末２３によって任意の位置に移動可能に構成されている。なお、無人飛行体２１は、クレーン１のブーム９等に取り付けられたビーコン、画像処理装置２６が検出したブーム９の画像、ブーム９に設けられたＡＲタグ等を追従するように構成されていてもよい。

【0043】

カメラ２２は、無人飛行体２１に設けられている。カメラ２２は、無人飛行体２１の鉛直下方を撮影するように構成されている。カメラ２２は、遠隔操作端末２３からの制御信号等を取得可能に構成されている。また、カメラ２２は、撮影した画像データを画像処理装置２６に送信可能に構成されている。これにより、カメラ２２は、遠隔操作端末２３によって、撮影の開始、停止、撮影方向の決定、ズーム等の操作を行うことができる。

【0044】

遠隔操作端末２３は、無人飛行体２１およびカメラ２２の操作を行う操作端末である。遠隔操作端末２３は、キャビン１７に配置されている。遠隔操作端末２３は、携帯可能な筐体に無人飛行体２１の操作具およびカメラ２２の操作具が設けられている。つまり、遠隔操作端末２３は、キャビン１７の外部に持ち運び可能な携帯操作端末として構成されている。遠隔操作端末２３は、操作具の操作によって無人飛行体２１をクレーン１の上方に配置し、任意の位置でホバリングさせることができる。遠隔操作端末２３は、無人飛行体２１およびカメラ２２に制御信号を送受信可能に構成されている。また、遠隔操作端末２３は、クレーン１の制御装置２７に入力信号、操作信号等を送受信可能に構成されている。遠隔操作端末２３には、表示装置２４が設けられている。

【0045】

表示装置２４は、カメラ２２が撮影した画像Ｐを表示する。表示装置２４は、液晶モニタ等から構成されている。表示装置２４は、クレーン１の操縦者が視認可能な位置に配置されている。表示装置２４は、カメラ２２が撮影した画像Ｐを、遠隔操作端末２３を介して取得可能に構成されている。表示装置２４には、カメラ２２が撮影した画像Ｐ、およびカメラ２２が撮影した画像Ｐに基づいて算出されたクレーン１に関する情報が表示される。また、表示装置２４には、自動搬送制御を開始する自動搬送制御スイッチ２４ａと、メインウインチ１３またはサブウインチ１５のウインチ用操作具としてウインチ用操作スイッチ２４ｂが表示されている。

【0046】

表示装置２４は、画面から制御信号を入力可能なタッチパネル等の入力装置として構成されている。表示装置２４は、画面からブーム９の移動軌跡であるブーム９の先端の通過点を入力可能に構成されている。なお、表示装置２４は、画面から無人飛行体２１およびカメラ２２の操作信号を入力可能に構成してもよい。また、表示装置２４は、遠隔操作端末２３と別に独立してキャビン１７に配置されていてもよい。

【0047】

通信機２５は、画像データ、制御信号を送受信するものである。通信機２５は、遠隔操作端末２３に設けられている。通信機２５は、画像処理装置２６との間で撮影装置２０の無人飛行体２１およびカメラ２２の制御信号を送受信することができる。また、通信機２５は、カメラ２２が撮影した画像Ｐを画像処理装置２６に送信することができる。通信機２５は、無人飛行体２１およびカメラ２２のとの間で制御信号を送受信することができる。通信機２５は、カメラ２２が撮影した画像Ｐを受信することができる。

【0048】

画像処理装置２６は、撮影装置２０のカメラ２２が撮影した画像Ｐ（図４参照）を処理する。また、画像処理装置２６は、無人飛行体２１およびカメラ２２の動作を制御する。画像処理装置２６は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続される構成であってもよく、あるいはワンチップのＬＳＩ等からなる構成であってもよい。本実施形態において、画像処理装置２６は、遠隔操作端末２３に設けられている。画像処理装置２６は、撮影装置２０の無人飛行体２１、カメラ２２等の動作を制御したり画像データを処理したりするために種々のプログラムおよびデータが格納されている。画像処理装置２６は、制御装置２７に接続されている。つまり、画像処理装置２６は、電気的に制御装置２７に含まれるものとする。なお、画像処理装置２６は、制御装置２７と一体に構成されていてもよい。

【0049】

画像処理装置２６は、表示装置２４に接続されている。画像処理装置２６は、表示装置２４から無人飛行体２１およびカメラ２２の操作信号を取得することができる。画像処理装置２６は、表示装置２４から入力された無人飛行体２１の操作信号に基づいて無人飛行体２１の制御信号を生成する。同様に、画像処理装置２６は、表示装置２４から入力されたカメラ２２の操作信号に基づいてカメラ２２の制御信号を生成する。画像処理装置２６は、通信機２５に接続されている。画像処理装置２６は、生成した制御信号を、通信機２５を介して無人飛行体２１またはカメラ２２に送信する。

【0050】

画像処理装置２６は、予め保持している学習モデルに基づいて、カメラ２２が撮影した画像Ｐからブーム９の先端部を検出する。画像処理装置２６は、本実施形態において、画像Ｐのカラーヒストグラムによるベクトル化、オートエンコーダによるベクトル化および局所特徴量によるベクトル化等を併用してそれぞれのベクトル化による特徴量の算出を行う。カラーヒストグラムによるベクトル化は、色の強度と出現頻度を特徴量としてベクトル化する手法である。オートエンコーダによるベクトル化は、オートエンコーダの中間層を、画像Ｐを代表する特徴量とする手法である。オートエンコーダは、３層ニューラルネットにおいて、入力層と出力層に同じデータを用いて教師あり学習をさせたものである。局所特徴量によるベクトル化は、ＫＡＺＥ局所特徴量を用いて画像Ｐをベクトル化する手法である。

【0051】

画像処理装置２６は、画像Ｐのカラーヒストグラムによるベクトル化、オートエンコーダによるベクトル化および局所特徴量によるベクトル化により、３つの特徴量を算出する。なお、特徴量としては、画像Ｐに含まれる輝度値、エッジのヒストグラム、色とエッジの相関関数等でもよい。また、画像処理装置２６は、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）等の画像Ｐの局所特徴量を算出するようにしてもよい。

【0052】

次に、図４を用いて、クレーン１の画像処理装置２６におけるブーム９の先端部分とブーム９の延伸方向との検出について説明する。画像処理装置２６は、基準画像保持部２６ａ、判定画像検出部２６ｂ、姿勢判定部２６ｃを有している。画像処理装置２６は、ブーム９の先端の所定範囲を教師あり学習させた学習モデルを有している。画像処理装置２６は、カメラ２２が撮影した画像Ｐの３つの特徴量からブーム９の先端部分とブーム９の延伸方向とを検出することができる。

【0053】

図４に示すように、基準画像保持部２６ａは、画像処理装置２６の一部であり、ブーム９の先端部分の基準画像Ｉｓを予め保持している。基準画像Ｉｓは、ブーム９の先端部分を判定するための基準となる画像である。基準画像Ｉｓは、任意に定めた基準姿勢でのブーム９の先端部分の画像の少なくとも一部の画像から構成される。つまり、基準画像Ｉｓは、ブーム９の先端部分の基準姿勢を示す画像である。本実施形態において、基準姿勢は、所定の起伏角度のブーム９とする。つまり、基準画像Ｉｓは、所定の起伏角度のブーム９の先端部分を上方から撮影した画像の少なくとも一部から構成されている。

【0054】

判定画像検出部２６ｂは、画像処理装置２６の一部であり、現在の画像Ｐから基準画像Ｉｓに該当する部分の画像を判定画像Ｉｊとして検出する。判定画像Ｉｊは、ブーム９の先端部分の基準姿勢に対する現在の画像Ｐにおけるブーム９の先端部分の画像である。つまり、判定画像Ｉｊは、現在の画像Ｐにおけるブーム９の先端部分の基準画像Ｉｓに対する相対的な姿勢を算出するための画像である。判定画像Ｉｊは、現在の画像Ｐにおけるブーム９の先端部分の少なくとも一部の画像から構成される。

【0055】

判定画像検出部２６ｂは、選択した基準画像Ｉｓの特徴点を算出することができる。さらに、判定画像検出部２６ｂは、現在の画像Ｐから特徴点を算出することができる。判定画像検出部２６ｂは、基準画像Ｉｓの特徴点と現在の画像Ｐの特徴点とを比較し、現在の画像Ｐから基準画像Ｉｓに該当する部分を判定画像Ｉｊとして検出することができる。

【0056】

姿勢判定部２６ｃは、画像処理装置２６の一部であり、荷物Ｗの基準姿勢に対する現在のブーム９の延伸方向の方位Ｄを判定する。姿勢判定部２６ｃは、基準画像Ｉｓと判定画像Ｉｊとの比較から基準画像Ｉｓに対する判定画像Ｉｊの形状、向きおよび傾きを算出可能に構成されている。姿勢判定部２６ｃは、基準画像Ｉｓの各部の座標と、判定画像Ｉｊの各部の座標とから、ブーム９の先端部分の基準姿勢に対する現在の画像Ｐの座標系におけるブーム９の先端座標Ｂとブーム９の延伸方向の方位Ｄを算出することができる。

【0057】

画像処理装置２６は、検出したブーム９の先端部分の画像Ｐにおける大きさ、ブーム９の延伸方向、ブーム９の起伏角度、ブーム９の伸縮長さ、ブーム９の旋回角度およびブーム９の形状寸法等のブーム９の姿勢情報とから、画像Ｐの座標系におけるブーム９の旋回中心の座標である旋回中心座標Ｃとを算出することができる。画像処理装置２６は、算出した先端座標Ｂ、旋回中心座標Ｃ、ブーム９の方位Ｄを表示装置２４に表示されている画像Ｐに重畳表示させる。

【0058】

画像処理装置２６は、画像Ｐの座標系におけるブーム９の先端座標Ｂ、ブーム９の旋回中心座標Ｃおよびブーム９の姿勢情報から、画像Ｐの座標系をブーム９の旋回中心を原点とするクレーン座標系に変換する変換式を算出することができる。画像処理装置２６は、変換式によって画像Ｐの座標系における先端座標Ｂおよび旋回中心座標Ｃをクレーン座標系における変換先端座標Ｂｃおよび変換旋回中心座標Ｃｃに変換することができる。

【0059】

また、画像処理装置２６は、表示装置２４から入力されたブーム９の先端の通過点の位置を画像Ｐの座標系における座標である通過点座標Ｔ１（ｘ１、ｙ１）、Ｔ２（ｘ２、ｙ２）、・・（以下、単に「通過点座標Ｔ（ｎ）」と記す。ｎは順番を示す整数。）取得する。更に、画像処理装置２６は、変換式によって通過点座標Ｔ（ｎ）をクレーン座標系の座標である変換通過点座標Ｔｃ１（ｘｃ１、ｙｃ１）、Ｔｃ２（ｘｃ２、ｙｃ２）、・・（以下、単に「変換通過点座標Ｔｃ（ｎ）」と記す。ｎは順番を示す整数。）に変換する（図５参照）。画像処理装置２６は、変換通過点座標Ｔｃ（ｎ）を、制御装置２７に送信する。

【0060】

図２に示すように、制御装置２７は、クレーン１の各アクチュエータを制御する。制御装置２７は、キャビン１７内に設けられている。制御装置２７は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続される構成であってもよく、あるいはワンチップのＬＳＩ等からなる構成であってもよい。制御装置２７は、アクチュエータ、切換え弁、センサ等の動作を制御したり画像データを処理したりするために種々のプログラムおよびデータが格納されている。制御装置２７には、画像処理装置２６が含まれている。

【0061】

図２と図４とに示すように、制御装置２７は、走行用操作具１８およびクレーン装置用操作具１９に接続されている。制御装置２７は、走行用操作具１８、クレーン装置用操作具１９のそれぞれの操作信号を取得することができる。制御装置２７は、走行用操作具１８の操作により生成される操作信号に基づいて、車両２の制御信号を生成する。同様に、制御装置２７は、クレーン装置用操作具１９の操作により生成される操作信号に基づいて、クレーン装置６の制御信号を生成する。制御装置２７は、生成した制御信号をクレーン装置６の各アクチュエータに送信することができる。

【0062】

制御装置２７は、ブーム９の姿勢情報とメインウインチ１３によるメインワイヤロープ１４の繰り出し量、またはサブウインチ１５によるサブワイヤロープ１６の繰り出し量からメインワイヤロープ１４に吊り下げられているメインフック１０ａまたはサブワイヤロープ１６に吊り下げられているサブフック１１ａの地面から鉛直方向の高さ（鉛直方向の座標）を算出することができる。また、制御装置２７は、ブーム９の先端が通過点を通過するようにブーム９を制御する際、メインフック１０ａまたはサブフック１１ａの地面からの鉛直方向の座標が変動しないようにメインウインチ１３またはサブウインチ１５を制御することができる。つまり、クレーン１は、自動搬送制御によって荷物Ｗを搬送する場合、荷物Ｗの地面からの高さを一定に維持する。

【0063】

制御装置２７は、画像処理装置２６に有線または無線で接続されている。制御装置２７は、画像処理装置２６にブーム９の姿勢情報を送信することができる。制御装置２７は、画像処理装置２６からクレーン座標系におけるブーム９の先端の通過点の座標である複数の変換通過点座標Ｔｃ（ｎ）を取得することができる。制御装置２７は、画像処理装置２６からクレーン座標系におけるブーム９の先端の座標である変換先端座標Ｂｃとブーム９の旋回中心の座標である変換旋回中心座標Ｃｃを取得することができる。

【0064】

制御装置２７は、取得した変換先端座標Ｂｃと複数の変換通過点座標Ｔｃ（ｎ）からブーム９の先端が複数の変換通過点座標Ｔｃ（ｎ）を通過するための制御信号を生成することができる。制御装置２７は、生成した変換通過点座標Ｔｃ（ｎ）を通過するための制御信号をクレーン装置６の各アクチュエータに送信することができる。つまり、制御装置２７は、荷物Ｗを通過点に沿って所定の速度で自動的に搬送する自動搬送制御を行うことができる。

【0065】

制御装置２７は、画像処理装置２６からメインウインチ１３またはサブウインチ１５の操作信号を取得することができる。制御装置２７は、メインウインチ１３またはサブウインチ１５の操作信号に基づいて、メインウインチ１３またはサブウインチ１５の制御信号を生成する。制御装置２７は、生成した制御信号をクレーン装置６の各アクチュエータに送信することができる。制御装置２７は、自動搬送制御中に荷物Ｗの鉛直方向の位置を手動で変更することができる。

【0066】

このように構成されるクレーン１は、走行用操作具１８の操作によって車両２を任意の位置に移動させることができる。また、クレーン１は、クレーン装置用操作具１９の操作によって、ブーム９を旋回、起伏、伸縮させることで荷物Ｗを任意の位置に搬送することができる。また、クレーン１は、クレーン装置用操作具１９の操作によって、メインウインチ１３等で荷物Ｗを吊り上げたり吊り下げたりすることができる。一方、クレーン１は、撮影装置２０が撮影した画像Ｐに基づいて設定された通過点をブーム９の先端が通過するように制御する自動搬送制御を行うことができる。

【0067】

以下に、図４と図５とを用いて、画像処理装置２６による画像処理について説明する。なお、撮影装置２０が撮影する画像Ｐには、クレーン１とクレーン１の周囲の作業現場が含まれている。クレーン１は、荷物Ｗをサブウインチ１５によって所定の高さまで吊り上げた状態であるものとする。撮影装置２０の無人飛行体２１は、搬送開始前のブーム９の先端の上方でホバリングしているものとする（図３参照）。また、無人飛行体２１は、ブーム９が移動してもブーム９が移動する前のホバリング位置を維持するものとする。この際、画像処理装置２６は、自動的に検出、または操縦者によって指定された建造物等の目標物の画面上の位置が変動しないように揺れ補正を行っているものとする。

【0068】

画像処理装置２６は、通信機２５を介してカメラ２２が撮影したクレーン１の上方からの画像Ｐを単位時間毎に取得する（図４参照）。合わせて、画像処理装置２６は、制御装置２７からブーム９の姿勢情報を単位時間毎に取得する。画像処理装置２６は、取得した画像Ｐを表示装置２４に表示させる。

【0069】

画像処理装置２６は、カメラ２２が撮影した最新の画像Ｐからブーム９の先端部の画像である判定画像Ｉｊを検出する。画像処理装置２６には、様々なクレーン１のブーム先端部分の画像からＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて検出されたブーム９の先端部分の画像である基準画像Ｉｓが予め格納されている（図４参照）。

【0070】

画像処理装置２６は、基準画像Ｉｓに基づいてＣＮＮを用いた画像分類により、最新の画像Ｐからブーム９の先端部の画像である判定画像Ｉｊを検出する。画像処理装置２６は、検出した判定画像Ｉｊとブーム９の姿勢情報とから判定画像Ｉｊにおけるブーム９の軸線の方位Ｄと、前記軸線上のブーム９の先端の位置を画像Ｐの座標系で示した先端座標Ｂと、ブーム９の旋回中心を画像Ｐの座標系で示した旋回中心座標Ｃを算出する。

【0071】

具体的には、画像処理装置２６は、ブーム９の姿勢情報であるブーム９先端の幅、ブーム９の起伏角度およびブーム９の伸縮長さから、ブーム９を上方から撮影した画像Ｐの座標系におけるブーム９の先端から基端までの長さを算出する。画像処理装置２６は、算出した先端座標Ｂと軸線の方位Ｄとブーム９の先端から基端までの長さから旋回中心座標Ｃを算出する。これにより、画像処理装置２６は、先端座標Ｂ、旋回中心座標Ｃ、軸線の方位Ｄおよびブーム９の姿勢情報とから、画像Ｐの座標系を、ブーム９の旋回中心を原点としてクレーン１の車両２の前進方向をＹ軸方向とするクレーン座標系に変換することができる。画像処理装置２６は、画像Ｐの座標系における先端座標Ｂおよび旋回中心座標Ｃをクレーン座標系における変換先端座標Ｂｃおよび変換旋回中心座標Ｃｃに変換する。なお、本実施形態においてクレーン座標系は、直交座標としているが、極座標でもよい。

【0072】

操縦者は、ブーム９の先端を通過させる通過点を画像Ｐ上に入力する。操縦者は、通過点を複数の点の集合である線として入力する。つまり、操縦者は、ブーム９の先端の通過点をブーム９先端の軌跡線として、表示装置２４に表示されている画像Ｐ上を指でなぞるなどして入力する。操縦者は、画像Ｐに表示されているクレーン１のブーム９と、荷物Ｗの吊り上げ位置および荷物Ｗの設置位置との状況をクレーン１の上方から確認しながら通過点を設定する。これにより、操縦者は、作業現場内の建造物の配置を踏まえて障害物を避けた搬送経路を直感的に設定することができる。

【0073】

画像処理装置２６は、操縦者が表示装置２４の画面上から入力した軌跡線上において所定の間隔毎に通過点の座標である通過点座標Ｔ（１）、Ｔ（２）・・通過点座標Ｔ（ｎ）を算出する。次に、画像処理装置２６は、画像Ｐの座標系における変換通過点座標Ｔｃ（ｎ）に変換する。つまり、画像処理装置２６は、画像Ｐ上の位置を示す通過点座標Ｔ（ｎ）を作業現場における実際の位置を示す変換通過点座標Ｔｃ（ｎ）に変換する（図４参照）。画像処理装置２６は、変換した変換通過点座標Ｔｃ（ｎ）を制御装置２７に送信する。

【0074】

制御装置２７は、変換旋回中心座標Ｃｃと変換先端座標Ｂｃとに基づいて、ブーム９の先端を各変換通過点座標Ｔｃ（ｎ）に移動させるための各アクチュエータの作動量を変換通過点座標Ｔｃ（ｎ）毎に算出する。また、制御装置２７は、吊り下げられている荷物Ｗの鉛直方向の座標を維持するためのサブウインチ１５の作動量を算出する。

【0075】

制御装置２７は、画像処理装置２６を介して表示装置２４に表示されている自動搬送制御スイッチ２４ａの操作信号を取得すると、算出した各アクチュエータの作動量に基づいて各アクチュエータを制御する。これにより、クレーン１は、操縦者が入力した通過点（軌跡線）の変換通過点座標Ｔｃ（ｎ）に沿ってブーム９の先端が移動する（図５の２点鎖線図参照）。この際、制御装置２７は、サブフック１１ａの地面から鉛直方向の高さを維持するためにサブワイヤロープ１６を繰り出したり繰り入れたりする。制御装置２７は、サブウインチ１５を操作するウインチ用操作スイッチ２４ｂの操作信号を取得すると、操作信号に応じたサブウインチ１５の制御信号を生成する。制御装置２７は、荷物Ｗの鉛直方向の座標を維持する制御を解除してサブウインチ１５の操作スイッチの操作信号に基づいて荷物Ｗの鉛直方向の座標を変更する。

【0076】

以下に、図６を用いて、クレーン１の自動搬送制御のステップについて説明する。本実施形態において、撮影装置２０は、カメラ２２を備えた無人飛行体２１が所定の位置にホバリングしながら下方のクレーン１を撮影しているものとする。また、制御装置２７および画像処理装置２６は、ブーム９の姿勢情報を有しているものとする。

【0077】

図６に示すように、クレーン１における自動搬送制御のステップＳ１１０において、制御装置２７に含まれる画像処理装置２６は、カメラ２２が撮影したクレーン１を含む作業現場の最新の画像Ｐを取得する。画像処理装置２６は、ステップをステップＳ１２０に移行させる。

【0078】

ステップＳ１２０において、画像処理装置２６は、取得した最新の画像ＰからＣＮＮを用いた画像分類により、基準画像Ｉｓに基づいてブーム９の先端部の画像である判定画像Ｉｊを検出する。画像処理装置２６は、ステップをステップＳ１３０に移行させる。

【0079】

ステップＳ１３０において、画像処理装置２６は、検出した判定画像Ｉｊとブーム９の姿勢情報とから判定画像Ｉｊにおけるブーム９の軸線の方位Ｄと、前記軸線上のブーム９の先端の位置を画像Ｐの座標系で示した先端座標Ｂと、ブーム９の旋回中心を画像Ｐの座標系で示した旋回中心座標Ｃとを算出する。画像処理装置２６は、ステップをステップＳ１４０に移行させる。

【0080】

ステップＳ１４０において、画像処理装置２６は、ブーム９の姿勢情報と、先端座標Ｂと、旋回中心座標Ｃとから、画像Ｐの座標系をクレーン座標系に変換する変換式を算出する。画像処理装置２６は、ステップをＳ１５０に移行させる。

【0081】

ステップＳ１５０において、画像処理装置２６は、表示装置２４から入力された画面上の通過点の位置を画像Ｐの座標系で示した通過点座標Ｔ（ｎ）として算出する。画像処理装置２６は、ステップをＳ１６０に移行させる。

【0082】

ステップＳ１６０において、画像処理装置２６は、旋回中心座標Ｃ、先端座標Ｂおよび通過点座標Ｔ（ｎ）を算出した変換式によって変換旋回中心座標Ｃｃ、変換先端座標Ｂｃおよび変換通過点座標Ｔｃ（ｎ）に変換する。画像処理装置２６は、ステップをステップＳ１７０に移行させる。

【0083】

ステップＳ１７０において、制御装置２７は、自動搬送制御スイッチ２４ａの操作信号を取得するとブーム９の先端が所定の速度で変換通過点座標Ｔｃ（ｎ）を通過するように各アクチュエータを作動させる。制御装置２７は、ステップをステップＳ１８０に移行させる。

【0084】

ステップＳ１８０において、制御装置２７は、サブウインチ１５を操作するウインチ用操作スイッチ２４ｂの操作信号を取得したか否か判定する。
その結果、サブウインチ１５を操作するウインチ用操作スイッチ２４ｂの操作信号を取得した場合、制御装置２７はステップをステップＳ１９０に移行させる。
一方、サブウインチ１５を操作するウインチ用操作スイッチ２４ｂの操作信号を取得していない場合、制御装置２７はステップをステップＳ２００に移行させる。

【0085】

ステップＳ１９０において、制御装置２７は、サブウインチ１５をウインチ用操作スイッチ２４ｂの操作信号に基づいて作動させる。制御装置２７は、ステップをステップＳ２００に移行させる。

【0086】

ステップＳ２００において、制御装置２７は、ブーム９の先端が全ての変換通過点座標Ｔｃ（ｎ）を通過したか否か判定する。
その結果、ブーム９の先端が全ての変換通過点座標Ｔｃ（ｎ）を通過した場合、すなわち、荷物Ｗが目的位置まで搬送された場合、制御装置２７はステップを終了させる。
一方、ブーム９の先端が全ての変換通過点座標Ｔｃ（ｎ）を通過していない場合、制御装置２７はステップをステップＳ１８０に移行させる。

【0087】

このように構成することで、画像処理装置２６は、カメラ２２が撮影したクレーン１およびクレーン１の周囲を含む画像Ｐにおいて、予め取得しているブーム９の先端部の画像Ｐとの比較等により、クレーン１の旋回中心の座標とブーム９の先端の座標とを自動的に算出する。制御装置２７は、画像処理装置２６によってブーム９の旋回中心座標Ｃと先端座標Ｂとを算出することにより、画像Ｐの座標系をクレーン１の旋回中心を基準とするクレーン座標系に変換することができる。

【0088】

画像処理装置２６は、旋回中心座標Ｃを基準として画像Ｐ上で指定された通過点座標Ｔ（ｎ）の変換通過点座標Ｔｃ（ｎ）を容易に算出することができる。従って、クレーン１の操縦者は、画像Ｐ上でクレーン１の周囲の状況をリアルタイムで確認しながらブーム９の先端の通過点を画像Ｐ上で設定することができる。また、制御装置２７は、ブーム９の先端が所定の速度で通過点を通過するように各アクチュエータを制御する自動搬送制御を行う。この際、クレーン１は、ブーム９の先端が操縦者によって指示された通過点を通過するようにブーム９が起伏、伸縮されてもフックに吊られている荷物Ｗの鉛直方向の座標を維持する。従って、操縦者は、ブーム９の動きに合わせて荷物Ｗの鉛直方向の位置を制御する必要がない。これにより、操縦者は、クレーン１によって作業現場の状況をリアルタイムで把握しつつ、容易な操作で荷物Ｗを目的位置まで搬送することができる。

【0089】

次に、図７と図８とを用いて、本発明の第２実施形態に係るクレーン１Ａについて説明する。なお、以下の実施形態に係るクレーン１Ａは、図１から図１１に示すクレーン１が適用されるものとして、その説明で用いた名称、図番、符号を用いることで、同じものを指す。よって、以下の実施形態において、既に説明した実施形態と同様の点に関してはその具体的説明を省略し、相違する部分を中心に説明する。

【0090】

図７に示すように、クレーン１Ａは、任意の場所に移動可能な移動式クレーンである。クレーン１Ａは、車両２、クレーン装置６、撮影装置２０、表示装置２４、第１ＧＮＳＳ受信機２８、方位センサ２９、第２ＧＮＳＳ受信機３０、通信機２５、画像処理装置２６、制御装置２７を有する。

【0091】

第１ＧＮＳＳ受信機２８は、全球測位衛星システム（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）を構成する受信機である。第１ＧＮＳＳ受信機２８は、衛星から測距電波を受信し、受信機の絶対座標である緯度、経度、標高を算出するものである。第１ＧＮＳＳ受信機２８は、ブーム９の旋回中心に設けられている。クレーン１Ａは、第１ＧＮＳＳ受信機２８によって、ブーム９の旋回中心の絶対座標を取得することができる。

【0092】

方位センサ２９は、方位を検出するものである。方位センサ２９は、ＭＲセンサ、ＭＩセンサ等の地磁気センサ、２つのアンテナを有するＧＮＳＳ受信機等から構成される。方位センサ２９は、ブーム９の延伸方向の方位を検出する。方位センサ２９は、ブーム９の旋回中心に設けられている。方位センサ２９は、第１ＧＮＳＳ受信機２８が兼用する構成でもよい。

【0093】

第２ＧＮＳＳ受信機３０は、全球測位衛星システム（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）を構成する受信機である。第２ＧＮＳＳ受信機３０は、衛星から測距電波を受信し、受信機の絶対座標である緯度、経度、標高を算出するものである。第２ＧＮＳＳ受信機３０は、撮影装置２０の無人飛行体２１に設けられている。第２ＧＮＳＳ受信機３０は、算出した絶対座標をクレーン１Ａは、第２ＧＮＳＳ受信機３０によって、無人飛行体２１に設けられているカメラ２２の絶対座標を取得することができる。

【0094】

通信機２５は、第１ＧＮＳＳ受信機２８が算出した絶対座標を受信することができる。通信機２５は、第２ＧＮＳＳ受信機３０が算出した絶対座標を受信することができる。

【0095】

図８に示すように、画像処理装置２６は、カメラ２２が撮影した画像Ｐを処理する。画像処理装置２６は、第１ＧＮＳＳ受信機２８が受信した旋回中心の絶対座標である絶対旋回中心座標Ｃａと、方位センサ２９が算出したブーム９の延伸方向の方位Ｄと、第２ＧＮＳＳ受信機３０が受信したカメラ２２の絶対座標である絶対カメラ座標Ｉａと、ブーム９の姿勢情報とから画像Ｐの座標系を絶対座標系に変換する変換式を算出することができる。画像処理装置２６は、変換式を用いてブーム９の先端の絶対座標である絶対先端座標Ｂａとを算出することができる。また、画像処理装置２６は、変換式を用いて表示装置２４に入力されたブーム９の先端の通過点の通過点座標Ｔ（ｎ）から絶対通過点座標Ｔａ（ｎ）を算出することができる。画像処理装置２６は、算出した絶対通過点座標Ｔａ（ｎ）を、制御装置２７に送信する。

【0096】

以下に、図９を用いて、画像処理装置２６による画像処理について説明する。なお、撮影装置２０が撮影する画像Ｐには、クレーン１Ａとクレーン１Ａの周囲の作業現場が含まれている。クレーン１Ａは、荷物Ｗをサブウインチ１５によって所定の高さまで吊り上げた状態であるものとする。撮影装置２０の無人飛行体２１は、搬送開始前のブーム９の先端の上方でホバリングしているものとする。また、無人飛行体２１は、ブーム９が移動してもホバリング位置を維持するものとする。この際、画像処理装置２６は、自動的または操縦者によって指定された建造物等の目標物の画面上の位置が変動しないように揺れ補正を行っているものとする。

【0097】

クレーン１Ａの画像処理装置２６は、通信機２５を介してカメラ２２が撮影したクレーン１Ａの上方からの画像Ｐを単位時間毎に取得する。合わせて、画像処理装置２６は、制御装置２７からブーム９の姿勢情報を単位時間毎に取得する。画像処理装置２６は、取得した画像Ｐを表示装置２４に表示させる。

【0098】

画像処理装置２６は、第１ＧＮＳＳ受信機２８から絶対旋回中心座標Ｃａを取得し、方位センサ２９からブーム９の延伸方向の方位Ｄを取得し、第２ＧＮＳＳ受信機３０から絶対カメラ座標Ｉａを取得する。画像処理装置２６は、絶対カメラ座標Ｉａと絶対旋回中心座標Ｃａとの位置関係に基づいて、絶対旋回中心座標Ｃａとブーム９の延伸方向の方位Ｄとブーム９の姿勢情報とから絶対先端座標Ｂａを算出する。また、画像処理装置２６は、絶対カメラ座標Ｉａと、カメラ２２の画角情報とに基づいて、画像Ｐの座標系における座標を絶対座標に変換する変換式を算出する。

【0099】

画像処理装置２６は、操縦者が表示装置２４の画面上から入力した複数の通過点の座標である通過点座標Ｔ（ｎ）を算出する。画像処理装置２６は、絶対カメラ座標Ｉａと、カメラ２２の画角情報とに基づいて算出した関係式によって、算出した通過点座標Ｔ（ｎ）から絶対通過点座標Ｔａ（ｎ）を算出する。つまり、画像処理装置２６は、画像Ｐ上の位置を示す通過点座標Ｔ（ｎ）から作業現場における実際の位置を絶対座標で示す絶対通過点座標Ｔａ（ｎ）を算出する。画像処理装置２６は、算出した絶対通過点座標Ｔａ（ｎ）を制御装置２７に送信する。

【0100】

制御装置２７は、取得した複数の絶対通過点座標Ｔａ（ｎ）と絶対先端座標Ｂａとからブーム９の先端を各絶対通過点座標Ｔａ（ｎ）に移動させるための各アクチュエータの作動量を絶対通過点座標Ｔａ（ｎ）毎に算出する。また、制御装置２７は、吊り下げられている荷物Ｗの鉛直方向の座標を維持するためのサブウインチ１５の作動量を算出する。

【0101】

以下に、図１０を用いて、クレーン１Ａの自動搬送制御について説明する。本実施形態において、撮影装置２０は、カメラ２２を備えた無人飛行体２１が所定の位置にホバリングしながら下方のクレーン１Ａを撮影しているものとする。また、制御装置２７および画像処理装置２６は、ブーム９の姿勢情報を有しているものとする。

【0102】

図１０に示すように、クレーン１Ａにおける自動搬送制御のステップＳ１１０において、制御装置２７に含まれる画像処理装置２６は、カメラ２２が撮影した最新の画像Ｐを取得する。画像処理装置２６は、ステップをステップＳ２２０に移行させる。

【0103】

ステップＳ２２０において、画像処理装置２６は、第１ＧＮＳＳ受信機２８から絶対旋回中心座標Ｃａを取得し、方位センサ２９から延伸方向の方位Ｄを取得し、第２ＧＮＳＳ受信機３０から絶対カメラ座標Ｉａを取得する。画像処理装置２６は、ステップをステップＳ２３０に移行させる。

【0104】

ステップＳ２３０において、画像処理装置２６は、絶対カメラ座標Ｉａと絶対旋回中心座標Ｃａの位置関係に基づいて、絶対旋回中心座標Ｃａとブーム９の延伸方向の方位Ｄとブーム９の姿勢情報とから絶対先端座標Ｂａを算出する。画像処理装置２６は、ステップをステップＳ２４０に移行させる。

【0105】

ステップＳ２４０において、画像処理装置２６は、絶対カメラ座標Ｉａと、カメラ２２の画角情報とに基づいて、画像Ｐの座標系における座標を絶対座標に変換する変換式を算出する。画像処理装置２６は、ステップをステップＳ１４０に移行させる。

【0106】

ステップＳ１５０において、画像処理装置２６は、表示装置２４から入力された通過点の位置を画像Ｐの座標系で示した通過点座標Ｔ（ｎ）として算出する。画像処理装置２６は、ステップをＳ２６０に移行させる。

【0107】

ステップＳ２６０において、画像処理装置２６は、画像Ｐの座標系における座標を絶対座標に変換する変換式によって通過点座標Ｔ（ｎ）から絶対通過点座標Ｔａ（ｎ）を算出する。画像処理装置２６は、ステップをＳ１７０に移行させる。

【0108】

ステップＳ３００において、制御装置２７は、ブーム９の先端が全ての絶対通過点座標Ｔａ（ｎ）を通過したか否か判定する。
その結果、ブーム９の先端が全ての絶対通過点座標Ｔａ（ｎ）を通過した場合、すなわち、荷物Ｗが目的位置まで搬送された場合、制御装置２７はステップを終了させる。
一方、ブーム９の先端が全ての絶対通過点座標Ｔａ（ｎ）を通過していない場合、制御装置２７はステップをステップＳ１８０に移行させる。

【0109】

このように構成することで、制御装置２７は、ブーム９の絶対旋回中心座標Ｃａとブーム９の延伸方向の方位Ｄと絶対カメラ座標Ｉａと、カメラ２２の画角情報と、ブーム９の姿勢情報とから、絶対先端座標Ｂａを算出する。また、制御装置２７は、絶対カメラ座標Ｉａとカメラ２２の画角情報とに基づいて画像Ｐの座標系における座標を絶対座標に変換する変換式を算出する。これにより、画像Ｐの座標系を絶対座標系に変換することができる。

【0110】

従って、クレーン１Ａの操縦者は、画像Ｐ上でクレーン１Ａの周囲の状況をリアルタイムで確認しながらブーム９の先端の通過点を画像Ｐ上で設定することができる。また、制御装置２７は、ブーム９の先端が通過点を通過するように各アクチュエータを制御する自動搬送制御を行う。これにより、操縦者は、クレーン１Ａによって作業現場の状況をリアルタイムで把握しつつ、容易な操作で荷物Ｗを目的位置まで搬送することができる。

【0111】

なお、上述の各実施形態において、クレーン１、１Ａは、荷物Ｗと建造物等の障害物との接触を監視する障害物撮影装置３１を更に備えていてもよい。
図１１に示すように、本発明の第２実施形態の他の実施形態として、クレーン１Aは、障害物用無人飛行体３２と、障害物用カメラ３３とを含む障害物撮影装置３１を備える。

【0112】

障害物用無人飛行体３２は、制御信号によって遠隔操作および自立飛行可能な自立型無人飛行体（ドローン）である。障害物用無人飛行体３２は、例えば、複数のプロペラを有するマルチコプターである。障害物用無人飛行体３２は、遠隔操作端末２３と制御信号等を送受信可能に構成されている。これにより、障害物用無人飛行体３２は、遠隔操作端末２３によって任意の位置に移動可能に構成されている。

【0113】

障害物用カメラ３３は、障害物用無人飛行体３２に設けられている。障害物用カメラ３３は、障害物用無人飛行体３２から任意の方向を撮影可能に構成されている。障害物用カメラ３３は、遠隔操作端末２３からの制御信号等を取得可能に構成されている。また、障害物用カメラ３３は、撮影した画像データを画像処理装置２６に送信可能に構成されている。これにより、障害物用カメラ３３は、遠隔操作端末２３によって、撮影の開始、停止、撮影方向の決定、ズーム等の操作を行うことができる。

【0114】

自動搬送制御が開始されると、制御装置２７は、荷物Ｗと荷物Ｗの周辺を撮影可能な位置を維持しつつ荷物Ｗに追従するように障害物用無人飛行体３２を制御する。制御装置２７は、サブウインチ１５を操作する操作スイッチの操作信号を取得すると、操作信号に応じたサブウインチ１５の制御信号を生成する。制御装置２７は、荷物Ｗの吊り下げ位置を維持する制御を解除してサブウインチ１５の操作スイッチの操作信号に基づいて荷物Ｗの吊り下げ位置を変更する。同時に、制御装置２７は、荷物Ｗの吊り下げ位置に追従するように障害物用無人飛行体３２を自動的に制御する。制御装置２７は、障害物用カメラ３３によって荷物Ｗと荷物Ｗの周辺の画像Ｐを取得する。

【0115】

障害物撮影装置３１を備えるクレーン１Ａの操縦者は、自動搬送制御時に荷物Ｗの鉛直方向の位置を変更する場合、障害物撮影装置３１からの画像Ｐを確認しながら荷物Ｗの鉛直方向の位置を調整することができる。また、障害物撮影装置３１を備えるクレーン１Ａの操縦者は、遠隔操作端末２３から障害物用無人飛行体３２を任意の位置に移動させることができる。これにより、操縦者は、クレーン１Ａによって作業現場の状況をリアルタイムで把握しつつ、容易な操作で荷物Ｗを目的位置まで搬送することができる。

【0116】

なお、上述の各実施形態において、クレーン１、１Ａの制御装置２７は、自動搬送制御時にブーム９の先端が通過点を全て通過するとブーム９を停止させる。しかしながら、制御装置２７は、操縦者による停止信号を取得するとブーム９の移動を停止させる構成でもよい。

【0117】

上述の実施形態は、代表的な形態を示したに過ぎず、一実施形態の骨子を逸脱しない範囲で種々変形して実施することができる。さらに種々なる形態で実施し得ることは勿論のことであり、本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲に記載の均等の意味、および範囲内のすべての変更を含む。

【符号の説明】

【0118】

１ 移動式クレーン
９ ブーム
２０ 撮影装置
２４ 表示装置
２１ 無人飛行体
２２ カメラ
２６ 画像処理装置
２７ 制御装置
Ｐ 画像
Ｃ 旋回中心座標
Ｂ 先端座標
Ｔ（ｎ） 通過点座標

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】