知財求人 - 知財ポータルサイト「IP Force」
特開2023-120017クレーンのブーム自動化装置、クレーンのブーム制御方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023120017
(43)【公開日】2023-08-29
(54)【発明の名称】クレーンのブーム自動化装置、クレーンのブーム制御方法およびプログラム
(51)【国際特許分類】
B66C 13/48 20060101AFI20230822BHJP
B66C 13/22 20060101ALI20230822BHJP
【ＦＩ】
B66C13/48 G
B66C13/22 V
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2022023179
(22)【出願日】2022-02-17
(71)【出願人】
【識別番号】000148759
【氏名又は名称】株式会社タダノ
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100131152
【弁理士】
【氏名又は名称】八島 耕司
(74)【代理人】
【識別番号】100145229
【弁理士】
【氏名又は名称】秋山 雅則
(74)【代理人】
【識別番号】100201352
【弁理士】
【氏名又は名称】豊田 朝子
(72)【発明者】
【氏名】オソシニスキ マレク
【テーマコード（参考）】
3F204
【Ｆターム（参考）】
3F204AA04
3F204BA02
3F204CA01
3F204DB09
3F204DC08
(57)【要約】
【課題】簡易な演算で、ブームヘッドをクレーンの吊り上げ対象物の上へ移動させることができるクレーンのブーム自動化装置、クレーンのブーム制御方法およびプログラムを提供する。
【解決手段】ブーム自動化装置１は、撮像装置１０Ｒ、１０Ｌと、撮像装置１０Ｒ、１０Ｌが撮像した全方位画像で、クレーンが吊り上げる対象物を識別し、画像内位置を求める識別部２５と、ブームヘッドの支持体に対する位置と、撮像装置１０Ｒ、１０Ｌのブームヘッドに対する位置とに基づいて、全方位画像内での水平面を示す水平ラインの位置と、全方位画像内での左右方向に垂直な鉛直面を示す鉛直ラインの位置とを求め、識別部２５が求めた対象物の画像内位置が水平ラインの位置よりも上にある場合に、ブームを起こし、識別部２５が求めた対象物の画像内位置が水平ラインの位置以下かつ鉛直ラインの位置よりも上にある場合に、ブームを旋回させる制御部２６と、を備える。
【選択図】図４
【解決手段】ブーム自動化装置１は、撮像装置１０Ｒ、１０Ｌと、撮像装置１０Ｒ、１０Ｌが撮像した全方位画像で、クレーンが吊り上げる対象物を識別し、画像内位置を求める識別部２５と、ブームヘッドの支持体に対する位置と、撮像装置１０Ｒ、１０Ｌのブームヘッドに対する位置とに基づいて、全方位画像内での水平面を示す水平ラインの位置と、全方位画像内での左右方向に垂直な鉛直面を示す鉛直ラインの位置とを求め、識別部２５が求めた対象物の画像内位置が水平ラインの位置よりも上にある場合に、ブームを起こし、識別部２５が求めた対象物の画像内位置が水平ラインの位置以下かつ鉛直ラインの位置よりも上にある場合に、ブームを旋回させる制御部２６と、を備える。
【選択図】図４
【特許請求の範囲】
【請求項1】
支持体に対して旋回可能な旋回体と、該旋回体に設けられ、該旋回体に対して起伏可能なブームとを備えるクレーンのブーム自動化装置であって、
前記ブームが備えるブームヘッドに設けられ、前記ブームヘッドの前後方向、左右方向および上下方向を含む全方位を視野とする、全方位画像を撮像する全方位カメラ部と、
前記全方位カメラ部が撮像した前記全方位画像で、前記クレーンが吊り上げる対象物を識別し、識別された前記対象物の画像内位置を求める識別部と、
前記ブームヘッドの前記支持体に対する位置と、前記全方位カメラ部の前記ブームヘッドに対する位置とに基づいて、前記全方位カメラ部が撮像した前記全方位画像内での水平面を示す水平ラインの位置と、前記全方位画像内での左右方向に垂直な鉛直面を示す鉛直ラインの位置とを求め、前記識別部が求めた前記対象物の前記画像内位置が前記水平ラインの位置よりも上にある場合に、前記ブームを起こし、前記識別部が求めた前記対象物の前記画像内位置が前記水平ラインの位置以下かつ前記鉛直ラインの位置よりも上にある場合に、前記ブームを旋回させる制御部と、
を備えるクレーンのブーム自動化装置。
前記ブームが備えるブームヘッドに設けられ、前記ブームヘッドの前後方向、左右方向および上下方向を含む全方位を視野とする、全方位画像を撮像する全方位カメラ部と、
前記全方位カメラ部が撮像した前記全方位画像で、前記クレーンが吊り上げる対象物を識別し、識別された前記対象物の画像内位置を求める識別部と、
前記ブームヘッドの前記支持体に対する位置と、前記全方位カメラ部の前記ブームヘッドに対する位置とに基づいて、前記全方位カメラ部が撮像した前記全方位画像内での水平面を示す水平ラインの位置と、前記全方位画像内での左右方向に垂直な鉛直面を示す鉛直ラインの位置とを求め、前記識別部が求めた前記対象物の前記画像内位置が前記水平ラインの位置よりも上にある場合に、前記ブームを起こし、前記識別部が求めた前記対象物の前記画像内位置が前記水平ラインの位置以下かつ前記鉛直ラインの位置よりも上にある場合に、前記ブームを旋回させる制御部と、
を備えるクレーンのブーム自動化装置。
【請求項2】
前記全方位カメラ部は、
前記ブームヘッドの右側面に設けられ、前記ブームヘッドの右を撮像する右側半天球カメラと、
前記ブームヘッドの左側面に設けられ、前記ブームヘッドの左を撮像する左側半天球カメラと、
を備え、
前記右側半天球カメラが撮像した右側画像部と前記左側半天球カメラが撮像した左側画像部とから前記全方位画像を生成する、
請求項１に記載のクレーンのブーム自動化装置。
前記ブームヘッドの右側面に設けられ、前記ブームヘッドの右を撮像する右側半天球カメラと、
前記ブームヘッドの左側面に設けられ、前記ブームヘッドの左を撮像する左側半天球カメラと、
を備え、
前記右側半天球カメラが撮像した右側画像部と前記左側半天球カメラが撮像した左側画像部とから前記全方位画像を生成する、
請求項１に記載のクレーンのブーム自動化装置。
【請求項3】
前記制御部は、前記識別部が求めた前記対象物の前記画像内での位置が前記水平ラインの位置よりも下かつ前記鉛直ラインの位置よりも上にある場合かつ、前記右側半天球カメラが撮像した右側画像部に位置する場合に、前記ブームを右に旋回させ、前記識別部が求めた前記対象物の前記画像内での位置が前記水平ラインの位置よりも下かつ前記鉛直ラインの位置よりも上にある場合かつ、前記左側半天球カメラが撮像した左側画像部に位置する場合に、前記ブームを左に旋回させる、
請求項２に記載のクレーンのブーム自動化装置。
請求項２に記載のクレーンのブーム自動化装置。
【請求項4】
前記ブームは、伸縮可能であり、
前記制御部は、前記ブームヘッドの前記支持体に対する位置と、前記全方位カメラ部の前記ブームヘッドに対する位置とに基づいて、前記全方位カメラ部が撮像した前記全方位画像内での前後方向に垂直な左右平面を示す左右ラインの位置を求め、前記識別部が求めた前記対象物の前記画像内位置が前記左右ラインの位置よりも前にある場合に、前記ブームを伸ばし、前記識別部が求めた前記対象物の前記画像内位置が前記左右ラインの位置よりも後ろにある場合に、前記ブームを縮める、
請求項１から３のいずれか１項に記載のクレーンのブーム自動化装置。
前記制御部は、前記ブームヘッドの前記支持体に対する位置と、前記全方位カメラ部の前記ブームヘッドに対する位置とに基づいて、前記全方位カメラ部が撮像した前記全方位画像内での前後方向に垂直な左右平面を示す左右ラインの位置を求め、前記識別部が求めた前記対象物の前記画像内位置が前記左右ラインの位置よりも前にある場合に、前記ブームを伸ばし、前記識別部が求めた前記対象物の前記画像内位置が前記左右ラインの位置よりも後ろにある場合に、前記ブームを縮める、
請求項１から３のいずれか１項に記載のクレーンのブーム自動化装置。
【請求項5】
支持体に対して旋回可能な旋回体と、該旋回体に設けられ、該旋回体に対して起伏可能なブームとを備えるクレーンのブーム制御方法であって、
前記ブームが備えるブームヘッドに設けられ、前記ブームヘッドの前後方向、左右方向および上下方向を含む全方位を視野とする、全方位画像を撮像する全方位カメラ部が撮像した前記全方位画像で、前記クレーンが吊り上げる対象物を識別し、識別された前記対象物の画像内位置を求めるステップと、
前記ブームヘッドの前記支持体に対する位置と、前記全方位カメラ部の前記ブームヘッドに対する位置とに基づいて、前記全方位カメラ部が撮像した前記全方位画像内での水平面を示す水平ラインの位置と、前記全方位画像内での左右方向に垂直な鉛直面を示す鉛直ラインの位置とを求め、前記対象物の画像内位置を求めるステップで求めた前記対象物の前記画像内位置が前記水平ラインの位置よりも上にある場合に、前記ブームを起こし、前記対象物の画像内位置を求めるステップで求めた前記対象物の前記画像内位置が前記水平ラインの位置以下かつ前記鉛直ラインの位置よりも上にある場合に、前記ブームを旋回させるステップと、
を備えるクレーンのブーム制御方法。
前記ブームが備えるブームヘッドに設けられ、前記ブームヘッドの前後方向、左右方向および上下方向を含む全方位を視野とする、全方位画像を撮像する全方位カメラ部が撮像した前記全方位画像で、前記クレーンが吊り上げる対象物を識別し、識別された前記対象物の画像内位置を求めるステップと、
前記ブームヘッドの前記支持体に対する位置と、前記全方位カメラ部の前記ブームヘッドに対する位置とに基づいて、前記全方位カメラ部が撮像した前記全方位画像内での水平面を示す水平ラインの位置と、前記全方位画像内での左右方向に垂直な鉛直面を示す鉛直ラインの位置とを求め、前記対象物の画像内位置を求めるステップで求めた前記対象物の前記画像内位置が前記水平ラインの位置よりも上にある場合に、前記ブームを起こし、前記対象物の画像内位置を求めるステップで求めた前記対象物の前記画像内位置が前記水平ラインの位置以下かつ前記鉛直ラインの位置よりも上にある場合に、前記ブームを旋回させるステップと、
を備えるクレーンのブーム制御方法。
【請求項6】
支持体に対して旋回可能な旋回体と、該旋回体に設けられ、該旋回体に対して起伏可能なブームとを備えるクレーンの前記ブームを制御するためのプログラムであって、
コンピュータに、
前記ブームが備えるブームヘッドに設けられ、前記ブームヘッドの前後方向、左右方向および上下方向を含む全方位を視野とする、全方位画像を撮像する全方位カメラ部が撮像した前記全方位画像で、前記クレーンが吊り上げる対象物を識別し、識別された前記対象物の画像内位置を求めるステップと、
前記ブームヘッドの前記支持体に対する位置と、前記全方位カメラ部の前記ブームヘッドに対する位置とに基づいて、前記全方位カメラ部が撮像した前記全方位画像内での水平面を示す水平ラインの位置と、前記全方位画像内での左右方向に垂直な鉛直面を示す鉛直ラインの位置とを求め、前記対象物の画像内位置を求めるステップで求めた前記対象物の前記画像内位置が前記水平ラインの位置よりも上にある場合に、前記ブームを起こし、前記対象物の画像内位置を求めるステップで求めた前記対象物の前記画像内位置が前記水平ラインの位置以下かつ前記鉛直ラインの位置よりも上にある場合に、前記ブームを旋回させるステップと、
を実行させるためのプログラム。
コンピュータに、
前記ブームが備えるブームヘッドに設けられ、前記ブームヘッドの前後方向、左右方向および上下方向を含む全方位を視野とする、全方位画像を撮像する全方位カメラ部が撮像した前記全方位画像で、前記クレーンが吊り上げる対象物を識別し、識別された前記対象物の画像内位置を求めるステップと、
前記ブームヘッドの前記支持体に対する位置と、前記全方位カメラ部の前記ブームヘッドに対する位置とに基づいて、前記全方位カメラ部が撮像した前記全方位画像内での水平面を示す水平ラインの位置と、前記全方位画像内での左右方向に垂直な鉛直面を示す鉛直ラインの位置とを求め、前記対象物の画像内位置を求めるステップで求めた前記対象物の前記画像内位置が前記水平ラインの位置よりも上にある場合に、前記ブームを起こし、前記対象物の画像内位置を求めるステップで求めた前記対象物の前記画像内位置が前記水平ラインの位置以下かつ前記鉛直ラインの位置よりも上にある場合に、前記ブームを旋回させるステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はクレーンのブーム自動化装置、クレーンのブーム制御方法およびプログラムに関する。
【背景技術】
【0002】
クレーンでは、荷振れを防止するため、ブームヘッドにカメラが設けられ、そのカメラが撮像する画像が、例えば、ブームの起伏、旋回等の操作に用いられることがある。
【0003】
このようなカメラが撮像する画像を用いて機械を制御することをビジュアルサーボというが、このビジュアルサーボは、様々な分野で開発が進められている。
【0004】
例えば、特許文献１には、内視鏡を備える手術用ロボットと、内視鏡に接続されたカメラと、カメラが撮像した画像を用いて手術用ロボットを制御するコントローラと、を備えるロボットシステムが開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】国際公開第２０１１／０８３３７４号
【発明の概要】
【発明が解決しようとする課題】
【0006】
クレーンでは、ブームヘッドを吊り上げ対象物の上に移動させて吊り上げ対象物を吊り上げるため、旋回体を旋回させたり、ブームを起伏、伸縮させたりすることが行われている。このようなブームヘッドを吊り上げ対象物の上に移動させるための操作を、クレーンそれ自体が自律的に行うため、特許文献１に記載のロボットシステムの技術をクレーンに適用することが考えられる。
【0007】
しかし、特許文献１に記載のロボットシステムでは、ビデオフレームそれぞれで特定の特徴を抽出して目標ポイントを決定し、その目標ポイントの軌跡ベクトルをマッピングする。このため、その演算が複雑である。その結果、特許文献１に記載のロボットシステムの技術を適用して、クレーンの吊り上げ対象物の上へブームヘッドを移動させることは容易でない。
【0008】
本発明は上記の課題を解決するためになされたもので、簡易な演算で、ブームヘッドをクレーンの吊り上げ対象物の上へ移動させることができるクレーンのブーム自動化装置、クレーンのブーム制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上記の目的を達成するため、本発明の第一の観点に係るクレーンのブーム自動化装置は、
支持体に対して旋回可能な旋回体と、該旋回体に設けられ、該旋回体に対して起伏可能なブームとを備えるクレーンのブーム自動化装置であって、
前記ブームが備えるブームヘッドに設けられ、前記ブームヘッドの前後方向、左右方向および上下方向を含む全方位を視野とする、全方位画像を撮像する全方位カメラ部と、
前記全方位カメラ部が撮像した前記全方位画像で、前記クレーンが吊り上げる対象物を識別し、識別された前記対象物の画像内位置を求める識別部と、
前記ブームヘッドの前記支持体に対する位置と、前記全方位カメラ部の前記ブームヘッドに対する位置とに基づいて、前記全方位カメラ部が撮像した前記全方位画像内での水平面を示す水平ラインの位置と、前記全方位画像内での左右方向に垂直な鉛直面を示す鉛直ラインの位置とを求め、前記識別部が求めた前記対象物の前記画像内位置が前記水平ラインの位置よりも上にある場合に、前記ブームを起こし、前記識別部が求めた前記対象物の前記画像内位置が前記水平ラインの位置以下かつ前記鉛直ラインの位置よりも上にある場合に、前記ブームを旋回させる制御部と、
を備えることを特徴とする。
支持体に対して旋回可能な旋回体と、該旋回体に設けられ、該旋回体に対して起伏可能なブームとを備えるクレーンのブーム自動化装置であって、
前記ブームが備えるブームヘッドに設けられ、前記ブームヘッドの前後方向、左右方向および上下方向を含む全方位を視野とする、全方位画像を撮像する全方位カメラ部と、
前記全方位カメラ部が撮像した前記全方位画像で、前記クレーンが吊り上げる対象物を識別し、識別された前記対象物の画像内位置を求める識別部と、
前記ブームヘッドの前記支持体に対する位置と、前記全方位カメラ部の前記ブームヘッドに対する位置とに基づいて、前記全方位カメラ部が撮像した前記全方位画像内での水平面を示す水平ラインの位置と、前記全方位画像内での左右方向に垂直な鉛直面を示す鉛直ラインの位置とを求め、前記識別部が求めた前記対象物の前記画像内位置が前記水平ラインの位置よりも上にある場合に、前記ブームを起こし、前記識別部が求めた前記対象物の前記画像内位置が前記水平ラインの位置以下かつ前記鉛直ラインの位置よりも上にある場合に、前記ブームを旋回させる制御部と、
を備えることを特徴とする。
【0010】
前記全方位カメラ部は、
前記ブームヘッドの右側面に設けられ、前記ブームヘッドの右を撮像する右側半天球カメラと、
前記ブームヘッドの左側面に設けられ、前記ブームヘッドの左を撮像する左側半天球カメラと、
を備え、
前記右側半天球カメラが撮像した右側画像部と前記左側半天球カメラが撮像した左側画像部とから前記全方位画像を生成してもよい。
前記ブームヘッドの右側面に設けられ、前記ブームヘッドの右を撮像する右側半天球カメラと、
前記ブームヘッドの左側面に設けられ、前記ブームヘッドの左を撮像する左側半天球カメラと、
を備え、
前記右側半天球カメラが撮像した右側画像部と前記左側半天球カメラが撮像した左側画像部とから前記全方位画像を生成してもよい。
【0011】
また、前記制御部は、前記識別部が求めた前記対象物の前記画像内での位置が前記水平ラインの位置よりも下かつ前記鉛直ラインの位置よりも上にある場合かつ、前記右側半天球カメラが撮像した右側画像部に位置する場合に、前記ブームを右に旋回させ、前記識別部が求めた前記対象物の前記画像内での位置が前記水平ラインの位置よりも下かつ前記鉛直ラインの位置よりも上にある場合かつ、前記左側半天球カメラが撮像した左側画像部に位置する場合に、前記ブームを左に旋回させてもよい。
【0012】
前記ブームは、伸縮可能であり、
前記制御部は、前記ブームヘッドの前記支持体に対する位置と、前記全方位カメラ部の前記ブームヘッドに対する位置とに基づいて、前記全方位カメラ部が撮像した前記全方位画像内での前後方向に垂直な左右平面を示す左右ラインの位置を求め、前記識別部が求めた前記対象物の前記画像内位置が前記左右ラインの位置よりも前にある場合に、前記ブームを伸ばし、前記識別部が求めた前記対象物の前記画像内位置が前記左右ラインの位置よりも後ろにある場合に、前記ブームを縮めてもよい。
前記制御部は、前記ブームヘッドの前記支持体に対する位置と、前記全方位カメラ部の前記ブームヘッドに対する位置とに基づいて、前記全方位カメラ部が撮像した前記全方位画像内での前後方向に垂直な左右平面を示す左右ラインの位置を求め、前記識別部が求めた前記対象物の前記画像内位置が前記左右ラインの位置よりも前にある場合に、前記ブームを伸ばし、前記識別部が求めた前記対象物の前記画像内位置が前記左右ラインの位置よりも後ろにある場合に、前記ブームを縮めてもよい。
【0013】
本発明の第二の観点に係るクレーンのブーム制御方法は、
支持体に対して旋回可能な旋回体と、該旋回体に設けられ、該旋回体に対して起伏可能なブームとを備えるクレーンのブーム制御方法であって、
前記ブームが備えるブームヘッドに設けられ、前記ブームヘッドの前後方向、左右方向および上下方向を含む全方位を視野とする、全方位画像を撮像する全方位カメラ部が撮像した前記全方位画像で、前記クレーンが吊り上げる対象物を識別し、識別された前記対象物の画像内位置を求めるステップと、
前記ブームヘッドの前記支持体に対する位置と、前記全方位カメラ部の前記ブームヘッドに対する位置とに基づいて、前記全方位カメラ部が撮像した前記全方位画像内での水平面を示す水平ラインの位置と、前記全方位画像内での左右方向に垂直な鉛直面を示す鉛直ラインの位置とを求め、前記対象物の画像内位置を求めるステップで求めた前記対象物の前記画像内位置が前記水平ラインの位置よりも上にある場合に、前記ブームを起こし、前記対象物の画像内位置を求めるステップで求めた前記対象物の前記画像内位置が前記水平ラインの位置以下かつ前記鉛直ラインの位置よりも上にある場合に、前記ブームを旋回させるステップと、
を備えることを特徴とする。
支持体に対して旋回可能な旋回体と、該旋回体に設けられ、該旋回体に対して起伏可能なブームとを備えるクレーンのブーム制御方法であって、
前記ブームが備えるブームヘッドに設けられ、前記ブームヘッドの前後方向、左右方向および上下方向を含む全方位を視野とする、全方位画像を撮像する全方位カメラ部が撮像した前記全方位画像で、前記クレーンが吊り上げる対象物を識別し、識別された前記対象物の画像内位置を求めるステップと、
前記ブームヘッドの前記支持体に対する位置と、前記全方位カメラ部の前記ブームヘッドに対する位置とに基づいて、前記全方位カメラ部が撮像した前記全方位画像内での水平面を示す水平ラインの位置と、前記全方位画像内での左右方向に垂直な鉛直面を示す鉛直ラインの位置とを求め、前記対象物の画像内位置を求めるステップで求めた前記対象物の前記画像内位置が前記水平ラインの位置よりも上にある場合に、前記ブームを起こし、前記対象物の画像内位置を求めるステップで求めた前記対象物の前記画像内位置が前記水平ラインの位置以下かつ前記鉛直ラインの位置よりも上にある場合に、前記ブームを旋回させるステップと、
を備えることを特徴とする。
【0014】
本発明の第三の観点に係るプログラムは、
支持体に対して旋回可能な旋回体と、該旋回体に設けられ、該旋回体に対して起伏可能なブームとを備えるクレーンの前記ブームを制御するためのプログラムであって、
コンピュータに、
前記ブームが備えるブームヘッドに設けられ、前記ブームヘッドの前後方向、左右方向および上下方向を含む全方位を視野とする、全方位画像を撮像する全方位カメラ部が撮像した前記全方位画像で、前記クレーンが吊り上げる対象物を識別し、識別された前記対象物の画像内位置を求めるステップと、
前記ブームヘッドの前記支持体に対する位置と、前記全方位カメラ部の前記ブームヘッドに対する位置とに基づいて、前記全方位カメラ部が撮像した前記全方位画像内での水平面を示す水平ラインの位置と、前記全方位画像内での左右方向に垂直な鉛直面を示す鉛直ラインの位置とを求め、前記対象物の画像内位置を求めるステップで求めた前記対象物の前記画像内位置が前記水平ラインの位置よりも上にある場合に、前記ブームを起こし、前記対象物の画像内位置を求めるステップで求めた前記対象物の前記画像内位置が前記水平ラインの位置以下かつ前記鉛直ラインの位置よりも上にある場合に、前記ブームを旋回させるステップと、
を実行させるためのプログラムであることを特徴とする。
支持体に対して旋回可能な旋回体と、該旋回体に設けられ、該旋回体に対して起伏可能なブームとを備えるクレーンの前記ブームを制御するためのプログラムであって、
コンピュータに、
前記ブームが備えるブームヘッドに設けられ、前記ブームヘッドの前後方向、左右方向および上下方向を含む全方位を視野とする、全方位画像を撮像する全方位カメラ部が撮像した前記全方位画像で、前記クレーンが吊り上げる対象物を識別し、識別された前記対象物の画像内位置を求めるステップと、
前記ブームヘッドの前記支持体に対する位置と、前記全方位カメラ部の前記ブームヘッドに対する位置とに基づいて、前記全方位カメラ部が撮像した前記全方位画像内での水平面を示す水平ラインの位置と、前記全方位画像内での左右方向に垂直な鉛直面を示す鉛直ラインの位置とを求め、前記対象物の画像内位置を求めるステップで求めた前記対象物の前記画像内位置が前記水平ラインの位置よりも上にある場合に、前記ブームを起こし、前記対象物の画像内位置を求めるステップで求めた前記対象物の前記画像内位置が前記水平ラインの位置以下かつ前記鉛直ラインの位置よりも上にある場合に、前記ブームを旋回させるステップと、
を実行させるためのプログラムであることを特徴とする。
【発明の効果】
【0015】
本発明の構成によれば、制御部は、ブームヘッドの支持体に対する位置と、全方位カメラ部のブームヘッドに対する位置とに基づいて、全方位カメラ部が撮像した全方位画像内での水平面を示す水平ラインの位置と、全方位画像内での左右方向に垂直な鉛直面を示す鉛直ラインの位置とを求め、識別部が求めた対象物の画像内位置が水平ラインの位置よりも上にある場合に、ブームを起こし、識別部が求めた対象物の画像内位置が水平ラインの位置以下かつ鉛直ラインの位置よりも上にある場合に、ブームを旋回させる。その結果、ブーム自動化装置は、簡易な演算で、ブームヘッドをクレーンの吊り上げ対象物の上へ移動させることができる。
【図面の簡単な説明】
【0016】
【図1】本発明の実施の形態に係るブーム自動化装置が装備された積載形トラッククレーンの側面図である。
【図2】ブーム自動化装置のハードウエア構成図である。
【図3】ブーム自動化装置に備えられる撮像装置が設置されたブームヘッドの正面図である。
【図4】ブーム自動化装置のブロック図である。
【図5】（Ａ）ブームヘッドの左側に設置された撮像装置が撮像した画像の一例を示す概念図である。（Ｂ）ブームヘッドの右側に設置された撮像装置が撮像した画像の一例を示す概念図である。
【図6】ブーム自動化装置が行うブーム自動化処理のフローチャートである。
【図7】（Ａ）ブームヘッドの左側に設置された撮像装置が撮像した画像に、制御部の変形例が算出する左右ラインを表示した場合の一例を示す概念図である。（Ｂ）ブームヘッドの右側に設置された撮像装置が撮像した画像に、制御部の変形例が算出する左右ラインを表示した場合の一例を示す概念図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施の形態に係るクレーンのブーム自動化装置、クレーンのブーム制御方法およびプログラムについて図面を参照して詳細に説明する。なお、図中、同一又は同等の部分には同一の符号を付す。
【0018】
実施の形態に係るクレーンのブーム自動化装置は、クレーンの操作を容易にするため、半天球カメラが撮像した画像内での吊り上げ対象物の位置に応じて、クレーンの各部を制御して、ブームヘッドを自動的に移動させる装置である。以下、このブーム自動化装置が、積載形トラッククレーン（カーゴクレーンともいう）に装備された場合を例に、その構成を説明する。まず、図１を参照して、ブーム自動化装置が装備される積載形トラッククレーンの構成について、説明する。
【0019】
図１は、本発明の実施の形態に係るクレーンのブーム自動化装置１が装備された積載形トラッククレーン１００の側面図である。
【0020】
図１に示すように、積載形トラッククレーン１００は、走行機能を有する車両１１０と、車両１１０の上に設けられた旋回体１２０と、旋回体１２０に設けられたブーム１３０と、を備えている。
【0021】
車両１１０は、道路上を走行するトラックである。車両１１０は、運転手が搭乗するための運転室１１１と荷物を積載するための荷台１１２とを備える。そして、運転室１１１と荷台１１２の間には、荷台１１２に荷物を積載するため、クレーンの旋回体１２０が設けられている。
【0022】
旋回体１２０は、車両１１０に固定されたフレーム１２１に取り付けられている。そして、旋回体１２０は、旋回モータ１２２に駆動されることにより、フレーム１２１上で鉛直方向ＶＤの周りに旋回することが可能である。一方、旋回体１２０は、上下方向へ柱状に延び、その上端にブーム１３０が設けられている。
【0023】
なお、フレーム１２１には、接地して車両１１０を安定させるアウトリガー１６０が設けられている。そして、フレーム１２１は、旋回体１２０を支持する。このため、フレーム１２１は、支持体とも呼ばれる。また、フレーム１２１は、特許請求の範囲でいう支持体に相当する部材である。
【0024】
ブーム１３０は、図示しないフートピンによって、その下端が旋回体１２０に取り付けられている。そして、ブーム１３０では、下端よりも上端側に離れた中間部分が、旋回体１２０に設けられた起伏シリンダ１３１により支持されている。その結果、ブーム１３０は、起伏シリンダ１３１の伸縮により、起伏可能である。
【0025】
また、ブーム１３０は、テレスコピック式に形成され、伸縮シリンダ１３２により伸縮可能である。その先端には、ブームヘッド１３３が設けられている。
【0026】
ブームヘッド１３３には、図示しないが、シーブが内蔵されている。そのシーブには、ワイヤロープ１４０が掛け回されている。その結果、ブームヘッド１３３から、ワイヤロープ１４０の一端部分が垂下している。その垂下したワイヤロープ１４０の一端部分には、フック１５０が機械的に接続されている。
【0027】
上述したように、ブーム１３０は、起伏可能であり、伸縮可能である。また、ブーム１３０は、旋回体１２０に設けられた結果、旋回可能である。その結果、ブームヘッド１３３は、ブーム１３０の起伏、伸縮および旋回体１２０の旋回により、所望の位置にフック１５０を移動させることが可能である。
【0028】
また、ワイヤロープ１４０の他端部分は、旋回体１２０に設けられたウインチドラム１４１に巻回されている。その結果、ワイヤロープ１４０は、ウインチドラム１４１の回転により、巻き上げ又は、巻き下げされる。フック１５０は、上述したように、ワイヤロープ１４０の一端部分に接続されているので、ワイヤロープ１４０の巻き上げまたは巻き下げによって、上昇または下降する。フック１５０は、上述したように、ブーム１３０の起伏、伸縮および旋回体１２０の旋回により、所望の位置に移動されるが、さらに、ウインチドラム１４１の回転により、所望の高さまで上昇または下降する。
【0029】
積載形トラッククレーン１００では、オペレーターが、ブーム１３０、旋回体１２０およびウインチドラム１４１を操作して、フック１５０を所望の位置に移動させる。しかし、その操作は、熟練を要する。また、その操作は、あまり容易ではない。そこで、フック１５０を所望の位置に移動させる操作を容易にするため、積載形トラッククレーン１００には、吊り上げ対象物の位置へ、すなわち吊荷の位置へフック１５０を自動的に移動させるブーム自動化装置１が装備されている。次に、図２－図４を参照して、ブーム自動化装置１の構成について説明する。
【0030】
図２は、ブーム自動化装置１のハードウエア構成図である。図３は、ブーム自動化装置１に備えられる撮像装置１０Ｒ、１０Ｌが設置されたブームヘッド１３３の正面図である。図４は、ブーム自動化装置１のブロック図である。
【0031】
【0032】
図２に示すように、ブーム自動化装置１は、撮像装置１０Ｒ、１０Ｌ、Ｉ／Ｏポート（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｐｏｒｔ）２０、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）２２およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２３を備える。
【0033】
撮像装置１０Ｒ、１０Ｌは、レンズが向けられた方向の周り３６０°とそのレンズが向けられた側の１８０°の半球状の視野が撮像できる半天球カメラである。そして、撮像装置１０Ｒと１０Ｌは、図３に示すように、ブームヘッド１３３の右側面と左側面のそれぞれに設置されている。さらに、撮像装置１０Ｒ、１０Ｌは、レンズを、水平方向Ｈまたは鉛直方向Ｖではなく、斜め下方向に向けている。図５（Ａ）および（Ｂ）に撮像装置１０Ｒ、１０Ｌが撮像する画像ＩR、ＩLの概念図を示す。
【0034】
図５（Ａ）は、ブームヘッド１３３の左側に設置された撮像装置１０Ｌが撮像した画像ＩLの一例を示す概念図である。図５（Ｂ）は、ブームヘッド１３３の右側に設置された撮像装置１０Ｒが撮像した画像ＩRの一例を示す概念図である。
【0035】
なお、図５（Ａ）および（Ｂ）では、理解を容易にするため、水平面を撮像したと仮定した場合の、その水平面を、水平ラインＨL、ＨRと表示している。また、左右方向に垂直な鉛直面を撮像したと仮定した場合の、その鉛直面を、鉛直ラインＶL、ＶRと表示している。
【0036】
撮像装置１０Ｒは、図５（Ａ）に示すように、ブームヘッド１３３の右側と、ブームヘッド１３３の上面視中央から鉛直方向にあるポイントＰ0、すなわち、ブームヘッド１３３の真下にあるポイントＰ0とを撮像する。また、撮像装置１０Ｌは、図５（Ｂ）に示すように、ブームヘッド１３３の左側と、ブームヘッド１３３の真下のポイントＰ0とを撮像する。このように、撮像装置１０Ｒ、１０Ｌは、それぞれが上述したレンズを斜め下方向に向けることにより、右側の視野、左側の視野のほか、真下のポイントＰ0を撮像可能としている。その結果、撮像装置１０Ｌは、図３に示す吊荷Ｌ0がブームヘッド１３３の側方に位置する場合のほか、ブームヘッド１３３の真下に位置する場合でも、ブームヘッド１３３の厚みによらないで、吊荷Ｌ0を撮像可能にしている。
【0037】
なお、撮像装置１０Ｒと１０Ｌの両方は、あわせて、前後方向、左右方向および上下方向を含む全方位を視野とする全方位画像を撮像する。このため、撮像装置１０Ｒと１０Ｌの両方をあわせて、全方位カメラまたは全天球カメラともいう。また、撮像装置１０Ｒと１０Ｌの両方は、特許請求の範囲でいう全方位カメラ部に相当する装置である。
【0038】
図２に戻って、Ｉ／Ｏポート２０は、各種装置を結合するために設けられたバスライン（Ｂｕｓ Ｌｉｎｅ）２４に接続されている。また、そのバスライン２４には、コンピュータを構成するＣＰＵ２１、ＲＯＭ２２およびＲＡＭ２３が接続されている。ブーム自動化装置１では、ＣＰＵ２１がＲＯＭ２２に記憶された各種プログラムをＲＡＭ２３に読み出して実行することにより、各種処理を行う。Ｉ／Ｏポート２０には、各種処理のうちの画像処理を行うため、上記の撮像装置１０Ｒ、１０Ｌが電気的に接続されている。これにより、撮像装置１０Ｒ、１０Ｌが撮像した画像データは、ＣＰＵ２１等へ送信可能である。
【0039】
また、Ｉ／Ｏポート２０には、ＣＰＵ２１が積載形トラッククレーン１００の各部を制御するため、その積載形トラッククレーン１００の各部にある部品が接続されている。詳細には、Ｉ／Ｏポート２０には、旋回角度検出センサ１２３、ブーム角度検出センサ１３４および、ブーム長さ検出センサ１３５が接続されている。
【0040】
ここで、旋回角度検出センサ１２３とは、旋回モータ１２２により旋回体１２０が旋回した角度を検出するセンサのことである。また、ブーム角度検出センサ１３４とは、起伏シリンダ１３１の伸縮により、ブーム１３０が起伏した角度を検出するセンサのことである。さらに、ブーム長さ検出センサ１３５とは、伸縮シリンダ１３２の伸縮によりブーム１３０が伸縮したときの、ブーム１３０の長さを検出するセンサのことである。
【0041】
旋回角度検出センサ１２３、ブーム角度検出センサ１３４および、ブーム長さ検出センサ１３５は、Ｉ／Ｏポート２０を介して、検出した旋回角度、ブーム１３０の起伏角度および、ブーム１３０の長さの各データをＣＰＵ２１へ送信する。
【0042】
また、Ｉ／Ｏポート２０には、積載形トラッククレーン１００が備える、図示しないコントロールパネルにある表示装置１２５が電気的に接続されている。これにより、表示装置１２５にはＩ／Ｏポート２０を介して各種データが入力され、それら各種データが表示される。例えば、表示装置１２５には、撮像装置１０Ｒ、１０Ｌが撮像した画像ＩR、ＩLまたは、ＣＰＵ２１が画像処理を施した画像ＩR、ＩLが表示される。
【0043】
さらに、Ｉ／Ｏポート２０には、積載形トラッククレーン１００の各部を操作するため、旋回モータ１２２、起伏シリンダ１３１および、伸縮シリンダ１３２のそれぞれが備える、図示しない電磁式の油圧制御弁が電気的に接続されている。上述したＣＰＵ２１は、撮像装置１０Ｒ、１０Ｌが撮像した画像ＩR、ＩLと、旋回角度検出センサ１２３、ブーム角度検出センサ１３４および、ブーム長さ検出センサ１３５が検出したデータとに基づいて、積載形トラッククレーン１００を制御するための各種データを演算する。旋回モータ１２２、起伏シリンダ１３１および、伸縮シリンダ１３２は、Ｉ／Ｏポート２０を介して、ＣＰＵ２１が演算した各種データを受信する。旋回モータ１２２、起伏シリンダ１３１および、伸縮シリンダ１３２は、それら各種データに基づいて電磁式の油圧制御弁それぞれが開度を調整することにより、それら各種データに基づいた動作を行う。
【0044】
続いて、それら旋回モータ１２２、起伏シリンダ１３１および、伸縮シリンダ１３２を制御するためのブーム自動化装置１が行う処理について詳細に説明する。Ｉ／Ｏポート２０には、図２に示すように、記憶装置３０が接続されている。ブーム自動化装置１は、ＣＰＵ２１が記憶装置３０に記憶されたブーム自動化プログラム３１をＲＡＭ２３に読み出して実行することにより、上記の旋回モータ１２２、起伏シリンダ１３１および、伸縮シリンダ１３２を制御するためのブーム自動化処理を行う。ブーム自動化装置１は、そのブーム自動化処理を行うため、図４に示すソフトウェアとして構成される各種ブロックを備える。詳細には、ブーム自動化装置１は、識別部２５および制御部２６を備える。
【0045】
識別部２５は、撮像装置１０Ｒ、１０Ｌが撮像して得た画像ＩR、ＩLから吊荷部分Ｌ1（図５（Ａ）参照）を識別する。詳細には、撮像装置１０Ｒ、１０Ｌは、ブーム自動化装置１が起動している間、一定の時間毎に、例えば、１／３０秒毎に、ブームヘッド１３３の周りを撮像する。そして、撮像装置１０Ｒ、１０Ｌは、撮像する毎に、撮像データを識別部２５に送信する。識別部２５は、それら撮像データを受信し、それら撮像データから得た画像ＩR、ＩLに対して特徴抽出を行う。
【0046】
一方、記憶装置３０には、画像ＩR、ＩL内に含まれる吊荷部分Ｌ1を識別するための、識別辞書３２が格納されている。識別部２５は、特徴抽出を行った後、記憶装置３０から識別辞書３２を読み出し、読み出した識別辞書３２と抽出された特徴データから画像ＩR、ＩL内に含まれる吊荷部分Ｌ1を識別する。そして、識別部２５は、識別した吊荷部分Ｌ1から、代表点、例えば、吊荷部分Ｌ1の中心を特定し、特定された中心の画像内座標を吊荷部分Ｌ1の座標とする。これにより、識別部２５は、撮像装置１０Ｒ、１０Ｌの撮像データから吊荷部分Ｌ1の画像内位置を得る。識別部２５は、得た吊荷部分Ｌ1の画像内位置を制御部２６に送信する。
【0047】
制御部２６は、上記の吊荷部分Ｌ1の画像内位置に基づいて積載形トラッククレーン１００の旋回体１２０とブーム１３０を操作する。詳細には、制御部２６は、識別部２５から吊荷部分Ｌ1の画像内位置を受信すると、旋回角度検出センサ１２３、ブーム角度検出センサ１３４および、ブーム長さ検出センサ１３５に、旋回体１２０の旋回角度、ブーム１３０の起伏角度および、ブーム１３０の長さの各データを送信させ、それらの各データを得る。
【0048】
なお、旋回体１２０の旋回角度、ブーム１３０の起伏角度および、ブーム１３０の長さは、特許請求の範囲でいうブームヘッドの支持体に対する位置に相当する物理量である。
【0049】
一方、記憶装置３０には、撮像装置１０Ｒ、１０Ｌそれぞれのブームヘッド１３３に対する位置のデータ、例えば、ブームヘッド１３３の重心に対する位置とレンズの向きのデータを含む位置情報データ３３が格納されている。制御部２６は、記憶装置３０から、その位置情報データ３３を読み出し、（１）読み出した位置情報データ３３、（２）旋回角度検出センサ１２３から得た旋回角度、（３）ブーム角度検出センサ１３４から得たブーム１３０の起伏角度、および、（４）ブーム長さ検出センサ１３５から得たブーム１３０の長さの各データに基づいて、撮像装置１０Ｒ、１０Ｌが撮像して得た画像ＩR、ＩL内の、図５（Ａ）および（Ｂ）に示す水平ラインＨL、ＨRの位置と、鉛直ラインＶL、ＶRの位置とを求める。
【0050】
制御部２６は、求めた水平ラインＨL、ＨRの位置と鉛直ラインＶL、ＶRの位置に対する、識別部２５から得た吊荷部分Ｌ1の画像内位置に応じて、図４に示す旋回モータ１２２および、起伏シリンダ１３１を制御する。詳細には、制御部２６は、識別部２５から得た吊荷部分Ｌ1の画像内位置が、水平ラインＨL、ＨRの位置よりも上にある場合に、吊荷Ｌ0がブームヘッド１３３よりも高い位置にあると判定して、起伏シリンダ１３１を制御して、ブーム１３０を起こす。これにより、制御部２６は、ブーム１３０が起伏角度によって傾斜する方向を吊荷Ｌ0に向ける。
【0051】
また、制御部２６は、識別部２５から得た吊荷部分Ｌ1の画像内位置が、水平ラインＨL、ＨRの位置以下、かつ鉛直ラインＶL、ＶRの位置よりも上にある場合に、吊荷Ｌ0がブームヘッド１３３の真下にないと判定する。そして、制御部２６は、吊荷部分Ｌ1の画像内位置が、右側の撮像装置１０Ｒによって撮像された画像ＩRの画像内位置である場合、旋回モータ１２２を制御して、旋回体１２０を右へ旋回させて、ブーム１３０を右へ向ける。これに対して、制御部２６は、吊荷部分Ｌ1の画像内位置が、左側の撮像装置１０Ｌによって撮像された画像ＩLの画像内位置である場合、旋回モータ１２２を制御して、旋回体１２０を左へ旋回させ、ブーム１３０を左へ向ける。このような操作により、制御部２６は、ブーム１３０を吊荷Ｌ0に向ける。
【0052】
このように、ブーム自動化装置１は、撮像装置１０Ｒ、１０Ｌが撮像した画像ＩR、ＩLでの吊荷部分Ｌ1の画像内位置が、水平ラインＨL、ＨRまたは鉛直ラインＶL、ＶRの位置に対して、どのような位置にあるかに応じて、起伏シリンダ１３１または旋回モータ１２２を制御して、ブーム１３０を吊荷Ｌ0に向ける。これにより、ブーム自動化装置１は、ブームヘッド１３３を吊荷Ｌ0とほぼ同じ高さにし、かつ、その吊荷Ｌ0にブーム１３０を向ける操作を自動化する。
【0053】
次に、図６を参照して、ブーム自動化装置１が行うブーム自動化処理について詳細に説明する。以下の説明では、ブーム自動化装置１は、積載形トラッククレーン１００が備えるコントロールパネルにある起動ボタンが押されることにより、起動するものとする。また、吊荷Ｌ0を識別しやすくするため、吊荷Ｌ0には、マーカーと呼ばれる特定の波長の光、例えば、赤色光を発する小型照明装置が取り付けられるものとする。また、記憶装置３０には、その小型照明装置を識別するための識別辞書３２が格納されるものとする。
【0054】
図６は、ブーム自動化装置１が行うブーム自動化処理のフローチャートである。
【0055】
まず、積載形トラッククレーン１００を操作するオペレーターは、準備作業として、アウトリガー１６０を張り出して、その先端を接地する。これにより、車両１１０を安定化させる。さらに、オペレーターは、上述した小型照明装置を吊荷Ｌ0に取り付け、その小型照明装置を点灯させる。その後、ブーム自動化処理で、ブーム１３０が動作して建築物等に干渉することを防ぐため、オペレーターは、積載形トラッククレーン１００周辺に、建築物等、ブーム１３０が干渉するおそれがある物体がないことを確認する。その上で、オペレーターは、上述した起動ボタンを押す。その結果、ブーム自動化装置１が起動する。
【0056】
ブーム自動化装置１が起動すると、ＣＰＵ２１によって記憶装置３０に記憶されたブーム自動化プログラム３１が実行され、その結果、図６に示すブーム自動化処理のフローが開始される。
【0057】
そのブーム自動化処理では、始めに、ブーム自動化装置１が備える識別部２５が、ブームヘッド１３３の右側、左側にある撮像装置１０Ｒ、１０Ｌから画像ＩR、ＩLデータを取得する（ステップＳ１）。詳細には、識別部２５は、撮像装置１０Ｒ、１０Ｌが定期的に撮像をするところ、その直前の画像ＩR、ＩLデータを撮像装置１０Ｒ、１０Ｌから取得する。
【0058】
続いて、識別部２５は、取得した画像ＩR、ＩLデータに対して特徴抽出を行い、吊荷部分Ｌ1を識別する処理を行う（ステップＳ２）。例えば、識別部２５は、画像ＩR、ＩLの輝度分布から、高輝度部分を抽出する。記憶装置３０には、吊荷Ｌ0に取り付けられた小型照明装置の画像部分（以下、マーカー部分という）を識別するための、例えば、マーカー部分の輝度、色、形状等のデータを含む識別辞書３２が予め格納されている。識別部２５は、その識別辞書３２を読み出し、その識別辞書３２を用いて、抽出した高輝度部分がマーカー部分に相当するか否かを判定する。そして、識別部２５は、マーカー部分に相当する部分がある場合、吊荷部分Ｌ1が識別されたものとする。また、その部分の代表点の画像内座標を、例えば、中心点の画像内座標を、吊荷部分Ｌ1の画像内座標とする。識別部２５は、識別処理の結果データを制御部２６へ送る。
【0059】
制御部２６は、識別部２５から識別処理の結果データを受け取ると、吊荷部分Ｌ1が識別されたか否かを判定する（ステップＳ３）。詳細には、制御部２６は、識別部２５からの識別処理の結果データに吊荷部分Ｌ1の画像内座標がある場合、吊荷部分Ｌ1が識別されたと判定する。制御部２６は、吊荷部分Ｌ1が識別されたと判定した場合（ステップＳ３のＹｅｓ）、ステップＳ４へ進む。
【0060】
一方、制御部２６は、識別部２５からの識別処理の結果データに吊荷部分Ｌ1の画像内座標がない場合、吊荷部分Ｌ1が識別されなかったと判定する。制御部２６は、吊荷部分Ｌ1が識別されなかったと判定した場合（ステップＳ３のＮｏ）、積載形トラッククレーン１００の周辺に吊荷Ｌ0がなく、その結果、撮像装置１０Ｒ、１０Ｌが吊荷Ｌ0を撮像できなかったものと扱う。制御部２６は、吊荷Ｌ0がないものとして、ブーム自動化処理を終了させる。
【0061】
なお、ブーム自動化処理を終了させる前に、制御部２６は、上述した表示装置１２５に、吊荷部分Ｌ1が識別されなかった旨の信号を送信して、表示装置１２５に吊荷Ｌ0が見つからなかった旨の表示をするとよい。
【0062】
制御部２６は、吊荷部分Ｌ1が識別されたと判定して、ステップＳ４に進んだ場合、画像ＩR、ＩLで水平ラインＨL、ＨR、鉛直ラインＶL、ＶRの位置を算出する（ステップＳ４）。
【0063】
ここで、水平ラインＨL、ＨRとは、撮像装置１０Ｒ、１０Ｌが水平面を撮像したと仮定した場合の、その水平面を表す、画像ＩR、ＩL内のラインのことである（図５（Ａ）および（Ｂ）参照）。鉛直ラインＶL、ＶRとは、撮像装置１０Ｒ、１０Ｌが左右方向に垂直な鉛直面を撮像したと仮定した場合の、その鉛直面を表す、画像ＩR、ＩL内のラインのことである（同図参照）。
【0064】
ステップＳ４について、詳細に説明すると、記憶装置３０には、撮像装置１０Ｒ、１０Ｌそれぞれの、ブームヘッド１３３の重心に対する位置のデータとレンズの向きのデータとを含む位置情報データ３３が格納されている。制御部２６は、その位置情報データ３３を読み出す。また、制御部２６は、積載形トラッククレーン１００が備える旋回角度検出センサ１２３、ブーム角度検出センサ１３４およびブーム長さ検出センサ１３５から、旋回体１２０の旋回角度、ブーム１３０の起伏角度および、ブーム１３０の長さの各センサデータを取得する。そして、制御部２６は、読み出した位置情報データ３３と取得した各センサデータから、画像ＩR、ＩL内の各座標それぞれの画素部分が、ブームヘッド１３３の重心を基準として、どの方向を撮像した部分であるのかを算出する。さらに、制御部２６は、算出した各画素部分と方向の対応関係に基づいて、上記で定義する水平ラインＨL、ＨRと鉛直ラインＶL、ＶRの画像ＩR、ＩL内位置を算出する。
【0065】
次に、制御部２６は、ステップＳ２で識別された吊荷部分Ｌ1が鉛直ラインＶL、ＶR上に位置するか否かを判定する（ステップＳ５）。詳細には、制御部２６は、吊荷部分Ｌ1の画像内座標が、鉛直ラインＶL、ＶRが通る画像内座標に該当するか、または鉛直ラインＶL、ＶRから微小な距離しか離れていない画像内座標に該当するか、を判定することにより、吊荷部分Ｌ1が鉛直ラインＶL、ＶR上に位置するか否かを判定する。ここで、微小な距離とは、吊荷部分Ｌ1の画像内座標が、実質的に鉛直ラインＶL、ＶRが通る画像内座標であると扱うことができる距離のことをいう。
【0066】
制御部２６は、吊荷部分Ｌ1が鉛直ラインＶL、ＶRに位置すると判定した場合（ステップＳ５のＹｅｓ）、ブームヘッド１３３の真下にあるか、またはブーム１３０の延長線上にあり、その結果、ブーム１３０が既に吊荷Ｌ0に向けられていると判定する。換言すると、旋回体１２０の旋回とブーム１３０の起伏の操作を行う必要がないと判定する。これにより、制御部２６は、ブーム自動化処理を終了させる。
【0067】
一方、制御部２６は、吊荷部分Ｌ1が鉛直ラインＶL、ＶRに位置しないと判定した場合（ステップＳ５のＮｏ）、ステップＳ２で識別された吊荷部分Ｌ1が水平ラインＨL、ＨRよりも上にあるか否かを判定する（ステップＳ６）。ここでいう上とは、図５（Ａ）および（Ｂ）に示される「右上」、「左上」を画像ＩR、ＩLでの上方向とする場合の、上のことである。ステップＳ６では、制御部２６は、吊荷部分Ｌ1の画像内座標が、水平ラインＨL、ＨRが通る画像内座標よりも上にあるか否かによって判定する。
【0068】
制御部２６は、吊荷部分Ｌ1が水平ラインＨL、ＨRよりも上にあると判定した場合（ステップＳ６のＹｅｓ）、吊荷Ｌ0がブームヘッド１３３よりも高い位置にあり、ブーム１３０を起こす必要があると判定する。これにより、制御部２６は、起伏シリンダ１３１を伸長させる（ステップＳ７）。その起伏シリンダ１３１を伸長させる長さは、予め定められた一定長さだけである。その結果、制御部２６は、ブーム１３０を少しの角度だけ起こす。
【0069】
制御部２６は、ブーム１３０を少しの角度だけ起こすと、ブーム１３０の向きを再調整する必要があるか否かを確認するため、ステップＳ１に戻る。
【0070】
一方、制御部２６は、吊荷部分Ｌ1が水平ラインＨL、ＨRよりも上になく、すなわち、吊荷部分Ｌ1が水平ラインＨL、ＨR以下であると判定した場合（ステップＳ６のＮｏ）、吊荷Ｌ0がブームヘッド１３３以下の高さにあり、ブーム１３０を起こす必要がない状態にあると判定する。そして、制御部２６は、ステップＳ５で、既に吊荷部分Ｌ1が鉛直ラインＶL、ＶRに位置しないと判定されているので、吊荷Ｌ0がブーム１３０を延長した延長線からずれ、旋回体１２０を旋回させる必要があると判定する。これにより、制御部２６は、旋回モータ１２２を回転させる（ステップＳ８）。
【0071】
その回転方向は、左側の撮像装置１０Ｌが撮像した画像ＩLにある水平ラインＨLと鉛直ラインＶLの間に吊荷部分Ｌ1が位置する場合、旋回体１２０を左へ回転させる方向である。また、右側の撮像装置１０Ｒが撮像した画像ＩRにある水平ラインＨRと鉛直ラインＶRの間に吊荷部分Ｌ1が位置する場合、旋回体１２０を右へ回転させる方向である。また、その回転量は、予め定められた一定の回転量だけである。その結果、制御部２６は、旋回体１２０を一定の角度だけ旋回させる。
【0072】
制御部２６は、旋回体１２０を一定の角度だけ旋回させると、旋回体１２０の旋回位置を再調整する必要があるか否かを確認するため、ステップＳ１に戻る。
【0073】
制御部２６は、ステップＳ５で、吊荷部分Ｌ1が鉛直ラインＶL、ＶRに位置すると判定されて（ステップＳ５のＹｅｓ）、旋回体１２０の旋回、ブーム１３０の起伏の操作を行わなくてもよい状態になるまで、ステップＳ１からステップＳ８までを繰り返す。これにより、制御部２６は、ブーム１３０を吊荷Ｌ0に向ける。
【0074】
なお、制御部２６は、ブーム１３０の起伏したときの限界値を予め設定しておき、その限界値に達したときに、上記のブーム自動化処理を強制終了させるとよい。或いは、過負荷防止装置の出力に応じて、ブーム自動化処理を強制終了させるとよい。
【0075】
以上のように、ブーム自動化装置１は、半天球カメラである撮像装置１０Ｒ、１０Ｌが撮像した画像ＩR、ＩL内で、吊荷部分Ｌ1が水平ラインＨL、ＨRと鉛直ラインＶL、ＶRに対して、どのような相対位置にあるかに応じて、旋回体１２０の旋回とブーム１３０の起伏を制御する。ブーム自動化装置１では、吊荷部分Ｌ1の水平ラインＨL、ＨRと鉛直ラインＶL、ＶRに対する相対位置に基づいて、旋回体１２０とブーム１３０を制御するだけであるため、演算が簡易である。また、その簡易な演算で、ブームヘッド１３３を吊荷Ｌ0の上へ移動させることができる。
【0076】
また、ブーム自動化装置１は、ブームヘッド１３３に半天球カメラである撮像装置１０Ｒ、１０Ｌを取り付けるだけで、積載形トラッククレーン１００に装備させることができる。その結果、装備に要するコストが低い。
【0077】
以上、本発明の実施の形態を説明したが、本発明は上記の実施の形態に限定されるものではない。例えば、上記の実施の形態では、撮像装置１０Ｒ、１０Ｌが半天球カメラであるが、本発明はこれに限定されない。本発明では、撮像装置１０Ｒ、１０Ｌは、ブームヘッド１３３の前後方向、左右方向および上下方向の全方位を視野とする、全方位画像を撮像する全方位カメラ部であればよい。従って、本発明では、撮像装置１０Ｒ、１０Ｌは、この条件を満たすカメラであればよい。例えば、撮像装置１０Ｒ、１０Ｌは、一つの全方位カメラであってもよい。また、３つ以上のカメラにより構成されるカメラシステムであってもよい。
【0078】
上記の実施の形態では、識別部２５は、吊荷Ｌ0に取り付けられた、マーカーと呼ばれる小型照明装置を識別している。しかし、本発明はこれに限定されない。本発明では、識別部２５は、全方位カメラ部が撮像した全方位画像で、積載形トラッククレーン１００が吊り上げる対象物を識別するものであればよい。そして、識別された対象物の画像内位置を求めるものであればよい。例えば、識別部２５は、吊荷Ｌ0が鋼材等の特定の物体である場合、その特定の物体を画像から直接識別してもよい。また、吊荷Ｌ0に特定のプレートが取り付けられたり、特定の色に着色されたりする場合に、識別部２５は、その特定のプレート、特定の色に着色された部分を識別してもよい。
【0079】
上記実施の形態では、制御部２６は、画像ＩR、ＩL内の吊荷部分Ｌ1の水平ラインＨL、ＨRと鉛直ラインＶL、ＶRに対する相対位置に基づいて、旋回体１２０の旋回とブーム１３０の起伏を制御する。しかし、本発明はこれに限定されない。本発明では、制御部２６は、さらに、ブーム１３０の伸縮を制御してもよい。
【0080】
図７（Ａ）は、ブームヘッド１３３の左側に設置された撮像装置１０Ｌが撮像した画像ＩLに、制御部２６の変形例が算出する左右ラインＬＲLを表示した場合の一例を示す概念図である。図７（Ｂ）は、ブームヘッド１３３の右側に設置された撮像装置１０Ｒが撮像した画像ＩRに、制御部２６の変形例が算出する左右ラインＬＲRを表示した場合の一例を示す概念図である。
【0081】
制御部２６は、図７（Ａ）および（Ｂ）に示す、画像ＩR、ＩL内での前後方向に垂直な左右平面を示す左右ラインＬＲR、ＬＲLの画像内位置を求めてもよい。そして、制御部２６は、それら左右ラインＬＲR、ＬＲLよりも、実施の形態で説明した吊荷部分Ｌ1が前にある場合、ブーム１３０を伸長させるとよい。また、制御部２６は、左右ラインＬＲR、ＬＲLよりも、吊荷部分Ｌ1が後ろにある場合、ブーム１３０を縮小させるとよい。画像ＩR、ＩLでは、その画像内座標それぞれにある画素部分が、どの方向であるのかはわかるものの、その距離は、画像ＩR、ＩLだけでは不明である。このため、ブーム１３０を伸長させる長さと縮小させる長さは、予め定めておくとよい。そして、実施の形態で説明したフローと同様に、ブーム１３０の伸長または、ブーム１３０の縮小後、再度画像ＩR、ＩLを取得して、その画像ＩR、ＩLで吊荷部分Ｌ1の左右ラインＬＲR、ＬＲLに対する位置を求めて、ブーム１３０の長さ調整が再度必要か否かを確認するとよい。
【0082】
また、吊荷Ｌ0がブーム１３０の真下近くにある結果、撮像装置１０Ｒと１０Ｌの両方に吊荷Ｌ0が撮像される場合、制御部２６は、撮像された画像ＩR、ＩL内での吊荷部分Ｌ1のそれぞれの画像内座標と撮像装置１０Ｒと１０Ｌの間の距離を三角測量の方法に適用することにより、撮像装置１０Ｒ、１０Ｌから吊荷Ｌ0までの距離を求めてもよい。そして、制御部２６は、求めた距離に基づいてブーム１３０を伸長する長さまたは、縮小する長さを決定してもよい。
【0083】
上記の実施の形態では、ブーム自動化装置１は、積載形トラッククレーン１００に装備されているが、本発明はこれに限定されない。本発明は、積載形トラッククレーン１００のほか、ホイールクレーン、クローラクレーン等、支持体に対して旋回可能な旋回体と、その旋回体に設けられ、その旋回体に対して起伏可能なブームとを備えるクレーン全般に適用可能である。
【符号の説明】
【0084】
１…ブーム自動化装置、１０Ｒ、１０Ｌ…撮像装置、２０…Ｉ／Ｏポート、２１…ＣＰＵ、２２…ＲＯＭ、２３…ＲＡＭ、２４…バスライン、２５…識別部、２６…制御部、３０…記憶装置、３１…ブーム自動化プログラム、３２…識別辞書、３３…位置情報データ、１００…積載形トラッククレーン、１１０…車両、１１１…運転室、１１２…荷台、１２０…旋回体、１２１…フレーム、１２２…旋回モータ、１２３…旋回角度検出センサ、１２５…表示装置、１３０…ブーム、１３１…起伏シリンダ、１３２…伸縮シリンダ、１３３…ブームヘッド、１３４…ブーム角度検出センサ、１３５…ブーム長さ検出センサ、１４０…ワイヤロープ、１４１…ウインチドラム、１５０…フック、１６０…アウトリガー、Ｈ…水平方向、ＨL，ＨR…水平ライン、ＩR、ＩL…画像、Ｌ0…吊荷、Ｌ1…吊荷部分、ＬＲL，ＬＲR…左右ライン、Ｐ0…ポイント、Ｖ…鉛直方向、ＶL，ＶR…鉛直ライン、ＶＤ…鉛直方向
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】