(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0015】
以下に、
図1及び
図2を用いて、本発明の一実施形態に係るクレーン1の全体構成について説明する。クレーン1は、不特定の場所に移動可能な移動式クレーンである。クレーン1は、車両2、クレーン装置6を有する。車両2には、GNSS装置20a(
図2参照)が設けられる。
【0016】
図1に示すように、クレーン装置6は、搬送物Lをフックにかけてワイヤロープによって吊り上げるものである。クレーン装置6は、旋回台7、伸縮ブーム8、ジブ9、メインフックブロック10、サブフックブロック11、起伏シリンダ12、メインウインチ13、メインワイヤロープ14、サブウインチ15、サブワイヤロープ16、ステレオカメラ17a、キャビン18、通信部19a・19b(
図2参照)、制御装置39(
図2参照)等を具備する。
【0017】
旋回台7は、クレーン装置6を旋回可能に構成するものである。旋回台7は、円環状の軸受を介して車両2のフレーム上に設けられる。円環状の軸受は、その回転中心が車両2の設置面に対して垂直になるように配置されている。旋回台7は、円環状の軸受の中心を回転中心として一方向と他方向とに回転自在に構成されている。また、旋回台7は、油圧式の旋回モータによって回転されるように構成されている。
【0018】
伸縮ブーム8は、搬送物Lを吊り上げ可能な状態にワイヤロープを支持するものである。伸縮ブーム8は、複数のブーム部材から構成されている。各ブーム部材は、断面積の大きさの順に入れ子式に挿入されている。伸縮ブーム8には、伸縮シリンダ(図示しない)が設けられ、作動油が供給されることで、伸縮ブーム8を軸方向に伸縮自在に構成する。伸縮ブーム8には、起伏シリンダ12が設けられ、作動油が供給されることで、伸縮ブーム8を起立および倒伏させ、伸縮ブーム8の姿勢を保持している。
【0019】
図1に示すように、ジブ9は、クレーン装置6の揚程や作業半径を拡大するものである。ジブ9の基端は、伸縮ブーム8の先端部に連結可能に構成されている。ジブ9は、伸縮ブーム8の先端から揚程や作業半径を拡大する方向に突出した姿勢で保持される。
【0020】
メインフックブロック10は、搬送物Lを吊るものである。メインフックブロック10には、メインワイヤロープ14が巻き掛けられる複数のフックシーブと、搬送物Lを吊るメインフックとが設けられている。サブフックブロック11は、搬送物Lを吊るものである。サブフックブロック11には、搬送物Lを吊るサブフックが設けられている。
【0021】
油圧ウインチであるメインウインチ13は、メインワイヤロープ14の繰り入れ(巻き上げ)および繰り出し(巻き下げ)を行うものである。油圧ウインチであるサブウインチ15は、サブワイヤロープ16の繰り入れおよび繰り出しを行うものである。
【0022】
ステレオカメラ17aは、クレーン側の三次元情報取得手段として設けられ、作業現場の画像(映像)を取得するものである。ステレオカメラ17aは、伸縮ブーム8の先端または、ジブ9の先端(本実施器形態では、伸縮ブーム8の先端)に設けられている。ステレオカメラ17aは、その姿勢を変更するためのアクチュエータを介して伸縮ブーム8の先端に配置されている。ステレオカメラ17aは、伸縮ブーム8の揺動軸と平行な軸を揺動中心として揺動可能に構成されている。これにより、ステレオカメラ17aは、伸縮ブーム8の倒伏角度に関わらず設置位置から鉛直下向きの画像を撮影可能に構成されている。ステレオカメラ17aは、少なくとも二つ以上のカメラから構成される。具体的には、ステレオカメラ17aは、一の基準カメラと、一又は複数の比較カメラ(本実施形態では一つ)と、から構成される。ステレオカメラ17aは、制御装置39に接続され、撮影した画像を制御装置39に送信する。
【0023】
キャビン18は、操縦席を覆うものである。キャビン18は、旋回台7における伸縮ブーム8の側方に設けられている。キャビン18の内部には、操縦席が設けられている。操縦席には、メインウインチ13を操作するためのメイン用操作弁、サブウインチ15を操作するためのサブ用操作具、伸縮ブーム8を操作するための起伏用操作具、クレーン1を移動させるためのハンドル、モニタ22(
図2参照)等が設けられている。
【0024】
図2に示すように、通信部19a・19bは、所定のデータを無線で送受信する装置によって構成される。通信部19aは、制御装置39に有線によって接続される。通信部19bは、後述の作業者Wが携行するステレオカメラ17bに有線によって接続される。通信部19bは、ステレオカメラ17bを用いて取得される三次元情報を通信部19aに対して無線で送信可能に構成される。通信部19aは、通信部19bによって送信される三次元情報を制御装置39に入力する。
【0025】
GNSS装置20aは、衛星測位システムとして設けられ、測位衛星が送信する測位信号を受信して、クレーン1の位置座標を計測(算出)するものである。GNSS装置20aは、車両2の車体フレームに設けられる。測位衛星とは、GPS衛星を含むGNSS衛星を示す。GNSS装置20aは、複数の衛星からの信号を受信することで、クレーン1の現在位置を緯度、経度及び高度から構成される座標データとして出力する。GNSS装置20aは、制御装置39に接続され、クレーン1の位置座標を送信可能にしている。
【0026】
このように構成されるクレーン1は、車両2を走行させることで任意の位置にクレーン装置6を移動させることができる。また、クレーン1は、起伏シリンダ12で伸縮ブーム8を任意の起伏角度に起立させて、伸縮ブーム8を任意のブーム長さに延伸させたりジブ9を連結させたりすることでクレーン装置6の揚程や作業半径を拡大することができる。
【0027】
制御装置39は、クレーン1の作業現場においてステレオカメラ17aが撮影する画像に基づいて三次元情報を取得して3Dマップを生成する。具体的には、制御装置39は、まず、ステレオカメラ17aを構成する基準カメラ及び比較カメラによって同時に撮影される各画像を比較して、基準カメラの各画素の距離を推定することで対象物の三次元情報(カメラ座標系で表される三次元情報)を取得する。制御装置39は、カメラ座標系で表される三次元情報を所定の基準座標系(例えば、グローバル座標系)で表される三次元情報に変換する。ここでの三次元情報とは、ステレオカメラ17aによって撮影される対象物の三次元座標値で表される点群データを指す。点群データは、色情報を含んで構成してもよい。
【0028】
制御装置39は、ステレオカメラ17aを用いて取得される所定の基準座標系で表される三次元情報(点群データ)から、物体認識によりクレーン1を構成する三次元情報(点群データ)を識別可能に構成され、ステレオカメラ17aを用いて取得される三次元情報(点群データ)からクレーン1を構成する三次元情報(点群データ)を除外するように構成してもよい。また、制御装置39は、現在のクレーン1の姿勢からなるクレーン1の3Dモデルを生成し、3Dマップ上に投影してもよい。
【0029】
制御装置39は、ステレオカメラ17aが取得する点群データを物体表面の3D構造を表すデータに変換して3Dマップを生成してもよい。また、制御装置39は、ステレオカメラ17aを用いて取得される所定の基準座標系で表される点群データに、ステレオカメラ17a等の撮影手段によって撮影される画像データを表示領域毎に区切った画像データをそれぞれ貼り付けることで3Dマップを生成してもよい。
【0030】
以上の構成において、三次元情報取得手段としてステレオカメラ17aを用いているが、これに限定されることはなく、例えば、レーザスキャナであってもよい。レーザスキャナを用いる場合、測定対象物に反射して帰ってくるまでの時間から計測距離を算出してもよいし、複数のレーザ波長の位相差から計測距離を算出してもよい。
【0031】
制御装置39には、出力器としてモニタ22が接続される。モニタ22は、ステレオカメラ17aが撮影した画像をリアルタイムに表示したり、ステレオカメラ17aが撮影した画像に基づいて作成される3Dマップを任意の視点から表示したり、ステレオカメラ17a・17bが撮影した画像に基づいて作成される3Dマップを任意の視点から表示したりすることができる。
【0032】
以上の構成において、ステレオカメラ17aがリアルタイムで撮影した画像に基づいて、3Dマップを作成し、モニタ22に表示することができる。そのため、例えば、クレーン1の操縦席から死角となる箇所(死角部位)であっても、所望の視点からの3Dマップをモニタ22に表示させ、死角部位をモニタ22で確認しながら搬送物Lの吊り上げ作業等を安全に行うことができる。
【0033】
図3を用いて、クレーン1及び作業者Wとの間での三次元情報の共有について説明する。ここでの作業者Wとは、搬送物Lの搬送元又は搬送先の周辺におり、搬送物Lの搬送作業を行う作業者であり、例えば、玉掛け作業者や合図者のことを指す。
図3(a)では、クレーン1のステレオカメラ17aの搬送先方向の撮影視野が搬送物Lによって遮られている状況を想定している。
図3(b)では、構造物Sにより、クレーン1の操縦者の目視によって搬送先の状況を確認することが難しい状況を想定している。
【0034】
作業者Wは、作業者側の三次元情報取得手段として設けられるステレオカメラ17bと、ステレオカメラ17bの位置座標を計測するGNSS装置20b(
図2参照)と、ステレオカメラ17bの撮影方位を計測する方位センサ21b(
図2参照)と、ステレオカメラ17bが撮影した画像に基づいて三次元情報を算出する制御装置39b(
図2参照)と、制御装置39bにおいて取得される三次元情報をクレーン1に送信可能とする通信部19b(
図2参照)と、を携行している。ステレオカメラ17bは、例えば、作業者Wが現場において装着するヘルメットの前部に設けられ、作業者Wの視線方向を撮影可能とされる。
【0035】
制御装置39は、ステレオカメラ17bを用いて取得される三次元情報を通信部19a・19bを介して受信可能に構成される。制御装置39は、データ要求スイッチ23(
図2参照)と接続される。データ要求スイッチ23は、クレーン1の操縦者が操作することで、通信部19a・19bを介してステレオカメラ17bを用いて取得される三次元情報を受信する。制御装置39は、ステレオカメラ17bを用いて取得される三次元情報を受信すると、該三次元情報と、ステレオカメラ17aを用いて取得される三次元情報と、を合成してモニタ22(
図2参照)に表示する。
【0036】
以上のように、作業者Wが携行するステレオカメラ17b及びクレーン1のステレオカメラ17aを用いて取得される三次元情報を合成して表示可能とすることで、
図3(a)に示すクレーン1のステレオカメラ17aの搬送先方向の撮影視野が搬送物Lによって遮られている状況であっても、ステレオカメラ17bを用いて搬送先の三次元情報を取得することができ、3Dマップ上に反映することができる。また、
図3(b)に示す構造物Sにより、クレーン1の操縦者の目視によって搬送先の状況を確認することが難しい状況であっても、ステレオカメラ17bを用いて搬送先の三次元情報を取得することができ、3Dマップ上に反映することができる。以上のように、クレーン1の操縦者又はステレオカメラ17aによって確認することができない状況であっても、作業者Wが携行するステレオカメラ17bを用いて三次元情報を取得することで、搬送元又は搬送先の状況を容易に把握することができる。
【0037】
また、ステレオカメラ17bを用いて取得される三次元情報を受信する場合に、データ要求スイッチ23を用いているがこれに限定されない。例えば、リアルタイムでステレオカメラ17bを用いて取得される三次元情報を通信部19a・19bを介して受信可能として、ステレオカメラ17aを用いて取得される三次元情報と、ステレオカメラ17bを用いて取得される三次元情報と、を比較して違いがある場合に3Dマップを更新するように構成してもよい。
【0038】
以上の構成において、クレーン1は通信部19a・19bを介してステレオカメラ17bを用いて取得される三次元情報を受信可能としているが、これに限定されない。例えば、ステレオカメラ17bの撮影する画像情報及び画像情報に紐付される位置情報及び方位情報を受信可能に構成してもよい。この場合、制御装置39は、受信されたステレオカメラ17bの画像情報及び位置情報及び方位情報に基づいて三次元情報を取得可能に構成してもよい。
【0039】
図4を用いて、搬送物Lの姿勢の検出について説明する。
図4(a)に示すように、搬送物Lをクレーン1において搬送中であり、搬送先近傍において搬送物Lを適切な位置に降ろそうとしている最中である。
【0040】
制御装置39は、伸縮ブーム8の先端部に設けられるステレオカメラ17a及び作業者Wが携行するステレオカメラ17bを用いて取得される三次元情報から搬送物Lの三次元情報を抽出可能に構成される。制御装置39は、各種の搬送物Lの三次元モデルが予め登録されており、例えば、搬送物Lの特徴点を抽出して、パターンマッチングを行うことで、搬送物Lの物体認識を行っている。制御装置39は、搬送物Lの三次元情報が抽出されると、搬送物Lの位置情報及び姿勢を認識することができる。
【0041】
図4(b)に示すように、制御装置39には、搬送物Lの三次元モデルLmが予め登録されている。本実施形態では、搬送物Lは、円柱状の胴部Laと、胴部Laの底面から下方に向けて円柱状の脚部Lbを複数備えて形成される。
【0042】
図4(c)に示すように、クレーン1のステレオカメラ17aを用いて取得される三次元情報は、搬送物Lの上面、つまり、胴部Laの上面しか撮影することができず、略円形の三次元情報しか得られない。そのため、ステレオカメラ17aを用いて取得される三次元情報だけでは、搬送物Lの三次元情報及びその姿勢を検出することは困難である。
【0043】
図4(d)に示すように、作業者Wが携行するステレオカメラ17bを用いて取得される三次元情報は、搬送物Lを底面側から撮影することができるため、胴部Laの底面と、複数の脚部Lbと、を含んだ搬送物Lの底面側の三次元情報を取得することができる。このため、クレーン1のステレオカメラ17a及びステレオカメラ17bを用いて取得される三次元情報を合成する、又は、ステレオカメラ17bを用いて取得される三次元情報に基づいて、搬送物Lの特徴点を抽出して、パターンマッチングを行うことで、搬送物Lの物体認識を行うことができる。
【0044】
以上のように、クレーン1のステレオカメラ17aを用いて取得される三次元情報から搬送物Lの三次元情報を抽出することができない場合であっても、ステレオカメラ17bを用いて取得される三次元情報を用いることで、搬送物Lの三次元情報を抽出可能となる。ゆえに、搬送物Lの姿勢を検出することができる。
【0045】
図4(a)を用いて、搬送物Lと、搬送物Lの降下位置Pとの鉛直方向の距離D1の計測について説明する。作業者Wは、予めステレオカメラ17bを用いて搬送先の降下位置P近傍の三次元情報を取得している。
制御装置39は、搬送物Lの三次元情報に基づいて、搬送物Lの降下位置Pを計測する。
搬送物Lの降下位置Pとは、現在のクレーン1の姿勢においてワイヤロープを繰り下げることで搬送物Lが地面等の載置部と接触するエリア(
図4(a)の薄墨部)を指す。制御装置39は、搬送物Lの所定の基準座標系で表される点群データのうち、鉛直方向の座標成分を鉛直下方に移動させたときに載置面との接触するエリアを計測する。
【0046】
制御装置39は、ステレオカメラ17bを用いて取得される搬送物Lの降下位置P近傍の三次元情報及び搬送物Lの三次元情報に基づいて、搬送物Lと、搬送物Lの降下位置Pとの鉛直方向の距離D1を計測する。
【0047】
制御装置39は、搬送物Lの三次元情報を構成する点群データのうち、最も鉛直下方に位置している点データを抽出する。制御装置39は、降下位置Pの三次元情報を構成する点群データのうち、最も鉛直上方に位置している点データを抽出する。そして、制御装置39は、搬送物Lの最も鉛直下方に位置している点データと、降下位置Pの最も鉛直上方に位置している点データと、の鉛直方向の座標成分の差より鉛直方向の距離D1を計測する。
【0048】
以上のように、搬送物Lと、搬送物Lの降下位置Pとの鉛直方向の距離D1を計測することで、クレーン1の操縦者は、搬送先の状況を確認することが困難な状況であっても、搬送物Lと搬送物Lの降下位置Pとの距離D1を把握することができるため、操縦者の勘や作業者Wの合図等に頼ることなく、安全な搬送物Lの吊り降ろし作業を行うことができる。
【0049】
また、
図5を用いて、搬送物Lの降下位置Pに立体物24がある場合について説明する。
図5(a)に示すように、搬送物Lをクレーン1において搬送中であり、搬送先近傍において搬送物Lを適切な位置に降ろそうとしている最中である。
【0050】
制御装置39は、ステレオカメラ17bを用いて取得される搬送物Lの降下位置P近傍の三次元情報に基づいて立体物24の検出を行う。立体物24とは、搬送物Lを載置する架台や枕木等を含めた障害物を指す。本実施形態では、立体物24は、搬送物Lを載置する枕木によって構成される。制御装置39は、搬送物Lの降下位置P近傍の三次元情報のうち、立体物24として判定対象とする特徴点を抽出し、該特徴点が立体物24に属するか否かを判定することで、立体物24の検出の判定を行う。制御装置39は、立体物24があると判定した場合、クレーン1の操縦者に報知する。
【0051】
図5(b)に示すように、制御装置39は、立体物24を検出した場合、モニタ22に表示されるステレオカメラ17aが撮影する画像又は三次元情報において、搬送物Lに立体物24が隠れている場合、立体物24の隠れている部分を透過して表示する(
図5(b)の薄墨部)。
【0052】
以上のように、モニタ22に表示されるステレオカメラ17aが撮影する画像又は三次元情報において、立体物24の隠れている部分を透過して表示することで、クレーン1の操縦者は搬送物Lに対する立体物24の位置を把握することができ、モニタ22を目視しながら搬送物Lの吊り降ろし作業を安全に行うことができる。
【0053】
図6に示すように、3Dマップ上又はスレテオカメラ17a・17bの撮影した画像上には、作業者Wの位置(本実施形態では、玉掛け作業者の位置)を表示することができる。制御装置39は、作業者Wが携行するGNSS装置20bが計測する位置座標を作業者Wの位置情報として設定され、該GNSS装置20bが計測する位置座標にマーク25が表示される。なお、GNSS装置20bが計測する位置座標に、作業者Wの3Dモデルを表示してもよい。以上のように、3Dマップ上又はスレテオカメラ17a・17bの撮影した画像上に作業者Wの位置をマークすることで、クレーン1の操縦者は容易に作業者Wの位置を把握することができ、安全な吊り上げ及び吊り降ろし作業を行うことができる。