IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社タダノの特許一覧

<>
  • 特許-移動式クレーン 図1
  • 特許-移動式クレーン 図2
  • 特許-移動式クレーン 図3
  • 特許-移動式クレーン 図4
  • 特許-移動式クレーン 図5
  • 特許-移動式クレーン 図6
  • 特許-移動式クレーン 図7
  • 特許-移動式クレーン 図8
  • 特許-移動式クレーン 図9
  • 特許-移動式クレーン 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-17
(45)【発行日】2024-06-25
(54)【発明の名称】移動式クレーン
(51)【国際特許分類】
   B66C 13/08 20060101AFI20240618BHJP
   G06T 7/70 20170101ALI20240618BHJP
【FI】
B66C13/08 U
G06T7/70 B
【請求項の数】 5
(21)【出願番号】P 2020107897
(22)【出願日】2020-06-23
(65)【公開番号】P2022002993
(43)【公開日】2022-01-11
【審査請求日】2023-04-28
(73)【特許権者】
【識別番号】000148759
【氏名又は名称】株式会社タダノ
(74)【代理人】
【識別番号】100196623
【弁理士】
【氏名又は名称】松下 計介
(72)【発明者】
【氏名】元木 浩平
【審査官】中島 亮
(56)【参考文献】
【文献】特開2020-037475(JP,A)
【文献】特開2018-115078(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B66C 13/00- 15/06
B66C 19/00- 23/94
G06T 7/70
(57)【特許請求の範囲】
【請求項1】
旋回台に起伏自在のブームが設けられた移動式クレーンであって、
前記ブームと、前記ブームからウインチによって繰り出しおよび繰り入れ自在に構成されているフックと、の少なくとも一方に設けられる撮影装置と、
前記撮影装置が撮影した画像を解析する画像処理装置と、を備え、
前記撮影装置は、
搬送される荷物を撮影し、
前記画像処理装置は、
自立している前記荷物の画像の少なくとも一部を前記荷物の姿勢を算出するための基準画像として取得し、前記撮影装置が撮影した前記荷物を含む画像を取得し、前記荷物を含む画像から前記基準画像に該当する判定画像を検出し、前記基準画像に対する前記判定画像の歪み量から前記撮影装置が撮影した際の前記荷物が自立する姿勢か傾倒する姿勢かを判定する、移動式クレーン。
【請求項2】
前記画像処理装置は、
自立している前記荷物の画像の少なくとも一部を前記基準画像として、前記基準画像に対する前記判定画像の歪み量から前記撮影装置が撮影した際の前記荷物の傾倒方向を算出する請求項1に記載の移動式クレーン。
【請求項3】
前記ウインチを制御する制御装置をさらに備え、
前記制御装置は、
前記ウインチの状態から前記フックに吊り下げられている前記荷物が接地していると判定し、且つ前記画像処理装置から前記荷物が閾値を超えて傾倒している旨の信号を取得すると、前記ウインチの繰り出しを停止させる請求項1または請求項2に記載の移動式クレーン。
【請求項4】
前記基準画像は、
前記荷物に設けられたマーカを含む画像である請求項1から請求項3のいずれか一項に記載の移動式クレーン。
【請求項5】
前記基準画像は、
前記荷物における複数の特徴点を含む画像である請求項1から請求項3のいずれか一項に記載の移動式クレーン。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動式クレーンに関する。
【背景技術】
【0002】
従来、移動式クレーンにおいて、柱部材等を設置する場合、移動式クレーンは、柱部材等の端部をクレーンのフックに玉掛けした状態で設置位置まで搬送する。柱部材等は、長手方向を略鉛直方向に向けた設置時の状態に近い姿勢で搬送される。設置位置まで搬送された柱部材等は、設置位置に配置され、建方ベース等によって傾き等が調整される。アンカーボルトで設置位置に固定された柱部材等は、玉掛けワイヤーが緩められ、クレーンから分離される。一方、移動式クレーンは、柱部材の長手方向を略水平方向に向けた姿勢で搬送する場合、設置位置で柱部材の長手方向を略鉛直方向に向ける立て起こしを部材立て起こし装置によって行う。これにより、移動式クレーンは、柱部材を設置時の状態と異なる姿勢で搬送することができる。例えば、特許文献1の如くである。
【0003】
特許文献1に記載の部材立て起こし装置は、ワイヤーを巻き取ることで内部に格納する円筒状の本体と、前記本体の内部に設けられ、前記ワイヤーを巻き取り可能な回転軸と、ラチェット機構と、ロータリーダンパーと、前記ワイヤーを前記回転軸に巻き取るように付勢するぜんまいばねと、前記回転軸の回転位置を保持可能なブレーキ機構を備えている。前記部材立て起こし装置は、前記本体から前記回転軸に巻き付けられているワイヤーが任意の長さだけ繰り出しまたは繰り入れ可能に構成されている。前記部材立て起こし装置は、一方の端部が移動式クレーンのフックに吊るされた柱部材の他方の端部と移動式クレーンのフックとを連結している。柱部材は、前記部材立て起こし装置の本体に巻き取られているワイヤーが柱部材の自重によって繰り出されることで柱部材の他方の端部が下方に降ろされる。これにより、前記部材立て起こし装置は、柱部材の立て起こしを行うことができる。
【0004】
しかし、特許文献1に記載の部材立て起こし装置では、柱部材の他方の端部を下方に降ろして柱部材の長手方向を略鉛直方向に向けることができるが、柱部材の一方の端部の玉掛け位置によっては、柱部材が鉛直な姿勢に立て起こされない。移動式クレーンは、部材立て起こし装置を用いて柱部材を立て起こしても柱部材が鉛直な姿勢に立て起こされているかどうか判定できない問題があった。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2018-31177号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の目的は、荷物の姿勢が任意の姿勢を基準とする所定の範囲内に含まれているか判定することができる移動式クレーンの提供を目的とする。
【課題を解決するための手段】
【0007】
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
【0008】
即ち、第1の発明は、旋回台に起伏自在のブームが設けられた移動式クレーンであって、前記ブームと、前記ブームからウインチによって繰り出しおよび繰り入れ自在に構成されているフックと、の少なくとも一方に設けられる撮影装置と、前記撮影装置が撮影した画像を解析する画像処理装置と、を備える。
【0009】
前記撮影装置は、搬送される荷物を撮影し、前記画像処理装置は、自立している前記荷物の画像の少なくとも一部を前記荷物の姿勢を算出するための基準画像として取得し、前記撮影装置が撮影した前記荷物を含む画像を取得し、前記荷物を含む画像から前記基準画像に該当する判定画像を検出し、前記基準画像に対する前記判定画像の歪み量から前記撮影装置が撮影した際の前記荷物が自立する姿勢か傾倒する姿勢かを判定する。
【0011】
第3の発明において、前記画像処理装置は、自立している前記荷物の画像の少なくとも一部を前記基準画像として、前記基準画像に対する前記判定画像の歪み量から前記撮影装置が撮影した際の前記荷物の傾倒方向を算出する。
【0012】
第4の発明において、前記ウインチを制御する制御装置をさらに備え、前記制御装置は、前記荷ウインチの状態から前記フックに吊り下げられている前記荷物が接地していると判定し、且つ前記画像処理装置から前記荷物が傾倒している旨の信号を取得すると、前記ウインチを停止させる。
【0013】
第5の発明において、前記基準画像は、前記荷物に設けられたマーカを含む画像である。
【0014】
第6の発明において、前記基準画像は、前記荷物における複数の特徴点を含む画像である。
【発明の効果】
【0015】
本発明は、以下に示すような効果を奏する。
【0016】
第1の発明において、移動式クレーンの画像処理装置は、撮影装置によって撮影されたに荷物の画像から、予め取得している前記荷物の姿勢を算出するための基準となる基準画像に該当する部分を判定画像として検出する。前記画像処理装置は、前記基準画像に対する前記判定画像のひずみ量から前記基準画像を撮影した際の前記荷物の姿勢と現在の前記荷物の姿勢との差異を算出する。つまり、前記移動式クレーンは、ジャイロセンサ等によって前記荷物の姿勢についての絶対値を計測することなく、前記基準画像を撮影した際の前記荷物の姿勢に対する現在の前記荷物の姿勢の相対値を算出する。これにより、前記移動式クレーンは、前記荷物の姿勢が任意の姿勢を基準とする所定の範囲内に含まれているか判定することができる。
【0017】
第2の発明において、移動式クレーンの画像処理装置は、自立している状態の荷物の画像の少なくとも一部を任意に定めた基準画像として、撮影装置によって撮影された現在の前記荷物の姿勢の相対値を算出する。つまり、前記移動式クレーンは、前記撮影装置が撮影した現在の前記荷物が自立可能な姿勢かどうかを算出する。これにより、前記移動式クレーンは、前記荷物の姿勢が任意の姿勢を基準とする所定の範囲内に含まれているか判定することができる。
【0018】
第3の発明において、移動式クレーンの画像処理装置は、基準画像に対する判定画像の歪みの状態から撮影装置が撮影した現在の前記荷物の傾倒方向を算出することができる。これにより、前記移動式クレーンは、前記荷物の姿勢が任意の姿勢を基準とする所定の範囲内に含まれているか判定するだけでなく、前記荷物を自立させるために必要な前記荷物の移動方向を算出することができる。
【0019】
第4の発明において、移動式クレーンは、荷物が自立できる範囲を超えて傾倒している姿勢で接地された場合、接地による前記荷物の姿勢の変化を抑制することができる。これにより、前記移動式クレーンは、前記荷物の姿勢が任意の姿勢を基準とする所定の範囲内に含まれているか判定するだけでなく、前記荷物を自立させるために必要な操作を作業者に提示することができる。
【0020】
第5の発明において、移動式クレーンの画像処理装置は、撮影装置によって撮影されたに荷物の画像から、マーカ画像で構成される判定画像を検出する。前記画像処理装置は、予め取得している前記マーカ画像で構成される基準画像に対する前記判定画像のひずみ量から前記基準画像を撮影した際の前記荷物の姿勢との現在の前記荷物の姿勢との差異を算出する。つまり、前記移動式クレーンは、前記基準画像のマーカ画像と前記判定画像のマーカ画像との対比によって前記基準画像を撮影した際の前記荷物の姿勢に対する現在の前記荷物の姿勢の相対値を算出する。これにより、前記移動式クレーンは、前記荷物の姿勢が任意の姿勢を基準とする所定の範囲内に含まれているか判定することができる。
【0021】
第6の発明において、移動式クレーンの画像処理装置は、撮影装置によって撮影されたに荷物の特徴点から判定画像を検出する。前記画像装置は、予め取得している前記基準画像に対する前記判定画像のひずみ量から前記基準画像を撮影した際の前記荷物の姿勢との差異を算出する。つまり、前記移動式クレーンは、前記基準画像と前記判定画像との対比によって前記基準画像を撮影した際の前記荷物の姿勢に対する現在の前記荷物の姿勢の相対値を算出する。これにより、前記移動式クレーンは、前記荷物の姿勢が任意の姿勢を基準とする所定の範囲内に含まれているか判定することができる。
【図面の簡単な説明】
【0022】
図1】本発明の第1実施形態に係るクレーンの全体構成を示す側面図。
図2】本発明の第1実施形態に係るクレーンの制御構成を示すブロック図。
図3】本発明の第1実施形態に係るクレーンにおける画像処理装置の制御構成を示すブロック図。
図4図4は本発明の第1実施形態に係るクレーンにおける画像処理装置による基準画像を選択する状態を示す。(A)はメインフックに吊り下げれている荷物を示す斜視図、(B)は画像処理装置の基準画像保持部における基準画像を選択する状態を示す模式図。
図5】本発明の第1実施形態に係る画像処理装置の判定画像検出部が特徴点から判定画像を検出する状態を示す模式図。
図6図6は本発明の第1実施形態に係るクレーンにおける画像処理装置による荷物の傾倒方向と傾倒量を算出する状態を示す。(A)は画像処理装置の姿勢判定部における判定画像の歪み量を算出している状態を示す模式図、(B)は荷物Wの傾倒量を示す模式図。
図7】本発明の第1実施形態に係る画像処理装置の姿勢判定部における荷物Wの傾倒方向と傾倒量の表示状態を示す模式図。
図8】本発明の第1実施形態に係るクレーンにおける画像処理装置での制御の態様を示すフローチャート図。
図9】本発明の第2実施形態に係るクレーンにおける画像処理装置の制御構成を示すブロック図。
図10図10は本発明の第2実施形態に係る画像処理装置の画像処理の状態を示す。(A)は基準マーカ画像保持部が保持している基準マーカ画像を示す図、(B)は画像処理装置の姿勢判定部における荷物Wの傾倒方向と傾倒量の表示状態を示す模式図。
【発明を実施するための形態】
【0023】
以下に、図1図2とを用いて、本発明の第1実施形態に係る移動式クレーン(ラフテレーンクレーン)であるクレーン1について説明する。なお、本実施形態においては、ラフテレーンクレーンついて説明を行うが、オールテレーンクレーン、トラッククレーン、積載型トラッククレーン等でもよい。
【0024】
図1に示すように、クレーン1は、不特定の場所に移動可能な移動式クレーンである。クレーン1は、車両2、クレーン装置6、画像処理装置25、制御装置29を有する。
【0025】
車両2は、クレーン装置6を搬送する走行体である。車両2は、複数の車輪3を有し、エンジン4を動力源として走行する。車両2には、アウトリガ5が設けられている。アウトリガ5は、車両2の幅方向両側に油圧によって延伸可能な張り出しビームと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダとから構成されている。
【0026】
クレーン装置6は、荷物Wをワイヤロープによって吊り上げる作業装置である。クレーン装置6は、旋回台7、ブーム9、ジブ9b、メインフックブロック10、サブフックブロック11、起伏用油圧シリンダ12、メインウインチ13、メインワイヤロープ14、サブウインチ15、サブワイヤロープ16およびキャビン18等を具備する。
【0027】
旋回台7は、クレーン装置6を旋回可能に構成する回転装置である。旋回台7は、円環状の軸受を介して車両2のフレーム上に設けられる。旋回台7は、円環状の軸受の中心を回転中心として回転自在に構成されている。旋回台7には、アクチュエータである油圧式の旋回用油圧モータ8が設けられている。旋回台7は、旋回用油圧モータ8によって一方向と他方向とに旋回可能に構成されている。
【0028】
ブーム9は、荷物Wを吊り上げ可能な状態にワイヤロープを支持する可動支柱である。ブーム9は、複数のブーム部材から構成されている。ブーム9は、ベースブーム部材の基端が旋回台7の略中央に起伏自在に設けられている。ブーム9は、各ブーム部材をアクチュエータである伸縮用油圧シリンダ9a(図2参照)で移動させることで軸方向に伸縮自在に構成されている。また、ブーム9には、ジブ9bが設けられている。
【0029】
撮影装置であるブームカメラ9c(図2参照)は、荷物Wおよび荷物W周辺の地物等を撮影するものである。ブームカメラ9cは、ブーム9の先端部に設けられている。ブームカメラ9cは、荷物Wの鉛直上方から荷物Wおよびクレーン1周辺の地物や地形を撮影可能に構成されている。ブームカメラ9cは、撮影した画像を画像処理装置25に送信することができる。
【0030】
メインフックブロック10とサブフックブロック11とは、荷物Wを吊るものである。メインフックブロック10には、メインワイヤロープ14が巻き掛けられる複数のフックシーブと、荷物Wを吊るメインフック10aとが設けられている。サブフックブロック11には、荷物Wを吊るサブフック11aが設けられている。
【0031】
起伏用油圧シリンダ12は、ブーム9を起立および倒伏させ、ブーム9の姿勢を保持するアクチュエータである。起伏用油圧シリンダ12は、シリンダ部の端部が旋回台7に揺動自在に連結され、ロッド部の端部がブーム9のベースブーム部材に揺動自在に連結されている。
【0032】
メインウインチ13とサブウインチ15とは、メインワイヤロープ14とサブワイヤロープ16との繰り入れ(巻き上げ)および繰り出し(巻き下げ)を行うものである。メインウインチ13は、メインワイヤロープ14が巻きつけられるメインドラムがアクチュエータである図示しないメイン用油圧モータによって回転され、サブウインチ15は、サブワイヤロープ16が巻きつけられるサブドラムがアクチュエータである図示しないサブ用油圧モータによって回転されるように構成されている。メインウインチ13とサブウインチ15とには、重量センサ17が設けられている。重量センサ17は、メインフック10aまたはサブフック11aの吊り荷荷重を検出する。
【0033】
キャビン18は、操縦席を覆う筐体である。キャビン18は、旋回台7に搭載されている。図示しない操縦席が設けられている。操縦席には、車両2を走行操作するための走行用操作具19やクレーン装置6を操作するためのクレーン装置用操作具20等が設けられている(図2参照)。
【0034】
図2に示すように、GNSS受信機21は、全球測位衛星システム(Global Navigation Satellite System)を構成する受信機であって、衛星から測距電波を受信し、受信機の座標である緯度、経度、標高を算出するものである。GNSS受信機21は、ブーム9の先端に設けられている。クレーン1は、GNSS受信機21によって、ブーム9の先端の座標を取得することができる。
【0035】
撮影装置であるフックカメラ22は、荷物Wの姿勢等を測定するための画像を撮影する機器である。フックカメラ22は、磁石等によりメインフックブロック10とサブフックブロック11とのうち、使用するフックブロックに着脱自在に設けられている。本実施形態において、フックカメラ22は、メインフックブロック10に設けられているものとする。フックカメラ22は、撮影した荷物Wの画像を、通信機23を介して画像処理装置25に送信することができる。なお、フックカメラ22は、メインフックブロック10とサブフックブロック11とのうち、少なくとも一つに組み込まれていてもよい。
【0036】
通信機23は、画像データや制御信号を送受信するものである。通信機23は、キャビン18に設けられている。通信機23は、ブームカメラ9c及びフックカメラ22が撮影した画像のデータを受信することができる。また、通信機23は、外部のサーバー等で運用されているBIM(building information modeling)から荷物Wの情報や構造物の3次元データを取得することができる。また、通信機23は、表示装置24から入力された制御信号を受信することができる。通信機23は、画像、3次元データ、制御信号を受信すると図示しない通信線を介して画像処理装置25に送信するように構成されている。また、通信機23は、画像処理装置25からの制御情報をブームカメラ9cおよびフックカメラ22に送信するように構成されている。
【0037】
表示装置24は、ブームカメラ9cおよびフックカメラ22からの画像や画像処理された画像等を表示する装置である。表示装置24は、キャビン18内に設けられている。また、表示装置24は、ブームカメラ9c、フックカメラ22、画像処理装置25に制御信号を入力可能なタッチパネル等の入力装置として構成されている。また、表示装置24は、通信機能を有し、携帯可能に構成されている。すなわち、表示装置24は、荷物Wの設置場所において、作業者が荷物Wの上方からの画像を確認できるように構成されている。
【0038】
画像処理装置25は、ブームカメラ9cおよびフックカメラ22が撮影した画像を解析する。画像処理装置25は、実体的には、CPU、ROM、RAM、HDD等がバスで接続される構成であってもよく、あるいはワンチップのLSI等からなる構成であってもよい。画像処理装置25は、各ブームカメラ9c、フックカメラ22等の動作を制御したり画像データを処理したりするために種々のプログラムおよびデータが格納されている。画像処理装置25は、ブームカメラ9cおよびフックカメラ22からの画像データから特定画像の検出、特徴点の算出等の画像処理を行う。なお、画像処理装置25は、制御装置29と一体に構成されていてもよい。
【0039】
画像処理装置25は、制御装置29を介してブームカメラ9cおよびフックカメラ22が撮影した画像データを取得することができる。また、画像処理装置25は、制御装置29を介してブームカメラ9cおよびフックカメラ22に制御信号を送信することができる。なお、画像処理装置25は、通信機23と接続され、ブームカメラ9cおよびフックカメラ22と無線または有線で接続される構成でもよい。
【0040】
画像処理装置25は、制御装置29を介して表示装置24に接続されている。画像処理装置25は、表示装置24から入力される操作信号を取得することができる。画像処理装置25は、制御装置29を介して表示装置24に画像処理後の画像を送信することができる。
【0041】
制御装置29は、クレーン1の各アクチュエータを制御する。制御装置29は、キャビン18内に設けられている。制御装置29は、実体的には、CPU、ROM、RAM、HDD等がバスで接続される構成であってもよく、あるいはワンチップのLSI等からなる構成であってもよい。制御装置29は、各アクチュエータや切換え弁、センサ等の動作を制御したり画像データを処理したりするために種々のプログラムおよびデータが格納されている。
【0042】
制御装置29は、走行用操作具19およびクレーン装置用操作具20に接続されている。制御装置29は、走行用操作具19、クレーン装置用操作具20のそれぞれの操作量を取得することができる。制御装置29は、走行用操作具19の操作により生成される操作信号に基づいて、車両2の制御信号を生成する。同様に、制御装置29は、クレーン装置用操作具20の操作により生成される操作信号に基づいて、クレーン装置6の制御信号を生成する。
【0043】
制御装置29は、重量センサ17に接続されている。制御装置29は、重量センサ17の検出信号からメインフック10aまたはサブフック11aの吊り荷荷重を算出することができる。また、制御装置29は、重量センサ17の検出信号の変化から荷物Wが接地したか否かを判定することができる。
【0044】
制御装置29は、GNSS受信機21に接続されている。制御装置29は、GNSS受信機21の検出信号からブーム0の先端の絶対座標を取得することができる。つまり、制御装置29は、GNSS受信機21の検出信号からメインフック10aに吊り下げられいる荷物Wの鉛直上方の絶対座標を検出することができる。
【0045】
制御装置29は、通信機23に接続されている。制御装置29は、通信機23を介してブームカメラ9cおよびフックカメラ22からの画像を取得することができる。また制御装置29は、通信機23を介してブームカメラ9cおよびフックカメラ22に制御信号を送信することができる。また、制御装置29は、通信機23を介してBIMから荷物Wの情報や構造物の3次元データを取得することができる。
【0046】
制御装置29は、表示装置24に通信機23を介して無線または有線で接続されている。制御装置29は、通信機23を介して表示装置24から入力される操作信号を取得することができる。制御装置29は、通信機23を介して表示装置24に画像処理後の画像を送信することができる。
【0047】
制御装置29は、画像処理装置25に接続されている。制御装置29は、画像処理装置25から制御信号を取得することができる。また、制御装置29は、画像処理装置25に重量センサ17の検出値を送信することができる。
【0048】
このように構成されるクレーン1は、走行用操作具19の操作によって車両2を任意の位置に移動させることができる。また、クレーン1は、クレーン装置用操作具20の操作によって、起伏用油圧シリンダ12でブーム9を任意の起伏角度に起立させたり、図示しない伸縮用油圧シリンダ9aでブーム9を任意のブーム9長さに延伸させたりすることができる。また、クレーン1は、クレーン装置用操作具20の操作によって、メインウインチ13等で荷物Wを吊り上げたり吊り下げたりすることができる。また、クレーン1は、クレーン装置用操作具20の操作によって、油圧式の旋回用油圧モータ8で旋回台7を旋回させることができる。
【0049】
次に、図3を用いて、クレーン1の画像処理装置25における荷物Wの姿勢の算出について説明する。画像処理装置25は、基準画像保持部26、判定画像検出部27、姿勢判定部28を有している。
【0050】
図3に示すように、基準画像保持部26は、画像処理装置25の一部であり、荷物W毎に基準画像Isを予め保持している。基準画像Isは、荷物Wの姿勢を判定するための基準となる画像である。基準画像Isは、任意に定めた基準姿勢での荷物Wの画像の少なくとも一部の画像から構成される。つまり、基準画像Isは、荷物Wの基準姿勢を示す画像である。本実施形態において、基準姿勢は、設置面で自立している荷物Wの姿勢とする。また、基準画像Isは、自立している荷物Wを上方から撮影した画像の少なくとも一部から構成されている。
【0051】
基準画像保持部26は、様々な形状の各荷物Wについて、基準姿勢における荷物Wをブームカメラ9cまたはフックカメラ22等で荷物Wの上方から撮影した画像の少なくとも一部を基準画像Isとして予め保持している。基準画像Isは、例えば自立した状態で設置場所に設置された荷物Wの上端面の形状である。または、基準画像保持部26は、BIMから取得した荷物Wの3次元データにおいて、基準姿勢における荷物Wの上方に相当する方向を視線の方向とする3次元データの少なくとも一部を基準画像Isとして保持している。
【0052】
判定画像検出部27は、画像処理装置25の一部であり、現在の荷物Wの現在画像Inから基準画像Isに該当する部分の画像を判定画像Ijとして検出する。現在画像Inは、荷物Wの現在姿勢を判定するための画像である。つまり、現在画像Inは、荷物Wの現在姿勢を示す画像である。現在姿勢は、荷物Wの搬送中の姿勢、接地させた際の姿勢など、メインフック10aまたはサブフック11aに吊り下げられている状態での姿勢である。判定画像Ijは、荷物Wの基準姿勢に対する荷物Wの現在姿勢の相対的な姿勢を算出するための画像である。判定画像Ijは、荷物Wの現在画像Inの少なくとも一部の画像から構成される。
【0053】
判定画像検出部27は、作業者の入力信号に基づいて、基準画像保持部26から荷物Wの基準画像Isを選択することができる。判定画像検出部27は、現在の荷物Wの上方からブームカメラ9cまたはフックカメラ22が撮影した荷物Wの現在画像Inから、荷物Wの基準画像Isに該当する部分を判定画像Ijとして検出可能に構成されている。なお、判定画像検出部27は、ブーム9カメラまたはフックカメラ22が撮影した画像とBIMの情報とから、搬送する荷物Wの基準画像Isを自動的に選択するように構成してもよい。
【0054】
図に示すように、判定画像検出部27は、選択した基準画像Isの特徴点を算出することができる。さらに、判定画像検出部27は、現在の荷物Wの現在画像Inから特徴点を算出することができる。判定画像検出部27は、基準画像Isの特徴点と現在画像Inの特徴点とを比較し、現在画像Inから基準画像Isに該当する部分を判定画像Ijとして検出することができる。なお、判定画像検出部27は、現在画像Inの特徴点と基準画像保持部26が保持している各基準画像Isの特徴点とを比較して、基準画像Isを選択するように構成されていてもよい。
【0055】
姿勢判定部28は、画像処理装置25の一部であり、荷物Wの基準姿勢に対する現在の荷物Wの現在姿勢を判定する。姿勢判定部28は、基準画像Isと判定画像Ijとの比較から基準画像Isに対する判定画像Ijの形状、向きおよび傾きを算出可能に構成されている。姿勢判定部28は、基準画像Isの各部の座標である第1基準座標S1(x1、y1)、第2基準座標S2(x2、y2)・・(以下、単に第n基準座標Snと記す)と、判定画像Ijの各部の座標である第1判定座標P1(x1、y1)、第2判定座標P2(x2、y2)・・(以下、単に第n判定座標Pnと記す)とを算出することができる。姿勢判定部28は、算出した基準画像Isの第n基準座標Snと、第n基準座標Snに対応する判定画像Ijの第n判定座標Pnから、荷物Wの基準姿勢に対する現在の荷物Wの相対的な姿勢である現在姿勢を算出することができる。
【0056】
また、姿勢判定部28は、荷物W毎に、各傾倒方向Dにおける自立可能な傾倒量θの限界値を閾値θtとして有している。姿勢判定部28は、基準姿勢の鉛直方向に対する現在姿勢の傾倒量θが閾値θtよりも大きい場合、現在の荷物Wが傾倒する可能性があると判定してクレーン装置6に判定結果を送信することができる。また、姿勢判定部28は、判定結果を色、矢印、数値等で荷物Wの現在画像In上に重畳表示することができる。
【0057】
次に図4から図7を用いて、画像処理装置25における荷物Wの傾倒方向Dと傾倒量θを算出する画像処理について説明する。
【0058】
図4(A)に示すように、クレーン1は、メインフック10aに吊り上げられた荷物Wをブームカメラ9cまたフックカメラ22で常時撮影する。クレーン1の画像処理装置25は、荷物Wの現在画像Inを単位時間毎に取得する。
【0059】
図4(B)に示すように、クレーン1は、メインフック10aで荷物Wを吊り下げているものとする。画像処理装置25の判定画像検出部27は、作業者の入力信号に基づいて、吊り上げられている荷物Wの基準画像Isを基準画像保持部26から選択する。
【0060】
図5に示すように、判定画像検出部27は、取得した荷物Wの現在画像Inの特徴点と選択した基準画像Isの特徴点とを算出する。さらに、判定画像検出部27は、現在画像Inの特徴点と基準画像Isの特徴点とを比較し、現在画像Inから基準画像Isに該当する判定画像Ij(網掛け部分)を検出する。
【0061】
図6(A)に示すように、画像処理装置25の姿勢判定部28は、基準画像Isの形状と検出した判定画像Ijの形状とを比較する。姿勢判定部28は、基準画像Isの第1基準座標S1、・・第8基準座標S8と、第1基準座標S1に対応する判定画像Ijの第1判定座標P1、・・第8基準座標S8に対応する判定画像Ijの第4判定座標P4をそれぞれ算出する。
【0062】
図6(B)に示すように、姿勢判定部28は、第1基準座標S1、・・第8基準座標S8のうち第1基準座標S1と第1判定座標P1とを原点とした際の、第2基準座標S2に対応する第2判定座標P2の差異、第3基準座標S3に対応する第3判定座標P3の差異・・・第8基準座標S8に対応する第8判定座標P8の差異から荷物Wの基準姿勢に対する荷物Wの現在姿勢を算出する。つまり、姿勢判定部28は、基準画像Isに対する判定画像Ijの歪み量を座標値で算出している。姿勢判定部28は、判定画像Ijの歪み量に基づいて基準姿勢の鉛直方向に対する現在姿勢の傾倒方向Dおよび傾倒量θを算出する。
【0063】
姿勢判定部28は、算出した基準姿勢の鉛直方向に対する現在姿勢の傾倒方向Dおよび傾倒量θに基づいて、荷物Wが自立する姿勢か傾倒する姿勢かを判定する。つまり、姿勢判定部28は、荷物Wの現在姿勢の傾倒量θが基準姿勢を基準とする自立可能な所定の傾倒範囲内に含まれているか否か判定する。姿勢判定部28は、荷物Wの傾倒方向Dにおける傾倒量θがその傾倒方向Dにおける閾値θtよりも大きい場合、荷物Wは接地すると自立できずに傾倒すると判定する。一方、姿勢判定部28は、荷物Wの傾倒方向Dにおける傾倒量θがその傾倒方向Dにおける閾値θt以下の場合、荷物Wは接地すると自立可能な所定の範囲内に含まれていると判定する。姿勢判定部28は、荷物Wが自立できずに傾倒すると判定した場合、制御装置29に判定結果を送信する。
【0064】
図7に示すように、姿勢判定部28は、算出した基準姿勢の鉛直方向に対する現在姿勢の傾倒方向D、傾倒量θおよび判定結果に基づいて、荷物Wの傾倒量θ、傾倒方向Dおよび判定結果を示す矢印、色、図形、数値等を現在画像Inに重畳表示させる。本実施形態において、姿勢判定部28は、現在の荷物Wの傾倒方向Dを矢印Arで示す。矢印Arは。傾倒量θを矢印Arの長さで示し、判定結果を矢印Arの色で示している。
【0065】
制御装置29は、荷物Wが自立できずに傾倒する判定結果を取得した場合に、重量センサ17の検出値から荷物Wが接地していると判定すると、メインウインチ13の繰り出しを停止させる。制御装置29は、クレーン装置6のブーム9操作等により荷物Wの姿勢が変更され、姿勢判定部28によって自立できる姿勢であると判定されると、メインウインチ13またはサブウインチ15の繰り出しを可能にする。
【0066】
次に図8を用いて、画像処理装置25における荷物Wの傾倒量算出制御について説明する。
【0067】
図8に示すように、ステップS110において、画像処理装置25は、ブームカメラ9cまたはフックカメラ22が撮影した荷物Wの現在画像Inを取得する。画像処理装置25は、ステップをステップS120に移行させる。
【0068】
ステップ120において、画像処理装置25は、作業者の入力信号に基づいて、基準画像保持部26から荷物Wの基準画像Isを選択する。画像処理装置25は、ステップをステップ120に移行させる。
【0069】
ステップ130において、画像処理装置25の判定画像検出部27は、取得した荷物Wの現在画像Inの特徴点と選択した基準画像Isの特徴点とを比較し、現在画像Inから基準画像Isに該当する判定画像Ijを検出する。
【0070】
ステップ140において、画像処理装置25の姿勢判定部28は、基準画像Isの第1基準座標S1から第n基準座標Snと、判定画像Ijの第1判定座標P1から第n判定座標Pnを算出する。画像処理装置25は、ステップをステップS150に移行させる。
【0071】
ステップ150において、画像処理装置25の姿勢判定部28は、基準画像Isの第1基準座標S1から第n基準座標Snと、判定画像Ijの第1判定座標P1から第n判定座標Pnとから基準画像Isに対する判定画像Ijの歪み量を算出する。画像処理装置25は、ステップをステップS160に移行させる。
【0072】
ステップS160において、画像処理装置25の姿勢判定部28は、判定画像Ijの歪み量に基づいて基準姿勢の鉛直方向に対する現在姿勢の傾倒方向Dおよび傾倒量θを算出する。画像処理装置25は、ステップをステップS170に移行させる。
【0073】
ステップS170において、画像処理装置25の姿勢判定部28は、基準姿勢の鉛直方向に対する現在姿勢の傾倒方向Dおよび傾倒量θに基づいて、荷物Wが自立する姿勢か否かを判定する。
その結果、荷物Wの傾倒方向Dにおける傾倒量θがその傾倒方向Dにおける閾値θtよりも小さいと判定した場合、姿勢判定部28は荷物Wが接地時に自立すると判定する。画像処理部は、ステップをS180に移行させる。
一方、荷物Wの傾倒方向Dにおける傾倒量θがその傾倒方向Dにおける閾値θt以上の場合、姿勢判定部28は、荷物Wが接地時に自立出来ずに傾倒すると判定する。画像処理部は、ステップをS185に移行させる。
【0074】
ステップS180において、画像処理装置25の姿勢判定部28は、制御装置29にメインウインチ13またはサブウインチ15の繰り出しを可能にする信号を送信する。画像処理装置25は、ステップをS190に移行させる。
【0075】
ステップS185において、画像処理装置25の姿勢判定部28は、制御装置29にメインウインチ13またはサブウインチ15の繰り出しを停止する信号を送信する。画像処理装置25は、ステップをS190に移行させる。
【0076】
ステップS190において、画像処理装置25の姿勢判定部28は、基準姿勢の鉛直方向に対する現在姿勢の傾倒方向D、傾倒量θおよび判定結果に基づいて、荷物Wの傾倒量θ、傾倒方向Dおよび判定結果を示す矢印、色、図形、数値等を現在画像Inに重畳表示させる。画像処理装置25は、ステップをS110に移行させる。
【0077】
このように構成されるクレーン1の画像処理装置25は、荷物Wの基準画像Isの特徴点に基づいて、荷物Wの現在画像Inの特徴点から荷物Wの基準画像Isに該当する部分を判定画像Ijとして検出する。さらに画像処理装置25は、基準画像Isに対する判定画像Ijのひずみ量から荷物Wの基準姿勢と現在姿勢との差異を算出する。つまり、クレーン1は、特徴点の比較によって検出した判定画像Ijと基準画像Isとの対比によって荷物Wの基準姿勢に対する現在姿勢の相対値を算出することができる。つまり、クレーン1の画像処理装置25は、ジャイロセンサ等によって荷物Wの姿勢についての傾倒量θや座標の絶対値を計測することなく、荷物Wの基準姿勢に対する現在姿勢の相対値を算出することができる。これにより、クレーン1は、荷物Wの現在姿勢が基準姿勢を基準とする自立可能な所定の範囲内に含まれているか判定することができる。
【0078】
さらに、画像処理装置25は、荷物Wの傾倒方向Dを算出する。これにより、画僧処理装置は、荷物Wを自立させるために必要な荷物Wの移動方向を作業者に報知することができる。また、画像処理装置25は、荷物Wが自立できる範囲を超えて傾倒している姿勢で接地された場合、制御装置29にメインウインチ13またはサブウインチ15の繰り出しを停止する信号を送信する。これにより、クレーン1は、荷物Wの姿勢が自立可能な所定の範囲内に含まれているか判定するだけでなく、前記荷物Wを自立させるために必要な操作を報知することができる。
【0079】
さらに、画像処理装置25は、前記荷物Wを自立させるために必要な操作を制御装置29にフィードバックするように構成されてもよい。制御装置29は、画像処理装置25から傾倒方向Dと傾倒量θとを取得すると、傾倒量θが傾倒方向Dにおける閾値θt未満になるようにクレーン装置6を制御する補正制御を実施する。この際、制御装置29は、重量センサ17が検出する吊り荷荷重に基づいて、玉掛ワイヤーが緩まないようにメインウインチ13を制御する。これにより、クレーン1は、荷物Wが自立できない姿勢で接地されても、荷物Wの状態を監視しながら自動的に自立可能な姿勢に補正することができる。なお、クレーン1は、作業者から補正についての制御信号の入力があった場合に、補正制御を行うように構成されていてもよい。
【0080】
次に、図9図10とを用いて、本発明の第2実施形態に係るクレーン1Aについて具体的に説明する。なお、以下の実施形態に係るクレーン1Aは、図1から図8に示すクレーン1において、クレーン1に替えて適用されるものとして、その説明で用いた名称、図番、符号を用いることで、同じものを指すこととする。以下の実施形態において、既に説明した実施形態と同様の点に関してはその具体的説明を省略し、相違する部分を中心に説明する。
【0081】
図9に示すように、クレーン1Aは、画像処理装置30を有する。画像処理装置30は、基準マーカ画像保持部31、判定マーカ画像検出部32、マーカ姿勢判定部33を有している。
【0082】
基準マーカ画像保持部31は、画像処理装置30の一部であり、複数のAR(Augmented Reality)マーカからなる基準マーカ画像Msを予め保持している。基準マーカ画像Msは、荷物Wの姿勢を判定するための基準となるARマーカの画像である。基準マーカ画像Msは、任意に定めた基準姿勢での荷物Wに設けられたARマーカの画像から構成される。つまり、基準マーカ画像Msは、荷物Wの基準姿勢を示す画像である。本実施形態において、基準姿勢は、自立している荷物Wの姿勢とする。また、基準マーカ画像Msは、自立している荷物Wの上面に設けられたマーカを上方から撮影したマーカ画像から構成されている。
【0083】
基準マーカ画像保持部31は、様々な形状の荷物W毎に関連付けされた基準マーカ画像Msを予め保持している。形状の異なる荷物Wには、それぞれ異なるパターンが記載されている基準マーカ画像Msが設けられている。各基準マーカ画像Msには、設けられている荷物Wについての情報が登録されている。
【0084】
判定マーカ画像検出部32は、画像処理装置30の一部であり、荷物Wの現在画像Inから基準マーカ画像Msに該当するマーカ画像を判定マーカ画像Mjとして検出する。判定マーカ画像Mjは、荷物Wの基準姿勢に対する荷物Wの現在姿勢の相対的な姿勢を算出するための画像である。判定マーカ画像Mjは、荷物Wの現在画像Inのマーカ画像から構成される。つまり、判定マーカ画像Mjは、荷物Wの現在姿勢を示す画像である。
【0085】
判定マーカ画像検出部32は、現在の荷物Wの上方からブームカメラ9cまたはフックカメラ22が撮影した荷物Wの現在画像Inから、判定マーカ画像Mjを検出可能に構成されている。判定マーカ画像検出部32は、現在画像Inのパターンを画像処理によって検出することができる。判定マーカ画像検出部32は、現在画像Inのパターンからマーカ画像のパターンを検出することができる。つまり、判定マーカ画像検出部32は、現在画像Inに含まれる判定マーカ画像Mjを検出することができる。さらに、判定マーカ画像検出部32は、検出した判定マーカ画像Mjのパターンと所定値以上の一致度のパターンを有する基準マーカ画像Msを基準マーカ画像保持部31から選択することができる。
【0086】
マーカ姿勢判定部33は、荷物Wの基準姿勢に対する荷物Wの現在姿勢の傾倒方向Dおよび傾倒量θを判定する。マーカ姿勢判定部33は、基準マーカ画像Msの形状および向きと判定マーカ画像Mjの形状および向きとを比較可能に構成されている。基準マーカ画像Msのパターンは、基準マーカ画像Msの形状および向きの情報を含む。同様に、判定マーカ画像Mjのパターンは、判定マーカ画像Mjの形状および向きの情報を含む。マーカ姿勢判定部33は、基準マーカ画像Msのパターンに対する判定マーカ画像Mjのパターンの形状および向きから、荷物Wの基準姿勢に対する荷物Wの現在姿勢の相対的な向きを算出することができる。同様に、マーカ姿勢判定部33は、基準マーカ画像Msのパターンに対する判定マーカ画像Mjのパターンのひずみ量から、荷物Wの基準姿勢に対する荷物Wの現在姿勢の相対的な傾倒方向Dおよび傾倒量θを算出することができる。このように、マーカ姿勢判定部33は、検出した基準マーカ画像Ms対する判定マーカ画像Mjから、荷物Wの基準姿勢に対する現在姿勢を算出することができる。
【0087】
また、マーカ姿勢判定部33は、各荷物Wの各傾倒方向Dにおいて、自立可能な傾倒量θの限界値を閾値θtとして有している。マーカ姿勢判定部33は、基準姿勢の鉛直方向に対する現在姿勢の傾倒量θが閾値θtよりも大きい場合、現在の荷物Wが傾倒する可能性があると判定して制御装置29に判定結果を送信することができる。また、マーカ姿勢判定部33は、基準姿勢に対する現在姿勢および判定結果を矢印、数値等で荷物Wの現在画像In上に重畳表示することができる。
【0088】
図10に示すように、このように構成されるクレーン1Aは、メインフック10aに吊り上げられた荷物Wをブームカメラ9cまたフックカメラ22で単位時間毎に常時撮影する。クレーン1Aの画像処理装置30は、荷物Wの現在画像Inを取得する。
【0089】
図に示すように、画像処理装置30の判定マーカ画像検出部32は、フックに吊り上げられた荷物Wの現在画像Inから判定マーカ画像Mjを検出する。判定マーカ画像検出部32は、検出した判定マーカ画像Mjのパターンと一致度が所定値以上のパターンを有する基準マーカ画像Msを選択する。
【0090】
マーカ姿勢判定部33は、基準マーカ画像Msのパターンに対する判定マーカ画像Mjのパターンの向きから、荷物Wの基準姿勢に対する荷物Wの現在姿勢の相対的な向きを算出する。同様に、マーカ姿勢判定部33は、基準マーカ画像Msのパターンに対する判定マーカ画像Mjのパターンのひずみ量から、荷物Wの基準姿勢に対する荷物Wの現在姿勢の相対的な傾倒方向Dおよび傾倒量θを算出する。
【0091】
マーカ姿勢判定部33は、基準姿勢の鉛直方向に対する現在姿勢の傾倒量θが閾値θtよりも大きい場合、現在の荷物Wが傾倒する可能性があると判定して制御装置29に判定結果を送信する。また、マーカ姿勢判定部33は、基準姿勢に対する現在姿勢および判定結果を矢印、数値等で荷物Wの現在画像In上に重畳表示する。さらに、マーカ姿勢判定部33は、基準マーカ画像Msに登録されている荷物Wについての情報を荷物Wの現在画像In上に重畳表示する。
【0092】
このように構成することにより、クレーン1Aの画像処理装置30は、ブームカメラ9cまたはフックカメラ22によって撮影されたに荷物Wの画像から、判定マーカ画像Mjを検出する。画像処理装置30は、予め取得している基準マーカ画像Msに対する判定マーカ画像Mjのひずみ量から荷物Wの基準姿勢に対する荷物Wの現在姿勢の差異を算出する。つまり、クレーン1Aは、基準マーカ画像Msと判定マーカ画像Mjとの対比によって荷物Wの基準姿勢に対する荷物Wの現在姿勢の相対値を算出する。これにより、クレーン1Aは、荷物Wの現在姿勢が基準姿勢を基準とする自立可能な所定の範囲内に含まれているか判定することができる。
【0093】
クレーン1およびクレーン1Aは、ブームカメラ9cとフックカメラ22のうちいずれか一方のカメラで他方のフックカメラ22の機能を補完するバックアップ機能を持たせることで冗長性を有するシステムが構築される。これにより、荷物Wの形状や荷物Wの設置状況に影響されることなく、判定画像Ijまたは判定マーカ画像Mjを検出することができる。
【0094】
なお、本実施形態において、移動式クレーンであるクレーン1、1Aについて説明したが、荷物Wをワイヤーで吊り上げる装置に適用することが可能である。また、クレーン1、1Aは、遠隔操作端末に画像処理装置25、30による荷物Wの傾倒方向Dおよび傾倒量θの情報を表示させてもよい。このように構成することで、クレーン1、1Aは、荷物Wの設置位置の作業者に荷物Wの傾倒方向Dおよび傾倒量θを伝達することができる。
【0095】
また、画像処理装置25、30は、制御装置29からブーム9の先端の絶対座標を取得することができる。従って、画像処理装置25、30は、表示装置24に、荷物Wの位置、傾倒方向Dを絶対座標で表示する構成でもよい。
【0096】
また、クレーン1、1Aは、画像処理装置25、30による荷物Wの傾倒方向Dおよび傾倒量θについての情報を制御装置29にフィードバックすることにより荷物Wを自立させるための操作をアシストする構成でもよい。これにより、クレーン1、1Aは、荷物Wの傾倒を抑制し、荷物Wの設置を容易にすることができる。
【0097】
上述の実施形態は、代表的な形態を示したに過ぎず、一実施形態の骨子を逸脱しない範囲で種々変形して実施することができる。さらに種々なる形態で実施し得ることは勿論のことであり、本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲に記載の均等の意味、および範囲内のすべての変更を含む。
【符号の説明】
【0098】
1 クレーン
6 クレーン装置
7 旋回台
9 ブーム
9c ブームカメラ
10a メインフック
22 フックカメラ
24 表示装置
25 画像処理装置
26 基準画像保持部
27 判定画像検出部
28 姿勢判定部
29 制御装置
Is 基準画像
In 現在画像
Ij 判定画像
35 制御装置
W 荷物
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10