(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-27
(45)【発行日】2024-03-06
(54)【発明の名称】作業車両の接触抑制装置および作業車両の接触抑制装置を有するブームを備えた作業車両
(51)【国際特許分類】
B66C 23/88 20060101AFI20240228BHJP
B66C 13/00 20060101ALI20240228BHJP
B66C 23/90 20060101ALI20240228BHJP
E02F 9/26 20060101ALI20240228BHJP
H04N 7/18 20060101ALI20240228BHJP
【FI】
B66C23/88 D
B66C13/00 D
B66C23/90 M
E02F9/26 A
H04N7/18 J
(21)【出願番号】P 2020101276
(22)【出願日】2020-06-10
【審査請求日】2023-03-24
(73)【特許権者】
【識別番号】000148759
【氏名又は名称】株式会社タダノ
(74)【代理人】
【識別番号】100196623
【氏名又は名称】松下 計介
(72)【発明者】
【氏名】元木 浩平
【審査官】中田 誠二郎
(56)【参考文献】
【文献】特開2018-095364(JP,A)
【文献】特開2000-313588(JP,A)
【文献】国際公開第2020/067201(WO,A1)
【文献】特開2018-095376(JP,A)
【文献】米国特許出願公開第2019/0016569(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
B66C 13/00-15/06
B66C 19/00-23/94
E02F 9/00-9/18,9/24-9/28
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
ブームを備えた作業車両を上方から撮影する撮影部と、
前記撮影部が撮影した画像を表示する表示部と、
前記撮影部が撮影した前記ブームを備えた作業車両の画像から前記ブームを検出する画像処理部と、を備え、
前記画像処理部は、
前記画像から検出した複数の前記作業車両のブーム毎に前記作業車両の作業領域とブーム先端の移動方向とを算出し、算出した前記作業車両の作業領域とブーム先端の移動方向とのうち少なくとも一つを前記表示部に表示させる作業車両の接触抑制装置。
【請求項2】
前記画像処理部は、
前記作業車両の作業領域とブーム先端の移動方向とのうち少なくとも一つを前記撮影部が撮影した前記作業車両の画像に対応するように重畳表示させる請求項1に記載の作業車両の接触抑制装置。
【請求項3】
前記撮影部は、
無人飛行体と、前記無人飛行体に設けられているカメラとから構成される請求項1または請求項2に記載の作業車両の接触抑制装置。
【請求項4】
前記画像処理部は、
前記画像において複数の前記作業車両のブームの間隔が所定値未満である場合、前記表示部に接触の可能性を報知する表示を行う請求項1から請求項3のいずれか一項に記載の作業車両の接触抑制装置。
【請求項5】
前記画像処理部は、
前記画像において複数の前記作業車両のブーム間の間隔が所定値未満である場合、前記ブーム間の間隔が所定値未満である複数の前記作業車両のうち少なくとも一つに所定の制御信号を送信する請求項1から請求項4のいずれか一項に記載の作業車両の接触抑制装置。
【請求項6】
請求項1から請求項5のいずれか一項に記載の作業車両の接触抑制装置を有するブームを備えた作業車両。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業車両の接触抑制装置および作業車両の接触抑制装置を有するブームを備えた作業車両に関する。
【背景技術】
【0002】
従来、大規模な建築現場等においては、建築作業の効率化を図るために建築現場内にブームを備えた作業車両である複数のクレーンを配置し、複数の箇所で荷物の搬送作業が行われる。この際、建築現場内に配置されているクレーンは、互いの作業可能範囲が重複するように配置されている場合がある。つまり、クレーンは、搬送タイミング、作業姿勢によってクレーン同士が接触する可能性がある位置に配置されている。各クレーンの操縦者は、無線等によって他の操縦者と連絡を密にとりながらクレーン同士の接触を回避しつつ搬送作業を行っている。そこで、衝突の可能性が生じた場合に警報装置等によって操縦者に報知するとともにクレーンを自動的に停止させるクレーン近接警報装置が知られている。例えば、特許文献1の如くである。
【0003】
特許文献1に記載のクレーン近接警報装置は、自機(クレーン)の制御装置と複数の相手機(クレーン)の制御装置とが無線通信等により接続されている。クレーン近接警報装置は、それぞれの制御装置が制御情報等の各種情報を互いに取得し、制御信号を送信することができる。クレーン近接警報装置は、取得した各クレーンの情報に基づいて、各クレーンのシミュレーションモデルを作成して衝突をシミュレーションする。クレーン近接警報装置は、クレーン同士が衝突すると判定した場合、操縦者に報知するとともに近接が継続されるとクレーンを停止させる。
【0004】
特許文献1に記載のクレーン近接警報装置は、自機の制御装置と相手機の制御装置との間で制御情報等の各種情報を互いに取得できることが前提となる。しかし、大規模な建築現場等には、様々なクレーンメーカーのクレーンが配置されることが多い。このため、前記クレーン近接警報装置は、相手機が通信機能を有していない、通信フォーマットが一致しない等、クレーンメーカー等が異なることで相手機の制御情報等の各種情報を取得できない場合があった。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の目的は、通信によってブームを備えた複数の作業車両から各種情報を取得することなく複数の前記作業車両のブーム同士の接触を抑制することができる作業車両の接触抑制装置および作業車両の接触抑制装置を有するブームを備えた作業車両の提供を目的とする。
【課題を解決するための手段】
【0007】
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
【0008】
即ち、第1の発明は、ブームを備えた作業車両を上方から撮影する撮影部と、前記撮影部が撮影した画像を表示する表示部と、前記撮影部が撮影した前記ブームを備えた作業車両の画像から前記ブームを検出する画像処理部と、を備えた作業車両の接触抑制装置である。前記画像処理部は、前記画像から検出した複数の前記作業車両のブーム毎に前記作業車両の作業領域とブーム先端の移動方向とを算出し、算出した前記作業車両の作業領域とブーム先端の移動方向とのうち少なくとも一つを前記表示部に表示させる。
【0009】
第2の発明は、記画像処理部は、前記作業車両の作業領域とブーム先端の移動方向とのうち少なくとも一つを前記撮影部が撮影した前記作業車両の画像に対応するように重畳表示させる。
【0010】
第3の発明は、前記撮影部は、無人飛行体と、前記無人飛行体に設けられているカメラとから構成される接触抑制装置である。
【0011】
第4の発明は、前記画像処理部は、前記画像において複数の前記作業車両のブームの間隔が所定値未満である場合、前記表示装置に接触の可能性を報知する表示を行う。
【0012】
第5の発明は、前記画像処理部は、前記画像において複数の前記作業車両のブーム間の間隔が所定値未満である場合、前記ブーム間の間隔が所定値未満である複数の前記作業車両のうち少なくとも一つに所定の制御信号を送信する。
【0013】
第6の発明は、第1の発明から第5の発明のいずれか一項に記載の作業車両の接触抑制装置を有するブームを備えた作業車両である。
【発明の効果】
【0014】
本発明は、以下に示すような効果を奏する。
【0015】
第1の発明および第6の発明において、接触抑制装置の画像処理部は、複数のブームを備えた作業車両が含まれる最新の画像と単位時間以前の画像とから検出した各ブームの大きさおよび位置に基づいて前記複数の作業車両の作業領域と各作業車両のブーム先端の移動方向とを算出する。前記画像処理部は、前記複数の作業車両の作業領域と前記ブーム先端の移動方向とを表示部に表示させる。これにより、前記接触抑制装置および前記接触抑制装置を備える作業車両は、通信によって複数の前記移動式クレーンから各種情報を取得することなく前記複数の作業車両のブーム同士の接触を抑制することができる。
【0016】
第2の発明において、接触抑制装置の画像処理部は、複数の作業車両の画像に、各作業車両の作業領域と各ブームの移動方向を示す画像を重畳表示させた拡張現実(AR)を生成することができる。これにより、前記接触抑制装置は、通信によって前記複数の作業車両から各種情報を取得することなく前記複数の作業車両のブーム同士の接触を抑制することができる。
【0017】
第3の発明において、接触抑制装置は、無人飛行体に設けられたカメラによって複数の作業車両の俯瞰画像を撮影するので前記複数の作業車両の各ブームの相対位置を容易に把握することができる。これにより、前記接触抑制装置は、通信によって前記複数の作業車両から各種情報を取得することなく前記複数の作業車両のブーム同士の接触を抑制することができる。
【0018】
第4の発明において、接触抑制装置の画像処理部は、複数の作業車両の画像における各ブームの間隔が所定値未満である場合、前記各ブーム同士が接触する可能性が高いと判定する。前記画像処理部は、色、図形、文字等を表示部に表示することで接触の可能性を報知する。これにより、前記接触抑制装置は、通信によって前記複数の作業車両から各種情報を取得することなく前記複数の作業車両のブーム同士の接触を抑制することができる。
【0019】
第5の発明において、接触抑制装置の画像処理部は、複数の作業車両の画像における各ブームの間隔が所定値未満である場合、前記各ブーム同士が接触する可能性が高いと判定し、前記各ブームの間隔が所定値未満である複数の作業車両のうち少なくとも一つに警報信号、停止信号等の所定の制御信号を送信する。これにより、前記接触抑制装置は、通信によって前記複数の作業車両から各種情報を取得することなく前記複数の作業車両のブーム同士の接触を抑制することができる。
【図面の簡単な説明】
【0020】
【
図1】本発明に係る接触抑制装置の全体構成を示すブロック図。
【
図2】本発明に係る接触抑制装置によるクレーンの位置関係を取得する状態を示す模式図。
【
図3】複数のクレーンのブームが検出され、ブームの情報が算出された画像を示す概略図。
【
図4】複数のクレーンのブームの移動方向と作業領域とが算出された画像を示す概略図。
【
図5】複数のクレーンのブーム間の距離が算出された画像を示す概略図。
【
図6】接触抑制制御の制御態様を示すフローチャート。
【
図7】接触抑制制御における距離判定制御の制御態様を示すフローチャート。
【
図8】接触抑制制御における領域判定制御の制御態様を示すフローチャート。
【
図9】本発明に係る接触抑制装置を備えたクレーンの示す側面図。
【
図10】本発明に係る接触抑制装置を備えたクレーンの制御構成を示すブロック図。
【発明を実施するための形態】
【0021】
以下に、
図1と
図2とを用いて、本発明の第一実施形態に係る接触抑制装置1について説明する。なお、以下の実施形態において、作業車両は、移動式クレーンであるラフテレーンクレーンとして説明を行うが、オールテレーンクレーンでもよい。また、作業車両は、高所作業車等のブームを備える作業車両であればよい。
【0022】
図1に示すように、接触抑制装置1は、複数の作業車両である移動式クレーンの作動状態を画像から検出し、各移動式クレーンのブーム同士の接触を抑制する装置である。接触抑制装置1は、撮影部を構成する無人飛行体2、カメラ4および遠隔操作端末5、表示部である表示装置6および画像処理部である画像処理装置7を具備する。
【0023】
カメラ4は、複数の移動式クレーンを撮影する。撮影部は、無人飛行体2、カメラ4、遠隔操作端末5を備える。
【0024】
無人飛行体2は、制御信号によって遠隔操作および自立飛行可能な自立型無人飛行体(ドローン)である。無人飛行体2は、例えば、複数のプロペラを有するマルチコプターである。無人飛行体2は、遠隔操作端末5と制御信号等を送受信可能に構成されている。これにより、無人飛行体2は、遠隔操作端末5によって任意の位置に移動可能に構成されている。また、無人飛行体2は、GNSS受信機3を有している。GNSS受信機3は、全球測位衛星システム(Global Navigation Satellite System)を構成する受信機であって、衛星から測距電波を受信し、受信機の位置座標である緯度、経度、標高を算出するものである。無人飛行体2は、指定された位置座標でホバリング可能に構成されている。なお、無人飛行体2は、移動式クレーンのブーム18等に取り付けられたビーコン、画像処理装置7が検出したクレーンのブーム画像、ブーム18に設けられたARタグ等に追従するように構成されていてもよい。
【0025】
カメラ4は、複数の移動式クレーンを撮影する。カメラ4は、無人飛行体2に設けられている。カメラ4は、遠隔操作端末5からの制御信号等を取得可能に構成されている。また、カメラ4は、遠隔操作端末5に撮影した画像データを送信可能に構成されている。これにより、カメラ4は、遠隔操作端末5によって、撮影の開始、停止、撮影方向の決定、ズーム等の操作を行うことができる。
【0026】
遠隔操作端末5は、無人飛行体2およびカメラ4の操作を行う操作端末である。遠隔操作端末5は、携帯可能な筐体に無人飛行体2の操作具およびカメラ4の操作具が設けられている。遠隔操作端末5は、操作具の操作によって無人飛行体2をクレーンの上方に配置し、任意の位置でホバリングさせることができる。遠隔操作端末5は、無人飛行体2およびカメラ4に制御信号を送受信可能に構成されている。また、遠隔操作端末5には、表示部である表示装置6が設けられている。
【0027】
表示部である表示装置6は、カメラ4が撮影した画像を表示する。表示装置6は、液晶モニタ等から構成されている。表示装置6は、移動式クレーンの操縦者が視認可能な位置に配置されている。本実施形態において、表示装置6は、遠隔操作端末5に設けられている。つまり、表示装置6を有する遠隔操作端末5は、移動式クレーンの操縦席近傍に配置されている。表示装置6には、カメラ4が撮影した画像、およびカメラ4が撮影した画像に基づいて算出された複数の移動式クレーンに関する情報が表示される。
【0028】
画像処理部である画像処理装置7は、カメラ4が撮影した画像を処理するコンピュータの一部である。画像処理装置7は、実体的には、CPU、ROM、RAM、HDD等がバスで接続される構成であってもよく、あるいはワンチップのLSI等からなる構成であってもよい。本実施形態において、画像処理装置7は、遠隔操作端末5に設けられている。画像処理装置7は、カメラ4が撮影した画像から移動式クレーンのブーム18を検出する。画像処理装置7は、カメラ4が撮影した画像を既知の手法でベクトル化し、特徴量を算出する。また、画像処理装置7は、カメラ4が撮影した画像を記憶する記憶部7aを有する。
【0029】
画像処理装置7は、本実施形態において、画像のカラーヒストグラムによるベクトル化、オートエンコーダによるベクトル化および局所特徴量によるベクトル化等を併用してそれぞれのベクトル化による特徴量の算出を行う。カラーヒストグラムによるベクトル化は、色の強度と出現頻度を特徴量としてベクトル化する手法である。オートエンコーダによるベクトル化は、オートエンコーダの中間層を、画像を代表する特徴量とする手法である。オートエンコーダは、3層ニューラルネットにおいて、入力層と出力層に同じデータを用いて教師あり学習をさせたものである。局所特徴量によるベクトル化は、KAZE局所特徴量を用いて画像をベクトル化する手法である。
【0030】
画像処理装置7は、画像のカラーヒストグラムによるベクトル化、オートエンコーダによるベクトル化および局所特徴量によるベクトル化により、3つの特徴量を算出する。なお、特徴量としては、画像に含まれる輝度値、エッジのヒストグラム、色とエッジの相関関数等でもよい。また、HOG(Histogram of Oriented Gradients)、SIFT(Scale Invariant Feature Transform)等の画像の局所特徴量を算出するようにしてもよい。
【0031】
以下に、
図2と
図3とを用いて、画像処理装置7による画像処理について説明する。なお、カメラ4が撮影する画像には、複数の移動式クレーンが含まれている。本実施形態において複数の移動式クレーンは、接触抑制装置1が設けられている自機である第1クレーン11と他機である第2クレーン41とを含む。
【0032】
図2に示すように、作業車両である第1クレーン11は、車両12、クレーン装置15を有する。クレーン装置15は、荷物Wをワイヤロープによって吊り上げる装置である。クレーン装置15は、旋回台16、ブーム18、キャビン29等を具備する。
【0033】
作業車両である第2クレーン41は、車両42、作業装置であるクレーン装置45を有する。クレーン装置45は、旋回台46、ブーム48、キャビン59等を具備する。
【0034】
第1クレーン11と第2クレーン41とは、第1クレーン11の作業領域である第1作業領域BR1と第2クレーン41の作業領域である第2作業領域BR2とが重複する状態で配置されている。また、第1クレーン11と第2クレーン41とは、互いに通信によって情報を共有できない状態であるものとする。
【0035】
画像処理装置7は、カメラ4が撮影した最新の画像Pから第1クレーン11の第1ブーム画像Bb1と第2クレーン41の第2ブーム画像Bb2とを検出する。画像処理装置7には、様々なクレーンのブーム画像からCNN(Convolutional Neural Network)を用いて検出されたクレーンのブーム画像のブーム特徴マップMが予め格納されている(
図1参照)。
【0036】
図3に示すように、画像処理装置7は、ブーム特徴マップMに基づいてCNNを用いた画像分類により、最新の画像Pから第1ブーム画像Bb1と第2ブーム画像Bb2とを検出する。画像処理装置7は、検出した第1ブーム画像Bb1の軸線上の両端部を示す画像上の先端位置座標Tb1と基端位置座標Ab1とを取得する。同様に、画像処理装置7は、第2ブーム画像Bb2との軸線上の両端部を示す画像上の先端位置座標Tb2と基端位置座標Ab2とを取得する。
【0037】
画像処理装置7は、第1ブーム画像Bb1と第2ブーム画像Bb2とを検出した最新の画像Pを記憶部7aに記憶する。以下の説明において、第1ブーム画像Bb1と第2ブーム画像Bb2とを検出した最新の画像Pを「最新検出画像Pb」と記す。画像処理装置7は、最新検出画像Pbを単位時間毎に時系列で記憶する。記憶部7aは、記憶した最新検出画像Pbを所定期間経過するまで保持する。以下の説明において、記憶部7aに記憶されている最新検出画像Pbよりも単位時間以前に記憶された過去の最新検出画像Pbを「過去検出画像Pa」と記す。
【0038】
画像処理装置7は、単位時間前の過去検出画像Paにおいて、最新検出画像Pbに含まれる第1ブーム画像Bb1と第2ブーム画像Bb2とに一致している部分をそれぞれ検出する。画像処理装置7は、画像のカラーヒストグラムによるベクトル化、オートエンコーダによるベクトル化および局所特徴量によるベクトル化によって算出した最新検出画像Pbにおける第1ブーム画像Bb1の特徴量Fb1および第2ブーム画像Bb2の特徴量Fb2と、過去検出画像Paにおける第1ブーム画像Ba1の特徴量Fa1および第2ブーム画像Ba2の特徴量Fa2とを比較する。
【0039】
画像処理装置7は、特徴量Fb1と特徴量Fa1との差異が所定範囲内である場合、第1ブーム画像Bb1の単位時間前の画像が第1ブーム画像Ba1であるとして第1ブーム画像Ba1を検出する。同様に、画像処理装置7は、特徴量Fb2と特徴量Fa2との差異が所定範囲内である場合、第2ブーム画像Bb2の単位時間前の画像が第2ブーム画像Ba2であるとして第2ブーム画像Ba2を検出する。
【0040】
画像処理装置7は、第1ブーム画像Bb1の先端位置座標Tb1および基端位置座標Ab1と第1ブーム画像Ba1の先端位置座標Ta1および基端位置座標Aa1から、最新検出画像Pbに含まれる第1ブーム画像Bb1の第1ブーム長さBL1および第1旋回中心BC1を算出する。なお、第1ブーム長さBL1は、最新検出画像Pbにおける第1旋回中心BC1から先端位置座標Ta1までの長さとする。同様に、画像処理装置7は、第2ブーム画像Bb2の先端位置座標Tb2および基端位置座標Ab2と第2ブーム画像Ba2の先端位置座標Ta2および基端位置座標Aa2から、最新検出画像Pbに含まれる第2ブーム画像Bb2の第2ブーム長さBL2、第2旋回中心BC2を算出する。なお、第1ブーム長さBL1は、最新検出画像Pbにおける第2旋回中心BC2から先端位置座標Ta2までの長さとする。
【0041】
図4に示すように、画像処理装置7は、算出した第1ブーム長さBL1および第1旋回中心BC1から最新検出画像Pbにおける第1クレーン11の第1作業領域BR1およびブーム18の第1移動方向BM1を算出する。同様に、画像処理装置7は、算出した第2ブーム長さBL2および第2旋回中心BC2から最新検出画像Pbにおける第2クレーン41の第2作業領域BR2およびブーム48の第2移動方向BM2を算出する。
【0042】
画像処理装置7は、表示装置6に最新検出画像Pbを表示させる。更に、画像処理装置7は、表示装置6に第1クレーン11の画像に第1作業領域BR1を示す画像と第1ブーム画像Bb1のブーム先端の第1移動方向BM1を示す画像とのうち少なくとも一つを表示させる。本実施形態において、画像処理装置7は、第1作業領域BR1を示す円形図形とブーム先端の第1移動方向BM1を示す矢印とのうち少なくとも一つを第1クレーン11の画像に重畳表示させる。つまり、画像処理装置7は、第1クレーン11の実画像である最新検出画像Pbに、第1クレーン11の作動状態に関する情報を仮想の画像として重畳表示させた拡張現実(Augmented Reality)を生成する。同様に、画像処理装置7は、第2作業領域BR2を示す円形図形とブーム先端の第2移動方向BM2を示す矢印とのうち少なくとも一つを第2クレーン41の画像に重畳表示させる。
【0043】
画像処理装置7は、単位時間経過後に、カメラ4が撮影した最新の画像Pから第1クレーン11の第1作業領域BR1および第2クレーン41の第2作業領域BR2と、第1ブーム画像Bb1のブーム先端の第1移動方向BM1および第2ブーム画像Bb2のブーム先端の第2移動方向BM2を算出する。画像処理装置7は、表示装置6に最新検出画像Pbを表示させるとともに、第1クレーン11の画像に第1作業領域BR1を示す画像と第1ブーム画像Bb1の第1移動方向BM1を示す画像とを重畳表示させる。同様に、画像処理装置7は、第2クレーン41の画像に第2作業領域BR2を示す画像と第2ブーム画像Bb2の第2移動方向BM2を示す画像とを重畳表示させる。なお、画像処理装置7は、最新検出画像Pbに作業領域と移動方向とのうちいずれか一方を選択して表示する構成でもよい。
【0044】
このように構成される接触抑制装置1の画像処理装置7は、第1クレーン11および第2クレーン41が含まれる最新検出画像Pbから検出した第1ブーム画像Bb1の画像上の位置座標である先端位置座標Tb1および基端位置座標Ab1と、単位時間以前の過去検出画像Paから検出した第1ブーム画像Ba1の画像上の位置座標である先端位置座標Ta1および基端位置座標Aa1とから第1クレーン11の第1作業領域BR1とブーム先端の第1移動方向BM1とを算出する。同様に、画像処理装置7は、第2クレーン41の第2作業領域BR2とブーム先端の第2移動方向BM2とを算出する。画像処理装置7は、第1クレーン11の第1作業領域BR1を示す画像と第1移動方向BM1を示す画像および第2クレーン41の第2作業領域BR2を示す画像と第2移動方向BM2を示す画像とを最新検出画像Pbに重畳表示させる。
【0045】
これにより、接触抑制装置1は、通信によって第1クレーン11と第2クレーン41とから各種情報を取得することなく第1クレーン11の第1作業領域BR1と第2クレーン41の第2作業領域BR2との相対的位置関係と第1クレーン11と第2クレーン41との相対的移動方向とを視覚的に表示することができる。つまり、接触抑制装置1は、第1クレーン11と第2クレーン41とが通信不能な状態でも第1クレーン11のブーム18と第2クレーン41のブーム48との接触を抑制することができる。
【0046】
更に、画像処理装置7は、第1クレーン11のブーム18と第2クレーン41のブーム48との距離に基づいた距離判定制御を行ってもよい。なお、画像処理装置7は、画面上の距離を実際の距離に換算する縮尺情報を保持しているものとする。
【0047】
図5に示すように、画像処理装置7は、最新検出画像Pbから検出した第1ブーム画像Bb1の画像上の位置座標である先端位置座標Tb1および基端位置座標Ab1と、第2ブーム画像Bb2の画像上の位置座標である先端位置座標Tb2および基端位置座標Ab2とから第1ブーム画像Bb1と第2ブーム画像Bb2との実距離Lbを算出する。更に、画像処理装置7は、単位時間前に算出した過去検出画像Paにおける第1ブーム画像Ba1と第2ブーム画像Ba2との実距離Laに対する実距離Lbの変化量DLを算出する。
【0048】
画像処理装置7は、算出した実距離Lbが所定値Ls未満であるか否か判定する。画像処理装置7は、実距離Lbが所定値Ls未満である場合、算出した実距離Laに対する実距離Lbの変化量DLがマイナスか否か判定する。すなわち、画像処理装置7は、実距離Lbが単位時間前の実距離Laよりも減少し、第1クレーン11のブーム18と第2クレーン41のブーム48とが近づいているか否か判定する。画像処理装置7は、変化量DLがマイナスであると判定した場合、第1クレーン11のブーム18と第2クレーン41のブーム48とのブーム間の間隔が所定値未満の間隔で配置され、且つブーム18とブーム48とが近づいているとして、表示装置6に接触の可能性を作業者に報知する。
【0049】
また、画像処理装置7は、実距離Lbが所定値Ls未満、且つ変化量DLが減少している場合、少なくとも第1クレーン11にブームの移動を停止させる制御信号、警報を発報させる制御信号等の所定の制御信号を送信してもよい。
【0050】
更に、画像処理装置7は、距離判定制御に代えて、第1クレーン11の第1作業領域BR1と第2クレーン41の第2作業領域BR2とに基づいた領域判定制御を行ってもよい。
【0051】
画像処理装置7は、最新検出画像Pbから検出した第1クレーン11の第1作業領域BR1と第2クレーン41の第2作業領域BR2が重複している領域を算出する。すなわち、画像処理装置7は、第1クレーン11のブーム18と第2クレーン41のブーム48とが接触する可能性がある接触領域C(
図4、
図5の薄墨部分)を算出する。
【0052】
画像処理装置7は、第1クレーン11の第1ブーム画像Bb1と第2クレーン41の第2ブーム画像Bb2とのうち一方のブーム画像が接触領域C内に含まれ、第1ブーム画像Bb1と第2ブーム画像Bb2との間の実距離Laに対する実距離Lbの変化量DLがマイナスである場合、少なくとも第1クレーン11にブーム18を停止させる制御信号を送信する。また、画像処理装置7は、第1ブーム画像Bb1と第2ブーム画像Bb2とが接触領域Cに含まれている場合、少なくとも第1クレーン11にブーム18を停止させる制御信号を送信する。なお、画像処理装置7は、第2クレーン41の作業者に警報等によって接触の可能性を放置するように構成されていてもよい。
【0053】
以下に、
図6から
図8を用いて、接触抑制装置1による第1クレーン11と第2クレーン41との接触抑制制御について説明する。本実施形態において、接触抑制装置1は、カメラ4を構成しているカメラ4を備えた無人飛行体2が所定の位置にホバリングしながら下方の第1クレーン11と第2クレーン41とを撮影しているものとする。
【0054】
図6に示すように、接触抑制制御のステップS110において、画像処理装置7は、カメラ4が撮影した最新の画像Pを取得する。画像処理装置7は、ステップをステップS120に移行させる。
【0055】
ステップS120において、画像処理装置7は、取得した最新の画像PからCNNを用いた画像分類により、第1クレーン11の第1ブーム画像Bb1と第2クレーン41の第2ブーム画像Bb2とを検出する。画像処理装置7は、ステップをステップS130に移行させる。
【0056】
ステップS130において、画像処理装置7は、検出した第1ブーム画像Bb1の軸線上の両端部を示す画像上の先端位置座標Tb1と基端位置座標Ab1、および第2ブーム画像Bb2の軸線上の両端部を示す画像上の先端位置座標Tb2と基端位置座標Ab2とを取得する。画像処理装置7は、ステップをステップS140に移行させる。
【0057】
ステップS140において、画像処理装置7は、第1ブーム画像Bb1の特徴量Fb1と第2ブーム画像Bb2の特徴量Fb2とを用いて過去検出画像Paから第1ブーム画像Bb1の単位時間前の画像である第1ブーム画像Ba1と、第2ブーム画像Bb2の単位時間前の画像である第2ブーム画像Ba2と、を検出する。画像処理装置7は、ステップをS150に移行させる。
【0058】
ステップS150において、画像処理装置7は、第1ブーム画像Bb1の先端位置座標Tb1および基端位置座標Ab1と第1ブーム画像Ba1の先端位置座標Ta1および基端位置座標Aa1から、第1ブーム画像Bb1の第1ブーム長さBL1および第1旋回中心BC1およびブーム先端の第1移動方向BM1を算出する。同様に、画像処理装置7は、第2ブーム画像Bb2の先端位置座標Tb2および基端位置座標Ab2と第2ブーム画像Ba2の先端位置座標Ta2および基端位置座標Aa2から、第2ブーム画像Bb2の第2ブーム長さBL2、第2旋回中心BC2およびブーム先端の第2移動方向BM2を算出する。画像処理装置7は、ステップをステップS160に移行させる。
【0059】
ステップS160において、画像処理装置7は、算出した第1ブーム画像Bb1の第1ブーム長さBL1および第1旋回中心BC1から第1作業領域BR1を算出する。同様に、画像処理装置7は、第2ブーム画像Bb2の第2ブーム長さBL2および第2旋回中心BC2から第2作業領域BR2を算出する。画像処理装置7は、ステップをステップS170に移行させる。
【0060】
ステップS170において、画像処理装置7は、表示装置6に最新検出画像Pbを表示する。更に、表示装置6は、第1作業領域BR1を示す画像と第1ブーム画像Bb1のブーム先端の第1移動方向BM1を示す画像を重畳表示させる。同様に、表示装置6は、第2作業領域BR2を示す画像と第2ブーム画像Bb2のブーム先端の第2移動方向BM2を示す画像を重畳表示させる。画像処理装置7は、ステップをステップS200に移行させる。
【0061】
ステップS200において、画像処理装置7は、距離判定制御Aを開始し、ステップをステップS210に移行させる(
図7参照)。画像処理装置7は、距離判定制御Aが終了するとステップをステップS110に移行させる(
図6参照)。
【0062】
図7に示すように、距離判定制御AのステップS210において、画像処理装置7は、第1ブーム画像Bb1の画像上の位置座標である先端位置座標Tb1および基端位置座標Ab1と、第2ブーム画像Bb2の画像上の位置座標である先端位置座標Tb2および基端位置座標Ab2とから第1ブーム画像Bb1と第2ブーム画像Bb2との最新検出画像Pb上の実距離Lbを算出する。画像処理装置7は、ステップをステップS220に移行させる。
【0063】
ステップS220において、画像処理装置7は、単位時間前に算出した過去検出画像Paにおける第1ブーム画像Ba1と第2ブーム画像Ba2との実距離Laに対する実距離Lbの変化量DLを算出する。画像処理装置7は、ステップをステップS230に移行させる。
【0064】
ステップS230において、画像処理装置7は、算出した実距離Lbが所定値Ls未満であるか否か判定する。
その結果、実距離Lbが所定値Ls未満である場合、画像処理装置7はステップをステップS240に移行させる。
一方、実距離Lbが所定値Ls未満でない場合、画像処理装置7は距離判定制御Aを終了する。画像処理装置7は、ステップをステップS110に移行させる(
図6参照)。
【0065】
ステップS240において、画像処理装置7は、算出した実距離Laに対する実距離Lbの変化量DLがマイナスか否か判定する。
その結果、実距離Laに対する実距離Lbの変化量DLがマイナスである場合、画像処理装置7はステップをステップS250に移行させる。
一方、実距離Laに対する実距離Lbの変化量DLがゼロ以上である場合、画像処理装置7は距離判定制御Aを終了する。画像処理装置7は、ステップをステップS110に移行させる(
図6参照)。
【0066】
ステップS250において、画像処理装置7は、他機である第2クレーン41のブーム48が近接しているとして、表示装置6に自機である第1クレーン11のブーム18と第2クレーン41のブーム48との接触の可能性を報知する文字、図形、色、発光等の表示を所定時間継続して行う。画像処理装置7は、ステップをステップS260に移行させる。
【0067】
ステップS260において、画像処理装置7は、第1クレーン11のブーム18を停止させる制御信号を第1クレーン11の制御装置37(
図10参照)に送信する。画像処理装置7は距離判定制御Aを終了する。画像処理装置7は、ステップをステップS110に移行させる(
図6参照)。
【0068】
なお、接触抑制制御の別実施形態として、接触抑制装置1は、接触抑制制御における距離判定制御Aに代えて、領域判定制御Bを実施してもよい。
【0069】
接触抑制制御における接触抑制装置1の画像処理装置7は、表示装置6に最新検出画像Pb、第1作業領域BR1を示す画像、第1ブーム画像Bb1のブーム先端の第1移動方向BM1を示す画像、第2作業領域BR2を示す画像および第2ブーム画像Bb2のブーム先端の第2移動方向BM2を示す画像を重畳表示させた後(図の接触抑制制御におけるステップS170参照)、領域判定制御Bを開始する。画像処理装置7は、ステップをステップS310に移行させる(
図8参照)。
【0070】
図8に示すように、領域判定制御BのステップS310において、画像処理装置7は、最新検出画像Pbから検出した第1クレーン11の第1作業領域BR1と第2クレーン41の第2作業領域BR2が重複している接触領域Cを算出する。画像処理装置7は、ステップをステップS320に移行させる。
【0071】
ステップS320において、画像処理装置7は、第1クレーン11の第1ブーム画像Bb1と第2クレーン41の第2ブーム画像Bb2とのうち少なくとも一方のブーム画像が接触領域C内に含まれているか否か判定する。
その結果、第1ブーム画像Bb1と第2ブーム画像Bb2とのうち少なくとも一方のブーム画像が接触領域C内に含まれている場合、画像処理装置7はステップをステップS330に移行させる。
一方、第1ブーム画像Bb1と第2ブーム画像Bb2とが接触領域C内に含まれていない場合、画像処理装置7は領域判定制御Bを終了する。画像処理装置7は、ステップをステップS110に移行させる(
図6参照)。
【0072】
ステップS330において、画像処理装置7は、第1ブーム画像Bb1または第2ブーム画像Bb2のいずれか一方が接触領域C内に含まれているか否か判定する。
その結果、第1ブーム画像Bb1または第2ブーム画像Bb2のいずれか一方が接触領域C内に含まれている場合、画像処理装置7はステップをステップS340に移行させる。
一方、第1ブーム画像Bb1および第2ブーム画像Bb2が接触領域C内に含まれている場合、画像処理装置7はステップをステップS350に移行させる。
【0073】
ステップS340において、画像処理装置7は、第1ブーム画像Bb1と第2ブーム画像Bb2との間の実距離Laに対する実距離Lbの変化量DLがマイナスか否か判定する。
その結果、実距離Laに対する実距離Lbの変化量DLがマイナスである場合、画像処理装置7はステップをステップS350に移行させる。
一方、実距離Laに対する実距離Lbの変化量DLがマイナスでない場合、画像処理装置7は領域判定制御Bを終了する。画像処理装置7は、ステップをステップS110に移行させる(図参照)。
【0074】
ステップS350において、画像処理装置7は、自機である第1クレーン11のブーム18と他機である第2クレーン41のブーム48とが接触する可能性が高いとして、ブーム18とブーム48との接触の可能性を報知する文字、図形、色、発光等の表示を表示装置6に表示するとともに、少なくとも第1クレーン11にブーム18を停止させる制御信号を送信する。画像処理装置7は領域判定制御Bを終了する。画像処理装置7は、ステップをステップS110に移行させる(
図6参照)。
【0075】
このように構成することで、接触抑制装置1は、無人飛行体2に設けられたカメラ4によって第1クレーン11と第2クレーン41とを俯瞰画像として撮影するので第1クレーン11と第2クレーン41との各ブームの相対位置を容易に把握することができる。加えて、接触抑制装置1の画像処理装置7は、第1クレーン11と第2クレーン41とが含まれる俯瞰画像である最新検出画像Pbに、第1クレーン11の第1作業領域BR1を示す画像と第1移動方向BM1を示す画像および第2クレーン41の第2作業領域BR2を示す画像と第2移動方向BM2を示す画像を重畳表示させた拡張現実(AR)を生成することができる。
【0076】
また、接触抑制装置1の画像処理装置7は、最新検出画像Pbにおける第1クレーン11のブーム18と第2クレーン41のブーム48とのブーム間の間隔が所定値Ls未満である場合、ブーム18とブーム48とが接触する可能性が高いと判定し、接触の可能性を報知する色、図形、文字等を用いて所定の態様で表示装置6に表示する。更に、画像処理装置7は、第1クレーン11に警報信号、停止信号等の所定の制御信号を送信する。
【0077】
また、画像処理装置7は、第1クレーン11の第1作業領域BR1と第2クレーン41の第2作業領域BR2が重複している接触領域Cにブーム18とブーム48との少なくとも一方が含まれ、且つ近づいている場合、第1クレーン11にブーム18を停止させる制御信号を送信してもよい。これにより、接触抑制装置1は、通信によって第1クレーン11と第2クレーン41とから各種情報を取得することなく第1クレーン11のブーム18と第2クレーン41のブーム48との接触を抑制することができる。
【0078】
本実施形態において、接触抑制装置1は、第1クレーン11のブーム18と第2クレーン41のブーム48との接触を抑制しているが、これに限定するものではない。接触抑制装置1は、ブームを備えた作業車両として高所作業車同士の接触、または移動式クレーンのブームと高所作業車のブームまたはバケットとの接触を抑制する構成でもよい。接触抑制装置1は、画像認識を用いた拡張現実を利用することで、メーカーが異なる作業車両同士だけでなく、機種が異なる作業車両同士の接触を抑制することができる。
【0079】
次に、
図9と
図10とを用いて、本発明の第2実施形態に係る接触抑制装置1を備えた作業車両である移動式クレーンについて説明する。なお、以下の実施形態に係る接触抑制装置1を備えた移動式クレーンは、
図1から
図10に示す接触抑制装置1が適用されるものとして、その説明で用いた名称、図番、符号を用いることで、同じものを指す。よって、以下の実施形態において、既に説明した実施形態と同様の点に関してはその具体的説明を省略し、相違する部分を中心に説明する。なお、本実施形態においては、ラフテレーンクレーンついて説明を行うが、作業車両として、オールテレーンクレーン、トラッククレーン、積載型トラッククレーン、高所作業車等でもよい。
【0080】
図9に示すように、第1クレーン11は、不特定の場所に移動可能な移動式クレーンである。第1クレーン11は、車両12、作業装置であるクレーン装置15を有する。
【0081】
車両12は、クレーン装置15を搬送する走行体である。車両12は、複数の車輪12aを有し、エンジン13を動力源として走行する。車両12には、アウトリガ14が設けられている。アウトリガ14は、車両12の幅方向両側に油圧によって延伸可能な張り出しビームと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダとから構成されている。車両12は、アウトリガ14を車両12の幅方向に延伸させるとともにジャッキシリンダを接地させることにより、クレーン1の作業可能範囲を広げることができる。
【0082】
クレーン装置15は、荷物Wをワイヤロープによって吊り上げる装置である。クレーン装置15は、旋回台16、ブーム18、ジブ18a、起伏用油圧シリンダ20、メインフックブロック21、メインワイヤロープ22、サブフックブロック23、サブワイヤロープ24、メインウインチ25、サブウインチ27、キャビン29、接触抑制装置1(
図10参照)等を具備する。
【0083】
旋回台16は、クレーン装置15を旋回可能に構成する構造体である。旋回台16は、円環状の軸受を介して車両12のフレーム上に設けられる。旋回台16は、円環状の軸受の中心を回転中心として回転自在に構成されている。旋回台16には、アクチュエータである油圧式の旋回用油圧モータ17が設けられている。旋回台16は、旋回用油圧モータ17によって一方向と他方向とに旋回可能に構成されている。
【0084】
旋回用油圧モータ17は、電磁比例切換バルブである旋回用バルブ32(
図10参照)によって回転操作される。旋回用バルブ32は、旋回用油圧モータ17に供給される作動油の流量を任意の流量に制御することができる。
【0085】
ブーム18は、荷物Wを吊り上げ可能な状態にワイヤロープを支持する構造体である。ブーム18は、複数のブーム部材から構成されている。ブーム18は、ベースブーム部材の基端が旋回台16の略中央に揺動可能に設けられている。ブーム18は、各ブーム部材を伸縮用油圧シリンダ19(
図10参照)で移動させることで軸方向に伸縮自在に構成されている。また、ブーム18は、起伏用油圧シリンダ20で移動させることで起伏自在に構成されている。ブーム18には、ジブ18aが設けられている。
【0086】
伸縮用油圧シリンダ19は、電磁比例切換バルブである伸縮用バルブ33(
図10参照)によって伸縮操作される。伸縮用バルブ33は、伸縮用油圧シリンダ19に供給される作動油の流量を任意の流量に制御することができる。
【0087】
起伏用油圧シリンダ20は、ブーム18を起立および倒伏させ、ブーム18の姿勢を保持するアクチュエータである。起伏用油圧シリンダ20は、シリンダ部の端部が旋回台16に揺動自在に連結され、ロッド部の端部がブーム18のベースブーム部材に揺動自在に連結されている。起伏用油圧シリンダ20は、電磁比例切換バルブである起伏用バルブ34(
図10参照)によって伸縮操作される。起伏用バルブ34は、起伏用油圧シリンダ20に供給される作動油の流量を任意の流量に制御することができる。
【0088】
メインフックブロック21とサブフックブロック23とは、荷物Wを吊る部材である。メインフックブロック21には、メインワイヤロープ22が巻き掛けられる複数のフックシーブと、荷物Wを吊るメインフック21aとが設けられている。サブフックブロック23には、荷物Wを吊るサブフック23aが設けられている。
【0089】
メインウインチ25は、メイン用油圧モータ26(
図10参照)によってメインドラムを回転させ、メインワイヤロープ22の繰り入れ、繰り出しを行う。サブウインチ27は、サブ用油圧モータ28(
図10参照)によってサブドラムを回転させ、サブワイヤロープ24の繰り入れ、繰り出しを行う。
【0090】
メイン用油圧モータ26は、電磁比例切換バルブであるメイン用バルブ35(
図10参照)によって回転操作される。サブ用油圧モータ28は、電磁比例切換バルブであるサブ用バルブ36(
図10参照)によって回転操作される。
【0091】
キャビン29は、操縦席を覆う構造体である。キャビン29は、旋回台16に搭載されている。図示しない操縦席が設けられている。操縦席には、車両12を走行操作するための走行用操作具30(
図10参照)、クレーン装置15を操作するための作業装置用操作具31(
図10参照)等が設けられている。また、作業装置用操作具31は、旋回用油圧モータ17、伸縮用油圧シリンダ19、起伏用油圧シリンダ20、メイン用油圧モータ26、サブ用油圧モータ28等を操作することができる。
【0092】
第1クレーン11の制御装置37(
図10参照)は、キャビン29内に設けられている。制御装置37は、実体的には、CPU、ROM、RAM、HDD等がバスで接続される構成であってもよく、あるいはワンチップのLSI等からなる構成であってもよい。制御装置37は、各アクチュエータ、切換えバルブ、センサ等の動作を制御するために種々のプログラム、データが格納されている。
【0093】
図10に示すように、制御装置37は、走行用操作具30および作業装置用操作具31に接続され、走行用操作具30および作業装置用操作具31のそれぞれの操作量を取得することができる。
【0094】
制御装置37は、旋回用バルブ32、伸縮用バルブ33、起伏用バルブ34、メイン用バルブ35およびサブ用バルブ36に接続され、旋回用バルブ32、伸縮用バルブ33、起伏用バルブ34、メイン用バルブ35およびサブ用バルブ36に制御信号を伝達することができる。
【0095】
制御装置37は、走行用操作具30および作業装置用操作具31の操作量に基づいて各操作具に対応した制御信号を生成することができる。
【0096】
制御装置37は、接触抑制装置1の画像処理装置7に接続され、画像処理装置7からの制御信号を取得することができる。
【0097】
このように構成される第1クレーン11は、車両12を走行させることで任意の位置にクレーン装置15を移動させることができる。また、クレーン1は、作業装置用操作具31の操作によって起伏用油圧シリンダ20でブーム18を任意の起伏角度に起立させて、ブーム18を任意のブーム長さに延伸させたりすることでクレーン装置15の揚程、作業領域を拡大することができる。また、第1クレーン11は、メインウインチ25またはサブウインチ27を回転させて荷物Wを吊り上げおよび吊り下げることができる。また、第1クレーン11は、旋回台16を旋回させることで荷物Wを搬送することができる。また、第1クレーン11は、接触抑制装置1からの制御信号によって、ブーム18の起伏、伸縮、旋回動作を停止させることができる。
【0098】
また、第1クレーン11は、接触抑制装置1によって自機である第1クレーン11の画像と他機である第2クレーン41の画像に各クレーンの作業領域と移動方向とが表示された拡張現実で第1クレーン11の作動状態だけでなく第2クレーン41の作動状態を操縦者に視覚的に伝達することができる。
【0099】
第1クレーン11は、第2クレーン41と近接した場合、接触抑制装置1の表示装置6を介して操縦者に第2クレーン41との近接を報知する。また、第1クレーン11は、接触抑制装置1からブーム18を停止させる制御信号を取得すると、ブーム18を停止させる(
図6および
図7参照)。このように、第1クレーン11は、接触抑制装置1のカメラ4が撮影した画像に基づいて、第1クレーン11と第2クレーン41との作業領域およびブーム18の先端の移動方向を算出する。これにより、接触抑制装置1を備える第1クレーン11は、通信によって第2クレーン41を含む複数の移動式クレーンから作動状態に関する各種情報を取得することなく前記複数の移動式クレーンのブーム同士の接触を抑制することができる。
【0100】
また、第1クレーン11は、接触抑制装置1の遠隔操作端末5によって、ブーム18の制御を行うように構成されていてもよい。これにより、第1クレーン11の操縦者は、表示装置6に表示される第2クレーン41の作動状態等を視覚的に監視しながら、第1クレーン11の操作を行うことができる。
【0101】
上述の実施形態は、代表的な形態を示したに過ぎず、一実施形態の骨子を逸脱しない範囲で種々変形して実施することができる。さらに種々なる形態で実施し得ることは勿論のことであり、本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲に記載の均等の意味、および範囲内のすべての変更を含む。
【符号の説明】
【0102】
1 接触抑制装置
4 カメラ
6 表示装置
7 画像処理装置
11 第1クレーン
41 第2クレーン
BR1 第1作業領域
BR2 第2作業領域
BM1 第1移動方向
BM2 第2移動方向