(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-07
(45)【発行日】2024-10-16
(54)【発明の名称】設置位置表示システムおよび作業車両
(51)【国際特許分類】
B66C 13/00 20060101AFI20241008BHJP
B66C 23/88 20060101ALI20241008BHJP
【FI】
B66C13/00 D
B66C23/88 A
(21)【出願番号】P 2021032889
(22)【出願日】2021-03-02
【審査請求日】2023-12-13
(73)【特許権者】
【識別番号】000148759
【氏名又は名称】株式会社タダノ
(74)【代理人】
【識別番号】100196623
【氏名又は名称】松下 計介
(72)【発明者】
【氏名】元木 浩平
【審査官】中島 亮
(56)【参考文献】
【文献】特開2018-095372(JP,A)
【文献】特開2018-072066(JP,A)
【文献】特開2015-011368(JP,A)
【文献】国際公開第2019/131979(WO,A1)
【文献】実開平04-094392(JP,U)
【文献】米国特許出願公開第2020/0255267(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
B66C 13/00- 15/06
B66C 23/88
(57)【特許請求の範囲】
【請求項1】
走行体に旋回台を介して起伏可能なブームが設けられた作業車両が作業可能な地表面を表示する設置位置表示システムであって、
現実画像を撮影する撮影装置と、
前記撮影装置の撮影位置及び撮影方向を検出する撮影位置検出装置と、
前記作業車両に関する作業車両情報、前記作業車両の作業に関する作業情報及び地盤の状態に関する地盤情報を取得する情報取得装置と、
前記現実画像に含まれる地表面の画像部分を検出し、前記作業車両情報と前記作業情報と前記地盤情報とから、前記地表面において前記作業車両が移動可能な範囲である移動可能範囲と前記作業車両が作業可能な範囲である作業可能範囲との少なくとも一つの範囲を算出し、前記移動可能範囲と前記作業可能範囲との少なくとも一つを示す仮想画像を前記地表面の画像部分の形状に合わせて生成し、前記現実画像における前記地表面の画像部分に前記仮想画像を重ねた合成画像を生成する画像処理装置と、
前記合成画像を表示する表示装置と、を備える設置位置表示システム。
【請求項2】
前記画像処理装置は、
取得した前記地盤情報から、前記現実画像における前記地表面の画像部分に前記地盤の許容支持力の値を更に重ね合わせた前記合成画像を生成する請求項1に記載の設置位置表示システム。
【請求項3】
前記情報取得装置は、
前記作業車両情報に含まれる前記作業車両の現在位置を取得し、
前記画像処理装置は、
前記作業車両が移動中且つ算出した前記移動可能範囲に位置していない場合、または前記作業車両が作業中且つ前記作業可能範囲に位置していない場合、前記表示装置に警告に関する表示を行う請求項1または請求項2に記載の設置位置表示システム。
【請求項4】
前記画像処理装置は、
前記作業車両から取得した作業車両の姿勢情報と搬送している荷物の重量とから前記作業車両の走行時の荷重を支持するために必要な前記地盤の支持力である移動支持力または前記作業車両の作業時の荷重を支持するために必要な前記地盤の支持力である作業支持力を算出し、前記移動支持力または前記作業支持力が前記地盤の許容支持力に基づく基準値を超えると前記表示装置に警告に関する表示を行う請求項1から請求項3のいずれか一項に記載の設置位置表示システム。
【請求項5】
前記撮影装置と、前記撮影位置検出装置と、前記情報取得装置と、前記画像処理装置と、前記表示装置とが一体に構成された携帯端末である請求項1から請求項4のいずれか一項に記載の設置位置表示システム。
【請求項6】
走行体に旋回台を介して起伏可能なブームが設けられた作業車両であって、請求項1から請求項5のいずれか一項に記載の設置位置表示システムを備える作業車両。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、設置位置表示システムおよび作業車両に関する。詳しくは、走行体に旋回台を介して起伏可能なブームが設けられた作業車両の設置位置表示システムおよび設置位置表示システムを備える作業車両に関する。
【背景技術】
【0002】
従来、土木工事、建築工事等の工事現場は、自然地形の状態に応じて、掘削、埋め立て等の造成作業によって整地される。整地された工事現場では、地上、地下に構造物を構築するために、地面を掘削したり掘削した部分を埋め戻したりする。また、工事現場では、地盤の状態、区画の用途に応じて地盤改良工事等が行われる。しかし、前記工事現場では、各作業が完了した後に地下の構造物の位置、埋め立て、埋め戻しおよび地盤改良工事等の地盤に対して施された工事の範囲を把握することが難しい。そこで、拡張現実(Augmented Reality)の技術を利用して、工事現場の地下の構造物、地盤の状態を視覚で把握することができる技術が知られている。例えば特許文献1の如くである。
【0003】
特許文献1に記載の表示制御装置は、カメラで撮像された工事現場の撮像データと、前記カメラを保持する利用者の位置および姿勢に関する情報と、前記工事現場の仮想モデルに関する情報とに基づいて、前記カメラの撮像方向から見た前記工事現場の状態を示す状態仮想モデルを演算する。前記表示装置は、前記撮像データと演算された前記状態仮想モデルとを合成して表示する。前記利用者は、前記工事現場の地下の構造物の位置、埋め戻しの範囲、地盤改良工事の範囲を工事現場の撮像データ上に重畳表示される仮想モデルで確認することができる。
【0004】
また、前記工事現場では、移動式クレーン、バックホウ等の様々な作業車両が工事現場内を移動し、移動先で様々な作業を行う。例えば、前記移動式クレーンは、重量物であるウェイトを搭載した状態で工事現場内の所定の位置まで移動したりアウトリガで支持された状態で重量物を任意の位置に搬送したりする。前記移動式クレーンは、工事現場内を移動する際、車両重量を支持可能な支持力を有する地盤上でなければ移動できない。また、前記移動式クレーンは、重量物を搬送する際、搬送時に発生するモーメントと車両重量とを支持可能な支持力を有する地盤上でなければ設置できない。従って、移動式クレーンは、移動経路または設置位置の地盤が十分な支持力を有してるか把握する必要がある。
【0005】
一方、前記工事現場は、自然地形の造成作業、建築作業に伴う埋め戻し、地盤改良工事等の内容、状況によって地盤の支持力が異なる。特許文献1の表示制御装置は、前記工事現場の地下の構造物の位置、埋め戻しの範囲、地盤改良工事の範囲をVR技術で確認することができる。しかし、前記表示制御装置は、前記移動式クレーンが移動または設置可能な支持力を有する地盤かどうか判定することができない。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の目的は、作業車両と作業車両による作業の内容と地盤の支持力とに基づいて作業車両の移動経路または設置位置を決定するための情報を提供することができる設置位置表示システムおよび作業車両の提供を目的とする。
【課題を解決するための手段】
【0008】
本発明者らは、作業車両と作業車両による作業の内容と地盤の支持力とに基づいて作業車両の移動経路または設置位置を決定するための情報を提供することができる設置位置表示システムおよび作業車両について検討した。鋭意検討の結果、本発明者らは、以下のような構成に想到した。
【0009】
本発明の一実施形態に係る設置位置表示システムは、走行体に旋回台を介して起伏可能なブームが設けられた作業車両が作業可能な地表面を表示する設置位置表示システムである。
【0010】
設置位置表示システムは、現実画像を撮影する撮影装置と、前記撮影装置の撮影位置及び撮影方向を検出する撮影位置検出装置と、前記作業車両に関する作業車両情報、前記作業車両の作業に関する作業情報及び地盤の状態に関する地盤情報を取得する情報取得装置と、表示装置と、画像処理装置とを備える。画像処理装置は、前記現実画像に含まれる地表面の画像部分を検出する。また、画像処理装置は、前記作業車両情報と前記作業情報と前記地盤情報とから、前記地表面において前記作業車両が移動可能な範囲である移動可能範囲と前記作業車両が作業可能な範囲である作業可能範囲との少なくとも一つの範囲を算出する。また、画像処理装置は、前記移動可能範囲と前記作業可能範囲との少なくとも一つを示す仮想画像を前記地表面の画像部分の形状に合わせて生成する。また、画像処理装置は、前記現実画像における前記地表面の画像部分に前記仮想画像を重ねた合成画像を生成する。
【0011】
上述のように、前記画像処理装置は、前記作業車両の前記移動可能範囲または前記作業可能範囲を示す仮想画像を前記地表面の画像部分の形状に合わせて生成する。更に、前記画像処理装置は、前記現実画像における前記地表面の画像部分に前記仮想画像を重ねた合成画像を生成する。つまり、前記設置位置表示システムは、前記作業車両の種別、作業の内容に基づいて移動中の前記作業車両または作業中の前記作業車両を支持できる地盤の範囲を算出している。これにより、前記設置位置表示システムは、作業車両と作業車両による作業の内容と地盤の支持力とに基づいて作業車両の移動経路または設置位置を決定するための情報を提供することができる。
【0012】
他の観点によれば、本発明の設置位置表示システムにおける画像処理装置は、取得した前記地盤情報から、前記現実画像における前記地表面の画像部分に前記地盤の許容支持力の値を更に重ね合わせた前記合成画像を生成する。
【0013】
上述のように、前記画像処理装置は、地盤の許容支持力の値を更に表示する。従って、操縦者は、地盤の許容支持力の値からより最適な移動経路、設置位置を選択することができる。これにより、前記設置位置表示システムは、作業車両と作業車両による作業の内容と地盤の支持力とに基づいて作業車両の移動経路または設置位置を決定するための情報を提供することができる。
【0014】
他の観点によれば、本発明の設置位置表示システムにおける情報取得装置は、前記作業車両情報に含まれる前記作業車両の現在位置を取得し、前記画像処理装置は、前記作業車両が移動中且つ算出した前記移動可能範囲に位置していない場合、または前記作業車両が作業中且つ前記作業可能範囲に位置していない場合、前記表示装置に警告に関する表示を行う。
【0015】
上述のように、前記画像処理装置は、作業車両の種別および作業の内容に対して地盤の支持力が不足している旨を操縦者に通知する。これにより、前記設置位置表示システムは、作業車両と作業車両による作業の内容と地盤の支持力とに基づいて作業車両の移動経路または設置位置を決定するための情報を提供することができる。
【0016】
他の観点によれば、本発明の設置位置表示システムにおける画像処理装置は、前記作業車両から取得した作業車両の姿勢情報と搬送している荷物の重量とから前記作業車両の走行時の荷重を支持するために必要な前記地盤の支持力である移動支持力または前記作業車両の作業時の荷重を支持するために必要な前記地盤の支持力である作業支持力を算出し、前記移動支持力または前記作業支持力が前記地盤の許容支持力に基づく基準値を超えると前記表示装置に警告に関する表示を行う。
【0017】
上述のように、前記画像処理装置は、前記作業車両の走行中または作業中に生じる前記作業荷重を監視している。前記画像処理装置は、例えば取得した作業情報に基づいた作業と異なる状態で作業が行われ、発生する前記作業荷重を支持するために地盤が必要とする支持力である作業支持力が前記地盤の許容支持力に基づく基準値を超えた場合、当該作業を行う作業車両に対して地盤の支持力が不足している旨の警告を表示装置に通知する。これにより、前記設置位置表示システムは、作業車両と作業車両による作業の内容と地盤の支持力とに基づいて作業車両の移動経路または設置位置を決定するための情報を提供することができる。
【0018】
他の観点によれば、本発明の設置位置表示システムは、前記撮影装置と、前記撮影位置検出装置と、前記情報取得装置と、前記画像処理装置と、前記表示装置とが一体に構成された携帯端末である。
【0019】
上述のように、前記設置位置表示システムは、携帯端末に各装置が含まれているので、作業車両の操縦席以外の場所から作業車両の位置と移動可能範囲または作業可能範囲との位置関係を視認することができる。これにより、前記設置位置表示システムは、作業車両と作業車両による作業の内容と地盤の支持力とに基づいて作業車両の移動経路または設置位置を決定するための情報を提供することができる。
【0020】
本発明の一実施形態に係る作業車両は、走行体に旋回台を介して起伏可能なブームが設けられ、上述の設置位置表示システムを備える。
【0021】
上述のように、前記設置位置表示システムを備えた前記作業車両は、前記設置位置表示システムによって前記作業車両の前記作業可能範囲を示す仮想画像が前記地表面の画像部分の形状に合わせて生成される。更に、前記作業車両は、前記画像処理装置によって前記現実画像における前記地表面の画像部分に前記仮想画像を重ねた合成画像が生成される。つまり、前記作業車両は、作業の内容に基づいて移動中または作業中の反力である作業荷重を支持できる地盤の範囲を算出している。これにより、前記設置位置表示システムを備えた前記作業車両は、作業車両と作業車両による作業の内容と地盤の支持力とに基づいて作業車両の移動経路または設置位置を決定するための情報を提供することができる。
【発明の効果】
【0022】
本発明の一実施形態によれば、前記設置位置表示システムおよび前記設置位置表示システムを備える作業車両は、作業車両と作業車両による作業の内容とに基づいて作業車両の移動経路または設置位置を決定するための情報を提供することができる。
【図面の簡単な説明】
【0023】
【
図1】
図1は、本発明の第1実施形態に係る設置位置表示システムの全体構成を示すブロック図である。
【
図2】
図2は、本発明の第1実施形態に係る設置位置表示システムの合成画像の生成工程を示す工程図である。
【
図3】
図3は、本発明の第1実施形態に係る設置位置表示システムによって現実画像から地表面を検出した状態を示す図である。
【
図4】
図4は、生成した仮想画像を示す。(A)は、生成した仮想画像の平面画像を示す図である。(B)は、現実画像に重ね合わせ可能な仮想画像を示す図である。
【
図5】
図5は、本発明の第1実施形態に係る設置位置表示システムによって生成した合成画像を示す図である。
【
図6】
図6は、本発明の第1実施形態に係る設置位置表示システムを含む携帯端末の使用状態を示す図。
【
図7】
図7は、本実施形態の第1実施形態に係る設置位置表示システムにおける許容支持力の値の表示を示す図。
【
図8】
図8は、本実施形態の第1実施形態に係る設置位置表示システムによる警報に関する表示を示す図。
【
図9】
図9は、本発明の第2実施形態に係る移動式クレーンの全体構成を示す側面図。
【
図10】
図10は、本発明の第2実施形態に係る移動式クレーンの制御構成を示すブロック図。
【発明を実施するための形態】
【0024】
以下で、各実施形態について、図面を参照しながら説明する。各図において、同一部分には同一の符号を付して、その同一部分の説明は繰り返さない。なお、各図中の構成部材の寸法は、実際の構成部材の寸法及び各構成部材の寸法比率等を忠実に表したものではない。
【0025】
[実施形態1]
<全体構成>
以下に、
図1を用いて、本発明の第1実施形態に係る設置位置表示システム1について説明する。
図1は、本発明の第1実施形態に係る設置位置表示システム1の全体構成を示すブロック図である。
【0026】
図1に示すように、設置位置表示システム1は、旋回、且つ起伏可能なブームが設けられた作業車両である移動式クレーンMCが移動可能または設置可能な位置を表示するシステムである。設置位置表示システム1は、撮影装置2、撮影位置検出装置3、情報取得装置4、表示装置5、および画像処理装置6を備える。
【0027】
撮影装置2は、移動式クレーンMCが移動または作業を行う工事現場を撮影する装置である。撮影装置2は、移動式クレーンMCの周囲を撮影するために所定の範囲を撮影可能である。撮影装置2は、画像処理装置6からの制御信号を取得可能である。また、撮影装置2は、撮影した画像である現実画像RIを画像処理装置6に送信可能である。
【0028】
撮影装置2は、例えば、360度の視野角を有する360度カメラから構成されている。なお、撮影装置2は、回転機構を有し、360度の範囲をスキャン可能なカメラでもよい。また、撮影装置2は、移動式クレーンMCの操縦席からみてブームの延伸方向を撮影するために、移動式クレーンMCの制御装置と連動してもよい。また、撮影装置2は、移動式クレーンMCを遠隔操作する遠隔操作端末、操縦者が身体の身に着けるウェアラブル端末に設けられていてもよい。
【0029】
撮影位置検出装置3は、撮影装置2の絶対座標を検出する装置である。撮影位置検出装置3は、撮影装置2と一体または撮影装置2の近傍に設けられている。撮影位置検出装置3は、例えば、撮影装置2に設けられた複数のGNSS受信機から構成されている。GNSS受信機は、全球測位衛星システム(Global Navigation Satellite System)を構成する受信機である。GNSS受信機は、衛星から測距電波を受信し、グローバル座標系の緯度、経度、標高を算出する。撮影位置検出装置3は、画像処理装置6からの制御信号を取得可能である。撮影位置検出装置3は、撮影装置2に設けられた複数のGNSS受信機のグローバル座標系における緯度、経度および標高を撮影装置2の絶対座標(以下、単に「位置座標P」と記す)として画像処理装置6に送信可能である。
【0030】
なお、本実施形態で、撮影位置検出装置3は、撮影装置2に設けられた複数のGNSS受信機から構成されているが、これに限定するものではない。撮影位置検出装置3は、GNSS受信機とジャイロセンサまたは方位センサの組み合わせでもよい。また、撮影位置検出装置3は、複数のビーコン(Beacon)でもよい。なお、撮影位置検出装置3は、工事現場において絶対座標が既知である所定の位置に設置されたマーカを撮影することで撮影装置2の位置座標Pと向きを算出してもよい。
【0031】
情報取得装置4は、各種情報を取得する装置である。情報取得装置4は、有線または無線の通信装置4aと入力装置4bとを有している。つまり、情報取得装置4は、例えば外部のネットワークNに接続し、外部のサーバーSから情報を取得可能である。また、情報取得装置4は、移動式クレーンMCの制御装置に接続し、前記制御装置から情報を取得可能である。また、情報取得装置4は、入力装置4bによって入力された情報を取得可能である。情報取得装置4は、移動式クレーンMCの車両重量、姿勢情報等の情報を含む作業車両情報IV、移動式クレーンMCによって搬送される荷物Wの重量、形状、吊り上げ位置、吊り下げ位置等の搬送作業に関する情報等を含む作業情報IWおよび盛り土された範囲、埋め戻された範囲、地下構造物の範囲、地盤改良された範囲および各状態の地盤が支持できる外力である許容支持力B1を含む地盤情報IGを外部のサーバーSまたは移動式クレーンMCの制御装置等から取得する。また、情報取得装置4は、入力装置4bから操縦者の入力によって作業車両情報IV、作業情報IWおよび地盤情報IGを取得する。
【0032】
表示装置5は、現実画像RIと仮想画像VIとの合成画像CIを表示する装置である。また、表示装置5には、撮影装置2、撮影位置検出装置3、情報取得装置4および画像処理装置6を操作する操作具5aを有する。表示装置5は、例えば、表示画面上の位置情報を表示画面の接触により入力可能なタッチパネルによって構成されている。表示装置5は、タッチパネルを操作具5aとして、画面上の接触操作によって撮影装置2および画像処理装置6の操作信号を入力可能である。なお、操作具5aは、表示装置5と別体に設けられていてもよい。表示装置5は、移動式クレーンMCを遠隔操作する遠隔操作端末、操縦者が身体の身に着けるウェアラブル端末に設けられていてもよい。
【0033】
画像処理装置6は、現実画像RIと仮想画像VIとを重ね合わせた合成画像CIを生成する装置である。画像処理装置6は、実体的には、CPU、ROM、RAM、HDD等がバスで接続される構成であってもい。あるいは、画像処理装置6は、ワンチップのLSI等からなる構成であってもよい。画像処理装置6は、表示装置5に設けられた操作具5aからの操作信号に基づいて、撮影装置2、撮影位置検出装置3および情報取得装置4を制御可能である。画像処理装置6は、撮影装置2、撮影位置検出装置3および情報取得装置4を制御するために種々のプログラム、データが格納されている。画像処理装置6は、撮影装置2であるカメラの画角、焦点距離等の諸元データが格納されている。
【0034】
画像処理装置6は、撮影装置2に有線または無線で接続されている。画像処理装置6は、撮影装置2に制御信号を送信可能である。つまり、画像処理装置6は、撮影装置2を制御可能である。また、画像処理装置6は、撮影装置2が撮影した現実画像RIを取得可能である。
【0035】
画像処理装置6は、撮影位置検出装置3に有線または無線で接続されている。画像処理装置6は、撮影位置検出装置3に制御信号を送信可能である。つまり、画像処理装置6は、撮影位置検出装置3を制御可能に構成されている。また、画像処理装置6は、撮影位置検出装置3が検出した位置情報を取得可能である。画像処理装置6は、撮影位置検出装置3から取得した複数の位置座標Pから、撮影装置2の撮影位置の座標である位置座標Pcと撮影方向D(
図2参照)とを算出可能である。なお、画像処理装置6は、工事現場において絶対座標が既知である所定の位置に設置されたマーカを撮影することで位置座標Pcと撮影方向Dとを算出してもよい。画像処理装置6は、取得したマーカの画像、IMU(加速度、角速度、地磁気等)センサ、画像処理(SLAM:Simultaneous Localization and Mapping等)の技術で撮影装置2の位置座標Pcと撮影方向Dを算出する。
【0036】
画像処理装置6は、情報取得装置4に有線または無線で接続されている。画像処理装置6は、情報取得装置4に制御信号を送信可能である。つまり、画像処理装置6は、情報取得装置4を制御可能である。また、画像処理装置6は、情報取得装置4が取得した作業車両情報IV、作業情報IWおよび地盤情報IGを取得可能である。
【0037】
画像処理装置6は、算出した撮影装置2の撮影位置である位置座標Pcと撮影方向D(
図2参照)、取得した作業車両情報IV、作業情報IWおよび地盤情報IGとから移動式クレーンMCが移動可能な地表面GSの範囲である移動可能範囲MAと、移動式クレーンMCが作業可能な地表面GSの範囲である作業可能範囲WAとの少なくとも一つを示す仮想画像VIを生成することができる。
【0038】
画像処理装置6は、表示装置5に有線または無線で接続されている。画像処理装置6は、表示装置5に制御信号および撮影装置2から取得した現実画像RIと生成した仮想画像VIとの合成画像CIを送信可能である。。また、画像処理装置6は、表示装置5の操作具5aから入力された操作信号を取得可能である。
【0039】
<合成画像CIの生成工程>
次に
図1から
図5を用いて合成画像CIの生成工程を説明する。
図2は、本発明の第1実施形態に係る設置位置表示システム1の合成画像CIの生成工程を示す工程図である。
図3は、本発明の第1実施形態に係る設置位置表示システム1によって現実画像RIから地表面GSを検出した状態を示す図である。
図4(A)は、本発明の第1実施形態に係る設置位置表示システム1によって生成した仮想画像VIの平面画像を示す図である。
図4(B)は、本発明の第1実施形態に係る設置位置表示システム1によって生成した現実画像RIに重ね合わせ可能な仮想画像VIを示す図である。
図5は、本発明の第1実施形態に係る設置位置表示システム1によって生成した合成画像CIを示す図である。
【0040】
図2に示すように、設置位置表示システム1は、各装置を連動させて情報取得工程S1、地表面検出工程S2、仮想画像生成工程S3および合成画像生成工程S4の各工程を実施可能である。設置位置表示システム1は、各工程を実施することで、移動式クレーンMCの移動可能範囲MAと作業可能範囲WAとの少なくとも一つを示す仮想画像VIを工事現場(
図1参照)の現実画像RIに重畳表示させた合成画像CIを生成可能である。
【0041】
図1と
図2とに示すように、情報取得工程S1は、各種情報を取得する工程である。情報取得工程S1において、設置位置表示システム1は、表示装置5の操作具5aが操作されると、撮影装置2によって工事現場内の現実画像RIを撮影する。設置位置表示システム1は、画像処理装置6によって撮影装置2が撮影した現実画像RIを取得する。また、設置位置表示システム1は、画像処理装置6によって撮影位置検出装置3が算出した複数の位置座標Pを取得する。また、設置位置表示システム1は、情報取得装置4によって外部のサーバーSまたは移動式クレーンMCの制御装置から作業車両情報IV、作業情報IWおよび地盤情報IGを取得する。
【0042】
図2と
図3とに示すように、地表面検出工程S2は、現実画像RIにおける地表面GSの範囲を検出する工程である。地表面検出工程S2において、設置位置表示システム1は、画像処理装置6によって、現実画像RIにおける地表面の画像部分である地表面GSの範囲(網掛け部分)を検出する。つまり、画像処理装置6は、現実画像RIにおいて、建築物、資材、車両等の移動式クレーンMCにとって障害物となる地物Cによって覆われておらず、且つ障害物となる物から所定距離の範囲が含まれていない地表面GSの範囲を検出する。画像処理装置6は、例えば機械学習の教師なし学習によって地表面GSの範囲を検出する。画像処理装置6は、現実画像RIにおける各部分の特徴量を算出する。画像処理装置6は、算出した特徴量をクラスタリング等の手法によってグループに分ける。さらに、画像処理装置6は、機械学習によって習得したデータベースに基づいて地表面GSのグループを検出する。このように、設置位置表示システム1は、画像処理装置6によって現実画像RIから移動式クレーンMCが障害物に干渉することなく移動可能な地表面GSを検出する。なお、画像処理装置6は、Lidar(Laser Imaging Detection and Ranging)、ToF(Time-of-Flight)センサ等、SLAM技術で地表面GSを検出してもよい。
【0043】
図2と
図4(A)とに示すように、仮想画像生成工程S3は、仮想画像VIである移動式クレーンMCの移動可能範囲MAと作業可能範囲WAとの少なくとも一つを生成する工程である。仮想画像生成工程S3において、設置位置表示システム1は、画像処理装置6によって、作業車両情報IVおよび作業情報IWに基づいて移動時の移動式クレーンMCを支持するために必要な地盤の支持力である移動支持力B2と所定の作業時の移動式クレーンMCを支持するために必要な地盤の支持力である作業支持力B3とのうち少なくとも一つを算出する。次に、設置位置表示システム1は、取得した地盤の許容支持力B1を含む地盤情報IGと、画像処理装置6によって現実画像RIから検出した地表面GSと、算出した移動式クレーンMCの移動支持力B2および作業支持力B3と、に基づいて移動中の移動式クレーンMCを支持可能な移動支持力B2を有する地表面GSの範囲である移動可能範囲MA(ハッチング部分)と、作業中の移動式クレーンMCを支持可能な作業支持力B3を有する地表面GSの範囲である作業可能範囲WA(濃いハッチング部分)との少なくとも一つを算出する。なお、移動可能範囲MAは、作業可能範囲WAに含まれる。
【0044】
更に、
図2と
図4(B)とに示すように、仮想画像生成工程S3において、設置位置表示システム1は、画像処理装置6によって複数のGNSS受信機の位置座標Pから撮影装置2の位置座標Pcと撮影方向Dとを算出する。設置位置表示システム1は、撮影装置2の諸元データと算出した撮影装置2の位置座標Pcおよび撮影方向Dとに基づいて、算出した移動可能範囲MAと作業可能範囲WAとの少なくとも一つを撮影装置2から撮影方向Dに見える地表面GSの形状に一致する形状に変換した仮想画像VIを生成する。
【0045】
図5に示すように、合成画像生成工程S4は、現実画像RIと仮想画像VIとを合成する工程である(
図2参照)。合成画像生成工程S4において、設置位置表示システム1は、画像処理装置6によって現実画像RIにおける特定の座標を基準として仮想画像VIを現実画像RIに重ね合わせた合成画像CIを生成する。合成画像CIは、現実画像RI上における移動可能範囲MAと作業可能範囲WAとの少なくとも一つが区別可能に表示された画像である。合成画像CIには、工事現場の地物C、地表面GS(網掛け部分)等が含まれる現実画像RIに、移動可能範囲MA(ハッチング部分)と、作業可能範囲WA(濃いハッチング部分)とが仮想画像VIとして重ねて表示されている。設置位置表示システム1は、合成画像CIを表示装置5に表示する(
図1参照)。
【0046】
このように構成される設置位置表示システム1は、移動式クレーンMCの車両重量、ブーム長さ等の作業車両情報IV、搬送する荷物Wの重量、搬送位置等の作業情報IW、地盤の支持力に関する地盤情報IGに基づいて、現在の工事現場における移動中の移動式クレーンMCを支持可能な移動支持力B2を有する地盤の範囲である移動可能範囲MAと作業中の移動式クレーンMCを支持可能な作業支持力B3を有する地盤の範囲である作業可能範囲WAとの少なくとも一つを算出する。移動式クレーンMCの操縦者は、合成画像CIを参照することで、工事現場における工事の進捗状況に応じた移動式クレーンMCの移動可能範囲MAまたは作業可能範囲WAを含む仮想画像VIを現実画像RI上で認識する。これにより、設置位置表示システム1は、作業車両情報IVと作業情報IWと地盤情報IGに基づいて移動式クレーンMCの移動経路または設置位置を決定するための情報を提供することができる。
【0047】
なお、設置位置表示システム1は、撮影装置2と、撮影位置検出装置3と、情報取得装置4と、表示装置5と、画像処理装置6とが一体に構成された携帯端末7から構成されていてもよい。
図6は、本発明に係る設置位置表示システム1を含む携帯端末7の使用状態を示す図である。
【0048】
図6に示すように、設置位置表示システム1は、例えば、タッチパネルを備える携帯端末7から構成されている。携帯端末7は、撮影装置2であるカメラと、撮影位置検出装置3であるGNSS受信機およびジャイロセンサと、情報取得装置4である無線LAN等の通信装置4aと、表示装置5であるタッチパネルと、操作具5aと、画像処理装置6とを具備する携帯端末7で構成されている(
図2参照)。設置位置表示システム1は、作業者の所望する任意の位置から撮影した現実画像RIに基づいて合成画像CIを生成する。
【0049】
このように構成される設置位置表示システム1は、持ち運び可能な携帯端末7に各装置が含まれているので、移動式クレーンMCの操縦席以外の任意の場所から移動式クレーンMCの位置と移動可能範囲MAまたは作業可能範囲WAとの位置関係を合成画像CIで確認することができる。これにより、設置位置表示システム1は、工事現場において、移動式クレーンMCが移動および作業可能な範囲を操縦者の所望する画像に基づいて表示することができる。
【0050】
[第1実施形態の変形例]
次に、
図7と
図8とを用いて、第1実施形態に係る設置位置表示システム1の変形例について説明する。
図7は、本実施形態の第1実施形態に係る設置位置表示システム1における許容支持力B1の値の表示を示す図である。
図8は、本実施形態の第1実施形態に係る設置位置表示システム1による警報に関する表示を示す図である。
【0051】
図7に示すように、設置位置表示システム1は、表示装置5の画面上で指定した箇所の許容支持力B1を数値で表示してもよい。合成画像生成工程S4において(
図2参照)、設置位置表示システム1は、画像処理装置6によって現実画像RI上の特定の座標を基準として仮想画像VIを現実画像RIに重ね合わせた合成画像CIを生成する。更に、設置位置表示システム1は、取得した地盤の許容支持力B1を合成画像CIに重ね合わせて表示する。つまり、設置位置表示システム1は、許容支持力B1の分布図と許容支持力B1の数値を合成画面に重ね合わせて表示する。また、設置位置表示システム1は、許容支持力B1に対して必要な移動支持力B2または作業支持力B3を合わせて表示する構成でもよい。
【0052】
このように構成される設置位置表示システム1は、工事現場において、移動中の移動式クレーンMCを支持可能な移動支持力B2を有する地盤の範囲である移動可能範囲MAと作業中の移動式クレーンMCを支持可能な作業支持力B3を有する地盤の範囲である作業可能範囲WAとの少なくとも一つをより詳細に表示することができる。これにより、設置位置表示システム1は、操縦者に地盤の許容支持力B1の値に基づいた最適な移動経路、設置位置を選択するための情報を提供することができる。
【0053】
図8に示すように、設置位置表示システム1は、移動式クレーンMCが作業に適した地盤の範囲に位置していない場合、警報に関する情報を表示してもよい。情報取得工程S1において、設置位置表示システム1は、情報取得装置4によって移動式クレーンMCの現在位置の座標である位置座標Pmを取得する。設置位置表示システム1は、取得した移動式クレーンMCの位置座標Pmを合成画像CIに重ね合わせて表示する。さらに、設置位置表示システム1は、移動式クレーンMCの制御装置から移動式クレーンMCの状態を取得する。設置位置表示システム1は、移動中の移動式クレーンMCの位置座標Pmが移動可能範囲MAに含まれていない場合、または作業中の移動式クレーンMCの位置座標Pmが作業可能範囲WAに含まれていない場合、表示装置5(
図1参照)の合成画像CI上に警告に関する表示である図形、色、文字等による警告表示Wdによって操縦者に報知する。
【0054】
このように構成される設置位置表示システム1は、地盤の許容支持力B1が移動式クレーンMCの走行時に発生する荷重を支持するために必要な移動支持力B2、または移動式クレーンMCの作業時に発生する荷重を支持するために必要な作業支持力B3に対して不足している旨を操縦者に通知する。これにより、設置位置表示システム1は、作業車両情報IVと作業情報IWと地盤情報IGに基づいて移動式クレーンMCの移動経路または設置位置が適切か否かを判断するための情報を積極的に提供することができる。
【0055】
[第2実施形態]
次に、
図9を用いて、本発明の第2実施形態に係る設置位置表示システム1を備える作業車両である(ラフテレーンクレーン)であるクレーン11について説明する。
図9は、本発明の第2実施形態に係るクレーン11の全体構成を示す側面図である。
図10は、本発明の第2実施形態に係るクレーン11の制御構成を示すブロック図である。なお、本実施形態においては、作業車両としてクレーン11(ラフテレーンクレーン)ついて説明を行うが、オールテレーンクレーン、トラッククレーン、積載型トラッククレーン、高所作業車等でもよい。つまり、走行体に旋回台を介して起伏可能なブームが設けられた作業車両に適用可能である。
【0056】
図9に示すように、クレーン11は、不特定の場所に移動可能な移動式クレーンである。クレーン11は、車両12、作業装置であるクレーン装置16、設置位置表示システム1を有する。
【0057】
車両12は、クレーン装置16を搬送する走行体である。車両12は、複数の車輪13を有し、エンジン14を動力源として走行する。車両12には、アウトリガ15が設けられている。アウトリガ15は、車両12の幅方向両側に油圧によって延伸可能な張り出しビームと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダとを有している。
【0058】
クレーン装置16は、荷物Wをワイヤロープによって吊り上げる作業装置である。クレーン装置16は、旋回台17、ブーム19、ジブ19a、メインフックブロック20、サブフックブロック21、起伏用油圧シリンダ22、メインウインチ23、メインワイヤロープ24、サブウインチ25、サブワイヤロープ26およびキャビン27等を具備する。
【0059】
旋回台17は、クレーン装置16を旋回可能に構成する駆動装置である。旋回台17は、円環状の軸受を介して車両12のフレーム上に設けられる。旋回台17は、円環状の軸受の中心を回転中心として回転自在に構成されている。旋回台17には、アクチュエータである油圧式の旋回用油圧モータ18が設けられている。旋回用油圧モータ18は、電磁比例切換弁である旋回用バルブ31(
図10参照)によって回転操作されるアクチュエータである。旋回台17には、旋回台17の旋回角度θz(
図10参照)と旋回速度とを検出する旋回角度検出部である旋回用センサ36(
図10参照)が設けられている。旋回台17には、GNSS受信機28が設けられている。
【0060】
撮影装置2である旋回台カメラ17b(
図10参照)は、旋回台17の前方および旋回台17の後方に設けられている。旋回台カメラ17bは、図示しないカメラ用操作具によって任意の方向を撮影することができる。
【0061】
ブーム19は、荷物Wを吊り上げ可能な状態にメインワイヤロープ24およびサブワイヤロープ26を支持する可動支柱である。ブーム19は、複数のブーム部材から構成されている。ブーム19は、ベースブーム部材の基端が旋回台17の略中央に揺動可能に設けられている。ブーム19は、各ブーム部材をアクチュエータである図示しない伸縮用油圧シリンダで移動させることで軸方向に伸縮自在に構成されている。伸縮用油圧シリンダは、電磁比例切換弁である伸縮用バルブ32(
図10参照)によって伸縮操作される。
【0062】
ブーム19には、ジブ19aおよびブームカメラ19b(
図10参照)が設けられている。また、ブーム19には、ブーム19の伸縮長さlbを検出する伸縮用センサ37と、起伏角度θx(
図4参照)を検出する起伏用センサ38(
図10参照)が設けられている。
【0063】
メインフックブロック20とサブフックブロック21とは、荷物Wを吊る吊り具である。メインフックブロック20には、メインワイヤロープ24が巻き掛けられる複数のフックシーブと、荷物Wを吊るメインフック20aとが設けられている。サブフックブロック21には、荷物Wを吊るサブフック21aが設けられている。
【0064】
起伏用油圧シリンダ22は、ブーム19を起立および倒伏させ、ブーム19の姿勢を保持するアクチュエータである。起伏用油圧シリンダ22は、シリンダ部の端部が旋回台17に揺動自在に連結され、ロッド部の端部がブーム19のベースブーム部材に揺動自在に連結されている。起伏用油圧シリンダ22は、電磁比例切換弁である起伏用バルブ33(
図10参照)によって伸縮操作される。
【0065】
メインウインチ23とサブウインチ25とは、メインワイヤロープ24とサブワイヤロープ26との繰り入れ(巻き上げ)および繰り出し(巻き下げ)を行う巻回装置である。メインウインチ23は、メインワイヤロープ24が巻きつけられるメインドラムがアクチュエータである図示しないメイン用油圧モータによって回転される。サブウインチ25は、サブワイヤロープ26が巻きつけられるサブドラムがアクチュエータである図示しないサブ用油圧モータによって回転される。
【0066】
メイン用油圧モータは、電磁比例切換弁であるメイン用バルブ34(
図10参照)によって回転操作される。サブ用油圧モータは、電磁比例切換弁であるサブ用バルブ35(
図10参照)によって回転操作される。メインウインチ23とサブウインチ25とには、メインワイヤロープ24とサブワイヤロープ26の繰り出し量lf(
図10参照)をそれぞれ検出する巻回用センサ39(
図10参照)が設けられている。
【0067】
キャビン27は、筐体に覆われた操縦席である。キャビン27は、旋回台17に搭載されている。キャビン27には、車両12を走行操作するための走行用操作具29、クレーン装置16を操作するためのクレーン装置用操作具30および表示装置5等が設けられている(
図10参照)。
【0068】
図10に示すように、制御装置40は、各操作弁を介してクレーン装置16のアクチュエータを制御する。制御装置40は、実体的には、CPU、ROM、RAM、HDD等がバスで接続される構成であってもよく、あるいはワンチップのLSI等からなる構成であってもよい。制御装置40は、各アクチュエータ、切換えバルブ、センサ等の動作を制御するために種々のプログラム、データが格納されている。
【0069】
制御装置40は、旋回台カメラ17b、ブームカメラ19b、走行用操作具29、旋回操作具、起伏操作具、伸縮操作具、メインドラム操作具およびサブドラム操作具等を含むクレーン装置用操作具30に接続されている。制御装置40は、旋回台カメラ17bからの映像、ブームカメラ19bからの映像、走行用操作具29およびクレーン装置用操作具30の操作量を取得することができる。
【0070】
制御装置40は、旋回用バルブ31、伸縮用バルブ32、起伏用バルブ33、メイン用バルブ34およびサブ用バルブ35に接続されている。制御装置40は、各バルブに各アクチュエータを目標作動量まで作動させるための作動信号を伝達することができる。
【0071】
制御装置40は、旋回用センサ36、伸縮用センサ37、起伏用センサ38および巻回用センサ39に接続されている。制御装置40は、旋回台17の旋回角度θz、伸縮長さLb、起伏角度θx、およびメインワイヤロープ24またはサブワイヤロープ26(以下、単に「ワイヤロープ」と記す)の繰り出し量lfを取得することができる。
【0072】
制御装置40は、旋回台17のGNSS受信機28に接続されている。制御装置40は、旋回台17のGNSS受信機28の信号から旋回台17の旋回中心の位置座標Pを算出することができる。
【0073】
制御装置40は、走行用操作具29およびクレーン装置用操作具30の操作量に基づいて制御信号を生成する。
【0074】
このように構成されるクレーン11は、車両12を走行させることで任意の位置にクレーン装置16を移動させることができる。また、クレーン11は、各操作具によってブーム19を任意の起伏角度θx、伸縮長さLbにすることでクレーン装置16の揚程、作業半径を拡大することができる。また、クレーン11は、旋回台17とブーム19の操作によって荷物Wを搬送することができる。
【0075】
設置位置表示システム1は、撮影装置2である旋回台カメラ17bと、撮影位置検出装置3である旋回台17のGNSS受信機28と、情報取得装置4と、画像処理装置6と、表示装置5から構成されている。
【0076】
撮影位置検出装置3は、旋回台17の旋回中心の位置座標Pを取得する。撮影位置検出装置3は、旋回台17のGNSS受信機28である。撮影位置検出装置3は、情報取得装置4を介して旋回台17のGNSS受信機28の位置座標Pを画像処理装置6に送信可能である。
【0077】
情報取得装置4は、クレーン11の制御装置40に接続されている。情報取得装置4は、制御装置40を介して旋回台カメラ17bが取得した現実画像RIと、作業車両情報IVとを取得可能である。また、情報取得装置4は、制御装置40または外部のサーバーSから作業車両情報IV、作業情報IWおよび地盤情報IGを取得可能である。また、情報取得装置4は、制御装置40からクレーン11の位置座標Pmとして旋回台17の旋回中心の位置座標Pを取得可能である。
【0078】
表示装置5は、タッチパネルから構成されている。表示装置5は、クレーン11のキャビン27の内部に設けられている。表示装置5は、操縦席の操縦者が視認可能な位置、方向に配置されている。
【0079】
画像処理装置6は、情報取得装置4を介して、旋回台カメラ17bが撮影した現実画像RI、作業車両情報IV、作業情報IWおよび地盤情報IGを取得可能である。また、画像処理装置6は、情報取得装置4を介してクレーン11の位置座標Pm、旋回台17の旋回角度θz、旋回中心から旋回台カメラ17bまでの旋回半径を取得可能である。画像処理装置6は、取得した旋回台17の位置座標P、旋回用センサ36が検出する旋回角度θzおよび旋回半径から旋回台カメラ17bの位置座標Pcと撮影方向D(
図2参照)を算出可能である。なお、画像処理装置6は、クレーン11の制御装置40と一体に構成されていてもよい。
【0080】
クレーン11の設置位置表示システム1は、旋回台カメラ17b、GNSS受信機28、旋回用センサ36、情報取得装置4、画像処理装置6および表示装置5を連動させて、上述の情報取得工程S1、地表面検出工程S2、仮想画像生成工程S3および合成画像生成工程S4の各工程を実施可能である(
図2参照)。設置位置表示システム1は、各工程を実施することで、クレーン11の移動可能範囲MAと作業可能範囲WAとの少なくとも一つを示す仮想画像VIを工事現場の現実画像RIに重畳表示させた合成画像CIを生成可能である。
【0081】
このように構成されるクレーン11は、設置位置表示システム1によってクレーン11の作業可能範囲WAを示す仮想画像VIが現実画像RIの地表面GSの形状に合わせて生成される。更に、クレーン11は、画像処理装置6によって現実画像RIにおける地表面GSに仮想画像VIを重ねた合成画像CIが生成される。つまり、クレーン11は、移動中または作業中に車輪またはアウトリガ15から地盤に加わる作業荷重を支持できる地盤の範囲を算出している。これにより、クレーン11は、工事現場において、クレーン11が移動および作業可能な範囲を操縦者に提示することができる。
【0082】
[第2実施形態の変形例]
また、クレーン11は、上述の設置位置表示システム1を含む携帯端末7を備える構成でもよい。携帯端末7は、キャビン27内に位置する場合、クレーン11の制御装置40に接続されている。携帯端末7は、撮影装置2として旋回台カメラ17bが撮影した現実画像RIを取得し、撮影位置検出装置3として旋回台17のGNSS受信機28からの信号を取得する。また、携帯端末7は、キャビン27の外に位置する場合、撮影装置2として内臓カメラが撮影した現実画像RIを取得し、撮影位置検出装置3として携帯端末7のGNSS受信機からの信号を取得する。携帯端末7は、クレーン11に対する位置関係によって使用する撮影装置2、撮影位置検出装置3を切り替えることができる。また、携帯端末7は、クレーン11を遠隔操作可能であってもよい。
【0083】
また、クレーン11は、作業中に地盤に伝わるクレーン11からの作業荷重を支持するために必要な作業支持力B3が許容支持力B1に基づく基準値を超えると設置位置表示システム1によって操縦者に警告してもよい。設置位置表示システム1は、画像処理装置6によってクレーン11の制御装置40から取得したクレーン11における旋回台17の旋回角度θz、ブーム19の伸縮長さLbおよび起伏角度θx、ワイヤロープの繰り出し量lfを含む姿勢情報と搬送している荷物Wの重量とから作業荷重を支持するために地盤が必要とする作業支持力B3を算出する。設置位置表示システム1は、例えば作業情報IWに含まれる荷物Wの重量よりも重い重量の荷物Wを搬送した場合において、作業支持力B3が地盤の許容支持力B1に基づく基準値を超えると前記表示装置5に地盤の支持力が不足している旨の警告を表示する。これにより、クレーン11の設置位置表示システム1は、工事現場において、クレーン11から実際に地盤に伝わる作業荷重に基づいてクレーン11が作業可能な範囲かどうかを示すことができる。
【0084】
上述の実施形態は、代表的な形態を示したに過ぎず、一実施形態の骨子を逸脱しない範囲で種々変形して実施することができる。さらに種々なる形態で実施し得ることは勿論のことであり、本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲に記載の均等の意味、および範囲内のすべての変更を含む。
【符号の説明】
【0085】
1 設置位置表示システム
2 撮影装置
3 撮影位置検出装置
4 情報取得装置
5 表示装置
6 画像処理装置
7 携帯端末
IV 作業車両情報
IW 作業情報
IG 地盤情報
RI 現実画像
VI 仮想画像
CI 合成画像
GS 地表面
MA 移動可能範囲
WA 作業可能範囲
MC 移動式クレーン