(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-25
(45)【発行日】2024-12-03
(54)【発明の名称】アウトリガ装置の設置位置表示システム及び作業車両
(51)【国際特許分類】
B66C 13/00 20060101AFI20241126BHJP
B66C 23/78 20060101ALI20241126BHJP
【FI】
B66C13/00 D
B66C23/78 A
(21)【出願番号】P 2021072033
(22)【出願日】2021-04-21
【審査請求日】2024-01-31
(73)【特許権者】
【識別番号】000148759
【氏名又は名称】株式会社タダノ
(74)【代理人】
【識別番号】100196623
【氏名又は名称】松下 計介
(72)【発明者】
【氏名】元木 浩平
【審査官】山田 拓実
(56)【参考文献】
【文献】特開2020-093877(JP,A)
【文献】特開2020-066519(JP,A)
【文献】特開2019-175294(JP,A)
【文献】国際公開第2021/060473(WO,A1)
【文献】特開2021-057694(JP,A)
【文献】米国特許出願公開第2018/0143624(US,A1)
【文献】特開2021-054610(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B66C 13/00-15/06
B66C 23/00-23/94
B66F 9/075
B60S 9/00
E02F 9/08
(57)【特許請求の範囲】
【請求項1】
走行体の前後進方向に対して幅方向両側に延伸可能な張り出しビームと前記張り出しビームの延伸方向の先端部から設置面に向かって延伸可能なジャッキを有する作業車両におけるアウトリガ装置の設置位置表示システムあって、
前記ジャッキの先端部分に位置する第1マーカと、
前記ジャッキを設置する設置面上に位置する第2マーカと、
前記第1マーカ及び前記第2マーカを含む現実画像を撮影する撮影装置と、
前記撮影装置の撮影位置及び撮影方向を検出する撮影位置検出装置と
前記撮影位置検出装置から前記撮影装置の撮影位置及び撮影方向を取得し、前記撮影装置が撮影した現実画像を取得し、第1マーカの画像及び第2マーカの画像から前記現実画像における前記アウトリガ装置を示す虚像画像に関する情報を生成する画像処理装置と、
前記虚像画像に関する情報に基づいて生成した虚像画像と前記撮影装置が撮影した現実画像とを前記撮影装置の撮影位置から見える画像として重ね合わせた合成画像を表示する表示装置とを有する、
アウトリガ装置の設置位置表示システム。
【請求項2】
請求項1に記載のアウトリガ装置の設置位置表示システムにおいて、
前記画像処理装置は、
前記張り出しビームが任意の長さまで延伸し且つ前記ジャッキが前記設置面に延伸した場合の前記ジャッキの先端部分が前記設置面に接地する接地領域を示す虚像画像に関する情報を生成し、
前記表示装置は、
前記接地領域を示す虚像画像を前記撮影装置の撮影位置から見える画像として前記現実画像に重ね合わせて表示する、
アウトリガ装置の設置位置表示システム。
【請求項3】
請求項1または請求項2に記載のアウトリガ装置の設置位置表示システムにおいて、
前記画像処理装置は、
前記張り出しビームの可動範囲を示す虚像画像に関する情報を生成し、
前記表示装置は、
前記可動範囲を示す虚像画像を前記撮影装置の撮影位置から見える画像として前記現実画像に重ね合わせて表示する、
アウトリガ装置の設置位置表示システム。
【請求項4】
請求項1から請求項3のいずれか一項に記載のアウトリガ装置の設置位置表示システムにおいて、
前記第2マーカは、
前記ジャッキと前記設置面との間に設置する敷板に設けられ、
前記画像処理装置は、
前記第1マーカの画像及び前記第2マーカの画像から前記敷板に最も近接している接地領域を示す虚像画像に関する情報を生成し、
前記表示装置は、
前記敷板に最も近接している接地領域を示す虚像画像を前記撮影装置の撮影位置から見える画像として前記現実画像に重ね合わせて表示する、
アウトリガ装置の設置位置表示システム。
【請求項5】
請求項4に記載のアウトリガ装置の設置位置表示システムにおいて、
前記作業車両の制御装置と通信可能な通信装置を有し、
前記画像処理装置は、
前記接地領域に前記敷板が含まれている場合、前記敷板上に前記ジャッキを設置するための前記張り出しビームの延伸量と前記ジャッキの延伸量とを算出し、
前記通信装置は、前記張り出しビームの延伸量と前記ジャッキの延伸量とを前記作業車両の制御装置に送信する、
アウトリガ装置の設置位置表示システム。
【請求項6】
請求項1から請求項3のいずれか一項に記載のアウトリガ装置の設置位置表示システムにおいて、
前記張り出しビームの延伸量を入力する入力装置を有し、
前記画像処理装置は、
前記入力装置から入力された前記張り出しビームの延伸量に基づいて接地領域を示す虚像画像に関する情報を生成し、
前記表示装置は、
前記入力された張り出しビームの延伸量に基づいて接地領域を示す虚像画像を前記撮影装置の撮影位置から見える画像として前記現実画像に重ね合わせて表示する、
アウトリガ装置の設置位置表示システム。
【請求項7】
請求項6に記載のアウトリガ装置の設置位置表示システムにおいて、
前記作業車両の制御装置と通信可能な通信装置を有し、
前記画像処理装置は、
前記ジャッキの延伸量を算出し、
前記通信装置は、前記張り出しビームの延伸量と前記ジャッキの延伸量とを前記作業車両の制御装置に送信する、
アウトリガ装置の設置位置表示システム。
【請求項8】
請求項1から請求項7のいずれか一項に記載のアウトリガ装置の設置位置表示システムにおいて、
前記表示装置は、
使用者に装着され、前記使用者の視点から見た風景を透過させる表示画面を含み、虚像画像に関する情報を取得し、前記使用者の視点から見た虚像画像を生成し、前記虚像画像を前記表示画面に表示し、前記虚像画像を前記風景に重ね合わせた状態で前記使用者に視認させる透過型表示装置であり、
前記画像処理装置は、
前記透過型表示装置に前記虚像画像に関する情報を送信し、
前記透過型表示装置は、
取得した前記虚像画像に関する情報に基づいて虚像画像を生成し、前記使用者の視点から見た前記虚像画像を前記表示画面上に表示する、
アウトリガ装置の設置位置表示システム。
【請求項9】
請求項1から請求項8のいずれか一項に記載のアウトリガ装置の設置位置表示システムにおいて、
前記撮影装置と、前記撮影位置検出装置と、前記画像処理装置と、前記表示装置とは、一つの携帯端末に含まれる請求項1から請求項6のいずれか一項に記載のアウトリガ装置の設置位置表示システム。
【請求項10】
請求項1から請求項9のいずれか一項に記載のアウトリガ装置の設置位置表示システムにおいて、
前記画像処理装置は、
前記撮影位置検出装置から前記撮影装置の撮影位置及び撮影方向を取得し、前記撮影装置が撮影した現実画像を取得し、前記現実画像に含まれる第1マーカの画像及び第2マーカの画像を検出し、前記撮影装置の撮影位置及び撮影方向と前記第1マーカの画像とから前記ジャッキの先端部分の位置座標を算出し、前記第1マーカの画像と前記第2マーカの画像とから前記ジャッキの先端部分から前記設置面までの距離を算出し、前記虚像画像に関する情報を生成する、
アウトリガ装置の設置位置表示システム。
【請求項11】
走行体の前後進方向に対して幅方向両側に延伸可能な張り出しビームと前記張り出しビームの端部から設置面に向かって延伸可能なジャッキを有する作業車両であって、請求項1から請求項10のいずれか一項に記載のアウトリガ装置の設置位置表示システムを備える作業車両。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、アウトリガ装置の設置位置表示システム及び作業車両に関する。詳しくは、走行体の幅方向両側に延伸可能な張り出しビームと前記張り出しビームから設置面に向かって延伸可能なジャッキを有する作業車両のアウトリガ装置の設置位置表示システム及びアウトリガ装置の設置位置表示システムを備える作業車両に関する。
【背景技術】
【0002】
従来、走行体に旋回台を介して伸縮及び起伏可能なブームを備える作業車両として移動式クレーン、高所作業車等が知られている。このような作業車両である移動式クレーンは、前記ブームの先端からワイヤロープで吊り上げた荷物を安定して目的位置まで搬送するために、前記走行体の幅方向に張り出すアウトリガ装置が設けられている。前記移動式クレーンは、前記アウトリガ装置として、前記走行体の前後両側に左右方向に延伸可能な張り出しビームと前記張り出しビームから設置面に向かって延伸可能なジャッキとを有している。前記移動式クレーンは、作業時において前記走行体から左右方向に前記張り出しビームを延伸させるとともに前記ジャッキによって前記走行体を支持する。これにより、前記移動式クレーンは、前記アウトリガ装置によって前記走行体が有する車輪よりも左右方向に広い間隔、且つ前記車輪よりも剛性が高い前記張り出しビーム及び前記ジャッキによって安定して支持される。
【0003】
前記移動式クレーンにおいて、前記アウトリガ装置を使用する場合、前記アウトリガ装置に加わる荷重によって設置面が陥没しないように設置面に対する前記ジャッキの接地面積を大きくする敷板が用いられる。前記設置面は、前記敷板を介して前記ジャッキが接地されることで圧力の集中が抑制される。しかし、前記ジャッキが延伸していない状態で前記ジャッキの接地位置を予測し、前記敷板の略中央にジャッキが載置されるように前記敷板を設置することは難しい。そこで、監視カメラで撮影した前記アウトリガ装置の画像に前記アウトリガ装置の可動範囲等の情報を重ねて表示する技術が知られている。例えば特許文献1の如くである。
【0004】
特許文献1に記載の作業車両の周辺監視支援装置は、張り出しビームが延伸していない状態のアウトリガ装置を監視カメラによって撮影する。撮影された前記アウトリガ装置の画像には、前記張り出しビームの可動範囲において最も延伸した位置と張り出しビームの可動範囲において略中央の位置とを示す張り出し状態位置情報が重ねて表示される。これにより、前記移動式クレーンの操縦者は、前記アウトリガ装置の可動範囲に障害物等が含まれているか確認できるとともに、前記ジャッキの接地位置を画像上で確認することができる。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1に記載の作業車両の周辺監視支援装置は、前記移動式クレーンの旋回台及びブーム先端に固定された前記監視カメラによって任意の角度から撮影した前記アウトリガ装置の画像を利用している。この場合、前記画像上における前記アウトリガ装置のジャッキと前記敷板を設置する設置面との位置関係は、前記アウトリガ装置に対する前記監視カメラの角度の影響を受けている。つまり、前記監視カメラの画像に表示されている前記張り出し状態位置情報は、前記敷板の設置位置を適切に表示するものではない。また、前記周辺監視支援装置は、前記アウトリガ装置の可動範囲を表示しているに過ぎず、前記敷板の設置位置を表示するものではない。つまり、敷板の設置作業の作業効率を向上させる情報を提示していない。
【0007】
本発明の目的は、アウトリガ装置の設置を適切且つ効率的に行うための情報を提供することができるアウトリガ装置の設置位置表示システム及び作業車両の提供を目的とする。
【課題を解決するための手段】
【0008】
発明者は、アウトリガ装置の設置を適切且つ効率的に行うための情報を提供することができるアウトリガ装置の設置位置表示システム及び作業車両について検討した。鋭意検討の結果、本発明者らは、以下のような構成に想到した。
【0009】
本発明の一実施形態に係るアウトリガ装置の設置位置表示システムは、走行体の前後進方向に対して幅方向両側に延伸可能な張り出しビームと前記張り出しビームの延伸方向の先端部から設置面に向かって延伸可能なジャッキを有するアウトリガ装置の設置位置表示システムである。
【0010】
アウトリガ装置の設置位置表示システムは、前記ジャッキの先端部分に位置する第1マーカと、前記ジャッキを設置する設置面上に位置する第2マーカと、前記第1マーカ及び前記第2マーカを含む現実画像を撮影する撮影装置と、前記撮影装置の撮影位置及び撮影方向を検出する撮影位置検出装置と前記撮影位置検出装置から前記撮影装置の撮影位置及び撮影方向を取得し、前記撮影装置が撮影した現実画像を取得し、第1マーカの画像及び第2マーカの画像から前記現実画像における前記アウトリガ装置を示す虚像画像に関する情報を生成する画像処理装置と前記虚像画像に関する情報に基づいて生成した虚像画像と前記撮影装置が撮影した現実画像とを前記撮影装置の撮影位置から見える画像として重ね合わせた合成画像を表示する表示装置とを有する。
【0011】
上述のように、前記画像処理装置は、前記撮影装置の撮影位置及び撮影方向と、前記作業車両情報と、前記ジャッキの先端部分に位置する第1マーカの画像と、前記ジャッキを設置する設置面上に位置する第2マーカの画像とを利用して、アウトリガ装置における可動範囲と接地領域との情報を含む前記アウトリガ装置の設置領域を示す虚像画像に関する情報を生成する。つまり、前記アウトリガ装置の設置位置表示システムは、ジャッキが延伸していない状態において作業者が所望する位置から視認可能なアウトリガ装置の可動範囲、接地位置、作動方向、機能等を含むアウトリガ装置を示す虚像画像を前記現実画像に重ねて任意の表示装置に表示することができる。これにより、前記アウトリガ装置の設置位置表示システムは、前記アウトリガ装置の設置を適切且つ効率的に行うための情報を提供することができる。
【0012】
他の観点によれば、本発明のアウトリガ装置の設置位置表示システムは、以下の構成を含むことが好ましい。前記画像処理装置は、前記張り出しビームが前記走行体の幅方向に任意の長さまで延伸し且つ前記ジャッキが前記設置面に延伸した場合の前記ジャッキの先端部分が前記設置面に設置する接地領域を示す虚像画像に関する情報を生成する。前記表示装置は、前記接地領域を示す虚像画像を前記撮影装置の撮影位置から見える画像として前記現実画像に重ね合わせて表示する。
【0013】
上述のように、前記画像処理装置は、前記ジャッキが延伸していない状態において作業者が所望する位置から撮影した現実画像における設置面上に接地領域を示す虚像画像を前記現実画像に重ねて任意の表示装置に表示することができる。これにより、前記アウトリガ装置の設置位置表示システムは、前記アウトリガ装置の設置を適切且つ効率的に行うための情報を提供することができる。
【0014】
他の観点によれば、本発明のアウトリガ装置の設置位置表示システムは、以下の構成を含むことが好ましい。前記画像処理装置は、前記張り出しビームの可動範囲を示す虚像画像に関する情報を生成する。前記表示装置は、前記可動範囲を示す虚像画像を前記撮影装置の撮影位置から見える画像として前記現実画像に重ね合わせて表示する。
【0015】
上述のように、前記画像処理装置は、ジャッキが延伸していない状態において敷板が設置可能な領域を示す虚像画像を前記現実画像に重ねて任意の表示装置に表示することができる。これにより、前記アウトリガ装置の設置位置表示システムは、アウトリガ装置の設置を適切且つ効率的に行うための情報を提供することができる。
【0016】
他の観点によれば、本発明のアウトリガ装置の設置位置表示システムは、以下の構成を含むことが好ましい。前記第2マーカは、前記ジャッキと前記設置面との間に設置する敷板に設けられる。前記画像処理装置は、前記第1マーカの画像及び前記第2マーカの画像から前記敷板に最も近接している前記接地領域を示す虚像画像に関する情報を生成する。前記表示装置は、前記敷板に最も近接している接地領域を示す虚像画像を前記撮影装置の撮影位置から見える画像として前記現実画像に重ね合わせて表示する。
【0017】
上述のように、前記画像処理装置は、前記ジャッキが延伸していない状態において、作業者が仮置きした前記敷板の近傍に前記ジャッキが接地できるように前記敷板の位置を示す虚像画像を前記現実画像に重ねて任意の表示装置に表示することができる。これにより、前記アウトリガ装置の設置位置表示システムは、前記アウトリガ装置の設置を適切且つ効率的に行うための情報を提供することができる。
【0018】
他の観点によれば、本発明のアウトリガ装置の設置位置表示システムは、以下の構成を含むことが好ましい。アウトリガ装置の設置位置表示システムは、前記作業車両の制御装置と通信可能な通信装置を有する。前記画像処理装置は、前記接地領域に前記敷板が含まれている場合、前記敷板上に前記ジャッキを設置するための前記張り出しビームの延伸量と前記ジャッキの延伸量とを算出する。前記通信装置は、前記張り出しビームの延伸量と前記ジャッキの延伸量とを前記作業車両の制御装置に送信する。
【0019】
上述のように、作業車両の操縦者は、取得した情報を利用することでアウトリガ装置近傍の作業者からの指示を受けることなくアウトリガ装置を制御可能である。これにより、前記アウトリガ装置の設置位置表示システムは、アウトリガ装置の設置を適切且つ効率的に行うための情報を提供することができる。
【0020】
他の観点によれば、本発明のアウトリガ装置の設置位置表示システムは、以下の構成を含むことが好ましい。アウトリガ装置の設置位置表示システムは、前記張り出しビームの延伸量を入力する入力装置を有する。前記画像処理装置は、前記入力装置から入力された前記張り出しビームの延伸量に基づいて前記接地領域を示す虚像画像に関する情報を生成する。前記表示装置は、前記入力された張り出しビームの延伸量に基づいて接地領域を示す虚像画像を前記撮影装置の撮影位置から見える画像として前記現実画像に重ね合わせて表示する。
【0021】
上述のように、前記画像処理装置は、作業者が所望する位置に基づいて前記ジャッキの接地領域を示す虚像画像を前記現実画像に重ねて任意の表示装置に表示することができる。これにより、前記アウトリガ装置の設置位置表示システムは、前記アウトリガ装置の設置を適切且つ効率的に行うための情報を提供することができる。
【0022】
他の観点によれば、本発明のアウトリガ装置の設置位置表示システムは、以下の構成を含むことが好ましい。前記作業車両の制御装置と通信可能な通信装置を有する。前記画像処理装置は、前記ジャッキの延伸量を算出する。前記通信装置は、前記張り出しビームの延伸量と前記ジャッキの延伸量とを前記作業車両の制御装置に送信する。
【0023】
上述のように、前記作業車両の操縦者は、取得した情報を利用することで前記アウトリガ装置近傍の作業者からの指示を受けることなく前記ジャッキを前記敷板上に設置することができる。これにより、前記アウトリガ装置の設置位置表示システムは、前記アウトリガ装置の設置を適切且つ効率的に行うための情報を提供することができる。
【0024】
他の観点によれば、本発明のアウトリガ装置の設置位置表示システムは、以下の構成を含むことが好ましい。アウトリガ装置の設置位置表示システムは、使用者に装着され、前記使用者の視点から見た風景を透過させる表示画面を含み、虚像画像に関する情報を取得し、前記使用者の視点から見た虚像画像を生成し、前記虚像画像を前記表示画面に表示し、前記虚像画像を前記風景に重ね合わせた状態で前記使用者に視認させる透過型表示装置を有する。前記画像処理装置は、前記透過型表示装置に前記虚像画像に関する情報を送信する。前記透過型表示装置は、取得した前記虚像画像に関する情報に基づいて虚像画像を生成する。更に、前記画像処理装置は、前記使用者の視点から見た前記虚偽画像を前記表示画面上に表示する。
【0025】
上述のように、作業者は、ウェアラブル端末である前記透過型表示装置を用いることで、前記ジャッキが延伸していない状態において作業者が視認している風景における設置面上に接地領域を示す虚像画像を前記現実画像に重ねて表示することができる。これにより、前記アウトリガ装置の位置表示システムは、前記アウトリガ装置の設置を適切且つ効率的に行うための情報を提供することができる。
【0026】
他の観点によれば、本発明のアウトリガ装置の設置位置表示システムは、以下の構成を含むことが好ましい。前記撮影装置と、前記撮影位置検出装置と、前記画像処理装置と、前記表示装置とは、一つの携帯端末に含まれる。
【0027】
上述のように、前記アウトリガ装置の設置位置表示システムは、前記携帯端末に各装置が含まれているので、作業者が所望する任意の視点から前記アウトリガ装置のジャッキと前記敷板との位置関係を視認することができる。これにより、前記アウトリガ装置の設置位置表示システムは、アウトリガ装置の設置を適切且つ効率的に行うための情報を提供することができる。
【0028】
他の観点によれば、本発明のアウトリガ装置の設置位置表示システムは、以下の構成を含むことが好ましい。前記画像処理装置は、前記撮影位置検出装置から前記撮影装置の撮影位置及び撮影方向を取得し、前記撮影装置が撮影した現実画像を取得する。前記画像処理装置は、前記現実画像に含まれる第1マーカの画像及び第2マーカの画像を検出し、前記作業車両情報と前記撮影装置の撮影位置及び撮影方向と前記第1マーカの画像とから前記ジャッキの先端部分の位置座標を算出する。前記画像処理装置は、前記第1マーカの画像と前記第2マーカの画像とから前記ジャッキの先端部分から前記設置面までの距離を算出し、前記虚像画像に関する情報を生成する。
【0029】
上述のように、前記アウトリガ装置の設置位置表示システムは、第1マーカの画像及び第2マーカの画像を利用して前記ジャッキの先端部分から前記設置面までの距離を算出することで、様々な虚像画像を前記現実画像に重ねて表示することができる。これにより、前記アウトリガ装置の設置位置表示システムは、アウトリガ装置の設置を適切且つ効率的に行うための情報を提供することができる。
【0030】
他の観点によれば、本発明のアウトリガ装置の設置位置表示システムを有する作業車両は、以下の構成を含むことが好ましい。作業車両は、走行体の前後進方向に対して幅方向両側に延伸可能な張り出しビームと前記張り出しビームの端部から設置面に向かって延伸可能なジャッキを有する作業車両であって、請求項1から請求項11のいずれか一項に記載のアウトリガ装置の設置位置表示システムを備える。
【0031】
上述のように、前記アウトリガ装置の設置位置表示システムを備えた前記作業車両は、前記アウトリガ装置の設置位置表示システムが有する作用効果を発揮する。これにより、前記アウトリガ装置の設置位置表示システムを備える作業車両は、前記アウトリガ装置の設置を適切且つ効率的に設置することができる。
【発明の効果】
【0032】
本発明の一実施形態によれば、アウトリガ装置の設置位置表示システム及び前記アウトリガ装置の設置位置表示システムを備える作業車両は、アウトリガ装置の設置を適切且つ効率的に行うための情報を提供することができる。
【図面の簡単な説明】
【0033】
【
図1】
図1は、アウトリガ装置を有する作業車両の正面図を示す。
【
図2】
図2は、本発明の第1実施形態に係るアウトリガ装置の設置位置表示システムの第1マーカ及び第2マーカの平面図を示す。
【
図3】
図3は、本発明の第1実施形態に係るアウトリガ装置の設置位置表示システムのブロック図を示す。
【
図4】
図4は、本発明の第1実施形態に係るアウトリガ装置の設置位置表示システムにおける画像処理装置のブロック図を示す。
【
図5】
図5は、本発明の第1実施形態に係るアウトリガ装置の設置位置表示システムにおける画像生成工程のフロー図を示す。
【
図6】
図6は、本発明の第1実施形態に係るアウトリガ装置の設置位置表示システムにおける張り出しビームの可動範囲及びジャッキの接地領域の虚像画像を含む合成画像を示す。
【
図7】
図7は、本発明の第1実施形態に係るアウトリガ装置の設置位置表示システムにおける張り出しビームの延伸量を指定した場合のジャッキの接地領域の虚像画像を含む合成画像を示す。
【
図8】
図8は、本発明の第1実施形態に係るアウトリガ装置の設置位置表示システムにおける張り出しビームの可動範囲でのジャッキの接地領域の虚像画像を含む合成画像を示す。
【
図9】
図9は、本発明の第1実施形態に係るアウトリガ装置の設置位置表示システムにおける敷板に最も近接した接地領域の虚像画像を含む合成画像を示す。
【
図10】
図10は、本発明の第2実施形態に係る移動式クレーンの側面図を示す。
【
図11】
図11は、本発明の第2実施形態に係る移動式クレーンの制御ブロック図を示す。
【
図12】
図12は、本発明の第2実施形態に係る移動式クレーンのアウトリガ装置の設置位置表示システムにおけるジャッキの接地領域が限定された虚像画像を含む合成画像を示す。
【
図13】
図13は、本発明の他の実施形態に係る作業車両の操縦支援システムにおける透過型表示装置が使用者に装着された斜視図を示す。
【発明を実施するための形態】
【0034】
以下で、各実施形態について、図面を参照しながら説明する。各図において、同一部分には同一の符号を付して、その同一部分の説明は繰り返さない。なお、各図中の構成部材の寸法は、実際の構成部材の寸法及び各構成部材の寸法比率等を忠実に表したものではない。
【0035】
<アウトリガ装置>
初めに、
図1及び
図2を用いて本発明のアウトリガ装置104の設置位置表示システム1を適応するアウトリガ装置104について説明する。
図1は、アウトリガ装置104を有する作業車両であるクレーン100の正面図である。
図2は、アウトリガ装置104の設置位置表示システム1の第1マーカM1及び第2マーカM2の平面図を示す。
【0036】
図1及び
図2に示すように、アウトリガ装置104は、作業車両であるクレーン100のおける走行体101の前後進方向における前部分と後部分とにそれぞれ設けられている。アウトリガ装置104は、走行体101の前後進方向に対して幅方向両側である左右方向に延伸可能な張り出しビーム105と、張り出しビーム105から設置面GSに向かって延伸可能なジャッキ106とを有している。ジャッキ106は、左右両側の張り出しビーム105の延伸方向の先端部に設けられている。つまり、ジャッキ106は、張り出しビーム105によって車両の左右方向に離隔可能である。張り出しビーム105の先端部及びジャッキ106は油圧アクチュエータによって作動する。
【0037】
左右両側の張り出しビーム105は、左右方向に延伸することで左右両側のジャッキ106をクレーン100における車輪102の左右方向の間隔よりも左右方向に広い間隔に配置可能である。また、張り出しビーム105は、張り出しビーム105の可動範囲Rm内において任意の位置にジャッキ106を配置可能である。各ジャッキ106は、設置面GSに向かって延伸することでクレーン100の車輪102を設置面GSから離隔可能である。つまり、走行体101の前後進方向における前部分における左右両方のジャッキ106と後部分における左右両方のジャッキ106とは、クレーン100の車輪102が接地していない状態でクレーン100を支持可能である。クレーン100は、アウトリガ装置104を設置することによって走行体101の姿勢を維持可能な荷重及びモーメントが増大する。このように構成されるアウトリガ装置104は、クレーン100の左右方向の幅よりも広い間隔で、且つ車輪102よりも高い剛性を有するジャッキ106でクレーン100を支持することでクレーン100の安定性を向上させる。
【0038】
アウトリガ装置104は、設置面GSに対する圧力を分散させるために、設置面GS上に敷かれた敷板107上にジャッキ106を接地させる。敷板107は、鋼板等の剛性が高い板状部材である。本実施形態において、アウトリガ装置104におけるジャッキ106の接地部材106a(フロート)には、第1マーカM1が位置している。第1マーカM1は、方向性を有する図形である。第1マーカM1は、ジャッキ106の接地部材106aに対して特定の位置、向きで表示されている。また、敷板107には第2マーカM2が位置している。第2マーカM2は、方向性を有する図形である。第2マーカM2は、ジャッキ106と設置面GSとの間に設置する敷板107に設けられる。
【0039】
[実施形態1]
<全体構成>
次に、
図3及び
図4を用いて、本発明の第1実施形態に係るアウトリガ装置104の設置位置表示システム1について説明する。
図3は、本発明の第1実施形態に係るアウトリガ装置104の設置位置表示システム1の全体構成を示すブロック図である。
図4は、本発明の第1実施形態に係るアウトリガ装置104の設置位置表示システム1における画像処理装置6のブロック図である。
【0040】
図3に示すように、アウトリガ装置104の設置位置表示システム1は、旋回、且つ起伏可能なブームが設けられた移動式クレーンであるクレーン100のアウトリガ装置104を設置するための情報を作業者に提供するシステムである。アウトリガ装置104は、クレーン100の走行体101を安定させる装置である(
図1参照)。アウトリガ装置104の設置位置表示システム1は、撮影装置2、撮影位置検出装置3、通信装置4、表示装置5及び画像処理装置6を有している。
【0041】
撮影装置2は、クレーン100のアウトリガ装置104を撮影するカメラである。撮影装置2は、携帯端末7に設けられている。撮影装置2は、任意の位置から任意の角度でアウトリガ装置104を撮影可能である。撮影装置2は、画像処理装置6からの制御信号を取得可能に構成されている。また、撮影装置2は、撮影した画像である現実画像RIを画像処理装置6に送信可能である。撮影装置2は、クレーン100を遠隔操作する遠隔操作端末、操縦者が身体に着けるウェアラブル端末に設けられていてもよい。
【0042】
撮影位置検出装置3は、撮影装置2の絶対座標を検出する装置である。撮影位置検出装置3は、携帯端末7に設けられている。撮影位置検出装置3は、撮影装置2と一体または撮影装置2の近傍に設けられている。撮影位置検出装置3は、例えば、撮影装置2に設けられた複数のGNSS受信機である。GNSS受信機は、全球測位衛星システム(Global Navigation Satellite System)を構成する受信機である。GNSS受信機は、衛星から測距電波を受信し、グローバル座標系の緯度、経度、標高を算出する。撮影位置検出装置3は、画像処理装置6からの制御信号を取得可能である。撮影位置検出装置3は、撮影装置2に設けられた複数のGNSS受信機のグローバル座標系における緯度、経度及び標高を撮影装置2の絶対座標(以下、単に「位置座標Pc」と記す)として画像処理装置6に送信可能である。
【0043】
通信装置4は、各種情報を取得する装置である。通信装置4は、携帯端末7に設けられている。通信装置4は、有線または無線の通信装置である。つまり、通信装置4は、例えば外部のネットワークNに接続し、外部のサーバーSから情報を取得可能である。また、通信装置4は、クレーン100の制御装置103(
図3参照)に接続し、制御装置103から各種情報を取得可能である。また、通信装置4は、クレーン100の車両重量、姿勢情報等の情報を含む作業車両情報IV、クレーン100によって搬送される荷物Wの重量、形状、吊り上げ位置、吊り下げ位置等の搬送作業に関する情報等を含む作業情報IWを外部のサーバーSまたはクレーン100の制御装置103等から取得する。
【0044】
通信装置4は、外部から取得した作業車両情報IV及び作業情報IWを画像処理装置6に送信可能である。また、通信装置4は、画像処理装置6が算出した各種情報、制御信号等をクレーン100の制御装置103に送信可能である。
【0045】
表示装置5は、現実画像RIと虚像画像VIとの合成画像CIを表示する装置である。表示装置5は、携帯端末7に設けられている。表示装置5には、撮影装置2、撮影位置検出装置3、通信装置4及び画像処理装置6を操作する入力装置5aを有する。また、入力装置5aは、ジャッキ106の設置位置を入力可能である。本実施形態において、表示装置5は、例えば、表示画面上の位置座標を表示画面の接触により入力可能なタッチパネルである。表示装置5は、タッチパネルを入力装置5aとして、画面上の接触操作によって撮影装置2及び画像処理装置6の操作信号及び虚像画像VIの位置情報を入力可能である。なお、入力装置5aは、表示装置5と別体に設けられていてもよい。表示装置5は、クレーン100を遠隔操作する遠隔操作端末、操縦者が身体に着けるウェアラブル端末に設けられていてもよい。また、表示装置5は、作業車両情報IV及び作業情報IWを入力可能であってもよい。
【0046】
画像処理装置6は、虚像画像VIに関する情報Ivと、虚像画像VIと、現実画像RIと虚像画像VIとを重ね合わせた合成画像CIを生成する装置である。画像処理装置6は、携帯端末7に設けられている。画像処理装置6は、実体的には、CPU、ROM、RAM、HDD等がバスで接続される構成であってもよい。また、画像処理装置6は、ワンチップのLSI等からなる構成であってもよい。画像処理装置6は、入力装置5aからの操作信号に基づいて、撮影装置2、撮影位置検出装置3及び通信装置4を制御可能である。画像処理装置6は、撮影装置2、撮影位置検出装置3及び通信装置4を制御するために種々のプログラム、データが格納されている。画像処理装置6は、撮影装置2であるカメラの画角、焦点距離等の諸元データが格納されている。
【0047】
画像処理装置6は、撮影装置2に有線または無線で接続されている。画像処理装置6は、撮影装置2に制御信号を送信可能である。つまり、画像処理装置6は、撮影装置2を制御可能である。また、画像処理装置6は、撮影装置2が撮影した現実画像RIを取得可能である。
【0048】
画像処理装置6は、撮影位置検出装置3に有線または無線で接続されている。画像処理装置6は、撮影位置検出装置3に制御信号を送信可能である。つまり、画像処理装置6は、撮影位置検出装置3を制御可能である。また、画像処理装置6は、撮影位置検出装置3が検出した撮影位置である位置座標Pc及び撮影方向Dを取得可能である。
【0049】
画像処理装置6は、通信装置4に有線または無線で接続されている。画像処理装置6は、通信装置4に制御信号を送信可能である。つまり、画像処理装置6は、通信装置4を制御可能である。また、画像処理装置6は、通信装置4が取得した作業車両情報IV、作業情報IW及び地盤情報IGを取得可能である。
【0050】
画像処理装置6は、表示装置5に有線または無線で接続されている。画像処理装置6は、表示装置5に制御信号及び撮影装置2から取得した現実画像RIと生成した虚像画像VIとの合成画像CIを送信可能である。また、画像処理装置6は、表示装置5の入力装置5aから入力された操作信号を取得可能に構成されている。
【0051】
画像処理装置6は、ジャッキ106の接地部材106aが有している第1マーカM1(
図2参照)の画像と敷板107が有している第2マーカM2(
図2参照)との画像から接地部材106aの位置座標及び向きと接地面(敷板107)までの距離を算出可能である。
【0052】
図4に示すように、画像処理装置6は、マーカ基準画像保持部6a、マーカ判定画像検出部6b、位置算出部6c、画像生成部6dを有している。
【0053】
マーカ基準画像保持部6aは、画像処理装置6の一部であり、AR(Augmented Reality)マーカの画像である第1マーカ基準画像Ms1及び第2マーカ基準画像Ms2を予め保持している。第1マーカ基準画像Ms1は、アウトリガ装置104におけるジャッキ106の先端部である接地部材106aの位置座標及び向きを算出するための基準となるARマーカの画像である。第1マーカ基準画像Ms1は、ジャッキ106の接地部材106aに予め定めた位置及び向きで表示されている第1マーカM1の画像を任意に定めた基準位置から撮影した画像である。つまり、第1マーカ基準画像Ms1は、特定の撮影条件におけるジャッキ106の位置座標及び向きを示す画像である。同様に、第2マーカ基準画像Ms2は、敷板107の位置座標を算出するための基準となるARマーカの画像である。第2マーカ基準画像Ms2は、敷板107の略中央に表示されている第2マーカM2の画像を任意に定めた基準位置から撮影した画像である。つまり、第2マーカ基準画像Ms2は、特定の撮影条件における敷板107の位置座標を示す画像である。
【0054】
マーカ基準画像保持部6aは、張り出しビーム105及びジャッキ106のジャッキ延伸量E2が異なるアウトリガ装置104毎に関連付けされた第1マーカ基準画像Ms1を予め保持している。仕様の異なるアウトリガ装置104毎に異なるパターンの第1マーカ基準画像Ms1が設定されている。各第1マーカ基準画像Ms1には、表示されているアウトリガ装置104の張り出しビーム105及びジャッキ106のジャッキ延伸量E2についての諸元が登録されている。
【0055】
マーカ判定画像検出部6bは、画像処理装置6の一部であり、アウトリガ装置104と敷板107とを含む現実画像RIから第1マーカ基準画像Ms1に該当するマーカ画像を第1マーカ判定画像Mj1として検出する。第1マーカ判定画像Mj1は、現実画像RIに含まれる第1マーカM1の画像である。第1マーカ判定画像Mj1は、第1マーカ基準画像Ms1と、現実画像RIが撮影された位置座標Pc及び撮影方向Dとを基準としてジャッキ106の位置座標及び向きを算出するための画像である。同様に、マーカ判定画像検出部6bは、現実画像RIから第2マーカ基準画像Ms2に該当するマーカ画像を第2マーカ判定画像Mj2として検出する。第2マーカ判定画像Mj2は、第2マーカ基準画像Ms2に基づいて現実画像RIが撮影された位置座標Pcと撮影方向Dを基準とする敷板107の位置座標を算出するための画像である。第2マーカ判定画像Mj2は、現実画像RIに含まれる第2マーカM2の画像である。
【0056】
マーカ判定画像検出部6bは、任意の位置から撮影された現実画像RIから、第1マーカ判定画像Mj1及び第2マーカ判定画像Mj2を検出可能である。マーカ判定画像検出部6bは、現実画像RIのパターンを画像処理によって算出する。マーカ判定画像検出部6bは、現実画像RIのパターンから第1マーカ判定画像Mj1及び第2マーカ判定画像Mj2のパターンを検出する。さらに、マーカ判定画像検出部6bは、検出した第1マーカ判定画像Mj1のパターンと所定値以上の一致度のパターンを有する第1マーカ基準画像Ms1をマーカ基準画像保持部6aから選択可能である。
【0057】
位置算出部6cは、現実画像RIにおけるジャッキ106の位置座標等を算出する。位置算出部6cは、撮影装置2の撮影位置の座標である位置座標Pcと撮影方向D(
図3参照)とを算出可能である。なお、画像処理装置6は、工事現場において絶対座標が既知である所定の位置に設置されたマーカを撮影することで位置座標Pcと撮影方向Dとを算出してもよい。画像処理装置6は、取得したマーカの画像、IMU(加速度、角速度、地磁気等)センサ、画像処理(SLAM:Simultaneous Localization and Mapping等)の技術で撮影装置2の位置座標Pcと撮影方向Dを算出する。
【0058】
位置算出部6cは、第1マーカ基準画像Ms1の形状及び向きと第1マーカ判定画像Mj1の形状及び向きとを比較可能である。第1マーカ基準画像Ms1のパターンは、第1マーカ基準画像Ms1の形状及び向きの情報を含む。同様に、第1マーカ判定画像Mj1のパターンは、第1マーカ判定画像Mj1の形状及び向きの情報を含む。位置算出部6cは、撮影装置2の位置座標Pcから撮影方向Dに見て第1マーカ基準画像Ms1のパターンに対する第1マーカ判定画像Mj1のパターンの形状及び向きから、第1マーカ基準画像Ms1が第1マーカ判定画像Mj1のように見えるジャッキ106の位置及び向きを現実画像RI上の位置座標として算出する。さらに、位置算出部6cは、第1マーカ基準画像Ms1が有するアウトリガ装置104の諸元を取得することで、現実画像RI上の張り出しビーム105の位置座標、延伸方向、可動範囲Rm、ジャッキ106の位置座標、延伸方向及び可動範囲Rmに関する情報を含むアウトリガ情報Ioを算出可能である。アウトリガ情報Ioには、表示装置5の入力装置5aから入力された張り出しビーム105のビーム延伸量E1等の情報を含む。
【0059】
同様に、位置算出部6cは、第2マーカ基準画像Ms2の形状及び向きと第2マーカ判定画像Mj2の形状及び向きとを比較可能である。第2マーカ基準画像Ms2のパターンは、第2マーカ基準画像Ms2の形状の情報を含む。同様に、第2マーカ判定画像Mj2のパターンは、第2マーカ判定画像Mj2の形状の情報を含む。位置算出部6cは、撮影装置2の位置座標Pcから撮影方向Dに見て第2マーカ基準画像Ms2のパターンに対する第2マーカ判定画像Mj2のパターンの形状から、第2マーカ基準画像Ms2が第2マーカ判定画像Mj2のように見える敷板107の位置を現実画像RI上の位置座標として算出する。位置算出部6cは、現実画像RI上の敷板107の位置座標に関する情報を含む敷板情報Ipを算出可能である。設置面GS上に配置されている敷板107の敷板情報Ipには、現実画像RIにおける設置面GSの位置座標が含まれている。
【0060】
位置算出部6cは、算出したアウトリガ情報Io及び敷板情報Ipに基づいて現実画像RI上における張り出しビーム105の可動範囲Rmを示す位置座標(
図6参照)、ジャッキ106の接地領域Ac(
図6参照)を示す位置座標を算出可能である。また、位置算出部6cは、算出したアウトリガ情報Io及び敷板情報Ipに基づいて敷板107の位置にジャッキ106を設置するための張り出しビーム105のビーム延伸量E1及びジャッキ106のジャッキ延伸量E2を算出可能である。また、位置算出部6cは、算出したアウトリガ情報Io及び敷板情報Ipに基づいて表示装置5の入力装置5aから入力されたジャッキ106の設置位置にジャッキ106を設置するための張り出しビーム105のビーム延伸量E1及びジャッキ106のジャッキ延伸量E2を算出可能である。
【0061】
画像生成部6dは、第1マーカ基準画像Ms1及び第2マーカ基準画像Ms2から現実画像RIにおけるアウトリガ装置104を示す虚像画像VIに関する情報を生成する。また、画像生成部6dは、虚像画像VI及び現実画像RI上に虚像画像VIを重ね合わせた合成画像CIを生成する。画像生成部6dは、算出した撮影装置2の位置座標Pcと撮影方向D(
図3参照)、アウトリガ情報Io、敷板情報Ip、取得した作業車両情報IVからアウトリガ装置104を示す虚像画像VIに関する情報Ivを生成可能である。アウトリガ装置104を示す虚像画像VIに関する情報Ivは、アウトリガ装置104の可動範囲、接地領域Ac、作動方向及び機能に関する情報を含む。また、画像生成部6dは、アウトリガ装置104を示す虚像画像VIに関する情報Ivに基づいて、現実画像RI上の張り出しビーム105に重ねて表示するための張り出しビーム105の可動範囲Rmを示す図形、矢印、数値等の虚像画像を含む虚像画像VIを生成可能である。また、画像生成部6dは、現実画像RI上の設置面GS上に重ねて表示するためのジャッキ106の接地領域Acを示す図形、矢印、数値等の虚像画像を含む虚像画像VIを生成可能である。
【0062】
このように構成される画像処理装置6は、撮影装置2によって撮影された現実画像RIから、第1マーカ判定画像Mj1及び第2マーカ判定画像Mj2を検出する。画像処理装置6は、予め取得している第1マーカ基準画像Ms1に対する第1マーカ判定画像Mj1の形状及び第1マーカ基準画像Ms1が有するアウトリガ装置104の諸元からアウトリガ情報Ioを算出する。また、画像処理装置6は、予め取得している第2マーカ基準画像Ms2に対する第2マーカ判定画像Mj2の形状から敷板情報Ipを算出する。画像処理装置6は、撮影装置2の位置座標Pcと撮影方向D、アウトリガ情報Io、敷板情報Ip、作業車両情報IVからアウトリガ装置104に関する虚像画像VIを生成する。
【0063】
本実施形態において、アウトリガ装置104の設置位置表示システム1は、撮影装置2と、撮影位置検出装置3と、通信装置4と、表示装置5と、画像処理装置6とが一体に構成された携帯端末7から構成されている。アウトリガ装置104の設置位置表示システム1は、作業者の所望する任意の位置から撮影した現実画像RIに基づいて合成画像CIを生成する。つまり、合成画像ICは、虚像画像VIに関する情報に基づいて生成した虚像画像VIと撮影装置2が撮影した現実画像RIとを撮影装置2の撮影位置から見える画像として重ね合わせた画像である。
【0064】
<合成画像の生成工程>
次に、
図4から
図9を用いて合成画像CIの生成工程を説明する。
図5は、本発明の第1実施形態に係るアウトリガ装置104の設置位置表示システム1における張り出しビーム105の可動範囲Rm及びジャッキ106の接地領域Acの虚像画像VIを含む合成画像CIである。
図6は、本発明の第1実施形態に係るアウトリガ装置104の設置位置表示システム1における画像生成工程のフロー図である。
図7は、本発明の第1実施形態に係るアウトリガ装置104の設置位置表示システム1における張り出しビーム105のビーム延伸量E1を指定した場合のジャッキ106の接地領域Acの虚像画像VIを含む合成画像CIである。
図8は、本発明の第1実施形態に係るアウトリガ装置104の設置位置表示システム1における張り出しビーム105の可動範囲Rmでのジャッキ106の接地領域Acの虚像画像VIを含む合成画像CIである。
図9は、本発明の第1実施形態に係るアウトリガ装置104の設置位置表示システム1における敷板107に最も近接した接地領域Acの虚像画像VIを含む合成画像CIである。
【0065】
図5に示すように、アウトリガ装置104の設置位置表示システム1は、各装置を連動させて情報取得工程S1、延伸量算出工程S2、虚像画像情報生成工程S3及び合成画像生成工程S4の各工程を実施可能に構成されている。アウトリガ装置104の設置位置表示システム1は、各工程を実施することで、アウトリガ装置104を含む現実画像RIにジャッキ106の接地領域Ac等を示す虚像画像VIを重ねて表示させた合成画像CIを生成可能である。
【0066】
アウトリガ装置104の設置位置表示システム1において、撮影位置検出装置3は、衛星から測距電波を所定の時間間隔で受信し、位置座標Pcを算出しているものとする。また、作業車両情報IVには、所定の時間間隔で受信した衛星からの測距電波による位置座標に関する情報が含まれているものとする。本実施形態において、敷板107は、アウトリガ装置104の近傍に敷板107が設置されているものとする。現実画像RIは、撮影装置2、撮影位置検出装置3、通信装置4、表示装置5及び画像処理装置6を含む携帯端末7によって撮影される。現実画像RIには、アウトリガ装置104の張り出しビーム105と、ジャッキ106と、敷板107とが含まれているものとする。
【0067】
図5に示すように、情報取得工程S1は、各種情報を取得する工程である。情報取得工程S1において、アウトリガ装置104の設置位置表示システム1の画像処理装置6は、撮影装置2によってクレーン100のアウトリガ装置104を含む現実画像RIが撮影されると、撮影装置2が撮影した現実画像RIを取得する。同時に、画像処理装置6は、撮影位置検出装置3が算出した位置座標Pc及び撮影方向Dを取得する。また、画像処理装置6は、通信装置4によって外部のサーバーSまたはクレーン100の制御装置103から作業車両情報IV及び作業情報IWを取得する(
図3参照)。また、画像処理装置6は、表示装置5の入力装置5aからジャッキ106の設置位置が入力された場合、ジャッキ106の設置位置に関する信号を取得する。
【0068】
図4及び
図5に示すように、延伸量算出工程S2は、現実画像RIにおけるジャッキ106の位置座標と設置面GSとから張り出しビーム105のビーム延伸量E1とジャッキ106のジャッキ延伸量E2とを算出する工程である。延伸量算出工程S2において、画像処理装置6は、現実画像RIにおいて第1マーカ判定画像Mj1及び第2マーカ判定画像Mj2を検出する。画像処理装置6は、撮影装置2の位置座標Pc及び撮影方向D、第1マーカ基準画像Ms1と第1マーカ判定画像Mj1との比較、第1マーカ基準画像Ms1が有するアウトリガ装置104の諸元及び作業車両情報IVからアウトリガ情報Ioを算出する。
【0069】
図4及び
図6に示すように、画像処理装置6は、現実画像RIにおける張り出しビーム105の位置座標、延伸方向及び可動範囲Rmとジャッキ106の位置座標、延伸方向及び可動範囲Rmを算出する(
図6参照)。画像処理装置6は、撮影装置2の位置座標Pc及び撮影方向D及び第2マーカ基準画像Ms2と第2マーカ判定画像Mj2との比較によって敷板情報Ipを算出する。つまり、画像処理装置6は、現実画像RIでの設置面GSの位置座標を検出するとともに、ジャッキ106の接地部材106aから設置面GSまでの距離を算出する。
【0070】
画像処理装置6は、算出したアウトリガ情報Io及び敷板情報Ipに基づいて現実画像RI上における張り出しビーム105の可動範囲Rmを示す位置座標及びジャッキ106の接地領域Acを示す位置座標の少なくとも一つを算出する。または、画像処理装置6は、算出したアウトリガ情報Io及び敷板情報Ipに基づいて敷板107の位置にジャッキ106を設置するための張り出しビーム105のビーム延伸量E1及びジャッキ106のジャッキ延伸量E2を算出する。または、画像処理装置6は、算出したアウトリガ情報Io及び敷板情報Ipに基づいて表示装置5の入力装置5aから入力されたジャッキ106の設置位置にジャッキ106を設置するための張り出しビーム105のビーム延伸量E1及びジャッキ106のジャッキ延伸量E2を算出する。
【0071】
図5及び
図6に示すように、虚像画像情報生成工程S3は、アウトリガ装置104における張り出しビーム105の可動範囲Rmとジャッキ106の接地領域Acとの少なくとも一つを含む虚像画像VIに関する情報Ivを生成する工程である。虚像画像情報生成工程S3において、画像処理装置6は、アウトリガ情報Ioと敷板情報Ipとに基づいて、現実画像RIの設置面GS上において張り出しビーム105の可動範囲Rmと、張り出しビーム105が任意の長さに延伸した場合のジャッキ106の接地領域Acを示すための虚像画像VIに関する情報Ivを生成する。
【0072】
図5に示すように、合成画像生成工程S4は、虚像画像VIを生成し、現実画像RIと虚像画像VIとを合成する工程である(
図3参照)。合成画像生成工程S4において、画像処理装置6は、虚像画像VIに関する情報Ivに基づいて、現実画像RIを撮影した撮影装置2の撮影位置から見える画像として虚像画像VIを生成する。更に画像処理装置6は、生成した虚像画像VIを現実画像RIに重ね合わせた撮影装置2の撮影位置から見える画像である合成画像CIを生成する。合成画像CIは、現実画像RI上における張り出しビーム105の可動範囲Rm及びジャッキ106の接地領域Acの少なくとも一つを含む虚像画像VIが区別可能に表示された画像である。アウトリガ装置104の設置位置表示システム1は、合成画像CIを表示装置5に表示する(
図4参照)。
【0073】
図6に示すように、合成画像CIには、例えば、現実画像RIにおけるアウトリガ装置104の画像部分に、張り出しビーム105の可動範囲Rmを示す線図からなる虚像画像VIが重なって表示されている。また、合成画像CIには、例えば、現実画像RIにおける設置面GSに、張り出しビーム105が任意の位置まで延伸した場合にジャッキ106の接地部材106aが設置面GSに接地する接地領域Acを示す図形からなる虚像画像VIが重なって表示されている。この際、画像処理装置6は、表示装置5の入力装置5a等から入力された操作信号を取得し、前記操作信号に基づいてアウトリガ情報Ioを生成する。
【0074】
図7に示すように、画像処理装置6は、表示装置5の画面上で指定した張り出しビーム105の延伸位置におけるジャッキ106の接地領域Acを虚像画像VIとして撮影装置2の撮影位置から見える画像として現実画像RIに重ね合わせた合成画像CIを表示装置5に表示する。
【0075】
或いは、
図8に示すように、合成画像CIは、例えば現実画像RIにおける設置面GSに、張り出しビーム105の可動範囲Rmを示す線図と、張り出しビーム105の可動範囲Rmの全域に亘ってジャッキ106の接地部材106aが接地する接地領域Acを示す図形とからなる虚像画像VIを撮影装置2の撮影位置から見える画像として現実画像RIに重ね合わせた合成画像CIを表示装置5に表示する。
【0076】
このように構成されるアウトリガ装置104の設置位置表示システム1は、撮影装置2の位置座標Pcと撮影方向D、アウトリガ情報Io、敷板情報Ip、作業車両情報IVからアウトリガ装置104に関する虚像画像VIを生成する。アウトリガ装置104の設置位置表示システム1は、虚像画像VIを現実画像RIに重ね合わせた合成画像CIを生成する。アウトリガ装置104の設置位置表示システム1は、ジャッキが延伸していない状態において作業者が所望する位置から撮影した現実画像RIにおける設置面GS上に張り出しビーム105の可動範囲Rm及びジャッキ106の接地領域Acの少なくとも一つを含む虚像画像VIを重ね合わせた合成画像CIを生成する。作業者は、合成画像CIを参照することで、ジャッキ106が延伸していない状態においてジャッキ106の直下に敷板107を設置することができる。これにより、アウトリガ装置104の設置位置表示システム1は、アウトリガ装置104の設置を適切且つ効率的に行うための情報を提供することができる。
【0077】
また、画像処理装置6は、作業者が表示装置5の入力装置5aから入力した張り出しビーム105のビーム延伸量E1に基づいて接地領域Acを示す虚像画像VIを現実画像RIに重ね合わせた合成画像CIを生成する。また、アウトリガ装置104の設置位置表示システム1は、携帯端末7に各装置が含まれている場合、作業者が所望する任意の視点からアウトリガ装置104のジャッキ106と敷板107との位置関係を視認することができる。つまり、作業者は、アウトリガ装置104の近傍で張り出しビーム105の可動範囲Rmとジャッキ106の接地領域Acを合成画像CIで確認しつつ、敷板107の設置位置を検討することができる。これにより、アウトリガ装置104の設置位置表示システム1は、作業者の意図が反映された虚像画像VIを生成することでアウトリガ装置104の設置を適切且つ効率的に行うための情報を提供することができる。
【0078】
[第1実施形態の変形例]
次に、
図5及び
図9を用いて、第1実施形態に係るアウトリガ装置104の設置位置表示システム1の変形例について説明する。
図9は、本発明の第1実施形態に係るアウトリガ装置104の設置位置表示システムにおける敷板に最も近接した接地領域Acの虚像画像VIを含む合成画像CIである。
【0079】
図9に示すように、アウトリガ装置104の設置位置表示システム1は、設置面GSに設置された敷板107の位置を基準としたジャッキ106の接地領域Acを表示する虚像画像VIを生成する。
【0080】
図5及び
図9に示すように、延伸量算出工程S2において、画像処理装置6は、アウトリガ情報Ioと敷板情報Ipによって張り出しビーム105の可動範囲Rmに対する敷板107の位置座標を算出する。また、画像処理装置6は、張り出しビーム105の可動範囲Rmにおいてジャッキ106の先端部分である接地部材106aから敷板107までの距離が最小となる張り出しビーム105のビーム延伸量E1を算出する。さらに、画像処理装置6は、算出した張り出しビーム105のビーム延伸量E1におけるジャッキ106の接地領域Acを算出する。
【0081】
虚像画像情報生成工程S3において、画像処理装置6は、現実画像RIの設置面GSの領域上において算出した張り出しビーム105のビーム延伸量E1まで延伸した場合のジャッキ106の接地領域Acを示すための虚像画像VIに関する情報Ivを生成する。
【0082】
合成画像生成工程S4において、画像処理装置6は、虚像画像VIに関する情報Ivに基づいて虚像画像VIを生成する。画像処理装置6は、虚像画像VIを現実画像RI上に重ね合わせた合成画像CIを生成する。アウトリガ装置104の設置位置表示システム1は、作業者が仮で接地した敷板107がジャッキ106の接地領域Acに含まれていない場合、ジャッキ106が延伸していない状態において、作業者が仮置きした敷板107の近傍にジャッキ106が接地できるように敷板107の位置を修正することができる。これにより、アウトリガ装置104の設置位置表示システム1は、アウトリガ装置104の設置を適切且つ効率的に行うための情報を提供することができる。
【0083】
[第2実施形態]
次に、
図10及び
図11を用いて、本発明の第2実施形態に係るアウトリガ装置の設置位置表示システム1を備える作業車両であるであるクレーン100(ラフテレーンクレーン)について説明する。
図10は、本発明の第2実施形態に係るクレーン100の側面図である。
図11は、本発明の第2実施形態に係るクレーン100の制御ブロック図である。なお、本実施形態においては、作業車両としてクレーン100(ラフテレーンクレーン)ついて説明を行うが、オールテレーンクレーン、トラッククレーン、積載型トラッククレーン、高所作業車等でもよい。つまり、走行体に旋回台110を介して起伏可能なブームが設けられた作業車両に適用可能である。以下の説明において、実施形態1と同様の構成には同一の符号を付して説明を省略し、実施形態1と異なる部分についてのみ説明する。
【0084】
図10に示すように、クレーン100は、不特定の場所に移動可能な移動式クレーンである。クレーン100は、走行体101、作業装置であるクレーン装置109、制御装置103(
図11参照)、アウトリガ装置104の設置位置表示システム1(
図11参照)を有する。
【0085】
走行体101は、クレーン装置109を搬送する。走行体101は、複数の車輪102を有し、エンジン108を動力源として走行する。走行体101には、アウトリガ装置104(
図1参照)が設けられている。アウトリガ装置104は、走行体101の幅方向両側に油圧によって延伸可能な張り出しビーム105と地面に垂直な方向に延伸可能な油圧式のジャッキ106とから構成されている。
【0086】
クレーン装置109は、荷物Wをワイヤロープによって吊り上げる作業装置である。クレーン装置109は、旋回台110、ブーム112、ジブ112a、メインフックブロック113、サブフックブロック114、起伏用油圧シリンダ115、メインウインチ116、メインワイヤロープ117、サブウインチ118、サブワイヤロープ119及びキャビン120等を具備する。
【0087】
旋回台110は、クレーン装置109を旋回可能に構成する駆動装置である。旋回台110は、円環状の軸受を介して走行体101のフレーム上に設けられる。旋回台110は、円環状の軸受の中心を回転中心として回転自在に構成されている。旋回台110には、アクチュエータである油圧式の旋回用油圧モータ18が設けられている。旋回台110には、GNSS受信機121が設けられている。
【0088】
ブーム112は、荷物Wを吊り上げ可能な状態にメインワイヤロープ117及びサブワイヤロープ119を支持する可動支柱である。ブーム112は、複数のブーム部材から構成されている。ブーム112は、ベースブーム部材の基端が旋回台110の略中央に揺動可能に設けられている。ブーム112は、各ブーム部材をアクチュエータである図示しない伸縮用油圧シリンダで移動させることで軸方向に伸縮自在に構成されている。ブーム112には、ジブ112a及びブームカメラ112bが設けられている。
【0089】
メインフックブロック113とサブフックブロック114とは、荷物Wを吊る吊り具である。メインフックブロック113には、メインワイヤロープ117が巻き掛けられる複数のフックシーブと、荷物Wを吊るメインフック113aとが設けられている。サブフックブロック114には、荷物Wを吊るサブフック114aが設けられている。
【0090】
起伏用油圧シリンダ115は、ブーム112を起立及び倒伏させ、ブーム112の姿勢を保持するアクチュエータである。起伏用油圧シリンダ115は、シリンダ部の端部が旋回台110に揺動自在に連結され、ロッド部の端部がブーム112のベースブーム部材に揺動自在に連結されている。
【0091】
メインウインチ116とサブウインチ118とは、メインワイヤロープ117とサブワイヤロープ119との繰り入れ(巻き上げ)及び繰り出し(巻き下げ)を行う巻回装置である。メインウインチ116は、メインワイヤロープ117が巻きつけられるメインドラムがアクチュエータである図示しないメイン用油圧モータによって回転される。サブウインチ118は、サブワイヤロープ119が巻きつけられるサブドラムがアクチュエータである図示しないサブ用油圧モータによって回転される。
【0092】
キャビン120は、筐体に覆われた操縦席である。キャビン120は、旋回台110に搭載されている。キャビン120には、走行体101を走行操作するための走行用操作具122、クレーン装置109を操作するためのクレーン装置用操作具123及びアウトリガ装置104を操作するためのアウトリガ装置用操作具124を有している。
【0093】
図11に示すように、アウトリガ装置104の設置位置表示システム1は、撮影装置2と、撮影位置検出装置3と、通信装置4と、表示装置5と、画像処理装置6とを含む携帯端末7から構成されている。
【0094】
画像処理装置6は、算出したアウトリガ情報Io及び敷板情報Ipに基づいて敷板107の位置にジャッキ106を設置するための張り出しビーム105のビーム延伸量E1及びジャッキ106のジャッキ延伸量E2を算出可能である。また、画像処理装置6は、算出したアウトリガ情報Io及び敷板情報Ipに基づいて表示装置5の入力装置5a(
図1参照)から入力されたジャッキ106の設置位置にジャッキ106を設置するための張り出しビーム105のビーム延伸量E1及びジャッキ106のジャッキ延伸量E2を算出可能である。
【0095】
画像処理装置6は、通信装置4を介して制御装置103と通信可能である。画像処理装置6は、通信装置4を介して旋回台110の旋回中心の位置座標P、作業車両情報IV及び作業情報IWを取得可能である。画像処理装置6は、アウトリガ情報Io及び敷板情報Ipとから算出したジャッキ106の接地領域Ac内に敷板107が含まれている場合(
図7参照)、通信装置4を介して敷板107上にジャッキ106を設置するための張り出しビーム105のビーム延伸量E1及びジャッキ106のジャッキ延伸量E2を制御装置103に送信可能である。また、表示装置5の入力装置5aからジャッキ106の設置位置が入力され、且つ接地領域Ac内に敷板107が含まれている場合(
図12参照)、通信装置4を介してジャッキ106の設置位置にジャッキ106を設置するための張り出しビーム105のビーム延伸量E1及びジャッキ106のジャッキ延伸量E2を制御装置103に送信可能である。なお、画像処理装置6は、クレーン100の制御装置103と一体に構成されていてもよい。
【0096】
制御装置103は、各操作弁を介してクレーン装置109のアクチュエータを制御する。制御装置103は、実体的には、CPU、ROM、RAM、HDD等がバスで接続される構成であってもよく、あるいはワンチップのLSI等からなる構成であってもよい。制御装置103は、各アクチュエータの切換えバルブ、センサ等の動作を制御するために種々のプログラム、データが格納されている。
【0097】
制御装置103は、ブームカメラ112b、走行用操作具122、旋回操作具、起伏操作具、伸縮操作具、メインドラム操作具、サブドラム操作具を含むクレーン装置用操作具123に接続されている。また、制御装置103は、アウトリガ装置104の張り出しビーム用操作具及びジャッキ用操作具等を含むアウトリガ装置用操作具124に接続されている。制御装置103は、ブームカメラ112bからの映像、走行用操作具122、クレーン装置用操作具123及びアウトリガ装置用操作具124の操作量を取得可能である。
【0098】
制御装置103は、旋回用油圧モータ用の旋回用バルブ、伸縮用油圧シリンダ用の伸縮用バルブ、起伏用油圧シリンダ用の起伏用バルブ、メイン用油圧モータ用のメイン用バルブ及びサブ用油圧モータ用のサブ用バルブ等を含むクレーン装置用バルブ125に接続されている。制御装置103は、クレーン装置用バルブ125に各アクチュエータを目標作動量まで作動させるための作動信号を伝達可能である。
【0099】
制御装置103は、張り出しビーム105を駆動する油圧アクチュエータの張り出しビーム用バルブ、ジャッキ106を駆動する油圧アクチュエータ用のジャッキ用バルブを含むアウトリガ装置用バルブ126に接続されている。制御装置103は、アウトリガ装置用バルブ126に各アクチュエータを目標作動量まで作動させるための作動信号を伝達可能である。
【0100】
制御装置103は、旋回台110のGNSS受信機121に接続されている。制御装置103は、旋回台110のGNSS受信機121の信号から旋回台110の旋回中心の位置座標Pを取得可能である。
【0101】
制御装置103は、走行用操作具122及びクレーン装置用操作具123の操作量に基づいて制御信号を生成する。また、制御装置103は、通信装置4を介して画像処理装置6から張り出しビーム105のビーム延伸量E1及びジャッキ106のジャッキ延伸量E2を取得可能である。
【0102】
制御装置103は、画像処理装置6から取得した張り出しビーム105のビーム延伸量E1及びジャッキ106のジャッキ延伸量E2に基づいて、アウトリガ装置104の張り出しビーム105とジャッキ106とを延伸可能である。
【0103】
このように構成されるクレーン100は、走行体101を走行させることで任意の位置にクレーン装置109を移動させることができる。また、クレーン100は、各操作具によってブーム112を任意の起伏角度、伸縮長さにすることでクレーン装置109の揚程、作業半径を拡大することができる。また、クレーン100は、旋回台110とブーム112の操作によって荷物Wを搬送することができる。
【0104】
また、クレーン100は、アウトリガ装置104の設置位置表示システム1からの制御信号により、アウトリガ装置104を自動で設置可能である。クレーン100は、アウトリガ装置104の設置位置表示システム1の画像処理装置6から敷板107の位置にジャッキ106を設置するための張り出しビーム105のビーム延伸量E1及びジャッキ106のジャッキ延伸量E2を取得すると、アウトリガ装置用バルブ126を制御して張り出しビーム105とジャッキ106とを取得した延伸量まで延伸させる。
【0105】
このように構成されるクレーン100は、アウトリガ装置104の設置位置表示システム1によって作業者が設置した敷板107の位置、または、アウトリガ装置104の設置位置表示システム1の入力装置5aから作業者が入力したジャッキ106の設置位置に自動でジャッキ106を設置する。これにより、アウトリガ装置104の設置位置表示システム1を備えるクレーン100は、作業者の意図が反映された虚像画像VIを生成することでアウトリガ装置104の設置を適切且つ効率的に行うための情報を提供し、且つ自動でアウトリガ装置104を制御することができる。
【0106】
[他の実施形態]
上述の実施形態において、クレーン100は、アウトリガ装置104の設置位置表示システム1を含む携帯端末7によって虚像画像VIを表示可能である。しかしながら、
図13に示すように、アウトリガ装置104の設置位置表示システム1は、ウェアラブル端末であるスマートグラス等の透過型表示装置8に虚像画像VIを表示してもよい。
図13は、本発明の他の実施形態に係るクレーン100の操縦支援システムにおける透過型表示装置8が使用者に装着された斜視図である。
【0107】
透過型表示装置8は、使用者から見て透過型表示装置8の表示画面と重複している透過型表示装置8の背景を前記使用者が視認可能な表示装置である。透過型表示装置8は、前記使用者が身体に装着して使用するウェアラブル端末である。本実施形態において、透過型表示装置8は、眼鏡型のウェアラブル端末として説明する。透過型表示装置8は、撮影装置2と、撮影位置検出装置3と、フレーム9と、透過型ディスプレイ10と、画像処理装置6とを有する。
【0108】
フレーム9は、透過型ディスプレイ10と、撮影装置2と、撮影位置検出装置3と、画像処理装置6とを支持する。フレーム9は、眼鏡型フレームとして構成されている。フレーム9は、前記使用者の頭部に装着される。フレーム9は、前記使用者の鼻と両耳とによって支持される。
【0109】
透過型ディスプレイ10は、透過率が概ね50%以上のディスプレイである。透過型ディスプレイ10は、バックライト、偏光フィルタ及びカラーフィルタを有さない液晶ディスプレイ、有機ELディスプレイまたは無機ELディスプレイ等から構成されている。つまり、透過型ディスプレイ10は、前記使用者と対向している表示画面の背面を覆うバックライト及びフィルタ等の部材が存在しない。従って、透過型ディスプレイ10は、前記使用者の視点から見て透過型ディスプレイ10と重複している背景が透過している。また、透過型ディスプレイ10は、表示画面に透過型ディスプレイ10の機能によって生成された画像である虚像画像VIを表示可能に構成されている。
【0110】
透過型ディスプレイ10は、虚像画像VIを表示させない部分において背面から入光した光を透過させる。また、透過型ディスプレイ10は、虚像画像VIを表示させる部分において背面から入光した光の少なくとも一部を遮光する。更に、透過型ディスプレイ10は、遮光した部分に虚像画像VIを表示する。この際、透過型ディスプレイ10には、前記使用者の視点から見た虚像画像VIが表示される。これにより、透過型ディスプレイ10は、前記使用者の視点から見た風景に虚像画像VIが重畳して表示された状態を前記使用者に視認させる。透過型ディスプレイ10は、フレーム9に設けられている。透過型ディスプレイ10は、フレーム9を装着している前記使用者の右目の視野範囲と左目の視野範囲とを覆うように位置している。透過型ディスプレイ10は、右目用の虚像画像VIと左目用の虚像画像VIとを視差画像としてそれぞれ表示画面に表示可能に構成されている。これにより、透過型ディスプレイ10は、前記使用者の視野範囲のほぼ全域において立体的な虚像画像VIを表示させることができる。なお、透過型表示装置8において、前記使用者の視点から見た虚像画像VIを前記使用者の視野内に表示させる技術は公知である。
【0111】
画像処理装置6は、透過型表示装置8に虚像画像VIに関する情報Ivを送信する。透過型表示装置8は、取得した虚像画像VIに関する情報Ivに基づいて虚像画像VIを生成する。前記作業者は、ウェアラブル端末である透過型表示装置8を用いることで、ジャッキ106が延伸していない状態において前記作業者が視認している風景における設置面上に接地領域Acを示す虚像画像VIを現実画像IRに重ねて透過型ディスプレイ10に表示することができる。これにより、アウトリガ装置104の位置表示システムは、アウトリガ装置104の設置を適切且つ効率的に行うための情報を提供することができる。
【0112】
上述のアウトリガ装置104の設置位置表示システム1は、アウトリガ情報Ioと敷板情報Ipに基づいて張り出しビーム105のビーム延伸量E1及びジャッキ106のジャッキ延伸量E2を算出している。しかしながら、
図12に示すように、アウトリガ装置104の設置位置表示システム1は、作業情報IWに基づいてジャッキ106の設置可能範囲を制限してもよい。
図12は、本発明の第2実施形態に係るクレーン100のアウトリガ装置104の設置位置表示システム1におけるジャッキ106の接地領域Acが限定された虚像画像VIを含む合成画像CIである。
【0113】
図12に示すように、アウトリガ装置104の設置位置表示システム1は、通信装置4を介してクレーン100によって搬送される荷物Wの重量、形状、吊り上げ位置、吊り下げ位置等の搬送作業に関する情報等を含む作業情報IWをクレーン100の制御装置103または外部のサーバーSから取得する。アウトリガ装置104の設置位置表示システム1は、取得した作業情報IWに基づいて張り出しビーム105の延伸量のうち接地可能な延伸可能範囲E3と、延伸可能範囲E3におけるジャッキ106の設置可能領域Aiを算出する。アウトリガ装置104の設置位置表示システム1は、敷板107がジャッキ106の設置可能領域Aiに設置されていない場合または入力装置5aから入力されたジャッキ106の接地位置がジャッキ106の設置可能領域Aiに含まれていない場合、クレーン100の制御装置103に張り出しビーム105のビーム延伸量E1及びジャッキ106のジャッキ延伸量E2を送信しない。
【0114】
また、上述のアウトリガ装置104の設置位置表示システム1は、ジャッキ106の接地領域Amを虚像画像VIとして設置面GS上の図形で表示している。しかしながら、アウトリガ装置104の設置位置表示システム1は、ジャッキ106の構造体虚像画像VjIをジャッキ106の設置位置に表示する構成でもよい。さらに、アウトリガ装置104の設置位置表示システム1は、張り出しビーム105の虚像画像を更に表示してもよい。
【0115】
また、上述のアウトリガ装置104の設置位置表示システム1は、クレーン100に設けられている複数のジャッキ106を撮影装置2でそれぞれ撮影することで、各ジャッキ106のジャッキ延伸量E2をそれぞれ算出可能である。クレーン100の制御装置103は、各ジャッキ106のジャッキ延伸量E2を取得することで、クレーン100が水平な状態でクレーン100を設置面GSから離隔可能である。
【0116】
また、上述の撮影位置検出装置3は、撮影装置2に設けられた複数のGNSS受信機である。しかしながら、撮影位置検出装置3は、GNSS受信機とジャイロセンサまたは方位センサの組み合わせでもよい。また、撮影位置検出装置3は、複数のビーコン(Beacon)でもよい。なお、撮影位置検出装置3は、工事現場において絶対座標が既知である所定の位置に設置されたマーカを撮影することで撮影装置2の位置座標Pcと向きを算出してもよい。
【0117】
また、上述の撮影位置検出装置3は、撮影装置2に設けられた複数のGNSS受信機である。しかしながら、撮影位置検出装置は、特定の位置に位置しているマーカを認識することで撮影装置の位置を算出してもよい。撮影位置検出装置は、例えばクレーンのアウトリガに位置するマーカを認識することで撮影装置の位置を算出する。また、撮影装置がマーカから離れた場合は、SLAM等の既知の技術によって撮影装置2の位置を算出可能である。
【0118】
上述の実施形態は、代表的な形態を示したに過ぎず、一実施形態の骨子を逸脱しない範囲で種々変形して実施することができる。さらに種々なる形態で実施し得ることは勿論のことであり、本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲に記載の均等の意味、及び範囲内のすべての変更を含む。
【符号の説明】
【0119】
1 設置位置表示システム
2 撮影装置
3 撮影位置検出装置
4 通信装置
5 表示装置
6 画像処理装置
7 携帯端末
8 透過型表示装置
IV 作業車両情報
IW 作業情報
RI 現実画像
VI 虚像画像
CI 合成画像
GS 設置面
100 クレーン
101 走行体
102 車輪
103 制御装置
104 アウトリガ装置
105 張り出しビーム
106 ジャッキ