特開2023-121467作業車両の操縦支援システム及び操縦支援システムを有する作業車両
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023121467
(43)【公開日】2023-08-31
(54)【発明の名称】作業車両の操縦支援システム及び操縦支援システムを有する作業車両
(51)【国際特許分類】
B66C 13/46 20060101AFI20230824BHJP
G09F 9/00 20060101ALI20230824BHJP
H04N 7/18 20060101ALI20230824BHJP
G06T 19/00 20110101ALI20230824BHJP
【ＦＩ】
B66C13/46 F
G09F9/00 362
G09F9/00 366G
H04N7/18 J
G06T19/00 600
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022024827
(22)【出願日】2022-02-21
(71)【出願人】
【識別番号】000148759
【氏名又は名称】株式会社タダノ
(74)【代理人】
【識別番号】100142022
【弁理士】
【氏名又は名称】鈴木 一晃
(74)【代理人】
【識別番号】100196623
【弁理士】
【氏名又は名称】松下 計介
(72)【発明者】
【氏名】元木 浩平
【テーマコード（参考）】
3F204
5B050
5C054
5G435
【Ｆターム（参考）】
3F204AA04
3F204BA02
3F204CA01
3F204CA05
3F204DB04
3F204FC03
3F204FD10
5B050CA07
5B050DA04
5B050EA07
5B050EA19
5B050EA27
5B050FA02
5C054AA02
5C054CA04
5C054CC02
5C054DA07
5C054FA04
5C054FE14
5C054HA29
5G435AA00
5G435BB05
5G435BB12
5G435EE49
5G435LL17
5G435LL18
(57)【要約】
【課題】指示者から取得する情報が操縦に与える影響を抑制し、効率よくクレーンを操縦することができる操縦支援システム及び操縦支援システムを備える作業車両を提供する。
【解決手段】背景Ｌｓと虚像画像Ｉｍとを重畳して視認させる透過型表示装置２を備える操縦支援システム１である。位置情報取得装置は、第１虚像画像Ｉｍ１が表示された表示画面上において使用者が任意に選択した選択位置Ｓｐに関する情報Ｉｆｄを生成する。画像処理装置９は、選択位置Ｓｐに関する情報Ｉｆｄを取得し、使用者が選択した選択位置Ｓｐを算出する。画像処理装置９は、表示画面上に表示された第１虚像画像Ｉｍ１と選択位置Ｓｐとの位置関係に基づいて、メインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを生成し、通信装置８を介してメインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを制御装置に送信する。
【選択図】図８
【解決手段】背景Ｌｓと虚像画像Ｉｍとを重畳して視認させる透過型表示装置２を備える操縦支援システム１である。位置情報取得装置は、第１虚像画像Ｉｍ１が表示された表示画面上において使用者が任意に選択した選択位置Ｓｐに関する情報Ｉｆｄを生成する。画像処理装置９は、選択位置Ｓｐに関する情報Ｉｆｄを取得し、使用者が選択した選択位置Ｓｐを算出する。画像処理装置９は、表示画面上に表示された第１虚像画像Ｉｍ１と選択位置Ｓｐとの位置関係に基づいて、メインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを生成し、通信装置８を介してメインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを制御装置に送信する。
【選択図】図８
【特許請求の範囲】
【請求項1】
背景を透過させる表示画面に使用者の視点から見た虚像画像を表示する透過型表示装置と、
前記表示画面上において、前記使用者の視点から見て前記使用者が任意に選択した選択位置に関する情報を生成する位置情報取得装置と、
前記虚像画像に関する情報を生成するとともに、前記選択位置に関する情報を取得し、前記選択位置を算出する画像処理装置と、
作業車両の制御装置、前記画像処理装置、及び前記透過型表示装置の間で情報を送信及び受信する通信装置と、を備える作業車両の操縦支援システムであって、
前記画像処理装置は、
前記通信装置を介して取得した前記作業車両の位置に関する情報及び前記作業車両の姿勢に関する情報に基づいて、前記作業車両によって移動される基準部材の現在位置を算出し、
前記通信装置を介して取得した前記使用者の位置に関する情報及び基準部材の現在位置に基づいて、前記使用者の視点から見て前記基準部材を移動させるための第１虚像画像を前記表示画面上に表示するための第１虚像画像に関する情報を生成し、
前記透過型表示装置は、
前記通信装置を介して取得した前記第１虚像画像に関する情報に基づいて前記第１虚像画像を前記表示画面上に表示し、
位置情報取得装置は、
前記第１虚像画像が表示された前記表示画面上において前記選択位置に関する情報を生成し、
前記画像処理装置は、
前記選択位置に関する情報を取得し、前記選択位置を算出し、
前記表示画面上に表示された前記第１虚像画像と前記選択位置との位置関係に基づいて、前記基準部材の移動方向に関する情報を生成し、前記通信装置を介して前記基準部材の移動方向に関する情報を前記制御装置に送信する、
作業車両の操縦支援システム。
前記表示画面上において、前記使用者の視点から見て前記使用者が任意に選択した選択位置に関する情報を生成する位置情報取得装置と、
前記虚像画像に関する情報を生成するとともに、前記選択位置に関する情報を取得し、前記選択位置を算出する画像処理装置と、
作業車両の制御装置、前記画像処理装置、及び前記透過型表示装置の間で情報を送信及び受信する通信装置と、を備える作業車両の操縦支援システムであって、
前記画像処理装置は、
前記通信装置を介して取得した前記作業車両の位置に関する情報及び前記作業車両の姿勢に関する情報に基づいて、前記作業車両によって移動される基準部材の現在位置を算出し、
前記通信装置を介して取得した前記使用者の位置に関する情報及び基準部材の現在位置に基づいて、前記使用者の視点から見て前記基準部材を移動させるための第１虚像画像を前記表示画面上に表示するための第１虚像画像に関する情報を生成し、
前記透過型表示装置は、
前記通信装置を介して取得した前記第１虚像画像に関する情報に基づいて前記第１虚像画像を前記表示画面上に表示し、
位置情報取得装置は、
前記第１虚像画像が表示された前記表示画面上において前記選択位置に関する情報を生成し、
前記画像処理装置は、
前記選択位置に関する情報を取得し、前記選択位置を算出し、
前記表示画面上に表示された前記第１虚像画像と前記選択位置との位置関係に基づいて、前記基準部材の移動方向に関する情報を生成し、前記通信装置を介して前記基準部材の移動方向に関する情報を前記制御装置に送信する、
作業車両の操縦支援システム。
【請求項2】
請求項１に記載の作業車両の操縦支援システムにおいて、
前記画像処理装置は、
前記表示画面上に表示された前記第１虚像画像と前記選択位置との位置関係に基づいて、前記基準部材の移動速度に関する情報を生成し、前記通信装置を介して前記基準部材の移動速度に関する情報を前記制御装置に送信する、
作業車両の操縦支援システム。
前記画像処理装置は、
前記表示画面上に表示された前記第１虚像画像と前記選択位置との位置関係に基づいて、前記基準部材の移動速度に関する情報を生成し、前記通信装置を介して前記基準部材の移動速度に関する情報を前記制御装置に送信する、
作業車両の操縦支援システム。
【請求項3】
請求項２に記載の作業車両の操縦支援システムにおいて、
前記画像処理装置は、
前記使用者の視点から見て、前記第１虚像画像の一部に前記選択位置が重なっている場合、前記選択位置が重なっている前記第１虚像画像の位置に基づいて前記基準部材の移動方向及び移動速度に関する情報を生成する、
作業車両の操縦支援システム。
前記画像処理装置は、
前記使用者の視点から見て、前記第１虚像画像の一部に前記選択位置が重なっている場合、前記選択位置が重なっている前記第１虚像画像の位置に基づいて前記基準部材の移動方向及び移動速度に関する情報を生成する、
作業車両の操縦支援システム。
【請求項4】
請求項２または３に記載の作業車両の操縦支援システムにおいて、
前記画像処理装置は、
前記使用者の視点から見た前記選択位置の前記第１虚像画像における位置に基づいて前記基準部材の移動方向及び移動速度に関する情報を生成する、
作業車両の操縦支援システム。
前記画像処理装置は、
前記使用者の視点から見た前記選択位置の前記第１虚像画像における位置に基づいて前記基準部材の移動方向及び移動速度に関する情報を生成する、
作業車両の操縦支援システム。
【請求項5】
請求項１から４のいずれか一項に記載の作業車両の操縦支援システムにおいて、
前記画像処理装置は、
前記位置情報取得装置によって前記基準部材の目標位置に関する情報を取得し、前記使用者の視点から見て前記基準部材の目標位置を第２虚像画像として前記表示画面上に表示するための第２虚像画像に関する情報を生成し、
前記透過型表示装置は、
前記通信装置を介して前記第２虚像画像に関する情報を取得し、前記使用者の視点から見た前記第２虚像画像を前記表示画面上に表示する、
作業車両の操縦支援システム。
前記画像処理装置は、
前記位置情報取得装置によって前記基準部材の目標位置に関する情報を取得し、前記使用者の視点から見て前記基準部材の目標位置を第２虚像画像として前記表示画面上に表示するための第２虚像画像に関する情報を生成し、
前記透過型表示装置は、
前記通信装置を介して前記第２虚像画像に関する情報を取得し、前記使用者の視点から見た前記第２虚像画像を前記表示画面上に表示する、
作業車両の操縦支援システム。
【請求項6】
請求項１から５のいずれか一項に記載の作業車両の操縦支援システムにおいて、
前記画像処理装置は、
前記使用者の視点から見て前記基準部材を通過する垂線を第３虚像画像として前記表示画面上に表示するための第３虚像画像に関する情報を生成し、
前記透過型表示装置は、
前記通信装置を介して前記第３虚像画像に関する情報を取得し、前記使用者の視点から見た前記第３虚像画像を前記表示画面上に表示する、
作業車両の操縦支援システム。
前記画像処理装置は、
前記使用者の視点から見て前記基準部材を通過する垂線を第３虚像画像として前記表示画面上に表示するための第３虚像画像に関する情報を生成し、
前記透過型表示装置は、
前記通信装置を介して前記第３虚像画像に関する情報を取得し、前記使用者の視点から見た前記第３虚像画像を前記表示画面上に表示する、
作業車両の操縦支援システム。
【請求項7】
請求項１から請求項６のいずれか一項に記載の作業車両の操縦支援システムにおいて、
前記画像処理装置は、
前記使用者の視点から見て前記基準部材から前記選択位置への方向を表すベクトル線図を第４虚像画像として前記表示画面上に表示するための第４虚像画像に関する情報を生成し、
前記透過型表示装置は、
前記通信装置を介して前記第４虚像画像に関する情報を取得し、前記使用者の視点から見た前記第４虚像画像を前記表示画面上に表示する、
作業車両の操縦支援システム。
前記画像処理装置は、
前記使用者の視点から見て前記基準部材から前記選択位置への方向を表すベクトル線図を第４虚像画像として前記表示画面上に表示するための第４虚像画像に関する情報を生成し、
前記透過型表示装置は、
前記通信装置を介して前記第４虚像画像に関する情報を取得し、前記使用者の視点から見た前記第４虚像画像を前記表示画面上に表示する、
作業車両の操縦支援システム。
【請求項8】
請求項１から請求項７のいずれか一項に記載の作業車両の操縦支援システムにおいて、
前記位置情報取得装置は、
前記使用者の視点から見た前記表示画面上における前記使用者の手の位置または前記使用者の視線の位置から前記選択位置に関する情報を生成し、
前記画像処理装置は、
取得した前記選択位置に関する情報に含まれる前記使用者の手の位置に基づいて前記使用者が選択した選択位置を算出するハンドトラッキング、または取得した前記選択位置に関する情報に含まれる前記使用者の視線の位置に基づいて前記使用者が選択した選択位置を算出するアイトラッキングを実施可能である、
作業車両の操縦支援システム。
前記位置情報取得装置は、
前記使用者の視点から見た前記表示画面上における前記使用者の手の位置または前記使用者の視線の位置から前記選択位置に関する情報を生成し、
前記画像処理装置は、
取得した前記選択位置に関する情報に含まれる前記使用者の手の位置に基づいて前記使用者が選択した選択位置を算出するハンドトラッキング、または取得した前記選択位置に関する情報に含まれる前記使用者の視線の位置に基づいて前記使用者が選択した選択位置を算出するアイトラッキングを実施可能である、
作業車両の操縦支援システム。
【請求項9】
請求項１から請求項６のいずれか一項に記載の作業車両の操縦支援システムを有する作業車両。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業車両の操縦支援システム及び操縦支援システムを有する作業車両に関する。
【背景技術】
【0002】
従来、作業車両である移動式クレーンを用いて荷物を搬送する場合、移動式クレーンの操縦者は、移動式クレーンのブームを操作するための旋回用操作具、起伏用操作具、伸縮用操作具、荷物を吊り上げまたは吊り下げるためのウインチ用操作具等の複数の操作具を操作する。また、操縦者は、複数の操作具を同時に操作しつつ、作業現場の構造物等に荷物が接触しないように移動式クレーンを操作しなくてはならない。そこで、操縦者は、荷物の位置についての情報、地物の情報等を、玉掛け作業者等から取得することによって、操縦者が視認できない範囲、時期の情報を補っている。つまり、操縦者は、視覚による情報と外部の指示者からの情報とに基づいて移動式クレーンの操縦を行う。
【0003】
また、移動式クレーンは、操縦者が操縦席から認識し難い領域の情報を取得するためにブームカメラ等を有している。移動式クレーンは、搬送中の荷物及び周囲の建造物等の上方からの画像をブームカメラによって取得することができる。例えば、特許文献１の如くである。
【0004】
特許文献１に記載のクレーンは、ブームの先端に設けられているブームカメラで作業現場の画像及び前記フックに吊り下げられている荷物の画像を取得するとともに、前記画像に荷物を中心とする基準線、目盛、荷物の移動方向を示す有向線分及び荷物の旋回可能軌道等の少なくとも一つを重ねて表示させる。クレーンの操縦者は、操縦者自身の視覚情報、指示者からの情報及びブームカメラの画像情報を総合的に判断してクレーンを操縦する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１９－１５６５３８号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
クレーンの操縦者は、指示者の指示内容、指示のタイミングに合わせてクレーンを操作するため、操縦者のペースでクレーンを操作できない。また、操縦者が指示者の意図をくみ取れない場合、通信不良によって指示者からの指示内容が十分に伝わらない場合等に荷物の所望する方向、場所に移動させ難いことがある。一方、ブームカメラからの画像は、撮影方向及び撮影範囲が限定されている。従って、クレーン操縦者は、ブームカメラからの画像から荷物を所望する場所に移動させるために必要な情報を十分に取得することができない。
【0007】
本発明の目的は、任意の位置から直感的な操作によって前記作業車両を操縦することができる作業車両の操縦支援システム及び操縦支援システムを備える作業車両の提供を目的とする。
【課題を解決するための手段】
【0008】
本発明者らは、任意の位置から直感的な操作によって基準部材を所望する方向に所望する速度で移動させることができる作業車両の操縦支援システム及び操縦支援システムを備える作業車両の構成について検討した。本発明者らは、鋭意検討の結果、以下のような構成に想到した。
【0009】
本発明に係る作業車両の操縦支援システムは、背景を透過させる表示画面に前記使用者の視点から見た虚像画像を表示する透過型表示装置と、前記表示画面上において、前記使用者の視点から見て前記使用者が任意に選択した選択位置に関する情報を生成する位置情報取得装置と、前記虚像画像に関する情報を生成するとともに、前記選択位置に関する情報を取得し、前記選択位置を算出する画像処理装置と、作業車両の制御装置、前記画像処理装置、及び前記透過型表示装置の間で情報を送信及び受信する通信装置と、を備える。
【0010】
前記画像処理装置は、前記通信装置を介して取得した前記作業車両の位置に関する情報及び前記作業車両の姿勢に関する情報に基づいて、前記作業車両によって移動される基準部材の現在位置を算出する。また、前記通信装置を介して取得した前記使用者の位置に関する情報及び基準部材の現在位置に基づいて、前記使用者の視点から見て前記基準部材を移動させるための第１虚像画像を前記表示画面上に表示するための第１虚像画像に関する情報を生成する。
【0011】
前記透過型表示装置は、前記通信装置を介して取得した前記第１虚像画像に関する情報に基づいて前記第１虚像画像を前記表示画面上に表示する。また、位置情報取得装置は、前記第１虚像画像が表示された前記表示画面上において前記選択位置に関する情報を生成する。
【0012】
前記画像処理装置は、前記選択位置に関する情報を取得し、前記選択位置を算出する。また、前記画像処理装置は、前記表示画面上に表示された前記第１虚像画像と前記選択位置との位置関係に基づいて、前記基準部材の移動方向に関する情報を生成し、前記通信装置を介して前記基準部材の移動方向に関する情報を前記制御装置に送信する。
【0013】
上述の操縦支援システムは、透過型表示装置の使用者が視認している背景（風景）に基準部材を移動させるための案内表示を使用者の視点から見た第１虚像画像として表示する。つまり、前記操縦支援システムは、任意の位置にいる使用者が基準部材を任意の方向に移動させるための図形情報、文字情報等を前記使用者の視野内の背景に重ね合わせて表示する。また、前記操縦支援システムは、透過型表示装置の使用者が選択した視野内の任意の選択位置と第１虚像画像との位置関係から基準部材の移動方向に関する情報を生成する。前記透過型表示装置の使用者は、第１虚像画像を基準として基準部材を移動させたい方向、位置等をアイトラッキング、ハンドトラッキング等の方法によって選択することで作業車両の制御信号を生成することができる。これにより、任意の位置から直感的な操作によって前記作業車両を任意の方向に操縦することができる。
【0014】
また、本発明の作業車両の操縦支援システムは、以下の構成を含むことが好ましい。前記画像処理装置は、前記表示画面上に表示された前記第１虚像画像と前記選択位置との位置関係に基づいて、前記基準部材の移動速度に関する情報を生成し、前記通信装置を介して前記基準部材の移動速度に関する情報を前記制御装置に送信する。
【0015】
上述の構成では、前記操縦支援システムは、任意の位置にいる使用者が基準部材を任意の方向に移動させるための図形情報、文字情報等に加えて前記基準部材を任意の速度で移動させるための図形情報、文字情報等を前記使用者の視野内の背景に重ね合わせて表示する。また、前記操縦支援システムは、透過型表示装置の使用者が選択した視野内の任意の選択位置と第１虚像画像との位置関係から基準部材の移動方向に関する情報に加えて前記基準部材の移動速度に関する情報を生成する。これにより、任意の位置から直感的な操作によって前記作業車両を任意の方向に任意の速度で操縦することができる。
【0016】
また、本発明の作業車両の操縦支援システムは、以下の構成を含むことが好ましい。前記画像処理装置は、前記使用者の視点から見て、前記第１虚像画像の一部に前記選択位置が重なっている場合、前記選択位置が重なっている前記第１虚像画像の位置に基づいて前記基準部材の移動方向及び移動速度に関する情報を生成する。
【0017】
上述の構成では、前記操縦支援システムは、第１虚像画像上の一部を透過型表示装置の使用者が選択することで、選択された前記第１虚像画像の一部に基づいて基準部材の移動方向及び移動速度に関する情報を生成する。前記透過型表示装置の使用者は、基準部材を移動させたい方向、位置等を示す第１虚像画像の一部をアイトラッキング、ハンドトラッキング等の方法によって選択することで作業車両の制御信号を生成することができる。これにより、任意の位置から直感的な操作によって前記作業車両を操縦することができる。
【0018】
また、作業車両の操縦支援システムは、以下の構成を含むことが好ましい。前記画像処理装置は、前記使用者の視点から見て、前記第１虚像画像の一部に前記選択位置が重なっている場合、前記選択位置が重なっている前記第１虚像画像の位置に基づいて前記基準部材の移動方向及び移動速度に関する情報を生成する。
【0019】
上述の構成では、前記操縦支援システムは、透過型表示装置の使用者が選択した第１虚像画像上の一部における基準部材からの距離及び方向に基づいて前記基準部材の移動方向及び移動速度に関する情報を生成する。前記透過型表示装置の使用者は、アイトラッキング、ハンドトラッキング等の方法によって基準部材からの距離と方向とを指定することで作業車両の制御信号を生成することができる。これにより、任意の位置から直感的な操作によって前記作業車両を操縦することができる。
【0020】
また、本発明の一実施形態に係る作業車両の操縦支援システムは、以下の構成を含むことが好ましい。作業車両の操縦支援システムは、虚像画像に関する情報を入力する入力装置を有する。また、前記画像処理装置は、前記入力装置から入力された前記基準部材の目標位置に関する情報を取得し、前記使用者の視点から見て前記基準部材の目標位置を第２虚像画像として前記表示画面上に表示するための第２虚像画像に関する情報を生成する。前記透過型表示装置は、前記通信装置を介して前記第２虚像画像に関する情報を取得し、前記使用者の視点から見た前記第２虚像画像を前記表示画面上に表示する。
【0021】
上述の構成では、前記操縦支援システムは、基準部材の現在位置と目標位置との位置関係、基準部材の目標位置と地物との位置関係を把握するための情報を前記使用者の視野内に重ね合わせて表示する。前記透過型表示装置の使用者は、基準部材の現在位置から目標位置までの距離と方向とを参考にしつつ、基準部材を移動させたい方向、位置等をアイトラッキング、ハンドトラッキング等の方法によって作業車両の制御信号を生成することができる。これにより、任意の位置から直感的な操作によって前記作業車両を操縦することができる。
【0022】
また、本発明の一実施形態に係る作業車両の操縦支援システムは、以下の構成を含むことが好ましい。前記画像処理装置は、前記使用者の視点から見て前記基準部材を通過する垂線を第３虚像画像として前記表示画面上に表示するための第３虚像画像に関する情報を生成する。また、前記透過型表示装置は、前記通信装置を介して前記第３虚像画像に関する情報を取得し、前記使用者の視点から見た前記第３虚像画像を前記表示画面上に表示する。
【0023】
上述の構成では、前記操縦支援システムは、透過型表示装置によって前記使用者が視認している背景に基準部材の現在位置を示す垂線を第３虚像画像として表示する。前記使用者は、視野内に表示されている基準部材の現在位置を示す垂線によって作業車両の基準部材を移動させるために必要な情報を補うことができる。これにより、任意の位置から直感的な操作によって前記作業車両を操縦することができる。
【0024】
他の観点によれば、本発明に係る作業車両の操縦支援システムは、以下の構成を含むことが好ましい。前記画像処理装置は、前記使用者の視点から見て前記基準部材の移動方向及び移動速度を表すベクトル線図を第４虚像画像として前記表示画面上に表示するための第４虚像画像に関する情報を生成する。また、前記透過型表示装置は、前記通信装置を介して前記第４虚像画像に関する情報を取得し、前記使用者の視点から見た前記第４虚像画像を前記表示画面上に表示する。
【0025】
上述の構成では、前記操縦支援システムは、前記透過型表示装置によって前記使用者が視認している背景に基準部材の移動方向を示すベクトル線図を前記使用者の視点から見た第４虚像画像として表示する。つまり、前記操縦支援システムは、前記使用者が選択した表示画面上の位置によって基準部材が移動する方向を表示する。前記使用者は、視野内に表示されている基準部材のベクトル線図によって基準部材を移動させるために必要な情報を補うことができる。これにより、任意の位置から直感的な操作によって前記作業車両を操縦することができる。
【0026】
他の観点によれば、本発明に係る作業車両の操縦支援システムは、以下の構成を含むことが好ましい。前記位置情報取得装置は、前記使用者の視点から見た前記表示画面上における前記使用者の手の位置または前記使用者の視線の位置から前記選択位置に関する情報を生成する。前記画像処理装置は、取得した前記選択位置に関する情報に含まれる前記使用者の手の位置に基づいて前記使用者が選択した選択位置を算出するハンドトラッキング、または取得した前記選択位置に関する情報に含まれる前記使用者の視線の位置に基づいて前記使用者が選択した選択位置を算出するアイトラッキングを実施可能である。
【0027】
上述の構成では、前記操縦支援システムは、前記第１虚像画像が表示された前記表示画面上において、使用者の身体の動きに基づいたハンドトラッキングまたはアイトラッキングによって前記基準部材を移動させる。これにより、任意の位置から直感的な操作によって前記作業車両を操縦することができる。
【0028】
本発明の一実施形態に係る作業車両は、上述した前記操縦者支援システムのいずれかを有する。
【0029】
前記操縦支援システムのいずれか一つを有する作業車両は、前記透過型表示装置を装着した使用者によって任意の位置から操縦される。前記使用者は、表示画面上に前記基準部材を移動させるための情報が任意の位置からの背景に重ね合わせて表示された状態で表示画面上から前記基準部材の移動方向及び移動速度を入力する。これにより、任意の位置から直感的な操作によって前記作業車両を操縦することができる。
【0030】
本明細書で使用される専門用語は、特定の実施例のみを定義する目的で使用されるのであって、前記専門用語によって発明を制限する意図はない。
【0031】
本明細書で使用される「及び／または」は、一つまたは複数の関連して列挙された構成物のすべての組み合わせを含む。
【0032】
本明細書において、「含む、備える（ｉｎｃｌｕｄｉｎｇ）」「含む、備える（ｃｏｍｐｒｉｓｉｎｇ）」または「有する（ｈａｖｉｎｇ）」及びそれらの変形の使用は、記載された特徴、工程、要素、成分、及び／または、それらの等価物の存在を特定するが、ステップ、動作、要素、コンポーネント、及び／または、それらのグループのうちの１つまたは複数を含むことができる。
【0033】
本明細書において、「取り付けられた」、「接続された」、「結合された」、及び／または、それらの等価物は、広義の意味で使用され、“直接的及び間接的な”取り付け、接続及び結合の両方を包含する。さらに、「接続された」及び「結合された」は、物理的または機械的な接続または結合に限定されず、直接的または間接的な接続または結合を含むことができる。
【0034】
他に定義されない限り、本明細書で使用される全ての用語（技術用語及び科学用語を含む）は、本発明が属する技術分野の当業者によって一般的に理解される意味と同じ意味を有する。
【0035】
一般的に使用される辞書に定義された用語は、関連する技術及び本開示の文脈における意味と一致する意味を有すると解釈されるべきであり、本明細書で明示的に定義されていない限り、理想的または過度に形式的な意味で解釈されることはない。
【0036】
本発明の説明においては、いくつもの技術および工程が開示されていると理解される。これらの各々は、個別の利益を有し、他に開示された技術の１つ以上、または、場合によっては全てと共に使用することもできる。
【0037】
したがって、明確にするために、本発明の説明では、不要に個々のステップの可能な組み合わせをすべて繰り返すことを控える。しかしながら、本明細書及び特許請求の範囲は、そのような組み合わせがすべて本発明の範囲内であることを理解して読まれるべきである。
【0038】
本明細書では、本発明に係る作業車両の操縦支援システム及び操縦支援システムを備える作業車両の実施形態について説明する。
【0039】
以下の説明では、本発明の完全な理解を提供するために多数の具体的な例を述べる。しかしながら、当業者は、これらの具体的な例がなくても本発明を実施できることが明らかである。
【0040】
よって、以下の開示は、本発明の例示として考慮されるべきであり、本発明を以下の図面または説明によって示される特定の実施形態に限定することを意図するものではない。
【0041】
［虚像画像］
本明細書において、虚像画像とは、透過型表示装置において使用者が視認している背景以外の画像、映像であって、透過型表示装置が表示している線、図形、画像、映像、３次元画像、３次元映像を意味する。つまり、虚像画像は、実際に存在しない物体の画像を前記使用者の視点から見た形状の画像に変換することで使用者が視認している背景に違和感なく表示可能な画像である。虚像画像は、透過型表示装置おいて使用者が視認している背景に重畳して表示される。
本明細書において、虚像画像とは、透過型表示装置において使用者が視認している背景以外の画像、映像であって、透過型表示装置が表示している線、図形、画像、映像、３次元画像、３次元映像を意味する。つまり、虚像画像は、実際に存在しない物体の画像を前記使用者の視点から見た形状の画像に変換することで使用者が視認している背景に違和感なく表示可能な画像である。虚像画像は、透過型表示装置おいて使用者が視認している背景に重畳して表示される。
【0042】
［視点］
本明細書において、視点とは、対象を見るときの立脚点を意味する。使用者の視点とは、使用者が対象物を視認している際の使用者の対象物に対する位置を意味する。
本明細書において、視点とは、対象を見るときの立脚点を意味する。使用者の視点とは、使用者が対象物を視認している際の使用者の対象物に対する位置を意味する。
【0043】
［虚像画像に関する情報］
本明細書において、虚像画像に関する情報とは、透過型表示装置の使用者の視点から見た任意の基準面上の画像として透過型表示装置の表示画面に虚像画像を表示するために必要な情報を意味する。虚像画像に関する情報は、虚像画像の座標、表示の状態等を含む。
本明細書において、虚像画像に関する情報とは、透過型表示装置の使用者の視点から見た任意の基準面上の画像として透過型表示装置の表示画面に虚像画像を表示するために必要な情報を意味する。虚像画像に関する情報は、虚像画像の座標、表示の状態等を含む。
【0044】
［通信装置］
本明細書において、通信装置とは、画像処理装置と表示装置用制御装置、画像処理装置と入力装置、画像処理装置と作業車両の制御装置との間で情報を送受信する装置を意味する。通信装置は、表示装置用制御装置及び画像処理装置と一体に構成されていてもよい。
本明細書において、通信装置とは、画像処理装置と表示装置用制御装置、画像処理装置と入力装置、画像処理装置と作業車両の制御装置との間で情報を送受信する装置を意味する。通信装置は、表示装置用制御装置及び画像処理装置と一体に構成されていてもよい。
【発明の効果】
【0045】
本発明の一実施形態によれば、操縦支援システム及び操縦支援システムを備える作業車両は、任意の位置から直感的な操作によって前記作業車両を操縦することができる。
【図面の簡単な説明】
【0046】
【発明を実施するための形態】
【0047】
以下に、図１から図４を用いて、本発明の一実施形態に係る作業車両の操縦支援システムについて説明する。図１は、本発明の１実施形態に係るクレーン１１の操縦支援システム１における透過型表示装置２が使用者に装着された斜視図である。図２は、クレーン１１の操縦支援システム１における透過型表示装置２の斜視図である。図３は、クレーン１１の操縦支援システム１の制御ブロック図である。図４は、クレーン１１の操縦支援システム１において表示装置用カメラ６が取得した画像Ｐを示す。なお、本実施形態においては、作業車両としてラフテレーンクレーン（以下、単に「クレーン」と記す）ついて説明を行う。しかしながら、作業車両は、オールテレーンクレーン、トラッククレーン、高所作業車等の旋回台を介して起伏可能なブームが設けられた作業車両であればよい。また、以下の説明において、使用者とは、透過型表示装置２を装着している者をいう。
【0048】
図１と図２とに示すように、作業車両であるクレーン１１（図６参照）の操縦支援システム１は、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）を用いてクレーン１１の操縦を支援するシステムである。操縦支援システム１は、透過型表示装置２と、通信装置８と、画像処理装置９とを有する。
【0049】
透過型表示装置２は、使用者から見て透過型表示装置２の透過型ディスプレイ４と重なっている背景Ｌｓを使用者が視認可能な表示装置である。透過型表示装置２は、使用者が身体に装着して使用するウェアラブル端末である。本実施形態において、透過型表示装置２は、眼鏡型のウェアラブル端末として説明する。透過型表示装置２は、使用者であるクレーン１１の操縦者に装着されている。透過型表示装置２は、フレーム３と、透過型ディスプレイ４と、表示装置用ＧＮＳＳ受信機５と、表示装置用カメラ６と、表示装置用制御装置７とを有する。
【0050】
フレーム３は、透過型ディスプレイ４と、表示装置用ＧＮＳＳ受信機５と、表示装置用カメラ６と、表示装置用制御装置７とを支持する。フレーム３は、眼鏡型フレームとして構成されている。フレーム３は、使用者の頭部に装着される。フレーム３は、使用者の鼻と両耳とによって支持される。
【0051】
透過型ディスプレイ４は、透過率が概ね５０％以上のディスプレイである。透過型ディスプレイ４は、バックライト、偏光フィルタ及びカラーフィルタを有さない液晶ディスプレイ、有機ＥＬディスプレイまたは無機ＥＬディスプレイ等から構成されている。つまり、透過型ディスプレイ４は、使用者と対向している表示画面の背面を覆うバックライト及びフィルタ等の部材が存在しない。従って、透過型ディスプレイ４は、使用者の視点から見て透過型ディスプレイ４と重複している背景が透過している。また、透過型ディスプレイ４は、表示画面に透過型ディスプレイ４の機能によって生成された画像である虚像画像Ｉｍを表示することができる。
【0052】
透過型ディスプレイ４は、虚像画像Ｉｍを表示させない部分において背面から入光した光を透過させる。また、透過型ディスプレイ４は、虚像画像Ｉｍを表示させる部分において背面から入光した光の少なくとも一部を遮光する。更に、透過型ディスプレイ４は、遮光した部分に虚像画像Ｉｍを表示する。この際、透過型ディスプレイ４には、使用者の視点から見た虚像画像Ｉｍが表示される。これにより、透過型ディスプレイ４は、使用者の視点から見た背景Ｌｓに虚像画像Ｉｍを重ねて表示した状態を使用者に視認させる。透過型ディスプレイ４は、フレーム３に設けられている。透過型ディスプレイ４は、フレーム３を装着している使用者の右目の視野範囲と左目の視野範囲とを覆うように位置している。透過型ディスプレイ４は、右目用の虚像画像Ｉｍと左目用の虚像画像Ｉｍとを視差画像としてそれぞれ表示画面に表示可能に構成されている。これにより、透過型ディスプレイ４は、使用者の視野範囲のほぼ全域において立体的な虚像画像Ｉｍを表示させることができる。なお、透過型表示装置２において、使用者の視点から見た虚像画像Ｉｍを使用者の視野内に表示させる技術は公知である。
【0053】
表示装置用ＧＮＳＳ受信機５は、全球測位衛星システム（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）を構成する受信機である。表示装置用ＧＮＳＳ受信機５は、衛星から測距電波を受信し、表示装置用ＧＮＳＳ受信機５の絶対座標である緯度、経度、標高、方位等を検出するものである。表示装置用ＧＮＳＳ受信機５は、使用者が装着しているフレーム３に設けられている。表示装置用ＧＮＳＳ受信機５は、使用者（操縦者）の位置に関する情報Ｉｆａを検出する。使用者の位置に関する情報Ｉｆａは、透過型表示装置２の緯度、経度、標高及び方位等を含む。つまり、使用者の位置に関する情報Ｉｆａは、透過型表示装置２の位置及び透過型ディスプレイ４が透過させている背景Ｌｓの方向に関する情報を含む。なお、本実施形態において、表示装置用ＧＮＳＳ受信機５は、フレーム３に設けられているが、使用者の位置に関する情報Ｉｆａを検出することができる位置であればよい。例えば、表示装置用ＧＮＳＳ受信機５は、透過型表示装置２を装着している使用者の身体に装着されていればよい。
【0054】
表示装置用カメラ６は、透過型表示装置２を装着している使用者の視線の方向を撮影する。表示装置用カメラ６は、フレーム３に設けられている。表示装置用カメラ６は、使用者の視点と略等しい位置から使用者の視野範囲と略等しい範囲の画像Ｐを撮影するように構成されている。なお、本実施形態において、表示装置用カメラ６は、フレーム３に設けられているが、使用者の視点から使用者の視野範囲を撮影することができる位置であればよい。
【0055】
表示装置用カメラ６は、使用者の視点から見た表示画面上において前記使用者が任意に選択した選択位置Ｓｐに関する情報Ｉｆｄを生成する位置情報取得装置である。表示装置用カメラ６は、使用者の手などの身体の一部の動作または特定のマーカ等を撮影する。つまり、表示装置用カメラ６は、選択位置Ｓｐに関する情報Ｉｆｄとして使用者の身体の一部または特定のマーカ等を含む画像Ｐを生成する。このように、表示装置用カメラ６は、虚像画像Ｉｍが表示された透過型ディスプレイ４上において前記使用者が任意に選択した選択位置Ｓｐに関する情報Ｉｆｄを含む画像Ｐを生成する。
【0056】
図３に示すように、表示装置用制御装置７は、透過型ディスプレイ４に虚像画像Ｉｍを表示させる制御装置である。表示装置用制御装置７は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続されている。または、表示装置用制御装置７は、ワンチップのＬＳＩ等からなる構成であってもよい。表示装置用制御装置７は、透過型ディスプレイ４、表示装置用ＧＮＳＳ受信機５及び表示装置用カメラ６と接続されている。表示装置用制御装置７は、通信装置８を介して画像処理装置９と接続されている。表示装置用制御装置７は、通信装置８を介して表示装置用カメラ６から取得した画像Ｐを単位時間毎に連続して画像処理装置９に送信する。
【0057】
表示装置用制御装置７は、表示装置用ＧＮＳＳ受信機５から使用者の位置に関する情報Ｉｆａを取得することができる。表示装置用制御装置７は、表示装置用カメラ６から画像Ｐを取得することができる。また、表示装置用制御装置７は、画像処理装置９から虚像画像Ｉｍに関する情報Ｉｆを取得することができる。表示装置用制御装置７は、取得した虚像画像Ｉｍに関する情報Ｉｆに基づいて虚像画像Ｉｍを生成することができる。また、表示装置用制御装置７は、透過型ディスプレイ４に虚像画像Ｉｍを表示させることができる。
【0058】
透過型表示装置２は、使用者の頭部に装着された状態で透過型ディスプレイ４の表示部（以下、単に「透過型ディスプレイ４」と記す）に虚像画像Ｉｍを表示することができる。また、透過型表示装置２は、虚像画像Ｉｍを透過型ディスプレイ４に表示するために必要な使用者の位置に関する情報Ｉｆａを表示装置用ＧＮＳＳ受信機５によって取得することができる。透過型表示装置２は、虚像画像Ｉｍに関する情報Ｉｆと使用者の位置に関する情報Ｉｆａとに基づいて、背景Ｌｓが透過している透過型ディスプレイ４に使用者の視点から見た虚像画像Ｉｍを生成することができる。これにより、使用者は。透過型表示装置２を通じて虚像画像Ｉｍを背景Ｌｓに重ね合わせた状態の画像を視認することができる。
【0059】
通信装置８は、透過型表示装置２と、画像処理装置９と、作業車両であるクレーン１１のクレーン用制御装置３０との間で情報を送受信する装置である。通信装置８は、透過型表示装置２の表示装置用制御装置７及び画像処理装置９にそれぞれ設けられている。通信装置８は、クレーン用制御装置３０と画像処理装置９との間で情報を送信及び受信する。また、通信装置８は、表示装置用制御装置７と画像処理装置９との間で情報を送信及び受信する。
【0060】
画像処理装置９は、透過型表示装置２に表示させる虚像画像Ｉｍに関する情報Ｉｆを生成する制御装置である。画像処理装置９は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続されている。または画像処理装置９は、ワンチップのＬＳＩ等からなる構成でもよい。本実施形態において、画像処理装置９は、透過型表示装置２に設けられている。画像処理装置９は、透過型表示装置２等の動作を制御したり画像データを処理したりするために種々のプログラムおよびデータが格納されている。なお、画像処理装置９は、表示装置用制御装置７またはクレーン用制御装置３０と一体に構成されていてもよい。
【0061】
画像処理装置９は、通信装置８を介して透過型表示装置２の表示装置用制御装置７に接続されている。画像処理装置９は、通信装置８を介して表示装置用制御装置７から表示装置用ＧＮＳＳ受信機５が検出した使用者の位置に関する情報Ｉｆａを取得する。また、画像処理装置９は、通信装置８を介して表示装置用制御装置７から表示装置用カメラ６が撮影した現在の画像Ｐを単位時間毎に連続して取得する。画像Ｐには、選択位置Ｓｐに関する情報Ｉｆｄが含まれる。
【0062】
また、画像処理装置９は、通信装置８を介してクレーン用制御装置３０からクレーン１１の位置に関する情報Ｉｆｂを取得する。クレーン１１の位置に関する情報Ｉｆｂとは、クレーン１１の旋回中心が位置する緯度、経度、標高及び車両の方位等を含む。また、画像処理装置９は、通信装置８を介してクレーン用制御装置３０に基準部材であるメインフック２０ａの目標位置Ｌｔに関する情報Ｉｆｅを送信する。
【0063】
また、画像処理装置９は、通信装置８を介してクレーン用制御装置３０からクレーン１１の姿勢に関する情報Ｉｆｃを取得する。クレーン１１の姿勢に関する情報Ｉｆｃとは、クレーン１１の旋回角度、ブームの起伏角度、ブーム長さ、メインワイヤロープ２４の繰り出し長さ、サブワイヤロープ２６の繰り出し長さ、クレーン１１の各操作具の操作方向及び操作量を含む。つまり、クレーン１１の姿勢に関する情報Ｉｆｃとは、例えばクレーン１１の基準部材であるメインフック２０ａの現在位置Ｌｐに関する情報を含む。
【0064】
画像処理装置９は、使用者の位置に関する情報Ｉｆａ、取得したクレーン１１の位置に関する情報Ｉｆｂ及びクレーン１１の姿勢に関する情報Ｉｆｃに基づいて、透過型表示装置２の透過型ディスプレイ４に表示させる各虚像画像Ｉｍ（後述するＩｍ１、Ｉｍ２、Ｉｍ３、Ｉｍ４）の座標を使用者の視点から見た虚像画像Ｉｍとして透過型ディスプレイ４上に表示するための虚像画像Ｉｍに関する情報Ｉｆ（後述するＩｆ１、Ｉｆ２、Ｉｆ３、Ｉｆ４）を生成する。画像処理装置９は、生成した虚像画像Ｉｍに関する情報Ｉｆを表示装置用制御装置７に送信する。
【0065】
透過型表示装置２の表示装置用制御装置７は、通信装置８を介して虚像画像Ｉｍに関する情報Ｉｆを取得する。表示装置用制御装置７は、透過型ディスプレイ４を通して使用者が視認している背景Ｌｓと重なっている透過型ディスプレイ４上に虚像画像Ｉｍを表示する。
【0066】
図４に示すように、画像処理装置９は、取得した画像Ｐから使用者の身体の一部の動作または特定のマーカ等の動作を検出すると、使用者が虚像画像Ｉｍの一部を選択した選択位置Ｓｐに関する情報Ｉｆｄとして認識する。画像処理装置９は、選択位置Ｓｐに関する情報Ｉｆｄから選択位置Ｓｐを算出する。
【0067】
さらに、画像処理装置９は、例えば、使用者の視点から見て使用者の手がメインフック２０ａを移動させるための虚像画像Ｉｍに含まれる第１虚像画像Ｉｍ１の一部と重なっている場合、第１虚像画像Ｉｍ１と選択位置Ｓｐとの位置関係から基準部材であるメインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを生成する（図３参照）。メインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆとは、メインフック２０ａを任意の方向に任意の速度で移動させるための移動速度、移動方向、絶対位置座標を含む。画像処理装置９は、生成したメインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを、通信装置８を介して作業車両であるクレーン１１のクレーン用制御装置３０に送信する。
【0068】
このように構成される操縦支援システム１は、通信装置８を介してクレーン用制御装置３０からクレーン１１の位置に関する情報Ｉｆｂ、クレーン１１の姿勢に関する情報Ｉｆｃを取得し、表示装置用制御装置７から使用者の位置に関する情報Ｉｆａを取得する。操縦支援システム１は、画像処理装置９によって取得した各情報に基づいて虚像画像Ｉｍに関する情報Ｉｆを生成する。操縦支援システム１は、虚像画像Ｉｍに関する情報Ｉｆに基づいて透過型表示装置２に虚像画像Ｉｍを表示させる。また、画像処理装置９は、取得した画像Ｐに選択位置Ｓｐに関する情報Ｉｆｄが含まれていると判定すると、選択位置Ｓｐを算出する。画像処理装置９は、第１虚像画像Ｉｍ１と選択位置Ｓｐとの位置関係に基づいてメインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを生成する。
【0069】
以下に、図５と図６とを用いて、本発明の第１実施形態に係る作業車両であるクレーン１１について説明する。図５は、操縦支援システム１が接続されるクレーン１１の全体構成を示す。図６は、操縦支援システム１が接続されるクレーン１１の制御ブロック図を示す。なお、本実施形態においては、ラフテレーンクレーンについて説明を行うが、オールテレーンクレーン、トラッククレーン、高所作業車等の旋回台を介して起伏可能なブーム１９が設けられた作業車両であればよい。
【0070】
【0071】
車両１２は、クレーン装置１６を搬送する走行体である。車両１２は、複数の車輪１３を有する。車両１２は、エンジン１４を動力源として走行する。車両１２は、アウトリガ１５を有する。アウトリガ１５は、車両１２の幅方向両側に油圧によって延伸可能な張り出しビームと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダとを有する。
【0072】
クレーン装置１６は、荷物Ｗをワイヤロープによって吊り上げる作業装置である。クレーン装置１６は、旋回台１７、ブーム１９、メインフックブロック２０、サブフックブロック２１、起伏用油圧シリンダ２２、メインウインチ２３、メインワイヤロープ２４、サブウインチ２５、サブワイヤロープ２６、キャビン２７等を具備する。
【0073】
旋回台１７は、クレーン装置１６を旋回可能に構成する回転装置である。旋回台１７は、円環状の軸受を介して車両１２のフレーム上に設けられる。旋回台１７には、アクチュエータである油圧式の旋回用油圧モータ１７ａを有する。旋回台１７は、旋回用油圧モータ１７ａによって一方向と他方向とに旋回可能に構成されている。
【0074】
クレーン用ＧＮＳＳ受信機１８（図６参照）は、全球測位衛星システム（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）を構成する受信機である。クレーン用ＧＮＳＳ受信機１８は、衛星から測距電波を受信し、クレーン用ＧＮＳＳ受信機１８の絶対座標である緯度、経度、標高、方位等を検出するものである。クレーン用ＧＮＳＳ受信機１８は、旋回台１７に設けられている。クレーン用ＧＮＳＳ受信機１８は、クレーン１１の位置に関する情報Ｉｆｂを検出する。
【0075】
ブーム１９は、メインワイヤロープ２４およびサブワイヤロープ２６を支持する可動支柱である。ブーム１９は、複数のブーム部材から構成されている。ブーム１９は、ベースブーム部材の基端が旋回台１７の略中央に揺動可能に設けられている。ブーム１９は、各ブーム部材を伸縮させるアクチュエータである伸縮用油圧シリンダ１９ａ（図７参照）とブーム部材を起伏させる起伏用油圧シリンダ２２を有する。ブーム１９は、伸縮用油圧シリンダ１９ａによって軸方向に伸縮される。また、ブーム１９は、延長用部材であるジブ１９ｃを有する。
【0076】
メインフックブロック２０とサブフックブロック２１とは、荷物Ｗを吊る部品である。メインフックブロック２０は、メインワイヤロープ２４が巻き掛けられる複数のフックシーブと、荷物Ｗを吊るメインフック２０ａとを有する。サブフックブロック２１は、荷物Ｗを吊るサブフック２１ａを有する。
【0077】
起伏用油圧シリンダ２２は、ブーム１９を起立および倒伏させ、ブーム１９の姿勢を保持するアクチュエータである。起伏用油圧シリンダ２２のシリンダ部の端部は、旋回台１７に起伏自在に連結されている。起伏用油圧シリンダ２２のロッド部の端部は、ブーム１９のベースブーム部材に揺動自在に連結されている。
【0078】
メインウインチ２３は、メインワイヤロープ２４の繰り入れ（巻き上げ）および繰り出し（巻き下げ）を行う装置である。サブウインチ２５は、サブワイヤロープ２６の繰り入れ（巻き上げ）および繰り出し（巻き下げ）を行う装置である。
【0079】
キャビン２７は、操縦席を覆う筐体である。キャビン２７は、旋回台１７に搭載されている。キャビン２７には、図示しない操縦席が設けられている。操縦席には、車両１２を走行操作するための走行用操作具２８、クレーン装置１６のクレーン装置用操作具２９等が設けられている（図６参照）。
【0080】
図６に示すように、クレーン用制御装置３０は、クレーン１１の各アクチュエータを制御する。クレーン用制御装置３０は、キャビン２７内に設けられている。クレーン用制御装置３０は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続されている。またはクレーン用制御装置３０は、ワンチップのＬＳＩ等から構成される。クレーン用制御装置３０は、各アクチュエータ、切換え弁等の動作を制御したり画像データを処理したりするために種々のプログラムおよびデータが格納されている。クレーン用制御装置３０は、クレーン用通信装置３０ａを有している。クレーン用通信装置３０ａは、操縦支援システム１の画像処理装置９との間で情報を送信及び受信する。クレーン用制御装置３０は、メインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを取得する。
【0081】
クレーン用制御装置３０は、クレーン用ＧＮＳＳ受信機１８に接続されている。クレーン用制御装置３０は、クレーン１１の位置に関する情報Ｉｆｂを取得する。クレーン用制御装置３０は、走行用操作具２８およびクレーン装置用操作具２９に接続されている。クレーン用制御装置３０は、クレーン装置用操作具２９の操作により生成される操作信号に基づいて、クレーン装置１６の制御信号を生成する。また、クレーン用制御装置３０は、旋回用油圧モータ１７ａ、伸縮用油圧シリンダ１９ａ、起伏用油圧シリンダ２２、メインウインチ２３等を連動させてメインフック２０ａが取得したメインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆに含まれる移動方向及び移動速度で移動するように各アクチュエータの制御信号を生成する。クレーン用制御装置３０は、生成した制御信号を各アクチュエータに送信する。
【0082】
クレーン用制御装置３０は、クレーン用通信装置３０ａを介して操縦支援システム１の画像処理装置９に接続されている。クレーン用制御装置３０は、画像処理装置９にクレーン１１の位置に関する情報Ｉｆｂとクレーン１１の姿勢に関する情報Ｉｆｃとを送信する。クレーン用制御装置３０は、クレーン用通信装置３０ａを介して画像処理装置９からメインフック２０ａの目標位置Ｌｔに関する情報Ｉｆｅを取得する。
【0083】
このように構成されるクレーン１１は、走行用操作具２８の操作によって車両１２を任意の位置に移動させることができる。また、クレーン１１は、クレーン装置用操作具２９の操作によって、ブーム１９を旋回、起伏、伸縮させることで荷物Ｗを任意の位置に搬送することができる。また、クレーン１１は、クレーン装置用操作具２９の操作によって、メインウインチ２３等で荷物Ｗを吊り上げたり吊り下げたりすることができる。
【0084】
次に、図７から図１１を用いて、操縦支援システム１による操縦支援について説明する。図７は、クレーン１１の操縦支援システム１が第１虚像画像Ｉｍ１、第２虚像画像Ｉｍ２及び第３虚像画像Ｉｍ３を表示するための情報に必要な情報を生成する際のブロック図を示す。図８は、クレーン１１の操縦支援システム１が透過型表示装置２に第１虚像画像Ｉｍ１、第２虚像画像Ｉｍ２及び第３虚像画像Ｉｍ３を表示している状態の模式図を示す。図９は、クレーン１１の操縦支援システム１において使用者が透過型表示装置２において第１虚像画像Ｉｍ１の一部を選択した際にメインフック２０ａが移動した状態の模式図を示す。図１０は、クレーン１１の操縦支援システム１が第４虚像画像Ｉｍ４を表示するための情報に必要な情報を生成するためのブロック図を示す。図１１は、クレーン１１の操縦支援システム１が第４虚像画像Ｉｍ４を表示している状態の模式図を示す。
【0085】
本実施形態において、基準部材は、クレーン１１のメインフック２０ａとする。なお、基準部材は、クレーン１１によって搬送される荷物Ｗでもよい。クレーン１１の操縦者は、透過型表示装置２の使用者である。使用者は、透過型表示装置２を頭部に装着した状態でクレーン１１を操縦する。また、使用者は、メインフック２０ａに吊り下げられている荷物Ｗの設置予定位置の近傍に位置しているものとする。つまり、使用者は、クレーン１１のキャビン２７外に位置している。
【0086】
本実施形態において、操縦支援システム１は、ハンドトラッキングにより使用者の視点から見た透過型ディスプレイ４上の任意の位置を選択する。画像処理装置９には、使用者の手の形状が登録されている。画像処理装置９は、表示装置用カメラ６が撮影した画像Ｐに使用者の手が含まれていると判断すると、ハンドトラッキングモードを実行する（図４参照）。ハンドトラッキングモードは、使用者の視点から見て画像Ｐ内での人差し指の先端等、手の画像における特定箇所の透過型ディスプレイ４上の位置を選択位置Ｓｐとして算出する。画像処理装置９は、選択位置Ｓｐと第１虚像画像Ｉｍ１との位置関係からメインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを生成する。
【0087】
＜メインフック２０ａの現在位置Ｌｐにおける操作用矢印表示＞
図７と図８とに示すように、操縦支援システム１は、基準部材であるメインフック２０ａの操作用矢印を第１虚像画像Ｉｍ１として透過型表示装置２に表示する。第１虚像画像Ｉｍ１は、メインフック２０ａの現在位置Ｌｐを基準として、移動方向を示す複数の矢印が複数の方向を指している虚像画像である。本実施形態において、第１虚像画像Ｉｍ１は、方位に従って位置している複数の矢印である。第１虚像画像Ｉｍ１は、例えば、東を指し示す東方矢印Ａｅ、西を指し示す西方矢印Ａｗ、南を指し示す南方矢印Ａｓ及び北を指し示す北方矢印Ａｎを含む。なお、各方角の間を指し示す矢印、鉛直上方を指し示す上方矢印、鉛直下方を指し示す下方矢印等を表示してもよい。
図７と図８とに示すように、操縦支援システム１は、基準部材であるメインフック２０ａの操作用矢印を第１虚像画像Ｉｍ１として透過型表示装置２に表示する。第１虚像画像Ｉｍ１は、メインフック２０ａの現在位置Ｌｐを基準として、移動方向を示す複数の矢印が複数の方向を指している虚像画像である。本実施形態において、第１虚像画像Ｉｍ１は、方位に従って位置している複数の矢印である。第１虚像画像Ｉｍ１は、例えば、東を指し示す東方矢印Ａｅ、西を指し示す西方矢印Ａｗ、南を指し示す南方矢印Ａｓ及び北を指し示す北方矢印Ａｎを含む。なお、各方角の間を指し示す矢印、鉛直上方を指し示す上方矢印、鉛直下方を指し示す下方矢印等を表示してもよい。
【0088】
図７に示すように、操縦支援システム１の画像処理装置９は、通信装置８を介して表示装置用制御装置７から使用者の位置に関する情報Ｉｆａ及び現在の画像Ｐを取得する（図４参照）。また、画像処理装置９は、クレーン用制御装置３０からクレーン１１の位置に関する情報Ｉｆｂ及びクレーン１１の姿勢に関する情報Ｉｆｃを取得する。
【0089】
画像処理装置９は、取得したクレーン１１の位置に関する情報Ｉｆｂ及びクレーン１１の姿勢に関する情報Ｉｆｃに基づいて、メインフック２０ａの現在位置Ｌｐを基準としてメインフック２０ａの操作用矢印を表示するための絶対座標の集合である第１基準座標Ｃ１を算出する。画像処理装置９は、取得した使用者の位置に関する情報Ｉｆａ及びクレーン１１の位置に関する情報Ｉｆｂと、算出した第１基準座標Ｃ１に基づいて、メインフック２０ａの現在位置Ｌｐを基準として使用者の視点から見た第１虚像画像Ｉｍ１を透過型ディスプレイ４上に表示するための第１虚像画像Ｉｍ１に関する情報Ｉｆ１を生成する。画像処理装置９は、生成した第１虚像画像Ｉｍ１に関する情報Ｉｆ１を表示装置用制御装置７に送信する。表示装置用制御装置７は、通信装置８を介して第１虚像画像Ｉｍ１に関する情報Ｉｆ１を取得する。
【0090】
図８に示すように、表示装置用制御装置７は、透過型ディスプレイ４上に第１虚像画像Ｉｍ１に関する情報Ｉｆ１に基づいて第１虚像画像Ｉｍ１を表示する。表示装置用制御装置７は、透過型ディスプレイ４を通して使用者が視認しているメインフック２０ａを中心として透過型ディスプレイ４上の位置に使用者の視点から見た東方矢印Ａｅ、西方矢印Ａｗ、南方矢印Ａｓ及び北方矢印Ａｎを表示する。
【0091】
使用者は、透過型表示装置２によって実際の背景Ｌｓに含まれるメインフック２０ａを中心として囲むように第１虚像画像Ｉｍ１である東方矢印Ａｅ、西方矢印Ａｗ、南方矢印Ａｓ及び北方矢印Ａｎが表示されているように認識する。使用者が視認している東方矢印Ａｅ、西方矢印Ａｗ、南方矢印Ａｓ及び北方矢印Ａｎのうちメインフック２０ａを移動させたい方向を指し示す東方矢印Ａｅを自らの手で指し示した場合、使用者の手は、表示装置用カメラ６の視野内に位置する。よって、表示装置用カメラ６が撮影する画像Ｐには、使用者の手が含まれる。表示装置用制御装置７は、通信装置８を介して使用者の手が含まれる画像Ｐを単位時間毎に継続して画像処理装置９に送信する。
【0092】
図７に示すように、画像処理装置９は、取得した画像Ｐに使用者の手が含まれると判定すると、画像Ｐを使用者が任意に選択した選択位置Ｓｐに関する情報Ｉｆｄを取得したとする。画像処理装置９は、ハンドトラッキングモードを開始し、使用者の視点から見て使用者の手の指先と重なっている第１虚像画像Ｉｍ１の一部の位置を使用者が選択した選択位置Ｓｐとして算出する。画像処理装置９は、使用者の視点から見て選択位置Ｓｐと使用者が指し示した東方矢印Ａｅとの位置関係からメインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを生成する。画像処理装置９は、メインフック２０ａを東に向かって水平に所定の速度で移動するための制御情報であるメインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを、通信装置８を介してクレーン１１のクレーン用制御装置３０に送信する。画像処理装置９は、選択位置Ｓｐに関する情報Ｉｆｄを単位時間毎に連続して取得する間、メインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを生成するとともに単位時間毎に連続してクレーン用制御装置３０に送信する。また、画像処理装置９は、選択位置Ｓｐに関する情報を表示装置用制御装置７に送信する。
【0093】
図８に示すように、表示装置用制御装置７は、選択位置Ｓｐに関する情報に基づいて、使用者が選択している第１虚像画像Ｉｍ１の一部を強調表示する。クレーン１１のクレーン用制御装置３０は、通信装置８を介してメインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを取得している間、メインフック２０ａが東に向かって水平に移動する作動量、作動速度、作動タイミング、作動時間で各アクチュエータを作動させる。これにより、メインフック２０ａは、東に向かって水平に予め定めた所定の速度で移動する。表示装置用制御装置７は、メインフック２０ａの移動に合わせて第１虚像画像Ｉｍ１の表示位置を変更する。
【0094】
図９に示すように、使用者が使用者の視点から見て第１虚像画像Ｉｍ１に重ならない位置に手を移動させた場合、画像処理装置９は、使用者の視点から見て選択位置Ｓｐと東方矢印Ａｅとの位置関係からメインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを生成しない。クレーン１１は、メインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを取得しない間、各アクチュエータを停止させる。
【0095】
また、使用者が使用者の視点から見て表示装置用カメラ６の視野外に手を移動させた場合、表示装置用カメラ６が撮影する画像Ｐには、使用者の手が含まれない。画像処理装置９は、取得した画像Ｐに使用者の手が含まれないと判定すると、使用者が選択した選択位置Ｓｐを算出しない。従って、画像処理装置９は、使用者の視点から見て選択位置Ｓｐと選択された東方矢印Ａｅとの位置関係からメインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを生成しない。クレーン用制御装置３０は、メインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを取得しない間、各アクチュエータを停止させる。
【0096】
上述の操縦支援システム１は、使用者が視認している背景Ｌｓにメインフック２０ａを移動させるための案内矢印を使用者の視点から見た第１虚像画像Ｉｍ１として表示する。つまり、操縦支援システム１は、任意の位置にいる使用者がメインフック２０ａを任意の方向に任意の速度で移動させるための図形情報、文字情報等を使用者の視野内の背景Ｌｓに重ね合わせて表示する。また、操縦支援システム１は、透過型表示装置２の使用者が選択した視野内の任意の選択位置Ｓｐと第１虚像画像Ｉｍ１との位置関係からメインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを生成する。使用者は、第１虚像画像Ｉｍ１を基準としてメインフック２０ａを移動させたい方向、位置等をハンドトラッキング等の方法によって選択することでクレーン１１の制御信号を生成することができる。
【0097】
また、操縦支援システム１は、第１虚像画像Ｉｍ１上の一部を使用者が選択することで、選択された第１虚像画像Ｉｍ１の一部に基づいてメインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを生成する。透過型表示装置２の使用者は、メインフック２０ａを移動させたい方向、位置等を示す第１虚像画像Ｉｍ１の一部をアイトラッキング、ハンドトラッキング等の方法によって選択することでクレーン１１の制御信号を生成することができる。これにより、操縦支援システム１は、任意の位置から直感的な操作によってクレーン１１を操縦することができる。
【0098】
＜メインフック２０ａの目標位置Ｌｔ表示＞
図７から図９に示すように、操縦支援システム１は、ブーム１９の先端を基準とするメインフック２０ａの目標位置Ｌｔを虚像画像Ｉｍに含まれる第２虚像画像Ｉｍ２として透過型表示装置２に表示してもよい。
図７から図９に示すように、操縦支援システム１は、ブーム１９の先端を基準とするメインフック２０ａの目標位置Ｌｔを虚像画像Ｉｍに含まれる第２虚像画像Ｉｍ２として透過型表示装置２に表示してもよい。
【0099】
図７に示すように、画像処理装置９は、位置情報取得装置である表示装置用カメラ６（図３参照）によって、使用者の視点におけるマーカＭを含むの画像Ｐ（図４参照）を取得する。画像処理装置９は、取得した画像Ｐにおける使用者の手の動作またはマーカＭの種類からメインフック２０ａの目標位置Ｌｔに関する情報Ｉｆｅか否かを判定する。画像処理装置９は、取得した画像Ｐがメインフック２０ａの目標位置Ｌｔに関する情報Ｉｆｅであると判定すると、画像Ｐ内における操縦者の手の形、位置及び移動方向またはマーカＭの種類、位置及び方向等からメインフック２０ａの目標位置Ｌｔを算出する。または、画像処理装置９は、通信装置８を介して外部から目標位置Ｌｔに関する情報Ｉｆｅを取得する。 また、目標位置Ｌｔに関する情報Ｉｆｅを取得する手段は、マーカＭに限らず、公知の技術であるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）等により周囲環境を認識し、目標位置Ｌｔに関する情報Ｉｆｅを取得することもできる。
【0100】
画像処理装置９は、クレーン１１の姿勢に関する情報Ｉｆｃ及び目標位置Ｌｔに基づいて、メインフック２０ａの目標位置Ｌｔを現在のメインフック２０ａの高さに表示するための複数の第２基準座標Ｃ２を算出する。画像処理装置９は、取得した使用者の位置に関する情報Ｉｆａ及び複数の第２基準座標Ｃ２に基づいて、使用者の視点から見た目標位置Ｌｔにおけるメインフック２０ａを第２虚像画像Ｉｍ２として透過型ディスプレイ４上に現在のメインフック２０ａの高さで表示するための情報を生成する。つまり、画像処理装置９は、使用者の視点から見た目標位置Ｌｔにおけるメインフック２０ａの第２虚像画像Ｉｍ２に関する情報Ｉｆ２として生成する。画像処理装置９は、生成した第２虚像画像Ｉｍ２に関する情報Ｉｆ２を表示装置用制御装置７に送信する。表示装置用制御装置７は、前記通信装置８を介して第２虚像画像Ｉｍ２に関する情報Ｉｆ２を取得する。
【0101】
図８に示すように、表示装置用制御装置７は、透過型ディスプレイ４上に第２虚像画像Ｉｍ２に関する情報Ｉｆ２に基づいて使用者の視点から見て目標位置Ｌｔにメインフック２０ａの第２虚像画像Ｉｍ２を表示する。本実施形態において、第２虚像画像Ｉｍ２は、メインフック２０ａを模した図形である。
【0102】
使用者は、透過型表示装置２によって、実際の背景Ｌｓに目標位置Ｌｔに表示されたメインフック２０ａが重なって表示されているように認識する。現在位置Ｌｐに第１虚像画像Ｉｍ１が表示され、目標位置Ｌｔに第２虚像画像Ｉｍ２が共に表示されている場合、使用者は、任意の場所においてメインフック２０ａの現在位置Ｌｐと目標位置Ｌｔとの位置関係及びメインフック２０ａの目標位置Ｌｔにおける地物Ｆとの位置関係を地表面上において視認することができる。従って、使用者は、自らの視野内の目標位置Ｌｔに表示されているメインフック２０ａによってメインフック２０ａを目標位置Ｌｔまで移動させるために必要な情報を補うことができる。これにより、使用者は、操縦支援システム１によって任意の位置から直感的な操作によってクレーン１１を操縦することができる。
【0103】
＜メインフック２０ａの現在位置Ｌｐにおける垂線表示＞
図７から図９に示すように、操縦支援システム１は、メインフック２０ａの現在位置Ｌｐを通過する垂線を虚像画像Ｉｍに含まれる第３虚像画像Ｉｍ３として透過型表示装置２に表示してもよい。
図７から図９に示すように、操縦支援システム１は、メインフック２０ａの現在位置Ｌｐを通過する垂線を虚像画像Ｉｍに含まれる第３虚像画像Ｉｍ３として透過型表示装置２に表示してもよい。
【0104】
図７に示すように、画像処理装置９は、メインフック２０ａの現在位置Ｌｐを通過する垂線を表示するための複数の第３基準座標Ｃ３を算出する。画像処理装置９は、取得した使用者の位置に関する情報Ｉｆａと複数の第３基準座標Ｃ３とに基づいて使用者の視点から見た第３虚像画像Ｉｍ３を透過型ディスプレイ４上に表示するための情報を生成する。つまり、画像処理装置９は、使用者の視点から見たメインフック２０ａの現在位置Ｌｐを通過する垂線に関する情報をクレーン１１についての第３虚像画像Ｉｍ３に関する情報Ｉｆ３として生成する。画像処理装置９は、生成したクレーン１１についての第３虚像画像Ｉｍ３に関する情報Ｉｆ３を表示装置用制御装置７に送信する。なお、クレーン１１についての第３虚像画像Ｉｍ３に関する情報Ｉｆ３は、メインフック２０ａの目標位置Ｌｔを通過する垂線に関する情報を含んでいてもよい。表示装置用制御装置７は、前記通信装置８を介してクレーン１１についての第３虚像画像Ｉｍ３に関する情報Ｉｆ３を取得する。
【0105】
図８に示すように、表示装置用制御装置７は、クレーン１１についての第３虚像画像Ｉｍ３に関する情報Ｉｆ３に基づいて第３虚像画像Ｉｍ３である使用者の視点から見たメインフック２０ａの現在位置Ｌｐを通過する垂線を透過型ディスプレイ４上に表示する。
【0106】
使用者は、透過型表示装置２によって、実際の背景Ｌｓ内にメインフック２０ａの現在位置Ｌｐを示す垂線が重畳して表示されているように認識する。第３虚像画像Ｉｍ３であるメインフック２０ａの現在位置Ｌｐからの垂線と第２虚像画像Ｉｍ２である目標位置Ｌｔにおけるメインフック２０ａが共に表示されている場合、使用者は、メインフック２０ａの現在位置Ｌｐまたは目標位置Ｌｔにおけるメインフック２０ａの地物Ｆとの位置関係を視認しつつ、メインフック２０ａを目標位置Ｌｔに向かって移動させることができる。これにより、使用者は、任意の位置から直感的な操作によってクレーン１１を操縦することができる。
【0107】
＜メインフック２０ａの移動方向表示＞
図１０と図１１とに示すように、操縦支援システム１は、メインフック２０ａの移動方向を表すベクトル線図である第４虚像画像Ｉｍ４を透過型表示装置２に表示してもよい。虚像画像Ｉｍに含まれる第４虚像画像Ｉｍ４は、メインフック２０ａの現在位置Ｌｐを中心とする球体である。
図１０と図１１とに示すように、操縦支援システム１は、メインフック２０ａの移動方向を表すベクトル線図である第４虚像画像Ｉｍ４を透過型表示装置２に表示してもよい。虚像画像Ｉｍに含まれる第４虚像画像Ｉｍ４は、メインフック２０ａの現在位置Ｌｐを中心とする球体である。
【0108】
図１０に示すように、画像処理装置９は、通信装置８を介して使用者の位置に関する情報Ｉｆａ、現在の画像Ｐ、クレーン１１の位置に関する情報Ｉｆｂ及びクレーン１１の姿勢に関する情報Ｉｆｃを取得する。画像処理装置９は、取得したクレーン１１の位置に関する情報Ｉｆｂ及びクレーン１１の姿勢に関する情報Ｉｆｃに基づいて、メインフック２０ａの現在位置Ｌｐを中心とする球体を表示するための絶対座標の集合である第４基準座標Ｃ４を算出する。画像処理装置９は、取得した使用者の位置に関する情報Ｉｆａ及びクレーン１１の位置に関する情報Ｉｆｂと、算出した第４基準座標Ｃ４に基づいて、メインフック２０ａの現在位置Ｌｐを基準として使用者の視点から見た第４虚像画像Ｉｍ４を透過型ディスプレイ４上に表示するための第４虚像画像Ｉｍ４に関する情報Ｉｆ４を生成する。画像処理装置９は、生成した第４虚像画像Ｉｍ４に関する情報Ｉｆ４を表示装置用制御装置７に送信する。表示装置用制御装置７は、通信装置８を介して第４虚像画像Ｉｍ４に関する情報Ｉｆ４を取得する。
【0109】
図１１に示すように、表示装置用制御装置７は、透過型ディスプレイ４上に第４虚像画像Ｉｍ４に関する情報Ｉｆ４に基づいて第４虚像画像Ｉｍ４を表示する。表示装置用制御装置７は、第４虚像画像Ｉｍ４として透過型ディスプレイ４を通して使用者が視認しているメインフック２０ａを中心とする球体を表示する。
【0110】
使用者は、透過型表示装置２によって実際の背景Ｌｓに含まれるメインフック２０ａを中心として囲むように第４虚像画像Ｉｍ４である球体が表示されているように認識する。使用者は、視認している球体上においてメインフック２０ａを移動させたい方向を自らの手で指し示しめす。表示装置用制御装置７は、通信装置８を介して球体上を指し示す使用者の手が含まれる画像Ｐを単位時間毎に継続して画像処理装置９に送信する。
【0111】
図１０に示すように、画像処理装置９は、画像Ｐに含まれる選択位置Ｓｐに関する情報Ｉｆｄから、使用者の視点から見て使用者の手の指先と重なっている第４虚像画像Ｉｍ４の一部の位置を使用者が選択した選択位置Ｓｐとして算出する。画像処理装置９は、使用者の視点から見てメインフック２０ａの現在位置Ｌｐと選択位置Ｓｐと使用者が指し示した球体上との位置関係からメインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを生成する。画像処理装置９は、メインフック２０ａが球体上の選択位置Ｓｐに向かって所定の速度で移動するための制御情報であるメインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを、通信装置８を介してクレーン１１のクレーン用制御装置３０に送信する。画像処理装置９は、選択位置Ｓｐに関する情報Ｉｆｄを単位時間毎に連続して取得する間、メインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを生成するとともに単位時間毎に連続してクレーン用制御装置３０に送信する。また、画像処理装置９は、選択位置Ｓｐに関する情報を表示装置用制御装置７に送信する。
【0112】
図１１に示すように、表示装置用制御装置７は、メインフック２０ａの現在位置Ｌｐと選択位置Ｓｐに関する情報に基づいて、使用者が選択しているメインフック２０ａの移動方向をベクトル線図Ｖによって表示する。クレーン１１のクレーン用制御装置３０は、通信装置８を介してメインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを取得している間、メインフック２０ａが現在位置Ｌｐから選択位置Ｓｐの方向に移動するように作動量、作動速度、作動タイミング、作動時間で各アクチュエータを作動させる。表示装置用制御装置７は、メインフック２０ａの移動に合わせて第４虚像画像Ｉｍ４及びベクトル線図Ｖの表示位置を変更する。
【0113】
使用者は、透過型表示装置２によって、実際の背景Ｌｓ内のメインフック２０ａの現在位置Ｌｐを中心とする球体及び球体上から選択位置Ｓｐに向かうベクトル線図Ｖが重なって表示されているように認識する。使用者は、メインフック２０ａの移動方向を球体上の任意の位置を選択することで設定することができる。
【0114】
上述のように、操縦支援システム１を有するクレーン１１は、透過型表示装置２の使用することで、荷物Ｗを吊り下げているメインフック２０ａ等の基準部材に重ね合わせて表示したクレーン１１の操作を支援する虚像画像によって操作することができる。これにより、透過型表示装置２の使用者は、操縦席に限らず、荷物Ｗの近傍、クレーン１１を俯瞰できる高所等の任意の位置から、クレーン装置用操作具２９を使用することなく、基準部材をハンドトラッキングやアイトラッキング等による直感的な操作によって任意の方向に移動させることができる。
【0115】
＜他の実施形態＞
上述の各実施形態において、操縦支援システム１は、使用者が視認している背景Ｌｓにメインフック２０ａを移動させるための案内矢印を使用者の視点から見た第１虚像画像Ｉｍ１として表示する。しかしながら、第１虚像画像は、標準部材の移動方向、移動速度を案内する図形、文字等であればよい。また、操縦支援システム１への入力は、アイトラッキング、ハンドトラッキングに限らず、第１虚像画像に対応する音声、ジェスチャー、機械的入力、もしくはこれらの組み合わせでもよい。例えば、使用者は、アイトラッキングによって、第１虚像画像の一部を選択した後に、音声によってメインフック２０ａの移動を開始させてもよい。
上述の各実施形態において、操縦支援システム１は、使用者が視認している背景Ｌｓにメインフック２０ａを移動させるための案内矢印を使用者の視点から見た第１虚像画像Ｉｍ１として表示する。しかしながら、第１虚像画像は、標準部材の移動方向、移動速度を案内する図形、文字等であればよい。また、操縦支援システム１への入力は、アイトラッキング、ハンドトラッキングに限らず、第１虚像画像に対応する音声、ジェスチャー、機械的入力、もしくはこれらの組み合わせでもよい。例えば、使用者は、アイトラッキングによって、第１虚像画像の一部を選択した後に、音声によってメインフック２０ａの移動を開始させてもよい。
【0116】
上述の各実施形態において、使用者が視認している操作用矢印のうち東方矢印Ａｅを自らの手で指し示した場合、操縦支援システム１は、通信装置８を介してクレーン１１のクレーン用制御装置３０にメインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを送信する。クレーン用制御装置３０は、メインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆを取得している間、メインフック２０ａが東に向かって水平に予め定めた所定の速度で移動する（図７参照）。しかしながら、操縦支援システムは、選択位置の第１虚像画像における位置に基づいて基準部材の移動速度及び移動方向を算出してもよい。操縦支援システムの画像処理装置は、使用者が選択した第１虚像画像Ｉｍ１の位置が基準部材から離れているほど前記基準部材の移動速度を大きく設定した前記基準部材の移動方向及び移動速度に関する情報を生成する。また、画像処理装置は、基準部材に対する選択位置の方向に基づいた移動方向及び移動速度に関する情報を生成する。
【0117】
上述の各実施形態において、画像処理装置９は、画像Ｐにおいて、使用者の視点から見て使用者の手が虚像画像Ｉｍの一部と重なっている部分を選択位置Ｓｐとして算出する。この際、画像処理装置は、使用者の視線の位置によって選択位置を選択するアイトラッキングモードを実行してもよい。これにより、操縦支援システム１は、使用者が手を使えない場合でも基準部材の移動方向を選択することができる。
【0118】
上述の各実施形態において、画像処理装置９は、取得した表示装置用カメラ６が撮影した画像Ｐにおいて、例えば使用者の視点から見て使用者の手が第１虚像画像Ｉｍ１の一部と重なっている部分を選択位置Ｓｐとして算出する。しかしながら、画像処理装置は、使用者の視点から見て使用者の手が第１虚像画像の一部から所定の範囲内に含まれていれば、第１虚像画像と重なっている部分がなくても第１虚像画像を選択したものと判断してもよい。これにより、操縦支援システムは、透過型表示装置上において使用者が容易に第１虚像画像を選択することができる。
【0119】
上述の各実施形態において、画像処理装置９が生成するメインフック２０ａの移動方向及び移動速度に関する情報Ｉｆｆは、メインフック２０ａを任意の方向に任意の速度で移動させるためのクレーン１１における各アクチュエータの作動量、作動速度、作動タイミング、作動時間等を含む。しかしながら、クレーンは、周囲の構造物等との接触を抑制するためにブーム等の可動範囲が抑制される場合がある。よって、クレーン用制御装置において、各アクチュエータの可動範囲に制限が設定されている場合、画像処理装置は、使用者の視点から見て透過型表示装置上に基準部材の可動範囲を示す虚像画像に関する情報を生成してもよい。画像処理装置は、通信装置を介してクレーン用制御装置からクレーンの可動範囲の制限に関する情報を取得する。画像処理装置は、基準部材が可動範囲内に位置している場合に、基準部材の移動方向及び移動速度に関する情報を生成する。
【0120】
上述の各実施形態において、クレーン１１の操縦支援システム１は、第１虚像画像Ｉｍ１、第２虚像画像Ｉｍ２、第３虚像画像Ｉｍ３及び第４虚像画像Ｉｍ４のいずれかを透過型表示装置２に表示させている。しかしながら、作業車両の操縦支援システム１は、第１虚像画像から第４虚像画像の少なくとも一つを透過型表示装置の使用者が任意に選択して表示させてもよい。また、作業車両の操縦支援システムは、上述の実施形態で表示している虚像画像に限らず、作業車両の操縦を支援する虚像画像を表示するものであればよい。
【0121】
また、上述の実施形態として、操縦支援システム１の透過型表示装置２は、クレーン１１のキャビン２７内でクレーン１１を操縦している操縦者が装着してもよい。キャビン２７内においてクレーン１１の操縦者は、クレーン装置用操作具２９を使用せずに、操縦支援システム１を用いてメインフック２０ａを移動させてもよい。
【0122】
また、上述の各実施形態において、クレーン１１の操縦支援システム１の透過型表示装置２は、クレーン１１の操縦者以外の作業者に装着されている。しかしながら、透過型表示装置は、クレーン１１の操縦者とクレーン１１の操縦者以外の作業者の少なくとも一人に装着されてもよい。例えば、クレーン１１の操縦者と玉掛者とがそれぞれ透過型表示装置２を装着している場合、クレーン１１の操縦支援システム１は、それぞれの透過型表示装置に同一のクレーン１１の姿勢に関する情報に基づいた同一または異なる種類の虚像画像を表示させる。これにより、クレーン１１の操縦者と玉掛者は、それぞれの位置における視野内において同一のクレーン１１の姿勢に関する情報に基づいた虚像画像を視認しているので、荷物Ｗに対するメインフック２０ａの位置等をより正確に共有することができる。
【0123】
また、上述の実施形態として、操縦支援システム１は、クレーン１１の操縦支援システム１として構成されている。しかしながら、操縦支援システム１は、作業車両である高所作業車の操縦支援システム１として構成されていてもよい。高所作業車の操縦支援システム１は、通信装置を介して使用者の位置に関する情報、高所作業車の位置に関する情報、高所作業車の姿勢に関する情報及び虚像画像を表示する基準となる基準面の位置と姿勢とを含む基準面に関する情報を取得する。前記高所作業車の操縦支援システムの画像処理装置は、高所作業車によって移動される基準部材であるバケットの現在位置において使用者の視点から見た操作用矢印である虚像画像を前記透過型表示装置上に表示させるための虚像画像に関する情報を生成する。前記透過型表示装置は、高所作業車についての虚像画像に関する情報を取得し、虚像画像を表示画面上に表示する。
【0124】
また、上述の各実施形態において、クレーン１１の操縦支援システム１は、透過型表示装置２によって第１虚像画像Ｉｍ１から第４虚像画像Ｉｍ４の少なくとも一つを表示している。しかしながら、クレーン１１の操縦支援システムは、基準部材を撮影しているカメラの撮影画像上に第１虚像画像から第４虚像画像の少なくとも一つを表示してもよい。第１虚像画像から第４虚像画像の少なくとも一つは、タッチパネル等の表示画面上で操作することができる。
【0125】
また、上述の各実施形態において、透過型表示装置２は、虚像画像Ｉｍを透過型ディスプレイ４に表示するために必要な使用者の位置に関する情報Ｉｆａを表示装置用ＧＮＳＳ受信機５によって取得している。しかしながら、透過型表示装置は、特定位置のマーカ、クレーン自体を認識することで透過型表示装置の位置を算出してもよい。透過型表示装置は、例えばクレーン１１のキャビン２７内に位置するマーカを認識したり、クレーン自体をマーカ、ＭＲによって認識したりすることで透過型表示装置の位置を算出する。また、自己位置推定技術を活用し、透過型表示装置の移動量、向きを常に算出・更新することで常時クレーンと透過型表示装置との位置関係を把握することができる。また、透過型表示装置は、算出した位置を基準として慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）による位置の算出を行う。
【0126】
また、上述の各実施形態において、透過型表示装置２は、使用者が身体に装着して使用するウェアラブル端末である。しかしなら、透過型表示装置は、使用者の視点から見て背景を透過させる表示画面に前記使用者の視点から見た虚像画像を重畳して視認させる表示装置であればよい。透過型表示装置は、例えばキャビンのフロントガラスを表示画面として、操縦席の操縦者の視点から見た虚像画像を表示させるヘッドアップディスプレイでもよい。
【0127】
上述の実施形態は、代表的な形態を示したに過ぎず、一実施形態の骨子を逸脱しない範囲で種々変形して実施することができる。さらに種々なる形態で実施し得ることは勿論のことであり、本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲に記載の均等の意味、および範囲内のすべての変更を含む。
【符号の説明】
【0128】
１ 操縦支援システム
２ 透過型表示装置
３ フレーム
４ 透過型ディスプレイ
５ 表示装置用ＧＮＳＳ受信機
６ 表示装置用カメラ
７ 表示装置用制御装置
８ 通信装置
９ 画像処理装置
１１ クレーン
２１ａ メインフック（基準部材）
３０ クレーン用制御装置
Ｌｐ 現在位置
Ｌｔ 目標位置
Ｓｐ 選択位置
Ｉｆａ 使用者の位置に関する情報
Ｉｆｂ クレーンの位置に関する情報
Ｉｆｃ クレーンの姿勢に関する情報
Ｉｆｄ 選択位置に関する情報
Ｉｆｅ メインフックの目標位置に関する情報
Ｉｆｆ メインフックの移動方向及び移動速度に関する情報
Ｉｍ１ 第１虚像画像
Ｉｍ２ 第２虚像画像
Ｉｍ３ 第３虚像画像
Ｉｍ４ 第４虚像画像
Ｃ１ 第１基準座標
Ｃ２ 第２基準画像
Ｃ３ 第３基準座標
Ｃ４ 第４基準画像
Ｉｆ１ クレーンについての第１虚像画像に関する情報
Ｉｆ２ クレーンについての第２虚像画像に関する情報
Ｉｆ３ クレーンについての第３虚像画像に関する情報
Ｉｆ４ クレーンについての第４虚像画像に関する情報
２ 透過型表示装置
３ フレーム
４ 透過型ディスプレイ
５ 表示装置用ＧＮＳＳ受信機
６ 表示装置用カメラ
７ 表示装置用制御装置
８ 通信装置
９ 画像処理装置
１１ クレーン
２１ａ メインフック（基準部材）
３０ クレーン用制御装置
Ｌｐ 現在位置
Ｌｔ 目標位置
Ｓｐ 選択位置
Ｉｆａ 使用者の位置に関する情報
Ｉｆｂ クレーンの位置に関する情報
Ｉｆｃ クレーンの姿勢に関する情報
Ｉｆｄ 選択位置に関する情報
Ｉｆｅ メインフックの目標位置に関する情報
Ｉｆｆ メインフックの移動方向及び移動速度に関する情報
Ｉｍ１ 第１虚像画像
Ｉｍ２ 第２虚像画像
Ｉｍ３ 第３虚像画像
Ｉｍ４ 第４虚像画像
Ｃ１ 第１基準座標
Ｃ２ 第２基準画像
Ｃ３ 第３基準座標
Ｃ４ 第４基準画像
Ｉｆ１ クレーンについての第１虚像画像に関する情報
Ｉｆ２ クレーンについての第２虚像画像に関する情報
Ｉｆ３ クレーンについての第３虚像画像に関する情報
Ｉｆ４ クレーンについての第４虚像画像に関する情報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】