(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-19
(45)【発行日】2023-09-27
(54)【発明の名称】表示システム、遠隔操作システム、及び表示方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20230920BHJP
G09G 5/00 20060101ALI20230920BHJP
G09G 5/10 20060101ALI20230920BHJP
G09G 5/36 20060101ALI20230920BHJP
H04N 23/60 20230101ALI20230920BHJP
H04N 23/66 20230101ALI20230920BHJP
【FI】
H04N7/18 J
H04N7/18 V
G09G5/00 550C
G09G5/10 B
G09G5/36 400
G09G5/36 500
H04N23/60 500
H04N23/66
(21)【出願番号】P 2019138122
(22)【出願日】2019-07-26
【審査請求日】2022-06-30
(73)【特許権者】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(73)【特許権者】
【識別番号】504176911
【氏名又は名称】国立大学法人大阪大学
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】大畠 陽二郎
(72)【発明者】
【氏名】前田 太郎
(72)【発明者】
【氏名】古川 正紘
(72)【発明者】
【氏名】近藤 大祐
(72)【発明者】
【氏名】黒川 正崇
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】特開2016-107945(JP,A)
【文献】国際公開第2017/138409(WO,A1)
【文献】国際公開第2018/043299(WO,A1)
【文献】国際公開第2018/168163(WO,A1)
【文献】国際公開第2018/043301(WO,A1)
【文献】国際公開第2016/140055(WO,A1)
【文献】国際公開第2018/220914(WO,A1)
【文献】国際公開第2019/054000(WO,A1)
【文献】国際公開第2016/013691(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
G09G 5/00-5/42
H04N 23/00-23/90
(57)【特許請求の範囲】
【請求項1】
第1撮像装置で撮像された作業現場の第1画像及び第2撮像装置で撮像された前記作業現場の第2画像のそれぞれを取得する画像取得部と、
作業者の視点位置を算出する視点位置算出部と、
前記視点位置に基づいて、前記第1画像及び前記第2画像の少なくとも一方の輝度を調整する輝度調整部と、
前記輝度が調整された前記第1画像及び前記第2画像を合成して表示装置に表示させる表示制御部と、を備える、
表示システム。
【請求項2】
前記視点位置は、第1位置と第2位置との間を移動し、
前記輝度調整部は、前記視点位置が前記第1位置にあるときに前記第1画像の輝度が前記第2画像の輝度よりも高くなり、前記視点位置が前記第2位置にあるときに前記第2画像の輝度が前記第1画像の輝度よりも高くなるように調整する、
請求項1に記載の表示システム。
【請求項3】
前記輝度調整部は、前記視点位置が前記第1位置にあるときに前記第2画像の輝度がゼロになり、前記視点位置が前記第2位置にあるときに前記第1画像の輝度がゼロになるように調整する、
請求項2に記載の表示システム。
【請求項4】
前記輝度調整部は、前記視点位置が前記第1位置に近いほど前記第1画像の輝度が高くなり、前記視点位置が前記第2位置に近いほど前記第2画像の輝度が高くなるように調整する、
請求項3に記載の表示システム。
【請求項5】
前記輝度調整部は、前記視点位置が前記第1位置と前記第2位置との中心位置よりも前記第1位置に近いときに前記第1画像の輝度が前記第2画像の輝度よりも高くなり、前記視点位置が前記中心位置よりも前記第2位置に近いときに前記第2画像の輝度が前記第1画像の輝度よりも高くなるように調整する、
請求項3または4に記載の表示システム。
【請求項6】
前記第1撮像装置及び前記第2撮像装置のそれぞれは、前記作業現場で作業する作業機械に設けられ、
前記第1撮像装置と前記第2撮像装置とは、前記作業機械の所定方向に配置され、
前記第1位置と前記第2位置とは、前記所定方向に対応する規定方向に配置される、
請求項3から請求項5のいずれか一項に記載の表示システム。
【請求項7】
作業機械に設けられ、作業現場を撮像する第1撮像装置及び第2撮像装置と、
前記作業機械の外部に配置される表示装置と、
前記作業機械の外部において作業者の視点位置を検出する視点位置センサと、
前記作業機械の外部に配置され、前記作業機械と通信可能な処理装置と、を備え、
前記処理装置は、
前記第1撮像装置で撮像された第1画像及び前記第2撮像装置で撮像された第2画像のそれぞれを取得する画像取得部と、
前記視点位置センサの検出データに基づいて、前記第1画像及び前記第2画像の少なくとも一方の輝度を調整する輝度調整部と、
前記輝度が調整された前記第1画像及び前記第2画像を合成して前記表示装置に表示させる表示制御部と、を有する、
遠隔操作システム。
【請求項8】
作業者の視点位置に基づいて、第1撮像装置で撮像された作業現場の第1画像及び第2撮像装置で撮像された前記作業現場の第2画像の少なくとも一方の輝度を調整することと、
前記輝度が調整された前記第1画像及び前記第2画像を合成して表示装置に表示させることと、を含む、
表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示システム、遠隔操作システム、及び表示方法に関する。
【背景技術】
【0002】
作業機械を無人化する方法の一つとして作業機械を遠隔操作する方法が提案されている。作業機械を遠隔操作する場合、作業現場の画像が遠隔地に存在する表示装置に送信される。作業者は、表示装置に表示された作業現場の画像を確認しながら作業機械を遠隔操作する。特許文献1には、作業現場を撮像するTVカメラと、作業者の頭部の位置を検出する頭部位置検出センサと、TVカメラの撮像方向が頭部位置検出センサの検出結果に対応する方向となるようにTVカメラの向きを制御するアクチュエータと、撮像信号から画像光波を作成してスクリーンに投影するプロジェクタとを備えるテレオペレーティングシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
作業現場の2次元画像が表示装置に表示される場合、作業者は作業現場の遠近感を知覚し難い。その結果、作業者は遠隔操作を円滑に実施することができず、作業機械の作業効率が低下する可能性がある。頭部位置検出センサの検出信号が遠隔地から作業現場のアクチュエータに送信され、作業者の頭部に連動してカメラが移動するようにアクチュエータが駆動し、カメラで取得された画像が作業現場から遠隔地の表示装置に送信されることにより、表示装置に表示される画像の視点が作業者の頭部に連動して移動する。これにより、視点の移動に連動した運動視差が作業者に提示され、作業者は、運動立体視により遠近感を知覚することができ、遠隔操作を円滑に実施し易くなる。
【0005】
しかし、遠隔地から作業現場に送信される検出信号の通信遅延又は作業現場から遠隔地に送信される画像の通信遅延などに起因して、表示装置に表示される画像の視点の移動が作業者の頭部の移動に対して遅延する可能性がある。その結果、視点に正しく対応した運動視差を提示し難くなり、作業者は運動立体視による遠近感を知覚し難くなる。
【0006】
一方、多数の視点に相当する多数のカメラからの画像が遠隔地の表示装置に送信されることにより、作業者は、遠近感を知覚することができる可能性が高くなるものの、多数のカメラからの大容量の画像を送信する回線容量を確保することは困難である。
【0007】
本発明の態様は、限られた回線容量でも、作業機械を遠隔操作する作業者に作業現場の遠近感を効果的に知覚させることを目的とする。
【課題を解決するための手段】
【0008】
本発明の態様に従えば、第1カメラで撮像された作業現場の第1画像及び第2カメラで撮像された前記作業現場の第2画像のそれぞれを取得する画像取得部と、作業者の視点位置を算出する視点位置算出部と、前記視点位置に基づいて、前記第1画像及び前記第2画像の少なくとも一方の輝度を調整する輝度調整部と、前記輝度が調整された前記第1画像及び前記第2画像を合成して表示装置に表示させる表示制御部と、を備える、表示システムが提供される。
【発明の効果】
【0009】
本発明の態様によれば、限られた回線容量でも、作業機械を遠隔操作する作業者に作業現場の遠近感を効果的に知覚させることができる。
【図面の簡単な説明】
【0010】
【
図1】
図1は、本実施形態に係る作業機械の遠隔操作システムを模式的に示す図である。
【
図2】
図2は、本実施形態に係る作業機械の一部を模式的に示す図である。
【
図3】
図3は、本実施形態に係る遠隔操作施設を模式的に示す図である。
【
図4】
図4は、本実施形態に係る表示システムを示す機能ブロック図である。
【
図5】
図5は、本実施形態に係る輝度調整部の動作を説明するための図である。
【
図6】
図6は、本実施形態に係る表示制御部の動作を説明するための図である。
【
図7】
図7は、本実施形態に係る表示制御部の動作を説明するための図である。
【
図8】
図8は、本実施形態に係る表示制御部の動作を説明するための図である。
【
図9】
図9は、本実施形態に係る表示システムの表示方法を示すフローチャートである。
【
図10】
図10は、本実施形態に係るコンピュータシステムを示すブロック図である。
【
図11】
図11は、本実施形態に係る輝度調整部の動作を説明するための図である。
【発明を実施するための形態】
【0011】
以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
【0012】
[遠隔操作システム]
図1は、本実施形態に係る作業機械1の遠隔操作システム100を模式的に示す図である。
図2は、本実施形態に係る作業機械1の一部を模式的に示す図である。本実施形態においては、作業機械1が油圧ショベルであることとする。以下の説明においては、作業機械1を適宜、油圧ショベル1、と称する。
【0013】
油圧ショベル1は、作業現場で作業する。油圧ショベル1は、作業機2と、運転台4を有する旋回体3と、旋回体3を旋回可能に支持する走行体5と、制御装置300とを備える。
【0014】
作業機2は、旋回体3に連結されるブーム6と、ブーム6に連結されるアーム7と、アーム7に連結されるバケット8と、ブーム6を駆動するブームシリンダ10と、アーム7を駆動するアームシリンダ11と、バケット8を駆動するバケットシリンダ12とを有する。ブームシリンダ10、アームシリンダ11、及びバケットシリンダ12のそれぞれは、油圧により駆動される油圧シリンダである。
【0015】
走行体5は、履帯を有する。履帯が回転することにより、油圧ショベル1が走行する。
【0016】
制御装置300は、油圧ショベル1を制御する制御信号を出力する。制御装置300は、コンピュータシステムを含む。
【0017】
遠隔操作システム100は、作業現場を撮像する撮像装置30と、作業現場に係る画像を遠隔操作施設において表示させる表示システム200と、遠隔操作施設に設けられる遠隔操作装置40とを備える。遠隔操作施設は、作業現場の遠隔地に設けられる。
【0018】
撮像装置30は、油圧ショベル1に設けられる。撮像装置30は、対象物が撮像できる位置に設置すればよく、運転台以外に設置してもよい。運転台のないキャブレスの車両においては、撮像装置30は、対象物が撮像できる位置にカメラを設置すればよい。撮像装置30は、第1カメラ31及び第2カメラ32を有する。第1カメラ31及び第2カメラ32のそれぞれは、ビデオカメラであり、作業現場を撮像する。第1カメラ31及び第2カメラ32は、ステレオカメラでもよい。第1カメラ31及び第2カメラ32のそれぞれは、光学系と、光学系を通過した光を受光するイメージセンサとを有する。イメージセンサは、CCD(Couple Charged Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを含む。
【0019】
図2に示すように、第1カメラ31及び第2カメラ32のそれぞれは、旋回体3の運転台4に固定される。
【0020】
旋回体3に3次元の車体座標系(Xm、Ym、Zm)が規定される。Xm軸方向は、旋回体3の前後方向である。Ym軸方向は、旋回体3の車幅方向である。Zm軸方向は、旋回体3の上下方向である。第1カメラ31と第2カメラ32とは、旋回体3の所定方向に配置される。第1カメラ31と第2カメラ32とは、旋回体3の車幅方向(Ym軸方向)に配置される。第1カメラ31と第2カメラ32とは、旋回体3の高さ方向である上下方向(Zm軸方向)や、視軸方向である前後方向(Xm軸方向)に配置してもよい。第1カメラ31の光学系の視野領域と第2カメラ32の光学系の視野領域の少なくとも一部とは、重複する。
【0021】
第1カメラ31及び第2カメラ32のそれぞれは、旋回体3の前方に存在する作業現場の対象物を撮像する。
【0022】
撮像装置30により撮像される対象物は、作業現場において施工される施工対象を含む。施工対象は、油圧ショベル1の作業機2で掘削される掘削対象を含む。なお、施工対象は、油圧ショベル1とは別の作業機械により施工される施工対象でもよいし、作業者により施工される施工対象でもよい。また、施工対象は、施工前の施工対象、施工中の施工対象、及び施工後の施工対象を含む概念である。
【0023】
また、撮像装置30により撮像される対象物は、油圧ショベル1の少なくとも一部を含む。撮像装置30により撮像される対象物は、例えば作業機2、旋回体3、及び走行体5の少なくとも一つを含む。対象物である作業機2は、掘削している状態の作業機2でもよいし、掘削していない状態の作業機2でもよい。対象物である旋回体3は、旋回している状態の旋回体3でもよいし、旋回していない状態の旋回体3でもよい。対象物である走行体5は、走行している状態の走行体5でもよいし、走行していない状態の走行体5でもよい。また、撮像装置30により撮像される対象物は、遠隔操作される油圧ショベル1の周囲に配置される作業機械でもよい。撮像装置30により撮像される対象物は、遠隔操作される油圧ショベル1とは別の油圧ショベルでもよいし、ダンプトラックでもよい。
【0024】
以下の説明においては、第1カメラ31で撮像された作業現場の画像を適宜、第1画像M1、と称し、第2カメラ32で撮像された作業現場の画像を適宜、第2画像M2、と称する。
【0025】
表示システム200は、油圧ショベル1の外部に配置される表示装置50と、油圧ショベル1の外部に配置される処理装置60とを備える。表示システム200は、さらに撮像装置30を含んでもよい。表示装置50及び処理装置60のそれぞれは、油圧ショベル1とは別体である。表示装置50及び処理装置60のそれぞれは、例えば遠隔操作施設に設けられる。
【0026】
表示装置50として、液晶ディスプレイ(LCD:Liquid Crystal Display)又は有機ELディスプレイ(OELD:Organic Electroluminescence Display)のようなフラットパネルディスプレイが例示される。処理装置60は、コンピュータシステムを含む。
【0027】
遠隔操作装置40は、油圧ショベル1の外部に配置される。遠隔操作装置40は、油圧ショベル1とは別体である。遠隔操作装置40は、油圧ショベル1の作業機2及び旋回体3を遠隔操作する作業レバー及び走行体5を遠隔操作する走行レバーを含む。作業者は、遠隔操作施設において遠隔操作装置40を操作する。
【0028】
処理装置60は、通信システム400を介して油圧ショベル1の制御装置300と通信可能である。通信システム400は、油圧ショベル1に搭載される無線通信機401を有する。通信システム400は、インターネット(internet)、ローカルエリアネットワーク(LAN:Local Area Network)、携帯電話通信網、及び衛星通信網の少なくとも一つを含む。
【0029】
遠隔操作装置40が操作されることにより生成された操作信号は、通信システム400を介して制御装置300に送信される。制御装置300は、取得した操作信号に基づいて、作業機2、旋回体3、及び走行体5を制御する制御信号を出力する。これにより、油圧ショベル1が遠隔操作される。
【0030】
第1カメラ31で撮像された作業現場の第1画像M1及び第2カメラ32で撮像された作業現場の第2画像M2のそれぞれは、通信システム400を介して処理装置60に送信される。処理装置60は、第1画像M1及び第2画像M2を画像処理して、所定の画像を表示装置50に表示させる。
【0031】
[遠隔操作施設]
図3は、本実施形態に係る遠隔操作施設を模式的に示す図である。
図3に示すように、遠隔操作システム100は、作業者の頭部の位置及び姿勢を検出する頭部位置センサ41と、作業者の頭部に装着されるキャップ42と、作業者が着座する操縦席43と、遠隔操作装置40と、表示装置50と、処理装置60とを有する。頭部位置センサ41、キャップ42、操縦席43、遠隔操作装置40、表示装置50、及び処理装置60のそれぞれは、例えば油圧ショベル1の外部の遠隔操作施設に設けられる。
【0032】
頭部位置センサ41は、作業者の頭部の位置及び姿勢を検出する。キャップ42が作業者の頭部に装着される。キャップ42に頭部マーカが設けられる。頭部位置センサ41は、キャップ42の頭部マーカを光学的に検出して、作業者の頭部の位置及び姿勢を検出する。
【0033】
頭部位置センサ41は、油圧ショベル1の外部において作業者の視点位置を検出する視点位置センサとして機能する。視点位置は、頭部の位置及び姿勢から従属的に決定される。頭部と視点との相対位置は既知データである。そのため、作業者の頭部の位置及び姿勢が検出されることにより、作業者の視点位置が検出される。
【0034】
作業者は、表示装置50の表示画面と正対するように操縦席43に着座する。作業者は、表示装置50の表示画面を確認しながら、遠隔操作装置40を操作する。頭部位置センサ41は、操縦席に着座している作業者の頭部の位置及び姿勢を検出する。
【0035】
頭部位置センサ41に3次元のローカル座標系(Xr、Yr、Zr)が規定される。車体座標系の位置を規定の変換式又は変換行列でローカル座標系の位置に変換した場合、Xm軸方向の位置はXr軸方向の位置に変換され、Ym軸方向の位置はYr軸方向の位置に変換され、Zm軸方向の位置はZr軸方向の位置に変換される。すなわち、ローカル座標系のXr軸は、車体座標系のXm軸に対応し、同様に、Yr軸はYm軸に、Zr軸はZm軸に対応する。Xr軸方向は、操縦席43に着座した作業者の前後方向である。Yr軸方向は、操縦席43に着座した作業者の左右方向である。Zr軸方向は、操縦席43に着座した作業者の上下方向である。Yr軸方向は、表示装置50の表示画面の横方向に相当する。
【0036】
[表示システム]
図4は、本実施形態に係る表示システム200を示す機能ブロック図である。
図4に示すように、表示システム200は、頭部位置センサ41と、表示装置50と、制御装置60とを有する。
【0037】
撮像装置30の第1カメラ31は、作業現場を撮像して、作業現場の第1画像M1を取得する。撮像装置30の第2カメラ32は、作業現場を撮像して、作業現場の第2画像M2を取得する。第1カメラ31で取得された第1画像M1及び第2カメラ32で取得された第2画像M2は、通信システム400を介して処理装置60に送信される。頭部位置センサ41の検出データは、処理装置60に出力される。
【0038】
処理装置60は、画像取得部61と、視点位置算出部62と、輝度調整部63と、表示制御部64と、記憶部65とを有する。
【0039】
画像取得部61は、第1カメラ31で撮像された作業現場の第1画像M1及び第2カメラ32で撮像された作業現場の第2画像M2のそれぞれを、通信システム400を介して取得する。
【0040】
視点位置算出部62は、頭部位置センサ41の検出データに基づいて、作業者の視点位置を算出する。頭部位置センサ41は、作業者の頭部の位置及び姿勢を逐次取得する。作業者の視点位置は逐次変化する。視点位置は、頭部の位置及び姿勢から従属的に決定される。頭部と視点との相対位置は既知データであり、記憶部65に記憶されている。視点位置算出部62は、頭部位置センサ41の検出データと記憶部65に記憶されている既知データとに基づいて、作業者の視点位置を算出することができる。
【0041】
輝度調整部63は、視点位置算出部62により算出された作業者の視点位置に基づいて、第1画像M1及び第2画像M2の少なくとも一方の輝度を調整する。
【0042】
図5は、本実施形態に係る輝度調整部63の動作を説明するための図である。作業者が頭部を動かすことにより、作業者の視点位置が変化する。
【0043】
本実施形態において、視点位置は、第1位置R1と第2位置R2との間を移動することとする。第1位置R1と第2位置R2とは、旋回体3のYm軸方向(車幅方向)に対応するYr軸方向に配置される。Ym軸方向に対応するYr軸方向とは、規定の変換式又は変換行列で車体座標系をローカル座標系に変換した場合、Ym軸方向を変換した後のYr軸方向をいう。上述のように、Yr軸方向は、操縦席43に着座した作業者の左右方向であり、表示装置50の表示画面の横方向に相当する。なお、Xr軸方向の頭部運動に対応したXm軸方向について、さらに第3カメラ、第4カメラなど複数のカメラを設置し、同様の変換を成立させてもよい。
【0044】
図2に示したように、第2カメラ32は、第1カメラ31よりも+Ym側に配置される。
図5に示すように、第2位置R2は、第1位置R1よりも+Yr側に配置される。車体座標系における第1カメラ31と第2カメラ32との相対位置と、ローカル座標系における第1位置R1と第2位置R2との相対位置とは、一致する。
【0045】
例えば、車体座標系の第1カメラ31の位置は、ローカル座標系の第1位置R1に変換される。車体座標系の第2カメラ32の位置は、ローカル座標系の第2位置R2に変換される。なお、車体座標系における第1カメラ31と第2カメラ32との相対位置と、ローカル座標系における第1位置R1と第2位置R2との相対位置とが一致していればよく、第1カメラ31の位置が第1位置R1とは異なる位置に変換されてもよいし、第2カメラ32の位置が第2位置R2とは異なる位置に変換されてもよい。
【0046】
図5において、ラインML1は、Yr軸方向の視点位置と第1画像M1の輝度L1との関係を示す。ラインML2は、Yr軸方向の視点位置と第2画像M2の輝度L2との関係を示す。ラインML1で示すように、輝度調整部63は、Yr軸方向の視点位置に基づいて、第1画像M1の輝度L1を調整する。また、ラインML2で示すように、輝度調整部63は、Yr軸方向の視点位置に基づいて、第2画像M2の輝度L2を調整する。
【0047】
輝度調整部63は、視点位置が第1位置R1にあるときに第1画像M1の輝度L1が第2画像M2の輝度L2よりも高くなり、視点位置が第2位置R2にあるときに第2画像M2の輝度L2が第1画像M1の輝度L1よりも高くなるように、輝度L1及び輝度L2を調整する。
【0048】
輝度調整部63は、視点位置が第1位置R1に近いほど第1画像M1の輝度L1が高くなり、視点位置が第2位置R2に近いほど第2画像M2の輝度L2が高くなるように調整する。また、輝度調整部63は、視点位置が第1位置R1に近いほど第2画像R2の輝度L2が低くなり、視点位置が第2位置R2に近いほど第1画像M1の輝度L1が低くなるように、輝度L1及び輝度L2を調整する。
【0049】
すなわち、輝度調整部63は、視点位置が第1位置R1に近いほど第1画像M1の輝度L1が第2画像M2の輝度L2よりも高くなり、視点位置が第2位置R2に近いほど第2画像M2の輝度L2が第1画像M1の輝度L1よりも高くなるように、輝度L1及び輝度L2を調整する。
【0050】
本実施形態において、輝度調整部63は、視点位置が第1位置R1と第2位置R2との中心位置Rmよりも第1位置R1に近いときに第1画像M1の輝度L1が第2画像M2の輝度L2よりも高くなり、視点位置が中心位置Rmよりも第2位置M2に近いときに第2画像M2の輝度L2が第1画像M1の輝度L1よりも高くなるように、輝度L1及び輝度L2を調整する。
【0051】
また、輝度調整部63は、視点位置が第1位置R1にあるときに第1画像M1の輝度L1が規定値MAになり第2画像M2の輝度L2がゼロになるように、輝度L1及び輝度L2を調整する。また、輝度調整部63は、視点位置が第2位置R2にあるときに第2画像M2の輝度L2が規定値MAになり第1画像M1の輝度L1がゼロになるように、輝度L1及び輝度L2を調整する。すなわち、輝度調整部63は、視点位置が第1位置R1にあるときに、[輝度L1:輝度L2=1:0]になり、視点位置が第2位置R2にあるときに、[輝度L1:輝度L2=0:1]になるように、輝度L1及び輝度L2を調整する。
【0052】
また、輝度調整部63は、視点位置が中心位置Rmにあるときに第1画像M1の輝度L1が規定値MAの半分になり第2画像M2の輝度L2が規定値MAの半分になるように、輝度L1及び輝度L2を調整する。すなわち、輝度調整部63は、視点位置が中心位置Rmにあるときに、[輝度L1:輝度L2=1:1]になるように、輝度L1及び輝度L2を調整する。
【0053】
ラインML1の傾きとラインML2の傾きとは等しい。ラインML1の傾きとは、第1位置R1から視点位置までの距離に対する輝度L1の変化率をいい、ラインML2の傾きとは、第2位置R2から視点位置までの距離に対する輝度L2の変化率をいう。
【0054】
表示制御部64は、輝度調整部63により輝度が調整された第1画像M1及び第2画像M2を合成して表示装置50に表示させる。
【0055】
図6、
図7、及び
図8のそれぞれは、本実施形態に係る表示制御部64の動作を説明するための図である。
図6は、視点位置が第1位置R1にあるときに表示装置50に表示される画像を示す。
図7は、視点位置が中心位置Rmにあるときに表示装置50に表示される画像を示す。
図8は、視点位置が第2位置R2にあるときに表示装置50に表示される画像を示す。
【0056】
図6に示すように、表示制御部64は、視点位置が第1位置R1にあるとき、輝度L1が規定値MAである第1画像M1のみを表示装置50に表示させる。
【0057】
図7に示すように、表示制御部64は、視点位置が中心位置Rmにあるとき、輝度L1が[0.5×MA]である第1画像M1と輝度L2が[0.5×MA]である第2画像M2とを重畳させて表示装置50に表示させる。
【0058】
図8に示すように、表示制御部64は、視点位置が第2位置R2にあるとき、輝度L2が規定値MAである第2画像M2のみを表示装置50に表示させる。
【0059】
[表示方法]
図9は、本実施形態に係る表示システム200の表示方法を示すフローチャートである。第1カメラ31及び第2カメラ32は、作業現場を撮像する。制御装置300は、第1カメラ31で撮像された作業現場の第1画像M1及び第2カメラ32で撮像された作業現場の第2画像M2のそれぞれを、通信システム400を介して処理装置60に送信する。処理装置60の画像取得部61は、第1カメラ61で撮像された作業現場の第1画像M1及び第2カメラ32で撮像された作業現場の第2画像M2のそれぞれを取得する(ステップS1)。
【0060】
頭部位置センサ41は、作業者の頭部の位置及び姿勢を検出する。頭部位置センサ41の検出データは、視点位置算出部62に出力される。視点位置算出部62は、頭部位置センサ41の検出データと記憶部65に記憶されている頭部と視点との相対位置を示す既知データとに基づいて、作業者の視点位置を算出する(ステップS2)。
【0061】
輝度調整部63は、視点位置算出部62により算出された作業者の視点位置に基づいて、第1画像M1の輝度L1及び第2画像M2の輝度L2を調整する(ステップS3)。
【0062】
図5を参照して説明したように、輝度調整部63は、視点位置が第1位置R1にあるときに第1画像M1の輝度L1が第2画像M2の輝度L2よりも高くなり、視点位置が第2位置R2にあるときに第2画像M2の輝度L1が第1画像M1の輝度L1よりも高くなるように、輝度L1及び輝度L2を調整する。
【0063】
表示制御部64は、輝度調整部63により輝度L1が調整された第1画像M1及び輝度L2が調整された第2画像M2を合成して表示装置50に表示させる(ステップS4)。
【0064】
[コンピュータシステム]
図10は、本実施形態に係るコンピュータシステム1000を示すブロック図である。上述の処理装置60は、コンピュータシステム1000を含む。コンピュータシステム1000は、CPU(Central Processing Unit)のようなプロセッサ1001と、ROM(Read Only Memory)のような不揮発性メモリ及びRAM(Random Access Memory)のような揮発性メモリを含むメインメモリ1002と、ストレージ1003と、入出力回路を含むインターフェース1004とを有する。上述の処理装置60の機能は、コンピュータプログラムとしてストレージ1003に記憶されている。プロセッサ1001は、コンピュータプログラムをストレージ1003から読み出してメインメモリ1002に展開し、コンピュータプログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム1000に配信されてもよい。
【0065】
コンピュータプログラムは、上述の実施形態に従って、作業者の視点位置に基づいて、第1カメラ31で撮像された作業現場の第1画像M1及び第2カメラ32で撮像された作業現場の第2画像M2の少なくとも一方の輝度を調整することと、輝度が調整された第1画像M1及び第2画像M2を合成して表示装置50に表示させることと、を実行することができる。
【0066】
[効果]
以上説明したように、本実施形態によれば、第1カメラ31及び第2カメラ32により作業現場の第1画像M1及び第2画像M2が取得される。作業者の視点位置に基づいて、第1画像M1の輝度L1及び第2画像M2の輝度L2が調整される。作業者の視点位置の移動(作業者の頭部の運動)に合わせて、第1画像M1と第2画像M2との輝度合成比が追従的に変化することにより、仮現運動と同様の視覚効果が作業者にもたらされる。この視覚効果によって、作業者は、実際には作業現場から遠隔操作施設に伝送されていない視点画像があたかも伝送されているように錯覚する。そのため、作業現場から遠隔操作施設に大容量の画像を伝送しなくても、限られた回線容量において、作業現場の遠近感を作業者に効果的に知覚させることができる。
【0067】
[その他の実施形態]
図11は、本実施形態に係る輝度調整部63の動作を説明するための図である。
図11のラインML1で示すように、Yr軸方向の視点位置と第1画像M1の輝度L1とが比例し、
図11のラインML2で示すように、Yr軸方向の視点位置と第2画像M2の輝度L2とが比例してもよい。
【0068】
図11に示す例においても、輝度調整部63は、視点位置が第1位置R1にあるときに、[輝度L1:輝度L2=1:0]になり、視点位置が第2位置R2にあるときに、[輝度L1:輝度L2=0:1]になるように、輝度L1及び輝度L2を調整する。
【0069】
また、輝度調整部63は、視点位置が中心位置Rmにあるときに、[輝度L1:輝度L2=1:1]になるように、輝度L1及び輝度L2を調整する。
【0070】
また、輝度調整部63は、視点位置が第1位置R1と第2位置R2との間の図示しない任意位置Raにあるときに、[輝度L1:輝度L2=m:n]になるように、輝度L1及び輝度L2を調整する。任意位置Raは、第1位置R1との距離がnであり、第2位置R2との距離がmである位置である。
【0071】
表示制御部64は、視点位置が任意位置Raにあるとき、輝度L1が[規定値MA×m%]である第1画像M1と輝度L2が[規定値MA×n%]である第2画像M2とを重畳させて表示装置50に表示させる。
【0072】
なお、上述の実施形態においては、視点位置が第1位置R1にあるときに第2画像M2の輝度L2がゼロになり、視点位置が第2位置R2にあるときに第1画像M1の輝度L1がゼロになるように、輝度L1及び輝度L2が調整されることとした。視点位置が第1位置R1にあるときに第2画像M2の輝度L2がゼロよりも大きくてもよいし、視点位置が第2位置R2にあるときに第1画像M1の輝度L1がゼロよりも大きくてもよい。
【0073】
上述の実施形態においては、視点位置に基づいて、第1画像M1の輝度L1と第2画像M2の輝度L2との両方が調整されることとした。例えば第1画像M1の輝度L1が一定値に維持され、視点位置に基づいて第2画像M2の輝度L2のみが調整されてもよいし、第2画像M2の輝度L2が一定値に維持され、視点位置に基づいて第1画像M1の輝度L1のみが調整されてもよい。
【0074】
上述の実施形態においては、撮像装置30は、第1カメラ31及び第2カメラ32を有することとした。撮像装置30は、3台以上の任意の複数台のカメラにより構成されてもよい。
【0075】
上述の実施形態においては、撮像装置30が油圧ショベル1に設けられることとした。撮像装置30は、作業現場の対象物を撮像可能であれば任意の位置に設けることができる。例えば、撮像装置30は遠隔操作対象である油圧ショベル1とは別の作業機械に設けられてもよいし、ドローンのような飛行体に設けられてもよいし、作業現場に設けられている構造物に設けられてもよい。
【0076】
上述の実施形態においては、光学式の頭部位置センサ41で作業者の頭部の位置及び姿勢を検出することによって、作業者の視点位置が取得されることとした。例えば、磁気式の頭部位置センサで作業者の頭部の位置及び姿勢を検出してもよいし、視線検出装置によって作業者の瞳孔の位置が直接的に検出されてもよい。
【0077】
上述の実施形態においては、作業機械1が油圧ショベルであることとした。作業機械1は、施工対象を施工可能な作業機械であればよく、施工対象を掘削可能な掘削機械及び土砂を運搬可能な運搬機械でもよい。作業機械1は、例えばホイールローダでもよいし、ブルドーザでもよいし、ダンプトラックでもよい。より詳しくは、作業機械1がショベル以外の車両である場合、カメラの位置は対象物や車両の進行方向が撮像できる位置に設置すればよい。作業機械1がブルドーザである場合、後進において作業を実施する場合があるため、カメラの設置位置は車両の前方に限らず、車両の後方にカメラを設けてもよい。
【符号の説明】
【0078】
1…油圧ショベル(作業機械)、2…作業機、3…旋回体、4…運転台、5…走行体、6…ブーム、7…アーム、8…バケット、10…ブームシリンダ、11…アームシリンダ、12…バケットシリンダ、30…撮像装置、31…第1カメラ(第1撮像装置)、32…第2カメラ(第2撮像装置)、40…遠隔操作装置、41…頭部位置センサ(視点位置センサ)、42…キャップ、43…操縦席、50…表示装置、60…処理装置、61…画像取得部、62…視点位置算出部、63…輝度調整部、64…表示制御部、65…記憶部、100…遠隔操作システム、200…表示システム、300…制御装置、400…通信システム、401…無線通信機、M1…第1画像、M2…第2画像。