IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日立建機株式会社の特許一覧

<>
  • 特開-作業機械 図1
  • 特開-作業機械 図2
  • 特開-作業機械 図3
  • 特開-作業機械 図4
  • 特開-作業機械 図5
  • 特開-作業機械 図6
  • 特開-作業機械 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024139957
(43)【公開日】2024-10-10
(54)【発明の名称】作業機械
(51)【国際特許分類】
   E02F 9/26 20060101AFI20241003BHJP
   E02F 9/24 20060101ALI20241003BHJP
   H04N 7/18 20060101ALI20241003BHJP
   B60R 1/20 20220101ALI20241003BHJP
   B60R 1/22 20220101ALI20241003BHJP
【FI】
E02F9/26 B
E02F9/24 B
H04N7/18 J
B60R1/20 100
B60R1/22
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023050916
(22)【出願日】2023-03-28
(71)【出願人】
【識別番号】000005522
【氏名又は名称】日立建機株式会社
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】江口 裕介
(72)【発明者】
【氏名】石本 英史
(72)【発明者】
【氏名】石井 裕丈
【テーマコード(参考)】
2D015
5C054
【Fターム(参考)】
2D015GA03
2D015HA03
5C054CA04
5C054CC02
5C054DA07
5C054HA30
(57)【要約】
【課題】遠隔操作可能な作業機械において、旋回動作時に十分な映像画質を確保する。
【解決手段】油圧ショベル1において、映像作成装置2は、車体の周囲を撮影して得られた映像データを出力する映像データ出力部3と、映像データの圧縮および/または符号化を行う映像データ符号化部5と、回動測定器8により測定された回動状態に基づいて、映像データ符号化部5が映像データを圧縮および/または符号化する際の動作パラメータを変更する映像データ符号化制御部6と、を備え、ネットワークインターフェース11は、映像データ符号化部5により映像データを圧縮および/または符号化することで生成された符号化映像データを無線送信する。
【選択図】図1
【特許請求の範囲】
【請求項1】
第1の構造体および第2の構造体を有する車体と、
前記第1の構造体と前記第2の構造体が相対的に回動するための回動機構と、
前記回動機構を駆動するアクチュエータと、
前記第1の構造体と前記第2の構造体との相対的な回動状態を測定する回動測定器と、
映像作成装置とを有し、
前記映像作成装置は、前記車体の周囲を撮影して得られた映像データを出力する映像データ出力部と、
前記映像データの圧縮または符号化を行う映像データ符号化部と、
前記回動測定器により測定された前記回動状態に基づいて、前記映像データ符号化部が前記映像データを圧縮または符号化する際の動作パラメータを変更する映像データ符号化制御部とを有し、
前記映像データ符号化部により前記映像データを圧縮または符号化することで生成された符号化映像データを無線送信する通信装置とを備えたことを特徴とする作業機械。
【請求項2】
請求項1に記載の作業機械において、
前記映像データ符号化制御部は、前記回動測定器により測定された前記回動状態に基づいて、前記第1の構造体と前記第2の構造体との相対的な回動速度を算出し、前記回動速度に基づいて前記動作パラメータを変更することを特徴とする作業機械。
【請求項3】
請求項2に記載の作業機械において、
前記通信装置を介して、外部より無線送信される前記回動機構に対する操作信号を受信し、前記操作信号に基づいて前記アクチュエータの動作を制御することで前記回動機構を駆動させる操作信号処理部を備え、
前記映像データ符号化制御部は、前記回動速度と、前記操作信号処理部により受信された前記操作信号とに基づいて、未来の前記回動速度の予測値を算出し、前記回動速度の予測値に基づいて前記動作パラメータを変更することを特徴とする作業機械。
【請求項4】
請求項3に記載の作業機械において、
前記回動速度に対する閾値を記憶する閾値記憶部を備え、
前記映像データ符号化制御部は、
前記回動速度の予測値が前記閾値を超えない場合は、予め設定された第1の動作パラメータを前記映像データ符号化部に対して設定し、
前記回動速度の予測値が前記閾値を超える場合は、前記符号化映像データの伝送レートが前記第1の動作パラメータよりも低い第2の動作パラメータを、前記映像データ符号化部に対して設定することを特徴とする作業機械。
【請求項5】
請求項4に記載の作業機械において、
前記車体の周囲の外界情報を測定する外界情報測定器を備え、
前記第2の動作パラメータは、解像度とフレームレートを含み、
前記映像データ符号化制御部は、前記外界情報測定器により測定された前記外界情報に基づいて、前記第2の動作パラメータにおける前記解像度と前記フレームレートの値をそれぞれ決定することを特徴とする作業機械。
【請求項6】
請求項5に記載の作業機械において、
前記外界情報測定器は、前記車体の周囲の照度を測定する照度センサを含むことを特徴とする作業機械。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠隔操作可能な作業機械に関する。
【背景技術】
【0002】
従来、遠隔操作により動作可能な作業機械の一例として、アンテナを搭載し、このアンテナを用いて無線通信局との間で無線通信を行うことにより、作業環境の映像データをオペレータへ伝送し、オペレータからの指示に応じて動作するショベル(以下「遠隔ショベルと称する」)が知られている。こうした遠隔ショベルでは、旋回動作時にアンテナと無線基地局との相対的な位置や姿勢角が変化することで電波伝搬環境が変化し、これによって無線通信の品質が一時的に低下することがある。その結果、遠隔ショベルから無線基地局へ映像データを伝送する際の回線容量が低下し、それに伴って映像データの伝送レートが低下することで、オペレータ側に表示される映像の画質が悪化するという問題が存在している。
【0003】
上記の問題を解決する技術として、特許文献1、2に記載の手法が知られている。特許文献1には、遠隔操縦用のパワーショベル1に搭載された送信用映像伝達装置と、この送信用映像伝送装置と正対して遠隔位置に固定配置された受信用映像伝達装置とを備え、これらの装置を介してパワーショベル1に搭載されたテレビカメラ8から送られた画像信号をモニタテレビ12でモニタするようにした遠隔操縦システムにおいて、パワーショベル1の機体4の旋回速度及び旋回方向を検出するためのエンコーダ18と、エンコーダ18の検出結果に基づき送信用映像伝達装置を支持する基台を回動させるモータ17を旋回速度と等速、かつ逆方向に回動させるためのコントローラ19とを備えたものが開示されている。特許文献2には、走行体に対する旋回体の旋回角度を検出する旋回角度センサと、基地局装置に追従可能に設けられて基地局装置との間でビームフォーミングを用いた通信を行う通信機と、旋回角度センサにより検出された旋回角度に基づいて通信機から基地局装置に送信される電波のビームフォーミングを制御する制御部と、を備える油圧ショベルが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平7-288753号公報
【特許文献2】特開2002-87604号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載の遠隔操縦システムでは、旋回角度が一定の範囲内であるときには、送信用映像伝達装置の向きの変化に合わせて受信用映像伝達装置の向きを調整できるが、旋回角度がこの範囲を超えると、送信用映像伝達装置と受信用映像伝達装置の向きが互いに逆方向になるため、却って映像の画質が悪化してしまうおそれがある。また、特許文献2に記載の油圧ショベルでは、油圧ショベルに搭載された通信機の処理性能が低い場合や、旋回体の旋回速度が速い場合において、旋回角度に応じた電波のビームフォーミングが間に合わず、その結果、映像の画質を十分に確保できないおそれがある。このように、従来の遠隔ショベルでは、旋回動作時の映像の画質に関してさらなる改善の余地がある。
【0006】
本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、遠隔操作可能な作業機械において、旋回動作時に十分な映像画質を確保することにある。
【課題を解決するための手段】
【0007】
本発明による作業機械は、第1の構造体および第2の構造体を有する車体と、前記第1の構造体と前記第2の構造体が相対的に回動するための回動機構と、前記回動機構を駆動するアクチュエータと、前記第1の構造体と前記第2の構造体との相対的な回動状態を測定する回動測定器と、前記車体の周囲を撮影して得られた映像データを出力する映像データ出力部と、前記映像データの圧縮および/または符号化を行う映像データ符号化部と、前記映像データ符号化部により前記映像データを圧縮および/または符号化することで生成された符号化映像データを無線送信する無線通信部と、前記回動測定器により測定された前記回動状態に基づいて、前記映像データ符号化部が前記映像データを圧縮および/または符号化する際の動作パラメータを変更する映像データ符号化制御部と、を備える。
【発明の効果】
【0008】
本発明によれば、遠隔操作可能な作業機械において、旋回動作時に十分な映像画質を確保することができる。
【0009】
なお、本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0010】
図1】本発明の第1の実施形態に係る遠隔操作システムの全体構成を示す図。
図2】本発明の一実施形態に係る油圧ショベルの外観の概要を示す図。
図3】本発明の一実施形態に係る油圧ショベルの挙動例を示す図。
図4】本発明の第1の実施形態に係る目標映像レート設定処理の制御フローを示すフローチャート。
図5】本発明の第2の実施形態に係る遠隔操作システムの全体構成を示す図。
図6】本発明の第2の実施形態に係る目標映像レート設定処理の制御フローを示すフローチャート。
図7】旋回時の目標映像レートと目標解像度および目標フレームレートの決定方法の説明図。
【発明を実施するための形態】
【0011】
以下、本発明による作業機械の実施例について、図面を参照しながら説明する。
【0012】
<第1の実施形態>
本発明の第1の実施形態について、図1から図4を参照して以下に説明する。
【0013】
図1は、本発明の第1の実施形態に係る遠隔操作システムの全体構成を示す図である。本実施形態では、遠隔操作可能な作業機械の例として、油圧ショベルに本発明を適用した場合について説明する。
【0014】
図1に示す遠隔操作システム100は、作業現場に配置される油圧ショベル1と、油圧ショベル1から離れた場所に設置され、通信回線25を介して油圧ショベル1と無線接続される遠隔操作室30とを備える。通信回線25は、無線信号を用いて通信が行われる無線通信区間を少なくとも含み、さらに有線通信区間を含んでも良い。
【0015】
油圧ショベル1は、撮影した周囲の映像を遠隔操作室30へ無線送信する映像データの作成を行う映像作成装置2を搭載している。映像作成装置2は、映像データ出力部3、映像データ符号化部5、映像データ符号化制御部6および閾値記憶部7を備える。また、油圧ショベル1は、回動機構15による上部旋回体14と下部走行体13との相対的な回動状態(図2参照)を測定する回動測定器8と、回動機構15を含む油圧ショベル1の各駆動部を駆動するアクチュエータ9と、アクチュエータ9の動作制御を行う操作信号処理部10と、ネットワークインターフェース11と、を備える。
【0016】
映像データ出力部3は、複数のカメラ3a~3eと、映像データ編集部4とを有する。カメラ3a~3eは、油圧ショベル1の異なる場所にそれぞれ設置され、油圧ショベル1の車体の周囲をそれぞれ撮影して映像データを取得する。カメラ3a~3cで取得された映像データは映像データ符号化部5へ出力され、カメラ3b~3eで取得された映像データは映像データ編集部4へ出力される。
【0017】
映像データ編集部4は、カメラ3b~3eからそれぞれ入力される映像データを用いて所定の編集処理を行い、これらの映像データを合成した合成映像データを生成して映像データ符号化部5へ出力する。
【0018】
なお、図1では映像データ出力部3が5台のカメラ3a~3eを有し、このうちカメラ3a~3cで取得された映像データを映像データ符号化部5へ出力するとともに、カメラ3b~3eで取得された映像データを映像データ編集部4により合成して映像データ符号化部5へ出力する例を示したが、映像データ出力部3から映像データ符号化部5へ出力される映像データはこれに限定されない。例えば、映像データ出力部3に映像データ編集部4を設けず、カメラ3b~3eで取得された映像データを合成せずにそのまま映像データ符号化部5へ出力しても良い。あるいは、カメラ3a~3eの全ての映像データを合成して映像データ符号化部5へ出力しても良い。また、カメラ3a~3eの台数は5台に限定されず、任意の台数とすることができる。油圧ショベル1の車体の周囲を適切に撮影し、それによって油圧ショベル1を遠隔操作するのに最適な映像データを映像データ符号化部5へ出力することができれば、任意の形態により映像データ出力部3を構成することができる。
【0019】
映像データ符号化部5は、複数のエンコード部5a~5dを有する。映像データ出力部3のカメラ3a~3cおよび映像データ編集部4から出力された映像データは、映像データ符号化部5においてエンコード部5a~5dにそれぞれ入力される。エンコード部5a~5dは、入力されたこれらの映像データに対して圧縮処理と符号化処理をそれぞれ行うことにより、各映像データを所定の送信フォーマットに変換した符号化映像データを生成し、ネットワークインターフェース11へ出力する。
【0020】
なお、図1では映像データ符号化部5が4つのエンコード部5a~5dを有する例を示したが、映像データ出力部3から映像データ符号化部5へ出力される各映像データに対して圧縮処理と符号化処理をそれぞれ行うことができれば、映像データ符号化部5の構成はこれに限定されない。また、上記ではエンコード部5a~5dが映像データに対して圧縮処理と符号化処理をそれぞれ行う例を説明したが、圧縮処理を省略しても良いし、さらに別の処理(例えば暗号化処理など)を実施しても良い。映像データ出力部3で得られた各映像データを、通信回線25を介して無線送信するのに適した送信フォーマットに変換することができれば、任意の形態により映像データ符号化部5を構成することができる。
【0021】
映像データ符号化制御部6は、映像データ符号化部5が映像データ編集部4からの各映像データを圧縮および/または符号化する際の動作パラメータを設定する。このとき映像データ符号化制御部6は、回動測定器8による油圧ショベル1の回動状態、すなわち上部旋回体14と下部走行体13との相対的な回動状態の測定結果と、遠隔操作室30から送信されて操作信号処理部10により受信された操作信号とに基づいて、油圧ショベル1が旋回中であるか否かを判断し、旋回中と判断した場合には、映像データ符号化部5に対する動作パラメータを変更する。これにより、旋回時にエンコード部5a~5dによって油圧ショベル1から遠隔操作室30へ無線送信される符号化映像データの伝送レートを調整する。なお、映像データ符号化制御部6による動作パラメータの設定方法の詳細については後述する。
【0022】
閾値記憶部7は、例えばフラッシュメモリ等の記憶媒体を用いて構成されており、油圧ショベル1が旋回中であるか否かを映像データ符号化制御部6が判断するための閾値を記憶する。閾値記憶部7に記憶された閾値は映像データ符号化制御部6によって読み込まれ、映像データ符号化制御部6が行う処理において利用される。
【0023】
ネットワークインターフェース11は、通信装置として、通信回線25を介して遠隔操作室30との間で行われる無線通信のインターフェース処理を行う。このネットワークインターフェース11が行うインターフェース処理により、映像データ符号化部5のエンコード部5a~5dからそれぞれ出力される符号化映像データが通信回線25を介して遠隔操作室30へ無線送信されるとともに、遠隔操作室30から通信回線25を介して送信される操作信号が受信されて操作信号処理部10に入力される。
【0024】
操作信号処理部10は、遠隔操作室30より送信されてネットワークインターフェース11により受信された操作信号を取得し、この操作信号に応じた動作量がアクチュエータ9において出力されるように、アクチュエータ9の動作を制御する。これにより、遠隔操作室30からの送信信号に応じてアクチュエータ9が動作し、回動機構15や、油圧ショベル1の他の各駆動部(ブーム16a、アーム16b、バケット16c(図2参照)および下部走行体13)を駆動させることができる。
【0025】
また、操作信号処理部10は、遠隔操作室30より送信されてネットワークインターフェース11により受信された操作信号のうち、回動機構15に対する操作信号が表す旋回時の目標角速度を映像データ符号化制御部6へ出力する。映像データ符号化制御部6は、この目標角速度と、回動測定器8により測定された油圧ショベル1の回動状態とに基づいて、未来の旋回角速度の予測値を算出する。なお、映像データ符号化制御部6による旋回角速度の予測値の算出方法については後述する。
【0026】
遠隔操作室30は、ネットワークインターフェース31と、映像データ復号化部32と、映像表示部33と、遠隔操作用インターフェース34と、を備える。
【0027】
ネットワークインターフェース31は、通信回線25を介して油圧ショベル1との間で行われる無線通信のインターフェース処理を行う。このネットワークインターフェース31が行うインターフェース処理により、油圧ショベル1の映像作成装置2から通信回線25を介して送信される符号化映像データが受信されて映像データ復号化部32に入力されるとともに、遠隔操作用インターフェース34から出力される操作信号が通信回線25を介して油圧ショベル1へ送信される。
【0028】
映像データ復号化部32は、複数のデコード部32a~32dを有する。油圧ショベル1の映像作成装置2において映像データ符号化部5のエンコード部5a~5dから送信された符号化映像データは、映像データ復号化部32においてデコード部32a~32dにそれぞれ入力される。デコード部32a~32dは、入力されたこれらの符号化映像データに対して復号化処理と解凍処理をそれぞれ行うことにより、各符号化映像データから元の映像データを復元し、映像表示部33へ出力する。
【0029】
映像表示部33は、複数のモニタ33a~33dを有する。映像データ復号化部32のデコード部32a~32dから出力された映像データは、映像表示部33においてモニタ33a~33dにそれぞれ入力される。モニタ33a~33dは、入力されたこれらの映像データに基づく映像を表示して、油圧ショベル1の遠隔操作を行うオペレータに提示する。
【0030】
なお、図1では映像データ復号化部32と映像表示部33がそれぞれ4つのデコード部32a~32dとモニタ33a~33dを有し、これらが互いに接続されることで、カメラ3a~3eで撮影された油圧ショベル1の周囲の映像をオペレータに提示する例を示したが、映像データ復号化部32や映像表示部33の構成はこれに限定されない。オペレータが油圧ショベル1の遠隔操作を適切に行うために必要な映像をオペレータに提示することができれば、任意の形態により映像データ復号化部32および映像表示部33をそれぞれ構成することができる。
【0031】
遠隔操作用インターフェース34は、オペレータの操作入力を検出し、この操作入力に応じた操作信号をネットワークインターフェース31へ出力する。遠隔操作用インターフェース34は、例えばジョイスティックを用いて構成される。オペレータは、このジョイスティックの傾きにより、油圧ショベル1の各駆動部に対する目標速度や目標角速度を入力することができる。
【0032】
油圧ショベル1を遠隔操作する際、オペレータは、遠隔操作室30において映像表示部33のモニタ33a~33dにそれぞれ表示される映像に基づいて、遠隔操作用インターフェース34に対する操作入力を決定する。オペレータの操作入力内容は、遠隔操作用インターフェース34によって操作信号に変換され、遠隔操作室30から通信回線25を介して油圧ショベル1へ送信される。油圧ショベル1では、遠隔操作室30から送信された操作信号を受信して操作信号処理部10に入力し、操作信号処理部10によってアクチュエータ9の動作を制御する。これにより、旋回動作をはじめとする油圧ショベル1の遠隔操作を達成する。
【0033】
次に、油圧ショベル1の構成について、図2を参照して以下に説明する。
【0034】
図2は、本発明の一実施形態に係る油圧ショベルの外観の概要を示す図である。図2において、(a)は油圧ショベル1の概略平面図、(b)は油圧ショベル1の概略正面図をそれぞれ示している。
【0035】
図2に示すように、油圧ショベル1は、下部走行体13と上部旋回体14からなる車体を有している。上部旋回体14は、回動機構15を介して下部走行体13に支持される。下部走行体13は、左右一対のクローラ13a,13bを有しており、このクローラ13a,13bをアクチュエータ9によって駆動させることにより、油圧ショベル1を走行させることができる。
【0036】
上部旋回体14は、回動機構15を駆動させることにより、下部走行体13に対して自在に旋回する。上部旋回体14には、ブーム16aと、ブーム16aに支持されるアーム16bと、アーム16bに支持されるバケット16cとが取り付けられている。回動機構15、ブーム16a、アーム16bおよびバケット16cの各駆動部は、アクチュエータ9によってそれぞれ駆動される。これにより、上部旋回体14の旋回動作や、ブーム16a、アーム16bおよびバケット16cの揺動動作などが行われる。アクチュエータ9は、例えば油圧モータや油圧シリンダ等によって実現される。
【0037】
油圧ショベル1には、図1で説明した映像作成装置2が搭載されている。図2では、この映像作成装置2の各構成要素のうち、カメラ3a~3dの配置例を示している。
【0038】
図2に示す配置例では、上部旋回体14に設けられたキャブ18の内部に、オペレータの主観視点を撮影するカメラ3aが設置されている。また、上部旋回体14の正面左側には、油圧ショベル1の掘削箇所を中心に撮影するカメラ3bが設置され、上部旋回体14の上部前方右側には、車体の右側周辺を撮影するカメラ3cが設置されている。さらに、キャブ18の上部左側には、車体の左側周辺を撮影するカメラ3dが設置され、上部旋回体14の後部には、車体の後方周辺を撮影するカメラ3eが設置されている。
【0039】
なお、油圧ショベル1におけるカメラの配置は、図2の配置例に限定されない。また、図2ではカメラ3a~3eを用いて油圧ショベル1の周辺環境の情報を取得する例を示したが、本発明はこれに限定されない。例えば、各カメラを測距センサに置き換えるとともに、各測距センサからの測距信号を処理する機能を映像データ編集部4に追加することにより、各測距センサで取得した点群情報を基に3Dモデルを用いた周辺環境の映像データを作成してもよい。これ以外にも、任意の方法で油圧ショベル1の周辺環境の映像データを取得することができる。
【0040】
また、上部旋回体14には、図1の通信回線25における無線通信路を形成するための無線通信用のアンテナが設置される。図2に示す配置例では、上部旋回体14の右側中央部、左側中央部、右側後部および左側後部に、4本の無指向性アンテナ19a~19dがそれぞれ設置されている。これらのアンテナ19a~19dにより、遠隔操作室30側に設けられた無線基地局35(図3参照)との間で無線通信が行われる。
【0041】
続いて、遠隔操作による油圧ショベル1の挙動について、図3を参照して以下に説明する。
【0042】
図3は、本発明の一実施形態に係る油圧ショベルの挙動例を示す図である。図3において、(a)は油圧ショベル1の掘削動作を、(b)は油圧ショベル1の旋回動作を、(c)は油圧ショベル1の積込動作をそれぞれ示している。油圧ショベル1は、回動機構15やブーム16a、アーム16bおよびバケット16cの各駆動部を駆動させることにより、これらの動作を行うことができる。
【0043】
図3(a)の掘削動作では、油圧ショベル1はブーム16a、アーム16bおよびバケット16cを用いて土砂を掘削する。続いて図3(b)の旋回動作では、油圧ショベル1は回動機構15を駆動させることにより、下部走行体13に対して上部旋回体14を旋回し、バケット16cをダンプトラック40の位置に移動させる。その後に図3(c)の積込動作では、バケット16cの角度を変化させ、バケット16c内の土砂を放土してダンプトラック40に積み込む。これら一連の動作が、油圧ショベル1において繰り返し実施される。
【0044】
ここで、図3(a)の掘削動作や図3(c)の積込動作は、上部旋回体14が旋回しない非旋回動作に該当するため、油圧ショベル1と無線基地局35との間で行われる無線通信の品質が安定する。一方、図3(b)の旋回動作では、油圧ショベル1側のアンテナ19a~19d(図2参照)と無線基地局35との位置関係が時々刻々と変化するため、フェージング等による受信電力の低下が一時的に発生し、その結果、非旋回動作と比べて無線通信の品質が悪化するおそれがある。
【0045】
本実施形態の遠隔操作システム100では、上記のように旋回動作時に無線通信品質が悪化した場合でも、遠隔操作を行うのに必要な映像をオペレータに提示できるようにするため、映像データ符号化制御部6において前述のような処理を行う。すなわち、油圧ショベル1が旋回中であるか否かを判断し、旋回中と判断した場合には、目標映像レートを非旋回動作に対応するものから旋回動作に対応するものに切り替えて、映像データ符号化部5に対して設定される動作パラメータを変更する。これにより、旋回時に映像データ符号化部5のエンコード部5a~5dによって油圧ショベル1から遠隔操作室30へ無線送信される符号化映像データの伝送レートを調整し、映像表示部33のモニタ33a~33dでそれぞれ表示される映像において、無線通信路の伝送容量不足による乱れが発生しないようにする。
【0046】
図4は、本発明の第1の実施形態に係る目標映像レート設定処理の制御フローを示すフローチャートである。本実施形態の遠隔操作システム100において、映像データ符号化制御部6は、図4のフローチャートに示す処理を所定の制御周期ごとに実行する。なお、カメラ3a~3eやエンコード部5a~5dは、図4の制御フローによらず、所定の周期で油圧ショベル1周囲の所定範囲における映像データをそれぞれ取得し、遠隔操作室30へ送信し続ける。エンコード部5a~5dは、この処理の実行中に映像データ符号化制御部6によって目標映像レートが変更され、それによって動作パラメータの設定が変更されると、これに応じて、遠隔操作室30へ送信する符号化映像データの伝送レートをシームレスに変化させる。
【0047】
図4の制御フローを開始すると、映像データ符号化制御部6は、目標映像レートを非旋回時の条件に該当すると判断する(ステップS10)。
【0048】
続いて、映像データ符号化制御部6は、各エンコード部の目標映像レートに対する動作パラメータを、非旋回時の目標映像レートである初期値に設定する(ステップS20)。ここでは、例えばエンコード部5a~5dに対する動作パラメータを、予め設定された目標映像レートの初期値Ra1,Rb1,Rc1,Rd1にそれぞれ設定する。なお、ここで設定される動作パラメータに応じた目標映像レートとは、映像データ符号化部5が遠隔操作室30へ符号化映像データを無線送信する際の伝送レート、すなわち、エンコード部5a~5dが1秒当たりに送信する映像データ量である。この目標映像レートは、1フレームごとの映像の解像度と、1秒当たりの総フレーム数(フレームレート)とによって定まる。
【0049】
ここで、目標映像レートの初期値Ra1,Rb1,Rc1,Rd1は、例えば、油圧ショベル1の非旋回時に遠隔操作室30との間で通信不良が発生しないように、実験的にまたはシミュレーションによって事前に決定された定数である。カメラ3a~3cと映像データ編集部4でそれぞれ作成された映像データは、エンコード部5a~5dにおいて、ステップS20で設定された動作パラメータによる上記の目標映像レートRa1,Rb1,Rc1,Rd1に応じて圧縮符号化された後、無線通信区間を含む通信回線25を通って、遠隔操作室30の映像データ復号化部32が有するデコード部32a~32dへそれぞれ送信される。デコード部32a~32dは、圧縮符号化された映像データを復調し、モニタ33a~33dへ出力して映像を表示させる。
【0050】
次に、映像データ符号化制御部6は、所定の制御周期ごとに回動測定器8から入力される上部旋回体14の回動状態の測定値と、遠隔操作室30の遠隔操作用インターフェース34から操作信号処理部10を介して入力される操作信号が表す旋回時の目標角速度とに基づいて、未来の旋回角速度の予測値を算出する(ステップS30)。ここでは、例えば回動測定器8による上部旋回体14の回動状態の測定値から、現在の角速度ω0および角加速度α0を算出する。そして、算出した現在の角速度ω0および角加速度α0の値と、遠隔操作用インターフェース34から入力された目標角速度ωtとを用いて、有限時間未来である制御周期の次ステップからHステップ先までの各ステップにおける旋回角速度の予測値ωp,k(k=1~H)を算出する。
【0051】
なお、ステップS30において角速度ω0、角加速度α0および目標角速度ωtから予測値ωp,kを算出するためのモデルには、例えば入力を目標角速度ωt、状態を角速度ω0および角加速度α0として、事前に設定された状態空間モデルなどを用いることができる。その際、旋回時のバケット16c内の土砂量に応じた重量差による予測誤差を補償するために、掘削した土砂の重量を取得し、これを状態予測に使用してもよい。
【0052】
ステップS30で旋回角速度の予測値ωp,kを求めたら、映像データ符号化制御部6は、この予測値ωp,kの中に、閾値記憶部7に保存された角速度の閾値ωlimを超える値が含まれるか否かを判定する(ステップS40)。その結果、予測値ωp,kに閾値ωlimを超える値を含むと判定した場合(ステップS40:Yes)は、次のステップS50に処理を進め、含まないと判定した場合(ステップS40:No)は、次の制御周期まで待機した後にステップS30の処理を繰り返す。なお、ステップS40の判定処理で用いられる角速度の閾値ωlimは、図3(b)の旋回動作例で説明したように、非旋回時に設定される目標映像レートの初期値Ra1,Rb1,Rc1,Rd1で映像データの伝送を行うと、無線通信の品質が悪化することで通信不良の発生が予測される旋回時の角速度に相当する。
【0053】
ステップS40からステップS50に進んだ場合、映像データ符号化制御部6は、目標映像レートを旋回時の条件に該当すると判断する(ステップS50)。
【0054】
続いて、映像データ符号化制御部6は、各エンコード部の目標映像レートに対する動作パラメータを、ステップS20で設定された非旋回時の目標映像レートの値から、旋回時の目標映像レートの値に変更する(ステップS60)。ここでは、例えばエンコード部5a~5dに対する動作パラメータを、前述の目標映像レートの初期値Ra1,Rb1,Rc1,Rd1よりも低い目標映像レートの値Ra2,Rb2,Rc2,Rd2にそれぞれ変更する。この変更後の目標映像レートRa2,Rb2,Rc2,Rd2は、油圧ショベル1の旋回時にその角速度が閾値ωlimを超えた場合でも遠隔操作室30との間で通信不良が発生しないように、実験的にまたはシミュレーションによって事前に決定された定数である。
【0055】
なお、上記の変更後の目標映像レートRa2,Rb2,Rc2,Rd2は、前述の初期値Ra1,Rb1,Rc1,Rd1と同様に、解像度およびフレームレートより決定される。そのため、解像度とフレームレートの目標値をそれぞれ個別に設定することが可能な場合、例えば解像度の値をより低くすることで、非旋回時の目標映像レートRa1,Rb1,Rc1,Rd1よりも旋回時の目標映像レートRa2,Rb2,Rc2,Rd2を低い値としつつ、非旋回時と旋回時とでフレームレートを一定に維持したり、非旋回時のフレームレートよりも旋回時のフレームレートを高く設定したりすることも可能である。
【0056】
また、エンコード部5a~5dにおける圧縮符号化の条件変更の際には、前述のように、目標映像レートの切り替えに応じて、符号化映像データの伝送レートの変更がシームレスに行われる。これにより、遠隔操作室30においてモニタ33a~33dに表示される映像が途絶することなく、通信回線25を通過する映像圧縮データの合計量を、非旋回時の目標映像レートRa1,Rb1,Rc1,Rd1よりも減少させることができる。
【0057】
続くステップS70およびS80において、映像データ符号化制御部6は、回動測定器8での測定結果から得られる角速度ω0および角加速度α0に基づいて、ステップS60で設定した旋回時の目標映像レートRa2,Rb2,Rc2,Rd2から元の非旋回時の目標映像レートRa1,Rb1,Rc1,Rd1に復帰可能か否かの判断を行う。
【0058】
具体的には、映像データ符号化制御部6は、現在の角速度ω0が前述の閾値ωlim以下であるか否かを判定する(ステップS70)とともに、現在の角加速度α0が0以下であるか否かを判定する(ステップS80)。その結果、現在の角速度ω0が閾値ωlim以下であり(ステップS70:Yes)かつ、現在の角加速度α0が0以下である場合は(ステップS80:Yes)、非旋回時の条件を満たしたと判断してステップS10に戻る。これにより、目標映像レートを非旋回時の条件に該当すると判断して(ステップS10)、各エンコード部の目標映像レートのパラメータを前述の初期値Ra1,Rb1,Rc1,Rd1に再設定する(ステップS20)。なお、前述のように解像度とフレームレートの目標値をそれぞれ個別に設定可能な場合、非旋回時の目標映像レートRa1,Rb1,Rc1,Rd1に対応する解像度とフレームレートの組み合わせを、各エンコード部に対して設定しても良い。
【0059】
一方、現在の角速度ω0が閾値ωlimよりも大きいか(ステップS70:NO)、現在の角加速度α0が0より大きい場合は(ステップS80:No)、非旋回時の条件を満たさないと判断してステップS60に戻る。これにより、各エンコード部の目標映像レートのパラメータを、旋回時の目標映像レートRa2,Rb2,Rc2,Rd2に維持する。
【0060】
以上説明したように、本発明の第1の実施形態では、移動式作業機械の一例である油圧ショベル1の遠隔操作において、その制御信号を用いて目標映像レートを制御することで、非旋回時と旋回時とで符号化映像データの伝送レートを変更する。これにより、油圧ショベル1と無線基地局35の位置関係を使用せずに、旋回時の無線品質の低下による通信不良を抑制することが可能となる。また、非旋回時には無線機のビームフォーミングの性能によらず、旋回時よりも目標映像レートを高い値に設定することができる。
【0061】
以上説明した本発明の第1の実施形態によれば、以下の作用効果を奏する。
【0062】
(1)油圧ショベル1は、上部旋回体14および下部走行体13を有する車体と、上部旋回体14と下部走行体13が相対的に回動するための回動機構15と、回動機構15を駆動するアクチュエータ9と、上部旋回体14と下部走行体13との相対的な回動状態を測定する回動測定器8と、映像データを無線送信するネットワークインターフェース11と、映像作成装置2とを備える。映像作成装置2は、車体の周囲を撮影して得られた映像データを出力する映像データ出力部3と、映像データの圧縮および/または符号化を行う映像データ符号化部5と、回動測定器8により測定された回動状態に基づいて、映像データ符号化部5が映像データを圧縮および/または符号化する際の動作パラメータを変更する映像データ符号化制御部6と、を備え、ネットワークインターフェース11は、映像データ符号化部5により映像データを圧縮および/または符号化することで生成された符号化映像データを無線送信する通信装置として機能する。このようにしたので、遠隔操作可能な作業機械である油圧ショベル1において、旋回動作時に十分な映像画質を確保することができる。
【0063】
(2)映像データ符号化制御部6は、回動測定器8により測定された回動状態に基づいて、上部旋回体14と下部走行体13との相対的な回動速度を表す角速度ω0を算出し、この角速度ω0に基づいて動作パラメータを変更する。具体的には、油圧ショベル1は、通信装置として機能するネットワークインターフェース11を介して、外部より無線送信される回動機構15に対する操作信号を受信し、この操作信号に基づいてアクチュエータ9の動作を制御することで回動機構15を駆動させる操作信号処理部10を備える。映像データ符号化制御部6は、角速度ω0と、操作信号処理部10により受信された操作信号とに基づいて、未来の角速度ω0の予測値ωp,kを算出し(ステップS30)、この予測値ωp,kに基づいて動作パラメータを変更する(ステップS40~S60)。このようにしたので、未来の油圧ショベル1の回動状態に基づいて、映像データ符号化部5に対する旋回動作時の動作パラメータを適切に設定することができる。
【0064】
(3)油圧ショベル1において、映像作成装置2は、角速度ω0に対する閾値ωlimを記憶する閾値記憶部7を備える。映像データ符号化制御部6は、角速度ω0の予測値ωp,kが閾値ωlimを超えない場合は(ステップS40:No)、予め設定された第1の動作パラメータ(非旋回時の目標映像レートRa1,Rb1,Rc1,Rd1)を映像データ符号化部5に対して設定し(ステップS20)、角速度ω0の予測値ωp,kが閾値ωlimを超える場合は(ステップS40:Yes)、符号化映像データの伝送レートが第1の動作パラメータよりも低い第2の動作パラメータ(旋回時の目標映像レートRa2,Rb2,Rc2,Rd2)を、映像データ符号化部5に対して設定する(ステップS60)。このようにしたので、非旋回時と旋回時のそれぞれにおいて、映像データ符号化部5に対する動作パラメータを適切に設定することができる。
【0065】
<第2の実施形態>
本発明の第2の実施形態について以下に説明する。
【0066】
図5は、本発明の第2の実施形態に係る遠隔操作システムの全体構成を示す図である。図5に示す遠隔操作システム100Aは、第1の実施形態で説明した遠隔操作システム100と比べて、油圧ショベル1が照度センサ12をさらに備える点が異なっている。
【0067】
照度センサ12は、油圧ショベル1の車体周囲の外界情報として、車体周囲の照度を測定し、その測定結果を映像データ符号化部5へ出力する。映像データ符号化部5において、映像データ符号化制御部6は、照度センサ12から入力される車体周囲の照度の測定結果に基づいて、旋回時に映像データ符号化部5に対して設定する動作パラメータを変更する。
【0068】
図6は、本発明の第2の実施形態に係る目標映像レート設定処理の制御フローを示すフローチャートである。本実施形態の遠隔操作システム100Aにおいて、映像データ符号化制御部6は、図6のフローチャートに示す処理を所定の制御周期ごとに実行する。なお、第1の実施形態と同様に、カメラ3a~3eやエンコード部5a~5dは、図6の制御フローによらず、所定の周期で油圧ショベル1周囲の所定範囲における映像データをそれぞれ取得し、遠隔操作室30へ送信し続ける。エンコード部5a~5dは、この処理の実行中に映像データ符号化制御部6によって目標映像レートが変更され、それによって動作パラメータの設定が変更されると、これに応じて、遠隔操作室30へ送信する符号化映像データの伝送レートをシームレスに変化させる。
【0069】
図6の制御フローにおいて、ステップS10~S50では、第1の実施形態で説明した図4の制御フローと同様の処理をそれぞれ実施する。
【0070】
ステップS50で目標映像レートを旋回時の条件に該当すると判断した後、映像データ符号化制御部6は、ステップS30で算出した旋回角速度の予測値ωp,kの最大値ωp,maxを取得し、この旋回角速度の予測最大値ωp,maxに基づいて、旋回時の目標映像レートを決定する(ステップS51)。ここでは、例えば旋回角速度の予測最大値ωp,maxと閾値ωlimとの差分が大きくなるほど目標映像レートRの値が小さくなるように、旋回時の目標映像レートRを決定する。
【0071】
続いて、映像データ符号化制御部6は、ステップS51で決定した旋回時の目標映像レートRと、所定の制御周期ごとに照度センサ12から入力される車体周囲の照度の測定値とに基づいて、旋回時の目標解像度および目標フレームレートを決定する(ステップS52)。ここでは、例えば車体周囲の照度が高いほどフレームレートの方を優先し、反対に車体周囲の照度が低いほど解像度の方を優先しつつ、これらの積によって定まる映像レートが目標映像レートR以下となるように、旋回時の目標解像度および目標フレームレートを決定する。
【0072】
ステップS52で旋回時の目標解像度および目標フレームレートを決定したら、映像データ符号化制御部6は、これらの値に従い、第1の実施形態で説明した図4の制御フローと同様に、各エンコード部の目標映像レートに対する動作パラメータを、ステップS20で設定された非旋回時の目標映像レートの値から旋回時の目標映像レートの値に変更する(ステップS60)。具体的には、ステップS52で決定された目標解像度と目標フレームレートを変更後の動作パラメータとしてそれぞれ設定することで、これらによって定まる映像レートが旋回時の目標映像レートR以下となるように、エンコード部5a~5dに対する動作パラメータを設定する。
【0073】
図6の制御フローにおいて、ステップS60の処理実行後、ステップS70~S80では、第1の実施形態で説明した図4の制御フローと同様の処理をそれぞれ実施する。
【0074】
図7は、図6のステップS51における旋回時の目標映像レートRと、ステップS52における目標解像度および目標フレームレートの決定方法の説明図である。図7において、(a)に示すグラフは、旋回角速度の予測最大値ωp,maxと旋回時の目標映像レートRの関係の一例を示している。図7(a)に示すグラフでは、旋回角速度の予測値ωp,kが閾値ωlim以下である場合に相当する領域50と、旋回角速度の予測値ωp,kが閾値ωlimを超える場合に相当する領域51a,51bとが存在する。
【0075】
旋回角速度の予測値ωp,kが全て閾値ωlim以下の場合、図6の制御フローではステップS40の処理が否定判定され、ステップS50以降の処理が実施されない。そのため、この場合の目標映像レートRは、図7(a)の領域50に示すように、ステップS20で設定される初期値のまま一定であり変化しない。
【0076】
一方、旋回角速度の予測値ωp,kに閾値ωlimを超えるものがある場合、図6の制御フローではステップS40の処理が肯定判定され、ステップS50以降の処理が実施される。この場合の目標映像レートRは、図7(a)の領域51a,51bに示すように、旋回角速度の予測最大値ωp,maxの絶対値が大きくなるほど一定の割合で減少するように決定される。この領域51a,51bにおけるグラフの傾きは、例えば実験的にまたはシミュレーションによって事前に決定しておくことができる。なお、図7(a)のグラフでは、一方の旋回方向(例えば左回り)の旋回角速度を正の値とし、これとは反対の旋回方向(例えば右回り)の旋回角速度を負の値として、それぞれ表現している。
【0077】
図6のステップS51では、例えば図7(a)に示すグラフを参照することで、旋回角速度の予測最大値ωp,maxから旋回時の目標映像レートRを決定することができる。
【0078】
図7において、(b)に示すグラフは、旋回時の目標映像レートRと目標解像度の関係の一例を示している。図7(b)では、複数の車体周囲の照度について、旋回時の目標映像レートRと目標解像度の関係を表すグラフ52a~52cを示している。グラフ52a~52cにおいて、横軸は旋回時の目標映像レートRの値を表し、縦軸は映像の横ピクセル数Wと縦ピクセル数Hの積で定まる解像度の値を表している。
【0079】
グラフ52aは、車体周囲の照度が高い場合の旋回時の目標映像レートRと目標解像度の関係を示している。このグラフ52aでは、目標映像レートRの値に対して目標解像度が比較的低く抑えられている。すなわち、例えば晴れた昼間など、車体周囲の照度が比較的高い場合には、グラフ52aに従って目標映像レートRに対応する目標解像度を設定することで、解像度よりもフレームレートを優先するように、目標映像レートRに応じた目標解像度と目標フレームレートを設定することができる。
【0080】
グラフ52bは、車体周囲の照度が中程度の場合の旋回時の目標映像レートRと目標解像度の関係を示している。このグラフ52bでは、目標映像レートRの値に対して目標解像度がグラフ52aよりも高く設定されている。すなわち、例えば曇りや日陰など、車体周囲の照度があまり高くない場合には、グラフ52bに従って目標映像レートRに対応する目標解像度を設定することで、解像度とフレームレートのバランスを取るように、目標映像レートRに応じた目標解像度と目標フレームレートを設定することができる。
【0081】
グラフ52cは、車体周囲の照度が低い場合の旋回時の目標映像レートRと目標解像度の関係を示している。このグラフ52cでは、目標映像レートRの値に対して目標解像度がグラフ52bよりもさらに高く設定されている。すなわち、例えば雨や夜間など、車体周囲の照度が比較的低い場合には、グラフ52cに従って目標映像レートRに対応する目標解像度を設定することで、フレームレートよりも解像度を優先するように、目標映像レートRに応じた目標解像度と目標フレームレートを設定することができる。
【0082】
図6のステップS52では、例えば照度センサ12から入力される車体周囲の照度の測定値に基づいて、図7(b)に示すグラフ52a~52cのいずれかを選択してそのグラフを参照することで、旋回時の目標映像レートRと照度センサ12からの入力値に基づいて、目標解像度と目標フレームレートを決定することができる。
【0083】
以上説明したように、本発明の第2の実施形態では、第1の実施形態と同様に、移動式作業機械の一例である油圧ショベル1の遠隔操作において、その制御信号を用いて目標映像レートを制御することで、非旋回時と旋回時とで符号化映像データの伝送レートを変更する。これにより、油圧ショベル1と無線基地局35の位置関係を使用せずに、旋回時の無線品質の低下による通信不良を抑制することが可能となる。また、油圧ショベル1の周囲の外界情報を表す照度を取得し、この照度を用いて旋回中の解像度を制御することで、雨天や夜間など光量不足による視界不良の条件下でも、油圧ショベル1の遠隔操作に必要な映像データを伝送することができる。
【0084】
なお、以上説明した本発明の第2の実施形態では、油圧ショベル1の周囲の外界情報として、照度センサ12により車体周囲の照度を測定することとしたが、これ以外の情報を油圧ショベル1の周囲の外界情報として取得しても良い。例えば、雨滴センサや画像センサ等を照度センサの代わりに用いて、降雨状況や地面と他の部分との色合いの差異などを検知し、これらの情報を油圧ショベル1の周囲の外界情報として用いて、図6の制御フローにおけるステップS52の処理を実施しても良い。あるいは、外部のサーバ装置等から天候情報や日時情報などを外界情報として取得し、これらの情報に基づいて図6の制御フローにおけるステップS52の処理を実施しても良い。さらに、オペレータの指示に基づいて目標解像度と目標フレームレートのどちらをどの程度優先するかを決定しても良い。このようにしても、上記と同様に視界不良の条件下において、油圧ショベル1の遠隔操作に必要な映像データを伝送することができる。
【0085】
以上説明した本発明の第2の実施形態によれば、第1の実施形態で説明したものに加えて、さらに以下の作用効果を奏する。
【0086】
(4)油圧ショベル1は、車体の周囲の外界情報を測定する外界情報測定器(照度センサ12)を備える。旋回時に映像データ符号化部5に対して設定される第2の動作パラメータは、解像度とフレームレートを含む。映像データ符号化制御部6は、照度センサ12により測定された外界情報(照度)に基づいて、第2の動作パラメータにおける解像度とフレームレートの値をそれぞれ決定する(ステップS52)。このようにしたので、車体の周囲状況に応じて旋回時の解像度とフレームレートをそれぞれ適切な値に設定することができる。
【0087】
(5)車体の周囲の外界情報を測定するための外界情報測定器は、車体の周囲の照度を測定する照度センサ12を含む。このようにしたので、油圧ショベル1の遠隔操作において重要な視界条件を表す外界情報を測定することができる。
【0088】
以上、本発明の各実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の趣旨を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【0089】
1:油圧ショベル、2:映像作成装置、3:映像データ出力部、3a~3e:カメラ、4:映像データ編集部、5:映像データ符号化部、5a~5d:エンコード部、6:映像データ符号化制御部、7:閾値記憶部、8:回動測定器、9:アクチュエータ、10:操作信号処理部、11:ネットワークインターフェース、12:照度センサ、13:下部走行体、13a,13b:クローラ、14:上部旋回体、15:回動機構、16a:ブーム、16b:アーム、16c:バケット、18:キャブ、19a~19d:アンテナ、25:通信回線、30:遠隔操作室、31:ネットワークインターフェース、32:映像データ復号化部、32a~32d:デコード部、33:映像表示部、33a~33d:モニタ、34:遠隔操作用インターフェース
図1
図2
図3
図4
図5
図6
図7