知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023107567
(43)【公開日】2023-08-03
(54)【発明の名称】画像補正装置、画像補正方法、および遠隔操作システム
(51)【国際特許分類】
E02F 9/26 20060101AFI20230727BHJP
E02F 9/20 20060101ALI20230727BHJP
【ＦＩ】
E02F9/26 B
E02F9/20 H
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022008826
(22)【出願日】2022-01-24
(71)【出願人】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】松村 幸紀
【テーマコード（参考）】
2D003
2D015
【Ｆターム（参考）】
2D003BA04
2D003DA04
2D003DB00
2D003FA02
2D015HA03
2D015HB00
(57)【要約】
【課題】操作性の低下を抑える。
【解決手段】画像補正装置は、遠隔操作される作業機械が備える撮像装置が撮像した画像を取得する画像取得部と、前記作業機械の振動を示す振動情報を取得する振動情報取得部と、前記作業機械の旋回体が旋回中であることを検出する旋回検出部と、前記振動情報に基づいて前記画像のブレ補正を行うとともに、前記旋回中には前記画像のヨー軸方向についてブレ補正を無効とするブレ補正部とを備える。
【選択図】図３
【解決手段】画像補正装置は、遠隔操作される作業機械が備える撮像装置が撮像した画像を取得する画像取得部と、前記作業機械の振動を示す振動情報を取得する振動情報取得部と、前記作業機械の旋回体が旋回中であることを検出する旋回検出部と、前記振動情報に基づいて前記画像のブレ補正を行うとともに、前記旋回中には前記画像のヨー軸方向についてブレ補正を無効とするブレ補正部とを備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
遠隔操作される作業機械が備える撮像装置が撮像した画像を取得する画像取得部と
前記作業機械の振動を示す振動情報を取得する振動情報取得部と
前記作業機械の旋回体が旋回中であることを検出する旋回検出部と
前記振動情報に基づいて前記画像のブレ補正を行うとともに、前記旋回中には前記画像のヨー軸方向についてブレ補正を無効とするブレ補正部と
を備える画像補正装置。
前記作業機械の振動を示す振動情報を取得する振動情報取得部と
前記作業機械の旋回体が旋回中であることを検出する旋回検出部と
前記振動情報に基づいて前記画像のブレ補正を行うとともに、前記旋回中には前記画像のヨー軸方向についてブレ補正を無効とするブレ補正部と
を備える画像補正装置。
【請求項2】
前記ブレ補正部は、前記旋回中ではない場合に、ヨー軸方向のブレ補正を有効とする、
請求項１に記載の画像補正装置。
請求項１に記載の画像補正装置。
【請求項3】
前記作業機械の旋回速度を示す旋回速度情報を取得する速度情報取得部をさらに備え、
前記旋回検出部は、前記旋回速度情報に基づいて、前記旋回中であることを検出する
請求項１または２に記載の画像補正装置。
前記旋回検出部は、前記旋回速度情報に基づいて、前記旋回中であることを検出する
請求項１または２に記載の画像補正装置。
【請求項4】
前記旋回検出部は、前記旋回速度が閾値以上の場合に、前記旋回中であることを検出する、
請求項３に記載の画像補正装置。
請求項３に記載の画像補正装置。
【請求項5】
前記作業機械が備える操作部の旋回に係る操作量を取得する操作量取得部を備え、
前記旋回検出部は、前記操作量に基づいて、前記旋回中であることを検出する
請求項１または２に記載の画像補正装置。
前記旋回検出部は、前記操作量に基づいて、前記旋回中であることを検出する
請求項１または２に記載の画像補正装置。
【請求項6】
遠隔操作される作業機械が備える撮像装置が撮像した画像を取得する画像取得部と
前記作業機械の振動を示す振動情報を取得する振動情報取得部と
前記振動情報に基づいて前記画像のヨー軸方向についてブレ補正を無効とするブレ補正部と
を備える画像補正装置。
前記作業機械の振動を示す振動情報を取得する振動情報取得部と
前記振動情報に基づいて前記画像のヨー軸方向についてブレ補正を無効とするブレ補正部と
を備える画像補正装置。
【請求項7】
遠隔操作される作業機械が備える撮像装置が撮像した画像を取得するステップと
前記作業機械の振動を示す振動情報を取得するステップと
前記作業機械の旋回体が旋回中であることを検出するステップと
前記振動情報に基づいて前記画像のブレ補正を行うとともに、前記旋回中には前記画像のヨー軸方向についてブレ補正を無効とするステップと
を実行する画像補正方法。
前記作業機械の振動を示す振動情報を取得するステップと
前記作業機械の旋回体が旋回中であることを検出するステップと
前記振動情報に基づいて前記画像のブレ補正を行うとともに、前記旋回中には前記画像のヨー軸方向についてブレ補正を無効とするステップと
を実行する画像補正方法。
【請求項8】
遠隔操作される作業機械が備える撮像装置が撮像した画像を取得する画像取得部と
前記作業機械の振動を示す振動情報を取得する振動情報取得部と
前記作業機械の旋回体が旋回中であることを検出する旋回検出部と
前記振動情報に基づいて前記画像のブレ補正を行うとともに、前記旋回中には前記画像のヨー軸方向についてブレ補正を無効とするブレ補正部と
を備える遠隔操作システム。
前記作業機械の振動を示す振動情報を取得する振動情報取得部と
前記作業機械の旋回体が旋回中であることを検出する旋回検出部と
前記振動情報に基づいて前記画像のブレ補正を行うとともに、前記旋回中には前記画像のヨー軸方向についてブレ補正を無効とするブレ補正部と
を備える遠隔操作システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像補正装置、画像補正方法、および遠隔操作システムに関する。
【背景技術】
【0002】
特許文献１に開示されているように、作業機械を遠隔操作する技術が知られている。特許文献１によれば、作業具（バケット）の位置の情報と、作業対象までの距離の情報から得られた作業対象の位置の情報とを用いて、作業具に対応する部分の画像を生成して表示させる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１６－１６０７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
遠隔操作においては操作室のオペレータが画像を見て操作を行うが、車体に固定されたカメラが振動することで画像が揺れ、オペレータの酔いを引き起こす可能性があるため、画像のブレ補正が行うことが考えられる。しかし、その場合は、ブレ補正を行うことで、本来動いて見えるはずの画像が、その場に留まって見えるように表示されてしまうことがある。これにより、オペレータの操作性が低下してしまうことがある。
本開示は、操作性の低下を抑えることができる画像補正装置、画像補正方法、および遠隔操作システムを提供することを目的とする。
本開示は、操作性の低下を抑えることができる画像補正装置、画像補正方法、および遠隔操作システムを提供することを目的とする。
【課題を解決するための手段】
【0005】
本開示の第１の態様によれば、画像補正装置は、遠隔操作される作業機械が備える撮像装置が撮像した画像を取得する画像取得部と、前記作業機械の振動を示す振動情報を取得する振動情報取得部と、前記作業機械の旋回体が旋回中であることを検出する旋回検出部と、前記振動情報に基づいて前記画像のブレ補正を行うとともに、前記旋回中には前記画像のヨー軸方向についてブレ補正を無効とするブレ補正部とを備える。
【発明の効果】
【0006】
上記態様によれば、画像補正装置は、操作性の低下を抑えることができる。
【図面の簡単な説明】
【0007】
【図1】第１の実施形態に係る遠隔操作システムの構成を示す概略図である。
【図2】第１の実施形態に係る作業機械の外観図である。
【図3】第１の実施形態に係る遠隔システムの構成を示す概略ブロック図である。
【図4】第１の実施形態に係る遠隔操作装置が行う表示制御方法を示すフローチャートである。
【図5】第２の実施形態に係る遠隔システムの構成を示す概略ブロック図である。
【図6】第２の実施形態に係る遠隔操作装置が行う表示制御方法を示すフローチャートである。
【図7】第４の実施形態に係る遠隔システムの構成を示す概略ブロック図である。
【図8】第４の実施形態に係る作業機械が行う撮像画像の出力方法を示すフローチャートである。
【図9】第５の実施形態に係る遠隔システムの構成を示す概略ブロック図である。
【図10】第５の実施形態に係る作業機械が行う撮像画像の出力方法を示すフローチャートである。
【発明を実施するための形態】
【0008】
〈第１の実施形態〉
《システム》
図１は、第１の実施形態に係る遠隔操作システムの構成を示す概略図である。
遠隔操作システム１は、遠隔操作によって動作する作業機械１００と、遠隔操作装置５００とを備える。作業機械１００は、作業現場（例えば、鉱山、採石場）に設けられる。遠隔操作装置５００は、作業現場または作業現場から離れた地点（例えば、市街、作業現場内）の遠隔操作室に設けられる。作業機械１００と遠隔操作装置５００とは、インターネットなどのネットワークを介して接続される。
遠隔操作システム１は、遠隔操作装置５００を用いて作業機械１００を操作するためのシステムである。
《システム》
図１は、第１の実施形態に係る遠隔操作システムの構成を示す概略図である。
遠隔操作システム１は、遠隔操作によって動作する作業機械１００と、遠隔操作装置５００とを備える。作業機械１００は、作業現場（例えば、鉱山、採石場）に設けられる。遠隔操作装置５００は、作業現場または作業現場から離れた地点（例えば、市街、作業現場内）の遠隔操作室に設けられる。作業機械１００と遠隔操作装置５００とは、インターネットなどのネットワークを介して接続される。
遠隔操作システム１は、遠隔操作装置５００を用いて作業機械１００を操作するためのシステムである。
【0009】
作業機械１００は、遠隔操作装置５００から受信する操作信号に従って動作する。
遠隔操作室の操作装置５３０のレバーやペダルがオペレータによって操作されることにより、作業機、旋回、走行操作などの操作信号が生成される。生成された操作信号は、作業機械１００に送信される。
遠隔操作室の操作装置５３０のレバーやペダルがオペレータによって操作されることにより、作業機、旋回、走行操作などの操作信号が生成される。生成された操作信号は、作業機械１００に送信される。
【0010】
《作業機械》
図２は、第１の実施形態に係る作業機械の外観図である。
第１の実施形態に係る作業機械１００は、油圧ショベルである。なお、作業機械１００は、油圧ショベル以外の例えばホイールローダ、ブルドーザ等の作業機械であってもよい。作業機械１００は、油圧により作動する作業機１１０と、作業機１１０を支持する旋回体１２０と、旋回体１２０を支持する走行体１３０とを備える。走行体１３０は、例えば、履帯である。
図２は、第１の実施形態に係る作業機械の外観図である。
第１の実施形態に係る作業機械１００は、油圧ショベルである。なお、作業機械１００は、油圧ショベル以外の例えばホイールローダ、ブルドーザ等の作業機械であってもよい。作業機械１００は、油圧により作動する作業機１１０と、作業機１１０を支持する旋回体１２０と、旋回体１２０を支持する走行体１３０とを備える。走行体１３０は、例えば、履帯である。
【0011】
旋回体１２０には、運転室１２１が備えられる。運転室１２１の上部には、撮像装置１２２が設けられる。撮像装置１２２は、運転室１２１内の前方かつ上方に設置される。撮像装置１２２は、運転室１２１前面のフロントガラスを通して、運転室１２１の前方の画像（例えば、動画像）を撮像する。撮像装置１２２の例としては、例えばＣＣＤ（Charge Coupled Device）センサ、およびＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを用いた撮像装置が挙げられる。なお、撮像装置１２２は、必ずしも運転室１２１に設けられなくてもよく、撮像装置１２２は少なくとも旋回体１２０の作業対象と作業機１１０とを撮像可能な位置に設けられていればよい。例えば、撮像装置１２２は、運転室１２１の外に設けられていてもよく、例えば、旋回体に設けられていてもよい。また、撮像装置１２２は、作業機械１００の外に設けられていてもよく、すなわち、作業機械１００とは別の場所に設けられていてもよい。
【0012】
作業機械１００は、撮像装置１２２、旋回速度センサ１２３、振動センサ１２４、制御装置１２５を備える。
【0013】
旋回速度センサ１２３は、旋回体１２０が旋回する際の回転速度を検出する。例えば、旋回速度センサ１２３はロータリエンコーダであってよい。
振動センサ１２４は、旋回体１２０の加速度および角速度を計測し、計測結果に基づいて旋回体１２０の動作（例えば、ロール角、ピッチ角、ヨー角）を示す振動情報を検出する。振動センサ１２４は、撮像装置１２２との相対的な位置関係が固定されているものとする。振動センサ１２４は、例えば運転室１２１の下面に設置される。振動センサ１２４は、例えば、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を用いることができる。ロール角は、旋回体の前後方向の軸周りの角度を示す。ピッチ角は、旋回体の左右方向の軸周りの角度を示す。ヨー角は、旋回体の上下方向の軸周りの角度を示す。なお、振動情報は、ロール角、ピッチ角、ヨー角などを用いずに、ＩＭＵの加速度や角速度から求めることも可能である。また、振動センサ１２４は、旋回体１２０以外（例えば、作業機１１０など）に配置されていてもよい。
振動センサ１２４は、旋回体１２０の加速度および角速度を計測し、計測結果に基づいて旋回体１２０の動作（例えば、ロール角、ピッチ角、ヨー角）を示す振動情報を検出する。振動センサ１２４は、撮像装置１２２との相対的な位置関係が固定されているものとする。振動センサ１２４は、例えば運転室１２１の下面に設置される。振動センサ１２４は、例えば、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を用いることができる。ロール角は、旋回体の前後方向の軸周りの角度を示す。ピッチ角は、旋回体の左右方向の軸周りの角度を示す。ヨー角は、旋回体の上下方向の軸周りの角度を示す。なお、振動情報は、ロール角、ピッチ角、ヨー角などを用いずに、ＩＭＵの加速度や角速度から求めることも可能である。また、振動センサ１２４は、旋回体１２０以外（例えば、作業機１１０など）に配置されていてもよい。
【0014】
制御装置１２５は、通信部１２６（図３参照）を介して、遠隔操作装置５００から操作信号を受信する。制御装置１２５は、受信した操作信号に従って、作業機１１０、旋回体１２０、または走行体１３０を駆動させる。
【0015】
《遠隔操作装置》
遠隔操作装置５００は、図１に示すように、運転席５１０、表示装置５２０、操作装置５３０、制御装置５４０を備える。
表示装置５２０は、運転席５１０の前方に配置される。表示装置５２０は、オペレータが運転席５１０に座ったときにオペレータの眼前に位置する。表示装置５２０は、図１に示すように、並べられたディスプレイ５２１、ディスプレイ５２２、ディスプレイ５２３、ディスプレイ５２４、ディスプレイ５２５によって構成される。なお、表示装置５２０を構成するディスプレイの数はこれに限られない。例えば、表示装置５２０は、図１に示すように、並べられた複数のディスプレイによって構成されてもよいし、１つの大きなディスプレイによって構成されてもよい。また、表示装置５２０は、プロジェクタ等によって曲面や球面に画像を投影するものであってもよい。
遠隔操作装置５００は、図１に示すように、運転席５１０、表示装置５２０、操作装置５３０、制御装置５４０を備える。
表示装置５２０は、運転席５１０の前方に配置される。表示装置５２０は、オペレータが運転席５１０に座ったときにオペレータの眼前に位置する。表示装置５２０は、図１に示すように、並べられたディスプレイ５２１、ディスプレイ５２２、ディスプレイ５２３、ディスプレイ５２４、ディスプレイ５２５によって構成される。なお、表示装置５２０を構成するディスプレイの数はこれに限られない。例えば、表示装置５２０は、図１に示すように、並べられた複数のディスプレイによって構成されてもよいし、１つの大きなディスプレイによって構成されてもよい。また、表示装置５２０は、プロジェクタ等によって曲面や球面に画像を投影するものであってもよい。
【0016】
操作装置５３０は、運転席５１０の近傍に配置される。操作装置５３０は、オペレータが運転席５１０に座ったときにオペレータの操作可能な範囲内に位置する。操作装置５３０は、旋回体１２０を旋回させるための旋回レバーを含む。操作装置５３０は、例えば電気式レバーおよび電気式ペダルを備える。
【0017】
制御装置５４０は、画像補正装置の一例である。制御装置５４０は、作業機械１００から受信した画像を表示装置５２０に表示させ、操作装置５３０の操作を表す操作信号を作業機械１００に送信する。
【0018】
図３は、第１の実施形態に係る遠隔システムの構成を示す概略ブロック図である。
作業機械１００の制御装置１２５は、プロセッサ１２５０、メインメモリ１２５７、ストレージ１２５８、画像符号化装置１２５９を備えるコンピュータである。ストレージ１２５８は、プログラムＱを記憶する。プロセッサ１２５０は、プログラムＱをストレージ１２５８から読み出してメインメモリ１２５７に展開し、プログラムＱに従った処理を実行する。制御装置１２５は、通信部１２６を介してネットワークに接続される。画像符号化装置１２５９は、撮像装置１２２が撮像した画像を符号化（圧縮）する。なお、画像符号化装置１２５９は、制御装置１２５と別個に設けられたものであってもよい。
作業機械１００の制御装置１２５は、プロセッサ１２５０、メインメモリ１２５７、ストレージ１２５８、画像符号化装置１２５９を備えるコンピュータである。ストレージ１２５８は、プログラムＱを記憶する。プロセッサ１２５０は、プログラムＱをストレージ１２５８から読み出してメインメモリ１２５７に展開し、プログラムＱに従った処理を実行する。制御装置１２５は、通信部１２６を介してネットワークに接続される。画像符号化装置１２５９は、撮像装置１２２が撮像した画像を符号化（圧縮）する。なお、画像符号化装置１２５９は、制御装置１２５と別個に設けられたものであってもよい。
【0019】
制御装置１２５は、符号化された画像情報と、旋回速度センサ１２３が検出した旋回体１２０の旋回速度情報と、振動センサ１２４が計測した振動情報とを関連付ける。これにより、各情報は、同期される。制御装置１２５は、関連付けた情報を遠隔操作装置５００に送信する。
【0020】
遠隔操作装置５００の制御装置５４０は、プロセッサ５１００、メインメモリ５２００、ストレージ５３００、画像復号装置５４００、受信部５５００を備えるコンピュータである。ストレージ５３００は、プログラムＰを記憶する。プロセッサ５１００は、プログラムＰをストレージ５３００から読み出してメインメモリ５２００に展開し、プログラムＰに従った処理を実行する。制御装置５４０は、通信部５５０を介してネットワークに接続される。受信部５５００は、通信部５５０を介して、それぞれ関連付けられている、画像情報と、旋回速度情報と、振動情報とを受信する。画像復号装置５４００は、符号化された画像を復号する。なお、画像復号装置５４００は、制御装置５４０と別個に設けられたものであってもよい。
【0021】
ストレージ５３００は、記憶領域を有する。ストレージ５３００の例としては、ＨＤＤ、ＳＳＤ、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等が挙げられる。ストレージ５３００は、制御装置５４０の共通通信線に直接接続された内部メディアであってもよいし、インタフェースを介して制御装置５４０に接続される外部メディアであってもよい。ストレージ５３００は、一時的でない有形の記憶媒体である。
【0022】
プロセッサ５１００は、プログラムＰの実行により、画像取得部５１０１、振動情報取得部５１０２、ブレ補正部５１０３、速度情報取得部５１０４、旋回検出部５１０５、および表示制御部５１０６を備える。
【0023】
画像取得部５１０１は、画像復号装置５４００によって復号された画像を取得する。なお、画像取得部５１０１が取得する画像は、作業機械１００の撮像装置１２２が取得し、制御装置１２５で符号化され、画像復号装置５４００で復号された画像である。
【0024】
表示制御部５１０６は、画像取得部５１０１によって取得された画像を表示装置５２０に表示させる。
【0025】
振動情報取得部５１０２は、作業機械１００の振動情報を取得する。振動情報は、振動センサ１２４によって検出される。
【0026】
ブレ補正部５１０３は、遠隔操作に伴うオペレータの酔いを防止するために、表示装置５２０に表示される画像のブレ補正を行う。具体的には、ブレ補正部５１０３は、振動情報取得部５１０２によって取得された振動情報に応じて、画像取得部５１０１が受信した画像のブレ補正を行う。ブレ補正部５１０３は、ロール軸方向、ピッチ軸方向、ヨー軸方向のそれぞれについて、ブレ補正を行う。ここで、振動情報に基づくブレ補正について詳述する。例えば、ブレ補正部５１０３は、高速フレームレートでの連続撮影することによって得られた複数の撮像画像のそれぞれ（毎フレーム）に対して、水平移動及び回転を加えることで、補正を行う。
【0027】
具体的には、ブレ補正部５１０３は、予めヨー角とＸ軸方向のシフト量との関係を示す関数にヨー角を代入することで、ヨー軸方向のブレを補正する。なお、X軸方向とは、撮像画像が表示される画面の水平方向であり、撮像画像のブレ方向のひとつである。ヨー角とＸ軸方向のシフト量との関係を示す関数は、例えば正接関数で表されてよい。また、ブレ補正部５１０３は、予めピッチ角とＹ軸方向のシフト量との関係を示す関数にピッチ角を代入することで、ピッチ軸方向のブレを補正する。なお、Y軸方向とは、撮像画像が表示される画面の上下方向であり、撮像画像の他のブレ方向のひとつである。ピッチ角とＹ軸方向のシフト量との関係を示す関数は、例えば正接関数で表されてよい。ブレ補正部５１０３は、撮像画像を算出した補正量だけＸ軸方向およびＹ軸方向にシフトさせる。そして、ブレ補正部５１０３は、予めロール角とＸ軸方向のシフト量との関係を示す関数及び、ロール角とＹ軸方向のシフト量との関係を示す関数にロール角を代入することで、ロール軸方向のブレを補正する。ブレ補正部５１３０は、３軸のブレ補正を行う。なお、ブレ補正部５１３０は、ヨー角、ピッチ角、ロール角のうち、いずれかひとつ、あるいは、それらの組み合わせによるブレ補正を行ってもよい。例えば、ブレ補正部５１３０は、ヨー角のブレ補正のみのブレ補正を行ってもよいし、好ましくは、ピッチ角とヨー角のブレ補正を行うことがよい。
【0028】
速度情報取得部５１０４は、作業機械１００の旋回速度を示す旋回速度情報を取得する。速度情報取得部５１０４は、旋回速度センサ１２３の検出結果に基づいて、旋回速度情報を取得する。
【0029】
旋回検出部５１０５は、作業機械１００が旋回中であることを検出する。旋回検出部５１０５は、速度情報取得部５１０４によって取得された旋回速度情報に基づいて、旋回中であることを検出する。例えば、掘削など旋回操作を伴わない作業機による作業によって旋回速度情報が取得された場合には、旋回中であるとみなさないようにするため、旋回検出部５１０５は、旋回速度が閾値未満の場合に、旋回中であることを検出しないようにすることが好ましい。また、積込など作業機の操作と旋回の操作とが同時に操作される複合操作などの場合において、旋回速度が低速となるように操作する場合がある。このような場合には、操作性の低下を抑制するために、旋回中であることを検出しないようにすることが好ましい。このため、旋回検出部５１０５は、旋回速度が予め設定される閾値以上の場合に、旋回中であることを検出する。また、旋回検出部５１０５は、レバー操作量が所定の操作量以上の時に旋回速度が閾値以上であるとみなして、旋回中であることを検出してもよい。
【0030】
ブレ補正部５１０３は、掘削等の作業機の操作や走行時や、旋回とはみなされない複合操作など、旋回以外の操作においては、３軸のブレ補正を行う。一方で、ブレ補正部５１０３は、作業機械１００の旋回中に、画像取得部５１０１が受信した画像のヨー軸方向についてブレ補正を無効とする。ヨー軸方向についてブレ補正を無効とするとは、例えば、ヨー軸方向について、ブレ補正を行わない（実行しない）ことや、ブレ補正を禁止することや、ブレ補正を無効化することを含む。本実施形態において、ブレ補正部５１０３は、ヨー角としてゼロを代入することで、ヨー軸方向のブレ補正がなされないようにすることができる。
【0031】
ブレ補正部５１０３は、作業機械１００の旋回中ではない場合に、ヨー軸方向のブレ補正を有効とする。ヨー軸方向のブレ補正を有効とするとは、例えば、ヨー軸方向について、ブレ補正を行う（実行する）ことや、ブレ補正の禁止を行わないことや、ブレ補正の無効化を行わないことを含む。ブレ補正部５１０３は、作業機の操作と旋回の操作が同時に操作される複合操作など、作業機の操作が含まれる場合には、ヨー軸のブレ補正を有効とし、ヨー軸のブレ補正を含むように実行するようにしてもよい。
【0032】
《方法》
ここで、第１の実施形態に係る遠隔操作装置５００が行う撮像画像の表示制御方法について説明する。
図４は、第１の実施形態に係る遠隔操作装置が行う表示制御方法を示すフローチャートである。
制御装置５４０は、制御装置５４０の画像取得部５１０１は、画像情報を取得する（ステップＳ１）。そして、振動情報取得部５１０２は、振動情報を取得する（ステップＳ２）。次に、速度情報取得部５１０４は、作業機械１００の旋回速度を示す旋回速度情報を取得する（ステップＳ３）。なお、ステップＳ１～ステップＳ３において取得される各情報は、関連付けられている。
ここで、第１の実施形態に係る遠隔操作装置５００が行う撮像画像の表示制御方法について説明する。
図４は、第１の実施形態に係る遠隔操作装置が行う表示制御方法を示すフローチャートである。
制御装置５４０は、制御装置５４０の画像取得部５１０１は、画像情報を取得する（ステップＳ１）。そして、振動情報取得部５１０２は、振動情報を取得する（ステップＳ２）。次に、速度情報取得部５１０４は、作業機械１００の旋回速度を示す旋回速度情報を取得する（ステップＳ３）。なお、ステップＳ１～ステップＳ３において取得される各情報は、関連付けられている。
【0033】
そして、旋回検出部５１０５は、旋回速度情報が示す旋回速度が閾値以上であるか否かを判断する（ステップＳ４）。旋回速度が閾値以上ではない場合（ステップＳ４：ＮＯ）、ブレ補正部５１０３は、３軸のブレ補正を行い（ステップＳ５）、ステップＳ７に進む。
【0034】
一方、旋回速度が閾値以上である場合（ステップＳ４：ＹＥＳ）、ブレ補正部５１０３は、ピッチ軸方向、ロール軸方向の２軸のブレ補正を行う（ステップＳ６）。そして、表示制御部５１０６は、ブレ補正が行われた画像を表示装置５２０に表示し（ステップＳ７）、図４に示す処理を終了する。
【0035】
《作用・効果》
このように、第１の実施形態によれば、作業機械１００の振動情報に基づいて、撮像装置１２２が撮像した画像のブレ補正を行う制御装置５４０が、作業機械１００の旋回中には、当該画像のヨー軸方向についてブレ補正を無効とし、ブレ補正を行わないようにする。これにより、旋回時に本来動いて見えるはずの画像が、その場に留まって見えるように表示されることを抑えることができる。したがって、旋回時におけるオペレータの違和感を抑えることができ、オペレータの操作性が低下することを抑えることができる。また、旋回中ではない場合には、３軸方向についてブレ補正をおこなうため、作業機械１００の振動によるブレを除去することができる。したがって、掘削や排土など旋回を伴わない作業時におけるオペレータの酔いを抑制することができる。
このように、第１の実施形態によれば、作業機械１００の振動情報に基づいて、撮像装置１２２が撮像した画像のブレ補正を行う制御装置５４０が、作業機械１００の旋回中には、当該画像のヨー軸方向についてブレ補正を無効とし、ブレ補正を行わないようにする。これにより、旋回時に本来動いて見えるはずの画像が、その場に留まって見えるように表示されることを抑えることができる。したがって、旋回時におけるオペレータの違和感を抑えることができ、オペレータの操作性が低下することを抑えることができる。また、旋回中ではない場合には、３軸方向についてブレ補正をおこなうため、作業機械１００の振動によるブレを除去することができる。したがって、掘削や排土など旋回を伴わない作業時におけるオペレータの酔いを抑制することができる。
【0036】
また、第１の実施形態によれば、制御装置５４０は、旋回中ではない場合に、ヨー軸方向のブレ補正を有効とする。これにより、旋回中ではない場合には、３軸方向についてブレ補正をおこなうことができるため、作業機械１００の振動によるブレを除去することができる。したがって、掘削や排土など旋回を伴わない作業時におけるオペレータの酔いを抑制することができる。
【0037】
また、第１の実施形態によれば、制御装置５４０は、作業機械１００の旋回速度を示す旋回速度情報に基づいて、旋回中であることを検出する。これにより、作業機械１００が旋回中であるか否かを簡単かつ正確に検出することができる。
【0038】
また、第１の実施形態によれば、制御装置５４０は、旋回速度が閾値以上の場合に、旋回中であることを検出する。これにより、掘削などの旋回操作を伴わない作業によって旋回速度情報が取得された場合や、積込など作業機の操作と旋回の操作が同時に操作される複合操作などの場合において、旋回速度が低速となるように操作する場合がある。このような場合には、旋回中であるとみなさないようにすることができるため、ヨー軸方向についてもブレ補正を行うことができる。したがって、掘削や積込などの作業時の酔いを抑制することができる。
【0039】
〈第２の実施形態〉
第１の実施形態では、旋回検出部５１０５が、旋回速度情報を用いて、旋回中であることを検出する。第２の実施形態では、このような構成に加えて又は代えて、旋回検出部５１０５が、操作装置５３０の旋回に係る操作量を用いて、旋回中であることを検出することについて説明する。
第１の実施形態では、旋回検出部５１０５が、旋回速度情報を用いて、旋回中であることを検出する。第２の実施形態では、このような構成に加えて又は代えて、旋回検出部５１０５が、操作装置５３０の旋回に係る操作量を用いて、旋回中であることを検出することについて説明する。
【0040】
図５は、第２の実施形態に係る遠隔システムの構成を示す概略ブロック図である。
第２の実施形態に係る作業機械１００は、第１の実施形態の構成のうち旋回速度センサ１２３を備えない。また、制御装置５４０は、第１の実施形態の構成のうち速度情報取得部５１０４を備えない。
操作装置５３０が備えるレバーは、オペレータから旋回操作を受け付ける。当該レバーは、旋回操作を受け付けると、受け付けた旋回操作が示す旋回の操作量を制御装置５４０に出力する。
第２の実施形態に係る作業機械１００は、第１の実施形態の構成のうち旋回速度センサ１２３を備えない。また、制御装置５４０は、第１の実施形態の構成のうち速度情報取得部５１０４を備えない。
操作装置５３０が備えるレバーは、オペレータから旋回操作を受け付ける。当該レバーは、旋回操作を受け付けると、受け付けた旋回操作が示す旋回の操作量を制御装置５４０に出力する。
【0041】
制御装置５４０は、操作量取得部５１１０を備える。操作量取得部５１１０は、操作装置５３０から出力された旋回の操作量を取得する。旋回検出部５１０５は、操作量取得部５１１０によって取得された操作量に基づいて、旋回中であることを検出する。例えば、掘削や積込などにおける旋回操作（微操作）によって操作量が取得された場合には、旋回中であると見なさいようにするため、旋回検出部５１０５は、操作量が閾値未満の場合に、旋回中であることを検出しないようにする。言い換えれば、旋回検出部５１０５は、操作量が閾値以上の場合に、旋回中であることを検出する。
【0042】
なお、制御装置５４０は、操作量取得部５１１０が取得した操作量を、通信部５５０を介して作業機械１００へ送信する。遠隔操作装置５００から送信された操作量は、通信部１２６を介して制御装置１２５に入力される。これにより、制御装置１２５は、入力された操作量に応じた角度で旋回体１２０を旋回させる。
【0043】
なお、操作量取得部５１１０は、操作装置５３０から出力された操作量を取得することに限らず、作業機械１００が実際に旋回した際の旋回角度を取得するようにしてもよい。具体的に補足すると、作業機械１００は、撮像装置１２２によって撮像された画像や、振動センサ１２４の検出結果や、実際に旋回した際の旋回角度を関連付けた情報を遠隔操作装置５００へ送信すればよい。操作量取得部５１１０は、この関連付けられた情報の中から旋回角度を抽出して取得するようにしてもよい。
【0044】
《方法》
ここで、第２の実施形態に係る遠隔操作装置５００が行う撮像画像の表示制御方法について説明する。
図６は、第２の実施形態に係る遠隔操作装置が行う表示制御方法を示すフローチャートである。
制御装置５４０の画像取得部５１０１は、画像情報を取得する（ステップＳ１１）。そして、振動情報取得部５１０２は、振動情報を取得する（ステップＳ１２）。次に、操作量取得部５１１０は、旋回の操作量を取得する（ステップＳ１３）。なお、ステップＳ１１～ステップＳ１３において取得される各情報は、関連付けられている。
ここで、第２の実施形態に係る遠隔操作装置５００が行う撮像画像の表示制御方法について説明する。
図６は、第２の実施形態に係る遠隔操作装置が行う表示制御方法を示すフローチャートである。
制御装置５４０の画像取得部５１０１は、画像情報を取得する（ステップＳ１１）。そして、振動情報取得部５１０２は、振動情報を取得する（ステップＳ１２）。次に、操作量取得部５１１０は、旋回の操作量を取得する（ステップＳ１３）。なお、ステップＳ１１～ステップＳ１３において取得される各情報は、関連付けられている。
【0045】
そして、旋回検出部５１０５は、操作量が閾値以上であるか否かを判断する（ステップＳ１４）。旋回の操作量が閾値以上ではない場合（ステップＳ１４：ＮＯ）、ブレ補正部５１０３は、３軸のブレ補正を行い（ステップＳ１５）、ステップＳ１７に進む。
【0046】
一方、旋回の操作量が閾値以上である場合（ステップＳ１４：ＹＥＳ）、ブレ補正部５１０３は、ヨー軸のブレ補正を禁止し、ピッチ軸、ロール軸の２軸のブレ補正を行う（ステップＳ１６）。次に、表示制御部５１０６は、ブレ補正が行われた画像を表示装置５２０に表示し（ステップＳ１７）、図６に示す処理を終了する。
【0047】
なお、第２の実施形態において、旋回速度が閾値以上である場合に、２軸のブレ補正を行うようにしてもよい。具体的に補足すると、第２の実施形態において、作業機械１００は、旋回速度センサ１２３を備えればよい。また、制御装置５４０は、速度情報取得部５１０４を備えればよい。そして、ステップＳ１４において、旋回の操作量が閾値以上ではない場合に、速度情報取得部５１０４が作業機械１００の旋回速度が閾値以上であるか否かを判断すればよい。さらに、旋回速度が閾値以上である場合に、ブレ補正部５１０３は、２軸のブレ補正を行うようにすればよい。
【0048】
《作用・効果》
このように、第２の実施形態によれば、制御装置５４０は、旋回の操作量に基づいて、旋回中であることを検出する。これにより、旋回時におけるオペレータの違和感を抑えることができるため、オペレータの操作性が低下することを抑えることができる。また、作業機械１００が旋回中であるか否かを簡単かつ正確に検出することができる。
このように、第２の実施形態によれば、制御装置５４０は、旋回の操作量に基づいて、旋回中であることを検出する。これにより、旋回時におけるオペレータの違和感を抑えることができるため、オペレータの操作性が低下することを抑えることができる。また、作業機械１００が旋回中であるか否かを簡単かつ正確に検出することができる。
【0049】
〈第３の実施形態〉
第１の実施形態では、旋回体１２０が旋回中である場合に、ヨー軸方向についてブレ補正を行わない。第３の実施形態では、旋回体１２０が旋回中であるか否かにかかわらず、ヨー軸方向についてブレ補正を行わない遠隔操作装置５００について説明する。
第１の実施形態では、旋回体１２０が旋回中である場合に、ヨー軸方向についてブレ補正を行わない。第３の実施形態では、旋回体１２０が旋回中であるか否かにかかわらず、ヨー軸方向についてブレ補正を行わない遠隔操作装置５００について説明する。
【0050】
第３の実施形態において、作業機械１００は、第１の実施形態の構成のうち旋回速度センサ１２３を備えない。また、制御装置５４０は、第１の実施形態の構成のうち速度情報取得部５１０４、および旋回検出部５１０５を備えない。ブレ補正部５１０３は、振動情報取得部５１０２によって取得された振動情報に応じて、画像取得部５１０１が受信した画像のロール軸方向およびピッチ軸方向についてブレ補正を行う。一方で、ブレ補正部５１０３は、当該画像のヨー軸方向について常時、ブレ補正を行わない。
【0051】
《方法》
ここで、第３の実施形態に係る遠隔操作装置５００が行う撮像画像の表示制御方法について説明する。
制御装置５４０の画像取得部５１０１は、画像情報を取得する。そして、振動情報取得部５１０２は、振動情報を取得する。次に、ブレ補正部５１０３は、２軸のブレ補正を行う。次に、表示制御部５１０６は、ブレ補正が行われた画像を表示装置５２０に表示し、処理を終了する。
ここで、第３の実施形態に係る遠隔操作装置５００が行う撮像画像の表示制御方法について説明する。
制御装置５４０の画像取得部５１０１は、画像情報を取得する。そして、振動情報取得部５１０２は、振動情報を取得する。次に、ブレ補正部５１０３は、２軸のブレ補正を行う。次に、表示制御部５１０６は、ブレ補正が行われた画像を表示装置５２０に表示し、処理を終了する。
【0052】
《作用・効果》
このように、第３の実施形態によれば、制御装置５４０は、電源の起動中、常時、画像のヨー軸方向についてブレ補正を行わないようにする。これにより、簡単な制御で、旋回時に本来動いて見えるはずの画像が、その場に留まって見えるように表示されることを抑えることができる。したがって、旋回時におけるオペレータの違和感を抑えることができ、オペレータの操作性が低下することを簡単に抑えることができる。
このように、第３の実施形態によれば、制御装置５４０は、電源の起動中、常時、画像のヨー軸方向についてブレ補正を行わないようにする。これにより、簡単な制御で、旋回時に本来動いて見えるはずの画像が、その場に留まって見えるように表示されることを抑えることができる。したがって、旋回時におけるオペレータの違和感を抑えることができ、オペレータの操作性が低下することを簡単に抑えることができる。
【0053】
〈第４の実施形態〉
第１の実施形態では、遠隔操作装置５００側でブレ補正を行う。第４の実施形態では、作業機械１００側でブレ補正を行うことについて説明する。
第１の実施形態では、遠隔操作装置５００側でブレ補正を行う。第４の実施形態では、作業機械１００側でブレ補正を行うことについて説明する。
【0054】
図７は、第４の実施形態に係る遠隔システムの構成を示す概略ブロック図である。
作業機械の制御装置１２５は、画像補正装置の一例である。
作業機械の制御装置１２５は、画像補正装置の一例である。
【0055】
プロセッサ１２５０は、プログラムＱの実行により、振動情報取得部１２５１、補正量演算部１２５２、旋回検出部１２５３、速度情報取得部１２５４、および画像出力部１２５５を備える。
撮像装置１２２は、ブレ補正部１２２０を備える。
撮像装置１２２は、ブレ補正部１２２０を備える。
【0056】
振動情報取得部１２５１は、振動センサ１２４によって検出される振動情報を取得する。
ブレ補正部１２２０は、振動情報取得部１２５１によって取得された振動情報に応じて、機械的に画像のブレ補正を行う機構を備える。ブレ補正部１２２０は、例えば、振動情報に応じてレンズやイメージセンサを移動させることによってブレを打ち消す光学式のものである。具体的には、ブレ補正部１２２０は、ヨー方向に駆動するアクチュエータとピッチ方向に駆動するアクチュエータとを備え、振動情報に応じて各アクチュエータを駆動させる。ただし、ブレ補正部１２２０は、光学式のものに限らず、ジンバル等の撮像装置１２２に外付けされる外装式のものや、受光素子から受け取った画像データに所定の計算を行って補正を施す電子式のものでもよい。電子式のブレ補正部１２２０は、例えば、第１の実施形態のブレ補正部５１０３と同様の方法でブレを補正してよい。
ブレ補正部１２２０は、振動情報取得部１２５１によって取得された振動情報に応じて、機械的に画像のブレ補正を行う機構を備える。ブレ補正部１２２０は、例えば、振動情報に応じてレンズやイメージセンサを移動させることによってブレを打ち消す光学式のものである。具体的には、ブレ補正部１２２０は、ヨー方向に駆動するアクチュエータとピッチ方向に駆動するアクチュエータとを備え、振動情報に応じて各アクチュエータを駆動させる。ただし、ブレ補正部１２２０は、光学式のものに限らず、ジンバル等の撮像装置１２２に外付けされる外装式のものや、受光素子から受け取った画像データに所定の計算を行って補正を施す電子式のものでもよい。電子式のブレ補正部１２２０は、例えば、第１の実施形態のブレ補正部５１０３と同様の方法でブレを補正してよい。
【0057】
補正量演算部１２５２は、ブレ補正部１２２０の補正量を演算する。補正量演算部１２５２は、ブレ補正部１２２０に生じる振動情報を補正する。具体的には、旋回時に、振動情報のうちヨー軸方向の角速度をゼロに書き換え、非旋回時には当該書き換えを行わないようにすればよい。ブレ補正部１２２０は、補正量演算部１２５２によって補正された振動情報に応じたブレ補正を行う。
【0058】
旋回検出部１２５３は、作業機械１００が旋回中であることを検出する。速度情報取得部１２５４は、旋回速度センサ１２３の検出結果に基づいて、旋回速度を示す旋回速度情報を取得する。旋回検出部１２５３は、速度情報取得部１２５４によって取得された旋回速度情報に基づいて、旋回中であることを検出する。例えば、旋回検出部５１０５は、旋回速度が閾値以上の場合に、旋回中であることを検出する。
【0059】
画像出力部１２５５は、撮像装置１２２によって撮像された画像を出力する。具体的には、画像出力部１２５５から出力された画像は、画像符号化装置１２５９に入力されて、符号化される。符号化された画像は、通信部１２６へ出力される。通信部１２６は、符号化した画像を遠隔操作装置５００の通信部５５０へ送信する。
【0060】
通信部５５０は、作業機械１００から受信した画像を画像復号装置５４００へ出力する。画像復号装置５４００は、符号化された画像を復号し、画像取得部５１０１へ出力する。表示制御部５１０６は、画像取得部５１０１によって取得された画像を表示装置５２０に表示させる。
【0061】
《方法》
ここで、第４の実施形態に係る作業機械１００が行う撮像画像の出力方法について説明する。
図８は、第４の実施形態に係る作業機械が行う撮像画像の出力方法を示すフローチャートである。
振動情報取得部１２５１は、振動情報を取得する（ステップＳ３１）。そして、制御装置１２５は、振動情報をブレ補正部１２２０に入力する（ステップＳ３２）。これにより、ブレ補正部１２２０は、ピッチ方向、ロール方向およびヨー方向の補正を行う。次に、旋回検出部１２５３は、速度情報取得部１２５４が作業機械１００の旋回速度を示す旋回速度情報を取得する（ステップＳ３３）。
ここで、第４の実施形態に係る作業機械１００が行う撮像画像の出力方法について説明する。
図８は、第４の実施形態に係る作業機械が行う撮像画像の出力方法を示すフローチャートである。
振動情報取得部１２５１は、振動情報を取得する（ステップＳ３１）。そして、制御装置１２５は、振動情報をブレ補正部１２２０に入力する（ステップＳ３２）。これにより、ブレ補正部１２２０は、ピッチ方向、ロール方向およびヨー方向の補正を行う。次に、旋回検出部１２５３は、速度情報取得部１２５４が作業機械１００の旋回速度を示す旋回速度情報を取得する（ステップＳ３３）。
【0062】
そして、旋回検出部１２５３は、旋回速度情報が示す旋回速度が閾値以上であるか否かを判断する（ステップＳ３４）。旋回速度が閾値以上ではない場合（ステップＳ３４：ＮＯ）、補正量演算部１２５２は、ステップＳ３７に進む。
【0063】
一方、旋回速度が閾値以上である場合（ステップＳ３４：ＹＥＳ）、補正量演算部１２５２は、振動情報のうちヨー角の角速度をゼロに書き換える（ステップＳ３５）。そして、制御装置１２５は、補正量演算部１２５２によって演算された振動情報をブレ補正部１２２０に入力する（ステップＳ３６）。これにより、ブレ補正部１２２０は、ピッチ方向の補正を行い、ヨー方向の補正を行わない。次に、画像出力部１２５５は、撮像装置１２２によって撮像された画像を出力し（ステップＳ３７）、図８に示す処理を終了する。
【0064】
《作用・効果》
このように、第４の実施形態によれば、制御装置１２５が、ブレ補正部１２２０を制御して、作業機械１００の旋回中には、振動情報のうちヨー角の角速度をゼロに書き換えるようにする。これにより、旋回時に本来動いて見えるはずの画像が、その場に留まって見えるように表示されることを抑えることができる。したがって、旋回時におけるオペレータの違和感を抑えることができ、オペレータの操作性が低下することを抑えることができる。また、旋回中ではない場合には、３軸方向についてブレ補正をおこなうため、作業機械１００の振動によるブレを除去することができる。したがって、掘削や積込など旋回を伴わない作業時におけるオペレータの酔いを抑制することができる。
このように、第４の実施形態によれば、制御装置１２５が、ブレ補正部１２２０を制御して、作業機械１００の旋回中には、振動情報のうちヨー角の角速度をゼロに書き換えるようにする。これにより、旋回時に本来動いて見えるはずの画像が、その場に留まって見えるように表示されることを抑えることができる。したがって、旋回時におけるオペレータの違和感を抑えることができ、オペレータの操作性が低下することを抑えることができる。また、旋回中ではない場合には、３軸方向についてブレ補正をおこなうため、作業機械１００の振動によるブレを除去することができる。したがって、掘削や積込など旋回を伴わない作業時におけるオペレータの酔いを抑制することができる。
【0065】
また、第４の実施形態によれば、制御装置１２５は、作業機械１００の旋回速度を示す旋回速度情報に基づいて、旋回中であることを検出する。これにより、作業機械１００が旋回中であるか否かを簡単かつ正確に検出することができる。
【0066】
また、第４の実施形態によれば、制御装置１２５は、旋回速度が閾値以上の場合に、旋回中であることを検出する。これにより、掘削や積込などにおける旋回操作によって旋回速度が取得された場合には、旋回中であると見なさいようにすることができるため、ヨー軸方向についてもブレ補正を行うことができる。したがって、掘削や積込などの作業時の酔いを抑制することができる。
【0067】
〈第５の実施形態〉
第４の実施形態では、旋回検出部１２５３が、旋回速度情報を用いて、旋回中であることを検出する。第５の実施形態では、このような構成に加えて又は代えて、旋回検出部１２５３が、操作装置５３０の旋回に係る操作量を用いて、旋回中であることを検出する作業機械１００について説明する。
第４の実施形態では、旋回検出部１２５３が、旋回速度情報を用いて、旋回中であることを検出する。第５の実施形態では、このような構成に加えて又は代えて、旋回検出部１２５３が、操作装置５３０の旋回に係る操作量を用いて、旋回中であることを検出する作業機械１００について説明する。
【0068】
図９は、第５の実施形態に係る遠隔システムの構成を示す概略ブロック図である。
操作装置５３０は、旋回操作を受け付けると、受け付けた操作量を制御装置５４０に出力する。制御装置５４０は、入力された操作量を、通信部５５０を介して作業機械１００へ送信する。
操作装置５３０は、旋回操作を受け付けると、受け付けた操作量を制御装置５４０に出力する。制御装置５４０は、入力された操作量を、通信部５５０を介して作業機械１００へ送信する。
【0069】
作業機械１００の制御装置１２５は、第４の実施形態の構成に加えて操作量取得部１２５６を備える。操作量取得部１２５６は、通信部１２６が受信した操作量を取得する。旋回検出部１２５３は、操作量取得部１２５６によって取得された操作量に基づいて、旋回中であることを検出する。なお、第５の実施形態において、作業機械１００は、第４の実施形態の構成のうち旋回速度センサ１２３を備えない。また、制御装置１２５は、第４の実施形態の構成のうち速度情報取得部１２５４を備えない。
【0070】
《方法》
ここで、第５の実施形態に係る作業機械１００が行う撮像画像の出力方法について説明する。
図１０は、第５の実施形態に係る作業機械が行う撮像画像の出力方法を示すフローチャートである。
振動情報取得部１２５１は、振動情報を取得する（ステップＳ４１）。そして、制御装置１２５は、振動情報をブレ補正部１２２０に入力する（ステップＳ４２）。これにより、ブレ補正部１２２０は、ピッチ方向、ロール方向およびヨー方向の補正を行う。次に、操作量取得部１２５６は、旋回の操作量を取得する（ステップＳ４３）。
ここで、第５の実施形態に係る作業機械１００が行う撮像画像の出力方法について説明する。
図１０は、第５の実施形態に係る作業機械が行う撮像画像の出力方法を示すフローチャートである。
振動情報取得部１２５１は、振動情報を取得する（ステップＳ４１）。そして、制御装置１２５は、振動情報をブレ補正部１２２０に入力する（ステップＳ４２）。これにより、ブレ補正部１２２０は、ピッチ方向、ロール方向およびヨー方向の補正を行う。次に、操作量取得部１２５６は、旋回の操作量を取得する（ステップＳ４３）。
【0071】
そして、旋回検出部５１０５は、旋回の操作量が閾値以上であるか否かを判断する（ステップＳ４４）。旋回の操作量が閾値以上ではない場合（ステップＳ４４：ＮＯ）、ステップＳ４８に進む。一方、旋回の操作量が閾値以上である場合（ステップＳ４４：ＹＥＳ）、補正量演算部１２５２は、振動情報のうちヨー角の角速度をゼロに書き換える（ステップＳ４５）。そして、制御装置１２５は、補正量演算部１２５２によって演算された振動情報をブレ補正部１２２０に入力する（ステップＳ４６）。これにより、ブレ補正部１２２０は、ピッチ方向の補正を行い、ヨー方向の補正を行わない。
【0072】
そして、画像出力部１２５５は、撮像装置１２２によって撮像された画像を出力し（ステップＳ４７）、図１０に示す処理を終了する。出力された画像は、通信部１２６、５５０を介して遠隔操作装置５００の制御装置５４０に入力されて、表示装置５２０に表示される。
【0073】
なお、第５の実施形態において、旋回速度が閾値以上である場合に、振動情報のうちヨー角の角速度をゼロに書き換えるようにしてもよい。具体的に補足すると、第５の実施形態において、作業機械１００は、旋回速度センサ１２３を備えればよい。また、制御装置１２５は、速度情報取得部１２５４を備えればよい。そして、ステップＳ３４において、旋回の操作量が閾値以上ではない場合に、速度情報取得部１２５４が作業機械１００の旋回速度が閾値以上であるか否かを判断すればよい。さらに、旋回速度が閾値以上である場合に、補正量演算部１２５２は、振動情報のうちヨー角の角速度をゼロに書き換えればよい。
【0074】
《作用・効果》
このように、第５の実施形態によれば、制御装置１２５は、旋回の操作量に基づいて、旋回中であることを検出する。これにより、旋回時におけるオペレータの違和感を抑えることができるため、オペレータの操作性が低下することを抑えることができる。また、作業機械１００が旋回中であるか否かを簡単かつ正確に検出することができる。
このように、第５の実施形態によれば、制御装置１２５は、旋回の操作量に基づいて、旋回中であることを検出する。これにより、旋回時におけるオペレータの違和感を抑えることができるため、オペレータの操作性が低下することを抑えることができる。また、作業機械１００が旋回中であるか否かを簡単かつ正確に検出することができる。
【0075】
〈第６の実施形態〉
第４の実施形態では、旋回体１２０が旋回中である場合に、ヨー軸方向についてブレ補正を行わない。第６の実施形態では、旋回体１２０が旋回中であるか否かにかかわらず、ヨー軸方向についてブレ補正を行わない作業機械１００について説明する。
第４の実施形態では、旋回体１２０が旋回中である場合に、ヨー軸方向についてブレ補正を行わない。第６の実施形態では、旋回体１２０が旋回中であるか否かにかかわらず、ヨー軸方向についてブレ補正を行わない作業機械１００について説明する。
【0076】
第６の実施形態において、作業機械１００は、第４の実施形態のうち旋回速度センサ１２３を備えない。また、制御装置１２５は、第４の実施形態のうち旋回検出部１２５３、および速度情報取得部１２５４を備えない。補正量演算部１２５２は、振動情報のうちヨー軸方向の角速度を、常にゼロに書き換える。
【0077】
《方法》
ここで、第６の実施形態に係る遠隔操作装置５００が行う撮像画像の表示制御方法について説明する。
振動情報取得部１２５１は、振動情報を取得する。そして、振動情報のうちヨー角の角速度をゼロに書き換える。次に、制御装置１２５は、補正量演算部１２５２によって演算された振動情報をブレ補正部１２２０に入力する。これにより、ブレ補正部１２２０は、ピッチ方向およびロール方向の補正を行い、ヨー方向の補正を行わない。
ここで、第６の実施形態に係る遠隔操作装置５００が行う撮像画像の表示制御方法について説明する。
振動情報取得部１２５１は、振動情報を取得する。そして、振動情報のうちヨー角の角速度をゼロに書き換える。次に、制御装置１２５は、補正量演算部１２５２によって演算された振動情報をブレ補正部１２２０に入力する。これにより、ブレ補正部１２２０は、ピッチ方向およびロール方向の補正を行い、ヨー方向の補正を行わない。
【0078】
そして、画像出力部１２５５は、撮像装置１２２によって撮像された画像を出力し、処理を終了する。出力された画像は、通信部１２６、５５０を介して遠隔操作装置５００の制御装置５４０に入力されて、表示装置５２０に表示される。
【0079】
《作用・効果》
このように、第６の実施形態によれば、制御装置１２５は、常時、振動情報のうちヨー角の角速度をゼロに書き換える。これにより、簡単な制御で、旋回時に本来動いて見えるはずの画像が、その場に留まって見えるように表示されることを抑えることができる。したがって、旋回時におけるオペレータの違和感を抑えることができ、オペレータの操作性が低下することを簡単に抑えることができる。
このように、第６の実施形態によれば、制御装置１２５は、常時、振動情報のうちヨー角の角速度をゼロに書き換える。これにより、簡単な制御で、旋回時に本来動いて見えるはずの画像が、その場に留まって見えるように表示されることを抑えることができる。したがって、旋回時におけるオペレータの違和感を抑えることができ、オペレータの操作性が低下することを簡単に抑えることができる。
【0080】
〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。例えば、ブレ補正部は３軸のブレ補正をするものであったが、ヨー方向とピッチ方向の２軸のブレ補正を行うものでもよく、２軸のブレ補正において、旋回中はヨー方向のブレ補正を実行しないようにするものでもよい。他の実施形態として、油圧駆動系を使用する車両では、油圧アクチュエータの圧力変動により振動を検出することができる。具体的には、油圧シリンダと油圧モータの圧力変動などをモニタリングすることによって、振動を検出することができる。
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。例えば、ブレ補正部は３軸のブレ補正をするものであったが、ヨー方向とピッチ方向の２軸のブレ補正を行うものでもよく、２軸のブレ補正において、旋回中はヨー方向のブレ補正を実行しないようにするものでもよい。他の実施形態として、油圧駆動系を使用する車両では、油圧アクチュエータの圧力変動により振動を検出することができる。具体的には、油圧シリンダと油圧モータの圧力変動などをモニタリングすることによって、振動を検出することができる。
【0081】
上述した実施形態に係る制御装置５４０および制御装置１２５においては、プログラムＰ、Ｑがそれぞれストレージ５３００、１２５８に格納される場合について説明したが、これに限られない。例えば、プログラムＰ、Ｑがそれぞれ通信回線によって制御装置１２５や制御装置５４０に配信されるものであってもよい。この場合、配信を受けた制御装置１２５や制御装置５４０がプログラムＰ、Ｑをそれぞれメインメモリ５２００、１２５７に展開し、上記処理を実行する。
【0082】
また、プログラムＰ、Ｑは、それぞれ上述した機能の一部を実現するためのものであってもよい。例えば、プログラムＰ、Ｑは、それぞれ上述した機能をストレージ５３００、１２５８に記憶されている他のプログラムＰ、Ｑとの組み合わせ、または他の装置に実装された他のプログラムＰ、Ｑとの組み合わせで実現するものであってもよい。
【0083】
また、制御装置１２５および制御装置５４０は、それぞれ上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ５１００、１２５０によって実現される機能の一部がそれぞれ当該ＰＬＤによって実現されてよい。
【0084】
また、制御装置１２５および制御装置５４０は、それぞれ複数のプロセッサ５１００、１２５０を備えていてもよいし、複数のコンピュータから構成されていてもよい。
【0085】
また、上述した説明では、制御装置１２５は、作業機械１００に具備される構成について説明したが、これに限らない。制御装置１２５は、外部のコンピュータ装置（例えば、クラウドサーバ）に具備されていてもよい。また、制御装置１２５が備える各機能部（振動情報取得部１２５１、補正量演算部１２５２、旋回検出部１２５３、速度情報取得部１２５４、画像出力部１２５５、操作量取得部１２５６等）のうち、全部または一部が外部のコンピュータ装置に具備されていてもよい。例えば、制御装置１２５が備える各機能部のうち、全部または一部が、一のコンピュータ装置に具備されていてもよいし、複数のコンピュータ装置に具備されていてもよい。外部のコンピュータ装置に各機能部を具備させるようにした場合、遠隔操作装置５００は、外部のコンピュータ装置から各種情報を受信するようにすればよい。
【0086】
また、制御装置５４０についても同様である。すなわち、上述した説明では、制御装置５４０は、遠隔操作装置５００に具備される構成について説明したが、これに限らない。制御装置５４０は、外部のコンピュータ装置（例えば、クラウドサーバ）に具備されていてもよい。また、制御装置５４０が備える各機能部（画像取得部５１０１、振動情報取得部５１０２、ブレ補正部５１０３、速度情報取得部５１０４、旋回検出部５１０５、表示制御部５１０６、操作量取得部５１１０等）のうち、全部または一部が外部のコンピュータ装置に具備されていてもよい。例えば、制御装置５４０が備える各機能部のうち、全部または一部が、一のコンピュータ装置に具備されていてもよいし、複数のコンピュータ装置に具備されていてもよい。外部のコンピュータ装置に各機能部を具備させるようにした場合、表示装置５２０は、外部のコンピュータ装置から受信した各種情報を表示すればよい。
【符号の説明】
【0087】
１…遠隔操作システム １００…作業機械 １２２…撮像装置 １２３…旋回速度センサ １２４…振動センサ １２５…制御装置 ５００…遠隔操作装置 ５１０…運転席 ５２０…表示装置 ５３０…操作装置 ５４０…制御装置 １２２０…ブレ補正部 １２５１…振動情報取得部 １２５２…補正量演算部 １２５３…旋回検出部 １２５４…速度情報取得部 １２５５…画像出力部 １２５６…操作量取得部 ５１０１…画像取得部 ５１０２…振動情報取得部 ５１０３…ブレ補正部 ５１０４…速度情報取得部 ５１０５…旋回検出部 ５１０６…表示制御部 ５１１０…操作量取得部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】