特開 2023-122360 画像生成システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023122360

(43)【公開日】2023-09-01

(54)【発明の名称】画像生成システム

(51)【国際特許分類】

   H04Q 9/00 20060101AFI20230825BHJP

   E02F 9/26 20060101ALI20230825BHJP

【ＦＩ】

H04Q9/00 361

E02F9/26 A

H04Q9/00 301B

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022026027

(22)【出願日】2022-02-22

(71)【出願人】

【識別番号】000001236

【氏名又は名称】株式会社小松製作所

(71)【出願人】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】栗栖 正充

(72)【発明者】

【氏名】近藤 大祐

(72)【発明者】

【氏名】瀧本 誠弥

(72)【発明者】

【氏名】大畠 陽二郎

【テーマコード（参考）】

2D015

5K048

【Ｆターム（参考）】

2D015HA03

2D015HB00

5K048BA21

5K048DA01

5K048DB01

5K048DC01

5K048EB02

5K048EB15

5K048FB15

5K048HA01

5K048HA02

5K048HA23

(57)【要約】

【課題】撮像対象の視認性を向上できる画像生成システムを提供する。
【解決手段】油圧ショベル１００は、作業現場に存在する撮像対象を撮像するカメラ２０を有している。画像生成システムは、表示装置５０と、カメラ２０によって撮像された撮像画像を記録する記録部２７０と、撮像画像を処理する画像処理部２６とを備えている。画像取得部２６１は、最新の撮像画像である最新画像を取得する。視点変換部２６４は、記録部２７０に記録されている以前の撮像画像を、カメラ２０が最新画像を撮像したときのカメラ２０の向きに合わせて変換した、変換画像を生成する。画像出力部６７は、最新画像内で撮像対象が遮蔽物により遮蔽されている死角領域を変換画像で補完した補完画像を、表示装置５０に表示させる。
【選択図】図４

【特許請求の範囲】

【請求項1】

作業機械を遠隔操作するための遠隔操作側の表示装置に表示する画像を生成する画像生成システムであって、
前記作業機械は、作業現場に存在する撮像対象を撮像する撮像装置を有し、
前記画像生成システムは、
前記表示装置と、
前記撮像装置によって撮像された撮像画像を記録する画像記録部と、
前記撮像画像を処理する画像処理コンピュータとを備え、
前記画像処理コンピュータは、最新の前記撮像画像である最新画像を取得し、前記画像記録部に記録されている以前の前記撮像画像を前記撮像装置が前記最新画像を撮像したときの前記撮像装置の向きに合わせて変換した変換画像を生成し、前記最新画像内で前記撮像対象が遮蔽物により遮蔽されている死角領域を前記変換画像で補完した補完画像を前記表示装置に表示させる、画像生成システム。

【請求項2】

前記画像処理コンピュータは、前記死角領域に前記変換画像を重ね合わせた合成画像を生成し、前記合成画像を前記表示装置に表示させる、請求項１に記載の画像生成システム。

【請求項3】

前記画像処理コンピュータは、前記最新画像を前記表示装置に表示させ、前記表示装置における前記死角領域に相当する領域に前記変換画像を表示させる、請求項１に記載の画像合成システム。

【請求項4】

前記画像処理コンピュータは、複数の以前の前記撮像画像から前記変換画像を生成する、請求項１から請求項３のいずれか１項に記載の画像生成システム。

【請求項5】

前記作業機械は、旋回軸を中心に旋回する旋回体を有し、前記撮像装置は前記旋回体に搭載されている、請求項１から請求項４のいずれか１項に記載の画像生成システム。

【請求項6】

前記旋回体は、車室を有し、前記撮像装置は前記車室に収容されている、請求項５に記載の画像生成システム。

【請求項7】

前記撮像装置は、前記旋回体の旋回中に前記撮像対象を撮像し、
前記画像処理コンピュータは、以前の前記撮像画像を撮像したときから前記最新画像を撮像したときまでの前記旋回体の旋回角度を取得し、前記旋回角度に基づいて以前の前記撮像画像の位置をずらして前記変換画像を生成する、請求項５または請求項６に記載の画像生成システム。

【請求項8】

前記画像処理コンピュータは、前記旋回角度に基づいて、以前の前記撮像画像を変形させて前記変換画像を生成する、請求項７に記載の画像生成システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、作業機械を遠隔操作するための遠隔操作側の表示装置に表示する画像を生成する画像生成システムに関する。

【背景技術】

【0002】

特開２０１８－２０７２４４号公報（特許文献１）には、旋回軸を中心に旋回する旋回体および旋回体に支持される作業機を有する作業機械に搭載され、画像を撮影する撮像装置と、作業機械の外部に存在する表示装置と、作業機械の外部に存在し、作業機械と通信可能な制御装置と、を備え、制御装置は、画像を撮像装置から取得する画像データ取得部と、画像データ取得部で取得された画像を表示装置に表示させる表示制御部と、を有する、遠隔操作システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－２０７２４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

作業機械の車体に撮像装置を搭載する場合、車体を構成する構造物が撮像装置の画角内に存在することがある。この構造物が撮像画像中に写り込み、撮像対象の視認性を低下させることがある。

【0005】

本開示では、撮像対象の視認性を向上できる画像生成システムが提案される。

【課題を解決するための手段】

【0006】

本開示に従うと、作業機械を遠隔操作するための遠隔操作側の表示装置に表示する画像を生成する画像生成システムが提案される。作業機械は、作業現場に存在する撮像対象を撮像する撮像装置を有している。画像生成システムは、表示装置と、撮像装置によって撮像された撮像画像を記録する画像記録部と、撮像画像を処理する画像処理コンピュータとを備えている。画像処理コンピュータは、最新の撮像画像である最新画像を取得する。画像処理コンピュータは、画像記録部に記録されている以前の撮像画像を、撮像装置が最新画像を撮像したときの撮像装置の向きに合わせて変換した、変換画像を生成する。画像処理コンピュータは、最新画像内で撮像対象が遮蔽物により遮蔽されている死角領域を変換画像で補完した補完画像を、表示装置に表示させる。

【発明の効果】

【0007】

本開示に係る画像生成システムによれば、撮像対象の視認性を向上することができる。

【図面の簡単な説明】

【0008】

【図1】油圧ショベルの外観図である。

【図2】油圧ショベルの遠隔操作システムの一例を模式的に示す図である。

【図3】遠隔操作装置の一例を模式的に示す図である。

【図4】画像生成システムの構成例を示す機能ブロック図である。

【図5】画像生成方法の一例を示すフローチャートである。

【図6】最新画像の一例を示す図である。

【図7】図６中の領域ＶＩＩの拡大図である。

【図8】直前画像の一例を示す図である。

【図9】視点を変換した画像を示す図である。

【図10】画像を合成する処理を示す図である。

【図11】合成画像の一例を示す図である。

【図12】複数の過去画像と最新画像とを合成した図である。

【図13】第２実施形態に係る画像生成システムの構成例を示す機能ブロック図である。

【図14】第３実施形態に係る画像生成システムの構成例を示す機能ブロック図である。

【図15】第３実施形態に係る画像生成方法の一例を示すフローチャートである。

【図16】第４実施形態に係る、カメラによる撮像の状況を示す模式図である。

【図17】第４実施形態に係る撮像画像の一例を示す図である。

【図18】第４実施形態に係る合成画像の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、実施形態について図に基づいて説明する。以下の説明では、同一部品には、同一の符号を付している。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

【0010】

［第１実施形態］
図１は、実施形態に基づく遠隔操作システムによって遠隔操作される作業機械の一例としての、油圧ショベル１００の外観図である。図１に示されるように、作業機械として、本例においては、主に油圧ショベル１００を例に挙げて説明する。

【0011】

油圧ショベル１００は、作業現場に存在し、作業現場で作業する。油圧ショベル１００は、土砂または鉱石などの対象物の掘削作業を実行し、掘削された対象物をダンプトラックなどの運搬機械に積み込む積込作業を実行する。実施形態の油圧ショベル１００は、遠隔操作可能な仕様の作業機械である。油圧ショベル１００の操縦は、遠隔操作システムを用いた遠隔地からの無線信号により行う。油圧ショベル１００は、搭乗したオペレータによる操縦機能を搭載していない。

【0012】

油圧ショベル１００は、本体１を備えている。本体１は、旋回体３と、走行体５とを有している。

【0013】

走行体５は、一対の履帯５Ｃｒと、走行モータ５Ｍとを有している。油圧ショベル１００は、履帯５Ｃｒの回転により走行可能である。走行モータ５Ｍは、走行体５の駆動源として設けられている。走行モータ５Ｍは、油圧により作動する油圧モータである。なお、走行体５が車輪（タイヤ）を有していてもよい。

【0014】

旋回体３は、走行体５の上に配置され、かつ走行体５により支持されている。旋回体３は、旋回軸ＲＸを中心として走行体５に対して旋回可能に、走行体５に搭載されている。旋回体３は、車室４を有している。車室４の前面は、透明な窓板４Ｗで覆われている。窓板４Ｗは、強化ガラスなどで構成されている。車室４内には、空間４Ｓが形成されている。

【0015】

車室４は、屋根部分を支持する複数のピラーを有している。複数のピラーは、左フロントピラー４ＦＰ１と、右フロントピラー４ＦＰ２とを有している。左フロントピラー４ＦＰ１は、車室４の左前の角部に配置されている。右フロントピラー４ＦＰ２は、車室４の右前の角部に配置されている。窓板４Ｗは、左フロントピラー４ＦＰ１と右フロントピラー４ＦＰ２との間に配置されている。窓板４Ｗの左縁が左フロントピラー４ＦＰ１に取り付けられ、窓板４Ｗの右縁が右フロントピラー４ＦＰ２に取り付けられている。

【0016】

旋回体３は、エンジンが収容されるエンジンルーム９と、旋回体３の後部に設けられるカウンタウェイトとを有している。エンジンルーム９には、後述するエンジン３１および油圧ポンプ３２などが配置されている。

【0017】

旋回体３において、エンジンルーム９の前方に手すり１９が設けられている。手すり１９には、アンテナ２１が設けられている。アンテナ２１は、たとえばＧＮＳＳ（Global Navigation Satellite Systems：全地球航法衛星システム）用のアンテナである。アンテナ２１は、車幅方向に互いに離れるように旋回体３に設けられた第１アンテナ２１Ａおよび第２アンテナ２１Ｂを有している。

【0018】

油圧ショベル１００は、油圧により作動する作業機２を備えている。作業機２は、旋回体３に支持されている。作業機２は、ブーム６と、アーム７と、バケット８とを有している。ブーム６の基端部は、ブームフートピン１３を介して旋回体３に回転可能に連結されている。アーム７の基端部は、ブーム先端ピン１４を介してブーム６の先端部に回転可能に連結されている。バケット８は、アーム先端ピン１５を介してアーム７の先端部に回転可能に連結されている。アーム７およびバケット８のそれぞれは、ブーム６の先端側で移動可能な可動部材である。

【0019】

バケット８は、複数の刃を有している。バケット８は、刃を有していなくてもよい。バケット８の先端部は、ストレート形状の鋼板で形成されていてもよい。バケット８は、作業機２の先端に取付可能なアタッチメントの一例である。作業の種類に応じて、アタッチメントが、ブレーカ、グラップル、またはリフティングマグネットなどに付け替えられる。

【0020】

なお本実施形態においては、作業機２を基準として、油圧ショベル１００の各部の位置関係について説明する。

【0021】

作業機２のブーム６は、旋回体３に対して、ブームフートピン１３を中心に回転する。旋回体３に対して回転するブーム６の特定の部分、たとえばブーム６の先端部が移動する軌跡は円弧状であり、その円弧を含む平面が特定される。油圧ショベル１００を平面視した場合に、当該平面は直線として表される。この直線の延びる方向が、油圧ショベル１００の本体１の前後方向、または旋回体３の前後方向であり、以下では単に前後方向ともいう。油圧ショベル１００の本体１の左右方向（車幅方向）、または旋回体３の左右方向とは、平面視において前後方向と直交する方向であり、以下では単に左右方向ともいう。車両本体の上下方向、または旋回体３の上下方向とは、前後方向および左右方向によって定められる平面に直交する方向であり、以下では単に上下方向ともいう。

【0022】

前後方向において、油圧ショベル１００の本体１から作業機２が突き出している側が前方向であり、前方向と反対方向が後方向である。前方向を視て左右方向の右側、左側がそれぞれ右方向、左方向である。上下方向において地面のある側が下側、空のある側が上側である。

【0023】

作業機２は、ブームシリンダ１０と、アームシリンダ１１と、バケットシリンダ１２とを有している。ブームシリンダ１０は、ブーム６を駆動する。アームシリンダ１１は、アーム７を駆動する。バケットシリンダ１２は、バケット８を駆動する。ブームシリンダ１０、アームシリンダ１１、およびバケットシリンダ１２のそれぞれは、作動油によって駆動される油圧シリンダである。

【0024】

油圧ショベル１００は、カメラ２０を備えている。カメラ２０は、油圧ショベル１００の周辺の作業現場に存在する撮像対象を撮像して、撮像対象の画像を取得するための撮像装置である。カメラ２０は、旋回体３に搭載されている。

【0025】

カメラ２０によって撮像される撮像対象は、作業現場において施工される施工対象を含む。施工対象は、油圧ショベル１００の作業機２によって掘削される掘削対象を含む。掘削対象は、掘削前の掘削対象（すなわち、現況地形）、掘削中の掘削対象、および掘削後の掘削対象を含む。カメラ２０の撮像対象は、油圧ショベル１００の周辺の障害物を含む。

【0026】

カメラ２０の撮像対象は、油圧ショベル１００の少なくとも一部を含む。カメラ２０の撮像対象は、作業機２の少なくとも一部を含む。カメラ２０の撮像対象は、油圧ショベル１００の周辺に配置される他の作業機械を含む。他の作業機械は、油圧ショベル１００の掘削対象を運搬する運搬機械を含む。他の作業機械は、ダンプトラックを含む。

【0027】

カメラ２０は、光学系と、光学系を通過した光を受光するイメージセンサとを有している。イメージセンサは、ＣＣＤ（Couple Charged Device）イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含んでいる。

【0028】

カメラ２０は、右前方カメラ２０Ａと、右側方カメラ２０Ｂと、後方カメラ２０Ｃと、左側方カメラ２０Ｄと、前方カメラ２０Ｅを含んでいる。

【0029】

右前方カメラ２０Ａと右側方カメラ２０Ｂとは、旋回体３の上面の右側縁部に配置されている。右前方カメラ２０Ａは、右側方カメラ２０Ｂよりも前方に配置されている。右前方カメラ２０Ａと右側方カメラ２０Ｂとは、前後方向における旋回体３の中央部付近に、前後に並んで配置されている。右前方カメラ２０Ａは、旋回体３の右前方を撮像する。右前方カメラ２０Ａの光軸は、右前方カメラ２０Ａから右斜め前方向に延びている。右側方カメラ２０Ｂは、旋回体３の右後方を撮像する。右側方カメラ２０Ｂの光軸は、右側方カメラ２０Ｂから右斜め後ろ方向に延びている。

【0030】

後方カメラ２０Ｃは、前後方向において旋回体３の後端部に配置されており、左右方向において旋回体３の中央部に配置されている。旋回体３の後端部には、採掘時などにおいて車体のバランスをとるためのカウンタウェイトが設置されている。後方カメラ２０Ｃは、カウンタウェイトの上面に配置されている。後方カメラ２０Ｃは、旋回体３の後方を撮像する。後方カメラ２０Ｃの光軸は、後方カメラ２０Ｃから後方向に延びている。左側方カメラ２０Ｄは、旋回体３の上面の左側縁部に配置されている。左側方カメラ２０Ｄは、前後方向における旋回体３の中央部付近に配置されている。左側方カメラ２０Ｄは、旋回体３の左方を撮像する。左側方カメラ２０Ｄの光軸は、左側方カメラ２０Ｄから左方向に延びている。

【0031】

前方カメラ２０Ｅは、旋回体３の前部に配置されている。前方カメラ２０Ｅは、作業機２の左側に配置されている。前方カメラ２０Ｅは、車室４の内部に配置されている。前方カメラ２０Ｅは、車室４に収容されている。前方カメラ２０Ｅは、車室４内の空間４Ｓに配置されている。前方カメラ２０Ｅは、車室４にオペレータが搭乗したならばオペレータの目の位置となる位置に、配置されている。前方カメラ２０Ｅは、窓板４Ｗを通して旋回体３の前方を撮像する。前方カメラ２０Ｅの光軸は、前方カメラ２０Ｅから前方向に延びている。前方カメラ２０Ｅによって撮像される撮像画像は、旋回体３の前方の地形と、作業機２の少なくとも一部とを含み得る。

【0032】

油圧ショベル１００は、通信装置２２と、車体コントローラ２６とを備えている。通信装置２２は、通信アンテナを含んでいる。通信アンテナは、たとえばエンジンルーム９の上方に配置されている。通信装置２２は、遠隔地より送信された制御信号を受信する。車体コントローラ２６は、受信した制御信号に基づいて、エンジン３１、作業機２、および旋回体３などを制御する。通信装置２２はまた、油圧ショベル１００の情報を含む信号を、遠隔地に送信する。通信装置２２は、カメラ２０が撮像した撮像対象の撮像画像、油圧ショベル１００の位置情報および姿勢情報などを、遠隔地に送信する。

【0033】

図２は、油圧ショベル１００の遠隔操作システム２００の一例を模式的に示す図である。遠隔操作システム２００は、油圧ショベル１００の外部に存在する。油圧ショベル１００は、遠隔操作システム２００によって遠隔操作される。遠隔操作システム２００は、たとえば、遠隔操作施設に設けられる。遠隔操作施設は、油圧ショベル１００の存在する作業現場に設置されていてもよく、作業現場から離れた遠隔地に設置されていてもよい。

【0034】

遠隔操作システム２００は、遠隔操作装置４０と、表示装置５０と、遠隔コントローラ６０と、通信装置７２とを主に備えている。遠隔操作装置４０、表示装置５０、遠隔コントローラ６０および通信装置７２のそれぞれは、油圧ショベル１００とは別体で設けられている。

【0035】

油圧ショベル１００は、ネットワーク４００を介して、遠隔操作システム２００に接続されている。ネットワーク４００は、インターネット、ローカルエリアネットワーク（ＬＡＮ）、携帯電話通信網、および衛星通信網の少なくとも一つを含んでいる。ネットワーク４００は、通信されるデータを中継する中継局を含んでもよい。

【0036】

油圧ショベル１００の通信装置２２は、ネットワーク４００を介して、遠隔操作システム２００に、油圧ショベル１００の情報を含む信号を送信する。遠隔操作システム２００は、通信装置７２で受信した、カメラ２０が撮像した撮像対象の撮像画像を、遠隔コントローラ６０で処理して、表示装置５０に表示する。

【0037】

図３は、遠隔操作装置４０の一例を模式的に示す図である。図３に示される遠隔操作装置４０と表示装置５０とは、遠隔操作施設に設けられている遠隔操作室に配置されている。遠隔操作装置４０は、操縦シート４５に着座したオペレータによって操作される。オペレータは、表示装置５０の表示画面と正対するように、操縦シート４５に着座する。オペレータは、表示装置５０を介して作業現場の状況を視認する。オペレータは、表示装置５０の表示画面を見ながら、遠隔操作装置４０を操作する。

【0038】

遠隔操作装置４０は、作業機２および旋回体３の動作のために操作される左作業レバー４１および右作業レバー４２と、走行体５の動作のために操作される左走行レバー４３および右走行レバー４４とを含んでいる。

【0039】

左作業レバー４１は、操縦シート４５の左方に配置されている。操縦シート４５に着座したオペレータは、左手で左作業レバー４１を把持して、左作業レバー４１を操作する。左作業レバー４１により、アーム７および旋回体３が操作される。左作業レバー４１は、旋回体３の旋回方向と、アーム７の上下動とについてのオペレータの入力を受け付ける。左作業レバー４１の前後方向の操作は、旋回体３の旋回に対応し、前後方向の操作に応じて旋回体３の右旋回動作および左旋回動作が実行される。左作業レバー４１の左右方向の操作は、アーム７の操作に対応し、左右方向の操作に応じてアーム７の上方向への動作および下方向への動作が実行される。

【0040】

右作業レバー４２は、操縦シート４５の右方に配置されている。操縦シート４５に着座したオペレータは、右手で右作業レバー４２を把持して、右作業レバー４２を操作する。右作業レバー４２により、ブーム６およびバケット８が操作される。右作業レバー４２は、ブーム６の上下動およびバケット８の上下動についてのオペレータの入力を受け付ける。右作業レバー４２の前後方向の操作は、ブーム６の操作に対応し、前後方向の操作に応じてブーム６が上昇する動作および下降する動作が実行される。右作業レバー４２の左右方向の操作は、バケット８の操作に対応し、左右方向の操作に応じてバケット８の下方向への動作および上方向への動作が実行される。

【0041】

操縦シート４５の左方にはまた、左コンソール４８が配置されている。操縦シート４５の右方にはまた、右コンソール４９が配置されている。

【0042】

左走行レバー４３および右走行レバー４４は、操縦シート４５の前方に配置されている。左走行レバー４３および右走行レバー４４は、左右に並んで、左走行レバー４３が左側に、右走行レバー４４が右側に配置されている。左走行レバー４３および右走行レバー４４は、走行体５の走行についてのオペレータの入力を受け付ける。左走行レバー４３の前後方向の操作に応じて、走行体５の左側の履帯５Ｃｒの前進動作および後進動作が実行される。右走行レバー４４の前後方向の操作に応じて、走行体５の右側の履帯５Ｃｒの前進動作および後進動作が実行される。

【0043】

表示装置５０は、操縦シート４５の前方に配置されている。表示装置５０は、左走行レバー４３および右走行レバー４４よりも操縦シート４５から離れて配置されている。表示装置５０は、液晶ディスプレイまたは有機ＥＬディスプレイのような、フラットパネルディスプレイを含んでいる。表示装置５０は、画像を表示する。表示装置５０は、カメラ２０によって撮像されネットワーク４００を介して取得した撮像画像を表示可能である。表示装置５０はまた、撮像画像を遠隔コントローラ６０で処理した後の画像を表示可能である。具体的には表示装置５０は、カメラ２０によって撮像された撮像画像を複数組み合わせることで死角を補完した画像を表示可能である。

【0044】

図３では、１つの表示画面が表示装置５０を構成する例が示されているが、表示装置５０は複数の表示画面を含んでもよい。表示装置５０は、中央の表示画面の上下左右に各１つずつの表示画面が隣り合って並べられた計５つの表示画面を含んでもよく、縦３段横３列に互いに隣り合って並べられた計９つの表示画面を含んでもよく、他の任意の態様で配列された任意の数の表示画面を含んでもよい。表示装置５０は、操縦シート４５の前方に配置された表示画面に加えて、操縦シート４５の左方、操縦シートの右方、および／または操縦シート４５の上方に配置された表示画面を含んでもよい。

【0045】

表示装置５０は、遠隔操作室に常設されたモニタでもよいし、ヘッドマウントディスプレイまたはヘッドアップディスプレイでもよい。表示装置５０は、パーソナルコンピュータのモニタでもよいし、タブレットコンピュータ、スマートフォンなどのモバイル端末でもよい。

【0046】

図４は、実施形態に基づく、遠隔操作側の表示装置５０に表示する画像を生成する画像生成システムの構成例を示す機能ブロック図である。遠隔操作システム２００は、油圧ショベル１００の外部の遠隔操作施設に配置されている。遠隔操作システム２００は、ネットワーク４００を介して、油圧ショベル１００に接続されている。

【0047】

油圧ショベル１００は、油圧ポンプ３２がエンジン３１によって駆動され、油圧ポンプ３２から吐出された作動油が方向制御弁３３を介して各種の油圧アクチュエータ３４に供給されるように、構成されている。油圧アクチュエータ３４への油圧の供給および排出が制御されることにより、作業機２の動作、旋回体３の旋回、および走行体５の走行動作が制御される。油圧アクチュエータ３４は、図１に示されるブームシリンダ１０、アームシリンダ１１、バケットシリンダ１２および走行モータ５Ｍと、旋回モータとを含んでいる。

【0048】

エンジン３１は、たとえばディーゼルエンジンである。車体コントローラ２６からの制御信号の出力に従ってエンジン３１への燃料の噴射量が調整されることにより、エンジン３１の出力が制御される。エンジン３１は、油圧ポンプ３２に連結するための駆動軸を有している。

【0049】

油圧ポンプ３２は、エンジン３１の駆動軸に連結されている。エンジン３１の回転駆動力が油圧ポンプ３２に伝達されることにより、油圧ポンプ３２が駆動される。油圧ポンプ３２は、斜板を有し、斜板の傾転角が変更されることにより吐出容量を変化させる可変容量型の油圧ポンプである。油圧ポンプ３２は、作業機２の駆動、走行体５の走行、および旋回体３の旋回に用いる作動油を供給する。油圧ポンプ３２から吐出された作動油は、減圧弁によって一定の圧力に減圧されて、方向制御弁３３に供給される。

【0050】

方向制御弁３３は、ロッド状のスプールを動かして作動油が流れる方向を切り換えるスプール方式の弁である。方向制御弁３３は、ブームシリンダ１０、アームシリンダ１１、バケットシリンダ１２、走行モータ５Ｍ、および旋回モータのそれぞれの作動油の供給量を調整するそれぞれのスプールを有している。車体コントローラ２６からの制御信号の出力に従って各スプールが軸方向に移動することにより、油圧アクチュエータ３４に対する作動油の供給量が調整される。

【0051】

遠隔コントローラ６０は、制御信号生成部６９を有している。制御信号生成部６９は、オペレータによる遠隔操作装置４０の操作に基づいて油圧ショベル１００を動作させる制御信号を生成する。通信装置７２は、制御信号生成部６９の生成した制御信号を、ネットワーク４００を介して、油圧ショベル１００に送信する。

【0052】

図１に示されるカメラ２０で撮像された撮像画像は、車体コントローラ２６に入力される。車体コントローラ２６は、画像処理部２６０を有している。画像処理部２６０は、車体コントローラ２６に入力された撮像画像を処理する。通信装置２２は、画像処理された後の画像を、ネットワーク４００を介して、遠隔操作システム２００に送信する。

【0053】

遠隔コントローラ６０は、画像出力部６７を有している。画像出力部６７は、画像処理部２６０によって画像処理された画像を表示装置５０に出力して、表示装置５０に画像を表示させる。

【0054】

図５は、実施形態に基づく画像生成方法の一例を示すフローチャートである。図４、図５および後続の図を参照して、実施形態の油圧ショベル１００を遠隔操作するための遠隔操作側の表示装置５０に表示する画像を生成する方法について、以下に説明する。以下では、旋回体３の旋回中に撮像対象を撮像する場合の例を説明する。

【0055】

図５に示されるように、まずステップＳ１において、最新画像を取得する。画像処理部２６０は、画像取得部２６１を有している。画像取得部２６１は、油圧ショベル１００のカメラ２０によって撮像された最新の撮像画像である、最新画像を取得する。

【0056】

図６は、最新画像の一例を示す図である。図６には、前方カメラ２０Ｅで撮像された画像ＩＭＧが図示されている。画像ＩＭＧには、作業機２の一部が含まれている。画像ＩＭＧには、車室４の左フロントピラー４ＦＰ１の画像ＩＦＰ１と、右フロントピラー４ＦＰ２の画像ＩＦＰ２とが含まれている。画像ＩＭＧには、風景ＬＳが含まれている。図６中の丸印、×印、三角形および四角形などの図形は、単純化した風景ＬＳの一部を示す。風景ＬＳは、画像ＩＦＰ１，ＩＦＰ２により遮蔽されている。左フロントピラー４ＦＰ１および右フロントピラー４ＦＰ２は、撮像対象を遮蔽する実施形態の遮蔽物に相当する。

【0057】

図６中に曲線矢印で示される旋回方向ＲＤは、旋回体３の旋回方向を示す。本実施形態では、旋回体３は右旋回している。

【0058】

図７は、図６中の領域ＶＩＩの拡大図である。領域ＶＩＩは、遮蔽物である左フロントピラー４ＦＰ１の画像ＩＦＰ１を含み、かつ、遮蔽物で遮蔽されていない風景ＬＳを含むように、設定される。図７に示される例では、画像ＩＭＧ１中において、画像ＩＦＰ１の左右両側に、遮蔽されていない風景ＬＳが存在している。

【0059】

ステップＳ２において、最新画像よりも前に撮像された以前の撮像画像である過去画像を読み出す。油圧ショベル１００は、記録部２７０を有している。記録部２７０には、過去画像データ２７８が記録されている。記録部２７０は、カメラ２０で撮像され画像取得部２６１によって取得された画像を、過去画像として記録する。画像処理部２６０は、移動情報取得部２６２を有している。移動情報取得部２６２は、記録部２７０から過去画像を読み出す。典型的には、移動情報取得部２６２は、最新画像の直前に撮像された過去画像である直前画像を読み出す。

【0060】

図８は、直前画像の一例を示す図である。図８に示される画像ＩＭＧ２は、直前画像のうち、図６に示される領域ＶＩＩに相当する領域を拡大したものである。図７の画像ＩＭＧ１と同様に、画像ＩＭＧ２中においては、左フロントピラー４ＦＰ１の画像ＩＦＰ１の左右両側に、遮蔽されていない風景ＬＳが存在している。遮蔽物である左フロントピラー４ＦＰ１は前方カメラ２０Ｅに対して位置が変わらないので、画像ＩＭＧ１と画像ＩＭＧ２とにおいて、左フロントピラー４ＦＰ１の画像ＩＦＰ１の位置は不変である。一方、旋回体３の旋回中に撮像されているので、画像ＩＭＧ１と画像ＩＭＧ２とに含まれる風景ＬＳが変化している。風景ＬＳのうち、画像ＩＭＧ１では見えなかった部分が、画像ＩＭＧ２では見えている。

【0061】

具体的に、図７の画像ＩＭＧ１では左フロントピラー４ＦＰ１の画像ＩＦＰ１に丸印の左半分が遮蔽されている。これに対し、図８の画像ＩＭＧ２では、丸印は遮蔽されておらず、丸印の全体が示されている。画像ＩＭＧ１には×印の一部分のみが含まれているのに対し、画像ＩＭＧ２には×印の全体が示されている。

【0062】

ステップＳ３において、オプティカルフローを算出する。移動情報取得部２６２は、最新画像と直前画像との画像処理を行う。移動情報取得部２６２は、時間的に連続する２つの画像、具体的には画像ＩＭＧ１（図７）および画像ＩＭＧ２（図８）、に含まれる同じ特徴点に対応する画素の移動ベクトルを算出する。本実施形態では旋回体３は右旋回しているので、直前画像の一部の画像ＩＭＧ２と比較して、最新画像の一部の画像ＩＭＧ１では、風景ＬＳが左方向に移動している。移動情報取得部２６２は、画像ＩＭＧ１と画像ＩＭＧ２とを比較して、画像ＩＭＧ１および画像ＩＭＧ２の差分から、直前画像を撮像した時刻から最新画像を撮像した時刻までの時間における風景ＬＳの移動量を算出する。

【0063】

ステップＳ４において、変換画像を生成する。画像処理部２６０は、視点変換部２６４を有している。視点変換部２６４は、カメラ２０が最新画像を撮像したときのカメラ２０の向きに合わせて、直前画像を変換する。視点変換部２６４は、ステップＳ３で算出した風景ＬＳの移動量の分だけ、直前画像をずらして、直前画像に含まれる風景ＬＳが最新画像に含まれる風景ＬＳとぴったり重なるようにする。

【0064】

図９は、オプティカルフローに基づき視点を変換した画像を示す図である。図９に示される画像ＩＭＧ３のうち、破線で囲まれた部分は、図８に示される画像ＩＭＧ２を図中の左方向に位置をずらしたものに相当する。画像ＩＭＧ３に含まれる丸印および×印と、図７に示される最新画像の一部である画像ＩＭＧ１に含まれる丸印および×印とは、互いに重なり合う位置にある。

【0065】

旋回体３の旋回に伴って、前方カメラ２０Ｅには並進と回転とが生じる。前方カメラ２０Ｅは旋回軸ＲＸの近傍に置かれるため、最新画像と直前画像とにおける風景ＬＳの変化は、前方カメラ２０Ｅの回転によるものが支配的となる。そのため、前方カメラ２０Ｅの回転を利用することが可能になる。前方カメラ２０Ｅの旋回量から一意に定まる単純な変形によって、変換画像を生成可能となる。また、画像を単純に一方向に移動させることによって、変換画像を近似できる。

【0066】

ステップＳ５において、死角領域を検出する。画像処理部２６０は、領域取得部２６３を有している。領域取得部２６３は、最新画像と直前画像との画像処理を行う。領域取得部２６３は、車室４の構造に起因する死角領域を判定する。領域取得部２６３は、最新画像の一部の画像ＩＭＧ１と直前画像の一部のＩＭＧ２とを比較して、変化が少なく変化量が閾値以下である部分を、左フロントピラー４ＦＰ１の画像ＩＦＰ１が存在しており左フロントピラー４ＦＰ１によって風景ＬＳが遮蔽されている死角領域であると認識してもよい。領域取得部２６３は、風景ＬＳを遮蔽する遮蔽物の境界を検出してもよい。領域取得部２６３は、死角領域を、ビットマップとして検出してもよい。

【0067】

左フロントピラー４ＦＰ１は前方カメラ２０Ｅに対して位置が変わらないので、旋回体３が旋回しても、左フロントピラー４ＦＰ１は画像中の同じ位置に写る。換言すると、旋回しても同じ位置に写る物体が遮蔽物である。これによって、死角領域の決定が容易である。

【0068】

ステップＳ６において、マスキングを行う。ステップＳ７において、画像を合成する。画像処理部２６０は、画像合成部２６５を有している。画像合成部２６５は、最新画像における死角領域をマスキングして、死角領域を画像の合成に使用しないようにする。図１０は、画像を合成する処理を示す図である。図１０に示される画像ＩＭＧ４１は、図７に示される画像ＩＭＧ１のうち、左フロントピラー４ＦＰ１の画像ＩＦＰ１よりも左側の部分に相当する。画像ＩＭＧ４２は、図７に示される画像ＩＭＧ１のうち、左フロントピラー４ＦＰ１の画像ＩＦＰ１よりも右側の部分に相当する。

【0069】

画像合成部２６５は、最新画像である画像ＩＭＧ４１，ＩＭＧ４２と、直前画像を視点変換した変換画像である画像ＩＭＧ３とを重ね合わせるように、画像を合成して合成画像を生成する。図１１は、合成画像の一例を示す図である。図１１に示される画像ＩＭＧ５において、左フロントピラー４ＦＰ１の画像ＩＦＰ１よりも左側に画像ＩＭＧ５１が存在し、ＩＦＰ１よりも右側に画像ＩＭＧ５２と画像ＩＭＧ５２とが存在している。画像ＩＭＧ５１と、図１０に示される画像ＩＭＧ４１とは同じである。画像ＩＭＧ５２と、図１０に示される画像ＩＭＧ４２とは同じである。画像ＩＭＧ５３は、図９，１０に示される画像ＩＭＧ３の一部分である。具体的には、画像ＩＭＧ５３は、画像ＩＭＧ３のうち左フロントピラー４ＦＰ１の画像ＩＦＰ１の直ぐ右側の部分に相当する。

【0070】

図１１に示される画像ＩＭＧ５において、画像ＩＭＧ５１と画像ＩＭＧ５２との間に、画像ＩＭＧ５３が存在する。図７に示される最新画像においては左フロントピラー４ＦＰ１の画像ＩＦＰ１が存在している箇所に、画像ＩＭＧ５３が重ね合わされている。最新画像（画像ＩＭＧ１、図７）内で風景ＬＳが左フロントピラー４ＦＰ１により遮蔽されている死角領域が、直前画像（画像ＩＭＧ２、図８）を変換した変換画像（画像ＩＭＧ３、図９，１０）の一部である画像ＩＭＧ５３によって、補完されている。

【0071】

図１２は、複数の過去画像と最新画像とを合成した図である。図１２に示される画像ＩＭＧ６において、画像ＩＭＧ６１，ＩＭＧ６２は、図７にも示される最新画像の一部分である。画像ＩＭＧ６３は、図９にも示される、直前画像を変換した変換画像の一部分である。画像ＩＭＧ６４，ＩＭＧ６５は、直前画像よりも前に撮像した過去画像を、その過去画像を撮像した時刻から最新画像を撮像した時刻までの時間における風景ＬＳの移動量に基づいて同様に変換した、変換画像の一部分である。

【0072】

画像ＩＭＧ６１，ＩＭＧ６２は、最新の画像である。画像ＩＭＧ６３は、最新画像の１つ前に撮像した画像を変換した変換画像である。画像ＩＭＧ６４は、最新画像の２つ前に撮像した画像を変換した変換画像である。画像ＩＭＧ６５は、最新画像の３つ前に撮像した画像を変換した変換画像である。最新画像内の死角領域の全部が、以前の撮像画像を変換した変換画像で補完される。最新画像内の死角領域に変換画像を重ね合わせることで、死角領域を過去画像で補完した合成画像である画像ＩＭＧ６が生成される。画像合成部２６５は、最新画像の一部である画像ＩＭＧ６１，ＩＭＧ６２と、以前の撮像画像である画像ＩＭＧ６３，ＩＭＧ６４，ＩＭＧ６５とを合成して、合成画像である画像ＩＭＧ６を生成する。

【0073】

ステップＳ８において、画像を出力する。通信装置２２は、画像合成部２６５が生成した画像ＩＭＧ６を、ネットワーク４００を介して、遠隔コントローラ６０に送信する。遠隔コントローラ６０の画像出力部６７は、通信装置７２が車体コントローラ２６から受信した画像ＩＭＧ６を表示装置５０に出力して、表示装置５０に画像ＩＭＧ６を表示させる。

【0074】

ステップＳ８の処理の後、処理はリターンされ、より新しい撮像画像を用いた合成画像が生成されて表示装置５０に表示される処理が繰り返される。

【0075】

以上説明した実施形態の画像生成システムは、図４に示されるように、遠隔操作側の表示装置５０と、カメラ２０によって撮像された撮像画像を記録する記録部２７０と、撮像画像を処理する画像処理部２６０とを備えている。図５～７に示されるように、画像取得部２６１は、最新の撮像画像である最新画像（画像ＩＭＧ１）を取得する。図５，８～１０に示されるように、視点変換部２６４は、記録部２７０に記録されている以前の撮像画像（画像ＩＭＧ２）を、カメラ２０が最新画像を撮像したときのカメラ２０の向きに合わせて変換した変換画像（画像ＩＭＧ３）を生成する。図５，１０～１２に示されるように、画像出力部６７は、最新画像内で撮像対象が左フロントピラー４ＦＰ１により遮蔽されている死角領域である画像ＩＦＰ１を変換画像で補完した補完画像（画像ＩＭＧ６）を、表示装置５０に表示させる。

【0076】

最新の画像ＩＭＧ１において遮蔽物により遮蔽されている風景ＬＳが、以前に撮像した画像においては遮蔽物により遮蔽されておらず、撮像された画像中に含まれている。以前に撮像された画像ＩＭＧ２を、最新の画像ＩＭＧ１を撮像したときのカメラ２０の向きに合わせて変換した画像ＩＭＧ３を生成しておき、最新の画像ＩＭＧ１と変換した画像ＩＭＧ３とを重ね合わせる。このとき、最新の画像ＩＭＧ１における死角領域である画像ＩＦＰ１をマスキングして、画像ＩＭＧ１と画像ＩＭＧ３との重ね合わせに使用しないようにする。これにより、死角領域が以前の撮像画像によって補完された補完画像が得られる。

【0077】

補完画像を表示装置５０に表示することで、あたかも左フロントピラー４ＦＰ１を透明化したかのような画像をオペレータに提示できる。撮像対象を遮蔽する遮蔽物を見かけ上無くした画像をオペレータに提供できるので、撮像対象の視認性を向上することができる。

【0078】

前方カメラ２０Ｅにより、オペレータが車室４に搭乗して油圧ショベル１００を操作する場合と近い視点からの撮像画像が撮像される。前方カメラ２０Ｅの撮像画像に基づいて、遠隔操作用の画像を表示装置５０に表示することにより、油圧ショベル１００を遠隔操作するオペレータに、より直感的で鮮明な画像を提示することができる。

【0079】

図５，１１～１２に示されるように、画像処理部２６０は、最新画像内の死角領域である画像ＩＦＰ１に変換した画像ＩＭＧ３を重ね合わせた合成画像である画像ＩＭＧ６を生成し、画像ＩＭＧ６を表示装置５０に表示させる。複数の画像を合成した合成画像を画像処理部２６０で生成して、その合成画像を表示装置５０に表示させることで、撮像対象を遮蔽する遮蔽物を見かけ上無くした画像を確実にオペレータに提供でき、撮像対象の視認性を向上することができる。

【0080】

図１２に示されるように、画像処理部２６０は、複数の以前の撮像画像から変換画像を生成する。最新画像内の死角領域を完全に補完できるまで変換画像を生成し、これらの変換画像で死角領域を補完することにより、撮像対象を遮蔽する遮蔽物を見かけ上無くした画像を確実にオペレータに提供でき、撮像対象の視認性を向上することができる。

【0081】

図１に示されるように、油圧ショベル１００は、旋回軸ＲＸを中心に回転する旋回体３を有している。図１，４に示されるように、カメラ２０が旋回体３に搭載されている。旋回体３の旋回中に撮像された以前の撮像画像を利用して、最新画像内の死角領域を補完することで、撮像対象を遮蔽する遮蔽物を見かけ上無くした画像を確実にオペレータに提供でき、撮像対象の視認性を向上することができる。

【0082】

図１に示されるように、旋回体３は、車室４を有している。前方カメラ２０Ｅは、車室４に収容されている。図６，７に示されるように、前方カメラ２０Ｅによる撮像画像内には、左フロントピラー４ＦＰ１の画像ＩＦＰ１が含まれ、画像ＩＦＰ１は撮像対象である風景ＬＳを遮蔽している。実施形態の画像生成システムによって、最新画像内の死角領域を補完することで、撮像対象を遮蔽する遮蔽物を見かけ上無くした画像を確実にオペレータに提供でき、撮像対象の視認性を向上することができる。

【0083】

図５，８～９に示されるように、画像処理部２６０は、以前の撮像画像を撮像したときから最新画像を撮像したときまでの旋回体３の旋回角度に基づいて、以前の撮像画像の位置をずらして、変換画像を生成する。油圧ショベル１００において、旋回体３が旋回する方向は特定されているので、旋回角度に基づいて撮像画像の位置をずらして変換画像を生成する処理は容易であり、より高精度な変換画像を生成することができる。

【0084】

［第２実施形態］
図１３は、第２実施形態に係る画像生成システムの構成例を示す機能ブロック図である。図４と比較して、図１３に示される第２実施形態の画像形成システムは、画像処理部２６０が画像合成部２６５に替えて補完画像生成部２６６を有する点で異なっている。第１実施形態では、最新画像内の死角領域に以前の撮像画像を変換した変換画像を重ね合わせることで、合成画像を生成し、その合成画像を表示装置５０に表示させたが、この例に限られるものではない。

【0085】

第２実施形態の画像形成システムでは、領域取得部２６３は、最新画像内の死角領域を取得する。視点変換部２６４は、カメラ２０が最新画像を撮像したときのカメラ２０の向きに合わせて、直前画像を含む過去画像を変換して、変換画像を生成する。補完画像生成部２６６は、最新画像と変換画像とを比較して、変換画像のうち、死角領域に重なり合う一部分を抽出し、その抽出した部分を補完画像とする。補完画像生成部２６６は、死角領域を完全に補完できるまで、以前の撮像画像である過去画像を変換し、死角領域に重なり合う部分を補完画像として抽出する。補完画像生成部２６６は、複数の補完画像を生成できる。

【0086】

通信装置２２は、最新画像と補完画像とを、ネットワーク４００を介して遠隔コントローラ６０に送信する。遠隔コントローラ６０の画像出力部６７は、最新画像を表示装置５０に表示させ、表示装置５０における最新画像の死角領域に相当する領域に補完画像を表示させる。

【0087】

このように、非死角領域の画像と死角領域を補完する画像とを各々表示装置５０に出力することで、第１実施形態で説明した合成画像を合成する場合と同様に、見かけ上死角領域を無くした画像を、表示装置５０に表示させることができる。表示装置５０に表示される画像に、撮像対象を遮蔽する遮蔽物が存在しないので、撮像対象の視認性を向上することができる。

【0088】

変換画像は、過去画像の全部を変換したものでなくてもよい。過去画像のうち、最新画像内で撮像対象が遮蔽物に遮蔽されている死角領域に相当する一部分のみを変換して、変換画像を生成してもよい。過去画像のうち死角領域に相当する部分を、ピクセル毎に逐次変換して、ピクセル単位の複数の変換画像を生成してもよい。そのピクセル単位の複数の変換画像を、ピクセル単位の複数の補完画像として用いることができる。ピクセル単位の複数の補完画像を、遠隔コントローラ６０に順にまたは同時に送信して、画像出力部６７がそれら複数の補完画像を表示装置５０に表示することで、遮蔽物を見かけ上無くした画像を確実にオペレータに提供することができる。

【0089】

［第３実施形態］
図１４は、第３実施形態に係る画像生成システムの構成例を示す機能ブロック図である。第１および第２実施形態では、油圧ショベル１００に搭載されている車体コントローラ２６が画像処理部２６０を有している。これに対し、第３実施形態の画像生成システムでは、遠隔操作側の遠隔コントローラ６０が画像処理部６００を有している。

【0090】

油圧ショベル１００は、旋回角度センサ２７を備えている。旋回角度センサ２７は、走行体５に対する旋回体３の旋回角度を検出する。旋回角度センサ２７はたとえば、旋回モータの回転軸に設けられたレゾルバであってもよく、旋回体３に搭載されているＩＭＵ（Inertial Measurement Unit）であってもよい。

【0091】

車体コントローラ２６は、図４にも示される画像取得部２６１と、旋回角度取得部２６７とを有している。旋回角度取得部２６７は、旋回角度センサ２７の検出値から、所定時間内に旋回体３が旋回した角度を取得する。

【0092】

遠隔操作システム２００は、記録部６１０を備えている。記録部６１０には、過去画像データ６１８が記録されている。記録部６１０は、ネットワーク４００を介して遠隔操作システム２００に送信された撮像画像を、過去画像として記録する。

【0093】

記録部６１０にはまた、カメラ方向データ６１１が記録されている。カメラ方向データ６１１は、前方カメラ２０Ｅが画像を撮像するときの前方カメラ２０Ｅの向きを示す。たとえば、カメラ方向データ６１１は、ＩＴＲＦ（International Terrestrial Reference Frame）座標系における前方カメラ２０Ｅの光軸の方向を示すものであってもよい。カメラ方向データ６１１は、遠隔操作システム２００に入力されて、記録部６１０に記録される。

【0094】

記録部６１０にはまた、死角領域データ６１２が記録されている。以下の手順によって、死角領域データ６１２が記録部６１０に記録される。車室４の形状および車室４への前方カメラ２０Ｅの取付位置の設計値が、事前に遠隔操作システム２００に入力される。これらの設計値から、撮像画像の中でどの領域に車室４を構成する構造物が存在するのかを、予め求めておく。たとえば、図６に示される画像ＩＭＧ中の、左フロントピラー４ＦＰ１の画像ＩＦＰ１および右フロントピラー４ＦＰ２の画像ＩＦＰ２の位置が求められる。撮像画像中の、車室４を構成する構造物の位置を死角領域と認定して、記録部６１０に記録する。左フロントピラー４ＦＰ１および右フロントピラー４ＦＰ２は前方カメラ２０Ｅに対して位置が変わらないので、死角領域の決定が容易である。

【0095】

図１５は、第３実施形態に係る画像生成方法の一例を示すフローチャートである。図１４および図１５を参照して、第３実施形態に係る画像生成方法について説明する。第１実施形態と同様に、旋回体３の旋回中に撮像対象を撮像する場合の例を説明する。

【0096】

図１５に示されるように、まずステップＳ１１において、最新画像を取得する。画像取得部２６１は、油圧ショベル１００のカメラ２０によって撮像された最新の撮像画像である、最新画像を取得する。

【0097】

ステップＳ１２において、旋回角度を取得する。旋回角度取得部２６７は、旋回角度センサ２７の検出値から、旋回体３の旋回角度を取得する。旋回角度取得部２６７は、最新画像の直前の直前画像を撮像した時刻から最新画像を撮像した時刻までの時間における、旋回体３の旋回角度を取得する。

【0098】

通信装置２２は、カメラ２０で撮像され画像取得部２６１が取得した撮像画像と、旋回角度取得部２６７が取得した旋回体３の旋回角度とを、ネットワーク４００を介して、遠隔操作システム２００に送信する。

【0099】

ステップＳ１３において、最新画像よりも前に撮像された以前の撮像画像である過去画像を読み出す。画像処理部６００は、視点変換部６０４を有している。視点変換部６０４は、記録部６１０から過去画像を読み出す。典型的には、視点変換部６０４は、最新画像の直前に撮像された過去画像である直前画像を読み出す。

【0100】

ステップＳ１４において、カメラ方向を取得する。画像処理部６００は、方向取得部６０１を有している。方向取得部６０１は、カメラ２０が過去画像を撮像したときのカメラ２０の向きを示すカメラ方向データ６１１を、記録部６１０から読み出す。方向取得部６０１は、前方カメラ２０Ｅの向きを示すデータを、記録部６１０から読み出す。

【0101】

ステップＳ１５において、変換画像を生成する。視点変換部６０４は、旋回体３の旋回角度と、前方カメラ２０Ｅの向きとに基づき、前方カメラ２０Ｅが最新画像を撮像したときの前方カメラ２０Ｅの向きに合わせて、直前画像を含む過去画像を変換する。視点変換部６０４は、過去画像を撮像した時刻から最新画像を撮像した時刻までの旋回体３の旋回角度の分だけ、過去画像をずらして、過去画像に含まれる風景が最新画像に含まれる風景とぴったり重なるようにする。

【0102】

ステップＳ１６において、死角領域を取得する。画像処理部６００は、領域取得部６０３を有している。領域取得部６０３は、記録部６１０から死角領域データ６１２を読み出す。領域取得部６０３は、前方カメラ２０Ｅによる撮像画像内の死角領域、典型的には左フロントピラー４ＦＰ１の画像ＩＦＰ１および右フロントピラー４ＦＰ２の画像ＩＦＰ２の位置を取得する。

【0103】

ステップＳ１７において、マスキングを行う。ステップＳ１８において、画像を合成する。画像処理部６００は、画像合成部２６５を有している。画像合成部６０５は、最新画像における死角領域をマスキングして、死角領域を画像の合成に使用しないようにする。画像合成部６０５は、最新画像の一部と変換画像の一部とを重ね合わせるように画像を合成する。必要に応じて、画像合成部６０５は、複数の過去画像を変換した複数の変換画像と最新画像とを合成して、合成画像を生成する。

【0104】

ステップＳ１９において、画像を出力する。画像出力部６７は、ステップＳ１８で生成した合成画像を表示装置５０に出力して、表示装置５０に合成画像を表示させる。

【0105】

ステップＳ１９の処理の後、処理はリターンされ、より新しい撮像画像を用いた合成画像が生成されて表示装置５０に表示される処理が繰り返される。

【0106】

第３実施形態の画像生成システムによっても、第１実施形態と同様に、見かけ上死角領域を無くした画像を、表示装置５０に表示させることができる。表示装置５０に表示される画像に、撮像対象を遮蔽する遮蔽物が存在しないので、撮像対象の視認性を向上することができる。

【0107】

表示装置５０に表示する画像を生成する画像生成システムは、作業機械側の車体コントローラ２６に搭載されていてもよく、遠隔操作側の遠隔コントローラ６０に搭載されていてもよく、管制用コンピュータなどのその他のコンピュータに搭載されていてもよい。

【0108】

［第４実施形態］
図１６は、第４実施形態に係る、カメラによる撮像の状況を示す模式図である。第４実施形態では、模式的に同一平面上に横並びに配置されている風景ＬＳＡ，ＬＳＢ，ＬＳＣを、旋回方向ＲＤに旋回するカメラ２０で順に撮像する例について説明する。

【0109】

図１７は、第４実施形態に係る撮像画像の一例を示す図である。画像ＩＭＧ１０１には、風景ＬＳＡ，ＬＳＢが含まれている。画像ＩＭＧ１０１は、風景ＬＳＡ，ＬＳＢを斜めから撮像した撮像画像である。画像ＩＭＧ１０２には、風景ＬＳＢと、風景ＬＳＡ，ＬＳＣの一部とが含まれている。画像ＩＭＧ１０２は、風景ＬＳＢを正面から撮像した撮像画像である。画像ＩＭＧ１０３には、風景ＬＳＢ，ＬＳＣが含まれている。画像ＩＭＧ１０３は、風景ＬＳＢ，ＬＳＣを斜めから撮像した撮像画像である。

【0110】

図１８は、第４実施形態に係る合成画像の一例を示す図である。図１６に示されるようにカメラ２０をその場で旋回させて、図１７に示される複数の画像ＩＭＧ１０１，ＩＭＧ１０２，ＩＭＧ１０３を連続的に撮像し、画像ＩＭＧ１０１，ＩＭＧ１０２，ＩＭＧ１０３の共通部分を重ねるようにつなげることで、１つの画像に合成することができる。図１８に示される画像ＩＭＧ１１１は、図１７に示される画像ＩＭＧ１０１を変形させたものである。画像ＩＭＧ１１２は、画像ＩＭＧ１０２を変形させたものである。

【0111】

直前に撮像された画像ＩＭＧ１０３を基準に合成画像を生成する場合、カメラ２０の旋回角度に基づいて以前に撮像された画像ＩＭＧ１０１，ＩＭＧ１０２の位置をずらすとともに変形させることで、より精密な合成画像を生成することができる。これにより、撮像対象の視認性をさらに向上することができる。

【0112】

上記の実施形態では、表示装置５０に表示させる画像から左フロントピラー４ＦＰ１の画像ＩＦＰ１を見かけ上除去する例を説明した。画像から除去できるのは、ピラー、サイドミラーなどの車室４を構成する構造物に限られない。画像から、作業機２の一部または全部を除去してもよい。ブームシリンダ１０、アームシリンダ１１およびバケットシリンダ１２を除去して作業機２の本体部分を構成するブーム６、アーム７およびバケット８を表示装置５０に表示させてもよい。作業機２の先端に配置された掘削・積込用の作業具であるバケット８のみを表示装置５０に表示させてもよく、バケット８の刃先のみを表示装置５０に表示させてもよい。

【0113】

実施形態では、旋回体３の旋回中に撮像対象を撮像する場合の例を説明したが、旋回体３の旋回中に撮像した撮像画像の画像処理に限られるものではない。旋回体３は走行体５に対して旋回しておらず、旋回体３に対して作業機２が動作している場合において、作業機２を表示装置５０に表示させなくすることも可能である。この場合、複数の撮像画像と、複数の撮像画像を撮像した時刻および作業機２の移動速度とに基づいて、表示装置５０に表示させる画像から作業機２の一部または全部を除去することができる。作業機２の移動速度は、作業機２を駆動する各油圧シリンダに取り付けられたストロークセンサの検出値、作業機２の各要素の回転軸となる各ピンに設けられた回転角度センサの検出値、作業機２を撮像した撮像画像の画像解析、などによって取得することができる。

【0114】

実施形態では、作業機械の一例として油圧ショベル１００を挙げているが、ローディングショベル、機械式のロープショベル、バケットクレーンなどの他の種類の作業機械にも適用可能である。

【0115】

実施形態では、油圧ショベル１００が、油圧アクチュエータ３４である旋回モータを備え、旋回モータに作動油が供給されることにより旋回体３が旋回する例について説明した。この例に限られず、ショベルは、電気モータを備えてもよい。ショベルは、作業機２の動作および走行の駆動源であるエンジンと、電気エネルギーで旋回体３を駆動する電気モータとを備える、ハイブリッドショベルであってもよい。ショベルは、旋回体３の旋回、走行体５による走行、および作業機２の動作の駆動源がいずれも電動機であり、当該電動機はバッテリに蓄えられた電気エネルギーにより駆動される、電動ショベルであってもよい。

【0116】

以上のように実施形態について説明を行ったが、各実施形態において互いに組み合わせ可能な構成を適宜組み合わせてもよい。また、今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0117】

１ 本体、２ 作業機、３ 旋回体、４ 車室、４ＦＰ１ 左フロントピラー、４ＦＰ２ 右フロントピラー、４Ｓ 空間、６ ブーム、７ アーム、８ バケット、１０ ブームシリンダ、１１ アームシリンダ、１２ バケットシリンダ、２０ カメラ、２０Ａ 右前方カメラ、２０Ｂ 右側方カメラ、２０Ｃ 後方カメラ、２０Ｄ 左側方カメラ、２０Ｅ 前方カメラ、２２，７２ 通信装置、２６ 車体コントローラ、２７ 旋回角度センサ、４０ 遠隔操作装置、４５ 操縦シート、５０ 表示装置、６０ 遠隔コントローラ、６７ 画像出力部、６９ 制御信号生成部、１００ 油圧ショベル、２００ 遠隔操作システム、２６０，６００ 画像処理部、２６１ 画像取得部、２６２ 移動情報取得部、２６３，６０３ 領域取得部、２６４，６０４ 視点変換部、２６５，６０５ 画像合成部、２６６ 補完画像生成部、２６７ 旋回角度取得部、２７０，６１０ 記録部、２７８，６１８ 過去画像データ、４００ ネットワーク、６０１ 方向取得部、６１１ カメラ方向データ、６１２ 死角領域データ、ＲＤ 旋回方向、ＲＸ 旋回軸。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】