知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社小松製作所の特許一覧 ▶ 国立大学法人東京工業大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023072825
(43)【公開日】2023-05-25
(54)【発明の名称】表示システム及び表示方法
(51)【国際特許分類】
G06T 3/00 20060101AFI20230518BHJP
E02F 9/26 20060101ALI20230518BHJP
E02F 9/16 20060101ALI20230518BHJP
G06T 7/35 20170101ALI20230518BHJP
H04N 23/60 20230101ALI20230518BHJP
H04N 23/63 20230101ALI20230518BHJP
【ＦＩ】
G06T3/00 750
E02F9/26 B
E02F9/16 Z
G06T7/35
H04N5/232 290
H04N5/232 930
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2021185500
(22)【出願日】2021-11-15
(71)【出願人】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(71)【出願人】
【識別番号】304021417
【氏名又は名称】国立大学法人東京工業大学
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】北橋 正光
(72)【発明者】
【氏名】田中 正行
(72)【発明者】
【氏名】奥富 正敏
(72)【発明者】
【氏名】谷端 彩楓
【テーマコード（参考）】
2D015
5B057
5C122
5L096
【Ｆターム（参考）】
2D015GA03
2D015GB04
2D015GB06
2D015GB07
2D015HA03
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE08
5C122DA16
5C122EA01
5C122FA18
5C122FH05
5C122FH11
5C122FH18
5C122GC52
5C122GE05
5C122HA88
5C122HB01
5C122HB05
5C122HB10
5L096DA01
5L096EA14
5L096GA04
(57)【要約】
【課題】合成画像が不鮮明になる事象が発生しても、作業機械の周辺の状況を作業機械の操作者に提供すること。
【解決手段】表示システムは、第１撮像装置による撮像により得られた第１画像から複数の第１変形画像を生成する第１変形部と、第２撮像装置による撮像により得られた第２画像と複数の第１変形画像のそれぞれとを合成して複数の第１合成画像を生成する第１合成部と、複数の第１合成画像から所定の第１合成画像を選択する選択部と、選択された第１合成画像に基づいて生成される表示画像を表示装置に表示させる表示制御部と、を備える。
【選択図】図１１
【解決手段】表示システムは、第１撮像装置による撮像により得られた第１画像から複数の第１変形画像を生成する第１変形部と、第２撮像装置による撮像により得られた第２画像と複数の第１変形画像のそれぞれとを合成して複数の第１合成画像を生成する第１合成部と、複数の第１合成画像から所定の第１合成画像を選択する選択部と、選択された第１合成画像に基づいて生成される表示画像を表示装置に表示させる表示制御部と、を備える。
【選択図】図１１
【特許請求の範囲】
【請求項1】
第１撮像装置による撮像により得られた第１画像から複数の第１変形画像を生成する第１変形部と、
第２撮像装置による撮像により得られた第２画像と複数の前記第１変形画像のそれぞれとを合成して複数の第１合成画像を生成する第１合成部と、
複数の前記第１合成画像から所定の第１合成画像を選択する選択部と、
選択された前記第１合成画像に基づいて生成される表示画像を表示装置に表示させる表示制御部と、を備える、
表示システム。
第２撮像装置による撮像により得られた第２画像と複数の前記第１変形画像のそれぞれとを合成して複数の第１合成画像を生成する第１合成部と、
複数の前記第１合成画像から所定の第１合成画像を選択する選択部と、
選択された前記第１合成画像に基づいて生成される表示画像を表示装置に表示させる表示制御部と、を備える、
表示システム。
【請求項2】
前記第１変形部は、前記第１画像を所定のシフト方向にシフトして、複数の前記第１変形画像を生成する、
請求項１に記載の表示システム。
請求項１に記載の表示システム。
【請求項3】
前記第１変形部は、前記第１撮像装置の光軸に平行な奥行き方向の複数の位置のそれぞれにおいて、前記光軸に交差する画面方向の複数の位置のそれぞれに前記第１画像をシフトして、複数の前記第１変形画像を生成する、
請求項１又は請求項２に記載の表示システム。
請求項１又は請求項２に記載の表示システム。
【請求項4】
前記第１変形部は、複数の変形パラメータのそれぞれに基づいて前記第１画像を変形して、複数の前記第１変形画像を生成する、
請求項１から請求項３のいずれか一項に記載の表示システム。
請求項１から請求項３のいずれか一項に記載の表示システム。
【請求項5】
前記選択部は、選択した前記第１合成画像の生成に使用された前記変形パラメータを修正変形パラメータとして出力し、
前記修正変形パラメータに基づいて前記第１画像を変形して第２変形画像を生成する第２変形部と、
前記第２変形画像と第２画像とを合成して第２合成画像を生成する第２合成部と、を備え、
前記表示画像は、前記第２合成画像を含む、
請求項４に記載の表示システム。
前記修正変形パラメータに基づいて前記第１画像を変形して第２変形画像を生成する第２変形部と、
前記第２変形画像と第２画像とを合成して第２合成画像を生成する第２合成部と、を備え、
前記表示画像は、前記第２合成画像を含む、
請求項４に記載の表示システム。
【請求項6】
前記第１撮像装置は、赤外線撮像装置であり、
前記第２撮像装置は、可視光撮像装置である、
請求項１から請求項５のいずれか一項に記載の表示システム。
前記第２撮像装置は、可視光撮像装置である、
請求項１から請求項５のいずれか一項に記載の表示システム。
【請求項7】
前記第１撮像装置と前記第２撮像装置とは、作業機械において相互に隣り合うように配置される、
請求項１から請求項６のいずれか一項に記載の表示システム。
請求項１から請求項６のいずれか一項に記載の表示システム。
【請求項8】
第１撮像装置による撮像により得られた第１画像から複数の第１変形画像を生成することと、
第２撮像装置による撮像により得られた第２画像と複数の前記第１変形画像のそれぞれとを合成して複数の第１合成画像を生成することと、
複数の前記第１合成画像から所定の第１合成画像を選択することと、
選択された前記第１合成画像に基づいて生成される表示画像を表示装置に表示させることと、を含む、
表示方法。
第２撮像装置による撮像により得られた第２画像と複数の前記第１変形画像のそれぞれとを合成して複数の第１合成画像を生成することと、
複数の前記第１合成画像から所定の第１合成画像を選択することと、
選択された前記第１合成画像に基づいて生成される表示画像を表示装置に表示させることと、を含む、
表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示システム及び表示方法に関する。
【背景技術】
【0002】
特許文献１に開示されているような画像合成システムが知られている。非特許文献１に開示されているような画像合成方法が知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１６－０３２２８９号公報
【非特許文献】
【0004】
【非特許文献1】T. Shibata, M. Tanaka and M. Okutomi, "Gradient-Domain Image Reconstruction Framework with Intensity-Range and Base-Structure Constraints," 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, 2016, pp. 2745-2753, doi: 10.1109/CVPR.2016.300.
【発明の概要】
【発明が解決しようとする課題】
【0005】
作業機械に係る技術分野において、作業機械の周辺を可視光撮像装置と赤外光撮像装置で撮像し、可視光画像と赤外光画像とを合成し、作業機械の操作者に提供する技術が知られている。操作者は、可視光画像と赤外光画像との合成画像を確認することで、夜間や逆光状態においても作業機械の周辺の状況を確認することができる。一方で、可視光撮像装置と赤外光撮像装置が物理的な距離をもって設置されることにより、可視光画像と赤外光画像との合成画像において、視差による画像のずれが発生し、画像が不鮮明になる可能性がある。
【0006】
本開示は、合成画像が不鮮明になる事象が発生しても、作業機械の周辺の状況を作業機械の操作者に提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示に従えば、第１撮像装置による撮像により得られた第１画像から複数の第１変形画像を生成する第１変形部と、第２撮像装置による撮像により得られた第２画像と複数の第１変形画像のそれぞれとを合成して複数の第１合成画像を生成する第１合成部と、複数の第１合成画像から所定の第１合成画像を選択する選択部と、選択された第１合成画像に基づいて生成される表示画像を表示装置に表示させる表示制御部と、を備える、表示システムが提供される。
【発明の効果】
【0008】
本開示によれば、合成画像が不鮮明になる事象が発生しても、作業機械の周辺の状況を作業機械の操作者に提供することができる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示は実施形態に限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
【0011】
［遠隔操作システム］
図１は、実施形態に係る作業機械１の遠隔操作システム２を模式的に示す図である。遠隔操作システム２は、作業現場に存在する作業機械１を遠隔操作する。遠隔操作システム２の少なくとも一部は、遠隔操作地の遠隔操作室３に配置される。遠隔操作システム２は、遠隔操作装置４と、表示装置５と、制御装置６とを備える。
図１は、実施形態に係る作業機械１の遠隔操作システム２を模式的に示す図である。遠隔操作システム２は、作業現場に存在する作業機械１を遠隔操作する。遠隔操作システム２の少なくとも一部は、遠隔操作地の遠隔操作室３に配置される。遠隔操作システム２は、遠隔操作装置４と、表示装置５と、制御装置６とを備える。
【0012】
遠隔操作装置４は、作業機械１の外部の遠隔操作室３に配置される。遠隔操作装置４は、遠隔操作室３において操作者に操作される。操作者は、操縦シート７に着座した状態で、遠隔操作装置４を操作することができる。
【0013】
表示装置５は、作業機械１の外部の遠隔操作室３に配置される。表示装置５は、作業現場の画像を表示する。作業現場の画像は、作業機械１の周辺の所定範囲の画像を含む。作業機械１の周辺の所定範囲の画像は、少なくとも作業機械１の作業対象の画像を含む。作業機械１の作業対象は、作業機械１の施工対象を含む。
【0014】
表示装置５は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）のようなパネルディスプレイを含む。実施形態において、表示装置５は、相互に隣接するように配置された複数のフラットパネルディスプレイを含む。なお、表示装置５は、１つのフラットパネルディスプレイにより構成されてもよい。表示装置５は、湾曲ディスプレイやスクリーンにより構成されてもよい。
【0015】
操作者は、表示装置５に表示される作業現場の画像を確認しながら、遠隔操作装置４を操作する。作業機械１は、遠隔操作装置４によって遠隔操作される。
【0016】
制御装置６は、作業機械１の外部の遠隔操作室３に配置される。制御装置６は、コンピュータシステムを含む。
【0017】
作業機械１は、制御装置８を備える。制御装置８は、コンピュータシステムを含む。
【0018】
制御装置６と制御装置８とは、通信システム９を介して通信する。通信システム９として、インターネット（internet）、ローカルエリアネットワーク（ＬＡＮ：Local Area Network）、携帯電話通信網、及び衛星通信網が例示される。
【0019】
［作業機械］
図２は、実施形態に係る作業機械１を示す斜視図である。実施形態においては、作業機械１が油圧ショベルであることとする。作業機械１は、作業現場において稼働する。
図２は、実施形態に係る作業機械１を示す斜視図である。実施形態においては、作業機械１が油圧ショベルであることとする。作業機械１は、作業現場において稼働する。
【0020】
図２に示すように、作業機械１は、走行体１０と、走行体１０に支持される旋回体１１と、旋回体１１に支持される作業機１２と、作業機１２を駆動する油圧シリンダ１３と、可視光撮像装置１４と、赤外線撮像装置１５とを備える。
【0021】
走行体１０は、旋回体１１を支持した状態で走行可能である。旋回体１１は、走行体１０に支持された状態で旋回軸ＲＸを中心に旋回可能である。作業機１２は、旋回体１１に回動可能に連結されるブーム１２Ａと、ブーム１２Ａに回動可能に連結されるアーム１２Ｂと、アーム１２Ｂに回動可能に連結されるバケット１２Ｃとを含む。油圧シリンダ１３は、ブーム１２Ａを駆動するブームシリンダ１３Ａと、アーム１２Ｂを駆動するアームシリンダ１３Ｂと、バケット１２Ｃを駆動するバケットシリンダ１３Ｃとを含む。
【0022】
実施形態においては、旋回軸ＲＸに平行な方向を適宜、上下方向、と称し、作業機１２の回動軸に平行な方向を適宜、左右方向、と称し、旋回軸ＲＸ及び作業機１２の回動軸の両方に直交する方向を適宜、前後方向、と称する。旋回軸ＲＸを基準として作業機１２が存在する方向が前方であり、前方の逆方向が後方である。旋回軸ＲＸを基準として左右方向の一方が右方であり、右方の逆方向が左方である。走行体１０の接地面から離れる方向が上方であり、上方の逆方向が下方である。
【0023】
［可視光撮像装置及び遠赤外線撮像装置］
図３は、実施形態に係る可視光撮像装置１４及び赤外線撮像装置１５を示す斜視図である。可視光撮像装置１４及び赤外線撮像装置１５のそれぞれは、作業機械１に配置される。実施形態において、可視光撮像装置１４及び赤外線撮像装置１５のそれぞれは、旋回体１１の前部の上部に配置される。可視光撮像装置１４と赤外線撮像装置１５とは、旋回体１１よりも前方の作業現場を同時に撮像する。
図３は、実施形態に係る可視光撮像装置１４及び赤外線撮像装置１５を示す斜視図である。可視光撮像装置１４及び赤外線撮像装置１５のそれぞれは、作業機械１に配置される。実施形態において、可視光撮像装置１４及び赤外線撮像装置１５のそれぞれは、旋回体１１の前部の上部に配置される。可視光撮像装置１４と赤外線撮像装置１５とは、旋回体１１よりも前方の作業現場を同時に撮像する。
【0024】
可視光撮像装置１４と赤外線撮像装置１５とは、作業機械１において相互に隣り合うように配置される。実施形態において、可視光撮像装置１４は、赤外線撮像装置１５よりも右方に配置される。なお、可視光撮像装置１４は、赤外線撮像装置１５よりも左方に配置されてもよい。可視光撮像装置１４及び赤外線撮像装置１５のそれぞれは、旋回体１１に固定される。可視光撮像装置１４と赤外線撮像装置１５との相対位置は、一定である。
【0025】
可視光撮像装置１４は、可視光の波長範囲の画像を取得する可視光カメラを含む。可視光の波長範囲は、例えば３６０［ｎｍ］以上８３０［ｎｍ］以下である。
【0026】
赤外線撮像装置１５は、赤外線のスペクトル範囲の画像を取得可能な赤外線カメラを含む。赤外線のスペクトル範囲は、７８０［ｎｍ］以上１００［μｍ］以下である。実施形態において、赤外線撮像装置１５は、遠赤外線のスペクトル範囲の画像を取得する。赤外線撮像装置１５のスペクトル範囲は、例えば７．５［μｍ］以上１４［μｍ］以下である。
【0027】
可視光撮像装置１４及び赤外線撮像装置１５のそれぞれは、作業機械１の周辺に存在する撮像対象を撮像する。撮像対象は、物体である。可視光撮像装置１４及び赤外線撮像装置１５に撮像される撮像対象として、作業機械１の施工対象、作業機１２の掘削対象、作業現場に存在する構造物、作業機械１の少なくとも一部、作業機械１とは別の作業機械、及び作業現場で働く人物（作業者）が例示される。
【0028】
図４は、実施形態に係る可視光撮像装置１４を模式的に示す図である。可視光撮像装置１４は、光学系１４Ａと、光学系１４Ａを通過した光を受光するイメージセンサ１４Ｂとを有する。イメージセンサ１４Ｂとして、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが例示される。光学系１４Ａの光軸ＡＸ１は、実質的に前後方向へ延びる。イメージセンサ１４Ｂの撮像面１４Ｃは、実質的に光軸ＡＸ１に直交する。
【0029】
可視光撮像装置１４と同様、赤外線撮像装置１５は、光学系１５Ａと、イメージセンサ１５Ｂとを含む。光学系１５Ａの光軸ＡＸ２は、実質的に前後方向へ延びる。イメージセンサ１５Ｂの撮像面１５Ｃは、実質的に光軸ＡＸ２に直交する。
【0030】
可視光撮像装置１４と赤外線撮像装置１５は、光軸ＡＸ１と光軸ＡＸ２とがほぼ平行になるように作業機械１に固定される。
【0031】
可視光撮像装置１４は、可視光撮像装置１４の撮像範囲に配置された撮像対象を撮像する。赤外線撮像装置１５は、赤外線撮像装置１５の撮像範囲に配置された撮像対象を撮像する。可視光撮像装置１４の撮像範囲と赤外線撮像装置１５の撮像範囲の少なくとも一部とは、一致する。可視光撮像装置１４の撮像範囲は、可視光撮像装置１４の光学系１４Ａの視野範囲を含む。赤外線撮像装置１５の撮像範囲は、赤外線撮像装置１５の光学系１５Ａの視野範囲を含む。実施形態において、可視光撮像装置１４の撮像範囲と赤外線撮像装置１５の撮像範囲とは、一致する。なお、可視光撮像装置１４の撮像範囲と赤外線撮像装置１５の撮像範囲の一部とが一致してもよい。
【0032】
以下の説明において、可視光撮像装置１４により撮像された画像を適宜、可視光画像Ｇａ、と称し、赤外線撮像装置１５により撮像された画像を適宜、赤外線画像Ｇｂ、と称する。
【0033】
以下の説明において、可視光撮像装置１４の光軸ＡＸ１及び赤外線撮像装置１５の光軸ＡＸ２のそれぞれに実質的に平行な方向を適宜、奥行き方向、と称し、光軸ＡＸ１及び光軸ＡＸ２に交差する方向を適宜、画面方向、と称する。
【0034】
実施形態において、画面方向は、可視光撮像装置１４の撮像面１４Ｃ及び赤外線撮像装置１５の撮像面１５Ｃのそれぞれに実質的に平行な方向であることとする。奥行き方向は、前後方向に等しい。画面方向は、左右方向に等しい。
【0035】
［表示システム］
図５は、実施形態に係る作業機械１の遠隔操作システム２を示す機能ブロック図である。
図５は、実施形態に係る作業機械１の遠隔操作システム２を示す機能ブロック図である。
【0036】
遠隔操作システム２は、遠隔操作地に配置される通信装置１６と、通信装置１６に接続される制御装置６と、制御装置６に接続される遠隔操作装置４と、制御装置６に接続される表示装置５とを備える。
【0037】
また、遠隔操作システム２は、作業機械１に配置される通信装置１７と、通信装置１７に接続される制御装置８と、制御装置８に接続される可視光撮像装置１４と、制御装置８に接続される赤外線撮像装置１５と、制御装置８により制御される走行体１０と、制御装置８により制御される旋回体１１と、制御装置８により制御される油圧シリンダ１３とを備える。
【0038】
遠隔操作システム２は、作業現場の画像を表示する表示システム１８を有する。表示システム１８は、可視光撮像装置１４と、赤外線撮像装置１５と、制御装置６と、表示装置５とを含む。
【0039】
制御装置８は、走行体制御部１９と、旋回体制御部２０と、作業機制御部２１と、画像出力部２２とを有する。
【0040】
走行体制御部１９は、制御装置６から送信された遠隔操作装置４の操作信号を受信する。走行体制御部１９は、遠隔操作装置４の操作信号に基づいて、走行体１０の動作を制御する制御信号を出力する。
【0041】
旋回体制御部２０は、制御装置６から送信された遠隔操作装置４の操作信号を受信する。旋回体制御部２０は、遠隔操作装置４の操作信号に基づいて、旋回体１１の動作を制御する制御信号を出力する。
【0042】
作業機制御部２１は、制御装置６から送信された遠隔操作装置４の操作信号を受信する。作業機制御部２１は、遠隔操作装置４の操作信号に基づいて、作業機１２の動作を制御する制御信号を出力する。作業機１２を制御する制御信号は、油圧シリンダ１３を制御する制御信号を含む。
【0043】
画像出力部２２は、可視光撮像装置１４により撮像された可視光画像Ｇａを示す可視光画像データを出力する。また、画像出力部２２は、赤外線撮像装置１５により撮像された赤外線画像Ｇｂを示す赤外線画像データを出力する。
【0044】
通信装置１７は、通信システム９を介して通信装置１６と通信する。通信装置１７は、通信装置１６を介して制御装置６から送信された遠隔操作装置４の操作信号を受信して、制御装置８に出力する。通信装置１７は、画像出力部２２から出力された可視光画像データ及び赤外線画像データを通信装置１６に送信する。通信装置１７は、可視光画像データ及び赤外線画像データのそれぞれを圧縮するエンコーダを含む。可視光画像データ及び赤外線画像データのそれぞれは、圧縮された状態で、通信装置１７から通信装置１６に送信される。
【0045】
通信装置１６は、通信システム９を介して通信装置１７と通信する。通信装置１６は、遠隔操作装置４が操作されることにより生成された操作信号を通信装置１７に送信する。通信装置１６は、通信装置１７を介して制御装置８から送信された可視光画像データ及び赤外線画像データを受信して、制御装置６に出力する。通信装置１６は、圧縮された可視光画像データ及び赤外線画像データのそれぞれを復元するデコーダを含む。可視光画像データ及び赤外線画像データのそれぞれは、復元された状態で、通信装置１６から制御装置６に出力される。
【0046】
制御装置６は、操作信号出力部２３と、可視光画像取得部２４と、赤外線画像取得部２５と、変形パラメータ取得部２６と、画像処理部２７と、表示制御部２８とを有する。
【0047】
操作信号出力部２３は、作業機械１を遠隔操作する操作信号を出力する。遠隔操作装置４が操作者に操作されることにより、作業機械１を遠隔操作する操作信号が生成される。操作信号は、走行体１０を遠隔操作する操作信号、旋回体１１を遠隔操作する操作信号、及び作業機１２を遠隔操作する操作信号を含む。操作信号出力部２３は、遠隔操作装置４の操作信号を出力する。通信装置１６は、操作信号出力部２３から出力された操作信号を通信装置１７に送信する。
【0048】
可視光画像取得部２４は、可視光撮像装置１４によりに撮像された撮像対象の画像を示す可視光画像Ｇａを取得する。可視光画像取得部２４は、通信装置１６により復元された可視光画像データを取得することにより、可視光画像Ｇａを取得する。
【0049】
赤外線画像取得部２５は、赤外線撮像装置１５によりに撮像された撮像対象の画像を示す赤外線画像Ｇｂを取得する。赤外線撮像装置１５は、通信装置１６により復元された赤外線画像データを取得することにより、赤外線画像Ｇｂを取得する。
【0050】
変形パラメータ取得部２６は、画像の変形を表す変形パラメータを取得する。変形パラメータは、作業現場の状況に合わせて予め定められる。例えば不図示の入力装置を介して変形パラメータが制御装置６に入力されてもよい。変形パラメータ取得部２６は、入力装置から入力された変形パラメータを取得してもよい。実施形態において、変形パラメータは、複数の変形パラメータを含む変形パラメータセットを保持する。
【0051】
画像処理部２７は、可視光画像Ｇａと赤外線画像Ｇｂとに基づいて画像処理を実施して、所定の表示画像を生成する。画像処理部２７は、表示画像を所定の時間間隔で更新する。
【0052】
表示制御部２８は、画像処理部２７により生成された表示画像を表示装置５に表示させる。操作者は、表示装置５に表示される表示画像を確認しながら、遠隔操作装置４を操作する。
【0053】
［画像処理部の処理の概要］
図６は、実施形態に係る可視光撮像装置１４が撮像対象を撮像している状態の一例を模式的に示す図である。図７は、実施形態に係る赤外線撮像装置１５が撮像対象を撮像している状態の一例を模式的に示す図である。
図６は、実施形態に係る可視光撮像装置１４が撮像対象を撮像している状態の一例を模式的に示す図である。図７は、実施形態に係る赤外線撮像装置１５が撮像対象を撮像している状態の一例を模式的に示す図である。
【0054】
作業機械１の作業において、可視光撮像装置１４により撮像される可視光画像Ｇａが不鮮明になる事象が発生する可能性がある。可視光画像Ｇａが不鮮明になる事象として、作業機械１の作業に起因する粉塵の発生が例示される。図６及び図７のそれぞれに示すように、粉塵の少なくとも一部は、可視光撮像装置１４及び赤外線撮像装置１５のそれぞれと撮像対象との間の空間に発生する可能性がある。
【0055】
可視光は、粉塵を透過することができない。可視光撮像装置１４は、粉塵で遮られる撮像対象を撮像することができない。可視光撮像装置１４により撮像される可視光画像Ｇａは、粉塵と、撮像対象の一部とを含む。
【0056】
赤外線は、粉塵を透過することができる。赤外線撮像装置１５は、粉塵で遮られる撮像対象を撮像することができる。赤外線撮像装置１５により撮像される赤外線画像Ｇｂは、粉塵をほぼ含まず、撮像対象の全部を含む。
【0057】
このように、可視光撮像装置１４及び赤外線撮像装置１５のそれぞれと撮像対象との間の空間に粉塵が存在する場合、赤外線画像Ｇｂには撮像対象の全部が写るものの、可視光画像Ｇａには撮像対象の一部が写らない可能性がある。
【0058】
画像処理部２７は、可視光画像Ｇａにおいて撮像対象が写らなかった一部分を赤外線画像Ｇｂで補う処理を実施する。
【0059】
図８は、実施形態に係る画像処理部２７の処理の概要を模式的に示す図である。図８に示すように、可視光画像Ｇａには撮像対象の一部が写らず、赤外線画像Ｇｂには撮像対象の全部が写る。画像処理部２７は、可視光画像Ｇａから可視光画像Ｇａの勾配画像Ｇｃを生成する。また、画像処理部２７は、赤外線画像Ｇｂから赤外線画像Ｇｂの勾配画像Ｇｄを生成する。勾配画像Ｇｃは、可視光画像Ｇａから撮像対象のエッジが抽出された画像を含む。勾配画像Ｇｄは、赤外線画像Ｇｂから撮像対象のエッジが抽出された画像を含む。可視光画像Ｇａには撮像対象の一部が写らないので、撮像対象が写っている部分については勾配画像Ｇｃにおいてエッジが抽出されるものの、撮像対象が写っていない部分については勾配画像Ｇｃにおいてエッジが抽出されない。赤外線画像Ｇｂには撮像対象が全部写っているので、勾配画像Ｇｄにおいて撮像対象のエッジが全て抽出される。画像処理部２７は、勾配画像Ｇｃと勾配画像Ｇｄとを合成して、合成勾配画像Ｇｅを生成する。画像処理部２７は、合成勾配画像Ｇｅに色情報を合成して、合成画像Ｇｆを生成する。これにより、可視光画像Ｇａにおいて撮像対象が写らなかった一部分が赤外線画像Ｇｂで補われ、合成画像Ｇｆが生成される。合成画像Ｇｆは、表示画像として表示装置５に表示される。
【0060】
可視光撮像装置１４及び赤外線撮像装置１５には、共通のカメラ座標系が規定される。画像処理部２７は、カメラ座標系において勾配画像Ｇｃと勾配画像Ｇｄとを合成して、合成勾配画像Ｇｅを生成する。勾配画像Ｇｃと勾配画像Ｇｄとを合成することは、勾配画像Ｇｃと勾配画像Ｇｄとを重ね合わせることを含む。
【0061】
なお、図８に示す例は、可視光撮像装置１４と赤外線撮像装置１５との物理的距離が無く、光軸ＡＸ１と光軸ＡＸ２とが一致していると仮定したときの画像処理部２７の処理の概要を示す。実際には、図３等を参照して説明したように、可視光撮像装置１４と赤外線撮像装置１５とは、左右方向に離れて配置される。
【0062】
［視差の影響］
図９は、可視光撮像装置１４と赤外線撮像装置１５との視差が画像処理部２７の処理に及ぼす影響を説明するための図である。実施形態において、可視光撮像装置１４と赤外線撮像装置１５とは、左右方向に離れて配置される。そうすると、撮像対象に対する可視光撮像装置１４と赤外線撮像装置１５との視差の影響により、勾配画像Ｇｃと勾配画像Ｇｄとを単に合成しただけでは、図９に示すように、合成画像Ｇｆにおいてゴーストエッジが発生する可能性がある。すなわち、撮像対象に対する可視光撮像装置１４と赤外線撮像装置１５との視差の影響により、勾配画像Ｇｃと勾配画像Ｇｄとがずれた状態で合成されてしまう可能性がある。ゴーストエッジが発生した合成画像Ｇｆが表示画像として表示装置５に表示されると、操作者は、作業現場の状況を認識することが困難となる。
図９は、可視光撮像装置１４と赤外線撮像装置１５との視差が画像処理部２７の処理に及ぼす影響を説明するための図である。実施形態において、可視光撮像装置１４と赤外線撮像装置１５とは、左右方向に離れて配置される。そうすると、撮像対象に対する可視光撮像装置１４と赤外線撮像装置１５との視差の影響により、勾配画像Ｇｃと勾配画像Ｇｄとを単に合成しただけでは、図９に示すように、合成画像Ｇｆにおいてゴーストエッジが発生する可能性がある。すなわち、撮像対象に対する可視光撮像装置１４と赤外線撮像装置１５との視差の影響により、勾配画像Ｇｃと勾配画像Ｇｄとがずれた状態で合成されてしまう可能性がある。ゴーストエッジが発生した合成画像Ｇｆが表示画像として表示装置５に表示されると、操作者は、作業現場の状況を認識することが困難となる。
【0063】
そこで、画像処理部２７は、変形パラメータを用いて勾配画像Ｇｄを変形させて変形画像を生成した後、変形画像と可視光画像Ｇａとを合成する。これにより、合成画像Ｇｆにおいてゴーストエッジの発生が抑制される。
【0064】
［画像処理部］
図１０は、実施形態に係る画像処理部２７を示す機能ブロック図である。図１０に示すように、画像処理部２７は、輝度色情報分離部２９と、位置合わせ処理部３０と、画像変形部３１と、画像合成部３２と、輝度色情報合成部３３とを有する。
図１０は、実施形態に係る画像処理部２７を示す機能ブロック図である。図１０に示すように、画像処理部２７は、輝度色情報分離部２９と、位置合わせ処理部３０と、画像変形部３１と、画像合成部３２と、輝度色情報合成部３３とを有する。
【0065】
画像処理部２７には、可視光画像取得部２４により取得された可視光画像Ｇａと、赤外線画像取得部２５により取得された赤外線画像Ｇｂと、変形パラメータ取得部２６により取得された変形パラメータセットとが入力される。変形パラメータセットは、画像の変形を表す複数の複数の変形パラメータを含む。
【0066】
輝度色情報分離部２９には、可視光画像Ｇａが入力される。輝度色情報分離部２９は、可視光画像Ｇａを輝度画像と色情報（色成分画像）とに分離する。輝度画像は、グレイ画像である。
【0067】
位置合わせ処理部３０には、輝度画像と、赤外線画像Ｇｂと、変形パラメータセットとが入力される。位置合わせ処理部３０は、修正変形パラメータを出力する。
【0068】
画像変形部３１には、修正変形パラメータと、赤外線画像Ｇｂとが入力される。画像変形部３１は、修正変形パラメータに基づいて、赤外線画像Ｇｂを変形する。
【0069】
画像合成部３２（第２合成部）には、輝度画像と、画像変形部３１により変形された赤外線画像Ｇｂとが入力される。画像合成部３２は、輝度画像と変形後の赤外線画像Ｇｂと輝度画像とを合成して、合成輝度画像を生成する。画像合成部３２は、既存の画像合成方法に基づいて、輝度画像と変形後の赤外線画像Ｇｂとを合成する。既存の画像合成方法として、非特許文献１に記載された画像合成方法が例示される。
【0070】
輝度色情報合成部３３には、合成輝度画像と、色情報（色成分画像）とが入力される。輝度色情報合成部３３は、合成輝度画像と色情報とを合成して、合成画像Ｇｆを生成する。輝度色情報合成部３３は、既存の画像合成方法に基づいて、合成輝度画像と色情報とを合成する。既存の画像合成方法として、非特許文献１に記載された画像合成方法が例示される。
【0071】
表示制御部２８は、表示画像として合成画像Ｇｆを表示装置５に表示させる。
【0072】
なお、赤外線画像Ｇｂは、任意のグレイ画像でもよい。可視光画像Ｇａがグレイ画像の場合、輝度色情報分離部２９及び輝度色情報合成部３３は省略される。
【0073】
【0074】
図１１に示すように、位置合わせ処理部３０は、勾配情報抽出部３４と、勾配情報抽出部３５と、画像変形部３６と、勾配合成部３７と、勾配評価・パラメータ選択部３８とを有する。
【0075】
位置合わせ処理部３０には、輝度画像、赤外線画像Ｇｂ、及び変形パラメータセットが入力される。
【0076】
勾配情報抽出部３４には、輝度画像が入力される。すなわち、勾配情報抽出部３４に対する入力画像は、輝度画像である。勾配情報抽出部３４は、輝度画像の勾配画像Ｇｃを生成する。勾配情報抽出部３４は、入力画像である輝度画像の画素ごとに勾配情報を抽出して、輝度画像の勾配画像Ｇｃを生成する。
【0077】
勾配情報抽出部３４に入力される入力画像を、ｕ（ｘ，ｙ）と表すことにする。（ｘ，ｙ）は、画像座標を表す。ｕ（ｘ，ｙ）は、画像座標（ｘ，ｙ）の輝度値を表す。また、（ｘ，ｙ）の画像座標位置の勾配情報をｇ（ｘ，ｙ）で表す。勾配情報ｇ（ｘ，ｙ）は、以下の（１）式で定義される。
【0078】
【数1】
【0079】
（１）式において、Ｌ（・）はラプラシアンフィルタを表す。|・|は絶対値を表す。
【0080】
なお、勾配情報ｇ（ｘ，ｙ）は、以下の（２）式で定義されてもよい。
【0081】
【数2】
【0082】
（２）式において、ｄｘ
２（ｘ，ｙ）は、ｘ方向差分を表し、ｄｙ
２（ｘ，ｙ）は、ｙ方向差分を表す。差分としては、前方差分、後方差分、または中心差分を利用する。
【0083】
勾配情報抽出部３５には、赤外線画像Ｇｂが入力される。すなわち、勾配情報抽出部３５に対する入力画像は、赤外線画像Ｇｂである。勾配情報抽出部３５は、赤外線画像Ｇｂの勾配画像Ｇｄを生成する。勾配情報抽出部３５は、入力画像である赤外線画像Ｇｂの画素ごとに勾配情報を抽出して、赤外線画像Ｇｂの勾配画像Ｇｄを生成する。輝度画像の勾配情報と同様、赤外線画像Ｇｂの勾配情報は、上述の（１）式又は（２）式で定義される。
【0084】
勾配情報抽出部３４において画素ごとに抽出された輝度画像の勾配情報ｇ（ｘ，ｙ）により、輝度画像の勾配画像Ｇｃが生成される。勾配情報抽出部３５において画素ごとに抽出された赤外線画像Ｇｂの勾配情報ｇ（ｘ，ｙ）により、赤外線画像Ｇｂの勾配画像Ｇｄが生成される。勾配画像Ｇｃは、輝度画像から撮像対象のエッジが抽出された画像である。勾配画像Ｇｄは、赤外線画像Ｇｂから撮像対象のエッジが抽出された画像である。
【0085】
画像変形部３６には、赤外線画像Ｇｂの勾配画像Ｇｄと、変形パラメータセットとが入力される。画像変形部３６は、赤外線撮像装置１５による撮像により得られた赤外線画像Ｇｂの勾配画像Ｇｄから複数の変形勾配画像を生成する。画像変形部３６は、勾配画像Ｇｄを変形して、変形勾配画像を生成する。
【0086】
実施形態において、勾配画像Ｇｄを変形することは、カメラ座標系において勾配画像Ｇｄを所定のシフト方向にシフトさせることを含む。画像変形部３６は、カメラ座標系において勾配画像Ｇｄを所定のシフト方向にシフトして、複数の変形勾配画像を生成する。
【0087】
実施形態において、画像変形部３６は、変形パラメータセットに基づいて、赤外線画像Ｇｂの勾配画像Ｇｄから複数の変形勾配画像を生成する。すなわち、画像変形部３６は、複数の変形パラメータのそれぞれに基づいて勾配画像Ｇｄを変形して、複数の変形勾配画像を生成する。変形パラメータは、所定のシフト方向へのシフト量を含む。実施形態において、変形パラメータセットは、奥行き方向の複数の位置のそれぞれにおいて規定された、画面方向への複数のシフト量を含む。奥行き方向の複数の位置のそれぞれにおいて、複数のシフト量が定められている。
【0088】
図１２に示すように、画像変形部３６は、奥行き方向の複数の位置（ｄ１，ｄ２，…ｄＮ）を仮定する。画像変形部３６は、奥行き方向の複数の位置のそれぞれにおいて、画面方向の複数の位置のそれぞれ勾配画像Ｇｄをシフトして、複数の変形勾配画像を生成する。画像変形部３６は、変形パラメータセットに基づいて、勾配画像Ｇｄを左右方向へ異なるシフト量でシフトさせる。図１２に示す例においては、変形パラメータセットに含まれる複数の変形パラメータのうち、第１の変形パラメータに基づいて第１の変形勾配画像Ｇｄ１が生成され、第２の変形パラメータに基づいて第２の変形勾配画像Ｇｄ２が生成され、第３の変形パラメータに基づいて第３の変形勾配画像Ｇｄ３が生成され、第４の変形パラメータに基づいて第４の変形勾配画像Ｇｄ４が生成される。第１，第２，第３，第４の変形勾配画像Ｇｄ１，Ｇｄ２，Ｇｄ３，Ｇｄ４のそれぞれは、ある奥行き方向の位置において、勾配画像Ｇｄからの左右方向へのシフト量が異なる画像である。
【0089】
なお、変形勾配画像（Ｇｄ１，Ｇｄ２，Ｇｄ３，Ｇｄ４）は、４つに限定されない。変形勾配画像は、２つ又は３つでもよいし、５つ以上の任意の複数でもよい。
【0090】
勾配合成部３７には、輝度画像の勾配画像Ｇｃと、複数の変形勾配画像Ｇｄ１，Ｇｄ２，Ｇｄ３，Ｇｄ４とが入力される。勾配合成部３７は、カメラ座標系において、輝度画像の勾配画像Ｇｃと複数の変形勾配画像Ｇｄ１，Ｇｄ２，Ｇｄ３，Ｇｄ４のそれぞれとを合成して、複数の合成勾配画像を生成する。図１２に示すように、勾配画像Ｇｃと第１の変形勾配画像Ｇｄ１とが合成されることにより、第１の合成勾配画像Ｇｅ１が生成される。勾配画像Ｇｃと第２の変形勾配画像Ｇｄ２とが合成されることにより、第２の合成勾配画像Ｇｅ２が生成される。勾配画像Ｇｃと第３の変形勾配画像Ｇｄ３とが合成されることにより、第３の合成勾配画像Ｇｅ３が生成される。勾配画像Ｇｃと第４の変形勾配画像Ｇｄ４とが合成されることにより、第４の合成勾配画像Ｇｅ４が生成される。
【0091】
２つの勾配画像ｇ１（ｘ，ｙ）とｇ２（ｘ，ｙ）を合成することを考える。合成後の勾配画像をＧ（ｘ，ｙ）とする。合成勾配画像は、以下の（３）式で表される。
【0092】
【数3】
【0093】
勾配評価・パラメータ選択部３８には、変形パラメータセットと、複数の合成勾配画像（図１２に示す例では第１，第２，第３，第４の合成勾配画像Ｇｅ１，Ｇｅ２，Ｇｅ３，Ｇｅ４）とが入力される。勾配評価・パラメータ選択部３８は、変形パラメータごとに生成された合成勾配画像を評価する。勾配評価・パラメータ選択部３８は、評価指標に基づいて、複数の合成勾配画像から所定の合成勾配画像を選択する。勾配評価・パラメータ選択部３８は、評価指標の最も良い合成勾配画像に対応する変形パラメータを修正変形パラメータとして出力する。
【0094】
勾配評価・パラメータ選択部３８は、勾配を評価するために合成勾配画像に注目領域を設定する。勾配評価・パラメータ選択部３８は、勾配の評価指標として、注目領域の平均勾配の値を示す勾配エネルギーを使用する。勾配エネルギーが小さいほど評価が良く、勾配エネルギーが大きいほど評価が悪い。勾配エネルギーが小さいことは、合成勾配画像においてエッジが占める割合が少ないことを意味する。勾配エネルギーが大きいことは、合成勾配画像においてエッジが占める割合が多いことを意味する。図１２に示す第３の合成勾配画像Ｇｅ３において、勾配画像Ｇｃのエッジと第３の勾配画像Ｇｄ３のエッジとが重なっている。そのため、第３の合成勾配画像Ｇｅ３においてエッジが占める割合は、少ない。すなわち、第３の合成勾配画像Ｇｅにおいては、ゴーストエッジが少ない。したがって、第３の合成勾配画像Ｇｅ３の勾配エネルギーは小さく、評価は良い。一方、例えば第１の合成勾配画像Ｇｅ１において、勾配画像Ｇｃのエッジと第１の勾配画像Ｇｄ１のエッジとはずれている。そのため、第１の合成勾配画像Ｇｅ１においてエッジが占める割合は、多い。すなわち、第１の合成勾配画像Ｇｅ１においては、ゴーストエッジが多い。したがって、第１の合成勾配画像Ｇｅ１の勾配エネルギーは大きく、評価は悪い。第１の合成勾配画像Ｇｅ１の勾配エネルギーは大きく、評価は悪い。同様に、第２，第４の合成勾配画像Ｇｅ２，Ｇ２４において、エッジが占める割合は、多い。第２，第４の合成勾配画像Ｇｅ２，Ｇｅ４の勾配エネルギーは大きく、評価は悪い。
【0095】
図１２に示す例において、勾配評価・パラメータ選択部３８は、複数の合成勾配画像Ｇｅ１，Ｇｅ２，Ｇｅ３，Ｇｅ４から、勾配エネルギーが最も小さい第３の合成勾配画像Ｇｅ３を選択する。勾配評価・パラメータ選択部３８は、選択した第３の合成勾配画像Ｇｅ３の生成に使用された変形パラメータ、すなわち、第３の変形勾配画像Ｇｄ３の生成に使用された変形パラメータを、修正変形パラメータとして出力する。
【0096】
なお、図１１に示した例においては、赤外線画像Ｇｂから勾配画像Ｇｄが生成された後、勾配画像Ｇｄから変形勾配画像が生成されることとした。赤外線画像Ｇｂが変形されて変形赤外線画像が生成された後、変形赤外線画像から勾配情報が抽出されて勾配画像が生成されてもよい。
【0097】
［表示方法］
図１３は、実施形態に係る表示方法を示すフローチャートである。
図１３は、実施形態に係る表示方法を示すフローチャートである。
【0098】
変形パラメータ取得部２６は、予め定められている変形パラメータセットを取得する（ステップＳ１）。
【0099】
可視光撮像装置１４及び赤外線撮像装置１５のそれぞれは、作業現場の撮像対象を撮像する。画像出力部２２は、通信装置１７及び通信システム９を介して、可視光撮像装置１４により撮像された可視光画像Ｇａを示す可視光画像データを制御装置６に送信する。画像出力部２２は、通信装置１７及び通信システム９を介して、赤外線撮像装置１５により撮像された赤外線画像Ｇｂを示す赤外線画像データを制御装置６に送信する。
【0100】
可視光画像取得部２４は、画像出力部２２から送信された可視光画像Ｇａを取得する。赤外線画像取得部２５は、画像出力部２２から送信された赤外線画像Ｇｂを取得する（ステップＳ２）。
【0101】
輝度色情報分離部２９は、可視光画像Ｇａを輝度画像と色情報とに分離する（ステップＳ３）。
【0102】
勾配情報抽出部３４は、輝度画像の勾配画像Ｇｃを生成する。勾配情報抽出部３５は、赤外線画像Ｇｂの勾配画像Ｇｄを生成する（ステップＳ４）。
【0103】
画像変形部３６（第１変形部）は、変形パラメータセットに基づいて、赤外線撮像装置１５による撮像により得られた赤外線画像Ｇｂの勾配画像Ｇｄ（第１画像）から複数の変形勾配画像（第１変形画像）を生成する。図１２に示す例においては、画像変形部３６は、変形パラメータセットに基づいて、赤外線画像Ｇｂの勾配画像Ｇｄから第１，第２，第３，第４の変形勾配画像Ｇｄ１，Ｇｄ２，Ｇｄ３，Ｇｄ４を生成する（ステップＳ５）。
【0104】
勾配合成部３７（第１合成部）は、可視光撮像装置１４による撮像により得られた輝度画像の勾配画像Ｇｃ（第２画像）と複数の変形勾配画像のそれぞれとを合成して、複数の合成勾配画像（第１合成画像）を生成する。図１２に示す例においては、勾配合成部３７は、勾配画像Ｇｃと第１，第２，第３，第４の変形勾配画像Ｇｄ１，Ｇｄ２，Ｇｄ３，Ｇｄ４のそれぞれとを合成して、第１，第２，第３，第４の合成勾配画像Ｇｅ１，Ｇｅ２，Ｇｅ３，Ｇｅ４を生成する（ステップＳ６）。
【0105】
勾配評価・パラメータ選択部３８（選択部）は、評価指標である勾配エネルギーに基づいて、複数の合成勾配画像から、所定の合成勾配画像を選択する。勾配評価・パラメータ選択部３８は、複数の合成勾配画像から、勾配エネルギーが最も小さい合成勾配画像を選択する。図１２に示す例においては、勾配評価・パラメータ選択部３８は、第１，第２，第３，第４の合成勾配画像Ｇｅ１，Ｇｅ２，Ｇｅ３，Ｇｅ４から、勾配エネルギーが最も小さい第３の合成勾配画像Ｇｅ３を選択する（ステップＳ７）。
【0106】
勾配評価・パラメータ選択部３８は、ステップＳ７において選択した合成勾配画像の生成に使用された変形パラメータを修正変形パラメータとして出力する。図１２に示す例においては、勾配評価・パラメータ選択部３８は、第３の合成勾配画像Ｇｅ３の生成に使用された変形パラメータを修正変形パラメータとして出力する（ステップＳ８）。
【0107】
画像変形部３１（第２変形部）は、修正変形パラメータに基づいて、赤外線画像Ｇｂを変形して、変形赤外線画像（第２変形画像）を生成する（ステップＳ９）。
【0108】
画像合成部３２（第２合成部）は、ステップＳ９において生成された変形赤外線画像と、可視光撮像装置１４による撮像により得られた輝度画像（第２画像）とを合成して、合成輝度画像（第２合成画像）を生成する（ステップＳ１０）。
【0109】
輝度色情報合成部３３は、合成輝度画像と色情報とを生成して合成画像Ｇｆを生成する（ステップＳ１１）。
【0110】
表示制御部２８は、合成画像Ｇｆ（第２合成画像）を表示画像として表示装置５に表示させる（ステップＳ１２）。
【0111】
表示制御部２８は、表示画像の表示を終了するか否かを判定する（ステップＳ１３）。
【0112】
ステップＳ１３において表示を終了しないと判定された場合（ステップＳ１３：Ｎｏ）、ステップＳ２の処理に戻る。ステップＳ２からステップＳ１２の処理は、規定の周期で実施される。
【0113】
ステップＳ１３において表示を終了すると判定された場合（ステップＳ１３：Ｙｅｓ）、表示画像の表示が終了する。
【0114】
［コンピュータシステム］
図１４は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述の制御装置６は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述の制御装置６の機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。
図１４は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述の制御装置６は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述の制御装置６の機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。
【0115】
コンピュータプログラム又はコンピュータシステム１０００は、上述の実施形態に従って、赤外線撮像装置１５による撮像により得られた勾配画像Ｇｄから複数の変形勾配画像を生成することと、可視光撮像装置１４による撮像により得られた勾配画像Ｇｃと複数の変形勾配画像のそれぞれとを合成して複数の合成勾配画像を生成することと、勾配エネルギーに基づいて、複数の合成勾配画像から所定の合成勾配画像を選択することと、選択された合成勾配画像に基づいて生成される合成画像Ｇｆを表示画像として表示装置５に表示させることと、を実行することができる。
【0116】
［効果］
以上説明したように、実施形態によれば、表示システム１８は、赤外線撮像装置１５による撮像により得られた勾配画像Ｇｄから複数の勾配変形画像（図１２に示す例では第１，第２，第３，第４の変形勾配画像Ｇｄ１，Ｇｄ２，Ｇｄ３，Ｇｄ４）を生成する画像変形部３６と、可視光撮像装置１４による撮像により得られた勾配画像Ｇｃと複数の勾配変形画像のそれぞれとを合成して複数の合成勾配画像（図１２に示す例では第１，第２，第３，第４の合成勾配画像Ｇｅ１，Ｇｅ２，Ｇｅ３，Ｇｅ４）を生成する勾配合成部３７と、勾配エネルギーに基づいて、複数の合成勾配画像から所定の勾配合成画像（図１２に示す例では第３の合成勾配画像Ｇｅ３）を選択する勾配評価・パラメータ選択部３８と、選択された勾配合成画像に基づいて生成される表示画像を表示装置５に表示させる表示制御部２８とを備える。これにより、可視光撮像装置１４により撮像される可視光画像Ｇａが不鮮明になる事象が発生しても、可視光画像Ｇａの不鮮明な部分が赤外線画像Ｇｂで補われ、表示画像においてはゴーストエッジの発生が抑制される。可視光画像Ｇａと赤外線画像Ｇｂとの合成画像が不鮮明になる事象が発生しても、表示システム１８は、作業機械１の周辺の状況を作業機械１の操作者に適正に提供することができる。
以上説明したように、実施形態によれば、表示システム１８は、赤外線撮像装置１５による撮像により得られた勾配画像Ｇｄから複数の勾配変形画像（図１２に示す例では第１，第２，第３，第４の変形勾配画像Ｇｄ１，Ｇｄ２，Ｇｄ３，Ｇｄ４）を生成する画像変形部３６と、可視光撮像装置１４による撮像により得られた勾配画像Ｇｃと複数の勾配変形画像のそれぞれとを合成して複数の合成勾配画像（図１２に示す例では第１，第２，第３，第４の合成勾配画像Ｇｅ１，Ｇｅ２，Ｇｅ３，Ｇｅ４）を生成する勾配合成部３７と、勾配エネルギーに基づいて、複数の合成勾配画像から所定の勾配合成画像（図１２に示す例では第３の合成勾配画像Ｇｅ３）を選択する勾配評価・パラメータ選択部３８と、選択された勾配合成画像に基づいて生成される表示画像を表示装置５に表示させる表示制御部２８とを備える。これにより、可視光撮像装置１４により撮像される可視光画像Ｇａが不鮮明になる事象が発生しても、可視光画像Ｇａの不鮮明な部分が赤外線画像Ｇｂで補われ、表示画像においてはゴーストエッジの発生が抑制される。可視光画像Ｇａと赤外線画像Ｇｂとの合成画像が不鮮明になる事象が発生しても、表示システム１８は、作業機械１の周辺の状況を作業機械１の操作者に適正に提供することができる。
【0117】
画像変形部３６は、勾配画像Ｇｄを所定のシフト方向（実施形態においては左右方向）にシフトして、複数の勾配変形画像を生成する。撮像対象に対する可視光撮像装置１４と赤外線撮像装置１５との視差の影響により、勾配画像Ｇｃと勾配画像Ｇｄとを単に合成しただけでは、合成画像Ｇｆにおいてゴーストエッジが発生する可能性がある。実施形態においては、所定のシフト方向にシフトされた勾配画像Ｇｄと勾配画像Ｇｃとが合成されるので、ゴーストエッジの発生が抑制される。
【0118】
画像変形部３６は、複数の変形パラメータを含む変形パラメータセットに基づいて、勾配画像Ｇｄから複数の勾配変形画像を生成する。変形パラメータセットは、作業現場の状況に合わせて予め定められている。変形パラメータは、所定のシフト方向への勾配画像Ｇｄのシフト量を含む。画像変形部３６は、変形パラメータセットに基づいて、勾配画像Ｇｄから複数の勾配変形画像を効率良く生成することができる。
【0119】
図１２を参照して説明したように、実施形態においては、合成勾配画像を生成する場合、可視光画像Ｇａから生成される勾配画像Ｇｃの位置が固定され、赤外線画像Ｇｂから生成される勾配画像Ｇｄが画面方向にシフトされる。可視光画像Ｇａが不鮮明になる事象が発生していない場合、表示装置５には可視光画像Ｇａが表示され、操作者は、可視光画像Ｇａを確認しながら遠隔操作装置４を操作する。可視光画像Ｇａが不鮮明になる事象が発生した場合、可視光画像Ｇａから生成される勾配画像Ｇｃが画面方向にシフトされると、可視光画像Ｇａが不鮮明になる事象が発生していない場合と発生した場合とで、表示装置５において可視光画像Ｇａの位置がずれる可能性がある。可視光画像Ｇａの位置がずれると、操作者は違和感を覚える可能性がある。可視光画像Ｇａから生成される勾配画像Ｇｃの位置が固定され、赤外線画像Ｇｂから生成される勾配画像Ｇｄが画面方向にシフトされることにより、可視光画像Ｇａが不鮮明になる事象が発生していない場合と発生した場合とで、表示装置５において可視光画像Ｇａの位置がずれることが抑制される。
【0120】
［その他の実施形態］
図１２を参照して説明したように、上述の実施形態においては、合成勾配画像を生成する場合、可視光画像Ｇａから生成される勾配画像Ｇｃの位置が固定され、赤外線画像Ｇｂから生成される勾配画像Ｇｄが画面方向にシフトされることとした。赤外線画像Ｇｂから生成される勾配画像Ｇｄの位置が固定され、可視光画像Ｇａから生成される勾配画像Ｇｃが画面方向にシフトされてもよい。また、勾配画像Ｇｃ及び勾配画像Ｇｄの両方が画面方向にシフトされてもよい。
図１２を参照して説明したように、上述の実施形態においては、合成勾配画像を生成する場合、可視光画像Ｇａから生成される勾配画像Ｇｃの位置が固定され、赤外線画像Ｇｂから生成される勾配画像Ｇｄが画面方向にシフトされることとした。赤外線画像Ｇｂから生成される勾配画像Ｇｄの位置が固定され、可視光画像Ｇａから生成される勾配画像Ｇｃが画面方向にシフトされてもよい。また、勾配画像Ｇｃ及び勾配画像Ｇｄの両方が画面方向にシフトされてもよい。
【0121】
上述の実施形態において、可視光撮像装置１４と赤外線撮像装置１５とは、左右方向に配置されることとした。可視光撮像装置１４と赤外線撮像装置１５とは、上下方向に配置されてもよい。図１３に示したステップＳ５において、画像変形部３６は、勾配画像Ｇｄを上下方向にシフトさせてもよい。
【0122】
上述の実施形態においては、勾配評価・パラメータ選択部３８が複数の合成勾配画像Ｇｅから所定の合成勾配画像Ｇｅを選択するとき、評価指数として勾配エネルギーを使用することとした。勾配評価・パラメータ選択部３８は、撮像画像全体で勾配エネルギーが最も小さい合成勾配画像Ｇｅを選択してもよい。なお、勾配評価・パラメータ選択部３８は、例えば表示画像上でオペレータが任意に選択した画像の領域において、勾配エネルギーの小さい合成勾配画像Ｇｅを生成し、選択した画像の領域周辺を最も鮮明に(画像ずれなく）表示させてもよい。
【0123】
上述の実施形態においては、可視光撮像装置１４により撮像される画像が不鮮明になる事象が、粉塵の発生であることとした。可視光撮像装置１４により撮像される画像が不鮮明になる事象として、粉塵の発生の他に、霧の発生、作業機械の作業が夜間に実施されることに起因する可視光の光量不足、及び撮像対象が逆光状態になることが例示される。
【0124】
霧の粒子（水滴）が可視光撮像装置１４及び赤外線撮像装置１５と撮像対象との間の空間に存在する場合、可視光は霧の粒子を透過することが困難であるが、赤外線は霧の粒子を透過することができる。したがって、表示システム１８は、上述の実施形態にしたがって合成画像Ｇｆを生成することができる。表示システム１８は、可視光撮像装置１４により撮像される可視光画像Ｇａの少なくとも一部が不鮮明になる事象が発生しても、合成画像Ｇｆを表示装置５に表示することにより、作業機械１の周辺の状況を作業機械１の操作者に提供することができる。
【0125】
上述の実施形態においては、表示システム１８が遠隔操作システム２に適用されることとした。表示装置５は、遠隔操作室３に配置されなくてもよい。表示装置５は、作業機械１の操作室（キャブ）に配置されてもよい。また、上述の実施形態で説明した制御装置６の一部の機能が作業機械１に配置されてもよい。作業機械１の操作室に搭乗した操作者は、作業機械１の操作室に配置されている表示装置５を確認しながら、作業機械１の操作室に配置されている搭乗操作装置を操作することができる。この場合においても、表示システム１８は、可視光撮像装置１４により撮像される可視光画像Ｇａが不鮮明になる事象が発生しても、作業機械１の周辺の状況を作業機械１の操作者に提供することができる。
【0126】
上述の実施形態においては、作業機械１が油圧ショベルであることとした。作業機械１は、ブルドーザでもよいし、ホイールローダでもよいし、ダンプトラックでもよい。作業機械１が例えばダンプトラックである場合、作業現場の画像として、作業機械１の周辺の画像に加え、作業機械１の進行方向の画像が表示装置５に表示されてもよい。
【符号の説明】
【0127】
１…作業機械、２…遠隔操作システム、３…遠隔操作室、４…遠隔操作装置、５…表示装置、６…制御装置、７…操縦シート、８…制御装置、９…通信システム、１０…走行体、１１…旋回体、１２…作業機、１２Ａ…ブーム、１２Ｂ…アーム、１２Ｃ…バケット、１３…油圧シリンダ、１３Ａ…ブームシリンダ、１３Ｂ…アームシリンダ、１３Ｃ…バケットシリンダ、１４…可視光撮像装置、１４Ａ…光学系、１４Ｂ…イメージセンサ、１４Ｃ…撮像面、１５…赤外線撮像装置、１５Ａ…光学系、１５Ｂ…イメージセンサ、１５Ｃ…撮像面、１６…通信装置、１７…通信装置、１８…表示システム、１９…走行体制御部、２０…旋回体制御部、２１…作業機制御部、２２…画像出力部、２３…操作信号出力部、２４…可視光画像取得部、２５…赤外線画像取得部、２６…変形パラメータ取得部、２７…画像処理部、２８…表示制御部、２９…輝度色情報分離部、３０…位置合わせ処理部、３１…画像変形部、３２…画像合成部、３３…輝度色情報合成部、３４…勾配情報抽出部、３５…勾配情報抽出部、３６…画像変形部、３７…勾配合成部、３８…勾配評価・パラメータ選択部、１０００…コンピュータシステム、１００１…プロセッサ、１００２…メインメモリ、１００３…ストレージ、１００４…インターフェース、Ｇａ…可視光画像、Ｇｂ…赤外線画像、Ｇｃ…勾配画像、Ｇｄ…勾配画像、Ｇｅ…合成勾配画像、Ｇｆ…合成画像、ＡＸ１…光軸、ＡＸ２…光軸、ＲＸ…旋回軸。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】