特開 2025-98148 表示システム及び表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025098148

(43)【公開日】2025-07-01

(54)【発明の名称】表示システム及び表示方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20250624BHJP

   G09G 5/00 20060101ALI20250624BHJP

   G09G 5/377 20060101ALI20250624BHJP

【ＦＩ】

H04N7/18 J

G09G5/00 550C

G09G5/00 530M

G09G5/377 100

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2025050028

(22)【出願日】2025-03-25

(62)【分割の表示】P 2021013735の分割

【原出願日】2021-01-29

(71)【出願人】

【識別番号】000001236

【氏名又は名称】株式会社小松製作所

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】北橋 正光

(57)【要約】      （修正有）

【課題】可視光撮像装置により撮像される画像が不鮮明になる事象が発生しても、作業機械の周辺の状況を作業機械の操作者に提供すること。
【解決手段】表示システムは、可視光撮像装置により撮像された第１対象の可視光画像を取得する可視光画像取得部と、赤外線撮像装置により撮像された第２対象の赤外線画像を取得する赤外線画像取得部と、可視光撮像装置から第１対象までの距離を示す可視光距離を複数の第１区画領域ごとに算出する可視光距離算出部と、赤外線撮像装置から第２対象までの距離を示す赤外線距離を複数の第２区画領域ごとに算出する赤外線距離算出部と、対応する第１区画領域及び第２区画領域ごとに可視光距離と赤外線距離との差が距離閾値以上か否かを判定する判定部と、差が距離閾値以上である第２区画領域と可視光画像とを合成して合成画像を生成する合成部と、合成画像が表示装置に表示されるように合成画像を出力する表示出力部とを備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

作業機械に設けられた可視光撮像装置により撮像された第１対象の画像を示す可視光画像を取得する可視光画像取得部と、
前記作業機械に設けられた赤外線撮像装置により撮像された第２対象の画像を示す赤外線画像を取得する赤外線画像取得部と、
前記可視光撮像装置から前記第１対象までの距離を示す可視光距離を前記可視光画像に規定された複数の第１区画領域ごとに算出する可視光距離算出部と、
前記赤外線撮像装置から前記第２対象までの距離を示す赤外線距離を前記赤外線画像に前記第１区画領域に対応するように規定された複数の第２区画領域ごとに算出する赤外線距離算出部と、
対応する前記第１区画領域及び前記第２区画領域ごとに前記可視光距離と前記赤外線距離との差が距離閾値以上か否かを判定する判定部と、
前記差が距離閾値以上である前記第２区画領域と前記可視光画像とを合成して合成画像を生成する合成部と、
前記合成画像が表示装置に表示されるように前記合成画像を出力する表示出力部と、を備える、
表示システム。

【請求項2】

前記合成部は、前記差が距離閾値以上である前記第２区画領域が前記第２区画領域に対応する前記可視光画像の前記第１区画領域に重畳するように、前記第２区画領域と前記可視光画像とを合成する、
請求項１に記載の表示システム。

【請求項3】

前記合成画像は、前記差が距離閾値以上である前記第２区画領域と前記差が距離閾値未満である前記第１区画領域とを含む、
請求項１又は請求項２に記載の表示システム。

【請求項4】

前記可視光撮像装置は、第１可視光カメラと、第２可視光カメラと、を含み、
前記可視光距離算出部は、前記第１可視光カメラにより撮像された可視光画像と前記第２可視光カメラにより撮像された可視光画像とをステレオ処理することにより、前記可視光距離を算出する、
請求項１から請求項３のいずれか一項に記載の表示システム。

【請求項5】

前記赤外線撮像装置は、第１赤外線カメラと、第２赤外線カメラと、を含み、
前記赤外線距離算出部は、前記第１赤外線カメラにより撮像された赤外線画像と前記第２赤外線カメラにより撮像された赤外線画像とをステレオ処理することにより、前記赤外線距離を算出する、
請求項１から請求項４のいずれか一項に記載の表示システム。

【請求項6】

前記赤外線距離に基づいて前記作業機械からの距離を示す目安線画像を生成する目安線生成部を備え、
前記表示出力部は、前記目安線画像が前記表示装置に表示されるように前記目安線画像を出力する、
請求項１から請求項５のいずれか一項に記載の表示システム。

【請求項7】

作業機械に設けられた可視光撮像装置により撮像された第１対象の画像を示す可視光画像を取得することと、
前記作業機械に設けられた赤外線撮像装置により撮像された第２対象の画像を示す赤外線画像を取得することと、
前記可視光撮像装置から前記第１対象までの距離を示す可視光距離を前記可視光画像に規定された複数の第１区画領域ごとに算出することと、
前記赤外線撮像装置から前記第２対象までの距離を示す赤外線距離を前記赤外線画像に前記第１区画領域に対応するように規定された複数の第２区画領域ごとに算出することと、
対応する前記第１区画領域及び前記第２区画領域ごとに前記可視光距離と前記赤外線距離との差が距離閾値以上か否かを判定することと、
前記差が距離閾値以上である前記第２区画領域と前記可視光画像とを合成して合成画像を生成することと、
前記合成画像が表示装置に表示されるように前記合成画像を出力することと、を含む、
表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、表示システム及び表示方法に関する。

【背景技術】

【0002】

表示システムに係る技術分野において、特許文献１に開示されているような画像処理装置が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－１０６２３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

作業機械に係る技術分野において、作業機械の周辺を可視光撮像装置で撮像する技術が知られている。可視光撮像装置により撮像された画像が作業機械の操作者に提供されることにより、操作者は、作業機械の周辺の状況を確認することができる。作業機械の作業に起因して粉塵が発生する可能性がある。また、霧が発生している状況で作業機械の作業が実施される可能性がある。粉塵又は霧が発生すると、可視光撮像装置により撮像される画像が不鮮明になる可能性がある。また、作業機械の作業が夜間に実施される場合においても、可視光撮像装置により撮像される画像が不鮮明になる可能性がある。また、逆光状態の撮像対象を撮像する場合においても、可視光撮像装置により撮像される画像が不鮮明になる可能性がある。

【0005】

本開示は、可視光撮像装置により撮像される画像が不鮮明になる事象が発生しても、作業機械の周辺の状況を作業機械の操作者に提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示に従えば、作業機械に設けられた可視光撮像装置により撮像された第１対象の画像を示す可視光画像を取得する可視光画像取得部と、前記作業機械に設けられた赤外線撮像装置により撮像された第２対象の画像を示す赤外線画像を取得する赤外線画像取得部と、前記可視光撮像装置から前記第１対象までの距離を示す可視光距離を前記可視光画像に規定された複数の第１区画領域ごとに算出する可視光距離算出部と、前記赤外線撮像装置から前記第２対象までの距離を示す赤外線距離を前記赤外線画像に前記第１区画領域に対応するように規定された複数の第２区画領域ごとに算出する赤外線距離算出部と、対応する前記第１区画領域及び前記第２区画領域ごとに前記可視光距離と前記赤外線距離との差が距離閾値以上か否かを判定する判定部と、前記差が距離閾値以上である前記第２区画領域と前記可視光画像とを合成して合成画像を生成する合成部と、前記合成画像が表示装置に表示されるように前記合成画像を出力する表示出力部と、を備える、表示システムが提供される。

【発明の効果】

【0007】

本開示によれば、可視光撮像装置により撮像される画像が不鮮明になる事象が発生しても、作業機械の周辺の状況を作業機械の操作者に提供することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る作業機械の遠隔操作システムを示す模式図である。

【図2】図２は、実施形態に係る作業機械を示す斜視図である。

【図3】図３は、実施形態に係る可視光撮像装置及び遠赤外線撮像装置を示す斜視図である。

【図4】図４は、実施形態に係る作業機械の遠隔操作システムを示す機能ブロック図である。

【図5】図５は、実施形態に係る可視光撮像装置及び赤外線撮像装置を説明するための模式図である。

【図6】図６は、実施形態に係る可視光画像及び赤外線画像を説明するための模式図である。

【図7】図７は、実施形態に係る可視光撮像装置及び赤外線撮像装置を説明するための模式図である。

【図8】図８は、実施形態に係る可視光画像及び赤外線画像を説明するための模式図である。

【図9】図９は、実施形態に係る合成画像の生成方法を説明するための模式図である。

【図10】図１０は、実施形態に係る合成画像の生成方法を説明するための模式図である。

【図11】図１１は、実施形態に係る表示装置に表示される合成画像及び目安線画像を示す模式図である。

【図12】図１２は、実施形態に係る表示方法を示すフローチャートである。

【図13】図１３は、実施形態に係るコンピュータシステムを示すブロック図である。

【発明を実施するための形態】

【0009】

以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示は実施形態に限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

【0010】

［遠隔操作システム］
図１は、実施形態に係る作業機械１の遠隔操作システム１００を示す模式図である。遠隔操作システム１００は、作業現場に存在する作業機械１を遠隔操作する。遠隔操作システム１００の少なくとも一部は、遠隔操作地の遠隔操作室２００に配置される。遠隔操作システム１００は、遠隔操作装置４０と、表示装置５０と、制御装置６０とを備える。

【0011】

遠隔操作装置４０は、作業機械１の外部の遠隔操作室２００に配置される。遠隔操作装置４０は、遠隔操作室２００において操作者に操作される。操作者は、操縦シート４５に着座した状態で、遠隔操作装置４０を操作することができる。

【0012】

表示装置５０は、作業機械１の外部の遠隔操作室２００に配置される。表示装置５０は、作業現場の画像を表示する。作業現場の画像は、作業機械１の周辺の所定範囲の画像を含む。作業機械１の周辺の所定範囲の画像は、少なくとも作業機械１の作業対象の画像を含む。作業機械１の作業対象は、作業機械１の施工対象を含む。

【0013】

表示装置５０は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）のようなフラットパネルディスプレイを含む。実施形態において、表示装置５０は、隣接するように配置された複数のフラットパネルディスプレイを含む。表示装置５０は、１つのフラットパネルディスプレイにより構成されてもよい。

【0014】

操作者は、表示装置５０に表示される作業現場の画像を確認しながら、遠隔操作装置４０を操作する。作業機械１は、遠隔操作装置４０によって遠隔操作される。

【0015】

制御装置６０は、作業機械１の外部の遠隔操作室２００に配置される。制御装置６０は、コンピュータシステムを含む。

【0016】

作業機械１は、制御装置３００を備える。制御装置３００は、コンピュータシステムを含む。

【0017】

制御装置６０と制御装置３００とは、通信システム４００を介して通信する。通信システム４００として、インターネット（internet）、ローカルエリアネットワーク（ＬＡＮ：Local Area Network）、携帯電話通信網、及び衛星通信網が例示される。

【0018】

［作業機械］
図２は、実施形態に係る作業機械１を示す斜視図である。実施形態においては、作業機械１が油圧ショベルであることとする。作業機械１は、作業現場において稼働する。

【0019】

図２に示すように、作業機械１は、走行体２と、走行体２に支持される旋回体３と、旋回体３に支持される作業機４と、作業機４を駆動する油圧シリンダ５と、可視光撮像装置２０と、赤外線撮像装置３０とを備える。

【0020】

走行体２は、旋回体３を支持した状態で走行可能である。旋回体３は、走行体２に支持された状態で旋回軸ＲＸを中心に旋回可能である。作業機４は、旋回体３に連結されるブーム４Ａと、ブーム４Ａに連結されるアーム４Ｂと、アーム４Ｂに連結されるバケット４Ｃと、油圧シリンダ５として、ブーム４Ａを駆動するブームシリンダ５Ａと、アーム４Ｂを駆動するアームシリンダ５Ｂと、バケット４Ｃを駆動するバケットシリンダ５Ｃとを含む。

【0021】

旋回軸ＲＸを基準として作業機４が存在する方向が前方であり、前方の逆方向が後方である。旋回軸ＲＸを基準として左右方向の一方が右方であり、右方の逆方向が左方である。走行体２の接地面から離れる方向が上方であり、上方の逆方向が下方である。

【0022】

可視光撮像装置２０は、作業現場を撮像する。可視光撮像装置２０は、作業機械１に設けられる。実施形態において、可視光撮像装置２０は、旋回体３に設けられる。可視光撮像装置２０は、作業機械１の周辺の所定範囲を撮像する。可視光撮像装置２０は、可視光の波長範囲の画像を取得する。可視光の波長範囲は、例えば３６０［ｎｍ］以上８３０［ｎｍ］以下である。

【0023】

赤外線撮像装置３０は、作業現場を撮像する。赤外線撮像装置３０は、作業機械１に設けられる。実施形態において、赤外線撮像装置３０は、旋回体３に設けられる。赤外線撮像装置３０は、作業機械１の周辺の所定範囲を撮像する。赤外線撮像装置３０は、赤外線のスペクトル範囲の画像を取得する。赤外線のスペクトル範囲は、７８０［ｎｍ］以上１００［μｍ］以下である。実施形態において、赤外線撮像装置３０は、遠赤外線のスペクトル範囲の画像を取得する。赤外線撮像装置３０のスペクトル範囲は、例えば７．５［μｍ］以上１４［μｍ］以下である。

【0024】

可視光撮像装置２０及び赤外線撮像装置３０のそれぞれは、作業機械１の周辺に存在する撮像対象を撮像する。撮像対象は、物体である。可視光撮像装置２０及び赤外線撮像装置３０に撮像される撮像対象として、作業機械１の施工対象、作業機４の掘削対象、作業現場に存在する構造物、作業機械１の少なくとも一部、作業機械１とは別の作業機械、及び作業現場で働く人物（作業者）が例示される。

【0025】

可視光撮像装置２０及び赤外線撮像装置３０のそれぞれは、光学系と、光学系を通過した光を受光するイメージセンサとを有する。イメージセンサは、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含む。

【0026】

可視光撮像装置２０の撮像範囲と赤外線撮像装置３０の撮像範囲の少なくとも一部とは、一致する。可視光撮像装置２０の撮像範囲は、可視光撮像装置２０の光学系の視野範囲を含む。赤外線撮像装置３０の撮像範囲は、赤外線撮像装置３０の光学系の視野範囲を含む。実施形態において、可視光撮像装置２０の撮像範囲と赤外線撮像装置３０の撮像範囲とは、一致する。なお、可視光撮像装置２０の撮像範囲と赤外線撮像装置３０の撮像範囲の一部とが一致してもよい。

【0027】

［可視光撮像装置及び遠赤外線撮像装置］
図３は、実施形態に係る可視光撮像装置２０及び赤外線撮像装置３０を示す斜視図である。図３に示すように、可視光撮像装置２０及び赤外線撮像装置３０のそれぞれは、旋回体３の前部の上部に配置される。可視光撮像装置２０及び赤外線撮像装置３０のそれぞれは、旋回体３の前方を撮像する。実施形態において、可視光撮像装置２０及び赤外線撮像装置３０により撮像される作業機械１の周辺の所定範囲は、旋回体３の前方範囲である。

【0028】

実施形態において、可視光撮像装置２０は、第１可視光カメラ２１と、第２可視光カメラ２２とを含む。第１可視光カメラ２１及び第２可視光カメラ２２のそれぞれは、可視光の波長範囲の画像を取得する。第１可視光カメラ２１と第２可視光カメラ２２とは、左右方向に配置される。

【0029】

実施形態において、赤外線撮像装置３０は、第１赤外線カメラ３１と、第２赤外線カメラ３２とを含む。第１赤外線カメラ３１及び第２赤外線カメラ３２のそれぞれは、赤外線のスペクトル範囲の画像を取得する。実施形態において、第１赤外線カメラ３１及び第２赤外線カメラ３２のそれぞれは、遠赤外線カメラである。第１赤外線カメラ３１と第２赤外線カメラ３２とは、左右方向に配置される。

【0030】

第１赤外線カメラ３１は、第１可視光カメラ２１よりも左方に配置される。第２赤外線カメラ３２は、第２可視光カメラ２２よりも右方に配置される。第１可視光カメラ２１及び第２可視光カメラ２２は、第１赤外線カメラ３１と第２赤外線カメラ３２との間に配置される。

【0031】

なお、第１赤外線カメラ３１及び第２赤外線カメラ３２が、第１可視光カメラ２１と第２可視光カメラ２２との間に配置されてもよい。

【0032】

第１可視光カメラ２１の撮像範囲と、第２可視光カメラ２２の撮像範囲と、第１赤外線カメラ３１の撮像範囲と、第２赤外線カメラ３２の撮像範囲とは、一致する。第１可視光カメラ２１と、第２可視光カメラ２２と、第１赤外線カメラ３１と、第２赤外線カメラ３２とは、旋回体３の前方範囲を同時に撮像する。

【0033】

なお、第１可視光カメラ２１の撮像範囲と第２可視光カメラ２２の撮像範囲の少なくとも一部とが一致していればよい。第１赤外線カメラ３１の撮像範囲と第２赤外線カメラ３２の撮像範囲の少なくとも一部とが一致していればよい。可視光撮像装置２０の撮像範囲と赤外線撮像装置３０の撮像範囲の一部とが一致していればよい。

【0034】

以下の説明において、可視光撮像装置２０により撮像された画像を適宜、可視光画像Ｇａ、と称し、赤外線撮像装置３０で撮像された画像を適宜、赤外線画像Ｇｂ、と称する。

【0035】

［表示システム］
図４は、実施形態に係る作業機械１の遠隔操作システム１００を示す機能ブロック図である。図４に示すように、遠隔操作システム１００は、作業現場の画像を表示する表示システム１０を有する。また、遠隔操作システム１００は、遠隔操作地に配置される通信装置６と、通信装置６に接続される制御装置６０と、制御装置６０に接続される遠隔操作装置４０と、制御装置６０に接続される表示装置５０とを備える。また、遠隔操作システム１００は、作業機械１に配置される通信装置７と、通信装置７に接続される制御装置３００と、制御装置３００に接続される可視光撮像装置２０と、制御装置３００に接続される赤外線撮像装置３０と、制御装置３００により制御される走行体２と、制御装置３００により制御される旋回体３と、制御装置３００により制御される油圧シリンダ５とを備える。表示システム１０は、可視光撮像装置２０と、赤外線撮像装置３０と、制御装置６０と、表示装置５０とを含む。

【0036】

制御装置３００は、走行体制御部３０１と、旋回体制御部３０２と、作業機制御部３０３と、画像出力部３０４とを有する。

【0037】

走行体制御部３０１は、制御装置６０から送信された遠隔操作装置４０の操作信号を受信する。走行体制御部３０１は、遠隔操作装置４０の操作信号に基づいて、走行体２の動作を制御する制御信号を出力する。

【0038】

旋回体制御部３０２は、制御装置６０から送信された遠隔操作装置４０の操作信号を受信する。旋回体制御部３０２は、遠隔操作装置４０の操作信号に基づいて、旋回体３の動作を制御する制御信号を出力する。

【0039】

作業機制御部３０３は、制御装置６０から送信された遠隔操作装置４０の操作信号を受信する。作業機制御部３０３は、遠隔操作装置４０の操作信号に基づいて、作業機４の動作を制御する制御信号を出力する。作業機４を制御する制御信号は、油圧シリンダ５を制御する制御信号を含む。

【0040】

画像出力部３０４は、可視光撮像装置２０により撮像された可視光画像Ｇａを示す可視光画像データを出力する。また、画像出力部３０４は、赤外線撮像装置３０により撮像された赤外線画像Ｇｂを示す赤外線画像データを出力する。

【0041】

通信装置７は、通信システム４００を介して通信装置６と通信する。通信装置７は、通信装置６を介して制御装置６０から送信された遠隔操作装置４０の操作信号を受信して、制御装置３００に出力する。通信装置７は、画像出力部３０４から出力された可視光画像データ及び赤外線画像データを通信装置６に送信する。通信装置７は、可視光画像データ及び赤外線画像データのそれぞれを圧縮するエンコーダを含む。可視光画像データ及び赤外線画像データのそれぞれは、圧縮された状態で、通信装置７から通信装置６に送信される。

【0042】

通信装置６は、通信システム４００を介して通信装置７と通信する。通信装置６は、遠隔操作装置４０が操作されることにより生成された操作信号を通信装置７に送信する。通信装置６は、通信装置７を介して制御装置３００から送信された可視光画像データ及び赤外線画像データを受信して、制御装置６０に出力する。通信装置６は、圧縮された可視光画像データ及び赤外線画像データのそれぞれを復元するデコーダを含む。可視光画像データ及び赤外線画像データのそれぞれは、復元された状態で、通信装置６から制御装置６０に出力される。

【0043】

制御装置６０は、操作信号出力部６１と、可視光画像取得部６２と、赤外線画像取得部６３と、可視光距離算出部６４と、赤外線距離算出部６５と、判定部６６と、合成部６７と、目安線生成部６８と、表示出力部６９とを有する。

【0044】

操作信号出力部６１は、作業機械１を遠隔操作する操作信号を出力する。遠隔操作装置４０が操作者に操作されることにより、作業機械１を遠隔操作する操作信号が生成される。操作信号出力部６１は、遠隔操作装置４０の操作信号を出力する。通信装置６は、操作信号出力部６１から出力された操作信号を通信装置７に送信する。

【0045】

可視光画像取得部６２は、可視光撮像装置２０によりに撮像された第１対象の画像を示す可視光画像Ｇａを取得する。可視光画像取得部６２は、通信装置６により復元された可視光画像データを取得することにより、可視光画像Ｇａを取得する。第１対象は、可視光撮像装置２０の撮像範囲に存在する撮像対象を含む。

【0046】

赤外線画像取得部６３は、赤外線撮像装置３０によりに撮像された第２対象の画像を示す赤外線画像Ｇｂを取得する。赤外線撮像装置３０は、通信装置６により復元された赤外線画像データを取得することにより、赤外線画像Ｇｂを取得する。第２対象は、赤外線撮像装置３０の撮像範囲に存在する撮像対象を含む。

【0047】

可視光距離算出部６４は、可視光撮像装置２０から可視光撮像装置２０の撮像範囲に存在する第１対象までの距離を示す可視光距離Ｄａを算出する。実施形態において、可視光撮像装置２０の第１可視光カメラ２１と第２可視光カメラ２２とは、ステレオカメラを構成する。可視光距離算出部６４は、第１可視光カメラ２１により撮像された可視光画像Ｇａと第２可視光カメラ２２により撮像された可視光画像Ｇａとをステレオ処理することにより、可視光撮像装置２０から第１対象までの可視光距離Ｄａを算出する。

【0048】

赤外線距離算出部６５は、赤外線撮像装置３０から赤外線撮像装置３０の撮像範囲に存在する第２対象までの距離を示す赤外線距離Ｄｂを算出する。実施形態において、赤外線撮像装置３０の第１赤外線カメラ３１と第２赤外線カメラ３２とは、ステレオカメラを構成する。赤外線距離算出部６５は、第１赤外線カメラ３１により撮像された赤外線画像Ｇｂと第２赤外線カメラ３２により撮像された赤外線画像Ｇｂとをステレオ処理することにより、赤外線撮像装置３０から第２対象までの赤外線距離Ｄｂを算出する。

【0049】

図５は、実施形態に係る可視光撮像装置２０及び赤外線撮像装置３０を説明するための模式図である。図５（Ａ）に示すように、可視光撮像装置２０は、作業機械１の周辺の所定範囲を撮像する。図５（Ｂ）に示すように、赤外線撮像装置３０は、作業機械１の周辺の所定範囲を撮像する。可視光撮像装置２０の撮像範囲と赤外線撮像装置３０の撮像範囲の少なくとも一部とは、一致する。

【0050】

図５は、可視光撮像装置２０により撮像される可視光画像Ｇａが不鮮明になる事象が発生していない状況を示す。図５において、可視光撮像装置２０により撮像される第１対象と赤外線撮像装置３０により撮像される第２対象とは、同一の撮像対象である。可視光距離算出部６４は、第１可視光カメラ２１により撮像された可視光画像Ｇａと第２可視光カメラ２２により撮像された可視光画像Ｇａとをステレオ処理することにより、可視光撮像装置２０から第１対象までの可視光距離Ｄａを算出する。赤外線距離算出部６５は、第１赤外線カメラ３１により撮像された赤外線画像Ｇｂと第２赤外線カメラ３２により撮像された赤外線画像Ｇｂとをステレオ処理することにより、赤外線撮像装置３０から第２対象までの赤外線距離Ｄｂを算出する。図５において、可視光距離Ｄａと赤外線距離Ｄｂとは、実質的に等しい。

【0051】

図６は、実施形態に係る可視光画像Ｇａ及び赤外線画像Ｇｂを説明するための模式図である。図６は、可視光撮像装置２０により撮像される可視光画像Ｇａが不鮮明になる事象が発生していないときに撮像された可視光画像Ｇａ及び赤外線画像Ｇｂを示す。図６において、可視光撮像装置２０により撮像される第１対象と赤外線撮像装置３０により撮像される第２対象とは、同一の撮像対象である。可視光画像Ｇａに現れる第１対象と赤外線画像Ｇｂに現れる第２対象とは、同一の撮像対象である。

【0052】

図６（Ａ）に示すように、可視光画像Ｇａに複数の第１区画領域Ｐａが規定される。第１区画領域Ｐａは、可視光画像Ｇａにマトリクス状に複数規定される。実施形態において、第１区画領域Ｐａは、可視光画像Ｇａの画素（画素領域）を含む。可視光画像Ｇａの画素は、可視光撮像装置２０のイメージセンサの画素に対応する。

【0053】

図６（Ｂ）に示すように、赤外線画像Ｇｂに複数の第２区画領域Ｐｂが規定される。第２区画領域Ｐｂは、赤外線画像Ｇｂにマトリクス状に複数規定される。実施形態において、第２区画領域Ｐｂは、赤外線画像Ｇｂの画素（画素領域）を含む。赤外線画像Ｇｂの画素は、赤外線撮像装置３０のイメージセンサの画素に対応する。

【0054】

図６（Ａ）及び図６（Ｂ）に示すように、可視光画像Ｇａ及び赤外線画像Ｇｂのそれぞれに画像領域の基準点Ｐｏが設定される。両方の画像の基準点Ｐｏが指し示す位置は一致し、かつ、可視光画像Ｇａを分割した第１区画領域Ｐａ及びと赤外線画像Ｇｂを分割した第２区画領域Ｐｂのそれぞれは基準点Ｐｏを基準として、大きさと位置（画像の指し示す範囲）が一致するようにキャリブレーションされている。

【0055】

実施形態において、画像を分割した第１区画領域Ｐａと第２区画領域Ｐｂとが一致していれば、可視光撮像装置２０のイメージセンサの構造と赤外線撮像装置３０のイメージセンサの構造とは、異なっていてもよい。例えば、可視光撮像装置２０のイメージセンサの画素の大きさと赤外線撮像装置３０のイメージセンサの画素の大きさ、可視光撮像装置２０のイメージセンサの画素の数（行数及び列数）と赤外線撮像装置３０のイメージセンサの画素の数（行数及び列数）、及び可視光撮像装置２０のイメージセンサにおける隣り合う画素の間隔と赤外線撮像装置３０のイメージセンサにおける隣り合う画素の間隔とは、異なってもよい。また、可視光撮像装置２０の光学系の構造と赤外線撮像装置３０のイメージセンサの構造とも、異なってもよい。例えば、可視光撮像装置２０の光学系の焦点距離と赤外線撮像装置３０の光学系の焦点距離、及び可視光撮像装置２０の系の視野範囲と赤外線撮像装置３０の光学系の視野範囲とは、異なっていてもよい。

【0056】

したがって、可視光画像Ｇａに規定された複数の第１区画領域Ｐａ（画素）と赤外線画像Ｇｂに規定された複数の第２区画領域Ｐｂ（画素）とは、１対１で対応するとともに画素が指し示す領域は位置的に一致している。

【0057】

したがって、第１区画領域Ｐａの大きさと第２区画領域Ｐｂの大きさとは、等しい。第１区画領域Ｐａの数と第２区画領域Ｐｂの数とは、等しい。

【0058】

可視光距離算出部６４は、可視光画像Ｇａに規定された複数の第１区画領域Ｐａごとに可視光距離Ｄａを算出する。可視光距離算出部６４は、可視光画像Ｇａの複数の第１区画領域Ｐａごとに、可視光撮像装置２０から可視光撮像装置２０の撮像範囲に存在する第１対象までの可視光距離Ｄａを算出する。

【0059】

赤外線距離算出部６５は、赤外線画像Ｇｂに規定された複数の第２区画領域Ｐｂごとに赤外線距離Ｄｂを算出する。赤外線距離算出部６５は、赤外線画像Ｇｂの複数の第２区画領域Ｐｂごとに、赤外線撮像装置３０から赤外線撮像装置３０の撮像範囲に存在する第２対象までの赤外線距離Ｄｂを算出する。

【0060】

判定部６６は、相互に対応する第１区画領域Ｐａ及び第２区画領域Ｐｂごとに、可視光距離Ｄａと赤外線距離Ｄｂとの差が予め定められている距離閾値以上か否かを判定する。

【0061】

図７は、実施形態に係る可視光撮像装置２０及び赤外線撮像装置３０を説明するための模式図である。図７は、可視光撮像装置２０により撮像される可視光画像Ｇａが不鮮明になる事象が発生している状況を示す。

【0062】

作業機械１の作業において、可視光画像Ｇａが不鮮明になる事象が発生する可能性がある。図７に示すように、可視光画像Ｇａが不鮮明になる事象として、作業機械１の作業に起因する粉塵の発生が例示される。図７（Ａ）に示すように、粉塵の少なくとも一部は、可視光撮像装置２０と撮像対象との間の空間に発生する可能性がある。図７（Ｂ）に示すように、粉塵の少なくとも一部は、赤外線撮像装置３０と撮像対象との間の空間に発生する可能性がある。

【0063】

可視光は、粉塵を透過することができず、可視光撮像装置２０は、粉塵で遮られる撮像対象を撮像することができない。可視光撮像装置２０により撮像される第１対象は、粉塵と、撮像対象の一部とを含む。

【0064】

赤外線は、粉塵を透過することができ、赤外線撮像装置３０は、粉塵で遮られる撮像対象を撮像することができる。赤外線撮像装置３０により撮像される第２対象は、粉塵をほぼ含まず、撮像対象を含む。

【0065】

上述のように、可視光距離算出部６４は、第１可視光カメラ２１により撮像された可視光画像Ｇａと第２可視光カメラ２２により撮像された可視光画像Ｇａとをステレオ処理することにより、可視光撮像装置２０から第１対象までの可視光距離Ｄａを算出する。可視光距離算出部６４により算出される可視光距離Ｄａは、可視光撮像装置２０から粉塵までの可視光距離Ｄａと、可視光撮像装置２０から撮像対象までの可視光距離Ｄａとを含む。可視光撮像装置２０から粉塵までの可視光距離Ｄａは、可視光撮像装置２０から撮像対象までの可視光距離Ｄａよりも短い。

【0066】

上述のように、赤外線距離算出部６５は、第１赤外線カメラ３１により撮像された赤外線画像Ｇｂと第２赤外線カメラ３２により撮像された赤外線画像Ｇｂとをステレオ処理することにより、赤外線撮像装置３０から第２対象までの赤外線距離Ｄｂを算出する。可視光距離算出部６４により算出される赤外線距離Ｄｂは、赤外線撮像装置３０から粉塵までの赤外線距離Ｄｂを含まず、赤外線撮像装置３０から撮像対象までの赤外線距離Ｄｂを含む。可視光撮像装置２０から粉塵までの可視光距離Ｄａは、赤外線撮像装置３０から撮像対象までの赤外線距離Ｄｂよりも短い。

【0067】

このように、可視光撮像装置２０及び赤外線撮像装置３０と撮像対象との間の空間に粉塵が存在する場合、可視光距離Ｄａと赤外線距離Ｄｂとに差が生じる可能性がある。判定部６６は、可視光距離Ｄａと赤外線距離Ｄｂとの差が距離閾値以上か否かを判定することにより、粉塵の有無を判定することができる。また、判定部６６は、相互に対応する第１区画領域Ｐａ及び第２区画領域Ｐｂごとに可視光距離Ｄａと赤外線距離Ｄｂとの差が距離閾値以上か否かを判定することにより、粉塵の位置を特定することができる。

【0068】

図８は、実施形態に係る可視光画像Ｇａ及び赤外線画像Ｇｂを説明するための模式図である。図８は、可視光撮像装置２０により撮像される可視光画像Ｇａが不鮮明になる事象が発生しているときに撮像された可視光画像Ｇａ及び赤外線画像Ｇｂを示す。図８（Ａ）は、図７（Ａ）を参照して説明したような粉塵が発生している状況で撮像された可視光画像Ｇａを示す。図８（Ｂ）は、図７（Ｂ）を参照して説明したような粉塵が発生している状況で撮像された赤外線画像Ｇｂを示す。

【0069】

図８に示すように、粉塵により、可視光撮像装置２０により撮像される第１対象と赤外線撮像装置３０により撮像される第２対象とは、一致しなくなる可能性がある。可視光撮像装置２０により撮像される第１対象は、粉塵と、撮像対象の一部とを含む。赤外線撮像装置３０により撮像される第２対象は、粉塵をほぼ含まず、撮像対象を含む。

【0070】

図８（Ａ）に示すように、可視光画像Ｇａには、粉塵に遮られた撮像対象の一部が現れない可能性がある。可視光画像Ｇａは、粉塵と、撮像対象の一部とを含む。

【0071】

図８（Ｂ）に示すように、赤外線画像Ｇｂには、粉塵が現れず、撮像対象が現れる。赤外線画像Ｇｂは、粉塵をほぼ含まず、撮像対象を含む。

【0072】

合成部６７は、可視光距離Ｄａと赤外線距離Ｄｂとの差が距離閾値以上である第２区画領域Ｐｂと可視光画像Ｇａとを合成して合成画像Ｇｄを生成する。

【0073】

実施形態において、可視光距離Ｄａと赤外線距離Ｄｂとの差が距離閾値以上である第２区画領域Ｐｂは、図８（Ｂ）の切り取り領域Ｇｃに含まれる複数の第２区画領域Ｐｂである。切り取り領域Ｇｃの第２区画領域Ｐｂは、可視光画像Ｇａにおいて粉塵が現れている第１区画領域Ｐａに対応する。

【0074】

切り取り領域Ｇｃの第２区画領域Ｐｂは、可視光距離Ｄａと赤外線距離Ｄｂとの差が距離閾値以上の第２区画領域Ｐｂである。実施形態において、切り取り領域Ｇｃは、可視光距離Ｄａと赤外線距離Ｄｂとの差が距離閾値以上である複数の第２区画領域Ｐｂの集合体を示す。切り取り領域Ｇｃの外側の第２区画領域Ｐｂは、可視光距離Ｄａと赤外線距離Ｄｂとの差が距離閾値未満の第２区画領域Ｐｂである。

【0075】

図９及び図１０のそれぞれは、実施形態に係る合成画像Ｇｄの生成方法を説明するための模式図である。

【0076】

図９（Ｂ）に示すように、合成部６７は、赤外線画像Ｇｂから切り取り領域Ｇｃを切り取る。すなわち、合成部６７は、可視光距離Ｄａと赤外線距離Ｄｂとの差が距離閾値以上である複数の第２区画領域Ｐｂを赤外線画像Ｇｂから切り取る。

【0077】

図９（Ａ）に示すように、合成部６７は、可視光画像Ｇａから切り取り領域Ｇｃに対応する複数の第１区画領域Ｐａを除去する。すなわち、合成部６７は、可視光距離Ｄａと赤外線距離Ｄｂとの差が距離閾値以上である複数の第１区画領域Ｐａを可視光画像Ｇａから除去する。

【0078】

切り取り領域Ｇｃに対応する第１区画領域Ｐａは、可視光距離Ｄａと赤外線距離Ｄｂとの差が距離閾値以上の第１区画領域Ｐａである。切り取り領域Ｇｃに対応しない第１区画領域Ｐａは、可視光距離Ｄａと赤外線距離Ｄｂとの差が距離閾値未満の第１区画領域Ｐａである。

【0079】

図１０に示すように、合成部６７は、赤外線画像Ｇｂから切り取った切り取り領域Ｇｃと、切り取り領域Ｇｃに対応する複数の第１区画領域Ｐａが除去された可視光画像Ｇａとを合成して、合成画像Ｇｄを生成する。合成部６７は、可視光距離Ｄａと赤外線距離Ｄｂとの差が距離閾値以上である複数の第２区画領域Ｐｂを含む切り取り領域Ｇｃが切り取り領域Ｇｃに対応する可視光画像Ｇａの第１区画領域Ｐａに重畳するように、切り取り領域Ｇｃと可視光画像Ｇａとを合成する。実施形態において、合成部６７は、可視光画像Ｇａにおいて第１区画領域Ｐａが除去された部分に、可視光距離Ｄａと赤外線距離Ｄｂとの差が距離閾値以上である複数の第２区画領域Ｐｂを含む切り取り領域Ｇｃを当て嵌める。

【0080】

なお、合成部６７は、可視光画像Ｇａに切り取り領域Ｇｃを当て嵌めた後（重畳させた後）、可視光画像Ｇａと切り取り領域Ｇｃとの境界をスムージング処理してもよい。

【0081】

図１０に示すように、合成画像Ｇｄは、可視光距離Ｄａと赤外線距離Ｄｂとの差が距離閾値以上である複数の第２区画領域Ｐｂと、可視光距離Ｄａと赤外線距離Ｄｂとの差が距離閾値未満である複数の第１区画領域Ｐａとを含む。すなわち、合成画像Ｇｄは、可視光画像Ｇａの一部と赤外線画像Ｇｂの一部とにより構成される。

【0082】

目安線生成部６８は、赤外線距離算出部６５により算出された赤外線距離Ｄｂに基づいて、作業機械１からの距離を示す目安線画像Ｇｅを生成する。

【0083】

表示出力部６９は、合成部６７により生成された合成画像Ｇｄが表示装置５０に表示されるように、合成画像Ｇｄを表示装置５０に出力する。また、表示出力部６９は、目安線生成部６８により生成された目安線画像Ｇｅが表示装置５０に表示されるように、目安線画像Ｇｅを表示装置５０に出力する。

【0084】

図１１は、実施形態に係る表示装置５０に表示される合成画像Ｇｄ及び目安線画像Ｇｅを示す模式図である。

【0085】

合成画像Ｇｄが表示装置５０に表示されることにより、粉塵が発生しても、作業機械１の操作者は、表示装置５０を確認して、作業機械１の周辺の状況を認識することができる。また、目安線画像Ｇｅが表示装置５０に表示されることにより、作業機械１の操作者は、表示装置５０を確認して、作業機械１から撮像対象（施工対象）までの距離を認識することができる。

【0086】

［表示方法］
図１２は、実施形態に係る表示方法を示すフローチャートである。

【0087】

可視光撮像装置２０は、作業機械１の周辺を撮像する。赤外線撮像装置３０は、作業機械１の周辺を撮像する。画像出力部３０４は、通信装置７及び通信システム４００を介して、可視光撮像装置２０により撮像された可視光画像Ｇａを示す可視光画像データを制御装置６０に送信する。画像出力部３０４は、通信装置７及び通信システム４００を介して、赤外線撮像装置３０により撮像された赤外線画像Ｇｂを示す赤外線画像データを制御装置６０に送信する。

【0088】

可視光画像取得部６２は、画像出力部３０４から送信された可視光画像Ｇａを取得する（ステップＳ１）。

【0089】

赤外線画像取得部６３は、画像出力部３０４から送信された赤外線画像Ｇｂを取得する（ステップＳ２）。

【0090】

可視光距離算出部６４は、第１可視光カメラ２１により撮像された可視光画像Ｇａと第２可視光カメラ２２により撮像された可視光画像Ｇａとをステレオ処理することにより、可視光撮像装置２０から第１対象までの距離を示す可視光距離Ｄａを可視光画像Ｇａに規定された複数の第１区画領域Ｐａごとに算出する（ステップＳ３）。

【0091】

赤外線距離算出部６５は、第１赤外線カメラ３１により撮像された赤外線画像Ｇｂと第２赤外線カメラ３２により撮像された赤外線画像Ｇｂとをステレオ処理することにより、赤外線撮像装置３０から第２対象までの距離を示す赤外線距離Ｄｂを赤外線画像Ｇｂに第１区画領域Ｐａに対応するように規定された複数の第２区画領域Ｐｂごとに算出する（ステップＳ４）。

【0092】

判定部６６は、相互に対応する第１区画領域Ｐａ及び第２区画領域Ｐｂごとに可視光距離Ｄａと赤外線距離Ｄｂとの差が予め定められている距離閾値以上か否かを判定する。すなわち、判定部６６は、相互に対応する第１区画領域Ｐａ及び第２区画領域Ｐｂごとに可視光距離Ｄａと赤外線距離Ｄｂとの差が大きいか否かを判定する。また、判定部６６は、可視光距離Ｄａと赤外線距離Ｄｂとの差が距離閾値以上である第２区画領域Ｐｂが存在するか否かを判定する（ステップＳ５）。

【0093】

ステップＳ５において、可視光距離Ｄａと赤外線距離Ｄｂとの差が距離閾値以上である第２区画領域Ｐｂが存在すると判定した場合、すなわち、可視光距離Ｄａと赤外線距離Ｄｂとの差が大きいと判定した場合（ステップＳ５：Ｙｅｓ）、判定部６６は、可視光距離Ｄａと赤外線距離Ｄｂとの差が距離閾値以上である複数の第２区画領域Ｐｂの集合体を示す切り取り領域Ｇｃが予め定められている領域閾値以上か否かを判定する。すなわち、判定部６６は、赤外線画像Ｇｂを占める切り取り領域Ｇｃの大きさ（割合）が大きいか否かを判定する（ステップＳ６）。

【0094】

ステップＳ６において、切り取り領域Ｇｃが領域閾値以上であると判定された場合（ステップＳ６：Ｙｅｓ）、すなわち、赤外線画像Ｇｂを占める切り取り領域Ｇｃの大きさが大きいと判定された場合、合成部６７は、切り取り領域Ｇｃと可視光画像Ｇａとを合成して合成画像Ｇｄを生成する（ステップＳ７）。

【0095】

また、目安線生成部６８は、赤外線距離算出部６５により算出された赤外線距離Ｄｂに基づいて、作業機械１からの距離を示す目安線画像Ｇｅを生成する。

【0096】

表示出力部６９は、合成部６７により生成された合成画像Ｇｄが表示装置５０に表示されるように、合成画像Ｇｄを表示装置５０に出力する。また、表示出力部６９は、目安線生成部６８により生成された目安線画像Ｇｅが表示装置５０に表示されるように、目安線画像Ｇｅを表示装置５０に出力する。これにより、図１１に示したように、合成画像Ｇｄと目安線画像Ｇｅとが表示装置５０に表示される（ステップＳ８）。

【0097】

ステップＳ５において、可視光距離Ｄａと赤外線距離Ｄｂとの差が距離閾値以上である第２区画領域Ｐｂが存在しないと判定された場合（ステップＳ５：Ｎｏ）、表示出力部６９は、可視光画像Ｇａが表示装置５０に表示されるように、可視光画像Ｇａを表示装置５０に出力する。また、表示出力部６９は、目安線生成部６８により生成された目安線画像Ｇｅが表示装置５０に表示されるように、目安線画像Ｇｅを表示装置５０に出力する。これにより、可視光画像Ｇａと目安線画像Ｇｅとが表示装置５０に表示される（ステップＳ９）。

【0098】

ステップＳ６において、切り取り領域Ｇｃが領域閾値未満であると判定された場合、すなわち、赤外線画像Ｇｂを占める切り取り領域Ｇｃの大きさが小さいと判定された場合（ステップＳ６：Ｙｅｓ）、表示出力部６９は、可視光画像Ｇａが表示装置５０に表示されるように、可視光画像Ｇａを表示装置５０に出力する。また、表示出力部６９は、目安線生成部６８により生成された目安線画像Ｇｅが表示装置５０に表示されるように、目安線画像Ｇｅを表示装置５０に出力する。これにより、可視光画像Ｇａと目安線画像Ｇｅとが表示装置５０に表示される（ステップＳ９）。

【0099】

すなわち、実施形態においては、可視光距離Ｄａと赤外線距離Ｄｂとの差が距離閾値以上である第２区画領域Ｐｂが存在しても、その第２区画領域Ｐｂの数が少ない場合、すなわち、切り取り領域Ｇｃが小さい場合、合成画像Ｇｄは表示装置５０に表示されず、可視光画像Ｇａが表示装置５０に表示される。換言すれば、粉塵が発生しても、撮像対象のうち粉塵に遮られる領域が小さい場合、合成画像Ｇｄは表示装置５０に表示されず、可視光画像Ｇａが表示装置５０に表示される。

【0100】

なお、ステップＳ６の処理は、無くてもよい。

【0101】

［コンピュータシステム］
図１３は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述の制御装置６０は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述の制御装置６０の機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。

【0102】

コンピュータプログラム又はコンピュータシステム１０００は、上述の実施形態に従って、作業機械１の周辺の所定範囲を撮像する可視光撮像装置２０により撮像された第１対象の画像を示す可視光画像Ｇａを取得することと、作業機械１の周辺の所定範囲を撮像する赤外線撮像装置３０により撮像された第２対象の画像を示す赤外線画像Ｇｂを取得することと、可視光撮像装置２０から第１対象までの距離を示す可視光距離Ｄａを可視光画像Ｇａに規定された複数の第１区画領域Ｐａごとに算出することと、赤外線撮像装置３０から第２対象までの距離を示す赤外線距離Ｄｂを赤外線画像Ｇｂに第１区画領域Ｐａに対応するように規定された複数の第２区画領域Ｐｂごとに算出することと、対応する第１区画領域Ｐａ及び第２区画領域Ｐｂごとに可視光距離Ｄａと赤外線距離Ｄｂとの差が距離閾値以上か否かを判定することと、差が距離閾値以上である第２区画領域Ｐｂと可視光画像Ｇａとを合成して合成画像Ｇｄを生成することと、合成画像Ｇｄが表示装置５０に表示されるように合成画像Ｇｄを出力することと、を実行することができる。

【0103】

［効果］
以上説明したように、可視光画像Ｇａが不鮮明になる事象が発生していない状況においては、ステップＳ９で説明したように、可視光画像Ｇａが表示装置５０に表示される。可視光画像Ｇａはカラー画像であり、可視光画像Ｇａの分解能は赤外線画像Ｇｂの分解能よりも高い。すなわち、可視光画像Ｇａの視認性は、赤外線画像Ｇｂの視認性よりも優れている。そのため、可視光画像Ｇａが不鮮明になる事象が発生していない状況においては、表示システム１０は、可視光画像Ｇａを表示装置５０に表示する。これにより、表示システム１０は、作業機械１の周辺の状況を作業機械１の操作者に提供することができる。

【0104】

可視光画像Ｇａが不鮮明になる事象が発生した状況においては、ステップＳ８で説明したように、可視光画像Ｇａと赤外線画像Ｇｂとの合成画像Ｇｄが表示装置５０に表示される。可視光画像Ｇａにおいて不鮮明な一部の領域だけが赤外線画像Ｇｂに置き換わる。上述のように、可視光画像Ｇａの視認性は優れている。可視光画像Ｇａの全部の領域が赤外線画像Ｇｂに置き換わるのではなく、可視光画像Ｇａの不鮮明な一部の領域だけが赤外線画像Ｇｂに置き換わるので、合成画像Ｇｄの視認性は良好な状態を維持される。

【0105】

赤外線画像Ｇｂに置き換えられる可視光画像Ｇａの一部の領域は、可視光距離Ｄａと赤外線距離Ｄｂとの差に基づいて決定される。可視光距離Ｄａと赤外線距離Ｄｂとの差が大きい領域が可視光画像Ｇａ及び赤外線画像Ｇｂに存在する場合、可視光画像Ｇａと赤外線画像Ｇｂとが合成される。これにより、可視光画像Ｇａの不鮮明な一部の領域だけが赤外線画像Ｇｂに適正に置き換わる。表示システム１０は、作業機械１の周辺の状況を作業機械１の操作者に提供することができる。

【0106】

［その他の実施形態］
上述の実施形態においては、可視光撮像装置２０により撮像される画像が不鮮明になる事象が、粉塵の発生であることとした。可視光撮像装置２０により撮像される画像が不鮮明になる事象として、粉塵の発生の他に、霧の発生、作業機械の作業が夜間に実施されることに起因する可視光の光量不足、及び撮像対象が逆光状態になることが例示される。

【0107】

霧の粒子（水滴）が可視光撮像装置２０及び赤外線撮像装置３０と撮像対象との間の空間に存在する場合、可視光は霧の粒子を透過することが困難であるが、赤外線は霧の粒子を透過することができる。したがって、表示システム１０は、上述の実施形態にしたがって合成画像Ｇｄを生成することができる。表示システム１０は、可視光撮像装置２０により撮像される可視光画像Ｇａの少なくとも一部が不鮮明になる事象が発生しても、合成画像Ｇｄを表示装置５０に表示することにより、作業機械１の周辺の状況を作業機械１の操作者に提供することができる。

【0108】

可視光の光量不足の場合、可視光撮像装置２０のイメージセンサにおける画素の輝度が過少になる。つまり、所謂、黒つぶれが発生する。その場合、可視光距離算出部６４は、第１可視光カメラ２１により撮像された可視光画像Ｇａと第２可視光カメラ２２により撮像された可視光画像Ｇａとをステレオ処理することが困難になる。すなわち、可視光の光量不足の場合、可視光距離算出部６４は、可視光距離Ｄａを算出することが困難になる。一方、赤外線距離算出部６５は、第１赤外線カメラ３１により撮像された赤外線画像Ｇｂと第２赤外線カメラ３２により撮像された赤外線画像Ｇｂとをステレオ処理することにより、赤外線距離Ｄｂを算出することができる。可視光の光量不足の場合においても、可視光距離Ｄａと赤外線距離Ｄｂとに差が生じるので、表示システム１０は、上述の実施形態にしたがって合成画像Ｇｄを生成することができる。

【0109】

撮像対象が逆光状態の場合、可視光撮像装置２０のイメージセンサにおける画素の輝度が過剰になる。つまり、所謂、白飛びが発生する。その場合、可視光距離算出部６４は、第１可視光カメラ２１により撮像された可視光画像Ｇａと第２可視光カメラ２２により撮像された可視光画像Ｇａとをステレオ処理することが困難になる。すなわち、撮像対象が逆光状態の場合、可視光距離算出部６４は、可視光距離Ｄａを算出することが困難になる。一方、赤外線距離算出部６５は、第１赤外線カメラ３１により撮像された赤外線画像Ｇｂと第２赤外線カメラ３２により撮像された赤外線画像Ｇｂとをステレオ処理することにより、赤外線距離Ｄｂを算出することができる。撮像対象が逆光状態の場合においても、可視光距離Ｄａと赤外線距離Ｄｂとに差が生じるので、表示システム１０は、上述の実施形態にしたがって合成画像Ｇｄを生成することができる。

【0110】

上述の実施形態において、可視光距離算出部６４は、第１可視光カメラ２１により撮像された可視光画像Ｇａと第２可視光カメラ２２により撮像された可視光画像Ｇａとをステレオ処理することにより、可視光距離Ｄａを算出することとした。作業機械１にレーザセンサ（ＬＩＤＡＲ：Light Detection and Ranging）のような距離検出装置が設けられてもよい。レーザセンサは、可視光の波長範囲であるレーザ光を用いて距離を検出する。可視光距離算出部６４は、距離検出装置の検出データに基づいて、可視光撮像装置２０から第１対象までの可視光距離Ｄａを可視光画像Ｇａに規定された複数の第１区画領域Ｐａごとに算出することができる。距離検出装置が設けられる場合、可視光撮像装置２０の第１可視光カメラ２１及び第２可視光カメラ２２の一方が省略されてもよい。

【0111】

上述の実施形態において、１つの第１区画領域Ｐａは、可視光画像Ｇａの１つの画素でもよいし、複数の画素の組み合わせでもよい。１つの第２区画領域Ｐｂは、赤外線画像Ｇｂの１つの画素でもよいし、複数の画素の組み合わせでもよい。また、第１区画領域Ｐａは、可視光画像Ｇａの画素に基づかずに規定されてもよい。第２区画領域Ｐｂは、赤外線画像Ｇｂの画素に基づかずに規定されてもよい。複数の第１区画領域Ｐａと複数の第２区画領域Ｐｂとが１対１で対応していればよい。

【0112】

上述の実施形態においては、表示システム１０が遠隔操作システム１００に適用されることとした。表示装置５０は、遠隔操作室２００に配置されなくてもよい。表示装置５０は、作業機械１の操作室（キャブ）に配置されてもよい。また、上述の実施形態で説明した制御装置６０の一部の機能が作業機械１に配置されてもよい。作業機械１の操作室に搭乗した操作者は、作業機械１の操作室に配置されている表示装置５０を確認しながら、作業機械１の操作室に配置されている搭乗操作装置を操作することができる。この場合においても、表示システム１０は、可視光撮像装置２０により撮像される可視光画像Ｇａが不鮮明になる事象が発生しても、作業機械１の周辺の状況を作業機械１の操作者に提供することができる。

【0113】

上述の実施形態においては、作業機械１が油圧ショベルであることとした。作業機械１は、ブルドーザでもよいし、ホイールローダでもよいし、ダンプトラックでもよい。

【符号の説明】

【0114】

１…作業機械、２…走行体、３…旋回体、４…作業機、４Ａ…ブーム、４Ｂ…アーム、４Ｃ…バケット、５…油圧シリンダ、５Ａ…ブームシリンダ、５Ｂ…アームシリンダ、５Ｃ…バケットシリンダ、６…通信装置、７…通信装置、１０…表示システム、２０…可視光撮像装置、２１…第１可視光カメラ、２２…第２可視光カメラ、３０…赤外線撮像装置、３１…第１赤外線カメラ、３２…第２赤外線カメラ、４０…遠隔操作装置、４５…操縦シート、５０…表示装置、６０…制御装置、６１…操作信号出力部、６２…可視光画像取得部、６３…赤外線画像取得部、６４…可視光距離算出部、６５…赤外線距離算出部、６６…判定部、６７…合成部、６８…目安線生成部、６９…表示出力部、１００…遠隔操作システム、２００…遠隔操作室、３００…制御装置、３０１…走行体制御部、３０２…旋回体制御部、３０３…作業機制御部、３０４…画像出力部、４００…通信システム、Ｄａ…可視光距離、Ｄｂ…赤外線距離、Ｇａ…可視光画像、Ｇｂ…赤外線画像、Ｇｃ…切り取り領域、Ｇｄ…合成画像、Ｇｅ…目安線画像、Ｐａ…第１区画領域、Ｐｂ…第２区画領域、ＲＸ…旋回軸。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【手続補正書】

【提出日】2025-04-21

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

作業機械に設けられた可視光撮像装置により撮像された撮像対象を示す可視光画像を取得する可視光画像取得部と、
前記作業機械に設けられた赤外線撮像装置により撮像された前記撮像対象を示す赤外線画像を取得する赤外線画像取得部と、
前記可視光撮像装置から前記撮像対象までの距離を示す可視光距離を算出する可視光距離算出部と、
前記赤外線撮像装置から前記撮像対象までの距離を示す赤外線距離を算出する赤外線距離算出部と、
前記可視光距離と前記赤外線距離との差が距離閾値以上である場合、前記赤外線画像と前記可視光画像とを合成して合成画像を生成する合成部と、
前記合成画像が表示装置に表示されるように前記合成画像を出力する表示出力部と、を備える、
表示システム。

【請求項2】

前記可視光距離算出部は、前記可視光距離を前記可視光画像に規定された複数の第１区画領域ごとに算出し、
前記赤外線距離算出部は、前記赤外線距離を前記赤外線画像に前記第１区画領域に対応するように規定された複数の第２区画領域ごとに算出する、
請求項１に記載の表示システム。

【請求項3】

前記合成部は、前記差が距離閾値以上である前記第２区画領域が前記第２区画領域に対応する前記可視光画像の前記第１区画領域に重畳するように、前記第２区画領域と前記可視光画像とを合成する、
請求項２に記載の表示システム。

【請求項4】

前記合成画像は、前記差が距離閾値以上である前記第２区画領域と前記差が距離閾値未満である前記第１区画領域とを含む、
請求項２又は請求項３に記載の表示システム。

【請求項5】

前記可視光撮像装置は、第１可視光カメラと、第２可視光カメラと、を含み、
前記可視光距離算出部は、前記第１可視光カメラにより撮像された可視光画像と前記第２可視光カメラにより撮像された可視光画像とをステレオ処理することにより、前記可視光距離を算出する、
請求項１から請求項４のいずれか一項に記載の表示システム。

【請求項6】

前記赤外線撮像装置は、第１赤外線カメラと、第２赤外線カメラと、を含み、
前記赤外線距離算出部は、前記第１赤外線カメラにより撮像された赤外線画像と前記第２赤外線カメラにより撮像された赤外線画像とをステレオ処理することにより、前記赤外線距離を算出する、
請求項１から請求項５のいずれか一項に記載の表示システム。

【請求項7】

前記赤外線距離に基づいて前記作業機械からの距離を示す目安線画像を生成する目安線生成部を備え、
前記表示出力部は、前記目安線画像が前記表示装置に表示されるように前記目安線画像を出力する、
請求項１から請求項６のいずれか一項に記載の表示システム。

【請求項8】

作業機械に設けられた可視光撮像装置により撮像された撮像対象を示す可視光画像を取得することと、
前記作業機械に設けられた赤外線撮像装置により撮像された前記撮像対象を示す赤外線画像を取得することと、
前記可視光撮像装置から前記撮像対象までの距離を示す可視光距離を算出することと、
前記赤外線撮像装置から前記撮像対象までの距離を示す赤外線距離を算出することと、
前記可視光距離と前記赤外線距離との差が距離閾値以上である場合、前記赤外線画像と前記可視光画像とを合成して合成画像を生成することと、
前記合成画像が表示装置に表示されるように前記合成画像を出力することと、を含む、
表示方法。