(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024043268
(43)【公開日】2024-03-29
(54)【発明の名称】画像生成装置、操作支援システム
(51)【国際特許分類】
E02F 9/26 20060101AFI20240322BHJP
【ＦＩ】
E02F9/26 B
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2022148360
(22)【出願日】2022-09-16
(71)【出願人】
【識別番号】000005522
【氏名又は名称】日立建機株式会社
(74)【代理人】
【識別番号】110002572
【氏名又は名称】弁理士法人平木国際特許事務所
(72)【発明者】
【氏名】中村 悠介
(72)【発明者】
【氏名】山口 啓太
(72)【発明者】
【氏名】河村 一郎
(72)【発明者】
【氏名】桑田 純一
(72)【発明者】
【氏名】伊東 英明
(72)【発明者】
【氏名】石本 英史
(72)【発明者】
【氏名】佐藤 慧
【テーマコード（参考）】
2D015
【Ｆターム（参考）】
2D015HA03
2D015HB05
(57)【要約】
【課題】遠隔オペレータがその機械情報や環境情報に基づき作業機械の状態を容易かつ速やかに把握できる遠隔操作支援技術を提供する。
【解決手段】本発明に係る画像生成装置は、作業機械の状態を表す機械情報と前記作業機械の周辺環境の状態を表す環境情報とに基づき、前記機械情報および前記環境情報を示すＡＲ画像を生成し、前記機械情報が示す位置に前記機械情報を表す前記ＡＲ画像を配置するかまたは前記環境情報が示す位置に前記環境情報を表す前記ＡＲ画像を配置する。
【選択図】図４
【解決手段】本発明に係る画像生成装置は、作業機械の状態を表す機械情報と前記作業機械の周辺環境の状態を表す環境情報とに基づき、前記機械情報および前記環境情報を示すＡＲ画像を生成し、前記機械情報が示す位置に前記機械情報を表す前記ＡＲ画像を配置するかまたは前記環境情報が示す位置に前記環境情報を表す前記ＡＲ画像を配置する。
【選択図】図４
【特許請求の範囲】
【請求項1】
作業機械に設けられた撮像装置による撮像画像を取得して、前記作業機械を遠隔操作するオペレータを支援するために用いる画像を生成する画像生成装置であって、
前記作業機械に設けられた車両センサから前記作業機械の状態を表す機械情報を取得する機械情報取得部と、
前記作業機械に設けられた３次元計測装置および前記作業機械に設けられた撮像装置から前記作業機械の周辺環境の状態を表す環境情報を取得する環境情報取得部と、
前記機械情報および前記環境情報に基づいて、前記撮像画像に重畳させることで前記機械情報および前記環境情報を示すＡＲ画像を生成するＡＲ画像生成部と、
を備え、
前記ＡＲ画像生成部は、
前記撮像画像のうち、前記機械情報が示す前記作業機械の部位に対応する位置に重畳させるための前記機械情報を表す前記ＡＲ画像である機械情報ＡＲ画像を生成するか、
または、
前記撮像画像のうち、前記環境情報が示す前記作業機械の周辺環境に対応する位置に重畳させるための前記環境情報を表す前記ＡＲ画像である環境情報ＡＲ画像を生成する
ことを特徴とする画像生成装置。
前記作業機械に設けられた車両センサから前記作業機械の状態を表す機械情報を取得する機械情報取得部と、
前記作業機械に設けられた３次元計測装置および前記作業機械に設けられた撮像装置から前記作業機械の周辺環境の状態を表す環境情報を取得する環境情報取得部と、
前記機械情報および前記環境情報に基づいて、前記撮像画像に重畳させることで前記機械情報および前記環境情報を示すＡＲ画像を生成するＡＲ画像生成部と、
を備え、
前記ＡＲ画像生成部は、
前記撮像画像のうち、前記機械情報が示す前記作業機械の部位に対応する位置に重畳させるための前記機械情報を表す前記ＡＲ画像である機械情報ＡＲ画像を生成するか、
または、
前記撮像画像のうち、前記環境情報が示す前記作業機械の周辺環境に対応する位置に重畳させるための前記環境情報を表す前記ＡＲ画像である環境情報ＡＲ画像を生成する
ことを特徴とする画像生成装置。
【請求項2】
前記撮像画像から、前記作業機械を任意の視点から視たときの自由視点画像を生成する自由視点画像生成部を備え、
前記ＡＲ画像生成部は、前記自由視点画像に対応する前記機械情報ＡＲ画像または前記環境情報ＡＲ画像を生成する
ことを特徴とする請求項１記載の画像生成装置。
前記ＡＲ画像生成部は、前記自由視点画像に対応する前記機械情報ＡＲ画像または前記環境情報ＡＲ画像を生成する
ことを特徴とする請求項１記載の画像生成装置。
【請求項3】
座標系を変換する座標系処理部を備え、
前記座標系処理部は、前記作業機械が備える３次元計測装置が計測した３次元計測データの座標系を、前記作業機械が備える撮像装置の座標系に変換し、
前記座標系処理部は、前記撮像装置の座標系に変換した前記３次元計測データを、前記自由視点画像生成部が生成する前記自由視点画像の座標系に変換し、
前記自由視点画像生成部は、前記自由視点画像の座標系に変換した前記３次元計測データを前記自由視点画像上に投影することにより、前記自由視点画像を生成する
ことを特徴とする請求項２記載の画像生成装置。
前記座標系処理部は、前記作業機械が備える３次元計測装置が計測した３次元計測データの座標系を、前記作業機械が備える撮像装置の座標系に変換し、
前記座標系処理部は、前記撮像装置の座標系に変換した前記３次元計測データを、前記自由視点画像生成部が生成する前記自由視点画像の座標系に変換し、
前記自由視点画像生成部は、前記自由視点画像の座標系に変換した前記３次元計測データを前記自由視点画像上に投影することにより、前記自由視点画像を生成する
ことを特徴とする請求項２記載の画像生成装置。
【請求項4】
前記ＡＲ画像生成部は、前記機械情報および前記環境情報に基づいて、または前記作業機械を操作する操作者の選択に応じ、前記機械情報、前記環境情報、または、前記機械情報と前記環境情報の双方、のうちいずれとするかを切り替えることができるように構成されている
ことを特徴とする請求項１記載の画像生成装置。
ことを特徴とする請求項１記載の画像生成装置。
【請求項5】
前記ＡＲ画像生成部は、前記機械情報および前記環境情報に基づいて、一部の領域が他の領域よりも強調して表示されるように前記一部の領域の描画属性が変更された前記ＡＲ画像を生成する
ことを特徴とする請求項１記載の画像生成装置。
ことを特徴とする請求項１記載の画像生成装置。
【請求項6】
前記自由視点画像生成部は、前記機械情報および前記環境情報に基づいて、または前記作業機械を操作する操作者の選択に応じ、前記自由視点画像における視点を変更することができるように構成されている
ことを特徴とする請求項２記載の画像生成装置。
ことを特徴とする請求項２記載の画像生成装置。
【請求項7】
前記ＡＲ画像生成部は、前記作業機械に設けられた前記車両センサから、前記作業機械に設けられた前記３次元計測装置から、または前記作業機械に設けられた前記撮像装置から、前記作業機械が所定の動作をしているか否かに関する情報を取得し、
前記ＡＲ画像生成部は、前記所定の動作に対応する領域が強調されるような前記ＡＲ画像を生成する
ことを特徴とする請求項１記載の画像生成装置。
前記ＡＲ画像生成部は、前記所定の動作に対応する領域が強調されるような前記ＡＲ画像を生成する
ことを特徴とする請求項１記載の画像生成装置。
【請求項8】
前記ＡＲ画像生成部および前記自由視点画像生成部は、前記作業機械が実施する動作に応じて、
前記撮像画像に対して重畳するＡＲ画像を、前記機械情報ＡＲ画像、前記環境情報ＡＲ画像、ならびに、前記機械情報ＡＲ画像および前記環境情報ＡＲ画像の双方、のうちいずれとするかを切り替えるか、
前記ＡＲ画像のうち一部の領域の描画属性を変更することにより、当該一部の領域が他の領域よりも強調された前記ＡＲ画像を生成するか、
または、
前記自由視点画像による視点を変更する
ことを特徴とする請求項２記載の画像生成装置。
前記撮像画像に対して重畳するＡＲ画像を、前記機械情報ＡＲ画像、前記環境情報ＡＲ画像、ならびに、前記機械情報ＡＲ画像および前記環境情報ＡＲ画像の双方、のうちいずれとするかを切り替えるか、
前記ＡＲ画像のうち一部の領域の描画属性を変更することにより、当該一部の領域が他の領域よりも強調された前記ＡＲ画像を生成するか、
または、
前記自由視点画像による視点を変更する
ことを特徴とする請求項２記載の画像生成装置。
【請求項9】
前記ＡＲ画像生成部および前記自由視点画像生成部は、前記機械情報または前記環境情報における所定の閾値に関する情報を取得し、前記閾値に基づいて、
前記撮像画像に対して重畳するＡＲ画像を、前記機械情報ＡＲ画像、前記環境情報ＡＲ画像、ならびに、前記機械情報ＡＲ画像および前記環境情報ＡＲ画像の双方、のうちいずれとするかを切り替えるか、
前記ＡＲ画像のうち一部の領域の描画属性を変更することにより、当該一部の領域が他の領域よりも強調された前記ＡＲ画像を生成するか、
または、
前記自由視点画像による視点を変更する
ことを特徴とする請求項２記載の画像生成装置。
前記撮像画像に対して重畳するＡＲ画像を、前記機械情報ＡＲ画像、前記環境情報ＡＲ画像、ならびに、前記機械情報ＡＲ画像および前記環境情報ＡＲ画像の双方、のうちいずれとするかを切り替えるか、
前記ＡＲ画像のうち一部の領域の描画属性を変更することにより、当該一部の領域が他の領域よりも強調された前記ＡＲ画像を生成するか、
または、
前記自由視点画像による視点を変更する
ことを特徴とする請求項２記載の画像生成装置。
【請求項10】
前記ＡＲ画像生成部および前記自由視点画像生成部は、前記機械情報として、前記車両センサから前記作業機械が備えるシリンダの圧力に関する情報を取得し、
前記自由視点画像生成部は、前記圧力が前記閾値を超えると、前記閾値を超えたシリンダを少なくとも含むように前記自由視点画像の視点を切り替えるとともに、前記ＡＲ画像生成部は、前記ＡＲ画像のうち前記圧力が前記閾値を超えた前記シリンダの領域の描画属性を変更することにより、他の領域よりも強調して表示される前記ＡＲ画像を生成する
ことを特徴とする請求項９記載の画像生成装置。
前記自由視点画像生成部は、前記圧力が前記閾値を超えると、前記閾値を超えたシリンダを少なくとも含むように前記自由視点画像の視点を切り替えるとともに、前記ＡＲ画像生成部は、前記ＡＲ画像のうち前記圧力が前記閾値を超えた前記シリンダの領域の描画属性を変更することにより、他の領域よりも強調して表示される前記ＡＲ画像を生成する
ことを特徴とする請求項９記載の画像生成装置。
【請求項11】
前記ＡＲ画像生成部および前記自由視点画像生成部は、前記環境情報として、前記３次元計測装置または前記撮像装置から、前記作業機械が掘削した土砂を積載する積載車が到着する予定となっている到着場所の凹凸程度に関する情報を取得し、
前記自由視点画像生成部は、前記凹凸程度が前記閾値を超えている場合は、前記到着場所を少なくとも含むように前記自由視点画像の視点を切り替えるとともに、前記ＡＲ画像生成部は、前記ＡＲ画像のうち前記到着場所の領域の描画属性を変更することにより、他の部分よりも強調して表示される前記ＡＲ画像を生成する
ことを特徴とする請求項９記載の画像生成装置。
前記自由視点画像生成部は、前記凹凸程度が前記閾値を超えている場合は、前記到着場所を少なくとも含むように前記自由視点画像の視点を切り替えるとともに、前記ＡＲ画像生成部は、前記ＡＲ画像のうち前記到着場所の領域の描画属性を変更することにより、他の部分よりも強調して表示される前記ＡＲ画像を生成する
ことを特徴とする請求項９記載の画像生成装置。
【請求項12】
前記ＡＲ画像生成部および前記自由視点画像生成部は、前記環境情報として、前記３次元計測装置または前記撮像装置から、前記作業機械が掘削した土砂を積載車へ移し替えたときにおける前記積載車上の前記土砂の予想重量に関する情報を取得し、
前記自由視点画像生成部は、前記予想重量が前記閾値を超えると、前記積載車上の前記土砂を少なくとも含むように前記自由視点画像の視点を切り替えるとともに、前記ＡＲ画像生成部は、前記ＡＲ画像のうち前記積載車上の前記土砂の領域の描画属性を変更することにより、他の部分よりも強調して表示される前記ＡＲ画像を生成する
ことを特徴とする請求項９記載の画像生成装置。
前記自由視点画像生成部は、前記予想重量が前記閾値を超えると、前記積載車上の前記土砂を少なくとも含むように前記自由視点画像の視点を切り替えるとともに、前記ＡＲ画像生成部は、前記ＡＲ画像のうち前記積載車上の前記土砂の領域の描画属性を変更することにより、他の部分よりも強調して表示される前記ＡＲ画像を生成する
ことを特徴とする請求項９記載の画像生成装置。
【請求項13】
前記ＡＲ画像生成部および前記自由視点画像生成部は、前記環境情報として、前記３次元計測装置または前記撮像装置から、前記作業機械の進行方向における最前面と前記作業機械の進行方向上に存在する斜面との間の距離に関する情報を取得し、
前記ＡＲ画像生成部または前記自由視点画像生成部は、前記距離に基づき、前記作業機械が前記斜面から滑落する危険度を計算し、
前記自由視点画像生成部は、前記危険度が前記閾値を超えると、前記斜面の端部を少なくとも含むように前記自由視点画像の視点を切り替えるとともに、前記ＡＲ画像生成部は、前記ＡＲ画像のうち前記斜面の端部の領域の描画属性を変更することにより、他の部分よりも強調して表示される前記ＡＲ画像を生成する
ことを特徴とする請求項９記載の画像生成装置。
前記ＡＲ画像生成部または前記自由視点画像生成部は、前記距離に基づき、前記作業機械が前記斜面から滑落する危険度を計算し、
前記自由視点画像生成部は、前記危険度が前記閾値を超えると、前記斜面の端部を少なくとも含むように前記自由視点画像の視点を切り替えるとともに、前記ＡＲ画像生成部は、前記ＡＲ画像のうち前記斜面の端部の領域の描画属性を変更することにより、他の部分よりも強調して表示される前記ＡＲ画像を生成する
ことを特徴とする請求項９記載の画像生成装置。
【請求項14】
前記ＡＲ画像生成部および前記自由視点画像生成部は、前記機械情報として、前記車両センサから、前記作業機械が旋回したときの移動範囲に関する情報を取得し、
前記ＡＲ画像生成部および前記自由視点画像生成部は、前記環境情報として、前記３次元計測装置または前記撮像装置から、前記作業機械の周辺に存在する物体の位置に関する情報を取得し、
前記ＡＲ画像生成部または前記自由視点画像生成部は、前記移動範囲と前記物体の位置に基づき、前記作業機械が旋回したとき前記作業機械と前記物体が衝突する危険度を計算し、
前記自由視点画像生成部は、前記危険度が前記閾値を超えている場合は、前記移動範囲を少なくとも含むように前記自由視点画像の視点を切り替えるとともに、前記ＡＲ画像生成部は、前記移動範囲のうち前記作業機械と前記物体が衝突する可能性がある部分の領域の描画属性を変更することにより、他の部分よりも強調して表示される前記ＡＲ画像を生成する
ことを特徴とする請求項９記載の画像生成装置。
前記ＡＲ画像生成部および前記自由視点画像生成部は、前記環境情報として、前記３次元計測装置または前記撮像装置から、前記作業機械の周辺に存在する物体の位置に関する情報を取得し、
前記ＡＲ画像生成部または前記自由視点画像生成部は、前記移動範囲と前記物体の位置に基づき、前記作業機械が旋回したとき前記作業機械と前記物体が衝突する危険度を計算し、
前記自由視点画像生成部は、前記危険度が前記閾値を超えている場合は、前記移動範囲を少なくとも含むように前記自由視点画像の視点を切り替えるとともに、前記ＡＲ画像生成部は、前記移動範囲のうち前記作業機械と前記物体が衝突する可能性がある部分の領域の描画属性を変更することにより、他の部分よりも強調して表示される前記ＡＲ画像を生成する
ことを特徴とする請求項９記載の画像生成装置。
【請求項15】
前記ＡＲ画像生成部および前記自由視点画像生成部は、前記環境情報として、前記３次元計測装置または前記撮像装置から、前記作業機械の前面と前記作業機械の前方に存在する下り面との間の距離に関する情報を取得し、
前記ＡＲ画像生成部または前記自由視点画像生成部は、前記距離に基づき、前記作業機械が前記作業機械の下方を掘削する危険度を計算し、
前記自由視点画像生成部は、前記危険度が前記閾値を超えている場合は、前記作業機械の側面および前記下り面を少なくとも含むように前記自由視点画像の視点を切り替えるとともに、前記ＡＲ画像生成部は、前記下り面の領域の描画属性を変更することにより、他の部分よりも強調して表示される前記ＡＲ画像を生成する
ことを特徴とする請求項９記載の画像生成装置。
前記ＡＲ画像生成部または前記自由視点画像生成部は、前記距離に基づき、前記作業機械が前記作業機械の下方を掘削する危険度を計算し、
前記自由視点画像生成部は、前記危険度が前記閾値を超えている場合は、前記作業機械の側面および前記下り面を少なくとも含むように前記自由視点画像の視点を切り替えるとともに、前記ＡＲ画像生成部は、前記下り面の領域の描画属性を変更することにより、他の部分よりも強調して表示される前記ＡＲ画像を生成する
ことを特徴とする請求項９記載の画像生成装置。
【請求項16】
作業機械の操作を支援する操作支援システムであって、
請求項１記載の画像生成装置、
前記画像生成装置が生成した画像を表示する表示装置、
を有することを特徴とする操作支援システム。
請求項１記載の画像生成装置、
前記画像生成装置が生成した画像を表示する表示装置、
を有することを特徴とする操作支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業機械を遠隔操作するオペレータを支援するために用いる画像を生成する技術に関する。
【背景技術】
【0002】
油圧ショベルなどの作業機械を遠隔操作する技術が開発されている。作業機械は周辺環境を撮影する撮像装置を備え、その撮像画像を遠隔操作室に対して送信することにより、遠隔操作室は例えば作業機械の運転室から見た画像を得ることができる。遠隔操作者はその画像を用いて、作業機械を遠隔操作する。
【0003】
下記特許文献１は、『操作者が作業機械を快適に遠隔操作することができ、作業効率の低下を抑制することができる技術を提供する。』ことを課題として、『表示システムは、作業機を有する作業機械に搭載され作業機械の周囲の対象との距離を検出する距離検出装置の検出データに基づいて、作業機械の外部の仮想視点から見た対象の仮想視点画像を示す対象画像を生成する対象画像生成部と、作業機械に搭載され作業機械の姿勢を検出する姿勢検出装置の検出データに基づいて、仮想視点から見た作業機械の仮想視点画像を示す作業機械画像を生成する作業機械画像生成部と、対象画像と作業機械画像とを重畳した合成画像を生成する合成部と、作業機械に搭載された撮像装置で撮像された実画像と合成画像とを作業機械の外部に存在する表示装置に同時に表示させる表示制御部と、を備える。』という技術を記載している（要約参照）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１９－０５４４６４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
作業機械を遠隔操作する際には、作業機械の状態を表す機械情報と、作業機械の周辺環境の状態を表す環境情報とがそれぞれ必要となる。ただし作業機械が実施する作業などに応じて必要な情報はそれぞれ異なる。また、単に機械情報や環境情報を遠隔操作画面上の任意位置に表示するのではなく、遠隔オペレータがその機械情報や環境情報に基づき作業機械の状態を容易かつ速やかに把握できることが望ましい。特許文献１のような従来技術においては、機械情報や環境情報を遠隔操作画面上に表示しているものの、遠隔オペレータが作業機械の状態を容易かつ速やかに把握できるように工夫することについては、必ずしも十分考慮されていない。
【0006】
本発明は、上記のような課題に鑑みてなされたものであり、遠隔オペレータがその機械情報や環境情報に基づき作業機械の状態を容易かつ速やかに把握できる遠隔操作支援技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明に係る画像生成装置は、作業機械の状態を表す機械情報と前記作業機械の周辺環境の状態を表す環境情報とに基づき、前記機械情報および前記環境情報を示すＡＲ画像を生成し、前記機械情報が示す位置に前記機械情報を表す前記ＡＲ画像を配置するかまたは前記環境情報が示す位置に前記環境情報を表す前記ＡＲ画像を配置する。
【発明の効果】
【0008】
本発明に係る画像生成装置によれば、遠隔オペレータがその機械情報や環境情報に基づき作業機械の状態を容易かつ速やかに把握することができる。本発明のその他の課題、構成、利点などについては、以下の実施形態の説明により明らかとなる。
【図面の簡単な説明】
【0009】
【図1】実施形態１に係る作業機械１００の周辺環境を示す模式図である。
【図2】センサＳ１～Ｓ３の撮像範囲を示す上面図である。
【図3】遠隔操作室３００の構成を示す模式図である。
【図4】画像生成装置１０３の構成を示すブロック図である。
【図5】自由視点画像を生成しない場合における、画像生成装置１０３の機能ブロック図である。
【図6】運転制御装置３０５の機能ブロック図である。
【図7】画像生成装置１０３が自由視点画像を生成する手順を説明するフローチャートである。
【図8】画像生成装置１０３が通常画像を生成する手順を説明するフローチャートである。
【図9】座標系処理部１０３１が実施する座標系統合処理におけるキャリブレーションにおいて用いるドットパターンの例である。
【図10】キャリブレーション２を説明する模式図である。
【図11】キャリブレーション３を説明する模式図である。
【図12】自由視点映像を生成する際に使用する座標系を示す。
【図13】画像生成装置１０３が生成する画像の視点ごとの例を示す。
【図14】画像生成装置１０３が生成する画像の視点ごとの例を示す。
【図15】画像生成装置１０３が生成する画像の視点ごとの例を示す。
【図16】画像生成装置１０３が生成する画像において、ブーム１１１～バケット１１３に色を付した場合の表示例である。
【図17】画像生成装置１０３が生成する画像において、ブーム１１１～バケット１１３に色を付した場合の表示例である。
【図18】画像生成装置１０３が生成する画像において、ブーム１１１～バケット１１３に色を付した場合の表示例である。
【図19】画像生成装置１０３が生成する、作業機械１００の周辺環境画像の例である。
【図20】画像生成装置１０３が生成する、作業機械１００の周辺環境画像の例である。
【図21】画像生成装置１０３が生成する、作業機械１００の周辺環境画像の例である。
【図22】画像生成装置１０３が生成する、旋回体１０２の移動範囲を示す画像の例である。
【図23】画像生成装置１０３が生成する、旋回体１０２の移動範囲を示す別画像の例である。
【図24】画像生成装置１０３が生成する、すかし堀を警告する画像の例である。
【図25】実施形態４に係る画像生成装置１０３の機能ブロック図である。
【図26】自由視点画像を生成しない場合における、画像生成装置１０３の機能ブロック図である。
【図27】作業機械１００の状態遷移図である。
【図28】自由視点画像を切り替えるトリガとなる閾値の例である。
【図29】画像生成装置１０３の変形例を示す。
【図30】運転制御装置３０５の機能ブロック図である。
【図31】画像生成装置１０３の変形例を示す。
【図32】運転室ＯＲの構成図である。
【発明を実施するための形態】
【0010】
＜実施の形態１＞
図１は、本発明の実施形態１に係る作業機械１００の周辺環境を示す模式図である。この例における作業機械１００は油圧ショベルである。作業機械１００は、走行体１０１、旋回体１０２、運転室ＯＲ、作業機（後述の１１１～１１３）を備える。作業機械１００は、通信装置１０４を介して、遠隔操作室３００と接続されている。作業機は、ブーム１１１、アーム１１２、バケット１１３によって構成されている。旋回体１０２の右側面、前面、左側面、上面には、それぞれセンサＳ１、Ｓ２、Ｓ３、Ｓ４が配置されている。運転室ＯＲ内には、画像生成装置１０３が配置されている。アンテナ１０７は、無線通信によって遠隔操作室３００と通信する。
図１は、本発明の実施形態１に係る作業機械１００の周辺環境を示す模式図である。この例における作業機械１００は油圧ショベルである。作業機械１００は、走行体１０１、旋回体１０２、運転室ＯＲ、作業機（後述の１１１～１１３）を備える。作業機械１００は、通信装置１０４を介して、遠隔操作室３００と接続されている。作業機は、ブーム１１１、アーム１１２、バケット１１３によって構成されている。旋回体１０２の右側面、前面、左側面、上面には、それぞれセンサＳ１、Ｓ２、Ｓ３、Ｓ４が配置されている。運転室ＯＲ内には、画像生成装置１０３が配置されている。アンテナ１０７は、無線通信によって遠隔操作室３００と通信する。
【0011】
センサＳ１～Ｓ３は、後述する範囲を撮像することができる。センサＳ４は、作業機械１００の機械情報（例：作業機械１００の姿勢）を検出するセンサである。センサＳ１～Ｓ３は、ＬｉＤＡＲ（３次元計測装置）とカメラを組み合わせたセンサとして構成することもできる。ＬｉＤＡＲは、レーザ光を照射することにより、周辺環境と作業機械１００との間の３次元距離を計測する装置である。以下ではセンサＳ１～Ｓ３がカメラとＬｉＤＡＲの組み合わせによって構成されており、これにより作業機械１００周辺の環境情報を取得するように構成されているものとする。
【0012】
作業機械１００は、作業環境Ｌにおいて、掘削作業を実施する。作業環境Ｌは、平地Ｌ０、台地Ｌ１、斜面Ｌ２によって構成されている。作業機械１００は、掘削作業を実施することによってバケット１１３内に取り込んだ土砂を、ダンプカー２００に積込む。
【0013】
図２は、センサＳ１～Ｓ３の撮像範囲を示す上面図である。センサＳ１は旋回体１０２の右側面に配置され、センサＳ２は旋回体１０２の前面に配置され、センサＳ３は旋回体１０２の左側面に配置されている。センサＳ１～Ｓ３は、円弧状の撮像範囲ＳＲ１～ＳＲ３を、図２に示すようにそれぞれ撮像することができる。これらのセンサによって、作業機械１００の画像および作業機械１００の周辺環境の画像を得ることができる。ＬｉＤＡＲによる計測範囲についても図２と同様である。
【0014】
図３は、遠隔操作室３００の構成を示す模式図である。遠隔操作室３００は、運転席３０１、操作装置３０２、入力装置３０３、ディスプレイ３０４、運転制御装置３０５、通信装置３０６を備える。通信装置３０６は、画像生成装置１０３が生成した画像を通信によって取得する。運転制御装置３０５はその画像をディスプレイ３０４上に表示する。遠隔操作者はその画像を見ながら、入力装置３０３によって操作指示を入力する。操作装置３０２は、運転制御装置３０５と通信装置３０６を介して、その操作指示を作業機械１００に対して送信する。作業機械１００はその操作指示にしたがって動作する。画像生成装置１０３と遠隔操作室３００は、作業機械１００の操作を支援する操作支援システムとして構成することができる。
【0015】
図４は、画像生成装置１０３の構成を示すブロック図である。画像生成装置１０３は、作業機械１００が備える各センサによって取得した計測データを統合した上で、画像として遠隔操作室３００に対して送信する装置である。画像生成装置１０３は、センサＳ１～Ｓ３（撮像装置および３次元計測装置）、車両センサからそれぞれ計測結果を取得する。車両センサは、作業機械の状態（例：内部圧力など）を計測するセンサである。Ｓ４も車両センサのうちの１つである。画像生成装置１０３が備える各部の処理について以下説明する。
【0016】
機械情報取得部１０３０Ａおよび環境情報取得部１０３０Ｂは、各センサが計測した結果を記述したデータ（計測データ）を、各センサからそれぞれ取得する。機械情報取得部１０３０Ａおよび環境情報取得部１０３０Ｂと同様の役割は、各センサから計測データを取得する機能部（例えば図４においては座標系処理部１０３１と図形位置形状算出部１０３２）が実施することもできる。したがって以下の説明においては、記載の便宜上、機械情報取得部１０３０Ａおよび環境情報取得部１０３０Ｂを省略する場合もある。
【0017】
座標系処理部１０３１は、各センサから計測値を取得するとともに、各センサの座標系を揃える処理を実施する。座標系を揃える処理の具体例については後述する。図形位置形状算出部１０３２は、作業機械１００の画像および作業機械１００の周辺環境の画像のうち、例えば色や線種などを変更することによって強調表示する部分を算出する。自由視点画像生成部１０３３は、座標系を揃えた各センサ計測値を用いて、作業機械１００またはその周辺環境を自由視点から視た自由視点画像を生成する。ＡＲ画像生成部１０３４は、図形位置形状算出部１０３２が算出した強調表示部分の画像（色や線種などを変更した画像：ＡＲ画像と呼ぶ）を生成する。映像重畳部１０３５は、自由視点画像とＡＲ画像を合成する。映像圧縮部１０３６は、その合成画像を圧縮し、通信装置１０４を介して遠隔操作室３００に対して送信する。
【0018】
画像生成装置１０３は、各機能部の動作を実装した回路デバイスなどのハードウェアによって構成することもできるし、各機能部の動作を実装したソフトウェアを演算装置が実行することにより構成することもできる。後者の場合、画像生成装置１０３は図４右上の構成を備える。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５１は各機能部の動作を実装したソフトウェアを実行する。ＲＯＭ１５２とＲＡＭ１５３とＨＤＤ（ハードディスク記憶装置）１５４は、ＣＰＵ１５１が用いるデータを格納する。操作インターフェース１５５は画像生成装置１０３に対して操作指示を入力するインターフェースである。表示インターフェース１５６は画像表示インターフェースである。
【0019】
図４に示す構成例において、作業機械１００の状態および作業機械１００の周辺環境の状態を検出するのは、作業機械１００が備えるセンサ群である。画像生成装置１０３は作業機械１００上に備えられており、作業機械１００を操作するために用いる操作支援画像は作業機械１００によって生成される。遠隔操作室３００は、操作支援画像を２次元画像として受け取り、これを表示する。
【0020】
図５は、自由視点画像を生成しない場合における、画像生成装置１０３の機能ブロック図である。自由視点画像を生成しない場合、映像重畳部１０３５は、各センサが取得した画像とＡＲ画像を合成する。その他は図４と同様である。記載の便宜上、ハードウェア構成については省略した。以下の実施形態においても同様である。
【0021】
図６は、運転制御装置３０５の機能ブロック図である。運転制御装置３０５は、映像伸長部３０５１、情報付加／表示切替部３０５２、表示制御部３０５３を備える。映像伸長部３０５１は、通信装置３０６を介して画像生成装置１０３から合成画像を取得し、その合成画像の圧縮を伸長する。情報付加／表示切替部３０５２は、入力装置３０３からの操作指示にしたがって、ディスプレイ３０４が表示する画像に対して情報を付加し、あるいは表示内容を切り替える。この点については後述する。表示制御部３０５３はディスプレイ３０４が表示する画像を出力する。
【0022】
図７は、画像生成装置１０３が自由視点画像を生成する手順を説明するフローチャートである。座標系処理部１０３１は、後述の手順を用いて、センサ毎に座標系を揃えるための補正情報を計算する（Ｓ１１）。自由視点画像生成部１０３３は、座標系補正情報を用いて、自由視点映像を計算する（Ｓ１２）。図形位置形状算出部１０３２は、座標系補正情報を用いて、ＡＲ画像の位置、形状などを算出する（Ｓ１３）。ＡＲ画像生成部１０３４は、自由視点映像に対して重畳するＡＲ画像を生成する（Ｓ１４）。映像重畳部１０３５は、自由視点映像とＡＲ画像を重畳する（Ｓ１５）。映像圧縮部１０３６は、その映像を圧縮する（Ｓ１６）。
【0023】
【0024】
図９は、座標系処理部１０３１が実施する座標系統合処理におけるキャリブレーションにおいて用いるドットパターンの例である。座標系処理部１０３１は、各センサの座標系を揃える処理（座標系変換）を実施する。この処理は原則として作業機械１００に対して各種センサを設置した後に１度だけ実行すればよい。この処理は、以下の４つのキャリブレーションを含む：（ａ）キャリブレーション１：センサ（Ｓ１～Ｓ３）の内部パラメータと歪みを補正する；（ｂ）キャリブレーション２：画像センサ対３次元計測装置間の座標系変換；（ｃ）キャリブレーション３：３次元計測装置間の座標系変換；（ｄ）キャリブレーション４：３次元計測装置対作業機械１００間の座標系変換。
【0025】
キャリブレーション１において、座標系処理部１０３１は、画像センサの内部パラメータ（焦点距離ｆｘ，ｆｙおよび画像中心座標ｃｘ，ｃｙからなるカメラ行列）を算出するとともに、レンズによる歪みを表す歪み係数を算出する。例えば、図９に示したドットが格子状に並んだパターンを様々な方向から撮影した画像を入力データとして用いるキャリブレーション処理を実施する。まず第１ステップでは入力画像から各ドットの中心座標を抽出し、リスト化する。次に第２ステップでドットの中心座標のリストを基にカメラの内部パラメータと歪み係数を算出する。以上のキャリブレーション処理で得た内部パラメータと歪み係数を用い、カメラ映像に対して歪み除去補正を実施することにより、画角の外周部で大きく歪んでいた被写体像の歪みが除去できる。
【0026】
図１０は、キャリブレーション２を説明する模式図である。キャリブレーション２は、画像センサ（カメラ）と３次元計測装置（ＬｉＤＡＲ）との間の座標変換行列を算出することが目的である。画像センサと３次元計測装置は共通の被写体（以下では図１０に示す円盤とする）を撮影し、円盤の中心座標を共通の特徴点とする。カメラ座標系におけるＮ個の特徴点［ｑ１，ｑ２，・・・ｑＮ］と、ＬｉＤＡＲ座標系におけるＮ個の特徴点［Ｑ１，Ｑ２，・・・ＱＮ］を用いて、ｑｉ＝ＨＱｉ（ｉ＝１，２，・・・，Ｎ)を満たすＨを算出する。ＬｉＤＡＲ点群の座標系における特徴点の座標Ｑｉは３次元ベクトルであり、カメラ画像の座標系における特徴点の座標ｑｉは２次元ベクトルである。ｑｉとＱｉは同一の特徴点をそれぞれの座標系で表したものである。
【0027】
特徴点を抽出する際には、ユーザインターフェース上で円盤の中心をマウスとポインタを使用して選択することによって抽出してもよいし、円盤を認識してその重心点を求めることなどによって抽出してもよい。
【0028】
以上のようにして抽出した特徴点リストを用いた変換行列Ｈの算出は、Ｐｅｒｓｐｅｃｔｉｖｅ ｎ Ｐｏｉｎｔｓ（ＰｎＰ）問題としてとらえることができ、効率的に解くためのアルゴリズムが広く知られている。
【0029】
上記の説明では、被写体として円盤を例に説明したがこれに限定されるものではなく、作業周囲の地形、建物、他のショベル、ダンプなどを利用してキャリブレーションを実施してもよい。これにより、特殊なターゲットを準備、設置する必要がなく、経時変化により蓄積するずれを作業しながら常時補正することも可能となる。
【0030】
図１１は、キャリブレーション３を説明する模式図である。キャリブレーション３は、ＬｉＤＡＲ間の座標変換行列を算出することが目的である。ＬｉＤＡＲ間の視野のオーバーラップが大きい場合はキャリブレーション２と同様の手法が取れる。しかしＬｉＤＡＲ間の視野のオーバーラップが小さい場合、このような手段をとることが難しい。そこで、旋回体１０２を旋回しながら各ＬｉＤＡＲが点群を連続取得し、取得した点群をレジストレーション（位置合わせ）することにより、ＬｉＤＡＲ単体の視野を実効的に拡張し、ＬｉＤＡＲ間の視野のオーバーラップを実効的に増やす。
【0031】
まず初めに、図１１に示すように、旋回体１０２を旋回させながら取得したＬｉＤＡＲ点群に対してＬｉＤＡＲ毎にレジストレーション処理を実施することにより、実効的に視野を拡張し統合点群を生成する。この処理を作業機械１００が搭載したＬｉＤＡＲすべてに対して実施することにより、同じ数の統合点群１１０１～１１０３が得られる。次に統合点群同士のレジストレーション処理を実施することにより、点群間の座標変換行列を算出する。この座標変換行列がＬｉＤＡＲ間の相対的な姿勢・位置を表す情報に相当する。各ステップではＩｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ（ＩＣＰ）法およびＲａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ（ＲＡＮＳＡＣ）法を組み合わせたレジストレーション処理などを用いることができる。
【0032】
キャリブレーション４は、ＬｉＤＡＲ－作業機械１００間の座標変換行列を算出することが目的である。ＬｉＤＡＲ－作業機械１００間の座標変換行列は、車体旋回時のＬｉＤＡＲ変位と点群の変化量から算出することが可能である。さらに、キャリブレーション３の第１ステップで算出される車両旋回時の各ＬｉＤＡＲ点群の変化量に基づき実行可能であり、演算量の低減が可能となる。
【0033】
図１２は、自由視点映像を生成する際に使用する座標系を示す。自由視点画像生成部１０３３は、取得したカメラ映像と３次元計測データと車両センサ計測データを統合する必要がある。そこで、まず座標系統合処理結果とＬｉＤＡＲ点群データを用いて、ＬｉＤＡＲの対となるカメラからの視点で見た際のデプス画像（奥行き情報を格納した２次元配列）を生成する。
【0034】
自由視点画像生成部１０３３は、まずＬｉＤＡＲ座標系における座標情報として得られたＬｉＤＡＲ点群を、カメラ座標系を基底とした表現に変換する。点群内のある１点のＬｉＤＡＲ座標系での座標を（ｘＬ，ｙＬ，ｚＬ）とし、同じ点のカメラ座標系における座標を（ｘｃ，ｙｃ，ｚｃ）とすると，これら２つの座標は式１によって表される。式１における３×４行列は、キャリブレーション２において算出した姿勢変換行列である。
【0035】
【数1】
【0036】
次に自由視点画像生成部１０３３は、ＬｉＤＡＲ点群をカメラ座標系から映像座標系へ変換することにより、点群をカメラ映像上に投影すると映像のどの画素に対して投影されるかを算出する。カメラ座標系で（ｘｃ，ｙｃ，ｚｃ）としてあらわされる点群のうち１点をカメラ映像に投影したときの座標（画素のインデックス）を（ｘｉｍｇ，ｙｉｍｇ）とすると、この変換は式２によって表される。式２における３×３行列は、キャリブレーション１において算出したカメラ内部パラメータである。係数ｓは、映像座標系における座標値のｚ成分が１となるようなスケーリング係数である。
【0037】
【数2】
【0038】
最後に自由視点画像生成部１０３３は、以上の処理で得られた（ｘｉｍｇ，ｙｉｍｇ，ｚｃ）を用いて、式３にしたがってデプス画像Ｄに値を格納する。自由視点画像生成部１０３３は、以上の処理をＬｉＤＡＲ点群の各点について繰り返し実行することにより、デプス画像を作成する。
【0039】
【数3】
【0040】
次に自由視点画像生成部１０３３は、車体座標系を基底とした色付き点群を生成する。まずカメラ映像の歪み補正処理を実施する。歪み補正処理においてはキャリブレーション１で出した歪み係数を用いる。その後、自由視点画像生成部１０３３は、歪み補正後のカメラ映像とデプス画像を用いて、カメラ座標系を基底とする色付き点群を生成する。デプス画像およびカメラ映像の要素（ｘｉｍｇ，ｙｉｍｇ）要素から生成した色付き点群の１点は、式４によって表される。式４におけるＲ，Ｇ，Ｂはそれぞれカメラ映像のＲＧＢ３チャンネルに相当する配列である。
【0041】
【数4】
【0042】
次に自由視点画像生成部１０３３は、カメラ座標系を基底として表現されている色付き点群を、ＬｉＤＡＲ座標系における表現に変換する。そして最後にＬｉＤＡＲ座標系から車体座標系へ変換する。この変換に際しては、キャリブレーション３と４において得られる座標変換行列を用いることにより、旋回体１０２底面を原点とした座標系へ変換することができる。次に自由視点画像生成部１０３３は、車体姿勢情報と車体寸法値に基づき、走行体１０１底面を原点とした車体座標系への変換行列を算出し、それを用いて同様の計算を実施することにより、色付き点群を、走行体１０１底面を原点とする車体座標系を基底とした表現に変換する。以上の処理によって、色付きの点群情報を生成できる。
【0043】
さらに、自由視点画像生成部１０３３は、以上の周囲色付き点群と車体姿勢情報に基づき生成した作業機械１００のＣＧモデルを統合し、３Ｄビューワーなどのアプリケーションにより任意視点からの映像を生成する。これにより、作業機械１００自身の画像を撮像していなくても、作業機械１００自身を含む自由視点画像を生成できる。
【0044】
以上の方法は、デプス画像を経由した処理を例に説明したが、これは映像に対してＡＲ重畳表示を行う必要がある場合を考慮して実施するものである。自由視点映像のみを得る場合にはデプス画像を経由せずに処理してもよい。
【0045】
図１３～図１５は、画像生成装置１０３が生成する画像の視点ごとの例を示す。図１３は運転室ＯＲから見た画像の例である。図１４は、自由視点として作業機械１００を横から視た場合の画像例である。図１５は、自由視点として作業機械１００を俯瞰した場合の画像例である。
【0046】
図１６～図１８は、画像生成装置１０３が生成する画像において、ブーム１１１～バケット１１３に色を付した場合の表示例である。図１６～図１８は、それぞれ図１３～図１５に対応する。図１６～図１８に例示するように、ブーム１１１～バケット１１３のうち一部または全部について、描画属性（線種類、線太さ、色など、以下において描画属性を変更する場合も同様）を変更してもよい。画像生成装置１０３は、例えばブーム１１１～バケット１１３がそれぞれ備えるシリンダ圧力が閾値を超えたとき、圧力超過している範囲を視覚的に表示するように、描画属性を他の部位とは異なるように変更することができる。これにより、異常が発生した部位をオペレータが視覚的かつ速やかに把握することができる。
【0047】
＜実施の形態２＞
図１９～図２１は、画像生成装置１０３が生成する、作業機械１００の周辺環境画像の例である。図１９は、作業機械１００が平地Ｌ０を掘削したときにおける掘削箇所１９０１を強調表示した例である。図２０は、ダンプカー２００へ積み込んだ土砂を強調表示した例である。領域２０１～２０３は、土砂の形状を表している。領域２０１～２０３間の境界線は、等高線に相当する。各領域に対して異なる色を付してもよい。図２１は、台地Ｌ１の端部２１０１を強調表示した例である。
図１９～図２１は、画像生成装置１０３が生成する、作業機械１００の周辺環境画像の例である。図１９は、作業機械１００が平地Ｌ０を掘削したときにおける掘削箇所１９０１を強調表示した例である。図２０は、ダンプカー２００へ積み込んだ土砂を強調表示した例である。領域２０１～２０３は、土砂の形状を表している。領域２０１～２０３間の境界線は、等高線に相当する。各領域に対して異なる色を付してもよい。図２１は、台地Ｌ１の端部２１０１を強調表示した例である。
【0048】
＜実施の形態３＞
図２２は、画像生成装置１０３が生成する、旋回体１０２の移動範囲を示す画像の例である。自由視点画像生成部１０３３は、旋回体１０２の回転中心を中心軸としたときの最大半径を有する円柱２２０１を、旋回体１０２の移動範囲を示す画像として生成する。範囲２２０２は、旋回体１０２とその周辺物体が衝突する可能性がある部分について、描画属性を変更したものである。
図２２は、画像生成装置１０３が生成する、旋回体１０２の移動範囲を示す画像の例である。自由視点画像生成部１０３３は、旋回体１０２の回転中心を中心軸としたときの最大半径を有する円柱２２０１を、旋回体１０２の移動範囲を示す画像として生成する。範囲２２０２は、旋回体１０２とその周辺物体が衝突する可能性がある部分について、描画属性を変更したものである。
【0049】
図２３は、画像生成装置１０３が生成する、旋回体１０２の移動範囲を示す別画像の例である。図２２とは異なり、自由視点画像生成部１０３３は、作業機（ブーム１１１～バケット１１３）を含めた最大半径を有する円柱２３０１を、旋回体１０２の移動範囲を示す画像として生成する。範囲２３０２は、作業機と周辺物体が衝突する可能性がある部分について、描画属性を変更したものである。
【0050】
図２４は、画像生成装置１０３が生成する、すかし堀を警告する画像の例である。すかし堀とは、垂直方向（またはこれに近い方向）に立ち下がっている下り面の下部を掘り込むことである。図２４においては、走行体１０１の前面２４０１の下方に位置する面２４０２を掘り込むことが、これに相当する。自由視点画像生成部１０３３は、前面２４０１と台地Ｌ１を特定することにより、面２４０２を特定できる。自由視点画像生成部１０３３は面２４０２を強調表示した画像を生成する。
【0051】
＜実施の形態４＞
図２５は、本発明の実施形態４に係る画像生成装置１０３の機能ブロック図である。実施形態１の図４で説明した構成に加えて、太線部分が新たに追加されている。切替判断部１０３７は、作業機械１００の動作状態（すなわち、運転者または遠隔操作者が作業機械１００に対して指示している作業内容）にしたがって、自由視点画像を切り替える。切り替える画像の内容としては、例えば以下のようなものが挙げられる。
図２５は、本発明の実施形態４に係る画像生成装置１０３の機能ブロック図である。実施形態１の図４で説明した構成に加えて、太線部分が新たに追加されている。切替判断部１０３７は、作業機械１００の動作状態（すなわち、運転者または遠隔操作者が作業機械１００に対して指示している作業内容）にしたがって、自由視点画像を切り替える。切り替える画像の内容としては、例えば以下のようなものが挙げられる。
【0052】
（画像例その１：機械情報）
自由視点画像の１例として、作業機械１００の状態を表す機械情報を、自由視点画像内に表示することができる。機械情報の例としては、以下のようなものを挙げることができるが、これに限らない。
自由視点画像の１例として、作業機械１００の状態を表す機械情報を、自由視点画像内に表示することができる。機械情報の例としては、以下のようなものを挙げることができるが、これに限らない。
【0053】
（画像例その１：機械情報：シリンダ圧）
作業機械１００が掘削作業を実施するとき、作業機械１００が備える油圧シリンダの圧力を示す画像を、自由視点画像内に表示することができる。例えば、ブーム１１１、アーム１１２、バケット１１３それぞれに対して、シリンダ圧を表す色を付すことにより、シリンダ圧情報を自由視点画像内に重畳することができる。図１６～図１８はその１例である。
作業機械１００が掘削作業を実施するとき、作業機械１００が備える油圧シリンダの圧力を示す画像を、自由視点画像内に表示することができる。例えば、ブーム１１１、アーム１１２、バケット１１３それぞれに対して、シリンダ圧を表す色を付すことにより、シリンダ圧情報を自由視点画像内に重畳することができる。図１６～図１８はその１例である。
【0054】
（画像例その１：機械情報：旋回体の移動範囲）
作業機械１００が旋回体１０２を回転させるとき、旋回体１０２の移動範囲（または回転軌跡）を示す画像を、自由視点画像内に表示することができる。例えば旋回体１０２の移動範囲を表す円柱を、自由視点画像内に重畳することができる。図２２～図２３はその１例である。
作業機械１００が旋回体１０２を回転させるとき、旋回体１０２の移動範囲（または回転軌跡）を示す画像を、自由視点画像内に表示することができる。例えば旋回体１０２の移動範囲を表す円柱を、自由視点画像内に重畳することができる。図２２～図２３はその１例である。
【0055】
（画像例その１：機械情報：すかし掘り領域）
作業機械１００が掘削作業を実施するとき、自由視点画像のうちすかし掘りに該当する領域を例えば着色するなどによって、強調表示することができる。図２４はその１例である。
作業機械１００が掘削作業を実施するとき、自由視点画像のうちすかし掘りに該当する領域を例えば着色するなどによって、強調表示することができる。図２４はその１例である。
【0056】
（画像例その２：環境情報）
自由視点画像の１例として、作業機械１００の周辺環境の状態を表す環境情報を、自由視点画像内に表示することができる。環境情報の例としては、以下のようなものを挙げることができるが、これに限らない。
自由視点画像の１例として、作業機械１００の周辺環境の状態を表す環境情報を、自由視点画像内に表示することができる。環境情報の例としては、以下のようなものを挙げることができるが、これに限らない。
【0057】
（画像例その２：環境情報：積載形状）
作業機械１００が掘削した土砂をダンプカーなどに積載するとき、その積載した土砂の形状を表す画像を、自由視点画像内に表示することができる。図２０はその１例である。
作業機械１００が掘削した土砂をダンプカーなどに積載するとき、その積載した土砂の形状を表す画像を、自由視点画像内に表示することができる。図２０はその１例である。
【0058】
（画像例その２：環境情報：掘削形状）
作業機械１００が掘削作業を実施するとき、掘削した箇所の形状を表す画像を、自由視点画像内に表示することができる。図１９はその１例である。掘削箇所１９０１についても図２０の領域２０１～２０３と同様に、等高線や色によって形状を表示してもよい。
作業機械１００が掘削作業を実施するとき、掘削した箇所の形状を表す画像を、自由視点画像内に表示することができる。図１９はその１例である。掘削箇所１９０１についても図２０の領域２０１～２０３と同様に、等高線や色によって形状を表示してもよい。
【0059】
（画像例その２：環境情報：周辺地形）
作業機械１００が走行するとき、周辺地形の凹凸や端部形状を表す画像を、自由視点画像内に表示することができる。図２１は、端部２１０１を強調表示した例である。地形の凹凸についても図２０の領域２０１～２０３と同様に、等高線や色によってその形状を表示してもよい。
作業機械１００が走行するとき、周辺地形の凹凸や端部形状を表す画像を、自由視点画像内に表示することができる。図２１は、端部２１０１を強調表示した例である。地形の凹凸についても図２０の領域２０１～２０３と同様に、等高線や色によってその形状を表示してもよい。
【0060】
自由視点画像内に重畳する画像種類の例として、機械情報と環境情報を説明した。これらを自由視点画像内に重畳するとき、その重畳画像の透過率、色、ライン太さなどを適宜調整することにより、重畳部分を強調してもよい。さらに切替判断部１０３７は、作業機械１００が実施する作業や重畳画像の種類に応じて、自由視点を切り替えてもよい。例えばすかし堀り領域を表示する場合は、図２４のように横視点が望ましい。
【0061】
【0062】
図２７は、作業機械１００の状態遷移図である。移動（Ｓ３１）している間は掘削や旋回などのその他動作を実施しない。待機状態（Ｓ３２）において、掘削（Ｓ３３）または旋回（行き）（Ｓ３４）を実施する。旋回（行き）は、掘削した土砂を放土（Ｓ３５）するための前段動作である。放土した後は旋回体１０２を元に戻し（Ｓ３６：旋回（戻り））、待機または掘削動作を実施する。各動作においては、上述の機械情報や環境情報を、適切な自由視点とともに表示することができる。
【0063】
＜実施の形態５＞
図２８は、自由視点画像を切り替えるトリガとなる閾値の例である。１例として、油圧シリンダセンサの検出値が閾値を超えている期間は、切替判断部１０３７から自由視点画像生成部１０３３に対して、自由視点画像を切り替えるように指示する切替信号を出力する。この例は、作業機械１００の状態を検出する車両センサの検出値をトリガとしているが、機械情報や環境情報についても同様のトリガを設けることができる。例えば以下のような例が考えられる。
図２８は、自由視点画像を切り替えるトリガとなる閾値の例である。１例として、油圧シリンダセンサの検出値が閾値を超えている期間は、切替判断部１０３７から自由視点画像生成部１０３３に対して、自由視点画像を切り替えるように指示する切替信号を出力する。この例は、作業機械１００の状態を検出する車両センサの検出値をトリガとしているが、機械情報や環境情報についても同様のトリガを設けることができる。例えば以下のような例が考えられる。
【0064】
（表示切替の例その１）
画像生成装置１０３は、作業機械１００の状態を表す情報として、作業機械１００が備えるシリンダの圧力を取得する。センサＳ４（車両センサ）は、ブームシリンダ圧センサ、アームシリンダ圧センサ、バケットシリンダ圧センサ、などによって構成することができる。画像生成装置１０３は、取得したシリンダ圧が閾値を超えている場合は、その超えている部分の描画属性を変更する。図１６～図１８はその１例である。自由視点については、少なくともシリンダ圧が閾値を超えた部位を自由視点画像内に含むように構成する。これにより、作業機械１００の操作状態が異常であることを、操作者に対して通知することができる。
画像生成装置１０３は、作業機械１００の状態を表す情報として、作業機械１００が備えるシリンダの圧力を取得する。センサＳ４（車両センサ）は、ブームシリンダ圧センサ、アームシリンダ圧センサ、バケットシリンダ圧センサ、などによって構成することができる。画像生成装置１０３は、取得したシリンダ圧が閾値を超えている場合は、その超えている部分の描画属性を変更する。図１６～図１８はその１例である。自由視点については、少なくともシリンダ圧が閾値を超えた部位を自由視点画像内に含むように構成する。これにより、作業機械１００の操作状態が異常であることを、操作者に対して通知することができる。
【0065】
（表示切替の例その２）
画像生成装置１０３は、作業機械１００の周辺環境の状態を表す情報として、作業機械１００が掘削した土砂を積載する積載車が到着する予定となっている到着場所の凹凸程度を取得することもできる。例えばセンサＳ１～Ｓ３によって到着場所を撮像し、あるいはＬｉＤＡＲが到着場所の３次元形状を計測することにより、その凹凸程度を取得できる。画像生成装置１０３は、取得した凹凸程度が閾値を超えている場合は、その到着場所の描画属性を変更する。自由視点については、少なくとも到着場所を含むように構成する。これにより、到着場所が積載車の到着に適していないことを、操作者に対して通知することができる。
画像生成装置１０３は、作業機械１００の周辺環境の状態を表す情報として、作業機械１００が掘削した土砂を積載する積載車が到着する予定となっている到着場所の凹凸程度を取得することもできる。例えばセンサＳ１～Ｓ３によって到着場所を撮像し、あるいはＬｉＤＡＲが到着場所の３次元形状を計測することにより、その凹凸程度を取得できる。画像生成装置１０３は、取得した凹凸程度が閾値を超えている場合は、その到着場所の描画属性を変更する。自由視点については、少なくとも到着場所を含むように構成する。これにより、到着場所が積載車の到着に適していないことを、操作者に対して通知することができる。
【0066】
（表示切替の例その３）
画像生成装置１０３は、作業機械１００の周辺環境の状態を表す情報として、作業機械１００が掘削した土砂を積載する積載車上の土砂の予想重量を取得することもできる。例えばセンサＳ１～Ｓ３によって土砂を撮像し、あるいはＬｉＤＡＲが土砂の３次元形状を計測することにより、土砂の堆積を計算できる。計算した体積に対して、土砂の平均的な体積密度を乗算することにより。土砂の予測重量を計算できる。画像生成装置１０３は、計算した予測重量が閾値を超えている場合は、積載している土砂の描画属性を変更する。図２０はその１例である。自由視点については、少なくとも積載している土砂を含むように構成する。これにより、土砂の過積載を操作者に対して通知することができる。
画像生成装置１０３は、作業機械１００の周辺環境の状態を表す情報として、作業機械１００が掘削した土砂を積載する積載車上の土砂の予想重量を取得することもできる。例えばセンサＳ１～Ｓ３によって土砂を撮像し、あるいはＬｉＤＡＲが土砂の３次元形状を計測することにより、土砂の堆積を計算できる。計算した体積に対して、土砂の平均的な体積密度を乗算することにより。土砂の予測重量を計算できる。画像生成装置１０３は、計算した予測重量が閾値を超えている場合は、積載している土砂の描画属性を変更する。図２０はその１例である。自由視点については、少なくとも積載している土砂を含むように構成する。これにより、土砂の過積載を操作者に対して通知することができる。
【0067】
（表示切替の例その４）
画像生成装置１０３は、作業機械１００の周辺環境の状態を表す情報として、作業機械１００の最前面（後退する場合は最後面）と、作業機械１００の進行方向上に存在する斜面との間の距離を取得することもできる。例えばセンサＳ１～Ｓ３によって作業機械１００の周辺地形を撮像し、あるいはＬｉＤＡＲによって周辺地形を計測することにより、作業機械１００から斜面までの距離を取得できる。画像生成装置１０３（ＡＲ画像生成部１０３４または自由視点画像生成部１０３３）は、取得した距離が閾値未満である（あるいは、取得した距離に基づき、作業機械１００が斜面から滑落する危険度を計算し、その危険度が閾値以上である）場合は、斜面の端部の描画属性を変更する。図２１はその１例である。滑落危険度は、原則として作業機械１００と斜面との間の距離に依拠するが、地盤の硬さなどの適当なパラメータを加味してもよい。自由視点については、少なくとも斜面の端部を含むように構成する。これにより、作業機械１００が斜面から滑落する可能性を、操作者に対して通知することができる。
画像生成装置１０３は、作業機械１００の周辺環境の状態を表す情報として、作業機械１００の最前面（後退する場合は最後面）と、作業機械１００の進行方向上に存在する斜面との間の距離を取得することもできる。例えばセンサＳ１～Ｓ３によって作業機械１００の周辺地形を撮像し、あるいはＬｉＤＡＲによって周辺地形を計測することにより、作業機械１００から斜面までの距離を取得できる。画像生成装置１０３（ＡＲ画像生成部１０３４または自由視点画像生成部１０３３）は、取得した距離が閾値未満である（あるいは、取得した距離に基づき、作業機械１００が斜面から滑落する危険度を計算し、その危険度が閾値以上である）場合は、斜面の端部の描画属性を変更する。図２１はその１例である。滑落危険度は、原則として作業機械１００と斜面との間の距離に依拠するが、地盤の硬さなどの適当なパラメータを加味してもよい。自由視点については、少なくとも斜面の端部を含むように構成する。これにより、作業機械１００が斜面から滑落する可能性を、操作者に対して通知することができる。
【0068】
（表示切替の例その５）
画像生成装置１０３は、作業機械１００の状態を表す情報として、作業機械１００が旋回したときにおける、旋回体１０２または旋回体１０２とブーム１１１～バケット１１３を含む回転体の移動範囲（旋回範囲）を取得してもよい。移動範囲は、各部位のサイズと伸縮範囲をあらかじめ作業機械１００の形状情報として保持しておき、これを用いて計算することができる。画像生成装置１０３はさらに、作業機械１００の周辺環境の状態を表す情報として、作業機械１００の周辺に存在する物体の位置を取得することができる。例えばセンサＳ１～Ｓ３によって作業機械１００の周辺を撮像し、あるいはＬｉＤＡＲによって周辺地形を計測することにより、周辺物体の位置を取得できる。画像生成装置１０３（ＡＲ画像生成部１０３４または自由視点画像生成部１０３３）は、周辺物体と旋回範囲との間の距離が閾値未満である（あるいは、周辺物体の位置に基づき、旋回動作によって作業機械１００と周辺物体が衝突する危険度を計算し、その危険度が閾値以上である）場合は、旋回範囲のうち周辺物体と衝突する可能性がある部分の描画属性を変更する。図２２～図２３はその１例である。衝突危険度は、原則として作業機械１００と周辺物体との間の距離に依拠するが、ブーム１１１～バケット１１３の伸縮動作による可動範囲などの適当なパラメータを加味してもよい。自由視点については、少なくとも旋回範囲の全体を含むように構成する。これにより、作業機械１００と周辺物体が衝突する可能性を、操作者に対して通知することができる。
画像生成装置１０３は、作業機械１００の状態を表す情報として、作業機械１００が旋回したときにおける、旋回体１０２または旋回体１０２とブーム１１１～バケット１１３を含む回転体の移動範囲（旋回範囲）を取得してもよい。移動範囲は、各部位のサイズと伸縮範囲をあらかじめ作業機械１００の形状情報として保持しておき、これを用いて計算することができる。画像生成装置１０３はさらに、作業機械１００の周辺環境の状態を表す情報として、作業機械１００の周辺に存在する物体の位置を取得することができる。例えばセンサＳ１～Ｓ３によって作業機械１００の周辺を撮像し、あるいはＬｉＤＡＲによって周辺地形を計測することにより、周辺物体の位置を取得できる。画像生成装置１０３（ＡＲ画像生成部１０３４または自由視点画像生成部１０３３）は、周辺物体と旋回範囲との間の距離が閾値未満である（あるいは、周辺物体の位置に基づき、旋回動作によって作業機械１００と周辺物体が衝突する危険度を計算し、その危険度が閾値以上である）場合は、旋回範囲のうち周辺物体と衝突する可能性がある部分の描画属性を変更する。図２２～図２３はその１例である。衝突危険度は、原則として作業機械１００と周辺物体との間の距離に依拠するが、ブーム１１１～バケット１１３の伸縮動作による可動範囲などの適当なパラメータを加味してもよい。自由視点については、少なくとも旋回範囲の全体を含むように構成する。これにより、作業機械１００と周辺物体が衝突する可能性を、操作者に対して通知することができる。
【0069】
（表示切替の例その６）
画像生成装置１０３は、作業機械１００の周辺環境の状態を表す情報として、作業機械１００の前面と、作業機械１００の前方に存在する斜面との間の距離を取得してもよい。例えばセンサＳ１～Ｓ３によって作業機械１００の周辺地形を撮像し、あるいはＬｉＤＡＲによって周辺地形を計測することにより、作業機械１００から斜面までの距離を取得できる。画像生成装置１０３（ＡＲ画像生成部１０３４または自由視点画像生成部１０３３）は、取得した距離が閾値未満である（あるいは、取得した距離に基づき、作業機械１００が自身の下方の地盤を掘削する危険度（すかし掘り危険度）を計算し、その危険度が閾値以上である）場合は、斜面の描画属性を変更する。図２４はその１例である。すかし掘り危険度は、原則として作業機械１００と斜面との間の距離に依拠するが、地盤の硬さなどの適当なパラメータを加味してもよい。自由視点については、少なくとも作業機械１００の側面と斜面を含むように構成する。これにより、作業機械１００がすかし掘りを実施する可能性を、操作者に対して通知することができる。
画像生成装置１０３は、作業機械１００の周辺環境の状態を表す情報として、作業機械１００の前面と、作業機械１００の前方に存在する斜面との間の距離を取得してもよい。例えばセンサＳ１～Ｓ３によって作業機械１００の周辺地形を撮像し、あるいはＬｉＤＡＲによって周辺地形を計測することにより、作業機械１００から斜面までの距離を取得できる。画像生成装置１０３（ＡＲ画像生成部１０３４または自由視点画像生成部１０３３）は、取得した距離が閾値未満である（あるいは、取得した距離に基づき、作業機械１００が自身の下方の地盤を掘削する危険度（すかし掘り危険度）を計算し、その危険度が閾値以上である）場合は、斜面の描画属性を変更する。図２４はその１例である。すかし掘り危険度は、原則として作業機械１００と斜面との間の距離に依拠するが、地盤の硬さなどの適当なパラメータを加味してもよい。自由視点については、少なくとも作業機械１００の側面と斜面を含むように構成する。これにより、作業機械１００がすかし掘りを実施する可能性を、操作者に対して通知することができる。
【0070】
＜実施の形態６＞
以上の実施形態において、作業機械１００が備える画像生成装置１０３が作業機械１００の周辺環境を撮影して座標系処理を実施し、その結果を遠隔操作室３００に対して送信することを説明した。画像生成装置１０３が実施する処理のうち一部は、遠隔操作室３００において実施してもよい。本発明の実施形態６ではその具体例を説明する。
以上の実施形態において、作業機械１００が備える画像生成装置１０３が作業機械１００の周辺環境を撮影して座標系処理を実施し、その結果を遠隔操作室３００に対して送信することを説明した。画像生成装置１０３が実施する処理のうち一部は、遠隔操作室３００において実施してもよい。本発明の実施形態６ではその具体例を説明する。
【0071】
図２９は、画像生成装置１０３の変形例を示す。この構成例においては、作業機械１００の状態および作業機械１００の周辺環境の状態を検出するのは、作業機械１００が備えるセンサ群である。画像生成装置１０３は、センサが取得したデータに対して座標変換を実施した上で、遠隔操作室３００に対して送信する。遠隔操作室３００はこれを用いて操作支援画像を生成し、これを表示する。
【0072】
図２９において、画像生成装置１０３は自由視点画像（または通常視点画像）を生成しないので、自由視点画像生成部１０３３、図形位置形状算出部１０３２、ＡＲ画像生成部１０３４、映像重畳部１０３５は遠隔操作室３００側に備えられている。これらに代えて座標変換部１０３８と３次元情報圧縮部１０３９を備える。撮像装置、３次元計測装置、車両センサそれぞれが計測したデータをそのまま遠隔操作室３００に対して送信することも可能だが、視野が互いに重複しているなどによって、データが冗長となっている場合がある。そこで座標変換部１０３８によってこれらのデータの座標系を統合した上で、遠隔操作室３００に対して送信することとした。
【0073】
座標変換部１０３８は、撮像装置が取得した２次元映像を基準として、３次元計測装置が取得した３次元計測データと車両センサが取得した車両情報の座標系を変換する。３次元計測データは、センサＳ１～Ｓ３それぞれによる３次元計測データを統合したものである。映像圧縮部１０３６は撮像装置による２次元映像を圧縮し、３次元情報圧縮部１０３９は３次元計測データを圧縮する。車両情報はサイズが比較的小さいので必ずしも圧縮しなくてよい。通信装置１０４はこれらのデータを遠隔操作室３００に対して送信する。
【0074】
図３０は、運転制御装置３０５の機能ブロック図である。図３０の運転制御装置３０５は、図２９の画像生成装置１０３から各センサによる計測データを受信し、自由視点画像（または通常視点画像）を生成する。運転制御装置３０５は、画像生成装置１０３から移行した自由視点画像生成部１０３３、図形位置形状算出部１０３２、ＡＲ画像生成部１０３４、映像重畳部１０３５を備える。さらに３次元情報伸長部３０５４を備える。３次元情報伸長部３０５４は、画像生成装置１０３から受信した３次元計測データを伸長する。その他の各部の動作は以上の実施形態と同様である。
【0075】
図３１は、画像生成装置１０３の変形例を示す。図３１は、図２９とは別の変形例を示す。この構成例においては、作業機械１００の状態および作業機械１００の周辺環境の状態を検出するのは、作業機械１００が備えるセンサ群である。画像生成装置１０３は、センサが取得したデータに対して座標変換を実施した上で、操作支援画像を生成し、これを表示する。
【0076】
図３１に示す画像生成装置１０３は、作業機械１００上に搭載され、作業機械１００上において操作支援画像を表示する装置である。したがって、図４～図５で説明した構成に加えて、図６で説明した構成を備える。ただし画像生成装置１０３と遠隔操作室３００との間で計測データを送受信する必要はないので、映像圧縮部１０３６、通信装置３０６、映像伸長部３０５１は必要ない。入力装置３１１およびディスプレイ３１２は、それぞれ入力装置３０３およびディスプレイ３０４と同様の装置である。
【0077】
図３２は、運転室ＯＲの構成図である。図３２は、図３１の画像生成装置１０３を備える場合における構成例である。運転室ＯＲは、運転席３２１、操作装置３２２、入力装置３１１、ディスプレイ３１２、画像生成装置１０３を備える。運転者は運転席３２１に着席し、入力装置３１１を介して操作指示を入力する。操作装置３２２はその操作指示を画像生成装置１０３へ渡す。画像生成装置１０３は操作支援画像をディスプレイ３１２上に表示する。
【0078】
＜本発明の変形例について＞
本発明は、前述した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
本発明は、前述した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0079】
以上の実施形態において、作業機械１００の状態を表す情報（機械情報）や、作業機械１００の周辺環境の状態を表す情報（環境情報）を、画像生成装置１０３が自由視点画像（または通常視点画像）に対して重畳する際に、これらの情報を文字画像によって表現して重畳することもできる。この場合における文字画像も、機械情報または環境情報の１例である。
【0080】
以上の実施形態において、画像生成装置１０３が生成した画像に対して重畳する情報をユーザが選択してもよい。例えば熟練オペレータと初心オペレータは、操作支援のために必要な情報が異なる。そこでユーザ自身が、機械情報と環境情報のうちいずれを操作支援画面上に重畳するかを、選択してもよい。これは遠隔操作室３００において操作支援画像を表示する場合と作業機械１００において表示する場合いずれにおいても同様である。
【0081】
以上の実施形態において、自由視点をユーザ自身が切り替えてもよい。各自由視点においては、そのときの自由視点において表示することが望ましい機械情報と環境情報を重畳すればよい。例えば運転室ＯＲから視た画像を表示する際には、図１６～図１７、図１９～図２０、などが例示する情報を重畳すればよい。各視点においていずれの情報を重畳するかについては、ユーザ自身があらかじめ設定してもよいし、視点ごとにプリセットしてもよい。
【0082】
以上の実施形態において、各視点画像に対して重畳する情報は、画像を表示する側の装置において切り替えることもできるし、全ての情報を表示側で受け取ったうえでいずれの情報を重畳するかを表示側において切り替えてもよい。切替は例えばユーザ指示によって実施すればよい。
【0083】
以上の実施形態において、作業機械１００の例としてショベルカーを例示したが、その他の作業機械の操作を支援する際においても、本発明に係る構成例を適用することができる。すなわち、その他の作業機械においても、操作者が見る画面上に機械情報と環境情報を提示することにより、本発明と同様の効果を発揮できる。
【符号の説明】
【0084】
１００：作業機械
１０３：画像生成装置
１０３０Ａ：機械情報取得部
１０３０Ｂ：環境情報取得部
１０３１：座標系処理部
１０３３：自由視点画像生成部
１０３４：ＡＲ画像生成部
３００：遠隔操作室
１０３：画像生成装置
１０３０Ａ：機械情報取得部
１０３０Ｂ：環境情報取得部
１０３１：座標系処理部
１０３３：自由視点画像生成部
１０３４：ＡＲ画像生成部
３００：遠隔操作室
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】