(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-17
(45)【発行日】2022-10-25
(54)【発明の名称】作業機械のシステム及び方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20221018BHJP
E02F 9/26 20060101ALI20221018BHJP
G03B 15/00 20210101ALI20221018BHJP
G03B 37/00 20210101ALI20221018BHJP
G06T 3/00 20060101ALI20221018BHJP
B60R 11/02 20060101ALI20221018BHJP
【ＦＩ】
H04N7/18 J
E02F9/26 B
G03B15/00 W
G03B37/00
G03B15/00 H
G06T3/00 710
B60R11/02 Z
【請求項の数】
15
(21)【出願番号】P 2019008906
(22)【出願日】2019-01-23
(65)【公開番号】P2020120234
(43)【公開日】2020-08-06
【審査請求日】2021-12-20
(73)【特許権者】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(74)【代理人】
【識別番号】110000202
【氏名又は名称】新樹グローバル・アイピー特許業務法人
(72)【発明者】
【氏名】中沢 浩一
(72)【発明者】
【氏名】矢津田 修
【審査官】梅本 章子
(56)【参考文献】
【文献】特開２０１６－１３４００１（ＪＰ，Ａ）
【文献】特開２０１３－１２１０５６（ＪＰ，Ａ）
【文献】特開２０１４－０６９６２９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１８
Ｅ０２Ｆ ９／２６
Ｇ０３Ｂ １５／００
Ｇ０３Ｂ ３７／００
Ｇ０６Ｔ ３／００
Ｂ６０Ｒ １１／０２
(57)【特許請求の範囲】
【請求項1】
作業機を含む作業機械と、前記作業機械の周辺画像を撮影する複数のカメラと、
前記周辺画像を示す画像データを取得し、前記周辺画像を合成して、前記作業機械の周りを移動する視点からのパノラマ動画を生成するプロセッサと、
前記プロセッサからの信号に基づき、前記作業機械の周りを移動する視点からの前記パノラマ動画を表示するディスプレイと、
を備え、
前記視点は、前記作業機械に向かって、前記作業機械の左右の一側方を通る向きに配置され、
前記パノラマ動画において、前記作業機械は、画面の中心よりも右方、又は左方に表示される、
システム。
【請求項2】
前記プロセッサは、前記視点を前記作業機械の回りに少なくとも３６０度回転させて、前記パノラマ動画を生成する、請求項１に記載のシステム。
【請求項3】
前記プロセッサは、前記作業機械の上面視で、前記作業機械を囲む円状の軌跡に沿って前記視点を移動させて、前記パノラマ動画を生成する、請求項１に記載のシステム。
【請求項4】
前記プロセッサは、前記作業機械の上面視で、前記作業機械を囲む楕円状の軌跡に沿って前記視点を移動させて、前記パノラマ動画を生成する、請求項１に記載のシステム。
【請求項5】
前記パノラマ動画は、前記作業機械の全周囲における前記作業機械の周辺を示す、請求項１に記載のシステム。
【請求項6】
前記プロセッサは、前記作業機械の始動信号を受信したときに、前記パノラマ動画を生成して前記ディスプレイに表示させる、請求項１に記載のシステム。
【請求項7】
データを記憶する記憶装置をさらに備え、前記プロセッサは、前記パノラマ動画を示すデータを前記記憶装置に保存する、
請求項１に記載のシステム。
【請求項8】
作業機を含む作業機械の周辺をディスプレイに表示するためにプロセッサによって実行される方法であって、前記作業機械の周辺画像を示す画像データを取得することと、
前記周辺画像を合成して、前記作業機械の周りを移動する視点からのパノラマ動画を生成することと、
前記作業機械の周りを移動する視点からの前記パノラマ動画を前記ディスプレイに表示すること、
を備え、
前記視点は、前記作業機械に向かって、前記作業機械の左右の一側方を通る向きに配置され、
前記パノラマ動画において、前記作業機械は、画面の中心よりも右方、又は左方に表示される、
方法。
【請求項9】
前記パノラマ動画を生成することは、前記視点を前記作業機械の回りに少なくとも３６０度回転させることを含む、請求項８に記載の方法。
【請求項10】
前記パノラマ動画を生成することは、前記作業機械の上面視で、前記作業機械を囲む円状の軌跡に沿って前記視点を移動させることを含む、請求項８に記載の方法。
【請求項11】
前記パノラマ動画を生成することは、前記作業機械の上面視で、前記作業機械を囲む楕円状の軌跡に沿って前記視点を移動させることを含む、請求項８に記載の方法。
【請求項12】
前記パノラマ動画は、前記作業機械の全周囲における前記作業機械の周辺を示す、請求項８に記載の方法。
【請求項13】
前記作業機械の始動信号を受信したときに、前記パノラマ動画が生成されて前記ディスプレイに表示される、請求項８に記載の方法。
【請求項14】
前記パノラマ動画を示すデータを記憶装置に保存することをさらに備える、請求項８に記載の方法。
【請求項15】
作業機械の周辺画像を示す画像データを取得し、前記周辺画像を合成して、前記作業機械の周りを移動する視点からのパノラマ動画を生成するプロセッサと、前記プロセッサからの信号に基づき、前記作業機械の周りを移動する視点からの前記パノラマ動画を表示するディスプレイと、
を備え、
前記視点は、前記作業機械に向かって、前記作業機械の左右の一側方を通る向きに配置され、
前記パノラマ動画において、前記作業機械は、画面の中心よりも右方、又は左方に表示される、
システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、作業機械のシステム及び方法に関する。
【背景技術】
【0002】
従来、作業機械とその周辺を示す画像をディスプレイに表示するシステムが知られている。例えば、特許文献１では、システムは、作業機械に取り付けられる複数のカメラとコントローラとを含む。複数のカメラは、作業機械及びその周辺を撮影する。コントローラは、複数のカメラによって撮影された画像から、俯瞰画像を合成する。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開ＷＯ２０１６／０３１００９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したように、コントローラは、カメラが撮影した複数の画像を合成することで、作業機械及びその周辺を示す画像を生成する。従って、コントローラは、様々な視点からの画像を生成することができる。
【0005】
オペレータが作業機械の周辺の広い範囲をディスプレイによって見渡すことができれば、作業機械の周辺の状況を容易に確認することができる。しかし、ディスプレイに表示できる範囲には限界がある。そのため、広い範囲を確認するためには、オペレータが視点を切り換える操作を行う必要があり、煩雑である。本開示の目的は、オペレータがディスプレイによって作業機械の周辺の広い範囲を容易に見渡すことができるシステム及び方法を提供することにある。
【課題を解決するための手段】
【0006】
第１の態様に係るシステムは、作業機械と、複数のカメラと、プロセッサと、ディスプレイとを備える。作業機械は、作業機を含む。複数のカメラは、作業機械の周辺画像を撮影する。プロセッサは、周辺画像を示す画像データを取得する。プロセッサは、周辺画像を合成して、作業機械の周りを移動する視点からのパノラマ動画を生成する。ディスプレイは、プロセッサからの信号に基づき、作業機械の周りを移動する視点からのパノラマ動画を表示する。
【0007】
第２の態様に係る方法は、作業機を含む作業機械の周辺をディスプレイに表示するためにプロセッサによって実行される方法である。当該方法は以下の処理を含む。第１の処理は、作業機械の周辺画像を示す画像データを取得することである。第２の処理は、周辺画像を合成して、作業機械の周りを移動する視点からのパノラマ動画を生成することである。第３の処理は、作業機械の周りを移動する視点からのパノラマ動画をディスプレイに表示することである。
【0008】
第３の態様に係るシステムは、プロセッサとディスプレイとを備える。プロセッサは、作業機械の周辺画像を示す画像データを取得する。プロセッサは、周辺画像を合成して、作業機械の周りを移動する視点からのパノラマ動画を生成する。ディスプレイは、プロセッサからの信号に基づき、作業機械の周りを移動する視点からのパノラマ動画を表示する。
【発明の効果】
【0009】
本開示では、作業機械の周りを移動する視点からのパノラマ動画がディスプレイに表示される。そのため、オペレータは、ディスプレイによって作業機械の周辺の広い範囲を容易に見渡すことができる。
【図面の簡単な説明】
【0010】
【図1】実施形態に係る作業機械を示す側面図である。
【図2】実施形態に係るシステムの構成を示す図である。
【図3】システムの構成、及び、システムによる処理の流れを示すブロック図である。
【図4】画像の一例を示す図である。
【図5】パノラマ動画における視点の移動を示す図である。
【図6】パノラマ動画のフレームの一部を示す図である。
【図7】パノラマ動画のフレームの一部を示す図である。
【図8】他の実施形態に係るシステムの構成を示す図である。
【図9】変形例に係るパノラマ動画における視点の移動を示す図である。
【図10】変形例に係るパノラマ動画のフレームの一部を示す図である。
【図11】変形例に係るパノラマ動画のフレームの一部を示す図である。
【発明を実施するための形態】
【0011】
以下、図面を参照して、実施形態に係る作業機械のシステムについて説明する。図1は、実施形態に係る作業機械１を示す側面図である。本実施形態において、作業機械１はブルドーザである。作業機械１は、車体２と、作業機３と、走行装置４とを含む。
【0012】
車体２は、エンジン室１１を含む。エンジン室１１の後方には、運転室１２が配置されている。車体２の後部には、リッパ装置５が取り付けられている。走行装置４は、作業機械１を走行させるための装置である。走行装置４は、車体２の左右の側方に配置される一対の履帯１３を含む。履帯１３が駆動されることにより作業機械１が走行する。
【0013】
作業機３は、車体２の前方に配置されている。作業機３は、掘削、運土、或いは整地などの作業に用いられる。作業機３は、ブレード１４と、リフトシリンダ１５と、チルトシリンダ１６と、アーム１７とを有する。ブレード１４は、アーム１７を介して車体２に支持されている。ブレード１４は、上下方向に動作可能に設けられている。リフトシリンダ１５とチルトシリンダ１６とは、後述する油圧ポンプ２２から吐出された作動油によって駆動され、ブレード１４の姿勢を変更する。
【0014】
図２は、作業機械１を制御するためのシステム１００の構成を示すブロック図である。図２に示すように、作業機械１は、エンジン２１と、油圧ポンプ２２と、動力伝達装置２３と、制御弁２４とを含む。エンジン２１と、油圧ポンプ２２と、動力伝達装置２３とは、エンジン室１１に配置されている。油圧ポンプ２２は、エンジン２１によって駆動され、作動油を吐出する。油圧ポンプ２２から吐出された作動油は、リフトシリンダ１５及びチルトシリンダ１６に供給される。なお、図２では、１つの油圧ポンプ２２が図示されているが、複数の油圧ポンプが設けられてもよい。
【0015】
動力伝達装置２３は、エンジン２１の駆動力を走行装置４に伝達する。動力伝達装置２３は、例えば、HST（Hydro Static Transmission）であってもよい。或いは、動力伝達装置２３は、例えば、トルクコンバーター、或いは複数の変速ギアを有するトランスミッションであってもよい。
【0016】
制御弁２４は、比例制御弁であり、入力される指令信号に応じて制御される。制御弁２４は、リフトシリンダ１５及びチルトシリンダ１６などの油圧アクチュエータと、油圧ポンプ２２との間に配置される。制御弁２４は、油圧ポンプ２２からリフトシリンダ１５及びチルトシリンダ１６に供給される作動油の流量を制御する。なお、制御弁２４は、圧力比例制御弁であってもよい。或いは、制御弁２４は、電磁比例制御弁であってもよい。
【0017】
システム１００は、第１コントローラ３１と、第２コントローラ３２と、入力装置３３と、通信装置３４，３５とを含む。第１コントローラ３１と通信装置３４とは、作業機械１に搭載されている。第２コントローラ３２と、入力装置３３と、通信装置３５とは、作業機械１の外部に配置されている。例えば、第２コントローラ３２と、入力装置３３と、通信装置３５とは、作業現場から離れたコントロールセンタ内に配置される。作業機械１は、入力装置３３によって遠隔操縦可能である。
【0018】
第１コントローラ３１と第２コントローラ３２とは、作業機械１を制御するようにプログラムされている。第１コントローラ３１は、メモリ３１１とプロセッサ３１２とを含む。メモリ３１１は、例えばＲＡＭなどの揮発性メモリと、ＲＯＭ等の不揮発性メモリとを含む。メモリ３１１は、作業機械１を制御するためのプログラム及びデータを記憶している。プロセッサ３１２は、例えばＣＰＵ（Central Processing Unit）であり、プログラムに従って、作業機械１を制御するための処理を実行する。第１コントローラ３１は、走行装置４、或いは動力伝達装置２３を制御することで、作業機械１を走行させる。第１コントローラ３１は、制御弁２４を制御することで、作業機３を動作させる。
【0019】
第２コントローラ３２は、メモリ３２１とプロセッサ３２２とを含む。メモリ３２１は、例えばＲＡＭなどの揮発性メモリと、ＲＯＭ等の不揮発性メモリとを含む。メモリ３２１は、作業機械１を制御するためのプログラム及びデータを記憶している。プロセッサ３２２は、例えばＣＰＵ（Central Processing Unit）であり、プログラムに従って、作業機械１を制御するための処理を実行する。第２コントローラ３２は、入力装置３３から操作信号を受信する。
【0020】
入力装置３３は、オペレータによる操作を受け付け、操作に応じた操作信号を出力する。入力装置３３は、第２コントローラ３２に操作信号を出力する。入力装置３３は、走行装置４と作業機３とを操作するための操作レバー、ペダル、或いはスイッチ等の操作子を含む。入力装置３３は、タッチパネルを含んでもよい。入力装置３３の操作に応じて、作業機械１の前進及び後進などの走行が制御される。また、入力装置３３の操作に応じて、作業機３の上昇及び下降などの動作が制御される。
【0021】
第２コントローラ３２は、第１コントローラ３１と、通信装置３４，３５を介して無線により通信可能である。第２コントローラ３２は、入力装置３３から操作信号から操作データＤ４を取得し、操作データＤ４を第１コントローラ３１に送信する。操作データＤ４は、走行装置４と作業機３とを操作するための入力装置３３の操作を示す。第１コントローラ３１は、操作データＤ４に応じて、走行装置４及び作業機３を制御する。
【0022】
図３は、作業機械１及びその周辺の画像を表示するためのシステム１００の構成、及び、システムによる処理の流れを示すブロック図である。図３に示すように、システム１００は、複数のカメラＣ１－Ｃ４を含む。複数のカメラＣ１－Ｃ４は、車体２に取り付けられている。複数のカメラＣ１－Ｃ４は、魚眼カメラである。複数のカメラＣ１－Ｃ４のそれぞれの画角は１８０度である。ただし、複数のカメラＣ１－Ｃ４のそれぞれの画角は１８０度より小さくてもよい。或いは、複数のカメラＣ１－Ｃ４のそれぞれの画角は１８０度より大きくてもよい。複数のカメラＣ１－Ｃ４は、前カメラＣ１と、第１サイドカメラＣ２と、後カメラＣ３と、第２サイドカメラＣ４とを有する。
【0023】
図１に示すように、前カメラＣ１は、車体２の前部に取り付けられる。詳細には、図１に示すように、車体２は支持部材１８を含む。支持部材１８は、車体２の前部から上方、且つ、前方に延びている。前カメラＣ１は、支持部材１８に取り付けられている。後カメラＣ３は、車体２の後部に取り付けられる。
【0024】
第１サイドカメラＣ２は、車体２の一方の側部に取り付けられている。第２サイドカメラＣ４は、車体２の他方の側部に取り付けられている。本実施形態では、第１サイドカメラＣ２は、車体２の左側部に取り付けられ、第２サイドカメラＣ４は、車体２の右側部に取り付けられている。ただし、第１サイドカメラＣ２が、車体２の右側部に取り付けられ、第２サイドカメラＣ４が、車体２の左側部に取り付けられてもよい。
【0025】
前カメラＣ１は、車体２の前方の画像を取得する。後カメラＣ３は、作業機械１の後方の画像を取得する。第１サイドカメラＣ２は、車体２の左方の画像を取得する。第２サイドカメラＣ４は、車体２の右方の画像を取得する。カメラＣ１－Ｃ４は、取得した画像を示す画像データを出力する。
【0026】
システム１００は、形状センサ３６と、姿勢センサ３７と、位置センサ３８とを含む。形状センサ３６は、作業機械１の周辺の３次元形状を測定し、３次元形状を示す形状データＤ１を出力する。形状センサ３６は、例えばライダー（LIDAR：Laser Imaging Detection and Ranging）である。形状センサ３６は、レーザーを照射して、その反射光を計測することで、計測点までの距離を測定する。
【0027】
姿勢センサ３７は、作業機械１の姿勢を検出し、姿勢を示す姿勢データＤ２を出力する。姿勢センサ３７は、例えばＩＭＵ（慣性計測装置：Inertial Measurement Unit）を含む。姿勢データＤ２は、車両前後方向の水平に対する角度（ピッチ角）と、車両横方向の水平に対する角度（ロール角）とを含む。姿勢センサは、姿勢データＤ２を出力する。
【0028】
位置センサ３８は、例えばＧＰＳ（Global Positioning System）などのＧＮＳＳ(Global Navigation Satellite System)レシーバを含む。位置センサは、衛星より測位信号を受信し、測位信号により作業機械１の位置座標を示す位置データＤ３を取得する。位置センサは、位置データＤ３を出力する。
【0029】
形状センサ３６は、例えば支持部材１８に取り付けられる。或いは、形状センサ３６は、車体２の他の部分に取り付けられてもよい。姿勢センサ３７と位置センサ３８とは、車体２に取り付けられる。或いは、姿勢センサ３７と位置センサ３８とは、作業機３に取り付けられてもよい。
【0030】
システム１００は、画像コントローラ４１とディスプレイ４２とを含む。画像コントローラ４１は、作業機械１及びその周辺を示す画像ＩＳを生成してディスプレイ４２に表示するようにプログラムされている。画像コントローラ４１は、記憶装置４１１とプロセッサ４１２とを含む。記憶装置４１１は、例えばＲＡＭなどの揮発性メモリと、ＲＯＭ等の不揮発性メモリとを含む。記憶装置４１１は、ＨＤＤ或いはＳＳＤなどの補助記憶装置を含んでもよい。記憶装置４１１は、画像ＩＳを生成するためのプログラム及びデータを記憶している。プロセッサ４１２は、例えばＣＰＵ（Central Processing Unit）であり、プログラムに従って、画像ＩＳを生成してディスプレイ４２に表示させるための処理を実行する。
【0031】
画像コントローラ４１は、第１コントローラ３１と、有線、或いは無線により通信可能に接続されている。画像コントローラ４１は、第２コントローラ３２と、有線、或いは無線により通信可能に接続されている。画像コントローラ４１は、作業機械１に搭載されてもよい。画像コントローラ４１は、第１コントローラ３１と一体であってもよく、別体であってもよい。
【0032】
或いは、画像コントローラ４１は、作業機械１の外部に配置されてもよい。例えば、画像コントローラ４１は、コントロールセンタ内に配置されてもよい。画像コントローラ４１は、第２コントローラ３２と一体であってもよく、別体であってもよい。
【0033】
画像コントローラ４１は、カメラＣ１－Ｃ４と有線、或いは無線により通信可能に接続されている。画像コントローラ４１は、カメラＣ１－Ｃ４から画像データを受信する。或いは、画像コントローラ４１は、第１コントローラ３１、及び／又は、第２コントローラ３２を介して、画像データを受信してもよい。
【0034】
画像コントローラ４１は、形状センサ３６、姿勢センサ３７、及び位置センサ３８と有線、或いは無線により通信可能に接続されている。画像コントローラ４１は、形状センサ３６から形状データＤ１を受信する。画像コントローラ４１は、姿勢センサ３７から姿勢データＤ２を受信する。画像コントローラ４１は、位置センサ３８から位置データＤ３を受信する。或いは、画像コントローラ４１は、第１コントローラ３１、及び／又は、第２コントローラ３２を介して、形状データＤ１、姿勢データＤ２、及び位置データＤ３を受信してもよい。
【0035】
画像コントローラ４１は、入力装置３３から操作データＤ４を受信する。画像コントローラ４１は、第１コントローラ３１、及び／又は、第２コントローラ３２を介して、操作データＤ４を受信してもよい。
【0036】
ディスプレイ４２は、例えばＣＲＴ、ＬＣＤ或いはＯＥＬＤである。ただし、ディスプレイ４２はこれらのディスプレイに限らず、他の種類のディスプレイであってもよい。ディスプレイ４２は、画像コントローラ４１からの信号に基づいて画像を表示する。ディスプレイ４２は、第１コントローラ３１、及び／又は、第２コントローラ３２を介して、画像コントローラ４１からの信号を受信してもよい。
【0037】
画像コントローラ４１は、上述した画像データと、形状データＤ１と、姿勢データＤ２と、位置データＤ３とに基づいて、画像ＩＳを生成する。図４は、画像ＩＳの一例を示す図である。画像ＩＳは、作業機械１及びその周辺の対象を含む。作業機械１の周辺の対象は、作業機械１の周辺の地形を含む。作業機械１の周辺の対象は、他の作業機械、建物、或いは人を含んでもよい。以下、画像ＩＳの生成について説明する。
【0038】
まず、カメラＣ１－Ｃ４が作業機械１及びその周辺を撮影する。それにより、図３に示すように、画像コントローラ４１は、カメラＣ１－Ｃ４から、前方画像Ｉｍ１と、左方画像Ｉｍ２と、後方画像Ｉｍ３と、右方画像Ｉｍ４とを取得する。前方画像Ｉｍ１は、車体２の前方の画像である。左方画像Ｉｍ２は、車体２の左方の画像である。後方画像Ｉｍ３は、車体２の後方の画像である。右方画像Ｉｍ４は、車体２の右方の画像である。
【0039】
画像コントローラ４１は、カメラＣ１－Ｃ４が取得した画像Ｉｍ１－Ｉｍ４から周辺画像ＩＳ１を生成する。周辺画像ＩＳ１は、作業機械１の周辺を俯瞰的に示す合成画像である。図４に示すように、画像コントローラ４１は、３次元投影モデルＭ１に、カメラＣ１－Ｃ４が取得した画像Ｉｍ１－Ｉｍ４をテクスチャマッピングにより投影することで、周辺画像ＩＳ１を生成する。３次元投影モデルＭ１は、作業機械１の周辺の対象の形状を示すポリゴンメッシュで構成される。画像コントローラ４１は、予め保存された３次元投影モデルＭ１を使用してもよい。或いは、画像コントローラ４１は、形状センサ３６から取得した形状データＤ１に基づいて、３次元投影モデルＭ１を生成してもよい。
【0040】
次に、画像コントローラ４１は、作業機械１を示す機械画像ＩＳ２と周辺画像ＩＳ１とを合成する。機械画像ＩＳ２は、作業機械１自体を３次元的に示す画像である。画像コントローラ４１は、姿勢データＤ２から画像ＩＳ上の機械画像ＩＳ２の姿勢を決定する。画像コントローラ４１は、位置データＤ３から画像ＩＳ上の機械画像ＩＳ２の向きを決定する。画像コントローラ４１は、画像ＩＳ上の機械画像ＩＳ２の姿勢と向きとが、作業機械１の実際の姿勢及び向きと一致するように、画像ＩＳに機械画像ＩＳ２を合成する。
【0041】
なお、画像コントローラ４１は、カメラＣ１－Ｃ４が取得した画像Ｉｍ１－Ｉｍ４から機械画像ＩＳ２を生成してもよい。例えば、カメラＣ１－Ｃ４が取得した画像中に作業機械１の部分がそれぞれ含まれており、画像コントローラ４１は、機械モデルＭ２に、画像中の各部分を投影することで機械画像ＩＳ２を生成してもよい。或いは、機械モデルＭ２は、作業機械１の形状を有する投影モデルであり、記憶装置４１１に保存されていてもよい。機械画像ＩＳ２は、予め撮影された既定の画像、或いは予め作成された３次元のコンピュータグラフィックスであってもよい。
【0042】
ディスプレイ４２は、画像ＩＳを表示する。画像ＩＳは、リアルタイムに更新され、動画としてディスプレイ４２に表示される。従って、作業機械１が走行しているときには、周辺の対象、作業機械１の姿勢、向き、位置の実際の変化に応じて、画像ＩＳ中の周辺画像ＩＳ１、機械画像ＩＳ２の姿勢、向き、及び位置も、リアルタイムに変化して表示される。
【0043】
作業機械１の姿勢、向き、及び位置の変化を表現するためには、３次元投影モデルＭ１及び機械モデルＭ２を、作業機械１が走行を開始したときの姿勢、向き、及び位置からの変化を表す回転行列に従って回転させ、並進ベクトルに従って並進させる。回転ベクトルと並進ベクトルとは、上述した姿勢データＤ２及び位置データＤ３から取得される。
【0044】
画像ＩＳの合成のための具体的な手法については、例えば“Spatio-temporal bird’s-eye view images using multiple fish- eye cameras,”(Proceedings of the 2013 IEEE/SICE International Symposium on System Integration, pp. 753-758, 2013.)において示されている手法が用いられてもよい。“Visualization of the surrounding environment and operational part in a 3DCG model for the teleoperation of construction machines,” （Proceedings of the 2015 IEEE/SICE International Symposium on System Integration, pp. 81-87, 2015.）において示されている手法が用いられてもよい。
【0045】
図４では、画像ＩＳは、作業機械１及びその周辺を左方から見た画像である。しかし、画像コントローラ４１は、前方、後方、右方、上方、或いは、各方向の斜め方向の視点から、作業機械１及びその周辺を見た画像に、画像ＩＳを切り換えることができる。
【0046】
また、画像コントローラ４１は、作業機械１の周りを移動する視点ＶＰからのパノラマ動画を生成して、ディスプレイ４２に表示する。図５Ａは、視点ＶＰの移動を示す側面図である。図５Ａは、視点ＶＰの移動を示す上面図である。図５Ａに示すように、視点ＶＰは、作業機械１の斜め上方に位置する。図５Ｂに示すように、画像コントローラ４１は、視点ＶＰを作業機械１の周りに３６０度回転させる。画像コントローラ４１は、作業機械１の上面視で、作業機械１を中心とする円状の軌跡に沿って、視点ＶＰを１回転させる。視点ＶＰは、常に作業機械１を向くように配置される。
【0047】
図６及び図７は、パノラマ動画ＰＶのフレームの一部を示す。図６及び図７に示すように、パノラマ動画ＰＶにおいて、作業機械１は、画面の中心に表示される。パノラマ動画ＰＶは、作業機械１、及び作業機械１の全周囲の周辺を示す。
【0048】
詳細には、作業機械１は、パノラマ動画ＰＶにおいて、画面の左右方向の中心に表示される。作業機械１は、パノラマ動画ＰＶにおいて、画面の上下方向の中心に表示される。ただし、作業機械１は、画面の左右方向又は上下方向の中心から偏心して表示されてもよい。
【0049】
図６に示すフレームＦ１は、図５Ｂに示す視点ＶＰ１から作業機械１及びその周辺を見た画像である。視点ＶＰ１は、作業機械１の前方且つ上方に位置している。図６に示すフレームＦ２は、図５Ｂに示す視点ＶＰ２から作業機械１及びその周辺を見た画像である。視点ＶＰ２は、作業機械１の前斜め右方、且つ上方に位置している。図６に示すフレームＦ３は、図５Ｂに示す視点ＶＰ３から作業機械１及びその周辺を見た画像である。視点ＶＰ３は、作業機械１の右方且つ上方に位置している。
【0050】
図６に示すフレームＦ４は、図５Ｂに示す視点ＶＰ４から作業機械１及びその周辺を見た画像である。視点ＶＰ４は、作業機械１の後斜め右方、且つ上方に位置している。図６に示すフレームＦ５は、図５Ｂに示す視点ＶＰ５から作業機械１及びその周辺を見た画像である。視点ＶＰ５は、作業機械１の後方且つ上方に位置している。
【0051】
図７に示すフレームＦ６は、図５Ｂに示す視点ＶＰ６から作業機械１及びその周辺を見た画像である。視点ＶＰ６は、作業機械１の後斜め左方、且つ、上方に位置している。図７に示すフレームＦ７は、図５Ｂに示す視点ＶＰ７から作業機械１及びその周辺を見た画像である。視点ＶＰ７は、作業機械１の前斜め左方、且つ上方に位置している。図７に示すフレームＦ９は、図５Ｂに示す視点ＶＰ１から作業機械１及びその周辺を見た画像である。
【0052】
以上のように、視点ＶＰは、視点ＶＰ１から移動を開始し、視点ＶＰ２－ＶＰ８を経て、視点ＶＰ１に戻る。パノラマ動画ＰＶは、視点ＶＰ１－ＶＰ９及びそれらの間の位置を移動しながら、連続的に生成される。なお、視点ＶＰの移動の開始位置は、視点ＰＶ１に限らず、他の位置であってもよい。
【0053】
画像コントローラ４１は、作業機械１の始動信号を受信したときに、パノラマ動画ＰＶを生成してディスプレイ４２に表示させる。また、画像コントローラ４１は、パノラマ動画ＰＶを示すデータを記憶装置４１１に保存する。画像コントローラ４１は、例えば、上述した入力装置３３から、操作データＤ４として作業機械１の始動信号を受信する。作業機械１の始動信号は、例えばエンジン２１を始動させるための信号である。或いは、作業機械１の始動信号は、作業機械１のシステムを起動する信号であってもよい。
【0054】
以上説明した本実施形態に係るシステム１００では、作業機械１の周りを移動する視点ＶＰからのパノラマ動画ＰＶがディスプレイ４２に表示される。そのため、オペレータは、ディスプレイ４２によって作業機械１の周辺の広い範囲を容易に見渡すことができる。
【0055】
パノラマ動画ＰＶは、作業機械１の始動時に生成されて、ディスプレイ４２に表示される。そのため、オペレータは、作業機械１による作業の開始時に、作業機械１の周囲の状況を確認することができる。
【0056】
パノラマ動画ＰＶは、記憶装置４１１に保存される。それにより、作業現場の安全記録として、パノラマ動画ＰＶを保存しておくことができる。
【0057】
以上、本開示の実施形態について説明したが、本発明はこれらに限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。例えば、作業機械は、ブルドーザに限らず、ホイールローダ、或いは油圧ショベルなどの他の種類のものであってもよい。
【0058】
作業機械１は、遠隔操作ではなく、運転室内で操作されてもよい。図８は、他の実施形態に係る作業機械１の構成を示す図である。図８に示すように、作業機械１は、作業機械１に搭載されたコントローラ３０を含んでもよい。この場合、入力装置３３は、運転室内に配置されてもよい。コントローラ３０は、上述した画像ＩＳ及びパノラマ動画ＰＶを生成する処理を実行してもよい。コントローラ３０は、上述した第１コントローラ３１及び第２コントローラ３２と同様の構成であるため、詳細な説明を省略する。
【0059】
第１コントローラ３１は、一体に限らず、複数のコントローラに分かれていてもよい。第２コントローラ３２は、一体に限らず、複数のコントローラに分かれていてもよい。コントローラ３０は、一体に限らず、複数のコントローラに分かれていてもよい。画像コントローラ４１は、一体に限らず、複数のコントローラに分かれていてもよい。
【0060】
上述した画像ＩＳを生成する処理の全部、或いは一部は、画像コントローラ４１ではなく、他のコントローラによって実行されてもよい。上述したパノラマ動画ＰＶを生成する処理の全部、或いは一部は、画像コントローラ４１ではなく、他のコントローラによって実行されてもよい。
【0061】
カメラの数は、４つに限らず、３つ以下、或いは５つ以上であってもよい。カメラは、魚眼カメラに限らず、他の種類のカメラであってもよい。カメラの配置は、上記の実施形態の配置に限らず、異なる配置であってもよい。
【0062】
姿勢センサ３７は、ＩＭＵに限らず、他のセンサであってもよい。位置センサ３８は、ＧＮＳＳレシーバに限らず、他のセンサであってもよい。形状センサ３６は、ライダーに限らず、レーダー等の他の測定装置であってもよい。
【0063】
パノラマ動画ＰＶは、作業機械の始動信号の受信時に限らず、他のタイミングで生成され、ディスプレイ４２に表示されてもよい。例えば、オペレータが入力装置３３を操作することで、任意のタイミングでパノラマ動画ＰＶが生成され、ディスプレイ４２に表示されてもよい。
【0064】
パノラマ動画ＰＶにおける視点ＶＰの位置及び向きは、上記の実施形態のものに限らず、変更されてもよい。例えば、視点ＶＰは、作業機械１と同じ高さであってもよい。或いは、作業機械１が画面の中心から偏心した位置に表示されるように、視点ＶＰが移動してもよい。
【0065】
図８Ａは、変形例に係る視点ＶＰの移動を示す側面図である。図８Ｂは、変形例に係る視点ＶＰの移動を示す側面図である。図８Ａに示すように、変形例では、上記の実施形態と同様に、視点ＶＰは、作業機械１の斜め上方に位置している。図８Ｂに示すように、変形例では、コントローラ３０は、作業機械１の上面視で、作業機械１を囲む楕円状の軌跡に沿って視点ＶＰを移動させて、パノラマ動画ＰＶを生成する。
【0066】
視点ＶＰは、作業機械１を通らない向きに配置される。視点ＶＰは、作業機械１に向かって、作業機械１の左右の一側方を通る向きに配置される。本変形例では、視点ＶＰは、作業機械１に向かって、作業機械１の左側方を通る向きに配置される。ただし、視点ＶＰは、作業機械１に向かって、作業機械１の右側方を通る向きに配置されてもよい。
【0067】
図９及び図１０は、変形例に係るパノラマ動画ＰＶのフレームの一部を示す。図９及び図１０に示すように、パノラマ動画ＰＶにおいて、作業機械１は、画面の中心よりも右方に表示される。ただし、作業機械１は、画面の中心よりも左方に表示されてもよい。
【0068】
図１０に示すフレームＦ１は、図９Ｂに示す視点ＶＰ１から作業機械１及びその周辺を見た画像である。図１０に示すフレームＦ２は、図９Ｂに示す視点ＶＰ２から作業機械１及びその周辺を見た画像である。図１０に示すフレームＦ３は、図９Ｂに示す視点ＶＰ３から作業機械１及びその周辺を見た画像である。図１０に示すフレームＦ４は、図９Ｂに示す視点ＶＰ４から作業機械１及びその周辺を見た画像である。図１０に示すフレームＦ５は、図９Ｂに示す視点ＶＰ５から作業機械１及びその周辺を見た画像である。
【0069】
図１１に示すフレームＦ６は、図９Ｂに示す視点ＶＰ６から作業機械１及びその周辺を見た画像である。図１１に示すフレームＦ７は、図９Ｂに示す視点ＶＰ７から作業機械１及びその周辺を見た画像である。図１１に示すフレームＦ９は、図９Ｂに示す視点ＶＰ１から作業機械１及びその周辺を見た画像である。
【0070】
以上のように、視点ＶＰは、視点ＶＰ１から移動を開始し、視点ＶＰ２－ＶＰ８を経て、視点ＶＰ１に戻る。パノラマ動画ＰＶは、視点ＶＰ１－ＶＰ９及びそれらの間の位置を移動しながら、連続的に生成される。なお、移動の開始位置は、視点ＰＶ１に限らず、他の位置であってもよい。
【産業上の利用可能性】
【0071】
本開示では、作業機械の周りを移動する視点からのパノラマ動画がディスプレイに表示される。そのため、オペレータは、ディスプレイによって作業機械の周辺の広い範囲を容易に見渡すことができる。
【符号の説明】
【0072】
１ 作業機械
３ 作業機
４２ ディスプレイ
４１１ 記憶装置
４１２ プロセッサ
Ｃ１－Ｃ４ カメラ
３ 作業機
４２ ディスプレイ
４１１ 記憶装置
４１２ プロセッサ
Ｃ１－Ｃ４ カメラ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】