特開 2023-57382 システム、情報処理装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023057382

(43)【公開日】2023-04-21

(54)【発明の名称】システム、情報処理装置、及びプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20230414BHJP

   G06F 3/04845 20220101ALI20230414BHJP

   E02F 9/20 20060101ALI20230414BHJP

【ＦＩ】

G06F3/01 510

G06F3/0484 150

E02F9/20 Z

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2021166885

(22)【出願日】2021-10-11

(71)【出願人】

【識別番号】504237050

【氏名又は名称】独立行政法人国立高等専門学校機構

(71)【出願人】

【識別番号】000001317

【氏名又は名称】株式会社熊谷組

(74)【代理人】

【識別番号】110000752

【氏名又は名称】弁理士法人朝日特許事務所

(72)【発明者】

【氏名】松林 勝志

(72)【発明者】

【氏名】山下 晃弘

(72)【発明者】

【氏名】坂上 祥太朗

(72)【発明者】

【氏名】北原 成郎

(72)【発明者】

【氏名】古川 敦

(72)【発明者】

【氏名】天下井 哲生

(72)【発明者】

【氏名】畑本 浩伸

(72)【発明者】

【氏名】飛鳥馬 翼

(72)【発明者】

【氏名】竹下 嘉人

【テーマコード（参考）】

2D003

5E555

【Ｆターム（参考）】

2D003AA01

2D003AA02

2D003BA04

2D003BB07

2D003DB03

2D003DB08

2D003FA02

5E555AA16

5E555AA22

5E555AA58

5E555AA64

5E555AA74

5E555BA08

5E555BA38

5E555BA87

5E555BB08

5E555BB38

5E555BC04

5E555CA10

5E555CA42

5E555CA44

5E555CB21

5E555CC03

5E555CC23

5E555DA08

5E555DD08

5E555EA10

5E555FA00

(57)【要約】

【課題】作業機械の外部からその作業機械を撮影した映像を、その作業機械の遠隔操作をするユーザに見せることでその作業機械の操作性を向上させる。
【解決手段】受付部２１１は、入出力装置３の操作子３１からユーザの操作を受付ける。また、受付部２１１は、入出力装置３の特定部３６から基準座標系に対する表示機３２、及び支持体３３の各姿勢のデータを受付ける。選択部２１２は、受付けたユーザの操作の内容に応じて、第１カメラ１１により撮影された映像に合成する選択画像を選択する。生成部２１３は、選択された第１カメラ１１により撮影された映像に、選択画像を、ユーザの周囲に配置されているように合成した合成映像を生成する。指示部２１４は、生成部２１３が生成した合成映像を表示機３２へ送信して、これを表示するように指示をする。
【選択図】図２

【特許請求の範囲】

【請求項1】

作業機械と、
前記作業機械から周囲を撮影する第１カメラと、
ユーザの操作を受付ける操作子と、
前記第１カメラにより撮影された映像に、複数の画像から前記ユーザの操作に応じて選択された１以上の選択画像を前記周囲に配置されているように合成した合成映像を生成するプロセッサと、
前記ユーザの頭部に装着されて、前記合成映像のうち、前記頭部の姿勢に応じた範囲の映像を表示する表示機と、を有するシステム。

【請求項2】

前記プロセッサは、
前記ユーザの操作に応じて、前記選択画像の前記合成映像における位置、大きさ、色相、彩度、明度、の少なくとも１つを変更する
請求項１に記載のシステム。

【請求項3】

前記複数の画像は、前記作業機械の周囲から該作業機械を撮影した外観映像を含む
請求項１又は２に記載のシステム。

【請求項4】

前記プロセッサは、
前記外観映像が、前記作業機械の危険を示しているときに、該外観映像を合成した前記合成映像を生成する
請求項３に記載のシステム。

【請求項5】

前記プロセッサは、
前記外観映像が、前記危険を示しているときに、該危険を示していないときに比べて該外観映像を強調した前記合成映像を生成する
請求項４に記載のシステム。

【請求項6】

前記作業機械に取り付けられた、前記第１カメラと異なる第２カメラ、を有し、
前記複数の画像は、前記第２カメラから撮影した映像を含む
請求項１から５のいずれか１項に記載のシステム。

【請求項7】

前記作業機械の周囲の音を収集するマイクと、
前記マイクにより収集された前記音のうち、前記頭部の姿勢に応じた音を放出する放音機と、を有する
請求項１から６のいずれか１項に記載のシステム。

【請求項8】

前記作業機械を複数有し、
前記プロセッサは、
前記ユーザの操作が、前記選択画像のうち、他の作業機械を示す選択画像を指定して該他の作業機械への乗り換えを指示するものである場合に、該他の作業機械から周囲を撮影する第１カメラにより撮影された映像に、１以上の前記選択画像を合成した合成映像を生成する
請求項１から７のいずれか１項に記載のシステム。

【請求項9】

前記作業機械は、前記ユーザの操作に応じて稼働する
請求項１から８のいずれか１項に記載のシステム。

【請求項10】

前記操作子は、ユーザの視線による前記操作を受付ける
請求項１から９のいずれか１項に記載のシステム。

【請求項11】

前記第１カメラが受ける加速度を計測する計測器と、
前記ユーザの身体を支持する支持体と、
前記計測器により計測された前記加速度に応じて前記支持体を駆動させる駆動機と、
を有し、
前記表示機は、前記支持体に対する前記頭部の姿勢に応じた範囲の映像を表示する
請求項１から１０のいずれか１項に記載のシステム。

【請求項12】

前記作業機械の位置を測定する測位機、を有し、
前記複数の画像は、前記測位機により測定された前記位置を示す地図を含む
請求項１から１１のいずれか１項に記載のシステム。

【請求項13】

プロセッサを有し、前記プロセッサは、
作業機械から周囲を撮影する第１カメラにより撮影された映像に、複数の画像からユーザの操作に応じて選択された１以上の選択画像を前記周囲に配置されているように合成した合成映像を生成し、
前記ユーザの頭部に装着された表示機に、前記合成映像のうち、前記頭部の姿勢に応じた範囲の映像を表示させる
情報処理装置。

【請求項14】

プロセッサを有するコンピュータに、
作業機械から周囲を撮影する第１カメラにより撮影された映像に、複数の画像からユーザの操作に応じて選択された１以上の選択画像を前記周囲に配置されているように合成した合成映像を生成する機能、
前記ユーザの頭部に装着された表示機に、前記合成映像のうち、前記頭部の姿勢に応じた範囲の映像を表示させる機能、
を実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業機械を遠隔操作するシステムの技術に関する。

【背景技術】

【0002】

車等の移動体からリアルタイムで撮影した映像を遠隔地に転送して表示させ、あたかもその移動体に搭乗しているような感覚をユーザに与えるシステムが開発されている。

【0003】

特許文献１には、車両の動作に応じた画像を送信して、ユーザに、運転者と旅行しているかのような疑似体験をさせるための画像処理システム、が記載されている。

【0004】

特許文献２には、仮想空間をレンダリングする際、カメラで撮影した現実空間の映像を解析し、映像内から机上部分の領域を抽出し、抽出した領域内の映像を仮想空間内の机オブジェクトの天板にはめ込み合成するＶＲ機能部が記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－１４５６１２号公報

【特許文献2】特開２００１－１０３３９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

クレーン車やブルドーザ、ショベルカー等の作業機械を遠隔操作する場合に、ユーザは、例えば作業機械の操縦席や、操縦席に相当する位置から撮影した映像を見ることで、その作業機械の操縦席にいるように各種の判断をすることが可能になる。しかし、作業機械から撮影可能な範囲には限界があり、その作業機械が置かれている状況や周囲の危険等は、その作業機械を外部から撮影した外観画像に現れることもある。

【0007】

本発明の目的の一つは、作業機械の外部からその作業機械を撮影した映像を、その作業機械の遠隔操作をするユーザに見せることでその作業機械の操作性を向上させること、である。

【課題を解決するための手段】

【0008】

本発明の請求項１に係るシステムは、作業機械と、前記作業機械から周囲を撮影する第１カメラと、ユーザの操作を受付ける操作子と、前記第１カメラにより撮影された映像に、複数の画像から前記ユーザの操作に応じて選択された１以上の選択画像を前記周囲に配置されているように合成した合成映像を生成するプロセッサと、前記ユーザの頭部に装着されて、前記合成映像のうち、前記頭部の姿勢に応じた範囲の映像を表示する表示機と、を有するシステムである。

【0009】

本発明の請求項２に係るシステムは、請求項１に記載の態様において、前記プロセッサは、前記ユーザの操作に応じて、前記選択画像の前記合成映像における位置、大きさ、色相、彩度、明度、の少なくとも１つを変更するシステムである。

【0010】

本発明の請求項３に係るシステムは、請求項１又は２に記載の態様において、前記複数の画像は、前記作業機械の周囲から該作業機械を撮影した外観映像を含むシステムである。

【0011】

本発明の請求項４に係るシステムは、請求項３に記載の態様において、前記プロセッサは、前記外観映像が、前記作業機械の危険を示しているときに、該外観映像を合成した前記合成映像を生成するシステムである。

【0012】

本発明の請求項５に係るシステムは、請求項４に記載の態様において、前記プロセッサは、前記外観映像が、前記危険を示しているときに、該危険を示していないときに比べて該外観映像を強調した前記合成映像を生成するシステムである。

【0013】

本発明の請求項６に係るシステムは、請求項１から５のいずれか１項に記載の態様において、前記作業機械に取り付けられた、前記第１カメラと異なる第２カメラ、を有し、前記複数の画像は、前記第２カメラから撮影した映像を含むシステムである。

【0014】

本発明の請求項７に係るシステムは、請求項１から６のいずれか１項に記載の態様において、前記作業機械の周囲の音を収集するマイクと、前記マイクにより収集された前記音のうち、前記頭部の姿勢に応じた音を放出する放音機と、を有するシステムである。

【0015】

本発明の請求項８に係るシステムは、請求項１から７のいずれか１項に記載の態様において、前記作業機械を複数有し、前記プロセッサは、前記ユーザの操作が、前記選択画像のうち、他の作業機械を示す選択画像を指定して該他の作業機械への乗り換えを指示するものである場合に、該他の作業機械から周囲を撮影する第１カメラにより撮影された映像に、１以上の前記選択画像を合成した合成映像を生成するシステムである。

【0016】

本発明の請求項９に係るシステムは、請求項１から８のいずれか１項に記載の態様において、前記作業機械は、前記ユーザの操作に応じて稼働するシステムである。

【0017】

本発明の請求項１０に係るシステムは、請求項１から９のいずれか１項に記載の態様において、前記操作子は、ユーザの視線による前記操作を受付けるシステムである。

【0018】

本発明の請求項１１に係るシステムは、請求項１から１０のいずれか１項に記載の態様において、前記第１カメラが受ける加速度を計測する計測器と、前記ユーザの身体を支持する支持体と、前記計測器により計測された前記加速度に応じて前記支持体を駆動させる駆動機と、を有し、前記表示機は、前記支持体に対する前記頭部の姿勢に応じた範囲の映像を表示するシステムである。

【0019】

本発明の請求項１２に係るシステムは、請求項１から１１のいずれか１項に記載の態様において、前記作業機械の位置を測定する測位機、を有し、前記複数の画像は、前記測位機により測定された前記位置を示す地図を含むシステムである。

【0020】

本発明の請求項１３に係る情報処理装置は、プロセッサを有し、前記プロセッサは、作業機械から周囲を撮影する第１カメラにより撮影された映像に、複数の画像からユーザの操作に応じて選択された１以上の選択画像を前記周囲に配置されているように合成した合成映像を生成し、前記ユーザの頭部に装着された表示機に、前記合成映像のうち、前記頭部の姿勢に応じた範囲の映像を表示させる情報処理装置である。

【0021】

本発明の請求項１４に係るプログラムは、プロセッサを有するコンピュータに、作業機械から周囲を撮影する第１カメラにより撮影された映像に、複数の画像からユーザの操作に応じて選択された１以上の選択画像を前記周囲に配置されているように合成した合成映像を生成する機能、前記ユーザの頭部に装着された表示機に、前記合成映像のうち、前記頭部の姿勢に応じた範囲の映像を表示させる機能、を実現させるためのプログラムである。

【図面の簡単な説明】

【0022】

【図1】本発明の実施形態に係るシステム９の構成の例を示す図。

【図2】情報処理装置２の機能的構成の例を示す図。

【図3】外観映像が合成された合成映像の例を示す図。

【図4】作業機械１の外観を含む外観映像の例を示す図。

【発明を実施するための形態】

【0023】

＜実施形態＞
＜システムの構成＞
図１は、本発明の実施形態に係るシステム９の構成の例を示す図である。システム９は、作業機械１に第１カメラ１１を設置して、作業機械１により移動する感覚をユーザＵに再現して提供するシミュレータシステムである。

【0024】

システム９は、作業機械１、情報処理装置２、入出力装置３、及び外部カメラ４を有する。図１に示すシステム９は、作業機械１、情報処理装置２、入出力装置３、及び外部カメラ４をそれぞれ１つずつ有するが、これらの数はそれぞれ２以上であってもよい。

【0025】

作業機械１は、土木、建築等の作業に用いられる作業機械であって、例えばショベルカーである。この作業機械１は、例えば、操縦席等から見える光景をカメラで撮影してその映像を情報処理装置２に送る機構を有する。図１に示す作業機械１は、第１カメラ１１、第２カメラ１２、通信部１３、マイク１４、計測器１５、測位機１６、及び稼働部１７を有する。

【0026】

第１カメラ１１は、作業機械１の例えば操縦席等に取り付けられたカメラであり、作業機械１から周囲を撮影する。図１に示す第１カメラ１１は、広角レンズを有する光学系と、その光学系で集光した光に応じて画像データを生成する撮像素子と、の複数の組を有し、これらによって自身の周囲のあらゆる方向を撮像する。この第１カメラ１１は、例えば、いわゆる全天球カメラ等と呼ばれるものである。

【0027】

なお、第１カメラ１１は１つに限らず、２つ以上設けられていてもよい。例えば、複数の第１カメラ１１は、作業機械１において操縦席の他に、操縦室の外側（屋根、シャーシ、アーム等）にも設けられていてもよい。

【0028】

第２カメラ１２は、第１カメラ１１とともに作業機械１に取り付けられた、第１カメラ１１と異なるカメラである。つまり、第２カメラ１２を有するシステム９は、作業機械に取り付けられた、第１カメラとことなる第２カメラを有するシステムの例である。

【0029】

図１に示す第２カメラ１２は、第１カメラ１１が設置された操縦席から、フレームや座席等により死角になる範囲を撮影するカメラである。この第２カメラ１２は、例えば、操縦席の後方の外壁に、進行方向の後ろ側に向けて取り付けられており、車輪等の移動装置と道との接地点を撮影する。

【0030】

なお、第２カメラ１２の数は１つに限らず、なくてもよいし、また、２つ以上であってもよい。例えば、第２カメラ１２は、作業機械１の後方のみならず、前方、下方、左右であって、第１カメラ１１から死角になる複数箇所に設けられてもよい。

【0031】

マイク１４は、作業機械１に取り付けられ、作業機械１の周囲の音を収集するマイクロフォンである。つまり、マイク１４を有するシステム９は、作業機械の周囲の音を収集するマイクを有するシステムの例である。

【0032】

図１に示すマイク１４は、例えば、作業機械１の操縦席や、操縦席の天板等に設置される。マイク１４は、第１カメラ１１や第２カメラ１２に内蔵されていてもよい。

【0033】

計測器１５は、第１カメラ１１が受ける加速度を計測する計測器である。計測器１５は、例えば、圧電型、ピエゾ抵抗型、静電容量型等による三軸加速度センサである。この計測器１５は、ＭＥＭＳ（Micro Electro Mechanical Systems）が用いられてもよい。この計測器１５は、計測した加速度を示す計測データを生成し、情報処理装置２へ送信する。

【0034】

なお、計測器１５が計測する物理量は加速度に限らない。計測器１５は、位置を計測してもよい。この場合、情報処理装置２は、例えば、取得した計測データが示す位置を時間で二階微分して第１カメラ１１が受ける加速度を求めてもよい。また、計測器１５は、第１カメラ１１の速度を計測してもよい。この場合、情報処理装置２は、例えば、取得した計測データが示す速度を時間で微分して第１カメラ１１が受ける加速度を求めてもよい。

【0035】

測位機１６は、作業機械１の位置を測定する測位機であり、例えば、全地球航法衛星システム（ＧＮＳＳ： Global Navigation Satellite System）の航法衛星が発信する電波から航法信号を抽出して測位計算をする受信デバイスである。

【0036】

通信部１３は、無線により情報処理装置２と制御信号や映像データ等をやり取りする通信回路を有する。図１に示す通信部１３は、例えば、ＬＰＷＡ（Low Power Wide Area）を用いた通信回線を有してもよい。また、作業機械１の移動に伴って通信線を繰り出し、又は収容する機構を有し、この通信線が作業機械１の移動を妨げないのであれば、通信部１３は、有線により作業機械１と情報処理装置２とを通信可能に接続してもよい。

【0037】

通信部１３は、第１カメラ１１、及び第２カメラ１２で撮影された映像を示す映像データ、及び計測器１５が計測した計測データ、を情報処理装置２へ送信する。また、通信部１３は、マイク１４が収集した音を示す音声信号、及び測位機１６が測定した作業機械１の位置を示す位置データ、を情報処理装置２へ送信する。

【0038】

稼働部１７は、作業機械１のブーム、アーム、バケット、ショベル等の作業機械や、車輪、無限軌道等の移動装置を制御して、作業機械１を稼働させる構成であり、通信部１３を経由して受信した制御信号に基づいてプロセッサが作業機械の油圧出力機構や、ガソリンエンジン、動力伝達機構等を制御する。

【0039】

情報処理装置２は、例えばコンピュータである。図１に示す情報処理装置２は、プロセッサ２１、メモリ２２、及び通信部２３を有する。

【0040】

プロセッサ２１は、メモリ２２に記憶されているコンピュータプログラム（以下、単にプログラムという）を読出して実行することにより情報処理装置２の各部を制御する。プロセッサ２１は、例えばＣＰＵ（Central Processing Unit）である。

【0041】

通信部２３は、無線により情報処理装置２を、作業機械１に通信可能に接続する通信回路である。なお、上述した通り、通信部２３は、有線により作業機械１と情報処理装置２とを通信可能に接続してもよい。

【0042】

メモリ２２は、プロセッサ２１に読み込まれるオペレーティングシステム、各種のプログラム、データ等を記憶する記憶手段である。メモリ２２は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）を有する。なお、メモリ２２は、ソリッドステートドライブ、ハードディスクドライブ等を有してもよい。

【0043】

入出力装置３は、再現室等に設置され、ユーザに映像、音声等を出力し、ユーザからの操作を入力する装置である。図１に示す入出力装置３は、操作子３１、表示機３２、支持体３３、放音機３４、駆動機３５、及び特定部３６を有する。操作子３１、表示機３２、放音機３４、駆動機３５、及び特定部３６は、情報処理装置２のプロセッサ２１と、例えば、バス経由で接続しており、プロセッサ２１により制御される。なお、入出力装置３のこれらの構成は、情報処理装置２の通信部２３を経由してプロセッサ２１と通信可能に接続されてもよい。

【0044】

操作子３１は、例えば、ユーザの手、指等が触れるタッチパネルやハンドル、ボタン等で構成され、ユーザの操作を受付ける。操作子３１は、表示機３２の内部であって、ユーザの眼球を撮影し、ユーザの視線を検知してこの視線による操作を受付けるデバイスであってもよい。この場合、操作子３１は、ユーザの視線による前記操作を受付ける操作子の例である。

【0045】

また、操作子３１は、ユーザの手や指、瞼、舌、唇等に装着されて、これらの動作により表現されるジェスチャーを特定するウェアラブルデバイスであってもよい。また、操作子３１は、ユーザの発する音声を収集し、この音声が示す操作を自然言語解析によって解釈して特定する音声認識デバイスであってもよい。

【0046】

表示機３２は、ユーザＵの頭部Ｕｈに装着されて、上述した第１カメラ１１により撮影された映像を表示する表示機である。表示機３２は、例えば上述したＨＭＤである。表示機３２は、ユーザＵの眼前に配置される液晶ディスプレイによって映像を表示する、いわゆる接眼光学系のＨＭＤでもよい。また、表示機３２は、ユーザの網膜に直接、レーザ光等を投影する網膜投影型のＨＭＤでもよい。

【0047】

支持体３３は、ユーザＵの身体（すなわち、胴体Ｕｔ、及び頭部Ｕｈ）を支持する構造物であり、例えば、図１に示す椅子、シート等である。なお、支持体３３は、椅子、シート等に限られず、例えば、ユーザＵを吊り下げるバンド、ロープ、網等であってもよい。

【0048】

なお、支持体３３が直接、接触して支持するのは、ユーザＵの胴体Ｕｔであり、頭部Ｕｈは、胴体Ｕｔを介して、間接的に支持体３３により支持されている。ユーザＵは、支持体３３に着席した状態で、頭部Ｕｈを拘束されていないので、首を上下左右に振って見る方向を変えることができる。

【0049】

駆動機３５は、第１カメラ１１が受ける加速度に応じて支持体３３を駆動させる機構であり、例えば、スチュアート・プラットフォーム等の６自由度のアクチュエータ装置や、１自由度、又は多自由度のアクチュエータ装置等である。

【0050】

特定部３６は、基準となる座標系（以下、基準座標系という）に対する表示機３２、及び支持体３３の各姿勢を特定する。ここで、基準座標系とは、支持体３３及び駆動機３５が設置されている、再現室等における慣性座標系である。

【0051】

特定部３６は、例えば、いわゆるカメラ方式と呼ばれるポジショントラッキングにより、表示機３２、及び支持体３３の各姿勢を特定する。この場合、表示機３２、及び支持体３３にはそれぞれＬＥＤ（light emitting diode）等の発光素子が設けられている。特定部３６は、この表示機３２、及び支持体３３に設けられた発光素子から照射される赤外線等の光を、例えば、再現室に設置された複数のカメラで捉えることにより、発光素子の位置を特定し、それらの位置から表示機３２、及び支持体３３の姿勢をそれぞれ特定する。

【0052】

なお、特定部３６による特定の方式は、上述したものに限られない。例えば、再現室の１箇所以上の位置に固定された１以上の発光素子が赤外線等の光を照射し、照射された光を表示機３２、又は支持体３３に備えられた複数のカメラや光センサ等で感知してもよい。この場合、特定部３６は、表示機３２、又は支持体３３に含まれる。

【0053】

また、表示機３２は、ユーザＵの頭部Ｕｈに取り付けられているため、ユーザＵは、頭部Ｕｈを動かすことによって特定部３６に表示機３２の姿勢の変化を特定させることができる。したがって、特定部３６は、この表示機３２の姿勢の変化を、上述したジェスチャーとして受け取る操作子３１として機能してもよい。

【0054】

放音機３４は、プロセッサ２１の制御の下、音を放出するスピーカ等の放音機である。情報処理装置２のプロセッサ２１は、通信部１３、及び通信部２３を介してマイク１４により収集された音を示す音声信号を受付けると、この音のうち、特定部３６によって特定されるユーザの頭部の姿勢に応じた音を放出する。つまり、この放音機３４を有するシステムは、マイクにより収集された音のうち、ユーザの頭部の姿勢に応じた音を放出する放音機を有するシステムの例である。

【0055】

情報処理装置２の通信部２３は、作業機械１から、映像データ、音声信号、位置データ、及び計測データを受信する。図１に示す駆動機３５は、情報処理装置２のプロセッサ２１の制御の下、通信部２３が受信した計測データに応じて支持体３３を駆動させる。

【0056】

情報処理装置２のプロセッサ２１は、支持体３３に対する表示機３２の姿勢に応じた範囲がユーザＵに見えるように映像を補正し、補正したその映像を表示機３２に表示させる。

【0057】

例えば、図１に示すプロセッサ２１は、特定部３６により特定された、基準座標系に対する表示機３２、及び支持体３３の姿勢を示すデータをそれぞれ受信する。そして、このプロセッサ２１は、特定部３６が特定した表示機３２の姿勢と、支持体３３の姿勢と、の差分を用いて、第１カメラ１１により撮影された映像を補正する。

【0058】

表示機３２は、上述した補正された映像をユーザに表示する。つまり、この表示機３２は、支持体に対するユーザの頭部の姿勢に応じた範囲の映像を表示する表示機の例である。

【0059】

外部カメラ４は、作業機械１の周囲から、この作業機械１を撮影するカメラである。外部カメラ４は、例えば情報処理装置２の図示しないインタフェースを介して有線、又は無線で情報処理装置２に接続されている。外部カメラ４は、作業機械１を撮影した映像（外観映像という）をプロセッサ２１に供給する。なお、外部カメラ４は、通信部２３を介してプロセッサ２１に接続されてもよい。

【0060】

＜情報処理装置の機能的構成＞
図２は、情報処理装置２の機能的構成の例を示す図である。情報処理装置２のプロセッサ２１は、メモリ２２に記憶されたプログラムを実行することにより、受付部２１１、選択部２１２、生成部２１３、及び指示部２１４として機能する。なお、図２において、通信部１３、及び通信部２３は、いずれも省略されている。

【0061】

受付部２１１は、入出力装置３の操作子３１からユーザの操作に応じた信号をバス経由で受信し、このユーザによる操作を受付ける。また、受付部２１１は、入出力装置３の特定部３６から基準座標系に対する表示機３２、及び支持体３３の各姿勢のデータを受付ける。

【0062】

さらに、受付部２１１は、作業機械１に設置されたマイク１４から音声信号を、計測器１５から、計測された加速度を示す計測データを、測位機１６から、測定された作業機械１の位置を示す位置データを、それぞれ受付ける。

【0063】

選択部２１２は、受付部２１１が受付けたユーザの操作の内容に応じて、第１カメラ１１を選択する。例えば、選択部２１２は、ユーザの手や視線等によるジェスチャーに応じて、作業機械１を選択し、その操縦席等に設置された第１カメラ１１を選択する。１台の作業機械１に複数の第１カメラ１１が設置されている場合、選択部２１２は、選択された作業機械１に設置されたそれら複数の第１カメラ１１のうち、予め決められた（いわゆるデフォルトの）第１カメラ１１を選択して、これにより撮影された全天球映像を取得すればよい。その後、ユーザが振り返って、選択された第１カメラ１１からではバックシートしか見えない範囲に視線が移ったり、その振り返ったユーザの頭部の姿勢が検知されたりしたとき、選択部２１２は、その視線や頭部の方向に応じて、作業機械１に設けられた複数の第１カメラ１１の中からいずれかを選択してもよい。

【0064】

そして、選択部２１２は、受付けたユーザの操作の内容に応じて、第１カメラ１１により撮影された映像に合成する画像（以下、選択画像という）を選択する。この選択画像の複数のソース（つまり、出力元）の候補には、第２カメラ１２、外部カメラ４、及びメモリ２２が含まれる。選択部２１２は、１つの選択画像を選択してもよいし、複数の選択画像を選択してもよい。

【0065】

なお、選択部２１２は、受付部２１１が測位機１６から受付けた作業機械１の位置データに応じて、この位置データが示す位置を含む地図の画像を、選択画像として、例えば、メモリ２２に格納された地図データベースから選択してもよい。この場合、プロセッサ２１は、測位機により測定された、作業機械の位置を示す地図を含む複数の画像から、ユーザの操作に応じて選択された１以上の選択画像を、第１カメラ１１の周囲に配置されているように合成した合成映像を生成するプロセッサ、の例である。

【0066】

生成部２１３は、選択部２１２により選択された第１カメラ１１により撮影された映像に、上述したソースにより提供される選択画像を、ユーザの周囲に配置されているように合成した合成映像を生成する。

【0067】

指示部２１４は、生成部２１３が生成した合成映像を表示機３２へ送信して、これを表示するように指示をする。指示部２１４は、上述した通り、特定部３６により特定された、基準座標系に対する表示機３２、及び支持体３３の姿勢を示すデータを用いて、映像を補正する。これにより、ユーザは、生成部２１３により生成された合成映像を、支持体３３に対する表示機３２の姿勢に応じた方向に沿って見る。

【0068】

なお、例えば、選択部２１２は、ユーザの手や視線等によるジェスチャーに応じて、表示機３２への指示を列挙したメニューリストを選択してもよい。生成部２１３は、選択部２１２により選択されたメニューリストの画像を選択画像として映像に合成し、指示部２１４は、合成された合成映像を表示機３２に表示させる指示をすればよい。これにより、ユーザはメニューリストを見て、さらに操作子３１を操作する。

【0069】

したがって、このプロセッサ２１は、作業機械に設置された第１カメラにより撮影された映像に、複数の画像からユーザの操作に応じて選択された１以上の選択画像を、第１カメラの周囲に配置されているように合成した合成映像を生成するプロセッサの例である。

【0070】

そして、このプロセッサ２１を有する情報処理装置２は、プロセッサを有し、このプロセッサが、作業機械から周囲を撮影する第１カメラにより撮影された映像に、複数の画像からユーザの操作に応じて選択された１以上の選択画像を前記周囲に配置されているように合成した合成映像を生成し、前記ユーザの頭部に装着された表示機に、前記合成映像のうち、前記頭部の姿勢に応じた範囲の映像を表示させる情報処理装置の例である。

【0071】

また、表示機３２は、ユーザの頭部に装着されて、合成映像のうち、頭部の姿勢に応じた範囲の映像を表示する表示機の例である。

【0072】

なお、指示部２１４は、受付部２１１がマイク１４から受付けた音声信号を放音機３４に送信し、この音声信号に応じた音声を出力するように指示してもよい。この場合、放音機３４は、作業機械１に設置されたマイク１４により収集された周囲の音声を出力する。作業機械１に複数のマイク１４が設けられ、入出力装置３に複数の放音機３４が設けられている場合、指示部２１４は、特定部３６が特定した支持体３３、及び表示機３２の姿勢に応じて、複数のマイク１４から受付けた音声信号の一部又は全部を合成、変換してそれぞれの放音機３４で出力する音声を調整してもよい。

【0073】

このとき、指示部２１４は、例えば、第１カメラ１１が撮像している全方向のうち、支持体３３に対する表示機３２の方向に相当する方向を正面とした音像を、放音機３４によって再現する。また、マイク１４が、第１カメラ１１にそれぞれ内蔵されている場合、
選択部２１２は、受付けたユーザの操作の内容に応じて第１カメラ１１を選択するとともに、選択されたその第１カメラに内蔵されているマイク１４を選択してもよい。この場合、指示部２１４は、選択された第１カメラ１１に内蔵されているマイク１４が収集した音声を、放音機３４に再現するよう指示すればよい。

【0074】

これによりユーザは、あたかも第１カメラ１１、又はマイク１４の設置部位にいるときのような音声を聞くことができる。ユーザは、作業機械１の周囲の状況を視覚のみからではなく、聴覚でも、意識的・無意識的のいずれかに関わらず捉えている。そのため、上述した音像の再現によりユーザは、作業機械１に実際に乗った感覚に近い感覚を得ることができ、事故等の予測がし易くなる。

【0075】

また、指示部２１４は、計測器１５により計測され、受付部２１１が受付けた加速度を示す計測データに応じて、支持体３３を駆動させるように駆動機３５に指示をしてもよい。

【0076】

また、指示部２１４は、受付部２１１が操作子３１から受付けたユーザの操作に応じて作業機械１を稼働させるように稼働部１７に指示をしてもよい。この場合、作業機械１は、ユーザの操作に応じて稼働する作業機械の例である。

【0077】

選択部２１２が、外部カメラ４をソースとして選択すると、生成部２１３は、この外部カメラ４によって撮影された作業機械１の外観を示す外観映像を、第１カメラ１１の撮影した映像に、選択画像として合成する。

【0078】

図３は、外観映像が合成された合成映像の例を示す図である。図３に示す映像Ｇ１は、作業機械１に設けられた第１カメラ１１により撮影された映像である。この映像Ｇ１のうち、領域Ｒ１には、外部カメラ４が映りこんでいる。

【0079】

図４は、作業機械１の外観を含む外観映像の例を示す図である。図４に示す外観映像Ｇ２は、外部カメラ４により撮影されたものである。この外観映像Ｇ２のうち、領域Ｒ２には、作業機械１が映りこんでいる。

【0080】

ユーザが、外部カメラ４により撮影された外観映像Ｇ２を選択画像として選択する操作を行うと、この操作を受付けて情報処理装置２のプロセッサ２１は、外観映像Ｇ２を、決められた枠にはめ込む演算を行う。この枠とは、第１カメラ１１により撮影される、第１カメラ１１の周囲の空間に配置された仮想的な枠である。プロセッサ２１は、例えば、この枠の四隅の点に、外観映像Ｇ２の四隅が配置されるように、外観映像Ｇ２を変形し、変形した外観映像Ｇ２ｃを映像Ｇ１に重畳して、図３に示す合成映像を生成する。

【0081】

この場合、プロセッサ２１は、作業機械の周囲からこの作業機械を撮影した外観映像を含む複数の画像から、ユーザの操作に応じて選択された１以上の選択画像を、第１カメラ１１の周囲に配置されているように合成した合成映像を生成するプロセッサ、の例である。

【0082】

また、選択部２１２が、第２カメラ１２をソースとして選択すると、生成部２１３は、この第２カメラ１２によって撮影された映像を、第１カメラ１１の撮影した映像に、選択画像として合成する。この場合、プロセッサ２１は、作業機械に取り付けられた、第１カメラと異なる第２カメラから撮影した映像を含む複数の画像から、ユーザの操作に応じて選択された１以上の選択画像を、第１カメラ１１の周囲に配置されているように合成した合成映像を生成するプロセッサ、の例である。

【0083】

＜変形例＞
以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の変形例は組み合わされてもよい。

【0084】

＜１＞
上述した実施形態において、システム９が有する情報処理装置２のプロセッサ２１は、第１カメラ１１により撮影された映像に合成する１以上の選択画像を、複数の画像からユーザの操作に応じて選択していたが、この選択画像の位置、大きさ、色相、彩度、明度、の少なくとも１つを、受付けたユーザの操作に応じて変更してもよい。この場合、このプロセッサ２１は、ユーザの操作に応じて、選択画像の合成映像における位置、大きさ、色相、彩度、明度、の少なくとも１つを変更するプロセッサの例である。これにより、ユーザは、第１カメラ１１が撮影した映像に合成する選択画像の位置、大きさ、色相、彩度、明度、の少なくとも１つを変更することができる。

【0085】

＜２＞
上述した実施形態において、システム９が有する情報処理装置２のプロセッサ２１は、１以上の選択画像を、複数の画像からユーザの操作に応じて選択していたが、ユーザの操作によらずに１以上の選択画像を選択してもよい。例えば、プロセッサ２１は、外部カメラ４が作業機械１を撮影した外観映像が、作業機械１の危険を示しているか否かを判断して、この判断に基づき選択画像を選択してもよい。この場合、プロセッサ２１は、外観映像に対して、例えば、深層学習を用いた物体検出を行い、作業機械１が学習済みの危険状態に直面しているか否かを判断する。ここでいう、危険とは、作業機械１が移動し続けることにより、岩や他の作業機械等の障害物や、通行人等に衝突する事象等をいう。

【0086】

そして、外観映像が作業機械１の危険を示している、と判断するとき、プロセッサ２１は、この外観映像を選択画像として選択し、第１カメラ１１が撮影した映像に合成して、合成映像を生成してもよい。

【0087】

したがって、このプロセッサ２１は、外観映像が、作業機械の危険を示しているときに、この外観映像を合成した合成映像を生成するプロセッサの例である。

【0088】

＜３＞
また、システム９が有する情報処理装置２のプロセッサ２１は、外部カメラ４が作業機械１を撮影した外観映像が、作業機械１の危険を示していると判断するときに、第１カメラ１１が撮影した映像に合成する際に、この外観映像を強調してもよい。

【0089】

外観映像を強調する具体的な態様は、例えば、外観映像の輪郭に描かれる枠の色を、例えば無色から赤色に変更したり、枠の太さを太くしたり、外観映像に重ねて文字や数字、記号、イラスト等が表示されたりするものが挙げられる。

【0090】

このプロセッサ２１は、外観映像が作業機械の危険を示しているときに、危険を示していないときに比べてこの外観映像を強調した合成映像を生成するプロセッサの例である。これにより、ユーザは、作業機械１が危険を示しているときの外観映像と、そうでないときの外観映像とを区別することができる。

【0091】

＜４＞
上述した実施形態において、システム９が有する情報処理装置２のプロセッサ２１は、受付けたユーザの操作の内容に応じて、第１カメラ１１を選択していたが、このときのユーザの操作は、選択画像の候補のうち、作業機械１と異なる作業機械（つまり、他の作業機械）を示す選択画像を指定して、その作業機械への乗り換えを指示するものであってもよい。乗り換えが指示されると、プロセッサ２１は、現在、選択されている作業機械１の第１カメラ１１を、指示された「他の作業機械」が有する第１カメラ１１に変更すればよい。

【0092】

ここで、他の作業機械を示す選択画像とは、その作業機械の型番やロットナンバーを示す記号が描かれた画像であってもよいし、その作業機械の外観を撮影した画像であってもよい。さらに、「他の作業機械」を示す選択画像は、その作業機械を外部カメラ４で撮影した画像であってもよい。なお、乗り換えを指示する操作は、予め決められたジェスチャー等とのパターンマッチングをプロセッサ２１が行うことにより、検出されてもよい。

【0093】

また、例えば、操作子３１がユーザの視線による操作を受付けるデバイスである場合、ユーザが他の作業機械を示す選択画像を一定の時間以上にわたって見続けたことを操作子３１が検知したときに、プロセッサ２１は、この視線による操作を、見続けられた他の作業機械への乗り換えを指示する操作として解釈してもよい。

【0094】

ユーザの操作に応じて、第１カメラ１１を変更すると、プロセッサ２１は、変更後の第１カメラ１１により撮影された、その第１カメラ１１を搭載する作業機械１から見た周囲の映像に、１以上の選択画像を合成した合成映像を生成して、表示機３２に表示させる。これにより、ユーザは、選択画像に対して、乗り換え操作を行うだけで、操作する作業機械１を変更する「乗り換え」を行うことができる。

【0095】

この場合、このプロセッサ２１は、ユーザの操作が、選択画像のうち、他の作業機械を示す選択画像を指定して、その作業機械への乗り換えを指示するものである場合に、その作業機械から周囲を撮影する第１カメラにより撮影された映像に、１以上の選択画像を合成した合成映像を生成するプロセッサの例である。

【0096】

＜５＞
情報処理装置２のプロセッサ２１によって実行されるプログラムは、プロセッサを有するコンピュータに、作業機械から周囲を撮影する第１カメラにより撮影された映像に、複数の画像からユーザの操作に応じて選択された１以上の選択画像を前記周囲に配置されているように合成した合成映像を生成する機能、前記ユーザの頭部に装着された表示機に、前記合成映像のうち、前記頭部の姿勢に応じた範囲の映像を表示させる機能、を実現させるためのプログラムとして観念され得る。

【0097】

このプログラムは、磁気テープ及び磁気ディスク等の磁気記録媒体、光ディスク等の光記録媒体、光磁気記録媒体、半導体メモリ等の、コンピュータ装置が読取り可能な記録媒体に記憶された状態で提供し得る。また、このプログラムは、インターネット等の通信回線経由でダウンロードされてもよい。なお、上述したプロセッサ２１によって例示した制御手段としてはＣＰＵ以外にも種々の装置が適用される場合があり、例えば、専用のプロセッサ等が用いられる。

【0098】

＜６＞
上述した実施形態において、入出力装置３は、支持体３３、及び駆動機３５を有していたが、これらを有しなくてもよい。この場合、特定部３６は、表示機３２の基準座標系における姿勢のみを特定し、支持体３３の姿勢を特定しなくてよい。

【0099】

また、この場合、プロセッサ２１は、特定部３６が特定した表示機３２の姿勢の情報に基づいて第１カメラ１１により撮影された映像を補正すればよい。また、プロセッサ２１は、第１カメラ１１により撮影された映像を補正しなくてもよい。この場合、入出力装置３は、表示機３２の姿勢を特定する特定部３６を有しなくてもよい。

【符号の説明】

【0100】

１…作業機械、１１…第１カメラ、１２…第２カメラ、１３…通信部、１４…マイク、１５…計測器、１６…測位機、１７…稼働部、２…情報処理装置、２１…プロセッサ、２１１…受付部、２１２…選択部、２１３…生成部、２１４…指示部、２２…メモリ、２３…通信部、３…入出力装置、３１…操作子、３２…表示機、３３…支持体、３４…放音機、３５…駆動機、３６…特定部、４…外部カメラ、９…システム。

【図1】

【図2】

【図3】

【図4】