特許 7619327 遠隔作業方法及び遠隔作業装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-14

(45)【発行日】2025-01-22

(54)【発明の名称】遠隔作業方法及び遠隔作業装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20250115BHJP

   G05D 1/224 20240101ALI20250115BHJP

   G08G 1/09 20060101ALI20250115BHJP

   G09G 5/00 20060101ALI20250115BHJP

【ＦＩ】

H04N7/18 V

G05D1/224

G08G1/09 V

G09G5/00 510C

G09G5/00 530M

【請求項の数】 6

(21)【出願番号】P 2022081129

(22)【出願日】2022-05-17

(65)【公開番号】P2023169798

(43)【公開日】2023-11-30

【審査請求日】2024-02-08

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】山郷 成仁

(72)【発明者】

【氏名】田口 康治

(72)【発明者】

【氏名】平野 麻衣子

(72)【発明者】

【氏名】市川 健太郎

(72)【発明者】

【氏名】足立 義貴

(72)【発明者】

【氏名】竹村 顕大朗

(72)【発明者】

【氏名】堀田 俊樹

【審査官】公文代 康祐

(56)【参考文献】

【文献】特開２０１０－２０４８２１（ＪＰ，Ａ）

【文献】特開２００８－２４８６１３（ＪＰ，Ａ）

【文献】特開２０１５－０７０２８０（ＪＰ，Ａ）

【文献】特開２０２１－１５３２８６（ＪＰ，Ａ）

【文献】国際公開第２０１９／２２０５５７（ＷＯ，Ａ１）

【文献】特開平０９－２８９６２４（ＪＰ，Ａ）

【文献】特開２００３－１９５９４１（ＪＰ，Ａ）

【文献】国際公開第２０１６／０２６８７０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０８Ｇ １／０９

Ｇ０５Ｄ １／２２－１／２２４

Ｇ０９Ｇ ５／００－５／４２

Ｂ６０Ｒ １／２０－１／２８

(57)【特許請求の範囲】

【請求項1】

移動体の遠隔作業を行う方法であって、
撮影範囲の一部が重複する２種類のカメラ画像のデータと、前記遠隔作業における作業内容のデータとを取得することと、
前記作業内容のデータに基づいて、前記２種類のカメラ画像を結合する縦方向の位置を設定することと、
前記２種類のカメラ画像が前記縦方向の設定位置で結合するように前記２種類のカメラ画像の少なくとも一方を縦方向に移動して前記２種類のカメラ画像を合成することと、
前記２種類のカメラ画像の合成画像を遠隔作業装置のディスプレイから出力することと、
を含むことを特徴とする遠隔作業方法。

【請求項2】

請求項１に記載の方法であって、
前記ディスプレイから前記合成画像が出力されている間、前記遠隔作業装置の入力装置から前記２種類のカメラ画像の結合位置の調整入力を受け付けたか否かを判定することと、
前記調整入力を受け付けたと判定された場合、前記調整入力に基づいて前記結合位置を調整することと、
前記結合位置が調整された合成画像を前記ディスプレイから出力することと、
を更に含むことを特徴とする遠隔作業方法。

【請求項3】

請求項１又は２に記載の方法であって、
前記移動体の内部状態のデータを取得することと、
前記内部状態のデータに基づいて、前記遠隔作業の補助画像を生成することと、
前記合成画像のブランク領域に前記補助画像を追加することと、
前記補助画像が追加された前記合成画像を前記ディスプレイから出力することと、
を更に含むことを特徴とする遠隔作業方法。

【請求項4】

移動体の遠隔作業を行う装置であって、
各種情報が格納された記憶装置と、
前記各種情報を処理するプロセッサと、
前記プロセッサによる処理後の画像が出力されるディスプレイと、
を備え、
前記各種情報には、撮影範囲の一部が重複する２種類のカメラ画像のデータと、前記遠隔作業における作業内容のデータと、が含まれ、
前記プロセッサは、
前記作業内容のデータに基づいて、前記２種類のカメラ画像を結合する縦方向の位置を設定し、
前記２種類のカメラ画像が前記縦方向の設定位置で結合するように前記２種類のカメラ画像の少なくとも一方を縦方向に移動して前記２種類のカメラ画像を合成し、
前記２種類のカメラ画像の合成画像を前記ディスプレイから出力する
ことを特徴とする遠隔作業装置。

【請求項5】

請求項４に記載の装置であって、
前記遠隔作業を行うオペレータにより操作される入力装置を更に備え、
前記プロセッサは、更に、
前記ディスプレイから前記合成画像が出力されている間、前記入力装置から前記２種類のカメラ画像の結合位置の調整入力を受け付けたか否かを判定し、
前記調整入力を受け付けたと判定された場合、前記調整入力に基づいて前記結合位置を調整し、
前記結合位置が調整された合成画像を前記ディスプレイから出力する
ことを特徴とする遠隔作業装置。

【請求項6】

請求項４又は５に記載の装置であって、
前記各種情報には、前記移動体の内部状態のデータが更に含まれ、
前記プロセッサは、更に、
前記内部状態のデータに基づいて、前記遠隔作業の補助画像を生成し、
前記合成画像のブランク領域に前記補助画像を追加し、
前記補助画像が追加された前記合成画像を前記ディスプレイから出力する
ことを特徴とする遠隔作業装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、移動体の遠隔作業を行う方法及び装置に関する。

【背景技術】

【0002】

特開２０１９－１５６２９９号公報は、複数の車載カメラから取得された複数のカメラ画像に基づいて、仮想視点（例えば車両の上方）から見た合成画像を生成するシステムを開示する。合成画像の生成は、車両に搭載された情報処理装置において行われる。情報処理装置は、合成画像を車両のユーザの携帯端末に送信する。携帯端末は、合成画像を当該携帯端末の表示部に出力する。車両のユーザは、表示部に出力された合成画像を見ながら、車両を操作する情報を携帯端末に入力する。この入力情報は携帯端末から情報処理装置に送信される。情報処理装置は、入力情報に基づいて車両を操作する。

【0003】

本開示に関連する技術分野の技術水準を示す文献としては、特開２０１９－１５６２９９号公報の他に、特開２０２０－７７１７３公報及び特開２０２０－１６１０３９号公報を例示することができる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－１５６２９９号公報

【文献】特開２０２０－７７１７３公報

【文献】特開２０２０－１６１０３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特開２０１９－１５６２９９号公報の技術は、車両から降りたユーザが、駐車スペースの近くにおいて携帯端末を操作しながら当該車両を現在地から当該駐車スペースまで移動させるものである。そのため、仮想視点から見た合成画像を携帯端末の表示部に出力するこの従来技術は、駐車を安全に行う観点から有用である。

【0006】

車両に代表される移動体の遠隔作業を行う場合を考える。この場合は、複数のカメラ画像が移動体から遠隔作業装置に送信される。そして、遠隔作業装置の少なくとも１台のディスプレイ上にこれらのカメラ画像が出力される。遠隔オペレータは、ディスプレイに出力されたこれらのカメラ画像を見て、遠隔作業のための情報を遠隔作業装置に入力する。

【0007】

ところで、複数のカメラ画像のうちの２つのカメラ画像に着目すると、これらのカメラ画像には同一の物体が映り込んでいるケースがある。例えば、２つのカメラの撮影範囲が部分的に重複している場合、２種類のカメラ画像に同一の物体が映り込む。同一の物体が存在するという情報は、遠隔オペレータにとって不要な情報と言える。従って、この不要な情報を削除するように２種類のカメラ画像が加工されることが望ましい。例えば、同一の物体の位置において一方のカメラ画像に他方のカメラ画像を結合させれば、不要な情報を減らすことができる。

【0008】

しかしながら、複数のカメラの各視点は互いに異なる。そのため、撮影範囲が部分的に重複する２種類のカメラから得られた画像を結合させると、合成画像の結合部分に歪みやずれが生じてしまう。この問題は、合成画像の加工を行うことで解消することが見込まれる。ところが、遠隔作業の最中のカメラ画像の加工に対する必要以上の注力は、カメラ画像の遠隔オペレータへの迅速な提供に支障をきたす可能性がある。

【0009】

本発明の１つの目的は、撮影範囲が部分的に重複する２つのカメラから得られた画像を、迅速かつ有用な合成画像の形で遠隔オペレータに提供することのできる技術を提供することにある。

【課題を解決するための手段】

【0010】

第１の発明は、移動体の遠隔作業を行う方法であり、次の特徴を有する。
前記方法は、
撮影範囲の一部が重複する２種類のカメラ画像のデータと、前記遠隔作業における作業内容のデータとを取得することと、
前記作業内容のデータに基づいて、前記２種類のカメラ画像を結合する縦方向の位置を設定することと、
前記２種類のカメラ画像が前記縦方向の設定位置で結合するように前記２種類のカメラ画像の少なくとも一方を縦方向に移動して前記２種類のカメラ画像を合成することと、
前記２種類のカメラ画像の合成画像を遠隔作業装置のディスプレイから出力することと、
を含む。

【0011】

第２の発明は、第１の発明において更に次の特徴を有する。
前記方法は、
前記ディスプレイから前記合成画像が出力されている間、前記遠隔作業装置の入力装置から前記２種類のカメラ画像の結合位置の調整入力を受け付けたか否かを判定することと、
前記調整入力を受け付けたと判定された場合、前記調整入力に基づいて前記結合位置を調整することと、
前記結合位置が調整された合成画像を前記ディスプレイから出力することと、
を更に含む。

【0012】

第３の発明は、第１又は２の発明において更に次の特徴を有する。
前記方法は、
前記移動体の内部状態のデータを取得することと、
前記内部状態のデータに基づいて、前記遠隔作業の補助画像を生成することと、
前記合成画像のブランク領域に前記補助画像を追加することと、
前記補助画像が追加された前記合成画像を前記ディスプレイから出力することと、
を更に含む。

【0013】

第４の発明は、移動体の遠隔作業を行う装置であり、次の特徴を有する。
前記装置は、記憶装置と、プロセッサと、ディスプレイとを備える。前記記憶装置には各種情報が格納される。前記プロセッサは、前記各種情報を処理する。前記ディスプレイからは、前記プロセッサによる処理後の画像が出力される。
前記各種情報には、撮影範囲の一部が重複する２種類のカメラ画像のデータと、前記遠隔作業における作業内容のデータと、が含まれる。
前記プロセッサは、
前記作業内容のデータに基づいて、前記２種類のカメラ画像を結合する縦方向の位置を設定し、
前記２種類のカメラ画像が前記縦方向の設定位置で結合するように前記２種類のカメラ画像の少なくとも一方を縦方向に移動して前記２種類のカメラ画像を合成し、
前記２種類のカメラ画像の合成画像を前記ディスプレイから出力する。

【0014】

第５の発明は、第４の発明において更に次の特徴を有する。
前記装置は、入力装置を更に備える。前記入力操作は、前記遠隔作業を行うオペレータにより操作される。
前記プロセッサは、前記ディスプレイから前記合成画像が出力されている間、前記入力装置から前記２種類のカメラ画像の結合位置の調整入力を受け付けたか否かを判定し、
前記調整入力を受け付けたと判定された場合、前記調整入力に基づいて前記結合位置を調整し、
前記結合位置が調整された合成画像を前記ディスプレイから出力する。

【0015】

第６の発明は、第４又は５の発明において更に次の特徴を有する。
前記各種情報には、前記移動体の内部状態のデータが更に含まれる。
前記プロセッサは、更に、
前記内部状態のデータに基づいて、前記遠隔作業の補助画像を生成し、
前記合成画像のブランク領域に前記補助画像を追加し、
前記補助画像が追加された前記合成画像を前記ディスプレイから出力する。

【発明の効果】

【0016】

第１又は４の発明によれば、作業内容のデータに基づいて設定された縦方向の位置において結合された２種類のカメラ画像の合成画像がディスプレイから出力される。そのため、結合位置での画像の視認性が確保された合成画像を生成することが可能となる。また、この合成画像の生成には長時間を要しない。従って、合成画像を迅速にオペレータに提供することも可能となる。

【0017】

第２又は５の発明によれば、オペレータが着目を希望する位置で２種類のカメラ画像が結合された合成画像をオペレータに提供することが可能となる。

【0018】

第３又は６の発明によれば、合成画像の生成により生じたブランク領域の有効活用を図ることが可能となる。

【図面の簡単な説明】

【0019】

【図1】遠隔作業を説明するための概念図である。

【図2】カメラ画像の一例を示す図である。

【図3】図２に示したカメラ画像の合成例を示す図である。

【図4】図２の上段に示したカメラ画像の合成例を示す図である。

【図5】図２の下段に示したカメラ画像の合成例を示す図である。

【図6】追加画像がブランク領域に挿入された作業用画像の例を説明する図である。

【図7】図１に示した移動体の構成例を示すブロック図である。

【図8】運転計画のデータの構成例を示す図である。

【図9】図７に示した移動体のデータ処理装置の機能構成例を示すブロック図である。

【図10】図１に示した遠隔作業装置の構成例を示すブロック図である。

【図11】図１０に示した遠隔作業装置のデータ処理装置の機能構成例を示すブロック図である。

【図12】図１０に示した遠隔作業装置のデータ処理装置が実行する処理の一例を示すフローチャートである。

【図13】図１０に示した遠隔作業装置のデータ処理装置が実行する処理の別の例を示すフローチャートである。

【発明を実施するための形態】

【0020】

以下、図面を参照しながら、本発明の実施形態に係る遠隔作業方法及び遠隔作業装置について説明する。尚、実施形態に係る遠隔作業方法は、実施形態に係る遠隔作業装置において行われるコンピュータ処理により実現される。また、各図において、同一又は相当する部分には同一符号を付してその説明を簡略化し又は省略する。

【0021】

１．実施形態の概要
１－１．遠隔作業
図１は、遠隔作業（Remote Operation）を説明する概念図である。図１には、移動体１と遠隔作業装置２が描かれている。移動体１と遠隔作業装置２は遠隔作業システムを構成する。移動体１は、遠隔作業装置２による遠隔作業を受ける対象の一例である。移動体１としては、車両、物流ロボット及び作業ロボットなどのロボットが例示される。

【0022】

遠隔作業としては、移動体１の行動（例えば、前進する、止まる、旋回する等）に直接関係する操作を目的とした遠隔運転（Remote Driving）が例示される。遠隔作業には、遠隔指示（Remote Command）及び遠隔支援（Remote Assistance）も含まれる。遠隔指示（Remote Command）は、移動体１の行動に直接関係しない操作（例えば、移動体１のライトを点灯する等）を目的として行われる。遠隔支援（Remote Assistance）は、移動体１による認識及び判断を支援するために行われる。

【0023】

移動体１と遠隔作業装置２は、ネットワークの基地局（不図示）を介して通信を行う。例えば、移動体１に搭載されたデータ処理装置１２は、遠隔作業の要否を判定する。そして、遠隔作業が必要であると判定された場合、データ処理装置１２は、遠隔作業装置２に遠隔作業を要求する信号を送信する。この信号の送信時、又は、この信号の送信に先駆けて、データ処理装置１２は、カメラ画像ＩＭＧのデータを遠隔作業装置２に送信する。カメラ画像ＩＭＧのデータは、移動体１に搭載されたカメラ１１から取得される。

【0024】

遠隔作業装置２のデータ処理装置２２は、遠隔作業を要求する信号に応答し、移動体１に各種の遠隔指令ＩＮＳを送信する。データ処理装置２２から移動体１に送信される遠隔指令ＩＮＳとしては、オペレータＯＰの判断に基づく指令が例示される。例えば、オペレータＯＰは、遠隔作業装置２のディスプレイ２１から出力された遠隔作業用のカメラ画像（以下、「作業用画像」とも称す。）ＩＭＧ＿Ｏを見て遠隔作業の要求の内容を理解する。そして、オペレータＯＰは、移動体１が取るべき行動を判断し、この行動に対応する指示を遠隔作業装置２に入力する。移動体１が取るべき行動としては、前進、停止、前方の障害物に対するオフセット回避、緊急退避等が例示される。データ処理装置２２は、オペレータＯＰからの入力データに応じた遠隔指令ＩＮＳを生成し、移動体１に送信する。

【0025】

１－２．遠隔作業用のカメラ画像
図２は、カメラ画像ＩＭＧの一例を示す図である。図２には、移動体１が車両の場合に３台の車載カメラによってそれぞれ取得されたカメラ画像ＩＭＧ１～ＩＭＧ３が示されている。カメラ画像ＩＭＧ１は、車両の前方中央の空間を撮影するカメラ（前方中央カメラ）により取得される。カメラ画像ＩＭＧ２は車両の左前方の空間を撮影するカメラ（左前方カメラ）により取得され、カメラ画像ＩＭＧ３は車両の右前方の空間を撮影するカメラ（右前方カメラ）により取得される。前方中央カメラの撮影範囲の左方の一部は、左前方カメラのそれと重複している。前方中央カメラの撮影範囲の右方の一部は、右前方カメラのそれと重複している。

【0026】

図２の上段には、交差点進入時のカメラ画像ＩＭＧ１～ＩＭＧ３が示されている。カメラ画像ＩＭＧ１には、交通信号機、車両の前方の路面に描かれた横断歩道、右折用の誘導枠などが写っている。カメラ画像ＩＭＧ２には、車両の前方の路面に描かれた横断歩道に加えて、車両の左前方の路面に描かれた横断歩道と、この横断歩道上の歩行者などが写っている。カメラ画像ＩＭＧ３には、車両の前方の路面に描かれた横断歩道、右折用の誘導枠に加えて、右折用の車線や、この車線に隣接する車線（対向車線）などが写っている。

【0027】

図２の下段には、オフセット回避時のカメラ画像ＩＭＧ１～ＩＭＧ３が示されている。カメラ画像ＩＭＧ１には、車両が走行する車線（以下、「走行車線」とも称す。）、この車線上を走行するトラック、この車線の路肩で停止している車両、この車線に隣接する車線（対向車線）などが写っている。カメラ画像ＩＭＧ２には、走行車線、停止車両などが写っている。この停止車両は、オフセット回避の対象（障害物）に該当する。カメラ画像ＩＭＧ３には、走行車線、対向車線などが写っている。

【0028】

作業用画像ＩＭＧ＿Ｏは、カメラ画像ＩＭＧ１～ＩＭＧ３に基づいて生成される。例えば、ディスプレイ２１が３台のディスプレイを含む場合、カメラ画像ＩＭＧ１～ＩＭＧ３に基づいて３種類の作業用画像ＩＭＧ＿Ｏが生成される。そして、これらの作業用画像ＩＭＧ＿Ｏが３台のディスプレイからそれぞれ出力される。ディスプレイ２１が２台のディスプレイを含む場合、カメラ画像ＩＭＧ１～ＩＭＧ３に基づいて２種類の作業用画像ＩＭＧ＿Ｏが生成されて、これらの作業用画像ＩＭＧ＿Ｏが２台のディスプレイからそれぞれ出力される。ディスプレイ２１が１台のディスプレイのみの場合、カメラ画像ＩＭＧ１～ＩＭＧ３に基づいて１種類の作業用画像ＩＭＧ＿Ｏが生成されて、この作業用画像ＩＭＧ＿Ｏが１台のディスプレイから出力される。

【0029】

１－３．カメラ画像の合成
実施形態では、作業用画像ＩＭＧ＿Ｏが出力されるディスプレイ２１の総数が、カメラ画像ＩＭＧを取得するカメラ１１のそれよりも少ない場合を考える。この場合は、ｍ台のカメラ１１によって同時期にカメラ画像ＩＭＧ１～ＩＭＧｍが取得される（ｍ≧２）。ディスプレイ２１がｎ台のディスプレイを含むとすると（ｎ≦ｍ－１）、カメラ画像ＩＭＧ１～ＩＭＧｍに基づいて生成された作業用画像ＩＭＧ＿Ｏをこれらのディスプレイから同時期に出力するためには、カメラ画像ＩＭＧ１～ＩＭＧｍのうちの少なくとも２つが結合（合成）される必要がある。例えば、カメラ画像ＩＭＧ１～ＩＭＧ３を１台のディスプレイから同時期に出力するためには、これらのカメラ画像を合成して１つの作業用画像ＩＭＧ＿Ｏを生成する必要がある。

【0030】

図３は、図２に示したカメラ画像ＩＭＧ１～ＩＭＧ３の合成例を示す図である。図３の上段は、図２の上段に示したカメラ画像ＩＭＧ１～ＩＭＧ３の合成例に相当する。図３の上段に示される例では、単に、カメラ画像ＩＭＧ１の左端部にカメラ画像ＩＭＧ２の右端部が結合されている。そのため、カメラ画像ＩＭＧ１とカメラ画像ＩＭＧ２の結合位置には同一歩行者の重複ＤＰ（duplication）が見られる。また、この結合位置には、横断歩道の位置ずれＰＧ（position gap）確認される。

【0031】

また、この例では、単に、カメラ画像ＩＭＧ１の右端部にカメラ画像ＩＭＧ３の左端部が合わせられている。そのため、カメラ画像ＩＭＧ１とカメラ画像ＩＭＧ３の結合位置には同一枠線の重複ＤＰが見られる。また、この結合位置には、横断歩道の位置ずれＰＧも確認される。

【0032】

図３の下段は、図２の下段に示したカメラ画像ＩＭＧ１～ＩＭＧ３の合成例に相当する。図３の下段におけるカメラ画像の合わせ手法は、図３の上段におけるそれと同じである。そのため、カメラ画像ＩＭＧ１とカメラ画像ＩＭＧ２の結合位置には同一車両の重複ＤＰが見られる。また、カメラ画像ＩＭＧ１とカメラ画像ＩＭＧ３の結合位置には同一白線（車線区画線）の重複ＤＰや、同一建物の重複ＤＰが確認される。

【0033】

図３の説明から理解されるように、カメラ画像ＩＭＧ１～ＩＭＧ３を単に並べて合成した場合は、ディスプレイの総数の制約を受けずに済む一方で、結合位置に写る情報がオペレータＯＰを混乱させる可能性がある。ここで、カメラ画像ＩＭＧ１～ＩＭＧ３の結合位置を変更する等の画像処理を行えば、このような不都合の発生を回避できるかもしれない。ところが、車載カメラの各視点は互いに異なることから、画像処理後の画像のどこかに（例えば、結合位置の部分）に歪みやずれが生じてしまう。

【0034】

１－４．作業内容を利用したカメラ画像の合成
昨今の画像処理技術によれば、画像の歪みやずれを極限まで減らすことも可能である。ところが、必要以上の画像処理を行えば、処理後の画像（つまり、作業用画像ＩＭＧ＿Ｏ）がディスプレイ２１に出力されるまでに長い時間を要してしまう。このように、オペレータＯＰが見易い作業用画像ＩＭＧ＿Ｏをディスプレイ２１から出力することと、カメラ画像ＩＭＧから作業用画像ＩＭＧ＿Ｏを短時間で生成することとはトレードオフの関係にある。

【0035】

そこで、実施形態では、視認性の確保と作業用画像ＩＭＧ＿Ｏの迅速な提供を両立させるべく、遠隔作業における作業内容のデータに基づいてカメラ画像ＩＭＧ１～ＩＭＧ３の合成が行われる。作業内容のデータは、例えば、遠隔作業の要求信号の送信前、又は、要求信号の送信と同時にデータ処理装置１２において生成される。作業内容のデータは、要求信号の送信と同時に、又は、要求信号の送信後に遠隔作業装置２に送信される。

【0036】

例えば、移動体１としての車両が交差点の入口に差し掛かったときに、この交差点の交通状況の確認をするための遠隔作業の要求信号が送信される場合を考える。この場合、データ処理装置１２は、例えば、交差点の入口付近で車両を停止させるための車両制御を行い、遠隔作業の要求信号を送信する。要求信号の送信は、車両の停止後、又は車両の停止に先駆けて行われる。要求信号の送信に際し、作業内容のデータが生成される。作業内容のデータは、例えば、「交差点の交通状況の確認」という作業内容を示す２進数により表現される。尚、「交差点の交通状況の確認」を示す２進数は事前に設定されている。

【0037】

データ処理装置２２は、作業内容のデータに基づいて、カメラ画像ＩＭＧ１及びＩＭＧ２の縦方向（奥行き方向）の結合位置ＣＰ（connecting position）を設定する。又は、データ処理装置２２は、カメラ画像ＩＭＧ１及びＩＭＧ３の結合位置ＣＰを設定する。又は、データ処理装置２２は、上述した２種類の結合位置ＣＰを設定する。結合位置ＣＰの総数は、ディスプレイ２１の総数に対応している。

【0038】

図４には、図２の上段に示したカメラ画像ＩＭＧ１～ＩＭＧ３の合成例が示されている。この例では、ディスプレイ２１は１台のディスプレイのみであり、故に、カメラ画像ＩＭＧ１がカメラ画像ＩＭＧ２と結合され、同時に、カメラ画像ＩＭＧ１がカメラ画像ＩＭＧ３と結合される。作業内容が「交差点の交通状況の確認」の場合、例えば、オペレータＯＰが交差点の全体を見渡すことができるようにカメラ画像ＩＭＧ１～ＩＭＧ３の合成が行われる。

【0039】

図４に示される例では、２種類の結合位置ＣＰがカメラ画像ＩＭＧ１の奥側の位置に設定される。車載カメラの撮影範囲は既知であることから、カメラ画像ＩＭＧ１の奥側の位置に結合位置ＣＰを設定すると、カメラ画像ＩＭＧ１とカメラ画像ＩＭＧ２の縦方向の結合がこの設定位置において行われる。カメラ画像ＩＭＧ１とカメラ画像ＩＭＧ３の縦方向の結合も、この設定位置において行われる。尚、この場合は、カメラ画像ＩＭＧ１の手前側の位置において、横断歩道の位置ずれＰＧが発生する。

【0040】

カメラ画像ＩＭＧ１と、カメラ画像ＩＭＧ２及びＩＭＧ３の縦方向の結合に際しては、横方向（車幅方向）の結合がこれと並行して行われる。横方向の結合は、縦方向の結合位置ＣＰに関係なく常時同じ位置において行われる。つまり、横方向の結合は、作業内容に関係なく固定の位置において行われる。

【0041】

別の例として、移動体１としての車両がオフセット回避を予定しているときに、この車両の近くを確認するための遠隔作業の要求信号が送信される場合を考える。この場合、データ処理装置１２は、障害物の手前で車両を停止させるための車両制御を行い、要求信号を送信する。要求信号の送信に際し、作業内容のデータが生成される。作業内容のデータは、例えば、「オフセット回避のための周囲の確認」又は「遠隔運転によるオフセット回避」という作業内容を示す２進数により表現される。尚、このような作業内容を示す２進数は事前に設定されている。

【0042】

図５には、図２の下段に示したカメラ画像ＩＭＧ１～ＩＭＧ３の別の合成例が示されている。図４に示した例と同じく、図５に示される例でもディスプレイ２１は１台のディスプレイのみである。故に、カメラ画像ＩＭＧ１がカメラ画像ＩＭＧ２と結合され、同時に、カメラ画像ＩＭＧ１がカメラ画像ＩＭＧ３とも結合される。作業内容が「オフセット回避のための周囲の確認」又は「オフセット回避運転」の場合、例えば、オペレータＯＰが障害物に対する車両の接近状況を確認することができるようにカメラ画像の合成が行われる。

【0043】

図５に示される例では、２種類の結合位置ＣＰがカメラ画像ＩＭＧ１の手前側の位置に設定される。既述したように、車載カメラの撮影範囲は既知である。そのため、カメラ画像ＩＭＧ１の手前側の位置に結合位置ＣＰを設定すると、カメラ画像ＩＭＧ１とカメラ画像ＩＭＧ２の結合がこの設定位置において行われる。カメラ画像ＩＭＧ１とカメラ画像ＩＭＧ３の結合も、この設定位置において行われる。尚、この場合は、カメラ画像ＩＭＧ３の奥側の位置において、建物の歪みＤＦ（deformation）が発生する。

【0044】

カメラ画像ＩＭＧ１と、カメラ画像ＩＭＧ２及びＩＭＧ３の縦方向の結合に際し、横方向の結合がこれと並行して行われることは図４で説明した例と同じである。

【0045】

このように、実施形態では、撮影範囲が部分的に重複する２種類のカメラ画像ＩＭＧを合成して１つの作業用画像ＩＭＧ＿Ｏを生成する際に、作業内容のデータに基づいて縦方向の結合位置ＣＰが設定される。そのため、結合位置ＣＰ以外の位置での画像の歪みやずれを許容しながらも、結合位置ＣＰでの画像の視認性が確保された作業用画像ＩＭＧ＿Ｏを生成することが可能となる。また、この作業用画像ＩＭＧ＿Ｏの生成には長時間を要しない。従って、作業用画像ＩＭＧ＿Ｏを迅速にオペレータＯＰに提供することも可能となる。

【0046】

ところで、図４及び５に示した例では、カメラ画像ＩＭＧ１～ＩＭＧ３の合成の前に、これらのカメラ画像に対する一般的な画像処理（例えば、撮影角度、レンズ特性等に起因する歪み補正）が行われる。また、カメラ画像ＩＭＧ１～ＩＭＧ３の合成に際しては、上述した結合の他に、これらのカメラ画像に写る物体のサイズを一致させる画像処理も行われる。そのため、作業用画像ＩＭＧ＿Ｏにはブランク領域ＢＲが形成される。

【0047】

図４に示される例では、カメラ画像ＩＭＧ１の縦方向に２つのブランク領域ＢＲが形成される。一方、図５に示される例では、カメラ画像ＩＭＧ１の縦方向に加えて、カメラ画像ＩＭＧ２の左方及びカメラ画像ＩＭＧ３の右方にもブランク領域ＢＲが形成される。このようなブランク領域ＢＲには、追加画像（補助画像）が挿入されてもよい。

【0048】

図６は、追加画像がブランク領域ＢＲに挿入された作業用画像ＩＭＧ＿Ｏの例を説明する図である。図６に示される作業用画像ＩＭＧ＿Ｏは、図５に示したそれを基礎とし、カメラ画像ＩＭＧ１よりも手前側の位置に追加画像ＩＭＧ４が挿入されている。追加画像ＩＭＧ４は、例えば、移動体１の内部状態のデータ（速度データ、加速度データ、バッテリ残量データ）に基づいて生成される。カメラ画像ＩＭＧのデータとは別に移動体１の内部状態データが提供されれば、追加画像ＩＭＧ４を生成することができる。このような追加画像ＩＭＧ４がブランク領域ＢＲに挿入されれば、ブランク領域ＢＲの有効活用を図ることが可能となる。

【0049】

以下、実施形態に係る遠隔作業方法及び遠隔作業装置について、詳細に説明する。

【0050】

２．遠隔作業システム
２－１．移動体の構成例
図７は、図１に示した移動体１の構成例を示すブロック図である。図７に示されるように、移動体１は、カメラ１１と、データ処理装置１２と、センサ群１３と、通信装置１４と、走行装置１５と、を備えている。カメラ１１、センサ群１３、通信装置１４及び走行装置１５と、データ処理装置１２とは、例えば、車載のネットワーク（例えば、ＣＡＮ（Controller Area Network））により接続されている。

【0051】

カメラ１１は、移動体１の少なくとも前方の空間を撮影してカメラ画像ＩＭＧを取得する。前方撮影用のカメラ１１は、撮影範囲が部分的に重複する２台のカメラを含んでいる。前方撮影用のカメラ１１は、典型的には、図２で説明した前方中央カメラ、左前方カメラ及び右前方カメラを含んでいる。カメラ１１は、移動体１の右方及び右後方を撮影するカメラ（右方カメラ）、移動体１の左方及び左後方を撮影するカメラ（左方カメラ）、及び移動体１の後方を撮影するカメラを含んでいてもよい。この場合、後方カメラの撮影範囲の一部は、右方カメラ及び左方カメラの撮影範囲と重複することがある。カメラ１１は、カメラ画像ＩＭＧのデータをデータ処理装置１２に送信する。

【0052】

データ処理装置１２は、移動体１が取得した各種データを処理するためのコンピュータである。データ処理装置１２は、少なくとも１つのプロセッサ１６と、少なくとも１つのメモリ１７と、インターフェース１８と、を備える。プロセッサ１６は、ＣＰＵ（Central Processing Unit）を含んでいる。メモリ１７は、ＤＤＲメモリなどの揮発性のメモリであり、プロセッサ１６が使用するプログラムの展開及び各種データの一時保存を行う。移動体１が取得した各種データは、メモリ１７に格納される。この各種データには、上述したカメラ画像ＩＭＧのデータが含まれる。各種データには、移動体１の運転計画ＰＬＮのデータと、遠隔指令ＩＮＳのデータも含まれる。インターフェース１８は、カメラ１１、走行装置１５等の外部装置とのインターフェースである。

【0053】

センサ群１３は、移動体１の内部状態を検出する状態センサを含んでいる。状態センサとしては、速度センサ、加速度センサ、ヨーレートセンサ及び舵角センサが例示される。センサ群１３は、また、移動体１の位置及び方位を検出する位置センサを含んでいる。位置センサとしては、ＧＮＳＳ（Global Navigation Satellite System）センサが例示される。センサ群２０は、更に、カメラ１１以外の認識センサを含んでいてもよい。認識センサは、電波又は光を利用して移動体１の周辺環境を認識（検出）する。認識センサとしては、ミリ波レーダ及びＬＩＤＡＲ（Laser Imaging Detection and Ranging）が例示される。センサ群１３は、内部状態のデータをデータ処理装置１２に送信する。

【0054】

通信装置１４は、ネットワーク４の基地局（不図示）との間で無線通信を行う。この無線通信の通信規格としては、４Ｇ、ＬＴＥ、または５Ｇ等の移動体通信の規格が例示される。通信装置１４の接続先には、遠隔作業装置２が含まれる。遠隔作業装置２との通信において、通信装置１４は、データ処理装置１２から受け取った各種データを、遠隔作業装置２に送信する。

【0055】

走行装置１５は、移動体１の加速、減速及び操舵を行う。移動体１が車両の場合、走行装置１５は、例えば、モータと、ステアリング装置と、ブレーキ装置とを備えている。モータは、車両の車輪を駆動する。ステアリング装置は、この車輪を転舵する。ブレーキ装置は、車両に制動力を付与する。車両の加速は、モータの制御によって行われる。車両の減速は、ブレーキ装置の制御によって行われる。モータの制御による回生ブレーキを利用して、車両の制動が行われてもよい。車両の操舵は、ステアリング装置の制御によって行われる。

【0056】

２－２．運転計画ＰＬＮ
ここで、メモリ１７に格納される運転計画ＰＬＮについて説明する。実施形態では、移動体１としての車両が自動運転を行うことを考える。自動運転制御は、運転計画ＰＬＮに基づいてデータ処理装置１２により行わる。運転計画ＰＬＮは、例えば、自動運転を予定している区間において順次実行される複数のイベントに基づいて生成される。複数のイベントには、例えば、加速イベント、減速イベント、車線維持イベント、車線変更イベントなどが含まれる。加速イベントは、車両を加速させるイベントである。減速イベントは、車両を減速させるイベントである。車線維持イベントは、車両が走行車線を逸脱しないように車両を走行させるイベントである。車線変更イベントは、走行車線を変更するイベントである。

【0057】

図８は、運転計画ＰＬＮのデータの構成例を示す図である。図８に示される例では、運転計画ＰＬＮのデータが、車両の走行軌道ＴＲＪのデータ、運転判断ＤＥＣのデータ、遠隔作業における作業内容ＲＥＭのデータ、及び、車両の内部状態ＩＮＴのデータを含んでいる。

【0058】

走行軌道ＴＲＪは、複数のイベントに対応してそれぞれ生成される。車両の自動運転は、走行軌道ＴＲＪに車両が追従するように走行装置１５を制御することにより行われる。運転判断ＤＥＣは、走行軌道ＴＲＪに車両を追従させるための車両制御（つまり、自動運転制御）の実行に関する判断を示す。走行軌道ＴＲＪ及び運転判断ＤＥＣは、自動運転制御の最中の運転環境に基づいて適宜変更される。

【0059】

第１の例として、車線維持イベントに対応して生成された走行軌道ＴＲＪに車両を追従させる自動運転制御が行われる場合を考える。この場合の運転判断ＤＥＣとしては「走行車線の維持」が例示される。車線維持イベントの最中に、自動運転制御の実行を妨げうる障害物が認識されると、この障害物の将来の挙動が予測される。障害物が動的物体の場合、将来の挙動に基づいて、当該障害物の軌道が予測されてもよい。将来の挙動が予測されたら、この将来の挙動に基づいて新たな運転判断ＤＥＣが生成される。新たな運転判断ＤＥＣとしては、オフセット回避、障害物の手前での一時停止、遠隔作業の要求が例示される。走行軌道ＴＲＪは、新たな運転判断ＤＥＣに基づいて適宜変更される。

【0060】

第２の例として、加速イベントに対応して生成された走行軌道ＴＲＪに車両を追従させる自動運転制御が行われる場合を考える。この場合の運転判断ＤＥＣとしては「車両の加速」が例示される。加速イベントの最中に認識された障害物の認識レベルが低い場合、新たな運転判断ＤＥＣが生成される。新たな運転判断ＤＥＣとしては、加速中止、障害物の手前での一時停止、遠隔作業の要求が例示される。加速中止や、障害物の手前での一時停止は、認識レベルを高めるための運転判断である。尚、障害物の認識レベルが低いケースは、加速イベント以外のイベントの最中にも起こりうる。走行軌道ＴＲＪは、新たな運転判断ＤＥＣに基づいて適宜変更される。

【0061】

第３の例として、車線変更（合流）イベントに対応して生成された走行軌道ＴＲＪに車両を追従させる自動運転制御が行われる場合を考える。この場合の運転判断ＤＥＣとしては「車線変更」が例示される。見通しの悪い交差点への進入、交通量の多い幹線道路への合流といった地理的条件や、明け方、夕方といった時間帯条件が満たされる場合、新たな運転判断が生成される。このような場合は、交通安全性を担保する観点から、車両による障害物の認識の有無に関係なく新たな運転判断ＤＥＣが生成される。新たな運転判断ＤＥＣとしては、上限速度の設定、遠隔作業の要求が例示される。走行軌道ＴＲＪは、新たな運転判断ＤＥＣに基づいて適宜変更される。

【0062】

作業内容ＲＥＭは、新たな運転判断ＤＥＣとして「遠隔作業の要求」が生成されている場合に運転計画ＰＬＮに追加される。作業内容ＲＥＭは、新たな運転判断ＤＥＣが生成された原因に応じて生成される。上述した第１の例では、障害物が認識されている。この場合の作業内容ＲＥＭとしては、「障害物の確認」、「障害物の周囲の確認」、「オフセット回避の実行の許可」、「遠隔運転の実行（遠隔運転によるオフセット回避）」が例示される。尚、これらの作業内容ＲＥＭは事前に設定されており、作業内容ＲＥＭの追加に際しては、これらのうちから少なくとも１つが選択される。

【0063】

上述した第２の例では、障害物の認識レベルが低い。そのため、この場合の作業内容ＲＥＭとしては、「障害物の認識」、「車両の周囲の確認」、「遠隔運転の実行（障害物に対する手動オフセット）」が例示される。上述した第３の例では、地理的条件又は時間帯条件が満たされたことで運転判断ＤＥＣが生成されている。そのため、この場合の作業内容ＲＥＭとしては、「車両の周囲の確認」、「遠隔運転の実行（遠隔運転によるオフセット回避）」が例示される。尚、第２及び第３の例では、第１の例同様、作業内容ＲＥＭの追加に際して少なくとも１つの作業内容ＲＥＭが選択される。

【0064】

内部状態ＩＮＴは、車両の状態センサにより検出された情報である。内部状態ＩＮＴのデータとしては、車両の速度データ、加速度データ及びバッテリ残量データが例示される。尚、内部状態ＩＮＴのデータは、運転計画ＰＬＮのデータに含まれていなくてもよい。

【0065】

２－３．データ処理装置１２の機能構成例
図９は、図７に示したデータ処理装置１２の機能構成例を示すブロック図である。図９に示されるように、データ処理装置１２は、センサ処理部１２１、物体認識部１２２、挙動予測部１２３、運転計画計算部１２４、走行ルート計画部１２５、移動体制御部１２６、運転計画送信部１２７、画像送信部１２８及び遠隔指令受信部１２９を有している。尚、これらのブロックの各機能は、メモリ１７に格納された各種のプログラムをプロセッサ１６が実行することにより実現される。

【0066】

センサ処理部１２１は、カメラ１１及びセンサ群１３が取得したデータの処理を行う。センサ処理部１２１は、このデータ処理によって、移動体１の周囲の物体に関連するデータを抽出する。抽出対象の物体としては、静的物体及び動的物体が例示される。静的物体としては、信号機、ガードレール、カーブミラー、道路標識といった交通設備が例示される。動的物体としては、歩行者、自転車、オートバイ及び移動体１以外の車両が例示される。抽出されたデータは物体認識部１２２に送信される。

【0067】

物体認識部１２２は、センサ処理部１２１から受信したデータを統合する処理を行う。物体認識部１２２は、この統合処理によって、移動体１の周囲の物体の具体的な種類を特定する。物体認識部１２２は、また、特定された物体の移動体１に対する相対データ（相対位置及び相対速度）を計算する。例えば、カメラ画像ＩＭＧの解析によって、特定された物体の相対位置及び相対速度が計算される。また、カメラ１１以外の認識センサからのデータ解析によって、特定された物体の相対位置及び相対速度が計算される。特定された物体のデータは、挙動予測部１２３及び運転計画計算部１２４に送信される。

【0068】

挙動予測部１２３は、物体認識部１２２から受信したデータに基づいて、特定された物体の将来の挙動を予測する。特定された物体が動的物体の場合、この動的物体の軌道が予測されてもよい。動的物体の軌道は、例えば、特定された物体の時系列の相対データ（相対位置及び相対速度）に基づいて予測される。

【0069】

運転計画計算部１２４は、運転計画ＰＬＮを計算する。運転計画計算部１２４は、例えば、走行ルート計画部１２５から受信したルートのデータ（例えば、自動運転を予定している区間のデータ）に基づいて加速イベント等の各種イベントを設定し、運転計画ＰＬＮを計算する。運転計画計算部１２４は、また、物体認識部１２２から受信したデータと（主に、静的物体のデータ）と、挙動予測部１２３から受信したデータ（主に、動的物体の挙動に関するデータ）とに基づいて、各種イベントに基づいて計算した運転計画ＰＬＮを変更する。運転計画ＰＬＮのデータは、移動体制御部１２６及び運転計画送信部１２７に送信される。

【0070】

運転計画計算部１２４は、また、遠隔指令受信部１２９から遠隔指令ＩＮＳを受信した場合、この遠隔指令ＩＮＳに基づいて運転計画ＰＬＮを変更する。既述したように、遠隔作業には、遠隔運転、遠隔指示及び遠隔支援が含まれる。遠隔指令ＩＮＳが遠隔運転のためのデータを含む場合、運転計画計算部１２４は、このデータに基づいて運転計画ＰＬＮを変更する。遠隔指令ＩＮＳが遠隔支援のためのデータを含む場合、運転計画計算部１２４は、このデータに基づいて、遠隔作業の要求信号を送信する前に実行していた運転計画ＰＬＮを再開する。又は、運転計画計算部１２４は、遠隔支援のためのデータに基づいて、運転計画ＰＬＮを変更する。

【0071】

走行ルート計画部１２５は、移動体１の走行ルートを計画する。走行ルートは、自動運転を予定している区間の開始位置及び終了位置のデータに基づいて計画される。走行ルートの計画手法については特に限定されず、公知の手法が適用される。

【0072】

移動体制御部１２６は、運転計画計算部１２４から受信した運転計画ＰＬＮに含まれる走行軌道ＴＲＪに移動体１が追従するように走行装置１５を制御する。例えば、移動体制御部１２６は、走行軌道ＴＲＪと移動体１の偏差を計算する。偏差としては、横偏差、ヨー角偏差（方位角偏差）および速度偏差が挙げられる。そして、移動体制御部１２６は、この偏差が減少するように走行装置１５の操作量を計算する。

【0073】

運転計画送信部１２７は、運転計画計算部１２４から受信した運転計画ＰＬＮのデータを通信装置１４に出力する。既述したように、新たな運転判断ＤＥＣとして「遠隔作業の要求」が生成された場合、この運転判断ＤＥＣの原因に応じて作業内容ＲＥＭが生成される。この作業内容ＲＥＭの生成時、又は、作業内容ＲＥＭの生成後、遠隔作業の要求信号が生成される。作業内容ＲＥＭ及び要求信号の生成は、例えば、運転計画計算部１２４において行われる。運転計画ＰＬＮのデータの通信装置１４への出力は、要求信号の通信装置１４への出力と同時に、又は、この出力の後に行われる。

【0074】

画像送信部１２８は、カメラ画像ＩＭＧのデータをエンコードして通信装置１４に出力する。エンコード処理に際し、カメラ画像ＩＭＧが圧縮されてもよい。カメラ画像ＩＭＧのデータの出力は、遠隔作業の要求信号の通信装置１４への出力に伴って行われてもよいし、要求信号の出力から独立して行われてもよい。即ち、カメラ画像ＩＭＧのデータの出力は、要求信号の出力と共に行われてもよいし、要求信号の出力と関係なく行われてもよい。更に言うと、カメラ画像ＩＭＧのデータの遠隔作業装置２への送信は、要求信号の生成と関係なく行われてもよい。

【0075】

２－４．遠隔作業装置の構成例
図１０は、図１に示した遠隔作業装置２の構成例を示すブロック図である。図１０に示されるように、遠隔作業装置２は、ディスプレイ２１と、データ処理装置２２と、入力装置２３と、通信装置２４と、を備えている。データ処理装置２２と、ディスプレイ２１、入力装置２３及び通信装置２４とは、専用のネットワークより接続されている。

【0076】

ディスプレイ２１は、作業用画像ＩＭＧ＿Ｏが出力される表示装置である。ディスプレイ２１はｎ台のディスプレイを含む（ｎ≦ｍ－１。ｍはカメラ１１の総数）。ディスプレイ２１の総数は少なくとも１である。移動体１の前方及び後方のカメラ画像を別々に出力するために、ディスプレイ２１の総数は少なくとも２であることが望ましい。

【0077】

データ処理装置２２は、各種データを処理するためのコンピュータである。データ処理装置２２は、少なくとも１つのプロセッサ２５と、少なくとも１つのメモリ２６と、インターフェース２７と、を備えている。プロセッサ２５はＣＰＵを含んでいる。メモリ２６は、プロセッサ２５が使用するプログラムの展開及び各種データの一時保存を行う。入力装置２３からの入力信号や、遠隔作業装置２が取得した各種データは、メモリ２６に格納される。この各種データには、遠隔指令ＩＮＳのデータが含まれる。各種データには、カメラ画像ＩＭＧのデータと、運転計画ＰＬＮのデータも含まれる。インターフェース２７は、入力装置２３等の外部装置とのインターフェースである。

【0078】

プロセッサ２５は、カメラ画像ＩＭＧのデータに基づいて作業用画像ＩＭＧ＿Ｏのデータを生成する「画像加工処理」を行う。運転計画ＰＬＮのデータに作業内容ＲＥＭのデータが含まれている場合、プロセッサ２５は、カメラ画像ＩＭＧ及び作業内容ＲＥＭのデータに基づいて作業用画像ＩＭＧ＿Ｏのデータを生成する。プロセッサ２５は、また、生成された作業用画像ＩＭＧ＿Ｏのデータを、インターフェース２７を介してディスプレイ２１に出力する「表示制御処理」を行う。

【0079】

入力装置２３は、オペレータＯＰにより操作される装置である。入力装置２３は、例えば、オペレータＯＰによる入力を受け付ける入力部と、この入力に基づいて遠隔指令ＩＮＳのデータを生成及び出力する制御回路と、を備えている。入力部としては、タッチパネル、マウス、キーボード、ボタン及びスイッチが例示される。オペレータＯＰによる入力としては、ディスプレイ２１に出力されたカーソルの移動操作と、ディスプレイ２１に出力されたボタンの選択操作と、が例示される。オペレータＯＰによる入力には、結合位置ＣＰの変更操作も含まれる。

【0080】

移動体１の遠隔運転が行われる場合、入力装置２３は走行用の入力装置を備えていてもよい。この走行用の入力装置としては、ステアリングホイール、シフトレバー、アクセルペダル及びブレーキペダルが例示される。

【0081】

通信装置２４は、ネットワーク４の基地局との間で無線通信を行う。この無線通信の通信規格としては、４Ｇ、ＬＴＥ、または５Ｇ等の移動体通信の規格が例示される。通信装置２４の通信先には、移動体１が含まれる。移動体１との通信において、通信装置２４は、データ処理装置２２から受け取った各種データを移動体１に送信する。

【0082】

２－５．データ処理装置２２の機能構成例
図１１は、図１０に示したデータ処理装置２２の機能構成例を示すブロック図である。図１１に示されるように、データ処理装置２２は、運転計画受信部２２１と、画像受信部２２２と、画像加工部２２３と、表示制御部２２４と、ＯＰ入力受信部２２５と、遠隔指令送信部２２６と、を備えている。尚、これらのブロックの各機能は、メモリ２６に格納された各種のプログラムをプロセッサ２５が実行することにより実現される。

【0083】

運転計画受信部２２１は、通信装置２４が取得した運転計画ＰＬＮのデータを受信する。運転計画受信部２２１は、運転計画ＰＬＮのデータを画像加工部２２３に送信する。

【0084】

画像受信部２２２は、通信装置２４が取得したｍ種類のカメラ画像ＩＭＧのデータをデコードする。ｍ種類のカメラ画像ＩＭＧのデータが圧縮されている場合、画像受信部２２２は、デコード処理に際して当該データを伸張する。画像受信部２２２は、デコード処理後のｍ種類のカメラ画像ＩＭＧのデータを画像加工部２２３に送信する。

【0085】

画像加工部２２３は、画像加工処理を行う。画像加工処理では、画像受信部２２２から受信したｍ種類のカメラ画像ＩＭＧのデータに基づいて、作業用画像ＩＭＧ＿Ｏのデータが生成される。生成される作業用画像ＩＭＧ＿Ｏの総数は、ディスプレイ２１の総数に対応している。運転計画受信部２２１から作業内容ＲＥＭのデータを受信している場合、画像加工処理では、このデータと、カメラ画像ＩＭＧのデータに基づいて作業用画像ＩＭＧ＿Ｏのデータが生成される。

【0086】

既述したように、作業内容ＲＥＭのデータは、作業内容ＲＥＭを示す２進数により表現される。実施形態では、作業内容ＲＥＭを示す２進数と、結合位置ＣＰとの対応関係は事前に設定されている。また、結合位置ＣＰとして、３段階の位置（手前側、奥側及び中間）が準備されている。結合位置ＣＰの段数はこの例に限定されず、２段階（例えば、手前側と奥側）でもよいし、４段階以上でもよい。

【0087】

カメラ１１の撮影範囲は既知であることから、撮影範囲が部分的に重複する２種類のカメラ画像ＩＭＧは容易に特定される。画像加工処理では、作業内容ＲＥＭを示す２進数と、結合位置ＣＰとの対応関係に基づいて、結合位置ＣＰが設定される。そして、この設定位置において２種類のカメラ画像ＩＭＧの縦方向の結合が行われる。

【0088】

画像加工処理において２種類のカメラ画像ＩＭＧの縦方向の結合が行われる場合、これらのカメラ画像ＩＭＧの横方向の結合も並行して行われる。横方向の結合は、縦方向の結合位置ＣＰに関係なく常時同じ位置において行われる。つまり、横方向の結合は、作業内容ＲＥＭに関係なく固定の位置において行われる。

【0089】

運転計画受信部２２１から内部状態ＩＮＴのデータを受信している場合、画像加工処理では、このデータに基づいて追加画像（追加画像ＩＭＧ４）のデータが生成されてもよい。また、画像加工処理では、この追加画像のデータと、結合処理後のカメラ画像ＩＭＧのデータとに基づいて、作業用画像ＩＭＧ＿Ｏのデータが生成されてもよい。追加画像のデータは、例えば、結合処理により形成されたブランク領域の位置に挿入される。

【0090】

表示制御部２２４は、表示制御処理を行う。表示制御処理は、画像加工処理により生成された作業用画像ＩＭＧ＿Ｏのデータに基づいて行われる。表示制御部２２４は、また、ＯＰ入力受信部２２５により取得された入力信号に基づいて、ディスプレイ２１の表示内容を制御する。入力信号に基づいた表示内容の制御では、例えば、入力信号に基づいて表示内容が拡大又は縮小され、又は、結合位置ＣＰの変更信号に基づいてこの結合位置ＣＰが切り替えられる。別の例では、入力信号に基づいてディスプレイ２１上に出力されたカーソルが移動され、又は、ディスプレイ２１に出力されたボタンが選択される。

【0091】

ＯＰ入力受信部２２５は、入力装置２３からの入力信号を受信する。入力信号がディスプレイ２１の表示内容の制御に関するものである場合、この入力信号は表示制御部２２４に送信される。ＯＰ入力受信部２２５は、また、入力装置２３において生成された遠隔指令ＩＮＳのデータを受信する。遠隔指令ＩＮＳのデータは、遠隔指令送信部２２６に送信される。

【0092】

遠隔指令送信部２２６は、ＯＰ入力受信部２２５から受信した遠隔指令ＩＮＳのデータを通信装置２４に送信する。

【0093】

２－６．データ処理装置２２による第１の処理例
図１２は、図１０に示したデータ処理装置２２（プロセッサ２５）が実行する処理の一例を示すフローチャートである。図１２に示されるルーチンは、例えば、遠隔作業の要求信号をプロセッサ２５が受け付けた場合に、所定の制御周期で繰り返し実行される。

【0094】

図１２に示されるルーチンでは、まず、運転計画ＰＬＮとカメラ画像ＩＭＧのデータが取得される（ステップＳ１１）。運転計画ＰＬＮとカメラ画像ＩＭＧのデータは、タイムスタンプのデータを有している。ステップＳ１１の処理に際しては、タイムスタンプのデータに基づいて、運転計画ＰＬＮとカメラ画像ＩＭＧのデータの関連付けが行われる。

【0095】

ステップＳ１１の処理に続いて、運転計画ＰＬＮのデータに作業内容ＲＥＭのデータが含まれるか否かが判定される（ステップＳ１２）。既述したように、新たな運転判断ＤＥＣとして「遠隔作業の要求」が生成された場合、この運転判断ＤＥＣの原因に応じて作業内容ＲＥＭが生成される。そのため、ステップＳ１２の判定結果は、通常、肯定的なものとなる。ただし、運転判断ＤＥＣの原因が特定されず、作業内容ＲＥＭが生成されないケースも想定される。このような例外的なケースでは、ステップＳ１６の処理が行われる。

【0096】

ステップＳ１２の判定結果が肯定的な場合、結合位置ＣＰが手前側であるか否かが判定される（ステップＳ１３）。既述したように、作業内容ＲＥＭを示す２進数と、結合位置ＣＰとの対応関係は事前に設定されている。そのため、ステップＳ１３の処理では、この対応関係と、ステップＳ１１で取得された作業内容ＲＥＭを示す２進数とに基づいた判定が行われる。ステップＳ１３の判定結果が肯定的な場合は、ステップＳ１４の処理が行われる。そうでない場合は、ステップＳ１５の処理が行われる。

【0097】

ステップＳ１４の処理では、手前側の設定位置で２種類のカメラ画像ＩＭＧが結合され、これにより作業用画像ＩＭＧ＿Ｏが生成される。ステップＳ１５の処理では、奥側の設定位置で２種類のカメラ画像１ＭＧが結合され、これにより作業用画像ＩＭＧ＿Ｏが生成される。ステップＳ１６の処理では、中間の設定位置で２種類のカメラ画像ＩＭＧが結合され、これにより作業用画像ＩＭＧ＿Ｏが生成される。

【0098】

ステップＳ１４、Ｓ１５又はＳ１６の処理に続いて、表示制御処理が行われる（ステップＳ１７）。表示制御処理は、ステップＳ１４、Ｓ１５又はＳ１６において生成された作業用画像ＩＭＧ＿Ｏのデータに基づいて行われる。

【0099】

２－７．データ処理装置２２による第２の処理例
図１３は、図１０に示したデータ処理装置２２（プロセッサ２５）により実行される処理の別の例を示すフローチャートである。図１３に示されるルーチンは、図１２に示したルーチン同様、遠隔作業の要求信号をプロセッサ２５が受け付けた場合に、所定の制御周期で繰り返し実行される。

【0100】

図１３に示されるルーチンでは、ステップＳ１１の処理に続いて、オペレータＯＰによる入力信号（結合位置ＣＰの変更信号）があるか否かが判定される（ステップＳ２１）。ステップＳ２１の判定結果が否定的な場合、ステップＳ１２以降の処理が行われる。尚、ステップＳ１１の処理の内容と、ステップＳ１２以降の処理の内容については図１２で説明したとおりである。

【0101】

ステップＳ２１の判定結果が肯定的な場合、オペレータＯＰによる入力信号に従って結合位置ＣＰの調整が行われる（ステップＳ２２）。例えば、奥側の設定位置で２種類のカメラ画像１ＭＧが結合された作業用画像ＩＭＧ＿Ｏがディスプレイ２１から出力されている場合に、中間の設定位置への切り替えを要求する入力信号があったときには、この入力信号に従って結合位置ＣＰが変更される。

【0102】

３．効果
以上説明した実施形態によれば、撮影範囲が部分的に重複する２種類のカメラ画像ＩＭＧを合成して１つの作業用画像ＩＭＧ＿Ｏを生成する際に、作業内容ＲＥＭのデータに基づいて縦方向の結合位置ＣＰが設定される。そのため、結合位置ＣＰ以外の位置での画像の歪みやずれを許容しながらも、結合位置ＣＰでの画像の視認性が確保された作業用画像ＩＭＧ＿Ｏを生成することが可能となる。また、この作業用画像ＩＭＧ＿Ｏの生成には長時間を要しない。従って、作業用画像ＩＭＧ＿Ｏを迅速にオペレータＯＰに提供することも可能となる。

【0103】

また、実施形態によれば、オペレータＯＰによる入力信号（結合位置ＣＰの変更信号）がある場合、この入力信号に従って結合位置ＣＰが変更された作業用画像ＩＭＧ＿Ｏがディスプレイ２１から出力される。従って、遠隔作業を行うオペレータＯＰが着目を希望する位置で２種類のカメラ画像ＩＭＧが結合された作業用画像ＩＭＧ＿ＯをオペレータＯＰに提供することも可能となる。

【符号の説明】

【0104】

１ 移動体
２ 遠隔作業装置
１１ カメラ
１２、２２ データ処理装置
２１ ディスプレイ
ＣＰ 結合位置
ＯＰ オペレータ
ＤＥＣ 運転判断
ＩＮＳ 遠隔指令
ＩＮＴ 内部状態
ＩＭＧ、ＩＭＧ１～ＩＭＧ３ カメラ画像
ＩＭＧ＿Ｏ 作業用画像
ＰＬＮ 運転計画
ＴＲＪ 走行軌道

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】