特許 7578082 遠隔運転システム、プログラム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-28

(45)【発行日】2024-11-06

(54)【発明の名称】遠隔運転システム、プログラム及び方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241029BHJP

   G08G 1/09 20060101ALI20241029BHJP

   H04N 7/18 20060101ALI20241029BHJP

   G06T 1/00 20060101ALI20241029BHJP

   G16Y 10/40 20200101ALI20241029BHJP

   G16Y 40/10 20200101ALI20241029BHJP

【ＦＩ】

G08G1/16 A

G08G1/09 F

H04N7/18 J

G06T1/00 330Z

G16Y10/40

G16Y40/10

【請求項の数】 6

(21)【出願番号】P 2021146252

(22)【出願日】2021-09-08

(65)【公開番号】P2023039206

(43)【公開日】2023-03-20

【審査請求日】2024-02-14

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】赤塚 康佑

(72)【発明者】

【氏名】須田 理央

(72)【発明者】

【氏名】玉川 周一

【審査官】秋山 誠

(56)【参考文献】

【文献】特開２０１１－００９８２３（ＪＰ，Ａ）

【文献】特開平１０－１４５７７７（ＪＰ，Ａ）

【文献】特開２０１９－０２９９２２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／１６

Ｇ０５Ｄ １／４３

Ｇ０８Ｇ １／０９

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ １／００

Ｇ１６Ｙ １０／４０

Ｇ１６Ｙ ４０／１０

(57)【特許請求の範囲】

【請求項1】

移動体の動作を遠隔で操作するための遠隔運転システムであって、
前記移動体に搭載された複数カメラによって撮像されたカメラ画像情報と、前記移動体の走行状況を示す走行状況情報及び前記移動体の乗員の音声情報の少なくとも一方の情報と、が記録された１又は複数の記憶装置と、
１又は複数のプロセッサと、
表示装置と
を備え、
前記カメラ画像情報は、メインカメラ画像及びサブカメラ画像を含み、
前記１又は複数のプロセッサは、
前記走行状況情報及び前記音声情報の少なくとも一方に基づき、前記サブカメラ画像の透過率を制御することにより補正される透過率補正画像を生成し、
前記透過率補正画像を前記メインカメラ画像に重畳表示する重畳画像を生成し、
前記重畳画像を前記表示装置に表示する
遠隔運転システム。

【請求項2】

請求項１に記載の遠隔運転システムであって、
前記サブカメラ画像は、サイドカメラ画像及び後方カメラ画像を含み、
前記走行状況情報は、速度情報を含み、
前記１又は複数のプロセッサは、前記サブカメラ画像の透過率の制御において、
前記速度情報の速度が現在の値から小さくなるにつれて、線形的、非線形的、又は段階的に、前記サイドカメラ画像又は前記後方カメラ画像の透過率を高くなるように設定し、
前記速度情報の速度が現在の値から大きくなるにつれて、線形的、非線形的、又は段階的に、前記サイドカメラ画像又は前記後方カメラ画像の透過率を低くなるように設定する
遠隔運転システム。

【請求項3】

請求項１に記載の遠隔運転システムであって、
前記サブカメラ画像は、サイドカメラ画像を含み、
前記走行状況情報は、ウインカー指示方向の情報を含み、
前記１又は複数のプロセッサは、更に、
前記ウインカー指示方向の情報と同じ方向の前記サイドカメラ画像の透過率を高くなるように設定する
遠隔運転システム。

【請求項4】

請求項１乃至３のいずれか１項に記載の遠隔運転システムであって、
前記サブカメラ画像は、室内カメラ画像を含み、
前記１又は複数のプロセッサは、前記サブカメラ画像の透過率の制御において、
前記音声情報が前記乗員からの呼びかけ音声を含むか否かを判定し、
前記音声情報が前記乗員からの呼びかけ音声を含むと判定した場合、
前記室内カメラ画像の透過率を低くなるように設定する
遠隔運転システム。

【請求項5】

コンピュータにより移動体の動作を遠隔で操作するための遠隔運転プログラムであって、
前記移動体に搭載された複数カメラによって撮像されたメインカメラ画像及びサブカメラ画像を含むカメラ画像情報と、前記移動体の走行状況を示す走行状況情報及び前記移動体の乗員の音声情報の少なくとも一方の情報と、を取得する処理と、
前記走行状況情報及び前記音声情報の少なくとも一方に基づき、前記サブカメラ画像の透過率を制御したことにより補正される透過率補正画像を生成する処理と、
前記透過率補正画像を前記メインカメラ画像に重畳表示する重畳画像を生成する処理と、
前記重畳画像を表示装置に表示する処理と
を前記コンピュータによって実行させる
遠隔運転プログラム。

【請求項6】

移動体の動作を遠隔で操作するための遠隔運転方法であって、
前記移動体に搭載された複数カメラによって撮像されたメインカメラ画像及びサブカメラ画像を含むカメラ画像情報と、前記移動体の走行状況を示す走行状況情報及び前記移動体の乗員の音声情報の少なくとも一方の情報と、を取得する処理と、
前記走行状況情報及び前記音声情報の少なくとも一方に基づき、前記サブカメラ画像の透過率を制御したことにより補正される透過率補正画像を生成する処理と、
前記透過率補正画像を前記メインカメラ画像に重畳表示する重畳画像を生成する処理と、
前記重畳画像を表示装置に表示する処理と
を含む
遠隔運転方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体の動作を遠隔で運転する技術に関する。特に、本発明は、移動体に搭載された複数のカメラによって撮像された画像情報において、画像の一部に重畳表示される画像の透過率を制御し、移動体の動作を遠隔で運転する技術に関する。

【背景技術】

【0002】

特許文献１には、画像に重畳アイテムを重畳して表示する表示制御に関する技術が開示されている。この技術では、画像の拡大率が高くなるほど重畳アイテムの透過率を高くする制御を行うことで、重畳アイテムによって見えない下の画像を見やすくする。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－１０９６６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、車両、ロボット等の移動体の動作を遠隔で支援するためには、移動体に搭載されたカメラによって撮像された画像が有用である。カメラによって撮像された画像は、遠隔運転システムの情報処理装置内の記録装置に記録される。遠隔オペレータは、遠隔運転システムの表示装置に表示される画像をみて、移動体の周囲の状況を把握し、移動体の動作を遠隔で運転する。ここで、表示装置に表示される画像とは、前方を見るために撮像されたメインカメラ画像に、側方や後方等を見るために撮像されたサブカメラ画像を重畳表示した画像のことである。

【0005】

メインカメラ画像の一部に重畳表示されたサブカメラ画像が常に表示されていると、重畳表示されているメインカメラ画像の一部が死角となることから次の問題がある。例えば、側方を見るために撮像したサブカメラ画像をメインカメラ画像の下部に常に重畳表示した場合、交差点左折時等において、車両近傍付近を確認できない。従って、移動体の走行状況に応じてサブカメラ画像の重畳表示の態様を変更するための改良が望まれる。

【0006】

本発明の１つの目的は、移動体の遠隔運転を行う場合において、移動体の走行状況に応じてメインカメラの画像の一部に重畳表示されるサブカメラ画像の表示態様を変更することのできる技術を提供することにある。

【課題を解決するための手段】

【0007】

第１の観点は、移動体の動作を遠隔で操作するための遠隔運転システムに関連する。
遠隔運転システムは、
移動体に搭載された複数カメラによって撮像されたカメラ画像情報と、移動体の走行状況を示す走行状況情報及び移動体の乗員の音声情報の少なくとも一方の情報と、が記録された１又は複数の記憶装置と、
１又は複数のプロセッサと、
表示装置と
を備える。
カメラ画像情報は、メインカメラ画像及びサブカメラ画像を含む。
１又は複数のプロセッサは、走行状況情報及び音声情報の少なくとも一方に基づき、サブカメラ画像の透過率を制御することにより補正される透過率補正画像を生成する。
１又は複数のプロセッサは、透過率補正画像をメインカメラ画像に重畳表示する重畳画像を生成する。
そして、１又は複数のプロセッサは、重畳画像を表示装置に表示する。

【0008】

第２の観点は、第１の観点に加えて、次の特徴を更に有する。
サブカメラ画像はサイドカメラ画像及び後方カメラ画像を含み、走行状況情報は速度情報を含む。
１又は複数のプロセッサは、サブカメラ画像の透過率の制御において、速度情報の速度が現在の値から小さくなるにつれて、線形的、非線形的、又は段階的に、サイドカメラ画像又は後方カメラ画像の透過率を高くなるように設定する。
そして、１又は複数のプロセッサは、サブカメラ画像の透過率の制御において、速度情報の速度が現在の値から大きくなるにつれて、線形的、非線形的、又は段階的に、サイドカメラ画像又は後方カメラ画像の透過率を低くなるように設定する。

【0009】

第３の観点は、第１の観点に加えて、次の特徴を更に有する。
サブカメラ画像は、サイドカメラ画像を含み、走行状況情報は、ウインカー指示方向の情報を含む。
１又は複数のプロセッサは、更に、ウインカー指示方向の情報と同じ方向のサイドカメラ画像の透過率を高くなるように設定する。

【0010】

第４の観点は、第１の観点乃至第３の観点のいずれかの観点に加えて、次の特徴を更に有する。
サブカメラ画像は、室内カメラ画像を含む。
１又は複数のプロセッサは、サブカメラ画像の透過率の制御において、音声情報が乗員からの呼びかけ音声を含むか否かを判定する。
そして、１又は複数のプロセッサは、音声情報が乗員からの呼びかけ音声を含むと判定した場合、室内カメラ画像の透過率を低くなるように設定する。

【0011】

第５の観点は、移動体の動作を遠隔で操作するための遠隔運転プログラムに関連する。
遠隔運転プログラムは、
移動体に搭載された複数カメラによって撮像されたメインカメラ画像及びサブカメラ画像を含むカメラ画像情報と、移動体の走行状況を示す走行状況情報及び移動体の乗員の音声情報の少なくとも一方の情報と、を取得する処理と、
走行状況情報及び音声情報の少なくとも一方に基づき、サブカメラ画像の透過率を制御したことにより補正される透過率補正画像を生成する処理と、
透過率補正画像をメインカメラ画像に重畳表示する重畳画像を生成する処理と、
重畳画像を表示装置に表示する処理と
をコンピュータによって実行させる。

【0012】

第６の観点は、移動体の動作を遠隔で操作するための遠隔運転方法に関連する。
遠隔運転方法は、
移動体に搭載された複数カメラによって撮像されたメインカメラ画像及びサブカメラ画像を含むカメラ画像情報と、移動体の走行状況を示す走行状況情報及び移動体の乗員の音声情報の少なくとも一方の情報と、を取得する処理と、
走行状況情報及び音声情報の少なくとも一方に基づき、サブカメラ画像の透過率を制御したことにより補正される透過率補正画像を生成する処理と、
透過率補正画像をメインカメラ画像に重畳表示する重畳画像を生成する処理と、
重畳画像を表示装置に表示する処理と
を含む。

【発明の効果】

【0013】

第１の観点によれば、走行状況情報及び音声情報の少なくとも一方の情報に基づいて、サブカメラ画像の透過率を制御する。更に、サブカメラ画像に対して透過率を制御したことにより補正した透過率補正画像をメインカメラ画像の一部に重畳表示した重畳画像を生成する。そして、重畳画像が表示装置に表示される。これにより、遠隔オペレータは、走行状況及び乗員の音声の少なくとも一方に応じて移動体の周囲の状況を正確に把握しやすくなる。このことは、遠隔運転による移動体の安全性の確保に繋がる。

【0014】

第２の観点によれば、サイドカメラ画像又は後方カメラ画像は、速度情報の速度に応じて透過率の制御が行われる。これにより、遠隔オペレータは、移動体の周囲の状況を更に正確に把握しやすくなる。このことは、遠隔運転による移動体の安全性の確保に繋がる。

【0015】

第３の観点によれば、サイドカメラ画像は、ウインカー指示方向の情報に基づいて透過率の設定が行われる。これにより、遠隔オペレータは、移動体の周囲の状況を更に正確に把握しやすくなる。このことは、遠隔運転による移動体の安全性の確保に繋がる。

【0016】

第４の観点によれば、室内カメラ画像の透過率は、音声情報に乗員からの呼びかけ音声が含まれる場合に低くなるように設定される。これにより、遠隔オペレータは、移動体室内で異常事態が発生していないかを正確に把握しやすくなる。このことは、遠隔運転による移動体の安全性の確保に繋がる。

【0017】

第５の観点によれば、第１の観点と同じ効果が得られる。

【0018】

第６の観点によれば、第１の観点と同じ効果が得られる。

【図面の簡単な説明】

【0019】

【図1】本発明の第１の実施の形態に係る遠隔運転システムの構成例を示すブロック図である。

【図2】本発明の第１の実施の形態に係る遠隔運転システムの記憶装置に記録された各種情報を示すブロック図である。

【図3】本発明の第１の実施の形態に係る遠隔運転システムの機能例を示すブロック図である。

【図4】本発明の第１の実施の形態に係る遠隔運転システムの速度情報に基づいた透過率制御部による処理を示すグラフである。

【図5】本発明の第１の実施の形態に係る遠隔運転システムのウインカー情報に基づいた透過率制御部による処理を示すフローチャートである。

【図6】本発明の第１の実施の形態に係る遠隔運転システムの音声情報に基づいた透過率制御部による処理を示すフローチャートである。

【図7】本発明の第１の実施の形態に係る遠隔運転システムの画像重畳部による処理結果例を示す図である。

【図8】本発明の第１の実施の形態に係る遠隔運転システムの速度情報に基づいて透過率制御部の処理を実施したときの表示装置における表示例を示した図である。

【図9】本発明の第１の実施の形態に係る遠隔運転システムのウインカー情報に基づいて透過率制御部の処理を実施したときの表示装置における表示例を示した図である。

【図10】本発明の第１の実施の形態に係る遠隔運転システムの音声情報に基づいて透過率制御部の処理を実施したときの表示装置における表示例を示した図である。

【図11】本発明の第２の実施の形態に係る遠隔運転システム構成例を示すブロック図である。

【図12】本発明の第２の実施の形態に係る遠隔運転システムの機能例を示すブロック図である。

【図13】本発明の第２の実施の形態に係る遠隔運転システムのオペレータ操作情報に基づいた透過率制御部による処理を示すフローチャートである。

【発明を実施するための形態】

【0020】

添付図面を参照して、本発明の実施の形態に係る遠隔運転システム、遠隔運転プログラム及び遠隔運転方法について説明する。

【0021】

１．第１の実施の形態
１－１．構成例
本実施の形態に係る遠隔運転システムは、移動体の動作を遠隔で操作するためのものである。図１は、本実施の形態に係る遠隔運転システム１０の構成例を示すブロック図である。遠隔運転システム１０は、情報処理装置２０及び表示装置３０を含んでいる。

【0022】

情報処理装置２０は、各種情報処理を行う。情報処理装置２０は、１又は複数のプロセッサ４０（以下、単にプロセッサ４０と呼ぶ）と１又は複数の記憶装置５０（以下、単に記憶装置５０）を含んでいる。プロセッサ４０は、各種処理を実行する。例えば、プロセッサ４０は、ＣＰＵを含んでいる。記憶装置５０は、カメラ画像情報６０、走行状況情報７０及び音情報８０の各種情報を格納する。記憶装置５０としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ、ＳＳＤ、等が例示される。プロセッサ４０がコンピュータプログラムである遠隔運転プログラムを実行することによって、情報処理装置２０の機能が実現される。遠隔運転プログラムは、記憶装置５０に格納される。遠隔運転プログラムは、コンピュータが読み取り可能な記録媒体に記録されてもよい。遠隔運転プログラムは、ネットワーク経由で提供されてもよい。

【0023】

表示装置３０は、各種情報を表示する。表示装置３０としては、液晶ディスプレイ、有機ＥＬディスプレイ、ヘッドマウントディスプレイ、タッチパネル、等が例示される。

【0024】

図２は、記憶装置に記録されたカメラ画像情報６０、走行状況情報７０及び音情報８０の各種情報の詳細を示すブロック図である。

【0025】

カメラ画像情報６０は、メインカメラ画像１００及びサブカメラ画像２００を含んでいる。更に、メインカメラ画像１００には、左メインカメラ画像１１０、正面メインカメラ画像１２０及び右メインカメラ画像１３０を含んでおり、サブカメラ画像２００には、サイドカメラ画像２１０（サイドカメラ画像２１０は左サイドカメラ画像２１１及び右サイドカメラ画像２１２を含む）、後方カメラ画像２２０及び室内カメラ画像２３０を含んでいる。ここで、メインカメラ画像１００とは、移動体の前方の状況を見るために移動体に搭載された複数カメラから取得した画像のことである。サブカメラ画像２００とは、移動体の側方、後方及び移動体の室内の状況を見るために、移動体に搭載された複数カメラから取得した画像のことである。

【0026】

走行状況情報７０は、速度情報３００及びウインカー指示方向の情報３１０を含んでいる。速度情報３００とは、移動体の車速情報のことであり、ウインカー指示方向の情報３１０とは、移動体を遠隔運転するオペレータ（遠隔オペレータ）が方向指示器を操作した場合に、この方向指示器に入力される移動体の進むべき方向（左方向又は右方向）の情報のことである。

【0027】

音情報８０は、移動体の室内及び室外の音の情報である。音情報８０は、移動体の乗員（即ち、移動体のドライバ、及びドライバ以外の搭乗者）の音声情報３２０を含んでいる。音声情報３２０としては、乗員間で行われる会話の音声、室内外の状況に関して乗員が発する音声、オペレータに呼びかけるために乗員が発する音声、等が含まれる。

【0028】

１－２．情報処理の詳細
表示装置３０に表示される画像とは、メインカメラ画像１００の一部にサブカメラ画像２００を重畳表示した画像のことである。メインカメラ画像１００の一部にサブカメラ画像２００を重畳表示すると、メインカメラ画像１００の一部は死角となる。死角となっている状態での交差点左折等は、遠隔運転による移動体の安全性を低下させる。そこで、移動体の走行状況に応じて、メインカメラ画像１００の一部に重畳されるサブカメラ画像２００を補正してメインカメラ画像１００の一部を見えるようにする。本実施の形態に係る情報処理は、以下に説明されるような特徴的な処理を含む。

【0029】

図３は、本実施の形態に係る情報処理に関連する機能例を示すブロック図である。遠隔運転システム１０の情報処理装置２０は、機能ブロックとして、情報入力部４００、画像透過率制御部４１０、画像重畳部４２０、及び表示処理部４３０を備えている。これらの機能ブロックは、プロセッサ４０が遠隔運転プログラムを実行することによって実現される。

【0030】

情報入力部４００は、記憶装置５０に記録されている各種情報を入力する処理を行う。各種情報のうち、サブカメラ画像２００、速度情報３００、ウインカー指示方向の情報３１０及び音声情報３２０は画像透過率制御部４１０に入力され、メインカメラ画像１００は画像重畳部４２０に入力される。

【0031】

画像透過率制御部４１０は、入力された速度情報３００、ウインカー指示方向の情報３１０及び音声情報３２０の少なくとも一方に基づいて、入力されたサブカメラ画像２００に対して、透過率を制御することによって補正したサブカメラ画像２００の透過率補正画像５００を生成する。速度情報３００、ウインカー指示方向の情報３１０及び音声情報３２０の各種情報に基づいた画像透過率制御部４１０の処理については詳細を後述する。

【0032】

画像重畳部４２０は、画像透過率制御部４１０で生成された透過率補正画像５００をメインカメラ画像１００の一部に重畳表示した重畳画像５１０を生成する。

【0033】

表示処理部４３０は、画像重畳部４２０で生成された重畳画像５１０を表示装置３０に出力するための処理を行う。

【0034】

図４は、速度情報３００に基づいたサブカメラ画像２００のサイドカメラ画像２１０及び後方カメラ画像２２０に対する画像透過率制御部４１０の処理の例を示すグラフである。速度情報３００の速度が現在の値から小さくなるにつれて、線形的、非線形的、又は段階的に、サイドカメラ画像２１０及び後方カメラ画像２２０の透過率を高くなるように設定し、速度情報３００の速度が現在の値から大きくなるにつれて、線形的、非線形的、又は段階的に、サイドカメラ画像２１０及び後方カメラ画像２２０の透過率を低くなるように設定する。

【0035】

透過率の設定により補正されるサイドカメラ画像２１０及び後方カメラ画像２２０の透過率補正画像５００を生成し、透過率補正画像５００を画像重畳部４２０に出力する。

【0036】

図５は、ウインカー指示方向の情報３１０に基づいたサブカメラ画像２００のサイドカメラ画像２１０に対する画像透過率制御部４１０の処理を示すフローチャートである。

【0037】

ステップＳ１００において、画像透過率制御部４１０は、入力されるウインカー指示方向の情報３１０において、ウインカー指示方向の左方向又は右方向の情報が含まれているか否かを判定する。

【0038】

ウインカー指示方向の左方向又は右方向の情報が含まれていると判定された場合（ステップＳ１００；Ｙｅｓ）、処理は、ステップＳ１１０に進む。それ以外の場合（ステップＳ１００；Ｎｏ）、処理は、ステップＳ１２０に進む。

【0039】

ステップＳ１１０において、画像透過率制御部４１０は、入力されるサイドカメラ画像２１０に対して、ウインカー指示方向の情報３１０と同じ方向のサイドカメラ画像２１０の透過率を高くなるように設定し、透過率の設定により補正される透過率補正画像５００を生成する。ウインカー指示方向の情報３１０と異なる方向のサイドカメラ画像２１０に対しては透過率を低くなるように設定し、透過率の設定により補正される透過率補正画像５００を生成する。

【0040】

ステップＳ１２０において、画像透過率制御部４１０は、入力されるサイドカメラ画像２１０に対して、サイドカメラ画像２１０の透過率を低くなるように設定し、透過率の設定により補正される透過率補正画像５００を生成する。

【0041】

ステップＳ１３０において、画像透過率制御部４１０は、透過率補正画像５００を表示処理部４３０に出力する。

【0042】

図６は、音声情報３２０に基づいた室内カメラ画像２３０に対する画像透過率制御部４１０の処理を示すフローチャートである。

【0043】

Ｓ２００において、画像透過率制御部４１０は、入力される音声情報３２０に基づいて、音声情報３２０が含まれているか否かを判定する。

【0044】

音声情報３２０が含まれていると判定された場合（ステップＳ２００；Ｙｅｓ）、処理は、ステップＳ２１０に進む。それ以外の場合（ステップＳ２００；Ｎｏ）、処理は、ステップＳ２３０に進む。

【0045】

ステップＳ２１０において、画像透過率制御部４１０は、音声情報３２０が乗員からの呼びかけ音声を含むか否かを判定する。

【0046】

音声情報３２０が乗員からの呼びかけ音声を含むと判定された場合（ステップＳ２１０；Ｙｅｓ）、処理は、ステップＳ２２０に進む。それ以外の場合（ステップＳ２１０；Ｎｏ）、処理は、ステップＳ２３０に進む。

【0047】

ステップＳ２２０において、画像透過率制御部４１０は、入力される室内カメラ画像２３０に対して、透過率を低くなるように設定し、透過率の設定により補正される透過率補正画像５００を生成する。

【0048】

ステップＳ２３０において、画像透過率制御部４１０は、入力される室内カメラ画像２３０に対して、透過率を高くなるように設定する。透過率の設定により補正される透過率補正画像５００を生成する。

【0049】

移動体が停止している時は、室内カメラ画像２３０の状況を把握できるようにするため、音声情報３２０に関係なく、ステップＳ２３０の処理を行う。移動体が走行している時は、音声情報３２０が乗員からの呼びかけ音声を含むと判定された場合（ステップＳ２１０；Ｙｅｓ）を除き、室内カメラ画像２３０の状況が把握できなくてもよいため、速度情報３００の速度が大きくなるにつれて、室内カメラ画像２３０の透過率を高くなるように設定し、室内カメラ画像２３０が見えなくなる状態とする。

【0050】

ステップＳ２４０において、画像透過率制御部４１０は、透過率補正画像５００を表示処理部４３０に出力する。

【0051】

１－３．重畳画像の表示例
図７は、画像重畳部４２０で生成される重畳画像５１０の表示例である。メインカメラ画像１００の所定の位置に画像透過率制御部４１０で生成される透過率補正画像５００を重畳表示した重畳画像５１０である。具体的に、左メインカメラ画像１１０に左サイドカメラ画像２１１の透過率補正画像５００を重畳表示し、正面メインカメラ画像１２０に後方カメラ画像２２０及び室内カメラ画像２３０の透過率補正画像５００を重畳表示し、右メインカメラ画像１３０に右サイドカメラ画像２１２の透過率補正画像５００を重畳表示したものである。

【0052】

図８は、速度情報３００に基づいてサブカメラ画像２００のサイドカメラ画像２１０及び後方カメラ画像２２０を透過率制御したときの表示例である。具体的に、サイドカメラ画像２１０の左サイドカメラ画像２１１及び後方カメラ画像２２０に対して透過率制御した場合の表示を例として挙げた。速度情報３００の速度が小さくなるにつれて、左サイドカメラ画像２１１及び後方カメラ画像２２０の透過率は高くなるように設定されるため、左メインカメラ画像１１０において重畳表示されている部分が見えるようになる。一方、速度情報３００の速度が大きくなるにつれて、左サイドカメラ画像２１１及び後方カメラ画像２２０の透過率は低くなるように設定されるため、左サイドカメラ画像２１１及び後方カメラ画像２２０が見えるようになる。

【0053】

図９は、ウインカー指示方向の情報３１０に基づいてサブカメラ画像２００のサイドカメラ画像２１０を透過率制御したときの表示例である。ウインカー指示方向の情報３１０が有る場合、ウインカー指示方向と同じ方向のサイドカメラ画像２１０（左サイドカメラ画像２１１又は右サイドカメラ画像２１２）の透過率は高くなるように設定されるため、ウインカー指示方向と同じ方向のメインカメラ画像１００（左メインカメラ画像１１０又は右メインカメラ画像１３０）が見えるようになる。一方、ウインカー指示方向の情報３１０が無い場合、サイドカメラ画像２１０の透過率は低くなるように設定されるため、サイドカメラ画像２１０（左サイドカメラ画像２１１又は右サイドカメラ画像２１２）が見えるようになる。

【0054】

図１０は、音声情報３２０に基づいて室内カメラ画像２３０を透過率制御したときの表示例である。音声情報３２０が有り、かつ、乗員からの呼びかけ音声がこれに含まれる場合、室内カメラ画像２３０の透過率は低くなるように設定されるため、室内カメラ画像２３０が見えるようになる。一方、音声情報３２０が有り、かつ、乗員の呼びかけ音声がこれに含まれない場合、又は音声情報３２０が無い場合、室内カメラ画像２３０の透過率は高くなるように設定されるため、メインカメラ画像１００の正面メインカメラ画像１２０が見えるようになる。

【0055】

移動体が停止している時は、室内カメラ画像２３０の状況を把握できるようにするため、音声情報３２０に関係なく、透過率を低くなるように設定し、室内カメラ画像２３０が見える状態とするが、移動体が走行している時は、乗員からの呼びかけ音声が含まれる場合を除き、室内カメラ画像２３０の状況が把握できなくてもよいため、速度情報３００の速度が大きくなるにつれて、室内カメラ画像２３０の透過率を高くなるように設定し、室内カメラ画像２３０が見えなくなる状態とする。

【0056】

１－４．効果
遠隔運転操作において、画像透過率制御が行われている場合、オペレータは、移動体の周囲の状況を正確に把握しやすくなる。従って、遠隔運転による移動体の安全性の確保に繋がる。このように、本実施の形態によれば、遠隔運転操作において、画像透過率制御が行われた場合であっても、遠隔運転による移動体の安全性の確保に繋がる。

【0057】

２．第２の実施の形態
第２の実施の形態は、情報処理の詳細の内容が第１の実施の形態と異なる。遠隔運転システム１０の基本構成は、第１の実施の形態の場合と同じである。第１の実施の形態と重複する説明は適宜省略される。

【0058】

第２の実施の形態では、ウインカー指示方向の情報３１０に基づいたサイドカメラ画像２１０の画像透過率制御部４１０について着目する。入力されるウインカー指示方向の情報３１０において、ウインカー指示方向の左方向又は右方向の情報が含まれている場合、ウインカー指示方向と同じ方向のサイドカメラ画像２１０の透過率が高くなるため、サイドカメラ画像２１０が見えにくくなる。すなわち、移動体の側方の状況を正確に把握しづらくなる。その結果、交差点左折時等において巻き込み事故等、遠隔運転による移動体の安全性を低下させる。そこで、第２の実施の形態では、情報処理の詳細において、サイドカメラ画像２１０の透過率をオペレータの操作でも補正できるようにする。

【0059】

図１１は、第２の実施の形態に係る遠隔運転システム１０の構成例を示すブロック図である。遠隔運転システム１０は、情報処理装置２０、表示装置３０及び入力装置９０を含んでいる。入力装置９０は、遠隔オペレータからの入力を受け付けるためのインタフェースである。入力装置９０としては、タッチパネル、キーボード、マウス、等が例示される。情報処理装置２０及び表示装置３０は、第１の実施の形態の場合と同じである。

【0060】

２－１．構成例
図１２は、第２の実施の形態に係る情報処理に関連する機能例を示すブロック図である。遠隔運転システム１０の情報処理装置２０は、機能ブロックとして、情報入力部４００、画像透過率制御部４１０、画像重畳部４２０、及び表示処理部４３０を備えている。これらの機能ブロックは、プロセッサ４０が遠隔運転プログラムを実行することによって実現される。画像重畳部４２０及び表示処理部４３０は、第１の実施の形態の場合と同じである。

【0061】

情報入力部４００は、記憶装置５０に記録されている各種情報を入力する処理を行う。各種情報のうち、サブカメラ画像２００、速度情報３００、ウインカー指示方向の情報３１０、音声情報３２０及びオペレータ操作情報３３０は画像透過率制御部４１０に入力され、メインカメラ画像１００は画像重畳部４２０に入力される。

【0062】

画像透過率制御部４１０は、入力された速度情報３００、ウインカー指示方向の情報３１０、音声情報３２０及びオペレータ操作情報３３０の少なくとも一方に基づいて、入力されたサブカメラ画像２００に対して、透過率を制御することによって補正したサブカメラ画像２００の透過率補正画像５００を生成する。速度情報３００、ウインカー指示方向の情報３１０、音声情報３２０及びオペレータ操作情報３３０の各種情報に基づいた画像透過率制御部４１０の処理については詳細を後述する。

【0063】

２－２．情報処理例
図１３は、第２の実施の形態に係るウインカー指示方向の情報３１０及びオペレータ操作情報３３０に基づいたサブカメラ画像２００のサイドカメラ画像２１０に対する画像透過率制御部４１０の処理を示すフローチャートである。

【0064】

ステップＳ３００において、画像透過率制御部４１０は、入力されるウインカー指示方向の情報３１０において、ウインカー指示方向の左方向又は右方向の情報が含まれているか否かを判定する。

【0065】

ウインカー指示方向の左方向又は右方向の情報が含まれていると判定された場合（ステップＳ３００；Ｙｅｓ）、処理は、ステップＳ３１０に進む。それ以外の場合（ステップＳ３００；Ｎｏ）、処理は、ステップＳ３４０に進む。

【0066】

ステップＳ３１０において、画像透過率制御部４１０は、入力されるオペレータ操作情報３３０において、オペレータ指示による透過率の情報が含まれているか否かを判定する。

【0067】

オペレータ指示による透過率の情報が含まれていると判定された場合（ステップＳ３１０；Ｙｅｓ）、処理は、ステップＳ３２０に進む。それ以外の場合（ステップＳ３１０；Ｎｏ）、処理は、ステップＳ３３０に進む。

【0068】

ステップＳ３２０において、画像透過率制御部４１０は、入力されるサイドカメラ画像２１０に対して、ウインカー指示方向の情報３１０と同じ方向のサイドカメラ画像２１０の透過率をオペレータ指示による透過率に基づいた値に設定し、透過率の設定により補正される透過率補正画像５００を生成する。

【0069】

ステップＳ３３０において、画像透過率制御部４１０は、入力されるサイドカメラ画像２１０に対して、ウインカー指示方向の情報３１０と同じ方向のサイドカメラ画像２１０の透過率を高くなるように設定し、透過率の設定により補正される透過率補正画像５００を生成する。ウインカー指示方向の情報３１０と異なる方向のサイドカメラ画像２１０に対しては透過率を低くなるように設定し、透過率の設定により補正される透過率補正画像５００を生成する。

【0070】

ステップＳ３４０において、画像透過率制御部４１０は、入力されるサイドカメラ画像２１０に対して、サイドカメラ画像２１０の透過率を低くなるように設定し、透過率の設定により補正される透過率補正画像５００を生成する。

【0071】

ステップＳ３５０において、画像透過率制御部４１０は、透過率補正画像５００を表示処理部４３０に出力する。

【0072】

以上に説明されたように、第２の実施の形態によれば、ウインカー指示方向の情報３１０があった場合においても、サイドカメラ画像２１０の透過率をオペレータの操作により補正できるようになる。これにより、オペレータは、移動体の側方の状況を正確に把握しやすくなる。このことは、遠隔運転による移動体の安全性の確保に繋がる。

【符号の説明】

【0073】

１０ 遠隔運転システム
２０ 情報処理装置
３０ 表示装置
４０ プロセッサ
５０ 記憶装置
６０ カメラ画像情報
７０ 走行状況情報
８０ 音情報
９０ 入力装置
１００ メインカメラ画像
１１０ 左メインカメラ画像
１２０ 正面メインカメラ画像
１３０ 右メインカメラ画像
２００ サブカメラ画像
２１０ サイドカメラ画像
２１１ 左サイドカメラ画像
２１２ 右サイドカメラ画像
２２０ 後方カメラ画像
２３０ 室内カメラ画像
３００ 速度情報
３１０ ウインカー指示方向の情報
３２０ 音声情報
３３０ オペレータ操作情報
４００ 情報入力部
４１０ 画像透過率制御部
４２０ 画像重畳部
４３０ 表示処理部
５００ 透過率補正画像
５１０ 重畳画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】