(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-03-31
(45)【発行日】2025-04-08
(54)【発明の名称】遠隔運転装置
(51)【国際特許分類】
G08G 1/09 20060101AFI20250401BHJP
G05D 1/00 20240101ALI20250401BHJP
【FI】
G08G1/09 V
G05D1/00
(21)【出願番号】P 2021112102
(22)【出願日】2021-07-06
【審査請求日】2024-02-12
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】100104765
【氏名又は名称】江上 達夫
(74)【代理人】
【識別番号】100131015
【氏名又は名称】三輪 浩誉
(72)【発明者】
【氏名】赤塚 康佑
(72)【発明者】
【氏名】玉川 周一
(72)【発明者】
【氏名】村田 悠稀
【審査官】佐々木 佳祐
(56)【参考文献】
【文献】特開2021-060764(JP,A)
【文献】特開2017-149222(JP,A)
【文献】特開2011-051446(JP,A)
【文献】特開2006-220435(JP,A)
【文献】特開2005-319837(JP,A)
【文献】米国特許出願公開第2010/0076600(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/09
G05D 1/00
(57)【特許請求の範囲】
【請求項1】
対象車両を遠隔運転する遠隔運転装置であって、
マイクロホンにより収集された前記対象車両の周囲の音である外部環境音と、前記対象車両の走行音を疑似的に表す仮想走行音
とを含む合成音情報を生成する生成手段を備え、
前記生成手段は、前記対象車両の速度が高い場合は、前記対象車両の速度が低い場合に比べて、前記合成音情報に含まれる前記外部環境音の割合を大きくする
ことを特徴とする遠隔運転装置。
【請求項2】
前記対象車両の周囲に存在する緊急車両を検出する検出手段を備え、
前記生成手段は、前記検出手段により緊急車両が検出された場合、前記合成音情報に含まれる前記外部環境音の割合を、前記合成音情報に含まれる前記仮想走行音の割合よりも大きくする
ことを特徴とする請求項1に記載の遠隔運転装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象車両を遠隔運転する遠隔運転装置の技術分野に関する。
【背景技術】
【0002】
この種の装置として、例えば、車両に搭載された複数のカメラの映像を制御所に伝送し、該制御所のモニタに表示する装置が提案されている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
対象車両を車外から遠隔運転するユーザは、対象車両に乗っていない。このため、該ユーザが、例えばモニタ上に表示された画像(映像)から知覚する速度と、対象車両の実際の速度との間に乖離が生じる可能性があるという技術的問題点がある。
【0005】
本発明は、例えば上記問題点に鑑みてなされたものであり、対象車両を遠隔運転するユーザが知覚する速度を、対象車両の実際の速度に近づけることができる遠隔運転装置を提供することを課題とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係る遠隔運転装置は、対象車両を遠隔運転する遠隔運転装置であって、マイクロホンにより収集された前記対象車両の周囲の音である外部環境音と、前記対象車両の走行音を疑似的に表す仮想走行音とを含む合成音情報を生成する生成手段を備え、前記生成手段は、前記対象車両の速度が高い場合は、前記対象車両の速度が低い場合に比べて、前記合成音情報に含まれる前記外部環境音の割合を大きくするというものである。
【図面の簡単な説明】
【0007】
【
図1】第1実施形態に係る遠隔運転システムの構成を示すブロック図である。
【
図2】第1実施形態に係る車両のカメラの撮像範囲の一例を示す図である。
【
図3】第1実施形態に係るディスプレイの一例を示す図である。
【
図4】第1実施形態に係る配分器の一例を示す図である。
【
図5】外部環境音と仮想走行音との割合を規定するマップの一例である。
【
図6】第1実施形態に係る遠隔運転装置の動作を示すフローチャートである。
【
図7】外部環境音と仮想走行音との割合を規定するマップの他の例である。
【
図8】第2実施形態に係る遠隔運転装置の動作を示すフローチャートである。
【
図9】実施形態に係るコンピュータの構成を示すブロック図である。
【発明を実施するための形態】
【0008】
<第1実施形態>
遠隔運転装置に係る第1実施形態について
図1乃至
図6を参照して説明する。第1実施形態に係る遠隔運転装置10は、遠隔運転システム1の一部を構成している。
図1において、遠隔運転システム1は、遠隔運転装置10と、該遠隔運転装置10により遠隔運転される車両20とを備えている。
【0009】
遠隔運転装置10は、例えば車両のコックピットを模した作りとなっている。遠隔運転装置10には、当該遠隔運転装置10を用いて対象車両(ここでは、車両20)を遠隔運転するユーザが操作するステアリングホイール、アクセルペダル、ブレーキペダル(いずれも図示せず)が設けられている。
【0010】
遠隔運転装置10は、制御装置11、通信部12、操舵センサ13、アクセルペダルセンサ14、ブレーキペダルセンサ15、ディスプレイ16及びスピーカ17を備えて構成されている。操舵センサ13は、上記ステアリングホイールの操作量を検出する。アクセルペダルセンサ14は、上記アクセルペダルの操作量を検出する。ブレーキペダルセンサ15は、上記ブレーキペダルの操作量を検出する。
【0011】
車両20は、カメラ21L、21C及び21R、マイクロホン22(以降、”マイク22”と表記する)、速度センサ23、加速度センサ24、ヨーレートセンサ25並びに通信部26を備えて構成されている。
【0012】
マイク22は、車両20の周囲の音(以降、”外部環境音”と称する)を検出する。速度センサ23は、車両20の速度を検出する。加速度センサ24は、車両20の加速度を検出する。ヨーレートセンサ25は、車両20のヨーレートを検出する。マイク22により検出された外部環境音、速度センサ23により検出された速度、加速度センサ24により検出された加速度及びヨーレートセンサ25により検出されたヨーレートは、通信部26を介して、遠隔運転装置10に送信される。
【0013】
カメラ21Cは、車両20の前方領域を撮像可能に車両20に取り付けられている。カメラ21Lは、車両20の左側方領域を撮像可能に車両20に取り付けられている。カメラ21Rは、車両20の右側方領域を撮像可能に車両20に取り付けられている。カメラ21L、21C及び21R各々により撮像された画像は、通信部26を介して、遠隔運転装置10に送信される。
【0014】
ここで、
図2において、範囲IRLはカメラ21Lの撮像範囲に相当し、範囲IRCはカメラ21Cの撮像範囲に相当し、範囲IRRはカメラ21Rの撮像範囲に相当する。尚、車両20は、カメラ21L、21C及び21Rに加えて、例えば車両20の後方領域を撮像可能なカメラ等の他のカメラを備えていてよい。
【0015】
遠隔運転装置10の制御装置11は、その内部に論理的に実現される論理ブロックとして、又は、物理的に実現される処理回路として、車両制御部111、表示制御部112及び音制御部113を有する。
【0016】
車両制御部111は、通信部12を介して、車両20から送信された速度、加速度及びヨーレートを取得する。車両制御部111は、該取得された速度、加速度及びヨーレートと、操舵センサ13により検出された操作量、アクセルペダルセンサ14により検出された操作量及びブレーキペダルセンサ15により検出された操作量とに基づいて、車両20を制御するための指令値を演算する。車両制御部111は、該演算された指令値を、通信部12を介して、車両20に送信する。
【0017】
表示制御部112は、通信部12を介して、カメラ21L、21C及び21R各々により撮像された画像を取得する。ここでディスプレイ16は、例えば
図3に示すように、表示領域DRL、DRC及びDRRを有する。表示制御部112は、カメラ21Lにより撮像された画像を表示領域DRLに表示し、カメラ21Cにより撮像された画像を表示領域DRCに表示し、カメラ21Rにより撮像された画像を表示領域DRRに表示する。
【0018】
尚、表示領域DRL、DRC及びDRR各々は、1つのディスプレイ内の部分領域として実現されてよい。表示領域DRL、DRC及びDRRは、複数の(例えば3つの)ディスプレイにより実現されてよい。また、表示制御部112は、カメラ21L、21C及び21R各々により撮像された画像を個別に表示することに代えて、カメラ21L、21C及び21R各々により撮像された画像を合成した上で、合成された画像をディスプレイ16に表示してよい。
【0019】
音制御部113は、通信部12を介して、車両20から送信された外部環境音を取得する。音制御部113は、車両20の走行音を疑似的に表す仮想走行音を生成する。音制御部113は、外部環境音と仮想走行音との少なくとも一方を含む合成音情報を生成する。音制御部113は、該生成された合成音情報により示される音が発せられるように、スピーカ17を制御する。
【0020】
ここで音制御部113は、配分器1131(
図4参照)を有していてよい。合成音情報は、例えば、外部環境音と仮想走行音とが配分器1131に入力され、両者が配分器1131により合成されることにより生成されてよい。尚、仮想走行音の生成方法には、既存の各種態様を適用可能であるのでその詳細についての説明は省略する。
【0021】
音制御部113は特に、車両20の速度に応じて、合成音情報に含まれる外部環境音と仮想走行音との割合を変更する。音制御部113は、例えば
図5に示すようなマップに従って、合成音情報に含まれる外部環境音と仮想走行音との割合を変更してよい。尚、車両20の速度が比較的低速な場合、合成音情報には仮想走行音のみが含まれていてよい(即ち、仮想走行音の割合が100%であってよい)。車両20の速度が比較的高速な場合、合成音情報には外部環境音のみが含まれていてよい(即ち、外部環境音の割合が100%であってよい)。
【0022】
上述の如く構成された遠隔運転装置10の動作について
図6のフローチャートを参照して説明を加える。
図6において、遠隔運転装置10の制御装置11は、通信部12を介して、対象車両としての車両20の速度を取得する(ステップS101)。制御装置11の音制御部113は、ステップS101の処理において取得された速度に応じて、合成音情報に含まれる外部環境音及び仮想走行音の割合を決定する(ステップS102)。
【0023】
ステップS102の処理において、音制御部113は、例えば
図5に示すようなマップに従って、外部環境音及び仮想走行音の割合を決定してよい。或いは、音制御部113は、対象車両の速度が閾値より低い場合は、合成音情報に含まれる仮想走行音の割合を外部環境音の割合より大きくよい。音制御部113は、対象車両の速度が閾値より高い場合は、合成音情報に含まれる外部環境音の割合を仮想走行音の割合より大きくしてよい。
【0024】
その後、音制御部113は、ステップS102の処理において決定された割合となるように、外部環境音と仮想走行音とから合成音情報を生成する。そして、音制御部113は、該生成された合成音情報により示される音が発せられるようにスピーカ17を制御する(ステップS103)。
【0025】
(技術的効果)
遠隔運転装置10を用いて対象車両(ここでは、車両20)を遠隔運転しているユーザは、例えば車両20の挙動に起因する振動や加速度を体感することができない。遠隔運転しているユーザの臨場感を高めるために、例えばスピーカ17から外部環境音が発せられる。しかしながら、車両20の速度が比較的低い場合には、例えば車両20のタイヤの振動音や摩擦音が比較的小さい。このため、スピーカ17から外部環境音が発生られても、臨場感を向上する効果は期待するほど得られない。
【0026】
そこで、当該遠隔運転装置10では、車両20の速度が比較的低い場合には、車両20の速度が比較的高い場合に比べて、仮想走行音の割合が高い合成音情報が生成される。具体的には、車両20の速度が比較的低い場合には、外部環境音より仮想走行音の割合が高い合成音情報が生成される。他方で、車両20の速度が比較的高い場合には、仮想走行音より外部環境音の割合が高い合成音情報が生成される。車両20の速度が比較的高い場合には、例えば車両20のタイヤの振動音や摩擦音が十分に大きいからである。
【0027】
当該遠隔運転装置10によれば、対象車両を遠隔運転するユーザが知覚する速度を、対象車両の実際の速度に近づけることができる。
【0028】
尚、音制御部113の機能のうち、外部環境音と仮想走行音とから合成音情報を生成する機能は、遠隔運転の対象車両(例えば車両20)に設けられていてよい。
【0029】
<第2実施形態>
遠隔運転装置に係る第2実施形態について
図7及び
図8を参照して説明する。第2実施形態では、音制御部113の動作が一部異なる以外は、上述した第1実施形態と同様である。従って、第2実施形態について、第1実施形態と重複する説明は適宜省略し、第1実施形態と異なる点について主に説明する。
【0030】
音制御部113(
図1参照)は、通信部12を介して、車両20(即ち、遠隔運転の対象車両)から送信された外部環境音を取得する。音制御部113は、該取得された外部環境音に緊急車両から発せられるサイレン音が含まれているか否かを判定する。音制御部113は、例えば外部環境音に所定の周波数解析を施してよい。そして、音制御部113は、周波数解析の結果に、緊急車両から発せられるサイレン音固有の周波数が含まれている場合に、外部環境音に緊急車両から発せられるサイレン音が含まれていると判定してよい。
【0031】
外部環境音に緊急車両から発せられるサイレン音が含まれている場合、音制御部113は、車両20の速度にかかわらず、合成音情報に含まれる外部環境音の割合を仮想走行音の割合より大きくする。具体的には、音制御部113は、例えば
図7に示すようなマップに従って、外部環境音及び仮想走行音の割合を決定してよい。
【0032】
この結果、外部環境音を比較的多く含む合成音情報により示される音がスピーカ17から発せられる。このように構成すれば、遠隔運転装置10により対象車両である車両20を遠隔運転しているユーザに、車両20の周囲に緊急車両が存在していることを気づかせることができる。上記ユーザが緊急車両の存在に気づけば、例えば車両20を路肩等に退避させることができる。
【0033】
尚、外部環境音に緊急車両から発せられるサイレン音が含まれていない場合、音制御部113は、上述した第1実施形態と同様の動作を行ってよい。つまり、音制御部113は、例えば
図5に示すようなマップに従って、外部環境音及び仮想走行音の割合を決定してよい。
【0034】
本実施形態に係る音制御部113の動作について
図8のフローチャートを参照して説明を加える。尚、
図8におけるステップS101、S102及びS103は、
図6におけるステップS101、S102及びS103に相当する。
【0035】
図8において、ステップS101の処理の後、音制御部113は、遠隔運転の対象車両としての車両20の周囲に緊急車両が存在するか否かを判定する(ステップS201)。具体的には、音制御部113は、車両20から送信された外部環境音に緊急車両から発せられるサイレン音が含まれているか否かを判定する。
【0036】
ステップS201の処理において、車両20の周囲に緊急車両が存在すると判定された場合(ステップS201:Yes)、音制御部113は、合成音情報に含まれる外部環境音の割合が仮想走行音の割合よりも大きくなるように、ステップS101の処理において取得された速度に応じて、合成音情報に含まれる外部環境音及び仮想走行音の割合を決定する(ステップS202)。
【0037】
その後、音制御部113は、ステップS202の処理において決定された割合となるように、外部環境音と仮想走行音とから合成音情報を生成する。そして、音制御部113は、該生成された合成音情報により示される音が発せられるようにスピーカ17を制御する(ステップS103)。
【0038】
ステップS201の処理において、車両20の周囲に緊急車両が存在しないと判定された場合(ステップS201:No)、音制御部113は、ステップS102の処理を行う。
【0039】
(技術的効果)
当該遠隔運転装置10によれば、対象車両を遠隔運転するユーザが知覚する速度を、対象車両の実際の速度に近づけつつ、緊急車両の存在をユーザに知覚させることができる。
【0040】
<コンピュータプログラム>
コンピュータプログラムに係る実施形態について
図9を参照して説明する。
図9は、実施形態に係るコンピュータの構成を示すブロック図である。
【0041】
図9において、コンピュータ50は、遠隔運転装置の一部を構成する。コンピュータ50は、CPU(Central Processing Unit)51、RAM52、HDD(Hard Disk Drive)53及びI/O54を備えて構成されている。CPU51、RAM52、HDD53及びI/O54は、バス55により相互に接続されている。HDD53には、本実施形態に係るコンピュータプログラム531が予め格納されている。I/O54により、上述した通信部12が構成されていてよい。
【0042】
コンピュータプログラム531によるCPU51の処理について説明する。CPU51は、I/O54を介して、車両20から送信された速度、加速度及びヨーレートを取得する。CPU51は、I/O54を介して、カメラ21L、21C及び21R各々により撮像された画像を取得する。CPU51は、I/O54を介して、車両20から送信された外部環境音を取得する。
【0043】
CPU51は、車両20の走行音を疑似的に表す仮想走行音を生成する。CPU51は、外部環境音と仮想走行音との少なくとも一方を含む合成音情報を生成する。CPU51は、該生成された合成音情報により示される音が発せられるように、I/O54を介してスピーカ(図示せず)を制御する。
【0044】
ここで、CPU51は、車両20の速度に応じて、合成音情報に含まれる外部環境音と仮想走行音との割合を変更する。CPU51は、例えば
図5に示すようなマップに従って、合成音情報に含まれる外部環境音と仮想走行音との割合を変更してよい。尚、
図5に示すようなマップは、HDD53に格納されていてよい。
【0045】
CPU51は、外部環境音に緊急車両から発せられるサイレン音が含まれているか否かを判定してよい(即ち、車両20の周囲に緊急車両が存在するか否かを判定してよい)。CPU51は、外部環境音に緊急車両から発せられるサイレン音が含まれている場合、車両20の速度にかかわらず、合成音情報に含まれる外部環境音の割合を仮想走行音の割合より大きくしてよい。この場合、CPU51は、例えば
図7に示すようなマップに従って、外部環境音及び仮想走行音の割合を決定してよい。尚、
図7に示すようなマップは、HDD53に格納されていてよい。
【0046】
尚、コンピュータ50が、例えば、コンピュータプログラム531を格納するCD-ROM(Compact Disc Read Only Memory)等の光ディスク、USB(Universal Serial Bus)メモリ、等の記録媒体から、コンピュータプログラム531を読み込むことにより、HDD53にコンピュータプログラム531が格納されてよい。或いは、コンピュータ50が、例えばインターネット等のネットワークを介して、コンピュータプログラム531をダウンロードすることにより、HDD53にコンピュータプログラム531が格納されてよい。
【0047】
コンピュータプログラム531によれば、上述した第1実施形態における遠隔運転装置10と同様に、対象車両を遠隔運転するユーザが知覚する速度を、対象車両の実際の速度に近づけることができる。加えて、コンピュータプログラム531によれば、上述した第2実施形態における遠隔運転装置10と同様に、緊急車両の存在を、対象車両を遠隔運転するユーザに知覚させることができる。コンピュータプログラム531によれば、上述した第1及び第2実施形態における遠隔運転装置10を比較的容易に実現することができる。
【0048】
以上に説明した実施形態から導き出される発明の各種態様を以下に説明する。
【0049】
発明の一態様に係る遠隔運転装置は、対象車両を遠隔運転する遠隔運転装置であって、マイクロホンにより収集された前記対象車両の周囲の音である外部環境音と、前記対象車両の走行音を疑似的に表す仮想走行音との少なくとも一方を含む合成音情報を生成する生成手段を備え、前記生成手段は、前記対象車両の速度が高い場合は、前記対象車両の速度が低い場合に比べて、前記合成音情報に含まれる前記外部環境音の割合を大きくするというものである。上述の実施形態においては「音制御部113」が「生成手段」の一例に相当する。
【0050】
当該遠隔運転装置では、前記対象車両の周囲に存在する緊急車両を検出する検出手段を備えてよく、前記生成手段は、前記検出手段により緊急車両が検出された場合、前記合成音情報に含まれる前記外部環境音の割合を、前記合成音情報に含まれる前記仮想走行音の割合よりも大きくしてよい。上述の実施形態においては「音制御部113」が「検出手段」の一例に相当する。
【0051】
発明の一態様に係る遠隔運転方法は、対象車両を遠隔運転する遠隔運転装置における遠隔運転方法であって、マイクロホンにより収集された前記対象車両の周囲の音である外部環境音と、前記対象車両の走行音を疑似的に表す仮想走行音との少なくとも一方を含む合成音情報を生成する生成工程を含み、前記生成工程では、前記対象車両の速度が高い場合は、前記対象車両の速度が低い場合に比べて、前記合成音情報に含まれる前記外部環境音の割合が大きくされるというものである。
【0052】
当該遠隔運転方法では、前記生成工程より前に、前記対象車両の周囲に存在する緊急車両を検出する検出工程を含んでよく、前記生成工程では、前記検出工程により緊急車両が検出された場合、前記合成音情報に含まれる前記外部環境音の割合が、前記合成音情報に含まれる前記仮想走行音の割合よりも大きくされてよい。
【0053】
発明の一態様に係るコンピュータプログラムは、対象車両を遠隔運転する遠隔運転装置のコンピュータを、マイクロホンにより収集された前記対象車両の周囲の音である外部環境音と、前記対象車両の走行音を疑似的に表す仮想走行音との少なくとも一方を含む合成音情報を生成する生成手段であって、前記対象車両の速度が高い場合は、前記対象車両の速度が低い場合に比べて、前記合成音情報に含まれる前記外部環境音の割合を大きくする生成手段として機能させるというものである。
【0054】
当該コンピュータプログラムは、前記コンピュータを更に前記対象車両の周囲に存在する緊急車両を検出する検出手段として機能させてよく、前記生成手段は、前記検出手段により緊急車両が検出された場合、前記合成音情報に含まれる前記外部環境音の割合を、前記合成音情報に含まれる前記仮想走行音の割合よりも大きくしてよい。
【0055】
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う遠隔運転装置もまた本発明の技術的範囲に含まれるものである。
【符号の説明】
【0056】
1…遠隔運転システム、10…遠隔運転装置、11…制御装置、12、26…通信部、13…操舵センサ、14…アクセルペダルセンサ、15…ブレーキペダルセンサ、16…ディスプレイ、17…スピーカ、20…車両、21L、21C、21R…カメラ、22…マイクロホン、23…速度センサ、24…加速度センサ、25…ヨーレートセンサ、111…車両制御部、112…表示制御部、113…音制御部