ホーム > 特許ランキング > 株式会社ブロードリーフ
知財求人 - 知財ポータルサイト「IP Force」
特許7593806車両操作システム、車両制御装置、車両操作方法及び車両操作プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-25
(45)【発行日】2024-12-03
(54)【発明の名称】車両操作システム、車両制御装置、車両操作方法及び車両操作プログラム
(51)【国際特許分類】
G08G 1/09 20060101AFI20241126BHJP
G05D 1/00 20240101ALI20241126BHJP
【ＦＩ】
G08G1/09 F
G05D1/00
【請求項の数】
7
(21)【出願番号】P 2020219114
(22)【出願日】2020-12-28
(65)【公開番号】P2022104107
(43)【公開日】2022-07-08
【審査請求日】2023-12-27
(73)【特許権者】
【識別番号】510084297
【氏名又は名称】株式会社ブロードリーフ
(74)【代理人】
【識別番号】100088580
【弁理士】
【氏名又は名称】秋山 敦
(74)【代理人】
【識別番号】100195453
【弁理士】
【氏名又は名称】福士 智恵子
(74)【代理人】
【識別番号】100205501
【弁理士】
【氏名又は名称】角渕 由英
(72)【発明者】
【氏名】平野 喜丈
【審査官】増子 真
(56)【参考文献】
【文献】特開２００３－１９５９４１（ＪＰ，Ａ）
【文献】特開２０１６－１７５５８６（ＪＰ，Ａ）
【文献】特開２０１７－２００１２５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１４／０２１４２４０（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／００ － ９９／００
Ｇ０５Ｄ １／００ － １／８７
(57)【特許請求の範囲】
【請求項1】
車両を制御する車両制御装置と、前記車両の周囲の画像情報を撮像する複数の撮像装置と、前記車両を操作する操作装置と、を備える車両操作システムであって、前記操作装置は、
前記画像情報を表示可能な表示部と、
前記撮像装置で撮像された前記画像情報を前記表示部で表示する位置及び大きさを定めたレイアウト情報を入力する入力部と、
前記車両制御装置と情報を送受信する第２通信部と、を具備し、
前記入力部によって入力された前記レイアウト情報を前記車両制御装置に送信する処理を実行し、
前記車両制御装置は、
前記操作装置と情報を送受信する第１通信部を具備し、
前記第１通信部を介して前記操作装置から前記レイアウト情報を受信する処理と、
前記車両の進行方向を取得する処理と、
前記進行方向に応じて、前記撮像装置それぞれから取得した画像情報と、前記レイアウト情報とをもとに前記レイアウト情報に基づく画像情報を生成する処理と、を実行し、
前記第１通信部は、前記レイアウト情報に基づく画像情報を前記操作装置に送信可能であって、
前記操作装置の前記表示部は、前記第１通信部を具備する前記車両制御装置との通信路を介して前記車両制御装置から前記第２通信部で受信した、前記レイアウト情報に基づく画像情報を表示する、車両操作システム。
【請求項2】
前記撮像装置は、前記車両の第１進行方向を撮像する第１方向撮像装置と、前記第１進行方向とは異なる第２進行方向を撮像する第２方向撮像装置と、を含み、前記レイアウト情報は、前記第１方向撮像装置が撮像した前記第１進行方向における画像情報と、前記第２進行方向における画像情報とを表示する位置及び大きさが定められており、
前記レイアウト情報に基づく画像情報を生成する処理は、前記第１方向撮像装置で撮像した画像情報又は前記第２方向撮像装置で撮像した画像情報に、当該進行方向とは異なる他の進行方向の画像情報を重畳して合成画像情報を生成する、請求項１に記載の車両操作システム。
【請求項3】
前記第１通信部は、遠距離通信回線の基地局と複数の通信回線により接続可能であり、前記レイアウト情報に基づく画像情報を生成する処理は、
前記レイアウト情報に基づく画像情報を送信する必要な帯域が変更されたことによって前記帯域が減少した場合、変更前の前記画像情報に比べて低解像度の前記画像情報を生成し、前記変更によって前記帯域が増加した場合、変更前の前記画像情報に比べて高解像度の前記画像情報を生成する、請求項１又は２に記載の車両操作システム。
【請求項4】
車両を制御する車両制御装置であって、
前記車両制御装置は、車両の周囲の画像情報を撮像する複数の撮像装置と、前記車両を操作する操作装置と接続されており、
前記車両制御装置は、
前記操作装置と情報を送受信する第１通信部を具備し、
前記第１通信部を介して前記操作装置から、前記撮像装置で撮像された前記画像情報を前記操作装置で表示する位置及び大きさを定めたレイアウト情報を受信する処理と、
前記車両の進行方向を取得する処理と、
前記進行方向に応じて、前記撮像装置それぞれから取得した画像情報と、前記レイアウト情報とをもとに前記レイアウト情報に基づく画像情報を生成する処理と、
前記操作装置の表示部で表示される、前記レイアウト情報に基づく画像情報を、前記操作装置との通信路を介して送信する処理と、を実行する車両制御装置。
【請求項5】
車両を制御する第１コンピュータと、前記車両を操作する第２コンピュータとによって実行される車両操作方法であって、前記第２コンピュータは、
複数の撮像装置で撮像された前記車両の周囲の画像情報を表示する位置及び大きさを定めたレイアウト情報の入力を受け付けることと、
受け付けた前記レイアウト情報を前記第１コンピュータに送信することを実行し、
前記第１コンピュータは、
前記第２コンピュータから前記レイアウト情報を受信することと、
前記車両の進行方向を取得することと、
前記進行方向に応じて、前記撮像装置それぞれから取得した画像情報と、前記レイアウト情報とをもとに前記レイアウト情報に基づく画像情報を生成することと、
前記レイアウト情報に基づく画像情報を前記第２コンピュータに送信することと、を実行し、
前記第２コンピュータが、前記第１コンピュータとの通信路を介して前記第１コンピュータから受信した、前記レイアウト情報に基づく画像情報を表示することを実行する、車両操作方法。
【請求項6】
車両を制御する第１コンピュータに、
複数の撮像装置で撮像された前記車両の周囲の画像情報を表示する位置及び大きさを定めたレイアウト情報の入力を受け付ける処理と、受け付けた前記レイアウト情報を前記第１コンピュータに送信する処理と、前記第１コンピュータから受信した、前記レイアウト情報に基づく画像情報を表示する処理とを実行する第２コンピュータから、前記レイアウト情報を受信する処理と、
前記車両の進行方向を取得する処理と、
前記進行方向に応じて、前記撮像装置それぞれから取得した画像情報と、前記レイアウト情報とをもとに前記レイアウト情報に基づく画像情報を生成する処理と、
前記レイアウト情報に基づく画像情報を前記第２コンピュータに送信する処理と、を実行させる、車両操作プログラム。
【請求項7】
車両を操作する第２コンピュータに、
複数の撮像装置で撮像された前記車両の周囲の画像情報を表示する位置及び大きさを定めたレイアウト情報の入力を受け付ける処理と、
受け付けた前記レイアウト情報を、前記車両を制御する第１コンピュータに送信する処理と、
前記第２コンピュータから前記レイアウト情報を受信する処理と、前記車両の進行方向を取得する処理と、前記進行方向に応じて、前記撮像装置それぞれから取得した画像情報と、前記レイアウト情報とをもとに前記レイアウト情報に基づく画像情報を生成する処理と、前記レイアウト情報に基づく画像情報を前記第２コンピュータに送信する処理とを実行する前記第１コンピュータから、前記レイアウト情報に基づく画像情報を受信する処理と、
前記第１コンピュータから受信した、前記レイアウト情報に基づく画像情報を表示する処理と、を実行させる、車両操作プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両操作システム、車両制御装置、車両操作方法及び車両操作プログラムに関する。
【背景技術】
【0002】
近年、運転者の安全性、快適性を実現するために、車両自体が周囲の外部環境の情報を把握し、運転者に代わって車両の走行を制御するＡＤＡＳ（先進運転支援システム）を搭載した自動運転するための車両が知られている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０２０－１６４０５６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
一般的に知られた車両に不具合が生じて走行障害が発生したときに、特許文献１には、安全に停車させたり、走行を継続させたりするために、ネットワークを介した通信によって車両の走行を操作する遠隔運転の技術が開示されている。
【0005】
本発明の目的は、車両周囲の画像をより確実に送信することが可能な車両操作システム、車両制御装置、車両操作方法及び車両操作プログラムを提供することにある。
【課題を解決するための手段】
【0006】
本発明の車両操作システムによれば、車両を制御する車両制御装置と、前記車両の周囲の画像情報を撮像する複数の撮像装置と、前記車両を操作する操作装置と、を備える車両操作システムであって、前記操作装置は、前記画像情報を表示可能な表示部と、前記撮像装置で撮像された前記画像情報を前記表示部で表示する位置及び大きさを定めたレイアウト情報を入力する入力部と、前記車両制御装置と情報を送受信する第２通信部と、を具備し、前記入力部によって入力された前記レイアウト情報を前記車両制御装置に送信する処理を実行し、前記車両制御装置は、前記操作装置と情報を送受信する第１通信部を具備し、前記第１通信部を介して前記操作装置から前記レイアウト情報を受信する処理と、前記車両の進行方向を取得する処理と、前記進行方向に応じて、前記撮像装置それぞれから取得した画像情報と、前記レイアウト情報とをもとに前記レイアウト情報に基づく画像情報を生成する処理と、を実行し、前記第１通信部は、前記レイアウト情報に基づく画像情報を前記操作装置に送信可能であって、前記操作装置の前記表示部は、前記第１通信部を具備する前記車両制御装置との通信路を介して前記車両制御装置から前記第２通信部で受信した、前記レイアウト情報に基づく画像情報を表示することとしている。
また、本発明の車両制御装置によれば、車両を制御する車両制御装置であって、前記車両制御装置は、車両の周囲の画像情報を撮像する複数の撮像装置と、前記車両を操作する操作装置と接続されており、前記車両制御装置は、前記操作装置と情報を送受信する第１通信部を具備し、前記第１通信部を介して前記操作装置から、前記撮像装置で撮像された前記画像情報を前記操作装置で表示する位置及び大きさを定めたレイアウト情報を受信する処理と、前記車両の進行方向を取得する処理と、前記進行方向に応じて、前記撮像装置それぞれから取得した画像情報と、前記レイアウト情報とをもとに前記レイアウト情報に基づく画像情報を生成する処理と、前記操作装置の表示部で表示される、前記レイアウト情報に基づく画像情報を、前記操作装置との通信路を介して送信する処理と、を実行することとしている。
また、本発明の車両制御装置によれば、車両を制御する車両制御装置であって、前記車両制御装置は、車両の周囲の画像情報を撮像する複数の撮像装置と、前記車両を操作する操作装置と接続されており、前記車両制御装置は、前記操作装置と情報を送受信する第１通信部を具備し、前記第１通信部を介して前記操作装置から、前記撮像装置で撮像された前記画像情報を前記操作装置で表示する位置及び大きさを定めたレイアウト情報を受信する処理と、前記車両の進行方向を取得する処理と、前記進行方向に応じて、前記撮像装置それぞれから取得した画像情報と、前記レイアウト情報とをもとに前記レイアウト情報に基づく画像情報を生成する処理と、前記操作装置の表示部で表示される、前記レイアウト情報に基づく画像情報を、前記操作装置との通信路を介して送信する処理と、を実行することとしている。
【0007】
また、本発明の車両操作方法によれば、車両を制御する第１コンピュータと、前記車両を操作する第２コンピュータとによって実行される車両操作方法であって、前記第２コンピュータは、複数の撮像装置で撮像された前記車両の周囲の画像情報を表示する位置及び大きさを定めたレイアウト情報の入力を受け付けることと、受け付けた前記レイアウト情報を前記第１コンピュータに送信することを実行し、前記第１コンピュータは、前記第２コンピュータから前記レイアウト情報を受信することと、前記車両の進行方向を取得することと、前記進行方向に応じて、前記撮像装置それぞれから取得した画像情報と、前記レイアウト情報とをもとに前記レイアウト情報に基づく画像情報を生成することと、前記レイアウト情報に基づく画像情報を前記第２コンピュータに送信することと、を実行し、前記第２コンピュータが、前記第１コンピュータとの通信路を介して前記第１コンピュータから受信した、前記レイアウト情報に基づく画像情報を表示することを実行している。
また、本発明の車両操作プログラムによれば、車両を制御する第１コンピュータに、複数の撮像装置で撮像された前記車両の周囲の画像情報を表示する位置及び大きさを定めたレイアウト情報の入力を受け付ける処理と、受け付けた前記レイアウト情報を前記第１コンピュータに送信する処理と、前記第１コンピュータから受信した、前記レイアウト情報に基づく画像情報を表示する処理とを実行する第２コンピュータから、前記レイアウト情報を受信する処理と、前記車両の進行方向を取得する処理と、前記進行方向に応じて、前記撮像装置それぞれから取得した画像情報と、前記レイアウト情報とをもとに前記レイアウト情報に基づく画像情報を生成する処理と、前記レイアウト情報に基づく画像情報を前記第２コンピュータに送信する処理と、を実行させている。
また、本発明の車両操作プログラムによれば、車両を操作する第２コンピュータに、複数の撮像装置で撮像された前記車両の周囲の画像情報を表示する位置及び大きさを定めたレイアウト情報の入力を受け付ける処理と、受け付けた前記レイアウト情報を、前記車両を制御する第１コンピュータに送信する処理と、前記第２コンピュータから前記レイアウト情報を受信する処理と、前記車両の進行方向を取得する処理と、前記進行方向に応じて、前記撮像装置それぞれから取得した画像情報と、前記レイアウト情報とをもとに前記レイアウト情報に基づく画像情報を生成する処理と、前記レイアウト情報に基づく画像情報を前記第２コンピュータに送信する処理とを実行する前記第１コンピュータから、前記レイアウト情報に基づく画像情報を受信する処理と、前記第１コンピュータから受信した、前記レイアウト情報に基づく画像情報を表示する処理と、を実行させている。
また、本発明の車両操作プログラムによれば、車両を制御する第１コンピュータに、複数の撮像装置で撮像された前記車両の周囲の画像情報を表示する位置及び大きさを定めたレイアウト情報の入力を受け付ける処理と、受け付けた前記レイアウト情報を前記第１コンピュータに送信する処理と、前記第１コンピュータから受信した、前記レイアウト情報に基づく画像情報を表示する処理とを実行する第２コンピュータから、前記レイアウト情報を受信する処理と、前記車両の進行方向を取得する処理と、前記進行方向に応じて、前記撮像装置それぞれから取得した画像情報と、前記レイアウト情報とをもとに前記レイアウト情報に基づく画像情報を生成する処理と、前記レイアウト情報に基づく画像情報を前記第２コンピュータに送信する処理と、を実行させている。
また、本発明の車両操作プログラムによれば、車両を操作する第２コンピュータに、複数の撮像装置で撮像された前記車両の周囲の画像情報を表示する位置及び大きさを定めたレイアウト情報の入力を受け付ける処理と、受け付けた前記レイアウト情報を、前記車両を制御する第１コンピュータに送信する処理と、前記第２コンピュータから前記レイアウト情報を受信する処理と、前記車両の進行方向を取得する処理と、前記進行方向に応じて、前記撮像装置それぞれから取得した画像情報と、前記レイアウト情報とをもとに前記レイアウト情報に基づく画像情報を生成する処理と、前記レイアウト情報に基づく画像情報を前記第２コンピュータに送信する処理とを実行する前記第１コンピュータから、前記レイアウト情報に基づく画像情報を受信する処理と、前記第１コンピュータから受信した、前記レイアウト情報に基づく画像情報を表示する処理と、を実行させている。
【発明の効果】
【0008】
本発明の車両操作システム、車両制御装置、車両操作方法及び車両操作プログラムによれば、車両周囲の映像をより確実に送信することが可能となる。
【図面の簡単な説明】
【0009】
【図1】本実施形態の車両遠隔操作システム全体を示す構成図である。
【図2】車両遠隔操作システム（操作装置を除く）のハードウェア構成を示す図である。
【図3】操作装置のハードウェア構成を示す図である。
【図4】車両制御装置及び操作装置の機能を示す図である。
【図5A】操作装置の表示モニタで表示する合成画像を示す説明図であり、複数の撮像装置により取得された画像情報を配置する位置や大きさの例を示す図である。
【図5B】合成画像の別例を示す説明図である。
【図5C】バック走行時に操作装置の表示モニタで表示する合成画像の一例を示す説明図である。
【図6】合成画像を表示する流れを示すシーケンス図である。
【図7】通信状態により送信する合成画像の解像度を選択する工程を示すフロー図である。
【発明を実施するための形態】
【0010】
以下、本発明に係る実施形態について図１～図７を参照して説明する。
本実施形態の車両遠隔操作システムＳは、図１に示すように、走行する車両Ｖの外部環境を把握し、運転者に代わって車両Ｖの走行経路を計画し、当該走行経路に基づいて車両Ｖを制御することで走行させる「自動運転」と、車両Ｖの外部にいるオペレータＨが車両Ｖを遠隔操作（外部操作）することで走行させる「遠隔運転」とを実現するシステムである。また、車両遠隔操作システムＳは、自動運転モードと遠隔運転モードの間で切り替える「モード切替処理」を行うことが可能となっている。このほか、車両Ｖに乗車して運転操作を行う手動運転モード（詳細については後述）があり、上記モード切替処理では、この手動運転モードと自動運転モードを切り替えるほか、手動運転モードと遠隔運転モードを切り替えることも可能である。
なお、オペレータＨはヒトでなくてもよく、例えばＡＩ（人工知能）であってもよい。
本実施形態の車両遠隔操作システムＳは、図１に示すように、走行する車両Ｖの外部環境を把握し、運転者に代わって車両Ｖの走行経路を計画し、当該走行経路に基づいて車両Ｖを制御することで走行させる「自動運転」と、車両Ｖの外部にいるオペレータＨが車両Ｖを遠隔操作（外部操作）することで走行させる「遠隔運転」とを実現するシステムである。また、車両遠隔操作システムＳは、自動運転モードと遠隔運転モードの間で切り替える「モード切替処理」を行うことが可能となっている。このほか、車両Ｖに乗車して運転操作を行う手動運転モード（詳細については後述）があり、上記モード切替処理では、この手動運転モードと自動運転モードを切り替えるほか、手動運転モードと遠隔運転モードを切り替えることも可能である。
なお、オペレータＨはヒトでなくてもよく、例えばＡＩ（人工知能）であってもよい。
【0011】
＜＜車両遠隔操作システムＳのハードウェア構成＞＞
車両遠隔操作システムＳは、図１に示すように、主に車両Ｖの車両制御装置１と、操作装置５０と、から構成される。車両制御装置１は、車両Ｖに搭載され車両Ｖの走行を総合的に制御する装置である。操作装置５０は、車両制御装置１とネットワークＮ（デジタル通信路）を介して接続されネットワークＮを介した通信によって車両Ｖを操作する装置である。もちろん、車両制御装置１と操作装置５０とが直接通信を行うこととしてもよい。
車両遠隔操作システムＳは、図１に示すように、主に車両Ｖの車両制御装置１と、操作装置５０と、から構成される。車両制御装置１は、車両Ｖに搭載され車両Ｖの走行を総合的に制御する装置である。操作装置５０は、車両制御装置１とネットワークＮ（デジタル通信路）を介して接続されネットワークＮを介した通信によって車両Ｖを操作する装置である。もちろん、車両制御装置１と操作装置５０とが直接通信を行うこととしてもよい。
【0012】
車両Ｖは、車載センサ１０と、車載ロケータ２０と、車載ＥＣＵ３０と、車載通信装置４０とを備える。車載センサ１０は、車両Ｖの周囲の外部環境を検出する装置である。車載ロケータ２０は、人工衛星ＳＡ及び基準局ＳＴからＧＮＳＳ信号を受信し、車両Ｖの現在位置を測定する装置である。車載ＥＣＵ３０は、車両Ｖの操舵及び加減速等を制御する装置である。車載通信装置４０は、車両Ｖの外部に設置された操作装置５０又は外部機器と通信する装置である。
図２に示すように、車両Ｖに搭載された車両制御装置１、車載センサ１０、車載ロケータ２０、車載ＥＣＵ３０及び車載通信装置４０は、車載ネットワーク（ＣＡＮ:Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して接続されている。
なお、より詳細に述べると、車載ロケータ２０、車載通信装置４０、車載センサ１０の撮像装置１１及びライダ１３は、ＲＳ２３２Ｃコネクタ、ＵＳＢ(ユニバーサルシリアルバス)コネクタ等の通信インタフェースを用いて、車両制御装置１にシリアル通信可能に接続されている。
図２に示すように、車両Ｖに搭載された車両制御装置１、車載センサ１０、車載ロケータ２０、車載ＥＣＵ３０及び車載通信装置４０は、車載ネットワーク（ＣＡＮ:Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して接続されている。
なお、より詳細に述べると、車載ロケータ２０、車載通信装置４０、車載センサ１０の撮像装置１１及びライダ１３は、ＲＳ２３２Ｃコネクタ、ＵＳＢ(ユニバーサルシリアルバス)コネクタ等の通信インタフェースを用いて、車両制御装置１にシリアル通信可能に接続されている。
【0013】
車両制御装置１は、データの演算・制御処理装置としてのＣＰＵと、記憶装置としてのＲＯＭ、ＲＡＭ及びＨＤＤ（ＳＳＤ）と、ＣＡＮ等を介して情報データの送受信を行う通信インタフェースと、を備えたコンピュータ（第１コンピュータ）である。
車両制御装置１の記憶装置には、コンピュータとして必要な機能を果たすメインプログラムに加えて、車両制御プログラムや車両遠隔操作プログラムが記憶されている。これらプログラムがＣＰＵによって実行されることにより、車両制御装置１の機能が発揮される。
車両制御装置１の記憶装置には、コンピュータとして必要な機能を果たすメインプログラムに加えて、車両制御プログラムや車両遠隔操作プログラムが記憶されている。これらプログラムがＣＰＵによって実行されることにより、車両制御装置１の機能が発揮される。
【0014】
車両制御装置１は「自動運転」を実行すべく、車載センサ１０から得られる外部環境の情報と、車載ロケータ２０から得られる現在位置の情報とに基づいて車載ＥＣＵ３０（より詳細には総合ＥＣＵ３１）を制御することで、車両Ｖの走行を制御する。
また、車両制御装置１は「遠隔運転」を実行すべく、車載通信装置４０を通じて操作装置５０と、無線通信回線等を含むネットワークＮ（デジタル通信路）を介して接続され、外部環境の情報と、現在位置の情報とを操作装置５０に向けて送信する。
言い換えれば、車両制御装置１は「自動運転機能（車載センサ１０、車載ロケータ２０、車載ＥＣＵ３０）」を予め搭載した車両Ｖに新たに搭載されることで、既存の「自動運転機能」の性能を高め、また、搭載した車両Ｖに新たに「遠隔運転機能」を付与するものである。
なお、詳細については後述するが、操作装置５０は、車両制御装置１から遠隔運転機能に必要な外部環境の情報及び現在位置の情報等を受信して外部環境の情報を表示モニタ５１に表示するほか、操作装置５０のオペレータＨに向けて情報の報知等を行うことができる。
また、車両制御装置１は「遠隔運転」を実行すべく、車載通信装置４０を通じて操作装置５０と、無線通信回線等を含むネットワークＮ（デジタル通信路）を介して接続され、外部環境の情報と、現在位置の情報とを操作装置５０に向けて送信する。
言い換えれば、車両制御装置１は「自動運転機能（車載センサ１０、車載ロケータ２０、車載ＥＣＵ３０）」を予め搭載した車両Ｖに新たに搭載されることで、既存の「自動運転機能」の性能を高め、また、搭載した車両Ｖに新たに「遠隔運転機能」を付与するものである。
なお、詳細については後述するが、操作装置５０は、車両制御装置１から遠隔運転機能に必要な外部環境の情報及び現在位置の情報等を受信して外部環境の情報を表示モニタ５１に表示するほか、操作装置５０のオペレータＨに向けて情報の報知等を行うことができる。
【0015】
「自動運転機能」を実現する車載センサ１０、車載ロケータ２０、車載ＥＣＵ３０について説明する。
【0016】
＜車載センサ１０＞
車載センサ１０は、車両Ｖの周囲の外部環境として車両Ｖ周辺の移動物体（他の車両や歩行者等）、各種の構造物、道路形状等（以下、対象物体と呼ぶ場合がある）を検出する装置である。具体的には、図２に示すように、車体に設置された、複数の撮像装置１１、複数のレーダ１２及び複数のライダ１３から構成されている。なお、車載センサ１０は、撮像装置１１、レーダ１２、ライダ１３以外のセンサをさらに有してもよい。
車載センサ１０は、車両Ｖの周囲の外部環境として車両Ｖ周辺の移動物体（他の車両や歩行者等）、各種の構造物、道路形状等（以下、対象物体と呼ぶ場合がある）を検出する装置である。具体的には、図２に示すように、車体に設置された、複数の撮像装置１１、複数のレーダ１２及び複数のライダ１３から構成されている。なお、車載センサ１０は、撮像装置１１、レーダ１２、ライダ１３以外のセンサをさらに有してもよい。
【0017】
撮像装置１１は、車両Ｖの周囲を撮像し画像情報として取得する撮影カメラ（広角カメラ）であり、例えば、ＣＣＤ又はＣＭＯＳ等の固体撮像素子を利用した小型のデジタルカメラである。撮像装置１１は、車両Ｖの走行制御向けの「センシング機能」と、運転者（オペレータＨ）向けの「モニタリング機能」を実行すべく、外部映像データを作成し、外部映像データ（以下、画像情報）を、ＵＳＢケーブルで接続された車両制御装置１にシリアル通信で送信する。
【0018】
撮像装置１１は、図２に示すように、所定位置に取り付けられた９台の撮像装置（第１撮像装置１１ａ～第９撮像装置１１ｉ、以下、これらを総称して撮像装置１１と呼ぶ場合がある）により構成されている。
本実施形態の場合、第１撮像装置１１ａ、第２撮像装置１１ｂ及び第３撮像装置１１ｃが、車両Ｖの前方、右斜め前方、左斜め前方を撮像しており、それらは車両Ｖのルーフ前部でフロントウインドウ（フロントガラス）の車室内側に取り付けられている。
第４撮像装置１１ｄが、車両Ｖの後方を撮像しており、車両Ｖのリアバンパー（バックバンパ―）の中央に取り付けられている。第５撮像装置１１ｅ、第６撮像装置１１ｆが、車両Ｖの左右にあるサイドミラーに取り付けられ、車両Ｖの右斜め後方と左斜め後方とを撮像する。第１撮像装置１１ａ～第６撮像装置１１ｆは、車両Ｖの周囲において主となる部分を撮像するメインカメラである。
本実施形態の場合、第１撮像装置１１ａ、第２撮像装置１１ｂ及び第３撮像装置１１ｃが、車両Ｖの前方、右斜め前方、左斜め前方を撮像しており、それらは車両Ｖのルーフ前部でフロントウインドウ（フロントガラス）の車室内側に取り付けられている。
第４撮像装置１１ｄが、車両Ｖの後方を撮像しており、車両Ｖのリアバンパー（バックバンパ―）の中央に取り付けられている。第５撮像装置１１ｅ、第６撮像装置１１ｆが、車両Ｖの左右にあるサイドミラーに取り付けられ、車両Ｖの右斜め後方と左斜め後方とを撮像する。第１撮像装置１１ａ～第６撮像装置１１ｆは、車両Ｖの周囲において主となる部分を撮像するメインカメラである。
【0019】
また、撮像装置１１は、サブカメラとして、第７撮像装置１１ｇ、第８撮像装置１１ｈ及び第９撮像装置１１ｉを有する。第７撮像装置１１ｇは、車両Ｖのフロントバンパーに取り付けられ、車両Ｖの前方を撮像する。また、第８撮像装置１１ｈ及び第９撮像装置１１ｉは、車両Ｖの左右のバックライトの周辺に取り付けられ、車両Ｖの右斜め後方及び左斜め後方を撮像する。サブカメラである第７撮像装置１１ｇ、第８撮像装置１１ｈ及び第９撮像装置１１ｉは、メインカメラの第１撮像装置１１ａ～第６撮像装置１１ｆでは撮像することができない死角となる部分を撮像する。
なお、サブカメラの別例として、第７撮像装置１１ｇが、車両Ｖのバックガラス（リアガラス）の上部に取り付けられ、その位置から車両Ｖの後方を撮像してもよい。また、第８撮像装置１１ｈが車両Ｖの右側のＡピラー～Ｃピラーに取り付けられ、第９撮像装置１１ｉが左側のＡピラー～Ｃピラーに取り付けられてもよい。
なお、サブカメラの別例として、第７撮像装置１１ｇが、車両Ｖのバックガラス（リアガラス）の上部に取り付けられ、その位置から車両Ｖの後方を撮像してもよい。また、第８撮像装置１１ｈが車両Ｖの右側のＡピラー～Ｃピラーに取り付けられ、第９撮像装置１１ｉが左側のＡピラー～Ｃピラーに取り付けられてもよい。
【0020】
上述のように、第１撮像装置１１ａ～第９撮像装置１１ｉは、シリアル通信により車両制御装置１と接続されており、撮像した画像情報を車両制御装置１に送信するように構成されている。なお、本実施形態の車両Ｖに取り付けられた撮像装置１１の個数及び位置は一例であり、個数及び位置については車両Ｖの形状又は用途によって変更可能である。
なお、車両制御装置１は、撮像装置１１が撮像した画像情報を解析することにより、車両Ｖの周囲にある対象物体の輪郭を抽出したり、道路上の車線の区画線（白線等）を抽出したりしてもよい。
なお、車両制御装置１は、撮像装置１１が撮像した画像情報を解析することにより、車両Ｖの周囲にある対象物体の輪郭を抽出したり、道路上の車線の区画線（白線等）を抽出したりしてもよい。
【0021】
レーダ１２は、照射方向を連続的に変化させながら電波を発信し、対象物体からの反射波を受信することで対象物体を検出し、対象物体の位置と速度を測定することにより、３次元の空間イメージングを行うセンサである。本実施形態の車両Ｖには、電波として３０～３００ＧＨｚ帯のミリ波を用いたミリ波レーダが用いられている。レーダ１２は、ミリ波を用いることにより、撮像装置１１及びライダ１３と比較して、視界が悪い夜間や悪天候のような環境状況であっても対象物体を精度良く検出することができる。
【0022】
レーダ１２は、上記対象物体の検出結果データ（検出信号）を取得し、ＣＡＮを介して車両制御装置１に検出結果データを送信する。レーダ１２と車両制御装置１とをＵＳＢケーブルで接続し、レーダ１２は、シリアル通信により検出結果データを車両制御装置１に送信してもよい。
レーダ１２は、図２に示すように、車両Ｖの所定位置に取り付けられた４台のレーダ１２（第１レーダ１２ａ～第４レーダ１２ｄ）により構成されている。
第１レーダ１２ａ及び第２レーダ１２ｂは、車両Ｖの左右のフロントライトの周辺に取り付けられ、第３レーダ１２ｃ及び第４レーダ１２ｄは、車両Ｖの左右のバックライトの周辺に取り付けられている。
なお、レーダ１２は、ミリ波レーダに特に限定されることなく、レーザレーダ、超音波センサ等のレーダであってもよい。
レーダ１２は、図２に示すように、車両Ｖの所定位置に取り付けられた４台のレーダ１２（第１レーダ１２ａ～第４レーダ１２ｄ）により構成されている。
第１レーダ１２ａ及び第２レーダ１２ｂは、車両Ｖの左右のフロントライトの周辺に取り付けられ、第３レーダ１２ｃ及び第４レーダ１２ｄは、車両Ｖの左右のバックライトの周辺に取り付けられている。
なお、レーダ１２は、ミリ波レーダに特に限定されることなく、レーザレーダ、超音波センサ等のレーダであってもよい。
【0023】
ライダ１３は、レーザー光を照射し、対象物体からの反射光を受光することで対象物体までの距離を測定し、３次元の空間イメージングを行うリモートセンサである。撮像装置１１やレーダ１２と比較して、周囲の対象物体との距離を数センチ単位で測定することができる。
ライダ１３は、上記対象物体との距離を測定した距離測定データを取得する。ライダ１３は、ＵＳＢケーブルにより車両制御装置１と接続されており、距離測定データをシリアル通信で車両制御装置１に送信する。なお、ライダ１３は、ＣＡＮにより車両制御装置１と接続している場合、ＣＡＮを介して車両制御装置１に距離測定データを送信してもよい。
ライダ１３は、図２に示すように、車両Ｖの所定位置に取り付けられた５台のライダ１３（第１ライダ１３ａ～第５ライダ１３ｅ）により構成されている。
第１ライダ１３ａ、第２ライダ１３ｂは、車両Ｖの左右のフロントライトの周辺に取り付けられている。第３ライダ１３ｃは、車両Ｖのバックバンパ―に取り付けられている。第４ライダ１３ｄ、第５ライダ１３ｅは、車両Ｖの左右のテールライトの周辺に取り付けられている。第４ライダ１３ｄ、第５ライダ１３ｅは、車両Ｖのバックライトの周辺に取り付けられてもよい。
ライダ１３は、上記対象物体との距離を測定した距離測定データを取得する。ライダ１３は、ＵＳＢケーブルにより車両制御装置１と接続されており、距離測定データをシリアル通信で車両制御装置１に送信する。なお、ライダ１３は、ＣＡＮにより車両制御装置１と接続している場合、ＣＡＮを介して車両制御装置１に距離測定データを送信してもよい。
ライダ１３は、図２に示すように、車両Ｖの所定位置に取り付けられた５台のライダ１３（第１ライダ１３ａ～第５ライダ１３ｅ）により構成されている。
第１ライダ１３ａ、第２ライダ１３ｂは、車両Ｖの左右のフロントライトの周辺に取り付けられている。第３ライダ１３ｃは、車両Ｖのバックバンパ―に取り付けられている。第４ライダ１３ｄ、第５ライダ１３ｅは、車両Ｖの左右のテールライトの周辺に取り付けられている。第４ライダ１３ｄ、第５ライダ１３ｅは、車両Ｖのバックライトの周辺に取り付けられてもよい。
【0024】
なお、撮像装置１１と同様、レーダ１２及びライダ１３の個数及び取り付け位置は一例であり、取り付ける個数及び位置については変更可能である。
【0025】
＜車載ロケータ２０＞
車載ロケータ２０は、人工衛星ＳＡ及び基準局ＳＴを用いた衛生測位システムを利用して車両Ｖの現在位置を測定し、また現在位置の測定精度を高めるべく、車両Ｖの加速度及び角速度を測定するものである。
車載ロケータ２０は、具体的には、複数の人工衛星ＳＡからＧＮＳＳ電波（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ／全球測位衛星システム、ＧＰＳ電波）を受信するＧＮＳＳ受信機２１と、車両Ｖの加速度及び角速度を測定する慣性計測装置２２とから構成されている。
車載ロケータ２０は、人工衛星ＳＡ及び基準局ＳＴを用いた衛生測位システムを利用して車両Ｖの現在位置を測定し、また現在位置の測定精度を高めるべく、車両Ｖの加速度及び角速度を測定するものである。
車載ロケータ２０は、具体的には、複数の人工衛星ＳＡからＧＮＳＳ電波（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ／全球測位衛星システム、ＧＰＳ電波）を受信するＧＮＳＳ受信機２１と、車両Ｖの加速度及び角速度を測定する慣性計測装置２２とから構成されている。
【0026】
ＧＮＳＳ受信機２１は、具体的には、ＲＴＫ－ＧＮＳＳ受信機であって、図１に示すように複数（具体的には４個）の人工衛星ＳＡからＧＮＳＳ電波を受信し、単独測位に必要な「ＧＮＳＳ情報」を生成する。また、外部の基準局ＳＴから相対測位に必要な「ＧＮＳＳ補正情報」を受信する。
なお、基準局ＳＴは、既知点に設定された固定基準局であって、複数の人工衛星ＳＡからＧＮＳＳ電波を受信し、「ＧＮＳＳ補正情報」を生成して車載ロケータ２０のＧＮＳＳ受信機２１に向けて送信する。
「ＧＮＳＳ情報」とは、複数の人工衛星ＳＡとＧＮＳＳ受信機２１との距離情報であり、「ＧＮＳＳ補正情報」とは、既知点に位置する基準局ＳＴがＧＮＳＳ電波を受信し、基準局ＳＴとＧＮＳＳ受信機２１が通信することで、「ＧＮＳＳ情報」の計測誤差を補正した距離情報である。
なお、基準局ＳＴは、既知点に設定された固定基準局であって、複数の人工衛星ＳＡからＧＮＳＳ電波を受信し、「ＧＮＳＳ補正情報」を生成して車載ロケータ２０のＧＮＳＳ受信機２１に向けて送信する。
「ＧＮＳＳ情報」とは、複数の人工衛星ＳＡとＧＮＳＳ受信機２１との距離情報であり、「ＧＮＳＳ補正情報」とは、既知点に位置する基準局ＳＴがＧＮＳＳ電波を受信し、基準局ＳＴとＧＮＳＳ受信機２１が通信することで、「ＧＮＳＳ情報」の計測誤差を補正した距離情報である。
【0027】
慣性計測装置２２は、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）とも呼ばれ、３軸のジャイロセンサ（角速度計）と、３軸の加速度センサ（加速度計）とを備える。慣性計測装置２２は、車両Ｖの３次元の角速度及び加速度を測定し、車両制御装置１に車両Ｖの加速度及び角速度の情報を送信する。
車両制御装置１は、ＧＮＳＳ受信機２１から受信したＧＮＳＳ情報（ＧＮＳＳ補正情報）と、慣性計測装置２２から受信した車両Ｖの角速度及び加速度の情報とを組み合わせて測位することで、より小さい誤差範囲で車両Ｖの現在位置を測定することができる。
車両制御装置１は、ＧＮＳＳ受信機２１から受信したＧＮＳＳ情報（ＧＮＳＳ補正情報）と、慣性計測装置２２から受信した車両Ｖの角速度及び加速度の情報とを組み合わせて測位することで、より小さい誤差範囲で車両Ｖの現在位置を測定することができる。
【0028】
＜車載ＥＣＵ３０＞
車載ＥＣＵ３０は、例えば、ＡＤＡＳ用ＥＣＵであり、車両制御装置１と接続され、各種データの送受信を行う上位階層の総合ＥＣＵ３１を備える。また、車載ＥＣＵ３０は、車両Ｖの操舵及び加減速等を細分化して制御する下位階層としてのハンドルＥＣＵ３２と、アクセルＥＣＵ３３と、ブレーキＥＣＵ３４とを備える。ハンドルＥＣＵ３２と、アクセルＥＣＵ３３と、ブレーキＥＣＵ３４のそれぞれは、上位階層の総合ＥＣＵ３１に接続される。図２に示すように、総合ＥＣＵ３１と、ハンドルＥＣＵ３２、アクセルＥＣＵ３３及びブレーキＥＣＵ３４とにより階層構造が形成されている。
なお、ハンドルＥＣＵ３２は、ドライビングサポートコンピュータとも呼ばれ、アクセルＥＣＵ３３及びブレーキＥＣＵ３４は、パワーマネジメントコントロールユニットとも呼ばれている。
車載ＥＣＵ３０は、例えば、ＡＤＡＳ用ＥＣＵであり、車両制御装置１と接続され、各種データの送受信を行う上位階層の総合ＥＣＵ３１を備える。また、車載ＥＣＵ３０は、車両Ｖの操舵及び加減速等を細分化して制御する下位階層としてのハンドルＥＣＵ３２と、アクセルＥＣＵ３３と、ブレーキＥＣＵ３４とを備える。ハンドルＥＣＵ３２と、アクセルＥＣＵ３３と、ブレーキＥＣＵ３４のそれぞれは、上位階層の総合ＥＣＵ３１に接続される。図２に示すように、総合ＥＣＵ３１と、ハンドルＥＣＵ３２、アクセルＥＣＵ３３及びブレーキＥＣＵ３４とにより階層構造が形成されている。
なお、ハンドルＥＣＵ３２は、ドライビングサポートコンピュータとも呼ばれ、アクセルＥＣＵ３３及びブレーキＥＣＵ３４は、パワーマネジメントコントロールユニットとも呼ばれている。
【0029】
総合ＥＣＵ３１は、車両制御装置１と接続し、車両制御装置１と各種データの送受信を行う。総合ＥＣＵ３１は、ドライビングサポートコンピュータとも呼ばれ、ハンドルＥＣＵ３２、アクセルＥＣＵ３３及びブレーキＥＣＵ３４を総合的に制御する機能を果たす。また、パワーマネジメント（各種コンピュータの電力管理）の機能を果たす。
【0030】
ハンドルＥＣＵ３２、アクセルＥＣＵ３３及びブレーキＥＣＵ３４は、車両Ｖの操舵及び加減速等を細分化して制御するコンピュータである。
【0031】
ハンドルＥＣＵ３２は、総合ＥＣＵ３１からの指示に従って車両Ｖの電動パワーステアリングＶ１を動作させることにより、車両Ｖの進行方向を制御する装置である。
電動パワーステアリングＶ１は、車両Ｖの前輪を操舵する操舵機構を備えている。電動パワーステアリングＶ１は、手動運転の場合、運転者によるハンドルＶ１ａの操舵操作に従って車両Ｖの前輪を操舵する。
電動パワーステアリングＶ１は、車両Ｖの前輪を操舵する操舵機構を備えている。電動パワーステアリングＶ１は、手動運転の場合、運転者によるハンドルＶ１ａの操舵操作に従って車両Ｖの前輪を操舵する。
【0032】
アクセルＥＣＵ３３は、総合ＥＣＵ３１からの指示に従って車両Ｖの電動スロットルＶ２を動作させることにより、主に車両Ｖの加減速を制御する装置である。
電動スロットルＶ２は、車両Ｖの駆動車輪を回転させる駆動力を出力する駆動機構を備えている。電動スロットルＶ２は、手動運転の場合、運転者によるアクセルペダルＶ２ａのアクセル操作に従ってエンジンの出力を調整する。
電動スロットルＶ２は、車両Ｖの駆動車輪を回転させる駆動力を出力する駆動機構を備えている。電動スロットルＶ２は、手動運転の場合、運転者によるアクセルペダルＶ２ａのアクセル操作に従ってエンジンの出力を調整する。
【0033】
ブレーキＥＣＵ３４は、総合ＥＣＵ３１からの指示に従って車両Ｖの電磁ブレーキ装置Ｖ３を動作させることにより、車両Ｖの減速及び停止を制御する装置である。
電磁ブレーキ装置Ｖ３は、車両Ｖの各車輪に取り付けられ、車輪の回転に抵抗を加えることで車両Ｖを減速又は停止させる機構を備えている。電磁ブレーキ装置Ｖ３は、手動運転の場合、運転者によるブレーキペダルＶ３ａのブレーキ操作に従って電磁ブレーキ装置Ｖ３の作動を調整する。
電磁ブレーキ装置Ｖ３は、車両Ｖの各車輪に取り付けられ、車輪の回転に抵抗を加えることで車両Ｖを減速又は停止させる機構を備えている。電磁ブレーキ装置Ｖ３は、手動運転の場合、運転者によるブレーキペダルＶ３ａのブレーキ操作に従って電磁ブレーキ装置Ｖ３の作動を調整する。
【0034】
なお、総合ＥＣＵ３１と接続される個々のＥＣＵの数や機能については、ハンドルＥＣＵ３２、アクセルＥＣＵ３３及びブレーキＥＣＵ３４に特に限定されることなく、これらのＥＣＵと同階層でその他のＥＣＵをさらに備えていてもよい。
【0035】
＜車載通信装置４０＞
「自動運転機能」を実現する車載通信装置４０及び操作装置５０について説明する。
車載通信装置４０は、車両Ｖの外部に設置された操作装置５０及び不図示の外部サーバとネットワークＮを通じて情報通信する装置である。例えば「遠隔運転」に必要な情報として車両制御装置１の撮像装置１１によって撮像された画像情報（合成画像）及び位置情報を操作装置５０に送信したり、操作装置５０から車両Ｖの運転操作情報を受信したりする。
また、車載通信装置４０は、不図示の外部サーバと情報通信を行い、例えば、最新の交通情報及び天候情報等を受信することもできる。
車載通信装置４０は、３台の無線通信可能な通信装置４１（第１通信装置４１ａ～第３通信装置４１ｃ、以下、まとめて通信装置４１と称する場合がある）から構成されていて、３台の通信装置４１それぞれが無線基地局ＲＢ（基地局）と通信することが可能になっている。
「自動運転機能」を実現する車載通信装置４０及び操作装置５０について説明する。
車載通信装置４０は、車両Ｖの外部に設置された操作装置５０及び不図示の外部サーバとネットワークＮを通じて情報通信する装置である。例えば「遠隔運転」に必要な情報として車両制御装置１の撮像装置１１によって撮像された画像情報（合成画像）及び位置情報を操作装置５０に送信したり、操作装置５０から車両Ｖの運転操作情報を受信したりする。
また、車載通信装置４０は、不図示の外部サーバと情報通信を行い、例えば、最新の交通情報及び天候情報等を受信することもできる。
車載通信装置４０は、３台の無線通信可能な通信装置４１（第１通信装置４１ａ～第３通信装置４１ｃ、以下、まとめて通信装置４１と称する場合がある）から構成されていて、３台の通信装置４１それぞれが無線基地局ＲＢ（基地局）と通信することが可能になっている。
【0036】
第１通信装置４１ａ～第３通信装置４１ｃは、それぞれが別の無線基地局ＲＢに接続しても、同じ無線基地局ＲＢに接続してもよい。車両Ｖの移動に伴い、接続中の無線基地局ＲＢとの距離が変化するため、通信状態も変化する。電波強度が所定の閾値よりも小さくなり画像情報を送信する帯域を確保することができなくなった場合、第１通信装置４１ａ～第３通信装置４１ｃは、別の無線基地局ＲＢを探索して接続することを試みる。接続可能な別の無線基地局ＲＢが見つかった場合、接続を切り替える。
複数台の通信装置を用いて無線基地局ＲＢと接続することから、いずれか一つの通信装置が無線基地局ＲＢと接続が切れた場合であっても他の通信装置が無線基地局ＲＢと接続しているため、１台の通信装置のみで接続している場合と比較して、接続が切断され難くなっている。
なお、本実施形態では３台の通信装置４１（第１通信装置４１ａ～第３通信装置４１ｃ）を用いて無線基地局ＲＢと接続しているが、通信装置４１の数は３台に限定されず、２台でも４台以上であってもよい。すなわち、通信装置４１により接続する無線通信回線の回線数は３回線に限定されず、２回線でも４回線以上であってもよい。また、通信環境がよい場合は１回線で通信してもよい。
また、詳細は後述するが、車載通信装置４０は、通信状況が低下し「合成画像」を送信するための帯域を確保できなくなった場合、送信する「合成画像」の画質を下げる、すなわち送信前の「合成画像」よりも低解像の「合成画像」を生成することでデータ量を削減し送信する。
複数台の通信装置を用いて無線基地局ＲＢと接続することから、いずれか一つの通信装置が無線基地局ＲＢと接続が切れた場合であっても他の通信装置が無線基地局ＲＢと接続しているため、１台の通信装置のみで接続している場合と比較して、接続が切断され難くなっている。
なお、本実施形態では３台の通信装置４１（第１通信装置４１ａ～第３通信装置４１ｃ）を用いて無線基地局ＲＢと接続しているが、通信装置４１の数は３台に限定されず、２台でも４台以上であってもよい。すなわち、通信装置４１により接続する無線通信回線の回線数は３回線に限定されず、２回線でも４回線以上であってもよい。また、通信環境がよい場合は１回線で通信してもよい。
また、詳細は後述するが、車載通信装置４０は、通信状況が低下し「合成画像」を送信するための帯域を確保できなくなった場合、送信する「合成画像」の画質を下げる、すなわち送信前の「合成画像」よりも低解像の「合成画像」を生成することでデータ量を削減し送信する。
【0037】
また、第１通信装置４１ａ～第３通信装置４１ｃは、第４世代移動通信システム（４Ｇ）の遠距離通信回線と第３世代移動通信システム（３Ｇ）の遠距離通信回線とを切り替えて無線基地局ＲＢと接続することができる。３Ｇの通信回線（第２通信回線）は、４Ｇの通信回線（第１通信回線）と比較して広い範囲で受信可能であるものの、４Ｇの通信回線のほうが、通信速度が高速であるか通信品質が優秀である。そのため、通信装置４１は、４Ｇの通信回線に優先的に接続し、遅延が少ない環境下で通信を行うよう構成されている。通信装置４１は、無線基地局ＲＢと４Ｇの通信回線で接続できなかった場合に３Ｇの通信回線を用いて接続する。なお、通信装置４１は、４Ｇ回線よりさらに高速で通信品質が高い第５世代移動通信システム（５Ｇ）の通信回線と接続可能な場合、５Ｇの通信回線により通信してもよい。
【0038】
また、車載通信装置４０は、複数の通信事業者の無線通信回線（遠距離通信回線）を介してネットワークＮに接続可能に構成されてもよい。車載通信装置４０は、全ての通信機器において、通信中の無線通信回線の電波強度が予め定められた閾値α未満となった場合、他の通信事業者の無線通信回線との電波強度を測定し、測定した電波強度が閾値α以上である場合、接続する無線通信回線を切り替える。複数の通信事業者が検出された場合は、最も高い電波強度の通信事業者と接続するのが望ましいが、最も早く検出した通信事業者の無線通信回線と接続するようにしてもよい。
【0039】
＜＜操作装置５０のハードウェア構成＞＞
操作装置５０は、遠隔運転機能を有する車両Ｖに対して遠隔運転サービスを提供するための装置であり、図１に示すように遠隔操作される車両Ｖとは別の場所に位置している。
操作装置５０は、車両Ｖの車両制御装置１とネットワークＮを介して接続され、ネットワークＮを介した通信によって車両Ｖを操作する。
操作装置５０は、遠隔運転機能を有する車両Ｖに対して遠隔運転サービスを提供するための装置であり、図１に示すように遠隔操作される車両Ｖとは別の場所に位置している。
操作装置５０は、車両Ｖの車両制御装置１とネットワークＮを介して接続され、ネットワークＮを介した通信によって車両Ｖを操作する。
【0040】
操作装置５０は、図３に示すようにデータ演算・制御処理装置としてＣＰＵと、記憶装置としてのＲＯＭ、ＲＡＭ、及びＨＤＤ（又はＳＳＤ）と、インターネット又はイントラネット等のネットワークＮを介して通信を行う通信インタフェースと、を備えたコンピュータ（第２コンピュータ）である。
操作装置５０の記憶装置には、コンピュータとして必要な機能を果たすメインプログラムに加えて、車両遠隔操作プログラム及び画像情報表示プログラム等が記憶されている。これらプログラムがＣＰＵによって実行されることにより、操作装置５０の機能が発揮される。
操作装置５０の記憶装置には、コンピュータとして必要な機能を果たすメインプログラムに加えて、車両遠隔操作プログラム及び画像情報表示プログラム等が記憶されている。これらプログラムがＣＰＵによって実行されることにより、操作装置５０の機能が発揮される。
【0041】
操作装置５０は通信インタフェースを介して通信装置６０と接続している。通信装置６０は、車両Ｖの車両制御装置１及び不図示の外部サーバとネットワークＮを通じて情報通信する装置である。通信装置６０は、車両制御装置１から送信される「遠隔運転」に必要な情報、例えば、車両Ｖの進行方向、速度、車両周辺の画像情報及び車両Ｖの位置情報等を受信したり、車両制御装置１に運転操作情報を送信したりする。また、通信装置６０は、外部サーバと情報通信を行い、車両Ｖが走行している道路の交通情報や天候情報を受信してもよい。
【0042】
操作装置５０は、図１及び図３に示すように、出力装置として、表示モニタ５１、ナビ表示モニタ５２、スピーカ５９を備え、それらはオペレータＨが椅子６１に着座した際、オペレータＨの前方に位置するよう設けられている。
操作装置５０は、図１及び図３に示すように、入力装置としてハンドル５３、アクセルペダル５４、ブレーキペダル５５、操作スイッチ５６、タッチパネル５７、マイク５８を備えている。オペレータＨは、椅子６１に座った状態で前方に配置された表示モニタ５１の映像を見ながら、ハンドル５３等を用いて走行する車両Ｖを遠隔操作する。
操作装置５０は、図１及び図３に示すように、入力装置としてハンドル５３、アクセルペダル５４、ブレーキペダル５５、操作スイッチ５６、タッチパネル５７、マイク５８を備えている。オペレータＨは、椅子６１に座った状態で前方に配置された表示モニタ５１の映像を見ながら、ハンドル５３等を用いて走行する車両Ｖを遠隔操作する。
【0043】
＜表示モニタ５１＞
表示モニタ５１は、遠隔運転をするための視覚情報を出力する装置であり、主に車両制御装置１から受信した情報を表示する。
車両制御装置１から受信した情報には、総合ＥＣＵから受信したＣＡＮデータ、メータ用の速度、スロットル開度、ブレーキ踏み込み量、舵角、電気的に配線したシフト位置、ウインカ等の車両情報も含まれており、それらを表示モニタ５１に表示することも可能である。
操作装置５０の表示モニタ５１は、図１及び図３に示すように、３台の液晶モニタから構成されている。より詳細に述べると、オペレータＨの前に配置された第１モニタ５１ａ、第１モニタ５１ａの右側に隣接して配置された第２モニタ５１ｂ、及び、第１モニタ５１ａの左側に隣接して配置された第３モニタ５１ｃから構成されている。第２モニタ５１ｂと第３モニタ５１ｃは、オペレータＨが見やすいよう表示画面がオペレータＨに向くよう傾斜して配置されている。第１モニタ５１ａ～第３モニタ５１ｃのそれぞれは所定の解像度、例えば、１９２０×１０８０（フルＨＤ、２Ｋ）の解像度を有する液晶モニタである。第１モニタ５１ａ～第３モニタ５１ｃは４Ｋ、８Ｋ等の解像度を有する高解像度モニタであってもよい。
表示モニタ５１は、遠隔運転をするための視覚情報を出力する装置であり、主に車両制御装置１から受信した情報を表示する。
車両制御装置１から受信した情報には、総合ＥＣＵから受信したＣＡＮデータ、メータ用の速度、スロットル開度、ブレーキ踏み込み量、舵角、電気的に配線したシフト位置、ウインカ等の車両情報も含まれており、それらを表示モニタ５１に表示することも可能である。
操作装置５０の表示モニタ５１は、図１及び図３に示すように、３台の液晶モニタから構成されている。より詳細に述べると、オペレータＨの前に配置された第１モニタ５１ａ、第１モニタ５１ａの右側に隣接して配置された第２モニタ５１ｂ、及び、第１モニタ５１ａの左側に隣接して配置された第３モニタ５１ｃから構成されている。第２モニタ５１ｂと第３モニタ５１ｃは、オペレータＨが見やすいよう表示画面がオペレータＨに向くよう傾斜して配置されている。第１モニタ５１ａ～第３モニタ５１ｃのそれぞれは所定の解像度、例えば、１９２０×１０８０（フルＨＤ、２Ｋ）の解像度を有する液晶モニタである。第１モニタ５１ａ～第３モニタ５１ｃは４Ｋ、８Ｋ等の解像度を有する高解像度モニタであってもよい。
【0044】
図３に示す３台の液晶モニタから構成された表示モニタ５１は一例であり、表示モニタ５１は、１台の液晶モニタで構成されてもよい。また、２台又は４台以上の液晶モニタで構成されてもよい。また、表示モニタ５１は湾曲した横方向に細長い液晶モニタで構成されもよい。また、表示モニタ５１は、スマートフォン、タブレット端末等の携帯端末で実現されてもよい。表示モニタ５１は、オペレータＨの頭部に装着されるＶＲゴーグルであってもよい。
【0045】
＜ナビ表示モニタ５２＞
ナビ表示モニタ５２は、車両制御装置１から受信した車両Ｖの位置情報に基づいて、車両Ｖの位置を地図情報と共に表示する装置である。
ナビ表示モニタ５２は、車両制御装置１から受信した車両Ｖの位置情報に基づいて、車両Ｖの位置を地図情報と共に表示する装置である。
【0046】
＜ハンドル５３、アクセルペダル５４、ブレーキペダル５５＞
ハンドル５３は、走行する車両Ｖの操舵角（操舵量）を調整するために用いられる操作部である。アクセルペダル５４は、走行する車両Ｖのアクセルペダル開度を入力するために用いられる。ブレーキペダル５５は、車両Ｖのブレーキペダル開度を入力するために用いられる。
入力された操舵量、アクセルペダル開度、ブレーキペダル開度は、通信装置６０により車両Ｖの車両制御装置１に向けて送信される。上述のように、車両Ｖの車両制御装置１は、受信した操舵量、アクセルペダル開度、ブレーキペダル開度に基づいて車両Ｖの総合ＥＣＵ介してハンドルＥＣＵ３２、アクセルＥＣＵ３３、ブレーキＥＣＵ３４を操作する。
ハンドル５３は、走行する車両Ｖの操舵角（操舵量）を調整するために用いられる操作部である。アクセルペダル５４は、走行する車両Ｖのアクセルペダル開度を入力するために用いられる。ブレーキペダル５５は、車両Ｖのブレーキペダル開度を入力するために用いられる。
入力された操舵量、アクセルペダル開度、ブレーキペダル開度は、通信装置６０により車両Ｖの車両制御装置１に向けて送信される。上述のように、車両Ｖの車両制御装置１は、受信した操舵量、アクセルペダル開度、ブレーキペダル開度に基づいて車両Ｖの総合ＥＣＵ介してハンドルＥＣＵ３２、アクセルＥＣＵ３３、ブレーキＥＣＵ３４を操作する。
【0047】
＜操作スイッチ５６＞
操作スイッチ５６は、例えばシフトレバーとしての役割を有し、オペレータＨがスイッチを押下することにより車両Ｖに対して前進させるかバック走行させるかを指示することができる。オペレータＨが、操作スイッチ５６を押下することで、車両Ｖのエンジンの始動又は停止、鍵の開閉、ホーン、ウインカ操作等を指示してもよい。
操作スイッチ５６は、例えばシフトレバーとしての役割を有し、オペレータＨがスイッチを押下することにより車両Ｖに対して前進させるかバック走行させるかを指示することができる。オペレータＨが、操作スイッチ５６を押下することで、車両Ｖのエンジンの始動又は停止、鍵の開閉、ホーン、ウインカ操作等を指示してもよい。
【0048】
＜タッチパネル５７＞
タッチパネル５７は、表示モニタ５１に表示させる画像情報の位置や大きさ示すレイアウト情報等を入力するための装置である。
＜マイク５８＞
マイク５８は音声を入力する装置であり、マイク５８により入力された音声信号は、通信装置６０により、車両制御装置１に送信される。音声信号は、例えば車両Ｖのスピーカ５９により車両Ｖの乗員に向けて発せられ、音声を伝えることができる。
＜スピーカ５９＞
スピーカ５９は聴覚情報を提供する音響装置である。スピーカ５９により、車両制御装置１から受信した音声情報、例えば、車両Ｖの乗車者からの音声及び車両Ｖ周囲の音をオペレータＨに報知することができる。
タッチパネル５７は、表示モニタ５１に表示させる画像情報の位置や大きさ示すレイアウト情報等を入力するための装置である。
＜マイク５８＞
マイク５８は音声を入力する装置であり、マイク５８により入力された音声信号は、通信装置６０により、車両制御装置１に送信される。音声信号は、例えば車両Ｖのスピーカ５９により車両Ｖの乗員に向けて発せられ、音声を伝えることができる。
＜スピーカ５９＞
スピーカ５９は聴覚情報を提供する音響装置である。スピーカ５９により、車両制御装置１から受信した音声情報、例えば、車両Ｖの乗車者からの音声及び車両Ｖ周囲の音をオペレータＨに報知することができる。
【0049】
また、操作装置５０は、オペレータＨが直感的に車両Ｖを遠隔操作できるよう、ハンドル５３、アクセルペダル５４、ブレーキペダル５５等の形を模した入力装置を備えているが、これらの入力装置は、ゲーム機用のコントローラ、ＰＣ用のキーボード、タッチ入力可能な携帯端末のモニタ画面であってもよい。
操作装置５０のオペレータＨは人間であるが、ＡＩ（人工知能）が操作主体であってもよく、その場合、人間はＡＩの動作と表示モニタ５１等に表示された車両Ｖの情報を監視する。
操作装置５０のオペレータＨは人間であるが、ＡＩ（人工知能）が操作主体であってもよく、その場合、人間はＡＩの動作と表示モニタ５１等に表示された車両Ｖの情報を監視する。
【0050】
＜＜車両遠隔操作システムＳの機能構成＞＞
図４を用いて、車両遠隔操作システムＳを機能面から説明する。車両制御装置１は、記憶部１００、外部情報取得部１０１、位置特定部１０７、通信部１０８（第１通信部）、車両制御部１０９、画像処理部１１０、進行方向取得部１１１を構成要素としている。
これらの機能は、車両制御装置１のＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ、通信インタフェース、及び各種プログラム等によって実現されている。
図４を用いて、車両遠隔操作システムＳを機能面から説明する。車両制御装置１は、記憶部１００、外部情報取得部１０１、位置特定部１０７、通信部１０８（第１通信部）、車両制御部１０９、画像処理部１１０、進行方向取得部１１１を構成要素としている。
これらの機能は、車両制御装置１のＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ、通信インタフェース、及び各種プログラム等によって実現されている。
【0051】
操作装置５０は、記憶部５００、通信部５０１、表示部５０２、入力部５０３、通信制御部５０４、音声出力部５０５を構成要素としている。
これらの機能は、操作装置５０のＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ、通信インタフェース、及び各種プログラム等によって実現されている。
これらの機能は、操作装置５０のＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ、通信インタフェース、及び各種プログラム等によって実現されている。
【0052】
車両制御装置１の機能について説明する。
＜記憶部１００＞
記憶部１００は、車両Ｖの進行方向の情報、複数の撮像装置１１が撮像した「画像情報」、画像処理部１１０が合成した「合成画像」、車両Ｖの進行方向の情報、「レイアウト情報」等の各種データ及びプログラムを記憶する。
＜記憶部１００＞
記憶部１００は、車両Ｖの進行方向の情報、複数の撮像装置１１が撮像した「画像情報」、画像処理部１１０が合成した「合成画像」、車両Ｖの進行方向の情報、「レイアウト情報」等の各種データ及びプログラムを記憶する。
【0053】
＜外部情報取得部１０１＞
外部情報取得部１０１は、車両Ｖに取り付けられた車載センサ１０から情報を取得し、記憶部１００に取得した情報を記憶する。より詳細に述べると、車載センサ１０として、図２に示すように、９台の撮像装置１１（第１撮像装置１１ａ～第９撮像装置１１ｉ）、４台のレーダ１２（第１レーダ１２ａ～第４レーダ１２ｄ）、５台のライダ１３（第１ライダ１３ａ～第５ライダ１３ｅ）が車両Ｖの車体に取り付けられている。外部情報取得部１０１は、車載センサ１０から、画像情報、対象物体の検出結果データ、対象物体までの距離測定データを取得し記憶部１００に記憶する。
なお、外部情報取得部１０１は、車載ＥＣＵ３０から車両Ｖの「車両情報」をさらに取得することとしてもよい。「車両情報」としては、例えば、ハンドルＥＣＵ３２から得られる「舵角の情報」、アクセルＥＣＵ３３から得られる「スロットル開度の情報」、ブレーキＥＣＵ３４から得られる「ブレーキ踏み込み量の情報」等が挙げられる。車輪速センサから「車速の情報」を得てもよい。
外部情報取得部１０１は、車両Ｖに取り付けられた車載センサ１０から情報を取得し、記憶部１００に取得した情報を記憶する。より詳細に述べると、車載センサ１０として、図２に示すように、９台の撮像装置１１（第１撮像装置１１ａ～第９撮像装置１１ｉ）、４台のレーダ１２（第１レーダ１２ａ～第４レーダ１２ｄ）、５台のライダ１３（第１ライダ１３ａ～第５ライダ１３ｅ）が車両Ｖの車体に取り付けられている。外部情報取得部１０１は、車載センサ１０から、画像情報、対象物体の検出結果データ、対象物体までの距離測定データを取得し記憶部１００に記憶する。
なお、外部情報取得部１０１は、車載ＥＣＵ３０から車両Ｖの「車両情報」をさらに取得することとしてもよい。「車両情報」としては、例えば、ハンドルＥＣＵ３２から得られる「舵角の情報」、アクセルＥＣＵ３３から得られる「スロットル開度の情報」、ブレーキＥＣＵ３４から得られる「ブレーキ踏み込み量の情報」等が挙げられる。車輪速センサから「車速の情報」を得てもよい。
【0054】
＜位置特定部１０７＞
位置特定部１０７は、車載ロケータ２０のＧＮＳＳ受信機２１から受信したＧＮＳＳ情報と慣性計測装置２２から受信した車両Ｖの角速度及び加速度等の情報とから、車両Ｖの現在位置を特定する。
なお、車両Ｖの現在位置を特定するにあたって、車両Ｖの「舵角の情報」を取得し、「舵角の情報」をさらに組み合わせて位置を特定してもよい。例えば車両Ｖに舵角センサを新たに搭載することで、舵角センサを通じて「舵角の情報」を取得することができる。
なお、車両Ｖの「速度の情報」を取得するにあたっては、車両Ｖに車輪速センサを新たに搭載し、車輪速センサを通じて「速度の情報」を取得してもよい。
位置特定部１０７は、車載ロケータ２０のＧＮＳＳ受信機２１から受信したＧＮＳＳ情報と慣性計測装置２２から受信した車両Ｖの角速度及び加速度等の情報とから、車両Ｖの現在位置を特定する。
なお、車両Ｖの現在位置を特定するにあたって、車両Ｖの「舵角の情報」を取得し、「舵角の情報」をさらに組み合わせて位置を特定してもよい。例えば車両Ｖに舵角センサを新たに搭載することで、舵角センサを通じて「舵角の情報」を取得することができる。
なお、車両Ｖの「速度の情報」を取得するにあたっては、車両Ｖに車輪速センサを新たに搭載し、車輪速センサを通じて「速度の情報」を取得してもよい。
【0055】
＜通信部１０８＞
通信部１０８（第１通信部）は、操作装置５０に情報を送信する。本実施形態において、通信部１０８は、画像処理部１１０が生成した「合成画像」、及び、位置特定部１０７が特定した車両Ｖの「位置情報」を操作装置５０に送信する。
通信部１０８は、車両制御装置１のＣＰＵと車載通信装置４０とにより実現されており、車載通信装置４０は３台の無線通信可能な通信装置４１（第１通信装置４１ａ～第３通信装置４１ｃ）から構成されている。そのため、通信部１０８は、無線通信回線（遠隔通信回線）の無線基地局ＲＢと３つの通信回線により接続することが可能である。
通信部１０８（第１通信部）は、操作装置５０に情報を送信する。本実施形態において、通信部１０８は、画像処理部１１０が生成した「合成画像」、及び、位置特定部１０７が特定した車両Ｖの「位置情報」を操作装置５０に送信する。
通信部１０８は、車両制御装置１のＣＰＵと車載通信装置４０とにより実現されており、車載通信装置４０は３台の無線通信可能な通信装置４１（第１通信装置４１ａ～第３通信装置４１ｃ）から構成されている。そのため、通信部１０８は、無線通信回線（遠隔通信回線）の無線基地局ＲＢと３つの通信回線により接続することが可能である。
【0056】
３台の通信装置４１のそれぞれは無線基地局ＲＢと接続している。車両Ｖの移動により電波強度が変化することから、接続が維持できなくなった場合、電波強度の強い別の無線基地局ＲＢと接続する。通常、３台の通信装置４１は別々に無線基地局ＲＢを切り替える。しかしながら、全ての通信回線において基地局との接続が切り替わる場合、同時に切り替わると、操作装置５０との接続が一時的に切断される場合がある。そのため、通信部１０８は、３台の通信装置４１が接続している無線基地局ＲＢを同時に切り替えることがないよう、切り替えるタイミングを変更する処理が可能に構成されている。
なお、車載通信装置４０に設けられる通信装置４１は２台でもよく、４台以上であってもよい。通信環境等が良い場合、車載通信装置４０は、１台の通信装置４１で構成されてもよい。
なお、車載通信装置４０に設けられる通信装置４１は２台でもよく、４台以上であってもよい。通信環境等が良い場合、車載通信装置４０は、１台の通信装置４１で構成されてもよい。
【0057】
＜車両制御部１０９＞
車両制御部１０９は、外部情報取得部１０１によって取得された「画像情報」、「検出結果データ」、「距離測定データ」と、位置特定部１０７によって特定された「現在位置の情報」に基づいて総合ＥＣＵ３１を制御し、車両Ｖの「自動運転」を実行する。
また、車両制御部１０９は、操作装置５０から取得した車両Ｖの「運転操作情報」に基づいて総合ＥＣＵ３１を制御し、車両Ｖの「遠隔運転」を実行する。
車両制御部１０９は、外部情報取得部１０１によって取得された「画像情報」、「検出結果データ」、「距離測定データ」と、位置特定部１０７によって特定された「現在位置の情報」に基づいて総合ＥＣＵ３１を制御し、車両Ｖの「自動運転」を実行する。
また、車両制御部１０９は、操作装置５０から取得した車両Ｖの「運転操作情報」に基づいて総合ＥＣＵ３１を制御し、車両Ｖの「遠隔運転」を実行する。
【0058】
＜進行方向取得部１１１＞
進行方向取得部１１１は、例えば、車両Ｖのシフトポジションの位置から車両Ｖの進行方向の情報を取得する。進行方向の情報は、現時点（オペレータＨが車両Ｖの遠隔操作を開始する時点、又は、遠隔操作中の時点）において車両Ｖが前方に向けて走行する状態であるか、バック走行する状態であるかを示す情報である。進行方向の情報を取得する際、車両Ｖは停止した状態であってもよい。記憶部１００に記憶される進行方向の情報は、例えば画像処理部１１０によって車両Ｖの進行方向に対応した「合成画像」を生成する際に用いられる。
進行方向取得部１１１は、例えば、車両Ｖのシフトポジションの位置から車両Ｖの進行方向の情報を取得する。進行方向の情報は、現時点（オペレータＨが車両Ｖの遠隔操作を開始する時点、又は、遠隔操作中の時点）において車両Ｖが前方に向けて走行する状態であるか、バック走行する状態であるかを示す情報である。進行方向の情報を取得する際、車両Ｖは停止した状態であってもよい。記憶部１００に記憶される進行方向の情報は、例えば画像処理部１１０によって車両Ｖの進行方向に対応した「合成画像」を生成する際に用いられる。
【0059】
＜画像処理部１１０＞
画像処理部１１０は、外部情報取得部１０１により第１撮像装置１１ａ～第９撮像装置１１ｉのそれぞれから取得された「画像情報」を、記憶部１００に記憶された「レイアウト情報」に基づき合成して「合成画像」を生成する。
「レイアウト情報」とは、撮像装置１１から取得した「画像情報」を操作装置５０の表示モニタ５１で表示する際の位置及び大きさを定めたものである。言い換えれば、「合成画像」を生成するときに、撮像装置１１により取得された画像情報が、「合成画像」において、どの位置に配置されるのか又はどの大きさで表示されるのかを定めた設定ファイルである。「レイアウト情報」は、オペレータＨの死角を作らない、オペレータＨが操作し易いレイアウトの表示態様を定めたものである。
画像処理部１１０は、外部情報取得部１０１により第１撮像装置１１ａ～第９撮像装置１１ｉのそれぞれから取得された「画像情報」を、記憶部１００に記憶された「レイアウト情報」に基づき合成して「合成画像」を生成する。
「レイアウト情報」とは、撮像装置１１から取得した「画像情報」を操作装置５０の表示モニタ５１で表示する際の位置及び大きさを定めたものである。言い換えれば、「合成画像」を生成するときに、撮像装置１１により取得された画像情報が、「合成画像」において、どの位置に配置されるのか又はどの大きさで表示されるのかを定めた設定ファイルである。「レイアウト情報」は、オペレータＨの死角を作らない、オペレータＨが操作し易いレイアウトの表示態様を定めたものである。
【0060】
「レイアウト情報」は、複数のレイアウト情報を車両Ｖの所定の記憶部においてレイアウトＩＤ（レイアウト識別情報）を対応付けて記憶しておくことも可能である。この場合、後述する操作スイッチ等を用いてレイアウト表示に切り替え後、さらにレイアウト情報の変更操作を行うことで、操作装置５０（操作スイッチ５６）から車両Ｖに対して変更後のレイアウトＩＤが送信される。詳細については後述するが、このとき、車両Ｖでは、変更後のレイアウトＩＤに対するレイアウト情報に基づいて外部映像を合成した合成映像が生成され、表示モニタ５１にはその合成映像が表示される。
なお、この「レイアウト情報」はネットワークＮに設けられた不図示の外部サーバに記憶されてもよく、ウェブブラウザ又は専用のウェブアプリケーションを通じて外部サーバと送受信されてもよい。
なお、この「レイアウト情報」はネットワークＮに設けられた不図示の外部サーバに記憶されてもよく、ウェブブラウザ又は専用のウェブアプリケーションを通じて外部サーバと送受信されてもよい。
【0061】
画像処理部１１０によって生成される「合成画像」の大きさは、操作装置５０の表示モニタ５１の性能によって定められる。本実施形態では、「合成画像」を表示モニタ５１の三つの液晶モニタ（第１モニタ５１ａ～第３モニタ５１ｃ）で表示させる。各液晶モニタの解像度がフルＨＤである場合、「合成画像」の画素数を５７６０×１０８０画素とするのがよい。なお、「合成画像」の画素数は、進行方向又は通信状況によって低解像度に変更される場合がある。
例えばバック走行する際、中央の第１モニタ５１ａのみを使って遠隔操作する場合、「合成画像」を１画面分の大きさ、すなわち、１９２０×１０８０画素の大きさで生成するように設定する。
通信状況が悪い場合、送信するデータ量を削減するために、「合成画像」が通常よりも低い解像度、例えば画素数が４０００×８００画素となるよう生成する。
画像処理部１１０が生成する「合成画像」の大きさの情報は、例えば、レイアウト情報に含まれており、記憶部１００に予め記憶されているか、操作装置５０の入力部５０３によって入力される。また、「合成画像」の大きさの情報は、レイアウト情報同様、不図示の外部サーバに記憶され、ウェブブラウザ又はウェブアプリケーションを通じて画像処理部１１０により変更されてもよい。
例えばバック走行する際、中央の第１モニタ５１ａのみを使って遠隔操作する場合、「合成画像」を１画面分の大きさ、すなわち、１９２０×１０８０画素の大きさで生成するように設定する。
通信状況が悪い場合、送信するデータ量を削減するために、「合成画像」が通常よりも低い解像度、例えば画素数が４０００×８００画素となるよう生成する。
画像処理部１１０が生成する「合成画像」の大きさの情報は、例えば、レイアウト情報に含まれており、記憶部１００に予め記憶されているか、操作装置５０の入力部５０３によって入力される。また、「合成画像」の大きさの情報は、レイアウト情報同様、不図示の外部サーバに記憶され、ウェブブラウザ又はウェブアプリケーションを通じて画像処理部１１０により変更されてもよい。
【0062】
車両Ｖに乗車して運転する場合、運転者は車両Ｖの前方とバックミラー及びサイドミラーにより後方の様子と見ながら運転する。車両Ｖを遠隔操作する場合においても、車両Ｖの前方の画像と後方の画像とが同時に、表示モニタ５１に表示されるのが望ましい。
そのため、本実施形態の車両Ｖに搭載される撮像装置１１は、前方方向（第１進行方向）を撮像する第１撮像装置１１ａ～第３撮像装置１１ｃ（第１方向撮像装置）と、前方方向とは異なる後方方向（第２進行方向）を撮像する第４撮像装置１１ｄ～第６撮像装置１１ｆ（第２方向撮像装置）を含んでいる。
「レイアウト情報」は、第１撮像装置１１ａ～第３撮像装置１１ｃが撮像した前方方向の画像情報と、第４撮像装置１１ｄ～第６撮像装置１１ｆが撮像した後方方向の画像情報とが、同時に表示されるよう構成されている。
そのため、本実施形態の車両Ｖに搭載される撮像装置１１は、前方方向（第１進行方向）を撮像する第１撮像装置１１ａ～第３撮像装置１１ｃ（第１方向撮像装置）と、前方方向とは異なる後方方向（第２進行方向）を撮像する第４撮像装置１１ｄ～第６撮像装置１１ｆ（第２方向撮像装置）を含んでいる。
「レイアウト情報」は、第１撮像装置１１ａ～第３撮像装置１１ｃが撮像した前方方向の画像情報と、第４撮像装置１１ｄ～第６撮像装置１１ｆが撮像した後方方向の画像情報とが、同時に表示されるよう構成されている。
【0063】
また、画像処理部１１０は、レイアウト情報に基づいて、第１撮像装置１１ａ～第３撮像装置１１ｃが撮像した前方方向の画像情報に、第４撮像装置１１ｄ～第６撮像装置１１ｆが撮像した後方方向の画像情報を重畳して「合成画像」を生成する。これは車両Ｖが前方に進行する場合であり、例えば、車両Ｖが後方に進行する場合、後方方向の画像情報に、前方方向の画像を重畳して「合成画像」を生成する。なお、前方方向又は後方方向の画像情報に重畳する画像情報は、車両Ｖの左方向又は右方向を撮像した画像情報であってもよい。
【0064】
「合成画像」の例を、図５Ａ～図５Ｃに示す。
図５Ａに示す「合成画像」では、車両Ｖの前方を撮像する第１撮像装置１１ａの画像情報ＦＭが中央の第１モニタ５１ａに表示されるよう配置される。また、車両Ｖの右斜め前方を撮像する第２撮像装置１１ｂの画像情報ＦＲが、右側の第２モニタ５１ｂに表示され、車両Ｖの左斜め前方を撮像する第３撮像装置１１ｃの画像情報ＦＬが、左側の第３モニタ５１ｃに表示される。
図５Ａに示す「合成画像」では、車両Ｖの前方を撮像する第１撮像装置１１ａの画像情報ＦＭが中央の第１モニタ５１ａに表示されるよう配置される。また、車両Ｖの右斜め前方を撮像する第２撮像装置１１ｂの画像情報ＦＲが、右側の第２モニタ５１ｂに表示され、車両Ｖの左斜め前方を撮像する第３撮像装置１１ｃの画像情報ＦＬが、左側の第３モニタ５１ｃに表示される。
【0065】
車両Ｖの後方を撮像する第４撮像装置１１ｄの画像情報ＢＭが、第１モニタ５１ａの上部に縮小された状態で表示されるよう、前方を撮像した画像情報ＦＭに重畳される。車両Ｖの右斜め後方を撮像する第５撮像装置１１ｅの画像情報ＢＲが、第２モニタ５１ｂの左側上部に縮小された状態で表示されるよう、画像情報ＦＲに重畳される。車両Ｖの左斜め後方を撮像する第６撮像装置１１ｆの画像情報ＢＬが、第３モニタ５１ｃの右側上部に縮小された状態で表示されるよう、画像情報ＦＬに重畳される。
【0066】
また、サブカメラである第７撮像装置１１ｇの画像情報ＦＭｓが、第１モニタ５１ａの下側に縮小した状態で表示されるよう、画像情報ＦＭに重畳される。
第８撮像装置１１ｈの画像情報ＢＲｓが、第２モニタ５１ｂの右側上部に縮小された状態で表示されるよう、画像情報ＦＲに重畳される。
第９撮像装置１１ｉの画像情報ＢＬｓが、第３モニタ５１ｃの左側上部に縮小された状態で表示されるよう、画像情報ＦＲに重畳される。
第８撮像装置１１ｈの画像情報ＢＲｓが、第２モニタ５１ｂの右側上部に縮小された状態で表示されるよう、画像情報ＦＲに重畳される。
第９撮像装置１１ｉの画像情報ＢＬｓが、第３モニタ５１ｃの左側上部に縮小された状態で表示されるよう、画像情報ＦＲに重畳される。
【0067】
図５Ｂに「合成画像」の別例を示す。
第１撮像装置１１ａ～第３撮像装置１１ｃが撮像した画像情報ＦＭ、ＦＬ、ＦＲの表示位置は同じであるが、他の画像情報ＦＭｓ、ＢＭ、ＢＬ、ＢＲ、ＢＬｓ、ＢＲｓを表示する範囲が、図５Ａに示す「合成画像」と比較して大きくなるよう設定されている。
第１撮像装置１１ａ～第３撮像装置１１ｃが撮像した画像情報ＦＭ、ＦＬ、ＦＲの表示位置は同じであるが、他の画像情報ＦＭｓ、ＢＭ、ＢＬ、ＢＲ、ＢＬｓ、ＢＲｓを表示する範囲が、図５Ａに示す「合成画像」と比較して大きくなるよう設定されている。
【0068】
図５Ｃは、バック走行時に生成する「合成画像」の例である。
進行方向情報が後方である場合、すなわちバック走行時においては、第１モニタ５１ａのみを用いて車両Ｖの後方を表示してもよい。この場合、第４撮像装置１１ｄにより取得した画像情報ＢＭを第１モニタ５１ａに表示されるよう配置する。第１撮像装置１１ａにより取得した前方の画像情報ＦＭが、第１モニタ５１ａの上部に縮小した状態で表示されるよう、画像情報ＢＭに重畳される。
なお、前方の画像情報ＦＭが必要ない場合は、後方の画像情報ＢＭのみを表示するよう設定されてもよい。
このように「合成画像」中、撮像装置から取得した画像情報を表示する大きさや位置に関する情報がレイアウト情報に設定されている。
進行方向情報が後方である場合、すなわちバック走行時においては、第１モニタ５１ａのみを用いて車両Ｖの後方を表示してもよい。この場合、第４撮像装置１１ｄにより取得した画像情報ＢＭを第１モニタ５１ａに表示されるよう配置する。第１撮像装置１１ａにより取得した前方の画像情報ＦＭが、第１モニタ５１ａの上部に縮小した状態で表示されるよう、画像情報ＢＭに重畳される。
なお、前方の画像情報ＦＭが必要ない場合は、後方の画像情報ＢＭのみを表示するよう設定されてもよい。
このように「合成画像」中、撮像装置から取得した画像情報を表示する大きさや位置に関する情報がレイアウト情報に設定されている。
【0069】
「レイアウト情報」には、画像処理部１１０が、車両Ｖの進行方向に応じて、異なる合成映像を生成することができるよう構成されている。例えば、図５Ａ及び図５Ｂに示す車両Ｖが前方に進行している場合に、「合成画像」を生成する設定と、図５Ｃに示すように後方に進行している場合に、「合成画像」を生成する設定との両方が含まれている。前方と後方の設定が含まれることで、画像処理部１１０は、車両Ｖの進行方向に応じた、「合成画像」を生成することができ、操作装置５０の表示モニタ５１には、進行方向に応じた「合成画像」が表示されるようになる。
【0070】
なお、図５Ａ～図５Ｃに示す合成画像のレイアウトは一例であり、例えば、表示モニタ５１の一部に車両情報等を示し、その周囲に画像情報を表示するようにしてもよい。また、車両の停止中に周囲の状況が確認できるよう、車両の左右の状況を示す画像情報ＢＲ、ＢＬが表示モニタ５１の中心に示すように設定されてもよい。
【0071】
なお、本実施形態において、前方を撮像する第１撮像装置１１ａ、第２撮像装置１１ｂ及び第３撮像装置１１ｃは、車両Ｖのボンネット及びフェンダを画像情報に含むよう撮像している。また、画像処理部１１０は、車両Ｖの一部が含まれた画像情報を用いて、車両Ｖの一部を表示した状態で「合成画像」を生成する。車両Ｖの一部が「合成画像」に含まれることにより、オペレータＨは、車体の大きさ及び位置が把握できると共に、「合成画像」の車両Ｖの一部を目印にして車両Ｖを遠隔操作することができる。
【0072】
上記合成映像を生成し、生成した合成映像データを操作装置５０に向けて送信することで、複数の外部映像データを送信する場合と比較して送信するデータ量を少なくし、データ通信にかかるコストを削減することができる。すなわち、データ量が少ないことにより、送信に必要な帯域が確保しやすくなり、少ない回線数で送信することが可能となる。
【0073】
操作装置５０の機能について説明する。
＜記憶部５００＞
記憶部５００は、車両制御装置１から受信した「合成画像」、車両Ｖの進行方向の情報、入力部５０３により入力された「レイアウト情報」等の各種データ及びプログラムを記憶する。なお、レイアウト情報等の各種データは、ネットワークＮに設けられた外部サーバに保存され、ＷＥＢブラウザ又はＷＥＢアプリケーション等により送受信されてもよい。
＜記憶部５００＞
記憶部５００は、車両制御装置１から受信した「合成画像」、車両Ｖの進行方向の情報、入力部５０３により入力された「レイアウト情報」等の各種データ及びプログラムを記憶する。なお、レイアウト情報等の各種データは、ネットワークＮに設けられた外部サーバに保存され、ＷＥＢブラウザ又はＷＥＢアプリケーション等により送受信されてもよい。
【0074】
＜通信部５０１＞
通信部５０１（第２通信部）は、車両制御装置１から情報を受信する。本実施形態において、通信部５０１は、車両制御装置１から「合成画像」、車両Ｖの「位置情報」を受信する。通信部１０８は、操作装置５０のＣＰＵと通信装置６０とにより実現されている。
通信部５０１（第２通信部）は、車両制御装置１から情報を受信する。本実施形態において、通信部５０１は、車両制御装置１から「合成画像」、車両Ｖの「位置情報」を受信する。通信部１０８は、操作装置５０のＣＰＵと通信装置６０とにより実現されている。
【0075】
＜表示部５０２＞
表示部５０２は、通信部５０１が受信した情報を、表示モニタ５１又はナビ表示モニタ５２に表示する。表示部５０２は、車両制御装置１から受信した「合成画像」を表示モニタ５１に表示し、ナビ表示モニタ５２に車両Ｖの位置を地図情報に重ねて表示する。
表示部５０２は、通信部５０１が受信した情報を、表示モニタ５１又はナビ表示モニタ５２に表示する。表示部５０２は、車両制御装置１から受信した「合成画像」を表示モニタ５１に表示し、ナビ表示モニタ５２に車両Ｖの位置を地図情報に重ねて表示する。
【0076】
＜入力部５０３＞
入力部５０３は、オペレータＨによってレイアウト情報を処理する。入力されたレイアウト情報は、通信部５０１によって、車両制御装置１に送信される。レイアウト情報が複数あり対応したレイアウトＩＤが定められいる場合は、レイアウトＩＤを送信してもよい。
入力部５０３は、オペレータＨによってレイアウト情報を処理する。入力されたレイアウト情報は、通信部５０１によって、車両制御装置１に送信される。レイアウト情報が複数あり対応したレイアウトＩＤが定められいる場合は、レイアウトＩＤを送信してもよい。
【0077】
＜通信制御部５０４＞
通信制御部５０４は、通信部５０１が車両制御装置１から「合成画像」に係る情報を受信したとき、車両制御装置１の通信部１０８（第１通信部）との通信路を確立する。
車両遠隔操作システムは、複数の車両Ｖと複数の操作装置５０とから構成されている。車両Ｖを遠隔操作する際、複数の操作装置５０から１つの操作装置５０が選択される。そのとき、車両Ｖに接続される操作装置５０との接続は、遠隔操作が終了するまで通信路を保持しておく必要があり、この通信路は、最も高い優先通信先として、通信路が確保されるようになっている。この通信路を確保する手段として、車両Ｖは、複数台の通信装置を用いて、複数の通信回線と接続可能となっている。
通信制御部５０４は、通信部５０１が車両制御装置１から「合成画像」に係る情報を受信したとき、車両制御装置１の通信部１０８（第１通信部）との通信路を確立する。
車両遠隔操作システムは、複数の車両Ｖと複数の操作装置５０とから構成されている。車両Ｖを遠隔操作する際、複数の操作装置５０から１つの操作装置５０が選択される。そのとき、車両Ｖに接続される操作装置５０との接続は、遠隔操作が終了するまで通信路を保持しておく必要があり、この通信路は、最も高い優先通信先として、通信路が確保されるようになっている。この通信路を確保する手段として、車両Ｖは、複数台の通信装置を用いて、複数の通信回線と接続可能となっている。
【0078】
＜音声出力部５０５＞
音声出力部５０５は、車両制御装置１から受信した音声情報を処理する。音声情報は、スピーカ５９から出力される。
音声出力部５０５は、車両制御装置１から受信した音声情報を処理する。音声情報は、スピーカ５９から出力される。
【0079】
＜＜車両遠隔操作方法・プログラム＞＞
次に、車両制御装置１及び操作装置５０により実行される車両遠隔操作方法（車両遠隔操作プログラム）について、図６のシーケンス図に基づいて説明する。
なお、本実施形態に係る車両遠隔操作方法は、車両制御装置１のＣＰＵ（第１コンピュータ）と、操作装置５０のＣＰＵ（第２コンピュータ）とがプログラムにより実行する。すなわち、上記方法は、上述した車両制御装置１及び操作装置５０の機能的な構成要素として、上述した機能を実現する各種プログラムを集約させたユーティリティプログラムにより実行される。
なお、上記方法・プログラムは、車両遠隔操作システムのオペレータＨからの操作指示を受け付けて実行されるものである。
次に、車両制御装置１及び操作装置５０により実行される車両遠隔操作方法（車両遠隔操作プログラム）について、図６のシーケンス図に基づいて説明する。
なお、本実施形態に係る車両遠隔操作方法は、車両制御装置１のＣＰＵ（第１コンピュータ）と、操作装置５０のＣＰＵ（第２コンピュータ）とがプログラムにより実行する。すなわち、上記方法は、上述した車両制御装置１及び操作装置５０の機能的な構成要素として、上述した機能を実現する各種プログラムを集約させたユーティリティプログラムにより実行される。
なお、上記方法・プログラムは、車両遠隔操作システムのオペレータＨからの操作指示を受け付けて実行されるものである。
【0080】
遠隔操作を開始するとき、操作装置５０のオペレータＨが、表示モニタ５１に表示させる「合成画像」の生成に用いられる「レイアウト情報」を入力する（レイアウト情報入力ステップＳ１０１）。「レイアウト情報」は、例えばタッチパネル５７を介してオペレータＨにより入力される。記憶部５００が一旦「レイアウト情報」記憶する。「レイアウト情報」は手元にある複数のスイッチを用いて、予め定められたフォームからオペレータＨが選択するようにしてもよい。オペレータＨにより常時使うフォームがあり車両制御装置１の記憶部１００に記憶されている場合は、オペレータＨが特定された時点において自動で設定されてもよい。また、所定のフォームが、車両制御装置１又は操作装置５０に記憶されている場合は、この工程を省略してもよい。
【0081】
操作装置５０は、入力部５０３により「レイアウト情報」が入力された後、遠隔運転を開始する前に、通信部５０１により「レイアウト情報」を車両制御装置１に送信する（レイアウト情報送信ステップＳ１０２）。車両制御装置１の通信部１０８は、ネットワークＮを介して遠隔操作の開始指示と共に「レイアウト情報」を受信する(レイアウト情報受信ステップＳ２０１)。
【0082】
「レイアウト情報」を受信した後、車両制御装置１の記憶部１００が「レイアウト情報」を記憶する（レイアウト情報記憶ステップＳ２０２）。
次に、進行方向取得部１１１により、車両Ｖの進行方向の情報を取得する。進行方向によって、操作装置５０の表示モニタ５１に表示する画像が異なるからである。進行方向は車両Ｖのシフトポジションの位置によって判断する（進行方向取得ステップＳ２０３）。
次に、進行方向取得部１１１により、車両Ｖの進行方向の情報を取得する。進行方向によって、操作装置５０の表示モニタ５１に表示する画像が異なるからである。進行方向は車両Ｖのシフトポジションの位置によって判断する（進行方向取得ステップＳ２０３）。
【0083】
次に、車両制御装置１の画像処理部１１０が、外部情報取得部１０１により車両Ｖに搭載された９台の撮像装置１１から撮像した画像情報を取得する（画像情報取得ステップＳ２０４）、記憶部１００に記憶された「レイアウト情報」に基づいて、複数の画像情報を合成し、「合成画像」を生成する（合成画像生成ステップＳ２０５）。このとき、車両Ｖの進行方向によって「合成画像」を生成する「レイアウト情報」を切り替える。例えば、車両Ｖが前方に進行する場合は、車両の前方を撮像する第１撮像装置１１ａ～第３撮像装置１１ｃの画像をメインとした「合成画像」を生成する（図５Ａ、図５Ｂ参照）。車両Ｖがバック走行する場合は、車両の後方を撮像する第４撮像装置１１ｄにより撮像した画像がメインとなるよう「合成画像」を生成する（図５Ｃ参照）。車両制御装置１の画像処理部１１０により「合成画像」を生成して送信するため、送信する画像の解像度が一定となり、送信に必要なデータ量が増加しないことから、送信する際に必要とされる通信回線の帯域を確保し易くなる。
【0084】
次に、車両制御装置１は、通信部１０８を用いて、画像処理部１１０が生成した「合成画像」を操作装置５０に送信する（合成画像送信ステップＳ２０６）。この際、「合成画像」のデータ量を削減するために、「合成画像」のエンコードを実行してもよい。通信部１０８は、エンコードされた「合成画像」を操作装置５０に送信する。
【0085】
この場合、車両制御装置１は、ハードウェア的にエンコードを行うエンコーダを備えてもよい。
エンコーダは、例えば、「合成画像」を映像符号化方式に従ってエンコードする。映像符号化方式は、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）－２、Ｈ．２６４、Ｈ．２６５、ＶＰ８、ＶＰ９、ＡＯＭｅｄｉａ Ｖｉｄｅｏ １（ＡＶ１）等がある。エンコーダは、ハードウェアエンコーディングにより、「合成画像」からエンコードした映像データを生成する。ただし、エンコーダは、ソフトウエアエンコーディングにより、映像データを生成してもよい。
エンコーダは、例えば、「合成画像」を映像符号化方式に従ってエンコードする。映像符号化方式は、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）－２、Ｈ．２６４、Ｈ．２６５、ＶＰ８、ＶＰ９、ＡＯＭｅｄｉａ Ｖｉｄｅｏ １（ＡＶ１）等がある。エンコーダは、ハードウェアエンコーディングにより、「合成画像」からエンコードした映像データを生成する。ただし、エンコーダは、ソフトウエアエンコーディングにより、映像データを生成してもよい。
【0086】
次に、操作装置５０は、通信部５０１が車両制御装置１から「合成画像」を受信したタイミングで、通信制御部５０４により車両制御装置１の通信部１０８との通信路を確立する（通信路確立ステップＳ１０３）。通信路を確立することで、車両Ｖの遠隔操作が終了するまで通信路を保持して、最も高い優先通路先として通信路を確保するようにする。
なお、通信制御部５０４による通信路の確立は、遠隔操作を開始した時点、又は、操作装置５０が「レイアウト情報」を車両制御装置１に送信したときに実行されてもよい。
なお、通信制御部５０４による通信路の確立は、遠隔操作を開始した時点、又は、操作装置５０が「レイアウト情報」を車両制御装置１に送信したときに実行されてもよい。
【0087】
操作装置５０は、通信部５０１が、車両制御装置１の通信部１０８との通信路を確立した後、「合成画像」を受信する（合成画像受信ステップＳ１０４）。受信された「合成画像」は、表示部５０２によって、表示モニタ５１に表示される（合成画像表示ステップＳ１０５）。受信した「合成画像」がエンコードされた映像データである場合、表示部５０２は、映像データを用いられた映像符号化方式に従ってデコードして表示する。
従来のように複数の撮像装置から直接画像情報を受信する場合、操作装置５０は、操作装置５０側で画像情報を配置して表示モニタに表示していた。操作装置５０は、車両制御装置１により生成された「合成画像」を受信して表示するので、送信に必要な通信回線も少なく、また、受信するデータ量も少なくすることができる。車両制御装置１で生成された「合成画像」を受信するため、一部の画像が欠けることもなく、確実に受信することができる。また、進行方向に応じた「合成画像」を受信するため、進行方向を切り替えることで自動的に適切なレイアウトで「合成画像」を表示させることができる。
従来のように複数の撮像装置から直接画像情報を受信する場合、操作装置５０は、操作装置５０側で画像情報を配置して表示モニタに表示していた。操作装置５０は、車両制御装置１により生成された「合成画像」を受信して表示するので、送信に必要な通信回線も少なく、また、受信するデータ量も少なくすることができる。車両制御装置１で生成された「合成画像」を受信するため、一部の画像が欠けることもなく、確実に受信することができる。また、進行方向に応じた「合成画像」を受信するため、進行方向を切り替えることで自動的に適切なレイアウトで「合成画像」を表示させることができる。
【0088】
＜＜解像度の切り替え＞＞
車両遠隔操作システムＳでは、車両Ｖから送信された「合成画像」を表示モニタ５１に表示することで、オペレータＨは視覚的に車両周辺の状況を確認しながら、車両Ｖを遠隔操作している。そのため、車両Ｖの車両制御装置１は可能な限り、操作装置５０に「合成画像」を送信する必要がある。そのため、車両制御装置１は、生成する「合成画像」の解像度を変更することで、通信環境に変化があった場合でも、送信可能なよう調整機能を有している。通信環境に応じて変更する流れについて図７を用いて説明する。
車両遠隔操作システムＳでは、車両Ｖから送信された「合成画像」を表示モニタ５１に表示することで、オペレータＨは視覚的に車両周辺の状況を確認しながら、車両Ｖを遠隔操作している。そのため、車両Ｖの車両制御装置１は可能な限り、操作装置５０に「合成画像」を送信する必要がある。そのため、車両制御装置１は、生成する「合成画像」の解像度を変更することで、通信環境に変化があった場合でも、送信可能なよう調整機能を有している。通信環境に応じて変更する流れについて図７を用いて説明する。
【0089】
まず、車両制御装置１の通信部１０８は、４Ｇの通信回線である第１通信回線で接続された車載通信装置４０の３台の通信装置４１（第１通信装置４１ａ～第３通信装置４１ｃ）の通信状態を確認する。具体的には３つの通信回線それぞれの電波強度を計測する。通信回線の電波強度が所定の閾値αより大きい場合、「合成画像」を送信するのに十分な帯域が確保されていると判断する（Ｓ３０２でＹｅｓ）。通信部１０８は、「合成画像」を縮小することなく高解像度の全面画像として、操作装置５０に送信する（Ｓ３０３）。
【0090】
いずれかの通信装置４１で電波強度が閾値αより低い場合、無線基地局ＲＢとの接続が切断され、通信できない可能性がある。Ｓ３０２でＮｏの場合、３台の通信装置４１が接続している無線基地局ＲＢを変える可能性があるか判断する（Ｓ３０４）。３台の通信装置４１が無線基地局ＲＢを変える可能性がある場合（Ｓ０３０４でＹｅｓ）、３台の通信装置４１が無線基地局ＲＢを同時に変えると、その瞬間において操作装置５０との通信路が確保されなくなる可能性があることから、通信部１０８は、３台の通信装置４１が同時に無線基地局ＲＢを切り替えることないよう、回線切り替えのタイミングを変更する処理を実施する（Ｓ３０５）。
【0091】
次に、車両制御装置１は、４Ｇ回線（第１通信回線）で接続可能な回線数を計測する（Ｓ３０６）。１つの通信回線が切断され、２つの通信回線で通信可能な場合（Ｓ３０７でＹｅｓ）は、３つの通信回線と接続する場合よりも「合成画像」を送信するの帯域が減少することから、変更前の「合成画像」と比べて低解像度の「合成画像」を３画面に表示するよう生成して送信するようにする（Ｓ３０８）。
【0092】
２つの通信回線が切断され、１回戦で接続可能かを判断する（Ｓ３０９）。１つの通信回線でのみ通信可能な場合（Ｓ３０９でＹｅｓ）は、「合成画像」を送信可能な帯域がさらに減少することから、変更前の「合成画像」と比べて低解像度の「合成画像」を１画面に表示するよう生成して送信するようにする（Ｓ３１０）。
【0093】
全ての通信回線で４Ｇの通信回線で接続できなかった場合（Ｓ３０９でＮｏ）、３Ｇの通信回線で接続することを試みる（Ｓ３１１）。３Ｇの通信回線で接続可能である場合（Ｓ３１１でＹｅｓ）は、さらに高遅延・低解像度の１画面画像を送信する（Ｓ３１２）。３Ｇの通信回線で接続できない場合（Ｓ３１１でＮｏ）は、通信路が確保できず「合成画像」を送信できないため、画像送信を停止して遠隔操作を中止する（Ｓ３１３）。
【0094】
なお、車両Ｖの移動に伴い、４Ｇ回線で接続可能な数が、２回線から３回線に増加した場合は、送信可能な帯域が増加するため、変更前の「合成画像」と比べて高解像度の「合成画像」を送信する。１回線から２回線、３回線に増加した場合も同様である。３Ｇの通信回線から４Ｇの通信回線に切り替わった場合も同様に、より高解像度の「合成画像」を送信する。
【0095】
このように、複数の無線通信回線を用いて、接続している回線数に応じて送信する車両周辺の「合成画像」の品質を調整することにより、車両Ｖの車両制御装置１は、可能な限り操作装置５０に「合成画像」を送信することが可能となる。
【0096】
＜その他の実施形態＞
上記実施形態では、図２に示すように、車両遠隔操作システムＳが、車両制御装置１と、車載ＥＣＵ３０とを備えており、「自動運転機能（車載ＥＣＵ３０）」を搭載した車両Ｖに対して「遠隔運転機能（車両制御装置１）」を新たに付与するものであったが、特に限定されることなく変更可能である。
例えば、車両制御装置１が車載ＥＣＵ３０の機能も備えることとしてもよい。すなわち、車両遠隔操作システムＳが、車両制御装置１（車載ＥＣＵ３０の機能を含む）と、車載センサ１０と、車載ロケータ２０と、車載通信装置４０と、操作装置５０と、から主に構成されていてもよい（車載ＥＣＵ３０を構成から外してもよい）。
上記実施形態では、図２に示すように、車両遠隔操作システムＳが、車両制御装置１と、車載ＥＣＵ３０とを備えており、「自動運転機能（車載ＥＣＵ３０）」を搭載した車両Ｖに対して「遠隔運転機能（車両制御装置１）」を新たに付与するものであったが、特に限定されることなく変更可能である。
例えば、車両制御装置１が車載ＥＣＵ３０の機能も備えることとしてもよい。すなわち、車両遠隔操作システムＳが、車両制御装置１（車載ＥＣＵ３０の機能を含む）と、車載センサ１０と、車載ロケータ２０と、車載通信装置４０と、操作装置５０と、から主に構成されていてもよい（車載ＥＣＵ３０を構成から外してもよい）。
【0097】
上記実施形態では、図２に示すように、車両遠隔操作システムＳが、車両制御装置１と、車載ロケータ２０とを備えているが、特に限定されることなく、車両制御装置１が車載ロケータ２０を有することとしてもよい。
【0098】
上記実施形態では、車両制御装置１が読み取り可能な記録媒体に車両遠隔操作プログラムが記憶されており、車両制御装置１が当該プログラムを読み出して実行することによって処理が実行される。ここで車両制御装置１が読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。
その他、車両制御装置１となる端末（携帯端末）を利用して専用ウェブアプリケーションを起動させて、ウェブブラウザ上で車両遠隔操作プログラムが実行されることとしてもよい。
その他、車両制御装置１となる端末（携帯端末）を利用して専用ウェブアプリケーションを起動させて、ウェブブラウザ上で車両遠隔操作プログラムが実行されることとしてもよい。
【0099】
上記実施形態では、主として本発明に係る車両遠隔操作システム及び車両遠隔操作方法に関して説明した。
車両遠隔操作システムＳによれば、複数の撮像装置１１のそれぞれから画像情報を取得し、車両制御装置１の画像処理部１１０がレイアウト情報に基づき合成画像を生成して操作装置５０に送信することにより、撮像した全ての画像情報を送信する場合よりも、送信するデータ量を削減することができる。そのため、合成画像の送信に必要な帯域が一定となることから、通信コストを増加させることなく車両周囲の画像情報を送信することができる。また、通信に必要な帯域を確保し易くなり、より確実に送信することができる。また、車両側で合成した合成画像を操作装置５０に送信するので、一部の通信回線が切断されることにより画像が欠けることがない。
なお、上記の実施形態は、本発明の理解を容易にするための一例に過ぎず、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは勿論である。
車両遠隔操作システムＳによれば、複数の撮像装置１１のそれぞれから画像情報を取得し、車両制御装置１の画像処理部１１０がレイアウト情報に基づき合成画像を生成して操作装置５０に送信することにより、撮像した全ての画像情報を送信する場合よりも、送信するデータ量を削減することができる。そのため、合成画像の送信に必要な帯域が一定となることから、通信コストを増加させることなく車両周囲の画像情報を送信することができる。また、通信に必要な帯域を確保し易くなり、より確実に送信することができる。また、車両側で合成した合成画像を操作装置５０に送信するので、一部の通信回線が切断されることにより画像が欠けることがない。
なお、上記の実施形態は、本発明の理解を容易にするための一例に過ぎず、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは勿論である。
【符号の説明】
【0100】
Ｓ 車両遠隔操作システム
Ｖ 車両
Ｖ１ 電動パワーステアリング
Ｖ１ａ ハンドル
Ｖ２ 電動スロットル
Ｖ２ａ アクセルペダル
Ｖ３ 電磁ブレーキ装置
Ｖ３ａ ブレーキペダル
１ 車両制御装置
１０ 車載センサ
１１ 撮像装置
１１ａ～１１ｉ 第１撮像装置～第９撮像装置
１２ レーダ（ミリ波レーダ）
１２ａ～１２ｄ 第１レーダ～第４レーダ
１３ ライダ
１３ａ～１３ｅ 第１ライダ～第５ライダ
２０ 車載ロケータ
２１ ＧＮＳＳ受信機（ＲＴＫ－ＧＮＳＳ受信機）
２２ 慣性計測装置（ＩＭＵ）
３０ 車載ＥＣＵ
３１ 総合ＥＣＵ
３２ ハンドルＥＣＵ
３３ アクセルＥＣＵ
３４ ブレーキＥＣＵ
４０ 車載通信装置
４１、４１ａ、４１ｂ、４１ｃ 通信装置、第１通信装置、第２通信装置、第３通信装置
５０ 操作装置
５１ 表示モニタ
５１ａ、５１ｂ、５１ｃ 第１モニタ、第２モニタ、第３モニタ
５２ ナビ表示モニタ
５３ ハンドル
５４ アクセルペダル
５５ ブレーキペダル
５６ 操作スイッチ
５７ タッチパネル
５８ マイク
５９ スピーカ
６０ 通信装置
６１ 椅子
１００ 記憶部
１０１ 外部情報取得部
１０７ 位置特定部
１０８ 通信部
１０９ 車両制御部
１１０ 画像処理部
５００ 記憶部
５０１ 通信部
５０２ 表示部
５０３ 入力部
５０４ 通信制御部
５０５ 音声出力部
ＳＡ 人工衛星
ＳＴ 基準局
ＲＢ 無線基地局
Ｖ 車両
Ｖ１ 電動パワーステアリング
Ｖ１ａ ハンドル
Ｖ２ 電動スロットル
Ｖ２ａ アクセルペダル
Ｖ３ 電磁ブレーキ装置
Ｖ３ａ ブレーキペダル
１ 車両制御装置
１０ 車載センサ
１１ 撮像装置
１１ａ～１１ｉ 第１撮像装置～第９撮像装置
１２ レーダ（ミリ波レーダ）
１２ａ～１２ｄ 第１レーダ～第４レーダ
１３ ライダ
１３ａ～１３ｅ 第１ライダ～第５ライダ
２０ 車載ロケータ
２１ ＧＮＳＳ受信機（ＲＴＫ－ＧＮＳＳ受信機）
２２ 慣性計測装置（ＩＭＵ）
３０ 車載ＥＣＵ
３１ 総合ＥＣＵ
３２ ハンドルＥＣＵ
３３ アクセルＥＣＵ
３４ ブレーキＥＣＵ
４０ 車載通信装置
４１、４１ａ、４１ｂ、４１ｃ 通信装置、第１通信装置、第２通信装置、第３通信装置
５０ 操作装置
５１ 表示モニタ
５１ａ、５１ｂ、５１ｃ 第１モニタ、第２モニタ、第３モニタ
５２ ナビ表示モニタ
５３ ハンドル
５４ アクセルペダル
５５ ブレーキペダル
５６ 操作スイッチ
５７ タッチパネル
５８ マイク
５９ スピーカ
６０ 通信装置
６１ 椅子
１００ 記憶部
１０１ 外部情報取得部
１０７ 位置特定部
１０８ 通信部
１０９ 車両制御部
１１０ 画像処理部
５００ 記憶部
５０１ 通信部
５０２ 表示部
５０３ 入力部
５０４ 通信制御部
５０５ 音声出力部
ＳＡ 人工衛星
ＳＴ 基準局
ＲＢ 無線基地局
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6】
【図7】
