再表 2018-155159 遠隔映像出力システム、及び遠隔映像出力装置

(19)【発行国】日本国特許庁(JP)

【公報種別】再公表特許(A1)

(11)【国際公開番号】WO/0

(43)【国際公開日】2018年8月30日

【発行日】2019年12月19日

(54)【発明の名称】遠隔映像出力システム、及び遠隔映像出力装置

(51)【国際特許分類】

   H04Q 9/00 20060101AFI20191122BHJP

   B60W 40/02 20060101ALI20191122BHJP

   G08G 1/16 20060101ALI20191122BHJP

【ＦＩ】

   H04Q9/00 301B

   H04Q9/00 361

   B60W40/02

   G08G1/16 A

【審査請求】未請求

【予備審査請求】未請求

【全頁数】71

【出願番号】特願2019-501191(P2019-501191)

(21)【国際出願番号】PCT/0/0

(22)【国際出願日】2018年2月6日

(31)【優先権主張番号】特願2017-33166(P2017-33166)

(32)【優先日】2017年2月24日

(33)【優先権主張国】JP

(31)【優先権主張番号】特願2017-33167(P2017-33167)

(32)【優先日】2017年2月24日

(33)【優先権主張国】JP

(31)【優先権主張番号】特願2017-33168(P2017-33168)

(32)【優先日】2017年2月24日

(33)【優先権主張国】JP

(31)【優先権主張番号】特願2017-33169(P2017-33169)

(32)【優先日】2017年2月24日

(33)【優先権主張国】JP

(31)【優先権主張番号】特願2017-213101(P2017-213101)

(32)【優先日】2017年11月2日

(33)【優先権主張国】JP

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100106116

【弁理士】

【氏名又は名称】鎌田 健司

(74)【代理人】

【識別番号】100115554

【弁理士】

【氏名又は名称】野村 幸一

(72)【発明者】

【氏名】上田 伊織

(72)【発明者】

【氏名】星田 昌昭

(72)【発明者】

【氏名】岩間 智大

【テーマコード（参考）】

3D241

5H181

5K048

【Ｆターム（参考）】

3D241BA33

3D241BA39

3D241BA41

3D241CC01

3D241CC08

3D241CC17

3D241CD07

3D241CD09

3D241CE02

3D241CE04

3D241CE05

3D241DB01Z

3D241DB02Z

3D241DC01Z

3D241DC25Z

3D241DC31Z

3D241DC60Z

5H181AA01

5H181BB04

5H181BB13

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181FF04

5H181FF13

5H181FF27

5H181FF33

5H181LL01

5H181LL04

5H181MB01

5H181MC19

5H181MC22

5H181MC24

5K048AA04

5K048AA05

5K048BA48

5K048DB01

5K048DC01

5K048EB02

5K048EB10

5K048EB15

5K048FB03

5K048FB15

5K048HA21

(57)【要約】

遠隔映像出力システムは、車両と、遠隔映像出力装置と、を有する。車両は、少なくとも進行方向の周囲を撮影可能な撮像回路と、撮像回路が撮影した映像を送信可能な無線通信回路と、を有する。遠隔映像出力装置は、無線通信回路より、ネットワークを介して第１の映像を受信可能な通信回路と、第２の映像を出力可能な出力回路と、を有する。遠隔映像出力装置において、車両からネットワークを介して遠隔映像出力装置までの通信遅延が第１遅延時間である場合、出力回路が、第１の映像の第１フレームから第１の範囲を切り出して第２の映像として出力する。遠隔映像出力装置において、車両からネットワークを介して遠隔映像出力装置までの通信遅延が、第１遅延時間より長い第２遅延時間である場合、出力回路が、第１の映像の第２フレームから第１の範囲より狭い第２の範囲を切り出して第２の映像として出力する。

【特許請求の範囲】

【請求項1】

少なくとも進行方向の周囲を撮影可能な撮像回路と、
前記撮像回路が撮影した映像を送信可能な無線通信回路と、
を備える車両と、
前記無線通信回路より、ネットワークを介して第１の映像を受信可能な通信回路と、
第２の映像を出力可能な出力回路と、
を備える遠隔映像出力装置と、を備える遠隔映像出力システムであって、
前記遠隔映像出力装置において、前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が第１遅延時間である場合、前記出力回路が、前記第１の映像の第１フレームから第１の範囲を切り出して前記第２の映像として出力し、
前記遠隔映像出力装置において、前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が、前記第１遅延時間より長い第２遅延時間である場合、前記出力回路が、前記第１の映像の第２フレームから前記第１の範囲より狭い第２の範囲を切り出して前記第２の映像として出力する、
遠隔映像出力システム。

【請求項2】

請求項１に記載の遠隔映像出力システムであって、
前記第１の映像の前記第２フレームは、前記第１の映像の前記第１フレームと同一である、
遠隔映像出力システム。

【請求項3】

請求項１又は請求項２に記載の遠隔映像出力システムであって、
前記遠隔映像出力装置は、前記出力回路に接続された表示部を更に備え、
前記表示部は、前記第２の映像を出力する、
遠隔映像出力システム。

【請求項4】

請求項１から請求項３のいずれか１項に記載の遠隔映像出力システムであって、
前記遠隔映像出力装置の前記通信回路が受信する前記第１の映像の前記第１フレームと、前記第１の映像の前記第２フレームは、四角形である、
遠隔映像出力システム。

【請求項5】

請求項１から請求項４のいずれか１項に記載の遠隔映像出力システムであって、
前記第１の映像の前記第１フレームにおける前記第１の範囲の形は、前記第１の映像の前記第２フレームにおける前記第２の範囲の形と、相似である、
遠隔映像出力システム。

【請求項6】

請求項１から請求項５のいずれか１項に記載の遠隔映像出力システムであって、
前記車両は、走行速度を検出する速度検出回路を更に備え、
前記無線通信回路は、前記走行速度を送信可能であり、
前記遠隔映像出力装置の前記通信回路は、前記無線通信回路より前記ネットワークを介して前記走行速度を受信可能であって、
前記遠隔映像出力装置において、前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が第３遅延時間であり、かつ、前記通信回路が受信した前記走行速度が第１速度の場合、前記出力回路が、前記第１の映像の第３フレームから第３の範囲を切り出して前記第２の映像として出力し、
前記遠隔映像出力装置において、前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が前記第３遅延時間であり、かつ、前記通信回路が受信した前記走行速度が、前記第１速度より速い第２速度の場合、前記出力回路が、前記第１の映像の第４フレームから前記第３の範囲より狭い第４の範囲を切り出して前記第２の映像として出力する、
遠隔映像出力システム。

【請求項7】

請求項６に記載の遠隔映像出力システムであって、
前記第１の映像の前記第３フレームにおける前記第３の範囲の形は、前記第１の映像の前記第４フレームにおける前記第４の範囲の形と、相似である、
遠隔映像出力システム。

【請求項8】

請求項６又は請求項７に記載の遠隔映像出力システムであって、
前記車両は、操舵輪の舵角を検出する舵角検出回路を更に備え、
前記無線通信回路は、前記舵角を送信可能であり、
前記遠隔映像出力装置の前記通信回路は、前記無線通信回路より前記ネットワークを介して前記舵角を受信可能であって、
前記遠隔映像出力装置において、前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が前記第３遅延時間であり、かつ、前記通信回路が受信した前記走行速度が第３速度であり、かつ、前記通信回路が受信した前記舵角が第１舵角である場合、前記出力回路が、前記第１の映像の第５フレームから第５の範囲を切り出して前記第２の映像として出力し、
前記遠隔映像出力装置において、前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が前記第３遅延時間であり、かつ、前記通信回路が受信した前記走行速度が前記第３速度であり、かつ、前記通信回路が受信した前記舵角が、前記第１舵角と異なる第２舵角である場合、前記出力回路が、前記第１の映像の第６フレームから、前記第５の範囲と異なる第６の範囲を切り出して前記第２の映像として出力する、
遠隔映像出力システム。

【請求項9】

請求項８に記載の遠隔映像出力システムであって、
前記舵角検出回路が検出する前記操舵輪の前記舵角は、前記車両の直進方向を基準に、第１方向とその角度、又は、前記第１方向と反対の第２方向とその角度で表現可能である、
遠隔映像出力システム。

【請求項10】

請求項９に記載の遠隔映像出力システムであって、
前記遠隔映像出力装置において、前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が前記第３遅延時間であり、かつ、前記通信回路が受信した前記走行速度が第３速度であり、かつ、前記通信回路が受信した前記舵角が直進方向である場合、前記出力回路が、前記第１の映像の第７フレームから第７の範囲を切り出して前記第２の映像として出力し、
前記遠隔映像出力装置において、前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が前記第３遅延時間であり、かつ、前記通信回路が受信した前記走行速度が前記第３速度であり、かつ、前記通信回路が受信した前記舵角が、直進方向を基準に前記第１方向に第１の角度である場合、前記出力回路が、前記第１の映像のフレームにおいて前記第７の範囲を基準に第１の方向にずれた第８の範囲を、前記第１の映像の第８フレームから切り出して前記第２の映像として出力し、
前記遠隔映像出力装置において、前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が前記第３遅延時間であり、かつ、前記通信回路が受信した前記走行速度が前記第３速度であり、かつ、前記通信回路が受信した前記舵角が、直進方向を基準に前記第２方向に第２の角度である場合、前記出力回路が、前記第１の映像のフレームにおいて前記第６の範囲を基準に、前記第１の方向と異なる第２の方向にずれた第９の範囲を、前記第１の映像の第９フレームから切り出して前記第２の映像として出力する、
遠隔映像出力システム。

【請求項11】

請求項１０に記載の遠隔映像出力システムであって、
前記第８の範囲における前記第１の方向の端部の、前記第１の方向と直交する幅は、前記第８の範囲における前記第１の方向と反対の端部の、前記第１の方向と直交する幅より広く、
前記第９の範囲における前記第２の方向の端部の、前記第２の方向と直交する幅は、前記第９の範囲における前記第２の方向と反対の端部の、前記第２の方向と直交する幅より広い、
遠隔映像出力システム。

【請求項12】

請求項１０又は請求項１１に記載の遠隔映像出力システムであって、
前記第１の映像のフレームにおける前記第２の方向は、前記第１の映像のフレームにおける前記第１の方向と反対である、
遠隔映像出力システム。

【請求項13】

請求項１から請求項１２のいずれか１項に記載の遠隔映像出力システムであって、
前記遠隔映像出力装置の前記出力回路は、前記第２の映像のフレームにおいて所定の領域を示すオブジェクトを重畳して出力する、
遠隔映像出力システム。

【請求項14】

ネットワークを介して第１の映像を受信可能な通信回路と、
第２の映像を出力可能な出力回路と、を備える遠隔映像出力装置であって、
前記通信回路は、外部の車両に備えられた無線通信回路より前記ネットワークを介して、前記第１の映像を受信可能であり、
前記車両は、少なくとも進行方向の周囲を撮影可能な撮像回路を、更に備え、
前記車両の前記無線通信回路は、前記撮像回路が撮影した映像を送信可能であり、
前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が第１遅延時間である場合、前記出力回路が、前記第１の映像の第１フレームから第１の範囲を切り出して前記第２の映像として出力し、
前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が、前記第１遅延時間より長い第２遅延時間である場合、前記出力回路が、前記第１の映像の第２フレームから前記第１の範囲より狭い第２の範囲を切り出して前記第２の映像として出力する、
遠隔映像出力装置。

【請求項15】

請求項１４に記載の遠隔映像出力装置であって、
前記第１の映像の前記第２フレームは、前記第１の映像の前記第１フレームと同一である、
遠隔映像出力装置。

【請求項16】

請求項１４又は請求項１５に記載の遠隔映像出力装置であって、
前記出力回路に接続された表示部を更に備え、
前記表示部は、前記第２の映像を出力する、
遠隔映像出力装置。

【請求項17】

請求項１４から請求項１６のいずれか１項に記載の遠隔映像出力装置であって、
前記第１の映像の前記第１フレームと、前記第１の映像の前記第２フレームは、四角形である、
遠隔映像出力装置。

【請求項18】

請求項１４から請求項１７のいずれか１項に記載の遠隔映像出力装置であって、
前記第１の映像の前記第１フレームにおける前記第１の範囲の形は、前記第１の映像の前記第２フレームにおける前記第２の範囲の形と、相似である、
遠隔映像出力装置。

【請求項19】

請求項１４から請求項１８のいずれか１項に記載の遠隔映像出力装置であって、
前記車両は、走行速度を検出する速度検出回路を更に備え、
前記無線通信回路は、前記走行速度を送信可能であり、
前記通信回路は、前記無線通信回路より前記ネットワークを介して前記走行速度を受信可能であって、
前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が第３遅延時間であり、かつ、前記通信回路が受信した前記走行速度が第１速度の場合、前記出力回路が、前記第１の映像の第３フレームから第３の範囲を切り出して前記第２の映像として出力し、
前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が前記第３遅延時間であり、かつ、前記通信回路が受信した前記走行速度が、前記第１速度より速い第２速度の場合、前記出力回路が、前記第１の映像の第４フレームから前記第３の範囲より狭い第４の範囲を切り出して前記第２の映像として出力する、
遠隔映像出力装置。

【請求項20】

請求項１９に記載の遠隔映像出力装置であって、
前記第１の映像の前記第３フレームにおける前記第３の範囲の形は、前記第１の映像の前記第４フレームにおける前記第４の範囲の形と、相似である、
遠隔映像出力装置。

【請求項21】

請求項１９又は請求項２０に記載の遠隔映像出力装置であって、
前記車両は、操舵輪の舵角を検出する舵角検出回路を更に備え、
前記無線通信回路は、前記舵角を送信可能であり、
前記通信回路は、前記無線通信回路より前記ネットワークを介して前記舵角を受信可能であって、
前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が前記第３遅延時間であり、かつ、前記通信回路が受信した前記走行速度が第３速度であり、かつ、前記通信回路が受信した前記舵角が第１舵角である場合、前記出力回路が、前記第１の映像の第５フレームから第５の範囲を切り出して前記第２の映像として出力し、
前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が前記第３遅延時間であり、かつ、前記通信回路が受信した前記走行速度が前記第３速度であり、かつ、前記通信回路が受信した前記舵角が、前記第１舵角と異なる第２舵角である場合、前記出力回路が、前記第１の映像の第６フレームから、前記第５の範囲と異なる第６の範囲を切り出して前記第２の映像として出力する、
遠隔映像出力装置。

【請求項22】

請求項２１に記載の遠隔映像出力装置であって、
前記舵角検出回路が検出する前記操舵輪の前記舵角は、前記車両の直進方向を基準に、第１方向とその角度、又は、前記第１方向と反対の第２方向とその角度で表現可能である、
遠隔映像出力装置。

【請求項23】

請求項２２に記載の遠隔映像出力装置であって、
前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が前記第３遅延時間であり、かつ、前記通信回路が受信した前記走行速度が第３速度であり、かつ、前記通信回路が受信した前記舵角が直進方向である場合、前記出力回路が、前記第１の映像の第７フレームから第７の範囲を切り出して前記第２の映像として出力し、
前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が前記第３遅延時間であり、かつ、前記通信回路が受信した前記走行速度が前記第３速度であり、かつ、前記通信回路が受信した前記舵角が、直進方向を基準に前記第１方向に第１の角度である場合、前記出力回路が、前記第１の映像のフレームにおいて前記第７の範囲を基準に第１の方向にずれた第８の範囲を、前記第１の映像の第８フレームから切り出して前記第２の映像として出力し、
前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が前記第３遅延時間であり、かつ、前記通信回路が受信した前記走行速度が前記第３速度であり、かつ、前記通信回路が受信した前記舵角が、直進方向を基準に前記第２方向に第２の角度である場合、前記出力回路が、前記第１の映像のフレームにおいて前記第６の範囲を基準に、前記第１の方向と異なる第２の方向にずれた第９の範囲を、前記第１の映像の第９フレームから切り出して前記第２の映像として出力する、
遠隔映像出力装置。

【請求項24】

請求項２３に記載の遠隔映像出力装置であって、
前記第８の範囲における前記第１の方向の端部の、前記第１の方向と直交する幅は、前記第８の範囲における前記第１の方向と反対の端部の、前記第１の方向と直交する幅より広く、
前記第９の範囲における前記第２の方向の端部の、前記第２の方向と直交する幅は、前記第９の範囲における前記第２の方向と反対の端部の、前記第２の方向と直交する幅より広い、
遠隔映像出力装置。

【請求項25】

請求項２３又は請求項２４に記載の遠隔映像出力装置であって、
前記第１の映像のフレームにおける前記第２の方向は、前記第１の映像のフレームにおける前記第１の方向と反対である、
遠隔映像出力装置。

【請求項26】

請求項１４から請求項２５のいずれか１項に記載の遠隔映像出力装置であって、
前記出力回路は、前記第２の映像のフレームにおいて所定の領域を示すオブジェクトを重畳して出力する、
遠隔映像出力装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、自動運転車両を遠隔制御するための遠隔映像出力システム、及び遠隔映像出力装置に関する。

【背景技術】

【0002】

近年、自動運転車両の開発が加速している。運転手を必要としない無人運転車両の開発も進められている。無人運転車両ではステアリングやブレーキを搭載しないものも開発されており、タクシー、バス、運送トラック等の業務車両への使用が期待されている。

【0003】

しかしながら、ＮＨＴＳＡ（Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）がレベル５として規定する完全自動運転の実現は、長い年月を要すると予想されている。完全無人自動運転車両が完成するまでの過渡期の技術として、または完全無人自動運転車両を補完する技術として遠隔制御技術を活用することが考えられる（例えば、特許文献１〜３参照）。例えば、遠隔制御センタで監視者が複数の無人自動運転車両を監視し、必要なとき無人運転車両に指示を送る方法が考えられる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３−１１５８０３号公報

【特許文献2】特開２０００−１８４４６９号公報

【特許文献3】特開２０１０−６１３４６号公報

【発明の概要】

【0005】

本開示は、安全かつ適正な遠隔制御に資する技術を提供する。

【0006】

本開示の一態様の遠隔映像出力システムは、車両と、遠隔映像出力装置と、を有する。車両は、少なくとも進行方向の周囲を撮影可能な撮像回路と、撮像回路が撮影した映像を送信可能な無線通信回路と、を有する。遠隔映像出力装置は、無線通信回路より、ネットワークを介して第１の映像を受信可能な通信回路と、第２の映像を出力可能な出力回路と、を有する。遠隔映像出力装置において、車両からネットワークを介して遠隔映像出力装置までの通信遅延が第１遅延時間である場合、出力回路が、第１の映像の第１フレームから第１の範囲を切り出して第２の映像として出力する。遠隔映像出力装置において、車両からネットワークを介して遠隔映像出力装置までの通信遅延が、第１遅延時間より長い第２遅延時間である場合、出力回路が、第１の映像の第２フレームから第１の範囲より狭い第２の範囲を切り出して第２の映像として出力する。

【0007】

なお、以上の構成要素の任意の組み合わせ、本開示の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。

【0008】

本開示によれば、安全かつ適正な遠隔制御を実現すことができる。

【図面の簡単な説明】

【0009】

【図1】図１は、本開示の実施の形態１に係る遠隔型自動運転システムの全体構成を示す図である。

【図2】図２は、本開示の実施の形態１に係る自動運転車両の構成を示す図である。

【図3】図３は、本開示の実施の形態１に係る遠隔制御装置の構成を示す図である。

【図4】図４は、本開示の実施の形態１に係る遠隔型自動運転システムの基本動作を示すフローチャートである。

【図5】図５は、動作例１に係る送信データ量調整方法の処理の流れを示すフローチャートである。

【図6A】図６Ａは、動作例１に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。

【図6B】図６Ｂは、動作例１に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。

【図7】図７は、動作例２に係る送信データ量調整方法の処理の流れを示すフローチャートである。

【図8A】図８Ａは、動作例２に遠隔制御装置の表示部に表示される監視画像の一例を示す図である。

【図8B】図８Ｂは、動作例２に遠隔制御装置の表示部に表示される監視画像の一例を示す図である。

【図9】図９は、動作例３に係る通信方式切替方法の処理の流れを示すフローチャートである。

【図10】図１０は、動作例４に係る通信方式切替方法の処理の流れを示すフローチャートである。

【図11】図１１は、動作例５に係る、高画質画像要求機能が搭載された遠隔型自動運転システムの動作を示すフローチャートである。

【図12】図１２は、動作例６に係る、運転再開時の走行ルートの指定機能が搭載された遠隔型自動運転システムの動作を示すフローチャートである。

【図13】図１３は、動作例６に係る、遠隔制御装置の表示部に表示される監視画像上で走行ルートを指定する場合の一例を示す図である。

【図14】図１４は、動作例７に係る、運転再開時の走行ルートの指定機能が搭載された遠隔型自動運転システムの動作を示すフローチャートである。

【図15】図１５は、動作例７に係る、遠隔制御装置の表示部に表示される監視画像上で走行ルートを指定する場合の一例を示す図である。

【図16】図１６は、動作例６、７の変形例に係る、遠隔制御装置の表示部に表示される監視画像上で走行ルートを指定する場合の一例を示す図である。

【図17】図１７は、動作例８に係る、危険範囲オブジェクトを含む監視画像の表示方法の処理の流れを示すフローチャートである。

【図18A】図１８Ａは、動作例８に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。

【図18B】図１８Ｂは、動作例８に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。

【図19】図１９は、動作例９に係る、危険範囲オブジェクトを含む監視画像の表示方法の処理の流れを示すフローチャートである。

【図20】図２０は、動作例１０に係る、通信遅延が可視化された監視画像の表示方法の処理の流れを示すフローチャートである。

【図21】図２１は、動作例１０に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。

【図22】図２２は、動作例１１に係る、通信遅延が可視化された監視画像の表示方法の処理の流れを示すフローチャートである。

【図23】図２３は、動作例１１に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。

【図24】図２４は、本開示の実施の形態２に係る自動運転車両の構成を示す図である。

【図25】図２５は、本開示の実施の形態２に係る遠隔制御装置の構成を示す図である。

【図26】図２６は、本開示の実施の形態２に係る遠隔制御装置が、自動運転車両から受信した映像を表示する際の基本処理の流れを示すフローチャートである。

【図27】図２７は、本開示の実施の形態２に係る遠隔制御装置が、自動運転車両から受信した映像を表示する際の発展処理の流れを示すフローチャートである。

【図28】図２８は、本開示の実施の形態２に係る遠隔型自動運転システムの基本動作を示すフローチャートである。

【図29A】図２９Ａは、自動運転車両の直進時に切り出される切出範囲の一例を示す図である。

【図29B】図２９Ｂは、自動運転車両の直進時に切り出される切出範囲の一例を示す図である。

【図30A】図３０Ａは、自動運転車両のカーブ時に切り出される切出範囲の一例を示す図である。

【図30B】図３０Ｂは、自動運転車両のカーブ時に切り出される切出範囲の一例を示す図である。

【図31】図３１は、自動運転車両の直進時の操舵輪の状態を示す図である。

【図32】図３２は、自動運転車両の右カーブ時の操舵輪の状態を示す図である。

【図33】図３３は、自動運転車両の左カーブ時の操舵輪の状態を示す図である。

【図34】図３４は、自動運転車両の可視光カメラで撮像された第１の映像のフレーム画像と、遠隔制御装置の表示部に表示させる第２の映像のフレーム画像との第１の関係例を示す図である。

【図35】図３５は、自動運転車両の可視光カメラで撮像された第１の映像のフレーム画像と、遠隔制御装置の表示部に表示させる第２の映像のフレーム画像との第２の関係例を示す図である。

【図36】図３６は、遠隔制御装置の表示部に表示されるフレーム画像の一例を示す図である。

【図37】図３７は、魚眼レンズを有する可視光カメラで撮像されたフレーム画像の一例を示す図である。

【図38】図３８は、自動運転車両が存在する交差点を上から俯瞰した図である。

【図39】図３９は、図３８の第１地点に自動運転車両が位置する際に撮像されたフレーム画像を示す図である。

【図40】図４０は、図３８の第２地点に自動運転車両が位置する際に撮像されたフレーム画像を示す図である。

【図41】図４１は、図３８の第１地点から自動運転車両が左折を開始した直後に撮像されたフレーム画像を示す図である。

【図42】図４２は、危険範囲オブジェクトが重畳された、自動運転車両が存在する交差点を上から俯瞰した図である。

【図43】図４３は、第２地点に位置する自動運転車両の可視光カメラで撮像されたフレーム画像内の切出範囲から生成された表示用のフレーム画像を示す図である。

【発明を実施するための形態】

【0010】

（実施の形態１）
遠隔制御を一部に組み込んだ無人自動運転車両では、車両の状態や周囲の状況をセンサで検知した検知データを車両からネットワークを介して遠隔制御センタに送信する必要がある。しかしながら、例えば高画質の画像データを車両から遠隔制御センタに送信し続けると通信コストが高くなる。また送信するデータ量が大きくなるほど通信遅延の影響も大きくなる。

【0011】

本開示の実施の形態１はこうした状況に鑑みなされたものであり、実施の形態１の第１の目的は、自動運転車両から遠隔制御装置に送信されるデータ量を、安全性を確保しつつ減少させる技術を提供することにある。

【0012】

自動運転車両は、歩行者の飛び出し等の危険事象を検知すると自律的に緊急停止する。緊急停止後の車両の周囲状況は多種多様であり、緊急停止の原因となった歩行者や自転車の次の挙動を予測することも難しい。従って、自動運転車両が緊急停止後に運転を再開してよいか否かを的確に判断することは難しい。一方、道路の中央で緊急停止した場合、後続に車両が詰まっている可能性があり、運転を再開するか否かを迅速に判断することが求められる。

【0013】

本開示の実施の形態１はこうした状況に鑑みなされたものであり、実施の形態１の第２の目的は、自転運転車両において、道路運行の妨げになることを抑制しつつ、安全性を確保する技術を提供することにある。

【0014】

上述のように、遠隔制御センタで無人自動運転車両を監視するには、車両の状態や周囲の状況をセンサで検知した検知データを車両からネットワークを介して受信し、モニタに表示させる必要がある。しかしながら、通信遅延が発生すると実際の状況とモニタに表示されている状況とにずれが発生し、監視者が誤った情報をもとに誤った判断をしてしまう可能性がある。

【0015】

本開示の実施の形態１はこうした状況に鑑みなされたものであり、実施の形態１の第３の目的は、自動運転車両をネットワークを介して監視している監視者による遠隔制御の精度を向上させる技術を提供することにある。

【0016】

図１は、本開示の実施の形態１に係る遠隔型自動運転システムの全体構成を示す図である。自動運転車両１に搭載された自動運転制御装置１０は、遠隔監視センタ５の遠隔制御装置５０とネットワーク２を介して通信する。自動運転制御装置１０は、無線ＬＡＮ（Wireless LAN：Wireless Local Area Network）を使用した通信方式（以下、第１通信方式という）と、携帯電話網（セルラー網）を使用した通信方式（以下、第２通信方式という）を利用して、遠隔制御装置５０と双方向通信を行う。

【0017】

２０１７年現在、日本では携帯電話網としてＬＴＥ（Long-Term Evolution）が普及しており、ＬＴＥは都市部のほぼ全てのエリアをカバーしている。基地局装置２ｂは半径約数百ｍ〜数ｋｍをエリアカバー範囲としており、各基地局装置２ｂは自己のエリアカバー範囲内の自動運転制御装置１０と第２通信方式で通信する。基地局装置２ｂは、自動運転制御装置１０から受信した信号を、交換局（不図示）、ゲートウェイ装置（不図示）、インターネット２ｃ及び遠隔監視センタ５のルータ装置２ｄを介して、遠隔制御装置５０に送信する。また基地局装置２ｂは、遠隔制御装置５０から送信された信号を、遠隔監視センタ５のルータ装置２ｄ、インターネット２ｃ、ゲートウェイ装置（不図示）及び交換局（不図示）を介して受信し、自動運転制御装置１０に送信する。

【0018】

２０１７年現在、日本では無線ＬＡＮのアクセスポイントが増加中であるが、アクセスポイントに通信可能なエリアは限られている。また無料で利用することができる、公衆無線ＬＡＮのアクセスポイントも増加中であるが、その設置場所は特定の場所に限られている。今後、主要な幹線道路沿いに公衆無線ＬＡＮのアクセスポイントが切れ目なく設置されることが期待されている。

【0019】

無線ＬＡＮルータ装置２ａは半径約数１０ｍをエリアカバー範囲としており、各基地局装置２ｂは自己のエリアカバー範囲内の自動運転制御装置１０と第１通信方式で通信する。無線ＬＡＮルータ装置２ａは、自動運転制御装置１０から受信した信号をインターネット２ｃ及び遠隔監視センタ５のルータ装置２ｄを介して遠隔制御装置５０に送信する。また無線ＬＡＮルータ装置２ａは、遠隔制御装置５０から送信された信号を、遠隔監視センタ５のルータ装置２ｄ及びインターネット２ｃを介して受信し、自動運転制御装置１０に送信する。

【0020】

無人自動運転車両をタクシー、バス、運送トラック等の業務車両に使用する場合、その最大のメリットは運転手が不要になることによる人件費の削減である。なお、運転手が不要になることによるメリットには、乗車可能人数の増加、荷物設置スペースの増加も挙げられる。しかしながら無人自動運転車両では遠隔監視が必要となり、無人自動運転車両と遠隔監視センタとの間で通信が必要となる。２０１７年現在の日本の通信事業者の料金体系では、車載カメラで撮影された高画質の画像を第２通信方式で遠隔監視センタに送信し続けた場合、運転手の賃金を大きく上回る通信コストが発生する。従って遠隔型自動運転システムを実現するには、安全性を確保しつつ通信コストを削減することが必要となる。

【0021】

図２は、本開示の実施の形態１に係る自動運転車両１の構成を示す図である。自動運転車両１は、自動運転制御装置１０、検知部２０及びアクチュエータ３０を有する。アクセルペダル、ブレーキペダル、ステアリングホイール等の運転手による運転操作に必要な部材は車両内に設置されてもよいし、省略されてもよい。

【0022】

アクチュエータ３０は、エンジン、モータ、ステアリング、ブレーキ、ランプ等の車両走行に係る負荷を駆動するものである。検知部２０は、可視光カメラ２１、ＬＩＤＡＲ（Light Detection and Ranging）２２、ミリ波レーダ２３、車速センサ２４、ＧＰＳ（Global Positioning System）センサ２５を含む。

【0023】

可視光カメラ２１は車両の前方、後方、左右の少なくとも４箇所に設置される。これら４つの可視光カメラ２１で撮影された前方画像、後方画像、左側画像、右側画像を合成することにより俯瞰画像が生成される。さらに車両の前方に、進行方向の遠方を撮影するための可視光カメラ２１が設置される。

【0024】

ＬＩＤＡＲ２２は、車両の周囲に光線（例えば、赤外線レーザ）を放射して、その反射信号を受信し、受信した反射信号をもとに周囲に存在する対象物との距離、対象物の大きさ、対象物の組成を測定する。複数のＬＩＤＡＲ２２または可動式のＬＩＤＡＲ２２を設置することにより、対象物の移動速度も測定することができる。また、車両周囲の３次元モデリング画像を生成することができる。

【0025】

ミリ波レーダ２３は、車両の周囲に電波（ミリ波）を放射して、その反射信号を受信し、受信した反射信号をもとに周囲に存在する対象物までの距離を測定する。複数のミリ波レーダ２３を設置することにより、車両周囲の広範囲の対象物を検出することができる。ミリ波レーダ２３は、ＬＩＤＡＲ２２で検出困難な、より遠方の対象物も検出可能である。

【0026】

車速センサ２４は自動運転車両１の速度を検出する。ＧＰＳセンサ２５は自動運転車両１の位置情報を検出する。具体的には複数のＧＰＳ衛星からそれぞれ発信時刻を受信し、受信した複数の発信時刻をもとに受信地点の緯度経度を算出する。

【0027】

自動運転制御装置１０は制御部１１、記憶部１２及び入出力部１３を有する。制御部１１は自律走行制御部１１１、危険度算出部１１２、通信遅延推定部１１３、送信データ量調整部１１４及び通信方式切替部１１５を含む。制御部１１の機能はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random-Access Memory）、その他のＬＳＩ（Large-Scale Integration）を利用できる。プロセッサとしてＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等を利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。

【0028】

記憶部１２は例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid-State Drive）で構成される。記憶部１２には、３次元マップ等の自律走行に必要なデータが保持される。入出力部１３はセンタ入出力部１３１、検知データ入力部１３２及び制御信号出力部１３３を含む。センタ入出力部１３１は、遠隔監視センタ５の遠隔制御装置５０との通信方式に準拠した通信インタフェースを有する。検知データ入力部１３２は、検知部２０から各種の検知データを取得し、制御部１１に出力する。制御信号出力部１３３は、制御部１１で生成された各種のアクチュエータ３０を駆動するための制御信号を各種のアクチュエータ３０に出力する。

【0029】

自律走行制御部１１１は所定の自動運転アルゴリズムに基づき、自動運転車両１を自律走行させる。具体的には自律走行制御部１１１は、検知部２０により検知された各種検知データ、及び無線により外部から収集した各種の情報に基づき、自車および自車周辺の状況を認識する。自律走行制御部１１１は、認識した状況を示す各種パラメータを自動運転アルゴリズムに適用して自動運転車両１の行動を決定する。自律走行制御部１１１は決定した行動をもとに、各種のアクチュエータ３０を駆動するための制御信号を生成し、アクチュエータ３０に出力する。

【0030】

自動運転アルゴリズムは、ディープラーニングをもとにした人工知能（ＡＩ:Artificial Intelligence）により生成される。自動運転アルゴリズムの各種パラメータは、事前にハイスペックなコンピュータにより学習された値に初期設定されるとともに、クラウド上のデータセンタからアップデートされた値が適宜、ダウンロードされる。

【0031】

危険度算出部１１２は、ＬＤＷ（Lane Departure Warning）、ＦＣＷ（Forward collision warning）、急ハンドル、急ブレーキ、時間帯、場所、天候などの各種パラメータをもとに自動運転車両１の現在の危険度を算出する。例えば、ＬＤＷ、ＦＣＷ、急ハンドル及び急ブレーキのいずれかの事象が発生した場合、危険度は大きく上昇する。

【0032】

また危険度算出部１１２は、ディープラーニングをもとにした人工知能により生成された危険予知アルゴリズムに基づき自動運転車両１の現在の危険度を算出してもよい。この場合、検知部２０により検知された各種データを加味して危険度を算出することができる。危険度は例えば、０〜１００の範囲の値で規定される。

【0033】

通信遅延推定部１１３は、第１通信方式または第２通信方式の通信路の遅延時間を推定する。例えば、自動運転制御装置１０から信号を送信する送信時刻と、当該信号を遠隔制御装置５０で受信する受信時刻との差分により推定することができる。具体的には送信信号に送信時刻のタイムスタンプを挿入し、遠隔制御装置５０から当該タイムスタンプの受信時刻を返信してもらうことにより当該差分を検出する。なお遠隔制御装置５０から送信された信号にタイムスタンプが挿入されている場合は、当該信号を受信した受信時刻と、当該タイムスタンプに含まれる送信時刻の差分を検出する。

【0034】

送信データ量調整部１１４は、危険度算出部１１２により算出された危険度または通信遅延推定部１１３により推定された通信遅延量をもとに、遠隔制御装置５０に送信する検知データのデータ量を調整する。送信データ量調整部１１４は、危険度が高いほど又は通信遅延量が小さいほど、送信する検知データのデータ量を増加させる。

【0035】

上記した可視光カメラ２１、ＬＩＤＡＲ２２、ミリ波レーダ２３、車速センサ２４及びＧＰＳセンサ２５の検知データの内、データ量が多いのは可視光カメラ２１で生成された画像データである。次にデータ量が多いのがＬＩＤＡＲ２２で生成された３次元モデリングデータである。次にデータ量が多いのがミリ波レーダ２３で検知された検知情報である。車速センサ２４で検知された車両情報およびＧＰＳセンサ２５で検知された位置情報はごく少量のデータである。

【0036】

送信データ量調整部１１４は、送信する検知データの種類を調整することにより、送信データのデータ量を調整することもできる。例えば送信データのデータ量を減少させる場合、送信データ量調整部１１４は、可視光カメラ２１で生成された画像データを送信対象から除外する。

【0037】

また送信データ量調整部１１４は、送信する画像データの画質を調整することにより、送信データのデータ量を調整することもできる。例えば送信データ量調整部１１４は、画像データの解像度及びフレームレートの少なくとも一方を調整する。また単位画素当たりの階調数を調整してもよい。

【0038】

通信方式切替部１１５は、危険度算出部１１２により算出された危険度または通信遅延推定部１１３により推定された通信遅延量をもとに通信方式を切り替える。例えば通信方式切替部１１５は、第１通信方式の通信経路の遅延量と第２通信方式の通信経路の遅延量を比較して、遅延量が少ない方の通信方式を選択する。なお自動運転車両１の近傍に無線ＬＡＮルータ装置２ａが存在しないエリアでは、通信方式切替部１１５は第２通信方式を選択する。

【0039】

また通信方式切替部１１５は、危険度算出部１１２により算出された危険度が設定値より高い場合は相対的に高品質な通信方式を選択し、当該設定値以下の場合は相対的に低品質の通信方式を選択する。移動体端末の移動中の通信品質を考えた場合、第２通信方式の方が第１通信方式より通信品質が高いといえる。携帯電話網の基地局装置２ｂの方が、無線ＬＡＮルータ装置２ａより個々のカバー範囲が広く、ハンドオーバーの頻度が少ない。また携帯電話網ではハンドオーバーの標準技術が確立しており、ハンドオーバー時に通信が途切れる可能性は小さい。

【0040】

また通信方式切替部１１５は、危険度算出部１１２により算出された危険度が設定値より高い場合は相対的に通信コストが高い通信方式を選択し、当該設定値以下の場合は相対的に通信コストが安い通信方式を選択することもできる。第１通信方式として公衆無線ＬＡＮを使用する場合、第１通信方式の方が第２通信方式より通信コストが安くなる。

【0041】

なお通信方式切替部１１５は、第１通信方式の通信経路の遅延量が第２通信方式の通信経路の遅延量より大きい場合であっても、危険度が設定値より低い場合は相対的に通信コストが安い第１通信方式を選択してもよい。ただし、第１通信方式の通信経路の遅延量が絶対的に大きい場合は第２通信方式を選択することが望ましい。

【0042】

自律走行制御部１１１は緊急停止が必要な事象が発生すると、制動用のアクチュエータ３０に緊急停止を指示する制御信号を送信して自動運転車両１を停止させる。緊急停止が必要な事象として、人や自転車の飛び出し、前方車両の急停車、他車両の割り込み、通信不能などがある。なお赤信号により停止、渋滞による停止、及び目的地到着による停止は緊急停止に含まれない。自律走行制御部１１１は自動運転車両１を緊急停止させるとともに、ネットワーク２を介して遠隔制御装置５０に緊急停止事象が発生したことを通知する。

【0043】

緊急停止が必要な事象が発生すると送信データ量調整部１１４は、検知部２０で検知された全種類の検知データを遠隔制御装置５０に送信するよう制御する。従って画像データも送信対象に含まれることになる。さらに送信データ量調整部１１４は緊急停止が必要な事象が発生すると、最高画質の画像データを遠隔制御装置５０に送信するよう制御する。また緊急停止が必要な事象が発生すると通信方式切替部１１５は、遅延量が最も少ない通信方式を選択する。

【0044】

図３は、本開示の実施の形態１に係る遠隔制御装置５０の構成を示す図である。遠隔制御装置５０は、少なくとも１台のサーバ又はＰＣ（Personal Computer）により構築される。遠隔制御装置５０は制御部５１、記憶部５２、入出力部５３、表示部５４及び操作部５５を有する。表示部５４は液晶ディスプレイ又は有機ＥＬ（ＯＥＬ：organic electro-luminescence）ディスプレイを有し、制御部５１により生成された画像を表示する。操作部５５はキーボード、マウス、タッチパネル等の入力装置を有し、ユーザの操作に起因して生成される操作信号を制御部５１に出力する。なお操作部５５には、遠隔運転用のステアリングホイール、アクセルペダル、ブレーキペダル等の模擬的な操縦装置が設けられてもよいが、本実施の形態では必須でない。

【0045】

制御部５１は画像生成部５１１、車両指示信号生成部５１２、画像解析部５１３及び危険範囲決定部５１４を含む。制御部５１の機能はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。プロセッサとしてＣＰＵ、ＧＰＵ、ＤＳＰ等を利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。

【0046】

記憶部５２は例えばＨＤＤ、ＳＳＤで構成される。記憶部５２には、自動運転制御装置１０の記憶部１２に保持された３次元マップと同期が取れている３次元マップ等、自動運転車両１の遠隔監視に必要なデータが保持される。入出力部５３は車両入出力部５３１、画像信号出力部５３２及び操作信号入力部５３３を含む。車両入出力部５３１は、自動運転車両１の自動運転制御装置１０との通信方式に準拠した通信インタフェースを有する。画像信号出力部５３２は、制御部５１により生成された画像信号を表示部５４に出力する。操作信号入力部５３３は、操作部５５から受け付けた操作信号を制御部５１に入力する。

【0047】

画像生成部５１１は、自動運転制御装置１０から受信した検知データ、及び２次元または３次元マップデータをもとに、表示部５４に表示させるべき画像を生成する。画像生成部５１１は、自動運転車両１の可視光カメラ２１で撮影された画像データ、又はＬＩＤＡＲ２２で生成された３次元モデリング画像は基本的にそのまま表示部５４に表示させる。ＧＰＳセンサ２５で検知された自動運転車両１の位置情報、又はミリ波レーダ２３で検知された対象物の情報については、画像生成部５１１は２次元／３次元マップの対応する位置に、自車または対象物のアイコン／ピクトグラムを重畳した画像を生成する。

【0048】

本実施の形態に係る遠隔型自動運転システムでは、自動運転車両１が緊急停止した後の、運転再開の行動決定を遠隔制御装置５０のユーザ（以下、監視者という）が行い、自動運転車両１の他の行動決定は原則的に自動運転制御装置１０が自律的に行うことを想定している。

【0049】

車両指示信号生成部５１２は操作信号入力部５３３を介して、自動運転車両１が自律的に緊急停止した後の、監視者による運転再開操作に基づく操作信号を受け付けたとき、自動運転制御装置１０に運転再開指示信号を送信する。画像解析部５１３及び危険範囲決定部５１４の説明は後述する。

【0050】

図４は、本開示の実施の形態１に係る遠隔型自動運転システムの基本動作を示すフローチャートである。自動運転制御装置１０は、検知部２０により検知された検知データをネットワーク２を介して遠隔制御装置５０に送信する（Ｓ１０）。遠隔制御装置５０は当該検知データを受信し（Ｓ２０）、受信した検知データをもとに監視画像を生成し、表示部５４に表示させる（Ｓ２１）。

【0051】

自動運転制御装置１０は、緊急停止する必要がある事象が発生すると（Ｓ１１のＹ）、自動運転車両１を停止させるとともに（Ｓ１２）、緊急停止信号をネットワーク２を介して遠隔制御装置５０に送信する（Ｓ１３）。緊急停止後も自動運転制御装置１０は、検知部２０により検知された検知データを遠隔制御装置５０に送信し続ける（Ｓ１４）。

【0052】

表示部５４に表示されている監視画像を見ている監視者が行った運転再開操作を受け付けると（Ｓ２４のＹ）、遠隔制御装置５０は運転再開指示信号をネットワーク２を介して自動運転制御装置１０に送信する（Ｓ２５）。自動運転制御装置１０は当該運転再開指示信号を受信すると（Ｓ１７）、自動運転車両１の運転を再開させる（Ｓ１８）。

【0053】

以下、安全性を確保しつつ自動運転制御装置１０と遠隔制御装置５０間の通信量を削減するために自動運転制御装置１０から送信されるデータ量を適応的に調整する例を説明する。

【0054】

図５は、動作例１に係る送信データ量調整方法の処理の流れを示すフローチャートである。自動運転制御装置１０の自律走行制御部１１１は、検知部２０から各種の検知データを取得する（Ｓ１００）。自律走行制御部１１１は、可視光カメラ２１、ＬＩＤＡＲ２２及びミリ波レーダ２３の少なくとも１つから取得された検知データをもとに、自車周辺の対象物の位置情報を特定する。当該対象物は、自車以外の車両、自転車、歩行者、動物などの、走行中の障害物として予め自車運転アルゴリズムに設定された対象物である。なお、対象物の種別及び移動ベクトルの少なくとも一方を検出できる場合は、対象物の種別及び移動ベクトルの少なくとも一方も検出する。

【0055】

危険度算出部１１２は、自車の現在の危険度を算出する（Ｓ１０１）。算出された危険度が予め設定された閾値以下の場合（Ｓ１０２のＮ）、送信データ量調整部１１４は、遠隔制御装置５０に送信する検知データとして、ＧＰＳセンサ２５により検知された自車の位置情報、車速センサ２４により検知された自車の車速情報、及び自車周辺の対象物の情報を選定する。自律走行制御部１１１は、選定された自車の位置情報、自車の車速情報、及び自車周辺の対象物の情報を含む検知データをネットワーク２を介して遠隔制御装置５０に送信する（Ｓ１０３）。

【0056】

上記危険度が上記閾値を超える場合（Ｓ１０２のＹ）、送信データ量調整部１１４は、遠隔制御装置５０に送信する検知データに、可視光カメラ２１により撮像された可視光画像データを含める。当該検知データには可視光画像データに加えて、上述の自車の位置情報、自車の車速情報、及び自車周辺の対象物の情報も含まれる。さらにＬＩＤＡＲ２２により生成された３次元モデリング画像が含まれてもよい。自律走行制御部１１１は、可視光画像データを含む検知データをネットワーク２を介して遠隔制御装置５０に送信する（Ｓ１０４）。以上のステップＳ１００〜ステップＳ１０４までの処理が、自動運転車両１の運転が終了するまで（Ｓ１０５のＹ）、繰り返し実行される（Ｓ１０５のＮ）。

【0057】

図６Ａ、図６Ｂは、動作例１に遠隔制御装置５０の表示部５４に表示される監視画像の一例を示す図である。図６Ａは、上記危険度が上記閾値以下の状態で表示部５４に表示される監視画像５４ａの一例を示している。図６Ａに示す例では、自車の位置情報、及び自車周辺の対象物の位置情報をもとに自車を示すアイコンＣ１ｉと、自車周辺の対象物を示す３つのアイコンＯ１ｉ〜Ｏ３ｉが表示されている。対象物と自車との距離関係は、ＬＩＤＡＲ２２またはミリ波レーダ２３により検知される反射信号により特定することが可能である。また、対象物の動きベクトルを検出することにより、各対象物の進行方向も特定することが可能である。

【0058】

なお、図６Ａに示した自車と対象物との相対的な位置関係を示す俯瞰画像を、２次元マップ画像に重畳させて表示させてもよい。遠隔制御装置５０の画像生成部５１１は記憶部５２から、自車の位置情報に対応するエリアの２次元マップデータを読み込み、当該２次元マップ上に、自車を示すアイコンＣ１ｉと、自車周辺の対象物を示す３つのアイコンＯ１ｉ〜Ｏ３ｉを重畳させる。

【0059】

図６Ｂは、上記危険度が上記閾値を超える状態で表示部５４に表示される監視画像５４ｂの一例を示している。図６Ｂに示す例では、自車の前方を撮影する可視光カメラ２１で生成された可視光画像が表示されている。第１対象物Ｏ１の先行車両、第２対象物Ｏ２の自転車、及び第３対象物Ｏ３の自転車は実写映像で表示される。

【0060】

動作例１によれば、危険度が低い状態では画像データを遠隔制御装置５０に送信しないことにより送信データ量を大幅に削減することができる。一方、危険度が高い状態では画像データを送信することにより、遠隔監視センタ５の監視者が実写映像で車両周辺の状況を確認することができる。従って危険度が高い状態では、監視者による十分な監視体制を確保することができる。

【0061】

図７は、動作例２に係る送信データ量調整方法の処理の流れを示すフローチャートである。自動運転制御装置１０の自律走行制御部１１１は、検知部２０から各種の検知データを取得する（Ｓ１１０）。危険度算出部１１２は、自車の現在の危険度を算出する（Ｓ１１１）。算出された危険度が予め設定された閾値以下の場合（Ｓ１１２のＮ）、送信データ量調整部１１４は、遠隔制御装置５０に送信する検知データに、相対的に低解像度及び低フレームレートの少なくとも一方の可視光画像データを含める。当該検知データには当該可視光画像データに加えて、上述の自車の位置情報、自車の車速情報、及び自車周辺の対象物の情報も含まれる。自律走行制御部１１１は、当該可視光画像データを含む検知データをネットワーク２を介して遠隔制御装置５０に送信する（Ｓ１１３）。

【0062】

上記危険度が上記閾値を超える場合（Ｓ１１２のＹ）、送信データ量調整部１１４は、遠隔制御装置５０に送信する検知データに、相対的に高解像度及び高フレームレートの少なくとも一方の可視光画像データを含める。当該検知データには当該可視光画像データに加えて、上述の自車の位置情報、自車の車速情報、及び自車周辺の対象物の情報も含まれる。自律走行制御部１１１は、当該可視光画像データを含む検知データをネットワーク２を介して遠隔制御装置５０に送信する（Ｓ１１４）。以上のステップＳ１１０〜ステップＳ１１４までの処理が、自動運転車両１の運転が終了するまで（Ｓ１１５のＹ）、繰り返し実行される（Ｓ１１５のＮ）。

【0063】

相対的に高解像度の画像とは例えば、ＨＤ（High-Definition）画質、フルＨＤ画質、４Ｋ画質の画像であり、相対的に低解像度の画像とは例えば、ＱＶＧＡ（Quarter Video Graphics Array）画質、ＶＧＡ（Video Graphics Array）画質、ＨＤ画質の画像である。相対的に高フレームレートの画像とは例えば、１５ｆｐｓ、３０ｆｐｓ、６０ｆｐｓの画像であり、相対的に低フレームレートの画像とは例えば、３〜７ｆｐｓ、１５ｆｐｓの画像である。

【0064】

図８Ａ、図８Ｂは、動作例２に係る遠隔制御装置５０の表示部５４に表示される監視画像の一例を示す図である。図８Ａは、上記危険度が上記閾値以下の状態で表示部５４に表示される監視画像５４ｃの一例を示している。図８Ａに示す例では、自動運転制御装置１０から受信した低解像度の可視光画像が表示されている。図８Ｂは、上記危険度が上記閾値を超える状態で表示部５４に表示される監視画像５４ｄの一例を示している。図８Ｂに示す例では、自動運転制御装置１０から受信した高解像度の可視光画像が表示されている。

【0065】

動作例２によれば、危険度が低い状態では低解像度及び低フレームレートの少なくとも一方の画像データを遠隔制御装置５０に送信することにより送信データ量を削減することができる。一方、危険度が高い状態では高解像度及び高フレームレートの少なくとも一方の画像データを送信することにより、監視者による十分な監視体制を確保することができる。

【0066】

なお、動作例１、２の変形例として上記危険度が上記閾値以下の場合、自動運転制御装置１０からＬＩＤＡＲ２２により検知された３次元モデリング画像を含む検知データを送信し、遠隔制御装置５０の表示部５４に当該３次元モデリング画像を表示させてもよい。３次元モデリング画像は、反射対象物までの距離に応じて濃淡が変わるグレースケールで記述された距離画像であり、可視光画像と比較して解像度も低い。従って可視光画像の代わりに３次元モデリング画像を送信しても、データ量を削減することができる。

【0067】

以下、安全性を確保しつつ自動運転制御装置１０と遠隔制御装置５０間の通信コストを削減するために通信方式を適応的に切り替える例を説明する。

【0068】

図９は、動作例３に係る通信方式切替方法の処理の流れを示すフローチャートである。自動運転制御装置１０の自律走行制御部１１１は、検知部２０から各種の検知データを取得する（Ｓ１２０）。危険度算出部１１２は、自車の現在の危険度を算出する（Ｓ１２１）。算出された危険度が予め設定された閾値以下の場合（Ｓ１２２のＮ）、通信方式切替部１１５は第１通信方式で接続可能か否か判定する（Ｓ１２３）。自車の近傍に無線ＬＡＮルータ装置２ａが存在しない場合は接続不可能となる。第１通信方式で接続可能な場合（Ｓ１２３のＹ）、通信方式切替部１１５は第１通信方式を選択し、自律走行制御部１１１は取得した検知データを第１通信方式を用いて遠隔制御装置５０に送信する（Ｓ１２４）。

【0069】

ステップＳ１２２において上記危険度が上記閾値を超える場合（Ｓ１２２のＹ）、又はステップＳ１２３において第１通信方式で接続不可能な場合（Ｓ１２３のＮ）、通信方式切替部１１５は第２通信方式を選択し、自律走行制御部１１１は取得した検知データを第２通信方式を用いて遠隔制御装置５０に送信する（Ｓ１２５）。以上のステップＳ１２０〜ステップＳ１２５までの処理が、自動運転車両１の運転が終了するまで（Ｓ１２６のＹ）、繰り返し実行される（Ｓ１２６のＮ）。

【0070】

動作例３によれば、危険度が低い状態では第１通信方式を使用することにより通信コストを抑えることができる。一方、危険度が高い状態では第２通信方式を使用することにより通信品質を相対的に高い状態に維持することができ、監視者による十分な監視体制を確保することができる。

【0071】

以下、自動運転制御装置１０と遠隔制御装置５０間の通信遅延量を可及的に小さくするために通信方式を適応的に切り替える例を説明する。

【0072】

図１０は、動作例４に係る通信方式切替方法の処理の流れを示すフローチャートである。自動運転制御装置１０の自律走行制御部１１１は、検知部２０から各種の検知データを取得する（Ｓ１３０）。通信方式切替部１１５は、第１通信方式の通信経路の通信遅延量（以下、第１遅延量という）を推定する（Ｓ１３１）。通信方式切替部１１５は、第２通信方式の通信経路の通信遅延量（以下、第２遅延量という）を推定する（Ｓ１３２）。

【0073】

第１遅延量が第２遅延量以下の場合（Ｓ１３３のＮ）、通信方式切替部１１５は第１通信方式を選択し、自律走行制御部１１１は取得した検知データを第１通信方式を用いて遠隔制御装置５０に送信する（Ｓ１３４）。第１遅延量が第２遅延量より大きい場合（Ｓ１３３のＹ）、通信方式切替部１１５は第２通信方式を選択し、自律走行制御部１１１は取得した検知データを第２通信方式を用いて遠隔制御装置５０に送信する（Ｓ１３５）。以上のステップＳ１３０〜ステップＳ１３５までの処理が、自動運転車両１の運転が終了するまで（Ｓ１３６のＹ）、繰り返し実行される（Ｓ１３６のＮ）。

【0074】

動作例４によれば、通信遅延量が小さい方の通信方式を選択することにより、自動運転制御装置１０と遠隔制御装置５０間の通信遅延量を可及的に小さくすることができる。なお図１０に示す処理は、上記危険度が上記閾値を超える場合に実行し、上記危険度が上記閾値以下の場合は第１遅延量の方が大きい場合でも第１通信方式を優先的に選択してもよい。危険度が低い状態では、通信コストの削減を優先する例である。

【0075】

上記動作例１では、危険度が低い状態では遠隔監視センタ５の監視者は実写映像を見ることができない。また上記動作例２では、危険度が低い状態では監視者は低画質の画像しか見ることができない。監視者が、自動運転制御装置１０より先に危険を予知したり、何らかの違和感を感じた場合、高画質な自動運転車両１の周辺画像を見たい場合がある。

【0076】

遠隔制御装置５０の車両指示信号生成部５１２は操作信号入力部５３３を介して、監視者の高画質画像を要求する操作に基づく操作信号を受け付けたとき、自動運転制御装置１０に高画質画像の要求信号を送信する。自動運転制御装置１０の送信データ量調整部１１４は、当該高画質画像の要求信号を受信すると、自律走行制御部１１１に高画質の画像データを遠隔制御装置５０に送信させる。

【0077】

図１１は、動作例５に係る、高画質画像要求機能が搭載された遠隔型自動運転システムの動作を示すフローチャートである。自動運転制御装置１０は、検知部２０により検知された検知データをネットワーク２を介して遠隔制御装置５０に送信する（Ｓ１０）。遠隔制御装置５０は当該検知データを受信し（Ｓ２０）、受信した検知データをもとに監視画像を生成し、表示部５４に表示させる（Ｓ２１）。表示部５４に表示されている監視画像を見ている監視者による高画質画像を要求する操作を受け付けると（Ｓ２２のＹ）、遠隔制御装置５０は高画質画像の要求信号をネットワーク２を介して自動運転制御装置１０に送信する（Ｓ２３）。自動運転制御装置１０は当該高画質画像の要求信号を受信すると（Ｓ１５）、自動運転制御装置１０は高画質の画像データをネットワーク２を介して遠隔制御装置５０に送信する（Ｓ１６）。

【0078】

自動運転制御装置１０は、緊急停止する必要がある事象が発生すると（Ｓ１１のＹ）、自動運転車両１を停止させるとともに（Ｓ１２）、緊急停止信号をネットワーク２を介して遠隔制御装置５０に送信する（Ｓ１３）。緊急停止後も自動運転制御装置１０は、検知部２０により検知された検知データを遠隔制御装置５０に送信し続ける（Ｓ１４）。

【0079】

表示部５４に表示されている監視画像を見ている監視者が行った運転再開操作を受け付けると（Ｓ２４のＹ）、遠隔制御装置５０は運転再開指示信号をネットワーク２を介して自動運転制御装置１０に送信する（Ｓ２５）。自動運転制御装置１０は当該運転再開指示信号を受信すると（Ｓ１７）、自動運転車両１の運転を再開させる（Ｓ１８）。

【0080】

動作例５によれば、監視者が高画質の画像を見たいときに、高画質の画像に切替えることができ、監視者による十分な監視体制を確保することができる。

【0081】

これまでの説明では、監視者は運転再開操作を行うだけであり、具体的な運転再開のタイミング、及び運転再開時の動き出し時の走行ルートは自動運転制御装置１０が決定していた。しかしながら遠隔制御装置５０から運転再開指示を受信した自動運転制御装置１０が、自律的に運転を再開することが難しい場合がある。例えば、回避することが困難な障害物を検出した場合が挙げられる。具体的には障害物を回避する走行スペースがない場合、中央線を跨いだ追越が必要な場合、カーブまたは横断歩道で追越が必要な場合などである。また細い道路で対向車と遭遇して停止した場合も運転再開が難しい場合に該当する。また、検問、事故、又は道路工事による交通規制により緊急停止した場合も、自動運転制御装置１０が運転再開のタイミング及び運転再開時の動き出しの走行ルートを決定することが難しい。そこで運転再開時の動き出しの走行ルートを監視者が指定することが考えられる。

【0082】

図１２は、動作例６に係る、運転再開時の走行ルートの指定機能が搭載された遠隔型自動運転システムの動作を示すフローチャートである。自動運転制御装置１０は、検知部２０により検知された検知データをネットワーク２を介して遠隔制御装置５０に送信する（Ｓ１０）。遠隔制御装置５０は当該検知データを受信し（Ｓ２０）、受信した検知データをもとに監視画像を生成し、表示部５４に表示させる（Ｓ２１）。

【0083】

自動運転制御装置１０は、緊急停止する必要がある事象が発生すると（Ｓ１１のＹ）、自動運転車両１を停止させるとともに（Ｓ１２）、緊急停止信号をネットワーク２を介して遠隔制御装置５０に送信する（Ｓ１３）。緊急停止後も自動運転制御装置１０は、検知部２０により検知された検知データを遠隔制御装置５０に送信し続ける（Ｓ１４）。

【0084】

表示部５４に表示されている監視画像を見ている監視者が行った、運転再開時の動き出しの走行ルートの指定を含む運転再開操作を受け付けると（Ｓ２４ａのＹ）、遠隔制御装置５０は、動き出しの走行ルートを含む運転再開指示信号をネットワーク２を介して自動運転制御装置１０に送信する（Ｓ２５ａ）。自動運転制御装置１０は動き出しの走行ルートを含む運転再開指示信号を受信すると（Ｓ１７ａ）、当該走行ルートで自動運転車両１の運転を再開させる（Ｓ１８）。

【0085】

図１３は、動作例６に係る、遠隔制御装置５０の表示部５４に表示される監視画像５４ｅ上で走行ルートを指定する場合の一例を示す図である。図１３に示す監視画像５４ｅは、自車を含む俯瞰画像である。監視画像５４ｅ内において、第４対象物Ｏ４として前方に故障で停車している車両が検出され、第５対象物Ｏ５として三角案内板が検出されている。自動運転制御装置１０の自律走行制御部１１１が、自車と第４対象物Ｏ４との距離接近、又は第５対象物Ｏ５の検出に基づき自車を緊急停止させた状態である。自律走行制御部１１１は基本的に、中央線を跨いだ追越をしないアルゴリズムになっている。

【0086】

監視者はタッチパネルディスプレイ上で、運転再開時の動き出しの走行ルートＲ１を指で軌跡を描いて指定する。また、スタイラスペン等のポインティングデバイスで軌跡を描いてもよい。なお、タッチパネル機能を搭載しないディスプレイの場合、マウス操作で走行ルートＲ１を指定する。

【0087】

動作例６によれば、自動運転制御装置１０が緊急停止した後に、自律走行制御部１１１が運転再開時の走行ルートを決定することが困難な場合でも、監視者が運転再開時の走行ルートを指定することにより、迅速な運転再開が可能となる。従って、自動運転車両１が一定の場所に長時間停止して、道路運行の妨げになることを回避することができる。なお自動運転車両１が障害物を回避する走行ルートがない場合、監視者は目的地までの移動ルートを変更して、自動運転車両１をＵターンさせることができる。

【0088】

動作例６において監視者により指定された走行ルートが、物理上または安全基準上、走行できないルートである場合がある。例えば、物理的に通れないルートが指定された場合、又は状況の変化により安全に走行できなくなった場合、自動運転制御装置１０の自律走行制御部１１１は、遠隔制御装置５０から指定された走行ルートを却下する。その後、自律走行制御部１１１は、現在の状況に応じて自律的に走行ルートを決定し、当該走行ルートを遠隔制御装置５０に通知して許可を求める。なお、物理的に走行ルートを確保できない場合は、自律走行制御部１１１は走行不可能を遠隔制御装置５０に通知する。

【0089】

図１４は、動作例７に係る、運転再開時の走行ルートの指定機能が搭載された遠隔型自動運転システムの動作を示すフローチャートである。自動運転制御装置１０は、検知部２０により検知された検知データをネットワーク２を介して遠隔制御装置５０に送信する（Ｓ１０）。遠隔制御装置５０は当該検知データを受信し（Ｓ２０）、受信した検知データをもとに監視画像を生成し、表示部５４に表示させる（Ｓ２１）。

【0090】

自動運転制御装置１０は、緊急停止する必要がある事象が発生すると（Ｓ１１のＹ）、自動運転車両１を停止させるとともに（Ｓ１２）、緊急停止信号をネットワーク２を介して遠隔制御装置５０に送信する（Ｓ１３）。緊急停止後も自動運転制御装置１０は、検知部２０により検知された検知データを遠隔制御装置５０に送信し続ける（Ｓ１４）。

【0091】

表示部５４に表示されている監視画像を見ている監視者が行った、運転再開時の動き出しの走行ルートの指定を含む運転再開操作を受け付けると（Ｓ２４ａのＹ）、遠隔制御装置５０は、動き出しの走行ルートを含む運転再開指示信号をネットワーク２を介して自動運転制御装置１０に送信する（Ｓ２５ａ）。

【0092】

自動運転制御装置１０は、動き出しの走行ルートを含む運転再開指示信号を受信すると（Ｓ１７ａ）、物理上または安全基準上、当該走行ルートで運転再開が可能であるか否か判定する（Ｓ１７ｂ）。運転可能である場合（Ｓ１７ｂのＹ）、当該走行ルートで自動運転車両１の運転を再開させる（Ｓ１８）。運転不可能である場合（Ｓ１７ｂのＮ）、自動運転制御装置１０は、現在の状況に応じて最適な走行ルートを導出し（Ｓ１７ｃ）、導出した走行ルートをネットワーク２を介して遠隔制御装置５０に送信する（Ｓ１７ｄ）。

【0093】

遠隔制御装置５０は当該走行ルートを受信し（Ｓ２６）、受信した走行ルートを監視画像内に表示する（Ｓ２７）。当該監視画像を見ている監視者が行った、当該走行ルートを許可する操作を受け付けると（Ｓ２８のＹ）、遠隔制御装置５０は、当該走行ルートの許可信号をネットワーク２を介して自動運転制御装置１０に送信する（Ｓ２９）。自動運転制御装置１０は当該許可信号を受信すると（Ｓ１７ｅ）、当該走行ルートで自動運転車両１の運転を再開させる（Ｓ１８）。なお監視者が当該走行ルートを許可しない場合は、監視者が新たな走行ルートを指定する必要がある。

【0094】

図１５は、動作例７に係る、遠隔制御装置５０の表示部５４に表示される監視画像５４ｆ上で走行ルートを指定する場合の一例を示す図である。図１５に示す監視画像５４ｆにおける走行ルートＲ１は、図１３に示した監視画像５４ｅ上で監視者が指定した走行ルートである。図１５に示す監視画像５４ｆは、監視者による走行ルートの指定後に、故障で停車中の車両から人物が降りてきた状況を示している。自律走行制御部１１１は第６対象物Ｏ６として車両から降りてきた人物を検出すると、監視者に指定された走行ルートを却下し、第６対象物Ｏ６からより離れた位置を通る走行ルートＲ２を導出する。自律走行制御部１１１は導出した走行ルートＲ２を遠隔制御装置５０に送信し、遠隔制御装置５０の表示部５４に走行ルートＲ２が表示される。

【0095】

動作例７によれば、監視者が指定した運転再開時の走行ルートが物理上または安全基準上、走行できないルートである場合、自動運転制御装置１０が走行可能な別の走行ルートを導出して遠隔制御装置５０に送信して許可を求める。これにより、運転再開時の安全性を向上させることができる。

【0096】

動作例６、７では監視者が自動運転車両１の移動軌跡を指定することにより、走行ルートを指定した。この点、移動先の目標場所を指定することにより走行ルートを指定してもよい。例えば、路肩に車両を一旦移動させたい場合、路肩の所定位置を指定する。

【0097】

図１６は、動作例６、７の変形例に係る、遠隔制御装置５０の表示部５４に表示される監視画像５４ｇ上で走行ルートを指定する場合の一例を示す図である。図１６に示す監視画像５４ｇにおいて、監視者は移動先の目標場所Ｓ１を指定する。例えば、目標場所Ｓ１の４隅の点をマウス操作で指定してもよい。自動運転制御装置１０の自律走行制御部１１１は、遠隔制御装置５０から指定された移動先の目標場所Ｓ１を、新たな目的地に設定して当該目的地に向けて自律走行を再開する。

【0098】

これまで説明してきたように自動運転車両１の緊急停止後の運転再開の判断は、遠隔監視センタ５の監視者により行われる。監視者による判断の精度を向上させるには、監視者に適切な判断材料を与える必要がある。自動運転車両１の運転再開時に発生する危険を回避するには、自動運転車両１の周囲に障害物が存在しないことを監視者が確認する必要がある。どの範囲に障害物が存在しなければ運転再開してよいか判断するための客観的な判断基準を提示できれば、監視者にとって有益な情報となり、判断のばらつきを抑えることにもつながる。そこで遠隔制御装置５０の表示部５４に表示される自動運転車両１の周囲に、危険範囲を示す危険範囲オブジェクトを重畳させて表示させることが考えられる。

【0099】

図１７は、動作例８に係る、危険範囲オブジェクトを含む監視画像の表示方法の処理の流れを示すフローチャートである。遠隔制御装置５０の画像生成部５１１は、自動運転制御装置１０からネットワーク２を介して検知データを受信する（Ｓ２００）。危険範囲決定部５１４は、自動運転制御装置１０からネットワーク２を介して、自動運転制御装置１０と遠隔制御装置５０間の通信遅延量を受信する（Ｓ２０１）。なお、当該通信遅延量は遠隔制御装置５０側で推定してもよい。

【0100】

危険範囲決定部５１４は、受信した通信遅延量をもとに自動運転車両１の周囲の危険範囲を決定する（Ｓ２０２）。危険範囲決定部５１４は、通信遅延量が大きいほど危険範囲を広くする。画像生成部５１１は、算出された危険範囲に対応する危険範囲オブジェクトを生成し、生成した危険範囲オブジェクトを自動運転車両１に重畳した監視画像を生成する。画像生成部５１１は、生成した監視画像を表示部５４に表示させる（Ｓ２０３）。以上のステップＳ２００〜ステップＳ２０３までの処理が、自動運転車両１の運転が終了するまで（Ｓ２０４のＹ）、繰り返し実行される（Ｓ２０４のＮ）。

【0101】

図１８Ａ、図１８Ｂは、動作例８に係る遠隔制御装置５０の表示部５４に表示される監視画像の一例を示す図である。図１８Ａは、上記通信遅延量が相対的に小さい状態で表示部５４に表示される監視画像５４ｈの一例を示している。監視画像５４ｈ内において、第７対象物Ｏ７として先行車両が検出され、第８対象物Ｏ８として自転車が検出されている。自車の位置を中心とする円形の危険範囲オブジェクトＺ１が、実写映像上に重畳して表示されている。

【0102】

図１８Ｂは、上記通信遅延量が相対的に大きい状態で表示部５４に表示される監視画像５４ｉの一例を示している。図１８Ａと比較して、危険範囲オブジェクトＺ１の大きさが拡大している。通信遅延量が大きいほど監視画像の信頼性が低下するため、その分、危険範囲を大きく表示させている。なお、危険範囲オブジェクトＺ１の形状は真円に限るものではなく、進行方向に伸びた楕円形状であってもよい。また多角形の形状であってもよい。

【0103】

客観的に緊急停止すべき事象が発生していない場合でも、センサの誤検知により自律走行制御部１１１が自動運転車両１を緊急停止させてしまう場合がある。この場合、遠隔監視センタ５の監視者は迅速に運転再開を指示することが求められる。その際、監視画像５４ｈ、５４ｉ内に危険範囲オブジェクトＺ１が表示されていれば、監視者は運転再開の判断を瞬時に行うことができる。即ち、危険範囲オブジェクトＺ１内に障害物が存在しなければ、安全に運転再開できると客観的かつ一意的に判断することができる。

【0104】

危険範囲オブジェクトＺ１は、監視者の責任範囲を明確化することにも寄与する。即ち、危険範囲オブジェクトＺ１内に障害物が存在しない状態で監視者が運転再開を指示した場合、突発的な事象により仮に自動運転車両１の周囲で危険が発生した場合でも監視者は免責される。

【0105】

動作例８によれば、監視画像に危険範囲オブジェクトを重畳して表示させることにより、監視者による運転再開の判断の精度を向上させることができる。また通信遅延量に応じて危険範囲オブジェクトの大きさを動的に変化させることにより、通信遅延量による実際の危険範囲との誤差を補償することができる。

【0106】

図１９は、動作例９に係る、危険範囲オブジェクトを含む監視画像の表示方法の処理の流れを示すフローチャートである。遠隔制御装置５０の画像生成部５１１は、自動運転制御装置１０からネットワーク２を介して検知データを受信する（Ｓ２１０）。危険範囲決定部５１４は、自動運転制御装置１０からネットワーク２を介して、自動運転制御装置１０の危険度を受信する（Ｓ２１１）。

【0107】

危険範囲決定部５１４は、受信した危険度をもとに自動運転車両１の周囲の危険範囲を決定する（Ｓ２１２）。危険範囲決定部５１４は、危険度が高いほど危険範囲を広くする。画像生成部５１１は、算出された危険範囲に対応する危険範囲オブジェクトを生成し、生成した危険範囲オブジェクトを自動運転車両１に重畳した監視画像を生成する。画像生成部５１１は、生成した監視画像を表示部５４に表示させる（Ｓ２１３）。以上のステップＳ２１０〜ステップＳ２１３までの処理が、自動運転車両１の運転が終了するまで（Ｓ２１４のＹ）、繰り返し実行される（Ｓ２１４のＮ）。

【0108】

動作例９によれば、監視画像に危険範囲オブジェクトを重畳して表示させることにより、監視者による運転再開の判断の精度を向上させることができる。また自動運転車両１の危険度に応じて危険範囲オブジェクトの大きさを動的に変化させることにより、運転再開時の安全性を十分に確保することができる。

【0109】

監視者による運転再開の判断の精度を向上させるには、通信遅延による誤差を考慮する必要があるが、通信遅延を可視化して監視画像内に表示させることにより、監視者に通信遅延を直感的に認識させることが考えられる。

【0110】

図２０は、動作例１０に係る、通信遅延が可視化された監視画像の表示方法の処理の流れを示すフローチャートである。遠隔制御装置５０の画像生成部５１１は、自動運転制御装置１０からネットワーク２を介して検知データを受信する（Ｓ２２０）。この検知データには自動運転車両１の車速情報も含まれる。画像生成部５１１は、自動運転制御装置１０からネットワーク２を介して、自動運転制御装置１０と遠隔制御装置５０間の通信遅延量を受信する（Ｓ２２１）。なお、当該通信遅延量は遠隔制御装置５０側で推定してもよい。

【0111】

画像解析部５１３は、受信された画像データの各フレーム内から移動体を検出する（Ｓ２２２）。画像解析部５１３は、障害物として認識するよう予め登録された移動体の識別子を用いてフレーム内を探索し、移動体を検出する。画像解析部５１３は、画像データのフレーム内で検出された移動体の移動速度を推定する（Ｓ２２３）。画像解析部５１３は、現フレームで検出された移動体の位置と、過去フレームで検出された当該移動体の位置との差分を検出して当該移動体の動きベクトルを検出する。画像解析部５１３は、連続する２枚のフレーム間の動きベクトルを順次検出していき、検出した動きベクトルの平均値を算出することにより当該移動体の移動速度を推定することができる。なお、移動体の移動速度をオプティカルフロー法を用いて検出してもよい。

【0112】

画像解析部５１３は、実際の自動運転車両１の現在位置を、受信した通信遅延量と自動運転車両１の車速をもとに推定する（Ｓ２２４）。画像解析部５１３は、車速（秒速）に通信遅延量を掛けた値を、自動運転車両１の進行方向に移動させた位置を自動運転車両１の現在位置と推定する。自動運転車両１の進行方向は例えば、ＧＰＳセンサ２５により検知された位置情報の動きベクトルを検出することにより推定することができる。

【0113】

画像解析部５１３は、実際の移動体の現在位置を、受信した通信遅延量と推定した移動体の移動速度をもとに推定する（Ｓ２２５）。画像解析部５１３は、移動速度（秒速）に通信遅延量を掛けた値を、当該移動体の移動方向にずらした位置を当該移動体の現在位置と推定する。

【0114】

画像生成部５１１は、推定された現在位置の自動運転車両１及び移動体を重畳させた監視画像を生成する（Ｓ２２６）。当該監視画像は、画像データで特定される自動運転車両１及び移動体と、推定された現在位置の自動運転車両１及び移動体が併存した画像となる。以上のステップＳ２２０〜ステップＳ２２６までの処理が、自動運転車両１の運転が終了するまで（Ｓ２２７のＹ）、繰り返し実行される（Ｓ２２７のＮ）。なお自動運転制御装置１０から移動体の位置、進行方向、及び移動速度が受信できる場合は、ステップＳ２２２及びステップＳ２２３の処理は省略可能である。

【0115】

図２１は、動作例１０に係る遠隔制御装置５０の表示部５４に表示される監視画像５４ｊの一例を示す図である。監視画像５４ｊ内には、通信遅延が補正されない状態の自車Ｃ１（即ち、画像データに規定されている自車）と、通信遅延が補正された状態の自車Ｃ１ａ（推定された現在位置の自車）が両方表示されている。また通信遅延が補正されていない状態の第９対象物Ｏ９（自転車）と、通信遅延が補正された状態の第９対象物Ｏ９ａが両方表示されている。

【0116】

動作例１０によれば、通信遅延を補正した自動運転車両１及び移動体の少なくとも一方を監視画像内に表示させることにより、監視者による運転再開の判断の精度を向上させることができる。

【0117】

図２２は、動作例１１に係る、通信遅延が可視化された監視画像の表示方法の処理の流れを示すフローチャートである。遠隔制御装置５０の画像生成部５１１は、自動運転制御装置１０からネットワーク２を介して検知データを受信する（Ｓ２２０）。画像生成部５１１は、自動運転制御装置１０からネットワーク２を介して、自動運転制御装置１０と遠隔制御装置５０間の通信遅延量を受信する（Ｓ２２１）。

【0118】

画像解析部５１３は、受信された画像データの各フレーム内から移動体を検出する（Ｓ２２２）。画像解析部５１３は、画像データのフレーム内で検出された移動体の移動速度を推定する（Ｓ２２３）。画像解析部５１３は、実際の自動運転車両１の現在位置を、受信した通信遅延量と自動運転車両１の車速をもとに推定する（Ｓ２２４）。画像解析部５１３は、実際の移動体の現在位置を、受信した通信遅延量と推定した移動体の移動速度をもとに推定する（Ｓ２２５）。

【0119】

危険範囲決定部５１４は、自動運転制御装置１０からネットワーク２を介して、自動運転制御装置１０の危険度を受信する（Ｓ２２５ａ）。危険範囲決定部５１４は、受信した危険度をもとに自動運転車両１の周囲の危険範囲を決定する（Ｓ２２５ｂ）。

【0120】

画像生成部５１１は、推定された現在位置の自動運転車両１及び移動体、並びに危険範囲及オブジェクトを重畳させた監視画像を生成する（Ｓ２２６ａ）。以上のステップＳ２２０〜ステップＳ２２６ａまでの処理が、自動運転車両１の運転が終了するまで（Ｓ２２７のＹ）、繰り返し実行される（Ｓ２２７のＮ）。

【0121】

図２３は、動作例１１に係る遠隔制御装置５０の表示部５４に表示される監視画像５４ｋの一例を示す図である。監視画像５４ｋは、図２１に示した監視画像５４ｊと比較して、通信遅延が補正された状態の自車Ｃ１ａを中心とした危険範囲オブジェクトＺ１がさらに重畳されて表示されている。危険範囲オブジェクトＺ１の表示位置は、通信遅延が補正されない状態の自車Ｃ１を中心とした位置より、通信遅延が補正された状態の自車Ｃ１ａを中心とした位置の方が、実態に即しており望ましい。なお危険範囲オブジェクトＺ１の大きさは、図２２で示したように危険度に応じて動的に変化してもよいし、固定であってもよい。

【0122】

動作例１１によれば、通信遅延を補正した自動運転車両１及び移動体の少なくとも一方、並びに危険範囲オブジェクトを監視画像内に表示させることにより、監視者による運転再開の判断の精度をさらに向上させることができる。

【0123】

（実施の形態２）
上述のように、自動運転車両１と遠隔制御装置５０間は無線による通信を行っているため、自動運転車両１から遠隔制御装置５０に送信される車載カメラの映像には通信遅延が伴う。従って、遠隔側の監視者は通信遅延分、過去の映像を見ていることになる。通信遅延量が大きい場合、監視者の状況認識にずれが生じることになり、適切な遠隔制御を実現できない場合が発生する。

【0124】

本開示の実施の形態２はこうした状況に鑑みなされたものであり、実施の形態２の目的は、遠隔側の監視者／操縦者が、自動運転車両１の状況をより正確に把握するための技術を提供することにある。遠隔型自動運転システムの全体構成は実施の形態１と同様である。

【0125】

図２４は、本開示の実施の形態２に係る自動運転車両１の構成を示す図である。自動運転車両１は、自動運転制御装置１０、検知部２０及びアクチュエータ３０を有する。アクセルペダル、ブレーキペダル、ステアリングホイール等の運転手による運転操作に必要な部材は車両内に設置されてもよいし、省略されてもよい。

【0126】

アクチュエータ３０は、エンジン、モータ、ステアリング、ブレーキ、ランプ等の車両走行に係る負荷を駆動するものである。検知部２０は、可視光カメラ２１、ＬＩＤＡＲ（Light Detection and Ranging）２２、ミリ波レーダ２３、車速センサ２４、ＧＰＳセンサ２５、舵角センサ２６を含む。

【0127】

可視光カメラ２１は、車両前方、進行方向の周囲を撮影可能な位置に少なくとも１つ設置される。前方を撮影可能な可視光カメラ２１は、単眼カメラであってもよいし、複眼カメラであってもよい。複眼カメラを使用する場合、視差映像をもとに対象物までの距離を推定することができる。また可視光カメラ２１は、車両の前方、後方、左右の４箇所に設置されてもよい。この場合、４つの可視光カメラ２１で撮影された前方画像、後方画像、左側画像、右側画像を合成することにより俯瞰画像／全方位画像が生成可能となる。

【0128】

可視光カメラ２１は、それぞれ撮像回路として、固体撮像素子（例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、ＣＣＤ（Charge-Coupled Device）イメージセンサ）と信号処理回路を含む。固体撮像素子は、レンズを透過して入射された光を電気信号に変換する。信号処理回路は、アナログ信号からデジタル信号への変換、ノイズ除去などの信号処理を行う。信号処理された画像データは、自動運転制御装置１０に出力される。

【0129】

ＬＩＤＡＲ２２は、車両の周囲に光線（例えば、赤外線レーザ）を放射して、その反射信号を受信し、受信した反射信号をもとに周囲に存在する対象物との距離、対象物の大きさ、対象物の組成を測定する。複数のＬＩＤＡＲ２２または可動式のＬＩＤＡＲ２２を設置することにより、対象物の移動速度も測定することができる。また、車両周囲の３次元モデリング画像を生成することができる。

【0130】

ミリ波レーダ２３は、車両の周囲に電波（ミリ波）を放射して、その反射信号を受信し、受信した反射信号をもとに周囲に存在する対象物までの距離を測定する。複数のミリ波レーダ２３を設置することにより、車両周囲の広範囲の対象物を検出することができる。ミリ波レーダ２３は、ＬＩＤＡＲ２２で検出困難な、より遠方の対象物も検出可能である。

【0131】

車速センサ２４は自動運転車両１の速度を検出する。ＧＰＳセンサ２５は自動運転車両１の位置情報を検出する。具体的には複数のＧＰＳ衛星からそれぞれ発信時刻を受信し、受信した複数の発信時刻をもとに受信地点の緯度経度を算出する。舵角センサ２６は、自動運転車両１の操舵輪の舵角を検出する。

【0132】

自動運転制御装置１０は制御部１１、記憶部１２及び入出力部１３を有する。制御部１１は自律走行制御部１１１、危険度算出部１１２、画像圧縮符号化部１１６、送信データ生成部１１７及び遠隔走行制御部１１８を含む。制御部１１の機能はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。プロセッサとしてＣＰＵ、ＧＰＵ、ＤＳＰ等を利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。

【0133】

記憶部１２は例えばＨＤＤ、ＳＳＤで構成される。記憶部１２には、３次元マップ等の自律走行に必要なデータが保持される。入出力部１３は無線通信部１３１ａ、検知データ入力部１３２及び制御信号出力部１３３を含む。無線通信部１３１ａは、アンテナ、ＲＦ（Radio Frequency）部、ベースバンド部を含み、無線ＬＡＮルータ装置２ａ又は基地局装置２ｂと無線通信を行う。検知データ入力部１３２は、検知部２０から各種の検知データを取得し、制御部１１に出力する。制御信号出力部１３３は、制御部１１で生成された各種のアクチュエータ３０を駆動するための制御信号を各種のアクチュエータ３０に出力する。

【0134】

自律走行制御部１１１は所定の自動運転アルゴリズムに基づき、自動運転車両１を自律走行させる。具体的には自律走行制御部１１１は、検知部２０により検知された各種検知データ、及び無線により外部から収集した各種の情報に基づき、自車および自車周辺の状況を認識する。自律走行制御部１１１は、認識した状況を示す各種パラメータを自動運転アルゴリズムに適用して自動運転車両１の行動を決定する。自律走行制御部１１１は決定した行動をもとに、各種のアクチュエータ３０を駆動するための制御信号を生成し、アクチュエータ３０に出力する。

【0135】

自動運転アルゴリズムは、ディープラーニングをもとにした人工知能（ＡＩ:Artificial Intelligence）により生成される。自動運転アルゴリズムの各種パラメータは、事前にハイスペックなコンピュータにより学習された値に初期設定されるとともに、クラウド上のデータセンタからアップデートされた値が適宜、ダウンロードされる。

【0136】

危険度算出部１１２は、ＬＤＷ（Lane Departure Warning）、ＦＣＷ（Forward collision warning）、急ハンドル、急ブレーキ、時間帯、場所、天候などの各種パラメータをもとに自動運転車両１の現在の危険度を算出する。例えば、ＬＤＷ、ＦＣＷ、急ハンドル及び急ブレーキのいずれかの事象が発生した場合、危険度は大きく上昇する。

【0137】

また危険度算出部１１２は、ディープラーニングをもとにした人工知能により生成された危険予知アルゴリズムに基づき自動運転車両１の現在の危険度を算出してもよい。この場合、検知部２０により検知された各種データを加味して危険度を算出することができる。危険度は例えば、０〜１００の範囲の値で規定される。

【0138】

画像圧縮符号化部１１６は、可視光カメラ２１から取得される画像データを圧縮符号化する。例えば、ＭＰＥＧ（Motion Picture Experts Group）系の圧縮符号化規格に従い画像データを圧縮符号化する。なお圧縮符号化の前処理として、画素間引き及びフレーム間引きの少なくとも一方を行ってもよい。例えば、３０Ｈｚ／６０Ｈｚで撮像された映像を、１５Ｈｚ／３０Ｈｚの映像に変換してもよい。この場合、画質は低下するが通信量を削減することができる。

【0139】

送信データ生成部１１７は、無線通信部１３１ａを介して遠隔制御装置５０に送信するデータを生成する。送信データ生成部１１７は、遠隔制御装置５０に送信するデータに、可視光カメラ２１により撮像され、画像圧縮符号化部１１６により圧縮符号化された画像データを含める。なお４つの可視光カメラ２１が設置されている場合、４チャンネルでそれぞれの画像データを送信する。なお、自動運転制御装置１０側で４つの可視光カメラ２１で撮影された前方画像、後方画像、左側画像、右側画像を合成して全方位画像を生成し、全方位画像を圧縮符号化して送信する方式でもよい。

【0140】

また送信データ生成部１１７は、遠隔制御装置５０に送信するデータに、自動運転制御装置１０の走行速度、舵角、現在位置を含む状態データを含める。当該状態データには必要に応じて、危険度算出部１１２により算出された危険度が含められる。画像データと状態データは、１チャンネルに重畳されて送信されてもよいし、別チャンネルで送信されてもよい。

【0141】

遠隔走行制御部１１８は、遠隔制御装置５０から送信されてくる制御コマンドをもとに、各種のアクチュエータ３０を駆動するための制御信号を生成し、アクチュエータ３０に出力する。本実施の形態に係る自動運転車両１は基本的に、自律モードで走行するが、道路環境や気象条件の悪化などにより自律走行が困難になる場合がある。その場合、遠隔操作モードに切り替えられる。また緊急停止後の運転再開時にも、一時的に遠隔操作モードに切り替えられる。また自動運転車両１がタクシーやバスの場合、乗降時に顧客対応のために遠隔操作モードに切り替えられてもよい。

【0142】

図２５は、本開示の実施の形態２に係る遠隔制御装置５０の構成を示す図である。遠隔制御装置５０は、少なくとも１台のサーバ又はＰＣと操縦桿により構築される。遠隔制御装置５０は制御部５１、記憶部５２、入出力部５３、表示部５４、操作部５５及び操縦部５６を有する。表示部５４は液晶ディスプレイ又は有機ＥＬディスプレイを有する。操作部５５はキーボード、マウス、タッチパネル等の入力装置を有し、ユーザの操作に起因して生成される操作信号を制御部５１に出力する。

【0143】

操縦部５６は、自動運転車両１の運転席の操縦桿を模した、遠隔操縦用の操縦桿を有する。具体的にはステアリングホイール５６１、アクセルペダル５６２、ブレーキペダル５６３及びウインカスイッチ５６４を有する。さらに、ギアレバー、及びスピードメータやタコメータ等のメータを有してもよい。なお、メータは画像として表示部５４に表示させてもよい。なお図２５には示していないが、自動運転車両１に乗車中の顧客と会話するための音声インタフェースとして、マイク及びスピーカが設けられてもよい。

【0144】

制御部５１は画像伸張復号部５１５、遅延時間検出部５１６、切出部５１７、サイズ変換部５１８、車両指示信号生成部５１２、画像解析部５１３、危険範囲決定部５１４及びオブジェクト重畳部５１９を含む。制御部５１の機能はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。プロセッサとしてＣＰＵ、ＧＰＵ、ＤＳＰ等を利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。

【0145】

記憶部５２は例えばＨＤＤ、ＳＳＤで構成される。記憶部５２には、自動運転制御装置１０の記憶部１２に保持された３次元マップと同期が取れている３次元マップ等、自動運転車両１の遠隔監視／遠隔操縦に必要なデータが保持される。入出力部５３は通信部５３１ａ、画像信号出力部５３２及び操作信号入力部５３３を含む。通信部５３１ａは、ルータ装置２ｄと有線／無線で接続するためのＬＡＮコネクタを有する。画像信号出力部５３２は、表示部５４に接続するためのインタフェースであり、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）コネクタを有する。画像信号出力部５３２は、自動運転車両１の可視光カメラ２１で撮像された映像を表示部５４に出力する。操作信号入力部５３３は、操作部５５から受け付けた操作信号を制御部５１に入力する。

【0146】

画像伸張復号部５１５は、自動運転制御装置１０から通信部５３１ａを介して受信した、圧縮符号化された画像データを伸張復号する。遅延時間検出部５１６は、自動運転制御装置１０が送信した画像データを、ネットワーク２を介して遠隔制御装置５０が受信するまでの通信遅延時間を検出する。遅延時間検出部５１６は、自動運転制御装置１０が画像データを送信した送信時刻と、当該画像データを遠隔制御装置５０が受信した受信時刻との差分をもとに通信遅延時間を検出する。

【0147】

具体的には、画像データに含まれる送信時刻のタイプスタンプと、受信時刻との差分をもとに通信遅延時間を算出する。本実施の形態では当該通信遅延時間に、自動運転制御装置１０の画像圧縮符号化部１１６による圧縮符号化処理にかかる標準処理時間と、遠隔制御装置５０の画像伸張復号部５１５による伸張復号処理にかかる標準処理時間を加えて、最終的な通信遅延時間とする。なお、圧縮符号化処理および伸張復号処理にかかる時間が、無視できる程度に小さい場合は、当該加算処理は不要である。

【0148】

切出部５１７は、自動運転制御装置１０から受信した映像に含まれるフレーム画像から、所定範囲の画像を切り出す。切出部５１７は、自動運転制御装置１０から受信した自動運転車両１の速度、舵角、及び遅延時間検出部５１６により検出された通信遅延時間をもとに、フレーム画像から切り出す範囲を決定する。

【0149】

具体的には切出部５１７は、自動運転車両１の速度、舵角及び通信遅延時間をもとに自動運転車両１の現在位置に応じた視点を推定する。即ち、切出部５１７は自動運転車両１の速度及び舵角をもとに、通信遅延時間の間に自動運転車両１が移動した動きベクトルを推定し、自動運転車両１の現在位置と向きを推定する。切出部５１７は、推定した自動運転車両１の現在位置の視点から見えると推定される推定画像を、フレーム画像内の所定範囲を切り出すことにより抽出する。

【0150】

サイズ変換部５１８は、切出部５１７により切り出された画像を、表示部５４の表示サイズに応じたサイズの画像に変換する。本実施の形態では、自動運転車両１の前方映像を表示部５４に表示することを想定している。即ち、自動運転車両１に運転手が乗っていると仮定した場合の運転手の視点（以下、仮想視点という）から見える前方映像を表示することを想定している。この場合、自動運転車両１が前進している場合、フレーム画像内の前方の風景に対して、通信遅延時間の間に仮想視点がより近づいていることになる。従って、フレーム画像内の所定範囲を切り出して、切り出した範囲の画像を拡大することにより、現在位置の仮想視点から見えると推定される推定画像を生成することができる。

【0151】

サイズ変換部５１８は、切出部５１７により切り出された画像を画素補間することにより、切り出された画像のサイズを拡大することができる。画素補間として例えば、バイリニア法、バイキュービック法、Lanczos法などを用いることができる。

【0152】

車両指示信号生成部５１２は、操作部５５又は操縦部５６に対して与えられた操作／操縦にもとづき、自動運転車両１を遠隔操作／遠隔操縦するための制御コマンドを生成する。通信部５３１ａは、生成された制御コマンドをネットワーク２を介して自動運転制御装置１０に送信する。

【0153】

画像解析部５１３は、自動運転制御装置１０から受信した映像に含まれる各フレーム画像内から移動体を検出する。画像解析部５１３は、障害物として認識するよう予め登録された移動体の識別子を用いてフレーム画像内を探索し、移動体を検出する。画像解析部５１３は、フレーム画像内で検出された移動体の動きベクトルを推定する。具体的には画像解析部５１３は、現フレーム画像で検出された移動体の位置と、過去フレーム画像で検出された当該移動体の位置との差分を検出して当該移動体の動きベクトルを検出する。

【0154】

危険範囲決定部５１４は、自動運転制御装置１０からネットワーク２を介して受信した危険度をもとに自動運転車両１の周囲の危険範囲を決定する。危険範囲決定部５１４は、危険度が高いほど危険範囲の面積を広くする。また画像解析部５１３により検出された移動体の動きベクトルの方向が、自動運転車両１に接近するものである場合、危険範囲決定部５１４は、危険範囲を広くする。その際、移動ベクトルの速さが速いほど、危険範囲の面積を広くする。

【0155】

オブジェクト重畳部５１９は、表示部５４に表示すべき映像に含まれるフレーム画像に、危険範囲決定部５１４により決定された危険範囲に対応する危険範囲オブジェクトを重畳する。画像信号出力部５３２は、危険範囲オブジェクトが重畳されたフレーム画像を表示部５４に出力する。

【0156】

図２６は、本開示の実施の形態２に係る遠隔制御装置５０が、自動運転車両１から受信した映像を表示する際の基本処理の流れを示すフローチャートである。遠隔制御装置５０の通信部５３１ａは、自動運転車両１からネットワーク２を介して、可視光カメラ２１で撮像された映像の画像データを受信する（Ｓ３００）。通信部５３１ａは、自動運転車両１からネットワーク２を介して自動運転車両１の速度データ及び舵角データを受信する（Ｓ３０１）。遅延時間検出部５１６は、受信した画像データの通信遅延時間を検出する（Ｓ３０２）。

【0157】

先頭のフレーム画像の場合（Ｓ３０３のＮ）、切出部５１７は、先頭のフレーム画像内から、通信遅延時間、速度、舵角をもとに切出範囲を決定する（Ｓ３０５）。新たにフレーム画像を受信した場合（Ｓ３０３のＹ）、切出部５１７は、新たに受信したフレーム画像内から、通信遅延時間、速度、舵角をもとに切出範囲を決定する（Ｓ３０４）。切出部５１７は、決定した切出範囲の画像をフレーム画像内から切り出す（Ｓ３０６）。サイズ変換部５１８は、切り出された画像を、表示用サイズの画像に変換する（Ｓ３０７）。画像信号出力部５３２は、表示用サイズに変換されたフレーム画像を表示部５４に出力する。

【0158】

本実施の形態では、自動運転車両１から受信する映像のフレームレートと、表示部５４に表示させる映像のフレームレートを同じに設定している。表示用の次のフレーム画像を生成するタイミングで、自動運転車両１から次のフレーム画像を受信できていない場合は（Ｓ３０３のＮ）、表示用の次のフレーム画像を、自動運転車両１から直近に受信したフレーム画像から生成する（Ｓ３０５、Ｓ３０６、Ｓ３０７）。なお、表示用の次のフレーム画像を、表示用の現フレーム画像から生成してもよい。以上のステップＳ３００〜ステップＳ３０７の処理が、運転終了（Ｓ３１０のＹ）まで繰り返し実行される（Ｓ３１０のＮ）。

【0159】

図２７は、本開示の実施の形態２に係る遠隔制御装置５０が、自動運転車両１から受信した映像を表示する際の発展処理の流れを示すフローチャートである。以下、図２６に示した基本処理との相違点を説明する。通信部５３１ａは、自動運転車両１からネットワーク２を介して自動運転車両１の速度データ、舵角データに加えて危険度を受信する（Ｓ３０１ａ）。

【0160】

危険範囲決定部５１４は、自動運転制御装置１０から受信した危険度をもとに自動運転車両１の周囲の危険範囲を決定する（Ｓ３０８）。なおフレーム画像内に所定の移動体（例えば、歩行者、自転車）が検出され、当該移動体が自動運転車両１に近づく方向に移動している場合、危険範囲を、少なくとも当該移動体が存在する方向に拡大する。オブジェクト重畳部５１９は、表示部５４に表示すべきフレーム画像に、決定された危険範囲に対応する危険範囲オブジェクトを重畳する（Ｓ３０９）。画像信号出力部５３２は、危険範囲オブジェクトが重畳されたフレーム画像を表示部５４に出力する。その他の処理は、図２６に示した基本処理と同様である。

【0161】

図２８は、本開示の実施の形態２に係る遠隔型自動運転システムの基本動作を示すフローチャートである。自動運転制御装置１０の無線通信部１３１ａは、可視光カメラ２１により撮像された映像の画像データ、及び自動運転車両１の状態データをネットワーク２を介して遠隔制御装置５０に送信する（Ｓ３０）。遠隔制御装置５０の通信部５３１ａは、当該画像データ及び状態データを受信する（Ｓ４０）。表示部５４は、当該画像データ及び状態データをもとに生成された自動運転車両１の前方映像を表示する（Ｓ４１）。

【0162】

自動運転車両１の走行モードが自律モードである場合（Ｓ３１、Ｓ４２の自律）、自動運転制御装置１０の自律走行制御部１１１は、自動運転車両１を自律走行させる。遠隔制御装置５０の表示部５４は、自動運転車両１の前方映像の表示を継続する（Ｓ４０、Ｓ４１）。

【0163】

自動運転車両１の走行モードが遠隔操作モードである場合（Ｓ３１、Ｓ４２の遠隔）、遠隔制御装置５０の車両指示信号生成部５１２は、操縦部５６に対して遠隔操縦者により与えられた操縦量を制御コマンドに変換する（Ｓ４３）。通信部５３１ａは、当該制御コマンドをネットワーク２を介して自動運転制御装置１０に送信する（Ｓ４４）。自動運転制御装置１０の遠隔走行制御部１１８は、遠隔制御装置５０から受信した制御コマンドをもとに自動運転車両１を走行制御する（Ｓ３２）。以上のステップＳ３０〜ステップＳ３２の処理、及びステップＳ４０〜ステップＳ４４の処理が、運転終了（Ｓ３３のＹ、Ｓ４５のＹ）まで繰り返し実行される（Ｓ３３のＮ、Ｓ４５のＮ）。

【0164】

以下、フレーム画像内から、所定の切出範囲の画像を切り出す具体例を説明する。以下の具体例では、自動運転車両１の前方に設置された、広角レンズを有する可視光カメラ２１で撮像された映像を前提とする。広角レンズを有する可視光カメラ２１で撮像されるフレーム画像は、水平方向に長いアクペクト比を持つ矩形形状の画像となる。

【0165】

図２９Ａ、図２９Ｂは、自動運転車両１の直進時に切り出される切出範囲の一例を示す図である。図２９Ａは、自動運転車両１から受信する映像に含まれる第１フレーム画像Ｆ１ａを示しており、図２９Ｂは、自動運転車両１から受信する映像に含まれる第２フレーム画像Ｆ１ｂを示している。

【0166】

まず、自動運転車両１が一定の速度で直進しているとし、第２フレーム画像Ｆ１ｂの通信遅延時間が、第１フレーム画像Ｆ１ａの通信遅延時間より長い場合を考える。この場合、第２フレーム画像Ｆ１ｂ内の切出範囲ＣＯｂの方が第１フレーム画像Ｆ１ａ内の切出範囲ＣＯａより狭くなる。通信遅延時間が長いほど仮想視点が前進していることを意味しており、狭い切出範囲ＣＯｂの画像を拡大して表示することにより、仮想視点の移動に対応する画像を表示できる。

【0167】

なお、第１フレーム画像Ｆ１ａと第２フレーム画像Ｆ１ｂは同一であってもよい。急に通信遅延が大きくなり、通信遅延の増大は把握できるものの、自動運転車両１から次のフレーム画像が伝送されてこない場合、既に送られて来ているフレーム画像において、切出範囲を狭くして、仮想視点の前進に対応する。

【0168】

次に、第１フレーム画像Ｆ１ａの通信遅延時間と第２フレーム画像Ｆ１ｂの通信遅延時間を同じとし、第２フレーム画像Ｆ１ｂの撮像時の自動運転車両１の速度が、第１フレーム画像Ｆ１ａの撮像時の自動運転車両１の速度より速い場合を考える。この場合も、第２フレーム画像Ｆ１ｂ内の切出範囲ＣＯｂの方が第１フレーム画像Ｆ１ａ内の切出範囲ＣＯａより狭くなる。自動運転車両１の速度が速いほど仮想視点が前進していることを意味しており、狭い切出範囲ＣＯｂの画像を拡大して表示することにより、仮想視点の移動に対応する画像を表示できる。なお、第１フレーム画像Ｆ１ａ内の切出範囲ＣＯａの形状と、第２フレーム画像Ｆ１ｂ内の切出範囲ＣＯｂの形状は相似する。

【0169】

図３０Ａ、図３０Ｂは、自動運転車両１のカーブ時に切り出される切出範囲の一例を示す図である。図３０Ａは、自動運転車両１から受信する映像に含まれる第３フレーム画像Ｆ１ｃを示しており、図３０Ｂは、自動運転車両１から受信する映像に含まれる第４フレーム画像Ｆ１ｄを示している。カーブ直前の自動運転車両１の切出範囲ＣＯｂは、図２９Ｂの状態とする。

【0170】

自動運転車両１が一定の速度でカーブしているとし、第３フレーム画像Ｆ１ｃの通信遅延時間と、第４フレーム画像Ｆ１ｄの通信遅延時間は同じとする。遠隔制御装置５０は自動運転車両１から舵角を受信する。舵角は、自動運転車両１の直進方向を基準に、第１方向（右方向、時計回り方向）Ｄ１とその角度（正の値）、又は、第２方向Ｄ２（左方向、反時計回り方向）とその角度（正の値）で表現される。なお第１方向を正の値、第２方向を負の値として表現してもよい。

【0171】

第３フレーム画像Ｆ１ｃの撮像時の自動運転車両１の舵角は、第１方向Ｄ１に第１角度である。この場合、図２９Ｂの切出範囲ＣＯｂを基準に、第１方向Ｄ１にずれた切出範囲ＣＯｃの画像を拡大して表示部５４に表示する。これにより、仮想視点の第１方向Ｄ１への回転移動に対応する画像を表示できる。

【0172】

第４フレーム画像Ｆ１ｄの撮像時の自動運転車両１の舵角は、第２方向Ｄ２に第２角度である。この場合、図２９Ｂの切出範囲ＣＯｂを基準に、第２方向Ｄ２にずれた切出範囲ＣＯｄの画像を拡大して表示部５４に表示する。これにより、仮想視点の第２方向Ｄ２への回転移動に対応する画像を表示できる。

【0173】

図３１は、自動運転車両１の直進時の操舵輪の状態を示す図である。図３１に示す自動運転車両１では、左前輪３１ａ、右前輪３１ｂ、左後輪３１ｃ、右後輪３１ｄの内、左前輪３１ａ及び右前輪３１ｂが操舵輪として使用される。また前後左右に４つの可視光カメラ２１ａ−２１ｄが設置されており、前方に設置された可視光カメラ２１ａで撮像された映像が、遠隔制御装置５０に送信される。

【0174】

図３２は、自動運転車両１の右カーブ時の操舵輪の状態を示す図である。操舵輪は、自動運転車両１の直進方向を基準に、第１方向（右方向、時計回り方向）に第１角度α１、回転している。この方向と角度のデータが、舵角データとして遠隔制御装置５０に送信される。

【0175】

図３３は、自動運転車両１の左カーブ時の操舵輪の状態を示す図である。操舵輪は、自動運転車両１の直進方向を基準に、第２方向（左方向、反時計回り方向）に第２角度α２、回転している。この方向と角度のデータが、舵角データとして遠隔制御装置５０に送信される。

【0176】

図３４は、自動運転車両１の可視光カメラ２１で撮像された第１の映像のフレーム画像と、遠隔制御装置５０の表示部５４に表示させる第２の映像のフレーム画像との第１の関係例を示す図である。第１の関係例は、自動運転車両１から送信される第１の映像のフレーム画像の通信遅延が一定の場合の例である。この場合、遠隔制御装置５０側では、第１の映像の第１フレーム画像Ｆ１１内の切出領域Ｃ０１の画像を拡大して、第２の映像の第１フレーム画像Ｆ２１を生成する。以下同様に１：１の関係で、第１の映像の第２〜第５フレーム画像Ｆ１２〜Ｆ１５から、それぞれ切り出す切出領域ＣＯ２〜ＣＯ５の画像を拡大して、第２の映像の第２〜第５フレーム画像Ｆ２２〜２５を生成する。

【0177】

図３５は、自動運転車両１の可視光カメラ２１で撮像された第１の映像のフレーム画像と、遠隔制御装置５０の表示部５４に表示させる第２の映像のフレーム画像との第２の関係例を示す図である。第２の関係例は、自動運転車両１から送信される第１のフレーム画像の通信遅延が不規則な場合の例である。図３５に示す例では、第１の映像の第２フレーム画像Ｆ１２と第３フレーム画像Ｆ１３との間の通信遅延が大きくなった場合を示している。この場合、遠隔制御装置５０側では、第１の映像の第３フレーム画像Ｆ１３の受信を待たずに、既に受信している第２フレーム画像Ｆ１２から、第２の映像の第３フレーム画像Ｆ２３及び第４フレーム画像Ｆ２４を生成する。

【0178】

第１の映像の第２フレーム画像Ｆ１２との時間間隔が長くなるほど、第２フレーム画像Ｆ１２の切出領域Ｃ０２が狭くなっていく。第２の映像の第３フレーム画像Ｆ２３のもとになる切出領域Ｃ０２ｂは、第２の映像の第２フレーム画像Ｆ２２のもとになる切出領域Ｃ０２ａより狭くなり、第２の映像の第４フレーム画像Ｆ２４のもとになる切出領域Ｃ０２ｃは、第２の映像の第３フレーム画像Ｆ２３のもとになる切出領域Ｃ０２ｂより狭くなる。

【0179】

図３６は、遠隔制御装置５０の表示部５４に表示されるフレーム画像Ｆ２ａの一例を示す図である。図３６に示すフレーム画像Ｆ２ａは、図２９Ａに示した第１フレーム画像Ｆ１ａ内の切出範囲ＣＯａを拡大し、危険範囲オブジェクトＺ１を重畳して生成した画像である。遠隔監視センタ５の遠隔操縦者は、危険範囲オブジェクトＺ１の広狭をもとに自動運転車両１の危険度を直感的に把握することができる。

【0180】

図３７は、魚眼レンズを有する可視光カメラ２１で撮像されたフレーム画像の一例を示す図である。魚眼レンズを有する可視光カメラ２１で撮像される画像は、基本的に真円形状の画像となる。真円形状の画像を、矩形のフレーム領域に割り当てると、角丸四角形状の画像領域を持つフレーム画像Ｆ１ａとなる。また、４つの可視光カメラ２１ａ−２１ｄで撮像された画像を合成して全方位画像を生成した場合も、同様に角丸四角形状の画像領域を持つフレーム画像となる。

【0181】

遠隔制御装置５０のサイズ変換部５１８は、切出部５１７により切り出された画像を、表示サイズの画像に変換する際、魚眼レンズの視野角に応じて設定された歪パラメータに基づき座標変換する。サイズ変換部５１８は、当該座標変換による歪補正後の画像内の空白画素に、周囲の画素から推定した画素を補間する。

【0182】

以下、フレーム画像内から、所定の切出範囲の画像を切り出す別の具体例を説明する。以下の具体例は、自動運転車両１が交差点を右折する際の例である。

【0183】

図３８は、自動運転車両１が存在する交差点を上から俯瞰した図である。第１地点Ｐ１の自動運転車両１は右折開始前の直進時の状態を示しており、第２地点Ｐ２の自動運転車両１は右折中の状態を示している。

【0184】

図３９は、図３８の第１地点Ｐ１に自動運転車両１が位置する際に撮像されたフレーム画像を示す図である。図３９の左側のフレーム画像Ｆ１ｅは、第１地点Ｐ１に位置する自動運転車両１の可視光カメラ２１で撮像されたフレーム画像である。自動運転車両１は直進中であるため、フレーム画像Ｆ１ｅ内の切出範囲ＣＯｅは、フレーム画像Ｆ１ｅ内の中央部に設定される。遠隔制御装置５０は、切出範囲ＣＯｅの画像を拡大して表示用のフレーム画像Ｆ２ｅを生成する。

【0185】

図４０は、図３８の第２地点Ｐ２に自動運転車両１が位置する際に撮像されたフレーム画像を示す図である。図４０の左側のフレーム画像Ｆ１ｆは、第２地点Ｐ２に位置する自動運転車両１の可視光カメラ２１で撮像されたフレーム画像である。自動運転車両１は右折中であるため、フレーム画像Ｆ１ｆ内の切出範囲ＣＯｆは、フレーム画像Ｆ１ｅ内の中央部より右にずれた位置に設定される。切出範囲ＣＯｆは、左辺が右辺より短い台形形状に設定される。操舵輪の第１角度α１が大きいほど、より左辺が右辺に対して短い台形形状となる。切出範囲ＣＯｆにおける第１方向Ｄ１の端部Ｅ１の、第１方向Ｄ１と直交する幅は、切出範囲ＣＯｆにおける第１方向Ｄ１と反対の端部Ｅ２の、第１方向Ｄ１と直交する幅より広い。遠隔制御装置５０は、切出範囲ＣＯｆの画像を拡大して表示用のフレーム画像Ｆ２ｆを生成する際、台形歪を補正する。

【0186】

図４１は、図３８の第１地点Ｐ１から自動運転車両１が左折を開始した直後に撮像されたフレーム画像を示す図である。図４１の左側のフレーム画像Ｆ１ｇは、第１地点Ｐ１から左折を開始した直後に自動運転車両１の可視光カメラ２１で撮像されたフレーム画像である。自動運転車両１は左折中であるため、フレーム画像Ｆ１ｇ内の切出範囲ＣＯｇは、フレーム画像Ｆ１ｇ内の中央部より左にずれた位置に設定される。切出範囲ＣＯｇは、右辺が左辺より短い台形形状に設定される。操舵輪の第２角度α２が大きいほど、より右辺が左辺に対して短い台形形状となる。切出範囲ＣＯｇにおける第２方向Ｄ２の端部Ｅ２の、第２方向Ｄ２と直交する幅は、切出範囲ＣＯｇにおける第２方向Ｄ２と反対の端部Ｅ１の、第２方向Ｄ２と直交する幅より広い。遠隔制御装置５０は、切出範囲ＣＯｇの画像を拡大して表示用のフレーム画像Ｆ２ｇを生成する際、台形歪を補正する。

【0187】

図４２は、危険範囲オブジェクトが重畳された、自動運転車両１が存在する交差点を上から俯瞰した図である。第１地点Ｐ１の自動運転車両１は右折開始前の直進時の状態を示しており、第２地点Ｐ２の自動運転車両１は右折中の状態を示している。図４２では、第２地点Ｐ２の自動運転車両１の周囲に危険範囲オブジェクトＺ１が重畳されている。

【0188】

図４３は、第２地点Ｐ２に位置する自動運転車両１の可視光カメラ２１で撮像されたフレーム画像内の切出範囲から生成された表示用のフレーム画像を示す図である。図４３に示すフレーム画像Ｆ２ｆは、図４０の右側のフレーム画像Ｆ２ｆに、危険範囲オブジェクトＺ１が重畳された画像である。危険範囲オブジェクトＺ１は、色付きの透過オブジェクトで描かれてもよいし、色付きの塗りつぶしオブジェクトで描かれてよい。

【0189】

以上説明したように実施の形態２によれば、自動運転車両１から受信する映像を、通信遅延時間、自動運転車両１の速度及び舵角をもとに、仮想視点の位置が補正された映像に変換して表示する。これにより、遠隔監視センタ５の遠隔監視者／操縦者が、自動運転車両１の現在の状況をより正確に把握することができる。従って、遠隔操縦者は、通常と同じ運転感覚で遠隔操縦を行うことができる。

【0190】

遠隔制御装置５０のステアリングホイール５６１やアクセルペダル５６２は、自動運転車両１の現在状況に応じて決定される操縦可能範囲を逸脱した操縦量が遠隔操縦者により加えられたとき、ステアリングホイール５６１やアクセルペダル５６２の動きが重くなるように設計されている。また遠隔操縦者により与えられた操縦指示が、自動運転車両１の現在状況に応じて危険度の高いものである場合、自動運転車両１が自律的に減速または停止する仕組みが導入されている。これに対して本実施の形態によれば、遠隔操縦者が視認している自動運転車両１の周囲の状況と、実際の自動運転車両１の周囲の状況との齟齬が非常に小さいため、遠隔操縦者は上記安全仕様を発動させることなく、遠隔操縦することができる。

【0191】

また、表示部５４に表示される映像に危険範囲オブジェクトを重畳することにより、遠隔操縦者に、危険度に応じた注意を喚起させることができる。歩行者などの移動体が、自動運転車両１と異なる方向に移動している場合、表示部５４に表示される映像内の移動体の位置は、実際の移動体の位置と異なっている。特に自動運転車両１の方向に向かって移動している移動体が存在する場合、危険範囲オブジェクトの面積を拡大させることにより、遠隔操縦者に注意を喚起させることができる。

【0192】

以上、本開示を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

【0193】

上記動作例８、９、１１では、監視画像内に危険範囲オブジェクトを表示させたが、危険範囲オブジェクトの代わりに安全範囲オブジェクトを表示させてもよい。この場合、安全範囲決定部（不図示）は、通信遅延量が小さいほど又は危険度が小さいほど安全範囲を広くする。安全範囲は、上述の危険範囲と逆の関係になる。

【0194】

また上述の実施の形態１では、車両の周辺状況を検知するためのセンサとして、可視光カメラ２１、ＬＩＤＡＲ２２及びミリ波レーダ２３を使用する例を説明した。この点、赤外線カメラ、ソナー等の他のセンサをさらに併用してもよい。

【0195】

上述の実施の形態２では、自動運転車両１の舵角を、自動運転車両１から受信する例を説明した。この点、遠隔操縦中であり、遠隔制御装置５０と自動運転車両１間の通信遅延時間が短時間で安定している状態では、遠隔制御装置５０のステアリングホイール５６１の回転角を自動運転車両１の舵角としてそのまま使用してもよい。遠隔制御装置５０から自動運転車両１に送信される制御コマンドはデータ量が少ないため、通信回線が安定していれば、ステアリングホイール５６１の回転から自動運転車両１の操舵輪が実際に回転するまでの時間は、無視できる程度の時間である。遠隔制御装置５０から送信される制御コマンドは、映像のようにデータ量が多くなく、圧縮符号化処理及び伸張復号処理も不要である。

【0196】

なお上述の実施の形態２では、移動体の動きベクトルを検出して危険範囲オブジェクトＺ１の面積を変化させる例を説明した。この点、表示部５４に表示させるフレーム画像内において、自動運転車両１の視点移動の動きベクトルと、移動体の動きベクトルをもとに当該移動体の位置を画像上で補正してもよい。

【0197】

なお、実施の形態は、以下の項目によって特定されてもよい。

【0198】

［項目１−１］
自動運転制御装置（１０）は、検知データ入力部（１３２）と、通信部（１３１）と、を有する。検知データ入力部（１３２）は、自動運転車両（１）の周辺状況を示す検知データを、自動運転車両（１）に設置されている検知装置（２０）から取得する。通信部（１３１）は、検知データ入力部（１３２）により取得された検知データを、ネットワーク（２）を介して自動運転車両（１）を監視している遠隔制御装置（５０）に送信する。また、通信部（１３１）は、所定の条件に応じてデータ量が変更された検知データを遠隔制御装置（５０）に送信する。

【0199】

これによれば、遠隔制御装置（５０）に送信するデータ量を条件に応じて最適化することができる。

【0200】

［項目１−２］
項目１−１に記載の自動運転制御装置（１０）において、通信部（１３１）は、自動運転車両（１）の危険度に応じてデータ量が変更された検知データを遠隔制御装置（５０）に送信してもよい。

【0201】

これによれば、安全性を確保しつつ遠隔制御装置（５０）に送信するデータ量を削減することができる。

【0202】

［項目１−３］
項目１−２に記載の自動運転制御装置（１０）において、検知装置（２０）には撮像装置（２１）が含まれてもよい。また、通信部（１３１）は、自動運転車両（１）の危険度に応じて、撮像装置（２１）から取得された画像データの画質が調整された画像データを遠隔制御装置（５０）に送信してもよい。

【0203】

これによれば、安全性を確保しつつ遠隔制御装置（５０）に送信するデータ量を削減することができる。

【0204】

［項目１−４］
項目１−２または１−３に記載の自動運転制御装置（１０）において、自動運転車両（１）には、種類の異なる複数の検知装置（２０）が設置されてもよい。また、通信部（１３１）は、自動運転車両（１）の危険度に応じて、複数の検知装置（２０）から取得された複数種類の検知データの中から選択された少なくとも１種類の検知データを遠隔制御装置（５０）に送信してもよい。

【0205】

これによれば、安全性を確保しつつ遠隔制御装置（５０）に送信するデータ量を削減することができる。

【0206】

［項目１−５］
項目１−１に記載の自動運転制御装置（１０）において、通信部（１３１）は、遠隔制御装置（５０）からネットワーク（２）を介して、遠隔制御装置（５０）に送信されている検知データの高品質化を指示する信号を受信してもよい。また、通信部（１３１）は、高品質化を指示する信号に応じてデータ量が増加された検知データを遠隔制御装置（５０）に送信してもよい。

【0207】

これによれば、遠隔制御装置（５０）を使用して遠隔監視している監視者の利便性を向上させることができる。

【0208】

［項目１−６］
項目１−１に記載の自動運転制御装置（１０）において、通信部（１３１）は、自動運転車両（１）の走行中に対して、自律走行の不可能による停止中の方が、データ量が多い検知データを遠隔制御装置（５０）に送信してもよい。

【0209】

これによれば、遠隔制御装置（５０）を使用して遠隔監視している監視者の運転再開の判断の精度を向上させることができる。

【0210】

［項目１−７］
自動運転制御装置（１０）は、検知データ入力部（１３２）と、通信部（１３１）と、を有する。検知データ入力部（１３２）は、自動運転車両（１）の周辺状況を示す検知データを、自動運転車両（１）に設置されている検知装置（２０）から取得する。通信部（１３１）は、検知データ入力部（１３２）により取得された検知データを、ネットワーク（２）を介して自動運転車両（１）を監視している遠隔制御装置（５０）に送信する。また、通信部（１３１）は、所定の条件に応じて複数の通信方式の中から選択された通信方式で、検知データを遠隔制御装置（５０）に送信する。

【0211】

これによれば、条件に応じて通信方式を最適化することができる。

【0212】

［項目１−８］
自動運転制御方法は、自動運転車両（１）の周辺状況を示す検知データを、自動運転車両（１）に設置されている検知装置（２０）から取得するステップを有する。また、自動運転制御方法は、取得された検知データを、ネットワーク（２）を介して自動運転車両（１）を監視している遠隔制御装置（５０）に送信するステップを有する。さらに、自動運転制御方法は、所定の条件に応じてデータ量が変更された検知データを遠隔制御装置（５０）に送信するステップを有する。

【0213】

これによれば、遠隔制御装置（５０）に送信するデータ量を条件に応じて最適化することができる。

【0214】

［項目１−９］
自動運転制御方法は、自動運転車両（１）の周辺状況を示す検知データを、自動運転車両（１）に設置されている検知装置（２０）から取得するステップを有する。また、自動運転制御方法は、取得された検知データを、ネットワーク（２）を介して自動運転車両（１）を監視している遠隔制御装置（５０）に送信するステップを有する。さらに、自動運転制御方法は、所定の条件に応じて複数の通信方式の中から選択された通信方式で、検知データを遠隔制御装置（５０）に送信するステップを有する。

【0215】

これによれば、条件に応じて通信方式を最適化することができる。

【0216】

［項目１−１０］
自動運転制御プログラムは、自動運転車両（１）の周辺状況を示す検知データを、自動運転車両（１）に設置されている検知装置（２０）から取得する処理をコンピュータに実行させる。また、自動運転制御プログラムは、取得された検知データを、ネットワーク（２）を介して自動運転車両（１）を監視している遠隔制御装置（５０）に送信する処理をコンピュータに実行させる。さらに、自動運転制御プログラムは、所定の条件に応じてデータ量が変更された検知データを遠隔制御装置（５０）に送信する処理をコンピュータに実行させる。

【0217】

これによれば、遠隔制御装置（５０）に送信するデータ量を条件に応じて最適化することができる。

【0218】

［項目１−１１］
自動運転制御プログラムは、自動運転車両（１）の周辺状況を示す検知データを、自動運転車両（１）に設置されている検知装置（２０）から取得する処理をコンピュータに実行させる。また、自動運転制御プログラムは、取得された検知データを、ネットワーク（２）を介して自動運転車両（１）を監視している遠隔制御装置（５０）に送信する処理をコンピュータに実行させる。さらに、自動運転制御プログラムは、所定の条件に応じて複数の通信方式の中から選択された通信方式で、検知データを遠隔制御装置（５０）に送信する処理をコンピュータに実行させる。

【0219】

これによれば、条件に応じて通信方式を最適化することができる。

【0220】

［項目１−１２］
自動運転車両（１）は、検知データ入力部（１３２）と、通信部（１３１）と、を有する。検知データ入力部（１３２）は、自動運転車両（１）の周辺状況を示す検知データを、自動運転車両（１）に設置されている検知装置（２０）から取得する。通信部（１３１）は、検知データ入力部（１３２）により取得された検知データを、ネットワーク（２）を介して自動運転車両（１）を監視している遠隔制御装置（５０）に送信する。また、通信部（１３１）は、所定の条件に応じてデータ量が変更された検知データを遠隔制御装置（５０）に送信する。

【0221】

これによれば、遠隔制御装置（５０）に送信するデータ量を条件に応じて最適化することができる。

【0222】

［項目１−１３］
自動運転車両（１）は、検知データ入力部（１３２）と、通信部（１３１）と、を有する。検知データ入力部（１３２）は、自動運転車両（１）の周辺状況を示す検知データを、自動運転車両（１）に設置されている検知装置（２０）から取得する。通信部（１３１）は、検知データ入力部（１３２）により取得された検知データを、ネットワーク（２）を介して自動運転車両（１）を監視している遠隔制御装置（５０）に送信する。また、通信部（１３１）は、所定の条件に応じて複数の通信方式の中から選択された通信方式で、検知データを遠隔制御装置（５０）に送信する。

【0223】

これによれば、条件に応じて通信方式を最適化することができる。

【0224】

［項目２−１］
遠隔制御装置（５０）は、通信部（５３１）と、表示部（５４）と、を有する。通信部（５３１）は、自動運転車両（１）からネットワーク（２）を介して、自動運転車両（１）の自車および周辺の状況を示す検知データを取得する。表示部（５４）は、取得された検知データに基づき生成された、自動運転車両（１）の周辺の画像を表示する。また、表示部（５４）は、画像内に、自動運転車両（１）の周囲の安全範囲または危険範囲を示す範囲オブジェクトを表示する。範囲オブジェクトは、自動運転車両（１）と遠隔制御装置（５０）との間の通信遅延、又は自動運転車両（１）の危険度に基づき動的に変化する。

【0225】

これによれば、遠隔制御装置（５０）を使用して遠隔監視している監視者の判断の精度を向上させることができる。

【0226】

［項目２−２］
項目２−１に記載の遠隔制御装置（５０）において、範囲オブジェクトが安全範囲を示す場合、通信遅延が大きくなるほど、範囲オブジェクトの大きさを縮小してもよい。また、範囲オブジェクトが危険範囲を示す場合、通信遅延が大きくなるほど、範囲オブジェクトの大きさを拡大してもよい。

【0227】

これによれば、通信遅延の影響を除いた安全範囲または危険範囲を監視者に提示することができる。

【0228】

［項目２−３］
項目２−１に記載の遠隔制御装置（５０）において、範囲オブジェクトが安全範囲を示す場合、危険度が高くなるほど、範囲オブジェクトの大きさを縮小してもよい。また、範囲オブジェクトが危険範囲を示す場合、危険度が高くなるほど、範囲オブジェクトの大きさを拡大してもよい。

【0229】

これによれば、危険度に応じて最適化された安全範囲または危険範囲を監視者に提示することができる。

【0230】

［項目２−４］
項目２−１から２−３のいずれかに記載の遠隔制御装置（５０）において、表示部（５４）に表示された自動運転車両（１）を監視している監視者の操作に基づく操作信号を受け付ける操作信号入力部（５３２）をさらに有してもよい。また、自動運転車両（１）が自律走行が不可能になって停止した後に、操作信号入力部（５３２）において、監視者の運転再開操作に基づく操作信号を受け付けたとき、通信部（５３１）は、ネットワーク（２）を介して自動運転車両（１）に運転再開を指示する信号を送信してもよい。さらに、表示部（５４）は、危険範囲を示す範囲オブジェクトを、範囲オブジェクトの範囲内に障害物が存在するか否かを運転再開の判断基準として表示してもよい。

【0231】

これによれば、監視者による運転再開の判断の精度を向上させることができる。

【0232】

［項目２−５］
遠隔制御方法は、自動運転車両（１）からネットワーク（２）を介して、自動運転車両（１）の自車および周辺の状況を示す検知データを取得するステップを有する。また、遠隔制御方法は、取得された検知データに基づき生成された、自動運転車両（１）の周辺の画像を表示するステップを有する。表示するステップでは、画像内に、自動運転車両（１）の周囲の安全範囲または危険範囲を示す範囲オブジェクトを表示する。範囲オブジェクトは、自動運転車両（１）と遠隔制御装置（５０）との間の通信遅延、又は自動運転車両（１）の危険度に基づき動的に変化する。

【0233】

これによれば、遠隔制御装置（５０）を使用して遠隔監視している監視者の判断の精度を向上させることができる。

【0234】

［項目２−６］
遠隔制御プログラムは、自動運転車両（１）からネットワーク（２）を介して、自動運転車両（１）の自車および周辺の状況を示す検知データを取得する処理をコンピュータに実行させる。また、遠隔制御プログラムは、取得された検知データに基づき生成された、自動運転車両（１）の周辺の画像を表示する処理をコンピュータに実行させる。表示する処理では、画像内に、自動運転車両（１）の周囲の安全範囲または危険範囲を示す範囲オブジェクトを表示する。範囲オブジェクトは、自動運転車両（１）と遠隔制御装置（５０）との間の通信遅延、又は自動運転車両（１）の危険度に基づき動的に変化する。

【0235】

これによれば、遠隔制御装置（５０）を使用して遠隔監視している監視者の判断の精度を向上させることができる。

【0236】

［項目３−１］
遠隔制御装置（５０）は、通信部（５３１）と、表示部（５４）と、を有する。通信部（５３１）は、自動運転車両（１）からネットワーク（２）を介して、自動運転車両（１）の自車および周辺の状況を示す検知データを取得する。表示部（５４）は、取得された検知データに基づき生成された、自動運転車両の周辺の画像を表示する。また、表示部（５４）は、画像内に、自動運転車両（１）と遠隔制御装置（５０）との間の通信遅延を補正した自動運転車両（１）と、通信遅延を補正しない自動運転車両（１）を表示する。

【0237】

これによれば、遠隔制御装置（５０）を使用して遠隔監視している監視者の判断の精度を向上させることができる。

【0238】

［項目３−２］
項目３−１に記載の遠隔制御装置（５０）において、通信部（５３１）は、自動運転車両（１）からネットワーク（２）を介して、自動運転車両（１）の周辺状況を示す検知データとして画像データを取得してもよい。また、遠隔制御装置（５０）は、画像解析部（５１３）と、画像生成部（５１１）と、をさらに有してもよい。画像解析部（５１３）は、画像データ内から移動体を検出し、移動体の動きベクトルを検出し、移動体の移動速度を推定する。画像生成部（５１１）は、自動運転車両（１）と遠隔制御装置（５０）との間の通信遅延と、画像解析部（５１３）により推定された移動体の移動速度をもとに、画像内に、通信遅延を補正した移動体と、通信遅延を補正しない移動体を含む画像を生成する。

【0239】

これによれば、監視者の判断の精度をさらに向上させることができる。

【0240】

［項目３−３］
項目３−１または３−２に記載の遠隔制御装置（５０）において、表示部（５４）は、画像内に、通信遅延を補正した自動運転車両（１）の周囲の安全範囲または危険範囲を示す範囲オブジェクトを表示してもよい。

【0241】

これによれば、監視者の判断の精度をさらに向上させることができる。

【0242】

［項目３−４］
遠隔制御方法は、自動運転車両（１）からネットワーク（２）を介して、自動運転車両（１）の自車および周辺の状況を示す検知データを取得するステップを有する。また、遠隔制御方法は、取得された検知データに基づき生成された、自動運転車両の周辺の画像を表示するステップを有する。表示するステップでは、画像内に、自動運転車両（１）と遠隔制御装置（５０）との間の通信遅延を補正した自動運転車両（１）と、通信遅延を補正しない自動運転車両（１）とを表示する。

【0243】

これによれば、遠隔制御装置（５０）を使用して遠隔監視している監視者の判断の精度を向上させることができる。

【0244】

［項目３−５］
遠隔制御プログラムは、自動運転車両（１）からネットワーク（２）を介して、自動運転車両（１）の自車および周辺の状況を示す検知データを取得する処理をコンピュータに実行させる。また、遠隔制御プログラムは、取得された検知データに基づき生成された、自動運転車両の周辺の画像を表示する処理をコンピュータに実行させる。表示する処理では、画像内に、自動運転車両（１）と本遠隔制御装置（５０）との間の通信遅延を補正した自動運転車両（１）と、通信遅延を補正しない自動運転車両（１）とを表示する。

【0245】

これによれば、遠隔制御装置（５０）を使用して遠隔監視している監視者の判断の精度を向上させることができる。

【0246】

［項目４−１］
遠隔制御装置（５０）は、通信部（５３１）と、表示部（５４）と、操作信号入力部（５３３）と、を有する。通信部（５３１）は、自動運転車両（１）からネットワーク（２）を介して、自動運転車両（１）の周辺状況を示す検知データを取得する。表示部（５４）は、取得された検知データに基づき生成された、自動運転車両（１）の周辺の画像を表示する。操作信号入力部（５３３）は、表示部（５４）に表示された自動運転車両（１）を監視している監視者の操作に基づく操作信号を受け付ける。自動運転車両（１）が自律走行が不可能になって停止した後に、操作信号入力部（５３３）において、監視者の運転再開操作に基づく操作信号を受け付けたとき、通信部（５３１）は、ネットワーク（２）を介して自動運転車両（１）に運転再開を指示する信号を送信する。

【0247】

これによれば、自動運転車両（１）の緊急停止後に安全性を確保しつつ迅速に運転を再開させることができる。

【0248】

［項目４−２］
項目４−１に記載の遠隔制御装置（５０）の操作信号入力部（５３３）において、自動運転車両（１）の運転再開時の動き出しの走行ルートを指示する監視者の操作に基づく操作信号を受け付けたとき、通信部（５３１）は、自動運転車両（１）に走行ルートを指示する信号を送信してもよい。

【0249】

これによれば、自動運転車両（１）が緊急停止後の運転再開時の走行ルートを自律的に決定することが困難な場合でも、迅速な運転再開が可能となる。

【0250】

［項目４−３］
項目４−２に記載の遠隔制御装置（５０）において、表示部（５４）はタッチパネルディスプレイであってもよい。また、通信部（５３１）は、タッチパネルディスプレイに監視者が入力した軌跡をもとに生成された走行ルートを指示する信号を送信してもよい。

【0251】

これによれば、監視者の操作性を向上させることができる。

【0252】

［項目４−４］
項目４−２または４−３に記載の遠隔制御装置（５０）において、表示部（５４）は、自動運転車両（１）からネットワーク（２）を介して受信した信号に含まれる自動運転車両（１）により生成された運転再開時の動き出しの走行ルートを、自動運転車両（１）の周辺の画像に含めて表示してもよい。

【0253】

これによれば、監視者が自動運転車両（１）が自律的に生成した運転再開時の動き出しの走行ルートを目視で確認することができる。

【0254】

［項目４−５］
項目４−４に記載の遠隔制御装置（５０）において、操作信号入力部（５３３）において、表示部（５４）に表示された走行ルートを許可する監視者の操作に基づく操作信号を受け付けたとき、通信部（５３１）は、自動運転車両（１）に走行ルートを許可する信号を送信してもよい。

【0255】

これによれば、自動運転車両（１）が生成した走行ルートを監視者が許可する工程を設けることにより、運転再開時の安全性を向上させることができる。

【0256】

［項目４−６］
項目４−１から４−５のいずれかに記載の遠隔制御装置（５０）の操作信号入力部（５３３）において、検知データに対する監視者の高品質化を要求する操作を受け付けたとき、通信部（５３１）は、ネットワーク（２）を介して自動運転車両（１）に検知データの高品質化を指示する信号を送信してもよい。

【0257】

これによれば、監視者の利便性を向上させることができる。

【0258】

［項目４−７］
遠隔制御方法は、自動運転車両（１）からネットワーク（２）を介して、自動運転車両（１）の周辺状況を示す検知データを取得するステップを有する。また、遠隔制御方法は、取得された検知データに基づき生成された、自動運転車両（１）の周辺の画像を表示するステップを有する。さらに、遠隔制御方法は、表示された自動運転車両（１）を監視している監視者の操作に基づく操作信号を受け付けるステップを有する。さらに、遠隔制御方法は、自動運転車両（１）が自律走行が不可能になって停止した後に、監視者の運転再開操作に基づく操作信号を受け付けたとき、ネットワーク（２）を介して自動運転車両（１）に運転再開を指示する信号を送信するステップを有する。

【0259】

これによれば、自動運転車両（１）の緊急停止後に安全性を確保しつつ迅速に運転を再開させることができる。

【0260】

［項目４−８］
遠隔制御プログラムは、自動運転車両（１）からネットワーク（２）を介して、自動運転車両（１）の周辺状況を示す検知データを取得する処理をコンピュータに実行させる。また、遠隔制御プログラムは、取得された検知データに基づき生成された、自動運転車両（１）の周辺の画像を表示する処理をコンピュータに実行させる。さらに、遠隔制御プログラムは、表示された自動運転車両（１）を監視している監視者の操作に基づく操作信号を受け付ける処理をコンピュータに実行させる。さらに、遠隔制御プログラムは、自動運転車両（１）が自律走行が不可能になって停止した後に、監視者の運転再開操作に基づく操作信号を受け付けたとき、ネットワーク（２）を介して自動運転車両（１）に運転再開を指示する信号を送信する処理をコンピュータに実行させる。

【0261】

これによれば、自動運転車両（１）の緊急停止後に安全性を確保しつつ迅速に運転を再開させることができる。

【0262】

［項目４−９］
自動運転制御装置（１０）は、検知データ入力部（１３２）と、自律走行制御部（１１１）と、通信部（１３１）と、を有する。検知データ入力部（１３２）は、自動運転車両（１）の周辺状況を示す検知データを、自動運転車両（１）に設置されている検知装置（２０）から取得する。自律走行制御部（１１１）は、取得された検知データをもとに自動運転車両（１）を自律的に運転制御する。通信部（１３１）は、検知データ入力部（１３２）により取得された検知データを、ネットワーク（２）を介して自動運転車両（１）を監視している遠隔制御装置（５０）に送信し、遠隔制御装置（５０）からネットワーク（２）を介して指示信号を受信する。自律走行制御部（１１１）が自動運転車両（１）を自律走行の不可能により停止させた後に、通信部（１３１）が遠隔制御装置（５０）から運転再開時の動き出しの走行ルートを指示する信号を受信したとき、自律走行制御部（１１１）は、指示された走行ルートが走行不能なルートである場合、走行ルートを拒否する信号を遠隔制御装置（５０）に送信する。

【0263】

これによれば、自動運転車両（１）の運転再開時の安全性を確保することができる。

【0264】

［項目４−１０］
項目４−９に記載の自動運転制御装置（１０）において、自律走行制御部（１１１）は、指示された走行ルートが走行不能なルートである場合、走行可能な別の走行ルートを生成し、遠隔制御装置（５０）に送信してもよい。

【0265】

これによれば、自動運転制御装置（１０）から新たな走行ルートを遠隔制御装置（５０）に送信して監視者の確認を求めることにより、運転再開時の安全性を向上させることができる。

【0266】

［項目４−１１］
自動運転制御方法は、自動運転車両（１）の周辺状況を示す検知データを、自動運転車両（１）に設置されている検知装置（２０）から取得するステップを有する。また、自動運転制御方法は、取得された検知データをもとに自動運転車両（１）を自律的に運転制御するステップを有する。さらに、自動運転制御方法は、取得された検知データを、ネットワーク（２）を介して自動運転車両（１）を監視している遠隔制御装置（５０）に送信するステップを有する。さらに、自動運転制御方法は、遠隔制御装置（５０）からネットワーク（２）を介して指示信号を受信するステップを有する。さらに、自動運転制御方法は、自動運転車両（１）が自律走行が不可能になって停止した後に、遠隔制御装置（５０）から運転再開時の動き出しの走行ルートを指示する信号を受信したとき、指示された走行ルートが走行不能なルートである場合、走行ルートを拒否する信号を遠隔制御装置（５０）に送信するステップを有する。

【0267】

これによれば、自動運転車両（１）の運転再開時の安全性を確保することができる。

【0268】

［項目４−１２］
自動運転制御プログラムは、自動運転車両（１）の周辺状況を示す検知データを、自動運転車両（１）に設置されている検知装置（２０）から取得する処理をコンピュータに実行させる。また、自動運転制御プログラムは、取得された検知データをもとに自動運転車両（１）を自律的に運転制御する処理をコンピュータに実行させる。さらに、自動運転制御プログラムは、取得された検知データを、ネットワーク（２）を介して自動運転車両（１）を監視している遠隔制御装置（５０）に送信する処理をコンピュータに実行させる。さらに、自動運転制御プログラムは、遠隔制御装置（５０）からネットワーク（２）を介して指示信号を受信する処理をコンピュータに実行させる。さらに、自動運転制御プログラムは、自動運転車両（１）が自律走行が不可能になって停止した後に、遠隔制御装置（５０）から運転再開時の動き出しの走行ルートを指示する信号を受信したとき、指示された走行ルートが走行不能なルートである場合、走行ルートを拒否する信号を遠隔制御装置（５０）に送信する処理をコンピュータに実行させる。

【0269】

これによれば、自動運転車両（１）の運転再開時の安全性を確保することができる。

【0270】

［項目４−１３］
自動運転車両（１）は、検知データ入力部（１３２）と、自律走行制御部（１１１）と、通信部（１３１）と、を有する。検知データ入力部（１３２）は、自動運転車両（１）の周辺状況を示す検知データを、自動運転車両（１）に設置されている検知装置（２０）から取得する。自律走行制御部（１１１）は、取得された検知データをもとに自動運転車両（１）を自律的に運転制御する。通信部（１３１）は、検知データ入力部（１３２）により取得された検知データを、ネットワーク（２）を介して自動運転車両（１）を監視している遠隔制御装置（５０）に送信し、遠隔制御装置（５０）からネットワーク（２）を介して指示信号を受信する。自律走行制御部（１１１）が自動運転車両（１）を自律走行の不可能により停止させた後に、通信部（１３１）が遠隔制御装置（５０）から運転再開時の動き出しの走行ルートを指示する信号を受信したとき、自律走行制御部（１１１）は、指示された走行ルートが走行不能なルートである場合、走行ルートを拒否する信号を遠隔制御装置（５０）に送信する。

【0271】

これによれば、自動運転車両（１）の運転再開時の安全性を確保することができる。

【0272】

［項目５−１］
遠隔映像出力システム（１、５０）は、車両（１）と、遠隔映像出力装置（５０）と、を有する。車両（１）は、少なくとも進行方向の周囲を撮影可能な撮像回路（２１）と、撮像回路（２１）が撮影した映像を送信可能な無線通信回路（１３１ａ）と、を有する。遠隔映像出力装置（５０）は、無線通信回路（１３１ａ）より、ネットワーク（２）を介して第１の映像を受信可能な通信回路（５３１ａ）と、第２の映像を出力可能な出力回路（５３２）と、を有する。遠隔映像出力装置（５０）において、車両（１）からネットワーク（２）を介して遠隔映像出力装置（５０）までの通信遅延が第１遅延時間である場合、出力回路（５３２）が、第１の映像の第１フレームから第１の範囲（ＣＯａ）を切り出して第２の映像として出力する。遠隔映像出力装置（５０）において、車両（１）からネットワーク（２）を介して遠隔映像出力装置（５０）までの通信遅延が、第１遅延時間より長い第２遅延時間である場合、出力回路（５３２）が、第１の映像の第２フレームから第１の範囲（ＣＯａ）より狭い第２の範囲（ＣＯｂ）を切り出して第２の映像として出力する。

【0273】

これによれば、通信遅延の影響が補償された第２の映像を生成することができる。

【0274】

［項目５−２］
項目５−１に記載の遠隔映像出力システム（１、５０）において、第１の映像の第２フレームは、第１の映像の第１フレームと同一であってもよい。

【0275】

これによれば、通信遅延が大きくなっても、規定された表示タイミングで第２の映像を生成することができる。

【0276】

［項目５−３］
項目５−１又は項目５−２に記載の遠隔映像出力システム（１、５０）において、遠隔映像出力装置（５０）は、出力回路（５３２）に接続された表示部（５４）を更に有してもよく、表示部（５４）は、第２の映像を出力してもよい。

【0277】

これによれば、遠隔側の監視者／操縦者が、通信遅延の影響が補償された第２の映像をリアルタイムに見ることができる。

【0278】

［項目５−４］
項目５−１から項目５−３のいずれか１項に記載の遠隔映像出力システム（１、５０）において、遠隔映像出力装置（５０）の通信回路（５３１ａ）が受信する第１の映像の第１フレームと、第１の映像の第２フレームは、四角形であってもよい。

【0279】

これによれば、一般的な映像フォーマットで自動運転車両（１）から遠隔制御装置（５０）に映像を送信することができる。

【0280】

［項目５−５］
項目５−１から項目５−４のいずれか１項に記載の遠隔映像出力システム（１、５０）において、第１の映像の第１フレームにおける第１の範囲（ＣＯａ）の形は、第１の映像の第２フレームにおける第２の範囲（ＣＯｂ）の形と、相似であってもよい。

【0281】

これによれば、自動運転車両（１）の直進時の第２の映像を簡易な処理で生成することができる。

【0282】

［項目５−６］
項目５−１から項目５−５のいずれか１項に記載の遠隔映像出力システム（１、５０）において、車両（１）は、走行速度を検出する速度検出回路（２４）を更に有してもよい。また、無線通信回路（１３１ａ）は、走行速度を送信可能であってもよい。さらに、遠隔映像出力装置（５０）の通信回路（５３１ａ）は、無線通信回路（１３１ａ）よりネットワーク（２）を介して走行速度を受信可能であってもよい。さらに、遠隔映像出力装置（５０）において、車両（１）からネットワーク（２）を介して遠隔映像出力装置（５０）までの通信遅延が第３遅延時間であり、かつ、通信回路（５３１ａ）が受信した走行速度が第１速度の場合、出力回路（５３２）が、第１の映像の第３フレームから第３の範囲（ＣＯａ）を切り出して第２の映像として出力してもよい。さらに、遠隔映像出力装置（５０）において、車両（１）からネットワーク（２）を介して遠隔映像出力装置（５０）までの通信遅延が第３遅延時間であり、かつ、通信回路（５３１ａ）が受信した走行速度が、第１速度より速い第２速度の場合、出力回路（５３２）が、第１の映像の第４フレームから第３の範囲（ＣＯａ）より狭い第４の範囲（ＣＯｂ）を切り出して第２の映像として出力回路（５３２）が出力してもよい。さらに、第３遅延時間はゼロより大きくてもよい。さらに、第３速度はゼロも含んでいてもよい。

【0283】

これによれば、速度変化の影響が補償された第２の映像を生成することができる。

【0284】

［項目５−７］
項目５−６に記載の遠隔映像出力システム（１、５０）において、第１の映像の第３フレームにおける第３の範囲（ＣＯａ）の形は、第１の映像の第４フレームにおける第４の範囲（ＣＯｂ）の形と、相似であってもよい。

【0285】

これによれば、自動運転車両（１）の直進時の第２の映像を簡易な処理で生成することができる。

【0286】

［項目５−８］
項目５−６又は項目５−７に記載の遠隔映像出力システム（１、５０）において、車両（１）は、操舵輪の舵角を検出する舵角検出回路（２６）を更に有してもよい。また、無線通信回路（１３１ａ）は、舵角を送信可能であってもよい。さらに、遠隔映像出力装置（５０）の通信回路（５３１ａ）は、無線通信回路（１３１ａ）よりネットワーク（２）を介して舵角を受信可能であってもよい。さらに、遠隔映像出力装置（５０）において、車両（１）からネットワーク（２）を介して遠隔映像出力装置（５０）までの通信遅延が第３遅延時間であり、かつ、通信回路（５３１ａ）が受信した走行速度が第３速度であり、かつ、通信回路（５３１ａ）が受信した舵角が第１舵角である場合、出力回路（５３２）が、第１の映像の第５フレームから第５の範囲（ＣＯｂ）を切り出して第２の映像として出力してもよい。さらに、遠隔映像出力装置（５０）において、車両（１）からネットワーク（２）を介して遠隔映像出力装置（５０）までの通信遅延が第３遅延時間であり、かつ、通信回路（５３１ａ）が受信した走行速度が第３速度であり、かつ、通信回路（５３１ａ）が受信した舵角が、第２舵角である場合、出力回路（５３２）が、第１の映像の第６フレームから、第６の範囲（ＣＯｃ）を切り出して第２の映像として出力してもよい。第２舵角は第１舵角と異なる。第６の範囲（ＣＯｃ）は第５の範囲（ＣＯｂ）と異なる。さらに、第３遅延時間はゼロより大きくてもよい。さらに、第３速度はゼロより大きくてもよい。

【0287】

これによれば、舵角変化の影響が補償された第２の映像を生成することができる。

【0288】

［項目５−９］
項目５−８に記載の遠隔映像出力システム（１、５０）において、舵角検出回路（２６）が検出する操舵輪（３１ａ、３１ｂ）の舵角は、車両（１）の直進方向を基準に、第１方向とその角度、又は、第１方向と反対の第２方向とその角度で表現可能であってもよい。また、第１方向は右であってもよい。さらに、第２方向は左であってもよい。

【0289】

これによれば、操舵輪（３１ａ、３１ｂ）の舵角を、左右対称の数値データで送信することができる。

【0290】

［項目５−１０］
項目５−９に記載の遠隔映像出力システム（１、５０）の遠隔映像出力装置（５０）において、車両（１）からネットワーク（２）を介して遠隔映像出力装置（５０）までの通信遅延が第３遅延時間であり、かつ、通信回路（５３１ａ）が受信した走行速度が第３速度であり、かつ、通信回路（５３１ａ）が受信した舵角が直進方向である場合、出力回路（５３２）が、第７の範囲（ＣＯｂ）を切り出して第２の映像として出力してもよい。この場合、第７の範囲（ＣＯｂ）は第１の映像の第７フレームから切り出される。また、車両（１）からネットワーク（２）を介して遠隔映像出力装置（５０）までの通信遅延が第３遅延時間であり、かつ、通信回路（５３１ａ）が受信した走行速度が第３速度であり、かつ、通信回路（５３１ａ）が受信した舵角が、第１の角度（α１）である場合、出力回路（５３２）が、第８の範囲（ＣＯｃ、ＣＯｆ）を、第１の映像の第８フレームから切り出して第２の映像として出力回路（５３２）が出力してもよい。この場合、第１の角度（α１）とは、直進方向を基準に第１方向に第１の角度（α１）であり、第８の範囲（ＣＯｃ、ＣＯｆ）は、第１の映像のフレームにおいて第７の範囲（ＣＯｂ）を基準に第１の方向（Ｄ１）にずれた範囲である。さらに、車両（１）からネットワーク（２）を介して遠隔映像出力装置（５０）までの通信遅延が第３遅延時間であり、かつ、通信回路（５３１ａ）が受信した走行速度が第３速度であり、かつ、通信回路（５３１ａ）が受信した舵角が、第２の角度（α２）である場合、出力回路（５３２）が、第９の範囲（ＣＯｄ、ＣＯｇ）を、第１の映像の第９フレームから切り出して第２の映像として出力回路（５３２）が出力してもよい。この場合、第２の角度（α２）とは、直進方向を基準に第２方向（Ｄ２）に第２の角度（α２）であり、第９の範囲（ＣＯｄ、ＣＯｇ）は、第１の映像のフレームにおいて第６の範囲（ＣＯｃ）を基準に、第１の方向（Ｄ１）と異なる第２の方向（Ｄ２）にずれた範囲である。さらに、第１の角度は正の値であってもよい。さらに、第２の角度は正の値であってもよい。

【0291】

これによれば、舵角変化の影響が補償された第２の映像を生成することができる。

【0292】

［項目５−１１］
項目５−１０に記載の遠隔映像出力システム（１、５０）において、第８の範囲（ＣＯｃ、ＣＯｆ）の第１の方向（Ｄ１）の端部（Ｅ１）の、第１の方向（Ｄ１）と直交する幅は、第８の範囲（ＣＯｃ、ＣＯｆ）における第１の方向（Ｄ１）と反対の端部（Ｅ２）の、第１の方向（Ｄ１）と直交する幅より広くてもよい。また、第９の範囲（ＣＯｄ、ＣＯｇ）の第２の方向（Ｄ２）の端部（Ｅ２）の、第２の方向（Ｄ２）と直交する幅は、第９の範囲（ＣＯｄ、ＣＯｇ）における第２の方向（Ｄ２）と反対の端部（Ｅ１）の、第２の方向（Ｄ１）と直交する幅より広くてもよい。

【0293】

これによれば、舵角変化の影響が補償された第２の映像を生成することができる。

【0294】

［項目５−１２］
項目５−１０又は項目５−１１に記載の遠隔映像出力システム（１、５０）において、第１の映像のフレームにおける第２の方向（Ｄ２）は、第１の映像のフレームにおける第１の方向（Ｄ１）と反対であってもよい。

【0295】

これによれば、左右対称に切り出す範囲を移動させることができる。

【0296】

［項目５−１３］
項目５−１から項目５−１２のいずれか１項に記載の遠隔映像出力システム（１、５０）において、遠隔映像出力装置（５０）の出力回路（５３２）は、第２の映像のフレームにおいて所定の領域を示すオブジェクトを重畳して出力してもよい。また、所定の領域は、危険領域であってもよい。

【0297】

これによれば、遠隔側の監視者／操縦者に注意を喚起させることができる。

【0298】

［項目５−１４］
遠隔映像出力装置（５０）は、ネットワーク（２）を介して第１の映像を受信可能な通信回路（５３１ａ）と、第２の映像を出力可能な出力回路（５３２）と、を有する。通信回路（５３１ａ）は、外部の車両（１）が有する無線通信回路（１３１ａ）よりネットワーク（２）を介して、第１の映像を受信可能である。車両（１）は、少なくとも進行方向の周囲を撮影可能な撮像回路（２１）を、更に有し、車両（１）の無線通信回路（１３１ａ）は、撮像回路（２１）が撮影した映像を送信可能である。車両（１）からネットワーク（２）を介して遠隔映像出力装置（５０）までの通信遅延が第１遅延時間である場合、出力回路（５３２）が、第１の映像の第１フレームから第１の範囲（ＣＯａ）を切り出して第２の映像として出力する。車両（１）からネットワーク（２）を介して遠隔映像出力装置（５０）までの通信遅延が、第１遅延時間より長い第２遅延時間である場合、出力回路（５３２）が、第１の映像の第２フレームから第１の範囲（ＣＯａ）より狭い第２の範囲（ＣＯｂ）を切り出して第２の映像として出力する。

【0299】

これによれば、通信遅延の影響が補償された第２の映像を生成することができる。

【0300】

［項目５−１５］
項目５−１４に記載の遠隔映像出力装置（５０）において、第１の映像の第２フレームは、第１の映像の第１フレームと同一であってもよい。

【0301】

これによれば、通信遅延が大きくなっても、規定された表示タイミングで第２の映像を生成することができる。

【0302】

［項目５−１６］
項目５−１４又は項目５−１５に記載の遠隔映像出力装置（５０）において、出力回路（５３２）に接続された表示部（５４）を更に有してもよく、表示部（５４）は、第２の映像を出力してもよい。

【0303】

これによれば、遠隔側の監視者／操縦者が、通信遅延の影響が補償された第２の映像をリアルタイムに見ることができる。

【0304】

［項目５−１７］
項目５−１４から項目５−１６のいずれか１項に記載の遠隔映像出力装置（５０）において、第１の映像の第１フレームと、第１の映像の第２フレームは、四角形であってもよい。

【0305】

これによれば、一般的な映像フォーマットで自動運転車両（１）から遠隔制御装置（５０）に映像を送信することができる。

【0306】

［項目５−１８］
項目５−１４から項目５−１７のいずれか１項に記載の遠隔映像出力装置（５０）において、第１の映像の第１フレームにおける第１の範囲（ＣＯａ）の形は、第１の映像の第２フレームにおける第２の範囲（ＣＯｂ）の形と、相似であってもよい。

【0307】

これによれば、自動運転車両（１）の直進時の第２の映像を簡易な処理で生成することができる。

【0308】

［項目５−１９］
項目５−１４から項目５−１８のいずれか１項に記載の遠隔映像出力装置（５０）において、車両（１）は、走行速度を検出する速度検出回路（２４）を更に有してもよい。また、無線通信回路（１３１ａ）は、走行速度を送信可能であってもよい。さらに、通信回路（５３１ａ）は、無線通信回路（１３１ａ）よりネットワーク（２）を介して走行速度を受信可能であってもよい。さらに、車両（１）からネットワーク（２）を介して遠隔映像出力装置（５０）までの通信遅延が第３遅延時間であり、かつ、通信回路（５３１ａ）が受信した走行速度が第１速度の場合、出力回路（５３２）が、第１の映像の第３フレームから第３の範囲（ＣＯａ）を切り出して第２の映像として出力してもよい。さらに、車両（１）からネットワーク（２）を介して遠隔映像出力装置（５０）までの通信遅延が第３遅延時間であり、かつ、通信回路（５３１ａ）が受信した走行速度が、第１速度より速い第２速度の場合、出力回路（５３２）が、第１の映像の第４フレームから第３の範囲（ＣＯａ）より狭い第４の範囲（ＣＯｂ）を切り出して第２の映像として出力してもよい。さらに、第３遅延時間はゼロより大きくてもよい。さらに、第３速度はゼロも含んでいてもよい。

【0309】

これによれば、速度変化の影響が補償された第２の映像を生成することができる。

【0310】

［項目５−２０］
項目５−１９に記載の遠隔映像出力装置（５０）において、第１の映像の第３フレームにおける第３の範囲（ＣＯａ）の形は、第１の映像の第４フレームにおける第４の範囲（ＣＯｂ）の形と、相似であってもよい。

【0311】

これによれば、自動運転車両（１）の直進時の第２の映像を簡易な処理で生成することができる。

【0312】

［項目５−２１］
項目５−１９又は項目５−２０に記載の遠隔映像出力装置（５０）において、車両（１）は、操舵輪の舵角を検出する舵角検出回路（２６）を更に有してもよい。また、無線通信回路（１３１ａ）は、舵角を送信可能であってもよい。さらに、通信回路（５３１ａ）は、無線通信回路（１３１ａ）よりネットワーク（２）を介して舵角を受信可能であってもよい。さらに、車両（１）からネットワーク（２）を介して遠隔映像出力装置（５０）までの通信遅延が第３遅延時間であり、かつ、通信回路（５３１ａ）が受信した走行速度が第３速度であり、かつ、通信回路（５３１ａ）が受信した舵角が第１舵角である場合、出力回路（５３２）が、第１の映像の第５フレームから第５の範囲（ＣＯｂ）を切り出して第２の映像として出力してもよい。さらに、車両（１）からネットワーク（２）を介して遠隔映像出力装置（５０）までの通信遅延が第３遅延時間であり、かつ、通信回路（５３１ａ）が受信した走行速度が第３速度であり、かつ、通信回路（５３１ａ）が受信した舵角が、第１舵角と異なる第２舵角である場合、出力回路（５３２）が、第１の映像の第６フレームから、第５の範囲（ＣＯｂ）と異なる第６の範囲（ＣＯｃ）を切り出して第２の映像として出力してもよい。さらに、第３遅延時間はゼロより大きくてもよい。さらに、第３速度はゼロより大きくてもよい。

【0313】

これによれば、舵角変化の影響が補償された第２の映像を生成することができる。

【0314】

［項目５−２２］
項目５−２１に記載の遠隔映像出力装置（５０）において、舵角検出回路（２６）が検出する操舵輪の舵角は、車両（１）の直進方向を基準に、第１方向とその角度、又は、第１方向と反対の第２方向とその角度で表現可能であってもよい。また、第１方向は右であってもよい。さらに、第２方向は左であってもよい。

【0315】

これによれば、操舵輪（３１ａ、３１ｂ）の舵角を、左右対称の数値データで送信することができる。

【0316】

［項目５−２３］
項目５−２２に記載の遠隔映像出力装置（５０）において、車両（１）からネットワーク（２）を介して遠隔映像出力装置（５０）までの通信遅延が第３遅延時間であり、かつ、通信回路（５３１ａ）が受信した走行速度が第３速度であり、かつ、通信回路（５３１ａ）が受信した舵角が直進方向である場合、出力回路（５３２）が、第１の映像の第７フレームから第７の範囲（ＣＯｂ）を切り出して第２の映像として出力してもよい。また、車両（１）からネットワーク（２）を介して遠隔映像出力装置（５０）までの通信遅延が第３遅延時間であり、かつ、通信回路（５３１ａ）が受信した走行速度が第３速度であり、かつ、通信回路（５３１ａ）が受信した舵角が、第１の角度（α１）である場合、出力回路（５３２）が、第８の範囲（ＣＯｃ、ＣＯｆ）を、第１の映像の第８フレームから切り出して第２の映像として出力してもよい。この場合、第１の角度（α１）とは、直進方向を基準に第１方向に第１の角度（α１）であり、第８の範囲（ＣＯｃ、ＣＯｆ）は、第１の映像のフレームにおいて第７の範囲（ＣＯｂ）を基準に第１の方向（Ｄ１）にずれた範囲である。さらに、車両（１）からネットワーク（２）を介して遠隔映像出力装置（５０）までの通信遅延が第３遅延時間であり、かつ、通信回路（５３１ａ）が受信した走行速度が第３速度であり、かつ、通信回路（５３１ａ）が受信した舵角が、第２の角度（α２）である場合、第９の範囲（ＣＯｄ、ＣＯｇ）を、第１の映像の第９フレームから切り出して第２の映像として出力回路（５３２）が出力してもよい。この場合、第２の角度（α２）とは、直進方向を基準に第２方向（Ｄ２）に第２の角度（α２）であり、第９の範囲（ＣＯｄ、ＣＯｇ）は、第１の映像のフレームにおいて第６の範囲（ＣＯｃ）を基準に、第１の方向（Ｄ１）と異なる第２の方向（Ｄ２）にずれた範囲である。さらに、第１の角度は正の値であってもよい。さらに、第２の角度は正の値であってもよい。

【0317】

これによれば、舵角変化の影響が補償された第２の映像を生成することができる。

【0318】

［項目５−２４］
項目５−２３に記載の遠隔映像出力装置（５０）において、第８の範囲（ＣＯｃ、ＣＯｆ）における第１の方向（Ｄ１）の端部（Ｅ１）の、第１の方向（Ｄ１）と直交する幅は、第８の範囲（ＣＯｃ、ＣＯｆ）における第１の方向（Ｄ１）と反対の端部（Ｅ２）の、第１の方向（Ｄ１）と直交する幅より広くてもよい。また、第９の範囲（ＣＯｄ、ＣＯｇ）における第２の方向（Ｄ２）の端部（Ｅ２）の、第２の方向（Ｄ２）と直交する幅は、第９の範囲（ＣＯｄ、ＣＯｇ）における第２の方向（Ｄ２）と反対の端部（Ｅ１）の、第２の方向（Ｄ１）と直交する幅より広くてもよい。

【0319】

これによれば、舵角変化の影響が補償された第２の映像を生成することができる。

【0320】

［項目５−２５］
項目５−２３又は項目５−２４に記載の遠隔映像出力装置（５０）において、第１の映像のフレームにおける第２の方向（Ｄ２）は、第１の映像のフレームにおける第１の方向（Ｄ１）と反対であってもよい。

【0321】

これによれば、左右対称に切り出す範囲を移動させることができる。

【0322】

［項目５−２６］
項目５−１４から項目５−２５のいずれか１項に記載の遠隔映像出力装置（５０）において、出力回路（５３２）は、第２の映像のフレームにおいて所定の領域を示すオブジェクトを重畳して出力してもよい。また、所定の領域は、危険領域であってもよい。

【0323】

これによれば、遠隔側の監視者／操縦者に注意を喚起させることができる。

【産業上の利用可能性】

【0324】

本開示は、遠隔映像出力システム、及び遠隔映像出力装置として有用である。

【符号の説明】

【0325】

１ 自動運転車両
２ ネットワーク
２ａ 無線ＬＡＮルータ装置
２ｂ 基地局装置
２ｃ インターネット
２ｄ ルータ装置
５ 遠隔監視センタ
１０ 自動運転制御装置
１１ 制御部
１２ 記憶部
１３ 入出力部
２０ 検知部
２１，２１ａ，２１ｂ，２１ｃ，２１ｄ 可視光カメラ
２２ ＬＩＤＡＲ
２３ ミリ波レーダ
２４ 車速センサ
２５ ＧＰＳセンサ
２６ 舵角センサ
３０ アクチュエータ
３１ａ 左前輪
３１ｂ 右前輪
３１ｃ 左後輪
３１ｄ 右後輪
５０ 遠隔制御装置
５１ 制御部
５２ 記憶部
５３ 入出力部
５４ 表示部
５４ａ，５４ｂ，５４ｃ，５４ｄ，５４ｅ，５４ｆ，５４ｇ，５４ｈ，５４ｉ，５４ｊ，５４ｋ 監視画像
５５ 操作部
５６ 操縦部
１１１ 自律走行制御部
１１２ 危険度算出部
１１３ 通信遅延推定部
１１４ 送信データ量調整部
１１５ 通信方式切替部
１１６ 画像圧縮符号化部
１１７ 送信データ生成部
１１８ 遠隔走行制御部
１３１ センタ入出力部
１３１ａ 無線通信部
１３２ 検知データ入力部
１３３ 制御信号出力部
５１１ 画像生成部
５１２ 車両指示信号生成部
５１３ 画像解析部
５１４ 危険範囲決定部
５１５ 画像伸張復号部
５１６ 遅延時間検出部
５１７ 切出部
５１８ サイズ変換部
５１９ オブジェクト重畳部
５３１ 車両入出力部
５３１ａ 通信部
５３２ 画像信号出力部
５３３ 操作信号入力部
５６１ ステアリングホイール
５６２ アクセルペダル
５６３ ブレーキペダル
５６４ ウインカスイッチ
Ｃ１，Ｃ１ａ 自車
Ｃ１ｉ 自車を示すアイコン
ＣＯａ，ＣＯｂ，ＣＯｃ，ＣＯｄ，ＣＯｅ，ＣＯｆ，ＣＯｇ 切出範囲
Ｄ１ 第１方向（右方向、時計回り方向）
Ｄ２ 第２方向（左方向、反時計回り方向）
Ｅ１ 第１方向の端部
Ｅ２ 第２方向の端部
Ｆ１ａ 第１フレーム画像
Ｆ１ｂ 第２フレーム画像
Ｆ１ｃ 第３フレーム画像
Ｆ１ｄ 第４フレーム画像
Ｆ１ｅ フレーム画像
Ｆ１ｆ フレーム画像
Ｆ１ｇ フレーム画像
Ｆ２ａ 表示用のフレーム画像
Ｆ２ｅ 表示用のフレーム画像
Ｆ２ｆ 表示用のフレーム画像
Ｆ２ｇ 表示用のフレーム画像
Ｆ１１ 第１の映像の第１フレーム画像
Ｆ１２ 第１の映像の第２フレーム画像
Ｆ１３ 第１の映像の第３フレーム画像
Ｆ１４ 第１の映像の第４フレーム画像
Ｆ１５ 第１の映像の第５フレーム画像
Ｆ２１ 第２の映像の第１フレーム画像
Ｆ２２ 第２の映像の第２フレーム画像
Ｆ２３ 第２の映像の第３フレーム画像
Ｆ２４ 第２の映像の第４フレーム画像
Ｆ２５ 第２の映像の第５フレーム画像
Ｃ０１ 第１の映像の第１フレーム画像内の切出領域
Ｃ０２，Ｃ０２ａ，Ｃ０２ｂ，Ｃ０２ｃ 第１の映像の第２フレーム画像内の切出領域
Ｃ０３ 第１の映像の第３フレーム画像内の切出領域
Ｃ０４ 第１の映像の第４フレーム画像内の切出領域
Ｃ０５ 第１の映像の第５フレーム画像内の切出領域
Ｏ１ 第１対象物
Ｏ２ 第２対象物
Ｏ３ 第３対象物
Ｏ４ 第４対象物
Ｏ５ 第５対象物
Ｏ６ 第６対象物
Ｏ７ 第７対象物
Ｏ８ 第８対象物
Ｏ９，Ｏ９ａ 第９対象物
Ｏ１ｉ，Ｏ２ｉ，Ｏ３ｉ 自車周辺の対象物を示すアイコン
Ｐ１ 第１地点
Ｐ２ 第２地点
Ｒ１，Ｒ２ 走行ルート
Ｓ１ 目標場所
Ｚ１ 危険範囲オブジェクト
α１ 第１角度
α２ 第２角度

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18A】

【図18B】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29A】

【図29B】

【図30A】

【図30B】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【手続補正書】

【提出日】2019年8月1日

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】０００３

【補正方法】変更

【補正の内容】

【0003】

しかしながら、ＮＨＴＳＡ（Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）がレベル５として規定する完全自動運転の実現は、長い年月を要すると予想されている。完全無人自動運転車両が完成するまでの過渡期の技術として、または完全無人自動運転車両を補完する技術として遠隔制御技術を活用することが考えられる（例えば、特許文献１〜３参照）。例えば、遠隔制御センタで監視者が複数の無人運転車両を監視し、必要なとき無人運転車両に指示を送る方法が考えられる。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００９

【補正方法】変更

【補正の内容】

【0009】

【図1】図１は、本開示の実施の形態１に係る遠隔型自動運転システムの全体構成を示す図である。

【図2】図２は、本開示の実施の形態１に係る自動運転車両の構成を示す図である。

【図3】図３は、本開示の実施の形態１に係る遠隔制御装置の構成を示す図である。

【図4】図４は、本開示の実施の形態１に係る遠隔型自動運転システムの基本動作を示すフローチャートである。

【図5】図５は、動作例１に係る送信データ量調整方法の処理の流れを示すフローチャートである。

【図6A】図６Ａは、動作例１に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。

【図6B】図６Ｂは、動作例１に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。

【図7】図７は、動作例２に係る送信データ量調整方法の処理の流れを示すフローチャートである。

【図8A】図８Ａは、動作例２に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。

【図8B】図８Ｂは、動作例２に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。

【図9】図９は、動作例３に係る通信方式切替方法の処理の流れを示すフローチャートである。

【図10】図１０は、動作例４に係る通信方式切替方法の処理の流れを示すフローチャートである。

【図11】図１１は、動作例５に係る、高画質画像要求機能が搭載された遠隔型自動運転システムの動作を示すフローチャートである。

【図12】図１２は、動作例６に係る、運転再開時の走行ルートの指定機能が搭載された遠隔型自動運転システムの動作を示すフローチャートである。

【図13】図１３は、動作例６に係る、遠隔制御装置の表示部に表示される監視画像上で走行ルートを指定する場合の一例を示す図である。

【図14】図１４は、動作例７に係る、運転再開時の走行ルートの指定機能が搭載された遠隔型自動運転システムの動作を示すフローチャートである。

【図15】図１５は、動作例７に係る、遠隔制御装置の表示部に表示される監視画像上で走行ルートを指定する場合の一例を示す図である。

【図16】図１６は、動作例６、７の変形例に係る、遠隔制御装置の表示部に表示される監視画像上で走行ルートを指定する場合の一例を示す図である。

【図17】図１７は、動作例８に係る、危険範囲オブジェクトを含む監視画像の表示方法の処理の流れを示すフローチャートである。

【図18A】図１８Ａは、動作例８に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。

【図18B】図１８Ｂは、動作例８に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。

【図19】図１９は、動作例９に係る、危険範囲オブジェクトを含む監視画像の表示方法の処理の流れを示すフローチャートである。

【図20】図２０は、動作例１０に係る、通信遅延が可視化された監視画像の表示方法の処理の流れを示すフローチャートである。

【図21】図２１は、動作例１０に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。

【図22】図２２は、動作例１１に係る、通信遅延が可視化された監視画像の表示方法の処理の流れを示すフローチャートである。

【図23】図２３は、動作例１１に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。

【図24】図２４は、本開示の実施の形態２に係る自動運転車両の構成を示す図である。

【図25】図２５は、本開示の実施の形態２に係る遠隔制御装置の構成を示す図である。

【図26】図２６は、本開示の実施の形態２に係る遠隔制御装置が、自動運転車両から受信した映像を表示する際の基本処理の流れを示すフローチャートである。

【図27】図２７は、本開示の実施の形態２に係る遠隔制御装置が、自動運転車両から受信した映像を表示する際の発展処理の流れを示すフローチャートである。

【図28】図２８は、本開示の実施の形態２に係る遠隔型自動運転システムの基本動作を示すフローチャートである。

【図29A】図２９Ａは、自動運転車両の直進時に切り出される切出範囲の一例を示す図である。

【図29B】図２９Ｂは、自動運転車両の直進時に切り出される切出範囲の一例を示す図である。

【図30A】図３０Ａは、自動運転車両のカーブ時に切り出される切出範囲の一例を示す図である。

【図30B】図３０Ｂは、自動運転車両のカーブ時に切り出される切出範囲の一例を示す図である。

【図31】図３１は、自動運転車両の直進時の操舵輪の状態を示す図である。

【図32】図３２は、自動運転車両の右カーブ時の操舵輪の状態を示す図である。

【図33】図３３は、自動運転車両の左カーブ時の操舵輪の状態を示す図である。

【図34】図３４は、自動運転車両の可視光カメラで撮像された第１の映像のフレーム画像と、遠隔制御装置の表示部に表示させる第２の映像のフレーム画像との第１の関係例を示す図である。

【図35】図３５は、自動運転車両の可視光カメラで撮像された第１の映像のフレーム画像と、遠隔制御装置の表示部に表示させる第２の映像のフレーム画像との第２の関係例を示す図である。

【図36】図３６は、遠隔制御装置の表示部に表示されるフレーム画像の一例を示す図である。

【図37】図３７は、魚眼レンズを有する可視光カメラで撮像されたフレーム画像の一例を示す図である。

【図38】図３８は、自動運転車両が存在する交差点を上から俯瞰した図である。

【図39】図３９は、図３８の第１地点に自動運転車両が位置する際に撮像されたフレーム画像を示す図である。

【図40】図４０は、図３８の第２地点に自動運転車両が位置する際に撮像されたフレーム画像を示す図である。

【図41】図４１は、図３８の第１地点から自動運転車両が左折を開始した直後に撮像されたフレーム画像を示す図である。

【図42】図４２は、危険範囲オブジェクトが重畳された、自動運転車両が存在する交差点を上から俯瞰した図である。

【図43】図４３は、第２地点に位置する自動運転車両の可視光カメラで撮像されたフレーム画像内の切出範囲から生成された表示用のフレーム画像を示す図である。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００１３

【補正方法】変更

【補正の内容】

【0013】

本開示の実施の形態１はこうした状況に鑑みなされたものであり、実施の形態１の第２の目的は、自動運転車両において、道路運行の妨げになることを抑制しつつ、安全性を確保する技術を提供することにある。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００３５

【補正方法】変更

【補正の内容】

【0035】

上記した可視光カメラ２１、ＬＩＤＡＲ２２、ミリ波レーダ２３、車速センサ２４及びＧＰＳセンサ２５の検知データの内、データ量が最も多いのは可視光カメラ２１で生成された画像データである。次にデータ量が多いのがＬＩＤＡＲ２２で生成された３次元モデリングデータである。次にデータ量が多いのがミリ波レーダ２３で検知された検知情報である。車速センサ２４で検知された車両情報およびＧＰＳセンサ２５で検知された位置情報はごく少量のデータである。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００５４

【補正方法】変更

【補正の内容】

【0054】

図５は、動作例１に係る送信データ量調整方法の処理の流れを示すフローチャートである。自動運転制御装置１０の自律走行制御部１１１は、検知部２０から各種の検知データを取得する（Ｓ１００）。自律走行制御部１１１は、可視光カメラ２１、ＬＩＤＡＲ２２及びミリ波レーダ２３の少なくとも１つから取得された検知データをもとに、自車周辺の対象物の位置情報を特定する。当該対象物は、自車以外の車両、自転車、歩行者、動物などの、走行中の障害物として予め自動運転アルゴリズムに設定された対象物である。なお、対象物の種別及び移動ベクトルの少なくとも一方を検出できる場合は、対象物の種別及び移動ベクトルの少なくとも一方も検出する。

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】００５７

【補正方法】変更

【補正の内容】

【0057】

図６Ａ、図６Ｂは、動作例１に係る遠隔制御装置５０の表示部５４に表示される監視画像の一例を示す図である。図６Ａは、上記危険度が上記閾値以下の状態で表示部５４に表示される監視画像５４ａの一例を示している。図６Ａに示す例では、自車の位置情報、及び自車周辺の対象物の位置情報をもとに自車を示すアイコンＣ１ｉと、自車周辺の対象物を示す３つのアイコンＯ１ｉ〜Ｏ３ｉが表示されている。対象物と自車との距離関係は、ＬＩＤＡＲ２２またはミリ波レーダ２３により検知される反射信号により特定することが可能である。また、対象物の動きベクトルを検出することにより、各対象物の進行方向も特定することが可能である。

【手続補正7】

【補正対象書類名】明細書

【補正対象項目名】０１２０

【補正方法】変更

【補正の内容】

【0120】

像生成部５１１は、推定された現在位置の自動運転車両１及び移動体、並びに危険範囲オブジェクトを重畳させた監視画像を生成する（Ｓ２２６ａ）。以上のステップＳ２２０〜ステップＳ２２６ａまでの処理が、自動運転車両１の運転が終了するまで（Ｓ２２７のＹ）、繰り返し実行される（Ｓ２２７のＮ）。

【手続補正8】

【補正対象書類名】明細書

【補正対象項目名】０２９０

【補正方法】変更

【補正の内容】

【0290】

［項目５−１０］
項目５−９に記載の遠隔映像出力システム（１、５０）の遠隔映像出力装置（５０）において、車両（１）からネットワーク（２）を介して遠隔映像出力装置（５０）までの通信遅延が第３遅延時間であり、かつ、通信回路（５３１ａ）が受信した走行速度が第３速度であり、かつ、通信回路（５３１ａ）が受信した舵角が直進方向である場合、出力回路（５３２）が、第７の範囲（ＣＯｂ）を切り出して第２の映像として出力してもよい。この場合、第７の範囲（ＣＯｂ）は第１の映像の第７フレームから切り出される。また、車両（１）からネットワーク（２）を介して遠隔映像出力装置（５０）までの通信遅延が第３遅延時間であり、かつ、通信回路（５３１ａ）が受信した走行速度が第３速度であり、かつ、通信回路（５３１ａ）が受信した舵角が、第１の角度（α１）である場合、出力回路（５３２）が、第８の範囲（ＣＯｃ、ＣＯｆ）を、第１の映像の第８フレームから切り出して第２の映像として出力回路（５３２）が出力してもよい。この場合、舵角は、直進方向を基準に第１方向に第１の角度（α１）であり、第８の範囲（ＣＯｃ、ＣＯｆ）は、第１の映像のフレームにおいて第７の範囲（ＣＯｂ）を基準に第１の方向（Ｄ１）にずれた範囲である。さらに、車両（１）からネットワーク（２）を介して遠隔映像出力装置（５０）までの通信遅延が第３遅延時間であり、かつ、通信回路（５３１ａ）が受信した走行速度が第３速度であり、かつ、通信回路（５３１ａ）が受信した舵角が、第２の角度（α２）である場合、出力回路（５３２）が、第９の範囲（ＣＯｄ、ＣＯｇ）を、第１の映像の第９フレームから切り出して第２の映像として出力回路（５３２）が出力してもよい。この場合、舵角は、直進方向を基準に第２方向（Ｄ２）に第２の角度（α２）であり、第９の範囲（ＣＯｄ、ＣＯｇ）は、第１の映像のフレームにおいて第６の範囲（ＣＯｃ）を基準に、第１の方向（Ｄ１）と異なる第２の方向（Ｄ２）にずれた範囲である。さらに、第１の角度は正の値であってもよい。さらに、第２の角度は正の値であってもよい。

【手続補正9】

【補正対象書類名】明細書

【補正対象項目名】０２９２

【補正方法】変更

【補正の内容】

【0292】

［項目５−１１］
項目５−１０に記載の遠隔映像出力システム（１、５０）において、第８の範囲（ＣＯｃ、ＣＯｆ）の第１の方向（Ｄ１）の端部（Ｅ１）の、第１の方向（Ｄ１）と直交する幅は、第８の範囲（ＣＯｃ、ＣＯｆ）における第１の方向（Ｄ１）と反対の端部（Ｅ２）の、第１の方向（Ｄ１）と直交する幅より広くてもよい。また、第９の範囲（ＣＯｄ、ＣＯｇ）の第２の方向（Ｄ２）の端部（Ｅ２）の、第２の方向（Ｄ２）と直交する幅は、第９の範囲（ＣＯｄ、ＣＯｇ）における第２の方向（Ｄ２）と反対の端部（Ｅ１）の、第２の方向（Ｄ２）と直交する幅より広くてもよい。

【手続補正10】

【補正対象書類名】明細書

【補正対象項目名】０３１６

【補正方法】変更

【補正の内容】

【0316】

［項目５−２３］
項目５−２２に記載の遠隔映像出力装置（５０）において、車両（１）からネットワーク（２）を介して遠隔映像出力装置（５０）までの通信遅延が第３遅延時間であり、かつ、通信回路（５３１ａ）が受信した走行速度が第３速度であり、かつ、通信回路（５３１ａ）が受信した舵角が直進方向である場合、出力回路（５３２）が、第１の映像の第７フレームから第７の範囲（ＣＯｂ）を切り出して第２の映像として出力してもよい。また、車両（１）からネットワーク（２）を介して遠隔映像出力装置（５０）までの通信遅延が第３遅延時間であり、かつ、通信回路（５３１ａ）が受信した走行速度が第３速度であり、かつ、通信回路（５３１ａ）が受信した舵角が、第１の角度（α１）である場合、出力回路（５３２）が、第８の範囲（ＣＯｃ、ＣＯｆ）を、第１の映像の第８フレームから切り出して第２の映像として出力してもよい。この場合、舵角は、直進方向を基準に第１方向に第１の角度（α１）であり、第８の範囲（ＣＯｃ、ＣＯｆ）は、第１の映像のフレームにおいて第７の範囲（ＣＯｂ）を基準に第１の方向（Ｄ１）にずれた範囲である。さらに、車両（１）からネットワーク（２）を介して遠隔映像出力装置（５０）までの通信遅延が第３遅延時間であり、かつ、通信回路（５３１ａ）が受信した走行速度が第３速度であり、かつ、通信回路（５３１ａ）が受信した舵角が、第２の角度（α２）である場合、第９の範囲（ＣＯｄ、ＣＯｇ）を、第１の映像の第９フレームから切り出して第２の映像として出力回路（５３２）が出力してもよい。この場合、舵角は、直進方向を基準に第２方向（Ｄ２）に第２の角度（α２）であり、第９の範囲（ＣＯｄ、ＣＯｇ）は、第１の映像のフレームにおいて第６の範囲（ＣＯｃ）を基準に、第１の方向（Ｄ１）と異なる第２の方向（Ｄ２）にずれた範囲である。さらに、第１の角度は正の値であってもよい。さらに、第２の角度は正の値であってもよい。

【手続補正11】

【補正対象書類名】明細書

【補正対象項目名】０３１８

【補正方法】変更

【補正の内容】

【0318】

［項目５−２４］
項目５−２３に記載の遠隔映像出力装置（５０）において、第８の範囲（ＣＯｃ、ＣＯｆ）における第１の方向（Ｄ１）の端部（Ｅ１）の、第１の方向（Ｄ１）と直交する幅は、第８の範囲（ＣＯｃ、ＣＯｆ）における第１の方向（Ｄ１）と反対の端部（Ｅ２）の、第１の方向（Ｄ１）と直交する幅より広くてもよい。また、第９の範囲（ＣＯｄ、ＣＯｇ）における第２の方向（Ｄ２）の端部（Ｅ２）の、第２の方向（Ｄ２）と直交する幅は、第９の範囲（ＣＯｄ、ＣＯｇ）における第２の方向（Ｄ２）と反対の端部（Ｅ１）の、第２の方向（Ｄ２）と直交する幅より広くてもよい。

【手続補正12】

【補正対象書類名】図面

【補正対象項目名】図１１

【補正方法】変更

【補正の内容】

【図11】

【国際調査報告】