特表-18155159IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックIPマネジメント株式会社の特許一覧
再表2018-155159遠隔映像出力システム、及び遠隔映像出力装置
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2018年8月30日
【発行日】2019年12月19日
(54)【発明の名称】遠隔映像出力システム、及び遠隔映像出力装置
(51)【国際特許分類】
   H04Q 9/00 20060101AFI20191122BHJP
   B60W 40/02 20060101ALI20191122BHJP
   G08G 1/16 20060101ALI20191122BHJP
【FI】
   H04Q9/00 301B
   H04Q9/00 361
   B60W40/02
   G08G1/16 A
【審査請求】未請求
【予備審査請求】未請求
【全頁数】71
【出願番号】特願2019-501191(P2019-501191)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2018年2月6日
(31)【優先権主張番号】特願2017-33166(P2017-33166)
(32)【優先日】2017年2月24日
(33)【優先権主張国】JP
(31)【優先権主張番号】特願2017-33167(P2017-33167)
(32)【優先日】2017年2月24日
(33)【優先権主張国】JP
(31)【優先権主張番号】特願2017-33168(P2017-33168)
(32)【優先日】2017年2月24日
(33)【優先権主張国】JP
(31)【優先権主張番号】特願2017-33169(P2017-33169)
(32)【優先日】2017年2月24日
(33)【優先権主張国】JP
(31)【優先権主張番号】特願2017-213101(P2017-213101)
(32)【優先日】2017年11月2日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】100106116
【弁理士】
【氏名又は名称】鎌田 健司
(74)【代理人】
【識別番号】100115554
【弁理士】
【氏名又は名称】野村 幸一
(72)【発明者】
【氏名】上田 伊織
(72)【発明者】
【氏名】星田 昌昭
(72)【発明者】
【氏名】岩間 智大
【テーマコード(参考)】
3D241
5H181
5K048
【Fターム(参考)】
3D241BA33
3D241BA39
3D241BA41
3D241CC01
3D241CC08
3D241CC17
3D241CD07
3D241CD09
3D241CE02
3D241CE04
3D241CE05
3D241DB01Z
3D241DB02Z
3D241DC01Z
3D241DC25Z
3D241DC31Z
3D241DC60Z
5H181AA01
5H181BB04
5H181BB13
5H181CC03
5H181CC04
5H181CC12
5H181CC14
5H181FF04
5H181FF13
5H181FF27
5H181FF33
5H181LL01
5H181LL04
5H181MB01
5H181MC19
5H181MC22
5H181MC24
5K048AA04
5K048AA05
5K048BA48
5K048DB01
5K048DC01
5K048EB02
5K048EB10
5K048EB15
5K048FB03
5K048FB15
5K048HA21
(57)【要約】
遠隔映像出力システムは、車両と、遠隔映像出力装置と、を有する。車両は、少なくとも進行方向の周囲を撮影可能な撮像回路と、撮像回路が撮影した映像を送信可能な無線通信回路と、を有する。遠隔映像出力装置は、無線通信回路より、ネットワークを介して第1の映像を受信可能な通信回路と、第2の映像を出力可能な出力回路と、を有する。遠隔映像出力装置において、車両からネットワークを介して遠隔映像出力装置までの通信遅延が第1遅延時間である場合、出力回路が、第1の映像の第1フレームから第1の範囲を切り出して第2の映像として出力する。遠隔映像出力装置において、車両からネットワークを介して遠隔映像出力装置までの通信遅延が、第1遅延時間より長い第2遅延時間である場合、出力回路が、第1の映像の第2フレームから第1の範囲より狭い第2の範囲を切り出して第2の映像として出力する。
【特許請求の範囲】
【請求項1】
少なくとも進行方向の周囲を撮影可能な撮像回路と、
前記撮像回路が撮影した映像を送信可能な無線通信回路と、
を備える車両と、
前記無線通信回路より、ネットワークを介して第1の映像を受信可能な通信回路と、
第2の映像を出力可能な出力回路と、
を備える遠隔映像出力装置と、を備える遠隔映像出力システムであって、
前記遠隔映像出力装置において、前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が第1遅延時間である場合、前記出力回路が、前記第1の映像の第1フレームから第1の範囲を切り出して前記第2の映像として出力し、
前記遠隔映像出力装置において、前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が、前記第1遅延時間より長い第2遅延時間である場合、前記出力回路が、前記第1の映像の第2フレームから前記第1の範囲より狭い第2の範囲を切り出して前記第2の映像として出力する、
遠隔映像出力システム。
【請求項2】
請求項1に記載の遠隔映像出力システムであって、
前記第1の映像の前記第2フレームは、前記第1の映像の前記第1フレームと同一である、
遠隔映像出力システム。
【請求項3】
請求項1又は請求項2に記載の遠隔映像出力システムであって、
前記遠隔映像出力装置は、前記出力回路に接続された表示部を更に備え、
前記表示部は、前記第2の映像を出力する、
遠隔映像出力システム。
【請求項4】
請求項1から請求項3のいずれか1項に記載の遠隔映像出力システムであって、
前記遠隔映像出力装置の前記通信回路が受信する前記第1の映像の前記第1フレームと、前記第1の映像の前記第2フレームは、四角形である、
遠隔映像出力システム。
【請求項5】
請求項1から請求項4のいずれか1項に記載の遠隔映像出力システムであって、
前記第1の映像の前記第1フレームにおける前記第1の範囲の形は、前記第1の映像の前記第2フレームにおける前記第2の範囲の形と、相似である、
遠隔映像出力システム。
【請求項6】
請求項1から請求項5のいずれか1項に記載の遠隔映像出力システムであって、
前記車両は、走行速度を検出する速度検出回路を更に備え、
前記無線通信回路は、前記走行速度を送信可能であり、
前記遠隔映像出力装置の前記通信回路は、前記無線通信回路より前記ネットワークを介して前記走行速度を受信可能であって、
前記遠隔映像出力装置において、前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が第3遅延時間であり、かつ、前記通信回路が受信した前記走行速度が第1速度の場合、前記出力回路が、前記第1の映像の第3フレームから第3の範囲を切り出して前記第2の映像として出力し、
前記遠隔映像出力装置において、前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が前記第3遅延時間であり、かつ、前記通信回路が受信した前記走行速度が、前記第1速度より速い第2速度の場合、前記出力回路が、前記第1の映像の第4フレームから前記第3の範囲より狭い第4の範囲を切り出して前記第2の映像として出力する、
遠隔映像出力システム。
【請求項7】
請求項6に記載の遠隔映像出力システムであって、
前記第1の映像の前記第3フレームにおける前記第3の範囲の形は、前記第1の映像の前記第4フレームにおける前記第4の範囲の形と、相似である、
遠隔映像出力システム。
【請求項8】
請求項6又は請求項7に記載の遠隔映像出力システムであって、
前記車両は、操舵輪の舵角を検出する舵角検出回路を更に備え、
前記無線通信回路は、前記舵角を送信可能であり、
前記遠隔映像出力装置の前記通信回路は、前記無線通信回路より前記ネットワークを介して前記舵角を受信可能であって、
前記遠隔映像出力装置において、前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が前記第3遅延時間であり、かつ、前記通信回路が受信した前記走行速度が第3速度であり、かつ、前記通信回路が受信した前記舵角が第1舵角である場合、前記出力回路が、前記第1の映像の第5フレームから第5の範囲を切り出して前記第2の映像として出力し、
前記遠隔映像出力装置において、前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が前記第3遅延時間であり、かつ、前記通信回路が受信した前記走行速度が前記第3速度であり、かつ、前記通信回路が受信した前記舵角が、前記第1舵角と異なる第2舵角である場合、前記出力回路が、前記第1の映像の第6フレームから、前記第5の範囲と異なる第6の範囲を切り出して前記第2の映像として出力する、
遠隔映像出力システム。
【請求項9】
請求項8に記載の遠隔映像出力システムであって、
前記舵角検出回路が検出する前記操舵輪の前記舵角は、前記車両の直進方向を基準に、第1方向とその角度、又は、前記第1方向と反対の第2方向とその角度で表現可能である、
遠隔映像出力システム。
【請求項10】
請求項9に記載の遠隔映像出力システムであって、
前記遠隔映像出力装置において、前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が前記第3遅延時間であり、かつ、前記通信回路が受信した前記走行速度が第3速度であり、かつ、前記通信回路が受信した前記舵角が直進方向である場合、前記出力回路が、前記第1の映像の第7フレームから第7の範囲を切り出して前記第2の映像として出力し、
前記遠隔映像出力装置において、前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が前記第3遅延時間であり、かつ、前記通信回路が受信した前記走行速度が前記第3速度であり、かつ、前記通信回路が受信した前記舵角が、直進方向を基準に前記第1方向に第1の角度である場合、前記出力回路が、前記第1の映像のフレームにおいて前記第7の範囲を基準に第1の方向にずれた第8の範囲を、前記第1の映像の第8フレームから切り出して前記第2の映像として出力し、
前記遠隔映像出力装置において、前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が前記第3遅延時間であり、かつ、前記通信回路が受信した前記走行速度が前記第3速度であり、かつ、前記通信回路が受信した前記舵角が、直進方向を基準に前記第2方向に第2の角度である場合、前記出力回路が、前記第1の映像のフレームにおいて前記第6の範囲を基準に、前記第1の方向と異なる第2の方向にずれた第9の範囲を、前記第1の映像の第9フレームから切り出して前記第2の映像として出力する、
遠隔映像出力システム。
【請求項11】
請求項10に記載の遠隔映像出力システムであって、
前記第8の範囲における前記第1の方向の端部の、前記第1の方向と直交する幅は、前記第8の範囲における前記第1の方向と反対の端部の、前記第1の方向と直交する幅より広く、
前記第9の範囲における前記第2の方向の端部の、前記第2の方向と直交する幅は、前記第9の範囲における前記第2の方向と反対の端部の、前記第2の方向と直交する幅より広い、
遠隔映像出力システム。
【請求項12】
請求項10又は請求項11に記載の遠隔映像出力システムであって、
前記第1の映像のフレームにおける前記第2の方向は、前記第1の映像のフレームにおける前記第1の方向と反対である、
遠隔映像出力システム。
【請求項13】
請求項1から請求項12のいずれか1項に記載の遠隔映像出力システムであって、
前記遠隔映像出力装置の前記出力回路は、前記第2の映像のフレームにおいて所定の領域を示すオブジェクトを重畳して出力する、
遠隔映像出力システム。
【請求項14】
ネットワークを介して第1の映像を受信可能な通信回路と、
第2の映像を出力可能な出力回路と、を備える遠隔映像出力装置であって、
前記通信回路は、外部の車両に備えられた無線通信回路より前記ネットワークを介して、前記第1の映像を受信可能であり、
前記車両は、少なくとも進行方向の周囲を撮影可能な撮像回路を、更に備え、
前記車両の前記無線通信回路は、前記撮像回路が撮影した映像を送信可能であり、
前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が第1遅延時間である場合、前記出力回路が、前記第1の映像の第1フレームから第1の範囲を切り出して前記第2の映像として出力し、
前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が、前記第1遅延時間より長い第2遅延時間である場合、前記出力回路が、前記第1の映像の第2フレームから前記第1の範囲より狭い第2の範囲を切り出して前記第2の映像として出力する、
遠隔映像出力装置。
【請求項15】
請求項14に記載の遠隔映像出力装置であって、
前記第1の映像の前記第2フレームは、前記第1の映像の前記第1フレームと同一である、
遠隔映像出力装置。
【請求項16】
請求項14又は請求項15に記載の遠隔映像出力装置であって、
前記出力回路に接続された表示部を更に備え、
前記表示部は、前記第2の映像を出力する、
遠隔映像出力装置。
【請求項17】
請求項14から請求項16のいずれか1項に記載の遠隔映像出力装置であって、
前記第1の映像の前記第1フレームと、前記第1の映像の前記第2フレームは、四角形である、
遠隔映像出力装置。
【請求項18】
請求項14から請求項17のいずれか1項に記載の遠隔映像出力装置であって、
前記第1の映像の前記第1フレームにおける前記第1の範囲の形は、前記第1の映像の前記第2フレームにおける前記第2の範囲の形と、相似である、
遠隔映像出力装置。
【請求項19】
請求項14から請求項18のいずれか1項に記載の遠隔映像出力装置であって、
前記車両は、走行速度を検出する速度検出回路を更に備え、
前記無線通信回路は、前記走行速度を送信可能であり、
前記通信回路は、前記無線通信回路より前記ネットワークを介して前記走行速度を受信可能であって、
前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が第3遅延時間であり、かつ、前記通信回路が受信した前記走行速度が第1速度の場合、前記出力回路が、前記第1の映像の第3フレームから第3の範囲を切り出して前記第2の映像として出力し、
前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が前記第3遅延時間であり、かつ、前記通信回路が受信した前記走行速度が、前記第1速度より速い第2速度の場合、前記出力回路が、前記第1の映像の第4フレームから前記第3の範囲より狭い第4の範囲を切り出して前記第2の映像として出力する、
遠隔映像出力装置。
【請求項20】
請求項19に記載の遠隔映像出力装置であって、
前記第1の映像の前記第3フレームにおける前記第3の範囲の形は、前記第1の映像の前記第4フレームにおける前記第4の範囲の形と、相似である、
遠隔映像出力装置。
【請求項21】
請求項19又は請求項20に記載の遠隔映像出力装置であって、
前記車両は、操舵輪の舵角を検出する舵角検出回路を更に備え、
前記無線通信回路は、前記舵角を送信可能であり、
前記通信回路は、前記無線通信回路より前記ネットワークを介して前記舵角を受信可能であって、
前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が前記第3遅延時間であり、かつ、前記通信回路が受信した前記走行速度が第3速度であり、かつ、前記通信回路が受信した前記舵角が第1舵角である場合、前記出力回路が、前記第1の映像の第5フレームから第5の範囲を切り出して前記第2の映像として出力し、
前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が前記第3遅延時間であり、かつ、前記通信回路が受信した前記走行速度が前記第3速度であり、かつ、前記通信回路が受信した前記舵角が、前記第1舵角と異なる第2舵角である場合、前記出力回路が、前記第1の映像の第6フレームから、前記第5の範囲と異なる第6の範囲を切り出して前記第2の映像として出力する、
遠隔映像出力装置。
【請求項22】
請求項21に記載の遠隔映像出力装置であって、
前記舵角検出回路が検出する前記操舵輪の前記舵角は、前記車両の直進方向を基準に、第1方向とその角度、又は、前記第1方向と反対の第2方向とその角度で表現可能である、
遠隔映像出力装置。
【請求項23】
請求項22に記載の遠隔映像出力装置であって、
前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が前記第3遅延時間であり、かつ、前記通信回路が受信した前記走行速度が第3速度であり、かつ、前記通信回路が受信した前記舵角が直進方向である場合、前記出力回路が、前記第1の映像の第7フレームから第7の範囲を切り出して前記第2の映像として出力し、
前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が前記第3遅延時間であり、かつ、前記通信回路が受信した前記走行速度が前記第3速度であり、かつ、前記通信回路が受信した前記舵角が、直進方向を基準に前記第1方向に第1の角度である場合、前記出力回路が、前記第1の映像のフレームにおいて前記第7の範囲を基準に第1の方向にずれた第8の範囲を、前記第1の映像の第8フレームから切り出して前記第2の映像として出力し、
前記車両から前記ネットワークを介して前記遠隔映像出力装置までの通信遅延が前記第3遅延時間であり、かつ、前記通信回路が受信した前記走行速度が前記第3速度であり、かつ、前記通信回路が受信した前記舵角が、直進方向を基準に前記第2方向に第2の角度である場合、前記出力回路が、前記第1の映像のフレームにおいて前記第6の範囲を基準に、前記第1の方向と異なる第2の方向にずれた第9の範囲を、前記第1の映像の第9フレームから切り出して前記第2の映像として出力する、
遠隔映像出力装置。
【請求項24】
請求項23に記載の遠隔映像出力装置であって、
前記第8の範囲における前記第1の方向の端部の、前記第1の方向と直交する幅は、前記第8の範囲における前記第1の方向と反対の端部の、前記第1の方向と直交する幅より広く、
前記第9の範囲における前記第2の方向の端部の、前記第2の方向と直交する幅は、前記第9の範囲における前記第2の方向と反対の端部の、前記第2の方向と直交する幅より広い、
遠隔映像出力装置。
【請求項25】
請求項23又は請求項24に記載の遠隔映像出力装置であって、
前記第1の映像のフレームにおける前記第2の方向は、前記第1の映像のフレームにおける前記第1の方向と反対である、
遠隔映像出力装置。
【請求項26】
請求項14から請求項25のいずれか1項に記載の遠隔映像出力装置であって、
前記出力回路は、前記第2の映像のフレームにおいて所定の領域を示すオブジェクトを重畳して出力する、
遠隔映像出力装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、自動運転車両を遠隔制御するための遠隔映像出力システム、及び遠隔映像出力装置に関する。
【背景技術】
【0002】
近年、自動運転車両の開発が加速している。運転手を必要としない無人運転車両の開発も進められている。無人運転車両ではステアリングやブレーキを搭載しないものも開発されており、タクシー、バス、運送トラック等の業務車両への使用が期待されている。
【0003】
しかしながら、NHTSA(National Highway Traffic Safety Administration)がレベル5として規定する完全自動運転の実現は、長い年月を要すると予想されている。完全無人自動運転車両が完成するまでの過渡期の技術として、または完全無人自動運転車両を補完する技術として遠隔制御技術を活用することが考えられる(例えば、特許文献1〜3参照)。例えば、遠隔制御センタで監視者が複数の無人自動運転車両を監視し、必要なとき無人運転車両に指示を送る方法が考えられる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2013−115803号公報
【特許文献2】特開2000−184469号公報
【特許文献3】特開2010−61346号公報
【発明の概要】
【0005】
本開示は、安全かつ適正な遠隔制御に資する技術を提供する。
【0006】
本開示の一態様の遠隔映像出力システムは、車両と、遠隔映像出力装置と、を有する。車両は、少なくとも進行方向の周囲を撮影可能な撮像回路と、撮像回路が撮影した映像を送信可能な無線通信回路と、を有する。遠隔映像出力装置は、無線通信回路より、ネットワークを介して第1の映像を受信可能な通信回路と、第2の映像を出力可能な出力回路と、を有する。遠隔映像出力装置において、車両からネットワークを介して遠隔映像出力装置までの通信遅延が第1遅延時間である場合、出力回路が、第1の映像の第1フレームから第1の範囲を切り出して第2の映像として出力する。遠隔映像出力装置において、車両からネットワークを介して遠隔映像出力装置までの通信遅延が、第1遅延時間より長い第2遅延時間である場合、出力回路が、第1の映像の第2フレームから第1の範囲より狭い第2の範囲を切り出して第2の映像として出力する。
【0007】
なお、以上の構成要素の任意の組み合わせ、本開示の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。
【0008】
本開示によれば、安全かつ適正な遠隔制御を実現すことができる。
【図面の簡単な説明】
【0009】
図1図1は、本開示の実施の形態1に係る遠隔型自動運転システムの全体構成を示す図である。
図2図2は、本開示の実施の形態1に係る自動運転車両の構成を示す図である。
図3図3は、本開示の実施の形態1に係る遠隔制御装置の構成を示す図である。
図4図4は、本開示の実施の形態1に係る遠隔型自動運転システムの基本動作を示すフローチャートである。
図5図5は、動作例1に係る送信データ量調整方法の処理の流れを示すフローチャートである。
図6A図6Aは、動作例1に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。
図6B図6Bは、動作例1に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。
図7図7は、動作例2に係る送信データ量調整方法の処理の流れを示すフローチャートである。
図8A図8Aは、動作例2に遠隔制御装置の表示部に表示される監視画像の一例を示す図である。
図8B図8Bは、動作例2に遠隔制御装置の表示部に表示される監視画像の一例を示す図である。
図9図9は、動作例3に係る通信方式切替方法の処理の流れを示すフローチャートである。
図10図10は、動作例4に係る通信方式切替方法の処理の流れを示すフローチャートである。
図11図11は、動作例5に係る、高画質画像要求機能が搭載された遠隔型自動運転システムの動作を示すフローチャートである。
図12図12は、動作例6に係る、運転再開時の走行ルートの指定機能が搭載された遠隔型自動運転システムの動作を示すフローチャートである。
図13図13は、動作例6に係る、遠隔制御装置の表示部に表示される監視画像上で走行ルートを指定する場合の一例を示す図である。
図14図14は、動作例7に係る、運転再開時の走行ルートの指定機能が搭載された遠隔型自動運転システムの動作を示すフローチャートである。
図15図15は、動作例7に係る、遠隔制御装置の表示部に表示される監視画像上で走行ルートを指定する場合の一例を示す図である。
図16図16は、動作例6、7の変形例に係る、遠隔制御装置の表示部に表示される監視画像上で走行ルートを指定する場合の一例を示す図である。
図17図17は、動作例8に係る、危険範囲オブジェクトを含む監視画像の表示方法の処理の流れを示すフローチャートである。
図18A図18Aは、動作例8に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。
図18B図18Bは、動作例8に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。
図19図19は、動作例9に係る、危険範囲オブジェクトを含む監視画像の表示方法の処理の流れを示すフローチャートである。
図20図20は、動作例10に係る、通信遅延が可視化された監視画像の表示方法の処理の流れを示すフローチャートである。
図21図21は、動作例10に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。
図22図22は、動作例11に係る、通信遅延が可視化された監視画像の表示方法の処理の流れを示すフローチャートである。
図23図23は、動作例11に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。
図24図24は、本開示の実施の形態2に係る自動運転車両の構成を示す図である。
図25図25は、本開示の実施の形態2に係る遠隔制御装置の構成を示す図である。
図26図26は、本開示の実施の形態2に係る遠隔制御装置が、自動運転車両から受信した映像を表示する際の基本処理の流れを示すフローチャートである。
図27図27は、本開示の実施の形態2に係る遠隔制御装置が、自動運転車両から受信した映像を表示する際の発展処理の流れを示すフローチャートである。
図28図28は、本開示の実施の形態2に係る遠隔型自動運転システムの基本動作を示すフローチャートである。
図29A図29Aは、自動運転車両の直進時に切り出される切出範囲の一例を示す図である。
図29B図29Bは、自動運転車両の直進時に切り出される切出範囲の一例を示す図である。
図30A図30Aは、自動運転車両のカーブ時に切り出される切出範囲の一例を示す図である。
図30B図30Bは、自動運転車両のカーブ時に切り出される切出範囲の一例を示す図である。
図31図31は、自動運転車両の直進時の操舵輪の状態を示す図である。
図32図32は、自動運転車両の右カーブ時の操舵輪の状態を示す図である。
図33図33は、自動運転車両の左カーブ時の操舵輪の状態を示す図である。
図34図34は、自動運転車両の可視光カメラで撮像された第1の映像のフレーム画像と、遠隔制御装置の表示部に表示させる第2の映像のフレーム画像との第1の関係例を示す図である。
図35図35は、自動運転車両の可視光カメラで撮像された第1の映像のフレーム画像と、遠隔制御装置の表示部に表示させる第2の映像のフレーム画像との第2の関係例を示す図である。
図36図36は、遠隔制御装置の表示部に表示されるフレーム画像の一例を示す図である。
図37図37は、魚眼レンズを有する可視光カメラで撮像されたフレーム画像の一例を示す図である。
図38図38は、自動運転車両が存在する交差点を上から俯瞰した図である。
図39図39は、図38の第1地点に自動運転車両が位置する際に撮像されたフレーム画像を示す図である。
図40図40は、図38の第2地点に自動運転車両が位置する際に撮像されたフレーム画像を示す図である。
図41図41は、図38の第1地点から自動運転車両が左折を開始した直後に撮像されたフレーム画像を示す図である。
図42図42は、危険範囲オブジェクトが重畳された、自動運転車両が存在する交差点を上から俯瞰した図である。
図43図43は、第2地点に位置する自動運転車両の可視光カメラで撮像されたフレーム画像内の切出範囲から生成された表示用のフレーム画像を示す図である。
【発明を実施するための形態】
【0010】
(実施の形態1)
遠隔制御を一部に組み込んだ無人自動運転車両では、車両の状態や周囲の状況をセンサで検知した検知データを車両からネットワークを介して遠隔制御センタに送信する必要がある。しかしながら、例えば高画質の画像データを車両から遠隔制御センタに送信し続けると通信コストが高くなる。また送信するデータ量が大きくなるほど通信遅延の影響も大きくなる。
【0011】
本開示の実施の形態1はこうした状況に鑑みなされたものであり、実施の形態1の第1の目的は、自動運転車両から遠隔制御装置に送信されるデータ量を、安全性を確保しつつ減少させる技術を提供することにある。
【0012】
自動運転車両は、歩行者の飛び出し等の危険事象を検知すると自律的に緊急停止する。緊急停止後の車両の周囲状況は多種多様であり、緊急停止の原因となった歩行者や自転車の次の挙動を予測することも難しい。従って、自動運転車両が緊急停止後に運転を再開してよいか否かを的確に判断することは難しい。一方、道路の中央で緊急停止した場合、後続に車両が詰まっている可能性があり、運転を再開するか否かを迅速に判断することが求められる。
【0013】
本開示の実施の形態1はこうした状況に鑑みなされたものであり、実施の形態1の第2の目的は、自転運転車両において、道路運行の妨げになることを抑制しつつ、安全性を確保する技術を提供することにある。
【0014】
上述のように、遠隔制御センタで無人自動運転車両を監視するには、車両の状態や周囲の状況をセンサで検知した検知データを車両からネットワークを介して受信し、モニタに表示させる必要がある。しかしながら、通信遅延が発生すると実際の状況とモニタに表示されている状況とにずれが発生し、監視者が誤った情報をもとに誤った判断をしてしまう可能性がある。
【0015】
本開示の実施の形態1はこうした状況に鑑みなされたものであり、実施の形態1の第3の目的は、自動運転車両をネットワークを介して監視している監視者による遠隔制御の精度を向上させる技術を提供することにある。
【0016】
図1は、本開示の実施の形態1に係る遠隔型自動運転システムの全体構成を示す図である。自動運転車両1に搭載された自動運転制御装置10は、遠隔監視センタ5の遠隔制御装置50とネットワーク2を介して通信する。自動運転制御装置10は、無線LAN(Wireless LAN:Wireless Local Area Network)を使用した通信方式(以下、第1通信方式という)と、携帯電話網(セルラー網)を使用した通信方式(以下、第2通信方式という)を利用して、遠隔制御装置50と双方向通信を行う。
【0017】
2017年現在、日本では携帯電話網としてLTE(Long-Term Evolution)が普及しており、LTEは都市部のほぼ全てのエリアをカバーしている。基地局装置2bは半径約数百m〜数kmをエリアカバー範囲としており、各基地局装置2bは自己のエリアカバー範囲内の自動運転制御装置10と第2通信方式で通信する。基地局装置2bは、自動運転制御装置10から受信した信号を、交換局(不図示)、ゲートウェイ装置(不図示)、インターネット2c及び遠隔監視センタ5のルータ装置2dを介して、遠隔制御装置50に送信する。また基地局装置2bは、遠隔制御装置50から送信された信号を、遠隔監視センタ5のルータ装置2d、インターネット2c、ゲートウェイ装置(不図示)及び交換局(不図示)を介して受信し、自動運転制御装置10に送信する。
【0018】
2017年現在、日本では無線LANのアクセスポイントが増加中であるが、アクセスポイントに通信可能なエリアは限られている。また無料で利用することができる、公衆無線LANのアクセスポイントも増加中であるが、その設置場所は特定の場所に限られている。今後、主要な幹線道路沿いに公衆無線LANのアクセスポイントが切れ目なく設置されることが期待されている。
【0019】
無線LANルータ装置2aは半径約数10mをエリアカバー範囲としており、各基地局装置2bは自己のエリアカバー範囲内の自動運転制御装置10と第1通信方式で通信する。無線LANルータ装置2aは、自動運転制御装置10から受信した信号をインターネット2c及び遠隔監視センタ5のルータ装置2dを介して遠隔制御装置50に送信する。また無線LANルータ装置2aは、遠隔制御装置50から送信された信号を、遠隔監視センタ5のルータ装置2d及びインターネット2cを介して受信し、自動運転制御装置10に送信する。
【0020】
無人自動運転車両をタクシー、バス、運送トラック等の業務車両に使用する場合、その最大のメリットは運転手が不要になることによる人件費の削減である。なお、運転手が不要になることによるメリットには、乗車可能人数の増加、荷物設置スペースの増加も挙げられる。しかしながら無人自動運転車両では遠隔監視が必要となり、無人自動運転車両と遠隔監視センタとの間で通信が必要となる。2017年現在の日本の通信事業者の料金体系では、車載カメラで撮影された高画質の画像を第2通信方式で遠隔監視センタに送信し続けた場合、運転手の賃金を大きく上回る通信コストが発生する。従って遠隔型自動運転システムを実現するには、安全性を確保しつつ通信コストを削減することが必要となる。
【0021】
図2は、本開示の実施の形態1に係る自動運転車両1の構成を示す図である。自動運転車両1は、自動運転制御装置10、検知部20及びアクチュエータ30を有する。アクセルペダル、ブレーキペダル、ステアリングホイール等の運転手による運転操作に必要な部材は車両内に設置されてもよいし、省略されてもよい。
【0022】
アクチュエータ30は、エンジン、モータ、ステアリング、ブレーキ、ランプ等の車両走行に係る負荷を駆動するものである。検知部20は、可視光カメラ21、LIDAR(Light Detection and Ranging)22、ミリ波レーダ23、車速センサ24、GPS(Global Positioning System)センサ25を含む。
【0023】
可視光カメラ21は車両の前方、後方、左右の少なくとも4箇所に設置される。これら4つの可視光カメラ21で撮影された前方画像、後方画像、左側画像、右側画像を合成することにより俯瞰画像が生成される。さらに車両の前方に、進行方向の遠方を撮影するための可視光カメラ21が設置される。
【0024】
LIDAR22は、車両の周囲に光線(例えば、赤外線レーザ)を放射して、その反射信号を受信し、受信した反射信号をもとに周囲に存在する対象物との距離、対象物の大きさ、対象物の組成を測定する。複数のLIDAR22または可動式のLIDAR22を設置することにより、対象物の移動速度も測定することができる。また、車両周囲の3次元モデリング画像を生成することができる。
【0025】
ミリ波レーダ23は、車両の周囲に電波(ミリ波)を放射して、その反射信号を受信し、受信した反射信号をもとに周囲に存在する対象物までの距離を測定する。複数のミリ波レーダ23を設置することにより、車両周囲の広範囲の対象物を検出することができる。ミリ波レーダ23は、LIDAR22で検出困難な、より遠方の対象物も検出可能である。
【0026】
車速センサ24は自動運転車両1の速度を検出する。GPSセンサ25は自動運転車両1の位置情報を検出する。具体的には複数のGPS衛星からそれぞれ発信時刻を受信し、受信した複数の発信時刻をもとに受信地点の緯度経度を算出する。
【0027】
自動運転制御装置10は制御部11、記憶部12及び入出力部13を有する。制御部11は自律走行制御部111、危険度算出部112、通信遅延推定部113、送信データ量調整部114及び通信方式切替部115を含む。制御部11の機能はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ROM(Read-Only Memory)、RAM(Random-Access Memory)、その他のLSI(Large-Scale Integration)を利用できる。プロセッサとしてCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)等を利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。
【0028】
記憶部12は例えばHDD(Hard Disk Drive)、SSD(Solid-State Drive)で構成される。記憶部12には、3次元マップ等の自律走行に必要なデータが保持される。入出力部13はセンタ入出力部131、検知データ入力部132及び制御信号出力部133を含む。センタ入出力部131は、遠隔監視センタ5の遠隔制御装置50との通信方式に準拠した通信インタフェースを有する。検知データ入力部132は、検知部20から各種の検知データを取得し、制御部11に出力する。制御信号出力部133は、制御部11で生成された各種のアクチュエータ30を駆動するための制御信号を各種のアクチュエータ30に出力する。
【0029】
自律走行制御部111は所定の自動運転アルゴリズムに基づき、自動運転車両1を自律走行させる。具体的には自律走行制御部111は、検知部20により検知された各種検知データ、及び無線により外部から収集した各種の情報に基づき、自車および自車周辺の状況を認識する。自律走行制御部111は、認識した状況を示す各種パラメータを自動運転アルゴリズムに適用して自動運転車両1の行動を決定する。自律走行制御部111は決定した行動をもとに、各種のアクチュエータ30を駆動するための制御信号を生成し、アクチュエータ30に出力する。
【0030】
自動運転アルゴリズムは、ディープラーニングをもとにした人工知能(AI:Artificial Intelligence)により生成される。自動運転アルゴリズムの各種パラメータは、事前にハイスペックなコンピュータにより学習された値に初期設定されるとともに、クラウド上のデータセンタからアップデートされた値が適宜、ダウンロードされる。
【0031】
危険度算出部112は、LDW(Lane Departure Warning)、FCW(Forward collision warning)、急ハンドル、急ブレーキ、時間帯、場所、天候などの各種パラメータをもとに自動運転車両1の現在の危険度を算出する。例えば、LDW、FCW、急ハンドル及び急ブレーキのいずれかの事象が発生した場合、危険度は大きく上昇する。
【0032】
また危険度算出部112は、ディープラーニングをもとにした人工知能により生成された危険予知アルゴリズムに基づき自動運転車両1の現在の危険度を算出してもよい。この場合、検知部20により検知された各種データを加味して危険度を算出することができる。危険度は例えば、0〜100の範囲の値で規定される。
【0033】
通信遅延推定部113は、第1通信方式または第2通信方式の通信路の遅延時間を推定する。例えば、自動運転制御装置10から信号を送信する送信時刻と、当該信号を遠隔制御装置50で受信する受信時刻との差分により推定することができる。具体的には送信信号に送信時刻のタイムスタンプを挿入し、遠隔制御装置50から当該タイムスタンプの受信時刻を返信してもらうことにより当該差分を検出する。なお遠隔制御装置50から送信された信号にタイムスタンプが挿入されている場合は、当該信号を受信した受信時刻と、当該タイムスタンプに含まれる送信時刻の差分を検出する。
【0034】
送信データ量調整部114は、危険度算出部112により算出された危険度または通信遅延推定部113により推定された通信遅延量をもとに、遠隔制御装置50に送信する検知データのデータ量を調整する。送信データ量調整部114は、危険度が高いほど又は通信遅延量が小さいほど、送信する検知データのデータ量を増加させる。
【0035】
上記した可視光カメラ21、LIDAR22、ミリ波レーダ23、車速センサ24及びGPSセンサ25の検知データの内、データ量が多いのは可視光カメラ21で生成された画像データである。次にデータ量が多いのがLIDAR22で生成された3次元モデリングデータである。次にデータ量が多いのがミリ波レーダ23で検知された検知情報である。車速センサ24で検知された車両情報およびGPSセンサ25で検知された位置情報はごく少量のデータである。
【0036】
送信データ量調整部114は、送信する検知データの種類を調整することにより、送信データのデータ量を調整することもできる。例えば送信データのデータ量を減少させる場合、送信データ量調整部114は、可視光カメラ21で生成された画像データを送信対象から除外する。
【0037】
また送信データ量調整部114は、送信する画像データの画質を調整することにより、送信データのデータ量を調整することもできる。例えば送信データ量調整部114は、画像データの解像度及びフレームレートの少なくとも一方を調整する。また単位画素当たりの階調数を調整してもよい。
【0038】
通信方式切替部115は、危険度算出部112により算出された危険度または通信遅延推定部113により推定された通信遅延量をもとに通信方式を切り替える。例えば通信方式切替部115は、第1通信方式の通信経路の遅延量と第2通信方式の通信経路の遅延量を比較して、遅延量が少ない方の通信方式を選択する。なお自動運転車両1の近傍に無線LANルータ装置2aが存在しないエリアでは、通信方式切替部115は第2通信方式を選択する。
【0039】
また通信方式切替部115は、危険度算出部112により算出された危険度が設定値より高い場合は相対的に高品質な通信方式を選択し、当該設定値以下の場合は相対的に低品質の通信方式を選択する。移動体端末の移動中の通信品質を考えた場合、第2通信方式の方が第1通信方式より通信品質が高いといえる。携帯電話網の基地局装置2bの方が、無線LANルータ装置2aより個々のカバー範囲が広く、ハンドオーバーの頻度が少ない。また携帯電話網ではハンドオーバーの標準技術が確立しており、ハンドオーバー時に通信が途切れる可能性は小さい。
【0040】
また通信方式切替部115は、危険度算出部112により算出された危険度が設定値より高い場合は相対的に通信コストが高い通信方式を選択し、当該設定値以下の場合は相対的に通信コストが安い通信方式を選択することもできる。第1通信方式として公衆無線LANを使用する場合、第1通信方式の方が第2通信方式より通信コストが安くなる。
【0041】
なお通信方式切替部115は、第1通信方式の通信経路の遅延量が第2通信方式の通信経路の遅延量より大きい場合であっても、危険度が設定値より低い場合は相対的に通信コストが安い第1通信方式を選択してもよい。ただし、第1通信方式の通信経路の遅延量が絶対的に大きい場合は第2通信方式を選択することが望ましい。
【0042】
自律走行制御部111は緊急停止が必要な事象が発生すると、制動用のアクチュエータ30に緊急停止を指示する制御信号を送信して自動運転車両1を停止させる。緊急停止が必要な事象として、人や自転車の飛び出し、前方車両の急停車、他車両の割り込み、通信不能などがある。なお赤信号により停止、渋滞による停止、及び目的地到着による停止は緊急停止に含まれない。自律走行制御部111は自動運転車両1を緊急停止させるとともに、ネットワーク2を介して遠隔制御装置50に緊急停止事象が発生したことを通知する。
【0043】
緊急停止が必要な事象が発生すると送信データ量調整部114は、検知部20で検知された全種類の検知データを遠隔制御装置50に送信するよう制御する。従って画像データも送信対象に含まれることになる。さらに送信データ量調整部114は緊急停止が必要な事象が発生すると、最高画質の画像データを遠隔制御装置50に送信するよう制御する。また緊急停止が必要な事象が発生すると通信方式切替部115は、遅延量が最も少ない通信方式を選択する。
【0044】
図3は、本開示の実施の形態1に係る遠隔制御装置50の構成を示す図である。遠隔制御装置50は、少なくとも1台のサーバ又はPC(Personal Computer)により構築される。遠隔制御装置50は制御部51、記憶部52、入出力部53、表示部54及び操作部55を有する。表示部54は液晶ディスプレイ又は有機EL(OEL:organic electro-luminescence)ディスプレイを有し、制御部51により生成された画像を表示する。操作部55はキーボード、マウス、タッチパネル等の入力装置を有し、ユーザの操作に起因して生成される操作信号を制御部51に出力する。なお操作部55には、遠隔運転用のステアリングホイール、アクセルペダル、ブレーキペダル等の模擬的な操縦装置が設けられてもよいが、本実施の形態では必須でない。
【0045】
制御部51は画像生成部511、車両指示信号生成部512、画像解析部513及び危険範囲決定部514を含む。制御部51の機能はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ROM、RAM、その他のLSIを利用できる。プロセッサとしてCPU、GPU、DSP等を利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。
【0046】
記憶部52は例えばHDD、SSDで構成される。記憶部52には、自動運転制御装置10の記憶部12に保持された3次元マップと同期が取れている3次元マップ等、自動運転車両1の遠隔監視に必要なデータが保持される。入出力部53は車両入出力部531、画像信号出力部532及び操作信号入力部533を含む。車両入出力部531は、自動運転車両1の自動運転制御装置10との通信方式に準拠した通信インタフェースを有する。画像信号出力部532は、制御部51により生成された画像信号を表示部54に出力する。操作信号入力部533は、操作部55から受け付けた操作信号を制御部51に入力する。
【0047】
画像生成部511は、自動運転制御装置10から受信した検知データ、及び2次元または3次元マップデータをもとに、表示部54に表示させるべき画像を生成する。画像生成部511は、自動運転車両1の可視光カメラ21で撮影された画像データ、又はLIDAR22で生成された3次元モデリング画像は基本的にそのまま表示部54に表示させる。GPSセンサ25で検知された自動運転車両1の位置情報、又はミリ波レーダ23で検知された対象物の情報については、画像生成部511は2次元/3次元マップの対応する位置に、自車または対象物のアイコン/ピクトグラムを重畳した画像を生成する。
【0048】
本実施の形態に係る遠隔型自動運転システムでは、自動運転車両1が緊急停止した後の、運転再開の行動決定を遠隔制御装置50のユーザ(以下、監視者という)が行い、自動運転車両1の他の行動決定は原則的に自動運転制御装置10が自律的に行うことを想定している。
【0049】
車両指示信号生成部512は操作信号入力部533を介して、自動運転車両1が自律的に緊急停止した後の、監視者による運転再開操作に基づく操作信号を受け付けたとき、自動運転制御装置10に運転再開指示信号を送信する。画像解析部513及び危険範囲決定部514の説明は後述する。
【0050】
図4は、本開示の実施の形態1に係る遠隔型自動運転システムの基本動作を示すフローチャートである。自動運転制御装置10は、検知部20により検知された検知データをネットワーク2を介して遠隔制御装置50に送信する(S10)。遠隔制御装置50は当該検知データを受信し(S20)、受信した検知データをもとに監視画像を生成し、表示部54に表示させる(S21)。
【0051】
自動運転制御装置10は、緊急停止する必要がある事象が発生すると(S11のY)、自動運転車両1を停止させるとともに(S12)、緊急停止信号をネットワーク2を介して遠隔制御装置50に送信する(S13)。緊急停止後も自動運転制御装置10は、検知部20により検知された検知データを遠隔制御装置50に送信し続ける(S14)。
【0052】
表示部54に表示されている監視画像を見ている監視者が行った運転再開操作を受け付けると(S24のY)、遠隔制御装置50は運転再開指示信号をネットワーク2を介して自動運転制御装置10に送信する(S25)。自動運転制御装置10は当該運転再開指示信号を受信すると(S17)、自動運転車両1の運転を再開させる(S18)。
【0053】
以下、安全性を確保しつつ自動運転制御装置10と遠隔制御装置50間の通信量を削減するために自動運転制御装置10から送信されるデータ量を適応的に調整する例を説明する。
【0054】
図5は、動作例1に係る送信データ量調整方法の処理の流れを示すフローチャートである。自動運転制御装置10の自律走行制御部111は、検知部20から各種の検知データを取得する(S100)。自律走行制御部111は、可視光カメラ21、LIDAR22及びミリ波レーダ23の少なくとも1つから取得された検知データをもとに、自車周辺の対象物の位置情報を特定する。当該対象物は、自車以外の車両、自転車、歩行者、動物などの、走行中の障害物として予め自車運転アルゴリズムに設定された対象物である。なお、対象物の種別及び移動ベクトルの少なくとも一方を検出できる場合は、対象物の種別及び移動ベクトルの少なくとも一方も検出する。
【0055】
危険度算出部112は、自車の現在の危険度を算出する(S101)。算出された危険度が予め設定された閾値以下の場合(S102のN)、送信データ量調整部114は、遠隔制御装置50に送信する検知データとして、GPSセンサ25により検知された自車の位置情報、車速センサ24により検知された自車の車速情報、及び自車周辺の対象物の情報を選定する。自律走行制御部111は、選定された自車の位置情報、自車の車速情報、及び自車周辺の対象物の情報を含む検知データをネットワーク2を介して遠隔制御装置50に送信する(S103)。
【0056】
上記危険度が上記閾値を超える場合(S102のY)、送信データ量調整部114は、遠隔制御装置50に送信する検知データに、可視光カメラ21により撮像された可視光画像データを含める。当該検知データには可視光画像データに加えて、上述の自車の位置情報、自車の車速情報、及び自車周辺の対象物の情報も含まれる。さらにLIDAR22により生成された3次元モデリング画像が含まれてもよい。自律走行制御部111は、可視光画像データを含む検知データをネットワーク2を介して遠隔制御装置50に送信する(S104)。以上のステップS100〜ステップS104までの処理が、自動運転車両1の運転が終了するまで(S105のY)、繰り返し実行される(S105のN)。
【0057】
図6A図6Bは、動作例1に遠隔制御装置50の表示部54に表示される監視画像の一例を示す図である。図6Aは、上記危険度が上記閾値以下の状態で表示部54に表示される監視画像54aの一例を示している。図6Aに示す例では、自車の位置情報、及び自車周辺の対象物の位置情報をもとに自車を示すアイコンC1iと、自車周辺の対象物を示す3つのアイコンO1i〜O3iが表示されている。対象物と自車との距離関係は、LIDAR22またはミリ波レーダ23により検知される反射信号により特定することが可能である。また、対象物の動きベクトルを検出することにより、各対象物の進行方向も特定することが可能である。
【0058】
なお、図6Aに示した自車と対象物との相対的な位置関係を示す俯瞰画像を、2次元マップ画像に重畳させて表示させてもよい。遠隔制御装置50の画像生成部511は記憶部52から、自車の位置情報に対応するエリアの2次元マップデータを読み込み、当該2次元マップ上に、自車を示すアイコンC1iと、自車周辺の対象物を示す3つのアイコンO1i〜O3iを重畳させる。
【0059】
図6Bは、上記危険度が上記閾値を超える状態で表示部54に表示される監視画像54bの一例を示している。図6Bに示す例では、自車の前方を撮影する可視光カメラ21で生成された可視光画像が表示されている。第1対象物O1の先行車両、第2対象物O2の自転車、及び第3対象物O3の自転車は実写映像で表示される。
【0060】
動作例1によれば、危険度が低い状態では画像データを遠隔制御装置50に送信しないことにより送信データ量を大幅に削減することができる。一方、危険度が高い状態では画像データを送信することにより、遠隔監視センタ5の監視者が実写映像で車両周辺の状況を確認することができる。従って危険度が高い状態では、監視者による十分な監視体制を確保することができる。
【0061】
図7は、動作例2に係る送信データ量調整方法の処理の流れを示すフローチャートである。自動運転制御装置10の自律走行制御部111は、検知部20から各種の検知データを取得する(S110)。危険度算出部112は、自車の現在の危険度を算出する(S111)。算出された危険度が予め設定された閾値以下の場合(S112のN)、送信データ量調整部114は、遠隔制御装置50に送信する検知データに、相対的に低解像度及び低フレームレートの少なくとも一方の可視光画像データを含める。当該検知データには当該可視光画像データに加えて、上述の自車の位置情報、自車の車速情報、及び自車周辺の対象物の情報も含まれる。自律走行制御部111は、当該可視光画像データを含む検知データをネットワーク2を介して遠隔制御装置50に送信する(S113)。
【0062】
上記危険度が上記閾値を超える場合(S112のY)、送信データ量調整部114は、遠隔制御装置50に送信する検知データに、相対的に高解像度及び高フレームレートの少なくとも一方の可視光画像データを含める。当該検知データには当該可視光画像データに加えて、上述の自車の位置情報、自車の車速情報、及び自車周辺の対象物の情報も含まれる。自律走行制御部111は、当該可視光画像データを含む検知データをネットワーク2を介して遠隔制御装置50に送信する(S114)。以上のステップS110〜ステップS114までの処理が、自動運転車両1の運転が終了するまで(S115のY)、繰り返し実行される(S115のN)。
【0063】
相対的に高解像度の画像とは例えば、HD(High-Definition)画質、フルHD画質、4K画質の画像であり、相対的に低解像度の画像とは例えば、QVGA(Quarter Video Graphics Array)画質、VGA(Video Graphics Array)画質、HD画質の画像である。相対的に高フレームレートの画像とは例えば、15fps、30fps、60fpsの画像であり、相対的に低フレームレートの画像とは例えば、3〜7fps、15fpsの画像である。
【0064】
図8A図8Bは、動作例2に係る遠隔制御装置50の表示部54に表示される監視画像の一例を示す図である。図8Aは、上記危険度が上記閾値以下の状態で表示部54に表示される監視画像54cの一例を示している。図8Aに示す例では、自動運転制御装置10から受信した低解像度の可視光画像が表示されている。図8Bは、上記危険度が上記閾値を超える状態で表示部54に表示される監視画像54dの一例を示している。図8Bに示す例では、自動運転制御装置10から受信した高解像度の可視光画像が表示されている。
【0065】
動作例2によれば、危険度が低い状態では低解像度及び低フレームレートの少なくとも一方の画像データを遠隔制御装置50に送信することにより送信データ量を削減することができる。一方、危険度が高い状態では高解像度及び高フレームレートの少なくとも一方の画像データを送信することにより、監視者による十分な監視体制を確保することができる。
【0066】
なお、動作例1、2の変形例として上記危険度が上記閾値以下の場合、自動運転制御装置10からLIDAR22により検知された3次元モデリング画像を含む検知データを送信し、遠隔制御装置50の表示部54に当該3次元モデリング画像を表示させてもよい。3次元モデリング画像は、反射対象物までの距離に応じて濃淡が変わるグレースケールで記述された距離画像であり、可視光画像と比較して解像度も低い。従って可視光画像の代わりに3次元モデリング画像を送信しても、データ量を削減することができる。
【0067】
以下、安全性を確保しつつ自動運転制御装置10と遠隔制御装置50間の通信コストを削減するために通信方式を適応的に切り替える例を説明する。
【0068】
図9は、動作例3に係る通信方式切替方法の処理の流れを示すフローチャートである。自動運転制御装置10の自律走行制御部111は、検知部20から各種の検知データを取得する(S120)。危険度算出部112は、自車の現在の危険度を算出する(S121)。算出された危険度が予め設定された閾値以下の場合(S122のN)、通信方式切替部115は第1通信方式で接続可能か否か判定する(S123)。自車の近傍に無線LANルータ装置2aが存在しない場合は接続不可能となる。第1通信方式で接続可能な場合(S123のY)、通信方式切替部115は第1通信方式を選択し、自律走行制御部111は取得した検知データを第1通信方式を用いて遠隔制御装置50に送信する(S124)。
【0069】
ステップS122において上記危険度が上記閾値を超える場合(S122のY)、又はステップS123において第1通信方式で接続不可能な場合(S123のN)、通信方式切替部115は第2通信方式を選択し、自律走行制御部111は取得した検知データを第2通信方式を用いて遠隔制御装置50に送信する(S125)。以上のステップS120〜ステップS125までの処理が、自動運転車両1の運転が終了するまで(S126のY)、繰り返し実行される(S126のN)。
【0070】
動作例3によれば、危険度が低い状態では第1通信方式を使用することにより通信コストを抑えることができる。一方、危険度が高い状態では第2通信方式を使用することにより通信品質を相対的に高い状態に維持することができ、監視者による十分な監視体制を確保することができる。
【0071】
以下、自動運転制御装置10と遠隔制御装置50間の通信遅延量を可及的に小さくするために通信方式を適応的に切り替える例を説明する。
【0072】
図10は、動作例4に係る通信方式切替方法の処理の流れを示すフローチャートである。自動運転制御装置10の自律走行制御部111は、検知部20から各種の検知データを取得する(S130)。通信方式切替部115は、第1通信方式の通信経路の通信遅延量(以下、第1遅延量という)を推定する(S131)。通信方式切替部115は、第2通信方式の通信経路の通信遅延量(以下、第2遅延量という)を推定する(S132)。
【0073】
第1遅延量が第2遅延量以下の場合(S133のN)、通信方式切替部115は第1通信方式を選択し、自律走行制御部111は取得した検知データを第1通信方式を用いて遠隔制御装置50に送信する(S134)。第1遅延量が第2遅延量より大きい場合(S133のY)、通信方式切替部115は第2通信方式を選択し、自律走行制御部111は取得した検知データを第2通信方式を用いて遠隔制御装置50に送信する(S135)。以上のステップS130〜ステップS135までの処理が、自動運転車両1の運転が終了するまで(S136のY)、繰り返し実行される(S136のN)。
【0074】
動作例4によれば、通信遅延量が小さい方の通信方式を選択することにより、自動運転制御装置10と遠隔制御装置50間の通信遅延量を可及的に小さくすることができる。なお図10に示す処理は、上記危険度が上記閾値を超える場合に実行し、上記危険度が上記閾値以下の場合は第1遅延量の方が大きい場合でも第1通信方式を優先的に選択してもよい。危険度が低い状態では、通信コストの削減を優先する例である。
【0075】
上記動作例1では、危険度が低い状態では遠隔監視センタ5の監視者は実写映像を見ることができない。また上記動作例2では、危険度が低い状態では監視者は低画質の画像しか見ることができない。監視者が、自動運転制御装置10より先に危険を予知したり、何らかの違和感を感じた場合、高画質な自動運転車両1の周辺画像を見たい場合がある。
【0076】
遠隔制御装置50の車両指示信号生成部512は操作信号入力部533を介して、監視者の高画質画像を要求する操作に基づく操作信号を受け付けたとき、自動運転制御装置10に高画質画像の要求信号を送信する。自動運転制御装置10の送信データ量調整部114は、当該高画質画像の要求信号を受信すると、自律走行制御部111に高画質の画像データを遠隔制御装置50に送信させる。
【0077】
図11は、動作例5に係る、高画質画像要求機能が搭載された遠隔型自動運転システムの動作を示すフローチャートである。自動運転制御装置10は、検知部20により検知された検知データをネットワーク2を介して遠隔制御装置50に送信する(S10)。遠隔制御装置50は当該検知データを受信し(S20)、受信した検知データをもとに監視画像を生成し、表示部54に表示させる(S21)。表示部54に表示されている監視画像を見ている監視者による高画質画像を要求する操作を受け付けると(S22のY)、遠隔制御装置50は高画質画像の要求信号をネットワーク2を介して自動運転制御装置10に送信する(S23)。自動運転制御装置10は当該高画質画像の要求信号を受信すると(S15)、自動運転制御装置10は高画質の画像データをネットワーク2を介して遠隔制御装置50に送信する(S16)。
【0078】
自動運転制御装置10は、緊急停止する必要がある事象が発生すると(S11のY)、自動運転車両1を停止させるとともに(S12)、緊急停止信号をネットワーク2を介して遠隔制御装置50に送信する(S13)。緊急停止後も自動運転制御装置10は、検知部20により検知された検知データを遠隔制御装置50に送信し続ける(S14)。
【0079】
表示部54に表示されている監視画像を見ている監視者が行った運転再開操作を受け付けると(S24のY)、遠隔制御装置50は運転再開指示信号をネットワーク2を介して自動運転制御装置10に送信する(S25)。自動運転制御装置10は当該運転再開指示信号を受信すると(S17)、自動運転車両1の運転を再開させる(S18)。
【0080】
動作例5によれば、監視者が高画質の画像を見たいときに、高画質の画像に切替えることができ、監視者による十分な監視体制を確保することができる。
【0081】
これまでの説明では、監視者は運転再開操作を行うだけであり、具体的な運転再開のタイミング、及び運転再開時の動き出し時の走行ルートは自動運転制御装置10が決定していた。しかしながら遠隔制御装置50から運転再開指示を受信した自動運転制御装置10が、自律的に運転を再開することが難しい場合がある。例えば、回避することが困難な障害物を検出した場合が挙げられる。具体的には障害物を回避する走行スペースがない場合、中央線を跨いだ追越が必要な場合、カーブまたは横断歩道で追越が必要な場合などである。また細い道路で対向車と遭遇して停止した場合も運転再開が難しい場合に該当する。また、検問、事故、又は道路工事による交通規制により緊急停止した場合も、自動運転制御装置10が運転再開のタイミング及び運転再開時の動き出しの走行ルートを決定することが難しい。そこで運転再開時の動き出しの走行ルートを監視者が指定することが考えられる。
【0082】
図12は、動作例6に係る、運転再開時の走行ルートの指定機能が搭載された遠隔型自動運転システムの動作を示すフローチャートである。自動運転制御装置10は、検知部20により検知された検知データをネットワーク2を介して遠隔制御装置50に送信する(S10)。遠隔制御装置50は当該検知データを受信し(S20)、受信した検知データをもとに監視画像を生成し、表示部54に表示させる(S21)。
【0083】
自動運転制御装置10は、緊急停止する必要がある事象が発生すると(S11のY)、自動運転車両1を停止させるとともに(S12)、緊急停止信号をネットワーク2を介して遠隔制御装置50に送信する(S13)。緊急停止後も自動運転制御装置10は、検知部20により検知された検知データを遠隔制御装置50に送信し続ける(S14)。
【0084】
表示部54に表示されている監視画像を見ている監視者が行った、運転再開時の動き出しの走行ルートの指定を含む運転再開操作を受け付けると(S24aのY)、遠隔制御装置50は、動き出しの走行ルートを含む運転再開指示信号をネットワーク2を介して自動運転制御装置10に送信する(S25a)。自動運転制御装置10は動き出しの走行ルートを含む運転再開指示信号を受信すると(S17a)、当該走行ルートで自動運転車両1の運転を再開させる(S18)。
【0085】
図13は、動作例6に係る、遠隔制御装置50の表示部54に表示される監視画像54e上で走行ルートを指定する場合の一例を示す図である。図13に示す監視画像54eは、自車を含む俯瞰画像である。監視画像54e内において、第4対象物O4として前方に故障で停車している車両が検出され、第5対象物O5として三角案内板が検出されている。自動運転制御装置10の自律走行制御部111が、自車と第4対象物O4との距離接近、又は第5対象物O5の検出に基づき自車を緊急停止させた状態である。自律走行制御部111は基本的に、中央線を跨いだ追越をしないアルゴリズムになっている。
【0086】
監視者はタッチパネルディスプレイ上で、運転再開時の動き出しの走行ルートR1を指で軌跡を描いて指定する。また、スタイラスペン等のポインティングデバイスで軌跡を描いてもよい。なお、タッチパネル機能を搭載しないディスプレイの場合、マウス操作で走行ルートR1を指定する。
【0087】
動作例6によれば、自動運転制御装置10が緊急停止した後に、自律走行制御部111が運転再開時の走行ルートを決定することが困難な場合でも、監視者が運転再開時の走行ルートを指定することにより、迅速な運転再開が可能となる。従って、自動運転車両1が一定の場所に長時間停止して、道路運行の妨げになることを回避することができる。なお自動運転車両1が障害物を回避する走行ルートがない場合、監視者は目的地までの移動ルートを変更して、自動運転車両1をUターンさせることができる。
【0088】
動作例6において監視者により指定された走行ルートが、物理上または安全基準上、走行できないルートである場合がある。例えば、物理的に通れないルートが指定された場合、又は状況の変化により安全に走行できなくなった場合、自動運転制御装置10の自律走行制御部111は、遠隔制御装置50から指定された走行ルートを却下する。その後、自律走行制御部111は、現在の状況に応じて自律的に走行ルートを決定し、当該走行ルートを遠隔制御装置50に通知して許可を求める。なお、物理的に走行ルートを確保できない場合は、自律走行制御部111は走行不可能を遠隔制御装置50に通知する。
【0089】
図14は、動作例7に係る、運転再開時の走行ルートの指定機能が搭載された遠隔型自動運転システムの動作を示すフローチャートである。自動運転制御装置10は、検知部20により検知された検知データをネットワーク2を介して遠隔制御装置50に送信する(S10)。遠隔制御装置50は当該検知データを受信し(S20)、受信した検知データをもとに監視画像を生成し、表示部54に表示させる(S21)。
【0090】
自動運転制御装置10は、緊急停止する必要がある事象が発生すると(S11のY)、自動運転車両1を停止させるとともに(S12)、緊急停止信号をネットワーク2を介して遠隔制御装置50に送信する(S13)。緊急停止後も自動運転制御装置10は、検知部20により検知された検知データを遠隔制御装置50に送信し続ける(S14)。
【0091】
表示部54に表示されている監視画像を見ている監視者が行った、運転再開時の動き出しの走行ルートの指定を含む運転再開操作を受け付けると(S24aのY)、遠隔制御装置50は、動き出しの走行ルートを含む運転再開指示信号をネットワーク2を介して自動運転制御装置10に送信する(S25a)。
【0092】
自動運転制御装置10は、動き出しの走行ルートを含む運転再開指示信号を受信すると(S17a)、物理上または安全基準上、当該走行ルートで運転再開が可能であるか否か判定する(S17b)。運転可能である場合(S17bのY)、当該走行ルートで自動運転車両1の運転を再開させる(S18)。運転不可能である場合(S17bのN)、自動運転制御装置10は、現在の状況に応じて最適な走行ルートを導出し(S17c)、導出した走行ルートをネットワーク2を介して遠隔制御装置50に送信する(S17d)。
【0093】
遠隔制御装置50は当該走行ルートを受信し(S26)、受信した走行ルートを監視画像内に表示する(S27)。当該監視画像を見ている監視者が行った、当該走行ルートを許可する操作を受け付けると(S28のY)、遠隔制御装置50は、当該走行ルートの許可信号をネットワーク2を介して自動運転制御装置10に送信する(S29)。自動運転制御装置10は当該許可信号を受信すると(S17e)、当該走行ルートで自動運転車両1の運転を再開させる(S18)。なお監視者が当該走行ルートを許可しない場合は、監視者が新たな走行ルートを指定する必要がある。
【0094】
図15は、動作例7に係る、遠隔制御装置50の表示部54に表示される監視画像54f上で走行ルートを指定する場合の一例を示す図である。図15に示す監視画像54fにおける走行ルートR1は、図13に示した監視画像54e上で監視者が指定した走行ルートである。図15に示す監視画像54fは、監視者による走行ルートの指定後に、故障で停車中の車両から人物が降りてきた状況を示している。自律走行制御部111は第6対象物O6として車両から降りてきた人物を検出すると、監視者に指定された走行ルートを却下し、第6対象物O6からより離れた位置を通る走行ルートR2を導出する。自律走行制御部111は導出した走行ルートR2を遠隔制御装置50に送信し、遠隔制御装置50の表示部54に走行ルートR2が表示される。
【0095】
動作例7によれば、監視者が指定した運転再開時の走行ルートが物理上または安全基準上、走行できないルートである場合、自動運転制御装置10が走行可能な別の走行ルートを導出して遠隔制御装置50に送信して許可を求める。これにより、運転再開時の安全性を向上させることができる。
【0096】
動作例6、7では監視者が自動運転車両1の移動軌跡を指定することにより、走行ルートを指定した。この点、移動先の目標場所を指定することにより走行ルートを指定してもよい。例えば、路肩に車両を一旦移動させたい場合、路肩の所定位置を指定する。
【0097】
図16は、動作例6、7の変形例に係る、遠隔制御装置50の表示部54に表示される監視画像54g上で走行ルートを指定する場合の一例を示す図である。図16に示す監視画像54gにおいて、監視者は移動先の目標場所S1を指定する。例えば、目標場所S1の4隅の点をマウス操作で指定してもよい。自動運転制御装置10の自律走行制御部111は、遠隔制御装置50から指定された移動先の目標場所S1を、新たな目的地に設定して当該目的地に向けて自律走行を再開する。
【0098】
これまで説明してきたように自動運転車両1の緊急停止後の運転再開の判断は、遠隔監視センタ5の監視者により行われる。監視者による判断の精度を向上させるには、監視者に適切な判断材料を与える必要がある。自動運転車両1の運転再開時に発生する危険を回避するには、自動運転車両1の周囲に障害物が存在しないことを監視者が確認する必要がある。どの範囲に障害物が存在しなければ運転再開してよいか判断するための客観的な判断基準を提示できれば、監視者にとって有益な情報となり、判断のばらつきを抑えることにもつながる。そこで遠隔制御装置50の表示部54に表示される自動運転車両1の周囲に、危険範囲を示す危険範囲オブジェクトを重畳させて表示させることが考えられる。
【0099】
図17は、動作例8に係る、危険範囲オブジェクトを含む監視画像の表示方法の処理の流れを示すフローチャートである。遠隔制御装置50の画像生成部511は、自動運転制御装置10からネットワーク2を介して検知データを受信する(S200)。危険範囲決定部514は、自動運転制御装置10からネットワーク2を介して、自動運転制御装置10と遠隔制御装置50間の通信遅延量を受信する(S201)。なお、当該通信遅延量は遠隔制御装置50側で推定してもよい。
【0100】
危険範囲決定部514は、受信した通信遅延量をもとに自動運転車両1の周囲の危険範囲を決定する(S202)。危険範囲決定部514は、通信遅延量が大きいほど危険範囲を広くする。画像生成部511は、算出された危険範囲に対応する危険範囲オブジェクトを生成し、生成した危険範囲オブジェクトを自動運転車両1に重畳した監視画像を生成する。画像生成部511は、生成した監視画像を表示部54に表示させる(S203)。以上のステップS200〜ステップS203までの処理が、自動運転車両1の運転が終了するまで(S204のY)、繰り返し実行される(S204のN)。
【0101】
図18A図18Bは、動作例8に係る遠隔制御装置50の表示部54に表示される監視画像の一例を示す図である。図18Aは、上記通信遅延量が相対的に小さい状態で表示部54に表示される監視画像54hの一例を示している。監視画像54h内において、第7対象物O7として先行車両が検出され、第8対象物O8として自転車が検出されている。自車の位置を中心とする円形の危険範囲オブジェクトZ1が、実写映像上に重畳して表示されている。
【0102】
図18Bは、上記通信遅延量が相対的に大きい状態で表示部54に表示される監視画像54iの一例を示している。図18Aと比較して、危険範囲オブジェクトZ1の大きさが拡大している。通信遅延量が大きいほど監視画像の信頼性が低下するため、その分、危険範囲を大きく表示させている。なお、危険範囲オブジェクトZ1の形状は真円に限るものではなく、進行方向に伸びた楕円形状であってもよい。また多角形の形状であってもよい。
【0103】
客観的に緊急停止すべき事象が発生していない場合でも、センサの誤検知により自律走行制御部111が自動運転車両1を緊急停止させてしまう場合がある。この場合、遠隔監視センタ5の監視者は迅速に運転再開を指示することが求められる。その際、監視画像54h、54i内に危険範囲オブジェクトZ1が表示されていれば、監視者は運転再開の判断を瞬時に行うことができる。即ち、危険範囲オブジェクトZ1内に障害物が存在しなければ、安全に運転再開できると客観的かつ一意的に判断することができる。
【0104】
危険範囲オブジェクトZ1は、監視者の責任範囲を明確化することにも寄与する。即ち、危険範囲オブジェクトZ1内に障害物が存在しない状態で監視者が運転再開を指示した場合、突発的な事象により仮に自動運転車両1の周囲で危険が発生した場合でも監視者は免責される。
【0105】
動作例8によれば、監視画像に危険範囲オブジェクトを重畳して表示させることにより、監視者による運転再開の判断の精度を向上させることができる。また通信遅延量に応じて危険範囲オブジェクトの大きさを動的に変化させることにより、通信遅延量による実際の危険範囲との誤差を補償することができる。
【0106】
図19は、動作例9に係る、危険範囲オブジェクトを含む監視画像の表示方法の処理の流れを示すフローチャートである。遠隔制御装置50の画像生成部511は、自動運転制御装置10からネットワーク2を介して検知データを受信する(S210)。危険範囲決定部514は、自動運転制御装置10からネットワーク2を介して、自動運転制御装置10の危険度を受信する(S211)。
【0107】
危険範囲決定部514は、受信した危険度をもとに自動運転車両1の周囲の危険範囲を決定する(S212)。危険範囲決定部514は、危険度が高いほど危険範囲を広くする。画像生成部511は、算出された危険範囲に対応する危険範囲オブジェクトを生成し、生成した危険範囲オブジェクトを自動運転車両1に重畳した監視画像を生成する。画像生成部511は、生成した監視画像を表示部54に表示させる(S213)。以上のステップS210〜ステップS213までの処理が、自動運転車両1の運転が終了するまで(S214のY)、繰り返し実行される(S214のN)。
【0108】
動作例9によれば、監視画像に危険範囲オブジェクトを重畳して表示させることにより、監視者による運転再開の判断の精度を向上させることができる。また自動運転車両1の危険度に応じて危険範囲オブジェクトの大きさを動的に変化させることにより、運転再開時の安全性を十分に確保することができる。
【0109】
監視者による運転再開の判断の精度を向上させるには、通信遅延による誤差を考慮する必要があるが、通信遅延を可視化して監視画像内に表示させることにより、監視者に通信遅延を直感的に認識させることが考えられる。
【0110】
図20は、動作例10に係る、通信遅延が可視化された監視画像の表示方法の処理の流れを示すフローチャートである。遠隔制御装置50の画像生成部511は、自動運転制御装置10からネットワーク2を介して検知データを受信する(S220)。この検知データには自動運転車両1の車速情報も含まれる。画像生成部511は、自動運転制御装置10からネットワーク2を介して、自動運転制御装置10と遠隔制御装置50間の通信遅延量を受信する(S221)。なお、当該通信遅延量は遠隔制御装置50側で推定してもよい。
【0111】
画像解析部513は、受信された画像データの各フレーム内から移動体を検出する(S222)。画像解析部513は、障害物として認識するよう予め登録された移動体の識別子を用いてフレーム内を探索し、移動体を検出する。画像解析部513は、画像データのフレーム内で検出された移動体の移動速度を推定する(S223)。画像解析部513は、現フレームで検出された移動体の位置と、過去フレームで検出された当該移動体の位置との差分を検出して当該移動体の動きベクトルを検出する。画像解析部513は、連続する2枚のフレーム間の動きベクトルを順次検出していき、検出した動きベクトルの平均値を算出することにより当該移動体の移動速度を推定することができる。なお、移動体の移動速度をオプティカルフロー法を用いて検出してもよい。
【0112】
画像解析部513は、実際の自動運転車両1の現在位置を、受信した通信遅延量と自動運転車両1の車速をもとに推定する(S224)。画像解析部513は、車速(秒速)に通信遅延量を掛けた値を、自動運転車両1の進行方向に移動させた位置を自動運転車両1の現在位置と推定する。自動運転車両1の進行方向は例えば、GPSセンサ25により検知された位置情報の動きベクトルを検出することにより推定することができる。
【0113】
画像解析部513は、実際の移動体の現在位置を、受信した通信遅延量と推定した移動体の移動速度をもとに推定する(S225)。画像解析部513は、移動速度(秒速)に通信遅延量を掛けた値を、当該移動体の移動方向にずらした位置を当該移動体の現在位置と推定する。
【0114】
画像生成部511は、推定された現在位置の自動運転車両1及び移動体を重畳させた監視画像を生成する(S226)。当該監視画像は、画像データで特定される自動運転車両1及び移動体と、推定された現在位置の自動運転車両1及び移動体が併存した画像となる。以上のステップS220〜ステップS226までの処理が、自動運転車両1の運転が終了するまで(S227のY)、繰り返し実行される(S227のN)。なお自動運転制御装置10から移動体の位置、進行方向、及び移動速度が受信できる場合は、ステップS222及びステップS223の処理は省略可能である。
【0115】
図21は、動作例10に係る遠隔制御装置50の表示部54に表示される監視画像54jの一例を示す図である。監視画像54j内には、通信遅延が補正されない状態の自車C1(即ち、画像データに規定されている自車)と、通信遅延が補正された状態の自車C1a(推定された現在位置の自車)が両方表示されている。また通信遅延が補正されていない状態の第9対象物O9(自転車)と、通信遅延が補正された状態の第9対象物O9aが両方表示されている。
【0116】
動作例10によれば、通信遅延を補正した自動運転車両1及び移動体の少なくとも一方を監視画像内に表示させることにより、監視者による運転再開の判断の精度を向上させることができる。
【0117】
図22は、動作例11に係る、通信遅延が可視化された監視画像の表示方法の処理の流れを示すフローチャートである。遠隔制御装置50の画像生成部511は、自動運転制御装置10からネットワーク2を介して検知データを受信する(S220)。画像生成部511は、自動運転制御装置10からネットワーク2を介して、自動運転制御装置10と遠隔制御装置50間の通信遅延量を受信する(S221)。
【0118】
画像解析部513は、受信された画像データの各フレーム内から移動体を検出する(S222)。画像解析部513は、画像データのフレーム内で検出された移動体の移動速度を推定する(S223)。画像解析部513は、実際の自動運転車両1の現在位置を、受信した通信遅延量と自動運転車両1の車速をもとに推定する(S224)。画像解析部513は、実際の移動体の現在位置を、受信した通信遅延量と推定した移動体の移動速度をもとに推定する(S225)。
【0119】
危険範囲決定部514は、自動運転制御装置10からネットワーク2を介して、自動運転制御装置10の危険度を受信する(S225a)。危険範囲決定部514は、受信した危険度をもとに自動運転車両1の周囲の危険範囲を決定する(S225b)。
【0120】
画像生成部511は、推定された現在位置の自動運転車両1及び移動体、並びに危険範囲及オブジェクトを重畳させた監視画像を生成する(S226a)。以上のステップS220〜ステップS226aまでの処理が、自動運転車両1の運転が終了するまで(S227のY)、繰り返し実行される(S227のN)。
【0121】
図23は、動作例11に係る遠隔制御装置50の表示部54に表示される監視画像54kの一例を示す図である。監視画像54kは、図21に示した監視画像54jと比較して、通信遅延が補正された状態の自車C1aを中心とした危険範囲オブジェクトZ1がさらに重畳されて表示されている。危険範囲オブジェクトZ1の表示位置は、通信遅延が補正されない状態の自車C1を中心とした位置より、通信遅延が補正された状態の自車C1aを中心とした位置の方が、実態に即しており望ましい。なお危険範囲オブジェクトZ1の大きさは、図22で示したように危険度に応じて動的に変化してもよいし、固定であってもよい。
【0122】
動作例11によれば、通信遅延を補正した自動運転車両1及び移動体の少なくとも一方、並びに危険範囲オブジェクトを監視画像内に表示させることにより、監視者による運転再開の判断の精度をさらに向上させることができる。
【0123】
(実施の形態2)
上述のように、自動運転車両1と遠隔制御装置50間は無線による通信を行っているため、自動運転車両1から遠隔制御装置50に送信される車載カメラの映像には通信遅延が伴う。従って、遠隔側の監視者は通信遅延分、過去の映像を見ていることになる。通信遅延量が大きい場合、監視者の状況認識にずれが生じることになり、適切な遠隔制御を実現できない場合が発生する。
【0124】
本開示の実施の形態2はこうした状況に鑑みなされたものであり、実施の形態2の目的は、遠隔側の監視者/操縦者が、自動運転車両1の状況をより正確に把握するための技術を提供することにある。遠隔型自動運転システムの全体構成は実施の形態1と同様である。
【0125】
図24は、本開示の実施の形態2に係る自動運転車両1の構成を示す図である。自動運転車両1は、自動運転制御装置10、検知部20及びアクチュエータ30を有する。アクセルペダル、ブレーキペダル、ステアリングホイール等の運転手による運転操作に必要な部材は車両内に設置されてもよいし、省略されてもよい。
【0126】
アクチュエータ30は、エンジン、モータ、ステアリング、ブレーキ、ランプ等の車両走行に係る負荷を駆動するものである。検知部20は、可視光カメラ21、LIDAR(Light Detection and Ranging)22、ミリ波レーダ23、車速センサ24、GPSセンサ25、舵角センサ26を含む。
【0127】
可視光カメラ21は、車両前方、進行方向の周囲を撮影可能な位置に少なくとも1つ設置される。前方を撮影可能な可視光カメラ21は、単眼カメラであってもよいし、複眼カメラであってもよい。複眼カメラを使用する場合、視差映像をもとに対象物までの距離を推定することができる。また可視光カメラ21は、車両の前方、後方、左右の4箇所に設置されてもよい。この場合、4つの可視光カメラ21で撮影された前方画像、後方画像、左側画像、右側画像を合成することにより俯瞰画像/全方位画像が生成可能となる。
【0128】
可視光カメラ21は、それぞれ撮像回路として、固体撮像素子(例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ、CCD(Charge-Coupled Device)イメージセンサ)と信号処理回路を含む。固体撮像素子は、レンズを透過して入射された光を電気信号に変換する。信号処理回路は、アナログ信号からデジタル信号への変換、ノイズ除去などの信号処理を行う。信号処理された画像データは、自動運転制御装置10に出力される。
【0129】
LIDAR22は、車両の周囲に光線(例えば、赤外線レーザ)を放射して、その反射信号を受信し、受信した反射信号をもとに周囲に存在する対象物との距離、対象物の大きさ、対象物の組成を測定する。複数のLIDAR22または可動式のLIDAR22を設置することにより、対象物の移動速度も測定することができる。また、車両周囲の3次元モデリング画像を生成することができる。
【0130】
ミリ波レーダ23は、車両の周囲に電波(ミリ波)を放射して、その反射信号を受信し、受信した反射信号をもとに周囲に存在する対象物までの距離を測定する。複数のミリ波レーダ23を設置することにより、車両周囲の広範囲の対象物を検出することができる。ミリ波レーダ23は、LIDAR22で検出困難な、より遠方の対象物も検出可能である。
【0131】
車速センサ24は自動運転車両1の速度を検出する。GPSセンサ25は自動運転車両1の位置情報を検出する。具体的には複数のGPS衛星からそれぞれ発信時刻を受信し、受信した複数の発信時刻をもとに受信地点の緯度経度を算出する。舵角センサ26は、自動運転車両1の操舵輪の舵角を検出する。
【0132】
自動運転制御装置10は制御部11、記憶部12及び入出力部13を有する。制御部11は自律走行制御部111、危険度算出部112、画像圧縮符号化部116、送信データ生成部117及び遠隔走行制御部118を含む。制御部11の機能はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ROM、RAM、その他のLSIを利用できる。プロセッサとしてCPU、GPU、DSP等を利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。
【0133】
記憶部12は例えばHDD、SSDで構成される。記憶部12には、3次元マップ等の自律走行に必要なデータが保持される。入出力部13は無線通信部131a、検知データ入力部132及び制御信号出力部133を含む。無線通信部131aは、アンテナ、RF(Radio Frequency)部、ベースバンド部を含み、無線LANルータ装置2a又は基地局装置2bと無線通信を行う。検知データ入力部132は、検知部20から各種の検知データを取得し、制御部11に出力する。制御信号出力部133は、制御部11で生成された各種のアクチュエータ30を駆動するための制御信号を各種のアクチュエータ30に出力する。
【0134】
自律走行制御部111は所定の自動運転アルゴリズムに基づき、自動運転車両1を自律走行させる。具体的には自律走行制御部111は、検知部20により検知された各種検知データ、及び無線により外部から収集した各種の情報に基づき、自車および自車周辺の状況を認識する。自律走行制御部111は、認識した状況を示す各種パラメータを自動運転アルゴリズムに適用して自動運転車両1の行動を決定する。自律走行制御部111は決定した行動をもとに、各種のアクチュエータ30を駆動するための制御信号を生成し、アクチュエータ30に出力する。
【0135】
自動運転アルゴリズムは、ディープラーニングをもとにした人工知能(AI:Artificial Intelligence)により生成される。自動運転アルゴリズムの各種パラメータは、事前にハイスペックなコンピュータにより学習された値に初期設定されるとともに、クラウド上のデータセンタからアップデートされた値が適宜、ダウンロードされる。
【0136】
危険度算出部112は、LDW(Lane Departure Warning)、FCW(Forward collision warning)、急ハンドル、急ブレーキ、時間帯、場所、天候などの各種パラメータをもとに自動運転車両1の現在の危険度を算出する。例えば、LDW、FCW、急ハンドル及び急ブレーキのいずれかの事象が発生した場合、危険度は大きく上昇する。
【0137】
また危険度算出部112は、ディープラーニングをもとにした人工知能により生成された危険予知アルゴリズムに基づき自動運転車両1の現在の危険度を算出してもよい。この場合、検知部20により検知された各種データを加味して危険度を算出することができる。危険度は例えば、0〜100の範囲の値で規定される。
【0138】
画像圧縮符号化部116は、可視光カメラ21から取得される画像データを圧縮符号化する。例えば、MPEG(Motion Picture Experts Group)系の圧縮符号化規格に従い画像データを圧縮符号化する。なお圧縮符号化の前処理として、画素間引き及びフレーム間引きの少なくとも一方を行ってもよい。例えば、30Hz/60Hzで撮像された映像を、15Hz/30Hzの映像に変換してもよい。この場合、画質は低下するが通信量を削減することができる。
【0139】
送信データ生成部117は、無線通信部131aを介して遠隔制御装置50に送信するデータを生成する。送信データ生成部117は、遠隔制御装置50に送信するデータに、可視光カメラ21により撮像され、画像圧縮符号化部116により圧縮符号化された画像データを含める。なお4つの可視光カメラ21が設置されている場合、4チャンネルでそれぞれの画像データを送信する。なお、自動運転制御装置10側で4つの可視光カメラ21で撮影された前方画像、後方画像、左側画像、右側画像を合成して全方位画像を生成し、全方位画像を圧縮符号化して送信する方式でもよい。
【0140】
また送信データ生成部117は、遠隔制御装置50に送信するデータに、自動運転制御装置10の走行速度、舵角、現在位置を含む状態データを含める。当該状態データには必要に応じて、危険度算出部112により算出された危険度が含められる。画像データと状態データは、1チャンネルに重畳されて送信されてもよいし、別チャンネルで送信されてもよい。
【0141】
遠隔走行制御部118は、遠隔制御装置50から送信されてくる制御コマンドをもとに、各種のアクチュエータ30を駆動するための制御信号を生成し、アクチュエータ30に出力する。本実施の形態に係る自動運転車両1は基本的に、自律モードで走行するが、道路環境や気象条件の悪化などにより自律走行が困難になる場合がある。その場合、遠隔操作モードに切り替えられる。また緊急停止後の運転再開時にも、一時的に遠隔操作モードに切り替えられる。また自動運転車両1がタクシーやバスの場合、乗降時に顧客対応のために遠隔操作モードに切り替えられてもよい。
【0142】
図25は、本開示の実施の形態2に係る遠隔制御装置50の構成を示す図である。遠隔制御装置50は、少なくとも1台のサーバ又はPCと操縦桿により構築される。遠隔制御装置50は制御部51、記憶部52、入出力部53、表示部54、操作部55及び操縦部56を有する。表示部54は液晶ディスプレイ又は有機ELディスプレイを有する。操作部55はキーボード、マウス、タッチパネル等の入力装置を有し、ユーザの操作に起因して生成される操作信号を制御部51に出力する。
【0143】
操縦部56は、自動運転車両1の運転席の操縦桿を模した、遠隔操縦用の操縦桿を有する。具体的にはステアリングホイール561、アクセルペダル562、ブレーキペダル563及びウインカスイッチ564を有する。さらに、ギアレバー、及びスピードメータやタコメータ等のメータを有してもよい。なお、メータは画像として表示部54に表示させてもよい。なお図25には示していないが、自動運転車両1に乗車中の顧客と会話するための音声インタフェースとして、マイク及びスピーカが設けられてもよい。
【0144】
制御部51は画像伸張復号部515、遅延時間検出部516、切出部517、サイズ変換部518、車両指示信号生成部512、画像解析部513、危険範囲決定部514及びオブジェクト重畳部519を含む。制御部51の機能はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ROM、RAM、その他のLSIを利用できる。プロセッサとしてCPU、GPU、DSP等を利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。
【0145】
記憶部52は例えばHDD、SSDで構成される。記憶部52には、自動運転制御装置10の記憶部12に保持された3次元マップと同期が取れている3次元マップ等、自動運転車両1の遠隔監視/遠隔操縦に必要なデータが保持される。入出力部53は通信部531a、画像信号出力部532及び操作信号入力部533を含む。通信部531aは、ルータ装置2dと有線/無線で接続するためのLANコネクタを有する。画像信号出力部532は、表示部54に接続するためのインタフェースであり、例えばHDMI(登録商標)(High-Definition Multimedia Interface)コネクタを有する。画像信号出力部532は、自動運転車両1の可視光カメラ21で撮像された映像を表示部54に出力する。操作信号入力部533は、操作部55から受け付けた操作信号を制御部51に入力する。
【0146】
画像伸張復号部515は、自動運転制御装置10から通信部531aを介して受信した、圧縮符号化された画像データを伸張復号する。遅延時間検出部516は、自動運転制御装置10が送信した画像データを、ネットワーク2を介して遠隔制御装置50が受信するまでの通信遅延時間を検出する。遅延時間検出部516は、自動運転制御装置10が画像データを送信した送信時刻と、当該画像データを遠隔制御装置50が受信した受信時刻との差分をもとに通信遅延時間を検出する。
【0147】
具体的には、画像データに含まれる送信時刻のタイプスタンプと、受信時刻との差分をもとに通信遅延時間を算出する。本実施の形態では当該通信遅延時間に、自動運転制御装置10の画像圧縮符号化部116による圧縮符号化処理にかかる標準処理時間と、遠隔制御装置50の画像伸張復号部515による伸張復号処理にかかる標準処理時間を加えて、最終的な通信遅延時間とする。なお、圧縮符号化処理および伸張復号処理にかかる時間が、無視できる程度に小さい場合は、当該加算処理は不要である。
【0148】
切出部517は、自動運転制御装置10から受信した映像に含まれるフレーム画像から、所定範囲の画像を切り出す。切出部517は、自動運転制御装置10から受信した自動運転車両1の速度、舵角、及び遅延時間検出部516により検出された通信遅延時間をもとに、フレーム画像から切り出す範囲を決定する。
【0149】
具体的には切出部517は、自動運転車両1の速度、舵角及び通信遅延時間をもとに自動運転車両1の現在位置に応じた視点を推定する。即ち、切出部517は自動運転車両1の速度及び舵角をもとに、通信遅延時間の間に自動運転車両1が移動した動きベクトルを推定し、自動運転車両1の現在位置と向きを推定する。切出部517は、推定した自動運転車両1の現在位置の視点から見えると推定される推定画像を、フレーム画像内の所定範囲を切り出すことにより抽出する。
【0150】
サイズ変換部518は、切出部517により切り出された画像を、表示部54の表示サイズに応じたサイズの画像に変換する。本実施の形態では、自動運転車両1の前方映像を表示部54に表示することを想定している。即ち、自動運転車両1に運転手が乗っていると仮定した場合の運転手の視点(以下、仮想視点という)から見える前方映像を表示することを想定している。この場合、自動運転車両1が前進している場合、フレーム画像内の前方の風景に対して、通信遅延時間の間に仮想視点がより近づいていることになる。従って、フレーム画像内の所定範囲を切り出して、切り出した範囲の画像を拡大することにより、現在位置の仮想視点から見えると推定される推定画像を生成することができる。
【0151】
サイズ変換部518は、切出部517により切り出された画像を画素補間することにより、切り出された画像のサイズを拡大することができる。画素補間として例えば、バイリニア法、バイキュービック法、Lanczos法などを用いることができる。
【0152】
車両指示信号生成部512は、操作部55又は操縦部56に対して与えられた操作/操縦にもとづき、自動運転車両1を遠隔操作/遠隔操縦するための制御コマンドを生成する。通信部531aは、生成された制御コマンドをネットワーク2を介して自動運転制御装置10に送信する。
【0153】
画像解析部513は、自動運転制御装置10から受信した映像に含まれる各フレーム画像内から移動体を検出する。画像解析部513は、障害物として認識するよう予め登録された移動体の識別子を用いてフレーム画像内を探索し、移動体を検出する。画像解析部513は、フレーム画像内で検出された移動体の動きベクトルを推定する。具体的には画像解析部513は、現フレーム画像で検出された移動体の位置と、過去フレーム画像で検出された当該移動体の位置との差分を検出して当該移動体の動きベクトルを検出する。
【0154】
危険範囲決定部514は、自動運転制御装置10からネットワーク2を介して受信した危険度をもとに自動運転車両1の周囲の危険範囲を決定する。危険範囲決定部514は、危険度が高いほど危険範囲の面積を広くする。また画像解析部513により検出された移動体の動きベクトルの方向が、自動運転車両1に接近するものである場合、危険範囲決定部514は、危険範囲を広くする。その際、移動ベクトルの速さが速いほど、危険範囲の面積を広くする。
【0155】
オブジェクト重畳部519は、表示部54に表示すべき映像に含まれるフレーム画像に、危険範囲決定部514により決定された危険範囲に対応する危険範囲オブジェクトを重畳する。画像信号出力部532は、危険範囲オブジェクトが重畳されたフレーム画像を表示部54に出力する。
【0156】
図26は、本開示の実施の形態2に係る遠隔制御装置50が、自動運転車両1から受信した映像を表示する際の基本処理の流れを示すフローチャートである。遠隔制御装置50の通信部531aは、自動運転車両1からネットワーク2を介して、可視光カメラ21で撮像された映像の画像データを受信する(S300)。通信部531aは、自動運転車両1からネットワーク2を介して自動運転車両1の速度データ及び舵角データを受信する(S301)。遅延時間検出部516は、受信した画像データの通信遅延時間を検出する(S302)。
【0157】
先頭のフレーム画像の場合(S303のN)、切出部517は、先頭のフレーム画像内から、通信遅延時間、速度、舵角をもとに切出範囲を決定する(S305)。新たにフレーム画像を受信した場合(S303のY)、切出部517は、新たに受信したフレーム画像内から、通信遅延時間、速度、舵角をもとに切出範囲を決定する(S304)。切出部517は、決定した切出範囲の画像をフレーム画像内から切り出す(S306)。サイズ変換部518は、切り出された画像を、表示用サイズの画像に変換する(S307)。画像信号出力部532は、表示用サイズに変換されたフレーム画像を表示部54に出力する。
【0158】
本実施の形態では、自動運転車両1から受信する映像のフレームレートと、表示部54に表示させる映像のフレームレートを同じに設定している。表示用の次のフレーム画像を生成するタイミングで、自動運転車両1から次のフレーム画像を受信できていない場合は(S303のN)、表示用の次のフレーム画像を、自動運転車両1から直近に受信したフレーム画像から生成する(S305、S306、S307)。なお、表示用の次のフレーム画像を、表示用の現フレーム画像から生成してもよい。以上のステップS300〜ステップS307の処理が、運転終了(S310のY)まで繰り返し実行される(S310のN)。
【0159】
図27は、本開示の実施の形態2に係る遠隔制御装置50が、自動運転車両1から受信した映像を表示する際の発展処理の流れを示すフローチャートである。以下、図26に示した基本処理との相違点を説明する。通信部531aは、自動運転車両1からネットワーク2を介して自動運転車両1の速度データ、舵角データに加えて危険度を受信する(S301a)。
【0160】
危険範囲決定部514は、自動運転制御装置10から受信した危険度をもとに自動運転車両1の周囲の危険範囲を決定する(S308)。なおフレーム画像内に所定の移動体(例えば、歩行者、自転車)が検出され、当該移動体が自動運転車両1に近づく方向に移動している場合、危険範囲を、少なくとも当該移動体が存在する方向に拡大する。オブジェクト重畳部519は、表示部54に表示すべきフレーム画像に、決定された危険範囲に対応する危険範囲オブジェクトを重畳する(S309)。画像信号出力部532は、危険範囲オブジェクトが重畳されたフレーム画像を表示部54に出力する。その他の処理は、図26に示した基本処理と同様である。
【0161】
図28は、本開示の実施の形態2に係る遠隔型自動運転システムの基本動作を示すフローチャートである。自動運転制御装置10の無線通信部131aは、可視光カメラ21により撮像された映像の画像データ、及び自動運転車両1の状態データをネットワーク2を介して遠隔制御装置50に送信する(S30)。遠隔制御装置50の通信部531aは、当該画像データ及び状態データを受信する(S40)。表示部54は、当該画像データ及び状態データをもとに生成された自動運転車両1の前方映像を表示する(S41)。
【0162】
自動運転車両1の走行モードが自律モードである場合(S31、S42の自律)、自動運転制御装置10の自律走行制御部111は、自動運転車両1を自律走行させる。遠隔制御装置50の表示部54は、自動運転車両1の前方映像の表示を継続する(S40、S41)。
【0163】
自動運転車両1の走行モードが遠隔操作モードである場合(S31、S42の遠隔)、遠隔制御装置50の車両指示信号生成部512は、操縦部56に対して遠隔操縦者により与えられた操縦量を制御コマンドに変換する(S43)。通信部531aは、当該制御コマンドをネットワーク2を介して自動運転制御装置10に送信する(S44)。自動運転制御装置10の遠隔走行制御部118は、遠隔制御装置50から受信した制御コマンドをもとに自動運転車両1を走行制御する(S32)。以上のステップS30〜ステップS32の処理、及びステップS40〜ステップS44の処理が、運転終了(S33のY、S45のY)まで繰り返し実行される(S33のN、S45のN)。
【0164】
以下、フレーム画像内から、所定の切出範囲の画像を切り出す具体例を説明する。以下の具体例では、自動運転車両1の前方に設置された、広角レンズを有する可視光カメラ21で撮像された映像を前提とする。広角レンズを有する可視光カメラ21で撮像されるフレーム画像は、水平方向に長いアクペクト比を持つ矩形形状の画像となる。
【0165】
図29A図29Bは、自動運転車両1の直進時に切り出される切出範囲の一例を示す図である。図29Aは、自動運転車両1から受信する映像に含まれる第1フレーム画像F1aを示しており、図29Bは、自動運転車両1から受信する映像に含まれる第2フレーム画像F1bを示している。
【0166】
まず、自動運転車両1が一定の速度で直進しているとし、第2フレーム画像F1bの通信遅延時間が、第1フレーム画像F1aの通信遅延時間より長い場合を考える。この場合、第2フレーム画像F1b内の切出範囲CObの方が第1フレーム画像F1a内の切出範囲COaより狭くなる。通信遅延時間が長いほど仮想視点が前進していることを意味しており、狭い切出範囲CObの画像を拡大して表示することにより、仮想視点の移動に対応する画像を表示できる。
【0167】
なお、第1フレーム画像F1aと第2フレーム画像F1bは同一であってもよい。急に通信遅延が大きくなり、通信遅延の増大は把握できるものの、自動運転車両1から次のフレーム画像が伝送されてこない場合、既に送られて来ているフレーム画像において、切出範囲を狭くして、仮想視点の前進に対応する。
【0168】
次に、第1フレーム画像F1aの通信遅延時間と第2フレーム画像F1bの通信遅延時間を同じとし、第2フレーム画像F1bの撮像時の自動運転車両1の速度が、第1フレーム画像F1aの撮像時の自動運転車両1の速度より速い場合を考える。この場合も、第2フレーム画像F1b内の切出範囲CObの方が第1フレーム画像F1a内の切出範囲COaより狭くなる。自動運転車両1の速度が速いほど仮想視点が前進していることを意味しており、狭い切出範囲CObの画像を拡大して表示することにより、仮想視点の移動に対応する画像を表示できる。なお、第1フレーム画像F1a内の切出範囲COaの形状と、第2フレーム画像F1b内の切出範囲CObの形状は相似する。
【0169】
図30A図30Bは、自動運転車両1のカーブ時に切り出される切出範囲の一例を示す図である。図30Aは、自動運転車両1から受信する映像に含まれる第3フレーム画像F1cを示しており、図30Bは、自動運転車両1から受信する映像に含まれる第4フレーム画像F1dを示している。カーブ直前の自動運転車両1の切出範囲CObは、図29Bの状態とする。
【0170】
自動運転車両1が一定の速度でカーブしているとし、第3フレーム画像F1cの通信遅延時間と、第4フレーム画像F1dの通信遅延時間は同じとする。遠隔制御装置50は自動運転車両1から舵角を受信する。舵角は、自動運転車両1の直進方向を基準に、第1方向(右方向、時計回り方向)D1とその角度(正の値)、又は、第2方向D2(左方向、反時計回り方向)とその角度(正の値)で表現される。なお第1方向を正の値、第2方向を負の値として表現してもよい。
【0171】
第3フレーム画像F1cの撮像時の自動運転車両1の舵角は、第1方向D1に第1角度である。この場合、図29Bの切出範囲CObを基準に、第1方向D1にずれた切出範囲COcの画像を拡大して表示部54に表示する。これにより、仮想視点の第1方向D1への回転移動に対応する画像を表示できる。
【0172】
第4フレーム画像F1dの撮像時の自動運転車両1の舵角は、第2方向D2に第2角度である。この場合、図29Bの切出範囲CObを基準に、第2方向D2にずれた切出範囲COdの画像を拡大して表示部54に表示する。これにより、仮想視点の第2方向D2への回転移動に対応する画像を表示できる。
【0173】
図31は、自動運転車両1の直進時の操舵輪の状態を示す図である。図31に示す自動運転車両1では、左前輪31a、右前輪31b、左後輪31c、右後輪31dの内、左前輪31a及び右前輪31bが操舵輪として使用される。また前後左右に4つの可視光カメラ21a−21dが設置されており、前方に設置された可視光カメラ21aで撮像された映像が、遠隔制御装置50に送信される。
【0174】
図32は、自動運転車両1の右カーブ時の操舵輪の状態を示す図である。操舵輪は、自動運転車両1の直進方向を基準に、第1方向(右方向、時計回り方向)に第1角度α1、回転している。この方向と角度のデータが、舵角データとして遠隔制御装置50に送信される。
【0175】
図33は、自動運転車両1の左カーブ時の操舵輪の状態を示す図である。操舵輪は、自動運転車両1の直進方向を基準に、第2方向(左方向、反時計回り方向)に第2角度α2、回転している。この方向と角度のデータが、舵角データとして遠隔制御装置50に送信される。
【0176】
図34は、自動運転車両1の可視光カメラ21で撮像された第1の映像のフレーム画像と、遠隔制御装置50の表示部54に表示させる第2の映像のフレーム画像との第1の関係例を示す図である。第1の関係例は、自動運転車両1から送信される第1の映像のフレーム画像の通信遅延が一定の場合の例である。この場合、遠隔制御装置50側では、第1の映像の第1フレーム画像F11内の切出領域C01の画像を拡大して、第2の映像の第1フレーム画像F21を生成する。以下同様に1:1の関係で、第1の映像の第2〜第5フレーム画像F12〜F15から、それぞれ切り出す切出領域CO2〜CO5の画像を拡大して、第2の映像の第2〜第5フレーム画像F22〜25を生成する。
【0177】
図35は、自動運転車両1の可視光カメラ21で撮像された第1の映像のフレーム画像と、遠隔制御装置50の表示部54に表示させる第2の映像のフレーム画像との第2の関係例を示す図である。第2の関係例は、自動運転車両1から送信される第1のフレーム画像の通信遅延が不規則な場合の例である。図35に示す例では、第1の映像の第2フレーム画像F12と第3フレーム画像F13との間の通信遅延が大きくなった場合を示している。この場合、遠隔制御装置50側では、第1の映像の第3フレーム画像F13の受信を待たずに、既に受信している第2フレーム画像F12から、第2の映像の第3フレーム画像F23及び第4フレーム画像F24を生成する。
【0178】
第1の映像の第2フレーム画像F12との時間間隔が長くなるほど、第2フレーム画像F12の切出領域C02が狭くなっていく。第2の映像の第3フレーム画像F23のもとになる切出領域C02bは、第2の映像の第2フレーム画像F22のもとになる切出領域C02aより狭くなり、第2の映像の第4フレーム画像F24のもとになる切出領域C02cは、第2の映像の第3フレーム画像F23のもとになる切出領域C02bより狭くなる。
【0179】
図36は、遠隔制御装置50の表示部54に表示されるフレーム画像F2aの一例を示す図である。図36に示すフレーム画像F2aは、図29Aに示した第1フレーム画像F1a内の切出範囲COaを拡大し、危険範囲オブジェクトZ1を重畳して生成した画像である。遠隔監視センタ5の遠隔操縦者は、危険範囲オブジェクトZ1の広狭をもとに自動運転車両1の危険度を直感的に把握することができる。
【0180】
図37は、魚眼レンズを有する可視光カメラ21で撮像されたフレーム画像の一例を示す図である。魚眼レンズを有する可視光カメラ21で撮像される画像は、基本的に真円形状の画像となる。真円形状の画像を、矩形のフレーム領域に割り当てると、角丸四角形状の画像領域を持つフレーム画像F1aとなる。また、4つの可視光カメラ21a−21dで撮像された画像を合成して全方位画像を生成した場合も、同様に角丸四角形状の画像領域を持つフレーム画像となる。
【0181】
遠隔制御装置50のサイズ変換部518は、切出部517により切り出された画像を、表示サイズの画像に変換する際、魚眼レンズの視野角に応じて設定された歪パラメータに基づき座標変換する。サイズ変換部518は、当該座標変換による歪補正後の画像内の空白画素に、周囲の画素から推定した画素を補間する。
【0182】
以下、フレーム画像内から、所定の切出範囲の画像を切り出す別の具体例を説明する。以下の具体例は、自動運転車両1が交差点を右折する際の例である。
【0183】
図38は、自動運転車両1が存在する交差点を上から俯瞰した図である。第1地点P1の自動運転車両1は右折開始前の直進時の状態を示しており、第2地点P2の自動運転車両1は右折中の状態を示している。
【0184】
図39は、図38の第1地点P1に自動運転車両1が位置する際に撮像されたフレーム画像を示す図である。図39の左側のフレーム画像F1eは、第1地点P1に位置する自動運転車両1の可視光カメラ21で撮像されたフレーム画像である。自動運転車両1は直進中であるため、フレーム画像F1e内の切出範囲COeは、フレーム画像F1e内の中央部に設定される。遠隔制御装置50は、切出範囲COeの画像を拡大して表示用のフレーム画像F2eを生成する。
【0185】
図40は、図38の第2地点P2に自動運転車両1が位置する際に撮像されたフレーム画像を示す図である。図40の左側のフレーム画像F1fは、第2地点P2に位置する自動運転車両1の可視光カメラ21で撮像されたフレーム画像である。自動運転車両1は右折中であるため、フレーム画像F1f内の切出範囲COfは、フレーム画像F1e内の中央部より右にずれた位置に設定される。切出範囲COfは、左辺が右辺より短い台形形状に設定される。操舵輪の第1角度α1が大きいほど、より左辺が右辺に対して短い台形形状となる。切出範囲COfにおける第1方向D1の端部E1の、第1方向D1と直交する幅は、切出範囲COfにおける第1方向D1と反対の端部E2の、第1方向D1と直交する幅より広い。遠隔制御装置50は、切出範囲COfの画像を拡大して表示用のフレーム画像F2fを生成する際、台形歪を補正する。
【0186】
図41は、図38の第1地点P1から自動運転車両1が左折を開始した直後に撮像されたフレーム画像を示す図である。図41の左側のフレーム画像F1gは、第1地点P1から左折を開始した直後に自動運転車両1の可視光カメラ21で撮像されたフレーム画像である。自動運転車両1は左折中であるため、フレーム画像F1g内の切出範囲COgは、フレーム画像F1g内の中央部より左にずれた位置に設定される。切出範囲COgは、右辺が左辺より短い台形形状に設定される。操舵輪の第2角度α2が大きいほど、より右辺が左辺に対して短い台形形状となる。切出範囲COgにおける第2方向D2の端部E2の、第2方向D2と直交する幅は、切出範囲COgにおける第2方向D2と反対の端部E1の、第2方向D2と直交する幅より広い。遠隔制御装置50は、切出範囲COgの画像を拡大して表示用のフレーム画像F2gを生成する際、台形歪を補正する。
【0187】
図42は、危険範囲オブジェクトが重畳された、自動運転車両1が存在する交差点を上から俯瞰した図である。第1地点P1の自動運転車両1は右折開始前の直進時の状態を示しており、第2地点P2の自動運転車両1は右折中の状態を示している。図42では、第2地点P2の自動運転車両1の周囲に危険範囲オブジェクトZ1が重畳されている。
【0188】
図43は、第2地点P2に位置する自動運転車両1の可視光カメラ21で撮像されたフレーム画像内の切出範囲から生成された表示用のフレーム画像を示す図である。図43に示すフレーム画像F2fは、図40の右側のフレーム画像F2fに、危険範囲オブジェクトZ1が重畳された画像である。危険範囲オブジェクトZ1は、色付きの透過オブジェクトで描かれてもよいし、色付きの塗りつぶしオブジェクトで描かれてよい。
【0189】
以上説明したように実施の形態2によれば、自動運転車両1から受信する映像を、通信遅延時間、自動運転車両1の速度及び舵角をもとに、仮想視点の位置が補正された映像に変換して表示する。これにより、遠隔監視センタ5の遠隔監視者/操縦者が、自動運転車両1の現在の状況をより正確に把握することができる。従って、遠隔操縦者は、通常と同じ運転感覚で遠隔操縦を行うことができる。
【0190】
遠隔制御装置50のステアリングホイール561やアクセルペダル562は、自動運転車両1の現在状況に応じて決定される操縦可能範囲を逸脱した操縦量が遠隔操縦者により加えられたとき、ステアリングホイール561やアクセルペダル562の動きが重くなるように設計されている。また遠隔操縦者により与えられた操縦指示が、自動運転車両1の現在状況に応じて危険度の高いものである場合、自動運転車両1が自律的に減速または停止する仕組みが導入されている。これに対して本実施の形態によれば、遠隔操縦者が視認している自動運転車両1の周囲の状況と、実際の自動運転車両1の周囲の状況との齟齬が非常に小さいため、遠隔操縦者は上記安全仕様を発動させることなく、遠隔操縦することができる。
【0191】
また、表示部54に表示される映像に危険範囲オブジェクトを重畳することにより、遠隔操縦者に、危険度に応じた注意を喚起させることができる。歩行者などの移動体が、自動運転車両1と異なる方向に移動している場合、表示部54に表示される映像内の移動体の位置は、実際の移動体の位置と異なっている。特に自動運転車両1の方向に向かって移動している移動体が存在する場合、危険範囲オブジェクトの面積を拡大させることにより、遠隔操縦者に注意を喚起させることができる。
【0192】
以上、本開示を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。
【0193】
上記動作例8、9、11では、監視画像内に危険範囲オブジェクトを表示させたが、危険範囲オブジェクトの代わりに安全範囲オブジェクトを表示させてもよい。この場合、安全範囲決定部(不図示)は、通信遅延量が小さいほど又は危険度が小さいほど安全範囲を広くする。安全範囲は、上述の危険範囲と逆の関係になる。
【0194】
また上述の実施の形態1では、車両の周辺状況を検知するためのセンサとして、可視光カメラ21、LIDAR22及びミリ波レーダ23を使用する例を説明した。この点、赤外線カメラ、ソナー等の他のセンサをさらに併用してもよい。
【0195】
上述の実施の形態2では、自動運転車両1の舵角を、自動運転車両1から受信する例を説明した。この点、遠隔操縦中であり、遠隔制御装置50と自動運転車両1間の通信遅延時間が短時間で安定している状態では、遠隔制御装置50のステアリングホイール561の回転角を自動運転車両1の舵角としてそのまま使用してもよい。遠隔制御装置50から自動運転車両1に送信される制御コマンドはデータ量が少ないため、通信回線が安定していれば、ステアリングホイール561の回転から自動運転車両1の操舵輪が実際に回転するまでの時間は、無視できる程度の時間である。遠隔制御装置50から送信される制御コマンドは、映像のようにデータ量が多くなく、圧縮符号化処理及び伸張復号処理も不要である。
【0196】
なお上述の実施の形態2では、移動体の動きベクトルを検出して危険範囲オブジェクトZ1の面積を変化させる例を説明した。この点、表示部54に表示させるフレーム画像内において、自動運転車両1の視点移動の動きベクトルと、移動体の動きベクトルをもとに当該移動体の位置を画像上で補正してもよい。
【0197】
なお、実施の形態は、以下の項目によって特定されてもよい。
【0198】
[項目1−1]
自動運転制御装置(10)は、検知データ入力部(132)と、通信部(131)と、を有する。検知データ入力部(132)は、自動運転車両(1)の周辺状況を示す検知データを、自動運転車両(1)に設置されている検知装置(20)から取得する。通信部(131)は、検知データ入力部(132)により取得された検知データを、ネットワーク(2)を介して自動運転車両(1)を監視している遠隔制御装置(50)に送信する。また、通信部(131)は、所定の条件に応じてデータ量が変更された検知データを遠隔制御装置(50)に送信する。
【0199】
これによれば、遠隔制御装置(50)に送信するデータ量を条件に応じて最適化することができる。
【0200】
[項目1−2]
項目1−1に記載の自動運転制御装置(10)において、通信部(131)は、自動運転車両(1)の危険度に応じてデータ量が変更された検知データを遠隔制御装置(50)に送信してもよい。
【0201】
これによれば、安全性を確保しつつ遠隔制御装置(50)に送信するデータ量を削減することができる。
【0202】
[項目1−3]
項目1−2に記載の自動運転制御装置(10)において、検知装置(20)には撮像装置(21)が含まれてもよい。また、通信部(131)は、自動運転車両(1)の危険度に応じて、撮像装置(21)から取得された画像データの画質が調整された画像データを遠隔制御装置(50)に送信してもよい。
【0203】
これによれば、安全性を確保しつつ遠隔制御装置(50)に送信するデータ量を削減することができる。
【0204】
[項目1−4]
項目1−2または1−3に記載の自動運転制御装置(10)において、自動運転車両(1)には、種類の異なる複数の検知装置(20)が設置されてもよい。また、通信部(131)は、自動運転車両(1)の危険度に応じて、複数の検知装置(20)から取得された複数種類の検知データの中から選択された少なくとも1種類の検知データを遠隔制御装置(50)に送信してもよい。
【0205】
これによれば、安全性を確保しつつ遠隔制御装置(50)に送信するデータ量を削減することができる。
【0206】
[項目1−5]
項目1−1に記載の自動運転制御装置(10)において、通信部(131)は、遠隔制御装置(50)からネットワーク(2)を介して、遠隔制御装置(50)に送信されている検知データの高品質化を指示する信号を受信してもよい。また、通信部(131)は、高品質化を指示する信号に応じてデータ量が増加された検知データを遠隔制御装置(50)に送信してもよい。
【0207】
これによれば、遠隔制御装置(50)を使用して遠隔監視している監視者の利便性を向上させることができる。
【0208】
[項目1−6]
項目1−1に記載の自動運転制御装置(10)において、通信部(131)は、自動運転車両(1)の走行中に対して、自律走行の不可能による停止中の方が、データ量が多い検知データを遠隔制御装置(50)に送信してもよい。
【0209】
これによれば、遠隔制御装置(50)を使用して遠隔監視している監視者の運転再開の判断の精度を向上させることができる。
【0210】
[項目1−7]
自動運転制御装置(10)は、検知データ入力部(132)と、通信部(131)と、を有する。検知データ入力部(132)は、自動運転車両(1)の周辺状況を示す検知データを、自動運転車両(1)に設置されている検知装置(20)から取得する。通信部(131)は、検知データ入力部(132)により取得された検知データを、ネットワーク(2)を介して自動運転車両(1)を監視している遠隔制御装置(50)に送信する。また、通信部(131)は、所定の条件に応じて複数の通信方式の中から選択された通信方式で、検知データを遠隔制御装置(50)に送信する。
【0211】
これによれば、条件に応じて通信方式を最適化することができる。
【0212】
[項目1−8]
自動運転制御方法は、自動運転車両(1)の周辺状況を示す検知データを、自動運転車両(1)に設置されている検知装置(20)から取得するステップを有する。また、自動運転制御方法は、取得された検知データを、ネットワーク(2)を介して自動運転車両(1)を監視している遠隔制御装置(50)に送信するステップを有する。さらに、自動運転制御方法は、所定の条件に応じてデータ量が変更された検知データを遠隔制御装置(50)に送信するステップを有する。
【0213】
これによれば、遠隔制御装置(50)に送信するデータ量を条件に応じて最適化することができる。
【0214】
[項目1−9]
自動運転制御方法は、自動運転車両(1)の周辺状況を示す検知データを、自動運転車両(1)に設置されている検知装置(20)から取得するステップを有する。また、自動運転制御方法は、取得された検知データを、ネットワーク(2)を介して自動運転車両(1)を監視している遠隔制御装置(50)に送信するステップを有する。さらに、自動運転制御方法は、所定の条件に応じて複数の通信方式の中から選択された通信方式で、検知データを遠隔制御装置(50)に送信するステップを有する。
【0215】
これによれば、条件に応じて通信方式を最適化することができる。
【0216】
[項目1−10]
自動運転制御プログラムは、自動運転車両(1)の周辺状況を示す検知データを、自動運転車両(1)に設置されている検知装置(20)から取得する処理をコンピュータに実行させる。また、自動運転制御プログラムは、取得された検知データを、ネットワーク(2)を介して自動運転車両(1)を監視している遠隔制御装置(50)に送信する処理をコンピュータに実行させる。さらに、自動運転制御プログラムは、所定の条件に応じてデータ量が変更された検知データを遠隔制御装置(50)に送信する処理をコンピュータに実行させる。
【0217】
これによれば、遠隔制御装置(50)に送信するデータ量を条件に応じて最適化することができる。
【0218】
[項目1−11]
自動運転制御プログラムは、自動運転車両(1)の周辺状況を示す検知データを、自動運転車両(1)に設置されている検知装置(20)から取得する処理をコンピュータに実行させる。また、自動運転制御プログラムは、取得された検知データを、ネットワーク(2)を介して自動運転車両(1)を監視している遠隔制御装置(50)に送信する処理をコンピュータに実行させる。さらに、自動運転制御プログラムは、所定の条件に応じて複数の通信方式の中から選択された通信方式で、検知データを遠隔制御装置(50)に送信する処理をコンピュータに実行させる。
【0219】
これによれば、条件に応じて通信方式を最適化することができる。
【0220】
[項目1−12]
自動運転車両(1)は、検知データ入力部(132)と、通信部(131)と、を有する。検知データ入力部(132)は、自動運転車両(1)の周辺状況を示す検知データを、自動運転車両(1)に設置されている検知装置(20)から取得する。通信部(131)は、検知データ入力部(132)により取得された検知データを、ネットワーク(2)を介して自動運転車両(1)を監視している遠隔制御装置(50)に送信する。また、通信部(131)は、所定の条件に応じてデータ量が変更された検知データを遠隔制御装置(50)に送信する。
【0221】
これによれば、遠隔制御装置(50)に送信するデータ量を条件に応じて最適化することができる。
【0222】
[項目1−13]
自動運転車両(1)は、検知データ入力部(132)と、通信部(131)と、を有する。検知データ入力部(132)は、自動運転車両(1)の周辺状況を示す検知データを、自動運転車両(1)に設置されている検知装置(20)から取得する。通信部(131)は、検知データ入力部(132)により取得された検知データを、ネットワーク(2)を介して自動運転車両(1)を監視している遠隔制御装置(50)に送信する。また、通信部(131)は、所定の条件に応じて複数の通信方式の中から選択された通信方式で、検知データを遠隔制御装置(50)に送信する。
【0223】
これによれば、条件に応じて通信方式を最適化することができる。
【0224】
[項目2−1]
遠隔制御装置(50)は、通信部(531)と、表示部(54)と、を有する。通信部(531)は、自動運転車両(1)からネットワーク(2)を介して、自動運転車両(1)の自車および周辺の状況を示す検知データを取得する。表示部(54)は、取得された検知データに基づき生成された、自動運転車両(1)の周辺の画像を表示する。また、表示部(54)は、画像内に、自動運転車両(1)の周囲の安全範囲または危険範囲を示す範囲オブジェクトを表示する。範囲オブジェクトは、自動運転車両(1)と遠隔制御装置(50)との間の通信遅延、又は自動運転車両(1)の危険度に基づき動的に変化する。
【0225】
これによれば、遠隔制御装置(50)を使用して遠隔監視している監視者の判断の精度を向上させることができる。
【0226】
[項目2−2]
項目2−1に記載の遠隔制御装置(50)において、範囲オブジェクトが安全範囲を示す場合、通信遅延が大きくなるほど、範囲オブジェクトの大きさを縮小してもよい。また、範囲オブジェクトが危険範囲を示す場合、通信遅延が大きくなるほど、範囲オブジェクトの大きさを拡大してもよい。
【0227】
これによれば、通信遅延の影響を除いた安全範囲または危険範囲を監視者に提示することができる。
【0228】
[項目2−3]
項目2−1に記載の遠隔制御装置(50)において、範囲オブジェクトが安全範囲を示す場合、危険度が高くなるほど、範囲オブジェクトの大きさを縮小してもよい。また、範囲オブジェクトが危険範囲を示す場合、危険度が高くなるほど、範囲オブジェクトの大きさを拡大してもよい。
【0229】
これによれば、危険度に応じて最適化された安全範囲または危険範囲を監視者に提示することができる。
【0230】
[項目2−4]
項目2−1から2−3のいずれかに記載の遠隔制御装置(50)において、表示部(54)に表示された自動運転車両(1)を監視している監視者の操作に基づく操作信号を受け付ける操作信号入力部(532)をさらに有してもよい。また、自動運転車両(1)が自律走行が不可能になって停止した後に、操作信号入力部(532)において、監視者の運転再開操作に基づく操作信号を受け付けたとき、通信部(531)は、ネットワーク(2)を介して自動運転車両(1)に運転再開を指示する信号を送信してもよい。さらに、表示部(54)は、危険範囲を示す範囲オブジェクトを、範囲オブジェクトの範囲内に障害物が存在するか否かを運転再開の判断基準として表示してもよい。
【0231】
これによれば、監視者による運転再開の判断の精度を向上させることができる。
【0232】
[項目2−5]
遠隔制御方法は、自動運転車両(1)からネットワーク(2)を介して、自動運転車両(1)の自車および周辺の状況を示す検知データを取得するステップを有する。また、遠隔制御方法は、取得された検知データに基づき生成された、自動運転車両(1)の周辺の画像を表示するステップを有する。表示するステップでは、画像内に、自動運転車両(1)の周囲の安全範囲または危険範囲を示す範囲オブジェクトを表示する。範囲オブジェクトは、自動運転車両(1)と遠隔制御装置(50)との間の通信遅延、又は自動運転車両(1)の危険度に基づき動的に変化する。
【0233】
これによれば、遠隔制御装置(50)を使用して遠隔監視している監視者の判断の精度を向上させることができる。
【0234】
[項目2−6]
遠隔制御プログラムは、自動運転車両(1)からネットワーク(2)を介して、自動運転車両(1)の自車および周辺の状況を示す検知データを取得する処理をコンピュータに実行させる。また、遠隔制御プログラムは、取得された検知データに基づき生成された、自動運転車両(1)の周辺の画像を表示する処理をコンピュータに実行させる。表示する処理では、画像内に、自動運転車両(1)の周囲の安全範囲または危険範囲を示す範囲オブジェクトを表示する。範囲オブジェクトは、自動運転車両(1)と遠隔制御装置(50)との間の通信遅延、又は自動運転車両(1)の危険度に基づき動的に変化する。
【0235】
これによれば、遠隔制御装置(50)を使用して遠隔監視している監視者の判断の精度を向上させることができる。
【0236】
[項目3−1]
遠隔制御装置(50)は、通信部(531)と、表示部(54)と、を有する。通信部(531)は、自動運転車両(1)からネットワーク(2)を介して、自動運転車両(1)の自車および周辺の状況を示す検知データを取得する。表示部(54)は、取得された検知データに基づき生成された、自動運転車両の周辺の画像を表示する。また、表示部(54)は、画像内に、自動運転車両(1)と遠隔制御装置(50)との間の通信遅延を補正した自動運転車両(1)と、通信遅延を補正しない自動運転車両(1)を表示する。
【0237】
これによれば、遠隔制御装置(50)を使用して遠隔監視している監視者の判断の精度を向上させることができる。
【0238】
[項目3−2]
項目3−1に記載の遠隔制御装置(50)において、通信部(531)は、自動運転車両(1)からネットワーク(2)を介して、自動運転車両(1)の周辺状況を示す検知データとして画像データを取得してもよい。また、遠隔制御装置(50)は、画像解析部(513)と、画像生成部(511)と、をさらに有してもよい。画像解析部(513)は、画像データ内から移動体を検出し、移動体の動きベクトルを検出し、移動体の移動速度を推定する。画像生成部(511)は、自動運転車両(1)と遠隔制御装置(50)との間の通信遅延と、画像解析部(513)により推定された移動体の移動速度をもとに、画像内に、通信遅延を補正した移動体と、通信遅延を補正しない移動体を含む画像を生成する。
【0239】
これによれば、監視者の判断の精度をさらに向上させることができる。
【0240】
[項目3−3]
項目3−1または3−2に記載の遠隔制御装置(50)において、表示部(54)は、画像内に、通信遅延を補正した自動運転車両(1)の周囲の安全範囲または危険範囲を示す範囲オブジェクトを表示してもよい。
【0241】
これによれば、監視者の判断の精度をさらに向上させることができる。
【0242】
[項目3−4]
遠隔制御方法は、自動運転車両(1)からネットワーク(2)を介して、自動運転車両(1)の自車および周辺の状況を示す検知データを取得するステップを有する。また、遠隔制御方法は、取得された検知データに基づき生成された、自動運転車両の周辺の画像を表示するステップを有する。表示するステップでは、画像内に、自動運転車両(1)と遠隔制御装置(50)との間の通信遅延を補正した自動運転車両(1)と、通信遅延を補正しない自動運転車両(1)とを表示する。
【0243】
これによれば、遠隔制御装置(50)を使用して遠隔監視している監視者の判断の精度を向上させることができる。
【0244】
[項目3−5]
遠隔制御プログラムは、自動運転車両(1)からネットワーク(2)を介して、自動運転車両(1)の自車および周辺の状況を示す検知データを取得する処理をコンピュータに実行させる。また、遠隔制御プログラムは、取得された検知データに基づき生成された、自動運転車両の周辺の画像を表示する処理をコンピュータに実行させる。表示する処理では、画像内に、自動運転車両(1)と本遠隔制御装置(50)との間の通信遅延を補正した自動運転車両(1)と、通信遅延を補正しない自動運転車両(1)とを表示する。
【0245】
これによれば、遠隔制御装置(50)を使用して遠隔監視している監視者の判断の精度を向上させることができる。
【0246】
[項目4−1]
遠隔制御装置(50)は、通信部(531)と、表示部(54)と、操作信号入力部(533)と、を有する。通信部(531)は、自動運転車両(1)からネットワーク(2)を介して、自動運転車両(1)の周辺状況を示す検知データを取得する。表示部(54)は、取得された検知データに基づき生成された、自動運転車両(1)の周辺の画像を表示する。操作信号入力部(533)は、表示部(54)に表示された自動運転車両(1)を監視している監視者の操作に基づく操作信号を受け付ける。自動運転車両(1)が自律走行が不可能になって停止した後に、操作信号入力部(533)において、監視者の運転再開操作に基づく操作信号を受け付けたとき、通信部(531)は、ネットワーク(2)を介して自動運転車両(1)に運転再開を指示する信号を送信する。
【0247】
これによれば、自動運転車両(1)の緊急停止後に安全性を確保しつつ迅速に運転を再開させることができる。
【0248】
[項目4−2]
項目4−1に記載の遠隔制御装置(50)の操作信号入力部(533)において、自動運転車両(1)の運転再開時の動き出しの走行ルートを指示する監視者の操作に基づく操作信号を受け付けたとき、通信部(531)は、自動運転車両(1)に走行ルートを指示する信号を送信してもよい。
【0249】
これによれば、自動運転車両(1)が緊急停止後の運転再開時の走行ルートを自律的に決定することが困難な場合でも、迅速な運転再開が可能となる。
【0250】
[項目4−3]
項目4−2に記載の遠隔制御装置(50)において、表示部(54)はタッチパネルディスプレイであってもよい。また、通信部(531)は、タッチパネルディスプレイに監視者が入力した軌跡をもとに生成された走行ルートを指示する信号を送信してもよい。
【0251】
これによれば、監視者の操作性を向上させることができる。
【0252】
[項目4−4]
項目4−2または4−3に記載の遠隔制御装置(50)において、表示部(54)は、自動運転車両(1)からネットワーク(2)を介して受信した信号に含まれる自動運転車両(1)により生成された運転再開時の動き出しの走行ルートを、自動運転車両(1)の周辺の画像に含めて表示してもよい。
【0253】
これによれば、監視者が自動運転車両(1)が自律的に生成した運転再開時の動き出しの走行ルートを目視で確認することができる。
【0254】
[項目4−5]
項目4−4に記載の遠隔制御装置(50)において、操作信号入力部(533)において、表示部(54)に表示された走行ルートを許可する監視者の操作に基づく操作信号を受け付けたとき、通信部(531)は、自動運転車両(1)に走行ルートを許可する信号を送信してもよい。
【0255】
これによれば、自動運転車両(1)が生成した走行ルートを監視者が許可する工程を設けることにより、運転再開時の安全性を向上させることができる。
【0256】
[項目4−6]
項目4−1から4−5のいずれかに記載の遠隔制御装置(50)の操作信号入力部(533)において、検知データに対する監視者の高品質化を要求する操作を受け付けたとき、通信部(531)は、ネットワーク(2)を介して自動運転車両(1)に検知データの高品質化を指示する信号を送信してもよい。
【0257】
これによれば、監視者の利便性を向上させることができる。
【0258】
[項目4−7]
遠隔制御方法は、自動運転車両(1)からネットワーク(2)を介して、自動運転車両(1)の周辺状況を示す検知データを取得するステップを有する。また、遠隔制御方法は、取得された検知データに基づき生成された、自動運転車両(1)の周辺の画像を表示するステップを有する。さらに、遠隔制御方法は、表示された自動運転車両(1)を監視している監視者の操作に基づく操作信号を受け付けるステップを有する。さらに、遠隔制御方法は、自動運転車両(1)が自律走行が不可能になって停止した後に、監視者の運転再開操作に基づく操作信号を受け付けたとき、ネットワーク(2)を介して自動運転車両(1)に運転再開を指示する信号を送信するステップを有する。
【0259】
これによれば、自動運転車両(1)の緊急停止後に安全性を確保しつつ迅速に運転を再開させることができる。
【0260】
[項目4−8]
遠隔制御プログラムは、自動運転車両(1)からネットワーク(2)を介して、自動運転車両(1)の周辺状況を示す検知データを取得する処理をコンピュータに実行させる。また、遠隔制御プログラムは、取得された検知データに基づき生成された、自動運転車両(1)の周辺の画像を表示する処理をコンピュータに実行させる。さらに、遠隔制御プログラムは、表示された自動運転車両(1)を監視している監視者の操作に基づく操作信号を受け付ける処理をコンピュータに実行させる。さらに、遠隔制御プログラムは、自動運転車両(1)が自律走行が不可能になって停止した後に、監視者の運転再開操作に基づく操作信号を受け付けたとき、ネットワーク(2)を介して自動運転車両(1)に運転再開を指示する信号を送信する処理をコンピュータに実行させる。
【0261】
これによれば、自動運転車両(1)の緊急停止後に安全性を確保しつつ迅速に運転を再開させることができる。
【0262】
[項目4−9]
自動運転制御装置(10)は、検知データ入力部(132)と、自律走行制御部(111)と、通信部(131)と、を有する。検知データ入力部(132)は、自動運転車両(1)の周辺状況を示す検知データを、自動運転車両(1)に設置されている検知装置(20)から取得する。自律走行制御部(111)は、取得された検知データをもとに自動運転車両(1)を自律的に運転制御する。通信部(131)は、検知データ入力部(132)により取得された検知データを、ネットワーク(2)を介して自動運転車両(1)を監視している遠隔制御装置(50)に送信し、遠隔制御装置(50)からネットワーク(2)を介して指示信号を受信する。自律走行制御部(111)が自動運転車両(1)を自律走行の不可能により停止させた後に、通信部(131)が遠隔制御装置(50)から運転再開時の動き出しの走行ルートを指示する信号を受信したとき、自律走行制御部(111)は、指示された走行ルートが走行不能なルートである場合、走行ルートを拒否する信号を遠隔制御装置(50)に送信する。
【0263】
これによれば、自動運転車両(1)の運転再開時の安全性を確保することができる。
【0264】
[項目4−10]
項目4−9に記載の自動運転制御装置(10)において、自律走行制御部(111)は、指示された走行ルートが走行不能なルートである場合、走行可能な別の走行ルートを生成し、遠隔制御装置(50)に送信してもよい。
【0265】
これによれば、自動運転制御装置(10)から新たな走行ルートを遠隔制御装置(50)に送信して監視者の確認を求めることにより、運転再開時の安全性を向上させることができる。
【0266】
[項目4−11]
自動運転制御方法は、自動運転車両(1)の周辺状況を示す検知データを、自動運転車両(1)に設置されている検知装置(20)から取得するステップを有する。また、自動運転制御方法は、取得された検知データをもとに自動運転車両(1)を自律的に運転制御するステップを有する。さらに、自動運転制御方法は、取得された検知データを、ネットワーク(2)を介して自動運転車両(1)を監視している遠隔制御装置(50)に送信するステップを有する。さらに、自動運転制御方法は、遠隔制御装置(50)からネットワーク(2)を介して指示信号を受信するステップを有する。さらに、自動運転制御方法は、自動運転車両(1)が自律走行が不可能になって停止した後に、遠隔制御装置(50)から運転再開時の動き出しの走行ルートを指示する信号を受信したとき、指示された走行ルートが走行不能なルートである場合、走行ルートを拒否する信号を遠隔制御装置(50)に送信するステップを有する。
【0267】
これによれば、自動運転車両(1)の運転再開時の安全性を確保することができる。
【0268】
[項目4−12]
自動運転制御プログラムは、自動運転車両(1)の周辺状況を示す検知データを、自動運転車両(1)に設置されている検知装置(20)から取得する処理をコンピュータに実行させる。また、自動運転制御プログラムは、取得された検知データをもとに自動運転車両(1)を自律的に運転制御する処理をコンピュータに実行させる。さらに、自動運転制御プログラムは、取得された検知データを、ネットワーク(2)を介して自動運転車両(1)を監視している遠隔制御装置(50)に送信する処理をコンピュータに実行させる。さらに、自動運転制御プログラムは、遠隔制御装置(50)からネットワーク(2)を介して指示信号を受信する処理をコンピュータに実行させる。さらに、自動運転制御プログラムは、自動運転車両(1)が自律走行が不可能になって停止した後に、遠隔制御装置(50)から運転再開時の動き出しの走行ルートを指示する信号を受信したとき、指示された走行ルートが走行不能なルートである場合、走行ルートを拒否する信号を遠隔制御装置(50)に送信する処理をコンピュータに実行させる。
【0269】
これによれば、自動運転車両(1)の運転再開時の安全性を確保することができる。
【0270】
[項目4−13]
自動運転車両(1)は、検知データ入力部(132)と、自律走行制御部(111)と、通信部(131)と、を有する。検知データ入力部(132)は、自動運転車両(1)の周辺状況を示す検知データを、自動運転車両(1)に設置されている検知装置(20)から取得する。自律走行制御部(111)は、取得された検知データをもとに自動運転車両(1)を自律的に運転制御する。通信部(131)は、検知データ入力部(132)により取得された検知データを、ネットワーク(2)を介して自動運転車両(1)を監視している遠隔制御装置(50)に送信し、遠隔制御装置(50)からネットワーク(2)を介して指示信号を受信する。自律走行制御部(111)が自動運転車両(1)を自律走行の不可能により停止させた後に、通信部(131)が遠隔制御装置(50)から運転再開時の動き出しの走行ルートを指示する信号を受信したとき、自律走行制御部(111)は、指示された走行ルートが走行不能なルートである場合、走行ルートを拒否する信号を遠隔制御装置(50)に送信する。
【0271】
これによれば、自動運転車両(1)の運転再開時の安全性を確保することができる。
【0272】
[項目5−1]
遠隔映像出力システム(1、50)は、車両(1)と、遠隔映像出力装置(50)と、を有する。車両(1)は、少なくとも進行方向の周囲を撮影可能な撮像回路(21)と、撮像回路(21)が撮影した映像を送信可能な無線通信回路(131a)と、を有する。遠隔映像出力装置(50)は、無線通信回路(131a)より、ネットワーク(2)を介して第1の映像を受信可能な通信回路(531a)と、第2の映像を出力可能な出力回路(532)と、を有する。遠隔映像出力装置(50)において、車両(1)からネットワーク(2)を介して遠隔映像出力装置(50)までの通信遅延が第1遅延時間である場合、出力回路(532)が、第1の映像の第1フレームから第1の範囲(COa)を切り出して第2の映像として出力する。遠隔映像出力装置(50)において、車両(1)からネットワーク(2)を介して遠隔映像出力装置(50)までの通信遅延が、第1遅延時間より長い第2遅延時間である場合、出力回路(532)が、第1の映像の第2フレームから第1の範囲(COa)より狭い第2の範囲(COb)を切り出して第2の映像として出力する。
【0273】
これによれば、通信遅延の影響が補償された第2の映像を生成することができる。
【0274】
[項目5−2]
項目5−1に記載の遠隔映像出力システム(1、50)において、第1の映像の第2フレームは、第1の映像の第1フレームと同一であってもよい。
【0275】
これによれば、通信遅延が大きくなっても、規定された表示タイミングで第2の映像を生成することができる。
【0276】
[項目5−3]
項目5−1又は項目5−2に記載の遠隔映像出力システム(1、50)において、遠隔映像出力装置(50)は、出力回路(532)に接続された表示部(54)を更に有してもよく、表示部(54)は、第2の映像を出力してもよい。
【0277】
これによれば、遠隔側の監視者/操縦者が、通信遅延の影響が補償された第2の映像をリアルタイムに見ることができる。
【0278】
[項目5−4]
項目5−1から項目5−3のいずれか1項に記載の遠隔映像出力システム(1、50)において、遠隔映像出力装置(50)の通信回路(531a)が受信する第1の映像の第1フレームと、第1の映像の第2フレームは、四角形であってもよい。
【0279】
これによれば、一般的な映像フォーマットで自動運転車両(1)から遠隔制御装置(50)に映像を送信することができる。
【0280】
[項目5−5]
項目5−1から項目5−4のいずれか1項に記載の遠隔映像出力システム(1、50)において、第1の映像の第1フレームにおける第1の範囲(COa)の形は、第1の映像の第2フレームにおける第2の範囲(COb)の形と、相似であってもよい。
【0281】
これによれば、自動運転車両(1)の直進時の第2の映像を簡易な処理で生成することができる。
【0282】
[項目5−6]
項目5−1から項目5−5のいずれか1項に記載の遠隔映像出力システム(1、50)において、車両(1)は、走行速度を検出する速度検出回路(24)を更に有してもよい。また、無線通信回路(131a)は、走行速度を送信可能であってもよい。さらに、遠隔映像出力装置(50)の通信回路(531a)は、無線通信回路(131a)よりネットワーク(2)を介して走行速度を受信可能であってもよい。さらに、遠隔映像出力装置(50)において、車両(1)からネットワーク(2)を介して遠隔映像出力装置(50)までの通信遅延が第3遅延時間であり、かつ、通信回路(531a)が受信した走行速度が第1速度の場合、出力回路(532)が、第1の映像の第3フレームから第3の範囲(COa)を切り出して第2の映像として出力してもよい。さらに、遠隔映像出力装置(50)において、車両(1)からネットワーク(2)を介して遠隔映像出力装置(50)までの通信遅延が第3遅延時間であり、かつ、通信回路(531a)が受信した走行速度が、第1速度より速い第2速度の場合、出力回路(532)が、第1の映像の第4フレームから第3の範囲(COa)より狭い第4の範囲(COb)を切り出して第2の映像として出力回路(532)が出力してもよい。さらに、第3遅延時間はゼロより大きくてもよい。さらに、第3速度はゼロも含んでいてもよい。
【0283】
これによれば、速度変化の影響が補償された第2の映像を生成することができる。
【0284】
[項目5−7]
項目5−6に記載の遠隔映像出力システム(1、50)において、第1の映像の第3フレームにおける第3の範囲(COa)の形は、第1の映像の第4フレームにおける第4の範囲(COb)の形と、相似であってもよい。
【0285】
これによれば、自動運転車両(1)の直進時の第2の映像を簡易な処理で生成することができる。
【0286】
[項目5−8]
項目5−6又は項目5−7に記載の遠隔映像出力システム(1、50)において、車両(1)は、操舵輪の舵角を検出する舵角検出回路(26)を更に有してもよい。また、無線通信回路(131a)は、舵角を送信可能であってもよい。さらに、遠隔映像出力装置(50)の通信回路(531a)は、無線通信回路(131a)よりネットワーク(2)を介して舵角を受信可能であってもよい。さらに、遠隔映像出力装置(50)において、車両(1)からネットワーク(2)を介して遠隔映像出力装置(50)までの通信遅延が第3遅延時間であり、かつ、通信回路(531a)が受信した走行速度が第3速度であり、かつ、通信回路(531a)が受信した舵角が第1舵角である場合、出力回路(532)が、第1の映像の第5フレームから第5の範囲(COb)を切り出して第2の映像として出力してもよい。さらに、遠隔映像出力装置(50)において、車両(1)からネットワーク(2)を介して遠隔映像出力装置(50)までの通信遅延が第3遅延時間であり、かつ、通信回路(531a)が受信した走行速度が第3速度であり、かつ、通信回路(531a)が受信した舵角が、第2舵角である場合、出力回路(532)が、第1の映像の第6フレームから、第6の範囲(COc)を切り出して第2の映像として出力してもよい。第2舵角は第1舵角と異なる。第6の範囲(COc)は第5の範囲(COb)と異なる。さらに、第3遅延時間はゼロより大きくてもよい。さらに、第3速度はゼロより大きくてもよい。
【0287】
これによれば、舵角変化の影響が補償された第2の映像を生成することができる。
【0288】
[項目5−9]
項目5−8に記載の遠隔映像出力システム(1、50)において、舵角検出回路(26)が検出する操舵輪(31a、31b)の舵角は、車両(1)の直進方向を基準に、第1方向とその角度、又は、第1方向と反対の第2方向とその角度で表現可能であってもよい。また、第1方向は右であってもよい。さらに、第2方向は左であってもよい。
【0289】
これによれば、操舵輪(31a、31b)の舵角を、左右対称の数値データで送信することができる。
【0290】
[項目5−10]
項目5−9に記載の遠隔映像出力システム(1、50)の遠隔映像出力装置(50)において、車両(1)からネットワーク(2)を介して遠隔映像出力装置(50)までの通信遅延が第3遅延時間であり、かつ、通信回路(531a)が受信した走行速度が第3速度であり、かつ、通信回路(531a)が受信した舵角が直進方向である場合、出力回路(532)が、第7の範囲(COb)を切り出して第2の映像として出力してもよい。この場合、第7の範囲(COb)は第1の映像の第7フレームから切り出される。また、車両(1)からネットワーク(2)を介して遠隔映像出力装置(50)までの通信遅延が第3遅延時間であり、かつ、通信回路(531a)が受信した走行速度が第3速度であり、かつ、通信回路(531a)が受信した舵角が、第1の角度(α1)である場合、出力回路(532)が、第8の範囲(COc、COf)を、第1の映像の第8フレームから切り出して第2の映像として出力回路(532)が出力してもよい。この場合、第1の角度(α1)とは、直進方向を基準に第1方向に第1の角度(α1)であり、第8の範囲(COc、COf)は、第1の映像のフレームにおいて第7の範囲(COb)を基準に第1の方向(D1)にずれた範囲である。さらに、車両(1)からネットワーク(2)を介して遠隔映像出力装置(50)までの通信遅延が第3遅延時間であり、かつ、通信回路(531a)が受信した走行速度が第3速度であり、かつ、通信回路(531a)が受信した舵角が、第2の角度(α2)である場合、出力回路(532)が、第9の範囲(COd、COg)を、第1の映像の第9フレームから切り出して第2の映像として出力回路(532)が出力してもよい。この場合、第2の角度(α2)とは、直進方向を基準に第2方向(D2)に第2の角度(α2)であり、第9の範囲(COd、COg)は、第1の映像のフレームにおいて第6の範囲(COc)を基準に、第1の方向(D1)と異なる第2の方向(D2)にずれた範囲である。さらに、第1の角度は正の値であってもよい。さらに、第2の角度は正の値であってもよい。
【0291】
これによれば、舵角変化の影響が補償された第2の映像を生成することができる。
【0292】
[項目5−11]
項目5−10に記載の遠隔映像出力システム(1、50)において、第8の範囲(COc、COf)の第1の方向(D1)の端部(E1)の、第1の方向(D1)と直交する幅は、第8の範囲(COc、COf)における第1の方向(D1)と反対の端部(E2)の、第1の方向(D1)と直交する幅より広くてもよい。また、第9の範囲(COd、COg)の第2の方向(D2)の端部(E2)の、第2の方向(D2)と直交する幅は、第9の範囲(COd、COg)における第2の方向(D2)と反対の端部(E1)の、第2の方向(D1)と直交する幅より広くてもよい。
【0293】
これによれば、舵角変化の影響が補償された第2の映像を生成することができる。
【0294】
[項目5−12]
項目5−10又は項目5−11に記載の遠隔映像出力システム(1、50)において、第1の映像のフレームにおける第2の方向(D2)は、第1の映像のフレームにおける第1の方向(D1)と反対であってもよい。
【0295】
これによれば、左右対称に切り出す範囲を移動させることができる。
【0296】
[項目5−13]
項目5−1から項目5−12のいずれか1項に記載の遠隔映像出力システム(1、50)において、遠隔映像出力装置(50)の出力回路(532)は、第2の映像のフレームにおいて所定の領域を示すオブジェクトを重畳して出力してもよい。また、所定の領域は、危険領域であってもよい。
【0297】
これによれば、遠隔側の監視者/操縦者に注意を喚起させることができる。
【0298】
[項目5−14]
遠隔映像出力装置(50)は、ネットワーク(2)を介して第1の映像を受信可能な通信回路(531a)と、第2の映像を出力可能な出力回路(532)と、を有する。通信回路(531a)は、外部の車両(1)が有する無線通信回路(131a)よりネットワーク(2)を介して、第1の映像を受信可能である。車両(1)は、少なくとも進行方向の周囲を撮影可能な撮像回路(21)を、更に有し、車両(1)の無線通信回路(131a)は、撮像回路(21)が撮影した映像を送信可能である。車両(1)からネットワーク(2)を介して遠隔映像出力装置(50)までの通信遅延が第1遅延時間である場合、出力回路(532)が、第1の映像の第1フレームから第1の範囲(COa)を切り出して第2の映像として出力する。車両(1)からネットワーク(2)を介して遠隔映像出力装置(50)までの通信遅延が、第1遅延時間より長い第2遅延時間である場合、出力回路(532)が、第1の映像の第2フレームから第1の範囲(COa)より狭い第2の範囲(COb)を切り出して第2の映像として出力する。
【0299】
これによれば、通信遅延の影響が補償された第2の映像を生成することができる。
【0300】
[項目5−15]
項目5−14に記載の遠隔映像出力装置(50)において、第1の映像の第2フレームは、第1の映像の第1フレームと同一であってもよい。
【0301】
これによれば、通信遅延が大きくなっても、規定された表示タイミングで第2の映像を生成することができる。
【0302】
[項目5−16]
項目5−14又は項目5−15に記載の遠隔映像出力装置(50)において、出力回路(532)に接続された表示部(54)を更に有してもよく、表示部(54)は、第2の映像を出力してもよい。
【0303】
これによれば、遠隔側の監視者/操縦者が、通信遅延の影響が補償された第2の映像をリアルタイムに見ることができる。
【0304】
[項目5−17]
項目5−14から項目5−16のいずれか1項に記載の遠隔映像出力装置(50)において、第1の映像の第1フレームと、第1の映像の第2フレームは、四角形であってもよい。
【0305】
これによれば、一般的な映像フォーマットで自動運転車両(1)から遠隔制御装置(50)に映像を送信することができる。
【0306】
[項目5−18]
項目5−14から項目5−17のいずれか1項に記載の遠隔映像出力装置(50)において、第1の映像の第1フレームにおける第1の範囲(COa)の形は、第1の映像の第2フレームにおける第2の範囲(COb)の形と、相似であってもよい。
【0307】
これによれば、自動運転車両(1)の直進時の第2の映像を簡易な処理で生成することができる。
【0308】
[項目5−19]
項目5−14から項目5−18のいずれか1項に記載の遠隔映像出力装置(50)において、車両(1)は、走行速度を検出する速度検出回路(24)を更に有してもよい。また、無線通信回路(131a)は、走行速度を送信可能であってもよい。さらに、通信回路(531a)は、無線通信回路(131a)よりネットワーク(2)を介して走行速度を受信可能であってもよい。さらに、車両(1)からネットワーク(2)を介して遠隔映像出力装置(50)までの通信遅延が第3遅延時間であり、かつ、通信回路(531a)が受信した走行速度が第1速度の場合、出力回路(532)が、第1の映像の第3フレームから第3の範囲(COa)を切り出して第2の映像として出力してもよい。さらに、車両(1)からネットワーク(2)を介して遠隔映像出力装置(50)までの通信遅延が第3遅延時間であり、かつ、通信回路(531a)が受信した走行速度が、第1速度より速い第2速度の場合、出力回路(532)が、第1の映像の第4フレームから第3の範囲(COa)より狭い第4の範囲(COb)を切り出して第2の映像として出力してもよい。さらに、第3遅延時間はゼロより大きくてもよい。さらに、第3速度はゼロも含んでいてもよい。
【0309】
これによれば、速度変化の影響が補償された第2の映像を生成することができる。
【0310】
[項目5−20]
項目5−19に記載の遠隔映像出力装置(50)において、第1の映像の第3フレームにおける第3の範囲(COa)の形は、第1の映像の第4フレームにおける第4の範囲(COb)の形と、相似であってもよい。
【0311】
これによれば、自動運転車両(1)の直進時の第2の映像を簡易な処理で生成することができる。
【0312】
[項目5−21]
項目5−19又は項目5−20に記載の遠隔映像出力装置(50)において、車両(1)は、操舵輪の舵角を検出する舵角検出回路(26)を更に有してもよい。また、無線通信回路(131a)は、舵角を送信可能であってもよい。さらに、通信回路(531a)は、無線通信回路(131a)よりネットワーク(2)を介して舵角を受信可能であってもよい。さらに、車両(1)からネットワーク(2)を介して遠隔映像出力装置(50)までの通信遅延が第3遅延時間であり、かつ、通信回路(531a)が受信した走行速度が第3速度であり、かつ、通信回路(531a)が受信した舵角が第1舵角である場合、出力回路(532)が、第1の映像の第5フレームから第5の範囲(COb)を切り出して第2の映像として出力してもよい。さらに、車両(1)からネットワーク(2)を介して遠隔映像出力装置(50)までの通信遅延が第3遅延時間であり、かつ、通信回路(531a)が受信した走行速度が第3速度であり、かつ、通信回路(531a)が受信した舵角が、第1舵角と異なる第2舵角である場合、出力回路(532)が、第1の映像の第6フレームから、第5の範囲(COb)と異なる第6の範囲(COc)を切り出して第2の映像として出力してもよい。さらに、第3遅延時間はゼロより大きくてもよい。さらに、第3速度はゼロより大きくてもよい。
【0313】
これによれば、舵角変化の影響が補償された第2の映像を生成することができる。
【0314】
[項目5−22]
項目5−21に記載の遠隔映像出力装置(50)において、舵角検出回路(26)が検出する操舵輪の舵角は、車両(1)の直進方向を基準に、第1方向とその角度、又は、第1方向と反対の第2方向とその角度で表現可能であってもよい。また、第1方向は右であってもよい。さらに、第2方向は左であってもよい。
【0315】
これによれば、操舵輪(31a、31b)の舵角を、左右対称の数値データで送信することができる。
【0316】
[項目5−23]
項目5−22に記載の遠隔映像出力装置(50)において、車両(1)からネットワーク(2)を介して遠隔映像出力装置(50)までの通信遅延が第3遅延時間であり、かつ、通信回路(531a)が受信した走行速度が第3速度であり、かつ、通信回路(531a)が受信した舵角が直進方向である場合、出力回路(532)が、第1の映像の第7フレームから第7の範囲(COb)を切り出して第2の映像として出力してもよい。また、車両(1)からネットワーク(2)を介して遠隔映像出力装置(50)までの通信遅延が第3遅延時間であり、かつ、通信回路(531a)が受信した走行速度が第3速度であり、かつ、通信回路(531a)が受信した舵角が、第1の角度(α1)である場合、出力回路(532)が、第8の範囲(COc、COf)を、第1の映像の第8フレームから切り出して第2の映像として出力してもよい。この場合、第1の角度(α1)とは、直進方向を基準に第1方向に第1の角度(α1)であり、第8の範囲(COc、COf)は、第1の映像のフレームにおいて第7の範囲(COb)を基準に第1の方向(D1)にずれた範囲である。さらに、車両(1)からネットワーク(2)を介して遠隔映像出力装置(50)までの通信遅延が第3遅延時間であり、かつ、通信回路(531a)が受信した走行速度が第3速度であり、かつ、通信回路(531a)が受信した舵角が、第2の角度(α2)である場合、第9の範囲(COd、COg)を、第1の映像の第9フレームから切り出して第2の映像として出力回路(532)が出力してもよい。この場合、第2の角度(α2)とは、直進方向を基準に第2方向(D2)に第2の角度(α2)であり、第9の範囲(COd、COg)は、第1の映像のフレームにおいて第6の範囲(COc)を基準に、第1の方向(D1)と異なる第2の方向(D2)にずれた範囲である。さらに、第1の角度は正の値であってもよい。さらに、第2の角度は正の値であってもよい。
【0317】
これによれば、舵角変化の影響が補償された第2の映像を生成することができる。
【0318】
[項目5−24]
項目5−23に記載の遠隔映像出力装置(50)において、第8の範囲(COc、COf)における第1の方向(D1)の端部(E1)の、第1の方向(D1)と直交する幅は、第8の範囲(COc、COf)における第1の方向(D1)と反対の端部(E2)の、第1の方向(D1)と直交する幅より広くてもよい。また、第9の範囲(COd、COg)における第2の方向(D2)の端部(E2)の、第2の方向(D2)と直交する幅は、第9の範囲(COd、COg)における第2の方向(D2)と反対の端部(E1)の、第2の方向(D1)と直交する幅より広くてもよい。
【0319】
これによれば、舵角変化の影響が補償された第2の映像を生成することができる。
【0320】
[項目5−25]
項目5−23又は項目5−24に記載の遠隔映像出力装置(50)において、第1の映像のフレームにおける第2の方向(D2)は、第1の映像のフレームにおける第1の方向(D1)と反対であってもよい。
【0321】
これによれば、左右対称に切り出す範囲を移動させることができる。
【0322】
[項目5−26]
項目5−14から項目5−25のいずれか1項に記載の遠隔映像出力装置(50)において、出力回路(532)は、第2の映像のフレームにおいて所定の領域を示すオブジェクトを重畳して出力してもよい。また、所定の領域は、危険領域であってもよい。
【0323】
これによれば、遠隔側の監視者/操縦者に注意を喚起させることができる。
【産業上の利用可能性】
【0324】
本開示は、遠隔映像出力システム、及び遠隔映像出力装置として有用である。
【符号の説明】
【0325】
1 自動運転車両
2 ネットワーク
2a 無線LANルータ装置
2b 基地局装置
2c インターネット
2d ルータ装置
5 遠隔監視センタ
10 自動運転制御装置
11 制御部
12 記憶部
13 入出力部
20 検知部
21,21a,21b,21c,21d 可視光カメラ
22 LIDAR
23 ミリ波レーダ
24 車速センサ
25 GPSセンサ
26 舵角センサ
30 アクチュエータ
31a 左前輪
31b 右前輪
31c 左後輪
31d 右後輪
50 遠隔制御装置
51 制御部
52 記憶部
53 入出力部
54 表示部
54a,54b,54c,54d,54e,54f,54g,54h,54i,54j,54k 監視画像
55 操作部
56 操縦部
111 自律走行制御部
112 危険度算出部
113 通信遅延推定部
114 送信データ量調整部
115 通信方式切替部
116 画像圧縮符号化部
117 送信データ生成部
118 遠隔走行制御部
131 センタ入出力部
131a 無線通信部
132 検知データ入力部
133 制御信号出力部
511 画像生成部
512 車両指示信号生成部
513 画像解析部
514 危険範囲決定部
515 画像伸張復号部
516 遅延時間検出部
517 切出部
518 サイズ変換部
519 オブジェクト重畳部
531 車両入出力部
531a 通信部
532 画像信号出力部
533 操作信号入力部
561 ステアリングホイール
562 アクセルペダル
563 ブレーキペダル
564 ウインカスイッチ
C1,C1a 自車
C1i 自車を示すアイコン
COa,COb,COc,COd,COe,COf,COg 切出範囲
D1 第1方向(右方向、時計回り方向)
D2 第2方向(左方向、反時計回り方向)
E1 第1方向の端部
E2 第2方向の端部
F1a 第1フレーム画像
F1b 第2フレーム画像
F1c 第3フレーム画像
F1d 第4フレーム画像
F1e フレーム画像
F1f フレーム画像
F1g フレーム画像
F2a 表示用のフレーム画像
F2e 表示用のフレーム画像
F2f 表示用のフレーム画像
F2g 表示用のフレーム画像
F11 第1の映像の第1フレーム画像
F12 第1の映像の第2フレーム画像
F13 第1の映像の第3フレーム画像
F14 第1の映像の第4フレーム画像
F15 第1の映像の第5フレーム画像
F21 第2の映像の第1フレーム画像
F22 第2の映像の第2フレーム画像
F23 第2の映像の第3フレーム画像
F24 第2の映像の第4フレーム画像
F25 第2の映像の第5フレーム画像
C01 第1の映像の第1フレーム画像内の切出領域
C02,C02a,C02b,C02c 第1の映像の第2フレーム画像内の切出領域
C03 第1の映像の第3フレーム画像内の切出領域
C04 第1の映像の第4フレーム画像内の切出領域
C05 第1の映像の第5フレーム画像内の切出領域
O1 第1対象物
O2 第2対象物
O3 第3対象物
O4 第4対象物
O5 第5対象物
O6 第6対象物
O7 第7対象物
O8 第8対象物
O9,O9a 第9対象物
O1i,O2i,O3i 自車周辺の対象物を示すアイコン
P1 第1地点
P2 第2地点
R1,R2 走行ルート
S1 目標場所
Z1 危険範囲オブジェクト
α1 第1角度
α2 第2角度
図1
図2
図3
図4
図5
図6A
図6B
図7
図8A
図8B
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18A
図18B
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29A
図29B
図30A
図30B
図31
図32
図33
図34
図35
図36
図37
図38
図39
図40
図41
図42
図43

【手続補正書】
【提出日】2019年8月1日
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0003
【補正方法】変更
【補正の内容】
【0003】
しかしながら、NHTSA(National Highway Traffic Safety Administration)がレベル5として規定する完全自動運転の実現は、長い年月を要すると予想されている。完全無人自動運転車両が完成するまでの過渡期の技術として、または完全無人自動運転車両を補完する技術として遠隔制御技術を活用することが考えられる(例えば、特許文献1〜3参照)。例えば、遠隔制御センタで監視者が複数の無人運転車両を監視し、必要なとき無人運転車両に指示を送る方法が考えられる。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0009
【補正方法】変更
【補正の内容】
【0009】
図1図1は、本開示の実施の形態1に係る遠隔型自動運転システムの全体構成を示す図である。
図2図2は、本開示の実施の形態1に係る自動運転車両の構成を示す図である。
図3図3は、本開示の実施の形態1に係る遠隔制御装置の構成を示す図である。
図4図4は、本開示の実施の形態1に係る遠隔型自動運転システムの基本動作を示すフローチャートである。
図5図5は、動作例1に係る送信データ量調整方法の処理の流れを示すフローチャートである。
図6A図6Aは、動作例1に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。
図6B図6Bは、動作例1に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。
図7図7は、動作例2に係る送信データ量調整方法の処理の流れを示すフローチャートである。
図8A図8Aは、動作例2に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。
図8B図8Bは、動作例2に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。
図9図9は、動作例3に係る通信方式切替方法の処理の流れを示すフローチャートである。
図10図10は、動作例4に係る通信方式切替方法の処理の流れを示すフローチャートである。
図11図11は、動作例5に係る、高画質画像要求機能が搭載された遠隔型自動運転システムの動作を示すフローチャートである。
図12図12は、動作例6に係る、運転再開時の走行ルートの指定機能が搭載された遠隔型自動運転システムの動作を示すフローチャートである。
図13図13は、動作例6に係る、遠隔制御装置の表示部に表示される監視画像上で走行ルートを指定する場合の一例を示す図である。
図14図14は、動作例7に係る、運転再開時の走行ルートの指定機能が搭載された遠隔型自動運転システムの動作を示すフローチャートである。
図15図15は、動作例7に係る、遠隔制御装置の表示部に表示される監視画像上で走行ルートを指定する場合の一例を示す図である。
図16図16は、動作例6、7の変形例に係る、遠隔制御装置の表示部に表示される監視画像上で走行ルートを指定する場合の一例を示す図である。
図17図17は、動作例8に係る、危険範囲オブジェクトを含む監視画像の表示方法の処理の流れを示すフローチャートである。
図18A図18Aは、動作例8に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。
図18B図18Bは、動作例8に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。
図19図19は、動作例9に係る、危険範囲オブジェクトを含む監視画像の表示方法の処理の流れを示すフローチャートである。
図20図20は、動作例10に係る、通信遅延が可視化された監視画像の表示方法の処理の流れを示すフローチャートである。
図21図21は、動作例10に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。
図22図22は、動作例11に係る、通信遅延が可視化された監視画像の表示方法の処理の流れを示すフローチャートである。
図23図23は、動作例11に係る遠隔制御装置の表示部に表示される監視画像の一例を示す図である。
図24図24は、本開示の実施の形態2に係る自動運転車両の構成を示す図である。
図25図25は、本開示の実施の形態2に係る遠隔制御装置の構成を示す図である。
図26図26は、本開示の実施の形態2に係る遠隔制御装置が、自動運転車両から受信した映像を表示する際の基本処理の流れを示すフローチャートである。
図27図27は、本開示の実施の形態2に係る遠隔制御装置が、自動運転車両から受信した映像を表示する際の発展処理の流れを示すフローチャートである。
図28図28は、本開示の実施の形態2に係る遠隔型自動運転システムの基本動作を示すフローチャートである。
図29A図29Aは、自動運転車両の直進時に切り出される切出範囲の一例を示す図である。
図29B図29Bは、自動運転車両の直進時に切り出される切出範囲の一例を示す図である。
図30A図30Aは、自動運転車両のカーブ時に切り出される切出範囲の一例を示す図である。
図30B図30Bは、自動運転車両のカーブ時に切り出される切出範囲の一例を示す図である。
図31図31は、自動運転車両の直進時の操舵輪の状態を示す図である。
図32図32は、自動運転車両の右カーブ時の操舵輪の状態を示す図である。
図33図33は、自動運転車両の左カーブ時の操舵輪の状態を示す図である。
図34図34は、自動運転車両の可視光カメラで撮像された第1の映像のフレーム画像と、遠隔制御装置の表示部に表示させる第2の映像のフレーム画像との第1の関係例を示す図である。
図35図35は、自動運転車両の可視光カメラで撮像された第1の映像のフレーム画像と、遠隔制御装置の表示部に表示させる第2の映像のフレーム画像との第2の関係例を示す図である。
図36図36は、遠隔制御装置の表示部に表示されるフレーム画像の一例を示す図である。
図37図37は、魚眼レンズを有する可視光カメラで撮像されたフレーム画像の一例を示す図である。
図38図38は、自動運転車両が存在する交差点を上から俯瞰した図である。
図39図39は、図38の第1地点に自動運転車両が位置する際に撮像されたフレーム画像を示す図である。
図40図40は、図38の第2地点に自動運転車両が位置する際に撮像されたフレーム画像を示す図である。
図41図41は、図38の第1地点から自動運転車両が左折を開始した直後に撮像されたフレーム画像を示す図である。
図42図42は、危険範囲オブジェクトが重畳された、自動運転車両が存在する交差点を上から俯瞰した図である。
図43図43は、第2地点に位置する自動運転車両の可視光カメラで撮像されたフレーム画像内の切出範囲から生成された表示用のフレーム画像を示す図である。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0013
【補正方法】変更
【補正の内容】
【0013】
本開示の実施の形態1はこうした状況に鑑みなされたものであり、実施の形態1の第2の目的は、自動運転車両において、道路運行の妨げになることを抑制しつつ、安全性を確保する技術を提供することにある。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0035
【補正方法】変更
【補正の内容】
【0035】
上記した可視光カメラ21、LIDAR22、ミリ波レーダ23、車速センサ24及びGPSセンサ25の検知データの内、データ量が最も多いのは可視光カメラ21で生成された画像データである。次にデータ量が多いのがLIDAR22で生成された3次元モデリングデータである。次にデータ量が多いのがミリ波レーダ23で検知された検知情報である。車速センサ24で検知された車両情報およびGPSセンサ25で検知された位置情報はごく少量のデータである。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0054
【補正方法】変更
【補正の内容】
【0054】
図5は、動作例1に係る送信データ量調整方法の処理の流れを示すフローチャートである。自動運転制御装置10の自律走行制御部111は、検知部20から各種の検知データを取得する(S100)。自律走行制御部111は、可視光カメラ21、LIDAR22及びミリ波レーダ23の少なくとも1つから取得された検知データをもとに、自車周辺の対象物の位置情報を特定する。当該対象物は、自車以外の車両、自転車、歩行者、動物などの、走行中の障害物として予め自動運転アルゴリズムに設定された対象物である。なお、対象物の種別及び移動ベクトルの少なくとも一方を検出できる場合は、対象物の種別及び移動ベクトルの少なくとも一方も検出する。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0057
【補正方法】変更
【補正の内容】
【0057】
図6A図6Bは、動作例1に係る遠隔制御装置50の表示部54に表示される監視画像の一例を示す図である。図6Aは、上記危険度が上記閾値以下の状態で表示部54に表示される監視画像54aの一例を示している。図6Aに示す例では、自車の位置情報、及び自車周辺の対象物の位置情報をもとに自車を示すアイコンC1iと、自車周辺の対象物を示す3つのアイコンO1i〜O3iが表示されている。対象物と自車との距離関係は、LIDAR22またはミリ波レーダ23により検知される反射信号により特定することが可能である。また、対象物の動きベクトルを検出することにより、各対象物の進行方向も特定することが可能である。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】0120
【補正方法】変更
【補正の内容】
【0120】
像生成部511は、推定された現在位置の自動運転車両1及び移動体、並びに危険範囲オブジェクトを重畳させた監視画像を生成する(S226a)。以上のステップS220〜ステップS226aまでの処理が、自動運転車両1の運転が終了するまで(S227のY)、繰り返し実行される(S227のN)。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】0290
【補正方法】変更
【補正の内容】
【0290】
[項目5−10]
項目5−9に記載の遠隔映像出力システム(1、50)の遠隔映像出力装置(50)において、車両(1)からネットワーク(2)を介して遠隔映像出力装置(50)までの通信遅延が第3遅延時間であり、かつ、通信回路(531a)が受信した走行速度が第3速度であり、かつ、通信回路(531a)が受信した舵角が直進方向である場合、出力回路(532)が、第7の範囲(COb)を切り出して第2の映像として出力してもよい。この場合、第7の範囲(COb)は第1の映像の第7フレームから切り出される。また、車両(1)からネットワーク(2)を介して遠隔映像出力装置(50)までの通信遅延が第3遅延時間であり、かつ、通信回路(531a)が受信した走行速度が第3速度であり、かつ、通信回路(531a)が受信した舵角が、第1の角度(α1)である場合、出力回路(532)が、第8の範囲(COc、COf)を、第1の映像の第8フレームから切り出して第2の映像として出力回路(532)が出力してもよい。この場合、舵角は、直進方向を基準に第1方向に第1の角度(α1)であり、第8の範囲(COc、COf)は、第1の映像のフレームにおいて第7の範囲(COb)を基準に第1の方向(D1)にずれた範囲である。さらに、車両(1)からネットワーク(2)を介して遠隔映像出力装置(50)までの通信遅延が第3遅延時間であり、かつ、通信回路(531a)が受信した走行速度が第3速度であり、かつ、通信回路(531a)が受信した舵角が、第2の角度(α2)である場合、出力回路(532)が、第9の範囲(COd、COg)を、第1の映像の第9フレームから切り出して第2の映像として出力回路(532)が出力してもよい。この場合、舵角は、直進方向を基準に第2方向(D2)に第2の角度(α2)であり、第9の範囲(COd、COg)は、第1の映像のフレームにおいて第6の範囲(COc)を基準に、第1の方向(D1)と異なる第2の方向(D2)にずれた範囲である。さらに、第1の角度は正の値であってもよい。さらに、第2の角度は正の値であってもよい。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】0292
【補正方法】変更
【補正の内容】
【0292】
[項目5−11]
項目5−10に記載の遠隔映像出力システム(1、50)において、第8の範囲(COc、COf)の第1の方向(D1)の端部(E1)の、第1の方向(D1)と直交する幅は、第8の範囲(COc、COf)における第1の方向(D1)と反対の端部(E2)の、第1の方向(D1)と直交する幅より広くてもよい。また、第9の範囲(COd、COg)の第2の方向(D2)の端部(E2)の、第2の方向(D2)と直交する幅は、第9の範囲(COd、COg)における第2の方向(D2)と反対の端部(E1)の、第2の方向(D2)と直交する幅より広くてもよい。
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】0316
【補正方法】変更
【補正の内容】
【0316】
[項目5−23]
項目5−22に記載の遠隔映像出力装置(50)において、車両(1)からネットワーク(2)を介して遠隔映像出力装置(50)までの通信遅延が第3遅延時間であり、かつ、通信回路(531a)が受信した走行速度が第3速度であり、かつ、通信回路(531a)が受信した舵角が直進方向である場合、出力回路(532)が、第1の映像の第7フレームから第7の範囲(COb)を切り出して第2の映像として出力してもよい。また、車両(1)からネットワーク(2)を介して遠隔映像出力装置(50)までの通信遅延が第3遅延時間であり、かつ、通信回路(531a)が受信した走行速度が第3速度であり、かつ、通信回路(531a)が受信した舵角が、第1の角度(α1)である場合、出力回路(532)が、第8の範囲(COc、COf)を、第1の映像の第8フレームから切り出して第2の映像として出力してもよい。この場合、舵角は、直進方向を基準に第1方向に第1の角度(α1)であり、第8の範囲(COc、COf)は、第1の映像のフレームにおいて第7の範囲(COb)を基準に第1の方向(D1)にずれた範囲である。さらに、車両(1)からネットワーク(2)を介して遠隔映像出力装置(50)までの通信遅延が第3遅延時間であり、かつ、通信回路(531a)が受信した走行速度が第3速度であり、かつ、通信回路(531a)が受信した舵角が、第2の角度(α2)である場合、第9の範囲(COd、COg)を、第1の映像の第9フレームから切り出して第2の映像として出力回路(532)が出力してもよい。この場合、舵角は、直進方向を基準に第2方向(D2)に第2の角度(α2)であり、第9の範囲(COd、COg)は、第1の映像のフレームにおいて第6の範囲(COc)を基準に、第1の方向(D1)と異なる第2の方向(D2)にずれた範囲である。さらに、第1の角度は正の値であってもよい。さらに、第2の角度は正の値であってもよい。
【手続補正11】
【補正対象書類名】明細書
【補正対象項目名】0318
【補正方法】変更
【補正の内容】
【0318】
[項目5−24]
項目5−23に記載の遠隔映像出力装置(50)において、第8の範囲(COc、COf)における第1の方向(D1)の端部(E1)の、第1の方向(D1)と直交する幅は、第8の範囲(COc、COf)における第1の方向(D1)と反対の端部(E2)の、第1の方向(D1)と直交する幅より広くてもよい。また、第9の範囲(COd、COg)における第2の方向(D2)の端部(E2)の、第2の方向(D2)と直交する幅は、第9の範囲(COd、COg)における第2の方向(D2)と反対の端部(E1)の、第2の方向(D2)と直交する幅より広くてもよい。
【手続補正12】
【補正対象書類名】図面
【補正対象項目名】図11
【補正方法】変更
【補正の内容】
図11
【国際調査報告】