特開2019-206310(P2019-206310A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社SOKENの特許一覧
特開2019-206310操舵角決定装置、および、自動運転車
<>
  • 特開2019206310-操舵角決定装置、および、自動運転車 図000003
  • 特開2019206310-操舵角決定装置、および、自動運転車 図000004
  • 特開2019206310-操舵角決定装置、および、自動運転車 図000005
  • 特開2019206310-操舵角決定装置、および、自動運転車 図000006
  • 特開2019206310-操舵角決定装置、および、自動運転車 図000007
  • 特開2019206310-操舵角決定装置、および、自動運転車 図000008
  • 特開2019206310-操舵角決定装置、および、自動運転車 図000009
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-206310(P2019-206310A)
(43)【公開日】2019年12月5日
(54)【発明の名称】操舵角決定装置、および、自動運転車
(51)【国際特許分類】
   B62D 6/00 20060101AFI20191108BHJP
   B60W 30/10 20060101ALI20191108BHJP
   G08G 1/16 20060101ALI20191108BHJP
【FI】
   B62D6/00
   B60W30/10
   G08G1/16 C
【審査請求】未請求
【請求項の数】9
【出願形態】OL
【全頁数】11
(21)【出願番号】特願2018-103663(P2018-103663)
(22)【出願日】2018年5月30日
(71)【出願人】
【識別番号】000004695
【氏名又は名称】株式会社SOKEN
(71)【出願人】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(71)【出願人】
【識別番号】592032636
【氏名又は名称】学校法人トヨタ学園
(74)【代理人】
【識別番号】110000028
【氏名又は名称】特許業務法人明成国際特許事務所
(72)【発明者】
【氏名】石丸 和寿
(72)【発明者】
【氏名】テヘラニニキネジャド ホセイン
(72)【発明者】
【氏名】小西 將貴
(72)【発明者】
【氏名】ヴィジャイ ジョン
(72)【発明者】
【氏名】三田 誠一
【テーマコード(参考)】
3D232
3D241
5H181
【Fターム(参考)】
3D232CC20
3D232DA03
3D232DA22
3D232DA74
3D232DA76
3D232DA82
3D232DA84
3D232DA87
3D232DA90
3D232DA99
3D232DC01
3D232DC38
3D232DD01
3D232DD02
3D232DD12
3D232EB04
3D232EC22
3D232FF10
3D232GG01
3D241BA12
3D241BA15
3D241BA33
3D241CC17
3D241CD05
3D241CD10
3D241CE04
3D241CE05
3D241DA52Z
3D241DB01Z
3D241DB20Z
3D241DC33Z
3D241DC38Z
3D241DC43Z
5H181AA01
5H181CC04
5H181FF04
5H181FF22
5H181FF27
5H181LL01
5H181LL02
5H181LL04
(57)【要約】
【課題】車両を自動運転する場合においては、運転者による軌跡と、自動運転による軌跡との乖離が大きくなる可能性を低減する技術を提供する。
【解決手段】操舵角決定装置40は、位置取得部が取得した情報を用いて、進行方向における車両の走行シーンを決定するシーン決定部41と、撮像部の撮像画像を用いて、車両が採るべき操舵パターンを識別する操舵識別部42と、撮像画像と、走行シーンと、操舵パターンとを用いて操舵角を決定する操舵角決定部49と、を備える。
【選択図】図2
【特許請求の範囲】
【請求項1】
車両(1)の周囲を撮像する撮像部(21)と、前記車両の位置および向きを取得する位置取得部(30)とを備える前記車両に搭載される操舵角決定装置(40)であって、
前記位置取得部が取得した情報を用いて、進行方向における前記車両の走行シーンを決定するシーン決定部(41)と、
前記撮像部の撮像画像を用いて、前記車両が採るべき操舵パターンを識別する操舵識別部(42)と、
前記撮像画像と、前記走行シーンと、前記操舵パターンとを用いて操舵角を決定する操舵角決定部(49)と、を備える、操舵角決定装置。
【請求項2】
請求項1に記載の操舵角決定装置であって、
前記シーン決定部は、前記位置取得部が取得した情報である前記車両の緯度情報、経度情報、および、向き情報を用いて、前記走行シーンを決定する、操舵角決定装置。
【請求項3】
請求項1または請求項2に記載の操舵角決定装置であって、
前記操舵識別部は、同じ前記走行シーンにおいて時系列に並んだ複数の前記撮像画像のそれぞれについて、前記車両の進行方向における状況と前記操舵パターンとが紐付けられたネットワーク構造(422)を用いて、前記操舵パターンを識別する、操舵角決定装置。
【請求項4】
請求項1から請求項3までのいずれか一項に記載の操舵角決定装置であって、
前記操舵角決定部は、
一の前記撮像画像と、前記シーン決定部で決定した前記走行シーンと、前記操舵識別部が識別した前記操舵パターンとを用いて、第1操舵角を算出する第1操舵角算出部(44)と、
前記車両に実行させる前記操舵角としての最終操舵角を決定する最終決定部(48)と、
前記第1操舵角と、前記一の撮像画像と前記走行シーンが同じであり、過去に撮像された前記撮像画像である過去撮像画像を前記一の撮像画像として決定された前記最終操舵角である過去操舵角とを用いて、第2操舵角を算出する第2操舵角算出部(46)と、を備え、
前記最終決定部は、
前記第1操舵角に対する尤度と、前記第2操舵角から作成される提案分布とを用いて、前記最終操舵角を決定する、操舵角決定装置。
【請求項5】
請求項4に記載の操舵角決定装置であって、
前記第1操舵角算出部は、前記走行シーンと前記操舵パターンと算出する前記第1操舵角との関係を学習によって構築したネットワーク構造(442)を有する、操舵角決定装置。
【請求項6】
請求項4または請求項5に記載の操舵角決定装置であって、
前記第2操舵角算出部は、第1ネットワーク構造(310)と、第2ネットワーク構造(330)とを備え、
前記第1ネットワーク構造は、前記過去操舵角を用いて前記第1操舵角の修正を行い、
前記第2ネットワーク構造は、前記第1ネットワーク構造によって修正された値を調整して、前記第2操舵角を算出する、操舵角決定装置。
【請求項7】
請求項6に記載の操舵角決定装置であって、
前記第1ネットワーク構造は、ゲーティングネットワーク(311)と、エキスパートネットワーク(320)とを有し、
前記ゲーティングネットワークおよび前記エキスパートネットワークは、LSTMによって構成されることで、前記修正を実現する、操舵角決定装置。
【請求項8】
請求項4から請求項7までのいずれか一項に記載の操舵角決定装置であって、
前記最終決定部は、粒子フィルタ処理によって前記最終操舵角を決定する、操舵角決定装置。
【請求項9】
請求項1から請求項8までのいずれか一項に記載の操舵角決定装置と、
前記操舵角決定部によって決定された前記操舵角を用いて、操舵を実現するステアリング装置(15)と、を備える自動運転車。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、自動操舵の技術に関する。
【背景技術】
【0002】
従来、車両走行に伴い検出され複数種類の特徴量の時系列データを学習データとして、運転者の運転特徴により近い運転行動を推定する技術が知られている(特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−176396号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の技術では、運転行動を推定するために、運転者が実際に車両を走行させたときの複数種類の特徴量からなる学習データを用いている。しかしながら、運転者が運転操作を行わない自動運転の場合には、運転者が運転操作を行ったことによって生成された学習データを用いることができない。これにより、車両を自動運転する場合においては、運転者による軌跡と、自動運転による軌跡との乖離が大きくなる可能性が生じ得る。
【課題を解決するための手段】
【0005】
本開示は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。
【0006】
本開示の一形態によれば、車両(1)の周囲を撮像する撮像部(21)と、前記車両の位置および向きを取得する位置取得部(30)とを備える前記車両に搭載される操舵角決定装置(40)が提供される。この操舵角決定装置は、前記位置取得部が取得した情報を用いて、進行方向における前記車両の走行シーンを決定するシーン決定部(41)と、前記撮像部の撮像画像を用いて、前記車両が採るべき操舵パターンを識別する操舵識別部(42)と、前記撮像画像と、前記走行シーンと、前記操舵パターンとを用いて操舵角を決定する操舵角決定部(49)と、を備える。
【0007】
上記形態の操舵角決定装置によれば、操舵角を決定するために、撮像画像に加え、走行シーンと操舵パターンとを用いることで、運転者が行う操舵と、操舵角決定部が決定する操舵角による操舵との乖離が大きくなる可能性を低減できる。
【図面の簡単な説明】
【0008】
図1】自動運転車の概略を示すブロック図。
図2】操舵角決定装置としてのECUを説明するための図。
図3】操舵識別部を説明するための図。
図4】第1操舵角算出部を説明するための図。
図5】第2操舵角算出部を説明するための図。
図6】第2操舵角算出部の学習手順を説明するための図。
図7】操舵による自動運転車の軌跡について説明するための図。
【発明を実施するための形態】
【0009】
A.実施形態:
図1に示す自動運転車1は、少なくとも自動操舵が可能なレベル以上の自動運転車である。自動運転車1は、操舵角決定装置としてのECU40と、撮像部としてのカメラ21と、位置取得部30と、地図データ31と、操舵角センサ34と、ステアリング装置15と、ステアリングホイール17と、を備える。
【0010】
ECU40は、自動操舵を行うために、操舵角(操舵量)としての最終操舵角を決定し、決定した最終操舵角となるようにステアリング装置15に指令を出す。ECU40の詳細は後述する。
【0011】
カメラ21は、自動運転車1の周囲を撮像する。例えば、カメラ21は、自動運転車1の前方を撮像する。カメラ21によって予め定めた時間間隔ごとに撮像された撮像画像は、ECU40に送信される。なお、カメラ21は単眼カメラであってもよいし、ステレオカメラであってもよい。また、カメラ21は、自動運転車1の前方、側方、後方を撮像するために複数設けられていてもよい。
【0012】
位置取得部30は、自動運転車1の位置(緯度および経度)と進行方向である向きを取得して、取得結果をECU40に送信する。位置取得部30は、例えば、GNSS(Global Navigation Satellite System)を構成する人工衛星からアンテナを介して航法信号を受信する受信機である。
【0013】
地図データ31は、道路情報を格納したデータであり、例えば、道路情報(リンクデータやノードデータ)と、その道路の種別(一般道路や高速道路やパーキングエリア)などを格納している。操舵角センサ34は、例えば、ステアリングシャフトに取り付けられ、操舵角を検出する。
【0014】
ステアリング装置15は、図示しないモータ等を備える。ステアリング装置15は、ECU40から入力された最終操舵角を実現するための動作をすると共に、最終操舵角に応じてステアリングホイール17を回転させる。
【0015】
ECU40は、自動操舵機能がオンに設定されている間、繰り返し、操舵角決定処理を実行する。ステアリング装置15は、自動操舵機能がオフに設定されている間、電動パワーステアリング装置として機能する。
【0016】
図2に示すように、ECU40は、シーン決定部41と、操舵識別部42と、操舵角決定部49と、を備える。
【0017】
シーン決定部41は、位置取得部30が取得した情報PIを用いて、自動運転車1の進行方向における走行シーンを決定する。具体的には、シーン決定部41は、情報PIに含まれる緯度情報、経度情報、および、向き情報から、地図データ31上における自動運転車1の現在位置と進行方向とを特定し、特定した現在位置および進行方向における道路種別と、自動運転車1の走行車線の曲がりの程度(例えば、曲率)とを走行シーンとして決定する。上記のごとく、シーン決定部41は、緯度情報と経度情報に加え、向き情報を用いることでより精度良く走行シーンを決定できる。
【0018】
操舵識別部42は、カメラ21の撮像画像IMを用いて、自動運転車1が採るべき操舵パターンを識別する。操舵パターンとしては、走行車線に沿って走行する通常操舵パターンと、進行方向側(例えば、前方側)に停車する他車両などの障害物が位置するために障害物を回避するための回避操舵パターンとがある。
【0019】
図3に示すように、操舵識別部42は、識別ネットワーク構造422と、ラベルデータ群423とを有する。識別ネットワーク構造422は、LRCN(Long Recurrent Conventional Network)を用いて構成されている。ラベルデータ群423は、過去に収集した進行方向ごとの複数の撮像画像IMと、撮像画像IMごとに操舵パターンを区分したデータである。つまりラベルデータ群423は、撮像画像IMを解析し、自動運転車1の進行方向に障害物があるか否かの状況に応じて操舵パターンを区分したデータである。例えば、自動運転車1の進行方向側に停車中の他車両が位置する撮像画像IMには、操舵パターンとして回避操舵パターンが紐付けられている。また例えば、自動運転車1の進行方向側に停車中の他車両が位置しない撮像画像IMには、操舵パターンとして通常操舵パターンが紐付けられている。
【0020】
識別ネットワーク構造422は、このラベルデータ群423のデータを教師データ(真値)として用いて、識別ネットワーク構造422に入力された3枚の撮像画像IM,IMk+1,IMk+2のそれぞれについて、操舵パターンを識別する。
【0021】
3枚の撮像画像IM,IMk+1,IMk+2は、同じ走行シーン(例えば、高速道路を走行するシーンや、一般道路を走行するシーン)において時系列に並んだ画像であり、時点k+2が最終決定部48によって最終操舵角を決定する対象となる時点であり、時点k+1は時点k+2よりも一つ前の時点であり、時点kは時点k+1よりも一つ前の時点である。
【0022】
以上のように、操舵識別部42は、同じ走行シーンにおいて時系列に並んだ複数の撮像画像IM,IMk+1,IMk+2のそれぞれについて、自動運転車1の進行方向における状況と前記操舵パターンとが紐付けられた識別ネットワーク構造422を用いて操舵パターンを識別する。これにより、操舵パターンを容易に識別できる。なお、識別ネットワーク構造422は、撮像画像IMに対する実際の走行シーンを真値として与えて学習した後に、ECU40の一部として組み込まれる。
【0023】
操舵角決定部49(図2)は、撮像画像IM,IMk+1,IMk+2と、走行シーンと、操舵パターンとを用いて操舵角を決定する。操舵角決定部49は、第1操舵角算出部44と、第2操舵角算出部46と、最終決定部48とを備える。
【0024】
第1操舵角算出部44(図4)は、撮像画像IMk+2を用いて、時点k+2において自動運転車1が採るべき第1操舵角Zk+2を算出する。図4に示すように、第1操舵角算出部44は、操舵角ネットワーク構造442と、操舵角データ群443とを有する。操舵角ネットワーク構造442は、畳み込みニューラルネットワークであるVGG16を用いて構成されている。本実施形態において用いる操舵角ネットワーク構造442は、VGG16におけるニューロンの数やレイヤー数を適宜変更して用いてもよい。操舵角データ群443は、操舵パターンと様々な走行シーンごとに第1操舵角Zを紐付けたデータである。
【0025】
第1操舵角算出部44には、撮像画像IMk+2と、シーン決定部41によって決定された時点k+2における走行シーンと、操舵識別部42によって識別された時点k+2における操舵パターンとが入力され、操舵角ネットワーク構造442は操舵角データ群443を参照することで時点k+2における第1操舵角Zk+2を算出する。
【0026】
第1操舵角算出部44の操舵角ネットワーク構造442は、走行シーンと操縦パターンと算出する第1操舵角Zとの関係を学習によって構築したネットワーク構造である。
【0027】
第2操舵角算出部46(図2)は、第1操舵角Zk+2と、時点k+1および時点kにおいて撮像された撮像画像IMk+1,IMにおける、最終決定部48によって決定された最終操舵角Xk+1,Xとを用いて第2操舵角Yk+2を算出する。
【0028】
図5に示すように、第2操舵角算出部46は、第1ネットワーク構造310と、第2ネットワーク構造330とを備える。第2操舵角算出部46において、入力は第1操舵角Zk+2と、過去(一つ前の時点と、二つ前の時点)の最終操舵角である過去操舵角Xk+1,Xである。入力値としての3つの値を入力値セットと呼ぶ。第1ネットワーク構造310は第1操舵角ZK+2を過去操舵角Xk+1,Xで修正し、第2ネットワーク構造330は、第1ネットワーク構造によって修正された値を調整して第2操舵角Yk+2を算出する。
【0029】
入力値セットは、第1ネットワーク構造310に入力される。具体的には、入力値セットは、ゲーティングネットワーク311と、エキスパートネットワーク群320とのそれぞれに入力される。エキスパートネットワーク群320は、第1エキスパートネットワーク321と、第2エキスパートネットワーク322と、第3エキスパートネットワーク323とを備える。入力値セットは、第1〜第3エキスパートネットワーク321〜323のそれぞれに入力される。
【0030】
ゲーティングネットワーク311は、入力値セットが入力されると、重みgk1,重みgk2,及び重みgk3を出力する。gk1+gk2+gk3=1である。
【0031】
重みgk1は,直進するための操舵角を、第2操舵角Yk+2として出力すべき尤もらしさを意味する。重みgk2は,右に操舵するための操舵角を、第2操舵角Yk+2として出力すべき尤もらしさを意味する。重みgk3は,左に操舵するための操舵角を、第2操舵角Yk+2として出力すべき尤もらしさを意味する。
【0032】
本実施形態におけるゲーティングネットワーク311は、重みgk1,重みgk2,及び重みgk3の何れか1つの値を1に決定する。このため、残りの2つの値はゼロになる。つまり、本実施形態におけるゲーティングネットワーク311は、直進すべきか、右に操舵すべきか、左に操舵すべきかを、一意に決定していることになる。
【0033】
第1エキスパートネットワーク321は、入力値セットが入力されると、操舵角θk1を出力する。操舵角θk1は、直進すべきであると仮定した場合に、入力値セットから導かれる操舵角である。
【0034】
第2エキスパートネットワーク322は、入力値セットが入力されると、操舵角θk2を出力する。操舵角θk2は、右に操舵すべきであると仮定した場合に、入力値セットから導かれる操舵角である。
【0035】
第3エキスパートネットワーク323は、入力値セットが入力されると、操舵角θk3を出力する。操舵角θk3は、左に操舵すべきであると仮定した場合に、入力値セットから導かれる操舵角である。
【0036】
ゲーティングネットワーク311及びエキスパートネットワーク群320からの出力は、第2ネットワーク構造330に入力される。第2ネットワーク構造330に入力されるのは、3つの値である。具体的にはθk1×gk1、θk2×gk2、θk3×gk3が入力される。gk1、gk2、gk3のうちの2つはゼロであるので、実質的にはエキスパートネットワーク群320から出力された3つの値のうち、値が1である重みに対応する値のみが入力されることになる。
【0037】
第2ネットワーク構造330は、リファインメントネットワークである。第2ネットワーク構造330は、2層の隠れ層から構成される。2層のそれぞれは、32のユニットから構成される。1層目と2層目とのユニットは、全結合されている。入力層と第1層目とのユニットも全結合されており、第2層目のユニットと出力層とも全結合されている。第2ネットワーク構造330による微調整を経て、第2操舵角Yk+2が出力される。
【0038】
第1ネットワーク構造310を構成するゲーティングネットワーク311およびエキスパートネットワーク群320は、LSTMによって構成されている。LSTMは、Long Short-Term Memoryの頭字語である。LSTMは、リカレントニューラルネットワークの一種である。LSTMは、選択的な忘却や、長期的な依存関係の学習ができるという特徴を有する。このため、入力値X,XK+1,ZK+2に基づき修正する処理に適している。
【0039】
以上のように、第2操舵角算出部46は、第1操舵角Zk+2と、時点K+2にける撮像画像IMK+2と走行シーンが同じであり、過去に撮像された撮像画像である過去撮像画像IMK+1,IMを一の撮像画像として算出された最終操舵角である過去操舵角Xk+1,Xとを用いて、第2操舵角Yk+2を算出する。
【0040】
最終決定部48は、第1操舵角Zk+2と第2操舵角Yk+2とを用いて、時点K+2における最終操舵角Xk+2を決定する。決定方法としては、第1操舵角Zk+2に対する尤度と、第2操舵角Yk+2から作成される提案分布(正規分布)とを用いて、粒子フィルタ処理を適用することで時点K+2における最終操舵角Xk+2を決定する方法が採用される。第1操舵角Zk+2に対する尤度は、真の操舵角(例えば、最終操舵角XK+2)との近似の程度である。
【0041】
以上のように、本実施形態の最終操舵角XK+2の決定処理は、上記のごとく粒子フィルタ処理を適用している。つまり、この決定処理は物体の検出と追跡を同時に行う逐次追跡アルゴリズムを実現している。具体的には、現状態から起こり得る多数の次状態を、多数のパーティクルに見立て、全パーティクルの尤度に基づいた重み付け平均を次状態として予測しながら追跡を実行する処理と同種の処理であるといえる。
【0042】
決定された最終操舵角Xk+2は、ステアリング装置15(図1)に出力されることで、ステアリング装置15は最終操舵角Xk+2の自動操舵を実行する。
【0043】
図6を用いて、第2操舵角算出部46の教師あり学習について説明する。教師あり学習後の第2操舵角算出部46が、自動運転車1にECU40の構成要素として搭載される。自動運転車に搭載前の第2操舵角算出部46は、運転者による操舵情報を用いて教師あり学習を実施する。具体的には、撮像画像IMk+2を第1操舵角算出部44に入力することで算出された第1操舵角Zk+2と、撮像画像IMk+1,IMが取得されたそれぞれの時点k+1,kにおける操舵角センサ34(図1)の検出操舵角Dk+1,Dとが第2操舵角算出部46の入力要素CIとされる。検出操舵角Dk+1,Dは真値である。入力要素である第1操舵角Zk+2には撮像画像IMk+2が紐付けられ、同様に入力要素である検出操舵角Dk+1,Dには対応する撮像画像IMk+1,IMが紐付けられている。また、撮像画像IMk+2が取得された時点k+2における操舵角センサ34の検出操舵角Dk+2を第2操舵角算出部46の出力要素とする。検出操舵角Dk+2は真値である。第2操舵角算出部46は、入力要素を入力したときに、出力要素である検出操舵角Dk+2の値が出力されるように教師あり学習を実施する。
【0044】
図7を用いて、自動運転車1の自動操舵による軌跡について説明する。軌跡DT1は、走行車線Ln1において自動運転車1の進行方向前方に停車している他車両などの障害物99がない場合の、自動運転車1の軌跡である。軌跡DT2は、障害物99があり、回避操舵パターンを採る場合において、最終決定部48が決定した最終操舵角Xによって自動操舵を行った軌跡である。軌跡DT3は、ECU40において操舵識別部42を省略することで、操舵パターンを最終操舵角Xの算出のための要素として用いなかった場合の軌跡である。軌跡DT4は、障害物99がある場合に、運転者が行った操舵による軌跡である。本実施形態の自動操舵による軌跡DT3は、実際に運転者が操舵による軌跡DT4に類似した軌跡である。つまり、本実施形態によれば、最終操舵角Xを決定するために、撮像画像IMに加え、走行シーンと操舵パターンとを用いることで、軌跡DT4と軌跡DT3との乖離が大きくなる可能性を低減できる。
【0045】
B.他の実施形態:
本開示は、操舵角決定装置や自動運転車の他に種々の形態で実現することも可能であり、例えば、操舵角決定装置の制御方法、制御方法を実行させるためのプログラム、等の形態で実現することができる。また本開示は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【符号の説明】
【0046】
1 車両、21 撮像部、30 位置取得部、40 操舵角決定装置、41 シーン決定部、42 操舵識別部、49 操舵角決定部
図1
図2
図3
図4
図5
図6
図7