IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社日立製作所の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022176816
(43)【公開日】2022-11-30
(54)【発明の名称】運転支援システム
(51)【国際特許分類】
   G01C 21/36 20060101AFI20221122BHJP
   G08G 1/00 20060101ALI20221122BHJP
【FI】
G01C21/36
G08G1/00 A
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2021083446
(22)【出願日】2021-05-17
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002572
【氏名又は名称】弁理士法人平木国際特許事務所
(72)【発明者】
【氏名】銭 智定
【テーマコード(参考)】
2F129
5H181
【Fターム(参考)】
2F129AA03
2F129BB03
2F129CC16
2F129DD20
2F129DD45
2F129EE52
2F129EE81
2F129EE96
2F129FF02
2F129FF59
2F129FF65
2F129GG17
2F129GG18
5H181AA01
5H181BB04
5H181CC04
5H181CC14
5H181EE02
5H181EE12
5H181FF13
5H181FF14
5H181FF21
5H181FF22
5H181MB02
(57)【要約】
【課題】車両などの移動体に搭載されるハードウエアの性能を下げることができ、コストを低減することができる運転支援システムを得ること。
【解決手段】本発明は、サーバ200から供給される認識モデルを用いて移動体Veの周辺環境を認識する運転支援システムであって、移動体Veは、移動体Veの周辺環境の環境データを取得するデータ統合部154-1と、環境データが周辺環境の認識精度に及ぼす影響の大きさを示す優先度を設定する優先度設定部154-2と、を有し、サーバ200は、環境データと優先度に基づいて移動体Veの周辺環境を認識するための複数の認識モデルの中から移動体Veの周辺環境に対応する認識モデルを選定するデータ処理装置220とを有することを特徴とする。
【選択図】図5
【特許請求の範囲】
【請求項1】
クラウドサーバから供給される認識モデルを用いて移動体の周辺環境を認識する運転支援システムであって、
前記移動体は、該移動体の周辺環境の環境データを取得する環境データ統合部と、該環境データが周辺環境の認識精度に及ぼす影響の大きさを示す認識条件の優先度を設定する優先度設定部と、を有し、
前記クラウドサーバは、前記環境データと前記認識条件の優先度に基づいて前記移動体の周辺環境を認識するための複数の認識モデルの中から前記移動体の周辺環境に対応する認識モデルを選定するデータ処理部と、
を有することを特徴とする運転支援システム。
【請求項2】
前記移動体は、外界センサによって検知した検知情報から、前記クラウドサーバによって選定された認識モデルを用いて対象物体を認識する認識部を有することを特徴とする請求項1に記載の運転支援システム。
【請求項3】
前記クラウドサーバは、前記環境データと前記認識条件の優先度に基づいて前記複数の認識モデルの中から前記認識条件に該当する少なくとも一つ以上の認識モデルを抽出するモデル抽出部と、該抽出された認識モデルの中から前記優先度の合計点数によって一つの認識モデルを決定するモデル評価部と、を有することを特徴とする請求項1に記載の運転支援システム。
【請求項4】
前記移動体は、複数種類の外界センサを有しており、
前記クラウドサーバの前記モデル抽出部は、前記環境データと、前記認識条件の優先度と、前記移動体が検知に使用した前記外界センサの種類の情報と、に基づいて、前記複数の認識モデルの中から前記認識条件に該当する少なくとも一つ以上の認識モデルと、該認識モデルで使用する外界センサを抽出することを特徴とする請求項3に記載の運転支援システム。
【請求項5】
前記認識部は、
前記外界センサから検知情報を取得し、
既存の認識モデルによる物体認識を行い、
更新用の認識モデルが設定されている場合には、該更新用の認識モデルを用いて物体認識を行い、
前記既存の認識モデルによる物体認識結果と、前記更新用の認識モデルによる物体認識結果を表示装置に表示させ、
選択信号の入力により選択された方の物体認識結果を出力することを特徴とする請求項2に記載の運転支援システム。
【請求項6】
前記クラウドサーバは、前記移動体の走行ルートが設定されている場合に、前記走行ルートを走行する際に各区間においてそれぞれ使用する複数の認識モデルを前記走行ルートの設定時に選択して前記移動体に送信し、
前記移動体は、前記複数の認識モデルをメモリに格納し、前記走行ルートを走行する際に各区間に対応する認識モデルを使用することを特徴とする請求項1に記載の運転支援システム。
【請求項7】
前記移動体は、前記複数の認識モデルの容量が前記メモリの容量よりも大きいときは、前記走行ルートを走行する際に先に使用する認識モデルのみを受信して前記メモリに格納することを特徴とする請求項6に記載の運転支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば自動運転車両の自動運転制御を支援する運転支援システムに関する。
【背景技術】
【0002】
特許文献1には、自律車両ナビゲーションのための疎な地図を構築、使用、及び更新するシステム及び方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2011-60221号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
先進運転システム(ADAS)や自動運転(AD)では、走行環境の変化によって、現在適用中の認識モデルの性能が低下するのを防ぐために、走行環境に応じた最適な認識モデルを選択する必要がある。しかしながら、種々の環境に対応可能な全ての認識モデルを車両に搭載することは、膨大な情報量を記憶するためのハードウエアが必要となり、車両システムのコスト増大につながる。
【0005】
本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、車両などの移動体に搭載されるハードウエア性能を下げることができ、コストを低減することができる運転支援システムを提供することである。
【課題を解決するための手段】
【0006】
上記課題を解決する本発明の運転支援システムは、
クラウドサーバから供給される認識モデルを用いて移動体の周辺環境を認識する運転支援システムであって、
前記移動体は、該移動体の周辺環境の環境データを取得する環境データ統合部と、該環境データが周辺環境の認識精度に及ぼす影響の大きさを示す認識条件の優先度を設定する優先度設定部と、を有し、
前記クラウドサーバは、前記環境データと前記認識条件の優先度に基づいて前記移動体の周辺環境を認識するための複数の認識モデルの中から前記移動体の周辺環境に対応する認識モデルを選定するデータ処理部と、
を有することを特徴とする。
【発明の効果】
【0007】
本発明によれば、車両などの移動体に搭載されるハードウエアの性能を下げることができ、コストを低減することができる。
【0008】
本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0009】
図1】実施例1における運転支援システムを概念的に示す全体図。
図2】実施例1におけるサーバの内部構成を説明するブロック図。
図3】実施例1におけるサーバのデータ処理装置の内部構成を説明するブロック図。
図4】実施例1における車両制御装置の内部構成を説明するブロック図。
図5】実施例1における認知判断装置の内部構成を説明するブロック図。
図6】実施例1における走行エリアにおける認識対象物体の一例を示す表。
図7】実施例1における走行環境データと、認識性能に及ぼす影響と、優先度との関係の一例を示す表。
図8A】実施例1における車両制御装置の認知判断装置が有する走行環境データ処理部のデータ処理を説明するフローチャート。
図8B】実施例1におけるサーバのデータ処理装置のデータ処理を説明するフローチャート。
図9A】実施例1における使用する認識モデルについて説明する図。
図9B】実施例1における使用する認識モデルについて説明する図。
図10A】実施例2における車両制御装置の認知判断装置が有する走行環境データ処理部のデータ処理を説明するフローチャート。
図10B】実施例2におけるサーバのデータ処理装置のデータ処理を説明するフローチャート。
図11】各種車載センサにおけるロバスト特性を示す表。
図12A】カメラを使用した場合の優先度の設定の一例を示す表。
図12B】LiDARを使用した場合の優先度の設定の一例を示す表。
図13A】物体認識にステレオカメラを使用した場合について説明する図。
図13B】物体認識にLiDARを使用した場合について説明する図。
図14】実施例3における認知判断装置の内部構成を説明するブロック図。
図15】実施例3における車両制御装置の認知判断装置が有する走行環境データ処理部のデータ処理を説明するフローチャート。
図16】実施例4におけるサーバのデータ処理装置のデータ処理を説明するフローチャート。
図17】経路の各区間に応じた認識モデルを全てメモリに格納して使用する実施例4の内容を説明する図。
図18】実施例5における車両制御装置の認知判断装置が有する走行環境データ処理部のデータ処理を説明するフローチャート。
図19】経路の各区間に応じた認識モデルを順次メモリに格納して使用する実施例5の内容を説明する図。
図20】運転支援装置をマルチコプターの制御に使用した実施例6を示す図。
図21A】実施例6におけるマルチコプターの認知判断装置が有する走行環境データ処理部のデータ処理を説明するフローチャート。
図21B】実施例6におけるサーバのデータ処理装置のデータ処理を説明するフローチャート。
【発明を実施するための形態】
【0010】
[実施例1]
次に、本発明の実施例1について説明する。
図1は、実施例1における運転支援システムを概念的に示す全体図である。
【0011】
運転支援システムは、クラウド201と、クラウドサーバであるサーバ200と、移動体とを備えている。クラウド201は、端末からの要求に応じてデータやソフトウエアをネットワーク経由でサービスとして提供する、いわゆるクラウドサービスと呼ばれるものであり、本実施例では、移動体の周辺環境を認識するための認識モデルを複数格納している。サーバ200は、端末にクラウドサービスを提供するためのクラウドサーバであり、本実施例では、クラウド201に格納された複数の認識モデルの中から移動体Veの周辺環境を認識するのに適した認識モデルを選定して移動体Veに供給する。移動体Veは、サーバ200から供給された認識モデルを用いて周辺環境の物体認識を行い、ADASやADを行う。
【0012】
図1には、移動体である自車Veが、太陽Wの出ている昼間の時間帯に高速道路を走行している状態が示されている。自車Veの前方には先行車Ob―VFが走行しており、反対車線には対向車Ob-Vnが走行している。先行車Ob―VFの更に前方には、信号機Signal、料金所Ob-TG、中央車線を示すパイロンObが配置されている。自車Veには、自車の周辺環境を認識するための環境認識センサが設けられており、先行車Ob-VF、対向車Ob-Vn、パイロンOb等の立体物を検出できるようになっている。自車Veは、上空に浮かぶ複数のGNSS衛星101-aから測位電波を受信して自車位置を測位することができる。また、自車Veは、無線通信により基地局Baseとの間で双方向通信を行い、サーバ200を介してクラウド201との間で情報のやり取りを行うことができる。
【0013】
図2は、実施例1におけるサーバの内部構成を説明するブロック図である。
クラウド201は、車両との間で情報の送配信を行うサーバ200に接続されている。サーバ200は、インターネットなどの通信網を介してクラウド201内の情報を取得することができる。サーバ200は、データ処理装置220と無線通信装置210を有している。
【0014】
無線通信装置210は、基地局Baseとの間で情報の双方向通信を行う。無線通信装置210は、基地局Baseを介して自車Veに認識モデルのモデル情報、天気・天候情報、時刻情報を提供するとともに、自車Veから走行環境のデータと、優先度設定情報の供給を受ける。ここで優先度設定情報とは、環境データが周辺環境の認識精度に及ぼす影響の大きさを示す認識条件の優先度に関する情報であり、詳細は後述する。
【0015】
データ処理装置220は、無線通信装置210から自車Veの走行環境のデータ(周辺環境の情報)と、優先度設定情報を取得する。そして、クラウド201内の認識モデル群の情報の中から、走行環境のデータと優先度設定情報に基づいて自車Veの周辺環境に対応する認識モデルを選定して無線通信装置210に提供する処理を行う。
【0016】
図3は、実施例1におけるサーバのデータ処理装置の内部構成を説明するブロック図である。
クラウド201には、自車Veが自車周辺の周辺環境を認識するための複数の認識モデル1、2、・・・、n-1、n-2が格納されている。データ処理装置220は、モデル抽出部221とモデル評価部222を有している。モデル抽出部221は、クラウド201から認識モデル群の情報を取得する。そして、無線通信装置210を介して自車Veから取得した走行環境データと優先度設定情報に基づいて、認識モデル群の中から、認識条件に該当するモデル群を抽出する。モデル評価部222は、モデル抽出部221によって抽出されたモデル群の各モデルを評価し、モデル群の中から、自車Veの周辺環境に対して最も適切な認識モデルを選定する。そして、配信用モデルの情報として無線通信装置210に提供する。無線通信装置210は、モデル評価部222から提供された配信用モデルを、認識モデルのモデル情報として基地局Baseから自車Veに送信する。
【0017】
図4は、実施例1における車両制御装置の内部構成を説明するブロック図である。
車両制御装置100は、自車Veに搭載されている。車両制御装置100は、外界センサ110、内界センサ120、ナビゲーションシステム130、HMI装置140、車載無線通信装置101、認知判断装置150、車両運動制御装置160、操舵制御装置170、アクセル制御装置180、ブレーキ制御装置190を有している。
【0018】
外界センサ110は、自車Veの周辺環境を認識するための環境認識センサであり、ステレオカメラ110-bやLiDAR110-aを有している。環境認識センサは、上記の他に、単眼カメラとレーザレーダの組み合わせであってもよく、また、超音波センサを用いてもよい。本実施例では、ステレオカメラ110-bによって構成されている。内界センサ120は、自車Veの動作状態を検出するためのセンサであり、加速度センサ、車速センサ、エンジン回転センサ、スロットルバルブ開度センサ等の少なくとも一つのセンサによって構成されている。
【0019】
ナビゲーションシステム130は、地図情報と自車位置情報に基づいて目的地までの経路を地図上に示して自車Veを目的地まで案内するためのシステムである。HMI装置140は、自車Veの乗員によって操作される装置であり、例えばナビゲーションシステム130に目的地を入力する際に操作される。
【0020】
車載無線通信装置101は、基地局Baseとの間、あるいは他車両との間で無線通信を行うための通信装置であり、基地局Baseから更新モデルの情報を取得して認知判断装置150に提供し、認知判断装置150から取得した走行環境のデータと優先度設定情報を基地局Baseを介してサーバ200に送信する処理を行う。
【0021】
認知判断装置150は、認識モデルを用いて自車周辺の周辺環境を認識する処理を行う。例えば、高速道路用の認識モデルが設定されている場合には、高速道路を走行中に認識すべき対象物体の認識処理が行われる。認知判断装置150は、認識処理の結果に基づいて、目標軌道と目標速度の情報を車両運動制御装置160に送信する。
【0022】
車両運動制御装置160は、操舵制御装置170、アクセル制御装置180、およびブレーキ制御装置190に、自車Veの操舵、アクセル開度、およびブレーキを制御するための各指令値をそれぞれ出力する。操舵制御装置170、アクセル制御装置180、およびブレーキ制御装置190は、車両運動制御装置160からの指令値に基づいて自車Veの操舵、アクセル開度、およびブレーキを制御する。
【0023】
認知判断装置150、車両運動制御装置160、操舵制御装置170、アクセル制御装置180、およびブレーキ制御装置190は、マイクロコンピュータを有する電子制御装置(以下ECU)によって構成されている。ECUは、各装置に対して専用のものを設けてもよく、また、2つ以上の装置を一つのECUにまとめた構成としてもよい。
【0024】
図5は、実施例1における認知判断装置の内部構成を説明するブロック図である。
認知判断装置150は、認識部151、運転行動計画部152、軌道計画部153、および走行環境データ処理部154を有している。認識部151は、外界センサ110から自車Veの周辺環境の環境データを取得し、また、車載無線通信装置101を介して、サーバ200から更新用の認識モデルの情報を取得する。認識部151は、外界センサ110によって検知した検知情報と、サーバ200によって選定された認識モデルとを用いて対象物体を認識する処理を行う。
【0025】
運転行動計画部152は、認識部151の認識結果と、内界センサ120による検出結果と、ナビゲーションシステム130からの地図情報に基づいて、自車Veの運転行動を計画する処理を行う。軌道計画部153は、外界情報、運転行動計画、内界センサ120による検出結果、ナビゲーションシステム130からの地図情報に基づいて、自車Veの軌道を計画する。
【0026】
走行環境データ処理部154は、データ統合部154-1、優先度設定部154-2を有している。データ統合部154-1は、走行エリア情報と、天気・天候情報と、時刻情報と、路面状況の情報を統合して、走行環境のデータを作成する。優先度設定部154-2は、走行環境のデータに基づいて、その環境データが周辺環境の認識精度に及ぼす影響の大きさを示す優先度を設定する。
【0027】
図6は、実施例1における走行エリアにおける認識対象物体の一例を示す表である。
例えば走行エリアが市街地の場合、認識モデルにより認識される認識対象物の例としては、建造物、歩行者、自転車、バイク、乗用車、緊急車両、パイロン、ペットなどが挙げられる。一方、走行エリアが高速道路の場合、認識対象物の例としては、乗用車、緊急車両、トラック、高速道路料金精算機、パイロンなどが挙げられる。このように走行エリアに応じて認識対象物が異なり、これらの認識対象物を適切に認識できる認識モデルを走行エリアごとに採用して、認識を行う必要がある。
【0028】
図7は、実施例1における走行環境データと、認識性能に及ぼす影響と、優先度との関係の一例を示す表である。
図7は、周辺環境をカメラで撮像して認識対象物を認識する場合についての例を示している。例えば、天気は、カメラで撮像した際の周辺環境の認識精度に及ぼす影響が特大であり、優先度は100点に設定されている。また、路面状況は、カメラで撮像した際の認識精度に及ぼす影響が小さく、優先度は30点に設定されている。
【0029】
図8Aは、実施例1における車両制御装置の認知判断装置が有する走行環境データ処理部のデータ処理を説明するフローチャートである。
認知判断装置150の走行環境データ処理部154は、走行エリア情報、天気・天候情報、時刻情報、路面状況の情報から天気、時間帯、ルート情報を取得し(S100)、車両周囲の環境情報を取得する(S101)。そして、車両周囲の環境情報をデータ統合部154-1によって統合して走行環境のデータを生成し(S102)、走行環境のデータに基づいて、優先度設定部154-2において認識条件の優先度を設定する(S103)。ここで、例えば図7に示すような優先度が設定される。そして、クラウド201に接続できたと判定された場合に(S104でYES)、データ統合部154-1で統合された走行環境のデータと、優先度設定部154-2で設定された認識条件の優先度をサーバ200に送信する(S105)。
【0030】
図8Bは、実施例1におけるサーバのデータ処理装置のデータ処理を説明するフローチャートである。
サーバ200のデータ処理装置220は、統合された走行環境のデータと、認識条件の優先度の情報を受信する(S106)。そして、データ処理装置220のモデル抽出部221によって、これらの情報に基づいて、クラウド201内の認識モデル群から認識条件に該当する少なくとも1つ以上の認識モデルを抽出する(S107)。
【0031】
そして、モデル評価部222において、認識条件に該当する少なくとも1つ以上の認識モデルについて、評価を行う(S108)。評価は、抽出された認識モデルの中から優先度の合計点数に基づいて行われ、優先度の合計点数が最も高い認識モデルが一つ選択される(S109)。そして、クラウドに接続できたと判定された場合に(S110でYES)、モデル評価部222で選択された認識モデルがサーバ200に送信される(S111)。
【0032】
図9A図9Bは、実施例1における使用する認識モデルについて説明する図である。
図9A図9Bでは、使用する認識モデルは、使用する時間に撮像した画像データで学習したものを用いることを示している。モデル評価部222は、例えば、夜間に走行する場合には、予め夜間に撮像した画像データで学習した認識モデルを選択し、昼間に走行する場合には、予め昼間に撮像した画像データで学習した認識モデルを選択する。
【0033】
上記した本実施例の運転支援システムは、自車Veは、自車Veの周辺環境の環境データを取得し、環境データが周辺環境の認識精度に及ぼす影響の大きさを示す認識条件の優先度を設定する。そして、サーバ200は、環境データと認識条件の優先度に基づいて移動体の周辺環境を認識するための複数の認識モデルの中から移動体の周辺環境に対応する認識モデルを選定する。したがって、走行環境の変化に応じて、適切な認識モデルがサーバ200から自車Veに供給され、自車Veが走行している走行環境に適合した認識モデルによって、周辺環境の認識を行うことができる。したがって、種々の環境に対応可能な全ての認識モデルを車両に搭載する必要はなく、膨大な情報量を記憶するためのハードウエアは不要となり、車両システムのコストを低減することができる。
【0034】
[実施例2]
次に、本発明の実施例2について図10図13を用いて説明する。
本実施例において特徴的なことは、外界センサ110を選定するための優先度を、天気や時間帯に応じて変更する構成としたことである。
【0035】
外界センサ110は、種類に応じて検出特性が異なっており、天気や時間帯に応じて検出精度が異なる場合がある。したがって、複数種類のセンサを車両に搭載し、環境に適したセンサを使用する認識モデルの優先度を高くすることによって、検出精度の高いセンサを用いた認識モデルを採用することができる。サーバ200のモデル抽出部221は、環境データと、認識条件の優先度と、自車Veが検知に使用した外界センサの種類の情報と、に基づいて、複数の認識モデルの中から認識条件に該当する少なくとも一つ以上の認識モデルと、その認識モデルで使用する外界センサを抽出する。
【0036】
図10Aは、実施例2における車両制御装置の認知判断装置が有する走行環境データ処理部のデータ処理を説明するフローチャートである。図8Aに示す実施例1のフローチャートと比較してS201が追加されている点が異なる。走行環境データ処理部154は、S105で統合された走行環境データと認識条件の優先度をサーバ200に送信した後、車両周囲の環境情報を取得する(S201)。
【0037】
図10Bは、実施例2におけるサーバのデータ処理装置のデータ処理を説明するフローチャートである。S108からS111の処理は、図8Bに示す実施例1と同様であるのでその詳細な説明を省略する。
【0038】
サーバ200の走行環境データ処理部154は、統合された走行環境データと、認識条件の優先度の情報に加えて、外界センサ110に関する情報を認知判断装置150から受信する(S202)。そして、モデル群から外界センサ110に関する情報と認識条件に該当する認識モデルを抽出する(S203)。
【0039】
図11は、各種車載センサにおけるロバスト特性を示す表である。
図11に示すように、例えば天気に対して、超音波センサやレーダーはロバスト性が高、カメラはロバスト性が低、LiDARはロバスト性が中となっている。また、時間帯(昼夜)に対して、カメラは低、超音波センサ、レーダー、LiDARは高となっている。
【0040】
図12Aは、カメラを使用した場合の優先度の設定の一例を示す表、図12Bは、LiDARを使用した場合の優先度の設定の一例を示す表である。
外界センサにカメラを使用した場合、昼夜や天気が認識モデルに与える影響度は大きいので、図12Aに示すように、優先度はいずれも100に設定されている。一方、路面状況が認識モデルに与える影響度は小さいので、優先度は30に設定されている。
【0041】
そして、外界センサにLiDARを使用した場合、天気が認識モデルへの影響度は大きく、図12Bに示すように、優先度は100に設定されている。その一方で、昼夜や路面状況が認識モデルに与える影響度は小さいので優先度は30に設定されている。
【0042】
図13A図13Bは、実施例2における使用する認識モデルについて説明する図である。
図13A図13Bでは、物体認識に所定のセンサを使用した場合、そのセンサによって撮像された画像データで学習した認識モデルを使用する。モデル評価部222は、例えば、物体認識にステレオカメラを使用した場合、図13Aに示すように、ステレオカメラ110-SCで撮像した画像データで学習した認識モデルを使用する。また、物体認識にLiDARを使用した場合、図13Bに示すように、LiDAR110-Lによって撮像された画像データで学習した認識モデルを使用する。
【0043】
上記した本実施例の運転支援システムは、複数種類の外界センサ110を選定するための優先度を、天気や時間帯に応じて変更する構成を有する。したがって、状況に最適なセンサを用いた認識モデルが選択され、周辺環境の認識精度をより高くすることができる。
【0044】
[実施例3]
次に、本発明の実施例3について図14図15を用いて以下に説明する。
図14は、実施例3における認知判断装置の内部構成を説明するブロック図、図15は、実施例3における車両制御装置の認知判断装置が有する走行環境データ処理部のデータ処理を説明するフローチャートである。
【0045】
本実施例において特徴的なことは、図14に示すように、HMI装置140から認識部151に対して更新可否の回答を入力可能な構成としたことである。本実施例の運転支援システムは、現在設定されている認識モデルによる認識結果と、更新用の認識モデルによる認識結果の両方をHMI装置140により表示して乗員などのユーザによりいずれか一方を選択させる構成を有している。
【0046】
認識部151は、外界センサ110からの情報を取得し(S301)、既存の認識モデルによる物体認識を行う(S302)。そして、走行環境の変化に応じた更新用の認識モデルがあるかを判断し、更新用の認識モデルがある場合には(S303でYES)、その更新用の認識モデルによる物体認識を行う(S304)。そして、既存の認識モデルの物体認識結果と更新用の認識モデルによる物体認識結果をHMI装置140に送信し(S305)、ユーザが既存の認識モデルと更新用の認識モデルのいずれかを選択できるように表示させる。
【0047】
HMI装置140に入力されたユーザの選択結果が更新用の認識モデルを選択するものであった場合(S306でYES)、既存の認識モデルを更新用の認識モデルに切り替えて(S307)、更新された認識モデルの物体認識結果を出力する(S308)。一方、更新用の認識モデルがない場合(S303でNO)、または、ユーザの選択結果が既存の認識モデルを選択するものであった場合(S306でNO)、既存の認識モデルの物体認識結果を出力する(S309)。
【0048】
本実施例の運転支援システムによれば、ユーザによって認識結果が確認された認識モデルを使用して物体認識が行われるので、ユーザのニーズに適合した車両の運転支援制御を行うことができる。
【0049】
[実施例4]
次に、本発明の実施例4について図16図17を用いて以下に説明する。
本実施形態において特徴的なことは、ナビゲーションシステム130により走行ルートが予め定まっている場合には、その走行ルート内の各区間に対応する認識モデルを予め抽出して、全てを自車Veのメモリに格納しておく構成としたことである。サーバ200は、自車Veの走行ルートが設定されている場合に、走行ルートを走行する際に各区間においてそれぞれ使用する複数の認識モデルを走行ルートの設定時に選択して自車Veに送信する。自車Veは、複数の認識モデルをメモリに格納し、走行ルートを走行する際に各区間に対応する認識モデルを使用して物体認識を行う。
【0050】
図16は、実施例4におけるサーバのデータ処理装置のデータ処理を説明するフローチャートである。
サーバ200のデータ処理装置220は、統合された走行環境データと、認識条件の優先度を自車Veから受信し(S106)、更に自車Veが通過する走行ルートの情報を受信する。そして、走行ルートの情報から、走行ルートの認識条件の全パターンを割り出し(S401)、走行ルートの各区間の認識条件からそれぞれ認識モデルを選択する(S402~S403)。そして、クラウドに接続できたと判定された場合に(S110でYES)、モデル評価部222で選択された認識モデルをクラウド201から抽出して車両(自車Ve)に送信する(S112)。自車Veは、ナビゲーションシステム130から提供される走行ルートの情報を用いることによって、自車Veが通過する区間の路面状況、天気、時間帯、走行エリアの情報を得ることができる。
【0051】
図17は、経路の各区間に応じた認識モデルを全てメモリに格納して使用する実施例4の内容を説明する図である。
自車Veのメモリには、区間1~区間nまでの認識モデルが格納されている。例えば、区間1は、路面状況:ドライ、天気:晴れ、時間帯:昼間、走行エリア:山道の条件を有している。区間2では、路面状況:ドライ、天気:晴れ、時間帯:昼間、走行エリア:トンネルの条件を有している。区間kでは、路面状況:ウェット、天気:雨、時間帯:昼間、走行エリア:高速道路の条件を有している。したがって、自車Veは、各区間では、各区間に対応の認識モデルを使用して物体認識を行う。
【0052】
本実施例によれば、自車Veは、走行ルート内の各区間に対応する認識モデルを予め抽出して取得しておくので、走行環境の変化に応じてその都度、対応する認識モデルをサーバ200から取得する場合と比較して、通信状況の悪化等により取得できない事態に陥るのを防ぐことができる。例えば、区間2においてトンネル内のデータ通信の接続環境が悪く、トンネル内では、区間2に対応する認識モデルを受信できない場合であっても、本実施例によれば、区間2の認識モデルをサーバ200から受けてメモリに格納しているので、その認識モデルを使用してトンネル内で物体認識を適切に行うことができる。
【0053】
また、本実施例によれば、走行ルートに沿って各区間で必要な認識モデルだけをサーバから受信して自車Veのメモリに格納する構成を有しているので、全ての認識モデルを格納する場合と比較して、自車Veに搭載されるメモリのメモリ容量を大幅に小さくすることができるという効果も有する。
【0054】
[実施例5]
次に、本発明の実施例5について図18図19を用いて以下に説明する。
本実施例において特徴的なことは、ナビゲーションシステム130により走行ルートが予め定まっている場合に、走行ルート内の各区間に対応する認識モデルを走行位置に応じて順次サーバから取り込み、通過した区間の認識モデルは自車Veのメモリから削除する構成としたことである。自車Veは、複数の認識モデルの容量がメモリの容量よりも大きいときは、走行ルートを走行する際に先に使用する認識モデルのみを受信してメモリに格納する。
【0055】
図18は、実施例5における車両制御装置の認知判断装置が有する走行環境データ処理部のデータ処理を説明するフローチャートであり、初回のみ実行されるフローである。
【0056】
サーバ200のデータ処理装置220は、統合された走行環境データと、認識条件の優先度を自車Veから受信し(S106)、更に自車Veが通過する走行ルートの情報を受信する。そして、走行ルートの情報から、走行ルートの認識条件の全パターンを割り出し(S401)、走行ルートの区間1から区間kまでの認識条件を抽出する(S501~S403)。そして、クラウドに接続できたと判定された場合に(S110でYES)、モデル評価部222で選択された認識モデルがサーバ200に送信される(S111)。
【0057】
図19は、経路の各区間に応じた認識モデルを順次メモリに格納して使用する実施例5の内容を説明する図である。
本実施例では、自車Veのメモリには、全区間のうち、2つの区間の認識モデルだけが格納される。例えば区間1を走行しているときは、区間1と区間2の認識モデルだけが格納されている。そして、区間1では、区間1対応の認識モデルを用いて物体認識が行われ、区間2では、区間2対応の認識モデルを用いて物体認識が行われる。区間2を走行中に、区間1対応の認識モデルは、自車Veのメモリから削除され、次の区間である、区間3対応の認識モデルが自車Veのメモリに格納される。つまり、区間2を走行中の自車Veのメモリには、区間2対応の認識モデルと区間3の認識モデルが格納されている。同様に、区間3では、区間3対応の認識モデルを用いて物体認識が行われ、区間3を走行中に、区間2対応の認識モデルは、自車Veのメモリから削除され、次の区間である、区間4対応の認識モデルが自車Veのメモリに格納される。
【0058】
本実施例の運転支援システムは、通過済みの区間に対応する認識モデルを自車Veのメモリから削除し、現在走行中の区間の次に通過する予定の区間に対応する認識モデルをサーバ200から自車Veのメモリに格納する処理を行う。したがって、自車Veのメモリに格納する認識モデルは、現在走行中の区間に対応する認識モデルと、次に走行する予定の区間に体操する認識モデルの2つだけにすることができ、メモリ容量を小さくすることができる。これにより、例えば走行ルートが長い場合でも、メモリのメモリ容量を大きくする必要がなく、コストを低減することができる。
【0059】
[実施例6]
次に、本発明の実施例6について図20図21A図21Bを用いて説明する。
本発明の運転支援システムにより運転が支援される対象は、車両だけに限られず、他の移動体であってもよい。例えば、ドローンなどのマルチコプターであってもよい。マルチコプターを目的地まで飛行させる際に、周辺環境に応じて認識モデルを変更することができる。
【0060】
図20は、運転支援装置をマルチコプターの制御に使用した例を示す図である。図20には、操縦者2012がマルチコプター2011を操縦して橋脚2001に接近させて、橋脚2001の点検に使用する場合に、本実施例の運転支援システムを使用する例が示されている。
【0061】
図21Aは、実施例6におけるマルチコプターの認知判断装置が有する走行環境データ処理部のデータ処理を説明するフローチャート、図21Bは、実施例6におけるサーバのデータ処理装置のデータ処理を説明するフローチャートである。
【0062】
認知判断装置150の走行環境データ処理部154は、S100~S105の処理の後、目的の認識タスクをクラウドに送信する(S601)。サーバ200のデータ処理装置220は、統合された走行環境データと、認識条件の優先度をマルチコプター2011から受信する(S106)。そして、マルチコプター2011から目標の認識タスク、本実施例では、亀裂2002を認識する認識タスクを受信する(S602)。
【0063】
そして、複数の認識モデルのモデル群から認識条件と目的の認識タスクに該当する認識モデルを抽出する(S603)。そして、受信データに基づいて抽出した認識モデルを評価し(S108)、評価結果に基づいて認識モデルを選択する(S109)。そして、クラウドに接続できたと判定された場合に(S110でYES)、モデル評価部222で選択された認識モデルがサーバ200に送信される(S111)。
【0064】
本実施例の運転支援システムによれば、マルチコプター2011が橋脚2001に接近させるまでは、物体認識用の認識モデルを使用して飛行させることができる。したがって、例えば飛行途中で障害物を認識して、このままでは障害物に衝突すると判断した場合には、回避運動をさせる等の運転支援を行うことができる。そして、橋脚2001の点検対象である亀裂2002に接近したところで、認識モデルを、障害物認識モデルから、橋脚2001の亀裂2002を認識するための認識モデルに更新することができ、亀裂2002の認識を行うことができる。
【0065】
以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【0066】
110:外界センサ、130:ナビゲーションシステム、140:HMI装置、150:認知判断装置、151:認識部、152:運転行動計画部、154:走行環境データ処理部、154-1:データ統合部、154-2:優先度設定部、200:サーバ、201:クラウド、220:データ処理装置、221:モデル抽出部、222:モデル評価部、Ve:自車、Base:基地局
図1
図2
図3
図4
図5
図6
図7
図8A
図8B
図9A
図9B
図10A
図10B
図11
図12A
図12B
図13A
図13B
図14
図15
図16
図17
図18
図19
図20
図21A
図21B