知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-06
(45)【発行日】2024-12-16
(54)【発明の名称】運転支援システム
(51)【国際特許分類】
G01C 21/36 20060101AFI20241209BHJP
G08G 1/00 20060101ALI20241209BHJP
【ＦＩ】
G01C21/36
G08G1/00 A
【請求項の数】
5
(21)【出願番号】P 2021083446
(22)【出願日】2021-05-17
(65)【公開番号】P2022176816
(43)【公開日】2022-11-30
【審査請求日】2024-02-01
(73)【特許権者】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002572
【氏名又は名称】弁理士法人平木国際特許事務所
(72)【発明者】
【氏名】銭 智定
【審査官】西畑 智道
(56)【参考文献】
【文献】特開２０１９－０２１２０１（ＪＰ，Ａ）
【文献】特開２０１９－１７９３６３（ＪＰ，Ａ）
【文献】特開２０１６－１５６９７３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２０／０２６４００５（ＵＳ，Ａ１）
【文献】国際公開第２０２０／１８３５６８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｃ ２１／００－２１／３６
Ｇ０１Ｃ ２３／００－２５／００
Ｇ０８Ｇ １／００－９９／００
(57)【特許請求の範囲】
【請求項1】
クラウドサーバから供給される認識モデルを用いて移動体の周辺環境を認識する運転支援システムであって、前記移動体は、該移動体の周辺環境の環境データを取得する環境データ統合部と、該環境データが周辺環境の認識精度に及ぼす影響の大きさを示す認識条件の優先度を設定する優先度設定部と、を有し、
前記クラウドサーバは、前記環境データと前記認識条件の優先度に基づいて前記移動体の周辺環境を認識するための複数の認識モデルの中から前記移動体の周辺環境に対応する認識モデルを選定するデータ処理部と、前記環境データと前記認識条件の前記優先度に基づいて前記複数の認識モデルの中から前記認識条件に該当する少なくとも一つ以上の認識モデルを抽出するモデル抽出部と、該抽出された認識モデルの中から前記優先度の合計点数によって一つの認識モデルを決定するモデル評価部と、
を有することを特徴とする運転支援システム。
【請求項2】
前記移動体は、複数種類の外界センサを有しており、前記クラウドサーバの前記モデル抽出部は、前記環境データと、前記認識条件の前記優先度と、前記移動体が検知に使用した前記外界センサの種類の情報と、に基づいて、前記複数の認識モデルの中から前記認識条件に該当する少なくとも一つ以上の認識モデルと、該認識モデルで使用する前記外界センサを抽出することを特徴とする請求項１に記載の運転支援システム。
【請求項3】
クラウドサーバから供給される認識モデルを用いて移動体の周辺環境を認識する運転支援システムであって、前記移動体は、該移動体の周辺環境の環境データを取得する環境データ統合部と、該環境データが周辺環境の認識精度に及ぼす影響の大きさを示す認識条件の優先度を設定する優先度設定部と、外界センサによって検知した検知情報から、前記クラウドサーバによって選定された認識モデルを用いて対象物体を認識する認識部と、を有し、
前記認識部は、
前記外界センサから検知情報を取得し、
既存の認識モデルによる物体認識を行い、
更新用の認識モデルが設定されている場合には、該更新用の認識モデルを用いて物体認識を行い、
前記既存の認識モデルによる物体認識結果と、前記更新用の認識モデルによる物体認識結果を表示装置に表示させ、
選択信号の入力により選択された方の物体認識結果を出力し、
前記クラウドサーバは、前記環境データと前記認識条件の優先度に基づいて前記移動体の周辺環境を認識するための複数の認識モデルの中から前記移動体の周辺環境に対応する認識モデルを選定するデータ処理部と、
を有することを特徴とする運転支援システム。
【請求項4】
クラウドサーバから供給される認識モデルを用いて移動体の周辺環境を認識する運転支援システムであって、前記移動体は、該移動体の周辺環境の環境データを取得する環境データ統合部と、該環境データが周辺環境の認識精度に及ぼす影響の大きさを示す認識条件の優先度を設定する優先度設定部と、を有し、
前記クラウドサーバは、前記環境データと前記認識条件の優先度に基づいて前記移動体の周辺環境を認識するための複数の認識モデルの中から前記移動体の周辺環境に対応する認識モデルを選定するデータ処理部と、を有し、
前記クラウドサーバは、前記移動体の走行ルートが設定されている場合に、前記走行ルートを走行する際に各区間においてそれぞれ使用する複数の認識モデルを前記走行ルートの設定時に選択して前記移動体に送信し、
前記移動体は、前記複数の認識モデルをメモリに格納し、前記走行ルートを走行する際に各区間に対応する認識モデルを使用する、
ことを特徴とする運転支援システム。
【請求項5】
前記移動体は、前記複数の認識モデルの容量が前記メモリの容量よりも大きいときは、前記走行ルートを走行する際に先に使用する認識モデルのみを受信して前記メモリに格納することを特徴とする請求項４に記載の運転支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば自動運転車両の自動運転制御を支援する運転支援システムに関する。
【背景技術】
【0002】
特許文献１には、自律車両ナビゲーションのための疎な地図を構築、使用、及び更新するシステム及び方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１１－６０２２１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
先進運転システム（ＡＤＡＳ）や自動運転（ＡＤ）では、走行環境の変化によって、現在適用中の認識モデルの性能が低下するのを防ぐために、走行環境に応じた最適な認識モデルを選択する必要がある。しかしながら、種々の環境に対応可能な全ての認識モデルを車両に搭載することは、膨大な情報量を記憶するためのハードウエアが必要となり、車両システムのコスト増大につながる。
【0005】
本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、車両などの移動体に搭載されるハードウエア性能を下げることができ、コストを低減することができる運転支援システムを提供することである。
【課題を解決するための手段】
【0006】
上記課題を解決する本発明の運転支援システムは、
クラウドサーバから供給される認識モデルを用いて移動体の周辺環境を認識する運転支援システムであって、
前記移動体は、該移動体の周辺環境の環境データを取得する環境データ統合部と、該環境データが周辺環境の認識精度に及ぼす影響の大きさを示す認識条件の優先度を設定する優先度設定部と、を有し、
前記クラウドサーバは、前記環境データと前記認識条件の優先度に基づいて前記移動体の周辺環境を認識するための複数の認識モデルの中から前記移動体の周辺環境に対応する認識モデルを選定するデータ処理部と、
を有することを特徴とする。
クラウドサーバから供給される認識モデルを用いて移動体の周辺環境を認識する運転支援システムであって、
前記移動体は、該移動体の周辺環境の環境データを取得する環境データ統合部と、該環境データが周辺環境の認識精度に及ぼす影響の大きさを示す認識条件の優先度を設定する優先度設定部と、を有し、
前記クラウドサーバは、前記環境データと前記認識条件の優先度に基づいて前記移動体の周辺環境を認識するための複数の認識モデルの中から前記移動体の周辺環境に対応する認識モデルを選定するデータ処理部と、
を有することを特徴とする。
【発明の効果】
【0007】
本発明によれば、車両などの移動体に搭載されるハードウエアの性能を下げることができ、コストを低減することができる。
【0008】
本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0009】
【図1】実施例１における運転支援システムを概念的に示す全体図。
【図2】実施例１におけるサーバの内部構成を説明するブロック図。
【図3】実施例１におけるサーバのデータ処理装置の内部構成を説明するブロック図。
【図4】実施例１における車両制御装置の内部構成を説明するブロック図。
【図5】実施例１における認知判断装置の内部構成を説明するブロック図。
【図6】実施例１における走行エリアにおける認識対象物体の一例を示す表。
【図7】実施例１における走行環境データと、認識性能に及ぼす影響と、優先度との関係の一例を示す表。
【図8A】実施例１における車両制御装置の認知判断装置が有する走行環境データ処理部のデータ処理を説明するフローチャート。
【図8B】実施例１におけるサーバのデータ処理装置のデータ処理を説明するフローチャート。
【図9A】実施例１における使用する認識モデルについて説明する図。
【図9B】実施例１における使用する認識モデルについて説明する図。
【図10A】実施例２における車両制御装置の認知判断装置が有する走行環境データ処理部のデータ処理を説明するフローチャート。
【図10B】実施例２におけるサーバのデータ処理装置のデータ処理を説明するフローチャート。
【図11】各種車載センサにおけるロバスト特性を示す表。
【図12A】カメラを使用した場合の優先度の設定の一例を示す表。
【図12B】ＬｉＤＡＲを使用した場合の優先度の設定の一例を示す表。
【図13A】物体認識にステレオカメラを使用した場合について説明する図。
【図13B】物体認識にＬｉＤＡＲを使用した場合について説明する図。
【図14】実施例３における認知判断装置の内部構成を説明するブロック図。
【図15】実施例３における車両制御装置の認知判断装置が有する走行環境データ処理部のデータ処理を説明するフローチャート。
【図16】実施例４におけるサーバのデータ処理装置のデータ処理を説明するフローチャート。
【図17】経路の各区間に応じた認識モデルを全てメモリに格納して使用する実施例４の内容を説明する図。
【図18】実施例５における車両制御装置の認知判断装置が有する走行環境データ処理部のデータ処理を説明するフローチャート。
【図19】経路の各区間に応じた認識モデルを順次メモリに格納して使用する実施例５の内容を説明する図。
【図20】運転支援装置をマルチコプターの制御に使用した実施例６を示す図。
【図21A】実施例６におけるマルチコプターの認知判断装置が有する走行環境データ処理部のデータ処理を説明するフローチャート。
【図21B】実施例６におけるサーバのデータ処理装置のデータ処理を説明するフローチャート。
【発明を実施するための形態】
【0010】
【0011】
運転支援システムは、クラウド２０１と、クラウドサーバであるサーバ２００と、移動体とを備えている。クラウド２０１は、端末からの要求に応じてデータやソフトウエアをネットワーク経由でサービスとして提供する、いわゆるクラウドサービスと呼ばれるものであり、本実施例では、移動体の周辺環境を認識するための認識モデルを複数格納している。サーバ２００は、端末にクラウドサービスを提供するためのクラウドサーバであり、本実施例では、クラウド２０１に格納された複数の認識モデルの中から移動体Ｖｅの周辺環境を認識するのに適した認識モデルを選定して移動体Ｖｅに供給する。移動体Ｖｅは、サーバ２００から供給された認識モデルを用いて周辺環境の物体認識を行い、ＡＤＡＳやＡＤを行う。
【0012】
図１には、移動体である自車Ｖｅが、太陽Ｗの出ている昼間の時間帯に高速道路を走行している状態が示されている。自車Ｖｅの前方には先行車Ｏｂ―ＶＦが走行しており、反対車線には対向車Ｏｂ－Ｖｎが走行している。先行車Ｏｂ―ＶＦの更に前方には、信号機Ｓｉｇｎａｌ、料金所Ｏｂ－ＴＧ、中央車線を示すパイロンＯｂが配置されている。自車Ｖｅには、自車の周辺環境を認識するための環境認識センサが設けられており、先行車Ｏｂ－ＶＦ、対向車Ｏｂ－Ｖｎ、パイロンＯｂ等の立体物を検出できるようになっている。自車Ｖｅは、上空に浮かぶ複数のＧＮＳＳ衛星１０１－ａから測位電波を受信して自車位置を測位することができる。また、自車Ｖｅは、無線通信により基地局Ｂａｓｅとの間で双方向通信を行い、サーバ２００を介してクラウド２０１との間で情報のやり取りを行うことができる。
【0013】
図２は、実施例１におけるサーバの内部構成を説明するブロック図である。
クラウド２０１は、車両との間で情報の送配信を行うサーバ２００に接続されている。サーバ２００は、インターネットなどの通信網を介してクラウド２０１内の情報を取得することができる。サーバ２００は、データ処理装置２２０と無線通信装置２１０を有している。
クラウド２０１は、車両との間で情報の送配信を行うサーバ２００に接続されている。サーバ２００は、インターネットなどの通信網を介してクラウド２０１内の情報を取得することができる。サーバ２００は、データ処理装置２２０と無線通信装置２１０を有している。
【0014】
無線通信装置２１０は、基地局Ｂａｓｅとの間で情報の双方向通信を行う。無線通信装置２１０は、基地局Ｂａｓｅを介して自車Ｖｅに認識モデルのモデル情報、天気・天候情報、時刻情報を提供するとともに、自車Ｖｅから走行環境のデータと、優先度設定情報の供給を受ける。ここで優先度設定情報とは、環境データが周辺環境の認識精度に及ぼす影響の大きさを示す認識条件の優先度に関する情報であり、詳細は後述する。
【0015】
データ処理装置２２０は、無線通信装置２１０から自車Ｖｅの走行環境のデータ（周辺環境の情報）と、優先度設定情報を取得する。そして、クラウド２０１内の認識モデル群の情報の中から、走行環境のデータと優先度設定情報に基づいて自車Ｖｅの周辺環境に対応する認識モデルを選定して無線通信装置２１０に提供する処理を行う。
【0016】
図３は、実施例１におけるサーバのデータ処理装置の内部構成を説明するブロック図である。
クラウド２０１には、自車Ｖｅが自車周辺の周辺環境を認識するための複数の認識モデル１、２、・・・、ｎ－１、ｎ－２が格納されている。データ処理装置２２０は、モデル抽出部２２１とモデル評価部２２２を有している。モデル抽出部２２１は、クラウド２０１から認識モデル群の情報を取得する。そして、無線通信装置２１０を介して自車Ｖｅから取得した走行環境データと優先度設定情報に基づいて、認識モデル群の中から、認識条件に該当するモデル群を抽出する。モデル評価部２２２は、モデル抽出部２２１によって抽出されたモデル群の各モデルを評価し、モデル群の中から、自車Ｖｅの周辺環境に対して最も適切な認識モデルを選定する。そして、配信用モデルの情報として無線通信装置２１０に提供する。無線通信装置２１０は、モデル評価部２２２から提供された配信用モデルを、認識モデルのモデル情報として基地局Ｂａｓｅから自車Ｖｅに送信する。
クラウド２０１には、自車Ｖｅが自車周辺の周辺環境を認識するための複数の認識モデル１、２、・・・、ｎ－１、ｎ－２が格納されている。データ処理装置２２０は、モデル抽出部２２１とモデル評価部２２２を有している。モデル抽出部２２１は、クラウド２０１から認識モデル群の情報を取得する。そして、無線通信装置２１０を介して自車Ｖｅから取得した走行環境データと優先度設定情報に基づいて、認識モデル群の中から、認識条件に該当するモデル群を抽出する。モデル評価部２２２は、モデル抽出部２２１によって抽出されたモデル群の各モデルを評価し、モデル群の中から、自車Ｖｅの周辺環境に対して最も適切な認識モデルを選定する。そして、配信用モデルの情報として無線通信装置２１０に提供する。無線通信装置２１０は、モデル評価部２２２から提供された配信用モデルを、認識モデルのモデル情報として基地局Ｂａｓｅから自車Ｖｅに送信する。
【0017】
図４は、実施例１における車両制御装置の内部構成を説明するブロック図である。
車両制御装置１００は、自車Ｖｅに搭載されている。車両制御装置１００は、外界センサ１１０、内界センサ１２０、ナビゲーションシステム１３０、ＨＭＩ装置１４０、車載無線通信装置１０１、認知判断装置１５０、車両運動制御装置１６０、操舵制御装置１７０、アクセル制御装置１８０、ブレーキ制御装置１９０を有している。
車両制御装置１００は、自車Ｖｅに搭載されている。車両制御装置１００は、外界センサ１１０、内界センサ１２０、ナビゲーションシステム１３０、ＨＭＩ装置１４０、車載無線通信装置１０１、認知判断装置１５０、車両運動制御装置１６０、操舵制御装置１７０、アクセル制御装置１８０、ブレーキ制御装置１９０を有している。
【0018】
外界センサ１１０は、自車Ｖｅの周辺環境を認識するための環境認識センサであり、ステレオカメラ１１０－ｂやＬｉＤＡＲ１１０－ａを有している。環境認識センサは、上記の他に、単眼カメラとレーザレーダの組み合わせであってもよく、また、超音波センサを用いてもよい。本実施例では、ステレオカメラ１１０－ｂによって構成されている。内界センサ１２０は、自車Ｖｅの動作状態を検出するためのセンサであり、加速度センサ、車速センサ、エンジン回転センサ、スロットルバルブ開度センサ等の少なくとも一つのセンサによって構成されている。
【0019】
ナビゲーションシステム１３０は、地図情報と自車位置情報に基づいて目的地までの経路を地図上に示して自車Ｖｅを目的地まで案内するためのシステムである。ＨＭＩ装置１４０は、自車Ｖｅの乗員によって操作される装置であり、例えばナビゲーションシステム１３０に目的地を入力する際に操作される。
【0020】
車載無線通信装置１０１は、基地局Ｂａｓｅとの間、あるいは他車両との間で無線通信を行うための通信装置であり、基地局Ｂａｓｅから更新モデルの情報を取得して認知判断装置１５０に提供し、認知判断装置１５０から取得した走行環境のデータと優先度設定情報を基地局Ｂａｓｅを介してサーバ２００に送信する処理を行う。
【0021】
認知判断装置１５０は、認識モデルを用いて自車周辺の周辺環境を認識する処理を行う。例えば、高速道路用の認識モデルが設定されている場合には、高速道路を走行中に認識すべき対象物体の認識処理が行われる。認知判断装置１５０は、認識処理の結果に基づいて、目標軌道と目標速度の情報を車両運動制御装置１６０に送信する。
【0022】
車両運動制御装置１６０は、操舵制御装置１７０、アクセル制御装置１８０、およびブレーキ制御装置１９０に、自車Ｖｅの操舵、アクセル開度、およびブレーキを制御するための各指令値をそれぞれ出力する。操舵制御装置１７０、アクセル制御装置１８０、およびブレーキ制御装置１９０は、車両運動制御装置１６０からの指令値に基づいて自車Ｖｅの操舵、アクセル開度、およびブレーキを制御する。
【0023】
認知判断装置１５０、車両運動制御装置１６０、操舵制御装置１７０、アクセル制御装置１８０、およびブレーキ制御装置１９０は、マイクロコンピュータを有する電子制御装置（以下ＥＣＵ）によって構成されている。ＥＣＵは、各装置に対して専用のものを設けてもよく、また、２つ以上の装置を一つのＥＣＵにまとめた構成としてもよい。
【0024】
図５は、実施例１における認知判断装置の内部構成を説明するブロック図である。
認知判断装置１５０は、認識部１５１、運転行動計画部１５２、軌道計画部１５３、および走行環境データ処理部１５４を有している。認識部１５１は、外界センサ１１０から自車Ｖｅの周辺環境の環境データを取得し、また、車載無線通信装置１０１を介して、サーバ２００から更新用の認識モデルの情報を取得する。認識部１５１は、外界センサ１１０によって検知した検知情報と、サーバ２００によって選定された認識モデルとを用いて対象物体を認識する処理を行う。
認知判断装置１５０は、認識部１５１、運転行動計画部１５２、軌道計画部１５３、および走行環境データ処理部１５４を有している。認識部１５１は、外界センサ１１０から自車Ｖｅの周辺環境の環境データを取得し、また、車載無線通信装置１０１を介して、サーバ２００から更新用の認識モデルの情報を取得する。認識部１５１は、外界センサ１１０によって検知した検知情報と、サーバ２００によって選定された認識モデルとを用いて対象物体を認識する処理を行う。
【0025】
運転行動計画部１５２は、認識部１５１の認識結果と、内界センサ１２０による検出結果と、ナビゲーションシステム１３０からの地図情報に基づいて、自車Ｖｅの運転行動を計画する処理を行う。軌道計画部１５３は、外界情報、運転行動計画、内界センサ１２０による検出結果、ナビゲーションシステム１３０からの地図情報に基づいて、自車Ｖｅの軌道を計画する。
【0026】
走行環境データ処理部１５４は、データ統合部１５４－１、優先度設定部１５４－２を有している。データ統合部１５４－１は、走行エリア情報と、天気・天候情報と、時刻情報と、路面状況の情報を統合して、走行環境のデータを作成する。優先度設定部１５４－２は、走行環境のデータに基づいて、その環境データが周辺環境の認識精度に及ぼす影響の大きさを示す優先度を設定する。
【0027】
図６は、実施例１における走行エリアにおける認識対象物体の一例を示す表である。
例えば走行エリアが市街地の場合、認識モデルにより認識される認識対象物の例としては、建造物、歩行者、自転車、バイク、乗用車、緊急車両、パイロン、ペットなどが挙げられる。一方、走行エリアが高速道路の場合、認識対象物の例としては、乗用車、緊急車両、トラック、高速道路料金精算機、パイロンなどが挙げられる。このように走行エリアに応じて認識対象物が異なり、これらの認識対象物を適切に認識できる認識モデルを走行エリアごとに採用して、認識を行う必要がある。
例えば走行エリアが市街地の場合、認識モデルにより認識される認識対象物の例としては、建造物、歩行者、自転車、バイク、乗用車、緊急車両、パイロン、ペットなどが挙げられる。一方、走行エリアが高速道路の場合、認識対象物の例としては、乗用車、緊急車両、トラック、高速道路料金精算機、パイロンなどが挙げられる。このように走行エリアに応じて認識対象物が異なり、これらの認識対象物を適切に認識できる認識モデルを走行エリアごとに採用して、認識を行う必要がある。
【0028】
図７は、実施例１における走行環境データと、認識性能に及ぼす影響と、優先度との関係の一例を示す表である。
図７は、周辺環境をカメラで撮像して認識対象物を認識する場合についての例を示している。例えば、天気は、カメラで撮像した際の周辺環境の認識精度に及ぼす影響が特大であり、優先度は１００点に設定されている。また、路面状況は、カメラで撮像した際の認識精度に及ぼす影響が小さく、優先度は３０点に設定されている。
図７は、周辺環境をカメラで撮像して認識対象物を認識する場合についての例を示している。例えば、天気は、カメラで撮像した際の周辺環境の認識精度に及ぼす影響が特大であり、優先度は１００点に設定されている。また、路面状況は、カメラで撮像した際の認識精度に及ぼす影響が小さく、優先度は３０点に設定されている。
【0029】
図８Ａは、実施例１における車両制御装置の認知判断装置が有する走行環境データ処理部のデータ処理を説明するフローチャートである。
認知判断装置１５０の走行環境データ処理部１５４は、走行エリア情報、天気・天候情報、時刻情報、路面状況の情報から天気、時間帯、ルート情報を取得し（Ｓ１００）、車両周囲の環境情報を取得する（Ｓ１０１）。そして、車両周囲の環境情報をデータ統合部１５４－１によって統合して走行環境のデータを生成し（Ｓ１０２）、走行環境のデータに基づいて、優先度設定部１５４－２において認識条件の優先度を設定する（Ｓ１０３）。ここで、例えば図７に示すような優先度が設定される。そして、クラウド２０１に接続できたと判定された場合に（Ｓ１０４でＹＥＳ）、データ統合部１５４－１で統合された走行環境のデータと、優先度設定部１５４－２で設定された認識条件の優先度をサーバ２００に送信する（Ｓ１０５）。
認知判断装置１５０の走行環境データ処理部１５４は、走行エリア情報、天気・天候情報、時刻情報、路面状況の情報から天気、時間帯、ルート情報を取得し（Ｓ１００）、車両周囲の環境情報を取得する（Ｓ１０１）。そして、車両周囲の環境情報をデータ統合部１５４－１によって統合して走行環境のデータを生成し（Ｓ１０２）、走行環境のデータに基づいて、優先度設定部１５４－２において認識条件の優先度を設定する（Ｓ１０３）。ここで、例えば図７に示すような優先度が設定される。そして、クラウド２０１に接続できたと判定された場合に（Ｓ１０４でＹＥＳ）、データ統合部１５４－１で統合された走行環境のデータと、優先度設定部１５４－２で設定された認識条件の優先度をサーバ２００に送信する（Ｓ１０５）。
【0030】
図８Ｂは、実施例１におけるサーバのデータ処理装置のデータ処理を説明するフローチャートである。
サーバ２００のデータ処理装置２２０は、統合された走行環境のデータと、認識条件の優先度の情報を受信する（Ｓ１０６）。そして、データ処理装置２２０のモデル抽出部２２１によって、これらの情報に基づいて、クラウド２０１内の認識モデル群から認識条件に該当する少なくとも１つ以上の認識モデルを抽出する（Ｓ１０７）。
サーバ２００のデータ処理装置２２０は、統合された走行環境のデータと、認識条件の優先度の情報を受信する（Ｓ１０６）。そして、データ処理装置２２０のモデル抽出部２２１によって、これらの情報に基づいて、クラウド２０１内の認識モデル群から認識条件に該当する少なくとも１つ以上の認識モデルを抽出する（Ｓ１０７）。
【0031】
そして、モデル評価部２２２において、認識条件に該当する少なくとも１つ以上の認識モデルについて、評価を行う（Ｓ１０８）。評価は、抽出された認識モデルの中から優先度の合計点数に基づいて行われ、優先度の合計点数が最も高い認識モデルが一つ選択される（Ｓ１０９）。そして、クラウドに接続できたと判定された場合に（Ｓ１１０でＹＥＳ）、モデル評価部２２２で選択された認識モデルがサーバ２００に送信される（Ｓ１１１）。
【0032】
図９Ａ、図９Ｂは、実施例１における使用する認識モデルについて説明する図である。
図９Ａ、図９Ｂでは、使用する認識モデルは、使用する時間に撮像した画像データで学習したものを用いることを示している。モデル評価部２２２は、例えば、夜間に走行する場合には、予め夜間に撮像した画像データで学習した認識モデルを選択し、昼間に走行する場合には、予め昼間に撮像した画像データで学習した認識モデルを選択する。
図９Ａ、図９Ｂでは、使用する認識モデルは、使用する時間に撮像した画像データで学習したものを用いることを示している。モデル評価部２２２は、例えば、夜間に走行する場合には、予め夜間に撮像した画像データで学習した認識モデルを選択し、昼間に走行する場合には、予め昼間に撮像した画像データで学習した認識モデルを選択する。
【0033】
上記した本実施例の運転支援システムは、自車Ｖｅは、自車Ｖｅの周辺環境の環境データを取得し、環境データが周辺環境の認識精度に及ぼす影響の大きさを示す認識条件の優先度を設定する。そして、サーバ２００は、環境データと認識条件の優先度に基づいて移動体の周辺環境を認識するための複数の認識モデルの中から移動体の周辺環境に対応する認識モデルを選定する。したがって、走行環境の変化に応じて、適切な認識モデルがサーバ２００から自車Ｖｅに供給され、自車Ｖｅが走行している走行環境に適合した認識モデルによって、周辺環境の認識を行うことができる。したがって、種々の環境に対応可能な全ての認識モデルを車両に搭載する必要はなく、膨大な情報量を記憶するためのハードウエアは不要となり、車両システムのコストを低減することができる。
【0034】
［実施例２］
次に、本発明の実施例２について図１０～図１３を用いて説明する。
本実施例において特徴的なことは、外界センサ１１０を選定するための優先度を、天気や時間帯に応じて変更する構成としたことである。
次に、本発明の実施例２について図１０～図１３を用いて説明する。
本実施例において特徴的なことは、外界センサ１１０を選定するための優先度を、天気や時間帯に応じて変更する構成としたことである。
【0035】
外界センサ１１０は、種類に応じて検出特性が異なっており、天気や時間帯に応じて検出精度が異なる場合がある。したがって、複数種類のセンサを車両に搭載し、環境に適したセンサを使用する認識モデルの優先度を高くすることによって、検出精度の高いセンサを用いた認識モデルを採用することができる。サーバ２００のモデル抽出部２２１は、環境データと、認識条件の優先度と、自車Ｖｅが検知に使用した外界センサの種類の情報と、に基づいて、複数の認識モデルの中から認識条件に該当する少なくとも一つ以上の認識モデルと、その認識モデルで使用する外界センサを抽出する。
【0036】
図１０Ａは、実施例２における車両制御装置の認知判断装置が有する走行環境データ処理部のデータ処理を説明するフローチャートである。図８Ａに示す実施例１のフローチャートと比較してＳ２０１が追加されている点が異なる。走行環境データ処理部１５４は、Ｓ１０５で統合された走行環境データと認識条件の優先度をサーバ２００に送信した後、車両周囲の環境情報を取得する（Ｓ２０１）。
【0037】
【0038】
サーバ２００の走行環境データ処理部１５４は、統合された走行環境データと、認識条件の優先度の情報に加えて、外界センサ１１０に関する情報を認知判断装置１５０から受信する（Ｓ２０２）。そして、モデル群から外界センサ１１０に関する情報と認識条件に該当する認識モデルを抽出する（Ｓ２０３）。
【0039】
図１１は、各種車載センサにおけるロバスト特性を示す表である。
図１１に示すように、例えば天気に対して、超音波センサやレーダーはロバスト性が高、カメラはロバスト性が低、ＬｉＤＡＲはロバスト性が中となっている。また、時間帯（昼夜）に対して、カメラは低、超音波センサ、レーダー、ＬｉＤＡＲは高となっている。
図１１に示すように、例えば天気に対して、超音波センサやレーダーはロバスト性が高、カメラはロバスト性が低、ＬｉＤＡＲはロバスト性が中となっている。また、時間帯（昼夜）に対して、カメラは低、超音波センサ、レーダー、ＬｉＤＡＲは高となっている。
【0040】
図１２Ａは、カメラを使用した場合の優先度の設定の一例を示す表、図１２Ｂは、ＬｉＤＡＲを使用した場合の優先度の設定の一例を示す表である。
外界センサにカメラを使用した場合、昼夜や天気が認識モデルに与える影響度は大きいので、図１２Ａに示すように、優先度はいずれも１００に設定されている。一方、路面状況が認識モデルに与える影響度は小さいので、優先度は３０に設定されている。
外界センサにカメラを使用した場合、昼夜や天気が認識モデルに与える影響度は大きいので、図１２Ａに示すように、優先度はいずれも１００に設定されている。一方、路面状況が認識モデルに与える影響度は小さいので、優先度は３０に設定されている。
【0041】
そして、外界センサにＬｉＤＡＲを使用した場合、天気が認識モデルへの影響度は大きく、図１２Ｂに示すように、優先度は１００に設定されている。その一方で、昼夜や路面状況が認識モデルに与える影響度は小さいので優先度は３０に設定されている。
【0042】
図１３Ａ、図１３Ｂは、実施例２における使用する認識モデルについて説明する図である。
図１３Ａ、図１３Ｂでは、物体認識に所定のセンサを使用した場合、そのセンサによって撮像された画像データで学習した認識モデルを使用する。モデル評価部２２２は、例えば、物体認識にステレオカメラを使用した場合、図１３Ａに示すように、ステレオカメラ１１０－ＳＣで撮像した画像データで学習した認識モデルを使用する。また、物体認識にＬｉＤＡＲを使用した場合、図１３Ｂに示すように、ＬｉＤＡＲ１１０－Ｌによって撮像された画像データで学習した認識モデルを使用する。
図１３Ａ、図１３Ｂでは、物体認識に所定のセンサを使用した場合、そのセンサによって撮像された画像データで学習した認識モデルを使用する。モデル評価部２２２は、例えば、物体認識にステレオカメラを使用した場合、図１３Ａに示すように、ステレオカメラ１１０－ＳＣで撮像した画像データで学習した認識モデルを使用する。また、物体認識にＬｉＤＡＲを使用した場合、図１３Ｂに示すように、ＬｉＤＡＲ１１０－Ｌによって撮像された画像データで学習した認識モデルを使用する。
【0043】
上記した本実施例の運転支援システムは、複数種類の外界センサ１１０を選定するための優先度を、天気や時間帯に応じて変更する構成を有する。したがって、状況に最適なセンサを用いた認識モデルが選択され、周辺環境の認識精度をより高くすることができる。
【0044】
［実施例３］
次に、本発明の実施例３について図１４、図１５を用いて以下に説明する。
図１４は、実施例３における認知判断装置の内部構成を説明するブロック図、図１５は、実施例３における車両制御装置の認知判断装置が有する走行環境データ処理部のデータ処理を説明するフローチャートである。
次に、本発明の実施例３について図１４、図１５を用いて以下に説明する。
図１４は、実施例３における認知判断装置の内部構成を説明するブロック図、図１５は、実施例３における車両制御装置の認知判断装置が有する走行環境データ処理部のデータ処理を説明するフローチャートである。
【0045】
本実施例において特徴的なことは、図１４に示すように、ＨＭＩ装置１４０から認識部１５１に対して更新可否の回答を入力可能な構成としたことである。本実施例の運転支援システムは、現在設定されている認識モデルによる認識結果と、更新用の認識モデルによる認識結果の両方をＨＭＩ装置１４０により表示して乗員などのユーザによりいずれか一方を選択させる構成を有している。
【0046】
認識部１５１は、外界センサ１１０からの情報を取得し（Ｓ３０１）、既存の認識モデルによる物体認識を行う（Ｓ３０２）。そして、走行環境の変化に応じた更新用の認識モデルがあるかを判断し、更新用の認識モデルがある場合には（Ｓ３０３でＹＥＳ）、その更新用の認識モデルによる物体認識を行う（Ｓ３０４）。そして、既存の認識モデルの物体認識結果と更新用の認識モデルによる物体認識結果をＨＭＩ装置１４０に送信し（Ｓ３０５）、ユーザが既存の認識モデルと更新用の認識モデルのいずれかを選択できるように表示させる。
【0047】
ＨＭＩ装置１４０に入力されたユーザの選択結果が更新用の認識モデルを選択するものであった場合（Ｓ３０６でＹＥＳ）、既存の認識モデルを更新用の認識モデルに切り替えて（Ｓ３０７）、更新された認識モデルの物体認識結果を出力する（Ｓ３０８）。一方、更新用の認識モデルがない場合（Ｓ３０３でＮＯ）、または、ユーザの選択結果が既存の認識モデルを選択するものであった場合（Ｓ３０６でＮＯ）、既存の認識モデルの物体認識結果を出力する（Ｓ３０９）。
【0048】
本実施例の運転支援システムによれば、ユーザによって認識結果が確認された認識モデルを使用して物体認識が行われるので、ユーザのニーズに適合した車両の運転支援制御を行うことができる。
【0049】
［実施例４］
次に、本発明の実施例４について図１６、図１７を用いて以下に説明する。
本実施形態において特徴的なことは、ナビゲーションシステム１３０により走行ルートが予め定まっている場合には、その走行ルート内の各区間に対応する認識モデルを予め抽出して、全てを自車Ｖｅのメモリに格納しておく構成としたことである。サーバ２００は、自車Ｖｅの走行ルートが設定されている場合に、走行ルートを走行する際に各区間においてそれぞれ使用する複数の認識モデルを走行ルートの設定時に選択して自車Ｖｅに送信する。自車Ｖｅは、複数の認識モデルをメモリに格納し、走行ルートを走行する際に各区間に対応する認識モデルを使用して物体認識を行う。
次に、本発明の実施例４について図１６、図１７を用いて以下に説明する。
本実施形態において特徴的なことは、ナビゲーションシステム１３０により走行ルートが予め定まっている場合には、その走行ルート内の各区間に対応する認識モデルを予め抽出して、全てを自車Ｖｅのメモリに格納しておく構成としたことである。サーバ２００は、自車Ｖｅの走行ルートが設定されている場合に、走行ルートを走行する際に各区間においてそれぞれ使用する複数の認識モデルを走行ルートの設定時に選択して自車Ｖｅに送信する。自車Ｖｅは、複数の認識モデルをメモリに格納し、走行ルートを走行する際に各区間に対応する認識モデルを使用して物体認識を行う。
【0050】
図１６は、実施例４におけるサーバのデータ処理装置のデータ処理を説明するフローチャートである。
サーバ２００のデータ処理装置２２０は、統合された走行環境データと、認識条件の優先度を自車Ｖｅから受信し（Ｓ１０６）、更に自車Ｖｅが通過する走行ルートの情報を受信する。そして、走行ルートの情報から、走行ルートの認識条件の全パターンを割り出し（Ｓ４０１）、走行ルートの各区間の認識条件からそれぞれ認識モデルを選択する（Ｓ４０２～Ｓ４０３）。そして、クラウドに接続できたと判定された場合に（Ｓ１１０でＹＥＳ）、モデル評価部２２２で選択された認識モデルをクラウド２０１から抽出して車両（自車Ｖｅ）に送信する（Ｓ１１２）。自車Ｖｅは、ナビゲーションシステム１３０から提供される走行ルートの情報を用いることによって、自車Ｖｅが通過する区間の路面状況、天気、時間帯、走行エリアの情報を得ることができる。
サーバ２００のデータ処理装置２２０は、統合された走行環境データと、認識条件の優先度を自車Ｖｅから受信し（Ｓ１０６）、更に自車Ｖｅが通過する走行ルートの情報を受信する。そして、走行ルートの情報から、走行ルートの認識条件の全パターンを割り出し（Ｓ４０１）、走行ルートの各区間の認識条件からそれぞれ認識モデルを選択する（Ｓ４０２～Ｓ４０３）。そして、クラウドに接続できたと判定された場合に（Ｓ１１０でＹＥＳ）、モデル評価部２２２で選択された認識モデルをクラウド２０１から抽出して車両（自車Ｖｅ）に送信する（Ｓ１１２）。自車Ｖｅは、ナビゲーションシステム１３０から提供される走行ルートの情報を用いることによって、自車Ｖｅが通過する区間の路面状況、天気、時間帯、走行エリアの情報を得ることができる。
【0051】
図１７は、経路の各区間に応じた認識モデルを全てメモリに格納して使用する実施例４の内容を説明する図である。
自車Ｖｅのメモリには、区間１～区間ｎまでの認識モデルが格納されている。例えば、区間１は、路面状況：ドライ、天気：晴れ、時間帯：昼間、走行エリア：山道の条件を有している。区間２では、路面状況：ドライ、天気：晴れ、時間帯：昼間、走行エリア：トンネルの条件を有している。区間ｋでは、路面状況：ウェット、天気：雨、時間帯：昼間、走行エリア：高速道路の条件を有している。したがって、自車Ｖｅは、各区間では、各区間に対応の認識モデルを使用して物体認識を行う。
自車Ｖｅのメモリには、区間１～区間ｎまでの認識モデルが格納されている。例えば、区間１は、路面状況：ドライ、天気：晴れ、時間帯：昼間、走行エリア：山道の条件を有している。区間２では、路面状況：ドライ、天気：晴れ、時間帯：昼間、走行エリア：トンネルの条件を有している。区間ｋでは、路面状況：ウェット、天気：雨、時間帯：昼間、走行エリア：高速道路の条件を有している。したがって、自車Ｖｅは、各区間では、各区間に対応の認識モデルを使用して物体認識を行う。
【0052】
本実施例によれば、自車Ｖｅは、走行ルート内の各区間に対応する認識モデルを予め抽出して取得しておくので、走行環境の変化に応じてその都度、対応する認識モデルをサーバ２００から取得する場合と比較して、通信状況の悪化等により取得できない事態に陥るのを防ぐことができる。例えば、区間２においてトンネル内のデータ通信の接続環境が悪く、トンネル内では、区間２に対応する認識モデルを受信できない場合であっても、本実施例によれば、区間２の認識モデルをサーバ２００から受けてメモリに格納しているので、その認識モデルを使用してトンネル内で物体認識を適切に行うことができる。
【0053】
また、本実施例によれば、走行ルートに沿って各区間で必要な認識モデルだけをサーバから受信して自車Ｖｅのメモリに格納する構成を有しているので、全ての認識モデルを格納する場合と比較して、自車Ｖｅに搭載されるメモリのメモリ容量を大幅に小さくすることができるという効果も有する。
【0054】
［実施例５］
次に、本発明の実施例５について図１８、図１９を用いて以下に説明する。
本実施例において特徴的なことは、ナビゲーションシステム１３０により走行ルートが予め定まっている場合に、走行ルート内の各区間に対応する認識モデルを走行位置に応じて順次サーバから取り込み、通過した区間の認識モデルは自車Ｖｅのメモリから削除する構成としたことである。自車Ｖｅは、複数の認識モデルの容量がメモリの容量よりも大きいときは、走行ルートを走行する際に先に使用する認識モデルのみを受信してメモリに格納する。
次に、本発明の実施例５について図１８、図１９を用いて以下に説明する。
本実施例において特徴的なことは、ナビゲーションシステム１３０により走行ルートが予め定まっている場合に、走行ルート内の各区間に対応する認識モデルを走行位置に応じて順次サーバから取り込み、通過した区間の認識モデルは自車Ｖｅのメモリから削除する構成としたことである。自車Ｖｅは、複数の認識モデルの容量がメモリの容量よりも大きいときは、走行ルートを走行する際に先に使用する認識モデルのみを受信してメモリに格納する。
【0055】
図１８は、実施例５における車両制御装置の認知判断装置が有する走行環境データ処理部のデータ処理を説明するフローチャートであり、初回のみ実行されるフローである。
【0056】
サーバ２００のデータ処理装置２２０は、統合された走行環境データと、認識条件の優先度を自車Ｖｅから受信し（Ｓ１０６）、更に自車Ｖｅが通過する走行ルートの情報を受信する。そして、走行ルートの情報から、走行ルートの認識条件の全パターンを割り出し（Ｓ４０１）、走行ルートの区間１から区間ｋまでの認識条件を抽出する（Ｓ５０１～Ｓ４０３）。そして、クラウドに接続できたと判定された場合に（Ｓ１１０でＹＥＳ）、モデル評価部２２２で選択された認識モデルがサーバ２００に送信される（Ｓ１１１）。
【0057】
図１９は、経路の各区間に応じた認識モデルを順次メモリに格納して使用する実施例５の内容を説明する図である。
本実施例では、自車Ｖｅのメモリには、全区間のうち、２つの区間の認識モデルだけが格納される。例えば区間１を走行しているときは、区間１と区間２の認識モデルだけが格納されている。そして、区間１では、区間１対応の認識モデルを用いて物体認識が行われ、区間２では、区間２対応の認識モデルを用いて物体認識が行われる。区間２を走行中に、区間１対応の認識モデルは、自車Ｖｅのメモリから削除され、次の区間である、区間３対応の認識モデルが自車Ｖｅのメモリに格納される。つまり、区間２を走行中の自車Ｖｅのメモリには、区間２対応の認識モデルと区間３の認識モデルが格納されている。同様に、区間３では、区間３対応の認識モデルを用いて物体認識が行われ、区間３を走行中に、区間２対応の認識モデルは、自車Ｖｅのメモリから削除され、次の区間である、区間４対応の認識モデルが自車Ｖｅのメモリに格納される。
本実施例では、自車Ｖｅのメモリには、全区間のうち、２つの区間の認識モデルだけが格納される。例えば区間１を走行しているときは、区間１と区間２の認識モデルだけが格納されている。そして、区間１では、区間１対応の認識モデルを用いて物体認識が行われ、区間２では、区間２対応の認識モデルを用いて物体認識が行われる。区間２を走行中に、区間１対応の認識モデルは、自車Ｖｅのメモリから削除され、次の区間である、区間３対応の認識モデルが自車Ｖｅのメモリに格納される。つまり、区間２を走行中の自車Ｖｅのメモリには、区間２対応の認識モデルと区間３の認識モデルが格納されている。同様に、区間３では、区間３対応の認識モデルを用いて物体認識が行われ、区間３を走行中に、区間２対応の認識モデルは、自車Ｖｅのメモリから削除され、次の区間である、区間４対応の認識モデルが自車Ｖｅのメモリに格納される。
【0058】
本実施例の運転支援システムは、通過済みの区間に対応する認識モデルを自車Ｖｅのメモリから削除し、現在走行中の区間の次に通過する予定の区間に対応する認識モデルをサーバ２００から自車Ｖｅのメモリに格納する処理を行う。したがって、自車Ｖｅのメモリに格納する認識モデルは、現在走行中の区間に対応する認識モデルと、次に走行する予定の区間に体操する認識モデルの２つだけにすることができ、メモリ容量を小さくすることができる。これにより、例えば走行ルートが長い場合でも、メモリのメモリ容量を大きくする必要がなく、コストを低減することができる。
【0059】
［実施例６］
次に、本発明の実施例６について図２０、図２１Ａ、図２１Ｂを用いて説明する。
本発明の運転支援システムにより運転が支援される対象は、車両だけに限られず、他の移動体であってもよい。例えば、ドローンなどのマルチコプターであってもよい。マルチコプターを目的地まで飛行させる際に、周辺環境に応じて認識モデルを変更することができる。
次に、本発明の実施例６について図２０、図２１Ａ、図２１Ｂを用いて説明する。
本発明の運転支援システムにより運転が支援される対象は、車両だけに限られず、他の移動体であってもよい。例えば、ドローンなどのマルチコプターであってもよい。マルチコプターを目的地まで飛行させる際に、周辺環境に応じて認識モデルを変更することができる。
【0060】
図２０は、運転支援装置をマルチコプターの制御に使用した例を示す図である。図２０には、操縦者２０１２がマルチコプター２０１１を操縦して橋脚２００１に接近させて、橋脚２００１の点検に使用する場合に、本実施例の運転支援システムを使用する例が示されている。
【0061】
図２１Ａは、実施例６におけるマルチコプターの認知判断装置が有する走行環境データ処理部のデータ処理を説明するフローチャート、図２１Ｂは、実施例６におけるサーバのデータ処理装置のデータ処理を説明するフローチャートである。
【0062】
認知判断装置１５０の走行環境データ処理部１５４は、Ｓ１００～Ｓ１０５の処理の後、目的の認識タスクをクラウドに送信する（Ｓ６０１）。サーバ２００のデータ処理装置２２０は、統合された走行環境データと、認識条件の優先度をマルチコプター２０１１から受信する（Ｓ１０６）。そして、マルチコプター２０１１から目標の認識タスク、本実施例では、亀裂２００２を認識する認識タスクを受信する（Ｓ６０２）。
【0063】
そして、複数の認識モデルのモデル群から認識条件と目的の認識タスクに該当する認識モデルを抽出する（Ｓ６０３）。そして、受信データに基づいて抽出した認識モデルを評価し（Ｓ１０８）、評価結果に基づいて認識モデルを選択する（Ｓ１０９）。そして、クラウドに接続できたと判定された場合に（Ｓ１１０でＹＥＳ）、モデル評価部２２２で選択された認識モデルがサーバ２００に送信される（Ｓ１１１）。
【0064】
本実施例の運転支援システムによれば、マルチコプター２０１１が橋脚２００１に接近させるまでは、物体認識用の認識モデルを使用して飛行させることができる。したがって、例えば飛行途中で障害物を認識して、このままでは障害物に衝突すると判断した場合には、回避運動をさせる等の運転支援を行うことができる。そして、橋脚２００１の点検対象である亀裂２００２に接近したところで、認識モデルを、障害物認識モデルから、橋脚２００１の亀裂２００２を認識するための認識モデルに更新することができ、亀裂２００２の認識を行うことができる。
【0065】
以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【0066】
１１０：外界センサ、１３０：ナビゲーションシステム、１４０：ＨＭＩ装置、１５０：認知判断装置、１５１：認識部、１５２：運転行動計画部、１５４：走行環境データ処理部、１５４－１：データ統合部、１５４－２：優先度設定部、２００：サーバ、２０１：クラウド、２２０：データ処理装置、２２１：モデル抽出部、２２２：モデル評価部、Ｖｅ：自車、Ｂａｓｅ：基地局
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図10A】
【図10B】
【図11】
【図12A】
【図12B】
【図13A】
【図13B】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21A】
【図21B】