IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカの特許一覧

特許7079069情報提示制御装置、自動運転車、及び自動運転車運転支援システム
<>
  • 特許-情報提示制御装置、自動運転車、及び自動運転車運転支援システム 図1
  • 特許-情報提示制御装置、自動運転車、及び自動運転車運転支援システム 図2
  • 特許-情報提示制御装置、自動運転車、及び自動運転車運転支援システム 図3
  • 特許-情報提示制御装置、自動運転車、及び自動運転車運転支援システム 図4
  • 特許-情報提示制御装置、自動運転車、及び自動運転車運転支援システム 図5
  • 特許-情報提示制御装置、自動運転車、及び自動運転車運転支援システム 図6
  • 特許-情報提示制御装置、自動運転車、及び自動運転車運転支援システム 図7
  • 特許-情報提示制御装置、自動運転車、及び自動運転車運転支援システム 図8
  • 特許-情報提示制御装置、自動運転車、及び自動運転車運転支援システム 図9
  • 特許-情報提示制御装置、自動運転車、及び自動運転車運転支援システム 図10
  • 特許-情報提示制御装置、自動運転車、及び自動運転車運転支援システム 図11A
  • 特許-情報提示制御装置、自動運転車、及び自動運転車運転支援システム 図11B
  • 特許-情報提示制御装置、自動運転車、及び自動運転車運転支援システム 図11C
  • 特許-情報提示制御装置、自動運転車、及び自動運転車運転支援システム 図12
  • 特許-情報提示制御装置、自動運転車、及び自動運転車運転支援システム 図13
  • 特許-情報提示制御装置、自動運転車、及び自動運転車運転支援システム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-24
(45)【発行日】2022-06-01
(54)【発明の名称】情報提示制御装置、自動運転車、及び自動運転車運転支援システム
(51)【国際特許分類】
   G08G 1/16 20060101AFI20220525BHJP
   G08G 1/0968 20060101ALI20220525BHJP
   G08G 1/09 20060101ALI20220525BHJP
   B60R 16/02 20060101ALI20220525BHJP
   B60W 50/14 20200101ALI20220525BHJP
   B60W 30/10 20060101ALI20220525BHJP
【FI】
G08G1/16 A
G08G1/0968 A
G08G1/09 F
B60R16/02 640K
B60W50/14
B60W30/10
【請求項の数】 16
(21)【出願番号】P 2016252131
(22)【出願日】2016-12-26
(65)【公開番号】P2017194948
(43)【公開日】2017-10-26
【審査請求日】2019-07-10
(31)【優先権主張番号】P 2016082105
(32)【優先日】2016-04-15
(33)【優先権主張国・地域又は機関】JP
【前置審査】
(73)【特許権者】
【識別番号】514136668
【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
【氏名又は名称原語表記】Panasonic Intellectual Property Corporation of America
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】石井 育規
(72)【発明者】
【氏名】小塚 和紀
(72)【発明者】
【氏名】藤村 亮太
【審査官】▲高▼木 真顕
(56)【参考文献】
【文献】特開2002-175597(JP,A)
【文献】特開2015-182624(JP,A)
【文献】特開2008-302746(JP,A)
【文献】特開2016-013751(JP,A)
【文献】特開2011-136628(JP,A)
【文献】特開2001-199295(JP,A)
【文献】特開2017-128180(JP,A)
【文献】国際公開第2017/072939(WO,A1)
【文献】米国特許出願公開第2017/0171375(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00 - 99/00
B60W 30/00 - 60/00
B60R 21/00 - 21/017
B60R 16/00 - 16/08
(57)【特許請求の範囲】
【請求項1】
自動運転車に搭載される提示装置に情報を提示させる情報提示制御装置であって、
検出部の出力に基づいて前記自動運転車の周囲状況について互いに異なる対象を認識する複数の認識部の選択状況を示す選択情報を取得する選択情報取得部と、
前記選択情報が示す選択されている前記認識部に応じて実行される前記自動運転車の自動運転システムによる運転の内容を示す画像データ及び、選択されている前記認識部に応じて実行されている前記自動運転システムの運転の内容に対して必要となる運転者による運転の内容を示す文字列データに対応する運転情報を前記提示装置に提示させる提示制御部とを備え
前記画像データは、選択されている前記認識部が認識すべき対象に関連する画像を含む画像データであり、
前記文字列データは、前記画像データに対応するデータである、
情報提示制御装置。
【請求項2】
前記複数の認識部の選択状況は、前記複数の認識部からの、前記対象の認識を実行する認識部又は前記対象の認識を実行しない認識部の選択の状況である
請求項1に記載の情報提示制御装置。
【請求項3】
前記選択情報取得部は、前記複数の認識部からの認識部の選択結果を示す前記選択情報を前記自動運転システムから取得する
請求項2に記載の情報提示制御装置。
【請求項4】
前記選択情報取得部は、前記複数の認識部からの認識部の選択のための判断に用いられる選択判断材料情報を取得し、前記選択判断材料情報に基づいて前記選択状況を推定することで前記選択情報を取得する
請求項2又は3に記載の情報提示制御装置。
【請求項5】
前記選択情報取得部は、前記対象の認識に利用される情報を取得するための、前記自動運転車が有する検出部又は通信部の稼動状況を示す情報を取得し、前記稼動状況を示す情報に基づいて、選択される認識部を判断することで前記選択情報を取得する
請求項2から4のいずれか1項に記載の情報提示制御装置。
【請求項6】
前記選択判断材料情報は、地図情報に基づいて取得される、前記自動運転車が走行している場所の特徴を示す走行場所情報を含む
請求項4に記載の情報提示制御装置。
【請求項7】
前記選択判断材料情報は、前記運転者の身体の状態を示す運転者状態情報を含む
請求項4に記載の情報提示制御装置。
【請求項8】
前記選択判断材料情報は、前記自動運転車の車外環境を示す車外環境情報を含む
請求項4に記載の情報提示制御装置。
【請求項9】
前記稼動状況を示す情報は、前記検出部が有する検出器の異常を示す情報を含み、
前記対象の認識を実行しない認識部は、前記異常がある検出器が出力する検出結果を前記対象の認識に用いる認識部を含む
請求項5に記載の情報提示制御装置。
【請求項10】
前記稼動状況を示す情報は、前記通信部の通信品質又は通信の実行の有無を示す情報を含み、
前記対象の認識を実行しない認識部は、前記通信部の通信品質が所定の品質より劣る状況又は前記通信部が通信を実行していない状況における、前記通信部により通信される情報を前記対象の認識に用いるように構成されている認識部を含む、
請求項5に記載の情報提示制御装置。
【請求項11】
前記提示制御部は、音又は画像の少なくとも一方を用いた前記運転情報の前記運転者への提示を制御する
請求項1~10のいずれか1項に記載の情報提示制御装置。
【請求項12】
前記運転情報は、前記自動運転システムが実行しない又は実行されていない運転の内容を含む情報である
請求項1から11のいずれか1項に記載の情報提示制御装置。
【請求項13】
請求項1に記載の自動運転システムと、
請求項1~12のいずれか1項に記載の情報提示制御装置とを備える
自動運転車運転支援システム。
【請求項14】
請求項1に記載の自動運転システムと、
請求項1~12のいずれか1項に記載の情報提示制御装置とを備える
自動運転車。
【請求項15】
自動運転車に搭載される提示装置に情報を提示させる情報提示制御方法であって、
検出部の出力に基づいて前記自動運転車の周囲状況について互いに異なる対象を認識する複数の認識部の選択状況を示す選択情報を取得し、
前記選択情報が示す選択されている前記認識部に応じて実行される前記自動運転車の自動運転システムによる運転の内容を示す画像データ及び、選択されている前記認識部に応じて実行されている前記自動運転システムの運転の内容に対して必要となる運転者による運転の内容を示す文字列データに対応する運転情報を前記提示装置に提示させ
前記画像データは、選択されている前記認識部が認識すべき対象に関連する画像を含む画像データであり、
前記文字列データは、前記画像データと関連付けられたデータである、
情報提示制御方法。
【請求項16】
請求項15に記載の情報提示制御方法を、前記自動運転車に搭載されるコンピュータに実行させるための情報提示プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載のセンサによって検出された周囲状況に応じた自動運転制御をする自動運転車等に関する。
【背景技術】
【0002】
自動車に関する技術において、自車両の走行環境に関する情報である走行環境情報を各種の車載のセンサを用いて取得して、この走行環境情報のうち、自車両の走行状況に応じて運転に有用な情報を運転者に提供する表示装置に関するものがある(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平6-195595号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら上記のような表示装置では、車載のセンサの稼動状況等に応じて自動制御の内容が変わる自動運転機能を有する自動車(以下、自動運転車という)の運転者は、自分でする必要がある運転の内容を知ることができないという問題がある。
【0005】
そこで、本発明は、自動運転車の運転者に、自分ですべき運転の内容を知らせる情報提示制御装置等を提供する。
【課題を解決するための手段】
【0006】
本発明の一態様に係る情報提示制御装置は、自動運転車に搭載される提示装置に情報を提示させる情報提示制御装置であって、自動運転車の周囲状況について互いに異なる対象を認識する複数の認識部の選択状況を示す選択情報を取得する選択情報取得部と、選択情報に応じて、自動運転車が実行可能な制御及び実行不可能な制御の少なくとも一方に基づく、自動運転車の自動運転システムによる運転及び運転者による運転の少なくとも一方に関する運転情報を提示装置に提示させる提示制御部とを備える。
【0007】
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0008】
本発明の情報提示制御装置は、自動運転車の運転者に自分ですべき運転の内容を知らせることができる。
【図面の簡単な説明】
【0009】
図1図1は、実施の形態における情報提示制御装置を備える自動運転車を含むネットワークの構成を示す概略図である。
図2図2は、上記の自動運転車の機能構成を示す機能ブロック図である。
図3図3は、実施の形態における情報提示制御装置が備える選択部が参照するデータの例である。
図4図4は、上記の自動運転車が備える自動運転システムにおける、認識部の選択及び選択情報の提供を含む動作の手順例を示すフロー図である。
図5図5は、実施の形態における情報提示制御装置が、運転者に提示する情報のデータを取得するために参照するデータの例である。
図6図6は、実施の形態における情報提示制御装置の、選択情報の取得から運転情報の提示までの動作の手順例を示すフロー図である。
図7図7は、実施の形態において提示装置が運転者に提示する運転情報の一例である。
図8図8は、実施の形態において提示装置が運転者に提示する運転情報の他の例である。
図9図9は、実施の形態において提示装置が運転者に提示する運転情報の他の例である。
図10図10は、実施の形態の変形例における情報提示制御装置を備える自動運転車の機能構成を示す機能ブロック図である。
図11A図11Aは、実施の形態の変形例における選択部の動作の一例を示すフロー図である。
図11B図11Bは、実施の形態の変形例における選択部の動作の一例を示すフロー図である。
図11C図11Cは、実施の形態の変形例における選択部の動作の一例を示すフロー図である。
図12図12は、実施の形態の変形例において提示装置が運転者に提示する運転情報の一例である。
図13図13は、他の実施の形態において提示装置が運転者に提示する運転情報の一例である。
図14図14は、他の実施の形態における自動運転車運転支援システムを備える自動運転車の機能構成を示す機能ブロック図である。
【発明を実施するための形態】
【0010】
(本発明の基礎となった知見)
本発明の発明者らは、「背景技術」の欄において記載した表示装置に関し、以下の問題が生じることを見出した。
【0011】
自動車では、上記のように車載センサを用いて取得される情報は、車載のECU(Electronic Control Unit)によるいわゆる電子制御にも用いられる。しかし、運転者には、自分が運転している自動車で実際になされた電子制御の内容、又はこれによる自動車の動作の変化は必ずしも通知されない。
【0012】
しかしながら、さらに高度化した電子制御による自動運転機能を有する自動運転車では、車載のセンサの稼動状況等に応じて自動運転の内容が変化する。例えば、走行中の自動運転車において、車両前方の状況を検知するセンサに不具合が生じたときに、自動運転車がどのような対象(例えば人、道路標識、道路表示、障害物、他の通行車両等)の認識及びその認識結果に基づく制御をできないのか、つまり、運転者は自分でしなければならない運転行動(認識、推定、判断、操作)を知る必要がある。
【0013】
また、外部との通信機能を備える自動運転車は、車載のセンサで検知された周囲状況を外部の認識機器、例えば大規模なニューラルネットワークとして構築された認識システムに送信する。このニューラルネットワークではディープラーニングによる機械学習がなされており、車載の軽量な認識機器よりも高精度で多クラスの認識が可能である。そして自動運転車は、当該周囲状況に基づいてこの認識システムが認識した対象物を示す情報を受信し、この情報を利用して自動運転をする。しかし、場所によっては自動運転車と外部との通信の速度が自動運転に要求されるレベルに達しない。この場合、大規模なニューラルネットワークによる認識結果は自動運転に利用できないため、自動運転の内容が変化する。したがって、自動運転車の通信速度が遅い状況では、運転者はその状況で自分ですべき運転の内容を知る必要がある。
【0014】
しかしながら、従来の表示装置では、このような認識機器の変化、及びこの変化に伴う認識の対象物の変化が考慮されていない。したがって、自動運転車では、この対象物の変化に伴って変化する、運転者自身がする必要がある運転の内容が運転者に通知されないという問題がある。
【0015】
このような問題を解決するために、本発明の一態様に係る情報提示制御装置は、自動運転車に搭載される提示装置に情報を提示させる情報提示制御装置であって、自動運転車の周囲状況について互いに異なる対象を認識する複数の認識部の選択状況を示す選択情報を取得する選択情報取得部と、選択情報に応じて、自動運転車が実行可能な制御及び実行不可能な制御の少なくとも一方に基づく、自動運転車の自動運転システムによる運転及び運転者による運転の少なくとも一方に関する運転情報を提示装置に提示させる提示制御部とを備える。
【0016】
これにより運転者に、自動運転車の車両上の状況に応じて変化する自動運転システムによる運転又は自身がすべき運転行動についての情報(運転情報)を提供することができる。
【0017】
例えば、複数の認識部の選択状況は、複数の認識部からの、対象の認識を実行する認識部又は対象の認識を実行しない認識部の選択の状況であってもよい。
【0018】
これにより情報提示制御装置は、自動運転システムにおいて認識される対象、又はされない対象を示す情報に基づいて運転情報を運転者に提供することができる。
【0019】
例えば、選択情報取得部は、複数の認識部からの認識部の選択結果を示す選択情報を前記自動運転システムから取得してもよい。
【0020】
これにより情報提示制御装置は、自動運転システムにおける認識部の実際の選択状況に基づいて運転情報を運転者に提供することができる。
【0021】
また例えば、選択情報取得部は、複数の認識部からの認識部の選択のための判断に用いられる選択判断材料情報を取得し、選択判断材料情報に基づいて選択状況を推定することで選択情報を取得してもよい。または、例えば対象の認識に利用される情報を取得するための、自動運転車が有する検出部又は通信部の稼動状況を示す情報を取得し、稼動状況を示す情報に基づいて、選択される認識部を判断することで選択情報を取得してもよい。
【0022】
これにより情報提示制御装置は、自動運転システムでの選択部による認識部の選択を待つことなく選択情報を取得できるため、運転情報を運転者に速やかに提供することができる。また、自動運転システムとのインターフェースを設けることなく選択情報を取得できるため、コストを低減することが可能となる。
【0023】
例えば、選択判断材料情報は、地図情報に基づいて取得される、自動運転車が走行している場所の特徴を示す走行場所情報を含んでもよい。
【0024】
これにより情報提示制御装置は、自動運転システムによる運転の内容が変更されるような変化が自動運転車の走行場所に生じた場合に、運転者に運転情報を提供することができる。
【0025】
また例えば、選択判断材料情報は、運転者の身体の状態を示す運転者状態情報を含んでもよい。
【0026】
これにより情報提示制御装置は、自動運転システムによる運転の内容が変更されるような変化が運転者の身体状態に生じた場合に、運転者に運転情報を提供することができる。
【0027】
また例えば、選択判断材料情報は、自動運転車の車外環境を示す車外環境情報を含んでもよい。
【0028】
これにより情報提示制御装置は、自動運転システムによる運転の内容が変更されるような変化が車外環境に生じた場合に、運転者に運転情報を提供することができる。
【0029】
また例えば、稼動状況を示す情報は、検出部が有する検出器の異常を示す情報を含み、対象の認識を実行しない認識部は、異常がある検出器が出力する検出結果を対象の認識に用いる認識部を含んでもよい。または、例えば、稼動状況を示す情報は、通信部の通信品質又は通信の実行の有無を示す情報を含み、対象の認識を実行しない認識部は、通信部の通信品質が所定の品質より劣る状況又は通信部が通信を実行していない状況における、通信部により通信される情報を対象の認識に用いるように構成されている認識部を含んでもよい。
【0030】
これにより情報提示制御装置は、対象の認識に必要な情報を取得できているか否かに応じて選択される認識部の選択状況を反映した運転情報を運転者に提供することができる。
【0031】
また例えば、提示制御部166は、音声又は画像の少なくとも一方を用いた運転情報の運転者への提示を制御してもよい。
【0032】
これにより情報提示制御装置は、運転情報を、運転中の運転者に、音、動画、静止画、若しくは表示灯、又はこれらの組み合わせを用いて随時提示することができる。
【0033】
また例えば、運転情報は、自動運転システムが実行しない又は実行していない運転の内容を含む情報であってもよい。
【0034】
これにより情報提示制御装置は、運転者に自分ですべき運転行動を明示的に提示することができる。
【0035】
また、本発明の一態様に係る自動運転車運転支援システムは、自動運転システムと、上記のいずれかの情報提示制御装置とを備える。
【0036】
これにより自動運転車の運転者は、車両上の状況に応じて変化する、自分ですべき運転行動を随時知ることができる。
【0037】
また、本発明の一態様に係る自動運転車は、自動運転システムと、上記のいずれかの情報提示制御装置とを備える。
【0038】
この自動運転車では、車両又は運転者の状況に応じて変わる、自分ですべき運転行動が随時運転者に通知される。
【0039】
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。
【0040】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【0041】
なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0042】
(実施の形態)
図1は、実施の形態における情報提示制御装置を備える自動運転車を含むネットワークの構成を示す概略図である。
【0043】
自動運転車100は、ネットワーク10のノードの1つである。自動運転車100はネットワーク10において、自動運転における周囲の状況の認識に、自車両の外部にある認識システム200を利用することができる。
【0044】
認識システム200は、例えばニューラルネットワークを用いたディープラーニング、サポートベクターマシン、又はBoosting等の機械学習を実行したシステムであり、高精度で多クラスの画像認識をすることができる。このような認識システム200は、自動運転車100の外部にあって、自動運転車100が自動運転のために利用する認識部の一部である。詳細は後述する。
【0045】
自動運転車100と認識システム200とは、インターネット等の通信回線300を介して通信する。
【0046】
自動運転車100からは、後述する車載のセンサが検出した、自車両の周囲の状況を示す情報が基地局350に送られ、通信回線300を介して認識システム200に届けられる。例えばこの情報は、車載のカメラ(イメージセンサ)が撮影した、自車両の周囲の状況を示す画像のデータとして認識システム200に届けられる。
【0047】
認識システム200は、受け取った情報から車両の周囲の人や物等の存在、方向、距離、動き、その他特性等を認識し、その認識結果を示す情報を自動運転車100に送り返す。例えば上記の画像のデータを受け取った認識システム200は、画像認識を実行してこの画像に写る人、道路標識及び道路表示、障害物、他の通行車両等の対象を認識し、その対象を示す情報を、通信回線300を介して自動運転車100に返す。
【0048】
この情報を受信した自動運転車100では、自動運転車100が備える後述の自動運転システムが、この情報に基づいてアクセル、ブレーキ、及びステアリング等の各種系統を制御する。
【0049】
図2は、自動運転車100の機能構成を示す機能ブロック図である。なお、自動運転車100の動力源は限定されず、燃料で動くエンジンのみ、電力で動くモーターのみ、及びエンジン及びモーターの両方(ハイブリッド)のいずれであってもよい。
【0050】
自動運転車100は、運転支援インターフェース110、ナビゲーションシステム140、自動運転システム150、情報提示制御装置160、記憶部180、及びアンテナ190を備える。
【0051】
運転支援インターフェース110は、自動運転車100とそのユーザである運転者との間のインターフェースのであり、運転者からの入力を受け付ける構成要素及び運転者へ情報を提示する構成要素である。例えば、自動運転車100の運転者が操作するアクセル、ブレーキ、ステアリングホイール等の運転操作部120、ディスプレイを含む表示装置、計器類、表示灯、スピーカー、マイク、タッチパネル、ボタン類が運転支援インターフェース110に含まれる。なお、これらのうち、運転者に視覚、聴覚、又は触覚を通じて情報の提示が可能な構成要素を提示装置ともいう。例えば表示装置、計器類、表示灯、スピーカー、ステアリングホイール、ペダル類が提示装置になりうる。ステアリングホイール及びペダル類は、例えば所定の条件が満たされたときに振動することで運転者に注意を促すことができる。
【0052】
また、本実施の形態の説明では、これらの操作部への操作によって制御される駆動系、制動系、及び操舵系も運転操作部120に含まれる。
【0053】
記憶部180は、ナビゲーションシステム140、自動運転システム150、及び情報提示制御装置160が、それぞれ処理を実行するために参照する、後述の地図情報及びその他の各種データやプログラムが保存される記憶装置であり、例えばハードディスク、半導体メモリ、若しくはDVD(Digital Versatile Disc)等の記録媒体、又はこれらの組み合わせを用いて実現される。
【0054】
アンテナ190は、ナビゲーションシステム140、自動運転システム150、及び情報提示制御装置160がする、自動運転車100の外部との情報通信のためのアンテナである。なお、これらの構成要素が行う情報通信には、衛星測位システムの人工衛星からの受信、VICS(登録商標)(Vehicle Information and Communication System:道路交通情報通信システム)やITS(Intelligent Transport Systems:高度道路交通システム)からの受信、インターネット通信等、複数種類の通信が含まれ得る。
【0055】
なお、図2の運転支援インターフェース110、記憶部180、及びアンテナ190は、ナビゲーションシステム140、自動運転システム150、及び情報提示制御装置160に共有され、いずれからもアクセスされるものであってよいが、これに限定されない。ただし図2では、ナビゲーションシステム140、自動運転システム150、及び情報提示制御装置160の各々が専用する運転支援インターフェース、記憶部、及びアンテナがある場合も、自動運転車100が備える運転支援インターフェース110、記憶部180、及びアンテナ190としてそれぞれ統合的に示される。
【0056】
ナビゲーションシステム140は、自動運転車100の現在位置の取得、目的地への経路探索、及び運転者への経路案内をする。ナビゲーションシステム140は、現在位置取得部141、経路探索部142、経路案内部143、及び自律航法部144を含む。
【0057】
現在位置取得部141は、アンテナ190を介してGPS(Global Positioning System)衛星等の衛星測位システムの人工衛星から受信する信号、及び後述の自律航法部144から受信する加速度、角速度、及び車速を示す信号に基づいて現在位置を取得する。
【0058】
経路探索部142は、現在位置から目的地までの1つ以上の経路を算出する。
【0059】
経路案内部143は、経路探索部142が探索し、運転者が選択した経路に沿った目的地までの案内を、運転支援インターフェース110を介して出力する画像や音声等でする。
【0060】
自律航法部144は、加速度センサ、ジャイロセンサ、及び車速計測器を備え、これらによって計測され取得される自動運転車100の加速度、角速度、及び車速を示す信号を上述の現在位置取得部141に送信する。
【0061】
現在位置取得部141が取得した現在位置、経路探索部142が探索した経路、及び経路案内部143がする案内は、記憶部180又はアンテナ190を介して自車両の外部から取得される地図情報及び交通情報と合わせて、運転支援インターフェース110を介して運転者に提示される。
【0062】
上記のような現在位置取得部141、経路探索部142、経路案内部143、及び自律航法部144は、ナビゲーションシステム140のECUがプログラムを読み出して実行し、必要に応じてセンサからデータを取得したり、記憶部180に保存される地図情報等のデータを参照したりすることで実現される構成要素である。
【0063】
自動運転システム150は、検出部151、認識部152、状況判断部153、運転制御部154、自車両監視部155、選択部156、及び通信部157を備える。
【0064】
検出部151は、自動運転車100の周囲状況を検出する各種のセンサ(検出器)からなる。各種のセンサの例には、イメージセンサ、レーダー、及びライダーが含まれる。これらのセンサは、検出した周囲状況を示す画像、反射波、又は反射光等のデータとして出力される。
【0065】
認識部152は、検出部151から出力されたデータに基づいて、周囲状況について対象を認識する。
【0066】
図2の例では、自動運転システム150は複数の認識部152を備え、互いに異なる対象を認識する。ここでいう「異なる対象の認識」とは、例えばある認識部152は自動運転車100周辺の道路表示を認識し、他の認識部152は他の通行体を認識するといった認識される物が異なることを指す。また別の例として、ある認識部152は認識した物のある位置(方向及び距離)を認識し、他の認識部152は認識した物の動き(速さ及び方向)、さらに他の認識部152は認識した物の動き予測をすることを指す。別の表現をすると、各認識部152は、周囲状況の認識において異なる役割を果たす。
【0067】
また、自動運転システム150は上述の車上の認識部152に加えて、車外にある上述の認識システム200(図1参照)も認識部として利用することができる。認識システム200は、自動運転システム150が通信部157を介して送信する検出部151からのデータに基づいて、周囲状況について対象を認識する。認識システム200も各認識部152とは異なる対象を認識する。また、例えば認識システム200は、認識する物が認識部152とは同一であってもより高度な認識をすることができる。より高度な認識とは、例えば同じ画像データから、認識部152は人とその位置を認識し、認識システム200はさらにその人の年代、行動、又は所持品等を特定する。あるいは、同じ画像データから、認識部152は道路標識とその位置を認識し、認識システム200はさらにその標識の指示内容を特定する。このような認識内容の差も、本実施の形態における、「異なる対象の認識」の一例である。
【0068】
なお、各認識部152及び認識システム200の認識の対象は、安全性の観点から冗長性を確保するために一部重複していてもよい。
【0069】
状況判断部153は、認識部152又は認識システム200による認識の結果に基づいて危険予測をしたり、必要に応じて運転者による運転操作部120の操作が現在又は予測される状況に照らして適切か否かを判断したりする。また、この危険予測や適否の判断の結果に基づいて、自動運転システム150が運転操作部120を操作するか否か判断し、自動運転システム150が操作をする場合にはその内容を決定する。一例としては、状況判断部153は、車線の左右の白線との距離を示す周囲情報に基づいて車線内での自動運転車100の左右位置を判断し、自動運転車100が車線の近傍付近を離れて一方の白線から一定の距離の範囲内に入っている状況がある時間継続している場合に、自動運転車100を車線の中央に寄せる操舵系の操作の実行及びその内容を決定する。
【0070】
運転制御部154は、状況判断部153が決定した操作を実現するための制御信号を運転操作部120に送信する。この制御信号を受信した運転操作部120においては、自動運転車100の駆動系、制動系、及び操舵系がこの制御信号に従って動作し、ステアリング及び各ペダルも必要に応じて動作する。
【0071】
自車両監視部155は、自動運転車100の状態を常時(又はミリ秒単位のごく短い時間周期で)監視する。この監視の対象には、例えば上記の検出部151に含まれる各種の検出器又は通信部157が含まれる。より具体的には、検出器又は通信部157の故障の有無等の稼動状況が監視される。
【0072】
また、各検出器との通信の速度又は接続の有無、及び通信部157の通信品質(例えば通信速度、通信のための接続の有無、通信の安定性)又は通信の実行の有無も監視の対象となり得る。例えば、通信速度が、周囲状況の検知から運転制御までに送受信されるデータ量及びその処理速度に応じて決定される閾値を超えているか否かについて監視される。
【0073】
その他、各検出器や通信部157の動作に影響し得る自動運転車100の構成要素の状況も監視の対象であってもよい。例えば自動運転車100バッテリーの残量、自動運転システム150のリソース消費量が監視の対象に含まれてもよい。
【0074】
自車両監視部155は、例えば自動運転車100が備えるCAN(Controller Area Network、図示なし)で伝送される車載の各機器の制御情報(CAN情報)から、各機器又は自動運転車100の状態に関する情報(状態情報)を抽出することで上記の監視を実行する。
【0075】
自車両監視部155は、このような稼動状況等を示す情報を選択部156に随時提供する。
【0076】
選択部156は、自車両監視部155から提供された情報に基づいて、認識部152及び認識システム200から、上述の対象の認識を実行するもの、又は対象の認識を実行しないものを選択する。
【0077】
例えば、認識システム200との通信速度が上記の閾値を超えている間、選択部156は、対象の認識を実行する認識器として認識システム200を選択する。また、稼動状況を示す情報がいずれかの検知器の故障を示す場合、選択部156は、故障している検知器が出力するデータを認識に使用する認識部(認識部152又は認識システム200)を、対象の認識を実行しない認識部として選択する(またはその認識部以外を、対象の認識を実行する認識部として選択する)。
【0078】
選択部156は、このような選択を所定の規則に従って実行する。この所定の規則は、例えば記憶部180に保存される各種データに含まれる。選択部156は、自車両監視部155から、例えば検知器の所定の動作状態を示すコードが通知されると、当該データを参照してこのコードに対応する規則を取得し、この規則に従って認識部の選択を実行する。
【0079】
図3は、このデータの例を示す図である。図3の例では、通信不良(コード:01-001)の場合には、車外の認識部、つまり認識システム200は対象の認識を実行しない認識部として選択される。または、この規則に対し、選択部156は、車上の認識部152のみを対象の認識を実行する認識部として選択してもよい。
【0080】
また、検出器2の故障については規則の中に2つのエントリー(コード:02-020、02-021)があり、対象の認識を実行しない認識部として選択される認識部152の数が異常レベルに応じて異なる。例えば検出器2は、車両の前方を映す2個1組のカメラからなるステレオカメラと想定する。また、認識部152の一である認識部-02は、その2個のカメラから受け取る画像データに基づいて車両前方の物体までの距離の情報を取得することができると想定する。そして認識部-03は、1組のカメラの少なくとも一方から受け取る画像データに基づいて自車両前方の物体の有無及び方向の情報を取得することができると想定する。検出器2の異常レベルAの故障(コード:02-020)は、1組のカメラの一方のみの故障を示す。この場合、距離の取得に必要なデータが得られない認識部-02が対象の認識を実行しない認識部として選択される。また、検出器2の異常レベルBの故障(コード:02-021)は、1組のカメラ両方の故障である。この場合、認識部-02に加えて、認識部-03も対象の認識を実行しない認識部として選択される。
【0081】
また、バッテリーの残量が所定の閾値未満である場合(コード:03-010)、例えば電力消費量が大きい検出器から出力されるデータを用いる認識部152が対象の認識を実行しない認識部として選択されたり、又は安全の観点から優先度の高い認識部のみが対象の認識を実行する認識部として選択されたりして、稼動する認識部が制限される。
【0082】
なお、図3には例示されてないが、上述した自動運転システム150のリソースの余裕不足等のパフォーマンス低下の徴候が検知されている場合も、稼動する認識部が制限され得る。
【0083】
また、選択部156は、自車両監視部155から出力された情報に基づいて実際にしている選択の状況(選択結果)を示す選択情報を出力する。この選択情報は、情報提示制御装置160に提供される。
【0084】
通信部157は、上述のとおり、検出部151が出力したデータを車外の認識システム200に送信し、認識システム200の認識結果を受信して状況判断部153に送る。また、選択部156が出力した選択情報を情報提示制御装置160に送信する。
【0085】
図4は、上記のように構成される自動運転システム150における、自動運転車100の状態に応じて認識部を選択し、選択情報を提供するまでの動作の手順例を示すフロー図である。この例では、通信部157を介した通信の速度に応じた認識部の選択がなされる。
【0086】
自動運転システム150において、自車両監視部155は通信部157の通信速度を示す状態情報を取得する(ステップS40)。
【0087】
選択部156は、この状態情報に基づいて、対象の認識を実行する認識部又は実行しない認識部を選択する。通信の速度が所定の閾値を超える場合(ステップS41でYES)、選択部156は車外の認識部である認識システム200を、対象の認識を実行する認識部として選択する(ステップS42)。通信の速度が所定の閾値に未満である場合(ステップS41でNO)、選択部156は車上の認識部の少なくとも一部を、対象の認識を実行する認識部として選択する(ステップS43)。
【0088】
次に選択部156は、上記の手順を経て実際にしている選択の状況を示す選択情報を、情報提示制御装置160に提供するために出力する(ステップS44)。出力される選択情報は、情報提示制御装置160に送信されてもよいし、記憶部180に書き込まれて各種データの一部として保存されてもよい。
【0089】
なお、ステップS43では、上記の選択に代えて、又は加えて、車外の認識部を、対象の認識を実行しない認識部として選択するという選択が実行されてもよい。
【0090】
上記のような自動運転システム150の各構成要素は、自動運転システム150のECUが記憶部180からプログラムを読み出して実行し、必要に応じてセンサからデータを取得したり、通信モジュールを介してデータを送受信したり、記憶部180に保存される各種のデータを参照したりすることで実現される。
【0091】
情報提示制御装置160は、選択情報取得部161、及び提示制御部166を備える、本実施の形態における情報提示制御装置の例である。
【0092】
選択情報取得部161は、自動運転車100の周囲状況について互いに異なる対象を認識する複数の認識部の選択状況を示す選択情報を取得する。本実施の形態では、選択情報取得部161は、自動運転システム150から送信された、選択部156が実際にしている、複数の認識部からの認識部の選択結果、より具体的には、対象の認識を実行する認識部又は対象の認識を実行しない認識部の少なくとも一方の選択の状況である選択情報を受信することで取得する。
【0093】
提示制御部166は、選択情報取得部161が取得した選択情報に応じて、自動運転車100の自動運転システム150による運転及び運転者による運転の少なくとも一方に関する情報である運転情報を提示装置に提示させる。
【0094】
ここで、「運転情報」とその提示について、より詳細に説明する。
【0095】
運転情報は、自動運転車の運転者に、運転者が自分ですべき運転の内容を知らせるための情報である。ここでいう運転の内容とは、認識、推定、判断、及び操作の各種の運転行動を指す。そして運転情報は、例えば自動運転システム150で、ある対象の認識がされない時に、この対象の認識、又はこの認識に基づく推定、判断、さらにこの推定若しくは判断に基づく操作を示す情報であり、自動運転システム150が実行しない若しくは実行していないこと、又は運転者が自分ですべき運転行動として運転者に提示される。
【0096】
この運転情報の提示は、例えば自動運転車100の運転者の求めに応じて随時、あるいは自動運転システム150が実行可能な制御若しくは実行不可能な制御に変化が生じたときに、提示装置を通じて音声又は画像の少なくとも一方を用いて行われる。この画像とは、運転者が視覚的に認識できる表示物であれば表示の態様は問わない。運転情報には、運転席周辺にある表示灯、又は表示装置に表示される静止画若しくは動画のいずれを用いて提示されるものも含まれ得る。
【0097】
このような運転情報は、選択情報取得部161が取得した選択情報に応じて提示制御部166によって取得される。例えば、図5に示されるような、認識部の選択状況に応じて提示される情報を示すデータが記憶部180にあらかじめ保存されており、提示制御部166は、このデータを参照して、選択部156から提供された選択情報に基づいて、自動運転システム150でこれから実行する運転の内容若しくはこれから実行しない運転の内容、又は現在実行されている運転の内容若しくは実行されていない運転の内容の情報を取得し、この情報を運転情報として運転者に提示する。
【0098】
例えば提示制御部166は、認識部152の1つである認識部-01が対象の認識を実行している認識部として選択されている状況を示す選択情報を新たに受けた場合を想定する。この場合、提示制御部166は、「認識部」の列で「認識部-01」を探し、データ行の1行目でこれを見つける。次に、同行の左から2列目を参照して、レーンキープのための自動操舵が可能である情報を取得する。そして提示制御部166はこの情報を所定のテンプレートメッセージの可変部分に代入したメッセージを表示部に表示して、又はスピーカーからの音声で出力して運転情報を運転者に提示する。
【0099】
提示制御部166による運転情報の提示の態様の別の例を挙げる。図5のテーブルでは、「認識実行時の提示情報1」の列には、各認識部が対象の認識を実行している認識部として選択されているときに表示装置に表示される画像データの名前が示されている。
【0100】
また、「認識実行時の提示情報2」の列には、各認識部が選択されているときにこの表示装置に表示される文字列データの名前が示されている。
【0101】
また、「認識非実行時の提示情報1」の列には、各認識部が対象の認識を実行しない認識部としての選択されているときにスピーカーから出力される音声データの名前が示されている。
【0102】
これらの画像データ、文字列データ、及び音声データは、それぞれが運転情報を示すデータであり、記憶部180に保存されている。提示制御部166は、図5のテーブルを参照して選択情報取得部161が取得した選択情報に基づいて各データを取得し、このデータの内容を、画像や文字列として表示装置に表示させたり、音声メッセージとしてスピーカーから出力させたりすることで運転情報として運転者に提示してもよい。なお、情報提示の他の例としては、点灯させる表示灯又はさらにその表示態様(点灯、点滅、照明灯の色等)が各認識部の選択の状況ごとに図5に示されるようなテーブルで指定される。提示制御部166はその指定に従って表示灯を動作させることで運転情報を提示する。
【0103】
図6は、上記のように構成される情報提示制御装置160における、選択情報の取得から運転情報の提示までの動作の手順例を示すフロー図である。
【0104】
情報提示制御装置160において、自動運転システム150が出力した選択情報を選択情報取得部161が取得すると(ステップS61でYES)、提示制御部166が、この選択情報に基づいて運転情報を取得する(ステップS62)。
【0105】
次に提示制御部166は、取得したこの運転情報を、適切な提示装置によって運転者に対して提示させる(ステップS63)。
【0106】
上記のような選択情報取得部161及び提示制御部166は、情報提示制御装置160のECUがプログラムを読み出して実行し、必要なデータを他の構成要素から取得したり、記憶部180に保存されるデータを参照したりすることで実現される構成要素である。
【0107】
ここまで自動運転システム150及び情報提示制御装置160それぞれの動作について説明した。以下では、自動運転システム150及び情報提示制御装置160を備える自動運転車100での認識部の選択から運転情報の提示までの一連の流れの具体的な例を挙げる。
【0108】
例えば、自動運転システム150では、自車両監視部155がする監視において取得された状態情報(図4のステップS40)に基づいて、通信部157がしている通信の速度が所定の閾値未満であると判明した場合(図4のステップS41でNO)、選択部156は、この判明の結果を受けて車上の認識部152を対象の認識をする認識器として選択する(図4のステップS43)。
【0109】
このとき、対象の認識をする車上の認識器として選択されたのが認識部-01であると想定する。認識部-01は、検出部151から取得する画像データに基づいて、車線内での左右位置を認識し、状況判断部153にこの認識結果を示す情報を提供する。状況判断部153はこの情報に基づいて車線内での左右位置の適否を判断し、不適切な場合には適切な左右位置に自車両を戻すステアリング操作を運転制御部154にさせる。
【0110】
このような認識部の選択の状況を示す選択情報が、選択部156から出力されて情報提示制御装置160に提供される(図4のステップS44)。
【0111】
選択情報取得部161がこの選択情報を取得すると(図6のステップS61)、提示制御部166がこの選択情報に基づいて、図5のテーブルを参照して運転情報のデータを取得する(ステップS62)。上記の想定では、図5のテーブルを参照して取得されるデータは、画像データimgLaneKeep及び文字列データtxtLaneKeepである。提示制御部166がこれらのデータを提示装置のうち表示装置に提示させた(ステップS63)例を示すのが図7である。
【0112】
この例では、画面左半分に表示される画像は、図5のテーブルに示される画像データimgLaneKeepに対応し、画面右半分に表示されるメッセージは、文字列データtxtLaneKeepに対応する。
【0113】
表示装置では、画像データimgLaneKeepを用いて、認識部-01が選択されているときに自動運転システム150によって実行されているレーンキープが示される。なお、レーンキープは、認識、判断又は推測、及び操舵系の操作を含む運転である。
【0114】
また、文字列データtxtLaneKeepを用いて、認識部-01が選択されているときに自動運転システム150によって実行されているレーンキープが画面右上方に示される。さらに、画面右下方では、運転者による運転に関する情報が示されている。なお、運転者による運転に関する情報は、自動運転システム150が実行しない又は実行していない運転の内容でもある。この表示により、運転者は自分でする必要がある運転行動を知ることができる。
【0115】
なお、このテキストは、運転者が表示装置の画面を注視しなくていいように、自動的に、又は運転者の要求に応じて読み上げられてもよい。
【0116】
また別の例として、通信部157がしている通信の速度が所定の閾値未満であると判明した場合(図4のステップS41でNO)に、選択部156は、車上の認識部152のうち、対象の認識をする車上の認識器として認識部-03を選択した場合(図4のステップS43)を想定する。
【0117】
認識部-03は、検出部151から取得するデータに基づいて、自動運転車100の路面上の位置を認識し、状況判断部153にこの認識結果を示す情報を提供する。状況判断部153はこの情報に基づいて路面上での位置の適否を判断し、不適切な場合には適切な位置に自車両を戻すステアリング操作、アクセル操作、及びブレーキ操作のうち必要なものを運転制御部154にさせる。
【0118】
このような認識部の選択の状況を示す選択情報が、選択部156から出力されて情報提示制御装置160に提供される(図4のステップS44)。
【0119】
選択情報取得部161がこの選択情報を取得すると(図6のステップS61)、提示制御部166がこの選択情報に基づいて、図5のテーブルを参照して運転情報のデータを取得する(ステップS62)。上記の想定では、図5のテーブルを参照して取得されるデータは、画像データimgSfcKeep及び文字列データtxtSfcKeepである。提示制御部166がこれらのデータを提示装置のうち表示装置に提示させた(ステップS63)例を示すのが図8である。
【0120】
この例では、画面左半分に表示される画像は、図5のテーブルに示される画像データimgSfcKeepに対応し、画面右半分に表示されるメッセージは、文字列データtxtSfcKeepに対応する。
【0121】
表示装置では、画像データimgSfcKeepを用いて、認識部-03が選択されているときに自動運転システム150によって実行されている路面キープ運転が示される。なお、路面キープは、認識、判断又は推測、並びに駆動系、制動系、及び操舵系の操作を含む運転である。
【0122】
また、文字列データtxtSfcKeepを用いて、認識部-03が選択されているときに自動運転システム150によって実行されている路面キープ運転が画面右上方に示される。さらに、画面右下方では、運転者による運転に関する情報が示されている。この表示により、運転者は自分でする必要がある運転行動を知ることができる。なお、運転者による運転に関する情報は、自動運転システム150が実行しない又は実行していない運転の内容でもある。
【0123】
また別の例として、通信部157がしている通信の速度が所定の閾値以上であると判明した場合(図4のステップS41でYES)に、選択部156は、車外の認識部(認識システム200)を、対象の認識をする認識器として選択した場合を想定する(図4のステップS42)。
【0124】
認識システム200は、検出部151から取得するデータに基づいて、自車両の前方の人その他通行体の飛び出しの発生を予測し、状況判断部153にこの予測結果を示す情報を提供する。状況判断部153はこの情報に基づいて、減速のためのブレーキング、衝突の回避のためのステアリング操作を運転制御部154にさせる。
【0125】
このような認識部の選択の状況を示す選択情報が、選択部156から出力されて情報提示制御装置160に提供される(図4のステップS44)。
【0126】
選択情報取得部161がこの選択情報を取得すると(図6のステップS61)、提示制御部166がこの選択情報に基づいて、図5のテーブルを参照して運転情報のデータを取得する(ステップS62)。上記の想定では、図5のテーブルを参照して取得されるデータは、画像データimgRushPred及び文字列データtxtRushPredである。提示制御部166がこれらのデータを提示装置のうち表示装置に提示させた(ステップS63)例を示すのが図9である。
【0127】
この例では、画面左半分に表示される画像は、図5のテーブルに示される画像データimgRushPredに対応し、画面右半分に表示されるメッセージは、文字列データtxtRushPredに対応する。
【0128】
表示装置では、画像データimgRushPredを用いて、認識システム200が選択されているときに自動運転システム150によって実行されている飛び出し予測が示される。なお、飛び出し予測は、認識、判断又は推測、並びに制動系及び操舵系の操作を含む運転である。
【0129】
また、文字列データtxtRushPredを用いて、認識システム200が選択されているときに自動運転システム150によって実行されている飛び出し予測が画面右上方に示される。さらに、画面右下方では、運転者による運転に関する情報が示されている。この表示により、運転者は自分でする必要がある運転行動を知ることができる。なお、運転者による運転に関する情報は、自動運転システム150が実行していない運転の内容でもある。
【0130】
このように、本実施の形態における、情報提示制御装置160は、選択情報取得部161と、提示制御部166とを備える。
【0131】
選択情報取得部161は、自動運転車100の周囲状況について互いに異なる対象を認識する複数の認識部(認識部152及び認識システム200)の選択状況を示す選択情報を取得する。
【0132】
提示制御部166は、その選択情報に応じて、自動運転車100が実行可能な制御および実行不可能な制御の少なくとも一方に基づく、自動運転車100の自動運転システム150による運転及び運転者による運転の少なくとも一方に関する運転情報を、自動運転車100に搭載される提示装置に提示させる。
【0133】
これにより運転者に、自動運転車の車両上の状況に応じて変化する自動運転システムによる運転又は自身がすべき運転行動についての情報(運転情報)を提供することができる。
【0134】
例えば複数の認識部の選択状況は、複数の認識部からの、対象の認識を実行する認識部又は対象の認識を実行しない認識部の選択の状況である。
【0135】
これにより情報提示制御装置160は、自動運転システム150において認識される対象、又はされない対象を示す情報に基づいて運転情報を運転者に提供することができる。
【0136】
例えば選択情報取得部161は複数の認識部からの認識部の選択結果を示す選択情報を自動運転システム150から取得する。
【0137】
これにより情報提示制御装置160は、自動運転システム150における認識部の実際の選択状況に基づいて運転情報を運転者に提供することができる。
【0138】
なお、選択情報の提供及び取得の態様は上記に限られない。
【0139】
例えば、選択情報取得部161は、自動運転システム150において選択のための判断に用いられる選択判断材料情報を取得し、この選択判断材料情報に基づいて選択状況を推定することで選択情報を取得してもよい。
【0140】
ここでいう選択判断材料情報とは、認識部の選択のための判断に、用いられる情報であり、例えば上記の自車両監視部155から提供される情報である。選択情報取得部161では、選択部156が用いるのと共通のアルゴリズムに従ってこの選択判断材料情報を処理する。これにより、選択情報取得部161は選択部156が選択する認識部を推定することで、選択状況を示す選択情報を取得する。
【0141】
また例えば、選択情報取得部161は、対象の認識に利用される情報を取得するための、自動運転車100が有する検出部151又は通信部157の稼動状況を示す情報を取得し、稼動状況を示す情報に基づいて、選択される認識部を判断することで選択情報を取得してもよい。
【0142】
ここでいう稼動状況を示す情報とは、例えば自車両監視部155が取得するCAN上の制御情報である。選択情報取得部161では、この情報に基づいて、対象の認識の実行が不可能な認識部を判断する。
【0143】
これらのようにすることで、情報提示制御装置160は、自動運転システム150での選択部156による認識部の選択を待つことなく選択情報を取得できるため、運転情報を運転者に速やかに提供することができる。
【0144】
また、上記の稼動状況を示す情報は、検出部151が有する検出器の異常を示す情報を含み、対象の認識を実行しない認識部は、異常がある検出器が出力する検出結果を対象の認識に用いる認識部を含んでもよい。
【0145】
また、上記の稼動状況を示す情報は、通信部157の通信品質又は通信の実行の有無を示す情報を含み、通信部157により通信される情報を対象の認識に用いるように構成されている認識部を含んでもよい。
【0146】
これにより情報提示制御装置160は、対象の認識に必要な情報を取得できているか否か、又は認識の結果のデータを発信できているかに応じて選択される認識部の選択状況を反映した運転情報を運転者に提供することができる。
【0147】
また、提示装置は、音又は画像の少なくとも一方を用いて運転者に運転情報を提示する。
【0148】
これにより情報提示制御装置160は、運転情報を、運転中の運転者に、音、動画、静止画、若しくは表示灯による視覚情報、又はこれらの組み合わせを用いて随時提示することができる。
【0149】
そして、運転情報は、自動運転システム150が実行しない運転の内容を含む情報である。
【0150】
このような情報は、自動運転システム150が実行していなくて、運転者が自分でする必要がある運転行動を示すものである。つまりこの情報が提示されることで、運転者は自分ですべき運転行動を把握することができる。
【0151】
(実施の形態の変形例)
実施の形態の変形例における情報提示制御装置は、情報提示制御装置160と同じく、自動運転システムを備える自動運転車に搭載される。以下では実施の形態との差異点を中心に説明し、共通の構成要素は共通の参照符号を用いて示し、説明は省略する。
【0152】
図10は、自動運転車1100の機能構成を示す機能ブロック図である。
【0153】
本変形例における自動運転車1100が備える自動運転システム1150では、認識部の選択に、実施の形態に加えてさらに別の情報を用いることができる。
【0154】
自動運転システム1150は、実施の形態の構成要素に加えて、走行場所情報取得部1151、運転者状態情報取得部1152、及び車外環境情報取得部1153を備える。
【0155】
走行場所情報取得部1151は、記憶部180に保存される地図情報に基づいて、自動運転車1100が走行している場所の特徴を示す走行場所情報を取得する。
【0156】
ここでいう「走行している場所の特徴」とは、例えば一般道か高速道路であるか等の道路の区分、直線が続くか蛇行が続くか等の道路の形状、都市部、市街地、又は山間部等の地域の種別、トンネルの中か外か等の特殊な状況のことである。なお、自動運転車1100が走行している場所、つまり現在位置は、例えばナビゲーションシステム140の現在位置取得部141からこれを示す情報が提供される。走行場所情報取得部1151が取得した走行場所情報は、選択情報取得部161に出力される。
【0157】
運転者状態情報取得部1152は、自動運転車1100の車室に居る運転者を監視して、運転者の身体の状態を示す運転者状態情報を取得する。
【0158】
ここでいう「運転者の身体の状態」とは、例えば運転者の疲労度、集中度、覚醒度、体調変化等、安全な運転の遂行に影響し得る状態を指す。このような運転者状態情報は、運転者状態情報取得部1152が含む、運転者を撮影又は運転者の生体データを計測する各種のセンサ等(図示なし)が出力するデータ、又は自動運転車1100の運転状況(例えば連続運転時間、運転者による運転操作部120への操作の状況)を示すCAN情報のデータを、運転者状態情報取得部1152が解析して取得してもよい。運転者状態情報取得部1152が取得した運転者状態情報は、選択情報取得部161に出力される。
【0159】
車外環境情報取得部1153は、自動運転車1100の車外環境を示す車外環境情報を取得する。
【0160】
ここでいう「車外環境」とは、例えば自動運転車1100が走行している場所における天候や明るさ等の自車両の外の状況、又はこれらを間接的に示すもの(例:気温、時刻、視界、路面状況)である。このような車外環境情報は、車外環境情報取得部1153が含むセンサ(図示なし)によって検知されてもよいし、自動運転システム150の検出部151が含む各検出器が出力するデータを取得した車外環境情報取得部1153が、このデータを解析して取得してもよい。あるいは、通信部157を介して自動運転システムの外部からの取得可能な情報(例:インターネットで配信されている各地の気象情報又は交通情報)を車外環境情報として取得してもよい。車外環境情報取得部1153が取得した車外環境情報は、選択部156に出力される。
【0161】
上記のような、走行場所情報取得部1151、運転者状態情報取得部1152、及び車外環境情報取得部1153は、情報提示制御装置160のECUがプログラムを読み出して実行し、必要に応じてセンサからデータを取得したり、記憶部180に保存されるデータを参照したりすることで実現される構成要素である。
【0162】
一方、選択部156は、自車両監視部155が検知した異常に加えて、走行場所情報取得部1151から受け取る走行場所情報が示す特徴にさらに応じて認識部を選択してもよい。または、選択部156は、運転者状態情報取得部1152から受け取る運転者状態情報が示す運転者の身体の状態にさらに応じて認識部を選択してもよい。または選択部156は、車外環境情報取得部1153から受け取る車外環境情報が示す車外環境に応じて認識部を選択してもよい。以下に、これらの情報に応じてなされる認識部の選択について具体例を用いて後述する。
【0163】
図11Aは、上記のように構成される自動運転システム1150における、選択部156の動作の一例を示すフロー図である。この例では、選択部156は、自車両監視部155が監視する通信状態に関する情報に加えて、走行場所情報取得部1151が出力する走行場所情報を用いている。
【0164】
選択部156は、自車両監視部155から提供される情報に基づいて通信状態の評価をする(ステップS80A)。具体的には、例えば通信速度が所定の閾値以上であれば通信状態が良好であると評価する。
【0165】
通信状態が良好な場合(ステップS80AでYES)、選択部156は、対象の認識を実行する認識部として、車外の認識部である認識システム200を選択する(ステップS84A)。
【0166】
通信状態が良好でない場合(ステップS80AでNO)、次に選択部156は、走行場所情報取得部1151から走行場所情報を取得する。
【0167】
走行場所が高速道路である場合(ステップS81Aで「高速道路」)、選択部156は、車上の認識部152のひとつである認識部-01を対象の認識を実行する認識部として選択する(ステップS82A)。この選択された認識部-01は、道路の通行帯を示す白線等の表示を認識する認識部である。
【0168】
走行場所が市街地の一般道である場合(ステップS81Aで「山間部一般道」)、選択部156は、認識部-01とは別の車上の認識部152である認識部-05を対象の認識を実行する認識部として選択する(ステップS83A)。選択された認識部-05は、例えば通行の妨げになる動物や石等の障害物を認識する認識部である。
【0169】
このように、選択部156によって所定のアルゴリズムに従って認識部が選択されると、選択情報が情報提示制御装置160に提供される(ステップS85A)。情報提示制御装置160では、提示制御部166がこの選択情報に応じた運転情報を取得して運転者に提示する。例えば認識部-01が選択された場合は、図7に示されるような運転情報が表示装置に提示される。
【0170】
図11Bは、情報提示制御装置160の動作の他の一例を示すフロー図である。この例では、運転者状態情報取得部1152が出力する運転者状態情報がさらに用いられている。
【0171】
選択部156は、自車両監視部155から提供される情報に基づいて通信状態の評価をする(ステップS80B)。
【0172】
通信状態が良好な場合(ステップS80BでYES)、選択部156は、対象の認識を実行する認識部として、車外の認識部である認識システム200を選択する(ステップS85B)。
【0173】
通信状態が良好でない場合(ステップS80BでNO)、次に選択部156は、走行場所情報取得部1151から走行場所情報を取得する。走行場所が高速道路である場合についてはこの例では省略する。
【0174】
走行場所が市街地の一般道である場合(ステップS81Bで「市街地一般道」)、次に選択部156は、運転者状態情報取得部1152から運転者状態情報を取得する。
【0175】
運転者状態情報が、運転者の集中度が低いことを示す場合(ステップS82Bで「低い」)、選択部156は、車上の認識部152のひとつである認識部-06を選択する(ステップS83B)。なお、選択された認識部-06は、通行人などの人を認識する認識部とする。
【0176】
運転者状態情報が、運転者の集中度が十分高いことを示す場合(ステップS82Bで「十分高い」)、選択部156は、認識部-06とは別の車上の認識部152である認識部-02を選択する(ステップS84B)。このとき選択された認識部-02は、例えば同一車線の前方を走る自動車までの距離(車間距離)を認識する認識部である。
【0177】
このように選択部156によって所定のアルゴリズムに従って認識部が選択されると、選択情報が情報提示制御装置160に提供される(ステップS86B)。情報提示制御装置160では、提示制御部166がこの選択情報に応じた運転情報を取得して運転者に提示する。例えば認識部-06が選択された場合は、図12に例示されるような運転情報が表示装置に提示される。この例では、画面左半分に表示される画像は、提示制御部166が参照する図5のテーブルに画像データimgPsnAvdとして示され、画面右半分に表示されるテキストメッセージは、文字列データtxtPsnAvdとして示されている。画像データimgPsnAvdは、認識部-06が選択されているときに自動運転システム1150が実行する人回避を示す。また、文字列データtxtPsnAvdは、認識部-06が選択されているときに自動運転システム1150が現在実行している運転(実行可能な運転)の内容を画面上方の枠内で、このとき運転者が自分でする必要がある運転行動(自動運転システム1150が実行していない運転の内容)を画面下方の枠内で示している。
【0178】
図11Cは、情報提示制御装置160の動作の他の一例を示すフロー図である。この例では、車外環境情報取得部1153が出力する車外環境情報がさらに用いられている。
【0179】
選択部156は、自車両監視部155から提供される情報に基づいて通信状態の評価をする(ステップS80C)。
【0180】
通信状態が良好な場合(ステップS80CでYES)、選択部156は、対象の認識を実行する認識部として、車外の認識部である認識システム200を選択する(ステップS86C)。
【0181】
通信状態が良好でない場合(ステップS80CでNO)、次に選択部156は、走行場所情報取得部1151から走行場所情報を取得する。走行場所が高速道路である場合についてはこの例では省略する。
【0182】
走行場所が市街地の一般道である場合(ステップS81Cで「市街地一般道」)、次に選択部156は、運転者状態情報取得部1152から運転者状態情報を取得する。運転者状態情報が、運転者の集中度が低いことを示す場合についてはこの例では省略する。
【0183】
運転者状態情報が、運転者の集中度が十分高いことを示す場合(ステップS82Cで「十分高い」)、次に選択部156は、車外環境情報取得部1153から車外環境情報を取得する。
【0184】
車外環境情報が、車外が十分明るいことを示す場合(ステップS83Cで「十分明るい」)、選択部156は、車上の認識部152のひとつである認識部-02を選択する(ステップS84C)。このとき選択された認識部-02は、例えば同一車線の前方を走る自動車までの距離(車間距離)を認識する認識部である。
【0185】
車外環境情報が、車外が雨天で暗いことを示す場合(ステップS83Cで「雨天で暗い」)、選択部156は、認識部-02とは別の車上の認識部152のひとつである認識部-04を選択する(ステップS85C)。ここで選択された認識部-04は、例えば道路標識の表示内容を認識する認識部である。
【0186】
このように選択部156によって所定のアルゴリズムに従って認識部が選択されると、選択情報が情報提示制御装置160に提供される(ステップS87C)。情報提示制御装置160では、提示制御部166がこの選択情報に応じた運転情報を取得して運転者に提示する。例えば認識部-04が選択された場合に、スピーカーからの音声メッセージで、「標識に従ってハンドルとブレーキの操作を行います」という自動運転システム1150が現在実行している運転(実行可能な運転)の内容、及び「歩行者や自転車に十分注意してハンドルとブレーキの操作をしてください」という運転者が自分でする必要がある運転行動(自動運転システム1150が実行していない運転の内容)を示す運転情報が運転者に提示される。
【0187】
上記で説明した、図11Aから図11Cに示されるような認識部の選択、及びこれに応じた運転情報の提示は、例えば自動運転車で自動運転システム150が自動運転を実行している間繰り返され、運転者は自分でする必要がある運転行動についての通知を随時受けることができる。
【0188】
なお、選択情報の提供及び取得の態様は上記に限られない。
【0189】
例えば、選択情報取得部161が取得する選択判断材料情報は、地図情報に基づいて取得される、自動運転車が走行している場所の特徴を示す走行場所情報を含んでもよい。また、選択判断材料情報は、運転者状態情報を含んでもよい。また、選択判断材料情報は、車外環境情報を含んでもよい。
【0190】
選択情報取得部161では、選択部156が用いるのと共通のアルゴリズムに従ってこの選択判断材料情報を処理する。つまり、図11Aから図11Cに記載される処理を、選択部156が用いる選択判断材料情報を用いて選択情報取得部161も実行することで選択部156が選択する認識部を推定して選択情報を取得してもよい。
【0191】
これにより情報提示制御装置160は、例えば自動運転システム1150による運転の内容が変更されるような変化が自動運転車1100の走行場所に生じた場合に、この変更を示す運転情報を運転者に提供することができる。または、自動運転システム1150による運転の内容が変更されるような変化が運転者の身体状況に生じた場合に、この変更を示す運転情報を運転者に提供することができる。または、自動運転システム1150による運転の内容が変更されるような変化が車外環境に生じた場合に、この変更を示す運転情報を運転者に提供することができる。
【0192】
なお、自動運転システム1150のリソースには限りがあるため、自動運転システム1150では、すべての検出器や認識部を常に稼動させて運転制御の補助又は代行できるとは限らない。したがって、自動運転システム1150による自動運転の内容は、選択部156によって選択された認識部によって取得される情報に基づいて可能なものに限定される。そして上述のとおり認識部の選択は、自車両上の機器の状況のみならず、走行場所、運転者の身体の状態、又は車外の環境によって変化する、優先して行われるべき自動運転の内容に合わせて変更される。上記で図11Aから図11Cを参照して説明された選択部156による認識部の選択はこの変更のための選択のアルゴリズムの例であり、本発明はこれらの例に限定されない。例えば走行場所情報、運転者状態情報、及び車外環境情報の組み合わせ、及びこれらの情報が用いられる順序は上記の説明どおりでなくてもよい。
【0193】
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態及び変形例を説明した。しかしながら、本開示における技術はこれらに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態及び変形例で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
【0194】
認識部152が認識する対象は上記の説明で例として挙げた車線、車間距離、人、及び障害物に限定されない。例えば認識の対象は、人のうち年少者や高齢者等のより細分化されたカテゴリであってもよい。あるいは、通行体の存否、通行体までの位置若しくは距離、動き予測に限定されず、特定の動作状態が認識されてもよい。例えば、通行体のふらつき、歩行者の携帯機器の画面への注視等の動作状態が認識されてもよい。また、このように細分化して認識した人や動作状態の認識に応じて自車両の周囲の状況の危険度を決定し、この危険度に応じて運転者との運転行動の分担を決定し、その決定内容を運転情報として提示装置に提示させてもよい。
【0195】
図13は、危険度の高い歩行者が認識された場合に表示装置で表示される運転情報の例である。この例では、選択部156は認識部-07を選択している。この選択状況を示す選択情報に応じて、情報提示制御装置160の提示制御部166は、図5に示されるテーブルを参照して、画像データimgSpdLmt及び文字列データtxtSpdLmtを取得し、これらのデータを用いて表示装置に図13の画像を表示させている。この画像では、自動運転システムによる運転に関する情報及び運転者による運転に関する情報の両方が運転情報として提示されている。
【0196】
また、上記の例では運転情報の提示には、画像、文字、及び音声の組み合わせのみが示されているが、これらのいずれかのみを用いて提示されてもよい。また、文字列を読み上げる音声のみならず、運転情報に変更があったことへの注意を喚起するための音が用いられてもよい。また、さらにステアリングホイールの振動やペダルの押し戻し等の触覚による通知と組み合わせられてもよい。
【0197】
また、上記の例示では、運転情報は主に車上の認識部間で選択に変更があったときに運転者に提示されているが運転情報の提示のタイミングはこれに限定されない。車外の認識部である認識システム200から車上の認識部に選択が変更されたときにも提示されてもよい。この場合、通信状態の不良によって認識システム200による認識の結果が利用できない旨の情報が提示されてもよい。車上の軽量な認識部による認識に基づく自動運転制御のほうが機能に制限が多いため、この場合は自動運転システムに拠る運転の補助や代行が少ないこと、つまり、自分ですべき運転行動が多いことについて運転者の注意を促すことができる。
【0198】
また、上記の説明において、運転情報は認識部の選択に変更があったときに運転者に提示される記載があるが、運転情報の提示のタイミングはこれに限定されない。例えば運転者が運転支援インターフェース110を通じて所定の動作や音声でする運転情報の提示の要求に対する応答として随時提示されてもよい。
【0199】
また、上記の説明において、情報提示制御装置では異常の検出に応えて認識部の選択が行われる記載があるが、この選択は例えば異常の有無の変化に応じて行われればよい。つまり、例えば何らかの異常がある場合に、その異常がないことを示す情報が選択部156に通知されたときにも選択部156は認識部の選択を実行してもよい。これにより、例えば通信状態が回復した場合や、車載のセンサの表面に付着していた障害物がなくなったことが自車両監視部155からの情報から判断できれば、選択部156は認識部の選択を実行する。なお、認識部の選択状況が変更されるきっかけは故障等の異常に限定されず、上述のとおり、自動運転車の現在位置、車外環境、又は運転者の身体の状態の変化等がきっかけになってもよい。
【0200】
また、本発明は、情報提示制御装置160が、ナビゲーションシステム140若しくは自動運転システム150(1150)、又はこれらの両方と統合されて自動運転車運転支援システムとして実現されて提供されてもよい。図14は、この例として自動運転システム1150と情報提示制御装置160とが統合されてなる自動運転車運転支援システム1000、及びこれを備える自動運転車2100の構成を示す図である。
【0201】
また、本発明は自動運転車100、1100、又は2100として実現され提供されてもよい。
【0202】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサなどのプログラム実行装置が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の情報提示制御装置を実現するプログラムは、次のとおりである。
【0203】
すなわち、このプログラムは、自動運転車に搭載されるコンピュータに、自動運転車に搭載される提示装置に情報を提示させる情報提示制御方法であって、自動運転車の周囲状況について互いに異なる対象を認識する複数の認識部の選択状況を示す選択情報を取得するステップと、選択情報に応じて、自動運転車が実行可能な制御及び実行不可能な制御の少なくとも一方に基づく、自動運転車の自動運転システムによる運転又は運転者による運転の少なくとも一方に関する運転情報を提示装置に提示させるステップとを含む運転情報提示方法を実行させる。
【0204】
また、プログラム実行装置がプログラムを実行することによって実現される情報提示制御装置160、自動運転システム150若しくは1500、又は自動運転車運転支援システム1000、及びこれらの各々が有する機能的な構成要素間での上記の機能分担は一例であって変更されてもよい。これらの構成要素及び機能を任意に分割したり組み合わせたりすることで実現される形態も本発明の範囲に含まれる。
【0205】
以上、一つ又は複数の態様に係る情報提示制御装置について、実施の形態に基づいて説明したが、本発明はこれらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【0206】
本発明は、自動運転車等に利用可能である。
【符号の説明】
【0207】
10 ネットワーク
100、1100、2100 自動運転車
1000 自動運転車運転支援システム
110 運転支援インターフェース
1151 走行場所情報取得部
1152 運転者状態情報取得部
1153 車外環境情報取得部
120 運転操作部
140 ナビゲーションシステム
150、1150 自動運転システム
151 検出部
152 認識部(車上の認識部)
153 状況判断部
154 運転制御部
155 自車両監視部
156 選択部
157 通信部
160 情報提示制御装置
166 提示制御部
180 記憶部
190 アンテナ
200 認識システム(車外の認識部)
300 通信回線
350 基地局
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11A
図11B
図11C
図12
図13
図14