(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023058521
(43)【公開日】2023-04-25
(54)【発明の名称】車載装置
(51)【国際特許分類】
B60W 30/095 20120101AFI20230418BHJP
B60W 40/04 20060101ALI20230418BHJP
B60W 50/14 20200101ALI20230418BHJP
G08G 1/16 20060101ALI20230418BHJP
G05D 1/02 20200101ALI20230418BHJP
【FI】
B60W30/095
B60W40/04
B60W50/14
G08G1/16 C
G05D1/02 J
【審査請求】有
【請求項の数】1
【出願形態】OL
(21)【出願番号】P 2023007909
(22)【出願日】2023-01-23
(62)【分割の表示】P 2020172987の分割
【原出願日】2017-09-29
(31)【優先権主張番号】P 2016193932
(32)【優先日】2016-09-30
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000005016
【氏名又は名称】パイオニア株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(74)【代理人】
【識別番号】100127236
【弁理士】
【氏名又は名称】天城 聡
(72)【発明者】
【氏名】後藤田 明
(72)【発明者】
【氏名】倉橋 誠
(72)【発明者】
【氏名】永田 宏
(57)【要約】 (修正有)
【課題】自動走行制御時の運転手の負担を軽減する車載装置を提供する。
【解決手段】本発明では、車両に搭載されたセンサの出力に基づき、対象物の状態を判断する監視部11と、状態に応じた処理を車両に実行させるための処理情報を生成する生成部12と、処理の原因となった対象物及び状態のうち少なくとも一方を示す原因情報を出力装置に出力させる制御部13と、原因情報で示される原因に起因する処理を変更するための入力を受付ける受付部14と、を有し、生成部12は受付部14の受付け結果に基づき処理が変更された処理情報を生成する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
車両に搭載された外界センサの出力に基づき、前記車両周辺の対象物及び前記対象物の状態を認識する監視部と、
前記状態に応じて前記車両を制御する車両制御部と、
前記制御の原因となった前記対象物及び前記状態のうち少なくとも一方を示す原因情報を出力装置に出力させる出力制御部と、
前記原因情報に応じた入力であって、前記制御を変更するための入力を受付ける受付部と、
を有する車載装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載装置に関する。
【背景技術】
【0002】
特許文献1は、車両の走行を制御するための走行制御装置を開示している。当該走行制御装置は、運転手や乗員が自動走行制御に対して感じる違和感や不安を軽減するよう構成されている。具体的には、当該走行制御装置は、外界センサ等から受信した外界認識情報と、自車両の位置及び走行速度を含む情報である自車両情報とに基づき、自車両が取るべき運転行動内容を決定する手段と、当該運転行動内容を決定する理由になった運転行動要因を特定する手段と、運転行動内容及び運転行動要因を出力する手段とを有する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載の技術により、車両の運転手は、自動走行制御により制御された内容(運転行動内容)及び当該制御の原因(運転行動要因)を把握することができる。しかし、特許文献1は、把握した後の処理に関する開示がない。
【0005】
例えば、制御の原因に問題(誤検知等)が存在し、その内容の制御が不要な場合が存在し得る。また、コンピュータによる制御の内容と原因に問題はないが、コンピュータで認識できない何らかの理由により、その原因に基づくその制御が不要になる場合がある。例えば、前方の横断歩道付近で立っている複数の歩行者を検出(原因)したため、当該横断歩道の手前で自車両を減速・停止させたが(制御内容)、その歩行者達はそこで会話をしているだけで、横断の意思を有さない場合がある。この場合、その歩行者達と運転手との間のコミュニケーション等により、運転手はその状況を把握できる。しかし、コンピュータがその状況を把握するのは難しい。
【0006】
このような場合の処理の一例として、自動運転から手動運転に切り替える例が考えられる。しかし、このような状況が生じる都度、手動運転への切り替えを要求されると、運転手の負担が大きくなり、自動運転のメリットが薄れてしまう。また、車両が完全自動運転車であり、運転手が運転技能を有しない場合は、自動運転から手動運転への移行が出来ない。
【0007】
本発明の課題の一例は、自動走行制御時の運転手の負担を軽減することである。
【課題を解決するための手段】
【0008】
本発明は、
車両に搭載されたセンサの出力に基づき、対象物の状態を監視する監視部と、
前記状態に応じた処理を前記車両に実行させるための処理情報を生成する生成部と、
前記処理の原因となった前記対象物及び前記状態のうち少なくとも一方を示す原因情報を出力装置に出力させる制御部と、
前記原因情報で示される前記原因に起因する前記処理を変更するための入力を受付ける受付部と、
を有し、
前記生成部は、前記受付部の受付け結果に基づき、前記処理が変更された処理情報を生成する車載装置である。
【0009】
本発明は、
コンピュータが、
車両に搭載されたセンサの出力に基づき、対象物の状態を監視する監視工程と、
前記状態に応じた処理を前記車両に実行させるための処理情報を生成する生成工程と、
前記処理の原因となった前記対象物及び前記状態のうち少なくとも一方を示す原因情報を出力装置に出力させる制御工程と、
前記原因情報で示される前記原因に起因する前記処理を変更するための入力を受付ける受付工程と、
を実行し、
前記生成工程では、前記受付工程の受付け結果に基づき、前記処理が変更された処理情報を生成する制御方法である。
【0010】
本発明は、
コンピュータを、
車両に搭載されたセンサの出力に基づき、対象物の状態を監視する監視手段、
前記状態に応じた処理を前記車両に実行させるための処理情報を生成する生成手段、
前記処理の原因となった前記対象物及び前記状態のうち少なくとも一方を示す原因情報を出力装置に出力させる制御手段、
前記原因情報で示される前記原因に起因する前記処理を変更するための入力を受付ける受付手段、
として機能させ、
前記生成手段は、前記受付手段の受付け結果に基づき、前記処理が変更された処理情報を生成するプログラムである。
【図面の簡単な説明】
【0011】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
【0012】
【
図1】本実施形態の車窓装置の機能ブロック図の一例を示す図である。
【
図2】本実施形態の車載装置のハードウエア構成の一例を示すブロック図である。
【
図3】本実施形態の車載装置が処理するデータの一例を模式的に示す図である。
【
図4】本実施形態の車載装置により出力される画像の一例を模式的に示す図である。
【
図5】本実施形態の車載装置により出力される画像の一例を模式的に示す図である。
【
図6】本実施形態の車載装置により出力される画像の一例を模式的に示す図である。
【
図7】本実施形態の車載装置の処理の流れの一例を示すフローチャートである。
【
図8】本実施形態の車載装置により出力される画像の一例を模式的に示す図である。
【
図9】本実施形態の車載装置により出力される画像の一例を模式的に示す図である。
【
図10】本実施形態の車載装置が処理するデータの一例を模式的に示す図である。
【
図11】本実施形態の車載装置の処理の流れの一例を示すフローチャートである。
【
図12】本実施形態の車載装置が処理するデータの一例を模式的に示す図である。
【
図13】本実施形態の車載装置の処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0014】
まず、本実施形態の概要を説明する。本実施形態の車載装置は、自車両に搭載されたセンサの出力に基づき、対象物(例:歩行者、前方車両等)の状態を監視する。そして、本実施形態の車載装置は、対象物の状態に応じた処理(例:減速、停止、後退、車線変更、加速、進路変更)を自車両に実行させる。
【0015】
また、本実施形態の車載装置は、処理の原因となった対象物及び状態のうち少なくとも一方を示す原因情報を出力装置に出力させる。さらに、本実施形態の車載装置は、当該原因情報で示される原因に起因する処理を変更する入力を受付ける。例えば、当該原因に起因する処理を解除する入力や、当該原因となった対象物やその状態の認識結果を変更する入力等を受付ける。そして、本実施形態の車載装置は、当該入力に従い自車両を制御する。
【0016】
本実施形態の概要の理解をより深めるため、一例を説明する。例えば、本実施形態の車載装置は、一または複数の歩行者が前方の横断歩道付近で立っていることを検出すると、それに応じて、当該横断歩道の手前で自車両を減速・停止させる。そして、本実施形態の車載装置は、実行中の「減速・停止」の原因として、「その歩行者達」、「その歩行者達が横断歩道付近で立っていること」、「歩行者が横断歩道付近で立っていること」等を通知する。当該通知により、運転手は、自車両が実行中の「減速・停止」の原因を把握できる。
【0017】
ここで、その後のその歩行者達と運転手との間のコミュニケーション等により、その歩行者達はそこで会話をしているだけで、横断の意思を有さないことを、運転手が把握したとする。
【0018】
この場合、運転手は、上記通知されている原因に起因する処理(減速・停止)を変更する入力を行うことができる。例えば、運転手は、上記原因に起因する上記処理を解除する入力や、原因に関連する認識結果(例:歩行者やその状態)を変更する入力等を行うことができる。すると、車載装置は、当該入力に応じた処理を実行する。例えば、上記原因に起因する上記処理(減速・停止)の解除や、認識結果の変更等により、上記処理(減速・停止)の原因がなくなった場合、上記処理(減速・停止)の実行を解除する。そして、車載装置は、解除後の状態に基づいて自車両を制御する。例えば、車載装置は自車両を発進又は加速させる。
【0019】
このように、本実施形態の車載装置によれば、上述のような状況下において、手動運転に切り替えさせることなく、所定の入力を行わせるのみで、自動走行制御による自車両の運行を継続することができる。結果、運転手の負担を軽減できる。
【0020】
次に、本実施形態の車載装置の構成を詳細に説明する。
【0021】
車載装置は、車両に搭載され、自車両を制御する装置である。車載装置は、例えば、ECU(Electronic Control Unit)である。なお、以下の説明で用いる「自車両」は、車載装置の制御対象の車両を意味する。
【0022】
図1に、本実施形態の車載装置10の機能ブロック図の一例を示す。図示するように、車載装置10は、監視部11と、生成部12と、制御部13と、受付部14と、出力部15とを有する。
【0023】
まず、これら機能部を実現する車載装置10のハードウエア構成の一例を説明する。各機能部は、任意のコンピュータのCPU(Central Processing Unit)、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット(あらかじめ装置を出荷する段階から格納されているプログラムのほか、CD(Compact Disc)等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる)、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
【0024】
図2は、本実施形態の車載装置10のハードウエア構成を例示するブロック図である。
図2に示すように、車載装置10は、プロセッサ1A、メモリ2A、入出力インターフェイス3A、周辺回路4A、バス5Aを有する。周辺回路4Aには、様々なモジュールが含まれる。なお、周辺回路4Aを有さなくてもよい。
【0025】
バス5Aは、プロセッサ1A、メモリ2A、周辺回路4A及び入出力インターフェイス3Aが相互にデータを送受信するためのデータ伝送路である。プロセッサ1Aは、例えばCPUやGPU(Graphics Processing Unit)などの演算処理装置である。メモリ2Aは、例えばRAM(Random Access Memory)やROM(Read Only Memory)などのメモリである。入出力インターフェイス3Aは、入力装置(例:キーボード、マウス、マイク等)、外部装置、外部サーバ、外部センサ等から情報を取得するためのインターフェイスや、出力装置(例:ディスプレイ、スピーカ、プリンター、メーラ等)、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ1Aは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
【0026】
【0027】
監視部11は、自車両に搭載されたセンサの出力に基づき、対象物の状態を監視する。監視部11は、自車両の外部環境に関する情報を収集するセンサ、例えば、カメラ(例:自車両の外部を撮影するカメラ)、ライダー(レーザレーダ)、レーダ等からの出力を取得する。その他、監視部11は、道路上に設置されたサンサーにより収集された情報を路車間通信で取得してもよい。
【0028】
そして、監視部11は、センサの出力を解析し、対象物及び対象物の状態を認識する。例えば、監視部11は、予め保持している複数の対象物各々の外観の特徴量を利用して、カメラが撮影した画像内から対象物を抽出してもよい。対象物は、自車両の制御に影響する物体であり、例えば、歩行者、他の車両、前方車両、対向車両、自転車、落下物、信号機、道路標識、横断歩道、ランドマーク等が例示されるが、これらに限定されない。
【0029】
そして、監視部11は、抽出した対象物ごとに、その状態を認識する。例えば、予め対象物ごとに複数の状態が用意されており、監視部11は、抽出した対象物がいずれの状態にあるかを判断してもよい。対象物の状態は、対象物の周囲の状況や、対象物そのものの状況等に基づき判断できる。
【0030】
対象物が歩行者の場合の状態としては、例えば、「前方の横断歩道を横断予定」、「前方の横断歩道を横断中」、「前方の横断歩道を横断済」、「歩道を歩行中」、「その他」等が例示されるが、これらに限定されない。監視部11は、例えば歩行者の周囲の状況(例:横断歩道が存在するか否か)や、歩行者そのものの状況(例:横断歩道の方を向いているか否か、横断歩道の方に向かって移動しているか否か、どこを歩いているか等)等に基づき、歩行者の状態を判断できる。
【0031】
また、対象物が前方車両の場合の状態としては、例えば、「走行中」、「一時停車中」、「駐車中」、「減速中」、「その他」等が例示されるが、これらに限定されない。監視部11は、例えば対象車両の周囲の状況(例:前方の信号が赤、前方を歩行者が横断している)や、対象車両そのものの状況(例:停止しているか否か、ブレーキランプが点灯しているか否か、エンジンがかかっているか否か)等に基づき、対象車両の状態を判断できる。
【0032】
また、監視部11は、抽出した対象物ごとに、画像内の位置(フレーム内の位置)を特定することができる。さらに、監視部11は、抽出した対象物ごとに、自車両(ライダーやレーダの位置)を基準にした相対的な位置を、ライダーやレーダ等の出力に基づき特定することができる。
【0033】
監視部11は、上述のような処理の結果を登録することができる。
図3及び
図10に、登録される内容の一例を模式的に示す。
図3に示す例では、抽出された対象物の種類と、その位置と、その状態と、解除入力有無とを互いに対応付けている。
図10に示す例では、抽出された対象物の種類と、その位置と、その状態とを互いに対応付けている。
【0034】
対象物の欄には、抽出された複数の対象物各々の種類が記録される。例えば、歩行者、前方車両、自転車等が記録される。位置の欄には、抽出された複数の対象物各々の位置、例えば、カメラが撮影した画像内の位置や、ライダーやレーダ等で検出した自車両を基準にした相対的な位置等が記録される。状態の欄には、上記処理で認識した状態が記録される。例えば、前方の横断歩道を横断予定、前方の横断歩道を横断中等が記録される。解除入力有無の欄には、以下で説明する受付部14が解除入力を受付けたか否かを示す情報が記録される。
【0035】
ここで、監視部11が
図3及び
図10の登録情報を登録・更新する処理の一例を、
図7のフローチャートを用いて説明する。なお、説明する処理はあくまで一例であり、これに限定されない。
【0036】
まず、監視部11は、カメラが撮影した動画像の中から、処理対象のフレームの画像(センサ情報)を取得する(S10)。
【0037】
そして、監視部11は、処理対象のフレームの画像(カメラが撮影した画像)に写る対象物を認識する(S11)。その後、監視部11は、認識した対象物各々がそれ以前のフレームの画像で認識した対象物(例:その時点で登録情報(例:
図3、
図10の情報)に登録されている対象物)と同一の対象物であるか否かを判断する。当該判断は従来のあらゆる技術を利用して実現できる。
【0038】
それ以前のフレームの画像で認識した対象物と同一の対象物でない場合、監視部11は、新たな識別情報(例:通番)を発行し、処理対象のフレームの画像内で認識したその対象物にその識別情報を対応づける。一方、それ以前のフレームの画像で認識した対象物と同一の対象物である場合、処理対象のフレームの画像内で認識したその対象物に、既に発行されているその対象物の識別情報を対応付ける。
【0039】
そして、監視部11は、処理対象のフレームの画像から抽出した対象物の識別情報と、その対象物の画像内の位置とを互いに対応付ける。
【0040】
また、監視部11は、処理対象のフレームの画像から抽出した対象物ごとに、各々の状態を判断する(S12)。そして、監視部11は、処理対象のフレームの画像内で認識した対象物の識別情報に、状態の認識結果を対応付ける。
【0041】
監視部11は、以上のようにして、処理対象のフレームの画像から得られた認識結果に基づき、登録情報(例:
図3、
図10の情報)を更新する(S13)。
【0042】
処理対象のフレームの画像内で認識した対象物がそれ以前のフレームの画像内で認識した対象物と同一の対象物でない場合、監視部11は、処理対象のフレームの画像内で認識した対象物の識別情報と、画像内の位置と、状態とを、登録情報(例:
図3、
図10の情報)に新たに登録する。
【0043】
一方、処理対象のフレームの画像内で認識した対象物がそれ以前のフレームの画像内で認識した対象物と同一の対象物である場合、監視部11は、処理対象のフレームの画像内で認識した対象物の識別情報と、画像内の位置と、状態の判断結果とに基づき、登録情報(例:
図3、
図10の情報)に登録されているその対象物の情報を更新する。
【0044】
また、監視部11は、所定条件を満たす情報を、登録情報(例:
図3、
図10の情報)から削除することができる。例えば、監視部11は、登録情報(例:
図3、
図10の情報)に登録されている対象物のうち、処理対象のフレームの画像内で認識した対象物と一致しなかったもの、すなわち、処理対象のフレームの画像内で認識されなかった対象物に関する情報を、登録情報(例:
図3、
図10の情報)から削除してもよい。
【0045】
監視部11は、例えば上述のような処理を繰り返す。
【0046】
なお、上記処理はあくまで一例であり、同様の結果を実現できればその他の処理を採用してもよい。例えば、S11の処理では、画像処理で広く知られている対象追跡機能を利用して、前のフレームの画像に写る対象物を処理対象のフレームの画像内で認識してもよい。また、予め登録されている対象物の外観の特徴量を利用して、前のフレームで抽出されていない新たな対象物を処理対象のフレームの画像内で認識してもよい。
【0047】
図1に戻り、制御部13は、自車両が所定の処理(例:減速、停止、後退、車線変更)を実行中に、当該処理の原因となった対象物及び状態のうち少なくとも一方を示す原因情報を、出力装置に出力させる。
【0048】
制御部13は、登録情報(例:
図3、
図10の情報)に基づき、処理の原因となった対象物及び状態を把握し、その内容を示す原因情報を出力することができる。例えば、
図3に示す登録情報の場合、制御部13は、状態の欄において、自車両に所定の処理(例:減速、停止、後退、車線変更)を実行させる状態であることを示されており、かつ、解除入力有無の欄において、解除入力を受付けていないことを示されている対象物を特定する。そして、特定した対象物及びその対象物の状態を、処理の原因として把握する。一方、
図10に示す登録情報の場合、制御部13は、状態の欄において、自車両に所定の処理(例:減速、停止、後退、車線変更)を実行させる状態であることを示されている対象物を特定する。そして、特定した対象物及びその対象物の状態を、処理の原因として把握する。
【0049】
なお、予め、対象物の複数の状態各々と、各々を検出した際に実行される処理とが互いに対応付けられていてもよい。制御部13は、例えば、このような対応情報に基づき、登録情報(例:
図3、
図10の情報)に登録されている情報の中から、各処理の原因となった対象物及び状態を把握してもよい。
【0050】
例えば、「(対象物)歩行者:(状態)前方の横断歩道を横断予定」、「(対象物)歩行者:(状態)前方の横断歩道を横断中」に対応して、「減速」、「停止」等の処理が定められていてもよい。
【0051】
また、「(対象物)前方車両:(状態)一時停車中」に対応して、「減速」、「停止」、「車線変更」、「前方車両追従」等の処理が定められていてもよい。また、「(対象物)前方車両:(状態)駐車中」に対応して、「減速」、「停止」、「車線変更」、「後退」等の処理が定められていてもよい。また、「(対象物)運転を阻害する障害物:(状態)停止中」に対応して、「減速」、「停止」、「車線変更」、「後退」等の処理が定められていてもよい。
【0052】
出力装置の例としては、車両に設置されたディスプレイ装置、ヘッドアップディスプレイ装置、ヘッドマウントディスプレイ装置、投影装置、スマートフォン、タブレット、スピーカ等が例示されるが、これらに限定されない。車載装置10が、当該出力装置を有してもよい。その他、出力装置は、車載装置10と物理的及び/又は論理的に分かれて構成されてもよい。出力装置と車載装置10とが物理的及び/又は論理的に分かれて構成される場合、出力装置と車載装置10は有線及び/又は無線で互いに通信可能に構成される。
【0053】
図4に、制御部13による出力例を示す。図示する例では、制御部13は、カメラが撮影したリアルタイムな画像に、原因情報を重畳した画像を出力させている。図中、左の方に位置する2人の歩行者に対応付けて示されている「停止理由1」、「停止理由2」が、原因情報である。原因情報の画像内の表示位置は、2人の歩行者(対象物)の画像内の位置(
図3参照)に基づき決定される。
【0054】
図4に示す画像によれば、運転手は、横断歩道付近に位置する2人の歩行者の存在のため、自車両が減速、停止したことを把握できる。
【0055】
図5に、制御部13による他の出力例を示す。図示する例では、制御部13は、カメラが撮影したリアルタイムな画像に、原因情報を重畳した画像を出力させている。図中、自車両の前方に位置する車両に対応付けて示されている「停止理由1」が、原因情報である。なお、前方車両は、道路の脇に寄せて停車している。原因情報の画像内の表示位置は、前方車両(対象物)の画像内の位置(
図3、
図10参照)に基づき決定される。
【0056】
図5に示す画像によれば、運転手は、自車両と同一レーンに位置し、停車している前方車両の存在のため、自車両が減速、停止したことを把握できる。
【0057】
他の出力例として、
図6に示すように、制御部13は、「停止している前方車両を検出したため、減速、停止します」等のテキスト情報を、出力装置に出力させてもよい。スピーカで当該文章を出力してもよい。この場合、
図8に示すように、テキスト情報と原因となった対象物とを関連付ける表示を行ってもよい。また、図示してないが、処理の原因が複数存在する場合、複数の原因各々に対応するテキスト情報を、出力装置に出力させてもよい。
【0058】
なお、制御部13は、原因に起因する処理を車両が実行する前に、上述のような情報を出力させてもよい。この場合、
図9に示すように、「停止している前方車両を検出したため、○秒後に、減速、停止します」と、処理を予告するテキスト情報を出力させてもよい。このようにすれば、運転手等は心の準備を行うことができる。また、このような予告情報に基づき、当該原因に起因する処理を変更する入力を受付けることで、無駄な処理(例:停止、原則など)の実行を回避できる。この場合も、
図8に示すように、テキスト情報と原因となった対象物とを関連付ける表示を行ってもよい。
【0059】
また、ヘッドアップディスプレイ装置を利用する場合、自車両のフロントガラスの所定位置に、上述のような原因情報を表示してもよい。すなわち、運転手からみて、フロントガラス越しに見える対象物(実物)各々に対応するフロントガラス上の位置(例:運転手の目の位置と対象物(実物)の位置とを結ぶ直線と、フロントガラスとの交点)に、各対象物に対応した原因情報を表示することができる。このような表示を実現する手段は、従来技術に基づき実現できる。
【0060】
図1に戻り、受付部14は、制御部13が出力する原因情報で示される原因に起因する処理を変更する入力を受付ける。例えば、当該原因に起因する処理を解除する入力や、当該原因となった対象物やその状態を変更する入力等を受付ける。受付部14は、タッチパネルディスプレイ装置、操作ボタン、カメラ、マイク、視線検出装置等のあらゆる入力装置を介して、上記入力を受付けることができる。
【0061】
例えば、
図4乃至
図6、
図8及び
図9に示すような画像が、タッチパネルディスプレイ装置を介して出力されてもよい。そして、受付部14は、当該タッチパネルディスプレイ装置を介して、例えば
図4及び
図5に示されている「停止理由1」、「停止理由2」等の文字や、当該文字に対応する対象物をタッチする入力を受付けてもよい。そして、受付部14は、当該入力を、タッチされた原因に起因する処理の実行を解除する入力として受付けてもよい。当該入力に応じて、例えば、
図3に示す登録情報が更新される。すなわち、タッチされた原因(所定の対象物の所定の状態)に対応して、解除入力有無の欄に解除されたことが登録される。
【0062】
その他、「停止理由1」、「停止理由2」等の文字や、当該文字に対応する対象物をタッチする入力に応じて、制御部13は、「当該原因に起因する処理(減速、停止)の実行を解除しますか?Yes or NO」等の案内を出力装置に出力させてもよい。そして、受付部14は、当該案内に対する「Yes」の入力を、その原因に起因する処理の実行を解除する入力として受付けてもよい。当該入力に応じて、例えば、
図3に示す登録情報が更新される。すなわち、タッチされた原因(所定の対象物の所定の状態)に対応して、解除入力有無の欄に解除されたことが登録される。
【0063】
その他、「停止理由1」、「停止理由2」等の文字や、当該文字に対応する対象物をタッチする入力に応じて、制御部13は、「認識結果を変更しますか?Yes or NO」等の案内を出力装置に出力させてもよい。そして、受付部14が「Yes」の入力を受付けると、制御部13は、認識結果を変更するための情報を出力装置に出力させてもよい。
【0064】
例えば、制御部13は、現時点の認識結果を出力させてもよい。認識結果には、対象物の認識結果及び状態の認識結果が含まれてもよい。具体的には、「横断予定の歩行者」、「横断中の歩行者」、「一時停車車両」等が例示されるが、これらに限定されない。
【0065】
また、制御部13は、変更後の認識結果の候補の一覧を出力させてもよい。例えば、現時点の認識結果が「横断予定の歩行者」、「横断中の歩行者」等の場合、「待機している歩行者」、「交通整理の人」等が、変更後の認識結果の候補の一覧として出力されてもよい。また、現時点の認識結果が「一時停車車両」の場合、「駐車車両」、「故障車両」等が、変更後の認識結果の候補の一覧として出力されてもよい。
【0066】
そして、受付部14は、出力されている候補の一覧の中から、変更後の認識結果を受付けてもよい。当該入力に応じて、例えば、
図3や
図10に示す登録情報が更新される。すなわち、タッチされた原因(所定の対象物の所定の状態)に対応して、対象物の欄の情報や、状態の欄の情報等が更新される。
【0067】
他の例として、制御部13は、現時点の認識結果を出力させるとともに、「いずれの認識結果を変更しますか?対象物 or 状態」等の案内を出力装置に出力させてもよい。そして、受付部14が「対象物」の入力を受付けると、変更後の対象物の候補の一覧を出力させてもよい。例えば、現時点の認識結果が「歩行者」の場合、「銅像」、「人形」、「交通整理の人」等が、変更後の対象物の候補の一覧として出力されてもよい。また、現時点の認識結果が「運転を阻害する障害物」の場合、「踏んでも大丈夫な障害物」等が、変更後の対象物の候補の一覧として出力されてもよい。一方、受付部14が「状態」の入力を受付けた場合、変更後の対象物の候補の一覧を出力させてもよい。例えば、現時点の認識結果が「横断予定」の場合、「待機中」等が、変更後の対象物の候補の一覧として出力されてもよい。
【0068】
そして、受付部14は、出力されている候補の一覧の中から、変更後の認識結果を受付けてもよい。当該入力に応じて、例えば、
図3や
図10に示す登録情報が更新される。すなわち、タッチされた原因(所定の対象物の所定の状態)に対応して、対象物の欄の情報や、状態の欄の情報等が更新される。
【0069】
また、
図6に示されている画像の場合、受付部14は、タッチパネルディスプレイ装置を介して、「停止している前方車両を検出したため、減速、停止します」の案内、又は、それに対応するエリア(例:当該文字を囲む四角が表示されているエリア)をタッチする入力を受付けてもよい。そして、受付部14は、当該入力を、タッチされた原因に起因する処理の実行を解除する入力として受付けてもよい。その他、受付部14は、当該入力に応じて、「当該原因に起因する処理(減速、停止)の実行を解除しますか?Yes or NO」等の案内を出力装置に出力させてもよい。そして、当該案内に対する「Yes」の入力を、その原因に起因する処理の実行を解除する入力として受付けてもよい。その他、受付部14は、上記と同様にして、認識結果を変更する入力を受付けてもよい。
【0070】
その他、受付部14は、操作ボタン及び画像に表示されたカーソルを利用して画像上の所定エリアを選択する入力を受付けることで、上記タッチパネルディスプレイ装置を利用する例と同様の入力を受付けてもよい。
【0071】
その他、ヘッドアップディスプレイ装置を用いて原因情報をフロントガラスに表示している場合、受付部14は、カメラで運転手の所定の動作(例:フロントガラスに表示された原因情報をタッチする動作等)を検出することで、上記変更の入力を受付けてもよい。
【0072】
その他、タッチパネルディスプレイ装置に抽象化した地図を表示し、自車位置、検出した対象物(例:人、他車両等)のアイコンを配置して、停止理由を表現してもよい。そして、受付部14は、アイコンをタッチ等する操作により、上記と同様にして、その原因に起因した処理を変更する入力を受付けてもよい。
【0073】
その他、受付部14はマイクを用いて搭乗者の音声を取得し、取得した音声を解析することで所定の音声を検出し(すなわち、発言内容を特定し)、上記変更の入力を受付けてもよい。例えば、「減速解除」や「歩行者は横断の意図なし」などの音声を検出する。
【0074】
その他、受付部14は視線検出装置を用いて搭乗者の視線を検出することで、認識結果を変更する対象物を選択してもよい。この場合、視線の先の対象物が、認識結果を変更する対象物として選択されてもよい。尚、変更の選択は、別のデバイスを利用しても良いし、視線検出装置の瞬き検出結果などを用いてもよい。
【0075】
なお、制御部13は、
図4乃至
図6、
図8及び
図9に示すように、処理(例:減速、停止)の実行の原因となった1つ又は複数の原因情報を出力装置に出力させることができる。処理(例:減速、停止)の実行の原因が複数ある場合、すべての原因情報を出力装置に出力させることができる。
【0076】
そして、受付部14は、1つ又は複数の原因情報各々に対応して、各々に起因する処理(例:減速、停止)を変更する入力を受付けることができる。すなわち、受付部14は、個別に、複数の原因各々に起因する処理(例:減速、停止)を変更する入力を受付けることができる。
【0077】
図1に戻り、生成部12は、対象物の状態に応じた処理を自車両に実行させるための処理情報を生成する。また、生成部12は、受付部14の受付け結果に基づき、処理が変更された処理情報を生成することができる。出力部15は、車両を制御する車両制御装置に、生成部12が生成した処理情報を出力する。
【0078】
生成部12は、登録情報(例:
図3、
図10の情報)、及び、その他の各種情報に基づき、自車両の制御内容を決定する。そして、生成部12は、決定した内容で自車両を制御するための処理情報を生成する。当該処理情報に応じて、例えば、自車両の操舵、ブレーキ、アクセル等の要素が制御される。
【0079】
上記その他の各種情報は、自車両の位置を示す情報、地図情報、目的地に到達するまでの経路を示す経路情報、カメラ、ライダー及びレーダ等に基づき検出した自車両の外部及び周辺の状況を示す外界情報、及び、自車両に搭載された各種センサからのセンサ情報(例:速度等)等が例示されるが、これらに限定されない。
【0080】
例えば、生成部12は、登録情報(例:
図3、
図10の情報)において、自車両に所定の処理を実行させる状態の対象物が少なくとも1つ登録されている場合、その処理を自車両に実行させることを決定してもよい。
【0081】
「自車両に所定の処理を実行させる状態の対象物」は、例えば、
図3の登録情報の状態の欄において、自車両に所定の処理(例:減速、停止、後退、車線変更)を実行させる状態であることを示されており、かつ、解除入力有無の欄において、解除入力を受付けていないことを示されている対象物である。その他、例えば、
図10の登録情報の状態の欄において、自車両に所定の処理(例:減速、停止、後退、車線変更)を実行させる状態であることを示されている対象物である。
【0082】
上述の通り、予め、対象物の複数の状態各々と、各々を検出した際に実行される処理とが互いに対応付けられていてもよい。そして、生成部12は、例えば、このような対応情報に基づき、登録情報(例:
図3、
図10の情報)に登録されている情報の中から、所定の処理(例:減速、停止)を実行させる原因(対象物の状態)を特定してもよい。
【0083】
生成部12は、例えば、自車両に減速、停止を実行させる状態となっている対象物が少なくとも1つ登録されている場合、自車両に減速、停止させる処理情報を生成する。そして、受付部14による入力の受付けにより、自車両の減速、停止の原因がなくなると、生成部12は、自車両の減速、停止の実行を停止させる。これに応じて、例えば、生成部12は、自車両を発進させたり、加速させたりする処理情報を生成する。
【0084】
上述の通り、例えば、「(対象物)前方車両:(状態)一時停車中」に対応して「減速」、「停止」、「車線変更」、「前方車両追従」等の処理が定められるように、対象物と状態のペア1つに複数の処理が定められる場合がある。この場合、制御部13は、例えば、自車両の状態(例:走行中、停止中)や自車両の周囲の状態(例:変更する車線があるか否か、他の車線が車線変更可能な状態か否か)等に基づき、いずれの処理を実行するかを決定してもよい。
【0085】
なお、受付部14による入力の受付けがあった場合であっても、自車両の減速、停止のその他の原因(その他の対象物の所定の状態によるもの)が残っている場合、生成部12は、自車両の減速、停止の実行を継続させる。
【0086】
ここで、本実施形態の変形例を説明する。
【0087】
監視部11は、受付部14により対象物(第1の対象物)の状態に起因する所定の処理(第1の処理)の実行を解除する入力が受付けられた後、その後のセンサの出力を用いて当該対象物(第1の対象物)を監視し、当該対象物(第1の対象物)による所定の動作を検出してもよい。そして、監視部11は、当該所定の動作の検出に応じて、「所定の処理(第1の処理)の実行の解除」を解除する。例えば、監視部11は、当該検出に応じて、当該対象物(第1の対象物)に対応した登録情報(例:
図3)の解除入力有無の欄の内容を、解除入力を受付けていないことを示す内容に変更する。
【0088】
また、監視部11は、受付部14により認識結果を変更する入力が受付けられた後、その後のセンサの出力を用いて当該対象物(第1の対象物)を監視し、当該対象物(第1の対象物)による所定の動作を検出してもよい。そして、監視部11は、当該所定の動作の検出に応じて、受付部14による受付けにより変更された後の認識結果を、監視部11が新たに認識した認識結果に変更してもよい。これに応じて、登録情報(例:
図3、
図10の情報)の内容(例:対象物の欄、状態の欄)が更新されてもよい。
【0089】
検出する所定の動作は、対象物ごと、又は、対象物の状態毎に予め定められていてもよい。例えば、対象物が歩行者である場合、移動を所定の動作としてもよい。また、対象物が車両である場合、発進、ウインカーの点灯、ハザードランプの消灯等を、所定の動作としてもよい。また、対象物が横断歩道付近に立っている歩行者である場合、当該横断歩道に向かう移動を所定の動作としてもよい。なお、ここでの例示はあくまで一例であり、これらに限定されない。
【0090】
生成部12は、更新後の登録情報(例:
図3、
図10の情報)に基づき、自車両を制御することができる。第1の対象物の状態に起因する第1の処理の実行を解除(第1の解除)した後、当該第1の解除を解除する上記例の場合、生成部12は、第1の解除の前は第1の対象物の状態を第1の処理の原因として処理し、第1の解除の後は第1の対象物の状態を第1の処理の原因として処理せず、第1の解除を解除した後は第1の対象物の状態を再び第1の処理の原因として処理することとなる。
【0091】
ここで、他の具体例を説明する。なお、当該具体例はあくまで一例であり、これらに限定されない。
【0092】
<具体例1>
例えば、細い路地を走行中、監視部11は、前方の駐車車両を検出したとする。そして、生成部12は、当該検出結果や自車両の周囲の状態(例:前方車両の幅、道幅、空いている幅等)等に基づき、後退して他の道を進むことを決定したとする(すなわち、前方車両を避けて前進するのは不可と判断)。かかる場合、制御部13は、その旨を示す情報を出力させる。すなわち、前方の駐車車両の存在のため、後退して他の道を進むことを示す情報を出力させる。
【0093】
ここで、自車両の運転手は、前方の駐車車両の運転手が戻ってきたことを確認し、もうすぐ前に進めると判断したとする。すると、自車両の運転手は、表示されている原因(前方の駐車車両)に起因する処理(後退)を変更するための入力を行う。例えば、前方車両の状態の認識結果を、「駐車中」から「一時停車中」に変更する入力等を行う。すると、生成部12は、変更後の内容に基づき自車両に実行させる処理を再決定する。例えば、認識結果を「駐車中」から「一時停車中」に変更したこと伴い、処理が「後退」から「前方車両追従」に変更されてもよい。
【0094】
<具体例2>
例えば、走行中、監視部11は、前方の停止している運転を阻害する障害物を検出したとする。そして、生成部12は、当該検出結果や自車両の周囲の状態(例:変更する車線があるか否か、他の車線が車線変更可能な状態か否か)等に基づき、車線変更を決定したとする。かかる場合、制御部13は、車線変更前にその旨を示す情報を出力させる。すなわち、前方の運転を阻害する障害物の存在のため、これから○秒後に車線変更する予告を出力させる。
【0095】
ここで、自車両の運転手は、前方の運転を阻害すると判断された障害物は踏んでも大丈夫な障害物であると判断したとする。すると、自車両の運転手は、表示されている原因(前方の停止している運転を阻害する障害物)に起因する処理(車線変更)を変更するための入力を行う。例えば、「運転を阻害する障害物」の認識結果を「踏んでも大丈夫な障害物」に変更する入力等を行う。すると、生成部12は、変更後の内容に基づき自車両に実行させる処理を再決定する。例えば、対象物の認識結果を「運転を阻害する障害物」から「踏んでも大丈夫な障害物」に変更したことに伴い、「車線変更」が解除されてもよい。
【0096】
<具体例3>
例えば、片道2車線以上の道路を走行中、監視部11は、低速走行中の前方車両を検出したとする。そして、生成部12は、当該検出結果や自車両の周囲の状態(例:変更する車線があるか否か、他の車線が車線変更可能な状態か否か)等に基づき、車線変更を決定したとする。かかる場合、制御部13は、車線変更前にその旨を示す情報を出力させる。すなわち、低速走行中の前方車両の存在のため、これから○秒後に車線変更する予告を出力させる。
【0097】
ここで、自車両の運転手は、渋滞中であるため、車線変更しても特に効果なしと判断したとする。すると、自車両の運転手は、表示されている原因(低速走行中の前方車両)に起因する処理(車線変更)を変更するための入力を行う。例えば、その原因に起因した車線変更を解除する入力等を行う。すると、生成部12は、入力された内容に基づき自車両に実行させる処理を再決定する。例えば、「車線変更」が中止され、「前方車両追従」等の他の処理が決定されてもよい。
【0098】
以上説明した本実施形態の車載装置10によれば、自車両が実行中の処理の原因を出力することで、運転手に処理の原因を通知することができる。そして、通知した原因に起因する処理を変更するための入力をユーザから受付け、受付けた内容に基づき自動走行制御を継続することができる。
【0099】
このような本実施形態の車載装置によれば、制御の原因に問題(誤検知等)が存在し、その内容の制御が不要な場合や、コンピュータによる制御の内容と原因に問題はないが、コンピュータで認識できない何らかの理由により、その原因に基づくその制御が不要になった場合等においても、手動運転に切り替えさせることなく、所定の入力を行わせるのみで、自動走行制御による自車両の運行を継続できる。結果、自動走行制御時の運転手の負担を軽減することができる。
【0100】
また、本実施形態の車載装置によれば、複数の制御原因が存在する場合、個別に、それらに基づく処理を変更する入力を受付けることができる。複数の原因各々に基づく処理の変更の入力をまとめて受付けることができる場合、複数の原因の中に埋もれている変更してはいけない原因を見落とす等の人為的ミスが発生し得る。結果、事故を引き起こす等の不都合が発生し得る。複数の制御原因が存在する場合、個別に、それらに基づく処理の変更の入力を受付けることができる本実施形態の場合、このような不都合を軽減できる。
【0101】
また、本実施形態の車載装置10によれば、変更の入力を受付けた後であっても、その原因に関連する対象物の監視を継続することができる。そして、その対象物が所定の動作を行った場合には、例えばユーザ入力に基づく解除(所定の原因に起因する所定の処理の実行の解除)を解除したり、コンピュータによる新たな認識結果に基づいた処理を行ったりできる。
【0102】
かかる場合、例えば、運転手と他者(例:歩行者、他の車両の運転手等)との間の伝達ミス等により、運転手が誤って所定の処理(例:減速、停止)の変更入力を行った場合であっても、対象物が所定の動作を行うことに応じて、解除された処理(例:減速、停止)を再び自車両に実行させることができる。結果、運転手の人為的ミスに起因する事故発生を抑制できる。すなわち、安全なシステムを実現できる。
【0103】
また、監視部11はセンサの出力を用いて対象物の状態を監視し、当該対象物の所定の動作を検出した場合、対象物の状態に起因する所定の処理の実行を解除する入力の受付を停止してもよい。
図11を用いて、当該処理の流れを説明する。
【0104】
具体的には、監視部11はセンサの出力を用いて対象物の状態を監視する(S20)。そして、判断部が監視精度を判断する(S21)。なお、
図1において判断部は不図示であるが、車載装置10は判断部を有してもよい。
【0105】
S21における監視精度は、例えば、対象物の状態が、「歩行者が横断歩道を歩行している」、「歩行者が横断歩道を確実に横断しない」、「前方に停車中の車両が発車しない(停車中の車の撮像画像からハザードやウインカー等を検出することで判断が可能)」等、対象物の状態が明確であり、自車両の取るべき処理の実行が明らかである場合であるほど監視精度は高くなる。予め、「監視精度が高いもの」に分類される対象物の状態が登録されていてもよい。そして、判断部は、当該登録内容に基づき、監視部11により認識された対象物の状態が「監視精度が高いもの」であるか否かを判断してもよい。
【0106】
監視精度が高ければ(S22のYes)、自車両の処理の実行は変更する必要がないものとし、受付部14の受付を停止する(S23)。監視精度が高いものでなければ(S22のNo)、自車両の処理の実行は変更可能とし、受付部14の受付を継続する(S24)。結果、確実に停車や減速を行わなければならない場面で、運転手の人為的ミスに起因する事故発生を抑制できる。また、確実に停車や減速を行う必要がない場面で、装置内の処理を軽減できる。
【0107】
また、上記の監視精度に替えて、対象物の状態ごとに予め危険度を設定した登録情報(
図12参照)に基づき、対象物の状態の監視結果の危険度を判断部が判断してもよい。危険度は、例えば危険度1乃至5のように数値で表されてもよいし、大、中、小等のようにその他の表現で示されてもよい。この場合、判断部が対象物の状態が所定レベル以上の危険度であると判断した場合は、自車両の処理の実行の変更は危険であるものとし、受付部14の受付を停止する。
【0108】
ここで、
図13のフローチャートを用いて、当該例における車載装置10の処理の流れの一例を説明する。監視部11はセンサの出力を用いて対象物の状態を監視する(S30)。そして、判断部が対象物の状態ごとに予め危険度を設定した登録情報に基づき、対象物の状態の危険度を判断する(S32)。
【0109】
例えば、「歩行者が横断歩道を歩行している」等、処理の実行を解除したときに自車両の運転者や対象物に危害が及ぶ可能性が高い対象物の状態ほど、登録情報において高い危険度を設定されている。そして、「歩行者が横断歩道を横断する可能性がある」等、処理の実行を解除しても自車両の運転者や対象物に危害が及ぶ可能性が低い対象物の状態ほど、登録情報において低い危険度を設定されている。判断部は、当該登録情報に基づき、監視部11により認識された対象物の状態が「危険度が高いもの」であるか否かを判断してもよい。
【0110】
対象物の状態の危険度が高ければ(S32のYes)、自車両の処理の実行の変更は危険であるものとし、受付部14の受付を停止する(S33)。対象物の状態の危険度が高いものでなければ(S32のNo)、自車両の処理の実行の変更は可能とし、受付部14の受付を継続する(S34)。結果、確実に停車や減速を行わなければならない場面で、運転手の人為的ミスに起因する事故発生を抑制できる。また、確実に停車や減速を行う必要がない場面で、装置内の処理を軽減できる。
【0111】
また、外部のサーバが複数の車両から「所定の処理の実行の解除」を解除したときの対象物の種別、対象物の状態、車両位置等を受信してもよい。この場合、外部のサーバは統計処理により「所定の処理の実行の解除」が解除される条件を推定する。外部のサーバは推定した条件に基づいた地図データの更新や、推定した条件の車両への配信を行う。条件が配信された車両の車載装置は、当該条件に合致する対象物を検知したときには、受付部14は、「所定の処理(第1の処理)の実行の解除」の入力を受付けなくする。
【0112】
また、対象物の状態に起因する所定の処理の実行を解除する入力が可能な領域の表示を制御(強調表示、マーカの重畳表示、色の変更等)してもよい。
【0113】
また、無人タクシーや無人バス等の無人車両と、当該無人車両野の走行を監視する監視センターと、から構成される場合において、出力部及び入力部は監視センターに、それ以外は無人車両にそれぞれ配置する。この場合、監視センターの入力部から「原因に起因する処理を変更するための入力を受付ける。
【0114】
以上、図面を参照して実施形態及び実施例について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【0115】
この出願は、2016年9月30日に出願された日本出願特願2016-193932号を基礎とする優先権を主張し、その開示の全てをここに取り込む。