IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士重工業株式会社の特許一覧

特許7376996車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム
<>
  • 特許-車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム 図1
  • 特許-車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム 図2
  • 特許-車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム 図3
  • 特許-車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム 図4
  • 特許-車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム 図5
  • 特許-車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム 図6
  • 特許-車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム 図7
  • 特許-車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム 図8
  • 特許-車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-31
(45)【発行日】2023-11-09
(54)【発明の名称】車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム
(51)【国際特許分類】
   G08G 1/16 20060101AFI20231101BHJP
   G01C 21/36 20060101ALI20231101BHJP
   G08G 1/00 20060101ALI20231101BHJP
【FI】
G08G1/16 A
G01C21/36
G08G1/00 J
【請求項の数】 12
(21)【出願番号】P 2019049533
(22)【出願日】2019-03-18
(65)【公開番号】P2020154375
(43)【公開日】2020-09-24
【審査請求日】2022-02-01
(73)【特許権者】
【識別番号】000005348
【氏名又は名称】株式会社SUBARU
(74)【代理人】
【識別番号】110000936
【氏名又は名称】弁理士法人青海国際特許事務所
(72)【発明者】
【氏名】澄川 瑠一
(72)【発明者】
【氏名】渡邉 圭一
【審査官】▲高▼木 真顕
(56)【参考文献】
【文献】特開2008-225578(JP,A)
【文献】特表2013-517575(JP,A)
【文献】特開平08-058503(JP,A)
【文献】特開2019-136166(JP,A)
【文献】特開2011-003118(JP,A)
【文献】特開2017-021745(JP,A)
【文献】国際公開第2016/030934(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00 - 99/00
G01C 21/00 - 21/36
(57)【特許請求の範囲】
【請求項1】
車両の乗員の視線の動きを取得する視線情報取得部と、
前記視線の動きと事前に設定した車両外の複数の危険な状況に対応し、前記視線の変化に関する複数のパラメータとに基づいて車両外の前記事前に設定した複数の危険状況のいずれに該当するかを判別する危険状況判別部と、
を備えることを特徴とする、車両の危険状況判別装置。
【請求項2】
前記危険状況判別部は、前記車両の速度ベクトルと、前記乗員の左右の目の視線が交差する点の座標の速度ベクトルとに基づいて、前記危険状況を判別することを特徴とする、請求項1に記載の車両の危険状況判別装置。
【請求項3】
前記危険状況判別部は、前記視線の動きと、予め定められた所定の軌跡とを比較することで、前記危険状況を判別することを特徴とする、請求項1又は2に記載の車両の危険状況判別装置。
【請求項4】
前記危険状況判別部により、前記危険状況が存在すると判定された場合に、当該危険状況の位置情報を取得する位置情報取得部を備えることを特徴とする、請求項1~3のいずれかに記載の車両の危険状況判別装置。
【請求項5】
前記危険状況と前記位置情報を車両外に送信する処理を行う送信処理部を備える、請求項4に記載の車両の危険状況判別装置。
【請求項6】
前記危険状況判別部により、前記危険状況が存在すると判定された場合に、前記乗員に前記危険状況に関する質問を提示する処理を行う提示処理部を備えることを特徴とする、請求項1~5のいずれかに記載の車両の危険状況判別装置。
【請求項7】
前記危険状況判別部は、前記質問に対する回答を考慮して、前記危険状況を判別することを特徴とする、請求項6に記載の車両の危険状況判別装置。
【請求項8】
前記提示処理部は、前記質問に対する回答を選択肢の形式で提示することを特徴とする、請求項6又は7に記載の車両の危険状況判別装置。
【請求項9】
前記質問に対する前記選択肢の選択による回答を取得する回答取得部を備えることを特徴とする、請求項8に記載の車両の危険状況判別装置。
【請求項10】
前記質問に対する回答を乗員の音声により取得する回答取得部を備えることを特徴とする、請求項6~8のいずれかに記載の車両の危険状況判別装置。
【請求項11】
コンピュータが、
車両の乗員の視線の動きを取得するステップと、
前記視線の動きと事前に設定した車両外の複数の危険な状況に対応し、前記視線の変化に関する複数のパラメータとに基づいて車両外の前記事前に設定した複数の危険状況のいずれに該当するかを判別するステップと、
を実行することを特徴とする、車両の危険状況判別方法。
【請求項12】
車両の乗員の視線の動きを取得する手段、
前記視線の動きと事前に設定した車両外の複数の危険な状況に対応し、前記視線の変化に関する複数のパラメータとに基づいて車両外の前記事前に設定した複数の危険状況のいずれに該当するかを判別する手段、
としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の危険状況判別装置、車両の危険状況判別方法、及びプログラムに関する。
【背景技術】
【0002】
従来、例えば下記の特許文献1には、移動体の搭乗者の状態変化を検知し、状態変化に応じて移動体の外部の撮影画像を含む外部状況情報を送信する
ことが記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2017-21745号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上記特許文献に記載された技術は、車内撮影カメラで搭乗者の動作を撮影することで、搭乗者の状態の変化を検知した場合は、車外撮影カメラから受信した画像の一部を抽出して送信を行うものである。このため、道路等の経路で発生する事象についての個々の判断は画像によるものとなる。このため、画像を判断するために煩雑な処理が必要になる問題がある。
【0005】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、簡素な構成で車両外の危険状況を判別することが可能な、新規かつ改良された車両の危険状況判別装置、車両の危険状況判別方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明のある観点によれば、車両の乗員の視線の動きを取得する視線情報取得部と、前記視線の動きと事前に設定した車両外の複数の危険な状況に対応し、視線の変化に関する複数のパラメータとに基づいて車両外の前記事前に設定した複数の危険状況のいずれに該当するかを判別する危険状況判別部と、を備える、車両の危険状況判別装置が提供される。
前記危険状況判別部は、前記車両の速度ベクトルと、前記乗員の左右の目の視線が交差する点の座標の速度ベクトルとに基づいて、前記危険状況を判別するものであっても良い。
【0007】
前記危険状況判別部は、前記視線の動きと、予め定められた所定の軌跡とを比較することで、前記危険状況を判別するものであっても良い。
【0008】
また、前記危険状況判別部により、前記危険状況が存在すると判定された場合に、当該危険状況の位置情報を取得する位置情報取得部を備えるものであっても良い。
【0009】
また、前記危険状況と前記位置情報を車両外に送信する処理を行う送信処理部を備えるものであっても良い。
【0010】
また、前記危険状況判別部により、前記危険状況が存在すると判定された場合に、前記乗員に前記危険状況に関する質問を提示する処理を行う提示処理部を備えるものであっても良い。
【0011】
また、前記危険状況判別部は、前記質問に対する回答を考慮して、前記危険状況を判別するものであっても良い。
【0012】
また、前記提示処理部は、前記質問に対する回答を選択肢の形式で提示するものであっても良い。
【0013】
また、前記質問に対する前記選択肢の選択による回答を取得する回答取得部を備えるものであっても良い。
【0014】
また、前記質問に対する回答を乗員の音声により取得する回答取得部を備えるものであっても良い。
【0015】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータが、車両の乗員の視線の動きを取得するステップと、前記視線の動きと事前に設定した車両外の複数の危険な状況に対応し、視線の変化に関する複数のパラメータとに基づいて車両外の前記事前に設定した複数の危険状況のいずれに該当するかを判別するステップと、を実行する、車両の危険状況判別方法が提供される。
【0016】
また、上記課題を解決するために、本発明の別の観点によれば、車両の乗員の視線の動きを取得する手段、前記視線の動きと事前に設定した車両外の複数の危険な状況に対応し、視線の変化に関する複数のパラメータとに基づいて車両外の前記事前に設定した複数の危険状況のいずれに該当するかを判別する手段、としてコンピュータを機能させるためのプログラムが提供される。
【発明の効果】
【0017】
以上説明したように本発明によれば、簡素な構成で車両外の危険状況を判別することが可能な、車両の危険状況判別装置、車両の危険状況判別方法、及びプログラムを提供することが可能となる。
【図面の簡単な説明】
【0018】
図1】本発明の一実施形態に係る車両システム1000と、その周辺の構成を示す模式図である。
図2】本実施形態で行われる処理を示すフローチャートである。
図3】本実施形態で行われる処理を示すフローチャートである。
図4】サーバ2000側に送信された危険な状況を示す情報の一覧を示す模式図である。
図5】座標Peの算出方法を示す模式図である。
図6】道路上にある落下物などを乗員が見ている場合を示す模式図である。
図7】進行方向の道路上を横断する人や動物などを見ている状態を示す模式図である。
図8】座標Peの移動軌跡と別のモデルとの適合を確認する場合を示す模式図である。
図9】動物や人などの移動体との判別方法を示す模式図である。
【発明を実施するための形態】
【0019】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0020】
本実施形態では、人間が有する危険認知能力、判断能力を危険判定に組み込むことで、車両が検出できない危険状況を検出し、車車間通信などによって送信し、危険情報を共有する。図1は、本発明の一実施形態に係る車両システム1000と、その周辺の構成を示す模式図である。車両システム1000は、基本的には自動車などの車両に構成されるシステムである。図1に示すように、車両システム1000は、視線検出装置100、位置検出装置200、情報提示装置300、情報入力装置400、制御装置500、ナビゲーション装置700、通信装置800、データベース950を有して構成されている。車両システム1000は、外部のサーバ2000と通信可能に構成されている。
【0021】
視線検出装置100は、例えば車内のダッシュパネル等に設置され、乗員の視線を検出する。位検出装置200は、グローバル・ポジショニング・システム(GPS:Global Positioning System)等により車両の現在位置を取得する。
【0022】
情報提示装置300は、スピーカ、モニタ、HUD(Head-up Display)装置等から構成され、乗員に情報を提示する。情報入力装置400は、乗員が情報を入力する装置である。情報入力装置400は、例えばボタン、タッチパネルなどの操作により情報を入力するものであっても良い。また、情報入力装置400は、マイクロフォンなど、乗員の音声を入力するものであっても良い。
【0023】
制御装置500は、視線検出装置100が検出した乗員の視線に基づいて、車両外の危険な状況を認識し、危険な状況に関する情報をサーバ2000へ送信するための処理を行う。このため、制御装置500は、視線情報取得部502、危険状況判別部504、位置情報取得部506、送信処理部508、提示処理部510、回答取得部512、を有している。視線情報取得部502は、視線検出装置100から乗員の視線の動きを取得する。危険状況判別部504は、視線の動きに基づいて車両外の危険状況を判別する。位置情報取得部506は、危険状況が存在すると判定された場合に、危険状況の位置情報を取得する。送信処理部508は、危険状況と位置情報を、通信装置800を介して車両外のサーバ2000や他車両に送信する処理を行う。提示処理部510は、危険状況に関する質問を、情報提示装置300を介して乗員に提示するための処理を行う。回答取得部512は、質問に対する回答を、情報入力装置400を介して取得する処理を行う。なお、制御装置500の各構成要素は、回路(ハードウェア)、またはCPUなどの中央演算処理装置とこれを機能させるためのプログラム(ソフトウェア)によって構成されることができる。
【0024】
通信装置800は、車両外部のサーバ2000と通信を行い、各種情報を送受信する。ナビゲーション装置700は、地図情報に基づいて、現在地から目的地までの経路を検索する。このため、ナビゲーション装置700は、グローバル・ポジショニング・システム(GPS:Global Positioning System)等により車両の現在位置を取得することができる。また、ナビゲーション装置700は現在地まで車両が走行してきた経路を記憶している。
【0025】
サーバ2000は、車両システム1000から危険な状況に関する情報を取得し、データベースに登録する。また、サーバ2000は、蓄積した情報を車両システム1000へ送信する処理を行う。このため、サーバ2000は、危険状況取得部2010、データ登録部2020、送信処理部2030、データベース2040を備えている。危険状況取得部2010は、車両システム1000から危険な状況に関する情報を取得する。データ登録部200は、危険状況取得部2010が取得した情報をデータベース2040に登録する処理を行う。送信処理部2030は、車両システム1000の通信装置800と通信を行うための処理を行う。データベース2040には、車両システム1000から取得した危険な状況に関する情報が登録される。なお、サーバ2000の各構成要素は、回路(ハードウェア)、またはCPUなどの中央演算処理装置とこれを機能させるためのプログラム(ソフトウェア)によって構成されることができる。
【0026】
図2及び図3は、本実施形態で行われる処理を示すフローチャートである。先ず、ステップS10では、視線検出装置100をオンにした状態で、車両の運転を開始する。次のステップS12では、乗員の閉眼率Eを計算する。次のステップS14では、乗員の視線が向いている座標Peを計算する。なお、乗員としてドライバを例示するが、乗員はドライバ以外であっても良い。次のステップS16では、座標Peの変化が事前に設定したパラメータと一致したか否かを判定し、一致した場合はステップS18へ進む。
【0027】
後述するが、事前に視線の変化を表す複数のパラメータが設定され、複数のパラメータのそれぞれは、複数の危険な状況に対応している。従って、座標Peの変化がいずれかのパラメータと一致する場合は、視線が滞留し、乗員がいずれかの危険な状況を認識したと判断できる。また、座標Peの変化がいずれのパラメータと一致するかを判定することで、乗員が注視した危険な状況の種類を判別できる。一方、ステップS16で、座標Peの変化が事前に設定したパラメータと一致しない場合は、ステップS14へ戻る。
【0028】
ステップS18では、閉眼率Eが所定のしきい値E1以内であるか否かを判定し、閉眼率Eが所定のしきい値E1以内の場合はステップS19へ進む。一方、ステップS18で閉眼率Eが所定のしきい値E1を超える場合は、ステップS12へ戻る。
【0029】
ステップS19へ進んだ場合は、座標Peの変化が事前に設定したパラメータと一致し、且つ、閉眼率Eが所定のしきい値E1以内であるため、乗員が覚醒している状態で車両外の危険な状況を認識したと判断できる。このため、ステップS19では、ステップS16の条件が成立した時点の自車両の位置座標Pvと、視線が滞留した座標Peを取得する。なお、位置座標Pvは地理座標系(緯度、経度、高度など)の位置情報であり、座標Peは車両座標系(X,Y,Z)などの位置情報である。
【0030】
次のステップS20では、乗員の注視点の座標Peを地理座標系に変換し、乗員の注意ポイントPveを求める。なお、座標Peの注意ポイントPveへの変換は、車両位置を原点として基準とする座標Peに対し、原点を地理座標系である自車両位置Pvとすることで行うことができる。次のステップS21では、座標Peの変化と事前に設定したパラメータとの一致に基づいて、危険な状況を判別する。これにより、注意ポイントPveの位置情報と、危険な状況の詳細が車両システム1000側に認識される。次のステップS22では、注意ポイントPveの位置情報、ステップS16の条件が成立した時点の時刻情報、危険な状況の詳細などをデータベース950に登録し、サーバ2000へ送信する。
【0031】
以降の処理では、乗員に質問を出すことで、危険な状況の詳細を明らかにする。なお、以降の処理を行わなくても良い。先ず、ステップS22では、情報提示装置300から質問を出す。質問は、複数の種類を選択肢の形式で表示することによって行われる。質問の選択肢として、事故、故障車両など(選択肢1-1)、落下物、道路や器物の破損など(選択肢1-2)、人や動物などの飛び出しなど移動物体によるもの(選択肢1-3)、道路の凍結や雪、深い水たまりなど(選択肢1-4)、その他(選択肢1-5)を挙げる。
【0032】
ステップS24では、乗員が情報入力装置400を操作することで、これらの選択肢の中から認識した危険状況に合致するものを選択する。乗員による選択結果は、ステップS26で車両のデータベース950に登録され、またステップS28でサーバ2000へ送信される。なお、乗員がいずれの選択肢も選択しなかった場合、すなわち、質問に対して回答しなかった場合は、ステップS12に戻る。
【0033】
次のステップS30では、乗員に対して更に補足するか否かを質問し、補足する旨の回答が得られた場合は、ステップS32へ進む。一方、ステップS30で補足しない旨の回答が得られた場合は、ステップS12に戻る。
【0034】
ステップS32では、発話によって乗員が補足した音声データを情報入力装置400により取得する。次のステップS34では、取得した音声データをデータベース950に登録する。なお、データベース950への登録は、音声データのまま登録しても良いし、音声データをテキスト化して登録しても良い。また、音声データをテキスト化し、詳細な項目に分類した上でデータベース950に登録しても良い。次のステップS36では、ステップS34で登録した情報をサーバ2000へ送信する。また、音声データの処理は、車両システム1000側で行っても良いし、サーバ2000側で行っても良い。
【0035】
次のステップS38では、車車間通信が可能な車両が存在するか否かを判定し、車車間通信が可能な車両が存在する場合は、ステップS40へ進む。ステップS40では、ステップS22,S26,S36で登録した情報を車車間通信が可能な車両へ送信する。
【0036】
以上のように、図2の処理によれば、視線が向いている座標Peに基づいて危険な状況の種類を判別でき、位置情報とともに車両に登録し、またサーバ2000や他車両へ送信することができる。また、乗員に質問を投げることで、危険な状況をより詳細に判別することができ、危険な状況の詳細な情報を車両に登録し、またサーバ2000や他車両へ送信することができる。危険な状況を判別した車両システム1000は、情報提示装置300により乗員に警告をすることもできる。また、危険な状況を判別した車両システム1000は、車両の減速制御や操舵制御など、車両制御に活用することもできる。
【0037】
図4は、サーバ2000側に送信された危険な状況を示す情報の一覧を示す模式図である。図4に示す情報は、複数の車両からサーバ2000へ送信され、サーバ2000のデータベース2040に登録される。図4において、「発生時刻」はステップS16の条件が成立した時点の時刻情報であり、「緯度、経度」は注意ポイントPveの位置情報である。「判定手段」の「自動」は、ステップS21において、座標Peの変化と事前に設定したパラメータとの一致に基づいて、危険な状況を判別した場合を示している。「判定手段」の「手動」は、ステップS21に加えて、ステップS24の質問に対する回答、ステップS32の音声データによる補足に基づいて、危険な状況を判別した場合を示している。「音声」は、乗員が発話した音声のデータファイルを示している。「テキスト」は、ステップS32の音声データによるテキストの数を示している。また、「詳細な分類」は、危険状況を詳細に分類した内容を示している。「カウント」は、各注意ポイントPveの情報を送信した車両システム1000の数を示している。なお、車両システム1000またはサーバ2000は、視線の動きと詳細な分類の対応を学習する機械学習部を備えていても良い。視線の動きと詳細な分類の対応を大量のデータに基づいて学習することで、視線の動きに基づく危険状況の判別の精度をより高めることが可能となる。
【0038】
次に、図5図9に基づいて、図2のステップS14における座標Peの計算と、ステップS16における座標Peの変化とパラメータとの一致の判定について説明する。図5図9では、車両10に乗員20が乗車している様子を上から見た状態を示している。図5は、座標Peの算出方法を示す模式図である。視線検出装置100により、左右の目の視線を検出し、左右の目の視線が交差している点を座標Peとする。座標Peの原点は車両10の基準点とするが、注意ポイントPveの緯度、経度に変換できるように、位置検出装置200から車両10の基準点の緯度、経度を求めておく。
【0039】
図6は、道路上にある落下物などを乗員20が見ている場合を示している。この場合、車両10が前進するに従って、視線が向いている座標Peの位置が車両10側に近づいていく。ここで、Vvを車両10の速度ベクトル、Veを座標Peの速度ベクトルとする。また、VexをVeのx成分とし、VeyをVeのy成分とする。この場合に、ステップS16における判定条件として、乗員20が道路上のある一点を見つめている状態を、以下の条件(1)、条件(2)、条件(3)のアンド条件で定義する。
条件(1) |Vv+Vex|≦Vx1 (但し、Vx1は0に近い値とする)
条件(2) |Vey|≦Vy1 (但し、Vy1は0に近い値とする)
条件(3) 条件(1)、条件(2)の状態がT1[s]以上継続(但し、T1は任意の値とする)
なお、上記の条件に加えて、「高低差が無いこと」などの条件を更に加えても良い。
【0040】
図7は、乗員20が進行方向の道路上を横断する人や動物などを見ている状態を示している。この場合、視線が向いている座標Peの位置が車両10の前方左から前方右へ移動していく。この場合に、ステップS16における判定条件として、道路上を横断している人や動物などを見つめている状態を、以下の条件(4)、条件(5)、条件(6)のアンド条件で定義する。
条件(4) |Vv+Vex|≦Vx2 (但し、Vx2は0に近い値とする)
条件(5) |Vey|≧Vy2 (但し、Vy2は所定値とする)
条件(6) 条件(1)、条件(2)の状態がT1[s]以上継続 (但し、T1は任意の値とする)
なお、上記の条件に加えて、「高低差が無いこと」などの条件を更に加えても良い。
【0041】
図8は、座標Peの移動軌跡と別のモデルとの適合を確認する場合を示している。この場合に、ステップS16における判定条件として、予め設定された移動体モデルPthと、座標Peの一致度合を判定する。移動体モデルPthは、人や動物などの動きを想定しており、複数種類が予め設定されていても良い。
【0042】
図9は、動物や人などの移動体との判別方法を示している。周辺状況の確認を行う際の視線移動は、様々な場所を確認するため非常に速い速度で変化する。その速度は、動物や人などの移動体が移動する速度とは異なるため、速度を用いて判別する。この場合に、ステップS16における判定条件として、以下を定義する。なお、図9の判定は、他の判定と組み合わせて行うことができる。
Ve≧V1の場合、人や動物などの移動体は存在しない。
Ve<V1の場合、人や動物などの移動体が存在する可能性あり。
Ve<V1が一定時間以上継続した場合は、人や動物などの移動体があったと判定する。
また、Veが静止(または、ほぼ静止)の状態であるときは、人や動物が静止しているリスクがあると推定しても良い。
【0043】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0044】
502 視線情報取得部
504 危険状況判別部
506 位置情報取得部
508 送信処理部
510 提示処理部
512 回答取得部
図1
図2
図3
図4
図5
図6
図7
図8
図9