特許第6947556号(P6947556)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 矢崎エナジーシステム株式会社の特許一覧

<>
  • 特許6947556-車載機、処理装置およびプログラム 図000004
  • 特許6947556-車載機、処理装置およびプログラム 図000005
  • 特許6947556-車載機、処理装置およびプログラム 図000006
  • 特許6947556-車載機、処理装置およびプログラム 図000007
  • 特許6947556-車載機、処理装置およびプログラム 図000008
  • 特許6947556-車載機、処理装置およびプログラム 図000009
  • 特許6947556-車載機、処理装置およびプログラム 図000010
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6947556
(24)【登録日】2021年9月21日
(45)【発行日】2021年10月13日
(54)【発明の名称】車載機、処理装置およびプログラム
(51)【国際特許分類】
   G08G 1/16 20060101AFI20210930BHJP
   G08G 1/00 20060101ALI20210930BHJP
   G07C 5/00 20060101ALI20210930BHJP
【FI】
   G08G1/16 F
   G08G1/00 D
   G07C5/00 Z
【請求項の数】7
【全頁数】20
(21)【出願番号】特願2017-133801(P2017-133801)
(22)【出願日】2017年7月7日
(65)【公開番号】特開2019-16213(P2019-16213A)
(43)【公開日】2019年1月31日
【審査請求日】2020年6月17日
(73)【特許権者】
【識別番号】501418498
【氏名又は名称】矢崎エナジーシステム株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】特許業務法人栄光特許事務所
(72)【発明者】
【氏名】小栗 宏次
(72)【発明者】
【氏名】河中 治樹
(72)【発明者】
【氏名】金子 祐来
(72)【発明者】
【氏名】大石 啓之
(72)【発明者】
【氏名】山本 達夫
(72)【発明者】
【氏名】小林 裕一
【審査官】 平井 功
(56)【参考文献】
【文献】 特開2015−143936(JP,A)
【文献】 特開2008−003789(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00−99/00
G07C 1/00−15/00
(57)【特許請求の範囲】
【請求項1】
情報の種類が互いに異なるL(Lは2以上の整数)種類の車両の運行情報が入力される入力部と、
L種類の前記運行情報それぞれから取得される統計値を特徴量として有する評価値に応じて、運転手の状態を通知する出力部と、
を備え
前記統計値として、前記運行情報それぞれから取得されるM(Mは2以上の整数)種類の統計値を有し、
前記評価値は、L種類の前記運行情報毎に取得されたM種類の前記統計値(合計N=L×M個の統計値)の中から所定数P取り出したときの組合せ()の一部又は全てそれぞれにおいて、各組合せに用いられた前記統計値から算出される値を前記特徴量として有する、
ことを特徴とする車載機。
【請求項2】
前記特徴量は、各組合せに用いられた前記統計値の積から算出される値である
ことを特徴とする請求項に記載の車載機。
【請求項3】
前記統計値は、N個の前記統計値に加え、さらに、過去の少なくとも一時点における評価値を有し、
前記評価値は、(N+1)個の前記統計値の中から所定数P取り出したときの組合せ(N+1)毎に、各組合せに用いられた前記統計値から算出される値を前記特徴量として有する、
ことを特徴とする請求項に記載の車載機。
【請求項4】
情報の種類が互いに異なるL(Lは2以上の整数)種類の車両の運行情報が入力される入力部と、
L種類の前記運行情報それぞれから取得される統計値を特徴量として有する評価値に応じて、運転手の状態を通知する出力部と、
を備え、
前記評価値は、複数の前記特徴量を重回帰式に代入した数値である、
ことを特徴とする載機。
【請求項5】
各種情報が入力される入力部と、
前記入力部から入力された情報を基にデータ処理を行うデータ処理部と、
を備え、
前記入力部は、情報の種類が互いに異なるL(Lは2以上の整数)種類の車両の運行情報と、前記運行情報が取得された際に評価された運転手の状態と、が入力され、
前記データ処理部は、
L種類の前記運行情報毎に取得されたM種類の統計値(合計N=L×M個の統計値)の中から所定数P取り出したときの組合せ()の一部又は全てそれぞれにおいて、各組合せに用いられた前記統計値から算出される値を特徴量として算出し、
さらに、前記運転手の状態を目的変数として重回帰分析を行い、前記特徴量に対して乗算する係数を当該特徴量毎に算出する
ことを特徴とする処理装置。
【請求項6】
前記データ処理部は、さらに、前記特徴量に対して主成分分析を行い、前記目的変数に対する相関が相対的に高い特徴量を前記重回帰分析の対象とする、
ことを特徴とする請求項に記載の処理装置。
【請求項7】
コンピュータに、請求項又はに記載の前記入力部及び前記データ処理部の機能を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載機および処理装置に関し、特に車両を運転する運転者の状態を検知するための技術に関する。
【背景技術】
【0002】
様々な車両において、安全な運転状態を維持するためには、運転者が正常な運転状態であることが不可欠である。例えば、睡眠不足の状態の運転者が車両を運転している時には居眠り運転を行う可能性があり、交通事故に繋がる危険性が高い。また、何らかの病気の発症により運転者が突然意識を失い、運転不可能な状況に陥る可能性も考えられる。また、運転者自体が身体的には問題が発生していない場合であっても、例えばわき見運転を継続的に行った場合には交通事故に繋がる危険性が高くなる。
【0003】
そこで、特許文献1に示されている居眠り運転防止装置は、検出した車両の速度に基づいて、予め定められた監視速度から所定時間以内に所定速度以上の減速を検出すると、居眠りと判定する居眠り判定手段と、居眠りを判定した場合に運転者に対して警告を発する警告手段とを備えている。
【0004】
また、特許文献2に示されている車両用運転支援装置は、ドライバ(運転者)特性算出に使用する走行ログのデータ範囲を、蓄積した走行ログの特徴に応じて動的に変化させることで、より精度良くドライバ特性を算出するための技術を示している。
【0005】
また、特許文献3に示されている状態判定装置は、移動体の運転者の状態を判定する際の判定精度を向上させるための技術を示している。具体的には、センサ群での検知結果に従って、自動車の挙動を表すパラメータを繰り返し導出し、パラメータを判定モデルに照合した結果、判定モデルが有する閾値領域のいずれかに、パラメータが包含されていれば、運転者が漫然と運転しているものと判定する。
【0006】
また、人間の健康状態を検出するための一般的な技術として、ウェアラブル機器が用いられる場合もある。このようなウェアラブル機器は、例えば腕時計のように人体に装着され、体温、心拍、血圧などの生体情報を計測する。このような生体情報を利用して、眠気を判定することが可能である。また、車載カメラを利用して車両を運転している運転者の顔等を撮影し、顔画像の内容から運転者の状態を監視することも試みられている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2004−34938号公報
【特許文献2】特開2015−143936号公報
【特許文献3】特開2016−21192号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、運転者の状態を推定するために運転者の生体情報を利用する場合には、運転者がウェアラブル機器を常に装着した状態で車両を運転しなければならないので、運転者にかかる負担が大きく、継続的に使用するのは困難である。また、車載カメラを利用して車両を運転している運転者の顔等を撮影する場合には、運転者が常に監視されていることを意識することになり、特に、業務用車両を運転する乗務員の場合には運転中の精神的な負担が大きい。すなわち、乗務員は運転中に企業内の他人から常に監視されていると考えることになるので、このような状況は避ける必要がある。
【0009】
一方、特許文献1のように車両の速度に基づいて居眠り運転等の状態を検出する場合には、運転者に特別な負担がかかることはない。しかし、検出対象が居眠り運転のような特定の状態のみに限られるし、誤検出が生じる可能性もあるので、信頼性が十分に高いとは言えない。
【0010】
本発明は、上記の状況に鑑みてなされたものであり、その目的は、車載機から取得できる各種の運行データに基づいて、運転手の状態、例えばウトウトしながら運転している状態、動揺しながら運転している状態などを精度よく判定するために利用可能な車載機、処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0011】
前述した目的を達成するために、本発明に係る車載機は、下記(1)〜()を特徴としている。
(1) 情報の種類が互いに異なるL(Lは2以上の整数)種類の車両の運行情報が入力される入力部と、
L種類の前記運行情報それぞれから取得される統計値を特徴量として有する評価値に応じて、運転手の状態を通知する出力部と、
を備え
前記統計値として、前記運行情報それぞれから取得されるM(Mは2以上の整数)種類の統計値を有し、
前記評価値は、L種類の前記運行情報毎に取得されたM種類の前記統計値(合計N=L×M個の統計値)の中から所定数P取り出したときの組合せ()の一部又は全てそれぞれにおいて、各組合せに用いられた前記統計値から算出される値を前記特徴量として有する、
ことを特徴とする車載機。
) 前記特徴量は、各組合せに用いられた前記統計値の積から算出される値である
ことを特徴とする上記()に記載の車載機。
) 前記統計値は、N個の前記統計値に加え、さらに、過去の少なくとも一時点における評価値を有し、
前記評価値は、(N+1)個の前記統計値の中から所定数P取り出したときの組合せ(N+1)毎に、各組合せに用いられた前記統計値から算出される値を前記特徴量として有する、
ことを特徴とする上記()に記載の車載機。
(4) 情報の種類が互いに異なるL(Lは2以上の整数)種類の車両の運行情報が入力される入力部と、
L種類の前記運行情報それぞれから取得される統計値を特徴量として有する評価値に応じて、運転手の状態を通知する出力部と、
を備え、
前記評価値は、複数の前記特徴量を重回帰式に代入した数値である、
ことを特徴とする載機。
【0012】
上記(1)の構成の車載機によれば、複数種類の運行情報の各々の統計値に基づいて算出される評価値を利用するので、単一の運行情報だけでは得られない特徴量を評価することができ、運転手の微妙な状態の違いも識別可能になる。また、運転手の顔を撮影する必要もないし、ウェアラブル機器を運転手が装着する必要もないので、運転手の負担が小さい。
更に、上記()の構成の車載機によれば、複数種類の運行情報と、複数種類の統計値との組み合わせの少なくとも一部分の各々から算出される特徴量に基づいて算出される評価値を利用するので、様々な種類の特徴量を評価することができ、運転手の微妙な状態の違いも識別可能になる。
上記()の構成の車載機によれば、各統計値の積により前記特徴量を算出するので、様々な種類の特徴量を評価することができる。
上記()の構成の車載機によれば、過去の少なくとも一時点における評価値を最新の計算値にフィードバックすることができる。そのため、運転状態の特徴量の検出を開始してから正しい特徴量が得られるまでに時間がかかる場合であっても、フィードバックした過去の評価値に基づいて正しい特徴量を評価することが可能になる。
上記()の構成の車載機によれば、重回帰式に基づき、複数の前記特徴量の各々を説明変数として、運転手の状態を表す1つの目的変数を前記評価値として算出できる。
【0013】
前述した目的を達成するために、本発明に係る処理装置は、下記()、()を特徴としている。
) 各種情報が入力される入力部と、
前記入力部から入力された情報を基にデータ処理を行うデータ処理部と、
を備え、
前記入力部は、情報の種類が互いに異なるL(Lは2以上の整数)種類の車両の運行情報と、前記運行情報が取得された際に評価された運転手の状態と、が入力され、
前記データ処理部は、
L種類の前記運行情報毎に取得されたM種類の統計値(合計N=L×M個の統計値)の中から所定数P取り出したときの組合せ()の一部又は全てそれぞれにおいて、各組合せに用いられた前記統計値から算出される値を特徴量として算出し、
さらに、前記運転手の状態を目的変数として重回帰分析を行い、前記特徴量に対して乗算する係数を当該特徴量毎に算出する
ことを特徴とする処理装置。
) 前記データ処理部は、さらに、前記特徴量に対して主成分分析を行い、前記目的変数に対する相関が相対的に高い特徴量を前記重回帰分析の対象とする、
ことを特徴とする上記()に記載の処理装置。
【0014】
上記()の構成の処理装置によれば、目的変数である前記運転手の状態と一致するように学習が実施され、必要な特徴量毎の係数が算出される。ここで算出された適切な係数を、上記(1)に記載の車載機に与えることにより、車載機は前記運転手の状態を適切に評価することが可能になる。
上記()の構成の処理装置によれば、上記(1)に記載の車載機が運転手の状態を正しく評価するために必要な特徴量の数を大幅に削減できるので、計算の負荷が小さくなり、処理能力の低いコンピュータを搭載した車載機であっても短時間で評価結果を得ることが可能になる。
【0015】
前述した目的を達成するために、本発明に係るプログラムは、下記()を特徴としている。
) コンピュータに、上記()又は()に記載の前記入力部及び前記データ処理部の機能を実現させるためのプログラム。
【0016】
上記()の構成のプログラムによれば、目的変数である前記運転手の状態と一致するように学習が実施され、必要な特徴量毎の係数が算出される。ここで算出された適切な係数を、上記(1)に記載の車載機に与えることにより、車載機は前記運転手の状態を適切に評価することが可能になる。
【発明の効果】
【0017】
本発明の車載機、処理装置およびプログラムは、車載機から取得できる各種の運行データに基づいて、運転手の状態を精度よく判定するために役立てることができる。本発明の処理装置及びプログラムは、車載機が計算に用いる特徴量毎の係数を学習により算出する機能を有する。本発明の車載機は、本発明の処理装置が算出した各係数を採用することにより、運転手の状態を評価する精度を高めることができる。
【0018】
以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態(以下、「実施形態」という。)を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。
【図面の簡単な説明】
【0019】
図1図1は、本発明の実施形態における車載機の構成例を示すブロック図である。
図2図2は、本発明の実施形態における学習処理システムの構成例を示すブロック図である。
図3図3は、車載カメラが撮影した映像の例を示す正面図である。
図4図4は、ドライビングシミュレータとそれに付随する装置の位置関係を示す側面図である。
図5図5は、学習処理装置における学習処理の具体例を示すフローチャートである。
図6図6は、眠気レベルの時間推移に関する正解値、重回帰式の推定値、および重回帰式の推定値を量子化した値の具体例を示すタイムチャートである。
図7図7は、学習処理装置における学習処理の変形例を示すフローチャートである。
【発明を実施するための形態】
【0020】
本発明の車載機および処理装置に関する具体的な実施の形態について、各図を参照しながら以下に説明する。
【0021】
<実施形態の車載機10の説明>
<概要の説明>
本発明の実施形態における車載機10の構成例を図1に示す。図1に示した車載機10は、例えばタクシー、トラック、バスのような業務用車両など様々な車両に搭載した状態で使用され、運転手の状態を自動検出するために利用される。検出対象の代表的な状態として、ここでは運転手の居眠りの状態を想定している。しかし、この車載機10は居眠りに限らず、様々な状態の検知に利用できる。
【0022】
図1に示した車載機10は、ドライブレコーダであり、運転手の居眠り運転を検知して危険を報知するための機能が追加されている。しかし、本発明の車載機はドライブレコーダに限らず、様々な種類の車載機に本発明の機能を搭載できる。
【0023】
<構成の説明>
図1に示した車載機10の入力には、自車両に搭載されている車速センサ(図示せず)が出力する車速パルス信号SG1が印加される。この車速パルス信号SG1は、例えば車両のトランスミッションの出力軸が所定量回動する毎に発生するパルスを含んでいる。したがって、自車両の走行速度(km/h)や移動距離を車速パルス信号SG1に基づいて算出できる。
【0024】
また、図1に示した車載機10の入力には、車載カメラ30が接続されている。この車載カメラ30は、例えば自車両の前方の窓付近に固定され、自車両の進行方向前方の路面や風景などの状況を撮影できる方向に向けられている。なお、複数台の車載カメラ30を必要に応じて用いることができる。車載カメラ30の撮影内容を表す映像信号SG4が車載機10に入力される。
【0025】
また、実際の車両においては、車速パルス信号SG1、映像信号SG4以外の様々な信号を外部から車載機10に入力することが可能であるが、運転手の居眠りを検出する用途だけであれば、他の信号を入力する必要はない。
【0026】
図1に示したように、車載機10の内部には、車速検出機能11、加速度センサ12、画像認識エンジン13、ドライブレコーダ機能14、運行データ検出機能15、統計値算出部16、評価値算出部17、フィードバック処理部18、評価値判定部19、音声出力部20、および広域無線通信アダプタ21が備わっている。また、広域無線通信アダプタ21にアンテナ22が接続されている。
【0027】
なお、図1に示した車載機10の内部の主要な構成要素の実体は、マイクロコンピュータを主体とする電気回路のハードウェアと、このマイクロコンピュータが実行するプログラムおよびデータとで構成されるソフトウェアからなる。また、必要に応じて、画像処理専用のプロセッサや、数値演算用のプロセッサなどが車載機10に内蔵される場合もある。
【0028】
車速検出機能11は、外部から入力される車速パルス信号SG1に基づいて自車両の最新の走行速度(km/h)を常時算出する。この算出結果の走行速度の信号SG5が車速検出機能11から出力され運行データ検出機能15に入力される。
【0029】
加速度センサ12は、車載機10に固定されており、自車両の進行方向(前後方向)の加速度の大きさと、横方向(左右方向)の加速度の大きさとをそれぞれ検出する機能を有している。進行方向の加速度の大きさを表す信号SG2と、横方向の加速度の大きさを表す信号SG3とのそれぞれが加速度センサ12から出力され、運行データ検出機能15に印加される。
【0030】
画像認識エンジン13は、入力される映像信号SG4の各フレームの画像に対して、リアルタイムで認識処理を実行し、様々な特徴量を検出する。具体的には、画像中の路面に標示されている各白線(レーンの境界の区切り位置)の位置、自車両の位置などを自動的に認識することができる。
【0031】
ドライブレコーダ機能14は、一般的なドライブレコーダと同様の機能を実現する。すなわち、入力される映像信号SG4の情報や、走行速度、加速度のような自車両の運行状態に関する情報を取得して記録する。大量の情報を記録できるように、例えば不揮発性メモリにより構成されるメモリカードのような記憶装置がドライブレコーダ機能14に備わっている。
【0032】
運行データ検出機能15は、運転手の状態を検出するために必要とされる9種類の運行情報D1〜D9を、走行速度の信号SG5、進行方向の加速度の信号SG2、横方向の加速度の信号SG3、および画像認識結果の信号SG6に基づいて検出する。なお、運行情報D1〜D9の種類数を必要に応じて増減することも可能である。この運行情報D1〜D9については後で詳細に説明する。
【0033】
統計値算出部16は、運行データ検出機能15から出力される9種類の運行情報D1〜D9のそれぞれについて、統計処理を施して各々の統計値Dxを算出する。統計値算出部16が算出する統計値Dxの種類については、標準偏差(std)、最大値(max)、最小値(min)、平均値(mean)、中央値(median)、最頻値(mode)、および範囲(range)の7種類がある。なお、統計値Dxの種類数を必要に応じて増減してもよい。
【0034】
評価値算出部17は、9種類の運行情報D1〜D9のそれぞれの7種類の統計値Dxと、フィードバック処理部18から印加されるフィードバック信号Dfとを、所定の計算式に代入して計算することにより、評価値Dyを求める。この評価値Dyは、この例では運転手の居眠りの状態の程度を数値化して表すものである。評価値算出部17の計算式の具体例については後で説明する。
【0035】
フィードバック処理部18は、時間的に古い情報を現在の情報にフィードバックして現在の情報の評価に反映するための処理を行う。具体的には、フィードバック処理部18が評価値算出部17の出力する評価値Dyを入力して一時的に保持し、一定時間(例えば120秒)の経過後にフィードバック信号Dfとして出力する機能を有している。
【0036】
評価値判定部19は、評価値算出部17が出力する評価値Dyを事前に定めた閾値と比較することにより、警報等を出力するか否かを判定する。例えば、評価値Dyが大きく、運転手が非常に眠そうな状況であると評価値判定部19が判定した場合には、居眠り運転の発生を回避するために必要な報知信号SG8を出力する。
【0037】
音声出力部20は、報知信号SG8に従って、居眠り運転の発生を回避するために役立つ音声出力を実行する。例えば、運転手に聞こえるように「危険です、停車して休憩して下さい」のような音声を出力する。
【0038】
広域無線通信アダプタ21は、遠隔地のコンピュータとの間でデータ通信するための無線通信機能を提供する。例えば、ドライブレコーダ機能14が記録する運行情報や、報知信号SG8を、必要に応じて、遠隔地のサーバや当該車両を管理している企業の事務所PCなどに対して送信することができる。
【0039】
<動作の説明>
<運行データ検出機能15の動作>
図1に示した運行データ検出機能15は、以下に示す9種類の運行情報D1〜D9をそれぞれ検出する。
【0040】
D1:自車両の走行速度。
D2:自車両の進行方向(前後方向:x軸)加速度。
D3:自車両の横方向(左右方向:y軸)加速度。
D4:FOE(Focus Of Expansion)ゆらぎ。より具体的には、x座標における(10秒間移動平均値−今回値)を利用する。
D5:FOE差分R。具体的には、x座標における絶対値(10秒間移動平均値−キャリブレーション後のFOE x座標値)を利用する。
D6:自車位置。具体的には、(絶対値(左白線交点座標+右白線交点座標)/2−車両直進走行時の6m地点での車両中心投影位置(座標))を6m地点の距離に換算した結果を利用する。
D7:左白線からの距離。より具体的には、自車両の現在位置から6m先の地点(自車位置)と左白線との横方向の距離を利用する。
D8:右白線からの距離。より具体的には、自車両の現在位置から6m先の地点(自車位置)と右白線との横方向の距離を利用する。
D9:横移動速度。
【0041】
自車両の走行速度D1は、走行速度の信号SG5に相当する。車両の進行方向(前後方向:x軸)加速度D2、および横方向(左右方向:y軸)加速度D3は、加速度センサ12が出力する加速度の信号SG2およびSG3に相当する。その他の上記運行情報D4〜D9の各々は、画像認識エンジン13の認識結果(信号SG6)に基づいて算出できる。
【0042】
動きの消失点(FOE)について説明する。例えば走行中の車両上で前方を撮影したカメラの映像においては、路面上の白線のように輝度の大きい箇所の画素が流れるように移動する。また、このような動きを表す各ベクトルを直線状に延長した先にある交点では動きがなくなる。この交点が動きの消失点(FOE)である。例えば、直線状の道路上を直進している車両においては、走行中の路面の進行方向の先にある無限遠点がFOEになる。また、例えば自車両が蛇行して走行したり、進行方向が変化するときにはFOEにも変化が現れる。したがって、居眠り運転の可能性を検知するために、FOEの変化を利用できる。
【0043】
車載カメラ30が撮影した映像の例を図3に示す。図3に示した映像の中には、動きの消失点(FOE)、6m先の左白線、6m先の右白線の各位置が示されている。
【0044】
<評価値算出部17が実行する計算式の説明>
図1に示した評価値算出部17が評価値Dyを算出するために利用する計算式の具体例を以下に示す。
【0045】
y= k01×D1max
+k02×D6max
+k03×D6min
+k04×D9max
+k05×Df
+k06×D1max×D6min
+k07×D1max×D7min
+k08×D1max×D7mean
+k09×D1max×Df
+k10×D1min×D8median
+k11×D4std×D5median
+k12×D4min×D5range
+k13×D5max×D7median
+k14×D5mode×D6min
+k15×D6max×D9max
+k16×D6max×Df
+k17×D6min×D7min
+k18×D7std×D7mean
+k19×D9max×Df
+kc0 ・・・(1)
但し、
y:評価値(Dyに相当する)
k01〜k19:各項目の運行情報(D1〜D9)の該当する統計値に割り当てた係数
kc0:定数項
D1max:自車両の走行速度D1の最大値
D6max:自車位置D6の最大値
D6min:自車位置D6の最小値
D9max:横移動速度D9の最大値
Df:フィードバック値(120秒前のyの計算値)
D7min:左白線からの距離D7の最小値
D7mean:左白線からの距離D7の平均値
D8median:右白線からの距離D8の中央値
D4std:FOEゆらぎD4の標準偏差
D5median:FOE差分Rの中央値
D4min:FOEゆらぎD4の最小値
D5range:FOE差分Rの範囲
D5max:FOE差分Rの最大値
D7median:左白線からの距離D7の中央値
D5mode:FOE差分Rの最頻値
D7std:左白線からの距離D7の標準偏差
【0046】
上記第(1)式の内容は単なる一例であり、実際には後述する学習処理を実施することにより様々な計算式を採用して計算の精度を向上することができる。
【0047】
評価値yを算出するために用いる計算式の各項目における組み合わせについては、本実施形態では最大で2080種類存在する。すなわち、運行情報(D1〜D9)が9種類、統計値Dxの統計種類数が7であり、更に1種類のフィードバック信号Dfを利用するので、64種類の計算項目が存在する。
9×7+1=64 ・・・(2)
【0048】
そして、これらの64項目の各々についての2項目の積を計算する組み合わせの種類数は次式のように2080になる。
64×(64−1)/2+64=2080 ・・・(3)
【0049】
しかしながら、2080種類の全ての項目を計算するためには大きな計算負荷がかかる。また、2080種類の項目の全てが運転手の居眠りと大きな因果関係を有しているわけではない。そこで、2080種類の組み合わせの項目の中から、学習処理によって利用価値の高い項目だけを選択して採用する。その結果の代表例が上記第(1)式の内容である。現実的には、230程度の計算項目を有する計算式を採用することが想定される。
【0050】
しかし、いずれにしても、例えば上記第(1)式の内容の各項目は、運転手の居眠りと相関関係を有する運行情報(D1〜D9)の統計値を含んでいるので、運転手の居眠りに関する評価値Dyを算出するために利用できる。また、この計算式に含まれている各係数k01〜k19の値については、「−1〜+1」の範囲内の実数であり、例えば小数点以下4桁程度の精度を有する数値を採用する。これらの内容は、学習処理によって最適化される。
【0051】
<実施形態の学習処理システム40の説明>
<概要の説明>
本発明の実施形態における学習処理システム40の構成例を図2に示す。図2に示した学習処理システム40に含まれている学習処理装置50が本発明の処理装置に相当する。この学習処理システム40は、図1に示した車載機10の評価値算出部17が適切な計算式を用いて評価値Dyを算出するために必要な学習処理を実現するものである。この学習処理の結果により、評価値算出部17が採用する上記第(1)式の内容が変化する。
【0052】
<学習処理の準備の説明>
ドライビングシミュレータ41とそれに付随する装置の位置関係図4に示す。本実施形態では、学習処理で利用可能な実験データを取得するために、図4に示したドライビングシミュレータ41を利用する。
【0053】
このドライビングシミュレータ41は、実際の車両の運転席と同じように運転手が着座可能な運転席を有しており、更に、運転手が操作可能なステアリングホイール、アクセルペダル、ブレーキペダル、変速操作レバーなどの機器を備えている。また、運転手の前方を主体として運転手を囲むように6面のディスプレイ41aが配置されている。このディスプレイ41aの画面上には、実際の運転状態において運転手が視認可能な前方視界の情景等を模擬した内容が、ドライビングシミュレータ41に対する運転操作に応じて表示される。
【0054】
模擬運転の実験を実施する場合には、図4に示すように被験者42がドライビングシミュレータ41の運転席に着座する。そして、この被験者42は、ドライビングシミュレータ41の運転手として、ディスプレイ41aの画面の内容を視認しながら、ステアリングホイール、アクセルペダル、ブレーキペダル、変速操作レバーなどの機器を操作して模擬運転を行う。被験者42の模擬運転操作に応じてディスプレイ41aの画面の内容が逐次変化する。
【0055】
学習処理に必要な実験データを取得するために、図4に示すように運転席の前方に配置された前方映像録画用カメラ43が、ディスプレイ41aの画面における前方映像を撮影する。また、運転席の前方に配置された運転手顔映像録画用カメラ(ステレオカメラ)44が運転席に着座している被験者42の顔およびその近傍を撮影する。また、被験者42の生体情報である心電図を取得するために、心電計45が被験者42に装着される。
【0056】
学習処理に必要な実験データは、図2に示した情報記録装置46が記録する。すなわち、前方映像録画用カメラ43の撮影により得られる前方の映像と、運転手顔映像録画用カメラ44の撮影により得られる被験者42の顔の映像と、心電計45が出力する心電図の情報とが1組の時系列データとして情報記録装置46に記録される。また、自車両の走行速度、前後方向加速度、横方向加速度等の情報をドライビングシミュレータ41から入力して情報記録装置46が記録する。情報記録装置46は、大量の情報の記録を可能にするためにハードディスクなどの記憶装置を搭載している。
【0057】
重回帰分析を適用して学習処理を行うためには、情報記録装置46が記録した模擬運転の実験データの他に、重回帰分析の目的変数に相当する運転手の状態を表す正解値が必要になる。したがって、図2に示すように、情報記録装置46が記録した情報に基づいて各時点の正解値を正解値の特定処理47により特定する。
【0058】
正解値の特定処理47については、ここでは熟練者が行う人間の作業として、運転手顔映像録画用カメラ44が撮影した顔の再生映像(表情や頭の動きなど)と、心電計45が出力する心電図とに基づいて感覚的に評価した結果を各時点の正解値として出力する場合を想定している。
【0059】
勿論、正解値の特定処理47を自動化し、人間の作業を不要にすることも可能である。例えば、画像認識技術により、再生映像における被験者42の顔の表情や頭の動きなどを自動認識したり、認識した状態と心電図の状態とを組み合わせて正解値の評価結果を自動的に出力することができる。
【0060】
正解値の特定処理47において正解値を評価する際には、例えば表1に示した評価指標を利用し、これに準じた評価を実施することが想定される。表1の評価指標は、「新エネルギー・産業技術総合開発機構(NEDO)」が提案しているものである。
【表1】
【0061】
すなわち、表1に示した評価指標を利用する場合には、被験者42の顔の表情や頭の動きなどと、5段階の評定値とを対応付けることができる。したがって、情報記録装置46が記録した情報を再生しながら、各時点の被験者42の状態として、眠気レベルを5段階評価した場合の正解値を、表1の内容に基づき、人間、又は機械が正解値の特定処理47で特定することができる。
【0062】
<学習処理の説明>
図2に示した学習処理装置50は、学習処理に用いる入力データ48として、情報記録装置46が記録した模擬運転の記録情報と、正解値の特定処理47により得られた各時点の正解値とを組み合わせて学習処理を実施する。
【0063】
学習処理装置50の実体は、パーソナルコンピュータのような一般的な計算機であって、重回帰分析等の特別な計算処理を含む学習処理を実行するために必要なアプリケーションソフトウェアを搭載している。
【0064】
学習処理装置50は、基本的には運転手の状態(この例では眠気レベル)を目的変数yとする重回帰式の説明変数の各項目の数、各項目の種類、各項目の係数を最適化するための学習を実施するものである。この場合の重回帰式が使用可能な説明変数は、車載機10内の評価値算出部17に入力される各運行情報D1−D9における各統計値Dxに相当する。したがって、学習処理装置50においても、重回帰式の説明変数の項目数は、初期状態では上記第(3)式に示した組み合わせ種類数の2080になる。
【0065】
そして、学習処理装置50が学習処理を実施することにより、重回帰式の説明変数の項目数を減らし、説明変数の種類を最適化すると共に、適切な目的変数yを算出するために必要な各係数を項目毎に算出する。学習処理装置50が学習処理の結果として算出した学習処理後の各種係数52や、重回帰式の説明変数の項目数、各項目の種類などが車載機10の評価値算出部17に登録される。
【0066】
<学習処理の具体的な手順>
学習処理装置50における学習処理の手順の具体例を図5に示す。図5に示した学習処理について以下に説明する。
【0067】
ステップS11では、学習処理装置50が入力データ48の中から、利用可能なデータを順次に抽出する。すなわち、車載機10の運行データ検出機能15が検出する9種類の運行情報D1−D9の各々に相当するデータをここで抽出する。
【0068】
ステップS12では、S11で抽出した運行情報D1−D9の各々のデータに基づき、学習処理装置50が各々の特徴量を算出する。つまり、車載機10の統計値算出部16の動作と同じように、7種類の統計値Dxを9種類の運行情報D1−D9の各々に対して算出し、これらを特徴量とする。実際には、上記第(3)式に示した組み合わせ種類数の2080と同じ数の特徴量が得られる。
【0069】
ステップS13では、正解値への推定値の追従性向上を目的として、学習処理装置50が主成分分析(PCA:principal component analysis)を実施する。この例では、累積寄与率を定数として設定し、主成分分析を実施する。主成分分析について以下に説明する。
【0070】
例えば、ある車両を真上から視た場合には、車両の縦幅と横幅とが分かるが、高さは分からない。一方、この車両を正面から見た場合には、車両の横幅と高さとが分かるが、縦幅は分からない。また、この車両を真横から視た場合には、車両の縦幅と高さとが分かるが、横幅は分からない。そこで、この車両を斜め45度方向から視ると、検出精度は落ちるが車両の縦幅、横幅、高さの全てを総合的に検出できる状態になる。
【0071】
真上、正面、真横のそれぞれの視点で特徴量を把握する代わりに、斜め方向のように1つの視点、つまり主成分から全ての特徴量を把握しようとするのが主成分分析の考え方である。
【0072】
一方、車載機10の評価値算出部17、および学習処理装置50に入力される2080種類の特徴量には、9種類の運行情報D1−D9の各々に関する7種類の統計値Dx、および1つのフィードバック信号Dfにより構成される64個の特徴量の2項目積の組み合わせの全てが含まれている。つまり、車両を斜め方向から視た場合と同じような、全ての主成分が2080種類の特徴量に既に含まれている。そこで、2080種類の特徴量の中から重要度の高い主成分だけを抽出することが、主成分分析を実施することを意味する。
【0073】
例えば、次の第(4)式に示す行列式を計算することにより、p種類の特徴量C1〜Cpと各種重みWとに基づき、q種類(p>>q)の主成分f1〜fqを取り出すことができる。つまり、説明変数の次元数をpからqに圧縮することができる。
【0074】
【数1】
【0075】
ステップS14では、学習処理装置50は、重回帰式における目的変数yと各特徴量との相関係数の行列を取得する(R=corrcoef)。つまり、ステップS13で2080個からq個(例えば230個)まで削減されたq個の各特徴量と目的変数yとの各々の相関係数を表す行列を取得する。
【0076】
そして、学習処理装置50は、特徴量毎の相関係数の集合(行列)の中で相関係数が所定の閾値(この例では0.1)以上のもののみをステップS15で抽出し、閾値未満の特徴量はステップS16で削除する。つまり、相関係数が閾値未満の特徴量は重回帰式の計算対象項目から除外する。
【0077】
ステップS17では、学習処理装置50は、ステップS15で抽出した、特徴量毎の相関係数の集合(行列)の中で相関係数が所定の閾値以上の特徴量に対して、説明変数の選択方法として一般的なステップワイズ法を適用し、特徴を選択する。すなわち、重回帰分析の結果の自由度調整済R二乗値(決定係数)、F値と係数のp値(それぞれの説明変数の係数の有意確率)を見ながら、どの組み合わせが最も当てはまりが良いかを繰り返し処理によって探る。
【0078】
ステップS18では、学習処理装置50はステップS17で選択した特徴を用いて重回帰分析を実行する。すなわち、重回帰式の目的変数yを、説明変数である各特徴量の組み合わせにより十分に説明できる状態になるように、各特徴量の組み合わせと各特徴量の係数とをそれぞれパラメータとして特定する。この時には、学習処理に用いる入力データ48として正解値も入力されるので、目的変数yの正解値と、各特徴量との関係が最適化されるように、各特徴量の種類の組み合わせと各組み合わせの係数とを決定することができる。
【0079】
ステップS18で得られるパラメータが図2に示した学習処理後の各種係数52であり、これが車載機10の評価値算出部17に登録される。その結果として、評価値算出部17は、例えば上記第(1)式のような重回帰式の計算を実行することになる。したがって、例えば前記表1の内容に相当する運転手の眠気レベルについて、図2の学習処理システム40で学習した結果のパラメータを車載機10に登録した場合には、車載機10の評価値算出部17および評価値判定部19は居眠り運転を防止するために役立つ判定動作を行うことになる。
【0080】
<眠気レベルの具体例>
眠気レベルの時間推移に関する正解値61(図中、正解値61を明りょうに示すため、正解値61と横軸とに挟まれる領域にグラデーションを施している。)、重回帰式の推定値62(図中、折れ線グラフにて記載されている。)、および重回帰式の推定値を量子化した値63(図中、「+」形状のプロットにて記載されている。)の具体例を図6に示す。図6において、横軸は時間を表し、縦軸は眠気レベルを表す。すなわち、学習処理装置50が学習処理を実行する場合には、図6に示すように、学習処理の進行に伴って重回帰式の推定値(y)62と正解値61とのずれが小さくなり、重回帰式のパラメータが最適化されていくことが分かる。
【0081】
<学習処理の手順の変形例>
学習処理システム40における学習処理の手順の変形例を図7に示す。図7の学習処理について以下に説明する。
【0082】
ステップS21では、学習処理装置50が入力データ48の中から、利用可能なデータを順次に抽出する。すなわち、車載機10の運行データ検出機能15が検出する9種類の運行情報D1−D9の各々に相当するデータをここで抽出する。
【0083】
ステップS22では、S21で抽出した運行情報D1−D9の各々のデータに基づき、学習処理装置50が各々の特徴量を算出する。つまり、車載機10の統計値算出部16の動作と同じように、7種類の統計値Dxを9種類の運行情報D1−D9の各々に対して算出し、これらを特徴量とする。実際には、上記第(3)式に示した組み合わせ種類数の2080と同じ数の特徴量が得られる。
【0084】
ステップS23では、学習処理装置50は、重回帰式における目的変数yと各特徴量との相関係数の行列を取得する(R=corrcoef)。つまり、2080個の各特徴量と目的変数yとの各々の相関係数を表す行列を取得する。
【0085】
そして、学習処理装置50は、特徴量毎の相関係数の集合(行列)の中で相関係数が所定の閾値(この例では0.3)以上のもののみをステップS24で抽出し、閾値未満の特徴量はステップS25で削除する。つまり、相関係数が閾値未満の特徴量は重回帰式の計算対象項目から除外する。
【0086】
ステップS26では、正解値への推定値の追従性向上を目的として、学習処理装置50が主成分分析(PCA:principal component analysis)を実施する。この例では、累積寄与率が定数として設定して、主成分分析を実施する。すなわち、ステップS24で抽出した特徴量の数を更に削減して利用価値の高い主成分のみを抽出する。
【0087】
ステップS27では、学習処理装置50は、説明変数の選択方法として一般的なステップワイズ法を適用し、特徴を選択する。すなわち、重回帰分析の結果の自由度調整済R二乗値(決定係数)、F値と係数のp値(それぞれの説明変数の係数の有意確率)を見ながら、どの組み合わせが最も当てはまりが良いかを繰り返し処理によって探る。
【0088】
ステップS28では、学習処理装置50はステップS27で選択した特徴を用いて重回帰分析を実行する。すなわち、重回帰式の目的変数yを、説明変数である各特徴量の組み合わせにより十分に説明できる状態になるように、各特徴量の組み合わせと各特徴量の係数とをそれぞれパラメータとして特定する。この時には、学習処理に用いる入力データ48として正解値も入力されるので、目的変数yの正解値と、各特徴量との関係が最適化されるように、各特徴量の種類の組み合わせと各組み合わせの係数とを決定することができる。
【0089】
ステップS28で得られるパラメータが図2に示した学習処理後の各種係数52であり、これが車載機10の評価値算出部17に登録される。その結果として、評価値算出部17は、例えば前記第(1)式のような重回帰式の計算を実行することになる。したがって、例えば前記表1の内容に相当する運転手の眠気レベルについて、図2の学習処理システム40で学習した結果のパラメータを車載機10に登録した場合には、車載機10の評価値算出部17および評価値判定部19は居眠り運転を防止するために役立つ判定動作を行うことになる。
【0090】
<利点>
図1に示した車載機10は、複数種類の運行情報D1〜D9を利用し、更にこれらの各々の複数種類の統計値Dxの組み合わせを利用するので、眠気レベルのような運転手の状態を高精度で検出することができる。また、算出に利用する特徴量として複数項目の積を採用することにより、利用価値の高い主成分を抽出し、評価値の精度を高めることができる。また、過去に算出された評価値をフィードバック信号Dfとして重回帰式の入力にフィードバックすることにより、評価値の精度を高めることができる。また、学習されたパラメータに基づいて重回帰式の内容を決定することにより、評価値の精度を高めることができる。
【0091】
また、図2に示した学習処理システム40において、学習処理装置50は、学習処理に用いる入力データ48に基づき図5または図7に示した手順の学習処理を実施することにより、車載機10が必要とする高精度のパラメータを自動的に算出できる。また、学習処理装置50は、重回帰式で計算する各特徴量、すなわち説明変数の項目数を削減できるので、車載機10における計算の負荷を削減することができる。
【0092】
<変形の可能性>
上述の実施形態においては、車載機10及び学習処理装置50における重回帰式の目的変数(y)として、運転手の眠気レベルを想定しているが、目的変数(y)を変更して適切な学習を実施することにより、他の様々な用途にも適用できる。例えば、運転手の注意力が低下している状態、運転手の運動能力が低下している状態、危険性の高い運転を行っている状態などの検出に利用できる可能性がある。
【0093】
ここで、上述した本発明に係る車載機、処理装置及びプログラムの実施形態の特徴をそれぞれ以下[1]〜[8]に簡潔に纏めて列記する。
[1] 情報の種類が互いに異なるL(Lは2以上の整数)種類の車両の運行情報(D1〜D9)が入力される入力部(評価値算出部17)と、
L種類の前記運行情報それぞれから取得される統計値(Dx)を特徴量として有する評価値(Dy)に応じて、運転手の状態を通知する出力部(音声出力部20)と、
を備えることを特徴とする車載機(10)。
[2] 前記統計値として、前記運行情報それぞれから取得されるM(Mは2以上の整数)種類の統計値(Dx)を有し、
前記評価値(Dy)は、L種類の前記運行情報毎に取得されたM種類の前記統計値(合計N=L×M個の統計値)の中から所定数P取り出したときの組合せ()の一部又は全てそれぞれにおいて、各組合せに用いられた前記統計値から算出される値を前記特徴量として有する(第(1)式参照)、
ことを特徴とする上記[1]に記載の車載機。
[3] 前記特徴量は、各組合せに用いられた前記統計値の積から算出される値である(第(1)式参照)
ことを特徴とする上記[2]に記載の車載機。
[4] 前記統計値は、N個の前記統計値に加え、さらに、過去の少なくとも一時点における評価値(フィードバック信号Df)を有し、
前記評価値は、(N+1)個の前記統計値の中から所定数P取り出したときの組合せ(N+1)毎に、各組合せに用いられた前記統計値から算出される値を前記特徴量として有する(第(1)式参照)、
ことを特徴とする上記[3]に記載の車載機。
[5] 前記評価値(Dy)は、複数の前記特徴量を重回帰式に代入した数値である、
ことを特徴とする上記[1]乃至[4]のいずれかに記載の車載機。
[6] 各種情報が入力される入力部(学習処理に用いる入力データ48)と、
前記入力部から入力された情報を基にデータ処理を行うデータ処理部(学習処理装置50)と、
を備え、
前記入力部は、情報の種類が互いに異なるL(Lは2以上の整数)種類の車両の運行情報と、前記運行情報が取得された際に評価された運転手の状態と、が入力され、
前記データ処理部は、
L種類の前記運行情報毎に取得されたM種類の統計値(合計N=L×M個の統計値:Dx)の中から所定数P取り出したときの組合せ()の一部又は全てそれぞれにおいて、各組合せに用いられた前記統計値から算出される値を特徴量として算出し(S12,S22)、
さらに、前記運転手の状態を目的変数として重回帰分析を行い、前記特徴量に対して乗算する係数を当該特徴量毎に算出する(S18,S28)
ことを特徴とする処理装置。
[7] 前記データ処理部は、さらに、前記特徴量に対して主成分分析を行い(S13,S26)、前記目的変数に対する相関が相対的に高い特徴量を前記重回帰分析の対象とする、
ことを特徴とする上記[6]に記載の処理装置。
[8] コンピュータに、上記[6]又は[7]に記載の前記入力部及び前記データ処理部の機能を実現させるためのプログラム。
【符号の説明】
【0094】
10 車載機
11 車速検出機能
12 加速度センサ
13 画像認識エンジン
14 ドライブレコーダ機能
15 運行データ検出機能
16 統計値算出部
17 評価値算出部
18 フィードバック処理部
19 評価値判定部
20 音声出力部
21 広域無線通信アダプタ
22 アンテナ
30 車載カメラ
40 学習処理システム
41 ドライビングシミュレータ
42 被験者
43 前方映像録画用カメラ
44 運転手顔映像録画用カメラ
45 心電計
46 情報記録装置
47 正解値の特定処理
48 学習処理に用いる入力データ
50 学習処理装置
51 学習処理前の各種係数
52 学習処理後の各種係数
61 眠気レベルの時間推移に関する正解値、
62 重回帰式の推定値
63 重回帰式の推定値を量子化した値
D1,D2,D3,D4,D5,D6,D7,D8,D9 運行情報
Df フィードバック信号
Dx 統計値
Dy 評価値
図1
図2
図3
図4
図5
図6
図7