(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-06
(45)【発行日】2023-03-14
(54)【発明の名称】電子装置、運転者状態推定システム
(51)【国際特許分類】
G08G 1/16 20060101AFI20230307BHJP
A61B 5/18 20060101ALI20230307BHJP
G08G 1/09 20060101ALI20230307BHJP
【FI】
G08G1/16 F
A61B5/18
G08G1/09 F
(21)【出願番号】P 2018227756
(22)【出願日】2018-12-05
【審査請求日】2021-03-22
(73)【特許権者】
【識別番号】000101732
【氏名又は名称】アルパイン株式会社
(74)【代理人】
【識別番号】100098497
【氏名又は名称】片寄 恭三
(74)【代理人】
【識別番号】100099748
【氏名又は名称】佐藤 克志
(74)【代理人】
【識別番号】100103171
【氏名又は名称】雨貝 正彦
(74)【代理人】
【識別番号】100105784
【氏名又は名称】橘 和之
(72)【発明者】
【氏名】松▲崎▼ 千絵
【審査官】白石 剛史
(56)【参考文献】
【文献】特開2008-123448(JP,A)
【文献】特開2016-110207(JP,A)
【文献】特開2009-281832(JP,A)
【文献】特開2016-133850(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/16
A61B 5/18
G08G 1/09
(57)【特許請求の範囲】
【請求項1】
運転者の状態を推定する機能を備えた電子装置と、
運転者の自宅に設置された家電機器と、
運転者の携帯端末と、
前記電子装置、前記家電機器および前記携帯端末と通信可能なサーバーとを含み、
前記家電機器は、当該家電機器の使用状態を監視し、当該監視から得られた使用情報を前記サーバーにアップロードし、
前記携帯端末は、当該携帯端末の使用状態を監視し、当該監視から得られた使用情報を前記サーバーにアップロードし、
前記サーバーは、前記家電機器および前記携帯端末からアップロードされた使用情報に基づき運転者の行動履歴情報を作成し、前記電子装置からのリクエストに応答して前記行動履歴情報を前記電子装置に送信し、
前記電子装置は、
前記サーバーに前記リクエストを送信し、前記サーバーから運転者の行動履歴情報を取得可能な取得手段と、
前記行動履歴情報に基づき車外における運転者の
疲労度を推定する第1の運転者状態推定手段と、
車内における運転者の状況を検出する検出手段と、
前記第1の運転者状態推定手段によって推定された疲労度を初期データとして取り込み、車内における運転者の疲労度を推定するために用いる閾値または条件を前記初期データに応じて変更し、前記変更された閾値または条件を用いて前記検出手段により検出された運転者の状況に基づき車内における運転者の
疲労度が高いか否かを推定する第2の運転者状態推定手段と、
を有する運転者状態推定システム。
【請求項2】
運転者の状態を推定する機能を備えた電子装置と、
運転者の自宅に設置された家電機器と、
運転者の携帯端末と、
前記電子装置、前記家電機器および前記携帯端末と通信可能なサーバーとを含み、
前記家電機器は、当該家電機器の使用状態を監視し、当該監視から得られた使用情報を前記サーバーにアップロードし、
前記携帯端末は、当該携帯端末の使用状態を監視し、当該監視から得られた使用情報を前記サーバーにアップロードし、
前記サーバーは、前記家電機器および前記携帯端末からアップロードされた使用情報に基づき運転者の行動履歴情報を作成し、前記電子装置からのリクエストに応答して前記行動履歴情報を前記電子装置に送信し、
前記電子装置は、
前記サーバーに前記リクエストを送信し、前記サーバーから運転者の行動履歴情報を取得可能な取得手段と、
前記行動履歴情報に基づき車外における運転者の
疲労度を推定する第1の運転者状態推定手段と、
車内における運転者の状況を検出する検出手段と、
前記検出手段により検出された運転者の状況に基づき車内における運転者の
疲労度を推定する第2の運転者状態推定手段と、
前記第1の運転者状態推定手段の推定結果および第2の運転者状態推定手段の推定結果に基づき運転者支援情報を提示する提示手段と
を有し、
前記提示手段は、前記第1の運転者状態推定手段によって推定された疲労度を初期データとして取り込み、運転者支援情報を提示するための閾値または条件を前記初期データに応じて変更し、前記変更された閾値または条件を用いて運転支援情報を提示する、運転者状態推定システム。
【請求項3】
前記提示手段は、前記閾値または前記条件により前記運転支援情報を提示するタイミングを可変する、請求項
2に記載の運転者状態推定システム。
【請求項4】
前記取得手段は、前記行動履歴情報を選択するための選択条件を前記リクエストに含め、
前記サーバーは、前記選択条件に応じた行動履歴情報を前記電子装置に送信する、請求項1または
2に記載の運転者状態推定システム。
【請求項5】
電子装置はさらに、自車位置を検出する位置検出手段を含み、
前記取得手段は、前記位置検出手段により検出された自車位置に応じた行動履歴情報を選択するための選択条件を前記リクエストに含め、
前記サーバーは、前記選択条件に応じた行動履歴情報を前記電子装置に送信する、請求項1または
2に記載の運転者状態推定システム。
【請求項6】
前記取得手段は、自車の現在地が自宅である場合には、自宅に設置された前記家電機器の行動履歴情報を選択するための選択条件を前記リクエストに含め、自車の現在地が自宅以外である場合には、前記携帯端末の行動履歴情報を選択するための選択条件を前記リクエストに含める、請求項
5に記載の運転者状態推定システム。
【請求項7】
前記取得手段は、外部と無線による通信を可能にする通信手段を含み、前記取得手段は、前記通信手段を介して前記行動履歴情報を取得する、請求項1または
2に記載の運転者状態推定システム。
【請求項8】
前記取得手段は、当該電子装置が起動されるときに前記行動履歴情報を取得するためのリクエストを送信する、請求項1または
2に記載の運転者状態推定システム。
【請求項9】
前記第1および第2の運転者状態推定手段は、運転者の睡眠時間から疲労度を推定する、請求項
1または2に記載の運転者状態推定システム。
【請求項10】
前記行動履歴情報は、運転者による車外の電子機器の操作情報を含む、請求項1または
2に記載の運転者状態推定システム。
【請求項11】
前記行動履歴情報は、運転者による車外の電子機器の視聴情報を含む、請求項1または
2に記載の運転者状態推定システム。
【請求項12】
前記行動履歴情報は、運転者による電子機器の通信情報を含む、請求項1または
2に記載の運転者状態推定システム。
【請求項13】
前記行動履歴情報は、運転者による電子機器の通話情報を含む、請求項1または
2に記載の運転者状態推定システム。
【請求項14】
前記行動履歴情報は、運転者による電子機器のアプリケーション情報を含む、請求項1または
2に記載の運転者状態推定システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運転者の状態を推定する機能を備えた電子装置に関し、特に、運転者の疲労状態を推定し、推定結果に基づき運転支援情報を提示する技術に関する。
【背景技術】
【0002】
運転者の状態を監視して、運転者の疲労や眠気を警告するシステムが実用化されている。このようなシステムでは、運転時間、顔認識(例えば、目の開閉状態)、心拍数や脈拍などの生体情報を用いて、運転者の疲労度合を検知している。例えば、特許文献1の運転支援装置は、生体情報に基づき運転者の疲労度を推定し、その疲労度を、運転継続時間、運転操作、道路種別、眠気等に応じて補正する方法を開示している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記した特許文献1は、走行中の運転者の疲労度の判定に、目的地や運転の経験値などで疲労度に重み付けし、警報表示をするか否かを判定している。しかしながら、運転者が車両に乗車する前に疲労しているような場合には、必ずしも走行中の運転者の疲労度を正確に判定することができないおそれがある。例えば、乗車前に電子機器等を過度に操作したり、長時間の視聴を行った場合には、運転者に疲労が蓄積していることがあり、通常のときよりも早く眠気や疲労を生じることがある。このため、搭乗前の運転者の状態を考慮することが望まれる。
【0005】
本発明は、このような従来の課題を解決するものであり、車外における運転者の行動を考慮して走行中の運転者の状態を推定する機能を備えた電子装置および運転者状態推定システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る、運転者の状態を推定する機能を備えた電子装置は、車外における運転者の行動履歴情報を取得可能な取得手段と、前記行動履歴情報に基づき車外における運転者の状態を推定する第1の運転者状態推定手段と、車内における運転者の状況を検出する検出手段と、前記検出手段により検出された運転者の状況および第1の運転者状態推定手段の推定結果に基づき車内における運転者の状態を推定する第2の運転者状態推定手段とを有する。
【0007】
ある実施態様では、前記第2の運転者状態推定手段は、前記第1の運転者状態推定手段の推定結果に応じて運転者の状態を推定するための閾値または条件を可変する。ある実施態様では、前記第2の運転者状態推定手段は、運転者の疲労度を推定するために前記閾値または前記条件を用いる。
【0008】
本発明に係る、運転者の状態を推定する機能を備えた電子装置は、車外における運転者の行動履歴情報を取得可能な取得手段と、前記行動履歴情報に基づき車外における運転者の状態を推定する第1の運転者状態推定手段と、車内における運転者の状況を検出する検出手段と、前記検出手段により検出された運転者の状況に基づき車内における運転者の状態を推定する第2の運転者状態推定手段と、前記第1の運転者状態推定手段の推定結果および第2の運転者状態推定手段の推定結果に基づき運転者支援情報を提示する提示手段とを有する。
【0009】
ある実施態様では、前記提示手段は、前記第1の運転者状態推定手段の推定結果に応じて運転支援情報を提示するための閾値または条件を可変する。ある実施態様では、前記提示手段は、前記閾値または前記条件により前記運転支援情報を提示するタイミングを可変する。ある実施態様では、電子装置はさらに、自車位置を検出する位置検出手段を含み、前記取得手段は、前記位置検出手段により検出された自車位置に基づき前記行動履歴情報を選択する。ある実施態様では、前記取得手段は、自車の現在地が自宅である場合には、自宅に設置された電子機器に関する行動履歴情報を取得し、自車の現在地が自宅以外である場合には、携帯端末に関する行動履歴情報を取得する。ある実施態様では、前記取得手段は、外部と無線による通信を可能にする通信手段を含み、前記取得手段は、前記通信手段を介して前記行動履歴情報を取得する。ある実施態様では、前記取得手段は、当該電子装置が起動されるときに前記行動履歴情報を取得する。ある実施態様では、前記第1および第2の運転者状態推定手段は、運転者の疲労度を推定する。ある実施態様では、前記第1および第2の運転者状態推定手段は、運転者の睡眠時間から疲労度を推定する。ある実施態様では、前記行動履歴情報は、運転者による車外の電子機器の操作情報、運転者による車外の電子機器の視聴情報、運転者による電子機器の通信情報、運転者による電子機器の通話情報、または運転者による電子機器のアプリケーション情報を含む。
【0010】
本発明に係る運転者状態推定システムは、上記記載された電子装置と、当該電子装置と通信を可能なサーバーと、運転者により使用可能な外部の電子機器とを含み、前記外部の電子機器は、運転者の使用情報を前記サーバーにアップロードし、前記電子装置は、前記サーバーから運転者の使用情報に関する行動履歴情報をダウンロードする。ある実施態様では、前記外部の電子機器は、高機能型携帯電話機(スマートフォン)や運転者の自宅に設置されたスマート家電機器を含む。
【発明の効果】
【0011】
本発明によれば、車外における運転者の行動履歴情報を取得し、これを利用して車内における運転者の状態を推定し、あるいは運転支援情報の提示をするようにしたので、車内における運転者の状態をより正確に推定することができ、あるいはより適切な運転支援情報を提示することができる。
【図面の簡単な説明】
【0012】
【
図1】本発明の実施例に係る運転者状態推定システムの構成例を示す図である。
【
図2】本発明の実施例に係る車載装置の構成例を示す図である。
【
図3】本実施例の生体情報取得部の一構成例を示す図である。
【
図4】本発明の実施例に係る運転者状態推定プログラムの機能的な構成を示すブロック図である。
【
図5】本発明の実施例に係るスマート家電機器や携帯端末等の電子機器の典型的な構成を示す図である。
【
図6】本発明の実施例に係る運転者の行動履歴抽出プログラムの機能的な構成を示すブロック図である。
【
図7】
図7(A)は、本実施例の行動履歴サーバーの機能的な構成を示す図、
図7(B)は、行動履歴情報の一例を示す図である。
【
図8】本発明の実施例に係る運転者状態推定システムの動作フローである。
【
図9】本発明の第1の実施例に係る車載装置の運転者状態推定の動作フローである。
【
図10】本発明の第2の実施例に係る車載装置の運転者状態推定の動作フローである。
【
図11】本発明の第2の実施例に係る車載装置の運転者状態推定の動作フローである。
【発明を実施するための形態】
【0013】
次に、本発明の実施形態について説明する。本発明の運転者の状態を推定する機能を備えた電子装置は、ある実施態様では、パーソナルコンピュータ、ポータブル端末、またはオーディオ・ビジュアル・ナビゲーション(AVN)機能を備えた車載装置であることができる。また、ある実施態様では、本発明の電子装置は、運転支援システムに適用され、運転者の状態に応じた運転支援情報を提示する。運転支援情報には、走行中の運転案内や注意喚起、休憩や運転の中止などの勧告等が含まれる。以下の実施例では、運転者の状態を推定する機能を備えた電子装置として車載装置を例示する。
【実施例】
【0014】
図1は、本発明の実施例に係る運転者状態推定システムの構成例を示す図である。本実施例に係る運転者状態推定システム10は、自宅に設置されたスマート家電機器20、スマートフォン等に代表される携帯端末30、運転者の行動履歴情報を提供する行動履歴サーバー40、および運転者の状態を推定する機能を備えた車載装置100を含んで構成される。運転者の状態とは、例えば、運転者の疲労度である。
【0015】
スマート家電機器20は、例えば、テレビ、パーソナルコンピュータ、ゲーム機器などであり、運転者が自宅で使用する電子機器である。スマート家電機器20は、無線通信機能を備え、インターネットに接続可能なIoT化された家電であり、運転者によるスマート家電機器20の使用に関する使用情報を行動履歴サーバー40にアップロードする機能を備えている。携帯端末30は、運転者が携帯し、使用する機器であり、携帯端末30は、無線通信機能を備え、運転者による携帯端末30の使用に関する使用情報を行動履歴サーバー40にアップロードする機能を備えている。
【0016】
図1には、一人のユーザーしか例示していないが、行動履歴サーバー40は、複数のユーザーの行動履歴情報をそれぞれ管理し、各ユーザーの車載装置等からのリクエストに応じて行動履歴情報を送信する。
【0017】
車載装置100は、例えば、運転者車両Mに搭乗しこれから運転を開始しようとするとき、あるいは起動時に、行動履歴サーバー40にアクセスし、行動履歴サーバー40から運転者の行動履歴情報をダウンロードする。行動履歴サーバー40に格納されている行動履歴情報は、運転者の車外における行動履歴であり、行動履歴情報は、走行前の運転者の行動あるいは状態を推定するために利用される。
【0018】
図2は、本実施例の車載装置100の内部構成を示すブロック図である。車載装置100は、入力部110、位置検出部120、ナビゲーション部130、生体情報取得部140、車両情報取得部150、出力部160、記憶部170、通信部180および制御部190を含んで構成される。ここに示す構成は一例であり、車載装置100は、オーディオ・ビデオ機能や、テレビ・ラジオ受信機能などを備えるものであってもよい。さらに車載装置100は、車両周辺を撮像する撮像カメラやレーダー等を用いて障害物や白線等を検知し、運転者の走行支援を行う機能を搭載するものであってもよい
【0019】
入力部110は、ユーザーからの入力を受け取り、これを制御部190へ提供する。位置検出部120は、例えば、GPS測位や自立航法測位(角速度センサや加速度センサなど)により車両Mの現在地を検出する。ナビゲーション部130は、道路地図データを参照し、車両Mの現在地周辺の道路を案内したり、目的地までの経路を探索し、探索経路を案内する。
【0020】
生体情報取得部140は、乗車後、すなわち車内における運転者の生体情報を取得する。生体情報取得部140は、1つまたは複数の生体センサを含むことができ、例えば、
図4に示すような心拍計142、脳波計144、血圧計、体温計などを含むことができる。生体センサは、ウエアラブル端末として運転者に装着することが可能であり、生体センサで検出された結果は制御部190へ提供される。さらに生体情報取得部140は、運転者の顔を撮像する撮像カメラまたはドライブレコーダ146を含むことができる。撮像カメラ146によって撮像された画像は、制御部190へ提供され、制御部190は、画像データを解析することで運転者の瞼の開閉度合、視線方向、欠伸など検出し、これを生体情報として利用する。
【0021】
車両情報取得部150は、車両に関する車両情報を取得する。車両情報は、例えば、ウィンカー操作、ヘッドライトの点灯または消灯、ワイパー操作、フットブレーキ操作、アクセル操作、ハンドル操作、パーキングブレーキのオンまたはオフ、速度情報などを車内バス等を介して取得する。
【0022】
出力部160は、表示部や音声出力部(スピーカー)を含み、例えば、ナビゲーション部130が動作されているとき、表示部に道路地図が表示され、音声出力部から交差点等の案内音声が出力される。また、車載装置100は、運転者の状態(例えば、疲労状態)に応じて、運転者を覚醒させる警告や疲労度に応じた交差点案内などを出力部160から出力させることができる。
【0023】
記憶部170は、車載装置100に必要なデータやソフトウエア等を格納する。例えば、ナビゲーション部130に使用される道路地図データや制御部190が実行するアプリケーションプログラム等が記憶される。通信部180は、外部機器や外部ネットワークとの間で有線または無線によるデータ通信を可能にする。1つの態様では、
図1に示すように、通信部180は、インターネット等を介して行動履歴サーバー40にアクセスし、そこから車外における運転者の行動履歴情報をダウンロードする。
【0024】
制御部190は、例えば、ROM/RAMを備えたマイクロコントローラ、マイクロプロセッサ、画像処理プロセッサ、ディジタルシグナルプロセッサ(DSP)等を含み、ソフトウエアおよび/またはハードウエアにより車載装置100の各部を制御する。
【0025】
1つの態様では、制御部190は、運転者の状態を推定するための運転者状態推定プログラムを実行する。
図4に、運転者状態推定プログラム200の機能的な構成を示す。運転者状態推定プログラム200は、行動履歴情報取得部210、車外運転者状態推定部220、車内運転者状態推定部230、運転支援情報提示部240を備える。
【0026】
行動履歴情報取得部210は、通信部180を介して行動履歴サーバー40にアクセスし、そこから車外における運転者の行動履歴情報を取得する。1つの例では、車両Mのイグニッションキーがオンされたとき、あるいは車載装置100が起動されたとき、行動履歴情報取得部210は、行動履歴サーバー40にアクセスし、行動履歴情報を取得する。他の例では、行動履歴情報取得部210は、ユーザーからの指示があったとき、あるいは運転者状態推定プログラム200により決められたスケジュールに従い、行動履歴サーバー40にアクセスし、そこから行動履歴情報を取得する。
【0027】
車外運転者状態推定部220は、行動履歴情報取得部210によって取得された行動履歴情報に基づき車外における運転者の状態、言い換えれば車両Mに搭乗する前の運転者の状態を推定する。運転者の状態とは、例えば、運転者の疲労度である。ある態様では、車外運転者状態推定部220は、予め用意されたアルゴリズムに従い、行動履歴情報に対応する疲労度の度合を数値化し、数値化した疲労度を車内運転者状態推定部230へ提供する。例えば、疲労度が大きい場合には、数値も大きくなり、疲労度が小さい場合には、数値が小さくなる。
【0028】
車内運転者状態推定部230は、車外運転者状態推定部220による推定結果を考慮し、かつ生体情報取得部140で取得された生体情報および/または車両情報取得部150で取得された車両情報に基づき車内における運転者の状態、つまり車両Mに搭乗した運転者の状態を推定する。
【0029】
車内運転者状態推定部230は、生体情報に基づき運転者の状態(ここでは、疲労度とする)を推定する。例えば、車両情報やドライブレコーダ146からの映像により運転時間が一定値を超えたか否か、単位時間当たりの運転者の瞬きの回数が一定値以下になったか否か、運転者の瞼の開き具合が小さくなったか否か、運転者の心拍数が一定値以下になったか否か、運転者の特定の脳波の有無などに基づき、運転者の疲労度を推定する。運転者の疲労度の推定には、車両情報に基づき、走行中における右左折の回数、ブレーキの回数、アクセルの回数なども加味するようにしてもよい。1つの態様では、車内運転者状態推定部230は、予め決められたアルゴリズムに従い、取得した生体情報や車両情報を数値化する。
【0030】
車内運転者状態推定部230は、上記のように生体情報や車両情報に基づき運転者の状態を推定するが、この推定を行うとき、車外運転者状態推定部220により推定された運転者の状態を初期データとして用いる。1つの態様として、車外における運転者の疲労度をToutとしたとき、車内運転者状態推定部230は、車外における運転者の疲労度Toutに応じて、車内における運転者の疲労度Tinを推定するために用いる閾値Thを可変する。例えば、取得された生体情報や車両情報を演算して得られた数値をDETとしたとき、車内運転者状態推定部230は、DET>Thであるとき、車内における運転者の疲労度Tinが高いと推定し、DET<Thであるとき、車内における運転者の疲労度Tinが小さいと推定する。もし、車外における運転者の疲労度Toutが比較的大きければ、閾値ThをTh_sに小さくし、通常のときよりも疲労度の推定がされ易くなるようにする。他方、車外における疲労度Toutが比較的小さければ、閾値ThをTh_bに大きくし(Th_s<Th_b)、通常のときよりも幾分だけ疲労度の推定がされ易くなるようにする。
【0031】
なお、車内における運転者の状態を推定する閾値Thは1つに限らず、複数の閾値Th1、Th2、…、Thnを用意し、運転者の疲労度を複数のレベルで推定するようにしてもよい。この場合にも、複数の閾値Th1、Th2、…、Thnは、車外の運転者の疲労度Toutに応じて可変される。さらに、上記の例では、車外における運転者の疲労度Toutが高い場合と低い場合に応じて閾値Thを可変するようにしたが、疲労度Toutをさらに複数の閾値を利用して複数レベルの疲労度に判別し、それぞれのレベルに応じて閾値Thを可変するようにしてもよい。
【0032】
運転支援情報提示部240は、車内運転者状態推定部230の推定結果に基づき運転者にとって有益な運転情報を出力部160を介して提示する。例えば、運転支援情報提示部240は、車内における運転者の疲労度Tinに応じた運転支援情報を提示し、疲労度が大きい場合には、通常よりも早いタイミングで運転支援情報(障害物の存在、ナビゲーション部130による交差点等の案内、白線逸脱の警告など)を提示したり、通常では提示しない運転支援情報(走行速度、後続車の有無など)を提示したりする。例えば、疲労度Tinが大きい場合には、通常よりも時間t1秒だけ早く運転支援情報を出力させ、疲労度Tinが小さい場合には、通常よりも時間t2秒だけ早く運転支援情報を出力させる(t1>t2)。
【0033】
次に、
図1に示すスマート家電機器20および携帯端末30の機能について説明する。本実施例では、スマート家電機器20および携帯端末30は、運転者の行動履歴情報を抽出し、これを行動履歴サーバー40にアップロードする機能を備えている。
図5に、スマート家電機器20や携帯端末30等の電子機器300の典型的な構成を示す。同図に示すように、電子機器300は、通信部310、入力部320、出力部330、記憶部340および制御部350を含んで構成される。
【0034】
通信部310は、外部機器または外部ネットワークと有線または無線を介してデータ通信を行う機能を有する。また、スマートフォンのような携帯端末であれば、通信部310は、公衆無線回線網を介してデータ通信や音声通話を可能にする。
【0035】
入力部320は、ユーザーからの指示を受け取り、これを制御部350へ提供する。入力部320は、例えば、キーボード、タッチパネル、リモコン、マウス、音声認識モジュールなどである。出力部330は、画像を出力するディスプレイや音声を出力するスピーカー等を含む。例えば、電子機器がテレビであれば、出力部330は、テレビ放送で受信した映像/音声やインターネット配信された映像/音声を出力する。
【0036】
記憶部340は、電子機器300に必要なデータやソフトウエア等を格納する。制御部350は、例えば、ROM/RAMを備えたマイクロコントローラ、マイクロプロセッサ、画像処理プロセッサ、ディジタルシグナルプロセッサ(DSP)等を含み、ソフトウエアおよび/またはハードウエアにより電子機器300の各部を制御する。1つの態様では、制御部350は、運転者の行動履歴情報を抽出するための行動履歴抽出プログラムを実行する。
【0037】
図6に、行動履歴抽出プログラム400の機能的な構成を示す。行動履歴抽出プログラム400は、電子機器の使用状態を監視する使用状態監視部410、使用状態監視部410の監視結果に基づき使用情報を記憶部340に記録する使用情報記録部420、記録された使用情報を通信部310を介して行動履歴サーバー40にアップロードする使用情報アップロード部430を備える。
【0038】
使用状態監視部410は、スマート家電機器20や携帯端末30に代表される電子機器300の使用状態を監視する。どのような使用状態を監視するかは任意であり、予め設定しておくことが可能である。1例として、使用状態監視部410は、運転者による入力部320の操作を監視し、操作回数、操作時刻、操作時間の累計などの操作情報を検出する。また、使用状態監視部410は、電子機器300によって実行されているアプリケーションソフトウエアの種類(例えば、ゲームソフト、音楽再生ソフト、ブラウザソフトなど)やアプリケーションソフトウエアの使用時間を検出したり、出力部330から映像が出力されている時刻、出力されている時間の累計などの運転者の視聴情報を検出したり、通信部310によるインターネット等を介したデータ通信量、通信時刻、通信時間の累計などの通信情報を検出したり、運転者による通話時刻や通話時間の累計などの通話情報を検出する。さらに使用状態監視部410は、電子機器300が位置情報を取得する機能を備えていれば、当該位置情報を検出する。電子機器300の位置情報は、電子機器300がスマート家電機器20かスマートフォン30からの識別に利用することが可能であり、さらにスマートフォン30の位置情報である場合には、その位置情報の変化から運転者の移動距離を推定することが可能になる。
【0039】
使用情報記録部420は、使用状態監視部410によって検出された操作情報、視聴情報、通信情報、通話情報、アプリケーション情報、位置情報等を、運転者による電子機器の使用情報として記憶部340に記録する。
【0040】
使用情報アップロード部430は、使用情報記録部420によって記録された使用情報を通信部310を介して行動履歴サーバー40にアップロードする。アップロードするタイミングは任意であり、使用情報記録部420が記録するときであってもよいし、使用状態監視部410により運転者による使用が検出されなくなったときであってもよいし、一定の時間間隔または予め決められた時間間隔等であってもよい。
【0041】
次に、行動履歴サーバー40について説明する。行動履歴サーバー40は、電子機器300(スマート家電機器20や携帯端末30)により抽出された行動履歴情報を車載装置100に提供する中継として機能する。行動履歴サーバー40は、
図7(A)に示すように、使用情報受信部42、行動履歴情報作成部44、および行動履歴情報送信部46を含む。
【0042】
使用情報受信部42は、電子機器300からアップロードされた使用情報を受け取り、行動履歴情報作成部44は、アップロードを行った電子機器300の識別情報とともに、受け取った使用情報に基づき行動履歴情報を作成し、これを記憶部に格納する。
図7(B)に、作成された行動履歴情報の一例を示す。行動履歴情報作成部44は、使用情報がアップロードされた時点を作成日時として、その使用情報を格納する。使用情報は、アップロードを行った電子機器の識別情報、運転者による電子機器300の操作情報、視聴情報、通信情報、通話情報、アプリケーション情報、位置情報などを含む。
【0043】
行動履歴情報送信部46は、
図4に示す行動履歴情報取得部210から行動履歴情報のリクエストを受け取ると、これに応答して、リクエストがあった時点から一定時間前の行動履歴情報を送信する。どのくらい前の期間の行動履歴情報を送信するかは、予め設定することが可能である。例えば、リクエストから6時間前、あるいは12時間前の行動履歴情報が送信される。
【0044】
また、行動履歴情報取得部210は、行動履歴情報の中から必要な情報のみを選択することが可能であり、その場合、行動履歴情報取得部210は、情報を選択するための選択条件をリクエストに含めることができる。例えば、行動履歴情報の中の操作情報のみの送信をリクエストしたり、位置情報に基づき自宅以外の電子機器の行動履歴情報の送信をリクエストすることも可能である。行動履歴情報送信部46は、行動履歴情報取得部210からのリクエストに選択条件が含まれる場合には、当該選択条件に該当する行動履歴情報を送信する。
【0045】
次に、本実施例による運転者状態推定システムの動作について
図8のフローを参照して説明する。運転者による電子機器300の使用が行われると(S100)、電子機器300において使用情報が記録され(S110)、決められたタイミングで使用情報が行動履歴サーバー40にアップロードされる(S120)。行動履歴サーバー40は、アップロードされた使用情報に基づき行動履歴情報を作成し(S130)、これを運転者の個人情報としてサーバーに格納する(S140)。その後、運転者が車両に乗車し、例えば、車載装置100が起動されたとき(S150)、車載装置100から行動履歴サーバー40に対して行動履歴情報の送信がリクエストされる。行動履歴サーバー40は、当該リクエストを受信すると、運転者の行動履歴情報を車載装置100へ送信し(S160)、車載装置100は、車外における運転者の行動履歴情報を取得する(S170)。
【0046】
図9は、本発明の第1の実施例に係る車載装置の運転者状態推定の動作を説明するフローチャートである。車載装置100において、行動履歴情報取得部210により行動履歴情報が取得されると(S200)、車外運転者状態推定部220により車外における運転者の状態が推定される(S210)。次に、車内運転者状態推定部230は、車外運転者状態推定部220によって推定された結果を初期データとして取り込み、車内における運転者の状態を推定するために用いる閾値Thを、車外における運転者の状態を考慮して調整する(S220)。そして、車内運転者状態推定部230は、調整された閾値Thを用いて、取得された生体情報や車両情報に基づき車内における運転者の状態を推定する(S240)。次に、運転支援情報提示部240は、車内運転者状態推定部230の推定結果に基づき運転支援情報を提示する(S240)。運転者状態推定プログラム200は、走行が継続される場合には、ステップS230、S240を繰り返す。
【0047】
このように本実施例によれば、運転者が運転を開始する前の車外の行動履歴情報を取得し、車外における運転者の状態を推定し、この推定結果を車内における運転者の状態の推定に反映させるようにしたので、車内における運転者の状態をより正確に推定することができ、その結果、適切なタイミングあるいは適切な内容の運転支援情報を運転者に提示することができる。
【0048】
次に、本発明の第2の実施例について説明する。第1の実施例では、車外における運転者の状態の推定結果を車内における運転者の状態の推定に反映させるようにしたが、第2の実施例は、車外における運転者の状態の推定結果を運転支援情報の提示に反映させる。
【0049】
図4に示す車外運転者状態推定部220による推定結果は、運転支援情報提示部240に提供され、運転支援情報提示部240は、その推定結果に応じて運転支援情報を提示する。1つの態様として、車外における運転者の疲労度をToutとしたとき、運転支援情報提示部240は、車外における運転者の疲労度Toutに応じて、運転支援情報を提示するタイミングを可変する。例えば、疲労度Toutが比較的大きい場合には、運転支援情報提示部240は、通常のときよりも時間T1だけ早いタイミングで運転支援情報を提示し、運転者に時間的余裕をもって運転支援情報を知らせる。また、疲労度Toutが比較的小さい場合には、運転支援情報提示部240は、通常のときよりも早いが時間T1よりも遅い時間T2のタイミングで運転支援情報を提示する。また、他の態様では、運転支援情報提示部240は、疲労度Toutに応じて運転支援情報(例えば、運転中止の警告)を提示するか否かの閾値Tpを可変するようにしもてよい。例えば、疲労度Toutが比較的大きい場合には、閾値TpをTp_sに小さくし、運転支援情報が提示され易くなるようにし、疲労度Toutが比較的小さい場合には、閾値TpをTp_bに大きくし、運転支援情報が幾分だけ提示され易くなるようにしてもよい。
【0050】
図10は、本発明の第2の実施例に係る車載装置の運転者状態推定の動作を説明するフローチャートである。車載装置100において、行動履歴情報取得部210により行動履歴情報が取得されると(S300)、車外運転者状態推定部220により車外における運転者の状態が推定される(S310)。次に、運転支援情報提示部240は、車外運転者状態推定部220によって推定された結果を初期データとして取り込み、運転支援情報を提示するための条件を、車外における運転者の状態を考慮して調整する(S320)。次に、車内運転者状態推定部230は、取得された生体情報や車両情報に基づき車内における運転者の状態を推定し(S330)、この推定結果を運転支援情報提示部240に提供する。運転支援情報提示部240は、調整された条件を用いて、車内運転者状態推定部230の推定結果に基づき運転支援情報を提示する(S340)。運転者状態推定プログラム200は、走行が継続される場合には、ステップS330、S340を繰り返す。
【0051】
このように本実施例によれば、運転者が運転を開始する前の車外の行動履歴情報を取得し、車外における運転者の状態を推定し、この推定結果を運転支援情報を提示する条件に反映させるようにしたので、車内における運転者の状態に応じた適切なタイミングあるいは適切な内容の運転支援情報を運転者に提示することができる。なお、本発明は、第1の実施例と第2の実施例とを組み合わせるものであってもよく、この場合、車外における運転者の状態の推定結果は、車内運転者状態推定部230の閾値Thおよび運転支援情報提示部240の提示条件のそれぞれに反映され、これにより、車内おける運転者の状態を正確に推定しつつ、運転支援情報を適切に提示することが可能になる。
【0052】
次に、本発明の第3の実施例について説明する。
図11は、本発明の第3の実施例に係る車載装置の運転者状態推定の動作を説明するフローチャートである。先ず、行動履歴情報取得部210は、着座センサまたはドライブレコーダの画像に基づき運転者が運転席に着座したことが検出されると(S400)、位置検出部120から現在地情報を入手し(S410)、自車が自宅か否かを判定する(S420)。自宅の現在地は、例えば、ナビゲーション部130に登録されている自宅情報を使用してもよいし、運転者状態推定プログラム200に予め登録しておいてもよい。
【0053】
行動履歴情報取得部210は、自車の現在地が自宅である場合には、スマート家電機器20の行動履歴情報を取得する(S430)。この場合、行動履歴情報取得部210は、行動履歴情報の送信を行動履歴サーバー40にリクエストする際に、選択条件としてスマート家電機器の識別情報を加える。これにより、行動履歴サーバー40は、スマート家電機器20からアップロードされた使用情報に基づき作成された行動履歴情報を検索し、検索された行動履歴情報を車載装置100へ送信する。
【0054】
次に、車外運転者状態推定部220は、スマート家電機器20の行動履歴情報に基づき運転者の昨晩の睡眠時間がX以下か否かを推定する(S440)。睡眠時間は、例えば、スマート家電機器20が夜中の1時まで使用され、朝の7時から使用が開始された場合には、睡眠時間が6時間と推定される。また、デフォルト値として、睡眠の開始時刻午前0時、終了時刻が午前8時とし、その間にスマート家電機器20の使用があれば、デフォルト値から使用時間を減算するようにしてよい。睡眠時間がX以下の場合、第1、第2の実施例のときと同様に、車内運転者状態推定部230および/または運転支援情報提示部240は、運転者へ疲労警告または運転支援情報の警報タイミングを調整し(S450)、睡眠時間がXを越える場合には、通常の運転支援情報の警報タイミングを使用する(S480)。
【0055】
一方、自車の現在地が自宅以外の場合(S420)、行動履歴情報取得部210は、スマートフォン(携帯端末30)の行動履歴情報を取得する(S460)。つまり、運転者は、自宅以外の場所で活動をしていることが予想されるからである。行動履歴情報取得部210は、行動履歴情報の送信を行動履歴サーバー40にリクエストする際に、選択条件として携帯端末30の識別情報を加える。これにより、行動履歴サーバー40は、携帯端末30からアップロードされた使用情報に基づき作成された行動履歴情報を検索し、検索された行動履歴情報を車載装置100へ送信する。
【0056】
次に、車外運転者状態推定部220は、携帯端末30の行動履歴情報に基づき運転者の操作時間がY以上か否かを推定する(S470)。操作時間がY以上である場合には、第1、第2の実施例のときと同様に、車内運転者状態推定部230および/または運転支援情報提示部240は、運転者へ疲労警告または運転支援情報の警報タイミングを調整し(S450)、操作時間がY未満の場合には、通常の運転支援情報の警報タイミングを使用する(S480)。
【0057】
このように本実施例によれば、自車の現在位置に基づきスマート家電機器20または携帯端末30の行動履歴情報を選択するようにしたので、車外における運転者の適切な行動履歴情報を取得することができ、その結果、車内における運転者の状態をより正確に推定することができる。
【0058】
上記実施例では、行動履歴情報の取得に行動履歴サーバー40を利用したが、これは一例であり、本発明は、行動履歴サーバー40を介在させずに、車載装置100が直接的にスマート家電機器20あるいは携帯端末30と通信し、それぞれの機器から行動履歴情報を取得するものであってもよい。
【0059】
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。
【符号の説明】
【0060】
10:運転者状態推定システム
20:スマート家電機器
30:携帯端末
40:行動履歴サーバー
100:車載装置
200:運転者状態推定プログラム
300:電子機器
400:行動履歴抽出プログラム
M:車両