ホーム > 特許ランキング > 公立大学法人岡山県立大学
知財求人 - 知財ポータルサイト「IP Force」
▶ 公立大学法人岡山県立大学の特許一覧 ▶ 株式会社村上開明堂の特許一覧
特開2024-39225眠気レベル予測モデル生成装置、眠気モデル生成システム及び眠気判定装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024039225
(43)【公開日】2024-03-22
(54)【発明の名称】眠気レベル予測モデル生成装置、眠気モデル生成システム及び眠気判定装置
(51)【国際特許分類】
B60W 40/08 20120101AFI20240314BHJP
G06T 7/00 20170101ALI20240314BHJP
G06T 7/20 20170101ALI20240314BHJP
A61B 5/18 20060101ALI20240314BHJP
A61B 5/16 20060101ALI20240314BHJP
【ＦＩ】
B60W40/08
G06T7/00 350C
G06T7/20 300B
A61B5/18
A61B5/16 130
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2022143618
(22)【出願日】2022-09-09
(71)【出願人】
【識別番号】307020545
【氏名又は名称】公立大学法人岡山県立大学
(71)【出願人】
【識別番号】000148689
【氏名又は名称】株式会社村上開明堂
(74)【代理人】
【識別番号】100159499
【弁理士】
【氏名又は名称】池田 義典
(74)【代理人】
【識別番号】100120329
【弁理士】
【氏名又は名称】天野 一規
(74)【代理人】
【識別番号】100159581
【弁理士】
【氏名又は名称】藤本 勝誠
(74)【代理人】
【識別番号】100106264
【弁理士】
【氏名又は名称】石田 耕治
(74)【代理人】
【識別番号】100199808
【弁理士】
【氏名又は名称】川端 昌代
(74)【代理人】
【識別番号】100139354
【弁理士】
【氏名又は名称】松浦 昌子
(74)【代理人】
【識別番号】100208708
【弁理士】
【氏名又は名称】河村 健志
(74)【代理人】
【識別番号】100215371
【弁理士】
【氏名又は名称】古茂田 道夫
(74)【代理人】
【識別番号】100187997
【弁理士】
【氏名又は名称】田中 厳輝
(72)【発明者】
【氏名】有本 和民
(72)【発明者】
【氏名】梶原 景久
【テーマコード（参考）】
3D241
4C038
5L096
【Ｆターム（参考）】
3D241BA50
3D241BA60
3D241BA70
3D241CE06
3D241CE08
3D241CE10
3D241DD04A
3D241DD07Z
4C038PP05
4C038PQ04
4C038PS07
5L096BA02
5L096BA18
5L096CA02
5L096FA81
5L096HA11
5L096KA04
(57)【要約】
【課題】本発明は、データ量の削減及び処理時間の短縮が図れるとともに、眠気の判定精度の高い予測モデルを生成可能な眠気レベル予測モデル生成装置の提供を目的とする。
【解決手段】本発明の眠気レベル予測モデル生成装置は、顔画像から抽出された複数の顔特徴点の時系列データである顔特徴データ及びその顔特徴データに対する眠気レベル判定値を教師データとして、顔特徴データに対する眠気レベル判定値を出力とするニューラルネットワークを用いた初期眠気レベル予測モデルを機械学習により構築する眠気レベルモデル構築部と、上記初期眠気レベル予測モデルのニューラルネットワークのスパース化又はバイアス値の変更により上記初期眠気レベル予測モデルによる出力される眠気レベル判定値の判定精度を向上した眠気レベル予測モデルを生成する眠気レベルモデル最適化部とを有する。
【選択図】図３
【解決手段】本発明の眠気レベル予測モデル生成装置は、顔画像から抽出された複数の顔特徴点の時系列データである顔特徴データ及びその顔特徴データに対する眠気レベル判定値を教師データとして、顔特徴データに対する眠気レベル判定値を出力とするニューラルネットワークを用いた初期眠気レベル予測モデルを機械学習により構築する眠気レベルモデル構築部と、上記初期眠気レベル予測モデルのニューラルネットワークのスパース化又はバイアス値の変更により上記初期眠気レベル予測モデルによる出力される眠気レベル判定値の判定精度を向上した眠気レベル予測モデルを生成する眠気レベルモデル最適化部とを有する。
【選択図】図３
【特許請求の範囲】
【請求項1】
顔画像から人物の眠気レベルを判定するための眠気レベル予測モデルを生成する眠気レベル予測モデル生成装置であって、
上記顔画像から抽出された複数の顔特徴点の時系列データである顔特徴データ及びその顔特徴データに対する眠気レベル判定値を教師データとして、顔特徴データに対する眠気レベル判定値を出力とするニューラルネットワークを用いた初期眠気レベル予測モデルを機械学習により構築する眠気レベルモデル構築部と、
上記初期眠気レベル予測モデルのニューラルネットワークのスパース化又はバイアス値の変更により上記初期眠気レベル予測モデルによる出力される眠気レベル判定値の判定精度を向上した眠気レベル予測モデルを生成する眠気レベルモデル最適化部と
を有する眠気レベル予測モデル生成装置。
上記顔画像から抽出された複数の顔特徴点の時系列データである顔特徴データ及びその顔特徴データに対する眠気レベル判定値を教師データとして、顔特徴データに対する眠気レベル判定値を出力とするニューラルネットワークを用いた初期眠気レベル予測モデルを機械学習により構築する眠気レベルモデル構築部と、
上記初期眠気レベル予測モデルのニューラルネットワークのスパース化又はバイアス値の変更により上記初期眠気レベル予測モデルによる出力される眠気レベル判定値の判定精度を向上した眠気レベル予測モデルを生成する眠気レベルモデル最適化部と
を有する眠気レベル予測モデル生成装置。
【請求項2】
上記顔特徴点が、上記顔画像の中央部にある基準点を起点として表されている請求項１に記載の眠気レベル予測モデル生成装置。
【請求項3】
顔画像から人物の眠気を判定するための眠気モデル生成システムであって、
人物の顔画像を取得する画像取得部と、
上記画像取得部で取得した上記顔画像から、複数の顔特徴点の時系列データである顔特徴データを抽出する顔特徴データ抽出部と、
上記顔特徴データから人物の眠気段階を分類するための眠気分類予測モデルを生成する分類モデル生成部と、
上記顔特徴データから人物の眠気レベルを判定するための眠気レベル予測モデルを生成する眠気モデル生成部と
を備え、
上記眠気段階が、眠気レベルの判定を必要とするレベル判定必要段階を含み、
上記分類モデル生成部が、
上記顔特徴データ及びその顔特徴データに対する眠気段階判定値を教師データとして、顔特徴データに対する眠気段階判定値を出力とするニューラルネットワークを用いた初期眠気段階予測モデルを機械学習により構築する眠気段階モデル構築部と、
上記初期眠気段階予測モデルのニューラルネットワークのスパース化又はバイアス値の変更により上記初期眠気段階予測モデルによる出力される眠気段階判定値の判定精度を向上した眠気段階予測モデルを生成する眠気段階モデル最適化部と
を有し、
上記眠気モデル生成部が、
上記眠気段階がレベル判定必要段階である顔特徴データ及びその顔特徴データに対する眠気レベル判定値を教師データとして、顔特徴データに対する眠気レベル判定値を出力とするニューラルネットワークを用いた初期眠気レベル予測モデルを機械学習により構築する眠気レベルモデル構築部と、
上記初期眠気レベル予測モデルのニューラルネットワークのスパース化又はバイアス値の変更により上記初期眠気レベル予測モデルによる出力される眠気レベル判定値の判定精度を向上した眠気レベル予測モデルを生成する眠気レベルモデル最適化部と
を有する眠気モデル生成システム。
人物の顔画像を取得する画像取得部と、
上記画像取得部で取得した上記顔画像から、複数の顔特徴点の時系列データである顔特徴データを抽出する顔特徴データ抽出部と、
上記顔特徴データから人物の眠気段階を分類するための眠気分類予測モデルを生成する分類モデル生成部と、
上記顔特徴データから人物の眠気レベルを判定するための眠気レベル予測モデルを生成する眠気モデル生成部と
を備え、
上記眠気段階が、眠気レベルの判定を必要とするレベル判定必要段階を含み、
上記分類モデル生成部が、
上記顔特徴データ及びその顔特徴データに対する眠気段階判定値を教師データとして、顔特徴データに対する眠気段階判定値を出力とするニューラルネットワークを用いた初期眠気段階予測モデルを機械学習により構築する眠気段階モデル構築部と、
上記初期眠気段階予測モデルのニューラルネットワークのスパース化又はバイアス値の変更により上記初期眠気段階予測モデルによる出力される眠気段階判定値の判定精度を向上した眠気段階予測モデルを生成する眠気段階モデル最適化部と
を有し、
上記眠気モデル生成部が、
上記眠気段階がレベル判定必要段階である顔特徴データ及びその顔特徴データに対する眠気レベル判定値を教師データとして、顔特徴データに対する眠気レベル判定値を出力とするニューラルネットワークを用いた初期眠気レベル予測モデルを機械学習により構築する眠気レベルモデル構築部と、
上記初期眠気レベル予測モデルのニューラルネットワークのスパース化又はバイアス値の変更により上記初期眠気レベル予測モデルによる出力される眠気レベル判定値の判定精度を向上した眠気レベル予測モデルを生成する眠気レベルモデル最適化部と
を有する眠気モデル生成システム。
【請求項4】
人物の眠気レベルを推定するためのバイタルセンサをさらに備え、
上記眠気レベルモデル最適化部で、上記バイタルセンサにより推定された眠気レベル判定値と、その顔特徴データとが、新たな教師データとして追加される請求項３に記載の眠気モデル生成システム。
上記眠気レベルモデル最適化部で、上記バイタルセンサにより推定された眠気レベル判定値と、その顔特徴データとが、新たな教師データとして追加される請求項３に記載の眠気モデル生成システム。
【請求項5】
人物の顔画像を取得する画像取得部と、
上記画像取得部で取得した上記顔画像から、複数の顔特徴点の時系列データである顔特徴データを抽出する顔特徴データ抽出部と、
既知の顔特徴データ及びその顔特徴データに対する眠気段階判定値を教師データとして機械学習された眠気段階予測モデルを用いて、上記顔特徴データから人物の眠気段階を分類する分類判定部と、
既知の顔特徴データ及びその顔特徴データに対する眠気レベル判定値を教師データとして機械学習された眠気レベル予測モデルを用いて、上記顔特徴データから人物の眠気レベルを判定する眠気判定部と
を備え、
上記眠気段階が、眠気レベルの判定を必要とするレベル判定必要段階を含み、
上記分類判定部で上記眠気段階がレベル判定必要段階と判定された顔特徴データに対して、上記眠気判定部で眠気レベルが判定され、
上記眠気レベル予測モデルとして、請求項１に記載の眠気レベル予測モデル生成装置又は請求項３に記載の眠気モデル生成システムにより生成された眠気レベル予測モデルが用いられている眠気判定装置。
上記画像取得部で取得した上記顔画像から、複数の顔特徴点の時系列データである顔特徴データを抽出する顔特徴データ抽出部と、
既知の顔特徴データ及びその顔特徴データに対する眠気段階判定値を教師データとして機械学習された眠気段階予測モデルを用いて、上記顔特徴データから人物の眠気段階を分類する分類判定部と、
既知の顔特徴データ及びその顔特徴データに対する眠気レベル判定値を教師データとして機械学習された眠気レベル予測モデルを用いて、上記顔特徴データから人物の眠気レベルを判定する眠気判定部と
を備え、
上記眠気段階が、眠気レベルの判定を必要とするレベル判定必要段階を含み、
上記分類判定部で上記眠気段階がレベル判定必要段階と判定された顔特徴データに対して、上記眠気判定部で眠気レベルが判定され、
上記眠気レベル予測モデルとして、請求項１に記載の眠気レベル予測モデル生成装置又は請求項３に記載の眠気モデル生成システムにより生成された眠気レベル予測モデルが用いられている眠気判定装置。
【請求項6】
上記画像取得部が、上記顔画像の顔の向きを所定の角度に揃える機能を有する請求項５に記載の眠気判定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、眠気レベル予測モデル生成装置、眠気モデル生成システム及び眠気判定装置に関する。
【背景技術】
【0002】
車両を運転中の運転者が眠気を催す場合がある。眠気を催した運転者は注意力や動作が緩慢となりがちで重大な事故につながる場合がある。
【0003】
このような事故を防ぐため、車両に運転者の眠気防止システムが搭載される場合がある。このような眠気防止システムでは、例えば顔の表情を映した顔画像から運転者の眠気レベルを推定する学習済モデルを用いた眠気レベル推定装置、いわゆるＡＩが用いられる。
【0004】
顔画像から運転者の眠気レベルを直接推定する学習済モデルを構築しようとすると、処理されるデータ量が非常に多く、しかも表情変化の過程を遷移マップとして持つ必要があるため遷移マップそのもののデータ量も膨大になり、データ量及び処理時間の観点から学習済モデルの構築が困難なものとなる。このため、顔画像から顔の特徴的部分を抽出した顔特徴点の時系列データを用いて学習済モデルを構築する方法が提案されている（特開２００７－２５７０４３号公報参照）。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２００７－２５７０４３号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところが、上述の顔特徴点の時系列データを用いて学習済モデルを構築した予測モデルを用いた従来の眠気レベル推定装置では、顔特徴点の時系列データにデータを圧縮することで、データ量の削減及び処理時間の短縮が図れる一方で、その予測モデルを用いた判定精度は、顔画像を直接用いた場合に比して低下する傾向にある。
【0007】
本発明は、以上のような事情に基づいてなされたものであり、データ量の削減及び処理時間の短縮が図れるとともに、眠気の判定精度の高い予測モデルを生成可能な眠気レベル予測モデル生成装置及び眠気モデル生成システム、並びに当該眠気レベル予測モデル生成装置又は当該眠気モデル生成システムにより生成された予測モデルを用いた眠気判定装置の提供を目的とする。
【課題を解決するための手段】
【0008】
本発明の一実施形態に係る眠気レベル予測モデル生成装置は、顔画像から人物の眠気レベルを判定するための眠気レベル予測モデルを生成する眠気レベル予測モデル生成装置であって、上記顔画像から抽出された複数の顔特徴点の時系列データである顔特徴データ及びその顔特徴データに対する眠気レベル判定値を教師データとして、顔特徴データに対する眠気レベル判定値を出力とするニューラルネットワークを用いた初期眠気レベル予測モデルを機械学習により構築する眠気レベルモデル構築部と、上記初期眠気レベル予測モデルのニューラルネットワークのスパース化又はバイアス値の変更により上記初期眠気レベル予測モデルによる出力される眠気レベル判定値の判定精度を向上した眠気レベル予測モデルを生成する眠気レベルモデル最適化部とを有する。
【0009】
本発明の別の一実施形態に係る眠気モデル生成システムは、顔画像から人物の眠気を判定するための眠気モデル生成システムであって、人物の顔画像を取得する画像取得部と、上記画像取得部で取得した上記顔画像から、複数の顔特徴点の時系列データである顔特徴データを抽出する顔特徴データ抽出部と、上記顔特徴データから人物の眠気段階を分類するための眠気分類予測モデルを生成する分類モデル生成部と、上記顔特徴データから人物の眠気レベルを判定するための眠気レベル予測モデルを生成する眠気モデル生成部とを備え、上記眠気段階が、眠気レベルの判定を必要とするレベル判定必要段階を含み、上記分類モデル生成部が、上記顔特徴データ及びその顔特徴データに対する眠気段階判定値を教師データとして、顔特徴データに対する眠気段階判定値を出力とするニューラルネットワークを用いた初期眠気段階予測モデルを機械学習により構築する眠気段階モデル構築部と、上記初期眠気段階予測モデルのニューラルネットワークのスパース化又はバイアス値の変更により上記初期眠気段階予測モデルによる出力される眠気段階判定値の判定精度を向上した眠気段階予測モデルを生成する眠気段階モデル最適化部とを有し、上記眠気モデル生成部が、上記眠気段階がレベル判定必要段階である顔特徴データ及びその顔特徴データに対する眠気レベル判定値を教師データとして、顔特徴データに対する眠気レベル判定値を出力とするニューラルネットワークを用いた初期眠気レベル予測モデルを機械学習により構築する眠気レベルモデル構築部と、上記初期眠気レベル予測モデルのニューラルネットワークのスパース化又はバイアス値の変更により上記初期眠気レベル予測モデルによる出力される眠気レベル判定値の判定精度を向上した眠気レベル予測モデルを生成する眠気レベルモデル最適化部とを有する。
【0010】
本発明のさらに別の一実施形態に係る眠気判定装置は、人物の顔画像を取得する画像取得部と、上記画像取得部で取得した上記顔画像から、複数の顔特徴点の時系列データである顔特徴データを抽出する顔特徴データ抽出部と、既知の顔特徴データ及びその顔特徴データに対する眠気段階判定値を教師データとして機械学習された眠気段階予測モデルを用いて、上記顔特徴データから人物の眠気段階を分類する分類判定部と、既知の顔特徴データ及びその顔特徴データに対する眠気レベル判定値を教師データとして機械学習された眠気レベル予測モデルを用いて、上記顔特徴データから人物の眠気レベルを判定する眠気判定部とを備え、上記眠気段階が、眠気レベルの判定を必要とするレベル判定必要段階を含み、上記分類判定部で上記眠気段階がレベル判定必要段階と判定された顔特徴データに対して、上記眠気判定部で眠気レベルが判定され、上記眠気レベル予測モデルとして、本発明の眠気レベル予測モデル生成装置又は本発明の眠気モデル生成システムにより生成された眠気レベル予測モデルが用いられている。
【発明の効果】
【0011】
本発明の眠気レベル予測モデル生成装置及び眠気モデル生成システムは、データ量の削減及び処理時間の短縮が図れるとともに、眠気の判定精度の高い予測モデルを生成できる。従って、当該眠気レベル予測モデル生成装置又は当該眠気モデル生成システムにより生成された予測モデルを用いる本発明の眠気判定装置は、眠気の判定精度が高い。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
［本発明の実施形態の説明］
最初に本発明の実施態様を列記して説明する。
最初に本発明の実施態様を列記して説明する。
【0014】
本発明の一実施形態に係る眠気レベル予測モデル生成装置は、顔画像から人物の眠気レベルを判定するための眠気レベル予測モデルを生成する眠気レベル予測モデル生成装置であって、上記顔画像から抽出された複数の顔特徴点の時系列データである顔特徴データ及びその顔特徴データに対する眠気レベル判定値を教師データとして、顔特徴データに対する眠気レベル判定値を出力とするニューラルネットワークを用いた初期眠気レベル予測モデルを機械学習により構築する眠気レベルモデル構築部と、上記初期眠気レベル予測モデルのニューラルネットワークのスパース化又はバイアス値の変更により上記初期眠気レベル予測モデルによる出力される眠気レベル判定値の判定精度を向上した眠気レベル予測モデルを生成する眠気レベルモデル最適化部とを有する。
【0015】
当該眠気レベル予測モデル生成装置は、顔画像から抽出された複数の顔特徴点の時系列データである顔特徴データを用いるので、顔画像を直接用いる場合に比べて、データ量が削減され、処理時間が短縮する。また、当該眠気レベル予測モデル生成装置は、ニューラルネットワークのスパース化又はバイアス値を変更することで、眠気レベル判定値の判定精度を向上することができる。
【0016】
上記顔特徴点が、上記顔画像の中央部にある基準点を起点として表されているとよい。このように上記顔特徴点を上記顔画像の中央部にある基準点を起点として表すことで、顔特徴点から顔全体の相対的動きをとらえやすくなるので、眠気レベル判定値の判定精度をさらに向上することができる。
【0017】
本発明の別の一実施形態に係る眠気モデル生成システムは、顔画像から人物の眠気を判定するための眠気モデル生成システムであって、人物の顔画像を取得する画像取得部と、上記画像取得部で取得した上記顔画像から、複数の顔特徴点の時系列データである顔特徴データを抽出する顔特徴データ抽出部と、上記顔特徴データから人物の眠気段階を分類するための眠気分類予測モデルを生成する分類モデル生成部と、上記顔特徴データから人物の眠気レベルを判定するための眠気レベル予測モデルを生成する眠気モデル生成部とを備え、上記眠気段階が、眠気レベルの判定を必要とするレベル判定必要段階を含み、上記分類モデル生成部が、上記顔特徴データ及びその顔特徴データに対する眠気段階判定値を教師データとして、顔特徴データに対する眠気段階判定値を出力とするニューラルネットワークを用いた初期眠気段階予測モデルを機械学習により構築する眠気段階モデル構築部と、上記初期眠気段階予測モデルのニューラルネットワークのスパース化又はバイアス値の変更により上記初期眠気段階予測モデルによる出力される眠気段階判定値の判定精度を向上した眠気段階予測モデルを生成する眠気段階モデル最適化部とを有し、上記眠気モデル生成部が、上記眠気段階がレベル判定必要段階である顔特徴データ及びその顔特徴データに対する眠気レベル判定値を教師データとして、顔特徴データに対する眠気レベル判定値を出力とするニューラルネットワークを用いた初期眠気レベル予測モデルを機械学習により構築する眠気レベルモデル構築部と、上記初期眠気レベル予測モデルのニューラルネットワークのスパース化又はバイアス値の変更により上記初期眠気レベル予測モデルによる出力される眠気レベル判定値の判定精度を向上した眠気レベル予測モデルを生成する眠気レベルモデル最適化部とを有する。
【0018】
当該眠気モデル生成システムは、顔画像から抽出された複数の顔特徴点の時系列データである顔特徴データを用いるので、顔画像を直接用いる場合に比べて、データ量が削減され、処理時間が短縮する。また、当該眠気モデル生成システムは、ニューラルネットワークのスパース化又はバイアス値を変更することで、眠気段階判定値及び眠気レベル判定値の双方の判定精度を向上することができる。
【0019】
人物の眠気レベルを推定するためのバイタルセンサをさらに備え、上記眠気レベルモデル最適化部で、上記バイタルセンサにより推定された眠気レベル判定値と、その顔特徴データとが、新たな教師データとして追加されるとよい。例えば特定の人物のデータを新たな教師データとして追加して初期眠気レベル予測モデルの最適化を行うことで、その特定の人物に対する判定精度の向上を図ること、つまりその人物に特化した眠気レベル予測モデルを得ることができる。
【0020】
本発明のさらに別の一実施形態に係る眠気判定装置は、人物の顔画像を取得する画像取得部と、上記画像取得部で取得した上記顔画像から、複数の顔特徴点の時系列データである顔特徴データを抽出する顔特徴データ抽出部と、既知の顔特徴データ及びその顔特徴データに対する眠気段階判定値を教師データとして機械学習された眠気段階予測モデルを用いて、上記顔特徴データから人物の眠気段階を分類する分類判定部と、既知の顔特徴データ及びその顔特徴データに対する眠気レベル判定値を教師データとして機械学習された眠気レベル予測モデルを用いて、上記顔特徴データから人物の眠気レベルを判定する眠気判定部とを備え、上記眠気段階が、眠気レベルの判定を必要とするレベル判定必要段階を含み、上記分類判定部で上記眠気段階がレベル判定必要段階と判定された顔特徴データに対して、上記眠気判定部で眠気レベルが判定され、上記眠気レベル予測モデルとして、本発明の眠気レベル予測モデル生成装置又は本発明の眠気モデル生成システムにより生成された眠気レベル予測モデルが用いられている。
【0021】
当該眠気判定装置は、本発明の眠気レベル予測モデル生成装置又は本発明の眠気モデル生成システムにより生成された眠気レベル予測モデルを用いるので、眠気の判定精度が高い。
【0022】
上記画像取得部が、上記顔画像の顔の向きを所定の角度に揃える機能を有するとよい。このように上記画像取得部が上記顔画像の顔の向きを所定の角度に揃える機能を有することで、眠気段階予測モデル及び眠気レベル予測モデルとの対応付けが容易となるため、眠気の判定精度を高められる。
【0023】
［本発明の実施形態の詳細］
以下、本発明の一実施形態に係る眠気レベル予測モデル生成装置、眠気モデル生成システム及び眠気判定装置について、適宜図面を参照しつつ説明する。
以下、本発明の一実施形態に係る眠気レベル予測モデル生成装置、眠気モデル生成システム及び眠気判定装置について、適宜図面を参照しつつ説明する。
【0024】
〔眠気判定装置〕
図１に示す眠気判定装置１は、車両Ｘを運転する運転者の眠気を判定する眠気判定装置である。当該眠気判定装置１は、その判定が眠気を催していることを示している場合、運転者を覚醒させるため、触覚、臭覚、視覚、聴覚への刺激を与える等の車両用安全支援装置に組み込むことができる。
図１に示す眠気判定装置１は、車両Ｘを運転する運転者の眠気を判定する眠気判定装置である。当該眠気判定装置１は、その判定が眠気を催していることを示している場合、運転者を覚醒させるため、触覚、臭覚、視覚、聴覚への刺激を与える等の車両用安全支援装置に組み込むことができる。
【0025】
当該眠気判定装置１は、画像取得部１０と、顔特徴データ抽出部２０と、分類判定部３０と、眠気判定部４０とを備える。
【0026】
＜画像取得部＞
画像取得部１０は、人物の顔画像Ｆを取得する。当該眠気判定装置１では、画像取得部１０は、上記運転者の顔表情を捉える。
画像取得部１０は、人物の顔画像Ｆを取得する。当該眠気判定装置１では、画像取得部１０は、上記運転者の顔表情を捉える。
【0027】
画像取得部１０としては、可視光又は近赤外光を捉えられるカメラが好ましい。画像取得部１０は、車両Ｘの居住空間全体を観測するものであってもよいが、図１に示すように、運転者の座席に対して設けられることが好ましい。このように運転者の座席に対して設けることで、顔画像Ｆの精度を高められる。
【0028】
画像取得部１０が、顔画像Ｆの顔の向きを所定の角度に揃える機能を有することが好ましい。運転時に顔はいろいろな方向を向き得るため、画像取得部１０が取得する顔は時間とともに変わり得る。この変化が例えば眠気レベル予測モデル６０でたまたま眠気の高い状態の特徴を呈した場合、本来眠気を催していないにも関わらず眠気の高い状態に対応づけられる場合がある。画像取得部１０が顔画像Ｆの顔の向きを所定の角度に揃えると、このような誤った対応づけを避けられるので、眠気段階予測モデル５０及び眠気レベル予測モデル６０との対応付けが容易となるため、眠気の判定精度を高められる。
【0029】
＜顔特徴データ抽出部＞
顔特徴データ抽出部２０は、図２に示すように、画像取得部１０で取得した顔画像Ｆから、複数の顔特徴点Ｓの時系列データである顔特徴データＧを抽出する。
顔特徴データ抽出部２０は、図２に示すように、画像取得部１０で取得した顔画像Ｆから、複数の顔特徴点Ｓの時系列データである顔特徴データＧを抽出する。
【0030】
顔特徴点Ｓとは、顔全体の印象に基づき眠気を推定する際に、決定づける大きな顔のパーツ、例えば眉、目、口などの代表点を指す。この代表点は、基準点Ｍを原点とする直交座標（ｘ、ｙ）、パーツの幅（ｗ）及び高さ（ｈ）で表す４ｃｈとしたり、極座標（ｒ、θ）で表す２ｃｈとしたりすることができる。
【0031】
顔のパーツを抽出する方法としては、Ｍｅｄｉａ Ｐｉｐｅを利用することができる。Ｍｅｄｉａ Ｐｉｐｅでは、画像から人の顔を検出し、顔のパーツごとに４６８個のランドマークを推測し、出力する。出力は、ｘ、ｙ、ｚの３次元座標として出力される。
【0032】
基準点Ｍは、眠気段階予測モデル５０及び眠気レベル予測モデル６０が教師データとした顔特徴データＧの基準点Ｍと一致するように設定される。図２の例では、基準点Ｍは顔画像Ｆの中央部にある。
【0033】
顔特徴データＧは、各チャンネルのデータの時間変化を表す。図２には例として、右眉（Ｓ１）、左眉（Ｓ２）、右目（Ｓ３）、左目（Ｓ４）及び口（Ｓ５）のｙ座標の時系列データ（Ｇ１～Ｇ５）を示しているが、各パーツの他のチャネルや、他のパーツの顔特徴データＧが含まれていてもよい。
【0034】
顔画像Ｆは、基本的にはｘｙの２次元画像データが時間軸方向に連続した３次元データであるのに対し、顔特徴データＧは、顔特徴データＧの時間軸方向に連続した複数の事象で表された２次元データとなる。この次元の削減によりデータ量を削減でき、処理時間も短縮する。
【0035】
＜分類判定部＞
分類判定部３０は、既知の顔特徴データＧ及びその顔特徴データＧに対する眠気段階判定値を教師データとして機械学習された眠気段階予測モデル５０を用いて、顔特徴データＧから人物の眠気段階を分類する。
分類判定部３０は、既知の顔特徴データＧ及びその顔特徴データＧに対する眠気段階判定値を教師データとして機械学習された眠気段階予測モデル５０を用いて、顔特徴データＧから人物の眠気段階を分類する。
【0036】
眠気段階の分類は、一定時間間隔で（例えば５秒おきに）、前後の連続する複数のフレーム（例えば１６フレーム）の画像を用いて判定するとよい。
【0037】
また、上記眠気段階は、眠気レベルの判定を必要とする段階（段階１、以降「レベル判定必要段階」ともいう）と、あくびをする等明らかに眠気を催している段階（段階２）と、すでに寝ている状態（段階３）と、画像が鮮明でなく判断が困難である段階（段階４）とを含む。上記眠気段階は、離散値である。
【0038】
分類判定部３０で上記眠気段階がレベル判定必要段階（段階１）と判定された顔特徴データＧは、眠気判定部４０に送られる。一方、分類判定部３０で上記眠気段階が段階２乃至段階４と判定された場合、当該眠気判定装置１は、その分類結果３１を出力する。
【0039】
＜眠気判定部＞
眠気判定部４０は、既知の顔特徴データＧ及びその顔特徴データＧに対する眠気レベル判定値を教師データとして機械学習された眠気レベル予測モデル６０を用いて、顔特徴データＧから人物の眠気レベル４１を判定する。分類判定部３０で上記眠気段階がレベル判定必要段階（段階１）と判定された顔特徴データＧに対して、眠気判定部４０で眠気レベル４１が判定され、出力される。
眠気判定部４０は、既知の顔特徴データＧ及びその顔特徴データＧに対する眠気レベル判定値を教師データとして機械学習された眠気レベル予測モデル６０を用いて、顔特徴データＧから人物の眠気レベル４１を判定する。分類判定部３０で上記眠気段階がレベル判定必要段階（段階１）と判定された顔特徴データＧに対して、眠気判定部４０で眠気レベル４１が判定され、出力される。
【0040】
眠気レベル４１の判定は、一定時間間隔で（例えば５秒おきに）、前後の連続する複数のフレーム（例えば１６フレーム）の画像を用いて判定するとよく、分類判定部３０で用いたものと同じ画像であることが好ましい。
【0041】
上記眠気レベルは、眠気を数値化したものであり、以下の表１の判断基準に基づく数値である。上記眠気レベルは連続値であり、例えば１と２のちょうど中間である場合は、１．５となる。
【0042】
【表1】
【0043】
＜眠気段階予測モデル及び眠気レベル予測モデル＞
眠気段階予測モデル５０及び眠気レベル予測モデル６０としては、本発明の眠気モデル生成システム２により生成された眠気段階予測モデル５０及び眠気レベル予測モデル６０が用いられる。詳細については後述する。
眠気段階予測モデル５０及び眠気レベル予測モデル６０としては、本発明の眠気モデル生成システム２により生成された眠気段階予測モデル５０及び眠気レベル予測モデル６０が用いられる。詳細については後述する。
【0044】
＜利点＞
当該眠気判定装置１は、本発明の眠気モデル生成システムにより生成された眠気段階予測モデル５０及び眠気レベル予測モデル６０を用いるので、眠気の判定精度が高い。
当該眠気判定装置１は、本発明の眠気モデル生成システムにより生成された眠気段階予測モデル５０及び眠気レベル予測モデル６０を用いるので、眠気の判定精度が高い。
【0045】
〔眠気モデル生成システム〕
［第１実施形態］
図３に示す眠気モデル生成システム２は、顔画像Ｆから人物の眠気を判定するための眠気モデル生成システムである。当該眠気モデル生成システム２は、画像取得部１１と、顔特徴データ抽出部２０と、分類モデル生成部７０と、眠気モデル生成部８０とを備える。当該眠気モデル生成システム２により生成された眠気段階予測モデル５０及び眠気レベル予測モデル６０は、図１に示す眠気判定装置１に用いられる。
［第１実施形態］
図３に示す眠気モデル生成システム２は、顔画像Ｆから人物の眠気を判定するための眠気モデル生成システムである。当該眠気モデル生成システム２は、画像取得部１１と、顔特徴データ抽出部２０と、分類モデル生成部７０と、眠気モデル生成部８０とを備える。当該眠気モデル生成システム２により生成された眠気段階予測モデル５０及び眠気レベル予測モデル６０は、図１に示す眠気判定装置１に用いられる。
【0046】
＜画像取得部＞
画像取得部１１は、人物の顔画像を取得する。画像取得部１１は、図１の画像取得部１０と同様に構成することができる。
画像取得部１１は、人物の顔画像を取得する。画像取得部１１は、図１の画像取得部１０と同様に構成することができる。
【0047】
画像取得部１１は、異なる車両に搭載されたカメラであってもよく、車両以外に配設されたカメラであってもよい。つまり、画像取得部１１は、顔画像Ｆが取得できる限り、同一の機器でなくともよく、また同一の配置位置でなくともよい。
【0048】
＜顔特徴データ抽出部＞
顔特徴データ抽出部２０は、画像取得部１１で取得した顔画像Ｆから、複数の顔特徴点Ｓの時系列データである顔特徴データＧを抽出する。
顔特徴データ抽出部２０は、画像取得部１１で取得した顔画像Ｆから、複数の顔特徴点Ｓの時系列データである顔特徴データＧを抽出する。
【0049】
顔特徴データ抽出部２０は、図１に示す眠気判定装置１の顔特徴データ抽出部２０と同様に構成できる。
【0050】
顔特徴点Ｓは、顔画像Ｆの中央部にある基準点Ｍを起点として表されているとよい。このように顔特徴点Ｓを顔画像Ｆの中央部にある基準点Ｍを起点として表すことで、顔特徴点Ｓから顔全体の相対的動きをとらえやすくなるので、眠気段階判定値や眠気レベル判定値の判定精度をさらに向上することができる。具体的には、基準点Ｍは、例えば顔の中央部にあるパーツである鼻を基準とするとよい。
【0051】
＜分類モデル生成部＞
分類モデル生成部７０は、顔特徴データＧから人物の眠気段階を分類するための眠気分類予測モデル５０を生成する。
分類モデル生成部７０は、顔特徴データＧから人物の眠気段階を分類するための眠気分類予測モデル５０を生成する。
【0052】
上記眠気段階は、眠気レベルの判定を必要とするレベル判定必要段階を含み、図１に示す眠気判定装置１の眠気段階と同様に構成される。
【0053】
分類モデル生成部７０は、眠気段階モデル構築部７１と、眠気段階モデル最適化部７２とを有する。
【0054】
（眠気段階モデル構築部）
眠気段階モデル構築部７１は、顔特徴データＧ及びその顔特徴データＧに対する眠気段階判定値を教師データとして、顔特徴データＧに対する眠気段階判定値を出力とするニューラルネットワークを用いた初期眠気段階予測モデル５１を機械学習により構築する。
眠気段階モデル構築部７１は、顔特徴データＧ及びその顔特徴データＧに対する眠気段階判定値を教師データとして、顔特徴データＧに対する眠気段階判定値を出力とするニューラルネットワークを用いた初期眠気段階予測モデル５１を機械学習により構築する。
【0055】
顔特徴データＧに対応する眠気段階判定値の決定は、例えば顔特徴データＧから眠気段階判定値を判定できる者（熟練者）が行うことができる。
【0056】
上記教師データから機械学習により初期眠気段階予測モデル５１を構築する方法は、公知の方法を用いることができる。
【0057】
（眠気段階モデル最適化部）
眠気段階モデル最適化部７２では、初期眠気段階予測モデル５１のニューラルネットワークのスパース化又はバイアス値の変更により初期眠気段階予測モデル５１による出力される眠気段階判定値の判定精度を向上した眠気段階予測モデル５０を生成する。
眠気段階モデル最適化部７２では、初期眠気段階予測モデル５１のニューラルネットワークのスパース化又はバイアス値の変更により初期眠気段階予測モデル５１による出力される眠気段階判定値の判定精度を向上した眠気段階予測モデル５０を生成する。
【0058】
スパース化は、ニューラルネットワークの一部のノードのパラメータを０とすることを指す。バイアス値の変更は、外部から設定可能なバイアス値を変えることで一部のノードのパラメータの値を調整することを指す。
【0059】
最適化方法としては、例えば判定精度を正解率として、発見的探索により判定精度が向上するように上記パラメータや上記しきい値の修正を繰り返す方法を用いることができるほか、不正解と正解とのデータ群から特徴的なノードを抽出して修正を行ってもよい。
【0060】
なお、眠気段階モデル最適化部７２で使用する顔特徴データＧは、眠気段階モデル構築部７１で使用する顔特徴データＧと同じデータセットであってもよいが、異なるものであってもよい。例えば眠気段階モデル最適化部７２で使用する顔特徴データＧが、眠気段階モデル構築部７１で使用する顔特徴データＧに新たな顔特徴データＧを加えたデータセットであってもよい。
【0061】
＜眠気モデル生成部＞
眠気モデル生成部８０は、顔特徴データＧから人物の眠気レベルを判定するための眠気レベル予測モデル６０を生成する。
眠気モデル生成部８０は、顔特徴データＧから人物の眠気レベルを判定するための眠気レベル予測モデル６０を生成する。
【0062】
眠気モデル生成部８０は、眠気レベルモデル構築部８１と、眠気レベルモデル最適化部８２とを有する。
【0063】
（眠気レベルモデル構築部）
眠気レベルモデル構築部８１は、上記眠気段階がレベル判定必要段階である顔特徴データＧ及びその顔特徴データＧに対する眠気レベル判定値を教師データとして、顔特徴データＧに対する眠気レベル判定値を出力とするニューラルネットワークを用いた初期眠気レベル予測モデル６１を機械学習により構築する。
眠気レベルモデル構築部８１は、上記眠気段階がレベル判定必要段階である顔特徴データＧ及びその顔特徴データＧに対する眠気レベル判定値を教師データとして、顔特徴データＧに対する眠気レベル判定値を出力とするニューラルネットワークを用いた初期眠気レベル予測モデル６１を機械学習により構築する。
【0064】
顔特徴データＧに対応する眠気レベル判定値の決定は、例えば顔特徴データＧから眠気レベル判定値を判定できる者（熟練者）が行うことができる。眠気レベルは小数値を認めていることから、複数、例えば２名の熟練者が独立して判定を行い、その平均値を採用するとよい。複数の熟練者で判定を行うことで、教師データの妥当性を高められる。
【0065】
上記教師データから機械学習により初期眠気レベル予測モデル６１を構築する方法は、公知の方法を用いることができる。
【0066】
なお、眠気レベルモデル構築部８１で使用する顔特徴データＧは、例えば眠気段階モデル構築部７１で使用された顔特徴データＧのうち眠気段階がレベル判定必要段階であるものとすることができるが、他のデータセットを使用することを妨げるものではない。
【0067】
（眠気レベルモデル最適化部）
眠気レベルモデル最適化部８２は、初期眠気レベル予測モデル６１のニューラルネットワークのスパース化又はバイアス値の変更により初期眠気レベル予測モデル６１による出力される眠気レベル判定値の判定精度を向上した眠気レベル予測モデル６０を生成する。
眠気レベルモデル最適化部８２は、初期眠気レベル予測モデル６１のニューラルネットワークのスパース化又はバイアス値の変更により初期眠気レベル予測モデル６１による出力される眠気レベル判定値の判定精度を向上した眠気レベル予測モデル６０を生成する。
【0068】
最適化方法としては、眠気段階モデル最適化部７２と同様の最適化方法を用いることができる。
【0069】
また、連続して入力される様々な入力データに対して、初期眠気レベル予測モデル６１の眠気レベルの出力値が特に大きく変化した場合に、その際の入力データで大きく変化するもの（例えば、目の開き具合、鼻と口との間の距離等）が存在するとき、ニューラルネットワークの各ノードにおいて、その入力に対するバイアス値を増やして最適化を図ることも有効である。
【0070】
なお、分類モデル生成部７０と同様に、眠気レベルモデル最適化部８２で使用する顔特徴データＧは、眠気レベルモデル構築部８１で使用する顔特徴データＧと同じデータセットであってもよいが、異なるものであってもよい。
【0071】
＜利点＞
当該眠気モデル生成システム２は、顔画像Ｆから抽出された複数の顔特徴点Ｓの時系列データである顔特徴データＧを用いるので、顔画像Ｆを直接用いる場合に比べて、データ量が削減され、処理時間が短縮する。また、当該眠気モデル生成システム２は、ニューラルネットワークのスパース化又はバイアス値を変更することで、眠気段階判定値及び眠気レベル判定値の双方の判定精度を向上することができる。
当該眠気モデル生成システム２は、顔画像Ｆから抽出された複数の顔特徴点Ｓの時系列データである顔特徴データＧを用いるので、顔画像Ｆを直接用いる場合に比べて、データ量が削減され、処理時間が短縮する。また、当該眠気モデル生成システム２は、ニューラルネットワークのスパース化又はバイアス値を変更することで、眠気段階判定値及び眠気レベル判定値の双方の判定精度を向上することができる。
【0072】
［第２実施形態］
図４に示す眠気モデル生成システム３は、顔画像Ｆから人物の眠気を判定するための眠気モデル生成システムである。当該眠気モデル生成システム２により生成された眠気段階予測モデル５０及び眠気レベル予測モデル６０は、図１に示す眠気判定装置１に用いられる。
図４に示す眠気モデル生成システム３は、顔画像Ｆから人物の眠気を判定するための眠気モデル生成システムである。当該眠気モデル生成システム２により生成された眠気段階予測モデル５０及び眠気レベル予測モデル６０は、図１に示す眠気判定装置１に用いられる。
【0073】
当該眠気モデル生成システム３は、人物の顔画像Ｆを取得する画像取得部１１と、画像取得部１１で取得した顔画像Ｆから、複数の顔特徴点Ｓの時系列データである顔特徴データＧを抽出する顔特徴データ抽出部２０と、顔特徴データＧから人物の眠気段階を分類するための眠気段階予測モデル５０を生成する分類モデル生成部７０と、顔特徴データＧから人物の眠気レベルを判定するための眠気レベル予測モデル６０を生成する眠気モデル生成部８０とを備え、上記眠気段階が、眠気レベルの判定を必要とするレベル判定必要段階を含み、分類モデル生成部７０が、顔特徴データＧ及びその顔特徴データＧに対する眠気段階判定値を教師データとして、顔特徴データＧに対する眠気段階判定値を出力とするニューラルネットワークを用いた初期眠気段階予測モデル５１を機械学習により構築する眠気段階モデル構築部７１と、初期眠気段階予測モデル５１のニューラルネットワークのスパース化又はバイアス値の変更により初期眠気段階予測モデル５１による出力される眠気段階判定値の判定精度を向上した眠気段階予測モデル５０を生成する眠気段階モデル最適化部７２とを有し、眠気モデル生成部８０が、上記眠気段階がレベル判定必要段階である顔特徴データＧ及びその顔特徴データＧに対する眠気レベル判定値を教師データとして、顔特徴データＧに対する眠気レベル判定値を出力とするニューラルネットワークを用いた初期眠気レベル予測モデル６１を機械学習により構築する眠気レベルモデル構築部８１と、初期眠気レベル予測モデル６１のニューラルネットワークのスパース化又はバイアス値の変更により初期眠気レベル予測モデル６１による出力される眠気レベル判定値の判定精度を向上した眠気レベル予測モデル６０を生成する眠気レベルモデル最適化部８２とを有する。これらの各構成は、眠気レベルモデル構築部８１に入力される教師データを除き、第１実施形態の眠気モデル生成システム２と同様であるので、同一符号を付して詳細説明を省略する。
【0074】
当該眠気モデル生成システム３は、人物の眠気レベルを推定するためのバイタルセンサ１２をさらに備える。
【0075】
バイタルセンサ１２としては、脈拍数、心拍数、心拍間隔、血圧、血糖値、呼吸数などを捉えることができる公知のバイタルセンサを挙げることができる。バイタルセンサ１２の種類は、特に限定されないが、精度の観点から選択するとよく、例えばドップラーセンサを挙げることができる。
【0076】
バイタルセンサ１２は、図１の車両Ｘに搭載されている。この場合、バイタルセンサ１２は、画像取得部１０と同じ位置もしくは近傍に置かれ、運転者のバイタル情報を取得する。
【0077】
得られたバイタル情報から眠気レベルを推定することができる。当該眠気モデル生成システム３では、眠気レベルモデル最適化部８２で、バイタルセンサ１２により推定された眠気レベル判定値と、その顔特徴データＧとが、新たな教師データとして追加される。なお、顔特徴データＧは、車両Ｘの画像取得部１０から取得し、顔特徴データ抽出部２０で処理することで取得できる。
【0078】
眠気レベルモデル最適化部８２では、眠気段階がレベル判定必要段階である顔特徴データＧ及びその顔特徴データＧに対する眠気レベル判定値を教師データとして用いるが、上記新たな教師データは、眠気段階がレベル判定必要段階であるとみなして全数使用してもよいし、眠気段階予測モデル５０又は初期眠気段階予測モデル５１を用いた予測値により判断してもよい。また、バイタルセンサ１２により眠気段階判定値を推定して用いてもよい。
【0079】
上記新たな教師データを追加すると、車両Ｘに固有の眠気状態が眠気レベル予測モデル６０に反映され得る。つまり、車両Ｘに対して判定精度の高い眠気レベル予測モデル６０に最適化することができる。
【0080】
さらに、運転手個別に上記新たな教師データを追加して、運転手別に初期眠気レベル予測モデル６１を最適化してもよい。この場合、運転手ごとに眠気レベル予測モデル６０が生成されるから、当該眠気判定装置１の眠気レベル予測モデル６０には、運転手に対応したモデルが選択される。このモデル選択方法としては、外部からの入力による方法のほか、眠気判定部４０が顔画像Ｆから運転者を特定して、該当する運転者に対応する眠気レベル予測モデル６０を選択する機能を有していてもよい。
【0081】
当該眠気判定装置１を運転手に対応したモデル選択を行う構成とする場合、眠気レベルモデル最適化部８２で上記新たな教師データを追加しない眠気レベル予測モデル６０を生成しておくことが好ましい。個別の運転手に対応するモデルが存在しない場合、この眠気レベル予測モデル６０を選択することで、判定精度の低下を抑止することができる。
【0082】
当該眠気モデル生成システム３は、車両Ｘに搭載しておくこともできるが、外部サーバに搭載し、上記新たな教師データを上記外部サーバへ転送してもよい。この場合、生成された眠気レベル予測モデル６０は、上記外部サーバから車両Ｘへ転送され、利用される。
【0083】
＜利点＞
上述のように、当該眠気モデル生成システム３は、例えば特定の人物のデータを新たな教師データとして追加して初期眠気レベル予測モデル６１の最適化を行うことで、その特定の人物に対する判定精度の向上を図ること、つまりその人物に特化した眠気レベル予測モデル６０を得ることができる。
上述のように、当該眠気モデル生成システム３は、例えば特定の人物のデータを新たな教師データとして追加して初期眠気レベル予測モデル６１の最適化を行うことで、その特定の人物に対する判定精度の向上を図ること、つまりその人物に特化した眠気レベル予測モデル６０を得ることができる。
【0084】
［その他の実施形態］
上記実施形態は、本発明の構成を限定するものではない。従って、上記実施形態は、本明細書の記載及び技術常識に基づいて上記実施形態各部の構成要素の省略、置換又は追加が可能であり、それらは全て本発明の範囲に属するものと解釈されるべきである。
上記実施形態は、本発明の構成を限定するものではない。従って、上記実施形態は、本明細書の記載及び技術常識に基づいて上記実施形態各部の構成要素の省略、置換又は追加が可能であり、それらは全て本発明の範囲に属するものと解釈されるべきである。
【0085】
上記実施形態では、当該眠気判定装置が、車両を運転する運転者の眠気を判定する場合を説明したが、当該眠気判定装置の用途は車両の運転者の眠気判定には限定されず、例えば航空機や船舶の操縦者の眠気判定や、危険物を扱う作業者の眠気判定等、眠気を防止する必要がある局面に対して用いることができる。
【0086】
上記実施形態では、眠気段階が４段階である場合を説明したが、眠気レベルの判定を必要とするレベル判定必要段階が含まれている限り、分類の基準や段階数は異なるものであってもよい。
【0087】
上記実施形態では、眠気レベルが表１の判断基準に基づく数値である場合を説明したが、判断の基準や数値は異なるものであってもよい。
【0088】
上記実施形態では、当該眠気判定装置が、分類判定部と、眠気判定部とを備える場合を説明したが、眠気判定部のみを備える構成、すなわち分類判定部を備えない構成とすることもできる。この場合、全ての顔特徴データが眠気判定部に入力されることとなる。また、眠気段階予測モデルは不要とできる。
【0089】
この場合、眠気レベル予測モデルは、本発明の眠気レベル予測モデル生成装置、すなわち顔画像から人物の眠気レベルを判定するための眠気レベル予測モデルを生成する眠気レベル予測モデル生成装置であって、上記顔画像から抽出された複数の顔特徴点の時系列データである顔特徴データ及びその顔特徴データに対する眠気レベル判定値を教師データとして、顔特徴データに対する眠気レベル判定値を出力とするニューラルネットワークを用いた初期眠気レベル予測モデルを機械学習により構築する眠気レベルモデル構築部と、上記初期眠気レベル予測モデルのニューラルネットワークのスパース化又はバイアス値の変更により上記初期眠気レベル予測モデルによる出力される眠気レベル判定値の判定精度を向上した眠気レベル予測モデルを生成する眠気レベルモデル最適化部とを有する眠気レベル予測モデル生成装置により生成された眠気レベル予測モデルが用いられる。
【0090】
当該眠気レベル予測モデル生成装置は、教師データが眠気段階がレベル判定必要段階である顔特徴データに限定されない点を除き、図３に示す眠気モデル生成部と同様に構成できるので、詳細説明を省略する。
【0091】
当該眠気レベル予測モデル生成装置は、顔画像から抽出された複数の顔特徴点の時系列データである顔特徴データを用いるので、顔画像を直接用いる場合に比べて、データ量が削減され、処理時間が短縮する。また、当該眠気レベル予測モデル生成装置は、ニューラルネットワークのスパース化又はバイアス値を変更することで、眠気レベル判定値の判定精度を向上することができる。
【0092】
上記実施形態では、眠気段階予測モデル及び眠気レベル予測モデルとして、本発明の眠気モデル生成システムにより生成された眠気段階予測モデル及び眠気レベル予測モデルが用いられる場合を説明したが、眠気レベル予測モデルのみが本発明の眠気モデル生成システムにより生成された眠気レベル予測モデルであってもよい。この場合、眠気段階予測モデルには、従来の手法で生成した眠気段階予測モデルが用いられる。このような構成であっても、当該眠気判定装置は同等の効果を奏する。なお、この場合、眠気レベル予測モデルとして、本発明の眠気レベル予測モデル生成装置により生成された眠気レベル予測モデルを用いることもできる。
【0093】
上記第２実施形態の眠気モデル生成システムでは、新たな教師データを眠気レベルモデル最適化部に追加する場合を説明したが、眠気段階モデル最適化部にも、上記バイタルセンサにより推定された眠気段階判定値と、その顔特徴データとが、新たな教師データとして追加される構成としてもよい。眠気レベルモデル最適化部及び眠気段階モデル最適化部の双方に新たな教師データを追加することで、例えば特定の人物に特化した眠気レベル予測モデル及び眠気段階予測モデルを得ることができる。
【実施例0094】
以下、実施例に基づき本発明を詳述するが、この実施例の記載に基づいて本発明が限定的に解釈されるものではない。
【0095】
［データの準備］
同じドライビングシミュレーションを用いた実験により、６つの動画を撮影した。被験者は、映像を見ながらハンドルを操作しており，本物の車のように振動もあるため、実際の運転時に近い様子が記録されている．なお、被験者はいずれも男性であった。
同じドライビングシミュレーションを用いた実験により、６つの動画を撮影した。被験者は、映像を見ながらハンドルを操作しており，本物の車のように振動もあるため、実際の運転時に近い様子が記録されている．なお、被験者はいずれも男性であった。
【0096】
これらの６つの動画から、学習データ及び評価データとして約５秒おきに抽出した連続１６フレームから構成される顔画像を抽出した。抽出した顔画像について２名の熟練者が眠気段階及び眠気レベルの判定を行った。眠気レベルについて両者で判定が異なる場合、その平均値を採用した。
【0097】
（学習データ）
表２に示すように、上述の顔画像から眠気段階が段階１～段階４である顔画像をそれぞれ１８００ずつ選び、眠気段階予測モデルを生成するためのデータセットとした。また、上述の顔画像から眠気レベルが１、１．５、２、２．５・・・５となる顔画像をそれぞれ１０００ずつ選び、眠気レベル予測モデルを生成するためのデータセットとした。
表２に示すように、上述の顔画像から眠気段階が段階１～段階４である顔画像をそれぞれ１８００ずつ選び、眠気段階予測モデルを生成するためのデータセットとした。また、上述の顔画像から眠気レベルが１、１．５、２、２．５・・・５となる顔画像をそれぞれ１０００ずつ選び、眠気レベル予測モデルを生成するためのデータセットとした。
【0098】
（評価データ）
学習データと同様、表２に示すように、上述の顔画像から眠気段階予測モデルを生成するためのデータセット及び眠気レベル予測モデルを生成するためのデータセットを準備した。
学習データと同様、表２に示すように、上述の顔画像から眠気段階予測モデルを生成するためのデータセット及び眠気レベル予測モデルを生成するためのデータセットを準備した。
【0099】
【表2】
【0100】
［予測モデルの生成］
予測モデルを生成するにあたって、学習環境のバッチサイズは、分離モデル生成部で６４、眠気モデル生成部で３１とした。
予測モデルを生成するにあたって、学習環境のバッチサイズは、分離モデル生成部で６４、眠気モデル生成部で３１とした。
【0101】
分離モデル生成部では、出力層のニューロン数を４とし、活性化関数としてｓｏｆｔｍａｘを使用した。一方、分離モデル生成部では、出力層のニューロン数を１とし、活性化関数として恒等関数であるｌｉｎｅａｒを使用した。
【0102】
分離モデル生成部及び眠気モデル生成部での畳み込み層は、４又は３とした。なお、畳み込み層が３のものは、畳み込み層が４のものから第７層と第８層とを削除したものである。またニューロン数は５１２又は１０２４とした。Ｎｏ．１～Ｎｏ．５の各試行における畳み込み層の数及びニューロン数は表３に示す。
【0103】
分離モデル生成部及び眠気モデル生成部でのモデルの生成において、
Ａ：本発明の眠気段階モデル最適化部及び眠気レベルモデル最適化部を用いて最適化された眠気段階予測モデル及び眠気レベル予測モデルを生成したもの
Ｂ：眠気段階モデル構築部及び眠気レベルモデル構築部で生成される初期眠気段階予測モデル及び初期眠気レベル予測モデルを眠気段階予測モデル及び眠気レベル予測モデルとして生成したもの
Ｃ：顔画像をそのまま使用して眠気段階予測モデル及び眠気レベル予測モデルを生成したもの
の３通りの手法で眠気段階予測モデル及び眠気レベル予測モデルを得た。Ｎｏ．１～Ｎｏ．５の各試行で使用した手法は表３に示す。
Ａ：本発明の眠気段階モデル最適化部及び眠気レベルモデル最適化部を用いて最適化された眠気段階予測モデル及び眠気レベル予測モデルを生成したもの
Ｂ：眠気段階モデル構築部及び眠気レベルモデル構築部で生成される初期眠気段階予測モデル及び初期眠気レベル予測モデルを眠気段階予測モデル及び眠気レベル予測モデルとして生成したもの
Ｃ：顔画像をそのまま使用して眠気段階予測モデル及び眠気レベル予測モデルを生成したもの
の３通りの手法で眠気段階予測モデル及び眠気レベル予測モデルを得た。Ｎｏ．１～Ｎｏ．５の各試行で使用した手法は表３に示す。
【0104】
［評価］
以上のようにしてＮｏ．１～Ｎｏ．５で得られた眠気段階予測モデル及び眠気レベル予測モデルに対して、予測モデルを形成するために要した時間と、表２の評価データを用いた正解率とを表３に示す。
以上のようにしてＮｏ．１～Ｎｏ．５で得られた眠気段階予測モデル及び眠気レベル予測モデルに対して、予測モデルを形成するために要した時間と、表２の評価データを用いた正解率とを表３に示す。
【0105】
【表3】
【0106】
表３で「ｈ５ファイル」とは、生成した予測モデルのファイルであり、階層データ形式（ＨＤＦ：Ｈｉｅｒａｒｃｈｉｃａｌ Ｄａｔａ Ｆｏｒｍａｔ）ファイルを指す。
【0107】
表３の結果から、本発明の眠気モデル生成システムを用いて生成したＮｏ．１、Ｎｏ．３及びＮｏ．４の予測モデルは、最適化を行っていないＮｏ．２の予測モデルに対し、正答率が高く、顔画像をそのまま使用したＮｏ．５の予測モデルに対しても正答率で優位であり、データ量が少なくかつ処理時間が短いことが分かる。
【産業上の利用可能性】
【0108】
以上説明したように、本発明の眠気レベル予測モデル生成装置及び眠気モデル生成システムは、データ量の削減及び処理時間の短縮が図れるとともに、眠気の判定精度の高い予測モデルを生成できる。従って、当該眠気レベル予測モデル生成装置又は当該眠気モデル生成システムにより生成された予測モデルを用いる本発明の眠気判定装置は、眠気の判定精度が高い。
【符号の説明】
【0109】
１ 眠気判定装置
２、３ 眠気モデル生成システム
１０、１１ 画像取得部
１２ バイタルセンサ
２０ 顔特徴データ抽出部
３０ 分類判定部
３１ 分類結果
４０ 眠気判定部
４１ 眠気レベル
５０ 眠気段階予測モデル
５１ 初期眠気段階予測モデル
６０ 眠気レベル予測モデル
６１ 初期眠気レベル予測モデル
７０ 分類モデル生成部
７１ 眠気段階モデル構築部
７２ 眠気段階モデル最適化部
８０ 眠気モデル生成部
８１ 眠気レベルモデル構築部
８２ 眠気レベルモデル最適化部
Ｘ 車両
Ｆ 顔画像
Ｓ 顔特徴点
Ｇ 顔特徴データ
Ｍ 基準点
２、３ 眠気モデル生成システム
１０、１１ 画像取得部
１２ バイタルセンサ
２０ 顔特徴データ抽出部
３０ 分類判定部
３１ 分類結果
４０ 眠気判定部
４１ 眠気レベル
５０ 眠気段階予測モデル
５１ 初期眠気段階予測モデル
６０ 眠気レベル予測モデル
６１ 初期眠気レベル予測モデル
７０ 分類モデル生成部
７１ 眠気段階モデル構築部
７２ 眠気段階モデル最適化部
８０ 眠気モデル生成部
８１ 眠気レベルモデル構築部
８２ 眠気レベルモデル最適化部
Ｘ 車両
Ｆ 顔画像
Ｓ 顔特徴点
Ｇ 顔特徴データ
Ｍ 基準点
【図1】
【図2】
【図3】
【図4】