特許 7154959 走行状況判断情報基盤の運転者状態認識装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-07

(45)【発行日】2022-10-18

(54)【発明の名称】走行状況判断情報基盤の運転者状態認識装置及び方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221011BHJP

   G08G 1/16 20060101ALI20221011BHJP

【ＦＩ】

G06T7/00 660A

G08G1/16 F

G06T7/00 350B

【請求項の数】 16

(21)【出願番号】P 2018209047

(22)【出願日】2018-11-06

(65)【公開番号】P2019197522

(43)【公開日】2019-11-14

【審査請求日】2021-09-29

(31)【優先権主張番号】10-2018-0053895

(32)【優先日】2018-05-10

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】596180076

【氏名又は名称】韓國電子通信研究院

【氏名又は名称原語表記】Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ

【住所又は居所原語表記】２１８，Ｇａｊｅｏｎｇ－ｒｏ Ｙｕｓｅｏｎｇ－ｇｕ Ｄａｅｊｅｏｎ ３４１２９，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100091982

【弁理士】

【氏名又は名称】永井 浩之

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100082991

【氏名又は名称】佐藤 泰和

(74)【代理人】

【識別番号】100105153

【弁理士】

【氏名又は名称】朝倉 悟

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100152205

【弁理士】

【氏名又は名称】吉田 昌司

(72)【発明者】

【氏名】キム、ジン、ウ

(72)【発明者】

【氏名】キム、キ、テ

【審査官】青木 重徳

(56)【参考文献】

【文献】特開２００７－２６５３７７（ＪＰ，Ａ）

【文献】特開２０１８－５８９２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／００９３８８８（ＵＳ，Ａ１）

【文献】宮治 正廣 ほか，生体情報を利用したＡｄａＢｏｏｓｔによるドライバ認知負荷状態の検知，情報処理学会論文誌 ［ＣＤ－ＲＯＭ］，日本，社団法人情報処理学会，2009年01月15日，Ｖｏｌ．５０ Ｎｏ．１ ，ｐ．１７１－１８０

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

映像獲得装置から運転者の顔状態情報と運転者の走行情報獲得装置から運転者の走行行為情報を獲得する映像獲得部と、
車両外部干渉認識装置から周辺車両の走行状況認識情報を獲得する走行状況認識部と、
前記運転者の顔状態情報、周辺車両の走行状況認識情報及び運転者の走行行為情報などの獲得情報と学習された顔のベクトル情報を比較して運転者の走行集中度を決定する走行集中度決定部と、及び
前記決定された運転者の走行集中度に対応するように運転者の走行指導を決定する走行指導決定部と、を含む走行状況判断情報基盤の運転者状態認識装置。

【請求項2】

前記走行集中度決定部は、
前記運転者の顔状態情報を通して運転者が居眠り及び正面を凝視しているかどうかを判断して、前記運転者が正面を凝視していると判断されると、危険度と操作レベルに応じた状況を判断する請求項１に記載の走行状況判断情報基盤の運転者状態認識装置。

【請求項3】

カメラを介して取得した顔画像を正規化するために、顔画像から基準領域を設定するための二つの基準ポイントを選択するポイント選択部と、及び
前記選択された基準ポイントの座標と二つの基準ポイント間の距離と比率を利用して、四角形の基準領域を設定する正規化部と、を含む請求項１に記載の走行状況判断情報基盤の運転者状態認識装置。

【請求項4】

前記ポイント選択部は、
顔画像から瞳孔基準領域を選択するために、瞳孔の中心に瞳孔基準ポイントが選択されたかどうかを判断して、基準ポイントが瞳孔の中心に位置することを確認すれば、前記瞳孔基準ポイントからサイズが調節される基準ガイド円をユーザに提供し、設定の選択が完了すれば、前記基準ガイド円を瞳孔基準領域として設定する請求項３に記載の走行状況判断情報基盤の運転者状態認識装置。

【請求項5】

前記ポイント選択部は、
選択された瞳孔基準領域を除いた残りの領域のピクセルを「０」値に処理することを特徴とする請求項４に記載の走行状況判断情報基盤の運転者状態認識装置。

【請求項6】

設定された四角形の基準領域間のベクトル情報を利用して、顔の方向基準視線情報、目を閉じたかどうか及び視線状態を含む運転者の顔ベクトル情報を獲得するベクトル情報獲得部と、及び
運転者の付加機能操作状態を含む走行中の運転者操作情報を獲得し、前記獲得した運転者の顔ベクトル情報を基準に運転者接続状態情報を利用して、運転者の顔状態情報を決定する顔状態情報決定部を含む請求項３に記載の走行状況判断情報基盤の運転者状態認識装置。

【請求項7】

前記顔ベクトル情報は、
顔部分間の関係性基盤分布及び確率によって計算された請求項６に記載の走行状況判断情報基盤の運転者状態認識装置。

【請求項8】

前記関係性は、
両眼、鼻、目のサイズ及び相対位置に対する関係である請求項７に記載の走行状況判断情報基盤の運転者状態認識装置。

【請求項9】

映像獲得装置から運転者の顔状態情報と運転者の走行情報獲得装置から運転者の走行行為情報を獲得するステップと、
車両外部干渉認識装置から周辺車両の走行状況認識情報を獲得するステップと、
前記運転者の顔状態情報、周辺車両の走行状況認識情報及び運転者の走行行為情報などの獲得情報と学習された顔のベクトル情報を比較して運転者の走行集中度を決定するステップと、及び
前記決定された運転者の走行集中度に対応するように運転者の走行指導を決定するステップと、を含む走行状況判断情報基盤の運転者状態認識方法。

【請求項10】

前記運転者の走行集中度を決定するステップは、
前記運転者の顔状態情報を通して運転者が居眠り及び正面を凝視しているかどうかを判断するステップと、及び
前記運転者が正面を凝視したものと判断すれば、危険度と操作レベルに応じた状況を判断するステップと、を含む請求項９に記載の走行状況判断情報基盤の運転者状態認識方法。

【請求項11】

カメラを介して取得した顔画像を正規化するために、顔画像から基準領域を設定するための二つの基準ポイントを選択する基準ポイント選択ステップと、及び
前記選択された基準ポイントの座標と二つの基準ポイント間の距離と比率を利用して、四角形の基準領域を設定するワープ及び正規化ステップと、を含むデータ加工手段と、を含む請求項９に記載の走行状況判断情報基盤の運転者状態認識方法。

【請求項12】

顔画像から瞳孔基準領域を選択するために、瞳孔の中心に瞳孔基準ポイントが選択されるステップと、
前記瞳孔基準ポイントからサイズが調節される基準ガイド円が提供されるステップと、及び
前記基準ガイド円を通して瞳孔基準領域を選択して正規化するステップと、を含む請求項１１に記載の走行状況判断情報基盤の運転者状態認識方法。

【請求項13】

前記瞳孔基準領域を選択して正規化するステップは、
選択された瞳孔基準領域を除いた残りの領域のピクセルを「０」値に処理することを特徴とする請求項１２に記載の走行状況判断情報基盤の運転者状態認識方法。

【請求項14】

設定された四角形の基準領域間のベクトル情報を利用して、顔の方向基準視線情報、目を閉じたかどうか及び視線状態を含む運転者の顔ベクトル情報を獲得するステップと、
運転者の付加機能操作状態を含む走行中の運転者操作情報を獲得するステップと、及び
前記獲得した運転者の顔ベクトル情報を基準に運転者接続状態情報を利用して、運転者の顔状態情報を決定するステップを含む、請求項１１に記載の走行状況判断情報基盤の運転者状態認識方法。

【請求項15】

前記顔ベクトル情報は、
顔部分間の関係性基盤分布及び確率によって計算された請求項１４に記載の走行状況判断情報基盤の運転者状態認識方法。

【請求項16】

前記関係性は、
両眼、鼻、目のサイズ及び相対位置に対する関係である請求項１５に記載の走行状況判断情報基盤の運転者状態認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、走行状況判断情報基盤の運転者状態認識装置及び方法に関し、より詳しくは、走行補助システムまたは自律走行システムで活用可能な融合情報に基づいて運転者の状態を認識する装置及び方法に関する。

【背景技術】

【0002】

最近、自律走行システムの完全な成長前には安全運転のために運転者の状態認識技術を適用した安全運転誘導技術が適用されている。

【0003】

特に、運転者の居眠り、注意分散、無反応に対する技術と表情、パターンなどで運転者の心理を予測して、走行上の警告やフィードバックを提供することにより、安全運転を誘導する技術が発展している。

【0004】

また、自律走行システムと連携されて車両が走行し難い時や、運転者が運転の不可能な状態を把握して車両に対する行動を判断する技術もまた研究されている。

【0005】

ただ、システムが判断して自律で駆動する技術の商用化のためには高度化された認識率と安全装置が必要であるが、現在の時点では、量産においては、コスト及び様々な状況による問題のため、技術を適用することが難しい。

【0006】

また、従来の商用化された運転者補助システムは、運転者が長時間停車せず走行する場合、運転負荷と判断し、ＢＳＤ（Ｂｌｉｎｄ Ｓｐｏｔ Ｄｅｔｅｃｔｉｏｎ）のように側後方の車両が死角地帯にいる状況で運転者が方向指示器を点灯せず進入しようとする場合、警告音を発生させるレベルである。

【0007】

このように、従来の商用化された運転者補助システムは、居眠り認識、表情認識、注意分散認識のような運転者の状態認識に対する機能が開発されたが、あくまでも補助手段として利用されていたので、幅広い信頼度を提供することは困難な状況である。

【0008】

このように、完全自律走行が商用化される前に、運転者の状態をモニタする方法は、安全走行に必要な補助システムレベルで高度化されることが求められ、完全自律走行と近づく時点では相互作用を中心に、完全自律走行においては車両と運転者、コンテンツが能動的コミュニケーションが行われる時期となる見通しだ。

【0009】

既存の運転者状態を認識する方式は、目を閉じる程度、視線の分散、走行中のブレーキ、加速、方向指示器、ステアリング有無の情報を、既存に定義したカテゴリ内で判断できるようにする。

【0010】

これは状況に対して、事前に定義されたいくつかの場合以外の判断に対する認識率或いは判断するための範囲の限界性とエラーの発生に対する問題点を含んでいる。

【発明の概要】

【発明が解決しようとする課題】

【0011】

本発明は、従来の問題を解決するために案出されたものであって、本発明の目的は、運転者が前方を注視しなかったり、または目の閉じられた状態のみに基づいて判断された運転者状態認識技術を高度化したもので、前方を注視している状態、目が閉じられるパターン、車両の情報、走行環境に対する判断情報に基づいて運転者の状態を認識し判断する走行状況判断情報基盤の運転者状態認識装置及び方法を提供する。

【0012】

本発明の他の目的は、運転者の居眠り、注意分散情報を車両情報及び周囲車両情報と融合してリアルタイムで分析し、これを判断できる走行状況判断情報基盤の運転者状態認識装置及び方法を提供する。

【0013】

そして、本発明のまた他の目的は、走行中の運転者の行動及び顔に対する情報をリアルタイムで分析し、周辺環境及び外部光に対する影響、周辺車両を含む移動或いは静的障害物の位置及び動きのパターン、危険要因を分析した情報に基づいて、現在、車両の走行時に運転者に求められる集中度を分析して、安全運行或いは自律走行に対する運転者‐車両間の判断情報を提供する。

【0014】

本発明の目的は、以上で言及した目的に制限されず、言及されていないまた他の目的は、下の記載から当業者に明確に理解できるであろう。

【課題を解決するための手段】

【0015】

上記の目的を達成するための本発明の一実施形態に係る走行状況判断情報基盤の運転者状態認識装置は、映像獲得装置から運転者の顔状態情報と運転者の走行情報獲得装置から運転者の走行行為情報を獲得する映像獲得部と、車両外部干渉認識装置から周辺車両の走行状況認識情報を獲得する走行状況認識部と、前記運転者の顔状態情報、周辺車両の走行状況認識情報及び運転者の走行行為情報などの獲得情報と学習された顔のベクトル情報を比較して運転者の走行集中度を決定する走行集中度決定部と、及び前記決定された運転者の走行集中度に対応するように運転者走行指導を決定する走行指導決定部と、を含む。

【0016】

ここで、前記走行集中度決定部は、前記運転者の顔状態情報を通して運転者が居眠り及び正面を凝視しているかどうかを判断して、前記運転者が正面を凝視していると判断されれば、危険度と操作レベルに応じた状況を判断することが望ましい。

【0017】

そして、カメラを介して取得した顔画像を正規化するために、顔画像から基準領域を設定するための二つの基準ポイントを選択するポイント選択部と、及び前記選択された基準ポイントの座標と二つの基準ポイント間の距離と比率を利用して四角形の基準領域を設定する正規化部を含む。

【0018】

また、前記ポイント選択部は、顔画像から瞳孔基準領域を選択するために、瞳孔の中心に瞳孔基準ポイントが選択されたかどうかを判断して、基準ポイントが瞳孔の中心に位置したことを確認すると、前記瞳孔基準ポイントからサイズが調節される基準ガイド円をユーザに提供し、設定の選択が完了すると該当する前記基準ガイド円を瞳孔基準領域に設定する。

【0019】

そして、前記ポイント選択部は、選択された瞳孔基準領域を除いた残りの領域のピクセルを「０」値に処理することが望ましい。

【0020】

一方、本発明の一実施形態によると、設定された四角形の基準領域間のベクトル情報を利用して、顔の方向基準視線情報、目を閉じたかどうか及び視線状態を含む運転者の顔ベクトル情報を獲得するベクトル情報獲得部と、及び運転者の付加機能操作状態を含む運転者接続状態情報を獲得し、前記獲得した運転者の顔ベクトル情報を基準に運転者接続状態情報を利用して運転者の顔状態情報を決定する顔状態情報決定部を含む。

【0021】

本発明の一実施形態に係る走行状況判断情報基盤の運転者状態認識方法は、映像獲得装置から運転者の顔状態情報と運転者の走行情報獲得装置から運転者の走行行為情報を獲得するステップと、車両外部干渉認識装置から周辺車両の走行状況認識情報を獲得するステップと、前記運転者の顔状態情報、周辺車両の走行状況認識情報及び運転者の走行行為情報などの獲得情報と学習された顔ベクトル情報を比較して運転者の走行集中度を決定するステップと、及び前記決定された運転者の走行集中度に対応するように運転者の走行指導を決定するステップと、を含む。

【0022】

本発明の一実施形態に採用された前記運転者の走行集中度を決定するステップは、前記運転者の顔状態情報を通して運転者が居眠り及び正面を凝視しているかどうかを判断するステップと、及び前記運転者が正面を凝視していると判断すれば、危険度と操作レベルに応じた状況を判断するステップと、を含む。

【0023】

一方、本発明の一実施形態では、カメラを介して取得した顔画像を正規化するために、顔画像から基準領域を設定するための二つの基準ポイントを選択する基準ポイント選択ステップと、及び前記選択された基準ポイントの座標と二つの基準ポイント間の距離と比率を利用して四角形の基準領域を設定するワープ及び正規化ステップと、を含む。

【0024】

そして、前記基準ポイントの選択ステップは、顔画像から瞳孔基準領域を選択するために、瞳孔の中心に瞳孔基準ポイントが選択されるステップと、前記瞳孔基準ポイントからサイズが調節される基準ガイド円が提供されるステップと、及び前記基準ガイド円を通して瞳孔基準領域を選択して正規化するステップと、を含む。

【0025】

ここで、前記瞳孔基準領域を選択して正規化するステップは、選択された瞳孔基準領域を除いた残りの領域のピクセルを「０」値に処理する。

【0026】

さらに、本発明の一実施形態では、設定された四角形の基準領域間のベクトル情報を利用して、顔の方向基準視線情報、目を閉じたかどうか及び視線状態を含む運転者の顔ベクトル情報を獲得するステップと、運転者の付加機能操作状態を含む運転者接続状態情報を獲得するステップと、及び前記獲得した運転者の顔ベクトル情報を基準に運転者の接続状態情報を利用して、運転者の顔状態情報を決定するステップを含む。

【発明の効果】

【0027】

本発明の一実施形態によると、ユーザが単に顔画像から必要とする部分にポイントを打つだけで基準領域の自動設定が可能になることによって、今後、運転者の正常／異常の判断を分析するためのデータとして利用するとき、基準領域が正規化されて収集できるという利点がある。

【図面の簡単な説明】

【0028】

【図1】本発明の一実施形態に係る走行状況判断情報基盤の運転者状態認識装置を説明するための機能ブロック図である。

【図2】本発明の一実施形態において、顔部分の領域を検出するために基準ポイントを選択する様子を示した参考図である。

【図3】本発明の一実施形態において、顔部分の領域を検出するために基準ポイントを選択する様子を示した参考図である。

【図4】本発明の一実施形態において、瞳孔領域を選択するためのプロセスを説明するための参考図である。

【図5】本発明の一実施形態において、顔部分の領域を選択するためのプロセスを説明するための参考図である。

【図6】（ａ）～（ｄ）は、本発明の一実施形態において、運転者の正面認識基準を説明するための参考図である。

【図7】（ａ）～（ｄ）は、運転者の目の状態に応じた認識基準を説明するための参考図である。

【図8】本発明の一実施形態に係る走行状況判断情報基盤の運転者状態を認識するための認識データ提供方法を説明するためのフローチャートである。

【図9】本発明の一実施形態において、走行状況判断情報基盤の運転者状態認識方法を説明するためのフローチャートである。

【発明を実施するため形態】

【0029】

本発明の利点及び特徴、そしてそれらを達成する方法は、添付される図面と共に詳細に後述されている実施形態を参照すれば明確になるであろう。しかし、本発明は、以下に開示される実施形態に限定されるものではなく、異なる様々な形態で具現されるものであり、単に本実施形態は、本発明の開示が完全にし、本発明の属する技術分野において通常の知識を持つ者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範疇によって定義されるだけである。一方、本明細書で使用される用語は、実施形態を説明するためのものであって、本発明を制限するものではない。本明細書では、単数形は、文句で特に言及しない限り複数形も含む。明細書で使用される「含む（ｃｏｍｐｒｉｓｅｓ、ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成素子、ステップ、動作、及び/または素子は、複数の他の構成素子、 ステップ、動作、及び/または素子の存在または追加を排除しない。

【0030】

以下、本発明の望ましい実施形態について添付した図面を参照して詳細に説明する。図１は、本発明の一実施形態に係る走行状況判断情報基盤の運転者状態認識装置は、顔のベクトルデータ情報を登録できるように、ポイント選択部１１０、正規化部１２０、ベクトル情報獲得部１３０、顔状態情報決定部１４０及び学習情報保存部１５０を含む。

【0031】

ポイント選択部１１０は、カメラを介して取得した顔画像を正規化するために、顔画像から基準領域（を選択するための二つの基準ポイントがユーザから入力されると、該当位置を基準ポイントとして選択する。例えば、基準ポイントは、図２に示されたように、目は目尻の両側、口元の両側及び小鼻の両側に位置することが望ましいが、これに限定するものではない。

【0032】

次いで、正規化部１２０は、図３に示すように、下記の［数学式１］により、前記選択された基準ポイント（ＳＰ）の座標と二つの基準ポイント間の距離（Ｄ）と比率を利用して四角形状から成る顔の各部分に対する基準領域（ＳＡ）を設定する。

【0033】

以降、正規化部１２０は、正規化された目、目尻、瞳孔、閉じた目、口、口元、鼻の正規化されたデータに対して学習し、学習情報保存部１５０にアップデートする過程を経る。

【0034】

例えば、正規化部１２０は、顔のデータ、目のデータ、閉じた目のデータ、瞳孔のデータ、鼻のデータ、口のデータを前方９方向から正規化した後、顔、目（左、右を区分）、鼻、瞳孔（左、右を区分）、閉じた目（左、右を区分）、両眼の目尻、口元を学習して学習情報保存部１５０に保存する。

【数1】

ここで、Ｉｍａｇｅｎｏｒｍａｉｌｉｚｅは基準領域であり、Ｄはポイントとの距離であり、ｘ、ｙは、基準ポイントの座標値であり、Ｗは基準領域の広さの値であり、Ｈは基準領域の高さの値である。

【0035】

本発明の一実施形態によると、ユーザが単に顔画像から必要な部分に基準ポイント（ＳＰ）を打つだけで基準領域（ＳＡ）の自動設定が可能になることによって、今後、運転者の正常／異常の判断を分析するのためのデータとして利用するとき、基準領域が正規化されて収集できるという利点がある。

【0036】

一方、本発明の一実施形態に採用されたポイント選択部１１０は、図４に示されたように、瞳孔の中心に瞳孔基準ポイント（ＣＰ）が選択されたかどうかを判断し、瞳孔の中心に瞳孔の基準ポイントが選択されると、顔画像から瞳孔基準領域を選択するためのものと判断して、前記瞳孔基準ポイントからサイズが調節される基準ガイド円（ＧＣ）をユーザに提供する。ここで、基準ガイド円はユーザがマウスのホイールや方向ボタンなどで円のサイズを調節することが望ましい。

【0037】

以降、ユーザが選択を完了すると、ポイント選択部１１０は、前記基準ガイド円（ＧＣ）を通して瞳孔基準領域（ＳＡ）を選択して正規化する。ここで、ポイント選択部１１０は、選択された瞳孔基準領域を除いた残りの領域のピクセルを「０」値に処理することが望ましい。

【0038】

従って、本発明の一実施形態に採用されたポイント選択部は、顔画像から瞳孔を容易に正規化できるという利点がある。

【0039】

本発明の一実施形態に採用されたポイントの選択部１１０は、顔領域内で、目、鼻、口関連部位をより正確かつ迅速に検出するために、図５ａに示すように、顔画像から目の候補領域、鼻の候補領域及び口の候補領域を先に検出した後、目の領域を検出する。以降、図５ｃに示すように、目は虹彩検出候補領域を指定し、図５ｄに示すように閉じた目を顔の部分から検出する。

【0040】

そして、顔ベクトル情報獲得部１３０は、顔画像から設定された四角形の基準領域（ＳＡ）間のベクトル情報を利用して、顔の方向、顔の方向基準視線情報、目を閉じたかどうか及び視線状態を含む運転者の顔ベクトル情報を獲得する。

【0041】

例えば、顔ベクトル情報獲得部１３０は、正面を凝視する運転者の顔ベクトル情報が学習情報保存部１５０に保存される。このとき、保存される運転者の顔ベクトル情報は、顔の部分間の関係性基盤分布及び確率によって計算される。ここで関係性とは両眼、鼻、目のサイズ及び相対位置に対する関係である。

【0042】

また、顔ベクトル情報獲得部１３０は、図６ａないし６ｄに示すように、両方の目尻に選択された基準ポイントを基準に瞳孔の位置、目、鼻、口が成す相対位置とサイズに対する正規化情報に基づいた確率分布を計算して学習情報保存部１５０に保存する。

【0043】

例えば、顔ベクトル情報獲得部１３０は、図６ａに示すように、目の基準領域と鼻及び口の基準領域（ＳＡ）を通して顔が正面を凝視していないことにより、正面を凝視していると見られないが、瞳孔（ＣＰ）とが正面を凝視していることにより運転者が正面を凝視していると判断して保存し、図６ｂと図６ｃは、目、鼻及び口の基準ポイント（ＳＰ）と瞳孔（ＣＰ）がいずれも正面を凝視していないことにより、正面を凝視していない状態と判断して保存し、図６ｄは目、鼻及び口の基準ポイント（ＳＰ）と瞳孔と（ＣＰ）がいずれも正面を凝視していることにより、正面を凝視していることを基準に保存し学習する。

【0044】

そして、運転者が目を閉じた状態であるかどうかを判断する方法は、顔ベクトル情報獲得部１３０が図７ａないし図７ｃに示すように、顔画像から基準ポイント（ＳＰ）は示されてはいるが、瞳孔（ＣＰ）を検出できないことにより、いずれも目を閉じた状態と判断し、図７ｄは、基準ポイント（ＳＰ）と瞳孔（ＣＰ）とがいずれも検出されることにより、運転者が目を開けている状態と判断して保存する。

【0045】

さらに、顔ベクトル情報獲得部１３０は、図７ａに示すように、目の基準領域（ＳＡ）と鼻及び口の基準領域（ＳＡ）を通して顔が正面を凝視しているが瞳孔（ＣＰ）を検出できない状態（Ｌｖ.１）、目の基準領域（ＳＡ）と鼻及び口の基準領域（ＳＡ）を通して頭が少し落とされた状態であることを確認した状態で瞳孔（ＣＰ）を検出できない状態（Ｌｖ.２）、目の基準領域（ＳＡ）と鼻及び口の基準領域（ＳＡ）を通して頭が落とされた状態であることを確認した状態で瞳孔（ＣＰ）を検出できない状態（Ｌｖ.３）を基準に顔状態ベクトルを学習情報保存部１５０に保存して学習する。

【0046】

一方、顔ベクトル情報獲得部１３０は、顔のベクトル情報を構成する居眠り状態レベルと注意分散状態レベルとを分析して、顔の情報に基づいて顔の状態を［数学式２］を参照して認識することができる。

【数2】

ここで、Ｓｔａｔｕｓｄｅｆｉｎｉｔｉｏｎ（Ｓ）は、目を閉じた状態を判断する関数であり、Ｓｔａｔｕｓｅｙｅｃｌｏｓｅｄ（Ｗ）は、目を閉じた状態の正規化パラメータ加重値（Ｗ）であり、ｆｐｓ（ｔ）は、実行速度による目を閉じた状態の時間加重値パラメータである。

【0047】

一方、目を閉じた状態のレベル決定関数（Ｆｎ（Ｌｖ））は、下記の［数学式３］により得られる。

【数3】

ここで、Ｆｎ（Ｌｖ）は目を閉じた状態のレベルを決定する関数であり、

は顔部分情報の絶対位置、サイズ、相対位置及び距離情報を正規化したベクトル値である。

【0048】

一方、顔ベクトル情報獲得部１３０は、運転者の顔ベクトル情報を獲得する前に、初期の顔情報を補正したり、正規化する作業を先に行なうことができる。その例として、瞳孔（両面）の高さ／幅の差を正規化したり、鼻を中心に正規化したり、正常状態の目を瞬く周期を正規化したり、眼鏡の着用有無を判断して正規化することができる。

【0049】

また、顔ベクトル情報獲得部１３０は、目尻の幅の正規化比率（Ａ）、口元の幅の正規化比率（Ｂ）及び鼻、ＡとＢとの間の位置比率を正規化することもできる。

【0050】

一方、顔の状態情報決定部１４０は、車両外部干渉認識装置１６０から運転者の付加機能操作状態を含む走行中の運転者操作情報と周辺車両から提供される警告情報である走行中の外部干渉状況情報を獲得する。

【0051】

ここで、走行中の運転者操作情報は、スマートフォンの作動有無、ナビゲーションの作動有無、車両内部デバイスの使用有無を判断できる情報であり、走行中の外部干渉状況情報は、周辺車両から提供される情報、例えば、周囲車両の方向指示器情報、ハイビーム情報、側面車両の走行パターン情報、前の車両との距離情報、周辺車両の車線維持情報、ＢＳＤ（Ｂｌｉｎｄ Ｓｐｏｔ Ｄｅｔｅｃｔｉｏｎ）情報、信号まち及び進入情報及び車両速度情報である。

【0052】

次いで、顔の状態情報決定部１４０は、前記獲得した運転者の顔ベクトル情報を基準に運転者の接続状態情報を利用して、運転者の顔状態情報を決定する役割をする。

【0053】

つまり、顔状態情報決定部１４０は、運転者の顔状態情報が正常であっても、運転者が使用している走行中の運転者操作情報と車両外部干渉状況を認識する走行中の外部干渉状況情報が受信される場合に対して、「運転者の運行が正常か異常か」であることをラベリングして分類することにより、運転者のパターンを学習できるという利点がある。

【0054】

一方、車両外部干渉認識装置は、カメラが利用されることが望ましいが、これに限らず、周辺車両の警笛音を認識できるマイクなどがさらに利用されることができる。

【0055】

また、本発明の一実施形態によると、運転者の走行操作と他の車両で伝える警告メッセージを認識して走行の正常／異常を学習できる効果があり、走行指導が可能でリアルタイムでアップデートして運転者の正常／異常に区分して自律走行状況判断アルゴリズムで対処できるという利点がある。

【0056】

本発明の一実施形態による走行状況判断情報基盤の運転者状態認識装置は、映像獲得部２１０、走行状況認識部２２０、走行集中度決定部２３０及び走行指導決定部２４０を含んで成る。

【0057】

映像獲得部２１０は、カメラのような映像獲得装置から運転者の顔状態情報と運転者の走行情報獲得装置から運転者の走行行為情報を獲得する役割をする。

【0058】

そして、走行状況認識部２２０は、車両外部干渉認識装置から周辺車両の走行状況認識情報を獲得する役割をする。

【0059】

また、走行集中決度定部２３０は、前記運転者の顔状態情報、周辺車両の走行状況認識情報及び運転者の走行行為情報などの獲得情報と学習された顔ベクトル情報とを比較して運転者の走行集中度を決定する役割をする。

【0060】

そして、走行指導決定部２４０は、前記決定された運転者の走行集中度に対応するように運転者の走行指導を決定する役割をする。

【0061】

本発明の一実施形態によると、単に運転者が目を閉じているかどうか、それとも視線が分散されている状態であるかだけを判断して安全運転方法を提供するのではなく、周囲車両の情報操作状態を含む運転者接続状態情報を利用して、運転者が正面を見ていない状態で運転者が正常に運転している状態を検出することができ、運転者が正面を見ている状態で運転者が異常に運転している状態を検出することができるという効果を奏する。

【0062】

一方、本発明の一実施形態に採用された走行集中度決定部２３０は、前記運転者の顔状態情報を通して運転者が居眠り及び正面を凝視しているかどうかを判断した後、前記運転者が正面を凝視しているものと判断されると、危険度と操作レベルに応じた状況を判断する。

【0063】

以下、下記では、本発明の走行状況判断情報基盤の運転者状態認識方法において比較対象データを獲得して学習し保存する方法について、図８を参照して説明する。

【0064】

まず、運転者の状態認識装置は、カメラを介して取得した顔画像を正規化するために、顔画像から基準領域を設定するための二つの基準ポイントを選択する（Ｓ１１０）。ここで、目は目の領域左／右の目尻の端を基準に目尻領域検出に対する候補を指定し、鼻は顔の中心部分に候補領域を置き、口は顔の下段部から検出候補領域を指定して検出し、口元領域は目尻候補領域と同様に検出された口の両方の中央端を基準に口元を検出することが望ましい。

【0065】

次いで、運転者状態認識装置は、前記選択された基準ポイントの座標と二つの基準ポイント間の距離と比率を利用して、四角形の基準領域を設定するワープ及び正規化を行なう（Ｓ１２０）。

【0066】

下記では、本発明の一実施形態に採用されたデータ加工方法のうち瞳孔データを加工する方法について説明する。

【0067】

まず、運転者状態認識装置は、顔画像から瞳孔基準領域を選択するために、瞳孔の中心に瞳孔基準ポイントが選択されると、前記瞳孔基準ポイントからサイズが調節される基準ガイド円が提供される。

【0068】

以降、ユーザが選択を完了すると、運転者状態認識装置は、前記基準ガイド円を通して瞳孔基準領域を選択して正規化する。ここで、ポイント選択部１１０は、選択された瞳孔基準領域を除いた残りの領域のピクセルを「０」値に処理することが望ましい。

【0069】

以降、運転者状態認識装置は、設定された四角形の基準領域間のベクトル情報を利用して、顔の方向基準視線情報、目を閉じたかどうか及び視線状態を含む運転者の顔ベクトル情報を獲得する（Ｓ１３０）。

【0070】

次いで、運転者状態認識装置は、運転者の付加機能操作状態を含む走行中の運転者操作情報を獲得する（Ｓ１４０）。

【0071】

すると、運転者状態認識装置は、操作状態を含む運転者接続状態情報を獲得し、運転者接続状態情報を利用して、運転者の顔状態情報を決定する（Ｓ１５０）。

【0072】

一方、顔状態情報を決定するステップ（Ｓ１５０）は、車両外部干渉認識装置１６０から運転者の付加機能操作状態を含む走行中の運転者操作情報と周辺車両から提供される警告情報である走行中の外部干渉状況情報を獲得する。ここで、走行中の運転者操作情報は、スマートフォンの作動有無、ナビゲーションの作動有無、車両内部デバイスの使用有無などを判断できる情報であり、走行中の外部干渉状況情報は、周辺車両から提供される情報、例えば、周囲車両の方向指示器情報、ハイビーム情報、側面車両の走行パターン情報、前の車両との距離情報、周辺車両の車線維持情報、ＢＳＤ（Ｂｌｉｎｄ Ｓｐｏｔ Ｄｅｔｅｃｔｉｏｎ）情報、信号待ち及び進入情報及び車両速度情報である。

【0073】

以下、下記では、本発明の一実施形態に係る走行状況判断情報基盤の運転者状態認識方法について図９を参照して説明する。

【0074】

まず、本発明の一実施形態に係る走行状況判断情報基盤の運転者状態認識方法は、運転者状態認識装置によって行なうことが望ましい。

【0075】

まず、運転者状態認識装置は、映像獲得装置から運転者の顔状態情報と運転者の走行情報獲得装置から運転者の走行行為情報を獲得する（Ｓ２１０）。

【0076】

次いで、運転者状態認識装置は、車両外部の干渉認識装置から周辺車両の走行状況認識情報を獲得する（Ｓ２２０）。

【0077】

以降、運転者状態認識装置は、前記運転者の顔状態情報、周辺車両の走行状況認識情報及び運転者の走行行為情報などの獲得情報と学習された顔のベクトル情報を比較して運転者の走行集中度を決定する（Ｓ２３０）。

【0078】

次いで、運転者状態認識装置は、前記決定された運転者の走行集中度に対応するように運転者の走行指導を決定する（Ｓ２４０）。

【0079】

一方、前記運転者の走行集中度を決定するステップ（Ｓ２３０）は、前記運転者の顔状態情報を通して運転者が居眠り及び正面を凝視しているかどうかを判断する（Ｓ２３１）。

【0080】

前記判断ステップ（Ｓ２３１）において、前記運転者が正面を凝視したものと判断すれば（ＹＥＳ）、運転者状態認識装置は危険度と操作レベルに応じた状況を判断する（Ｓ２３２）。

【0081】

以上、本発明の構成について添付図面を参照して詳細に説明したが、これは例示に過ぎないものであって、本発明の属する技術分野における通常の知識を有する者であれば、本発明の技術的思想の範囲内で様々な変形や変更が可能であることは言うまでもない。よって、本発明の保護範囲は、前述した実施形態に限定されてはならず、以下の特許請求の範囲の記載によって決めなければならない。

【符号の説明】

【0082】

１１０：ポイント選択部 １２０：正規化部
１３０：顔ベクトル情報獲得部 １４０：顔状態情報決定部
１５０：学習情報保存部 ２１０：映像獲得部
２２０：走行状況認識部 ２３０：走行集中度決定部
２４０：走行指導決定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】