IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ペンタ・セキュリティ・システムズ・インコーポレーテッドの特許一覧

特許7212607車両CAN BUS信号を利用した機械学習基盤運転者異常感知方法および装置
<>
  • 特許-車両CAN  BUS信号を利用した機械学習基盤運転者異常感知方法および装置 図1
  • 特許-車両CAN  BUS信号を利用した機械学習基盤運転者異常感知方法および装置 図2
  • 特許-車両CAN  BUS信号を利用した機械学習基盤運転者異常感知方法および装置 図3
  • 特許-車両CAN  BUS信号を利用した機械学習基盤運転者異常感知方法および装置 図4
  • 特許-車両CAN  BUS信号を利用した機械学習基盤運転者異常感知方法および装置 図5
  • 特許-車両CAN  BUS信号を利用した機械学習基盤運転者異常感知方法および装置 図6
  • 特許-車両CAN  BUS信号を利用した機械学習基盤運転者異常感知方法および装置 図7
  • 特許-車両CAN  BUS信号を利用した機械学習基盤運転者異常感知方法および装置 図8
  • 特許-車両CAN  BUS信号を利用した機械学習基盤運転者異常感知方法および装置 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-01-17
(45)【発行日】2023-01-25
(54)【発明の名称】車両CAN BUS信号を利用した機械学習基盤運転者異常感知方法および装置
(51)【国際特許分類】
   G06N 3/04 20230101AFI20230118BHJP
   G06N 3/044 20230101ALI20230118BHJP
   B60R 16/023 20060101ALI20230118BHJP
   G06F 11/34 20060101ALI20230118BHJP
   G06N 20/00 20190101ALI20230118BHJP
   G06N 20/10 20190101ALI20230118BHJP
   G08B 21/00 20060101ALI20230118BHJP
   G08B 31/00 20060101ALI20230118BHJP
【FI】
G06N3/04
G06N3/04 145
B60R16/023 P
G06F11/34 138
G06N20/00 160
G06N20/10
G08B21/00 Z
G08B31/00 Z
【請求項の数】 12
(21)【出願番号】P 2019207860
(22)【出願日】2019-11-18
(65)【公開番号】P2021056983
(43)【公開日】2021-04-08
【審査請求日】2019-11-18
【審判番号】
【審判請求日】2021-12-24
(31)【優先権主張番号】10-2019-0118628
(32)【優先日】2019-09-26
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】505112037
【氏名又は名称】ペンタ・セキュリティ・システムズ・インコーポレーテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】李 錫雨
(72)【発明者】
【氏名】金 徳洙
(72)【発明者】
【氏名】金 義錫
(72)【発明者】
【氏名】沈 相奎
(72)【発明者】
【氏名】朴 乗瑩
【合議体】
【審判長】篠原 功一
【審判官】山崎 慎一
【審判官】児玉 崇晶
(56)【参考文献】
【文献】特開2019-49778(JP,A)
【文献】森本哲郎(外4名),「運転者の疲労度への自動車運転状態の影響を発見するための時系列データの分析」,DEIM Forum 2016論文集,[online],2016年3月31日,論文番号: H8-1,第1~5頁,[令和3年1月7日検索],インターネット,<URL: https://db-event.jpn.org/deim2016/proceedings.html> and <URL: https://db-event.jpn.org/deim2016/papers/92.pdf>
【文献】Vidyasagar Sadhu, et al., ”Deep Multi-Task Learning for Anomalous Driving Detection Using CAN Bus Scalar Sensor Data”, arXiv:1907.00749v1, [online], arXiv (Cornell University), 2019.06.28, version v1, Pages 1-8, [令和3年1月7日検索],インターネット,<URL: https://arxiv.org/abs/1907.00749v1> and <URL: https://arxiv.org/pdf/1907.00749v1.pdf>
(58)【調査した分野】(Int.Cl.,DB名)
G06N3/04
B60R16/023
G06F11/34
G06N20/00
G06N20/10
G08B21/00
G08B31/00
(57)【特許請求の範囲】
【請求項1】
車両の電子制御装置と通信するカンバスネットワークに基づいて運転者の異常を感知する方法において、
前記カンバスネットワークから車両の運行と関連したカンバス信号を獲得する段階;
前記カンバス信号から感知ベクターを抽出する抽出段階;および
前記感知ベクターに基づいて運転者の異常を感知する異常感知段階を含み、
前記カンバス信号は、車線を変える方法や曲線路での操向装置の作動方法や前方車両との距離による加速制御装置と制動装置の作動方法を含む運転者の運転習慣によるシークエンス(Sequence)内のそれぞれの信号を含み、
前記抽出段階は、オートエンコーダに入力される信号と前記オートエンコーダから出力される信号との間の平均自乗誤差値(MSE)を算出し、前記MSEをベクター化して感知ベクターを抽出する段階を含み、
前記異常感知段階は、一定時間の間変則点数を抽出して運転者の異常を感知する段階を含み、前記変則点数は、前記感知ベクターと単一クラスサポートベクターマシン(OC-SVM)の判定境界面までの距離として定義されており、前記判定境界面は、N次元特徴空間における超平面(Hyperplane)であり、前記OC-SVMにおけるサポートベクターで構成されており、
前記感知ベクターは前記超平面によりクラス分類される、運転者異常感知方法。
【請求項2】
前記オートエンコーダは、前記入力される信号が入力される複数のエンコーダ(Encoder)と前記出力される信号を出力する複数のデコーダ(Decoder)とを含む、請求項1に記載の運転者異常感知方法。
【請求項3】
前記平均自乗誤差値(MSE)は、
前記オートエンコーダを構成する媒介変数を調整して最小化される、請求項2に記載の運転者異常感知方法。
【請求項4】
運転者の運転が正常であることを表す感知ベクターのすべてが、前記N次元特徴空間において、前記単一クラスサポートベクターマシンの判定境界面により分けられる領域のうちの1つに存在するように、前記OC-SVMのパラメータは設定されている、請求項に記載の運転者異常感知方法。
【請求項5】
一定時間の間変則点数を抽出して運転者の異常を感知する段階は、
前記一定時間の間前記変則点数が運転者の異常と関連した第1臨界値を超過する回数に基づいて運転者の異常を感知する段階を含む、請求項に記載の運転者異常感知方法。
【請求項6】
一定時間の間変則点数を抽出して運転者の異常を感知する段階は、
前記一定時間の間運転者の異常と関連した第2臨界値を超過する変則点数の時間による変化量を測定して運転者の異常を感知する段階を含む、請求項に記載の運転者異常感知方法。
【請求項7】
車両の電子制御装置と通信するカンバスネットワークに基づいて運転者の異常を感知する装置において、
プロセッサ;および
前記プロセッサを通じて実行される少なくとも一つの命令を保存するメモリを含み、
前記少なくとも一つの命令は、
前記カンバスネットワークから車両の運行と関連したカンバス信号を獲得するようにする命令;
前記カンバス信号から感知ベクターを抽出するようにする抽出命令;および
前記感知ベクターに基づいて運転者の異常を感知するようにする異常感知命令を含み、
前記カンバス信号は、車線を変える方法や曲線路での操向装置の作動方法や前方車両との距離による加速制御装置と制動装置の作動方法を含む運転者の運転習慣によるシークエンス(Sequence)内のそれぞれの信号を含み、
前記抽出命令は、オートエンコーダに入力される信号と前記オートエンコーダから出力される信号との間の平均自乗誤差値(MSE)を算出し、前記MSEをベクター化して感知ベクターを抽出することを含み、
前記異常感知命令は、一定時間の間変則点数を抽出して運転者の異常を感知するようにする命令を含み、前記変則点数は、前記感知ベクターと単一クラスサポートベクターマシン(OC-SVM)の判定境界面までの距離として定義されており、前記判定境界面は、N次元特徴空間における超平面(Hyperplane)であり、前記OC-SVMにおけるサポートベクターで構成されており、
前記感知ベクターは前記超平面によりクラス分類される、運転者異常感知装置。
【請求項8】
前記オートエンコーダは、前記入力される信号が入力される複数のエンコーダ(Encoder)と前記出力される信号を出力する複数のデコーダ(Decoder)とを含む、請求項に記載の運転者異常感知装置。
【請求項9】
前記平均自乗誤差値(MSE)は、
前記オートエンコーダを構成する媒介変数を調整して最小化される、請求項に記載の運転者異常感知装置。
【請求項10】
運転者の運転が正常であることを表す感知ベクターのすべてが、前記N次元特徴空間において、前記単一クラスサポートベクターマシンの判定境界面により分けられる領域のうちの1つに存在するように、前記OC-SVMのパラメータは設定されている、請求項に記載の運転者異常感知装置。
【請求項11】
一定時間の間変則点数を抽出して運転者の異常を感知するようにする命令は、
前記一定時間の間前記変則点数が運転者の異常と関連した第1臨界値を超過する回数に基づいて運転者の異常を感知するようにする命令を含む、請求項10に記載の運転者異常感知装置。
【請求項12】
一定時間の間変則点数を抽出して運転者の異常を感知するようにする命令は、
前記一定時間の間運転者の異常と関連した第2臨界値を超過する変則点数の時間による変化量を測定して運転者の異常を感知するようにする命令を含む、請求項10に記載の運転者異常感知装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は運転者の異常を感知する方法および装置に関し、さらに詳細には車両カン(Controller Area Network;CAN)バス(Bus)信号のそれぞれに対して、オートエンコーダ(Auto Encoder;AE)を利用して平均自乗誤差(Mean Square Error;MSE)を計算したことに基づいて運転者の異常を感知する方法および装置に関する。
【背景技術】
【0002】
マシンラーニング(machine learning)とは、人工知能(Artificial Intelligencel;AI)の一種であって、データに基づいてコンピュータが自ら学習した内容に基づいて回帰、分類、群集化などの予測作業を遂行することを指す。
【0003】
ディープラーニング(deep learning)は人の考え方をコンピュータに教える機械学習の一分野であり、多様な非線形変換技法の組み合わせを通じて高い水準の抽象化(abstractions、多量のデータや複雑な資料の中で核心的な耐用または機能を要約する作業)を試みる機械学習(machine learning)アルゴリズムの集合と定義され得る。
【0004】
ディープラーニング構造は人工神経網(Artificial Neural Networks;ANN)に基づいて設計された概念である。人工神経網は仮想のニューロンを数学的にモデリングした後、シミュレーションして人間の脳のような学習能力を有させようとするアルゴリズムであって、主にパターン認識に多く使われる。ディープラーニングで利用する人工神経網モデルは、線形フィッティング(linear fitting)と非線形変換(nonlinear transformation or activation)を繰り返して積み上げた構造を有する。ディープラーニングで使う神経網モデルは深層神経網(Deep Neural Network;DNN)、コンボリューショナル神経網(Convolutional Neural Network;CNN)、循環神経網(Recurrent Neural Network;RNN)、制限ボルツマンマシン(Restricted Boltzmann Machine;RBM)、深層信頼神経網(Deep Belief Network;DBN)および深層キュー-ネットワーク(Deep Q-Networks)等が挙げられる。
【0005】
また、運転者状態感知技術とは、運転者の疲労、居眠り、コンディション不良、飲酒などの状態をあらかじめ感知して注意を与えたり、危険な状況を回避できるように助ける技術である。
【0006】
また、運転者区分感知技術とは、運転者の普段の車両の運行特性を把握して、他の運転者が運転をすると保険会社などに車両盗難申告を自動で通報して車両の盗難の危険を防止するための技術を指す。
【0007】
例えば、先行技術には車両にドライバーモニターを設置して、運転者の目の開き状態と顔の方向を感知し、運転者が居眠りをしたり脇見をしていると判断されると警告音とともに計器盤に注意表示が現れるようにしたり、ブレーキシステムを作動させる技術がある。また、車両に搭載された操向角センサなどを利用してステアリングの操作やアクセルブレーキなどの操作から運転者の疲労状態を感知する技術がある。また、運転席の背もたれに体表脈波を検出する装置を設置して運転者の血管音の振動を感知する技術がある。
【0008】
しかし、運転者の瞬き、瞳の動き、心臓拍動、血圧、体温など、生体信号の認識を利用して居眠り運転、飲酒運転などの運転者の運転不能状態または普段車両を運行する運転者ではない他の運転者が車両を運行する状態を感知する技術は、生体信号認識率に限界があるため完全に運転者を感知するには限界がある。
【0009】
また、普段車両を運行する運転者ではない他の運転者が車両を運行する状態を感知する技術は、普段車両を運行する運転者が車両を運行時の燃費や平均速度などに関する統計値を求め、これに基づいて車の持ち主ではない他の運転者が車両を運行するかどうかを感知することができる。しかし、先行技術は車両の盗難事件が発生しても車両の燃費や平均速度などに関する統計値をすぐに求めることができず、車両運行が相当に進行されないと統計値を求めることができないという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【0010】
前記のような問題点を解決するための本発明の目的は、車線を変えたり曲線路での操向装置の作動方法、前方車両との距離による加速制御装置と制動装置の作動方法のような、運転者が有している運転習慣に基づいて車両のカン(CAN)バス信号を分析して運転者の状態および普段の車両運転者ではない他の運転者が車両を運行する状態を感知する方法を提供するところにある。
【課題を解決するための手段】
【0011】
前記目的を達成するための本発明の一実施例に係る運転者異常感知方法は、車両の電子制御装置(Electronic Control Unit;ECU)と通信するカンバスネットワークに基づいて運転者の異常を感知する方法において、前記カンバスネットワークから車両の運行と関連したカンバス信号を獲得する段階;オートエンコーダを利用して前記カンバス信号から感知ベクターを抽出する段階;および前記感知ベクターに基づいて運転者の異常を感知する段階を含むことができる。
【0012】
また、前記感知ベクターは、前記オートエンコーダを利用してカンバス信号のそれぞれに対して算出された平均自乗誤差値(MSE)を活用して抽出され得る。
【0013】
ここで、前記平均自乗誤差値(MSE)は、前記オートエンコーダを構成する媒介変数を調整して最小化され得る。
【0014】
また、前記感知ベクターに基づいて運転者の異常を感知する段階は、教師なし学習(Unsupervised Learning)に基づいた異常探知モデルを通じて運転者の異常を感知する段階を含むことができる。
【0015】
ここで、教師なし学習に基づいた異常探知モデルを通じて運転者の異常を感知する段階は、一定時間の間変則点数(Anomaly Score)を抽出して運転者の異常を感知する段階を含むことができる。
【0016】
ここで、一定時間の間変則点数を抽出して運転者の異常を感知する段階は、前記一定時間の間前記変則点数が運転者の異常と関連した第1臨界値を超過する回数に基づいて運転者の異常を感知する段階を含むことができる。
【0017】
また、一定時間の間変則点数を抽出して運転者の異常を感知する段階は、前記一定時間の間運転者の異常と関連した第2臨界値を超過する変則点数の時間による変化量を測定して運転者の異常を感知する段階を含むことができる。
【0018】
前記目的を達成するための本発明の一実施例に係る運転者異常感知装置は、車両の電子制御装置と通信するカンバスネットワークに基づいて運転者の異常を感知する装置において、プロセッサ;および前記プロセッサを通じて実行される少なくとも一つの命令を保存するメモリを含み、前記少なくとも一つの命令は、前記カンバスネットワークから車両の運行と関連したカンバス信号を獲得するようにする命令;オートエンコーダを利用して前記カンバス信号から感知ベクターを抽出するようにする命令;および前記感知ベクターに基づいて運転者の異常を感知するようにする命令を含むことができる。
【0019】
また、前記感知ベクターは、前記オートエンコーダを利用してカンバス信号のそれぞれに対して算出された平均自乗誤差値(MSE)を活用して抽出され得る。
【0020】
ここで、前記平均自乗誤差値(MSE)は、前記オートエンコーダを構成する媒介変数を調整して最小化され得る。
【0021】
また、前記感知ベクターに基づいて運転者の異常を感知するようにする命令は、教師なし学習に基づいた異常探知モデルを通じて運転者の異常を感知するようにする命令を含むことができる。
【0022】
ここで、教師なし学習に基づいた異常探知モデルを通じて運転者の異常を感知するようにする命令は、一定時間の間変則点数を抽出して運転者の異常を感知するようにする命令を含むことができる。
【0023】
ここで、一定時間の間変則点数を抽出して運転者の異常を感知するようにする命令は、前記一定時間の間前記変則点数が運転者の異常と関連した第1臨界値を超過する回数に基づいて運転者の異常を感知するようにする命令を含むことができる。
【0024】
また、一定時間の間変則点数を抽出して運転者の異常を感知するようにする命令は、前記一定時間の間運転者の異常と関連した第2臨界値を超過する変則点数の時間による変化量を測定して運転者の異常を感知するようにする命令を含むことができる。
【発明の効果】
【0025】
本発明の一実施例によると、カン(CAN)バス信号に基づいて運転者の習慣を分析して別途の生体信号認識のための追加的な装備なしに運転者の異常を感知する方法を提供できるという長所を有する。
【図面の簡単な説明】
【0026】
図1】本発明の一実施例に係る運転者異常感知装置を説明するためのブロック図。
図2】カンバス信号抽出部1100を説明するためのブロック図。
図3】長短期メモリ(Long Short Term Memory;LSTM)に基づいたオートエンコーダ(Auto Encoder)部1200を説明するためのブロック図。
図4】オートエンコーダ部1200で発生するカンバス信号の流れを説明するための図面。
図5】オートエンコーダ部1200で発生するカンバス信号の流れを説明するための図面。
図6】運転者の異常を感知するために使われる単一クラスサポートベクターマシン(One Class-Support Vector Machine)を説明するための図面。
図7】運転者の異常を感知するために使われる単一クラスサポートベクターマシン(One Class-Support Vector Machine)を説明するための図面。
図8】本発明の一実施例に係る運転者異常感知方法の動作フローチャート。
図9】本発明の一実施例に係る運転者異常感知装置のブロック構成図。
【発明を実施するための形態】
【0027】
本発明は多様な変更を加えることができ、多様な実施例を有することができるところ、特定の実施例を図面に例示して詳細な説明に詳細に説明する。しかし、これは本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想および技術範囲に含まれるすべての変更、均等物乃至代替物を含むものと理解されるべきである。各図面の説明において、類似する参照符号を類似する構成要素に付した。
【0028】
第1、第2、A、Bなどの用語は多様な構成要素の説明に使われ得るが、前記構成要素は前記用語によって限定されてはならない。前記用語は一つの構成要素を他の構成要素から区別する目的でのみ使われる。例えば、本発明の権利範囲を逸脱することなく第1構成要素は第2構成要素と命名され得、同様に第2構成要素も第1構成要素と命名され得る。および/またはという用語は複数の関連した記載された項目の組み合わせまたは複数の関連した記載された項目のうちいずれかの項目を含む。
【0029】
ある構成要素が他の構成要素に「連結されて」いるとか「接続されて」いると言及された時には、その他の構成要素に直接的に連結されていたりまたは接続されていてもよいが、中間に他の構成要素が存在してもよいと理解されるべきである。反面、ある構成要素が他の構成要素に「直接連結されて」いるとか「直接接続されて」いると言及された時には、中間に他の構成要素が存在しないものと理解されるべきである。
【0030】
本出願で使った用語は単に特定の実施例を説明するために使われたものであって、本発明を限定しようとする意図ではない。単数の表現は文脈上明白に異なることを意味しない限り、複数の表現を含む。本出願で、「含む」または「有する」等の用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定しようとするものであって、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものなどの存在または付加の可能性をあらかじめ排除しないものと理解されるべきである。
【0031】
異なって定義されない限り、技術的または科学的な用語を含んでここで使われるすべての用語は、本発明が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有している。一般的に使われる辞書に定義されているような用語は関連技術の文脈上有する意味と一致する意味を有すると解釈されるべきであり、本出願で明白に定義しない限り、理想的または過度に形式的な意味と解釈されない。
【0032】
以下、本発明に係る好ましい実施例を添付された図面を参照して詳細に説明する。
【0033】
図1は、本発明の一実施例に係る運転者異常感知装置を説明するためのブロック図である。
【0034】
図1を詳察すると、本発明の一実施例に係る運転者異常感知装置1000は、カンバス信号抽出部1100およびオートエンコーダ(Auto Encoder)部1200を含むことができる。
【0035】
カンバス信号抽出部1100はカンバスネットワークからカンバス信号を獲得することができる。ここで、カンバス信号は車両内部の電子制御装置と通信のためのカンバスネットワークを通じて信号をやり取りすることができる。
【0036】
また、オートエンコーダ部1200は長短期メモリ(Long Short Term Memory;LSTM)、循環神経網(Recurrent Neural Network;RNN)およびゲート循環ユニット(Gated Recurrent Unit;GRU)のようなディープラーニング(Deep Learning)モデルを含んで構成され得、カンバス信号抽出部1100から獲得したカンバス信号の平均自乗誤差値(MSE)を抽出することができる。
【0037】
図2は、カン(CAN)バス(Bus)信号抽出部1100を説明するためのブロック図である。
【0038】
カン(Controller Area Network;CAN)は自動車の各種計測制御装備の間にデジタル直列通信を提供するための車両用ネットワークシステムを意味し得る。また、車両内電子部品の複雑な電気配線とリレーを直列通信線に代替して知能化することによって、重量感と複雑性を減らし、車両でのリアルタイム要求を満足させることができる。また、電子的干渉によって発生する車両の異常n有無を診断し、運転中の突発状況時に有機的に車両と通信することができる。
【0039】
図2を詳察すると、カン(CAN)バス信号抽出部1100は少なくとも2個のノード、カン-ロー(CAN-Low)配線、カン-ハイ(CAN-High)配線および少なくとも2個のターミナル抵抗で構成され得る。
【0040】
ここで、ノードはバスシステムを構成する多数のステーションを意味し得る。例えば、自動車のエンジン、自動変速機、ABSなどをコンピュータで制御する電子制御装置(ECU)を意味し得る。
【0041】
また、バス配線はノードのトランシーバー(Transceiver)によりカン-ハイ(CAN-High)配線に優性水準が形成されると、カン-ハイ配線の電圧は上昇し得、同時にカン-ロー(CAN-Low)配線の電圧は下降し得る。
【0042】
また、ターミナル抵抗はカン-ハイ配線とカン-ロー配線間の回路を連結することができ、カンバス配線で反射(Reflection)が発生することを防止することができる。
【0043】
また、カン(CAN)はバス配線を通じて情報の送信および受信中でなければ、マルチ-マスター(Multi-Master)原理に従って各ノードはバス配線にメッセージを伝送することができる。また、多数の電子制御装置(ECU)が同時にメッセージを伝送しようとする場合には、仲裁(Arbitration)を通じて最も重要なメッセージを最も先に伝送することができる。
【0044】
図3は、長短期メモリ(Long Short Term Memory;LSTM)に基づいたオートエンコーダ(Auto Encoder)部1200を説明するためのブロック図である。
【0045】
図3を詳察すると、オートエンコーダ部1200はエンコーダ(Encoder)1210とデコーダ(Decoder)1220で構成され得る。図3には複数のエンコーダおよび複数のデコーダが図示されているが、これは複数のエンコーダおよびデコーダの繰り返される演算を説明するためのものであって、すべてが同一のエンコーダおよびデコーダであり得る。
【0046】
オートエンコーダは出力データを入力データと類似するように作って自分を再現できるように学習する装置を意味し得る。すなわち、オートエンコーダは後端のデコーダを付けることによって入力と出力が同じであるかを比較することができる。したがって、自らが正解データとなるところ、正解データを別途準備する必要がないので教師なし学習に分類され得る。
【0047】
ここで、xは特定の時点tでオートエンコーダのエンコーダに入力されたカン(CAN)バス信号ベクターを意味し得、
【0048】
【数1】
はオートエンコーダによりデコーダから出力される復旧されたカン(CAN)バス信号ベクターを意味し得る。
【0049】
また、zはオートエンコーダのエンコーダに入力されるxによって出力されるカン(CAN)バス信号ベクターを意味し得、h は特定の時点tでl番目のLSTM階層の隠し(Hidden State)ベクターを意味し得る。また、Sはシークエンス(Sequence)の長さを意味し得、Nはオートエンコーダのエンコーダとデコーダを構成するLSTM階層の数を意味し得る。
【0050】
また、エンコーダ1210は電子回路で信号を他の信号に変える変換器を意味し得、本発明ではオートエンコーダに入力される入力データを圧縮する機能を遂行することができる。また、デコーダ1220は符号化された信号を他の信号に変える変換器を意味し得、本発明ではオートエンコーダから出力される出力データを生成する機能を遂行することができる。
【0051】
また、現在の時間(t=n)に対するデータを復旧するために、直後時間(t=n+1)に対する入力データをデコーダに入力するオートエンコーダを条件付き(Conditional)オートエンコーダと命名することができる。すなわち、条件付きオートエンコーダでは、時系列入力データを逆にして逆時系列(Time Inverse)入力データをデコーダに入力することができる。例えば、図3を参照すると、現在の時間がt=0である場合、現在の時間に対するデータを復旧するために直後時間(t=1)に対する入力データ1221をデコーダに入力することができる。同様に、現在の時間がt=S-2である場合、現在の時間に対するデータを復旧するために直後時間(t=S-1)に対する入力データ1222をデコーダに入力することができる。
【0052】
また、現在の時間(t=n)に対するデータを復旧するために、直後時間(t=n+1)に対する入力データの代わりに直前時間にデコーダで発生した出力データを入力データにして、デコーダに入力するオートエンコーダを無条件(Unconditional)オートエンコーダと命名することができる。例えば、図3を参照すると、現在の時間がt=0である場合、現在の時間に対するデータを復旧するために、直後時間に対する入力データ1221の代わりに
【0053】
【数2】
を入力データにしてデコーダに入力することができる。同様に、現在の時間がt=S-2である場合、現在の時間に対するデータを復旧するために、直後時間に対する入力データ1222の代わりに
【0054】
【数3】
を入力データにしてデコーダに入力することができる。
【0055】
図3では長短期メモリを基盤とするオートエンコーダについて説明したが、循環神経網(Recurrent Neural Network;RNN)、ゲート循環ユニット(Gated Recurrent Unit)のようなディープラーニングモデルに基づいたオートエンコーダを利用してオートエンコーダ部1200を構成することができる。
【0056】
図4および図5は、オートエンコーダ部1200で発生するカン(CAN)バス信号の流れを説明するための図面である。
【0057】
図4および図5を詳察すると、エンコーダおよびデコーダはLSTM階層および完全連結階層(Fully Connected Layer)で構成され得る。ここで、完全連結階層は以前の階層のすべてのニューロンと結合された形態の階層を意味し得る。また、オートエンコーダは入力xと以前の隠しベクターh t-1を利用して新しい隠しベクターh を出力することができ、シークエンスの長さを考慮して設計されたエンコーダの数に基づいて入力xを時系列的に入力して時間による隠しベクターhを出力することができる。
【0058】
また、デコーダは自分から出力されるカン(CAN)バス信号ベクターを入力値にすることができ、直後時間に対するカンバス信号ベクターを入力値1221、1222にすることができる。以前の時間に対するカン(CAN)バス信号ベクター1221、1222を入力値にすることができる。この時、直後時間に対するカンバス信号ベクターを入力データにするデコーダを含むオートエンコーダを条件付きオートエンコーダと命名することができ、デコーダで出力される復旧信号ベクターを入力データにするデコーダを含むオートエンコーダを無条件オートエンコーダと命名することができる。
【0059】
数式(1)はカン(CAN)バス信号に対して平均自乗誤差を抽出する数式である。
【0060】
【数4】
【0061】
ここで、Sはシークエンスの長さを意味し得、xは特定の時点tでオートエンコーダのエンコーダに入力されたカン(CAN)バス信号ベクターを意味し得、
【0062】
【数5】
はオートエンコーダのデコーダで出力されるカン(CAN)バス信号ベクターを意味し得る。すなわち、オートエンコーダを構成する媒介変数をRMSProp、ADAMなどのような最適化アルゴリズムを利用して平均自乗誤差値(MSE)を最小化して抽出することができる。
【0063】
図4および図5では長短期メモリを基盤とするオートエンコーダを基準としてカンバス信号から平均自乗誤差(MSE)を抽出する方法について説明したが、循環神経網(Recurrent Neural Network;RNN)、ゲート循環ユニット(Gated Recurrent Unit)のようなディープラーニングモデルに基づいたオートエンコーダを利用してカンバス信号から平均自乗誤差を抽出することができる。
【0064】
図6は、運転者の異常を感知するために使われる単一クラスサポートベクターマシン(One Class-Support Vector Machine)学習を説明するための図面である。
【0065】
一般的にサポートベクターマシン(Support Vector Machine;SVM)は二種類のクラスで構成されたデータを分離する超平面(Hyperplane)を有する機械学習(Machine Learning)アルゴリズムを意味し得る。ここで、超平面はクラスのデータを分離するN次元の空間上の平面すなわち、2次元ではクラスを分ける直線、3次元ではクラスを分ける平面を意味し得る。したがって、単一クラスサポートベクターマシン(OC-SVM)学習は一つのクラスのみを分類するための機械学習アルゴリズムを意味し得る。
【0066】
図6を詳察すると、本発明の一実施例に係る運転者異常感知装置は、単一クラスサポートベクターマシン(OC-SVM)学習のために必要な訓練データでカン(CAN)バス信号のそれぞれに対する平均自乗誤差値(MSE)を算出し、平均自乗誤差値(MSE)をベクター化して本来の空間(Original Space)で感知ベクターを収集することができる。引き続き、収集された平均自乗誤差値(MSE)の感知ベクターに基づいて単一クラスサポートベクターマシン(0C-SVM)学習を遂行することができる。
【0067】
数式(2)(は、特定の時間区間でそれぞれのカンバス信号に対する平均自乗誤差値(MSE)を算出してベクター化した感知ベクター(Yt)を抽出する数式である。
【0068】
【数6】
【0069】
ここで、Sは特定の時間区間の間のシークエンスの長さを意味し得、xは特定の時点tでオートエンコーダのエンコーダに入力されたカン(CAN)バス信号ベクターを意味し得、
【0070】
【数7】
はオートエンコーダのデコーダによって復旧されたxに対応する復旧信号ベクターを意味し得る。
【0071】
また、平均自乗誤差値(MSE)の感知ベクターは、一般ベクター10、運転者を感知するベクターを分類するためのサポートベクター(Support Vector)20および変則ベクター30であり得る。ここで、変則ベクターは運転者の状態が異常(運転状態不能または車両盗難状態)であることを示し得る。また、サポートベクターをすべて連結して運転者を感知するベクターを分類する超平面を形成することができる。
【0072】
また、本発明はサポートベクターマシン(SVM)学習結果として、サポートベクターをすべて連結した超平面と運転者の状態を正常と異常(運転不能状態または車両盗難状態)で判定する判定境界面40を形成することができる。ここで、判定境界面は感知ベクターのうち、単一クラスサポートベクターマシン(OC-SVM)により選別されたサポートベクターで構成され得る。また、すべての感知ベクターが判定境界面の内側に存在できず、運転者の運転状態が正常であることを表す感知ベクターであるにもかかわらず判定境界面の外部に位置し得る。ただし、単一クラスサポートベクターマシンのパラメーター設定によって、運転者の運転状態が正常であることを表す感知ベクターをすべて判定境界面の内側に位置するようにすることができる。
【0073】
図6では単一クラスサポートベクターマシン(OC-SVM)学習モデルに基づいて運転者の異常を感知する方法について説明したが、ランダムフォレスト(Random-Forest)学習モデルのような教師なし学習に基づいた異常探知モデルを通じて運転者の異常を感知してもよい。
【0074】
図7は、運転者の異常を感知するために使われる単一クラスサポートベクターマシン(One Class-Support Vector Machine)学習を説明するための図面である。
【0075】
図7を詳察すると、本発明の一実施例に係る運転者異常感知装置は訓練データでカン(CAN)バス信号のそれぞれに対する平均自乗誤差値(MSE)を算出し、平均自乗誤差値(MSE)をベクター化して特徴空間(Feature Space)で感知ベクターを収集することができる。引き続き、収集された平均自乗誤差値(MSE)のベクターに基づいて単一クラスサポートベクターマシン(0C-SVM)学習を遂行することができる。
【0076】
ここで、変則ベクター30は運転者の異常状態(例えば、運転者の運転不能状態または車両盗難状態)を判定しようとする感知ベクターを意味し得、変則ベクター30と判定境界面40までの距離を変則点数と命名することができる。したがって、運転者異常感知装置の使用者は基準点数を設定することによって変則点数により運転者を感知することができる。
【0077】
また、一定時間の間変則点数を抽出して、変則点数が運転者の異常状態(例えば、運転者の運転不能状態または車両盗難状態)と関連した臨界値(第1臨界値)を越える回数を測定したことに基づいて、運転者の異常状態(例えば、運転者の運転不能状態または車両盗難状態)を感知することができる。ここで、変則点数が第1臨界値を越える回数を測定して使用者が設定した基準回数を超過する場合、運転者の異常状態(例えば、運転者の運転不能状態または車両盗難状態)を感知することができる。
【0078】
例えば、車両が特定速度以上または以下の状況、高速道路を運行または市内を運行する状況で一定時間の間変則点数を抽出して、変則点数が第1臨界値を越える回数を測定して運転者の異常状態(例えば、運転者の運転不能状態または車両盗難状態)を感知することができる。すなわち、それぞれの状況によって運転者の異常状態(例えば、運転者の運転不能状態または車両盗難状態)と関連した第1臨界値を異ならせて設定し、それぞれの臨界値に対して変則点数が第1臨界値を越える回数を測定して運転不能状態または車両盗難状態を感知することができる。
【0079】
また、変則点数が第1臨界値を越える回数を測定して運転者の運転不能状態または車両盗難状態を感知する方法の他にも、運転者の異常状態(例えば、運転者の運転不能状態または車両盗難状態)を感知する性能をさらに向上させるために、追加的な検出方式が考慮され得る。
【0080】
例えば、普段の車両運転者の運行特性に対する変則点数を時系列的に観測すれば、時間による変則点数変化量(fluctuation)が大きくないこともあるが、普段の車両運転者ではない他の運転者が車両を運転したり運転者が運転不能状態である場合に変則点数を時系列で観測すれば、変則点数が第1臨界値を越えない場合にも時間による変則点数変化量が大きいことがある。
【0081】
したがって、車両運行状態に対する変則点数の時間による変化量を観測して、普段の車両運転者の運行特性に対する変則点数を時系列的に観測したものと関連した臨界値(第2臨界値)を越えると、運転不能状態または車両盗難状態であると判定することができる。
【0082】
また、変則点数の時間による変化量を測定する方式として多様な方式を適用することができる。例えば、株式市場や石油取引市場で価格変動の観測に使われるログ価格差(Log Price Difference)を考慮して変則点数の時間による変化量を測定することができる。
【0083】
数式(3)は、ログ価格差(Log Price Difference)を考慮して変則点数の時間による変化量(r)を抽出する数式である。
【0084】
【数8】
【0085】
ここで、aは感知ベクター(Y)を単一クラスサポートベクターマシン(OC-SVM)およびランダムフォレスト(Random Forest)学習モデルのような教師なし学習モデルを通じて抽出した変則点数を意味し得、Cは運転者の異常状態(例えば、運転者の運転不能状態または車両盗難状態)を感知する性能を安定化するための定数値を意味し得、Lは変則点数を測定する周期を意味し得る。
【0086】
図7では単一クラスサポートベクターマシン(OC-SVM)学習モデルに基づいて運転者の異常を感知する方法について説明したが、ランダムフォレスト(Random-Forest)学習モデルのような教師なし学習に基づいた異常探知モデルを通じて運転者の異常を感知してもよい。
【0087】
図8は、本発明の一実施例に係る運転者異常感知方法の動作フローチャートである。
【0088】
本発明の一実施例に係る運転者異常感知方法は、車両の電子制御装置と通信するカンバスネットワークに基づいて運転者の異常を感知する方法において、前記カンバスネットワークから車両の運行と関連したカンバス信号を獲得する段階(S810)を含むことができる。
【0089】
また、本発明の一実施例に係る運転者異常感知方法は、オートエンコーダを利用して前記カンバス信号から感知ベクターを抽出する段階(S820)を含むことができる。
【0090】
ここで、前記オートエンコーダは、長短期メモリ(Long Short Term Memory;LSTM)、循環神経網(Recurrent Neural Network;RNN)およびゲート循環ユニット(Gated Recurrent Unit;GRU)のようなディープラーニング(Deep Learning)モデルを含むことができる。
【0091】
また、前記感知ベクターは、前記オートエンコーダを利用してカンバス信号のそれぞれに対して算出された平均自乗誤差値(MSE)を活用して抽出され得る。
【0092】
ここで、前記平均自乗誤差値(MSE)は、前記オートエンコーダを構成する媒介変数を調整して最小化され得る。
【0093】
また、本発明の一実施例に係る運転者異常感知方法は、前記感知ベクターに基づいて運転者の異常を感知する段階(S830)を含むことができる。
【0094】
また、前記感知ベクターに基づいて運転者の異常を感知する段階は、教師なし学習に基づいた異常探知モデルを通じて運転者の異常を感知する段階を含むことができる。
【0095】
ここで、教師なし学習に基づいた異常探知モデルを通じて運転者の異常を感知する段階は、一定時間の間変則点数を抽出して運転者の異常を感知する段階を含むことができる。
【0096】
ここで、一定時間の間変則点数(Anomaly Score)を抽出して運転者の異常を感知する段階は、前記一定時間の間前記変則点数が運転者の異常と関連した第1臨界値を超過する回数に基づいて運転者の異常を感知する段階を含むことができる。
【0097】
また、一定時間の間変則点数(Anomaly Score)を抽出して運転者の異常を感知する段階は、前記一定時間の間運転者の異常と関連した第2臨界値を超過する変則点数の時間による変化量を測定して運転者の異常を感知する段階を含むことができる。
【0098】
図9は、本発明の一実施例に係る運転者異常感知装置のブロック構成図である。
【0099】
本発明の一実施例に係る運転者異常感知装置1000は、少なくとも一つのプロセッサ1010、前記プロセッサを通じて実行される少なくとも一つの命令を保存するメモリ1020およびネットワークと連結されて通信を遂行する送受信装置1030を含むことができる。
【0100】
運転者異常感知装置1000はまた、入力インタフェース装置1040、出力インタフェース装置1050、保存装置1060等をさらに含むことができる。運転者異常感知装置1000に含まれたそれぞれの構成要素はバス(Bus)1070により連結されて通信を遂行することができる。
【0101】
プロセッサ1010はメモリ1020および保存装置1060のうち、少なくとも一つに保存されたプログラム命令(program command)を実行することができる。プロセッサ1010は中央処理装置(central processing unit、CPU)、グラフィック処理装置(graphics processing unit、GPU)、または本発明の実施例に係る方法が遂行される専用のプロセッサを意味し得る。メモリ1020および保存装置1060のそれぞれは揮発性保存媒体および不揮発性保存媒体のうち少なくとも一つで構成され得る。例えば、メモリ1020は読み取り専用メモリ(read only memory、ROM)およびランダムアクセスメモリ(random access memory、RAM)のうち少なくとも一つで構成され得る。
【0102】
保存装置1060はまた、オートエンコーダを利用して算出された平均自乗誤差値(MSE)を保存することができ、単一クラスサポートベクターマシン(One Class-Support Vector Machine)学習結果およびランダムフォレスト学習結果を保存することができる。
【0103】
ここで、少なくとも一つの命令は、前記カンバスネットワークから車両の運行と関連したカンバス信号を獲得するようにする命令;オートエンコーダ(Auto Encoder)を利用して前記カンバス信号から感知ベクターを抽出するようにする命令;および前記感知ベクターに基づいて運転者の異常を感知するようにする命令を含むことができる。
【0104】
ここで、前記オートエンコーダ(Auto Encoder)は、長短期メモリ(Long Short Term Memory;LSTM)、循環神経網(Recurrent Neural Network;RNN)およびゲート循環ユニット(Gated Recurrent Unit;GRU)のようなディープラーニング(Deep Learning)モデルを含むことができる。
【0105】
また、前記感知ベクターは、前記オートエンコーダを利用してカンバス信号のそれぞれに対して算出された平均自乗誤差値(Measure Square Error;MSE)を活用して抽出され得る。
【0106】
ここで、前記平均自乗誤差値(MSE)は、前記オートエンコーダを構成する媒介変数を調整して最小化され得る。
【0107】
また、前記感知ベクターに基づいて運転者の異常を感知するようにする命令は、教師なし学習に基づいた異常探知モデルを通じて運転者の異常を感知するようにする命令を含むことができる。
【0108】
ここで、教師なし学習に基づいた異常探知モデルを通じて運転者の異常を感知するようにする命令は、一定時間の間変則点数を抽出して運転者の異常を感知するようにする命令を含むことができる。
【0109】
ここで、一定時間の間変則点数を抽出して運転者の異常を感知するようにする命令は、前記一定時間の間前記変則点数が運転者の異常と関連した第1臨界値を超過する回数に基づいて運転者の異常を感知するようにする命令を含むことができる。
【0110】
また、一定時間の間変則点数を抽出して運転者の異常を感知するようにする命令は、前記一定時間の間運転者の異常と関連した第2臨界値を超過する変則点数の時間による変化量を測定して運転者の異常を感知するようにする命令を含むことができる。
【0111】
本発明の実施例に係る方法の動作は、コンピュータで読み取りできる記録媒体に、コンピュータ読み取り可能プログラムまたはコードで具現することが可能である。コンピュータ読み取り可能記録媒体はコンピュータシステムによって読み取りできるデータが保存されるすべての種類の記録装置を含む。また、コンピュータ読み取り可能記録媒体はネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取りできるプログラムまたはコードが保存され実行され得る。
【0112】
また、コンピュータ読み取り可能記録媒体は、ロム(rom)、ラム(ram)、フラッシュメモリ(flash memory)等のようにプログラム命令を保存し遂行するように特別に構成されたハードウェア装置を含むことができる。プログラム命令はコンパイラ(compiler)により作られるような機械語コードだけでなくインタープリタ(interpreter)等を使ってコンピュータによって実行され得る高級言語コードを含むことができる。
【0113】
本発明の一部の側面は装置の文脈で説明されたが、それは相応する方法による説明も表すことができ、ここでブロックまたは装置は方法段階または方法段階の特徴に相応する。同様に、方法の文脈で説明された側面も相応するブロックまたはアイテムまたは相応する装置の特徴で表すことができる。方法段階のいくつか又はすべては例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のようなハードウェア装置によって(または利用して)遂行され得る。いくつかの実施例で、最も重要な方法段階の一つ以上はこのような装置によって遂行され得る。
【0114】
以上、本発明の好ましい実施例を参照して説明したが、該当技術分野の熟練した当業者は下記の特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で本発明を多様に修正および変更できることが理解できるはずである。
【符号の説明】
【0115】
1000 運転者異常感知装置
1010 プロセッサ
1020 メモリ
1030 送受信装置
1040 入力インタフェース装置
1050 出力インタフェース装置
1060 保存装置
1100 カンバス信号
1200 オートエンコーダ部
図1
図2
図3
図4
図5
図6
図7
図8
図9