特表 2024-532612 運転者の匿名性を保障する共有車両の走行情報管理システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-05

(54)【発明の名称】運転者の匿名性を保障する共有車両の走行情報管理システムおよび方法

(51)【国際特許分類】

   G08G 1/00 20060101AFI20240829BHJP

【ＦＩ】

G08G1/00 D

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024537287

(86)(22)【出願日】2022-06-20

(85)【翻訳文提出日】2024-02-28

(86)【国際出願番号】 KR2022008673

(87)【国際公開番号】W WO2023033325

(87)【国際公開日】2023-03-09

(31)【優先権主張番号】10-2021-0115336

(32)【優先日】2021-08-31

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】524076017

【氏名又は名称】エーアイマティックス カンパニー，リミテッド

(74)【代理人】

【識別番号】100134832

【弁理士】

【氏名又は名称】瀧野 文雄

(74)【代理人】

【識別番号】100165308

【弁理士】

【氏名又は名称】津田 俊明

(74)【代理人】

【識別番号】100115048

【弁理士】

【氏名又は名称】福田 康弘

(72)【発明者】

【氏名】キム ジン ヒョク

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB20

5H181CC04

5H181FF04

5H181FF10

5H181FF27

5H181FF32

5H181MA41

5H181MA48

5H181MB01

5H181MC05

5H181MC12

5H181MC19

(57)【要約】

本発明の運転者の匿名性を保障する共有車両の走行情報管理システムは、車両に設けられ、車両の前方を撮影するメインカメラと、前記車両に設けられ、車両の位置、移動方向、速度の少なくとも１つを検知するセンサと、前記車両の内部で運転者を撮影する補助カメラと、メモリ手段と、前記車両に設けられるオンボード装置に搭載されるプロセッサとを含み、前記プロセッサは、前記メインカメラで撮影された映像と、前記センサで検知されたセンシングデータとに基づいて、車両の走行記録を生成する走行記録生成部と、前記補助カメラで撮影された運転者映像を元の運転者映像に復元できないように不可逆的に符号化して運転者の顔特徴ベクトルを抽出する顔特徴ベクトル抽出部と、前記走行記録と前記運転者の顔特徴ベクトルとをマッチングして、前記メモリ手段に格納する匿名運転者走行情報格納部とを含む。

【特許請求の範囲】

【請求項1】

車両に設けられ、車両の前方を撮影するメインカメラと、
前記車両に設けられ、車両の位置、移動方向、速度の少なくとも１つを検知するセンサと、
前記車両の内部で運転者を撮影する補助カメラと、
メモリ手段と、
前記車両に設けられるオンボード装置に搭載されるプロセッサと、
を含み、
前記プロセッサは、
前記メインカメラで撮影された映像と、前記センサで検知されたセンシングデータとに基づいて、車両の走行記録を生成する走行記録生成部と、
前記補助カメラで撮影された運転者映像に対してイメージ変換（Ｒｅｓｉｚｅ）およびイメージ切り取り（Ｃｒｏｐ）の少なくともいずれか１つを行って正規化（Ｎｏｒｍａｌｉｚａｔｉｏｎ）するイメージ前処理を行い、複数の畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）を含み、領域提案ネットワーク（ＲＰＮ：Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）を介して少なくとも１つの関心領域（ＲｏＩｓ：Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）を演算する第１深層ニューラルネットワーク学習部（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）によって前処理された映像から顔特徴点を認識し、顔特徴点に関する情報を元の運転者映像に復元できないように不可逆的に符号化して運転者の顔特徴ベクトルを抽出する顔特徴ベクトル抽出部と、
前記走行記録と前記運転者の顔特徴ベクトルとをマッチングして、前記メモリ手段に格納する匿名運転者走行情報格納部と、を含む、
運転者の匿名性を保障する共有車両の走行情報管理システム。

【請求項2】

前記センサは、ＧＰＳモジュール、加速度センサ、角速度センサ、慣性センサ、および地磁気センサの少なくとも１つである、請求項１に記載の運転者の匿名性を保障する共有車両の走行情報管理システム。

【請求項3】

前記走行記録生成部は、前記車両の内部のネックワークを介して、車速信号、ブレーキ信号、方向指示灯信号、および累積走行距離の少なくとも１つを受信して、前記走行記録を生成する、請求項２に記載の運転者の匿名性を保障する共有車両の走行情報管理システム。

【請求項4】

前記走行記録生成部は、車両の現在位置情報、車両の走行方向情報、および車両の走行速度情報を含むように前記走行記録を生成する、請求項１に記載の運転者の匿名性を保障する共有車両の走行情報管理システム。

【請求項5】

前記走行記録生成部は、前記メインカメラで撮影された映像データを含み、前記走行記録を生成する、請求項４に記載の運転者の匿名性を保障する共有車両の走行情報管理システム。

【請求項6】

前記メモリ手段は、前記プロセッサによって実行されるコンピュータ読み取り可能な命令を格納するプログラム格納メモリと、前記プロセッサによって処理された処理データを臨時格納する臨時格納メモリと、前記処理データを永久格納する永久格納メモリとを含む、請求項１に記載の運転者の匿名性を保障する共有車両の走行情報管理システム。

【請求項7】

前記走行記録生成部は、周期的に生成された走行記録を前記永久格納メモリの上書き可能な領域に格納し、衝撃検知を含むイベント発生時の走行記録を前記永久格納メモリの上書き不可能な領域に格納する、請求項６に記載の運転者の匿名性を保障する共有車両の走行情報管理システム。

【請求項8】

前記走行記録生成部は、前記運転者の顔特徴ベクトルを読み取って運転者の居眠りまたは不注意状態のイベントを生成し、生成されたイベント走行記録を前記永久格納メモリの上書き不可能な領域に格納する、請求項７に記載の運転者の匿名性を保障する共有車両の走行情報管理システム。

【請求項9】

前記関心領域（ＲｏＩｓ）をプーリング（ｐｏｏｌｉｎｇ）してオブジェクトを探知し、探知されたオブジェクトの分類階層を算出して前記顔特徴点を認識する第２深層ニューラルネットワーク学習部をさらに含む、請求項１に記載の運転者の匿名性を保障する共有車両の走行情報管理システム。

【請求項10】

前記顔特徴ベクトル抽出部が不可逆的に符号化して運転者の顔特徴ベクトルを抽出することは、前記顔特徴点の情報から位置情報を除去し、ベクトル値で情報を圧縮して不可逆的に符号化する第３深層ニューラルネットワーク学習部によって行われる、請求項１に記載の運転者の匿名性を保障する共有車両の走行情報管理システム。

【請求項11】

前記プロセッサは、前記顔特徴ベクトル抽出部で前記運転者の顔特徴ベクトルの抽出が完了すれば、前記メモリ手段から運転者の撮影映像を永久削除する、請求項１に記載の運転者の匿名性を保障する共有車両の走行情報管理システム。

【請求項12】

前記匿名運転者走行情報格納部は、前記運転者の顔特徴ベクトルが生成された後、前記運転者の顔特徴ベクトルを前記走行記録が生成された時間情報と共に前記メモリ手段に格納する、請求項１に記載の運転者の匿名性を保障する共有車両の走行情報管理システム。

【請求項13】

前記プロセッサは、前記運転者の顔特徴ベクトル毎に前記走行記録を分類する匿名運転者走行情報分類部をさらに含む、請求項１に記載の運転者の匿名性を保障する共有車両の走行情報管理システム。

【請求項14】

前記匿名運転者走行情報分類部は、前記運転者の顔特徴ベクトルの同一の行と列の関数を互いに比較し、関数間の誤差範囲が予め定められた誤差範囲以内である運転者の顔特徴ベクトルを同一運転者の顔特徴ベクトルと規定して、前記走行記録を分類する、請求項１３に記載の運転者の匿名性を保障する共有車両の走行情報管理システム。

【請求項15】

有線または無線で外部映像が入力される外部映像入力モジュールと、
前記外部映像入力モジュールを介して入力された映像に含まれたユーザの顔特徴点を認識し、ユーザの顔特徴点に関する情報を不可逆的に符号化してユーザの顔特徴ベクトルを抽出し、前記ユーザの顔特徴ベクトルを前記メモリ手段に格納された運転者の顔特徴ベクトルと比較して、比較結果を出力する顔特徴ベクトル比較部と、をさらに含む、請求項１３に記載の運転者の匿名性を保障する共有車両の走行情報管理システム。

【請求項16】

前記顔特徴ベクトル比較部は、前記ユーザの顔特徴ベクトルと前記運転者の顔特徴ベクトルの同一の行と列の関数を比較し、関数間の誤差範囲が予め定められた誤差範囲以内である前記ユーザの顔特徴ベクトルと前記運転者の顔特徴ベクトルの指示する人物が同一人物と規定する、請求項１５に記載の運転者の匿名性を保障する共有車両の走行情報管理システム。

【請求項17】

前記車両と無線で通信して、前記走行記録および前記運転者の顔特徴ベクトルを遠隔地から収集して格納および管理し、前記運転者の顔特徴ベクトル毎に前記走行記録を分類する匿名運転者走行情報分類部を含むクラウドサーバをさらに含む、請求項１に記載の運転者の匿名性を保障する共有車両の走行情報管理システム。

【請求項18】

前記匿名運転者走行情報分類部は、前記運転者の顔特徴ベクトルの同一の行と列の関数を互いに比較し、関数間の誤差範囲が予め定められた誤差範囲以内である運転者の顔特徴ベクトルを同一運転者の顔特徴ベクトルと規定して、前記走行記録を分類する、請求項１７に記載の運転者の匿名性を保障する共有車両の走行情報管理システム。

【請求項19】

前記クラウドサーバは、入力手段を介して入力された入力映像に含まれたユーザの顔特徴点を認識し、ユーザの顔特徴点に関する情報を不可逆的に符号化してユーザの顔特徴ベクトルを抽出し、前記ユーザの顔特徴ベクトルを前記運転者の顔特徴ベクトルと比較して、比較結果を出力する顔特徴ベクトル比較部をさらに含む、請求項１７に記載の運転者の匿名性を保障する共有車両の走行情報管理システム。

【請求項20】

前記顔特徴ベクトル比較部は、前記ユーザの顔特徴ベクトルと前記運転者の顔特徴ベクトルの同一の行と列の関数を比較し、関数間の誤差範囲が予め定められた誤差範囲以内である前記ユーザの顔特徴ベクトルと前記運転者の顔特徴ベクトルの指示する人物が同一人物と規定する、請求項１９に記載の運転者の匿名性を保障する共有車両の走行情報管理システム。

【請求項21】

メモリ手段およびプロセッサを含む車両のオンボード装置で行われる共有車両の走行情報管理方法において、
前記プロセッサで行われるステップは、
（ａ）車両の内部に設けられた補助カメラで撮影された運転者映像に対してイメージ変換（Ｒｅｓｉｚｅ）およびイメージ切り取り（Ｃｒｏｐ）の少なくともいずれか１つを行って正規化（Ｎｏｒｍａｌｉｚａｔｉｏｎ）するイメージ前処理を行い、複数の畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）を含み、領域提案ネットワーク（ＲＰＮ：Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）を介して少なくとも１つの関心領域（ＲｏＩｓ：Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）を演算する第１深層ニューラルネットワーク学習部（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）によって前処理された映像から顔特徴点を認識し、顔特徴点に関する情報を元の運転者映像に復元できないように不可逆的に符号化して運転者の顔特徴ベクトルを抽出するステップと、
（ｂ）車両の現在位置情報、走行方向情報、および走行速度の少なくとも１つを含む走行記録を生成するステップと、
（ｃ）前記ステップ（ｂ）で生成された走行記録を前記運転者の顔特徴ベクトルとマッチングして、前記メモリ手段に格納するステップと、を含む、
運転者の匿名性を保障する共有車両の走行情報管理方法。

【請求項22】

前記ステップ（ｂ）は、車両のメインカメラで撮影された映像データを含み、前記走行記録を生成する、請求項２１に記載の運転者の匿名性を保障する共有車両の走行情報管理方法。

【請求項23】

前記ステップ（ａ）で顔特徴点を認識することは、前記関心領域（ＲｏＩｓ）をプーリング（ｐｏｏｌｉｎｇ）してオブジェクトを探知し、探知されたオブジェクトの分類階層を算出して前記顔特徴点を認識する第２深層ニューラルネットワーク学習部によって行われる、請求項２１に記載の運転者の匿名性を保障する共有車両の走行情報管理方法。

【請求項24】

前記ステップ（ａ）で不可逆的に符号化して運転者の顔特徴ベクトルを抽出することは、前記顔特徴点の情報から位置情報を除去し、ベクトル値で情報を圧縮して不可逆的に符号化する第３深層ニューラルネットワーク学習部によって行われる、請求項２１に記載の運転者の匿名性を保障する共有車両の走行情報管理方法。

【請求項25】

前記ステップ（ａ）の後に、前記メモリ手段から運転者の撮影映像を永久削除する、請求項２１に記載の運転者の匿名性を保障する共有車両の走行情報管理方法。

【請求項26】

（ｄ）有線または無線で外部映像が入力されるステップと、
（ｅ）前記外部映像入力モジュールを介して入力された映像に含まれたユーザの顔特徴点を認識し、ユーザの顔特徴点に関する情報を不可逆的に符号化してユーザの顔特徴ベクトルを抽出するステップと、
（ｆ）前記ユーザの顔特徴ベクトルを前記メモリ手段に格納された運転者の顔特徴ベクトルと比較して、比較結果を出力するステップと、をさらに含む、
請求項２１に記載の運転者の匿名性を保障する共有車両の走行情報管理方法。

【請求項27】

前記ステップ（ｆ）は、前記ユーザの顔特徴ベクトルと前記運転者の顔特徴ベクトルの同一の行と列の関数を比較し、関数間の誤差範囲が予め定められた誤差範囲以内である前記ユーザの顔特徴ベクトルと前記運転者の顔特徴ベクトルの指示する人物が同一人物と規定する、請求項２６に記載の運転者の匿名性を保障する共有車両の走行情報管理方法。

【請求項28】

車両のオンボード装置と遠隔地のクラウドサーバとが通信して、共有車両の走行情報を管理する共有車両の走行情報管理方法において、
前記クラウドサーバに設けられたプロセッサで行われるステップは、
（ａ）前記オンボード装置から前記車両の走行記録と前記車両の運転者の撮影映像を元の運転者映像に復元できないように不可逆的に符号化した運転者の顔特徴ベクトルとを収集するステップと、
（ｂ）前記運転者の顔特徴ベクトルの同一の行と列の関数を互いに比較し、関数間の誤差範囲が予め定められた誤差範囲以内である運転者の顔特徴ベクトルを同一運転者の顔特徴ベクトルと規定して、前記走行記録を分類するステップと、を含む、
運転者の匿名性を保障する共有車両の走行情報管理方法。

【請求項29】

（ｃ）外部映像が入力されるステップと、
（ｄ）前記外部映像に含まれたユーザの顔特徴点を認識し、ユーザの顔特徴点に関する情報を不可逆的に符号化してユーザの顔特徴ベクトルを抽出するステップと、
（ｅ）前記ユーザの顔特徴ベクトルを前記運転者の顔特徴ベクトルと比較して、比較結果を出力するステップと、をさらに含む、
請求項２８に記載の運転者の匿名性を保障する共有車両の走行情報管理方法。

【請求項30】

前記ステップ（ｅ）は、前記ユーザの顔特徴ベクトルと前記運転者の顔特徴ベクトルの同一の行と列の関数を比較し、関数間の誤差範囲が予め定められた誤差範囲以内である前記ユーザの顔特徴ベクトルと前記運転者の顔特徴ベクトルの指示する人物が同一人物と規定する、請求項２９に記載の運転者の匿名性を保障する共有車両の走行情報管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、共有車両の走行情報管理システムおよび方法に関し、より詳しくは、機械学習により運転者のイメージを不可逆的に符号化して顔特徴ベクトルを生成し、顔特徴ベクトルに基づいて匿名運転者の走行情報を管理することにより、運転者のプライバシーを保護し匿名性を保障しつつ、運転者毎に走行情報を管理し、同一運転者であるか否かを確認できるようにした運転者の匿名性を保障する共有車両の走行情報管理システムおよび方法に関する。

【背景技術】

【0002】

一般的に、共有車両は１つの自動車を２人以上の運転者が共有して運転するものを意味する。バス、タクシー、貨物車、レンタカーなどのような商業用車両以外にも、法人所有車両、相乗り車両など多様な方式の共有車両が存在する。また、個人所有の車両の場合にも２人以上の運転者が存在できる。

【0003】

共有車両を効率的に管理するために、運転者毎に運転パターンを分析する必要がある。運転パターンは運転者毎に大きく異なる。多様な運転パターンを分析することは、共有車両を効果的に管理するのに必須なだけでなく、自動車の安全運転と自律走行のための研究に大いに役立つ。この時、重要なのは、互いに異なる運転者の走行情報データが混入してはならないということである。運転者の走行情報データが混入する場合、一貫的な運転パターンが現れず、データ分析にエラーを誘発しうるからである。

【0004】

米国特許出願公開第２０２０－０１１０９５２号明細書の「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＤＥＴＥＲＭＩＮＩＮＧ ＰＲＯＢＡＢＩＬＩＴＹ ＴＨＡＴ Ａ ＶＥＨＩＣＬＥ ＤＲＩＶＥＲ ＩＳ ＡＳＳＯＣＩＡＴＥＤ ＷＩＴＨ Ａ ＤＲＩＶＥＲ ＩＤＥＮＴＩＦＩＥＲ」は、ＦＭＳ（Ｆｌｅｅｔ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）に関し、共有車両に対する保険料精算と事故に対する帰責事由を確認するために、事故の際に、運転者が運転者識別子と一致するかを確認するシステムを開示している。韓国登録特許第１０－１９８４２８４号公報の「機械学習モデルを用いた自動化された運転者管理システム」は、内部カメラで運転者の状態（居眠りなど）を認知し、運転者の運転点数結果をリアルタイムに算出して運転者の安全を誘導している。韓国登録特許第１０－１１２２５２４号公報の「同期化されたデータを用いて運転者特性情報を収集する方法およびシステム」は、カメラの映像および各種センサ信号を同期化して運転者を特定して格納する方法を記述している。韓国公開特許第１０－２０２０－０１２８２８５号公報の「顔面認識に基づく車両の開扉および始動方法および装置」は、車両の外部指向で装着されたカメラでユーザの顔を認識し、登録されたユーザに限り車両の開閉を可能にする技術を開示している。韓国登録特許第１０－１８６６７６８号公報の「運転者の特性を考慮した運転支援装置および方法」は、内部カメラの映像に基づいて運転者モデルを選択して、当該運転者に適した設定を選択させる技術を開示している。

【0005】

列挙された従来の技術はすべて、共有車両で運転者を撮影した映像から運転者を識別する方法を提案している。このような方法は「運転者Ｆａｃｅ ＩＤ」に関する技術であって、これまでの共有車両の管理において運転者を識別するために当然伴うものと思われた。

【0006】

しかし、運転者の顔を撮影し、ＩＤを付与して管理する方法は、運転者の私生活を保護できないという大きな盲点を抱えている。多くの運転者は、自分の走行記録に顔イメージやＩＤが共に保存されることを嫌う。そして、このような運転者ＩＤの管理方法は、個人の動線をそのまま露出させて敏感な私的情報が公然と流出する恐れがあり、私生活保護法に違反する可能性が高い。また、車両内部の映像を格納する場合、同乗者の私生活も露出する危険性が大きい。一歩進んで、運転者映像や車両内部の映像を格納することは多くの格納空間を必要とし、このような映像データを管理するのに莫大な設置費、通信費、管理費などを発生させる問題がつきまとう。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、運転者を撮影したイメージを不可逆的に符号化して顔特徴ベクトルを生成し、顔特徴ベクトルに基づいて匿名運転者の走行情報を管理することにより、運転者のプライバシーを保護し匿名性を保障することができ、かつ、互いに異なる運転者の走行情報データが混入せずに正確に分類されて管理されるようにする運転者の匿名性を保障する共有車両の走行情報管理システムおよび方法を提供することを、目的とする。

【0008】

また、本発明は、運転者の同意のもとで運転者を撮影した映像と予め格納された顔特徴ベクトルとを比較して、当該運転者の走行情報を閲覧可能にすることにより、共有車両サービス提供会社が走行記録の分析により運転者に特典を提供する場合、運転者の保険料を精算する場合、交通事故の帰責事由を判断する場合などに運転者走行情報を活用できるようにし、この場合にも予め格納された走行情報に関する運転者の匿名性は維持できるようにする運転者の匿名性を保障する共有車両の走行情報管理システムおよび方法を提供することを、他の目的とする。

【課題を解決するための手段】

【0009】

本発明の一実施例による運転者の匿名性を保障する共有車両の走行情報管理システムは、車両に設けられ、車両の前方を撮影するメインカメラと、前記車両に設けられ、車両の位置、移動方向、速度の少なくとも１つを検知するセンサと、前記車両の内部で運転者を撮影する補助カメラと、メモリ手段と、前記車両に設けられるオンボード装置に搭載されるプロセッサとを含み、前記プロセッサは、前記メインカメラで撮影された映像と、前記センサで検知されたセンシングデータとに基づいて、車両の走行記録を生成する走行記録生成部と、前記補助カメラで撮影された運転者映像を元の運転者映像に復元できないように不可逆的に符号化して運転者の顔特徴ベクトルを抽出する顔特徴ベクトル抽出部と、前記走行記録と前記運転者の顔特徴ベクトルとをマッチングして、前記メモリ手段に格納する匿名運転者走行情報格納部とを含む。

【0010】

本発明の一実施例による運転者の匿名性を保障する共有車両の走行情報管理方法は、メモリ手段およびプロセッサを含む車両のオンボード装置で行われる共有車両の走行情報管理方法において、前記プロセッサで行われるステップは、（ａ）車両の内部に設けられた補助カメラで撮影された運転者映像を元の運転者映像に復元できないように不可逆的に符号化して運転者の顔特徴点に関する情報を示す運転者の顔特徴ベクトルを抽出するステップと、（ｂ）車両の現在位置情報、走行方向情報、および走行速度の少なくとも１つを含む走行記録を生成するステップと、（ｃ）前記ステップ（ｂ）で生成された走行記録を前記運転者の顔特徴ベクトルとマッチングして、前記メモリ手段に格納するステップとを含む。

【0011】

本発明の一実施例による運転者の匿名性を保障する共有車両の走行情報管理方法は、車両のオンボード装置と遠隔地のクラウドサーバとが通信して、共有車両の走行情報を管理する共有車両の走行情報管理方法において、前記クラウドサーバに設けられたプロセッサで行われるステップは、（ａ）前記オンボード装置から前記車両の走行記録と前記車両の運転者の撮影映像を不可逆的に符号化した運転者の顔特徴ベクトルとを収集するステップと、（ｂ）前記運転者の顔特徴ベクトル毎に前記走行記録を分類するステップとを含む。

【発明の効果】

【0012】

本発明の運転者の匿名性を保障する共有車両の走行情報管理システムおよび方法によれば、運転者を撮影したイメージを不可逆的に符号化して顔特徴ベクトルを生成し、顔特徴ベクトルに基づいて匿名運転者の走行情報を管理することにより、運転者のプライバシーを保護し匿名性を保障することができ、かつ、互いに異なる運転者の走行情報データを正確に分類して管理することができる効果がある。

【0013】

また、本発明の運転者の匿名性を保障する共有車両の走行情報管理システムおよび方法によれば、運転者の同意のもとで運転者を撮影した映像と予め格納された顔特徴ベクトルとを比較して、当該運転者の走行情報を閲覧可能にすることにより、共有車両サービス提供会社が走行記録の分析により運転者に特典を提供する場合、運転者の保険料を精算する場合、交通事故の帰責事由を判断する場合などに運転者走行情報を活用できるようにし、この場合にも予め格納された走行情報に関する運転者の匿名性は維持できるようにする効果がある。

【図面の簡単な説明】

【0014】

【図1】本発明の運転者の匿名性を保障する共有車両の走行情報管理システムを例示したブロック図である。

【図2】本発明の運転者の匿名性を保障する共有車両の走行情報管理システムにおいてクラウドサーバシステムを例示したブロック図である。

【図3】本発明において運転者毎の走行情報が格納される過程を例示したフローチャートである。

【図4】本発明において不可逆的に顔特徴ベクトルを抽出する過程を例示したフローチャートである。

【図5】本発明において顔特徴ベクトルを抽出する機械学習モデルを例示したブロック図である。

【図6】本発明において顔特徴ベクトルを不可逆的に符号化する学習モデルを例示した図である。

【図7】本発明において不可逆的符号化された顔特徴ベクトルを比較したモデルを例示した図である。

【図8】本発明において匿名運転者走行情報分類作業がクラウドサーバで行われる例を示す図である。

【図9】本発明においてクラウドサーバが匿名運転者走行情報を収集する過程を描いた図である。

【図10】本発明において匿名運転者走行情報のクラスタリング過程を描いた図である。

【図11】本発明においてクラウドサーバが匿名運転者走行情報を分類する例を描いた図である。

【図12】本発明においてクラウドサーバがユーザの顔認識情報と匿名運転者走行情報とを比較判断する例を描いた図である。

【発明を実施するための形態】

【0015】

以下、添付した図面を参照して、本発明による具体的な実施例が説明される。しかし、これは本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想および技術範囲に含まれるすべての変更、均等物、代替物を含むことが理解されなければならない。

【0016】

明細書全体にわたって類似の構成および動作を有する部分については同一の図面符号を付した。そして、本発明に添付した図面は説明の便宜のためのものであって、その形状と相対的な尺度は誇張または省略されてもよい。

【0017】

実施例を具体的に説明するにあたり、重複する説明や当該分野における自明な技術に関する説明は省略された。また、以下の説明において、ある部分が他の構成要素を「含む」とする時、これは、特に反対の記載がない限り、記載された構成要素以外に構成要素をさらに包含できることを意味する。

【0018】

また、明細書に記載された「～部」、「～器」、「～モジュール」などの用語は少なくとも１つの機能や動作を処理する単位を意味し、これはハードウェアやソフトウェア、またはハードウェアおよびソフトウェアの結合で実現される。また、ある部分が他の部分と電気的に連結されているとする時、これは直接的に連結されている場合のみならず、その中間に他の構成を挟んで連結されている場合も含む。

【0019】

第１、第２などのような序数を含む用語は多様な構成要素を説明するのに使用できるが、前記構成要素は前記用語によって限定されない。前記用語は、１つの構成要素を他の構成要素から区別する目的でのみ使用される。例えば、本発明の権利範囲を逸脱しない範囲内で第２構成要素は第１構成要素と名付けられてもよく、同じく、第１構成要素も第２構成要素と名付けられてもよい。

【0020】

本発明は、運転者の匿名性を保障する共有車両の走行情報管理システムおよび方法に関し、運転者を撮影したイメージを不可逆的に符号化して運転者の顔特徴ベクトルを生成し、運転者の顔特徴ベクトルに基づいて匿名運転者の走行情報を管理するシステムおよび方法を提供する。本発明において、「不可逆的符号化」とは、顔特徴情報を暗号化またはコード化してベクトル形態に変換し、元の顔特徴情報に復号化できないように変換する過程を意味する。すなわち、本発明により不可逆的符号化された運転者の顔特徴ベクトルは、元の運転者顔映像（またはそのような映像を類推可能な顔特徴情報）に復元されない。

【0021】

本発明の運転者の匿名性を保障する共有車両の走行情報管理システムおよび方法は、運転者の撮影映像が臨時格納メモリに臨時格納されるだけで、永久格納メモリに格納されない。また、運転者の撮影映像は、運転者の顔特徴ベクトルを生成した後には、メモリ手段から永久的に削除されてもよい。したがって、車両のオンボード装置または遠隔のクラウドサーバで走行記録がどの運転者によるかを識別することができない。しかし、以下に説明される本発明によれば、ユーザの同意によるか、法執行機関の令状によって、運転者の顔特徴ベクトルと共に格納される走行記録が、追って当該ユーザ（または犯罪者）の走行記録であるか否かを確認する方法を提供することができる。

【0022】

例えば、共有車両管理サービスを提供する会社が走行記録を分析して運転者にどのような優遇やインセンティブを提供しようとする場合、運転者の保険料を算定する場合、交通事故の帰責事由を判断する場合、法執行機関の令状によって提示された顔情報と特定運転者の走行記録とを対照しなければならない場合などにおいて、予め格納された運転者の顔特徴ベクトルと、自分の走行記録に対する確認を同意したユーザ（または法執行機関の令状で指示された犯罪者）のユーザ顔特徴ベクトルとを比較し、両ベクトルを構成する関数間の誤差範囲が予め定められた誤差範囲以内の場合、両ベクトルの指示する人物が同一人物と規定することができる。これによって、本発明は、車両のオンボード装置または遠隔地に位置するクラウドサーバで数多くの運転者の匿名性は保障しつつ、格納媒体に格納された運転者毎走行記録に対する閲覧と対照を可能にする。

【0023】

本発明の運転者の匿名性を保障する共有車両の走行情報管理システムおよび方法が既存の共有車両管理と大別される最大の差異は、運転者の顔撮影映像または運転者に付与された固有のＩＤを格納して管理しないという点である。したがって、本発明は、共有車両の走行情報を体系的に管理しつつ、運転者の私生活を保護し匿名性を保障することができる。また、本発明は、車両内部の映像を格納して管理する必要がないので、オンボード装置の格納空間を画期的に低減可能であり、通信費およびクラウドサーバシステムの運営費を大きく節減できるようにする。また、本発明は、共有車両管理サービスを導入するにあたり、所属運転者の拒否感を緩和させ、私生活保護法に違反しないようにして共有車両管理サービスの導入および拡散を促進させることができる。

【0024】

一方、本発明の運転者の匿名性を保障する共有車両の走行情報管理システムおよび方法は、完全に車両のオンボード装置で行われる。また、本発明の運転者の匿名性を保障する共有車両の走行情報管理システムおよび方法によれば、走行記録を生成し、運転者の顔特徴ベクトルを抽出して走行記録と共に格納する過程は、車両のオンボード装置で行われ、各車両の走行情報（運転者の顔特徴ベクトルと走行記録とがマッチングされて格納される情報）を管理し、外部入力イメージから抽出したユーザの顔特徴ベクトルと予め格納された運転者の顔特徴ベクトルとを比較し、ユーザと運転者とを対照して走行情報を確認する過程は、遠隔地のクラウドサーバで行われる。以下、図面の実施例を参照して、本発明の運転者の匿名性を保障する共有車両の走行情報管理システムおよび方法について具体的に説明する。

【0025】

図１は、本発明の運転者の匿名性を保障する共有車両の走行情報管理システムを例示したブロック図である。

【0026】

図１を参照すれば、本発明の運転者の匿名性を保障する共有車両の走行情報管理システムは、車両１５０に設けられるオンボード装置１００によって実現される。図１を参照すれば、車両１５０には、ＧＰＳモジュール１０２、センサ１０４、通信モジュール１０６、ディスプレイモジュール１０８、メインカメラ１１２、補助カメラ１１４、外部映像入力モジュール１１６、車両接続モジュール１２２、電源モジュール１２４、制御モジュール１２６、プログラム格納メモリ１３２、臨時格納メモリ１３４、永久格納メモリ１３６、およびプロセッサ２００が設けられる。

【0027】

ＧＰＳモジュール１０２は、衛星から送られる信号を受信して、車両１５０の現在位置を測定する手段である。センサ１０４は、車両の移動方向、姿勢、速度、ヘッドアングル（ｈｅａｄ ａｎｇｌｅ）などを検出するための手段である。センサ１０４は、複数のセンサで構成されるか、複数のセンサが複合的に構成されたモジュールであってもよい。例えば、センサ１０４は、加速度センサ、角速度センサ、慣性センサ、および地磁気センサの少なくともいずれか１つ、または、複数個が組み合わされた形態で構成される。また、センサ１０４は、車両の状態情報を検出するための温度センサ、電流センサ、電圧センサなどをさらに含んでもよい。通信モジュール１０６は、オンボード装置１００が、図２を参照して説明されるクラウドサーバシステム３００と無線でデータを通信するための手段である。ディスプレイモジュール１０８は、運転者に運行関連情報を表示したり、目的地の道案内アプリケーションを表示したり、グラフィックユーザインターフェース（ＧＵＩ）またはタッチユーザインターフェース（ＴＵＩ）を表示するための出力手段である。

【0028】

メインカメラ１１２は、車両１５０の前方を指向して設けられて、車両前方の道路状況を撮影する装置である。補助カメラ１１４は、車両１５０の内部を指向して設けられて、車両の内部で運転者および車両内部の状況を撮影する装置である。外部映像入力モジュール１１６は、有線インターフェースまたは無線インターフェースを介して外部映像が入力される手段である。例えば、ＵＳＢ装置を介して運転者の顔特徴ベクトルとの比較のためのユーザイメージが入力される。また、遠隔のクラウドサーバシステム３００から運転者の顔特徴ベクトルとの比較のためのユーザイメージが無線で入力されてもよい。

【0029】

車両接続モジュール１２２は、車両１５０と接続されて、車両１５０内の電子制御装置から走行情報に関連する信号を受信するための手段である。例えば、本発明のオンボード装置１００は、車両１５０内部のネットワークを介して、車速信号、ブレーキ信号、方向指示灯信号、および累積走行距離の少なくとも１つ以上の信号を受信して、走行記録を生成するのに用いることができる。電源モジュール１２４は、オンボード装置１００内の構成品に車両のバッテリ電源を供給する手段であり、制御モジュール１２６は、オンボード装置１００内の構成品の動作を制御する手段である。

【0030】

図１を参照すれば、オンボード装置１００には、３つのメモリ手段が設けられる。プログラム格納メモリ１３２は、プロセッサ２００によって実行されるコンピュータ読み取り可能な命令を格納するメモリ装置である。プログラム格納メモリ１３２は、電源が切れてもデータを保存し、削除し、書き換え可能なメモリである。臨時格納メモリ１３４は、プロセッサ２００によって処理された処理データを臨時格納するメモリ装置である。臨時格納メモリ１３４は、電源が切れるとデータが揮発し、速やかな読み書きが可能な揮発性メモリ装置で構成され、運転者の撮影映像、プロセッサの中間処理データ、プロセッサの動作中に臨時的に必要なデータなどを格納する。永久格納メモリ１３６は、プロセッサ２００の処理データを永久格納するメモリ装置である。永久格納メモリ１３６は、電源が切れてもデータが保存され、削除、および書き換えが可能な不揮発性メモリ装置で構成され、以下に説明される走行記録と運転者の顔特徴ベクトルとを格納する。また、永久格納メモリ１３６は、車両の状態情報、イベント（車両の衝突などのような）情報、イベント発生時の前方映像などをさらに格納することができ、オンボード装置１００に着脱可能に設けられる。

【0031】

プロセッサ２００は、本発明により走行記録を生成し、運転者の顔特徴ベクトルを抽出し、運転者の顔特徴ベクトルを走行記録とマッチングして格納し、匿名運転者毎に走行情報を分類し、外部入力映像を運転者の顔特徴ベクトルと比較する一連の処理過程を実行させる手段であって、単一プロセッサまたはマルチプロセッサで構成される。プロセッサ２００は、プログラム格納メモリ１３２を呼び出して処理命令を実行する。プロセッサ２００は、走行記録生成部２１０と、顔特徴ベクトル抽出部２２０と、匿名運転者走行情報格納部２３０と、匿名運転者走行情報分類部２４０と、顔特徴ベクトル比較部２５０とを含む。プロセッサ２００を構成する構成は、機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）、その他の人工知能学習（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ｌｅａｒｎｉｎｇ）モデル（Ｍｏｄｅｌ）を含むことができる。

【0032】

走行記録生成部２１０は、メインカメラ１１２で撮影された映像と、センサ１０４で検知されたセンシングデータとに基づいて、車両の走行記録を生成する。走行記録は、少なくとも車両の現在位置情報、車両の走行方向情報、および車両の走行速度情報を含む。また、走行記録には、メインカメラ１１２で撮影された車両前方の映像データが含まれる。

【0033】

顔特徴ベクトル抽出部２２０は、補助カメラ１１４で撮影された運転者映像を不可逆的に符号化して運転者の顔特徴ベクトルを抽出する。顔特徴ベクトル抽出部２２０が運転者の顔特徴ベクトルを抽出する過程については、図４～図７を参照して詳細に後述する。

【0034】

匿名運転者走行情報格納部２３０は、走行記録と運転者の顔特徴ベクトルとをマッチングして、メモリ手段の永久格納メモリ１３６に格納する。匿名運転者走行情報格納部２３０は、運転者の顔特徴ベクトルが生成された後、運転者の顔特徴ベクトルを走行記録が生成された時間情報と共に格納する。図８および図９を参照して、匿名運転者走行情報が格納される過程を詳細に後述する。

【0035】

匿名運転者走行情報分類部２４０は、運転者の顔特徴ベクトル毎に走行記録を分類する。匿名運転者走行情報分類部２４０は、クラウドサーバシステム３００に備えられてもよいし、オンボード装置１００とクラウドサーバシステム３００にすべて備えられてもよい。図１０および図１１を参照して、匿名運転者走行情報が分類される過程を詳細に後述する。

【0036】

顔特徴ベクトル比較部２５０は、外部映像入力モジュール１１６を介して入力された映像に含まれたユーザの顔特徴点を認識し、ユーザの顔特徴点に関する情報を不可逆的に符号化してユーザの顔特徴ベクトルを抽出する。ユーザの顔特徴ベクトルを抽出する過程は、運転者の顔特徴ベクトルを抽出する過程と実質的に同一である。顔特徴ベクトル比較部２５０は、ユーザの顔特徴ベクトルをメモリ手段の永久格納メモリ１３６に格納された運転者の顔特徴ベクトルと比較して、比較結果を出力する。顔特徴ベクトル比較部２５０も、クラウドサーバシステム３００に備えられてもよいし、オンボード装置１００とクラウドサーバシステム３００にすべて備えられてもよい。図１２を参照して、運転者の顔特徴ベクトルとユーザの顔特徴ベクトルとを比較する過程を詳細に後述する。

【0037】

図２は、本発明の運転者の匿名性を保障する共有車両の走行情報管理システムにおいてクラウドサーバシステムを例示したブロック図である。

【0038】

クラウドサーバシステム３００は、車両１５０のオンボード装置１００と無線で通信して、上述した走行記録および運転者の顔特徴ベクトルを収集し、格納し、管理するサーバシステムである。図２を参照すれば、クラウドサーバシステム３００は、データ格納サーバ３１０と、データ管理サーバ３２０と、データ処理サーバ３３０と、人工知能サーバ３４０とを含む。

【0039】

データ格納サーバ３１０は、オンボード装置１００から受信したデータを格納するサーバである。上述した走行記録および運転者の顔特徴ベクトルが互いにマッチングされて、データ格納サーバ３１０に格納される。また、データ格納サーバ３１０は、車両１５０の車種情報、状態情報、所有者情報などの一般的な共有車両管理情報を共に格納することができる。

【0040】

データ管理サーバ３２０は、走行記録および運転者の顔特徴ベクトルなどのデータを管理するサーバであって、データ収集履歴、データ保存年限、データアップデートおよび削除などを管理するサーバである。データ処理サーバ３３０は、データの処理のためのサーバであり、人工知能サーバ３４０は、走行情報の分類および比較のための機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）、その他の人工知能学習（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ｌｅａｒｎｉｎｇ）などを行うためのサーバである。

【0041】

人工知能サーバ３４０は、匿名運転者走行情報分類部３４２と、顔特徴ベクトル比較部３４４とを含む。

【0042】

匿名運転者走行情報分類部３４２は、オンボード装置１００に関して説明した匿名運転者走行情報分類部２４０と同一の機能を行う手段であり、運転者の顔特徴ベクトル毎に走行記録を分類する。

【0043】

顔特徴ベクトル比較部３４４は、オンボード装置１００に関して説明した顔特徴ベクトル比較部２５０と同一の機能を行う手段であり、入力手段を介して入力された入力映像に含まれたユーザの顔特徴点を認識し、ユーザの顔特徴点に関する情報を不可逆的に符号化してユーザの顔特徴ベクトルを抽出し、ユーザの顔特徴ベクトルをデータ格納サーバ３１０に格納された運転者の顔特徴ベクトルと比較して、比較結果を出力する。

【0044】

ここで、入力手段は、ウェブブラウザ４００、専用ソフトウェア、または末端入出力器であってもよいし、自分の運転者情報に関する確認について同意したユーザや、法執行機関の令状に明示された犯罪者の顔が含まれた映像を入力するための手段である。匿名運転者走行情報分類部３４２および顔特徴ベクトル比較部３４４については、図１０～１２を参照して具体的に後述する。

【0045】

図３は、本発明において運転者毎の走行情報が格納される過程を例示したフローチャートである。図３を参照して、オンボード装置１００の走行記録生成部２１０で走行記録が生成される過程を説明すれば、次のとおりである。

【0046】

走行記録生成部２１０は、時間周期が満足されているかを判断して（ＳＴ３１０）、周期的に走行記録を生成してメモリ手段に格納する（ＳＴ３１５）。また、走行記録生成部２１０は、時間周期が到来していない場合でも、イベント発生の有無を判断して（ＳＴ３２０）、イベント発生時の走行記録をメモリ手段に格納する（ＳＴ３２５）。例えば、イベントとは、車両１５０の衝撃検知、運転者の居眠りまたは不注意状態の検知のように走行記録を残す必要がある事件を意味する。

【0047】

走行記録生成部２１０は、周期的に生成された走行記録は、永久格納メモリ１３６の上書き可能な領域に格納し、イベント発生時の走行記録は、永久格納メモリ１３６の上書き不可能な領域に格納する。

【0048】

図３を参照すれば、走行記録生成部２１０は、ＧＰＳモジュール１０２の位置データ、センサ１０４のセンシングデータを収集し（ＳＴ３３０）、収集されたデータをコンピュータ読み取り可能なデータに変換する（ＳＴ３３５）。また、走行記録生成部２１０は、メインカメラ１１２から車両前方の撮影映像が入力され（ＳＴ３４０）、入力された映像データを圧縮する（ＳＴ３４５）。

【0049】

走行記録生成部２１０は、デジタル方式で変換された位置データおよびセンシングデータと映像圧縮データとを同期化し、一連のデータに構造化して（ＳＴ３５０）、走行記録を生成する（ＳＴ３５５）。生成された走行記録を蓄積してバッファとして機能する臨時格納メモリ１３４に格納する。そして、走行記録が時間周期によるか、イベント発生によるかを判断して、永久格納メモリ１３６の上書き可能な領域、または上書き不可能な領域に移動させる。

【0050】

図４は、本発明において不可逆的に顔特徴ベクトルを抽出する過程を例示したフローチャートであり、図５は、本発明において顔特徴ベクトルを抽出する機械学習モデルを例示したブロック図であり、図６は、本発明において顔特徴ベクトルを不可逆的に符号化する学習モデルを例示した図であり、図７は、本発明において不可逆的符号化された顔特徴ベクトルを比較したモデルを例示した図である。図４～図７を参照して、オンボード装置１００の顔特徴ベクトル抽出部２２０で運転者の顔特徴ベクトルを抽出する過程を説明すれば、次のとおりである。

【0051】

図４を参照すれば、顔特徴ベクトル抽出部２２０は、補助カメラ１１４で撮影された運転者の撮影映像に対してイメージ変換（Ｒｅｓｉｚｅ）およびイメージ切り取り（Ｃｒｏｐ）の少なくともいずれか１つを行って正規化（Ｎｏｒｍａｌｉｚａｔｉｏｎ）するイメージ前処理を行う（ＳＴ４１０）。そして、前処理された映像から顔特徴点（例えば、目、鼻、口などのオブジェクト）を認識する一次顔認識ステップ（ＳＴ４２０）と、顔の輪郭に沿って映像を切り取る二次顔認識ステップ（ＳＴ４３０）とを行う。次に、顔特徴点に関する情報を不可逆的に符号化して（ＳＴ４４０）、運転者の顔特徴ベクトルを出力する（ＳＴ４９０）。

【0052】

図４の下部に示された流れは、顔特徴ベクトル比較部２５０が、外部入力映像からユーザの顔特徴ベクトルを抽出する過程を示す。本発明においてユーザの顔特徴ベクトルを抽出することは、顔特徴ベクトル比較部２５０によって行われると説明するが、これは単にプロセッシングの主体を機能的に分類したものであり、顔特徴ベクトル抽出部２２０によって行われる過程と同一であり、顔特徴ベクトル抽出部２２０で行われてもよい。

【0053】

顔特徴ベクトル比較部２５０は、上述したものと同様に、ユーザの顔イメージが含まれた外部入力映像に対してイメージ前処理を行い（ＳＴ４５０）、一次顔認識ステップ（ＳＴ４６０）および二次顔認識ステップ（ＳＴ４７０）を経て、顔特徴点に関する情報を不可逆的に符号化した（ＳＴ４８０）後に、ユーザの顔特徴ベクトルを出力することができる（ＳＴ４９０）。

【0054】

図５および図６を参照すれば、顔特徴ベクトル抽出部２２０は、複数の深層ニューラルネットワーク学習部（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含み、人工知能学習により運転者の顔特徴ベクトルを抽出することができる。もちろん、ユーザの顔特徴ベクトルも同一の人工知能学習により抽出可能である。

【0055】

図５を参照すれば、事前処理部５１０は、イメージ前処理のための学習ネットワークであって、図４で説明したイメージ正規化を処理する学習ネットワークである。第１深層ニューラルネットワーク学習部は、複数の畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）を含み、オブジェクト検出部５２０と、領域提案ネットワーク（ＲＰＮ：Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）５３０とで構成される。オブジェクト検出部５２０は、前処理されたイメージからすべてのオブジェクトを検出する。領域提案ネットワーク５３０は、少なくとも１つの関心領域（ＲｏＩｓ：Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）を演算する。領域提案ネットワーク５３０の出力は、中間処理部５４０を介して第２深層ニューラルネットワーク学習部に伝達される。

【0056】

第２深層ニューラルネットワーク学習部は、関心領域（ＲｏＩｓ）をプーリング（ｐｏｏｌｉｎｇ）してオブジェクトを探知し、探知されたオブジェクトの分類階層を算出して顔特徴点を認識する第２深層ニューラルネットワーク５５０を含む。第２深層ニューラルネットワーク５５０の出力は、事後処理部５６０を介して第３深層ニューラルネットワーク学習部に伝達される。

【0057】

図６を参照すれば、第３深層ニューラルネットワーク学習部は、エンコード部６１０と、グローバル平均プーリング部６２０とで構成される。エンコード部６１０は、認識された顔特徴に関する顔特徴情報を抽出してエンコードし、グローバル平均プーリング部６２０は、顔特徴情報から位置情報を除去し、ベクトル値で情報を圧縮して不可逆的に符号化して、運転者の顔特徴ベクトルを出力する。図６の下部に示されているように、最終的に抽出された運転者の顔特徴ベクトルは、前の運転者イメージに復元されない不可逆的なデータである。

【0058】

図７を参照すれば、イメージ１とイメージ２は、同一運転者のイメージであり、イメージ３は、異なる運転者のイメージを示す。顔特徴ベクトル抽出部２２０がイメージ１を不可逆的に符号化した運転者の顔特徴ベクトルは（３，５，１２，１，．．．）で示され、イメージ２を不可逆的に符号化した運転者の顔特徴ベクトルは（３，６，１１，１，．．．）で示される。本発明において、運転者の顔特徴ベクトルは、１つ以上の関数が行と列に配置されるベクトル形態で示されるが、図示の例においては、発明の理解のために、単一の行を有するベクトル関数で描いた。イメージ１とイメージ２の運転者の顔特徴ベクトルを互いに比較すれば、一番目の列と四番目の列の関数は同一であり、二番目の列と三番目の列の関数は微細な差を示すことが分かる。このように、両ベクトルの同一の行と列の関数を互いに比較した結果、関数間の誤差範囲が予め定められた誤差範囲以内の場合、原イメージの人物が同一人物と規定することができる。例えば、両ベクトルを比較した時、互いに同一の関数の比重が５０％以上の時、または、互いに異なる関数の差が予め定められた誤差範囲を外れていない時、などに原イメージの人物を同一人物と規定することができる。

【0059】

一方、イメージ３を不可逆的に符号化した運転者の顔特徴ベクトルは（２１，１，６，９，．．．）で示され、イメージ１またはイメージ２の運転者の顔特徴ベクトルと対照した時、すべての関数が異なり、関数間の誤差も大きくなることを確認することができる。このように同一の関数の比重が非常に小さい時、または、互いに異なる関数の差が大きな誤差範囲を示す時、原イメージの人物を異なる人物と規定することができる。

【0060】

図８は、本発明において匿名運転者走行情報分類作業がクラウドサーバで行われる例を示した図であり、図９は、本発明においてクラウドサーバが匿名運転者走行情報を収集する過程を描いた図である。図８および図９を参照して、オンボード装置１００の匿名運転者走行情報格納部２３０が匿名運転者走行情報を格納する過程を説明すれば、次のとおりである。

【0061】

図８を参照すれば、車両１５０に運転者が搭乗する時、補助カメラ１１４によって運転者が撮影される。そして、顔特徴ベクトル抽出部２２０は、上述のように、運転者の顔特徴ベクトルを抽出する。抽出された顔特徴ベクトルは、当該運転者が車を降りるまで有効である。匿名運転者走行情報格納部２３０は、運転者が搭乗した時点から降りるまでの運転者の顔特徴ベクトルを、図３で生成された走行記録と共にメモリ手段に格納する。この時、運転者ＩＤは存在しない。匿名運転者の走行情報（運転者の顔特徴ベクトルと同期化して格納された走行記録）は、オンボード装置１００で自主的に運転者の顔特徴ベクトル毎に分類されて格納される。また、図８に示されているように、匿名運転者の走行情報は、無線通信により、または、ＳＤカードなどによって取り集められてクラウドサーバに伝達されてもよい。クラウドサーバは、匿名運転者の走行情報を同じく運転者の顔特徴ベクトル毎に分類して格納することができる。

【0062】

図９を参照すれば、匿名運転者走行情報は、車両番号、車種、走行方向、走行時間、運転者の顔特徴ベクトルのデータを含むことができる。図９の例において、車両番号「ｘｘｘｘ」は、匿名運転者ａ’、ｂ’’、ａ’’’によって時間の順に使用されたことを確認することができる。オンボード装置１００またはクラウドサーバシステム３００は、匿名運転者の走行情報を匿名運転者毎に分類することができる。例えば、車両番号「ｘｘｘｘ」に関する走行情報のうち、匿名運転者ａ’およびａ’’’は、同一運転者による走行情報として分類されて管理される。車両の走行情報を匿名運転者毎に群集し分類する過程を、図１０および１１を参照して詳細に説明する。

【0063】

図１０は、本発明において匿名運転者走行情報のクラスタリング過程を描いた図であり、図１１は、本発明においてクラウドサーバが匿名運転者走行情報を分類する例を描いた図である。

【0064】

図１０を参照すれば、６個の運転者顔特徴ベクトルが例示されている。各例の点は、顔特徴点に対応するベクトル値を二次元画面上の点で描いたものである。それぞれの点間の距離を基準として、Ｋ－ｍｅａｎｓ群集化によりクラスタリングすることができる。ここで、「Ｋ」は、データセットから探すと予想されるクラスタ（グループ）の数を意味する。「Ｍｅａｎｓ」は、各データからそのデータの属するクラスタの中心までの平均距離を意味し、この値を最小化するように、Ｋ個の中心点を位置させることが、この過程の目標である。まず、Ｋ個の任意の中心点（ｃｅｎｔｒｏｉｄ）を配置し、各データを最も近い中心点に割り当てて、臨時にクラスタを形成する。次に、群集として指定されたデータに基づいて、当該群集の中心点をアップデートする。前記過程を、収束するまで、すなわちこれ以上中心点がアップデートされなくなるまで、繰り返す。この過程を経て、Ｋ個の群集（クラスタ）を導出することができる。

【0065】

図１１を参照すれば、クラウドサーバシステム３００の匿名運転者走行情報分類部３４２は、運転者の顔特徴ベクトルの同一の行と列の関数を互いに比較し、関数間の誤差範囲が予め定められた誤差範囲以内である運転者の顔特徴ベクトルを同一運転者の顔特徴ベクトルとして規定して、匿名運転者走行情報を分類することができる。これによって、匿名運転者ａ’、ａ’’、ａ’’’を同一運転者（ａ）と規定し、当該運転者（運転者の顔特徴ベクトルが類似していると分類された匿名運転者）の走行記録を１つの群集に分類する。例えば、匿名運転者ａが車両番号「ｘｘｘｘ」と「ｙｙｙｙ」を走行した走行情報が１つの群集に分類される。一方、このような群集および分類の基準は、ユーザの顔特徴ベクトルと運転者の顔特徴ベクトルとを比較する過程においても同様に適用可能である。

【0066】

図１２は、本発明においてクラウドサーバがユーザの顔認識情報と匿名運転者走行情報とを比較判断する例を描いた図である。

【0067】

図１２を参照すれば、クラウドサーバシステム３００の顔特徴ベクトル比較部３４４は（またはオンボード装置１００の顔特徴ベクトル比較部２５０は）、入力手段を介して入力された入力映像に含まれたユーザの顔特徴点を認識し、ユーザの顔特徴点に関する情報を不可逆的に符号化してユーザの顔特徴ベクトルを抽出する。そして、顔特徴ベクトル比較部３４４は、ユーザの顔特徴ベクトルを前記運転者の顔特徴ベクトルと比較して、比較結果を出力する。この時、顔特徴ベクトル比較部３４４は、ユーザの顔特徴ベクトルと運転者の顔特徴ベクトルの同一の行と列の関数を比較し、関数間の誤差範囲が予め定められた誤差範囲以内である両ベクトルの指示する人物が同一人物と規定する。

【0068】

顔特徴ベクトル比較部３４４がこのように両ベクトルを比較することは、先に説明したようなＫ－ｍｅａｎｓ群集および分類に類似している。もし、入力手段を介して入力されたイメージがユーザｃを示すならば、顔特徴ベクトル比較部３４４は、予め格納された匿名運転者走行情報のうち、匿名運転者ｃ’、ｃ’’、ｃ’’’による走行情報を探して同一人物と規定することができ、図１２に示されているように、匿名運転者ｃの走行情報をクラスタリングして出力することができる。

【0069】

共有車両管理サービスを提供する会社は、最終的に導出されたクラスタリング結果により、匿名運転者ｃに安全運転を行った見返りとしてインセンティブを提供したり、匿名運転者ｃに対する保険料を更新したり、匿名運転者ｃの起こした交通事故に対する帰責事由を判断したり、法執行機関の令状によって匿名運転者ｃに関する記録の対照に応じることができる。この時、クラウドサーバシステム３００に格納された他の匿名運転者に対するプライバシーおよび匿名性は守られる。また、匿名運転者ｃに対しても走行情報を一時的に対照した後の記録は、匿名性を維持した状態で保存可能である。

【0070】

以上開示された発明は、基本的な思想を損なわない範囲内で多様な変形例が可能である。すなわち、上記の実施例はすべて例示的に解釈されなければならず、限定的に解釈されない。したがって、本発明の保護範囲は上述した実施例ではなく添付した請求項によって定められなければならず、添付した請求項に限定された構成要素を均等物に置き換えた場合、これは本発明の保護範囲に属する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】