(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-17
(45)【発行日】2024-06-25
(54)【発明の名称】識別装置、識別システム、識別方法、およびプログラム
(51)【国際特許分類】
A61B 5/117 20160101AFI20240618BHJP
A61B 5/11 20060101ALI20240618BHJP
G06F 21/32 20130101ALI20240618BHJP
【FI】
A61B5/117 100
A61B5/11 230
G06F21/32
(21)【出願番号】P 2022538537
(86)(22)【出願日】2020-07-22
(86)【国際出願番号】 JP2020028346
(87)【国際公開番号】W WO2022018837
(87)【国際公開日】2022-01-27
【審査請求日】2023-01-06
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100109313
【氏名又は名称】机 昌彦
(74)【代理人】
【識別番号】100149618
【氏名又は名称】北嶋 啓至
(72)【発明者】
【氏名】黄 晨暉
(72)【発明者】
【氏名】福司 謙一郎
(72)【発明者】
【氏名】オウ シンイ
(72)【発明者】
【氏名】二瓶 史行
【審査官】▲高▼木 尚哉
(56)【参考文献】
【文献】特開2005-078228(JP,A)
【文献】特開2015-153143(JP,A)
【文献】特開2018-042745(JP,A)
【文献】米国特許出願公開第2018/0089408(US,A1)
【文献】特開2006-087735(JP,A)
【文献】特開2004-344418(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/06-5/22
G06F 21/32
(57)【特許請求の範囲】
【請求項1】
ユーザの歩行波形から歩行イベントを検出する検出手段と、
検出された前記歩行イベントに基づいて前記歩行波形を正規化して正規化波形を生成する波形処理手段と、
前記正規化波形に基づいてユーザを識別する識別手段と、を備え
、
前記波形処理手段は、
足底角の前記歩行波形を正規化して前記正規化波形を生成し、
生成された足底角の前記正規化波形に合わせて、3軸方向の加速度、3軸方向の角速度、および3軸方向の角度の各々の前記歩行波形を正規化して、3軸方向の加速度、3軸方向の角速度、および3軸方向の角度の各々の前記正規化波形を生成する、識別装置。
【請求項2】
前記検出手段は、
足底角の二歩行周期分の前記歩行波形から、第1背屈ピーク、第1底屈ピーク、第2背屈ピーク、および第2底屈ピークを検出し、
前記第1背屈ピークの第1時刻と前記第1底屈ピークの第2時刻との中点の時刻を起点時刻に設定し、
前記第2背屈ピークの第3時刻と前記第2底屈ピークの第4時刻との中点の時刻を終点時刻に設定し、
前記波形処理手段は、
前記起点時刻から前記終点時刻までの一歩行周期分の前記歩行波形を切り出し、
切り出された一歩行周期分の前記歩行波形を、前記起点時刻から前記第2時刻までの第1分割波形と、前記第2時刻から前記第3時刻までの第2分割波形と、前記第3時刻から前記終点時刻までの第3分割波形とに分割し、
前記第1分割波形、前記第2分割波形、および前記第3分割波形の各々を正規化し、
正規化された前記第1分割波形、前記第2分割波形、および前記第3分割波形を統合することによって足底角の前記正規化波形を生成する請求項
1に記載の識別装置。
【請求項3】
ユーザの歩行波形から歩行イベントを検出する検出手段と、
検出された前記歩行イベントに基づいて前記歩行波形を正規化して正規化波形を生成する波形処理手段と、
前記正規化波形に基づいてユーザを識別する識別手段と、を備え、
前記検出手段は、
足底角の二歩行周期分の前記歩行波形から、第1背屈ピーク、第1底屈ピーク、第2背屈ピーク、および第2底屈ピークを検出し、
前記第1背屈ピークの第1時刻と前記第1底屈ピークの第2時刻との中点の時刻を起点時刻に設定し、
前記第2背屈ピークの第3時刻と前記第2底屈ピークの第4時刻との中点の時刻を終点時刻に設定し、
前記波形処理手段は、
前記起点時刻から前記終点時刻までの一歩行周期分の前記歩行波形を切り出し、
切り出された一歩行周期分の前記歩行波形を、前記起点時刻から前記第2時刻までの第1分割波形と、前記第2時刻から前記第3時刻までの第2分割波形と、前記第3時刻から前記終点時刻までの第3分割波形とに分割し、
前記第1分割波形、前記第2分割波形、および前記第3分割波形の各々を正規化し、
正規化された前記第1分割波形、前記第2分割波形、および前記第3分割波形を統合することによって足底角の前記正規化波形を生成する、識別装置。
【請求項4】
前記波形処理手段は、
一歩行周期のうち、前記第1分割波形が30パーセントの分率になり、前記第2分割波形が40パーセントの分率になり、前記第3分割波形が30パーセントの分率になるように、前記第1分割波形、前記第2分割波形、および前記第3分割波形の各々を正規化する請求項
2または3に記載の識別装置。
【請求項5】
前記識別手段は、
登録対象のユーザの3軸方向の加速度、3軸方向の角速度、および3軸方向の角度のうち少なくともいずれかの前記正規化波形から抽出された特徴量からなる予測子ベクトルと、前記登録対象のユーザの識別子とを教師データとして学習させた学習済みモデルに、識別対象のユーザの3軸方向の加速度、3軸方向の角速度、および3軸方向の角度のうち少なくともいずれかの前記正規化波形から抽出された特徴量を入力し、前記識別対象のユーザを識別する請求項1乃至4のいずれか一項に記載の識別装置。
【請求項6】
認証情報が格納されたデータベースにアクセスして、前記識別装置によって識別されたユーザの認証を行う認証手段をさらに備える請求項5に記載の識別装置。
【請求項7】
前記認証手段による認証結果に応じて制御対象装置を制御する制御手段をさらに備える請求項6に記載の識別装置。
【請求項8】
請求項1乃至7のいずれか一項に記載の識別装置と、
3軸方向の加速度および3軸方向の角速度のうち少なくともいずれかを計測するセンサを有するデータ取得装置と、を備える識別システム。
【請求項9】
コンピュータが、
ユーザの歩行波形から歩行イベントを検出し、
検出された前記歩行イベントに基づいて
、足底角の前記歩行波形を正規化して正規化波形を生成し、
生成された足底角の前記正規化波形に合わせて、3軸方向の加速度、3軸方向の角速度、および3軸方向の角度の各々の前記歩行波形を正規化して、3軸方向の加速度、3軸方向の角速度、および3軸方向の角度の各々の前記正規化波形を生成し、
前記正規化波形に基づいてユーザを識別する識別方法。
【請求項10】
コンピュータが、
ユーザの歩行波形から歩行イベントを検出する検出処理と、
検出された前記歩行イベントに基づいて前記歩行波形を正規化して正規化波形を生成する波形処理と、
前記正規化波形に基づいてユーザを識別する識別処理と、を行い、
前記検出処理において、
足底角の二歩行周期分の前記歩行波形から、第1背屈ピーク、第1底屈ピーク、第2背屈ピーク、および第2底屈ピークを検出し、
前記第1背屈ピークの第1時刻と前記第1底屈ピークの第2時刻との中点の時刻を起点時刻に設定し、
前記第2背屈ピークの第3時刻と前記第2底屈ピークの第4時刻との中点の時刻を終点時刻に設定し、
前記波形処理において、
前記起点時刻から前記終点時刻までの一歩行周期分の前記歩行波形を切り出し、
切り出された一歩行周期分の前記歩行波形を、前記起点時刻から前記第2時刻までの第1分割波形と、前記第2時刻から前記第3時刻までの第2分割波形と、前記第3時刻から前記終点時刻までの第3分割波形とに分割し、
前記第1分割波形、前記第2分割波形、および前記第3分割波形の各々を正規化し、
正規化された前記第1分割波形、前記第2分割波形、および前記第3分割波形を統合することによって足底角の前記正規化波形を生成する、識別方法。
【請求項11】
ユーザの歩行波形から歩行イベントを検出する処理と、
検出された前記歩行イベントに基づいて
、足底角の前記歩行波形を正規化して正規化波形を生成する処理と、
生成された足底角の前記正規化波形に合わせて、3軸方向の加速度、3軸方向の角速度、および3軸方向の角度の各々の前記歩行波形を正規化して、3軸方向の加速度、3軸方向の角速度、および3軸方向の角度の各々の前記正規化波形を生成する処理と、
前記正規化波形に基づいてユーザを識別する処理と、をコンピュータに実行させるプログラム。
【請求項12】
ユーザの歩行波形から歩行イベントを検出する検出処理と、
検出された前記歩行イベントに基づいて前記歩行波形を正規化して正規化波形を生成する波形処理と、
前記正規化波形に基づいてユーザを識別する識別処理と、をコンピュータに実行させ、
前記検出処理において、
足底角の二歩行周期分の前記歩行波形から、第1背屈ピーク、第1底屈ピーク、第2背屈ピーク、および第2底屈ピークを検出し、
前記第1背屈ピークの第1時刻と前記第1底屈ピークの第2時刻との中点の時刻を起点時刻に設定し、
前記第2背屈ピークの第3時刻と前記第2底屈ピークの第4時刻との中点の時刻を終点時刻に設定し、
前記波形処理において、
前記起点時刻から前記終点時刻までの一歩行周期分の前記歩行波形を切り出し、
切り出された一歩行周期分の前記歩行波形を、前記起点時刻から前記第2時刻までの第1分割波形と、前記第2時刻から前記第3時刻までの第2分割波形と、前記第3時刻から前記終点時刻までの第3分割波形とに分割し、
前記第1分割波形、前記第2分割波形、および前記第3分割波形の各々を正規化し、
正規化された前記第1分割波形、前記第2分割波形、および前記第3分割波形を統合することによって足底角の前記正規化波形を生成する、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、歩容に基づいて個人を識別する識別装置等に関する。
【背景技術】
【0002】
靴等の履物に荷重計測装置や慣性計測装置を実装し、ユーザの歩容を解析する装置が開発されている。歩容に基づいて個人を識別できれば、指紋認証等のハードウェアを用いなくても、個人認証を行うことができる。
【0003】
特許文献1には、人物の足裏の荷重から、認証対象人物が特定人物であるか判定する、個人認証システムについて開示されている。特許文献1のシステムは、人物の足裏の荷重から、歩行によって足裏に加わる荷重の時間的推移を示す荷重情報を生成する。特許文献1のシステムは、認証対象人物の荷重情報と、予め記憶された判定情報とに基づいて、認証対象人物が特定人物であるか判定する。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1の手法では、歩行中の人物の足裏の荷重を計測する必要があった。足裏に加わる荷重の時間的推移を用いる場合、ユーザの履いている履物の種類に応じて波形に違いが生じるため、十分な精度で個人を識別することは難しかった。
【0006】
本開示の目的は、履物の種類によらず、歩容に基づいて個人を識別できる識別装置等を提供することにある。
【課題を解決するための手段】
【0007】
本開示の一態様の識別装置は、ユーザの歩行波形から歩行イベントを検出する検出部と、検出された歩行イベントに基づいて歩行波形を正規化して正規化波形を生成する波形処理部と、正規化波形に基づいてユーザを識別する識別部と、を備える。
【0008】
本開示の一態様の識別方法においては、コンピュータが、ユーザの歩行波形から歩行イベントを検出し、検出された歩行イベントに基づいて歩行波形を正規化して正規化波形を生成し、正規化波形に基づいてユーザを識別する。
【0009】
本開示のプログラムは、ユーザの歩行波形から歩行イベントを検出する処理と、検出された歩行イベントに基づいて歩行波形を正規化して正規化波形を生成する処理と、正規化波形に基づいてユーザを識別する処理と、をコンピュータに実行させる。
【発明の効果】
【0010】
本開示によれば、履物の種類によらず、歩容に基づいて個人を識別できる識別装置等を提供することが可能になる。
【図面の簡単な説明】
【0011】
【
図1】第1の実施形態に係る識別システムの構成の一例を示す概念図である。
【
図2】第1の実施形態に係る識別システムのデータ取得装置を履物の中に配置する一例を示す概念図である。
【
図3】第1の実施形態に係る識別システムのデータ取得装置のローカル座標系と世界座標系について説明するための概念図である。
【
図4】第1の実施形態に係る識別システムのデータ取得装置の構成の一例を示すブロック図である。
【
図5】第1の実施形態に係る識別システムの識別装置の構成の一例を示すブロック図である。
【
図6】第1の実施形態に係る識別システムのデータ取得装置が生成する足底角について説明するための概念図である。
【
図7】一般的な歩行について説明するための概念図である。
【
図8】第1の実施形態に係る識別システムの識別装置が生成する足底角の歩行波形について説明するためのグラフである。
【
図9】第1の実施形態に係る識別システムの識別装置による正規化について説明するための概念図である。
【
図10】第1の実施形態に係る識別システムの識別装置が用いる学習済みモデルを機械学習によって生成する一例を示す概念図である。
【
図11】第1の実施形態に係る識別システムの識別装置が学習済みモデルに特徴量を入力することによって、ユーザの個人ID(IDentifier)が出力される一例を示す概念図である。
【
図12】第1の実施形態に係る識別システムの識別装置の識別処理について説明するためのフローチャートである。
【
図13】第1の実施形態に係る識別システムの識別装置の正規化処理について説明するためのフローチャートである。
【
図14】第1の実施形態に係る識別システムの識別装置による識別結果を検証するための等価エラー率(EER:Equal Error Rate)について説明するためのグラフである。
【
図15】第1の実施形態に係る識別システムの識別装置による識別結果を検証するための全体精度(OA:Overall Accuracy)について説明するための混同行列の一例である。
【
図16】第1の実施形態に係る識別システムの識別装置による識別結果をEERによって検証した一例を示すグラフである。
【
図17】第1の実施形態に係る識別システムの識別装置による識別結果をOAによって検証した一例を示すグラフである。
【
図18】第2の実施形態に係る認証システムの構成の一例を示す概念図である。
【
図19】第2の実施形態に係る識別装置の構成の一例を示すブロック図である。
【
図20】第2の実施形態に係る識別装置の認証処理について説明するためのフローチャートである。
【
図21】第2の実施形態の認証システムの適用例1について説明するための概念図である。
【
図22】第2の実施形態の認証システムの適用例2について説明するための概念図である。
【
図23】第3の実施形態の構成の一例を示すブロック図である。
【
図24】各実施形態の識別装置を実現するハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【0012】
以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成/動作に関しては繰り返しの説明を省略する場合がある。
【0013】
(第1の実施形態)
まず、本実施形態に係る識別システムについて図面を参照しながら説明する。本実施形態の識別システムは、ユーザの歩行パターンに含まれる特徴(歩容とも呼ぶ)を計測し、計測された歩容を解析することによって、個人識別を行う。以下において、「ユーザ」とは、本実施形態の識別システムの識別対象人物を意味する。
【0014】
図1は、本実施形態の識別システムの全体構成について説明するための概念図である。本実施形態の識別システムは、データ取得装置11、携帯端末12、および識別装置13を備える。
【0015】
データ取得装置11は、靴100等の履物に設置される。データ取得装置11は、加速度センサおよび角速度センサを含む。データ取得装置11は、靴100等の履物を履くユーザの足の動きに関する物理量として、加速度センサおよび角速度センサによって取得された加速度や角速度などの物理量を計測する。データ取得装置11が計測する足の動きに関する物理量には、加速度や角速度に加えて、加速度や角速度を積分することによって計算される速度や角度も含まれる。データ取得装置11は、計測された物理量をデジタルデータ(センサデータとも呼ぶ)に変換する。データ取得装置11は、変換後のセンサデータを携帯端末12に送信する。データ取得装置11は、携帯端末12を介して、識別装置13にセンサデータを送信する。
【0016】
データ取得装置11は、例えば、加速度センサと角速度センサを含む慣性計測装置によって実現される。慣性計測装置の一例として、IMU(Inertial Measurement Unit)が挙げられる。IMUは、3軸の加速度センサと、3軸の角速度センサを含む。また、慣性計測装置の一例として、VG(Vertical Gyro)や、AHRS(Attitude Heading)、GPS/INS(Global Positioning System/Inertial Navigation System)が挙げられる。
【0017】
図2は、データ取得装置11を靴100の中に設置する一例を示す概念図である。
図2の例では、データ取得装置11は、足弓の裏側に当たる位置に設置される。例えば、データ取得装置11は、靴100の中に挿入されるインソールに設置される。例えば、データ取得装置11は、靴100の底面に設置される。例えば、データ取得装置11は、靴100の本体に埋設される。データ取得装置11は、靴100から着脱できてもよいし、靴100から着脱できなくてもよい。なお、データ取得装置11は、足の動きに関するセンサデータを取得できさえすれば、足弓の裏側ではない位置に設置されてもよい。また、データ取得装置11は、ユーザが履いている靴下や、ユーザが装着しているアンクレット等の装飾品に設置されてもよい。また、データ取得装置11は、足に直に貼り付けられたり、足に埋め込まれたりしてもよい。
図2においては、右足側の靴100にデータ取得装置11を設置する例を示すが、両足分の靴100にデータ取得装置11を設置してもよい。両足分の靴100にデータ取得装置11を設置すれば、両足分の足の動きに基づいてユーザを識別できる。
【0018】
図3は、データ取得装置11を足弓の裏側に設置する場合に、データ取得装置11に設定されるローカル座標系(x軸、y軸、z軸)と、地面に対して設定される世界座標系(X軸、Y軸、Z軸)について説明するための概念図である。世界座標系(X軸、Y軸、Z軸)では、ユーザが直立した状態で、ユーザの横方向がX軸方向(右向きが正)、ユーザの正面の方向(進行方向)がY軸方向(前向きが正)、重力方向がZ軸方向(鉛直上向きが正)に設定される。また、本実施形態においては、データ取得装置11を基準とするx方向、y方向、およびz方向からなるローカル座標系を設定する。また、本実施形態においては、x軸を回転軸とする回転をピッチ、y軸を回転軸とする回転をロール、z軸を回転軸とする回転をヨー、と定義する。
【0019】
携帯端末12は、ユーザによって携帯可能な通信機器である。例えば、携帯端末12は、スマートフォンや、スマートウォッチ、携帯電話等の通信機能を有する携帯型の通信機器である。携帯端末12は、ユーザの足の動きに関するセンサデータをデータ取得装置11から受信する。携帯端末12は、受信されたセンサデータを、識別装置13が実装されたサーバ等に送信する。なお、識別装置13の機能は、携帯端末12にインストールされたプログラム等によって実現されていてもよい。その場合、携帯端末12は、受信されたセンサデータを、自身にインストールされたプログラム等によって処理する。
【0020】
識別装置13は、図示しないサーバ等に実装される。例えば、識別装置13は、アプリケーションサーバによって実現されてもよい。例えば、識別装置13は、携帯端末12にインストールされたプログラム等によって実現されてもよい。識別装置13は、ユーザの足の動きに関するセンサデータを携帯端末12から受信する。識別装置13は、受信されたセンサデータの時系列データに基づく波形(歩行波形とも呼ぶ)から、所定の歩行イベントを検出する。
【0021】
識別装置13は、歩行波形から検出された歩行イベントに基づいて、その歩行波形を正規化する。例えば、識別装置13は、検出された歩行イベントに基づいて、一歩行周期分の歩行波形を切り出す。識別装置13は、歩行イベントに基づいて、切り出された歩行波形を分割する。識別装置13は、分割された歩行波形(分割波形とも呼ぶ)ごとに正規化する。識別装置13は、正規化された分割波形を統合して、正規化された一歩行周期の歩行波形(正規化波形とも呼ぶ)を生成する。
【0022】
識別装置13は、正規化波形に基づいて、ユーザを識別する。例えば、識別装置13は、ユーザごとの正規化波形から抽出された特徴量を学習させた学習済みモデルを用いて、ユーザを識別する。識別装置13は、正規化波形から抽出された特徴量を学習させた学習済みモデルを用いる。学習済みモデルは、製品の工場出荷時や、ユーザが識別装置13を使用する前のキャリブレーション時等のタイミングで生成しておけばよい。
【0023】
〔データ取得装置〕
次に、データ取得装置11の詳細について図面を参照しながら説明する。
図4は、データ取得装置11の詳細構成の一例を示すブロック図である。データ取得装置11は、加速度センサ111、角速度センサ112、制御部113、およびデータ送信部115を有する。また、データ取得装置11は、図示しない電源を含む。以下においては、加速度センサ111、角速度センサ112、制御部113、およびデータ送信部115の各々を動作主体として説明するが、データ取得装置11を動作主体とみなしてもよい。
【0024】
加速度センサ111は、3軸方向の加速度を計測するセンサである。加速度センサ111は、計測した加速度を制御部113に出力する。例えば、加速度センサ111には、圧電型や、ピエゾ抵抗型、静電容量型等の方式のセンサを用いることができる。なお、加速度センサ111に用いられるセンサは、加速度を計測できれば、その計測方式に限定を加えない。
【0025】
角速度センサ112は、3軸方向の角速度を計測するセンサである。角速度センサ112は、計測した角速度を制御部113に出力する。例えば、角速度センサ112には、振動型や静電容量型等の方式のセンサを用いることができる。なお、角速度センサ112に用いられるセンサは、角速度を計測できれば、その計測方式に限定を加えない。
【0026】
制御部113は、加速度センサ111および角速度センサ112の各々から、3軸方向の加速度および角速度の各々を取得する。制御部113は、取得した加速度および角速度をデジタルデータに変換し、変換後のデジタルデータ(センサデータとも呼ぶ)をデータ送信部115に出力する。センサデータには、アナログデータの加速度をデジタルデータに変換した加速度データ(3軸方向の加速度ベクトルを含む)と、アナログデータの角速度をデジタルデータに変換した角速度データ(3軸方向の角速度ベクトルを含む)とが少なくとも含まれる。なお、加速度データおよび角速度データには、それらのデータの取得時間が紐付けられる。また、制御部113は、取得した加速度データおよび角速度データに対して、実装誤差や温度補正、直線性補正などの補正を加えたセンサデータを出力するように構成してもよい。また、制御部113は、取得した加速度データおよび角速度データを用いて、3軸方向の角度データを生成してもよい。
【0027】
例えば、制御部113は、データ取得装置11の全体制御やデータ処理を行うマイクロコンピュータまたはマイクロコントローラである。例えば、制御部113は、CPU(Central Processing Unit)やRAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ等を有する。制御部113は、加速度センサ111および角速度センサ112を制御して角速度や加速度を計測する。例えば、制御部113は、計測された角速度および加速度等の物理量(アナログデータ)をAD変換(Analog-to-Digital Conversion)し、変換後のデジタルデータをフラッシュメモリに記憶させる。なお、加速度センサ111および角速度センサ112によって計測された物理量(アナログデータ)は、加速度センサ111および角速度センサ112の各々においてデジタルデータに変換されてもよい。フラッシュメモリに記憶されたデジタルデータは、所定のタイミングでデータ送信部115に出力される。
【0028】
データ送信部115は、制御部113からセンサデータを取得する。データ送信部115は、取得したセンサデータを携帯端末12に送信する。データ送信部115は、ケーブルなどの有線を介してセンサデータを携帯端末12に送信してもよいし、無線通信を介してセンサデータを携帯端末12に送信してもよい。例えば、データ送信部115は、Bluetooth(登録商標)やWiFi(登録商標)などの規格に則した無線通信機能(図示しない)を介して、センサデータを携帯端末12に送信する。なお、データ送信部115の通信機能は、Bluetooth(登録商標)やWiFi(登録商標)以外の規格に則していてもよい。
【0029】
〔識別装置〕
次に、識別装置13の詳細について図面を参照しながら説明する。
図5は、識別装置13の詳細構成の一例を示すブロック図である。識別装置13は、検出部131、波形処理部132、および識別部133を有する。
【0030】
検出部131は、データ取得装置11が取得したセンサデータを携帯端末12から取得する。検出部131は、取得されたセンサデータの座標系を、ローカル座標系から世界座標系に変換する。ユーザが直立した状態では、ローカル座標系(x軸、y軸、z軸)と世界座標系(X軸、Y軸、Z軸)は一致する。ユーザが歩行している間、データ取得装置11の空間的な姿勢が変化するため、ローカル座標系(x軸、y軸、z軸)と世界座標系(X軸、Y軸、Z軸)は一致しない。そのため、検出部131は、データ取得装置11によって取得されたセンサデータを、データ取得装置11のローカル座標系(x軸、y軸、z軸)から世界座標系(X軸、Y軸、Z軸)に変換する。
【0031】
検出部131は、世界座標系に変換されたセンサデータを用いて、歩行波形を生成する。例えば、検出部131は、3軸方向の加速度、角速度、および角度に関する歩行波形を生成する。例えば、検出部131は、加速度および角速度を用いて、地面に対する足底の角度(足底角とも呼ぶ)の歩行波形を生成する。
図6は、検出部131が計算する足底角について説明するための概念図である。足底角は、地面(XY平面)に対する足底の角度であり、姿勢角とも呼ばれる。本実施形態において、足底角の正負は、爪先が踵よりも上に位置する状態(背屈)が負、爪先が踵よりも下に位置する状態(底屈)を正、と定義される。
【0032】
例えば、検出部131は、X軸とY軸の各々の軸方向の加速度の大きさを用いて足底角を計算する。また、例えば、検出部131は、X軸、Y軸、およびZ軸の各々を中心軸とする角速度の値を積分することによって、それらの軸回りの角度を計算してもよい。加速度データおよび角速度データには、色々な方向に変化する高周波および低周波のノイズが入る。そのため、検出部131は、加速度データおよび角速度データにローパスフィルタおよびハイパスフィルタをかけて高周波成分および低周波成分を除去してもよい。高周波成分および低周波成分が除去されれば、ノイズが乗りやすいセンサデータの精度を向上できる。また、検出部131は、加速度データおよび角速度データの各々に相補フィルタをかけて重み付き平均を取ってもよい。相補フィルタをかけて重み付き平均を取れば、センサデータの精度を向上できる。
【0033】
図7は、一般的な歩行周期について説明するための概念図である。
図7は、右足の一歩行周期に対応する。
図7の横軸は、右足の踵が地面に着地した時点を起点とし、次に右足の踵が地面に着地した時点を終点とする右足の一歩行周期を100%として正規化された時間(正規化時間とも呼ぶ)である。一般に、片足の一歩行周期は、足の裏側の少なくとも一部が地面に接している立脚相と、足の裏側が地面から離れている遊脚相とに大別される。立脚相は、さらに、立脚初期T1、立脚中期T2、立脚終期T3、遊脚前期T4に細分される。遊脚相は、さらに、遊脚初期T5、遊脚中期T6、遊脚終期T7に細分される。
【0034】
図7において、(a)は、右足の踵が接地する状況を表す(踵接地)。(b)は、右足の足裏の全面が接地した状態で、左足の爪先が地面から離れる状況を表す(反対足爪先離地)。(c)は、右足の足裏の全面が接地した状態で、右足の踵が持ち上がる状況を表す(踵持ち上がり)。(d)は、左足の踵が接地した状況である(反対足踵接地)。(e)は、左足の足裏の全面が接地した状態で、右足の爪先が地面から離れる状況を表す(爪先離地)。(f)は、左足の足裏の全面が接地した状態で、左足と右足が交差する状況を表す(足交差)。(g)は、右足の踵が接地する状況を表す(踵接地)。
【0035】
図8は、一歩行周期分の歩行波形(足底角)について説明するためのグラフである。歩行波形が極小となる時刻t
dは、立脚相開始のタイミングに相当する。歩行波形が極大となる時刻t
bは、遊脚相開始のタイミングに相当する。立脚相開始の時刻t
dと遊脚相開始の時刻t
bとの中点の時刻が、立脚相の中央のタイミングに相当する。本実施形態においては、立脚相の中央のタイミングの時刻を、一歩行周期の起点の時刻(起点時刻t
mとも呼ぶ)に設定する。また、本実施形態においては、起点時刻t
mのタイミングの次の立脚相の中央のタイミングの時刻を、一歩行周期の終点の時刻(終点時刻t
m+1とも呼ぶ)に設定する。
【0036】
図9は、一般的な歩行周期と、実測された一歩行周期における足底角の歩行波形との関係について説明するための概念図である。上段の模式図は、立脚相の中央のタイミングの起点時刻t
mを起点とし、次の立脚相の中央のタイミングの終点時刻t
m+1を終点とする一歩行周期を表す。中段のグラフは、実測された足底角の一歩行周期分の歩行波形である。中段のグラフの横軸は、足底角を計算するためのセンサデータが実測された時間に相当する。中段のグラフにおいては、歩行イベントを示す極値が現れるタイミングが上段の歩行周期とずれている。下段のグラフは、歩行イベントを示す極値が現れるタイミングを正規化した後の足底角の一歩行周期分の歩行波形(正規化波形とも呼ぶ)である。下段のグラフでは、歩行イベントを示す極値が現れるタイミングが、上段の歩行周期と一致する。
【0037】
例えば、検出部131は、一歩行周期分の足底角の歩行波形から、極小(第1背屈ピーク)となる時刻tdと、第1背屈ピークの次に極大(第1底屈ピーク)となる時刻tbとを検出する。さらに、検出部131は、その次の一歩行周期分の足底角の歩行波形から、第1底屈ピークの次に極大(第2背屈ピーク)となる時刻td+1と、第2背屈ピークの次に極大(第2底屈ピーク)となる時刻tb+1とを検出する。検出部131は、時刻tdと時刻tbの中点の時刻を、一歩行周期の起点時刻tmに設定する。また、検出部131は、時刻td+1と時刻tb+1の中点の時刻を、一歩行周期の終点時刻tm+1に設定する。
【0038】
波形処理部132は、起点時刻tmから終点時刻tm+1までの一歩行周期分の歩行波形を切り出す。波形処理部132は、実測された歩行波形の時間を歩行周期に変換するために、足底角の歩行波形を正規化する。波形処理部132は、3軸方向の加速度、角速度、および角度の歩行波形についても、足底角と同様に正規化する。
【0039】
例えば、波形処理部132は、第1背屈ピークの時刻t
dと第1底屈ピークの時刻t
bの中点の時刻t
mを起点とし、第2背屈ピークの時刻t
d+1と第2底屈ピークの時刻t
b+1の中点の時刻t
m+1を終点とする一歩行周期分の歩行波形データを切り出す。波形処理部132は、切り出された一歩行周期分の歩行波形を、起点時刻t
mから時刻t
bまでの区間と、時刻t
bから時刻t
d+1までの区間と、時刻t
d+1から終点時刻t
m+1までの区間とに分割する。起点時刻t
mから時刻t
bまでの区間の波形を第1分割波形、時刻t
bから時刻t
d+1までの区間の波形を第2分割波形、時刻t
d+1から終点時刻t
m+1までの区間の波形を第3分割波形、と呼ぶ。波形処理部132は、起点時刻t
mから時刻t
bまでの区間が一歩行周期の30%分、時刻t
bから時刻t
d+1までの区間が一歩行周期の40%分、時刻t
d+1から終点時刻t
m+1までの区間が一歩行周期の30%分になるように、各分割波形を正規化する。波形処理部132は、正規化後の分割波形を統合し、正規化された一歩行周期分の歩行波形(正規化波形とも呼ぶ)を生成する。
図7に対応させると、一歩行周期の30%は(e)の爪先離地のタイミングに相当し、一歩行周期の70%は(a)や(g)の踵接地のタイミングに相当する。
【0040】
識別部133は、正規化波形に基づいて、ユーザを識別する。例えば、識別部133は、3軸方向の加速度、角速度、および角度のうち少なくともいずれかの正規化波形に基づいて、ユーザの識別を行う。例えば、識別部133は、予め計測された正規化波形と、ユーザの正規化波形とを比較して、それらの一致度に基づいてユーザを識別する。例えば、識別部133は、予め計測された正規化波形から抽出された特徴量と、ユーザの正規化波形から抽出された特徴量とを比較して、それらの一致度に基づいてユーザを識別する。
【0041】
例えば、識別部133は、ユーザごとの正規化波形から抽出された特徴量を学習させた学習済みモデルに、識別対象のユーザの歩行に基づく正規化波形から抽出される特徴量を入力し、その推定結果に応じてユーザを識別する。識別部133は、正規化された歩行波形から抽出された特徴量を学習させた学習済みモデルを用いる。例えば、学習済みモデルは、識別対象のユーザに関して、データ取得装置11によって取得された複数の物理量のうち、いくつかの物理量の正規化波形から抽出された特徴量を用いて学習されたモデルである。例えば、学習済みモデルは、識別対象のユーザの履物に設置されたデータ取得装置11によって計測された物理量の正規化波形から抽出された特徴量(予測子とも呼ぶ)を組み合わせた予測子ベクトルを学習させたモデルである。例えば、学習済みモデルは、3軸方向の加速度、3軸方向の角速度、および3軸方向の足底角のうち少なくともいずれかの正規化波形から抽出された特徴量(予測子)を組み合わせた予測子ベクトルを学習させたモデルである。
【0042】
図10は、学習装置15が、予測子ベクトルと個人識別ラベルを学習する一例を示す概念図である。例えば、個人識別ラベルは、ユーザIDや、氏名、ニックネーム等の個人を識別するラベルである。
図11は、学習装置15に学習させた学習済みモデル150に、複数の物理量の正規化波形から抽出された特徴量1~nを入力し、個人識別ラベルが出力される一例を示す概念図である(nは自然数)。
【0043】
学習装置15は、複数の物理量に基づく正規化波形から抽出された特徴量(予測子)を組み合わせた予測子ベクトルと、個人識別のための個人識別ラベルとを訓練データとした学習を行う。学習装置15は、学習によって、実測された歩行波形に基づく正規化波形から抽出された特徴量を入力した際に、個人識別ラベルを出力する学習済みモデル150を生成する。例えば、学習装置15は、複数の物理量のうち、遊脚相における横方向加速度や、内外転角度、垂直方向加速度から抽出される特徴量を説明変数とし、ユーザの個人識別ラベルを応答変数とする教師あり学習によって、学習済みモデル150を生成する。例えば、遊脚相における横方向加速度や、内外転角度、垂直方向加速度から抽出される特徴量は、遊脚相におけるそれらの物理量の最大値である。なお、学習装置15には、ここで挙げた物理量の組み合わせに限定されず、歩容に基づいて個人識別しやすい物理量を組み合わせた予測子ベクトルを学習されればよい。
【0044】
(動作)
次に、本実施形態の識別システムが備える識別装置13の動作について図面を参照しながら説明する。以下においては、識別装置13がユーザを識別する識別処理と、識別処理に含まれる正規化処理とに分けて説明する。
【0045】
〔識別処理〕
図12は、識別装置13の識別処理について説明するためのフローチャートである。
図12のフローチャートに沿った説明においては、識別装置13を動作主体として説明する。
【0046】
図12において、まず、識別装置13は、ユーザの足の動きに関するセンサデータを取得する(ステップS111)。例えば、足の動きに関するセンサデータは、3軸方向の加速度や角速度、角度等の物理量に関する。
【0047】
次に、識別装置13は、センサデータの座標系を、データ取得装置11のローカル座標系から世界座標系に変換する(ステップS112)。
【0048】
次に、識別装置13は、世界座標系に変換後のセンサデータの時系列データ(歩行波形)を生成する(ステップS113)。
【0049】
次に、識別装置13は、生成された歩行波形に正規化処理を実行する(ステップS114)。正規化処理の詳細については後述する。
【0050】
次に、識別装置13は、正規化波形から特徴量(予測子)を抽出する(ステップS115)。
【0051】
次に、識別装置13は、抽出された特徴量(予測子)を学習済みモデルに入力し、ユーザを識別する(ステップS116)。
【0052】
〔正規化処理〕
図13は、正規化処理について説明するためのフローチャートである。
図13の正規化処理は、
図12のフローチャートのステップS114の正規化処理の詳細である。
図13のフローチャートに沿った説明においては、識別装置13を動作主体として説明する。
【0053】
図13において、まず、識別装置13は、歩行波形に基づいて、足底角の時系列データ(歩行波形)を生成する(ステップS121)。
【0054】
次に、識別装置13は、二歩行周期分の足底角の歩行波形において、極小となる時刻(時刻td、時刻td+1)と極大になる時刻(時刻tb、時刻tb+1)を検出する(ステップS122)。
【0055】
次に、識別装置13は、時刻tdと時刻tbの中点の時刻tmと、時刻td+1と時刻tb+1の中点の時刻tm+1を計算する(ステップS123)。
【0056】
次に、識別装置13は、時刻tmから時刻tm+1までの波形を、一歩行周期分の歩行波形として切り出す(ステップS124)。
【0057】
次に、識別装置13は、時刻tm~時刻tbの区間、時刻tb~時刻td+1の区間、時刻td+1~時刻tm+1の区間で、一歩行周期分の歩行波形を分割する(ステップS125)。
【0058】
次に、識別装置13は、分割波形ごとに正規化する(ステップS126)。
【0059】
次に、識別装置13は、正規化された分割波形を統合し、足底角の正規化波形を生成する(ステップS127)。
【0060】
次に、識別装置13は、足底角の正規化波形に合わせて、他の物理量に関する歩行波形を正規化する(ステップS128)。他の歩行波形とは、3軸方向の加速度、角速度、および角度等の歩行波形である。
【0061】
〔検証例〕
次に、本実施形態の検証例について一例を挙げて説明する。本検証例では、76人の被験者に対して歩行時の足の動きに関する物理量(加速度や角速度)を計測し、それらの被験者の歩行波形を取得した。本検証例では、正規化された歩行波形(以下、正規化波形と呼ぶ)を用いた例と、正規化されていない歩行波形(以下、非正規化波形と呼ぶ)を用いた例とを比較する。
【0062】
本検証例では、76人の被験者が靴Aを履いて歩行した際に取得された歩行波形から抽出された特徴量を学習用データとして用いて、学習済みモデルを生成した。また、本検証例では、それらの被験者のうち51人が靴Bを履いて歩行した際に取得された歩行波形から抽出された特徴量を検証用データとして用いた。正規化波形を用いた例では、被験者が靴Aを履いて歩行した際の歩行波形に基づく正規化波形から抽出された特徴量を学習用データとし、被験者が靴Bを履いて歩行した際の歩行波形に基づく正規化波形から抽出された特徴量を検証用データとした。非正規化波形を用いた例では、被験者が靴Aを履いて歩行した際の歩行波形(非正規化波形)から抽出された特徴量を学習用データとし、被験者が靴Bを履いて歩行した際の歩行波形(非正規化波形)から抽出された特徴量を検証用データとした。
【0063】
図14は、本検証例において用いる等価エラー率(EER:Equal Error Rate)について説明するためのグラフである。EERは、識別精度の目安である。EERの値が小さいほど、識別精度が高い。
図14の実線の曲線は、ROC(Receiver Operating Characteristic)曲線である。
図14のグラフにおいて、横軸の偽陽性率をx、縦軸の真陽性率をyとする。本検証例では、点(1、0)と点(0、1)を結ぶ直線(破線:y=-x+1)とROC曲線との交点のx座標(偽陽性率)がEERに相当する。
【0064】
図15は、本検証例において用いる全体精度(OA:Overall Accuracy)について説明するための混同行列の一例である。OAは、識別における正解数をデータ数で割った値に相当する。OAの値が大きいほど、識別精度が高い。なお、OAの替わりに、カテゴリごとの精度を足し合わせてカテゴリ数で割った平均精度(AA:Average Accuracy)を用いてもよい。
図15の混同行列は、被験者を1~10のクラスに分類する例である。「予測されたクラス」は、本実施形態の識別システムにより判定される被験者のクラスである。「真のクラス」は、被験者の実際のクラスである。なお、
図15の混同行列においては、各マスの数字を省略する。
図15の混同行列において、ハッチングをかけたマスが正解であり、その他のマスが不正解である。本検証例では、ハッチングをかけたマスの数字の総和(正解数)をデータ数で割った値がOAに相当する。
【0065】
本検証例において、予測子ベクトルの予測子の変量(特徴量)は、3軸方向の加速度、角速度、および足角に関する歩行波形の強度の値である。予測子ベクトルの次元は、歩行波形を分解することで得られる予測子ベクトルの数に相当する。3軸方向の加速度、角速度、および足角に関する歩行波形を用いる場合、9通りの歩行波形があるので、歩行波形を0%と50%の2点で分解すると、予測子ベクトルの次元は最小(2×9=18)になる。例えば、1歩行周期(100%)の歩行波形を1%刻みで分解すると、一つの歩行波形から100次元の予測子ベクトルが得られるため、3軸方向の加速度、角速度、および足底角に関する歩行波形から900個の予測子が得られる。例えば、1歩行周期(100%)の歩行波形を2%刻みで分解すると、一つの歩行波形から100次元の予測子ベクトルが得られるため、3軸方向の加速度、角速度、および足底角に関する歩行波形から450個の予測子が得られる。
【0066】
図16は、靴Aを履いて歩行する被験者の歩行波形から抽出された特徴量を用いて学習された学習済みモデルに、靴Bを履いて歩行する被験者の歩行波形から抽出された特徴量を入力した場合のEERについて検証した結果を示すグラフである。
図16において、正規化波形から抽出された特徴量を用いた検証結果におけるEERは実線で示し、非正規化波形から抽出された特徴量を用いた検証結果におけるEERは破線で示す。
図16のように、正規化波形を用いた方が、非正規化波形を用いた場合よりもEERが小さかった。すなわち、EERに関しては、本実施形態のように正規化波形を用いた方が良好な結果が得られた。
【0067】
図17は、靴Aを履いて歩行する被験者の歩行波形から抽出された特徴量を用いて学習された学習済みモデルに、靴Bを履いて歩行する被験者の歩行波形から抽出された特徴量を入力した場合のOAについて検証した結果を示すグラフである。
図17において、正規化波形から抽出された特徴量を用いた検証結果におけるOAは実線で示し、非正規化波形から抽出された特徴量を用いた検証結果におけるOAは破線で示す。
図17のように、正規化波形を用いた方が、非正規化波形を用いた場合よりもOAが大きかった。すなわち、OAに関しても、本実施形態のように正規化波形を用いた方が良好な結果が得られた。
【0068】
本検証例では、靴Aを履いた歩行に基づく歩行波形を学習させた学習済みモデルに、靴Bを履いた歩行に基づく歩行波形から抽出された予測子を入力してユーザを識別する例について説明した。上述のように、靴が異なる場合であっても、非正規化波形を用いるよりも、正規化波形を用いた方が、EERが低下し、OAが増加した。すなわち、本実施形態によれば、靴が異なる場合であっても、歩容に基づいて個人を識別しやすくなる。
【0069】
以上のように、本実施形態の識別システムは、データ取得装置、携帯端末、および識別装置を備える。識別装置は、検出部、波形処理部、および識別部を有する。検出部は、ユーザの歩行波形から歩行イベントを検出する。波形処理部は、検出された歩行イベントに基づいて歩行波形を正規化して正規化波形を生成する。識別部は、正規化波形に基づいてユーザを識別する。
【0070】
本実施形態の一態様において、波形処理部は、足底角の歩行波形を正規化して正規化波形を生成する。波形処理部は、生成された足底角の正規化波形に合わせて、3軸方向の加速度、3軸方向の角速度、および3軸方向の角度の各々の歩行波形を正規化して、3軸方向の加速度、3軸方向の角速度、および3軸方向の角度の各々の正規化波形を生成する。
【0071】
本実施形態の一態様において、検出部は、足底角の二歩行周期分の歩行波形から、第1背屈ピーク、第1底屈ピーク、第2背屈ピーク、および第2底屈ピークを歩行イベントとして検出する。波形処理部は、第1背屈ピークの第1時刻と第1底屈ピークの第2時刻との中点の起点時刻から、第2背屈ピークの第3時刻と第2底屈ピークの第4時刻との中点の終点時刻までの一歩行周期分の歩行波形を切り出す。波形処理部は、切り出された一歩行周期分の歩行波形を、起点時刻から第2時刻までの第1分割波形と、第2時刻から第3時刻までの第2分割波形と、第3時刻から終点時刻までの第3分割波形とに分割する。波形処理部は、第1分割波形、第2分割波形、および第3分割波形の各々を正規化する。波形処理部は、正規化された第1分割波形、第2分割波形、および第3分割波形を統合することによって足底角の正規化波形を生成する。例えば、波形処理部は、一歩行周期のうち、第1分割波形が30%の分率になり、第2分割波形が40%の分率になり、第3分割波形が30%の分率になるように、第1分割波形、第2分割波形、および第3分割波形の各々を正規化する。
【0072】
本実施形態の一態様において、識別部は、識別対象のユーザの3軸方向の加速度、3軸方向の角速度、および3軸方向の角度のうち少なくともいずれかの正規化波形から抽出された特徴量を学習済みモデルに入力し、識別対象のユーザを識別する。識別部は、登録対象のユーザの3軸方向の加速度、角速度、および角度のうち少なくともいずれかの正規化波形から抽出された特徴量からなる予測子ベクトルと、登録対象のユーザの識別子とを教師データとして学習させた学習済みモデルを用いる。
【0073】
本実施形態によれば、歩行イベントに基づいて歩行波形を正規化することによって、歩行波形に及ぶ履物の影響を低減できる。その結果、本実施形態によれば、履物の種類によらず、歩容に基づいて個人を識別できる。
【0074】
(第2の実施形態)
次に、第2の実施形態に係る識別システム(認証システムとも呼ぶ)について図面を用いて説明する。本実施形態は、識別装置の識別結果を用いて認証を行い、認証結果に応じた制御を行う点で、第1の実施形態とは異なる。本実施形態の認証システムは、ユーザの歩行パターンに含まれる特徴(歩容とも呼ぶ)を計測し、計測された歩容を解析することによって、個人識別を行う。そして、識別されたユーザを認証し、認証結果に応じて制御対象装置を制御する。以下において、「ユーザ」とは、本実施形態の認証システムの認証対象人物を意味する。
【0075】
(構成)
図18は、本実施形態の認証システムの全体構成について説明するための概念図である。本実施形態の認証システムは、靴200等の履物に設置されたデータ取得装置21、ユーザが携帯する携帯端末22、および識別装置23を備える。
図18には、本実施形態の認証システムに加えて、データベース24および制御対象装置25を図示する。識別装置23は、データベース24および制御対象装置25に接続される。データベース24には、認証対象のユーザの認証情報が登録される。制御対象装置25は、認証結果に応じた制御を受ける装置である。なお、本実施形態の
認証システムに、データベース24や制御対象装置25を含めてもよい。
【0076】
データ取得装置21は、ユーザの足の動きに関するセンサデータを取得する。データ取得装置21は、取得されたセンサデータを、携帯端末22を介して識別装置23に送信する。識別装置23は、受信されたセンサデータに基づいてユーザを識別する。識別装置23によって識別されたユーザは、データベース24に保存された認証情報と照合され、照合結果に応じて何らかの認証を受ける。識別装置23は、ユーザが認証されると、認証結果に応じて制御対象装置25を制御する。なお、データ取得装置21および携帯端末22の各々は、第1の実施形態の識別システムのデータ取得装置11および携帯端末12の各々と同様の構成である。そのため、以下においては、データ取得装置21および携帯端末22については説明を省略し、識別装置23について説明する。
【0077】
〔識別装置〕
図19は、識別装置23の詳細構成の一例を示すブロック図である。識別装置23は、検出部231、波形処理部232、識別部233、認証部234、および制御部235を有する。
【0078】
検出部231は、データ取得装置21からセンサデータを取得する。検出部231は、取得されたセンサデータの座標系を、ローカル座標系から世界座標系に変換する。検出部231は、世界座標系に変換されたセンサデータを用いて、歩行波形を生成する。検出部231は、3軸方向の加速度、角速度、および角度に関する歩行波形を生成する。検出部231は、加速度および角速度の時系列データを用いて、足底角の歩行波形を生成する。
【0079】
検出部231は、足底角の歩行波形から、足底角が極小(背屈ピーク)となる時刻tdと、その背屈ピークの次に足底角が極大(底屈ピーク)となる時刻tbとを検出する。さらに、検出部231は、その底屈ピークの次の背屈ピークの時刻td+1と、その背屈ピークの次の底屈ピークの時刻tb+1とを検出する。検出部231は、時刻tdと時刻tbの中点の時刻を、一歩行周期の起点時刻tmに設定する。また、検出部231は、時刻td+1と時刻tb+1の中点の時刻を、一歩行周期の終点時刻tm+1に設定する。
【0080】
波形処理部232は、立脚相の中央の時刻tmを起点とする一歩行周期分の歩行波形を切り出す。すなわち、波形処理部232は、立脚相の中央の時刻tmを起点とし、次の立脚相の中央の時刻tm+1を終点とする一歩行周期分の歩行波形を切り出す。波形処理部232は、実測された歩行波形の時間を歩行周期に変換するために、足底角の歩行波形を正規化する。波形処理部232は、3軸方向の加速度、角速度、および角度の歩行波形についても、足底角と同様に正規化する。
【0081】
識別部233は、正規化された歩行波形(正規化波形とも呼ぶ)に基づいて、ユーザを識別する。例えば、識別部233は、3軸方向の加速度、角速度、および角度のうち少なくともいずれかの正規化波形に基づいて、ユーザの識別を行う。例えば、識別部233は、予め計測された正規化波形と、ユーザの正規化波形とを比較して、それらの一致度に基づいてユーザを識別する。例えば、識別部233は、予め計測された正規化波形から抽出された特徴量と、ユーザの正規化波形から抽出された特徴量とを比較して、それらの一致度に基づいてユーザを識別する。例えば、識別部233は、ユーザごとの正規化波形から抽出された特徴量を学習させた学習済みモデルに、ユーザの正規化波形から抽出される特徴量を入力し、その推定結果に応じてユーザを識別する。
【0082】
認証部234は、識別部233の識別結果に応じてユーザの認証を行う。認証部234は、識別部233によって識別されたユーザが、データベース24に格納された認証情報に登録されているか照合する。識別部233によって識別されたユーザが認証された場合、認証部234は、制御対象装置25の制御指示を制御部235に出力する。一方、識別部233によって識別されたユーザが認証されなかった場合、認証部234は、制御対象装置25の制御指示を制御部235に出力しない。
【0083】
制御部235は、認証部234からの制御指示に応じて、制御対象装置25を制御する。なお、認証のみを行う場合、制御部235を省略してもよい。
【0084】
例えば、制御対象装置25がドアのオートロックの場合、制御部235は、認証部234からの制御指示に応じて、ドアのオートロックを解錠する。例えば、制御対象装置25がコンピュータの場合、制御部235は、認証部234からの制御指示に応じて、コンピュータに対してアクセス可能にする。例えば、制御対象装置25が自動車の場合、制御部235は、認証部234からの制御指示に応じて、自動車のドアを解錠させたり、自動車のエンジンをかけたりする。なお、識別部233によって識別されたユーザが認証されなかった場合、制御部235は、ドアのオートロックを施錠したり、コンピュータに対してアクセス不可にしたり、自動車のエンジンがかからないように制御してもよい。ここで挙げた制御対象装置25の制御例は一例であって、本実施形態における制御を限定するものではない。
【0085】
(動作)
次に、本実施形態の認証システムが備える識別装置23の動作について図面を参照しながら説明する。以下においては、識別装置23によって識別されたユーザを認証する認証処理について説明する。識別装置23がユーザを識別する識別処理と、識別処理に含まれる正規化処理とについては、第1の実施形態と同様であるので、説明を省略する。
【0086】
〔認証処理〕
図20は、認証処理について説明するためのフローチャートである。
図20の認証処理は、
図12のステップS116に続く処理である。
図20のフローチャートに沿った説明においては、識別装置23を動作主体として説明する。
【0087】
図20において、まず、識別装置23は、データベース24に接続し、識別されたユーザを照合する(ステップS211)。
【0088】
ここで、認証結果がOKの場合(ステップS212でYes)、識別装置23は、認証結果に応じて制御対象装置25の制御を実行する(ステップS213)。一方、認証結果がNGの場合(ステップS212でNo)、識別装置23は、制御対象装置25を制御しない。なお、認証結果がNGの場合(ステップS212でNo)、識別装置23は、認証結果がNGの場合に実行する制御を、制御対象装置25に対して行ってもよい。
【0089】
(適用例)
次に、本実施形態の認証システムの適用例について図面を参照しながら説明する。本適用例においては、自動ドアや自動車のオートロックを一例に挙げて説明する。本適用例においては、制御対象装置25が実装された自動ドアや自動車の近傍に認証領域を設定し、その認証領域に進入したユーザを認証する例について説明する。
【0090】
〔適用例1〕
図21は、本実施形態の認証システムを自動ドア211のオートロックに適用する適用例1について説明するための概念図である。
図21は、携帯端末22を携帯し、データ取得装置21が実装された靴200を履いて歩行するユーザが、自動ドア211に接近してくる様子を示す。携帯端末22は、ユーザが手で保持している必要はなく、ユーザが携帯していればよい。携帯端末22をユーザに携帯させずに、データ取得装置21から送信されたセンサデータを受信する受信装置(図示しない)を自動ドア211の近傍に設置してもよい。
図21には、自動ドア211の近傍を撮影するカメラ26を図示する。例えば、カメラ26は、可視領域や赤外領域に感度があり、撮影された画像を識別装置23等に送信する。
【0091】
自動ドア211には、自動ドア211の解錠/施錠を制御する制御対象装置25(図示しない)が実装されているものとする。また、自動ドア211には、自動ドア211が解錠されている場合に、歩行者の検出に応じて自動ドア211の開閉制御をする開閉機構(図示しない)が設けられているものとする。自動ドア211の開閉機構は、制御対象装置25によって制御されてもよい。自動ドア211の近傍には、ユーザ認証を行う範囲(認証領域221)が設定されている。例えば、認証領域221は、GPS(Global Positioning System)等によって得られた位置情報に基づいて、自動ドア211と携帯端末22の位置関係に応じて設定されればよい。また、認証領域221は、自動ドア211の近傍に設けられたカメラ26によって撮影された画像に基づいて設定されてもよい。
【0092】
ユーザが認証領域221に進入すると、識別装置23は、携帯端末22を介して受信されたセンサデータの歩行波形から正規化波形を生成する。識別装置23は、生成された正規化波形を用いてユーザを識別する。識別装置23は、図示しないデータベース24に接続し、識別されたユーザを照合する。例えば、ユーザが認証されると、識別装置23は、制御対象装置25を制御する。制御対象装置25は、識別装置23の制御に応じて、自動ドア211を解錠する。例えば、ユーザが認証されなかった場合、識別装置23は、制御対象装置25を制御し、自動ドア211を施錠させてもよい。
【0093】
本適用例は、マンションやアパートなどの住宅、病院や工場などの専用施設、学校などの公共施設、重要施設等のように、入場できるユーザが制限される場面に好適である。特に、本適用例は、履物の種類によらずにユーザ認証できるため、ユーザの履物が頻繁に入れ替わる利用シーンに好適である。例えば、介護福祉施設や、医療現場、工場等では、色々な靴に履き替えて広範囲を移動することが多いため、本適用例が好適である。例えば、食品加工工場などに本適用例を導入すれば、食品に触れた手でパスコードを入力したり、指紋や掌紋を認証したりする必要がなくなるため、十分なセキュリティが得られた状態で、作業者が移動しやすくなる。例えば、医療現場に本適用例を導入すれば、十分なセキュリティが得られた状態で、医療スタッフが安全に移動しやすくなる。
【0094】
例えば、自動ドア211の近傍に設置されたカメラ26によって撮影された画像に含まれるユーザの顔画像に基づく認証と、識別装置23による歩容認証とを組み合わせて、ユーザ認証を行ってもよい。例えば、カメラ26による撮影範囲を認証領域221よりも遠方に及ぶように設定し、顔画像に基づく顔認証がクリアされた場合において、識別装置23による歩容認証を行うように設定してもよい。例えば、カメラ26による撮影範囲を認証領域221の範囲内に設定し、識別装置23による歩容認証がクリアされた場合において、顔画像に基づく顔認証を行うように設定してもよい。例えば、識別装置23による歩容認証と、顔画像に基づく顔認証とが両方クリアされた場合に、自動ドア211を解錠するように設定してもよい。識別装置23による歩容認証と、カメラ26によって撮影された顔画像に基づく顔認証とを組み合わせれば、セキュリティをより向上できる。
【0095】
〔適用例2〕
図22は、本実施形態の認証システムを自動車212の鍵に適用する適用例2について説明するための概念図である。
図22は、携帯端末22を携帯し、データ取得装置21が実装された靴200を履いて歩行するユーザが、自動車212に接近してくる様子を示す。携帯端末22は、ユーザが手で保持している必要はなく、ユーザが携帯していればよい。携帯端末22をユーザに携帯させずに、データ取得装置21から送信されたセンサデータを受信する受信装置(図示しない)を自動車212に設置してもよい。
【0096】
自動車212には、自動車212のドアの解錠/施錠を制御する制御対象装置25(図示しない)が実装されているものとする。自動車212の周囲には、ユーザ認証を行う範囲(認証領域222)が設定されている。例えば、認証領域222は、GPS等によって得られた位置情報に基づいて、自動車212と携帯端末22の位置関係に応じて設定されればよい。また、認証領域222は、自動車212に設けられたカメラ(図示しない)によって撮影された画像に基づいて設定されてもよい。
【0097】
ユーザが認証領域222に進入すると、識別装置23は、携帯端末22を介して受信されたセンサデータの歩行波形から正規化波形を生成する。識別装置23は、生成された正規化波形を用いてユーザを識別する。識別装置23は、図示しないデータベース24に接続し、識別されたユーザを照合する。例えば、ユーザが認証されると、識別装置23は、制御対象装置25を制御する。制御対象装置25は、識別装置23の制御に応じて、自動車212のドアを解錠する。例えば、ユーザが認可されなかった場合、識別装置23は、制御対象装置25を制御し、自動車212のドアを施錠させてもよい。
【0098】
本適用例によれば、自動車212の駐車場所の路面が異なる場合であっても、ユーザ認証を行うことが可能になる。例えば、駐車場所の路面は、アスファルトや、土、砂利など千差万別である。人の歩行波形は、路面の状況に応じて変化するが、歩行波形を正規化すれば、ある程度の路面状況の変化にも対応できる。
【0099】
例えば、識別装置23による歩容認証と、鍵とを組み合わせれば、セキュリティをより向上できる。例えば、歩容認証されたユーザのみが、鍵を用いてドアの開閉やエンジンの始動をできるように設定すれば、自動車212の盗難や、運転免許証を保持していない人物が自動車212を運転することを防止できる。例えば、自動車212が駐車された場所の路面状態が悪く、ユーザが自動車212まで通常の歩行状態で接近できずに、歩容認証を行うことができない場合も想定される。そのような場合に備えて、所定のパスコード等を携帯端末22に入力することによって、歩容認証をせずに、鍵のみで自動車212のドアの開閉を行うことができるように設定してもよい。
【0100】
以上のように、本実施形態の識別システムは、データ取得装置、携帯端末、および識別装置を備える。識別装置は、検出部、波形処理部、識別部、認証部、および制御部を有する。検出部は、ユーザの歩行波形から歩行イベントを検出する。波形処理部は、検出された歩行イベントに基づいて歩行波形を正規化して正規化波形を生成する。識別部は、正規化波形に基づいてユーザを識別する。認証部は、認証情報が格納されたデータベースにアクセスして、識別装置によって識別されたユーザの認証を行う。制御部は、認証部による認証結果に応じて制御対象装置を制御する。
【0101】
本実施形態によれば、歩行イベントに基づいて歩行波形を正規化することによって、歩行波形に及ぶ履物の影響を低減できる。その結果、本実施形態によれば、履物の種類によらず、歩容に基づいて個人を識別でき。さらに識別された個人を認証できる。
【0102】
(第3の実施形態)
次に、第3の実施形態に係る識別装置について図面を参照しながら説明する。本実施形態の識別装置は、第1~第2の実施形態の識別装置を簡略化した構成である。
図23は、本実施形態の識別装置33の構成の一例を示すブロック図である。識別装置33は、検出部331、波形処理部332、および識別部333を備える。
【0103】
検出部331は、ユーザの歩行波形から歩行イベントを検出する。波形処理部332は、検出された歩行イベントに基づいて歩行波形を正規化して正規化波形を生成する。識別部333は、正規化波形に基づいてユーザを識別する。
【0104】
本実施形態によれば、歩行波形を正規化することによって、履物の種類によらず、歩容に基づいて個人を識別できる。
【0105】
(ハードウェア)
ここで、本発明の各実施形態に係る識別装置を実現するハードウェア構成について、
図24の情報処理装置90を一例として挙げて説明する。なお、
図24の情報処理装置90は、各実施形態の識別装置を実現するための構成例であって、本発明の範囲を限定するものではない。
【0106】
図24のように、情報処理装置90は、プロセッサ91、主記憶装置92、補助記憶装置93、入出力インターフェース95、および通信インターフェース96を備える。
図24においては、インターフェースをI/F(Interface)と略して表記する。プロセッサ91、主記憶装置92、補助記憶装置93、入出力インターフェース95、および通信インターフェース96は、バス98を介して互いにデータ通信可能に接続される。また、プロセッサ91、主記憶装置92、補助記憶装置93および入出力インターフェース95は、通信インターフェース96を介して、インターネットやイントラネットなどのネットワークに接続される。
【0107】
プロセッサ91は、補助記憶装置93等に格納されたプログラムを主記憶装置92に展開し、展開されたプログラムを実行する。本実施形態においては、情報処理装置90にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ91は、本実施形態に係る識別装置による処理を実行する。
【0108】
主記憶装置92は、プログラムが展開される領域を有する。主記憶装置92は、例えばDRAM(Dynamic Random Access Memory)などの揮発性メモリとすればよい。また、MRAM(Magnetoresistive Random Access Memory)などの不揮発性メモリを主記憶装置92として構成・追加してもよい。
【0109】
補助記憶装置93は、種々のデータを記憶する。補助記憶装置93は、ハードディスクやフラッシュメモリなどのローカルディスクによって構成される。なお、種々のデータを主記憶装置92に記憶させる構成とし、補助記憶装置93を省略することも可能である。
【0110】
入出力インターフェース95は、情報処理装置90と周辺機器とを接続するためのインターフェースである。通信インターフェース96は、規格や仕様に基づいて、インターネットやイントラネットなどのネットワークを通じて、外部のシステムや装置に接続するためのインターフェースである。入出力インターフェース95および通信インターフェース96は、外部機器と接続するインターフェースとして共通化してもよい。
【0111】
情報処理装置90には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器を接続するように構成してもよい。それらの入力機器は、情報や設定の入力に使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器の表示画面が入力機器のインターフェースを兼ねる構成とすればよい。プロセッサ91と入力機器との間のデータ通信は、入出力インターフェース95に仲介させればよい。
【0112】
また、情報処理装置90には、情報を表示するための表示機器を備え付けてもよい。表示機器を備え付ける場合、情報処理装置90には、表示機器の表示を制御するための表示制御装置(図示しない)が備えられていることが好ましい。表示機器は、入出力インターフェース95を介して情報処理装置90に接続すればよい。
【0113】
以上が、本発明の各実施形態に係る識別装置を可能とするためのハードウェア構成の一例である。なお、
図24のハードウェア構成は、各実施形態に係る識別装置の演算処理を実行するためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、各実施形態に係る識別装置に関する処理をコンピュータに実行させるプログラムも本発明の範囲に含まれる。さらに、各実施形態に係るプログラムが記録されたプログラム記録媒体も本発明の範囲に含まれる。記録媒体は、例えば、CD(Compact Disc)やDVD(Digital Versatile Disc)などの光学記録媒体で実現できる。また、記録媒体は、USB(Universal Serial Bus)メモリやSD(Secure Digital)カードなどの半導体記録媒体や、フレキシブルディスクなどの磁気記録媒体、その他の記録媒体によって実現されてもよい。プロセッサが実行するプログラムが記録媒体に記録されている場合、その記録媒体はプログラム記録媒体に相当する。
【0114】
各実施形態の識別装置の構成要素は、任意に組み合わせることができる。また、各実施形態の識別装置の構成要素は、ソフトウェアによって実現してもよいし、回路によって実現してもよい。
【0115】
以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0116】
11、21 データ取得装置
12、22 携帯端末
13、23 識別装置
24 データベース
25 制御対象装置
111 加速度センサ
112 角速度センサ
113 制御部
115 データ送信部
131、231、331 検出部
132、232、332 波形処理部
133、233、333 識別部
234 認証部
235 制御部