特開 2023-148128 個人認証装置、個人認証方法、および個人認証プログラム、並びに個人認証装置を有するシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023148128

(43)【公開日】2023-10-13

(54)【発明の名称】個人認証装置、個人認証方法、および個人認証プログラム、並びに個人認証装置を有するシステム

(51)【国際特許分類】

   A61B 5/117 20160101AFI20231005BHJP

   A61B 5/1171 20160101ALI20231005BHJP

   G01N 33/497 20060101ALI20231005BHJP

   A61B 5/01 20060101ALI20231005BHJP

   A61B 5/02 20060101ALI20231005BHJP

   G06F 21/32 20130101ALI20231005BHJP

   G06T 7/00 20170101ALI20231005BHJP

   G10L 17/18 20130101ALI20231005BHJP

   G10L 17/00 20130101ALI20231005BHJP

【ＦＩ】

A61B5/117

A61B5/117 200

A61B5/1171

G01N33/497 Z

A61B5/01 350

A61B5/02 310B

G06F21/32

G06T7/00 510B

A61B5/117 100

A61B5/1171 100

G10L17/18

G10L17/00 400

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022055999

(22)【出願日】2022-03-30

(71)【出願人】

【識別番号】504174135

【氏名又は名称】国立大学法人九州工業大学

(74)【代理人】

【識別番号】100197642

【弁理士】

【氏名又は名称】南瀬 透

(74)【代理人】

【識別番号】100099508

【弁理士】

【氏名又は名称】加藤 久

(74)【代理人】

【識別番号】100182567

【弁理士】

【氏名又は名称】遠坂 啓太

(74)【代理人】

【識別番号】100219483

【弁理士】

【氏名又は名称】宇野 智也

(72)【発明者】

【氏名】中藤 良久

【テーマコード（参考）】

2G045

4C017

4C038

4C117

5B043

【Ｆターム（参考）】

2G045AA39

2G045CB30

2G045DA80

2G045FA34

2G045FB06

2G045JA03

4C017AA02

4C017AA16

4C017AC28

4C017AC30

4C038VA04

4C038VA07

4C038VB32

4C038VB40

4C038VC05

4C038VC20

4C117XA01

4C117XB01

4C117XD09

4C117XE13

4C117XE29

4C117XE30

4C117XE48

4C117XE80

5B043BA01

5B043DA05

5B043GA02

5B043GA13

(57)【要約】

【課題】周囲環境の影響を受けにくく、認証性能の向上を図ることができる個人認証装置などを提供する。
【解決手段】本発明の個人認証装置１０（１０ｂ）は、外耳道における異なる複数の生体情報を取得して、当該異なる複数の生体情報の特徴量を機械学習を用いて抽出し個人認証を行う装置であり、利用者の外耳道内の音響データを取得する第１のセンサ２１、利用者の外耳道内の画像データを取得する第２のセンサ２２、利用者の外耳道内の生化学データを取得する第３のセンサ２３、のうち、２以上のセンサから取得されるデータに基づいて特徴量を抽出する特徴量抽出部１１と、特徴量抽出部１１により抽出された２以上の特徴量に基づいて、個人性統合ニューラルネットワークを構築し、利用者を統合データに基づいて判定する判定部１３と、を有する。
【選択図】図３

【特許請求の範囲】

【請求項1】

外耳道における異なる複数の生体情報を取得して、当該異なる複数の生体情報の特徴量を、機械学習を用いて抽出し個人認証を行う装置であり、
利用者の外耳道内の音響データを取得する第１のセンサ、
前記利用者の外耳道内の画像データを取得する第２のセンサ、
前記利用者の外耳道内の生化学データを取得する第３のセンサ、
のうち、２以上のセンサから取得されるデータに基づいて特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部により抽出された２以上の特徴量に基づいて、個人性統合ニューラルネットワークを構築し、前記利用者を統合データに基づいて判定する判定部と、
を有する個人認証装置。

【請求項2】

前記第１のセンサは、骨伝導マイク、振動センサおよび加速度センサからなる群から選択されるセンサであり、前記音響データとして前記利用者の発声に伴う外耳道内の振動音、血流に伴う振動音、耳音響放射による音のうち１以上を取得し、
前記特徴量抽出部は、前記利用者の発声に伴う外耳道内の振動音および／または前記血流に伴う振動音および／または前記耳音響放射による音に基づく時間・周波数特徴量を抽出するものである
請求項１に記載の個人認証装置。

【請求項3】

前記第２のセンサは赤外線センサおよび／またはＲＧＢカメラであり、前記画像データとして前記利用者の外耳道内の形状および外耳道内の温度分布を示す画像、並びに外耳道内の血管網の画像を取得し、
前記特徴量抽出部は、前記外耳道内の温度分布を示す画像と前記外耳道内の血管網の画像とを用いて心拍数を推定し、当該心拍数、前記外耳道内の形状および前記外耳道内の温度分布を示す画像、並びに前記外耳道内の血管網の画像に基づく特徴量を抽出するものである
請求項１または２に記載の個人認証装置。

【請求項4】

前記第２のセンサは、広範囲でのピント合わせを可能にするためのピンホールレンズおよび／または魚眼レンズを搭載するものである
請求項１～３のいずれか１項に記載の個人認証装置。

【請求項5】

前記第２のセンサは、複数の焦点距離を有するレンズを搭載するセンサであり、
前記特徴量抽出部は、当該レンズの１以上の焦点距離から取得されるデータに基づいて特徴量を抽出するものである
請求項１～４のいずれか１項に記載の個人認証装置。

【請求項6】

前記第３のセンサは、エバネッセント波による分析センサ、またはガスクロマトグラフィー分析センサ、または半導体式ニオイセンサであり、前記生化学データとして前記利用者の外耳道内における分泌物質、外耳道内のにおい、人体から排出される揮発性有機化合物のうち１以上を取得し、
前記特徴量抽出部は、前記分泌物質および／または前記においおよび／または前記揮発性有機化合物に基づく特徴量を抽出するものである
請求項１～５のいずれか１項に記載の個人認証装置。

【請求項7】

前記特徴量抽出部は、前記第１のセンサ、前記第２のセンサ、および前記第３のセンサのうち、２以上のセンサから取得されたデータを学習データとして機械学習を行うことにより２以上の学習済みモデルを生成し、当該学習済みモデルを用いて、２以上のセンサから取得されるデータに基づいて特徴量を抽出するものである
請求項１～６のいずれか１項に記載の個人認証装置。

【請求項8】

前記判定部は、登録された利用者毎の特徴量と、前記特徴量抽出部により抽出された特徴量とを比較することにより、前記利用者を判定するものである
請求項１～７のいずれか１項に記載の個人認証装置。

【請求項9】

前記特徴量抽出部は、前記第１のセンサ、前記第２のセンサ、および前記第３のセンサから取得されるデータに基づいて、音響的特徴量、画像的特徴量、および生化学的特徴量のうち２以上の特徴量を抽出し、
前記判定部は、これらの特徴量により個人性統合ニューラルネットワークを構築して、当該個人性統合ニューラルネットワークを用いて、前記音響的特徴量に基づく判定確度、前記画像的特徴量に基づく判定確度、および前記生化学的特徴量に基づく判定確度のうち２以上の判定確度が統合された統合データを作成し、当該統合データに基づいて前記利用者を判定するものである
請求項１～８のいずれか１項に記載の個人認証装置。

【請求項10】

請求項１～９のいずれか１項に記載の第１のセンサ、第２のセンサ、および第３のセンサを備えるマイクロフォンおよび／またはイヤホンと、
請求項１～９のいずれか１項に記載の個人認証装置と、
を有する個人認証システム。

【請求項11】

請求項１０に記載の個人認証システムを用いた入館管理システムまたは健康診断システム。

【請求項12】

外耳道における異なる複数の生体情報を取得して、当該異なる複数の生体情報の特徴量を、機械学習を用いて抽出し個人認証を行う方法であり、
利用者の外耳道内の音響データを取得する第１のセンサ、
前記利用者の外耳道内の画像データを取得する第２のセンサ、
前記利用者の外耳道内の生化学データを取得する第３のセンサ、
のうち、２以上のセンサから取得されるデータに基づいて特徴量抽出部により特徴量を抽出する工程と、
抽出された２以上の前記特徴量に基づいて、判定部により個人性統合ニューラルネットワークを構築し、前記利用者を統合データに基づいて判定する工程と、
を有する個人認証方法。

【請求項13】

コンピュータを、
外耳道における異なる複数の生体情報を取得して、当該異なる複数の生体情報の特徴量を、機械学習を用いて抽出し個人認証を行う装置であり、
利用者の外耳道内の音響データを取得する第１のセンサ、
前記利用者の外耳道内の画像データを取得する第２のセンサ、
前記利用者の外耳道内の生化学データを取得する第３のセンサ、
のうち、２以上のセンサから取得されるデータに基づいて特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部により抽出された２以上の特徴量に基づいて、個人性統合ニューラルネットワークを構築し、前記利用者を統合データに基づいて判定する判定部と、
を有する装置として機能させる個人認証プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、外耳道における異なる複数の生体情報を取得して、当該異なる複数の生体情報の特徴量をニューラルネットワークを用いて抽出し、個人性統合ニューラルネットワークを構築して、当該個人性統合ニューラルネットワークを用いて作成された統合データに基づいて個人認証を行う個人認証装置、個人認証方法、および個人認証プログラム、並びに個人認証装置を有するシステムに関する。

【背景技術】

【0002】

近年、様々な分野において生体認証（バイオメトリクス）技術が使われている。生体認証とは、人間の身体的特徴や行動的特徴などといった生体的特徴によって個人を認証する技術である。生体認証に用いられる主な身体的特徴として、指紋、網膜、虹彩、掌形、顔などがある。また、生体認証に用いられる主な行動的特徴として、筆跡、音声、歩き方などがある。

【0003】

例えば指紋認証は、スマートフォンのロック解除に使用されている。また、顔認証は空港やテーマパークなどへ入る際に、網膜認証はセキュリティの高い部屋へ入る際に使用されている。なお、顔認証と虹彩認証の両方を備えた金庫が販売されている。

【0004】

このように、生体認証が使用される場面においては、金庫を開ける鍵や入退出時に提示するＩＤカードなどをユーザが持ち歩く必要がない。そのため、鍵やＩＤカードを紛失したり、盗まれたり、偽造されたりする恐れもない。また、ＩＤ（アカウント）やパスワードを記憶する必要もない。よって、生体認証は利便性やセキュリティ性が高く、大変有用な技術として知られている。

【0005】

一方、生体認証に関する先行技術として、特許文献１～３に記載のものがある。
特許文献１には生体認証システムが記載されており、生体認証技術に関し、特に、複数種類のテンプレートを用いて生体認証を行うシステムにおいて、テンプレートを登録する技術が記載されている。また、特許文献１には複数種類のテンプレートの例として、指紋、静脈、虹彩、顔などが挙げられている。

【0006】

また、特許文献２には、個人識別装置および個人識別方法が記載されている。
当該個人識別装置などは、偽造が困難であり、利用者の心理的な抵抗感がなく、また利用時の身体の拘束条件が小さく、かつ心理状態や健康状態の影響を受け難くすることを目的としており、平衡聴覚器（耳）の部位の形状の特徴や解剖学的特徴に関する情報（特徴情報）、例えば、鼓膜の形状、鼓膜の血管パターン、外耳道の血管パターンに関する情報を生体情報として利用するものである。

【0007】

また、特許文献３には、認証対象のユーザの心理的および／または肉体的な負担を減らすことを目的とした個人認証装置、個人認証方法および個人認証プログラムが記載されている。
当該個人認証装置は、ユーザの頭部の一部に第１の音響信号を送出する音響信号送出手段と、第１の音響信号が頭部の一部を伝播した後の音響信号である第２の音響信号を観測する音響信号観測手段と、第１の音響信号および第２の音響信号から音響特性を算出する音響特性算出手段と、音響特性または音響特性から抽出されるユーザに関する特徴量に基づいて、ユーザを識別するユーザ識別手段と、を備えている。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特許第５２１８９９１号公報

【特許文献2】特許第３７７５０６３号公報

【特許文献3】特許第６８５５３８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかし、上述したように生体認証は様々な分野において使用され得るものであるため、周囲環境の影響を受けにくく、認証性能の向上を図ることができる生体認証技術が求められている。

【0010】

そうすると、特許文献２に記載の技術は、鼓膜の形状、鼓膜の血管パターン、または外耳道の血管パターンなどいわば画像データのみに基づくものであるため、認証性能には限界があると言える。また、特許文献３に記載の技術も音響信号のみに基づくものであるため、認証性能には限界があると言える。

【0011】

一方、特許文献１に記載の技術は、複数種類の生体情報（例えば、第一生体情報が指紋であり、第二生体情報が指紋の静脈）を用いるものであるが、複数種類の生体情報も大別すると画像データという同じ概念の情報であるため、認証性能には限界があると言える。

【0012】

よって、本発明は、周囲環境の影響を受けにくく、認証性能の向上を図ることができる個人認証装置、個人認証方法、および個人認証プログラム、並びに個人認証装置を有するシステムを提供する。

【課題を解決するための手段】

【0013】

本発明の個人認証装置は、外耳道における異なる複数の生体情報を取得して、当該異なる複数の生体情報の特徴量を、機械学習を用いて抽出し個人認証を行う装置であり、利用者の外耳道内の音響データを取得する第１のセンサ、利用者の外耳道内の画像データを取得する第２のセンサ、利用者の外耳道内の生化学データを取得する第３のセンサ、のうち、２以上のセンサから取得されるデータに基づいて特徴量を抽出する特徴量抽出部と、特徴量抽出部により抽出された２以上の特徴量に基づいて、個人性統合ニューラルネットワークを構築し、利用者を統合データに基づいて判定する判定部と、を有する。

【0014】

また、第１のセンサは、骨伝導マイク、振動センサおよび加速度センサからなる群から選択されるセンサであり、音響データとして利用者の発声に伴う外耳道内の振動音、血流に伴う振動音、耳音響放射による音のうち１以上を取得し、特徴量抽出部は、利用者の発声に伴う外耳道内の振動音および／または血流に伴う振動音および／または耳音響放射による音に基づく時間・周波数特徴量を抽出するものであることが好ましい。

【0015】

また、第２のセンサは赤外線センサおよび／またはＲＧＢカメラであり、画像データとして利用者の外耳道内の形状および外耳道内の温度分布を示す画像、並びに外耳道内の血管網の画像を取得し、特徴量抽出部は、外耳道内の温度分布を示す画像と外耳道内の血管網の画像とを用いて心拍数を推定し、当該心拍数、外耳道内の形状および外耳道内の温度分布を示す画像、並びに外耳道内の血管網の画像に基づく特徴量を抽出するものであることが好ましい。

【0016】

また、第２のセンサは、広範囲でのピント合わせを可能にするためのピンホールレンズおよび／または魚眼レンズを搭載するものであることが好ましい。

【0017】

また、第２のセンサは、複数の焦点距離を有するレンズを搭載するセンサであり、特徴量抽出部は、当該レンズの１以上の焦点距離から取得されるデータに基づいて特徴量を抽出するものであることが好ましい。

【0018】

また、第３のセンサは、エバネッセント波による分析センサ、またはガスクロマトグラフィー分析センサ、または半導体式ニオイセンサであり、生化学データとして利用者の外耳道内における分泌物質、外耳道内のにおい、人体から排出される揮発性有機化合物のうち１以上を取得し、特徴量抽出部は、分泌物質および／またはにおいに基づく特徴量を抽出するものであることが好ましい。

【0019】

また、特徴量抽出部は、第１のセンサ、第２のセンサ、および第３のセンサのうち、２以上のセンサから取得されたデータを学習データとして機械学習を行うことにより２以上の学習済みモデルを生成し、当該学習済みモデルを用いて、２以上のセンサから取得されるデータに基づいて特徴量を抽出するものであることが好ましい。

【0020】

また、判定部は、登録された利用者毎の特徴量と、特徴量抽出部により抽出された特徴量とを比較することにより、利用者を判定するものであることが好ましい。

【0021】

また、特徴量抽出部は、第１のセンサ、第２のセンサ、および第３のセンサから取得されるデータに基づいて、音響的特徴量、画像的特徴量、および生化学的特徴量のうち２以上の特徴量を抽出し、判定部は、これらの特徴量により個人性統合ニューラルネットワークを構築して、当該個人性統合ニューラルネットワークを用いて、音響的特徴量に基づく判定確度、画像的特徴量に基づく判定確度、および生化学的特徴量に基づく判定確度のうち２以上の判定確度が統合された統合データを作成し、当該統合データに基づいて利用者を判定するものであることが好ましい。

【0022】

また、本発明は、これらの第１のセンサ、第２のセンサ、および第３のセンサを備えるマイクロフォンおよび／またはイヤホンと、これらの個人認証装置と、を有する個人認証システムである。
なお、この個人認証システムは、入館管理システムまたは健康診断システムに用いられることが好ましい。

【0023】

また、本発明の個人認証方法は、外耳道における異なる複数の生体情報を取得して、当該異なる複数の生体情報の特徴量を、機械学習を用いて抽出し個人認証を行う方法であり、利用者の外耳道内の音響データを取得する第１のセンサ、利用者の外耳道内の画像データを取得する第２のセンサ、利用者の外耳道内の生化学データを取得する第３のセンサ、のうち、２以上のセンサから取得されるデータに基づいて特徴量抽出部により特徴量を抽出する工程と、抽出された２以上の特徴量に基づいて、判定部により個人性統合ニューラルネットワークを構築し、利用者を統合データに基づいて判定する工程と、を有する。

【0024】

また、本発明の個人認証プログラムは、コンピュータを、外耳道における異なる複数の生体情報を取得して、当該異なる複数の生体情報の特徴量を、機械学習を用いて抽出し個人認証を行う装置であり、利用者の外耳道内の音響データを取得する第１のセンサ、利用者の外耳道内の画像データを取得する第２のセンサ、利用者の外耳道内の生化学データを取得する第３のセンサ、のうち、２以上のセンサから取得されるデータに基づいて特徴量を抽出する特徴量抽出部と、特徴量抽出部により抽出された２以上の特徴量に基づいて、個人性統合ニューラルネットワークを構築し、利用者を統合データに基づいて判定する判定部と、を有する装置として機能させるものである。

【発明の効果】

【0025】

本発明の個人認証装置は、外耳道における異なる複数の生体情報を取得して、当該異なる複数の生体情報の特徴量を、機械学習を用いて抽出し個人認証を行う装置であり、利用者の外耳道内の音響データを取得する第１のセンサ、利用者の外耳道内の画像データを取得する第２のセンサ、利用者の外耳道内の生化学データを取得する第３のセンサ、のうち、２以上のセンサから取得されるデータに基づいて特徴量を抽出する特徴量抽出部と、特徴量抽出部により抽出された２以上の特徴量に基づいて、個人性統合ニューラルネットワークを構築し、利用者を統合データに基づいて判定する判定部と、を有する構成により、従来の生体認証方法と比較して、複数の近接する認証方法を組み合わせることが容易にできるため、認証性能を大幅に改善することができる。加えて、利用環境や個人の体調などが変化しても、異なる認証方法間で互いに補い合うことができるため、頑健性の向上が期待できる。

【0026】

なお、外耳道内は周囲環境の影響を受けにくく、安定した認証性能が期待できる場所であり、従来の生体認証では実現できないロバストネスの高い認証原理の構築が期待できる。外耳道内は外界から遮断された閉空間であり、不要な音や光や匂いなど認証の際に阻害要因となる雑音が少なく、また適度な湿り気がある安定した環境である点は大きな利点である。

【0027】

さらに、外耳道内は周囲環境の影響を受けにくく、安定した認証性能が期待できる場所であり、従来の生体認証では実現できないロバストネスの高い認証原理の構築が期待できる。

【0028】

また、本発明の個人認証方法によれば、本発明の個人認証装置と同等の作用効果を奏することができる。

【0029】

また、本発明の個人認証プログラムによれば、コンピュータを、本発明の個人認証装置と同等の装置として動作させることができる。

【図面の簡単な説明】

【0030】

【図1】本発明の実施の形態１に係る個人認証装置の概略機能ブロック図である。

【図2】本発明の実施の形態１に係る個人認証方法のフロー図である。

【図3】本発明の実施の形態２に係る個人認証装置の概略機能ブロック図である。

【図4】本発明の実施の形態２に係る個人認証方法の学習時におけるフロー図である。

【図5】本発明の実施の形態２に係る個人認証方法の認証時におけるフロー図である。

【図6】センサを備えるイヤホンの例を示す図である。

【図7】ｒＰＰＧ法の仕組みを説明するための図である。

【図8】ニオイセンサの種類を説明するための図である。

【発明を実施するための形態】

【0031】

以下に本発明の実施の形態を詳細に説明するが、以下に記載する構成要件の説明は、本発明の実施形態の一例（代表例）であり、本発明はその要旨を変更しない限り、以下の内容に限定されない。

【0032】

［個人認証システム］
図１，３は、本発明の実施の形態に係る個人認証装置の概略機能ブロック図である。図１，３に示すように、個人認証システム１は、センサ装置２０と個人認証装置１０とを有する。

【0033】

［センサ装置］
センサ装置２０は、外耳道における異なる複数の生体情報を取得し得るものである。図３に示すように、センサ装置２０は、第１のセンサ２１、第２のセンサ２２、および第３のセンサ２３を備えている。

【0034】

第１のセンサ２１は、利用者（個人認証システム１を利用する者）の外耳道内の音響データを取得するセンサである。第１のセンサは例えば、骨伝導マイク、振動センサおよび加速度センサからなる群から選択されるセンサであり、音響データとして利用者の発声に伴う外耳道内の振動を取得する。

【0035】

特に、外耳道内における発生音声の伝わり方（伝搬）は利用者毎に異なるものである。そのため、外耳道内で発生音声がどのように伝搬しているのかを調べるために、音響データは通常のマイクに加えて骨伝導マイクや振動センサなどを用いて複数取得することが望ましい。例えば、図１に示すように、音響データとして利用者が発する音声や振動を２つのセンサ（第１のセンサＡ２１１、第１のセンサＢ２１２）で複数取得することが望ましい。

【0036】

第２のセンサ２２は、利用者の外耳道内の画像データを取得するセンサである。第２のセンサ２２は例えば、赤外線センサである。第２のセンサ２２は外耳道内の画像データを取得するものであるが、当該画像データには外耳道内の形状の画像（外耳道内の形状が分かる画像）、外耳道内の血管網の画像、外耳道内の温度分布を示す画像などが含まれる。 また、ＲＧＢカメラやサーマルカメラなどの解析技術を用いて取得した、個人特有の脈拍推定データも用いることができる。

【0037】

第３のセンサ２３は、利用者の外耳道内の生化学データを取得するセンサである。また、第３のセンサ２３は、生化学データとして利用者の外耳道内における分泌物質および／または外耳道内のにおいをエバネッセント波による分析および／またはガスクロマトグラフィー分析または半導体ニオイセンサを用いて取得する。
また、ニオイの質や強さを測定するニオイセンサを用いて取得した、個人から特有に放出されるニオイ成分を分析したデータも用いることができる。

【0038】

なお、第１のセンサ２１、第２のセンサ２２、第３のセンサ２３により取得されたデータ（情報）は、個人認証装置１０へ送信される。

【0039】

一方、図６はセンサを備えるイヤホンの例を示す図である。センサ装置２０は、利用者の耳に装着されるイヤホン型の装置とすることができる。当該イヤホンは、各センサ（第１のセンサ２１、第２のセンサ２２、第３のセンサ２３）を備えているものであるが、一つのセンサ装置が全てのセンサを備えていてもよく、図６に示すように、一つのセンサ装置（センサ装置２０）が第１センサ２１を備えており、他のセンサ（第２のセンサ２２、第３のセンサ２３）は、他のセンサ装置が備えているような構成としてもよい。このような構成とすることで、イヤホンのような一つの装置に、複数の認証方法が行えるように複数のデータを取得できるセンサを一体化することができるという利点がある。

【0040】

また、従来の生体認証方法と比較して、複数の近接する認証方法を組み合わせること（マルチモーダル）が容易にできるため、認証性能を大幅に改善することができる。加えて、利用環境や個人の体調などが変化しても、異なる認証方法間で互いに補い合うことができるため、頑健性の向上が期待できる。

【0041】

さらに、外耳道内は周囲環境の影響を受けにくく、安定した認証性能が期待できる場所であり、従来の生体認証では実現できないロバストネスの高い認証原理の構築が期待できる。

【0042】

［第２のセンサ］
以下、第２のセンサの一例として述べたＲＧＢカメラおよびサーマルカメラを用いた技術について説明する。

【0043】

［ＲＧＢカメラ］
ＲＧＢカメラを用いた脈拍推定手法である環境光を用いたｒＰＰＧ（Ｒｅｍｏｔｅ Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ）法による脈拍推定は、２００８年に提案されたものである。
図７は、ｒＰＰＧ法の仕組みを説明するための図である。この方法は、ＲＧＢカメラを用いて、被験者から離れて脈拍信号を推定する。具体的には、図７に示すように、有効領域（ＲＯＩ：Ｒｅｇｉоｎ ｏｆ Ｉｎｔｅｒｅｓｔｓ）として額や頬の一部を手動で選択し、ＲＧＢカメラの赤、緑、青の３チャンネルに対して映像の各フレーム毎にＲＯＩ内のピクセルの空間平均値を抽出し、脈拍信号とする。

【0044】

人間の顔は毛細血管が集まっているため、ＲＯＩの設定に適した領域である。また、赤や青のチャンネルの信号と比べて、緑のチャンネルの信号の方が脈拍成分を多く含んでいることが示されている。これは、血液中の主な構成色素であるヘモグロビンの光吸収スペクトルが、ＲＧＢカメラのグリーンフィルターの通過帯域である５２０～５８０ｎｍ付近にピークを持つことに基づくものである。

【0045】

ｒＰＰＧにおいて、主成分分析や独立成分分析などを用いたＢＳＳベースの手法は有効な手法である。ＢＳＳは、複数の未知の信号が混合された観測信号からそれぞれの信号を分離する技術であり、生体信号解析の分野では、心電図や脳波からノイズ除去に使用されている。

【0046】

図７に示す例においては、顔全体をＲＯＩとし、フレーム毎に赤、緑、青の３チャンネルのそれぞれの空間平均を取り、３つの信号を抽出した。その後、独立成分分析により３つの独立した信号に分離し、分離された信号の第２成分を脈波信号としている。
脈波信号の強度が最も強いとされる緑チャンネルのみを使用する場合よりも、３チャンネルの信号と独立成分分析を使用した方が、基準となるｒＰＰＧによる脈拍数と近い値が得られる。

【0047】

なお、ｒＰＰＧによる脈波信号を抽出する際に、課題となるのが照明による影響である。照明自体の強度、色およびそれらの経時的変化や肌に照明が当たることにより引き起こされる鏡面反射は、脈波信号のＳＮＲ（Ｓｉｎｇｌｅ－ｔо－Ｎｏｉｓｅ－Ｒａｔｉｏ）を低くするとされている。

【0048】

ここで、肌から照明の色を除去する方法として、肌の色素成分分離手法などがある。人間の皮膚構造から主な皮膚色素であるメラニンとヘモグロビンの空間構造が独立していると仮定して、独立成分分析によりＲＧＢ色空間からメラニン色素とヘモグロビン色素で構成される照明と無関係な色平面が得られることが知られている。

【0049】

また、色素成分分離手法によって得られたヘモグロビン色素は、脈拍推定に使用できることが実証されている。なお、肌からの反射光は、脈拍に伴って変化する拡散反射成分と、照明の色を示し脈拍成分を示さない鏡面反射成分とで構成される。そのため、直行する２つの成分の比率を推定することで、鏡面反射成分を除去することができる。なお、光学的皮膚反射モデルは、脈波信号のＳＮＲ向上に役立つことが証明されている。

【0050】

さらに、ＲＯＩを頬や額および顔全体などの一つに選択して信号を抽出する方法が用いられている。ＲＯＩを複数選択し複数の信号を活用することで、ＳＮＲの高い脈波信号が得られることが示されている。これは、ＳＮＲ指標を用いてＲＯＩの重み付けをし、ＳＮＲの高いＲＯＩはまばらではなくクラスタとして分布しているという仮定に基づくことができれば、特定の一部にＲＯＩを選択する手法に比べ汎用性が高い。

【0051】

［サーマルカメラ］
以下、サーマルカメラを用いた脈拍推定方法について述べる。
サーマルカメラを用いた脈拍推定方法は、ＲＧＢカメラを用いたバイタルセンシング方法の中でも呼吸数を測定する方法に比較して少ない。サーマルカメラを用いた脈拍推定で特徴的なものとして、輝度値の高さから血管位置を特定し、血管の温度変化を利用する手法がある。特定する血管は、首または顔の血管が多い。

【0052】

サーマルカメラを用いた脈拍推定方法は血管を検出する以外にも、ＲＧＢカメラを用いた方法と同様に顔にＲＯＩを設定して脈拍推定を行う方法もある。この方法は、サーマル映像で顔輝度値の時間変化を明らかにしている。また、この方法は、ＥＶＭ（Ｅｕｌｅｒｉａｎ Ｖｉｄｅｏ Ｍａｇｎｉｔｉｆｉｃａｔｉｏｎ）と呼ばれ、時空間処理により映像内の微妙な色の変化や知覚出来ない動きを拡大する技術である。帯域の広いバンドパスフィルタと低い増幅率を１回目に適用し、２回目はＲＯＩの大きさに絞って帯域の狭いバンドパスフィルタと高い増幅率を適応させている。なお、この手法によりＲＯＩから抽出した信号は、心電図で得た脈波と似た周期性を持つことが示されている。

【0053】

［第３のセンサ］
続いて、第３のセンサの一例として述べたニオイセンサを用いた技術について説明する。

【0054】

［ニオイセンサ］
ニオイセンサについては、様々原理を用いたセンサが開発されている。以下、従前から研究開発されている水晶振動子を用いる方法と、最近のＭＥＭＳ技術と機械学習を組み合わせたセンサについて説明する。
また、ニオイセンサ（ニオイ計測センサ）は、図８に示すような種類のものがある。本発明は、図８に示す半導体式ニオイセンサを始め、様々なニオイセンサを用いることができる。

【0055】

水晶振動子ニオイセンサについては、においを吸引するノズルやポンプ、においを計測し電気信号に変換するセンサ、データを送受信するＳＩＭカードなどが一体になったデバイスなどがある。センサは水晶振動子でできており、当該水晶振動子は感応膜で覆われている。感応膜ににおいの元となる物質が吸着すると、その分の重さによって水晶振動子の振動数が変化する。それぞれの水晶振動子には異なる種類の感応膜が使われているため、あるにおいに対する振動数の変化のパターンも異なる。このセンサにおける変化パターンの総体が、そのにおいの特徴として判別されることになる。

【0056】

その他の例として、膜型表面応力センサ（ＭＳＳ：Ｍｅｍｂｒａｎｃｅ－ｔｙｐｅ Ｓｕｒｆａｃｅ ｓｔｒｅｓｓ Ｓｅｎｓｏｒ）が挙げられる。ＭＳＳの動作原理を説明すると、まずＭＳＳ中央部に塗布された感応膜に、ガス分子が吸着することによって生じる力で歪みが発生する。そして、ＭＳＳに埋め込まれた検知部で、歪みが発生したことを電気的に検知する。

【0057】

なお、ニオイセンサはその動作として、まず外気を吸引する。デバイス内部には活性炭フィルターが備え付けられており、このフィルターを通して外気を取り込むことで、センサ部の洗浄が行われる。その後、目的のにおいを吸引し、一定時間センサ部で対流させる。センサの反応が終わったら内部の空気を排気し、再度外気を吸引して洗浄するというのが一連の流れとなる。

【0058】

こうして得られたにおいのデータは、データベースなどの記憶領域に蓄積される。そして、これらのデータを教師データとして機械学習させた学習済みモデルを作成する。最終的に、当該学習済みモデルを用いて、今計測しているにおいが何のにおいに近いのかという分析結果が「一致率８０％」といった割合で分析・表示される。

【0059】

一方、小型ＣＭＯＳ ニオイセンサ（モジュールセンサ）で、ニオイ分子のくっつき方離れ方を測定し、全てのニオイをパターン認識する方法もある。これは、吸着特性の異なるセンサ素子アレーから構成されており、人間しか知覚できなかった「ニオイ」の情報を取得するセンサである。従来のガスセンサとは異なり、生物の鼻のように、どんなニオイでもパターン認識することが可能である。また、原理的に、どんなニオイでもパターン表示できることから、お酒の銘柄の嗅ぎ分けから口臭や体臭の測定による病気の発見まで、幅広く応用することができる。

【0060】

このように、音声などの時系列情報を有する特徴量と静止画像のような動的な情報を持たない（時系列情報を有さない）特徴量をどのように統合するかは、重要な課題である。よって、本発明の個人認証装置などは、外耳道内の画像データより得られた脈波と似た周期性データと、音声やニオイなどの時系列データとを統合して個人性統合ニューラルネットワーク（後述する）を構築する。

【0061】

［認証］
本発明の認証に当たっては、特徴量統合データと、記憶領域に格納された特徴量統合データを含む登録モデルとを用いて、利用者の認証を行う。認証対象である利用者の情報は、登録モデルとしてあらかじめ個人認証装置に格納される。そして、センサにより取得されたデータに基づく特徴量統合データと、その登録モデルとを照合し、類似度などを求めて、所定の閾値を超えたものと特定することにより個人認証を行う。
また、認証結果は、通知や表示することができる。なお、認証結果は、他の操作を開始する契機となる信号やメッセージなどとして利用することができる。

【0062】

［実施の形態１］
図１は、本発明の実施の形態１の機能ブロック図である。個人認証装置１０（１０ａ）は、利用者が発する音声や振動を第１のセンサＡ２１１および第１のセンサＢ２１２でセンシングして、利用者を認証する装置である。

【0063】

個人認証装置１０ａは、複数のセンサを有する。図１に示す例において、個人認証装置１０ａは、第１のセンサＡ２１１と第１のセンサＢ２１２の２つのセンサを有する。

【0064】

第１のセンサＡ２１１および第１のセンサＢ２１２は、例えばコンデンサマイクや骨導マイク、咽喉マイクなど、人が発声する音声を取得する様々なマイクロフォンを用いることができる。また、振動センサや加速度センサなど、人が体から発生する振動や動きを捉えるセンサを用いることも可能である。

【0065】

なお、本実施の形態１は、第１のセンサＡ２１１と第１のセンサＢ２１２の２つのセンサを用いた例を示しているが、センサ数はさらに多くてもよい。例えば、センサ数は３つ、４つ、またはそれ以上であってもよい。
また、複数のセンサは、それぞれ異なる種類のセンサを用いたり、異なる位置に配置したりすることで、同一の利用者（発話者）の同一の発話内容に対しても、時間・周波数特徴量が異なる音声を取得することができる。

【0066】

さらに、雑音が生じにくい骨導音を複数取得し、取得された複数の骨導音を用いて特徴量間相違データを算出することで、雑音に起因して取得データ毎に生じる特徴量間相違データの誤差を低減し、安定した認証性能を実現することができる。そのため、第１のセンサＡ２１１や第１のセンサＢ２１２は、は骨導音を取得し得るものであることが好ましい。

【0067】

第１の特徴量抽出部Ａ１１１１は、第１のセンサＡ２１１で取得した音や振動データから時間・周波数特徴量を抽出する。一方、第１の特徴量抽出部Ｂ１１１２は、第１のセンサＢ２１２で取得した音や振動データから時間・周波数特徴量を抽出する。

【0068】

ここで、時間・周波数特徴量は、例えば音や振動の周波数分析により算出されるパワースペクトルや対数パワースペクトルやメル対数パワースペクトル、あるいは線形予測分析などパラメトリックな手法から求められる予測係数、さらには準同型分析などから求められるケプストラム係数など、センサから取り込んだ信号の時間・周波数の特徴を表現し得る様々な特徴量を用いることができる。

【0069】

特徴量間相違データ算出部１３１は、特徴量統合データ作成部（統合データ作成部）の例である。つまり、特徴量間相違データを算出することで、特徴量統合データを作成することができる。
特徴量間相違データ算出部１３１は、第１の特徴量抽出部Ａ１１１１で抽出した時間・周波数特徴量と、第１の特徴量抽出部Ｂ１１１２で抽出した時間・周波数特徴量との違いを特徴量間相違データとして算出する。
また、この部分は統合データ作成部１３１として、第１の特徴量抽出部Ａ１１１１で抽出された特徴量と、第２の特徴量抽出部Ｂ１１１２で抽出された特徴量とが統合された統合データを作成することができる。

【0070】

時間・周波数特徴量の違いを算出する方法として、例えば特徴量としてパワースペクトルを用いる場合は除算して算出する方法や、特徴量として対数パワースペクトルを用いる場合は減算して算出する方法などが挙げられる。すなわち、特徴量間相違データ算出部１３１は、特徴量間相違データとして、複数のセンサにより取得されたデータから抽出された時間・周波数特徴量間の差分や比を算出する構成とすることができる。

【0071】

特徴量統合データとして、この他にも、加減乗除のうちいずれかの演算により算出する構成や、これらの演算を組み合わせて算出する構成にしてもよい。特に、特徴量間相違データとして、複数のセンサにより取得されたデータに基づく特徴量の差分や比を用いることで、複数のセンサにより生体を経由して伝達される音声が取得されるため、時間・周波数特徴量に含まれる生体の伝達特性を抽出し易い。

【0072】

また、特徴量間相違データ算出部１３１は、複数のセンサの取り付け位置に応じてそれぞれ取得されたデータに対して、所定の単位時間毎にスペクトル分析を実行するスペクトル分析手段を備えることができる。そして、スペクトル分析手段によりスペクトル分析が実行されることによって得られた複数のセンサの、取り付け位置毎のスペクトル分析結果の差分や比を用いることができる。この単位時間は、例えば５～５０ｍｓｅｃや、１０ｍｓｅｃ～２５ｍｓｅｃとすることができる。

【0073】

認証時相違データ格納部１２１は、記憶部１２（図３参照）の一部である。つまり、認証時相違データ格納部１２１は記憶領域の一部であり、特徴量間相違データ算出部１３１で作成された特徴量間相違データを格納（記憶）する。このとき、特徴量間相違データを複数時間フレームに亘って平均を求めて格納したり、平均・分散などの統計的データを求めて格納したりすることもできる。また、この部分は、統合データ作成部１３１で作成された統合データを格納する統合データ格納部１２１とすることもできる。

【0074】

認証部１３２は、認証時相違データ格納部１２１に記憶された特徴量間相違データが、どの利用者（個人）であるかを特定するための認証を行う。認証部１３２の処理としては様々な方法が考えられるが、例えば判別関数やユークリッド距離やマハラノビス距離などの統計的距離尺度を用いる方法、決定木やＳＶＭ、ニューラルネットなどのような機械学習モデルを用いる方法などが考えられる。

【0075】

登録モデル部１２２は、記憶部１２（図３参照）の一部である。つまり、登録モデル部１２２は記憶領域の一部であり、認証部１３２で認証する際に用いる利用者（個人）ごとの登録モデルを格納する。登録モデル部１２２に格納される登録モデルは、認証部１３２で行う認証方法に対応したものであり、認証したい利用者（個人）の特徴量間相違データを用いて、あらかじめ学習により作成されたものである。

【0076】

この登録モデルは、同一の装置で事前に登録しておいたものや、共通する構成の装置で事前に登録しておいたものを用いることができる。また、登録モデルは、典型的な発話サンプルを、認証対象となる利用者に発話させることでデータを取得し、このデータに基づいた学習により作成されたものが用いられる。

【0077】

登録モデルに判別関数や統計的距離尺度を用いる場合は、判別閾値や平均・分散などの統計量が利用者を特定し得る特徴量に相当する。一方、登録モデルに決定木やＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、ニューラルネットなどのような機械学習モデルを用いる場合は、閾値やＳＶＭパラメータ、ニューラルネットモデルパラメータなどが利用者を特定し得る特徴量に相当する。

【0078】

なお、認証結果は、認証部１３２から外部へ通知したり、表示したりすることができる。また、認証結果は、任意の手段で利用したり、記録したりすることができる。
例えば、利用者を特定する認証結果の情報を、音や画像などで外部へ通知することができる。さらに、通知された認証結果は、操作対象とする装置やシステムなどの起動や停止の契機となる信号やメッセージとして利用することもできる。

【0079】

図２は、本実施の形態１に係る個人認証方法のフロー図である。以下、図１を参照して、図２に示すフローを説明する。

【0080】

まず、複数のセンサ（第１のセンサＡ２１１、第１のセンサＢ２１２）でデータを取得する（ステップＳ１１）。本実施の形態１の場合、複数のセンサにより、人が発声する音声や、人が体から発生する振動や動きなどのデータを取得する。

【0081】

次に、取得されたデータに基づいて、特徴量を抽出する（ステップＳ２１）。本実施の形態１の場合、例えば取得された音や振動データから時間・周波数特徴量を抽出する。
この時、第１の特徴量抽出部Ａ１１１１により、第１のセンサＡ２１１で取得されたデータに基づいた時間・周波数特徴量が抽出され、第１の特徴量抽出部Ｂ１１１２により、第１のセンサＢ２１２で取得されたデータに基づいた時間・周波数特徴量が抽出される。

【0082】

そして、特徴量間相違データ算出部１３１により、特徴量統合データを作成する（特徴量間相違データを算出する）（ステップＳ３１）。特徴量間相違データ算出部１３１で作成された特徴量間相違データは、認証時相違データ格納部１２１に格納される。

【0083】

最後に、認証部１３２により、この特徴量間相違データと、登録モデル部１２２にあらかじめ格納されている登録モデルとを用いて、利用者（個人）を認証する（ステップＳ４１）。また、認証部１３２は、認証結果を外部へ通知する（ステップＳ５１）。

【0084】

［実施の形態２］

【0085】

図３は、本発明の実施の形態２の機能ブロック図である。個人認証装置１０（１０ｂ）は、第１のセンサ２１、第２のセンサ２２、および第３のセンサ２３といった３つのセンサにより取得されたデータに基づいて、利用者を認証する装置である。

【0086】

個人認証装置１０ｂは、第１のセンサ２１、第２のセンサ２２、第３のセンサ２３のうち２以上のセンサから取得されるデータに基づいて特徴量を抽出する特徴量抽出部１１と、記憶部１２と、特徴量抽出部１１により抽出された特徴量に基づいて利用者を判定する判定部１３と、を有する。

【0087】

各センサにより取得されたデータは個人認証装置１０ｂへ送信されるため、当該データを受信した個人認証装置１０ｂは、特徴量抽出部１１により特徴量を抽出する。また、特徴量抽出部１１は、第１のセンサ２１により取得されたデータ（音響データ）に基づいて特徴量を抽出する第１の特徴量抽出部１１１と、第２のセンサ２２により取得されたデータ（画像データ）に基づいて特徴量を抽出する第２の特徴量抽出部１１２と、第３のセンサ２３により取得されたデータ（生化学データ）に基づいて特徴量を抽出する第３の特徴量抽出部１１３と、を含む構成とすることができる。

【0088】

例えば、第１の特徴量抽出部１１１は、音響データに基づいて音響的特徴量を抽出する。具体的には、第１のセンサ２１により音響データとして利用者の発声に伴う外耳道内の振動が取得された場合、第１の特徴量抽出部１１１は当該振動に基づく特徴量（時間・周波数特徴量）を抽出する。

【0089】

また、第２の特徴量抽出部１１２は、画像データに基づいて画像的特徴量を抽出する。具体的には、第２のセンサ２２により画像データとして利用者の外耳道内の形状の画像、外耳道内の血管網の画像、外耳道内の温度分布を示す画像などが取得された場合、第２の特徴量抽出部１１２は当該血管網の画像と当該温度分布を示す画像とを用いて心拍数を推定し、推定した心拍数および当該外耳道内の形状に基づく特徴量を抽出する。

【0090】

なお、第３の特徴量抽出部１１３は、生化学データに基づいて生化学的特徴量を抽出する。具体的には、第３のセンサ２３により生化学データとして利用者の分泌物質やにおいが取得された場合、当該分泌物質や当該においに基づいて特徴量を抽出する。

【0091】

ここで、第１の特徴量抽出部１１１は、音響データを学習データとしてニューラルネットワークに機械学習を行い、学習済みモデルを生成し、当該学習済みモデルを用いて、ある利用者の音響データに基づいて音響的特徴量を抽出することができる。第２の特徴量抽出部１１２や第３の特徴量抽出部１１３も同様に、学習済みモデルを生成し、当該学習済みモデルを用いて画像的特徴量や生化学的特徴量を抽出することができる。
ニューラルネットワークは例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）やオートエンコーダなどである。また、第１の特徴量抽出部１１１などはニューラルネットワークの他に、ＳＶＭや決定木などを用いて特徴量を抽出することができる。

【0092】

第１の特徴量抽出部１１１、第２の特徴量抽出部１１２、第３の特徴量抽出部１１３などにより抽出された特徴量や生成された学習済みモデルは、記憶部１２に記憶（登録）される。特徴量抽出部１１は、記憶部１２と相互に通信可能である。また、特徴量抽出部１１が構築した個人性統合ニューラルネットワーク（後述する）を格納したり、当該個人性統合ニューラルネットワークを用いて作成された統合データを格納する統合データ格納部１２としたりすることもできる。
なお、記憶部１２はＨＤＤやＳＳＤなど個人認証装置１０ｂの一部として構成されてもよく、外部ストレージ（例えば、クラウド型データベース）としてもよい。

【0093】

判定部１３は、特徴量抽出部１１により抽出された特徴量に基づいて利用者を判定するものであるが、例えば、記憶部１２に登録された利用者毎の特徴量と、特徴量抽出部１１により抽出された特徴量とを比較することにより、利用者を判定することができる。つまり、学習時（後述する）において利用者毎の特徴量のパターン（以下、「特徴パターン」と称す）が記憶部１２に登録されるため、判定部１３は、認証時（後述する）において当該特徴パターンと特徴量抽出部１１により抽出された特徴量のパターンとを比較して、最も近い特徴パターンの該当者を利用者（各センサによりデータが取得された者）と判定することができる。

【0094】

判定部１３も記憶部１２と相互に通信可能であるため、認証時において、記憶部１２に登録された特徴量（特徴パターン）を参照することができる。

【0095】

また、判定部１３は、複数の特徴量（音響的特徴量、画像的特徴量、生化学的特徴量）を統合して、利用者を判定することができる。例えば、判定部１３は、音響的特徴量に基づく判定確度（確からしさ）、画像的特徴量に基づく判定確度（確からしさ）、および生化学的特徴量に基づく判定確度（確からしさ）のうち２以上の判定確度（確からしさ）を統合して、利用者を判定することができる。
これにより、一つの特徴量（例えば、音響的特徴量）では、特徴パターンが類似しているため利用者はＡ氏とＢ氏のどちらであるか明確に判定できない場合であっても、他の特徴量（例えば、画像的特徴量）を加えることで、総合的に、利用者はＡ氏とＢ氏のどちらであるかを明確に判定することができる。

【0096】

［個人認証方法］
図４は、本発明の実施の形態に係る個人認証方法の学習時におけるフロー図である。また、図５は、本発明の実施の形態に係る個人認証方法の認証時におけるフロー図である。以下、図４，５のフロー図および図３を参照して、個人認証システム１を用いた本発明の実施の形態に係る個人認証方法を説明する。

【0097】

［学習時］
学習時とは、個人認証システム１が利用される前の段階（準備段階）である。
学習時において、センサ装置２０は各センサにより各種データ（生体情報）を取得する。具体的には、第１のセンサ２１で生体情報（音響データ）を取得する（ステップＳ１０１）。また、第２のセンサ２２で、音響データとは異なる種類の生体情報（画像データ）を取得する（ステップＳ１０２）。また、第３のセンサ２３で、音響データや画像データとは異なる種類の生体情報（生化学データ）を取得する（ステップＳ１０３）。
各センサにより取得された各種データ（生体情報）は、個人認証装置１０ｂへ送信される。

【0098】

次に、個人認証装置１０ｂは、受信した各種データ（生体情報）に基づいて、特徴量抽出部１１により特徴量を抽出する。具体的には、第１の特徴量抽出部１１１で、音響データに基づいて音響的特徴量を抽出する（ステップＳ２０１）。また、第２の特徴量抽出部１１２で、画像データに基づいて画像的特徴量を抽出する（ステップＳ２０２）。また、第３の特徴量抽出部１１３で、生化学データに基づいて生化学的特徴量を抽出する（ステップＳ２０３）。

【0099】

そして、特徴量抽出部１１により抽出された特徴量や、特徴量を抽出する際に作成された学習済みモデルなどは、記憶部１２に記憶される（ステップＳ３０１）。もしくは、個人性統合ニューラルネットワーク（後述する）が構築され、当該個人性統合ニューラルネットワークが記憶部１２に記憶される。このような学習は複数の利用者に対して行われ、利用者毎の特徴パターンが記憶部１２に登録される。

【0100】

［認証時］
認証時とは、個人認証システム１が実際に利用される段階（運用段階）である。
認証時において、センサ装置２０は学習時と同様に、各センサにより各種データを取得し（ステップＳ１０１，１０２，１０３）、取得された各種データは個人認証装置１０ｂへ送信される。

【0101】

次に、個人認証装置１０ｂは学習時と同様に、受信した各種データに基づいて、特徴量抽出部１１により特徴量を抽出する（ステップＳ２０１，２０２，２０３）。

【0102】

そして、個人認証装置１０ｂは判定部１３により、抽出された当該特徴量に基づいて、学習時に記憶部１２に登録された利用者毎の特徴パターンなどを参照（比較）したり、個人性統合ニューラルネットワークに基づいたりして利用者を判定する（ステップＳ４０１）。
特に、個人認証装置１０ｂは、音声やニオイなどの時系列情報を有する特徴量と、静止画像のような動的な情報を持たない（時系列情報を有さない）特徴量を脈波と関係性のあるデータ（周期性データ）へ変換し、これらを統合して個人性統合ニューラルネットワークを構築する。そして、当該個人性統合ニューラルネットワークを用いて、利用者毎の個人性が示された統合データを作成し、この統合データに基づいて利用者を判定する。

【0103】

最後に、判定部１３は判定結果（認証結果）を出力（通知）する（ステップＳ５０１）。

【0104】

このように、本発明の個人認証装置や個人認証方法は、複数の異なる生体情報に基づいて抽出された特徴量により利用者が判定されるため、認証性能の向上を図ることができる。例えば、外耳道内における発生音声の伝わり方（音響データ）が極端に似ている利用者が２人いたとすると、音響的特徴量も極端に類似してこれだけによる判定は難しいかもしれないが、外耳道内の形状（画像データ）まで極端に似ている可能性は少ないため、最終的に画像的特徴量により正解の利用者を明確に判定することができる。

【0105】

また、センサ装置２０により取得される各種生体情報は外耳道内のものであるため、本発明の個人認証装置などは、周囲環境の影響を受けにくく、安定した判定精度（認証精度）を得ることができる。例えば、外耳道内は閉鎖空間でるため分泌物質やにおいがこもりやすく、生化学データを取得しやすく、かつ個人差がある（利用者毎に異なる特徴パターンが得られる）と考えられる。

【0106】

本実施の形態２で説明した記憶部１２および判定部１３の処理には、本実施の形態１で説明した処理を用いることができる。例えば、記憶部１２の構成を認証時相違データ格納部１２１および登録モデル部１２２とし、判定部１３の構成を特徴量間相違データ算出部および認証部とすることができる。

【0107】

これにより、それぞれの特徴量抽出部（第１の特徴量抽出部１１１、第２の特徴量抽出部１１２、第３の特徴量抽出部１１３）により抽出されたそれぞれの特徴量の違いが特徴量間相違データとして算出される。そして、この特徴量間相違データと、記憶部１２（登録モデル部１２２）にあらかじめ格納されている登録モデルとを用いて、利用者（個人）を認証することができる。

【0108】

［適用例］
本発明の適用例として、建設業界が挙げられる。近年、日本の建設業界では労働者数の減少に伴い、建設現場の作業環境の改善が求められている。例えば、騒音下でもクリアな音声通話が可能な骨伝導マイクを搭載した業務用ヘッドセットの利用が拡大している。
そこで、本発明は骨伝導マイクなどの音声センサを用いた利用者（話者）識別の性能改善を実現し得る装置や方法として適用することができる。さらに、話者識別を用いて、作業現場おける免許所持の確認や、情報漏洩防止のための人物判断を行う方法にも適用することができる。

【0109】

その他に、本発明は入館管理システムや健康診断システムへ適用することができる。例えば、音響データ、画像データ、および生化学データといった異なる複数種類のデータに基づいて個人認証を行うことにより、認証精度が必要とされるセキュリティの高い部屋や施設への入館を管理する入館管理システムを実現することができる。つまり、認証誤りにより関係者以外の入館を許可してしまうといったトラブルがない入館管理システムを実現することができる。

【0110】

さらに、画像データや生化学データなどから個人認証を行うと同時に、当該データから外耳道内の異常（ケガ、できもの）や体調の変化などを判断し得る健康診断システムを実現することができる。

【産業上の利用可能性】

【0111】

本発明は、周囲環境の影響を受けにくく、認証性能の向上を図ることができる個人認証装置などであり、入館管理システムや健康診断システムなど様々な分野にその生体認証技術を活かすことができるため、産業上有用である。

【符号の説明】

【0112】

１ 個人認証システム
１０，１０ａ，１０ｂ 個人認証装置
１１ 特徴量抽出部
１１１ 第１の特徴量抽出部
１１１１ 第１の特徴量抽出部Ａ
１１１２ 第１の特徴量抽出部Ｂ
１１２ 第２の特徴量抽出部
１１３ 第３の特徴量抽出部
１２ 記憶部／統合データ格納部
１２１ 認証時相違データ格納部／統合データ格納部
１２２ 登録モデル部
１３ 判定部
１３１ 特徴量相違データ算出部／統合データ作成部
１３２ 認証部
２０ センサ装置
２１ 第１のセンサ
２１１ 第１のセンサＡ
２１２ 第２のセンサＢ
２２ 第２のセンサ
２３ 第３のセンサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】