特許 6787069 生体情報解析装置、及び生体情報解析方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6787069

(24)【登録日】2020年11月2日

(45)【発行日】2020年11月18日

(54)【発明の名称】生体情報解析装置、及び生体情報解析方法

(51)【国際特許分類】

   A61B 5/00 20060101AFI20201109BHJP

   A61B 5/1455 20060101ALI20201109BHJP

   A61B 10/00 20060101ALI20201109BHJP

【ＦＩ】

   A61B5/00 GZDM

   A61B5/1455

   A61B10/00 E

【請求項の数】8

【全頁数】16

(21)【出願番号】特願2016-223493(P2016-223493)

(22)【出願日】2016年11月16日

(65)【公開番号】特開2018-79087(P2018-79087A)

(43)【公開日】2018年5月24日

【審査請求日】2019年6月21日

【新規性喪失の例外の表示】特許法第３０条第２項適用 ・ウェブサイトのアドレス ｈｔｔｐｓ：／／ｋａｉｇｉ．ｏｒｇ／ｊｓａｉ／ｗｅｂｐｒｏｇｒａｍ／２０１６／ｓｅｓｓｉｏｎ−１８８．ｈｔｍｌ ｈｔｔｐｓ：／／ｋａｉｇｉ．ｏｒｇ／ｊｓａｉ／ｗｅｂｐｒｏｇｒａｍ／２０１６／ｐｄｆ／９１７．ｐｄｆ 掲載日 平成２８年５月２５日 ・集会名 ２０１６年度人工知能学会全国大会（第３０回） 開催日 平成２８年６月６日 ・ウェブサイトのアドレス ｈｔｔｐ：／／ｗｗｗ．ｆｒｏｎｔｉｅｒｓｉｎ．ｏｒｇ／１０．３３８９／ｃｏｎｆ．ｆｎｉｎｆ．２０１６．２０．０００２７／ｅｖｅｎｔ＿ａｂｓｔｒａｃｔ 掲載日 平成２８年７月１８日 ・集会名 ＩＮＣＦ Ｎｅｕｒｏｉｎｆｏｒｍａｔｉｃｓ ２０１６，Ｍｅａｄｏｗ Ｓｕｉｔｅ 開催日 平成２８年９月３日

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(73)【特許権者】

【識別番号】503027931

【氏名又は名称】学校法人同志社

(74)【代理人】

【識別番号】100106149

【弁理士】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】蜂須賀 啓介

(72)【発明者】

【氏名】奥野 英一

(72)【発明者】

【氏名】廣安 知之

(72)【発明者】

【氏名】日和 悟

(72)【発明者】

【氏名】玉城 貴也

【審査官】 佐藤 高之

(56)【参考文献】

【文献】 特開２００６−２８０５１１（ＪＰ，Ａ）

【文献】 特開２０１６−０６２５８４（ＪＰ，Ａ）

【文献】 国際公開第２００５／１２０３４９（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２００８／０１７７１６３（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／００−５／２２

(57)【特許請求の範囲】

【請求項1】

被験者（Ｕ）の生体情報を解析することにより、前記被験者の状態を識別する生体情報解析装置であって、
前記被験者の生体情報を計測した計測値のある計測点（ＤＰ）と前記計測値のない空白点（ＢＰ）とがそれぞれ複数ずつ配列されてなる計測データ（ＩｎＤ）を取得するデータ取得部（３１）と、
前記空白点を避けつつ前記計測点と重なる形状に規定されたフィルタ（Ｆｉ１，Ｆｉ１１）を、前記計測データに対して移動させつつ個々の前記計測値に順に適用する畳み込み演算により、前記被験者の状態の識別に有効な特徴を、前記計測データから抽出する畳み込み部（３２）と、
を備える生体情報解析装置。

【請求項2】

前記データ取得部は、前記被験者の脳の状態を計測した前記生体情報の前記計測データを取得し、
前記フィルタは、脳の状態を示す前記計測データの前記空白点を避ける形状に規定されている請求項１に記載の生体情報解析装置。

【請求項3】

前記畳み込み部は、前記空白点を避けつつ前記計測点と重なるように、予め規定された複数点分ずつ、前記計測データの仮想の配列面に沿って前記フィルタを移動させる請求項１又は２に記載の生体情報解析装置。

【請求項4】

前記データ取得部は、前記計測点と前記空白点とが互い違いに配置されてなる前記計測データを取得し、
前記フィルタは、十字状に規定されている請求項１〜３のいずれか一項に記載の生体情報解析装置。

【請求項5】

前記畳み込み部は、十字状の前記フィルタが前記空白点を避けつつ前記計測点と重なるように、前記計測データの仮想の配列面に沿って前記フィルタを二点分ずつ移動させる請求項４に記載の生体情報解析装置。

【請求項6】

前記畳み込み部は、前記データ取得部によって繰り返し取得される前記計測データに対して個別に畳み込み演算を行い、
前記畳み込み部によって前記計測データ毎に生成された各出力を、時系列の関係を保持しつつ結合して、前記被験者の状態の識別に有効な特徴を抽出する時系列結合部（３３）、をさらに備える請求項１〜５のいずれか一項に記載の生体情報解析装置。

【請求項7】

前記時系列結合部は、複数の特徴値を含む演算結果を前記計測データ毎に生成し、
各前記演算結果に含まれた前記特徴値のうちで、対応する領域にある前記特徴値に基づいて、前記被験者の状態を識別する状態識別部（３４）、をさらに備える請求項６に記載の生体情報解析装置。

【請求項8】

信号処理装置（２０）によって実施され、被験者（Ｕ）の生体情報を解析することにより、前記被験者の状態を識別する生体情報解析方法であって、
前記信号処理装置の処理回路（２１）にて実行される処理に、
前記被験者の生体情報を計測した計測値のある計測点（ＤＰ）と前記計測値のない空白点（ＢＰ）とがそれぞれ複数ずつ配列されてなる計測データを取得するステップ（Ｓ１０１）と、
前記空白点を避けつつ前記計測点と重なる形状に規定されたフィルタ（Ｆｉ１，Ｆｉ１１）を、前記計測データに対して移動させつつ個々の前記計測値に順に適用する畳み込み演算により、前記被験者の状態の識別に有効な特徴を、前記計測データから抽出するステップ（Ｓ１０２）と、
を少なくとも含む生体情報解析方法。

【発明の詳細な説明】

【技術分野】

【0001】

この明細書による開示は、被験者の生体情報を解析する技術に関する。

【背景技術】

【0002】

従来、信号処理に関連する技術の一種として、例えば特許文献１には、顔を撮影した画像データを解析することにより、画像データに撮影された個人を識別する顔認証の技術が開示されている。特許文献１に記載の情報処理装置は、個人を識別するために、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）処理を行っている。ＣＮＮ処理では、二次元状に配列された多数のピクセルからなる画像データに対して、空間フィルタを移動させつつ適用する畳み込み演算が行われる。こうした畳み込み演算により、顔を撮影した画像データから、個人の識別に有効な特徴が抽出される。画像データに適用される空間フィルタは、特許文献１に記載のように、例えば３×３ピクセル等の矩形状に予め規定されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４‐２０３１３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

さて、本開示の発明者は、特許文献１とは異なる信号処理として、被験者の状態を識別するための生体情報の解析に、特許文献１に開示のような畳み込み演算を適用することを想到した。しかし、被験者の生体情報を計測した計測データは、画像データのように個々のピクセルを二次元状に敷き詰めた形態にならない場合がある。これは、例えば生体情報を計測する計測装置のセンサ配列の態様等に起因して、不可避的に生じる制約である。こうした理由により、被験者の生体情報の計測データは、生体情報の計測値のある点（以下、「計測点」）と、計測値のない点（以下「空白点」）とが配列された形態になってしまうのである。

【0005】

以上のような計測データに対して、画像データに用いるような矩形状のフィルタを適用して畳み込み演算を実施すると、空白点にもフィルタが重ねられてしまい、空白点の情報も後段の層にて演算の対象となってしまう。その結果、畳み込み演算に必要とされる計算リソースの無駄な消費が発生し得た。

【0006】

本開示は、上記問題点に鑑みてなされたものであり、その目的は、計測値のない空白点が存在する計測データを効率的に処理して、被験者の状態を識別することが可能な生体情報の解析装置及び解析方法を提供することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するため、開示された第一の態様は、被験者（Ｕ）の生体情報を解析することにより、被験者の状態を識別する生体情報解析装置であって、被験者の生体情報を計測した計測値のある計測点（ＤＰ）と計測値のない空白点（ＢＰ）とがそれぞれ複数ずつ配列されてなる計測データ（ＩｎＤ）を取得するデータ取得部（３１）と、空白点を避けつつ計測点と重なる形状に規定されたフィルタ（Ｆｉ１，Ｆｉ１１）を、計測データに対して移動させつつ個々の計測値に順に適用する畳み込み演算により、被験者の状態の識別に有効な特徴を、計測データから抽出する畳み込み部（３２）と、を備える生体情報解析装置とされる。

【0008】

また、開示された第二の態様は、信号処理装置（２０）によって実施され、被験者（Ｕ）の生体情報を解析することにより、被験者の状態を識別する生体情報解析方法であって、信号処理装置の処理回路（２１）にて実行される処理に、被験者の生体情報を計測した計測値のある計測点（ＤＰ）と計測値のない空白点（ＢＰ）とがそれぞれ複数ずつ配列されてなる計測データを取得するステップ（Ｓ１０１）と、空白点を避けつつ計測点と重なる形状に規定されたフィルタ（Ｆｉ１，Ｆｉ１１）を、計測データに対して移動させつつ個々の計測値に順に適用する畳み込み演算により、被験者の状態の識別に有効な特徴を、計測データから抽出するステップ（Ｓ１０２）と、を少なくとも含む生体情報解析方法とされる。

【0009】

これらの態様において、畳み込み演算にて用いられるフィルタは、空白点を避けつつ計測点と重なる形状に規定されている。故に、畳み込み演算では、計測データに含まれる計測点及び空白点のうちで計測点に適確にフィルタを重ねて、個々の計測値から特徴を抽出できる。以上のように、フィルタの形状によって空白点が演算の対象から除外されれば、畳み込み演算における無駄な計算リソースの消費は、低減され得る。したがって、計測値のない空白点が存在する計測データを効率的に処理して、被験者の状態を識別することが可能となる。

【0010】

尚、上記括弧内の参照番号は、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、技術的範囲を何ら制限するものではない。

【図面の簡単な説明】

【0011】

【図1】信号処理装置を含む車載システムの全体像を模式的に示す図である。

【図2】車載システムの電気的な構成の全体像を示すブロック図である。

【図3】脳機能計測装置にて計測される計測データの形式を詳細に説明するための図である。

【図4】信号処理装置の処理回路にて実施される機器制御処理の一例について、詳細を示すフローチャートである。

【図5】ユーザの状態を識別する信号処理に用いられる一連の学習器について、全体構造を模式的に示す図である。

【図6】畳み込み演算にて空間的な特徴量が抽出される過程を模式的に示す図である。

【図7】畳み込み演算の第一層にて用いられるフィルタの移動を詳細に示す図である。

【図8】時系列結合演算にて時系列性を持った特徴量が抽出される過程を模式的に示す図である。

【図9】符号化演算にて実施される処理の詳細を示す図である。

【図10】被験者の状態を識別するうえで注目すべき脳部位である関心領域（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ，ＲＯＩ）の推定において、課題の難易度に影響されにくい脳部位を計測対象とする領域が選択された場合の忘却ゲートの値の推移を、時系列に沿って可視化した図である。

【図11】ＲＯＩの推定において、課題の難易度に影響される脳部位を計測対象とする領域が選択された場合の忘却ゲートの値の推移を、時系列に沿って可視化した図である。

【図12】変形例１による初段のフィルタの移動の態様を示す図である。

【図13】変形例２による初段のフィルタの形状を示す図である。

【発明を実施するための形態】

【0012】

図１及び図２に示す本開示の一実施形態による信号処理装置２０は、車両に搭載され、脳機能計測装置１０及び複数の車載機器６０等と共に車載システム１００を構成している。車載システム１００は、例えば運転者等の車両のユーザＵの脳信号を読み取り、車載機器６０を制御するブレインマシンインターフェース（Ｂｒａｉｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）として機能可能である。

【0013】

脳機能計測装置１０は、被験者としてのユーザＵに装着される。脳機能計測装置１０は、近赤外脳機能計測法（ｆｕｎｃｔｉｏｎａｌ Ｎｅａｒ ＩｎｆｒａＲｅｄ Ｓｐｅｃｔｒｏｓｃｏｐｙ，ｆＮＩＲＳ）を用いて、ユーザＵの生体情報である脳の活動状態を計測する。詳記すると、脳機能計測装置１０は、酸素化ヘモグロビン及び脱酸素化ヘモグロビンについて近赤外光の吸収スペクトルが互いに異なること利用し、酸素化ヘモグロビンの濃度変化を計測することで、血流量が増加して活性化している脳内の箇所を検出する。脳機能計測装置１０は、有線又は無線によって信号処理装置２０と通信可能に接続されており、ユーザＵの脳活動の変化を計測した計測データＩｎＤを、信号処理装置２０に提供する。脳機能計測装置１０は、図２及び図３に示すように、ホルダ１１、複数の送光プローブ１２、複数の受光プローブ１３、及びデータ処理部１４を有している。

【0014】

ホルダ１１は、全体として柔軟な素材で形成されている。ホルダ１１は、ユーザＵの頭部の形状に合わせて変形した状態で、ユーザＵの頭部に装着される。ホルダ１１は、複数の送光プローブ１２及び複数の受光プローブ１３を保持している。ホルダ１１を平面上に展開すると、ホルダ１１のうちで送光プローブ１２及び受光プローブ１３を保持する部分は、横長の矩形状に形成されている。

【0015】

複数の送光プローブ１２及び複数の受光プローブ１３は、ホルダ１１に互い違いの配置で保持されている。互いに隣接する送光プローブ１２及び受光プローブ１３は、例えば３０ｍｍ程度、それぞれ離されている。送光プローブ１２は、生体を透過しやすい７００〜９００ｎｍの波長の近赤外光を、ユーザＵの頭部の表面へ向けて照射する。近赤外光は、大脳皮質でのヘモグロビンの吸収を受けつつ、脳内で散乱されながら受光プローブ１３に到達する。受光プローブ１３は、ユーザＵの大脳皮質で吸収及び散乱を起こした近赤外光を集光する。

【0016】

データ処理部１４は、各送光プローブ１２による近赤外光の照射と、各受光プローブ１３の受光による計測とを制御することにより、所定の時間間隔で計測データＩｎＤの生成を繰り返し、生成した計測データＩｎＤを信号処理装置２０へ向けて逐次出力する。個々の計測データＩｎＤは、概ね正方形状に規定された多数のポイントを、縦横に二次元配列した形態とされている。計測データＩｎＤにおいて各送光プローブ１２と各受光プローブ１３との間には、ポイント一つ分の間隔が設けられている。

【0017】

データ処理部１４は、各送光プローブ１２のうちの一つから順に近赤外光を照射させ、近赤外光を照射した送光プローブ１２に隣接する二つ〜四つの受光プローブ１３にて、近赤外光を受光する。データ処理部１４は、受光プローブ１３により受光した光を光電子増倍管等によって電気信号に変換し、ユーザＵの脳活動の状態を示す一つの計測値として取得する。データ処理部１４は、取得した計測値を、計測データＩｎＤに規定された多数のポイントのうちで、近赤外光を照射元である送光プローブ１２とその近赤外光を受光した受光プローブ１３との間に位置するポイントに格納する。

【0018】

一方で、計測データＩｎＤの多数のポイントのうちで、送光プローブ１２及び受光プローブ１３が配置されるポイントには、計測値は割り当てられない。加えて、二つの送光プローブ１２の間に位置するポイントにも、計測値は割り当てられない。その結果、一つの計測データＩｎＤは、計測値のある複数のポイント（以下、「計測点ＤＰ」）と計測値のない複数のポイント（以下、「空白点ＢＰ」）とが縦横に交互に配列されてなる形態とされる。このように、計測データＩｎＤの形態は、平面上に展開されたホルダ１１の形状及び送光プローブ１２及び受光プローブ１３の配置に対応しており、空白点ＢＰという欠損部分を不可避的に含む形態となっている。

【0019】

車載機器６０は、図１及び図２に示すように、例えば空調制御装置６１、ナビゲーション装置６２、及びオーディオ装置６３等の車両に搭載された電子機器である。空調制御装置６１は、主に触感を通じてユーザＵの状態を変化させる。ナビゲーション装置６２及びオーディオ装置６３は、それぞれ視覚及び聴覚を通じてユーザＵの状態を変化させる。各車載機器６０は、信号処理装置２０と電気的に接続されており、信号処理装置２０から入力される制御信号に従って種々の処理を実行可能である。

【0020】

信号処理装置２０は、少なくとも一つのプロセッサ、ＲＡＭ、記憶媒体、及び複数の入出力部等によって構成された処理回路２１を有する電子制御装置である。処理回路２１の記憶媒体は、例えばフラッシュメモリ又はハードディスクドライブ等の非遷移的実体的記録媒体(non-transitory tangible storage medium)である。記憶媒体には、ユーザＵの生体情報を解析する生体情報解析プログラム等が記憶されている。生体情報解析プログラムの実行により、処理回路２１には、状態推定器３０及び機器制御器４０等の機能ブロックが構築される。

【0021】

状態推定器３０は、信号処理装置２０の計測データＩｎＤに基づき、ユーザＵの状態を推定する。状態推定器３０は、例えば快及び不快といったユーザＵの情動、ユーザＵの覚醒度及び漫然度、並びに負荷の高低によるユーザＵのストレス感等を識別する。状態推定器３０は、データ取得部３１、畳み込み部３２、時系列結合部３３、及び符号化部３４を有している。

【0022】

データ取得部３１は、ユーザＵの脳の活動状態を示す生体情報として、信号処理装置２０から出力される計測データＩｎＤを取得する。畳み込み部３２は、データ取得部３１によって繰り返し取得される計測データＩｎＤに対して、後述する畳み込み演算を個別に行う。畳み込み部３２は、畳み込み演算によってユーザＵの状態の識別に有効な空間的な特徴を、個々の計測データＩｎＤから抽出する。

【0023】

時系列結合部３３は、畳み込み部３２の演算結果に対して、ユーザＵの状態識別に有効な時系列性を持った特徴を抽出する時系列結合演算を行う。時系列結合部３３は、個々の計測データＩｎＤに基づく演算結果について、互いに対応する領域の算出値を、時間関係を保持したまま結合する。符号化部３４は、時系列結合部３３の出力に対して符号化演算を行うことで、予め設定された二つ以上の状態の中から、計測データＩｎＤの取得時刻におけるユーザＵの状態を識別する。

【0024】

機器制御器４０は、状態推定器３０による識別結果に基づき、車載機器６０を制御する。機器制御器４０は、指令生成部４１及び指令出力部４２を有している。指令生成部４１は、状態推定器３０から識別結果を取得し、取得した識別結果に基づいて、車載機器６０を制御する処理の要否を判定する。指令生成部４１は、車載機器６０の制御が必要と判定した場合、制御対象とする車載機器６０と、車載機器６０に対して実施する制御の具体的な内容とを決定する。指令出力部４２は、指令生成部４１の決定に基づき、指令生成部４１にて選定された車載機器６０へ向けて出力する制御信号を生成する。指令出力部４２は、生成した制御信号を、指令生成部４１にて選択された車載機器６０へ向けて出力する。

【0025】

以上の信号処理装置２０は、一例として、運転席周辺の空調環境をユーザＵが不快に感じている場合に、空調機器の制御状態をユーザＵが快適に感じるような状態に自動で調整する。このような信号処理装置２０による機器制御処理の詳細を、図４に基づき、図２及び図１を参照しつつ説明する。機器制御処理は、例えば車両に搭載された駆動用の機関がオン状態とされ、車両が走行可能な状態となったことに基づき、処理回路２１によって開始される。

【0026】

Ｓ１０１では、信号処理装置２０から脳活動の計測データＩｎＤを取得し、Ｓ１０２に進む。Ｓ１０１により、時系列の脳血流変化量の計測結果が取得される。Ｓ１０２では、直前のＳ１０１を含め、それまでに取得した計測データＩｎＤに基づく信号処理により、ユーザＵの状態を識別し、Ｓ１０３に進む。空調を調整する機器制御の場合、Ｓ１０２では、現在の空調環境をユーザＵが快適に感じているか否かを識別する。

【0027】

Ｓ１０３では、Ｓ１０２による識別結果に基づき、空調制御装置６１を制御するか否かを判定する。Ｓ１０２による識別結果がユーザＵの快適でない状態を示している場合、Ｓ１０３からＳ１０４に進む。Ｓ１０４では、空調制御装置６１に設定されている温度、風向、及び風量等の設定値を調整する制御を実施し、Ｓ１０１に戻る。Ｓ１０１〜Ｓ１０４の繰り返しにより、ユーザＵが快適と感じるようになるまで設定値の調整が継続される。

【0028】

一方、Ｓ１０２による識別結果がユーザＵの快適な状態を示している場合、Ｓ１０５に進む。Ｓ１０５では、空調制御装置６１における現在の設定値を維持し、Ｓ１０６に進む。Ｓ１０６では、ユーザＵの快適な状態を示す直前の判定から、所定時間の経過を待機する。Ｓ１０６にて、所定時間が経過したと判定し場合、Ｓ１０７に進む。

【0029】

Ｓ１０７では、ユーザＵの運転終了を推定するため、例えば機関が停止したか否かを判定する。Ｓ１０７にて、機関が作動状態にあると判定した場合には、Ｓ１０１に戻り、ユーザＵが快適に感じるように空調を調整する制御を継続する。一方で、Ｓ１０７にて機関が停止されたと判定した場合、機器制御処理を終了する。

【0030】

以上の機器制御処理のＳ１０２にて実施される信号処理では、図５に示すように、状態推定器３０は、入力された一つの計測データＩｎＤに対し、畳み込み演算、時系列結合演算、及び符号化演算を順に実施することで、ユーザＵの状態を識別する。こうした一連の信号処理の詳細を、図５〜図１０に基づき、図２を参照しつつ説明する。

【0031】

畳み込み部３２にて実行される畳み込み演算では、図５〜図７に示すように、ＣＮＮからプーリング層を除いたモデルを用いて、特徴量が抽出される。畳み込み演算にて、畳み込み部３２は、前処理を行っていない一つの計測データＩｎＤを入力データとし、計測値の計測された互いの位置関係を保持しつつ、状態識別に有効な空間的な特徴を自動抽出する。二次元状の形式であった計測データＩｎＤは、畳み込み演算により、時系列結合部３３への入力に適した一次元の形式に変更される。

【0032】

畳み込み演算の初段（第一層）に用いられるフィルタＦｉ１は、計測データＩｎＤの欠損箇所である空白点ＢＰを避けつつ、計測点ＤＰと重なる形状に規定されている。畳み込み部３２には、多数（Ｎ_１個）のフィルタＦｉ１が設定されている。各フィルタＦｉ１の内容は、互いに異なっている。各フィルタＦｉ１は、互いに同一の形状であって、十字状に予め規定されている。フィルタＦｉ１において、十字の中央に位置するポイントは、計測データＩｎＤに適用されない開口点ＯＰである。畳み込み部３２は、フィルタＦｉ１において開口点ＯＰの外周を囲むように配置された四つのポイントを、計測点ＤＰである四つのポイントに重ねていく。

【0033】

畳み込み部３２は、各フィルタＦｉ１を一つずつ順に、一つの計測データＩｎＤに適用する。畳み込み部３２は、十字状の各フィルタＦｉ１が空白点ＢＰを避けつつ四つの計測点ＤＰと重なるように、計測データＩｎＤの仮想の配列面に沿って、フィルタＦｉ１を移動させる。畳み込み部３２は、予め規定された複数点（二点）分ずつ、フィルタＦｉ１を横（長手）方向に移動させながら、計測データＩｎＤに適用していく（図７ 丸付きの１→２→３→４参照）。畳み込み部３２は、横方向の両縁部のうち一方（左側）から他方（右側）までフィルタＦｉ１を適用し終えると、縦（下）方向にフィルタＦｉ１を移動させる。そして畳み込み部３２は、再びフィルタＦｉ１を横方向に移動させつつ、計測データＩｎＤに適用していく（図７ 丸付きの５→６→７→８参照）。このときフィルタＦｉ１は、縦方向にも複数点（二点）分ずつ移動される。尚、図７では、二点差線によって記載された各ひし形が、移動される十字状のフィルタＦｉ１に相当する。

【0034】

畳み込み部３２は、一つの計測データＩｎＤに対して一つのフィルタＦｉ１を適用することにより、一つの出力（特徴マップｆｍ１）を生成する。こうした処理の繰り返しによって、複数のフィルタＦｉ１が一つ一つの計測データＩｎＤに対して順に適用されることで、フィルタＦｉ１の枚数と同一数の特徴マップｆｍ１が生成される。第一層により生成される特徴マップｆｍ１には、空白点ＢＰは存在せず、全てのポイントには計測データＩｎＤに基づく値が割り当てられている。

【0035】

畳み込み部３２は、初段のフィルタＦｉ１によって抽出された特徴マップｆｍ１に対して、二段目のフィルタＦｉ２を適用することで、次層の特徴マップｆｍ２を生成する。二段目（第二層）のフィルタＦｉ２は、初段のフィルタＦｉ１とは異なり、複数のポイントが縦横に配列された矩形状又は正方形状に規定されている。第二層の畳み込みでは、全ての特徴マップｆｍ１にて互いに対応する領域に一つのフィルタＦｉ２が適用されることで、特徴マップｆｍ２の一つの値が算出される。畳み込み部３２は、フィルタＦｉ２を一点分ずつ横方向に移動させながら、全ての特徴マップｆｍ１にフィルタＦｉ２を適用していく処理により、一つの特徴マップｆｍ２を生成する。畳み込み部３２は、フィルタＦｉ２の枚数と同一数の特徴マップｆｍ２を生成する。

【0036】

時系列結合部３３にて実行される時系列結合演算では、図５及び図８に示すように、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の一種であるＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ‐Ｔｅｒｍ Ｍｅｍｏｒｙ）を用いて、特徴量が抽出される。時系列結合演算では、特定時刻（例えばｔ＝２）に対して過去（ｔ＝１）となる中間層ｍｌの出力（図８ Ｗ参照）が、特定時刻の中間層ｍｌに入力される。こうしたモデルにより、時系列結合部３３は、連続する複数時刻の計測データＩｎＤ毎に生成された各出力ｏｐ１（図６ 特徴マップｆｍ２等）を、時系列の関係を保持しつつ結合する。こうした時系列結合演算により、ユーザＵ（図３参照）の状態識別に有効な時系列での特徴が自動抽出される。時系列結合演算では、一つの計測データＩｎＤに対し、複数の特徴値（１〜Ｎ）を含む演算結果ｏｐ２が一つ生成される。

【0037】

符号化部３４にて実行される符号化演算では、図５及び図９に示すように、時系列結合演算によって特徴量を抽出した各演算結果ｏｐ２に基づき、ユーザＵの状態が識別される。具体的に、符号化演算では、複数の特徴値を含む各演算結果ｏｐ２を平均化する処理と、平均化した一つの出力ｏｐ３を正規化する処理とが順に実施される。

【0038】

符号化部３４は、平均化（Ｍｅａｎ Ｐｏｏｌｉｎｇ）処理により、時系列結合演算により抽出された特徴量である演算結果ｏｐ２を平均化する。具体的には、異なる時刻の各演算結果ｏｐ２に含まれた特徴値のうちで、対応する領域にある特徴値を一つずつ取得する。対応する領域とは、行列における位置が互いに同一の値を示している。符号化部３４は、複数の演算結果ｏｐ２から一つずつ取得した複数の特徴値について、平均値を計算する。こうした処理により、各演算結果ｏｐ２と同一形式の出力ｏｐ３が生成される。

【0039】

符号化部３４は、活性化関数の一種であるＳｏｆｔｍａｘ関数を用いて、平均化された特徴量である出力ｏｐ３を正規化し、ユーザＵ（図３参照）の状態を示す出力ｏｐ４を生成する。Ｓｏｆｔｍａｘ関数の出力ｏｐ４は、０以下の数値を複数含む行列である。各数値は、それぞれ予め設定された複数のユーザＵの状態の一つと関連付けられている。即ち、各数値は、ユーザＵの状態が関連付けられた状態である確率を示している。符号化部３４は、出力ｏｐ４の数値のうちで最も値の大きい一つと関連付けられた状態（図９ ＣｌａｓｓＡ参照）を、ユーザＵの状態を示す識別結果とする。

【0040】

以上の畳み込み演算の各フィルタＦｉ１，Ｆｉ２の重み、並びに時系列結合演算及び符号化処理の閾値等のパラメータは、学習器の最終の出力と教師信号との差異が小さくなるように、最適化アルゴリズムを用いて更新される。こうした機械学習により予め生成された各フィルタＦｉ１，Ｆｉ２及び閾値等が信号処理装置２０に格納されることで、車両における計測データＩｎＤからの特徴量の自動抽出が実現可能となる。また状態推定器３０は、特定のユーザＵについてさらに学習を進めることにより、各フィルタＦｉ１，Ｆｉ２の重み等のパラメータを、特定のユーザＵの状態識別に有効な内容に更新していくことが可能である。

【0041】

次に、ここまで説明した学習器は、脳活動に基づくユーザＵの状態識別だけでなく、ユーザＵにて活性を示している脳部位の推定にも用いることが可能である。以下、ユーザＵに相当する被験者に課題を与えた場合に、その課題が影響を及ぼしている脳部位を上記の学習器を用いて推定する手法の詳細を説明する。

【0042】

被験者には、一時的に情報を保持する脳内のワーキングメモリを用いるＮ−ｂａｃｋ課題が与えられる。被験者は、所定時間のレスト（Ｒｅｓｔ）、所定時間のタスク（Ｔａｓｋ）、及び所定時間のレスト（Ｒｅｓｔ）を一つのセットとして、複数のセットを繰り返し行う。難易度の異なる２−ｂａｃｋの課題と３−ｂａｃｋの課題とが、被験者には与えられる。２−ｂａｃｋの課題よりも３−ｂａｃｋの課題の方が高負荷となる。よって、学習器によって正しく識別された場合、２−ｂａｃｋ課題の実施中では「ワーキングメモリが低負荷」となり、３−ｂａｃｋ課題の実施中では「ワーキングメモリが高負荷」となる。脳機能計測装置１０の計測対象とされる範囲は、ワーキングメモリに関連する前頭前野を含むよう設定されている。

【0043】

このようなＮ−ｂａｃｋ課題を実施した多数の被験者の計測データＩｎＤがデータセットとして用いられ、学習器は、Ｎ−ｂａｃｋ課題の難易度の識別を行う。活性化した脳部位の推定のために、畳み込み演算の初段における八つの領域（図７ 丸付きの１〜８参照）のうち、一つの領域の値のみが後段の層に入力される。即ち、選択されない他の領域における畳み込みの出力値は、全て「０」とされる。

【0044】

以上により、Ｎ−ｂａｃｋ課題によって脳活動に違いの生じる脳部位に対応した領域が初段にて選択されている場合、難易度の識別率は高くなる。一方で、Ｎ−ｂａｃｋ課題によって脳活動に違いの生じ難い脳部位に対応した領域が初段にて選択されている場合、難易度の識別率は低くなる。こうした違いにより、Ｎ−ｂａｃｋ課題の難易度の影響する脳部位が推定可能となる。

【0045】

上記の推定の結果、Ｎ−ｂａｃｋ課題の難易度差に最も影響を受けた脳部位は、左脳の前頭前野背外側皮質（ＤＬＰＦＣ）及び前部前頭前野（ＡＰＦＣ）となる。ＤＬＰＦＣは、ワーキングメモリ課題や認知課題で活性化し、認知的制御の心的機能に関わることが知られている。ＡＰＦＣは、ＤＬＰＦＣと同様の活性化を示すことが知られている。よって学習器は、課題に関係した脳血流変化の特徴を計測データＩｎＤから抽出可能であると結論付けられる。

【0046】

さらに、時系列結合演算にて用いるＬＳＴＭの忘却ゲート（図８参照）の値は、課題の難易度差が影響する脳部位の推定に有効である。詳記すると、課題の難易度によって影響を受け難い脳部位の計測値が畳み込み演算の初段に入力された場合、忘却ゲートの値の推移は、図１０に示す態様となる。具体的には、レストからタスクへと被験者の課題の実施状況が遷移しても、忘却ゲートの値は、概ね維持される。一方で、課題の難易度によって影響を受ける脳部位の計測値が畳み込み演算の初段に入力された場合、忘却ゲートの値の推移は、図１１に示す態様となる。即ち、レストからタスクへと被験者の課題の実施状況が遷移すると、忘却ゲートの値は、顕著に立ち上がる。以上のように、忘却ゲートの値を評価することにより、各脳部位（図７ 丸付きの１〜８参照）が、被験者の状態を識別するうえで注目すべき脳部位「ＲＯＩ」であるか否かを推定できる。

【0047】

ここまで説明した本実施形態において、畳み込み演算の第一層に用いられるフィルタＦｉ１は、空白点ＢＰを避けつつ計測点ＤＰと重なる形状に規定されている。故に、畳み込み演算の初段では、計測データＩｎＤに含まれる計測点ＤＰ及び空白点ＢＰのうちで計測点ＤＰに適確にフィルタＦｉ１が重ねられる。こうして、各計測点ＤＰに割り当てられた個々の計測値が選択的に後段の層に出力され、これら計測値から状態識別に有効な特徴が抽出される。以上のように、フィルタＦｉ１の形状によって空白点ＢＰが演算の対象から除外されれば、畳み込み演算における無駄な計算リソースの消費は、低減され得る。したがって、空白点ＢＰが存在する計測データＩｎＤを効率的に処理して、ユーザＵの状態を識別することが可能となる。

【0048】

加えて本実施形態のフィルタＦｉ１の形状は、脳の状態を計測した計測データＩｎＤの空白点ＢＰを避けるように最適化されている。加えて、フィルタＦｉ１を計測データＩｎＤに適用する際の移動も、空白点ＢＰを避けるように最適化されている。以上のように、脳の状態を示す計測データＩｎＤは、画像データのように二次元状に値が敷き詰められた形式とはなり難く、特殊な形態となり易い。故に、矩形状でない異形形状のフィルタＦｉ１を複数点分移動させる手法を適用する対象として、脳の計測データＩｎＤから特徴量を抽出する畳み込み演算は、特に好適なのである。

【0049】

また本実施形態の計測データＩｎＤのように、計測点ＤＰと空白点ＢＰとが互い違いに配置されている場合、フィルタＦｉ１を十字状に形成すれば、矩形状のフィルタを用いた場合と比較して、空白点ＢＰへのフィルタＦｉ１の適用が確実に低減される。加えて、十字状の中央が開口点ＯＰであれば、フィルタＦｉ１は、いっそう計測点ＤＰのみに適用される形状となる。

【0050】

さらに本実施形態の畳み込み部３２は、十字状のフィルタＦｉ１が各計測点ＤＰと適確に重なるように、フィルタＦｉ１を計測データＩｎＤに対して二点分ずつ移動させる。故に、計測データＩｎＤの全体において、フィルタＦｉ１は、概ね計測点ＤＰのみに適用されて、計測値を抽出し得る。以上のように、計測点ＤＰと空白点ＢＰとが市松状に配置された計測データＩｎＤに対して十字状のフィルタＦｉ１を用いれば、ユーザＵの状態を識別する一連の演算は、いっそう効率的に処理される。

【0051】

加えて本実施形態では、フィルタＦｉ１の形状を工夫することにより、計測データＩｎＤの形状を変更することなく、畳み込み演算の効率化が図られている。このように、計測データＩｎＤの形状が入力層で変形されていないため、ＲＯＩの推定に際して、活性化している脳の部位の特定が容易となる。以上のように、空白点ＢＰを無くすように計測データＩｎＤを前処理しない手法は、ＲＯＩの推定に特に好適である。

【0052】

また本実施形態では、畳み込み演算に時系列結合演算が組み合わされる学習器の採用により、状態推定器３０は、状態識別に有効な空間的な特徴量だけでなく、時間的な特徴量も鑑みて、ユーザＵの状態を識別できる。以上により、状態推定器３０は、計算リソースの消費を抑えつつ、識別の正確性をいっそう向上させることができる。

【0053】

さらに本実施形態の符号化演算では、時系列結合部演算の各演算結果ｏｐ２を平均化した後に、Ｓｏｆｔｍａｘ関数による正規化の演算が実施されている。このような処理の順序であれば、平均化による情報の損失が防がれる。即ち、状態推定器３０は、ユーザＵの状態を予め設定された複数のうちの一つに確実に識別できる。

【0054】

尚、本実施形態では、ユーザＵが「被験者」に相当し、符号化部３４が「状態識別部」に相当し、信号処理装置２０が「生体情報解析装置」に相当する。

【0055】

（他の実施形態）
以上、本開示による一実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。

【0056】

上記実施形態では、ユーザＵの脳の状態を計測した計測データＩｎＤを識別する例について詳細に説明したが、学習器に入力される計測データは、脳の状態を示す計測データに限定されない。脳の状態とは異なる例えば体温等の生体情報を解析する学習器でも、上記のような異型のフィルタは使用可能である。また、ｆＮＩＲＳ以外の計測方法を用いて計測された脳活動の計測データを解析する学習器にも、上記のような異型のフィルタは使用可能である。

【0057】

上記実施形態の畳み込み部は、フィルタＦｉ１を横方向に二点分ずつ移動し終えると、当該フィルタＦｉ１を縦方向に二点分移動させたうえで、再び横方向に二点分ずつ移動するスライド処理を行っていた（図７参照）。しかし、フィルタのスライド処理の詳細は、適宜変更されてよい。

【0058】

一例として、図１２に示す変形例１では、フィルタＦｉ１は、初段にて横方向に移動された後（丸付きの１→４参照）、初段の開始位置よりも下方向且つ右方向にそれぞれ一点ずつずれた位置から、再び横方向に移動される（丸付きの５→７参照）。そして、フィルタＦｉ１は、初段の開始位置よりも下方向に二点分移動した位置から、再び横方向に移動される（丸付きの８→１１参照）。以上のように、（６，１０，１５，１１）、（７，１１，１６，１２）、（８，１２，１７，１３）の各範囲にもフィルタＦｉ１を適用するスライド処理が実施可能である。尚、図１２では、二点差線によって記載された各縦長の楕円が、移動されるフィルタＦｉ１１に相当する。

【0059】

また、畳み込み演算の初段のフィルタの形状は、十字状に限定されない。例えば、図１３に示す変形例２のフィルタＦｉ１１のように、十字を縦方向に二つ組み合わせた形状が採用されてもよい。変形例２のフィルタＦｉ１１も、計測データＩｎＤに対して横方向に二点分ずつ移動される。以上のように、少なくとも一つの空白点を避けることができるような非矩形状であれば、フィルタの形状は適宜変更可能である。

【0060】

上記実施形態における初段のフィルタ形状は、学習器に入力される計測データの態様に合わせて、予め規定されていた。しかし、状態推定器は、データ取得部の取得する計測データの態様に合わせて、取得した計測データの空白点を避けるようにフィルタの形状を設定する形状設定部をさらに有していてもよい。

【0061】

上記実施形態の時系列結合演算では、ＬＳＴＭが採用されていた。しかし、時系列の情報を含む計測データから時間的な特徴量を抽出可能であれば、ＬＳＴＭとは異なるＲＮＮが採用されてよい。また、符号化部にて実行される符号化演算として、複数の特徴値を含む各演算結果を平均化する処理に替えて、他の演算が実施されてもよい。一例として、符号化演算におけるプーリング層は、時系列結合演算の出力に含まれる複数の特徴値のうちで、対応する領域にある特徴値の最大値を出力するＭａｘ Ｐｏｏｌｉｎｇを行ってもよい。さらに、最終の出力層には、Ｓｏｆｔｍａｘ関数とは異なる関数が採用されてよい。以上のように、識別の目的や識別数に応じて、種々の符号化方法が採用可能である。

【0062】

上記実施形態の学習器は、全体として、二層の畳み込み層と、三層のＬＳＴＭと、それぞれ一層ずつのＭｅａｎ Ｐｏｏｌｉｎｇ層及びＳｏｆｔｍａｘ層との合計七層の構造とされていた。しかし、学習器の構造は、適宜変更可能である。例えば、畳み込み層及びＬＳＴＭの層は、それぞれさらに多層化された構造であってもよい。

【0063】

上記実施形態による生体情報解析方法を実行する処理部の構成は、信号処理装置２０の処理回路２１に限定されない。車両等の移動体に搭載される種々の電子制御ユニットの処理回路が、本開示の学習器に基づきユーザＵの状態を識別可能である。さらに、処理部は、ユーザＵに携帯された端末に含まれる構成であってもよく、又は計測データを受信可能なサーバに含まれる構成であってもよい。

【符号の説明】

【0064】

ＩｎＤ 計測データ、ＢＰ 空白点、ＤＰ 計測点、Ｆｉ１，Ｆｉ１１ フィルタ、Ｕ ユーザ（被験者）、２０ 信号処理装置（生体情報解析装置）、３１ データ取得部、３２ 畳み込み部、３３ 時系列結合部、３４ 符号化部（状態識別部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】