知財求人 - 知財ポータルサイト「IP Force」
特開2023-113965データ生成装置、生体データ計測システム、識別器生成装置、データ生成方法、識別器生成方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023113965
(43)【公開日】2023-08-16
(54)【発明の名称】データ生成装置、生体データ計測システム、識別器生成装置、データ生成方法、識別器生成方法及びプログラム
(51)【国際特許分類】
A61B 5/372 20210101AFI20230808BHJP
A61B 5/386 20210101ALI20230808BHJP
【ＦＩ】
A61B5/372
A61B5/386
【審査請求】有
【請求項の数】23
【出願形態】ＯＬ
(21)【出願番号】P 2023099975
(22)【出願日】2023-06-19
(62)【分割の表示】P 2018101741の分割
【原出願日】2018-05-28
(31)【優先権主張番号】P 2017147165
(32)【優先日】2017-07-28
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】坂井 あす郁
(72)【発明者】
【氏名】蓑田 佑紀
(72)【発明者】
【氏名】森川 幸治
(57)【要約】
【課題】既存の生体データから擬似的な生体データを生成する技術を提供する。
【解決手段】データ生成装置は、プロセッサと、少なくとも１つの時間の変更値及び少なくとも１つの振幅の変更値の少なくとも一方を含む生成規則を記憶するメモリとを備える。前記プロセッサは、（ａ１）ユーザの事象関連電位を含む第１の生体データと、前記第１の生体データに対応付けられた第１のラベルとを取得し、（ａ２）前記生成規則を参照し、前記時間の変更値及び前記振幅の変更値の少なくとも一方を用いて、前記第１の生体データを変更することにより、少なくとも１つの第２の生体データを生成し、（ａ３）前記ユーザの学習用データとして、前記第１のラベルと対応付けした前記少なくとも１つの第２の生体データを出力する。
【選択図】図１
【解決手段】データ生成装置は、プロセッサと、少なくとも１つの時間の変更値及び少なくとも１つの振幅の変更値の少なくとも一方を含む生成規則を記憶するメモリとを備える。前記プロセッサは、（ａ１）ユーザの事象関連電位を含む第１の生体データと、前記第１の生体データに対応付けられた第１のラベルとを取得し、（ａ２）前記生成規則を参照し、前記時間の変更値及び前記振幅の変更値の少なくとも一方を用いて、前記第１の生体データを変更することにより、少なくとも１つの第２の生体データを生成し、（ａ３）前記ユーザの学習用データとして、前記第１のラベルと対応付けした前記少なくとも１つの第２の生体データを出力する。
【選択図】図１
【特許請求の範囲】
【請求項1】
プロセッサと、
少なくとも１つの時間の変更値を含む生成規則を記憶するメモリとを備え、
前記プロセッサは、
（ａ１）ユーザの事象関連電位を含む第１の生体データと、前記第１の生体データに対応付けられた第１のラベルとを取得し、
（ａ２）前記生成規則を参照し、前記時間の変更値を用いて、前記第１の生体データを変更することにより、少なくとも１つの第２の生体データを生成し、
（ａ３）前記ユーザの学習用データとして、前記第１のラベルと対応付けした前記少なくとも１つの第２の生体データを出力し、
前記第１の生体データは、前記事象関連電位を計測時間ごとに示す波形データであって、
処理（ａ２）では、
前記第１の生体データを含む１以上の第１の生体データのそれぞれの波形データの平均を示す試行平均波形データを生成し、
前記試行平均波形データによって示される前記事象関連電位の最大値における時刻を中心とする期間である変更区間を設定し、
前記第１の生体データの前記波形データのうちの前記変更区間に含まれるデータを、前記時間の変更値だけ時間軸方向に移動させることによって、前記第１の生体データを変更する、
データ生成装置。
少なくとも１つの時間の変更値を含む生成規則を記憶するメモリとを備え、
前記プロセッサは、
（ａ１）ユーザの事象関連電位を含む第１の生体データと、前記第１の生体データに対応付けられた第１のラベルとを取得し、
（ａ２）前記生成規則を参照し、前記時間の変更値を用いて、前記第１の生体データを変更することにより、少なくとも１つの第２の生体データを生成し、
（ａ３）前記ユーザの学習用データとして、前記第１のラベルと対応付けした前記少なくとも１つの第２の生体データを出力し、
前記第１の生体データは、前記事象関連電位を計測時間ごとに示す波形データであって、
処理（ａ２）では、
前記第１の生体データを含む１以上の第１の生体データのそれぞれの波形データの平均を示す試行平均波形データを生成し、
前記試行平均波形データによって示される前記事象関連電位の最大値における時刻を中心とする期間である変更区間を設定し、
前記第１の生体データの前記波形データのうちの前記変更区間に含まれるデータを、前記時間の変更値だけ時間軸方向に移動させることによって、前記第１の生体データを変更する、
データ生成装置。
【請求項2】
前記プロセッサは、
（ａ４）処理（ａ２）の前に、前記事象関連電位に対応する事象区間の情報を取得し、且つ、前記事象区間の情報を参照して、前記第１の生体データに含まれる第１の時間区間を抽出し、
処理（ａ２）において、前記時間の変更値を用いて、前記第１の時間区間のうちの前記変更区間に含まれるデータを変更することにより、前記少なくとも１つの第２の生体データを生成する、
請求項１に記載のデータ生成装置。
（ａ４）処理（ａ２）の前に、前記事象関連電位に対応する事象区間の情報を取得し、且つ、前記事象区間の情報を参照して、前記第１の生体データに含まれる第１の時間区間を抽出し、
処理（ａ２）において、前記時間の変更値を用いて、前記第１の時間区間のうちの前記変更区間に含まれるデータを変更することにより、前記少なくとも１つの第２の生体データを生成する、
請求項１に記載のデータ生成装置。
【請求項3】
前記第１の生体データは、前記ユーザの脳波の事象関連電位を含み、
前記時間の変更値は、－２５０ミリ秒以上２５０ミリ秒以下の範囲内で前記第１の生体データの計測時間を変更する値である、
請求項１または２に記載のデータ生成装置。
前記時間の変更値は、－２５０ミリ秒以上２５０ミリ秒以下の範囲内で前記第１の生体データの計測時間を変更する値である、
請求項１または２に記載のデータ生成装置。
【請求項4】
前記生成規則は、少なくとも１つの振幅の変更値をさらに含み、
処理（ａ２）では、前記生成規則を参照し、前記時間の変更値及び前記振幅の変更値を用いて、前記第１の生体データを変更する、
請求項１～３のいずれか一項に記載のデータ生成装置。
処理（ａ２）では、前記生成規則を参照し、前記時間の変更値及び前記振幅の変更値を用いて、前記第１の生体データを変更する、
請求項１～３のいずれか一項に記載のデータ生成装置。
【請求項5】
前記（ａ２）では、前記第１の生体データの前記波形データの移動によって、前記変更区間の一端側の外に移動した前記波形データの一部を、前記変更区間の他端側に挿入する、
請求項１に記載のデータ生成装置。
請求項１に記載のデータ生成装置。
【請求項6】
請求項１～５のいずれか一項に記載のデータ生成装置と、
ユーザに取り付けられ、前記ユーザから前記第１の生体データを計測する生体データ計測部とを備える
生体データ計測システム。
ユーザに取り付けられ、前記ユーザから前記第１の生体データを計測する生体データ計測部とを備える
生体データ計測システム。
【請求項7】
プロセッサと、
少なくとも１つの時間の変更値を含む生成規則を記憶するメモリとを備え、
前記プロセッサは、
（ｂ１）ユーザの事象関連電位を含む第１の生体データと、前記ユーザの事象関連電位を含む第３の生体データと、前記第１の生体データに対応付けられた第１のラベルと、前記第３の生体データに対応付けられた第２のラベルとを取得し、
（ｂ２）前記生成規則を参照し、前記時間の変更値を用いて、前記第１の生体データ及び前記第３の生体データのそれぞれを変更することにより、少なくとも１つの第２の生体データ及び少なくとも１つの第４の生体データを生成し、
（ｂ３）前記第１の生体データ、前記少なくとも１つの第２の生体データ、前記第３の生体データ及び前記少なくとも１つの第４の生体データを含む学習用データを用いて、識別器を生成し、
前記第１の生体データ及び前記第３の生体データのそれぞれは、前記事象関連電位を計測時間ごとに示す波形データであって、
処理（ｂ２）では、
前記第１の生体データを含む１以上の第１の生体データのそれぞれの波形データの平均を示す第１の試行平均波形データを生成し、
前記第１の試行平均波形データによって示される前記事象関連電位の最大値における時刻を中心とする期間である第１の変更区間を設定し、
前記第３の生体データを含む１以上の第３の生体データのそれぞれの波形データの平均を示す第３の試行平均波形データを生成し、
前記第３の試行平均波形データによって示される前記事象関連電位の最大値における時刻を中心とする期間である第３の変更区間を設定し、
前記第１の生体データの前記波形データのうちの前記第１の変更区間に含まれるデータを、前記時間の変更値だけ時間軸方向に移動させ、かつ、前記第３の生体データの前記波形データのうちの前記第３の変更区間に含まれるデータを、前記時間の変更値だけ時間軸方向に移動させることによって、前記第１の生体データ及び前記第３の生体データのそれぞれを変更する、
識別器生成装置。
少なくとも１つの時間の変更値を含む生成規則を記憶するメモリとを備え、
前記プロセッサは、
（ｂ１）ユーザの事象関連電位を含む第１の生体データと、前記ユーザの事象関連電位を含む第３の生体データと、前記第１の生体データに対応付けられた第１のラベルと、前記第３の生体データに対応付けられた第２のラベルとを取得し、
（ｂ２）前記生成規則を参照し、前記時間の変更値を用いて、前記第１の生体データ及び前記第３の生体データのそれぞれを変更することにより、少なくとも１つの第２の生体データ及び少なくとも１つの第４の生体データを生成し、
（ｂ３）前記第１の生体データ、前記少なくとも１つの第２の生体データ、前記第３の生体データ及び前記少なくとも１つの第４の生体データを含む学習用データを用いて、識別器を生成し、
前記第１の生体データ及び前記第３の生体データのそれぞれは、前記事象関連電位を計測時間ごとに示す波形データであって、
処理（ｂ２）では、
前記第１の生体データを含む１以上の第１の生体データのそれぞれの波形データの平均を示す第１の試行平均波形データを生成し、
前記第１の試行平均波形データによって示される前記事象関連電位の最大値における時刻を中心とする期間である第１の変更区間を設定し、
前記第３の生体データを含む１以上の第３の生体データのそれぞれの波形データの平均を示す第３の試行平均波形データを生成し、
前記第３の試行平均波形データによって示される前記事象関連電位の最大値における時刻を中心とする期間である第３の変更区間を設定し、
前記第１の生体データの前記波形データのうちの前記第１の変更区間に含まれるデータを、前記時間の変更値だけ時間軸方向に移動させ、かつ、前記第３の生体データの前記波形データのうちの前記第３の変更区間に含まれるデータを、前記時間の変更値だけ時間軸方向に移動させることによって、前記第１の生体データ及び前記第３の生体データのそれぞれを変更する、
識別器生成装置。
【請求項8】
前記プロセッサは、
（ｂ４）処理（ｂ２）の前に、前記事象関連電位に対応する事象区間の情報を取得し、且つ、前記事象区間の情報を参照して、前記第１の生体データ及び前記第３の生体データそれぞれに含まれる第１の時間区間及び第３の時間区間を抽出し、
処理（ｂ２）において、前記時間の変更値を用いて、前記第１の時間区間のうちの前記第１の変更区間に含まれるデータと、前記第３の時間区間のうちの前記第３の変更区間に含まれるデータとを変更することにより、前記少なくとも１つの第２の生体データ及び前記少なくとも１つの第４の生体データを生成する、
請求項７に記載の識別器生成装置。
（ｂ４）処理（ｂ２）の前に、前記事象関連電位に対応する事象区間の情報を取得し、且つ、前記事象区間の情報を参照して、前記第１の生体データ及び前記第３の生体データそれぞれに含まれる第１の時間区間及び第３の時間区間を抽出し、
処理（ｂ２）において、前記時間の変更値を用いて、前記第１の時間区間のうちの前記第１の変更区間に含まれるデータと、前記第３の時間区間のうちの前記第３の変更区間に含まれるデータとを変更することにより、前記少なくとも１つの第２の生体データ及び前記少なくとも１つの第４の生体データを生成する、
請求項７に記載の識別器生成装置。
【請求項9】
前記第１の生体データ及び前記第３の生体データは、前記ユーザの脳波の事象関連電位を含み、
前記時間の変更値は、－２５０ミリ秒以上２５０ミリ秒以下の範囲内で前記第１の生体データの計測時間を変更する値である、
請求項７または８に記載の識別器生成装置。
前記時間の変更値は、－２５０ミリ秒以上２５０ミリ秒以下の範囲内で前記第１の生体データの計測時間を変更する値である、
請求項７または８に記載の識別器生成装置。
【請求項10】
前記生成規則は、少なくとも１つの振幅の変更値をさらに含み、
処理（ｂ２）では、前記生成規則を参照し、前記時間の変更値及び前記振幅の変更値を用いて、前記第１の生体データ及び前記第３の生体データのそれぞれを変更する、
請求項７～９のいずれか一項に記載の識別器生成装置。
処理（ｂ２）では、前記生成規則を参照し、前記時間の変更値及び前記振幅の変更値を用いて、前記第１の生体データ及び前記第３の生体データのそれぞれを変更する、
請求項７～９のいずれか一項に記載の識別器生成装置。
【請求項11】
前記（ｂ２）では、
前記第１の生体データの前記波形データの移動によって、前記第１の変更区間の一端側の外に移動した前記波形データの一部を、前記第１の変更区間の他端側に挿入し、
前記第３の生体データの前記波形データの移動によって、前記第３の変更区間の一端側の外に移動した前記波形データの一部を、前記第３の変更区間の他端側に挿入する、
請求項７に記載の識別器生成装置。
前記第１の生体データの前記波形データの移動によって、前記第１の変更区間の一端側の外に移動した前記波形データの一部を、前記第１の変更区間の他端側に挿入し、
前記第３の生体データの前記波形データの移動によって、前記第３の変更区間の一端側の外に移動した前記波形データの一部を、前記第３の変更区間の他端側に挿入する、
請求項７に記載の識別器生成装置。
【請求項12】
（ａ１）ユーザの事象関連電位を含む第１の生体データと、前記第１の生体データに対応付けられた第１のラベルとを取得し、
（ａ２）メモリに記憶される、少なくとも１つの時間の変更値を含む生成規則を参照し、前記時間の変更値を用いて、前記第１の生体データを変更することにより、少なくとも１つの第２の生体データを生成し、
（ａ３）前記ユーザの学習用データとして、前記第１のラベルと対応付けした前記少なくとも１つの第２の生体データを出力し、
処理（ａ１）～（ａ３）の少なくとも１つは、プロセッサによって実行され、
前記第１の生体データは、前記事象関連電位を計測時間ごとに示す波形データであって、
処理（ａ２）では、
前記第１の生体データを含む１以上の第１の生体データのそれぞれの波形データの平均を示す試行平均波形データを生成し、
前記試行平均波形データによって示される前記事象関連電位の最大値における時刻を中心とする期間である変更区間を設定し、
前記第１の生体データの前記波形データのうちの前記変更区間に含まれるデータを、前記時間の変更値だけ時間軸方向に移動させることによって、前記第１の生体データを変更する、
データ生成方法。
（ａ２）メモリに記憶される、少なくとも１つの時間の変更値を含む生成規則を参照し、前記時間の変更値を用いて、前記第１の生体データを変更することにより、少なくとも１つの第２の生体データを生成し、
（ａ３）前記ユーザの学習用データとして、前記第１のラベルと対応付けした前記少なくとも１つの第２の生体データを出力し、
処理（ａ１）～（ａ３）の少なくとも１つは、プロセッサによって実行され、
前記第１の生体データは、前記事象関連電位を計測時間ごとに示す波形データであって、
処理（ａ２）では、
前記第１の生体データを含む１以上の第１の生体データのそれぞれの波形データの平均を示す試行平均波形データを生成し、
前記試行平均波形データによって示される前記事象関連電位の最大値における時刻を中心とする期間である変更区間を設定し、
前記第１の生体データの前記波形データのうちの前記変更区間に含まれるデータを、前記時間の変更値だけ時間軸方向に移動させることによって、前記第１の生体データを変更する、
データ生成方法。
【請求項13】
（ａ４）処理（ａ２）の前に、前記事象関連電位に対応する事象区間の情報を取得し、且つ、前記事象区間の情報を参照して、前記第１の生体データに含まれる第１の時間区間を抽出し、
処理（ａ２）において、前記時間の変更値を用いて、前記第１の時間区間のうちの前記変更区間に含まれるデータを変更することにより、前記少なくとも１つの第２の生体データを生成する、
請求項１２に記載のデータ生成方法。
処理（ａ２）において、前記時間の変更値を用いて、前記第１の時間区間のうちの前記変更区間に含まれるデータを変更することにより、前記少なくとも１つの第２の生体データを生成する、
請求項１２に記載のデータ生成方法。
【請求項14】
前記第１の生体データは、前記ユーザの脳波の事象関連電位を含み、
前記時間の変更値は、－２５０ミリ秒以上２５０ミリ秒以下の範囲内で前記第１の生体データの計測時間を変更する値である、
請求項１２または１３に記載のデータ生成方法。
前記時間の変更値は、－２５０ミリ秒以上２５０ミリ秒以下の範囲内で前記第１の生体データの計測時間を変更する値である、
請求項１２または１３に記載のデータ生成方法。
【請求項15】
（ｂ１）ユーザの事象関連電位を含む第１の生体データと、前記ユーザの事象関連電位を含む第３の生体データと、前記第１の生体データに対応付けられた第１のラベルと、前記第３の生体データに対応付けられた第２のラベルとを取得し、
（ｂ２）メモリに記憶される、少なくとも１つの時間の変更値を含む生成規則を参照し、前記時間の変更値を用いて、前記第１の生体データ及び前記第３の生体データのそれぞれを変更することにより、少なくとも１つの第２の生体データ及び少なくとも１つの第４の生体データを生成し、
（ｂ３）前記第１の生体データ、前記少なくとも１つの第２の生体データ、前記第３の生体データ及び前記少なくとも１つの第４の生体データを含む学習用データを用いて、識別器を生成し、
処理（ｂ１）～（ｂ３）の少なくとも１つは、プロセッサによって実行され、
前記第１の生体データ及び前記第３の生体データのそれぞれは、前記事象関連電位を計測時間ごとに示す波形データであって、
処理（ｂ２）では、
前記第１の生体データを含む１以上の第１の生体データのそれぞれの波形データの平均を示す第１の試行平均波形データを生成し、
前記第１の試行平均波形データによって示される前記事象関連電位の最大値における時刻を中心とする期間である第１の変更区間を設定し、
前記第３の生体データを含む１以上の第３の生体データのそれぞれの波形データの平均を示す第３の試行平均波形データを生成し、
前記第３の試行平均波形データによって示される前記事象関連電位の最大値における時刻を中心とする期間である第３の変更区間を設定し、
前記第１の生体データの前記波形データのうちの前記第１の変更区間に含まれるデータを、前記時間の変更値だけ時間軸方向に移動させ、かつ、前記第３の生体データの前記波形データのうちの前記第３の変更区間に含まれるデータを、前記時間の変更値だけ時間軸方向に移動させることによって、前記第１の生体データ及び前記第３の生体データのそれぞれを変更する、
識別器生成方法。
（ｂ２）メモリに記憶される、少なくとも１つの時間の変更値を含む生成規則を参照し、前記時間の変更値を用いて、前記第１の生体データ及び前記第３の生体データのそれぞれを変更することにより、少なくとも１つの第２の生体データ及び少なくとも１つの第４の生体データを生成し、
（ｂ３）前記第１の生体データ、前記少なくとも１つの第２の生体データ、前記第３の生体データ及び前記少なくとも１つの第４の生体データを含む学習用データを用いて、識別器を生成し、
処理（ｂ１）～（ｂ３）の少なくとも１つは、プロセッサによって実行され、
前記第１の生体データ及び前記第３の生体データのそれぞれは、前記事象関連電位を計測時間ごとに示す波形データであって、
処理（ｂ２）では、
前記第１の生体データを含む１以上の第１の生体データのそれぞれの波形データの平均を示す第１の試行平均波形データを生成し、
前記第１の試行平均波形データによって示される前記事象関連電位の最大値における時刻を中心とする期間である第１の変更区間を設定し、
前記第３の生体データを含む１以上の第３の生体データのそれぞれの波形データの平均を示す第３の試行平均波形データを生成し、
前記第３の試行平均波形データによって示される前記事象関連電位の最大値における時刻を中心とする期間である第３の変更区間を設定し、
前記第１の生体データの前記波形データのうちの前記第１の変更区間に含まれるデータを、前記時間の変更値だけ時間軸方向に移動させ、かつ、前記第３の生体データの前記波形データのうちの前記第３の変更区間に含まれるデータを、前記時間の変更値だけ時間軸方向に移動させることによって、前記第１の生体データ及び前記第３の生体データのそれぞれを変更する、
識別器生成方法。
【請求項16】
（ｂ４）処理（ｂ２）の前に、前記事象関連電位に対応する事象区間の情報を取得し、且つ、前記事象区間の情報を参照して、前記第１の生体データ及び前記第３の生体データそれぞれに含まれる第１の時間区間及び第３の時間区間を抽出し、
処理（ｂ２）において、前記時間の変更値を用いて、前記第１の時間区間のうちの前記第１の変更区間に含まれるデータと、前記第３の時間区間のうちの前記第３の変更区間に含まれるデータとを変更することにより、前記少なくとも１つの第２の生体データ及び前記少なくとも１つの第４の生体データを生成する、
請求項１５に記載の識別器生成方法。
処理（ｂ２）において、前記時間の変更値を用いて、前記第１の時間区間のうちの前記第１の変更区間に含まれるデータと、前記第３の時間区間のうちの前記第３の変更区間に含まれるデータとを変更することにより、前記少なくとも１つの第２の生体データ及び前記少なくとも１つの第４の生体データを生成する、
請求項１５に記載の識別器生成方法。
【請求項17】
前記第１の生体データ及び前記第３の生体データは、前記ユーザの脳波の事象関連電位を含み、
前記時間の変更値は、－２５０ミリ秒以上２５０ミリ秒以下の範囲内で前記第１の生体データの計測時間を変更する値である、
請求項１５または１６に記載の識別器生成方法。
前記時間の変更値は、－２５０ミリ秒以上２５０ミリ秒以下の範囲内で前記第１の生体データの計測時間を変更する値である、
請求項１５または１６に記載の識別器生成方法。
【請求項18】
（ａ１）ユーザの事象関連電位を含む第１の生体データと、前記第１の生体データに対応付けられた第１のラベルとを取得し、
（ａ２）メモリに記憶される、少なくとも１つの時間の変更値を含む生成規則を参照し、前記時間の変更値を用いて、前記第１の生体データを変更することにより、少なくとも１つの第２の生体データを生成し、
（ａ３）前記ユーザの学習用データとして、前記第１のラベルと対応付けした前記少なくとも１つの第２の生体データを出力することを、
コンピュータに実行させ、
前記第１の生体データは、前記事象関連電位を計測時間ごとに示す波形データであって、
処理（ａ２）では、
前記第１の生体データを含む１以上の第１の生体データのそれぞれの波形データの平均を示す試行平均波形データを生成し、
前記試行平均波形データによって示される前記事象関連電位の最大値における時刻を中心とする期間である変更区間を設定し、
前記第１の生体データの前記波形データのうちの前記変更区間に含まれるデータを、前記時間の変更値だけ時間軸方向に移動させることによって、前記第１の生体データを変更する、
プログラム。
（ａ２）メモリに記憶される、少なくとも１つの時間の変更値を含む生成規則を参照し、前記時間の変更値を用いて、前記第１の生体データを変更することにより、少なくとも１つの第２の生体データを生成し、
（ａ３）前記ユーザの学習用データとして、前記第１のラベルと対応付けした前記少なくとも１つの第２の生体データを出力することを、
コンピュータに実行させ、
前記第１の生体データは、前記事象関連電位を計測時間ごとに示す波形データであって、
処理（ａ２）では、
前記第１の生体データを含む１以上の第１の生体データのそれぞれの波形データの平均を示す試行平均波形データを生成し、
前記試行平均波形データによって示される前記事象関連電位の最大値における時刻を中心とする期間である変更区間を設定し、
前記第１の生体データの前記波形データのうちの前記変更区間に含まれるデータを、前記時間の変更値だけ時間軸方向に移動させることによって、前記第１の生体データを変更する、
プログラム。
【請求項19】
（ａ４）処理（ａ２）の前に、前記事象関連電位に対応する事象区間の情報を取得し、且つ、前記事象区間の情報を参照して、前記第１の生体データに含まれる第１の時間区間を抽出し、
処理（ａ２）において、前記時間の変更値を用いて、前記第１の時間区間のうちの前記変更区間に含まれるデータを変更することにより、前記少なくとも１つの第２の生体データを生成する、
請求項１８に記載のプログラム。
処理（ａ２）において、前記時間の変更値を用いて、前記第１の時間区間のうちの前記変更区間に含まれるデータを変更することにより、前記少なくとも１つの第２の生体データを生成する、
請求項１８に記載のプログラム。
【請求項20】
前記第１の生体データは、前記ユーザの脳波の事象関連電位を含み、
前記時間の変更値は、－２５０ミリ秒以上２５０ミリ秒以下の範囲内で前記第１の生体データの計測時間を変更する値である、
請求項１８または１９に記載のプログラム。
前記時間の変更値は、－２５０ミリ秒以上２５０ミリ秒以下の範囲内で前記第１の生体データの計測時間を変更する値である、
請求項１８または１９に記載のプログラム。
【請求項21】
（ｂ１）ユーザの事象関連電位を含む第１の生体データと、前記ユーザの事象関連電位
を含む第３の生体データと、前記第１の生体データに対応付けられた第１のラベルと、前記第３の生体データに対応付けられた第２のラベルとを取得し、
（ｂ２）メモリに記憶される、少なくとも１つの時間の変更値を含む生成規則を参照し、前記時間の変更値を用いて、前記第１の生体データ及び前記第３の生体データのそれぞれを変更することにより、少なくとも１つの第２の生体データ及び少なくとも１つの第４の生体データを生成し、
（ｂ３）前記第１の生体データ、前記少なくとも１つの第２の生体データ、前記第３の生体データ及び前記少なくとも１つの第４の生体データを含む学習用データを用いて、識別器を生成することを、
コンピュータに実行させ、
前記第１の生体データ及び前記第３の生体データのそれぞれは、前記事象関連電位を計測時間ごとに示す波形データであって、
処理（ｂ２）では、
前記第１の生体データを含む１以上の第１の生体データのそれぞれの波形データの平均を示す第１の試行平均波形データを生成し、
前記第１の試行平均波形データによって示される前記事象関連電位の最大値における時刻を中心とする期間である第１の変更区間を設定し、
前記第３の生体データを含む１以上の第３の生体データのそれぞれの波形データの平均を示す第３の試行平均波形データを生成し、
前記第３の試行平均波形データによって示される前記事象関連電位の最大値における時刻を中心とする期間である第３の変更区間を設定し、
前記第１の生体データの前記波形データのうちの前記第１の変更区間に含まれるデータを、前記時間の変更値だけ時間軸方向に移動させ、かつ、前記第３の生体データの前記波形データのうちの前記第３の変更区間に含まれるデータを、前記時間の変更値だけ時間軸方向に移動させることによって、前記第１の生体データ及び前記第３の生体データのそれぞれを変更する、
プログラム。
を含む第３の生体データと、前記第１の生体データに対応付けられた第１のラベルと、前記第３の生体データに対応付けられた第２のラベルとを取得し、
（ｂ２）メモリに記憶される、少なくとも１つの時間の変更値を含む生成規則を参照し、前記時間の変更値を用いて、前記第１の生体データ及び前記第３の生体データのそれぞれを変更することにより、少なくとも１つの第２の生体データ及び少なくとも１つの第４の生体データを生成し、
（ｂ３）前記第１の生体データ、前記少なくとも１つの第２の生体データ、前記第３の生体データ及び前記少なくとも１つの第４の生体データを含む学習用データを用いて、識別器を生成することを、
コンピュータに実行させ、
前記第１の生体データ及び前記第３の生体データのそれぞれは、前記事象関連電位を計測時間ごとに示す波形データであって、
処理（ｂ２）では、
前記第１の生体データを含む１以上の第１の生体データのそれぞれの波形データの平均を示す第１の試行平均波形データを生成し、
前記第１の試行平均波形データによって示される前記事象関連電位の最大値における時刻を中心とする期間である第１の変更区間を設定し、
前記第３の生体データを含む１以上の第３の生体データのそれぞれの波形データの平均を示す第３の試行平均波形データを生成し、
前記第３の試行平均波形データによって示される前記事象関連電位の最大値における時刻を中心とする期間である第３の変更区間を設定し、
前記第１の生体データの前記波形データのうちの前記第１の変更区間に含まれるデータを、前記時間の変更値だけ時間軸方向に移動させ、かつ、前記第３の生体データの前記波形データのうちの前記第３の変更区間に含まれるデータを、前記時間の変更値だけ時間軸方向に移動させることによって、前記第１の生体データ及び前記第３の生体データのそれぞれを変更する、
プログラム。
【請求項22】
（ｂ４）処理（ｂ２）の前に、前記事象関連電位に対応する事象区間の情報を取得し、且つ、前記事象区間の情報を参照して、前記第１の生体データ及び前記第３の生体データそれぞれに含まれる第１の時間区間及び第３の時間区間を抽出し、
処理（ｂ２）において、前記時間の変更値を用いて、前記第１の時間区間のうちの前記第１の変更区間に含まれるデータと、前記第３の時間区間のうちの前記第３の変更区間に含まれるデータとを変更することにより、前記少なくとも１つの第２の生体データ及び前記少なくとも１つの第４の生体データを生成する、
請求項２１に記載のプログラム。
処理（ｂ２）において、前記時間の変更値を用いて、前記第１の時間区間のうちの前記第１の変更区間に含まれるデータと、前記第３の時間区間のうちの前記第３の変更区間に含まれるデータとを変更することにより、前記少なくとも１つの第２の生体データ及び前記少なくとも１つの第４の生体データを生成する、
請求項２１に記載のプログラム。
【請求項23】
前記第１の生体データ及び前記第３の生体データは、前記ユーザの脳波の事象関連電位を含み、
前記時間の変更値は、－２５０ミリ秒以上２５０ミリ秒以下の範囲内で前記第１の生体データの計測時間を変更する値である、
請求項２１または２２に記載のプログラム。
前記時間の変更値は、－２５０ミリ秒以上２５０ミリ秒以下の範囲内で前記第１の生体データの計測時間を変更する値である、
請求項２１または２２に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、機械学習のためのデータを生成するデータ生成装置、生体データ計測システム、識別器生成装置、データ生成方法、識別器生成方法及びプログラムに関する。
【背景技術】
【0002】
深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）を初めとする機械学習は、これまで難しかった複雑な識別及び認識を高精度に実現する方法として注目されている。効果的な機械学習に必要な条件として、学習用データが十分に準備されることが挙げられる。例えば、画像認識の分野においては、数万～数億の画像を学習用データとして深層学習に適用することで、従来の手法を越える認識精度が実現されている。
【0003】
例えば、特許文献１は、人の身体の生体情報を用いる機械学習を開示している。具体的には、特許文献１は、ユーザの生体情報を用いて、ユーザの感情を認識する装置を開示している。この認識装置は、生体情報と感情情報との関係を予め学習し、その学習結果を用いて、ユーザの感情を認識する。また、非特許文献１は、画像データにパラメトリックな変形を施し、擬似的な訓練データ、つまり擬似的な学習用データを複数作成する方法を開示している。パラメトリックな変形の例は、画像に対する輝度調整、反転、歪、拡大縮小等である。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００６－１３０１２１号公報
【非特許文献】
【0005】
【非特許文献1】Ｃｉｒｅｓａｎほか著、「Ｄｅｅｐ Ｂｉｇ Ｓｉｍｐｌｅ Ｎｅｕｒａｌ Ｎｅｔｓ Ｅｘｃｅｌ ｏｎ Ｈａｎｄｗｒｉｔｔｅｎ Ｄｉｇｉｔ Ｒｅｃｏｇｎｉｔｉｏｎ」、Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ、２０１０年１２月、Ｖｏｌ．２２、Ｎｏ．１２
【非特許文献2】加我君孝ほか編集、「事象関連電位（ＥＲＰ）マニュアル－Ｐ３００を中心に」、篠原出版新社、１９９５年、３０頁
【発明の概要】
【発明が解決しようとする課題】
【0006】
擬似的な学習用の生体データを生成し機械学習に適用する場合、非特許文献１の擬似的な学習用データの作成方法を、特許文献１の認識装置に適用することは、困難である。非特許文献１で対象とするデータの特性と特許文献１で対象とするデータの特性が異なるからである。
【0007】
本開示は、既存の生体データから擬似的な生体データを生成するデータ生成装置、生体データ計測システム、識別器生成装置、データ生成方法、識別器生成方法及びプログラムを提供する。
【課題を解決するための手段】
【0008】
本開示の非限定的で例示的な一態様に係るデータ生成装置は、プロセッサと、少なくとも１つの時間の変更値を含む生成規則を記憶するメモリとを備え、前記プロセッサは、（ａ１）ユーザの事象関連電位を含む第１の生体データと、前記第１の生体データに対応付けられた第１のラベルとを取得し、（ａ２）前記生成規則を参照し、前記時間の変更値を用いて、前記第１の生体データを変更することにより、少なくとも１つの第２の生体データを生成し、（ａ３）前記ユーザの学習用データとして、前記第１のラベルと対応付けした前記少なくとも１つの第２の生体データを出力し、前記第１の生体データは、前記事象関連電位を計測時間ごとに示す波形データであって、処理（ａ２）では、前記第１の生体データを含む１以上の第１の生体データのそれぞれの波形データの平均を示す試行平均波形データを生成し、前記試行平均波形データによって示される前記事象関連電位の最大値における時刻を中心とする期間である変更区間を設定し、前記第１の生体データの前記波形データのうちの前記変更区間に含まれるデータを、前記時間の変更値だけ時間軸方向に移動させることによって、前記第１の生体データを変更する。
【0009】
また、本開示の非限定的で例示的な一態様に係るデータ生成装置は、プロセッサと、少なくとも１つの時間の変更値及び少なくとも１つの振幅の変更値の少なくとも一方を含む
生成規則を記憶するメモリとを備え、前記プロセッサは、（ａ１）ユーザの事象関連電位を含む第１の生体データと、前記第１の生体データに対応付けられた第１のラベルとを取得し、（ａ２）前記生成規則を参照し、前記時間の変更値及び前記振幅の変更値の少なくとも一方を用いて、前記第１の生体データを変更することにより、少なくとも１つの第２の生体データを生成し、（ａ３）前記ユーザの学習用データとして、前記第１のラベルと対応付けした前記少なくとも１つの第２の生体データを出力する。
生成規則を記憶するメモリとを備え、前記プロセッサは、（ａ１）ユーザの事象関連電位を含む第１の生体データと、前記第１の生体データに対応付けられた第１のラベルとを取得し、（ａ２）前記生成規則を参照し、前記時間の変更値及び前記振幅の変更値の少なくとも一方を用いて、前記第１の生体データを変更することにより、少なくとも１つの第２の生体データを生成し、（ａ３）前記ユーザの学習用データとして、前記第１のラベルと対応付けした前記少なくとも１つの第２の生体データを出力する。
【0010】
本開示の非限定的で例示的な一態様に係る生体データ計測システムは、上記データ生成装置と、ユーザに取り付けられ、前記ユーザから前記第１の生体データを計測する生体データ計測部とを備える。
【0011】
本開示の非限定的で例示的な一態様に係る識別器生成装置は、プロセッサと、少なくとも１つの時間の変更値及び少なくとも１つの振幅の変更値の少なくとも一方を含む生成規則を記憶するメモリとを備え、前記プロセッサは、（ｂ１）ユーザの事象関連電位を含む第１の生体データと、前記ユーザの事象関連電位を含む第３の生体データと、前記第１の生体データに対応付けられた第１のラベルと、前記第３の生体データに対応付けられた第２のラベルとを取得し、（ｂ２）前記生成規則を参照し、前記時間の変更値及び前記振幅の変更値の少なくとも一方を用いて、前記第１の生体データ及び前記第３の生体データのそれぞれを変更することにより、少なくとも１つの第２の生体データ及び少なくとも１つの第４の生体データを生成し、（ｂ３）前記第１の生体データ、前記少なくとも１つの第２の生体データ、前記第３の生体データ及び前記少なくとも１つの第４の生体データを含む学習用データを用いて、識別器を生成する。
【0012】
本開示の非限定的で例示的な一態様に係るデータ生成方法は、（ａ１）ユーザの事象関連電位を含む第１の生体データと、前記第１の生体データに対応付けられた第１のラベルとを取得し、（ａ２）メモリに記憶される、少なくとも１つの時間の変更値及び少なくとも１つの振幅の変更値の少なくとも一方を含む生成規則を参照し、前記時間の変更値及び前記振幅の変更値の少なくとも一方を用いて、前記第１の生体データを変更することにより、少なくとも１つの第２の生体データを生成し、（ａ３）前記ユーザの学習用データとして、前記第１のラベルと対応付けした前記少なくとも１つの第２の生体データを出力し、処理（ａ１）～（ａ３）の少なくとも１つは、プロセッサによって実行される。
【0013】
本開示の非限定的で例示的な一態様に係る識別器生成方法は、（ｂ１）ユーザの事象関連電位を含む第１の生体データと、前記ユーザの事象関連電位を含む第３の生体データと、前記第１の生体データに対応付けられた第１のラベルと、前記第３の生体データに対応付けられた第２のラベルとを取得し、（ｂ２）メモリに記憶される、少なくとも１つの時間の変更値及び少なくとも１つの振幅の変更値の少なくとも一方を含む生成規則を参照し、前記時間の変更値及び前記振幅の変更値の少なくとも一方を用いて、前記第１の生体データ及び前記第３の生体データのそれぞれを変更することにより、少なくとも１つの第２の生体データ及び少なくとも１つの第４の生体データを生成し、（ｂ３）前記第１の生体データ、前記少なくとも１つの第２の生体データ、前記第３の生体データ及び前記少なくとも１つの第４の生体データを含む学習用データを用いて、識別器を生成し、処理（ｂ１）～（ｂ３）の少なくとも１つは、プロセッサによって実行される。
【0014】
本開示の非限定的で例示的な一態様に係るプログラムは、（ａ１）ユーザの事象関連電位を含む第１の生体データと、前記第１の生体データに対応付けられた第１のラベルとを取得し、（ａ２）メモリに記憶される、少なくとも１つの時間の変更値及び少なくとも１つの振幅の変更値の少なくとも一方を含む生成規則を参照し、前記時間の変更値及び前記振幅の変更値の少なくとも一方を用いて、前記第１の生体データを変更することにより、少なくとも１つの第２の生体データを生成し、（ａ３）前記ユーザの学習用データとして、前記第１のラベルと対応付けした前記少なくとも１つの第２の生体データを出力することを、コンピュータに実行させる。
【0015】
本開示の非限定的で例示的な一態様に係るプログラムは、（ｂ１）ユーザの事象関連電位を含む第１の生体データと、前記ユーザの事象関連電位を含む第３の生体データと、前記第１の生体データに対応付けられた第１のラベルと、前記第３の生体データに対応付けられた第２のラベルとを取得し、（ｂ２）メモリに記憶される、少なくとも１つの時間の変更値及び少なくとも１つの振幅の変更値の少なくとも一方を含む生成規則を参照し、前記時間の変更値及び前記振幅の変更値の少なくとも一方を用いて、前記第１の生体データ及び前記第３の生体データのそれぞれを変更することにより、少なくとも１つの第２の生体データ及び少なくとも１つの第４の生体データを生成し、（ｂ３）前記第１の生体データ、前記少なくとも１つの第２の生体データ、前記第３の生体データ及び前記少なくとも１つの第４の生体データを含む学習用データを用いて、識別器を生成することを、コンピュータに実行させる。
【0016】
なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含む。
【発明の効果】
【0017】
本開示の技術によれば、既存の生体データから擬似的な生体データを生成することが可能になる。本開示の一態様における更なる利点及び効果は、明細書及び図面から明らかにされる。かかる利点及び／又は効果は、いくつかの実施の形態並びに明細書及び図面に記載された特徴によってそれぞれ提供されるが、１つ又はそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
【図面の簡単な説明】
【0018】
【図1】実施の形態１に係るデータ生成装置の機能的な構成を示す図
【図2】オリジナルデータ蓄積部に格納される情報の例を示す図
【図3】実施の形態１に係るデータ生成装置の動作の流れの一例を示すフローチャート
【図4】実施の形態１に係る時間ずれ演算部の詳細な動作の流れの一例を示すフローチャート
【図5】脳波の波形データの一例を示す図
【図6】時間ずれ演算部が生成する脳波の波形データの一例を示す図
【図7】実施の形態１に係る振幅演算部の詳細な動作の流れの一例を示すフローチャート
【図8】振幅演算部が生成する脳波の波形データの一例を示す図
【図9】実施の形態２に係る識別システムの機能的な構成を示す図
【図10】実施の形態２に係る識別装置のデータ学習時の動作の流れの一例を示すフローチャート
【図11】実施の形態２に係る識別装置のデータ認識時の動作の流れの一例を示すフローチャート
【図12A】実施の形態２に係る識別システムの適用例を示す図
【図12B】実施の形態２に係る識別システムの他の適用例を示す図
【図13】実施の形態２に係る識別装置の適用例を示す図
【図14】実施の形態３に係るデータ生成装置の機能的な構成を示す図
【図15A】脳波の波形データの一例を示す図
【図16A】比較例１の識別器を生成する際のデータの割り当て方法を示す図
【図16B】比較例２の識別器を生成する際のデータの割り当て方法を示す図
【図16C】実施例の識別器を生成する際のデータの割り当て方法を示す図
【図17】比較例１～３の識別器の識別率を示す図
【図18】実施例及び比較例２の識別器の識別率を示す図
【図19】実施例及び比較例１～３の識別器の識別率を示す図
【図20】データ生成装置によるデータの増加量と識別器の識別率との関係を示す図
【図21】データ生成装置が脳波データを３倍のデータ量に増加する場合における、波形データの時間の変更値と、識別器の識別率との関係を示す図
【図22】データ生成装置が脳波データを３倍のデータ量に増加する場合における、波形データの振幅の変更値と、識別器の識別率との関係を示す図
【図23】データ生成装置が脳波データを３倍のデータ量に増加する場合における、波形データの時間の変更値と、識別器の識別率との関係を示す図
【図24】データ生成装置が脳波データを３倍のデータ量に増加する場合における、波形データの振幅の変更値と、識別器の識別率との関係を示す図
【発明を実施するための形態】
【0019】
［用語の定義］
まず、本明細書に記載される各用語の定義を説明する。「生体データ」とは、心拍、筋電位、眼電位又は脳波等の、生体現象によって体内から発せられる信号（「生体信号」とも呼ばれる）である。生体データは、時系列に示される。時系列に示されたデータは、複数の時刻で測定され、且つ、複数の時刻のそれぞれと測定値とが対応付けられたデータを含む。時系列に示されたデータは、時刻ｔｉと時刻ｔｉで測定された測定値Ｍ（ｔｉ）との組（ｔｉ，Ｍ（ti））を含んでもよい。なお、１≦ｉ＜ｎであり、ｉ及びｎはそれぞれ自然数である。
まず、本明細書に記載される各用語の定義を説明する。「生体データ」とは、心拍、筋電位、眼電位又は脳波等の、生体現象によって体内から発せられる信号（「生体信号」とも呼ばれる）である。生体データは、時系列に示される。時系列に示されたデータは、複数の時刻で測定され、且つ、複数の時刻のそれぞれと測定値とが対応付けられたデータを含む。時系列に示されたデータは、時刻ｔｉと時刻ｔｉで測定された測定値Ｍ（ｔｉ）との組（ｔｉ，Ｍ（ti））を含んでもよい。なお、１≦ｉ＜ｎであり、ｉ及びｎはそれぞれ自然数である。
【0020】
「事象関連電位（ｅｖｅｎｔ－ｒｅｌａｔｅｄ ｐｏｔｅｎｔｉａｌ：ＥＲＰ）」とは、人が刺激を受ける事象の発生に対する反応により生じる生体電位の変動である。生体電位は、生体信号の１つである。生体電位の計測項目例は、脳波（ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ：ＥＥＧ）、心電図、眼電位又は筋電位である。
【0021】
「潜時」とは、事象関連電位が生じる起点となる刺激（例えば、聴覚刺激又は視覚刺激）が呈示された時刻から、事象関連電位の陽性成分又は陰性成分のピーク電位が現れるまでの時間である。なお、「ピーク」とは、電位の波形における極大値又は極小値を示す。
【0022】
「陰性成分」とは、一般的には、０Ｖ（ボルト）よりも小さい電位である。陰性成分は、電位を比較する対象がある場合には、当該対象の電位よりも負の値、つまり小さい値を有する電位を含む。「陽性成分」とは、一般的には、０Ｖよりも大きい電位である。陽性成分は、電位を比較する対象がある場合には、当該対象の電位よりも正の値、つまり大きい値を有する電位を含む。
【0023】
本明細書において、事象関連電位の時間成分を定義するために、ある時点から起算した所定時間経過後の時刻を、例えば「潜時約１００ｍｓ（ミリ秒）」と表現する場合がある。この表現は、１００ｍｓという特定の時刻を中心とした特定の範囲内の時刻を包含し得ることを意味している。例えば、非特許文献２の３０頁に記載の表１によると、一般的に、事象関連電位の波形には、個人ごとに３０ｍｓから５０ｍｓの差異（ずれ）が生じる。したがって、本明細書において、時間成分「約Ｘｍｓ」又は「Ｘｍｓ付近」という記載は、時刻Ｘｍｓを中心として前後に３０ｍｓから５０ｍｓの幅を有する範囲を含む。このような範囲の例は、１００ｍｓ±３０ｍｓ（Ｘ＝１００の場合）、２００ｍｓ±５０ｍｓ（Ｘ＝２００の場合）である。
【0024】
「タスク」とは、生体電位の計測時に、ユーザが実行する課題である。タスクの例には、予め設定したスタート時点から５秒経過後にボタンを押す課題、及び、画面の表示内容に従って行動する課題等が挙げられる。
【0025】
［本発明者による知見］
「背景技術」の欄で記載したように、機械学習は、これまで難しかった複雑な識別及び認識を高精度に実現する方法として注目されている。本発明者らは、生体信号等の生体データを対象にした機械学習を検討した。生体信号は、ユーザの状態を取得するために分析される。上述したように、特許文献１に開示される認識装置は、患者等のユーザの生体情報と感情情報との関係を予め学習し、学習結果とユーザの生体情報とを用いて、ユーザの感情を認識する。
「背景技術」の欄で記載したように、機械学習は、これまで難しかった複雑な識別及び認識を高精度に実現する方法として注目されている。本発明者らは、生体信号等の生体データを対象にした機械学習を検討した。生体信号は、ユーザの状態を取得するために分析される。上述したように、特許文献１に開示される認識装置は、患者等のユーザの生体情報と感情情報との関係を予め学習し、学習結果とユーザの生体情報とを用いて、ユーザの感情を認識する。
【0026】
このような認識装置において、機械学習による認識精度を高めるためには、多くの生体データを準備する必要がある。生体データの収集には、被験者を対象にした計測実験を行う必要がある。計測実験によって多くの生体データを収集する場合、各被験者の実験時間が長くなり、被験者の負担が大きくなる。
【0027】
例えば、データの準備の負担を低減する従来手法として、これまでの機械学習の分野においては、データ拡張（Ｄａｔａ Ａｕｇｍｅｎｔａｔｉｏｎ）と呼ばれる手法が挙げられる。このデータ拡張手法では、既存のデータから擬似的なデータが生成され、それにより、機械学習に適用できるデータが増加される。上述したように、非特許文献１は、画像認識分野でのデータ拡張手法を開示している。非特許文献１の手法は、取得した画像データに、輝度調整、反転、歪、拡大縮小等のパラメトリックな変形を施すことによって、複数の擬似的な学習用データを生成する。
【0028】
しかしながら、非特許文献１に開示されるような画像認識の分野における従来のデータ拡張手法は、生体信号等の生体データのデータ拡張に適していない。なぜなら、画像データのデータ拡張で考慮される自然画像の特性と、生体データのデータ拡張で考慮されるべき特性とは異なるからである。
【0029】
画像データのデータ拡張に関して、例えば、画像の輝度の調整は、自然画像における明るさという特性の変化を模擬するものである。画像の拡大縮小は、認識対象物とカメラとの距離という特性に関する画像間の違いを模擬するものである。このように、画像データのデータ拡張手法は、画像の特性の変動要因を考慮したデータ拡張手法である。このようなデータ拡張手法を用いて、想定される画像の特性の変動を反映した画像データを予め生成することによって、画像認識における認識率の向上が達成される。
【0030】
しかしながら、生体データの特性においては、輝度又は対象物の大きさ等の概念はない。このため、生体データのデータ拡張において、生体データに固有の特性の変動要因を見出し、その変動要因に対応したデータ拡張手法が必要になる。
【0031】
そこで、本発明者らは、生体データの特性に適したデータ拡張を実現するデータ生成装置等を検討した。さらに、本発明者らは、少数の生体データに対してデータ拡張を適用することで、増強された学習用データを生成し、それにより、十分な識別性能を有する識別器を生成する識別器生成装置等を検討した。本発明者らは、時系列に示された生体データにおける潜時及び潜時での生体電位の振幅値を生体データの特徴と位置づけ、その特徴に着目したデータ生成装置等を創案した。
【0032】
さらに詳細に説明すると、本発明者らが創案した本開示の技術は、事象の発生に関連する生体データを対象にする。事象の発生に起因して被験者が刺激を受けたタイミングからの生体データの変化によって、被験者の内部状態を推定することが可能である。例えば、被験者が外的刺激を受ける場合、外的刺激を受けたタイミングの特定は、明確に且つ容易に可能である。被験者が刺激を受けたタイミングからの生体データの変化は、例えば脳波では、事象関連電位と呼ばれることがある。そして、本発明者らは、事象の発生に関連する生体データにおける特徴を、潜時、及び生体電位の変化量と考えた。生体電位の変化量は、電位の振幅であり、０Ｖを基準とした電位の大きさの変化量である。なお、潜時の変動は、主に被験者の内的要因に関連し、生体電位の振幅の変動は、主に被験者の外的要因に関連する。
【0033】
上記の特徴について、脳波データを例に説明する。事象関連電位を示す成分として、Ｐ３００がある。Ｐ３００とは、外的刺激又は内的刺激の発生から２００～７００ミリ秒後に０Ｖよりも大きい電位側にピークをもつ成分のことを指す。「Ｐ」は、電位の陽性成分を示す。Ｐ３００にはさまざまな成分が混合していると考えられている。例えば、同一刺激に対して、被験者に応じてピークの潜時が変動し、同一被験者であっても、タスクの試行等の事象の発生毎にピークの潜時が変動することが知られている。このような変動はそのまま、Ｐ３００のパターン識別の精度に影響を与えると考えられる。このように、ピークの潜時は、上述のようなユーザの内的要因と関連する。
【0034】
また、振幅についても、複数の要因による変動が考えられる。内的要因としては、脳活動そのものの大きさが、均一ではなく、被験者及び状況によって変動し得ることが考えられる。外的要因としては、測定条件が変動し得ることが考えられる。測定条件の変動の例は、脳波測定における電極と頭皮との間の接触インピーダンスが複数の測定間で不一致であることに起因する変動である。脳波測定において、電極を頭皮に接触させることが必須である。しかしながら、電極と頭皮との間の接触インピーダンスを測定毎に同一にすることは難しい。このため、インピーダンスが変動し、それ故、測定される振幅も変動する。具体的には接触インピーダンスが大きくなる程、測定される振幅は小さくなる。これらの変動もパターン識別の精度に影響を与えると、本発明者らは考えた。
【0035】
そこで、本発明者らは、画像データにおける輝度変化及び拡大縮小等のパラメトリックな変形の代わりに、生体データにおける変動要因であるピークの潜時及び振幅の変動を、データ拡張手法に取り入れることを見出した。これにより、日常的に生じる生体データの変動を反映した擬似的なデータを予め生成することが可能になる。さらに、このような擬似的なデータを学習用データとして適用した機械学習によって、識別器の精度の向上が可能になる。そして、上述のような知見に基づき、本発明者らは、以下に示すような技術を創案した。
【0036】
そこで、本開示の一態様に係るデータ生成装置は、プロセッサと、少なくとも１つの時間の変更値及び少なくとも１つの振幅の変更値の少なくとも一方を含む生成規則を記憶するメモリとを備え、前記プロセッサは、（ａ１）ユーザの事象関連電位を含む第１の生体データと、前記第１の生体データに対応付けられた第１のラベルとを取得し、（ａ２）前記生成規則を参照し、前記時間の変更値及び前記振幅の変更値の少なくとも一方を用いて、前記第１の生体データを変更することにより、少なくとも１つの第２の生体データを生成し、（ａ３）前記ユーザの学習用データとして、前記第１のラベルと対応付けした前記少なくとも１つの第２の生体データを出力する。
【0037】
上記態様において、事象関連電位の潜時の変動は、ユーザの内的要因と関連し、事象関連電位の振幅の変動は、ユーザの外的要因と関連する。時間の変更値を用いて生成された生体データは、ユーザの内的要因に起因する生体データの変動を模擬する。振幅の変更値を用いて生成された生体データは、ユーザの外的要因に起因する生体データの変動を模擬する。このような生体データを含む少なくとも１つの第２の生体データは、第１の生体データと同一のラベルを有するため、第１の生体データの擬似的な生体データとなり得る。よって、データ生成装置は、既存の生体データから擬似的な生体データを生成することを可能にし、学習用の大量の生体データを生成することを可能にする。
【0038】
本開示の一態様に係るデータ生成装置において、前記プロセッサは、（ａ４）処理（ａ２）の前に、前記事象関連電位に対応する事象区間の情報を取得し、且つ、前記事象区間の情報を参照して、前記第１の生体データに含まれる第１の時間区間を抽出し、処理（ａ２）において、前記時間の変更値及び前記振幅の変更値の少なくとも一方を用いて、前記第１の時間区間における前記第１の生体データを変更することにより、前記少なくとも１つの第２の生体データを生成してもよい。
【0039】
上記態様によれば、少なくとも１つの第２の生体データは、第１の生体データの事象区間の擬似的な生体データとなり得る。よって、第２の生体データは、事象が発生した時の生体データを擬似的に示すことができる。なお、事象区間の情報の一例は、事象区間における事象の起点の情報であってもよい。
【0040】
本開示の一態様に係るデータ生成装置において、前記第１の生体データは、前記ユーザの脳波の事象関連電位を含み、前記時間の変更値は、－２５０ミリ秒以上２５０ミリ秒以下の範囲内で前記生体データの計測時間を変更する値であり、前記振幅の変更値は、０．１倍以上１．９倍以下の範囲内で前記生体データの振幅値を変更する値であってもよい。
【0041】
本開示の一態様に係る生体データ計測システムは、上記データ生成装置と、ユーザに取り付けられ、前記ユーザから前記第１の生体データを計測する生体データ計測部とを備える。
【0042】
上記態様によれば、生体データ計測システムは、ユーザから第１の生体データを計測し、計測した第１の生体データを用いて、少なくとも１つの第２の生体データを生成することができる。
【0043】
本開示の一態様に係る識別器生成装置は、プロセッサと、少なくとも１つの時間の変更値及び少なくとも１つの振幅の変更値の少なくとも一方を含む生成規則を記憶するメモリとを備え、前記プロセッサは、（ｂ１）ユーザの事象関連電位を含む第１の生体データと、前記ユーザの事象関連電位を含む第３の生体データと、前記第１の生体データに対応付けられた第１のラベルと、前記第３の生体データに対応付けられた第２のラベルとを取得し、（ｂ２）前記生成規則を参照し、前記時間の変更値及び前記振幅の変更値の少なくとも一方を用いて、前記第１の生体データ及び前記第３の生体データのそれぞれを変更することにより、少なくとも１つの第２の生体データ及び少なくとも１つの第４の生体データを生成し、（ｂ３）前記第１の生体データ、前記少なくとも１つの第２の生体データ、前記第３の生体データ及び前記少なくとも１つの第４の生体データを含む学習用データを用いて、識別器を生成する。
【0044】
上記態様によれば、識別器生成装置は、生体データ生成装置と同様に、既存の生体データから、ラベルが対応する擬似的な生体データを生成することができる。さらに、識別器生成装置は、既存の生体データ及び擬似的な生体データからなる多くの生体データを用いて、識別器を生成することができる。よって、識別器の性能の向上が可能になる。そして、様々なラベルの生体データを用いて生成される識別器は、生体データから様々なラベルを識別することができる。
【0045】
本開示の一態様に係る識別器生成装置において、前記プロセッサは、（ｂ４）処理（ｂ２）の前に、前記事象関連電位に対応する事象区間の情報を取得し、且つ、前記事象区間の情報を参照して、前記第１の生体データ及び前記第３の生体データそれぞれに含まれる第１の時間区間及び第３の時間区間を抽出し、処理（ｂ２）において、前記時間の変更値及び前記振幅の変更値の少なくとも一方を用いて、前記第１の時間区間における前記第１の生体データ及び前記第３の時間区間における前記第３の生体データそれぞれを変更することにより、前記少なくとも１つの第２の生体データ及び前記少なくとも１つの第４の生体データを生成してもよい。
【0046】
上記態様によれば、少なくとも１つの第２の生体データ及び少なくとも１つの第４の生体データは、事象が発生した時の生体データを擬似的に示すことができる。よって、事象を識別することができる識別器の生成が可能になる。
【0047】
本開示の一態様に係る識別器生成装置において、前記第１の生体データ及び前記第３の生体データは、前記ユーザの脳波の事象関連電位を含み、前記時間の変更値は、－２５０ミリ秒以上２５０ミリ秒以下の範囲内で前記生体データの計測時間を変更する値であり、前記振幅の変更値は、０．１倍以上１．９倍以下の範囲内で前記生体データの振幅値を変更する値であってもよい。
【0048】
本開示の一態様に係るデータ生成方法は、（ａ１）ユーザの事象関連電位を含む第１の生体データと、前記第１の生体データに対応付けられた第１のラベルとを取得し、（ａ２）メモリに記憶される、少なくとも１つの時間の変更値及び少なくとも１つの振幅の変更値の少なくとも一方を含む生成規則を参照し、前記時間の変更値及び前記振幅の変更値の少なくとも一方を用いて、前記第１の生体データを変更することにより、少なくとも１つの第２の生体データを生成し、（ａ３）前記ユーザの学習用データとして、前記第１のラベルと対応付けした前記少なくとも１つの第２の生体データを出力し、処理（ａ１）～（ａ３）の少なくとも１つは、プロセッサによって実行される。上記態様によれば、本開示の一態様に係るデータ生成装置と同様の効果が得られる。
【0049】
本開示の一態様に係るデータ生成方法において、（ａ４）処理（ａ２）の前に、前記事象関連電位に対応する事象区間の情報を取得し、且つ、前記事象区間の情報を参照して、前記第１の生体データに含まれる第１の時間区間を抽出し、処理（ａ２）において、前記時間の変更値及び前記振幅の変更値の少なくとも一方を用いて、前記第１の時間区間における前記第１の生体データを変更することにより、前記少なくとも１つの第２の生体データを生成してもよい。
【0050】
本開示の一態様に係るデータ生成方法において、前記第１の生体データは、前記ユーザの脳波の事象関連電位を含み、前記時間の変更値は、－２５０ミリ秒以上２５０ミリ秒以下の範囲内で前記生体データの計測時間を変更する値であり、前記振幅の変更値は、０．１倍以上１．９倍以下の範囲内で前記生体データの振幅値を変更する値であってもよい。
【0051】
本開示の一態様に係る識別器生成方法は、（ｂ１）ユーザの事象関連電位を含む第１の生体データと、前記ユーザの事象関連電位を含む第３の生体データと、前記第１の生体データに対応付けられた第１のラベルと、前記第３の生体データに対応付けられた第２のラベルとを取得し、（ｂ２）メモリに記憶される、少なくとも１つの時間の変更値及び少なくとも１つの振幅の変更値の少なくとも一方を含む生成規則を参照し、前記時間の変更値及び前記振幅の変更値の少なくとも一方を用いて、前記第１の生体データ及び前記第３の生体データのそれぞれを変更することにより、少なくとも１つの第２の生体データ及び少なくとも１つの第４の生体データを生成し、（ｂ３）前記第１の生体データ、前記少なくとも１つの第２の生体データ、前記第３の生体データ及び前記少なくとも１つの第４の生体データを含む学習用データを用いて、識別器を生成し、処理（ｂ１）～（ｂ３）の少なくとも１つは、プロセッサによって実行される。上記態様によれば、本開示の一態様に係る識別器生成装置と同様の効果が得られる。
【0052】
本開示の一態様に係る識別器生成方法において、（ｂ４）処理（ｂ２）の前に、前記事象関連電位に対応する事象区間の情報を取得し、且つ、前記事象区間の情報を参照して、前記第１の生体データ及び前記第３の生体データそれぞれに含まれる第１の時間区間及び第３の時間区間を抽出し、処理（ｂ２）において、前記時間の変更値及び前記振幅の変更値の少なくとも一方を用いて、前記第１の時間区間における前記第１の生体データ及び前記第３の時間区間における前記第３の生体データそれぞれを変更することにより、前記少なくとも１つの第２の生体データ及び前記少なくとも１つの第４の生体データを生成してもよい。
【0053】
本開示の一態様に係る識別器生成方法において、前記第１の生体データ及び前記第３の生体データは、前記ユーザの脳波の事象関連電位を含み、前記時間の変更値は、－２５０ミリ秒以上２５０ミリ秒以下の範囲内で前記生体データの計測時間を変更する値であり、前記振幅の変更値は、０．１倍以上１．９倍以下の範囲内で前記生体データの振幅値を変更する値であってもよい。
【0054】
本開示の一態様に係るプログラムは、（ａ１）ユーザの事象関連電位を含む第１の生体データと、前記第１の生体データに対応付けられた第１のラベルとを取得し、（ａ２）メモリに記憶される、少なくとも１つの時間の変更値及び少なくとも１つの振幅の変更値の少なくとも一方を含む生成規則を参照し、前記時間の変更値及び前記振幅の変更値の少なくとも一方を用いて、前記第１の生体データを変更することにより、少なくとも１つの第２の生体データを生成し、（ａ３）前記ユーザの学習用データとして、前記第１のラベルと対応付けした前記少なくとも１つの第２の生体データを出力することを、コンピュータに実行させる。上記態様によれば、本開示の一態様に係るデータ生成装置と同様の効果が得られる。
【0055】
本開示の一態様に係るプログラムにおいて、（ａ４）処理（ａ２）の前に、前記事象関連電位に対応する事象区間の情報を取得し、且つ、前記事象区間の情報を参照して、前記第１の生体データに含まれる第１の時間区間を抽出し、処理（ａ２）において、前記時間の変更値及び前記振幅の変更値の少なくとも一方を用いて、前記第１の時間区間における前記第１の生体データを変更することにより、前記少なくとも１つの第２の生体データを生成してもよい。
【0056】
本開示の一態様に係るプログラムにおいて、前記第１の生体データは、前記ユーザの脳波の事象関連電位を含み、前記時間の変更値は、－２５０ミリ秒以上２５０ミリ秒以下の範囲内で前記生体データの計測時間を変更する値であり、前記振幅の変更値は、０．１倍以上１．９倍以下の範囲内で前記生体データの振幅値を変更する値であってもよい。
【0057】
本開示の別の一態様に係るプログラムは、（ｂ１）ユーザの事象関連電位を含む第１の生体データと、前記ユーザの事象関連電位を含む第３の生体データと、前記第１の生体データに対応付けられた第１のラベルと、前記第３の生体データに対応付けられた第２のラベルとを取得し、（ｂ２）メモリに記憶される、少なくとも１つの時間の変更値及び少なくとも１つの振幅の変更値の少なくとも一方を含む生成規則を参照し、前記時間の変更値及び前記振幅の変更値の少なくとも一方を用いて、前記第１の生体データ及び前記第３の生体データのそれぞれを変更することにより、少なくとも１つの第２の生体データ及び少なくとも１つの第４の生体データを生成し、（ｂ３）前記第１の生体データ、前記少なくとも１つの第２の生体データ、前記第３の生体データ及び前記少なくとも１つの第４の生体データを含む学習用データを用いて、識別器を生成することを、コンピュータに実行させる。上記態様によれば、本開示の一態様に係る識別器生成装置と同様の効果が得られる。
【0058】
本開示の別の一態様に係るプログラムにおいて、（ｂ４）処理（ｂ２）の前に、前記事象関連電位に対応する事象区間の情報を取得し、且つ、前記事象区間の情報を参照して、前記第１の生体データ及び前記第３の生体データそれぞれに含まれる第１の時間区間及び第３の時間区間を抽出し、処理（ｂ２）において、前記時間の変更値及び前記振幅の変更値の少なくとも一方を用いて、前記第１の時間区間における前記第１の生体データ及び前記第３の時間区間における前記第３の生体データそれぞれを変更することにより、前記少なくとも１つの第２の生体データ及び前記少なくとも１つの第４の生体データを生成してもよい。
【0059】
本開示の別の一態様に係るプログラムにおいて、前記第１の生体データ及び前記第３の生体データは、前記ユーザの脳波の事象関連電位を含み、前記時間の変更値は、－２５０ミリ秒以上２５０ミリ秒以下の範囲内で前記生体データの計測時間を変更する値であり、前記振幅の変更値は、０．１倍以上１．９倍以下の範囲内で前記生体データの振幅値を変更する値であってもよい。
【0060】
なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ等の不揮発性の記録媒体を含む。
【0061】
以下、本開示の実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ（工程）、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、以下の実施の形態の説明において、略平行、略直交のような「略」を伴った表現が、用いられる場合がある。例えば、略平行とは、完全に平行であることを意味するだけでなく、実質的に平行である、すなわち、例えば数％程度の差異を含むことも意味する。他の「略」を伴った表現についても同様である。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。
【0062】
また、以下の実施の形態では、生体データの例として、人の意欲状態に関連した刺激を受ける事象における脳波データの例を説明する。なお、生体データとしては、眼電位、心筋電位及び筋電位等の別の生体信号が用いられてもよい。
【0063】
［実施の形態１］
［１－１．データ生成装置の構成］
実施の形態１に係るデータ生成装置１の構成を説明する。図１には、実施の形態１に係るデータ生成装置１を備える生体データ計測システム１００の機能的な構成が示されている。図１に示すように、生体データ計測システム１００は、生体信号計測部１０１と、第一ラベルデータ取得部１０２と、オリジナルデータ蓄積部１０３と、データ生成装置１と、データ蓄積部１１０とを備える。また、データ生成装置１は、波形データ取得部１０４と、時間ずれ演算部１０５と、振幅演算部１０６と、記憶部１０７と、第二ラベルデータ取得部１０８と、データ処理部１０９とを備える。
［１－１．データ生成装置の構成］
実施の形態１に係るデータ生成装置１の構成を説明する。図１には、実施の形態１に係るデータ生成装置１を備える生体データ計測システム１００の機能的な構成が示されている。図１に示すように、生体データ計測システム１００は、生体信号計測部１０１と、第一ラベルデータ取得部１０２と、オリジナルデータ蓄積部１０３と、データ生成装置１と、データ蓄積部１１０とを備える。また、データ生成装置１は、波形データ取得部１０４と、時間ずれ演算部１０５と、振幅演算部１０６と、記憶部１０７と、第二ラベルデータ取得部１０８と、データ処理部１０９とを備える。
【0064】
（生体信号計測部１０１）
生体信号計測部１０１は、ユーザのタスク遂行時の生体信号を計測する。生体信号計測部１０１のハードウェアの例は、センサである。センサの例は、ユーザの脳波信号を計測する脳波計である。例えば、脳波計は、複数の電極と、複数の電極間の電位を計測する電位計である。
生体信号計測部１０１は、ユーザのタスク遂行時の生体信号を計測する。生体信号計測部１０１のハードウェアの例は、センサである。センサの例は、ユーザの脳波信号を計測する脳波計である。例えば、脳波計は、複数の電極と、複数の電極間の電位を計測する電位計である。
【0065】
生体信号計測部１０１は、常時、ユーザの生体信号を計測していてもよい。このとき、計測された生体信号の一部がユーザのタスク遂行時の生体信号に相当する。
【0066】
又は、生体信号計測部１０１はプロセッサを含んでもよい。プロセッサは、ユーザのタスク遂行時の時間を受け取り、生体信号計測部１０１のセンサによりその時間の生体信号を計測する。外部のコンピュータは、ユーザに対して、ディスプレイに、タスク遂行するための情報を表示する。又は、外部のコンピュータは、ユーザに対して、スピーカにより、タスク遂行するための情報を提示する。このとき、プロセッサは、外部のコンピュータからタスク遂行時の時間を受け付けてもよい。
【0067】
ユーザのタスクとは、生体信号の計測時に、ユーザが実行する課題であり、ユーザが刺激を受けるために行う事象でもある。ここで、生体信号計測部１０１は、生体データ計測部の一例である。
【0068】
タスクの例には、予め設定したスタート時点から５秒経過後にボタンを押す課題が挙げられる。本実施の形態では、タスクは、人の意欲状態に関連する。意欲があるタスクは、ユーザの能動的な行為を伴う課題である。意欲があるタスクの例は、ユーザが、時計を見つつ、予め設定したスタート時点から５秒経過時点に合わせてボタンを押す課題である。意欲がないタスクは、ユーザの受動的な行為を伴う課題である。意欲がないタスクの例は、ユーザが、予め設定したスタート時点から５秒経過後に時計が止まったことを確認したらボタンを押す課題である。このとき、インタフェース装置によりタスクに関するユーザの動作を取得してもよい。インタフェース装置の例は、ボタンを有する端末であり、インタフェース装置はボタンが押された情報を取得する。インタフェース装置の他の例は、コンピュータに利用されるマウス、及びキーボードを含む。
【0069】
生体信号計測部１０１は、ユーザが行うタスクの実行タイミングを示すトリガの情報も同時に取得する。例えば、タスクが、上述のようにボタンを押す課題である場合、トリガは、ユーザがボタンを押したタイミング、つまり時刻である。生体信号計測部１０１は、例えば、インタフェース装置からトリガの情報を取得する。又は、外部のコンピュータにより、タスク遂行に関する情報が出力されるタイミングがトリガに対応する場合には、生体信号計測部１０１は、外部のコンピュータからトリガの情報を取得する。生体信号計測部１０１は、計測した生体信号と、トリガの情報とを対応付けてオリジナルデータ蓄積部１０３に格納する。このとき、生体信号計測部１０１は、生体信号と生体信号の計測時刻とを対応付け、生体信号及び計測時刻を、これらを含む生体データとして、オリジナルデータ蓄積部１０３に格納してもよい。
【0070】
また、タスクには、ラベルが設定されている。ラベルは、タスクの種類を示す。又は、ラベルは、タスクの種類に関連する人の状態を示してもよい。タスクの種類に関連する人の状態の例は、タスクを行うことによって生じる人の心的状態であってもよい。例えば、生体信号計測部１０１は、第一ラベルデータ取得部１０２を介して、実行されるタスクのラベルの情報を取得してもよい。そして、生体信号計測部１０１は、生体信号及び計測時刻の少なくとも一方と、ラベルとを対応付けて、オリジナルデータ蓄積部１０３に格納してもよい。
【0071】
（第一ラベルデータ取得部１０２）
第一ラベルデータ取得部１０２は、生体信号計測部１０１による生体信号の計測時にユーザが遂行するタスクのラベルを取得する。第一ラベルデータ取得部１０２は、生体データ計測システム１００が備える図示しないインタフェース装置を介して、タスクのラベルの情報を取得してもよい。タスクのラベルの情報は、タスクの実行前などに、ユーザ等によってインタフェース装置に入力されてもよい。インタフェース装置は、ボタン、スイッチ、キー、タッチパッド又は音声認識装置のマイク等であってもよい。なお、ここでのインタフェース装置は、タスクに関するユーザの動作を取得するインタフェース装置と同じであってもよい。さらに、第一ラベルデータ取得部１０２は、生体信号計測部１０１が計測する生体信号に、取得したラベルを対応付け、当該ラベルをオリジナルデータ蓄積部１０３に格納する。又は、第一ラベルデータ取得部１０２は、生体信号計測部１０１から生体信号及びトリガの情報を含む情報を取得し、取得した情報から、ユーザが実行するタスクの種類を示すラベルを取得し、オリジナルデータ蓄積部１０３に格納してもよい。この場合、生体信号計測部１０１が、外部からの入力等によってラベルの情報を取得してもよい。
第一ラベルデータ取得部１０２は、生体信号計測部１０１による生体信号の計測時にユーザが遂行するタスクのラベルを取得する。第一ラベルデータ取得部１０２は、生体データ計測システム１００が備える図示しないインタフェース装置を介して、タスクのラベルの情報を取得してもよい。タスクのラベルの情報は、タスクの実行前などに、ユーザ等によってインタフェース装置に入力されてもよい。インタフェース装置は、ボタン、スイッチ、キー、タッチパッド又は音声認識装置のマイク等であってもよい。なお、ここでのインタフェース装置は、タスクに関するユーザの動作を取得するインタフェース装置と同じであってもよい。さらに、第一ラベルデータ取得部１０２は、生体信号計測部１０１が計測する生体信号に、取得したラベルを対応付け、当該ラベルをオリジナルデータ蓄積部１０３に格納する。又は、第一ラベルデータ取得部１０２は、生体信号計測部１０１から生体信号及びトリガの情報を含む情報を取得し、取得した情報から、ユーザが実行するタスクの種類を示すラベルを取得し、オリジナルデータ蓄積部１０３に格納してもよい。この場合、生体信号計測部１０１が、外部からの入力等によってラベルの情報を取得してもよい。
【0072】
例えば、本実施の形態では、意欲状態に関連する脳波データが計測される。この場合、第一ラベルデータ取得部１０２は、「意欲あり」と「意欲なし」との２つのラベルのうちの一方を取得する。第一ラベルデータ取得部１０２は、このようなラベルと生体信号とを対応付けて、オリジナルデータ蓄積部１０３に記録する。
【0073】
（オリジナルデータ蓄積部１０３）
オリジナルデータ蓄積部１０３は、情報を格納することができ、且つ、格納した情報の取り出しを可能にする。オリジナルデータ蓄積部１０３は、例えば、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリなどの半導体メモリ、ハードディスクドライブ、又は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置によって実現される。オリジナルデータ蓄積部１０３は、生体信号計測部１０１が取得する生体データ、及び、第一ラベルデータ取得部１０２が取得するラベルのデータを格納する。生体信号計測部１０１は、トリガの情報に基づき、生体データをタスクの１試行ごとに切り分けたデータを生成し、オリジナルデータ蓄積部１０３に格納してもよい。オリジナルデータ蓄積部１０３は、実際に計測された生体データと、当該生体データに対応するラベルのデータとを格納する、つまり、データ拡張を受ける前のオリジナルデータを格納する。生体データをタスクの１試行ごとに切り分ける処理は、後述する波形データ取得部１０４によって行われてもよい。
オリジナルデータ蓄積部１０３は、情報を格納することができ、且つ、格納した情報の取り出しを可能にする。オリジナルデータ蓄積部１０３は、例えば、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリなどの半導体メモリ、ハードディスクドライブ、又は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置によって実現される。オリジナルデータ蓄積部１０３は、生体信号計測部１０１が取得する生体データ、及び、第一ラベルデータ取得部１０２が取得するラベルのデータを格納する。生体信号計測部１０１は、トリガの情報に基づき、生体データをタスクの１試行ごとに切り分けたデータを生成し、オリジナルデータ蓄積部１０３に格納してもよい。オリジナルデータ蓄積部１０３は、実際に計測された生体データと、当該生体データに対応するラベルのデータとを格納する、つまり、データ拡張を受ける前のオリジナルデータを格納する。生体データをタスクの１試行ごとに切り分ける処理は、後述する波形データ取得部１０４によって行われてもよい。
【0074】
例えば、図２には、オリジナルデータ蓄積部１０３に格納される情報の例が、示されている。オリジナルデータ蓄積部１０３では、図２においてオリジナルデータとして示されている生体データと、当該生体データに対応するラベル情報とが、対応付けられて格納されている。生体データは、波形データとして示される生体信号の群及び生体信号の計測時刻と、トリガの時刻とを含み、これらが対応付けられて、オリジナルデータ蓄積部１０３に格納されている。生体信号の群は、１つの事象区間内に含まれる生体信号の集合であり、時系列順に並べられることによって、波形データを形成する。１つの事象区間は、１つのトリガに対応して行われる１つのタスクの期間に相当し、詳細は後述する。図２の例では、わかり易くするために、生体信号の群を波形データで示している。図２は、ボタンを押すタスクの実行時のデータを示す。このため、トリガの時刻は、ユーザがボタンを押したタイミングであり、ラベル情報は、「意欲あり」と「意欲なし」との２つのラベルによって構成されている。
【0075】
（波形データ取得部１０４）
波形データ取得部１０４は、オリジナルデータ蓄積部１０３から、生体データ及びトリガの情報を取得する。さらに、波形データ取得部１０４は、生体データ及びトリガの情報から、生体信号の波形データを生成する。生体信号の波形データの例は、生体電位の波形データであり、本実施の形態では、脳波電位の波形データである。波形データは、時間軸に対する電位の変化を示す波形データである。波形データ取得部１０４は、生成した波形データを、時間ずれ演算部１０５、振幅演算部１０６及びデータ処理部１０９に出力する。
波形データ取得部１０４は、オリジナルデータ蓄積部１０３から、生体データ及びトリガの情報を取得する。さらに、波形データ取得部１０４は、生体データ及びトリガの情報から、生体信号の波形データを生成する。生体信号の波形データの例は、生体電位の波形データであり、本実施の形態では、脳波電位の波形データである。波形データは、時間軸に対する電位の変化を示す波形データである。波形データ取得部１０４は、生成した波形データを、時間ずれ演算部１０５、振幅演算部１０６及びデータ処理部１０９に出力する。
【0076】
（時間ずれ演算部１０５）
時間ずれ演算部１０５は、波形データ取得部１０４から波形データを取得する。さらに、時間ずれ演算部１０５は、取得した波形データの波形全体を、時間軸において正の方向及び／又は負の方向に、予め設定された時間の変更値で移動することにより、新たな波形データを生成する。言い換えれば、時間の変更値に基づき、取得した波形データの計測時刻が変更されることによって、新たな波形データが生成される。時間ずれ演算部１０５は、後述する記憶部１０７に格納された生成規則に従って、上記処理を行う。また、新たな波形データは、波形データ取得部１０４から取得された波形データの擬似的な波形データである。時間の変更値、つまり、ずれの量を複数用意することによって、生成される波形データの数量を増加させることが可能である。なお、時間ずれ演算部１０５は、取得した波形データの一部を移動してもよい。また、時間ずれ演算部１０５は、波形データの計測期間の全期間にわたる波形データを移動してもよく、計測期間の一部の期間の波形データを移動してもよい。時間ずれ演算部１０５は、計測データからなる波形データを、時間に基づきデータ拡張する。時間ずれ演算部１０５は、生成した波形データをデータ処理部１０９に出力する。
時間ずれ演算部１０５は、波形データ取得部１０４から波形データを取得する。さらに、時間ずれ演算部１０５は、取得した波形データの波形全体を、時間軸において正の方向及び／又は負の方向に、予め設定された時間の変更値で移動することにより、新たな波形データを生成する。言い換えれば、時間の変更値に基づき、取得した波形データの計測時刻が変更されることによって、新たな波形データが生成される。時間ずれ演算部１０５は、後述する記憶部１０７に格納された生成規則に従って、上記処理を行う。また、新たな波形データは、波形データ取得部１０４から取得された波形データの擬似的な波形データである。時間の変更値、つまり、ずれの量を複数用意することによって、生成される波形データの数量を増加させることが可能である。なお、時間ずれ演算部１０５は、取得した波形データの一部を移動してもよい。また、時間ずれ演算部１０５は、波形データの計測期間の全期間にわたる波形データを移動してもよく、計測期間の一部の期間の波形データを移動してもよい。時間ずれ演算部１０５は、計測データからなる波形データを、時間に基づきデータ拡張する。時間ずれ演算部１０５は、生成した波形データをデータ処理部１０９に出力する。
【0077】
（振幅演算部１０６）
振幅演算部１０６は、波形データ取得部１０４から波形データを取得する。さらに、振幅演算部１０６は、取得した波形データに対し、波形データの振幅値を、予め設定された振幅の変更値で定数倍して変更することにより、新たな波形データを生成する。振幅演算部１０６は、後述する記憶部１０７に格納された生成規則に従って、上記処理を行う。また、新たな波形データは、波形データ取得部１０４から取得された波形データの擬似的な波形データである。振幅の変更値を複数用意することによって、生成される波形データの数量を増加させることが可能である。なお、振幅演算部１０６は、取得した波形データの波形全体の振幅を変更してもよく、当該波形データの一部の振幅を変更してもよい。また、振幅演算部１０６は、波形データの計測期間の全期間にわたる波形データの振幅を変更してもよく、計測期間の一部の期間の波形データの振幅を変更してもよい。振幅演算部１０６は、計測データからなる波形データを、振幅に基づきデータ拡張する。振幅演算部１０６は、生成した波形データをデータ処理部１０９に出力する。
振幅演算部１０６は、波形データ取得部１０４から波形データを取得する。さらに、振幅演算部１０６は、取得した波形データに対し、波形データの振幅値を、予め設定された振幅の変更値で定数倍して変更することにより、新たな波形データを生成する。振幅演算部１０６は、後述する記憶部１０７に格納された生成規則に従って、上記処理を行う。また、新たな波形データは、波形データ取得部１０４から取得された波形データの擬似的な波形データである。振幅の変更値を複数用意することによって、生成される波形データの数量を増加させることが可能である。なお、振幅演算部１０６は、取得した波形データの波形全体の振幅を変更してもよく、当該波形データの一部の振幅を変更してもよい。また、振幅演算部１０６は、波形データの計測期間の全期間にわたる波形データの振幅を変更してもよく、計測期間の一部の期間の波形データの振幅を変更してもよい。振幅演算部１０６は、計測データからなる波形データを、振幅に基づきデータ拡張する。振幅演算部１０６は、生成した波形データをデータ処理部１０９に出力する。
【0078】
（記憶部１０７）
記憶部１０７は、情報を格納することができ、且つ、格納した情報の取り出しを可能にする。記憶部１０７は、例えば、ＲＯＭ、ＲＡＭ、フラッシュメモリなどの半導体メモリ、ハードディスクドライブ、又は、ＳＳＤ等の記憶装置によって実現される。記憶部１０７は、時間ずれ演算部１０５及び振幅演算部１０６が波形データを生成しデータ拡張する際の規則である生成規則を格納する。生成規則は、波形データを移動するための複数の時間の変更値、及び、波形データの振幅値を定数倍するための複数の振幅の変更値等を含む。また、生成規則は、時間ずれ演算部１０５及び振幅演算部１０６が、１つの波形データから生成する新たな擬似的な波形データの数量と、時間の変更値及び振幅の変更値との関係を含んでもよい。この場合、生成規則において、新たな擬似的な波形データの数量が決定されると、時間の変更値及び振幅の変更値が自動的に決定され得る。
記憶部１０７は、情報を格納することができ、且つ、格納した情報の取り出しを可能にする。記憶部１０７は、例えば、ＲＯＭ、ＲＡＭ、フラッシュメモリなどの半導体メモリ、ハードディスクドライブ、又は、ＳＳＤ等の記憶装置によって実現される。記憶部１０７は、時間ずれ演算部１０５及び振幅演算部１０６が波形データを生成しデータ拡張する際の規則である生成規則を格納する。生成規則は、波形データを移動するための複数の時間の変更値、及び、波形データの振幅値を定数倍するための複数の振幅の変更値等を含む。また、生成規則は、時間ずれ演算部１０５及び振幅演算部１０６が、１つの波形データから生成する新たな擬似的な波形データの数量と、時間の変更値及び振幅の変更値との関係を含んでもよい。この場合、生成規則において、新たな擬似的な波形データの数量が決定されると、時間の変更値及び振幅の変更値が自動的に決定され得る。
【0079】
（第二ラベルデータ取得部１０８）
第二ラベルデータ取得部１０８は、オリジナルデータ蓄積部１０３から、データ拡張処理を受ける前の波形データと対応するタスクのラベルを取得する。データ拡張処理を受ける前の波形データは、波形データ取得部１０４が生成する波形データである。よって、取得されるラベルは、波形データ取得部１０４が取得する生成データに対応する。第二ラベルデータ取得部１０８は、取得したラベルの情報をデータ処理部１０９に出力する。このとき、第二ラベルデータ取得部１０８は、波形データ取得部１０４が生成する波形データを構成する生体データと、ラベルとを対応付ける情報も、データ処理部１０９に出力してもよい。
第二ラベルデータ取得部１０８は、オリジナルデータ蓄積部１０３から、データ拡張処理を受ける前の波形データと対応するタスクのラベルを取得する。データ拡張処理を受ける前の波形データは、波形データ取得部１０４が生成する波形データである。よって、取得されるラベルは、波形データ取得部１０４が取得する生成データに対応する。第二ラベルデータ取得部１０８は、取得したラベルの情報をデータ処理部１０９に出力する。このとき、第二ラベルデータ取得部１０８は、波形データ取得部１０４が生成する波形データを構成する生体データと、ラベルとを対応付ける情報も、データ処理部１０９に出力してもよい。
【0080】
（データ処理部１０９）
データ処理部１０９は、時間ずれ演算部１０５から取得する擬似的な波形データ及び振幅演算部１０６から取得する擬似的な波形データそれぞれと、第二ラベルデータ取得部１０８から取得するラベルの情報とを統合する。さらに、データ処理部１０９は、波形データ取得部１０４から取得する生体データの波形データと、第二ラベルデータ取得部１０８から取得するラベルの情報とを統合する。よって、各波形データがラベル付けされる。データ処理部１０９は、ラベルと統合した各波形データを、データ蓄積部１１０に格納する。よって、データ蓄積部１１０には、同一のラベルに関して、生体データの波形データと、時間に基づく擬似的な波形データと、振幅に基づく擬似的な波形データとが、格納され得る。
データ処理部１０９は、時間ずれ演算部１０５から取得する擬似的な波形データ及び振幅演算部１０６から取得する擬似的な波形データそれぞれと、第二ラベルデータ取得部１０８から取得するラベルの情報とを統合する。さらに、データ処理部１０９は、波形データ取得部１０４から取得する生体データの波形データと、第二ラベルデータ取得部１０８から取得するラベルの情報とを統合する。よって、各波形データがラベル付けされる。データ処理部１０９は、ラベルと統合した各波形データを、データ蓄積部１１０に格納する。よって、データ蓄積部１１０には、同一のラベルに関して、生体データの波形データと、時間に基づく擬似的な波形データと、振幅に基づく擬似的な波形データとが、格納され得る。
【0081】
（データ蓄積部１１０）
データ蓄積部１１０は、情報を格納することができ、且つ、格納した情報の取り出しを可能にする。データ蓄積部１１０は、オリジナルデータ蓄積部１０３の説明で挙げたような記憶装置によって実現される。データ蓄積部１１０は、データ処理部１０９から出力されるデータを格納する。データ蓄積部１１０に格納されるデータは、後述する識別装置２によって使用される。具体的には、当該データは、識別装置２の識別器の学習のための学習用データとして使用され、識別器の性能計測のためのテストデータとして使用される。当該データの使用については、後述する。なお、識別器は、識別モデルとも呼ばれる。
データ蓄積部１１０は、情報を格納することができ、且つ、格納した情報の取り出しを可能にする。データ蓄積部１１０は、オリジナルデータ蓄積部１０３の説明で挙げたような記憶装置によって実現される。データ蓄積部１１０は、データ処理部１０９から出力されるデータを格納する。データ蓄積部１１０に格納されるデータは、後述する識別装置２によって使用される。具体的には、当該データは、識別装置２の識別器の学習のための学習用データとして使用され、識別器の性能計測のためのテストデータとして使用される。当該データの使用については、後述する。なお、識別器は、識別モデルとも呼ばれる。
【0082】
なお、データ生成装置１は、オリジナルデータ蓄積部１０３を経由せずに、生体データ及びラベルの情報を取得する構成でもよい。これにより、データ生成装置１の内部でのリアルタイムなデータ拡張処理が可能となる。
【0083】
また、波形データ取得部１０４、時間ずれ演算部１０５、振幅演算部１０６、第二ラベルデータ取得部１０８及びデータ処理部１０９で構成されるデータ生成装置１の構成要素並びに第一ラベルデータ取得部１０２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ、ＲＡＭ、ＲＯＭなどからなるコンピュータシステム（図示せず）により構成されてもよい。上記構成要素の一部又は全部の機能は、ＣＰＵがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、上記構成要素の一部又は全部の機能は、電子回路又は集積回路等の専用のハードウェア回路によって達成されてもよい。プログラムは、ＲＯＭに予め記録されたものであってもよく、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信、その他の無線ネットワーク、有線ネットワーク、又は放送等で提供されるものであってもよい。
【0084】
生体データ計測システム１００は、１つの装置で構成されてもよく、分割された複数の装置で構成されてもよい。データ生成装置１は、生体信号計測部１０１、第一ラベルデータ取得部１０２及びオリジナルデータ蓄積部１０３の少なくとも１つと共に、１つの装置を構成してもよく、いずれとも分離されていてもよい。データ生成装置１は、データ蓄積部１１０と共に、１つの装置を構成してもよく、データ蓄積部１１０から分離されていてもよい。データ生成装置１は、生体データ計測システム１００の他の構成要素と分離されている場合、当該構成要素と、有線通信又は無線通信を介して、接続されてもよい、無線通信は、インターネット等の通信網を介した無線通信であってもよい。このような無線通信の例は、Ｗｉ－Ｆｉ（登録商標）（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）などの無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。
【0085】
［１－２．データ生成装置の動作］
次に、実施の形態１に係るデータ生成装置１の動作を中心に、生体データ計測システム１００の動作を説明する。図３には、生体データ計測システム１００の動作の流れの一例を示すフローチャートが、示されている。
次に、実施の形態１に係るデータ生成装置１の動作を中心に、生体データ計測システム１００の動作を説明する。図３には、生体データ計測システム１００の動作の流れの一例を示すフローチャートが、示されている。
【0086】
（ステップＳ１１）
図３に示すように、ステップＳ１１では、生体信号計測部１０１は、生体信号計測部１０１が装着されたユーザの脳波データを計測し取得する。脳波データは、時系列に示されたデータであり、生体データである。さらに、生体信号計測部１０１は、ユーザが行うタスクの実行タイミングを示すトリガの情報も取得する。例えば、タスクが、予め設定したスタート時点から５秒経過後にボタンを押す課題である場合、ユーザがボタンを押すと、押されたボタンが発生する信号が、生体信号計測部１０１によって取得される。生体信号計測部１０１は、信号を取得した時刻を、トリガの発生時刻に決定する。このように、生体信号計測部１０１は、ユーザがタスクを実行する際に入力する信号を取得することによって、トリガの情報を取得する。なお、トリガの発生時刻は、生体信号計測部１０１の他の装置によって特定され、生体信号計測部１０１は、当該装置から発生時刻の情報を取得してもよい。生体信号計測部１０１は、トリガの情報を生体データに付随させる。
図３に示すように、ステップＳ１１では、生体信号計測部１０１は、生体信号計測部１０１が装着されたユーザの脳波データを計測し取得する。脳波データは、時系列に示されたデータであり、生体データである。さらに、生体信号計測部１０１は、ユーザが行うタスクの実行タイミングを示すトリガの情報も取得する。例えば、タスクが、予め設定したスタート時点から５秒経過後にボタンを押す課題である場合、ユーザがボタンを押すと、押されたボタンが発生する信号が、生体信号計測部１０１によって取得される。生体信号計測部１０１は、信号を取得した時刻を、トリガの発生時刻に決定する。このように、生体信号計測部１０１は、ユーザがタスクを実行する際に入力する信号を取得することによって、トリガの情報を取得する。なお、トリガの発生時刻は、生体信号計測部１０１の他の装置によって特定され、生体信号計測部１０１は、当該装置から発生時刻の情報を取得してもよい。生体信号計測部１０１は、トリガの情報を生体データに付随させる。
【0087】
（ステップＳ１２）
次いで、ステップＳ１２では、生体信号計測部１０１は、ステップＳ１１で取得した生体データを、所定の区間で切り取り、切り取った生体データをオリジナルデータ蓄積部１０３に保存する。生体信号計測部１０１は、所定の区間の生体データを切り取る際、ステップＳ１１で取得したトリガの情報を利用する。具体的には、生体信号計測部１０１は、トリガの発生時刻であるトリガ発生のタイミングを、所定の区間の生体データの起点とする。所定の区間は、タスクの１回の試行の期間に対応する期間である。以降において、所定の区間のことを、事象区間とも呼ぶ。事象区間は、タスクの１試行を含む期間であり、タスクという事象が１回発生する期間でもある。
次いで、ステップＳ１２では、生体信号計測部１０１は、ステップＳ１１で取得した生体データを、所定の区間で切り取り、切り取った生体データをオリジナルデータ蓄積部１０３に保存する。生体信号計測部１０１は、所定の区間の生体データを切り取る際、ステップＳ１１で取得したトリガの情報を利用する。具体的には、生体信号計測部１０１は、トリガの発生時刻であるトリガ発生のタイミングを、所定の区間の生体データの起点とする。所定の区間は、タスクの１回の試行の期間に対応する期間である。以降において、所定の区間のことを、事象区間とも呼ぶ。事象区間は、タスクの１試行を含む期間であり、タスクという事象が１回発生する期間でもある。
【0088】
例えば、ユーザが複数回のタスクを試行し、複数のトリガ発生のタイミングがある場合、事象区間は、トリガ発生のタイミング間の期間であってもよい。又は、事象区間は、トリガの発生後から、タスクに起因する生体データの変動が収束するまでの期間であってもよい。なお、事象区間で切り取られた生体データは、トリガ発生のタイミングよりも前の生体データを含んでいてもよい。このような生体データは、トリガ発生の前後の変化を示すことができる。また、生体信号計測部１０１は、事象区間の生体データを切り取る前の処置として、生体データに対して、バンドパスフィルタによるノイズ除去、ベースバンド補正、予め任意に設定した閾値以上の値である外れ値を含んだタスクの試行の除去等を行う。なお、生体信号、具体的には、脳波信号の振幅の範囲は、予め想定されている。この振幅の範囲に対して、閾値が設定され、この閾値以上の値が、外れ値とされる。そして、閾値以上の値の脳波信号の計測結果を含むタスクの試行が、事象区間を切り取る対象から除去される。
【0089】
また、第一ラベルデータ取得部１０２は、ステップＳ１１で生体信号計測部１０１が取得した生体データから、生体データの計測時に行われたタスクの種類を示すラベルを取得する。第一ラベルデータ取得部１０２は、ラベルの情報を、生体信号計測部１０１が切り取った事象区間の生体データと対応付けて、オリジナルデータ蓄積部１０３に保存する。なお、第一ラベルデータ取得部１０２は、生体データ計測システム１００の図示しない入力装置への入力を介して、ラベルの情報を取得してもよい。
【0090】
また、生体信号計測部１０１が切り取った事象区間の生体データは、トリガ発生のタイミングを起点とする生体電位の時間的な変化を示すデータである。このような事象区間の生体データは、ボタンを押すという客観的に定義できる事象に起因する刺激に対する、ユーザの時間的な電気生理学的反応を示し、事象関連電位に相当する。刺激は、視覚刺激、又は聴覚刺激も含む。事象関連電位は、電位の時間的な変化によって示され得る。例えば、生体信号計測部１０１は、脳波データを計測する場合、脳の神経細胞の電気活動による周期性の電流を検出することによって、脳の生体電位を、脳波データとして、つまり、事象関連電位として出力し得る。事象関連電位は、脳の生体電位の時間的な変化を示すものである。このような事象関連電位は、脳波のうちのα波、β波、γ波、θ波、δ波の生体電位を含まないものとしてもよい。
【0091】
（ステップＳ１３）
次いで、ステップＳ１３では、波形データ取得部１０４は、オリジナルデータ蓄積部１０３から生体データを取得し、取得した生体データから生体電位、つまり脳波の波形データを生成する。波形データ取得部１０４は、生成した波形データを、時間ずれ演算部１０５及び振幅演算部１０６の少なくとも一方と、データ処理部１０９とに出力する。時間ずれ演算部１０５は、取得した波形データを、時間軸において正の方向及び／又は負の方向に、予め設定された時間の変更値で移動することによって、新たな波形データである擬似的な波形データを生成する。振幅演算部１０６は、取得した波形データの振幅値を、予め設定された振幅の変更値で定数倍して変更することにより、新たなデータである擬似的な波形データを生成する。このとき、時間ずれ演算部１０５及び振幅演算部１０６は、記憶部１０７に格納された生成規則に従って、上記処理を行う。これにより、生体データから生成された波形データ、時間の変更に基づき生成された擬似的な波形データ、及び、振幅の変更に基づき生成された擬似的な波形データの少なくとも２つが生成される。よって、波形データのデータ量が増大され、波形データがデータ拡張される。
次いで、ステップＳ１３では、波形データ取得部１０４は、オリジナルデータ蓄積部１０３から生体データを取得し、取得した生体データから生体電位、つまり脳波の波形データを生成する。波形データ取得部１０４は、生成した波形データを、時間ずれ演算部１０５及び振幅演算部１０６の少なくとも一方と、データ処理部１０９とに出力する。時間ずれ演算部１０５は、取得した波形データを、時間軸において正の方向及び／又は負の方向に、予め設定された時間の変更値で移動することによって、新たな波形データである擬似的な波形データを生成する。振幅演算部１０６は、取得した波形データの振幅値を、予め設定された振幅の変更値で定数倍して変更することにより、新たなデータである擬似的な波形データを生成する。このとき、時間ずれ演算部１０５及び振幅演算部１０６は、記憶部１０７に格納された生成規則に従って、上記処理を行う。これにより、生体データから生成された波形データ、時間の変更に基づき生成された擬似的な波形データ、及び、振幅の変更に基づき生成された擬似的な波形データの少なくとも２つが生成される。よって、波形データのデータ量が増大され、波形データがデータ拡張される。
【0092】
また、第二ラベルデータ取得部１０８は、オリジナルデータ蓄積部１０３から、波形データ取得部１０４が取得する生成データに対応するラベルを取得し、ラベルの情報をデータ処理部１０９に出力する。
【0093】
（ステップＳ１４）
次いで、ステップＳ１４では、データ処理部１０９は、波形データ取得部１０４から取得する生体データの波形データと、時間ずれ演算部１０５から取得する擬似的な波形データと、振幅演算部１０６から取得する擬似的な波形データとをそれぞれ、第二ラベルデータ取得部１０８から取得するラベルの情報に統合する。つまり、データ処理部１０９は、生体データから生成された波形データ、時間の変更に基づき生成された擬似的な波形データ、及び、振幅の変更に基づき生成された擬似的な波形データをそれぞれ、ラベルと対応付ける。データ処理部１０９は、ラベルの情報と統合した各波形データを、データ蓄積部１１０に保存する。
次いで、ステップＳ１４では、データ処理部１０９は、波形データ取得部１０４から取得する生体データの波形データと、時間ずれ演算部１０５から取得する擬似的な波形データと、振幅演算部１０６から取得する擬似的な波形データとをそれぞれ、第二ラベルデータ取得部１０８から取得するラベルの情報に統合する。つまり、データ処理部１０９は、生体データから生成された波形データ、時間の変更に基づき生成された擬似的な波形データ、及び、振幅の変更に基づき生成された擬似的な波形データをそれぞれ、ラベルと対応付ける。データ処理部１０９は、ラベルの情報と統合した各波形データを、データ蓄積部１１０に保存する。
【0094】
上述のステップＳ１１～Ｓ１４の処理によって、計測データである生体データは、実際に計測されたデータと当該データに基づく擬似的なデータとを含むデータに、データ拡張される。このようなデータ拡張によって、データ量が、数倍～数十倍に増加し得る。
【0095】
【0096】
ステップＳ１１０１において、波形データ取得部１０４が、オリジナルデータ蓄積部１０３から生体データを、つまりデータベースを取得し、波形データを生成する。生体データには、複数の異なるラベルに対応する生体データが含まれている。さらに、１つのラベルに対応する生体データには、複数回のタスクの試行結果が含まれている。このため、波形データ取得部１０４は、各試行に対応する複数の波形データを生成する。
【0097】
ステップＳ１１０２において、第二ラベルデータ取得部１０８は、波形データ取得部１０４が取得した生体データに対応するラベルの情報を取得する。さらに、第二ラベルデータ取得部１０８は、ラベルの情報に含まれる複数のラベルから、１つのラベルを決定する。このラベルは、後述するステップＳ１１０３～Ｓ１１０７の処理が未だ行われていないラベルである。
【0098】
ステップＳ１１０３において、時間ずれ演算部１０５は、第二ラベルデータ取得部１０８から、決定された１つのラベルの情報を取得する。さらに、時間ずれ演算部１０５は、波形データ取得部１０４が生成した波形データのうちから、取得したラベルに対応するタスクの１試行分の波形データを取得する。この波形データは、事象区間の波形データに対応する。この際、時間ずれ演算部１０５は、取得した１つのラベルに対応する複数の波形データのうちから、後述するステップＳ１１０４～Ｓ１１０６の処理が未だ行われていない波形データを選択する。
【0099】
ステップＳ１１０４において、時間ずれ演算部１０５は、データ拡張処理のためのパラメータを決定する。具体的には、時間ずれ演算部１０５は、記憶部１０７に格納された生成規則を参照し、この生成規則に従って、波形データに対する時間の変更値、及び、時間の変更に基づき生成する新たな波形データの数量を決定する。なお、時間の変更値は、－２５０ミリ秒以上＋２５０ミリ秒以下の範囲内にあってもよく、－５０ミリ秒以上＋５０ミリ秒以下の範囲内にあってもよい。
【0100】
例えば、時間ずれ演算部１０５は、下記の表１に示すようなテーブルに従って、処理をする。表１では、データ拡張後の波形データの数量が、データ拡張前の波形データに対する倍率で示されている。表１では、１倍～１１倍の倍率が設定されている。さらに、各倍率について、時間の変更値が設定されている。時間の変更値「±ｎｍｓ」は、１つの波形データを時間軸に沿って「＋ｎミリ秒」及び「－ｎミリ秒」それぞれに移動することによって、２つの波形データを生成することを示す。時間ずれ演算部１０５は、ユーザ等から受け取る指令に従って、データ量の倍率つまり増加率を決定し、決定した倍率を表１のようなテーブルと照合することによって、複数の時間の変更値を取得する。そして、時間ずれ演算部１０５は、複数の時間の変更値のうちから、後述するステップＳ１１０５の処理に未だ用いていない１つの時間の変更値を決定する。なお、「ｎ」の値は、０超５０以下の範囲内の数値から任意に選択され決定される。例えば、「ｎ」の値は、各倍率において、時間の変更値が上記範囲内に収まるように決定され得る。このため、各倍率において、「ｎ」の値の数量が異なっていてもよい。また、「ｎ」の値は、上記範囲内の５の倍数の値から選択されてもよい。「ｎ」の値は、予め決定されていてもよく、インタフェース装置等を介して決定されてもよい。表１のテーブルは、生成規則の一例であり、生成規則は、これに限定されない。
【0101】
【表1】
【0102】
ステップＳ１１０５において、時間ずれ演算部１０５は、ステップＳ１１０４で決定した時間の変更値に基づき、波形データ取得部１０４から取得した波形データを移動することによって、新たな波形データを生成する。
【0103】
ステップＳ１１０６において、時間ずれ演算部１０５は、ステップＳ１１０４において取得した複数の時間の変更値の全てに対し、ステップＳ１１０５の処理を実行済みであるか否かを判定する。時間ずれ演算部１０５は、実行済みである場合（ステップＳ１１０６でＹｅｓ）、ステップＳ１１０７へ進み、実行済みでない場合（ステップＳ１１０６でＮｏ）、ステップＳ１１０４に戻る。
【0104】
ステップＳ１１０４～Ｓ１１０６の処理を繰り返すことによって、１つの波形データに関して、複数の時間の変更値それぞれに対応する複数の新たな波形データが生成される。例えば、時間ずれ演算部１０５は、ステップＳ１１０４において、倍率を「１１」に決定した場合、波形データ取得部１０４から取得された波形データを、時間軸に沿って「±ｎミリ秒」、「±２ｎミリ秒」、「±３ｎミリ秒」、「±４ｎミリ秒」及び「±５ｎミリ秒」それぞれ移動することによって、１０の新たな波形データを生成する。このような新たな波形データは、波形データ取得部１０４から取得された波形データを正方向及び負方向に「ｎミリ秒」毎にずらして形成された波形データである。
【0105】
また、図５には、波形データ取得部１０４が生成する脳波の複数の波形データの一例が示されている。図６には、時間ずれ演算部１０５が生成する波形データの一例が示されている。図５において、経過時間「０ｍｓ」の時点は、トリガの発生タイミングであり、事象区間の起点である。事象区間は、タスクの１試行の期間に対応し、本例では、経過時間－２００～１０００ｍｓの期間である。図６に示す例は、時間ずれ演算部１０５が、表１のようなテーブルにおいて、倍率を「３」に決定し、時間の変更値を「±ｎｍｓ」に決定したケースを示す。時間ずれ演算部１０５は、図５の全ての波形データを「±ｎｍｓ」それぞれに移動することにより、新たな波形データを生成する。例えば、時間ずれ演算部１０５は、図５における事象区間内の波形データＡの波形全体を、図５及び図６の横軸に相当する時間軸に沿って「＋ｎｍｓ」移動する、つまり、「＋ｎｍｓ」進ませることにより、図６の波形データＡ１を生成する。また、時間ずれ演算部１０５は、波形データＡの波形全体を時間軸に沿って「－ｎｍｓ」移動する、つまり、「－ｎｍｓ」進ませることにより、図６の波形データＡ２を生成する。なお、図６の例では、ｎ＝２０である。
【0106】
上述のような時間軸に沿って正の方向又は負の方向へ波形データＡを移動することによって、事象区間の終点又は始点の波形データＡの一部が、事象区間外に移動する。始点は、－２００ｍｓの時点であり、終点は、１０００ｍｓの時点である。このような場合、波形データＡ１では、事象区間の終点において事象区間外に移動した波形データＡの一部が、事象区間の始点に挿入される。波形データＡ２では、事象区間の始点において事象区間外に移動した波形データＡの一部が、事象区間の終点に挿入される。これにより、事象区間における波形データ全体の周波数成分を変更することなく、新たな波形データの生成が可能である。
【0107】
ステップＳ１１０７において、時間ずれ演算部１０５は、ステップＳ１１０２において第二ラベルデータ取得部１０８が決定したラベルに対応する波形データの全てに対し、ステップＳ１１０４～Ｓ１１０６の処理を実行済みであるか否かを判定する。時間ずれ演算部１０５は、実行済みである場合（ステップＳ１１０７でＹｅｓ）、ステップＳ１１０８へ進み、実行済みでない場合（ステップＳ１１０７でＮｏ）、ステップＳ１１０３に戻る。
【0108】
ステップＳ１１０８において、時間ずれ演算部１０５は、ステップＳ１１０２において第二ラベルデータ取得部１０８が取得したラベル情報に含まれる複数のラベルの全てに対し、ステップＳ１１０３～Ｓ１１０７の処理を実行済みであるか否かを判定する。時間ずれ演算部１０５は、実行済みである場合（ステップＳ１１０８でＹｅｓ）、ステップＳ１１０９へ進み、実行済みでない場合（ステップＳ１１０８でＮｏ）、ステップＳ１１０２に戻る。
【0109】
ステップＳ１１０９において、データ処理部１０９は、時間ずれ演算部１０５から新たな波形データを取得し、且つ、第二ラベルデータ取得部１０８からラベルの情報を取得する。さらに、データ処理部１０９は、取得した新たな波形データと、ラベルの情報とを対応付け、統合する。データ処理部１０９は、ラベルの情報と統合した波形データを、データ蓄積部１１０に保存する。
【0110】
【0111】
まず、図４に示す時間ずれ演算部１０５の例と同様に、ステップＳ１１０１及びＳ１１０２の処理が行われる。
【0112】
ステップＳ２１０３において、図４のステップＳ１１０３での時間ずれ演算部１０５の処理と同様に、振幅演算部１０６は、第二ラベルデータ取得部１０８が決定した１つのラベルの情報を取得する。さらに、振幅演算部１０６は、取得したラベルに対応するタスクの１試行分の波形データを取得する。この際、振幅演算部１０６は、取得した１つのラベルに対応する複数の波形データのうちから、後述するステップＳ２１０４～Ｓ２１０６の処理が未だ行われていない波形データを選択する。
【0113】
ステップＳ２１０４において、振幅演算部１０６は、データ拡張処理のためのパラメータを決定する。具体的には、振幅演算部１０６は、記憶部１０７に格納された生成規則を参照し、この生成規則に従って、波形データに対する振幅の変更値、及び、振幅の変更に基づき生成する新たな波形データの数量を決定する。なお、振幅の変更値は、０．１倍以上１．９倍以下の範囲内の倍率であってもよく、０．５倍以上１．５倍以下の範囲内の倍率であってもよい。振幅の変更値は上記範囲を満たすように決定されてもよい。
【0114】
例えば、振幅演算部１０６は、下記の表２に示すようなテーブルに従って、処理をする。表２では、データ拡張後の波形データの数量が、データ拡張前の波形データに対する倍率で示されている。さらに、各倍率について、振幅の変更値が設定されている。振幅の変更値「１±ｎ／１００倍」は、１つの波形データの振幅を、「１＋ｎ／１００倍」及び「１－ｎ／１００倍」それぞれに変倍することによって、２つの波形データを生成することを示す。振幅演算部１０６は、ユーザ等から受け取る指令に従って、データ量の倍率，つまり増加率を決定し、決定した倍率を表２のようなテーブルと照合することによって、複数の振幅の変更値を取得する。そして、振幅演算部１０６は、複数の振幅の変更値のうちから、後述するステップＳ２１０５の処理に未だ用いていない１つの振幅の変更値を決定する。なお、「ｎ」の値は、０超５０以下の範囲内の数値から任意に選択され決定される。例えば、「ｎ」の値は、各倍率において、振幅の変更値が上記範囲内に収まるように決定され得る。このため、各倍率において、「ｎ」の値の数量が異なっていてもよい。また、「ｎ」の値は、上記範囲内の５の倍数の値から選択されてもよい。「ｎ」の値は、予め決定されていてもよく、インタフェース装置等を介して決定されてもよい。表２のテーブルは、生成規則の一例であり、生成規則は、これに限定されない。
【0115】
【表2】
【0116】
ステップＳ２１０５において、振幅演算部１０６は、ステップＳ２１０４で決定した振幅の変更値に基づき、波形データ取得部１０４から取得した波形データの振幅を変倍することによって、新たな波形データを生成する。
【0117】
ステップＳ２１０６において、振幅演算部１０６は、ステップＳ２１０４において取得した複数の振幅の変更値の全てに対し、ステップＳ２１０５の処理を実行済みであるか否かを判定する。振幅演算部１０６は、実行済みである場合（ステップＳ２１０６でＹｅｓ）、ステップＳ２１０７へ進み、実行済みでない場合（ステップＳ２１０６でＮｏ）、ステップＳ２１０４に戻る。
【0118】
ステップＳ２１０４～Ｓ２１０６の処理を繰り返すことによって、１つの波形データに関して、複数の振幅の変更値それぞれに対応する複数の新たな波形データが生成される。例えば、振幅演算部１０６は、ステップＳ２１０４において、倍率を「７」に決定した場合、波形データ取得部１０４から取得された波形データの振幅の大きさを、「１±ｎ／１００倍」、「１±２ｎ／１００倍」及び「１±３ｎ／１００倍」それぞれ変更することによって、６の新たな波形データを生成する。
【0119】
また、図８には、振幅演算部１０６が、図５の波形データから生成する複数の波形データの一例が示されている。図８に示す例は、振幅演算部１０６が、表２のようなテーブルにおいて、倍率を「３」に決定し、振幅の変更値を「１±ｎ／１００倍」に決定したケースを示す。振幅演算部１０６は、図５の全ての波形データに対して、振幅を「１±ｎ／１００倍」それぞれに変倍することにより、新たな波形データを生成する。例えば、振幅演算部１０６は、図５における事象区間内の波形データＡの波形全体に対して、振幅を「１＋ｎ／１００倍」に変倍することにより、図８の波形データＡ３を生成する。また、振幅演算部１０６は、波形データＡの波形全体に対して、振幅を「１－ｎ／１００倍」に変倍することにより、図８の波形データＡ４を生成する。なお、図８では、ｎ＝２０である。「１＋ｎ／１００倍」の変倍は、拡大の変倍であり、振幅軸の正方向の変倍とも呼ばれる。「１－ｎ／１００倍」の変倍は、縮小の変倍であり、振幅軸の負方向の変倍とも呼ばれる。上述のような振幅の変倍処理では、変倍の前後において、事象区間内の波形データにおける波形のピークの時間的な位置が変更されない。これにより、事象区間における波形データの時間的なピーク位置を変更することなく、新たな波形データの生成が可能である。
【0120】
ステップＳ２１０７において、振幅演算部１０６は、ステップＳ１１０２において第二ラベルデータ取得部１０８が決定したラベルに対応する波形データの全てに対し、ステップＳ２１０４～Ｓ２１０６の処理を実行済みであるか否かを判定する。振幅演算部１０６は、実行済みである場合（ステップＳ２１０７でＹｅｓ）、ステップＳ２１０８へ進み、実行済みでない場合（ステップＳ２１０７でＮｏ）、ステップＳ２１０３に戻る。
【0121】
ステップＳ２１０８において、振幅演算部１０６は、ステップＳ１１０２において第二ラベルデータ取得部１０８が取得したラベル情報に含まれる複数のラベルの全てに対し、ステップＳ２１０３～Ｓ２１０７の処理を実行済みであるか否かを判定する。振幅演算部１０６は、実行済みである場合（ステップＳ２１０８でＹｅｓ）、ステップＳ１１０９へ進み、実行済みでない場合（ステップＳ２１０８でＮｏ）、ステップＳ１１０２に戻る。
【0122】
ステップＳ１１０９において、データ処理部１０９は、振幅演算部１０６から新たな波形データを取得し、且つ、第二ラベルデータ取得部１０８からラベルの情報を取得する。さらに、データ処理部１０９は、取得した新たな波形データと、ラベルの情報とを対応付け、統合する。データ処理部１０９は、ラベルの情報と統合した波形データを、データ蓄積部１１０に保存する。
【0123】
また、本実施の形態では、データ生成装置１が、波形データ取得部１０４が生体データから生成した波形データを用いて新しい波形データを生成する際、時間ずれ演算部１０５及び振幅演算部１０６がそれぞれ当該波形データに変更を加えて新しい波形データを生成したが、これに限定されない。時間ずれ演算部１０５及び振幅演算部１０６の一方が、新しい波形データを生成してもよい。
【0124】
また、本実施の形態では、データ生成装置１が、波形データ取得部１０４が生成した波形データを用いて新しい波形データを生成する際、１つの波形データに対して、時間ずれ演算部１０５及び振幅演算部１０６のいずれかが変更を加えて新しい波形データを生成したが、これに限定されない。１つの波形データに対して、時間ずれ演算部１０５及び振幅演算部１０６の両方が、変更を加えて新しい波形データを生成してもよい。このような新しい波形データは、変更前の波形データから、時間軸に沿って移動され且つ振幅の変更を受けた波形データである。
【0125】
［１－３．効果等］
上述のような実施の形態１に係るデータ生成装置１に関して、事象関連電位の潜時の変動は、ユーザの内的要因と関連し、事象関連電位の振幅の変動は、ユーザの外的要因と関連する。データ生成装置１において、生成データの波形データから時間の変更値を用いて生成された新たな波形データは、ユーザの内的要因に起因する生体データの波形データの変動を模擬する。生成データの波形データから振幅の変更値を用いて生成された新たな波形データは、ユーザの外的要因に起因する生体データの波形データの変動を模擬する。これらの新たな波形データは、生体データの波形データと同一のラベルを有するため、生体データの波形データの擬似的なデータとなり得る。よって、データ生成装置１は、既存の生体データから擬似的な生体データを生成することを可能にし、学習用の大量の生体データを生成することを可能にする。
上述のような実施の形態１に係るデータ生成装置１に関して、事象関連電位の潜時の変動は、ユーザの内的要因と関連し、事象関連電位の振幅の変動は、ユーザの外的要因と関連する。データ生成装置１において、生成データの波形データから時間の変更値を用いて生成された新たな波形データは、ユーザの内的要因に起因する生体データの波形データの変動を模擬する。生成データの波形データから振幅の変更値を用いて生成された新たな波形データは、ユーザの外的要因に起因する生体データの波形データの変動を模擬する。これらの新たな波形データは、生体データの波形データと同一のラベルを有するため、生体データの波形データの擬似的なデータとなり得る。よって、データ生成装置１は、既存の生体データから擬似的な生体データを生成することを可能にし、学習用の大量の生体データを生成することを可能にする。
【0126】
また、実施の形態１に係るデータ生成装置１に関して、生体データの波形データから生成される新たな波形データは、生体データの波形データの事象区間の擬似的なデータとなり得る。よって、新たな波形データは、事象が発生した時の状態を擬似的に示すことができる。
【0127】
また、実施の形態１に係るデータ生成装置１によれば、十分な性能を有する識別器を生成するのに必要な量の学習用データを得ることが可能となる。これにより、学習用データを収集するために人を対象とした生体データの取得実験を実施する場合、その試行回数を減少させ、被験者の負担を軽減させることが可能となる。特に、痛み又は悲しみ等の不快状態を計測する場合、実験の時間、つまり実験の試行回数が少なくてもよい。このため、データ生成装置１によるデータの生成が有用である。
【0128】
［実施の形態２］
実施の形態２に係るデータ生成装置を説明する。実施の形態２に係るデータ生成装置は、識別装置２と共に、識別システム２００を構成する。実施の形態２に係るデータ生成装置の構成は、実施の形態１に係るデータ生成装置１と同じである。以降、実施の形態１と異なる点を中心に説明する。
実施の形態２に係るデータ生成装置を説明する。実施の形態２に係るデータ生成装置は、識別装置２と共に、識別システム２００を構成する。実施の形態２に係るデータ生成装置の構成は、実施の形態１に係るデータ生成装置１と同じである。以降、実施の形態１と異なる点を中心に説明する。
【0129】
［２－１．識別システムの構成］
実施の形態２に係るデータ生成装置１を備える識別システム２００の構成を説明する。図９には、実施の形態２に係るデータ生成装置１を備える識別システム２００の機能的な構成が示されている。図９に示すように、識別システム２００は、データ生成装置１、識別装置２及びデータ蓄積部１１０を備える。識別装置２は、識別器生成装置２０１、識別器蓄積部２０２及び識別部２０３を備える。
実施の形態２に係るデータ生成装置１を備える識別システム２００の構成を説明する。図９には、実施の形態２に係るデータ生成装置１を備える識別システム２００の機能的な構成が示されている。図９に示すように、識別システム２００は、データ生成装置１、識別装置２及びデータ蓄積部１１０を備える。識別装置２は、識別器生成装置２０１、識別器蓄積部２０２及び識別部２０３を備える。
【0130】
識別器生成装置２０１は、データ蓄積部１１０に格納された波形データを、学習用データとして用いて、識別器を生成する。識別器生成装置２０１は、ラベルと対応付けられた波形データを、入力データとする。そして、識別器生成装置２０１は、波形データが入力された識別器の出力結果が、当該波形データに対応するラベルを示すように、識別器に学習させる、つまり識別器を再構築する。識別器に学習させるとは、入力データに対して正解である結果が出力されるように、識別器を再構築することである。識別器生成装置２０１は、様々なラベルに対応する様々な波形データを入力データとし、正解となるラベルが出力されるように、識別器の再構築を繰り返すことによって、識別器の出力精度を向上させる。識別器生成装置２０１は、再構築を繰り返すことによって学習させた識別器を、識別器蓄積部２０２に格納する。識別器生成装置２０１は、データ蓄積部１１０に格納された波形データが、新しいデータの追加等により更新されると、更新後の波形データを用いて、認識器に学習させてもよい。
【0131】
識別器生成装置２０１は、識別器の生成の際、データ蓄積部１１０に格納された波形データの全てを用いる。識別器生成装置２０１が用いる波形データは、波形データ取得部１０４が生体データから生成した波形データ、時間ずれ演算部１０５が当該波形データに変更を加えて生成した波形データ、及び、振幅演算部１０６が当該波形データに変更を加えて生成した波形データを含む。つまり、識別器生成装置２０１が用いる波形データは、データ拡張された波形データを含む。
【0132】
なお、識別器生成装置２０１は、波形データを入力データとする識別器を生成したが、生体信号等の生体データを入力データとする識別器を生成してもよい。このような識別器は、生体データが入力されることによって、生体データに対応するラベルを出力するように構成されてもよい。
【0133】
本実施の形態では、識別器には、機械学習モデルが適用される。さらに、識別器に適用される機械学習モデルは、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ（深層学習）等のニューラルネットワークを用いた機械学習モデルであるが、他の学習モデルであってもよい。例えば、機械学習モデルは、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、又はＧｅｎｅｔｉｃ Ｐｒｏｇｒａｍｍｉｎｇ等を用いた機械学習モデルであってもよい。
【0134】
なお、ニューラルネットワークは、脳神経系をモデルにした情報処理モデルである。ニューラルネットワークは、入力層及び出力層を含む複数のノード層で構成されている。ノード層には、１つ以上のノードが含まれる。ニューラルネットワークのモデル情報は、ニューラルネットワークを構成するノード層の数と、各ノード層に含まれるノード数と、ニューラルネットワークの全体又は各ノード層の種別とを示す。ニューラルネットワークは、例えば、入力層、１つ以上の中間層及び出力層で構成される。ニューラルネットワークは、入力層のノードに入力された情報について、入力層から中間層への出力処理、中間層での処理、中間層から出力層への出力処理、出力層での処理を順次行い、入力情報に適合する出力結果を出力する。なお、１つの層の各ノードは、次の層の各ノードと接続されており、ノード間の接続には、重み付けがされている。１つの層のノードの情報は、ノード間の接続の重み付けが付与されて、次の層のノードに出力される。ニューラルネットワークの学習では、入力層に波形データが入力されたとき、出力層で適正なラベルが出力されるように、ノード間の重み付けが調整される。
【0135】
識別器蓄積部２０２は、情報を格納することができ、且つ、格納した情報の取り出しを可能にする。識別器蓄積部２０２は、オリジナルデータ蓄積部１０３の説明で挙げたような記憶装置によって実現される。識別器蓄積部２０２は、識別器生成装置２０１から出力される識別器を格納する。識別器蓄積部２０２に格納される識別器は、後述する識別部２０３によって使用される。
【0136】
識別部２０３は、ユーザの生体信号を、識別器蓄積部２０２に格納された識別器に入力し、ユーザの生体信号に対応するラベルを判別する。本実施の形態では、識別部２０３は、ユーザの脳波データを識別器に入力し、ユーザの脳波に対応するラベルを判別する。識別部２０３は、ユーザの生体信号を、生体データ計測システム１００の生体信号計測部１０１から取得してもよく、生体データ計測システム１００と別個に設けられた生体信号計測装置から取得してもよい。
【0137】
識別器生成装置２０１及び識別部２０３で構成される識別装置２の各構成要素は、ＣＰＵ等のプロセッサ、ＲＡＭ、ＲＯＭなどからなるコンピュータシステム（図示せず）により構成されてもよい。上記構成要素の一部又は全部の機能は、ＣＰＵがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、上記構成要素の一部又は全部の機能は、電子回路又は集積回路等の専用のハードウェア回路によって達成されてもよい。プログラムは、ＲＯＭに予め記録されたものであってもよく、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信、その他の無線ネットワーク、有線ネットワーク、又は放送等で提供されるものであってもよい。
【0138】
また、データ生成装置１、識別装置２及びデータ蓄積部１１０は、１つの装置を一緒に構成してもよく、分離された複数の装置を構成してもよい。複数の装置を構成するデータ生成装置１、識別装置２及びデータ蓄積部１１０は、有線通信又は無線通信を介して、接続されてもよい、無線通信は、インターネット等の通信網を介した無線通信であってもよい。このような無線通信の例は、Ｗｉ－Ｆｉ（登録商標）である。また、識別システム２００は、生体信号計測部１０１、第一ラベルデータ取得部１０２及びオリジナルデータ蓄積部１０３の少なくとも１つを含んでもよい。
【0139】
［２－２．識別装置の動作］
次に、図１０を参照して、実施の形態２に係る識別装置２における識別器の生成動作を説明する。図１０は、実施の形態２に係る識別装置２における識別器の生成動作の流れの一例を示すフローチャートである。
次に、図１０を参照して、実施の形態２に係る識別装置２における識別器の生成動作を説明する。図１０は、実施の形態２に係る識別装置２における識別器の生成動作の流れの一例を示すフローチャートである。
【0140】
ステップＳ１０１では、識別器生成装置２０１は、データ蓄積部１１０に格納されたデータを取得する。取得されるデータは、データ生成装置１によってデータ拡張処理されたデータである。取得されるデータには、波形データと、当該波形データに対応するラベルデータとが含まれる。
【0141】
ステップＳ１０２では、識別器生成装置２０１は、データ蓄積部１１０から取得したデータを学習用データとして使用することによって、識別器蓄積部２０２に格納された識別器に学習させる。
【0142】
ステップＳ１０３では、識別器生成装置２０１は、ステップＳ１０２で行った学習により生成した、つまり再構築した識別器を、識別器蓄積部２０２に保存する。
【0143】
【0144】
ステップＳ１１１では、識別部２０３は、脳波などの生体信号データを取得する。生体信号データは、図示しない計測装置等によってユーザから計測された生体信号の計測値を含む。生体信号の計測値は、複数の時刻で計測された計測値であり、且つ、複数の時刻のそれぞれと対応付けられている。
【0145】
ステップＳ１１２では、識別部２０３は、識別器蓄積部２０２に格納された識別器を取得する。さらに、ステップＳ１１３では、識別部２０３は、取得した識別器を用いて、ステップＳ１１１で取得した生体信号データの識別を行う。つまり、識別部２０３は、生体信号データの認識処理を行う。具体的には、識別部２０３は、識別器に生体信号データを入力し、識別器が出力するラベルの情報を取得する。
【0146】
ステップＳ１１４では、識別部２０３は、ステップＳ１１３で取得したラベルの情報、つまり、認識結果を出力する。出力対象は、識別装置２に接続された装置であってもよい。このような装置の例は、ディスプレイ及び／又はスピーカであってもよい。ディスプレイは、液晶パネル、有機又は無機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）等の表示パネルで構成されてもよい。
【0147】
［２－３．識別システムの適用例］
次に、識別システム２００の適用例を説明する。図１２Ａには、識別システム２００の適用例の１つが示されている。図１２Ａの例では、生体信号計測部１０１、データ生成装置１、データ蓄積部１１０及び識別器生成装置２０１は、有線接続されている。例えば、脳活動からユーザの心的状態を判別するアプリケーションを作成する場合、ユーザ間で脳活動の個人差があるため、個人個人に対応するアプリケーションであってもよい。このため、生体信号計測部１０１は、様々なユーザに装着され、様々なユーザのタスク実行時の生体データを計測する。データ生成装置１は、計測された生体データに対して、データ拡張し、データ蓄積部１１０に格納する。識別器生成装置２０１は、データ蓄積部１１０に格納されたデータを用いて、学習し、識別器を生成する。
次に、識別システム２００の適用例を説明する。図１２Ａには、識別システム２００の適用例の１つが示されている。図１２Ａの例では、生体信号計測部１０１、データ生成装置１、データ蓄積部１１０及び識別器生成装置２０１は、有線接続されている。例えば、脳活動からユーザの心的状態を判別するアプリケーションを作成する場合、ユーザ間で脳活動の個人差があるため、個人個人に対応するアプリケーションであってもよい。このため、生体信号計測部１０１は、様々なユーザに装着され、様々なユーザのタスク実行時の生体データを計測する。データ生成装置１は、計測された生体データに対して、データ拡張し、データ蓄積部１１０に格納する。識別器生成装置２０１は、データ蓄積部１１０に格納されたデータを用いて、学習し、識別器を生成する。
【0148】
図１２Ｂには、識別システム２００の適用例の他の１つが示されている。図１２Ｂに示すように、データ生成装置１、データ蓄積部１１０及び識別器生成装置２０１が、クラウドシステムを構成してもよい。この場合、エッジ側の生体信号計測部１０１と、クラウド側のデータ生成装置１、データ蓄積部１１０及び識別器生成装置２０１とは、インターネット等の通信網を介して、互いに情報を授受してもよい。
【0149】
図１３には、識別装置２の適用例の１つが示されている。図１３に示すように、識別装置２は、ユーザに装着された生体信号計測部と有線接続されている。生体信号計測部は、生体データ計測システム１００に含まれていてもよく、別個であってもよい。識別装置２は、ユーザから生体信号を取得し、生体信号のラベルの判別を行う。例えば、識別装置２は、脳波からユーザの痛みを検出するアプリケーションを構成する場合、生体信号計測部により脳波の計測データを取得し、痛みに対する心的状態の判別結果を出力する。痛みに対する心的状態の例は、「痛みあり」及び「痛みなし」の心的状態である。
【0150】
［２－４．効果等］
上述のような実施の形態２に係る識別システム２００は、既存の生体データの波形データから、ラベルが対応する擬似的な波形データを生成することができる。さらに、識別システム２００は、既存の生体データ及び擬似的な生体データからなる多くの生体データを用いて、識別器を生成することができる。よって、識別器の性能の向上が可能になる。そして、様々なラベルの生体データを用いて生成される識別器は、生体データから様々なラベルを識別することができる。
上述のような実施の形態２に係る識別システム２００は、既存の生体データの波形データから、ラベルが対応する擬似的な波形データを生成することができる。さらに、識別システム２００は、既存の生体データ及び擬似的な生体データからなる多くの生体データを用いて、識別器を生成することができる。よって、識別器の性能の向上が可能になる。そして、様々なラベルの生体データを用いて生成される識別器は、生体データから様々なラベルを識別することができる。
【0151】
また、実施の形態２に係る識別システム２００は、生体情報と個人とを結びつける必要のある生体認証においても、適用可能であり、このような生体認証において、手軽なキャリブレーションを実現することできる。
【0152】
［実施の形態３］
実施の形態３に係るデータ生成装置２１を説明する。実施の形態３に係るデータ生成装置２１は、実施の形態１に係るデータ生成装置１が備える振幅演算部１０６の代わりに、ピーク検出部１２１及びピーク強調演算部１２２を備える。以降、実施の形態１及び２と異なる点を中心に説明する。
実施の形態３に係るデータ生成装置２１を説明する。実施の形態３に係るデータ生成装置２１は、実施の形態１に係るデータ生成装置１が備える振幅演算部１０６の代わりに、ピーク検出部１２１及びピーク強調演算部１２２を備える。以降、実施の形態１及び２と異なる点を中心に説明する。
【0153】
図１４には、実施の形態３に係るデータ生成装置２１の機能的な構成が示されている。図１４に示すように、実施の形態３に係るデータ生成装置２１は、波形データ取得部１０４と、ピーク検出部１２１と、時間ずれ演算部１０５と、ピーク強調演算部１２２と、記憶部１０７と、第二ラベルデータ取得部１０８と、データ処理部１０９とを備える。実施の形態１に係るデータ生成装置１は、事象区間の波形データの波形全体に対して変更を加えることによって、新たな波形データを生成した。実施の形態３に係るデータ生成装置２１は、事象区間の波形データの波形において、着目するピーク部分を決定し、決定したピーク部分付近の波形データに対して変更を加え、それにより、新たな波形データを生成する。
【0154】
ピーク検出部１２１は、波形データ取得部１０４が生成した波形データにおいて、事象区間内における生体電位の最大値と、最大値における時刻とを検出する。最大値は、極大値でもあり、最大値における時刻は、潜時に相当する。例えば、複数の最大値が存在する場合、ピーク検出部１２１は、最も早くに出現する最大値を選択してもよい。
【0155】
より詳細に説明すると、ピーク検出部１２１は、同一のタスクつまり同一のラベルに対応する複数の波形データを取得し、複数の波形データを平均した平均波形データを算出する。平均波形データは、１つのタスクの複数回の試行結果の平均であり、試行平均波形データとも呼ぶ。
【0156】
試行平均波形データの算出では、複数の波形データの間において、事象区間の起点に対する時刻が同一である生体電位の平均値が算出され、各時刻での平均値を用いて、試行平均波形データが生成される。ピーク検出部１２１は、試行平均波形データにおいて、事象区間内における生体電位の最大値と、最大値における時刻とを検出する。この際、ピーク検出部１２１は、刺激の発生タイミング、つまり、事象区間の起点から所定の期間経過した後の区間内において、最大値を検出する。所定の期間は、生体電位の対象に応じて決めることができる。生体電位の対象が脳波の場合、所定の期間の例は、２００ミリ秒である。所定の期間は、ユーザが受ける刺激が外的刺激であっても内的刺激であっても、同一の期間としてもよい。さらに、ピーク検出部１２１は、ピークである最大値における時刻の前後２００ミリ秒の区間、つまり４００ミリ秒の区間を、波形データの変更区間に設定する。なお、波形データの変更区間の長さは、４００ミリ秒に限定されず、他の長さであってもよい。
【0157】
例えば、図１５Ａには、波形データ取得部１０４が生成する脳波の複数の波形データの一例が示されている。図１５Ａは、タスク１０試行の波形データを示している。ピーク検出部１２１は、図１５Ａに示すタスク１０試行の波形データを平均することによって、図１５Ｂに示す試行平均波形データを取得する。さらに、ピーク検出部１２１は、試行平均波形データにおける経過時間２００ミリ秒以降の区間において、生体電位の最大値Ｖｐ（単位：μＶ）を特定する。そして、ピーク検出部１２１は、生体電位が最大値Ｖｐである経過時間Ｔｐ（単位：ミリ秒）を特定する。ピーク検出部１２１は、（Ｔｐ－２００）ミリ秒から（Ｔｐ＋２００）ミリ秒の区間を、波形データの変更区間に設定する。
【0158】
時間ずれ演算部１０５は、ピーク検出部１２１が試行平均波形データの算出に用いた波形データに対して、時間軸において正の方向及び／又は負の方向に、予め設定された時間の変更値で移動することによって、新たな波形データを生成する。この際、時間ずれ演算部１０５は、各波形データに対して、ピーク検出部１２１が算出した変更区間の部分を時間の変更値で移動する。なお、変更区間の始点及び終点において、変更区間外に移動した波形データの部分の処理は、実施の形態１と同様である。
【0159】
例えば、図１５Ｃには、図１５Ａの波形データの変更区間を時間軸に沿って移動することによって生成された新たな波形データの例が示されている。図１５Ｃの例では、時間ずれ演算部１０５は、図１５Ａの波形データの変更区間を±２０ミリ秒移動した。例えば、波形データＡに対する変更区間の移動によって、＋２０ミリ秒の移動に対応する波形データＡ１と、－２０ミリ秒の移動に対応する波形データＡ２とが、生成される。
【0160】
ピーク強調演算部１２２は、ピーク検出部１２１が試行平均波形データの算出に用いた波形データそれぞれに対して、ピーク検出部１２１が算出した変更区間の振幅を、予め設定された振幅の変更値で定数倍して変更することにより、新たなデータを生成する。ピーク強調演算部１２２による振幅の変更方法は、実施の形態１に係る振幅演算部１０６と同様である。
【0161】
例えば、ピーク強調演算部１２２は、下記の表３に示すようなテーブルに従って、処理をする。表３では、データ拡張後の波形データの数量が、データ拡張前の波形データに対する倍率で示されている。さらに、各倍率について、振幅の変更値が設定されている。これに限定するものではないが、本実施の形態では、波形データのピーク部分を強調するために、振幅の変更値は、１倍超の値である。ここで、表３のテーブルは、生成規則の一例であり、生成規則は、これに限定されない。
【0162】
【表3】
【0163】
また、図１５Ｄには、図１５Ａの波形データの変更区間の振幅を変更することによって生成された新たな波形データの例が示されている。図１５Ｄの例では、ピーク強調演算部１２２は、図１５Ａの波形データの変更区間の振幅を１．２倍した。例えば、波形データＡに対する変更区間の振幅の変更によって、波形データＡ３が生成される。図１５Ｄの例では、変更区間の始点及び終点において、波形データＡ３が不連続的になることを抑制するために、変更区間の波形データＡの振幅の変倍率は、一律に１．２倍でなく、変化している。変倍率は、変更区間の始点及び終点では、１倍とされ、変更区間の中間位置では、１．２倍とされ、始点及び終点と中間位置との間では、１倍から１．２倍へ所定の変化率で変化する。所定の変化率は、始点及び終点と中間位置との間において、一定であってもよく、関数曲線等を形成するように滑らかに変化してもよい。また、中間位置は、始点及び終点の中点、つまり、試行平均波形データの波形のピークの位置であってもよく、その他の位置であってもよい。なお、変更区間の波形データの振幅の変倍率は、一律であってもよい。例えば、変倍率が小さい場合、及び、変更区間の始点及び終点での振幅が小さい場合などでは、変倍率が一律であっても、振幅変更後の波形データの連続性が維持され得る。ピーク強調演算部１２２によって上述のように生成された新たな波形データは、ピーク部分を強調した波形データとなる。
【0164】
なお、ピーク検出部１２１は、取得した同一のラベルの複数の波形データの全てを用いて、試行平均波形データを算出したが、これに限定されない。試行平均波形データは、複数の波形データのうちの１つ以上の波形データから算出されてもよい。
【0165】
［実施例］
実施の形態に係る識別システム２００を用いて、データ拡張し、データ拡張されたデータを用いて学習させた識別器による認識を行った実験の内容とその効果とを説明する。
実施の形態に係る識別システム２００を用いて、データ拡張し、データ拡張されたデータを用いて学習させた識別器による認識を行った実験の内容とその効果とを説明する。
【0166】
実験に使用したデータは、５人の被験者が２種類のタスクを遂行した際の脳波データである。２種類のタスクは、被験者が自発的に取り組むことができる「意欲あり」のタスクと、被験者が自発的に取り組むことができない「意欲なし」のタスクとからなる。「意欲あり」のタスクは、被験者が、時計を見つつ、予め設定したスタート時点から５秒経過時点に合わせてボタンを押す課題である。「意欲なし」のタスクは、被験者が、予め設定したスタート時点から５秒経過後に時計が止まったことを確認したのと同時にボタンを押す課題である。このように、２種類のタスクは、被験者の意欲状態と紐づいており、脳波データは、「意欲あり」及び「意欲なし」のラベルづけを行うことでタスクと対応付けられた。
【0167】
脳波データを取得するために、タスクを遂行する５人の被験者に対して、脳波計測実験を行った。脳波計測実験において、各被験者は、２種類のタスクをそれぞれ３０試行おこない、合計で６０試行のタスクを行った。計測された脳波データは、試行毎に切り分けられ、さらに、バンドパスフィルタによるノイズ除去及びベースライン補正（０補正とも呼ばれる）を受けた。生体電位の外れ値を取り除くため、閾値として基準値（６０ｕＶ）が設定され、基準値以上の生体電位が検出された試行が取り除かれた。この結果、５人の被験者の平均のタスク試行数は、５８．６試行であった。
【0168】
そして、識別システム２００において、このような脳波データを被験者毎に学習に使用することによって、脳波データから「意欲あり」及び「意欲なし」の２種類のタスクを判別する識別器が、被験者毎に生成された。各識別器は、入力層、２つの中間層及び出力層で構成されたニューラルネットワークを用いたディープラーニングによって生成された。さらに、被験者毎の識別器として、実施例の識別器と、比較例の識別器とが生成された。実施例の識別器は、データ生成装置１によって脳波データがデータ拡張されたデータを用いて、生成された。比較例の識別器は、データ拡張されていない脳波データを用いて、生成された。比較例の識別器は、十分なデータ量の脳波データを用いて生成された比較例１の識別器と、十分でないデータ量の脳波データを用いて生成された比較例２の識別器と、比較例１及び２の中間のデータ量の脳波データを用いて生成された比較例３の識別器とからなる。
【0169】
十分なデータ量の脳波データとは、対象とする試行の脳波データの全てを指す。本実験では、対象とする試行の脳波データは、平均５８．６試行の脳波データである。具体的には、対象とする試行の脳波データは、各被験者について、６０試行の脳波データから、生体電位の外れ値を含む試行が取り除かれた残りの試行の脳波データの全てである。以降、このような脳波データを、全試行の脳波データと呼ぶ。十分でないデータ量の脳波データとは、対象とする試行の脳波データからランダムに抽出された２０試行の脳波データを指す。比較例１及び２の中間のデータ量の脳波データは、対象とする試行の脳波データからランダムに抽出された４０試行の脳波データを指す。２０試行の脳波データ及び４０試行の脳波データそれぞれにおいて、「意欲あり」のラベルと対応する脳波データの試行数と、「意欲なし」のラベルと対応する脳波データの試行数とは、同数とした。
【0170】
図１６Ａ～図１６Ｃには、比較例１、比較例２及び実施例の識別器を生成する際のデータの割り当て方法が示されている。本実験では、識別器の機械学習の評価方法として、１０－ｆｏｌｄ ｃｒｏｓｓ－ｖａｌｉｄａｔｉｏｎ（１０－分割交差検証）を使用した。本評価方法では、脳波データが１０グループに分割され、そのうちの１つのグループがテストデータとされ、残りのグループが学習データとされる。識別器は、残りの９グループの脳波データを用いて生成される。全てのグループがテストデータの役割を果たすように、テストデータの対象グループを替えつつ、識別器の生成が１０回繰り返される。そして、テストデータに対する識別器の識別性能が求められる。具体的には、１０グループのテストデータに対する識別性能から、識別器の性能が求められる。本実験では、識別性能を示す指標として、識別率が用いられた。よって、各被験者の脳波データについて、１０グループのテストデータ全てに対する識別器の識別率が算出された。そして、各被験者についての識別器の識別率の平均が算出された。
【0171】
図１６Ａには、比較例１の識別器のケースの一例が示されている。比較例１の識別器は、全試行の脳波データに対して、９グループの脳波データ全てを学習データとして用いる。図１６Ｂには、比較例２の識別器のケースの一例が示されている。比較例２の識別器は、全試行の脳波データに対して、９グループの脳波データのうちの２０試行の脳波データを学習データとして用いる。なお、比較例３の場合、識別器は、全試行の脳波データに対する９グループの脳波データのうちの４０試行の脳波データを学習データとして用いる。
【0172】
図１６Ｃには、実施例の識別器のケースの一例が示されている。本ケースでは、全試行の脳波データに対して、９グループの脳波データのうちの２０試行の脳波データが抽出される。抽出された２０試行の脳波データに対して、データ生成装置１がデータ拡張し、データ量を増加する。実施例の識別器は、増加されたデータを学習データとして用いる。実験では、比較を容易にするために、各被験者についての実施例及び比較例１～３の４種類の識別器において、テストデータが同じになるようにデータを割り当てた。
【0173】
実施例及び比較例１～３の識別器の識別性能が、以下に説明するように求まった。図１７には、比較例１～３の識別器の識別率が示されている。具体的には、５人の被験者についての比較例１～３の識別器それぞれの識別率の平均値が、示されている。比較例１及び３の識別器の識別率はそれぞれ、７３．９％及び７４．３％であった。比較例２の識別器の識別率は、６８．５％であり、比較例１及び３の識別器よりも大幅に低い。このことから、学習データの数を減らすことにより、識別器の識別率が低下することが認められる。
【0174】
図１８には、実施例及び比較例２の識別器の識別率が示されている。図１７と同様に、５人の被験者についての実施例及び比較例２の識別器それぞれの識別率の平均値が、示されている。詳細には、実施例の識別器に関して、４つの異なる学習データを用いて識別器が生成されるケースＡ～Ｄでの識別率が示されている。
【0175】
ケースＡの学習データは、２０試行の脳波データに対して、データ生成装置１が、波形データの波形全体を時間軸に沿って移動することによって生成する脳波データを含む。つまり、ケースＡの学習データは、脳波データが波形データの波形全体に関して時間に基づきデータ拡張されたデータである。
【0176】
ケースＢの学習データは、２０試行の脳波データに対して、データ生成装置１が、波形データの波形全体に対して振幅を変更することによって生成する脳波データを含む。つまり、ケースＢの学習データは、脳波データが波形データの波形全体に関して振幅に基づきデータ拡張されたデータである。
【0177】
ケースＣの学習データは、２０試行の脳波データに対して、データ生成装置１が、波形データの波形のピーク部分、つまり変更区間を時間軸に沿って移動することによって生成する脳波データを含む。つまり、ケースＣの学習データは、脳波データが波形データの波形のピーク部分に関して時間に基づきデータ拡張されたデータである。
【0178】
ケースＤの学習データは、２０試行の脳波データに対して、データ生成装置１が、波形データの波形のピーク部分に対して振幅を変更することによって生成する脳波データを含む。つまり、ケースＤの学習データは、脳波データが波形データの波形のピーク部分に関して振幅に基づきデータ拡張されたデータである。
【0179】
ケースＡ及びＣにおいて、時間の変更値の設定には、上記の表１と同様の表４が用いられる。具体的には、表４に関して、「ｎ」の値を、５ミリ秒から５０ミリ秒までの間における５ミリ秒間隔の値、つまり、５、１０、１５、２０、２５、３０、３５、４０、４５及び５０の値にした場合それぞれの表４が生成される。よって、１０種類の表４が生成され、１０種類の表４の時間の変更値がデータ拡張に用いられる。具体的には、１０種類の表４それぞれについて、各増加率の時間の変更値を用いて、脳波データが３倍、５倍、７倍、９倍及び１１倍の５種類の増加率に増加される。これにより、１０種類の表４それぞれについて、５種類のデータ拡張されたデータが生成される。ケースＡ及びＣそれぞれでは、各増加率に増加されたデータを学習データとして用いることによって、５０種類（表４の種類：１０種類×増加率の種類：５種類）の識別器が生成された。そして、ケースＡ及びＣそれぞれについて、５０種類の識別器の識別率の平均値が、図１８に示されている。
【0180】
【表4】
【0181】
ケースＢにおいて、振幅の変更値の設定には、上記の表２と同様の表５が用いられる。具体的には、表５に関して、「ｎ」の値を、ケースＡ及びＣと同様に、５、１０、１５、２０、２５、３０、３５、４０、４５及び５０の値にした場合それぞれの表５が生成される。よって、１０種類の表５が生成され、１０種類の表５の振幅の変更値がデータ拡張に用いられる。この際、振幅の変更値のうち、０．１倍以上１．９倍以下の範囲を満たすものが用いられる。このため、１０種類の表５において、データ増加率３倍では１０種類、データ増加率５倍では９種類、データ増加率７倍では６種類、データ増加率９倍では４種類、データ増加率１１倍では３種類の表５の振幅の変更値が用いられた。よって、３２種類の識別器が生成された。そして、ケースＢでは３２種類の識別器の識別率の平均値が、図１８に示されている。
【0182】
【表5】
【0183】
ケースＤにおいて、振幅の変更値の設定には、上記の表３と同様の表６が用いられる。具体的には、表６に関して、「ｎ」の値を、ケースＡ及びＣと同様に、５、１０、１５、２０、２５、３０、３５、４０、４５及び５０の値にした場合それぞれの表６が生成される。よって、１０種類の表６が生成され、１０種類の表６の振幅の変更値がデータ拡張に用いられる。各増加率に増加されたデータを学習データとして用いることによって、５０種類（表６の種類：１０種類×増加率の種類：５種類）の識別器が生成された。そして、ケースＤでは５０種類の識別器の識別率の平均値が、図１８に示されている。
【0184】
【表6】
【0185】
図１８に示すように、比較例２の識別器の識別率が６８．５％であるのに対し、実施例の識別器におけるケースＡ～Ｄそれぞれでは、識別率は、７３．０％から７４．２％の範囲にまでに上昇した。
【0186】
図１９には、実施例及び比較例１～３の識別器の識別率が示されている。図１７と同様に、５人の被験者についての実施例及び比較例１～３の識別器それぞれの識別率の平均値が、示されている。詳細には、実施例の識別器に関して、３つの異なる学習データを用いて識別器が生成されるケースＥ～Ｇでの識別率が示されている。
【0187】
ケースＥの学習データは、２０試行の脳波データに対して、データ生成装置１がデータ拡張したデータである。ケースＦの学習データは、４０試行の脳波データに対して、データ生成装置１がデータ拡張したデータである。ケースＧの学習データは、全試行の脳波データに対して、データ生成装置１がデータ拡張したデータである。ケースＥ～Ｇそれぞれにおいて、データ生成装置１は、上述のケースＡ～Ｄで記載した４種類の方法でデータ拡張した。さらに、ケースＥ～Ｇそれぞれにおいて、４種類の方法それぞれでデータ拡張されたデータを用いて、ケースＡ～Ｄと同様に識別器が生成され、全ての識別器の識別率の平均値が算出された。つまり、ケースＥ～Ｇそれぞれにおいて、ケースＡ～Ｄの処理が行われ、全ての識別器の識別率の平均値が算出された。図１９のケースＥ～Ｇには、上述のような識別率の平均値が示されている。
【0188】
データ量が十分でない２０試行の場合、ケースＥの実施例の識別器の性能は、比較例１の識別器よりも大幅に向上している。しかしながら、データ量が十分である全試行の場合、ケースＧの実施例の識別器の識別率は、７３．７％であり、比較例１の識別器の識別率７３．９％から低下している。また、中間の４０試行の場合、ケースＦの実施例の識別器の識別率は、７４．８％であり、比較例３の識別器の識別率７４．３％から上昇しているが、その変化率は０．６４％と小さい。上述から、ケースＡ～Ｄの４種類のデータ拡張方法をまとめて検討した場合、データ生成装置１によるデータ拡張は、実際に計測されたデータ量が十分でないケースにおいて、識別器の性能向上に大きな効果があると認められる。また、それ以外のケースにおいて、データ生成装置１によるデータ拡張は、実際に計測されたデータを用いる場合と同程度の性能を有する識別器の生成が可能であることが認められる。
【0189】
図２０には、データ生成装置１によるデータの増加量と識別器の識別率との関係が示されている。図２０では、データ生成装置１が、データ拡張によって、２０試行の脳波データを、３倍、５倍、７倍、９倍及び１１倍のデータ量に増加した例が示されている。各倍率に関して、上述のケースＡ～Ｄの４種類の方法でデータ拡張されたデータを用いて生成された識別器の識別率が示されている。図２０においても、図１７～図１９と同様に、５人の被験者についての識別器の識別率の平均値が、示されている。
【0190】
２０試行の脳波データを用いて生成された識別器の識別率は、６８．５％である。これに対し、データ拡張されたデータを用いて生成された識別器の識別率はいずれも、６８．５％を上回る。特に、ケースＡに該当する波形全体に関して時間に基づきデータ拡張するケースでは、データの倍率が７倍のとき、識別率は７３．２％である。また、ケースＢに該当する波形全体に関して振幅に基づきデータ拡張するケースでは、データの倍率が７倍のとき、識別率は７４．０％である。また、ケースＣに該当する波形のピーク部分に関して時間に基づきデータ拡張するケースでは、データの倍率が７倍のとき、識別率は７３．８％である。また、ケースＤに該当する波形のピーク部分に関して振幅に基づきデータ拡張するケースでは、データの倍率が３倍のとき、識別率は７４．２％であり、識別器の識別性能が最も向上している。
【0191】
図２０より、波形全体に関する時間及び振幅に基づくデータ拡張はいずれも、データの増加倍率が大きくなるに従い、識別器の性能向上への効果が小さくなる傾向がみられた。これは、事象関連電位のばらつきと関係が低い、ピークから離れた位置の生体電位が、この生体電位が示す本来の特徴とは大きく異なるデータに変化した影響だと考えられる。
【0192】
図２１～図２４には、データ生成装置１が、データ拡張によって、２０試行の脳波データを３倍のデータ量に増加する場合において、波形データの時間の変更値及び振幅の変更値と、識別器の識別率との関係が示されている。図２１～図２４においても、図１７～図１９と同様に、５人の被験者についての識別器の識別率の平均値が、示されている。
【0193】
図２１では、ケースＡに該当する波形全体に関した時間に基づくデータ拡張のケースが示されている。図２１は、上記の表１におけるデータ増加率３倍の時間の変更値「±ｎ」ミリ秒でデータ拡張されたデータを用いて生成された識別器の識別率を示している。「ｎ」が５、１０、１５、２０、２５、３０、３５、４０、４５及び５０である１０ケースでの識別器の識別率が、２０試行の脳波データをデータ拡張しないケースと比較して示されている。図２１の横軸の数値は、「ｎ」の値を示す。
【0194】
図２２では、ケースＢに該当する波形全体に関した振幅に基づくデータ拡張のケースが示されている。図２２は、上記の表２におけるデータ増加率３倍の振幅の変更値「１±ｎ／１００」倍でデータ拡張されたデータを用いて生成された識別器の識別率を示している。「ｎ」が５、１０、１５、２０、２５、３０、３５、４０、４５及び５０である１０ケースでの識別器の識別率が、２０試行の脳波データをデータ拡張しないケースと比較して示されている。図２２の横軸の数値は、「ｎ」の値を示す。
【0195】
図２３では、ケースＣに該当する波形のピーク部分に関した時間に基づくデータ拡張のケースが示されている。図２３は、図２１と同様に、時間の変更値「±ｎ」ミリ秒でデータ拡張されたデータを用いて生成された識別器の識別率を示している。「ｎ」が５、１０、１５、２０、２５、３０、３５、４０、４５及び５０である１０ケースでの識別器の識別率が、２０試行の脳波データをデータ拡張しないケースと比較して示されている。図２３の横軸の数値は、「ｎ」の値を示す。
【0196】
図２４では、ケースＤに該当する波形のピーク部分に関した振幅に基づくデータ拡張のケースが示されている。図２４は、上記の表３におけるデータ増加率３倍の振幅の変更値「１＋ｎ／１００」倍及び「１＋２ｎ／１００」倍でデータ拡張されたデータを用いて生成された識別器の識別率を示している。「ｎ」が５、１０、１５、２０、２５、３０、３５、４０、４５及び５０である１０ケースでの識別器の識別率が、２０試行の脳波データをデータ拡張しないケースと比較して示されている。図２４の横軸の数値は、「ｎ」の値を示す。
【0197】
図２１～図２４の全てにおいて、データ拡張されたデータを用いて生成された識別器の識別率は、２０試行の脳波データを用いて生成された識別器の識別率を上回る。図２１及び図２２において、時間の変更値及び振幅の変更値が大きい場合、識別率が低い傾向があるが、顕著ではない。図２３において、時間の変更値が大きい場合、識別率が低い傾向があるが、顕著ではない。図２４において、振幅の変更値が変化しても、識別率は、影響を受けておらず、全体的に、図２１～図２３の識別率よりも高い。
【0198】
上述の様々な実験及び解析結果から、データ生成装置１によってデータ拡張をしたデータに対して機械学習の識別器を構成した場合には、データ拡張をしない場合の識別器と比較して、識別精度を向上させることができる。特に、データ拡張前のデータ量が少ない場合に精度向上の効果が大きく、人を対象にした大量のデータ取得が困難な場合に特に有効である。
【0199】
また、データ拡張において、時間の変更値が、－２５０ミリ秒以上＋２５０ミリ秒以下の範囲内にある場合、データ拡張によりデータ量が増えたデータを用いて生成された識別器の性能は、データ量が増える前のデータを用いて生成された識別器に対して、同等以上の向上が見込める。また、データ拡張において、振幅の変更値が、－９０％以上＋９０％以下の範囲の変化率、つまり、０．１倍以上１．９倍以下の範囲内の変倍率である場合、データ拡張によりデータ量が増えたデータを用いて生成された識別器の性能は、データ量が増える前のデータを用いて生成された識別器に対して、同等以上の向上が見込める。また、－２５０ミリ秒以上＋２５０ミリ秒以下の範囲内の時間の変更値がデータ拡張に効果的であること、及び、０．１倍以上１．９倍以下の範囲内の振幅の変更値がデータ拡張に効果的であることは、定性的には、これまでの脳波の個人差の範囲等の研究結果からも、導き出すことができる。
【0200】
［その他］
以上、１つ又は複数の態様に係るデータ生成装置等について、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、１つ又は複数の態様の範囲内に含まれてもよい。
以上、１つ又は複数の態様に係るデータ生成装置等について、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、１つ又は複数の態様の範囲内に含まれてもよい。
【0201】
本明細書においては脳波データを対象にして、データ生成装置及び識別システム等の本開示の技術の有効性を説明したが、脳波データ以外でも事象関連の生体データを測定する場合には、本開示の技術は有効である。例えば、目の動きに関連した生体電位である眼電位データにおいて、眼球運動のスタートのタイミングを起点として、事象区間を設定することができ、さらに、潜時及び振幅に基づくデータ拡張が可能である。また、筋肉の動きに関連した生体電位である筋電データにおいても、筋肉の動き始め又は刺激提示をスタートのタイミング、つまり起点として、事象区間を設定することができる。そして、起点から電位差の最大値までの時間を潜時として利用することでデータ拡張が可能である。
【0202】
また、上述したように、本開示の技術は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ等の不揮発性の記録媒体を含む。
【0203】
例えば、上記実施の形態に含まれる各処理部は典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【0204】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【0205】
なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【0206】
また、上記構成要素の一部又は全部は、脱着可能なＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）カード又は単体のモジュールから構成されてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記のＬＳＩ又はシステムＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカード又はモジュールは、その機能を達成する。これらＩＣカード及びモジュールは、耐タンパ性を有するとしてもよい。
【0207】
本開示の方法は、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＣＰＵ、プロセッサ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。
【0208】
さらに、本開示の技術は、ソフトウェアプログラム又はソフトウェアプログラムからなるデジタル信号によって実現されてもよく、プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【0209】
また、上記で用いた序数、数量等の数字は、全て本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。また、構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。
【0210】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを１つの機能ブロックとして実現したり、１つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【産業上の利用可能性】
【0211】
本開示の技術は、生体信号等の生体データを多量に要する技術に広く適用可能である。
【符号の説明】
【0212】
１，２１ データ生成装置
１００ 生体データ計測システム
１０１ 生体信号計測部
１０２ 第一ラベルデータ取得部
１０３ オリジナルデータ蓄積部
１０４ 波形データ取得部
１０５ 時間ずれ演算部
１０６ 振幅演算部
１０７ 記憶部
１０８ 第二ラベルデータ取得部
１０９ データ処理部
１１０ データ蓄積部
１２１ ピーク検出部
１２２ ピーク強調演算部
２００ 識別システム
２０１ 識別器生成装置
２０２ 識別器蓄積部
２０３ 識別部
１００ 生体データ計測システム
１０１ 生体信号計測部
１０２ 第一ラベルデータ取得部
１０３ オリジナルデータ蓄積部
１０４ 波形データ取得部
１０５ 時間ずれ演算部
１０６ 振幅演算部
１０７ 記憶部
１０８ 第二ラベルデータ取得部
１０９ データ処理部
１１０ データ蓄積部
１２１ ピーク検出部
１２２ ピーク強調演算部
２００ 識別システム
２０１ 識別器生成装置
２０２ 識別器蓄積部
２０３ 識別部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図13】
【図14】
【図15A】
【図15B】
【図15C】
【図15D】
【図16A】
【図16B】
【図16C】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
