知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-01
(45)【発行日】2024-04-09
(54)【発明の名称】識別装置、識別方法及び記録媒体
(51)【国際特許分類】
G06N 20/00 20190101AFI20240402BHJP
【ＦＩ】
G06N20/00
【請求項の数】
9
(21)【出願番号】P 2022518529
(86)(22)【出願日】2020-04-30
(86)【国際出願番号】 JP2020018236
(87)【国際公開番号】W WO2021220450
(87)【国際公開日】2021-11-04
【審査請求日】2022-10-27
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100104765
【弁理士】
【氏名又は名称】江上 達夫
(74)【代理人】
【識別番号】100107331
【弁理士】
【氏名又は名称】中村 聡延
(74)【代理人】
【識別番号】100131015
【弁理士】
【氏名又は名称】三輪 浩誉
(72)【発明者】
【氏名】宮川 大輝
(72)【発明者】
【氏名】海老原 章記
【審査官】牛丸 太希
(56)【参考文献】
【文献】特開２０１９－１６４６１８（ＪＰ，Ａ）
【文献】国際公開第１９／０４９６８８（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１９／００９５７９９（ＵＳ，Ａ１）
【文献】Wang, W., et al.，Earliness-aware deep convolutional networks for early time series classification. [online]，arXiv，2016年11月14日，[検索日 2020.09.25], Internet: <URL:https://arxiv.org/pdf/1611.04578.pdf>
【文献】Russwurm, M., et al.，End-to-end learning for early classification of time series.[online]，arXiv，2019年01月30日，[検索日 2020.09.25], Internet: <URL:https://arxiv.org/pdf/1901.10681.pdf>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
(57)【特許請求の範囲】
【請求項1】
学習可能な学習モデルを用いて、入力データのクラスを識別する識別手段と、前記入力データのクラスの識別結果の正確さを評価するための第１指標値と前記入力データのクラスの識別に要する時間を評価するための第２指標値との間の関連性に基づく目的関数を用いて、前記学習モデルを更新する更新手段と
を備え、
前記目的関数は、前記第１及び第２指標値に夫々対応する二つの座標軸を含む座標平面内で前記関連性を示す曲線に基づく関数を含む
識別装置。
【請求項2】
前記目的関数は、前記曲線よりも下側の領域の面積に基づく関数を含む請求項１に記載の識別装置。
【請求項3】
前記第１及び第２指標値の夫々が、最小値がゼロとなり且つ最大値が１となるようにお正規化されている場合には、前記曲線よりも下側の領域は、前記曲線と、前記二つの座標軸のうちの前記第２指標値に対応する一の座標軸と、前記第２指標値＝１という数式で特定される直線とによって囲まれる領域である請求項２に記載の識別装置。
【請求項4】
前記目的関数は、目的関数をＬとし、且つ、最大値が１になるように正規化された前記面積をＳとすると、Ｌ＝（１－Ｓ）２という数式を用いて定義される請求項２又は３に記載の識別装置。
【請求項5】
前記更新手段は、前記面積が最大になるように、前記目的関数を用いて前記学習モデルを更新する請求項２から４のいずれか一項に記載の識別装置。
【請求項6】
前記学習モデルは、前記入力データが入力された場合に、前記入力データが所定クラスに属する確からしさを示す尤度を出力し、前記識別手段は、前記尤度と所定閾値との大小関係に基づいて、前記入力データのクラスを識別し、
前記更新手段は、（ｉ）互いに異なる複数の前記所定閾値を用いた前記識別手段の識別結果に基づいて、前記第１及び第２指標値を算出し、（ｉｉ）前記算出した第１及び第２指標値に基づいて、前記目的関数を算出し、（ｉｉｉ）前記算出した目的関数を用いて、前記学習モデルを更新する
請求項１から５のいずれか一項に記載の識別装置。
【請求項7】
前記入力データは、系統だって配列可能な複数の単位データを含む系列データを含み、前記学習モデルは、前記系列データが入力された場合に、前記系列データが所定クラスに属する確からしさを示す尤度を、前記複数の単位データに夫々対応して複数出力する
請求項１から６のいずれか一項に記載の識別装置。
【請求項8】
学習可能な学習モデルを用いて、入力データのクラスを識別することと、前記入力データのクラスの識別結果の正確さを評価するための第１指標値と前記入力データのクラスの識別に要する時間を評価するための第２指標値との間の関連性に基づく目的関数を用いて、前記学習モデルを更新することと
を含み、
前記目的関数は、前記第１及び第２指標値に夫々対応する二つの座標軸を含む座標平面内で前記関連性を示す曲線に基づく関数を含む
識別方法。
【請求項9】
コンピュータに識別方法を実行させるコンピュータプログラムであって、前記識別方法は、
学習可能な学習モデルを用いて、入力データのクラスを識別することと、
前記入力データのクラスの識別結果の正確さを評価するための第１指標値と前記入力データのクラスの識別に要する時間を評価するための第２指標値との間の関連性に基づく目的関数を用いて、前記学習モデルを更新することと
を含み、
前記目的関数は、前記第１及び第２指標値に夫々対応する二つの座標軸を含む座標平面内で前記関連性を示す曲線に基づく関数を含む
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、入力データのクラスを識別する識別装置、識別方法及び記録媒体の技術分野に関する。
【背景技術】
【0002】
学習可能な学習モデル（例えば、ニューラルネットワークに基づく学習モデル）を用いて入力データのクラスを識別する識別装置が様々な分野で用いられている。例えば、入力データが金融機関における取引の内容を示す取引データである場合には、学習モデルに入力された取引データに対応する取引が、正常な取引であるのか又は不審な取引であるのかを識別する識別装置が用いられている。
【0003】
このような識別装置は、入力データのクラスを精度よく且つ素早く識別することが望まれる。このため、識別装置が用いる学習モデルは、入力データのクラスの識別結果の精度（つまり、正確さ）の向上と入力データのクラスを識別するために要する時間の短縮とを満たすように学習される。例えば、非特許文献１には、入力データのクラスの識別結果の精度に関する損失関数と、入力データのクラスの識別に要する時間に関する損失関数との総和に基づく目的関数を用いて、学習モデルを学習する方法が記載されている。
【0004】
その他、本開示に関連する先行技術文献として、特許文献１から５及び非特許文献２があげられる。
【先行技術文献】
【特許文献】
【0005】
【文献】特表２０２０－５００３７７号公報
【文献】特開２０１７－２０８０４４号公報
【文献】特開２０１７－０４０６１６号公報
【文献】特開２０１６－１５６６３８号公報
【文献】特開２０１４－０７３１３４号公報
【非特許文献】
【0006】
【文献】Ｔｈｏｍａｓ Ｈａｒｔｖｉｇｓｅｎ ｅｔ ａｌ．、“Ａｄａｐｔｉｖｅ－Ｈａｌｔｉｎｇ Ｐｏｌｉｃｙ Ｎｅｔｏｗｒｋ ｆｏｒ Ｅａｒｌｙ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ”、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２５ｔｈ ＡＣＭ ＳＩＧＫＤＤ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ＆Ｄａｔａ Ｍｉｎｉｎｇ、２０１９年
【文献】Ｄｏｎ Ｋｕｒｉａｎ Ｄｅｎｎｉｓ ｅｔ ａｌ．、“Ｍｕｌｔｉｐｌｅ Ｉｎｓｔａｎｃｅ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｅｆｆｉｃｉｅｎｔ Ｓｅｑｕｅｎｔｉａｌ Ｄａｔａ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｎ Ｒｅｓｏｕｒｃｅ－ｃｏｎｓｔｒａｉｎｅｄ Ｄｅｖｉｃｅｓ”、Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ、２０１８年
【発明の概要】
【発明が解決しようとする課題】
【0007】
入力データの識別結果の精度と、入力データのクラスを識別するために要する時間の短縮とは、一般的にはトレードオフの関係にある。つまり、入力データのクラスの識別結果の精度の向上を優先しようとすれば、入力データのクラスを識別するために要する時間の短縮がある程度犠牲になる可能性がある。同様に、入力データのクラスを識別するために要する時間の短縮を優先しようとすれば、入力データのクラスの識別結果の精度の向上がある程度犠牲になる可能性がある。
【0008】
このようなトレードオフの関係が存在することを考慮すると、上述した非特許文献１に記載された目的関数は、入力データのクラスの識別結果の精度の向上と入力データのクラスを識別するために要する時間の短縮とを必ずしも両立させることができない可能性がある。具体的には、上述した非特許文献１に記載された目的関数は、入力データのクラスの識別結果の精度に関する損失関数（以降、“精度損失関数”と称する）と入力データのクラスの識別に要する時間に関する損失関数（以降、“時間損失関数”と称する）との総和に基づく目的関数である。つまり、上述した非特許文献１に記載された目的関数は、互いに別個独立に（言い換えれば、無関係に）算出される精度損失関数及び時間損失関数の単なる総和に基づく目的関数である。このため、非特許文献１に記載された目的関数は、精度損失関数及び時間損失関数の双方がバランスよく小さくなっている場合のみならず、精度損失関数が十分に小さくなっている一方で時間損失関数が相応に大きくなっている場合及び時間損失関数が十分に小さくなっている一方で精度損失関数が相応に大きくなっている場合の夫々においても、最小化されていると判定される可能性がある。その結果、入力データのクラスの識別結果の精度が十分に担保されている一方で、入力データのクラスを識別するために要する時間の短縮が十分でない可能性がある。つまり、入力データのクラスを識別するために要する時間を短縮する余地が十分に残っている可能性がある。同様に、入力データのクラスを識別するために要する時間が十分に短縮されている一方で、入力データのクラスの識別結果の精度が十分でない可能性がある。つまり、入力データのクラスの識別結果の精度を向上する余地が十分に残っている可能性がある。
【0009】
本開示は、上述した技術的問題を解決可能な識別装置、識別方法及び記録媒体を提供することを課題とする。一例として、本開示は、入力データのクラスの識別結果の精度の向上と入力データのクラスを識別するために要する時間の短縮とを両立可能な識別装置、識別方法及び記録媒体を提供することを課題とする。
【課題を解決するための手段】
【0010】
本開示の識別装置の一の態様は、学習可能な学習モデルを用いて、入力データのクラスを識別する識別手段と、前記入力データのクラスの識別結果の正確さを評価するための第１指標値と前記入力データのクラスの識別に要する時間を評価するための第２指標値との間の関連性に基づく目的関数を用いて、前記学習モデルを更新する更新手段とを備える。
【0011】
本開示の識別方法の一の態様は、学習可能な学習モデルを用いて、入力データのクラスを識別する識別工程と、前記入力データのクラスの識別結果の正確さを評価するための第１指標値と前記入力データのクラスの識別に要する時間を評価するための第２指標値との間の関連性に基づく目的関数を用いて、前記学習モデルを更新する更新工程とを含む。
【0012】
本開示の記録媒体の一の態様は、コンピュータに識別方法を実行させるコンピュータプログラムが記録された記録媒体であって、前記識別方法は、学習可能な学習モデルを用いて、入力データのクラスを識別する識別工程と、前記入力データのクラスの識別結果の正確さを評価するための第１指標値と前記入力データのクラスの識別に要する時間を評価するための第２指標値との間の関連性に基づく目的関数を用いて、前記学習モデルを更新する更新工程とを含む。
【図面の簡単な説明】
【0013】
【発明を実施するための形態】
【0014】
以下、図面を参照しながら、識別装置、識別方法及び記録媒体の実施形態について説明する。
【0015】
【0016】
図１に示すように、識別装置１は、演算装置２と、記憶装置３とを備えている。更に、識別装置１は、入力装置４と、出力装置５とを備えていてもよい。但し、識別装置１は、入力装置４及び出力装置５の少なくとも一方を備えていなくてもよい。演算装置２と、記憶装置３と、入力装置４と、出力装置５とは、データバス６を介して接続されていてもよい。
【0017】
演算装置２は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｅｃｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）の少なくとも一つを含む。演算装置２は、コンピュータプログラムを読み込む。例えば、演算装置２は、記憶装置３が記憶しているコンピュータプログラムを読み込んでもよい。例えば、演算装置２は、コンピュータで読み取り可能であって且つ一時的でない記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。演算装置２は、不図示の通信装置を介して、識別装置１の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、ダウンロードしてもよい又は読み込んでもよい）。演算装置２は、読み込んだコンピュータプログラムを実行する。その結果、演算装置２内には、識別装置１が行うべき動作を実行するための論理的な機能ブロックが実現される。つまり、演算装置２は、識別装置１が行うべき動作を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。
【0018】
本実施形態では、演算装置２は、識別装置１に入力される入力データのクラスを識別するための識別動作（言い換えれば、分類動作）を行う。例えば、演算装置２は、入力データが、第１のクラスに属するのか又は第１のクラスとは異なる第２のクラスに属するのかを識別する。
【0019】
入力データは、典型的には、系統だって配列可能な複数の単位データを含む系列データである。例えば、入力データは、時系列に配列可能な複数の単位データを含む時系列データであってもよい。但し、入力データは、必ずしも系列データでなくてもよい。このような系列データの一例として、利用者が金融機関で行った取引の内容を時系列で示す取引データがあげられる。この場合、演算装置２は、取引データが、正常な取引に関するクラスに属するのか又は不審な（言い換えれば、異常な、不正な又は詐欺に巻き込まれていると疑われる）取引に関するクラスに属するのかを識別してもよい。つまり、演算装置２は、取引データがその内容を示す取引が、正常な取引であるのか又は不審な取引であるのかを識別してもよい。
【0020】
取引データの一例として、所望の金額の現金をオンラインサイト経由で振り込み先に振り込むための一連の取引の内容を時系列で示すデータがあげられる。例えば、取引データは、（ｉ）第１の時刻において、利用者が金融機関のオンラインサイトにログインするためのログインＩＤを利用者が入力する処理の内容に関する単位データと、（ｉｉ）第１の時刻に続く第２の時刻において、オンラインサイトにログインするためのパスワードを利用者が入力する処理の内容に関する単位データと、（ｉｉｉ）第２の時刻に続く第３の時刻において、利用者が振込先を入力する処理の内容に関する単位データと、（ｉｖ）第２の時刻に続く第４の時刻において、利用者が振込金額を入力する処理の内容に関する単位データと、（ｖ）第３及び第４の時刻に続く第５の時刻において、振り込みを完了するために利用者が取引パスワードを入力する処理の内容に関する単位データとを含んでいてもよい。この場合、演算装置２は、複数の単位データを含む取引データに基づいて、取引データのクラスを識別する。例えば、演算装置２は、取引データその内容を示す振込取引が、正常な振込取引であるのか、又は、不審な（例えば、振込詐欺に巻き込まれていると疑われる）振込取引であるのかを識別してもよい。
【0021】
演算装置２は、学習可能な学習モデルＭを用いて、入力データのクラスを識別する。学習モデルＭは、例えば、入力データが入力されると、入力データが所定のクラスに属する確からしさを示す尤度（言い換えれば、入力データが所定のクラスに属する確率）を出力する学習モデルである。
【0022】
図１には、識別動作を実行するために演算装置２内に実現される論理的な機能ブロックの一例が示されている。図１に示すように、演算装置２内には、識別動作を実行するための論理的な機能ブロックとして、「識別手段」の一具体例である識別ユニット２１が実現される。識別ユニット２１は、学習モデルＭを用いて、入力データのクラスを識別する。識別ユニット２１は、論理的な機能ブロックとして、学習モデルＭの一部を構成する特徴量算出部２１１と、学習モデルＭの他の一部を構成する識別部２１２とを含む。特徴量算出部２１１は、入力データの特徴量を算出する。識別部２１２は、特徴量算出部２１１が算出した特徴量に基づいて、入力データのクラスを識別する。
【0023】
上述したように、入力データが系列データである場合には、識別ユニット２１は、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に基づく学習モデルＭを用いて、入力データのクラスを識別してもよい。つまり、識別ユニット２１は、再帰型ニューラルネットワークに基づく学習モデルＭを用いて、特徴量算出部２１１と識別部２１２とを実現してもよい。
【0024】
図２は、特徴量算出部２１１と識別部２１２とを実現するための再帰型ニューラルネットワークに基づく学習モデルＭの構成の一例を示している。図２に示すように、学習モデルＭは、入力層Ｉと、中間層Ｈと、出力層Ｏとを備えていてもよい。入力層Ｉ及び中間層Ｈは、特徴量算出部２１１を構成する。出力層Ｏは、識別部２１２を構成する。入力層Ｉは、Ｎ（尚、Ｎは２以上の整数）個の入力ノードＩＮ（具体的には、入力ノードＩＮ１からＩＮＮ）を備えていてもよい。中間層Ｎは、Ｎ個の中間ノードＨＮ（具体的には、中間ノードＨＮ１からＨＮＮ）を備えていてもよい。出力層Ｏは、Ｎ個の出力ノードＯＮ（具体的には、出力ノードＯＮ１からＯＮＮ）を備えていてもよい。
【0025】
Ｎ個の入力ノードＩＮ１からＩＮＮには、夫々、系列データに含まれるＮ個の単位データｘ（具体的には、単位データｘ１からｘＮ）が入力される。Ｎ個の入力ノードＩＮ１からＩＮＮに入力されたＮ個の単位データｘ１からｘＮは、夫々、Ｎ個の中間ノードＨＮ１からＨＮＮに入力される。尚、各中間ノードＨＮは、例えば、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）に準拠したノードであってもよいし、その他のネットワーク構造に準拠したノードであってもよい。Ｎ個の中間ノードＨＮ１からＨＮＮは、夫々、Ｎ個の単位データｘ１からｘＮの特徴量を、Ｎ個の出力ノードＯＮ１からＯＮＮに出力する。更に、各中間ノードＨＮｋ（但し、ｋは、１以上且つＮ以下の整数を示す変数）は、図２に示す横方向の矢印で示すように、各単位データｘｋの特徴量を、次段の中間ノードＨＮｋ＋１に入力する。このため、各中間ノードＨＮｋは、単位データｘｋと中間ノードＨＮｋ－１が出力する単位データｘｋ－１の特徴量とに基づいて、単位データｘ１からｘｋ－１の特徴量が反映された単位データｘｋの特徴量を出力ノードＯＮｋに出力する。このため、各中間ノードＨＮｋが出力する単位データｘｋの特徴量は、実質的には、単位データｘ１から単位データｘｋの特徴量を表しているとも言える。
【0026】
各出力ノードＯＮｋは、中間ノードＨＮｋが出力した単位データｘｋの特徴量に基づいて、系列データが所定のクラスに属する確からしさを示す尤度ｙｋを出力する。尤度ｙｋは、系列データに含まれるＮ個の単位データｘ１からｘＮのうちのｋ個の単位データｘ１からｘｋからに基づいて推定される、系列データが所定のクラスに属する確からしさを示す尤度に相当する。このように、Ｎ個の出力ノードＯＮ１からＯＮＮから構成される識別部２１２は、Ｎ個の単位データｘ１からｘＮに夫々対応するＮ個の尤度ｙ１からｙＮを順に出力する。
【0027】
識別部２１２は、Ｎ個の尤度ｙ１からｙＮに基づいて、系列データのクラスを識別する。具体的には、識別部２１２は、最初に出力される尤度ｙ１が所定の第１閾値Ｔ１（但し、Ｔ１は正の数）以上であるか否か及び所定の第２閾値Ｔ２（但し、Ｔ１は負の数）以下であるか否かを判定する。尚、第１閾値Ｔ１の絶対値と第２閾値Ｔ２の絶対値とは、典型的には同一であるが、異なっていてもよい。尤度ｙ１が第１閾値Ｔ１以上であると判定された場合には、識別部２１２は、系列データが第１のクラスに属すると判定する。例えば、系列データが上述した取引データである場合には、識別部２１２は、系列データが正常な取引に関するクラスに属すると判定する。尤度ｙ１が第２閾値Ｔ２以下であると判定された場合には、識別部２１２は、系列データが第２のクラスに属すると判定する。例えば、系列データが上述した取引データである場合には、識別部２１２は、系列データが不審な取引に関するクラスに属すると判定する。一方で、尤度ｙ１が第１閾値Ｔ１以上でなく且つ第２閾値Ｔ２以下でないと判定された場合には、識別部２１２は、尤度ｙ１に続けて出力される尤度ｙ２が第１閾値Ｔ１以上であるか否か及び第２閾値Ｔ２以下であるか否かを判定する。以降、同様の動作が、尤度ｙｋが第１閾値Ｔ１以上であると判定されるか、又は、第２閾値Ｔ２以下であると判定されるまで繰り返される。
【0028】
図３は、ｍ（但し、ｍは１以上且つＮ以下の整数）番目に出力された尤度ｙｍが第１値Ｔ１以上であると判定された場合の尤度ｙ１からｙｍの推移を示すグラフである。この場合、単位データｘｍが学習モデルＭに入力された時点で初めて、単位データｘｍに基づいて算出される尤度ｙｍが第１閾値Ｔ１以上であると判定される。つまり、単位データｘｍが学習モデルＭに入力された時点で、系列データのクラスの識別が完了する。言い換えれば、単位データｘｍが学習モデルＭに入力されるまでは、系列データのクラスの識別は完了しない。このため、変数ｍが小さい（つまり、学習モデルＭに入力された単位データｘの数が少ない）ほど、系列データのクラスの識別に要する時間が短いと言える。言い換えれば、変数ｍが大きい（つまり、学習モデルＭに入力された単位データｘの数が多い）ほど、系列データのクラスの識別に要する時間が長いと言える。
【0029】
再び図１において、識別装置１は更に、識別ユニット２１による入力データ（系列データ）のクラスの識別結果に基づいて、学習モデルＭを学習させる学習動作（言い換えれば、学習モデルＭを更新する更新動作）を行う。図１には、学習動作を実行するために演算装置２内に実現される論理的な機能ブロックの一例が示されている。図１に示すように、演算装置２内には、学習動作を実行するための論理的な機能ブロックとして、「更新手段」の一具体例である学習ユニット２２が実現される。学習ユニット２２は、曲線算出部２２１と、目的関数算出部２２２と、更新部２２３とを備える。尚、曲線算出部２２１と、目的関数算出部２２２と、更新部２２３との夫々の動作については、後に学習動作を説明する際に説明するため、ここでの説明を省略する。
【0030】
記憶装置３は、所望のデータを記憶可能である。例えば、記憶装置３は、演算装置２が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置３は、演算装置２がコンピュータプログラムを実行している際に演算装置２が一時的に使用するデータを一時的に記憶してもよい。記憶装置３は、識別装置１が長期的に保存するデータを記憶してもよい。尚、記憶装置３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。つまり、記憶装置３は、一時的でない記録媒体を含んでいてもよい。
【0031】
入力装置４は、識別装置１の外部からの識別装置１に対する情報の入力を受け付ける装置である。
【0032】
出力装置５は、識別装置１の外部に対して情報を出力する装置である。例えば、出力装置５は、識別装置１が行う識別動作及び学習動作の少なくとも一方に関する情報を出力してもよい。例えば、出力装置５は、学習動作によって学習された学習モデルＭに関する情報を出力してもよい。
【0033】
（２）識別装置１が行う学習動作の流れ
続いて、図４を参照しながら、本実施形態の識別装置１が行う学習動作の流れについて説明する。図４は、本実施形態の識別装置１が行う学習動作の流れを示すフローチャートである。
続いて、図４を参照しながら、本実施形態の識別装置１が行う学習動作の流れについて説明する。図４は、本実施形態の識別装置１が行う学習動作の流れを示すフローチャートである。
【0034】
図４に示すように、識別ユニット２１に、系列データと当該系列データのクラスの正解ラベル（つまり、正解クラス）とが関連付けられた学習データを複数含む学習データセットが入力される（ステップＳ１１）。その後、識別ユニット２１は、ステップＳ１１で入力された学習データセットに対して識別動作を行う（ステップＳ１２）。つまり、識別ユニット２１は、ステップＳ１１で入力された学習データセットに含まれる複数の系列データの夫々のクラスを識別する（ステップＳ１２）。具体的には、識別ユニット２１の特徴量算出部２１１は、各系列データに含まれる複数の単位データｘ１からｘＮの特徴量を算出する。識別ユニット２１の識別部２１２は、特徴量算出部２１１が算出した特徴量に基づいて、尤度ｙ１からｙＮを算出し、算出された尤度ｙ１からｙＮの夫々と第１閾値Ｔ１及び第２閾値Ｔ２の夫々とを比較することで、系列データのクラスを識別する。
【0035】
本実施形態では、識別部２１２は、尤度ｙ１からｙＮの夫々と第１閾値Ｔ１及び第２閾値Ｔ２の夫々とを比較することで系列データのクラスを識別する動作を、第１閾値Ｔ１及び第２閾値Ｔ２を変更しながら繰り返す。例えば、尤度ｙ１からｙＮの推移を示す図５に示すように、識別部２１２は、第１閾値Ｔ１＃１及び第２閾値Ｔ２＃１を夫々第１閾値Ｔ１及び第２閾値Ｔ２に設定し、尤度ｙ１からｙＮの夫々と第１閾値Ｔ１＃１及び第２閾値Ｔ２＃１の夫々とを比較することで、系列データのクラスを識別する。図５に示す例では、単位データｘｎが学習モデルＭに入力された時点で初めて、単位データｘｎに基づいて算出される尤度ｙｎが第１閾値Ｔ１＃１以上であると判定される。このため、識別部２１２は、単位データｘｎが学習モデルＭに入力されるまでに経過した時間を費やして、系列データのクラスが第１のクラスであると識別する。その後、例えば、識別部２１２は、第１閾値Ｔ１＃１とは異なる第１閾値Ｔ１＃２及び第２閾値Ｔ２＃１とは異なる第２閾値Ｔ２＃２を夫々第１閾値Ｔ１及び第２閾値Ｔ２に設定し、尤度ｙ１からｙＮの夫々と第１閾値Ｔ１＃２及び第２閾値Ｔ２＃２の夫々とを比較することで、系列データのクラスを識別する。図５に示す例では、単位データｘｎ－１が学習モデルＭに入力された時点で初めて、単位データｘｎ－１に基づいて算出される尤度ｙｎ－１が第１閾値Ｔ１＃２以上であると判定される。このため、識別部２１２は、単位データｘｎ－１が学習モデルＭに入力されるまでに経過した時間を費やして、系列データのクラスが第１のクラスであると識別する。
【0036】
その結果、識別ユニット２１は、ステップＳ１２における識別ユニット２１による識別動作の結果を示す識別結果情報２１３を、学習ユニット２２に対して出力する。識別結果情報２１３の一例が図６に示されている。図６に示すように、識別結果情報２１３は、学習データセットに含まれる複数の系列データの夫々のクラスの識別結果（識別クラス）と各系列データのクラスの識別を完了するために要した時間（識別時間）とが関連付けられたデータセット２１４を、第１閾値Ｔ１及び第２閾値Ｔ２の組み合わせである閾値セットの数だけ含む。尚、図６は、学習データセットに含まれる系列データの数がＭ（但し、Ｍは２以上の整数）であり且つ閾値セットの数がｉ（但し、ｉは２以上の整数）である場合に取得される識別結果情報２１３を示している。
【0037】
その後、学習ユニット２２は、識別結果情報２１３に基づいて、識別ユニット２１による系列データのクラスの識別精度（尚、識別精度を、“ｐｅｒｆｏｒｍａｎｃｅ”と称してもよい）が十分であるか否かを判定する（ステップＳ１３）。例えば、学習ユニット２２は、識別精度（つまり、系列データの識別結果の正確さ）を評価するための精度指標値が、所定の許容閾値を超えている場合に、識別精度が十分であると判定してもよい。この場合、学習ユニット２２は、識別結果情報２１３に含まれる識別クラスと、学習データセットに含まれる正解クラスとを比較することで、精度指標値を算出してもよい。精度指標値として、例えば、二値分類で用いられる任意の指標が用いられてもよい。二値分類で用いられる指標の一例として、例えば、正解率（ａｃｃｕｒａｃｙ）、平均正解率（ｂａｌａｎｃｅｄ ａｃｃｕｒａｃｙ）、適合率（ｐｒｅｃｉｓｉｏｎ）、再現率（ｒｅｃａｌｌ）、Ｆ値（Ｆ ｖａｌｕｅ）、インフォームドネス（ｉｎｆｏｒｍｅｄｎｅｓｓ）、マークドネス（ｍａｒｋｅｄｎｅｓｓ）、Ｇ平均（Ｇ ｍｅａｎ）及びマシューズ相関係数（Ｍａｔｔｈｅｗｓ ｃｏｒｒｅｌａｔｉｏｎ ｃｏｅｆｆｉｃｉｅｎｔ）うちの少なくとも一つがあげられる。この場合、精度指標値は、識別精度が高くなるほど大きな値になる。尚、図６に示すように、本実施形態では、識別結果情報２１３には、学習用データセットに含まれる複数の系列データの夫々の識別クラスのセットが、第１閾値Ｔ１及び第２閾値Ｔ２の組み合わせの数（つまり、閾値セットの数）だけ含まれている。この場合、学習ユニット２２は、一の閾値セットに対応する識別クラスのセットを用いて、精度指標値を算出してもよい。或いは、学習ユニット２２は、複数の閾値セットに対応する複数の精度指標値の平均値を算出してもよい。
【0038】
ステップＳ１３における判定の結果、識別精度が十分であると判定された場合には（ステップＳ１３：Ｙｅｓ）、学習モデルＭを用いて系列データのクラスを十分に高い精度で識別することができるほどに学習モデルＭが十分に学習されていると推定される。従って、この場合には、識別装置１は、図４に示す学習動作を終了する。
【0039】
他方で、ステップＳ１３における判定の結果、識別精度が十分でないと判定された場合には（ステップＳ１３：Ｎｏ）、識別装置１は、図４に示す学習動作を継続する。この場合、まず、学習ユニット２２の曲線算出部２２１は、識別結果情報２１３に基づいて、評価曲線ＰＥＣを算出する（ステップＳ１４）。評価曲線ＰＥＣは、上述した精度指標値と以下に説明する時間指標値との間の関連性を示す。具体的には、評価曲線ＰＥＣは、精度指標値と時間指標値との間の関連性を、精度指標値及び時間指標値に夫々対応する二つの座標軸によって規定される座標平面上で示す曲線である。時間指標値は、識別ユニット２１が系列データのクラスを識別するために要した時間（つまり、系列データのクラスの識別を完了する早さであり、Ｅａｒｌｉｎｅｓｓと称されてもよい）を評価するための指標値である。上述したように、評価結果情報２１３は、識別時間を含む。時間指標値は、この識別時間に基づいて定まる指標値であってもよい。例えば、時間指標値は、識別時間の平均値及び識別時間の中央値の少なくとも一方であってもよい。この場合、時間指標値は、識別時間が長くなるほど大きな値になる。
【0040】
以下、図７から図８を参照しながら、評価曲線ＰＥＣについて説明する。図７は、精度指標値及び時間指標値を示すテーブルである。図８は、図７に示す精度指標値及び時間指標値に基づいて算出される評価曲線ＰＥＣを示すグラフである。
【0041】
評価曲線ＰＥＣを算出するために、曲線算出部２２１は、まず、評価結果情報２１３に基づいて、精度指標値と時間指標値とを算出する。具体的には、上述したように、識別結果情報２１３には、学習用データセットに含まれる複数の系列データの識別クラスと識別時間のセットが、第１閾値Ｔ１及び第２閾値Ｔ２の組み合わせの数（つまり、閾値セットの数）だけ含まれている。この場合、曲線算出部２２１は、閾値セット毎に、精度指標値と時間指標値とを算出する。例えば、曲線算出部２２１は、第１閾値Ｔ１＃１及び第２閾値Ｔ２＃１から構成される第１の閾値セットに対応する識別クラスに基づいて、精度指標値（図７中の精度指標値ＡＣ＃１）を算出し、第１の閾値セットに対応する識別時間に基づいて、時間指標値（図７中の時間指標値ＴＭ＃１）を算出する。更に、曲線算出部２２１は、第１閾値Ｔ１＃２及び第２閾値Ｔ２＃２から構成される第２の閾値セットに対応する識別クラスに基づいて、精度指標値（図７中の精度指標値ＡＣ＃２）を算出し、第２の閾値セットに対応する識別時間に基づいて、時間指標値（図７中の時間指標値ＴＭ＃２）を算出する。以降、曲線算出部２２１は、全ての閾値セットを対象とする精度指標値及び時間指標値の算出が完了するまで、精度指標値及び時間指標値を算出する動作を繰り返す。その結果、図７に示すように、曲線算出部２２１は、精度指標値と時間指標値とを含む指標値セットを、閾値セットの数だけ算出する。この際、曲線算出部２２１が算出する精度指標値及び時間指標値の夫々は、最小値がゼロになり且つ最大値が１になるように正規化されていることが好ましい。
【0042】
その後、図８に示すように、曲線算出部２２１は、精度指標値及び時間指標値に夫々対応する二つの座標軸によって規定される座標平面上において、算出した指標値セットに含まれる精度指標値及び時間指標値に対応する座標点Ｃをプロットする。その後、曲線算出部２２１は、プロットした座標点Ｃを結ぶ曲線を、評価曲線ＰＥＣとして算出する。このような評価曲線ＰＥＣは、典型的には、時間指標値が大きくなるほど精度評価値が大きくなることを示す曲線となる。例えば、縦軸及び横軸が夫々精度指標値及び時間指標値に対応する場合には、評価曲線ＰＥＣは、座標平面上において右肩上がりの曲線となる。
【0043】
再び図４において、その後、目的関数算出部２２２は、ステップＳ１４で算出された評価曲線ＰＥＣに基づいて、学習モデルＧの学習で用いる目的関数Ｌを算出する（ステップＳ１５）。具体的には、目的関数算出部２２２は、評価曲線ＰＥＣを示すグラフである図９に示すように、評価曲線ＰＥＣよりも下側の領域ＡＵＣ（Ａｒｅａ Ｕｎｄｅｒ Ｃｕｒｖｅ）の面積Ｓに基づく目的関数Ｌを算出する。つまり、目的関数算出部２２２は、評価曲線ＰＥＣと二つの座標軸とによって囲まれる領域ＡＵＣの面積Ｓに基づく目的関数Ｌを算出する。より具体的には、上述したように最小値がゼロになり且つ最大値が１になるように精度指標値及び時間指標値の夫々が正規化されているため、目的関数算出部２２２は、時間指標値が最小値である０から最大値である１となり且つ精度指標値が最小値である０から最大値である１となる範囲内において、評価曲線ＰＥＣと二つの座標軸とによって囲まれる領域ＡＵＣ（図１１に示す例では、評価曲線ＰＥＣと時間指標値に対応する横軸と時間指標値＝１という数式で特定される直線とによって囲まれる領域ＡＵＣ）の面積Ｓに基づく目的関数Ｌを算出する。一例として、上述したように最小値がゼロになり且つ最大値が１になるように精度指標値及び時間指標値の夫々が正規化されている場合には、領域ＡＵＣの面積もまた、最小値がゼロになり且つ最大値が１になるように正規化されていることになる。このように領域ＡＵＣの面積Ｓが規格化されている場合には、目的関数算出部２２２は、Ｌ＝（１－Ｓ）２という数式を用いて、目的関数Ｌを算出してもよい。
【0044】
尚、評価曲線ＰＥＣは、上述したように、精度指標値と時間指標値との関連性を示している。このため、評価曲線ＰＥＣに基づく目的関数Ｌは、精度指標値と時間指標値との関連性に基づく目的関数であるとみなしてもよい。
【0045】
その後、更新部２２３は、ステップＳ１５で算出された目的関数Ｌに基づいて、学習モデルＧのパラメータを更新する（ステップＳ１６）。本実施形態では、更新部２２３は、評価曲線ＰＥＣよりも下側の領域ＡＵＣの面積Ｓが最大になるように、学習モデルＧのパラメータを更新する。上述したＬ＝（１－Ｓ）２という数式を用いて目的関数Ｌが算出される場合には、更新部２２３は、目的関数Ｌが最小になるように、学習モデルＧのパラメータを更新する。この際、更新部２２３は、誤差逆伝搬法等の既知の学習アルゴリズムを用いて、学習モデルＧのパラメータを更新してもよい。ここで、目的関数Ｌを最小化することは、評価曲線ＰＥＣの立ち上がりにおける傾きを急にすることを目的としているとみなしてもよい。評価曲線ＰＥＣの立ち上がりが急になるほど、精度指標値がある閾値（例えば、後述の図１０に示す許容閾値）に達するまでに要する時間が短くなる。したがって、識別装置１は、入力された系列データの識別結果を高速で出力することが可能になる。
【0046】
その後、識別装置１は、ステップＳ１３において識別精度が十分であると判定されるまで、ステップＳ１１以降の動作を繰り返す。つまり、識別ユニット２１に、新たな学習データセットが入力される（ステップＳ１１）。識別ユニット２１は、ステップＳ１７でパラメータが更新された学習モデルＭを用いて、ステップＳ１１で新たに入力された学習データセットに対して識別動作を行う（ステップＳ１２）。曲線算出部２２１は、更新された学習モデルＭを用いたクラスの識別結果を示す識別結果情報２１３に基づいて、評価曲線ＰＥＣを算出し直す（ステップＳ１４）。目的関数算出部２２２は、算出し直された評価曲線ＰＥＣに基づいて、目的関数Ｌを算出し直す（ステップＳ１５）。更新部２２３は、算出し直された目的関数Ｌに基づいて、学習モデルＧのパラメータを更新する（ステップＳ１６）。
【0047】
（３）識別装置１の技術的効果
以上説明したように、本実施形態の識別装置１は、評価曲線ＰＥＣに基づく目的関数Ｌを用いて、学習モデルＧのパラメータの更新（つまり、学習モデルＭの学習）を行う。具体的には、識別装置１は、評価曲線ＰＥＣよりも下側の領域ＡＵＣの面積Ｓが最大になるように、学習モデルＧのパラメータの更新（つまり、学習モデルＭの学習）を行う。ここで、学習動作が開始される前の評価曲線ＰＥＣと学習動作が完了した後の評価曲線ＰＥＣとを示すグラフである図１０に示すように、領域ＡＵＣの面積Ｓが大きくなるように学習モデルＭの学習が行われると、座標平面上で評価曲線ＰＥＣが左上方にシフトする。座標平面上で評価曲線ＰＥＣが左上方にシフトすると、許容閾値を超える精度評価値を実現する（つまり、識別精度が十分になる状態を実現する）ための時間指標値の最小値が小さくなる。例えば、図１０に示す例では、学習動作が開始される前には、許容閾値を超える精度評価値を実現するための時間指標値の最小値が値ｔ１である一方で、学習動作が完了した後には、許容閾値を超える精度評価値を実現するための時間指標値の最小値が値ｔ１よりも小さい値ｔ２になっている。このように許容閾値を超える精度評価値を実現するための時間指標値の最小値が小さくなることは、許容閾値を超える識別精度で入力データのクラスを識別するために要する時間が短くなることを意味する。従って、本実施形態では、識別装置１は、入力データのクラスの識別精度（つまり、クラスの識別結果の正確さ）の向上と入力データのクラスを識別するために要する識別時間の短縮とを両立させることができる。
以上説明したように、本実施形態の識別装置１は、評価曲線ＰＥＣに基づく目的関数Ｌを用いて、学習モデルＧのパラメータの更新（つまり、学習モデルＭの学習）を行う。具体的には、識別装置１は、評価曲線ＰＥＣよりも下側の領域ＡＵＣの面積Ｓが最大になるように、学習モデルＧのパラメータの更新（つまり、学習モデルＭの学習）を行う。ここで、学習動作が開始される前の評価曲線ＰＥＣと学習動作が完了した後の評価曲線ＰＥＣとを示すグラフである図１０に示すように、領域ＡＵＣの面積Ｓが大きくなるように学習モデルＭの学習が行われると、座標平面上で評価曲線ＰＥＣが左上方にシフトする。座標平面上で評価曲線ＰＥＣが左上方にシフトすると、許容閾値を超える精度評価値を実現する（つまり、識別精度が十分になる状態を実現する）ための時間指標値の最小値が小さくなる。例えば、図１０に示す例では、学習動作が開始される前には、許容閾値を超える精度評価値を実現するための時間指標値の最小値が値ｔ１である一方で、学習動作が完了した後には、許容閾値を超える精度評価値を実現するための時間指標値の最小値が値ｔ１よりも小さい値ｔ２になっている。このように許容閾値を超える精度評価値を実現するための時間指標値の最小値が小さくなることは、許容閾値を超える識別精度で入力データのクラスを識別するために要する時間が短くなることを意味する。従って、本実施形態では、識別装置１は、入力データのクラスの識別精度（つまり、クラスの識別結果の正確さ）の向上と入力データのクラスを識別するために要する識別時間の短縮とを両立させることができる。
【0048】
このように識別精度と識別時間の短縮とを両立させることができるという技術的効果が享受できる理由の一つは、精度指標値と時間指標値との間の関連性（つまり、関係）に基づく目的関数Ｌ（具体的には、評価曲線ＰＥＣに基づく目的関数Ｌ）が用いられていることにある。以下、このような技術的効果が享受できる理由について、精度指標値に基づく一方で時間指標値が考慮されていない損失関数（以降、“精度損失関数”と称する）と、時間指標値に基づく一方で精度指標値が考慮されていない損失関数（以降、“時間損失関数”と称する）との総和が目的関数として用いられる比較例を参照しながら説明する。具体的には、比較例における目的関数は、精度損失関数及び時間損失関数の双方がバランスよく小さくなっている場合のみならず、精度損失関数が十分に小さくなっている一方で時間損失関数が許容できないほどに大きくなっている場合及び時間損失関数が十分に小さくなっている一方で精度損失関数が許容できないほどに大きくなっている場合の夫々においても、最小化されていると判定される可能性がある。その結果、識別精度が十分に担保されている一方で、識別時間の短縮が十分でない（つまり、識別時間の短縮の余地が十分に残っている）可能性がある。同様に、識別時間が十分に短縮されている一方で、識別精度が十分でない（つまり、識別精度の向上の余地が十分に残っている）可能性がある。しかるに、本実施形態では、精度指標値と時間指標値との間の関連性に基づく目的関数Ｌが用いられている。このため、識別装置１は、このような目的関数Ｌを用いることで、学習モデルＭの学習によって時間指標値が変化した場合に、時間指標値の変化に伴って精度指標値がどのように変化するかを実質的に考慮しながら、学習モデルＭの学習を行うことができる。同様に、識別装置１は、このような目的関数Ｌを用いることで、学習モデルＭの学習によって精度指標値が変化した場合に、精度指標値の変化に伴って時間指標値がどのように変化するかを実質的に考慮しながら、学習モデルＭの学習を行うことができる。これは、目的関数Ｌが、精度指標値と時間指標値との間の関連性（つまり、精度指標値及び時間指標値のいずれか一方が変化した場合に、精度指標値及び時間指標値のいずれか他方がどのように変化するかを示す関連性）に基づく目的関数だからである。従って、本実施形態では、比較例と比較して、学習動作が完了した時点で、識別精度が十分に担保されている一方で識別時間の短縮が十分でない状況及び識別時間が十分に短縮されている一方で識別精度が十分でない状況が生ずる可能性は相対的に低い。その結果、識別装置１は、入力データのクラスの識別精度（つまり、クラスの識別結果の正確さ）の向上と入力データのクラスを識別するために要する識別時間の短縮とを両立させることができる。
【0049】
（４）変形例
上述した説明では、学習ユニット２２は、評価曲線ＰＥＣよりも下側の領域ＡＵＣの面積Ｓに基づく目的関数Ｌを用いて、学習モデルＭの学習を行っている。しかしながら、学習ユニット２２は、領域ＡＵＣの面積Ｓに基づく目的関数Ｌに加えて又は代えて、評価曲線ＰＥＣに基づいて定まる任意の目的関数Ｌを用いて、学習モデルＭの学習を行ってもよい。例えば、評価曲線ＰＥＣを示すグラフである図１１に示すように、学習ユニット２２は、評価曲線ＰＥＣ上の少なくとも一つのサンプル点Ｐの位置に基づく目的関数Ｌを用いて、学習モデルＭの学習を行ってもよい。この場合、学習ユニット２２は、評価曲線ＰＥＣ上の少なくとも一つのサンプル点Ｐが座標平面上で左上方に最大限シフトするように、換言すれば、評価曲線ＰＥＣの立ち上がり部分（具体的には、図１１における時間指標値が最も小さい領域における曲線部分）に設定された特定の点Ｐにおける評価曲線ＰＥＣの傾きを最大化するように、少なくとも一つのサンプル点Ｐの位置に基づく目的関数Ｌを用いて、学習モデルＭの学習を行ってもよい。ここで、学習ユニット２２は、座標平面上で評価曲線ＰＥＣを左上方に効率的にシフトさせるために、時間指標値が相対的に小さいサンプル点Ｐの精度指標値の向上を、時間指標値が相対的に大きいサンプル点Ｐの精度指標値の向上よりも優先させてもよい。つまり、サンプル点Ｐに対応する時間指標値が小さいほど当該サンプル点Ｐの重みが大きくなるように、少なくとも一つのサンプル点Ｐの位置に基づく目的関数Ｌを算出してもよい。
上述した説明では、学習ユニット２２は、評価曲線ＰＥＣよりも下側の領域ＡＵＣの面積Ｓに基づく目的関数Ｌを用いて、学習モデルＭの学習を行っている。しかしながら、学習ユニット２２は、領域ＡＵＣの面積Ｓに基づく目的関数Ｌに加えて又は代えて、評価曲線ＰＥＣに基づいて定まる任意の目的関数Ｌを用いて、学習モデルＭの学習を行ってもよい。例えば、評価曲線ＰＥＣを示すグラフである図１１に示すように、学習ユニット２２は、評価曲線ＰＥＣ上の少なくとも一つのサンプル点Ｐの位置に基づく目的関数Ｌを用いて、学習モデルＭの学習を行ってもよい。この場合、学習ユニット２２は、評価曲線ＰＥＣ上の少なくとも一つのサンプル点Ｐが座標平面上で左上方に最大限シフトするように、換言すれば、評価曲線ＰＥＣの立ち上がり部分（具体的には、図１１における時間指標値が最も小さい領域における曲線部分）に設定された特定の点Ｐにおける評価曲線ＰＥＣの傾きを最大化するように、少なくとも一つのサンプル点Ｐの位置に基づく目的関数Ｌを用いて、学習モデルＭの学習を行ってもよい。ここで、学習ユニット２２は、座標平面上で評価曲線ＰＥＣを左上方に効率的にシフトさせるために、時間指標値が相対的に小さいサンプル点Ｐの精度指標値の向上を、時間指標値が相対的に大きいサンプル点Ｐの精度指標値の向上よりも優先させてもよい。つまり、サンプル点Ｐに対応する時間指標値が小さいほど当該サンプル点Ｐの重みが大きくなるように、少なくとも一つのサンプル点Ｐの位置に基づく目的関数Ｌを算出してもよい。
【0050】
或いは、学習ユニット２２は、評価曲線ＰＥＣに基づく目的関数Ｌに加えて又は代えて、精度指標値と時間指標値との間の関連性に基づく任意の目的関数Ｌを用いて、学習モデルＭの学習を行ってもよい。
【0051】
上述した説明では、学習ユニット２２は、図４のステップＳ１３において、精度指標値に基づいて、識別ユニット２１による系列データのクラスの識別精度が十分であるか否かを判定している。しかしながら、学習ユニット２２は、評価曲線ＰＥＣよりも下側の領域ＡＵＣに基づいて、識別ユニット２１による系列データのクラスの識別精度が十分であるか否かを判定してもよい。例えば、学習ユニット２２は、評価曲線ＰＥＣよりも下側の領域ＡＵＣの面積Ｓが許容面積よりも大きい場合に、識別ユニット２１による系列データのクラスの識別精度が十分であると判定してもよい。
【0052】
上述した説明では、識別装置１は、利用者が金融機関で行った取引の内容を時系列で示す取引データに基づいて、取引データがその内容を示す取引が、正常な取引であるのか又は不審な取引であるのかを識別している。しかしながら、識別装置１の用途が取引データのクラスの識別に限定されることはない。例えば、識別装置１は、撮像装置に向かって進んでいる撮影対象を連続的に撮影することで得られる複数の画像を複数の単位データとして含む時系列データに基づいて、撮影対象が生体（たとえな、人間）であるのか又は生体でない人工物であるのかを識別してもよい。つまり、識別装置１は、いわゆる生体検知（言い換えれば、なりすまし検知）を行ってもよい。
【0053】
本開示は、請求の範囲及び明細書全体から読み取るこのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う識別装置、識別方法、コンピュータプログラム及び記録媒体もまた本開示の技術思想に含まれる。
【符号の説明】
【0054】
１ 識別装置
２ 演算装置
２１ 識別ユニット
２１１ 特徴量算出部
２１２ 識別部
２２ 学習ユニット
２２１ 曲線算出部
２２２ 目的関数算出部
２２３ 更新部
２ 演算装置
２１ 識別ユニット
２１１ 特徴量算出部
２１２ 識別部
２２ 学習ユニット
２２１ 曲線算出部
２２２ 目的関数算出部
２２３ 更新部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】