(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-11
(45)【発行日】2023-12-19
(54)【発明の名称】学習装置、学習方法およびプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20231212BHJP
【ＦＩ】
G06N20/00
【請求項の数】
5
(21)【出願番号】P 2022522121
(86)(22)【出願日】2020-05-11
(86)【国際出願番号】 JP2020018889
(87)【国際公開番号】W WO2021229663
(87)【国際公開日】2021-11-18
【審査請求日】2022-11-01
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100106909
【弁理士】
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100134544
【弁理士】
【氏名又は名称】森 隆一郎
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100162868
【弁理士】
【氏名又は名称】伊藤 英輔
(72)【発明者】
【氏名】海老原 章記
(72)【発明者】
【氏名】宮川 大輝
【審査官】坂庭 剛史
(56)【参考文献】
【文献】YAO, Hengshuai et al.，"Negative Log Likelihood Ratio Loss for Deep Neural Network Classification"，arxiv [online]，2018年04月，［2023年10月26日検索］，インターネット＜ＵＲＬ：https://arxiv.org/abs/1804.10690v1＞，1804.10690v1
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０２－ ３／１０
Ｇ０６Ｎ ２０／００－９９／００
(57)【特許請求の範囲】
【請求項1】
分類対象が第１クラスに属する尤度と、前記分類対象が第２クラスに属する尤度との比の対数である対数尤度比を、値域が有限である関数に入力して得られる関数値と、前記分類対象のクラス分類の正解に紐付けられる定数との差の大きさが小さいほど損失が小さく算出される損失関数を用いて、前記分類対象のクラス分類の学習を行うクラス分類学習部を備える学習装置。
【請求項2】
前記クラス分類学習部は、分類対象に関する系列データと、前記系列データ毎に前記分類対象のクラス分類の正解を示す情報とを含む学習データを用いて、前記系列データの要素に基づく場合の前記損失関数の値と、前記正解を示す情報とを用いて前記分類対象のクラス分類の学習を行う、請求項１に記載の学習装置。
【請求項3】
前記クラス分類学習部は、前記系列データの複数の要素のうち一部の要素に基づく場合の前記損失関数の値と、前記正解を示す情報とを用いて前記分類対象のクラス分類の学習を行う、請求項２に記載の学習装置。
【請求項4】
分類対象が第１クラスに属する尤度と、前記分類対象が第２クラスに属する尤度との比の対数である対数尤度比を、値域が有限である関数に入力して得られる関数値と、前記分類対象のクラス分類の正解に紐付けられる定数との差の大きさが小さいほど損失が小さく算出される損失関数を用いて、前記分類対象のクラス分類の学習を行うことを含む学習方法。
【請求項5】
コンピュータに、分類対象が第１クラスに属する尤度と、前記分類対象が第２クラスに属する尤度との比の対数である対数尤度比を、値域が有限である関数に入力して得られる関数値と、前記分類対象のクラス分類の正解に紐付けられる定数との差の大きさが小さいほど損失が小さく算出される損失関数を用いて、前記分類対象のクラス分類の学習を行うこと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習装置、学習方法およびプログラムに関する。
【背景技術】
【0002】
確率密度を推定するための技術が知られている。
例えば、特許文献１には、顔画像から年齢を推定する場合を例に、ＫＬＩＥＰと呼ばれる確率密度推定方法を用いて、評価環境で得られたテストデータの確率密度関数と、モデル化した重要度関数を用いて推定したテストデータの確率密度関数推定値との違いを最小化するように、重要度関数のモデルを求めることが記載されている。
例えば、特許文献１には、顔画像から年齢を推定する場合を例に、ＫＬＩＥＰと呼ばれる確率密度推定方法を用いて、評価環境で得られたテストデータの確率密度関数と、モデル化した重要度関数を用いて推定したテストデータの確率密度関数推定値との違いを最小化するように、重要度関数のモデルを求めることが記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】日本国特開２０１１－１４１７４０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
クラス分類を精度よく行う観点から、クラス分類の機械学習に確率密度を推定するための技術を反映させられることが好ましい。
【0005】
本発明の目的の一例は、上述の課題を解決することのできる学習装置、学習方法およびプログラムを提供することである。
【課題を解決するための手段】
【0006】
本発明の第１の態様によれば、学習装置は、分類対象が第１クラスに属する尤度と、前記分類対象が第２クラスに属する尤度との比の対数である対数尤度比を、値域が有限である関数に入力して得られる関数値と、前記分類対象のクラス分類の正解に紐付けられる定数との差の大きさが小さいほど損失が小さく算出される損失関数を用いて、前記分類対象のクラス分類の学習を行うクラス分類学習部を備える。
【0007】
本発明の第２の態様によれば、学習方法は、分類対象が第１クラスに属する尤度と、前記分類対象が第２クラスに属する尤度との比の対数である対数尤度比を、値域が有限である関数に入力して得られる関数値と、前記分類対象のクラス分類の正解に紐付けられる定数との差の大きさが小さいほど損失が小さく算出される損失関数を用いて、前記分類対象のクラス分類の学習を行うことを含む。
【0008】
本発明の第３の態様によれば、プログラムは、コンピュータに、分類対象が第１クラスに属する尤度と、前記分類対象が第２クラスに属する尤度との比の対数である対数尤度比を、値域が有限である関数に入力して得られる関数値と、前記分類対象のクラス分類の正解に紐付けられる定数との差の大きさが小さいほど損失が小さく算出される損失関数を用いて、前記分類対象のクラス分類の学習を行うことを実行させるためのプログラムである。
【発明の効果】
【0009】
上記した学習装置、学習方法および記録媒体によれば、クラス分類の機械学習に確率密度を推定するための技術を反映させられる。
【図面の簡単な説明】
【0010】
【図1】第一実施形態に係る判定装置の機能構成を示す概略ブロック図である。
【図2】第一実施形態に係る統合スコアの閾値の第一例を示す図である。
【図3】第一実施形態に係る統合スコアの閾値の第二例を示す図である。
【図4】第一実施形態に係る統合スコアの閾値の第三例を示す図である。
【図5】第一実施形態に係る統合スコアの遷移の例を示す図である。
【図6】第一実施形態に係る信頼度学習部による信頼度の算出方法の学習の例を示す図である。
【図7】第二実施形態に係る判定装置の機能構成の例を示す概略ブロック図である。
【図8】第二実施形態に係る判定装置が統合スコアの閾値を動的に変化させて２クラス分類を行う処理手順の例を示すフローチャートである。
【図9】第三実施形態に係る判定装置の機能構成の例を示す概略ブロック図である。
【図10】第三実施形態に係る判定装置が学習データを加工する処理手順の例を示すフローチャートである。
【図11】第三実施形態に係る判定装置が２クラス分類を行う処理手順の例を示すフローチャートである。
【図12】第四実施形態に係る判定装置の機能構成の例を示す概略ブロック図である。
【図13】第四実施形態に係る判定装置が分類対象の２クラス分類を行う処理手順の例を示すフローチャートである。
【図14】第五実施形態に係る判定装置の機能構成の例を示す概略ブロック図である。
【図15】第六実施形態に係る判定装置の機能構成の例を示す概略ブロック図である。
【図16】第六実施形態に係る判定装置が対象画像の加工の有無を判定する処理手順の例を示すフローチャートである。
【図17】第七実施形態に係る判定装置の機能構成の例を示す概略ブロック図である。
【図18】第八実施形態に係る学習装置の構成例を示す図である。
【図19】第九実施形態に係る学習方法における処理手順の例を示す図である。
【図20】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0012】
＜第一実施形態＞
図１は、第一実施形態に係る判定装置の機能構成を示す概略ブロック図である。図１に示す構成で、判定装置１００は、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１７０と、制御部１８０とを備える。制御部１８０は、取得部１８１と、スコア算出部１８２と、閾値決定部１８６と、クラス判定部１８７と、クラス分類学習部１８８と、学習データ加工部１８９と、信頼度算出部１９０と、信頼度学習部１９１と、信頼度評価部１９２と、残り時間推定部１９３とを備える。スコア算出部１８２は、特徴量算出部１８３と、個別スコア算出部１８４と、統合スコア算出部１８５とを備える。
図１は、第一実施形態に係る判定装置の機能構成を示す概略ブロック図である。図１に示す構成で、判定装置１００は、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１７０と、制御部１８０とを備える。制御部１８０は、取得部１８１と、スコア算出部１８２と、閾値決定部１８６と、クラス判定部１８７と、クラス分類学習部１８８と、学習データ加工部１８９と、信頼度算出部１９０と、信頼度学習部１９１と、信頼度評価部１９２と、残り時間推定部１９３とを備える。スコア算出部１８２は、特徴量算出部１８３と、個別スコア算出部１８４と、統合スコア算出部１８５とを備える。
【0013】
判定装置１００は、分類対象に関する系列データの要素を逐次的に取得して、分類対象を２クラス分類する。判定装置１００は、この２クラス分類によって、分類対象に関する判定を行う。例えば、判定装置１００が、動画像に映る人物が顔認証を妨げるための偽装を行っているか否かを判定する場合、分類対象の動画像を偽装ありのクラスまたは偽装無しのクラスの何れかに分類するようにしてもよい。あるいは、判定装置１００が、分類対象の画像が加工されているか否かを判定する場合、分類対象の画像を加工ありのクラスまたは加工無しのクラスの何れかに分類するようにしてもよい。
【0014】
また、判定装置１００が、分類対象が何れのクラスに分類されるか不明との判定結果を選択可能であってもよい。分類対象が何れのクラスに分類されるか不明であることをクラス未定とも称する。
判定装置１００は、例えばパソコン（Personal Computer；ＰＣ）またはワークステーション（Workstation）等のコンピュータを用いて構成される。
判定装置１００は、例えばパソコン（Personal Computer；ＰＣ）またはワークステーション（Workstation）等のコンピュータを用いて構成される。
【0015】
ここでいう系列データは、順番付け可能な複数の要素を含むデータである。判定装置１００が扱う分類対象および時系列データは特定のものに限定されない。要素毎に分類対象を２クラス分類可能な、いろいろな分類対象および系列データを、判定装置１００が扱う対象とすることができる。
【0016】
ここでの系列データは、時系列データであってもよいし、非時系列データであってもよい。時系列データの例として、動画像データ、音声データ等が挙げられる。非時系列データの例として、複数の箇所からサンプルした植生データ、製品の複数箇所の検査データ、生体認証用の複数の生体データ等が挙げられる。
【0017】
系列データが動画像データである場合、系列データに含まれる複数の要素は、動画像のフレームであってもよい。系列データが製品の複数箇所の検査データである場合、系列データに含まれる複数の要素は、製品の各箇所の検査データであってもよい。ただし、判定装置１００が扱う対象とする系列データおよび要素は、これらに限定されない。
【0018】
系列データが製品の複数箇所の検査データである場合、判定装置１００による２クラス分類のクラスは、製品が良品であることを示すクラス、および、製品が不良品であることを示すクラスであってもよい。系列データが生体認証用の複数の生体データである場合、判定装置１００による２クラス分類のクラスは、認証対象者が対象者と同一人物であることを示すクラス、および、認証対象者が対象者と同一人物でないことを示すクラスであってもよい。
【0019】
判定装置１００は、系列データの要素を取得する毎に、取得済みの要素に基づいて２クラス分類を行う。判定装置１００が、２クラス分類に用いる要素の個数が増加することで、２クラス分類の精度が向上することが期待される。
判定装置１００は、要素を取得する毎の２クラス分類を、所定の終了条件が成立するまで繰り返し、終了条件が成立したときの２クラス分類の判定結果を、２クラス分類の最終的な判定結果として採用する。
特に明示する必要がある場合は、最終的な判定結果を最終判定結果と称し、最終判定結果以外の判定結果を中間判定結果と称して、最終判定結果と区別する。
判定装置１００は、要素を取得する毎の２クラス分類を、所定の終了条件が成立するまで繰り返し、終了条件が成立したときの２クラス分類の判定結果を、２クラス分類の最終的な判定結果として採用する。
特に明示する必要がある場合は、最終的な判定結果を最終判定結果と称し、最終判定結果以外の判定結果を中間判定結果と称して、最終判定結果と区別する。
【0020】
以下では、判定装置１００が、２クラス分類の判定結果として２つのクラスのうち判定対象が属するクラスを決定したときに、終了条件が成立したとされる場合を例に説明する。したがって、判定装置１００は、２クラス分類の中間判定結果を、クラス未定に決定する。
【0021】
最終判定結果がクラス未定となり得るか否かは、終了条件による。判定装置１００が、２クラス分類の判定結果として２つのクラスのうち判定対象が属するクラスを決定することのみが終了条件となっている場合、判定装置１００は、最終判定結果として必ず、２つのクラスのうち判定対象が属するクラスを決定する。一方、例えば、「判定装置１００が２クラス分類を所定回数以上行った」ことなど、判定装置１００が２クラス分類の判定結果として２つのクラスのうち判定対象が属するクラスを決定すること以外にも終了条件が成立する場合があるときは、判定装置１００は、最終判定結果をクラス未定に決定することがある。この場合、分類対象が第３クラスに属するものとしてもよい。
【0022】
通信部１１０は、他の装置と通信を行う。例えば、系列データの要素が動画像のフレームである場合、通信部１１０が、動画像を撮影する装置からフレーム毎の画像を画像データにて受信するようにしてもよい。あるいは、判定装置１００が画像に対する加工の有無を判定する場合、通信部１１０が、判定対象の画像を画像データにて受信するようにしてもよい。
【0023】
表示部１２０は、例えば液晶パネルまたはＬＥＤ（Light Emitting Diode、発光ダイオード）等の表示画面を備え、各種画像を表示する。あるいは、表示部１２０が表示画面に加えて、あるいは代えて、ランプまたは７セグメントディスプレイ（seven-segment display）等の表示デバイスを備えて情報を表示するようにしてもよい。
【0024】
例えば、表示部１２０が、判定装置１００による最終判定結果の出力までに予測される残り時間の指標を表示する場合、ランプの点滅パタンによって、あるいは、７セグメントディスプレイで数字を表示することで、残り時間の指標を表示するようにしてもよい。
これにより、表示部１２０は、表示画面を用いる必要なしに、ランプまたは７セグメントディスプレイといった安価かつコンパクトな表示デバイスを用いて残り時間の指標を表示することができる。例えば、表示部１２０が表示画面を備えていない場合、あるいは、表示部１２０の表示画面が小さい場合でも、残り時間の指標を表示するための、判定装置１００の装置コストの増加、および、判定装置１００の大きさの増加が小さくて済む。
これにより、表示部１２０は、表示画面を用いる必要なしに、ランプまたは７セグメントディスプレイといった安価かつコンパクトな表示デバイスを用いて残り時間の指標を表示することができる。例えば、表示部１２０が表示画面を備えていない場合、あるいは、表示部１２０の表示画面が小さい場合でも、残り時間の指標を表示するための、判定装置１００の装置コストの増加、および、判定装置１００の大きさの増加が小さくて済む。
【0025】
表示部１２０が７セグメントディスプレイを用いて残り時間の指標を表示する場合、残り時間の指標を１桁の数字で表示するようにしてもよい。これにより、残り時間の指標の表示のために必要な７セグメントディスプレイの個数が１つでよく、判定装置１００の装置コストの増加、および、判定装置１００の大きさの増加が小さくて済む。
表示部１２０を、残り時間表示部とも称する。
表示部１２０を、残り時間表示部とも称する。
【0026】
操作入力部１３０は、例えばキーボードおよびマウス等の入力デバイスを備え、ユーザ操作を受け付ける。例えば、操作入力部１３０が、判定装置１００による２クラス分類のためのパラメータ値の設定操作を受け付けるようにしてもよい。
記憶部１７０は、各種データを記憶する。記憶部１７０は、判定装置１００が備える記憶デバイスを用いて構成される。
記憶部１７０は、各種データを記憶する。記憶部１７０は、判定装置１００が備える記憶デバイスを用いて構成される。
【0027】
制御部１８０は、判定装置１００の各部を制御して各種処理を行う。制御部１８０の機能は、例えば判定装置１００が備えるＣＰＵ（Central Processing Unit、中央処理装置）が、記憶部１７０からプログラムを読み出して実行することで実行される。制御部１８０の機能の一部または全部が、例えばＦＰＧＡ（Field Programmable Gate Array）を用いて実行されるなど、制御部１８０の機能専用のハードウェアを用いて実行されるようにしてもよい。
【0028】
取得部１８１は、分類対象に関する系列データに含まれる複数の要素を逐次的に取得する。
例えば、判定装置１００が、動画像に映る人物が顔認証を妨げるための偽装を行っているか否かを判定する場合、通信部１１０が、動画像のフレーム毎の画像を画像データにて受信し、取得部１８１が、通信部１１０の受信データからフレーム毎の画像を画像データにて取得するようにしてもよい。この場合、フレーム毎の画像の各々が、系列データに含まれる要素の例に該当する。
例えば、判定装置１００が、動画像に映る人物が顔認証を妨げるための偽装を行っているか否かを判定する場合、通信部１１０が、動画像のフレーム毎の画像を画像データにて受信し、取得部１８１が、通信部１１０の受信データからフレーム毎の画像を画像データにて取得するようにしてもよい。この場合、フレーム毎の画像の各々が、系列データに含まれる要素の例に該当する。
【0029】
あるいは、判定装置１００が、画像が加工されているか否かを判定する場合、通信部１１０が、判定対象の画像を画像データにて受信し、取得部１８１が、判定対象の画像の部分画像を画像データにて複数取得するようにしてもよい。この場合、部分画像の各々が、系列データに含まれる要素の例に該当する。
【0030】
スコア算出部１８２は、取得部１８１が系列データの要素を取得する毎に、分類対象の２クラス分類のための統合スコアを算出する。ここでいう統合スコアは、系列データ全体、または、系列データのうち判定装置１００が取得済みの要素全体に基づいて算出される、２クラス分類のためのスコアである。スコア算出部１８２が算出する統合スコアは、特定の種類のスコアに限定されない。上限閾値および下限閾値と比較可能ないろいろなスコアを、統合スコアとして用いることができる。
【0031】
特徴量算出部１８３は、系列データの要素毎にその要素の特徴量を算出する。例えば、取得部１８１が系列データの要素として、動画像のフレームまたは判定対象の画像の部分画像等の画像を取得する場合、特徴量算出部１８３は、系列データの要素である画像の特徴量を抽出する。
【0032】
特徴量算出部１８３が、例えば畳み込みニューラルネットワーク（Convolutional Neural Network；ＣＮＮ）などのニューラルネットワークを用いて特徴量を算出するようにしてもよい。ただし、特徴量算出部１８３が要素の特徴量を算出する方法は、特定の方法に限定されない。
【0033】
個別スコア算出部１８４は、系列データの要素の特徴量に基づいて、要素毎かつクラス毎に個別スコアを算出する。ここでいう個別スコアは、取得部１８１が直近に取得した要素に基づいて分類対象をそのクラスに分類することの評価を示すスコアである。
個別スコア算出部１８４が、取得部１８１が直近に取得した要素に加えて、さらに、取得部１８１が直近に取得した要素と過去に取得した要素との関連性を考慮して個別スコアを算出するようにしてもよい。
個別スコア算出部１８４が、取得部１８１が直近に取得した要素に加えて、さらに、取得部１８１が直近に取得した要素と過去に取得した要素との関連性を考慮して個別スコアを算出するようにしてもよい。
【0034】
個別スコア算出部１８４が、尤度比に基づく個別スコアを算出するようにしてもよい。系列データを構成するＮ個（Ｎは正の整数）の要素を、ｘ（１）、ｘ（２）、…、ｘ（ｔ）と表記し、２クラス分類における２つのクラスをＣ０、Ｃ１と表記する。要素ｘ（ｉ）の右上に示される括弧内の数字（１、２、・・・、ｔ）は、取得部１８１が要素を取得する順番を示す。
また、クラスをラベルｙの値で示す。ｙ＝０は、クラスＣ０を示す。あるいは、ｙ＝０は、分類対象がクラスＣ０に属することを示す。ｙ＝１は、クラスＣ１を示す。あるいは、ｙ＝１は、分類対象がクラスＣ１に属することを示す。
クラスＣ１を第１クラスとも称する。クラスＣ２を第２クラスとも称する。
また、クラスをラベルｙの値で示す。ｙ＝０は、クラスＣ０を示す。あるいは、ｙ＝０は、分類対象がクラスＣ０に属することを示す。ｙ＝１は、クラスＣ１を示す。あるいは、ｙ＝１は、分類対象がクラスＣ１に属することを示す。
クラスＣ１を第１クラスとも称する。クラスＣ２を第２クラスとも称する。
【0035】
要素ｘ（ｉ）（ｉは正の整数）がクラスＣ０に属する確率をｐ（ｘ（ｉ）｜ｙ＝０）と表記する。また、要素ｘ（ｉ）がクラスＣ１に属する確率をｐ（ｘ（ｉ）｜ｙ＝１）と表記する。ここでいう要素ｘ（ｉ）がクラスＣ０に属する確率は、要素ｘ（ｉ）に基づいて算出される、分類対象がクラスＣ０に属する確率である。要素ｘ（ｉ）がクラスＣ１に属する確率は、要素ｘ（ｉ）に基づいて算出される、分類対象がクラスＣ１に属する確率である。
要素ｘ（ｉ）がクラスＣ０に属する確率ｐ（ｘ（ｉ）｜ｙ＝０）と、要素ｘ（ｉ）がクラスＣ１に属する確率ｐ（ｘ（ｉ）｜ｙ＝１）との尤度比は、式（１）のように表すことができる。
要素ｘ（ｉ）がクラスＣ０に属する確率ｐ（ｘ（ｉ）｜ｙ＝０）と、要素ｘ（ｉ）がクラスＣ１に属する確率ｐ（ｘ（ｉ）｜ｙ＝１）との尤度比は、式（１）のように表すことができる。
【0036】
【数1】
【0037】
式（１）に示される尤度比が１よりも大きい場合、ｐ（ｘ（ｉ）｜ｙ＝１）＞ｐ（ｘ（ｉ）｜ｙ＝０）であるため、要素ｘ（ｉ）をクラスＣ０に分類するよりもクラスＣ１に分類する方が妥当である。このように、式（１）に示される尤度比は、要素ｘ（ｉ）がクラスＣ０とクラスＣ１とのいずれに属することが妥当であるかを示す指標として機能する。
【0038】
また、２つの要素ｘ（ｉ），ｘ（ｉ－１）に基づく場合、分類対象がクラスＣ０に属する確率と分類対象がクラスＣ１に属する確率との尤度比は、式（２）のように表すことができる。
【0039】
【数2】
【0040】
個別スコア算出部１８４が、式（１）で示される尤度比または式（２）で示される尤度比の何れか一方またはこれらの組み合わせを個別スコアとして算出するようにしてもよい。ただし、個別スコア算出部１８４が算出する個別スコアはこれらに限定されない。例えば、個別スコア算出部１８４が個別スコアとして対数尤度比を算出するようにしてもよい。対数尤度比は、尤度比の対数をとったものである。
【0041】
個別スコア算出部１８４が、例えばＬＳＴＭ（Long Short Term Memory）などのニューラルネットワークを用いて個別スコアを算出するようにしてもよい。ただし、個別スコア算出部１８４が個別スコアを算出する方法は、特定の方法に限定されない。
個別スコア算出部１８４が特徴量算出部１８３の機能を含む１つの機能部として構成され、系列データの要素の特徴量として個別スコアを算出するようにしてもよい。
個別スコア算出部１８４が特徴量算出部１８３の機能を含む１つの機能部として構成され、系列データの要素の特徴量として個別スコアを算出するようにしてもよい。
【0042】
統合スコア算出部１８５は、個別スコアに基づいて統合スコアを算出する。上述したように、統合スコアは、系列データ全体、または、系列データのうち判定装置１００が取得済みの要素全体に基づいて算出される、２クラス分類のためのスコアである。
統合スコア算出部１８５が、個別スコア算出部１８４が直近に算出した個別スコアと、統合スコア算出部１８５自らが過去に算出した統合スコアとに基づいて、統合スコアを更新するようにしてもよい。例えば、統合スコア算出部１８５が、個別スコア算出部１８４が算出した要素ｘ（ｉ）に基づく個別スコアと、統合スコア算出部１８５自らが算出した要素ｘ（１）、ｘ（２）、…、ｘ（ｉ－１）に基づく統合スコアとに基づいて、要素ｘ（１）、ｘ（２）、…、ｘ（ｉ）に基づく統合スコアを算出するようにしてもよい。
統合スコア算出部１８５が、個別スコア算出部１８４が直近に算出した個別スコアと、統合スコア算出部１８５自らが過去に算出した統合スコアとに基づいて、統合スコアを更新するようにしてもよい。例えば、統合スコア算出部１８５が、個別スコア算出部１８４が算出した要素ｘ（ｉ）に基づく個別スコアと、統合スコア算出部１８５自らが算出した要素ｘ（１）、ｘ（２）、…、ｘ（ｉ－１）に基づく統合スコアとに基づいて、要素ｘ（１）、ｘ（２）、…、ｘ（ｉ）に基づく統合スコアを算出するようにしてもよい。
【0043】
統合スコア算出部１８５が、ｔ個の要素ｘ（１）、ｘ（２）、…、ｘ（ｔ）に基づいて、式（３）に示される尤度比を統合スコアとして算出するようにしてもよい。
【0044】
【数3】
【0045】
ｐ（ｘ（１），ｘ（２），…，ｘ（ｔ）｜ｙ＝０）は、要素ｘ（１）、ｘ（２）、…、ｘ（ｔ）に基づく場合の、分類対象がクラスＣ０に属する確率を示す。ｐ（ｘ（１），ｘ（２），…，ｘ（ｔ）｜ｙ＝１）は、要素ｘ（１）、ｘ（２）、…、ｘ（ｔ）に基づく場合の、分類対象がクラスＣ１に属する確率を示す。「ｐ（ｘ（１），ｘ（２），…，ｘ（ｔ）｜ｙ＝１）／ｐ（ｘ（１），ｘ（２），…、ｘ（ｔ）｜ｙ＝０）」は、要素ｘ（１）、ｘ（２）、…、ｘ（ｔ）による系列データ全体による尤度比を示す。
あるいは、統合スコア算出部１８５が、式（３）に示される尤度比の対数をとった対数尤度比を統合スコアとして算出するようにしてもよい。
あるいは、統合スコア算出部１８５が、式（３）に示される尤度比の対数をとった対数尤度比を統合スコアとして算出するようにしてもよい。
【0046】
系列データの各要素が独立であると見做せる場合、系列データ全体による尤度比を１要素毎の尤度比の項に分解することができる。例えば、統合スコアに対数尤度比を用いる場合、式（４）に基づいて、要素ｘ（１）、ｘ（２）、…、ｘ（ｔ）による系列データ全体による対数尤度比「ｌｏｇ［ｐ（ｘ（１），ｘ（２），…，ｘ（ｔ）｜ｙ＝１）／ｐ（ｘ（１），ｘ（２），…，ｘ（ｔ）｜ｙ＝０）］」を算出することができる。
【0047】
【数4】
【0048】
式（４）で、対数の底の値は、任意の定数値とすることができ、式全体で底が統一されていればよい。例えば、式（４）の対数の底として、２、ネイピア数（ｅ）、１０の何れを用いてもよい。以下の式についても同様である。
一方、系列データの各要素が独立でない場合、尤度比をより高精度に計算するために、要素間の関連性を考慮することが好ましい。
例えば、要素ｘ（ｉ）からそのｎ個前の要素ｘ（ｉ－ｎ）までの要素の関連性を考慮する場合、式（５）に基づいて対数尤度比を算出することができる。
一方、系列データの各要素が独立でない場合、尤度比をより高精度に計算するために、要素間の関連性を考慮することが好ましい。
例えば、要素ｘ（ｉ）からそのｎ個前の要素ｘ（ｉ－ｎ）までの要素の関連性を考慮する場合、式（５）に基づいて対数尤度比を算出することができる。
【0049】
【数5】
【0050】
右辺の第３項「－ｌｏｇ（ｐ（ｙ＝１）／ｐ（ｙ＝０））」は、バイアスを表す定数項である。この右辺の第３項の値を０としてもよい。
例えば、要素ｘ（ｉ）とその前の要素ｘ（ｉ－１）との要素の関連性を考慮する場合、式（５）のｎに１を代入して得られる式（６）に基づいて対数尤度比を算出することができる。
例えば、要素ｘ（ｉ）とその前の要素ｘ（ｉ－１）との要素の関連性を考慮する場合、式（５）のｎに１を代入して得られる式（６）に基づいて対数尤度比を算出することができる。
【0051】
【数6】
【0052】
取得部１８１がｔ個の要素ｘ（１）、ｘ（２）、…、ｘ（ｔ）を取得した場合に、統合スコア算出部１８５が、式（３）で示される尤度比、または、式（４）から式（６）の何れかに基づく対数尤度比を統合スコアとして算出するようにしてもよい。
ただし、上述したように、スコア算出部１８２が算出する統合スコアは、特定の種類のスコアに限定されない。また、特徴量算出部１８３の機能と個別スコア算出部１８４の機能と統合スコア算出部１８５の機能とが明示的に分かれていなくてもよい。
ただし、上述したように、スコア算出部１８２が算出する統合スコアは、特定の種類のスコアに限定されない。また、特徴量算出部１８３の機能と個別スコア算出部１８４の機能と統合スコア算出部１８５の機能とが明示的に分かれていなくてもよい。
【0053】
閾値決定部１８６は、取得部１８１が系列データの要素を取得する毎に、統合スコアの上限閾値および下限閾値を決定する。
統合スコアと、統合スコアの上限閾値および下限閾値とを比較することで、分類対象がクラスＣ０に属するか、クラスＣ１に属するか、あるいは現時点ではクラス未定かの何れかを判定することができる。
統合スコアと、統合スコアの上限閾値および下限閾値とを比較することで、分類対象がクラスＣ０に属するか、クラスＣ１に属するか、あるいは現時点ではクラス未定かの何れかを判定することができる。
【0054】
図２は、統合スコアの閾値の第一例を示す図である。図２は、統合スコアの閾値を定数値に設定する場合の例を示している。統合スコアの閾値が定数値に設定される場合、判定装置１００が閾値決定部１８６を備えていなくてもよい。
図２のグラフの横軸は、取得部１８１が取得した要素の個数を示す。縦軸は、統合スコアを示す。要素の個数を要素数とも称する。
線Ｌ１１１は、統合スコアの上限閾値を示す。上限閾値は＋Ｔ（Ｔは正の実数）に設定されている。線Ｌ１１２は、統合スコアの下限閾値を示す。下限閾値は－Ｔに設定されている。
図２のグラフの横軸は、取得部１８１が取得した要素の個数を示す。縦軸は、統合スコアを示す。要素の個数を要素数とも称する。
線Ｌ１１１は、統合スコアの上限閾値を示す。上限閾値は＋Ｔ（Ｔは正の実数）に設定されている。線Ｌ１１２は、統合スコアの下限閾値を示す。下限閾値は－Ｔに設定されている。
【0055】
線Ｌ１１３は、要素数の最大値の例を示す。図２の例では、取得部１８１が１つの系列データから取得可能な要素の個数は最大でＮ個に限定されている。
また、図２は、例えば対数尤度比を統合スコアとして用いる場合など、分類対象がクラスＣ０に属する尤度とクラスＣ１に属する尤度とが等しい場合の値が０となる指標を統合スコアとして用いる場合の例を示している。
また、図２は、例えば対数尤度比を統合スコアとして用いる場合など、分類対象がクラスＣ０に属する尤度とクラスＣ１に属する尤度とが等しい場合の値が０となる指標を統合スコアとして用いる場合の例を示している。
【0056】
線Ｌ１２１からＬ１２４は、それぞれ統合スコアの遷移の例を示す。
線Ｌ１２１の例の場合、要素数がＮ個になるまでに統合スコアが上限閾値に到達している。この場合、判定装置１００は、分類対象がクラスＣ１に属すると判定する。
線Ｌ１２１の例の場合、要素数がＮ個になるまでに統合スコアが上限閾値に到達している。この場合、判定装置１００は、分類対象がクラスＣ１に属すると判定する。
【0057】
線Ｌ１２２の例の場合、および、線Ｌ１２３の例の場合の何れも、要素数がＮ個になっても統合スコアは上限閾値、下限閾値の何れにも到達していない。この場合、判定装置１００は、クラス未定と判定する。
線Ｌ１２４の例の場合、要素数がＮ個になるまでに統合スコアが下限閾値に到達している。この場合、判定装置１００は、分類対象がクラスＣ０に属すると判定する。
このように、統合スコアと上限閾値および下限閾値とを比較することで、分類対象の２クラス分類の判定結果を、２つのクラスの何れかまたはクラス未定に決定することができる。
線Ｌ１２４の例の場合、要素数がＮ個になるまでに統合スコアが下限閾値に到達している。この場合、判定装置１００は、分類対象がクラスＣ０に属すると判定する。
このように、統合スコアと上限閾値および下限閾値とを比較することで、分類対象の２クラス分類の判定結果を、２つのクラスの何れかまたはクラス未定に決定することができる。
【0058】
図３は、統合スコアの閾値の第二例を示す図である。図３は、閾値決定部１８６が、取得部１８１が取得する要素の個数の増加に応じて、統合スコアの上限閾値が単調減少し下限閾値が単調増加するように、上限閾値および下限閾値を決定する場合の例を示している。
図３のグラフの横軸は、取得部１８１が取得した要素の個数を示す。縦軸は、統合スコアを示す。
図３のグラフの横軸は、取得部１８１が取得した要素の個数を示す。縦軸は、統合スコアを示す。
【0059】
また、図３は、閾値決定部１８６が、所定の終了条件が成立する場合に、統合スコアの上限閾値と下限閾値とが同じ値になるように、上限閾値および下限閾値を決定する場合の例を示している。図３の例では、取得部１８１が取得可能な要素の個数は最大でＮ個に限定されており、要素数がＮ個に達すること、または、統合スコアが上限閾値および下限閾値のうち何れかに到達することが、終了条件となっている。要素数がＮ個となった場合、閾値決定部１８６は、上限閾値および下限閾値の何れも０に設定する。
【0060】
線Ｌ２１１は、統合スコアの上限閾値および下限閾値を示す。統合スコアの上限閾値は、要素数の増加に応じて単調減少し、終了条件である要素数がＮ個のときに０になっている。統合スコアの下限閾値は、要素数の増加に応じて単調増加し、終了条件である要素数がＮ個のときに０になっている。
また、図３も図２の場合と同様、分類対象がクラスＣ０に属する尤度とクラスＣ１に属する尤度とが等しい場合の値が０となる指標を統合スコアとして用いる場合の例を示している。
また、図３も図２の場合と同様、分類対象がクラスＣ０に属する尤度とクラスＣ１に属する尤度とが等しい場合の値が０となる指標を統合スコアとして用いる場合の例を示している。
【0061】
線Ｌ２２１からＬ２２４は、それぞれ統合スコアの遷移の例を示す。
線Ｌ２２１の例の場合、および、線Ｌ２２２の例の場合の何れも、統合スコアが上限閾値に到達している。この場合、判定装置１００は、分類対象がクラスＣ１に属すると判定する。
線Ｌ２２１の例の場合、および、線Ｌ２２２の例の場合の何れも、統合スコアが上限閾値に到達している。この場合、判定装置１００は、分類対象がクラスＣ１に属すると判定する。
【0062】
一方、線Ｌ２２３の例の場合、および、線Ｌ２２４の例の場合の何れも、統合スコアが下限閾値に到達している。この場合、判定装置１００は、分類対象がクラスＣ０に属すると判定する。
図３の例では、要素数がＮ個のときに上限閾値と下限閾値とが同じ値になっていることで、判定装置１００は、分類対象を必ず２つのクラスの何れかに分類する。すなわち、図３の例では、判定装置１００は、２クラス分類の最終判定結果をクラス未定に決定することはない。
図３の例では、要素数がＮ個のときに上限閾値と下限閾値とが同じ値になっていることで、判定装置１００は、分類対象を必ず２つのクラスの何れかに分類する。すなわち、図３の例では、判定装置１００は、２クラス分類の最終判定結果をクラス未定に決定することはない。
【0063】
線Ｌ２２１の例と線Ｌ２２２の例とを比較すると、線Ｌ２２１の例の場合のほうが線Ｌ２２２の例の場合よりも速く、統合スコアが上限閾値に到達している。判定装置１００は、線Ｌ２２１の例の場合のほうが線Ｌ２２２の例の場合よりも速く、分類対象がクラスＣ１に属するとの最終判定結果に決定することができる。
また、線Ｌ２２１の例のほうが、線Ｌ２２２の例の場合よりも、上限閾値に到達したときの統合スコアが大きくなっている。この点で、線Ｌ２２１の例の場合のほうが、線Ｌ２２２の例の場合よりも、分類対象がクラスＣ１に属するとの最終判定結果の精度が高いと考えられる。
また、線Ｌ２２１の例のほうが、線Ｌ２２２の例の場合よりも、上限閾値に到達したときの統合スコアが大きくなっている。この点で、線Ｌ２２１の例の場合のほうが、線Ｌ２２２の例の場合よりも、分類対象がクラスＣ１に属するとの最終判定結果の精度が高いと考えられる。
【0064】
このように、閾値決定部１８６が要素数の増加に応じて上限閾値を減少させることで、線Ｌ２２１の例のように、統合スコアが急激に増加する場合は、分類対象がクラスＣ１に属する尤度が比較的大きい状態で、かつ、比較的速く最終判定結果を得られる。また、線Ｌ２２２の例のように、統合スコアの増加に時間がかかる場合は、統合スコアが比較的小さい段階で最終判定結果を得ることで、比較的速く最終判定結果を得ることができ、また、分類対象が属するクラス未定との最終判定結果になる可能性を軽減させることができる。
【0065】
線Ｌ２２３の例と線Ｌ２２４の例とを比較すると、線Ｌ２２４の例の場合のほうが線Ｌ２２３の例の場合よりも速く、統合スコアが下限閾値に到達している。判定装置１００は、線Ｌ２２４の例の場合のほうが線Ｌ２２３の例の場合よりも速く、分類対象がクラスＣ０に属するとの最終判定結果に決定することができる。
また、線Ｌ２２４の例のほうが、線Ｌ２２３の例の場合よりも、下限閾値に到達したときの統合スコアが小さくなっている。この点で、線Ｌ２２４の例の場合のほうが、線Ｌ２２３の例の場合よりも、分類対象がクラスＣ０に属するとの最終判定結果の精度が高いと考えられる。
また、線Ｌ２２４の例のほうが、線Ｌ２２３の例の場合よりも、下限閾値に到達したときの統合スコアが小さくなっている。この点で、線Ｌ２２４の例の場合のほうが、線Ｌ２２３の例の場合よりも、分類対象がクラスＣ０に属するとの最終判定結果の精度が高いと考えられる。
【0066】
このように、閾値決定部１８６が要素数の増加に応じて下限閾値を増加させることで、線Ｌ２２４の例のように、統合スコアが急激に減少する場合は、分類対象がクラスＣ０に属する尤度が比較的大きい状態で、かつ、比較的速く最終判定結果を得られる。また、線Ｌ２２３の例のように、統合スコアの減少に時間がかかる場合は、統合スコアが比較的大きい段階で最終判定結果を得ることで、比較的速く最終判定結果を得ることができ、また、クラス未定との最終判定結果になる可能性を軽減させることができる。
【0067】
図４は、統合スコアの閾値の第三例を示す図である。図４は、閾値決定部１８６が、取得部１８１が取得する要素の個数の増加に応じて、統合スコアの上限閾値が単調増加し下限閾値が単調減少するように、上限閾値および下限閾値を決定する場合の例を示している。
【0068】
図４のグラフの横軸は、取得部１８１が取得した要素の個数を示す。縦軸は、統合スコアを示す。
線Ｌ３１１は、統合スコアの上限閾値を示す。統合スコアの上限閾値は、要素数の増加に応じて単調増加している。線Ｌ３１２は、統合スコアの下限閾値を示す。統合スコアの下限閾値は、要素数の増加に応じて単調減少している。
線Ｌ３１３は、要素数の最大値の例を示す。図４の例では、取得部１８１が取得可能な要素の個数は最大でＮ個に限定されている。
また、図４も図２の場合と同様、分類対象がクラスＣ０に属する尤度とクラスＣ１に属する尤度とが等しい場合の値が０となる指標を統合スコアとして用いる場合の例を示している。
線Ｌ３１１は、統合スコアの上限閾値を示す。統合スコアの上限閾値は、要素数の増加に応じて単調増加している。線Ｌ３１２は、統合スコアの下限閾値を示す。統合スコアの下限閾値は、要素数の増加に応じて単調減少している。
線Ｌ３１３は、要素数の最大値の例を示す。図４の例では、取得部１８１が取得可能な要素の個数は最大でＮ個に限定されている。
また、図４も図２の場合と同様、分類対象がクラスＣ０に属する尤度とクラスＣ１に属する尤度とが等しい場合の値が０となる指標を統合スコアとして用いる場合の例を示している。
【0069】
線Ｌ３２１からＬ３２４は、それぞれ統合スコアの遷移の例を示す。
線Ｌ３２１の例の場合、統合スコアが上限閾値に到達している。この場合、判定装置１００は、分類対象がクラスＣ１に属すると判定する。
一方、線Ｌ３２２の例の場合、および、線Ｌ３２３の例の場合の何れも、要素数がＮ個になっても統合スコアは上限閾値、下限閾値の何れにも到達していない。この場合、判定装置１００は、クラス未定と判定する。
線Ｌ３２４の例の場合、要素数がＮ個になるまでに統合スコアが下限閾値に到達している。この場合、判定装置１００は、分類対象がクラスＣ０に属すると判定する。
線Ｌ３２１の例の場合、統合スコアが上限閾値に到達している。この場合、判定装置１００は、分類対象がクラスＣ１に属すると判定する。
一方、線Ｌ３２２の例の場合、および、線Ｌ３２３の例の場合の何れも、要素数がＮ個になっても統合スコアは上限閾値、下限閾値の何れにも到達していない。この場合、判定装置１００は、クラス未定と判定する。
線Ｌ３２４の例の場合、要素数がＮ個になるまでに統合スコアが下限閾値に到達している。この場合、判定装置１００は、分類対象がクラスＣ０に属すると判定する。
【0070】
図４の例のように、閾値決定部１８６が要素数の増加に応じて上限閾値を増加させることで、統合スコアが急激に増加する場合は、比較的速く最終判定結果を得られる。また、統合スコアの増加に時間がかかる場合は、統合スコアが比較的大きい段階で最終判定結果を得ることで、より慎重に判定を行うことができる。例えば線L３２２の例の場合、要素数の増加に応じて上限閾値が増加することで、統合スコアが上限閾値に到達せず、クラス未定との最終判定結果になる。
【0071】
また、閾値決定部１８６が要素数の増加に応じて下限閾値を減少させることで、統合スコアが急激に減少する場合は、比較的速く最終判定結果を得られる。また、統合スコアの減少に時間がかかる場合は、統合スコアが比較的小さい段階で最終判定結果を得ることで、より慎重に判定を行うことができる。
【0072】
系列データの要素数毎の統合スコアの上限閾値および下限閾値を、ユーザが予め設定しておくようにしてもよい。系列データの要素数毎の統合スコアの上限閾値および下限閾値の表現形式は、特定のものに限定されない。例えば、系列データの要素数毎の統合スコアの上限閾値および下限閾値が、関数の形式で示されていてもよいし、テーブル（表）の形式で示されていてもよい。
【0073】
あるいは、閾値決定部１８６が、強化学習または教師有り機械学習などの機械学習を用いて、系列データの要素数毎の統合スコアの上限閾値および下限閾値を示すモデルを取得するようにしてもよい。
例えば強化学習の場合、エージェントは、分類対象がクラスＣ０に属すると判定する、分類対象がクラスＣ１に属すると判定する、あるいは、クラスを決定せずに次の要素を取得する、の３つの行動のうち何れか１つを選択するものとする。また、要素の個数が増えるとコストがかかるように設定する。そして、２クラス分類の正解の個数を最大化するように学習を行う。
これにより、閾値決定部１８６が、要素の個数を増やしても２クラス分類の判定結果が変わらない場合には、次の要素を取得せずに２クラス分類の判定を行うような閾値を取得すると期待される。
例えば強化学習の場合、エージェントは、分類対象がクラスＣ０に属すると判定する、分類対象がクラスＣ１に属すると判定する、あるいは、クラスを決定せずに次の要素を取得する、の３つの行動のうち何れか１つを選択するものとする。また、要素の個数が増えるとコストがかかるように設定する。そして、２クラス分類の正解の個数を最大化するように学習を行う。
これにより、閾値決定部１８６が、要素の個数を増やしても２クラス分類の判定結果が変わらない場合には、次の要素を取得せずに２クラス分類の判定を行うような閾値を取得すると期待される。
【0074】
あるいは、系列データの要素数毎の統合スコアの上限閾値および下限閾値を統計的な手法で決定するようにしてもよい。例えば、統合スコアの遷移の例毎に、２クラス分類の結果が変わらなくなる点を求めておき、得られた点を曲線近似して上限閾値および下限閾値を求めるようにしてもよい。
【0075】
クラス判定部１８７は、取得部１８１が統計データの要素を取得する毎に、統合スコアと統合スコアの上限閾値および下限閾値との比較に基づいて、分類対象の２クラス分類の判定結果を、２つのクラスの何れかまたはクラス未定に決定する。
具体的には、統合スコアが上限閾値よりも大きいと判定した場合、クラス判定部１８７は、分類対象がクラスＣ１に属するとの判定結果に決定する。統合スコアが下限閾値よりも小さいと判定した場合、クラス判定部１８７は、分類対象がクラスＣ０に属するとの判定結果に決定する。
具体的には、統合スコアが上限閾値よりも大きいと判定した場合、クラス判定部１８７は、分類対象がクラスＣ１に属するとの判定結果に決定する。統合スコアが下限閾値よりも小さいと判定した場合、クラス判定部１８７は、分類対象がクラスＣ０に属するとの判定結果に決定する。
【0076】
一方、統合スコアが上限閾値以下、かつ、下限閾値以上であると判定した場合、クラス判定部１８７は、終了条件が成立しているか否かで場合分けを行う。終了条件が成立していないと判定した場合、クラス判定部１８７は、現時点では分類対象が属するクラスは不明であり、さらに系列データの要素を取得することに決定する。一方、終了条件が成立していると判定した場合、クラス判定部１８７は、最終判定結果をクラス未定に決定する。
【0077】
クラス分類学習部１８８は、スコア算出部１８２による統合スコアの算出を学習する。学習に際し、クラス分類学習部１８８は、系列データと、２クラス分類の正解として２つのクラスの何れかまたはクラス未定とが紐付けられた学習データを用いる。そして、クラス分類学習部１８８は、学習データに含まれる系列データのうち、クラス未定と紐付けられる系列データに対しては、統合スコアが上限閾値と下限閾値との間の値になるように学習を行う。
【0078】
例えば、クラス分類学習部１８８は、学習データに含まれる系列データのうちクラス未定と紐付けられる系列データに対しては、統合スコアが上限閾値と下限閾値との間の値になる場合に評価が高くなる損失関数を用いて学習を行う。
クラス分類学習部１８８が、式（７）に示される損失関数を用いて学習を行うようにしてもよい。
クラス分類学習部１８８が、式（７）に示される損失関数を用いて学習を行うようにしてもよい。
【0079】
【数7】
【0080】
λ０、λ１、λＢは、それぞれ実数定数の重み係数である。
Ｈ０は、分類対象がクラスＣ０に属するとの仮説を示す。Ｈ１は、分類対象がクラスＣ１に属するとの仮説を示す。ＨＢは、クラス未定との仮説を示す。
ＩＨ０は、学習データの正解で、分類対象がクラスＣ０に属するとされる系列データの集合を示す。系列データはインデックスｉで識別される。ＩＨ１は、学習データの正解で、分類対象がクラスＣ１に属するとされる系列データの集合を示す。ＩＨＢは、学習データの正解でクラス未定とされる系列データの集合を示す。
Ｈ０は、分類対象がクラスＣ０に属するとの仮説を示す。Ｈ１は、分類対象がクラスＣ１に属するとの仮説を示す。ＨＢは、クラス未定との仮説を示す。
ＩＨ０は、学習データの正解で、分類対象がクラスＣ０に属するとされる系列データの集合を示す。系列データはインデックスｉで識別される。ＩＨ１は、学習データの正解で、分類対象がクラスＣ１に属するとされる系列データの集合を示す。ＩＨＢは、学習データの正解でクラス未定とされる系列データの集合を示す。
【0081】
ＮＨ０は、学習データの正解で、分類対象がクラスＣ０に属するとされる系列データの個数を示す。すなわち、ＮＨ０は、集合ＩＮ０の要素の個数を示す。ＮＨ１は、学習データの正解で、分類対象がクラスＣ１に属するとされる系列データの個数を示す。すなわち、ＮＨ１は、集合ＩＮ１の要素の個数を示す。ＮＨＢは、学習データの正解でクラス未定とされる系列データの個数を示す。すなわち、ＮＨＢは、集合ＩＮＢの要素の個数を示す。
【0082】
ｆ０、ｆ１、ｆＢは、それぞれ、学習データに示される系列データを用いたときに学習モデルの出力が正解を示す場合に、値が小さくなる関数である。
【0083】
関数ｆ０が式（８）のように定義されていてもよいが、これに限定されない。
【0084】
【数8】
【0085】
ＳＣＯＲＥは、統合スコアを示す。ＴＬは、統合スコアの下限閾値を示す。式（８）の関数ｆ０は、統合スコアＳＣＯＲＥが下限閾値ＴＬ以下の場合、すなわち、分類対象がクラスＣ０に属すると判定される場合に、「１」を出力する。それ以外の場合は、関数ｆ０は「０」を出力する。
【0086】
関数ｆ１が式（９）のように定義されていてもよいが、これに限定されない。
【0087】
【数9】
【0088】
ＴＵは、統合スコアの上限閾値を示す。式（９）の関数ｆ１は、統合スコアＳＣＯＲＥが上限閾値ＴＵ以上の場合、すなわち、分類対象がクラスＣ１に属すると判定される場合に、「１」を出力する。それ以外の場合は、関数ｆ１は「０」を出力する。
【0089】
関数ｆＢが式（１０）のように定義されていてもよいが、これに限定されない。
【0090】
【数10】
【0091】
式（１０）の関数ｆ１は、統合スコアＳＣＯＲＥが上限閾値ＴＵ以下、かつ、下限閾値ＴＬ以上の場合、すなわち、クラス未定と判定される場合に、「１」を出力する。それ以外の場合は、関数ｆＢは「０」を出力する。
【0092】
ここで、２クラス分類の正解として２つのクラスの何れかが示されクラス未定は示されない学習データを用いて統合スコアの算出の学習を行う場合について考える。この場合、スコア算出部１８２が、全ての要素に対して、統合スコアが上限閾値または下限閾値の何れかに近付くように、統合スコアを大きく変化させることが考えられる。
【0093】
これに対し、上記のように、クラス分類学習部１８８が、２クラス分類の正解としてクラス未定が示される系列データを含む学習データを用いて統合スコアの算出の学習を行うようにしてもよい。そして、クラス分類学習部１８８が、クラス未定が示される系列データに対しては、統合スコアが上限閾値と下限閾値との間の値になるように学習を行うようにしてもよい。
【0094】
これにより、スコア算出部１８２が、クラス未定とすることが妥当な要素に対して、上限閾値と下限閾値との間の値を算出することが期待される。したがって、判定装置１００が、分類対象が２つのクラスの何れに属するか明確でない要素に対して、統合スコアをあまり変化させずに次の要素の入力を待ち受けることが期待される。
【0095】
クラス分類学習部１８８が、学習データの正解で、分類対象がクラスＣ０に属するとされる場合、および、分類対象がクラスＣ１に属するとされる場合の損失を計算する関数を引用する損失関数を用いるようにしてもよい。例えば、クラス分類学習部１８８が、式（１１）で示される損失関数を用いるようにしてもよい。
【0096】
【数11】
【0097】
関数ＬＯＳＳ０，１は、学習データの正解で、分類対象がクラスＣ０に属するとされる場合、および、分類対象がクラスＣ１に属するとされる場合の損失を計算する関数である。関数ＬＯＳＳ０，１は、例えば、式（１２）のように示される。
【0098】
【数12】
【0099】
ただし、関数ＬＯＳＳ０，１は、式（１２）に示されるものに限定されない。例えば、関数ＬＯＳＳ０，１として、２クラス分類における公知の損失関数を用いるようにしてもよい。これにより、分類対象がクラスＣ０に属するかクラスＣ１に属するかの判定について、公知の手法を用いることができる。
【0100】
学習データ加工部１８９は、学習データの正解の情報に、クラス未定の情報を付加する。具体的には、学習データ加工部１８９は、系列データと、２クラス分類の正解として２つのクラスの何れかとが紐付けられた学習データを取得する。すなわち、学習データ加工部１８９は、クラス未定の情報が示されていない学習データを取得する。
【0101】
そして、学習データ加工部１８９は、取得した学習データについて、所定の分類器を用いて２クラス分類を行った場合の分類結果が正解と異なる場合に、その系列データに、２クラス分類の正解としてクラス未定を示す情報を紐付ける。
【0102】
例えば、分類器を用いた２クラス分類の結果が正解と異なる系列データに対して、学習データ加工部１８９が、２クラス分類の正解としての、２つのクラスの何れかを示す情報を残したまま、クラス未定の情報を付加するようにしてもよい。
あるいは、クラス未定の情報が示されていない学習データに対して、人手でクラス未定の情報を付加するようにしてもよい。この場合、判定装置１００が学習データ加工部１８９を備えていなくてもよい。
あるいは、クラス未定の情報が示されていない学習データに対して、人手でクラス未定の情報を付加するようにしてもよい。この場合、判定装置１００が学習データ加工部１８９を備えていなくてもよい。
【0103】
信頼度算出部１９０は、統合スコアの履歴情報、または、統合スコアの算出に用いられる要素の特徴量に基づいて、統合スコアの信頼度の指標値を算出する。
ここでいう、統合スコアの信頼度は、統合スコアに基づいて分類対象が２つのクラスの何れに属するかを判定した場合に、実際に分類対象がそのクラスに属している可能性の高さである。
ここでいう、統合スコアの信頼度は、統合スコアに基づいて分類対象が２つのクラスの何れに属するかを判定した場合に、実際に分類対象がそのクラスに属している可能性の高さである。
【0104】
表示部１２０が、統合スコアの信頼度の指標値を表示するようにしてもよい。
例えば、判定装置１００が、動画像をフレームの画像データにて逐次的に取得して、フレームの画像データを取得する毎に顔認証を行う認証システムとして構成されている場合について考える。この場合、統合スコアの信頼度の指標値を、認証結果の信頼度を示す指標値として用いることができる。統合スコアの信頼度が低い場合、認証システムを使用する担当者が、認証対象者に不審な点が無いか特に注意することで、認証システムが誤認証した場合に、担当者が誤認証に気付ける可能性が高くなる。
あるいは、認証システムとしての判定装置１００が認証に成功した場合、統合スコアの信頼度が低いときは、表示部１２０が、認証対象者が担当者の確認を受けるように促すメッセージを表示するようにしてもよい。
例えば、判定装置１００が、動画像をフレームの画像データにて逐次的に取得して、フレームの画像データを取得する毎に顔認証を行う認証システムとして構成されている場合について考える。この場合、統合スコアの信頼度の指標値を、認証結果の信頼度を示す指標値として用いることができる。統合スコアの信頼度が低い場合、認証システムを使用する担当者が、認証対象者に不審な点が無いか特に注意することで、認証システムが誤認証した場合に、担当者が誤認証に気付ける可能性が高くなる。
あるいは、認証システムとしての判定装置１００が認証に成功した場合、統合スコアの信頼度が低いときは、表示部１２０が、認証対象者が担当者の確認を受けるように促すメッセージを表示するようにしてもよい。
【0105】
顔認証の照合対象者が複数登録されている場合、スコア算出部１８２が、認証対象者が何れかの照合対象者と同一人物であるとのクラス、および、認証対象者が何れの照合対象者も異なる人物であるとのクラスの２クラス分類についての統合スコアを算出するようにしてもよい。そして、信頼度算出部１９０が、この統合スコアの信頼度の指標を算出し、表示部１２０が、この指標を表示するようにしてもよい。
【0106】
あるいはスコア算出部１８２が、照合対象者毎に、認証対象者がその照合対象者と同一人物であるとのクラス、および、認証対象者がその照合対象者と異なる人物であるとのクラスの２クラス分類についての統合スコアを算出するようにしてもよい。
この場合、信頼度算出部１９０が、照合対象者毎に統合スコアの信頼度の指標値を算出し、表示部１２０が、照合対象者毎に統合スコアの信頼度の指標値を表示するようにしてもよい。あるいは、信頼度算出部１９０が、複数の統合スコアのうち信頼度が最も高い統合スコアの信頼度の指標値を算出するなど、複数の統合スコアに対して１つの信頼度の指標値を算出するようにしてもよい。そして、表示部１２０が、この信頼度の指標値を算出するようにしてもよい。
この場合、信頼度算出部１９０が、照合対象者毎に統合スコアの信頼度の指標値を算出し、表示部１２０が、照合対象者毎に統合スコアの信頼度の指標値を表示するようにしてもよい。あるいは、信頼度算出部１９０が、複数の統合スコアのうち信頼度が最も高い統合スコアの信頼度の指標値を算出するなど、複数の統合スコアに対して１つの信頼度の指標値を算出するようにしてもよい。そして、表示部１２０が、この信頼度の指標値を算出するようにしてもよい。
【0107】
２クラス分類の終了条件成立前にも、信頼度算出部１９０が統合スコアの信頼度の指標値を算出するようにしてもよい。２クラス分類の終了前の段階で統合スコアの信頼度が低い場合、終了条件が成立するまでに、分類対象が２つのクラスの何れに属するかの最終判定結果を得られないことが考えられる。あるいは、分類対象が２つのクラスの何れに属するかの最終判定結果を得られた場合でも、最終判定結果が正しくない可能性が比較的高い。
【0108】
そこで、２クラス分類の終了前の段階で統合スコアの信頼度が低い場合、判定装置１００が、２クラス分類の処理を中止するようにしてもよい。新たな系列データを取得可能な場合は、判定装置１００が、新たな系列データを取得して２クラス分類の処理をやり直すようにしてもよい。新たな系列を取得できない場合は、判定装置１００が、処理を中断した旨の警報を出力するようにしてもよい。
【0109】
図５は、統合スコアの遷移の例を示す図である。図５のグラフの横軸は、取得部１８１が取得した要素の個数を示す。縦軸は、統合スコアを示す。
線Ｌ４１１は、統合スコアの上限閾値を示す。線Ｌ４１２は、統合スコアの下限閾値を示す。
線Ｌ４２１、Ｌ４２２は、ぞれぞれ、取得部１８１が取得した要素の個数に応じた統合スコアの遷移の例を示している。
線Ｌ４１１は、統合スコアの上限閾値を示す。線Ｌ４１２は、統合スコアの下限閾値を示す。
線Ｌ４２１、Ｌ４２２は、ぞれぞれ、取得部１８１が取得した要素の個数に応じた統合スコアの遷移の例を示している。
【0110】
線Ｌ４２１の例とＬ４２２の例とを比較すると、同じ要素数で統合スコアが上限閾値に到達している。
一方、線Ｌ４２１の例では、統合スコアがおおよそ増加し続けているのに対し、線Ｌ４２２の例では、統合スコアが大きく増減している。
一方、線Ｌ４２１の例では、統合スコアがおおよそ増加し続けているのに対し、線Ｌ４２２の例では、統合スコアが大きく増減している。
【0111】
このことからすると、仮に統合スコアの上限閾値がより大きい値に設定されている場合、線Ｌ４２１の例では、閾値は、上限閾値に到達するまで増加し続ける可能性が高いと考えられる。一方、線Ｌ４２２では、統合スコアが上限閾値に到達する前に再び減少に転じて下限閾値に到達する可能性が、線Ｌ４２１の場合よりも高いと考えられる。
【0112】
すなわち、線Ｌ４２２の例では、統合スコアが外乱等の偶発的な要因によってたまたま上限閾値に達した可能性が、線Ｌ４２１の例の場合よりも高い。統合スコアが上限閾値に到達したことによる、分類対象がクラスＣ１に属するとの最終判定結果に対し、分類対象がクラスＣ１に属している可能性は、線Ｌ４２１の例の場合ほうが、線Ｌ４２１の例の場合よりも高いと考えられる。
【0113】
そこで、線Ｌ４２１の例のように、統合スコアがおおよそ一定の変化量で変化し続ける場合のほうが、線Ｌ４２２の例のように、統合スコアの変化量が大きく変化する場合よりも、統合スコアの信頼度が高くなるような指標値を用いるようにしてもよい。
【0114】
統合スコアの変化量の大きさを示す指標値の例として、統合スコアの分散または標準偏差など、統合スコアのばらつきの大きさを示す指標値が挙げられる。統合スコアのばらつきが大きいほど、統合スコアが正負に大きく振れており、統合スコアに基づく２クラス分類の結果に対する信頼度が低いと考えられる。
【0115】
信頼度算出部１９０が、統合スコアの信頼度の指標値として、統合スコアの分散または標準偏差など、統合スコアのばらつきが大きいほど大きい値になる指標値を用いるようにしてもよい。この場合、指標値が小さいほど、統合スコアの信頼度が高い。
あるいは、信頼度算出部１９０が、統合スコアの分散の逆数、または、統合スコアの標準偏差の逆数など、統合スコアのばらつきが大きいほど小さい値になる指標値を算出するようにしてもよい。この場合、指標値が大きいほど、統合スコアの信頼度が高い。
あるいは、信頼度算出部１９０が、統合スコアの分散の逆数、または、統合スコアの標準偏差の逆数など、統合スコアのばらつきが大きいほど小さい値になる指標値を算出するようにしてもよい。この場合、指標値が大きいほど、統合スコアの信頼度が高い。
【0116】
信頼度の算出方法として、統合スコアの分散または標準偏差、あるいはこれらの逆数といった予め定式化される算出方法を用いる場合、信頼度の算出方法を学習する必要は無い。この場合、判定装置１００が、信頼度学習部１９１を備えていなくてもよい。
図５に例示される統合スコアの遷移は、統合スコアの履歴情報によって示される。統合スコアの分散または標準偏差、あるいはこれらの逆数等の指標値は、統合スコアの履歴情報に基づく統合スコアの信頼度の指標値の例に該当する。
図５に例示される統合スコアの遷移は、統合スコアの履歴情報によって示される。統合スコアの分散または標準偏差、あるいはこれらの逆数等の指標値は、統合スコアの履歴情報に基づく統合スコアの信頼度の指標値の例に該当する。
【0117】
信頼度学習部１９１は、分類対象の２クラス分類の信頼度の算出を学習する。例えば、信頼度学習部１９１は、系列データと、その系列データの場合に分類対象が２つのクラスの何れに属するかの正解の情報とが紐付けられた学習データを用いて、系列データの要素毎の信頼度の指標値として、クラス毎のスコアのうち正解のクラスのスコアを算出するように信頼度の指標値の算出の学習を行う。
【0118】
図６は、信頼度学習部１９１による信頼度の算出方法の学習の例を示す図である。
図６の例で、特徴量算出部１８３は、取得部１８１が系列データの要素を取得する毎に、その要素の特徴量を算出する。個別スコア算出部１８４は、取得部１８１が系列データの要素を取得する毎に、特徴量算出部１８３が算出する特徴量を用いて個別スコアを算出する。
図６の例で、特徴量算出部１８３は、取得部１８１が系列データの要素を取得する毎に、その要素の特徴量を算出する。個別スコア算出部１８４は、取得部１８１が系列データの要素を取得する毎に、特徴量算出部１８３が算出する特徴量を用いて個別スコアを算出する。
【0119】
統合スコア算出部１８５は、取得部１８１が系列データの要素を取得する毎に、個別スコア算出部１８４が算出する個別スコアを用いて統合スコアを算出する。また、統合スコア算出部１８５は、取得部１８１が系列データの要素を取得する毎に、クラス毎のスコアを算出する。具体的には、統合スコア算出部１８５は、クラスＣ０のスコアとクラスＣ１のスコアとを算出する。
【0120】
統合スコア算出部１８５は、クラス毎のスコアとして、統合スコアと相関性のあるスコアを算出する。統合スコア算出部１８５が、特徴量に基づいて統合スコアおよびクラス毎のスコアを算出することで、統合スコアと相関性のあるスコアを算出し得る。
【0121】
統合スコア算出部１８５が、統合スコアに基づくクラス毎のスコアを算出するようにしてもよい。
例えば、統合スコア算出部１８５が、上記の式（４）から（６）の左辺に示される対数尤度比「ｌｏｇ（ｐ（ｘ（１），ｘ（２），・・・，ｘ（ｔ），｜ｙ＝１）／ｐ（ｘ（１），ｘ（２），・・・，ｘ（ｔ），｜ｙ＝０））」を統合スコアとして算出する場合、この統合スコアをクラスＣ１のスコアとしても使用し、０から統合スコアを減算した値、すなわち、「－ｌｏｇ（ｐ（ｘ（１），ｘ（２），・・・，ｘ（ｔ），｜ｙ＝１）／ｐ（ｘ（１），ｘ（２），・・・，ｘ（ｔ），｜ｙ＝０））」をクラスＣ０のスコアとして算出するようにしてもよい。
例えば、統合スコア算出部１８５が、上記の式（４）から（６）の左辺に示される対数尤度比「ｌｏｇ（ｐ（ｘ（１），ｘ（２），・・・，ｘ（ｔ），｜ｙ＝１）／ｐ（ｘ（１），ｘ（２），・・・，ｘ（ｔ），｜ｙ＝０））」を統合スコアとして算出する場合、この統合スコアをクラスＣ１のスコアとしても使用し、０から統合スコアを減算した値、すなわち、「－ｌｏｇ（ｐ（ｘ（１），ｘ（２），・・・，ｘ（ｔ），｜ｙ＝１）／ｐ（ｘ（１），ｘ（２），・・・，ｘ（ｔ），｜ｙ＝０））」をクラスＣ０のスコアとして算出するようにしてもよい。
【0122】
この場合、クラスＣ１のスコアが０よりも大きいときは、クラスＣ０のスコアは０よりも小さくなる。一方、クラスＣ１のスコアが０よりも小さいときは、クラスＣ０のスコアは０よりも大きくなる。統合スコアが上限閾値または下限閾値に到達してクラス判定部１８７が何れかのクラスを選択する場合、選択されるクラスのスコアは０よりも大きく、選択されないクラスのスコアは０よりも小さい。
【0123】
あるいは、統合スコア算出部１８５が、クラス毎にスコアを算出してスコアの最も高いクラスを選択する公知のクラス分類アルゴリズムに特徴量を適用して、クラス毎のスコアを算出するようにしてもよい。
あるいは、統合スコアが複数の要素に基づいて算出されることに応じて、統合スコア算出部１８５が、要素毎かつクラス毎に得られるスコアをクラス毎に統合したスコアを、クラス毎のスコアとして算出するようにしてもよい。例えば統合スコア算出部１８５が、統合スコアの算出に用いられる全ての要素の特徴量を、それぞれクラス分類アルゴリズムに適用して得られる要素毎かつクラス毎のスコアを、クラス毎に合計または平均して、クラス毎のスコアを算出するようにしてもよい。
統合スコア算出部１８５が、統合スコアの算出に用いる特徴量を用いてクラス毎のスコアを算出することで、クラス判定部１８７が統合スコアに基づいて選択するクラスのスコアが、選択しないクラスのスコアよりも大きいことが期待される。
あるいは、統合スコアが複数の要素に基づいて算出されることに応じて、統合スコア算出部１８５が、要素毎かつクラス毎に得られるスコアをクラス毎に統合したスコアを、クラス毎のスコアとして算出するようにしてもよい。例えば統合スコア算出部１８５が、統合スコアの算出に用いられる全ての要素の特徴量を、それぞれクラス分類アルゴリズムに適用して得られる要素毎かつクラス毎のスコアを、クラス毎に合計または平均して、クラス毎のスコアを算出するようにしてもよい。
統合スコア算出部１８５が、統合スコアの算出に用いる特徴量を用いてクラス毎のスコアを算出することで、クラス判定部１８７が統合スコアに基づいて選択するクラスのスコアが、選択しないクラスのスコアよりも大きいことが期待される。
【0124】
このように、統合スコア算出部１８５が、統合スコアに基づいて選択されるクラスのスコアが選択されないクラスのスコアよりも大きくなるように、クラス毎のスコアを算出する。これにより、正解のクラスが選択される場合は、正解のクラスのスコアは比較的大きい値になる。一方、不正解のクラスが選択される場合は、正解のクラスのスコアは、比較的小さい値になる。
【0125】
そこで、信頼度学習部１９１は、信頼度算出部１９０が統合スコアの信頼度の指標値として正解のクラスのスコアを算出するように、信頼度の指標値の算出の学習を行う。すなわち上記のように、信頼度学習部１９１は、信頼度算出部１９０が算出する信頼度の指標値がクラス毎のスコアのうち正解のクラスのスコアと等しくなるように、あるいは近付くように、信頼度の指標値の算出の学習を行う。
これにより、信頼度算出部１９０が算出する信頼度の指標値が、正解のクラスが選択される場合は比較的大きい値になり、不正解のクラスが選択される場合は比較的小さい値になると期待される。
例えば、信頼度算出部１９０がニューラルネットワークを用いて構成され、信頼度学習部１９１が、公知のニューラルネットワークの学習アルゴリズムを用いて学習を行うようにしてもよいが、これに限定されない。
これにより、信頼度算出部１９０が算出する信頼度の指標値が、正解のクラスが選択される場合は比較的大きい値になり、不正解のクラスが選択される場合は比較的小さい値になると期待される。
例えば、信頼度算出部１９０がニューラルネットワークを用いて構成され、信頼度学習部１９１が、公知のニューラルネットワークの学習アルゴリズムを用いて学習を行うようにしてもよいが、これに限定されない。
【0126】
上記のように、２クラス分類の終了条件成立前にも、信頼度算出部１９０が統合スコアの信頼度の指標値を算出するようにしてもよい。すなわち、分類対象が何れのクラスに属するか不明であり、判定装置１００がさらに系列データの要素を取得して２クラス分類の処理を行う段階でも、信頼度算出部１９０が、統合スコアの信頼度の指標値を算出するようにしてもよい。上述した、統合スコアに基づくクラス毎のスコアの算出方法の例、および、公知のクラス分類アルゴリズムを用いるクラス毎のスコアの算出方法の例の何れも、統合スコアが閾値に到達していない段階でも算出可能である。
【0127】
信頼度評価部１９２は、統合スコアの信頼度が所定の条件よりも低い場合、スコア算出部１８２による統合スコアの算出を中止させる。
これにより、判定装置１００では、分類対象が２つのクラスの何れに属するかの最終判定結果を得られないか、あるいは、得られる最終判定結果が誤っている可能性が高いと見込まれる場合に、比較的早い段階で、２クラス分類の処理を中止することができる。
これにより、判定装置１００では、分類対象が２つのクラスの何れに属するかの最終判定結果を得られないか、あるいは、得られる最終判定結果が誤っている可能性が高いと見込まれる場合に、比較的早い段階で、２クラス分類の処理を中止することができる。
【0128】
上記のように、新たな系列データを取得可能な場合は、判定装置１００が、新たな系列データを取得して２クラス分類の処理をやり直すようにしてもよい。新たな系列を取得できない場合は、判定装置１００が、処理を中断した旨の警報を出力するようにしてもよい。
【0129】
クラス判定部１８７が、統合スコアに加えて、統合スコアの信頼度の指標値に基づいて、２クラス分類の判定結果を決定するようにしてもよい。例えば、統合スコアが上限閾値または下限閾値に到達した場合でも、統合スコアの信頼度が所定の閾値よりも低い場合は、クラス分類の判定結果をクラス未定に決定するようにしてもよい。
これにより、判定装置１００では、統合スコアの信頼度が低い場合、より慎重に判定を行うことができる。具体的には、統合スコアの信頼度が低い場合、判定装置１００が、さらに系列データの要素を待ち受けるようにすることができる。
これにより、判定装置１００では、統合スコアの信頼度が低い場合、より慎重に判定を行うことができる。具体的には、統合スコアの信頼度が低い場合、判定装置１００が、さらに系列データの要素を待ち受けるようにすることができる。
【0130】
残り時間推定部１９３は、クラス判定部１８７が２クラス分類の最終判定結果を、２つのクラスの何れかに決定するまでに要する残り時間の指標値を算出する。
例えば、残り時間推定部１９３が、残り時間の指標値として、統合スコアが統合スコアの上限閾値または下限閾値に到達するまでに要する統合スコアの更新回数の推定値を算出するようにしてもよい。さらに例えば、残り時間推定部１９３が、統合スコアを統合スコアの更新回数で除算して統合スコアの変化量の平均値を算出するようにしてもよい。そして、残り時間推定部１９３が、統合スコアと統合スコアの上限閾値または下限閾値との差を統合スコアの変化量の平均値で除算して、統合スコアが統合スコアの上限閾値または下限閾値に到達するまでに要する統合スコアの更新回数の推定値を算出するようにしてもよい。
上記のように、残り時間推定部１９３が算出する残り時間の指標値を、表示部１２０が表示するようにしてもよい。
例えば、残り時間推定部１９３が、残り時間の指標値として、統合スコアが統合スコアの上限閾値または下限閾値に到達するまでに要する統合スコアの更新回数の推定値を算出するようにしてもよい。さらに例えば、残り時間推定部１９３が、統合スコアを統合スコアの更新回数で除算して統合スコアの変化量の平均値を算出するようにしてもよい。そして、残り時間推定部１９３が、統合スコアと統合スコアの上限閾値または下限閾値との差を統合スコアの変化量の平均値で除算して、統合スコアが統合スコアの上限閾値または下限閾値に到達するまでに要する統合スコアの更新回数の推定値を算出するようにしてもよい。
上記のように、残り時間推定部１９３が算出する残り時間の指標値を、表示部１２０が表示するようにしてもよい。
【0131】
＜第二実施形態＞
第二実施形態から第七実施形態では、判定装置１００が、図１に示す各部のうちの一部を備える場合の例について説明する。第二実施形態から第七実施形態のうち複数の実施形態を組み合わせて実施してもよい。
第二実施形態から第七実施形態では、判定装置１００が、図１に示す各部のうちの一部を備える場合の例について説明する。第二実施形態から第七実施形態のうち複数の実施形態を組み合わせて実施してもよい。
【0132】
図７は、第二実施形態に係る判定装置の機能構成の例を示す概略ブロック図である。図７に示す判定装置１００の構成では、図１に示す判定装置１００の各部のうち、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１７０と、制御部１８０と、取得部１８１と、スコア算出部１８２と、閾値決定部１８６と、クラス判定部１８７とが示されている。
これら各部は、第一実施形態の場合と同様である。
これら各部は、第一実施形態の場合と同様である。
【0133】
図８は、判定装置１００が統合スコアの閾値を動的に変化させて２クラス分類を行う処理手順の例を示すフローチャートである。
図８の処理で、取得部１８１は、系列データの要素を取得する（ステップＳ１１１）。
ステップＳ１１１の後、スコア算出部１８２は、取得部１８１が取得した要素を用いて統合スコアを算出する（ステップＳ１１２）。また、閾値決定部１８６は、統合スコアの上限閾値および下限閾値を決定する（ステップＳ１１３）。
図８の処理で、取得部１８１は、系列データの要素を取得する（ステップＳ１１１）。
ステップＳ１１１の後、スコア算出部１８２は、取得部１８１が取得した要素を用いて統合スコアを算出する（ステップＳ１１２）。また、閾値決定部１８６は、統合スコアの上限閾値および下限閾値を決定する（ステップＳ１１３）。
【0134】
ステップＳ１１２およびステップＳ１１３の後、クラス判定部１８７は、２クラス分類の終了条件が成立しているか否かを判定する（ステップＳ１１４）。終了条件が成立していないとクラス判定部１８７が判定した場合（ステップＳ１１４：ＮＯ）、処理がステップＳ１１１へ戻る。
【0135】
一方、終了条件が成立していると判定した場合（ステップＳ１１４：ＹＥＳ）、クラス判定部１８７は、２クラス分類の最終判定結果を決定し出力する（ステップＳ１１５）。例えば、クラス判定部１８７が、２クラス分類の最終判定結果を表示部１２０に表示させるようにしてもよい。
ステップＳ１１５の後、判定装置１００は、図８の処理を終了する。
ステップＳ１１５の後、判定装置１００は、図８の処理を終了する。
【0136】
以上のように、取得部１８１は、分類対象に関する系列データに含まれる複数の要素を逐次的に取得する。スコア算出部１８２は、取得部１８１が系列データの要素を取得する毎に、分類対象の２クラス分類のための統合スコアを算出する。閾値決定部１８６は、取得部１８１が系列データの要素を取得する毎に、統合スコアの上限閾値および下限閾値を決定する。クラス判定部１８７は、取得部１８１が系列データの要素を取得する毎に、統合スコアと上限閾値および下限閾値との比較に基づいて、２クラス分類の最終判定結果を、２つのクラスの何れかまたはクラス未定に決定する。
【0137】
このように、閾値決定部１８６が統合スコアの上限閾値および下限閾値を決定することで、クラス分類の精度と分類に要する時間との関係を動的に調整できる。特に、閾値決定部１８６が、上限閾値を大きくし、下限閾値を小さくすることで、クラス分類の精度を高めることができる。一方、閾値決定部１８６が、上限閾値を小さくし、下限閾値を大きくすることで、クラス分類に要する残り時間を短くすることができる。
【0138】
閾値決定部１８６が、所定の終了条件が成立する場合に、上限閾値と下限閾値とが同じ値になるように、上限閾値および下限閾値を決定するようにしてもよい。
これにより、判定装置１００が、分類対象を必ず２つのクラスの何れかに分類するようにすることができる。すなわち、判定装置１００が、２クラス分類の最終判定結果をクラス未定に決定することを回避できる。
これにより、判定装置１００が、分類対象を必ず２つのクラスの何れかに分類するようにすることができる。すなわち、判定装置１００が、２クラス分類の最終判定結果をクラス未定に決定することを回避できる。
【0139】
閾値決定部１８６が、取得部１８１が取得する要素の個数の増加に応じて上限閾値が単調減少し、下限閾値が単調増加するように、上限閾値および下限閾値を決定するようにしてもよい。
これにより、判定装置１００は、２クラス分類の最終判定結果を比較的短時間で得られる場合は、より高精度に判定を行い、かつ、２クラス分類の最終判定結果を得られるまでに時間を要する場合は、判定に要する残り時間を短くすることができる。また、判定装置１００が、２クラス分類の最終判定結果をクラス未定に決定する可能性を軽減させることができる。
これにより、判定装置１００は、２クラス分類の最終判定結果を比較的短時間で得られる場合は、より高精度に判定を行い、かつ、２クラス分類の最終判定結果を得られるまでに時間を要する場合は、判定に要する残り時間を短くすることができる。また、判定装置１００が、２クラス分類の最終判定結果をクラス未定に決定する可能性を軽減させることができる。
【0140】
閾値決定部１８６が、取得部１８１が取得する要素の個数の増加に応じて上限閾値が単調う増加し、下限閾値が単調減少するように、上限閾値および下限閾値を決定するようにしてもよい。
これにより、判定装置１００では、統合スコアが急激に増加する場合、および、統合スコアが急激に減少する場合は、２クラス分類の最終判定結果を比較的短時間で得られ、かつ、統合スコアの変化が比較的小さい場合は、より慎重に判定を行うことができる。
これにより、判定装置１００では、統合スコアが急激に増加する場合、および、統合スコアが急激に減少する場合は、２クラス分類の最終判定結果を比較的短時間で得られ、かつ、統合スコアの変化が比較的小さい場合は、より慎重に判定を行うことができる。
【0141】
統合スコアが急激に増加する場合、上限閾値を大きくしても統合スコアが上限閾値に到達し、２クラス分類の最終判定結果は変わらないと予想される。同様に、統合スコアが急激に減少する場合、下限閾値を小さくしても統合スコアが下限閾値に到達し、２クラス分類の最終判定結果は変わらないと予想される。これらの場合、閾値決定部１８６が上限閾値を小さくし、あるいは、下限閾値を大きくすることで、最終判定結果をより速く得られる。
一方、統合スコアの変化が小さい場合、その後の統合スコアの変化次第で、上限閾値、下限閾値の何れにも到達し得る。この場合、閾値決定部１８６が上限閾値を大きくし、下限閾値を小さくすることで、より多くの要素を用いて慎重に判定を行うことができる。
一方、統合スコアの変化が小さい場合、その後の統合スコアの変化次第で、上限閾値、下限閾値の何れにも到達し得る。この場合、閾値決定部１８６が上限閾値を大きくし、下限閾値を小さくすることで、より多くの要素を用いて慎重に判定を行うことができる。
【0142】
＜第三実施形態＞
図９は、第三実施形態に係る判定装置の機能構成の例を示す概略ブロック図である。図９に示す判定装置１００の構成では、図１に示す判定装置１００の各部のうち、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１７０と、制御部１８０と、取得部１８１と、スコア算出部１８２と、クラス判定部１８７と、クラス分類学習部１８８と、学習データ加工部１８９とが示されている。
これら各部は、第一実施形態の場合と同様である。
図９は、第三実施形態に係る判定装置の機能構成の例を示す概略ブロック図である。図９に示す判定装置１００の構成では、図１に示す判定装置１００の各部のうち、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１７０と、制御部１８０と、取得部１８１と、スコア算出部１８２と、クラス判定部１８７と、クラス分類学習部１８８と、学習データ加工部１８９とが示されている。
これら各部は、第一実施形態の場合と同様である。
【0143】
図１０は、判定装置１００が学習データを加工する処理手順の例を示すフローチャートである。
図１０の処理で、学習データ加工部１８９は、学習データを取得する（ステップＳ１２１）。ここでは、学習データ加工部１８９は、系列データと、２クラス分類の正解として２つのクラスの何れかとが紐付けられた学習データを取得する。すなわち、学習データ加工部１８９は、クラス未定の情報が示されていない学習データを取得する。
図１０の処理で、学習データ加工部１８９は、学習データを取得する（ステップＳ１２１）。ここでは、学習データ加工部１８９は、系列データと、２クラス分類の正解として２つのクラスの何れかとが紐付けられた学習データを取得する。すなわち、学習データ加工部１８９は、クラス未定の情報が示されていない学習データを取得する。
【0144】
次に、学習データ加工部１８９は、学習データに含まれる系列データ毎に処理を行うループＬ１を開始する（ステップＳ１２２）。ループＬ１で処理対象になっている系列データを対象系列データと称する。
ループＬ１の処理で、学習データ加工部１８９は、分類器に対象系列データの要素を逐次的に入力した場合の分類結果を取得する（ステップＳ１２３）。
学習データ加工部１８９が、分類器を備えて実際に分類器の要素を入力するようにしてもよい。あるいは、学習データ加工部１８９が、分類器による分類結果の情報を予め取得しておき、その情報から分類結果を読み出すようにしてもよい。
ループＬ１の処理で、学習データ加工部１８９は、分類器に対象系列データの要素を逐次的に入力した場合の分類結果を取得する（ステップＳ１２３）。
学習データ加工部１８９が、分類器を備えて実際に分類器の要素を入力するようにしてもよい。あるいは、学習データ加工部１８９が、分類器による分類結果の情報を予め取得しておき、その情報から分類結果を読み出すようにしてもよい。
【0145】
ここでの分類器は、系列データの要素を逐次的に取得して２クラス分類を行ういろいろな分類器とすることができる。分類結果を２つのクラスの何れかに決定する分類器であってもよい。あるいは、分類結果を２つのクラスの何れか、または、クラス未定に決定する分類器であってもよい。判定装置１００が行う２クラス分類に近い分類結果を出力する分類器であれば、より好ましい。
【0146】
次に、学習データ加工部１８９は、分類器による分類結果が正しいか否かを判定する（ステップＳ１２４）。分類器による分類結果が正解と同じクラスである場合、学習データ加工部１８９は、分類結果が正しいと判定する。一方、分類器による分類結果が正解と異なるクラスである場合、および、分類器による分類結果がクラス未定である場合の何れも、学習データ加工部１８９は、分類結果が正しくないと判定する。
【0147】
分類結果が正しいと判定した場合（ステップＳ１２４：ＹＥＳ）、学習データ加工部１８９は、ループＬ１の終端処理を行う（ステップＳ１２６）。具体的には、学習データ加工部１８９は、学習データに含まれる全ての系列データに対してループＬ１の処理を行ったか否かを判定する。未処理の系列データがあると判定した場合、学習データ加工部１８９は、未処理の系列データに対して引き続きループＬ１の処理を行う。一方、学習データに含まれる全ての系列データに対してループＬ１の処理を行ったと判定した場合、学習データ加工部１８９は、ループＬ１を終了する。
ステップＳ１２６で学習データ加工部１８９がループＬ１を終了した場合、判定装置１００は、図１０の処理を終了する。
ステップＳ１２６で学習データ加工部１８９がループＬ１を終了した場合、判定装置１００は、図１０の処理を終了する。
【0148】
一方、ステップＳ１２４で、分類結果が正しくないと判定した場合（ステップＳ１２４：ＮＯ）、学習データ加工部１８９は、対象系列データに、２クラス分類の正解としてクラス未定を示す情報を紐付ける（ステップＳ１２５）。学習データ加工部１８９が、対象系列データに２クラス分類の正解として元々紐付けられている、２つのクラスの何れかを示す情報を残して、さらにクラス未定を示す情報を紐付けるようにしてもよい。あるいは、学習データ加工部１８９が、対象系列データに２クラス分類の正解として元々紐付けられている、２つのクラスの何れかを示す情報に代えて、クラス未定を示す情報を紐付けるようにしてもよい。
ステップＳ１２５の後、処理がステップＳ１２６へ遷移する。
ステップＳ１２５の後、処理がステップＳ１２６へ遷移する。
【0149】
図１１は、判定装置１００が２クラス分類を行う処理手順の例を示すフローチャートである。
図１１の処理で、取得部１８１は、系列データの要素を取得する（ステップＳ１３１）。
次に、スコア算出部１８２は、取得部１８１が取得した要素を用いて統合スコアを算出する（ステップＳ１３２）。クラス分類学習部１８８による学習によって、スコア算出部１８２が、分類対象が２つのクラスの何れに属するか明確でない要素に対しては、統合スコアの値をあまり変化させないことが期待される。
次に、クラス判定部１８７は、２クラス分類の終了条件が成立しているか否かを判定する（ステップＳ１３３）。終了条件が成立していないとクラス判定部１８７が判定した場合（ステップＳ１３３：ＮＯ）、処理がステップＳ１３１へ戻る。
図１１の処理で、取得部１８１は、系列データの要素を取得する（ステップＳ１３１）。
次に、スコア算出部１８２は、取得部１８１が取得した要素を用いて統合スコアを算出する（ステップＳ１３２）。クラス分類学習部１８８による学習によって、スコア算出部１８２が、分類対象が２つのクラスの何れに属するか明確でない要素に対しては、統合スコアの値をあまり変化させないことが期待される。
次に、クラス判定部１８７は、２クラス分類の終了条件が成立しているか否かを判定する（ステップＳ１３３）。終了条件が成立していないとクラス判定部１８７が判定した場合（ステップＳ１３３：ＮＯ）、処理がステップＳ１３１へ戻る。
【0150】
一方、終了条件が成立していると判定した場合（ステップＳ１３３：ＹＥＳ）、クラス判定部１８７は、２クラス分類の最終判定結果を決定し出力する（ステップＳ１３４）。例えば、クラス判定部１８７が、２クラス分類の最終判定結果を表示部１２０に表示させるようにしてもよい。
ステップＳ１３４の後、判定装置１００は、図１１の処理を終了する。
ステップＳ１３４の後、判定装置１００は、図１１の処理を終了する。
【0151】
以上のように、取得部１８１は、分類対象に関する系列データに含まれる複数の要素を逐次的に取得する。スコア算出部１８２は、取得部１８１が系列データの要素を取得する毎に、分類対象の２クラス分類のための統合スコアを算出する。クラス判定部１８７は、取得部１８１が系列データの要素を取得する毎に、統合スコアと統合スコアの上限閾値および下限閾値との比較に基づいて、２クラス分類の判定結果を、２つのクラスの何れかまたはクラス未定に決定する。クラス分類学習部１８８は、２クラス分類の正解としてクラス未定が示される系列データを含む学習データを用いて、クラス未定が示される系列データに対しては、統合スコアが上限閾値と下限閾値との間の値になるように、統合スコアの算出の学習を行う。
【0152】
これにより、判定装置１００が、分類対象が２つのクラスの何れに属するか明確でない要素に対して、統合スコアをあまり変化させずに次の要素の入力を待ち受けることが期待される。
ここで、２クラス分類の正解として２つのクラスの何れかが示されクラス未定は示されない学習データを用いて統合スコアの算出の学習を行う場合について考える。この場合、スコア算出部１８２が、全ての要素に対して、統合スコアが上限閾値または下限閾値の何れかに近付くように、統合スコアを大きく変化させることが考えられる。
ここで、２クラス分類の正解として２つのクラスの何れかが示されクラス未定は示されない学習データを用いて統合スコアの算出の学習を行う場合について考える。この場合、スコア算出部１８２が、全ての要素に対して、統合スコアが上限閾値または下限閾値の何れかに近付くように、統合スコアを大きく変化させることが考えられる。
【0153】
これに対し、判定装置１００では、スコア算出部１８２が、クラス未定とすることが妥当な要素に対して、上限閾値と下限閾値との間の値を算出することが期待される。したがって、判定装置１００が、分類対象が２つのクラスの何れに属するか明確でない要素に対して、統合スコアをあまり変化させずに次の要素の入力を待ち受けることが期待される。
【0154】
クラス分類学習部１８８が、学習データに含まれる系列データのうちクラス未定が示される系列データに対しては、統合スコアが上限閾値と下限閾値との間の値になる場合に評価が高くなる損失関数を用いて、統合スコアの算出の学習を行うようにしてもよい。
【0155】
これにより、スコア算出部１８２が、クラス未定とすることが妥当な要素に対して、上限閾値と下限閾値との間の値を算出することが期待される。したがって、判定装置１００が、分類対象が２つのクラスの何れに属するか明確でない要素に対して、統合スコアをあまり変化させずに次の要素の入力を待ち受けることが期待される。
【0156】
クラス分類学習部１８８が、学習データの正解で、分類対象が何れかのクラスにも分類されない場合の損失を計算する項を含む損失関数であって、学習データの正解で、分類対象が何れかのクラスに属するとされる場合の損失を計算する関数を参照する損失関数を用いて学習を行うようにしてもよい。
これにより、分類対象が２つのクラスの何れに属するかの判定について公知の手法を用いることができる。
これにより、分類対象が２つのクラスの何れに属するかの判定について公知の手法を用いることができる。
【0157】
学習データ加工部１８９が、系列データと、２クラス分類の正解として２つのクラスの何れかとが紐付けられた学習データについて、所定の分類器を用いて２クラス分類を行った場合の分類結果が正解と異なる場合に、その系列データに、２クラス分類の正解としてクラス未定を示す情報を紐付けるようにしてもよい。
【0158】
これにより、２クラス分類の正解として２つのクラスの何れかが示される系列データだけでなく、クラス不明が示される系列データも含む学習データが得られる。クラス分類学習部１８８が、この学習データを用いて統合スコアの算出の学習を行うことで、上記のように、スコア算出部１８２が、クラス未定とすることが妥当な要素に対して、上限閾値と下限閾値との間の値を算出することが期待される。
【0159】
＜第四実施形態＞
図１２は、第四実施形態に係る判定装置の機能構成の例を示す概略ブロック図である。図１２に示す判定装置１００の構成では、図１に示す判定装置１００の各部のうち、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１７０と、制御部１８０と、取得部１８１と、スコア算出部１８２と、特徴量算出部１８３と、個別スコア算出部１８４と、統合スコア算出部１８５と、クラス判定部１８７と、信頼度算出部１９０と、信頼度学習部１９１と、信頼度評価部１９２とが示されている。
これら各部は、第一実施形態の場合と同様である。
図１２は、第四実施形態に係る判定装置の機能構成の例を示す概略ブロック図である。図１２に示す判定装置１００の構成では、図１に示す判定装置１００の各部のうち、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１７０と、制御部１８０と、取得部１８１と、スコア算出部１８２と、特徴量算出部１８３と、個別スコア算出部１８４と、統合スコア算出部１８５と、クラス判定部１８７と、信頼度算出部１９０と、信頼度学習部１９１と、信頼度評価部１９２とが示されている。
これら各部は、第一実施形態の場合と同様である。
【0160】
図１３は、判定装置１００が分類対象の２クラス分類を行う処理手順の例を示すフローチャートである。図１３の例では、判定装置１００は、統合スコアの信頼度を算出する。
図１３の処理で、取得部１８１は、系列データの要素を取得する（ステップＳ１４１）。
ステップＳ１１１の後、スコア算出部１８２は、取得部１８１が取得した要素を用いて統合スコアを算出する（ステップＳ１４２）。また、信頼度算出部１９０は、統合スコアの信頼度を算出する（ステップＳ１４３）。
図１３の処理で、取得部１８１は、系列データの要素を取得する（ステップＳ１４１）。
ステップＳ１１１の後、スコア算出部１８２は、取得部１８１が取得した要素を用いて統合スコアを算出する（ステップＳ１４２）。また、信頼度算出部１９０は、統合スコアの信頼度を算出する（ステップＳ１４３）。
【0161】
ステップＳ１４２およびステップＳ１４３の後、クラス判定部１８７は、２クラス分類の終了条件が成立しているか否かを判定する（ステップＳ１４４）。終了条件が成立していないとクラス判定部１８７が判定した場合（ステップＳ１４４：ＮＯ）、処理がステップＳ１４１へ戻る。
【0162】
一方、終了条件が成立していると判定した場合（ステップＳ１４４：ＹＥＳ）、クラス判定部１８７は、２クラス分類の最終判定結果を決定し出力する（ステップＳ１４５）。例えば、クラス判定部１８７が、２クラス分類の最終判定結果を表示部１２０に表示させるようにしてもよい。
ステップＳ１４５の後、判定装置１００は、図１３の処理を終了する。
ステップＳ１４５の後、判定装置１００は、図１３の処理を終了する。
【0163】
以上のように、取得部１８１は、分類対象に関する系列データに含まれる複数の要素を逐次的に取得する。スコア算出部１８２は、取得部１８１が系列データの要素を取得する毎に、分類対象の２クラス分類のための統合スコアを算出する。クラス判定部１８７は、取得部１８１が系列データの要素を取得する毎に、統合スコアと統合スコアの上限閾値および下限閾値との比較に基づいて、２クラス分類の最終判定結果を、２つのクラスの何れかまたはクラス未定に決定する。信頼度算出部１９０は、統合スコアの履歴情報、または、統合スコアの算出に用いられる要素の特徴量に基づいて、統合スコアの信頼度の指標値を算出する。
信頼度算出部１９０が、２クラス分類の判定に用いられる統合スコアの信頼度の指標値を算出することで、２クラス分類の判定の妥当性の把握を支援することができる。判定装置１００が、信頼度の指標値をユーザに提示する提示するようにしてもよい。
信頼度算出部１９０が、２クラス分類の判定に用いられる統合スコアの信頼度の指標値を算出することで、２クラス分類の判定の妥当性の把握を支援することができる。判定装置１００が、信頼度の指標値をユーザに提示する提示するようにしてもよい。
【0164】
特徴量算出部１８３が、系列データの要素毎にその要素の特徴量を算出し、統合スコア算出部１８５が、特徴量算出部１８３が算出する特徴量に基づいて統合スコアとクラス毎のスコアとを算出するようにしてもよい。そして、信頼度学習部１９１が、系列データと、その系列データの場合に分類対象が２つのクラスの何れに属するかの正解の情報とが紐付けられた学習データを用いて、信頼度の指標値が、クラス毎のスコアのうち正解のクラスのスコアと等しくなるように、あるいは近付くように、統合スコアの信頼度の指標値の算出の学習を行うようにしてもよい。
これにより、信頼度算出部１９０が算出する信頼度の指標値が、正解のクラスが選択される場合は比較的大きい値になり、不正解のクラスが選択される場合は比較的小さい値になると期待される。
これにより、信頼度算出部１９０が算出する信頼度の指標値が、正解のクラスが選択される場合は比較的大きい値になり、不正解のクラスが選択される場合は比較的小さい値になると期待される。
【0165】
統合スコアの信頼度が所定の条件よりも低い場合、信頼度評価部１９２が、スコア算出部による統合スコアの算出を中止させるようにしてもよい。
これにより、判定装置１００では、分類対象が２つのクラスの何れに属するかの最終判定結果を得られないか、あるいは、得られる最終判定結果が誤っている可能性が高いと見込まれる場合に、比較的早い段階で、２クラス分類の処理を中止することができる。
新たな系列データを取得可能な場合は、判定装置１００が、新たな系列データを取得して２クラス分類の処理をやり直すようにしてもよい。新たな系列を取得できない場合は、判定装置１００が、処理を中断した旨の警報を出力するようにしてもよい。
これにより、判定装置１００では、分類対象が２つのクラスの何れに属するかの最終判定結果を得られないか、あるいは、得られる最終判定結果が誤っている可能性が高いと見込まれる場合に、比較的早い段階で、２クラス分類の処理を中止することができる。
新たな系列データを取得可能な場合は、判定装置１００が、新たな系列データを取得して２クラス分類の処理をやり直すようにしてもよい。新たな系列を取得できない場合は、判定装置１００が、処理を中断した旨の警報を出力するようにしてもよい。
【0166】
クラス判定部１８７が、統合スコアと統合スコアの上限閾値および下限閾値との比較と、信頼度とに基づいて、２クラス分類の判定結果を、２つのクラスの何れかまたはクラス未定に決定するようにしてもよい。
このように、クラス判定部１８７が、統合スコアに加えて統合スコアの信頼度にも基づいて２クラス分類の判定結果を決定することで、統合スコアの信頼度が低い場合、より慎重に判定を行うことができる。具体的には、統合スコアの信頼度が低い場合、判定装置１００が、さらに系列データの要素を待ち受けるようにすることができる。
このように、クラス判定部１８７が、統合スコアに加えて統合スコアの信頼度にも基づいて２クラス分類の判定結果を決定することで、統合スコアの信頼度が低い場合、より慎重に判定を行うことができる。具体的には、統合スコアの信頼度が低い場合、判定装置１００が、さらに系列データの要素を待ち受けるようにすることができる。
【0167】
＜第五実施形態＞
図１４は、第五実施形態に係る判定装置の機能構成の例を示す概略ブロック図である。図１４に示す判定装置１００の構成では、図１に示す判定装置１００の各部のうち、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１７０と、制御部１８０と、取得部１８１と、スコア算出部１８２と、クラス判定部１８７と、残り時間推定部１９３とが示されている。
これら各部は、第一実施形態の場合と同様である。
図１４は、第五実施形態に係る判定装置の機能構成の例を示す概略ブロック図である。図１４に示す判定装置１００の構成では、図１に示す判定装置１００の各部のうち、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１７０と、制御部１８０と、取得部１８１と、スコア算出部１８２と、クラス判定部１８７と、残り時間推定部１９３とが示されている。
これら各部は、第一実施形態の場合と同様である。
【0168】
以上のように、取得部１８１は、分類対象に関する系列データに含まれる複数の要素を逐次的に取得する。スコア算出部１８２は、取得部１８１が系列データの要素を取得する毎に、分類対象の２クラス分類のための統合スコアを算出する。クラス判定部１８７は、取得部１８１が系列データの要素を取得する毎に、統合スコアと統合スコアの上限閾値および下限閾値との比較に基づいて、２クラス分類の判定結果を、２つのクラスの何れかまたはクラス未定に決定する。残り時間推定部１９３は、クラス判定部１８７が２クラス分類の最終判定結果を２つのクラスの何れかに決定するまでに要する残り時間の指標値を算出する。
このように、残り時間推定部１９３が２クラス分類の処理に要する残り時間の指標値を算出することで、処理状況の把握を支援することができる。判定装置１００が、残り時間の指標値をユーザに提示するようにしてもよい。
このように、残り時間推定部１９３が２クラス分類の処理に要する残り時間の指標値を算出することで、処理状況の把握を支援することができる。判定装置１００が、残り時間の指標値をユーザに提示するようにしてもよい。
【0169】
残り時間推定部１９３が、統合スコアを統合スコアの更新回数で除算して統合スコアの変化量の平均値を算出し、統合スコアと統合スコアの上限閾値または下限閾値との差を統合スコアの変化量の平均値で除算して、統合スコアが統合スコアの上限閾値または下限閾値に到達するまでに要する統合スコアの更新回数の推定値を算出するようにしてもよい。
これにより、残り時間推定部１９３は、平均値の算出および除算といった比較的簡単な演算で残り時間の指標値を算出することができる。
これにより、残り時間推定部１９３は、平均値の算出および除算といった比較的簡単な演算で残り時間の指標値を算出することができる。
【0170】
表示部１２０が、残り時間の指標値の大きさをランプの点滅パタンで示すようにしてもよい。
これにより、表示部１２０は、表示画面を用いる必要なしに、ランプといった安価かつコンパクトな表示デバイスを用いて残り時間の指標を表示することができる。例えば、表示部１２０が表示画面を備えていない場合、あるいは、表示部１２０の表示画面が小さい場合でも、残り時間の指標を表示するための、判定装置１００の装置コストの増加、および、判定装置１００の大きさの増加が小さくて済む。
これにより、表示部１２０は、表示画面を用いる必要なしに、ランプといった安価かつコンパクトな表示デバイスを用いて残り時間の指標を表示することができる。例えば、表示部１２０が表示画面を備えていない場合、あるいは、表示部１２０の表示画面が小さい場合でも、残り時間の指標を表示するための、判定装置１００の装置コストの増加、および、判定装置１００の大きさの増加が小さくて済む。
【0171】
表示部１２０が、残り時間の指標値の大きさを、１桁の数字で示す残り時間表示部を備えるようにしてもよい。
これにより、表示部１２０は、表示画面を用いる必要なしに、１個の７セグメントディスプレイといった安価かつコンパクトな表示デバイスを用いて残り時間の指標を表示することができる。例えば、表示部１２０が表示画面を備えていない場合、あるいは、表示部１２０の表示画面が小さい場合でも、残り時間の指標を表示するための、判定装置１００の装置コストの増加、および、判定装置１００の大きさの増加が小さくて済む。
これにより、表示部１２０は、表示画面を用いる必要なしに、１個の７セグメントディスプレイといった安価かつコンパクトな表示デバイスを用いて残り時間の指標を表示することができる。例えば、表示部１２０が表示画面を備えていない場合、あるいは、表示部１２０の表示画面が小さい場合でも、残り時間の指標を表示するための、判定装置１００の装置コストの増加、および、判定装置１００の大きさの増加が小さくて済む。
【0172】
＜第六実施形態＞
第六実施形態では、判定装置１００を画像の加工の有無の判定に用いる場合の例を示す。
図１５は、第六実施形態に係る判定装置の機能構成の例を示す概略ブロック図である。図１５に示す判定装置１００の構成では、図１に示す判定装置１００の各部のうち、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１７０と、制御部１８０と、取得部１８１と、スコア算出部１８２と、クラス判定部１８７とが示されている。
第六実施形態では、判定装置１００を画像の加工の有無の判定に用いる場合の例を示す。
図１５は、第六実施形態に係る判定装置の機能構成の例を示す概略ブロック図である。図１５に示す判定装置１００の構成では、図１に示す判定装置１００の各部のうち、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１７０と、制御部１８０と、取得部１８１と、スコア算出部１８２と、クラス判定部１８７とが示されている。
【0173】
以下では、第六実施形態に係る判定装置１００の各部の処理の、第一実施形態の場合との相違点について説明する。それ以外の点は、第一実施形態の場合と同様である。
第六実施形態に係る判定装置１００が、図１５に示す各部以外にも、図１に示す各部のうち一部を備えていてもよい。あるいは、第六実施形態に係る判定装置１００が、図１に示す各部を全て備えていてもよい。
第六実施形態に係る判定装置１００が、図１５に示す各部以外にも、図１に示す各部のうち一部を備えていてもよい。あるいは、第六実施形態に係る判定装置１００が、図１に示す各部を全て備えていてもよい。
【0174】
取得部１８１は、対象画像の部分画像を取得する。ここでは、対象画像は、加工の有無の判定対象の画像である。対象画像は分類対象の例に該当する。
取得部１８１が取得する部分画像は、系列データの要素の例に該当する。第一実施形態で上述したように、通信部１１０が、判定対象の画像を画像データにて受信し、取得部１８１が、判定対象の画像の部分画像を画像データにて取得するようにしてもよい。
取得部１８１を、部分画像取得部とも称する。
取得部１８１が取得する部分画像は、系列データの要素の例に該当する。第一実施形態で上述したように、通信部１１０が、判定対象の画像を画像データにて受信し、取得部１８１が、判定対象の画像の部分画像を画像データにて取得するようにしてもよい。
取得部１８１を、部分画像取得部とも称する。
【0175】
取得部１８１は、対象画像の部分画像の取得を繰り返す。第一実施形態の場合と同様、取得部１８１が、所定の終了条件が成立するまで対象画像の部分画像の取得を繰り返すようにしてもよい。
取得部１８１が対象画像の部分画像の取得を繰り返す具体的方法は、特定の方法に限定されない。例えば、取得部１８１が、対象画像を複数の部分画像に分割するようにしてもよい。
取得部１８１が対象画像の部分画像の取得を繰り返す具体的方法は、特定の方法に限定されない。例えば、取得部１８１が、対象画像を複数の部分画像に分割するようにしてもよい。
【0176】
この場合、取得部１８１が、分割で得られる複数の部分画像を、対象画像における並び順に従って順番に１つずつ選択するようにしてもよい。あるいは、取得部１８１が、分割で得られる複数の部分画像を、１つずつランダムな順番で選択するようにしてもよい。
【0177】
これにより、判定装置１００が最終判定結果を決定するまでの所要時間が短くて済むと期待される。例えば、顔画像のあごの部分が加工されている場合に、取得部１８１が、顔画像の上のほうから順に部分画像を選択していくと、加工されている部分を含む部分画像を選択するまでに時間を要する。
【0178】
これに対して、取得部１８１が部分画像をランダムな順番で選択する場合、より早いタイミングで加工されている部分を含む部分画像を選択すると期待される。特に、加工されている１つの部分が複数の部分画像におよぶ場合、取得部１８１が部分画像をランダムな順番で選択することで、加工されている部分を含む部分画像のうち１つ以上を選択することが期待される。
【0179】
取得部１８１が対象画像を分割して生成する部分画像の個数およびサイズは、特定のものに限定されない。取得部１８１が対象画像を何個の部分画像に分割するかを実験で予め定めておくようにしてもよい。
取得部１８１が対象画像のうち顔が映っている部分のみを分割するなど、対象画像の一部のみを分割するようにしてもよい。
取得部１８１が対象画像のうち顔が映っている部分のみを分割するなど、対象画像の一部のみを分割するようにしてもよい。
【0180】
対象画像を分割した複数の部分画像を全て選択しても、加工の有無の判定の終了条件が成立しない場合、取得部１８１が、対象画像を別の分割方法で再度分割するようにしてもよい。この場合も、取得部１８１が、分割で得られる複数の部分画像を、対象画像における並び順に従って順番に１つずつ選択するようにしてもよい。あるいは、取得部１８１が、分割で得られる複数の部分画像を、１つずつランダムな順番で選択するようにしてもよい。
【0181】
取得部１８１が、対象画像の分割および部分画像の選択を繰り返すことで、判定装置１００は、任意の精度で加工の有無の判定を行うことができる。すなわち、高い精度での判定が求められ、精度を達成するために多くの部分画像が必要な場合でも、取得部１８１は、必要な個数の部分画像を供給することができる。
【0182】
あるいは、取得部１８１が、対象画像から１つの部分画像を取得する処理を繰り返すようにしてもよい。この場合、取得部１８１が、部分画像を取得する毎に、部分画像の大きさが異なっていてもよい。
また、取得部１８１が、過去に取得した部分画像と一部が重複する部分画像を取得する場合があってもよい。取得部１８１が、対象画像の部分画像として、過去に取得した部分画像のさらに部分画像に相当する画像を取得する場合があってもよい。取得部１８１が、対象画像の部分画像として、過去に取得した部分画像を包含する画像を取得する場合があってもよい。
また、取得部１８１が、過去に取得した部分画像と一部が重複する部分画像を取得する場合があってもよい。取得部１８１が、対象画像の部分画像として、過去に取得した部分画像のさらに部分画像に相当する画像を取得する場合があってもよい。取得部１８１が、対象画像の部分画像として、過去に取得した部分画像を包含する画像を取得する場合があってもよい。
【0183】
スコア算出部１８２は、第一実施形態の場合と同様に、統合スコアを算出する。スコア算出部１８２が算出する統合スコアは、取得部１８１が取得する部分画像の加工の有無に関するスコアとして用いられる。
スコア算出部１８２は、取得部１８１が部分画像を取得する毎に統合スコアを算出する。
スコア算出部１８２は、取得部１８１が部分画像を取得する毎に統合スコアを算出する。
【0184】
クラス判定部１８７は、対象画像を加工有りのクラス、加工無しのクラスの何れかに分類する。これにより、クラス判定部１８７は、対象画像の加工の有無を判定する。
クラス判定部１８７を、加工判定部とも称する。
クラス判定部１８７を、加工判定部とも称する。
【0185】
クラス判定部１８７が、顔画像の加工の有無を判定するようにしてもよい。例えば、クラス判定部１８７が、ある人物の顔画像の一部を別の人物の顔画像の一部で置き換える加工の有無を判定するようにしてもよい。
ある人物の顔画像の一部を別の人物の顔画像の一部で置き換えた加工画像では、別の人物の顔画像が部分的に含まれることで、人が見た場合に、元の顔画像の人物とは別人の顔画像のように見える場合がある。一方、元の顔画像が部分的に含まれていることで、顔認証の際に元の顔画像の人物として認証される可能性がある。
ある人物の顔画像の一部を別の人物の顔画像の一部で置き換えた加工画像では、別の人物の顔画像が部分的に含まれることで、人が見た場合に、元の顔画像の人物とは別人の顔画像のように見える場合がある。一方、元の顔画像が部分的に含まれていることで、顔認証の際に元の顔画像の人物として認証される可能性がある。
【0186】
このように、人が見た場合と機械による判定の場合とで人物の認定が異なることで、加工画像が、顔認証システムを誤認証させるといった不正に利用される可能性がある。
例えば、パスポートの写真または入館証の写真等を用いた顔認証が行われる場合について考える。この場合、写真を不正利用した者は、自らの顔画像と、成りすましたい人物の顔画像とを合成した顔画像を生成し顔認証用に提出する。合成された写真に本人の顔画像の部分が含まれることで、本人に似た画像となり、人（顔認証の係員）が写真と本人とを照合する際、本人の写真であると認められることが考えられる。一方、顔認証システムによる顔認証では、写真に成りすましたい人物の顔画像の部分が含まれることで、成りすましたい人物の場合と同様の特徴量が抽出され、顔認証システムが成りすましたい人物であると誤認証することが考えられる。
例えば、パスポートの写真または入館証の写真等を用いた顔認証が行われる場合について考える。この場合、写真を不正利用した者は、自らの顔画像と、成りすましたい人物の顔画像とを合成した顔画像を生成し顔認証用に提出する。合成された写真に本人の顔画像の部分が含まれることで、本人に似た画像となり、人（顔認証の係員）が写真と本人とを照合する際、本人の写真であると認められることが考えられる。一方、顔認証システムによる顔認証では、写真に成りすましたい人物の顔画像の部分が含まれることで、成りすましたい人物の場合と同様の特徴量が抽出され、顔認証システムが成りすましたい人物であると誤認証することが考えられる。
【0187】
このように、人による照合、顔認証システムによる顔認証の何れにもパスし、不正に出入国あるいは入館等が行われる可能性がある。
これに対し、判定装置１００がこの画像が加工されていることを検出することで、不正を防止できると期待される。
これに対し、判定装置１００がこの画像が加工されていることを検出することで、不正を防止できると期待される。
【0188】
スコア算出部１８２が、例えばディープラーニング（Deep Learning）等のニューラルネットワークを用いて統合スコアを算出する場合、判定したい種類の画像および判定したい種類の加工による学習データを用いて、ニューラルネットワークの学習を行うことで、判定したい種類の画像における判定したい種類の加工の有無の判定精度が高くなると期待される。
学習では、加工されている画像および加工されていない画像の両方が含まれ、加工の有無の正解が示される学習データを用いて教師有り学習を行うようにしてもよい。
学習では、加工されている画像および加工されていない画像の両方が含まれ、加工の有無の正解が示される学習データを用いて教師有り学習を行うようにしてもよい。
【0189】
ただし、対象画像は顔画像に限定されない。また、クラス判定部１８７の判定の対象の加工は、特定の種類の加工に限定されない。
例えば、判定装置１００が、指紋認証に用いられる指紋画像の加工の有無を判定するようにしてもよい。あるいは、判定装置１００が、特定の種類の画像に限らず画像全般について加工の有無を判定するようにしてもよい。
例えば、判定装置１００が、指紋認証に用いられる指紋画像の加工の有無を判定するようにしてもよい。あるいは、判定装置１００が、特定の種類の画像に限らず画像全般について加工の有無を判定するようにしてもよい。
【0190】
【0191】
次に、スコア算出部１８２は、取得部１８１が取得した部分画像の特徴量を抽出する（ステップＳ１５２）。図１の場合と同様、スコア算出部１８２が特徴量を抽出する機能が、特徴量算出部１８３として構成されていてもよい。
スコア算出部１８２は、抽出した特徴量に基づいて統合スコアを算出する（ステップＳ１５３）。
スコア算出部１８２は、抽出した特徴量に基づいて統合スコアを算出する（ステップＳ１５３）。
【0192】
また、クラス判定部１８７は、終了条件が成立しているか否かを判定する（ステップＳ１５４）。終了条件が成立していないと判定した場合（ステップＳ１５４：ＮＯ）、処理がステップＳ１５１に戻る。
一方、終了条件が成立していると判定した場合（ステップＳ１５４：ＹＥＳ）、クラス判定部１８７は、対象画像の加工の有無を判定する（ステップＳ１５５）。
一方、終了条件が成立していると判定した場合（ステップＳ１５４：ＹＥＳ）、クラス判定部１８７は、対象画像の加工の有無を判定する（ステップＳ１５５）。
【0193】
クラス判定部１８７が、最終判定結果を、加工あり、または、加工無しの何れかに決定するようにしてもよい。あるいはクラス判定部１８７が、最終判定結果を、加工有り、加工無し、または、加工有無不明の何れかに決定するようにしてもよい。「加工有無不明」は、第一実施形態における「クラス未定」の例に該当する。第一実施形態で説明したのと同様に、統合スコアの上限閾値および下限閾値の設定、および、クラス分類の終了条件の設定によって、クラス判定部１８７が加工有無不明との最終判定結果に決定することの可否を設定できる。
ステップＳ１５５の後、判定装置１００は、図１６の処理を終了する。
ステップＳ１５５の後、判定装置１００は、図１６の処理を終了する。
【0194】
以上のように、取得部１８１は、対象画像の部分画像の取得を所定の終了条件が成立するまで繰り返す。スコア算出部１８２は、取得部１８１が部分画像を取得する毎に、部分画像の加工の有無に関するスコアとして統合スコアを算出する。クラス判定部１８７は、統合スコアに基づいて対象画像の加工の有無を判定する。
【0195】
これにより、判定装置１００は、対象画像の部分画像を用いた統合スコアの算出を繰り返して、対象画像全体について加工の有無を判定し得る。
また、終了条件の設定によって、判定の精度および判定に要する時間を調整できる。
また、終了条件の設定によって、判定の精度および判定に要する時間を調整できる。
【0196】
また、判定装置１００が、対象画像の部分画像を用いて加工の有無を判定することで、対象画像のどの部分が加工されているかにかかわらず加工されていることを検出できると期待される。
仮に、判定装置１００が対象画像全体に基づいて加工の有無を判定する場合、特定の部分に集中して加工の有無を判定し、他の部分の加工の有無の判定精度が低くなる可能性がある。例えば、判定装置１００が、目の部分が加工されている顔画像が多い学習データを用いて加工の有無の判定の学習を行う場合、目の部分の情報が重み付けされ、他の部分の情報が十分に生かされないように学習を行う可能性がある。
仮に、判定装置１００が対象画像全体に基づいて加工の有無を判定する場合、特定の部分に集中して加工の有無を判定し、他の部分の加工の有無の判定精度が低くなる可能性がある。例えば、判定装置１００が、目の部分が加工されている顔画像が多い学習データを用いて加工の有無の判定の学習を行う場合、目の部分の情報が重み付けされ、他の部分の情報が十分に生かされないように学習を行う可能性がある。
【0197】
これに対し、判定装置１００が、顔画像の部分画像を用いて学習および判定を行う場合、顔のどの部分かではなく、どのような加工の形跡があるかに重点を置いて判定を行うことが期待される。例えば、判定装置１００が、顔のいろいろな部分に関して生じ得る画像の加工の痕跡の有無を判定することが期待される。
【0198】
顔のいろいろな部分に関して生じ得る画像の加工の痕跡の例として、顔の輪郭または目の輪郭など一本であるはずの線が途中で途切れている、または、二重になっていることが挙げられる。もう１つの例として、画像のうち矩形など幾何学的な形状の部分の色合いが、周囲の部分の色合いと不連続になっていることが挙げられる。
これにより上記のように、判定装置１００が、対象画像のどの部分が加工されているかにかかわらず、加工されていることを検出できると期待される。
これにより上記のように、判定装置１００が、対象画像のどの部分が加工されているかにかかわらず、加工されていることを検出できると期待される。
【0199】
また、取得部１８１は、対象画像を複数の部分画像に分割し、得られる複数の部分画像を１つずつランダムな順番で選択する。これにより、判定装置１００が最終判定結果を決定するまでの所要時間が短くて済むと期待される。
【0200】
また、取得部１８１は、対象画像を分割した複数の部分画像を全て選択しても終了条件が成立しない場合、対象画像を別の分割方法で再度分割し、得られる複数の部分画像を１つずつランダムな順番で選択する。
これにより、判定装置１００は、任意の精度で加工の有無の判定を行うことができる。すなわち、高い精度での判定が求められ、精度を達成するために多くの部分画像が必要な場合でも、取得部１８１は、必要な個数の部分画像を供給することができる。
これにより、判定装置１００は、任意の精度で加工の有無の判定を行うことができる。すなわち、高い精度での判定が求められ、精度を達成するために多くの部分画像が必要な場合でも、取得部１８１は、必要な個数の部分画像を供給することができる。
【0201】
＜第七実施形態＞
図１７は、第七実施形態に係る判定装置の機能構成の例を示す概略ブロック図である。図１７に示す判定装置１００の構成では、図１に示す判定装置１００の各部のうち、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１７０と、制御部１８０と、取得部１８１と、スコア算出部１８２と、クラス判定部１８７と、クラス分類学習部１８８とが示されている。
図１７は、第七実施形態に係る判定装置の機能構成の例を示す概略ブロック図である。図１７に示す判定装置１００の構成では、図１に示す判定装置１００の各部のうち、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１７０と、制御部１８０と、取得部１８１と、スコア算出部１８２と、クラス判定部１８７と、クラス分類学習部１８８とが示されている。
【0202】
これら各部は、第一実施形態の場合と同様である。
上述したように、クラス分類学習部１８８が統合スコアの算出の学習に用いる損失関数は、式（７）から式（１２）に示されるものに限定されない。第七実施形態では、クラス分類学習部１８８による統合スコアの算出の学習に用いる損失関数の、もう１つの例について説明する。
上述したように、クラス分類学習部１８８が統合スコアの算出の学習に用いる損失関数は、式（７）から式（１２）に示されるものに限定されない。第七実施形態では、クラス分類学習部１８８による統合スコアの算出の学習に用いる損失関数の、もう１つの例について説明する。
【0203】
第七実施形態では、統合スコアとして上記の式（４）から式（６）の左辺に示される対数尤度比「ｌｏｇ［ｐ（ｘ（１），ｘ（２），…，ｘ（ｔ）｜ｙ＝１）／ｐ（ｘ（１），ｘ（２），…，ｘ（ｔ）｜ｙ＝０）］」を用いる場合について考える。
対数尤度比は、例えば式（５）のように表される。式（５）の右辺第１項の分子「ｐ（ｙ＝１｜ｘ（ｉ），…，ｘ（ｉ－ｎ））」、第１項の分母「ｐ（ｙ＝０｜ｘ（ｉ），…，ｘ（ｉ－ｎ））」、第２項の分子「ｐ（ｙ＝１｜ｘ（ｉ－１），…，ｘ（ｉ－ｎ））」、および、第２項の分母「ｐ（ｙ＝０｜ｘ（ｉ－１），…，ｘ（ｉ－ｎ））」が、ニューラルネットワークの出力となるように、ニューラルネットワークを構成することができるという利点がある。
対数尤度比は、例えば式（５）のように表される。式（５）の右辺第１項の分子「ｐ（ｙ＝１｜ｘ（ｉ），…，ｘ（ｉ－ｎ））」、第１項の分母「ｐ（ｙ＝０｜ｘ（ｉ），…，ｘ（ｉ－ｎ））」、第２項の分子「ｐ（ｙ＝１｜ｘ（ｉ－１），…，ｘ（ｉ－ｎ））」、および、第２項の分母「ｐ（ｙ＝０｜ｘ（ｉ－１），…，ｘ（ｉ－ｎ））」が、ニューラルネットワークの出力となるように、ニューラルネットワークを構成することができるという利点がある。
【0204】
ここで、対数尤度比を確率密度比として捉え、密度比推定手法であるＫＬＥＡＰ（Kullback-Leibler Importance Estimation Procedure）を用いて対数尤度比を推定することを考える。
ＫＬＥＡＰは、ＫＬ距離（Kullback-Leibler Divergence）を最小化することで確率密度比を推定する方法であり、任意の確率ｐとｑとのＫＬ距離は、式（１３）のように示される。
ＫＬＥＡＰは、ＫＬ距離（Kullback-Leibler Divergence）を最小化することで確率密度比を推定する方法であり、任意の確率ｐとｑとのＫＬ距離は、式（１３）のように示される。
【0205】
【数13】
【0206】
また、分類対象がクラスＣ１に属する確率の真値を「ｐ（Ｘ｜ｙ＝１）」と表記し、その推定値を「ｐ＾（Ｘ｜ｙ＝１）」と表記する。分類対象がクラスＣ０に属する確率の真値を「ｐ（Ｘ｜ｙ＝０）」と表記し、その推定値を「ｐ＾（Ｘ｜ｙ＝０）」と表記する。
推定したい確率密度比の真値は、「ｐ（Ｘ｜ｙ＝１）／ｐ（Ｘ｜ｙ＝０）」と表記される。また、推定したい確率密度比の分子に推定値を用い、分母に真値を用いた「ｐ＾（Ｘ｜ｙ＝１）／ｐ（Ｘ｜ｙ＝０）」をｒ＾（Ｘ）と表記すると、式（１４）のように示される。
推定したい確率密度比の真値は、「ｐ（Ｘ｜ｙ＝１）／ｐ（Ｘ｜ｙ＝０）」と表記される。また、推定したい確率密度比の分子に推定値を用い、分母に真値を用いた「ｐ＾（Ｘ｜ｙ＝１）／ｐ（Ｘ｜ｙ＝０）」をｒ＾（Ｘ）と表記すると、式（１４）のように示される。
【0207】
【数14】
【0208】
ｐ（Ｘ｜ｙ＝１）とｐ＾（Ｘ｜ｙ＝１）とのＫＬ距離を最小化することで、ｐ＾（Ｘ｜ｙ＝１）をｐ（Ｘ｜ｙ＝１）に近付けることを考える。
式（１４）は、「ｐ＾（Ｘ｜ｙ＝０）＝ｐ（Ｘ｜ｙ＝０）ｒ＾（Ｘ）」とすることができ、これを用いると、ｐ＾（Ｘ｜ｙ＝１）とｐ（Ｘ｜ｙ＝１）とのＫＬ距離は、式（１５）のように表される。
式（１４）は、「ｐ＾（Ｘ｜ｙ＝０）＝ｐ（Ｘ｜ｙ＝０）ｒ＾（Ｘ）」とすることができ、これを用いると、ｐ＾（Ｘ｜ｙ＝１）とｐ（Ｘ｜ｙ＝１）とのＫＬ距離は、式（１５）のように表される。
【0209】
【数15】
【0210】
式（１５）の最小化は、推定値を含むｒ＾（Ｘ）の最小化として式（１６）のように示される。
【0211】
【数16】
【0212】
式（１６）のｌｏｇの中の項を展開し、ｒ＾（Ｘ）との関係で定数と見做せる項を無視すると式（１７）のように表される。
【0213】
【数17】
【0214】
すなわち、式（１６）で示される最小化問題を、式（１７）で示される最小化問題に置き換えることができる。
式（１７）の「ｍｉｎ」の括弧の中は、「－∫ｐ（Ｘ｜ｙ＝１）ｌｏｇ（ｒ＾（Ｘ））ｄｘ」と表され、期待値として扱うことができる。この期待値を計算する際の確率はｐ（Ｘ｜ｙ＝１）なので、学習データに適用する場合は、ラベルｙ＝１のデータＸ、すなわち、正解がクラスＣ１と示されるデータを用いて計算することになる。したがって、式（１７）で示される最小化問題を、式（１８）の値を最小化する問題に置き換えることができる。
式（１７）の「ｍｉｎ」の括弧の中は、「－∫ｐ（Ｘ｜ｙ＝１）ｌｏｇ（ｒ＾（Ｘ））ｄｘ」と表され、期待値として扱うことができる。この期待値を計算する際の確率はｐ（Ｘ｜ｙ＝１）なので、学習データに適用する場合は、ラベルｙ＝１のデータＸ、すなわち、正解がクラスＣ１と示されるデータを用いて計算することになる。したがって、式（１７）で示される最小化問題を、式（１８）の値を最小化する問題に置き換えることができる。
【0215】
【数18】
【0216】
同様に、ｐ（Ｘ｜ｙ＝０）とｐ＾（Ｘ｜ｙ＝０）とのＫＬ距離の最小化から式（１９）を得られる。
【0217】
【数19】
【0218】
式（１８）および式（１９）の値の最小化を、クラス分類学習部１８８による統合スコアの計算の学習に適用することを考える。そのために、式（１８）および式（１９）を用いて損失関数を構成し最小化することを考える。
ただし、式（１９）および式（１８）に重み係数λ０およびλ１を付加した式（２０）を損失関数として用いたのでは、学習が収束しない傾向にある。
ただし、式（１９）および式（１８）に重み係数λ０およびλ１を付加した式（２０）を損失関数として用いたのでは、学習が収束しない傾向にある。
【0219】
【数20】
【0220】
これは、ｌｏｇ（ｒ＾（ｘ（ｉ）））の値域が（－∞，∞）であり、第１項、第２項の何れも任意に小さくできることで、学習が特殊解に陥ってしまうためである。
そこで、各項の値域を有限にすることを考える。
ここでは、尤度比を式（２１）のようにｒ＾と表記する。
そこで、各項の値域を有限にすることを考える。
ここでは、尤度比を式（２１）のようにｒ＾と表記する。
【0221】
【数21】
【0222】
例えば、クラス分類学習部１８８が、式（２２）に示される損失関数ＬＯＳＳを用いて学習を行うようにしてもよい。
【0223】
【数22】
【0224】
σは、シグモイド関数を示す。
クラス分類学習部１８８が、式（２２）に示される損失関数を用いることで、正解としてクラスＣ１が示される系列データに対しては、シグモイド関数の値を１に近付けるために対数尤度比ｌｏｇ（ｒ＾）の値がなるべく大きくなるように学習を行う。
スコア算出部１８２が、統合スコアとしての対数尤度比を大きい値に算出することで、統合スコアが上限閾値に近付きやすくなる。
クラス分類学習部１８８が、式（２２）に示される損失関数を用いることで、正解としてクラスＣ１が示される系列データに対しては、シグモイド関数の値を１に近付けるために対数尤度比ｌｏｇ（ｒ＾）の値がなるべく大きくなるように学習を行う。
スコア算出部１８２が、統合スコアとしての対数尤度比を大きい値に算出することで、統合スコアが上限閾値に近付きやすくなる。
【0225】
正解としてクラスＣ０が示される系列データに対しては、クラス分類学習部１８８は、シグモイド関数の値を０に近付けるために対数尤度比ｌｏｇ（ｒ＾）の値がなるべく小さくなるように学習を行う。
スコア算出部１８２が、統合スコアとしての対数尤度比を小さい値に算出することで、統合スコアが下限閾値に近付きやすくなる。
スコア算出部１８２が、統合スコアとしての対数尤度比を小さい値に算出することで、統合スコアが下限閾値に近付きやすくなる。
【0226】
式（２２）に示される損失関数と従来のクラス分類手法における損失関数とを併用することで、学習が収束し、式（２２）の損失関数を用いない場合よりもクラス分類の精度が向上することが確認されている。
第二実施形態で説明した、正解としてクラス未定が示される系列データを含む学習データを用いた学習を行う場合は、クラス分類学習部１８８が、式（２３）に示される損失関数ＬＯＳＳを用いて学習を行うようにしてもよい。
第二実施形態で説明した、正解としてクラス未定が示される系列データを含む学習データを用いた学習を行う場合は、クラス分類学習部１８８が、式（２３）に示される損失関数ＬＯＳＳを用いて学習を行うようにしてもよい。
【0227】
【数23】
【0228】
式（２３）に示される損失関数ＬＯＳＳでは、正解としてクラス未定が示される系列データに対応する右辺第３項が設けられている。この右辺第３項により、クラス分類学習部１８８は、正解としてクラス未定が示されるデータ系列に対して、シグモイド関数の値を０．５に近付けるために対数尤度比ｌｏｇ（ｒ＾）の値が０に近付くように学習を行う。
【0229】
対数尤度比が０に近い場合、分類対象がクラスＣ０に属する尤度と、分類対象がクラスＣ１に属する尤度とが同じぐらいの大きさであることになる。この場合、クラス判定部１８７が、２クラス分類の判定結果をクラス未定に決定することが妥当と考えられる。
スコア算出部１８２が、統合スコアとしての対数尤度比を０に近い値に計算することで、統合スコアが上限閾値と下限閾値との間の値となり、クラス判定部１８７が、２クラス分類の判定結果をクラス未定に決定することが期待される。
スコア算出部１８２が、統合スコアとしての対数尤度比を０に近い値に計算することで、統合スコアが上限閾値と下限閾値との間の値となり、クラス判定部１８７が、２クラス分類の判定結果をクラス未定に決定することが期待される。
【0230】
損失関数の項の値域を有限にするための関数は、シグモイド関数に限定されず、値域が有限ないろいろな関数とすることができる。
損失関数の項の値域を有限にするための関数として微分可能な関数を用いることで、逆誤差伝播法（Back Propagation）等の学習方法を適用できることが期待される。
損失関数の項の値域を有限にするための関数として微分可能な関数を用いることで、逆誤差伝播法（Back Propagation）等の学習方法を適用できることが期待される。
【0231】
クラス分類学習部１８８が統合スコアの算出の学習に用いる系列データの要素の個数は１つ以上であればよい。したがって、学習データの系列データに複数の要素が含まれる場合、クラス分類学習部１８８が、複数の要素を全て用いて学習を行うようにしてもよいし、複数の要素のうち一部のみを用いて学習を行うようにしてもよい。
【0232】
例えば、クラス分類学習部１８８が、系列データに含まれる要素のうち１つの要素のみを用いて学習を行うようにしてもよい。したがって、クラス分類学習部１８８が、系列データではなく単体のデータに正解の情報が紐付けられた学習データを用いてスコアの算出を学習するようにしてもよい。すなわち、クラス分類学習部１８８が、系列データではなく単体のデータによるクラス分類のためのスコアの算出の学習を行うようにしてもよい。
【0233】
例えば、系列データの要素数が多く学習に時間がかかると予想される場合、クラス分類学習部１８８が、系列データの要素のうち所定の個数の要素のみを使用して学習を行うように、ユーザが設定操作を行えるようにしてもよい。
また、系列データに、学習に使用したい要素と使用したくない要素とが含まれる場合、ユーザが、クラス分類学習部１８８に使用させる特定の要素を選択できるようにしてもよい。
また、系列データに、学習に使用したい要素と使用したくない要素とが含まれる場合、ユーザが、クラス分類学習部１８８に使用させる特定の要素を選択できるようにしてもよい。
【0234】
クラス分類学習部１８８を備える判定装置１００は、学習装置の例に該当する。あるいは、クラス分類学習部１８８が、判定装置１００とは別の学習装置として構成されていてもよい。
【0235】
以上のように、クラス分類学習部１８８は、分類対象が第１クラスに属する尤度と、分類対象が第２クラスに属する尤度との比の対数である対数尤度比を、値域が有限である関数に入力して得られる関数値と、分類対象のクラス分類の正解に紐付けられる定数との差の大きさが小さいほど損失が小さく算出される損失関数を用いて、分類対象のクラス分類の学習を行う。
【0236】
判定装置１００によれば、クラス分類学習部１８８が行うクラス分類の機械学習に確率密度を推定するための技術を反映させることができる。これにより、学習データが示すクラス間の確率密度比が機械学習で得られるモデルに反映され、この点で、高精度なモデルを得られることが期待される。確率密度比を学習のための損失関数に反映させるための対数尤度比を、値域が有限な関数に入力することで、損失関数の項の値域を有限にすることができ、学習が収束することが期待される。
【0237】
クラス分類学習部１８８が、分類対象に関する系列データと、系列データ毎に分類対象のクラス分類の正解を示す情報とを含むデータを用いて、系列データの要素に基づく場合の損失関数の値と、正解を示す情報とを用いて分類対象のクラス分類の学習を行うようにしてもよい。
これにより、クラス分類学習部１８８は、系列データの要素を逐次的に取得する毎に、２クラス分類の判定結果を２つのクラスの何れかまたはクラス未定に決定するクラス分類の学習を行うことができる。
これにより、クラス分類学習部１８８は、系列データの要素を逐次的に取得する毎に、２クラス分類の判定結果を２つのクラスの何れかまたはクラス未定に決定するクラス分類の学習を行うことができる。
【0238】
クラス分類学習部１８８が、系列データの複数の要素のうち一部の要素に基づく場合の損失関数の値と、正解を示す情報とを用いて分類対象のクラス分類の学習を行う。
これにより、ユーザは、クラス分類学習部１８８が学習に用いる要素の個数を調整することができる。例えば、系列データに含まれる要素の個数が多く学習に時間がかかると予想される場合、ユーザが学習に用いる要素の個数を指定して学習時間の短縮を図るようにしてもよい。
また、ユーザは、クラス分類学習部１８８が学習に用いる要素を指定することができる。例えば、系列データに、学習に使用したい要素と使用したくない要素とが含まれる場合、ユーザは、クラス分類学習部１８８に使用させる特定の要素を選択することができる。
これにより、ユーザは、クラス分類学習部１８８が学習に用いる要素の個数を調整することができる。例えば、系列データに含まれる要素の個数が多く学習に時間がかかると予想される場合、ユーザが学習に用いる要素の個数を指定して学習時間の短縮を図るようにしてもよい。
また、ユーザは、クラス分類学習部１８８が学習に用いる要素を指定することができる。例えば、系列データに、学習に使用したい要素と使用したくない要素とが含まれる場合、ユーザは、クラス分類学習部１８８に使用させる特定の要素を選択することができる。
【0239】
＜第八実施形態＞
図１８は、第八実施形態に係る判定装置の構成例を示す図である。
図１８に示す構成で、学習装置２１０は、クラス分類学習部２１１を備える。
かかる構成で、クラス分類学習部２１１は、分類対象が第１クラスに属する尤度と、分類対象が第２クラスに属する尤度との比の対数である対数尤度比を、値域が有限である関数に入力して得られる関数値と、分類対象のクラス分類の正解に紐付けられる定数との差の大きさが小さいほど損失が小さく算出される損失関数を用いて、分類対象のクラス分類の学習を行う。
学習装置２１０によれば、クラス分類学習部１８８が行うクラス分類の機械学習に確率密度を推定するための技術を反映させることができる。これにより、学習データが示すクラス間の確率密度比が機械学習で得られるモデルに反映され、この点で、高精度なモデルを得られることが期待される。確率密度比を学習のための損失関数に反映させるための対数尤度比を、値域が有限な関数に入力することで、損失関数の項の値域を有限にすることができ、学習が収束することが期待される。
図１８は、第八実施形態に係る判定装置の構成例を示す図である。
図１８に示す構成で、学習装置２１０は、クラス分類学習部２１１を備える。
かかる構成で、クラス分類学習部２１１は、分類対象が第１クラスに属する尤度と、分類対象が第２クラスに属する尤度との比の対数である対数尤度比を、値域が有限である関数に入力して得られる関数値と、分類対象のクラス分類の正解に紐付けられる定数との差の大きさが小さいほど損失が小さく算出される損失関数を用いて、分類対象のクラス分類の学習を行う。
学習装置２１０によれば、クラス分類学習部１８８が行うクラス分類の機械学習に確率密度を推定するための技術を反映させることができる。これにより、学習データが示すクラス間の確率密度比が機械学習で得られるモデルに反映され、この点で、高精度なモデルを得られることが期待される。確率密度比を学習のための損失関数に反映させるための対数尤度比を、値域が有限な関数に入力することで、損失関数の項の値域を有限にすることができ、学習が収束することが期待される。
【0240】
【0241】
クラス分類学習工程（ステップＳ１１）では、分類対象が第１クラスに属する尤度と、分類対象が第２クラスに属する尤度との比の対数である対数尤度比を、値域が有限である関数に入力して得られる関数値と、分類対象のクラス分類の正解に紐付けられる定数との差の大きさが小さいほど損失が小さく算出される損失関数を用いて、分類対象のクラス分類の学習を行う。
【0242】
図１９に示す学習方法によれば、クラス分類の機械学習に確率密度を推定するための技術を反映させることができる。これにより、学習データが示すクラス間の確率密度比が機械学習で得られるモデルに反映され、この点で、高精度なモデルを得られることが期待される。確率密度比を学習のための損失関数に反映させるための対数尤度比を、値域が有限な関数に入力することで、損失関数の項の値域を有限にすることができ、学習が収束することが期待される。
【0243】
図２０は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
図２０に示す構成で、コンピュータ７００は、ＣＰＵ７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０とを備える。
上記の判定装置１００、学習装置２１０のうち何れか１つ以上が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。各装置と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。
図２０に示す構成で、コンピュータ７００は、ＣＰＵ７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０とを備える。
上記の判定装置１００、学習装置２１０のうち何れか１つ以上が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。各装置と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。
【0244】
判定装置１００がコンピュータ７００に実装される場合、制御部１８０およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0245】
また、ＣＰＵ７１０は、プログラムに従って、記憶部１７０に対応する記憶領域を主記憶装置７２０に確保する。通信部１１０が行う通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。表示部１２０の機能は、インタフェース７４０が表示画面を備え、ＣＰＵ７１０の制御に従って表示画面に画像を表示することで実行される。操作入力部１３０の機能は、インタフェース７４０が入力デバイスを備えてユーザ操作を受け付けることで実行される。
【0246】
学習装置２１０がコンピュータ７００に実装される場合、クラス分類学習部２１１の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0247】
なお、判定装置１００、および、学習装置２１０が行う処理の全部または一部を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0248】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【0249】
本発明の実施形態は、判定装置、判定方法および記録媒体に適用してもよい。
【符号の説明】
【0250】
１００ 判定装置
１１０ 通信部
１２０ 表示部
１３０ 操作入力部
１７０ 記憶部
１８０ 制御部
１８１ 取得部
１８２ スコア算出部
１８３ 特徴量算出部
１８４ 個別スコア算出部
１８５ 統合スコア算出部
１８６ 閾値決定部
１８７ クラス判定部
１８８ クラス分類学習部
１８９ 学習データ加工部
１９０ 信頼度算出部
１９１ 信頼度学習部
１９２ 信頼度評価部
１９３ 残り時間推定部
１１０ 通信部
１２０ 表示部
１３０ 操作入力部
１７０ 記憶部
１８０ 制御部
１８１ 取得部
１８２ スコア算出部
１８３ 特徴量算出部
１８４ 個別スコア算出部
１８５ 統合スコア算出部
１８６ 閾値決定部
１８７ クラス判定部
１８８ クラス分類学習部
１８９ 学習データ加工部
１９０ 信頼度算出部
１９１ 信頼度学習部
１９２ 信頼度評価部
１９３ 残り時間推定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】