知財求人 - 知財ポータルサイト「IP Force」
特開2024-165052サンプルデータにラベルを付与する能動学習のプログラム、装置及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024165052
(43)【公開日】2024-11-28
(54)【発明の名称】サンプルデータにラベルを付与する能動学習のプログラム、装置及び方法
(51)【国際特許分類】
G06F 16/906 20190101AFI20241121BHJP
G06N 3/091 20230101ALI20241121BHJP
【ＦＩ】
G06F16/906
G06N3/091
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2023080878
(22)【出願日】2023-05-16
(71)【出願人】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】100135068
【弁理士】
【氏名又は名称】早原 茂樹
(72)【発明者】
【氏名】西村 康孝
(72)【発明者】
【氏名】武田 直人
(72)【発明者】
【氏名】池田 和史
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175DA10
5B175HB03
(57)【要約】
【課題】分類タスクの全クラスについてラベル有りサンプルデータを早急に蓄積するべく、サンプルデータにラベルを付与することができるプログラム等を提供する。
【解決手段】サンプルデータを説明変数とし、ラベルを目的変数として訓練するクラス分類モデルを持つ機械学習エンジンと、クラスに対応するラベル毎に、各特徴量の知識条件を記憶した知識条件記憶手段と、ラベル有りサンプルデータ蓄積手段に、ラベル有りサンプルデータが所定個未満となる空クラスが存在する場合、空クラスを特定する空クラス特定手段と、知識条件記憶手段を用いて、ラベル無しサンプルデータの群から、当該空クラスに対応するラベルの一部又は全部の特徴量jの知識条件と所定類似度以上となるラベル無しサンプルデータを検索するサンプルデータ検索手段と、検索されたラベル無しサンプルデータに、能動学習としての確認フラグを付与する確認フラグ付与手段とを有する。
【選択図】図１
【解決手段】サンプルデータを説明変数とし、ラベルを目的変数として訓練するクラス分類モデルを持つ機械学習エンジンと、クラスに対応するラベル毎に、各特徴量の知識条件を記憶した知識条件記憶手段と、ラベル有りサンプルデータ蓄積手段に、ラベル有りサンプルデータが所定個未満となる空クラスが存在する場合、空クラスを特定する空クラス特定手段と、知識条件記憶手段を用いて、ラベル無しサンプルデータの群から、当該空クラスに対応するラベルの一部又は全部の特徴量jの知識条件と所定類似度以上となるラベル無しサンプルデータを検索するサンプルデータ検索手段と、検索されたラベル無しサンプルデータに、能動学習としての確認フラグを付与する確認フラグ付与手段とを有する。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数の特徴量j（j=1～N）のベクトルからなる複数のサンプルデータＸi＝｛ｘi,1、ｘi,2、・・・、ｘi,N｝について、ラベル有りサンプルデータの群を用いて、ラベル無しサンプルデータの群にラベルを付与するようにコンピュータを機能させるプログラムにおいて、
ラベル有りサンプルデータＸiを蓄積したラベル有りサンプルデータ蓄積手段と、
ラベル有りサンプルデータ蓄積手段を用いて、サンプルデータＸiを説明変数とし、ラベルＹk（k＝1～L）を目的変数として訓練するクラス分類モデルを持つ機械学習エンジンと、
クラスに対応するラベルＹk毎に、各特徴量jの知識条件を記憶した知識条件記憶手段と、
ラベル有りサンプルデータ蓄積手段に、ラベル有りサンプルデータが所定個未満となる空クラスが存在する場合、当該空クラスを特定する空クラス特定手段と、
知識条件記憶手段を用いて、ラベル無しサンプルデータの群から、当該空クラスに対応するラベルＹclass_targetの一部又は全部の特徴量jの知識条件と所定類似度以上となるラベル無しサンプルデータを検索するサンプルデータ検索手段と、
検索されたラベル無しサンプルデータに、能動学習としての確認フラグを付与する確認フラグ付与手段と
してコンピュータを機能させることを特徴とするプログラム。
ラベル有りサンプルデータＸiを蓄積したラベル有りサンプルデータ蓄積手段と、
ラベル有りサンプルデータ蓄積手段を用いて、サンプルデータＸiを説明変数とし、ラベルＹk（k＝1～L）を目的変数として訓練するクラス分類モデルを持つ機械学習エンジンと、
クラスに対応するラベルＹk毎に、各特徴量jの知識条件を記憶した知識条件記憶手段と、
ラベル有りサンプルデータ蓄積手段に、ラベル有りサンプルデータが所定個未満となる空クラスが存在する場合、当該空クラスを特定する空クラス特定手段と、
知識条件記憶手段を用いて、ラベル無しサンプルデータの群から、当該空クラスに対応するラベルＹclass_targetの一部又は全部の特徴量jの知識条件と所定類似度以上となるラベル無しサンプルデータを検索するサンプルデータ検索手段と、
検索されたラベル無しサンプルデータに、能動学習としての確認フラグを付与する確認フラグ付与手段と
してコンピュータを機能させることを特徴とするプログラム。
【請求項2】
確認フラグ付与手段は、確認フラグが付与されたラベル無しサンプルデータをユーザインタフェースへ出力し、ユーザにラベルＹkを付与させ、
ラベル有りサンプルデータ蓄積手段は、ユーザによってラベルＹkが付与されたラベル有りサンプルデータを蓄積する
ようにコンピュータを機能させることを特徴とする請求項１に記載のプログラム。
ラベル有りサンプルデータ蓄積手段は、ユーザによってラベルＹkが付与されたラベル有りサンプルデータを蓄積する
ようにコンピュータを機能させることを特徴とする請求項１に記載のプログラム。
【請求項3】
空クラスに対応するラベルＹclass_targetにおける一部の特徴量jの知識条件の項目をユーザインタフェースへ出力し、ユーザによって入力された知識条件によって知識条件記憶手段を更新する知識条件更新手段と
してコンピュータを機能させることを特徴とする請求項１又は２に記載のプログラム。
してコンピュータを機能させることを特徴とする請求項１又は２に記載のプログラム。
【請求項4】
知識条件記憶手段に、空クラスに対応するラベルＹclass_targetについて知識条件が記憶されているが、ラベル有りサンプルデータ蓄積手段に、ラベル有りサンプルデータが所定個未満となる空クラスが存在する場合、
サンプルデータ検索手段は、空クラスに対応するラベルＹclass_targetの一部又は全部の特徴量jの知識条件と最も類似するラベル無しサンプルデータを選択する
ようにコンピュータを機能させることを特徴とする請求項１に記載のプログラム。
サンプルデータ検索手段は、空クラスに対応するラベルＹclass_targetの一部又は全部の特徴量jの知識条件と最も類似するラベル無しサンプルデータを選択する
ようにコンピュータを機能させることを特徴とする請求項１に記載のプログラム。
【請求項5】
知識条件記憶手段に、空クラスに対応するラベルＹclass_targetについて知識条件が記憶されていない場合、
サンプルデータ検索手段は、ラベル有りサンプルデータ蓄積手段の中で複数のラベル有りサンプルデータの特徴量と最も類似度が低い特徴量を持つラベル無しサンプルデータを検索する
ようにコンピュータを機能させることを特徴とする請求項１に記載のプログラム。
サンプルデータ検索手段は、ラベル有りサンプルデータ蓄積手段の中で複数のラベル有りサンプルデータの特徴量と最も類似度が低い特徴量を持つラベル無しサンプルデータを検索する
ようにコンピュータを機能させることを特徴とする請求項１に記載のプログラム。
【請求項6】
ラベル有りサンプルデータを作成する進行段階を管理する進行管理手段を更に有し、
進行管理手段は、
ラベル有りサンプルデータの総数が所定数未満となる第１のフェーズと、
ラベル有りサンプルデータの総数が所定数以上であって、且つ、ラベル有りサンプルデータが所定個未満となる空クラスが存在する第２のフェーズと、
ラベル有りサンプルデータの総数が所定数以上であって、且つ、ラベル有りサンプルデータが所定個未満となる空クラスが存在しない第３のフェーズと
を管理しており、
第２のフェーズについて、空クラス特定手段、サンプルデータ検索手段及び確認フラグ付与手段を実行する
ようにコンピュータを機能させることを特徴とする請求項１に記載のプログラム。
進行管理手段は、
ラベル有りサンプルデータの総数が所定数未満となる第１のフェーズと、
ラベル有りサンプルデータの総数が所定数以上であって、且つ、ラベル有りサンプルデータが所定個未満となる空クラスが存在する第２のフェーズと、
ラベル有りサンプルデータの総数が所定数以上であって、且つ、ラベル有りサンプルデータが所定個未満となる空クラスが存在しない第３のフェーズと
を管理しており、
第２のフェーズについて、空クラス特定手段、サンプルデータ検索手段及び確認フラグ付与手段を実行する
ようにコンピュータを機能させることを特徴とする請求項１に記載のプログラム。
【請求項7】
第１のフェーズでは、Randomサンプリング方式又はDiversityサンプリング方式によって、ラベル無しサンプルデータに、能動学習としてユーザにラベルを付与させ、
第３のフェーズでは、Uncertaintyサンプリング方式によって、ラベル無しサンプルデータにラベルを付与する
ようにコンピュータを機能させることを特徴とする請求項６に記載のプログラム。
第３のフェーズでは、Uncertaintyサンプリング方式によって、ラベル無しサンプルデータにラベルを付与する
ようにコンピュータを機能させることを特徴とする請求項６に記載のプログラム。
【請求項8】
複数のセンサにおけるセンサデータを、複数の特徴量jのベクトルからなるサンプルデータＸiに変換する特徴量ベクトル変換手段と
してコンピュータを機能させることを特徴とする請求項１又は２に記載のプログラム。
してコンピュータを機能させることを特徴とする請求項１又は２に記載のプログラム。
【請求項9】
特徴量ベクトル変換手段は、複数のセンサによって検知された時系列のイベントをスライディングウィンドウによって複数のセンサデータに区分し、センサデータをサンプルデータＸiに変換する
ようにコンピュータを機能させることを特徴とする請求項８に記載のプログラム。
ようにコンピュータを機能させることを特徴とする請求項８に記載のプログラム。
【請求項10】
センサは、室内に配置されたものであり、
ラベルは、室内の人の行動認識に対応するものである
ようにコンピュータを機能させることを特徴とする請求項９に記載のプログラム。
ラベルは、室内の人の行動認識に対応するものである
ようにコンピュータを機能させることを特徴とする請求項９に記載のプログラム。
【請求項11】
複数の特徴量j（j=1～N）のベクトルからなる複数のサンプルデータＸi＝｛ｘi,1、ｘi,2、・・・、ｘi,N｝について、ラベル有りサンプルデータの群を用いて、ラベル無しサンプルデータの群にラベルを付与する能動学習装置において、
ラベル有りサンプルデータＸiを蓄積したラベル有りサンプルデータ蓄積手段と、
ラベル有りサンプルデータ蓄積手段を用いて、サンプルデータＸiを説明変数とし、ラベルＹk（k＝1～L）を目的変数として訓練するクラス分類モデルを持つ機械学習エンジンと、
クラスに対応するラベルＹk毎に、各特徴量jの知識条件を記憶した知識条件記憶手段と、
ラベル有りサンプルデータ蓄積手段に、ラベル有りサンプルデータが所定個未満となる空クラスが存在する場合、当該空クラスを特定する空クラス特定手段と、
知識条件記憶手段を用いて、ラベル無しサンプルデータの群から、当該空クラスに対応するラベルＹclass_targetの一部又は全部の特徴量jの知識条件と所定類似度以上となるラベル無しサンプルデータを検索するサンプルデータ検索手段と、
検索されたラベル無しサンプルデータに、能動学習としての確認フラグを付与する確認フラグ付与手段と
を有することを特徴とする能動学習装置。
ラベル有りサンプルデータＸiを蓄積したラベル有りサンプルデータ蓄積手段と、
ラベル有りサンプルデータ蓄積手段を用いて、サンプルデータＸiを説明変数とし、ラベルＹk（k＝1～L）を目的変数として訓練するクラス分類モデルを持つ機械学習エンジンと、
クラスに対応するラベルＹk毎に、各特徴量jの知識条件を記憶した知識条件記憶手段と、
ラベル有りサンプルデータ蓄積手段に、ラベル有りサンプルデータが所定個未満となる空クラスが存在する場合、当該空クラスを特定する空クラス特定手段と、
知識条件記憶手段を用いて、ラベル無しサンプルデータの群から、当該空クラスに対応するラベルＹclass_targetの一部又は全部の特徴量jの知識条件と所定類似度以上となるラベル無しサンプルデータを検索するサンプルデータ検索手段と、
検索されたラベル無しサンプルデータに、能動学習としての確認フラグを付与する確認フラグ付与手段と
を有することを特徴とする能動学習装置。
【請求項12】
複数の特徴量j（j=1～N）のベクトルからなる複数のサンプルデータＸi＝｛ｘi,1、ｘi,2、・・・、ｘi,N｝について、ラベル有りサンプルデータの群を用いて、ラベル無しサンプルデータの群にラベルを付与する装置の能動学習方法において、
装置は、
ラベル有りサンプルデータＸiを蓄積したラベル有りサンプルデータ蓄積部と、
ラベル有りサンプルデータ蓄積部を用いて、サンプルデータＸiを説明変数とし、ラベルＹk（k＝1～L）を目的変数として訓練するクラス分類モデルを持つ機械学習エンジンと、
クラスに対応するラベルＹk毎に、各特徴量jの知識条件を記憶した知識条件記憶部と
を有し、
ラベル有りサンプルデータ蓄積部に、ラベル有りサンプルデータが所定個未満となる空クラスが存在する場合、当該空クラスを特定する第１のステップと、
知識条件記憶部を用いて、ラベル無しサンプルデータの群から、当該空クラスに対応するラベルＹclass_targetの一部又は全部の特徴量jの知識条件と所定類似度以上となるラベル無しサンプルデータを検索する第２のステップと、
検索されたラベル無しサンプルデータに、能動学習としての確認フラグを付与する第３のステップと
を実行することを特徴とする能動学習方法。
装置は、
ラベル有りサンプルデータＸiを蓄積したラベル有りサンプルデータ蓄積部と、
ラベル有りサンプルデータ蓄積部を用いて、サンプルデータＸiを説明変数とし、ラベルＹk（k＝1～L）を目的変数として訓練するクラス分類モデルを持つ機械学習エンジンと、
クラスに対応するラベルＹk毎に、各特徴量jの知識条件を記憶した知識条件記憶部と
を有し、
ラベル有りサンプルデータ蓄積部に、ラベル有りサンプルデータが所定個未満となる空クラスが存在する場合、当該空クラスを特定する第１のステップと、
知識条件記憶部を用いて、ラベル無しサンプルデータの群から、当該空クラスに対応するラベルＹclass_targetの一部又は全部の特徴量jの知識条件と所定類似度以上となるラベル無しサンプルデータを検索する第２のステップと、
検索されたラベル無しサンプルデータに、能動学習としての確認フラグを付与する第３のステップと
を実行することを特徴とする能動学習方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、サンプルデータにラベルを付与する能動学習の技術に関する。
【背景技術】
【0002】
ディープラーニングなどの機械学習技術の発展により、ＡＩ(Artificial Intelligence)における分類タスクや回帰タスク、意思決定タスクの性能が飛躍的に向上した。一方で、分類タスクについては、精度を向上させるために、機械学習エンジンを訓練する教師データとして、大量のラベル有りサンプルデータが必要となる。サンプルデータにラベルを付与する、教師データの作成作業は、通常、人手によって行われるために、高いラベリングコストが問題となる。
【0003】
ラベル有りサンプルデータが無い又は極めて少ない状態となるコールドスタートでは、任意のラベル無しサンプルデータを選択し、ユーザ（又はアノテータ）に問い合わせることによって、ラベルを付与していく。
従来、コールドスタートにおけるサンプルデータの選択方法として、例えば「Randomサンプリング方式」や「Diversityサンプリング方式」がある。
Randomサンプリング方式の場合、ラベル無しサンプルデータの群の中から、ランダムに、ラベル無しサンプルデータを選択し、ユーザにラベルを付与させる。
Diversityサンプリング方式の場合、ラベル無しサンプルデータを、K-meansなどのクラスタベースのアルゴリズムによってクラスタリングし、各クラスタから均等にサンプルデータを選択し、ユーザにラベルを付与させる。ここでは、選択されるサンプルデータに多様性を持たせることができる。
従来、コールドスタートにおけるサンプルデータの選択方法として、例えば「Randomサンプリング方式」や「Diversityサンプリング方式」がある。
Randomサンプリング方式の場合、ラベル無しサンプルデータの群の中から、ランダムに、ラベル無しサンプルデータを選択し、ユーザにラベルを付与させる。
Diversityサンプリング方式の場合、ラベル無しサンプルデータを、K-meansなどのクラスタベースのアルゴリズムによってクラスタリングし、各クラスタから均等にサンプルデータを選択し、ユーザにラベルを付与させる。ここでは、選択されるサンプルデータに多様性を持たせることができる。
【0004】
また、自己教師あり学習として訓練したpre-trainedモデル（BERT（登録商標））を用いた技術もある（例えば非特許文献１参照）。この技術によれば、ラベル無しサンプルデータのpre-trainedモデルのloss値を用いて、異なる尺度でサンプルデータを選択し、ユーザにラベルを付与させる。ここでも、選択されるサンプルデータに多様性を持たせることができる。
【0005】
これに対し、ユーザがラベルを付与するサンプルデータの数をできる限り少なくすることができる「能動学習」の技術が注目されている。能動学習によれば、ユーザがラベルを付与するサンプルデータの数が少なくても、機械学習エンジンが持つ分類モデルの性能を効率的に向上させることができる。
少数のラベル有りサンプルデータが蓄積された段階では、能動学習として、機械学習エンジンの分類モデルの出力情報を用いた「Uncertainty sampling方式」の技術がある（例えば非特許文献２参照）。この技術によれば、少数のラベル有りサンプルデータによってクラス分類の機械学習エンジンを予め訓練し、ラベル無しサンプルの群から全てのクラスの確信度が最も低いサンプルデータを「能動的に」選択する。
少数のラベル有りサンプルデータが蓄積された段階では、能動学習として、機械学習エンジンの分類モデルの出力情報を用いた「Uncertainty sampling方式」の技術がある（例えば非特許文献２参照）。この技術によれば、少数のラベル有りサンプルデータによってクラス分類の機械学習エンジンを予め訓練し、ラベル無しサンプルの群から全てのクラスの確信度が最も低いサンプルデータを「能動的に」選択する。
【0006】
これによって、ユーザは、選択されたサンプルデータのみにラベルを付与すればよく、ユーザの全体的な作業負担を抑制することができる。ラベル付けされたサンプルデータは、教師データとして、機械学習エンジンによって再訓練される。このように、機械学習エンジンは、能動学習として、サンプルデータの選択と、ユーザによるラベル付与と、分類モデルの再訓練とを繰り返す。これは、能動学習としてシンプル且つ有効な方法であって、機械学習エンジンの分類モデルの性能を効率的に向上させることができる。
【0007】
更に、能動学習として、説明可能ＡＩの出力データを、新たなサンプルデータの選択のための指標として用いる技術もある（例えば特許文献１参照）。この技術によれば、説明可能ＡＩの出力データが示す予測結果の算定に対する複数の要素データそれぞれの重要度を、複数の入力データのそれぞれに対応して特定する。特定した複数の入力データそれぞれに含まれる複数の要素データに対応する複数の重要度に基づいて、複数の入力データの中から、所定の事象の正解を示す正解データを付与する対象の入力データを選択する。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開２０２３－０４８３５７号公報
【非特許文献】
【0009】
【非特許文献1】Michelle Yuan, et. al. “Cold-start Active Learning through Self-supervised Language Modeling”、[online]、［令和５年４月１４日検索］、インターネット＜URL:https://aclanthology.org/2020.emnlp-main.637/＞
【非特許文献2】Anita Krishnakumar “Active Learning Literature Survey”、[online]、［令和５年４月１４日検索］、インターネット＜URL:https://www.researchgate.net/publication/228971426_Active_Learning_Literature_Survey＞
【発明の概要】
【発明が解決しようとする課題】
【0010】
前述したRandomサンプリング方式等や非特許文献１の技術によれば、コールドスタートのように、分類タスクの一部のクラスに対応するラベルが未だ付与されてない段階であっても、ランダム性や多様性を持たせて、ラベル無しサンプルデータを選択することができる。しかしながら、クラス分布が不均衡な場合（例えばあるクラスのサンプルデータの割合が0.01％である）や、分類タスクの処理が比較的難しい場合（割合の低いクラスのサンプルデータと、割合の高いクラスのサンプルデータが非常に類似している場合など）には、闇雲な宝探しのように、大量のサンプルデータの選択を何度も行うことが必要となる場合がある。
【0011】
また、非特許文献２の技術によれば、能動学習として、ある程度のラベル有りサンプルデータが蓄積され、分類タスクの全クラスにラベル有りサンプルデータが与えられた状態から開始することを前提としている。機械学習エンジンは、少なくとも全クラスに少量のラベル有りサンプルデータで、分類モデルを訓練する。しかしながら、少量のラベル有りサンプルデータに偏りがある場合、機械学習エンジンの分類モデルにも偏りが生じることとなる。
【0012】
即ち、コールドスタートでは、Randomサンプリング方式等の技術を適用することができ、分類タスクの全クラスについてラベル有りサンプルデータが蓄積された状態では、Uncertaintyサンプリング方式の技術を適用することができる。
これに対し、分類タスクについてラベル有りサンプルデータが蓄積されていない空クラスが存在する状態から、Uncertaintyサンプリング方式を適用した場合、その空クラスの分類性能は常に０となり、タスク分類モデルの性能が伸び悩むこととなる。
そのために、本願の発明者らは、コールドスタート後、Randomサンプリング方式等からUncertaintyサンプリング方式へ移行する前に、分類タスクの全クラスについてラベル有りサンプルデータを早急に蓄積する必要がある、と考えた。
これに対し、分類タスクについてラベル有りサンプルデータが蓄積されていない空クラスが存在する状態から、Uncertaintyサンプリング方式を適用した場合、その空クラスの分類性能は常に０となり、タスク分類モデルの性能が伸び悩むこととなる。
そのために、本願の発明者らは、コールドスタート後、Randomサンプリング方式等からUncertaintyサンプリング方式へ移行する前に、分類タスクの全クラスについてラベル有りサンプルデータを早急に蓄積する必要がある、と考えた。
【0013】
そこで、本発明は、分類タスクの全クラスについてラベル有りサンプルデータを早急に蓄積するべく、サンプルデータにラベルを付与する能動学習のプログラム、装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【0014】
本発明によれば、複数の特徴量j（j=1～N）のベクトルからなる複数のサンプルデータＸi＝｛ｘi,1、ｘi,2、・・・、ｘi,N｝について、ラベル有りサンプルデータの群を用いて、ラベル無しサンプルデータの群にラベルを付与するようにコンピュータを機能させるプログラムにおいて、
ラベル有りサンプルデータＸiを蓄積したラベル有りサンプルデータ蓄積手段と、
ラベル有りサンプルデータ蓄積手段を用いて、サンプルデータＸiを説明変数とし、ラベルＹk（k＝1～L）を目的変数として訓練するクラス分類モデルを持つ機械学習エンジンと、
クラスに対応するラベルＹk毎に、各特徴量jの知識条件を記憶した知識条件記憶手段と、
ラベル有りサンプルデータ蓄積手段に、ラベル有りサンプルデータが所定個未満となる空クラスが存在する場合、当該空クラスを特定する空クラス特定手段と、
知識条件記憶手段を用いて、ラベル無しサンプルデータの群から、当該空クラスに対応するラベルＹclass_targetの一部又は全部の特徴量jの知識条件と所定類似度以上となるラベル無しサンプルデータを検索するサンプルデータ検索手段と、
検索されたラベル無しサンプルデータに、能動学習としての確認フラグを付与する確認フラグ付与手段と
してコンピュータを機能させることを特徴とする。
ラベル有りサンプルデータＸiを蓄積したラベル有りサンプルデータ蓄積手段と、
ラベル有りサンプルデータ蓄積手段を用いて、サンプルデータＸiを説明変数とし、ラベルＹk（k＝1～L）を目的変数として訓練するクラス分類モデルを持つ機械学習エンジンと、
クラスに対応するラベルＹk毎に、各特徴量jの知識条件を記憶した知識条件記憶手段と、
ラベル有りサンプルデータ蓄積手段に、ラベル有りサンプルデータが所定個未満となる空クラスが存在する場合、当該空クラスを特定する空クラス特定手段と、
知識条件記憶手段を用いて、ラベル無しサンプルデータの群から、当該空クラスに対応するラベルＹclass_targetの一部又は全部の特徴量jの知識条件と所定類似度以上となるラベル無しサンプルデータを検索するサンプルデータ検索手段と、
検索されたラベル無しサンプルデータに、能動学習としての確認フラグを付与する確認フラグ付与手段と
してコンピュータを機能させることを特徴とする。
【0015】
本発明のプログラムにおける他の実施形態によれば、
確認フラグ付与手段は、確認フラグが付与されたラベル無しサンプルデータをユーザインタフェースへ出力し、ユーザにラベルＹkを付与させ、
ラベル有りサンプルデータ蓄積手段は、ユーザによってラベルＹkが付与されたラベル有りサンプルデータを蓄積する
ようにコンピュータを機能させることも好ましい。
確認フラグ付与手段は、確認フラグが付与されたラベル無しサンプルデータをユーザインタフェースへ出力し、ユーザにラベルＹkを付与させ、
ラベル有りサンプルデータ蓄積手段は、ユーザによってラベルＹkが付与されたラベル有りサンプルデータを蓄積する
ようにコンピュータを機能させることも好ましい。
【0016】
本発明のプログラムにおける他の実施形態によれば、
空クラスに対応するラベルＹclass_targetにおける一部の特徴量jの知識条件の項目をユーザインタフェースへ出力し、ユーザによって入力された知識条件によって知識条件記憶手段を更新する知識条件更新手段と
してコンピュータを機能させることも好ましい。
空クラスに対応するラベルＹclass_targetにおける一部の特徴量jの知識条件の項目をユーザインタフェースへ出力し、ユーザによって入力された知識条件によって知識条件記憶手段を更新する知識条件更新手段と
してコンピュータを機能させることも好ましい。
【0017】
本発明のプログラムにおける他の実施形態によれば、
知識条件記憶手段に、空クラスに対応するラベルＹclass_targetについて知識条件が記憶されているが、ラベル有りサンプルデータ蓄積手段に、ラベル有りサンプルデータが所定個未満となる空クラスが存在する場合、
サンプルデータ検索手段は、空クラスに対応するラベルＹclass_targetの一部又は全部の特徴量jの知識条件と最も類似するラベル無しサンプルデータを選択する
ようにコンピュータを機能させることも好ましい。
知識条件記憶手段に、空クラスに対応するラベルＹclass_targetについて知識条件が記憶されているが、ラベル有りサンプルデータ蓄積手段に、ラベル有りサンプルデータが所定個未満となる空クラスが存在する場合、
サンプルデータ検索手段は、空クラスに対応するラベルＹclass_targetの一部又は全部の特徴量jの知識条件と最も類似するラベル無しサンプルデータを選択する
ようにコンピュータを機能させることも好ましい。
【0018】
本発明のプログラムにおける他の実施形態によれば、
知識条件記憶手段に、空クラスに対応するラベルＹclass_targetについて知識条件が記憶されていない場合、
サンプルデータ検索手段は、ラベル有りサンプルデータ蓄積手段の中で複数のラベル有りサンプルデータの特徴量と最も類似度が低い特徴量を持つラベル無しサンプルデータを検索する
ようにコンピュータを機能させることも好ましい。
知識条件記憶手段に、空クラスに対応するラベルＹclass_targetについて知識条件が記憶されていない場合、
サンプルデータ検索手段は、ラベル有りサンプルデータ蓄積手段の中で複数のラベル有りサンプルデータの特徴量と最も類似度が低い特徴量を持つラベル無しサンプルデータを検索する
ようにコンピュータを機能させることも好ましい。
【0019】
本発明のプログラムにおける他の実施形態によれば、
ラベル有りサンプルデータを作成する進行段階を管理する進行管理手段を更に有し、
進行管理手段は、
ラベル有りサンプルデータの総数が所定数未満となる第１のフェーズと、
ラベル有りサンプルデータの総数が所定数以上であって、且つ、ラベル有りサンプルデータが所定個未満となる空クラスが存在する第２のフェーズと、
ラベル有りサンプルデータの総数が所定数以上であって、且つ、ラベル有りサンプルデータが所定個未満となる空クラスが存在しない第３のフェーズと
を管理しており、
第２のフェーズについて、空クラス特定手段、サンプルデータ検索手段及び確認フラグ付与手段を実行する
ようにコンピュータを機能させることも好ましい。
ラベル有りサンプルデータを作成する進行段階を管理する進行管理手段を更に有し、
進行管理手段は、
ラベル有りサンプルデータの総数が所定数未満となる第１のフェーズと、
ラベル有りサンプルデータの総数が所定数以上であって、且つ、ラベル有りサンプルデータが所定個未満となる空クラスが存在する第２のフェーズと、
ラベル有りサンプルデータの総数が所定数以上であって、且つ、ラベル有りサンプルデータが所定個未満となる空クラスが存在しない第３のフェーズと
を管理しており、
第２のフェーズについて、空クラス特定手段、サンプルデータ検索手段及び確認フラグ付与手段を実行する
ようにコンピュータを機能させることも好ましい。
【0020】
本発明のプログラムにおける他の実施形態によれば、
第１のフェーズでは、Randomサンプリング方式又はDiversityサンプリング方式によって、ラベル無しサンプルデータに、能動学習としてユーザにラベルを付与させ、
第３のフェーズでは、Uncertaintyサンプリング方式によって、ラベル無しサンプルデータにラベルを付与する
ようにコンピュータを機能させることも好ましい。
第１のフェーズでは、Randomサンプリング方式又はDiversityサンプリング方式によって、ラベル無しサンプルデータに、能動学習としてユーザにラベルを付与させ、
第３のフェーズでは、Uncertaintyサンプリング方式によって、ラベル無しサンプルデータにラベルを付与する
ようにコンピュータを機能させることも好ましい。
【0021】
本発明のプログラムにおける他の実施形態によれば、
複数のセンサにおけるセンサデータを、複数の特徴量jのベクトルからなるサンプルデータＸiに変換する特徴量ベクトル変換手段と
してコンピュータを機能させることも好ましい。
複数のセンサにおけるセンサデータを、複数の特徴量jのベクトルからなるサンプルデータＸiに変換する特徴量ベクトル変換手段と
してコンピュータを機能させることも好ましい。
【0022】
本発明のプログラムにおける他の実施形態によれば、
特徴量ベクトル変換手段は、複数のセンサによって検知された時系列のイベントをスライディングウィンドウによって複数のセンサデータに区分し、センサデータをサンプルデータＸiに変換する
ようにコンピュータを機能させることも好ましい。
特徴量ベクトル変換手段は、複数のセンサによって検知された時系列のイベントをスライディングウィンドウによって複数のセンサデータに区分し、センサデータをサンプルデータＸiに変換する
ようにコンピュータを機能させることも好ましい。
【0023】
本発明のプログラムにおける他の実施形態によれば、
センサは、室内に配置されたものであり、
ラベルは、室内の人の行動認識に対応するものである
ようにコンピュータを機能させることも好ましい。
センサは、室内に配置されたものであり、
ラベルは、室内の人の行動認識に対応するものである
ようにコンピュータを機能させることも好ましい。
【0024】
本発明によれば、複数の特徴量j（j=1～N）のベクトルからなる複数のサンプルデータＸi＝｛ｘi,1、ｘi,2、・・・、ｘi,N｝について、ラベル有りサンプルデータの群を用いて、ラベル無しサンプルデータの群にラベルを付与する能動学習装置において、
ラベル有りサンプルデータＸiを蓄積したラベル有りサンプルデータ蓄積手段と、
ラベル有りサンプルデータ蓄積手段を用いて、サンプルデータＸiを説明変数とし、ラベルＹk（k＝1～L）を目的変数として訓練するクラス分類モデルを持つ機械学習エンジンと、
クラスに対応するラベルＹk毎に、各特徴量jの知識条件を記憶した知識条件記憶手段と、
ラベル有りサンプルデータ蓄積手段に、ラベル有りサンプルデータが所定個未満となる空クラスが存在する場合、当該空クラスを特定する空クラス特定手段と、
知識条件記憶手段を用いて、ラベル無しサンプルデータの群から、当該空クラスに対応するラベルＹclass_targetの一部又は全部の特徴量jの知識条件と所定類似度以上となるラベル無しサンプルデータを検索するサンプルデータ検索手段と、
検索されたラベル無しサンプルデータに、能動学習としての確認フラグを付与する確認フラグ付与手段と
を有することを特徴とする。
ラベル有りサンプルデータＸiを蓄積したラベル有りサンプルデータ蓄積手段と、
ラベル有りサンプルデータ蓄積手段を用いて、サンプルデータＸiを説明変数とし、ラベルＹk（k＝1～L）を目的変数として訓練するクラス分類モデルを持つ機械学習エンジンと、
クラスに対応するラベルＹk毎に、各特徴量jの知識条件を記憶した知識条件記憶手段と、
ラベル有りサンプルデータ蓄積手段に、ラベル有りサンプルデータが所定個未満となる空クラスが存在する場合、当該空クラスを特定する空クラス特定手段と、
知識条件記憶手段を用いて、ラベル無しサンプルデータの群から、当該空クラスに対応するラベルＹclass_targetの一部又は全部の特徴量jの知識条件と所定類似度以上となるラベル無しサンプルデータを検索するサンプルデータ検索手段と、
検索されたラベル無しサンプルデータに、能動学習としての確認フラグを付与する確認フラグ付与手段と
を有することを特徴とする。
【0025】
本発明によれば、複数の特徴量j（j=1～N）のベクトルからなる複数のサンプルデータＸi＝｛ｘi,1、ｘi,2、・・・、ｘi,N｝について、ラベル有りサンプルデータの群を用いて、ラベル無しサンプルデータの群にラベルを付与する装置の能動学習方法において、
装置は、
ラベル有りサンプルデータＸiを蓄積したラベル有りサンプルデータ蓄積部と、
ラベル有りサンプルデータ蓄積部を用いて、サンプルデータＸiを説明変数とし、ラベルＹk（k＝1～L）を目的変数として訓練するクラス分類モデルを持つ機械学習エンジンと、
クラスに対応するラベルＹk毎に、各特徴量jの知識条件を記憶した知識条件記憶部と
を有し、
ラベル有りサンプルデータ蓄積部に、ラベル有りサンプルデータが所定個未満となる空クラスが存在する場合、当該空クラスを特定する第１のステップと、
知識条件記憶部を用いて、ラベル無しサンプルデータの群から、当該空クラスに対応するラベルＹclass_targetの一部又は全部の特徴量jの知識条件と所定類似度以上となるラベル無しサンプルデータを検索する第２のステップと、
検索されたラベル無しサンプルデータに、能動学習としての確認フラグを付与する第３のステップと
を実行することを特徴とする。
装置は、
ラベル有りサンプルデータＸiを蓄積したラベル有りサンプルデータ蓄積部と、
ラベル有りサンプルデータ蓄積部を用いて、サンプルデータＸiを説明変数とし、ラベルＹk（k＝1～L）を目的変数として訓練するクラス分類モデルを持つ機械学習エンジンと、
クラスに対応するラベルＹk毎に、各特徴量jの知識条件を記憶した知識条件記憶部と
を有し、
ラベル有りサンプルデータ蓄積部に、ラベル有りサンプルデータが所定個未満となる空クラスが存在する場合、当該空クラスを特定する第１のステップと、
知識条件記憶部を用いて、ラベル無しサンプルデータの群から、当該空クラスに対応するラベルＹclass_targetの一部又は全部の特徴量jの知識条件と所定類似度以上となるラベル無しサンプルデータを検索する第２のステップと、
検索されたラベル無しサンプルデータに、能動学習としての確認フラグを付与する第３のステップと
を実行することを特徴とする。
【発明の効果】
【0026】
本発明における能動学習のプログラム、装置及び方法によれば、分類タスクの全クラスについてラベル有りサンプルデータを早急に蓄積するべく、サンプルデータにラベルを付与することができる。
【図面の簡単な説明】
【0027】
【図1】本発明における能動学習装置の機能構成図である。
【図2】フェーズ１の処理を表す説明図である。
【図3】フェーズ３の処理を表す説明図である。
【図4】本発明におけるフェーズ２の処理を表す説明図である。
【図5】本発明におけるプログラムコードの例である。
【図6】複数のセンサが配置されたユーザ宅内の例である。
【図7】時系列のイベントの群をセンサデータに区分した説明図である。
【図8】特徴量ベクトル変換部の処理を表す説明図である。
【図9】本発明における知識条件記憶部を表すテーブルである。
【図10】ユーザに行動状態を問い合わせるユーザインタフェースである。
【図11】ユーザに知識条件を問い合わせるユーザインタフェースである。
【発明を実施するための形態】
【0028】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【0029】
図１は、本発明における能動学習装置の機能構成図である。
【0030】
能動学習装置１は、複数の特徴量jのベクトルからなる複数のサンプルデータＸiについて、ラベル有りサンプルデータの群を用いて、ラベル無しサンプルデータの群にラベルを付与する。
Ｘi：サンプルデータ｛ｘi,1、ｘi,2、・・・、ｘi,N｝
ｘi,j：サンプルデータｘiの特徴量jの値
i：サンプルデータのインデックス
j：特徴量のインデックス（＝1～N）
N：特徴量ベクトルの次元数
Ｙk：分類タスクのクラスに対応するラベル
k：ラベルのインデックス（＝1～L）
L：分類タスクのクラス数
ラベル有りサンプルデータは、サンプルデータＸiとラベルＹkとの組＜Ｘi,Ｙk＞となる。ラベル有りサンプルデータは、ラベル無しサンプルデータ蓄積部１０１から除かれ、ラベル有りサンプルデータ蓄積部１０２に蓄積される。
Ｘi：サンプルデータ｛ｘi,1、ｘi,2、・・・、ｘi,N｝
ｘi,j：サンプルデータｘiの特徴量jの値
i：サンプルデータのインデックス
j：特徴量のインデックス（＝1～N）
N：特徴量ベクトルの次元数
Ｙk：分類タスクのクラスに対応するラベル
k：ラベルのインデックス（＝1～L）
L：分類タスクのクラス数
ラベル有りサンプルデータは、サンプルデータＸiとラベルＹkとの組＜Ｘi,Ｙk＞となる。ラベル有りサンプルデータは、ラベル無しサンプルデータ蓄積部１０１から除かれ、ラベル有りサンプルデータ蓄積部１０２に蓄積される。
【0031】
図１によれば、能動学習装置１は、ラベル無しサンプルデータ蓄積部１０１と、ラベル有りサンプルデータ蓄積部１０２と、Randomサンプリング部１１と、知識条件記憶部１２０と、空クラス特定部１２１と、サンプルデータ検索部１２２と、確認フラグ付与部１２３と、知識条件更新部１２４と、機械学習エンジン１３０と、Uncertaintyサンプリング部１３と、進行管理部１４と、特徴量ベクトル変換部１５とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、装置の能動学習方法としても理解できる。
【0032】
［ラベル無しサンプルデータ蓄積部１０１］
ラベル無しサンプルデータ蓄積部１０１は、ラベルが付与されていないサンプルデータＸiの群を蓄積する。
ラベル無しサンプルデータ蓄積部１０１は、ラベルが付与されていないサンプルデータＸiの群を蓄積する。
【0033】
［ラベル有りサンプルデータ蓄積部１０２］
ラベル有りサンプルデータ蓄積部１０２は、ラベル有りサンプルデータＸiの群を蓄積する。ラベル有りサンプルデータ蓄積部１０２は、ユーザによってラベルが付与されたサンプルデータと、Uncertaintyサンプリング部１３によって推定されたラベルが付与されたサンプルデータとを蓄積する。
ラベル有りサンプルデータ蓄積部１０２は、ラベル有りサンプルデータＸiの群を蓄積する。ラベル有りサンプルデータ蓄積部１０２は、ユーザによってラベルが付与されたサンプルデータと、Uncertaintyサンプリング部１３によって推定されたラベルが付与されたサンプルデータとを蓄積する。
【0034】
［進行管理部１４］
進行管理部１４は、ラベル有りサンプルデータを作成する進行段階を管理する。
最初に、ラベル無しサンプルデータから、ラベル有りサンプルデータを作成していく過程として、以下の３つのフェーズが考えられる。
＜フェーズ１＞
ラベル有りサンプルデータの総数が所定数（N1）未満となる段階（例えばN1＝10であって、コールドスタートとなる）
＜フェーズ２＞
ラベル有りサンプルデータの総数が所定数（N1）以上であって、且つ、ラベル有りサンプルデータが所定個未満となる空クラスが存在する段階（例えば所定個が１個の場合、空クラスに相当するラベル有りサンプルデータは存在しない）
＜フェーズ３＞
ラベル有りサンプルデータの総数が所定数（N1）以上であって、且つ、ラベル有りサンプルデータが所定個未満となる空クラスが存在しない段階
能動学習によれば、フェーズ１からフェーズ２、フェーズ３と進みながら、ラベル有りサンプルデータを収集していく。
進行管理部１４は、ラベル有りサンプルデータを作成する進行段階を管理する。
最初に、ラベル無しサンプルデータから、ラベル有りサンプルデータを作成していく過程として、以下の３つのフェーズが考えられる。
＜フェーズ１＞
ラベル有りサンプルデータの総数が所定数（N1）未満となる段階（例えばN1＝10であって、コールドスタートとなる）
＜フェーズ２＞
ラベル有りサンプルデータの総数が所定数（N1）以上であって、且つ、ラベル有りサンプルデータが所定個未満となる空クラスが存在する段階（例えば所定個が１個の場合、空クラスに相当するラベル有りサンプルデータは存在しない）
＜フェーズ３＞
ラベル有りサンプルデータの総数が所定数（N1）以上であって、且つ、ラベル有りサンプルデータが所定個未満となる空クラスが存在しない段階
能動学習によれば、フェーズ１からフェーズ２、フェーズ３と進みながら、ラベル有りサンプルデータを収集していく。
【0035】
＜フェーズ１＞
図２は、フェーズ１の処理を表す説明図である。
図２は、フェーズ１の処理を表す説明図である。
【0036】
［Randomサンプリング部１１］
フェーズ１では、Randomサンプリング方式又はDiversityサンプリング方式によって、ラベル無しサンプルデータに、能動学習としてユーザにラベルを付与させる。
フェーズ１では、Randomサンプリング方式又はDiversityサンプリング方式によって、ラベル無しサンプルデータに、能動学習としてユーザにラベルを付与させる。
【0037】
図２によれば、フェーズ１では、コールドスタートとして、サンプル無しデータ蓄積部１０１から、３つのラベル無しサンプルデータがランダムに選択され、ユーザによってラベルが付与されている。
ラベル無しサンプルデータ（ラベルＡ相当）->ラベルＡサンプルデータ
ラベル無しサンプルデータ（ラベルＢ相当）->ラベルＢサンプルデータ
ラベル無しサンプルデータ（ラベルＢ相当）->ラベルＢサンプルデータ
ラベル有りサンプルデータ蓄積部１０２には、クラスａに対応するラベルＡサンプルデータと、クラスｂに対応するラベルＢサンプルデータとは蓄積されているが、ラベルｃに対応するラベルＣサンプルデータは蓄積されていない。図２によれば、クラスａ、ｂ、ｃの分類タスクとして、ラベル有りサンプルデータが、クラスａに１個、クラスｂに２個、クラスｃに０個が分類されている。
ラベル無しサンプルデータ（ラベルＡ相当）->ラベルＡサンプルデータ
ラベル無しサンプルデータ（ラベルＢ相当）->ラベルＢサンプルデータ
ラベル無しサンプルデータ（ラベルＢ相当）->ラベルＢサンプルデータ
ラベル有りサンプルデータ蓄積部１０２には、クラスａに対応するラベルＡサンプルデータと、クラスｂに対応するラベルＢサンプルデータとは蓄積されているが、ラベルｃに対応するラベルＣサンプルデータは蓄積されていない。図２によれば、クラスａ、ｂ、ｃの分類タスクとして、ラベル有りサンプルデータが、クラスａに１個、クラスｂに２個、クラスｃに０個が分類されている。
【0038】
例えばラベルＣに対応するクラスｃは、頻度が低い（例えば１回の発生時間が短い）ため、全てのサンプルデータに占める割合も非常に小さいとする（例えば0.1％）。この場合、Randomサンプリング方式の場合、約1000回もの試行が必要になる可能性を意味する。
また、Diversityサンプリング方式の場合、割合が低いクラスｃに相当するサンプルデータが、他のクラスに含まれるような場合もある。例えばクラスタ１にクラスｃのサンプルデータが含まれるが、クラスタ１の大多数はクラスｂのサンプルデータであるような場合がある。この場合、クラスｃを分類するために、サンプルデータの選択回数が増大することも予想される。
また、Diversityサンプリング方式の場合、割合が低いクラスｃに相当するサンプルデータが、他のクラスに含まれるような場合もある。例えばクラスタ１にクラスｃのサンプルデータが含まれるが、クラスタ１の大多数はクラスｂのサンプルデータであるような場合がある。この場合、クラスｃを分類するために、サンプルデータの選択回数が増大することも予想される。
【0039】
＜フェーズ３＞
図３は、フェーズ３の処理を表す説明図である。
図３は、フェーズ３の処理を表す説明図である。
【0040】
［機械学習エンジン１３０］
機械学習エンジン１３０は、ラベル有りサンプルデータ蓄積部１０２を用いて、サンプルデータＸiを説明変数とし、ラベルＹk（k＝1～L）を目的変数として訓練したクラス分類モデルを持つ。機械学習エンジン１３０は、一般的なクラス分類に基づくものである。
機械学習エンジン１３０は、ラベル有りサンプルデータ蓄積部１０２を用いて、サンプルデータＸiを説明変数とし、ラベルＹk（k＝1～L）を目的変数として訓練したクラス分類モデルを持つ。機械学習エンジン１３０は、一般的なクラス分類に基づくものである。
【0041】
［Uncertaintyサンプリング部１３］
フェーズ３では、機械学習エンジン１３０を用いて、Uncertaintyサンプリング方式によって、ラベル無しサンプルデータに能動学習としてユーザにラベルを付与させる。
図３によれば、フェーズ３では、サンプル有りデータ蓄積部１０２には、既に、多数のサンプルデータにラベル付けされている。ここでは、全てのクラスに対応する全てのラベルのラベル有りサンプルデータが、ラベル有りサンプルデータ蓄積部１０２に蓄積されていることを前提としている。
フェーズ３では、機械学習エンジン１３０を用いて、Uncertaintyサンプリング方式によって、ラベル無しサンプルデータに能動学習としてユーザにラベルを付与させる。
図３によれば、フェーズ３では、サンプル有りデータ蓄積部１０２には、既に、多数のサンプルデータにラベル付けされている。ここでは、全てのクラスに対応する全てのラベルのラベル有りサンプルデータが、ラベル有りサンプルデータ蓄積部１０２に蓄積されていることを前提としている。
【0042】
前述した図２及び図３によれば、分類タスクの対象のクラスに対応するラベルとして、例えばラベルＡ～Ｃの３種類があるとする。ここで、図２のラベル有りサンプルデータ蓄積部１０２によって、図３の機械学習エンジン１３０を訓練した場合、例えば２つのラベル無しサンプルデータについて、以下のように出力したとする。
（サンプルデータ１）
ラベルＡ：0.4、ラベルＢ：0.6、ラベルＣ：0.0
（サンプルデータ２）：
ラベルＡ：0.9、ラベルＢ：0.1、ラベルＣ：0.0
機械学習エンジン１３０は、出力情報として、各クラスの確率を表す。確率が最も大きいクラスに対応するラベルが、自動的に付与される。図２及び図３によれば、機械学習エンジン１３０は、ラベルＣサンプルデータで訓練することができないために、クラスｃに対応するラベルＣについて確率は0.0となる。
（サンプルデータ１）
ラベルＡ：0.4、ラベルＢ：0.6、ラベルＣ：0.0
（サンプルデータ２）：
ラベルＡ：0.9、ラベルＢ：0.1、ラベルＣ：0.0
機械学習エンジン１３０は、出力情報として、各クラスの確率を表す。確率が最も大きいクラスに対応するラベルが、自動的に付与される。図２及び図３によれば、機械学習エンジン１３０は、ラベルＣサンプルデータで訓練することができないために、クラスｃに対応するラベルＣについて確率は0.0となる。
【0043】
図３のUncertaintyサンプリング方式におけるMargin-samplingによれば、１番目と２番目の確率の差が小さい程、分類モデルにとって判断が難しいサンプルデータと考えらえる。
サンプルデータ１のMargin： 0.6－0.4＝0.2
サンプルデータ２のMargin： 0.9－0.1＝0.8
この場合、確率の差が小さいサンプルデータ１が選択される。このように選択されるサンプルデータは、分類モデルが内部に保持する各クラス間の分類境界に近いサンプルデータとなる。
サンプルデータ１のMargin： 0.6－0.4＝0.2
サンプルデータ２のMargin： 0.9－0.1＝0.8
この場合、確率の差が小さいサンプルデータ１が選択される。このように選択されるサンプルデータは、分類モデルが内部に保持する各クラス間の分類境界に近いサンプルデータとなる。
【0044】
＜本発明の意義＞
ここで、全てのクラスにおいて十分な数のラベル有りサンプルデータが蓄積されていないラベル有りサンプルデータ蓄積部１０２を用いて機械学習エンジンの分類モデルを訓練した場合、クラスｃの分類境界は不明となる。即ち、ラベル無しサンプルデータの中から、ラベルＣに相当するラベル無しサンプルデータを選択した場合、そのラベルの付与を誤ることとなる。具体的には、この段階におけるクラス分類モデルは、クラスａ及びクラスｂの確率のみを出力し、分類境界は、クラスａとクラスｂとの間に現れる。クラスｃの確率は出力されず、クラスａとクラスｃとの間、及び、クラスｂとクラスｃとの間の分類境界も持たない。結果的に、クラスａ及びクラスｂの分類境界付近のサンプルデータを選び続けてしまう。そして、クラスｃのサンプルデータが選択されるまで、多くのラベル無しサンプルデータの選択が必要になる。
ここで、全てのクラスにおいて十分な数のラベル有りサンプルデータが蓄積されていないラベル有りサンプルデータ蓄積部１０２を用いて機械学習エンジンの分類モデルを訓練した場合、クラスｃの分類境界は不明となる。即ち、ラベル無しサンプルデータの中から、ラベルＣに相当するラベル無しサンプルデータを選択した場合、そのラベルの付与を誤ることとなる。具体的には、この段階におけるクラス分類モデルは、クラスａ及びクラスｂの確率のみを出力し、分類境界は、クラスａとクラスｂとの間に現れる。クラスｃの確率は出力されず、クラスａとクラスｃとの間、及び、クラスｂとクラスｃとの間の分類境界も持たない。結果的に、クラスａ及びクラスｂの分類境界付近のサンプルデータを選び続けてしまう。そして、クラスｃのサンプルデータが選択されるまで、多くのラベル無しサンプルデータの選択が必要になる。
【0045】
即ち、フェーズ３への移行前に、クラスａにラベルＡサンプルデータを含み、クラスｂにラベルＢサンプルデータを含み、クラスｃにラベルＣサンプルデータを含むことができればよい。フェーズ１によって全てのクラスがそれぞれラベル有りサンプルデータを蓄積することができれば、フェーズ３へ移行することができる。
【0046】
本発明によれば、分類タスクでの能動学習について、フェーズ１から、できるだけ少ないサンプルデータの選択回数（即ち、ユーザのラベリング回数）で、フェーズ３に移行することができる。
【0047】
＜フェーズ２＞
図４は、本発明におけるフェーズ２の処理を表す説明図である。
図４は、本発明におけるフェーズ２の処理を表す説明図である。
【0048】
図４によれば、能動学習装置１は、フェーズ２における「知識ベースサンプリング方式」を実現する。本発明におけるフェーズ２では、ラベル有りサンプルデータが所定個(例えば1個)未満となる空クラスを無くすことによって、できるだけ早くフェーズ３へ移行させることができる。即ち、コールドスタートからのRandomサンプリング方式やDiversityサンプリング方式から、Uncertaintyサンプリング方式にできる限り早く切り替えることができる。その間、クラスに関する知識条件を利用して、ラベル無しサンプルデータの群の中から、空クラスに相当する可能性が高いサンプルデータを選択する。
【0049】
［知識条件記憶部１２０］
知識条件記憶部１２０は、クラスに対応するラベルＹk毎に、各特徴量jの知識条件を記憶する。知識条件としては、「一般的知識」と「対象環境知識」とがある。
「一般的知識」は、ラベル毎に、インターネット上のＷｅｂサイト等から収集された知識情報や、他の環境で収集された統計情報（例えば平均値など）であってもよい。これは、一般的であろう初期の知識条件であって、第三者であっても一度生成されれば流用できる情報である。
「対象環境知識」は、現環境にあってユーザに問い合わせることによって逐次に取得される情報である。但し、ユーザの回答負荷がその都度発生することとなる。
そのために、例えば、初期にはユーザの回答負荷がなく利用できる一般的知識を適用し、必要に応じて対象環境知識をユーザに問合せることを想定する。
知識条件記憶部１２０は、クラスに対応するラベルＹk毎に、各特徴量jの知識条件を記憶する。知識条件としては、「一般的知識」と「対象環境知識」とがある。
「一般的知識」は、ラベル毎に、インターネット上のＷｅｂサイト等から収集された知識情報や、他の環境で収集された統計情報（例えば平均値など）であってもよい。これは、一般的であろう初期の知識条件であって、第三者であっても一度生成されれば流用できる情報である。
「対象環境知識」は、現環境にあってユーザに問い合わせることによって逐次に取得される情報である。但し、ユーザの回答負荷がその都度発生することとなる。
そのために、例えば、初期にはユーザの回答負荷がなく利用できる一般的知識を適用し、必要に応じて対象環境知識をユーザに問合せることを想定する。
【0050】
知識条件としては、各クラスに関する特徴量j毎の値やその範囲などである。クラスk（k＝1～L）の特徴量jの知識条件をcondition_k,jとする。クラスkの特徴量jの知識条件が無い場合や、取得できていない場合は、condition_k,j＝nullとする。例えば知識条件として、以下のようなものがある。
ｘi,j＝value1 ：xi,jの値はvalue1(定数)である
ｘi,j！＝value1 ：xi,jの値はvalue1(定数)ではない
value1＜ｘi,j＜value2 ：xi,jの値はvalue1(定数)より大きく、value2より小さい
尚、知識条件記憶部１２０の具体例は、図１０によって後述する。
ｘi,j＝value1 ：xi,jの値はvalue1(定数)である
ｘi,j！＝value1 ：xi,jの値はvalue1(定数)ではない
value1＜ｘi,j＜value2 ：xi,jの値はvalue1(定数)より大きく、value2より小さい
尚、知識条件記憶部１２０の具体例は、図１０によって後述する。
【0051】
［空クラス特定部１２１］
空クラス特定部１２１は、ラベル有りサンプルデータ蓄積部１０２に、ラベル有りサンプルデータが所定個未満となる空クラスが存在する場合、当該空クラスを特定する。「所定個」が、１個である場合、ラベル有りサンプルデータが０個であるクラスが空クラスとなる。また、２個である場合、ラベル有りサンプルデータが０個又は１個であるクラスが空クラスとなる。図４によれば、空クラス特定部１２１は、クラスｃを空クラスとして特定する。
空クラス特定部１２１は、ラベル有りサンプルデータ蓄積部１０２に、ラベル有りサンプルデータが所定個未満となる空クラスが存在する場合、当該空クラスを特定する。「所定個」が、１個である場合、ラベル有りサンプルデータが０個であるクラスが空クラスとなる。また、２個である場合、ラベル有りサンプルデータが０個又は１個であるクラスが空クラスとなる。図４によれば、空クラス特定部１２１は、クラスｃを空クラスとして特定する。
【0052】
［サンプルデータ検索部１２２］
サンプルデータ検索部１２２は、知識条件記憶部１２０を用いて、ラベル無しサンプルデータの群から、当該空クラスに対応するラベルＹclass_targetの一部又は全部の特徴量jの知識条件と所定類似度以上となるラベル無しサンプルデータを検索する。
サンプルデータ検索部１２２は、知識条件記憶部１２０を用いて、ラベル無しサンプルデータの群から、当該空クラスに対応するラベルＹclass_targetの一部又は全部の特徴量jの知識条件と所定類似度以上となるラベル無しサンプルデータを検索する。
【0053】
ここで、知識条件記憶部１２０によって、以下の２つのパターンがある。
（パターン１）知識条件記憶部１２０に、空クラスに対応するラベルＹclass_target（図４のラベルＣ）について知識条件が記憶されているが、ラベル有りサンプルデータ蓄積部１０２に、ラベル有り（図４のラベルＣ）サンプルデータが所定個未満となる空クラスが存在する場合がある。
この場合、サンプルデータ検索部１２２は、空クラスに対応するラベルＹclass_target（図４のラベルＣ）の一部又は全部の特徴量jの知識条件と最も類似するラベル無しサンプルデータを選択する。
（パターン１）知識条件記憶部１２０に、空クラスに対応するラベルＹclass_target（図４のラベルＣ）について知識条件が記憶されているが、ラベル有りサンプルデータ蓄積部１０２に、ラベル有り（図４のラベルＣ）サンプルデータが所定個未満となる空クラスが存在する場合がある。
この場合、サンプルデータ検索部１２２は、空クラスに対応するラベルＹclass_target（図４のラベルＣ）の一部又は全部の特徴量jの知識条件と最も類似するラベル無しサンプルデータを選択する。
【0054】
（パターン２）知識条件記憶部１２０に、空クラスに対応するラベルＹclass_target（図４のラベルＣ）について知識条件が記憶されていない場合がある。
この場合、サンプルデータ検索部１２２は、ラベル有りサンプルデータ蓄積部１０２の中で複数のラベル有りサンプルデータの特徴量と最も類似度が低い特徴量を持つラベル無しサンプルデータを検索する。図４によれば、選択されるラベル無しサンプルデータは、クラスＡ及びＢから最も遠いクラスに分類されるものであると想定される。
この場合、サンプルデータ検索部１２２は、ラベル有りサンプルデータ蓄積部１０２の中で複数のラベル有りサンプルデータの特徴量と最も類似度が低い特徴量を持つラベル無しサンプルデータを検索する。図４によれば、選択されるラベル無しサンプルデータは、クラスＡ及びＢから最も遠いクラスに分類されるものであると想定される。
【0055】
［確認フラグ付与部１２３］
確認フラグ付与部１２３は、検索されたラベル無しサンプルデータに、能動学習としての確認フラグを付与する。
確認フラグ付与部１２３は、検索されたラベル無しサンプルデータに、能動学習としての確認フラグを付与する。
【0056】
確認フラグ付与部１２３は、確認フラグが付与されたラベル無しサンプルデータをユーザインタフェースへ出力し、ユーザにラベルＹkを付与させる。これによって、ラベル有りサンプルデータ蓄積部１０２は、ユーザによってラベルＹkが付与されたラベル有りサンプルデータを蓄積する。図４によれば、ユーザによって、選択されたサンプルデータに、ラベルＣが付与されている。
【0057】
その後、機械学習エンジン１３０は、ユーザによってラベルＹkが付与されたラベル有りサンプルデータで、分類クラスをモデルを訓練する。
【0058】
［知識条件更新部１２４］
知識条件更新部１２４は、空クラスに対応するラベルＹclass_target（図３によればラべルＣ）における一部の特徴量jの知識条件の項目をユーザインタフェースへ出力し、ユーザによって入力された知識条件によって知識条件記憶部１２０を更新する。
これによって、空クラスに対応するラベルにおける特徴量の知識条件を補充することによって、フェーズ２におけるサンプルデータに対して適切にクラスを分類することができる。
知識条件更新部１２４は、空クラスに対応するラベルＹclass_target（図３によればラべルＣ）における一部の特徴量jの知識条件の項目をユーザインタフェースへ出力し、ユーザによって入力された知識条件によって知識条件記憶部１２０を更新する。
これによって、空クラスに対応するラベルにおける特徴量の知識条件を補充することによって、フェーズ２におけるサンプルデータに対して適切にクラスを分類することができる。
【0059】
図５は、本発明におけるプログラムコードの例である。
【0060】
能動学習によれば、フェーズ１からフェーズ２、フェーズ３と進みながら、ラベル有りサンプルデータを選択していく。
図５によれば、入力情報として、以下のように与えられる。
(input)
US ：ラベル無しサンプルデータ
class_list={1,2,…,L} ：分類タスクのクラスのリスト
BUDGET ：ラベリング回数の上限
phase_definition ：フェーズ定義
strategy ：各フェーズで用いるサンプリング方式
knowledge=condition_k,j ：一般的知識
図５によれば、入力情報として、以下のように与えられる。
(input)
US ：ラベル無しサンプルデータ
class_list={1,2,…,L} ：分類タスクのクラスのリスト
BUDGET ：ラベリング回数の上限
phase_definition ：フェーズ定義
strategy ：各フェーズで用いるサンプリング方式
knowledge=condition_k,j ：一般的知識
【0061】
（1-3行目）初期化処理を実施する。
LS=0：ラベル有りサンプルデータ０
phase=1：フェーズ１
strategy：Randomサンプリング
F：クラス分類モデルは、nullに設定する。
LS=0：ラベル有りサンプルデータ０
phase=1：フェーズ１
strategy：Randomサンプリング
F：クラス分類モデルは、nullに設定する。
【0062】
＜フェーズ１：Randomサンプリング方式＞
（4-17行目）ループ処理によって、能動学習として、サンプルデータの選択と、クラス分類モデルの更新とを繰り返す。
（5行目）ラベル無しサンプルデータUSからランダムにサンプルデータを選択する
（6行目）ラベル無しサンプルデータをユーザへ問い合わせて、ラベルを得る
（7-9行目）ラベル無しサンプルデータUSとラベル有りサンプルデータLSとを更新する
（10行目）クラス分類モデルFを訓練する
（11行目）ラベル有りサンプルデータの総数が所定数（N1）未満となる段階（例えばN1＝10）では、フェーズ１を繰り返す。ラベル有りサンプルデータの総数が所定数となった後、フェーズ２へ移行し、知識ベースサンプリング方式へ切り替える。ここで、全てのクラスについてラベル有りサンプルデータが収集できている場合、フェーズ１で既にフェーズ２の終了条件を満たしていることとなる。この場合、フェーズ２をスキップし、フェーズ３へ移行し、Uncertaintyサンプリング方式に切り替える。
（4-17行目）ループ処理によって、能動学習として、サンプルデータの選択と、クラス分類モデルの更新とを繰り返す。
（5行目）ラベル無しサンプルデータUSからランダムにサンプルデータを選択する
（6行目）ラベル無しサンプルデータをユーザへ問い合わせて、ラベルを得る
（7-9行目）ラベル無しサンプルデータUSとラベル有りサンプルデータLSとを更新する
（10行目）クラス分類モデルFを訓練する
（11行目）ラベル有りサンプルデータの総数が所定数（N1）未満となる段階（例えばN1＝10）では、フェーズ１を繰り返す。ラベル有りサンプルデータの総数が所定数となった後、フェーズ２へ移行し、知識ベースサンプリング方式へ切り替える。ここで、全てのクラスについてラベル有りサンプルデータが収集できている場合、フェーズ１で既にフェーズ２の終了条件を満たしていることとなる。この場合、フェーズ２をスキップし、フェーズ３へ移行し、Uncertaintyサンプリング方式に切り替える。
【0063】
＜フェーズ２：知識ベースサンプリング方式＞
（5行目）以下の手順で、サンプルデータを選択する。
（Ｓ１）ラベル有りサンプルデータの総数が所定数（N1）以上であって、且つ、ラベル有りサンプルデータLSが所定個（例えば１個）未満となる空クラスが存在するか否かを判定する。空クラスは、class_target（1～L）とする。その空クラスのラベルは、Ｙclass_targetとする。空クラスが複数ある場合は、その中の１つを（ランダムに）選択して、class_targetとする。
（Ｓ２）空クラスclass_targetに対応する知識条件condition_class_target,j(j=1～N)が記憶されている場合、空クラスに対応するラベルＹclass_targetの一部又は全部の特徴量jの知識条件と最も類似するラベル無しサンプルデータを選択する。
一方で、空クラスclass_targetに対応する知識条件condition_class_target,jの一部又は全部がnullである（知識条件が記憶されていない）場合、ラベル有りサンプルデータの群LSの中で、複数のラベル有りサンプルデータの特徴量と最も類似度が低い特徴量を持つラベル無しサンプルデータを検索する。
（5行目）以下の手順で、サンプルデータを選択する。
（Ｓ１）ラベル有りサンプルデータの総数が所定数（N1）以上であって、且つ、ラベル有りサンプルデータLSが所定個（例えば１個）未満となる空クラスが存在するか否かを判定する。空クラスは、class_target（1～L）とする。その空クラスのラベルは、Ｙclass_targetとする。空クラスが複数ある場合は、その中の１つを（ランダムに）選択して、class_targetとする。
（Ｓ２）空クラスclass_targetに対応する知識条件condition_class_target,j(j=1～N)が記憶されている場合、空クラスに対応するラベルＹclass_targetの一部又は全部の特徴量jの知識条件と最も類似するラベル無しサンプルデータを選択する。
一方で、空クラスclass_targetに対応する知識条件condition_class_target,jの一部又は全部がnullである（知識条件が記憶されていない）場合、ラベル有りサンプルデータの群LSの中で、複数のラベル有りサンプルデータの特徴量と最も類似度が低い特徴量を持つラベル無しサンプルデータを検索する。
【0064】
（11行目）ラベル有りサンプルデータの総数が所定数（N1）以上であって、且つ、ラベル有りサンプルデータが所定個未満となる空クラスが存在しない場合、フェーズ３に移行するべく、サンプルデータ選択方式をUncertainty サンプリング方式に切り替える。
【0065】
（14-16行目）知識更新処理を実行する。空クラスclass_targetについて、以下の３つの条件を確認する。
（条件１）知識条件condition_class_target,jの一部又は全部がnullである（知識条件が記憶されていない）場合
（条件２）知識条件condition_class_target,jに合致するサンプルデータがラベル無しサンプルデータUSに所定個（例えば１個）未満となる場合
（条件３）空クラスclass_targetに対して、既に所定複数回（例えば５回）以上のサンプルデータの選択を実行しているが、所定個（例えば１個）以上のラベル有りサンプルデータが揃っていない場合
尚、条件３の補足として、空クラスclass_targetの知識条件を用いてサンプルデータを選択した場合、成功（class_targetのラベル有りサンプルデータを得られる）と失敗とがある。ここで、失敗が複数回続く場合に条件３を満足するものとする。
これら３つの条件のいずれかを満たす場合、「知識更新の必要有り」と判断して、空クラスclass_targetに関する環境固有の知識条件をユーザに問合せる。ユーザから得られた知識条件によって空クラスの知識条件condition_class_target,jを更新する。そして、その後の知識ベースサンプリング方式に利用する。
一方で、これら３つの条件の全てを満たさない場合、「知識更新の必要無し」と判断して、次のサンプルデータの選択へ移行する。
（条件１）知識条件condition_class_target,jの一部又は全部がnullである（知識条件が記憶されていない）場合
（条件２）知識条件condition_class_target,jに合致するサンプルデータがラベル無しサンプルデータUSに所定個（例えば１個）未満となる場合
（条件３）空クラスclass_targetに対して、既に所定複数回（例えば５回）以上のサンプルデータの選択を実行しているが、所定個（例えば１個）以上のラベル有りサンプルデータが揃っていない場合
尚、条件３の補足として、空クラスclass_targetの知識条件を用いてサンプルデータを選択した場合、成功（class_targetのラベル有りサンプルデータを得られる）と失敗とがある。ここで、失敗が複数回続く場合に条件３を満足するものとする。
これら３つの条件のいずれかを満たす場合、「知識更新の必要有り」と判断して、空クラスclass_targetに関する環境固有の知識条件をユーザに問合せる。ユーザから得られた知識条件によって空クラスの知識条件condition_class_target,jを更新する。そして、その後の知識ベースサンプリング方式に利用する。
一方で、これら３つの条件の全てを満たさない場合、「知識更新の必要無し」と判断して、次のサンプルデータの選択へ移行する。
【0066】
＜フェーズ３：Uncertaintyサンプリング方式＞
Uncertainty サンプリング方式でサンプルデータの選択を繰り返し、ラベリング回数がBUDGETに到達したら終了する。
Uncertainty サンプリング方式でサンプルデータの選択を繰り返し、ラベリング回数がBUDGETに到達したら終了する。
【0067】
本発明によれば、例えばスマートホームにおける人の行動推定に適用することもできる。このような用途では、本来、大量のラベル付きサンプルが必要となり、且つ、プライバシーや精度向上の観点からユーザ自身によるラベル付与が望ましい。このとき、本発明によれば、ユーザ側のラベル付与の負担を大幅に軽減することができる。
【0068】
図６は、複数のセンサが配置されたユーザ宅内の例である。
【0069】
図６によれば、ユーザの宅内に、ＩｏＴデバイスとして、例えば以下のような多種多様な室内センサが配置されている。
寝室人感センサ（ON/OFF）
温度センサ
リビング人感センサ（ON/OFF）
風呂人感センサ（ON/OFF）
キッチン人感センサ（ON/OFF）
玄関人感センサ（ON/OFF）
ドアセンサ（ON/OFF）
センサは、室内環境や室内機器の状態や変化をイベントとして検知する。人感センサは、人の動きを検知した際にON、検知できなくなった際にOFFを出力する。温度センサは、部屋の温度を定期的に測定する。ドアセンサは、ドアの開閉に応じて、ON/OFFを出力する。そして、各センサは、検知したイベントを、能動学習装置１へ送信する。
寝室人感センサ（ON/OFF）
温度センサ
リビング人感センサ（ON/OFF）
風呂人感センサ（ON/OFF）
キッチン人感センサ（ON/OFF）
玄関人感センサ（ON/OFF）
ドアセンサ（ON/OFF）
センサは、室内環境や室内機器の状態や変化をイベントとして検知する。人感センサは、人の動きを検知した際にON、検知できなくなった際にOFFを出力する。温度センサは、部屋の温度を定期的に測定する。ドアセンサは、ドアの開閉に応じて、ON/OFFを出力する。そして、各センサは、検知したイベントを、能動学習装置１へ送信する。
【0070】
図６によれば、能動学習装置１へ入力される時系列のイベントが表されている。能動学習装置１は、イベントを時系列順に並べて構成する。時系列のイベントの群は、その室内に滞在する人が行動（外出、睡眠、料理、食事、仕事、薬の接種など）した結果といえる。これらセンサのイベントをパターン解析することによって、人の行動認識が可能となる。
【0071】
図７は、時系列のイベントの群をセンサデータに区分した説明図である。
【0072】
複数のセンサによって検知された時系列のイベントは、スライディングウィンドウ(Sliding Window)によって複数のセンサデータに区分される。図７によれば、センサデータを、例えば１０個のイベント｛x1,x2,・・・,x10｝毎に区分して、所定個ずつ（例えば１個ずつ）スライドさせていく。x1が最も古いイベントを表し、x10最も新しいイベントを表す。
【0073】
図７によれば、最初のセンサデータは、以下のようなデータ要素を持つ。
x1：リビング人感センサON
x2：寝室人感センサON
x3：寝室人感センサOFF
x4：リビング人感センサON
x5：風呂人感センサON
x6：リビング人感センサOFF
x7：温度センサ18度
x8：キッチン人感センサON
x9：風呂人感センサOFF
x10：リビング人感センサON
x1：リビング人感センサON
x2：寝室人感センサON
x3：寝室人感センサOFF
x4：リビング人感センサON
x5：風呂人感センサON
x6：リビング人感センサOFF
x7：温度センサ18度
x8：キッチン人感センサON
x9：風呂人感センサOFF
x10：リビング人感センサON
【0074】
図８は、特徴量ベクトル変換部の処理を表す説明図である。
【0075】
［特徴量ベクトル変換部１５］
特徴量ベクトル変換部１５は、複数のセンサにおけるセンサデータを、複数の特徴量j（j=1～N）のベクトルからなるサンプルデータＸi＝｛ｘi,1、ｘi,2、・・・、ｘi,N｝に変換する。
図８によれば、以下のN=11次元の特徴量を定義している。
１ 時間帯（0～23）
２ ウィンドウデータの時間差（秒）
３ 検知回数が最も多いセンサ
４ 人感センサの検知回数
５ ドアセンサの検知回数
６ 温度センサの検知回数
７ リビング人感センサの検知回数
８ キッチン人感センサの検知回数
９ 風呂人感センサ検知回数
１０ 寝室人感センサの検知回数
１１ 玄関人感センサの検知回数
特徴量ベクトル変換部１５は、複数のセンサにおけるセンサデータを、複数の特徴量j（j=1～N）のベクトルからなるサンプルデータＸi＝｛ｘi,1、ｘi,2、・・・、ｘi,N｝に変換する。
図８によれば、以下のN=11次元の特徴量を定義している。
１ 時間帯（0～23）
２ ウィンドウデータの時間差（秒）
３ 検知回数が最も多いセンサ
４ 人感センサの検知回数
５ ドアセンサの検知回数
６ 温度センサの検知回数
７ リビング人感センサの検知回数
８ キッチン人感センサの検知回数
９ 風呂人感センサ検知回数
１０ 寝室人感センサの検知回数
１１ 玄関人感センサの検知回数
【0076】
また、図８によれば、最初のセンサデータは、以下のような、11次元の特徴量からなるサンプルデータに変換される。
サンプルデータＸ1＝｛19,300,2,9,0,1,4,1,1,2,0｝
サンプルデータＸ1＝｛19,300,2,9,0,1,4,1,1,2,0｝
【0077】
図９は、本発明における知識条件記憶部を表すテーブルである。
【0078】
ラベルは、室内の人の行動認識に対応するものである。知識条件記憶部１２０には、クラスに対応するラベル毎に、特徴量毎の知識条件が蓄積されている。
図９によれば、クラスに対応する行動認識のラベルは、「外出」「睡眠」「料理」「食事」「仕事」「薬の摂取」の６個（L=6）であるとする。例えば「睡眠」の知識条件として、時間帯は0時～8時であって、検知回数が最も多いセンサは寝室人感センサであるとする。また、例えば「料理」の知識条件として、時間帯は11時～13時及び17時～20時であって、検知回数が最も多いセンサはキッチン人感センサであるとする。これら知識条件には、前述したように、「一般的知識」と「対象環境知識」とがある。
図９によれば、クラスに対応する行動認識のラベルは、「外出」「睡眠」「料理」「食事」「仕事」「薬の摂取」の６個（L=6）であるとする。例えば「睡眠」の知識条件として、時間帯は0時～8時であって、検知回数が最も多いセンサは寝室人感センサであるとする。また、例えば「料理」の知識条件として、時間帯は11時～13時及び17時～20時であって、検知回数が最も多いセンサはキッチン人感センサであるとする。これら知識条件には、前述したように、「一般的知識」と「対象環境知識」とがある。
【0079】
前述したサンプルデータ検索部１２２は、知識条件記憶部１２０を用いて、空クラスに対応するラベルＹclass_targetの特徴量jの知識条件と所定類似度以上となるラベル無しサンプルデータを検索する。ここで、一部の特徴量j（例えばj=1,3のみ）の知識条件を比較するものであってもよいし、全部の特徴量j（例えばj=1～Nの全て）の知識条件を比較するものであってもよい。
【0080】
図１０は、ユーザに行動状態を問い合わせるユーザインタフェースである。
【0081】
図１０によれば、全てのフェーズ（フェーズ１、フェーズ２、フェーズ３）で、ユーザに、サンプルデータへのラベル付与を問い合わせる画面表示の例が表されている。
フェーズ１では、Randomサンプリング部１１によって選択されたサンプルデータについて、ユーザにラベル付与が問い合わされる。
フェーズ２では、確認フラグ付与部１２３によってフラグが付与されたサンプルデータについて、ユーザにラベル付与が問い合わされる。
フェーズ３では、Uncertaintyサンプリング部１３によって選択されたサンプルデータについて、ユーザにラベル付与が問い合わされる。
フェーズ１では、Randomサンプリング部１１によって選択されたサンプルデータについて、ユーザにラベル付与が問い合わされる。
フェーズ２では、確認フラグ付与部１２３によってフラグが付与されたサンプルデータについて、ユーザにラベル付与が問い合わされる。
フェーズ３では、Uncertaintyサンプリング部１３によって選択されたサンプルデータについて、ユーザにラベル付与が問い合わされる。
【0082】
図１１は、ユーザに知識条件を問い合わせるユーザインタフェースである。
【0083】
図１１によれば、フェーズ２の知識条件更新部１２４によって、ユーザに、空クラスに対応するラベルについて、特徴量jの知識条件がユーザに問い合わされる。例えば空クラスに対応するラベルＹclass_targetが「薬の摂取」である場合、その知識条件「時間帯」及び「場所」がユーザに問い合わされる。
（問い合わせ）
「あなたの「薬の摂取」における［時間帯］と［場所］とを教えてください」
（ユーザの回答）
時間帯：１０：００～１２：００
場所 ：リビング
これら知識条件は、知識条件記憶部１２０に蓄積される。そして、その後のフェーズ２におけるサンプルデータの選択で利用される。
（問い合わせ）
「あなたの「薬の摂取」における［時間帯］と［場所］とを教えてください」
（ユーザの回答）
時間帯：１０：００～１２：００
場所 ：リビング
これら知識条件は、知識条件記憶部１２０に蓄積される。そして、その後のフェーズ２におけるサンプルデータの選択で利用される。
【0084】
＜その他の実施形態＞
前述の実施形態によれば、人の行動認識の用途における分類タスクについて説示したが、勿論、画像分類や異常検知の用途であっても、クラス分布が不均衡である分類タスクに対して、本発明を適用することができる。
画像分類としては、例えば動物の種類の画像分類。希少種のサンプルデータの割合が低く、ラベル有りサンプルデータが無い場合など、希少種の知識（色、形の特徴など）に適用することができる。
異常検知としては、例えばカメラ映像について、異常状態の発生頻度が低く、ラベル有りサンプルデータが無い場合など、異常状態の知識（映像内に多数の人が含まれるなど）に適用することができる。
前述の実施形態によれば、人の行動認識の用途における分類タスクについて説示したが、勿論、画像分類や異常検知の用途であっても、クラス分布が不均衡である分類タスクに対して、本発明を適用することができる。
画像分類としては、例えば動物の種類の画像分類。希少種のサンプルデータの割合が低く、ラベル有りサンプルデータが無い場合など、希少種の知識（色、形の特徴など）に適用することができる。
異常検知としては、例えばカメラ映像について、異常状態の発生頻度が低く、ラベル有りサンプルデータが無い場合など、異常状態の知識（映像内に多数の人が含まれるなど）に適用することができる。
【0085】
また、ＡＩがサンプルデータを選択し、ユーザがラベルを付与する以外のシナリオ例として、例えば以下のような、ユーザがサンプル選択する例がある。
（例１）ラベル無しサンプルデータの中から、各クラスのサンプルデータをユーザが探し出す。但し、ラベル無しサンプルデータの絶対数が膨大な場合、ユーザ負荷が非常に高くなることが想定される。
（例２）各クラスのサンプルデータが発生した瞬間に、ユーザがＡＩに通知する。これは、行動認識の場合に、当該行動を実施した瞬間にユーザがＡＩに通知することで、各クラスのラベル有りサンプルデータを着実に揃えることができる。但し、当該行動を実施した際にＡＩに通知することを記憶しながら、１日の生活を進めることは、ユーザ負荷が高い場合が想定される。
（例１）ラベル無しサンプルデータの中から、各クラスのサンプルデータをユーザが探し出す。但し、ラベル無しサンプルデータの絶対数が膨大な場合、ユーザ負荷が非常に高くなることが想定される。
（例２）各クラスのサンプルデータが発生した瞬間に、ユーザがＡＩに通知する。これは、行動認識の場合に、当該行動を実施した瞬間にユーザがＡＩに通知することで、各クラスのラベル有りサンプルデータを着実に揃えることができる。但し、当該行動を実施した際にＡＩに通知することを記憶しながら、１日の生活を進めることは、ユーザ負荷が高い場合が想定される。
【0086】
以上、詳細に説明したように、本発明の能動学習のプログラム、装置及び方法によれば、分類タスクの全クラスについてラベル有りサンプルデータを早急に蓄積するべく、サンプルデータにラベルを付与することができる。
また、本発明によれば、分類タスクでの能動学習について、コールドスタートであっても、できるだけ少ないサンプルデータの選択回数で、能動学習へ移行することができる。即ち、ユーザやアノテータによるラベル付与の回数が少なく、その作業コストを軽減することができる。
また、本発明によれば、分類タスクでの能動学習について、コールドスタートであっても、できるだけ少ないサンプルデータの選択回数で、能動学習へ移行することができる。即ち、ユーザやアノテータによるラベル付与の回数が少なく、その作業コストを軽減することができる。
【0087】
尚、これにより、例えば「サンプルデータに対するユーザのラベリングの負担を軽減することができる」ことから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。
【0088】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【0089】
１ 能動学習装置
１０１ ラベル無しサンプルデータ蓄積部
１０２ ラベル有りサンプルデータ蓄積部
１１ Randomサンプリング部
１２０ 知識条件記憶部
１２１ 空クラス特定部
１２２ サンプルデータ検索部
１２３ 確認フラグ付与部
１２４ 知識条件更新部
１３０ 機械学習エンジン
１３ Uncertaintyサンプリング部
１４ 進行管理部
１５ 特徴量ベクトル変換部
１０１ ラベル無しサンプルデータ蓄積部
１０２ ラベル有りサンプルデータ蓄積部
１１ Randomサンプリング部
１２０ 知識条件記憶部
１２１ 空クラス特定部
１２２ サンプルデータ検索部
１２３ 確認フラグ付与部
１２４ 知識条件更新部
１３０ 機械学習エンジン
１３ Uncertaintyサンプリング部
１４ 進行管理部
１５ 特徴量ベクトル変換部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】