(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023129309
(43)【公開日】2023-09-14
(54)【発明の名称】モデルを訓練する方法及び装置並びに情報処理方法
(51)【国際特許分類】
G06N 20/00 20190101AFI20230907BHJP
【ＦＩ】
G06N20/00
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023025653
(22)【出願日】2023-02-22
(31)【優先権主張番号】202210209067.0
(32)【優先日】2022-03-03
(33)【優先権主張国・地域又は機関】CN
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
２．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100107515
【弁理士】
【氏名又は名称】廣田 浩一
(72)【発明者】
【氏名】リィウ・ルゥジエ
(57)【要約】 （修正有）
【課題】モデルの精度を向上させるモデル訓練方法、装置及び情報処理方法を提供する。
【解決手段】モデル訓練方法は、全訓練サンプル集合のＮ個のサブサンプル集合からなるサブサンプル集合シーケンスを確定し、サブサンプル集合シーケンスに基づいて、Ｎ段階に分けてモデルを順次反復訓練する。Ｎ段階のうち、第２～第Ｎ段階のうちの第ｙ段階の段階訓練サンプル集合が、サブサンプル集合シーケンスにおける第ｙサブサンプル集合及び第ｙサブサンプル集合の前の全サブサンプル集合からなるプリビアス・サブサンプル集合のダウンサンプリング・プリビアス・サブサンプル集合を含む。ダウンサンプリング・プリビアス・サブサンプル集合は、プリビアス・サブサンプル集合のカバー候補クラス集合と同じであり、各単一クラスサンプル数量が第ｙサブサンプル集合の単一クラスサンプル数量の分布区間に近く又は該分布区間内にある。
【選択図】図２
【解決手段】モデル訓練方法は、全訓練サンプル集合のＮ個のサブサンプル集合からなるサブサンプル集合シーケンスを確定し、サブサンプル集合シーケンスに基づいて、Ｎ段階に分けてモデルを順次反復訓練する。Ｎ段階のうち、第２～第Ｎ段階のうちの第ｙ段階の段階訓練サンプル集合が、サブサンプル集合シーケンスにおける第ｙサブサンプル集合及び第ｙサブサンプル集合の前の全サブサンプル集合からなるプリビアス・サブサンプル集合のダウンサンプリング・プリビアス・サブサンプル集合を含む。ダウンサンプリング・プリビアス・サブサンプル集合は、プリビアス・サブサンプル集合のカバー候補クラス集合と同じであり、各単一クラスサンプル数量が第ｙサブサンプル集合の単一クラスサンプル数量の分布区間に近く又は該分布区間内にある。
【選択図】図２
【特許請求の範囲】
【請求項1】
コンピュータが実行する、分類機能を有するモデルを訓練する方法であって、
前記モデルは複数の候補クラスを有するように構成され、
前記方法は、
全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定し；及び
前記サブサンプル集合シーケンスに基づいて、N個の段階に分けて前記モデルを順次、反復訓練することを含み、
前記N個のサブサンプル集合における任意の2つのカバー候補クラス集合が共通集合を有せず、
前記サブサンプル集合シーケンスの平均単一クラスサンプル数量シーケンスが降順シーケンスであり、
前記N個の段階のうち、第2段階乃至第N段階のうちの第y段階の段階訓練サンプル集合が、前記サブサンプル集合シーケンスにおける第yサブサンプル集合と、前記第yサブサンプル集合の前のすべてのサブサンプル集合からなるプリビアス・サブサンプル集合のダウンサンプリング・プリビアス・サブサンプル集合と、を含み、
前記ダウンサンプリング・プリビアス・サブサンプル集合と前記プリビアス・サブサンプル集合のカバー候補クラス集合が同じであり、
前記ダウンサンプリング・プリビアス・サブサンプル集合の各単一クラスサンプル数量が前記第yサブサンプル集合の単一クラスサンプル数量の分布区間の近傍にあり又は該分布区間内にある、方法。
前記モデルは複数の候補クラスを有するように構成され、
前記方法は、
全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定し；及び
前記サブサンプル集合シーケンスに基づいて、N個の段階に分けて前記モデルを順次、反復訓練することを含み、
前記N個のサブサンプル集合における任意の2つのカバー候補クラス集合が共通集合を有せず、
前記サブサンプル集合シーケンスの平均単一クラスサンプル数量シーケンスが降順シーケンスであり、
前記N個の段階のうち、第2段階乃至第N段階のうちの第y段階の段階訓練サンプル集合が、前記サブサンプル集合シーケンスにおける第yサブサンプル集合と、前記第yサブサンプル集合の前のすべてのサブサンプル集合からなるプリビアス・サブサンプル集合のダウンサンプリング・プリビアス・サブサンプル集合と、を含み、
前記ダウンサンプリング・プリビアス・サブサンプル集合と前記プリビアス・サブサンプル集合のカバー候補クラス集合が同じであり、
前記ダウンサンプリング・プリビアス・サブサンプル集合の各単一クラスサンプル数量が前記第yサブサンプル集合の単一クラスサンプル数量の分布区間の近傍にあり又は該分布区間内にある、方法。
【請求項2】
請求項1に記載の方法であって、
全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定することは、
前記全訓練サンプル集合における各候補クラスの単一クラスサンプル数量に基づいて、前記全訓練サンプル集合を前記N個のサブサンプル集合に組分けし；及び
前記N個のサブサンプル集合の平均単一クラスサンプル数量が降順に配列されるシーケンスを前記サブサンプル集合シーケンスとして確定することを含み、
前記N個のサブサンプル集合における各単一クラスサンプル数量の集中度が所定範囲内にある、方法。
全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定することは、
前記全訓練サンプル集合における各候補クラスの単一クラスサンプル数量に基づいて、前記全訓練サンプル集合を前記N個のサブサンプル集合に組分けし；及び
前記N個のサブサンプル集合の平均単一クラスサンプル数量が降順に配列されるシーケンスを前記サブサンプル集合シーケンスとして確定することを含み、
前記N個のサブサンプル集合における各単一クラスサンプル数量の集中度が所定範囲内にある、方法。
【請求項3】
請求項1に記載の方法であって、
全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定することは、
前記全訓練サンプル集合における各候補クラスの単一クラスサンプル数量に基づいて確定される、単一クラスサンプル数量が降順に変化する全候補クラスシーケンスをN個の候補クラスサブシーケンスに分けることを含み、
前記サブサンプル集合シーケンスは、前記N個の候補クラスサブシーケンスの、前記全訓練サンプル集合の中の対応するサブサンプル集合からなるシーケンスである、方法。
全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定することは、
前記全訓練サンプル集合における各候補クラスの単一クラスサンプル数量に基づいて確定される、単一クラスサンプル数量が降順に変化する全候補クラスシーケンスをN個の候補クラスサブシーケンスに分けることを含み、
前記サブサンプル集合シーケンスは、前記N個の候補クラスサブシーケンスの、前記全訓練サンプル集合の中の対応するサブサンプル集合からなるシーケンスである、方法。
【請求項4】
請求項1に記載の方法であって、
前記ダウンサンプリング・プリビアス・サブサンプル集合は、前記第yサブサンプル集合を参照して前記プリビアス・サブサンプル集合に対してダウンサンプリング操作を行うことで確定され、
前記ダウンサンプリング操作は、
参照サンプル集合を参照して目標サンプル集合に対して該ダウンサンプリング操作を行うことでダウンサンプリング目標サンプル集合を得るときに、前記ダウンサンプリング目標サンプル集合が前記目標サンプル集合のカバー候補クラス集合と同じになり、かつ前記ダウンサンプリング目標サンプル集合の各単一クラスサンプル数量が前記参照サンプル集合の単一クラスサンプル数量の分布区間の近傍にあり又は該分布区間内にあるようにさせる
ように構成される、方法。
前記ダウンサンプリング・プリビアス・サブサンプル集合は、前記第yサブサンプル集合を参照して前記プリビアス・サブサンプル集合に対してダウンサンプリング操作を行うことで確定され、
前記ダウンサンプリング操作は、
参照サンプル集合を参照して目標サンプル集合に対して該ダウンサンプリング操作を行うことでダウンサンプリング目標サンプル集合を得るときに、前記ダウンサンプリング目標サンプル集合が前記目標サンプル集合のカバー候補クラス集合と同じになり、かつ前記ダウンサンプリング目標サンプル集合の各単一クラスサンプル数量が前記参照サンプル集合の単一クラスサンプル数量の分布区間の近傍にあり又は該分布区間内にあるようにさせる
ように構成される、方法。
【請求項5】
請求項3に記載の方法であって、
前記全候補クラスシーケンスの、前記複数の候補クラスに関する単一クラスサンプル数量の分布がロングテール分布である、方法。
前記全候補クラスシーケンスの、前記複数の候補クラスに関する単一クラスサンプル数量の分布がロングテール分布である、方法。
【請求項6】
請求項4に記載の方法であって、
参照サンプル集合を参照して目標サンプル集合に対して該ダウンサンプリング操作を行うことでダウンサンプリング目標サンプル集合を得ることは、
前記目標サンプル集合の中の各候補クラスのサンプル集合に対してダウンサンプリングを行って各候補クラスのダウンサンプリング・サンプル集合を確定することで、各候補クラスのダウンサンプリング・サンプル集合のサンプル数が前記参照サンプル集合の単一クラスサンプル数量の分布区間の近傍にあり又は該分布区間内にあるようにさせ；及び
各候補クラスのダウンサンプリング・サンプル集合の合併集合を前記ダウンサンプリング目標サンプル集合として設定することを含む、方法。
参照サンプル集合を参照して目標サンプル集合に対して該ダウンサンプリング操作を行うことでダウンサンプリング目標サンプル集合を得ることは、
前記目標サンプル集合の中の各候補クラスのサンプル集合に対してダウンサンプリングを行って各候補クラスのダウンサンプリング・サンプル集合を確定することで、各候補クラスのダウンサンプリング・サンプル集合のサンプル数が前記参照サンプル集合の単一クラスサンプル数量の分布区間の近傍にあり又は該分布区間内にあるようにさせ；及び
各候補クラスのダウンサンプリング・サンプル集合の合併集合を前記ダウンサンプリング目標サンプル集合として設定することを含む、方法。
【請求項7】
請求項6に記載の方法であって、
前記目標サンプル集合の中の各候補クラスのサンプル集合に対してダウンサンプリングを行って各候補クラスのダウンサンプリング・サンプル集合を確定することは、
前記参照サンプル集合の単一クラスサンプル数量の分布区間に基づいて、該候補クラスの、該候補クラスのダウンサンプリング・サンプル集合に関するサンプル数kを確定し；
前記モデルにより確定される、前記目標サンプル集合の中の該候補クラスのサンプル集合におけるサンプルの分類特徴に基づいて、該候補クラスのサンプル集合におけるサンプルをk個のサンプルクラスターにクラスタリングし；及び
前記k個のサンプルクラスターのうちから選択される各代表的サンプルに基づいて、該候補クラスのダウンサンプリング・サンプル集合を構築することを含む、方法。
前記目標サンプル集合の中の各候補クラスのサンプル集合に対してダウンサンプリングを行って各候補クラスのダウンサンプリング・サンプル集合を確定することは、
前記参照サンプル集合の単一クラスサンプル数量の分布区間に基づいて、該候補クラスの、該候補クラスのダウンサンプリング・サンプル集合に関するサンプル数kを確定し；
前記モデルにより確定される、前記目標サンプル集合の中の該候補クラスのサンプル集合におけるサンプルの分類特徴に基づいて、該候補クラスのサンプル集合におけるサンプルをk個のサンプルクラスターにクラスタリングし；及び
前記k個のサンプルクラスターのうちから選択される各代表的サンプルに基づいて、該候補クラスのダウンサンプリング・サンプル集合を構築することを含む、方法。
【請求項8】
請求項7に記載の方法であって、
分類特徴空間内の各分類特徴クラスターの中心に最も近い分類特徴に対応するサンプルを、前記k個のサンプルクラスターのうちの対応するサンプルクラスターの代表的サンプルとして選択する、方法。
分類特徴空間内の各分類特徴クラスターの中心に最も近い分類特徴に対応するサンプルを、前記k個のサンプルクラスターのうちの対応するサンプルクラスターの代表的サンプルとして選択する、方法。
【請求項9】
コンピュータが実行する、情報を処理する方法であって、
請求項求1に記載の方法により訓練されるモデルを用いて処理待ち対象を処理することを含む、方法。
請求項求1に記載の方法により訓練されるモデルを用いて処理待ち対象を処理することを含む、方法。
【請求項10】
モデルを訓練する装置であって、
前記モデルは複数の候補クラスを有するように構成され、
前記装置は、
命令を記憶している記憶器；及び
前記記憶器に接続される少なくとも1つの処理器を含み、
前記処理器は、前記命令を実行することで、
全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定し；及び
前記サブサンプル集合シーケンスに基づいて、N個の段階に分けて前記モデルを順次、反復訓練する
ように構成され、
前記N個のサブサンプル集合における任意の2つのカバー候補クラス集合が共通集合を有せず、
前記サブサンプル集合シーケンスの平均単一クラスサンプル数量シーケンスが降順シーケンスであり、
前記N個の段階のうち、第2段階乃至第N段階のうちの第y段階の段階訓練サンプル集合が、前記サブサンプル集合シーケンスにおける第yサブサンプル集合と、前記第yサブサンプル集合の前のすべてのサブサンプル集合からなるプリビアス・サブサンプル集合のダウンサンプリング・プリビアス・サブサンプル集合と、を含み、
前記ダウンサンプリング・プリビアス・サブサンプル集合と前記プリビアス・サブサンプル集合のカバー候補クラス集合が同じであり、
前記ダウンサンプリング・プリビアス・サブサンプル集合の各単一クラスサンプル数量が前記第yサブサンプル集合の単一クラスサンプル数量の分布区間の近傍にあり又は該分布区間内にある、装置。
前記モデルは複数の候補クラスを有するように構成され、
前記装置は、
命令を記憶している記憶器；及び
前記記憶器に接続される少なくとも1つの処理器を含み、
前記処理器は、前記命令を実行することで、
全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定し；及び
前記サブサンプル集合シーケンスに基づいて、N個の段階に分けて前記モデルを順次、反復訓練する
ように構成され、
前記N個のサブサンプル集合における任意の2つのカバー候補クラス集合が共通集合を有せず、
前記サブサンプル集合シーケンスの平均単一クラスサンプル数量シーケンスが降順シーケンスであり、
前記N個の段階のうち、第2段階乃至第N段階のうちの第y段階の段階訓練サンプル集合が、前記サブサンプル集合シーケンスにおける第yサブサンプル集合と、前記第yサブサンプル集合の前のすべてのサブサンプル集合からなるプリビアス・サブサンプル集合のダウンサンプリング・プリビアス・サブサンプル集合と、を含み、
前記ダウンサンプリング・プリビアス・サブサンプル集合と前記プリビアス・サブサンプル集合のカバー候補クラス集合が同じであり、
前記ダウンサンプリング・プリビアス・サブサンプル集合の各単一クラスサンプル数量が前記第yサブサンプル集合の単一クラスサンプル数量の分布区間の近傍にあり又は該分布区間内にある、装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理の技術分野に関し、特に、モデルを訓練する方法、モデルを訓練する装置、及び情報処理方法に関する。
【背景技術】
【0002】
コンピュータサイエンス及び人工知能の発展に伴い、コンピュータを用いて人工知能モデルを実行することで情報処理を実現することが益々一般的かつ効果的になっている。
【0003】
分類機能を有するモデルにより、例えば、対象位置特定、対象識別（認識）、対象分割、対象検出などを実現できる。モデルの入力情報には音声情報、画像情報などが含まれ得る。
【0004】
モデルを用いて処理待ち情報を処理する前に、訓練（トレーニング）サンプルを使用してモデルを訓練する必要がある。訓練方法はモデルのパフォーマンスに影響を与える可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の目的は、モデルを訓練する方法、モデルを訓練する装置、及び情報処理方法を提供することにある。
【課題を解決するための手段】
【0006】
本発明の1つの側面によれば、コンピュータが実行する、分類機能を有するモデルを訓練する方法（モデル訓練方法）が提供され、モデルは複数の候補クラスを有するように構成され、該方法は、
全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定し；及び
サブサンプル集合シーケンスに基づいて、N個の段階に分けてモデルを順次、反復訓練することを含み、
そのうち、N個のサブサンプル集合における任意の2つのカバー候補クラス集合が共通集合を有せず；サブサンプル集合シーケンスの平均単一クラスサンプル数量シーケンスが降順シーケンスであり；N個の段階のうち、第2段階乃至第N段階のうちの第y段階の段階訓練サンプル集合が、サブサンプル集合シーケンスにおける第yサブサンプル集合と、第yサブサンプル集合の前のすべてのサブサンプル集合からなるプリビアス（previous）・サブサンプル集合（前のサブサンプル集合ともいう）のダウンサンプリング・プリビアス・サブサンプル集合と、を含み；ダウンサンプリング・プリビアス・サブサンプル集合とプリビアス・サブサンプル集合のカバー候補クラス集合が同じであり；かつ、ダウンサンプリング・プリビアス・サブサンプル集合の各単一クラスサンプル数量が第yサブサンプル集合の単一クラスサンプル数量の分布区間に近く（分布区間の近傍にあり）又は該分布区間内にある。
全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定し；及び
サブサンプル集合シーケンスに基づいて、N個の段階に分けてモデルを順次、反復訓練することを含み、
そのうち、N個のサブサンプル集合における任意の2つのカバー候補クラス集合が共通集合を有せず；サブサンプル集合シーケンスの平均単一クラスサンプル数量シーケンスが降順シーケンスであり；N個の段階のうち、第2段階乃至第N段階のうちの第y段階の段階訓練サンプル集合が、サブサンプル集合シーケンスにおける第yサブサンプル集合と、第yサブサンプル集合の前のすべてのサブサンプル集合からなるプリビアス（previous）・サブサンプル集合（前のサブサンプル集合ともいう）のダウンサンプリング・プリビアス・サブサンプル集合と、を含み；ダウンサンプリング・プリビアス・サブサンプル集合とプリビアス・サブサンプル集合のカバー候補クラス集合が同じであり；かつ、ダウンサンプリング・プリビアス・サブサンプル集合の各単一クラスサンプル数量が第yサブサンプル集合の単一クラスサンプル数量の分布区間に近く（分布区間の近傍にあり）又は該分布区間内にある。
【0007】
本発明の1つの側面によれば、画像を検出する方法（画像検出方法）が提供される。該方法は、前述のモデル訓練方法によって訓練されるモデルを用いて処理待ち対象を処理することを含む。
【0008】
本発明の1つの側面によれば、モデルを訓練する装置（モデル訓練装置）が提供され、該装置はサブサンプル集合シーケンス確定ユニット及び訓練ユニットを含み、サブサンプル集合シーケンス確定ユニットは、全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定するように構成され、訓練ユニットは、サブサンプル集合シーケンスに基づいて、N個の段階に分けてモデルを順次、反復訓練するように構成され、そのうち、N個のサブサンプル集合における任意の2つのカバー候補クラス集合が共通集合を有せず；サブサンプル集合シーケンスの平均単一クラスサンプル数量シーケンスが降順シーケンスであり；N個の段階のうち、第2段階乃至第N段階のうちの第y段階の段階訓練サンプル集合が、サブサンプル集合シーケンスにおける第yサブサンプル集合と、第yサブサンプル集合の前のすべてのサブサンプル集合からなるプリビアス・サブサンプル集合のダウンサンプリング・プリビアス・サブサンプル集合と、を含み；ダウンサンプリング・プリビアス・サブサンプル集合とプリビアス・サブサンプル集合のカバー候補クラス集合が同じであり；かつ、ダウンサンプリング・プリビアス・サブサンプル集合の各単一クラスサンプル数量が第yサブサンプル集合の単一クラスサンプル数量の分布区間に近く又は該分布区間内にある。
【0009】
本発明の1つの側面によれば、モデルを訓練する装置（モデル訓練装置）が提供され、モデルは複数の候補クラスを有するように構成され、該装置は、命令を記憶している記憶器；及び、少なくとも1つの処理器を含み、該処理器は記憶器に接続され、かつ命令を実行することで次のようなことを行うように構成され、即ち、
全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定し；及び
サブサンプル集合シーケンスに基づいて、N個の段階に分けてモデルを順次、反復訓練することであり、
そのうち、N個のサブサンプル集合における任意の2つのカバー候補クラス集合が共通集合を有せず；サブサンプル集合シーケンスの平均単一クラスサンプル数量シーケンスが降順シーケンスであり；N個の段階のうち、第2段階乃至第N段階のうちの第y段階の段階訓練サンプル集合が、サブサンプル集合シーケンスにおける第yサブサンプル集合と、第yサブサンプル集合の前のすべてのサブサンプル集合からなるプリビアス・サブサンプル集合のダウンサンプリング・プリビアス・サブサンプル集合と、を含み；ダウンサンプリング・プリビアス・サブサンプル集合とプリビアス・サブサンプル集合のカバー候補クラス集合が同じであり；かつ、ダウンサンプリング・プリビアス・サブサンプル集合の各単一クラスサンプル数量が第yサブサンプル集合の単一クラスサンプル数量の分布区間に近く又は該分布区間内にある。
全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定し；及び
サブサンプル集合シーケンスに基づいて、N個の段階に分けてモデルを順次、反復訓練することであり、
そのうち、N個のサブサンプル集合における任意の2つのカバー候補クラス集合が共通集合を有せず；サブサンプル集合シーケンスの平均単一クラスサンプル数量シーケンスが降順シーケンスであり；N個の段階のうち、第2段階乃至第N段階のうちの第y段階の段階訓練サンプル集合が、サブサンプル集合シーケンスにおける第yサブサンプル集合と、第yサブサンプル集合の前のすべてのサブサンプル集合からなるプリビアス・サブサンプル集合のダウンサンプリング・プリビアス・サブサンプル集合と、を含み；ダウンサンプリング・プリビアス・サブサンプル集合とプリビアス・サブサンプル集合のカバー候補クラス集合が同じであり；かつ、ダウンサンプリング・プリビアス・サブサンプル集合の各単一クラスサンプル数量が第yサブサンプル集合の単一クラスサンプル数量の分布区間に近く又は該分布区間内にある。
【0010】
本発明の1つの側面によれば、プログラムを記憶しているコンピュータ可読記憶媒体が提供され、該プログラムは実行されるときに、コンピュータに、次のようなことを実行させ、即ち、
全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定し；及び
サブサンプル集合シーケンスに基づいて、N個の段階に分けてモデルを順次、反復訓練することであり、
そのうち、N個のサブサンプル集合における任意の2つのカバー候補クラス集合が共通集合を有せず；サブサンプル集合シーケンスの平均単一クラスサンプル数量シーケンスが降順シーケンスであり；N個の段階のうち、第2段階乃至第N段階のうちの第y段階の段階訓練サンプル集合が、サブサンプル集合シーケンスにおける第yサブサンプル集合と、第yサブサンプル集合の前のすべてのサブサンプル集合からなるプリビアス・サブサンプル集合のダウンサンプリング・プリビアス・サブサンプル集合と、を含み；ダウンサンプリング・プリビアス・サブサンプル集合とプリビアス・サブサンプル集合のカバー候補クラス集合が同じであり；かつ、ダウンサンプリング・プリビアス・サブサンプル集合の各単一クラスサンプル数量が第yサブサンプル集合の単一クラスサンプル数量の分布区間に近く又は該分布区間内にある。
全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定し；及び
サブサンプル集合シーケンスに基づいて、N個の段階に分けてモデルを順次、反復訓練することであり、
そのうち、N個のサブサンプル集合における任意の2つのカバー候補クラス集合が共通集合を有せず；サブサンプル集合シーケンスの平均単一クラスサンプル数量シーケンスが降順シーケンスであり；N個の段階のうち、第2段階乃至第N段階のうちの第y段階の段階訓練サンプル集合が、サブサンプル集合シーケンスにおける第yサブサンプル集合と、第yサブサンプル集合の前のすべてのサブサンプル集合からなるプリビアス・サブサンプル集合のダウンサンプリング・プリビアス・サブサンプル集合と、を含み；ダウンサンプリング・プリビアス・サブサンプル集合とプリビアス・サブサンプル集合のカバー候補クラス集合が同じであり；かつ、ダウンサンプリング・プリビアス・サブサンプル集合の各単一クラスサンプル数量が第yサブサンプル集合の単一クラスサンプル数量の分布区間に近く又は該分布区間内にある。
【0011】
本発明の1つの側面によれば、プログラムを記憶しているコンピュータ可読記憶媒体が提供され、該プログラムは実行されるときに、コンピュータに、訓練後のモデルを用いて処理待ち対象を処理させ、そのうち、訓練後のモデルは本発明の上述のようなモデル訓練方法により訓練されるモデルである。
【発明の効果】
【0012】
本発明により、少なくとも、モデルの正確度（精度）を向上させることができる。
【図面の簡単な説明】
【0013】
【図1】サンプル数がクラスに関してロングテールのように分布していることを示す図である。
【図2】本発明の一実施例におけるモデル訓練方法のフローチャートである。
【図3】本発明の一実施例におけるモデル訓練方法のフローを示す図である。
【図4】本発明の一実施例におけるダウンサンプリングに用いる方法のフローチャートである。
【図5】本発明の一実施例におけるダウンサンプリングに用いる方法のフローを示す図である。
【図6】本発明の一実施例における情報処理方法のフローチャートである。
【図7】本発明の一実施例におけるモデル訓練装置のブロック図である。
【図8】本発明の一実施例におけるモデル訓練装置のブロック図である。
【図9】本発明の一実施例における情報処理装置のブロック図である。
【発明を実施するための形態】
【0014】
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳細に説明する。なお、これらの実施例は例示に過ぎず、本発明を限定するものではない。
【0015】
本発明の実施例の各側面における操作を実行するためのコンピュータプログラムコードは1つ又は複数のプログラミング言語の任意の組み合わせで書かれても良く、前記プログラミング言語はオブジェクト指向プログラミング言語、例えば、Java、Smalltalk、C++などを含み、また、従来の続き型プログラミング言語、例えば、Cプログラミング言語又は類似したプログラミング言語をも含む。
【0016】
本発明による方法はその対応する機能を有する回路によって実現され得る。前記回路は処理器用の回路を含む。
【0017】
本発明の1つの側面では分類機能を有するモデルMを訓練する方法が提供される。該方法はコンピュータにより実現され得る。モデルMはニューラルネットワークベースの深層学習モデルであっても良い。該方法はモデル訓練時に単一クラス(single class)のサンプルの数（即ち、サンプル集合において1つの候補クラスに属するサンプルの数（単一クラスサンプル数量ともいう））が不均一に分布しているという問題を抑えるために用いられ、特に、単一クラスのサンプルの分布のロングテール現象の、モデルのパフォーマンスへの不利な影響を抑えるために用いられる。
【0018】
以下、ロングテール現象について説明する。分類機能を有する1つのモデルを訓練するときに、訓練データ（即ち、訓練サンプル集合）にはすべてのクラスのサンプルが含まれる。しかし、訓練データにおけるこれらのサンプルの分布が往々にして非常に不均一である。幾つかのクラス（ヘッド部クラス）のサンプルの数が比較的多く、幾つかのクラス（テール部クラス）のサンプルの数が比較的少なく、また、サンプル数が少ないテール部クラスのクラス数が往々にしてヘッド部クラスのクラス数よりも多い。
【0019】
例えば、1つの画像認識モデルを、画像から所定の100種類の動物を認識し得るように訓練しようとする場合、訓練データには好ましくはこの100種類すべての動物の画像が含まれる。猫や犬などの20種類の一般的な動物について画像を得ることが容易であるので、この20種類の一般的な動物のサンプルは往々にして比較的多く、対して、他の80種類の希少動物や絶滅危惧種の動物については画像を得ることは非常に困難である。よって、他の80種の動物のサンプル数は比較的少ない。
【0020】
つまり、分類機能を有するモデルを訓練するための訓練サンプル集合について、各クラスのサンプルの数（即ち、“単一クラスサンプル数量”）を縦座標とし、単一クラスサンプル数量が降順に並べ替えられるクラスシーケンスを横座標とすることで得られる、単一クラスサンプル数量がクラスに関する分布図には比較的長いテールが示されおり、即ち、比較的多いサンプル数を有する比較的少ないヘッド部クラスに比べて、サンプル数が比較的少ない大量のテール部クラスがある。よって、分布図には比較的長いテールが示されている。図1はサンプル数がクラスに関してロングテールのように分布しいる様子を示す図である。そのうち、任意のデータ点Pの横座標xがクラスの順番号を表し、クラスC[x]に相当し、任意のデータ点Pの縦座標Qcsが対応するクラスC[x]の単一クラスサンプル数量を表し、単一クラスサンプル数量はサンプル集合に基づいてカウント（統計）される。横座標では、左から右へ、クラス順番号がその対応するクラスの単一クラスサンプル数量に従って単調減少して配列される。図1から分かるように、分布図には比較的長いテール部があり、ヘッド部に比べて、テール部はサンプル数が少ない大量のクラスが集まっている。ロングテール分布のような不均一な単一クラスサンプル数量の分布を有する訓練サンプル集合が一般的であり、かつ取得コストが比較的低いが、このような訓練サンプル集合を用いて従の方法によりモデルを訓練するときに、単一クラスサンプル数量がクラスに関して不均一に分布しているため、訓練後に得られるモデルのパフォーマンスが比較的低くなる恐れがある。サンプル数が大きいクラスに対応する処理待ち対象の場合に比べて、サンプル数が少ないクラスに対応する処理待ち対象の場合は分類の正確度が良くない。これに鑑み、発明者は研究の結果、本発明によるモデル訓練方法を着想し提案した。
【0021】
以下、図2を参照して発明によるモデル訓練方法について例示的に説明する。図2は本発明の一実施例におけるモデルMの訓練方法200のフローチャートである。モデルMは分類機能を有するモデルであり、そのうち、モデルMは複数の候補クラスを含み、任意の1つの候補クラスがC[x]と記されても良く、複数の候補クラスにより候補クラス集合が構成され、それは{C[x]}（“{}”は集合を表し、C[x]は該集合における第x要素(x番目の要素)の表現であり、また、該集合には複数の要素が含まれるが、便宜のため、1つの一般的な要素C[x]のみが示されている）と記される。{C[x]}は{C[xStart]，……，C[xEnd]}と表されても良く、即ち、xはxStartからxEndまでの間の値を取る。モデルMが処理待ち対象を処理するときに、モデルMが与える処理待ち対象のクラスは候補クラス集合{C[x]}のうちから選択される1つのクラスである。処理待ち対象は例えば、画像情報又は音声情報である。モデルMを訓練するための全訓練サンプル集合Stにおけるサンプルはラベル付けられており、該サンプルのクラスを標識する既知のクラスラベルを有する。該サンプルをモデルMの訓練に用いるときに、モデルMが与える該サンプルの推定クラスと、該サンプルが実際に属するクラスとに基づいてモデルパラメータを調整してモデルを最適化することで、モデルのパフォーマンスを向上させることができる。
【0022】
ステップS201では、全訓練サンプル集合StのN個のサブサンプル集合からなるサブサンプル集合シーケンスSs：SamsSF[1]、……、SamsSF[n]、……SamsSF[N]を確定する。N個のサブサンプル集合において、任意の2つのカバー候補クラス集合が共通集合を有しない。サブサンプル集合シーケンスSsの平均単一クラスサンプル数量シーケンスが降順シーケンスである。サブサンプル集合に候補クラスC[x]のサンプルが含まれる場合、該サブサンプル集合が候補クラスC[x]をカバーする（覆う）と見なす。サブサンプル集合SamsSF[n]によりカバーされるすべての候補クラスの集合を“カバー候補クラス集合Cs[n]”と記す。即ち、サブサンプル集合シーケンスSsは次の式1を満足する。
【0023】
【数1】
【0024】
その後、サブサンプル集合SamsSF[n]に対してダウンサンプリングを行う可能性があるので、サブサンプル集合SamsSF[n]は“完全サブサンプル集合”と呼ばれ、それに対してダウンサンプリングを行った後に得られるサンプル集合は“ダウンサンプリング・サブサンプル集合”と呼ばれても良い。
【0025】
なお、サブサンプル集合シーケンスSsにおけるN個のサブサンプル集合SamsSF[1]乃至SamsSF[N]が全訓練サンプル集合のN個のサブサンプル集合からなり、即ち、
【0026】
【数2】
【0027】
ステップS203では、サブサンプル集合シーケンスSsに基づいて、N個の段階に分けてモデルを順次、反復訓練する。N個の段階のうち、第2段階乃至第N段階のうちの第y段階(y番目の段階)の段階訓練サンプル集合SamsPh[y]はサブサンプル集合シーケンスSsにおける第yサブサンプル集合SamsSF[y]と、第yサブサンプル集合の前のすべてのサブサンプル集合からなるプリビアス・サブサンプル集合SamsPre[y]のダウンサンプリング・プリビアス・サブサンプル集合DwnSamsPre[y]とを含む。Yは[2，N]の範囲内の任意の自然数である。方法200では、yを複数の値(複数個)と設定でき、即ち、複数のこのような段階を有しても良く、訓練時に該段階の対応するサブサンプル集合だけでなく、対応するダウンサンプリング・プリビアス・サブサンプル集合をも使用する。方法200では、ダウンサンプリング操作Op_dwnSamにより、参照サンプル集合Srefを参照して、目標サンプル集合Sobjについて該目標サンプル集合Sobjのダウンサンプリング・サンプル集合DwnSobjを確定する。目標サンプル集合Sobjは例えば、SamsPre[y]又はSamsFS[n]のサンプル集合であっても良い。ダウンサンプリング操作Op_dwnSamは次のように構成され、即ち、参照サンプル集合Srefを参照して目標サンプル集合Sobjに対して該ダウンサンプリング操作を行ってダウンサンプリング・サンプル集合DwnSobjを得るときに、ダウンサンプリング・サンプル集合DwnSobjが目標サンプル集合Sobjのカバー候補クラス集合と同じになるとともに、ダウンサンプリング目標サンプル集合の各単一クラスサンプル数量が参照サンプル集合の単一クラスサンプル数量の分布区間に近くなり(分布区間の近傍にあり)又は該分布区間内にあるようにさせる。言い換えれば、ダウンサンプリングは目標サンプル集合の単一クラスサンプル数量を減少させるが、目標サンプル集合のカバー候補クラス集合を変えることがない。第y段階では、参照サンプル集合としての第yサブサンプル集合SamsSF[y]を参照してプリビアス・サブサンプル集合SamsPre[y]に対してダウンサンプリング操作SamsPre[y]を行うことで、ダウンサンプリング・プリビアス・サブサンプル集合DwnSamsPre[y]を確定する。ダウンサンプリング・プリビアス・サブサンプル集合DwnSamsPre[y]とプリビアス・サブサンプル集合SamsPre[y]のカバー候補クラス集合は同じである。それと同時に、ダウンサンプリング・プリビアス・サブサンプル集合DwnSamsPre[y]の各単一クラスサンプル数量（QcsD[y][i]であり、iはiStart乃至iEndのうちの1つの値であり、iStart及びiEndはyに関連している）は、第yサブサンプル集合SamsSF[y]の単一クラスサンプル数量の分布区間[Qcs0[y].[jStart]，Qcs0[y].[jEnd]]に近く又は該分布区間内にある。DwnSamsPre[y]のカバークラス数QcD[y]はiEndとiStartの差である。SamsSF[y]のカバークラス数Qc[y]はjEndとjStartの差である。
【0028】
1つの例において、全訓練サンプル集合StのN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定することは、全訓練サンプル集合Stにおける各候補クラスの単一クラスサンプル数量に基づいて全訓練サンプル集合StをN個のサブサンプル集合に組分けし；及び、N個のサブサンプル集合の平均単一クラスサンプル数量が降順に配列されるシーケンスをサブサンプル集合シーケンスSsとして確定することを含み、そのうち、N個のサブサンプル集合における各々の単一クラスサンプル数量の集中度が所定範囲内にある。全訓練サンプル集合Stにおける各候補クラスはC[xStart]乃至C[xEnd]と表され得る。第nサブサンプル集合の単一クラスサンプル数量の集中度Cnt[n]はその単一クラスサンプル数量の分布区間[Qcs0[n].[jStart]，Qcs0[n].[jEnd]]に基づいて定義され得る（下記式2参照）。
【0029】
【数3】
【0030】
例えば、第yサブサンプル集合の前のすべてのサブサンプル集合が128個の候補クラスのサンプルを含む場合、ダウンサンプリング・プリビアス・サブサンプル集合のカバー候補クラス集合はこの128個の候補クラスからなる。
【0031】
1つの例において、単一クラスサンプル数量が降順に変化する全候補クラスシーケンスにより、サブサンプル集合シーケンスを確定する。具体的には、全訓練サンプル集合StのN個のサブサンプル集合からなるサブサンプル集合シーケンスSsを確定することは、全訓練サンプル集合Stにおける各候補クラスの単一クラスサンプル数量に基づいて確定された、単一クラスサンプル数量が降順に変化する全候補クラスシーケンスSeqをN個の候補クラスサブシーケンスsq[1]乃至sq[n]に分けることを含み、そのうち、サブサンプル集合シーケンスSsはN個の候補クラスサブシーケンスの、全訓練サンプル集合Stにおける対応するサブサンプル集合からなるシーケンスである。即ち、降順ソート操作Op_dSortにより、全訓練サンプル集合Stに基づいて全候補クラスシーケンスSeqを確定する。
【0032】
方法200では、Nは1よりも大きい自然数であり、例えば、Nは2、3、4、5、6、7、8及び9のうちの1つである。Nの選択は単一クラスサンプル数量の分布状況に基づいて決定されても良い。例えば、単一クラスサンプル数量が候補クラスに関する分布図に単一クラスサンプル数量が3つの集約セグメント（集約区間）を有することが示される場合、Nは3をとることができる。オプションとして、方法200は、単一クラスサンプル数量の分布状況に基づいてサブサンプル集合数量Nを確定することを含んでも良い。
【0033】
方法200では、N個の段階のうちの各段階（“n”で表され、nは[1，N]の中の任意の自然数である）の段階訓練サンプル集合SamsPh[n]は何れも、サブサンプル集合シーケンスSsにおいて該段階の順番号に対応するサブサンプル集合SamsFs[n]を含む。例えば、第2段階（n=2）の場合、第2段階訓練サンプル集合SamsPh[2]はSamsFs[2]、又は、SamsFs[2]とダウンサンプリング・プリビアス・サブサンプル集合DwnSamsPre[2]との合併集合（和集合）である。
【0034】
1つの例において、方法200では、N個の段階のうち、第2段階乃至第N段階のうちの少なくとも1つの段階の各段階においてダウンサンプリング操作Op_dwnSamを行う。即ち、N個の段階のうち、第2段階乃至第N段階のうちの少なくとも1つの段階では、段階訓練は現在段階の対応するサブサンプル集合だけでなく、プリビアス・サブサンプル集合のダウンサンプリング・プリビアス・サブサンプル集合をも使用する。好ましくは、N個の段階のうち、第2段階乃至第N段階のうちの各段階ではダウンサンプリング操作Op_dwnSamを行う。
【0035】
1つの例において、サブサンプル集合SamsSF[n]は複数の候補クラスをカバー可能である。N個のサブサンプル集合のうちの各サブサンプル集合がカバーする候補クラスの数は好ましくは異なる。好ましくは、サブサンプル集合シーケンスSsにおいて、後のサブサンプル集合がカバーする候補クラスは、前のサブサンプル集合（プリビアス・サブサンプル集合）がカバーする候補クラスよりも多い。例えば、SamsSF[3]はSamsSF[2]よりも多くの候補クラスをカバーする。
【0036】
1つの例において、サブサンプル集合シーケンスSsにおいて、後のサブサンプル集合のサンプル数の桁数（order of magnitude）はプリビアス・サブサンプル集合のサンプル数の桁数に近く又はそれと同じである。例えば、SamsSF[3]のサンプルとSamsSF[2]のサンプルの数は桁数において近く又は同じである。
【0037】
1つの例において、全候補クラスシーケンスSeqの候補クラスに関する単一クラスサンプル数量の分布はロングテール分布である。
【0038】
1つの例において、全訓練サンプル集合Stにおける各候補クラスの単一クラスサンプル数量に基づいて確定された、単一クラスサンプル数量が降順に変化する全候補クラスシーケンスSeqをN個の候補クラスサブシーケンスに分けることは、全候補クラスシーケンスSeqの候補クラスに関する単一クラスサンプル数量の分布を参照して、全候補クラスシーケンスSeqにおいてサンプル数が50%又はそれよりも多く減少する隣接候補クラス間の位置を選んで全候補クラスシーケンスSeqを分割することを含む。例えば、全候補クラスシーケンスSeqにおける隣接候補クラスC[x]とC[x+1]の単一クラスサンプル数量Qcs[x]とQcs[x+1]の間の差がQ[x+1]以上である場合、候補クラスC[x]とC[x+1]の間の位置でシーケンスSeqを分けることで、候補クラスC[x]とC[x+1]を2つの異なる隣接サブシーケンスに分割する。好ましくは、全候補クラスシーケンスSeqの単一クラスサンプル数量の分布勾配(gradient)が局所的に極小である位置で全候補クラスシーケンスSeqを分割する。
【0039】
1つの例において、方法200におけるダウンサンプリング操作Op_dwnSamは次のように構成され、即ち、段階訓練サンプル集合SamsPh[y]において、サブサンプル集合シーケンスSsにおける第yサブサンプル集合SamsSF[y]の前の各サブサンプル集合SamsSF[x]のダウンサンプリング・サブサンプル集合DwnSamsSF[x]の平均単一クラスサンプル数量avgQcsD[x]が何れも第yサブサンプル集合の平均単一クラスサンプル数量avgQcs[y]にほぼ等しくなるようにさせる。例えば、DwnSamsSF[x]が10個の候補クラスのサンプルを含み、かつサンプル総数が200である場合、平均単一クラスサンプル数量avgQcsD[x]は20であり、同様に、SamsSF[y]が20個のクラスのサンプルを含み、かつサンプル総数が380である場合、平均単一クラスサンプル数量avgQcs[y]は19であり、avgQcsD[x]にほぼ等しい。例えば、ダウンサンプリング操作は次のように構成され、即ち、第y段階訓練サンプル集合において、サブサンプル集合シーケンスSsにおける第yサブサンプル集合の前の各サブサンプル集合のダウンサンプリング・サブサンプル集合の平均単一クラスサンプル数量が何れも第yサブサンプル集合の平均単一クラスサンプル数量avgQcs[y]にほぼ等しくなるようにさせ、また、ダウンサンプリング操作は次のように構成されても良く、即ち、第y段階訓練サンプル集合において、avgQcsD[x]=Int(avgQcs[y])（Int()は整数を取る関数）になるようにさせる。さらに、ダウンサンプリング操作は次のように構成されても良く、即ち、第y段階訓練サンプル集合において、各プリビアス・サブサンプル集合SamsSF[x]のダウンサンプリング・サブサンプル集合における各候補クラスの単一クラスサンプル数量がInt(avgQcs[y])に等しくなるようにさせる。
【0040】
方法200では、モデルMを順次、反復訓練することは訓練操作Op_Trnを含み、具体的には、第n訓練段階において、段階訓練サンプル集合SamsPh[n]を用いてモデルM[n-1]を訓練してモデルM[n]を得ることを含み、そのうち、モデルM[n-1]は1つ前の訓練段階で確定された訓練後のモデルであり、n=1（即ち、第1訓練段階）のときに、モデルM[0]を訓練開始前の初期モデルと設定し、即ち、訓練開始前の初期モデルをモデルM[0]と設定する。第N訓練段階では、段階訓練サンプル集合SamsPh[N]を使用してモデルM[N-1]を訓練することでモデルM[N]を得る。モデルM[N]は最後に得られる訓練後のモデルMである。訓練後のモデルMは例えば、音声情報又は画像情報の処理待ち対象を処理するために用いられる。各訓練段階は人工知能モデルを訓練するための通常の操作、例えば、特徴抽出、分類、損失関数の確定、モデルパラメータの調整などを含む。
【0041】
方法200では、一方では、訓練過程全体について言えば、全訓練サンプル集合における各サンプルが訓練のために用いられることで、サンプルの完全な使用を確保でき、他方では、第y訓練段階において、段階訓練サンプル集合におけるダウンサンプリング・プリビアス・サブサンプル集合の各単一クラスサンプル数量が第yサブサンプル集合の単一クラスサンプル数量の分布区間に近く又は該分布区間内にあるため、単一クラスサンプル数量の不均一分布の、モデルのパフォーマンスへの不利な影響を抑制でき、モデルのパフォーマンスの向上に有利である。
【0042】
以下、N=3を例にとって本発明によるモデル訓練方法を例示的に説明する。図3は本発明の一実施例におけるモデル訓練方法300の例示的なフローを示す図であり、そのうち、異なる段階の単一クラスサンプル数量の分布図P0、P1、P2、P3が示されている。
【0043】
初期化段階、即ち、段階Pha 0では、全訓練サンプル集合Stを提供し、初期モデルM[0]を提供し、また、全訓練サンプル集合Stの3つのサブサンプル集合からなるサブサンプル集合シーケンスSs：SamsSF[1]、SamsSF[2]、SamsSF[3]を確定する。そのうち、ソート操作Op_Sortにより、全訓練サンプル集合Stから、単一クラスサンプル数量Qcsが降順に変化する全候補クラスシーケンスSeq：C[1]、C[2]、……、C[13]、C[14]を取得する。単一クラスサンプル数量Qcsが候補クラスに関する分布図におけるデータ点の集約状況（図3における分布図P0を参照する）に基づいて、全候補クラスシーケンスSeqを3つの候補クラスサブシーケンスに分割し、即ち、全候補クラスシーケンスSeqは候補クラスサブシーケンスsq[1]、sq[2]、sq[3]として表され得る。分布図における14個のデータ点の横座標xは1乃至14の中の自然数であり、全候補クラスシーケンスSeqのうちの各候補クラスに対応する。全候補クラスシーケンスSeqを分けて各候補クラスサブシーケンスを得るので、各候補クラスサブシーケンスにおける候補クラスは単一クラスサンプル数量の降順に配列される（図3の分布図P0における単一クラスサンプル数量Qcsが候補クラスに関する分布を参照する）。図3では、単一クラスサンプル数量Qcsが候補クラスに関する分布図P0には、候補クラスサブシーケンスsq[1]、sq[2]、sq[3]に対応するサブサンプル集合がSamsSF[1]、SamsSF[2]、SamsSF[3]であることが示されている。サブサンプル集合SamsSF[1]、SamsSF[2]、SamsSF[3]のうちの任意の2つの間に共通集合が無く、かつそれらの合併集合は全訓練サンプル集合Stである。図3における単一クラスサンプル数量Qcsが候補クラスに関する分布図P0から分かるように、サブサンプル集合シーケンスの平均単一クラスサンプル数量シーケンスは降順シーケンスであり、即ち、SamsSF[1]は最大の平均単一クラスサンプル数量を有し、SamsSF[3]は最小の平均単一クラスサンプル数量を有し、SamsSF[2]の平均単一クラスサンプル数量はその両者の間にある。図中の各組のデータ点（細い線の円のデータ点組、太い線の円のデータ点組、中実円のデータ点組）の近傍ではさらに、各完全サブサンプル集合SamsSF[1]、SamsSF[2]、SamsSF[3]の、単一候補クラスのサンプルからなる単一候補クラスサンプル集合が示されており、そのうち、SamsSF[1]の単一候補クラスサンプル集合はSamsCF[1]及びSamsCF[2]を含み、それぞれは候補クラスC[1]及びC[2]に対応し、SamsSF[2]の単一候補クラスサンプル集合はSamsCF[3]乃至SamsCF[6]を含み、それぞれは候補クラスC[3]、……、C[6]に対応し、SamsSF[3]の単一候補クラスサンプル集合はSamsCF[7]乃至SamsCF[14]を含み、それぞれは候補クラスC[7]、……、C[14]に対応する。
【0044】
第1段階、即ち、段階Pha 1では、対応する段階訓練サンプル集合に基づいて第1段階の訓練操作Op_Trnを行う。具体的には、第1段階訓練サンプル集合SamsPh[1]を用いてモデルM[0]を訓練することでモデルM[1]を得る。第1段階ではダウンサンプリング操作は行われず、第1段階訓練サンプル集合SamsPh[1]はサブサンプル集合シーケンスSsにおける第1サブサンプル集合SamsSF[1]と直接設定される。第1段階訓練サンプル集合SamsPh[1]の単一クラスサンプル数量Qcsが候補クラスに関する分布図P1は図3に既に示されており、そのうち、横座標の意味は第0段階と同じであり、ダウンサンプリングが行われないため、候補クラスC[1]、C[2]と関連付けられる単一クラスサンプル数量のデータ点は移動していない。
【0045】
第2段階、即ち、段階Pha 2では、対応する段階訓練サンプル集合に基づいて第2段階の訓練操作Op_Trnを行う。具体的には、第2段階訓練サンプル集合SamsPh[2]を使用してモデルM[1]を訓練することでモデルM[2]を取得する。第2段階では、第一サブサンプル集合SamsSF[1]に対してダウンサンプリング操作Op_dwnSamを行うことで第二段階のダウンサンプリング・サブサンプル集合DwnSamsSF[1]を取得し、該ダウンサンプリング・サブサンプル集合の完全表現はPha[2].DwnSamsSF[1]であっても良く、即ち、ダウンサンプリング・サブサンプル集合は段階に関するものであり、異なる段階のDwnSamsSF[x]は異なる（この例ではx=1である）。第2段階訓練サンプル集合SamsPh[2]は第2サブサンプル集合SamsSF[2]とダウンサンプリング・サブサンプル集合DwnSamsSF[1]の合併集合である。第2段階訓練サンプル集合SamsPh[2]の単一クラスサンプル数量Qcsが候補クラスに関する分布図P2は図3に既に示されており、単一クラスサンプル数量の分布状況は実線輪郭のデータ点で示されるとおりであり、そのうち、横座標の意味は第0段階と同じであり、候補クラスC[1]、C[2]に関連付けられる第一サブサンプル集合SamsSF[1]に対してダウンサンプリング操作Op_dwnSamを行っているため、分布図P0に比べて、候補クラスC[1]、C[2]と関連付けられる単一クラスサンプル数量のデータ点は下へ移動しており、これにより、各単一クラスサンプル数量は第2サブサンプル集合SamsSF[2]の単一クラスサンプル数量の分布区間(即ち、[Qcs[6]，Qcs[3]]であり、Qcs[6]はx=6のときのデータ点の縦座標であり、Qcs[3]はx=3のときのデータ点の縦座標である) 内にあるようになっている。
【0046】
第3段階、即ち、段階Pha 3では、対応する段階訓練サンプル集合に基づいて第3段階の訓練操作Op_Trnを行う。具体的には、第3段階訓練サンプル集合SamsPh[3]を用いてモデルM[2]を訓練してモデルM[3]を取得し、反復訓練は完成する。第3段階では、第一、二サブサンプル集合SamsSF[1]、SamsSF[2]の合併集合に対してダウンサンプリング操作Op_dwnSamを行って第三段階のダウンサンプリング・サブサンプル集合DwnSamsSF[1]（前述のように、それは第二段階のDwnSamsSF[1]とは異なる）、DwnSamsSF[2]を得る。第3段階訓練サンプル集合SamsPh[3]は第3サブサンプル集合SamsSF[3]、ダウンサンプリング・サブサンプル集合DwnSamsSF[2]、及ダウンサンプリング・サブサンプル集合DwnSamsSF[1]の合併集合である。第3段階訓練サンプル集合SamsPh[3]の単一クラスサンプル数量Qcsが候補クラスに関する分布図P3は図3に既に示されており、単一クラスサンプル数量の分布状況は実線輪廓のデータ点で示されるとおりであり、そのうち、横座標の含義は第0段階と同じであり、候補クラスC[1]、C[2]と関連付けられる第一サブサンプル集合SamsSF[1]、及び、候補クラスC[3]、C[4]、C[5]、C[6]と関連付けられる第二サブサンプル集合SamsSF[2]に対してダウンサンプリング操作Op_dwnSamを行っているため、分布図P0に比べて、候補クラスC[1]、C[2]、C[3]、C[4]、C[5]、C[6]と関連付けられる単一クラスサンプル数量のデータ点は下へ移動しており、これにより、各単一クラスサンプル数量は第3サブサンプル集合の単一クラスサンプル数量の分布区間(即ち、[Qcs[14]，Qcs[7]]であり、Qcs[14]はx=14のときのデータ点の縦座標であり、Qcs[7]はx=7のときのデータ点の縦座標である)内にあるようになっている。
【0047】
【0048】
以下、ダウンサンプリング操作Op_dwnSamについてさらに説明する。
【0049】
参照サンプル集合Srefを参照して目標サンプル集合Sobjに対して該ダウンサンプリング操作Op_dwnSamを行ってダウンサンプリング目標サンプル集合DwnSobjを得ることは、目標サンプル集合Sobjにおける各候補クラスのサンプル集合sc[jStart]乃至sc[jEnd]に対してダウンサンプリングを行って各候補クラスのダウンサンプリング・サンプル集合Dwnsc[jStart]乃至Dwnsc[jEnd]を確定することにより、各候補クラスのダウンサンプリング・サンプル集合のサンプル数量が参照サンプル集合Srefの単一クラスサンプル数量の分布区間に近くなり又は該分布区間内にあるようにさせ；及び、各候補クラスのダウンサンプリング・サンプル集合の合併集合をダウンサンプリング目標サンプル集合DwnSobjと設定することを含む。目標サンプル集合Sobjは例えば、SamsPre[y]又はSamsFS[n]のサンプル集合であっても良い。
【0050】
以下、目標サンプル集合Sobjにおける1つの候補クラスC[j]のサンプル集合sc[j]に対してダウンサンプリングを行うことで該候補クラスのダウンサンプリング・サンプル集合Dwnsc[j]を確定することを例にして、ダウンサンプリングにより単一候補クラスのダウンサンプリング・サンプル集合を確定する方法を説明する。図4は本発明の一実施例におけるダウンサンプリングのための方法400のフローチャートであり、そのうち、方法400はダウンサンプリングにより単一候補クラスのダウンサンプリング・サンプル集合を確定するために用いられる。
【0051】
ステップS401では、参照サンプル集合Srefの単一クラスサンプル数量の分布区間に基づいて該候補クラスC[j]の、該候補クラスのダウンサンプリング・サンプル集合Dwnsc[j] に関するサンプル数k（即ち、単一クラスサンプル数量）を決定する。例えば、参照サンプル集合Srefの単一クラスサンプル数量の分布区間が[min，max]であり、kは該区間の区間中央値、又は該区間の中間部分のランダム値を取っても良い。参照サンプル集合Srefの単一クラスサンプル数量が区間[min，max]内で変化する値であることを考慮して、kは単一クラスサンプル数量に関する単一クラスサンプル数量の加重平均値であっても良い。図5は本発明の一実施例におけるダウンサンプリングのための方法を示す図であり、それは方法400におけるk=3の場合に対応する。
【0052】
ステップS403では、モデルMにより確定された目標サンプル集合Sobjにおける該候補クラスC[j]のサンプル集合sc[j]の中のサンプルの分類特徴F[jStart]乃至F[jEnd]に基づいて、サンプル集合sc[j]におけるサンプルをk個のサンプルクラスターclu[1]乃至clu[k]としてクラスタリングする。分類特徴は、モデルMの、後ろから前への2番目の全結合層の出力であっても良い。段階訓練でダウンサンプリングのシナリオを使用し、現在段階がyであるときに、分類特徴を出力するためのモデルは1つ前の段階で確定されたモデルM[y-1]であっても良い。図5に示すように、k=3が確定された場合、クラスタリングにより、サンプルクラスターclu[1]、clu[2]及びclu[3]は得られる。クラスタリング方法は例えば、C平均法（C-means）クラスタリングアルゴリズムであっても良い。
【0053】
ステップS405では、k個のサンプルクラスターのうちから選択された各代表的サンプルSam[i][ik]に基づいて、該候補クラスのダウンサンプリング・サンプル集合Dwnsc[j]：{Sam[1][r1]，……，Sam[k][rk]}を構築し、iは1乃至kの自然数である。代表的サンプルは分類特徴に基づいて決定され得る。1つの例において、分類特徴空間内の各分類特徴クラスターの中心と一番近い分類特徴に対応するサンプルを、k個のサンプルクラスターのうちの対応するサンプルクラスターの代表的サンプルとして選択する。例えば、k個のサンプルクラスターclu[1]乃至clu[k]に対応するk個の分類特徴クラスターcluF[1]乃至cluF[k]のうちの各分類特徴クラスターから1つの代表的分類特徴Fr[ir]を選択し、代表的分類特徴Fr[ir]は好ましくは分類特徴空間内の分類特徴クラスターcluF[i]の中心に最も近い分類特徴である。代表的分類特徴Fr[ir]はサンプルクラスターclu[i]における代表的サンプルSam[i][ir]に対応し、具体的には、モデルがサンプルSam[i][ir]について出力する分類特徴はFr[ir]である。このようにして、k個の代表的分類特徴に対応するサンプルにより、ダウンサンプリング・サンプル集合Dwnsc[j]を構築できる。図5では、k=3の場合、3つの代表的サンプルにより構築されたダウンサンプリング・サンプル集合Dwnsc[j]が示されている。
【0054】
本発明の1つの側面ではコンピュータが実行する情報処理方法が提供される。以下、図6を参照して例示的に説明する。図6は本発明の一実施例における情報処理方法600のフローチャートである。ステップS601では、本発明によるモデル訓練方法を用いてモデルMを訓練する。ステップS603では、訓練後のモデルMを用いて処理待ち対象を処理する。オプションとして、訓練が完成した場合、方法600はステップS603のみを含み得る。処理待ち対象は画像情報（例えば、採集した画像データ）又は音声情報（例えば、採集した音声データ）であっても良い。
【0055】
本発明ではさらに、モデルを訓練するための装置が提供される。以下、図7を参照して例示的に説明する。図7は本発明の一実施例におけるモデルMを訓練するための装置700のブロック図である。モデルMは複数の候補クラスを有するように構成される。装置700はサブサンプル集合シーケンス確定ユニット701及び訓練ユニット703を含む。サブサンプル集合シーケンス確定ユニット701は、全訓練サンプル集合StのN個のサブサンプル集合からなるサブサンプル集合シーケンスSsを確定するように構成される。訓練ユニット703は、サブサンプル集合シーケンスSsに基づいて、N個の段階に分けてモデルを順次、反復訓練するように構成され、そのうち、N個のサブサンプル集合における任意の2つのカバー候補クラス集合が共通集合を有せず；サブサンプル集合シーケンスの平均単一クラスサンプル数量シーケンスが降順シーケンスであり；N個の段階のうち、第2段階乃至第N段階のうちの第y段階の段階訓練サンプル集合が、サブサンプル集合シーケンスにおける第yサブサンプル集合と、第yサブサンプル集合の前のすべてのサブサンプル集合からなるプリビアス・サブサンプル集合のダウンサンプリング・プリビアス・サブサンプル集合と、を含み；ダウンサンプリング・プリビアス・サブサンプル集合とプリビアス・サブサンプル集合のカバー候補クラス集合が同じであり；かつ、ダウンサンプリング・プリビアス・サブサンプル集合の各単一クラスサンプル数量が第yサブサンプル集合の単一クラスサンプル数量の分布区間に近く又は該分布区間内にある。なお、装置700は方法200に対応するので、装置700の構成については上述の方法200についての説明を参照できる。
【0056】
本発明ではさらに、モデルを訓練するための装置が提供される。以下、図8を参照して提示的に説明する。図8は本発明の一実施例におけるモデルMを訓練するための装置800のブロック図である。装置800は、命令を記憶している記憶器801；及び、記憶器801に接続される少なくとも1つの処理器803を含み、処理器803は記憶器801内の命令を実行することで、全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定し；及び、サブサンプル集合シーケンスに基づいて、N個の段階に分けてモデルを順次、反復訓練することを実現するように構成され、そのうち、N個のサブサンプル集合における任意の2つのカバー候補クラス集合が共通集合を有せず；サブサンプル集合シーケンスの平均単一クラスサンプル数量シーケンスが降順シーケンスであり；N個の段階のうち、第2段階乃至第N段階のうちの第y段階の段階訓練サンプル集合が、サブサンプル集合シーケンスにおける第yサブサンプル集合と、第yサブサンプル集合の前のすべてのサブサンプル集合からなるプリビアス・サブサンプル集合のダウンサンプリング・プリビアス・サブサンプル集合と、を含み；ダウンサンプリング・プリビアス・サブサンプル集合とプリビアス・サブサンプル集合のカバー候補クラス集合が同じであり；かつ、ダウンサンプリング・プリビアス・サブサンプル集合の各単一クラスサンプル数量が第yサブサンプル集合の単一クラスサンプル数量の分布区間に近く又は該分布区間内にある。なお、命令は方法200に対応する。また、装置800の構成については上述の方法200についての説明を参照できる。
【0057】
本発明の1つの側面ではプログラムを記憶しているコンピュータ可読記憶媒体が提供され、該プログラムは実行されるときに、コンピュータに、全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定し；及び、サブサンプル集合シーケンスに基づいて、N個の段階に分けてモデルを順次、反復訓練することを実行させ、そのうち、N個のサブサンプル集合における任意の2つのカバー候補クラス集合が共通集合を有せず；サブサンプル集合シーケンスの平均単一クラスサンプル数量シーケンスが降順シーケンスであり；N個の段階のうち、第2段階乃至第N段階のうちの第y段階の段階訓練サンプル集合が、サブサンプル集合シーケンスにおける第yサブサンプル集合と、第yサブサンプル集合の前のすべてのサブサンプル集合からなるプリビアス・サブサンプル集合のダウンサンプリング・プリビアス・サブサンプル集合と、を含み；ダウンサンプリング・プリビアス・サブサンプル集合とプリビアス・サブサンプル集合のカバー候補クラス集合が同じであり；かつ、ダウンサンプリング・プリビアス・サブサンプル集合の各単一クラスサンプル数量が第yサブサンプル集合の単一クラスサンプル数量の分布区間に近く又は該分布区間内にある。プログラムは方法200に対応する。また、プログラムの構成については上述の方法200についての説明を参照できる。
【0058】
本発明の1つの側面ではプログラムを記憶しているコンピュータ可読記憶媒体が提供され、該プログラムは実行されるときに、コンピュータに、訓練後のモデルを用いて処理待ち対象を処理することを実行させ、そのうち、訓練後のモデルは本発明によるモデル訓練方法200により訓練されたモデルである。
【0059】
本発明の1つの側面では情報処理装置がさらに提供される。
【0060】
図9は、本発明の一実施例における情報処理装置900の例示的なブロック図である。図9では、情報処理装置900は例えば、コンピュータシステムであっても良い。なお、情報処理装置900は例示に過ぎず、本発明による方法及び装置の適用範囲又は機能について限定しない。また、情報処理装置900は上述の方法及び装置における任意のモジュールやアセンブリなど又はその組み合わせにも依存しない。
【0061】
図9では、中央処理装置（CPU）901は、ROM 902に記憶されるプログラム又は記憶部908からRAM 903にロッドされているプログラムに基づいて各種の処理を行う。RAM 903では、ニーズに応じて、CPU 901が各種の処理を行うときに必要なデータなどを記憶することもできる。CPU 901、ROM 902及びRAM 903は、バス904を経由して互いに接続される。入力/出力インターフェース905もバス904に接続される。
【0062】
また、入力/出力インターフェース905にはさらに、次のような部品が接続され、即ち、キーボードなどを含む入力部906、液晶表示器などのような表示器及びスピーカーなどを含む出力部907、ハードディスクなどを含む記憶部908、ネットワーク・インターフェース・カード、例えば、LANカード、モデムなどを含む通信部909である。通信部909は、例えば、インターネット、LANなどのネットワークを経由して通信処理を行う。ドライブ910は、ニーズに応じて、入力/出力インターフェース905に接続されても良い。取り外し可能な媒体911、例えば、半導体メモリなどは、必要に応じて、ドライブ910にセットされることにより、その中から読み取られたコンピュータプログラムを記憶部908にインストールすることができる。
【0063】
また、本発明はさらに、マシン可読命令コードを含むプログラムプロダクトを提供する。このような命令コードは、マシンにより読み取られ実行されるときに、上述の本発明の実施例における方法を実行することができる。それ相応に、このようなプログラムプロダクトをキャリー（carry）する、例えば、磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（CD-ROM及びDVDを含む）、光磁気ディスク（MD（登録商標）を含む）、及び半導体記憶装置などの各種の記憶媒体も、本発明に含まれる。
【0064】
上述の記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶装置などを含んでも良いが、これらに限定されない。
【0065】
また、上述の方法における各操作（処理）は、各種のマシン可読記憶媒体に記憶されるコンピュータ実行可能なプログラムの方式で実現することもできる。
【0066】
具体的には、上述のCPU 901は上述のモデル訓練する方法又は情報処理方法に対応するプログラムを実行できる。
【0067】
本発明によるモデル訓練方法は、ダウンサンプリング操作を含む多段階モデル訓練により、各処理段階において各候補クラスのサンプルの数が同じ又はほぼ同じになるようにさせることで、サンプルの分布が均一になるようにさせることができる。本発明による情報処理方法は、本発明によるモデル訓練方法により訓練されたモデルを使用して処理待ち対象を処理できる。本発明の方法、装置及び記憶媒体の有利な効果は少なくとも、モデルの正確度（精度）を向上させることができ、特に、低頻度で出現する対象に対しての処理の正確度を向上させることができる。
【0068】
また、以上の実施例などに関し、さらに以下のように付記として開示する。
【0069】
（付記１）
コンピュータが実行する、分類機能を有するモデルを訓練する方法であって、
前記モデルは複数の候補クラスを有するように構成され、
前記方法は、
全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定し；及び
前記サブサンプル集合シーケンスに基づいて、N個の段階に分けて前記モデルを順次、反復訓練することを含み、
そのうち、前記N個のサブサンプル集合における任意の2つのカバー候補クラス集合が共通集合を有せず；
前記サブサンプル集合シーケンスの平均単一クラスサンプル数量シーケンスが降順シーケンスであり；
前記N個の段階のうち、第2段階乃至第N段階のうちの第y段階の段階訓練サンプル集合が、前記サブサンプル集合シーケンスにおける第yサブサンプル集合と、前記第yサブサンプル集合の前のすべてのサブサンプル集合からなるプリビアス・サブサンプル集合のダウンサンプリング・プリビアス・サブサンプル集合と、を含み；
前記ダウンサンプリング・プリビアス・サブサンプル集合と前記プリビアス・サブサンプル集合のカバー候補クラス集合が同じであり；かつ
前記ダウンサンプリング・プリビアス・サブサンプル集合の各単一クラスサンプル数量が前記第yサブサンプル集合の単一クラスサンプル数量の分布区間に近く又は該分布区間内にある、方法。
コンピュータが実行する、分類機能を有するモデルを訓練する方法であって、
前記モデルは複数の候補クラスを有するように構成され、
前記方法は、
全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定し；及び
前記サブサンプル集合シーケンスに基づいて、N個の段階に分けて前記モデルを順次、反復訓練することを含み、
そのうち、前記N個のサブサンプル集合における任意の2つのカバー候補クラス集合が共通集合を有せず；
前記サブサンプル集合シーケンスの平均単一クラスサンプル数量シーケンスが降順シーケンスであり；
前記N個の段階のうち、第2段階乃至第N段階のうちの第y段階の段階訓練サンプル集合が、前記サブサンプル集合シーケンスにおける第yサブサンプル集合と、前記第yサブサンプル集合の前のすべてのサブサンプル集合からなるプリビアス・サブサンプル集合のダウンサンプリング・プリビアス・サブサンプル集合と、を含み；
前記ダウンサンプリング・プリビアス・サブサンプル集合と前記プリビアス・サブサンプル集合のカバー候補クラス集合が同じであり；かつ
前記ダウンサンプリング・プリビアス・サブサンプル集合の各単一クラスサンプル数量が前記第yサブサンプル集合の単一クラスサンプル数量の分布区間に近く又は該分布区間内にある、方法。
【0070】
（付記2)
付記1に記載の方法であって、
全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定することは、
前記全訓練サンプル集合における各候補クラスの単一クラスサンプル数量に基づいて前記全訓練サンプル集合を前記N個のサブサンプル集合に組分けし；及び
前記N個のサブサンプル集合の平均単一クラスサンプル数量が降順に配列されるシーケンスを、前記サブサンプル集合シーケンスとして確定することを確定することを含み、
前記N個のサブサンプル集合における各単一クラスサンプル数量の集中度が所定範囲内にある、方法。
付記1に記載の方法であって、
全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定することは、
前記全訓練サンプル集合における各候補クラスの単一クラスサンプル数量に基づいて前記全訓練サンプル集合を前記N個のサブサンプル集合に組分けし；及び
前記N個のサブサンプル集合の平均単一クラスサンプル数量が降順に配列されるシーケンスを、前記サブサンプル集合シーケンスとして確定することを確定することを含み、
前記N個のサブサンプル集合における各単一クラスサンプル数量の集中度が所定範囲内にある、方法。
【0071】
（付記3)
付記2に記載の方法であって、
前記全訓練サンプル集合における各候補クラスの単一クラスサンプル数量に基づいて前記全訓練サンプル集合をN個のサブサンプル集合に組分けすることは、
単一クラスサンプル数量に基づいて前記全訓練サンプル集合の候補クラスに対してクラスタリングを行うことで、前記全訓練サンプル集合を前記N個のサブサンプル集合に組分けすることを含む、方法。
付記2に記載の方法であって、
前記全訓練サンプル集合における各候補クラスの単一クラスサンプル数量に基づいて前記全訓練サンプル集合をN個のサブサンプル集合に組分けすることは、
単一クラスサンプル数量に基づいて前記全訓練サンプル集合の候補クラスに対してクラスタリングを行うことで、前記全訓練サンプル集合を前記N個のサブサンプル集合に組分けすることを含む、方法。
【0072】
（付記4)
付記1に記載の方法であって、
全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定することは、
前記全訓練サンプル集合における各候補クラスの単一クラスサンプル数量に基づいて確定される、単一クラスサンプル数量が降順に変化する全候補クラスシーケンスをN個の候補クラスサブシーケンスに分けることを含み、
前記サブサンプル集合シーケンスは、前記N個の候補クラスサブシーケンスの、前記全訓練サンプル集合における対応するサブサンプル集合からなるシーケンスである、方法。
付記1に記載の方法であって、
全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定することは、
前記全訓練サンプル集合における各候補クラスの単一クラスサンプル数量に基づいて確定される、単一クラスサンプル数量が降順に変化する全候補クラスシーケンスをN個の候補クラスサブシーケンスに分けることを含み、
前記サブサンプル集合シーケンスは、前記N個の候補クラスサブシーケンスの、前記全訓練サンプル集合における対応するサブサンプル集合からなるシーケンスである、方法。
【0073】
（付記5)
付記1に記載の方法であって、
Nは2、3、4、5、6、7、8及び9のうちの1つである、方法。
付記1に記載の方法であって、
Nは2、3、4、5、6、7、8及び9のうちの1つである、方法。
【0074】
（付記6)
付記1に記載の方法であって、
前記N個の段階のうちの各段階の段階訓練サンプル集合は何れも前記サブサンプル集合シーケンスにおける対応サブサンプル集合を含む、方法。
付記1に記載の方法であって、
前記N個の段階のうちの各段階の段階訓練サンプル集合は何れも前記サブサンプル集合シーケンスにおける対応サブサンプル集合を含む、方法。
【0075】
（付記7)
付記1に記載の方法であって、
前記ダウンサンプリング・プリビアス・サブサンプル集合は、前記第yサブサンプル集合を参照して前記プリビアス・サブサンプル集合に対してダウンサンプリング操作を行うことで確定され；かつ
前記ダウンサンプリング操作は、
参照サンプル集合を参照して目標サンプル集合に対して該ダウンサンプリング操作を行うことでダウンサンプリング目標サンプル集合を得るときに、前記ダウンサンプリング目標サンプル集合が前記目標サンプル集合のカバー候補クラス集合と同じであり、かつ前記ダウンサンプリング目標サンプル集合の各単一クラスサンプル数量が前記参照サンプル集合の単一クラスサンプル数量の分布区間に近くなり又は該分布区間内にあるようにさせるように構成される、方法。
付記1に記載の方法であって、
前記ダウンサンプリング・プリビアス・サブサンプル集合は、前記第yサブサンプル集合を参照して前記プリビアス・サブサンプル集合に対してダウンサンプリング操作を行うことで確定され；かつ
前記ダウンサンプリング操作は、
参照サンプル集合を参照して目標サンプル集合に対して該ダウンサンプリング操作を行うことでダウンサンプリング目標サンプル集合を得るときに、前記ダウンサンプリング目標サンプル集合が前記目標サンプル集合のカバー候補クラス集合と同じであり、かつ前記ダウンサンプリング目標サンプル集合の各単一クラスサンプル数量が前記参照サンプル集合の単一クラスサンプル数量の分布区間に近くなり又は該分布区間内にあるようにさせるように構成される、方法。
【0076】
（付記8)
付記7に記載の方法であって、
前記N個の段階のうち、第2段階乃至第N段階のうちの各段階は何れも前記ダウンサンプリング操作を行う、方法。
付記7に記載の方法であって、
前記N個の段階のうち、第2段階乃至第N段階のうちの各段階は何れも前記ダウンサンプリング操作を行う、方法。
【0077】
（付記9)
付記4に記載の方法であって、
前記全候補クラスシーケンスの前記複数の候補クラスに関する単一クラスサンプル数量の分布はロングテール分布である、方法。
付記4に記載の方法であって、
前記全候補クラスシーケンスの前記複数の候補クラスに関する単一クラスサンプル数量の分布はロングテール分布である、方法。
【0078】
（付記10）
付記4に記載の方法であって、
前記全訓練サンプル集合における各候補クラスの単一クラスサンプル数量に基づいて確定される、単一クラスサンプル数量が降順に変化する全候補クラスシーケンスをN個の候補クラスサブシーケンスに分けることは、
前記全候補クラスシーケンスの候補クラスに関する単一クラスサンプル数量の分布を参照して、前記全候補クラスシーケンスにおけるサンプル数が50%又はそれよりも多く減少する隣接候補クラス間の位置を選択して前記全候補クラスシーケンスを分けることを含む、方法。
付記4に記載の方法であって、
前記全訓練サンプル集合における各候補クラスの単一クラスサンプル数量に基づいて確定される、単一クラスサンプル数量が降順に変化する全候補クラスシーケンスをN個の候補クラスサブシーケンスに分けることは、
前記全候補クラスシーケンスの候補クラスに関する単一クラスサンプル数量の分布を参照して、前記全候補クラスシーケンスにおけるサンプル数が50%又はそれよりも多く減少する隣接候補クラス間の位置を選択して前記全候補クラスシーケンスを分けることを含む、方法。
【0079】
（付記11)
付記4に記載の方法であって、
前記全候補クラスシーケンスの単一クラスサンプル数量の分布勾配が局所的に極小である位置で前記全候補クラスシーケンスを分ける、方法。
付記4に記載の方法であって、
前記全候補クラスシーケンスの単一クラスサンプル数量の分布勾配が局所的に極小である位置で前記全候補クラスシーケンスを分ける、方法。
【0080】
（付記12)
付記7に記載の方法であって、
前記ダウンサンプリング操作は、
前記段階訓練サンプル集合において、前記サブサンプル集合シーケンスにおける前記第yサブサンプル集合の前の各サブサンプル集合のダウンサンプリング・サブサンプル集合の平均単一クラスサンプル数量が前記第yサブサンプル集合の平均単一クラスサンプル数量にほぼ等しくなるようにさせるように構成される、方法。
付記7に記載の方法であって、
前記ダウンサンプリング操作は、
前記段階訓練サンプル集合において、前記サブサンプル集合シーケンスにおける前記第yサブサンプル集合の前の各サブサンプル集合のダウンサンプリング・サブサンプル集合の平均単一クラスサンプル数量が前記第yサブサンプル集合の平均単一クラスサンプル数量にほぼ等しくなるようにさせるように構成される、方法。
【0081】
（付記13)
付記1に記載の方法であって、
前記N個のサブサンプル集合のうちの各サブサンプル集合がカバーする候補クラスの数は異なる、方法。
付記1に記載の方法であって、
前記N個のサブサンプル集合のうちの各サブサンプル集合がカバーする候補クラスの数は異なる、方法。
【0082】
（付記14)
付記1に記載の方法であって、
前記サブサンプル集合シーケンスにおける後のサブサンプル集合はプリビアス・サブサンプル集合（前のサブサンプル集合）よりも多くの候補クラスをカバーする、方法。
付記1に記載の方法であって、
前記サブサンプル集合シーケンスにおける後のサブサンプル集合はプリビアス・サブサンプル集合（前のサブサンプル集合）よりも多くの候補クラスをカバーする、方法。
【0083】
（付記15)
付記1に記載の方法であって、
前記サブサンプル集合シーケンスにおける後のサブサンプル集合のサンプル数の桁数はプリビアス・サブサンプル集合（前のサブサンプル集合）のサンプル数の桁数に近く又は同じである、方法。
付記1に記載の方法であって、
前記サブサンプル集合シーケンスにおける後のサブサンプル集合のサンプル数の桁数はプリビアス・サブサンプル集合（前のサブサンプル集合）のサンプル数の桁数に近く又は同じである、方法。
【0084】
（付記16)
付記7に記載の方法であって、
参照サンプル集合を参照して目標サンプル集合に対して該ダウンサンプリング操作を行ってダウンサンプリング目標サンプル集合を得ることは、
前記目標サンプル集合における各候補クラスのサンプル集合に対してダウンサンプリングを行って各候補クラスのダウンサンプリング・サンプル集合を確定することで、各候補クラスのダウンサンプリング・サンプル集合のサンプル数量が前記参照サンプル集合の単一クラスサンプル数量の分布区間に近くなり又は該分布区間内にあるようにさせ；及び
各候補クラスのダウンサンプリング・サンプル集合の合併集合を前記ダウンサンプリング目標サンプル集合として設定することを含む、方法。
付記7に記載の方法であって、
参照サンプル集合を参照して目標サンプル集合に対して該ダウンサンプリング操作を行ってダウンサンプリング目標サンプル集合を得ることは、
前記目標サンプル集合における各候補クラスのサンプル集合に対してダウンサンプリングを行って各候補クラスのダウンサンプリング・サンプル集合を確定することで、各候補クラスのダウンサンプリング・サンプル集合のサンプル数量が前記参照サンプル集合の単一クラスサンプル数量の分布区間に近くなり又は該分布区間内にあるようにさせ；及び
各候補クラスのダウンサンプリング・サンプル集合の合併集合を前記ダウンサンプリング目標サンプル集合として設定することを含む、方法。
【0085】
（付記17)
付記16に記載の方法であって、
前記目標サンプル集合における各候補クラスのサンプル集合に対してダウンサンプリングを行って各候補クラスのダウンサンプリング・サンプル集合を確定することは、
前記参照サンプル集合の単一クラスサンプル数量の分布区間に基づいて、該候補クラスの、該候補クラスのダウンサンプリング・サンプル集合に関するサンプル数kを確定し；
前記モデルにより確定される、前記目標サンプル集合における該候補クラスのサンプル集合におけるサンプルの分類特徴に基づいて、該候補クラスのサンプル集合におけるサンプルをk個のサンプルクラスターとしてクラスタリングし；及び
前記k個のサンプルクラスターのうちから選択される各代表的サンプルに基づいて、該候補クラスのダウンサンプリング・サンプル集合を構築する、方法。
付記16に記載の方法であって、
前記目標サンプル集合における各候補クラスのサンプル集合に対してダウンサンプリングを行って各候補クラスのダウンサンプリング・サンプル集合を確定することは、
前記参照サンプル集合の単一クラスサンプル数量の分布区間に基づいて、該候補クラスの、該候補クラスのダウンサンプリング・サンプル集合に関するサンプル数kを確定し；
前記モデルにより確定される、前記目標サンプル集合における該候補クラスのサンプル集合におけるサンプルの分類特徴に基づいて、該候補クラスのサンプル集合におけるサンプルをk個のサンプルクラスターとしてクラスタリングし；及び
前記k個のサンプルクラスターのうちから選択される各代表的サンプルに基づいて、該候補クラスのダウンサンプリング・サンプル集合を構築する、方法。
【0086】
（付記18)
付記17に記載の方法であって、
分類特徴空間における各分類特徴クラスターの中心に最も近い分類特徴に対応するサンプルを、前記k個のサンプルクラスターのうちの対応するサンプルクラスターの代表的サンプルとして選択する、方法。
付記17に記載の方法であって、
分類特徴空間における各分類特徴クラスターの中心に最も近い分類特徴に対応するサンプルを、前記k個のサンプルクラスターのうちの対応するサンプルクラスターの代表的サンプルとして選択する、方法。
【0087】
（付記19）
コンピュータが実行する、情報を処理する方法であって、
付記1乃至18のうちの何れか１項に記載の方法により訓練されるモデルを用いて処理待ち対象を処理することを含む、方法。
コンピュータが実行する、情報を処理する方法であって、
付記1乃至18のうちの何れか１項に記載の方法により訓練されるモデルを用いて処理待ち対象を処理することを含む、方法。
【0088】
（付記20）
モデルを訓練する装置であって、
前記モデルは複数の候補クラスを有するように構成され、
前記装置は、
命令を記憶している記憶器；及び
前記記憶器に接続される少なくとも1つの処理器を含み、
前記処理器は、前記命令を実行することで、
全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定し；及び
前記サブサンプル集合シーケンスに基づいて、N個の段階に分けて前記モデルを順次、反復訓練する
ように構成され、
前記N個のサブサンプル集合における任意の2つのカバー候補クラス集合が共通集合を有せず；
前記サブサンプル集合シーケンスの平均単一クラスサンプル数量シーケンスが降順シーケンスであり；
前記N個の段階のうち、第2段階乃至第N段階のうちの第y段階の段階訓練サンプル集合が、前記サブサンプル集合シーケンスにおける第yサブサンプル集合と、前記第yサブサンプル集合の前のすべてのサブサンプル集合からなるプリビアス・サブサンプル集合のダウンサンプリング・プリビアス・サブサンプル集合と、を含み；
前記ダウンサンプリング・プリビアス・サブサンプル集合と前記プリビアス・サブサンプル集合のカバー候補クラス集合が同じであり；かつ
前記ダウンサンプリング・プリビアス・サブサンプル集合の各単一クラスサンプル数量が前記第yサブサンプル集合の単一クラスサンプル数量の分布区間に近く又は該分布区間内にある、装置。
モデルを訓練する装置であって、
前記モデルは複数の候補クラスを有するように構成され、
前記装置は、
命令を記憶している記憶器；及び
前記記憶器に接続される少なくとも1つの処理器を含み、
前記処理器は、前記命令を実行することで、
全訓練サンプル集合のN個のサブサンプル集合からなるサブサンプル集合シーケンスを確定し；及び
前記サブサンプル集合シーケンスに基づいて、N個の段階に分けて前記モデルを順次、反復訓練する
ように構成され、
前記N個のサブサンプル集合における任意の2つのカバー候補クラス集合が共通集合を有せず；
前記サブサンプル集合シーケンスの平均単一クラスサンプル数量シーケンスが降順シーケンスであり；
前記N個の段階のうち、第2段階乃至第N段階のうちの第y段階の段階訓練サンプル集合が、前記サブサンプル集合シーケンスにおける第yサブサンプル集合と、前記第yサブサンプル集合の前のすべてのサブサンプル集合からなるプリビアス・サブサンプル集合のダウンサンプリング・プリビアス・サブサンプル集合と、を含み；
前記ダウンサンプリング・プリビアス・サブサンプル集合と前記プリビアス・サブサンプル集合のカバー候補クラス集合が同じであり；かつ
前記ダウンサンプリング・プリビアス・サブサンプル集合の各単一クラスサンプル数量が前記第yサブサンプル集合の単一クラスサンプル数量の分布区間に近く又は該分布区間内にある、装置。
【0089】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は、本発明の技術的範囲に属する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】