(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024070210
(43)【公開日】2024-05-22
(54)【発明の名称】イメージのオブジェクトを分類する分類方法及び分類装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20240515BHJP
【ＦＩ】
G06T7/00 350B
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2023111916
(22)【出願日】2023-07-07
(31)【優先権主張番号】10-2022-0149282
(32)【優先日】2022-11-10
(33)【優先権主張国・地域又は機関】KR
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】金 基京
(72)【発明者】
【氏名】白 智原
(72)【発明者】
【氏名】安 燦鎬
(72)【発明者】
【氏名】韓 承周
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA03
5L096DA02
5L096HA09
5L096HA11
5L096KA04
5L096KA15
5L096MA07
(57)【要約】
【課題】イメージのオブジェクトを分類する分類方法及びそれを行う分類装置が開示される。
【解決手段】分類方法は、入力イメージを受信する動作、入力イメージが入力された分類モデルから入力イメージ内のオブジェクトに対するクラス予測値を取得する動作、クラス予測値に基づいて予測一貫性値を決定する動作、決定された予測一貫性値に基づいてオブジェクトに対応するクラスタイプを決定する動作、及び決定されたクラスタイプに対応するクラス予測モデルを用いてオブジェクトのクラスを決定する動作を含む。
【選択図】図１
【解決手段】分類方法は、入力イメージを受信する動作、入力イメージが入力された分類モデルから入力イメージ内のオブジェクトに対するクラス予測値を取得する動作、クラス予測値に基づいて予測一貫性値を決定する動作、決定された予測一貫性値に基づいてオブジェクトに対応するクラスタイプを決定する動作、及び決定されたクラスタイプに対応するクラス予測モデルを用いてオブジェクトのクラスを決定する動作を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
イメージのオブジェクトを分類する分類方法であって、
入力イメージを受信する動作と、
前記入力イメージが入力された分類モデルから前記入力イメージ内のオブジェクトに対するクラス予測値を取得する動作と、
前記クラス予測値に基づいて予測一貫性値を決定する動作と、
前記予測一貫性値に基づいて前記オブジェクトに対応するクラスタイプを決定する動作と、
前記決定されたクラスタイプに基づいて前記オブジェクトのクラスを決定する動作と、
を含み、
前記オブジェクトのクラスを決定する動作は、
前記オブジェクトのクラスタイプが多数派クラスに対応する場合、多数派クラス予測モデルが前記オブジェクトに対して出力したクラス予測値に基づいて前記オブジェクトのクラスを決定する動作と、
前記オブジェクトのクラスタイプが少数派クラスに対応する場合、少数派クラス予測モデルが前記オブジェクトに対して出力したクラス予測値に基づいて前記オブジェクトのクラスを決定する動作と、
を含む、分類方法。
入力イメージを受信する動作と、
前記入力イメージが入力された分類モデルから前記入力イメージ内のオブジェクトに対するクラス予測値を取得する動作と、
前記クラス予測値に基づいて予測一貫性値を決定する動作と、
前記予測一貫性値に基づいて前記オブジェクトに対応するクラスタイプを決定する動作と、
前記決定されたクラスタイプに基づいて前記オブジェクトのクラスを決定する動作と、
を含み、
前記オブジェクトのクラスを決定する動作は、
前記オブジェクトのクラスタイプが多数派クラスに対応する場合、多数派クラス予測モデルが前記オブジェクトに対して出力したクラス予測値に基づいて前記オブジェクトのクラスを決定する動作と、
前記オブジェクトのクラスタイプが少数派クラスに対応する場合、少数派クラス予測モデルが前記オブジェクトに対して出力したクラス予測値に基づいて前記オブジェクトのクラスを決定する動作と、
を含む、分類方法。
【請求項2】
前記予測一貫性値を決定する動作は、
前記分類モデルから取得された前記クラス予測値のうち最も頻度数の多いモードクラス予測値を決定する動作と、
前記クラス予測値と前記モードクラス予測値との間のマッチング頻度に基づいて前記予測一貫性値を決定する動作と、
を含む、請求項１に記載の分類方法。
前記分類モデルから取得された前記クラス予測値のうち最も頻度数の多いモードクラス予測値を決定する動作と、
前記クラス予測値と前記モードクラス予測値との間のマッチング頻度に基づいて前記予測一貫性値を決定する動作と、
を含む、請求項１に記載の分類方法。
【請求項3】
前記予測一貫性値を決定する動作は、前記クラス予測値と前記モードクラス予測値との間のマッチング頻度を前記クラス予測値の全体個数で割ることによって前記予測一貫性値を決定する動作を含む、請求項２に記載の分類方法。
【請求項4】
前記クラスタイプを決定する動作は、前記予測一貫性値及び閾値に基づいて前記オブジェクトに対応するクラスタイプを前記多数派クラス又は前記少数派クラスとして決定する動作を含む、請求項１に記載の分類方法。
【請求項5】
前記クラスタイプを決定する動作は、
前記予測一貫性値が前記閾値よりも大きいことに応答して、前記オブジェクトに対応するクラスタイプを前記多数派クラスとして決定する動作と、
前記予測一貫性値が前記閾値よりも大きくないことに応答して、前記オブジェクトに対応するクラスタイプを前記少数派クラスとして決定する動作と、
を含む、請求項４に記載の分類方法。
前記予測一貫性値が前記閾値よりも大きいことに応答して、前記オブジェクトに対応するクラスタイプを前記多数派クラスとして決定する動作と、
前記予測一貫性値が前記閾値よりも大きくないことに応答して、前記オブジェクトに対応するクラスタイプを前記少数派クラスとして決定する動作と、
を含む、請求項４に記載の分類方法。
【請求項6】
前記オブジェクトのクラスを決定する動作は、前記オブジェクトが前記多数派クラスに対応する場合、前記分類モデルのアンサンブルモデルを前記多数派クラス予測モデルとして用いて前記オブジェクトのクラスを決定する動作を含む、請求項１に記載の分類方法。
【請求項7】
前記オブジェクトのクラスを決定する動作は、前記オブジェクトが前記多数派クラスに対応する場合、前記分類モデルの中から選択されたターゲット分類モデルを前記多数派クラス予測モデルとして用いて前記オブジェクトのクラスを決定する動作を含む、請求項１に記載の分類方法。
【請求項8】
前記オブジェクトのクラスを決定する動作は、前記分類モデルの学習過程で前記多数派クラスに対して最も優れた分類性能を示した分類モデルを前記ターゲット分類モデルとして選択する動作を含む、請求項７に記載の分類方法。
【請求項9】
前記オブジェクトのクラスを決定する動作は、前記オブジェクトが前記少数派クラスに対応する場合、前記分類モデルの中から選択されたターゲット分類モデルを前記少数派クラス予測モデルとして用いて前記オブジェクトのクラスを決定する動作を含む、請求項１に記載の分類方法。
【請求項10】
前記オブジェクトのクラスを決定する動作は、前記分類モデルの学習過程で前記少数派クラスに対して最も優れた分類性能を示した分類モデルを前記ターゲット分類モデルとして選択する動作を含む、請求項９に記載の分類方法。
【請求項11】
前記分類モデルは、同じ学習データセットに対して互いに異なる学習回数で学習された分類モデルである、請求項１に記載の分類方法。
【請求項12】
イメージのオブジェクトを分類する分類方法であって、
入力イメージを受信する動作と、
前記入力イメージが入力された分類モデルから前記入力イメージ内のオブジェクトに対するクラス予測値を取得する動作と、
前記クラス予測値に基づいて予測一貫性値を決定する動作と、
前記予測一貫性値に基づいて前記オブジェクトに対応するクラスタイプを決定する動作と、
前記決定されたクラスタイプに対応するクラス予測モデルを用いて前記オブジェクトのクラスを決定する動作と、
を含む、分類方法。
入力イメージを受信する動作と、
前記入力イメージが入力された分類モデルから前記入力イメージ内のオブジェクトに対するクラス予測値を取得する動作と、
前記クラス予測値に基づいて予測一貫性値を決定する動作と、
前記予測一貫性値に基づいて前記オブジェクトに対応するクラスタイプを決定する動作と、
前記決定されたクラスタイプに対応するクラス予測モデルを用いて前記オブジェクトのクラスを決定する動作と、
を含む、分類方法。
【請求項13】
前記オブジェクトのクラスを決定する動作は、
前記オブジェクトのクラスタイプが第１クラスタイプに対応する場合、第１クラス予測モデルが前記オブジェクトに対して出力したクラス予測値に基づいて前記オブジェクトのクラスを決定する動作と、
前記オブジェクトのクラスタイプが前記第１クラスタイプと異なる第２クラスタイプに対応する場合、前記第１クラス予測モデルと異なる第２クラス予測モデルが前記オブジェクトに対して出力したクラス予測値に基づいて前記オブジェクトのクラスを決定する動作と、
を含む、請求項１２に記載の分類方法。
前記オブジェクトのクラスタイプが第１クラスタイプに対応する場合、第１クラス予測モデルが前記オブジェクトに対して出力したクラス予測値に基づいて前記オブジェクトのクラスを決定する動作と、
前記オブジェクトのクラスタイプが前記第１クラスタイプと異なる第２クラスタイプに対応する場合、前記第１クラス予測モデルと異なる第２クラス予測モデルが前記オブジェクトに対して出力したクラス予測値に基づいて前記オブジェクトのクラスを決定する動作と、
を含む、請求項１２に記載の分類方法。
【請求項14】
前記予測一貫性値を決定する動作は、
前記分類モデルから取得された前記クラス予測値のうち最も頻度数の多いモードクラス予測値を決定する動作と、
前記クラス予測値と前記モードクラス予測値との間のマッチング頻度に基づいて前記予測一貫性値を決定する動作と、
を含む、請求項１２に記載の分類方法。
前記分類モデルから取得された前記クラス予測値のうち最も頻度数の多いモードクラス予測値を決定する動作と、
前記クラス予測値と前記モードクラス予測値との間のマッチング頻度に基づいて前記予測一貫性値を決定する動作と、
を含む、請求項１２に記載の分類方法。
【請求項15】
請求項１ないし１４のうち何れか一項に記載の分類方法をコンピュータに実行させるコンピュータ・プログラム。
【請求項16】
イメージのオブジェクトを分類する分類装置であって、
プロセッサと、
前記プロセッサによって実行可能な命令を格納するメモリを含み、
前記メモリに格納された命令が前記プロセッサによって実行されるとき、前記プロセッサは、
入力イメージを受信し、
前記入力イメージが入力された分類モデルから前記入力イメージ内のオブジェクトに対するクラス予測値を取得し、
前記クラス予測値に基づいて予測一貫性値を決定し、
前記予測一貫性値に基づいて前記オブジェクトに対応するクラスタイプを決定し、
前記オブジェクトのクラスタイプが多数派クラスに対応する場合、多数派クラス予測モデルが前記オブジェクトに対して出力したクラス予測値に基づいて前記オブジェクトのクラスを決定し、
前記オブジェクトのクラスタイプが少数派クラスに対応する場合、少数派クラス予測モデルが前記オブジェクトに対して出力したクラス予測値に基づいて前記オブジェクトのクラスを決定する、
分類装置。
プロセッサと、
前記プロセッサによって実行可能な命令を格納するメモリを含み、
前記メモリに格納された命令が前記プロセッサによって実行されるとき、前記プロセッサは、
入力イメージを受信し、
前記入力イメージが入力された分類モデルから前記入力イメージ内のオブジェクトに対するクラス予測値を取得し、
前記クラス予測値に基づいて予測一貫性値を決定し、
前記予測一貫性値に基づいて前記オブジェクトに対応するクラスタイプを決定し、
前記オブジェクトのクラスタイプが多数派クラスに対応する場合、多数派クラス予測モデルが前記オブジェクトに対して出力したクラス予測値に基づいて前記オブジェクトのクラスを決定し、
前記オブジェクトのクラスタイプが少数派クラスに対応する場合、少数派クラス予測モデルが前記オブジェクトに対して出力したクラス予測値に基づいて前記オブジェクトのクラスを決定する、
分類装置。
【請求項17】
前記プロセッサは、
前記分類モデルから取得された前記クラス予測値のうち最も頻度数の多いモードクラス予測値を決定し、
前記クラス予測値と前記モードクラス予測値との間のマッチング頻度に基づいて前記予測一貫性値を決定する、請求項１６に記載の分類装置。
前記分類モデルから取得された前記クラス予測値のうち最も頻度数の多いモードクラス予測値を決定し、
前記クラス予測値と前記モードクラス予測値との間のマッチング頻度に基づいて前記予測一貫性値を決定する、請求項１６に記載の分類装置。
【請求項18】
前記プロセッサは、
前記予測一貫性値が閾値よりも大きいことに応答して、前記オブジェクトに対応するクラスタイプを前記多数派クラスとして決定し、
前記予測一貫性値が前記閾値よりも大きくないことに応答して、前記オブジェクトに対応するクラスタイプを前記少数派クラスとして決定する、請求項１６に記載の分類装置。
前記予測一貫性値が閾値よりも大きいことに応答して、前記オブジェクトに対応するクラスタイプを前記多数派クラスとして決定し、
前記予測一貫性値が前記閾値よりも大きくないことに応答して、前記オブジェクトに対応するクラスタイプを前記少数派クラスとして決定する、請求項１６に記載の分類装置。
【請求項19】
前記プロセッサは、前記オブジェクトが前記多数派クラスに対応する場合、前記分類モデルのアンサンブルモデルを前記多数派クラス予測モデルとして用いて前記オブジェクトのクラスを決定する、請求項１６に記載の分類装置。
【請求項20】
前記プロセッサは、前記オブジェクトが前記少数派クラスに対応する場合、前記分類モデルの中から選択されたターゲット分類モデルを前記少数派クラス予測モデルとして用いて前記オブジェクトのクラスを決定する、請求項１６ないし１９のうち何れか一項に記載の分類装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、イメージのオブジェクトを分類する分類方法及び分類装置等に関する。
【背景技術】
【0002】
人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）システムは、ヒトのレベルの知能を実現するコンピュータシステムであり、既存のＲｕｌｅ基盤スマートシステムとは異なって、機械が自ら学習して判断し、賢くなるシステムである。人工知能システムを使用するほど認識率が向上し、ユーザの好みをより正確に理解可能になることで、既存のＲｕｌｅ基盤スマートシステムは次第にディープラーニング基盤人工知能システムに代替されている。
【0003】
人工知能技術は、機械学習（ディープラーニング）及び機械学習を活用した要素技術から構成されている。機械学習は、入力データの特徴を自ら分類／学習するアルゴリズム技術であり、要素技術は、ディープラーニングなどの機械学習アルゴリズムを活用してヒトの頭脳の認知、判断などの機能を模写する技術として、言語的理解、視覚的理解、推論／予測、知識表現、動作制御などの技術分野から構成されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の目的は、イメージのオブジェクトを分類する分類方法及びそれを行う分類装置を提供することにある。
【課題を解決するための手段】
【0005】
一実施形態に係るイメージのオブジェクトを分類する分類方法は、入力イメージを受信する動作と、前記入力イメージが入力された分類モデルから前記入力イメージ内のオブジェクトに対するクラス予測値を取得する動作と、前記クラス予測値に基づいて予測一貫性値を決定する動作と、前記予測一貫性値に基づいて前記オブジェクトに対応するクラスタイプを決定する動作と、前記決定されたクラスタイプに基づいて前記オブジェクトのクラスを決定する動作とを含ことができる。
【0006】
前記オブジェクトのクラスを決定する動作は、前記オブジェクトのクラスタイプが多数派クラスに対応する場合、多数派クラス予測モデルが前記オブジェクトに対して出力したクラス予測値に基づいて前記オブジェクトのクラスを決定する動作と、前記オブジェクトのクラスタイプが少数派クラスに対応する場合、少数派クラス予測モデルが前記オブジェクトに対して出力したクラス予測値に基づいて前記オブジェクトのクラスを決定する動作とを含むことができる。
【0007】
前記予測一貫性値を決定する動作は、前記分類モデルから取得された前記クラス予測値のうち最も頻度数の多いモードクラス予測値（ｍｏｄｅ ｃｌａｓｓ ｐｒｅｄｉｃｔｉｏｎ ｖａｌｕｅ）を決定する動作と、前記クラス予測値と前記モードクラス予測値との間のマッチング頻度に基づいて前記予測一貫性値を決定する動作とを含むことができる。
【0008】
前記予測一貫性値を決定する動作は、前記クラス予測値と前記モードクラス予測値との間のマッチング頻度を前記クラス予測値の全体個数で割ることによって前記予測一貫性値を決定する動作を含むことができる。
【0009】
前記クラスタイプを決定する動作は、前記予測一貫性値及び閾値に基づいて前記オブジェクトに対応するクラスタイプを前記多数派クラス又は前記少数派クラスとして決定する動作を含むことができる。
【0010】
前記クラスタイプを決定する動作は、前記予測一貫性値が前記閾値よりも大きいことに応答して、前記オブジェクトに対応するクラスタイプを前記多数派クラスとして決定する動作と、前記予測一貫性値が前記閾値よりも大きくないことに応答して、前記オブジェクトに対応するクラスタイプを前記少数派クラスとして決定する動作とを含むことができる。
【0011】
前記オブジェクトのクラスを決定する動作は、前記オブジェクトが前記多数派クラスに対応する場合、前記分類モデルのアンサンブルモデルを前記多数派クラス予測モデルとして用いて前記オブジェクトのクラスを決定する動作を含むことができる。
【0012】
前記オブジェクトのクラスを決定する動作は、前記オブジェクトが前記多数派クラスに対応する場合、前記分類モデルの中から選択されたターゲット分類モデルを前記多数派クラス予測モデルとして用いて前記オブジェクトのクラスを決定する動作を含むことができる。
【0013】
前記オブジェクトのクラスを決定する動作は、前記分類モデルの学習過程で前記多数派クラスに対して最も優れた分類性能を示した分類モデルを前記ターゲット分類モデルとして選択する動作を含むことができる。
【0014】
前記オブジェクトのクラスを決定する動作は、前記オブジェクトが前記少数派クラスに対応する場合、前記分類モデルの中から選択されたターゲット分類モデルを前記少数派クラス予測モデルとして用いて前記オブジェクトのクラスを決定する動作を含むことができる。
【0015】
前記オブジェクトのクラスを決定する動作は、前記分類モデルの学習過程で前記少数派クラスに対して最も優れた分類性能を示した分類モデルを前記ターゲット分類モデルとして選択する動作を含むことができる。
【0016】
前記分類モデルは、同じ学習データセットに対して互いに異なる学習回数で学習された分類モデルであってもよい。
【0017】
一実施形態に係るイメージのオブジェクトを分類する分類方法は、入力イメージを受信する動作と、前記入力イメージが入力された分類モデルから前記入力イメージ内のオブジェクトに対するクラス予測値を取得する動作と、前記クラス予測値に基づいて予測一貫性値を決定する動作と、前記予測一貫性値に基づいて前記オブジェクトに対応するクラスタイプを決定する動作と、前記決定されたクラスタイプに対応するクラス予測モデルを用いて前記オブジェクトのクラスを決定する動作とを含むことができる。
【0018】
前記オブジェクトのクラスを決定する動作は、前記オブジェクトのクラスタイプが第１クラスタイプに対応する場合、第１クラス予測モデルが前記オブジェクトに対して出力したクラス予測値に基づいて前記オブジェクトのクラスを決定する動作と、前記オブジェクトのクラスタイプが前記第１クラスタイプと異なる第２クラスタイプに対応する場合、前記第１クラス予測モデルと異なる第２クラス予測モデルが前記オブジェクトに対して出力したクラス予測値に基づいて前記オブジェクトのクラスを決定する動作とを含むことができる。
【0019】
一実施形態に係るイメージのオブジェクトを分類する分類装置は、プロセッサと、前記プロセッサによって実行可能な命令を格納するメモリを含み、前記メモリに格納された命令が前記プロセッサによって実行されるとき、前記プロセッサは、入力イメージを受信し、前記入力イメージが入力された分類モデルから前記入力イメージ内のオブジェクトに対するクラス予測値を取得し、前記クラス予測値に基づいて予測一貫性値を決定し、前記予測一貫性値に基づいて前記オブジェクトに対応するクラスタイプを決定し、前記オブジェクトのクラスタイプが多数派クラスに対応する場合、多数派クラス予測モデルが前記オブジェクトに対して出力したクラス予測値に基づいて前記オブジェクトのクラスを決定し、前記オブジェクトのクラスタイプが少数派クラスに対応する場合、少数派クラス予測モデルが前記オブジェクトに対して出力したクラス予測値に基づいて前記オブジェクトのクラスを決定することができる。
【発明の効果】
【0020】
本発明によると、イメージのオブジェクトを分類する分類方法及びそれを行う分類装置を提供することができる。
【図面の簡単な説明】
【0021】
【図1】一実施形態に係るイメージのオブジェクトを分類する分類装置の概要を説明するための図である。
【図2】一実施形態に係るイメージのオブジェクトを分類する分類方法の動作を説明するためのフローチャートである。
【図3】一実施形態に係るイメージのオブジェクトを分類する分類方法の動作を説明するためのフローチャートである。
【図4】実施形態に係るイメージオブジェクトを分類する分類装置の動作を説明するための図である。
【図5】一実施形態に係る多数派クラス予測器の様々な変形例を説明するための図である。
【図6】一実施形態に係る少数派クラス予測器の様々な変形例を説明するための図である。
【図7】他の実施形態に係るイメージオブジェクトを分類する分類装置の動作を説明するための図である。
【図8】一実施形態に係る予測一貫性値に基づいて分類モデルを学習させることを説明するための図である。
【図9】他の実施形態に係る予測一貫性値に基づいて分類モデルを学習させることを説明するための図である。
【図10】一実施形態に係る半導体製造工程でイメージオブジェクト分類を介してウェハーの不良を鑑別する実施形態を説明するための図である。
【図11】一実施形態に係るイメージのオブジェクトを分類する分類装置の構成を示すブロック図である。
【発明を実施するための形態】
【0022】
実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものであって、様々な形態に変更されることができる。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。
【0023】
第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素は第１構成要素にも命名することができる。
【0024】
いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。
【0025】
単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【0026】
本文書の多様な実施形態で使用された用語「モジュール」は、ハードウェア、ソフトウェア又はファームウェアで具現されたユニットを含み、例えば、ロジック、論理ブロック、部品、又は回路などの用語と相互互換的に使用することができる。モジュールは、一体に構成された部品又は１つ以上の機能を行う部品の最小単位、又は、その一部からなる。モジュールは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）の形に具現されてもよい。
【0027】
異なるように定義さがれない限り、技術的又は科学的な用語を含んで、ここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈されなければならず、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【0028】
以下、添付する図面を参照しながら実施形態を詳細に説明する。図面を参照して説明する際に、図面符号に拘わらず同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略する。
【0029】
図１は、一実施形態に係るイメージのオブジェクトを分類する分類装置の概要を説明するための図である。
【0030】
図１を参照すると、イメージのオブジェクトを分類する分類装置１００は、分類装置１００に入力された入力イメージ１１０に含まれたオブジェクトを分類する装置である。分類装置１００は、入力イメージ１１０に含まれたオブジェクトに対応するクラスを決定することにオブジェクト分類を行うことができる。クラスは、分類対象である入力イメージ１１０に示されているオブジェクトのタイプや種類を示すもので、範疇により様々なクラスが存在し得る。例えば、０、１、２、３、４、などの数字の種類がそれぞれのクラスになってもよく、正常、不良１、不良２などの状態の種類がそれぞれのクラスになってもよい。また、異なる例として、犬、猫など動物の種類がクラスになってもよく、ヒト、携帯電話、自動車など物体の種類がクラスになってもよい。本明細書において「入力イメージ」の用語は「入力データ」又は「入力画像」に代替されてもよい。
【0031】
イメージのオブジェクト分類においてクラスにおける不均衡の問題が発生し得る。一般に、多くのイメージのオブジェクト分類のための学習データセットは、イメージのオブジェクトを分類する分類モデルが各クラスごとに学習するために十分な量の学習データを含むように構成されている。しかし、現実的に、全体クラスそれぞれに十分な量の学習データを構成することは容易ではない。クラスごとに学習データ量の差が発生すれば、クラスにおける不均衡の問題が発生し得る。クラス不均衡の問題は、クラスごとに学習データ量の偏差が大きい場合、このような偏差が分類モデルの学習及び推論に影響を与え、結果的に、分類モデルの分類性能が低下するという問題がある。特に、クラス不均衡の問題は、学習データ量が充分でないクラスに対する分類モデルの分類性能が低くなる問題を抱えている。
【0032】
分類装置１００は、予測一貫性値（ｐｒｅｄｉｃｔｉｏｎ ｃｏｎｓｉｓｔｅｎｃｙ ｖａｌｕｅ）を使用することで、上記で説明したクラス不均衡の問題を解決することができる。一実施形態において、分類装置１００は、予測一貫性値に基づいて入力イメージ１１０のオブジェクトのクラスタイプを多数派クラス及び少数派クラスのいずれか１つに区分し、区分結果に応じてオブジェクトのクラスに対応するクラス予測器を用いてもよい。分類装置１００は、予測一貫性値に基づいて、クラス予測器のうち入力イメージ１１０のオブジェクトのクラス分類に応じて適切なクラス予測器を選択し、クラス分類を行うことでクラス分類の正確度を向上させることができる。
【0033】
一実施形態において、分類装置１００は、予測一貫性値決定器１２０、クラス分類器１３０、多数派クラス予測器１４０、及び少数派クラス予測器１５０を含む。予測一貫性値決定器１２０、クラス分類器１３０、多数派クラス予測器１４０、及び少数派クラス予測器１５０のそれぞれは、予測一貫性値のそれぞれの１つ以上の動作を構成する命令を格納するメモリ及び１つ以上のプロセッサを用いて実行されてもよい。予測一貫性値決定器１２０、クラス分類器１３０、多数派クラス予測器１４０、及び少数派クラス予測器１５０それぞれの動作は、メモリに格納された命令がプロセッサによって実行されるものと実現されることができる。
【0034】
分類装置１００に入力された入力イメージ１１０は、予測一貫性値決定器１２０に伝達される。一実施形態において、入力イメージ１１０が予測一貫性値決定器１２０に伝達される前に、分類装置１００は入力イメージ１１０にイメージ前処理を行い、イメージ前処理が実行された入力イメージ１１０を予測一貫性値決定器１２０に伝達してもよい。イメージ前処理は、例えば、イメージの回転、拡大、縮小、投影、２進化、カラー調整、明暗調整、ヒストグラムの均等化、トリミング（ｃｒｏｐｐｉｎｇ）、関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ；ＲＯＩ）の抽出、及び背景領域の除去などを含んでもよい。
【0035】
予測一貫性値決定器１２０は、複数の分類モデルを用いて入力イメージ１１０内のオブジェクトに対するクラス予測値を取得することができる。分類モデルそれぞれは、入力イメージ１１０を入力にし、入力イメージ１１０に含まれたオブジェクトに対するクラス予測値を出力するモデルであってもよい。一実施形態において、分類モデルは、同じ学習データセットに対して互いに異なる学習回数又は互いに異なる回数のエポック（ｅｐｏｃｈ）で学習されたモデルであってもよい。分類モデルは、例えば、ニューラルネットワーク（例えば、畳み込みニューラルネットワーク）であってもよい。ニューラルネットワークは、シナプスの結合でネットワークを形成している人工ニューロン（又は、ノード）が学習又は機械学習を介してシナプスの結合強度を変化させて問題解決能力を有するモデルの全般を意味する。ニューラルネットワークの人工ニューロンは、加重値及び／又はバイアスの組み合わせを含んでもよく、ニューラルネットワークは、複数の人工ニューロンで構成されたレイヤを含んでもよい。
【0036】
予測一貫性値決定器１２０は、分類モデルが出力したクラス予測値に基づいて予測一貫性値を決定することができる。予測一貫性値は、分類モデルが入力イメージ１１０に含まれたオブジェクトに対するクラスをどれ程一貫して予測したかを示す。分類モデルが出力したクラス予測値の分布において、同じクラス予測値が多いほど予測一貫性値は大きくなり、同じクラス予測値が少ないほど予測一貫性値は小さくなる。したがって、大きい予測一貫性値は分類モデルがオブジェクトのクラスを一貫して予測したことを意味し、小さい予測一貫性値は、分類モデルがオブジェクトのクラスを一貫して予測できず、予測結果の偏差が大きいことを意味する。
【0037】
クラス分類器１３０は、予測一貫性値に基づいてオブジェクトに対応するクラスタイプを決定することができる。一実施形態において、クラス分類器１３０は、予測一貫性値と閾値を比較して、比較結果に応じてオブジェクトのクラスタイプを多数派クラス（ｍａｊｏｒｉｔｙ ｃｌａｓｓ）又は少数派クラス（ｍｉｎｏｒｉｔｙ ｃｌａｓｓ）に分類してもよい。予測一貫性値が閾値よりも大きい場合、クラス分類器１３０は、オブジェクトのクラスタイプを多数派クラスに分類し、予測一貫性値が閾値よりも大きくない場合（又は、閾値以下である場合）、クラス分類器１３０はオブジェクトのクラスを少数派クラスに分類してもよい。
【0038】
多数派クラスは、分類モデルの学習過程において学習データ量が十分であるため、高い分類正確度を有するように学習されたクラスを意味し、少数派クラスは、分類モデルの学習過程で相対的に学習データ量が十分でないため、比較的に低い分類正確度を有するよう学習されたクラスを意味する。オブジェクトの多数派クラスであれば、分類モデルがオブジェクトのクラスを代替的に円満に予測できることから大きな予測一貫性値を示し、オブジェクトのクラスが少数派クラスであれば、分類モデルがオブジェクトのクラスをそれほど予測できないため小さな予測一貫性値を示す。多数派クラスは、学習過程の初期（例えば、エポック数が低い時期）から高い分類正確度（例えば、分類モデルのクラス予測値の偏差が小さい）に分類され、少数派クラスは、学習過程が進行されても比較的に低い分類正確度（例えば、分類モデルのクラス予測値の偏差が大きい）に分類される。分類装置１００は、このような多数派クラスと少数派クラスの差異に基づいた予測一貫性値を決定し、予測一貫性値に基づいてオブジェクトのクラス推論を行うことができる。
【0039】
クラス分類器１３０によってオブジェクトのクラスタイプが多数派クラスに分類された場合、多数派クラス予測器１４０によりオブジェクトのクラスが決定されてもよい。多数派クラス予測器１４０は、多数派クラスのクラス予測のためのモデルである多数派クラス予測モデルが、オブジェクトに対して出力したクラス予測値に基づいてオブジェクトのクラスを決定してもよい。多数派クラス予測モデルとして、例えば、クラス予測値を提供する分類モデルのアンサンブルモデルが使用されてもよいが、これに限定されることはない。多数派クラス予測モデルは様々に変形され、これについては図５を参照してより詳しく説明する。
【0040】
クラス分類器１３０によってオブジェクトのクラスタイプが少数派クラスに分類された場合、少数派クラス予測器１５０によりオブジェクトのクラスが決定されてもよい。少数派クラス予測器１５０は、少数派クラスのクラス予測のためのモデルである少数派クラス予測モデルが、オブジェクトに対して出力したクラス予測値に基づいてオブジェクトのクラスを決定してもよい。少数派クラス予測モデルとして、例えば、クラス予測値を提供する分類モデルのうち少数派クラスに対して最も高い分類正確度を示した分類モデルが使用されるが、これに限定されることはない。少数派クラス予測モデルは様々に変形され、これについては、図６を参照してより詳しく説明する。
【0041】
上記のように、分類装置１００は、入力イメージ１１０のオブジェクトのクラスタイプを多数派クラス又は少数派クラスに区分し、それぞれのクラスタイプによる適切なクラス予測モデルを適用してオブジェクトのクラス分類の正確度を改善させることができる。分類装置１００は、上記で説明された処理過程を介してクラス不均衡に強靭にクラス分類を行ってクラス分類の正確度を改善させることができる。特に、分類装置１００は、学習し難い少数派クラスを推論過程として区別し、少数派クラスの推論に適切な少数派クラス予測モデルを用いてオブジェクトのクラスを決定することで、クラス不均衡の原因となる少数派クラスに対する予測正確度を向上させることができる。分類装置１００は、また、オブジェクトのクラスを推論するステップでクラス不均衡の問題を解決し、追加的な学習が必要でないという長所を提供する。
【0042】
【0043】
一実施形態において、図２及び図３の動作のうち一部の動作は、他の動作と同時又は並列に行ってもよく、動作間の順序を変更してもよい。また、動作の一部は省略されてもよく、他の動作が追加的に行われてもよい。イメージのオブジェクトを分類する分類方法は、本文書の実施形態で説明されている分類装置（例えば、図１に示す分類装置１００、図７に示す分類装置７００、図１１に示す分類装置１１００）によって行われてもよい。
【0044】
図２を参照すると、動作２１０において、分類装置は入力イメージを受信する。入力イメージは、クラス分類の対象であるオブジェクトを含んでいる。分類装置は、入力イメージにイメージ前処理を行う。
【0045】
動作２２０において、分類装置は、入力イメージが入力された分類モデルから入力イメージ内のオブジェクトに対するクラス予測値を取得する。分類モデルそれぞれには入力イメージが入力され、分類モデルそれぞれは入力イメージに対応するクラス予測値を出力することができる。
【0046】
分類モデルは、同じ学習データセットに対して互いに異なる学習回数で学習された分類モデルであってもよい。例えば、分類モデルは、学習されていない初期分類モデルが全体学習データセットに対して一回の学習過程が完了した第１分類モデル（学習回数：１回）、第１分類モデルが再び全体学習データセットに対して一回の学習過程を追加的に完了した第２分類モデル（学習回数：２回）及び第２分類モデルに再び全体学習データセットに対して一回の学習過程を追加的に完了した第３分類モデル（学習回数：３回）のように、互いに異なる学習回数で学習された分類モデルを含んでもよい。一回の学習過程は一回のエポックに対応し、一回のエポックは、学習データセットの全体に対して逆伝播アルゴリズム（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）の順方向パス（ｆｏｒｗａｒｄ ｐａｓｓ）及び逆方向パス（ｂａｃｋｗａｒｄ ｐａｓｓ）の過程を経たものを示す。
【0047】
動作２３０において、分類装置は、クラス予測値に基づいて予測一貫性値を決定する。分類装置は、分類モデルから取得したクラス予測値のうち最も頻度数の多いモードクラス予測値（ｍｏｄｅ ｃｌａｓｓ ｐｒｅｄｉｃｔｉｏｎ ｖａｌｕｅ）を決定し、クラス予測値とモードクラス予測値とのマッチング頻度に基づいて予測一貫性値を決定することができる。該当のマッチング頻度は、複数のクラス予測値のうちモードクラス予測値と同じクラス予測値がどれほど多いかを示す。分類装置は、クラス予測値とモードクラス予測値との間のマッチング頻度をクラス予測値の全体の個数で除算することによって予測一貫性値を決定できる。クラス予測値の全個数は、分類モデルの全個数に対応する。
【0048】
動作２４０において、分類装置は、予測一貫性値に基づいてオブジェクトに対応するクラスタイプを決定する。分類装置は、予測一貫性値が定義された基準を満足するか否かに応じてオブジェクトのクラスタイプを分類してもよい。例えば、分類装置は、予測一貫性値と閾値との間の比較結果に基づいて、オブジェクトのクラスタイプを多数派クラス又は少数派クラスに分類される。但し、クラスタイプは多数派クラス及び少数派クラスに限定されず、クラスタイプは様々である。
【0049】
動作２５０において、分類装置は、決定されたオブジェクトのクラスタイプに対応するクラス予測モデルを用いてオブジェクトのクラスを決定する。一実施形態において、オブジェクトのクラスタイプが第１クラスタイプに対応する場合、分類装置は、第１クラス予測モデルがオブジェクトに対して出力したクラス予測値に基づいてオブジェクトのクラスを決定し得る。第１クラス予測モデルは、第１クラスタイプを専用に分類する分類モデルであってもよい。オブジェクトのクラスタイプが第１クラスタイプとは異なる第２クラスタイプに対応する場合、分類装置は、第１クラス予測モデルと異なる第２クラス予測モデルがオブジェクトに対して出力したクラス予測値に基づいてオブジェクトのクラスを決定してもよい。第２クラス予測モデルは、第２クラスタイプを専用に分類する分類モデルであってもよい。クラスタイプは、第１クラスタイプ及び第２クラスタイプ以外にさらに追加的に存在し、それによりクラス予測モデルもさらに存在し得る。
【0050】
図３を参照すると、動作２４０に分類装置は、予測一貫性値に基づいてオブジェクトに対応するクラスタイプを多数派クラス及び少数派クラスのいずれか１つに分類することができる。分類装置は、予測一貫性値及び閾値に基づいてオブジェクトに対応するクラスタイプを多数派クラス又は少数派クラスとして決定し得る。予測一貫性値が閾値よりも大きいことに応答して、分類装置は、オブジェクトに対応するクラスタイプを多数派クラスとして決定してもよい。予測一貫性値が閾値よりも大きくない（又は、閾値以下）ことに応答して、分類装置はオブジェクトに対応するクラスタイプを少数派クラスとして決定してもよい。
【0051】
動作３１０において、分類装置は、オブジェクトに対応するクラスタイプが多数派クラスに対応するか否かを決定する。オブジェクトのクラスタイプが多数派クラスに対応する場合（動作３１０において「はい」の場合）、動作３２０において、分類装置は、多数派クラス予測モデルを用いてオブジェクトのクラスを決定する。分類装置は、多数派クラス予測モデルがオブジェクトに対して出力したクラス予測値に基づいてオブジェクトのクラスを決定することができる。分類装置は、分類モデルのアンサンブルモデルを多数派クラス予測モデルとして利用したり、又は、分類モデルから選択されたターゲット分類モデルを多数派クラス予測モデルとして用いてオブジェクトのクラスを決定してもよい。分類装置は、例えば、分類モデルの学習過程で多数派クラスに対して最も優れた分類性能を示した分類モデル、又は、学習初期に導き出された分類モデル（例えば、学習回数が少ない分類モデル）をターゲット分類モデルとして選択してもよい。分類装置は、多数派クラス予測モデルが出力したクラス予測値に基づいてオブジェクトの最終クラスを決定できる。
【0052】
オブジェクトのクラスタイプが少数派クラスに対応する場合（動作３１０で「いいえ」の場合）、動作３３０において、分類装置は、少数派クラス予測モデルを用いてオブジェクトのクラスを決定する。分類装置は、少数派クラス予測モデルがオブジェクトに対して出力したクラス予測値に基づいてオブジェクトのクラスを決定し得る。分類装置は、学習後期に導き出された分類モデル（例えば、学習回数が多い分類モデル）のアンサンブルモデルを少数派クラス予測モデルとして利用したり、又は、分類モデルから選択されたターゲット分類モデルを少数派クラス予測モデルとして用いてオブジェクトのクラスを決定することができる。分類装置は、例えば、分類モデルの学習過程で少数派クラスに対して最も優れた分類性能を示した分類モデルをターゲット分類モデルとして選択してもよい。分類装置は、少数派クラス予測モデルが出力したクラス予測値に基づいてオブジェクトの最終クラスを決定することができる。
【0053】
図４は、一実施形態に係るイメージオブジェクトを分類する分類装置の動作を説明するための図である。
【0054】
図４を参照すると、分類装置１００は、予測一貫性値決定器１２０、クラス分類器１３０、多数派クラス予測器１４０、及び少数派クラス予測器１５０を含む。
【0055】
予測一貫性値決定器１２０は、互いに異なる学習回数で学習された複数の分類モデル１２２，１２４，１２６及び予測一貫性値算出器１２８を含む。予測一貫性値決定器１２０は、分類モデル１２２，１２４，１２６を用いて入力イメージ１１０内のオブジェクトに対するクラス予測値を取得する。予測一貫性値決定器１２０は、学習過程でエポックごとに生成された分類モデル１２２，１２４，１２６を格納している。分類モデル１２２，１２４，１２６の個数は２つ以上であってもよく、その数には制限がない。
【0056】
一実施形態において、第１分類モデル１２２は、学習されていない初期分類モデルが全体学習データセットに対して１回学習が行われた分類モデルであってもよく、第２分類モデル１２４は、初期分類モデルが全体学習データセットに対して２回学習が実行された分類モデルであってもよい。第ｎ分類モデル１２６は、全体学習データセットに対してｎ回学習が実行された分類モデルとして、学習が最終完了した分類モデルに対応する。第１分類モデル１２２、第２分類モデル１２４、．．．、及び第ｎ分類モデル１２６は、エポック（ｅｐｏｃｈ）ごとに学習された分類モデルであってもよい。第１分類モデル１２２、第２分類モデル１２４、．．．、及び第ｎ分類モデル１２６のそれぞれは、入力イメージ１１０を入力にしてオブジェクトに対するクラス予測値を出力してもよい。分類モデル１２２，１２４，１２６は、第１分類モデル１２２から最後の第ｎ分類モデル１２６までの全体分類モデルを含むことを指す。
【0057】
予測一貫性値算出器１２８は、分類モデル１２２，１２４，１２６が出力したクラス予測値に基づいて予測一貫性値を決定する。予測一貫性値算出器１２８は、分類モデル１２２，１２４，１２６から取得されたクラス予測値のうち最も頻度数の多いモードクラス予測値を決定する。予測一貫性値算出器１２８は、クラス予測値とモードクラス予測値との間のマッチング頻度をクラス予測値の全体個数で割ることによって予測一貫性値を決定し得る。予測一貫性値算出器１２８は、例えば、次の数式（１）により予測一貫性値を決定することができる。
【0058】
【数1】
【0059】
ここで、ｚは予測一貫性値を示し、ｎはクラス予測値の全体個数を示す。ｆｉ（ｘ）は第ｉ分類モデル（ｉは、１からｎまでの自然数）から出力されたクラス予測値を示し、ｃｍｏｓｔはクラス予測値のうち最も多く予測されたモードクラス予測値を示す。数式（１）によれば、予測一貫性値は、分類モデル１２２，１２４，１２６のそれぞれが出力したクラス予測値がクラス予測値のうち、最も多く示されたモードクラス予測値ｃｍｏｓｔとどれ程多くマッチングされるかを示す値として定義され、０と１との間の値を有してもよい。第ｉ分類モデルのクラス予測値ｆｉ（ｘ）とモードクラス予測値ｃｍｏｓｔが同一であれば（又は、マッチングすれば）１にカウントされ、それぞれ異なると０にカウントされる。全体分類モデルそれぞれのクラス予測値とモードクラス予測値ｃｍｏｓｔと間のマッチングの有無によるカウント値の全体合計をクラス予測値の全体個数ｎで割った値が予測一貫性値ｚである。
【0060】
予測一貫性値決定器１２０は、予測一貫性値と入力イメージ１１０をクラス分類器１３０に伝達する。クラス分類器１３０は、予測一貫性値算出器１２８によって決定された予測一貫性値に基づいてオブジェクトのクラスタイプを分類してもよい。クラス分類器１３０は、予測一貫性値が高いものは多数派クラスに分類し、予測一貫性が低いものは少数派クラスに分類してもよい。クラス分類器１３０は比較器１３２を含んでもよい。比較器１３２は、予測一貫性値とクラスタイプの分類のための基準値を示す閾値を比較する。比較器１３２は、予測一貫性値が閾値よりも大きいか否かを決定する。クラス比較器１３０は、予測一貫性値が閾値よりも大きい場合にはオブジェクトのクラスタイプを多数派クラスとして決定し、予測一貫性値が閾値よりも大きくない場合には、オブジェクトのクラスタイプを少数派クラスとして決定してもよい。
【0061】
オブジェクトのクラスタイプが多数派クラスとして決定された場合、多数派クラス予測器１４０は、多数派クラスに対するクラス予測のためのモデルである多数派クラス予測モデル１４５を用いてオブジェクトのクラスを決定することができる。多数派クラス予測モデル１４５は、例えば、分類モデル１２２，１２４，１２６のアンサンブルモデル（ｅｎｓｅｍｂｌｅ ｍｏｄｅｌ）や分類モデル１２２，１２４，１２６から選択された分類モデルであってもよい。多数派クラス予測モデル１４５がアンサンブルモデルである場合、多数派クラス予測器１４０は、アンサンブルモデルが出力された出力値（例えば、特徴ベクトル）に基づいてオブジェクトのクラスを決定することができる。多数派クラス予測モデル１４５として分類モデル１２２，１２４，１２６のいずれか１つが選択される場合、多数派クラス予測器１４０は、該当選択された分類モデルが出力したクラス予測値（例えば、特徴ベクトル）に基づいてオブジェクトのクラスを決定してもよい。但し、多数派クラス予測モデル１４５の形態がこれに限定されず、多数派クラス予測モデル１４５は様々に変形可能である。
【0062】
オブジェクトのクラスタイプが少数派クラスとして決定された場合、少数派クラス予測器１５０は、少数派クラスに対するクラス予測のためのモデルである少数派クラス予測モデル１５５を用いてオブジェクトのクラスを決定することができる。少数派クラス予測モデル１５５として分類モデル１２２，１２４，１２６のいずれか１つの分類モデルが選択される場合、少数派クラス予測器１５０は、該当選択された分類モデルが出力したクラス予測値（例えば、特徴ベクトル）に基づいてオブジェクトのクラスを決定してもよい。分類モデル１２２，１２４，１２６のうち、例えば、学習過程で少数派クラスに対して最も優れた分類性能を示した分類モデルが少数派クラス予測モデル１５５として選択されてもよい。但し、少数派クラス予測モデル１５５の形態はこれに限定されず、少数派クラス予測モデル１５５は様々に変形可能である。
【0063】
上記のように、分類装置１００は、オブジェクトのクラスタイプを多数派クラスと学習し難い少数派クラスとを区別し、各クラスタイプに最適化したクラス予測モデルを用いてオブジェクトのクラス分類を行うことで、クラス分類の正確度を向上させることができる。
【0064】
図５は、一実施形態に係る多数派クラス予測器の様々な変形例を説明するための図である。
【0065】
図５を参照すると、多数派クラス予測器１４０及び多数派クラス予測モデル１４５は、様々な形態に変形されてもよい。例えば、入力イメージのオブジェクトに対してクラス予測値を出力する全体分類モデル１２２，１２４，１２６のアンサンブルモデル５１０、全体分類モデル１２２，１２４，１２６のうち一部の分類モデル（例えば、第１分類モデル１２２、第２分類モデル１２４、第ｋ分類モデル１２５）のアンサンブルモデル５２０、又は、全体分類モデル１２２，１２４，１２６のうち特定のいずれか１つの分類モデル（例えば、第ｍ分類モデル）５３０が多数派クラス予測モデル１４５として用いられてもよい。アンサンブルモデル５１０は、様々な環境で安定的な性能を提供することができる。アンサンブルモデル５２０は、例えば、学習回数が少ない分類モデル（例えば、エポック回数が５回以下である分類モデル）のアンサンブルモデルであってもよい。分類モデル５３０は、学習回数が少ない分類モデル（例えば、エポック回数が５回以下である分類モデルのいずれか１つの分類モデル）、又は、学習過程で多数派クラスに対して最も優れた分類性能を示した分類モデルに対応する。
【0066】
一実施形態において、多数派クラス予測器１４０は、全体分類モデル１２２，１２４，１２６のうち特定の分類モデルを多数派クラス予測モデル１４５として選択する分類モデル選択器５４５を含む多数派クラス予測器５４０に変形されてもよい。分類モデル選択器５４５は、全体分類モデル１２２，１２４，１２６のうちオブジェクトのクラスタイプに対して、最も優れた分類性能を提供する分類モデルを多数派クラス予測モデル１４５として選択することができる。
【0067】
図６は、一実施形態に係る少数派クラス予測器の様々な変形例を説明するための図である。
【0068】
図６を参照すると、少数派クラス予測器１５０及び少数派クラス予測モデル１５５は、様々な形態に変形されてもよい。例えば、入力イメージのオブジェクトに対してクラス予測値を出力する全体分類モデル１２２，１２４，１２６のうち一部の分類モデル（例えば、第ｈ分類モデル６１２、第ｉ分類モデル６１４、第ｊ分類モデル６１６）のアンサンブルモデル６１０又は全体分類モデル１２２，１２４，１２６のうち特定のいずれか１つの分類モデル（例えば、第ｄ分類モデル）６２０が少数派クラス予測モデル１５５として用いられてもよい。アンサンブルモデル６１０は、例えば、学習回数が多い分類モデルのアンサンブルモデルであってもよい。アンサンブルモデル６１０は、様々な環境で安定的な性能を提供することができる。分類モデル６２０は、学習過程で少数派クラスに対して最も優れた分類性能を示した分類モデルに対応する。
【0069】
一実施形態において、少数派クラス予測器１５０は、全体分類モデル１２２，１２４，１２６のうち特定の分類モデルを少数派クラス予測モデル１５５として選択する分類モデル選択器６３５を含む少数派クラス予測器６３０に変形されてもよい。分類モデル選択器６３５は、全体分類モデル１２２，１２４，１２６のうちオブジェクトのクラスタイプに対して最も優れた分類性能を提供する分類モデルを少数派クラス予測モデル１５５として選択することができる。
【0070】
図７は、他の実施形態に係るイメージオブジェクトを分類する分類装置の動作を説明するための図である。
【0071】
図７を参照すると、分類装置７００は、予測一貫性値決定器１２０、クラス分類器７１０、及び多数派クラス予測器７２０，７３０，７４０を含む。予測一貫性値決定器１２０、クラス分類器７１０及び多数派クラス予測器７２０，７３０，７４０のそれぞれは、予測一貫性値決定器１２０、クラス分類器７１０のそれぞれの１つ以上の動作を構成している命令を格納する１つ以上のメモリ及びプロセッサを用いて実行されてもよい。予測一貫性値決定器１２０、クラス分類器７１０及び多数派クラス予測器７２０，７３０，７４０それぞれの動作は、メモリに格納された命令がプロセッサによって実行されるものに実現されてもよい。
【0072】
予測一貫性値決定器１２０は、分類モデル１２２，１２４，１２６と予測一貫性値算出器１２８を含む。予測一貫性値算出器１２８は、分類モデル１２２，１２４，１２６が入力イメージ１１０に対して出力したクラス予測値に基づいて予測一貫性値を算出することができる。予測一貫性値決定器１２０の動作に対して前述した説明がそのまま適用することができ、重複する内容は省略する。
【0073】
クラス分類器７１０は、予測一貫性値に基づいてオブジェクトのクラスタイプを分類することができる。クラス分類器７１０は、オブジェクトのクラスタイプを区分するために予測一貫性値と閾値とを比較する比較器７１２を含んでいる。クラス分類器７１０は、比較器７１２の比較結果に基づいてオブジェクトのクラスタイプを様々なクラスタイプのいずれか１つに分類してもよい。例えば、クラス分類器７１０は、予測一貫性値が第１閾値（例えば、０．７２５）よりも大きい場合、オブジェクトのクラスタイプを第１クラスタイプ（例えば、多数派クラス）に分類してもよい。クラス分類器７１０は、予測一貫性値が第２閾値（例えば、０．５）よりも小さい場合、オブジェクトのクラスタイプを第３クラスタイプ（例えば、背景クラス又はノーマルクラス（ｎｏｒｍａｌ ｃｌａｓｓ））に分類してもよい。第２閾値は、第１閾値よりも小さい値であってもよい。クラス分類器７１０は、予測一貫性値が第２閾値と第１閾値との間である場合、オブジェクトのクラスタイプを第２クラスタイプ（例えば、中間クラス又はバランスクラス）として分類してもよい。クラス分類器７１０が分類できるクラスタイプの個数には制限がなく、クラス分類器７１０は、オブジェクトのクラスタイプをｎ（ｎは、３以上の自然数）個までのクラスタイプのいずれか１つに分類してもよい。
【0074】
オブジェクトのクラスタイプが第１クラスタイプとして決定された場合、第１クラス予測器７２０は、第１クラス予測モデル７２５を用いてオブジェクトのクラスを決定することができる。第１クラス予測モデル７２５として、例えば、分類モデル１２２，１２４，１２６のうち学習過程で第１クラスタイプに対して最も優れた分類性能を有する分類モデルが用いられる。
【0075】
オブジェクトのクラスタイプが第２クラスタイプとして決定された場合、第２クラス予測器７３０は、第２クラス予測モデル７３５を用いてオブジェクトのクラスを決定することができる。第２クラス予測モデル７３５として、例えば、分類モデル１２２，１２４，１２６のアンサンブルモデルが利用されてもよい。
【0076】
オブジェクトのクラスタイプが第ｎクラスタイプとして決定された場合、第ｎクラス予測器７４０は、第ｎクラス予測モデル７４５を用いてオブジェクトのクラスを決定することができる。第ｎクラス予測モデル７４５として、例えば、分類モデル１２２，１２４，１２６のうち学習過程で第ｎクラスタイプに対して最も優れた分類性能を有する分類モデルが利用されてもよい
。
。
【0077】
図８は、一実施形態に係る予測一貫性値に基づいて分類モデルを学習させることを説明するための図である。
【0078】
図８を参照すると、学習装置８００は、予測一貫性値決定器８２０、学習データ区別器８３０及び学習実行器８４０を含む。
【0079】
予測一貫性値決定器８２０は、与えられた学習データ８１０に対して予測一貫性値を決定することができる。学習データ８１０は、例えば、オブジェクトが示されたイメージであってもよい。予測一貫性値決定器８２０は、複数の分類モデル８２２，８２４，８２６及び予測一貫性値算出器８２８を含む。分類モデル８２２，８２４，８２６は、互いに異なる学習回数又は互いに異なる回数のエポックで学習されたモデルであってもよい。予測一貫性値算出器８２８は、学習データ８１０に対して分類モデル８２２，８２４，８２６が出力したクラス予測値に基づいて予測一貫性値を算出することができる。
【0080】
学習データ区別器８３０は、予測一貫性値に基づいて学習データ８１０のオブジェクトに対応するクラスタイプを決定することができる。一実施形態において、学習データ区別器８３０は、予測一貫性値と閾値とを比較し、比較結果に応じてオブジェクトのクラスタイプを多数派クラス又は少数派クラスに分類する。予測一貫性値が閾値よりも大きい場合はオブジェクトのクラスタイプが多数派クラスに分類され、予測一貫性値が閾値よりも大きくない場合は、オブジェクトのクラスが少数派クラスに分類されてもよい。
【0081】
学習実行器８４０は、オブジェクトのクラスタイプに基づいて多数派クラス予測モデル８５２及び少数派クラス予測モデル８５４を学習させることができる。学習データ区別器８３０によってオブジェクトのクラスタイプが多数派クラスであるものと分類された場合、学習実行器８４０は、学習データ８１０に基づいて多数派クラス予測モデル８５２を学習させ得る。学習過程は、多数派クラス予測モデル８５２が学習データ８１０に対して出力したクラス予測値と学習データ８１０に定義されたクラス値との差を損失として定義し、当該損失が減少するように多数派クラス予測モデル８５２のパラメータ（例えば、連結加重値、バイアス）を調整する過程を含んでもよい
【0082】
オブジェクトのクラスタイプが少数派クラスであると分類された場合、学習実行器８４０は、学習データ８１０に基づいて少数派クラス予測モデル８５４を学習させることができる。学習過程は、少数派クラス予測モデル８５４が学習データ８１０に対して出力したクラス予測値と学習データ８１０に定義されたクラス値との間の差を損失として定義し、該当損失が減少するように少数派クラス予測モデル８５４のパラメータ（例えば、接続加重値、バイアス）を調整する過程を含んでもよい。
【0083】
学習装置８００は、複数の学習データに対して上記のような過程を繰り返し行って多数派クラス予測モデル８５２及び少数派クラス予測モデル８５４のパラメータを最適化することができる。一実施形態において、学習が完了した多数派クラス予測モデル８５２は、図４に示す多数派クラス予測モデル１４５として利用され、学習が完了した少数派クラス予測モデル８５４は、図４に示す少数派クラス予測モデル１５５として利用されてもよい。
【0084】
図９は、他の実施形態に係る予測一貫性値に基づいて分類モデルを学習させることを説明するための図である。
【0085】
図９を参照すると、学習装置９００は、予測一貫性値決定器８２０、学習データ区別器９１０及び学習実行器９２０を含む。予測一貫性値決定器８２０、学習データ区別器９１０、及び学習実行器９２０のそれぞれは、予測一貫性値決定器８２０、学習データ区別器９１０のそれぞれの１つ以上の動作を構成する命令語を格納するメモリ及び１つ以上のプロセッサを用いて実行されてもよい。予測一貫性値決定器８２０、学習データ区別器９１０及び学習実行器９２０それぞれは、予測一貫性値決定器８２０、学習データ区別器９１０のそれぞれの１つ以上の動作は、メモリに格納された命令がプロセッサによって実行されるものとして実現されてもよい。学習装置９００は、予測一貫性値決定器８２０によって決定された予測一貫性値に基づいて能動的学習（ａｃｔｉｖｅ ｌｅａｒｎｉｎｇ）を行ってもよい。学習装置９００は、予測一貫性値に基づいて学習に使用する学習データを選別し学習を行うことができる。
【0086】
予測一貫性値決定器８２０は、与えられた学習データ８１０に対して予測一貫性値を決定することができる。これについては、図８を参照した説明がそのまま適用され、重複する説明は省略する。
【0087】
学習データ区別器９１０は、予測一貫性値に基づいて学習データ８１０が分類し難いサンプルであるか否かを区別する。例えば、学習データ区別器９１０は、学習データ８１０に対する予測一貫性値が閾値よりも大きくなければ、学習データ８１０を難しいサンプルであると分類してもよい。予測一貫性値が閾値よりも大きい場合、学習データ８１０は分類モデル９２５の学習に利用されない。
【0088】
学習実行器９２０は、学習データ区別器９１０の学習データ８１０に対する分類結果に基づいて分類モデル９２５を学習させることができる。学習実行器９２０は、学習データ区別器９１０によって難しいサンプルであると分類された学習データのみを用いて分類モデル９２５を学習させることができる。学習過程は、分類モデル９２５が学習データ８１０に対して出力したクラス予測値と学習データ８１０に定義されたクラス値との間の差を損失として定義し、該当損失が減少するように分類モデル９２５のパラメータ（例えば、接続加重値、バイアス）を調整する過程を含んでもよい。このように、クラス分類の難しい学習データが選別されて学習され、学習の実行結果、分類モデル９２５は、クラス分類の難しいオブジェクトに強靭な分類性能を有することになる。
【0089】
図１０は、一実施形態に係る半導体製造工程でイメージオブジェクト分類を介してウェハーの不良を鑑別する実施形態を説明するための図である。
【0090】
本明細書で説明された実施形態は、半導体製造工程でイメージオブジェクト分類を介してウェハーの不良を鑑別することに適用されてもよい。半導体製造工程においてウェハーには不良（例えば、スクラッチ、浮遊物、ピンホール、欠損、過剰なエッチング、消失など）が発生することがあり、不良が発生したウェハーを検出するためにウェハーの表面を撮影したウェハーイメージ１０１２，１０１４，１０１６が分類装置１０００に入力されてもよい。例えば、正常状態のウェハーイメージ１０１２、不良１０１５が示されているウェハーイメージ１０１４及び不良１０１７が示されているウェハーイメージ１０１６が分類装置１０００に入力されてもよい。
【0091】
分類装置１０００は、予測一貫性値決定器１０２０、クラス分類器１０３０及び多数派クラス予測器１０４２、１０４４、…、１０４６を含んでいる。クラス予測器の個数は２つ以上であってもよい。予測一貫性値決定器１０２０、クラス分類器１０３０、及び多数派クラス予測器１０４２、１０４４、…、１０４６のそれぞれは、予測一貫性値決定器１０２０、クラス分類器１０３０のそれぞれの１つ以上の動作を構成する命令を格納するメモリ及び１つ以上のプロセッサを用いて実行されてもよい。予測一貫性値決定器１０２０、クラス分類器１０３０、及び多数派クラス予測器１０４２、１０４４、…、１０４６それぞれの動作は、メモリに格納された命令がプロセッサにより実行されるものとして実現されることができる。
【0092】
ウェハーイメージ１０１２が分類装置１０００に入力される場合、ウェハーイメージ１０１２は、予測一貫性値決定器１０２０に含まれた互いに異なる学習回数で学習された分類モデルに入力され、分類モデルはウェハーイメージ１０１２に対するクラス予測値を出力することができる。予測一貫性値決定器１０２０はクラス予測値に基づいて予測一貫性値を決定し、クラス分類器１０３０は、予測一貫性値に基づいてウェハーイメージ１０１２に示されているウェハーの状態に対するクラスタイプを決定してもよい。ウェハーイメージ１０１２のクラスタイプが正常状態であると決定された場合、第１クラス予測器１０４２は、第１クラス予測モデルを用いてウェハーイメージ１０１２の最終クラスを決定することができる。
【0093】
ウェハーイメージ１０１４が分類装置１０００に入力される場合、ウェハーイメージ１０１４は、予測一貫性値決定器１０２０に含まれた互いに異なる学習回数で学習された分類モデルに入力され、分類モデルは、ウェハーイメージ１０１４に対するクラス予測値を出力することができる。予測一貫性値決定器１０２０はクラス予測値に基づいて予測一貫性値を決定し、クラス分類器１０３０は、予測一貫性値に基づいてウェハーイメージ１０１４に示されたウェハーの状態に対するクラスタイプを決定してもよい。ウェハーイメージ１０１４のクラスタイプが第１不良状態であると決定された場合、第２クラス予測器１０４４は、第１不良状態に対して最も優れた分類性能を有する第２クラス予測モデルを用いて、ウェハーイメージ１０１４の最終クラスを決定することができる。
【0094】
分類装置１０００にウェハーイメージ１０１４が入力されると、ウェハーイメージ１０１４は、予測一貫性値決定器１０２０に含まれた互いに異なる学習回数によって学習された分類モデルに入力され、分類モデルはウェハーイメージ１０１４に応答してクラス予測値を出力することができる。予測一貫性値決定器１０２０は、クラス予測値に基づいて予測一貫性値を決定し、クラス分類器１０３０は、ウェハーの状態に対応するクラスタイプを決定してもよい。ウェハーイメージ１０１４のクラスタイプが第１欠陥状態に該当すると判断されると、第２クラス予測器１０４４は、第１欠陥状態に対する分類性能に最も優れた第２クラス予測モデルを用いてウェハーイメージ１０１４の最終クラスを決定することができる。
【0095】
ウェハーイメージ１０１６が分類装置１０００に入力される場合、ウェハーイメージ１０１６は、予測一貫性値決定器１０２０に含まれた互いに異なる学習回数で学習された分類モデルに入力され、分類モデルはウェハーイメージ１０１６に対するクラス予測値を出力できる。予測一貫性値決定器１０２０はクラス予測値に基づいて予測一貫性値を決定し、クラス分類器１０３０は、予測一貫性値に基づいてウェハーイメージ１０１６に示されたウェハーの状態に対するクラスタイプを決定してもよい。ウェハーイメージ１０１６のクラスタイプが第２不良状態であると決定された場合、第３クラス予測器は、第２不良状態に対して最も優れた分類性能を有する第３クラス予測モデルを用いて、ウェハーイメージ１０１６の最終クラスを決定することができる。不良状態に対するクラスタイプは数個存在し得る。
【0096】
分類装置１０００は、ウェハーイメージ１０１２に対しては正常なものとして決定し、ウェハーイメージ１０１４及びウェハーイメージ１０１６に対しては不良が含まれていると決定してもよい。分類装置１０００は、ウェハーイメージに基づいて不良が含まれているウェハーが探知されると、探知事実を外部に伝達することができる。
【0097】
図１１は、一実施形態に係るイメージのオブジェクトを分類する分類装置の構成を示すブロック図である。
【0098】
図１１を参照すると、分類装置１１００は、入力イメージのオブジェクトを分類してオブジェクトのクラスを決定する装置である。分類装置１１００は、図１に示す分類装置１００、図７に示す分類装置７００、及び図１０の分類装置１０００に対応する。分類装置１１００は、プロセッサ１１１０、メモリ１１２０、通信モジュール１１３０、入力モジュール１１４０、出力モジュール１１５０、及びイメージングセンサ１１６０を含む。分類装置１１００の各構成要素は通信バス１１７０を介して通信してもよい。一実施形態において、分類装置１１００にはこれらの構成要素の一部（例えば、入力モジュール１１４０、出力モジュール１１５０）が省略されたり、他の構成要素（例えば、イメージ取得モジュール）が追加されてもよい。本明細書において、「分類装置」とは「電子装置」に称されてもよい。
【0099】
プロセッサ１１１０は、分類装置１１００の他の構成要素（例えば、ハードウェア又はソフトウェア構成要素）を制御し、様々なデータ処理又は演算を行うことができる。一実施形態によれば、データ処理又は演算の少なくとも一部として、プロセッサ１１１０は、他の構成要素（例えば、通信モジュール１１３０）から受信された命令又はデータをメモリ１１２０に格納し、メモリ１１２０に格納された命令又はデータを処理し、結果データをメモリ１１２０に格納することができる。
【0100】
一実施形態において、プロセッサ１１１０は、メインプロセッサ（例えば、中央処理装置又はアプリケーションプロセッサ）又はこれとは独立的又は共に運営可能な補助プロセッサ（例えば、グラフィック処理装置、神経網処理装置（ＮＰＵ）、イメージ信号処理部、センサハブプロセッサ、又は、コミュニケーションプロセッサ）を含んでもよい。
【0101】
メモリ１１２０は、分類装置１１００の構成要素（例えば、プロセッサ１１１０又は通信モジュール１１３０）によって用いられる様々なデータを格納する。データは、例えば、プログラム（例えば、アプリケーション）、これに関する命令に対する入力データ又は出力データ、及び分類モデルに対するデータを含んでもよい。メモリ１１２０は、プロセッサ１１１０によって実行可能な命令を格納してもよい。メモリ１１２０は、揮発性メモリ又は不揮発性メモリを含んでもよい。
【0102】
通信モジュール１１３０は、分類装置１１００と他の装置間の直接（例えば、有線）通信チャネル又は無線通信チャンネルの樹立、及び樹立された通信チャンネルを通じた通信実行を支援することができる。通信モジュール１１３０は、通信機能を実行するための通信回路を含んでもよい。通信モジュール１１３０は、プロセッサ１１１０から独立的に運営され、直接（例えば、有線）通信又は無線通信をサポートするコミュニケーションプロセッサを含んでもよい。通信モジュール１１３０は、無線通信を行う無線通信モジュール（例えば、Ｂｌｕｅｔｏｏｔｈ通信モジュール、セルラー通信モジュール、Ｗｉ－Ｆｉ通信モジュール、又はＧＮＳＳ通信モジュール）又は有線通信モジュール（例えば、ＬＡＮ通信モジュール、又は電力線通信モジュール）を含んでもよい。
【0103】
入力モジュール１１４０は、分類装置１１００の構成要素（例えば、プロセッサ１１１０）に使用される命令語又はデータを分類装置１１００の外部（例えば、ユーザ）から受信してもよい。入力モジュール１１４０は入力構成要素回路を含んでもよく、ユーザ入力を受信してもよい。入力モジュール１１４０は、例えば、キー（例えば、ボタン）及び／又はスクリーン上のタッチを認識するためのタッチ認識回路を含んでもよい。
【0104】
出力モジュール１１５０は、分類装置１１００の外部に視覚的、聴覚的、又は触覚的フィードバックを提供する。出力モジュール１１５０は、例えば、ＬＣＤディスプレイ、ＯＬＥＤディスプレイ、ホログラム装置、及びプロジェクター装置のようなディスプレイモジュール及び音響信号を分類装置１１００の外部に出力する音響出力モジュールを含んでもよい。ディスプレイモジュールは、ディスプレイ駆動を制御するための制御回路をさらに含んでもよい。音響出力モジュールは、オブジェクトのクラス分類結果による音響信号、ガイド音声又は通知音を再生するスピーカを含んでもよい。
【0105】
イメージングセンサ１１６０、例えば、非制限的な例として電荷結合素子（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ、ＣＣＤ）又はＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ）はイメージをキャプチャーしてもよい。イメージは、例えば、ウェハーイメージ（例えば、上記で説明したウェハーイメージ１０１２，１０１４，１０１６）であってもよい。
【0106】
メモリ１１２０に格納された命令がプロセッサ１１１０により実行されるとき、プロセッサ１１１０は、入力イメージ又はイメージングセンサ１１６０によってキャプチャーされたイメージ内のオブジェクトに対するクラス分類を行ってもよい。プロセッサ１１１０は入力イメージを受信し、入力イメージが入力された分類モデルから入力イメージ内のオブジェクトに対するクラス予測値を取得する。プロセッサ１１１０は、クラス予測値に基づいて予測一貫性値を決定してもよい。プロセッサ１１１０は、分類モデルから取得されたクラス予測値のうち最も頻度数の多いモードクラス予測値を決定し、クラス予測値とモードクラス予測値との間のマッチング頻度に基づいて予測一貫性値を決定してもよい。プロセッサ１１１０は、予測一貫性値に基づいてオブジェクトに対応するクラスタイプを決定してもよい。例えば、プロセッサ１１１０は、予測一貫性値と閾値を比較し、その比較結果に応じてオブジェクトに対応するクラスタイプを決定することができる。予測一貫性値が閾値よりも大きいことに応答して、プロセッサ１１１０は、オブジェクトに対応するクラスタイプを多数派クラスとして決定することができる。予測一貫性値が閾値よりも大きくないことに応答して、プロセッサ１１１０は、オブジェクトに対応するクラスタイプを少数派クラスとして決定してもよい。オブジェクトのクラスタイプが多数派クラスに対応する場合、プロセッサ１１１０は、多数派クラス予測モデルがオブジェクトに対して出力したクラス予測値に基づいてオブジェクトのクラスを決定してもよい。例えば、プロセッサ１１１０は、分類モデルのアンサンブルモデルを多数派クラス予測モデルとして用いてオブジェクトのクラスを決定してもよい。オブジェクトのクラスタイプが少数派クラスに対応する場合、プロセッサ１１１０は、少数派クラス予測モデルがオブジェクトに対して出力したクラス予測値に基づいてオブジェクトのクラスを決定してもよい。プロセッサ１１１０は、分類モデルから選択されたターゲット分類モデルを少数派クラス予測モデルとして用いてオブジェクトのクラスを決定してもよい。例えば、分類モデルの学習過程で少数派クラスに対して最も優れた分類性能を示した分類モデルがターゲット分類モデルに選択されてもよい。
【0107】
以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
【0108】
ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。
【0109】
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。
【0110】
上記で説明したハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【0111】
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順に実行され、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法とは異なる形態に結合又は組み合わせられてもよく、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
【0112】
したがって、他の具現、他の実施形態および特許請求の範囲と均等なものも後述する特許請求範囲の範囲に属する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】