ホーム > 特許ランキング > 富士フイルム株式会社
特許7551231特徴量選択方法、特徴量選択プログラム、及び特徴量選択装置、マルチクラス分類方法、マルチクラス分類プログラム、及びマルチクラス分類装置、並びに記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-06
(45)【発行日】2024-09-17
(54)【発明の名称】特徴量選択方法、特徴量選択プログラム、及び特徴量選択装置、マルチクラス分類方法、マルチクラス分類プログラム、及びマルチクラス分類装置、並びに記録媒体
(51)【国際特許分類】
G06N 20/00 20190101AFI20240909BHJP
【ＦＩ】
G06N20/00 130
【請求項の数】
21
(21)【出願番号】P 2022551944
(86)(22)【出願日】2021-09-17
(86)【国際出願番号】 JP2021034251
(87)【国際公開番号】W WO2022065216
(87)【国際公開日】2022-03-31
【審査請求日】2023-05-15
(31)【優先権主張番号】P 2020158669
(32)【優先日】2020-09-23
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100140992
【弁理士】
【氏名又は名称】松浦 憲政
(74)【代理人】
【識別番号】100170069
【弁理士】
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【弁理士】
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100153822
【弁理士】
【氏名又は名称】増田 重之
(74)【代理人】
【識別番号】100083116
【弁理士】
【氏名又は名称】松浦 憲三
(72)【発明者】
【氏名】長瀬 雅也
【審査官】千葉 久博
(56)【参考文献】
【文献】特開２０１７－１４６７４５（ＪＰ，Ａ）
【文献】特開２０１１－１８１０１６（ＪＰ，Ａ）
【文献】国際公開第２０２０／０１２５２３（ＷＯ，Ａ１）
【文献】国際公開第２０１８／２３５５６８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
(57)【特許請求の範囲】
【請求項1】
サンプルが２個以上のＮ個のクラスのいずれに属するかを判定するために用いる特徴量群を選択する特徴量選択方法であって、対象となる与クラスに属する既知サンプル群と、前記既知サンプル群の特徴量群と、により構成される学習データセットを入力する入力工程と、
前記学習データセットに基づいて，属するクラスが未知である未知サンプルについてのクラス判定に必要な特徴量群を前記特徴量群から選択する選択工程と、
を有し、
前記選択工程は、
前記Ｎ個のクラスのうち２個を組み合わせるペアワイズ・カップリングにより、前記選択した特徴量群の各特徴量による前記２個のクラス間の判別可能性を、前記学習データセットによって定量化する定量化工程と、
前記定量化した前記判別可能性を前記ペアワイズ・カップリングの全てについて集計し、前記集計の結果を最適化する特徴量群の組み合わせを選択する最適化工程と、
前記Ｎ個のクラスから１個以上のベースクラスをあらかじめ別枠で指定するベースクラス指定工程と、
前記Ｎ個のクラスのうち前記ベースクラスを含まない第１のクラス及び第２のクラスについてのペアワイズ・カップリングについて、前記定量化工程で定量化した前記判別可能性のある特徴量について、さらに前記第１のクラスと前記ベースクラスとのペアワイズの判別可能性と、前記第２のクラスと前記ベースクラスとのペアワイズの判別可能性と、を集計する集計工程と、
を有し、
前記最適化工程では、前記集計工程で集計した結果のバランス度を評価して前記特徴量群の組合せを選択する特徴量選択方法。
【請求項2】
サンプルが２個以上のＮ個のクラスのいずれに属するかを判定するために用いる特徴量群を選択する特徴量選択方法であって、対象となる与クラスに属する既知サンプル群と、前記既知サンプル群の特徴量群と、により構成される学習データセットを入力する入力工程と、
前記学習データセットに基づいて，属するクラスが未知である未知サンプルについてのクラス判定に必要な特徴量群を前記特徴量群から選択する選択工程と、
を有し、
前記選択工程は、
前記Ｎ個のクラスのうち２個を組み合わせるペアワイズ・カップリングにより、前記選択した特徴量群の各特徴量による前記２個のクラス間の判別可能性を、前記学習データセットによって定量化する定量化工程と、
前記定量化した前記判別可能性を前記ペアワイズ・カップリングの全てについて集計し、前記集計の結果を最適化する特徴量群の組み合わせを選択する最適化工程と、
前記Ｎ個のクラスから２個以上のベースクラスをあらかじめ別枠で指定するベースクラス指定工程と、
前記特徴量群の選択対象を、前記指定した全てのベースクラス同士の判別可能性がない特徴量に限定する限定工程と、
を有する特徴量選択方法。
【請求項3】
前記与クラスのうち一部を，互いに判別の必要がない第１の判別不要クラス群としてマークする第１のマーキング工程と、展開するペアワイズ・カップリングから、前記マークされた前記第１の判別不要クラス群同士の前記ペアワイズ・カップリングを除外する第１の除外工程と、
をさらに有し、
前記Ｎ個のクラスに属するクラスであって、前記ベースクラスとの判別の必要がないクラス群として指定されたクラスを、バランス選択の対象外とする請求項１または２に記載の特徴量選択方法。
【請求項4】
コンピュータに、サンプルが２個以上のＮ個のクラスのいずれに属するかを判定するために用いる特徴量群を選択する特徴量選択方法を実行させる特徴量選択プログラムであって、前記特徴量選択方法は、
対象となる与クラスに属する既知サンプル群と、前記既知サンプル群の特徴量群と、により構成される学習データセットを入力する入力工程と、
前記学習データセットに基づいて，属するクラスが未知である未知サンプルについてのクラス判定に必要な特徴量群を前記特徴量群から選択する選択工程と、
を有し、
前記選択工程は、
前記Ｎ個のクラスのうち２個を組み合わせるペアワイズ・カップリングにより、前記選択した特徴量群の各特徴量による前記２個のクラス間の判別可能性を、前記学習データセットによって定量化する定量化工程と、
前記定量化した前記判別可能性を前記ペアワイズ・カップリングの全てについて集計し、前記集計の結果を最適化する特徴量群の組み合わせを選択する最適化工程と、
前記Ｎ個のクラスから１個以上のベースクラスをあらかじめ別枠で指定するベースクラス指定工程と、
前記Ｎ個のクラスのうち前記ベースクラスを含まない第１のクラス及び第２のクラスについてのペアワイズ・カップリングについて、前記定量化工程で定量化した前記判別可能性のある特徴量について、さらに前記第１のクラスと前記ベースクラスとのペアワイズの判別可能性と、前記第２のクラスと前記ベースクラスとのペアワイズの判別可能性と、を集計する集計工程と、
を有し、
前記最適化工程では、前記集計工程で集計した結果のバランス度を評価して前記特徴量群の組合せを選択する特徴量選択プログラム。
【請求項5】
コンピュータに、サンプルが２個以上のＮ個のクラスのいずれに属するかを判定するために用いる特徴量群を選択する特徴量選択方法を実行させる特徴量選択プログラムであって、前記特徴量選択方法は、
対象となる与クラスに属する既知サンプル群と、前記既知サンプル群の特徴量群と、により構成される学習データセットを入力する入力工程と、
前記学習データセットに基づいて，属するクラスが未知である未知サンプルについてのクラス判定に必要な特徴量群を前記特徴量群から選択する選択工程と、
を有し、
前記選択工程は、
前記Ｎ個のクラスのうち２個を組み合わせるペアワイズ・カップリングにより、前記選択した特徴量群の各特徴量による前記２個のクラス間の判別可能性を、前記学習データセットによって定量化する定量化工程と、
前記定量化した前記判別可能性を前記ペアワイズ・カップリングの全てについて集計し、前記集計の結果を最適化する特徴量群の組み合わせを選択する最適化工程と、
前記Ｎ個のクラスから２個以上のベースクラスをあらかじめ別枠で指定するベースクラス指定工程と、
前記特徴量群の選択対象を、前記指定した全てのベースクラス同士の判別可能性がない特徴量に限定する限定工程と、
を有する特徴量選択プログラム。
【請求項6】
サンプルが２個以上のＮ個のクラスのいずれに属するかを判定するために用いる特徴量群を選択する特徴量選択装置であって、プロセッサを備え、
前記プロセッサは、
対象となる与クラスに属する既知サンプル群と、前記既知サンプル群の特徴量群と、により構成される学習データセットを入力する入力処理と、
前記学習データセットに基づいて，属するクラスが未知である未知サンプルについてのクラス判定に必要な特徴量群を前記特徴量群から選択する選択処理と、
を実行し、
前記選択処理は、
前記Ｎ個のクラスのうち２個を組み合わせるペアワイズ・カップリングにより、前記選択した特徴量群の各特徴量による前記２個のクラス間の判別可能性を、前記学習データセットによって定量化する定量化処理と、
前記定量化した前記判別可能性を前記ペアワイズ・カップリングの全てについて集計し、前記集計の結果を最適化する特徴量群の組み合わせを選択する最適化処理と、
前記Ｎ個のクラスから１個以上のベースクラスをあらかじめ別枠で指定するベースクラス指定処理と、
前記Ｎ個のクラスのうち前記ベースクラスを含まない第１のクラス及び第２のクラスについてのペアワイズ・カップリングについて、前記定量化処理で定量化した前記判別可能性のある特徴量について、さらに前記第１のクラスと前記ベースクラスとのペアワイズの判別可能性と、前記第２のクラスと前記ベースクラスとのペアワイズの判別可能性と、を集計する集計処理と、
を有し、
前記最適化処理では、前記プロセッサは前記集計処理で集計した結果のバランス度を評価して前記特徴量群の組合せを選択する特徴量選択装置。
【請求項7】
サンプルが２個以上のＮ個のクラスのいずれに属するかを判定するために用いる特徴量群を選択する特徴量選択装置であって、プロセッサを備え、
前記プロセッサは、
対象となる与クラスに属する既知サンプル群と、前記既知サンプル群の特徴量群と、により構成される学習データセットを入力する入力処理と、
前記学習データセットに基づいて，属するクラスが未知である未知サンプルについてのクラス判定に必要な特徴量群を前記特徴量群から選択する選択処理と、
を実行し、
前記選択処理は、
前記Ｎ個のクラスのうち２個を組み合わせるペアワイズ・カップリングにより、前記選択した特徴量群の各特徴量による前記２個のクラス間の判別可能性を、前記学習データセットによって定量化する定量化処理と、
前記定量化した前記判別可能性を前記ペアワイズ・カップリングの全てについて集計し、前記集計の結果を最適化する特徴量群の組み合わせを選択する最適化処理と、
前記Ｎ個のクラスから２個以上のベースクラスをあらかじめ別枠で指定するベースクラス指定処理と、
前記特徴量群の選択対象を、前記指定した全てのベースクラス同士の判別可能性がない特徴量に限定する限定処理と、
を有する特徴量選択装置。
【請求項8】
Ｎが２以上の整数である場合に、サンプルを、前記サンプルの特徴量から、Ｎ個のクラスのいずれに属するかを判定するマルチクラス分類方法であって、請求項１または２に記載の特徴量選択方法を用いて選択される特徴量群に基づいて、前記選択された特徴量群の特徴量値を取得する取得工程と、
前記取得した特徴量値に基づいてマルチクラス分類を行うマルチクラス分類工程であって、特徴量群の選択においてマークしたペアワイズ・カップリングに紐付いたバイナリクラス分類器を用いたバイナリクラス分類工程を含むマルチクラス分類工程と、
を有し、
前記マルチクラス分類工程は、さらに
前記Ｎ個のクラスから、１個以上のベースクラスをあらかじめ別枠で指定するベースクラス指定工程と、
前記ベースクラスと前記ベースクラス以外の任意のクラスである第１のクラスとの前記バイナリクラス分類工程において、与サンプルの特徴量が前記第１のクラスに近い場合に、前記マルチクラス分類の判別結果が前記第１のクラスになる事例が多くなるように特徴量の重み付けを行う第１評価工程と、
を含むマルチクラス分類方法。
【請求項9】
Ｎが２以上の整数である場合に、サンプルを、前記サンプルの特徴量から、Ｎ個のクラスのいずれに属するかを判定するマルチクラス分類方法であって、特徴量選択方法を用いて選択される特徴量群に基づいて、前記選択された特徴量群の特徴量値を取得する取得工程と、
前記取得した特徴量値に基づいてマルチクラス分類を行うマルチクラス分類工程であって、特徴量群の選択においてマークしたペアワイズ・カップリングに紐付いたバイナリクラス分類器を用いたバイナリクラス分類工程を含むマルチクラス分類工程と、
を有し、
前記マルチクラス分類工程は、さらに
前記Ｎ個のクラスから、１個以上のベースクラスをあらかじめ別枠で指定するベースクラス指定工程と、
前記ベースクラスと前記ベースクラス以外の任意のクラスである第１のクラスとの前記バイナリクラス分類工程において、与サンプルの特徴量が前記第１のクラスに近い場合に、前記マルチクラス分類の判別結果が前記第１のクラスになる事例が多くなるように特徴量の重み付けを行う第１評価工程と、
を含み、
前記特徴量選択方法は、
対象となる与クラスに属する既知サンプル群と、前記既知サンプル群の特徴量群と、により構成される学習データセットを入力する入力工程と、
前記学習データセットに基づいて，属するクラスが未知である未知サンプルについてのクラス判定に必要な特徴量群を前記特徴量群から選択する選択工程と、
を有し、
前記選択工程は、
前記Ｎ個のクラスのうち２個を組み合わせるペアワイズ・カップリングにより、前記選択した特徴量群の各特徴量による前記２個のクラス間の判別可能性を、前記学習データセットによって定量化する定量化工程と、
前記定量化した前記判別可能性を前記ペアワイズ・カップリングの全てについて集計し、前記集計の結果を最適化する特徴量群の組み合わせを選択する最適化工程と、
を有するマルチクラス分類方法。
【請求項10】
与クラスの一部を、互いに判別の必要がない判別不要クラス群とマークするマーキング工程と、展開するペアワイズ・カップリングから、前記マークされた前記判別不要クラス群同士のペアワイズ・カップリングを除外する除外工程と、
をさらに有し、
前記Ｎ個のクラスに属するクラスであって、前記ベースクラスとの判別の必要がないクラス群として指定されたクラスを、前記ベースクラスとして前記マルチクラス分類工程を行う請求項８または９に記載のマルチクラス分類方法。
【請求項11】
前記Ｎ個のクラスに属する任意の第２のクラス及び第３のクラスについてのペアワイズ・カップリングにおいて判別可能性のある特徴量について、さらに前記第２のクラスと前記ベースクラスとのペアワイズの判別可能性と、前記第３のクラスと前記ベースクラスとのペアワイズの判別可能性と、を参照する参照工程と、前記参照の結果、前記第２のクラスについて、前記第２のクラスと前記ベースクラスとのペアワイズの判別可能性があり、かつ特徴量の値が前記第２のクラスに近い場合、前記バイナリクラス分類工程の判別結果が前記第２のクラスになる事例が多くなるように重み付けを行う第２評価工程と、
前記参照の結果、前記第３のクラスについて、前記第３のクラスと前記ベースクラスとのペアワイズの判別可能性があり、かつ特徴量の値が前記第３のクラスに近い場合、前記バイナリクラス分類工程の判別結果が前記第３のクラスになる事例が多くなるように重み付けを行う第３評価工程と、
をさらに有する請求項８から１０のいずれか１項に記載のマルチクラス分類方法。
【請求項12】
サンプルの誤分類確率の目標値を設定する目標値設定工程と、本来は前記ベースクラスに属するサンプルが、前記重み付けによって、前記ベースクラス以外の任意の別のクラスに誤分類される確率である第１の誤分類確率を評価する第１の確率評価工程と、
本来は前記別のクラスに属するサンプルが、前記ベースクラスに誤分類される確率である第２の誤分類確率を評価する第２の確率評価工程と、
前記第１の誤分類確率及び前記第２の誤分類確率が前記目標値に収まるように、または前記第１の誤分類確率及び前記第２の誤分類確率の前記目標値からの逸脱量が小さくなるように、前記重み付けを調整する重み付け調整工程と、
により前記バイナリクラス分類器からマルチクラス分類器を構成する構成工程をさらに有し、
前記マルチクラス分類工程では前記構成したマルチクラス分類器を用いて前記マルチクラス分類を行う請求項１１に記載のマルチクラス分類方法。
【請求項13】
サンプルの誤分類確率の目標値と、前記ベースクラスではない任意の第１のクラスと前記ベースクラスとのペアワイズ・カップリングに対して判別可能性のある特徴量の個数と、特徴量の信頼性と、想定される特徴量の欠損率と、のうち一部または全部である誤分類評価パラメータを設定する評価パラメータ設定工程と、前記重み付けを、前記誤分類評価パラメータによって計算される重み付け範囲内に設定する重み付け設定工程と、
により前記バイナリクラス分類器からマルチクラス分類器を構成する構成工程をさらに有し、
前記マルチクラス分類工程では前記構成したマルチクラス分類器を用いて前記マルチクラス分類を行う請求項１２に記載のマルチクラス分類方法。
【請求項14】
前記重み付け設定工程では、前記誤分類評価パラメータの一部または全部を任意の第１学習データセットから学習することで前記重み付けを設定する請求項１３に記載のマルチクラス分類方法。
【請求項15】
前記重み付け設定工程では、任意の第２学習データセットに基づいて、マルチクラス分類の性能が高くなるように前記重み付けを設定する請求項１１から１４のいずれか１項に記載のマルチクラス分類方法。
【請求項16】
前記重み付けの量ではマルチクラス分類の性能が性能目標に収まらない場合にユーザに警告を発する第１警告工程、または前記重み付けを行わなくても前記性能目標が達成可能と予測される場合にユーザに警告を発する第２警告工程をさらに含む請求項１１から１５のいずれか１項に記載のマルチクラス分類方法。
【請求項17】
コンピュータに、Ｎが２以上の整数である場合に、サンプルを、前記サンプルの特徴量から、Ｎ個のクラスのいずれに属するかを判定するマルチクラス分類方法を実行させるマルチクラス分類プログラムであって、前記マルチクラス分類方法は、
請求項１または２に記載の特徴量選択方法を用いて選択される特徴量群に基づいて、前記選択された特徴量群の特徴量値を取得する取得工程と、
前記取得した特徴量値に基づいてマルチクラス分類を行うマルチクラス分類工程であって、特徴量群の選択においてマークしたペアワイズ・カップリングに紐付いたバイナリクラス分類器を用いたバイナリクラス分類工程を含むマルチクラス分類工程と、
を有し、
前記マルチクラス分類工程は、さらに
前記Ｎ個のクラスから、１個以上のベースクラスをあらかじめ別枠で指定するベースクラス指定工程と、
前記ベースクラスと前記ベースクラス以外の任意のクラスである第１のクラスとの前記バイナリクラス分類工程において、与サンプルの特徴量が前記第１のクラスに近い場合に、前記マルチクラス分類の判別結果が前記第１のクラスになる事例が多くなるように特徴量の重み付けを行う第１評価工程と、
を含むマルチクラス分類プログラム。
【請求項18】
コンピュータに、Ｎが２以上の整数である場合に、サンプルを、前記サンプルの特徴量から、Ｎ個のクラスのいずれに属するかを判定するマルチクラス分類方法を実行させるマルチクラス分類プログラムであって、前記マルチクラス分類方法は、
特徴量選択方法を用いて選択される特徴量群に基づいて、前記選択された特徴量群の特徴量値を取得する取得工程と、
前記取得した特徴量値に基づいてマルチクラス分類を行うマルチクラス分類工程であって、特徴量群の選択においてマークしたペアワイズ・カップリングに紐付いたバイナリクラス分類器を用いたバイナリクラス分類工程を含むマルチクラス分類工程と、
を有し、
前記マルチクラス分類工程は、さらに
前記Ｎ個のクラスから、１個以上のベースクラスをあらかじめ別枠で指定するベースクラス指定工程と、
前記ベースクラスと前記ベースクラス以外の任意のクラスである第１のクラスとの前記バイナリクラス分類工程において、与サンプルの特徴量が前記第１のクラスに近い場合に、前記マルチクラス分類の判別結果が前記第１のクラスになる事例が多くなるように特徴量の重み付けを行う第１評価工程と、
を含み、
前記特徴量選択方法は、
対象となる与クラスに属する既知サンプル群と、前記既知サンプル群の特徴量群と、により構成される学習データセットを入力する入力工程と、
前記学習データセットに基づいて，属するクラスが未知である未知サンプルについてのクラス判定に必要な特徴量群を前記特徴量群から選択する選択工程と、
を有し、
前記選択工程は、
前記Ｎ個のクラスのうち２個を組み合わせるペアワイズ・カップリングにより、前記選択した特徴量群の各特徴量による前記２個のクラス間の判別可能性を、前記学習データセットによって定量化する定量化工程と、
前記定量化した前記判別可能性を前記ペアワイズ・カップリングの全てについて集計し、前記集計の結果を最適化する特徴量群の組み合わせを選択する最適化工程と、
を有するマルチクラス分類プログラム。
【請求項19】
Ｎが２以上の整数である場合に、サンプルを、前記サンプルの特徴量から、Ｎ個のクラスのいずれに属するかを判定するマルチクラス分類装置であって、プロセッサを備え、
前記プロセッサは、
請求項１または２に記載の特徴量選択方法を用いて選択される特徴量群に基づいて、前記選択された特徴量群の特徴量値を取得する取得処理と、
前記取得した特徴量値に基づいてマルチクラス分類を行うマルチクラス分類処理であって、特徴量群の選択においてマークしたペアワイズ・カップリングに紐付いたバイナリクラス分類器を用いたバイナリクラス分類処理を含むマルチクラス分類処理と、
を実行し、
前記マルチクラス分類処理は、さらに
前記Ｎ個のクラスから、１個以上のベースクラスをあらかじめ別枠で指定するベースクラス指定処理と、
前記ベースクラスと前記ベースクラス以外の任意のクラスである第１のクラスとの前記バイナリクラス分類処理において、与サンプルの特徴量が前記第１のクラスに近い場合に、前記マルチクラス分類の判別結果が前記第１のクラスになる事例が多くなるように特徴量の重み付けを行う第１評価処理と、
を含むマルチクラス分類装置。
【請求項20】
Ｎが２以上の整数である場合に、サンプルを、前記サンプルの特徴量から、Ｎ個のクラスのいずれに属するかを判定するマルチクラス分類装置であって、プロセッサを備え、
前記プロセッサは、
特徴量選択装置を用いて選択される特徴量群に基づいて、前記選択された特徴量群の特徴量値を取得する取得処理と、
前記取得した特徴量値に基づいてマルチクラス分類を行うマルチクラス分類処理であって、特徴量群の選択においてマークしたペアワイズ・カップリングに紐付いたバイナリクラス分類器を用いたバイナリクラス分類処理を含むマルチクラス分類処理と、
を実行し、
前記マルチクラス分類処理は、さらに
前記Ｎ個のクラスから、１個以上のベースクラスをあらかじめ別枠で指定するベースクラス指定処理と、
前記ベースクラスと前記ベースクラス以外の任意のクラスである第１のクラスとの前記バイナリクラス分類処理において、与サンプルの特徴量が前記第１のクラスに近い場合に、前記マルチクラス分類の判別結果が前記第１のクラスになる事例が多くなるように特徴量の重み付けを行う第１評価処理と、
を含み、
前記特徴量選択装置は、
対象となる与クラスに属する既知サンプル群と、前記既知サンプル群の特徴量群と、により構成される学習データセットを入力する入力処理と、
前記学習データセットに基づいて，属するクラスが未知である未知サンプルについてのクラス判定に必要な特徴量群を前記特徴量群から選択する選択処理と、
を実行し、
前記選択処理は、
前記Ｎ個のクラスのうち２個を組み合わせるペアワイズ・カップリングにより、前記選択した特徴量群の各特徴量による前記２個のクラス間の判別可能性を、前記学習データセットによって定量化する定量化処理と、
前記定量化した前記判別可能性を前記ペアワイズ・カップリングの全てについて集計し、前記集計の結果を最適化する特徴量群の組み合わせを選択する最適化処理と、
を有するマルチクラス分類装置。
【請求項21】
非一時的かつコンピュータ読取可能な記録媒体であって、請求項４、５、１７又は１８に記載のプログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、特徴量を選択し、選択した特徴量の値に基づいてサンプルを複数のクラスのいずれかに分類するマルチクラス分類方法、マルチクラス分類プログラム、及びマルチクラス分類装置、並びにそのようなマルチクラス分類に用いる特徴量選択方法、特徴量選択プログラム、特徴量選択装置、並びに特徴量セットに関する。
【背景技術】
【0002】
昨今、機械学習の産業分野への応用や展開が進展しているが、特徴選択およびマルチクラス分類は、依然として大きな課題である。様々な特徴選択の方法が存在するが、クラスのペアワイズ・カップリングに注目する事例が提案されている（下記「非特許文献１」を参照）。非特許文献１に記載の技術は、具体的には、基本的なクラス分類がクラス数２個の「バイナリクラス分類」であることに注目し、クラスのペアワイズ・カップリングを取って、特徴量の判別能に注目、選択する方法である。
【0003】
また、マルチクラス分類の手法としては、例えば２クラス判別を繰り返すOVO方式（One-Versus-One）が知られている。
【0004】
また、例えばバイオ分野においても、がん等を対象に、特徴選択及びマルチクラス分類の手法が盛んに研究されてきた。概ね、一般的な機械学習手法の応用であり、例えば、t検定や情報ゲイン等による特徴選択の手法、ＳＶＭ（Support Vector Machine）、ランダムフォレスト、ナイーブベイズ等による分類手法が適用されている。このような技術は、例えば特許文献１に記載されている。
【先行技術文献】
【非特許文献】
【0005】
【文献】“Feature selection for multi-class classification using pairwise class discriminatory measure and covering concept”, Hyeon Ji他, ELECTRONICS LETTERS, 16th March 2000, vol.36, No.6, p.524-525
【特許文献】
【0006】
【文献】特表２０１２－５０５４５３号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
非特許文献１に記載の研究は特徴選択のみに留まっていて、後段のマルチクラス分類では既存の方法をそのまま使っている。また、本発明について後述するような、集合被覆問題への拡張は明示されていない。そして、ロバストな特徴量を選択するための特徴量間の独立性の検証等はなされておらず、さらに、基本的なマルチクラス分類のみを想定しており、判別不要クラス等々も導入されていない。そのため、拡張的マルチクラス分類にそのまま適用するのは難しかった。同様に、特許文献１に記載の技術においても、判別に必要な遺伝子群を集合被覆問題として精査することは考慮されていない。
【0008】
また、２クラス判別を繰り返してマルチクラス分類を行う手法のうち、投票法では「上位の順位付けは信用できない」という問題が指摘されている。また、トーナメント階層法では「比較順序の決定が難しい」という問題が指摘されている。
【0009】
バイオ分野での特徴量選択及びマルチクラス分類の場合、報告の多いmRNA発現量ベースの事例では、「扱うクラス数が10程度に達すると精度が落ちる」という課題があった。例えば、変異情報に基づいてマルチクラスがん分類器を開発した報告の一つでは、F値0.70を超えて判別できたがんは5種という結果であった。DNAメチル化に基づく特徴選択及びマルチクラス分類も研究されてきた。しかし、適用クラスが少数の小規模なサンプルサイズのトライアルに留まっていた。
【0010】
昨今は、深層学習を応用した研究も見られるが、そもそも、オミクスデータの劣決定性によって学習が巧く進まず（パラメータ数に対してサンプルサイズが小さい；メチル化サイトが数十万箇所存在するのに対して、入手可能な腫瘍レコードはオープンデータでも１万個未満）、仮に成功しても、例えば診断用途等では、判別の理由を明確化できないために受け入れられにくいという課題がある。
【0011】
このように、従来の技術は、複数の特徴量を有するサンプルを、選択した一部の特徴量の値に基づいて、複数のクラスのいずれかにロバストかつ高精度に分類できるものではなかった。
【0012】
本発明はこのような事情に鑑みてなされたもので、複数の特徴量を有するサンプルを、選択した一部の特徴量の値に基づいて、複数のクラスのいずれかにロバストかつ高精度に分類することができるマルチクラス分類方法、マルチクラス分類プログラム、及びマルチクラス分類装置を提供することを目的とする。また、本発明は、そのようなマルチクラス分類に用いる特徴量選択方法、特徴量選択プログラム、及び特徴量選択装置、並びに特徴量セットを提供することを目的とする。
【課題を解決するための手段】
【0013】
本発明の第１の態様に係る特徴量選択方法は、サンプルが２個以上のＮ個のクラスのいずれに属するかを判定するために用いる特徴量群を選択する特徴量選択方法であって、対象となる与クラスに属する既知サンプル群と、既知サンプル群の特徴量群と、により構成される学習データセットを入力する入力工程と、学習データセットに基づいて、属するクラスが未知である未知サンプルについてのクラス判定に必要な特徴量群を特徴量群から選択する選択工程と、を有し、選択工程は、Ｎ個のクラスのうち２個を組み合わせるペアワイズ・カップリングにより、選択した特徴量群の各特徴量による２個のクラス間の判別可能性を、学習データセットによって定量化する定量化工程と、定量化した判別可能性をペアワイズ・カップリングの全てについて集計し、集計の結果を最適化する特徴量群の組み合わせを選択する最適化工程と、Ｎ個のクラスから１個以上のベースクラスをあらかじめ別枠で指定するベースクラス指定工程と、Ｎ個のクラスのうちベースクラスを含まない第１のクラス及び第２のクラスについてのペアワイズ・カップリングについて、定量化工程で定量化した判別可能性のある特徴量について、さらに第１のクラスとベースクラスとのペアワイズの判別可能性と、第２のクラスとベースクラスとのペアワイズの判別可能性と、を集計する集計工程と、を有し、最適化工程では、集計工程で集計した結果のバランス度を評価して特徴量群の組合せを選択する。
【0014】
なお、本発明において、ベースクラス試料にターゲットクラス試料が混在したものを与サンプルとして提供された場合、与サンプルへのターゲットクラスの混在を検出することを以て「与サンプルがターゲットクラスに属すると判定（分類）する」と言う。また、混在が検出されなかったことを以て、「与サンプルがベースクラスに属すると判定（分類）する」と言う。
【0015】
本発明の第２の態様に係る特徴量選択方法は、サンプルが２個以上のＮ個のクラスのいずれに属するかを判定するために用いる特徴量群を選択する特徴量選択方法であって、対象となる与クラスに属する既知サンプル群と、既知サンプル群の特徴量群と、により構成される学習データセットを入力する入力工程と、学習データセットに基づいて、属するクラスが未知である未知サンプルについてのクラス判定に必要な特徴量群を特徴量群から選択する選択工程と、を有し、選択工程は、Ｎ個のクラスのうち２個を組み合わせるペアワイズ・カップリングにより、選択した特徴量群の各特徴量による２個のクラス間の判別可能性を、学習データセットによって定量化する定量化工程と、定量化した判別可能性をペアワイズ・カップリングの全てについて集計し、集計の結果を最適化する特徴量群の組み合わせを選択する最適化工程と、Ｎ個のクラスから２個以上のベースクラスをあらかじめ別枠で指定するベースクラス指定工程と、特徴量群の選択対象を、指定した全てのベースクラス同士の判別可能性がない特徴量に限定する限定工程と、を有する。
【0016】
第３の態様に係る特徴量選択方法は第１または第２の態様において、与クラスのうち一部を、互いに判別の必要がない第１の判別不要クラス群としてマークする第１のマーキング工程と、展開するペアワイズ・カップリングから、マークされた第１の判別不要クラス群同士のペアワイズ・カップリングを除外する第１の除外工程と、をさらに有し、Ｎ個のクラスに属するクラスであって、ベースクラスとの判別の必要がないクラス群として指定されたクラスを、バランス選択の対象外とする。
【0017】
本発明の第４の態様に係る特徴量選択プログラムは、コンピュータに、サンプルが２個以上のＮ個のクラスのいずれに属するかを判定するために用いる特徴量群を選択する特徴量選択方法を実行させる特徴量選択プログラムであって、特徴量選択方法は、対象となる与クラスに属する既知サンプル群と、既知サンプル群の特徴量群と、により構成される学習データセットを入力する入力工程と、学習データセットに基づいて，属するクラスが未知である未知サンプルについてのクラス判定に必要な特徴量群を特徴量群から選択する選択工程と、を有し、選択工程は、Ｎ個のクラスのうち２個を組み合わせるペアワイズ・カップリングにより、選択した特徴量群の各特徴量による２個のクラス間の判別可能性を、学習データセットによって定量化する定量化工程と、定量化した判別可能性をペアワイズ・カップリングの全てについて集計し、集計の結果を最適化する特徴量群の組み合わせを選択する最適化工程と、Ｎ個のクラスから１個以上のベースクラスをあらかじめ別枠で指定するベースクラス指定工程と、Ｎ個のクラスのうちベースクラスを含まない第１のクラス及び第２のクラスについてのペアワイズ・カップリングについて、定量化工程で定量化した判別可能性のある特徴量について、さらに第１のクラスとベースクラスとのペアワイズの判別可能性と、第２のクラスとベースクラスとのペアワイズの判別可能性と、を集計する集計工程と、を有し、最適化工程では、集計工程で集計した結果のバランス度を評価して特徴量群の組合せを選択する。
【0018】
本発明の第５の態様に係る特徴量選択プログラムは、コンピュータに、サンプルが２個以上のＮ個のクラスのいずれに属するかを判定するために用いる特徴量群を選択する特徴量選択方法を実行させる特徴量選択プログラムであって、特徴量選択方法は、対象となる与クラスに属する既知サンプル群と、既知サンプル群の特徴量群と、により構成される学習データセットを入力する入力工程と、学習データセットに基づいて，属するクラスが未知である未知サンプルについてのクラス判定に必要な特徴量群を特徴量群から選択する選択工程と、を有し、選択工程は、Ｎ個のクラスのうち２個を組み合わせるペアワイズ・カップリングにより、選択した特徴量群の各特徴量による２個のクラス間の判別可能性を、学習データセットによって定量化する定量化工程と、定量化した判別可能性をペアワイズ・カップリングの全てについて集計し、集計の結果を最適化する特徴量群の組み合わせを選択する最適化工程と、Ｎ個のクラスから２個以上のベースクラスをあらかじめ別枠で指定するベースクラス指定工程と、特徴量群の選択対象を、指定した全てのベースクラス同士の判別可能性がない特徴量に限定する限定工程と、を有する。
【0019】
本発明の第６の態様に係る特徴量選択装置は、サンプルが２個以上のＮ個のクラスのいずれに属するかを判定するために用いる特徴量群を選択する特徴量選択装置であって、プロセッサを備え、プロセッサは、対象となる与クラスに属する既知サンプル群と、既知サンプル群の特徴量群と、により構成される学習データセットを入力する入力処理と、学習データセットに基づいて，属するクラスが未知である未知サンプルについてのクラス判定に必要な特徴量群を特徴量群から選択する選択処理と、を実行し、選択処理は、Ｎ個のクラスのうち２個を組み合わせるペアワイズ・カップリングにより、選択した特徴量群の各特徴量による２個のクラス間の判別可能性を、学習データセットによって定量化する定量化処理と、定量化した判別可能性をペアワイズ・カップリングの全てについて集計し、集計の結果を最適化する特徴量群の組み合わせを選択する最適化処理と、Ｎ個のクラスから１個以上のベースクラスをあらかじめ別枠で指定するベースクラス指定処理と、Ｎ個のクラスのうちベースクラスを含まない第１のクラス及び第２のクラスについてのペアワイズ・カップリングについて、定量化処理で定量化した判別可能性のある特徴量について、さらに第１のクラスとベースクラスとのペアワイズの判別可能性と、第２のクラスとベースクラスとのペアワイズの判別可能性と、を集計する集計処理と、を有し、最適化処理では、プロセッサは集計処理で集計した結果のバランス度を評価して特徴量群の組合せを選択する。
【0020】
本発明の第７の態様に係る特徴量選択装置は、サンプルが２個以上のＮ個のクラスのいずれに属するかを判定するために用いる特徴量群を選択する特徴量選択装置であって、プロセッサを備え、プロセッサは、対象となる与クラスに属する既知サンプル群と既知サンプル群の特徴量群と、により構成される学習データセットを入力する入力処理と、学習データセットに基づいて，属するクラスが未知である未知サンプルについてのクラス判定に必要な特徴量群を特徴量群から選択する選択処理と、を実行し、選択処理は、Ｎ個のクラスのうち２個を組み合わせるペアワイズ・カップリングにより、選択した特徴量群の各特徴量による２個のクラス間の判別可能性を、学習データセットによって定量化する定量化処理と、定量化した判別可能性をペアワイズ・カップリングの全てについて集計し、集計の結果を最適化する特徴量群の組み合わせを選択する最適化処理と、Ｎ個のクラスから２個以上のベースクラスをあらかじめ別枠で指定するベースクラス指定処理と、特徴量群の選択対象を、指定した全てのベースクラス同士の判別可能性がない特徴量に限定する限定処理と、を有する。
【0021】
本発明の第８の態様に係るマルチクラス分類方法は、Ｎが２以上の整数である場合に、サンプルを、サンプルの特徴量から、Ｎ個のクラスのいずれに属するかを判定するマルチクラス分類方法であって、第１または第２の態様に係る特徴量選択方法を用いて選択される特徴量群に基づいて、選択された特徴量群の特徴量値を取得する取得工程と、取得した特徴量値に基づいてマルチクラス分類を行うマルチクラス分類工程であって、特徴量群の選択においてマークしたペアワイズ・カップリングに紐付いたバイナリクラス分類器を用いたバイナリクラス分類工程を含むマルチクラス分類工程と、を有し、マルチクラス分類工程は、さらにＮ個のクラスから、１個以上のベースクラスをあらかじめ別枠で指定するベースクラス指定工程と、ベースクラスとベースクラス以外の任意のクラスである第１のクラスとのバイナリクラス分類工程において、与サンプルの特徴量が第１のクラスに近い場合に、マルチクラス分類の判別結果が第１のクラスになる事例が多くなるように特徴量の重み付けを行う第１評価工程と、を含む。
【0022】
本発明の第９の態様に係るマルチクラス分類方法は、Ｎが２以上の整数である場合に、サンプルを、サンプルの特徴量から、Ｎ個のクラスのいずれに属するかを判定するマルチクラス分類方法であって、特徴量選択方法を用いて選択される特徴量群に基づいて、選択された特徴量群の特徴量値を取得する取得工程と、取得した特徴量値に基づいてマルチクラス分類を行うマルチクラス分類工程であって、特徴量群の選択においてマークしたペアワイズ・カップリングに紐付いたバイナリクラス分類器を用いたバイナリクラス分類工程を含むマルチクラス分類工程と、を有し、マルチクラス分類工程は、さらにＮ個のクラスから、１個以上のベースクラスをあらかじめ別枠で指定するベースクラス指定工程と、ベースクラスとベースクラス以外の任意のクラスである第１のクラスとのバイナリクラス分類工程において、与サンプルの特徴量が第１のクラスに近い場合に、マルチクラス分類の判別結果が第１のクラスになる事例が多くなるように特徴量の重み付けを行う第１評価工程と、を含み、特徴量選択方法は、対象となる与クラスに属する既知サンプル群と、既知サンプル群の特徴量群と、により構成される学習データセットを入力する入力工程と、学習データセットに基づいて、属するクラスが未知である未知サンプルについてのクラス判定に必要な特徴量群を特徴量群から選択する選択工程と、を有し、選択工程は、Ｎ個のクラスのうち２個を組み合わせるペアワイズ・カップリングにより、選択した特徴量群の各特徴量による２個のクラス間の判別可能性を、学習データセットによって定量化する定量化工程と、定量化した判別可能性をペアワイズ・カップリングの全てについて集計し、集計の結果を最適化する特徴量群の組み合わせを選択する最適化工程と、を有する。
【0023】
なお、第８及び第９の態様において、特徴量の重み付けの手法として、例えば後述する第１１～第１６の態様を用いることができる。
【0024】
図１は、本発明が扱う、特徴量選択を伴うマルチクラス分類問題の模式図である。特徴選択（STEP1）とは、サンプルが備える多数の特徴量のうち、後段の各処理（本発明では特にマルチクラス分類）のために必要な特徴量を、予め文字通り取捨選択する方法（第１から第３の態様のいずれか１つに係る特徴量選択方法）である。すなわち、予め一定のデータセット（いわゆる学習データセット）において、多数の特徴量を取得しておいて、その情報に基づき、後段の各処理に必要な特徴量（特徴量セット）を選別する。そして、実際に（未知の）サンプルが与えられたとき、予め選択しておいた少数の特徴量（特徴量セット）のみを参照し、マルチクラス分類する。なお、このとき、学習データセットのみで選択した特徴量によって未知サンプルを分類するので、当然、特徴量はロバストであることが望ましい。
【0025】
特徴選択は、特にサンプルの特徴量を参照（取得、保存等含む）するのにコスト（時間、費用等含む）を要する場合に有用である。したがって例えば、学習データの特徴量を参照する手段と、未知サンプルの特徴量を参照する手段は異なってもよく、少数の特徴量を選択した上で、それに適した特徴量取得手段を開発、準備しても構わない。
【0026】
一方、マルチクラス分類（STEP2）とは、与えられた未知サンプルが複数クラスのいずれかに属するかを決定する判別問題であり、機械学習では一般的な問題である。ただし、現実のマルチクラス分類の多くは、単純にＮ個のクラスの１つを選ぶ問題とは限らない。例えば、実際には複数クラスが存在していても、その判別自体が不要な場合がある。逆に例えば、ある１クラスとラベル付けされているサンプルセットの中に、様相の異なる複数のサンプル群が混在している場合もある。このような複雑な拡張的マルチクラス分類に耐える方法であることが望ましい。
【0027】
最も単純な特徴選択の方法として、候補となる多数の特徴量からの少数特徴量の全選び方を学習データセットで評価するというものも考えられるが、学習データセットに対して過学習になる危険性があること、候補数が膨大で評価し切れないことから、何らかの枠組みが必須となる。
【0028】
本発明の１つの態様（特徴選択を伴うマルチクラス分類）をバイオ分野に適用した例を示す。がんや体組織には、それぞれ固有のDNAメチル化パターンが存在する。また、ヒトの血液中には、体組織から遊離したDNA（Cell Free DNA: cfDNA）が混入しており、特に、がん由来のcfDNAも検出されている。そこで、cfDNAのメチル化パターンを解析すれば、がん有無の判定、さらに、がんが存在する場合は原発巣の特定が可能になる。すなわち、採血による早期がんスクリーニング検査、適切な精密検査への誘導が実現する。
【0029】
そのため、DNAメチル化パターンから、「がんであるか、非がんであるか」及び由来組織を判別する問題は極めて重要である。これは、がんを血液や正常組織から判別するマルチクラス分類問題として定義できる。しかし、ヒトの臓器が多種（例えば主要がん8種、正常組織20種以上）に及ぶこと、がんにはサブタイプが存在していて同じ臓器のがんでも相互に様相の異なるものがあることから、難しい分類問題といえる。
【0030】
その上、スクリーニング検査に供する想定から、計測コストを抑制したいので、メチル化サイトを網羅的に計測する高価なアレイをそのまま利用することはできない。したがって、数十万箇所以上のDNAメチル化サイトから、判別に必要な少数サイトを事前に絞り込まなければならない、すなわち、前段に特徴選択が必要である。
【0031】
そこで、膨大なDNAメチル化サイトから少数を絞り込み、その少数サイトに基づき、がんを正常組織から判別して由来組織まで特定できるような、特徴選択及びマルチクラス分類の手法を構築する技術（本発明で提案する方法）が有用である。なお、DNAメチル化サイト例えば３０万箇所から、例えば３００箇所を選択する場合の数は、１０の1,000乗を超えるので、網羅的な探索方法は使えないことがわかる。
【0032】
そこで本願発明者は、ロバストな判別に資するスイッチのように機能するDNAメチル化サイトを列挙し、かつ、必要なクラスのペアワイズ判別を十分に被覆するような組み合わせ探索に基づく特徴選択手法を提案する。さらに、選択サイトのうちロバストな判別部位のみを用いて、シンプルなバイナリクラス分類器から、トーナメント階層法と併せてマルチクラス分類器を構成する手法を提案する。
【0033】
これにより、現実問題の様々な特性を織り込んだ特徴選択を伴うマルチクラス分類に対応できる。実際、例えば上述したがん診断についての例に見られるような、がんと正常とを合わせて１０クラスを大きく超えるようなマルチクラス分類に適用可能である。本願発明者の提案する特徴量選択及びマルチクラス分類の手法は産業上、極めて有用である。
【0034】
なお、本説明は具体的事例の１つであり、本発明の第８、第９の態様はバイオ分野のみに適用可能であるわけではない。実際、一般的な機械学習技術の多くがバイオ分野にも適用可能であったように、バイオ分野で開発された技術が一般的な機械学習問題に適用されても差し障りはない。
【0035】
第１０の態様に係るマルチクラス分類方法は第８または第９の態様において、与クラスの一部を、互いに判別の必要がない判別不要クラス群とマークするマーキング工程と、展開するペアワイズ・カップリングから、マークされた判別不要クラス群同士のペアワイズ・カップリングを除外する除外工程と、をさらに有し、Ｎ個のクラスに属するクラスであって、ベースクラスとの判別の必要がないクラス群として指定されたクラスを、ベースクラスとしてマルチクラス分類工程を行う。
【0036】
第１１の態様に係るマルチクラス分類方法は第８から第１０の態様のいずれか１つにおいて、Ｎ個のクラスに属する任意の第２のクラス及び第３のクラスについてのペアワイズ・カップリングにおいて判別可能性のある特徴量について、さらに第２のクラスとベースクラスとのペアワイズの判別可能性と、第３のクラスとベースクラスとのペアワイズの判別可能性と、を参照する参照工程と、参照の結果、第２のクラスについて、第２のクラスとベースクラスとのペアワイズの判別可能性があり、かつ特徴量の値が第２のクラスに近い場合、バイナリクラス分類工程の判別結果が第２のクラスになる事例が多くなるように重み付けを行う第２評価工程と、参照の結果、第３のクラスについて、第３のクラスとベースクラスとのペアワイズの判別可能性があり、かつ特徴量の値が第３のクラスに近い場合、バイナリクラス分類工程の判別結果が第３のクラスになる事例が多くなるように重み付けを行う第３評価工程と、をさらに有する。
【0037】
第１２の態様に係るマルチクラス分類方法は第１１の態様において、サンプルの誤分類確率の目標値を設定する目標値設定工程と、本来はベースクラスに属するサンプルが、重み付けによって、ベースクラス以外の任意の別のクラスに誤分類される確率である第１の誤分類確率を評価する第１の確率評価工程と、本来は別のクラスに属するサンプルが、ベースクラスに誤分類される確率である第２の誤分類確率を評価する第２の確率評価工程と、第１の誤分類確率及び第２の誤分類確率が目標値に収まるように、または第１の誤分類確率及び第２の誤分類確率の目標値からの逸脱量が小さくなるように、重み付けを調整する重み付け調整工程と、によりバイナリクラス分類器からマルチクラス分類器を構成する構成工程をさらに有し、マルチクラス分類工程では構成したマルチクラス分類器を用いてマルチクラス分類を行う。なお第８の態様において、第１の誤分類確率と第２の誤分類確率とで目標値が別の値として設定されていてもよいし、クラスごとに目標値が異なっていてもよい。
【0038】
第１３の態様に係るマルチクラス分類方法は第１２の態様において、サンプルの誤分類確率の目標値と、ベースクラスではない任意の第１のクラスとベースクラスとのペアワイズ・カップリングに対して判別可能性のある特徴量の個数と、特徴量の信頼性と、想定される特徴量の欠損率と、のうち一部または全部である誤分類評価パラメータを設定する評価パラメータ設定工程と、重み付けを、誤分類評価パラメータによって計算される重み付け範囲内に設定する重み付け設定工程と、によりバイナリクラス分類器からマルチクラス分類器を構成する構成工程をさらに有し、マルチクラス分類工程では構成したマルチクラス分類器を用いてマルチクラス分類を行う。
【0039】
第１４の態様に係るマルチクラス分類方法は第１３の態様において、重み付け設定工程では、誤分類評価パラメータの一部または全部を任意の第１学習データセットから学習することで重み付けを設定する。第１学習データセットは、特徴量選択に用いた学習データセットと同一であってもよい。
【0040】
第１５の態様に係るマルチクラス分類方法は第１１から第１４の態様のいずれか１つにおいて、重み付け設定工程では、任意の第２学習データセットに基づいて、マルチクラス分類の性能が高くなるように重み付けを設定する。第２学習データセットは、特徴量選択に用いた学習データセットと同一であってもよい。
【0041】
第１６の態様に係るマルチクラス分類方法は第１１から第１５の態様のいずれか１つにおいて、重み付けの量ではマルチクラス分類の性能が性能目標に収まらない場合にユーザに警告を発する第１警告工程、または重み付けを行わなくても性能目標が達成可能と予測される場合にユーザに警告を発する第２警告工程をさらに含む。
【0042】
本発明の第１７の態様に係るマルチクラス分類プログラムは、コンピュータに、Ｎが２以上の整数である場合に、サンプルを、サンプルの特徴量から、Ｎ個のクラスのいずれに属するかを判定するマルチクラス分類方法を実行させるマルチクラス分類プログラムであって、マルチクラス分類方法は、第１または第２の態様に係る特徴量選択方法を用いて選択される特徴量群に基づいて、選択された特徴量群の特徴量値を取得する取得工程と、取得した特徴量値に基づいてマルチクラス分類を行うマルチクラス分類工程であって、特徴量群の選択においてマークしたペアワイズ・カップリングに紐付いたバイナリクラス分類器を用いたバイナリクラス分類工程を含むマルチクラス分類工程と、を有し、マルチクラス分類工程は、さらにＮ個のクラスから、１個以上のベースクラスをあらかじめ別枠で指定するベースクラス指定工程と、ベースクラスとベースクラス以外の任意のクラスである第１のクラスとのバイナリクラス分類工程において、与サンプルの特徴量が第１のクラスに近い場合に、マルチクラス分類の判別結果が第１のクラスになる事例が多くなるように特徴量の重み付けを行う第１評価工程と、を含む。
【0043】
本発明の第１８の態様に係るマルチクラス分類プログラムは、コンピュータに、Ｎが２以上の整数である場合に、サンプルを、サンプルの特徴量から、Ｎ個のクラスのいずれに属するかを判定するマルチクラス分類方法を実行させるマルチクラス分類プログラムであって、マルチクラス分類方法は、特徴量選択方法を用いて選択される特徴量群に基づいて、選択された特徴量群の特徴量値を取得する取得工程と、取得した特徴量値に基づいてマルチクラス分類を行うマルチクラス分類工程であって、特徴量群の選択においてマークしたペアワイズ・カップリングに紐付いたバイナリクラス分類器を用いたバイナリクラス分類工程を含むマルチクラス分類工程と、を有し、マルチクラス分類工程は、さらにＮ個のクラスから、１個以上のベースクラスをあらかじめ別枠で指定するベースクラス指定工程と、ベースクラスとベースクラス以外の任意のクラスである第１のクラスとのバイナリクラス分類工程において、与サンプルの特徴量が第１のクラスに近い場合に、マルチクラス分類の判別結果が第１のクラスになる事例が多くなるように特徴量の重み付けを行う第１評価工程と、を含み、特徴量選択方法は、対象となる与クラスに属する既知サンプル群と、既知サンプル群の特徴量群と、により構成される学習データセットを入力する入力工程と、学習データセットに基づいて，属するクラスが未知である未知サンプルについてのクラス判定に必要な特徴量群を特徴量群から選択する選択工程と、を有し、選択工程は、Ｎ個のクラスのうち２個を組み合わせるペアワイズ・カップリングにより、選択した特徴量群の各特徴量による２個のクラス間の判別可能性を、学習データセットによって定量化する定量化工程と、定量化した判別可能性をペアワイズ・カップリングの全てについて集計し、集計の結果を最適化する特徴量群の組み合わせを選択する最適化工程と、を有する。
【0044】
本発明の第１９の態様に係るマルチクラス分類装置は、Ｎが２以上の整数である場合に、サンプルを、サンプルの特徴量から、Ｎ個のクラスのいずれに属するかを判定するマルチクラス分類装置であって、プロセッサを備え、プロセッサは、第１または第２態様に係る特徴量選択方法を用いて選択される特徴量群に基づいて、選択された特徴量群の特徴量値を取得する取得処理と、取得した特徴量値に基づいてマルチクラス分類を行うマルチクラス分類処理であって、特徴量群の選択においてマークしたペアワイズ・カップリングに紐付いたバイナリクラス分類器を用いたバイナリクラス分類処理を含むマルチクラス分類処理と、を実行し、マルチクラス分類処理は、さらにＮ個のクラスから、１個以上のベースクラスをあらかじめ別枠で指定するベースクラス指定処理と、ベースクラスとベースクラス以外の任意のクラスである第１のクラスとのバイナリクラス分類処理において、与サンプルの特徴量が第１のクラスに近い場合に、マルチクラス分類の判別結果が第１のクラスになる事例が多くなるように特徴量の重み付けを行う第１評価処理と、を含む。
【0045】
本発明の第２０の態様に係るマルチクラス分類装置は、Ｎが２以上の整数である場合に、サンプルを、サンプルの特徴量から、Ｎ個のクラスのいずれに属するかを判定するマルチクラス分類装置であって、プロセッサを備え、プロセッサは、特徴量選択装置を用いて選択される特徴量群に基づいて、選択された特徴量群の特徴量値を取得する取得処理と、取得した特徴量値に基づいてマルチクラス分類を行うマルチクラス分類処理であって、特徴量群の選択においてマークしたペアワイズ・カップリングに紐付いたバイナリクラス分類器を用いたバイナリクラス分類処理を含むマルチクラス分類処理と、を実行し、マルチクラス分類処理は、さらにＮ個のクラスから、１個以上のベースクラスをあらかじめ別枠で指定するベースクラス指定処理と、ベースクラスとベースクラス以外の任意のクラスである第１のクラスとのバイナリクラス分類処理において、与サンプルの特徴量が第１のクラスに近い場合に、マルチクラス分類の判別結果が第１のクラスになる事例が多くなるように特徴量の重み付けを行う第１評価処理と、を含み、特徴量選択装置は、対象となる与クラスに属する既知サンプル群と、既知サンプル群の特徴量群と、により構成される学習データセットを入力する入力処理と、学習データセットに基づいて，属するクラスが未知である未知サンプルについてのクラス判定に必要な特徴量群を特徴量群から選択する選択処理と、を実行し、選択処理は、Ｎ個のクラスのうち２個を組み合わせるペアワイズ・カップリングにより、選択した特徴量群の各特徴量による２個のクラス間の判別可能性を、学習データセットによって定量化する定量化処理と、定量化した判別可能性をペアワイズ・カップリングの全てについて集計し、集計の結果を最適化する特徴量群の組み合わせを選択する最適化処理と、を有する。
【0046】
本発明の第２１の態様に係る特徴量セットは、マルチクラス分類装置が、与サンプルが２個以上のＮ個のクラスのいずれに属するかを判定するために用いる特徴量セットであって、Ｎ個のクラスから、１個以上のベースクラスをあらかじめ別枠で指定されており、対象となる各クラスに属するサンプルの特徴量データセットを備え、Ｎ個のクラスのうち２個を組み合わせるペアワイズ・カップリングにより、選択した特徴量群の各特徴量による２個のクラス間の判別可能性を特徴量データセットを参照して定量化した際に、全ペアワイズ・カップリングにおいて、少なくとも１つの特徴量で判別可能とマークされており、Ｎ個のクラスのうちベースクラスを含まない第１のクラス及び第２のクラスについてのペアワイズ・カップリングについて、定量化した判別可能性のある特徴量について、さらに第１のクラスとベースクラスとのペアワイズの判別可能性と、第２のクラスとベースクラスとのペアワイズの判別可能性と、がバランスされている。
【図面の簡単な説明】
【0047】
【発明を実施するための形態】
【0048】
以下、添付図面を参照しつつ、本発明に係る特徴量選択方法、特徴量選択プログラム、及び特徴量選択装置、マルチクラス分類方法、マルチクラス分類プログラム、及びマルチクラス分類装置、並びに特徴量セットの実施形態について詳細に説明する。
【0049】
＜第１の実施形態＞
＜マルチクラス分類装置の概略構成＞
図２は第１の実施形態に係るマルチクラス分類装置（マルチクラス分類装置、特徴量選択装置）の概略構成を示す図である。図２に示すように、第１の実施形態に係るマルチクラス分類装置１０（特徴量選択装置、マルチクラス分類装置）は、処理部１００（プロセッサ、コンピュータ）と、記憶部２００と、表示部３００と、操作部４００と、を備え、互いに接続されて必要な情報が送受信される。これらの構成要素については各種の設置形態を採用することができ、各構成要素が１箇所（１筐体内、１室内等）に設置されていてもよいし、離れた場所に設置されネットワークを介して接続されていてもよい。また、マルチクラス分類装置１０（入力処理部１０２；図３を参照）は、インターネット等のネットワークＮＷを介して外部サーバ５００及び外部データベース５１０に接続し、必要に応じてマルチクラス分類用のサンプル、学習データセット、特徴量セット等の情報を取得することができる。
＜マルチクラス分類装置の概略構成＞
図２は第１の実施形態に係るマルチクラス分類装置（マルチクラス分類装置、特徴量選択装置）の概略構成を示す図である。図２に示すように、第１の実施形態に係るマルチクラス分類装置１０（特徴量選択装置、マルチクラス分類装置）は、処理部１００（プロセッサ、コンピュータ）と、記憶部２００と、表示部３００と、操作部４００と、を備え、互いに接続されて必要な情報が送受信される。これらの構成要素については各種の設置形態を採用することができ、各構成要素が１箇所（１筐体内、１室内等）に設置されていてもよいし、離れた場所に設置されネットワークを介して接続されていてもよい。また、マルチクラス分類装置１０（入力処理部１０２；図３を参照）は、インターネット等のネットワークＮＷを介して外部サーバ５００及び外部データベース５１０に接続し、必要に応じてマルチクラス分類用のサンプル、学習データセット、特徴量セット等の情報を取得することができる。
【0050】
＜処理部の構成＞
図３に示すように、処理部１００は、入力処理部１０２、選択処理部１０４、判定処理部１１０、ＣＰＵ１１６（ＣＰＵ：Central Processing Unit）、ＲＯＭ１１８（ＲＯＭ：Read Only Memory）、ＲＡＭ１２０（ＲＡＭ：Random Access Memory）を備える。入力処理部１０２は、記憶部２００から、またはネットワーク上の記憶装置から、属するクラスが既知である既知サンプル群と、既知サンプル群の特徴量群と、により構成される学習データセットを入力する入力処理を行うものである。選択処理部１０４は、入力した学習データセットに基づいて、属するクラスが未知である未知サンプルについてのクラス判定に必要な特徴量群を特徴量群から選択する選択処理を行うものであり、定量化処理部１０６と最適化処理部１０８とを備える。判定処理部１１０は、選択した特徴量群に基づいて未知サンプルについてのクラス判定を行う（判定処理）ものであり、取得処理部１１２とクラス判定処理部１１４とを備える。出力処理部１１５は、処理条件や処理結果を表示、記憶、印刷等により出力する。なお、これら各部による処理はＣＰＵ１１６（プロセッサ、コンピュータ）の制御下で行われる。
図３に示すように、処理部１００は、入力処理部１０２、選択処理部１０４、判定処理部１１０、ＣＰＵ１１６（ＣＰＵ：Central Processing Unit）、ＲＯＭ１１８（ＲＯＭ：Read Only Memory）、ＲＡＭ１２０（ＲＡＭ：Random Access Memory）を備える。入力処理部１０２は、記憶部２００から、またはネットワーク上の記憶装置から、属するクラスが既知である既知サンプル群と、既知サンプル群の特徴量群と、により構成される学習データセットを入力する入力処理を行うものである。選択処理部１０４は、入力した学習データセットに基づいて、属するクラスが未知である未知サンプルについてのクラス判定に必要な特徴量群を特徴量群から選択する選択処理を行うものであり、定量化処理部１０６と最適化処理部１０８とを備える。判定処理部１１０は、選択した特徴量群に基づいて未知サンプルについてのクラス判定を行う（判定処理）ものであり、取得処理部１１２とクラス判定処理部１１４とを備える。出力処理部１１５は、処理条件や処理結果を表示、記憶、印刷等により出力する。なお、これら各部による処理はＣＰＵ１１６（プロセッサ、コンピュータ）の制御下で行われる。
【0051】
上述した処理部１００の各部の機能は、各種のプロセッサ（processor）及び記録媒体を用いて実現することができる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。画像の学習や認識を行う場合は、ＧＰＵを用いた構成が効果的である。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの、特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路も、上述した各種のプロセッサに含まれる。
【0052】
各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、コンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上述した機能を実現する電気回路であってもよい。
【0053】
上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのコンピュータ（例えば、処理部１００を構成する各種のプロセッサや電気回路、及び／またはそれらの組み合わせ）で読み取り可能なコードをＲＯＭ１１８等の非一時的記録媒体に記憶しておき、コンピュータがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る特徴量選択方法及び／またはマルチクラス分類方法を実行するためのプログラム（特徴量選択プログラム、マルチクラス分類プログラム）及び実行に際して用いられるデータ（学習データの取得に関するデータ、特徴量選択及びクラス判定に用いられるデータ等）を含む。ＲＯＭ１１８ではなく各種の光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ１２０が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。「非一時的記録媒体」として記憶部２００を用いてもよい。
【0054】
上述した構成の処理部１００による処理の詳細は後述する。
【0055】
＜記憶部の構成＞
記憶部２００はハードディスク、半導体メモリ等の各種記憶デバイス及びその制御部により構成され、上述した学習データセット、選択処理やクラス判定処理の実行条件及びその結果、特徴量セット等を記憶することができる。特徴量セットとは、マルチクラス分類装置１０が、サンプルが２個以上のＮ個（Ｎは２以上の整数）のクラスのいずれに属するかを判定するために用いる特徴量セットであって、対象となる各クラスに属するサンプルの特徴量データセットを備え、Ｎ個のクラスのうち２個を組み合わせるペアワイズ・カップリングにより、選択した特徴量群の各特徴量による２個のクラス間の判別可能性を特徴量データセットを参照して定量化した際に、全ペアワイズ・カップリングにおいて、少なくとも１つの特徴量で判別可能とマークされている特徴量セットである。この特徴量セットは、第１の実施形態に係る特徴量選択方法（特徴量選択装置）における入力工程（入力処理）及び選択工程（選択処理）により生成することができる。
記憶部２００はハードディスク、半導体メモリ等の各種記憶デバイス及びその制御部により構成され、上述した学習データセット、選択処理やクラス判定処理の実行条件及びその結果、特徴量セット等を記憶することができる。特徴量セットとは、マルチクラス分類装置１０が、サンプルが２個以上のＮ個（Ｎは２以上の整数）のクラスのいずれに属するかを判定するために用いる特徴量セットであって、対象となる各クラスに属するサンプルの特徴量データセットを備え、Ｎ個のクラスのうち２個を組み合わせるペアワイズ・カップリングにより、選択した特徴量群の各特徴量による２個のクラス間の判別可能性を特徴量データセットを参照して定量化した際に、全ペアワイズ・カップリングにおいて、少なくとも１つの特徴量で判別可能とマークされている特徴量セットである。この特徴量セットは、第１の実施形態に係る特徴量選択方法（特徴量選択装置）における入力工程（入力処理）及び選択工程（選択処理）により生成することができる。
【0056】
＜表示部の構成＞
表示部３００は液晶ディスプレイ等のディスプレイにより構成されるモニタ３１０（表示装置）を備え、取得した学習データや、選択処理及び／またはクラス判定処理の結果を表示することができる。モニタ３１０をタッチパネル型のディスプレイにより構成し、ユーザの指示入力を受け付けてもよい。
表示部３００は液晶ディスプレイ等のディスプレイにより構成されるモニタ３１０（表示装置）を備え、取得した学習データや、選択処理及び／またはクラス判定処理の結果を表示することができる。モニタ３１０をタッチパネル型のディスプレイにより構成し、ユーザの指示入力を受け付けてもよい。
【0057】
＜操作部の構成＞
操作部４００はキーボード４１０及びマウス４２０を備え、ユーザは、操作部４００を介して本発明に係るマルチクラス分類方法の実行、結果表示等に関する操作を行うことができる。
操作部４００はキーボード４１０及びマウス４２０を備え、ユーザは、操作部４００を介して本発明に係るマルチクラス分類方法の実行、結果表示等に関する操作を行うことができる。
【0058】
＜１．特徴量選択方法及びマルチクラス分類方法の処理＞
図４は、本発明の特徴量選択方法（特徴量選択プログラム）及びマルチクラス分類方法（マルチクラス分類プログラム）の基本的な処理を示すフローチャートである。本発明の特徴量選択方法は、サンプルが２個以上のＮ個のクラスのいずれに属するかを判定するために用いる特徴量群を選択する特徴量選択方法である。また、本発明のマルチクラス分類方法は、Ｎが２以上の整数である場合に、サンプルを、サンプルの特徴量から、Ｎ個のクラスのいずれに属するかを判定するマルチクラス分類方法であり、特徴量選択方法を用いて選択される特徴量群に基づいて、選択された特徴量群の特徴量値を取得する取得工程（ステップＳ１００；取得処理）と、取得した特徴量値に基づいてマルチクラス分類を行うマルチクラス分類工程（マルチクラス分類処理）であって、特徴量群の選択においてマークしたペアワイズ・カップリングに紐付いたバイナリクラス分類器を用いたバイナリクラス分類工程（バイナリクラス分類処理）を含むマルチクラス分類工程（ステップＳ１１０）と、を有する。
図４は、本発明の特徴量選択方法（特徴量選択プログラム）及びマルチクラス分類方法（マルチクラス分類プログラム）の基本的な処理を示すフローチャートである。本発明の特徴量選択方法は、サンプルが２個以上のＮ個のクラスのいずれに属するかを判定するために用いる特徴量群を選択する特徴量選択方法である。また、本発明のマルチクラス分類方法は、Ｎが２以上の整数である場合に、サンプルを、サンプルの特徴量から、Ｎ個のクラスのいずれに属するかを判定するマルチクラス分類方法であり、特徴量選択方法を用いて選択される特徴量群に基づいて、選択された特徴量群の特徴量値を取得する取得工程（ステップＳ１００；取得処理）と、取得した特徴量値に基づいてマルチクラス分類を行うマルチクラス分類工程（マルチクラス分類処理）であって、特徴量群の選択においてマークしたペアワイズ・カップリングに紐付いたバイナリクラス分類器を用いたバイナリクラス分類工程（バイナリクラス分類処理）を含むマルチクラス分類工程（ステップＳ１１０）と、を有する。
【0059】
選択工程は、Ｎ個のクラスのうち２個を組み合わせるペアワイズ・カップリングにより、選択した特徴量群の各特徴量による２個のクラス間の判別可能性を、学習データセットによって定量化する定量化工程（ステップＳ１１２）と、定量化した判別可能性をペアワイズ・カップリングの全てについて集計し、集計の結果を最適化する特徴量群の組み合わせを選択する最適化工程（ステップＳ１１４）と、を有する。また、判定工程では、ペアワイズ・カップリングに紐付けて選択した特徴量群を利用するマルチクラス判別器を構成することで、未知サンプルについてのクラス判定を行う。
【0060】
＜２．本発明の基本方針＞
本発明が特に好適なのは、バイナリ値に近い特性をもつ特徴量を取捨選択する場合であり、そういった特徴量が「スイッチ」のように組み合わせられることにより、クラスを決定付けている場合である。つまり特徴量に線形または非線形に量的に結合するのではない場合だが、これは必ずしもシンプルというわけではなく、スイッチが多数ある場合は十分に複雑な問題となる。したがって、本発明は、「スイッチ的機能を持つ多数の特徴量の組み合わせを探索及び選択し、シンプルな分類器によってマルチクラス分類器を構成する」という方針に基づく。
本発明が特に好適なのは、バイナリ値に近い特性をもつ特徴量を取捨選択する場合であり、そういった特徴量が「スイッチ」のように組み合わせられることにより、クラスを決定付けている場合である。つまり特徴量に線形または非線形に量的に結合するのではない場合だが、これは必ずしもシンプルというわけではなく、スイッチが多数ある場合は十分に複雑な問題となる。したがって、本発明は、「スイッチ的機能を持つ多数の特徴量の組み合わせを探索及び選択し、シンプルな分類器によってマルチクラス分類器を構成する」という方針に基づく。
【0061】
図５は、上述した「スイッチ的機能を持つ特徴量」について説明する図である。図５の（ａ）部分は特徴量Ｘ'及び特徴量Ｙ'に基づいてクラス分類する様子を示しており、複雑かつ非線形な分類となっている。これに対し図５の（ｂ）部分は特徴量Ｘ及び特徴量Ｙに基づいてクラス分類する様子を示しており、単純かつ線形な分類となっている。高精度かつ高ロバストなクラス分類の観点からは、同図の（ｂ）部分のようなスイッチ的機能を持つ特徴量を選択することが好ましい。
【0062】
なお、学習データセットが与えられていて、どのサンプルにも、共通する複数の特徴量（例：メチル化サイト）の値（なお、値として一部に「欠損値」が含まれていてもよい：以降NAと表記）と、１つの正解クラスラベル（例：がんまたは非がん、及び組織分類）とが付与されている（入力処理部１０２による学習データセット入力（入力工程、入力処理：ステップＳ１００）がなされている）ものとする。
【0063】
また、ここでは説明を簡単にするため、上記の前提を置いたが、サンプルの一部に正解クラスラベルが与えられていない場合、いわゆる半教師あり学習を取り込むようにしてもよい。公知の方法との組合せとなるため簡単に代表的な処理例を２つ示す。（１）前処理として、正解クラスラベルを与えられたサンプルとのデータ比較に基づき、正解クラスラベルを与えられていないサンプルに、何らかのクラスラベルを与えるという方法、（２）いったんクラスラベルが与えられたデータで学習した上で、他の未知サンプルの所属クラスを推定し、その確度が高いものを「正解ラベル」とみなし、改めて学習データを増やして学習していくといったサイクルを回す方法、等を併用することができる。
【0064】
＜２．１ 特徴量の選択方法＞
本節では、選択処理部１０４（定量化処理部１０６、最適化処理部１０８）による特徴量の選択（ステップＳ１１０：選択工程）を説明する。最初に、本発明における特徴量選択（選択工程、選択処理）の原理を、単純化した場合で説明する。以降、順次拡張する方法を説明していく。最後に、拡張をすべて取り込んだ特徴量選択の手順をまとめる。なお、本節で言及する特徴量は、当然ながら、すべて学習データのものを指す。
本節では、選択処理部１０４（定量化処理部１０６、最適化処理部１０８）による特徴量の選択（ステップＳ１１０：選択工程）を説明する。最初に、本発明における特徴量選択（選択工程、選択処理）の原理を、単純化した場合で説明する。以降、順次拡張する方法を説明していく。最後に、拡張をすべて取り込んだ特徴量選択の手順をまとめる。なお、本節で言及する特徴量は、当然ながら、すべて学習データのものを指す。
【0065】
＜２．２ 特徴量選択の原理：集合被覆問題への帰着＞
はじめに、マルチクラス分類のための特徴量選択（選択工程）の原理を説明する。本項では簡単のため、同じクラスに属するサンプルは全特徴量の値が完全一致し、その特徴量はバイナリ（０or１）の確定値を取るものとする。
はじめに、マルチクラス分類のための特徴量選択（選択工程）の原理を説明する。本項では簡単のため、同じクラスに属するサンプルは全特徴量の値が完全一致し、その特徴量はバイナリ（０or１）の確定値を取るものとする。
【0066】
クラスsの特徴量iの値をＸi
(s)とすると、「選択特徴集合fによってクラスsとtとを判別できる」とは、いずれかの特徴量が異なること、つまり、以下の式（１）を満たすことである。
【0067】
【数1】
【0068】
よって、与クラスC＝｛1,2,…,N｝すべてを互いに判別できる必要十分条件は、以下の式（２）を満たすことである。
【0069】
【数2】
【0070】
ここで、クラス二項関係をペアワイズ展開し、二項組合せにおけるペアk={s,t}∈P2(C)に対してクラスsとtのバイナリ特徴量iの排他的論理和Yi
(k)（以下の式（３）を参照）を導入し、「判別スイッチ」と呼ぶ（図５）。
【0071】
【数3】
【0072】
図６は、判別スイッチ算出の様子を示す図である。図６の（ａ）部分は、クラスA,B,Cについてのバイナリ特徴量#1～#5の値（値は０か１；バイナリ特徴量値）を示す表であり、同図の（ｂ）部分はクラスA,B,Cをペアワイズ展開してペア{A,B},{A,C},{B,C}ができた様子を示している。図６の（ｃ）部分は、各ペアについてのバイナリ特徴量の排他的論理和（値は０か１；判別スイッチ値）を示している。例えば、ペア{A,B}に関し特徴量#1の判別スイッチ値は０であり、これは「特徴量#1では、ペア{A,B}を判別できない（サンプルがクラスＡ、Ｂのいずれに属するかを判別できない）」ということを意味している。これに対し、例えばペア{A,B}に関し特徴量#2の判別スイッチ値は１であるから、「特徴量#2の値により、ペア{A,B}を判別できる」ことが分かる。
【0073】
以上より、与クラスＣすべてを互いに判別できる必要十分条件は、以下の式（４）のように書き換えられる。
【0074】
【数4】
【0075】
すなわち、全特徴集合をＦとすれば、マルチクラス分類のための特徴量選択は、上記式を満たす部分集合f⊆Ｆを選択する集合被覆問題に帰着できる。
【0076】
なお、「集合被覆問題」とは、例えば「集合Ｕと、Ｕの冪集合の部分集合Ｓが与えられたとき、Ｕの全要素を少なくとも１回含む（＝被覆する）ように、Ｓ の部分集合を選ぶ問題」と定義することができる（他の定義も可能である）。
【0077】
ここで、特徴量iに対するスイッチ集合Iｉ＝{k|Yi
(k)=1}は、クラスの二項組合せP2(C)の部分集合である。よって、全特徴集合Fに対応するI={Ii｜i∈F}は、その集合族、P2(C)の冪集合の部分集合である。つまり、本問は「P2(C)の冪集合の部分集合I（Fに対応）が与えられたとき、P2(C)のすべての要素を少なくとも１回含むように、Iの部分集合（fに対応）を選ぶ問題」であり、すなわち集合被覆問題とみなせる。具体的には、ペアワイズ展開した全てのペアについて、判別スイッチ値が少なくとも１つ“１”となるような特徴量（及び／またはその組合せ）を選択する必要がある。図６のケースでは「特徴量#2,#4」、「特徴量#3,#4」、または「特徴量#2,#3,#4」を選択すればよい。なお、特徴量の値がNAの場合、ペアワイズとなる判別スイッチ値は自動的にゼロとする。
【0078】
＜２．３ 排他的論理和を判別可能性の定量値で代替＞
ここで、特徴量が元よりバイナリ値であれば、特徴量やその代表値（中央値等）をそのまま判別可能性とみなしても構わない。ただし一般には、特徴量はバイナリ値とは限らず、同じクラスに属するサンプルであっても様々な値に揺らぎ得る。そこで、定量化処理部１０６（選択処理部１０４）は、学習データセットの特徴量に基づき、判別スイッチ値（排他的論理和）を判別可能性の定量値（定量化値）で代替するのが望ましい。
ここで、特徴量が元よりバイナリ値であれば、特徴量やその代表値（中央値等）をそのまま判別可能性とみなしても構わない。ただし一般には、特徴量はバイナリ値とは限らず、同じクラスに属するサンプルであっても様々な値に揺らぎ得る。そこで、定量化処理部１０６（選択処理部１０４）は、学習データセットの特徴量に基づき、判別スイッチ値（排他的論理和）を判別可能性の定量値（定量化値）で代替するのが望ましい。
【0079】
まず、定量化処理部１０６は、クラスsに属するサンプルの、特徴量iの計測値群から、クラスsかつ特徴量iの分布母数θi
(s)及び分布D(θi
(s))を推定する（ステップＳ１１２：定量化工程）。分布や分布母数から判別可能性を定量化するのが特に望ましい。なお、特徴量の値がNAのサンプルについては、定量処理から除外する等すればよい。もちろん、すべてのサンプルがNAであれば、その特徴量は当然使えないことになる。
【0080】
例えば、定量化処理部１０６は、ペアワイズの母数θi
(s)とθi
(t)との有意差の有無を統計検定に掛け、p値を求めることができ、具体的には、ウェルチのt検定を用いることができる。ウェルチのt検定は正規分布を仮定するもので汎用的に適用可能な方法である（イメージとして、sとtの特徴量分布が図７の（ａ）部分と（ｂ）部分とのいずれかに近いかによって有意差を判定する）。もちろん、特徴量の持つ統計的性質、または観測結果や解析結果に基づき、適時、適切な分布及び対応する統計検定法を採用して構わない。
【0081】
図７は判別スイッチ値及び状態値の決定イメージを示す図である。図７の（ａ）部分は特徴量をペアワイズ{A,B}の判別に利用する場合であり、定量化処理部１０６は、学習データから閾値（図中の２本の縦線の位置の値）を予め設定し、対象サンプルの計測値から判別スイッチ状態値を決定する（ステップＳ１１２：定量化工程）。計測値が分布A側に属すれば状態値+1、B側なら同-1、保留域なら同0となる。一方、図７の（ｂ）部分は、特徴量をペアワイズ{A,B}の判別に、そもそも利用しない場合である（Yi
({A,B})=0）。
【0082】
ただし、特徴量候補は特に多数存在する場合、全特徴集合Fで判定を繰り返すと多重比較検定に陥ってしまう。そこで、定量化処理部１０６は、同じペアワイズk={s,t}について得られたp値群を、いわゆるq値群に補正することが望ましい（ステップＳ１１２：定量化工程）。多重検定補正の方法は、例えばBonferroni法やBH法[Benjamini, Y., and Y. Hochberg, 1995]等があり、より望ましいのは後者のいわゆるFDR（False Discovery Rate）に補正する方法だが、それに限らない。
【0083】
定量化処理部１０６は、以下の式（５）のように、得られたq値と予め定めた基準値αとを比べ、判別スイッチに０または１を割り振る（特に、判別スイッチが１の場合を“マークされている”と呼ぶ）。
【0084】
【数5】
【0085】
なお、上記は集合被覆問題の拡張という立場から判別スイッチを離散化かつバイナリ化したが、例えば1-qに設定する等、連続変数を扱うようにしても構わない。
【0086】
さらに、p値やq値は統計的差であって、サンプルを判別できる確率ではないので、定量化処理部１０６はさらに、学習データセットを参照して設定した適当な閾値のもと、ペアワイズ・カップリングされたクラスのいずれかに属する未知サンプルの特徴量が与えられたとき、その特徴量によって所属クラスを正しく判別できる確率によって定量化してもよい。また、定量化処理部１０６は、そのような統計的確率値を特徴量個数によって多重検定補正してもよい。
【0087】
また、統計検定に関わる基準だけではなく、例えば平均値が一定の差をもつこと等の基準値等を追加あるいは代替としてもよい。もちろん、基準には、平均値や標準偏差以外の各種統計量を用いても構わない。
【0088】
＜２．４ 集合被覆問題を最小ペアワイズ被覆数最大化等の最適化問題に拡張＞
特徴量は確率変数の場合、判別スイッチがマークされていても、確実に対応ペアワイズを判別できるとは限らない。したがって、集合被覆問題を拡張することが望ましい。
特徴量は確率変数の場合、判別スイッチがマークされていても、確実に対応ペアワイズを判別できるとは限らない。したがって、集合被覆問題を拡張することが望ましい。
【0089】
そこで、定量化処理部１０６（選択処理部１０４）は、以下の式（６）のように、判別冗長性をペアワイズ被覆数Zf
(k)として、個々の判別可能性の定量値を集計する（集計値として合計値を計算；ステップＳ１１２、定量化工程）。
【0090】
【数6】
【0091】
Zf
(k)の定義は式（６）に示すものに限らない。例えば、連続変数版の-Yi
(k)に対して、全ての判別に失敗する確率として（1-Yi
(k)）の積として定義してもよいし、ある適当な閾値Uを用いて、少なくともU個の判別に成功する確率をYi
(k)から算出してもよい。また、個々の判別可能性の平均値を計算してもよい。このように、集計の方法は種々考えられる。
【0092】
次に、最適化処理部１０８（選択処理部１０４）は、「判別のボトルネックを可能な限り低減するのが望ましい」という立場から、選択すべき特徴量の個数をmとして、例えば以下の式（７）により、特徴量選択問題を最小ペアワイズ被覆数の最大化問題に改めて帰着できる（ステップＳ１１４：最適化工程、最適化処理）。
【0093】
【数7】
【0094】
上記は、特徴量の選択個数が決まった場合（特徴量の選択個数Ｍが入力された場合、すなわち選択個数入力工程／処理が行われた場合）の帰着例である。逆に、最適化処理部１０８（選択処理部１０４）は、最小ペアワイズ被覆数（判別可能性の集計値の最小値）に閾値（目標閾値Ｔ）を設定して（目標閾値入力工程／処理）、その閾値を充足するように特徴量を選択してもよい（ステップＳ１１４：最適化工程／処理、選択工程／処理）。この場合、もちろん、選択する特徴量の個数はより少ない方が望ましく、最小であることが特に好ましい。
【0095】
あるいはこの両者を組み合わせるなど、最適化の方法についても種々考えられる。
【0096】
集合被覆問題は盛んに研究されている分野なので、様々な解法が存在している。これを拡張した最小被覆数の最大化問題も、ほぼ同様の手順で対応できよう。ただし、一般にはNP完全問題（NP-complete problem）なので、厳密解を求めるのは容易ではない。
【0097】
したがって、もちろん厳密解を求めて文字通り、最小ペアワイズ被覆数の最大化問題や、設定被覆数を最少特徴量で達成する問題を解くのが望ましいが、最適化処理部１０８（選択処理部１０４）は、ヒューリスティックな手法で、被覆数をなるべく大きくしたり、選択特徴量の個数をなるべく小さくしたり、ローカルミニマムを求める方法を用いても構わない。
【0098】
具体的には例えば、最適化処理部１０８（選択処理部１０４）は、単純なグリーディ探索手順を採用してもよい。現に選ばれている特徴集合の最小ペアワイズ被覆数の他に、「順次i番目に小さい第i位ペアワイズ被覆数を定義し、より小さなiの第i位ペアワイズ被覆数を最大化するような特徴量を順次選択していく方法」などが考えられる。
【0099】
さらに、クラスまたはペアワイズ判別の重要性を入力し（ステップＳ１１２：定量化工程、重要性入力工程／処理）、最適化の際に、その重要性に基づいた重み付けを与えてもよい（重み付け付与工程／処理）。例えば、上述した式（７）を以下の式（８）に修正することができる。
【0100】
［数８]
argmax min{Zk/wk } …（８）
ここでwkは、ペアワイズ判別の重要性を示す。あるいはクラスの重要性を指定し、wk=wswt等とし、クラスの重要性に基づいてペアワイズの重要性を決めるようにしてもよい。なお、もちろん、クラスの重要性を積に基づいてペアワイズに反映させる計算式は一例に過ぎないし、重み付けの具体的な計算式は、同趣旨の別方法にしても構わない。
argmax min{Zk/wk } …（８）
ここでwkは、ペアワイズ判別の重要性を示す。あるいはクラスの重要性を指定し、wk=wswt等とし、クラスの重要性に基づいてペアワイズの重要性を決めるようにしてもよい。なお、もちろん、クラスの重要性を積に基づいてペアワイズに反映させる計算式は一例に過ぎないし、重み付けの具体的な計算式は、同趣旨の別方法にしても構わない。
【0101】
具体的には例えば、病態組織の判別において、疾患Ａと疾患Ｂとの判別が特に重要で、一方、疾患Bと疾患Ｃとの判別が重要でない場合、wk={A,B}に大きい値を設定し、wk={B,C}に小さい値を設定することが望ましい。これによって、例えば疾患Aの早期発見が特に重要な一方で疾患Bと症状が似ているような事例、疾患B及び疾患Cの早期発見が重要でなく互いに大きな症状の違いがあるような事例に、適切な特徴量選択やクラス分類（診断）の方法を提供することが可能になる。
【0102】
＜２．５ 類似特徴量の排除＞
一般に、判別対象クラス全体で近しい値を取るような、類似性（類似度）の高い特徴量は、相関が高いため、判別のロバスト性を考えると重複選択を避けることが望ましい。また、前項で述べた最適化の探索は、|F|が低減できた方が効率化できるので、最適化処理部１０８（選択処理部１０４）は、類似性の評価結果に基づいて考慮すべき特徴量を予め絞り込む（ステップＳ１１０：選択工程／処理、類似性評価工程／処理、優先度設定工程／処理）ことが望ましい。実際、例えばメチル化サイトは数十万個以上となる。
一般に、判別対象クラス全体で近しい値を取るような、類似性（類似度）の高い特徴量は、相関が高いため、判別のロバスト性を考えると重複選択を避けることが望ましい。また、前項で述べた最適化の探索は、|F|が低減できた方が効率化できるので、最適化処理部１０８（選択処理部１０４）は、類似性の評価結果に基づいて考慮すべき特徴量を予め絞り込む（ステップＳ１１０：選択工程／処理、類似性評価工程／処理、優先度設定工程／処理）ことが望ましい。実際、例えばメチル化サイトは数十万個以上となる。
【0103】
ここで、特徴量iに対してYi
(k)=1となるkの集合Ii={k|Yi
(k)=1}を「スイッチ集合」と呼ぶ。このスイッチ集合から、特徴量の類似性（あるいは類似度）、すなわち特徴量の同値関係（重複関係）及び包含関係を考えることができる。
【0104】
特徴量iに対して、Ii=Ilなるすべてのlを集め、以下の式（９）のように同値特徴集合Uiを作る。また、Ii⊃Ilなるすべてのlを集め、式（１０）のように包含特徴集合Ｈiを作る。
【0105】
【数9】
【0106】
【数10】
【0107】
同値特徴集合は重複的な、包含特徴集合は従属的な特徴量を各々グループ化したもので、代表特徴量１つに絞れば、類似性の高い特徴量を排除できる。そこで、例えば全特徴集合Fを類似排除特徴集合 で以下の式（１１）のように置き換えてもよい。
【0108】
【数11】
【0109】
選択処理部１０４は、もちろん、類似性として同値特徴集合または包含特徴集合の片方のみを考慮してもよいし、他の指標を作ってもよい。例えば、特徴量間のベクトル距離（判別可能性ベクトル間の距離）を求め、ある閾値以下のものを類似特徴量とみなす方法なども考えられる。単純な距離以外にも、複数の特徴量の判別可能性を正規化してから距離を計算する等、任意の距離またはそれに準じるメトリック値を導入しても構わない。
【0110】
さらに、上記では絞り込みを実施したが、選択処理部１０４は、最適化探索する際に、既に類似特徴量が選択されている特徴量の選択優先順位（優先度）を下げる（優先度設定工程）ことで、選択されやすさを決定する方法を用いても構わない。もちろん、既に選択されている特徴量との類似度が低い特徴量の選択優先順位（優先度）を上げる（優先度設定工程）方法でもよい。
【0111】
＜２．６ 相互に判別不要なペアワイズ（クラス集合）の導入＞
クラス二項関係は、与クラス数Nに対して|P2(C)|＝NC2通りに及ぶ。これは単純にクラスの全二項関係を取ったものだが、実用上は判別不要なペアワイズが存在していることがある。
クラス二項関係は、与クラス数Nに対して|P2(C)|＝NC2通りに及ぶ。これは単純にクラスの全二項関係を取ったものだが、実用上は判別不要なペアワイズが存在していることがある。
【0112】
例えば、がん診断問題を想定する場合（後述する実施例を参照）、がん組織間の判別、及びがん組織と正常組織との判別は必須だが、正常組織間の判別は不要である。
【0113】
そこで、選択処理部１０４は、クラス二項関係のペアワイズ展開を一部抑止してもよい。すなわち、判別必須のクラス集合CTと、判別不要のクラス集合CN（第１の判別不要クラス群）とによって、与クラスC={c｜c∈CT,CN} を分割し、CTとCTとの間、及びCTとCNとの間は考慮する（ペアワイズ展開する）一方、クラス二項関係からCN同士のペアを除外する（ステップＳ１１０：選択工程、第１のマーキング工程／処理、第１の除外工程／処理）。つまり、選択処理部１０４は、以下の式（１２）によりP2(C)'を算出し、これまでのP2(C)をP2(C)'で置き換える。
【0114】
【数12】
【0115】
なお、このような分割やマークは、２つ以上存在しても構わない。
【0116】
図８はペアワイズ展開を一部抑止する様子を示す図である。図８の例では、クラスT1,T2,…,Tmはクラス間での判別が必要なクラス群（例：がん組織）であり、クラスN1,N2,…,Nnは「Ｔでない（がん組織でない）」との判別は必要であるが互いの判別は不要なクラス群（例：正常組織）である。
【0117】
この場合、選択処理部１０４は、クラスT間（例：クラスT1とT2、クラスT1とT３等）及びクラスTとクラスNの間（例：クラスT1とN1、クラスT1とN2等）ではペアワイズ展開を行うが、クラスN間ではペアワイズ展開を行わない。
【0118】
＜２．７ サンプルのクラスタリングからサブクラスを導入＞
サンプルに正解クラスラベルが付与されていても、名目上は同一クラスのサンプルに、実際には様相の異なる複数グループが混在していることがある。名目クラスを判別できれば十分であっても、特徴量が同一の分布母数に従うとは限らなくなるので、判別スイッチを正しく付与できなくなってしまう。
サンプルに正解クラスラベルが付与されていても、名目上は同一クラスのサンプルに、実際には様相の異なる複数グループが混在していることがある。名目クラスを判別できれば十分であっても、特徴量が同一の分布母数に従うとは限らなくなるので、判別スイッチを正しく付与できなくなってしまう。
【0119】
例えば、がんにもサブタイプが存在していて、同じ臓器のがんであっても、相互に様相の異なるものがある [Holm, Karolina, et al., 2010]。ただし、スクリーニング検査への適用（精密検査と併用）を想定する場合は、サブタイプの判別は不要である。
【0120】
そこで、サブタイプに対応させるため、サブクラスと呼ぶ、互いに判別不要な特殊なクラス単位を導入してもよい（ステップＳ１１０：選択工程、サブクラス設定工程／処理、第２のマーキング工程／処理）。
【0121】
サブクラスは、サンプルから自動構成できる。ただし、単一特徴量からは同定しにくいので、選択処理部１０４がクラスごとにサンプルを全特徴量（与特徴量）によってクラスタリング（クラスターを形成）し、適当なクラスター数L（または最小クラスターサイズｎC）で区切って、クラスターにサブクラスを対応させる方法が考えられる。例えば、図９の（ａ）部分に示すように、あるクラス（ここでは、クラスＢ）に所属するサンプルを全特徴量を用いてクラスタリングし、その結果に基づいて同図の（ｂ）部分に示すようにサブクラスＸ、Ｙに分割する。この例では、クラスＢをサブクラスＸ、Ｙに分割すれば、特徴量ｉを用いて、クラスＡとクラスＢのサブクラスＹとを判別できる。ただし、あるクラスが複数のサブクラスに偶然に分かれている場合もあって、その場合無理に「サブクラス」とみなすのはナンセンスである。
【0122】
なお、クラスタリング方法は種々存在するので、別の方法によってクラスタリングしても構わないし、クラスターの基準も様々に定めてよい。
【0123】
例えば、クラスJが分割されて{J1,J2,…,JL}（第２の判別不要クラス群）となれば、与クラスC＝{1,2,…,J,…,N}は以下の式（１３）のように拡張できる。
【0124】
【数13】
【0125】
クラス二項関係は、前項と同様に、判別不要なサブクラス同士のペアを除外して、以下の式（１４）のように置き換えられる（第２の除外工程）。
【0126】
【数14】
【0127】
なお、前項CNを含めて順次適用した、最終的なクラス二項関係をP2(C+C)'-Cとする。
【0128】
＜２．８ 特徴選択法の手順まとめ＞
本願発明者が提案する特徴選択法（選択処理部１０４による選択工程、選択処理）の手順をまとめる。
（i）与クラス集合Cのうち、判別不要のクラス集合CNを設定する。
（ii）サンプルをクラス毎に全特徴量でクラスタリングし、得られた各クラスターをサブクラスに対応させる（サブクラスは互いに判別不要な特殊なクラスである）。
（iii）判別不要なものを除いた、判別対象となる全クラス二項関係のペアワイズ展開P2(C+C)'-Cを定める。
（iv）各クラスの所属サンプルから分布母数を推定、特徴量 の、クラスペアk＝{s,t}間における有意差を統計検定により判定し、判別スイッチYi (k={s,t})に0/1を割り振る。
（v）判別スイッチから、同値特徴量集合及び包含特徴量集合を構成して、類似排除特徴集合F'を作る。
（vi）判別対象クラスのペアワイズ展開P2(C+C)'-C全体に対して、判別スイッチ和から求めたペアワイズ被覆数Zf (k)の最小値を最大化するような、特徴集合f（特徴量セット）をF'から選択する。
本願発明者が提案する特徴選択法（選択処理部１０４による選択工程、選択処理）の手順をまとめる。
（i）与クラス集合Cのうち、判別不要のクラス集合CNを設定する。
（ii）サンプルをクラス毎に全特徴量でクラスタリングし、得られた各クラスターをサブクラスに対応させる（サブクラスは互いに判別不要な特殊なクラスである）。
（iii）判別不要なものを除いた、判別対象となる全クラス二項関係のペアワイズ展開P2(C+C)'-Cを定める。
（iv）各クラスの所属サンプルから分布母数を推定、特徴量 の、クラスペアk＝{s,t}間における有意差を統計検定により判定し、判別スイッチYi (k={s,t})に0/1を割り振る。
（v）判別スイッチから、同値特徴量集合及び包含特徴量集合を構成して、類似排除特徴集合F'を作る。
（vi）判別対象クラスのペアワイズ展開P2(C+C)'-C全体に対して、判別スイッチ和から求めたペアワイズ被覆数Zf (k)の最小値を最大化するような、特徴集合f（特徴量セット）をF'から選択する。
【0129】
ただし、上記i～viはすべてを網羅した一例であり、必ずしも上記の全てを実施する必要はなく、部分的に非採用とする手順があっても構わない。また勿論、各項で明記または示唆した代替方法で構成してもよい。なお、マルチクラス分類装置１０は、特徴量選択方法の工程（特徴量選択方法、特徴量選択処理）のみを実行して、マルチクラス分類に用いる特徴量セットを得てもよい。
【0130】
＜３．マルチクラス分類の方法＞
本節では、クラス判定処理部１１４（判定処理部１１０）が行う処理（ステップＳ１２０：判定工程、判定処理）について説明する。最初に、選択した特徴量（選択特徴量群、特徴量セット）によるバイナリクラス分類器（バイナリクラス判別器）の構成例（クラス判定工程、判定工程）を説明する。次いで、そのバイナリクラス分類器から、（１）総当たりマッチランキング、（２）決勝トーナメントマッチの二段階の手順により、マルチクラス分類器（マルチクラス判別器）を構成する（ペアワイズ・カップリングに紐付けて選択した特徴量群を利用するマルチクラス判別器を構成する）方法の一例（クラス判定工程、判定工程）を説明する。
本節では、クラス判定処理部１１４（判定処理部１１０）が行う処理（ステップＳ１２０：判定工程、判定処理）について説明する。最初に、選択した特徴量（選択特徴量群、特徴量セット）によるバイナリクラス分類器（バイナリクラス判別器）の構成例（クラス判定工程、判定工程）を説明する。次いで、そのバイナリクラス分類器から、（１）総当たりマッチランキング、（２）決勝トーナメントマッチの二段階の手順により、マルチクラス分類器（マルチクラス判別器）を構成する（ペアワイズ・カップリングに紐付けて選択した特徴量群を利用するマルチクラス判別器を構成する）方法の一例（クラス判定工程、判定工程）を説明する。
【0131】
＜３．１ バイナリクラス分類器の構成＞
ペアワイズ判別に資する特徴量が選択されていることを活用したい。そのため、判別スイッチがマークされたペアワイズと特徴量の組み合わせのみから、バイナリクラス分類器を構成する（各ペアワイズ・カップリングに紐付けて選択特徴量群を利用するバイナリクラス判別器を各々構成する）ことができる。なお、クラス分類に際し、取得処理部１１２は、選択した特徴量群の特徴量値を取得する（ステップＳ１２２：取得工程、取得処理）。
ペアワイズ判別に資する特徴量が選択されていることを活用したい。そのため、判別スイッチがマークされたペアワイズと特徴量の組み合わせのみから、バイナリクラス分類器を構成する（各ペアワイズ・カップリングに紐付けて選択特徴量群を利用するバイナリクラス判別器を各々構成する）ことができる。なお、クラス分類に際し、取得処理部１１２は、選択した特徴量群の特徴量値を取得する（ステップＳ１２２：取得工程、取得処理）。
【0132】
例えば、クラス判定処理部１１４（判定処理部１１０）は、与サンプルj（所属クラス未知）、選択特徴量iの、クラスペアワイズ{s,t}に対する判別スイッチ状態yi
(k=(s,t),j)を、学習分布と比して決定できる（ステップＳ１２４：クラス判定工程、図７を参照）。最初に学習データから分布を推定して有意差（図７の（ａ）部分に示す状態か、（ｂ）部分に示す状態か）を判断し、「有意差あり」の場合は予め閾値を設定する。そしてクラス判定処理部１１４は、「有意差あり」が選択された場合に限り、与サンプルを分類するときに、特徴量の値から所属分布（あるいは所属がないか）を推定して、以下の式（１５）のように判別スイッチ状態値を決定する（ステップＳ１２４：クラス判定工程）。
【0133】
【数15】
【0134】
なお、上式における「?」は、サンプルxの所属クラスが未知であることを示す。また、サンプルの特徴量の値がNAの場合は、yを0とする。
【0135】
クラス判定処理部１１４（判定処理部１１０）は、これを集計して判別スコアrj(s,t)を計算し、さらに、以下の式（１６）、（１７）のようにバイナリクラス分類器Bj(s,t)を構成する（ステップＳ１２４：クラス判定工程）。
【0136】
【数16】
【0137】
【数17】
【0138】
＜３．２ マルチクラス分類の手順（１）：総当たりマッチランキング＞
クラス判定処理部１１４（判定処理部１１０）は、上述した判別スコア（ただし、判別スイッチの個数を正規化するため、その符号値を取ることが望ましい）をさらに総計して、以下の式（１８）のようにクラススコア（ペアスコア）を計算できる（ステップＳ１２４：クラス判定工程）。
クラス判定処理部１１４（判定処理部１１０）は、上述した判別スコア（ただし、判別スイッチの個数を正規化するため、その符号値を取ることが望ましい）をさらに総計して、以下の式（１８）のようにクラススコア（ペアスコア）を計算できる（ステップＳ１２４：クラス判定工程）。
【0139】
【数18】
【0140】
このクラススコアは、「未知サンプルjがクラスｓにどのくらい類似しているか」を示す。さらに、クラス判定処理部１１４（判定処理部１１０）は、このクラススコアの大きな順に判別候補クラスをリスト化して、総当たりマッチランキングGを作成する（ステップＳ１２４：クラス判定工程）。作成の際に、置換処理（クラススコアが正なら+1に置き換え、ゼロなら±０のままとし、負なら-1に置き換える）を行ってもよい。
【0141】
図１０は総当たりマッチランキング作成の様子を示す図である。まず、クラス判定処理部１１４は、図１０の（ａ）部分に示すように、各クラスペア（{A,B}、｛A,C｝、…）について判別スコアの符号値（式（１７）のsgn(ｒｊ(s,t))）を集計する。例えば、クラスペア{A,B}については、「サンプルは、特徴量#1の値から考えるとクラスAに類似しており（符号値=+1）、特徴量#2の値から考えるとクラスA,Bのどちらともいえず（符号値=0）…」となり、小計は24である。したがって、「サンプルは、クラスA,BのうちではAに類似している」といえる（小計値が正で絶対値が大きいほど類似度が高い）。また、クラスペア{A,C}については、「サンプルは、特徴量#3の値から考えるとクラスCに類似しており（符号値=-1）、特徴量#4の値から考えるとクラスAに類似しており（符号値=+1）…」となり、小計は-2である。したがって、「サンプルは、クラスA,Cのいずれにも類似していない（あるいは、ややクラスCに類似している）」といえる。
【0142】
このようにして全クラスペアについて小計を算出すると、図１０の（ｂ）部分に示すような結果が得られる。例えば{A,*}は「クラスAと他の全クラスとの比較結果」であり、上述した置き換え後のスコアの合計は7である。同様に、クラスDについての合計は10である。そして、クラス判定処理部１１４は、この合計から、図１０の（ｃ）部分に示すように判別候補クラスをリスト化（順位付け）する。この例ではクラスD,N,Aについての合計がそれぞれ10,8,7であり、クラスDが１位、クラスNが２位、クラスAが３位である。
【0143】
＜３．３ マルチクラス分類の手順（２）：決勝トーナメントマッチ＞
本問を含むマルチクラス分類では、類似クラス間の判別が性能のボトルネックになることが多い。そこで本発明では、類似クラス間を含め、全ペアワイズが判別可能な特徴量群（特徴量セット）を選択している。
本問を含むマルチクラス分類では、類似クラス間の判別が性能のボトルネックになることが多い。そこで本発明では、類似クラス間を含め、全ペアワイズが判別可能な特徴量群（特徴量セット）を選択している。
【0144】
これに対して、上述した総当たりマッチランキングGは、最上位近くに類似性の高いクラスが集まることが期待されるものの、クラススコアの大部分はランキング下位クラスとの比較で決まったものである。つまり、最上位近くの順位付け（図１０の例では、クラスD,N,A間の順位付け）は必ずしも信頼できない。
【0145】
そこで、クラス判定処理部１１４（判定処理部１１０）は、以下の式（１９）のように、最終的な判別クラスを、総当たりマッチランキングの上位クラスg個の変則トーナメントマッチTｊに基づき決定することができる（ステップＳ１２４：クラス判定工程）。
【0146】
【数19】
【0147】
すなわち、クラス判定処理部１１４は、リスト上位のg個のクラスから、下位２クラスのペアワイズに対して改めてバイナリクラス分類器を適用して勝ち残りを決め、リスト個数を１個ずつ減らして順次同様の手順を取る（最終的に、G最上位クラスと勝ち残りクラスとを比較する）。
【0148】
例えば、図１１に示すように、リスト上位の３個のクラス（クラスD,N,A）から、下位２クラスであるクラスN,Aに対してクラススコアを計算して勝ち残り（クラスNまたはA）を決め、総当たりランキングの最上位クラスであるクラスDと勝ち残りクラスとで同様にクラススコアを計算する。なお、「総当たりランキングの何位までを決勝トーナメントマッチの対象とするか（図１１の例では３位まで）」は特に限定されない。
【0149】
＜３．４ その他のマルチクラス分類器の構成＞
なお、上記は分類器構成の一例であって、これ以外に、様々な機械学習方法を流用しても構わない。例えば、基本的にはランダムフォレストの構成で、途中の決定木において、選択特徴量の判別スイッチが有効なもののみを用いる（判定工程）、といった構成でもよい。具体的には、クラス判定処理部１１４（判定処理部１１０）は、各ペアワイズ・カップリングに紐付けて選択特徴量群を利用する決定木を構成し、決定木を１つ以上組み合わせてマルチクラス判別器を構成してもよい（ステップＳ１２４：クラス判定工程）。クラス判定処理部１１４は、この際、決定木および決定木の組み合わせによってランダムフォレストとしてマルチクラス判別器を構成してもよい（ステップＳ１２４：クラス判定工程）。
なお、上記は分類器構成の一例であって、これ以外に、様々な機械学習方法を流用しても構わない。例えば、基本的にはランダムフォレストの構成で、途中の決定木において、選択特徴量の判別スイッチが有効なもののみを用いる（判定工程）、といった構成でもよい。具体的には、クラス判定処理部１１４（判定処理部１１０）は、各ペアワイズ・カップリングに紐付けて選択特徴量群を利用する決定木を構成し、決定木を１つ以上組み合わせてマルチクラス判別器を構成してもよい（ステップＳ１２４：クラス判定工程）。クラス判定処理部１１４は、この際、決定木および決定木の組み合わせによってランダムフォレストとしてマルチクラス判別器を構成してもよい（ステップＳ１２４：クラス判定工程）。
【0150】
＜４．出力＞
出力処理部１１５は、操作部４００を介したユーザの操作に応じて、またはユーザの操作によらずに、入力したデータや上述した処理の条件、結果等を出力することができる。例えば、入力した学習データセット、選択された特徴量セット、総当たりマッチランキングや決勝トーナメントマッチの結果等を、モニタ３１０等の表示装置に表示させる、記憶部２００等の記憶装置に記憶させる、プリンタ（不図示）で印刷する、等により出力することができる（出力工程、出力処理；図１６について後述）。
出力処理部１１５は、操作部４００を介したユーザの操作に応じて、またはユーザの操作によらずに、入力したデータや上述した処理の条件、結果等を出力することができる。例えば、入力した学習データセット、選択された特徴量セット、総当たりマッチランキングや決勝トーナメントマッチの結果等を、モニタ３１０等の表示装置に表示させる、記憶部２００等の記憶装置に記憶させる、プリンタ（不図示）で印刷する、等により出力することができる（出力工程、出力処理；図１６について後述）。
【0151】
＜５．テストデータと実施例＞
本願発明者は、診断対象のがんとして8種（大腸がん、胃がん、肺がん、乳がん、前立腺がん、膵がん、肝がん、子宮頸がん）を選んだ。これらのがんは、日本人がん罹患の約70 %を占める [Hori M, Matsuda T, et al., 2015]ため、早期スクリーニング検査の対象に適切と考えた。
本願発明者は、診断対象のがんとして8種（大腸がん、胃がん、肺がん、乳がん、前立腺がん、膵がん、肝がん、子宮頸がん）を選んだ。これらのがんは、日本人がん罹患の約70 %を占める [Hori M, Matsuda T, et al., 2015]ため、早期スクリーニング検査の対象に適切と考えた。
【0152】
また、正常組織は血液に流出し得るもの全てを網羅する必要があるので、上記8種のがんに対応する臓器の他、血液、腎臓、甲状腺等、考えられる計24種を列挙した。
【0153】
フィージビリティ・スタディとしての位置付けで、抽出細胞塊（生体組織片）の判別を想定してメチル化サイトの計測値を載せるオープンデータ計5,110サンプルを収集した（図１２）。
【0154】
がん腫瘍および正常臓器（血液除く）は、“The Cancer Genome Atlas”（TCGA） [Tomczak, Katarzyna, et al., 2015]の登録データから4,378サンプルを収集した。また、血液は、732サンプルを収集した [Johansson, Asa, Stefan Enroth, and Ulf Gyllensten, 2013]。
【0155】
サンプルの所属クラス（がんと非がんの区別を含む由来組織）は、すべて登録アノテーション情報にしたがって付与した。
【0156】
また、メチル化計測値は、合計485,512サイトあったが、全サンプル値が計測不能（NA）だったものを除くと、全部で291,847サイトになった。なお、上記登録データのうち、正規化等の後処理済のものをそのまま採用している。
【0157】
さらに、全データセットを機械的に等分し、１つを学習データセット、もう１つをテストデータセットとして利用した。
【0158】
本実施例で設定したトライアル課題は次のようになる。
i.データセット約5,000サンプルを準備
割当クラス（計32）：がん（8種）or 正常組織（24種）
特徴量（メチル化サイト）：約30万項目
ii.上記の半分の学習データセットから、判別に利用可能なメチル化サイト（オミクス情報、オミクスのスイッチ様情報）を最大10～300項目、事前に選択（併せてサブクラス分割や分布母数等のパラメータを学習）
iii.（特に残り半分のテストデータセットから）与サンプルの判別問題に（１サンプルずつ独立に）回答
入力：サンプルの選択メチル化サイト計測値（iiの選択に対応する最大300項目）
出力：推定クラス＝「がん＋由来組織（8種から選択）」または「非がん（1種のみ）」の9つから選択
なお、実施例では、提案法（本発明の方法）と比較する従来法として、以下の方法を採用した。
・特徴選択法：メチル化サイト研究事例のあるシャノンエントロピー基準[Kadota, Koji, et al., 2006; Zhang, Yan, et al., 2011]
・マルチクラス分類法：ナイーブベイズ分類器（単純だが高性能と知られている[Zhang, Harry, 2004]）
＜５．１ 提案法と従来法の比較結果＞
＜５．１．１ テストデータの判別精度＞
学習データで学習し、277個のサイト（オミクス情報、オミクスのスイッチ様情報）を選択して、テストデータの判別精度を確認し、提案法（本発明のマルチクラス分類方法）を従来法と比較した（図１３）。その結果、提案法が全項目で判別精度が高いことを示した。
i.データセット約5,000サンプルを準備
割当クラス（計32）：がん（8種）or 正常組織（24種）
特徴量（メチル化サイト）：約30万項目
ii.上記の半分の学習データセットから、判別に利用可能なメチル化サイト（オミクス情報、オミクスのスイッチ様情報）を最大10～300項目、事前に選択（併せてサブクラス分割や分布母数等のパラメータを学習）
iii.（特に残り半分のテストデータセットから）与サンプルの判別問題に（１サンプルずつ独立に）回答
入力：サンプルの選択メチル化サイト計測値（iiの選択に対応する最大300項目）
出力：推定クラス＝「がん＋由来組織（8種から選択）」または「非がん（1種のみ）」の9つから選択
なお、実施例では、提案法（本発明の方法）と比較する従来法として、以下の方法を採用した。
・特徴選択法：メチル化サイト研究事例のあるシャノンエントロピー基準[Kadota, Koji, et al., 2006; Zhang, Yan, et al., 2011]
・マルチクラス分類法：ナイーブベイズ分類器（単純だが高性能と知られている[Zhang, Harry, 2004]）
＜５．１ 提案法と従来法の比較結果＞
＜５．１．１ テストデータの判別精度＞
学習データで学習し、277個のサイト（オミクス情報、オミクスのスイッチ様情報）を選択して、テストデータの判別精度を確認し、提案法（本発明のマルチクラス分類方法）を従来法と比較した（図１３）。その結果、提案法が全項目で判別精度が高いことを示した。
【0159】
従来法の平均Ｆ値は0.809だったのに対して、提案法の平均Ｆ値は0.953に達した。また、従来法では、肺がん、膵がん、胃がん等で、Ｆ値/感度/適合度が0.8未満に留まるものがあったが、提案法では全項目で0.8以上を達成した。
【0160】
＜５．１．２ 判別のロバスト性＞
判別のロバスト性を、前項での学習とテストの間の平均Ｆ値差によって確認し、提案法を従来法と比較した（図１４）。結果、提案法のロバスト性が優れていること（Ｆ値低下0.008）を示した。
判別のロバスト性を、前項での学習とテストの間の平均Ｆ値差によって確認し、提案法を従来法と比較した（図１４）。結果、提案法のロバスト性が優れていること（Ｆ値低下0.008）を示した。
【0161】
従来法では学習データに対してほぼ完璧な平均Ｆ値0.993を示し、テストデータで精度が大きく低下（差分0.185）したため、過学習に陥っていることがわかった。
【0162】
一方、提案法では、平均Ｆ値の低下が0.008に留まった。また、膵がんの判別能は、提案法内では相対的に低い値（Ｆ値0.883）だが、学習時においても相対的に低い値（同0.901）であった。本提案法では、学習完了の段階で、テストデータにおける判別精度及び傾向を、ある程度予見できることを示唆している。
【0163】
＜５．１．３ 選択特徴個数と判別精度との関係＞
選択される特徴量の個数と判別精度（Ｆ値）との関係を確認した（図１５）。結果、50～100個の選択で判別精度が顕著に向上し、150～300個では飽和する傾向にあることがわかった。
選択される特徴量の個数と判別精度（Ｆ値）との関係を確認した（図１５）。結果、50～100個の選択で判別精度が顕著に向上し、150～300個では飽和する傾向にあることがわかった。
【0164】
したがって、特にcfDNAのメチル化パターンから、「がんであるか、非がんであるか」及び由来組織を判別するがん診断問題では、10個の特徴量選択では判別能が十分でなく、少なくとも25～100項目の多項目計測が必要（したがって、このようなクラス数の大きいマルチクラス分類問題においては、選択工程（選択処理）で選択する特徴量（選択特徴量群）の個数は２５個以上であることが好ましく、５０個以上であることがさらに好ましく、１００個以上であることが最も好ましい）なことを示している。
【0165】
＜５．１．４ 類似特徴量の排除、判別不要ペアワイズの導入＞
提案法では、類似特徴量を選択しないようにしている（類似性評価工程、類似性評価処理）。また、判別不要ペアワイズを導入している。
提案法では、類似特徴量を選択しないようにしている（類似性評価工程、類似性評価処理）。また、判別不要ペアワイズを導入している。
【0166】
有効なメチル化サイト（本問の特徴量）は全部で291,847個あるが、そのうち、59,052個の類似特徴（同値関係、包含関係）を特定し、対象外として削減できた（20.2 %減）。また、元々 の32クラスをサンプル・クラスタリングにより89クラスに分割したので、単純なペアワイズ総数は4,005通りに上った。このうち、551通りの正常組織間とがんサブクラスとの間の対象外ペアワイズを削減できた（13.8 %減）。
【0167】
併せて、探索空間を31.2 %削減できたことになる。類似特徴量を排除し、判別不要ペアワイズを導入することで、判別スイッチ組合せ探索を効率化していることを確認できた。
【0168】
＜５．１．５ サブクラス分割＞
提案法では、サンプル・クラスタリングを導入して、与クラスを内部的にサブクラスに分割している。判別不要ペアワイズとの組合せも重要なため、両者併せた効果を確認した。
提案法では、サンプル・クラスタリングを導入して、与クラスを内部的にサブクラスに分割している。判別不要ペアワイズとの組合せも重要なため、両者併せた効果を確認した。
【0169】
比較のため、サブクラス分割なし、特徴選択の判別不要ペアワイズ導入なし、他は同様手順のトライアルを実施した。結果、がん組織に限定しても、判別の正解率が元々の95.9 %から85.6 %に低下した（正常組織は分割なしで24種に上るので、特にサブクラス分割の効果確認のため、がん組織に限定して比較した）。
【0170】
サブクラス分割及び判別不要ペアワイズの導入によって、高精度な判別を実現できていることを確認できた。
【0171】
＜５．１．６ 決勝トーナメントマッチの併用＞
提案法では、マルチクラス分類において、総当たりマッチランキング（本項では１位のクラスを「予選トップクラス」と呼ぶ）と、決勝トーナメントマッチとを併用している。
提案法では、マルチクラス分類において、総当たりマッチランキング（本項では１位のクラスを「予選トップクラス」と呼ぶ）と、決勝トーナメントマッチとを併用している。
【0172】
テストデータ2,555件のうち、予選トップクラスが正解クラスと一致しなかった事例は278件あった。そのうち、決勝トーナメントマッチによって正しい判別へと訂正できた事例は162件だった。一方、逆の事例は19件であった（予選トップクラスは正解クラスと一致していたが、決勝トーナメントマッチにより誤った判別へと変更された）。
【0173】
すなわち、決勝トーナメントマッチの併用によって、予選トップクラスの判別誤りを差し引き51.4 %訂正でき、全体正解率を5.6 %改善できた。ペアワイズ判別によるバイナリクラス分類器の性能を巧く引き出す構成になっていることを確認できた。
【0174】
提案法では、判別の手順、比較検討クラス、依拠した特徴量が明確である。そのため、判別結果を遡り、根拠となった特徴量や閾値との差等を容易に確認、説明できる。特に判別根拠を求められる医療診断への適用に有利な、「説明できるAI」といえる。
【0175】
図１６は、判別根拠の図示例（テストデータでの実際の判定推移を抜粋したもの）を示す表である。図１６の（ａ）部分に、分類結果の上位クラス及び結果、並びにスコアを示す。同図の例では、サンプルは「がん組織１」に分類され、そのスコアが79だったこと、次に類似していたのが「がん組織３」でスコア76だったことが分かる。
【0176】
同様に、「がん組織１」の行から「正常組織１」の行までの7行で、各クラススコアRi(s)を確認できる。さらに、「＜がん組織１｜がん組織３＞」の行から「＜がん組織１｜がん組織５＞」の行までの3行で、各クラスペアワイズの判別スコアrj(s,t)を確認できる。
【0177】
また、図１６の（ｂ）部分に示す表では、「選択特徴量（表中ではマーカーと記載）一覧が各判別スコアにどのように寄与しているのか」の一覧を確認できる。もちろん、さらに、図７の（ａ）部分のような学習データの分布図に加え、各サンプルの値を図上にプロットする等の可視化を付け加えても構わない。
【0178】
このように、提案法（本発明）によれば、分類（選択）後に、処理ステップを逆順に追跡し、各スコア等を図示することで、判別根拠を確認及び可視化できる。これによって、最終判別結果の信頼度を他候補の類似クラススコアや判別スコア等によって推し量ることができる。また、根拠となった特徴量を特定することで、その解釈によって分類後の考察に繋げることもできる。
【0179】
＜選択特徴量の個数と最小被覆数との関係＞
上記実施例における、選択特徴量の個数と最小被覆数
上記実施例における、選択特徴量の個数と最小被覆数
【0180】
【数20】
【0181】
の関係を図１７のグラフに示す。ここでは、傾きが概ね1/5の直線的関係が得られており、がん８クラス/正常24クラスで、しかも内部的なサブクラス分割を伴うような、高度な
マルチクラス分類問題に対して、概ね選択５個ごとに、それら全てのクラス判別を被覆するような特徴量セットを選択できていることを意味している。すなわち、本発明で開示された方法の、特徴選択を集合被覆問題への帰着し、拡張することによる効果が大きいこと、マルチクラス分類問題において、効率的に最小被覆数を向上可能であることが示されている。また、図１７より、得られた特徴量セットを微調整することで、全体の特徴量のごく一部、具体的には必要な最小被覆数の５倍以下で高い判別能を示す特徴量セットを創り出すことができ、そのような少ない個数で最小被覆数を充足している特徴量セットに大きな価値があることがわかる。
マルチクラス分類問題に対して、概ね選択５個ごとに、それら全てのクラス判別を被覆するような特徴量セットを選択できていることを意味している。すなわち、本発明で開示された方法の、特徴選択を集合被覆問題への帰着し、拡張することによる効果が大きいこと、マルチクラス分類問題において、効率的に最小被覆数を向上可能であることが示されている。また、図１７より、得られた特徴量セットを微調整することで、全体の特徴量のごく一部、具体的には必要な最小被覆数の５倍以下で高い判別能を示す特徴量セットを創り出すことができ、そのような少ない個数で最小被覆数を充足している特徴量セットに大きな価値があることがわかる。
【0182】
＜最小被覆数と最小Ｆ値との関係＞
選択特徴量セットにおける最小被覆数
選択特徴量セットにおける最小被覆数
【0183】
【数21】
【0184】
と最小Ｆ値（判別対象クラスのうち、テストデータにおける判別能Ｆ値の最小値）との関係を図１８のグラフに示す。これから、最小被覆数が0の場合はほとんど性能が出せないこと、同5前後で最小Ｆ値が0.8になり、同10前後で0.85になり、同60前後で0.9になること、が読み取れる。すなわち、まず、最小被覆数が少なくとも1以上の特徴量セットを選択しないとほとんど性能を出せないことがわかる。また、実際に求められるＦ値の詳細基準はもちろん問題によって様々であるが、0.80、0.85、0.90はわかりやすい基準のため、最小被覆数が5ないし10ないし60以上となるような特徴量セットに価値があることがわかる。前項（選択特徴量の個数と最小被覆数との関係）と併せて、本発明により実現できる「比較的少ない選択特徴量の個数（提示されている最小被覆数の５倍以下）で、被覆数を達成すること」は特に価値がある。
【0185】
なお、上述した「メチル化サイトと生体組織分類」についての実施例は、あくまでも具体的事例の１つである。本発明の手法は十分に一般化されており、バイオ分野以外の任意の特徴量選択及びマルチクラス分類に適用することができる。例えば、画像に写った人物をクラス分類（例えば、アジア、オセアニア、北米、南米、東欧、西欧、中近東、アフリカ）する際に、顔の大きさや形、肌の色、髪の色、及び／または目、鼻、口、の位置、大きさ、形等の多数の特徴量から本発明の手法により特徴量を選択し、選択した特徴量を用いてマルチクラス分類を行うことができる。また、本発明の手法を農林漁業生産物や工業製品、あるいは各種の統計データについての特徴量選択及びクラス分類に適用してもよい。
【0186】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第２の実施形態では、上述した第１の実施形態に対し、さらにリキッドバイオプシの諸課題を想定したマルチクラス分類を行う。
次に、本発明の第２の実施形態について説明する。第２の実施形態では、上述した第１の実施形態に対し、さらにリキッドバイオプシの諸課題を想定したマルチクラス分類を行う。
【0187】
＜リキッドバイオプシの諸課題を想定したマルチクラス分類＞
本発明は様々な現実問題に適用可能なものであるが、ひとつの重要な応用展開事例として、例えばLiquid Biopsy（リキッドバイオプシ）、すなわち、採血した血液中におけるがん由来cfDNA(cell free DNA)：ctDNAの有無を判定する検査が挙げられる。つまり、計測対象サンプルは、検出対象の試料と別試料との混合物で、しかも検出対象試料の濃度が薄いことを想定しなければならない。
本発明は様々な現実問題に適用可能なものであるが、ひとつの重要な応用展開事例として、例えばLiquid Biopsy（リキッドバイオプシ）、すなわち、採血した血液中におけるがん由来cfDNA(cell free DNA)：ctDNAの有無を判定する検査が挙げられる。つまり、計測対象サンプルは、検出対象の試料と別試料との混合物で、しかも検出対象試料の濃度が薄いことを想定しなければならない。
【0188】
したがって、「サンプルがいずれかの単一クラスにのみ由来する」という前提、つまり「Liquid Biopsyに対するTissue Biopsy（ティッシュバイオプシ）、すなわち判別対象の組織細胞をほぼ純粋な形で採取できる」という前提には、がん由来cfDNA（ctDNA）が仮に存在しても、（１）大量の背景血漿と混合している、（２）ctDNAは断片化しておりしかも微量である、という課題がある。図１９の（ａ）部分は、このようなティッシュバイオプシについて示す図であり、同図の（ｂ）部分はリキッドバイオプシについて示す図である。つまり、リキッドバイオプシにおいてマルチクラス分類を行うならば、「すべての特徴量をティッシュバイオプシの場合と同様に計測できるとは限らない」と想定しなければならない。
【0189】
図２０は、リキッドバイオプシの場合の特徴量選択及びマルチクラス分類についての課題を説明するための図であり、図の上下方向がサイト（特徴量）の並びを示し、三角形で示した箇所（メチル化がONのサイト）が計測ポイントである。図２０の（ａ）部分はティッシュバイオプシでの状態を示し、同図の（ｂ）部分はリキッドバイオプシでの状態を示す。リキッドバイオプシの場合、計測ポイント９００のように特徴量が欠損しており「シグナルがない」と誤認する場合や、計測ポイント９０１のように血漿と重なっておりシグナルを判別できない場合がある。
【0190】
そこで、図２０のように（１）特徴量の一部が欠損する場合、及び（２）特徴量の値が血漿と重なる場合、の各場合にも、正しくマルチクラス分類を実現する方法が求められる。そして、そのような応用は、血液中からのがん検出に限らず、様々な用途が考えられるものである。
【0191】
本願発明者はこのような事情を考慮して鋭意検討を重ね、本発明の第２の実施形態についての着想を得た。つまり、ロバストな判別に資するスイッチのように機能する特徴量を列挙し、かつ、必要なクラスのペアワイズ判別を十分に被覆するような組み合わせ探索に基づく特徴量選択方法、さらに、選択サイト（選択特徴量）のうちロバストな判別部位のみを用いて、シンプルなバイナリクラス分類器からトーナメント階層法と併せてマルチクラス分類器を構成する方法に基づいて、さらに（１）特徴量の一部が欠損する場合、（２）特徴量の値が血漿と重なる場合、の各場合にも、正しくマルチクラス分類を実現する方法を構成した。これにより、現実問題に近いような、様々な特性を織り込んだ特徴量選択を伴うマルチクラス分類にも、本発明の第２の実施形態を適用可能となる。実際、第２の実施形態は、例えば後述するがん診断に見られるような、リキッドバイオプシの諸課題を想定したマルチクラス分類に適用可能である。本願発明者の提案する特徴量選択方法、マルチクラス分類方法、及び特徴量セットは、産業上極めて有用である。
【0192】
本発明の第２の実施形態によれば、検出対象の試料が別試料に混合している場合、検出対象試料からその特徴量の一部が欠損し、あるいは別試料の特徴量と紛れている場合にも、特に膨大な数の特徴量を有するサンプルを、選択したごく一部の特徴量の値に基づき、複数のクラス、特に多数のクラスのいずれかに、ロバストかつ高精度に分類することができる。例えば、具体的にはサンプル生体組織片の由来を判別したい場合、
（１）生体試料が、がんか否か、どの臓器のものか、を判別したい
（２）生体試料は血液に混合されたものであり、血液測定により該試料の存否を検出したい
（３）生体試料の量は必ずしも十分ではなく、部分的な欠損があり得る
等の場合に、第２の実施形態による特徴量選択を伴うマルチクラス分類の方法を提供することができる。なお、具体例を後述するように、本発明の適用範囲は生体試料を対象とする場合に限定されるものではなく、マルチクラス分類で特徴量が欠損しうる事例一般に適用することができる。
（１）生体試料が、がんか否か、どの臓器のものか、を判別したい
（２）生体試料は血液に混合されたものであり、血液測定により該試料の存否を検出したい
（３）生体試料の量は必ずしも十分ではなく、部分的な欠損があり得る
等の場合に、第２の実施形態による特徴量選択を伴うマルチクラス分類の方法を提供することができる。なお、具体例を後述するように、本発明の適用範囲は生体試料を対象とする場合に限定されるものではなく、マルチクラス分類で特徴量が欠損しうる事例一般に適用することができる。
【0193】
＜マルチクラス分類装置の構成＞
第２の実施形態においても、特徴量選択方法（特徴量選択プログラム）及びマルチクラス分類方法（マルチクラス分類プログラム）の各処理は、第１の実施形態と同様にマルチクラス分類装置１０（具体的な構成は図２，３等及び関連する記載を参照）で実行可能である。実行に際し、ユーザは操作部４００を介して必要な操作（誤分類確率の目標値を設定する操作や誤分類評価パラメータを設定する操作、実行指示等）を行うことができ、マルチクラス分類装置１０は、ユーザの操作に従って、または自動的に条件を設定して（目標値設定工程等）、特徴量選択及びマルチクラス分類方法を実行する。なお、マルチクラス分類装置１０は、Ｎ個のクラスから、１個以上のベースクラスをあらかじめ別枠で指定しておくことができる（ベースクラス指定工程、ベースクラス指定処理）。マルチクラス分類装置１０は、ユーザの操作に基づいてベースクラスを指定してもよいし、ユーザの操作によらずに自動的に指定してもよい。
第２の実施形態においても、特徴量選択方法（特徴量選択プログラム）及びマルチクラス分類方法（マルチクラス分類プログラム）の各処理は、第１の実施形態と同様にマルチクラス分類装置１０（具体的な構成は図２，３等及び関連する記載を参照）で実行可能である。実行に際し、ユーザは操作部４００を介して必要な操作（誤分類確率の目標値を設定する操作や誤分類評価パラメータを設定する操作、実行指示等）を行うことができ、マルチクラス分類装置１０は、ユーザの操作に従って、または自動的に条件を設定して（目標値設定工程等）、特徴量選択及びマルチクラス分類方法を実行する。なお、マルチクラス分類装置１０は、Ｎ個のクラスから、１個以上のベースクラスをあらかじめ別枠で指定しておくことができる（ベースクラス指定工程、ベースクラス指定処理）。マルチクラス分類装置１０は、ユーザの操作に基づいてベースクラスを指定してもよいし、ユーザの操作によらずに自動的に指定してもよい。
【0194】
＜１．マルチクラス分類の拡張方法＞
上述した基本的な方法を前提に、ここから、第２の実施形態の詳細を説明していく。そこで以降では、第１の実施形態について上述した問題を一般化し、ベースクラスの大量試料に、検出ターゲットの試料が混入しているサンプルを想定する。なお、以下の説明で、選択特徴量を「マーカー」と記載する場合がある。
上述した基本的な方法を前提に、ここから、第２の実施形態の詳細を説明していく。そこで以降では、第１の実施形態について上述した問題を一般化し、ベースクラスの大量試料に、検出ターゲットの試料が混入しているサンプルを想定する。なお、以下の説明で、選択特徴量を「マーカー」と記載する場合がある。
【0195】
＜重み付けによるスコアの補正＞
上述したペアワイズに対してペアスコアを計算していく際、特にベースクラスと任意のターゲットクラスとの組合せに注目する。例えばペアワイズ{A,O}の集計において、判別フラグが有効なサブセットを選ぶところは基本的な方法と同じで、サンプル特徴量の値について、それが純粋なベースクラスか、ベースクラスとターゲットクラスとの混合かを判定するように修整すれば良い。
上述したペアワイズに対してペアスコアを計算していく際、特にベースクラスと任意のターゲットクラスとの組合せに注目する。例えばペアワイズ{A,O}の集計において、判別フラグが有効なサブセットを選ぶところは基本的な方法と同じで、サンプル特徴量の値について、それが純粋なベースクラスか、ベースクラスとターゲットクラスとの混合かを判定するように修整すれば良い。
【0196】
しかしさらに、ターゲット由来の試料に欠損がある可能性がある、つまり、「仮にターゲット試料が混合していて、ターゲットクラスとして分類することが期待されている場合でも、一部の特徴量では、ベースパターンの値しか検出されない」という可能性がある。そのような場合、欠損部はいわば「不戦敗」になってしまうため、ベースパターンよりのスコア（例えばマイナス値）が支配的になりがちである。この状況を、図２１の計測ポイント９０３（ターゲットの特徴量が欠損している計測ポイント）に示す。そこで、欠損を見越して、ベースと異なるターゲット一致マーカーに、重みを与える（マルチクラス分類の判別結果がターゲットクラス（第１のクラス）になる事例が多くなるように特徴量の重み付けを行う；第１評価工程、第１評価処理）ことでスコアを補正し、欠損があっても正しくターゲットを検出できるようにする（本発明の第８、第９、第１７～第２０の態様を参照）。この状況を、図２１の計測ポイント９０４（補正スコア＋Wを与えている）に示す。
【0197】
さらに、上記ではベースクラスと任意のターゲットクラスとの組み合わせに注目したが、非ベースクラスである任意ターゲットクラス同士のペアワイズにも注目する（スコアの補正を行う）ことが望ましい。これは、例えば図２２の計測ポイント９０５のように、ターゲットＡ（第２のクラス）対ターゲットＢ（第３のクラス）の比較マーカーにおいてターゲットＡがベースパターン（図２２の左側）に近い場合、計測ポイント９０６のように、スコアの補正がないとターゲットＡがターゲットＢより優位になりがちだからである。すなわち、「いずれのターゲット由来の試料が混在しているか」を判定する場合にも、やはり「特徴量としてはベースクラスに近しい値が計測されやすい」という事情は変わらない。
【0198】
そこで、非ベースクラス同士のペアワイズ比較においても、計測値とベースクラスの特徴量の値とを比較し（参照工程、参照処理）、ベースから離れた値の場合に、重みを与えることでスコアを補正し、欠損があるターゲットクラス同士でも正しい検出を可能にすることが望ましい（本発明の第１１の態様を参照）。具体的には、参照の結果、ターゲットＡ（第２のクラス）について、ターゲットＡとベースクラスＯとのペアワイズ{A,O}の判別可能性があり、かつ特徴量の値がターゲットＡに近い場合、バイナリクラス分類工程の判別結果がターゲットＡになる事例が多くなるように重み付けを行う（第２評価工程、第２評価処理）。同様に、ターゲットＢ（第３のクラス）について、ターゲットＢとベースクラスＯとのペアワイズ{B,O}の判別可能性があり、かつ特徴量の値がターゲットＢに近い場合、バイナリクラス分類工程の判別結果がターゲットＢになる事例が多くなるように重み付けを行う（第３評価工程、第３評価処理）。なお、こちらの補正量についても以降と同様の手順で設定してもよいし、あるいは、両ターゲットクラスとベースクラスのパターン距離を考慮して異なる補正量を設定してもよい。
【0199】
＜補正量を決める方法＞
次に、具体的な補正量を決める方法の実施形態を示す。マルチクラス分類の性能指標としては、例えば感度および適合度をあげることができる（もちろんＦ値や特異度など、別の指標を用いてもよいが、以降の趣旨は同様に適用できる）。つまり、ターゲットの検出を目的とする際、（１）与サンプルが実際にターゲットクラス由来だった場合（そのような試料が混在していた場合）に、サンプルをターゲットクラス由来と判別すること（本来はベースクラスとは別のクラスに属するサンプルが、ベースクラスに誤分類される確率である第２の誤分類確率を評価し、この第２の誤分類確率を低くすること；第２の確率評価工程、第２の確率評価処理）、（２）与サンプルに実際にターゲット由来の試料が混在していない場合に、ターゲットクラス由来と判別しないこと（すなわち、本来はベースクラスに属するサンプルが、重み付けによってベースクラス以外の任意の別のクラスに誤分類される確率である第１の誤分類確率を評価し、この第１の誤分類確率を低くすること；第１の確率評価工程、第１の確率評価処理）、の両方が重要である。
次に、具体的な補正量を決める方法の実施形態を示す。マルチクラス分類の性能指標としては、例えば感度および適合度をあげることができる（もちろんＦ値や特異度など、別の指標を用いてもよいが、以降の趣旨は同様に適用できる）。つまり、ターゲットの検出を目的とする際、（１）与サンプルが実際にターゲットクラス由来だった場合（そのような試料が混在していた場合）に、サンプルをターゲットクラス由来と判別すること（本来はベースクラスとは別のクラスに属するサンプルが、ベースクラスに誤分類される確率である第２の誤分類確率を評価し、この第２の誤分類確率を低くすること；第２の確率評価工程、第２の確率評価処理）、（２）与サンプルに実際にターゲット由来の試料が混在していない場合に、ターゲットクラス由来と判別しないこと（すなわち、本来はベースクラスに属するサンプルが、重み付けによってベースクラス以外の任意の別のクラスに誤分類される確率である第１の誤分類確率を評価し、この第１の誤分類確率を低くすること；第１の確率評価工程、第１の確率評価処理）、の両方が重要である。
【0200】
ここで、補正の重み付けを大きくすると、（１）の確度は増加する一方で、（２）の確度は減少する（ターゲット検出の感度は増加するが、適合度が低下する）。補正の重み付けを小さくすると、逆に、（１）の確度は減少する一方で、（２）の確度は増加する。そこで、何らかの性能目標を設定し（目標値設定工程、目標値設定処理）、重み付けの（１）及び（２）の確度が設定した性能目標に収まるように、または逸脱量が最小化するように、重み付けを調整することが望ましい（重み付け調整工程、重み付け調整処理）。そして、これらの工程によりバイナリクラス分類器からマルチクラス分類器を構成し（構成工程、構成処理）、そのマルチクラス分類器を用いてマルチクラス分類を行うことが望ましい（本発明の第１２の態様を参照）。
【0201】
なお、性能目標は上述のような感度、適合度、特異度、Ｆ値など、どれを用いてもよいし、全クラス共通でも、ベースクラスとターゲットクラス群とで異なっていても、またベースクラス及び複数のターゲットクラスの種類ごとに（Ｎ個のクラスごとに）異なっていてもよい。
【0202】
ここで、（１）及び（２）の範囲が交差する（（１）及び（２）の両方を満足する補正量が存在しない）、あるいは、別に何らか定めた補正量範囲が設定されている等で、適切な補正量を設定できなかった場合には、補正を有効にしても目標を達成できないと予測されるわけだから、ユーザに警告できることが特に望ましいし（第１警告工程、第１警告処理；本発明の第１６の態様を参照）、また、補正量の下限がW=1以下の場合には補正が不要と予測される（重み付けによる補正を行わなくても性能目標が達成可能と予測される）わけだから、ユーザにその旨を通知してもよい（第２警告工程、第２警告処理；本発明の第１６の態様を参照）。
【0203】
このような調整方法としてさらに具体的な実施形態を挙げる。欠損を一様抽出としてモデル化すれば、図２３で説明するように、マーカー信頼性r、欠損率m、ペアワイズ被覆数n、目標性能α/β（第１の誤分類確率及び第２の誤分類確率の目標値）に基づいて、二項分布を利用して、重み付けＷの設定可能幅（重み付け範囲）を計算することができる（重み付け設定工程、重み付け設定処理）。ここで、マーカー信頼性r、欠損率m、ペアワイズ被覆数n、目標性能α/βのうち一部または全部を誤分類評価パラメータとして設定することができる（評価パラメータ設定工程、評価パラメータ設定処理）。マルチクラス分類装置１０は、操作部４００を介したユーザの操作に従って誤分類評価パラメータを設定してもよいし、マルチクラス分類装置１０が自動的に設定してもよい。また、マルチクラス分類装置１０は、これらの工程によりバイナリクラス分類器からマルチクラス分類器を構成し（構成工程、構成処理）、そのマルチクラス分類器を用いてマルチクラス分類を行う（本発明の第１３の態様を参照）。
【0204】
つまり、真の所属クラスがベースのサンプルから誤って非ベースと判定されるシグナルが計測される個数co-は、二項分布Bi(p=1-r,n)に従う（つまり、確率1-rで成立する試行をn回、独立に行った場合の試行成立回数に対応する）。同様に、試料に真にターゲット試料が混在しているサンプルから、正しくターゲットと判定されるシグナルが計測される個数cx+は、二項分布Bi(p=r(1-m),n)に従う。このとき、上記（１）に対応する重み付け補正量Wは以下の式（２２）のようになり、上記（２）に対応する重み付け補正量Wは式（２３）のようになる。
【0205】
【数22】
【0206】
【数23】
【0207】
つまり、上記（１）及び（２）にちょうど対応する補正量を計算して、補正量の上限及び下限（重み付け範囲）をそれぞれ設定することができる（重み付け調整工程、重み付け調整処理）。
【0208】
なお、このように、一様抽出に対応する場合には、確率分布には二項分布を用いることが望ましいが、必ずしも二項分布でなくても、例えば二項分布を近似した正規分布でも構わないし、あるいは一様抽出でない欠損を想定するならば、そのモデルに応じた適切な確率分布を採用しても構わない。
【0209】
＜学習による重み付けの決定＞
補正の重み付けは、学習によって決定してもよい。例えば、補正量計算のパラメータ（誤分類評価パラメータ）を学習データセット（第１学習データセット）から学習することができる（本発明の第１４の態様を参照）。ここで、例えばα/βに対応して、マーカー信頼性をターゲットとベースとで分けてもよい。（１）ターゲットマーカー信頼性 rxは、 補正なし（補正量W=1）のまま、ターゲット検出感度が 1-βになるような欠損率 m を探索し、その m で補正量W を 1 にする rx として設定することができる。（２）ベースマーカー信頼性 r0は、 欠損なし（欠損率m=0）のまま、ベース検出感度が 1-αになる補正量W を探索し、それに対応する r0 として設定することができる。もちろん、学習方法はこれに限らないし、ここでは（１）（２）に対応して、ターゲットマーカー信頼性とベースマーカー信頼性とを導入したが、さらにターゲットクラスごとにマーカー信頼性を計算し、それぞれ補正量を決定する等しても構わない。
補正の重み付けは、学習によって決定してもよい。例えば、補正量計算のパラメータ（誤分類評価パラメータ）を学習データセット（第１学習データセット）から学習することができる（本発明の第１４の態様を参照）。ここで、例えばα/βに対応して、マーカー信頼性をターゲットとベースとで分けてもよい。（１）ターゲットマーカー信頼性 rxは、 補正なし（補正量W=1）のまま、ターゲット検出感度が 1-βになるような欠損率 m を探索し、その m で補正量W を 1 にする rx として設定することができる。（２）ベースマーカー信頼性 r0は、 欠損なし（欠損率m=0）のまま、ベース検出感度が 1-αになる補正量W を探索し、それに対応する r0 として設定することができる。もちろん、学習方法はこれに限らないし、ここでは（１）（２）に対応して、ターゲットマーカー信頼性とベースマーカー信頼性とを導入したが、さらにターゲットクラスごとにマーカー信頼性を計算し、それぞれ補正量を決定する等しても構わない。
【0210】
あるいは、補正量自体を学習によって決定することもできる。すなわち、何らかの複数補正量を設定し、実際に学習データセット（第２学習データセット）のマルチクラス分類を試みて、（１）及び（２）の性能を確認することで、最良の性能になるような（マルチクラス分類の性能が高くなるように）補正量を選んでもよい（本発明の第１５の態様を参照）。補正量の探索方法としては、グリッドサーチや二分検索など、様々な方法を適用し得る。なお、ベースクラスとの判別不要クラス（判別不要クラス群）が存在する場合で、そのペアワイズについての判別可能性判定を省略している（展開するペアワイズ・カップリングから、マークされた判別不要クラス群同士のペアワイズ・カップリングを除外する除外工程、除外処理）場合は、例えばそれらをベースクラスとして扱い、上記の各場合と同様の補正を適用することができる（本発明の第１０の態様を参照）。
【0211】
＜特徴量選択の拡張方法：バランス選択＞
非ベースクラスのターゲットクラス間の判別については本発明の第７の態様に関連して言及したが、さらに、特徴量選択によってバランスを取る方法を説明する。図２４の計測ポイント９０７のようにターゲットＡ対ターゲットＢの比較マーカーにおいてベースパターンとの一致が一方のターゲット（同図の場合、ターゲットＡ）に偏ってしまうと、同図の計測ポイント９０８のように「補正あり」の場合はターゲットＢがターゲットＡより優位になりがちであり、「補正なし」の場合はターゲットＡがターゲットＢより優位になりがちである。つまり、偏りに応じて、判別されやすいターゲットとそうでないものが別れる。すなわち、いずれのターゲット由来の試料が混在しているかを判定する場合にも、やはり「特徴量としてはベースクラスに近しい値が計測されやすい」という事情は変わらず、補正なしだと、ベースに近いターゲットが検出されやすくなるのだが、逆に上述したのと同じ補正をかけると、今度はベースクラスから遠いターゲットが検出されやすくなってしまう。そこで、特徴量空間上で、任意のターゲットクラスがベースクラスから等距離に位置するように、特徴量を選択することが望ましい。
非ベースクラスのターゲットクラス間の判別については本発明の第７の態様に関連して言及したが、さらに、特徴量選択によってバランスを取る方法を説明する。図２４の計測ポイント９０７のようにターゲットＡ対ターゲットＢの比較マーカーにおいてベースパターンとの一致が一方のターゲット（同図の場合、ターゲットＡ）に偏ってしまうと、同図の計測ポイント９０８のように「補正あり」の場合はターゲットＢがターゲットＡより優位になりがちであり、「補正なし」の場合はターゲットＡがターゲットＢより優位になりがちである。つまり、偏りに応じて、判別されやすいターゲットとそうでないものが別れる。すなわち、いずれのターゲット由来の試料が混在しているかを判定する場合にも、やはり「特徴量としてはベースクラスに近しい値が計測されやすい」という事情は変わらず、補正なしだと、ベースに近いターゲットが検出されやすくなるのだが、逆に上述したのと同じ補正をかけると、今度はベースクラスから遠いターゲットが検出されやすくなってしまう。そこで、特徴量空間上で、任意のターゲットクラスがベースクラスから等距離に位置するように、特徴量を選択することが望ましい。
【0212】
具体的には、図２５（図の（ａ）部分は各クラスのマーカー値を示し、図の（ｂ）部分は選択ペアワイズの判別フラグ値を示す）に示すように、任意のペアワイズ{A,B}を判別するマーカーを選択する際に、ベースクラスとのペアワイズ{O,A}{O,B}の判別可能性（判別フラグが０なら判別可能性なし、１なら判別可能性あり）を参照し、その判別フラグがなるべく全てのペアワイズにおいて各々同数（同図の例では、ペアワイズ{O,A}、{O,B}で、判別フラグ値が１になるマーカーがそれぞれ３つ）になるようなマーカーセット（特徴量群、特徴量セット）を選択すればよい（集計工程、集計処理、集計結果のバランス度を評価した特徴量群の組合せの選択；本発明の第１の態様を参照）。このような選択は、補正を有効にしている場合に特に効果的だが、補正が有効でなくても、非ベースクラス間のペアワイズの欠損影響がバランス化されるため、やはり効果があると考えられる。
【0213】
なお、ベースクラスとの判別不要クラスが存在する（与クラスのうち一部を，互いに判別の必要がない第１の判別不要クラス群としてマークする第１のマーキング工程、第１のマーキング処理）場合で、そのペアワイズについての判別可能性判定を省略している（展開するペアワイズ・カップリングから、マークされた第１の判別不要クラス群同士のペアワイズ・カップリングを除外する第１の除外工程、第１の除外処理）場合は、例えばそれらをベースクラス扱いし、バランス考慮の対象外とすることができる（本発明の第３の態様を参照）。具体的には、ベースクラスＯまたはベースクラスとの判別が不要なクラスＮ以外の任意のクラスＸ（例えば、がん）について、ペアワイズ｛O,X｝とペアワイズ{O,N}をバランスさせる必要はない。
【0214】
さらに、このように選択され、任意２クラスのペアワイズを判別可能な特徴量群を，データセットを参照して定量化した際に，全ペアワイズ・カップリングにおいて，少なくとも１つの特徴量で判別可能とマークされていて，かつ各ベースクラスを含まない任意のペアワイズ・カップリング｛Ａ，Ｂ｝について、上記（３）で定量化した判別可能性のある特徴量について、さらに同様にペアワイズの各クラス｛Ａ，Ｂ｝と各ベースクラス｛Ｏ｝とのペアワイズ｛Ｏ，Ａ｝｛Ｏ，Ｂ｝の２つの判別可能性がバランスされている（差分が最小化されている）ことによって特徴付けられた、マーカーセット（特徴量セット）そのものも、本発明の実施形態のひとつである（本発明の第２１の態様を参照）。マルチクラス分類装置１０は、このマーカーセットを用いて、マルチクラス分類（本発明のマルチクラス分類方法）を行う。
【0215】
さらに、複数ベースクラスを設定した場合に、与特徴量のうち、複数ベースクラス全てで分布が近しいものを選び出し、そこに限定して、以降同様に特徴量を選択してもよい（特徴量群の選択対象を指定した全てのベースクラス同士の判別可能性がない特徴量に限定する限定工程、限定処理；本発明の第２の態様を参照）。例えば、がん検出を目的とする場合で、がん以外に、既に肝障害等を患っていることが判明している、あるいはその可能性があるため、血液中に肝臓組織が漏洩する可能性がある場合、このような特徴量選択によって、その影響を受けずに適切な特徴量選択及びマルチクラス分類をすることが可能になる。なお、「ベースクラス同士の判別可能性がない」とは、「ベースクラスＯ１，Ｏ２に対してペアワイズ判別フラグ値｛O1,O2｝が０になる特徴量」という意味であり、上述の態様では選択対象をそのような特徴量に限定することになる。
【0216】
＜実施例＞
第２の実施形態についても、上述した第１の実施形態と同じオープンデータを用いた検討を行った。したがって、がん検出を目的とする、特徴量選択を伴うマルチクラス分類を例示する。図２６は、実施例におけるテスト環境を示す図である。まず、学習フェーズにおいては、組織採取の遺伝子DNAメチル化データをそのまま投入する。ただし、テストフェーズにおいては、サンプルデータの各特徴量に対してランダムに、欠損率mの確率でサンプル値に血漿パターン値を挿入する。ここで、選択特徴量の個数（マーカー数）は250個とした。
第２の実施形態についても、上述した第１の実施形態と同じオープンデータを用いた検討を行った。したがって、がん検出を目的とする、特徴量選択を伴うマルチクラス分類を例示する。図２６は、実施例におけるテスト環境を示す図である。まず、学習フェーズにおいては、組織採取の遺伝子DNAメチル化データをそのまま投入する。ただし、テストフェーズにおいては、サンプルデータの各特徴量に対してランダムに、欠損率mの確率でサンプル値に血漿パターン値を挿入する。ここで、選択特徴量の個数（マーカー数）は250個とした。
【0217】
＜重み付け補正の効果＞
まず、重み付け補正による効果を示す。図２７は、横軸に欠損率、縦軸にがん検出の感度/適合度をプロットし、従来法（補正なしの場合）と提案法（本発明による補正ありの場合）とを比較したものである。全クラス共通で感度（＝適合度）＝80%を目標とした。従来法では欠損率20～25%で目標を維持できなくなるのに対し、本発明では、適切な重み付け補正により「欠損率75～80％程度まで、目標を維持できる」という効果が示されている。
まず、重み付け補正による効果を示す。図２７は、横軸に欠損率、縦軸にがん検出の感度/適合度をプロットし、従来法（補正なしの場合）と提案法（本発明による補正ありの場合）とを比較したものである。全クラス共通で感度（＝適合度）＝80%を目標とした。従来法では欠損率20～25%で目標を維持できなくなるのに対し、本発明では、適切な重み付け補正により「欠損率75～80％程度まで、目標を維持できる」という効果が示されている。
【0218】
なお、本実施例では、前述の通り誤分類の許容値を20%、またペアワイズ被覆数を50とし、さらに、がんマーカー信頼性と、正常マーカー信頼性とを２つ区別し、本発明の実施形態で開示した方法にしたがって、学習データからそれらパラメータを学習し、その上で、適切な補正量を決定して、その上限と下限の中間値に補正量を設定した。図２８の（ａ）部分はパラメータの設定値を示す表であり、同図の（ｂ）部分は補正量の上限及び下限を示す表である。このように、例えば欠損率90%を設定すると、上限値＜下限値となるので、適切な補正ができない旨をユーザに警告することができる（第１警告工程、第１警告処理）。しかも、実際に90%では目標性能から大きく逸脱した結果が示されている。また、欠損率20以下では必ずしも補正を有効にしなくてもよく、そのように（重み付けによる補正を行わなくても性能目標が達成可能と予測される旨を）ユーザに通知することができる（第２警告工程、第２警告処理）。しかも、実際に20%程度までは目標性能の範囲内に結果が概ね収まっていることが示されている。
【0219】
次に、重み付け補正量の学習適性を示す。図２９は、欠損率70%設定で、横軸にがん/正常組織検出の感度/適合度をプロットし、縦軸に並べた３パターンの補正量での各性能を図示したものである。これによると、例えば３段階の重み付け補正量（4.0, 8.8, 13.6）によって分類を試み、そのうち最良の補正量（8.8）を選択可能で、設計目標を達成できるようになることが示されている。
【0220】
＜特徴量バランス選択の効果＞
さらに、特徴量バランス選択の効果を示す。図３０は、横軸に欠損率、縦軸にがん検出のＦ値（感度と適合度の調和平均）の最小値・平均値をプロットし、提案法Ｉ（補正あり、バランス選択なしの場合）と提案法II（補正あり、バランス選択ありの場合）とで、比較したものである。本発明で提案する特徴量バランス選択により、平均Ｆ値がほとんど変わらない中、最小Ｆ値を上昇させる効果（例えば欠損率70%の場合で概ね0.65→0.75）が示されている。
さらに、特徴量バランス選択の効果を示す。図３０は、横軸に欠損率、縦軸にがん検出のＦ値（感度と適合度の調和平均）の最小値・平均値をプロットし、提案法Ｉ（補正あり、バランス選択なしの場合）と提案法II（補正あり、バランス選択ありの場合）とで、比較したものである。本発明で提案する特徴量バランス選択により、平均Ｆ値がほとんど変わらない中、最小Ｆ値を上昇させる効果（例えば欠損率70%の場合で概ね0.65→0.75）が示されている。
【0221】
＜第２の実施形態の他の適用事例＞
本発明の第２の実施形態は、言うまでもなく、マルチクラス分類で特徴量が欠損し得る事例であれば、cfDNA の場合に限らず広く適用することができる。例えば、ハガキ、電話、面談、インターネット等々のアンケートから、顧客（アンケート回答者）の想定クラス（様々なタイプの顧客タイプなど）を分類する際、アンケートによっては回答必須とはせず、あるいは回答がなかった故に、回答項目がないことも想定され、その場合は欠損を仮定してもよい。この場合、実施形態で述べたように、回答項目ごとに欠損率の設定を変えてもよい。特に、アンケート結果が何らかの集団単位で予め集計されていて、その集計から、異なる分類像の回答者が集団に混入しているかどうかを判定し、かつその回答者の分類像を特定する問題等に適合性が高い。あるいは例えば、写真等の画像から被写体の想定クラス（動物の種類、製品の種類、あるいは欠陥の有無など）を分類する際、撮影条件やフラッシュの映り込み、手などの障害物により、画像の一部の欠損を仮定してもよい。特に、検出したい被写体が他の被写体や背景画像に移り込んでいる問題等に適合性が高い。これは画像に限らず、音声においても同様である。第２の実施形態は、特にcfDNAに限定するものではなく、上記事例を含むマルチクラス分類で特徴量が欠損し得る事例一般に適用できることは明らかである。
本発明の第２の実施形態は、言うまでもなく、マルチクラス分類で特徴量が欠損し得る事例であれば、cfDNA の場合に限らず広く適用することができる。例えば、ハガキ、電話、面談、インターネット等々のアンケートから、顧客（アンケート回答者）の想定クラス（様々なタイプの顧客タイプなど）を分類する際、アンケートによっては回答必須とはせず、あるいは回答がなかった故に、回答項目がないことも想定され、その場合は欠損を仮定してもよい。この場合、実施形態で述べたように、回答項目ごとに欠損率の設定を変えてもよい。特に、アンケート結果が何らかの集団単位で予め集計されていて、その集計から、異なる分類像の回答者が集団に混入しているかどうかを判定し、かつその回答者の分類像を特定する問題等に適合性が高い。あるいは例えば、写真等の画像から被写体の想定クラス（動物の種類、製品の種類、あるいは欠陥の有無など）を分類する際、撮影条件やフラッシュの映り込み、手などの障害物により、画像の一部の欠損を仮定してもよい。特に、検出したい被写体が他の被写体や背景画像に移り込んでいる問題等に適合性が高い。これは画像に限らず、音声においても同様である。第２の実施形態は、特にcfDNAに限定するものではなく、上記事例を含むマルチクラス分類で特徴量が欠損し得る事例一般に適用できることは明らかである。
【0222】
以上で本発明の実施形態及び他の例に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
【符号の説明】
【0223】
１０ マルチクラス分類装置
１００ 処理部
１０２ 入力処理部
１０４ 選択処理部
１０６ 定量化処理部
１０８ 最適化処理部
１１０ 判定処理部
１１２ 取得処理部
１１４ クラス判定処理部
１１５ 出力処理部
１１６ ＣＰＵ
１１８ ＲＯＭ
１２０ ＲＡＭ
２００ 記憶部
３００ 表示部
３１０ モニタ
４００ 操作部
４１０ キーボード
４２０ マウス
５００ 外部サーバ
５１０ 外部データベース
９００ 計測ポイント
９０１ 計測ポイント
９０３ 計測ポイント
９０４ 計測ポイント
９０５ 計測ポイント
９０６ 計測ポイント
９０７ 計測ポイント
９０８ 計測ポイント
ＮＷ ネットワーク
Ｓ１００～Ｓ１２４ マルチクラス分類方法の各処理
１００ 処理部
１０２ 入力処理部
１０４ 選択処理部
１０６ 定量化処理部
１０８ 最適化処理部
１１０ 判定処理部
１１２ 取得処理部
１１４ クラス判定処理部
１１５ 出力処理部
１１６ ＣＰＵ
１１８ ＲＯＭ
１２０ ＲＡＭ
２００ 記憶部
３００ 表示部
３１０ モニタ
４００ 操作部
４１０ キーボード
４２０ マウス
５００ 外部サーバ
５１０ 外部データベース
９００ 計測ポイント
９０１ 計測ポイント
９０３ 計測ポイント
９０４ 計測ポイント
９０５ 計測ポイント
９０６ 計測ポイント
９０７ 計測ポイント
９０８ 計測ポイント
ＮＷ ネットワーク
Ｓ１００～Ｓ１２４ マルチクラス分類方法の各処理
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】