特許 7439560 データセットのバイアス視覚化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-19

(45)【発行日】2024-02-28

(54)【発明の名称】データセットのバイアス視覚化

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240220BHJP

【ＦＩ】

G06N20/00

【請求項の数】 20

(21)【出願番号】P 2020027929

(22)【出願日】2020-02-21

(65)【公開番号】P2020184312

(43)【公開日】2020-11-12

【審査請求日】2022-11-17

(31)【優先権主張番号】16/396242

(32)【優先日】2019-04-26

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】スリニバサン・ラムヤ マルアー

(72)【発明者】

【氏名】チャンダー・アジャイ

【審査官】多賀 実

(56)【参考文献】

【文献】特開２０１８－０９２３４９（ＪＰ，Ａ）

【文献】梅田裕平，「データの形が教えてくれること －トポロジカル・データ・アナリシスとその応用－」，情報処理，第57巻, 第11号，一般社団法人情報処理学会，2016年10月15日，pp.1122-1127，ISSN：0447-8053

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｆ １８／００－１８／４０

(57)【特許請求の範囲】

【請求項1】

コンピュータが実行する方法であって、
解析のためのデータセットを取得することと、
候補に基づきバイアスをかけられる結果を前記データセットが含むかどうかを予測するために、潜在的なバイアスの少なくとも１の前記候補を選択することと、
前記候補及び前記結果に基づき、前記データセットの点群を生成することと、
機械学習により前記データセットに対して分類を実行することより前に、前記候補及び前記結果に基づき、前記点群に対してパーシステントホモロジを計算することと、
前記パーシステントホモロジに基づき、該パーシステントホモロジ内の複体の存続期間を示すパーシステンスバーコードをプロットすることと、
前記パーシステンスバーコード内で最も長いバーコードの長さを決定することと、
前記最も長いバーコードに基づく前記バイアスの定量化と、前記パーシステンスバーコードの前記プロットに基づく前記バイアスの視覚化とを生成することと
を有する方法。

【請求項2】

第２候補に基づき前記データセット内の前記結果がバイアスをかけられるかどうかを予測するために、前記データセットの前記第２候補を選択することと、
前記第２候補及び前記結果に基づき、前記データセットの第２点群を生成することと、
前記第２候補及び前記結果に基づき、第２の組のパーシステンスバーコードをプロットすることと、
前記第２の組のパーシステンスバーコードの中で最も長いバーコードの長さを決定することと、
前記パーシステンスバーコードの中で最も長いバーコードと、前記第２の組のパーシステンスバーコードの中で最も長いバーコードとの相対長さに基づき、前記候補と前記第２候補との間の相対バイアスを決定することとを
更に有する、請求項１に記載の方法。

【請求項3】

前記バイアスの前記定量化を生成することは、前記パーシステンスバーコードの組及び前記第２の組のパーシステンスバーコードが同じであるとの仮説においてパーミュテーションテストを実行することを含む、
請求項２に記載の方法。

【請求項4】

前記パーシステントホモロジを計算することは、
前記点群内の点が接続されるべきである半径を段階的に増大させることと、
複体の各特徴ごとの、当該特徴が現れる場合の生成半径、及び当該特徴が姿を消す場合の消滅半径を格納することと
によって、Ｒｉｐｓ複体を生成することを有し、
前記パーシステンスバーコードは、前記生成半径と前記消滅半径との間のインターバルを表す、
請求項１に記載の方法。

【請求項5】

前記点群内の前記半径の段階的な増大の進行の視覚アニメーションを生成することを更に有する、
請求項４に記載の方法。

【請求項6】

前記結果に対する前記候補のバイアスの定量化に基づき機械学習のためのモデルを訓練することを更に有し、該訓練することは、前記バイアスの前記定量化がない場合よりも素早く行われる、
請求項１に記載の方法。

【請求項7】

前記最も長いバーコードは、次元０の特徴に基づき、対応するクラスタを示す、
請求項１に記載の方法。

【請求項8】

前記最も長いバーコードは、次元１の特徴に基づき、対応するホールを示す、
請求項１に記載の方法。

【請求項9】

前記最も長いバーコードは、次元２の特徴に基づき、対応するキャビティを示す、
請求項１に記載の方法。

【請求項10】

命令を含む非一時的なコンピュータ可読媒体であって、
前記命令は、１以上のプロセッサによって実行される場合に、
解析のためのデータセットを取得することと、
候補に基づきバイアスをかけられる結果を前記データセットが含むかどうかを予測するために、潜在的なバイアスの少なくとも１の前記候補を選択することと、
前記候補及び前記結果に基づき、前記データセットの点群を生成することと、
機械学習により前記データセットに対して分類を実行することより前に、前記候補及び前記結果に基づき、前記点群に対してパーシステントホモロジを計算することと、
前記パーシステントホモロジに基づき、該パーシステントホモロジ内の複体の存続期間を示すパーシステンスバーコードをプロットすることと、
前記パーシステンスバーコード内で最も長いバーコードの長さを決定することと、
前記最も長いバーコードに基づく前記バイアスの定量化と、前記パーシステンスバーコードの前記プロットに基づく前記バイアスの視覚化とを生成することと
を有する動作を実行するよう構成される、前記コンピュータ可読媒体。

【請求項11】

前記動作は、
第２候補に基づき前記データセット内の前記結果がバイアスをかけられるかどうかを予測するために、前記データセットの前記第２候補を選択することと、
前記第２候補及び前記結果に基づき、前記データセットの第２点群を生成することと、
前記第２候補及び前記結果に基づき、第２の組のパーシステンスバーコードをプロットすることと、
前記第２の組のパーシステンスバーコードの中で最も長いバーコードの長さを決定することと、
前記パーシステンスバーコードの中で最も長いバーコードと、前記第２の組のパーシステンスバーコードの中で最も長いバーコードとの相対長さに基づき、前記候補と前記第２候補との間の相対バイアスを決定することとを
更に有する、請求項１０に記載のコンピュータ可読媒体。

【請求項12】

前記バイアスの前記定量化を生成することは、前記パーシステンスバーコードの組及び前記第２の組のパーシステンスバーコードが同じであるとの仮説においてパーミュテーションテストを実行することを含む、
請求項１１に記載のコンピュータ可読媒体。

【請求項13】

前記パーシステントホモロジを計算することは、
前記点群内の点が接続されるべきである半径を段階的に増大させることと、
複体の各特徴ごとの、当該特徴が現れる場合の生成半径、及び当該特徴が姿を消す場合の消滅半径と格納することと
によって、Ｒｉｐｓ複体を生成することを有し、
前記パーシステンスバーコードは、前記生成半径と前記消滅半径との間のインターバルを表す、
請求項１０に記載のコンピュータ可読媒体。

【請求項14】

前記動作は、前記点群内の前記半径の段階的な増大の進行の視覚アニメーションを生成することを更に有する、
請求項１３に記載のコンピュータ可読媒体。

【請求項15】

前記動作は、前記結果に対する前記候補のバイアスの定量化に基づき機械学習のためのモデルを訓練することを更に有し、該訓練することは、前記バイアスの前記定量化がない場合よりも素早く行われる、
請求項１０に記載のコンピュータ可読媒体。

【請求項16】

前記最も長いバーコードは、次元０の特徴に基づき、対応するクラスタを示す、
請求項１０に記載のコンピュータ可読媒体。

【請求項17】

前記最も長いバーコードは、次元１の特徴に基づき、対応するホールを示す、
請求項１０に記載のコンピュータ可読媒体。

【請求項18】

前記最も長いバーコードは、次元２の特徴に基づき、対応するキャビティを示す、
請求項１０に記載のコンピュータ可読媒体。

【請求項19】

１以上のプロセッサと、
前記１以上のプロセッサと通信する表示デバイスと、
命令を含む１以上の非一時的なコンピュータ可読媒体と
を有するシステムであって、
前記命令は、前記１以上のプロセッサによって実行される場合に、当該システムに、
解析のためのデータセットを取得することと、
候補に基づきバイアスをかけられる結果を前記データセットが含むかどうかを予測するために、潜在的なバイアスの少なくとも１の前記候補を選択することと、
前記候補及び前記結果に基づき、前記データセットの点群を生成することと、
機械学習により前記データセットに対して分類を実行することより前に、前記候補及び前記結果に基づき、前記点群に対してパーシステントホモロジを計算することと、
前記パーシステントホモロジに基づき、該パーシステントホモロジ内の複体の存続期間を示すパーシステンスバーコードをプロットすることと、
前記パーシステンスバーコード内で最も長いバーコードの長さを決定することと、
前記最も長いバーコードに基づく前記バイアスの定量化と、前記パーシステンスバーコードの前記プロットに基づく前記バイアスの視覚化とを生成することと、
前記バイアスの前記定量化及び前記バイアスの前記視覚化を前記表示デバイスへ出力することと
を有する動作を実行させる、前記システム。

【請求項20】

前記パーシステントホモロジを計算することは、
前記点群内の点が接続されるべきである半径を段階的に増大させることと、
複体の各特徴ごとの、当該特徴が現れる場合の生成半径、及び当該特徴が姿を消す場合の消滅半径と格納することと
によって、Ｒｉｐｓ複体を生成することを有し、
前記パーシステンスバーコードは、前記生成半径と前記消滅半径との間のインターバルを表し、
前記動作は、
前記点群内の前記半径の段階的な増大の進行の視覚アニメーションを生成することと、
前記表示デバイスにより前記視覚アニメーションを出力することと
を更に有する、
請求項１９に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実施形態は、データセットのバイアスの決定及び／又は視覚化に関係がある。

【背景技術】

【0002】

機械学習システムは、データセットを解析し、様々な結果及び／又はそれらの結果に関連した変数の間の相関を特定し得る。しかし、そのようなデータセットは、機械学習がデータセットに適用される場合に考慮されるべきデータのバイアスを含むことがある。

【発明の概要】

【0003】

本開示の１以上の実施形態は、解析のためのデータセットを取得することと、潜在的なバイアスの少なくとも１の候補を選択し、該候補に基づき、バイアスをかけられる結果を前記データセットが含むかどうかを予測することとを含んでよい。方法はまた、前記候補及び前記結果に基づき、前記データセットの点群を生成することを含んでよい。方法は更に、機械学習により前記データセットに対して分類を実行することより前に、前記候補及び前記結果に基づき、前記点群に対してパーシステントホモロジを計算することを含んでよい。方法はまた、前記パーシステントホモロジに基づき、該パーシステントホモロジ内の複体の存続期間を示し得るパーシステンスバーコードをプロットすることと、前記パーシステンスバーコード内で最も長いバーコードの長さを決定することと、前記最も長いバーコードに基づく前記バイアスの定量化及び前記パーシステンスバーコードの前記プロットに基づく前記バイアスの視覚化を生成することとを含んでよい。

【0004】

実施形態の目的及び利点は、少なくとも、特許請求の範囲で特に指し示されている要素、特徴、及び組み合わせによって、実現及び達成される。

【0005】

上記の概要及び下記の詳細な説明はいずれも、単に例及び説明にすぎず、限定でない点が理解されるべきである。

【0006】

例となる実施形態が、添付の図面の使用を通じて、更なる特定及び詳細をもって記載及び説明される。

【図面の簡単な説明】

【0007】

【図1】データセット内のバイアスを決定及び／又は視覚化するために使用され得るシステムを例示する図である。

【図2A】データセット内のバイアスを決定及び／又は視覚化することに関連した様々な単体複体及び／又はバーコードとともに点群を例示する図である。

【図2B】データセット内のバイアスを決定及び／又は視覚化することに関連した様々な単体複体及び／又はバーコードとともに点群を例示する図である。

【図2C】データセット内のバイアスを決定及び／又は視覚化することに関連した様々な単体複体及び／又はバーコードとともに点群を例示する図である。

【図2D】データセット内のバイアスを決定及び／又は視覚化することに関連した様々な単体複体及び／又はバーコードとともに点群を例示する図である。

【図3A】データセット内のバイアスを決定及び／又は視覚化することを助けるプロットされたパーシステンスバーコードの例を表す。

【図3B】データセット内のバイアスを決定及び／又は視覚化することを助けるプロットされたパーシステンスバーコードの例を表す。

【図4】データセット内のバイアスの決定及び／又は視覚化を助ける方法の例のフローチャートを例示する。

【図5】データセット内のバイアスの決定及び／又は視覚化を助ける方法の他の例のフローチャートを例示する。

【図6】データセット内のバイアスの決定及び／又は視覚化を助けるようＲｉｐｓ複体を生成する方法の例のフローチャートを例示する。

【図7】例となるコンピューティングシステムを表す。

【発明を実施するための形態】

【0008】

本開示は、機械学習システムを訓練するためにデータセットが使用される前の、及び／又はデータセットに対して機械学習システムが他の処理を実行する前の、そのデータセット内のバイアスの決定及び定量化に関係がある。それらの他のタスクより前にバイアスを機械学習システムに与えることによって、機械学習システムは、より効率的に動作することができる。

【0009】

バイアスを決定するために、バイアス予測器は、データセット内の結果にバイアスをかけるかもしれないデータセット内の候補を利用してよい（例えば、債務の履行を怠った人々をデータセットが含んでいる場合に、年齢は、人が自身の債務の履行を怠ったか否かにバイアスをかけるかもしれない。）。候補及び結果に基づき、バイアス予測器は、パーシステントホモロジが実行され得る点群（point cloud）を生成してよい。例えば、段階的に半径を増大させることによって、点群に対してろ過（filtration）プロセスが実行されてよい。２つの点が、互いの増大された半径内にある場合に、２つの点の間にエッジが引かれてよい。エッジが引かれると、エッジは単体（simplexes）（例えば、三角形、四面体、又はそれらのより高次の対応物）を形成してよく、そして、単体どうしが一緒になって単体複体（simplicial complexes）（例えば、複体における夫々の交差エッジ、面、又は点が２つの隣接する単体の間で完全に共有される単体の組み合わせ）を形成してよい。半径が増大するにつれて、それらの単体複体は、ホール（holes）又はキャビティ（cavities）のような点群内の特徴を形成し得る。これらの特徴の存続期間は、特徴の生成半径（birth radius）で（例えば、ホールが最初に形成する場合に）始まり、そして特徴の消滅半径（death radius）で（例えば、ホールが単体で満たされる場合に）終わるバーコードを用いて、特定され得る。点群内の全ての潜在的なエッジをカバーするように半径が増大された後に、バーコードがプロットされ、最も長いバーコードが決定され得る。最も長いバーコードを使用して、データセット内でその候補についてバイアスが存在するか否かが判定され得る。

【0010】

候補に対するバイアスの決定を助けるために、最も長いバーコードは、その候補についての他のバーコードと比較されてよい。追加的に、又は代替的に、１つの候補についての最も長いバーコード及び／又はバーコードの分布は、別の候補についての他のバーコードと比較されてもよい。最も長いバーコード及び／又はバーコードの組が有意に異なっている場合には、候補はバイアスを課す可能性がある。本明細書で使用されるように、語「バイアス」は、データセット内の結果に不均等に重み付けするかもしれない寄与因子を含み得る。例えば、データセット内の結果が、借り手が自身の債務の履行を怠ったか否かであった場合に、性別、年齢、又はジップコードは全て、借り手が履行を怠ったか否かの結果にバイアスを導入する可能性がある因子であり得る。

【0011】

１以上の例となる実施形態が、添付の図面を参照して説明される。

【0012】

図１は、本開示の１以上の実施形態に従って、データセット内のバイアスを決定及び／又は視覚化するために使用され得るシステム１００を例示する図である。システム１００は、バイアス予測器１１０を含んでよい。バイアス予測器１１０は、１以上のデータセット１２０（単称形でデータセット１２０と呼ばれてもよい。）及び／又はユーザ１３０からの他のユーザ入力を入力として使用してよい。バイアス予測器１１０は、与えられたデータセット内にバイアスがあるか否かを決定してよい。バイアス予測器１１０は、表示１４０を生成してよい。表示１４０は、バイアスの視覚化及び／又はバイアスの定量化を含んでよい。いくつかの実施形態で、決定は、機械学習システム１５０へ供給されてよく、機械学習システム１５０の訓練は、バイアスに関する決定に基づき促進される。

【0013】

動作中、バイアス予測器１１０は、データセット１２０を取得して、データセット１２０にバイアスが存在するか否かがを決定してよい。バイアスが存在するか否かの決定は、機械学習システム１５０によって分類を実行することより前に実行されてよく、あるいは、言い換えれば、バイアスがデータセット１２０において存在するか否かを決定するために前処理動作として実行されてよい。

【0014】

データセット１２０は、任意数の要素を含んでよく、各要素は、要素及びその要素の結果について記載する任意数の因子を含んでよい。例えば、データセット１２０は、貸付返済不能データセットを含んでよく、各要素は、複数の因子（例えば、個人のクレジット記録、貯金、当座預金ステータス、資産、住宅、職業、年齢、性別、住居のジップコード、収入に対する債務の割合、など）及び結果（例えば、債務の履行を怠った）を含む。因子のいずれかが候補として使用され、その特定の候補が結果にバイアスをかけるかどうか（例えば、その人の性別、年齢などが、債務の履行を怠ったか否かに対してバイアスを課すか）が判定され得る。データセット１２０は、求職者及び与えられた職業、車両停止及び発行された違反通知、顧客サービス通話及び発行された払い戻し、山火事及びそれらが起きた地域、などのような、バイアスをかけられる可能性がある因子とともに、任意の結果を含んでよい。例が与えられてきたが、本開示は、結果と、その結果に寄与し及び／又はバイアスをかける可能性がある因子とを含む如何なるデータセットにも適用可能である。

【0015】

いくつかの実施形態で、バイアス予測器１１０は、バイアスの候補を、候補のバイアスによって影響を及ぼされるかもしれない結果とともに取得してよい。候補及び結果を用いて、データセットの点群がバイアス予測器１１０によって生成され得る。例えば、点群は、（ｘ，ｙ）の形で座標によりユークリッド（Euclidian）空間を含んでよく、点群内の点について、候補をｘ値として、結果をｙ値として有している。

【0016】

いくつかの実施形態で、候補は、自動的に選択されてよい（例えば、バイアス予測器１１０は、特定の潜在的な候補、全ての潜在的な候補、などを巡回してよい。）。追加的に、又は代替的に、ユーザ１３０が、解析及び／又は他の候補との比較のために１以上の候補を選択してもよい。例えば、ユーザ１３０は、一対の候補の相対バイアスに関する仮説を提起してよい。

【0017】

バイアス予測器１１０は、候補及び結果に基づき生成された点群を使用して、データセット１２０に対してパーシステントホモロジ（persistence homology）を実行してよい。例えば、データセット１２０の点群は、点群の２つの点が半径内にある場合にエッジによって結合され得るその半径を漸進的に（段階的に）増大させることによって解析され得る。半径を増大させ、そして結果を観測するそのようなプロセスは、ろ過プロセスと呼ばれ得る。エッジに基づき、エッジによって生成される単体複体が観測及びモニタされる。半径が増大するにつれて、エッジの数は増え、単体複体の数は増える。別の言い方をすれば、半径の段階的な増大ごとにＲｉｐｓ複体が形成され、そして、漸進的なＲｉｐｓ複体がモニタされる。単体複体が形成されるにつれて、単体複体の組み合わせは、クラスタ（clusters）、ホール（holes）、キャビティ（cavities）、ギャップ（gaps）などのような、点群で観測され得る様々な特徴を形成する。これら及び他の実施形態で、夫々の所与の特徴についての生成半径及び消滅半径がバイアス予測器１１０によって格納される。生成半径は、特徴が最初に現れた半径に対応し、消滅半径は、特徴が姿を消した半径に対応する。夫々の個々の生成半径及び消滅半径は、パーシステンスバーコード（persistence barcode）に対応し得る。パーシステンスバーコードは、生成半径と消滅半径との間の差、例えば、半径の長さの変化に基づき特徴がどれくらい長く存続したか、を表し得る。パーシステンスバーコードの組み合わせは、特徴の相対的な存続期間の理解を助けるように、且つ、バイアスを視覚化するように、互いに対してプロットされてよい。

【0018】

いくつかの実施形態で、単体複体によって形成される特徴は、データセット及び実行される解析に応じて、次元が様々であり得る。例えば、所与の特徴の次元はゼロ（０）であってよく、データ点のクラスタに対応し得る。他の例として、所与の特徴の次元は１であってよく、データ点におけるホールに対応し得る。更なる例として、所与の特徴の次元は２であってよく、データ点におけるキャビティに対応し得る。

【0019】

記載されたバーコードを用いて、バイアス予測器１１０は、候補がデータセット１２０においてバイアスを引き起こすか否かを決定してよい。例えば、最も長いバーコードは、特定の特徴がどれくらい長く存続したかに対応し得る。特徴が長期間存続した（例えば、半径に対する多数の段階的な増大を通じて残存していた）場合に、その特徴はバイアスに対応する可能性が高い。対照的に、最も長いバーコードが比較的短い場合には、データセット１２０においてバイアスが存在する可能性は低い。

【0020】

パーシステントホモロジを使用するそのようなアプローチの使用の例は、図２Ａ～２Ｄを参照して記載され得る。

【0021】

いくつかの実施形態で、第１候補を使用するデータセット１２０の第１点群のバーコードは、第２候補を使用するデータセット１２０の第２点群のバーコードと比較されてよい。２つの候補に基づく最も長いバーコードの相対長さを比較することによって、２つの候補の間のバイアスの相対尤度が決定され得る。例えば、仮説が正しいか否かを決定するために、仮説に対してパーミュテーションテスト（permutation test）が実行されてよい。そのような仮説は、第１候補及び第２候補がバイアスに対して等しい効果を有する（例えば、第１候補及び第２候補が最も長いバーコードについて近似的に同じ長さを有する）との帰無仮説（null hypothesis）と、第１候補及び第２候補が同等でない量のバイアスを有するとの対立仮説（alternate hypothesis）とを含んでよく、パーミュテーションテストの結果は、どの仮説（例えば、帰無仮説又は対立仮説）が誤っており拒絶されるべきであるかを明らかにする。

【0022】

相対的なバーコード長さの比較の例は、図３Ａ及び３Ｂを参照して記載され得る。

【0023】

バイアス予測器１１０によるバイアスの決定に基づき、バイアス予測器１１０は、多数の方法で結果を利用及び／又は分配してよい。いくつかの実施形態で、バイアス予測器１１０は、バイアスの描写を含む表示１４０を生成してよい。例えば、表示１４０は、特定の候補がデータセット１２０においてバイアスを引き起こすか否かに対する２進解答（例えば、「はい」又は「いいえ」）を含んでよい。他の例として、表示１４０は、候補の１つ以上に基づく点群の１つ以上についてのバーコードのプロットを含んでもよい。更なる例として、表示１４０は、検定される仮説が真又は偽と判断されたか否かの記述を含んでもよく、仮説が真である否かの数値定量化（例えば、パーミュテーションテストのｐ値）を含んでもよい。

【0024】

いくつかの実施形態で、バイアス予測器１１０は、候補についてのバイアスの決定を機械学習システム１５０へ供給してよい。機械学習システム１５０は、バイアスを考慮し及び／又はバイアスに働くようにデータセット１２０に対して機械学習システム１５０を訓練するために、バイアス情報を利用してよい。追加的に、又は代替的に、機械学習システム１５０は、バイアス決定を組み込むデータセット１２０の他の処理タスク又は他の特徴付けを実行してもよい。

【0025】

これら及び他の実施形態で、機械学習システム１５０によってデータセット１２０の処理及び／又は特徴付けを実行する前のデータセット１２０についてのバイアスの決定は、機械学習システム１５０が、典型的な機械学習システム又はバイアスの決定を伴わないそれらと比較して、より効率的に作動することを可能にし得る。例えば、バイアスの決定は、機械学習システム１５０のより迅速な訓練を促し得る。他の例として、データセット１２０の処理を実行する前にバイアス情報を有することによって、機械学習システム１５０は、データセット１２０の処理と同時に又はその後でバイアスを決定することと比べて、計算時間及び処理電力がより少なくて済む。機械学習システム１５０による処理、特徴付け、及び／又は訓練の前にバイアスを決定することによって、機械学習システム１５０は、貴重な計算資源を節約し、コンピュータシステムの機能を改善し得る。更には、バイアスに寄与する因子を知ることによって、特定の因子に基づく効率的なバイアス緩和アルゴリズムが設計され得る。例えば、性別に比べて年齢の方がバイアスに寄与すると決定された場合に、機械学習アルゴリズムは、性別に比べて緩和のために年齢をより重視するよう設計されてよく、それによって、アルゴリズムの性能は改善される。このように、データセット１２０内のバイアスに関して取得された情報は、機械学習システム１５０の優れた精度に寄与するバイアス緩和機械学習アルゴリズムの設計において情報を提供するのに役立ち得る。

【0026】

本開示の範囲から逸脱することなしに、システム１００に対して変更、追加、又は削除が行われてよい。例えば、記載される様態での種々の要素の指示は、本明細書で記載される概念を説明するのを助けるよう意図されており、限定ではない。更に、システム１００は、任意数の他の要素を含んでよく、あるいは、記載されている以外の他のシステム又はコンテクスト内で実施されてもよい。

【0027】

図２Ａ～２Ｄは、本開示の１以上の実施形態に従って、データセット内のバイアスを決定及び／又は視覚化することに関連した様々な単体複体及び／又はバーコードを含む点群の例を表す。図２Ａ～２Ｄは、単体複体の組み合わせによって生成されるホール、キャビティ、などのような特徴の漸進的な生成及び消滅を観察するために、半径の増大の進行を表す。特定のスナップショットが図２Ａ～２Ｄでは与えられているが、半径の変化は小さく、段階的に実行されてよく、図２Ａ～２Ｄは、単に、そのようなプロセスにわたって様々な点のスナップショットを提供し得る。更には、図２Ａ～２Ｄは、ダイヤグラム２００ａ～２００ｄで表されている点群に関連したパーシステンスバーコードのプロット２５０ａ～２５０ｄを表す。

【0028】

図２Ａに表されるように、ダイヤグラム２００ａは、点２１０から成る点群を含む。点２１０は、データセット内の潜在的なバイアスの候補と、バイアスによって影響を及ぼされ得る結果とのプロットであってよい。例えば、結果はクレジットスコアを含んでよく、候補は年齢を含んでよく、そのような例で、点群は、例えば、フォーム（候補，結果）の（ｘ，ｙ）候補対の組によって、年齢対クレジットスコアのプロットであってよい。プロット２５０ａは、現在の半径２５５が０単位であることを表し、そのようなものとして、特徴又は単体複体は観測されない。

【0029】

図２Ｂに表されるように、現在の半径２５５は、約１．３に増大されている。円２２０は、増大した半径を表す。円２２０が交わる場合に、円が交わる２つの点２１０の間にエッジが形成される。例えば、エッジ２３０は、隣接する点２１０に関連した２つの円２２０の間の重なりに基づき形成される。いくつかの状況で、一連のエッジが単体（例えば、単体２３２）を形成し、一連の単体が単体複体を形成し得る。いくつかの状況で、エッジ及び単体複体の組み合わせは結合して、ホールを形成する。例えば、一連のエッジはホール２４２ａ及び２４２ｂを形成する。

【0030】

プロット２５０ｂに表されるように、２つの特徴、すなわち、ホール２４２ａ及び２４２ｂが出現しており、これらはバーコード２８２ａ及び２８２ｂに対応する。特徴がダイヤグラム２００ｂに依然として存在するということで、バーコード２８２ａ及び２８２ｂの長さは依然として決定されている。

【0031】

図２Ｃに表されるように、現在の半径２５５は、約２．３に段階的に増大されてよい。円２２０は図２Ｂの円と比べて大きく、よって、更なるエッジ２３０及び複体が形成されている。例えば、四面体の単体２３４及び２３６が表されている。更に、図２Ｂで可視的なホール２４２ａ及び２４２ｂは、単体複体により満たされており、特徴の消滅を示唆する。更には、新しい特徴であるホール２４２ｃが形成されている。

【0032】

プロット２５０ｃに表されるように、図２Ｂで可視的なホール２４２ａ及び２４２ｂは、半径が約１．５に達したときに単体複体により満たされた。そのようなものとして、バーコード２８２ａ及び２８２ｂは、１．５の半径に対応する点で終了している。新しいホール２４２ｃは、半径の段階的な増大が約１．８に達したとき最初に現れ、そのようなものとして、バーコード２８２ｃは約１．８で始まり、特徴２４２ｃがダイヤグラム２００ｃに存在し続けるときに延び続ける。

【0033】

図２Ｄに表されるように、現在の半径２５５は、約４．４に段階的に延ばされてよい。図２Ｄに表されるように、ホール２４２ｃは単体複体により満たされている。これは、プロット２５０ｃにおいて約４．０でのバーコード２８２ｃの停止によって表されているように、半径が約４．０に達したときに起こっている。更なるホール、キャビティ、又は他のそのような特徴は、ダイヤグラム２００ｄに表されている点群によって形成され得ず又は存在しないということで、図２Ｄは、半径の完結した拡大を表す。

【0034】

いくつかの実施形態で、バーコード２８２ａ、２８２ｂ及び２８２ｃは、長さに基づきヒストグラム又は他のバーコードプロットでプロットされてもよい。例えば、バーコードは、バーコード２８２ｃ（長さは約２．２）から始まって、２８２ｂ（長さは約０．４）、及び２８２ａ（長さは約０．３）の縦の順序で配置されてもよい。これら及び他の実施形態で、他のバーコード２８２ａ及び２８２ｂに対して相対的に長いバーコード２８２ｃの存在は、解析下の候補に対してデータセット内のバイアスの存在を示し得る。

【0035】

いくつかの実施形態で、図２Ａ～２Ｄに表されているもののような、半径の段階的な増大及び／又は単体複体の形成の視覚化、及び／又はバーコードの生成は、バーコード予測器によって格納され、半径の段階的な増大のアニメーションを生成するようにつなげられてよい。

【0036】

本開示の範囲から逸脱することなしに、ダイヤグラム２００ａ～ｄ及び／又はプロット２５０ａ～２５０ｄに対して変更、追加、又は削除が行われてよい。例えば、記載される様態での種々の要素の指示は、本明細書で記載される概念を説明するのを助けるよう意図されており、限定ではない。更に、ダイヤグラム２００ａ～ｄ及び／又はプロット２５０ａ～２５０ｄは、任意数の他の要素を含んでよく、あるいは、記載されている以外の他のシステム又はコンテクスト内で実施されてもよい。例えば、基礎をなす原理を説明する便宜上、表されている点は少数であるが、点群をもたらすデータセットは、数千、数百万、数十億の点を含んでよく、それにより、本明細書で記載される原理は、同様に、大規模なデータセットに適用可能である。

【0037】

図３Ａ及び３Ｂは、本開示の１以上の実施形態に従って、データセット内のバイアスを決定及び／又は視覚化するのを助けるプロットされたパーシステンスバーコードの例を表す。図３Ａは、バーコード長さの間に実質的な差が存在する一対のプロット（プロット３００ａ及び３５０ａ）を表し、図３Ｂは、バーコード長さが実質的に同じようである一対のプロット（プロット３００ｂ及び３５０ｂ）を表す。プロット３００ａは、第１候補に関連してよく、プロット３５０ａは、第２候補に関連してよい。プロット３００ｂは、第３候補に関連してよく、プロット３５０ｂは、第２候補に関連してよい。

【0038】

図３Ａ及び３Ｂは、１０００個の要素を含むデータセットを用いて実行された、例となるテストの視覚化を含んでよい。データセット内の結果は、結果として貸付返済不能を含んでよく、因子は、クレジット記録、貯金、当座預金ステータス、資産、住宅、職業、年齢、性別、などを含む２０個の相異なる予測子を含んでよい。プロット３００ａは年齢に関連し、プロット３５０ａは性別に関連し、一方、プロット３００ｂは職業に関連し、プロット３５０ｂは性別に関連する。

【0039】

図３Ａに表されるように、プロット３００ａは、半径長さ３１０に基づく一連のパーシステンスバーコード３２０ａを表す。図２Ａ～２Ｄを参照して上述されたように、パーシステンスバーコードは、特定の特徴がパーシステントホモロジプロセスに存在する存続期間を表し得る。例えば、ほぼ全ての特徴は、１単位の半径の変化の場合には存在していたが、その後に、特徴は少なくなる。しかし、最も長いバーコード３２２ａを含む２つの相当により長いパーシステンスバーコードが存在する。最も長いバーコード３２２ａは、バーコード３２０ａの組の他のバーコードよりも有意に長く、これは、他の全てよりも有意に長く存続した特徴があること（例えば、図２Ｄに表されているバーコード２８２ｃがいかにバーコード２８２ａ及び２８２ｃよりも有意に長いか）を示す。

【0040】

いくつかの実施形態で、バーコード３２０ａの組の他のバーコードに対するバーコード３２２ａの長さは、プロット３００ａのバーコードが基づいている第１候補に対するバイアスの存在を表し得る。例えば、バーコード３２０ａの組の平均又は中央値が取得されてよく、最も長いバーコード３２２ａの長さは、バーコード３２０ａの組の中央又は平均値の長さと比較されてよい。長さが有意に異なる（例えば、１５０％、２００％、３００％など）場合には、バイアスの決定が存在し得る。追加的に、又は代替的に、相対長さは、第１候補についてのバイアスの可能性の数値定量化を提供し得る。

【0041】

いくつかの実施形態で、プロット３００ａのバーコードは、バイアスを決定するためにプロット３５０ａのバーコードと比較されてよい。例えば、プロット３５０ａの最も長いバーコード３７２ａは、プロット３００ａの最も長いバーコード３２２ａと比較されてよい。最も長いバーコード３２２ａが最も長いバーコード３７２ａとは有意に異なる場合に、その差は、プロット３００ａに関連した第１候補が、プロット３５０ａに関連した第２候補と比較して、データセットにおいてバイアスを引き起こす可能性がよりずっと高いことを示し得る。いくつかの実施形態で、それらの差の比は、バイアスの定量化を提供し得る。他の例として、仮説が真であるかどうかを決定するために、パーミュテーションテストを用いて仮説が検定されてよい。そのような仮説は、第１候補及び第２候補がデータセットの結果に対して同量のバイアスを有していることであってよく、バイアスの定量化は、パーミュテーションテストによって生成されるｐ値において反映され得る。そのようなパーミュテーションテストは、バーコード３２０ａの組全体をバーコード３７０ａの組全体、及び／又はそれらのサブセット（例えば、バーコード３２０ａ及び３７０ａの組からの最も長いバーコード３２２ａ及び３７２ａ並びに何らかの他のランダムな選択）と比較してよい。

【0042】

いくつかの実施形態で、プロット３００ａ及び３５０ａの対は、第１候補と第２候補との間の相対バイアスに関する仮説のテストの視覚描写に相当し得る。

【0043】

図３Ｂは、プロット３００ｂ及び３５０ｂを表す。プロット３００ｂ及び３５０ｂは、図３Ａのプロット３００ａ及び３５０ａと同様又は同等であってよい。なそ、図３Ｂに表されるように、第３候補に関連したバーコード３２０ｂの組は、バーコード３２０ａの組と比較して、より一様に分布し得る。例えば、最も長いバーコード３２２ｂは約１．０であり、一方、最も長いバーコード３２２ａは約４．０である。プロット３００ｂ及び３５０ｂの描写は、第２候補と第３候補との間のバイアスの相対的な適用性に関する仮説の検定の描写を含んでよい。

【0044】

いくつかの実施形態で、図３に関して上述されたように、同じ比較及び処理が、最も長いバーコード３２２ｂ及び３７２ｂ、及び／又はバーコード３２０ｂ及び３７０ｂの組に対して実行されてよい。プロット３００ｂ及び３５０ｂに表されるように、分布及び最も長いバーコードは、バーコード３２０ｂ及び３７０ｂの両方の組についておおよそ同じである。そのような状況で、第２候補及び第３候補の両方についてバイアスは存在しないと決定されてよく、且つ／あるいは、第３候補は、データセットにおいてバイアスを引き起こす可能性が第２候補と同じくらいであると決定されてよい。

【0045】

いくつかの実施形態で、相対的な決定は、（プロット３００ａ及び３５０ａによって表される）第１候補と第２候補及び（プロット３００ｂ及び３５０ｂによって表される）第３候補と第２候補の間の相対的な比較に基づき行われてよい。例えば、第３候補及び第２候補は、バイアスをデータセットに課す可能性が等しくあり、バイアスの相対値は、第１候補と第２候補との間で決定され得るので、第１候補と第２候補との間のバイアスの相対は同じであることが示唆される。追加的に、又は代替的に、プロット３００ａ及び３００ｂ及び／又はそれらの各々のバーコード（前に生成されていてよい。）は、第１候補と第３候補との間で仮説を検定する場合に新しいプロットを再び生じさせることよりもむしろ、相対的なバイアスを決定することにおいて利用されてよい。

【0046】

いくつかの実施形態で、プロット３００ａ、３００ｂ、３５０ａ、及び／又は３５０ｂのような視覚化は、バイアス予測器（例えば、図１のバイアス予測器１１０）によって出力を生成するときにバイアスの視覚化として含まれてよい。更には、バイアス予測器は、関心のある各候補についてバイアスの相対尤度を決定するために、候補の夫々の潜在的なペアリングを通じて処理してよい。

【0047】

本開示の範囲から逸脱することなしに、プロット３００ａ、３００ｂ、３５０ａ、及び／又は３５０ｂに対して変更、追加、又は削除が行われてよい。例えば、記載される様態での種々の要素の指示は、本明細書で記載される概念を説明するのを助けるよう意図されており、限定ではない。更に、プロット３００ａ、３００ｂ、３５０ａ、及び／又は３５０ｂは、任意数の他の要素を含んでよく、あるいは、記載されている以外の他のシステム又はコンテクスト内で実施されてもよい。

【0048】

図４は、本開示の１以上の実施形態に従って、データセット内のバイアスの決定及び／又は視覚化を助ける、例となる方法４００の、例となるフローチャートを表す。方法４００の１以上の動作は、図１のシステム１００、バイアス予測器１１０、及び／又は機械学習システム１５０のような、システム若しくはデバイス、又はそれらの組み合わせによって実行されてよい。別個のブロックとして表されているが、方法４００の様々なブロックは、所望の実施に応じて、更なるブロックに分けられても、より少ないブロックへとまとめられても、あるいは削除されてもよい。

【0049】

ブロック４０５で、データセットが取得されてよい。データセットは、任意数の要素を含んでよく、複数のコンポーネントを含んでよい。例えば、データセットは、任意数の因子と、因子が寄与するかもしれない１以上の結果とを含んでよい。データセットは、第三者のコンピュータデバイスから取得されても、ユーザによって入力されても、あるいは、如何なる他の方法でも取得されてもよい。

【0050】

ブロック４１０で、候補がデータセットの結果にバイアスをかけるかどうかのバイアス予測のために、候補が選択されてよい。例えば、バイアス予測器（例えば、図１のバイアス予測器１１０）が、候補に関連したバイアスを決定する解析のために１以上の候補を自動的に選択してよい。追加的に、又は代替的に、ユーザが候補を入力してもよく、その候補について、バイアス予測器はバイアスを決定すべきである。いくつかの実施形態で、バイアス予測器は、相対的なバイアスを決定するために、全ての潜在的な候補又は素のサブセットを巡回してよい。いくつかの実施形態で、候補は、性別、年齢、人種、性的指向などのような、１以上の法的に保護された分類に基づき選択されてもよい。

【0051】

ブロック４１５で、候補及び結果に基づき、データセットに対して、点群が生成されてよい。例えば、ユークリッド空間における一連の（ｘ，ｙ）点が点であってよく、このとき、ｘ値は、候補であり、ｙ値は、データセット内の要素の夫々についての結果である。

【0052】

ブロック４２０で、パーシステントホモロジが点群に対して計算されてよい。例えば、バイアス予測器は、点群についてＲｉｐｓ複体を生成するために半径をゆっくりと及び／又は段階的に増大させることによって、ろ過プロセスを実行してよい。半径の段階的な増大の間に、ホール、キャビティなどのような様々な特徴についての生成半径及び消滅半径が取得及び／又は格納されてよい。これら及び他の実施形態で、所与の特徴についての生成半径と消滅半径との間の差は、その所与の特徴に関連したパーシステンスバーコードとして格納されてよい。このプロセスの例となる視覚化は図２Ａ～２Ｄに表され得る。

【0053】

ブロック４２５で、パーシステントホモロジに基づき、パーシステンスバーコードがプロットされてよい。例えば、バイアス予測器は、ブロック４２０の間に生成されたパーシステンスバーコードを、最長から最短まで、ヒストグラム又は他のプロットにおいてプロットしてよい。

【0054】

ブロック４３０で、最も長いバーコードの長さが決定されてよい。例えば、ブロック４２５のパーシステンスバーコードのプロットは、最も長いバーコードを取得するように解析されてよく、その長さは決定され得る。

【0055】

ブロック４３５で、最も長いバーコードに基づき、バイアスの定量化が生成されてよい。追加的に、又は代替的に、パーシステンスバーコードのプロットに基づき、バイアスの視覚化が生成されてもよい。例えば、バイアス予測器は、候補についての点群に関連した最も長いバーコードを、他の候補についての１以上の他の最も長いバーコードと比較してよい。追加的に、又は代替的に、ブロック４２０のパーシステントホモロジで生成されたパーシステンスバーコードのプロット内の他のバーコードに対する最も長いバーコードの相対値が決定されてもよい。そのような相対値は、ブロック４２０のパーシステントホモロジで生成されたバーコードの組の平均値、平均、等との最も長いバーコードの比較に基づいてもよい。

【0056】

いくつかの実施形態で、バイアスの視覚化は、バイアスの決定に基づく如何なる視覚化も含んでよい。例えば、視覚化は、パーシステンスバーコードのプロットを含んでよい。他の例として、視覚化は、図２Ａ～２Ｄに表されるような、様々な長さにある半径による点群のプロットの１つ以上を含んでもよい。追加的に、又は代替的に、視覚化は、半径の増大のアニメーションにおいて一連の半径がつなげられるために、点群の複数のそのようなプロットを含んでもよい。

【0057】

ブロック４４０で、ブロック４３５からのバイアスの定量化に基づき、機械学習モデルが訓練されてよい。例えば、バイアス予測器は、定量化されたバイアスを機械学習システム（例えば、図１の機械学習システム１５０）へ供給してよく、それにより、機械学習システムは、バイアスに働くように訓練され得る。例えば、機械学習システムは、機械学習システムがより正確に実行し得るようにバイアスの影響を弱めるために、訓練で使用される場合にデータセットの特定の側面を調整してよい。バイアスが年齢に基づき決定された貸付返済不能の例を続けると、新たな人物が債務の履行を怠るか否かを決定するために機械学習システムに対してその人物のデータが供給される場合に、年齢に基づいたバイアスを考慮するように機械学習システムが訓練されるように、機械学習システムはバイアスに働いてよい。更に、機械学習システムによるデータの処理及び／又は機械学習システムによる訓練の前にバイアスは特定されるので、機械学習システムは、バイアス定量化がないよりも効率的に訓練され得る。

【0058】

本開示の範囲から逸脱することなしに、方法４００に対して変更、追加、又は削除が行われてよい。例えば、方法４００の動作は、異なる順序で実施されてもよい。追加的に、又は代替的に、２つ以上の動作が同時に実行されてもよい。更に、説明されている動作及びアクションは、例として与えられており、動作及びアクションのいくつかは、開示される実施形態の本質から外れることなしに、任意であっても、より少ない動作及びアクションへとまとめられても、あるいは、更なる動作及びアクションに拡張されてもよい。

【0059】

図５は、本開示の１以上の実施形態に従って、データセット内のデバイスの決定及び／又は視覚化を助ける、他の例となる方法５００の、他の例となるフローチャートを表す。方法５００の１以上の動作は、図１のシステム１００、バイアス予測器１１０、及び／又は機械学習システム１５０のような、システム若しくはデバイス、又はそれらの組み合わせによって実行されてよい。別個のブロックとして表されているが、方法５００の様々なブロックは、所望の実施に応じて、更なるブロックに分けられても、より少ないブロックへとまとめられても、あるいは削除されてもよい。

【0060】

ブロック５０５で、データセットが取得されてよい。ブロック５０５は、図４のブロック４０５と同様又は同等であってよい。

【0061】

ブロック５１０で、比較バイアス予測のための第１候補及び第２候補の仮説が選択されてよい。例えば、バイアス予測器（例えば、図１のバイアス予測器１１０）が、比較のための２つの候補を自動的に選択してよい。追加的に、又は代替的に、ユーザ（例えば、図１のユーザ１３０）が、比較バイアス予測のための２つの候補を手動入力してもよい。いくつかの実施形態で、仮説は、「２つの候補の間のバイアスは同じである」又は「２つの候補の間のバイアスを有意に異なっている」といった、記述が真であるか否かを決定されるべき記述を含んでもよい。

【0062】

ブロック５１５で、第１候補及びデータセットの結果に基づき、データセットの第１点群が生成されてよい。点群は第１候補に基づき生成され得るが、ブロック５１５は、図４のブロック４１５と同様又は同等であってよい。

【0063】

ブロック５２０で、第１点群に対して、パーシステントホモロジが計算されてよい。パーシステントホモロジは第１点群について計算され得るが、ブロック５２０は、図４のブロック４２０と同様又は同等であってよい。

【0064】

ブロック５２５で、第１点群について、最も長いバーコードの長さが決定されてよい。いくつかの実施形態で、ブロック５２５は、最も長いバーコードを特定するために、ブロック５２０で生成された全てのバーコードのバーコード長さを比較することを含んでよい。これら及び他の実施形態で、最も長いバーコードの決定は、図４のブロック４２５を参照して記載されたように、バーコードをプロットすることによって容易にされ得る。

【0065】

ブロック５３０で、第２候補及びデータセットの結果に基づき、データセットの第２点群が生成されてよい。ブロック５３０は、第１候補ではなく第２候補に基づき実行される点を除いて、ブロック５１５と同様又は同等であってよい。

【0066】

ブロック５３５で、第２点群に対して、パーシステントホモロジが計算されてよい。ブロック５３５は、第１点群ではなく第２点群について計算される点を除いて、ブロック５２０と同様又は同等であってよい。

【0067】

ブロック５４０で、第２点群について、最も長いバーコードの長さが決定されてよい。ブロック５４０は、第１点群ではなく第２点群に基づき決定される点を除いて、ブロック５２５と同様又は同等であってよい。

【0068】

ブロック５４５で、パーミュテーションテストに基づいて、第１点群の最も長いバーコードが第２点群の最も長いバーコードと有意に異なるか否かが決定されてよい。例えば、第１点群及び第２点群の両方のバーコードは、バーコードの２つの新たな分布を形成するように、結合されて再分配されてもよい。新たな分布からサンプルが引き出されてよく、それに対して仮説は検定される。そのようなプロセスは、引き出されるサンプルに基づき複数回繰り返されてよい。異なるサンプルに対応する様々な仮説からの全ての結果の統計値に基づき、仮説に関する結論が下され得る（バーコードの２つの分布からの最も長いバーコードの長さが同じか又は有意に異なるかどうか）。追加的に、又は代替的に、最も長いバーコードの相対長さの間の数値比較が実行されてもよい。有意な差がある場合には、方法５００はブロック５６０へ進んでよい。有意な差がない場合には、方法５００はブロック５６５へ進んでよい。

【0069】

ブロック５６０で、２つの候補の最も長いバーコード長さの間の有意な差に基づいて、バイアスは、第１候補に関連すると特定されてよい。

【0070】

ブロック５６５で、第１又は第２候補のいずれについてもバイアスは特定されなくてもよい。例えば、２つの最も長いバーコード及び／又は全てのバーコードの分布が近似的に同じであることに基づき、バイアス予測器は、それらの候補についてバイアスは存在しないと決定してよい。追加的に、又は代替的に、バイアス予測器は、２つの候補が比較的同じ量のバイアスを示すと決定してよく、バイアスの相対量を、第１候補及び第２候補がデータセットの結果にバイアスをかけるか否かを決定するために実行された他の決定と比較してもよい。

【0071】

本開示の範囲から逸脱することなしに、方法５００に対して変更、追加、又は削除が行われてよい。例えば、方法５００の動作は、異なる順序で実施されてもよい。追加的に、又は代替的に、２つ以上の動作が同時に実行されてもよい。更に、説明されている動作及びアクションは、例として与えられており、動作及びアクションのいくつかは、開示される実施形態の本質から外れることなしに、任意であっても、より少ない動作及びアクションへとまとめられても、あるいは、更なる動作及びアクションに拡張されてもよい。

【0072】

図６は、本開示の１以上の実施形態に従って、データセット内のバイアスの決定及び／又は視覚化を助けるようＲｉｐｓ複体を生成する、例となる方法６００の、他の例となるフローチャートを表す。方法６００の１以上の動作は、図１のシステム１００、バイアス予測器１１０、及び／又は機械学習システム１５０のような、システム若しくはデバイス、又はそれらの組み合わせによって実行されてよい。別個のブロックとして表されているが、方法６００の様々なブロックは、所望の実施に応じて、更なるブロックに分けられても、より少ないブロックへとまとめられても、あるいは削除されてもよい。いくつかの実施形態で、方法６００は、図４の動作４２０及び／又は図５の動作５２０及び／又は５３５の拡張であってよい。

【0073】

ブロック６１０で、接続される点群内の点間の半径は、段階的に増大されてよい。例えば、パーシステントホモロジ計算において、半径は距離を指定してよく、２つの点は、その距離内にある場合に、それらの間に描かれたエッジを有することになる。更には、エッジによって形成される如何なる単体も識別され、且つ／あるいは、単体複体へと形成されてよい。半径が増大するにつれて、単体複体によるホール、キャビティ、などの特徴の形成が識別され得る。

【0074】

ブロック６２０で、複体によって形成された特徴の夫々について、生成半径及び消滅半径が格納されてよい。例えば、ホールが最初に形成されるとき、ホールが形成される半径が格納されてよく、ホールが単体によって閉じられるとき、ホールが閉じられる半径が格納されてよい。これら及び他の実施形態で、消滅半径と生成半径との間の差は、特定の特徴に関連したバーコードとして格納されてよい。

【0075】

ブロック６３０で、半径の段階的な増大の進行の視覚アニメーションが生成されてよい。例えば、データ点及び単体複体の視覚描写は、ブロック６１０での半径の段階的な増大で使用される半径又は半径のサブセットの夫々について格納されてよい。視覚描写の連続は、単体形成、及び／又は単体複体に基づく様々な特徴の形成及び停止のアニメーションにおいて、つなぎ合わされてよい。

【0076】

本開示の範囲から逸脱することなしに、方法６００に対して変更、追加、又は削除が行われてよい。例えば、方法６００の動作は、異なる順序で実施されてもよい。追加的に、又は代替的に、２つ以上の動作が同時に実行されてもよい。更に、説明されている動作及びアクションは、例として与えられており、動作及びアクションのいくつかは、開示される実施形態の本質から外れることなしに、任意であっても、より少ない動作及びアクションへとまとめられても、あるいは、更なる動作及びアクションに拡張されてもよい。

【0077】

図７は、本開示で記載される少なくとも１つの実施形態に従って、データセット内のバイアスを決定及び／又は視覚化するのを助ける、例となるコンピューティングシステム７００を表す。コンピューティングシステム７００は、プロセッサ７１０、メモリ７２０、データストレージ７３０、及び／又は通信ユニット７４０を含んでよく、これらは全て、通信上結合されてよい。図１のシステム１００のいずれか又は全ては、バイアス予測器１１０及び機械学習システム１５０を含め、コンピューティングシステム７００に対応するコンピューティングシステムとして実装されてよい。例えば、バイアス予測器１１０は、データセットを取得し、データセットの候補及び結果に基づき点群を生成し、点群に基づきパーシステントホモロジを計算し、パーシステントホモロジで生成された最も長いバーコードに基づきバイアスを定量化するよう構成されてよい。

【0078】

一般に、プロセッサ７１０は、様々なコンピュータハードウェア又はソフトウェアモジュールを含む如何なる適切な特別目的又は汎用のコンピュータ、コンピューティングエンティティ、又は処理デバイスも含んでよく、如何なる適用可能なコンピュータ可読記憶媒体にも記憶されている命令を実行するよう構成されてよい。例えば、プロセッサ７１０は、プログラム命令を解釈するよう及び／又は実行するよう、且つ／あるいはデータを処理するよう構成されたマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はあらゆる他のデジタル若しくはアナログ回路も含んでよい。

【0079】

図７では単一のプロセッサとして表されているが、プロセッサ７１０は、本開示で記載される任意数の動作を個別的又は集合的に実行するよう構成される、任意数のネットワーク又は物理的位置にわたって分配された任意数のプロセッサを含んでよい。いくつかの実施形態で、プロセッサ７１０は、メモリ７２０、データストレージ７３０、又はメモリ７２０及びデータストレージ７３０に記憶されているプログラム命令を解釈及び／又は実行し且つ／あるいはデータを処理してよい。いくつかの実施形態で、プロセッサ７１０は、データストレージ７３０からプログラム命令をフェッチし、プログラム命令をメモリ７２０にロードしてよい。

【0080】

プログラム命令がメモリ７２０にロードされた後、プロセッサ７１０は、図４のプロセス４００、図５のプロセス５００、及び／又は図６のプロセス６００のいずれかを実行する命令のような、プログラム命令を実行してよい。例えば、プロセッサ７１０は、データセットにおいてバイアスを決定することに関する命令を取得してよい。

【0081】

メモリ７２０及びデータストレージ７３０は、コンピュータ実行可能命令又はデータ構造を搬送するか又は記憶しているコンピュータ可読記憶媒体又は１以上のコンピュータ可読記憶媒体を含んでよい。そのようなコンピュータ可読記憶媒体は、プロセッサ７１０のような汎用又は特別目的のコンピュータによってアクセスされ得る如何なる利用可能な媒体であってもよい。いくつかの実施形態で、コンピューティングシステム７００は、メモリ７２０及びデータストレージ７３０のいずれかを含んでも又は含まなくてもよい。

【0082】

例として、制限なしに、そのようなコンピュータ可読記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、電気的消去可能なプログラム可能リードオンリーメモリ（ＥＥＰＲＯＭ）、コンパクトディスク・リードオンリーメモリ（ＣＤ－ＲＯＭ）若しくは他の光学ディスクストレージ、磁気ディスクストレージ若しくは他の磁気記憶デバイス、フラッシュメモリデバイス（例えば、ソリッドステートメモリデバイス）、又はコンピュータ実行可能命令若しくはデータ構造の形で所望のプログラムコードを搬送若しくは記憶するために使用されてよく且つ汎用若しくは特別目的のコンピュータによってアクセスされ得る如何なる他の記憶媒体も含む非一時的なコンピュータ可読記憶媒体を含んでよい。上記の組み合わせも、コンピュータ可読記憶媒体の範囲内に含まれてよい。コンピュータ実行可能命令は、例えば、プロセッサ７１０に特定の動作又は動作群を引き起こすよう構成された命令及びデータを含んでよい。

【0083】

通信ユニット７４０は、ネットワーク上で情報を送信又は受信するよう構成される如何なるコンポーネント、デバイス、システム、又はそれらの組み合わせも含んでよい。いくつかの実施形態で、通信ユニット７４０は、他の場所若しくは同じ場所にある他のデバイス、又は同じシステム内の他のコンポーネントと通信してよい。例えば、通信ユニット７４０は、モデム、ネットワークカード（有線若しくは無線）、光通信デバイス、赤外線通信デバイス、無線通信デバイス（例えば、アンテナ）、及び／又はチップセット（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）デバイス、８０２．６デバイス（例えば、メトロポリタンエリアネットワーク（ＭＡＮ））、ＷｉＦｉデバイス、ＷｉＭａｘデバイス、セルラー通信設備、若しくは他）、などを含んでよい。通信ユニット７４０は、ネットワーク及び／又は本開示で記載される何らかの他のデバイス若しくはシステムとデータが交換されることを可能にし得る。例えば、通信ユニット７４０は、システム７００が、コンピュータデバイス及び／又は他のネットワークのような他のシステムと通信することを可能にし得る。

【0084】

当業者であれば、本開示を読んだ後に、変更、追加、又は削除がシステム７００に対して本開示の適用範囲から逸脱せずに行われてよいと認識し得る。例えば、システム７００は、明示的に図解及び記載されているものよりも多い又は少ないコンポーネントを含んでよい。

【0085】

上記の開示は、開示されている厳密な形態又は特定の使用分野に本開示を制限するよう意図されない。そのようなものとして、本開示に対する様々な代替の実施形態及び／又は変更は、本明細書で明示的に記載又は示唆されていようとなかろうと、本開示に照らして可能であると考えられる。このように本開示の実施形態について記載してきたが、本開示の範囲から逸脱することなしに形態及び詳細において変更が行われてよいことが認識され得る。よって、本開示は、特許請求の範囲によってのみ制限される。

【0086】

いくつかの実施形態で、本明細書で記載される種々のコンポーネント、モジュール、エンジン、及びサービスは、コンピューティングシステムで（例えば、別個のスレッドとして）実行するオブジェクト又はプロセスとして実装されてよい。本明細書で記載されるシステム及びプロセスのいくつかは概して、（汎用のハードウェアで記憶及び／又は実行される）ソフトウェアにおいて実装されるものとして記載されているが、具体的なハードウェア実装又はソフトウェア及び具体的なハードウェア実装の組み合わせも可能であり企図される。

【0087】

本明細書で、特に添付の特許請求の範囲（例えば、添付の特許請求の本文）で使用される語は、一般的に、“非限定的な（open）”用語として意図されている（例えば、語「含んでいる（including）」は、“～を含んでいるが、～に制限されない”との意に解釈されるべきであり、語「備えている（having）」は、「少なくとも～を備えている」との意に解釈されるべきであり、語「含む（includes）」は、“～を含むが、～に制限されない”との意に解釈されるべきである、など。）。

【0088】

更に、導入されたクレーム記載（introduced claim recitation）において特定の数が意図される場合、そのような意図は当該クレーム中に明確に記載され、そのような記載がない場合は、そのような意図も存在しない。例えば、理解を促すために、後続の添付された特許請求の範囲では、「少なくとも１つの（at least one）」及び「１つ以上の（one or more）」といった導入句を使用し、クレーム記載を導入することがある。しかし、このような句を使用するからといって、「a」又は「an」といった不定冠詞によりクレーム記載を導入した場合に、たとえ同一のクレーム内に、「１つ以上の」又は「少なくとも１つの」といった導入句と「a」又は「an」といった不定冠詞との両方が含まれるとしても、当該導入されたクレーム記載を含む特定のクレームが、当該記載事項を１しか含まない例に限定されるということが示唆されると解釈されるべきではない（例えば、「a」及び／又は「an」は、「少なくとも１つの」又は「１つ以上の」を意味すると解釈されるべきである。）。定冠詞を使用してクレーム記載を導入する場合にも同様のことが当てはまる。

【0089】

更には、導入されたクレーム記載において特定の数が明示されている場合であっても、そのような記載は、通常、少なくとも記載された数を意味するように解釈されるべきであることは、当業者には理解されるであろう（例えば、他に修飾語のない、単なる「２つの記載事項」という記載がある場合、この記載は、少なくとも２つの記載事項、又は２つ以上の記載事項を意味する。）。更に、「Ａ、Ｂ及びＣなどのうち少なくとも１つ」又は「Ａ、Ｂ及びＣなどのうちの１つ以上」に類する表記が使用される場合、一般的に、そのような構造は、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方、及び／又はＡとＢとＣの全て、などを含むよう意図される。例えば、語「及び／又は（and/or）」の使用は、このように解釈されるよう意図される。

【0090】

更に、２つ以上の選択可能な用語を表す如何なる離接語及び／又は離接句も、明細書、特許請求の範囲、又は図面のいずれであろうと、それら用語のうちの１つ、それらの用語のうちのいずれか、あるいは、それらの用語の両方を含む可能性を意図すると理解されるべきである。例えば、「Ａ又はＢ」という句は、「Ａ又はＢ」、あるいは、「Ａ及びＢ」の可能性を含むことが理解されるべきである。

【0091】

しかし、このような句を使用するからといって、「a」又は「an」といった不定冠詞によりクレーム記載を導入した場合に、たとえ同一のクレーム内に、「１つ以上の」又は「少なくとも１つの」といった導入句と「a」又は「an」といった不定冠詞との両方が含まれるとしても、当該導入されたクレーム記載を含む特定のクレームが、当該記載事項を１しか含まない例に限定されるということが示唆されると解釈されるべきではない（例えば、「a」及び／又は「an」は、「少なくとも１つの」又は「１つ以上の」を意味すると解釈されるべきである。）。定冠詞を使用してクレーム記載を導入する場合にも同様のことが当てはまる。

【0092】

加えて、語「第１（first）」、「第２（second）」、「第３（third）」などの使用は、要素の特定の順序又は数を示すために本願で必ずしも使用されているわけではない。一般に、語「第１」、「第２」、「第３」などは、異なる要素どうしを総称的な識別子として区別するために使用される。語「第１」、「第２」、「第３」などが特定の順序を示すとの明示がない限りは、それらの語が特定の順序を示すと理解されるべきではない。

【0093】

本明細書で挙げられている全ての例及び条件付き言語は、当該技術の促進に本発明者によって寄与される概念及び本発明を読者が理解するのを助ける教育上の目的を意図され、そのような具体的に挙げられている例及び条件に制限されないと解釈されるべきである。本開示の実施形態が詳細に記載されてきたが、様々な変更、置換、及び代替が、本開示の主旨及び適用範囲から逸脱することなしに行われてよい。

【0094】

開示される実施形態の上記の説明は、当業者が本開示を作成又は使用することを可能にするために与えられている。これらの実施形態に対する様々な変更は、当業者に容易に理解され、本明細書で提示される一般原理は、本開示の主旨又は適用範囲から逸脱することなしに他の実施形態に適用されてよい。よって、本開示は、本明細書で示される実施形態に制限されるよう意図されず、本明細書で開示される原理及び新規の特徴と一致する最も広い範囲を認められるべきである。

【0095】

上記の実施形態に加えて、以下の付記を開示する。
（付記１）
解析のためのデータセットを取得することと、
潜在的なバイアスの少なくとも１の候補を選択し、該候補に基づきバイアスをかけられる結果を前記データセットが含むかどうかを予測することと、
前記候補及び前記結果に基づき、前記データセットの点群を生成することと、
機械学習により前記データセットに対して分類を実行することより前に、前記候補及び前記結果に基づき、前記点群に対してパーシステントホモロジを計算することと、
前記パーシステントホモロジに基づき、該パーシステントホモロジ内の複体の存続期間を示すパーシステンスバーコードをプロットすることと、
前記パーシステンスバーコード内で最も長いバーコードの長さを決定することと、
前記最も長いバーコードに基づく前記バイアスの定量化と、前記パーシステンスバーコードの前記プロットに基づく前記バイアスの視覚化とを生成することと
を有する方法。
（付記２）
前記データセットの第２候補を選択し、該第２候補に基づき前記データセット内の前記結果がバイアスをかけられるかどうかを予測することと、
前記第２候補及び前記結果に基づき、前記データセットの第２点群を生成することと、
前記第２候補及び前記結果に基づき、第２の組のパーシステンスバーコードをプロットすることと、
前記第２の組のパーシステンスバーコードの中で最も長いバーコードの長さを決定することと、
前記パーシステンスバーコードの中で最も長いバーコードと、前記第２の組のパーシステンスバーコードの中で最も長いバーコードとの相対長さに基づき、前記候補と前記第２候補との間の相対バイアスを決定することとを
更に有する、付記１に記載の方法。
（付記３）
前記バイアスの前記定量化を生成することは、前記パーシステンスバーコードの組及び前記第２の組のパーシステンスバーコードが同じであるとの仮説においてパーミュテーションテストを実行することを含む、
付記２に記載の方法。
（付記４）
前記パーシステントホモロジを計算することは、
前記点群内の点が接続されるべきである半径を段階的に増大させることと、
複体の各特徴ごとの、当該特徴が現れる場合の生成半径、及び当該特徴が姿を消す場合の消滅半径を格納することと
によって、Ｒｉｐｓ複体を生成することを有し、
前記パーシステンスバーコードは、前記生成半径と前記消滅半径との間のインターバルを表す、
付記１に記載の方法。
（付記５）
前記点群内の前記半径の段階的な増大の進行の視覚アニメーションを生成することを更に有する、
付記４に記載の方法。
（付記６）
前記結果に対する前記候補のバイアスの定量化に基づき機械学習のためのモデルを訓練することを更に有し、該訓練することは、前記バイアスの前記定量化がない場合よりも素早く行われる、
付記１に記載の方法。
（付記７）
前記最も長いバーコードは、次元０の特徴に基づき、対応するクラスタを示す、
付記１に記載の方法。
（付記８）
前記最も長いバーコードは、次元１の特徴に基づき、対応するホールを示す、
付記１に記載の方法。
（付記９）
前記最も長いバーコードは、次元２の特徴に基づき、対応するキャビティを示す、
付記１に記載の方法。
（付記１０）
命令を含む非一時的なコンピュータ可読媒体であって、
前記命令は、１以上のプロセッサによって実行される場合に、
解析のためのデータセットを取得することと、
潜在的なバイアスの少なくとも１の候補を選択し、該候補に基づきバイアスをかけられる結果を前記データセットが含むかどうかを予測することと、
前記候補及び前記結果に基づき、前記データセットの点群を生成することと、
機械学習により前記データセットに対して分類を実行することより前に、前記候補及び前記結果に基づき、前記点群に対してパーシステントホモロジを計算することと、
前記パーシステントホモロジに基づき、該パーシステントホモロジ内の複体の存続期間を示すパーシステンスバーコードをプロットすることと、
前記パーシステンスバーコード内で最も長いバーコードの長さを決定することと、
前記最も長いバーコードに基づく前記バイアスの定量化と、前記パーシステンスバーコードの前記プロットに基づく前記バイアスの視覚化とを生成することと
を有する動作を実行するよう構成される、前記コンピュータ可読媒体。
（付記１１）
前記動作は、
前記データセットの第２候補を選択し、該第２候補に基づき前記データセット内の前記結果がバイアスをかけられるかどうかを予測することと、
前記第２候補及び前記結果に基づき、前記データセットの第２点群を生成することと、
前記第２候補及び前記結果に基づき、第２の組のパーシステンスバーコードをプロットすることと、
前記第２の組のパーシステンスバーコードの中で最も長いバーコードの長さを決定することと、
前記パーシステンスバーコードの中で最も長いバーコードと、前記第２の組のパーシステンスバーコードの中で最も長いバーコードとの相対長さに基づき、前記候補と前記第２候補との間の相対バイアスを決定することとを
更に有する、付記１０に記載のコンピュータ可読媒体。
（付記１２）
前記バイアスの前記定量化を生成することは、前記パーシステンスバーコードの組及び前記第２の組のパーシステンスバーコードが同じであるとの仮説においてパーミュテーションテストを実行することを含む、
付記１１に記載のコンピュータ可読媒体。
（付記１３）
前記パーシステントホモロジを計算することは、
前記点群内の点が接続されるべきである半径を段階的に増大させることと、
複体の各特徴ごとの、当該特徴が現れる場合の生成半径、及び当該特徴が姿を消す場合の消滅半径と格納することと
によって、Ｒｉｐｓ複体を生成することを有し、
前記パーシステンスバーコードは、前記生成半径と前記消滅半径との間のインターバルを表す、
付記１０に記載のコンピュータ可読媒体。
（付記１４）
前記動作は、前記点群内の前記半径の段階的な増大の進行の視覚アニメーションを生成することを更に有する、
付記１３に記載のコンピュータ可読媒体。
（付記１５）
前記動作は、前記結果に対する前記候補のバイアスの定量化に基づき機械学習のためのモデルを訓練することを更に有し、該訓練することは、前記バイアスの前記定量化がない場合よりも素早く行われる、
付記１０に記載のコンピュータ可読媒体。
（付記１６）
前記最も長いバーコードは、次元０の特徴に基づき、対応するクラスタを示す、
付記１０に記載のコンピュータ可読媒体。
（付記１７）
前記最も長いバーコードは、次元１の特徴に基づき、対応するホールを示す、
付記１０に記載のコンピュータ可読媒体。
（付記１８）
前記最も長いバーコードは、次元２の特徴に基づき、対応するキャビティを示す、
付記１０に記載のコンピュータ可読媒体。
（付記１９）
１以上のプロセッサと、
前記１以上のプロセッサと通信する表示デバイスと、
命令を含む１以上の非一時的なコンピュータ可読媒体と
を有するシステムであって、
前記命令は、前記１以上のプロセッサによって実行される場合に、当該システムに、
解析のためのデータセットを取得することと、
潜在的なバイアスの少なくとも１の候補を選択し、該候補に基づきバイアスをかけられる結果を前記データセットが含むかどうかを予測することと、
前記候補及び前記結果に基づき、前記データセットの点群を生成することと、
機械学習により前記データセットに対して分類を実行することより前に、前記候補及び前記結果に基づき、前記点群に対してパーシステントホモロジを計算することと、
前記パーシステントホモロジに基づき、該パーシステントホモロジ内の複体の存続期間を示すパーシステンスバーコードをプロットすることと、
前記パーシステンスバーコード内で最も長いバーコードの長さを決定することと、
前記最も長いバーコードに基づく前記バイアスの定量化と、前記パーシステンスバーコードの前記プロットに基づく前記バイアスの視覚化とを生成することと、
前記バイアスの前記定量化及び前記バイアスの前記視覚化を前記表示デバイスへ出力することと
を有する動作を実行させる、前記システム。
（付記２０）
前記パーシステントホモロジを計算することは、
前記点群内の点が接続されるべきである半径を段階的に増大させることと、
複体の各特徴ごとの、当該特徴が現れる場合の生成半径、及び当該特徴が姿を消す場合の消滅半径と格納することと
によって、Ｒｉｐｓ複体を生成することを有し、
前記パーシステンスバーコードは、前記生成半径と前記消滅半径との間のインターバルを表し、
前記動作は、
前記点群内の前記半径の段階的な増大の進行の視覚アニメーションを生成することと、
前記表示デバイスにより前記視覚アニメーションを出力することと
を更に有する、
付記１９に記載のシステム。

【符号の説明】

【0096】

１００ システム
１１０ バイアス予測器
１２０ データセット
１３０ ユーザ
１４０ 表示
１５０ 機械学習システム
２１０ 点
２３０ エッジ
２３２，２３４，２３６ 単体
２４２ ホール
２５５ 半径
２８２，３２０，３２２，３７０，３７２ バーコード
７００ コンピューティングシステム
７１０ プロセッサ
７２０ メモリ
７３０ データストレージ
７４０ 通信ユニット

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】