特許 7191058 チューニング可能なバイアス低減用パイプライン

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-08

(45)【発行日】2022-12-16

(54)【発明の名称】チューニング可能なバイアス低減用パイプライン

(51)【国際特許分類】

   G06F 40/216 20200101AFI20221209BHJP

   G06F 40/30 20200101ALI20221209BHJP

   G06N 20/00 20190101ALI20221209BHJP

【ＦＩ】

G06F40/216

G06F40/30

G06N20/00

【請求項の数】 20

【外国語出願】

(21)【出願番号】P 2020030481

(22)【出願日】2020-02-26

(65)【公開番号】P2020170504

(43)【公開日】2020-10-15

【審査請求日】2020-02-26

(31)【優先権主張番号】62/812,005

(32)【優先日】2019-02-28

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/423,067

(32)【優先日】2019-05-27

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】516172237

【氏名又は名称】アクセンチュア グローバル ソリューションズ リミテッド

(74)【代理人】

【識別番号】100102406

【弁理士】

【氏名又は名称】黒田 健二

(74)【代理人】

【識別番号】100100240

【弁理士】

【氏名又は名称】松本 孝

(72)【発明者】

【氏名】マクゴヴァーン，アオングス

(72)【発明者】

【氏名】カンナ，アビシェーク

(72)【発明者】

【氏名】マーフィー，リベカ

(72)【発明者】

【氏名】クーパー，スティーブ

(72)【発明者】

【氏名】ズオ，シン

【審査官】成瀬 博之

(56)【参考文献】

【文献】Tolga Bolukbasi他４名，Quantifying and Reducing Stereotypes in Word Embeddings[online]，2016年06月20日，41-45頁，https://arxiv.org/pdf/1606.06121，[検索日２０２１年 ４月２１日]，インターネット

【文献】Yahav Bechavod他１名，Penalizing Unfairness In Binary Classification，2018年03月08日，https://arxiv.org/pdf/1707.00044，[検索日２０２１年 ４月２１日]，インターネット

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ４０／２０－４０／５８

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

人工知能モデルにおけるバイアスを低減するためのシステムであって、
プロセッサおよびコンピュータ可読媒体
を備え、前記コンピュータ可読媒体は、前記プロセッサによって実行可能な命令であって、
前記プロセッサによって、単語のコーパスに基づいて生成される単語埋め込みモデルを受け取ることであって、前記単語埋め込みモデルは、前記単語のコーパスを表す単語ベクトルを含む、受け取ることと、
前記プロセッサによって、前記単語埋め込みモデルの埋め込み空間においてバイアス定義ベクトルを決定することであって、前記バイアス定義ベクトルは、前記単語埋め込みモデルの埋め込み空間においてバイアスタイプを表すバイアス軸に沿って定義され、前記バイアス軸は、前記プロセッサによって、バイアスカテゴリベクトルを識別することによって導出され、且つ前記バイアスタイプは、性別、人種、民族、年代、または前記埋め込み空間における他の一般化のいずれかを含む、決定することと、
前記プロセッサによって、バイアス分類基準を受け取ることであって、前記バイアス分類基準は、前記バイアス定義ベクトルからの距離測定値に基づいて前記単語ベクトルをグループ化するためのロジックを含む、受け取ることと、
前記プロセッサによって、前記単語埋め込みモデルの埋め込み空間において、前記バイアス分類基準に含まれる前記単語ベクトルをグループ化するためのロジックを使用して、第１の単語ベクトルのグループおよび第２の単語ベクトルのグループを識別することであって、前記第１の単語ベクトルのグループは、前記バイアスタイプの第１のバイアスカテゴリを表し、前記第２の単語ベクトルのグループは、前記バイアスタイプの第２のバイアスカテゴリを表す、識別することと、
前記プロセッサによって、前記第１のバイアスカテゴリ内の単語の数量と、前記第２のバイアスカテゴリ内の単語の数量とに基づく目標単語比率を受け取ることと、
前記プロセッサによって、デバイアス済み人工知能モデルを生成することであって、前記デバイアス済み人工知能モデルは、単語を表すメトリックを含み、前記第１の単語ベクトルのグループに関連付けられた単語のメトリックおよび前記第２の単語ベクトルのグループに関連付けられた単語のメトリックは、非ゼロのペナルティ係数に基づいて重み付けられ、前記非ゼロのペナルティ係数は、前記単語ベクトルと前記バイアス定義ベクトルとの間の距離を減少または増加させるべく割り当てられ、前記プロセッサは、前記目標単語比率を達成するように前記非ゼロのペナルティ係数を調節させる、生成することと、
を行う命令を含む、システム。

【請求項2】

前記コンピュータ可読媒体は、前記プロセッサによって実行可能な命令であって、
前記プロセッサによって、前記第１の単語ベクトルのグループ内の単語ベクトルの数量と、前記第２の単語ベクトルのグループ内の単語ベクトルの数量とに基づいて、実行時単語比率を求めることと、
前記プロセッサによって、前記実行時単語比率および前記目標単語比率が、デバイアス基準を満たしていると判定することであって、前記デバイアス基準は、前記目標単語比率を前記実行時単語比率と比較するロジックを含む、判定することと、
を行う命令をさらに含み、
前記デバイアス済み人工知能モデルは、前記デバイアス基準が満たされていることに応答して生成される、
請求項１に記載のシステム。

【請求項3】

前記コンピュータ可読媒体は、前記プロセッサによって実行可能な命令であって、
前記プロセッサによって、前記目標単語比率を受け取るように構成されるコントロールと、前記実行時単語比率を表示するためのコントロールとを含むユーザインターフェースを生成すること、
を行う命令をさらに含む、請求項２に記載のシステム。

【請求項4】

前記コンピュータ可読媒体は、前記プロセッサによって実行可能な命令であって、
前記プロセッサによって、前記デバイアス済み人工知能モデルに基づいてコンピュータ生成の推論を作成するように推薦エンジンに前記デバイアス済み人工知能モデルを配備することであって、スキル資格を役割記述と関連付ける前記コンピュータ生成の推論は、注釈付き訓練データを含むベースラインモデルデータに基づいて訓練された前記単語埋め込みモデルをデバイアスすることによって作成されるものである、配備することと、
前記プロセッサによって、スキル資格を示すテキストと、役割記述を示すテキストとを受け取ることと、
前記プロセッサによって、前記デバイアス済み人工知能モデルに基づいた前記コンピュータ生成の推論を使用して、前記スキル資格のうちの少なくとも１つを、前記役割記述のうちの前記少なくとも１つにマッピングすることと、
前記プロセッサによって、前記スキル資格のうちの前記少なくとも１つと、前記役割記述のうちの前記少なくとも１つとの間の前記マッピングを示すレポートを表示することと、
を行う命令をさらに含む、請求項１に記載のシステム。

【請求項5】

前記コンピュータ可読媒体は、前記プロセッサによって実行可能な命令であって、
前記プロセッサによって、スキル資格を示すテキストと、役割記述を示すテキストとを受け取ることと、
前記プロセッサによって、前記スキル資格を示すテキストと、役割記述を示すテキストとから、前記単語のコーパスを抽出することと、
前記プロセッサによって、前記単語のコーパスに基づいて前記単語埋め込みモデルを生成することと、
を行う命令をさらに含む、請求項１に記載のシステム。

【請求項6】

前記スキル資格を示すテキストは、履歴書からのテキストを含み、前記役割記述を示すテキストは、職務記述書からのテキストを含む、請求項５に記載のシステム。

【請求項7】

前記バイアス定義ベクトルを決定するための前記命令は、前記プロセッサによって実行可能な命令であって、
前記プロセッサによって、前記単語埋め込みモデルの埋め込み空間において、前記バイアスタイプの前記第１の前記バイアスカテゴリを表す第１の単語ベクトルを識別することと、
前記プロセッサによって、前記単語埋め込みモデルの埋め込み空間において、前記バイアスタイプの前記第２のバイアスカテゴリを表す第２の単語ベクトルを識別することと、
前記プロセッサによって、前記第１の単語ベクトルおよび前記第２の単語ベクトルの間のベクトル減算に基づいて、前記バイアス定義ベクトルを計算することと、
を行う命令をさらに含む、請求項１に記載のシステム。

【請求項8】

前記第１のバイアスカテゴリは、男性性別バイアスを示し、前記第２のバイアスカテゴリは、女性性別バイアスを示す、請求項１に記載のシステム。

【請求項9】

前記デバイアス済み人工知能モデルは、新たな単語埋め込みモデル、用語頻度－逆文書頻度（ＴＦ－ＩＤＦ）モデル、またはこれらの任意の組み合わせを含む、請求項１に記載のシステム。

【請求項10】

前記コンピュータ可読媒体は、前記プロセッサによって実行可能な命令であって、
前記プロセッサによって、前記第１の単語ベクトルのグループ内の単語ベクトルの数量と、前記第２の単語ベクトルのグループ内の単語ベクトルの数量とに基づいて、実行時単語比率を求めることと、
前記プロセッサによって、前記実行時単語比率および前記目標単語比率が、前記目標単語比率を前記実行時単語比率と比較するロジックを含むデバイアス基準を満たしていないと判定することと、
を行う命令をさらに含み、
前記デバイアス基準が満たされていないことに応答して、前記命令は、前記プロセッサによって実行可能であって、
前記プロセッサによって、前記第１の単語ベクトルのグループ内の単語ベクトルの前記数量を増加または減少させ、前記第２の単語ベクトルのグループ内の単語ベクトルの前記数量を減少または増加させるように、前記バイアス分類基準を調節すること、
をさらに行うものである、請求項１に記載のシステム。

【請求項11】

前記コンピュータ可読媒体は、前記プロセッサによって実行可能な命令であって、
前記プロセッサによって、前記第１の単語ベクトルのグループ内の単語ベクトルの数量と、前記第２の単語ベクトルのグループ内の単語ベクトルの数量とに基づいて、実行時単語比率を求めることと、
前記プロセッサによって、前記実行時単語比率および前記目標単語比率が、デバイアス基準を満たしていないと判定することであって、前記デバイアス基準は、前記目標単語比率を前記実行時単語比率と比較するロジックを含む、デバイアス基準を満たしていないと判定することと、
前記デバイアス基準が満たされていないことに応答して、
前記プロセッサによって、前記目標比率を閾値だけインクリメントすることと、
前記比率をインクリメントしたことに応答して、前記プロセッサによって、第１のバイアス閾値および第２のバイアス閾値に関連する前記バイアス分類基準を調整することであって、前記バイアス分類基準を調整することは、前記第１の単語ベクトルのグループ内の単語ベクトルの前記数量を減少させるように前記第１のバイアス閾値を調整し、前記第２の単語ベクトルのグループ内の単語ベクトルの前記数量を増加させるように前記第２のバイアス閾値を調整することを含む、前記バイアス分類基準を調整することと、
前記プロセッサによって、前記第１のグループからの前記単語ベクトルと、前記第２のグループからの前記単語ベクトルとが、前記ペナルティ係数に基づいて重み付けられる単語埋め込みモデルを生成することと、
前記プロセッサによって、前記調整された第１のバイアス閾値と、前記調整された第２のバイアス閾値とに基づいて、前記第１の単語ベクトルのグループおよび前記第２の単語ベクトルのグループに含まれるそれぞれの単語ベクトルを調整することと、
前記プロセッサによって、前記第１の単語ベクトルのグループと、前記第２の単語ベクトルのグループとに基づいて、新たな実行時単語比率を調整することと、
前記プロセッサによって、前記新たな実行時単語比率および前記目標単語比率が前記デバイアス基準を満たしていると判定することと、
を行う命令をさらに含み、
前記デバイアス済み人工知能モデルは、前記デバイアス基準を満たすことに応答して生成される、
請求項１に記載のシステム。

【請求項12】

前記コンピュータ可読媒体は、前記プロセッサによって実行可能な命令であって、
前記プロセッサによって、前記単語埋め込みモデルが生成される前に、前記ペナルティ係数を減少させること、
を行う命令をさらに含む、請求項１１に記載のシステム。

【請求項13】

前記コンピュータ可読媒体は、前記プロセッサによって実行可能な命令であって、
前記プロセッサによって、ユーザによって定義される前記非ゼロのペナルティ係数を受け取るように構成されるコントロールを含むユーザインターフェースを生成すること、
を行う命令をさらに含む、請求項１に記載のシステム。

【請求項14】

前記バイアス分類基準は、前記バイアス定義ベクトルに対する各単語ベクトルの意味的類似度スコアを比較することによって、前記単語ベクトルをグループ化するように構成される、請求項１に記載のシステム。

【請求項15】

前記コンピュータ可読媒体は、前記プロセッサによって実行可能な命令であって、
前記プロセッサによって、前記バイアス分類基準または前記ペナルティ係数について、ユーザ定義の閾値パラメータを受け取り、前記ユーザ定義の閾値パラメータと、前記バイアス定義ベクトルに対する各単語ベクトルの意味的類似度スコアとを比較すること、
を行う命令をさらに含む、請求項１に記載のシステム。

【請求項16】

人工知能モデルにおけるバイアスを低減するための、プロセッサおよびメモリを含むコンピュータの作動方法であって、
前記プロセッサによって、単語のコーパスに基づいて生成される単語埋め込みモデルを受け取ることであって、前記単語埋め込みモデルは、前記単語のコーパスを表す単語ベクトルを含む、受け取ることと、
前記プロセッサによって、前記単語埋め込みモデルの埋め込み空間においてバイアス定義ベクトルを決定することであって、前記バイアス定義ベクトルは、前記単語埋め込みモデルの埋め込み空間においてバイアスタイプを表すバイアス軸に沿って定義され、前記バイアス軸は、前記プロセッサによって、バイアスカテゴリベクトルを識別することによって導出され、且つ前記バイアスタイプは、性別、人種、民族、年代、または前記埋め込み空間における他の一般化のいずれかを含む、決定することと、
前記プロセッサによって、バイアス分類基準を受け取ることであって、前記バイアス分類基準は、前記バイアス定義ベクトルからの距離測定値に基づいて前記単語ベクトルを第１の単語ベクトルのグループおよび第２の単語ベクトルのグループにグループ化するためのロジックを含み、前記第１の単語ベクトルのグループは、前記バイアスタイプの第１のバイアスカテゴリを表し、前記第２の単語ベクトルのグループは、前記バイアスタイプの第２のバイアスカテゴリを表す、受け取ることと、
前記プロセッサによって、前記単語埋め込みモデルの埋め込み空間において、前記バイアス分類基準に含まれる前記単語ベクトルをグループ化するためのロジックを使用して、前記第１の単語ベクトルのグループおよび前記第２の単語ベクトルのグループを識別することと、
前記プロセッサによって、前記第１のバイアスカテゴリ内の単語の数量と、前記第２のバイアスカテゴリ内の単語の数量とに基づく目標単語比率を受け取ることと、
前記プロセッサによって、デバイアス済み人工知能モデルを生成することであって、前記デバイアス済み人工知能モデルは、単語を表すメトリックを含み、前記第１の単語ベクトルのグループに関連付けられた単語の前記メトリックおよび前記第２の単語ベクトルのグループに関連付けられた単語のメトリックは、非ゼロのペナルティ係数に基づいて重み付けられ、前記非ゼロのペナルティ係数は、前記単語ベクトルと前記バイアス定義ベクトルとの間の距離を減少または増加させるべく割り当てられ、前記プロセッサは、前記目標単語比率を達成するように前記非ゼロのペナルティ係数を調節させる、生成することと、
を含む、方法。

【請求項17】

前記プロセッサによって、前記第１の単語ベクトルのグループ内の単語ベクトルの数量と、前記第２の単語ベクトルのグループ内の単語ベクトルの数量とに基づいて、実行時単語比率を求めることと、
前記プロセッサによって、前記実行時単語比率および前記目標単語比率が、前記実行時単語比率と前記目標比率とを比較するように構成されるデバイアス基準を満たしていないと判定することであって、前記デバイアス基準は、前記目標単語比率を前記実行時単語比率と比較するロジックを含む、判定することと、
前記デバイアス基準が満たされていないことに応答して、
前記プロセッサによって、前記第１の単語ベクトルのグループ内の単語ベクトルの前記数量と、前記第２の単語ベクトルのグループ内の単語ベクトルの前記数量とを調整するように、前記非ゼロのペナルティ係数、または前記非ゼロのペナルティ係数と前記バイアス分類基準との組み合わせを調節することと、
前記プロセッサによって、前記実行時比率を再度求めることと、
前記プロセッサによって、前記実行時単語比率および前記目標単語比率が前記デバイアス基準を満たしていると判定することであって、前記デバイアス済み人工知能モデルは、前記デバイアス基準が満たされていることに応答して、前記調整された非ゼロのペナルティ係数に基づいて生成される、判定することと、
をさらに含む、請求項１６に記載の方法。

【請求項18】

人工知能モデルにおけるバイアスを低減するためのシステムであって、
メモリと、
前記メモリに結合されるプロセッサとを備え、前記プロセッサは、
単語のコーパスに基づいて生成される単語埋め込みモデルを受け取ることであって、前記単語埋め込みモデルは、前記単語のコーパスを表す単語ベクトルを含む、受け取ることと、
前記単語埋め込みモデルの埋め込み空間においてバイアス定義ベクトルを決定することであって、前記バイアス定義ベクトルは、前記単語埋め込みモデルの埋め込み空間においてバイアスタイプを表すバイアス軸に沿って定義され、前記バイアス軸は、前記プロセッサによって、バイアスカテゴリベクトルを識別することによって導出され、且つ前記バイアスタイプは、性別、人種、民族、年代、または前記埋め込み空間における他の一般化のいずれかを含む、決定することと、
バイアス分類基準を受け取ることであって、前記バイアス分類基準は、前記バイアス定義ベクトルからの距離測定値に基づいて前記単語ベクトルをグループ化するためのロジックを含む、受け取ることと、
前記単語埋め込みモデルの埋め込み空間において、前記バイアス分類基準に含まれる前記単語ベクトルをグループ化するためのロジックを使用して、第１の単語ベクトルのグループおよび第２の単語ベクトルのグループを識別することであって、前記第１の単語ベクトルのグループは、前記バイアスタイプの第１のバイアスカテゴリを表し、前記第２の単語ベクトルのグループは、前記バイアスタイプの第２のバイアスカテゴリを表す、識別することと、
前記第１のバイアスカテゴリ内の単語の数量と、前記第２のバイアスカテゴリ内の単語の数量とに基づく目標単語比率を受け取ることと、
デバイアス済み人工知能モデルを生成することであって、前記デバイアス済み人工知能モデルは、単語を表すメトリックを含み、前記第１の単語ベクトルのグループに関連付けられた単語の前記メトリックおよび前記第２の単語ベクトルのグループに関連付けられた単語のメトリックは、非ゼロのペナルティ係数に基づいて重み付けられ、前記非ゼロのペナルティ係数は、前記単語ベクトルと前記バイアス定義ベクトルとの間の距離を減少または増加させるべく割り当てられ、前記プロセッサは、前記目標単語比率を達成するように前記非ゼロのペナルティ係数を調節させる、生成することと、
を行うように構成される、システム。

【請求項19】

前記プロセッサは、
前記第１の単語ベクトルのグループ内の単語ベクトルの数量と、前記第２の単語ベクトルのグループ内の単語ベクトルの数量とに基づいて、実行時単語比率を求めることと、
前記実行時単語比率および前記目標単語比率が、前記目標単語比率を前記実行時単語比率と比較するロジックを含むデバイアス基準を満たしていないと判定することと、
前記デバイアス基準が満たされていないことに応答して、
前記第１の単語ベクトルのグループ内の単語ベクトルの前記数量を増加または減少させ、前記第２の単語ベクトルのグループ内の単語ベクトルの前記数量を減少または増加させるように、前記バイアス分類基準を調節すること
を行うようにさらに構成される、請求項１８に記載のシステム。

【請求項20】

前記プロセッサは、
前記デバイアス済み人工知能モデルに基づいてコンピュータ生成の推論を作成するように構成されるサーバに前記デバイアス済み人工知能モデルを配備することであって、前記デバイアス済み人工知能モデルは、新たな単語埋め込みモデル、用語頻度－逆文書頻度（ＴＦ－ＩＤＦ）モデル、またはこれらの任意の組み合わせを含む、配備すること、
を行うようにさらに構成される、請求項１８に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は機械学習に関し、より詳細には、機械学習におけるバイアス低減に関する。

【0002】

関連出願の相互参照
本出願は２０１９年２月２８日に出願された米国仮出願第６２／８１２，００５号の利益を主張し、その全体が引用により本明細書に組み込まれている。

【背景技術】

【0003】

人事部などの組織体は、人材採用などの組織活動におけるバイアスを低減することに関心があり得る。組織は組織活動を支援するために人工知能モデルに依存し得る。人工知能モデルを訓練すると、モデルに固有のバイアスが導入され得る。たとえば、教師あり学習の間に、注釈付きデータを生成して、学習されたマッピングおよび関連付けを確立し得る。注釈付きデータは、注釈付けを推進する人間からのバイアスを含み得、または基礎となるデータは、人間の社会規範および文化規範に由来する固有のバイアスを有し得る。一部の状況では、注釈付けはコンピュータにより自動化され得るが、コンピュータによる自動化は、固有のバイアスを有する他の訓練されたモデルおよび／またはコンピュータアルゴリズムに由来し得る。このように、人工知能モデルは、系統的バイアス（ｓｙｓｔｅｍａｔｉｃ ｂｉａｓ）を含み得る。

【発明の概要】

【課題を解決するための手段】

【0004】

一部の実装形態では、人工知能モデルにおけるバイアスを低減するためのシステムは、プロセッサおよびコンピュータ可読媒体を含み得、コンピュータ可読媒体は、プロセッサによって実行可能な命令であって、単語のコーパスに基づいて生成される単語埋め込み（ｗｏｒｄ ｅｍｂｅｄｄｉｎｇ）モデルを受け取ることであって、単語埋め込みモデルは、単語のコーパスを表す単語ベクトルを含む、受け取ることと、単語埋め込みモデルに基づいてバイアス定義ベクトルを決定することであって、バイアス定義ベクトルは、単語埋め込みモデルにおいてバイアスタイプを表すバイアス軸に沿って定義される、決定することと、バイアス分類基準を受け取ることであって、バイアス分類基準は、バイアス定義ベクトルからの距離測定値に基づいて単語ベクトルをグループ化するためのロジックを含む、受け取ることと、単語埋め込みモデルにおいて、バイアス分類基準およびバイアス定義ベクトルに基づいて、第１の単語ベクトルのグループおよび第２の単語ベクトルのグループを識別することであって、第１の単語ベクトルのグループは、バイアスタイプの第１のバイアスカテゴリを表し、第２の単語ベクトルのグループは、バイアスタイプの第２のバイアスカテゴリを表す、識別することと、デバイアス済み（ｄｅｂｉａｓｅｄ）人工知能モデルを生成することであって、デバイアス済み人工知能モデルは、単語を表すメトリックを含み、第１の単語ベクトルのグループに関連付けられた単語のメトリックおよび第２の単語ベクトルのグループに関連付けられた単語のメトリックは、非ゼロのペナルティ係数に基づいて重み付けられる、生成することと、を行う命令を含み得る。

【0005】

一部の実装形態では、コンピュータ可読媒体は、プロセッサによって実行可能な命令であって、目標単語比率を受け取ることであって、目標単語比率は、第１のバイアスカテゴリ内の単語と、第２のバイアスカテゴリ内の単語とに基づく、受け取ることと、第１の単語ベクトルのグループ内のベクトルの、第２の単語ベクトルのグループ内の単語ベクトルに対する実行時単語比率を求めることと、デバイアス基準に基づいて目標単語比率を実行時単語比率と比較することと、を行う命令をさらに含み得、デバイアス済み人工知能モデルは、デバイアス基準が満たされていることに応答して生成される。

【0006】

一部の実装形態では、コンピュータ可読媒体は、プロセッサによって実行可能な命令であって、目標単語比率を受け取るように構成されるコントロールと、実行時単語比率を表示するためのコントロールとを含むユーザインターフェースを生成すること、を行う命令をさらに含み得る。

【0007】

一部の実装形態では、コンピュータ可読媒体は、プロセッサによって実行可能な命令であって、スキル資格を示すテキストと、役割記述を示すテキストとを受け取ることと、デバイアス済み人工知能モデルに基づいて、スキル資格のうちの少なくとも１つを、役割記述のうちの少なくとも１つにマッピングすることと、スキル資格のうちの少なくとも１つと、役割記述のうちの少なくとも１つとの間のマッピングを示すレポートを表示することと、を行う命令をさらに含み得る。

【0008】

一部の実装形態では、コンピュータ可読媒体は、プロセッサによって実行可能な命令であって、スキル資格を示すテキストと、役割記述を示すテキストとを受け取ることと、スキル資格を示すテキストと、役割記述を示すテキストとから、単語のコーパスを抽出することと、単語のコーパスに基づいて単語埋め込みモデルを生成することと、を行う命令をさらに含み得る。

【0009】

一部の実装形態では、スキル資格を示すテキストは、履歴書からのテキストを含み得、役割記述を示すテキストは、職務記述書からのテキストを含み得る。

【0010】

一部の実装形態では、バイアス定義ベクトルを決定するための命令は、プロセッサによって実行可能な命令であって、単語埋め込みモデルにおいて、第１の単語を表す第１の単語ベクトルを識別することであって、第１の単語は、第１のバイアスカテゴリを記述する、識別することと、単語埋め込みモデルにおいて、第２の単語を表す第２の単語ベクトルを識別することであって、第２の単語は、第２のバイアスカテゴリを記述する、識別することと、第１の単語ベクトルおよび第２の単語ベクトルの間のベクトル減算に基づいて、バイアス定義ベクトルを計算することと、を行う命令をさらに含み得る。

【0011】

一部の実装形態では、第１のバイアスカテゴリは、男性性別バイアスを示し得、第２のバイアスカテゴリは、女性性別バイアスを示し得る。

【0012】

一部の実装形態では、デバイアス済み人工知能モデルは、新たな単語埋め込みモデル、用語頻度－逆文書頻度（ＴＦ－ＩＤＦ：ｔｅｒｍ ｆｒｅｑｕｅｎｃｙ－ｉｎｖｅｒｓｅ ｄｏｃｕｍｅｎｔ ｆｒｅｑｕｅｎｃｙ）モデル、またはこれらの任意の組み合わせを含み得る。

【0013】

一部の実装形態では、コンピュータ可読媒体は、プロセッサによって実行可能な命令であって、第１のバイアスカテゴリ内の単語の数量と、第２のバイアスカテゴリ内の単語の数量とに基づく目標単語比率を受け取ることと、第１の単語ベクトルのグループ内の単語ベクトルの数量と、第２の単語ベクトルのグループ内の単語ベクトルの数量とに基づいて、実行時単語比率を求めることと、実行時単語比率および目標単語比率が、実行時単語比率と目標単語比率とを比較するように構成されるデバイアス基準を満たしていないと判定することと、を行う命令をさらに含み得、デバイアス基準が満たされていないことに応答して、命令は、プロセッサによって実行可能であって、第１の単語ベクトルのグループ内の単語ベクトルの数量と、第２の単語ベクトルのグループ内の単語ベクトルの数量とを調整するように、第１のバイアス基準および第２のバイアス基準を調節すること、をさらに行うものである。

【0014】

一部の実装形態では、コンピュータ可読媒体は、プロセッサによって実行可能な命令であって、第１のバイアスカテゴリ内の単語の数量と、第２のバイアスカテゴリ内の単語の数量とに基づく目標単語比率を受け取ることと、第１の単語ベクトルのグループ内の単語ベクトルの数量と、第２の単語ベクトルのグループ内の単語ベクトルの数量とに基づいて、実行時単語比率を求めることと、実行時単語比率および目標単語比率が、実行時単語比率と目標単語比率とを比較するように構成されるデバイアス基準を満たしていないと判定することと、デバイアス基準が満たされていないことに応答して、目標比率を閾値だけインクリメントすることと、比率をインクリメントしたことに応答して、第１の単語ベクトルのグループ内の単語ベクトルの数量を減少させるように第１のバイアス閾値を調整し、第２の単語ベクトルのグループ内の単語ベクトルの数量を増加させるように第２のバイアス閾値を調整することと、第１のグループからの単語ベクトルと、第２のグループからの単語ベクトルとが、ペナルティ係数に基づいて重み付けられる単語埋め込みモデルを生成することと、調整された第１のバイアス閾値と、調整された第２のバイアス閾値とに基づいて、更新された単語埋め込みモデルにおいて新たな第１の単語ベクトルのグループと、新たな第２の単語ベクトルのグループとを識別することと、新たな第１の単語ベクトルのグループと、新たな第２の単語ベクトルのグループとに基づいて、新たな実行時単語比率を生成することと、実行時単語比率および目標単語比率がデバイアス基準を満たしていると判定することと、を行う命令をさらに含み得、デバイアス済み人工知能モデルは、更新された人工知能モデルを含む。

【0015】

一部の実装形態では、コンピュータ可読媒体は、プロセッサによって実行可能な命令であって、更新された単語埋め込みモデルが生成される前に、ペナルティ係数を減少させること、を行う命令をさらに含み得る。

【0016】

一部の実装形態では、コンピュータ可読媒体は、プロセッサによって実行可能な命令であって、ユーザによって定義される非ゼロのペナルティ係数を受け取るように構成されるコントロールを含むユーザインターフェースを生成すること、を行う命令をさらに含み得る。

【0017】

一部の実装形態では、バイアス分類基準は、バイアス定義ベクトルに対する各単語ベクトルの意味的類似度スコアを比較することによって、単語ベクトルをグループ化するように構成され得る。

【0018】

一部の実装形態では、コンピュータ可読媒体は、プロセッサによって実行可能な命令であって、ユーザ定義の閾値パラメータを受け取り、ユーザ定義の閾値パラメータに対する各単語ベクトルの意味的類似度スコアを比較すること、を行う命令をさらに含み得る。

【0019】

一部の実装形態では、方法は、単語のコーパスに基づいて生成される単語埋め込みモデルを受け取ることであって、単語埋め込みモデルは、単語のコーパスを表す単語ベクトルを含む、受け取ることと、バイアス定義ベクトルを決定することであって、バイアス定義ベクトルは、単語埋め込みモデルにおいてバイアスタイプを表すバイアス軸に沿って定義される、決定することと、バイアス分類基準を受け取ることであって、バイアス分類基準は、バイアス定義ベクトルからの距離測定値に基づいて単語ベクトルを第１の単語ベクトルのグループおよび第２の単語ベクトルのグループにグループ化するためのロジックを含み、第１の単語ベクトルのグループは、バイアスタイプの第１のバイアスカテゴリを表し、第２の単語ベクトルのグループは、バイアスタイプの第２のバイアスカテゴリを表す、受け取ることと、単語埋め込みモデルにおいて、バイアス分類基準およびバイアス定義ベクトルに基づいて、第１の単語ベクトルのグループおよび第２の単語ベクトルのグループを識別することと、デバイアス済み人工知能モデルを生成することであって、デバイアス済み人工知能モデルは、単語を表すメトリックを含み、第１の単語ベクトルのグループに関連付けられた単語のメトリックおよび第２の単語ベクトルのグループに関連付けられた単語のメトリックは、非ゼロのペナルティ係数に基づいて重み付けられる、生成することと、を含み得る。

【0020】

一部の実装形態では、方法は、第１のバイアスカテゴリ内の単語の数量と、第２のバイアスカテゴリ内の単語の数量とに基づく目標単語比率を受け取ることと、第１の単語ベクトルのグループ内の単語ベクトルの数量と、第２の単語ベクトルのグループ内の単語ベクトルの数量とに基づいて、実行時単語比率を求めることと、実行時単語比率および目標単語比率が、実行時単語比率と目標比率とを比較するように構成されるデバイアス基準を満たしていないと判定することと、デバイアス基準が満たされていないことに応答して、第１の単語ベクトルのグループ内の単語ベクトルの数量と、第２の単語ベクトルのグループ内の単語ベクトルの数量とを調整するように、ペナルティ係数、第１のバイアス基準、第２のバイアス基準、またはこれらの任意の組み合わせを調節することと、実行時比率を再度求めることと、実行時単語比率および目標単語比率がバイアス基準を満たしていると判定することであって、デバイアス済み人工知能モデルは、デバイアス基準が満たされていることに応答して生成される、判定することと、をさらに含み得る。

【0021】

一部の実装形態では、システムはプロセッサを含み得、プロセッサは、単語のコーパスに基づいて生成される単語埋め込みモデルを受け取ることであって、単語埋め込みモデルは、単語のコーパスを表す単語ベクトルを含む、受け取ることと、単語埋め込みモデルに基づいてバイアス定義ベクトルを決定することであって、バイアス定義ベクトルは、単語埋め込みモデルにおいてバイアスタイプを表すバイアス軸に沿って定義される、決定することと、バイアス分類基準を受け取ることであって、バイアス分類基準は、バイアス定義ベクトルからの距離測定値に基づいて単語ベクトルをグループ化するためのロジックを含む、受け取ることと、単語埋め込みモデルにおいて、バイアス分類基準およびバイアス定義ベクトルに基づいて、第１の単語ベクトルのグループおよび第２の単語ベクトルのグループを識別することであって、第１の単語ベクトルのグループは、バイアスタイプの第１のバイアスカテゴリを表し、第２の単語ベクトルのグループは、バイアスタイプの第２のバイアスカテゴリを表す、識別することと、デバイアス済み人工知能モデルを生成することであって、デバイアス済み人工知能モデルは、単語を表すメトリックを含み、第１の単語ベクトルのグループに関連付けられた単語のメトリックおよび第２の単語ベクトルのグループに関連付けられた単語のメトリックは、非ゼロのペナルティ係数に基づいて重み付けられる、生成することと、を行うように構成され得る。

【0022】

一部の実装形態では、デバイアス基準が満たされていないことに応答して、プロセッサは、バイアス閾値距離値を調整することによってバイアス分類を調節することであって、バイアス分類基準は、バイアス閾値距離値に基づいて第１の単語ベクトルのグループまたは第２の単語ベクトルのグループを識別するためのロジックを含み、バイアス閾値距離値は、バイアス定義ベクトルからの距離の尺度を含む、調節すること、を行うようにさらに構成され得る。

【0023】

一部の実装形態では、プロセッサは、デバイアス済み人工知能モデルに基づいてコンピュータ生成の推論を作成するように構成されるサーバにデバイアス済み人工知能モデルを配備することであって、デバイアス済み人工知能モデルは、新たな単語埋め込みモデル、用語頻度－逆文書頻度（ＴＦ－ＩＤＦ）モデル、またはこれらの任意の組み合わせを含む、配備すること、を行うようにさらに構成され得る。

【0024】

以下の図面および説明を参照することにより、実施形態がよりよく理解され得る。図中のコンポーネントは必ずしも縮尺通りではない。また、図において、同様の参照番号は異なる図にわたって対応する部分を示す。

【図面の簡単な説明】

【0025】

【図1】システムの第１の例を示す図である。

【図2A】単語埋め込みモデル空間の視覚的表現の例を示す図である。

【図2B】単語埋め込みモデル空間の視覚的表現の例を示す図である。

【図3】システムの例示的なロジックの流れ図である。

【図4】システムの例示的なロジックの流れ図である。

【図5】システムの例示的なロジックの流れ図である。

【図6】システムの第３の例を示す図である。

【図7】システムの第４の例を示す図である。

【発明を実施するための形態】

【0026】

人事部などの組織体は、人材採用などの組織活動におけるバイアスを低減することに関心があり得る。組織は組織活動を支援するために人工知能モデルに依存し得る。人工知能モデルを訓練すると、訓練に固有のバイアスが導入され得る。たとえば、教師あり学習の間に、注釈付きデータを生成して、学習されたマッピングおよび関連付けを確立し得る。注釈付きデータは、注釈付けを推進する人間に基づくバイアスを含み得、または基礎となるデータは、人間の社会規範および文化規範に由来する固有のバイアスを有し得る。一部の状況では、注釈付けはコンピュータにより自動化され得るが、コンピュータによる自動化は、固有のバイアスを有する他の訓練されたモデルおよび／またはコンピュータ手続に由来し得る。このように、人工知能モデルは、系統的バイアスを含み得る。

【0027】

アルゴリズムによるバイアスを識別し、低減するための現在の手法では、チューニング可能なクラス別のバイアス閾値およびペナルティの確立をほとんどまたは全く制御できない場合がある。また、モデルのバイアスを低減することは、モデル性能および推論精度に悪影響を及ぼし得る。引用によりその全体が本明細書に組み込まれる、Ｔｏｌｇａ Ｂｏｌｕｋｂａｓｉら、「Ｍａｎ ｉｓ ｔｏ Ｃｏｍｐｕｔｅｒ Ｐｒｏｇｒａｍｍｅｒ ａｓ Ｗｏｍａｎ ｉｓ ｔｏ Ｈｏｍｅｍａｋｅｒ？ Ｄｅｂｉａｓｉｎｇ Ｗｏｒｄ Ｅｍｂｅｄｄｉｎｇｓ」、２０１６年７月２１日、１－２５頁、コーネル大学によりオンライン公開、ＵＲＬ：ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１６０７．０６５２０．ｐｄｆ、イサカ、ニューヨークに記載のように、ペナルティが科された単語ベクトルをゼロにしてバイアス単語を無効にすると、特に一定量のバイアスが許容可能な設定では、モデル性能が抑制され得る。

【0028】

したがって、人工知能モデルにおけるチューニング可能なバイアス低減のためのデジタルシステムおよび方法を開示する。導入例として、システムは、単語のコーパスに基づいて生成される単語埋め込みモデルを受け取り得る。単語埋め込みモデルは、単語のコーパスを表す単語ベクトルを含み得る。システムは、単語埋め込みモデルの埋め込み空間においてバイアス定義ベクトルを決定し得る。バイアス定義ベクトルは、単語埋め込みモデルの埋め込み空間においてバイアス軸に沿って定義され得る。バイアス軸は、バイアスタイプを表し得る。システムは、バイアス分類基準を受け取り得る。バイアス分類基準は、バイアス定義ベクトルからの距離測定値に基づいて単語ベクトルをグループ化するためのロジックを含み得る。システムは、単語埋め込みモデルにおいて、バイアス分類基準およびバイアス定義ベクトルに基づいて、第１の単語ベクトルのグループおよび第２の単語ベクトルのグループを識別し得る。第１の単語ベクトルのグループは、バイアスタイプの第１のバイアスカテゴリを表し得、第２の単語ベクトルのグループは、バイアスタイプの第２のバイアスカテゴリを表し得る。システムは、デバイアス済み人工知能モデルを生成し得、デバイアス済み人工知能モデルは、単語を表すメトリックを含み得る。第１の単語ベクトルのグループに関連付けられた単語のメトリックおよび第２の単語ベクトルのグループに関連付けられた単語のメトリックは、非ゼロのペナルティ係数に基づいて重み付けられ得る。

【0029】

本明細書に記載のシステムおよび方法によって提供される技術的進歩の一例は、システムが、構造化されていないテキストを活用するアプリケーションにおけるバイアスを低減し得ることであり得る。バイアス低減は、理解しやすい構造で許容可能なバイアスを定義するユーザ固有のパラメータに従って構成され得る。たとえば、ユーザは、目標単語比率などのデバイアス基準を提供し得る。目標単語比率は、バイアスカテゴリ内のバイアス単語の比率を示し得る。目標単語比率は、生成されたデバイアス済みモデルにおける許容可能なバイアスのレベルの尺度であり得る。システムは、モデルがデバイアス基準を満たすようにモデルをデバイアスし得る。たとえば、目標単語比率に比例して各カテゴリにペナルティが科されるように、モデル内の単語表現にペナルティが科され得る。

【0030】

本明細書に記載のシステムおよび方法の他の技術的進歩は、モデル性能が抑制されないように、システムが目標バイアス基準を調節し得ることである。たとえば、目標単語比率は、システムに提供される訓練データに基づいて合理的に達成できない場合がある。システムは、次善の単語比率を達成するように目標バイアス基準を調節し得る。システムは調節された単語比率をエンドユーザに表示し得、エンドユーザは結果を承認または却下し得る。

【0031】

本明細書に記載のシステムおよび方法の他の技術的進歩は、システムが、バイアス語彙への非ゼロのペナルティに基づいてバイアスが減少された人工知能モデルを生成および／または配備し得ることである。たとえば、ユーザによって提供された目標単語比率を達成するのに必要な程度で、単語埋め込みモデル内のベクトルにペナルティが科され得る。このように、デバイアスのゴールを達成するために、更新されたモデルの精度、完全性、および性能への悪影響が最小化される。一部の例では、パイプラインは、単語埋め込みモデル、用語頻度－逆文書頻度（ＴＦ－ＩＤＦ）モデル、またはこれらの任意の組み合わせを含む多様な異なるモデルにペナルティ重みを適用し得る。

【0032】

本明細書に記載のシステムおよび方法の他の技術的進歩は、本明細書に記載のシステムおよび方法によって改善された人工知能モデルが、実際の環境に配備され得ることである。たとえば、デバイアス済み人工知能モデルは、性別または他のタイプのバイアスを低減するように履歴書と職務記述書とをマッチングさせるために配備され得る。代替的または追加的には、デバイアス済みモデルは、人口統計的なまたは他のタイプのバイアスを低減するように、教師ありタスク、たとえば、回帰（たとえば、個人の信用スコアの予測）および分類（たとえば、個人が政府助成を受ける資格があるか否かの自動判定）を容易にするために配備され得る。

【0033】

本明細書に記載のシステムおよび方法は、既存の市場のソリューションに対する改善を提供する。既存の市場のソリューションに対するさらなる利益、効率性、および改善は、以下に説明するシステムおよび方法において明らかにする。

【0034】

図１にシステム１００の第１の例を示す。システムは、デバイアスパイプライン１０２を含み得る。デバイアスパイプライン１０２は、ベースラインモデルデータを受け取り得る。ベースラインモデルデータは、人工知能モデルか、または人工知能モデルを訓練もしくは生成するために使用される情報を含み得る。たとえば、ベースラインモデルデータは、単語埋め込みモデルを受け取り得る。一部の例では、単語埋め込みモデルは、分類、回帰、または他の推論決定を実行するように事前に訓練済みであり得る。代替的または追加的には、ベースラインモデルデータは、自然言語モデルを生成するための訓練情報を含み得る。たとえば、訓練情報は、単語のコーパス、注釈付き自然言語テキスト、および／または他の適切な訓練情報を含み得る。

【0035】

デバイアスパイプライン１０２は、自然言語処理（ＮＬＰ：ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ）フレームワーク１０４を含み得る。ＮＬＰフレームワーク１０４は、自然言語テキストに基づいて単語埋め込みモデルを生成し得る。たとえば、ＮＬＰフレームワーク１０４は、たとえば、ＷＯＲＤ２ＶＥＣ、ＧＬＯＶＥ、または他の任意の単語埋め込みフレームワークを含み得る。

【0036】

単語埋め込みモデルは、単語の多次元埋め込み空間への数学的写像を含み得る。単語埋め込みモデルは、単語を実数のベクトルとして表現し得る。例として、単語埋め込みモデルは、マトリクスを含み得、マトリクスの各行（または列）が、単語を表す特定のベクトルであり得る。統計的測定値およびコンピュータ生成の推論を介して、ベクトル間の関連付けが確立され得るように、特定のベクトルの次元値は、多次元空間内において、そのベクトルを他のベクトルに対して方向付けし得る。単語埋め込みモデルは、単語埋め込みモデルのベクトル（または複数のベクトル）に重み付けして、そのベクトルと他のベクトルとの関連付けが強められるかまたは弱められるようにすることによって、訓練または再訓練され得る。

【0037】

単語埋め込みモデルのベクトルは、特定のバイアスタイプに基づいてバイアスされ得る。バイアスタイプは、共通の特徴を有するバイアスのカテゴリを表す。バイアスカテゴリは、バイアスの分類を含み得る。たとえば、男性バイアスまたは女性バイアスは共に、性別バイアスタイプのバイアスカテゴリである。

【0038】

デバイアスパイプライン１０２は、バイアス識別コントローラ１０６を含み得る。バイアス識別コントローラ１０６は、単語埋め込みモデル内のバイアス定義ベクトルを識別し得る。バイアス定義ベクトルは、バイアスタイプのバイアスカテゴリを表すベクトルを含み得る。バイアスカテゴリベクトルが識別されると、バイアス軸が導出され得る。バイアス軸は、バイアスのタイプ（すなわち、性別、人種、民族、年代、または埋め込み空間における他の何らかの一般化）を表し得る。バイアス定義ベクトルを定義するベクトルは次のように表され得、
Ｖ_ｂ＝Ｖ_ｃ１－Ｖ_ｃ２
ここで、Ｖ_ｂはバイアス定義ベクトル、Ｖ_ｃ１は第１のバイアスカテゴリを表すベクトルであり、Ｖ_ｃ２は第２のバイアスカテゴリを表すベクトルである。バイアスのタイプのバイアス軸は、Ｖ_ｂおよび－Ｖ_ｂに沿って定義され得る。

【0039】

例として、性別のバイアス軸は、バイアス定義ベクトル（Ｖ_ｂ）に沿って定義され得る。バイアス定義ベクトルは、「女性」を表すベクトル（Ｖ_ｃ２）から「男性」を表すベクトル（Ｖ_ｃ１）を減算することにより導出され得る。そのように計算された場合、Ｖ_ｂに近い単語ベクトルは、「男性」バイアスカテゴリへのバイアスを示し得、－Ｖ_ｂに近いベクトルは、女性バイアスカテゴリへのバイアスを示し得る。

【0040】

図１の以下の議論は、図２Ａおよび図２Ｂへの様々な参照を含む。図２Ａおよび図２Ｂに、単語埋め込みモデル空間の視覚的表現の例を示す。説明を簡単にするために、図２Ａおよび図２Ｂに示す単語埋め込みモデル空間は、２つの次元を含む。実際には、単語埋め込みモデル空間は、Ｎ個の次元を含み得る。図１の残りの議論全体にわたって、図２Ａおよび図２Ｂへの参照がなされる。

【0041】

バイアス識別コントローラ１０６は、ベクトル間の距離を求め得る。図２Ａを参照すると、バイアス定義ベクトルＶ_ｂおよび単語ベクトルＶ_ｗ１は、ある距離だけ離れ得る。距離は、たとえば、角類似度または角距離に基づいて測定され得る。距離は、コサイン類似度の計算またはコサイン距離の計算に従って測定され得る。コサイン類似度メトリックが１に近づくにつれて、バイアス定義ベクトルＶ_ｂと単語ベクトルＶ_ｗ１との間の角距離が減少する。コサインメトリックが－１に近づくにつれて、バイアス定義ベクトルＶ_ｂと単語ベクトルとの間の角距離が増加する。第１のバイアスカテゴリが女性であり、第２のバイアスカテゴリが男性である、前述の性別の例を続けると、コサイン類似度が．９の単語ベクトルは、男性カテゴリにバイアスのかかった単語を表し得る。コサイン類似度が－．９のベクトルは、女性カテゴリにバイアスのかかった単語を表し得る。

【0042】

バイアス識別コントローラ１０６は、バイアス分類基準に基づいて１つまたは複数のバイアスベクトルグループを識別し得る。バイアス分類基準は、１つまたは複数のバイアスベクトルグループを識別するロジックを含み得る。バイアスベクトルグループは、バイアス定義ベクトルから特定の距離内（または外）に位置するベクトルのグループを含み得る。図２Ａに示すように、バイアス分類基準は、単語埋め込みモデル空間において第１の領域２０２および／または第２の領域２０４を定義し得る。第１の領域２０２は、第１のバイアスベクトルグループを含み得る。第２の領域２０４は、第２のバイアスベクトルグループを含み得る。

【0043】

バイアス分類基準は、１つまたは複数のバイアス閾値を含み得る。バイアス閾値は、閾値距離測定値、閾値類似度測定値、またはバイアスベクトルグループに含まれるベクトルの数を統制する他の何らかの閾値を含み得る。表１にバイアス分類基準の一例を提供する。

【0044】

【表1】

【0045】

表１に示す例では、ＡｎｇｕｌａｒＳｉｍ（）は、コサイン類似度、または他の何らかのベクトル距離の測定値を表し得る。他の距離の尺度も適用され得、たとえば、コサイン距離（たとえば、１－ｃｏｓ類似度）が含まれる。他の例では、他の距離計算の方法も利用され得、たとえば、ユークリッド距離が含まれる。このように、表１に示す例は、例示を目的としており、別々のベクトルグループへのセパレータベクトル用の他のバイアス分類基準が適用され得る。

【0046】

バイアス識別コントローラ１０６は、バイアス分類基準を調節し得る。たとえば、バイアス識別コントローラ１０６は、目標デバイアス基準を受け取り得る。目標デバイアス基準は、たとえば、目標単語比率を含み得る。

【0047】

目標単語比率は、第１のバイアスカテゴリおよび第２のバイアスカテゴリに含まれる単語の目標比率を含み得る。バイアス識別コントローラ１０６は、目標単語比率に基づいてバイアス分類基準を修正し得る。バイアス分類基準を修正すると、特定のバイアスベクトルグループに分類されるベクトルの数量が修正され得る。たとえば、バイアス識別基準は、各バイアスベクトルグループに含まれるベクトルの数を調節するように更新されたバイアス閾値（複数可）を生成し得る。表１の例を参照すると、第１のバイアス閾値αを増加させることにより、第１のバイアスベクトルグループに含まれるベクトルの数量が増加する。第１のバイアス閾値αを減少させることにより、第１のバイアスベクトルグループに含まれるベクトルの数量が減少する。図２Ａを参照すると、第１のバイアス閾値αを増加させることにより、第１の領域２０２の面積が増加し得、第１のバイアス閾値αを減少させることにより、第１の領域２０２の面積が減少し得る。このように、第１のバイアス閾値αは、領域２０２の大きさ、および／または第１の単語ベクトルＶ_ｗ１（または他のベクトル）が第１のバイアスグループに含まれるか否かを統制し得る。同様に、第２のバイアス閾値βは、第２の領域２０４の大きさ、および／または第２の単語ベクトルＶ_ｗ２（または他のベクトル）が第２のバイアスベクトルグループに含まれるか否かを統制し得る。βを減少させると、第２のバイアスグループ内のベクトルの数が増加し得、βを増加させると、第２のバイアスグループ内のベクトルの数が減少し得る。

【0048】

デバイアスパイプライン１０２は、ペナルティコントローラ１０８を含み得る。ペナルティコントローラ１０８は、バイアス分類基準を満たす１つまたは複数のベクトルにペナルティ係数を割り当て得る。ペナルティコントローラ１０８は、単語ベクトルがバイアス分類基準を満たしたことに応答して、単語ベクトルを選択し得る。たとえば、図２Ａを参照すると、ペナルティコントローラ１０８は、第１の単語ベクトルＶ_ｗ１および第２の単語ベクトルＶ_ｗ１を、これらのベクトルがバイアス分類基準を満たしていること（すなわち、バイアス軸（Ｖ_ｂ，－Ｖ_ｂ）から特定の距離内にあること）に応答して選択し得る。

【0049】

一部の例では、ペナルティコントローラ１０８は、ペナルティ係数を調節し得る。たとえば、ペナルティコントローラ１０８は、更新されたペナルティ係数を受け取り得る。ペナルティ係数を更新すると、特定のベクトルにペナルティが科される量が変化し得る。たとえば、ペナルティ係数を低下させると、特定のベクトルとバイアス定義ベクトルＶ_ｂとの間の距離が減少し得る。ペナルティ係数を増加させると、特定の単語ベクトルとバイアス定義ベクトルＶ_ｂとの間の距離が増加し得る。

【0050】

デバイアスパイプライン１０２は、モデル生成器１１０を含み得る。一部の例では、モデル生成器１１０は、更新された単語埋め込みモデルを生成し得る。たとえば、モデル生成器１１０は、１つまたは複数のバイアスベクトルグループ内のベクトルにペナルティ係数を適用し得る。たとえば、モデル生成器１１０は、ベクトルまたはベクトルのグループの識別子を受け取り得る。モデル生成器１１０は、ペナルティ係数に基づいてベクトルまたはベクトルのグループにペナルティを科し得る。図２Ａの例を参照すると、第１の単語ベクトルＶ_ｗ１および第２の単語ベクトルＶ_ｗ２はそれぞれ、バイアス分類基準を満たし得る。ベクトルＶ_ｗ１およびＶ_ｗ２は、ペナルティを科すために選択され得る。モデル生成器１１０は、ペナルティ係数に基づいて、第１の単語ベクトルＶ_ｗ１および／または第２の単語ベクトルＶ_ｗ２にペナルティを科し得る。図２Ｂを参照すると、更新された埋め込み空間は、ペナルティが科された第１の単語ベクトルＶ_ｗ１’と、ペナルティが科された第２の単語ベクトルＶ_ｗ２’とを含み得る。ペナルティが科された第１の単語ベクトルＶ_ｗ１’は、元の第２の単語ベクトルＶ_ｗ１よりもバイアス定義ベクトルＶ_ｂから遠くにあり得る。ペナルティが科された第２の単語ベクトルＶ_ｗ２’は、元の第２の単語ベクトルＶ_ｗ２よりもバイアス定義ベクトルＶ_ｂの近く（すなわち、－Ｖ_ｂから遠く）にあり得る。

【0051】

更新された単語埋め込みモデルを生成するために、モデル生成器１１０は、以下の式に基づいてベクトルにペナルティを科し得る。

【0052】

【数1】

【0053】

ここで、Ｖ_ｎｅｗはペナルティが科されたベクトルであり、Ｖ_ｏｌｄは元のベクトルであり、Φはペナルティ係数である。他の例では、モデル生成器１１０は、ペナルティ係数Φおよび元のベクトルＶ_ｏｌｄの追加的または代替的な組み合わせに基づいて、ベクトルＶ_ｎｅｗにペナルティを科し得る。

【0054】

一部の例では、モデル生成器１１０は、ＴＦ－ＩＤＦモデルを生成し得る。ＴＦ－ＩＤＦモデルは、単語に割り当てられる様々な重みを含み得る。モデル生成器１１０は、ＴＦ－ＩＤＦモデルに関連付けられた単語が、ペナルティを科すために選択された１つまたは複数のベクトルにも関連付けられていると判定し得る。たとえば、モデル生成器１１０は、ＴＦ－ＩＤＦモデル内の単語のグループが、バイアスベクトルグループに含まれるベクトル表現を有し得ると判定し得る。モデル生成器１１０は、ペナルティ係数を重みに適用して、ＴＦ－ＩＤＦモデル内の単語にペナルティを科し得る。たとえば、モデル生成器１１０は、単語に割り当てられた重みをペナルティ係数に乗算し得る。

【0055】

バイアス分類基準および／またはペナルティ係数を調節すると、第１のおよび／または第２のバイアスカテゴリに含まれる単語が変化し得る。これらの単語とのバイアスの関連付けを弱めることにより、あるタイプのバイアスが低減された人工知能モデルがもたらされ得る。しかしながら、ペナルティ係数および／またはバイアス分類基準の人間による修正では、非効率または不正確なモデルが作成され得る。また、ペナルティ係数およびバイアス分類基準は、人間のオペレータが理解および調整することが困難であり、および／または直感的でない場合がある。

【0056】

デバイアスパイプライン１０２は、調節コントローラ１１２を含み得る。調節コントローラ１１２は、デバイアス基準を生成し得る。デバイアス基準は、１つまたは複数のバイアス語彙において許可されるバイアス単語の数を確立するルールを含み得る。たとえば、デバイアス基準は、前述のように、目標単語比率を含み得る。調節コントローラ１１２は、自然言語プロセッサ１０４、バイアス識別コントローラ１０６、ペナルティコントローラ１０８、および／またはモデル生成器１１０と通信して、単語埋め込みモデルにデバイアス基準を満たさせるペナルティ係数および／またはバイアス分類基準を求め得る。調節コントローラ１１２は、目標単語比率を達成するようにペナルティ係数および／またはバイアス分類基準を調節させ得る。一部の例では、モデル性能を低下させることなく、目標単語比率を達成することが可能であり得る。調節コントローラ１１２はまた、目標単語比率を調節して、デバイアス結果を実現する次善の比率を求め得る。図５および関連する議論では、目標単語比率、バイアス分類基準、およびペナルティ係数の調節について説明する。

【0057】

一部の例では、デバイアスパイプライン１０２は、グラフィカルユーザインターフェースコントローラ１１４を含み得る。グラフィカルユーザインターフェースコントローラ１１４は、１つまたは複数のインタラクティブビューを生成し得る。インタラクティブビューは、目標デバイアス基準を受け取るためのコントロールを含み得る。たとえば、コントロールは、目標単語比率を受け取り得る。代替的または追加的には、グラフィカルユーザインターフェースコントローラ１１４は、ベースラインモデルデータを受け取るための１つまたは複数のコントロールを生成し得る。たとえば、コントロールは、訓練データおよび／または単語埋め込みモデルを含むファイルへのパスを受け取り得る。代替的または追加的には、インタラクティブビューは、他のユーザ定義のパラメータ（複数可）、たとえば、バイアス分類基準および／またはペナルティ係数などを受け取るための１つまたは複数のコントロールを含み得る。一部の例では、インタラクティブビューは、デバイアスを開始する入力を受け取るためのコントロールを含み得る。たとえば、コントロールは、ボタンを含み得る。グラフィカルユーザインターフェースコントローラ１１４は、コントロールとのインタラクションに応答して、デバイアスパイプライン１０２にデバイアスを実行するように指示し得る。一部の例では、グラフィカルユーザインターフェースは、モデルまたは訓練データがデバイアスされた後に、調節されたデバイアス基準を表示し得る。本明細書に記載のように、デバイアスパイプライン１０２は、デバイアス結果を実現するように目標単語比率を調整し得る。ユーザインターフェースは、ユーザが元の目標比率と、実際に達成された調節された目標比率との差を見ることができるように、調整された目標単語比率を表示し得る。

【0058】

一部の例では、デバイアスパイプライン１０２は、バイアス語彙リポジトリ１１６を含み得る。バイアス語彙リポジトリ１１６は、バイアスカテゴリおよび／またはバイアスベクトルグループに関連付けられた単語および／またはベクトル識別子を記憶し得る。たとえば、バイアス語彙リポジトリ１１６は、第１のバイアスベクトルグループおよび第２のバイアスベクトルグループ内のベクトルの実行時比率を求めるために問い合わせされ得る。代替的または追加的には、バイアス語彙リポジトリ１１６は、バイアスカテゴリに関連付けられた単語のテキストを識別するために問い合わせされ得る。たとえば、バイアス語彙リポジトリは、特定のバイアスカテゴリに関連付けられた単語および／またはベクトルを決定するために問い合わせされ得る。ＮＬＰフレームワーク１０４は、ベースラインモデルデータから解析された単語のテキストをバイアス語彙リポジトリ１１６に記憶し得る。バイアス識別コントローラ１０６は、単語を特定のベクトルに関連付け、関連付けをバイアス語彙リポジトリ１１６に記憶し得る。代替的または追加的には、バイアス識別コントローラ１０６は、単語またはベクトルと、特定のバイアスカテゴリとの間のマッピングをバイアス語彙リポジトリ１１６に記憶し得る。バイアス調節基準、ペナルティ係数、および目標単語比率が調節されると、マッピングは更新され得る。

【0059】

図３にシステムの例示的なロジックの流れ図１００を示す。デバイアスパイプライン１０２は、単語埋め込みモデルを受け取り得る（３０２）。単語埋め込みモデルは、単語のコーパスに基づいて生成され得る。たとえば、単語のコーパスは、たとえば、スキル資格と役割記述とのマッチングなどの特定の用途における推論を提供するように単語埋め込みモデルを訓練するために、事前に作成済みであり得る。

【0060】

デバイアスパイプライン１０２は、バイアス定義ベクトルを決定し得る（３０４）。たとえば、デバイアスパイプライン１０２は、単語埋め込みモデルにおいて、第１のバイアスカテゴリを表す第１のベクトルと、第２のバイアスカテゴリを表す第２のベクトルとを識別し得る。デバイアスパイプライン１０２は、第２のベクトルから第１のベクトルを減算して、バイアス定義ベクトルを求め得る。代替的には、デバイアスパイプライン１０２は、第１のベクトルから第２のベクトルを減算して、バイアス定義ベクトルを求め得る。図１および図２を参照して前述したように、デバイアス定義ベクトルは、単語埋め込みモデル空間内でバイアス軸に沿って定義され得る。バイアス軸は、バイアスタイプを表し得る。

【0061】

デバイアスパイプライン１０２は、バイアス分類基準を取得し得る（３０６）。バイアス分類基準は、バイアス定義ベクトルからの距離測定値などの意味的類似度スコアに基づいて、ベクトルを第１のグループおよび第２のグループにグループ化するためのロジックを含み得る。図１および図２を参照して前述したように、距離測定値は、角類似度および／または角距離に基づく測定値を含み得る。バイアス分類基準は、距離測定値をバイアス閾値と比較し得る。バイアス閾値は、最初はデフォルト値、たとえば、コサイン類似度０．３に設定され得る。代替的または追加的には、バイアス閾値は、第１のバイアスベクトルグループおよび／または第２のバイアスベクトルグループに含まれるベクトルの数を調整するように調節され得る。

【0062】

デバイアスパイプライン１０２は、バイアス分類基準に基づいて第１のベクトルのグループおよび第２のベクトルのグループを識別し得る（３０８）。第１のベクトルのグループは、第１のバイアスカテゴリ内の単語を表し得る。第２のベクトルのグループは、第２のバイアスカテゴリ内の単語を表し得る。

【0063】

デバイアスパイプライン１０２は、デバイアス済み知能モデルを生成し得る（３１０）。デバイアス済み知能モデルは、単語とメトリックとの間の関連付けを含み得る。たとえば、人工知能モデルは、第１のバイアスカテゴリ内の単語のメトリックと、第２のバイアスカテゴリ内の単語のメトリックとを含み得、またはこれらに関して訓練され得る。第１および第２のバイアスカテゴリ内の単語のメトリックは、ペナルティ係数に基づいてペナルティが科され得る。ペナルティ係数は、デバイアス済み人工知能モデルにおけるバイアスにペナルティを科しながら、モデル精度を維持するように調節された非ゼロ値を含み得る。一部の例では、デバイアス済み人工知能モデルは、更新された単語埋め込みモデルを含み得る。たとえば、デバイアスパイプライン１０４に最初に提供された単語埋め込みモデルは、デバイアス基準が満たされるまで、反復的に更新され得る。代替的または追加的には、デバイアス済み人工知能モデルは、ＴＦ－ＩＤＦモデルを含み得る。

【0064】

図４にシステムの例示的なロジックの流れ図１００を示す。デバイアスパイプライン１０２は、目標単語比率を受け取り得る（４０２）。目標単語比率は、第１のバイアス語彙内の単語と、第２のバイアス語彙内の単語との数に基づく比率を含み得る。一部の例では、目標単語比率は、グラフィカルユーザインターフェースを介して受け取られ得る。たとえば、デバイアスパイプライン１０２は、目標単語比率を受け取るように構成されるコントロールを有するインタラクティブビューを生成し得る。目標単語比率は、グラフィカルユーザインターフェースとのインタラクションに応答して、デバイアスパイプライン１０２に送信され得る。

【0065】

デバイアスパイプライン１０２は、自然言語テキストを受け取り得る（４０４）。一部の例では、自然言語テキストは、デバイアスパイプライン１０２にアップロードされ得る。代替的または追加的には、ベースラインモデルデータ（たとえば、訓練データ、注釈、ベースラインモデル）は、デバイアスパイプライン１０２に送られ得る。一部の例では、デバイアスパイプライン１０２は、ファイルのアップロードを可能にするインタラクティブビューを生成し得る。ファイルは、自然言語テキストおよび／またはベースラインモデルデータを含み得る。代替的または追加的には、ファイルは、デバイアスパイプライン１０２に、他の何らかのリモートサーバおよび／またはソースから送られ得る。たとえば、組織は、就職推薦状、履歴書、または他の自然言語テキストをデバイアスパイプライン１０２に送り得る。

【0066】

デバイアスパイプライン１０２は、単語埋め込みモデルを生成し得る（４０６）。デバイアスパイプライン１０２は、ＮＬＰフレームワーク１０４にアクセスして、自然言語テキストに基づいて単語埋め込みモデルを生成し得る。たとえば、デバイアスパイプライン１０２は、自然言語テキストから単語のコーパスを抽出し得る。デバイアスパイプライン１０２は、単語のコーパスに基づいて単語埋め込みモデルを生成し得る。

【0067】

デバイアスパイプライン１０２は、バイアス定義ベクトルを決定し得る４０８。デバイアスパイプライン１０２は、第１のバイアスベクトルのグループおよび第２のバイアスベクトルのグループを識別し得る（４１０）。デバイアスパイプライン１０２は、第１のバイアスベクトルのグループおよび第２のバイアスベクトルのグループ内のベクトルにペナルティを科し得る（４１２）。たとえば、デバイアスパイプライン１０２は、図１および図２を参照して前述したように、また、図３を参照して説明した動作３０４のように、バイアス定義ベクトルを決定し、ベクトルのグループを決定し／ペナルティを科し得る。

【0068】

デバイアスパイプライン１０２は、実行時単語比率を求め得る（４１４）。実行時単語比率を求めるために、デバイアスパイプライン１０２は、ペナルティ付与が行われた後に、新たな第１のバイアスベクトルのグループと、新たな第２のバイアスベクトルのグループとを決定し得る。たとえば、デバイアスパイプライン１０２は、バイアス分類基準を更新された単語埋め込みモデルに適用することによって、新たな第１のベクトルのグループと、新たな第２のベクトルのグループとを識別し得る。実行時単語比率は、新たな第１のグループ内のベクトルの数と、新たな第２のグループ内のベクトルの数との間の関係に基づいて求められ得る。たとえば、実行時単語比率は、第１の新たなグループ内のベクトルの数を、第２の新たなグループ内のベクトルの数で除算した値を含み得る。

【0069】

デバイアスパイプライン１０２は、デバイアス基準が満たされているか否かを判定し得る（４１６）。たとえば、デバイアス基準は、目標単語比率を実行時単語比率と比較するロジックを含み得る。基準は、実行時単語比率が満たされているか否かを判定するための許容範囲を適用し得る。たとえば、デバイアス基準は、以下の式が満たされているか否かを判定し得る。
Ｒ_{ｒｕｎｔｉｍｅ}＝Ｒ_{ｔａｒｇｅｔ}±（Ｒ_{ｔａｒｇｅｔ}）（Ｘ）
ここで、Ｒ_{ｒｕｎｔｉｍｅ}は実行時単語比率であり、Ｒ_{ｔａｒｇｅｔ}は目標単語比率であり、Ｘは許容範囲値である許容範囲値は、たとえば１０％の許容範囲の場合、０．１０を含み得る。

【0070】

デバイアス基準が満たされていないことに応答して（４１６、ｎｏ）、デバイアスパイプライン１０２は、バイアス分類基準、目標比率、および／またはペナルティ係数を調節し得る（４１８）。たとえば、デバイアスパイプライン１０２は、バイアス分類基準、目標比率、および／またはペナルティ係数の変更に基づいて、埋め込みモデルを反復的に更新し得る。たとえば、デバイアスパイプライン１０２は、最初にバイアス分類基準を調節することを試み得る。バイアス分類基準を調節した後、デバイアスパイプライン１０２は、単語埋め込みモデルを更新し、次いで実行時比率を再度求め得る。実行時比率がデバイアス基準を満たしていないことに応答して、デバイアスパイプライン１０２は、目標単語比率を調節し得る。換言すれば、目標比率が得られない場合、デバイアスパイプライン１０２は、次善の選択肢を決定し得る。調節された目標比率に基づいて、デバイアスパイプライン１０２は、デバイアス基準が満たされるまで、バイアス分類基準および／またはペナルティ係数を段階的に調節し得る。デバイアス基準が満たされていない場合、デバイアスパイプライン１０２は、デバイアス基準が満たされるまで、目標比率および／またはペナルティ係数を調節し続け得る。目標比率、バイアス分類、およびペナルティ係数のさらなる議論については、図５および関連する説明を参照されたい。

【0071】

デバイアス基準が満たされていることに応答して（４１６、ｙｅｓ）、デバイアスパイプライン１０２は、デバイアス済み人工知能モデルを生成し得る（４２０）。デバイアス済み人工知能モデルの生成については、図１を参照して、また、図３の動作３１０において説明している。

【0072】

図５にシステムの例示的なロジックの流れ図１００を示す。デバイアスパイプライン１０２は、目標デバイアス基準および単語埋め込みモデルを取得し得る（５０２）。たとえば、目標デバイアス基準は、目標単語比率を含み得る。目標動作比率は、グラフィカルユーザインターフェースのインタラクティブビューのフィールドに提供され得る。

【0073】

デバイアスパイプライン１０２は、バイアス分類基準を調節し得る（５０４）。バイアス分類基準を調節するために、バイアスパイプライン１０２は、実行時目標比率を目標単語比率と比較し得る。実行時単語比率が目標単語比率より大きい場合、デバイアスパイプライン１０２は、第１のバイアスグループ内のベクトルの数を減少させ、第２のバイアスグループ内のベクトルの数を増加させ得る。実行時単語比率が目標単語比率未満である場合、デバイアスパイプライン１０２は、第１のバイアスグループ内のベクトルの数を増加させ、第２のバイアスグループ内のベクトルの数を減少させ得る。

【0074】

図１を参照して前述したように、第１のバイアス閾値αは、第１のバイアスベクトルグループに含まれるベクトルの数を統制し得、第２のバイアス閾値βは、第２のバイアスベクトルグループに含まれるベクトルの数を統制し得る。このように、デバイアスパイプライン１０２は、第１のグループおよび第２のグループ内のベクトルの比率が目標単語比率に近くなる（たとえば、１０％または他の何らかの所定の許容範囲値内になる）かまたは等しくなるまで、αおよびβを変化させ得る。一部の例では、デバイアスパイプライン１０２は、各グループ内のベクトルの比率が目標比率から許容範囲内、たとえば、目標比率から±１０％以内になるまで、第１および第２のバイアス閾値を段階的に変更し得る。

【0075】

デバイアスパイプライン１０２は、第１および第２のバイアスベクトルグループに含まれるベクトルにペナルティを科し、実行時比率を再度求め得る（５０６）。たとえば、デバイアスパイプライン１０２は、デフォルトのペナルティ係数０．３に基づいて、第１のバイアスベクトルグループおよび第２のバイアスベクトルグループ内のベクトルにペナルティを科し得る。デバイアスパイプライン１０２は、単語埋め込みモデルを更新し得る。デバイアスパイプライン１０２は、更新された単語埋め込みモデル内の第１のバイアスベクトルグループおよび第２のバイアスベクトルグループに基づいて、実行時比率を再度求め得る。

【0076】

デバイアスパイプライン１０２は、デバイアス基準が満たされたか否かを判定し得る（５０８）。たとえば、デバイアスパイプライン１０２は、実行時比率を目標比率と比較して、実行時比率が目標比率から受容許容範囲（たとえば、±１０％または他の何らかの所定の許容範囲値）内にあるか否かを確認し得る。

【0077】

デバイアス基準が満たされていないことに応答して（５０８、ｎｏ）、デバイアスパイプライン１０２は、デフォルトの分類基準およびデフォルトのペナルティ係数を取得し得る（５１０）。デフォルト値は、目標比率が調節され得るように、取得される。後述のように、分類基準およびペナルティ係数は、目標比率の段階的な変更に基づいて調節され得る。

【0078】

デバイアスパイプライン１０２は、目標比率を調節し得る（５１２）。たとえば、モデル性能を維持し、元の目標比率を得ることが可能でない場合がある。これらの状況では、目標比率が、前に求められた実行時比率より高い場合、デバイアスパイプライン１０２は、（第１のバイアスカテゴリを表す）比率の第１の側を減少させ、（第２のバイアスカテゴリを表す）比率の第２の側を増加させ得る。代替的には、目標比率が実行時比率未満である場合、デバイアスパイプライン１０２は、比率の第１の側を増加させ、比率の第２の側を減少させ得る。一部の例では、目標比率を調節することは、デフォルトのインクリメント値だけ、たとえば、０．２だけ、一方の側をインクリメントし、他方の側をデクリメントすることを含み得る。

【0079】

デバイアスパイプライン１０２は、バイアス分類基準を調節し得る（５１４）。たとえば、目標比率が調整された後、デバイアスパイプライン１０２は、調整された目標比率に基づいてバイアス分類基準を調節し得る（バイアス分類基準を調節する方法の一例として上記の動作５０４を参照されたい）。

【0080】

デバイアスパイプライン１０２は、ベクトルにペナルティを科し、実行時比率を再度求め得る（５１６）。たとえば、目標比率およびバイアス分類基準が調節された後、デバイアスパイプライン１０２は、調節されたバイアス分類基準に基づいて第１のバイアスベクトルグループおよび第２のバイアスベクトルグループを再決定し得る。デバイアスパイプライン１０２は、デフォルトのペナルティ値に基づいて第１のバイアスベクトルグループおよび第２のバイアスベクトルグループ内のベクトルにペナルティを科し得る。ペナルティを科した後、デバイアスパイプライン１０２は、更新された埋め込みモデルを生成し得る。デバイアスパイプライン１０２は、更新されたモデルに対して、第１のバイアスベクトルグループおよび第２のバイアスベクトルグループに含まれるベクトルを再決定し得る。デバイアスパイプライン１０２は、更新されたモデルに基づいて実行時比率を再度求め得る。

【0081】

デバイアスパイプライン１０２は、デバイアス基準が満たされているか否かを判定し得る（５１８）。デバイアス基準が満たされていないことに応答して（５１８、ｎｏ）、デバイアスパイプライン１０２は、ペナルティ係数を減少させ得る（５２０）。デバイアスパイプライン１０２は、ベクトルにペナルティを科し、次いで実行時比率を再度求め得る（５２２）。たとえば、デバイアスパイプライン１０２は、第１のバイアスベクトルグループおよび第２のバイアスベクトルグループにペナルティを科し得る。デバイアスパイプライン１０２は、低減されたペナルティ係数を適用した後、実行時比率を求める。

【0082】

デバイアスパイプライン１０２は、デバイアス基準が満たされているか否かを判定し得る（５２０）。デバイアス基準が満たされていないことに応答して、デバイアスパイプライン１０２は、動作５１２～５２２を介して反復的に目標比率を再調節し、バイアス分類基準を再調節し５１４、ペナルティ係数を再調節し得る。

【0083】

図３～図５に示すロジックの動作は、様々な順序で実施され得る。加えて、ロジックは、図示に対して追加のまたはより少ない動作を含み得る。

【0084】

図６にシステム１００の第３の例を示す。システムは、推薦エンジン６０２を含み得る。推薦エンジン６０２は、モデルリポジトリ６０４から１つまたは複数の人工知能モデルにアクセスし得る。推薦エンジン６０２は、１つまたは複数の人工知能モデルに基づいて推論を行い得る。デバイアスパイプライン１０２は、デバイアス済み人工知能モデルを推薦エンジン６０２に配備し得る。推薦エンジンは、デバイアス済み人工知能モデルをモデルリポジトリ６０４に記憶し、デバイアス済み人工知能モデルに基づいてコンピュータ生成の推論を作成し得る。

【0085】

管理者デバイス６０６は、ベースラインモデルデータを送り得る。代替的または追加的には、管理者デバイス６０６は、目標単語比率などの目標デバイアス基準を送り得、これをデバイアスパイプライン１０２が受け取って、本明細書に記載のようにデバイアスを実行する。デバイアスパイプライン１０２は、管理者デバイス６０６に表示されるグラフィカルユーザインターフェース用の１つまたは複数のインタラクティブビューを生成し得る。ビューは、目標単語比率、ベースラインモデルデータ、および／または役割記述データを受け取るためのコントロールを含み得る。代替的または追加的には、ビューは、デバイアスパイプライン１０２によって生成されたパラメータ、たとえば、調整された目標単語比率および／または実行時単語比率を表示し得る。したがって、ユーザは、目標デバイアス基準を実行時デバイアス結果と比較して、デバイアス済みモデルが十分にデバイアスされているか否かを判定することが可能であり得る。

【0086】

デバイアスパイプライン１０２は、目標デバイアス基準および／またはベースラインモデルデータに基づいて単語埋め込みモデルを生成し得る。デバイアスパイプライン１０２は、図１～図５を参照して前述したように単語埋め込みモデルをデバイアスし得る。デバイアスパイプライン１０２は、デバイアス済みモデル、たとえば、更新された単語埋め込みモデルまたはＴＦ－ＩＤＦモデルを生成し得る。

【0087】

一部の例では、ベースラインモデルデータは、スキル資格テキストおよび／または役割資格テキストを含み得る。ベースラインモデルデータは、スキル記述を役割資格に関連付ける推論を生成するように人工知能モデルを訓練するための注釈付き訓練データを含み得る。

【0088】

推薦エンジン６０２は、デバイアス済みモデルを受け取り、デバイアス済みモデルをモデルリポジトリ６０４に記憶し得る。デバイアス済みモデルがモデルリポジトリ６０４に記憶された後、推薦エンジン６０２は、デバイアス済みモデルに基づいて推論を生成するために使用される入力データを受け取り得る。たとえば、スキル資格が、応募者デバイス６０８によって提出され得、役割記述テキストが、組織デバイス６１０によって提出され得る。応募者デバイス６０８は、たとえば、スキル資格（たとえば、履歴書）を提出するユーザのデバイスを含み得る。組織デバイス６１０は、役割記述（たとえば、職務記述書）を提出する組織のデバイスを含み得る。

【0089】

推薦エンジン６０４は、デバイアス済み人工知能モデルに基づいて、１つまたは複数のスキル資格を１つまたは複数の役割記述に関連付けるための推論を生成し得る。推薦エンジンは、役割と職務記述書との間のマッピングを表示するグラフィカルユーザインターフェース用のレポートまたはインタラクティブビューを生成し得る。

【0090】

スキル資格テキストは、１人または複数人の人物のスキルを表すテキストを含み得る。スキル資格テキストは、ファイル、セクション、または区切り文字によって編成されるテキストのグループを含み得る。たとえば、スキル資格テキストは、個人の識別子に関連付けられた履歴書テキストを含み得る。代替的または追加的には、スキル資格テキストは、組織の人事記録を含み得る。他の例では、スキル資格は、ソーシャルメディアウェブサイトのウェブページ情報を含み得る。一般に、スキル資格テキストは、個人または個人のグループのスキル、資格、または能力を記述した自然言語テキストを含み得る。

【0091】

役割記述テキストは、１つまたは複数の役割を記述した自然言語テキストなどのテキストを含み得る。役割記述テキストは、特定の責務または役職に望ましいおよび／または必要な人材の特質について記述し得る。たとえば、役割資格テキストは、職務記述書を含み得る。

【0092】

例として、システム１００は、履歴書と職務記述書とをマッチングさせる人工知能モデルの性別バイアスを低減させるためのシステムに実装され得る。デバイアスパイプライン１０２は、履歴書マッチングのコンテキストにおいてユーザ定義されたバイアスの定義を受け取り得る。たとえば、ユーザ定義されたバイアスの定義は、ある役割に応募した応募者の絶対的な性別比率と、その役割に対して提案される候補者の性別比率との間の±５％より大きい差を含み得る。たとえば、ある役割への応募者の６０％が女性であった場合、５５％以上６５％以下の女性が人工知能モデルによって提案される必要がある。

【0093】

デバイアスパイプライン１０２は、履歴書および職務記述書のコーパスに基づいて単語埋め込みモデルを生成し得る。デバイアスパイプライン１０２は、女性カテゴリを表す埋め込み済みベクトルから男性カテゴリを表す埋め込み済みベクトルを減算することにより、バイアス定義ベクトルを計算し得る。その結果得られるバイアス定義は、埋め込み空間においてバイアス軸に沿って定義され得る。パイプラインは、性別軸に対する単語のコサイン距離（たとえば、男性の場合の１から、女性の場合の－１まで）を計算し得る。パイプラインは、バイアス閾値を適用して、ペナルティを科すベクトルを決定し得る。たとえば、バイアス閾値が０．１である場合、０．１より大きいコサイン類似度および－０．１未満のコサイン類似度を有する単語にはペナルティが科される。デバイアスを実行するために、デバイアスパイプライン１０２は、表２に示す疑似ロジックを実行し得る。

【0094】

【表2】

【0095】

一部の例では、バイアス閾値および／またはペナルティ係数の調節は、許容範囲基準によって制限され得る。許容範囲基準は、バイアス分類基準、ペナルティ係数、および／または目標単語比率が調節され得る範囲または境界を確立する基準を含み得る。許容範囲基準は、バイアス閾値許容範囲基準を含み得る。バイアス閾値許容範囲基準は、バイアス閾値が０．０５～０．１５などの範囲内でのみ調節されることを許可し得る。代替的または追加的には、許容範囲基準は、ペナルティ許容範囲基準を含み得る。ペナルティ許容範囲基準は、ペナルティ係数が０．２～０．６などの範囲内でのみ調節されることを許可し得る。許容範囲基準が満たされなくなった場合、デバイアスパイプライン１０２は、デバイアスを中止し得る。

【0096】

システム１００は、図示に対して、追加の、異なる、またはより少ないコンポーネントによって実装され得る。各コンポーネントは、追加の、異なる、またはより少ないコンポーネントを含み得る。一部の例では、システムは、デバイアスパイプライン１０２を含み得る。代替的または追加的には、システムは、推薦エンジン６０２を有するデバイアスパイプライン１０２を含み得る。

【0097】

図７にシステム１００の第４の例を示す。システム１００は、通信インターフェース７１２、入力インターフェース７２８および／またはシステム回路７１４を含み得る。システム回路７１４は、プロセッサ７１６または複数のプロセッサを含み得る。代替的または追加的には、システム回路７１４は、メモリ７２０を含み得る。

【0098】

プロセッサ７１６は、メモリ７２０と通信し得る。一部の例では、プロセッサ７１６は、追加の要素、たとえば、通信インターフェース７１２、入力インターフェース７２８、および／またはユーザインターフェース７１８とも通信し得る。プロセッサ７１６の例は、汎用プロセッサ、中央処理装置、論理ＣＰＵ／アレイ、マイクロコントローラ、サーバ、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、デジタルシグナルプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、および／またはデジタル回路、アナログ回路、あるいはこれらの何らかの組み合わせを含み得る。

【0099】

プロセッサ７１６は、ロジックを実行するように動作可能な１つまたは複数のデバイスであり得る。ロジックは、プロセッサ７１６によって実行された場合に、デバイアスパイプライン１０２、ＮＬＰフレームワーク１０４、バイアス識別コントローラ１０６、ペナルティコントローラ１０８、モデル生成器１１０、調節コントローラ１１２、グラフィカルユーザインターフェースコントローラ１１４、推薦エンジン６０２、および／またはシステム１００の動作をプロセッサ７１６に実行させる、メモリ７２０または他のメモリに記憶されたコンピュータ実行可能命令またはコンピュータコードを含み得る。コンピュータコードは、プロセッサ７１６によって実行可能な命令を含み得る。

【0100】

メモリ７２０は、データを記憶および取り出しするための任意のデバイス、またはこれらの任意の組み合わせであり得る。メモリ７２０は、不揮発性および／または揮発性メモリ、たとえば、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ：ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ：ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、またはフラッシュメモリを含み得る。代替的または追加的に、メモリ７２０は、光学ドライブ、磁気ドライブ（ハードドライブ）、ソリッドステートドライブ、または他の任意の形式のデータ記憶デバイスを含み得る。メモリ７２０は、デバイアスパイプライン１０２、ＮＬＰフレームワーク１０４、バイアス識別コントローラ１０６、ペナルティコントローラ１０８、モデル生成器１１０、調節コントローラ１１２、グラフィカルユーザインターフェースコントローラ１１４、推薦エンジン６０２、および／またはシステム１００のうちの少なくとも１つを含み得る。代替的または追加的には、メモリは、本明細書に記載のシステム１００の他の任意のコンポーネントまたはサブコンポーネントを含み得る。

【0101】

ユーザインターフェース７１８は、グラフィカルな情報を表示するための任意のデバイスまたはインターフェースを含み得る。システム回路７１４および／または通信インターフェース（複数可）７１２は、ユーザインターフェースにグラフィカルな情報を表示させる信号またはコマンドをユーザインターフェース７１８に送り得る。代替的または追加的に、ユーザインターフェース７１８はシステム１００に対してリモートであり得、システム回路７１４および／または通信インターフェース（複数可）は、ユーザインターフェースに情報コンテンツを表示、まとめ、および／またはレンダリングさせるための、たとえばＨＴＭＬ、Ｊａｖａｓｃｒｉｐｔ、ＣＳＳなどの様々な形式の命令をユーザインターフェースに送り得る。一部の例では、ユーザインターフェース７１８によって表示されるコンテンツは、ユーザ入力に対してインタラクティブまたはレスポンシブであり得る。たとえば、ユーザインターフェース７１８は、信号、メッセージ、および／または情報を通信インターフェース７１２またはシステム回路７１４に返し得る。

【0102】

システム１００は、多くの異なる方法で実装され得る。一部の例では、システム１００は、１つまたは複数の論理コンポーネントによって実装され得る。たとえば、システム１００の論理コンポーネントは、ハードウェア、またはハードウェアおよびソフトウェアの組み合わせであり得る。論理コンポーネントは、デバイアスパイプライン１０２、ＮＬＰフレームワーク１０４、バイアス識別コントローラ１０６、ペナルティコントローラ１０８、モデル生成器１１０、調節コントローラ１１２、グラフィカルユーザインターフェースコントローラ１１４、推薦エンジン６０２、および／またはシステム１００を含み得る。一部の例では、各ロジックコンポーネントは、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル論理回路、アナログ回路、ディスクリート回路の組み合わせ、ゲート、もしくは他の任意のタイプのハードウェア、またはこれらの組み合わせを含み得る。代替的または追加的に、各コンポーネントは、たとえば、論理コンポーネントの特徴のうちの１つまたは複数を実装するための、プロセッサ７１６または他のプロセッサによって実行可能な命令を含むメモリハードウェア、たとえば、メモリ７２０の一部などを含み得る。論理コンポーネントのいずれか１つが、プロセッサ７１６によって実行可能な命令を含むメモリの一部を含む場合、そのコンポーネントはプロセッサ７１６を含んでも含まなくてもよい。一部の例では、各論理コンポーネントは単に、対応するコンポーネントが他のいかなるハードウェアも含むことなく、そのコンポーネントの特徴を実装するための、プロセッサ７１６または他のプロセッサ（複数可）によって実行可能な命令を含むメモリ７２０または他の物理メモリの一部であり得る。各コンポーネントは、含んでいるハードウェアがソフトウェアを含む場合であっても、少なくとも何らかのハードウェアを含むので、各論理コンポーネントは、同じ意味でハードウェアコンポーネントと呼ばれ得る。

【0103】

一部の特徴は、非一時的コンピュータ可読記憶媒体に記憶されるように（たとえば、コンピュータ実行可能命令として実装されたロジックとして、またはメモリ内のデータ構造として）図示している。システムならびにそのロジックおよびデータ構造の全部または一部は、１つまたは複数のタイプの非一時的コンピュータ可読記憶媒体に記憶され、分散され、またはそこから読み出され得る。非一時的コンピュータ可読記憶媒体の例は、ハードディスク、フロッピーディスク、ＣＤ－ＲＯＭ、フラッシュドライブ、キャッシュ、揮発性メモリ、不揮発性メモリ、ＲＡＭ、フラッシュメモリ、または他の任意のタイプの１つまたは複数のコンピュータ可読記憶媒体を含み得る。

【0104】

システムの処理能力は、複数の分散処理システムを任意に含む、複数のプロセッサおよびメモリ間など複数のエンティティ間で分散され得る。パラメータ、データベース、および他のデータ構造は、別々に記憶および管理され得、単一のメモリまたはデータベースに組み込まれ得、多くの異なる方法で論理的および物理的に編成され得、異なるタイプのデータ構造、たとえば、リンク付きリスト、ハッシュテーブル、または暗黙的記憶メカニズムによって実装され得る。ロジック、たとえば、プログラムまたは回路は、複数のプログラム間で組み合わせまたは分割され、いくつかのメモリおよびプロセッサに分散され得、ライブラリ、たとえば、共有ライブラリ（たとえば、ダイナミックリンクライブラリ（ＤＬＬ：ｄｙｎａｍｉｃ ｌｉｎｋ ｌｉｂｒａｒｙ）で実装され得る。

【0105】

説明は全て、記載した特定の実装形態にかかわらず、本質的に例示的なものであって、限定的なものではない。たとえば、実装形態の選択した態様、特徴、またはコンポーネントは、メモリ（複数可）に記憶されるものとして示しているが、１つまたは複数のシステムの全部または一部は、他のコンピュータ可読記憶媒体、たとえば、二次記憶デバイス、たとえば、ハードディスク、フラッシュメモリドライブ、または情報を一時的もしくは恒久的に保持するハードウェアに記憶され、分散され、またはこれらから読み出され得る。また、様々な論理ユニット、回路および画面表示機能はそのような機能の一例にすぎず、同様の機能を含む他の任意の構成も可能である。

【0106】

上記の処理、方法、および／または技法を実装するためのそれぞれのロジック、ソフトウェア、または命令は、コンピュータ可読記憶媒体上に提供され得る。図示した、または本明細書で説明した機能、行為、またはタスクは、コンピュータ可読媒体の中または上に記憶されたロジックまたは命令の１つまたは複数のセットに応答して実行され得る。機能、行為、またはタスクは、特定のタイプの命令セット、記憶媒体、プロセッサ、または処理戦略とは独立しており、単独でまたは組み合わせて動作するソフトウェア、ハードウェア、集積回路、ファームウェア、マイクロコードなどによって実行され得る。同様に、処理戦略は、マルチプロセッシング、マルチタスク、並列処理などを含み得る。一例では、命令はリムーバブルメディアデバイスに記憶されて、ローカルまたはリモートシステムにより読み取られる。他の例では、ロジックまたは命令は遠隔地に記憶されて、コンピュータネットワークまたはインフラストラクチャ通信回線を介して転送される。さらに他の例では、ロジックまたは命令は、所与のコンピュータおよび／または中央処理装置（「ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ」）に記憶される。

【0107】

さらに、特定のコンポーネントを上記で説明しているが、本明細書に記載の方法、システム、および製造品は、追加の、より少ない、または異なるコンポーネントを含み得る。たとえば、プロセッサは、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、ディスクリートロジック、または他のタイプの回路もしくはロジックの組み合わせとして実装され得る。同様に、メモリは、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、または他の任意のタイプのメモリであり得る。フラグ、データ、データベース、テーブル、エンティティ、および他のデータ構造は、別々に記憶および管理され得、単一のメモリもしくはデータベースに組み込まれ得、分散され得、または多くの異なる方法で論理的および物理的に編成され得る。コンポーネントは、独立して動作し得、または同一のプログラムもしくは異なるプログラムを実行する同一の装置の一部であり得る。コンポーネントは、別個のハードウェア、たとえば、別個の取り外し可能な回路基板上に存在し得、または共通のハードウェア、たとえば、同一のメモリ、およびそのメモリからの命令を実行するためのプロセッサを共有し得る。プログラムは、単一のプログラム、別個のプログラムの一部であり得、いくつかのメモリおよびプロセッサに分散され得る。

【0108】

第２のアクションが第１のアクションから直接的に生じるか間接的に生じるかにかかわらず、第２のアクションは第１のアクションに「応答する」と記述し得る。第２のアクションは第１のアクションよりかなり後に生じ得、依然として、第１のアクションに応答し得る。同様に、介在するアクションが第１のアクションと第２のアクションとの間に生じても、また、介在するアクションのうちの１つまたは複数により第２のアクションが直接実行されても、第２のアクションは第１のアクションに応答すると記述し得る。たとえば、第１のアクションがフラグを設定し、フラグが設定されると、第３のアクションが後で第２のアクションを開始する場合に、第２のアクションは第１のアクションに応答し得る。

【0109】

用法を明確にして一般に注意を促すために、「＜Ａ＞、＜Ｂ＞、．．．および＜Ｎ＞のうちの少なくとも１つ」、もしくは「＜Ａ＞、＜Ｂ＞、．．．＜Ｎ＞のうちの少なくとも１つ、またはこれらの組み合わせ」、または「＜Ａ＞、＜Ｂ＞、．．．および／または＜Ｎ＞」という語句は、出願人により最も広い意味で定義されており、出願人によりそうでないと明確に断言されていない限り、以前または以後の他の任意の暗黙的な定義に優先し、Ａ、Ｂ、．．．およびＮから構成されるグループから選択される１つまたは複数の要素を意味する。換言すれば、これらの語句は、任意の１つの要素を単独で含むか、またはその要素を、列挙していない追加の要素も組み合わせて含み得る他の要素のうちの１つまたは複数と組み合わせて含む、要素Ａ、Ｂ、．．．またはＮのうちの１つまたは複数の任意の組み合わせを意味する。

【0110】

様々な実施形態を説明したが、さらに多くの実施形態および実装形態が可能であることは当業者には明らかであろう。したがって、本明細書に記載の実施形態は例であり、唯一の可能な実施形態および実装形態ではない。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】