特許 7477608 分類モデルの正解率の改良

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-22

(45)【発行日】2024-05-01

(54)【発明の名称】分類モデルの正解率の改良

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240423BHJP

【ＦＩ】

G06N20/00 130

G06N20/00

【請求項の数】 18

(21)【出願番号】P 2022533364

(86)(22)【出願日】2020-11-08

(65)【公表番号】

(43)【公表日】2023-02-08

(86)【国際出願番号】 IL2020051157

(87)【国際公開番号】W WO2021111431

(87)【国際公開日】2021-06-10

【審査請求日】2023-09-06

(31)【優先権主張番号】62/943,812

(32)【優先日】2019-12-05

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】501005438

【氏名又は名称】オルボテック リミテッド

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】ラベフ ゴネン

(72)【発明者】

【氏名】ゴシェン エラド

【審査官】大塚 俊範

(56)【参考文献】

【文献】特表２０１７－５３０４３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

分類モデルを改良する命令を取得することであって、前記分類モデルは、教師あり画像分類タスクに利用される、ことと、
前記取得することに応じて、前記分類モデルのモデル性能測定値を繰り返し改良することであって、それぞれの繰返しにおいて、前記分類モデルの前記モデル性能測定値は、少なくとも所定の標的目標によって改良される、ことと、
を含む方法であって、前記繰り返し改良することは、
仮説のリストを決定することであって、前記仮説のリストのそれぞれの仮説は、前記分類モデルを潜在的に改良する方策に関連し、それぞれの仮説についてスコアが決定され、前記スコアは、前記仮説の適用が前記分類モデルの前記モデル性能測定値を改良する尤度を示す、こと、
前記仮説のリスト及びそのスコアに基づいて前記分類モデルを改良するための仮説グラフを生成することであって、前記仮説グラフのそれぞれのノードは、前記仮説のリストのうちの仮説を含み、前記仮説グラフを生成することは、強化学習アルゴリズムを適用することを含み、前記強化学習アルゴリズムは、既に生成された一連の仮説グラフを利用する、こと、
前記仮説グラフから選択される仮説を選択することであって、前記選択することは、前記仮説グラフを順次辿るトラバースに基づいている、こと、
前記選択された仮説を実行することであって、それによって前記分類モデルを更新して、少なくとも前記所定の標的目標によって前記モデル性能測定値を改良する、こと、及び、
前記実行に基づいて前記強化学習アルゴリズムを更新すること、
を含む、方法。

【請求項2】

前記仮説のリストのそれぞれの仮説は、
前記分類モデルのモデルタイプと、
前記分類モデルの訓練パラメータと、
前記分類モデルのモデリングパラメータと、
前記教師あり画像分類タスクのモデリングと、
前記分類モデルを訓練するために利用される訓練集合と、
前記分類モデルを検証するために利用される検証集合と、または、
前記分類モデルを試験するために利用される試験集合と、
のうちの少なくとも１つについての修正に関連する、請求項１に記載の方法。

【請求項3】

前記仮説グラフは、前記分類モデルの前記モデルタイプに関連していない少なくとも１つの仮説を含む、請求項２に記載の方法。

【請求項4】

前記仮説のリストを決定することは、
定義済み最良実施仮説生成器を適用することと、
ランダム仮説生成器を適用することと、
を含む、請求項１に記載の方法。

【請求項5】

前記仮説のリストを決定することは、Ｓｕｂｊｅｃｔ Ｍａｔｔｅｒ Ｅｘｐｅｒｔ（ＳＭＥ）仮説生成器を適用することを含み、前記ＳＭＥ仮説生成器は、前記教師あり画像分類タスクの１つ又は複数のパラメータに基づいて仮説を生成するＳＭＥによって設計されたコンピュータプログラム製品である、請求項１に記載の方法。

【請求項6】

前記仮説のリストを決定することは、
前記教師あり画像分類タスクのクラスの数と、
前記教師あり画像分類タスクのそれぞれのクラス内の画像の数と、
前記教師あり画像分類タスクにおける画像サイズと、または、
前記教師あり画像分類タスクのノイズのあるラベル推定測定値と、
のうちの少なくとも１つに基づいて実行される、請求項１に記載の方法。

【請求項7】

前記選択される仮説を選択することは、適用されると、前記仮説グラフにおける別の仮説によって得られる改良と比較して、最高の測定値によって前記分類タスクの前記モデル性能測定値を改良する仮説を選択することを含む、請求項１に記載の方法。

【請求項8】

前記選択される仮説を選択することは、前記仮説グラフの前記トラバース中に遭遇される第１仮説を選択することを含み、前記第１仮説とは、前記第１仮説の適用が少なくとも前記所定の標的目標によって前記分類タスクの前記モデル性能測定値を改良するということである、請求項１に記載の方法。

【請求項9】

前記仮説のリストを決定することは、前記教師あり分類タスクと関連した前の仮説の集合に基づいて実行される、請求項１に記載の方法。

【請求項10】

前記仮説のリストを決定することは、前記強化学習アルゴリズムを適用することを含み、前記強化学習アルゴリズムは、前記前の仮説の集合を利用する、請求項９に記載の方法。

【請求項11】

前記仮説グラフは、１つ又は複数の有向辺によって１つ又は複数の子ノードにそれぞれ接続されている親ノードを含み、前記親ノードは、抽象的仮説を表し、前記１つ又は複数の子ノードのそれぞれは、前記抽象的仮説の様々な具体化を表し、前記仮説グラフから前記選択される仮説を選択することは、
前記親ノードのトラバースに応じて、前記抽象的仮説に関連する抽象的計算を実行すること、及び
前記１つ又は複数の子ノードのうちの１つをトラバースすることに応じて、具体的計算を実行すること、を含み、
前記選択される仮説は、前記抽象的計算及び前記具体的計算に基づいて選択される、請求項１に記載の方法。

【請求項12】

分類モデルを改良する命令を取得するように構成された分類モデル改良モジュールであって、前記分類モデルは、教師あり画像分類タスクに利用される、分類モデル改良モジュールを備える人工知能（ＡＩ）システムであって、
前記分類モデル改良モジュールは、前記分類モデルのモデル性能測定値を繰り返し改良するように構成され、それぞれの繰返しにおいて、前記分類モデルの前記モデル性能測定値は、少なくとも所定の標的目標によって改良され、前記分類モデル改良モジュールは、
計画モジュールであって、
仮説のリストを決定することであって、前記仮説のリストのそれぞれの仮説は、前記分類モデルを潜在的に改良する方策に関連し、それぞれの仮説についてスコアが決定され、前記仮説のスコアは、前記仮説の適用が前記分類モデルの前記モデル性能測定値を改良する尤度を示す、こと、
前記仮説のリスト及びそのスコアに基づいて、前記分類モデルを改良するための仮説グラフを生成することであって、前記仮説グラフのそれぞれのノードは、前記仮説のリストのうちの仮説を含み、前記仮説グラフを生成することは、強化学習アルゴリズムを適用することを含み、前記強化学習アルゴリズムは、既に生成された一連の仮説グラフを利用する、こと、及び、
前記仮説グラフから選択される仮説を選択することであって、前記選択することは、前記仮説グラフを順次辿るトラバースに基づいている、こと、
を行うように構成されている計画モジュールと、
前記選択された仮説を実行し、それによって前記分類モデルを更新して、少なくとも前記所定の標的目標によって前記モデル性能測定値を改良するように構成された実行モジュールと、
を備え、前記計画モジュールは、前記実行モジュールの実行結果に基づいて前記強化学習アルゴリズムを更新するようにさらに構成されている、ＡＩシステム。

【請求項13】

前記計画モジュールは、
前記仮説リストのうちの少なくとも１つの仮説を生成するために、定義済み最良実施仮説生成器を適用することと、
前記仮説リストのうちの少なくとも１つの仮説を生成するために、ランダム仮説生成器を適用することと、
前記仮説リストのうちの少なくとも１つの仮説を生成するために、Ｓｕｂｊｅｃｔ Ｍａｔｔｅｒ Ｅｘｐｅｒｔ（ＳＭＥ）仮説生成器を適用することであって、前記ＳＭＥ仮説生成器は、前記教師あり画像分類タスクの１つ又は複数のパラメータに基づいて仮説を生成するＳＭＥによって設計されたコンピュータプログラム製品である、ことと、
を行うように構成されている、請求項１２に記載のＡＩシステム。

【請求項14】

前記計画モジュールは、前記教師あり分類タスクと関連した前の仮説の集合に基づいて前記仮説のリストを決定するように構成されている、請求項１２に記載のＡＩシステム。

【請求項15】

前記計画モジュールは、前記強化学習アルゴリズムを適用することによって前記仮説のリストを決定するように構成され、前記強化学習アルゴリズムは、前記前の仮説の集合を利用する、請求項１４に記載のＡＩシステム。

【請求項16】

前記仮説グラフは、１つ又は複数の有向辺によって１つ又は複数の子ノードにそれぞれ接続されている親ノードを含み、前記親ノードは、抽象的仮説を表し、前記１つ又は複数の子ノードのそれぞれは、前記抽象的仮説の様々な具体化を表し、前記計画モジュールは、
前記親ノードのトラバースに応じて、前記抽象的仮説に関連する抽象的計算を実行することと、
前記１つ又は複数の子ノードのうちの１つをトラバースすることに応じて、具体的計算を実行することと、
を行うように構成され、
前記選択される仮説は、前記抽象的計算及び前記具体的計算に基づいて選択される、請求項１２に記載のＡＩシステム。

【請求項17】

プロセッサを有するコンピュータ化された装置であって、前記プロセッサは、
分類モデルを改良する命令を取得するステップであって、前記分類モデルは、教師あり画像分類タスクに利用される、ステップと、
前記取得するステップに応じて、前記分類モデルのモデル性能測定値を繰り返し改良するステップであって、それぞれの繰返しにおいて、前記分類モデルの前記モデル性能測定値は、少なくとも所定の標的目標によって改良される、ステップと、を実行するように適合されており、前記繰り返し改良するステップは、
仮説のリストを決定することであって、前記仮説のリストのそれぞれの仮説は、前記分類モデルを潜在的に改良する方策に関連し、それぞれの仮説についてスコアが決定され、前記仮説のスコアは、前記仮説の適用が前記分類モデルの前記モデル性能測定値を改良する尤度を示す、ことと、
前記仮説のリスト及びそのスコアに基づいて、前記分類モデルを改良するための仮説グラフを生成することであって、前記仮説グラフのそれぞれのノードは、前記仮説のリストのうちの仮説を含み、前記仮説グラフを生成することは、強化学習アルゴリズムを適用することを含み、前記強化学習アルゴリズムは、既に生成された一連の仮説グラフを利用する、ことと、
前記仮説グラフから選択される仮説を選択することであって、前記選択することは、前記仮説グラフを順次辿るトラバースに基づいている、ことと、
前記選択された仮説を実行することであって、それによって前記分類モデルを更新して、少なくとも前記所定の標的目標によって前記モデル性能測定値を改良する、ことと、
前記実行に基づいて前記強化学習アルゴリズムを更新すること、
を含む、コンピュータ化された装置。

【請求項18】

プログラム命令を保持する非一時的コンピュータ可読記憶媒体を備えるコンピュータプログラム製品であって、前記プログラム命令は、プロセッサによって読み取られると、前記プロセッサに、
分類モデルを改良する命令を取得することであって、前記分類モデルは、教師あり画像分類タスクに利用される、ことと、
前記取得することに応じて、前記分類モデルのモデル性能測定値を繰り返し改良することであって、それぞれの繰返しにおいて、前記分類モデルの前記モデル性能測定値は、少なくとも所定の標的目標によって改良される、ことと、
を含む方法を実行させ、前記繰り返し改良することは、
仮説のリストを決定することであって、前記仮説のリストのそれぞれの仮説は、前記分類モデルを潜在的に改良する方策に関連し、それぞれの仮説についてスコアが決定され、前記仮説のスコアは、前記仮説の適用が前記分類モデルの前記モデル性能測定値を改良する尤度を示す、こと、
前記仮説のリスト及びそのスコアに基づいて、前記分類モデルを改良するための仮説グラフを生成することであって、前記仮説グラフのそれぞれのノードは、前記仮説のリストのうちの仮説を含み、前記仮説グラフを生成することは、強化学習アルゴリズムを適用することを含み、前記強化学習アルゴリズムは、既に生成された一連の仮説グラフを利用する、こと、
前記仮説グラフから選択される仮説を選択することであって、前記選択することは、前記仮説グラフを順次辿るトラバースに基づいている、こと、
前記選択される仮説を実行することであって、それによって前記分類モデルを更新して、少なくとも前記所定の標的目標によって前記モデル性能測定値を改良する、こと、及び、
前記実行に基づいて前記強化学習アルゴリズムを更新すること、
を含む、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、人工知能に関し、具体的には、人工知能分類モデルの自動改良に関する。

【背景技術】

【0002】

人工知能（ＡＩ）は、様々な計算システムにおける多くのタスクのための基本ツールである。ＡＩは、機械、コンピュータシステム、学習アルゴリズム等によるヒトの知能プロセスをシミュレートする。知能プロセスは、情報の取得と、情報を使用するためのルールとを学習し、ルールを用いて推論することにより近似の又は明確な結論及び自己補正に到達することを含んでもよい。ＡＩの特有の適用は、エキスパートシステム、音声認識、マシンビジョン、自律走行、コンテンツ配信ネットワークにおけるインテリジェントルーティング、軍事シミュレーション等を含む。

【0003】

ＡＩの使用は、検査システム、特に、部材、又は部材、製品等内の欠陥の識別及び分類を目的とするシステムにおいて非常に普及している。ＡＩ技術は、技術集約型産業の本質的な部分となっており、製造プロセスにおける多くの挑戦的な問題を解決するのに役立つ。

【先行技術文献】

【特許文献】

【0004】

【文献】米国特許出願公開第２０１５／０３７９４２８号

【発明の概要】

【発明が解決しようとする課題】

【0005】

開示された主題によって扱われる１つの技術的問題は、ＡＩベースのソフトウェアが自律的に挙動すること、及びその開発者から分離した環境内で動作することを可能にすることである。

【課題を解決するための手段】

【0006】

開示された主題の例示的な一実施形態は、方法であり、該方法は、分類モデルを改良するための命令を取得することであって、分類モデルは、教師あり画像分類タスクに利用される、ことと、取得することに応じて、分類モデルのモデル性能測定値を繰り返し改良することであって、それぞれの繰返しにおいて、分類モデルのモデル性能測定値は、少なくとも所定の標的目標によって改良される、ことと、を含み、繰り返し改良することは、仮説のリストを決定することであって、仮説のリストのそれぞれの仮説は、分類モデルを潜在的に改良する方策に関し、それぞれの仮説についてスコアが決定され、仮説のスコアは、仮説の適用が分類モデルのモデル性能測定値を改良する尤度を示す、こと、仮説のリスト及びそのスコアに基づいて、分類モデルを改良するための仮説グラフを生成することあって、仮説グラフのそれぞれのノードは、仮説のリストのうちの仮説を含む、こと、仮説グラフからの選択された仮説を選択することであって、選択することは、仮説グラフのトラバースに基づいている、こと、及び、選択された仮説を実行することであって、それによって分類モデルを更新して、少なくとも所定の標的目標によってモデル性能測定値を改良する、こと、を含む。

【0007】

開示された主題の別の一例示的な実施形態は、ＡＩシステムであり、該ＡＩシステムは、分類モデルを改良する命令を取得するように構成された分類モデル改良モジュールを含む。分類モデルは、教師あり画像分類タスクに利用される。分類モデル改良モジュールは、分類モデルのモデル性能測定値を繰り返し改良するように構成されている。それぞれの繰返しにおいて、分類モデルのモデル性能測定値は、少なくとも所定の標的目標によって改良される。分類モデル改良モジュールは、計画モジュールを含み、該計画モジュールは、仮説のリストを決定することであって、仮説のリストのそれぞれの仮説は、分類モデルを潜在的に改良する方策に関連し、それぞれの仮説についてスコアが決定され、仮説のスコアは、仮説の適用が分類モデルのモデル性能測定値を改良する尤度を示す、ことと、仮説のリスト及びそのスコアに基づいて、分類モデルを改良するための仮説グラフを生成することであって、仮説グラフのそれぞれのノードが、仮説のリストのうちの仮設を含む、ことと、仮説グラフからの選択された仮説を選択することであって、選択は、仮説グラフのトラバースに基づいている、ことと、を実行するように構成されている。分類モデル改良モジュールは、選択された仮説を実行し、分類モデルを更新し、少なくとも所定の標的目標によってモデル性能測定値を改良するように構成された実行モジュールを更に含む。

【0008】

開示された主題の更に別の例示的な一実施形態は、プロセッサを有するコンピュータ化された装置であり、プロセッサは、分類モデルを改良するための命令を取得するステップであって、分類モデルは、教師あり画像分類タスクに利用される、ステップと、取得するステップに応じて、分類モデルのモデル性能測定値を繰り返し改良するステップであって、それぞれの繰返しにおいて、分類モデルのモデル性能測定値は、少なくとも所定の標的目標によって改良される、ステップと、を実行するように適合されており、繰り返し改良するステップは、仮説のリストを決定することであって、仮説のリストのそれぞれの仮説は、分類モデルを潜在的に改良する方策に関連し、それぞれの仮説についてスコアが決定され、仮説のスコアは、仮説の適用が分類モデルのモデル性能測定値を改良する尤度を示す、ことと、仮説のリスト及びそのスコアに基づいて、分類モデルを改良するための仮説グラフを生成することであって、仮説グラフのそれぞれのノードは、仮説のリストのうちの仮説を含む、ことと、仮説グラフからの選択される仮説を選択することであって、選択は、仮説グラフのトラバースに基づいている、ことと、選択された仮説を実行することであって、それによって分類モデルを更新して、少なくとも所定の標的目標によってモデル性能測定値を改良する、ことと、含む。

【0009】

開示された主題の別の例示的な一実施形態は、プログラム命令を保持する非一時的コンピュータ可読記憶媒体を含むコンピュータプログラム製品であり、該プログラム命令は、プロセッサによって読み取られると、プロセッサに、分類モデルを改良するための命令を取得することであって、分類モデルは、教師あり画像分類タスクに利用される、ことと、取得することに応じて、分類モデルのモデル性能測定値を繰り返し改良することであって、それぞれの繰返しにおいて、分類モデルのモデル性能測定値は、少なくとも所定の標的目標によって改良される、ことと、を含む方法を実行させ、繰り返し改良することは、仮説のリストを決定することであって、仮説のリストのうちのそれぞれの仮説は、分類モデルを潜在的に改良する方策に関連し、それぞれの仮説についてスコアが決定され、仮説のスコアは、仮説の適用が分類モデルのモデル性能測定値を改良する尤度を示す、こと、仮説のリスト及びそのスコアに基づいて、分類モデルを改良するための仮説グラフを生成することであって、仮説グラフのそれぞれのノードは、仮説のリストのうちの仮説を含む、こと、仮説グラフからの選択される仮説を選択することであって、選択することは、仮説グラフのトラバースに基づいている、こと、及び、選択された仮説を実行することであって、それによって分類モデルを更新して、少なくとも所定の標的目標によってモデル性能測定値を改良する、こと、を含む。

【図面の簡単な説明】

【0010】

本開示主題は、対応する又は類似の数字又は文字が対応する又は類似の構成要素を示している図面と関連してなされた以下の詳細な説明からより完全に理解及び認識されるであろう。特に断らない限り、以下の図面は、本開示の例示的な実施形態又は態様を提供し、開示の範囲を限定するものではない。

【0011】

【図1】開示された主題のいくつかの例示的な実施形態に従う、方法についてのフローチャート図である。

【図2】開示された主題のいくつかの例示的な実施形態に従う、方法についてのフローチャート図である。

【図3】開示された主題のいくつかの例示的な実施形態に従う、装置についてのブロック図である。

【図4】開示された主題のいくつかの例示的な実施形態に従う、例示的なアーキテクチャについての概略図である。

【図5A】開示された主題のいくつかの例示的な実施形態に従う、例示的な目標グラフについての図である。

【図5B】開示された主題のいくつかの例示的な実施形態に従う、例示的な仮説目標グラフの実行についての図である。

【図6】開示された主題のいくつかの例示的な実施形態に従う、仮説目標グラフについての図である。

【発明を実施するための形態】

【0012】

開示された主題によって扱われる１つの技術的問題は、ＡＩベースのソフトウェアが自律的に挙動すること、及びその開発者から分離した環境内で動作することを可能にすることである。いくつかの例示的な実施形態において、ＡＩベースのソフトウェアは、工場、製造プラント等内の製造プロセス又は製造機械の製品を監視するように構成されてもよい。ＡＩベースのソフトウェアは、機械が適切に機能する場合、視覚入力に基づいて等で決定するように構成されてもよい。ＡＩベースのソフトウェアは、分類モデルを利用することにより、製品画像を分類し、画像内の部材を分類し、部材又は製品等内の欠陥を識別するように構成されてもよい。

【0013】

一例として、ＡＩベースのソフトウェアが、フラットパネルディスプレイ（ＦＰＤ）製造、プリント回路基板（ＰＣＢ）製造における等で自動光学検査（ＡＯＩ）に使用されてもよい。ＡＯＩは、ＡＩベースのソフトウェアの開発者に完全な情報を提供することなく、ＡＩベースのソフトウェアを用いて実行されてもよい。いくつかの例示的な実施形態において、同じ開発者が、様々な競合する製造業者にＡＩベースのソフトウェアを提供してもよく、それらは、潜在的な公開を制限するためにそれらの共用ベンダに開示する情報を制限することを望むことがある。

【0014】

いくつかの例示的な実施形態において、ＡＩベースのソフトウェアは、別のＡＩソフトウェア、ＡＩベースのソフトウェアの開発者、ＡＩベースのソフトウェアの研究開発センター等との間で情報を伝送又は共有する能力を有することなく、顧客の工場内等で分離した環境内で動作してもよい。それに追加又は代替して、ＡＩベースのソフトウェアは、接続した環境内で動作してもよいが、ＡＩベースのソフトウェアの開発者を含むサードパーティに転送してそれと共有するために、データ容量について制限を受けることがある。

【0015】

開示された主題によって扱われる別の一技術的問題は、データ科学者及びヒトのエキスパートに依存することなく、ＡＩベースのソフトウェアの正解率を自動的に向上させることである。いくつかの例示的な実施形態では、ＡＩベースのソフトウェアは、様々なシステムにおける教師あり画像分類のために使用されてもよい。ユーザは、ＡＩベースのソフトウェアを制御してもよい。ＡＩベースのソフトウェアは、画像を収集するように構成されてもよい。それぞれの画像は、訓練のために、ヒトのユーザによる等でラベリングされてもよい。エキスパートは、ＡＩベースのソフトウェアによって利用されるモデルに超パラメータを提供する、入力データから不適切な特徴を手動で除去する、エラーを検査する、特徴量エンジニアリングを実行する等を行ってもよい。ＡＩベースのソフトウェアは、新しい機能の範囲を提示しながら、ＡＩベースのソフトウェアは、訓練中にそれに提供されるデータの品質によって、そしてそれによって使用されるモデルの固有の構成に、制限されることがある。

【0016】

１つの技術的解決策は、分類モデルの正解率を繰り返し改良する自発的学習を実行することである。いくつかの例示的な実施形態では、自発的学習は、所定の時間枠毎に等で、自動的に、臨時的に、定期的に実行されてもよい。それに追加又は代替して、自発的学習は、ヒトのユーザからの、ＡＩベースのソフトウェアからの、ＡＩベースのソフトウェアと関連するサーバからの等の命令によって開始させられてもよい。しかしながら、自発的学習は、自動的に実行されてもよく、そしてデータ科学者及びヒトのエキスパートの関与を伴わずに誘導されてもよいことを理解されたい。いくつかの例示的な実施形態では、ＡＩベースのソフトウェアは、予め規定されたインタフェースを利用して、モデルを訓練するために、モデルを改良するために、モデルの性能を追跡するために等で機械学習及びＡＩ機構を提供してもよい。いくつかの例示的な実施形態では、ＡＩベースのソフトウェアは、双方向コールバックを介してユーザアプリケーションと自動的に対話して、ＡＩベースのソフトウェアが追加の訓練データ、改良情報等に対する要求を呼び出すこと及びそれらを受取ることを可能にしてもよい。いくつかの例示的な実施形態では、分類モデルの正解率を改良することは、Ｆスコア（例えば、Ｆ１スコア）、正解率スコア、精度スコア、再現率スコア、混同行列、曲線下面積、受信者動作特性（ＲＯＣ）、訓練集合と検証集合との間の正解率差、ＧＰＵ及びＣＰＵ資源の時間、精度に必要なコンピュータメモリ等の分類モデルの正解率測定又は任意の別のモデル性能測定値基準を改良することによって測定されてもよい。いくつかの例示的な実施形態では、分類モデルの正解率を改良するための所定の標的目標が、分類タスクに基づいて自動的に設定されてもよく、そしてＡＩソフトウェアのオペレータによる等、ユーザによる手動で設定されてもよい。一例として、所定の標的目標は、０．５％の改良、例えば、学習のそれぞれの繰返しにおける分類モデルの正解率測定を少なくとも０．５％だけ改良することであってもよい。別の一例として、所定の標的目標が、約０．１％、０．２％、１％等であってもよい。

【0017】

いくつかの例示的な実施形態において、分類モデルを改良するための仮説のリストが、それぞれの繰返しにおいて決定されてもよい。それぞれの仮説は、分類モデルを潜在的に改良する方策に関連してもよい。一例として、仮説は、分類モデルによってどのニューラルネットワークが使用されるべきかのようなアルゴリズムの選択、又はニューラルネットワークトポロジ（例えば、層の数、層のサイズ、層間の接続）、超パラメータ、いくつかのアルゴリズム概念同士間の組合せ等のアルゴリズムの構成に関連してもよい。いくつかの例示的な実施形態において、スコアは、それぞれの仮説に対して決定されてもよい。スコアは、仮説の適用が分類モデルの正解率測定を改良する尤度を示すことがある。いくつかの例示的な実施形態において、スコアは、機械学習技術を実装する予測モデルを使用して決定されてもよい。予測モデルは、教師あり学習技術を実装してもよく、そして実際の観察結果を考慮して経時的に改良してもよい。その追加又は代替として、それぞれの仮説は、仮説を適用するのに必要な時間、仮説を適用するのに必要な計算資源、仮説を適用するのに必要な追加の資源（例えば、追加の訓練集合のための追加の手動ラベリング）等の分類モデルに仮説を適用することのコストを示すコスト関数と関連してもよい。

【0018】

いくつかの例示的な実施形態において、分類モデルを改良するための仮説グラフは、仮説のリスト及びそのスコアに基づいて生成されてもよい。仮説グラフのそれぞれのノードは、仮説のリストのうちの仮説を含んでもよい。仮説グラフは、仮説のスコアに基づいて順序付けられて、そのトラバース順序を課してもよい。一例として、グラフは、より高いスコアを有する仮説が最初にトラバースされてもよいように順序付けられてもよい。選択される仮説は、そのトラバースに基づいて仮説グラフから選択されてもよい。選択される仮説は、分類モデルを更新して、少なくとも所定の標的目標によってその正解率測定を改良するために実行されてもよい。いくつかの例示的な実施形態において、いくつかの仮説が、並列で実行されてもよく、最良候補がそこから選択されてもよい。並列実行は、同じグラフィックスプロセッシングユニット（ＧＰＵ）、中央処理装置（ＣＰＵ）、分散実行環境等を使用して実行されてもよい。

【0019】

いくつかの例示的な実施形態において、開示された解決策の能力が、製品を製造することについての内部アルゴリズムプロセス及びそれの品質保証（ＱＡ）に組み込まれてもよい。一例として、ＡＯＩ分類決定サブシステムが、自動的に生成された分類モデルを使用して欠陥を検出してカテゴリ化するように構成されてもよい。いくつかの例示的な実施形態において、欠陥検出が、欠陥予測を生成して検証すること等によって、走査プロセスの終了時に欠陥を検査する代わりに、製造プロセスにおいて早期に実行されてもよい。いくつかの例示的な実施形態において、ＡＯＩ分類決定サブシステムは、画像、ビデオ、生データ等を外部に提供せずに動作して欠陥を検出してもよい。

【0020】

別の一例として、開示された解決策は、ＦＰＤ製造中にＡＯＩにおいて利用されてもよい。ＦＰＤ産業は、著しく発展し、公開されないことが重要である急速な機密の革新を含む。開示された解決策は、例えば、検査、測定、歩留まり管理解決策、試験及び修復解決策等のような、ＦＰＤ製造における様々な段階で使用されてもよい。開示された主題は、ランプアップフェーズ内及び生産中の両方でエラー源を突き止めるＦＰＤ製造業者が重大欠陥を検出することを可能にし、一方で、生産ラインからのデータを分析して、プロセス関連欠陥を迅速に診断して修復することを可能にする。それに追加又は代替して、開示された解決策は、ＰＣＢ、タッチセンサ、又は別の電子デバイスの製造プロセス中のＡＯＩにおいて、そのようなデバイスの自動修復システムにおいて、そのようなデバイスのための直接撮像システムにおいて等で、利用されてもよい。

【0021】

いくつかの例示的な実施形態において、開示された主題は、仮説実行に関する強化学習を実装して、自発的学習を改良してもよい。いくつかの例示的な実施形態において、強化学習は、過去において有用であることがわかった仮説の探索と仮説の利用との間のバランスを提供するために実行されてもよい。いくつかの例示的な実施形態において、学習タスクが分類され、強化学習が利用されることにより、どの仮説が適用されるべきか、仮説間の適用順序等を決定してもよい。いくつかの例示的な実施形態において、開示された主題は、同じ学習タスクの一連の以前に生成された仮説グラフに基づいて、学習タスクの分類に基づいて、様々な仮説の予測されるスコアに基づいて等、有用な仮説グラフを予測するために強化学習を実施してもよい。

【0022】

いくつかの例示的な実施形態において、開示された主題によって使用されるべき仮説は、いくつかの異なるカテゴリを含んでもよい。いくつかの例示的な実施形態において、仮説生成器が利用されて、所与のモデルに対する仮説を生成してもよい。様々な仮説生成器が提供されてもよい。いくつかの例示的な実施形態において、いくつかの仮説生成器は、経験則として有用であると考えられる仮説を生成するように構成された「最良実施」発生器であってもよい。それに追加又は代替して、いくつかの仮説生成器が、製造プロセス及びそれに使用される機械についての詳細な知識を有するエキスパートのような主題エキスパート（ＳＭＥ）によって手動でプログラムされてもよい。ＳＭＥは、学習タスクの特性を識別し、訓練されたモデルの性能を改良し得る仮説を自動的に生成するスクリプトをプログラムすることができる。ＳＭＥ仮説生成器は、手動でプログラムされてもよいが、自動的に呼び出されてもよく、自発的な学習プロセスにおいてＳＭＥ自体の関与を必要としないことに留意されたい。それに追加又は代替して、いくつかの仮説生成器は、潜在的には魅力のない仮説の探索を可能にするために、ランダム仮説を提供するように構成されたランダム仮説生成器であってもよい。

【0023】

開示された主題を利用することについての１つの技術的効果は、外部コンピューティング及びデータベースから切り離された自発的学習に自律的解決策を提供することである。開示された主題は、追加データを必要とせず、又は内部データを公開することなく、推論、データクレンジング、特異点検出等を可能にする。開示された解決策は、ＡＩ機械を利用する工場又は製造プラントのデータを開発者又は任意の別の外部者に公開することなく、ＡＩ機械の開発者が開発した全ての関連データへの経験及びアクセスを利用する。開示された主題を利用することについての別の一技術的効果は、製品が販売に利用可能になるまでの考えられる製品から要求される市場投入時間（ＴＴＭ）を短縮することである。ＴＴＭは、ＦＰＤ、ＰＣＢ等におけるような、特にマイクロエレクトロニクスの世界において製品が急速に時代遅れにされる産業において重要である。開示された主題は、ＡＩベースのソフトウェアのロバスト性及び安定性を改良して、自動モデル性能追跡を可能にする。

【0024】

開示された主題を利用することについての更に別の一技術的効果は、繰返し的な方式でのモデルを漸進的改良である。達成されるべき漸進的だが相対的に小さい目標を設定することによって、開示された主題は、異なる組合せ及び順序で異なる仮説を使用することにより、改良されたモデルを提供してもよい。場合によっては、多くの小さい漸進的改良が、限られた源を使用して実現可能である場合があり、一方、（小さい漸進的改良の累積でることがある）大きい改良を達成する試みは、困難であるか、又は実行不可能でさえある場合がある。

【0025】

開示された主題は、任意の先行技術、及び当該技術分野において以前にルーチン又は普通になった任意の技術を超える１つ又は複数の技術的改良を提供することがある。追加の技術的問題、解決策及び効果が、本開示を考慮すれば当業者には明らかになるであろう。

【0026】

ここで、開示された主題のいくつかの例示的な実施形態に従う方法のフローチャート図を示す図１を参照する。

【0027】

ステップ１１０では、分類モデルを改良する命令が取得されてもよい。いくつかの例示的な実施形態において、分類モデルは、ＡＯＩ分類、インプロセス品質管理（ＩＰＣＱ）タスク、ＱＩタスク等のためのような教師あり画像分類タスクに利用されてもよい。いくつかの例示的な実施形態において、教師あり画像分類タスクは、部材、又は部材、製品等における欠陥の識別及び分類を目的とするＡＩベースの検査ソフトウェアにおける段階であってもよい。ＡＩベースの検査ソフトウェアは、ＡＩインタフェースを規定するように構成されてもよく、分類モデルを訓練すること、分類モデルを改良すること、トラッキングすること、双方向コールバックを介してユーザアプリケーションと自動的に対話すること等を行うための機械学習及びＡＩ機構を提供する。命令は、ＡＩベースの検査ソフトウェアを利用するシステム、外部アプリケーションに関連するサーバから取得されてもよく、及び外部アプリケーションから取得されなくてもよい。命令は、ＡＩベースの検査ソフトウェアの自発的改良ステップとして提供されてもよい。

【0028】

ステップ１２０では、正解率測定等であってこれに限定されない分類モデルのモデル性能測定値が、少なくとも所定の標的目標によって改良されてもよい。いくつかの例示的な実施形態において、所定の標的目標は、モデル性能測定値を改良するためのデフォルト標的目標であってもよい。それに追加又は代替して、所定の標的目標は、教師あり画像分類タスクの特性に基づいて、分類されている製品の特性に基づいて、製品の製造プロセスの特性に基づいて等、ＡＩ検査システム又はそのユーザによって予め決定されてもよい。それに追加又は代替して、所定の標的目標は、分類モデルが達成することを要求されている標的モデル性能測定値に基づいて決定されてもよい。

【0029】

いくつかの例示的な実施形態において、ステップ１２０が、分類モデルを改良するための一般的な標的目標が達成されるまで、改良が達成されないまで等、予め決定された繰返し回数だけ繰り返して実行されてもよい。それに追加又は代替して、標的目標が、（所定の繰返し回数を超えるような）いくつかの連続する繰返しで達成されない場合、追加の繰返しが改良を提供する尤度が低いので、追加の繰返しが実行されるべきではないと決定されてもよい。ステップ１２０のそれぞれの繰返しが、ステップ１３０～１６０を含んでもよい。

【0030】

ステップ１３０において、仮説のリストが決定されてもよい。いくつかの例示的な実施形態において、仮説のリストのそれぞれの仮説は、分類モデルを潜在的に改良する方策に関連してもよい。方策は、分類モデルのモデルタイプ、分類モデルの訓練パラメータ、分類モデルのモデリングパラメータ、教師あり画像分類タスクのモデリング、分類モデルを訓練するために利用される訓練集合、分類モデルを検証するために利用される検証集合、分類モデルを試験するために利用される試験集合等についての修正に関連してもよい。

【0031】

一例として、仮説は、教師あり学習、教師なし学習、強化学習、自己学習、特徴表現学習、スパース辞書学習、異常検知、関連規則等の分類モデルの学習アルゴリズムのタイプに関連してもよい。場合によっては、仮説リストは、分類モデルのモデルタイプに関連しない少なくとも１つの仮説、例えば、分類モデルの訓練パラメータに関連する仮説、分類タスクのパラメータに関連する仮説等を含んでもよい。

【0032】

いくつかの例示的な実施形態において、仮説のリスト又はその部分は、教師あり画像分類タスクに関連してもよい。このような仮説は、教師あり画像分類タスクのクラスの数、教師あり画像分類タスクのそれぞれのクラス内の画像の数、教師あり画像分類タスク内の画像サイズ、教師あり画像分類タスクのノイズのあるデータセット要素ラベル推定測定等に関連してもよい。

【0033】

それの追加又は代替として、仮説のリストは、３つのタイプの仮説、すなわち、最良実施仮説、強化学習ベースの仮説、及びＳＭＥ仮説を含んでもよい。最良実施仮説は、分類モデルを改良する際に概して効率的であることが承認される仮説であってもよい。強化学習に基づく仮説は、追加の探索のために又は過去の強化学習に基づく仮説の利用によって、ランダムに選択された仮説であってもよい。ＳＭＥ仮説は、特定の教師あり画像分類タスクの分類モデルを改良する際に効率的であることが知られている仮説のような、教師あり画像分類タスクのＳＭＥに関連してもよい。ＳＭＥ仮説は、ヒトによってプログラムされてもよく、又はＡＩ検査システムによって自動的に取得されてもよい等である。

【0034】

いくつかの例示的な実施形態において、スコアは、それぞれの仮説について決定されてもよい。仮説のスコアは、仮説の適用が分類モデルのモデル性能測定値を改良する尤度を示すことがある。スコアは、前の学習又は訓練に基づいて決定されてもよい、仮説パラメータに基づいて予測されてもよい、等である。それの追加又は代替として、スコアは、仮説の生成器によって外部的に設定されてもよい、仮説のデータベースから取得されてもよい、等である。

【0035】

いくつかの例示的な実施形態において、仮説のリストを決定することは、教師あり分類タスクと関連する前の仮説の集合を利用する強化学習アルゴリズムを適用することによって実行されてもよい。強化学習アルゴリズムは、前の仮説の集合及びそれの評価されたスコアに基づいて、仮説のリストに対する仮説の選択を改良するように構成されてもよい。

【0036】

ステップ１４０では、分類モデルを改良するための仮説グラフが生成されてもよい。いくつかの例示的な実施形態において、仮説グラフは、仮説及びそのスコアのリストに基づいて生成されてもよい。仮説グラフのそれぞれのノードは、仮説のリストのうちの仮説を含んでもよい。いくつかの例示的な実施形態において、仮説グラフは、仮説のスコアに従って前順序集合を有する有向グラフであってもよい。

【0037】

いくつかの例示的な実施形態において、仮説グラフは、親ノード及び子ノードを含んでもよい。それぞれの親ノードは、有向辺によって１つ又は複数の子ノードに接続されてもよい。それぞれの親ノードは、抽象的アルゴリズム又は仮説を表してもよい。親ノードの子ノードのそれぞれは、親ノードによって表される抽象的仮説の様々な具体化を表してもよい。いくつかの例示的な実施形態において、いくつかの子ノードは、それの子ノードであって、それに有向辺によって接続された子ノードを有してもよい。そのような子ノードのうちの子ノードは、子ノードによって表された具体的仮説への追加の具体化を表してもよい。いくつかの例示的な実施形態において、仮説のリストは、抽象的仮説及びその具体化を含んでもよい。それに追加又は代替して、仮説のリストは、抽象的仮説を含んでもよく、その具体化が、グラフの生成中に取得されてもよい。

【0038】

その追加又は代替として、仮説グラフは、一連の前に生成された仮説グラフを利用する強化学習アルゴリズムを適用することによって生成されてもよい。

【0039】

ステップ１５０では、選択された仮説は、仮説グラフから選択されてもよい。選択は、仮説グラフのトラバースに基づいて実行されてもよい。仮説グラフのトラバースは、その前順序に従っていてもよい。より高いスコアを有する仮説が、最初にトラバースされてもよい。

【0040】

いくつかの例示的な実施形態において、選択は、適用されると、仮説グラフにおいて別の仮説によって得られる改良と比較して最も高い測定値によって分類タスクのモデル性能測定値を改良する仮説を選択することを含んでもよい。選択は、グラフ全体、その所定の部分等をトラバースした後に実行されてもよい。その追加又は代替として、選択は、仮説グラフのトラバース中に遭遇された第１仮説を選択することを含んでもよく、該第１仮説の適用は、少なくとも所定の標的目標によって分類タスクのモデル性能測定値を改良する。

【0041】

いくつかの例示的な実施形態において、親ノードのトラバースに応じて、親ノードの抽象的仮説に関連する抽象的計算が実行されてもよい。抽象的計算は、仮説の適用が分類モデルのモデル性能測定値を改良する方法を決定することを含んでもよい。子ノードのうちの１つをトラバースすることに応じて、具体的計算が実行されてもよい。具体的計算は、抽象的仮説の特定の具体化の適用が、分類モデルのモデル性能測定値にどの程度影響するかを決定することを含んでもよい。いくつかの例示的な実施形態において、具体的計算は、具体的仮説を実行すること、及び仮説を適用することから生じたモデル性能測定値の改良を決定することを含んでもよい。いくつかの例示的な実施形態において、仮説のスコアは、抽象的計算及び具体的計算に基づいて更新されてもよい。

【0042】

選択される仮説は、抽象的計算及び具体的計算に基づいて選択されてもよい。場合によっては、抽象的仮説のスコアとその具体化のスコアとは、必ずしも相関しないことがあることが留意されてもよい。具体的仮説が、それと関連する抽象仮説がより低いスコアを有するにもかかわらず、別の具体的仮説以上に選択されてもよい。それに追加又は代替して、最良抽象的仮説が選択されてもよく、その最良具体化が適用されてもよい。

【0043】

ステップ１６０では、選択された仮説が実行されてもよく、分類モデル及びモデル性能測定値が更新されてもよい。いくつかの例示的な実施形態において、モデル性能測定値が少なくとも所定の標的目標によって改良されない場合、ステップ１５０が繰り返されてもよい。

【0044】

ここで、開示された主題についてのいくつかの例示的な実施形態に従う方法のフローチャート図を示す図２を参照する。

【0045】

ステップ２１０では、仮説グラフが、強化学習を使用して生成されてもよい。いくつかの例示的な実施形態において、グラフ生成プロセスは、前に生成された仮説グラフに基づいて実行されるアルゴリズム的学習可能プロセスであってもよい。強化学習アルゴリズムが利用されて、一連の前に生成された仮説グラフに基づいて仮説グラフを生成してもよい。一例として、強化学習アルゴリズムは、再帰型ＮＮ、ＬＳＴＭ等のような連続型メモリアルゴリズムであってもよく、該メモリアルゴリズムは、一連の入力（仮説及びそのスコアのそのようなグラフ）を記憶して認識し、そして出力として利用され得る新たな連続が生成されてもよい。連続入力は、一連の前に生成された仮説グラフを含んでもよい。それぞれの仮説グラフは、仮説グラフが関連する分類モデルを改良したか否か、及びどの仮説が適用されたかを示す評価指標によってラベリングされてもよい。強化学習アルゴリズムは、一連の入力に基づいて最高スコア測定基準を有する仮説グラフを生成するように構成されてもよい。

【0046】

その追加又は代替として、強化学習が、仮説のリストを決定しながら適用されてもよい。教師あり分類タスクと関連する前の仮説の集合を利用する強化学習アルゴリズムが、適用されてもよい。

【0047】

ステップ２２０では、仮説グラフが実行されてもよい。いくつかの例示的な実施形態において、仮説グラフは、トラバースされてもよい。グラフのそれぞれのノードにおける仮説の適用が、分類モデルにおいて全体的又は部分的にシミュレートされることにより、仮説を分類モデルに適用することに応じて、分類モデルのモデル性能測定値の潜在的な改良を決定してもよい。仮説は、図１のステップ１５０と同様に選択されてもよい。

【0048】

ステップ２３０では、選択された仮説が実行されてもよく、訓練済みモデルが評価されてもよい。評価済み測定基準は、仮説グラフからの関連仮説を適用することの結果として分類モデルの正解率の改良を表す。評価済み測定基準が、どの仮説が適用されたかを示してもよい。

【0049】

ステップ２４０では、生成された仮説グラフ及び評価済み測定基準が保存されてもよい。いくつかの例示的な実施形態において、生成された仮説グラフ及び評価済み測定基準は、分類モデルに対する自発的学習を実行するサーバと関連した目標グラフの内部データベース内に保存されてもよい。評価された訓練済みモデルは、将来の学習のための関連する訓練済みモデルデータベース内に保存されてもよい。

【0050】

ステップ２５０では、保存されたデータが利用されて、強化学習を改良してもよい。いくつかの例示的な実施形態において、強化学習アルゴリズムは、それの解をその過去の決定に基づいて改良するように構成されてもよい。強化学習アルゴリズムは、評価されたモデル及びそれぞれの仮説の測定基準を利用して、正例又は報酬ベースの強化を適用するように構成されてもよい。正の強化において、正解率の改良のような事象が、特定の仮説又はその特徴のような特定の挙動に起因して発生する場合に、挙動の強度及び頻度、例えば、その特徴についての仮説、引き起こされる改良を増大させる。

【0051】

ここで、開示された主題についてのいくつかの例示的な実施形態に従う装置のブロック図を示す図３を参照する。装置３００は、開示された主題に従う、自発的学習、推論、データクレンジング、新規性検出等を実行するための現用機を支持するように構成されてもよい。

【0052】

いくつかの例示的な実施形態において、装置３００は、１つ又は複数のプロセッサ３０２を備えてもよい。プロセッサ３０２は、ＧＰＵ、ＴｅｎｓｏｒＣｏｒｅ、ＣＰＵ、マイクロプロセッサ、電子回路、集積回路（ＩＣ）等であってもよい。プロセッサ３０２は、装置３００又はそのサブコンポーネントのうちのいずれかによって必要とされる計算を実行するために利用されてもよい。

【0053】

開示された主題のいくつかの例示的な実施形態において、装置３００は、入力／出力（Ｉ／Ｏ）モジュール３０５を備えていてもよい。Ｉ／Ｏモジュール３０５が利用されて、例えば、命令、訓練データ、ラベリング関数を取得すること、仮説グラフを出力すること等のように、ユーザに出力を提供し、ユーザから入力を受取ってもよい。

【0054】

いくつかの例示的な実施形態において、装置３００は、メモリ３０７を備えてもよい。メモリ３０７は、ハードディスクドライブ、フラッシュディスク、ランダムアクセスメモリ（ＲＡＭ）、メモリチップ等であってもよい。いくつかの例示的な実施形態において、メモリ３０７は、プロセッサ３０２に装置３００のサブ構成要素のうちのいずれかと関連する動作を実行させるように作動可能なプログラムコードを保持してもよい。

【0055】

いくつかの例示的な実施形態において、装置３００は、外部コンピューティング及びデータベースに依存することなく、分類モデルを監視し、その正解率を自律的に改良するように構成されてもよい。Ｉ／Ｏモジュール３０５が利用されて、教師あり画像分類タスクに利用される分類モデルを改良する命令を取得してもよい。命令は、ユーザから、製造機械サーバ等から取得されてもよい。装置３００は、分類モデルの正確率測定等の分類モデルのモデル性能測定値を繰り返し改良するように構成されてもよい。

【0056】

いくつかの例示的な実施形態において、仮説リスト生成器３１０は、仮説のリストを生成するように構成されてもよい。仮説のリストのそれぞれの仮説は、分類モデルを潜在的に改良する方策に関する。それぞれの仮説は、仮説の適用が分類モデルの正解率測定を改良する尤度を示すスコアと関連してもよい。スコアは、仮説リスト生成器３１０又はその構成要素によって計算されてもよい。

【0057】

いくつかの例示的な実施形態において、仮説リスト生成器３１０は、仮説のリストを生成するための３１２～３１６のような仮説生成器を利用するように構成されてもよい。それぞれの生成された仮説は、そのモデルタイプのような分類モデルの修正、その訓練データに関連するパラメータ、モデリングパラメータ、教師あり画像分類タスクに関連するパラメータ等に関連してもよい。

【0058】

いくつかの例示的な実施形態において、仮説リスト生成器３１０は、仮説リストの１つ又は複数の仮説を生成するために最良実施仮説生成器３１２を適用するように構成されてもよい。最良実施仮説生成器３１２は、分類モデルを改良するように構成されている定義済み最良実施仮説を生成するように構成されてもよい。定義済み最良実施仮説は、分類モデルを改良することが概して証明されることがあり、そして分類モデルの特定の分類タスクに直接関連しなくてもよい。一例として、予め規定された最良実施仮説が、追加の訓練データを用いて分類モデルを再訓練していてもよい。

【0059】

それに追加又は代替して、仮説リスト生成器３１０は、ＳＭＥ仮説生成器３１６を適用して、仮説リストのうちの１つ又は複数の仮説を生成するように構成されてもよい。ＳＭＥ仮説生成器３１６は、ＳＭＥによって設計され、開発されることにより、教師あり画像分類タスクの１つ又は複数のパラメータに基づいて仮説を生成するコンピュータプログラム製品であってもよい。ＳＭＥ仮説生成器３１６は、分類モデルのユーザによって開発されてもよく、教師あり画像分類タスクのパラメータに基づいて、検査されている製品のパラメータに基づいて等のように、ユーザからの入力に基づいて開発されてもよい。ＳＭＥ仮説生成器３１６は、教師あり画像分類タスクのクラスの数、教師あり画像分類タスクのそれぞれのクラスにおける画像の数、教師あり画像分類タスクにおける画像サイズ、教師あり画像分類タスクのノイズのあるラベル推定測定等に基づいて、仮説を生成するように構成されてもよい。

【0060】

それに追加又は代替して、仮説リスト生成器３１０は、ランダム仮説生成器３１４を適用して、仮説リストのうちの１つ又は複数の仮説を生成するように構成されてもよい。ランダム仮説生成器３１４は、ランダム仮説を生成するように構成されてもよい。ランダム仮説は、分類モデルを改良するための探索機構であってもよい。ランダム仮説生成器３１４は、そのスコアの推定された確率を参照して、仮説をランダムに選択又は生成するように構成されてもよい。

【0061】

いくつかの例示的な実施形態において、ランダム仮説生成器３１４によって生成されたランダム仮説が、ＳＭＥ仮説として実行モジュール３５０によるその実行結果に基づいて決定されてもよい。そのような仮説は、ＳＭＥ仮説生成器３１６によって逐次繰返しで利用されてもよい。

【0062】

いくつかの例示的な実施形態において、仮説グラフ生成器３２０は、仮説リスト生成器３１０によって生成された仮説のリストに基づいて仮説のグラフを生成するように構成されてもよい。仮説グラフ生成器３２０は、関連する仮説のリストにおける仮説のスコアに基づいて、それぞれのグラフを生成するように構成されてもよい。

【0063】

いくつかの例示的な実施形態において、仮説グラフ生成器３２０は、強化学習モジュール３４０を利用して、仮説グラフを生成するように構成されてもよい。強化学習モジュール３４０は、分類モデルについて試験されるべき尤度のある仮説のグラフを自動的に生成する予測方法であるものを学習し、決定するように構成されてもよい。強化学習モジュール３４０は、前に生成された仮説グラフを用いて仮説グラフ生成器３２０を訓練することにより、新たな仮説グラフを生成するように構成されてもよい。強化学習モジュール３４０は、一連の前に生成された仮説グラフを利用して、そのような連続についてのラベルとして仮説グラフを生成するように構成されてもよい。強化学習モジュール３４０は、仮説グラフ生成器３２０を訓練して、入力分類タスクが与えられると実行されるべきグラフを生成するように構成されてもよい。それに追加又は代替して、強化学習モジュール３４０は、仮説リスト生成器３１０によって利用されて、教師あり分類タスクと関連する前の仮説の集合に基づいて仮説のリストを決定してもよい。

【0064】

いくつかの例示的な実施形態において、仮説グラフ生成器３２０によって生成されたグラフ及びそれと関連する評価済み測定基準、例えば、改良尤度、改良された分類モデル等が、仮説グラフデータベース３９０内に記憶されてもよい。仮説グラフデータベース３９０内に記憶されたデータは、改良の次の繰返しにおいて、別の分類モデルについてのグラフを生成する際に、既存のモデルを更新する際に等で利用されてもよい。

【0065】

いくつかの例示的な実施形態において、仮説選択モジュール３３０は、仮説グラフ生成器３２０によって生成された仮説グラフから選択される仮説を選択するように構成されてもよい。仮説選択モジュール３３０は、仮説グラフをトラバースして、仮説を選択するように構成されてもよく、該仮説は、適用されると、仮説グラフにおいて別の仮説によって得られる改良と比較して最も高い測定によって分類タスクの正解率測定を改良する。それに付加又は代替して、仮説選択モジュール３３０は、仮説グラフをトラバースして、仮説グラフのトラバース中に遭遇される第１仮説を選択するように構成されてもよく、該第１仮説とは、それの適用が、少なくとも所定の標的目標による分類タスクの正解率測定値を改良するというものである。

【0066】

いくつかの例示的な実施形態において、実行モジュール３５０は、選択された仮説を実行することにより、分類モデルを更新して、少なくとも所定の標的目標によって正解率測定を改良するように構成されてもよい。いくつかの例示的な実施形態において、実行モジュール３５０は、仮説を実行するための追加のデータ、例えば、訓練データ３８０から取得される追加の訓練データ、ヒトのエキスパートからの追加のＳＭＥデータを利用すること、ユーザによって画像を再タグ付けすること、超パラメータの値を修正すること、学習アルゴリズムを修正すること等を行うように構成されてもよい。

【0067】

いくつかの例示的な実施形態において、強化学習モジュール３４０が、選択された仮説の実行の結果に基づいて、仮説グラフを生成するのに利用される強化学習アルゴリズムを更新するように構成されてもよい。強化学習モジュール３４０は、選択された仮説、改良された分類モデル、正解率の改良等に基づいて強化学習アルゴリズムを改良するように構成されてもよい。

【0068】

いくつかの例示的な実施形態において、装置３００は、予測定量的性能を監視して調整するように構成されてもよい予測追跡装置３６０を備えてもよい。予測追跡装置３６０は、分類モデルの予測性能の追跡を継続するための命令を分析すること、訓練段階において画像のデータ分布に関するような分類されるべき入力画像のデータ分布の間の尤度のある不一致を追跡して検出すること、強化学習を追跡すること、強化学習の性能を調整すること、正解率を改良するための所定の標的目標が達成されることを確認すること等を行うように構成されてもよい。

【0069】

ここで、開示された主題のいくつかの例示的な実施形態に従う、開示された主題が利用されてもよい例示的なアーキテクチャの概略図である図４を参照する。

【0070】

いくつかの例示的な実施形態において、ＡＩシステム４００は、分類モデルの自発的改良を自動的に実行するように構成されてもよい。分類モデルは、教師あり画像分類タスクに利用されてもよい。一例として、ＡＩシステム４００は、部材の分類、製品の欠陥の識別、製品の品質検査等を目的とする検査システムと関連してもよい。分類モデルは、部材又は製品の画像を分類すること、その中の異常を検出すること、製品の欠陥等を検出すること等のために利用されてもよい。自発的改良機構は、ＡＩシステム４００を利用する製造によって設定された目標、製品の所望の品質に基づいて規定された目標、分類モデルの要求される最終正解率に基づいて規定された目標等の予め設定された目標によって駆動されてもよい。

【0071】

いくつかの例示的な実施形態において、ＡＩシステム４００は、分類モデルの改良を実行するための中枢モジュール４２０を使用するように構成されてもよい。ユーザＡＩ対話モジュール４１０は、モデル学習アプリケーションプログラムインタフェース（ＡＰＩ）４２４を介して、中枢４２０への命令を発することにより、分類モデルを改良するように構成されてもよい。中枢４２０は、それぞれの繰返しにおける少なくとも所定の標的目標によって分類モデルの正解率測定を繰り返し改良するように構成されてもよい。中枢４２０は、データＡＰＩ４２２を介して、外部源からの改良のための追加データを取得するように構成されてもよい。追加データは、訓練データ、超パラメータの値、ラベリング関数、改良標的目標等を含んでもよい。

【0072】

いくつかの例示的な実施形態において、中枢４２０の分類モジュール４３０は、学習命令を分析して、分類モデルの学習タスクを分類するように構成されてもよい。分類モジュール４３０は、学習タスクのタイプ、分類モデルが分類タスクを実行するために利用するＡＩ技術、分類モデルのパラメータ、分類タスクのパラメータ等を分析するように構成されてもよい。いくつかの例示的な実施形態において、分類モジュール４３０は、ラベリング／クラスの数、訓練集合内のそれぞれのクラス内のインスタンスの数、入力のサイズ、画像入力のアスペクト比、ノイズのあるラベル推定測定、及びそれに関連するパラメータ、様々なクラスのインスタンスの特性等に基づくように学習タスクを分類してもよい。

【0073】

いくつかの例示的な実施形態において、中枢４２０の計画モジュール４４０は、分類モジュール４３０によって決定された分類に基づいて分類モデルを改良するための仮説グラフについての実行計画を生成するように構成されてもよい。仮説グラフのそれぞれのノードは、分類モデルを潜在的に改良する方策に関する仮説を含んでもよい。いくつかの例示的な実施形態において、計画モジュール４４０は、仮説実行に関する強化学習を実施して、自発的学習を改良するように構成されてもよい。計画モジュール４４０は、どの仮説が適用されるべきか、仮説同士間での適用順序等を決定するための強化学習を実行するように構成されてもよい。計画モジュール４４０は、同じ学習タスクの一連の前に生成された仮説グラフに基づいて、学習タスクの分類に基づいて、様々な仮説の予測されたスコアに基づいて等で、有用な仮説グラフを予測する強化学習を利用してもよい。

【0074】

それに追加又は代替して、計画モジュール４４０は、別の機械学習技術を利用することにより、自動機械学習（Ａｕｔｏ ＭＬ）、ディープニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、転移学習、クラスタリング、弱い学習等を使用するような、仮説グラフの実行計画を生成するように構成されてもよい。

【0075】

中枢４２０の実行モジュール４５０は、仮説グラフを実行するように構成されてもよい。仮説グラフを実行することは、所定の標的目標が達成されるまで、少なくとも所定の標的目標による分類モデルの正解率測定を改良し、それを実行する尤度のある仮説を繰返して選択するためにグラフをトラバースすることを含んでもよい。それぞれの繰返しにおいて、実行モジュール４５０が仮説を選択するように構成されてもよく、該仮説は、適用されると、仮説グラフ又はその部分における別の仮説によって得られる改良と比較して最も高い測定によって分類タスクの正解率測定を改良する。それに追加又は代替して、それぞれの繰返しにおいて、実行モジュール４５０は、仮説グラフのトラバース中に遭遇される第１仮説を選択するように構成されてもよく、該第１仮説は、それの適用が少なくとも所定の標的目標によって分類タスクの正解率測定を改良するというものである。いくつかの例示的な実施形態において、実行されるそれぞれの仮説が、モデルのスタンドアロンコピー上で実行されることにより、仮説の適用に基づいて更新されたモデルを取得してもよい。いくつかの例示的な実施形態において、様々な代替更新モデルの性能であって、そのそれぞれが様々な仮説を実行することの結果である性能が、比較されることにより、適用されるべき好ましい仮説を選択してもよい。

【0076】

いくつかの例示的な実施形態において、実行モジュール４５０は、小さいスケールで仮説を最初に実行して、それらの適用尤度を決定してもよい。仮説が選択された後に、仮説が完全に実行されて、更新されたモデルを取得してもよい。

【0077】

それに追加又は代替して、実行モジュール４５０は、タスク実行ＡＰＩ４８６を介してタスク実行サーバ４９０を使用することにより、仮説グラフを外部実行するように構成されてもよい。いくつかの例示的な実施形態において、タスク実行サーバ４９０は、複数のＧＰＵを適用することによる等で大規模計算源を有してもよく、そして分散計算環境、クラウドコンピューティングサービス等であってもよい。

【0078】

いくつかの例示的な実施形態において、仮説グラフを実行することに応じて、少なくとも所定の標的目標によって改良された正解率測定によって改良された分類モデルが生成されてもよい。場合によっては、生成された仮説グラフは、望ましい標的を獲得しなくてもよく、計画モジュール４４０は、新しい実行計画仮説グラフを再生するように命令されてもよい。

【0079】

いくつかの例示的な実施形態において、中枢４２０の記憶モジュール４６０は、生成された仮説グラフ及びそれと関連する評価済み測定基準を記憶するように構成されてもよい。いくつかの例示的な実施形態において、生成された仮説グラフ及び評価済み測定基準は、ＡＩシステム４００と関連する仮説グラフの内部データベース内、外部データベース内、別のＡＩシステムと関連するデータベース内等に保存されてもよい。生成された仮説グラフ及び評価済み測定基準が将来の学習に利用されることにより、計画モジュール４４０の強化学習解を改良してもよい。

【0080】

いくつかの例示的な実施形態において、中枢４２０の報告モジュール４７０は、中枢からアプリケーションまでのＡＰＩ４８２を介して等で、ＡＩシステム４００に仮説グラフを実行したことの結果を報告するように構成されてもよい。いくつかの例示的な実施形態において、ユーザＡＩ対話モジュール４１０は、報告を評価し、追加の改良繰返しを呼び出すか否かを決定するように構成されてもよい。いくつかの例示的な実施形態において、報告は、標的目標が到達されたことを示してもよく、その結果として、別の繰返しが実行されて、モデルを更に改良してもよい。それに追加又は代替して、報告は、標的目標が到達しなかったことを示してもよく、その結果として、追加の繰返しが改良を提供する尤度が低い（例えば、閾値よりも低い）ようなとき、追加の繰返しが実行されるべきでないことが決定されてもよい。それに追加又は代替して、標的目標が達されなかったことを報告が示す場合に、追加の繰返しが、所望の改良を提供する際に前の仮説グラフの失敗を考慮して、様々な仮説グラフが生成されてもよい間に試みられてもよい。

【0081】

いくつかの例示的な実施形態において、中枢４２０は、中枢から中枢へのＡＰＩ４８４を介して、中枢４２０に類似した別のＡＩシステムの中枢モジュール、同じタイプの中枢４２０を有する別の中枢モジュール等のような中枢４２０に類似した別のモジュールと通信するように構成されてもよい。中枢から中枢までのＡＰＩ４８４が利用されて、共同、分配等のための別のＡＩシステムにデータを提供してもよい。

【0082】

いくつかの例示的な実施形態において、モデル追跡ＡＰＩ４２６が利用されることにより、分類モデルに関する性能情報を取得してもよい。いくつかの例示的な実施形態において、分類モデルの正解率測定が監視され、追跡されてもよい。正解率測定、分類モデルの適用数、分類モデルが適用されたインスタンス等のような性能に関する情報は、モデル追跡ＡＰＩ４２６を介して中枢４２０に提供されてもよい。いくつかの例示的な実施形態において、モデル追跡は、分類モデルに関して、１つ又は複数の更新された分類モデルに関して等で実行されてもよい。いくつかの例示的な実施形態において、そのような情報は、分類モジュール４３０によって、計画モジュール４４０によって、記憶モジュール４６０によって等で利用されてもよい。

【0083】

ここで、開示された主題のいくつかの例示的な実施形態に従う、例示的な仮説目標グラフの例を示す図５Ａを参照する。

【0084】

仮説グラフ５００は、教師あり画像分類タスクに利用される分類モデルを改良する命令に応じて生成される例示的な仮説目標グラフであってもよい。一例として、分類モデルは、ＦＰＤ製品の品質管理に利用されてもよい。仮説グラフ５００が利用されて、０．５％のような少なくとも所定の標的目標によって、Ｆ１スコアのような分類モデルの正解率測定を改良してもよい。

【0085】

いくつかの例示的な実施形態において、仮説グラフ５００のノードは、仮説を含んでもよい。仮説グラフ５００のそれぞれの仮説は、分類モデルを再訓練すること、モデルを修正すること等に関連する方策のような、分類モデルを潜在的に改良するための方策に関連してもよい。いくつかの例示的な実施形態において、葉ノードは、具体的仮説を含んでもよい。それに追加又は代替して、内部ノードは、抽象的仮説を含んでもよく、抽象的仮説の子は、抽象的仮説の具体化を含んでもよい。いくつかの例示的な実施形態において、根ノード５１０は、分類モデルを改良することについての一般的概念を表す縮退仮説を表してもよい。それに追加又は代替して、根ノード５１０は、仮説を含まなくてもよい。いくつかの例示的な実施形態において、目標グラフ５００は、内部ノードを含んでもよく、内部のノードのそれぞれは、１つ又は複数の子ノードに関連している。それぞれの内部、非葉ノードは、分類モデル正解率を改良するための抽象的方策を示す抽象的仮説を表してもよい。それぞれの子ノードは、関連する内部ノードの抽象的仮説の異なる具体化を表してもよい。具体化は、抽象的仮説のパラメータに異なる値を割り当てる等、抽象的仮説のパラメータに関連してもよい。それに追加又は代替して、具体化は、仮説、追加データの源、利用されるアルゴリズム等を適用する方式に関連してもよい。いくつかの例示的な実施形態において、子ノード同士間の順序は、ノードにトラバース順序を課してもよく、そして、それは、異なる仮説の適用及び実行の順序を課してもよい。

【0086】

目標グラフ５００において、ノード５２０における仮説Ｈ１は、クリアデータセットを用いて分類モデルを再訓練するという方策を示すことがある。ノード５２２内の仮説Ｈ１ａは、仮説Ｈ１の具体化であってもよい。仮説Ｈ１ａは、分類モデルを訓練するために利用される元のデータセットの２５％を含むデータセットを用いて、分類モデルを再訓練する方策を示してもよい。ノード５２４における仮説Ｈ１ｂは、仮説Ｈ１の異なる具体化であってもよい。仮説Ｈ１ｂは、分類モデルを訓練するために利用される元データセットのＮ％を含むデータセットを用いて、分類モデルを再訓練する方策を示してもよい。Ｎは、目標グラフ５００の実行中に決定されてもよい。

【0087】

ノード５３０における仮説Ｈ２は、より多くの試料を用いて分類モデルを再訓練する方策を示してもよい。ノード５３２における仮説Ｈ２ａは、仮説Ｈ２の具体化であってもよい。仮説Ｈ２ａは、追加の２つのクラスにインスタンスを分類するように構成されている分類モデルを再訓練することについての方策を示してもよく、該追加の２つのクラスは、第１クラスからのＮ１のラベリングされた試料及び第２クラスからのＮ２の試料を有する第１及び第２クラスである。いくつかの例示的な実施形態において、Ｎ１及びＮ２は、Ｈ２ａの実行の間に決定されてもよい。それに追加又は代替して、Ｎ１及びＮ２は、予め定められてもよい。

【0088】

ノード５４０における仮説Ｈ３は、適応学習速度で分類モデルを再訓練する方策を示してもよい。ノード５４２における仮説Ｈ３ａ、ノード５４４における仮説Ｈ３ｂ、及びノード５４６における仮説Ｈ３ｃは、仮説Ｈ３の具体化であってもよい。仮説Ｈ３ａは、適応学習速度に対して第１訓練アルゴリズムを使用して、適応学習速度で分類モデルを再訓練することを示してもよい。仮説Ｈ３ｂは、適応学習速度に対して第２訓練アルゴリズムを使用して、適応学習速度で分類モデルを再訓練することを示してもよい。仮説Ｈ３ｃは、適応学習速度に対して第３訓練アルゴリズムを使用して、適応学習速度で分類モデルを再訓練することを示してもよい。

【0089】

ノード５５０における仮説Ｈ４は、分類モデルを再訓練することにより、追加のラベリング関数を使用して規定された追加の数のクラスを分類するという方策を示してもよい。いくつかの例示的な実施形態において、追加のラベリング関数が、コールバックＡＰＩを介して取得されてもよい。いくつかの例示的な実施形態において、追加のラベリング関数は、ヒトのユーザによって提供されてもよい、リポジトリから取得されてもよい等である。

【0090】

ここで、開示された主題についてのいくつかの例示的な実施形態に従う、仮説目標グラフの実行を示す図５Ｂを参照する。

【0091】

仮説グラフ５００のような仮説グラフは、教師あり画像分類タスクに利用される分類モデルを改良するための命令に応じて生成されてもよい（５０５）。一例として、分類モデルは、ＦＰＤ製品の品質管理に利用されてもよい。仮説グラフ５００は、０．５％のような少なくとも所定の標的目標によって、Ｆ１スコアのような分類モデルの正解率測定を改良するために利用されてもよい。

【0092】

１つの例示的な実施形態において、目標グラフ５００が自動的に生成されて、所与の分類モデルの正解率測定を０．５％だけ改良してもよく、目標グラフ５００は、分類モデルのＦ１スコアを少なくとも０．５％だけ改良する尤度がある様々な仮説Ｈ１～Ｈ４を含んでもよい。

【0093】

いくつかの例示的な実施形態において、それぞれの仮説は、スコア及びコストを割り当てられてもよい。仮説のスコアは、仮説の適用が、少なくとも標的目標によって分類モデルの正解率測定を改良する尤度を示してもよい。場合によっては、およそ９０％、９５％等のような所定の閾値を超えるスコアを有する仮説のみが、仮説グラフに含まれてもよい。仮説のコストは、仮説を適用して実行するのに必要な時間、計算源等のような分類モデルに仮説を適用するコストを示すことがある。いくつかの例示的な実施形態において、仮説目標グラフは、スコア、コスト、それらの組合せ等に従って順序付けされてもよい。仮説グラフの順序付けは、そのトラバース順序を課すことより、より高いスコアを有する仮説が最初にトラバースされてもよい。その結果、トラバースの順序は、Ｈ１、Ｈ１ａ、Ｈ１ｂ、Ｈ２、Ｈ２ａ、Ｈ３、Ｈ３ａ、Ｈ３ｂ、Ｈ３ｃ、及びＨ４であってもよい。

【0094】

仮説選択器は、目標グラフ５００を実行することにより、少なくとも０．５％だけ分類モデルを改良するという仮説を選択するように構成されてもよい（５１５）。いくつかの例示的な実施形態において、仮説選択器は、仮説グラフ５００のトラバースに基づいて選択された仮説を選択するように構成されてもよい。トラバース中に、抽象的仮説に関する抽象的計算は、親ノードをトラバースするときに実行されてもよく、具体的計算は、子ノードをトラバースするときに実行されてもよい。抽象的及び具体的計算が利用されることにより、仮説の更新されたスコアを決定して、分類モデルに適用されるべき仮説を選択してもよい。選択された仮説が実行されてもよく、分類モデルが更新されてもよく、その正解率測定が少なくとも所定の標的目標によって改良されてもよい。

【0095】

ノード５２０をトラバースする間に、仮説Ｈ１に関連する抽象的計算が実行されてもよい（５２１）。仮説Ｈ１は、クリアデータセットを用いて分類モデルを再訓練することについての方策を示す抽象的仮説であってもよい。追加の具体的計算が、ノード５２２及び５２４をトラバースしながら実行されてもよい。再訓練のためのクリーナ集合としてデータセットの２５％を選択するためのアルゴリズムが適用されてもよい（５２３）。アルゴリズムは、クリーナデータセット内に存在するべき上位２５％の画像ラベル正確データを選択するように構成されてもよい。異常値除去アルゴリズムが適用されることにより、仮説Ｈ１ａのアルゴリズムを強化してもよい（５２６）。再訓練のためのクリーナラベルワイズ集合としてデータセットの所定のパーセントを選択するためのアルゴリズムが適用されてもよい（５２５）。仮説Ｈ１において利用されるべき所定のパーセントが、決定されてもよい（５２７）。決定は、コストに基づいて、所定の標的目標に基づいて、分類モデルの別のパラメータに基づいて等で、実行されてもよい。異常値除去アルゴリズムが適用されて、訓練データセットを強化してもよい（５２８）。仮説Ｈ１ａ又はＨ１ｂに基づく再訓練のための訓練データセットが、決定されてもよい（５２９）。

【0096】

ノード５３０をトラバースしながら、仮説Ｈ２に関連する抽象的計算が実行されてもよい（５３１）。仮説Ｈ２は、より多くのラベリングされた試料を用いて分類モデルを再訓練することについての方策を示す抽象的仮説であってもよい。

【0097】

ノード５３２をトラバースしながら、仮説Ｈ２についてのより多くの試料を用いて再訓練するための訓練者アルゴリズムが適用されてもよい（５３３）。仮説Ｈ２ａは、第１クラスからのＮ１試料及び第２クラスからのＮ２試料を用いて、第１クラスと第２クラスとの間のインスタンスを分類するように構成されている分類モデルを再訓練することについての方策を示してもよい。数Ｎ１及びＮ２を決定するために、試料のタグ付けが検証されてもよく、クリア試料が戻されてもよい（５３５）。様々なクラスから追加の試料を要求するコールバックが発せられてもよい（５３７）。コールバックは、ＡＩシステム、目標グラフのユーザ、外部源等に発せられてもよい。利用するためのそれぞれのクラスの試料の数（Ｎ１及びＮ２）についての決定が、実行されてもよい（５３９）。

【0098】

ノード５４０をトラバースしながら、仮説Ｈ３に関連する抽象的計算が実行されてもよい（５４１）。仮説Ｈ３は、適応学習速度で分類モデルを再訓練するという方策を示す抽象的仮説であってもよい。ノード５４２、５４４及び５４６をトラバースしながら、具体的計算が実行されて、仮説Ｈ３ａ、仮説Ｈ３ｂ及び仮説Ｈ３ｃを評価してもよい（５４３、５４５）。（５４３においてトラバースされる）仮説Ｈ３ａ、仮説Ｈ３ｂ及び仮説Ｈ３ｃのための訓練アルゴリズムは、それぞれ、適応学習速度に対する第１、第２又は第３訓練アルゴリズムとして選択されてもよい。それぞれの訓練データセットが取得されてもよい（５４５）。

【0099】

ノード５５０をトラバースしながら、仮説Ｈ４に関連する抽象的計算が実行されてもよい（５５１）。仮説Ｈ４は、分類モデルを再訓練することにより、追加のラベリング関数を使用して規定される追加の数のクラスを分類することについての方策を示す抽象的仮説であってもよい。仮説Ｈ４において使用されるべき追加のクラスのためのラベリング関数が取得されてもよい（５３３）。いくつかの例示的な実施形態において、追加のラベリング関数は、ヒトのユーザによって提供されてもよい、貯蔵所から取得されてもよい等である（５５３）。いくつかの例示的な実施形態において、追加のラベリング関数は、コールバックＡＰＩを介して取得されてもよい（５５５）。コールバック要求は、ユーザ、外部データベース等を対象にしてもよい。要求すべきラベリング関数の数が決定されてもよい（５５７）。仮説Ｈ４に基づく再訓練のための訓練データセットが取得されてもよい（５５９）。

【0100】

いくつかの例示的な実施形態において、目標グラフ５００のトラバースは、仮説が選択されると終了されてもよい。いくつかの例示的な実施形態において、目標グラフ５００において別の仮説によって取得された改良と比較して、分類タスクの正解率測定に対して最も高い改良を有する仮説が、選択されてもよい。そのような場合には、目標グラフ５００が、全体的にトラバースされてもよい。それに追加又は代替して、目標グラフ５００のトラバース中に遭遇される第１仮説が選択されてもよく、該第１仮説は、それの適用が少なくとも所定の標的目標によって分類タスクの正解率測定を改良する。

【0101】

ここで、開示された主題のいくつかの例示的な実施形態に従う、例示的な仮説目標グラフの例を示す図６を参照する。

【0102】

仮説グラフ６００は、教師あり画像分類タスクに利用される分類モデルを改良する命令に応じて生成される例示的な仮説目標グラフであってもよい。仮説グラフ６００のノード６３０～６８０が、分類モデルのモデルタイプに関連する方策、分類モデルの訓練パラメータに関連する方策、分類モデルのモデリングパラメータに関連する方策、教師あり画像分類タスクのモデリングに関連する方策、分類モデルを訓練するために利用される訓練集合に関連する方策、分類モデルを検証するために利用される検証集合に関連する方策、分類モデルを試験するために利用される試験集合に関連する方策等のように、分類モデルを潜在的に改良するための方策に関する仮説を含んでもよい。幾つかの例示的な実施形態では、ノード６１０は、分類モデルを改良する一般的な概念を表現する指定された仮説を示してもよい。追加的あるいは択一的に、ノード６１０は如何なる仮説を構成しなくてもよい。

【0103】

ノード６３０は、分類モデルを改良するための抽象的仮説Ｈ５を含む。仮説Ｈ５は、分類モデルの訓練についての方策に関連してもよい。仮説Ｈ５は、雑音のあるラベル仮定を用いる訓練を示唆する。仮説Ｈ５によれば、訓練は、試料のラベルのＫ％が間違っていると仮定されながら実行されてもよい。パラメータＫは、分類タスク要件等に基づいて、ユーザによって、仮説グラフ６００の実行中に決定されてもよい。一例として、パラメータＫは、１０、２０、３０等であってもよい。

【0104】

ノード６４０は、分類モデルを改良するための抽象的仮説Ｈ６を含む。仮説Ｈ６は、訓練のタイプのような分類モデルの訓練パラメータに関連する方策に関連してもよい。仮説Ｈ６は、教師ありと教師なし訓練の混合を利用することを示唆する。タグあり画像と、タグなし画像の大きい集合とを用いて訓練することが、より良い分類モデルを提供し得るか否かについての決定が、実行されてもよい。抽象的仮説Ｈ６において、いくつかの具体化が実行されることにより、訓練に利用されるべきタグ無し画像の量、実行されるべき教師なし学習のパーセント等によって、正解率測定を改良する尤度を評価してもよいことが理解されよう。

【0105】

ノード６５０は、分類モデルを改良するための抽象的仮説Ｈ７を含む。仮説Ｈ７は、分類モデルのモデルタイプに関連する方策に関連してもよい。仮説Ｈ７は、分類タスクを実行するために分類器の集合を利用することを示唆する。試験される仮説は、それぞれの試料において投票する複数の判定が、異常値、新規性、例外等に対してより安定した結果を提供し得るか否かであってもよい。

【0106】

ノード６６０は、分類モデルを改良するための抽象的仮説Ｈ８を含む。仮説Ｈ８は、分類モデルのモデリングパラメータに関連する方策に関連してもよい。仮説Ｈ８は、教師あり画像分類タスクにおいていくつかのクラスをいくつかのサブクラスにクラスタリングすることを示唆する。試験される仮説は、ユーザが選択した分類カテゴリ内部のサブパターンが発見され得るか否かということであってもよい。

【0107】

ノード６７０は、分類モデルを改良するための抽象的仮説Ｈ９を含む。仮説Ｈ９は、教師あり画像分類タスクのモデリングに関連する方策に関連してもよい。仮説Ｈ９は、より少ない数のクラスを利用することを示唆する。試験される仮説は、クラスの統一集合がより良い分類結果を得るか否かということであってもよい。この仮説において、複数の解決策がユーザに提案されることにより、それについて決定し得る。仮説Ｈ９は、元の学習タスクを、それの形式的定義におけるわずかな差を用いて、別の関連する学習タスクに変換してもよい。

【0108】

ノード６８０は、分類モデルを改良するための抽象的仮説Ｈ１０を含む。仮説Ｈ１０は、教師あり画像分類タスクのモデリングに関連する方策に関連してもよい。仮説Ｈ１０は、より大きい数のクラスを利用することを示唆する。試験される仮説は、より多くのクラスを統合することが、より良い混同行列結果を提供し得るか否かということであってもよい。

【0109】

本発明は、システム、方法、又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるための命令を有するコンピュータ可読記憶媒体を含んでもよい。

【0110】

コンピュータ可読記憶媒体は、命令実行デバイスによる使用のための命令を保持及び記憶し得る有形デバイスであり得る。コンピュータ読取り可能記憶媒体は、例えば、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）等であってこれに限定されないような電子的、磁気光学的な記憶装置等であってもよく、これに限定されない。場合によっては、命令は、サーバ、リモートコンピュータ、リモート記憶装置等から記憶媒体にダウンロード可能であってもよい。

【0111】

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、或いは、ソースコード、又はＳｍａｌｌｔａｌｋ、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は類似のプログラミング言語のような従来の手続き型プログラミング言語を含む１つ又は複数のプログラミング言語の任意の組合せで書かれたオブジェクトコードのいずれかであってもよい。プログラム命令は、ユーザのコンピュータ上で全体的に、スタンドアロンソフトウェアパッケージのようにユーザのコンピュータ上で部分的に、ユーザのコンピュータ上で部分的に及びリモートコンピュータ上で部分的に、又はリモートコンピュータ若しくはサーバ上で全体的に実行してもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、或いは、接続は、外部コンピュータに（例えば、インターネットサービスプロバイダを用いるインターネットを介して）なされてもよい。

【0112】

本発明の態様は、方法、装置、システム、及びコンピュータプログラム製品のフローチャート及びブロック図によって本明細書に記載されている。図中のそれぞれのブロック、及び図中のブロックの組合せは、コンピュータ可読プログラム命令によって実施され得ることが理解されるであろう。

【0113】

コンピュータ可読プログラム命令は、コンピュータ、別のプログラム可能データ処理装置、又は別のデバイス上でロードされることにより、一連の動作ステップをコンピュータ、別のプログラム可能装置において実行させ、又は別のデバイスにコンピュータ実装プロセスを生成させてもよく、その結果、コンピュータ、別のプログラム可能な装置、又は別のデバイス上で実行する命令が、図のブロック内に指定された機能を実装する。

【0114】

図中のフローチャート及びブロック図は、本発明の様々な実施形態の可能な実施を示す。この点に関して、フローチャート又はブロック図内のそれぞれのブロックは、１つ又は複数の指定された論理関数を実施するための１つ又は複数の実行可能命令を含む、命令のモジュール、セグメント、又は部分を表すことがある。いくつかの代替的な実施形態では、ブロック内に示された機能は、図面に示された順序から外れてもよい。例えば、連続で示されている２つのブロックは、実際に、実質的に同時に実行されてもよく、又は該ブロックは、関連する機能に応じて逆の順序で時には実行されてもよい。図のそれぞれのブロック及びブロックの組合せは、専用ハードウェアベースのシステムによって実装されてもよいことにも留意されたい。

【0115】

本明細書で使用される用語は、特定の実施形態のみを説明するためのものであり、本発明を限定することを意図するものではない。本明細書で使用されるように、単数形「ａ」、「ａｎ」及び「ｔｈｅ」は、文脈が明示的にそうでないことを明示しない限り、複数形を含むことが意図されている。「備える」及び／又は「備えている」という用語は、本明細書で使用される場合、記載された特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を特定するが、１つ又は複数の別の特徴、整数、ステップ、動作、要素、構成要素、及び／又はその群の存在又は追加を排除しないことが更に理解されるであろう。

【0116】

以下の請求の範囲における全ての手段又はステップ及び機能要素の対応する構造、材料、作用、及び等価物は、具体的に請求されるように、別の特許請求された要素との組合せで機能を実行するための任意の構造、材料、又は行為を含むことが意図されている。本発明の説明は、例示及び説明のために提示されてきたが、開示された形式の本発明に網羅される又は限定されることが意図されるものではない。多くの修正及び変形が、本発明の範囲及び趣旨から逸脱することなく当業者には明らかであろう。本発明の原理及び実際の適用を最もよく説明するために、及び、当業者が、意図された特定の用途に適しているような様々な変更を伴う様々な実施形態について本発明を理解することを可能にするように、実施形態が選択されて説明された。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】