特表 2023-514282 非表形式データのための自動データ分析方法、関連するシステム及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-04-05

(54)【発明の名称】非表形式データのための自動データ分析方法、関連するシステム及び装置

(51)【国際特許分類】

   G06N 3/09 20230101AFI20230329BHJP

   G06T 7/00 20170101ALI20230329BHJP

【ＦＩ】

G06N3/09

G06T7/00 350C

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022549342

(86)(22)【出願日】2021-02-17

(85)【翻訳文提出日】2022-10-12

(86)【国際出願番号】 US2021018404

(87)【国際公開番号】W WO2021167998

(87)【国際公開日】2021-08-26

(31)【優先権主張番号】62/990,256

(32)【優先日】2020-03-16

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/977,591

(32)【優先日】2020-02-17

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520479272

【氏名又は名称】データロボット， インコーポレイテッド

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100211395

【弁理士】

【氏名又は名称】鈴木 裕貴

(72)【発明者】

【氏名】ユリイ ハッツ

(72)【発明者】

【氏名】イエ キン チン

(72)【発明者】

【氏名】アントン カシャノフ

(72)【発明者】

【氏名】ザッカリー アルバート メイヤー

(72)【発明者】

【氏名】グザヴィエ コノー

(72)【発明者】

【氏名】ホン ニャン チュア

(72)【発明者】

【氏名】サバリ シャンムガム

(72)【発明者】

【氏名】アタナス ミトコフ アタナソフ

(72)【発明者】

【氏名】アイヴァン リチャード フィゾウ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096DA04

5L096GA53

5L096HA11

5L096KA04

(57)【要約】

非表形式データセットのための自動データ分析技術は、（１）コンピュータビジョン、音響処理、音声処理、テキスト処理、又は自然言語処理の領域でタスクを実行するモデルを自動的に開発することと、（２）画像データと非画像データとを含む異種データセット、及び／又は、表形式データと非表形式データとを含む異種データセットを分析するモデルを自動的に開発することと、（３）モデリングタスクに関して画像特徴量の重要度を判定することと、（４）画像特徴量に少なくとも部分的に基づいて、モデリングターゲットの値を説明することと、（５）画像データにおけるドリフトを検出することとのための方法及びシステムを含み得る。いくつかのケースでは、多段階モデルが開発されてもよく、事前訓練済み特徴抽出モデルが非表形式データの低レベル、中レベル、高レベル、及び／又は最高レベルの特徴量を抽出し、データ分析モデルがそれらの特徴量（又はそこから得られた特徴量）を使用し、データ分析タスクを実行する。
【選択図】図１

【特許請求の範囲】

【請求項1】

集約画像特徴量の重要度を判定する方法であって、
複数のデータサンプルを取得することであって、前記複数のデータサンプルの各々は、特徴量のセットのそれぞれの値、及びターゲットのそれぞれの値と関連付けられており、前記特徴量のセットは、集約画像データ型を有する特徴量を含み、前記集約画像データ型を有する前記特徴量は、各々が構成画像データ型を有する複数の特徴量を含む、前記取得することと、
前記複数の構成画像特徴量の各々に関して、前記ターゲットの前記値を予測するための前記構成画像特徴量の期待効用を示す特徴量重要度スコアを判定することと、
前記構成画像特徴量の前記特徴量重要度スコアに基づいて、前記集約画像特徴量に対する特徴量重要度スコアを判定することであって、前記集約画像特徴量に対する前記特徴量重要度スコアは、前記ターゲットの前記値を予測するための前記集約画像特徴量の期待効用を示す、前記判定することとを含む、方法。

【請求項2】

前記集約画像特徴量は、画像特徴ベクトルを含む、請求項１に記載の方法。

【請求項3】

前記特徴量重要度スコアは、単変量特徴量重要度スコア、特徴量インパクトスコア、又はシャープレイ値を含む、請求項１に記載の方法。

【請求項4】

前記構成画像特徴量の前記特徴量重要度スコアに基づいて、前記集約画像特徴量に対する前記特徴量重要度スコアを判定する前に、前記構成画像特徴量に対する前記特徴量重要度スコアを正規化し、且つ／或いは標準化することをさらに含む、請求項１に記載の方法。

【請求項5】

前記複数のデータサンプルの各データサンプルに関して、事前訓練済み画像処理モデルを使用して、第１の複数の画像から前記複数の構成画像特徴量のそれぞれの値を抽出することをさらに含む、請求項１に記載の方法。

【請求項6】

前記事前訓練済み画像処理モデルは、事前訓練済み画像特徴抽出モデル又は事前訓練済み微調整可能画像処理モデルを含む、請求項５に記載の方法。

【請求項7】

前記事前訓練済み画像処理モデルは、第２の複数の画像を含む訓練データセットで事前に訓練された、畳み込みニューラルネットワークモデルを含む、請求項５に記載の方法。

【請求項8】

前記集約画像特徴量に対する前記特徴量重要度スコアを判定することは、前記構成画像特徴量に対する前記特徴量重要度スコアの中で最も高い特徴量重要度スコアを選択することと、前記選択された最も高い特徴量重要度スコアを、前記集約画像特徴量に対する前記特徴量重要度スコアとして使用することとを含む、請求項１に記載の方法。

【請求項9】

前記特徴量のセットは、非画像データ型を有する特徴量をさらに含み、前記方法は、
前記非画像データ型を有する前記特徴量の特徴量重要度スコアを、前記集約画像特徴量の前記特徴量重要度スコアと定量的に比較することと、
前記定量的比較に基づいて、前記非画像特徴量又は前記集約画像特徴量が、前記ターゲットの前記値を予測するための、より大きな期待効用を有するかを判定することとをさらに含む、請求項１に記載の方法。

【請求項10】

画像ベースのデータ分析方法であって、
推論データを取得することであって、前記推論データは、画像データを含む、前記取得することと、
画像特徴抽出モデルによって、前記画像データから得られた複数の構成画像特徴量のそれぞれの値を抽出することと、
前記複数の構成画像特徴量の前記値に基づいて、データ分析ターゲットの値を判定することとを含み、
前記判定することは、訓練済み機械学習モデルによって実行される、方法。

【請求項11】

前記画像特徴抽出モデルは、事前訓練済みである、請求項１０に記載の方法。

【請求項12】

前記画像特徴抽出モデルは、畳み込みニューラルネットワークを含む、請求項１０に記載の方法。

【請求項13】

前記複数の構成画像特徴量は、１つ又は複数の低レベルの画像特徴量、１つ又は複数の中レベルの画像特徴量、１つ又は複数の高レベルの画像特徴量、及び／又は、１つ又は複数の最高レベルの画像特徴量を含む、請求項１０に記載の方法。

【請求項14】

前記推論データは、非画像データをさらに含む、請求項１０に記載の方法。

【請求項15】

前記データ分析ターゲットの前記値を前記判定することは、前記非画像データから得られた１つ又は複数の特徴量の値にも基づいている、請求項１４に記載の方法。

【請求項16】

前記構成画像特徴量の前記値と、前記非画像データから得られた前記特徴量の前記値とをテーブルに配置することをさらに含み、前記データ分析ターゲットの前記値を前記判定することは、前記訓練済み機械学習モデルを前記テーブルに適用することによって実行される、請求項１５に記載の方法。

【請求項17】

前記画像特徴抽出モデルは、前記画像データから得られた前記複数の構成画像特徴量の前記値に適合しない、請求項１５に記載の方法。

【請求項18】

前記訓練済み機械学習モデルは、勾配ブースティングマシンを含む、請求項１７に記載の方法。

【請求項19】

前記データ分析ターゲットの前記値は、前記推論データに基づく予測、前記推論データの説明、前記推論データに関連付けられた分類、及び／又は前記推論データに関連付けられたラベルを含む、請求項１５に記載の方法。

【請求項20】

画像データ１０２から１つ又は複数の画像特徴量候補１２３の値を抽出するように動作可能な、画像特徴抽出モジュール１２２と、
前記画像特徴候補１２３の前記値に少なくとも部分的に基づいて、複数の特徴量１２５のうちの１つ又は複数の値を取得するように動作可能な、データ準備及び特徴量エンジニアリングモジュール１２４と、
前記複数の特徴量１２５の前記値に基づいて、データ分析ターゲットの値を判定するように訓練された１つ又は複数の機械学習モデルを生成し、且つ評価するように動作可能な、モデル作成及び評価モジュール１２６とを含む、モデル開発システム。

【請求項21】

前記データ準備及び特徴量エンジニアリングモジュール１２４は、非画像データ２０４に少なくとも部分的に基づいて、前記複数の特徴量１２５のうちの１つ又は複数の値を取得するようにさらに動作可能である、請求項２０に記載のモデル開発システム。

【請求項22】

画像特徴量に少なくとも部分的に基づいて、ターゲットの値を説明するための方法であって、
画像データを含むデータサンプルを取得することであって、前記データサンプルは、特徴量のセットのそれぞれの値、及びターゲットの値と関連付けられており、前記特徴量のセットは、集約画像特徴量を含み、前記集約画像特徴量は、複数の構成画像特徴量を含む、前記取得することと、
画像特徴抽出モデルから、（１）前記画像データに対する前記複数の構成画像特徴量のそれぞれの値と、（２）前記構成画像特徴量の各々に対応するそれぞれの活性化マップを取得することであって、前記活性化マップの各々は、前記画像データのいずれかの領域が前記それぞれの構成画像特徴量に対応するニューラルネットワーク層を活性化した場合には、前記画像データのどの領域が活性化したかを示す、前記取得することと、
前記複数の構成画像特徴量の各々に対する特徴量重要度スコアを判定することであって、各構成画像特徴量に対する前記特徴量重要度スコアは、前記ターゲットの前記値を予測するための前記構成画像特徴量の期待効用を示す、前記判定することと、
前記複数の構成画像特徴量に対する前記特徴量重要度スコア、前記複数の構成画像特徴量の前記値、及び前記活性化マップに基づいて、画像推論説明の視覚化を生成することであって、前記画像推論説明の視覚化は、前記ターゲットの前記値の前記判定に寄与する前記画像データの部分を識別する、前記生成することとを含む、方法。

【請求項23】

前記データサンプルは、非画像データをさらに含む、請求項２２に記載の方法。

【請求項24】

前記ターゲットの前記値は、２段階視覚人工知能（ＡＩ）モデルによって判定され、前記画像推論説明の視覚化は、前記モデルが前記ターゲットの前記値をどのように判定したかを部分的に説明する、請求項２３に記載の方法。

【請求項25】

２段階データ分析方法であって、
推論データを取得することであって、前記推論データは、第１のデータを含み、前記第１のデータは、画像データ、自然言語データ、音声データ、聴覚データ、又はそれらの組み合わせを含む、前記取得することと、
特徴抽出モデルによって、前記第１のデータから得られた複数の構成特徴量のそれぞれの値を抽出することと、
前記複数の構成特徴量の前記値に基づいて、データ分析ターゲットの値を判定することとを含み、
前記判定することは、訓練済み機械学習モデルによって実行される、方法。

【請求項26】

前記特徴抽出モデルは、事前訓練済みである、請求項２５に記載の方法。

【請求項27】

前記特徴抽出モデルは、畳み込みニューラルネットワーク（ＣＮＮ）を含む、請求項２５に記載の方法。

【請求項28】

前記複数の構成特徴量は、前記ＣＮＮの第１層によって抽出された１つ又は複数の低レベルの特徴量、前記ＣＮＮの第２層によって抽出された１つ又は複数の中レベルの特徴量、前記ＣＮＮの第３層によって抽出された１つ又は複数の高レベルの特徴量、及び／又は、前記ＣＮＮの第４層によって抽出された１つ又は複数の最高レベルの特徴量を含む、請求項２７に記載の方法。

【請求項29】

前記推論データは、第２のデータをさらに含む、請求項２５に記載の方法。

【請求項30】

前記データ分析ターゲットの前記値を前記判定することは、前記第２のデータから得られた１つ又は複数の特徴量の値にも基づいている、請求項２９に記載の方法。

【請求項31】

前記第１のデータの前記構成特徴量の前記値と、前記第２のデータから得られた前記特徴量の前記値とをテーブルに配置することをさらに含み、前記データ分析ターゲットの前記値を前記判定することは、前記訓練済み機械学習モデルを前記テーブルに適用することによって実行される、請求項３０に記載の方法。

【請求項32】

前記訓練済み機械学習モデルは、勾配ブースティングマシンを含む、請求項３１に記載の方法。

【請求項33】

前記データ分析ターゲットの前記値は、前記推論データに基づく予測、前記推論データの説明、前記推論データに関連付けられた分類、及び／又は前記推論データに関連付けられたラベルを含む、請求項３０に記載の方法。

【請求項34】

画像データにおけるドリフトを検出するための方法であって、
第１の時間と関連付けられた第１の複数のデータサンプルの各々に対するそれぞれの第１の異常スコアを取得することであって、前記第１の複数のデータサンプルの各々は、第１の画像データから抽出された構成画像特徴量のセットのそれぞれの値と関連付けられており、各データサンプルに対する前記それぞれの第１の異常スコアは、前記データサンプルが異常であることの程度を示す、前記取得することと、
前記第１の時間の後の第２の時間と関連付けられた第２の複数のデータサンプルの各々に対するそれぞれの第２の異常スコアを取得することであって、前記第２の複数のデータサンプルの各々は、第２の画像データから抽出された前記構成画像特徴量のセットのそれぞれの値と関連付けられており、各データサンプルに対する前記それぞれの第２の異常スコアは、前記データサンプルが異常であることの程度を示す、前記取得すること、
閾値異常スコアよりも大きいそれぞれの第１の異常スコアを有する前記第１の複数のデータサンプルの、データサンプルの第１の量を判定することと、
前記閾値異常スコアよりも大きいそれぞれの第２の異常スコアを有する前記第２の複数のデータサンプルの、データサンプルの第２の量を判定することと、
データサンプルの前記第１の量と前記第２の量との間の量差を判定することと、
前記量差の絶対値が閾値差よりも大きいことに対応して、画像データドリフトの検出と関連付けられた１つ又は複数の動作を実行することとを含む、方法。

【請求項35】

画像データドリフトの検出と関連付けられた前記１つ又は複数の動作は、ユーザにメッセージを提供することを含み、前記メッセージは、前記画像データドリフトが検出されたことを示す、請求項３４に記載の方法。

【請求項36】

画像データドリフトの検出と関連付けられた前記１つ又は複数の動作は、前記第２の時間と関連付けられた前記第２の複数のデータサンプルに基づいて、新しいデータ分析モデルを生成することを含む、請求項３５に記載の方法。

【請求項37】

コンピュータ実装方法であって、
データ分析モデルのための訓練データを取得することであって、前記訓練データは、複数の訓練データサンプルを含み、前記データサンプルの各々は、それぞれの訓練画像を含む、前記取得することと、
前記訓練画像の各々から、画像特徴量のそれぞれの数値を抽出することと、
複数のスコアリングデータのセットを取得することであって、スコアリングデータの各セットは、異なる期間に対応し、それぞれの複数のスコアリングデータサンプルを含み、前記スコアリングデータサンプルの各々は、それぞれのスコアリング画像を含む、前記取得することと、
前記スコアリング画像の各々から、前記画像特徴量のそれぞれの数値を抽出することと、
スコアリングデータの各セットに関して、前記訓練画像から抽出された前記画像特徴量の前記数値と、前記スコアリングデータのそれぞれのセットから抽出された前記画像特徴量の前記数値とを、入力として分類器へ提供することと、
前記分類器からの出力に基づいて、経時的に前記画像特徴量の前記数値におけるドリフトを検出することと、
前記ドリフトが前記データ分析モデルの精度の低下に対応することを判定することと、
前記データ分析モデルの前記精度を向上させるための是正措置を促進することとを含む、方法。

【請求項38】

前記データ分析モデルは、前記訓練データを使用して訓練され、前記データ分析モデルは、前記スコアリングデータに基づいて予測を行うために使用される、請求項３７に記載の方法。

【請求項39】

スコアリングデータの各セットは、異なる期間を表す、請求項３７に記載の方法。

【請求項40】

前記分類器は、２つのデータセット間の有意差を統計的に検出するように構成されている共変量シフト分類器を含む、請求項３７に記載の方法。

【請求項41】

経時的に前記ドリフトを検出することは、前記スコアリングデータのセットのうちの２つ以上において前記ドリフトを検出することを含む、請求項３７に記載の方法。

【請求項42】

前記ドリフトが前記データ分析モデルの精度の低下に対応することを判定することは、前記精度の低下に対する前記画像特徴量のインパクトを判定することを含む、請求項３７に記載の方法。

【請求項43】

前記インパクトを判定することは、グラフィカルユーザインタフェースを介して、前記精度の低下に対する前記画像特徴量の前記インパクトの表示を含むグラフを表示することを含む、請求項４２に記載の方法。

【請求項44】

前記是正措置は、前記データ分析モデルのユーザにアラートを送信すること、前記データ分析モデルをリフレッシュすること、前記データ分析モデルを再訓練すること、新しいデータ分析モデルに切り替えること、又は、それらの任意の組み合わせのうちの１つ又は複数を含む、請求項３７に記載の方法。

【請求項45】

前記訓練画像又はスコアリング画像から選択された特定の画像に関して、前記特定の画像の前記画像特徴量の前記数値を抽出することは、
事前訓練済み画像処理モデルを用いて、前記特定の画像から複数の構成画像特徴量のそれぞれの値を抽出することと、
前記構成画像特徴量の前記値に変換を適用して、前記画像特徴量の前記数値を判定することとを含む、請求項３７に記載の方法。

【請求項46】

前記変換は、次元削減の変換である、請求項４５に記載の方法。

【請求項47】

前記変換は、主成分分析（ＰＣＡ）、及び／又は、均一多様体近似及び投影（ＵＭＡＰ）を含む、請求項４６に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願）
本出願は、「Ａｕｔｏｍａｔｉｃ Ｄａｔａ Ａｎａｌｙｔｉｃｓ Ｕｓｉｎｇ Ｔｗｏ－Ｓｔａｇｅ Ｍｏｄｅｌｓ」と題され、２０２０年２月１７日に代理人整理番号ＤＲＢ－０１３ＰＲで提出された米国仮出願第６２／９７７，５９１号と、「Ａｕｔｏｍａｔｉｃ Ｄａｔａ Ａｎａｌｙｔｉｃｓ Ｕｓｉｎｇ Ｔｗｏ－Ｓｔａｇｅ Ｍｏｄｅｌｓ」と題され、２０２０年３月１６日に代理人整理番号ＤＲＢ－０１３ＰＲ２で提出された米国仮出願第６２／９９０，２５６号との優先権及び利益を主張し、各々の全体は、参照により本明細書に援用される。

【0002】

本出願の対象は、「Ｓｙｓｔｅｍｓ ｆｏｒ ｔｉｍｅ－ｓｅｒｉｅｓ ｐｒｅｄｉｃｔｉｖｅ ｄａｔａ ａｎａｌｙｔｉｃｓ， ａｎｄ ｒｅｌａｔｅｄ ｍｅｔｈｏｄｓ ａｎｄ ａｐｐａｒａｔｕｓ」と題され、２０１７年１０月２３日に代理人整理番号ＤＲＢ－００２ＡＣＰで提出された米国特許出願第１５／７９０，８０３号（現米国特許第１０，４９６，９２７号）と、「Ｍｅｔｈｏｄｓ ｆｏｒ Ｄｅｔｅｃｔｉｎｇ ａｎｄ Ｉｎｔｅｒｐｒｅｔｉｎｇ Ｄａｔａ Ａｎｏｍａｌｉｅｓ， ａｎｄ Ｒｅｌａｔｅｄ Ｓｙｓｔｅｍｓ ａｎｄ Ｄｅｖｉｃｅｓ」と題され、２０１９年１２月１３日に代理人整理番号ＤＲＢ－０１０ＷＯで提出された国際特許出願番号ＰＣＴ／ＵＳ２０１９／０６６３８１（現国際特許公開番号ＷＯ２０２０／１２４０３７）とに関し、各々の全体は、参照により本明細書に援用される。

【0003】

概して、本開示は、機械学習及びデータ分析に関する。本開示の部分は、特に、画像データのためのデータ分析ツールを開発し、展開するための自動機械学習技術の使用に関する。

【背景技術】

【0004】

データ分析ツールは、例えば、セキュリティ、輸送、不正行為検出、リスクアセスメント及び管理、サプライチェーンロジスティクス、医薬品及び診断技術の開発及び発見、ならびにエネルギー管理といった、多種多様な分野及び産業における意思決定を導き、且つ／或いはシステムを制御するために使用される。歴史的に、特定のデータ分析タスクを実行するのに適切なデータ分析ツールを開発するために使用されるプロセスは、概して高価で時間がかかり、しばしば高度に訓練されたデータ科学者の専門知識を必要とする。概して、そのようなプロセスは、データ収集、データ準備、特徴量エンジニアリング、モデル生成、及び／又はモデル展開のステップを含む。

【0005】

「自動機械学習」技術は、データ分析ツールを開発する上述されたプロセスの重要な部分を自動化するために使用され得る。近年、自動機械学習技術の進歩は、特定のタイプのデータ分析ツール、特に時系列データ、構造化及び非構造化テキストデータ、カテゴリデータ、ならびに数値データで動作するツールの開発に対する障壁を大幅に下げている。

【0006】

概して、「コンピュータビジョン」は、画像データを分析し、解釈するためのコンピュータシステムの使用を指す。概して、コンピュータビジョンツールは、幾何学及び／又は物理学の原理を取り入れるモデルを使用する。そのようなモデルは、機械学習技術を使用して、コンピュータビジョンの領域内の特定の問題を解決するように訓練されてもよい。例えば、コンピュータビジョンモデルは、オブジェクト認識（画像内のオブジェクト又はオブジェクトクラスのインスタンスを認識すること）、識別（画像内のオブジェクトの個々のインスタンスを識別すること）、検出（画像内のオブジェクト又は事象の特定のタイプを検出すること）などを実行するように訓練されてもよい。

【発明の概要】

【0007】

非表形式データセットのための自動データ分析技術が開示される。

【0008】

概して、本明細書で説明される対象の１つの革新的な態様は、集約画像特徴量の重要度を判定するための方法において具現化されることがあり、方法は、複数のデータサンプルを取得することであって、複数のデータサンプルの各々は、特徴量のセットのそれぞれの値、及びターゲットのそれぞれの値と関連付けられており、特徴量のセットは、集約画像データ型を有する特徴量を含み、集約画像データ型を有する特徴量は、各々が構成画像データ型を有する複数の特徴量を含む、取得することと；複数の構成画像特徴量の各々に関して、ターゲットの値を予測するための構成画像特徴量の期待効用を示す特徴量重要度スコアを判定することと；構成画像特徴量の特徴量重要度スコアに基づいて、集約画像特徴量に対する特徴量重要度スコアを判定することであって、集約画像特徴量に対する特徴量重要度スコアは、ターゲットの値を予測するための集約画像特徴量の期待効用を示す、判定することとを含む。

【0009】

本態様の他の実施形態は、対応するコンピュータシステム、装置、及び１つ又は複数のコンピュータストレージデバイス上に記録されたコンピュータプログラムを含み、各々が本方法の動作を実行するように構成されている。１つ又は複数のコンピュータのシステムは、システムに動作を行わせる稼働中のシステムにインストールされた、ソフトウェア、ファームウェア、ハードウェア、又はそれらの組み合わせ（例えば、１つ又は複数のストレージデバイスに格納された命令）を有することによって、特定の動作を実行ように構成され得る。１つ又は複数のコンピュータプログラムは、データ処理装置によって実行されると、装置に動作を実行させる命令を含むことによって、特定の動作を実行するように構成され得る。

【0010】

前述の実施形態及び他の実施形態は各々、単独で或いは組み合わせて、１つ又は複数の以下の特徴量を任意に含み得る。いくつかの実施形態では、集約画像特徴量は、画像特徴ベクトルを含む。いくつかの実施形態では、特徴量重要度スコアは、単変量特徴量重要度スコア、特徴量インパクトスコア、又はシャープレイ値を含む。本方法の動作は、構成画像特徴量の特徴量重要度スコアに基づいて、集約画像特徴量に対する特徴量重要度スコアを判定する前に、構成画像特徴量に対する特徴量重要度スコアを正規化し、且つ／或いは標準化することをさらに含んでもよい。

【0011】

本方法の動作は、複数のデータサンプルの各データサンプルに関して、事前訓練済み画像処理モデルを使用して、第１の複数の画像から複数の構成画像特徴量のそれぞれの値を抽出することをさらに含んでもよい。いくつかの実施形態では、事前訓練済み画像処理モデルは、事前訓練済み画像特徴抽出モデル又は事前訓練済み微調整可能画像処理モデルを含む。いくつかの実施形態では、事前訓練済み画像処理モデルは、第２の複数の画像を含む訓練データセットで事前に訓練された畳み込みニューラルネットワークモデルを含む。

【0012】

いくつかの実施形態では、集約画像特徴量に対する特徴量重要度スコアを判定することは、構成画像特徴量に対する特徴量重要度スコアの中で最も高い特徴量重要度スコアを選択することと、選択された最も高い特徴量重要度スコアを、集約画像特徴量に対する特徴量重要度スコアとして使用することとを含む。いくつかの実施形態では、特徴量のセットは、非画像データ型を有する特徴量をさらに含み、本方法の動作は、非画像データ型を有する特徴量の特徴量重要度スコアを、集約画像特徴量の特徴量重要度スコアと定量的に比較することと、定量的比較に基づいて、非画像特徴量又は集約画像特徴量が、ターゲットの値を予測するための、より大きな期待効用を有するかを判定することとをさらに含む。

【0013】

概して、本明細書で説明される対象の別の革新的な態様は、推論データを取得することであって、推論データは、画像データを含む、取得することと；画像特徴抽出モデルによって、画像データから得られた複数の構成画像特徴量のそれぞれの値を抽出することと；複数の構成画像特徴量の値に基づいて、データ分析ターゲットの値を判定することであって、判定することは、訓練済み機械学習モデルによって実行される、判定することとを含む、画像ベースのデータ分析方法に具現化され得る。

【0014】

本態様の他の実施形態は、対応するコンピュータシステム、装置、及び１つ又は複数のコンピュータストレージデバイス上に記録されたコンピュータプログラムを含み、各々が本方法の動作を実行するように構成されている。１つ又は複数のコンピュータのシステムは、システムに動作を行わせる稼働中のシステムにインストールされた、ソフトウェア、ファームウェア、ハードウェア、又はそれらの組み合わせ（例えば、１つ又は複数のストレージデバイスに格納された命令）を有することによって、特定の動作を実行するように構成され得る。１つ又は複数のコンピュータプログラムは、データ処理装置によって実行されると、装置に動作を実行させる命令を含むことによって、特定の動作を実行するように構成され得る。

【0015】

前述の実施形態及び他の実施形態は各々、単独で或いは組み合わせて、１つ又は複数の以下の特徴量を任意に含み得る。いくつかの実施形態では、画像特徴抽出モデルは、事前訓練済みである。いくつかの実施形態では、画像特徴抽出モデルは、畳み込みニューラルネットワークを含む。いくつかの実施形態では、複数の構成画像特徴量は、１つ又は複数の低レベルの画像特徴量、１つ又は複数の中レベルの画像特徴量、１つ又は複数の高レベルの画像特徴量、及び／又は、１つ又は複数の最高レベルの画像特徴量を含む。

【0016】

いくつかの実施形態では、推論データは、非画像データをさらに含む。いくつかの実施形態では、データ分析ターゲットの値を判定することは、非画像データから得られた１つ又は複数の特徴量の値にも基づいている。本方法の動作は、構成画像特徴量の値と、非画像データから得られた特徴量の値とをテーブルに配置することをさらに含んでもよく、データ分析ターゲットの値を判定することは、訓練済み機械学習モデルをテーブルに適用することによって実行される。いくつかの実施形態では、画像特徴抽出モデルは、画像データから得られた複数の構成画像特徴量の値に適合しない。いくつかの実施形態では、訓練済み機械学習モデルは、勾配ブースティングマシンを含む。いくつかの実施形態では、データ分析ターゲットの値は、推論データに基づく予測、推論データの説明、推論データに関連付けられた分類、及び／又は推論データに関連付けられたラベルを含む。

【0017】

概して、本明細書で説明される対象の別の革新的な態様は、画像特徴量に少なくとも部分的に基づいて、ターゲットの値を説明するための方法で具現化され得る。方法は、画像データを含むデータサンプルを取得することであって、データサンプルは、特徴量のセットのそれぞれの値、及びターゲットの値と関連付けられており、特徴量のセットは、集約画像特徴量を含み、集約画像特徴量は、複数の構成画像特徴量を含む、取得することと；画像特徴抽出モデルから、（１）画像データに対する複数の構成画像特徴量のそれぞれの値と、（２）構成画像特徴量の各々に対応するそれぞれの活性化マップを取得することであって、活性化マップの各々は、それぞれの構成画像特徴量に対応するニューラルネットワーク層を活性化した場合には、画像データのどの領域が活性したかを示す、取得することと；複数の構成画像特徴量の各々に対する特徴量重要度スコアを判定することであって、各構成画像特徴量に対する特徴量重要度スコアは、ターゲットの値を予測するための構成画像特徴量の期待効用を示す、判定することと；複数の構成画像特徴量に対する特徴量重要度スコア、複数の構成画像特徴量の値、及び活性化マップに基づいて、画像推論説明の視覚化を生成することであって、画像推論説明の視覚化は、ターゲットの値の判定に寄与する画像データの部分を識別する、生成することとを含む。

【0018】

本態様の他の実施形態は、対応するコンピュータシステム、装置、及び１つ又は複数のコンピュータストレージデバイス上に記録されたコンピュータプログラムを含み、各々が本方法の動作を実行するように構成されている。１つ又は複数のコンピュータのシステムは、システムに動作を行わせる稼働中のシステムにインストールされた、ソフトウェア、ファームウェア、ハードウェア、又はそれらの組み合わせ（例えば、１つ又は複数のストレージデバイスに格納された命令）を有することによって、特定の動作を実行するように構成され得る。１つ又は複数のコンピュータプログラムは、データ処理装置によって実行されると、装置に動作を実行させる命令を含むことによって、特定の動作を実行するように構成され得る。

【0019】

前述の実施形態及び他の実施形態は各々、単独で或いは組み合わせて、１つ又は複数の以下の特徴量を任意に含み得る。いくつかの実施形態では、データサンプルは、非画像データをさらに含む。いくつかの実施形態では、ターゲットの値は、２段階視覚人工知能（ＡＩ）モデルによって判定され、画像推論説明の視覚化は、モデルがターゲットの値をどのように判定したかを部分的に説明する。

【0020】

概して、本明細書で説明される対象の別の革新的な態様は、推論データを取得することであって、推論データは、第１のデータを含み、第１のデータは、画像データ、自然言語データ、音声データ、聴覚データ、又はそれらの組み合わせを含む、取得することと；特徴抽出モデルによって、第１のデータから得られた複数の構成特徴量のそれぞれの値を抽出することと；複数の構成特徴量の値に基づいて、データ分析ターゲットの値を判定することであって、判定することは、訓練済み機械学習モデルによって実行される、判定することとを含む、２段階データ分析方法によって具現化され得る。

【0021】

本態様の他の実施形態は、対応するコンピュータシステム、装置、及び１つ又は複数のコンピュータストレージデバイス上に記録されたコンピュータプログラムを含み、各々が本方法の動作を実行するように構成されている。１つ又は複数のコンピュータのシステムは、システムに動作を行わせる稼働中のシステムにインストールされた、ソフトウェア、ファームウェア、ハードウェア、又はそれらの組み合わせ（例えば、１つ又は複数のストレージデバイスに格納された命令）を有することによって、特定の動作を実行するように構成され得る。１つ又は複数のコンピュータプログラムは、データ処理装置によって実行されると、装置に動作を実行させる命令を含むことによって、特定の動作を実行するように構成され得る。

【0022】

前述の実施形態及び他の実施形態は各々、単独で或いは組み合わせて、１つ又は複数の以下の特徴量を任意に含み得る。いくつかの実施形態では、特徴抽出モデルは、事前訓練済みである。いくつかの実施形態では、特徴抽出モデルは、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、又はトランスフォーマベースのニューラルネットワークを含む。いくつかの実施形態では、複数の構成特徴量は、ニューラルネットワークの第１層によって抽出された１つ又は複数の低レベルの特徴量、ニューラルネットワークの第２層によって抽出された１つ又は複数の中レベルの特徴量、ニューラルネットワークの第３層によって抽出された１つ又は複数の高レベルの特徴量、及び／又は、ニューラルネットワークの第４層によって抽出された１つ又は複数の最高レベルの特徴量を含む。

【0023】

いくつかの実施形態では、推論データは、第２のデータをさらに含む。いくつかの実施形態では、データ分析ターゲットの値を判定することは、第２のデータから得られた１つ又は複数の特徴量の値にも基づいている。本方法の動作は、第１のデータの構成特徴量の値と、第２のデータから得られた特徴量の値とをテーブルに配置することをさらに含んでもよく、データ分析ターゲットの値を判定することは、訓練済み機械学習モデルをテーブルに適用することによって実行される。いくつかの実施形態では、訓練済み機械学習モデルは、勾配ブースティングマシンを含む。いくつかの実施形態では、データ分析ターゲットの値は、推論データに基づく予測、推論データの説明、推論データに関連付けられた分類、及び／又は推論データに関連付けられたラベルを含む。

【0024】

概して、本明細書で説明される対象の別の革新的な態様は、第１の複数のデータサンプルの各々は、第１の画像データから抽出された構成画像特徴量のセットに対するそれぞれの値と関連付けられており、各データサンプルに対するそれぞれの第１の異常スコアは、データサンプルが異常であることの程度を示す、取得することと；第１の時間の後の第２の時間と関連付けられた第２の複数のデータサンプルの各々に対するそれぞれの第２の異常スコアを取得することであって、第２の複数のデータサンプルの各々は、第２の画像データから抽出された構成画像特徴量のセットに対するそれぞれの値と関連付けられており、各データサンプルに対するそれぞれの第２の異常スコアは、データサンプルが異常であることの程度を示す、取得すること；閾値異常スコアよりも大きいそれぞれの第１の異常スコアを有する第１の複数のデータサンプルの、データサンプルの第１の量を判定することと；閾値異常スコアよりも大きいそれぞれの第２の異常スコアを有する第２の複数のデータサンプルの、データサンプルの第２の量を判定することと；データサンプルの第１の量と第２の量との間の量差を判定することと；量差の絶対値が閾値差よりも大きいことに対応して、画像データドリフトの検出と関連付けられた１つ又は複数の動作を実行することとを含む、画像データにおけるドリフトを検出するための方法に具現化され得る。

【0025】

本態様の他の実施形態は、対応するコンピュータシステム、装置、及び１つ又は複数のコンピュータストレージデバイス上に記録されたコンピュータプログラムを含み、各々が本方法の動作を実行するように構成されている。１つ又は複数のコンピュータのシステムは、システムに動作を行わせる稼働中のシステムにインストールされた、ソフトウェア、ファームウェア、ハードウェア、又はそれらの組み合わせ（例えば、１つ又は複数のストレージデバイスに格納された命令）を有することによって、特定の動作を実行するように構成され得る。１つ又は複数のコンピュータプログラムは、データ処理装置によって実行されると、装置に動作を実行させる命令を含むことによって、特定の動作を実行するように構成され得る。

【0026】

前述の実施形態及び他の実施形態は各々、単独で或いは組み合わせて、１つ又は複数の以下の特徴量を任意に含み得る。いくつかの実施形態では、画像データドリフトの検出と関連付けられた１つ又は複数の動作は、ユーザにメッセージを提供することを含み、メッセージは、画像データドリフトが検出されたことを示す。いくつかの実施形態では、画像データドリフトの検出と関連付けられた１つ又は複数の動作は、第２の時点と関連付けられた第２の複数のデータサンプルに基づいて、新しいデータ分析モデルを生成することを含む。

【0027】

概して、本明細書で説明される対象の別の革新的な態様は、データ分析モデルのための訓練データを取得することであって、訓練データは、複数の訓練データサンプルを含み、データサンプルの各々は、それぞれの訓練画像を含む、取得することと；訓練画像の各々から、画像特徴量のそれぞれの数値を抽出することと；複数のスコアリングデータのセットを取得することであって、スコアリングデータの各セットは、異なる期間に対応し、それぞれの複数のスコアリングデータサンプルを含み、スコアリングデータサンプルの各々は、それぞれのスコアリング画像を含む、取得することと；スコアリング画像の各々から、画像特徴量のそれぞれの数値を抽出することと；スコアリングデータの各セットに関して、訓練画像から抽出された画像特徴量の数値と、スコアリングデータのそれぞれのセットから抽出された画像特徴量の数値とを、入力として分類器へ提供することと；分類器からの出力に基づいて、経時的に画像特徴量の数値におけるドリフトを検出することと；ドリフトがデータ分析モデルの精度の低下に対応することを判定することと；データ分析モデルの精度を向上させるための是正措置を促進することとを含む、コンピュータ実装方法に具現化され得る。

【0028】

本態様の他の実施形態は、対応するコンピュータシステム、装置、及び１つ又は複数のコンピュータストレージデバイス上に記録されたコンピュータプログラムを含み、各々が本方法の動作を実行するように構成されている。１つ又は複数のコンピュータのシステムは、システムに動作を行わせる稼働中のシステムにインストールされた、ソフトウェア、ファームウェア、ハードウェア、又はそれらの組み合わせ（例えば、１つ又は複数のストレージデバイスに格納された命令）を有することによって、特定の動作を実行するように構成され得る。１つ又は複数のコンピュータプログラムは、データ処理装置によって実行されると、装置に動作を実行させる命令を含むことによって、特定の動作を実行するように構成され得る。

【0029】

前述の実施形態及び他の実施形態は各々、単独で或いは組み合わせて、１つ又は複数の以下の特徴量を任意に含み得る。いくつかの実施形態では、データ分析モデルは、訓練データを使用して訓練され、データ分析モデルは、スコアリングデータに基づいて予測を行うために使用される。いくつかの実施形態では、スコアリングデータの各セットは、異なる期間を表す。いくつかの実施形態では、分類器は、２つのデータセット間の有意差を統計的に検出するように構成されている共変量シフト分類器を含む。いくつかの実施形態では、経時的にドリフトを検出することは、スコアリングデータのセットのうちの２つ以上においてドリフトを検出することを含む。

【0030】

いくつかの実施形態では、ドリフトがデータ分析モデルの精度の低下に対応することを判定することは、精度の低下に対する画像特徴量のインパクトを判定することを含む。いくつかの実施形態では、インパクトを判定することは、グラフィカルユーザインタフェースを介して、精度の低下に対する画像特徴量のインパクトの表示を含むグラフを表示することを含む。いくつかの実施形態では、是正措置は、データ分析モデルのユーザにアラートを送信すること、データ分析モデルをリフレッシュすること、データ分析モデルを再訓練すること、新しいデータ分析モデルに切り替えること、又は、それらの任意の組み合わせのうちの１つ又は複数を含む。

【0031】

いくつかの実施形態では、訓練画像又はスコアリング画像から選択された特定の画像に関して、特定の画像の画像特徴量の数値を抽出することは、事前訓練済み画像処理モデルを用いて、特定の画像から複数の構成画像特徴量のそれぞれの値を抽出することと、画像特徴量の数値を判定するために、構成画像特徴量の値に変換を適用することとを含む。いくつかの実施形態では、変換は、次元削減の変換である。いくつかの実施形態では、変換は、主成分分析（ＰＣＡ）、及び／又は、均一多様体近似及び投影（ＵＭＡＰ）を含む。

【0032】

概して、本明細書で説明される対象の別の革新的な態様は、画像データから１つ又は複数の画像特徴量候補の値を抽出するように動作可能な画像特徴抽出モジュールと、画像特徴量候補の値に少なくとも部分的に基づいて、複数の特徴量のうちの１つ又は複数の値を取得するように動作可能なデータ準備及び特徴量エンジニアリングモジュールと、複数の特徴量の値に基づいて、データ分析ターゲットの値を判定するように訓練された１つ又は複数の機械学習モデルを生成し、且つ評価するように動作可能なモデル作成及び評価モジュールとを含む、モデル開発システムで具現化され得る。いくつかの実施形態では、データ作成及び特徴量エンジニアリングモジュールは、非画像データに少なくとも部分的に基づいて、複数の特徴量のうちの１つ又は複数の値を取得するようにさらに動作可能である。

【0033】

次に、実装形態及び事象の組み合わせの様々な新規な詳細を含む、上記及び他の好ましい特徴は、添付の図を参照して、より具体的に説明され、特許請求の範囲で指摘されるであろう。本明細書で説明される特定のシステム及び方法は、実例のみとして示され、限定として示されるものではないことを理解されたい。当業者によって理解され得るように、本明細書で説明される原理及び特徴は、本発明の任意の範囲から逸脱することなく、様々な多数の実施形態に採用され得る。前述及び以下の説明から理解され得るように、本明細書で説明されるありとあらゆる特徴、及び２つ以上のそのような特徴のありとあらゆる組み合わせは、そのような組み合わせに含まれる特徴が相互に矛盾しないことを条件に、本開示の範囲に含まれる。さらに、任意の特徴又は特徴の組み合わせは、本発明の任意の実施形態から明確に除外され得る。

【0034】

いくつかの実施形態、その動機、及び／又はその利点の説明を含む、前述の概要は、読者が本開示を理解する手助けをすることを意図しており、いかなる形でも任意の請求項の範囲を限定するものではない。

【図面の簡単な説明】

【0035】

本明細書の部分として含まれる、添付の図は、現在好ましい実施形態を示し、上記の一般的な説明、及び下記の好ましい実施形態の詳細な説明と共に、本明細書で説明される原理を説明し、且つ教示する役割を果たす。

【図1】図（「図」）１は、いくつかの実施形態による、モデル開発システム１００のブロック図を示す。

【図2】図２Ａは、いくつかの実施形態による、画像データ及び非画像データを含むデータセットを提供するためのユーザインタフェース要素の実施例を示す。図２Ｂは、いくつかの実施形態による、画像データ及び非画像データを含むデータセットでモデル開発を開始するためのユーザインタフェース要素の実施例を示す。

【図3】図３は、図２Ａのデータセットの探索的データ分析結果の一実施例を示す。

【図4】図４は、図２Ａのデータセットからの画像のサブセットを表示するユーザインタフェースの一実施例を示す。

【図5】図５は、図２Ａのデータセットからの画像のサブセットを表示するユーザインタフェースの一実施例を示す。

【図6】図６は、いくつかの実施形態による、画像データ及び非画像データを使用するデータ分析モデルの開発のためのブループリントを示す。

【図7】図７は、いくつかの実施形態による、画像データ及び非画像データを使用するデータ分析モデルの開発のためのブループリントのいくつかの実施例の要約を示す。

【図8A】図８Ａは、毛で覆われた動物の加工画像のいくつかの実施例を示す。

【図8B】図８Ｂは、いくつかの実施形態による、画像拡張のためのユーザインタフェースの一部分を示す。

【図8C】図８Ｃは、いくつかの実施形態による、画像拡張のためのユーザインタフェースの別の部分を示す。

【図9】図９は、いくつかの実施形態による、事前訓練済み画像処理モデルを調整するためのユーザインタフェースを示す。

【図10A】図１０Ａは、いくつかの実施形態による、画像処理モデルのブロック図を示す。

【図10B】図１０Ｂは、いくつかの実施形態による、事前訓練済み画像特徴抽出モデルのブロック図を示す。

【図10C】図１０Ｃは、いくつかの実施形態による、事前訓練済み微調整可能画像処理モデルのブロック図を示す。

【図10D】図１０Ｄは、いくつかの実施形態による、別の画像処理モデルのブロック図を示す。

【図11】図１１は、いくつかの実施形態による、モデル展開システム１１００のブロック図を示す。

【図12A】図１２Ａは、いくつかの実施形態による、データドリフトの視覚化を表示するためのユーザインタフェースの一部分を示す。

【図12B】図１２Ｂは、いくつかの実施形態による、データドリフトの視覚化を表示するためのユーザインタフェースの別の部分を示す。

【図13】図１３は、いくつかの実施形態による、ニューラルネットワークの視覚化の一実施例を示す。

【図14A】図１４Ａは、いくつかの実施形態による、オクルージョンベースの画像推論説明の実施例を示す。

【図14B】図１４Ｂは、いくつかの実施形態による、多色の画像推論説明の実施例を示す。

【図14C】図１４Ｃは、いくつかの実施形態による、単色の画像推論説明の実施例を示す。

【図14D】図１４Ｄは、いくつかの実施形態による、モデルが特定の価格帯に正しく割り当てた住宅の外観画像に対する画像推論説明を表示する説明ユーザインタフェースの一実施例を示す。

【図15】図１５は、いくつかの実施形態による、画像埋め込みの視覚化の一実施例を示す。

【図16】図１６は、いくつかの実施形態による、画像及び非画像特徴量の特徴量インパクト値が表示されるユーザインタフェースの一実施例を示す。

【図17】図１７は、いくつかの実施形態による、画像推論説明の視覚化を生成するためのプロセスを示すデータフロー図である。

【図18A】図１８Ａは、いくつかの実施形態による、画像ベースのデータ分析方法のフローチャートである。

【図18B】図１８Ｂは、いくつかの実施形態による、２段階データ分析方法のフローチャートである。

【図19A】図１９Ａは、いくつかの実施形態による、集約画像特徴量の特徴量重要度を判定するための方法のフローチャートである。

【図19B】図１９Ｂは、いくつかの実施形態による、画像特徴量に少なくとも部分的に基づいて、ターゲットの値を説明するための方法のフローチャートである。

【図19C】図１９Ｃは、いくつかの実施形態による、画像データのためのドリフト検出方法のフローチャートである。

【図19D】図１９Ｄは、いくつかの実施形態による、画像データのための別のドリフト検出方法のフローチャートである。

【図20】図２０は、保険金請求データセットの探索的データ分析結果の一実施例を示す。

【図21】図２１は、いくつかの実施形態による、画像データ及び非画像データを使用して保険金請求を予測するデータ分析モデルの開発のためのブループリントを示す。

【図22】図２２は、いくつかの実施形態による、画像及び非画像特徴量の特徴量インパクト値が表示されるユーザインタフェースの別の実施例を示す。

【図23】図２３は、いくつかの実施形態による、モデルの個々の予測に関して、住宅の外観画像の異なる領域のインパクトを示す画像推論説明の視覚化を示す。

【図24】図２４は、例示的なコンピュータシステムのブロック図である。

【0036】

本開示は、様々な変更及び代替形態の対象であり、その特定の実施形態は、図面に例として示されており、本明細書で詳細に説明されるであろう。本開示は、開示された特定の形態に限定されるものではないと理解されるべきであるが、むしろ、その意図は、本開示の精神及び範囲内に含まれる全ての変更、均等物、及び代替に及ぶことである。

【発明を実施するための形態】

【0037】

（１．用語）
本明細書で使用されるように、「データ分析」は、情報を発見し、結論を導き出し、且つ／或いは意思決定をサポートするために（例えば、機械学習モデル又は技術を使用して）データを分析するプロセスを指し得る。データ分析の種類は、記述的分析（例えば、データセット内の情報、傾向、異常などを記述するためのプロセス）、診断的分析（例えば、特定の傾向、パターン、異常などがデータセット内に存在する理由を推論するためのプロセス）、予測的分析（例えば、将来の事象又は結果を予測するためのプロセス）、及び処方的分析（行動方針を判定し、或いは提案するためのプロセス）を含み得る。

【0038】

概して、「機械学習」は、特定のタスクを実行するために、コンピュータシステムによる特定の技術（例えば、パターン認識及び／又は統計的推論技術）の適用を指す。（自動、或いは他の）機械学習技術は、サンプルデータ（例えば、「訓練データ」）に基づいてデータ分析モデルを構築し、検証データ（例えば、「テストデータ」）を使用してモデルを検証するために使用されてもよい。サンプルデータ及び検証データは、レコードのセット（例えば、「観測」又は「データサンプル」）として編成されてもよく、各レコードは、指定されたデータフィールド（例えば、「独立変数」、「入力」、「特徴量」、又は「予測因子」）の値、及び他のデータフィールド（例えば、「従属変数」、「出力」、又は「ターゲット」）の対応する値を示してもよい。機械学習技術は、入力の値に基づいて出力の値を推論するモデルを訓練するために使用されてもよい。サンプルデータに類似し、或いは関連する他のデータ（例えば、「推論データ」）と共に提示されるとき、そのようなモデルは、推論データセットのターゲットの未知の値を正確に推論してもよい。

【0039】

データサンプルの特徴量は、データサンプルによって表され、或いはデータサンプルと関連付けられたエンティティ（例えば、人、物、事象、活動など）の測定可能な特性であり得る。例えば、特徴量は、住宅の価格であってもよい。さらなる一実施例として、特徴量は、住宅の画像から抽出された形状であり得る。いくつかのケースでは、データサンプルの特徴量は、データサンプルによって表され、或いはデータサンプルと関連付けられたエンティティの説明（又はエンティティに関する他の情報）である。特徴量の値は、エンティティの対応する特性の測定値、又はエンティティに関する情報のインスタンスであってもよい。例えば、特徴量が住宅の価格である上記の実施例では、「価格」特徴量の値は、２１５，０００ドルであり得る。いくつかのケースでは、特徴量の値は、欠損値（例えば、値なし）を示し得る。例えば、特徴量が住宅の価格である上記の実施例では、特徴量の値は、住宅の価格が欠損していることを示す、「ＮＵＬＬ」であってもよい。

【0040】

特徴量はまた、データ型を有し得る。例えば、特徴量は、画像データ型、数値データ型、テキストデータ型（例えば、構造化テキストデータ型、又は非構造化（「自由」）テキストデータ型）、カテゴリデータ型、又は任意の他の適切なデータ型を有し得る。上記の実施例では、住宅の画像から抽出された形状の特徴量は、画像データ型であり得る。概して、特徴量のデータ型は、特徴量に割り当てられ得る値のセットが有限である場合、カテゴリカルである。

【0041】

本明細書で使用されるように、「画像データ」は、デジタル画像（例えば、ビデオ）のシーケンス、デジタル画像のセット、単一のデジタル画像、及び／又は、前述の任意の１つ又は複数の部分を指し得る。デジタル画像は、ピクセル要素（「ピクセル」）の編成されたセットを含んでもよい。デジタル画像は、コンピュータ可読ファイルに格納されてもよい。ラスタ形式（例えば、ＴＩＦＦ、ＪＰＥＧ、ＧＩＦ、ＰＮＧ、ＢＭＰなど）、ベクトル形式（例えば、ＣＧＭ、ＳＶＧなど）、複合形式（例えば、ＥＰＳ、ＰＤＦ、ＰｏｓｔＳｃｒｉｐｔなど）、及び／又はステレオ形式（例えば、ＭＰＯ、ＰＮＳ、ＪＰＳなど）を含むが、これらに限定されない、任意の適切な形式及びタイプのデジタル画像ファイルが使用されてもよい。

【0042】

本明細書で使用されるように、「非画像データ」は、構造化テキストデータ、非構造化テキストデータ、カテゴリデータ、及び／又は数値データを含むが、限定されない、画像データ以外の任意のタイプのデータを指し得る。本明細書で使用されるように、「自然言語データ」は、自然言語を表す音声信号、自然言語を表すテキスト（例えば、非構造化テキスト）、及び／又はそこから得られたデータを指してもよい。本明細書で使用されるように、「音声データ」は、音声を表す音声信号（例えば、オーディオ信号）、音声を表すテキスト（例えば、非構造化テキスト）、及び／又はそこから得られたデータを指してもよい。本明細書で使用されるように、「聴覚データ」は、音を表すオーディオ信号、及び／又はそこから得られたデータを指してもよい。

【0043】

本明細書で使用されるように、「時系列データ」は、異なる時点で収集されたデータを指し得る。例えば、時系列データセット内で、各データサンプルは、特定の時間にサンプリングされた１つ又は複数の変数の値を含んでもよい。いくつかの実施形態では、データサンプルに対応する時間は、データサンプル内に（例えば、変数値として）格納され、或いはデータセットと関連付けられたメタデータとして格納される。いくつかの実施形態では、時系列データセット内のデータサンプルは、時系列的に並べられる。いくつかの実施形態では、時系列に並べられた時系列データセット内の連続するデータサンプル間の時間間隔は、実質的に均一である。

【0044】

時系列データは、経時的に、データセット内の変化を追跡し、或いは推論するのに有用であり得る。いくつかのケースでは、時系列データ分析モデル（又は「時系列モデル」）は、時間ｔ前の時間でのターゲットＺの観測値、及び任意に時間ｔ前の時間での他の予測変数Ｐの観測値を与えられた、時間ｔ、及び任意に時間ｔ＋１、・・・、ｔ＋ｉでのＺの値を予測するように訓練されてもよく、使用されてもよい。時系列データ分析問題に関して、概して、目的は、ターゲット自身を含む、全ての特徴量の事前観測の関数として、ターゲットの将来の値を予測することである。

【0045】

本明細書で使用されるように、「空間データ」は、１つ又は複数の空間オブジェクトの位置、形状、及び／又は配置に関連するデータを指し得る。「空間オブジェクト」は、物理的な或いは仮想的な環境において、空間を占め、且つ／或いは場所を有するエンティティ又は物であってもよい。いくつかのケースでは、空間オブジェクトは、オブジェクトの画像（例えば、写真、レンダリングなど）によって表されてもよい。いくつかのケースでは、空間オブジェクトは、環境内の位置（例えば、環境に対応する座標空間内の座標）を有し得る、１つ又は複数の幾何学的要素（例えば、点、線、曲線、及び／又は多角形）によって表されてもよい。

【0046】

本明細書で使用されるように、「空間属性」は、オブジェクトの位置、形状、又は配置に関連する空間オブジェクトの属性を指し得る。空間オブジェクト又は観測はまた、「非空間属性」を有してもよい。例えば、住宅地は、空間属性（例えば、位置、寸法など）、及び非空間属性（例えば、市場価値、所有名義人、税評価など）を有し得る空間オブジェクトである。本明細書で使用されるように、「空間特徴量」は、空間オブジェクトの空間属性、又は２つの空間オブジェクト間若しくは３つ以上の空間オブジェクト間の空間関係に基づいている（例えば、表す、或いは依存する）特徴量と指し得る。特別なケースとして、「位置特徴量」は、空間オブジェクトの位置に基づいている空間特徴量を指し得る。本明細書で使用されるように、「空間観測」は、空間オブジェクトの表現、空間オブジェクトの１つ又は複数の空間属性の値、及び／又は、１つ又は複数の空間特徴量の値を含む観測を指し得る。

【0047】

空間データは、ベクトル形式、ラスタ形式、又は任意の他の適切な形式で符号化され得る。ベクトル形式では、各空間オブジェクトは、１つ又は複数の幾何学的要素によって表される。このコンテキストにおいて、各点は、位置（例えば、座標）を有し、点はまた、１つ又は複数の他の属性を有してもよい。各直線（又は曲線）は、順序付けられ、接続された点のセットを含む。各多角形は、閉じられた形状を形成する接続された線のセットを含む。ラスタ形式では、空間オブジェクトは、規則的なパターン（例えば、グリッド又はマトリクス）に配置されたセル（例えば、ピクセル）に割り当てられた値（例えば、ピクセル値）によって表される。このコンテキストにおいて、各セルは、空間領域を表し、セルに割り当てられた値は、表された空間領域に適用される。

【0048】

概して、数値データ型、カテゴリデータ型、又は時系列データ型のデータを含む、特定のデータ型を有するデータ（例えば、変数、特徴量など）は、機械学習ツールによって処理するためにテーブルに編成される。本明細書では、そのようなデータ型を有するデータは、「表形式データ」（又は「表形式変数」、「表形式特徴量」など）と称され得る。本明細書では、画像、（構造化又は非構造化）テキスト、自然言語、音声、聴覚、又は空間のデータ型のデータを含む、他のデータ型のデータは、「非表形式データ」（又は「非表形式変数」、「非表形式特徴量」など）と称され得る。

【0049】

本明細書で使用されるように、「データ分析モデル」は、特定の訓練データセットにモデルを適合するために、機械学習アルゴリズムを使用するプロセスによって生成される任意の適切なモデルアーティファクトを指し得る。用語「データ分析モデル」、「機械学習(machine learning)モデル」、及び「機械学習(machine learned)モデル」は、本明細書では互換的に使用される。

【0050】

本明細書で使用されるように、機械学習モデルの「開発」は、機械学習モデルの構築を指し得る。機械学習モデルは、訓練データセットを使用してコンピュータによって構築されてもよい。したがって、機械学習モデルの「開発」は、訓練データセットを使用する機械学習モデルの訓練を含んでもよい。（概して、「教師あり学習」と称される）いくつかのケースでは、機械学習モデルを訓練するために使用される訓練データセットは、訓練データセット内の個々のデータサンプルの既知の結果（例えば、ラベル又はターゲット値）を含み得る。例えば、猫の画像を検出するために、教師ありコンピュータビジョンモデルを訓練するとき、訓練データセット内のデータサンプルのターゲット値は、データサンプルが猫の画像を含むか否かを示してもよい。（概して、「教師なし学習」と称される）他のケースでは、訓練データセットは、訓練データセット内の個々のデータサンプルの既知の結果を含まない。

【0051】

開発後、機械学習モデルは、「推論」データセットに関して推論を生成するために使用され得る。例えば、開発後、コンピュータビジョンモデルは、猫の画像を含むデータサンプルを、猫の画像を含まないデータサンプルから区別するように構成されていてもよい。本明細書で使用されるように、機械学習モデルの「展開」は、訓練データ以外のデータについての推論を生成するために、開発された機械学習モデルの使用を指し得る。

【0052】

コンピュータビジョンツール（例えば、モデル、システムなど）は、１つ又は複数の以下の機能である、画像前処理、特徴抽出、及び検出／セグメンテーションを実行し得る。画像前処理技術のいくつかの実施例は、限定されないが、画像の再サンプリング、ノイズ除去、コントラスト強調、及びスケーリング（例えば、スケール空間表現を生成すること）を含む。抽出された特徴量は、低レベル（例えば、生のピクセル、ピクセル強度、ピクセルの色、グラデーション、パターン及びテクスチャ（例えば、近接した色の組み合わせ）、色ヒストグラム、動きベクトル、エッジ、線、角、隆起など）、中レベル（例えば、形状、表面、体積、パターンなど）、高レベル（例えば、オブジェクト、シーン、事象など）、又は最高レベルであってもよい。より低レベルの特徴量は、より単純で、より汎用（或いは、広く適用可能）である傾向があり、より高レベルの特徴量は、複雑でタスク固有である。検出／セグメンテーション機能は、さらなる処理のために、入力画像データのサブセット（例えば、画像セット内の１つ又は複数の画像、画像内の１つ又は複数の領域など）の選択を含んでもよい。本明細書では、画像特徴抽出（又は画像前処理及び画像特徴抽出）を実行するモデルは、「画像特徴抽出モデル」を指し得る。

【0053】

一括して、本明細書では、画像から抽出され、且つ／或いは得られた特徴量は、「画像特徴量のセット」（又は「集約画像特徴量」）と称されてもよく、そのセット（又は集約）の個々の要素は、「構成画像特徴量」と称されてもよい。例えば、画像から抽出された画像特徴量のセットは、（１）画像内の個々のピクセルの色を示す構成画像特徴量のセット、（２）エッジが画像内のどこに存在するかを示す構成画像特徴量のセット、及び（３）顔が画像内のどこに存在するかを示す構成画像特徴量のセットを含んでもよい。

【0054】

本明細書で使用されるように、「モデリングブループリント」（又は「ブループリント」）は、入力データに基づいてモデルを開発するために実行される前処理操作、モデル構築操作、及び後処理操作のコンピュータ実行可能なセットを指す。ブループリントは、限定されないが、ユーザデータのサイズ、特徴量タイプ、特徴量分布などを含む任意の適切な情報に基づいて、「オンザフライ」で生成されてもよい。ブループリントは、複数の（例えば、全ての）データ型を共同で使用することが可能であってもよく、それによって、モデルが、画像特徴量間の関連性、及び、画像と非画像との特徴量間の関連性を学習することが可能であってもよい。

【0055】

（２．概要）
上述のように、最近の自動機械学習技術の進歩は、特定のタイプのデータ分析ツール、特に時系列データ、カテゴリデータ、及び数値データで動作するツールの開発に対する障壁を大幅に下げている。しかしながら、改善された自動機械学習技術は、（１）コンピュータビジョンツール、及び（２）画像データ（単独又は非画像データとの組み合わせ）で動作するデータ分析ツール及びモデルの開発を促進するために必要とされている。また、特定のデータ分析問題を解決するコンテキストにおいて、他のタイプのデータに対する画像データの重要度を判定し得るデータ分析ツールのニーズがある。さらに、（例えば、ツールによって行われた推論又は生成された出力にとって最も重要である画像の部分を識別することによって）コンピュータビジョンツール及びデータ分析ツールが、どのように画像データを解釈しているかを説明し得る解釈ツールのニーズがある。

【0056】

概して、本明細書で説明されるモデル（例えば、データ分析モデル）及び技術（例えば、モデリング技術、自動化技術、他のデータに対する特定のデータの重要度を判定するための技術、モデル及びツールの出力を解釈するための技術など）は、画像データと非画像データとの両方を使用して、コンピュータビジョンタスク（例えば、画像又はビデオの分析及び／又は解釈に関連するタスク）を実行し、或いはデータ分析問題を解決するというコンテキストにおいて説明される。しかしながら、当業者であれば、これらのモデル及び技術が他のタスク（例えば、自然言語データ、音声データ、テキストデータ、オーディオデータなどの分析及び／又は解釈に関連するタスク）に適用可能であることを理解するであろう。

【0057】

より一般的には、本明細書で説明されるモデル及び技術のいくつかの実施形態は、タスクを実行すること、データ（例えば、高次元のデータ）を分析すること、又は他の方法でニューラルネットワーク（例えば、ディープニューラルネットワーク又は「ディープラーニング」モデル）を使用して実行され、分析され、或いは解決され得る問題を解決することに適用可能である。いくつかのケースでは、データ分析モデルは、同じタスクを実行するために、ニューラルネットワークを訓練するのに必要とされ得るよりも、より少ない計算資源、及び／又は、より少ない訓練データを使用して、特定のタスクを実行するように訓練され得る。いくつかのケースでは、訓練済みデータ分析モデルは、同じタスクを実行するように訓練されたニューラルネットワークによって必要とされ得るよりも、より少ない計算資源を使用して、特定のタスクを実行することができる。そのようなタスクは、コンピュータビジョンタスク、自然言語処理タスク、音声処理タスク、テキスト処理タスク、画像処理タスク、ビデオ処理タスク、音響処理タスクなどを含んでもよい。

【0058】

本開示の部分は、画像データを単独で、或いは非画像データと組み合わせて、分析するデータ分析モデルに関する。本開示の部分は、（１）（例えば、コンピュータビジョンツール用の）画像データ、又は（２）（例えば、データ分析ツール用の）画像データ及び非画像データで動作するデータ分析モデルを開発するためのプロセスの自動化に関する。本開示の部分は、画像から抽出され、且つ／或いは得られた集約画像特徴量に関して、データ分析モデルの出力に対するその特徴量のインパクトを判定するための技術、及びそのインパクトを、モデルの他の特徴量（例えば、他の集約画像特徴量及び／又は非画像特徴量）のインパクトと比較するための技術に関する。本開示の部分は、画像ベースの推論の視覚的説明を提供するためのツール及び技術に関する。本開示の部分は、画像データ（又は他の、非表形式データ）内のドリフトを検出するためのツール及び技術に関する。本開示の部分は、コンピュータビジョン、音響処理、音声処理、テキスト処理、及び／又は自然言語処理の領域のタスクを実行するモデルを自動的に開発するためのツール及び技術に関する。本開示の部分は、（１）画像データ及び非画像データ、（２）表形式データ及び非表形式データ、又は（３）２つ以上のタイプの非表形式データを含む異種データセットを分析するモデルを自動的に開発するためのツール及び技術に関する。

【0059】

（３．いくつかの動機、応用、属性、利点）
（３．１．いくつかの実施形態に関するいくつかの動機）
最近１０年間は、従来コンピュータに関して困難と見なされてきた問題を解決する技術的進展が数多く見られている。そのような問題の１つは、コンピュータビジョン（ＣＶ）であり、概して、デジタル画像を取得すること、処理すること、分析すること、及び理解することを含む。消費者向けコンピューティングデバイスの進化、及びインターネットへのアクセスのさらなる容易さは、大量の画像データを生成すること、及びそれを処理するための計算能力の利用可能性をもたらしている。

【0060】

コンピュータビジョンを他のＡＩ関連技術（例えば、データ分析）と統合するための技術が必要とされている。データ分析モデルに画像分析を組み込むことは、企業が、新しいユースケース（予測モデリング問題がその性質上視覚的である場合）を引き出し、（既存のデータセットを新しい予測画像特徴量で拡張することによって）既存のユースケースのモデリング精度を向上させることを可能にし得る。

【0061】

コンピュータビジョンは２０世紀半ばから研究されているが、初期の導入者は、コンピュータビジョン技術を異なる領域及び応用に汎用化すること、人間に相当する性能を実現すること、及び技術の計算効率を高めることに取り組んできた。しかしながら、２０１１年、コンピュータビジョンにおける重要な節目を迎えた。史上初めて、（ディープラーニングを備えた）機械学習モデルは、視覚パターン認識コンテストで超人的な性能を実現した。２０１２年、同様のシステムは、大差をつけて他の機械学習アプローチを破り、大規模なＩＬＳＶＲＣ（「ＩｍａｇｅＮｅｔ」）コンテストで優勝した。これらの成果は、ＡＩ、及び、特にコンピュータビジョン分野への学術的及びビジネス的関心を加速させた。

【0062】

これらの節目にもかかわらず、コンピュータビジョン（「ＣＶ」）（及び、特にディープラーニングＣＶ）は、依然として参入障壁の高い分野であり、業界における有能なデータサイエンス人材の不足によってさらに際立たせる。概して、既存のツールを使用してビジネスアプリケーションで画像データを活用することは、特注のディープラーニングモデルを設計し、コードを記述し、コンピュータビジョンシステムを検証し、展開し、維持し、トラブルシューティングし得るデータ科学者からのサポートを必要とする。

【0063】

したがって、ユーザからの重要な専門知識を必要とせずに、デジタル画像データを扱うことが可能である自動データ分析システムのニーズが残っている。本明細書で説明されるシステムのいくつかの実施形態は、コンピュータビジョンのための機械学習及びディープラーニングの力を、多様な背景を有するビジネスユーザの手に入れることが可能である。いくつかの実施形態では、本システムは、理解しやすいユーザインタフェース、モデリングプロセスの十分な透明性、及び短いタイムトゥバリュー(time to value)を提供する。

【0064】

（３．２．いくつかの実施形態のいくつかの応用、属性、及び利点）
画像データを含むデータセットを分析するための自動化技術のいくつかの実施形態が本明細書で説明される。これらの自動化技術の使用は、以下の利点をもたらし得る。（１）視覚認識タスクからヒューマンエラーを減らし、或いは排除すること、超人的な精度を実現すること、（２）反復的な視覚認識タスクに、より少ない人材しか必要としないこと、手動の人間の関与のケース数を絞り込むことができ、いくつかのケースでは、モデルエラーが存在しても、依然として人間の時間数を削減するという点で大きな経済価値をもたらすこと、（３）人間の視覚と比較して高いスループットをもたらし、ユーザが生産ワークフローを高速化し、スケーリングすることを可能にすること、（４）ワークフローにＡＩ作業者を導入することによって、ロボティックプロセスオートメーション（ＲＰＡ）を促進させることである。

【0065】

画像データを含むデータセットを分析するための自動化技術の有用な応用の領域固有の実施例は、以下が含まれてもよい。

【0066】

１．製造業：製造された不良製品の検査。組立ラインはしばしば、製品又は部品が品質管理のコンプライアンスに関してアセスメントされる目視検査のステップを含む。欠陥を自動的に検出するために、コンピュータビジョンツール及び画像ベースのデータ分析ツールを使用することは、製品の品質の向上、及びスケーリングされた生産スループットを可能にする。画像が、いくつかの実施形態のように製造プロセスを説明する他の特徴量と組み合わされるとき、本明細書で説明されるデータ分析ツールのいくつかの実施形態は、製造パラメータと視覚的結果との間の関連性を見出し、予想される欠陥を最小化するために、環境のパラメータを最適化することが可能である。

【0067】

２．ヘルスケア：医療用画像に基づく健康状態の診断。一般に、医療診断は、医療デバイスから取得された画像を解釈するために、訓練された人間の専門家に依存する。本明細書で説明される自動コンピュータビジョンツール又は画像ベースのデータ分析ツールのいくつかの実施形態は、デジタル医療画像を直接処理することが可能であり、特定のタスク、例えば、皮膚癌の分類、前立腺癌のグレード分類、及び糖尿病網膜症検出において、専門家レベル又は超人的精度を実現し得る。診断精度の向上は、患者の治療及び健康保険に関する多数のリスクを排除する。

【0068】

３．保険：財物損壊のアセスメント。被保険財産の視覚的検査は、保険会社が、可能な損失を推定することを可能にする。いくつかの実施形態によれば、一度に複数の画像特徴量（例えば、事故前後の車両写真）を使用する画像ベースのデータ分析モデルは、画像間の関連性を学習することによって、より正確な予測を行い得る。画像に加えて保険契約の詳細が特徴量として使用されるとき、モデルは、それらの間の関連性も同様に学習し、より正確な予測、及び、より意味のある予測説明を提供し得る。

【0069】

４．セキュリティ：セキュリティチェックポイントでの禁制品の検出。空港のセキュリティの列は、荷物のＸ線スキャン及び乗客のボディスキャンを検査するために、人間のオペレータを使用する。いくつかの実施形態に従って、自動コンピュータビジョンシステムは、ヒューマンエラーなしにスキャンで特定のアイテムを検出するように訓練され、或いは技術者が規制アイテムの可能性を判定するのをサポートし、したがって、チェックポイントのスループットを向上（例えば、最適化）させ得る。

【0070】

５．メディア：ユーザが作成したコンテンツを有するウェブサイト上の不適切な投稿の検出。ソーシャルネットワーク、ニュースサイト、及びＱ＆Ａプラットフォームはしばしば、公開前にコンテンツをレビューし、或いはユーザによって報告された既存の疑わしいコンテンツをレビューするために、人間のモデレータに依存する。視覚的なユーザが生成したコンテンツは、スパム、ポルノ、衝撃的なコンテンツ、又は他の公にしにくい資料を含んでもよい。いくつかの実施形態によれば、コンピュータビジョンを備えた自動モデレーションシステムを使用することは、信頼性の低い予測にのみ人間のモデレータを関与させることによってモデレーションのスループットを向上させ、コンテンツポリシーの明らかな違反の大部分を自動モデレートし得る。表形式特徴量（例えば、ユーザ評価又は登録日）、及び／又は他の非表形式特徴量と組み合わせて画像を使用することは、画像のみを使用するモデルと比較して、不適切なコンテンツを予測する精度を高め得る。

【0071】

画像ベースのデータ分析モデルを開発し、展開するためのシステムのいくつかの実施形態が本明細書で説明される。いくつかの実施形態の特性は、１．カスタム画像分析の最適化を含んでもよく、２．ＳＴＥＭの学位、又はコンピュータビジョン及び画像分析における専門的な訓練を伴わずに、多様な経歴を有するビジネスペルソナによるユーザビリティを含んでもよく、３．保険金請求予測及びヘルスケア再入院予測などの、複数の領域の実際のビジネスケースをサポートするための設計を含んでもよい。これらのケースの多くは、画像データを非画像データと組み合わせることから利益を得て、望ましい性能を実現する。いくつかの実施形態の特性は、４．疑似結果を最小化するガードレールを内蔵し、それによって、モデルの開発及び動作を改善することを含んでもよい。ガードレールのいくつかの非限定的な実施例は、異常検出、データドリフト検出、ターゲットリーク検出、データサイエンスのベストプラクティスの実施（例えば、交差検証、ハイパーパラメータ調整、問題に対する正しいエラーメトリックを使用すること、検証セット及びホールドアウトセットを使用することなど）などを含む。いくつかの実施形態の特性は、５．資本及び運用費に関して、効率性及び柔軟性を含んでもよい。

【0072】

本明細書で説明される自動コンピュータビジョンツール又は画像ベースのデータ分析ツールのいくつかの実施形態は、１つ又は複数の（例えば、全ての）以下の特性又は能力を示してもよく、１つ又は複数の（例えば、全ての）前述された課題を解決するのに役立ってもよい。

【0073】

１．コードフリーなデータ取り込み、モデル開発、及び展開。多くの従来のＣＶシステムは、コード中心であり、ユーザが望ましい目的を達成するためにコードを記述することを必要とする。ビジネスユーザはしばしば、ソフトウェアエンジニアリングにおける訓練を受けておらず、プログラムを作成することができない。いくつかの実施形態のコードフリーなデータ取り込み、モデル開発、及びモデル展開の能力は、コンピュータビジョンツール及び画像ベースのデータ分析の導入及び使用に対する障壁を大幅に下げる。

【0074】

２．探索的データ分析、データ品質問題の識別、及び実用的なモデル診断。学術的なデータセットとは異なり、現場でのデータ品質は、完璧には程遠い。概して、モデリングを開始する前に、ユーザは、プラットフォームがデータを正しく理解していることを確認し、且つ／或いは可能性のあるデータ問題を識別しようとする。概して、モデリング後、ユーザは、反復モデルの改善を促進するために、モデルが起こす任意のエラーの性質を理解しようとする。概して、既存のＣＶシステムは、モデリング前に限られた探索的選択肢を提供し、且つ／或いはモデリング後に一般的なメトリクス（例えば、精度、及び／又は曲線下面積（ＡＵＣ））に焦点を当て、入力データのパターン、モデルのエラーパターンにドリルダウンせず、或いは個々の予測を説明しない。

【0075】

３．完全自動データサイエンスの意思決定。多くの従来のＣＶシステムは、モデリングに適切な入力情報及びパラメータを提供できるように、ユーザからデータサイエンスの専門知識を必要とする。概して、ビジネスユーザは、データサイエンスにおける訓練を受けておらず、したがって、従来のＣＶシステムを使用するビジネスチームは、プロジェクトを遂行するために訓練を受けたデータ科学者という希少な資源を未だに必要とする。

【0076】

４．一度に複数のデータ型を使用する能力。いくつかのケースでは、上記のユースケースの概要は、データ分析モデルへの入力として画像のみを使用することが、ビジネス上の問題を解決するのに不十分であり得ることを示す。したがって、自動画像分析システムのいくつかの実施形態は、レコードごとに複数の画像、及び／又は同じモデルにおける画像、数値、カテゴリ、テキスト、地理空間、時系列、及び他のデータ型の組み合わせをサポートする。

【0077】

５．モデルの多様性。機械学習における周知の「Ｎｏ Ｆｒｅｅ Ｌｕｎｃｈ」定理（全ての可能なシナリオ及びデータセットに最も適した単一のアルゴリズムは存在しないという結論）とは対照的に、企業はしばしば、予備知識、又は解釈可能性／規制上の考察に起因して特定のアルゴリズムをやむを得ず使用する。その結果、特定のユースケースでは、ディープニューラルネットワークが最良の精度を実現することがあっても、企業は、コンプライアンスに敏感なプロジェクトにディープニューラルネットワークを展開することを躊躇し、或いは展開することができないことがある。代わりに、企業は、より精度の低いモデル（例えば、線形又は木ベースのモデル）を使用してもよい。本明細書で説明される自動モデル開発システムのいくつかの実施形態は、異なるビジネスケースに適切な様々なモデル、及び特定のデータ分析問題のための適切なモデルの自動選択をサポートする。対照的に、多くの従来のＣＶシステムは、ニューラルネットワークのみを使用し、且つ／或いは、事前のビジネス上の考慮事項（例えば、特徴量とターゲットとの間の単調関係）を考慮して好ましい特定のモデルタイプをユーザに選択させない。

【0078】

６．モデルの説明可能性。モデルがデータ内の正しいパターンを学習しており、隠れたバイアスを含んでいないことを確認するために、いくつかの実施形態は、ユーザが、モデルが画像のどの部分に基づいて判定するかを理解するのに役立つ視覚マップ又は他の解釈情報を提供する。以下の「画像処理モデル説明」のセクションを参照されたい。

【0079】

７．限られたデータ及びコモディティハードウェアの効果的使用。典型的に、最近のディープラーニングモデルの学術的な成功は、ＧＰＵクラスタなどのハードウェアアクセラレーションプラットフォームを使用して、大規模で、一般に使用されるデータセットでゼロからモデルを訓練することを含む。しかしながら、大規模なラベル付けされたデータセットを収集することは、高性能ハードウェアへの先行資本投資を行っているように、非常に高価である。多くの現在利用可能なＣＶシステムは、ユーザがＧＰＵ対応ハードウェア上でモデルを実行することを推奨し、さもなければ、モデルは、重大な性能ペナルティを被る。いくつかの実施形態は、画像ベースのデータ分析ツールを開発するために必要とされる訓練データ及び計算の量を大幅に減らし、それによって、小さいデータセット及びコモディティハードウェアを使用して、そのようなツールを開発することを可能にする。

【0080】

８．モデル監視。データドリフトは、実際の機械学習システムにおいて認識されている問題である。概して、経時的に、推論データは、モデルを開発するために使用された訓練データから乖離する。データドリフトはまた、画像データと共に発生する。したがって、いくつかの実施形態は、展開された画像ベースのデータ分析モデルの自動データドリフト検出及びモデルアップグレードをサポートしてもよい。画像内のデータドリフトを自動的に検出するために、いくつかの実施形態は、画像から抽出された個々の特徴量の値（例えば、数値）におけるドリフトを追跡してもよい。画像内の個々の特徴量の値（例えば、数値）のドリフトは、基礎となる画像データにおけるドリフトを反映してもよい。特徴量の値におけるドリフトを検出するための技術のいくつかの非限定的な実施例は、以下に説明される。このようにして、画像データにおけるドリフトを検出する問題は、画像データから抽出された特徴量の値（例えば、数値）におけるドリフトを検出する問題に帰着され得る。

【0081】

（４．モデル開発システム）
図１を参照すると、モデル開発システム１００は、画像特徴抽出モジュール１２２と、データ準備及び特徴量エンジニアリングモジュール１２４と、モデル作成及び評価モジュール１２６とを含み得る。いくつかの実施形態では、モデル開発システム１００は、訓練データを受信し、訓練データを使用し、コンピュータビジョン又はデータ分析の領域の問題を解決する１つ又は複数のモデル１３０（例えば、コンピュータビジョンモデル、データ分析モデルなど）を開発（例えば、自動開発）する。訓練データは、画像データ１０２（例えば、１つ又は複数の画像）を含んでもよい。任意に、訓練データはまた、非画像データ１０４を含んでもよい。モデル開発システム１００のコンポーネント及び機能のいくつかの実施形態は、以下にさらに詳細に説明される。

【0082】

一括して、画像特徴抽出モジュール１２２と、データ準備及び特徴量エンジニアリングモジュール１２４とは、入力データ（１０２、１０４）に１つ又は複数のデータ取り込み操作を実行してもよい。データ取り込み操作のいくつかの非限定的な実施例は、「データ取り込み」と題されたセクションで以下に説明される。

【0083】

画像特徴抽出モジュール１２２は、画像データ１０２に１つ又は複数のコンピュータビジョン機能を実行してもよい。いくつかの実施形態では、画像特徴抽出モジュール１２２は、画像データ１０２に画像前処理及び特徴抽出を実行し、抽出された特徴量を画像特徴量候補１２３としてデータ準備及び特徴量エンジニアリングモジュール１２４に提供する。例えば、抽出された特徴量は、画像データ１０２の未加工部分、低レベルの画像特徴量、中レベルの画像特徴量、高レベルの画像特徴量、及び／又は最高レベルの画像特徴量を含んでもよい。任意の適切な技術は、画像特徴量候補１２３を抽出するために使用されてもよい。

【0084】

いくつかの実施形態では、画像特徴抽出モジュール１２２は、１つ又は複数の画像処理モデルを使用して、画像前処理及び特徴抽出を実行してもよい。画像処理モデルのいくつかの実施形態は、「画像処理モデル」と題されたセクションで以下に説明される。以下にさらに詳細に説明されるように、画像処理モデルは、事前訓練済み画像特徴抽出モデル、事前訓練済み微調整可能画像処理モデル、又は前述の混合を含んでもよい。いくつかの実施形態では、画像特徴抽出モジュール１２２は、事前訓練済み画像特徴抽出モデルを使用し、画像データ１０２から画像特徴量を抽出する。画像特徴抽出モデルは、特定のコンピュータビジョンタスク（例えば、画像内の猫を検出すること）を実行するのに適切な特徴量を抽出するように訓練されているという意味で「事前訓練済み」であってもよく、モデル開発システム１００は、異なるコンピュータビジョンタスク（例えば、医療画像内の骨折を検出すること）又はデータ分析タスク（例えば、その画像の部分に基づいて住宅の価値を推定すること）を実行するモデル１３０を開発していてもよい。いくつかの実施形態では、画像特徴抽出モジュール１２２は、事前訓練済み微調整可能画像処理モデルを使用し、画像データ１０２から画像特徴量を抽出する。微調整可能画像処理モデルは、特定のコンピュータビジョンタスク（例えば、画像内の猫を検出すること）を実行するのに適切な特徴量を抽出するように訓練されているという意味で「事前訓練済み」であってもよく、モデル開発システム１００は、異なるコンピュータビジョンタスク（例えば、医療画像内の骨折を検出すること）又はデータ分析タスク（例えば、その画像の部分に基づいて住宅の価値を推定すること）を実行するモデル１３０を開発していてもよい。しかしながら、事前訓練済み画像特徴抽出モデルとは対照的に、微調整可能モデルのニューラルネットワークの１つ又は複数の層は、モデルの出力を目下のコンピュータビジョンタスク又はデータ分析タスクに適応させるために、調整可能（訓練可能）であってもよい。

【0085】

データ準備及び特徴量エンジニアリングモジュール１２４は、画像特徴量候補１２３及び非画像データ１０４に関して、データ準備及び特徴量エンジニアリング操作を実行してもよい。例えば、データ準備操作は、入力データを特徴付けることを含んでもよい。入力データを特徴付けることは、欠損した観測値を検出すること、欠損した変数値を検出すること、及び／又は外れた変数値を識別することを含んでもよい。いくつかの実施形態では、入力データを特徴付けることは、入力データ（例えば、観測値、画像など）の重複部分を検出することを含む。入力データの重複部分が検出される場合、モデル開発システム１００は、検出された重複をユーザに通知してもよい。

【0086】

いくつかの実施形態では、入力データを特徴付けることは、画像特徴量候補１２３及び／又は非画像データ１０４から得られた候補特徴量のうちの１つ又は複数の「重要度」を判定することを含んでもよい。候補特徴量の「重要度」は、目下のコンピュータビジョン問題又はデータ分析問題の解を構築するというコンテキストにおいて、（他の候補特徴量に対する）特徴量の期待効用を示してもよい。例えば、概して、コンピュータビジョンモデル又はデータ分析モデルのターゲットと高く相関する候補特徴量は、そのようなモデルの開発に関して高い「重要度」（又は「特徴量重要度」）を有する。任意の適切な技術は、特徴量重要度を判定するために使用されてもよい。「特徴量の予測値の判定」と題されたセクションで以下に説明される技術を含む（が、限定されない）。

【0087】

例えば、データ準備及び特徴量エンジニアリングモジュール１２４によって実行される特徴量エンジニアリング操作は、２つ以上の特徴量を組み合わせること、及び組み合わされた特徴量に構成特徴量を置き換えること；構成特徴量（例えば、画像の平均ピクセル強度、メガバイト単位の画像のサイズ、ピクセル単位の画像の高さ、ピクセル単位の画像の幅、画像の色ヒストグラムなど）から新しい特徴量を抽出すること；回転、スケーリング、トリミング、シフト、（水平方向に且つ／或いは垂直方向に）反転、ぼかし、部分をカットアウトすること、及び／又はその他の方法で画像を加工し、新しい画像を作成すること；低いバリエーションを含む特徴量をドロップすること（例えば、ほとんど欠損している、或いはほとんど単一値をとる）；日付／時間変数の異なるアスペクト（例えば、時間的或いは季節的情報）を別々の変数に抽出すること；変数値を正規化すること；欠損変数値を充填すること；ワンホットエンコーディング、テキストマイニングなどを含んでもよい。いくつかの実施形態では、データ準備及び特徴量エンジニアリングモジュール１２４はまた、特徴量選択操作（例えば、有益でない特徴量をドロップすること、高い相関特徴量をドロップすること、初期の特徴量を上位主成分に置き換えることなど）を実行する。データ準備及び特徴量エンジニアリングモジュール１２４は、モデルを作成し、モデルを評価するときに使用するために、モデル作成及び評価モジュール１２６に特徴量１２５のキュレーション（例えば、分析、エンジニアリング、選択など）されたセットを提供してもよい。

【0088】

データ準備及び特徴量エンジニアリングモジュール１２４は、「データ準備及び特徴量エンジニアリング」と題されたセクションで以下に説明される技術を含む（が、限定されない）、任意の適切なデータ特性、特徴量エンジニアリング、及び／又は特徴量選択技術を使用してもよい。

【0089】

モデル作成及び評価モジュール１２６は、１つ又は複数のモデルを作成し、モデルを評価し、モデルが目下のコンピュータビジョン問題又はデータ分析問題をどの程度うまく解決するかを判定してもよい。いくつかの実施形態では、モデル作成及び評価モジュール１２６は、モデル適合ステップを実行し、モデルを訓練データに（例えば、訓練データから得られた特徴量１２５に）適合させる。モデル適合ステップは、限定されないが、アルゴリズム選択、パラメータ推定、ハイパーパラメータ調整、スコアリング、診断などを含んでもよい。モデル作成及び評価モジュール１２６は、決定木、ニューラルネットワーク、サポートベクタマシンモデル、回帰モデル、ブースト木、ランダムフォレスト、ディープラーニングニューラルネットワーク、ｋ最近傍モデル、ナイーブベイズモデルなどを含む（が、これらに限定されない）、任意の適切なタイプのモデルでモデル適合操作を実行してもよい。いくつかの実施形態では、モデル作成及び評価モジュール１２６は、適合されたモデルで後処理ステップを実行する。後処理ステップのいくつかの非限定的な実施例は、予測値のキャリブレーション、打ち切り、ブレンディング、予測閾値を選択することなどを含んでもよい。いくつかの実施形態では、モデル作成モジュール１２６は、参照により本明細書に援用される、米国特許第１０，４９６，９２７号で説明されるモデル適合及び／又は後処理操作のうちの１つ又は複数を実行してもよい。

【0090】

モデル作成及び評価モジュール１２６は、「モデル構築」と題されたセクションで以下に説明される技術を含む（が、限定されない）、任意の適切なモデル作成及び／又は評価操作を実行してもよい。

【0091】

いくつかのケースでは、モデル作成及び評価モジュール１２６によって生成されるモデルは、勾配ブースティングマシン（例えば、勾配ブースト決定木、勾配ブースト木、ブースト木モデル、勾配木ブースティングアルゴリズムを使用して開発された任意の他のモデルなど）を含む。概して、勾配ブースティングマシンは、異種表形式データを含むデータ分析問題に良く適している。概して、勾配ブースティングマシン（「ＧＢＭ」）は、広く、疎な、高次元のデータ（例えば、画像データ）を取り扱うことが可能であるが、ただし、ＧＢＭは、そのようなデータに適用されるとき、非常にうまく機能し得るとは限られない。いくつかの実施形態では、画像特徴抽出モジュール１２２と、データ準備及び特徴量エンジニアリングモジュール１２４とは、抽出された特徴量が、勾配ブースティングマシン、又は高次元データでうまく実行しないことがある他のモデルタイプを使用する分析に適切であるように、画像データ１０２から少数の、密な、有益な特徴量を抽出する。いくつかの実施形態では、データ準備及び特徴量エンジニアリングモジュール１２４は、データセットのターゲットに対する個々の画像特徴量候補１２３（及び／又はそこから得られた個々のエンジニアリングされた特徴量）の重要度（例えば、単変量特徴量重要度）を判定し、それらの特徴量候補（例えば、Ｎ個の最も重要な特徴量候補、閾値以上の重要度スコアを有する全ての特徴量候補など）のサブセットを、１つ又は複数のモデル（例えば、勾配ブースティングマシン）を生成し、評価するために、モデル作成及び評価モジュール１２６によって使用される特徴量１２５として選択する。

【0092】

いくつかのケースでは、作成及び評価モジュール１２６によって生成されるモデルは、ゼロ以上の隠れ層を有する、フィードフォワードニューラルネットワークを含む。概して、フィードフォワードニューラルネットワークは、複数の領域からのデータ（例えば、画像データ及びテキストデータ、画像データ及び表形式データ、テキストデータ及び表形式データ、非表形式データ及び表形式データ、画像データ及び他の非表形式データなど）、同じ領域からの入力のペア（例えば、画像のペア、テキストサンプルのペア、非表形データ型のデータサンプルのペア、テーブルのペアなど）、同じ領域からの複数の入力（例えば、画像のセット、テキストサンプルのセット、非表形式データ型のデータサンプルのセット、テーブルのセットなど）、又は様々な領域（画像データ、テキストデータ、非表形式データ、表形式データ）からの単一、ペア、及び複数の入力の組み合わせを組み合わせることを含むデータ分析問題に良く適している。概して、フィードフォワードニューラルネットワークは、高次元データ（例えば、画像データ及び／又は他の非表形式データ）の取り扱いに特に良く適しており、さらに、密と疎な混合データ（例えば、テキストサンプルからの疎な単語出現特徴量と密な画像特徴量との組み合わせ）を取り扱い得る。

【0093】

いくつかのケースでは、作成及び評価モジュール１２６によって生成されるモデルは、回帰モデルを含み、概して、回帰モデルは、上述されたように密なデータと疎なデータとの両方を取り扱い得る。回帰モデルは、密なデータと疎なデータとの両方を取り扱い得る他のモデル（例えば、勾配ブースティングマシン又はフィードフォワードニューラルネットワーク）よりも迅速に訓練され得るので、しばしば有用である。

【0094】

さらに、図１を参照すると、いくつかの実施形態では、データ準備及び特徴量エンジニアリングモジュール１２４と、モデル作成及び評価モジュール１２６とは、自動モデル開発パイプラインの一部を形成し、モデル開発システム１００は、目下のコンピュータビジョン問題又はデータ分析問題の潜在的な解の空間を体系的に評価するために使用する。いくつかのケースでは、モデル開発プロセスの結果１２７は、特徴量１２５のキュレーションをサポートするために、データ準備及び特徴量エンジニアリングモジュール１２４に提供されてもよい。データ分析問題の潜在的な解の空間を評価するための体系的プロセスのいくつかの非限定的な実施例は、参照により本明細書に援用される、米国特許第１０，４９６，９２７号で説明される。

【0095】

いくつかの実施形態では、モデル開発システム１００は、非表形式データ（例えば、画像データ）を含むコンピュータビジョン問題及び／又はデータ分析問題の解の、高度に効率的な開発を可能にする。概して、コンピュータビジョンモデルを開発するための既存の技術は、非効率的で高価であり（それらのいくつかは、入手し、維持するのに高価である専用ハードウェアに大きく依存し）、必ずしも目下の問題の最適解をもたらすとは限らない。過去１０年間にわたってモデル開発のためのツールの自動化がますます進んでいる、機械学習の分野とは対照的に、コンピュータビジョンモデルを開発するための技術は、依然として主に職人技である。専門家は、直感又は過去の経験に基づいて、試行錯誤を繰り返しながら、その場しのぎの潜在的な解を構築し、評価する傾向がある。しかしながら、概して、コンピュータビジョン問題の潜在的な解空間は、大きく、複雑であり、コンピュータビジョン解を生成する職人技のアプローチは、解空間の大部分を明らかにしないままの傾向がある。

【0096】

本明細書に開示されるモデル開発システム１００は、コンピュータビジョン問題及び画像ベースのデータ分析問題の潜在的な解空間を体系的に且つコスト効率的に評価することによって、従来のアプローチの上述された欠点に対処し得る。多くの点で、コンピュータビジョン問題を解決するための従来のアプローチは、貴重な資源（例えば、石油、金、鉱物、宝石など）を探査することに類似している。探査は、いくつかの貴重な発見につながることがあり、過去の結果の広範なライブラリに基づいて、慎重に計画された探査試掘又は掘削と組み合わされた地質調査よりも、はるかに効率的でない。

【0097】

いくつかの実施形態では、モデル開発パイプラインは、モデル開発システム１００に利用可能な計算資源に基づいて、解空間の探索を調整する。例えば、モデル開発パイプラインは、モデル作成及び評価プロセスに利用可能な計算資源を示すリソースデータを取得してもよい。利用可能な計算資源が比較的少ない場合（例えば、コモディティハードウェア）、モデル開発パイプラインは、特徴量候補１２３を抽出し、特徴量１２５を選択し、モデルタイプを選択し、且つ／或いはモデリングソリューションの計算上効率的な作成及び評価を容易にする傾向がある機械学習アルゴリズムを選択してもよい。利用可能な計算資源がより多い場合（例えば、グラフィックスプロセシングユニット（ＧＰＵ）、テンソルプロセシングユニット（ＴＰＵ）、又は他のハードウェアアクセラレータ）、モデル開発パイプラインは、特徴量候補１２３を抽出し、特徴量１２５を選択し、モデルタイプを選択し、且つ／或いはモデル作成及び評価プロセス中にかなりの計算資源を使用することを代償にして高精度のモデリングソリューションを生み出す傾向がある機械学習アルゴリズムを選択してもよい。同様に、かなりの計算資源が利用可能であるとき、画像特徴抽出モジュール１２２は、微調整可能画像処理モデルを微調整し、微調整済み画像処理モデルを使用し、画像特徴抽出を実行してもよいが、利用可能な計算資源がより少ないとき、画像特徴抽出モジュール１２２は、事前訓練済み画像特徴抽出モデルを使用し、画像特徴抽出を実行してもよい。

【0098】

画像データと非画像データ（例えば、非画像特徴量及び／又は他の非表形式データから得られた表形式データ）との両方を分析するデータ分析モデルの開発に関して、状況は、さらに一層悲惨である。従来のツールを使用して、概して、画像データは、コンピュータビジョン技術を使用して分析され、非画像データは、機械学習技術又は他の領域固有技術（例えば、自然言語処理、音声処理など）を使用して分析され、次いで、別々のコンピュータビジョン、機械学習、及び領域固有処理の結果は、画像データと非画像データとの間のきめ細かな関係を認識せずに、或いは利用せずに出力（例えば、分析、予測など）を生じるために高いレベルで組み合わされる。本明細書に開示されるモデル開発システム１００は、（１）コンピュータビジョン技術を使用し、画像データから画像特徴量候補を抽出し、（２）画像特徴量候補及び非画像データを統合データセット（例えば、表形式データセット）にまとめ、（３）自動機械学習技術を適用し、利用可能なデータを使用し、分析問題を効率的に且つ正確に解決するモデルを体系的に且つコスト効率的に構築することによって、従来のアプローチの上述された欠点に対処し得る。

【0099】

モデル開発システム１００は、画像特徴抽出操作及び画像特徴分析／解釈操作を異なるモデル（又は多段階モデルの異なる段階）に分けることによって、画像データを含むコンピュータビジョン問題及び／又はデータ分析問題の潜在的な解を評価するために、上記の解空間評価技術の使用を促進してもよい。特に、画像特徴抽出モジュール１２２は、事前訓練済み画像特徴抽出モデル（例えば、汎用又は高汎用コンピュータビジョンモデル）を使用し、画像特徴量（例えば、画像の低レベル、中レベル、及び／又は高レベルの特徴量）を抽出してもよく、それらの特徴量（例えば、画像特徴量候補１２３）を自動モデル開発パイプラインに提供してもよい。次いで、モデル開発パイプラインは、機械学習モデルを訓練し、それらの画像特徴量候補１２３（又はそこから得られた特徴量）を使用し、データ分析タスクを実行してもよい。データ分析タスクがコンピュータビジョンタスクである場合、パイプラインは、上記の解空間評価技術を使用し、コンピュータビジョンツールの自動開発を提供してもよい。そうでなければ、パイプラインは、上記の解空間評価技術を使用し、同じモデルで画像データ及び非画像データを共に分析する（例えば、共同で分析する）ことが可能であるデータ分析ツールの自動開発を提供してもよい。

【0100】

したがって、いくつかの実施形態では、モデル開発システム１００は、同じデータセット内の複数の画像特徴量の使用、及び／又は同じデータセット内の複数のデータ型の使用（例えば、表形式特徴量及び非表形式特徴量の任意の組み合わせ）を可能にするモデリングパイプラインを生成する。さらに、コンピュータビジョンにおけるディープラーニングの態様を汎用機械学習の態様（例えば、線形、木ベース、及びカーネルベースのモデル）と組み合わせることによって、モデル開発システム１００は、モデルの多様性を実現し、さらなるビジネス制約に適応してもよい。表形式データのための汎用機械学習と、非表形式データのためのディープラーニングとの統合は、表形式データ及び非表形式データ（例えば、画像データ）を含む問題のためのモデル開発技術の効率性及びアクセス性の大幅な向上をもたらす。

【0101】

画像データ１０２で動作するモデルを開発するために、具体的に構成されているモデル開発システム１００の一実施例が説明されてきた。より一般的には、モデル開発システム１００は、訓練データを受信し、訓練データを使用し、モデリング又はデータ分析の領域の問題を解決する１つ又は複数のモデル（例えば、コンピュータビジョンモデル、自然言語処理モデル、音声処理モデル、音響処理モデル、時系列モデル、データ分析モデルなど）を開発する。訓練データは、第１のデータ（例えば、非表形式データ、例えば、画像データ、自然言語データ、音声データ、テキストデータ、聴覚データ、空間データ、及び／又は時系列データ）を含んでもよい。任意に、訓練データはまた、第２のデータ（例えば、任意の適切なタイプの表形式データ又は追加の非表形式データ）を含んでもよい。

【0102】

画像特徴抽出モジュール１２２を含むモデル開発システム１００の一実施例が説明されてきた。より一般的には、モデル開発システムは、第１のデータに基づいて特徴量候補を抽出するように動作可能な特徴抽出モジュールを含んでもよい。概して、特徴抽出モジュールは、事前訓練済み特徴抽出モデルを使用し、特徴量候補を抽出してもよい。特徴抽出モデルは、第１のデータの領域の特定のタスク（例えば、コンピュータビジョンタスク、自然言語処理タスク、音声処理タスク、テキスト処理タスク、画像処理タスク、ビデオ処理タスク、音響処理タスク、地理空間分析タスク、時系列データ処理タスクなど）を実行するのに適切な特徴量を抽出するように訓練されているという意味で、「事前訓練済み」であってもよく、モデル開発システム１００は、第１のデータの領域の異なるタスク、又は第１のデータの領域からのデータの分析に依存するデータ分析タスクを実行するモデル１３０を開発していてもよい。いくつかの実施形態では、特徴抽出モデルは、ニューラルネットワークを含む。いくつかの実施形態では、ニューラルネットワークは、第１のデータから特徴量の階層（例えば、低レベルの特徴量、中レベルの特徴量、及び／又は高レベルの特徴量）を抽出するディープニューラルネットワークである。

【0103】

例えば、特徴抽出モジュールは、オーディオデータからオーディオ特徴量（例えば、低レベル、中レベル、高レベル、及び／又は最高レベルの特徴量）を抽出し得る、事前訓練済みオーディオ特徴抽出モデルを含んでもよい。事前訓練済みオーディオ特徴抽出モデルは、大規模なオーディオデータのコレクションで事前訓練された、畳み込みニューラルネットワーク（ＣＮＮ）又は変換ベースのニューラルネットワーク（例えば、ｗａｖ２ｖｅｃ）を使用してもよい。オーディオデータのコレクションは、モデル開発システム１００によって解決される問題の領域とは異なる１つ又は複数の領域からのものであってもよい。画像特徴量と同様に、中間ニューラルネットワーク層の出力（例えば、プールされた畳み込み又はトランスフォーマエンコーダの出力）は、オーディオ特徴量（例えば、低レベル、中レベル、又は高レベルのオーディオ特徴量）として使用され得る。いくつかの実施形態では、これらの「ディープラーニング」特徴量を抽出することに加えて、オーディオ特徴抽出モデルは、従来のオーディオ特徴量（例えば、ケプストラム係数、クロマグラム、メルスペクトログラム、信号エネルギーレベル、スペクトル平坦度、スペクトルコントラストなど）を抽出し得る。いくつかの実施形態では、特徴抽出モジュールは、オーディオデータに１つ又は複数のオーディオ前処理操作（例えば、無音区間を検出すること、及びカットアウトすること、音量正規化、音声活動を検出すること、音声をテキストに変換することなど）を実行することが可能であってもよい。

【0104】

別の実施例として、特徴抽出モジュールは、事前訓練済みテキスト特徴抽出モデルを含んでもよく、事前訓練済みテキスト特徴抽出モデルは、テキストデータ及び／又は自然言語データからテキスト特徴量（例えば、低レベル、中レベル、高レベル、及び／又は最高レベルのテキスト特徴量）を抽出してもよい。事前訓練済みテキスト特徴抽出モデルは、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（例えば、長短記憶（ＬＳＴＭ）ＲＮＮを含むが、限定されない、ＲＮＮ）、又はテキストの大規模コーパスに事前訓練された変換ベースのニューラルネットワーク（例えば、ＵＬＭＦｉＴ、ＢＥＲＴ、又は任意のそれらの変更、例えば、ＴｉｎｙＢＥＲＴ、ＲｏＢＥＲＴａなど）を使用してもよい。テキストのコーパスは、モデル開発システム１００によって解決される問題の領域とは異なる１つ又は複数の領域からのものであってもよい。モデルがＣＮＮを使用する場合、中間ニューラルネットワーク層の出力（例えば、プールされた畳み込み）は、テキスト特徴量（例えば、低レベル、中レベル、又は高レベルのテキスト特徴量）として使用され得る。モデルがトランスフォーマベースのニューラルネットワークを使用する場合、画像特徴量がＣＮＮの中間層から得られる方法と同様に、テキスト特徴量（例えば、低レベル、中レベル、又は高レベルのテキスト特徴量）は、トランスフォーマネットワークのエンコーダ層のスタック内の異なる中間層から得られてもよい。いくつかの実施形態では、符号化されたテキスト埋め込み（例えば、ＲＮＮ、ＬＳＴＭ、又はトランスフォーマモデルによって符号化されたテキスト埋め込み）は、密な特徴ベクトルとして使用され得る。いくつかの実施形態では、これらの「ディープラーニング」特徴量を抽出することに加えて、テキスト特徴抽出モデルは、従来のテキスト特徴量（例えば、品詞（ＰＯＳ）タグ、名前付き固有表現認識（ＮＥＲ）タグ、サンプル用語行列、サンプル用語行列に特異値分解（ＳＶＤ）因子分解を実行することによって生成されたコンパクト行列など）を抽出し得る。

【0105】

モデル開発システム１００によって生成されるモデル１３０は、多段階（例えば、２段階）モデルであってもよく、第１段階が、事前訓練済み特徴抽出モデルであり、第２段階が、（１）事前訓練済み特徴抽出モデルによって第１のデータから抽出された特徴量候補、又はそこから得られた特徴量と、（２）（任意に）第２のデータから抽出され、或いは得られた特徴量候補とを使用してモデリングタスク又はデータ分析タスクを実行するように訓練されたデータ分析モデル（例えば、機械学習モデル）である。概して、本明細書で説明される技術を使用して開発された多段階（例えば、２段階）モデル１３０は、それらのモデリングタスク又はデータ分析タスクに関して、それらの同じタスクを実行するために、特に訓練されたディープニューラルネットワークとほぼ同じ性能（例えば、精度）を示してもよい。しかしながら、概して、タスクを実行するための多段階（例えば、２段階）モデルを開発するモデル開発システムのプロセス（例えば、下流（例えば、第２段階）の機械学習モデルのための特徴量を抽出し、エンジニアリングするプロセス、及び下流（例えば、第２段階）の機械学習モデルを生成するプロセス）は、ディープニューラルネットワークを訓練し、同等の性能（例えば、精度）で同じタスクを実行するために使用されるよりも、はるかに少ない計算資源と、はるかに少ない訓練データとを使用する。

【0106】

（４．１．データ取り込み）
データ取り込み操作は、限定されないが、（例えば、入力データのレイアウト、ユーザ指定のターゲットのデータ型などに基づいて）解決されるコンピュータビジョン問題又はデータ分析問題のタイプを認識すること、単一のモデリングデータテーブルに、複数の画像及び非画像特徴量を自動的に集めること、画像フォーマット及び色空間の検出、圧縮、及び正規化を自動的に実行すること、及び／又は画像データの完全性の問題を検出し、データ内の検出された欠陥についてユーザに通知することを含んでもよい。

【0107】

いくつかの実施形態は、限定されないが、以下の問題タイプ、回帰、分類（例えば、二項、他クラス、マルチラベル、マルチターゲット）、時系列予測、オブジェクト検出、及び異常検出の自動検出（及びモデリングソリューションの開発）をサポートする。マルチラベル分類問題では、各データサンプルは、可変数のカテゴリ特徴量（例えば、オンラインコメントが、１）攻撃的且つ政治的である、２）攻撃的且つ政治的であり、乱暴な言語を使用する、或いは３）政治的のみである）と関連付けられてもよい。マルチターゲット分類問題では、各データサンプルは、複数のターゲット（例えば、腫瘍の存在及びＭＲＩによって生成された画像上の腫瘍の座標の、予測）と関連付けられてもよい。

【0108】

いくつかの実施形態では、モデル開発システム１００は、ユーザインタフェース又はアプリケーションプログラミングインタフェース（ＡＰＩ）を提供し、それによって、ユーザはデータセット（例えば、画像を有する生データセット）をアップロードし得る。いくつかの実施形態では、ユーザが画像ファイルをフォルダに配置し、アーカイブを作成し、アーカイブをシステムにアップロードし得るように、画像ファイルで直接作業することが可能である。いくつかの実施形態では、システム１００は、アップロードされたデータセット（例えば、アーカイブ）のメタデータを検査し、「ユーザの意図」（例えば、ユーザが解決しようとする問題のタイプ、及び／又はユーザが開発しようとするモデリングソリューションのタイプ）を自動的に検出する。例えば、ユーザが胸部Ｘ線画像のアーカイブをアップロードする場合、システムは、ユーザが胸部Ｘ線病理学分類を実行するために、モデルを訓練することを希望すると推論してもよい。

【0109】

図２Ａを参照すると、データ取り込み操作のいくつかの非限定的な実施例は、例示的なデータセットを参照して説明される。図２Ａに示されるように、画像データ及び非画像データを含むデータセットは、表形式（例えば、スプレッドシート２０２）で配置されてもよく、表形式は、表形式の特徴量のみを含むデータセットに頻繁に使用される表形式と同様であってもよい。図２Ａの実施例では、テーブル（データサンプル）の各行は、住宅用不動産の単位（例えば、住宅）を表し、テーブルの各列（変数）は、住宅用不動産の単位の属性を表す。図２Ａの実施例では、表形式変数の値（例えば、住宅の寝室数、浴室数、面積、価格など）は、テーブルに直接格納され、画像変数の値（例えば、住宅の写真）は、対応する画像データを含むファイルへのリンク又はパスによって表される。

【0110】

さらに、図２Ａを参照すると、住宅用不動産価格の予測のための異種データセットは、スプレッドシート２０２と、ファイルアーカイブ２０６（例えば、ｚｉｐファイル）に住宅の画像を含むフォルダ２０４とを配置し、データセットをアップロードするために、モデル開発システム１００によって提供されるユーザインタフェース２０８にファイルアーカイブ２０６をドラッグすることによって、モデル開発システム１００に提供され得る。モデル開発システム１００に異種データセットをアップロードするための他の技術が可能である。

【0111】

図２Ｂを参照すると、データセットがアップロードされた後、モデル開発システム１００は、モデリング問題のターゲットを指定するためにユーザに促すユーザインタフェース２１０を提示し得る。図２Ｂの実施例では、ユーザインタフェース２１０は、データセットの価格変数２１２がターゲットとして選択されたことを示す。選択されたターゲットに基づいて、モデル開発システムは、実行される分析のタイプ（例えば、二項分類、多クラス分類、回帰など）を提案してもよく、或いはユーザが分析のタイプを選択してもよい。図２Ｂの実施例では、ユーザインタフェース２１０は、回帰分析が実行され得ることを示す。次いで、ユーザは、ユーザインタフェース要素２１４（「開始」ボタン）を選択し、モデル開発システム１００によって自動モデル開発を開始し得る。

【0112】

異種データのための上述された表形式は、限定的なものではない。それにもかかわらず、このスプレッドシート及びフォルダ形式は、ユーザが画像データ１０２及び非画像データ１０４を含むデータセットを編成し、モデル開発システム１００にそのようなデータをアップロードし得る効率的でユーザフレンドリーな機構を提供する。

【0113】

（４．２．データ準備及び特徴量エンジニアリング）
（４．２．１．探索的データ分析）
探索的データ分析操作は、限定されないが、画像データ品質の自動アセスメント（例えば、候補画像特徴量の特徴量重要度を判定すること、画像類似性技術を使用して画像データ内の重複を検出すること、欠損画像を検出すること、壊れた画像リンクを検出すること、読めない画像を検出することなど）、及び画像データのターゲット認識プレビュー（例えば、分類問題のクラスごとの画像の例を表示すること、回帰問題の異なるターゲットのサブレンジと関連付けられた画像への自動ドリルダウンなど）を含んでもよい。例えば、候補画像特徴量の特徴量重要度は、特徴量の単変量特徴量重要度であってもよい。画像特徴量の単変量特徴量重要度の計算は、「単変量特徴量重要度」と題されたセクションで以下に詳しく説明される。欠損画像が検出される場合（例えば、画像へのリンクがデータサンプルの画像変数に対して指定されていない）、モデル開発システムは、データサンプルの画像変数に対してデフォルト画像（例えば、全てのピクセルが同じ色、例えば、黒色である画像）を自動的に帰属してもよい。壊れた画像リンク（例えば、データサンプルの画像変数に対して指定された画像へのリンクであるが、指定されたファイルが指定された場所に存在しない）又は読めない画像（例えば、指定された画像は存在するが、読めない或いは壊れている）が検出される場合、モデル開発システムは、ユーザに通知し、それによって、ユーザにエラーを修正する機会、又は、壊れた画像リンク／読めない画像のために、デフォルト画像を代替することをシステムに指示する機会を与えてもよい。

【0114】

場合によっては、モデル開発システム１００は、１つのモデリングテーブルに複数のデータソースを自動的に集める。そのような実施例では、自動探索的データ分析は、限定されないが、入力データのデータ型（例えば、数値、カテゴリ、日付／時間、テキスト、画像、位置（地理空間）など）を識別すること、及び入力データから抽出された１つ又は複数の（例えば、全ての）特徴量に関して基本的な記述統計量を判定することを含んでもよい。そのような探索的データ分析の結果は、ユーザが、システムがアップロードされたデータを正しく理解したことを確認し、データ品質の問題を早期に識別するのに役立ち得る。

【0115】

図２Ａの実施例で紹介された「住宅用不動産」データセットに関して、探索的データ分析のいくつかの実施形態は、図３に示されるものと同様の結果をもたらしてもよい。図３の実施例では、探索的データ分析の結果は、データセットのターゲットに関するデータセットの各々の特徴量の特徴量重要度（「重要度」）を示す。特徴量重要度の概念及び特徴量の「特徴量重要度」を判定するための適切な技術は、「特徴量の予測値の判定」と題されたセクションで以下に説明される。図３の実施例では、探索的データ分析の結果は、データセット内の各変数のデータ型（「変数のデータ型」）、各変数の固有値の数（「固有値」）、各変数の値が欠損しているデータサンプルの数（「欠損」）、データセット内の各々の数値変数の値のセットの平均値、標準偏差、中央値、最小値、及び最大値（それぞれ「平均値」、「標準偏差」、「中央値」、「最小値」、及び「最大値」）を示す。

【0116】

図３の実施例では、画像特徴量の「特徴量重要度」値は、他の、非画像特徴量の特徴量重要度の値と定量的に比較され得る単変量特徴量重要度の値であってもよい。この比較は、ユーザが、データセット内に画像データを含むことの重要性についての直感を得るのに役立ち得る。図３の実施例では、住宅の寝室及び台所の画像は、データセット内で上位５位の重要度特徴量に入っており、住宅の浴室数及び面積を示す数値特徴量、住宅が位置する郵便番号エリアの境界を示す位置（地理空間）特徴量によって補完される。

【0117】

モデルのターゲットが識別されると、いくつかの実施形態は、モデリング問題のタイプ（例えば、ガンマ回帰）を自動的に認識し、データセット内の画像データのサブセットへの自動ドリルダウンを提供する。住宅用不動産データセットに関して、この機能性は、ユーザが、異なる価格帯の住宅がどのように見えるかを視覚的に調べることを可能にする。図４の実施例では、システムは、住宅を少なくとも６つの価格帯（１，７００ドル－９４，２６６ドル、９４，２６６ドル－１８６，８３２ドル、１８６，８３２ドル－２７９，３９８ドル、２７９，３９８ドル－３７１，９６４ドル、３７１，９６４ドル－４６４，５３０ドル、４６４，５３０ドル－５５７，０９６ドル）にグループ化し、システムのユーザインタフェース（ＵＩ）が、各価格帯の住宅に対応する画像の、ユーザ選択可能なコレクションを提示する。図５の実施例では、ユーザは、より高い価格帯（８３４，７９４ドル－９２７，３６０ドル）の住宅に対応する画像のセットを選択し、ユーザインタフェースは、その価格帯の住宅に対応する個々の画像を提示する。

【0118】

いくつかの実施形態は、入力データ内の異なるデータサンプルに割り当てられた正確な重複画像又は類似画像（例えば、入力データが編成されたテーブルの同じ列における重複画像又は類似画像）を検出することがあり、ユーザによって行われた、可能性のあるデータ準備の間違いを示し得る。

【0119】

（４．２．２．特徴量エンジニアリング）
概して、「特徴量エンジニアリング」は、「特徴量生成」（例えば、入力データセットから特徴量を抽出すること、生の或いは抽出された特徴量に基づいて得られた特徴量を生成することなど）、及び「特徴量選択」（例えば、候補特徴量のセットのどの特徴量がモデルを訓練するために使用されるかを判定すること）を含む。特徴量エンジニアリング操作のいくつかの実施例は、限定されないが、ワンホットエンコーディング、カテゴリエンコーディング、数値を正規化すること、欠損変数値を充填すること、２つ以上の特徴量を組み合わせること、及び組み合わされた特徴量に構成特徴量を置き換えることなどを含んでもよい。

【0120】

いくつかの実施形態では、特徴量エンジニアリング操作は、特徴量の予測値（例えば、特徴量重要度）に基づいて実行される。例えば、特徴量エンジニアリングは、データセットから「あまり重要でない」特徴量を枝刈りすることを含んでもよい。このコンテキストにおいて、特徴量の予測値（例えば、特徴量重要度）が閾値よりも小さい場合、特徴量がデータセット内の特徴量の中でＭ個の最も低い予測値のうちの１つを有する場合、特徴量がデータセット内の特徴量の中でＮ個の最も高い予測値のうちの１つを有しない場合など、特徴量は、「あまり重要でない」として分類されてもよい。別の実施例として、特徴量エンジニアリングは、データセット内の「より重要である」特徴量から得られた特徴量を作成することを含んでもよい。このコンテキストにおいて、特徴量の予測値が閾値よりも大きい場合、特徴量がデータセット内の特徴量の中でＮ個の最も高い予測値のうちの１つを有する場合、特徴量がデータセット内の特徴量の中でＭ個の最も低い予測値のうちの１つを有しない場合など、特徴量は、「より重要である」として分類されてもよい。

【0121】

（４．３．モデル構築）
モデル作成及び／又は評価操作のいくつかの非限定的な実施例は、以下に説明される。いくつかの実施形態では、モデル開発システム１００は、１つ又は複数のこれらの操作を使用し、アップロードされたモデリングデータセット及び／又はデータ分析ターゲット及びメトリクスに適切なモデル及び／又はモデリングパイプラインを自動的に生成する。

【0122】

いくつかの実施形態では、モデル開発システム１００は、データセットの画像を分析するために、どのタイプの画像処理モデルを使用するかを自動的に判定する。例えば、モデル開発システム１００は、コンピュータビジョン（「ＣＶ」）モデル、事前訓練済み画像特徴抽出モデル（下記参照）、転移学習を伴う事前訓練済みニューラルネットワーク（例えば、以下に説明される、事前訓練済み微調整可能画像処理モデル）、カスタム生成されたニューラルネットワーク（例えば、特定のコンピュータビジョン又はデータ分析問題のためにゼロから訓練されたニューラルネットワーク）、又はそのいくつかの組み合わせから選択してもよい。例えば、どの画像処理モデルを使用するかに関する判定は、所定のテストデータのセットに対する異なるタイプの画像処理モデルの性能の比較に基づき得る。いくつかの実施形態は、例えば、時間及び／又はコストを含む、他の因子に基づいて、どの画像処理モデルを使用するかを自動的に判定することがあり、利用可能なコンピューティングハードウェア、計算複雑性、及び／又はデータセットサイズに依存し得る。

【0123】

いくつかの実施形態では、モデル開発システム１００は、モデル認識画像前処理を実行する。異なる画像前処理操作は、異なる画像処理モデルを用いて使用するのに多かれ少なかれ適切であってもよい。したがって、モデル開発システム１００は、画像を処理するために使用され得る画像処理モデル（又は画像処理モデルのタイプ）に基づいて、画像のセットに対する画像前処理操作のセットを選択してもよい。画像前処理操作は、例えば、画像サイズ、画像ファイル形式、画像内のピクセル数、画像の色空間、画像メタデータなどの、データセットの画像の任意の適切なアスペクトを調整してもよい。

【0124】

いくつかの実施形態では、モデル開発システム１００は、画像特徴抽象化レベルを自動的に選択し、データセットに対する領域適応の量を調整してもよい。概して、画像処理モデルは、調整され、特定のタイプのアイテム（例えば、猫）を識別し得る。具体的には、問題領域／取り込まれたデータセットに依存して、画像処理モデルは、汎用的な低レベルの特徴量から専門的な高レベルの特徴量までの画像特徴量を生成してもよい。画像処理モデルの最も低い階層レベルでは、取り込まれた画像からのエッジ（及び／又は他の低レベルの画像特徴量）が、候補モデル特徴量として識別されてもよい。画像処理モデルの次の階層レベルでは、識別された低レベルの画像特徴量が、モデル特徴量として考慮するために、形状（及び／又は他の中レベルの画像特徴量）に集約されてもよい。画像処理モデルの次の階層レベルでは、識別された中レベルの画像特徴量が、モデル特徴量として考慮するために、オブジェクト（及び／又は他の高レベルの画像特徴量）に集約されてもよい。

【0125】

本明細書に開示されるモデル開発システム１００とは対照的に、概して、従来のＣＶシステムは、ユーザに特徴量レベル（例えば、低レベル、中レベル、又は高レベルの画像特徴量）を選択させ、特定のタイプのオブジェクトのために画像処理モデルを調整させる。異なるタイプのオブジェクトを識別するために画像処理モデルを調整するのではなく、モデル開発システム１００は、汎用画像処理モデル（例えば、特定のデータセットに調整されていない、事前訓練済み画像特徴抽出モデル）を使用し、画像処理モデル階層の１つ又は複数の（例えば、全ての）レベルの出力を特徴量としてエクスポートし、それらの画像特徴量（及び任意に、非画像特徴量）を入力として使用して、データ分析モデルを構築してもよい。したがって、モデル開発システム１００のいくつかの実施形態では、特定のアプリケーションのためにモデルを調整することは、コンピュータビジョン問題ではなく、データ分析問題である。言い換えれば、モデル開発システム１００のいくつかの実施形態は、どの画像特徴量が特定のコンピュータビジョン問題又は画像ベースのデータ分析問題を解決するのに最も適しているかを判定するために、自動機械学習技術を使用することによってコンピュータビジョン問題を単純化する。

【0126】

いくつかの実施形態では、モデル開発システム１００は、選択された画像特徴量と組み合わされたときに最良のモデルを生成する入力データセットの非画像特徴量（又はそこから得られた特徴量）を自動的に選択する。いくつかの実施形態では、モデル開発システム１００は、入力データセットの非表形式データから抽出された、選択された特徴量と組み合わされたときに最良のモデルを生成する入力データセットの表形式特徴量（又はそこから得られた特徴量）を自動的に選択する。このコンテキストにおいて、モデルは、モデルの性能のための任意の適切なメトリックを使用して、比較され、どのモデルが「最良」であるかを判定し得る。

【0127】

いくつかの実施形態では、モデル開発システム１００は、より良いモデルの汎化のために入力データセットの画像データを自動的に拡張する。モデル訓練のために多数の画像を取得することはしばしば、困難であり、高価である。いくつかの実施形態は、初期の画像の変換バージョンで利用可能な画像データを自動的に拡張し得る。そのような画像変換のいくつかの実施例は、限定されないが、水平及び／又は垂直反転、シフト、画像をスケールアップし、或いはスケールダウンすること、回転、ぼかし、画像の領域をカットアウトすること（例えば、画像の部分を空白に置き換えること）などを含んでもよい。

【0128】

様々な実施例では、データセットに適合するモデルを探索することは、モデリングハイパーパラメータの値の適切な（例えば、最適な）セットを選択することを含むことがあり、モデリングハイパーパラメータは、モデルがどのように訓練されるかを定義する１つ又は複数のパラメータであることがあり、或いは含むことがある。概して、例えば、ニューラルネットワークのハイパーパラメータは、ミニバッチサイズ、学習率、ドロップアウト率、エポック数、隠れ活性化、出力活性化などを含み得る。追加的に或いは代替的に、画像処理モデル（例えば、画像処理に使用されるディープラーニングモデル）のハイパーパラメータは、モデルのベースラインアーキテクチャ（例えば、ＳｑｕｅｅｚｅＮｅｔ、ＭｏｂｉｌｅＮｅｔＶ３－Ｓｍａｌｌ、ＥｆｆｉｃｉｅｎｔＮｅｔ－ｂ０など）、モデルのプーリング操作（例えば、グローバル平均プーリング（ＧＡＰ）、一般化平均プーリング（ＧｅＭ）など）、抽出された画像特徴量に実行される後処理のタイプ（ロバスト標準化、Ｌ１正規化、Ｌ２正規化など）、モデルの再訓練のための代替アーキテクチャ（下記参照）などを含んでもよい。画像処理モデルを訓練するブループリントに関して、ハイパーパラメータ値の可能なセットの数は、ハイパーパラメータの数との指数関数的な関係を有することがあり、ハイパーパラメータ値の各セットを評価することは、特に、基礎となるモデルアーキテクチャが大きい（例えば、多くのニューロン及び／又は隠れ層を含む）とき、かなりの計算資源を利用することがある。

【0129】

有利には、本明細書で説明されるシステム及び方法は、様々なヒューリスティクスの使用を通じて、画像処理モデル（例えば、調整可能画像処理モデル）のためのハイパーパラメータ選択プロセス（本明細書では、「自動調整」プロセスとも称される）を合理化することがあり、ヒューリスティクスは、データセットの１つ又は複数の性質（例えば、データサンプルあたりの画像の数、クラスの数、ターゲットタイプ、画像内のぼかしの量、画像内の輝度レベル、データサンプルの数など）、解決されるデータ分析問題のタイプ（例えば、分類、回帰など）、抽出された画像量を処理するために使用されるデータ分析モデルのタイプ、及び／又は任意の他の適切な基準に基づいていることがある。

【0130】

いくつかの実施形態では、調整可能画像処理モデルの訓練に関連して、モデル開発システムは、以下のヒューリスティクスに従って、モデルアーキテクチャ及びプーリングハイパーパラメータを選択する。デフォルトによって、システムは、ベースラインモデルアーキテクチャとして、ＧＡＰ層を有するＳｑｕｅｅｚｅＮｅｔアーキテクチャを選択してもよい。解決される問題が分類問題であり、データセットがデータサンプルごとに少数の画像を含む場合（例えば、データサンプルごとにＮ１枚以下の画像を有し、Ｎ１は、１、２、３、又は３よりも大きくてもよい）、システムは、ＳｑｕｅｅｚｅＮｅｔアーキテクチャではなく、単一の画像又は少数の画像を含む分類タスクに高い精度を提供するアーキテクチャ（例えば、ＭｏｂｉｌｅＮｅｔＶ３－Ｓｍａｌｌ）をベースラインモデルアーキテクチャとして選択してもよい。解決される問題が分類問題であり、クラスの数が比較的大きい場合（例えば、１０－３０クラスよりも大きい、例えば、２０クラスよりも大きい）、システムは、ベースラインモデルアーキテクチャに対して、ＧＡＰではなく、異なるプーリング操作（例えば、ＧｅＭ）を選択してもよい。

【0131】

いくつかの実施形態では、調整可能画像処理モデルの訓練に関連して、モデル開発システムは、以下のヒューリスティクスに従って、画像特徴量前処理ハイパーパラメータを選択する。デフォルトによって、システムは、ロバスト標準化を使用して、抽出された画像特徴量を後処理してもよい。しかしながら、データ分析モデルが線形モデルであり、訓練データセットが比較的小さい場合（例えば、Ｎ２未満のデータサンプルを有し、Ｎ２は、２，０００－５，０００の間の値、例えば、Ｎ２＝３，０００であってもよい）、システムは、抽出された画像特徴量の後処理をスキップしてもよい。データ分析モデルが確率的勾配降下回帰器／分類器であり、訓練データセットが比較的小さい場合（例えば、Ｎ３未満のデータサンプルを有し、Ｎ３は、５００－２，０００の間、例えば、Ｎ３＝１，０００であってもよい）、システムは、Ｌ２正規化を使用して、抽出された画像特徴量を後処理してもよい。データ分析モデルがニューラルネットワークであり、訓練データセットが比較的小さい場合（例えば、Ｎ４未満のデータサンプルを有し、Ｎ４は、５００－２，０００の間、例えば、Ｎ４＝１，０００であってもよい）、システムは、Ｌ１正規化を使用して、抽出された画像特徴量を後処理してもよい。

【0132】

いくつかの実施形態では、モデリングソリューション（例えば、最良のモデリングソリューション）をもたらすブループリントの画像処理モデルのベースラインモデルアーキテクチャが特定のアーキテクチャ（例えば、ＳｑｕｅｅｚｅＮｅｔ又はＭｏｂｉｌｅＮｅｔＶ３－Ｓｍａｌｌ）である場合、システムは、異なる（「代替」）モデルアーキテクチャ（例えば、ＥｆｆｉｃｉｅｎｔＮｅｔ－ｂ０）を有する画像処理モデルを使用して、ブループリントを再実行してもよい。ブループリントが代替モデルアーキテクチャで再実行されるとき、ハイパーパラメータ値は、ブループリントがベースラインモデルアーキテクチャで実行されたときに識別された、調整されたハイパーパラメータ値を使用して初期化されてもよい。いくつかの実施形態では、ブループリントは、代替モデルアーキテクチャで再実行され、ハイパーパラメータのさらなる調整を伴わずに再実行される。任意に、ハイパーパラメータのさらなる調整は、ブループリントが再実行されるときに実行されてもよい。概して、代替アーキテクチャは、対応するベースラインアーキテクチャよりも大きくてもよく、或いは、より複雑（例えば、より多くの層、より多くのニューロンなど）であってもよい。さらに、適切なハイパーパラメータで訓練されるとき、代替アーキテクチャを有するモデルは、ベースラインアーキテクチャを有するモデルよりも正確な結果をもたらしてもよい。

【0133】

多くのケースでは、ブループリントの最初の実行中にベースラインモデルアーキテクチャでハイパーパラメータを調整し、次いで、代替モデルアーキテクチャでブループリントを再実行する上述されたプロセスは、システムが、コモディティハードウェアを使用して正確なモデルを効率的に構築することを可能にする。このプロセスを使用して取得されたモデリング結果はしばしば、高性能ハードウェア上で、手動で調整する専門家によって取得された結果と一致し、或いはそれを上回り、概して、このプロセスは、ブループリントの単一実行中に代替モデルアーキテクチャでハイパーパラメータを単に調整するよりも計算上、より効率的である。

【0134】

ベースライン／代替調整プロセスによってもたらされる効率性の向上は、より複雑で、より正確な代替アーキテクチャの最適なハイパーパラメータ値がしばしば、より単純で、精度の低いベースラインアーキテクチャの最適なハイパーパラメータ値と実質的に類似であり、或いは同一であるという観測結果から生じる。したがって、ベースラインアーキテクチャを使用して、代替アーキテクチャの適切なハイパーパラメータ値のセットを識別することは、最終的なモデルの性能の損失をほとんど或いは全く伴わずに、計算効率を大いに向上させ得る。本発明者らは、上述されたヒューリスティクスが、ブループリントのハイパーパラメータを自動的に調整するために使用されるとき、同じ計算資源及び同じブループリントが、上述されたヒューリスティクスを使用せずに使用されるときに取得されるモデルの性能に対して、概して、モデルの性能が２５％以上向上することを観察している。

【0135】

次に、図６－図９を参照して、モデル構築操作のいくつかの実施例が説明される。ユーザが入力データをアップロードし、ターゲットを指定し、モデル開発システム１００の動作を開始すると、システムは、訓練セット、検証セット、及びホールドアウトセットに入力データセットを自動的に分割し、入力データセットに合わせたモデリングブループリントのセットを生成してもよい。

【0136】

図６は、モデル開発システム１００が、上述された「住宅用不動産」データセットに基づいて住宅用不動産（例えば、住宅）の戸別価格（例えば、市場価値）を推定するモデル６５０を開発するために使用し得るブループリント６００の一実施例を示す。モデル６５０は、限定されないが、回帰モデル（例えば、ｅＸｔｒｅｍｅ Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｅｄ Ｔｒｅｅｓ Ｒｅｇｒｅｓｓｏｒ（Ｇａｍｍａ Ｌｏｓｓ）、早期停止あり又はなし（with or without early stopping））を含む任意の適切なタイプのデータ分析モデルであってもよい。モデル６５０のターゲットは、住宅の価格（例えば、住宅用不動産データセットの「価格」変数）であってもよく、モデルの特徴量（６４１－６４５）は、データセットから得られたエンジニアリングされた特徴量であってもよい。モデル開発システム１００は、以下に説明される技術を使用して、モデル６５０の特徴量（６４１－６４５）をエンジニアリングしてもよい。

【0137】

ブループリント６００に従って、モデル開発システム１００は、事前訓練済み画像特徴抽出モデル（６０４）を使用し、データセット（例えば、図２Ａの「外観画像」、「台所画像」、及び「寝室画像」とラベル付けされた列で識別される、住宅の写真）内の画像の各々から画像特徴量のセット（例えば、画像特徴ベクトル）を抽出してもよい。事前訓練済み画像特徴抽出モデル６０４は、任意の適切なアーキテクチャ、例えば、ＳｑｕｅｅｚｅＮｅｔ Ｍｕｌｔｉ－Ｌｅｖｅｌ Ｇｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ（ＧＡＰ）アーキテクチャを有してもよい。モデル開発システム１００は、それぞれ、（１）「外観」画像から抽出された画像特徴ベクトル、（２）「台所」画像から抽出された画像特徴ベクトル、及び（３）「寝室」画像から抽出された画像特徴ベクトルに基づいて、住宅の価格を推定するモデル（６１４）を訓練してもよい。モデル（６１４）の各々は、限定されないが、回帰モデル（例えば、Ｅｌａｓｔｉｃ Ｎｅｔ Ｒｅｇｒｅｓｓｏｒ（Ｌ２正規化／ガンマ逸脱度））を含む任意の適切なタイプのデータ分析モデルであってもよい。モデル（６１４）によって生成された価格推定値（６１５）は、再スケーリング（６２４）（例えば、各価格推定値特徴量が、０の平均値と、１の標準偏差とを有するように再スケーリング）され、それぞれの画像特徴ベクトルに対応する再スケーリングされた価格推定値特徴量６４４を生成してもよい。個々の、再スケーリングされた価格推定値特徴量６４４は、モデル６５０の特徴量として使用されてもよい。代替的に、いくつかの実施形態では、価格推定値６１５は、再スケーリングの前に組み合わされてもよく、或いは再スケーリングされた価格推定値は、全ての画像特徴ベクトルに基づいて単一の価格推定値特徴量を生成するために組み合わされてもよい。任意の適切な技術は、限定されないが、値を平均化すること、最大値を選択すること、最小値を選択することなどを含む価格推定値６１５又は再スケーリングされた価格推定値を組み合わせるために使用されてもよい。そのようなケースでは、組み合わされ、再スケーリングされた価格推定値特徴量６４４は、モデル６５０の特徴量として使用されてもよい。

【0138】

ブループリント６００に従って、モデル開発システム１００は、データセットのカテゴリ変数に関して順序エンコーディングを実行してもよい（６０１）。結果として生じる符号化されたカテゴリ特徴量（６４１）は、モデル６５０の特徴量として使用されてもよい。

【0139】

ブループリント６００に従って、モデル開発システム１００は、データセットの地理空間（位置）変数の値に関して、地理空間位置変換（６０２）（例えば、位置抽出又は座標抽出）を実行してもよい。さらに、モデル開発システムは、抽出された位置特徴量及びデータセットの数値変数の値を使用し、各データサンプルから空間的近傍特徴量（６１２）を抽出してもよい。各サンプルに対する抽出された位置特徴量及び空間的近傍特徴量は、位置認識特徴量（６４２）のセットを形成するために組み合わされてもよく、モデル６５０の特徴量として使用されてもよい。

【0140】

ブループリント６００に従って、モデル開発システム１００は、データセットの数値変数に関して、欠損値補完（６０３）及び差分検出（６１３）を実行してもよい。結果として生じる数値は、モデル６５０の特徴量として使用され得る、数値特徴量のセット（６４３）を形成するために組み合わされてもよい（６２３）。

【0141】

ブループリント６００に従って、モデル開発システム１００は、データセットのテキスト変数から１つ又は複数のテキストベースの特徴量（６４５）を抽出してもよい。任意の適切な技術は、テキストベースの特徴量（６４５）を抽出するために使用されてもよい。例えば、テキストベースの特徴量を抽出するための適切な技術のいくつかの非限定的な実施例は、国際特許公開番号ＷＯ２０２０／１２４０３７で説明される。例えば、テキストマイニング（６０５）は、データセットのテキスト変数の１つ又は複数に実行されてもよく、結果は、組み合わされ、マイニングされたテキスト特徴量６４５にまとめられ（６１５）てもよい。いくつかの実施形態では、テキストマイニングは、トークンの出現を使用して自動調整された単語ｎ－ｇｒａｍテキストモデラによって実行されてもよい。組み合わされ、マイニングされたテキスト特徴量は、モデル６５０の特徴量として使用されてもよい。

【0142】

モデルの多様性を促進するために、モデル開発システム１００のいくつかの実施形態は、異なる前処理技術及び機械学習アルゴリズムを使用して複数のブループリントを生成する。「住宅用不動産」のデータセットに基づいて住宅の価格を推定するのに適切なモデルを生成するために使用され得る他のブループリントのいくつかの非限定的な実施例は、図７に要約される。このアプローチは、ユーザが、コンプライアンスを確保するために、好みのモデリング技術（例えば、線形、木ベース、又はカーネルベースのモデル）を維持することを可能にし、画像データを使用することからのさらなる精度を活用することも可能にする。

【0143】

さらなる多様性及び精度は、画像モデリングへの複数のアプローチを自動的に組み合わせることによって実現されてもよい。例えば、（１）画像特徴抽出のために事前訓練済み画像特徴抽出モデルを使用すること、（２）（例えば、画像特徴抽出のために）事前訓練済み微調整可能画像処理モデルを使用すること、（３）従来のコンピュータビジョン特徴量（例えば、局所記述子）を使用すること、（４）生のピクセルデータを直接使用すること、（５）１つ又は複数の周知のモデルアーキテクチャ（ＳｑｕｅｅｚｅＮｅｔ、ＲｅｓＮｅｔ、ＶＧＧ１６、ＥｆｆｉｃｉｅｎｔＮｅｔなど）を使用すること、（６）ニューラルアーキテクチャ探索（ＮＡＳ）を実行すること、（７）フレキシブルな画像拡張戦略を使用すること（例えば、訓練データセットを豊かにし、回転、色変化、視点変化に対するさらなるロバスト性を与えるために、訓練画像の加工コピーを生成すること）などである。

【0144】

適切な画像拡張のいくつかの非限定的な実施例は、図８Ａに説明され、毛で覆われた動物の多数の拡張画像を示す。各加工画像は、モデルが、画像のタイプ又は（例えば、照明、露出、カメラの向き、物理的な障害物などの変化に起因した）品質の変化に正確に対応できるように、データ分析モデルを訓練するための訓練データとして使用され得る。

【0145】

場合によっては、例えば、多くの訓練画像が、良いモデリング結果を取得し、過剰適合を防止するために必要とされてもよいが、訓練画像の十分な供給を取得することは、困難であり得る。例えば、画像は、コストがかかり、或いは現場で取得するのが困難であり、或いは注釈を付けるのにコストがかかることがある。概して、画像拡張は、図８Ａに示されるように、既存の実施例にわずかな加工を導入することによって、新しい人工的な訓練実施例を作成するプロセスである。

【0146】

有利には、いくつかの実施形態は、画像拡張プロセスに対する、より良い制御、及び画像拡張プロセスの、より良い理解をユーザに提供し得る画像拡張ツールを含む。画像拡張ツールは、ユーザが、いくつかのモデリング問題に対して有害であり得る特定の画像拡張技術の使用を回避することを可能にし得る。例えば、ユーザが「Ｅ」と「３」とを区別したいとき、水平反転は、望ましくない拡張であり得る。同様に、画像が生産において適切に中心にあり、且つ／或いは一貫してスケーリングされることが期待されるとき、シフト及びスケーリング拡張は、望ましくないことがある。画像拡張ツールは、「見えた通りのものを得ることができる」アプローチを用いて、拡張プロセスを視覚的に且つカスタマイズ可能にし得る。ツールは、ユーザが、実行される拡張操作のタイプを選択し、画像拡張操作の異なるセットの間で切り替え、各アプローチの効果（例えば、モデリング精度、モデル訓練効率性）を比較し得るユーザインタフェース（ＵＩ）を提供してもよい。

【0147】

例えば、ＵＩは、ユーザがデータセット内の各画像変数（例えば、画像列）に対する個々の拡張設定（例えば、「拡張リスト」）を指定し得るインタフェース要素を提供してもよい。異なる画像変数に対してカスタマイズされた拡張リストを指定する能力は、特に、異なる画像変数がデータサンプルの異なるアスペクトを説明するとき（例えば、住宅の間取りを示す画像に対する住宅の外観画像）、非常に有用であり得る。

【0148】

別の実施例として、ＵＩは、ユーザが、モデル開発システム１００の自動モデリングセッション中にモデルを構築するために使用される全てのブループリントに関するデフォルト拡張設定を指定し得るインタフェース要素を提供してもよい。いくつかの実施形態では、ＵＩは、ユーザが訓練済みモデルを選択し、新しい拡張リストで初期の訓練データセットを使用してモデルの再訓練すること（又は「調整すること」）を開始し得るインタフェース要素を提供してもよい。

【0149】

画像拡張ツールは、均質な画像データセットだけでなく、異種データセットとの使用にも適切であり得る。異種データセット内の画像を拡張するために、画像拡張ツールは、初期の画像を含むデータサンプルを複製し、次いで、複製されたサンプル内の拡張された画像に初期の画像を置き換えてもよい。データサンプルの複製及び拡張画像の代替のこのプロセスは、各データサンプルの各画像の各拡張バージョンに関して繰り返されてもよい。

【0150】

例えば、図８Ｂ及び図８Ｃは、画像拡張ツールのためのグラフィカルユーザインタフェース（ＵＩ）の一実施形態のスクリーンショット（８００ｂ、８００ｃ）を示す。描かれた実施例では、画像拡張ツールのＵＩは、初期の画像８０２のセットを表示する。特に、図８Ｂは、初期の台所画像８０２ｂのセットを示し、図８Ｃは、初期の寝室画像８０２ｃのセットを示す。行乗算器インタフェース要素８０４は、ユーザが、それぞれの初期の台所画像の新しいバージョン又は拡張バージョンがいくつ作成されるかを指定することを可能にする。ユーザは、別のインタフェース要素８０６を介して、個々の変換確率値を指定し得る。概して、個々の変換確率値は、１つ又は複数の変換技術が、対応する画像の１つを作成するときに初期の画像に適用され得る尤度であることがあり、或いは表すことがある。例えば、個々の変換確率値が５０％であるとき、対応する画像を作成するときに実行される選択された変換技術の各々の個々の尤度は、５０％であり得る。

【0151】

画像拡張ツールは、例えば、水平反転、垂直反転、シフト（例えば、画像の中心を別の位置に移動する）、スケール（例えば、拡大又は縮小）、回転、ぼかし、カットアウト（例えば、画像の１つ又は複数の部分を削除する）などを含み得る、利用可能な変換のセットから１つ又は複数の変換をユーザが選択することを可能にする１つ又は複数のインタフェース要素（例えば、ラジオボタン、チェックボックスなど）（８０８、８１０）を含み得る。特定の変換技術が選択されるとき、ユーザは、技術に関連付けられた１つ又は複数のパラメータを指定する選択肢が与えられてもよい。例えば、ユーザは、加工画像を生成するときに使用される回転の度合い、ぼかしの量、及び／又はカットアウトの数を指定し得る。新しい画像が生成されるとき、拡張された画像のサムネイルバージョン８０３は、初期の画像に隣接して提示されることがあり、それによって、ユーザが、新しい画像の品質及び／又はコンテンツをレビューし、且つ／或いは画像拡張ツールにおける１つ又は複数の設定に対して任意の所望の変更を行うことを可能にする。

【0152】

モデル開発システム１００が拡張画像を生成するために実行し得る画像加工操作のいくつかの非限定的な実施例が説明されてきた。いくつかの実施形態では、モデル開発システム１００は、限定されないが、ＭｉｘＵｐ、ＣｕｔＭｉｘ、画像の色空間を変更すること（例えば、コントラストを変更すること、ヒストグラム均等化を実行すること、ホワイトバランスを変更すること、色空間をグレースケール又はセピアに変換すること、当業者に知られている画像フィルタを適用すること、チャンネルをシャッフルすること、ＲＧＢ／ＨＳＬ／ガンマシフトを適用することなど）、画像を圧縮すること（例えば、ＪＰＥＧ圧縮）、ダウンスケーリングすること、アップスケーリングすること、ランダムにトリミングすること、ノイズを注入すること（例えば、ガウスノイズ）、カーネルベースのフィルタを適用すること（例えば、エンボス、シャープなど）、天候の影響を適用すること（例えば、影、雨、雪、太陽フレアなど）、画像をエッジに変換すること、ＧＡＮベースの拡張などを含む１つ又は複数の他の画像加工操作を実行し得る。上述されたように、画像加工操作の異なるセット（「画像拡張リスト」）は、データセット内の異なる画像変数に対して指定され得る。

【0153】

画像拡張ツールのいくつかの実施形態が説明されてきた。より一般的には、モデル開発システム１００のいくつかの実施形態は、１つ又は複数の特徴量拡張ツールを含んでもよく、そのうちの画像拡張ツールは、一実施例である。特徴量拡張ツールの他の実施例は、オーディオ拡張ツール及びテキスト拡張ツールを含んでもよい。各特徴量拡張ツールは、ユーザが特定のデータ型の任意の変数に対する拡張操作のカスタマイズされたリストを指定し得るユーザインタフェース（ＵＩ）を提供してもよい。

【0154】

例えば、オーディオ拡張ツールは、ユーザが、利用可能な変換のセットから１つ又は複数のオーディオ変換を選択することを可能にする１つ又は複数のインタフェース要素を含むことができ、例えば、オーディオ信号に様々なフィルタを適用すること、オーディオ信号に様々なタイプのノイズを注入すること、オーディオ音声をテキストに変換すること、変換されたテキストに対して合成音声を生成すること（例えば、特定のアクセントを有する音声）などを含むことができる。特定のオーディオ変換技術が選択されたとき、ユーザは、技術に関連付けられた１つ又は複数のパラメータ（例えば、使用されるオーディオフィルタのタイプ、注入されるノイズのタイプ、合成音声に使用されるアクセントのタイプなど）を指定する選択肢が与えられてもよい。

【0155】

別の実施例として、テキスト拡張ツールは、ユーザが、利用可能な変換のセットから１つ又は複数のテキスト変換を選択することを可能にする１つ又は複数のインタフェース要素を含むことができ、例えば、テキストを１つ又は複数の他の言語に翻訳すること、翻訳されたテキストを元の言語に翻訳し直すことなどを含むことができる。特定のテキスト変換技術が選択されたとき、ユーザは、その技術と関連付けられた１つ又は複数のパラメータ（例えば、テキストが翻訳される言語など）を指定する選択肢が与えられてもよい。

【0156】

特徴抽出のために事前訓練済み画像処理モデル（例えば、事前訓練済み画像特徴抽出モデル又は事前訓練済み微調整可能画像処理モデル）を使用するモデル開発システムの実施形態に関して、領域適応の問題が重要である。異なるレベルの画像特徴量は、異なる問題領域のモデルの開発に多かれ少なかれ適切であってもよい。ユーザのデータセットに依存して、画像処理モデルは、高度に汎用的な（低レベルの）特徴量から高度に専門的な（高レベルの）特徴量までの範囲に関する特徴量の適切な組み合わせを生成してもよい。いくつかの実施形態は、ユーザの領域への最適な適応を促進するために、特徴量の特異性のレベルを自動的に調整する。このようにして、モデル開発システム１００は、異なる問題領域に適応したモデルを生成してもよい。

【0157】

図９は、事前訓練済み画像処理モデルを調整するためのユーザインタフェースの一実施例を示す。図９の実施例では、システムは、最も汎用的な特徴量をスキップし（ｕｓｅ＿ｌｏｗ＿ｌｅｖｅｌ＿ｆｅａｔｕｒｅｓ＝Ｆａｌｓｅ）、より固有の特徴量を使用し、不動産領域に適応することを自動的に判定した（ｕｓｅ＿ｈｉｇｈ＿ｌｅｖｅｌ＿ｆｅａｔｕｒｅｓ＝Ｔｒｕｅ、ｕｓｅ＿ｈｉｇｈｅｓｔ＿ｌｅｖｅｌ＿ｆｅａｔｕｒｅｓ＝Ｔｒｕｅ、ｕｓｅ＿ｍｅｄｉｕｍ＿ｌｅｖｅｌ＿ｆｅａｔｕｒｅｓ＝Ｔｒｕｅ）。いくつかの実施形態では、ユーザは、画像処理モデルによって抽出された画像特徴量の特異度に関するデフォルト設定を上書きし得る。

【0158】

いくつかの実施形態は、さらなる精度向上のためにモデルアンサンブルを自動的に作成する。これらのアンサンブルは、ブレンダ又はスタック（例えば、モデルのスタック）と称され得る。ブレンダは、異なる、基礎となる予測戦略及びアルゴリズムを使用して生成される個々のモデルの出力を強化し得る。例えば、１つのモデルは、特定のタイプの視覚的オブジェクトを識別することが得意であってもよく、別のモデルは、異なるタイプの視覚的オブジェクトを識別することが得意であってもよい。いくつかの実施形態は、個々のモデルの投票を組み合わせ（その結果、精度向上）、或いは個々のモデル予測の上に第２レベルのモデルを構築することさえし得る、異なるタイプのブレンダを提供する。

【0159】

ＧＰＵハードウェアを必要とし、或いは推奨するシステムとは異なり、モデル開発システム１００のいくつかの実施形態は、コモディティハードウェア上で画像のブループリントを実行し、さらに、データを効率的に利用することによって高い精度を実現し得る。この向上した計算効率は、自動データサイエンスの決定及び多様なモデル使用の結果である。具体的には、コンピュータビジョンをデータ分析モデリング（例えば、予測モデリング）問題に変えることによって、モデル開発システムのいくつかの実施形態は、（コンピュータビジョンアプリケーションのためのモデルを訓練し、調整するための従来の技術に対して）より効率的に最良の問題固有のデータ分析モデルを識別することができる。実験は、いくつかの実施形態が、ＧＰＵスーパーコンピューティングステーション上で従来のＣＶシステムが行うように、コモディティハードウェア上で同じデータに対して同じ精度を５倍速く実現し得ることを示している。ユーザに関して、これは、より短いタイムトゥバリュー、及び大幅に減少された資本支出を意味する。

【0160】

（４．４．画像処理モデル）
図１０Ａを参照すると、画像処理モデルは、画像１００１から特徴量（例えば、低レベル、中レベル、高レベル、及び／又は最高レベルの特徴量）を抽出し、１つ又は複数の抽出された特徴量に基づいて、１つ又は複数のコンピュータビジョンタスク（例えば、画像分類、位置特定、オブジェクト検出、オブジェクトのセグメンテーション分割など）を実行するように訓練されたニューラルネットワーク１０００（例えば、畳み込みニューラルネットワーク又は「ＣＮＮ」）であってもよく、或いは含んでもよい。図１０Ａの実施例では、ニューラルネットワーク１０００の上流部分は、特徴抽出器１００２として機能し、ニューラルネットワークの下流部分は、分類器１００５として機能する。より一般的には、ニューラルネットワークの下流部分は、訓練され、分類以外のデータ分析操作を実行しもよい。図１０Ａの実施例では、ニューラルネットワーク１０００の特徴抽出器部分は、多層ブロックのシーケンスを含み、その各々は、正規化線形ユニット（ＲｅＬＵ）の活性化関数を有する１つ又は複数の畳み込み層１００３に続いて、プーリング層１００４を含む。他の適切な活性化関数が使用されてもよい。それぞれの連続的なプーリング層１００４は、より高いレベルの画像特徴量を出力する。図１０Ａの実施例では、ニューラルネットワーク１０００の分類器部分は、全結合層１００６のシーケンスに続いて、ソフトマックス層１００７を含む。

【0161】

図１０Ａに示されるニューラルネットワークアーキテクチャは、画像処理モデルで使用するのに適切であり得るニューラルネットワークアーキテクチャの一実施例に過ぎない。任意の適切なニューラルネットワークアーキテクチャ（例えば、ＶＧＧ１６、ＲｅｓＮｅｔ５０など）が使用されてもよい。

【0162】

（４．４．１．事前訓練済み画像特徴抽出モデル）
いくつかの実施形態では、画像処理モデルは、事前訓練済み画像特徴抽出モデルとして構成されていてもよい。事前訓練済み画像特徴抽出モデル１０１０の一実施例は、図１０Ｂに示される。図１０Ｂの実施例では、低レベルの画像特徴量１０１１は、第１プーリング層の出力であり、中レベルの画像特徴量１０１２は、第３プーリング層の出力であり、高レベルの画像特徴量１０１３は、第５プーリング層の出力である。図１０Ｂの実施例では、最高レベルの画像特徴量１０１４は、最終の全結合層への入力である。画像特徴量セットへのニューラルネットワーク層の出力の他のマッピングが可能である。画像特徴量の各セット（１０１１－１０１４）は、数値のセットであってもよく、画像特徴量の個々のセットは、数値の画像特徴ベクトル１０１６を形成するために連結されてもよい。

【0163】

事前訓練済み画像特徴抽出モデル１０１０では、ニューラルネットワークの上流部分１００２及び下流部分１００５の層は、事前訓練済みであってもよい。したがって、モデル開発システム１００に使用されるとき、事前訓練済み画像特徴抽出モデル１０１０は、ニューラルネットワークのいずれの層もその画像訓練データに対して訓練されることなく、或いは調整されることなく、画像訓練データから画像特徴量を抽出（extract）してもよい（或いは、得てもよい（derive））。言い換えれば、事前訓練済み画像特徴抽出モデル１０１０は、モデル開発システム１００によって実行されるモデル開発プロセス中に、モデルのニューラルネットワークのどの層も学習しないように構成されていてもよい。むしろ、図１０Ｂに示されるように、画像特徴ベクトル１０１６は、データ分析モデル１０１７の入力特徴量を使用されてもよく、モデル開発システム１００は、そのデータ分析モデル１０１７を訓練し、画像特徴ベクトル１０１６に（少なくとも部分的に）基づいて、（例えば、推論１０１８を提供するために）データ分析タスクを実行してもよい。

【0164】

いくつかの実施形態では、ネットワークを訓練するためにのみ使用される１つ又は複数の（例えば、全ての）ニューラルネットワーク層（例えば、バッチ正規化層）が、事前訓練済み画像特徴抽出モデルとして使用される（或いは含まれる）ニューラルネットワークから削除されてもよい。上述されたように、事前訓練済み画像特徴抽出モデルは、モデル開発システム１００によって実行されるモデル開発プロセス中に学習しないように構成されていてもよい。そのようなシナリオでは、学習すること（例えば、ネットワークを訓練し、或いは調整すること）にのみ有用であるネットワーク層は、不要である。そのような層を削除することは、モデル１０１０によって実行されるかなりの量の他の無駄な計算を排除し得る。概して、そのような層を削除することは、ニューラルネットワークの推論動作の速度を２倍から２．５倍増し、ニューラルネットワークのＲＡＭ使用量をほぼ同量削減し得る。

【0165】

（４．４．２．事前訓練済み微調整可能画像処理モデル）
いくつかの実施形態では、画像処理モデルは、事前訓練済み微調整可能画像処理モデルとして構成されていてもよい。事前訓練済み微調整可能画像処理モデル１０２０の一実施例は、図１０Ｃに示される。図１０Ｃの実施例では、低レベルの画像特徴量１０２１は、第１プーリング層の出力であり、中レベルの画像特徴量１０２２は、第３プーリング層の出力であり、高レベルの画像特徴量１０２３は、第５プーリング層の出力である。図１０Ｃの実施例では、最高レベルの画像特徴量１０２４は、最終の全結合層への入力である。画像特徴量セットへのニューラルネットワーク層の出力の他のマッピングが可能である。画像特徴量の各セット（１０２１－１０２４）は、数値のセットであってもよく、画像特徴量の個々のセットは、数値の画像特徴ベクトル１０２６を形成するために連結されてもよい。

【0166】

事前訓練済み微調整可能画像処理モデル１０２０では、ニューラルネットワークの上流部分１００２の層は、事前訓練済みであってもよいが、ニューラルネットワークの下流部分１００５の層は、調整可能であってもよい。したがって、モデル開発システム１００で使用されるとき、事前訓練済みの、微調整可能画像処理モデル１０２０は、ニューラルネットワークの上流部分１００２のいずれの層もその画像訓練データで訓練されることなく、或いは調整されることなく、画像訓練データから画像特徴量を抽出してもよい（或いは、得てもよい）。しかしながら、モデル開発システムによって実行されるモデル開発プロセス中に、モデルのニューラルネットワークの下流部分１００５は、画像処理モデル１０２０によって生成された最高レベルの画像特徴量１０２４が、モデル開発システム１００によって解決されているコンピュータビジョン問題又はデータ分析問題に特に適合されるように、画像訓練データで訓練され、或いは調整されてもよい。図１０Ｃに示されるように、画像特徴ベクトル１０１２は、データ分析モデル１０２７の入力特徴量を使用されてもよく、データ分析モデル１０２７は、訓練され、画像特徴ベクトル１０２６に（少なくとも部分的に）基づいて、（推論１０２８を提供するように訓練された）データ分析タスクを実行してもよい。代替的に、データセットが画像データのみを含む場合、モデルのニューラルネットワークの下流部分１００５は、別個のデータ分析モデル１０２７を使用せずに、推論１０２８を直接提供するように訓練され、或いは調整されてもよい。

【0167】

（４．４．３．画像処理モデルの実施例）
画像処理モデル１０４０の実施例は、図１０Ｄに示される。図１０Ｄの実施例では、画像処理モデル１０４０は、ＳｑｕｅｅｚｅＮｅｔニューラルネットワークを含む。図１０Ｄの実施例では、ニューラルネットワークのｆｉｒｅ３層、ｆｉｒｅ５層、ｆｉｒｅ７層、及びｆｉｒｅ９層は、グローバル平均プーリング（ＧＡＰ）層であり、それらのＧＡＰ層の出力は、それぞれ、モデルの低レベル、中レベル、高レベル、及び最高レベルの画像特徴量である。図１０Ｄの実施例では、１２８個の低レベルの画像特徴量、２５６個の中レベルの画像特徴量、３８４個の高レベルの画像特徴量、及び５１２個の最高レベルの画像特徴量が存在する。したがって、連結された画像特徴ベクトルは、１２８０個の個々の画像特徴量を含む。

【0168】

（４．５．さらなる洞察）
特定の領域でモデリングタスク又はデータ分析タスクを実行するために（例えば、特定のモデリング問題又はデータ分析問題を解決するために）、ユーザはしばしば、特定の機械学習モデルを使用することを好む。例えば、住宅の価値を推定するために、不動産保険会社は、特定のタイプの機械学習モデルを使用することを希望してもよい。例えば、不動産保険会社は、住宅価値を推定するために、比較的単純で、計算上効率的で、安価な機械学習モデルを使用することを希望してもよい。

【0169】

しかしながら、いくつかのケースでは、住宅価値の推定に使用するために提供される入力データは、例えば、画像データ型などの、より複雑なデータ型であってもよい。不動産保険会社によって使用される特定の機械学習モデルは、そのような比較的複雑な入力データを取り込むのに適していないことがある。具体的には、比較的単純で、計算上効率的な機械学習モデルはしばしば、画像データ型などの、複雑なデータ型を有する入力データの分析に適していない。

【0170】

代わりに、ニューラルネットワークなどの、より複雑な機械学習モデルが使用され、複雑なデータ型を有する入力データに基づいてモデリングタスクを実行し得る。ニューラルネットワークは、画像データタイプを有する入力データからの特徴量を抽出するのに良く適していることがある。しかしながら、上述されたように、多くのユーザは、予測を生成するために、特定の、より単純な機械学習モデルを使用することを好んでもよい。さらに、ニューラルネットワークモデルなどの、より複雑な機械学習モデルを訓練することは、時間がかかり、計算上非効率的であり得る。例えば、ニューラルネットワークモデルを訓練することは、より単純な機械学習モデルを訓練すること（例えば、約数百の訓練データサンプル）に対して、より多くの訓練データサンプル（例えば、約数千の訓練データサンプル）を必要とし得る。訓練データサンプルの量の増加は、取得困難である。さらに、多くのケースでは、各訓練データサンプルは、訓練に使用する前にラベル付けされなければならない。そのようなラベリングはしばしば、手動が生じ、したがって、ラベリングプロセスは、かなりの人材を必要とし得る。さらに、ニューラルネットワークモデルなどの、複雑な機械学習モデルは、かなりのハードウェア及び計算処理能力を必要とし得る。ニューラルネットワークモデルなどの、より複雑な機械学習モデルによってもたらされるこれらの課題の結果として、画像データ型を有するデータに基づいてモデリングタスク及びデータ分析タスクを実行するための代替ソリューションが必要とされる。

【0171】

上述されたように、ニューラルネットワークなどの複雑な機械学習モデルに関連付けられた主な非効率性の１つは、複雑な機械学習モデルを訓練するプロセスである。領域Ｄ１又は異なる領域Ｄ２におけるタスクＴ２を実行するときに使用するために、領域Ｄ１におけるタスクＴ１を実行するように事前に訓練されたニューラルネットワークモデルを転用するという、当業者の間での従来の知識は、タスクＴ２の正確な結果をもたらさないということである。しかしながら、従来の知識とは異なり、本発明者らは、事前訓練済みの複雑なモデル（例えば、ニューラルネットワーク）が、複雑なモデル（例えば、ニューラルネットワーク）が訓練されたタスクとは異なるモデリングタスク又はデータ分析タスクのために（例えば、複雑なモデルが訓練された領域とは異なる領域におけるタスクのために）、転用され、特徴量を抽出し得ることを見出した。

【0172】

言い換えれば、本発明者らは、複雑なモデル（例えば、ニューラルネットワーク）又はその部分（例えば、その層）が、上述された多段階（例えば、２段階）モデルの第１段階で使用される事前訓練済み画像特徴抽出モデルとして転用され得ることを見出した。特定のモデリングタスク又はデータ分析タスクに関して、概して、転用されたニューラルネットワークモデルを事前訓練済み画像特徴抽出モデルとして使用する多段階（例えば、２段階）モデルの性能は、特定のタスクのためにカスタム訓練されたニューラルネットワークの性能とほぼ等しい。発明者らは、概して、所定のデータ処理分野（例えば、コンピュータビジョン、自然言語処理、音声処理、テキスト処理、聴覚処理など）においてタスクを実行するために、ニューラルネットワークを訓練するプロセスが、ニューラルネットワークが訓練される特定のタスクに関係なく、分野固有のデータ（例えば、画像データ、自然言語データ、音声データ、テキストデータ、聴覚データなど）のサンプルセットから、広く適用可能な（基本的な或いは普遍的な）特徴量のセットを識別し、抽出するように学習するので、このように事前訓練済みニューラルネットワークを転用することは、効果的であることを仮定している。ニューラルネットワークが訓練される特定のタスクに関係なく、ニューラルネットワークによる分野固有の基本的な特徴抽出のこの基礎学習は、同じ分野又は他の分野の他のタスクを解決する他の機械学習モデルによる使用のために活用され得る。

【0173】

画像処理のコンテキストにおいて、本発明者らは、コンピュータビジョン領域Ｄ１におけるタスクＴ１の画像特徴量を抽出するように訓練されたニューラルネットワークが、領域Ｄ１、異なるコンピュータビジョン領域Ｄ２、又は画像データから有用な情報を得ることがあるデータ分析の他の分野における異なるタスクＴ２の画像特徴量を抽出するために使用され得ることを観察した。ニューラルネットワークのこの成功した転用は、タスクＴ２のために新しいニューラルネットワークを訓練する非効率性を排除し、且つ、タスクが画像データの分析を含むときであっても、ユーザが、モデリングタスク又はデータ分析タスクのために、ユーザの特定の、好ましい機械学習モデルに依存することを可能にする。

【0174】

いくつかの実施形態では、モデル開発システムによって生成された２段階モデル１３０は、以下のように、モデリングタスク又はデータ分析タスクを実行してもよい。

【0175】

１．画像データを含む推論データサンプルを取得する。いくつかの実施形態では、推論データサンプルは、非画像データも含む。

【0176】

２．２段階モデル１３０の段階１では、事前訓練済み画像処理モデルを使用して、画像データから複数の構成画像特徴量のそれぞれの値を抽出する。例えば、事前訓練済み画像処理モデルは、事前訓練済み画像特徴抽出モデル又は事前訓練済み微調整可能画像処理モデルであってもよく、或いは含んでもよい。事前訓練済み画像処理モデルのいくつかの実施形態は、「画像処理モデル」と題されたセクションで以下に説明される。いくつかの実施形態では、事前訓練済み画像処理モデルは、推論データサンプル内の画像データとは異なる領域からの画像データで事前に訓練されている。代替の実施形態では、事前訓練済み画像処理モデルは、推論データサンプル内の画像データと同じ領域からの画像データで事前に訓練されている。

【0177】

３．画像データを、推論データサンプル内の構成画像特徴量の抽出された、それぞれの値に置き換え、それによって、更新されたデータサンプルを生成する。

【0178】

４．２段階モデルの段階２では、更新されたデータサンプルに機械学習モデルを適用し、それによって、訓練済みの、段階１のモデルによって画像データから抽出された構成画像特徴量の少なくとも部分的に基づいて、データサンプルのモデリング結果又はデータ分析結果を生成する。

【0179】

この改善された方法を使用して、画像ベースのモデリングタスク又はデータ分析タスクは、好ましい機械学習モデルを依然として使用しながら、且つ、（特に、事前訓練済み画像特徴抽出モデルが使用される実施形態では）モデル生成プロセスの計算効率を向上させながら実行され得る。

【0180】

（５．モデル展開システム）
いくつかの実施形態では、上述されたモデル開発システム１００は、ユーザがブループリントを選択し、ブループリントをモデル展開システム（例えば、専用の、高いスループット予測環境）に自動的に展開し得るユーザインタフェースを提供する。いくつかの実施形態では、ブループリントは、１回のクリックで展開されてもよい。図１１を参照すると、いくつかの実施形態では、モデル展開システム１１００は、画像特徴抽出モジュール１１２２と、データ準備及び特徴量エンジニアリングモジュール１１２４と、モデル管理及び監視モジュール１１２６と、解釈モジュール１１２８とを含んでもよい。いくつかの実施形態では、モデル展開システム１１００は、推論データを受信し、１つ又は複数のモデル（例えば、画像処理モデル、機械学習モデルなど）を使用して推論データを処理し、コンピュータビジョン又はデータ分析の領域の問題を解決する。推論データは、画像データ１１０２（例えば、１つ又は複数の画像）を含んでもよい。任意に、推論データはまた、非画像データ１１０４を含んでもよい。モデル展開システム１１００のコンポーネント及び機能のいくつかの実施形態は、以下にさらに詳細に説明される。

【0181】

画像特徴抽出モジュール１１２２は、画像データ１１０２上で、１つ又は複数のコンピュータビジョン機能を実行してもよい。いくつかの実施形態では、画像特徴抽出モジュール１１２２は、画像データ１１０２上で、画像前処理及び特徴抽出を実行し、抽出された特徴量を画像特徴量候補１１２３としてデータ準備及び特徴量エンジニアリングモジュール１１２４に提供する。抽出された特徴量は、画像データ１１０２の未加工部分、低レベルの画像特徴量、中レベルの画像特徴量、高レベルの画像特徴量、及び／又は最高レベルの画像特徴量を含んでもよい。画像特徴量候補を抽出するための適切な技術のいくつかの実施形態は、画像特徴抽出モジュール１２２を参照して上述されている。

【0182】

いくつかの実施形態では、画像特徴抽出モジュール１１２２は、１つ又は複数の画像処理モデルを使用して、画像前処理及び特徴抽出を実行してもよい。画像処理モデルのいくつかの実施形態は、「画像処理モデル」と題されたセクションで以下に説明される。以下にさらに詳細に説明されるように、画像処理モデルは、事前訓練済み画像特徴抽出モデル及び／又は事前訓練済み微調整可能画像処理モデルを含んでもよい。いくつかの実施形態では、画像特徴抽出モジュール１１２２は、事前訓練済み画像特徴抽出モデルを使用し、画像データ１１０２から画像特徴量を抽出する。いくつかの実施形態では、画像特徴抽出モジュール１２２は、事前訓練済み微調整可能画像処理モデルを使用し、画像データ１１０２から画像特徴量を抽出する。

【0183】

データ準備及び特徴量エンジニアリングモジュール１１２４は、画像特徴量候補１１２３及び非画像データ１１０４に関して、データ準備及び特徴量エンジニアリング操作を実行し、特徴量１１２５のセットを生成してもよく、特徴量１１２５のセットは、モデル管理及び監視モジュール１１２６によって管理される展開モデル（例えば、２段階モデル１３０の第２段階）への入力として提供されてもよい。データ準備及び特徴量エンジニアリング操作を実行するための適切な技術のいくつかの実施形態は、データ準備及び特徴量エンジニアリングモジュール１２４を参照して、且つ／或いは「データ準備及び特徴量エンジニアリング」と題されたセクションで上述されている。

【0184】

モデル管理及び監視（「ＭＭＭ」）モジュール１１２６は、推論データから抽出され、或いは得られた特徴量１１２５に対する展開モデル（例えば、２段階モデル１３０の第２段階）の適用を管理し、それによって、コンピュータビジョン問題又はデータ分析問題を解決し、解を特徴付ける結果１１４０を生成し得る。いくつかの実施形態では、モデル管理及び監視モジュール１１２６は、経時的に（画像データを含む）データの変化（例えば、データドリフト）を追跡し、過度のデータドリフトが検出される場合にユーザに警告を発してもよい。さらに、ＭＭＭモジュールは、展開モデルを再訓練し（例えば、新しい訓練データでモデルのブループリントを再実行し）、且つ／或いは展開モデルを別のモデル（例えば、再訓練済みモデル）に置き換えることが可能であってもよい。展開モデルの再訓練、及び／又は置換は、ユーザによって（例えば、過度のデータドリフトが検出されたという警告を受信することに応じて）手動で開始されてもよく、或いはＭＭＭモジュールによって（例えば、過度のデータドリフトを検出することに応じて）自動的に開始されてもよい。画像データにおけるドリフトを検出するための技術のいくつかの非限定的な実施例は、「ドリフト検出」と題されたセクションで以下に説明される。

【0185】

解釈モジュール１１２８は、モデル展開システム１１００によってもたらされる結果１１４０（例えば、推論）と、それらの結果１１４０が基づいている画像データ１１０２の部分との間の関係を解釈してもよく、それらの関係の解釈（又は「説明」）１１４２を提供してもよい。いくつかの実施形態では、解釈モジュール１１２８は、「画像処理モデル説明」と題されたセクションで以下に説明される１つ又は複数の操作を実行することによって、そのような解釈を提供してもよい。

【0186】

例えば、解釈モジュール１１２８は、１つ又は複数の以下のタイプの解釈を提供してもよい。

【0187】

１．特徴量重要度。画像から数値画像特徴ベクトルを得て、それらの数値画像特徴ベクトルをデータ分析モデルへの入力として提供することによって、いくつかの実施形態は、画像特徴量及び非画像特徴量（例えば、表形式特徴量又は他の非表形式特徴量）の特徴量重要度が、同じ技術を使用して定量化されることを可能にし、それによって、画像特徴量及び非画像特徴量の特徴量重要度が、直接比較されることを可能にする。特徴量重要度を判定するための技術のいくつかの非限定的な実施例は、「特徴量の予測値の判定」と題されたセクションで以下に説明される。

【0188】

２．画像内の関心領域の視覚的説明。いくつかの実施形態では、解釈モジュール１１２８は、画像内の関心領域の視覚的説明（例えば、「視覚的画像推論説明」又は「画像推論説明」）を提供する。例えば、解釈モジュール１１２８は、データ分析モデルのアルゴリズム的性質に関係なく、モデルが推論を行うために重要であるとみなす画像の領域を強調する画像推論説明の視覚化を提供してもよい。例えば、いくつかの実施形態では、視覚的画像推論説明が提供されるデータ分析モデルは、ディープラーニングモデルであることがあり、他の実施形態では、視覚的画像推論説明が提供されるデータ分析モデルは、ディープラーニングモデルでないことがある。言い換えれば、いくつかの実施形態は、モデル非依存の視覚的画像推論説明を提供してもよい。視覚的画像推論説明のための技術のいくつかの非限定的な実施例は、「特徴量の予測値の判定」と題されたセクションで以下に説明される。

【0189】

３．特定のモデル推論に「ドリルダウン」するためのユーザインタフェースツール。いくつかの実施形態では、解釈モジュール１１２８は、特定のモデル推論（例えば、誤ったモデル推論）にドリルダウンするためのユーザインタフェースを提供する。このユーザインタフェースは、ユーザが、特定のターゲットが予測され、或いはデータサンプルが特定のグランドトゥルース値を有していた画像データの実施例を見ることを可能にし得る。

【0190】

画像データ１１０２上で動作するモデルの展開のために、具体的に構成されているモデル展開システム１１００の実施例が、説明されてきた。より一般的には、モデル展開システム１１００は、推論データを受信し、１つ又は複数のモデル（例えば、コンピュータビジョンモデル、自然言語処理モデル、音声処理モデル、音響処理モデル、時系列モデル、データ分析モデルなど）を使用し、モデリング又はデータ分析の領域の問題を解決するモデリングパイプラインに推論データを提供する。推論データは、第１のデータ（例えば、非表形式データ、例えば、画像データ、自然言語データ、音声データ、テキストデータ、聴覚データ、空間データ、及び／又は時系列データ）を含んでもよい。任意に、推論データはまた、第２のデータ（例えば、任意の適切なタイプの表形式データ又は追加の非表形式データ）を含んでもよい。

【0191】

画像特徴抽出モジュール１１２２を含むモデル展開システム１１００の一実施例が説明されてきた。より一般的には、モデル展開システムは、第１のデータに基づいて特徴量候補を抽出するように動作可能な特徴抽出モジュールを含んでもよい。概して、特徴抽出モジュールは、特徴量候補を抽出するために、事前訓練済み特徴抽出モデルを使用してもよい。いくつかの実施形態では、特徴抽出モデルは、ニューラルネットワークを含む。いくつかの実施形態では、ニューラルネットワークは、第１のデータから特徴量の階層（例えば、低レベルの特徴量、中レベルの特徴量、及び／又は高レベルの特徴量）を抽出するディープニューラルネットワークである。例えば、特徴抽出モジュールは、オーディオデータからオーディオ特徴量（例えば、低レベル、中レベル、高レベル、及び／又は最高レベルのオーディオ特徴量）を抽出し得る、事前訓練済みオーディオ特徴抽出モデルを含んでもよい。別の実施例として、特徴抽出モジュールは、事前訓練済みテキスト特徴抽出モデルを含んでもよく、このモデルは、テキストデータ及び／又は自然言語データからテキスト特徴量（例えば、低レベル、中レベル、高レベル、及び／又は最高レベルのテキスト特徴量）を抽出してもよい。

【0192】

（５．１．ドリフト検出）
再び図１１を参照すると、いくつかの実施形態では、モデル管理及び監視（「ＭＭＭ」）モジュール１１２６は、経時的に、訓練画像データ１０２（又は事前に提供された推論画像データ）からの変化及び偏差に関して推論画像データ１１０２（又は「スコアリング画像データ」１１０２）をアセスメントし得る。画像データの任意の変化又はドリフトを検出するために、ＭＭＭモジュールは、（１）その画像特徴量に対する指定されたビニング戦略及びドリフトメトリック、及び／又は（２）異常検出を使用して、画像データから抽出された画像特徴量候補１１２３（例えば、それぞれの画像から抽出された画像特徴ベクトル（１０１６、１０２６））を個々にアセスメントしてもよい。使用に利用可能なビニング戦略は、限定されないが、固定幅、固定周波数、フリードマン－ダイアコニス、ベイズブロック、十分位、四分位、及び／又は他の分位数を含んでもよい。利用可能なドリフトメトリクスは、限定されないが、人口安定性指数（ＰＳＩ）、ヘリンガー距離、ワッサースタイン距離、コルモゴロフ－スミルノフ検定、カルバック－ライブラー情報量、ヒストグラム交差、及び／又は他のドリフトメトリクス（例えば、ユーザ供給又はカスタムメトリクス）を含んでもよい。

【0193】

図１２Ａ及び図１２Ｂは、いくつかの実施形態による、データドリフトの視覚化を表示するためのＭＭＭモジュールのユーザインタフェース（ＵＩ）のスクリーンショットである。ドリフト監視ＵＩの一部分１２０１は、ユーザが、ドリフトがアセスメントされる期間を指定することを可能にする。図１２Ａの実施例では、ＵＩは、散布図１２０２を表示する。散布図１２０２の各点は、データセットの対応する特徴量のドリフトレベル及び特徴量重要度を示す。特徴量重要度を計算するための技術のいくつかの非限定的な実施例は、「特徴量の予測値の判定」と題されたセクションで以下に説明される。場合によっては、散布図１２０２の点は、対応する特徴量の重要度及び／又は対応する特徴量におけるドリフトの量に従って色分けされる。例えば、低い値（例えば、低い重要度及び／又は低いドリフト）を有する点は、緑色に色分けされることがあり、中程度の値（例えば、中程度の重要度及び／又は中程度のドリフト）を有する点は、黄色に色分けされることがあり、高い値（例えば、高い重要度及び／又は高いドリフト）を有する点は、赤色に色分けされることがある。図１２Ａの実施例では、外観画像から得られた画像特徴量に対応する点は、その画像特徴量が比較的低い重要度（０．０６４）を有し、その値が中程度のドリフト（０．４１０）を示しているので、黄色に色分けされる。

【0194】

図１２Ｂの実施例では、ＵＩは、ヒストグラム１２０４を表示し、ヒストグラム１２０４は、指定された特徴量に関しての訓練データ内或いはスコアリングデータ内の特徴量の分布を説明し得る。図１２Ｂの実施例では、ヒストグラム１２０４は、訓練データセット内の「外観」画像から抽出された画像特徴ベクトル（「Ｆ＿ｖｅｃ」）（１０１６，１０２６）から得られた数値特徴量（「Ｆ＿ｎｕｍ」）の正規化された値の分布（ヒストグラムビンにおける左側のヒストグラムバーを参照）と、スコアリングデータセット内の「外観」画像から抽出された画像特徴ベクトル（１０１６、１０２６）から得られた数値特徴量の正規化された値の分布（ヒストグラムビンにおける右側のヒストグラムバーを参照）とを示す。画像特徴ベクトルＦ＿ｖｅｃに対応する数値特徴量Ｆ＿ｎｕｍの値は、主成分分析（ＰＣＡ）、均一多様体近似及び投影（ＵＭＡＰ）などを含む（が、限定されない）、任意の適切な演算又は変換Ｚ（例えば、Ｆ＿ｎｕｍ＝Ｚ（Ｆ＿ｖｅｃ））を使用して特徴ベクトルから得られ得る。

【0195】

再び図１１を参照すると、例えば、ＭＭＭモジュール１１２６は、連続する或いは複数の期間にわたって生じる体系的な変化又は傾向を検出するために、経時的にスコアリングデータを監視するように構成され得る。いくつかの実施例では、スコアリングデータからの特定の特徴量又は特徴量のセットにおけるドリフトが、頻繁に（例えば、スコアリングデータの複数のバッチにわたって、或いは複数の期間（例えば、日、週、又は月）にわたって）観測されるとき、ＭＭＭモジュール１１２６は、システム効果プロトコルを起動することがあり、システム効果プロトコルは、データの全体に対するこのドリフトのインパクトをアセスメントすることがある。これは、訓練データとスコアリングデータとを識別し得る分類器（例えば、共変量シフト分類器、二項分類器、又は敵対的分類器とも称される共変量分類器）を構築することによって実現され得る。分類器（又は他のＡＩモデル）が２つのデータセットを成功裏に識別し得る場合、これは、ドリフトがシステム全体に効果を及ぼすことを示唆し得る。ドリフトのインパクトが個体レベルと体系的レベルとの両方でアセスメントされると、システム１００のユーザは、推奨される行動方針と共に警告されことがあり、或いは本明細書で説明されるように、他の是正措置が取られ、或いは促進されることがある。

【0196】

概して、共変量シフト分類器は、データ内の１つ又は複数の特徴量に関して（例えば、画像データから抽出された数値特徴量に関して）、訓練データと、１つ又は複数のスコアリングデータのセットとを区別するために使用され得る。特定の実施例では、初期の訓練データからの特徴量は、個々の特徴量のドリフトが識別された特定のバッチ又は期間からのスコアリングデータからの特徴量に連結され得る。例えば、これは、「クラス１」とラベル付けされ得る、初期の訓練データからの特徴量と、「クラス０」とラベル付けされ得る、期間Ｔからのスコアリングデータからの特徴量とを有する新しいデータセットをもたらし得る。様々な実施例では、訓練データが一方のクラスに割り当てられ、スコアリングデータが他方のクラスに割り当てられる限り、任意の名前又はラベルがターゲットに選択され得る。次に、新しいデータセットから抽出された特徴量は、共変量シフト入力として分類器へ提供されることがあり、共変量シフト分類器は、新しいデータを、クラス１又はクラス０のいずれかに属するように分類し得る。データセットが類似しており、体系的なデータドリフトが発生していない場合、分類器は、訓練データとスコアリングデータとを識別することに「失敗」してもよい。しかしながら、データに実質的なシフトが存在する場合（例えば、約０．８０のＡＵＣスコア）、分類器は、訓練データとスコアリングデータとを容易に区別し得る。

【0197】

追加的に或いは代替的に、ＭＭＭモジュール１１２６は、訓練データサンプル内の異常の割合を定量化するために、訓練データ上で、（例えば、分離フォレストのブループリントを使用して、国際特許公開番号ＷＯ２０２０／１２４０３７で説明されている技術を使用して、或いは任意の他の適切な技術を使用して）異常検出を実行し得る。次いで、異常検出モデルは、スコアリングデータサンプル内の異常の割合を予測するために使用され得る。ＭＭＭモジュール１１２６は、訓練データサンプル内の異常の割合又は量と、スコアリングデータサンプル内の異常の割合又は量との比較に基づいて、異常ドリフトスコアを生成し、或いは出力し得る。例えば、異常ドリフトスコアは、訓練データサンプル内の異常の割合を、スコアリングデータサンプル内の異常の割合で除算したものであり得る。

【0198】

（５．２．モデル説明）
（５．２．１．イントロダクション）
概して、意思決定者は、モデル及びそれらの推論が説明され、それらを理解し得ない限り、データ分析モデルによって生成された推論に依存することに消極的である。モデル及び／又はそれらの推論を説明するための技術のいくつかの実施形態は、以下に説明される。これらの説明的技術は、異種データセット（例えば、画像特徴量又は他の非表形式特徴量を有するデータセット、表形式特徴量及び非表形式特徴量を有する異種データセット、画像特徴量及び非画像特徴量を有する異種データセットなど）から推論を引き出すモデルに適用可能であってもよい。例えば、これらの説明的技術は、本明細書で説明されるような多段階（例えば、２段階）モデルに適用可能であってもよい。いくつかの実施形態では、モデル開発システム１００のモデル作成及び評価モジュール１２６は、モデル１３０及び／又はその推論（例えば、検証中にモデルによって生成された推論）を説明するために、１つ又は複数のそのような説明的技術を使用してもよい。いくつかの実施形態では、モデル展開システム１１００のモデル管理及び監視（「ＭＭＭ」）モジュール１１２６は、展開モデル及び／又はその推論（例えば、推論データのために展開モデルによって生成された推論）を説明するために、１つ又は複数のそのような説明的技術を使用してもよい。

【0199】

以下に説明されるいくつかの説明的技術は、モデル推論の視覚的説明を生成するために、様々な「特徴量重要度」メトリクスに依存している。特徴量の「特徴量重要度」は、コンピュータビジョン問題又はデータ分析問題の解を推論するための（絶対尺度での、或いは他の特徴量に対する）特徴量の期待効用を示してもよい。例えば、概して、コンピュータビジョン／データ分析問題のターゲットと高い相関がある特徴量は、その問題の解を推論するための高い期待効用を有する。任意の適切な技術又はメトリックは、限定されないが、単変量特徴量重要度、特徴量インパクト、及びＳＨａｐｌｅｙ Ａｄｄｉｔｉｖｅ ｅｘＰｌａｎａｔｉｏｎｓ（「ＳＨＡＰ」）を含む特徴量重要度をアセスメントするために使用されてもよい。特徴量重要度をアセスメントするための前述の技術／メトリクスは、以下にさらに詳細に説明される。

【0200】

画像から数値画像特徴ベクトルを得て、それらの数値画像特徴ベクトルをデータ分析モデルへの入力として提供することによって、いくつかの実施形態は、画像特徴量及び非画像特徴量（例えば、表形式特徴量又は他の非表形式特徴量）の特徴量重要度が、同じ技術を使用して定量化されることを可能にし、それによって、画像特徴量及び非画像特徴量の特徴量重要度が、直接比較されることを可能にする。同様に、本明細書で説明されているいくつかの説明的技術は、モデルによって生成された推論を説明するために、画像特徴量及び非画像特徴量の特徴量重要度の値に依存してもよい。

【0201】

いくつかの実施形態では、上述された説明的技術は、モデル及び／又はモデル推論の説明的な視覚化を生成するための１つ又は複数の技術を含んでもよい。これらの説明的な視覚化は、限定されないが、汎用の説明的な視覚化、ニューラルネットワークの視覚化、画像推論説明、画像埋め込みの視覚化などを含んでもよい。

【0202】

汎用の説明的な視覚化は、視覚的モデル及び推論（例えば、画像特徴量から得られたモデル及び推論）と、非視覚的モデル及び推論（例えば、画像特徴量から得られなかったモデル及び推論）との両方に適用され得る視覚化である。汎用の説明的な視覚化のいくつかの実施例は、限定されないが、リフトチャート、特徴量インパクトチャート、受信者操作特性（「ＲＯＣ」）曲線、及び混同行列を含んでもよい。

【0203】

ニューラルネットワークの視覚化は、ニューラルネットワークの主要な属性を示すために使用されてもよい。そのような属性は、限定されないが、ネットワーク内の層の数及びシーケンス、各層のタイプ（例えば、入力、活性化、プーリング、出力など）、各層への入力数、各層からの出力数、各活性化層によって使用される活性化関数のタイプ、各プーリング層によって使用されるプーリング関数のタイプなどを含んでもよい。ニューラルネットワークの視覚化の一実施例は、図１３に示される。

【0204】

本明細書で使用されるように、「画像推論説明」は、モデルがデータサンプルに基づいて推論を生成するために、データサンプル内の画像の様々な部分に依存している程度を示す任意の視覚化を指す。言い換えれば、「画像推論説明」は、画像を含むデータサンプルに応じて、モデルによって生成された推論に関して、画像の様々な部分の相対的な有意性を示す任意の視覚化を含んでもよい。別の観点からは、画像推論説明は、画像の領域から抽出された画像特徴量がモデルの出力に重大な影響を与えるという意味で、画像に基づいて推論を生成しているモデルにとって「関心のある」画像の領域を識別してもよい。

【0205】

住宅用不動産の価格設定のモデルによって生成された推論に対する画像推論説明のいくつかの実施例は、図１４Ａ－図１４Ｃに示される。特に、図１４Ａは、上述された住宅用不動産データセット内の寝室画像に対するオクルージョンベースの画像推論説明のいくつかの実施例を示す。オクルージョンベースの画像推論説明では、初期の画像の異なる部分が、画像をオーバーレイする暗さの層によって様々な程度で不明瞭にされ、モデルの推論にとってあまり有意でない画像の部分は、より不明瞭にされ（例えば、あまり見えない）、モデルの推論にとって、より有意である画像の部分は、あまり不明瞭にされない（例えば、より見える）。例えば、画像推論説明１４１０ａでは、モデルの推論にとって最も有意である画像の部分は、ベッド１４１２ａ、照明器具１４１４ａ、及び窓（又は光源）１４１６ａである。同様に、画像推論説明１４２０ａでは、モデルの推論にとって最も有意な画像の部分は、ベッド１４２２ａ、ランプ１４２４ａ、及び窓（又は光源）１４２６ａである。

【0206】

同様に、図１４Ｂは、図１４Ａに示される同じ寝室画像に対する多色の画像推論説明（又は「スペクトルベースの画像推論説明」）のいくつかの実施例を示す。多色ベースの画像推論説明では、初期の画像は、グレースケールで示され、モデルの推論にとって少なくとも最も低い有意水準を有するグレースケール画像の部分は、色で「塗られる」。さらに、塗られた領域では、モデルの推論にとってあまり有意でない画像の部分は、可視光の、より低い波長に対応する色（例えば、紫、青）で塗られ、モデルの推論にとって中程度に有意である画像の部分は、可視光の中間の波長に対応する色（例えば、水色、緑、黄）で塗られ、モデルの推論にとって中程度に有意である画像の部分は、可視光の、より高い波長（例えば、橙、赤）に対応する色で塗られる。例えば、画像推論説明１４１０ｂでは、モデルの推論にとって少なくとも最も低い有意水準を有する画像の部分は、ベッド１４１２ｂ、照明器具１４１４ｂ、窓（又は光源）１４１６ｂを含む。さらに、画像推論説明１４１０ｂの色は、照明器具の照明が扇風機の羽根よりも有意であること、及び窓の覆われていない部分がブラインドによって覆われた部分よりも有意であることを示すように見える。同様に、画像推論説明１４２０ｂでは、モデルの推論にとって少なくとも最も低い有意水準を有する画像の部分は、ベッド１４２２ｂ、ランプ１４２４ｂ、及び窓（又は光源）１４２６ｂを含む。

【0207】

オクルージョンベース或いはマルチカラーベースの画像推論説明の上述された実施例は、限定的なものではない。図１４Ｃは、単色の画像推論説明の実施例を示し、この実施例では、初期の画像は、グレースケールで示され、モデルの推論にとって少なくとも最も低い有意水準を有するグレースケール画像の部分は、単色（例えば、オレンジ色）で「塗られ」、画像の所定の領域に塗られた色の明暗は、その部分の相対的な有意性を示す（具体的には、図１４Ｃの実施例では、より暗い色の領域が、より高い有意性に対応する）。より一般的には、モデルがデータサンプルに基づいて推論を生成するために、データサンプル内の画像の様々な部分に依存している程度を示す任意の視覚化が使用されてもよい。例えば、画像推論説明のいくつかの実施形態は、画像の有意である部分を指す矢印を表示してもよく、矢印の属性（例えば、長さ、線の太さ、色など）が、矢印が指す画像の部分の有意水準を示してもよい。いくつかの実施形態では、「地形図」は、より低い有意性の領域が「より低い標高」で示され、より高い有意性の領域はが「より高い標高」で示されるように、画像の上に描かれてもよい。

【0208】

画像推論説明は、ユーザが画像ベースモデルの個々の推論を理解するのに役立ち得る。例えば、モデル開発システム１００及び／又はモデル展開システム１１００のいくつかの実施形態は、個々のデータサンプル又はデータサンプルのセットのための画像ベースモデルによって生成された個々の推論又は関連する推論のセットに「ドリルダウンする」ための説明ユーザインタフェース（説明ＵＩ）を提供してもよい。個々の推論又は推論のセットの選択を示すユーザ入力を受信することに応じて、説明ＵＩは、推論に対応するデータサンプル内の画像に対する画像推論説明を表示してもよい。例えば、画像ベースモデルが分類器である場合、ユーザは、モデルが特定のクラスに正しく割り当てられたデータサンプルにドリルダウンし、画像のどのアスペクトがモデルにそれらのデータサンプルをそのクラスに割り当てさせたかをより良く理解することができる。同様に、画像ベースモデルが回帰モデルである場合、ユーザは、モデルが特定の数値範囲に正しく割り当てられたデータサンプルにドリルダウンし、画像のどのアスペクトが、それらのデータサンプルをその範囲に割り当てるようにモデルを導いたかを、より良く理解することができる。

【0209】

図１４Ｄを参照すると、住宅用不動産価格の予測モデルの推論に対応する画像推論説明を表示する説明ＵＩの一実施例が示される。特に、図１４の実施例では、特定の価格帯（３７１，９６４ドル－４６４，５３０ドル）に正しく割り当てられた住宅の外観画像に対する画像推論説明が示される。これらの画像推論説明を比較することによって、ユーザは、これらの住宅の外観のどのような属性が、住宅をその価格帯に割り当てるようにモデルを導いたかを、より良く理解し得る。

【0210】

より一般的には、モデルの様々な推論に対応する画像推論説明をレビューすることは、ユーザが、モデルがどのように動作し、モデルが任意の隠れたバイアスを有するかをより良く理解するのに役立ち得る。例えば、分類器が犬の画像を正しく分類するが、その推論に対する画像推論説明が、犬ではなく、画像の背景を強調する場合、ユーザは、モデルがデータセットに過剰適合されていると結論付けてもよい。次いで、ユーザは、過剰適合に対抗する技術を発動することによって、モデルを改善しようとしてもよい。そのような技術は、限定されないが、（例えば、より小さいバッチサイズ及び／又はより大きい学習率を使用することによって）正則化を増加すること、より多くのデータを追加すること（例えば、画像拡張を伴って再訓練すること、例えば、モデルが過剰適合されている画像の部分を隠し得るカットアウト拡張）、及び／又は前述のいくつかの組み合わせを含んでもよい。別の実施例として、分類器が猫の画像を正しく分類するが、その推論に対する画像推論説明が、猫及び画像の他の部分（例えば、ソファの上）を強調する場合、ユーザは、モデルが画像にわたってパターンを識別していると結論付けてもよい（例えば、モデルは、猫がソファの上に座る傾向があると学習している）。

【0211】

いくつかの実施形態では、説明ＵＩは、ユーザがモデルによって犯された様々なタイプの推論エラー（例えば、誤分類、過大評価、過小評価など）をドリルダウンし得る制御を提供してもよい。例えば、住宅用不動産価格の予測モデルに関して、説明ＵＩは、モデルが不動産の価格を過大評価するインスタンスに対する画像推論説明にユーザがナビゲートし得るユーザインタフェース要素を提供してもよい。別の実施例として、画像推論説明は犬が強調されていることを示しているにもかかわらず、分類器が犬の画像を誤分類する場合、ユーザは、モデルがデータセットに過少適合されていると結論付けてもよい。次いで、ユーザは、過少適合に対抗する技術を頼ることによって、モデルを改善しようとしてもよい。そのような技術は、限定されないが、より低い学習率を使用すること、より大きなバッチサイズを使用すること、より多くのエポックを使用すること、より複雑なモデルを使用すること、及び／又は前述のいくつかの組み合わせを含んでもよい。

【0212】

画像推論説明は、ディープラーニングモデル（例えば、ＣＮＮ）の「活性化マップ」（例えば、「特徴量活性化マップ」、「クラス活性化マップ」、又は「ヒートマップ」）と共通するいくつかの属性を有する。画像データ上で動作するＣＮＮに関して、特徴量活性化マップは、入力画像のどの領域がＣＮＮの特定の特徴抽出層を活性化したかを示す視覚化である。言い換えれば、特徴量活性化マップは、画像のどの部分がＣＮＮに画像内の特定の特徴量を検出させるかを示す。いくつかの実施形態では、画像特徴抽出モジュール（１２２、１１２２）によって画像特徴抽出に使用される画像処理モデルは、様々な画像特徴量が検出される入力画像の領域を示す特徴量活性化マップを生成してもよい。

【0213】

概して、ディープラーニングモデルにのみ適用可能である、活性化マップを生成するための技術とは対照的に、画像推論説明は、任意のタイプの画像ベースモデル（例えば、線形モデル、木ベースモデル、カーネルベースモデル、ニューラルネットワーク、ブレンダなど）の動作を説明するために生成されてもよい。画像推論説明を生成するための技術のいくつかの実施形態は、「画像推論説明を生成するための技術」と題されたセクションで以下に説明される。

【0214】

説明的な視覚化の別のタイプは、画像埋め込みの視覚化である。画像埋め込みの視覚化では、モデル（例えば、データ分析モデル）に類似して見える画像が、比較的近くに共に位置し、モデルに非類似して見える画像が比較的遠くに共に位置するように、（例えば、訓練データセット又は推論データセットからの）画像のセットがクラスタ化され、２次元プロット上に表示される。画像埋め込みの視覚化は、ユーザが画像データ内の予期しないパターンを識別するのに役立ち得る。図１５を参照すると、住宅用不動産データセットからの寝室画像の画像埋め込みの視覚化の実施例が示される。図１５の実施例では、全家具付きの寝室画像とは別に、家具なし又はわずかに家具が付いた寝室の少数の画像１５０２が、共にクラスタ化されている。画像特徴抽出モデル又は下流データ分析モデルの観点から、このクラスタ内の画像１５０２は、異常であってもよい。より一般的には、そのような画像又は画像のセット（例えば、クラスタ）は、画像埋め込みの視覚化において他の画像から間隔を空け得るので、画像埋め込みの視覚化は、ユーザがデータセット内の異常な画像又は異常な画像のセットを識別することに役立ち得る。

【0215】

いくつかの実施形態では、モデル開発システム１００及び／又はモデル展開システム１１００は、データセット内の画像の画像埋め込みの視覚化を生成することが可能であってもよい。画像埋め込みの視覚化は、任意の適切な技術を使用して生成されてもよい。いくつかの実施形態では、画像セット内の各画像から抽出された最高レベルの画像特徴量は、２次元座標（例えば、デカルト座標）に変換されてもよい。例えば、この変換は、最高レベルの特徴量セットに対して次元削減（例えば、ＴｒｉＭａｐ次元削減）を実行することによって実行され、最高レベルの特徴量セットの次元を２次元に削減してもよい。限定されないが、主成分分析（ＰＣＡ）、均一多様体近似及び投影（ＵＭＡＰ）、ｔ分布確率的近傍埋め込み法（Ｔ－ＳＮＥ）などを含む他の変換関数が使用されてもよい。次いで、画像のセットは、画像の各々がその座標に位置する、２次元座標空間において表示されてもよい。

【0216】

（５．２．２．特徴量の予測値の判定）
いくつかの実施形態では、モデル開発システム１００及び／又はモデル展開システム１１００によって使用される特徴量重要度メトリクスは、限定されないが、単変量特徴量重要度、特徴量インパクト、及びＳＨａｐｌｅｙ Ａｄｄｉｔｉｖｅ ｅｘＰｌａｎａｔｉｏｎｓ（「ＳＨＡＰ」）を含んでもよい。これらのメトリクスと、これらのメトリクスに従って非表形式特徴量（例えば、画像特徴量）の特徴量重要度をアセスメント（又は「スコアリング」）するための技術のいくつかの実施形態とは、以下に説明される。

【0217】

（５．２．２．１．単変量特徴量重要度）
概して、モデリング問題Ｐに対する特徴量Ｆの「単変量特徴量重要度」は、モデリング問題Ｐのターゲットと特徴量Ｆとの間の相関の推定値である。任意の適切な技術は、表形式特徴量の単変量特徴量重要度を判定するために使用されてもよい。

【0218】

いくつかの実施形態では、非表形式特徴量（例えば、画像特徴量）の単変量特徴量重要度は、非表形式データ要素（例えば、画像）の構成特徴量を、単一の、集約特徴量として取り扱う、条件付き期待値（ＡＣＥ）アルゴリズムを使用して判定されてもよい。ＡＣＥアルゴリズムは、Ｌ．Ｂｒｅｉｍａｎら、「Ｅｓｔｉｍａｔｉｎｇ Ｏｐｔｉｍａｌ Ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ ｆｏｒ Ｍｕｌｔｉｐｌｅ Ｒｅｇｒｅｓｓｉｏｎ ａｎｄ Ｃｏｒｒｅｌａｔｉｏｎ」、Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｍｅｒｉｃａｎ Ｓｔａｔｉｓｔｉｃａｌ Ａｓｓｏｃｉａｔｉｏｎ、１９８５年、５８０－５９８頁に基づいており、ターゲットと１つの特徴量（例えば、集約画像特徴量として取り扱われる構成画像特徴量のセット）との間の相関を推定する。

【0219】

いくつかの実施形態では、集約非表形式特徴量Ｆ_Ａ（例えば、画像特徴ベクトル）の単変量特徴量重要度は、（１）データセット（例えば、訓練データセット）内の非表形式データ要素（例えば、画像）の各インスタンスから１つ又は複数の構成特徴量Ｆ_Ｃのセット（例えば、構成画像特徴量）を抽出すること、（２）構成特徴量Ｆ_Ｃの各々に対する独立したＡＣＥスコアを判定すること、（３）特徴量Ｆ_Ｃの個々のＡＣＥスコアを任意に正規化すること、（４）構成特徴量Ｆ_Ｃの（任意に正規化された）ＡＣＥスコアに基づいて集約特徴量Ｆ_Ａの特徴量重要度を判定することによって推定される。任意の適切な技術は、限定されないが、集約非表形式特徴量Ｆ_Ａの特徴量重要度として構成特徴量Ｆ_Ｃのセットの最大の正規化ＡＣＥスコアを選択すること、集約非表形式特徴量Ｆ_Ａの特徴量重要度として構成特徴量Ｆ_ＣのセットのＮ個の最も高いＡＣＥスコアの平均値又は中央値を使用することを含む、集約特徴量Ｆ_Ａの特徴量重要度を判定するために使用されてもよい。ここで、Ｎは、任意の適切な正の整数（例えば、３、５、１０、２０、５０、１００など）である。例えば、非表形式データ要素（例えば、画像）の構成特徴量Ｆ_Ｃは、特徴抽出モデル（例えば、画像特徴抽出モデル）を使用して抽出されてもよい。

【0220】

特徴抽出モデルによってデータサンプルのグループの非表形式データ要素から抽出された任意の適切な構成特徴量のセットは、集約非表形式特徴量の重要度を計算するために使用されてもよい。例えば、非表形式特徴量の特徴量重要度を計算するために使用される特徴量のセットは、（ｉ）全ての抽出された特徴量、全ての低レベルの特徴量、全ての中レベルの特徴量、全ての高レベルの特徴量、全ての最高レベルの特徴量、特徴抽出モデルのＣＮＮにおける最後の畳み込みニューラルネットワーク層の全てのグローバルプール出力、又は前述の任意の適切な組み合わせであってもよく、或いは含んでもよい。

【0221】

構成特徴量Ｆ_Ｃの各々に関して判定されたＡＣＥスコアは、（例えば、異なる尺度であるジニノルム及びガンマ逸脱度メトリクスを考慮して）プロジェクトメトリックに基づいて、ターゲット特徴量に対して個々に、且つ独立して正規化されてもよい。ターゲット自体に対するターゲットが最大のＡＣＥスコアを有するので、正規化は、ターゲットに対して行われてもよい。正規化後、最も高いスコアに寄与する構成特徴量Ｆ_Ｃは、表示され、或いは他の方法で識別されてもよい。

【0222】

いくつかの実施形態では、様々な特徴量（例えば、同じタイプの特徴量、異なるタイプの特徴量、表形式特徴量、非表形式特徴量、画像特徴量、非画像特徴量など）に対して判定された単変量特徴量重要度の値は、互いに定量的に比較され得る。この比較は、ユーザが、データセット内に様々な非表形式データ要素（例えば、画像）を含むことの重要性を理解するのに役立ち得る。

【0223】

いくつかの実施形態では、モデル開発システム１００は、モデル開発プロセスの探索的データ分析段階中に、データセットの１つ又は複数の（例えば、全ての）特徴量に対する単変量特徴量重要度スコアを判定してもよい。

【0224】

いくつかの実施形態では、モデル開発システム１００は、特徴抽出モデル（例えば、画像特徴抽出モデル）によって非表形式データ要素（例えば、画像）の列から抽出された構成特徴量Ｆ_Ｃ（例えば、構成画像特徴量）の各々に対するＡＣＥスコアを判定してもよく、それらのＡＣＥスコアを連結し、非表形式（例えば、画像）特徴量重要度ベクトルを形成してもよい。非表形式（例えば、画像）特徴量重要度ベクトルにおける特徴量重要度要素の順序は、非表形式（例えば、画像）特徴ベクトルにおける構成特徴量（例えば、構成画像特徴量）の順序と一致してもよい。そのような特徴量重要度ベクトルは、「画像推論説明を生成するための技術」と題されたセクションで以下にさらに詳細に説明されるように、画像推論説明を生成するために使用されてもよい。

【0225】

（５．２．２．２．特徴量インパクト）
概して、モデルＭの特徴量Ｆの「特徴量インパクト」は、特徴量ＦがモデルＭの性能（例えば、精度）に寄与する程度の推定値である。特徴量Ｆの特徴量インパクトは、（例えば、同じ特徴量セットを使用して）同じモデリング問題を解決する２つの異なるモデルＭ１及びＭ２に関して変化し得るという意味で、「モデル固有」又は「モデル依存」であってもよい。任意の適切な技術は、限定されないが、米国特許第１０，４９６，９２７号において「普遍的特徴量重要度（universal feature importance）」と称される技術を含む表形式特徴量の特徴量インパクトを判定するために使用されてもよい。

【0226】

概して、訓練済みモデルＭの非表形式特徴量Ｆの特徴量インパクトは、（１）モデルＭを使用して、データサンプルが特徴量Ｆの実際の値を含む検証データセットに対する推論の１つのセットを生成し、（２）モデルＭを使用して、特徴量Ｆの値が特徴量の予測値を破壊（例えば、削減、最小化など）するように変更されている検証データセットのバージョンに対する別の推論のセットを生成し、（３）第１の推論のセットの性能Ｐ１（例えば、精度）を第２の推論のセットの性能Ｐ２（例えば、精度）と比較することによって判定され得る。概して、Ｐ１とＰ２との差が大きくなると、特徴量Ｆの特徴量インパクトが大きくなる。

【0227】

いくつかの実施形態では、以下のプロセスは、訓練済みモデルＭの非表形式特徴量Ｆの特徴量インパクトを判定するために使用されてもよい。（１）モデルＭを使用し、データサンプルが全てのモデルの特徴量の実際の値を含む検証データセットＶに対する推論のセットＩＮＦ１を生成し、任意の適切な性能メトリック（例えば、精度）を使用して、推論ＩＮＦ１に基づいてモデルの性能Ｐ１をスコア化し、（２）（例えば、Ｖ’内のデータサンプルにわたって特徴量Ｆの値をシャッフルすることによって、Ｖ’内のデータサンプルの各々に特徴量Ｆの同じ値を格納することによってなど）特徴量Ｆの予測値が破壊された検証データセットＶ’の加工バージョンを生成し、（３）モデルＭを使用し、データセットＶ’に対する推論のセットＩＮＦ２を生成し、同じ性能メトリックを使用して、推論ＩＮＦ２に基づいてモデルの性能Ｐ２をスコア化し、（４）性能スコアＰ１とＰ２との差に基づいて、モデルＭの特徴量Ｆの特徴量インパクトＦ_ＩＭＰを判定する（例えば、Ｆ_ＩＭＰ＝Ｐ１－Ｐ２、Ｆ_ＩＭＰ＝（Ｐ１－Ｐ２）／Ｐ１など）。

【0228】

いくつかの実施形態では、モデルの特徴量セットの１つ又は複数の（例えば全ての）特徴量の特徴量インパクトは、並行して判定されてもよい。いくつかのケースでは、特徴量Ｆの特徴量インパクトは、特徴量へのモデル依存がモデルの性能を低下させることを示す、負の値であってもよい。いくつかの実施形態では、負の特徴量インパクトを有する特徴量は、特徴量セットから削除されてもよく、モデルは、削減された特徴量セットを使用して再訓練されてもよい。

【0229】

いくつかの実施形態では、１つ又は複数の関心のある特徴量（例えば、全ての特徴量）の特徴量インパクトが判定された後、特徴量インパクトは、正規化されてもよい。例えば、特徴量インパクトは、最も高い特徴量インパクトが１００％であるように正規化されてもよい。そのような正規化は、各特徴量Ｆ_ｉに関して、ｎｏｒｍａｌｉｚｅｄ＿Ｆ_ＩＭＰ（Ｆｉ）＝ｒａｗ＿Ｆ_ＩＭＰ（Ｆｉ）／ｍａｘ（ｒａｗ＿Ｆ_ＩＭＰ（全てのＦｉ））を計算することによって実現されてもよい。いくつかの実施形態では、Ｎ個の最も大きい正規化特徴量インパクトスコアが保持されてもよく、他の正規化特徴量インパクトスコアがゼロに設定され、効率性を高めてもよい。閾値Ｎは、任意の適切な数（例えば、１００、５００、１，０００など）であってもよい。

【0230】

いくつかの実施形態では、モデル開発システム１００は、モデル開発プロセスのモデル作成及び評価段階中に、データセットの１つ又は複数の（例えば、全ての）特徴量に対する特徴量インパクトスコアを判定してもよい。いくつかの実施形態では、モデル開発システムは、集約非表形式特徴量（例えば、画像特徴ベクトル）、及び／又は構成非表形式特徴量（例えば、構成画像特徴量）に対する特徴量インパクトスコアを判定してもよい。

【0231】

いくつかの実施形態では、様々な特徴量（例えば、同じタイプの特徴量、異なるタイプの特徴量、表形式特徴量、非表形式特徴量、画像特徴量、非画像特徴量など）に対して判定された特徴量インパクトスコアは、互いに定量的に比較され得る。この比較は、ユーザが、データセット内に様々な非表形式データ要素（例えば、画像）を含むことの重要性を理解するのに役立ち得る。同様に、モデルのセットに対する特定の特徴量（例えば、非表形式特徴量）のモデル固有の特徴量インパクトスコアは、比較されてもよい。この比較は、ユーザが、どのモデルが特徴量によって表される情報を利用してうまくやり遂げているか、どのモデルがそうでないかを理解するのに役立ち得る。

【0232】

図１６は、住宅用不動産の戸別価格を推論するために、モデル開発システム１００によって開発されたモデルの特徴量に対する正規化特徴量インパクトスコアを示す。図１６の実施例では、地理空間特徴量（「ｚｉｐ地理空間」）及び面積特徴量（「面積」）が最大の特徴量インパクトスコアを有し、住宅の３つの画像は、最も高い特徴量インパクトスコアを有する７つの特徴量の中にある。

【0233】

いくつかの実施形態では、モデル開発システム１００は、特徴抽出モデル（例えば、画像特徴抽出モデル）によって非表形式データ要素（例えば、画像）の列から抽出された構成特徴量Ｆ_Ｃ（例えば、構成画像特徴量）の各々に対する特徴量インパクトスコアを判定してもよく、それらの特徴量インパクトスコアを連結し、非表形式（例えば、画像）特徴量重要度ベクトルを形成してもよい。非表形式（例えば、画像）特徴量重要度ベクトルにおける特徴量重要度要素の順序は、非表形式（例えば、画像）特徴ベクトルにおける構成特徴量（例えば、構成画像特徴量）の順序と一致してもよい。そのような特徴量重要度ベクトルは、「画像推論説明を生成するための技術」と題されたセクションで以下にさらに詳細に説明されるように、画像推論説明を生成するために使用されてもよい。画像推論説明を生成するための特徴量重要度ベクトルの使用を容易にするために、特徴量重要度ベクトルにおける特徴量インパクトスコアは、標準化されてもよい。任意の適切な標準化演算は、限定されないが、ソフトマックス演算を含む特徴量重要度ベクトルにおける特徴量インパクトスコアを標準化するために使用されてもよい。

【数1】

【0234】

（５．２．２．３．ＳＨＡＰ値）
概して、ＳＨａｐｌｅｙ Ａｄｄｉｔｉｖｅ ｅｘＰｌａｎａｔｉｏｎｓ（「シャープレイ値」又は「ＳＨＡＰ値」）は、メンバーが同等の貢献をしなかったとしても、チームのメンバー間で報酬を公平に分割するためのシステムを提供するゲーム理論において使用され得る。同じ一連の概念は、「報酬」がモデルの予測値であり、「チームメンバー」がモデルによって考慮される特徴量又は変数である、機械学習モデルの解釈に適用されることがあり、特徴量が全て、モデルに対して等しく影響するとは限らないにもかかわらず、演習の目的は、各特徴量に重要度を割り当てることである。例えば、特定の一意性定理を含む、ゲーム理論において数学的に根拠が確かであり、また、全てのシャープレイ値の和が報酬総額／総予測値に等しいことを保証する「加法性」の性質を有し、直感的に且つ具体的に解釈するので、シャープレイ値は、このアプリケーションにとって魅力的な性質を有する。例えば、シャープレイ値は、予測と同じ単位（例えば、ドル、メートル、時間など）で提供され得る。

【0235】

いくつかの実施形態では、線形モデルの特徴量のシャープレイ値は、それらの特徴量の特徴量重要度の値を判定するために使用されてもよい。いくつかの実施形態では、ＳＨＡＰ Ｔｒｅｅ Ｅｘｐｌａｉｎｅｒに関する文献で説明されているように、木ベースのモデルの特徴量のＳＨＡＰ値のモデル固有の近似値は、それらの特徴量の特徴量重要度の値を判定するために使用されてもよい。ＳＨＡＰは、サンプルごとの特徴量属性技術であるので、以下の追加処理は、サンプルのセットに対する特徴量のシャープレイ値に基づいて、特徴量のセットの特徴量重要度の値を判定するために実行されてもよい。（１）サンプルの絶対数を選択し、（２）選択されたサンプルの各特徴量のＳＨＡＰ値の平均値を判定し、（３）平均ＳＨＡＰ値にソフトマックス標準化を適用し、ＳＨＡＰベースの特徴量重要度の値のバランスのとれたセットを取得する。

【0236】

いくつかの実施形態では、モデル開発システム１００は、モデル開発プロセスのモデル作成及び評価段階中に、データセットの１つ又は複数の（例えば、全ての）特徴量に対するＳＨＡＰベースの特徴量重要度スコアを判定してもよい。いくつかの実施形態では、モデル開発システム１００は、集約非表形式特徴量（例えば、画像特徴ベクトル）、及び／又は構成非表形式特徴量（例えば、構成画像特徴量）に対するＳＨＡＰベースの特徴量重要度スコアを判定してもよい。

【0237】

いくつかの実施形態では、モデル開発システム１００は、特徴抽出モデル（例えば、画像特徴抽出モデル）によって非表形式データ要素（例えば、画像）の列から抽出された構成特徴量Ｆ_Ｃ（例えば、構成画像特徴量）の各々に対するＳＨＡＰベースの特徴量重要度スコアを判定してもよく、それらのＳＨＡＰベースの特徴量重要度スコアを連結し、非表形式（例えば、画像）特徴量重要度ベクトルを形成してもよい。非表形式（例えば、画像）特徴量重要度ベクトルにおける特徴量重要度要素の順序は、非表形式（例えば、画像）特徴ベクトルにおける構成特徴量（例えば、構成画像特徴量）の順序と一致してもよい。そのような特徴量重要度ベクトルは、「画像推論説明を生成するための技術」と題されたセクションで以下にさらに詳細に説明されるように、画像推論説明を生成するために使用されてもよい。

【0238】

（５．２．３．画像推論説明を生成するための技術）
多くの画像処理モデル（事前訓練済み画像特徴抽出モデル及び事前訓練済み微調整可能画像処理モデルのいくつかの実施形態を含む）は、モデルの出力と相関する画像の部分を強調する画像活性化マップを生成するために、既知の、文書化された方法を使用し得る。言い換えれば、多くの画像処理モデルは、それらの画像ベースの予測の視覚的説明を提供するために、既知の、文書化された方法を使用し得る。例えば、これらの既知の、文書化された説明可能な方法のいくつかは、Ｇｒａｄ－ＣＡＭ及びＳＨＡＰ Ｇｒａｄｉｅｎｔ Ｅｘｐｌａｉｎｅｒを含む。

【0239】

モデリングタスク又はデータ分析タスクを実行するために、多段階（例えば、２段階）モデル１３０を使用する上述された利点にもかかわらず、画像特徴抽出のための事前訓練済み画像特徴抽出モデルの使用は、いくつかのさらなる課題をもたらす。例えば、２段階モデル１３０の段階１の画像特徴抽出モデルとして転用された事前訓練済み画像処理モデルのケースでは、段階１の画像処理モデルは、２段階モデル１３０が使用されるタスク／領域とは異なるタスク又は領域のために事前訓練済みであるので、概して、段階１の画像処理モデルによってもたらされる従来の画像活性化マップは、２段階モデル１３０によってもたらされる結果を正確に説明しない。さらに、事前訓練済み画像特徴抽出モデルと事前訓練済み微調整可能画像処理モデルとの両方のケースでは、２段階モデル１３０の段階２の機械学習モデルが、１つ又は複数の画像特徴量に加えて、１つ又は複数の非画像特徴量に基づいて結果をもたらす実施形態では、概して、画像活性化マップが画像特徴量のインパクトのみを考慮し、非画像特徴量のインパクトを考慮しないので、段階１の特徴抽出モデルによってもたらされる画像活性化マップは、２段階モデル１３０によってもたらされる結果を正確に説明しない。したがって、２段階モデル１３０によってもたらされる結果を説明しようとするとき、課題が生じる。

【0240】

上述されたように、画像推論説明は、多段階データ分析モデルにおける事前訓練済み画像処理モデルの使用に関して、且つそのようなデータ分析モデルにおける画像特徴量及び非画像特徴量の併用に関して、従来の画像活性化マップの欠点に対処し得る。画像推論説明を生成するための方法のいくつかの実施形態は、その方法の態様を示すデータフロー図を示す図１７を参照して、以下に説明される。

【0241】

１．非表形式データ要素１７０１（例えば、画像１７０１）の特徴量を表す特徴ベクトル１７１０（例えば、画像特徴ベクトル）を取得する。非表形式データ要素の特徴ベクトルを生成するための技術のいくつかの実施形態は、上述されている。いくつかの実施形態では、特徴ベクトル１７１０は、事前訓練済み特徴抽出モデル（例えば、事前訓練済み画像特徴抽出モデル）によって非表形式データ要素１７０１から抽出された構成特徴量のセットを連結することによって生成されてもよい。

【0242】

２．事前訓練済み特徴抽出モデルによって非表形式データ要素１７０１から抽出されたそれぞれの構成特徴量のセットに対応する活性化マップ１７０５のセットを取得する。生成された活性化マップのための技術のいくつかの実施形態は、上述されている。

【0243】

３．特徴量重要度ベクトル１７３０を取得する。特徴量重要度ベクトル１７３０の要素は、特徴ベクトル１７１０の構成特徴量の特徴量重要度の値であってもよく、或いは特徴ベクトル１７１０の構成特徴量の特徴量重要度の値を示してもよい。特徴量重要度ベクトルを生成するための技術のいくつかの実施形態は、上述されている。いくつかの実施形態では、特徴量重要度ベクトル１７３０は、事前に（例えば、モデル開発及び評価中）生成され、コンピュータ可読記憶媒体から検索されてもよい。

【0244】

４．非表形式データ要素（例えば、画像）１７０１、活性化マップ１７０５、非表形式データ要素１７０１から得られた特徴ベクトル１７１０、及び特徴量重要度ベクトル１７３０に基づいて、画像推論説明の視覚化を生成する。画像推論説明の視覚化は、推論データサンプルのための２段階モデル１３０によって生成された出力に最も寄与した推論データサンプルの画像１７０１の部分を示して（例えば、強調して）もよい。画像推論の視覚化の説明は、構成画像特徴量の個々の活性化マップの重み付き組み合わせを形成することによって生成されてもよく、個々の活性化マップの各々は、対応する構成画像特徴量の特徴量重要度スコアと、特徴値から得られた値とによって重み付けされてもよい。例えば、特定の構成特徴量の活性化マップに適用される重みは、その特徴の、特徴量重要度スコアとその特徴量との積であってもよい。

【0245】

（６．自動データ分析モデル）
（６．１．モデリング方法）
いくつかの実施形態では、データ分析モデルを開発し、展開するための方法は、又は複数の以下のステップのうちの１つ又は複数を含んでもよく、ステップは、示される順序で、或いは任意の他の適切な順序で実行されてもよい。

【0246】

１．ユーザは、訓練データセットを含むアーカイブファイル（例えば、ｚｉｐファイル）２０６を作成してもよい。非表形式データ要素（例えば、画像）２０４は、分類するために異なるフォルダに配置されてもよく、或いは異種データセットがモデル化される場合、ファイル（例えば、スプレッドシート、カンマ区切り値（「ｃｓｖ」）ファイルなど）２０２がデータサンプルの値を指定してもよい。例えば、図２Ａ、及びその上述を参照されたい。

【0247】

２．ユーザは、アーカイブファイル２０６をモデル開発システム１００に提供してもよい。例えば、ユーザは、アーカイブファイルをモデル開発システムのユーザインタフェース（「ＵＩ」）上にドラッグアンドドロップしてもよい。図２Ａを参照されたい。

【0248】

３．ユーザ又はモデル開発システム１００は、ターゲット２１２を選択してもよく、ユーザは、ユーザインタフェース要素（例えば、開始ボタン２１４）を選択し、自動モデル開発プロセスを開始してもよい。図２Ｂを参照されたい。

【0249】

４．モデル開発システム１００は、訓練データセットに対して自動探索的データ分析（ＥＤＡ）を実行し、データセットについての情報を表示してもよい。図３、及びその上述を参照されたい。適切なユーザ入力を受信することに応じて、モデル開発システムは、ターゲットの異なるクラス又は範囲に対応するデータセットの画像のサブセットを表示してもよい。図４－図５、及びそれらに関する上述を参照されたい。

【0250】

５．モデル開発システム１００は、複数のブループリントを自動的に選択し、訓練し、テストし、比較し、次いで、任意に、ユーザのアプリケーションに最良のブループリントを推奨してもよい。図６－図７、及びそれらに関する上述を参照されたい。

【0251】

６．適切なユーザ入力を受信することに応じて、モデル開発システム１００は、１つ又は複数のブループリント（例えば、推奨されたブループリント）のユーザ評価を容易にするために、視覚化を提示してもよい。図１３－図１７、及びそれらに関する上述を参照されたい。

【0252】

７．任意に、ユーザがモデルを展開する前にモデルを改良（例えば、調整、微調整、再訓練など）することを希望することを示す適切なユーザ入力を受信することに応じて、モデル開発システム１００は、ユーザ調整に関するブループリントのハイパーパラメータの１つ又は複数（例えば、全て）を公開してもよい。図８Ｂ、図８Ｃ、及び図９、ならびにそれらに関する上述を参照されたい。

【0253】

８．適切なユーザ入力（例えば、ユーザインタフェース要素の選択、例えば、シングルクリック）を受信することに応じて、モデル展開システム１００は、選択されたブループリントをモデル展開システム１００に展開し得る。

【0254】

９．モデル展開システム１１００は、展開されたブループリント／モデルのステータスを表示するためのツールを提供してもよい。例えば、モデル展開システム１１００は、ブループリント／モデルが経時的にどのように実行するかと、モデルの特徴量が経時的にドリフトされた程度とを示すユーザインタフェースを表示してもよい。図１２Ａ－１２Ｂ、及びそれらに関する上述を参照されたい。

【0255】

（６．２．追加の方法）
図１８Ａを参照すると、いくつかの実施形態によれば、画像ベースのデータ分析方法１８００は、ステップ１８０１－１８０３を含んでもよい。いくつかの実施形態では、方法１８００は、モデル展開システム１１００によって実行されてもよい。

【0256】

ステップ１８０１では、画像データを含む推論データが取得される。

【0257】

ステップ１８０２では、複数の構成画像特徴量のそれぞれの値が、画像データから抽出される（例えば、得られる）。構成画像特徴量の値は、画像特徴抽出モデルによって画像データから抽出されてもよい。いくつかの実施形態では、画像特徴抽出モデルは、事前訓練済みである。いくつかの実施形態では、画像特徴抽出モデルは、畳み込みニューラルネットワークを含む。構成画像特徴量は、１つ又は複数の低レベルの画像特徴量、１つ又は複数の中レベルの画像特徴量、１つ又は複数の高レベルの画像特徴量、及び／又は、１つ又は複数の最高レベルの画像特徴量を含んでもよい。

【0258】

ステップ１８０３では、データ分析ターゲットの値が、構成画像特徴量の値に基づいて判定される。データ分析ターゲットの値は、訓練済み機械学習モデルによって判定されてもよい。いくつかのケースでは、推論データは、非画像データをさらに含む。いくつかの実施形態では、データ分析ターゲットの値を判定することは、非画像データから得られた１つ又は複数の特徴量の値にも基づいている。いくつかの実施形態では、画像特徴抽出モデルは、画像データから得られた構成画像特徴量の値に適合しない。

【0259】

いくつかの実施形態では、方法１８００は、構成画像特徴量の値と、非画像データから得られた特徴量の値とをテーブルに配置するステップをさらに含む。いくつかの実施形態では、データ分析ターゲットの値を判定することは、訓練済み機械学習モデルをテーブルに適用することによって実行される。いくつかの実施形態では、訓練済み機械学習モデルは、勾配ブースティングマシンを含む。いくつかの実施形態では、データ分析ターゲットの値は、推論データに基づく予測、推論データの説明、推論データと関連付けられた分類、及び／又は推論データと関連付けられたラベルを含む。

【0260】

図１８Ｂを参照すると、いくつかの実施形態によれば、２段階データ分析方法１８１０は、ステップ１８１１－１８１３を含んでもよい。いくつかの実施形態では、方法１８１０は、モデル展開システム１１００によって実行されてもよい。

【0261】

ステップ１８１１では、非表形式データ型の第１のデータ（例えば、画像データ、テキストデータ、自然言語データ、音声データ、聴覚データ、空間データ、又はそれらの組み合わせ）を含む推論データが取得される。

【0262】

ステップ１８１２では、複数の構成特徴量のそれぞれの値が、第１のデータから抽出される（例えば、得られる）。構成特徴量の値は、特徴抽出モデルによって第１のデータから抽出されてもよい。いくつかの実施形態では、特徴抽出モデルは、事前訓練済みである。いくつかの実施形態では、特徴抽出モデルは、畳み込みニューラルネットワーク（ＣＮＮ）を含む。構成特徴量は、ＣＮＮの第１層によって抽出された１つ又は複数の低レベルの特徴量、ＣＮＮの第２層によって抽出された１つ又は複数の中レベルの特徴量、ＣＮＮの第３層によって抽出された１つ又は複数の高レベルの特徴量、及び／又は、ＣＮＮの第４層によって抽出された１つ又は複数の最高レベルの特徴量を含んでもよい。

【0263】

ステップ１８１３では、データ分析ターゲットの値が、構成特徴量の値に基づいて判定される。データ分析ターゲットの値は、訓練済み機械学習モデルによって判定されてもよい。いくつかのケースでは、推論データは、表形式データ型（例えば、数値データ、カテゴリデータ、時系列データなど）の第２データをさらに含む。いくつかの実施形態では、データ分析ターゲットの値を判定することは、第２のデータから得られた１つ又は複数の特徴量の値にも基づいている。いくつかの実施形態では、特徴抽出モデルは、第１のデータから得られた構成特徴量の値に適合しない。

【0264】

いくつかの実施形態では、方法１８１０は、第１のデータの構成特徴量の値と、第２のデータから得られた特徴量の値とをテーブルに配置するステップをさらに含む。いくつかの実施形態では、データ分析ターゲットの値を判定することは、訓練済み機械学習モデルをテーブルに適用することによって実行される。いくつかの実施形態では、訓練済み機械学習モデルは、勾配ブースティングマシンを含む。いくつかの実施形態では、データ分析ターゲットの値は、推論データに基づく予測、推論データの説明、推論データと関連付けられた分類、及び／又は推論データと関連付けられたラベルを含む。

【0265】

図１９Ａを参照すると、いくつかの実施形態によれば、集約画像特徴量の特徴量重要度を判定するための方法１９００は、ステップ１９０１－１９０３を含んでもよい。いくつかの実施形態では、方法１９００は、モデル開発システム１００によって、且つ／或いはモデル展開システム１１００によって実行されてもよい。

【0266】

ステップ１９０１では、複数のデータサンプルが取得される。データサンプルの各々は、特徴量のセットのそれぞれの値、及びターゲットのそれぞれの値と関連付けられてもよい。特徴量のセットは、集約画像データ型（「集約画像特徴量」）を有する特徴量を含んでもよい。例えば、集約画像特徴量は、画像特徴ベクトルであってもよい。集約画像特徴量は、各々が構成画像データ型（「構成画像特徴量」）を有する複数の特徴量を含んでもよい。

【0267】

ステップ１９０２では、構成画像特徴量の各々に関して、特徴量重要度スコアが判定される。特徴量重要度スコアは、ターゲットの値を予測するための構成画像特徴量の期待効用を示してもよい。いくつかの実施形態では、特徴量重要度スコアは、単変量特徴量重要度スコア、特徴量インパクトスコア、又はシャープレイ値である。

【0268】

ステップ１９０３では、集約画像特徴量に対する特徴量重要度スコアが、（例えば、構成画像特徴量の特徴量重要度スコアに基づいて）判定される。集約画像特徴量に対する特徴量重要度スコアは、ターゲットの値を予測するための集約画像特徴量の期待効用を示してもよい。

【0269】

いくつかの実施形態では、方法１９００は、構成画像特徴量に対する特徴量重要度スコアを正規化し、且つ／或いは標準化するステップをさらに含む。正規化及び／又は標準化は、構成画像特徴量に対する特徴量重要度スコアを判定する前に実行されてもよい。

【0270】

いくつかの実施形態では、各データサンプルに関して、方法１９００は、事前訓練済み画像処理モデルを使用して１つ又は複数の第１の画像から構成画像特徴量のそれぞれの値を抽出するステップをさらに含む。いくつかの実施形態では、事前訓練済み画像処理モデルは、事前訓練済み画像特徴抽出モデル又は事前訓練済み微調整可能画像処理モデルを含む。いくつかの実施形態では、事前訓練済み画像処理モデルは、１つ又は複数の第２の画像を含む訓練データセットで事前に訓練された畳み込みニューラルネットワークモデルを含む。いくつかの実施形態では、集約画像特徴量に対する特徴量重要度スコアを判定することは、構成画像特徴量に対する特徴量重要度スコアの中で最も高い特徴量重要度スコアを選択することと、選択された最も高い特徴量重要度スコアを、集約画像特徴量に対する特徴量重要度スコアとして使用することとを含む。

【0271】

いくつかの実施形態では、特徴量のセットは、非画像データ型を有する特徴量をさらに含み、方法１９００は、非画像データ型を有する特徴量の特徴量重要度スコアを、集約画像特徴量の特徴量重要度スコアと定量的に比較するステップと、定量的比較に基づいて、非画像特徴量又は集約画像特徴量が、ターゲットの値を予測するための、より大きな期待効用を有するかを判定するステップとをさらに含む。

【0272】

図１９Ｂを参照すると、いくつかの実施形態によれば、画像特徴量に少なくとも部分的に基づいて、ターゲットの値を説明するための方法１９１０は、ステップ１９１１－１９１４を含んでもよい。いくつかの実施形態では、方法１９１０は、モデル展開システム１００によって、且つ／或いはモデル展開システム１１００によって実行されてもよい。

【0273】

ステップ１９１１では、画像データを含むデータサンプルが取得される。データサンプルは、特徴量のセットのそれぞれの値、及びターゲットの値と関連付けられてもよい。特徴量のセットは、集約画像特徴量を含んでもよく、集約画像特徴量は、複数の構成画像特徴量を含んでもよい。

【0274】

ステップ１９１２では、画像データに対する構成画像特徴量のそれぞれの値が取得され、構成画像特徴量の各々に対応するそれぞれの活性化マップが取得される。構成画像特徴量及び活性化マップは、画像特徴抽出モデルから取得されてもよい。活性化マップの各々は、それぞれの構成画像特徴量に対応するニューラルネットワーク層を活性化した場合には、画像データのどの部分が活性したかを示してもよい。

【0275】

ステップ１９１３では、複数の構成画像特徴量の各々に対する特徴量重要度スコアが判定される。各構成画像特徴量に対する特徴量重要度スコアは、ターゲットの値を予測するための構成画像特徴量の期待効用を示してもよい。

【0276】

ステップ１９１４では、画像推論説明の視覚化が、構成画像特徴量に対する特徴量重要度スコア、構成画像特徴量の値、及び活性化マップに基づいて生成される。画像推論説明の視覚化は、ターゲットの値の判定に寄与する画像データの部分を識別してもよい。

【0277】

いくつかの実施形態では、データサンプルは、非画像データをさらに含む。いくつかの実施形態では、ターゲットの値は、２段階視覚人工知能（ＡＩ）モデルによって判定される。いくつかの実施形態では、画像推論説明の視覚化は、モデルがターゲットの値をどのように判定したかを部分的に説明する。

【0278】

図１９Ｃを参照すると、いくつかの実施形態によれば、画像データのためのドリフト検出方法１９２０は、ステップ１９２１－１９２６を含んでもよい。いくつかの実施形態では、ドリフト検出方法１９２０は、モデル展開システム１１００によって実行されてもよい。

【0279】

ステップ１９２１では、第１の時間と関連付けられた第１の複数のデータサンプルの各々に対するそれぞれの第１の異常スコアが取得される。第１の複数のデータサンプルの各々は、第１の画像データから抽出された構成画像特徴量のセットのそれぞれの値と関連付けられてもよい。各データサンプルに対するそれぞれの第１の異常スコアは、データサンプルが異常であることの程度を示してもよい。

【0280】

ステップ１９２２では、第１の時間の後の第２の時間と関連付けられた第２の複数のデータサンプルの各々に対するそれぞれの第２の異常スコアが取得される。第２の複数のデータサンプルの各々は、第２の画像データから抽出された構成画像特徴量のセットのそれぞれの値と関連付けられてもよい。各データサンプルに対するそれぞれの第２の異常スコアは、データサンプルが異常であることの程度を示してもよい。

【0281】

ステップ１９２３では、閾値異常スコアよりも大きいそれぞれの第１の異常スコアを有する第１の複数のデータサンプルの第１の量が判定される。ステップ１９２４では、閾値異常スコアよりも大きいそれぞれの第２の異常スコアを有する第２の複数のデータサンプルの第２の量が判定される。ステップ１９２５では、データサンプルの第１の量と第２の量との間の量差が判定される。

【0282】

ステップ１９２６では、量差の絶対値が閾値差よりも大きいことに対応して、画像データドリフトの検出と関連付けられた１つ又は複数の動作が実行される。いくつかの実施形態では、画像データドリフトの検出と関連付けられた１つ又は複数の動作は、ユーザにメッセージを提供することを含む。メッセージは、画像データドリフトが検出されたことを示してもよい。いくつかの実施形態では、画像データドリフトの検出と関連付けられた１つ又は複数の動作は、第２の時点と関連付けられた第２の複数のデータサンプルに基づいて、新しいデータ分析モデルを生成することを含む。

【0283】

図１９Ｄを参照すると、いくつかの実施形態によれば、画像データのための別のドリフト検出方法１９３０は、ステップ１９３１－１９３８を含んでもよい。いくつかの実施形態では、ドリフト検出方法１９３０は、モデル展開システム１１００によって実行されてもよい。

【0284】

ステップ１９３１では、データ分析モデルのための訓練データが取得される。訓練データは、複数の訓練データサンプルを含んでもよい。データサンプルの各々は、それぞれの訓練画像を含んでもよい。

【0285】

ステップ１９３２では、画像特徴量のそれぞれの数値が、訓練画像の各々から抽出される。

【0286】

ステップ１９３３では、複数のスコアリングデータのセットが取得される。スコアリングデータの各セットは、異なる期間に対応してもよく、それぞれの複数のスコアリングデータサンプルを含んでもよい。スコアリングデータサンプルの各々は、それぞれのスコアリング画像を含んでもよい。

【0287】

ステップ１９３４では、画像特徴量のそれぞれの数値が、スコアリング画像の各々から抽出される。

【0288】

ステップ１９３５では、スコアリングデータの各セットに関して、訓練画像から抽出された画像特徴量の数値と、スコアリングデータのそれぞれのセットから抽出された画像特徴量の数値とが、入力として分類器へ提供される。いくつかの実施形態では、分類器は、２つのデータセット間の有意差を統計的に検出するように構成されている共変量シフト分類器である。

【0289】

ステップ１９３６では、分類器からの出力に基づいて、経時的に画像特徴量の数値におけるドリフトが検出される。いくつかの実施形態では、経時的にドリフトを検出することは、スコアリングデータのセットのうちの２つ以上においてドリフトを検出することを含む。

【0290】

ステップ１９３７では、ドリフトがデータ分析モデルの精度の低下に対応するという判定が行われる。いくつかの実施形態では、ドリフトがデータ分析モデルの精度の低下に対応することを判定することは、精度の低下に対する画像特徴量のインパクトを判定することを含む。いくつかの実施形態では、インパクトを判定することは、グラフィカルユーザインタフェースを介して、精度の低下に対する画像特徴量のインパクトを示すグラフを表示することを含む。

【0291】

ステップ１９３８では、データ分析モデルの精度を向上させるための是正措置が促進される。いくつかの実施形態では、是正措置は、データ分析モデルのユーザにアラートを送信すること、データ分析モデルをリフレッシュすること、データ分析モデルを再訓練すること、新しいデータ分析モデルに切り替えること、又はそれらの任意の組み合わせを含む。

【0292】

いくつかの実施形態では、データ分析モデルは、訓練データを使用して訓練され、データ分析モデルは、スコアリングデータに基づいて予測を行うために使用される。いくつかの実施形態では、スコアリングデータの各セットは、異なる期間を表す。

【0293】

いくつかの実施形態では、訓練画像又はスコアリング画像から選択された特定の画像に関して、特定の画像の画像特徴量の数値を抽出することは、（１）事前訓練済み画像処理モデルを用いて、特定の画像から複数の構成画像特徴量のそれぞれの値を抽出することと、（２）画像特徴量の数値を判定するために、構成画像特徴量の値に変換を適用することとを含む。いくつかの実施形態では、変換は、次元削減の変換である。いくつかの実施形態では、変換は、主成分分析（ＰＣＡ）、及び／又は、均一多様体近似及び投影（ＵＭＡＰ）を含む。

【0294】

（７．ユースケース）
いくつかの実施形態は、多種多様なユースケースにおいて、全ての産業にわたって使用され得る。小売業者は、コンピュータビジョンを使用し、顧客エクスペリエンスを向上させ、製品が陳列棚で品切れであるときを検出し、或いは損失防止に役立つように不審な行動を監視し得る。製造業者は、いくつかの実施形態を使用し、製品の欠陥をリアルタイムで識別し得る。部品及びコンポーネントが生産ラインから出てくると、画像は、そのモデルに送り込まれ、潜在的な欠陥にフラグを立て、さらに下流での問題を回避し得る。

【0295】

保険会社は、より一貫性があり、正確な車両損傷アセスメントを実施し、不正行為を減らしてクレーム処理を合理化するのに役立ち得る。ヘルスケア提供者は、画像ベースのニューラルネットワークを使用し、ＭＲＩ、ＣＡＴスキャン、Ｘ線から健康問題の検査及び診断を自動化し得る。

【0296】

他のアプリケーションは、ガソリンスタンドの画像を使用し、マーケティング費用をどこに集中させるかをより良く計画するのに役立つことから、ｅコマースウェブサイトのファッション写真から衣料品の自動ラベリングにまで、多岐にわたる。

【0297】

例えば、診断結果、年齢、性別などの特徴量を有する、表形式データ上に構築された病院の再入院モデルは、執刀医のメモ、及びいくつかの実施形態では、患者のＭＲＩからの画像などの、より多様な情報で強化され得る。

【0298】

（７．１．保険金請求予測）
上記では、モデルが、単位の画像、単位のテキスト説明、及び他の情報に基づいて、住宅用不動産（例えば、住宅）の戸別価格を推論するために開発され、使用される実施例が説明されている。このセクションでは、モデルが、（例えば、ホームオーナーズ保険、中小企業保険、車両保険の契約に基づいて）保険金請求を予測するために開発され、使用される実施例は説明される。この実施例は、保険会社によって提供された実際のデータを使用して開発され、検証された。

【0299】

損害（請求）を予測する能力は、保険会社の経営意思決定に重大な影響を与える。請求総額を正確に予測し、支払備金の規模を推定することによって、保険会社は、資本を有効に利用し、投資、新製品、及び販売戦略についての、より良い経営意思決定を行い得る。保険金請求を予測するための１つのアプローチは、過去の請求から得られたデータセットでカスタムディープラーニングモデルＭ１を訓練することである。ここで、本発明者らは、モデル開発システム１００の一実施形態を使用し、ホームオーナーズ保険契約に基づいて請求を予測するためのデータ分析モデルＭ２を開発し、モデルＭ２と社内モデルＭ１との性能を比較した。

【0300】

過去の請求結果の入力データセットは、２０，０００以上のデータポイントを含み、そのうちの２，５００は、訓練に使用され、１８，０００は、スコアリングに使用された。図２０に見られ得るように、データセットは、複数の数値特徴量、カテゴリ特徴量、及び画像特徴量を含む、様々なデータ型の変数を有した。さらに、図２０を参照すると、特徴量重要度スコア（例えば、単変量特徴量重要度スコア）は、住宅の屋根の写真がモデル開発に関して最も有益な特徴量であり、数値的／カテゴリ的な保険契約の詳細がその次に有益な特徴量であることを示す。これらの保険契約の詳細は、保険契約上の請求限度額（「請求限度額」）、保険契約控除（「控除」）、保険対象住居の使用状況（「使用状況」）、保険対象住居の住所の郵便番号（「郵便番号」）を含む。

【0301】

（例えば、画像を有するＺＩＰアーカイブとしての）データセットは、モデル展開システム１００に提供され、モデル展開システム１００は、クラウドのコモディティハードウェアで、数時間のうちに多数のモデルを自動的に構築した。最良のモデルＭ２の精度（ＡＵＣ ０．８７９８）は、ＧＰＵアクセラレーティドハードウェアを使用してデータ科学者のチームによって数週間かけて開発された、社内モデルＭ１の精度と同程度であった。

【0302】

図２１は、最良のモデルを開発するために、モデル開発システム１００によって使用されるブループリントを示す。このケースでは、モデル２１５０は、エントロピーベースのランダムフォレスト分類器である。モデルのターゲットは、二項分類（「請求あり」又は「請求なし」）であり、モデルの特徴量（２１３１－２１３４）は、上述されたデータセットから得られたエンジニアリングされた特徴量である。特に、ブループリント２１００に従って、事前訓練済み画像特徴抽出モデル２１０２は、データセット内の画像の各々から画像特徴量のセットを抽出するために使用され、モデル２１０４は、抽出された画像特徴量のそれぞれのセットに基づいて、「請求あり」又は「請求なし」の分類を推論するように訓練される。このケースでは、モデル２１０４の各々は、分類器（例えば、Ｅｌａｓｔｉｃ Ｎｅｔ Ｃｌａｓｓｉｆｉｅｒ（Ｌ２／Ｂｉｎｏｍｉａｌ Ｄｅｖｉａｎｃｅ））である。モデル２１０４によって生成された分類は、画像特徴量の全てのセットに基づいて、単一の推論された分類２１３１を生成するために、組み合わされる２１０８。任意の適切な技術は、限定されないが、投票を含む推論された分類を組み合わせるために使用されてもよい。組み合わされ、画像ベースの推論された分類２１３１は、モデル２１５０の特徴量として使用される。さらに、ブループリント２１００に従って、欠損値補完（２１１２）がデータセットの数値変数に関して実行され、順序エンコーディング（２１２２）及びカテゴリカウント（２１２４）がデータセットのカテゴリ変数に関して実行される。結果として生じる数値特徴量（２１３２）及びカテゴリ特徴量（２１３３、２１３４）は、モデル２１５０の特徴量として使用される。

【0303】

この実施例では、保険会社は、モデル開発システム１００のユーザインタフェースを介して、画像及び非画像特徴量を探索することができ、モデル開発システム１００は、図２２及び図２３に示されるモデル説明の視覚化を提供した。図２２は、モデルＭ２の個々の予測に関して、画像及び非画像特徴量の正規化されたインパクトを示す。図２３は、モデルＭ２の個々の予測に関して、住宅の外観画像の異なる領域のインパクトを示す画像推論説明の視覚化を示す。

【0304】

保険会社は、クラウドでモデル展開システム１１００の実施形態にモデルＭ２を展開し、３０分未満で３７，０００以上の画像を含む１８，０００レコード（５０のバッチ）をスコア化することができた。

【0305】

（８．いくつかの実施形態のさらなる説明）
コンピュータビジョンモデル（例えば、ニューラルネットワーク）が画像データから画像特徴量の値を抽出し、画像特徴量の抽出された値（又はそこから得られた特徴量の値）に対して訓練されていない機械学習モデルが、抽出された値に基づいて推論を生成するいくつかの実施例が説明されてきた。本明細書では、そのような２段階モデルは、「視覚人工知能モデル」又は「視覚ＡＩモデル」と称され得る。

【0306】

図２４は、本書で説明される技術を実装するときに使用され得る例示的なコンピュータシステム２４００のブロック図である。汎用コンピュータ、ネットワークアプライアンス、モバイルデバイス、又は他の電子システムはまた、システム２４００の少なくとも部分を含んでもよい。システム２４００は、プロセッサ２４１０と、メモリ２４２０と、ストレージデバイス２４３０と、入力／出力デバイス２４４０とを含む。コンポーネント２４１０、２４２０、２４３０、及び２４４０の各々は、例えば、システムバス２４５０を使用して、相互接続されてもよい。プロセッサ２４１０は、システム２４００内で実行のための命令を処理することが可能である。いくつかの実装形態では、プロセッサ２４１０は、シングルスレッドプロセッサである。いくつかの実装形態では、プロセッサ２４１０は、マルチスレッドプロセッサである。プロセッサ２４１０は、メモリ２４２０又はストレージデバイス２４３０に格納された命令を処理することが可能である。

【0307】

メモリ２４２０は、システム２４００内の情報を格納する。いくつかの実装形態では、メモリ２４２０は、非一時的なコンピュータ可読媒体である。いくつかの実装形態では、メモリ２４２０は、揮発性メモリユニットである。いくつかの実装形態では、メモリ２４２０は、不揮発性メモリユニットである。

【0308】

ストレージデバイス２４３０は、システム２４００のためのマスストレージを提供することが可能である。いくつかの実装形態では、ストレージデバイス２４３０は、非一時的なコンピュータ可読媒体である。様々な異なる実装形態では、例えば、ストレージデバイス２４３０は、ハードディスクデバイス、光ディスクデバイス、ソリッドステートドライブ、フラッシュドライブ、又はいくつかの他の大容量ストレージデバイスを含んでもよい。例えば、ストレージデバイスは、長期的なデータ（例えば、データベースデータ、ファイルシステムデータなど）を格納してもよい。入力／出力デバイス２４４０は、システム２４００のための入力／出力操作を提供する。いくつかの実装形態では、入力／出力デバイス２４４０は、ネットワークインタフェースデバイス、例えば、イーサネットカード、シリアル通信デバイス、例えば、ＲＳ－２３２ポート、及び／又は無線インタフェースデバイス、例えば、８０２．１１カード、無線モデム（例えば、３Ｇ、４Ｇ、又は５Ｇ）のうちの１つ又は複数を含んでもよい。いくつかの実装形態では、入力／出力デバイスは、入力データを受信し、他の入力／出力デバイス、例えば、キーボード、プリンタ、及びディスプレイデバイス２４６０に出力データを送信するように構成されているドライバデバイスを含んでもよい。いくつかの実施例では、モバイルコンピューティングデバイス、モバイル通信デバイス、及び他のデバイスが使用されてもよい。

【0309】

いくつかの実装形態では、上述されたアプローチの少なくとも一部分は、実行時に、１つ又は複数の処理デバイスに、上述されたプロセス及び機能を実行させる命令によって実現されてもよい。例えば、そのような命令は、スクリプト命令などの解釈された命令、又は実行可能コード、又は非一時的なコンピュータ可読媒体に格納された他の命令を含んでもよい。ストレージデバイス２４３０は、例えば、サーバファーム、又は広く分散したサーバのセットとして、ネットワーク上で分散した方法で実装されてもよく、或いは単一のコンピューティングデバイスで実装されてもよい。

【0310】

例示的な処理システムが図２４で説明されているが、本明細書で説明されている対象、機能的動作及びプロセスの実施形態は、他のタイプのデジタル電子回路で、有形に具現化されたコンピュータソフトウェア又はファームウェアで、本明細書に開示された構造及びそれらの構造的均等物を含むコンピュータハードウェアで、或いは１つ又は複数のそれらの組み合わせで実装され得る。本明細書で説明される対象の実施形態は、１つ又は複数のコンピュータプログラム、すなわち、データ処理装置による実行のために、或いはデータ処理装置の動作を制御するために、有形で不揮発性のプログラムキャリアに符号化されたコンピュータプログラム命令の１つ又は複数のモジュールとして実装され得る。代替的に或いは追加的に、プログラム命令は、人工的に生成された伝搬信号、例えば、データ処理装置による実行のために、適切な受信装置への送信に関する情報を符号化するために生成される機械生成電気信号、光学信号、又は電磁信号に符号化され得る。コンピュータ記憶媒体は、機械可読記憶デバイス、機械可読記憶基板、ランダム若しくはシリアルアクセスメモリデバイス、又は１つ又は複数のそれらの組み合わせであり得る。

【0311】

用語「システム」は、例として、プログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ又はコンピュータを含む、データを処理するためのあらゆる種類の装置、デバイス、及びマシンを包含してもよい。処理システムは、特殊用途論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）を含んでもよい。処理システムは、ハードウェアに加えて、当該コンピュータプログラムの実行環境を構築するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの１つ又は複数の組み合わせを構成するコードを含んでもよい。

【0312】

（プログラム、ソフトウェア、ソフトウェアアプリケーション、エンジン、パイプライン、モジュール、ソフトウェアモジュール、スクリプト、又はコードとも称され、或いは説明され得る）コンピュータプログラムは、コンパイル型言語若しくはインタプリタ型言語、又は宣言型言語若しくは手続き型言語を含む、任意の形式のプログラミング言語で記述されることがあり、スタンドアロンプログラムとして、或いはモジュール、コンポーネント、サブルーチン、又はコンピュータ環境での使用に適切な他のユニットとして、任意の形式で展開されることがある。コンピュータプログラムは、ファイルシステム内のファイルに対応してもよいが、そうである必要はない。プログラムは、他のプログラム又はデータ（例えば、マークアップ言語文書に格納された１つ又は複数のスクリプト）を保持するファイルの一部分に、当該プログラム専用の単一のファイルに、或いは複数の連携ファイル（例えば、１つ又は複数のモジュール、サブプログラム、又はコードの部分を格納するファイル）に格納され得る。コンピュータプログラムは、１台のコンピュータ上で展開され、実行されることがあり、或いは、１つのサイトに位置し、若しくは複数のサイトにわたって分散し、通信ネットワークによって相互接続されている複数のコンピュータ上で展開され、実行されることがある。

【0313】

本明細書で説明されるプロセス及び論理フローは、１つ又は複数のコンピュータプログラムを実行する１つ又は複数のプログラマブルコンピュータによって実行され、入力データに対して動作し、出力を生成することによって機能を実行し得る。プロセス及び論理フローはまた、特殊用途論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）によって実行され、装置はまた、そのような特殊用途論理回路として実装され得る。

【0314】

例として、コンピュータプログラムの実行に適切なコンピュータは、汎用マイクロプロセッサ若しくは特殊用途マイクロプロセッサ、又はその両方、又は任意の他の種類の中央処理装置を含み得る。概して、中央処理装置は、読み取り専用メモリ、又はランダムアクセスメモリ、又はその両方から命令及びデータを受信することとなる。概して、コンピュータは、命令を実行する（performing或いはexecuting）ための中央処理装置と、命令及びデータを格納するための１つ又は複数のメモリデバイスとを含む。概して、コンピュータはまた、データを格納するための１つ又は複数のマスストレージデバイス、例えば、磁気ディスク、光磁気ディスク、又は光ディスクからデータを受信し、若しくはマスストレージデバイスにデータを転送し、若しくはその両方を含むこととなり、或いは、マスストレージデバイスからデータを受信し、若しくはマスストレージデバイスにデータを転送し、若しくはその両方に動作可能に結合されることとなる。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。さらに、コンピュータは、別のデバイス、例えば、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、携帯オーディオ若しくはビデオプレーヤ、ゲーム機、全地球測位システム（ＧＰＳ）受信機、又はポータブルストレージデバイス（例えば、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ）に組み込まれることがあり、これらはほんの一部の例にすぎない。

【0315】

コンピュータプログラム命令及びデータを格納するのに適切なコンピュータ可読媒体は、例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスと、磁気ディスク、例えば、内蔵ハードディスク又はリムーバルディスクと、光磁気ディスクと、ＣＤ－ＲＯＭ及びＤＶＤ－ＲＯＭディスクとを含む、不揮発性メモリ、媒体及びメモリデバイスの全ての形態を含む。プロセッサ及びメモリは、特殊用途論理回路によって補われ、或いは組み込まれ得る。

【0316】

ユーザとの相互作用を提供するために、本明細書で説明される対象の実施形態は、ユーザに情報を表示するためのディスプレイデバイス、例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタと、ユーザがコンピュータに入力を与え得る、キーボードと、ポインティングデバイス、例えば、マウス又はトラックボールとを有するコンピュータで実装され得る。他の種類のデバイスは、同様に、ユーザとの相互作用を提供するために使用され得る。例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックであることがあり、ユーザからの入力は、音響、音声、又は触覚入力を含む、任意の形態で受信されることがある。さらに、コンピュータは、例えば、ウェブブラウザから受信された要求に応じて、ユーザのユーザデバイス上のウェブブラウザにウェブページを送信することによってなど、ユーザによって使用されるデバイスに文書を送信し、ユーザによって使用されるデバイスから文書を受信することによって、ユーザと相互作用し得る。

【0317】

本明細書で説明される対象の実施形態は、バックエンドコンポーネント、例えば、データサーバを含むコンピュータシステムにおいて、或いはミドルウェアコンポーネント、例えば、アプリケーションサーバを含むコンピュータシステムにおいて、或いはフロントエンドコンポーネント、例えば、ユーザが本明細書で説明される対象の実装形態と相互作用し得るグラフィカルユーザインタフェース又はＷｅｂブラウザを有するクライアントコンピュータを含むコンピュータシステムにおいて、或いは１つ又は複数のそのようなバックエンド、ミドルウェア又はフロントエンドコンポーネントの任意の組み合わせにおいて実装され得る。システムのコンポーネントは、デジタルデータ通信の任意の形態又は媒体、例えば、通信ネットワークによって相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）及びワイドエリアネットワーク（「ＷＡＮ」）、例えば、インターネットを含む。

【0318】

コンピューティングシステムは、クライアント及びサーバを含み得る。クライアント及びサーバは、概して、互いに離れており、典型的に、通信ネットワークを介して相互作用する。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行するコンピュータプログラムによって生じ、互いにクライアント－サーバ関係を有する。

【0319】

本明細書は、多くの特定の実装形態の詳細を含み、これらは、請求され得るものの範囲の限定として解釈されるべきではなく、むしろ、特定の実施形態に固有となり得る特徴の説明として解釈されたい。別々の実施形態のコンテキストにおいて、本明細書で説明される特定の特徴はまた、単一の実施形態で組み合わせて実装され得る。反対に、単一の実施形態のコンテキストにおいて説明される様々な特徴はまた、複数の実施形態で、別々に、或いは任意の適切なサブコンビネーションで実装され得る。さらに、特徴は、特定の組み合わせで動作するものとして上述され、当初はそのように請求されてもよいが、いくつかのケースでは、請求された組み合わせからの１つ又は複数の特徴は、組み合わせから削除されることがあり、請求された組み合わせは、サブコンビネーション又はサブコンビネーションの変形を対象にしてもよい。

【0320】

同様に、操作は、特定の順序で図面に描かれているが、これは、望ましい結果を達成するために、そのような操作が、示された特定の順序で、或いはシーケンシャルな順序で実行されること、又は全ての説明された操作が実行されることを必要とすると理解されるべきではない。特定の状況下では、マルチタスク及び並列処理が有利であってもよい。さらに、上述された実施形態での様々なシステムコンポーネントの分離は、全ての実施形態でのそのような分離を必要とすると理解されるべきではなく、概して、説明されたプログラムコンポーネント及びシステムは、単一のソフトウェア製品と共に統合され、或いは複数のソフトウェア製品にパッケージングされ得ることを理解されたい。

【0321】

本対象の特定の実施形態が説明されてきた。他の実施形態は、以下の特許請求の範囲の範囲内である。例えば、特許請求の範囲に記載された動作は、異なる順序で実行されても、望ましい結果を実現し得る。一実施例として、添付の図に描かれたプロセスは、望ましい結果を実現するために、示された特定の順序、又はシーケンシャルな順序を必ずしも必要としない。特定の実装形態では、マルチタスク及び並列処理が有利であってもよい。説明されたプロセスから、他のステップ又は段階が提供されてもよく、或いはステップ又は段階が除去されてもよい。したがって、他の実装形態は、以下の請求項の範囲内である。

【0322】

（９．用語）
本明細書で使用される語句及び用語は、説明のためのものであり、限定的なものと見なされるべきではない。

【0323】

本明細書及び特許請求の範囲で使用される、用語「約」、語句「にほぼ等しい」、及び他の同様の語句（例えば、「Ｘは、約Ｙの値を有する」、或いは「Ｘは、Ｙにほぼ等しい」）は、１つの値（Ｘ）が別の値（Ｙ）の所定の範囲内であることを意味すると理解されたい。所定の範囲は、特段の指示がない限り、プラス又はマイナス２０％、１０％、５％、３％、１％、０．１％、又は０．１％未満であってもよい。

【0324】

本明細書では、測定値、サイズ、量などは、範囲形式で示され得る。範囲形式での説明は、単に便宜上、簡潔にするためのものであり、本発明の範囲の変更できない限定と解釈されるべきではない。したがって、範囲の説明は、その範囲内の個々の数値だけでなく、全ての可能なサブレンジを具体的に開示したものとみなされたい。例えば、１０－２０インチなどの範囲の説明は、１０－１１インチ、１０－１２インチ、１０－１３インチ、１０－１４インチ、１１－１２インチ、１１－１３インチなどのサブレンジを具体的に開示したものと見なされたい。

【0325】

明細書及び特許請求の範囲で使用される、不定冠詞「ａ」及び「ａｎ」は、特段の指示が明確にない限り、「少なくとも１つ」を意味すると理解されたい。本明細書及び特許請求の範囲で使用される、語句「及び(且つ)／又は(或いは)」は、そのように結合された要素の「いずれか又は両方」、すなわち、いくつかのケースでは接続的に存在し、他のケースでは分離的に存在する要素を意味すると理解されたい。「及び(且つ)／又は(或いは)」と共に記載された複数の要素は、同じ方法で、すなわち、そのように結合された要素の「１つ又は複数」と解釈されたい。節「及び(且つ)／又は(或いは)」によって具体的に識別された要素以外の他の要素が、具体的に識別されたそれらの要素に関連するか、或いは関連しないかにかかわらず、任意に存在してもよい。したがって、非限定的な実施例として、「含む(comprising)」などのオープンエンドの言語と結合して使用されるとき、「Ａ及び(且つ)／又は(或いは)Ｂ」への言及は、一実施形態では、Ａのみ（任意にＢ以外の要素を含む）、別の実施形態では、Ｂのみ（任意にＡ以外の要素を含む）、さらに別の実施形態では、ＡとＢとの両方（任意に他の要素を含む）などを言及し得る。

【0326】

本明細書及び特許請求の範囲で使用されるように、「又は(或いは)」は、上記で定義された「及び(且つ)／又は(或いは)」と同じ意味を有すると理解されたい。例えば、リスト内の項目を区切るとき、「又は（或いは）」又は「及び(且つ)／又は(或いは)」は、包括的であること、すなわち、要素の数又はリストの少なくとも１つだけでなく、２つ以上をも含み、任意に、追加の記載されていない項目をも含むことと解釈されるものとする。「のうちのただ１つ」又は「のうちのまさに１つ」などの、特段の指示が明確にある用語のみ、或いは特許請求の範囲で使用されるとき、「含む(consisting of)」は、要素の数又はリストのまさに１つの要素を含むことを言及することとなる。概して、「いずれか一方」、「のうちの１つ」、「のうちのただ１つ」、又は「のうちのまさに１つ」などの、排他性の用語が先行するとき、使用される用語「又は（或いは）」は、排他的な代替（すなわち、「いずれか一方であるが両方ではない」）を示すものとのみ解釈されるものとする。特許請求の範囲において使用されるとき、「基本的に含む(consisting essentially of)」は、特許法の分野で使用されるように通常の意味を有するものとする。

【0327】

本明細書及び特許請求の範囲で使用されるように、１つ又は複数の要素のリストを参照して語句「少なくとも１つ」は、要素のリスト内の任意の１つ又は複数の要素から選択される少なくとも１つの要素を意味すると理解されるべきであるが、要素のリスト内に具体的に記載されたありとあらゆる要素の少なくとも１つを必ずしも含まず、要素のリスト内の要素の任意の組み合わせを除外しない。この定義はまた、語句「少なくとも１つ」が言及する要素のリスト内に具体的に識別された要素以外の要素が、具体的に識別された要素に関連するか、或いは関連しないかにかかわらず、任意に存在し得ることを可能にする。したがって、非限定的な実施例として、「Ａ及びＢのうちの少なくとも１つ」（又は、同等に、「Ａ又はＢのうちの少なくとも１つ」、又は、同等に、「Ａ及び／又はＢのうちの少なくとも１つ」）は、一実施形態では、Ｂが存在しない（且つ、任意にＢ以外の要素を含む）、２つ以上を任意に含む、少なくとも１つのＡを言及し、別の実施形態では、Ａが存在しない（且つ、任意にＡ以外の要素を含む）、２つ以上を任意に含む、少なくとも１つのＢを言及し、さらに別の実施形態では、２つ以上を任意に含む、少なくとも１つのＡ、及び、２つ以上を任意に含む、少なくとも１つのＢ（且つ、任意に他の要素を含む）などを言及し得る。

【0328】

「含む(including)」、「含む(comprising)」、「有する(having)」、「含む(containing)」、「含む(involving)」、及びそのバリエーションの使用は、その後に記載された項目及び追加の項目を包含することを意図している。

【0329】

請求項要素を変更するために、請求項において、「第１」、「第２」、「第３」などの序数詞の使用は、それ自体、任意の優先順位、先行順位、すなわち他の請求項要素に対する１つの請求項要素の順位、又は方法の行為が実行される時間的順序を意味するものではない。序数詞は、請求項要素を区別するために、（序数詞の使用を除いて）特定の名称を有する１つの請求項要素を、同じ名称を有する別の要素から区別するための単にラベルとして使用される。

【図1】

【図2A-1】

【図2A-2】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7-1】

【図7-2】

【図8A】

【図8B】

【図8C】

【図9】

【図10A】

【図10B】

【図10C】

【図10D】

【図11】

【図12A】

【図12B】

【図13】

【図14A】

【図14B】

【図14C】

【図14D】

【図15】

【図16】

【図17】

【図18A】

【図18B】

【図19A】

【図19B】

【図19C】

【図19D】

【図20】

【図21】

【図22】

【図23】

【図24】

【国際調査報告】