ホーム > 特許ランキング > データチャット．エーアイ
特表2023-539225多次元データセットに対する機械学習モデルの選択と説明
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-09-13
(54)【発明の名称】多次元データセットに対する機械学習モデルの選択と説明
(51)【国際特許分類】
G06F 16/28 20190101AFI20230906BHJP
【ＦＩ】
G06F16/28
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023513226
(86)(22)【出願日】2021-08-23
(85)【翻訳文提出日】2023-04-21
(86)【国際出願番号】 US2021071255
(87)【国際公開番号】W WO2022047466
(87)【国際公開日】2022-03-03
(31)【優先権主張番号】63/070,074
(32)【優先日】2020-08-25
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520496268
【氏名又は名称】データチャット．エーアイ
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100153729
【弁理士】
【氏名又は名称】森本 有一
(72)【発明者】
【氏名】ジグネシュ パテル
(72)【発明者】
【氏名】ジュンダ チェン
(72)【発明者】
【氏名】ダイラン ポール ベーコン
(72)【発明者】
【氏名】チアトン リー
(72)【発明者】
【氏名】ウシュマル ラメシュ
(72)【発明者】
【氏名】ロジャーズ ジェフリー レオ ジョン
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175KA12
(57)【要約】
全体的に、技術は、データセットにアクセスする種々の態様に対して記述されている。多次元データセットを格納するように構成されているメモリを備える装置であって、プロセッサは、複数の機械学習モデルのそれぞれにより出力される結果を取得するために、この複数の機械学習モデルを多次元データセットに適用し、多次元データセットの１つ以上の次元の、複数の機械学習モデルのそれぞれにより出力される結果との相関関係を決定し、１つ以上の次元と、複数の機械学習モデルのそれぞれにより出力される結果との間で決定された相関関係に基づいて、複数の機械学習モデルのサブセットのそれぞれに対する結果を取得するために、複数の機械学習モデルのサブセットを選択し、複数の機械学習モデルのサブセットのそれぞれに対する結果を出力することができる。
【選択図】図７
【選択図】図７
【特許請求の範囲】
【請求項1】
多次元データセットを解釈するように構成されている装置であって、前記多次元データセットを格納するように構成されているメモリと、
１つ以上のプロセッサと、を備え、
前記１つ以上のプロセッサは、
複数の機械学習モデルのそれぞれにより出力される結果を取得するために、前記複数の機械学習モデルを前記多次元データセットに適用し、
前記多次元データセットの１つ以上の次元の、前記複数の機械学習モデルのそれぞれにより出力される結果との相関関係を決定し、
前記１つ以上の次元と、前記複数の機械学習モデルのそれぞれにより出力される結果との間で決定された前記相関関係に基づいて、前記複数の機械学習モデルのサブセットのそれぞれに対する結果を取得するために、前記複数の機械学習モデルのサブセットを選択し、
前記複数の機械学習モデルのサブセットのそれぞれに対する結果を出力する、ように構成されている装置。
【請求項2】
前記１つ以上のプロセッサは、前記結果を、平易言語を使用する文章として出力するように構成されている、請求項１に記載の装置。
【請求項3】
前記１つ以上のプロセッサは、前記複数の機械学習モデルのサブセットの少なくとも１つに対する結果を、前記１つ以上の次元のそれぞれの、前記複数の機械学習モデルのサブセットのそれぞれに対する結果との関連性を識別するグラフとして出力するように構成されている、請求項１に記載の装置。
【請求項4】
前記グラフはインパクトグラフを備えている、請求項３に記載の装置。
【請求項5】
前記１つ以上のプロセッサは、前記複数の機械学習モデルのサブセットのそれぞれに対する結果を、決定木の図形的表現として出力するように構成されている、請求項１に記載の装置。
【請求項6】
前記１つ以上のプロセッサは、前記１つ以上の次元と、前記複数の機械学習モデルのそれぞれにより出力される結果との間で決定される相関関係の、関連性閾値との比較に基づいて、前記複数の機械学習モデルのそれぞれにより出力される結果に対して低い関連性を有する前記多次元データセットの１つ以上の低関連性次元を決定し、
前記１つ以上の低関連性次元は前記結果に対して低い関連性を有していると説明する表示を出力する、ように更に構成されている、請求項１に記載の装置。
【請求項7】
前記１つ以上のプロセッサは、前記結果に対して低い関連性を有している前記１つ以上の低関連性次元を説明する、平易言語での文章を出力するように構成されている、請求項６に記載の装置。
【請求項8】
前記１つ以上のプロセッサは、前記複数の機械学習モデルの適用の前に、前記多次元データセットの前記１つ以上の次元を変換すること控えるように更に構成されている、請求項１に記載の装置。
【請求項9】
前記１つ以上のプロセッサは、前記複数の機械学習モデルの１つ以上のそれぞれに対する結果に基づいて、対応する結果を説明するために複数のチャートの１つ以上を決定し、
最も高くランク付けされたチャートを識別するために、前記複数のチャートの１つ以上をランク付けし、
前記最も高くランク付けされたチャートを選択し、
前記最も高くランク付けされたチャートをビジュアルチャートとして出力する、ように更に構成されている、請求項１に記載の装置。
【請求項10】
前記１つ以上のプロセッサは、前記ビジュアルチャートの形式化を説明する、平易言語での説明を生成し、
前記説明を出力する、ように更に構成されている請求項９に記載の装置。
【請求項11】
前記１つ以上のプロセッサは、前記装置がどのように前記複数の機械学習モデルを生成したかを説明するパイプラインレポートを生成し、
前記パイプラインレポートを出力する、ように更に構成されている、請求項１に記載の装置。
【請求項12】
多次元データセットを解釈する方法であって、複数の機械学習モデルのそれぞれにより出力される結果を取得するために、前記複数の機械学習モデルを前記多次元データセットに適用することと、
前記多次元データセットの１つ以上の次元の、前記複数の機械学習モデルのそれぞれにより出力される結果との相関関係を決定することと、
前記１つ以上の次元と、前記複数の機械学習モデルのそれぞれにより出力される結果との間で決定された前記相関関係に基づいて、前記複数の機械学習モデルのサブセットのそれぞれに対する結果を取得するために、前記複数の機械学習モデルのサブセットを選択することと、
前記複数の機械学習モデルのサブセットのそれぞれに対する結果を出力することと、を有している方法。
【請求項13】
前記結果を出力することは、前記結果を、平易言語を使用する文章として出力することを有している、請求項１２に記載の方法。
【請求項14】
前記結果を出力することは、前記複数の機械学習モデルのサブセットの少なくとも１つに対する結果を、前記１つ以上の次元のそれぞれの、前記複数の機械学習モデルのサブセットのそれぞれに対する結果との関連性を識別するグラフとして出力することを有している、請求項１２に記載の方法。
【請求項15】
前記グラフはインパクトグラフを有している、請求項１４に記載の方法。
【請求項16】
前記結果を出力することは、前記複数の機械学習モデルのサブセットのそれぞれに対する結果を、決定木の図形的表現として出力することを有している、請求項１２に記載の方法。
【請求項17】
前記１つ以上の次元と、前記複数の機械学習モデルのそれぞれにより出力される結果との間で決定される相関関係の、関連性閾値との比較に基づいて、前記複数の機械学習モデルのそれぞれにより出力される結果に対して低い関連性を有する多次元データセットの１つ以上の低関連性次元を決定することと、前記１つ以上の低関連性次元は前記結果に対して低い関連性を有していると説明する表示を出力することと、を更に有している請求項１２に記載の方法。
【請求項18】
前記表示を出力することは、前記結果に対して低い関連性を有している前記１つ以上の低関連性次元を説明する、平易言語での文章を出力することを有している、請求項１７に記載の方法。
【請求項19】
前記複数の機械学習モデルの適用の前に、前記多次元データセットの１つ以上の次元を変換すること控えることを更に有している、請求項１２に記載の方法。
【請求項20】
前記複数の機械学習モデルの１つ以上のそれぞれに対する結果に基づいて、対応する結果を説明するために複数のチャートの１つ以上を決定することと、最も高くランク付けされたチャートを識別するために、前記複数のチャートの１つ以上をランク付けすることと、
前記最も高くランク付けされたチャートを選択することと、
前記最も高くランク付けされたチャートをビジュアルチャートとして出力することと、を更に有している、請求項１２に記載の方法。
【請求項21】
前記ビジュアルチャートの形式化を説明する、平易言語での説明を生成することと、前記説明を出力することと、を更に有している請求項２０に記載の方法。
【請求項22】
装置がどのように前記複数の機械学習モデルを生成したかを説明するパイプラインレポートを生成することと、装置パイプラインレポートを出力することと、を更に有している請求項１２に記載の方法。
【請求項23】
命令を格納している非一時的コンピュータ読み取り可能格納媒体であって、前記命令は実行されると１つ以上のプロセッサに、複数の機械学習モデルのそれぞれにより出力される結果を取得するために、前記複数の機械学習モデルを多次元データセットに適用させ、
前記多次元データセットの１つ以上の次元の、前記複数の機械学習モデルのそれぞれにより出力される結果との相関関係を決定させ、
前記１つ以上の次元と、前記複数の機械学習モデルのそれぞれにより出力される結果との間で決定された前記相関関係に基づいて、前記複数の機械学習モデルのサブセットのそれぞれに対する結果を取得するために、前記複数の機械学習モデルのサブセットを選択させ、
前記複数の機械学習モデルのサブセットのそれぞれに対する結果を出力させる、命令を格納している非一時的コンピュータ読み取り可能格納媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、２０２０年８月２５日に出願された「ＭＡＣＨＩＮＥ ＬＥＡＲＮＩＮＧ ＭＯＤＥＬ ＳＥＬＥＣＴＩＯＮ ＡＮＤ ＥＸＰＬＡＮＡＴＩＯＮ ＦＯＲ ＭＵＬＴＩ－ＤＩＭＥＮＳＩＯＮＡＬ ＤＡＴＡＳＥＴＳ ＡＮＤ ＣＯＮＶＥＲＳＡＴＩＯＮＡＬ ＳＹＮＴＡＸ ＵＳＩＮＧ ＣＯＮＳＴＲＡＩＮＥＤ ＮＡＴＵＲＡＬ ＬＡＮＧＵＡＧＥ ＰＲＯＣＥＳＳＩＮＧ ＦＯＲ ＡＣＣＥＳＳＩＮＧ ＤＡＴＡＳＥＴＳ（機械学習モデル選択と多次元データセットに対する説明およびデータセットにアクセスするための制約のある自然言語処理を使用する会話構文）」というタイトルの米国暫定出願第６３／０７０，０７４の優先権を主張するものであり、その内容はここにおいて参照によりその全体が提示されたものとして組み込まれる。
【0002】
本開示は、演算およびデータ解析システムに関し、より具体的には、自然言語処理を使用するシステムに関する。
【背景技術】
【0003】
自然言語処理とは、一般的には、人間の言語を使用する会話相互作用を介してユーザにより提供されるユーザ入力を演算装置が処理する技術分野のことである。例えば、装置は、ユーザに種々の入力を促し、明確にする質問を提示し、後続の質問を提示し、または、入力を引き出すために、会話の方法でユーザと相互作用できる。ユーザは同様に、入力を文章または文章の一部として入力でき、それにより、装置により実行される１つ以上の意図（「タスク」と称することもできる）を特定するために装置とのシミュレートされたダイアログを確立できる。
【0004】
このプロセスの間、装置は、会話を提示するための種々のインタフェースを提示できる。例としてのインタフェースは、いわゆる「チャットボット」として動作でき、より会話的なトーンを確立するための努力において、個性、音声、嗜好、ユーモアなどを含む人間の性質を模倣する試みを実行するようにしばしば構成されており、それにより、より自然に入力を受信するためのユーザとの相互作用を促進できる。チャットボットの例としては、「デジタルアシスタント」（「仮想アシスタント」とも称することができる）が含まれ、それは、（会うことの予定を立てる、ホテルの予約をする、および食物の配達を予定するなどのような）支援専用のタスクのセットに注目したチャットボットのサブセットである。
【0005】
入力を構文解析して意図を識別するために利用される、多数の異なる自然言語処理アルゴリズムがあり、そのうちの幾つかは、機械学習に依存している。しかし、自然言語は、正確な形式に従わないことがよくあり、種々のユーザは、同じ一般的な意図という結果になる入力を表現するわずかに異なる方法を有している可能性があり、その結果、機械学習に依存するものも含めて、多くの自然言語アルゴリズムが特定的に対処することをプログラムされて（または、機械言語の状況においては訓練されて）いない、いわゆる「エッジケース」という結果になる。
【発明の概要】
【0006】
一般的に、本開示は、言語サブサーフェスを制約のある方法で露出し、それにより不明瞭さを除去し、および発見可能性を支援する、制約のある自然言語処理（ＣＮＬＰ）のための技術を記述している。一般的には、自然言語サーフェスとは、潜在的ユーザ入力の許可されたセット（例えば、発話）のことであり、つまり、自然言語処理システムが正しく処理できる発話のセットのことである。
【0007】
ＣＮＬＰを使用して、二次元以上（例えば、行および／または列）を有する多次元データセットを含むデータセットにアクセスするための技術の種々の態様が記述される。ユーザが、シーケンシャルクエリ言語、つまりＳＱＬ、Ｐａｎｄａｓ、および他のデータベースプログラミング言語などのような正式データベースにより採用されている正式（そして、しばしば厳格な）構文を理解することを要求するのではなく、技術の種々の態様は、より正式ではなく、より会話的なクエリを受信でき、ある必要条件を満たすデータをデータセットから取り出すために処理できるインタフェースを装置が提供することを可能にできる。装置は、正式ではない、より会話的クエリを、データセットと関連付けられている正式構文に従う正式ステートメントに変換できる。
【0008】
データセットへのそのようなアクセスを容易にすることは、ユーザが、関連する（クエリに対する関連性という点において）データを取り出すために使用される装置をより効率的に操作することを可能にできる。効率性は、装置がクエリ結果を、平易言語におけるクエリ結果の説明を含む結果に拡張または変換できるので、クエリ結果における十分な信頼性を保証しながら、試行錯誤のアプローチにおいて追加コマンドと動作を処理する必要がないことの結果として起こり得る。
【0009】
そのような変換の結果として、データセットにアクセスする試みがより少なくなるので、装置は、より効率的に動作できる。つまり、装置は、データセットに首尾よくアクセスして結果を提供するためのクエリを、より少なく受信することが可能であり、それは潜在的に、プロセッササイクル、メモリ、メモリ帯域幅などのようなリソースの消費がより少なくなり、それにより、より少ない電力消費という結果になることを可能にできる。
【0010】
更に装置は、データセットに格納されている多次元データセットの１つ以上の次元(例えば、選択された行または列）の、機械学習モデル（ＭＬＭ）により出力される変換されたクエリに応答して提供されるクエリ結果との相関関係を決定できる。装置は、クエリに応答して、結果を取得するためにデータセットにアクセスすることに起因するクエリ結果を解析する複数のＭＬＭを呼び出すことができる。決定された相関関係に基づいて、装置は、結果を取得するためにＭＬＭの１つ以上を選択できる（例えば、閾値相関関係よりも高い決定された相関関係を有しているＭＬＭを、結果の１つ以上のソースとして選択する）。装置は、結果を出力できるＭＬＭの１つ以上のそれぞれに対する結果を出力できる。
【0011】
装置は、文章の生成および／または決定を容易にするために決定された相関関係を利用して、ＭＬＭの１つ以上がなぜ選択されたかを説明する平易言語の文章を決定できる。装置は、結果の一部として、ＭＬＭの１つ以上がなぜ選択されたかを説明する文章を含むことができ、それにより、ユーザが結果をより良好に信頼することを可能にすることができる。そのような信頼は、ユーザが経験豊富なデータ科学者であっても、新しいユーザであっても、ユーザが装置との相互作用の数を削減できるように、結果における信頼性を得ることを可能にできる。
【0012】
そしてまた、そのような説明の結果として、データセットにアクセスする試みがより少なくなるので、装置は、より効率的に動作できる。つまり、装置は、データセットに首尾よくアクセスして結果を提供するためのクエリを、より少なく受信することが可能であり、そしてまた、それは潜在的に、プロセッササイクル、メモリ、メモリ帯域幅などのようなリソースの消費がより少なくなり、それにより、より少ない電力消費という結果になることを可能にできる。
【0013】
１つの例においては、技術の種々の態様は、多次元データセットを解釈するように構成されている装置に向けられており、装置は、多次元データセットを格納するように構成されているメモリと、１つ以上のプロセッサを備え、この１つ以上のプロセッサは、複数の機械学習モデルのそれぞれにより出力される結果を取得するために、この複数の機械学習モデルを多次元データセットに適用し、多次元データセットの１つ以上の次元の、複数の機械学習モデルのそれぞれにより出力される結果との相関関係を決定し、１つ以上の次元と、複数の機械学習モデルのそれぞれにより出力される結果との間で決定された相関関係に基づいて、複数の機械学習モデルのサブセットのそれぞれに対する結果を取得するために、複数の機械学習モデルのサブセットを選択し、複数の機械学習モデルのサブセットのそれぞれに対する結果を出力するように構成されている。
【0014】
他の例においては、技術の種々の態様は、多次元データセットを解釈する方法に向けられており、方法は、複数の機械学習モデルのそれぞれにより出力される結果を取得するために、この複数の機械学習モデルを多次元データセットに適用することと、多次元データセットの１つ以上の次元の、複数の機械学習モデルのそれぞれにより出力される結果との相関関係を決定することと、１つ以上の次元と、複数の機械学習モデルのそれぞれにより出力される結果との間で決定された相関関係に基づいて、複数の機械学習モデルのサブセットのそれぞれに対する結果を取得するために、複数の機械学習モデルのサブセットを選択することと、複数の機械学習モデルのサブセットのそれぞれに対する結果を出力することを備えている。
【0015】
他の例においては、技術の種々の態様は、命令を格納している非一時的コンピュータ読み取り可能格納媒に向けられており、この命令は実行されると１つ以上のプロセッサに、複数の機械学習モデルのそれぞれにより出力される結果を取得するために、この複数の機械学習モデルを多次元データセットに適用させ、多次元データセットの１つ以上の次元の、複数の機械学習モデルのそれぞれにより出力される結果との相関関係を決定させ、１つ以上の次元と、複数の機械学習モデルのそれぞれにより出力される結果との間で決定された相関関係に基づいて、複数の機械学習モデルのサブセットのそれぞれに対する結果を取得するために、複数の機械学習モデルのサブセットを選択させ、複数の機械学習モデルのサブセットのそれぞれに対する結果を出力させる。
【0016】
他の例においては、技術の種々の態様は、データセットにアクセスするように構成されている装置に向けられており、装置は、データセットを格納するように構成されているメモリと、１つ以上のプロセッサを備え、この１つ以上のプロセッサは、自然言語に対する文法を、複数の言語サブサーフェスの階層的配置として定義する自然言語包含階層を特定する言語サブサーフェスを露出し、露出された言語サブサーフェスにより提供される自然言語の部分に準拠する、データセットにアクセスするためのクエリを受信し、クエリを、データセットと関連付けられている正式構文に準拠する１つ以上のステートメントに変換し、１つ以上のステートメントに基づいて、クエリ結果を取得するためにデータセットにアクセスし、クエリ結果を出力するように構成されている。
【0017】
他の例においては、技術の種々の態様は、データセットにアクセスする方法に向けられており、方法は、自然言語に対する文法を、複数の言語サブサーフェスの階層的配置として定義する自然言語包含階層を特定する言語サブサーフェスを露出することと、露出された言語サブサーフェスにより提供される自然言語の部分に準拠する、データセットにアクセスするためのクエリを受信することと、クエリを、データセットと関連付けられている正式構文に準拠する１つ以上のステートメントに変換することと、１つ以上のステートメントに基づいて、クエリ結果を取得するためにデータセットにアクセスすることと、クエリ結果を出力することを備えている。
【0018】
他の例においては、技術の種々の態様は、命令を格納している非一時的コンピュータ読み取り可能格納媒に向けられており、この命令は実行されると１つ以上のプロセッサに、自然言語に対する文法を、複数の言語サブサーフェスの階層的配置として定義する自然言語包含階層を特定する言語サブサーフェスを露出させ、露出された言語サブサーフェスにより提供される自然言語の部分に準拠する、データセットにアクセスするためのクエリを受信させ、クエリを、データセットと関連付けられている正式構文に準拠する１つ以上のステートメントに変換させ、１つ以上のステートメントに基づいて、クエリ結果を取得するためにデータセットにアクセスさせ、クエリ結果を出力させる。
【0019】
技術の１つ以上の態様の詳細は、付随する図と下記の記述において記述されている。これらの技術の他の特徴、目的、および利点は、記述、図、および特許請求の範囲から明白になるであろう。
【図面の簡単な説明】
【0020】
【0021】
【図2A】図２Ａは、ホスト装置の実行プラットフォームにより実行される多数の異なるアプリケーションを含んでいる、図１において示されているホスト装置のインタフェースユニットにより提示される例としてのインタフェースを示している図である。
【図2B】図２Ｂは、ホスト装置の実行プラットフォームにより実行される多数の異なるアプリケーションを含んでいる、図１において示されているホスト装置のインタフェースユニットにより提示される例としてのインタフェースを示している図である。
【図2C】図２Ｃは、ホスト装置の実行プラットフォームにより実行される多数の異なるアプリケーションを含んでいる、図１において示されているホスト装置のインタフェースユニットにより提示される例としてのインタフェースを示している図である。
【図2D】図２Ｄは、ホスト装置の実行プラットフォームにより実行される多数の異なるアプリケーションを含んでいる、図１において示されているホスト装置のインタフェースユニットにより提示される例としてのインタフェースを示している図である。
【図2E】図２Ｅは、ホスト装置の実行プラットフォームにより実行される多数の異なるアプリケーションを含んでいる、図１において示されているホスト装置のインタフェースユニットにより提示される例としてのインタフェースを示している図である。
【図2F】図２Ｆは、ホスト装置の実行プラットフォームにより実行される多数の異なるアプリケーションを含んでいる、図１において示されているホスト装置のインタフェースユニットにより提示される例としてのインタフェースを示している図である。
【図2G】図２Ｇは、ホスト装置の実行プラットフォームにより実行される多数の異なるアプリケーションを含んでいる、図１において示されているホスト装置のインタフェースユニットにより提示される例としてのインタフェースを示している図である。
【0022】
【図3A】図３Ａは、本開示において記述されているＣＮＬＰ技術の種々の態様に従う、図２において示されているセールスマネージャ生産性アプリケーションを介するセールスマネージャ生産性解析を容易にする、図１において示されているホスト装置のインタフェースユニットにより提示されるインタフェースを例示している図である。
【図3B】図３Ｂは、本開示において記述されているＣＮＬＰ技術の種々の態様に従う、図２において示されているセールスマネージャ生産性アプリケーションを介するセールスマネージャ生産性解析を容易にする、図１において示されているホスト装置のインタフェースユニットにより提示されるインタフェースを例示している図である。
【図3C】図３Ｃは、本開示において記述されているＣＮＬＰ技術の種々の態様に従う、図２において示されているセールスマネージャ生産性アプリケーションを介するセールスマネージャ生産性解析を容易にする、図１において示されているホスト装置のインタフェースユニットにより提示されるインタフェースを例示している図である。
【図3D】図３Ｄは、本開示において記述されているＣＮＬＰ技術の種々の態様に従う、図２において示されているセールスマネージャ生産性アプリケーションを介するセールスマネージャ生産性解析を容易にする、図１において示されているホスト装置のインタフェースユニットにより提示されるインタフェースを例示している図である。
【図3E】図３Ｅは、本開示において記述されているＣＮＬＰ技術の種々の態様に従う、図２において示されているセールスマネージャ生産性アプリケーションを介するセールスマネージャ生産性解析を容易にする、図１において示されているホスト装置のインタフェースユニットにより提示されるインタフェースを例示している図である。
【0023】
【0024】
【0025】
【0026】
【発明を実施するための形態】
【0027】
図１は、制約のある自然言語処理（ＣＮＬＰ）のための、本開示において記述されている技術の種々の態様を実行できるシステム１０を例示している図である。図１の例において示されているように、システム１０は、ホスト装置１２とクライアント装置１４を含んでいる。２つの装置、つまり、図１の例におけるホスト装置１２とクライアント装置１４を含んでいるものとして示されているが、システム１０は、ホスト装置１２とクライアント装置１４の両者に関して下記に記述されている機能を組み込んでいる単一の装置を含むことができ、または、ホスト装置１２の１つ以上によりホスト（管理および格納）される相互データベースを共有する１つ以上のホスト装置１２とそれぞれがインタフェースを取る複数のクライアント装置１４を含むことができる。
【0028】
ホスト装置１２は、本開示において記述されている技術を実現できる演算装置の任意の形状を表すことができ、幾つかの例を挙げれば、ハンドセット（または、セルラーフォン）、タブレットコンピュータ、いわゆるスマートフォン、デスクトップコンピュータ、およびラップトップコンピュータが含まれる。同様に、クライアント装置１４は、本開示において記述されている技術を実現できる演算装置の任意の形状を表すことができ、幾つかの例を挙げれば、ハンドセット（または、セルラーフォン）、タブレットコンピュータ、いわゆるスマートフォン、デスクトップコンピュータ、ラップトップコンピュータ、いわゆるスマートスピーカ、いわゆるスマートヘッドフォン、およびいわゆるスマートテレビジョンが含まれる。
【0029】
図１の例において示されているように、ホスト装置１２は、サーバ２８、ＣＮＬＰユニット２２、１つ以上の実行プラットフォーム２４、およびデータベース２６を含んでいる。サーバ２８は、ＣＮＬＰユニット２２と実行プラットフォーム２４との間のデータの経路決めを調整すると共に、会話文脈を維持するように構成されているユニットを表すことができる。
【0030】
サーバ２８はインタフェースユニット２０を含むことができ、インタフェースユニット２０は、入力を示しているデータ１９を引き出す、および／または結果２５を提示するために、ホスト装置１２が１つ以上のインタフェース２１をクライアント装置１４に提示できるユニットを表すことができる。データ１９は、音声入力、テキスト入力、画像入力（例えば、テキストを表している、または、テキストに変換できる）、または、ホスト装置１２とのダイアログを促進できる任意の他のタイプの入力を示すことができる。インタフェースユニット２０は、グラフィカルユーザインタフェース（ＧＵＩ）、コマンドラインインタフェース（ＣＬＩ）、または、ユーザ１６にデータを提示、またはデータを提供するための任意の他のインタフェースを含む種々のインタフェース２１を生成、または出力できる。インタフェースユニット２０は、１つの例として、ユーザ１６が、入力を示すデータ１９（つまり、チャットサーバの例の状況においてはテキスト入力）を入力するために相互作用できるＧＵＩの形状のチャットインタフェース２１を出力できる。サーバ２８は、データ１９をＣＮＬＰユニット２２に出力できる（または、ＣＮＬＰユニット２２を呼び出して、その呼び出しを介してデータ１９を渡すことができる）。
【0031】
ＣＮＬＰユニット２２は、本開示において記述されているようなＣＮＬＰ技術の種々の態様を実行するように構成されているユニットを表すことができる。ＣＮＬＰユニット２２は、多数の相互接続されている言語サブサーフェス（「ＳＳ」と示されている）１８Ａ～１８Ｇ（「ＳＳ１８」）を維持できる。言語サブサーフェス１８はまとめて１つの言語を表すことができ、一方、言語サブサーフェス１８のそれぞれは、その言語の一部（異なる部分であってもよく、または重なっている部分であってもよい）を提供できる。それぞれの部分は、ユーザ１６が、入力を示しているデータ１９を入力するためにインタフェースを取ることができる、自然言語に対して許可されている構文規則と文字列の対応するセットを特定できる。ＣＮＬＰユニット２２は、下記により詳細に記述されるように、１つ以上の意図２３を識別するために、言語サブサーフェス１８とデータ１９に基づいてＣＮＬＰを実行できる。ＣＮＬＰユニット２２は意図２３をサーバ２８に出力でき、その結果、サーバ２８は、意図２３と関連付けられている実行プラットフォーム２４の１つを呼び出すことができ、意図２３を、更なる処理のために、実行プラットフォーム２４の１つに渡すことができる。
【0032】
実行プラットフォーム２４は、識別された意図２３と関連付けられている種々のプロセスを実行するように構成されている１つ以上のプラットフォームを表すことができる。プロセスはそれぞれ、図１の例においては、データベース２６に関する動作の異なるセットを実行できる。幾つかの例においては、実行プラットフォーム２４はそれぞれ、セールスデータ解析、健康データ解析、またはローンデータ解析、機械学習の異なる形状などを含むデータ解析の異なるカテゴリなどのような、異なるカテゴリに対応するプロセスを含むことができる。幾つかの例においては、実行プラットフォーム２４は、データベース２６に格納されているデータの種々の異なる組み合わせが、複雑な処理およびチャート、グラフなどを介する表示を経ることを可能にする一般的なデータ解析を実行できる。実行プラットフォーム２４は、実行プラットフォーム２４がサーバ２８に返すことができる結果２５を取得するために意図２３を処理できる。インタフェースユニット２０は、結果２５を提示するＧＵＩ２１を生成でき、ＧＵＩ２１をクライアント装置１４に送信できる。
【0033】
この点に関して、実行プラットフォーム２４は一般的には、データベース２６に格納されている基礎となるデータの解析を実行するためのアプリケーションをサポートする異なるプラットフォームを表すことができ、プラットフォームは、データの進化する収集および解析に対応するために、または、他のタスク／意図を実行するために拡張可能なアプリケーション開発を提供できる。例えば、実行プラットフォーム２４は、そのようなプラットフォームを、Ｐｏｓｔｇｒｅｓ（ＰｏｓｔｇｒｅｓＳＱＬと称することもでき、データのロードと操作を実行するリレーショナルデータベースを表している）、ＴｅｎｓｏｒＦｌｏｗＴＭ（特殊化されている機械学習エンジンにおいて機械学習を実行できる）、およびＡｍａｚｏｎ Ｗｅｂ Ｓｅｒｖｉｃｅ（またはＡＷＳ、複数の機械を利用することもしばしばあり、一般的にはクラウドと称される、大規模データ解析タスクを実行する）として含むことができる。
【0034】
クライアント装置１４はクライアント３０（チャットボットインタフェースの状況においては「チャットクライアント３０」と称することができる）を含むことができる。クライアント３０は、インタフェース２１を提示し、データ１９の入力を可能にするように構成されているユニットを表すことができる。クライアント３０は、専用第三者アプリケーションとして、当事者アプリケーションとして、または、クライアント装置１４のオペレーティングシステムの統合された構成要素（図１においては示されていない）として、ブラウザの状況内で実行できる。
【0035】
自然言語処理に戻ると、ＣＮＬＰユニット２２は、自然言語処理の他の形状と比較して、自然言語処理のバランスの取れた形状を実行できる。自然言語処理とは、クライアント装置１４との会話相互作用を介して提供される入力（「入力１９」とも称することができ、または、言い換えると、説明を容易にする目的のための「クエリ１９」とも称することができる）を示すデータ１９をホスト装置１２が処理することを試みるプロセスのことを指すことができる。ホスト装置１２は、ユーザ１６に種々の入力１９を動的に促すことができ、明確にする質問を提示でき、後続の質問を提示でき、または、入力１９を取り出すために会話の方法でユーザと相互作用できる。ユーザ１６は同様に、入力１９を文章または文章の一部として入力でき、それにより、１つ以上の意図２３（「タスク２３」とも称することができる）を識別するために、ホスト装置１２とのシミュレートされたダイアログを確立できる。
【0036】
ホスト装置１２は、会話を提示するための種々のインタフェース２１を提示できる。例としてのインタフェースは、いわゆる「チャットボット」として動作でき、より会話的なトーンを確立するための努力において、個性、音声、嗜好、ユーモアなどを含む人間の性質を模倣する試みを実行でき、それにより、より自然に入力を受信するためのユーザとの相互作用を促進できる。チャットボットの例としては、「デジタルアシスタント」（「仮想アシスタント」とも称することができる）が含まれ、それは、（会うことの予定を立てる、ホテルの予約をする、および食物の配達を予定するなどのような）支援専用のタスクのセットに注目したチャットボットのサブセットである。
【0037】
多数の異なる自然言語処理アルゴリズムが、入力１９を構文解析して意図２３を識別するために存在し、そのうちの幾つかは、機械学習に依存している。しかし、自然言語は、常に正確な形式に従うことができるわけではなく、種々のユーザは、同じ一般的な意図２３という結果になる入力１９を表現するわずかに異なる方法を有している可能性があり、その中には、機械学習に依存するものも含めて、多くの自然言語アルゴリズムがそのようなエッジケースに特定的に対処することをプログラムされて（または、機械言語の状況においては訓練されて）いない、いわゆる「エッジケース」という結果になり得るものもある。機械学習に基づく自然言語処理は、予測可能性や正確さよりも自然さを重視する可能性があり、それにより、言語の訓練された自然さが、ユーザにより知覚される言語の自然さと異なるときは、エッジケースにより多く遭遇することになる。そのようなエッジケースは、システムにより理解および処理は不可能と識別されて報告されることもあり得、ユーザを失望させ得る。一方、システムが、ユーザの意図を不正確に理解して作業を続け、望ましくない、または誤っている可能性のある行動または結果を引き起こすということもあり得る。
【0038】
入力１９を構文解析して意図２３を識別するために利用される他のタイプの自然言語処理アルゴリズムは、キーワードに頼る可能性がある。キーワードに基づく自然言語処理アルゴリズムが精度がよく、予測可能であっても、キーワードに基づく自然言語処理アルゴリズムは、キーワードが異なる意図２３を記述することにおいてニュアンスがある場合、そのニュアンスをあまり提供しないという点において正確ではない。
【0039】
言い換えると、種々の自然言語処理アルゴリズムは、２つのクラスに分類される。第１のクラスにおいては、自然言語処理に対する機械学習に基づくアルゴリズムは、ディープニューラルネットワークおよびサポートベクトルマシンなどのような統計的機械学習プロセスに頼る。これらの機械学習プロセスの両者は、ユーザの発話におけるニュアンスを区別する能力が限られている可能性がある。更に、機械学習に基づくアルゴリズムは、同じ意図に対して、広く多様な自然に聞こえる発話を可能にするが、そのような機械学習に基づくアルゴリズムは、予測不能な場合がよくあり得、開発者およびユーザが理解するのが困難なように、連続するバージョンにおいて同じ発話を異なるように構文解析してしまう可能性がある。第２のクラスにおいては、自然言語処理に対する単純なキーワードに基づくアルゴリズムは、ユーザの発話を、キーワードの予め定義されているセットに対して一致させることができ、関連付けられている意図を取り出せる。
【0040】
ＣＮＬＰユニット２２は、入力１９（１つの例として、「発話」と称することもできる自然言語によるステートメントを含むことができる）を、精度、正確さ、および予測可能性の間のバランスを取るように構文解析できる。ＣＮＬＰユニット２２は、基礎となる言語サーフェスを実現するときの種々の設計決定を通してそのバランスを達成できる（これは、サブサーフェス１８を収集したもの、または「言語」に言及する他の方法である）。言語サーフェス１８は、サーバ２８が、ユーザ１６の意図を構文解析できる（または、より擬人化すれば、「理解できる」）潜在的ユーザ発話のセットを表すことができる。
【0041】
設計決定は、精度（例えば、サーバ２８はどの程度の頻度で発話を正しく解釈できるか）、正確さ（例えば、ユーザ１６の意図を表現することにおいて、発話にはどのようなニュアンスの差があり得るのか）、および自然さ（例えば、ユーザ１６の同じ意図に対応する発話の種々の構文解析はどの程度多様であり得るか）を含む、競合する優先度の間のトレードオフを取り決めることができる。ＣＮＬＰ技術は、ＣＮＬＰユニット２２が、入力１９（「発話１９」と記述することもできる）を明確に構文解析することを可能にでき、それにより、正確な（制約はあるが）自然言語発話１９の予測可能な精度のよい構文解析を潜在的に保証できる。
【0042】
動作においては、ＣＮＬＰユニット２２は、制約のある方法で、言語サブサーフェスの１つの選択を最初のユーザ（ユーザ１６を例示の目的で仮定することができる）に露出でき、潜在的には、言語サブサーフェス１８の１つの選択を露出できるのみである。ＣＮＬＰユニット２２は、インタフェースユニット２０を介して、露出された言語サブサーフェスにより提供される言語の部分に準拠する入力１９を受信でき、その言語と関連付けられている複数の意図２３からユーザ１６の意図２３を識別するために入力１９を処理できる。つまり、サーバ２８をサポートすることにおいてＣＮＬＰユニット２２を設計するときに、設計者は、サーバ２８がサポートする（ＣＮＬＰユニット２２を介して、入力１９の構文解析をサポートするという点で）意図２３のセットを選択できる。
【0043】
更に、ＣＮＬＰユニット２２は、１つ以上のエンティティをサポートすることにより、意図２３のそれぞれに関して正確さを随意的に増大させることができる。例を挙げると、会うことの予定を立てる意図と関連付けられている時間および／または場所、会うことの予定を立てる意図のそれぞれの反復（もしあれば）の頻度、および、会うことの予定を立てる意図に対する他の参加者（もしいれば）などのようなエンティティを有することができる会うことの予定を立てることの意図を考えてみる。ＣＮＬＰユニット２２は、発話１９が、意図２３のセットのある１つに属していることを識別するために構文解析のプロセスを実行でき、その後に、発話１９において発生していた可能性のある如何なるエンティティも抽出できる。
【0044】
ＣＮＬＰユニット２２は、言語１８により提供される意図２３のそれぞれを、１つ以上のパターンと関連付けることができる。ＣＮＬＰユニット２２によりサポートされる各パターンは、下記の構成要素の１つ以上を含むことができる。
ａ）この意図に属しているとして構文解析される発話において存在できる識別子の非空セット。各識別子は、その存在が、識別子の存在と同等に取り扱われる１つ以上の同義語と関連付けることができる。
ｂ）ＣＮＬＰユニット２２が、識別子に対して、発話において場所エンティティがどこで起こるかに基づいて構文解析できる場所エンティティのオプションセット。
ｃ）それぞれが、キーワード（およびその同義語の可能性もある）と関連付けられているキーワードエンティティのオプションセット。これらのキーワードエンティティは、互いに対して、発話において何れの場所においても起こり得、それらの場所の代わりに、キーワードエンティティを、発話における近くの（前または後の）関連付けられているキーワードの発生に基づいて構文解析できる。
ｄ）それぞれが、１つ以上の前置詞（「それぞれに対して」などのような用語も含むことができる）と関連付けられている前置詞フレーズエンティティのオプションセット。これらの前置詞フレーズエンティティは、対応する前置詞フレーズの発生に基づいて構文解析できる。
ｅ）「その」や「ある」などのような、自然言語において普通に発生し、または、発話の解釈に対しては有用性がほとんどない語句を指すことができる、無視される語句のセット。
ｆ）各エンティティと随意的に関連付けられ、ＣＮＬＰユニット２２がユーザ１６に問い合わせるために、および値が発話から構文解析できないときに、エンティティに対する値を取り出すために使用できるステートメントと共に、エンティティの記述の両者を提供するプロンプト。および
ｇ）識別子とエンティティがパターンにおいて発生し得る相対的順序を記述するパターンステートメント。
ａ）この意図に属しているとして構文解析される発話において存在できる識別子の非空セット。各識別子は、その存在が、識別子の存在と同等に取り扱われる１つ以上の同義語と関連付けることができる。
ｂ）ＣＮＬＰユニット２２が、識別子に対して、発話において場所エンティティがどこで起こるかに基づいて構文解析できる場所エンティティのオプションセット。
ｃ）それぞれが、キーワード（およびその同義語の可能性もある）と関連付けられているキーワードエンティティのオプションセット。これらのキーワードエンティティは、互いに対して、発話において何れの場所においても起こり得、それらの場所の代わりに、キーワードエンティティを、発話における近くの（前または後の）関連付けられているキーワードの発生に基づいて構文解析できる。
ｄ）それぞれが、１つ以上の前置詞（「それぞれに対して」などのような用語も含むことができる）と関連付けられている前置詞フレーズエンティティのオプションセット。これらの前置詞フレーズエンティティは、対応する前置詞フレーズの発生に基づいて構文解析できる。
ｅ）「その」や「ある」などのような、自然言語において普通に発生し、または、発話の解釈に対しては有用性がほとんどない語句を指すことができる、無視される語句のセット。
ｆ）各エンティティと随意的に関連付けられ、ＣＮＬＰユニット２２がユーザ１６に問い合わせるために、および値が発話から構文解析できないときに、エンティティに対する値を取り出すために使用できるステートメントと共に、エンティティの記述の両者を提供するプロンプト。および
ｇ）識別子とエンティティがパターンにおいて発生し得る相対的順序を記述するパターンステートメント。
【0045】
例として、会うことの予定を立てるために、ＣＮＬＰユニット２２は下記のようにパターンを定義できるということを考えてみる。識別子は「予定を立てる」と「会うこと」であってよく、「会うこと」という語句は、「会う約束」という同義語を有することができる。ＣＮＬＰユニット２２は、「毎日会うことの予定を立てる」または「毎週会う約束の予定を立てる」の形状で起こる入力１９から、会うことの頻度を前置詞エンティティとして取り込むことができる。そのようなステートメントは、その代わりに、「毎日の頻度で会うことの予定を立てる」または、「毎週の頻度で会う約束の予定を立てる」などにおけるように、キーワードエンティティ（キーワード「頻度」を有する）として取り込むことができる。ＣＮＬＰユニット２２は、「私は、午後５時にその会うことを予定したい」または「正午にある会う約束を予定したい」などにおけるように、前置詞（日本語では助詞）「に」を使用してタイミングを構文解析するために前置詞フレーズを使用できる。
【0046】
上記の例は、「ある」、「その」、「私」、「したい」などを含む、構文解析するときに無視するようにＣＮＬＰユニット２２をプログラムできる多数の語句を含んでいる。タイミングエンティティはまた、「あなたは何時にその会うことを予定したいですか？」などのようなプロンプトを含むことができ、サーバ２８は、発話１９においてタイミングを指定していないか場合は、ユーザ１６に尋ねるクエリを開始できる。パターンステートメントは、このパターンは、すべての他のエンティティ共に、識別子「予定を立てる」が「会うこと」（または、その同義語「会う約束」）の前に発生することを要求していることを記述できる。
【0047】
そのため、ＣＮＬＰユニット２２は、言語１８と関連付けられている複数のパターンからあるパターンを識別するために入力１９を処理でき、複数のパターンのそれぞれは、複数の意図２３の異なる１つと関連付けられている。そして、ＣＮＬＰユニット２２は、識別されたパターンに基づいて、言語の部分と関連付けられている複数の意図からユーザ１６の意図２３を識別できる。
【0048】
パターンは、上述したように、識別子を含むことができる。パターンを識別するために、ＣＮＬＰユニット２２は、識別子を識別するために入力１９を構文解析でき、そして、識別子に基づいてパターンを識別できる。パターンは、識別子と場所エンティティの両者を含むことができる。これらの例においては、ＣＮＬＰユニット２２は、場所エンティティを識別するために入力１９を構文解析でき、そして、識別子と場所エンティティに基づいてパターンを識別できる。
【0049】
追加的に、パターンは、上述したように、キーワードを含むことができる。ＣＮＬＰユニット２２は、キーワードを識別するために入力１９を構文解析でき、そして、キーワードに基づいて、下記の例において示されている方法でパターンを識別できる。
【0050】
パターンは、上述したように、エンティティを含むことができる。パターンがエンティティを含むときは、ＣＮＬＰユニット２２は、入力１９はパターンに対応するが、エンティティを含んでいないと決定できる。ＣＮＬＰユニット２２は、入力１９はパターンに対応するが、エンティティを含んでいないという決定に基づいて、エンティティを特定する追加入力を示すデータを要求するプロンプトをインタフェース２１を介して出力するためにインタフェースユニット２２とのインタフェースを取ることができる。ユーザ１６は、エンティティを特定する追加入力（表現の容易さのために「追加入力１９」と記述できる）を示すデータ１９を入力できる。インタフェースユニット２２は、追加入力１９を受信でき、追加入力１９をＣＮＬＰユニット２２に渡すことができ、ＣＮＬＰユニット２２は、入力１９と追加入力１９に基づいてパターンを識別できる。
【0051】
ＣＮＬＰユニット２２は、異なる意図２３を識別するために、パターン構文解析プログラムを実行するためのプラットフォームを提供できる。ＣＮＬＰユニット２２により提供されるプラットフォームは、パターン構文解析プログラムの開発、改良、追加、または除去を可能にするように拡張可能である。ＣＮＬＰユニット２２は、種々のエンティティを抽出するために、パターン構文解析プログラムに埋め込まれているエンティティ構文解析プログラムを利用できる。種々のエンティティが入力１９において特定されないときは、ＣＮＬＰユニット２２は、これもまたパターン構文解析プログラムに埋め込まれているプロンプトを呼び出すことができる。ＣＮＬＰユニット２２は、プロンプトを出力することに応答して、特定されていないエンティティを特定する追加入力１９を受信でき、それにより、意図２３と関連付けられている可能性のあるパターンを識別するために入力１９を構文解析できる。
【0052】
このようにして、ＣＮＬＰユニット２２は、意図２３を識別するために種々の入力１９を構文解析できる。ＣＮＬＰユニット２２は、意図２３をサーバ２８に提供でき、サーバ２８は、実行プラットフォーム２４の１つ以上を呼び出すことができ、意図２３を、パターンおよび関連付けられているエンティティ、キーワードなどの形状において実行プラットフォーム２４に渡すことができる。実行プラットフォーム２４の呼び出された１つは、データベース２６の対応する１つに関して動作を実行するために、意図２３と関連付けられているプロセスを実行でき、それにより、結果２５を取得できる。実行プラットフォーム２４の呼び出された１つは、（動作を実行した）結果２５をサーバ２８に提供でき、サーバ２８は結果２５を、インタフェース２１を介して、入力１９を入力するためにホスト装置１２とのインタフェースを取るクライアント装置１４に提供できる。
【0053】
各パターンとの関連付けは、パターンは、現在のユーザセッションにおける時点でユーザに露出されるべきかどうかを識別できる機能（つまり、手順）であってよい。例えば、「バブル＿チャート＿作成」パターンを、ユーザにより以前にロードされた少なくとも１つのデータセットがあるかどうかを決定する手順と関連付けることができる（可能性としては、「ファイル＿から＿データを＿ロード」パターン、または、同様に作用するが、データを、ファイルの代わりにデータベースからロードする「データベース＿から＿データを＿ロード」パターンを使用して）。そのような手順が、システムにおけるすべてのデータ視覚化パターンと関連付けられると（「ヒストグラム＿作成」および「線＿チャート＿作成」などのように）、データ視覚化パターンは、言語サブサーフェスを形成するとしてコンセプト化できる。
【0054】
これらのパターンは、データローディングパターン（他の言語サブサーフェスを形成する）の１つを使用するときに露出されるだけなので、ＣＮＬＰユニット２２は、言語サブサーフェスを互いに効果的にリンクできる。ユーザは、上記の必要条件が満たされた後にデータ視覚化言語サブサーフェスに属する発話を実行できるだけなので、ユーザには、関心のあるタスクを実行するときの、いわゆる「思考プロセス」に関する構造体が提供され、ユーザが、少しずつ進む方法で、システムの機能を（自然に）発見することを可能にし、発見プロセスの間の認識オーバーヘッドを削減できる。
【0055】
そのためＣＮＬＰユニット２２は、いわゆる「デジタルアシスタント」または「チャットボット」などのような自然言語インタフェースに従ってユーザ１６とのインタフェースを取るホスト装置１２のより良好な動作を促進できる。複数の異なる意味が構文解析され得る不明瞭な入力を処理することを試みること、およびユーザが入力により意図した正確な意味を突き止めるために後続の質問を提示することに処理サイクルを消費する代わりに、利用可能な言語を１つ以上のサブサーフェス１８に制限することにより、ＣＮＬＰユニット２２は、入力１９のより効率のよい処理という結果になり得る。処理サイクルにおける削減は、より少ない電力が消費され、削減されたメモリ消費量という結果になる、より少ない状態が生成され、および、より少ないメモリ帯域幅が利用され（この両者はまた、電力消費量を更に削減する）、そして、より多くの処理帯域幅が他のプロセスのために保存されるので、ホスト装置１２の動作を向上できる。
【0056】
ＣＮＬＰユニット２２は、オートコンプリート、プロンプト、質問、または動的提案機構を通して異なる言語サブサーフェス１８を導入でき、それにより、より自然な（言い換えると、より会話的な）方法で、追加言語サブサーフェスをユーザに露出できる。リンクされたサブサーフェスを通しての結果である自然な探索は、ユーザのアクセス可能性、およびＣＮＬＰ技術により使用される言語の自然学習を促進でき、それにより、ＣＮＬＰ技術が動作する言語の不十分な理解を通してのユーザの未経験により一般的に現れるエッジケースにしばしば遭遇することによるフラストレーションを回避できる。この意味において、ＣＮＬＰ技術は、不明瞭なエッジケースを回避する意図を表現することにおける正確さと精度を可能にするために、言語の制約された明瞭な部分を利用してユーザがサブサーフェスを露出することを自然に可能にすることで、自然さ、正確さ、および精度の間のバランスを取ることができる。
【0057】
例えば、データのロードと洗浄、種々のビジネス関連の質問に答えるためにデータをスライスまたは細かく切ること、パターンを認識するためにデータを視覚化すること、および、将来の傾向を予測するために機械学習技術を使用することを含む、データ解析の種々のカテゴリを実行するように設計されているチャットボットを考えてみる。ここにおいて記述されている技術を使用して、そのようなシステムの設計者は、発話を、システムが明確に理解できるものに潜在的に制約しながら、ユーザがこれらの多様なタスクに対応する意図を表現することを可能にする大きな言語サーフェスを特定でき、それにより、エッジケースを回避できる。更に、言語サーフェスは、オートコンプリート機構を使用して、未経験ユーザでさえも、自身が実行したい特定のタスクに、システムにおけるすべての他の機能に圧倒されることなく集中できることを確実にするために調整できる。例えば、ユーザが、自身のデータを要約するチャートを作成するために自身の意図を表現することを開始すると、システムは、ユーザが自身で選択できる種々のチャートフォーマットを提案できる。ユーザがチャートフォーマット（例えば、線チャート）を選択すると、システムは、軸、色、およびユーザが構成できる他の部分を提案できる。
【0058】
システム設計者は、言語サブサーフェス（例えば、データロードのための、データ視覚化のための、および機械学習のための発話）と、言語サブサーフェスがユーザに露出される条件を特定できる。例えば、データ視覚化サブサーフェスは、ユーザが何等かのデータをシステムにロードしたときのみ露出でき、機械学習サブサーフェスは、ユーザが、機械学習モデルを構築および解釈するときのわずかな差異および陥りやすい誤りを認識していると認めると露出できるのみである。つまり、自然言語発話において詳細と複雑さを徐々に明らかにするこのプロセスは、その内部においてと共に、言語サブサーフェスにわたって拡張する。
【0059】
まとめると、ＣＮＬＰ技術は、多様なニーズおよび多様な習熟レベルのユーザをサポートするために、高い正確さで多様の意図をプログラム的に認識することを可能にしながら、使用が容易なユーザインタフェースを有するシステムを構築するために使用できる（例えば、訓練をほとんど必要とせず、認識オーバーヘッドを制限することが可能）。そのため、これらの技術は、そうでなければ困難、または不可能でさえあった、機能と有用性との間のバランスを達成する新しいシステム設計を可能にできる。ＣＮＬＰ技術に関する更なる情報は、２０１９年６月１４日に出願された、「制約のある自然言語処理」というタイトルの米国出願第１６／４４１，９１５号において見出すことができ、その全体の内容は、ここにおいて参照により指定されたものとして組み込まれる。
【0060】
これらのＣＮＬＰ技術の状況においては、種々のクエリ１９は、正式構文に従う１つ以上のデータベース２６とのインタフェースを取ることを要求する可能性がある。例えば、データベース２６に１つ以上は、データベース２６に格納されているデータにアクセスするための正式構文（正式にはＳＥＱUＥＬと称されていた頭字語ＳＱＬにより知られている）を有するシーケンシャルクエリ言語（ＳＱＬ）データベースを表すことができる。他の例として、データベース２６の１つ以上は、正式Ｐａｎｄａｓ構文を介してアクセス可能な、いわゆるＰａｎｄａｓデータフレームを表すことができる。そのような正式構文は、ユーザ１６が経験の浅いユーザであっても、経験豊富なデータ科学者であっても、データベース２６へのアクセス可能性を制限する可能性がある。ユーザ１６が、正式構文に従って適切なコマンドを使用してクエリ１９を理解し正しく定義することを要求することは、上記で検討したＣＮＬＰ技術のアクセス可能な性質に反することになり得る。
【0061】
追加的に、サーバ２８は、データベース２６に格納されている多次元データに対する機械学習モデルの適用を介して取得される結果２５を出力できる。つまり、実行プラットフォーム２４の１つ以上は、図１の例において機械学習モデル（ＭＬＭ）４４として示されている機械学習モデルを実現できる。幾つかの例においては、ＭＬＭ４４は、訓練データを有する類似のパターンに基づいて、データの特性を一般化できる訓練されたモデルを生成するために訓練データを使用して訓練される。ＭＬＭ４４を訓練することは、目的関数を最適化することによりモデルパラメータを学習することを含むことができ、そのため、モデルに与えられる訓練データを観測する可能性を最適化できる。訓練データにおける変動性、訓練データ内の訓練サンプルの範囲、および、訓練に対する他の制限、および、現代の機械学習モデルの複雑さを考慮すると、経験の浅いユーザ（幾つかの例においてはユーザ１６により表されている）が理解可能な平易言語を特に使用して、不規則に見え、予想に合致しない結果２５を説明することはしばしば困難である。
【0062】
本開示において記述されている技術の種々の態様に従うと、サーバ２８は、データベース２６に格納されているデータに対する平易言語での要求を含んでいるクエリ１９を、インタフェース２１を介してＣＮＬＰユニット２２により露出されるＣＮＬサブサーフェス１８を介して受信できる。そのようなクエリ１９は、言い換えれば、データベース２６に格納されているデータをデータセットとして取り出すためにデータベース２６へのアクセスを要求できる。上述したように、そのようなクエリ１９は、ＣＮＬＰユニット２２により意図２３に変換される種々の入力を有している平易な会話言語に準拠することができる。サーバ２８は、意図２３を実行プラットフォーム２４に転送でき、実行プラットフォーム２４は意図２３に変換を適用して意図２３（クエリ１９を表している）を、データベース２６に格納されているデータセットと関連付けられている正式構文に準拠する１つ以上のステートメント２７に変換できる。実行プラットフォーム２４はステートメント２７に基づいて、初期のクエリ１９に関連するデータセットの部分を提供するクエリ結果２９を取得するために、データベース２６に格納されているデータセットにアクセスできる。実行プラットフォーム２４は、結果２５を形成するときに自身が使用できるクエリ結果２９を取得できる。
【0063】
そのため、ホスト装置１２は、ユーザ１６がクエリ１９を平易な会話言語で定義することを可能にし、それにより、ユーザ１６が、ＳＱＬ、Ｐａｎｄａｓ、または他の正式データベース構文の広い理解を有しなくてはならないということを回避することを可能にするという点において、前述のＣＮＬＰ技術のアクセス可能性を維持できる。このようにして、経験豊富なデータ科学者と、データサイエンスの経験（訓練）がほとんどない新しいユーザの両者は、平易な言語を使用して、正式（または言い換えると厳格な）構文を有する複雑なデータセットにアクセスできる。データセットへのそのようなアクセスを容易にすることは、ユーザ１６が、関連するデータ（クエリ１９に対する関連性という点において）を取り出すためにクライアント装置１４とホスト装置１２をより効率的に操作することを可能にする。効率性は、実行プラットフォーム２４がクエリ結果２９を、平易言語におけるクエリ結果２９の説明を含む結果２５に拡張または変換できるので、クエリ結果２９における十分な信頼性を保証しながら、試行錯誤のアプローチにおいて追加コマンドと動作を処理する必要がないことの結果として起こり得る。
【0064】
そのような変換の結果として、データベース２６へのアクセスの試みをより少なくすることができるので、クライアント装置１４とホスト装置１２の両者は、より効率的に動作できる。つまり、クライアント装置１４とホスト装置１２は、データベース２６に首尾よくアクセスして結果２５を提供するためのクエリ１９を、より少なく受信することが可能であり、それは、プロセッササイクル、メモリ、メモリ帯域幅などのようなリソースの消費がより少なくなり、それにより、より少ない電力消費となるという結果になり得る。
【0065】
更に、実行プラットフォーム２４は、データベース２６に格納されている多次元データセットの１つ以上の次元（例えば、選択された行または列）の、変換された意図２３（ステートメント２７により表されている）に応答して提供され、ＭＬＭ４４により出力されるクエリ結果２９との相関関係を決定できる。実行プラットフォーム２４は、意図２３（または、ステートメント２７により表される変換された意図２３）に応答して複数のＭＬＭ４４を呼び出すことができ、ＭＬＭ４４は、アクセスに起因するクエリ結果２９を、結果２５を取得するためにステートメント２７に基づいて解析できる。決定された相関関係に基づいて、実行プラットフォーム２４は、結果２５を取得するためにＭＬＭ４４の１つ以上を選択できる（例えば、閾値相関関係を超える決定された相関関係を有しているＭＬＭ４４を、結果２５の１つ以上のソースとして選択する）。実行プラットフォーム２４は、ＭＬＭ４４の１つ以上のそれぞれに対する結果２５をサーバ２８に出力でき、サーバ２８は、出力された結果２５をインタフェース２１を介して提供できる。
【0066】
実行プラットフォーム２４は、文章の生成および／または決定を容易にするために、決定された相関関係を利用して、ＭＬＭ４４の１つ以上がなぜ選択されたのかを説明する平易言語での文章を決定できる。実行プラットフォーム２４は、ＭＬＭ４４の１つ以上がなぜ選択されたかを説明する文章を、インタフェース２１を介してクライアント装置１４に提供される結果２５の一部として含むことができ、それにより、ユーザ１６が結果２５を信頼することを可能にすることができる。そのような信頼は、ユーザ１６が、経験豊富なデータ科学者であっても、新しいユーザであっても、ユーザ１６が結果２５を受信するためのクライアント装置１４と相互作用の回数を削減できるように、結果２５に対する信頼を得ることを可能にできる。
【0067】
そしてまた、そのような説明の結果として、データベース２６へのアクセスの試みをより少なくすることができるので、クライアント装置１４とホスト装置１２の両者は、より効率的に動作できる。つまり、クライアント装置１４とホスト装置１２は、データベース２６に首尾よくアクセスして結果２５を提供するためのクエリ１９を、より少なく受信することが可能であり、そしてまたそれは、プロセッササイクル、メモリ、メモリ帯域幅などのようなリソースの消費がより少なくなり、それにより、より少ない電力消費となるという結果になり得る。
【0068】
動作においては、サーバ２８は、インタフェース２１を介して言語サブサーフェス１８を露出でき、それにより、露出された言語サブサーフェス１８により提供される言語の部分に準拠するクエリ１９を受信できる。上述のように、サーバ２８は、クエリ１９を意図２３に変形するためにＣＮＬＰユニット２２を呼び出すことができ、ここにおいてそのような意図２３はクエリ１９を表している。サーバ２８は意図２３を取得でき、意図２３を処理するために実行プラットフォーム２４を呼び出すことができ、意図２３を実行プラットフォーム２４に渡すことができる。
【0069】
実行プラットフォーム２４は、意図２３を受信することに応答して変換ユニット３４の１つ以上を呼び出すことができ、変換ユニット３４は意図２３に１つ以上の変換を適用して意図２３を、データベース２６に格納されているデータセットと関連付けられている正式構文に準拠する１つ以上のステートメント２７に変換する。幾つかの例においては、実行プラットフォーム２４は、何れの変換ユニット３４呼び出すべきかを識別するために意図２３のカテゴリを決定、言い換えれば、意図２３を分類できる。例を示すと、下記により詳細に説明するように、データセットのある識別された列（例えば、名前または変数により）における特別な値を含んでいる行は「保管」し（例えば、識別された列において特別な値を有している）、一方、残りの行は、作業用データセットから除去するなどのように、意図２３の１つ以上は、動作と共に１つ以上の行を示すことができる。実行プラットフォーム２４は、これらの意図２３を、条件を満たす（つまり、識別された値を有している）データセットの行のサブセットのみを要求するデータベースクエリとして分類でき、それにより、変換ユニット３４のある幾つかを呼び出すことができる。変換ユニット３４の呼び出された幾つかは、意図２３の１つ以上を、正式ＳＱＬ構文に準拠するステートメント２７に変換できる。
【0070】
この点に関して、前述の例は、ホスト装置１２が、作業用データセットにおいて「保管」されるデータセットの１つ以上の次元を識別するクエリ１９を受信することを可能にする。実行プラットフォーム２４は、意図２３（クエリ１９を表している）を、データベース２６に格納されている基礎となるデータセットと関連付けられている正式ＳＱＬ構文に準拠するステートメント２７に変換する変換を適用するために変換ユニット３４を呼び出すことができる。そして、実行プラットフォーム２４は、ステートメント２７に基づいて、クエリ結果２９（この例においては、クエリ１９により識別されたデータセットの１つ以上の次元を含んでいる）を取得するためにデータベース２６に格納されているデータセットにアクセスでき、クエリ結果２９を結果２５の一部として出力できる。
【0071】
更に、上述したように、実行プラットフォーム２４は、異なるＭＬＭ４４のそれぞれにより出力される結果を取得するために、データベース２６に格納されている多次元データセットに多数の異なるＭＬＭ４４を適用できる。ＭＬＭ４４の例としては、ニューラルネットワーク、サポートベクトルマシン、ナイーブベイズモデル、線形回帰モデル、線形判別解析モデル、ライトＧＢＭ（ｌｉｇｈｔ ｇｒａｄｉｅｎｔ ｂｏｏｓｔｅｄ ｍａｃｈｉｎｅ）モデル、決定木などが含まれる。
【0072】
実行プラットフォーム２４は、多次元データセットの各次元とＭＬＭ４４のそれぞれにより出力される結果との間の相関関係を決定できる。相関関係とは、変数の対が、線形に関連付けられる程度を表している統計的関連付けのことを指すことができる。そのため、実行プラットフォーム２４は、ＭＬＭ４４のそれぞれにより出力される結果に対する多次元データセットの各次元（例えば、列または行）のそれぞれに対する相関関係係数を決定する。実行プラットフォーム２４は、何れの次元がＭＬＭ４４のそれぞれにより出力される結果を最も精度よく形成するかを評価するためにこの相関関係を決定でき、それにより、何等かの閾値相関関係を超える多次元データセットの意味のある次元（情報理論の状況において理解されるような、ランダム性、ユニーク性、エントロピの観点から測定される）と関連付けられている相関関係を有しているＭＬＭ４４のサブセット（全部よりも少ないが、空集合ではないことを意味している）の選択を可能にできる。
【0073】
このようにして、実行プラットフォーム２４は、相関関係に基づいて、ＭＬＭ４４のサブセットのそれぞれに対する結果２５を取得するためにＭＬＭ４４のサブセットを選択できる。実行プラットフォーム２４は、ＭＬＭ４４のサブセットのそれぞれに対する結果２５を出力でき、ここにおいて、そのような結果２５は、平易言語を使用して結果を説明している文章を含むことができる。実行プラットフォーム２４はまた、結果２５において、多次元データセットの１つ以上の次元のそれぞれの、ＭＬＭ４４のサブセットのそれぞれに対する結果との関連性を識別しているグラフを含むことができる。技術の前述の態様に関する更なる情報は、図２Ａ～図３Ｇに関して下記に提供される。
【0074】
図２Ａ～図２Ｉは、本開示において記述されている技術の種々の態様に従う、機械学習モデルの選択および評価を選択するために、ホスト装置１２により提示されるインタフェース２１を例示している図である。図２Ａの例においては、インタフェース２１（「インタフェース２１Ａ」と記述することもできる）のスクリーンショット２００が示されており、ホスト装置１２は初期プロンプト２０１を提示し、それによりユーザ１６と係合する。そしてユーザ１６は、「［１］ファイルｔｅｌｃｏＣｕｓｔｏｍｅｒＣｈｕｒｎ．ｃｓｖからデータをロード」するための会話言語でのコマンド２０２を入力し、その結果、ｔｅｌｃｏＣｕｓｔｏｍｅｒＣｈｕｒｎ．ｃｓｖデータセットからのデータを一覧表示している結果２５Ａが表示される。ホスト装置１２は結果２５Ａに、電気通信サービスの顧客の解約を解析するという提案された入力２０９Ａを含んでいる提案された入力２０９の提案と共に、データセットを平易言語で説明している説明２０３を含むことができる。
【0075】
図２Ｂの例においては、ユーザ１６は提案された入力２０９Ａを選択しており、その結果、ホスト装置１２は、図２Ｂの例において示されているスクリーンショット２１０により例示されているインタフェース２１Ｂを提供する。つまり、ユーザ１６は、「解約を解析」する入力２１１という結果になる提案された入力２０９Ａを選択し、ホスト装置１２は、結果２５の一部を表しているチャート２１２を生成するために入力２１１を処理した。ホスト装置１２は、この例における結果２５としての、チャート２１２を記述している説明２１３と共に、チャート２１２（グラフに言及する別の方法であり、そのため、チャート２１２は「グラフ２１２」と称することができる）を提供する。説明２１３は「１つのカテゴリ列は、データセットのサイズとほぼ等しい固有な値を有していることが検出されました」と記述している。説明２１３は続けて「より意味のあるモデルを得るためにこれらの列を解析から削除することを考えてください」と記述し、そして、「顧客ＩＤを排除して解約を解析」の提案された入力へのリンクを伴って「これは下記のことを頼むことによりできます」と記述している。
【0076】
この例においては、ホスト装置１２は、ｔｅｌｃｏＣｕｓｔｏｍｅｒＣｈｕｒｎ．ｃｓｖデータセットを解析して、ＭＬＭ４４のそれぞれにより提供される結果に対する列（または他の次元）の相関関係を決定するために実行プラットフォーム２４を呼び出している。実行プラットフォーム２４は、ある次元に対する固有および／またはランダムな数を検出する次元削減アルゴリズムを実行でき、それにより、顧客ＩＤ列は、ＭＬＭ４４の１つ以上の適用に起因する如何なる解析に対する関連性が少ない（基礎となる顧客ＩＤデータのランダムおよび／または固有な性質のため）と思えると識別した。そしてホスト装置１２は、提案された入力を使用して、より良好な結果を達成できることを自動的に説明している（上記の）提案された入力を有する説明２１３を提供でき、説明２１３はすべて平易言語の文章を介している。
【0077】
説明２１３は、ホスト装置１２は「ライトｇｂｍ分類器を訓練し、それをベストフィット１として保存しました」と続き、それは「８０．０％の検証精度を達成しました」、さらに「モデルは時間の８０％を正しく予測しました」という説明を提供している。この点に関して、ホスト装置１２は、平易言語を使用して結果２５を更に説明しており、それによりユーザ１６が結果２５を信頼することを可能にする。更に、説明２１３は、「解約に対する値は、契約、契約期間、合計料金、月別料金のインパクトを最も受けています」と記述し、それらは、ｔｅｌｃｏＣｕｓｔｏｍｅｒＣｈｕｒｎ．ｃｓｖデータセットの次元（つまり、この例においては列）に対するラベル（または、言い換えれば、名前または変数名）である。説明２１３はまた「棒チャート［チャート２１２］は、完全なインパクトスコアを示しています。詳細なスコアはデータセットインパクトリスト１にあります」とも記述し、ここにおいて、インパクトリスト１は、ＭＬＭ４４の１つのライトＧＢＭへの結果に対する各次元のインパクトを調べるための提案されているリンクである。言い換えると、チャート２１２は、ＭＬＭ４４のライトＧＢＭモデルにより出力される結果に対する各次元（この例においては、データセットの列を指している）のインパクト（または、言い換えると、相関関係）を示している。
【0078】
言い換えると、実行プラットフォーム２４は、ＭＬＭ４４のそれぞれを呼び出し、基礎となるデータセットに対してＭＬＭ４４を訓練し、そして、ＭＬＭ４４のそれぞれを、各結果を決定するために適用できる。実行プラットフォーム２４は次に、データセットの各次元と、ＭＬＭ４４のそれぞれにより出力される結果との間の相関関係を決定でき、高い相関関係閾値（例えば、６０～７０％であってよい）を超える対応する相関関係を有している各ＭＬＭ４４の結果を選択できる。実行プラットフォーム２４は、チャート２１２の容易な理解を促進するために平易言語でチャート２１２を説明するために説明２１３を提供でき、一方、ユーザ１６が、チャート２１２の作成を更に探索および／または理解することを可能にするリンクも提供できる。
【0079】
図２Ｃは、インタフェース２１（インタフェース２１Ｃと記述できる）の他の例を示している図であり、インタフェース２１Ｃのスクリーンショット２２０は更に、「棒チャート［チャート２１２］は、完全なインパクトスコアを示しています」ということを平易言語で示し、そして「詳細なスコアはデータセットインパクトリスト１にあります」と記述している説明２２１を、データセットインパクトリスト１へのアクセスを容易にするハイパーリンクと共に提示している。この点に関して、説明２２１は、チャート２１２はインパクトグラフ（または、言い換えると、インパクトチャート）を表しているということを説明し、下記に記述されるように、平易言語で、チャート２１２（ビジュアルチャートと称することもできる）の形式化も更に説明している。
【0080】
説明２２１は、「シンプルフィット１Ａ（精度７５．０）、シンプルフィット１Ｂ（精度７５．０）、シンプルフィット１Ｃ（精度７７．０）と呼ばれる、詳細のレベルが増大する」３つの追加モデルを更に示している。図２Ｃの例においては、モデル名シンプルフィット１Ａ、シンプルフィット１Ｂ、およびシンプルフィット１Ｃは、それぞれがＭＬＭ４４の他の反復を表すことができる３つの追加モデルの結果をユーザ１６がすぐに調べることを可能にするためにハイパーリンクを介して参照される。この点に関して、実行プラットフォーム２４は、ライトｇｂｍと称される複雑モデル、および、シンプルフィットモデル（ライトｇｂｍモデルより複雑でなく、または、よりシンプル）である追加モデルを生成且つ訓練している。
【0081】
追加的に、説明２２１はまた、３つの追加的な「データを視覚化するためのチャート」があると記述し、そしまた、チャート１Ａ、チャート１Ｂ、およびチャート１Ｃのそれぞれを、ユーザ１６による追加チャートへのアクセスを容易にするハイパーリンクとして参照している。説明２２１はまた、チャート１Ａ～チャート１Ｃのそれぞれを記述しており、チャート１Ａは「ｘ軸は契約、ｙ軸はｔｅｎｕｒｅＩｎｔ２０、バブルの色は解約、バブルのサイズはＮｕｍＲｅｃｏｒｄｓのバブルチャート」であり、チャート１Ｂは「ｘ軸は契約、ｙ軸は各解約に対するＮｕｍＲｅｃｏｒｄｓの散布チャート」であり、チャート１Ｃは「ｘ軸は契約、ｙ軸は各ｔｅｎｕｒｅＩｎｔ２０に対するＮｕｍＲｅｃｏｒｄｓの積み上げ棒チャート」であると記述している。
【0082】
この点に関して、実行プラットフォーム２４は、ＭＬＭ４４のそれぞれに対する結果に基づいて、チャート２１２およびチャート１Ａ～チャート１Ｃなどのような、ＭＬＭ４４のそれぞれにより出力される、対応する結果を説明するために１つ以上のチャートを決定できる。実行プラットフォーム２４は、最もランクの高いチャート（図２Ｃの例においてはチャート２１２）を識別するためにチャートをランク付けすることができ、インタフェース２１を介しての出力のための最もランクの高いチャートを選択できる。実行プラットフォーム２４は、説明２２１において検討したようなモデル精度に基づいてチャートをランク付けすることができる（精度は、ライトＧＢＭモデルおよび各モデルシンプルフィット１Ａ～シンプルフィット１Ｃの次に提供される）。
【0083】
図２Ｃの例においては示されていないが、実行プラットフォーム２４はまた、低相関関係を有するデータセットの次元を識別できる。実行プラットフォーム２４は、各次元に対する相関関係を低相関関係閾値（関連性閾値と称することもできる）と比較することにより、低相関関係を有する次元を識別できる。つまり、実行プラットフォーム２４は、１つ以上の次元とＭＬＭ４４のそれぞれにより出力される結果との間で決定された相関関係と関連性閾値の比較に基づいて、ＭＬＭ４４のそれぞれにより出力される結果に対して低関連性を有している多次元データセットの１つ以上の低関連性次元を決定できる。
【0084】
実行プラットフォーム２４は、例えば、「性別」という名前で示される次元などのような、種々の次元は、ＭＬＭ４４のライトＧＢＭモデルにより実行される解約解析に関連していないということを示す説明を提供できる。そのような説明は、実行プラットフォーム２４は、顧客ＩＤは、データセットの各行に割り当てられているランダムで固有の数であるように見えると決定するために、顧客ＩＤに対して異なる解析を実行できるので、顧客ＩＤは、ライトＧＢＭモデルによる生成される結果に対して大きな関連性を有しているようには見えないと記述することとは異なってよい。
【0085】
図２Ｄの例においては、ユーザ１６は、装置１２が「契約、性別、契約期間を使用して解約を解析」するべきであることを示す入力２２６を入力しており、ここにおいて「契約」、「性別」、および「契約期間」はｔｅｌｃｏＣｕｓｔｏｍｅｒＣｈｕｒｎ．ｃｓｖデータセットの次元（そしてまた、この例においては列）に割り当てられているラベルのことである。ホスト装置１２は、上記の方法で入力２２６を処理でき、実行プラットフォーム２４は、チャート２２７と説明２２９を取得するために入力２２６を表している意図２３を処理でき、チャート２２７と説明２２９を結果２５としてクライアント装置１４にインタフェース２１を介して提供できる。
【0086】
チャート２２７は、入力２２６における３つの識別された次元に注目している他のインパクトグラフを表しており、「契約」次元が（３つの識別された次元の中で）最も大きなインパクトを有しており、それに「契約期間」次元が続き、そして「性別」次元が続くということを示している。実行プラットフォーム２４は、そのような次元は顧客の解約（電気通信契約の解約）にインパクトを与えるかどうかを決定するために、３つの識別された次元を評価する他のライトＧＢＭモデルを構築できる。
【0087】
説明２２９はチャート２２７を説明しており、「私はＬｉｇｈｔｇｂｍ分類器を訓練し、それをベストフィット２として保存しました」と記述し、それは「７６％の検証精度を達成しました」と記述している。説明２２９は更に、「解約に対する値は、契約、契約期間、性別のインパクトを最も受けていいます」と記述を続けて、次元を、解約に対するインパクト（言い換えれば、解約に対する相関関係）の順序で名前で示す前に、「モデルは時間の７６％を正しく予測しました」と記述している。説明２２９は、「棒チャートは、完全なインパクトスコアを示しています」と記述し、「詳細なスコアはデータセットインパクトリスト２にあります」と示すことにより完結している。説明２２９は、インパクトリスト２を、ユーザ１６が、詳細なインパクトスコアをより完全に探索するためにすぐにアクセスできるハイパーリンクとして提供している。
【0088】
次に、図２Ｅの例を参照すると、スクリーンショット２３０は、ユーザ１６が「モデルシンプルフィット１Ａを視覚化」する入力２３１を入力したインタフェース２１の他の例を表している。入力２３１に応答して、ホスト装置１２は、図２３２と説明２３４を含んでいる結果２５を生成するために、入力２３１から構文解析された意図２３を処理するために実行プラットフォーム２４を呼び出すことができる。
【0089】
実行プラットフォーム２４は、図２３２のように視覚化できる決定木を構築および訓練でき、図２３２においては、暗い円は顧客解約「Ｎｏ」を表し、一方、明るい円は「Ｙｅｓ」、言い換えると、顧客解約に関するインパクトを示している。初期データセットから開始すると、図２３２は、契約は月別の契約か否かに関する２つの初期分岐があることを示している。「契約は月別ではない」分岐においては、図２３２は、契約年または契約は１年か否かを示している２つのサブ分岐を含み、次元は、両方とも顧客の解約に関連しない（「Ｎｏ」）である顧客の解約を考慮している。「契約は月別」の分岐においては、図２３２は、月料金は、顧客の解約に対して６８．６ドル未満か、またはそれを超えるかを示している２つのサブ分岐を含み、６８．６ドル未満は顧客の解約に関連せず、解約は月コストが６８．６ドル以上のときに起きている（「Ｙｅｓ」）。
【0090】
実行プラットフォーム２４はまた、図２３２を説明２３４に変換でき、説明２３４は、下記の「重要な洞察」を提供する。
・契約が月別で、月料金が６９ドルを超えるときは、解約はＹｅｓ（合計サンプルの３２％）。
・契約が月別で、月料金が６９ドル以下のときは、解約はＮｏ（合計サンプルの２３％）。
・契約が月別でないときは、解約はＮｏ（合計サンプルの４５％）。
説明２３４により提供されるこれらの重要な洞察を使用し、および図２３２を調べることは、ユーザ１６が、顧客の解約を解析するという点において図２３２をより良好に理解することを可能にできる。
・契約が月別で、月料金が６９ドルを超えるときは、解約はＹｅｓ（合計サンプルの３２％）。
・契約が月別で、月料金が６９ドル以下のときは、解約はＮｏ（合計サンプルの２３％）。
・契約が月別でないときは、解約はＮｏ（合計サンプルの４５％）。
説明２３４により提供されるこれらの重要な洞察を使用し、および図２３２を調べることは、ユーザ１６が、顧客の解約を解析するという点において図２３２をより良好に理解することを可能にできる。
【0091】
図２Ｆの例においては、スクリーンショット２３５は、ユーザ１６が「モデルシンプルフィット１Ｂを視覚化」する入力２３６を入力したインタフェース２１の他の例を提供している。入力２３６に応答して、ホスト装置１２は、図２３７と説明２３９を含んでいる結果２５を生成するために、入力２３６から構文解析された意図２３を処理するために実行プラットフォーム２４を呼び出すことができる。
【0092】
実行プラットフォーム２４は、細かさの種々の程度を有している決定木を構築および訓練でき、細かさのレベルは、ユーザ１６がスキルレベルを１から３（１は初心者、そして３は熟練者であり、スキルレベルを上げると、細かさのより高いレベルが提供される）の間の値に設定することにより制御できる。図２Ｆの例においては、決定木は４つのレベルを有しており、「データセット」から開始し、３つの追加ノードレベルを移動し、図２３２において示されている決定木と比較して、細かさの追加レベルを提供している。図２３７において視覚化されている決定木は、図２３２において提示されている分岐と同じ「データセット」からの２つの分岐で開始する。しかし、「契約は月別ではない」分岐においては、図２３７は、契約期間が７０または７１であることに関する２つのサブ分岐を提供している。「契約期間７０」分岐では、図２３７は、契約期間は３２未満または３３と７０の間かに向けられている２つの追加サブ分岐を提供している。「契約期間７１」分岐では、図２３７は、契約は１年未満かまたは契約は１年かどうかに向けられている２つのサブ分岐を提供している。各例においては、契約は月別でない分岐の暗い円（または、言い換えるとノード）は契約の解約はないことを表している。
【0093】
「契約は月別」分岐においては、図２３７は「契約期間は５以下」または「契約期間６」かどうかに向けられている２つのサブ分岐を提供している。図２３７における「契約期間は５以下」を表す明るいノードは、顧客の解約解析に対する相対的に高い相関関係を表しており、それにより、契約期間は５以下は、顧客の解約という結果になり得ることを示している。「契約期間６」（またはそれを超える）を表している暗いノードは、顧客の解約に対する相対的に低い相関関係を示すことができる。
【0094】
「契約期間は５以下」分岐にもとでは、図２３７は、「契約期間は１以下」と「契約期間は２と５の間」の２つのサブ分岐を提供し、両者とも、明るいノードにより示されているように、顧客の解約に対する相対的に高い相関関係を有している。「契約期間６」分岐のもとでは、図２３７は「性別は男性ではない」と「性別は男性」ということを示している２つのサブ分岐を提供するが、これらのノードの何れも、暗いノードで示されているように、顧客の解約に対する相対的に高い相関関係は有していない。
【0095】
そして再び、実行プラットフォーム２４はまた、図２３７を説明２３９に変換でき、説明２３９は、下記の「重要な洞察」を提供する。
・契約が月別で、契約期間が６を超えるときは、解約はＮｏ（合計サンプルの３６％）。
・契約が月別で、契約期間が５以下のときは、解約はＹｅｓ（合計サンプルの１９％）。
・契約が月別でないときは、解約はＮｏ（合計サンプルの４５％）。
説明２３９により提供されるこれらの重要な洞察を使用し、図２３７を調べることは、ユーザ１６が、顧客の解約を解析するという点において図２３７をより良好に理解することを可能にできる。
・契約が月別で、契約期間が６を超えるときは、解約はＮｏ（合計サンプルの３６％）。
・契約が月別で、契約期間が５以下のときは、解約はＹｅｓ（合計サンプルの１９％）。
・契約が月別でないときは、解約はＮｏ（合計サンプルの４５％）。
説明２３９により提供されるこれらの重要な洞察を使用し、図２３７を調べることは、ユーザ１６が、顧客の解約を解析するという点において図２３７をより良好に理解することを可能にできる。
【0096】
更に、図２Ａ～２Ｆの例を通して分かるように、ユーザ１６が結果２５を解釈することを支援するために視覚的な方法でチャート、図、および他の結果を、ユーザ１６からの如何なる追加入力もなしで、ホスト装置１２が自動的に作成するという結果になる単純なクエリ１９（図２Ｆにおいて示されている入力２３６などのような）をユーザ１６は入力できる。更に、ホスト装置１２は、ユーザ１６が、追加データセット、チャート、モデルなどへのリンクと共に、結果２５に対する信頼を得ることを可能にする、平易言語における説明を、ユーザ１６からの如何なる追加入力もなしで自動的に提供できる。
【0097】
図２Ｇの例においては、スクリーンショット２５０は、ユーザ１６が、「チャート１Ａを作成」する入力２５１を入力したインタフェース２１の他の例を提供しており、チャート１Ａは、図２Ｃの例において示されている説明２２１に関して上記で検討したチャート１Ａを指している。入力２５１に応答して、ホスト装置１２は、入力２５１から構文解析された意図２３を処理し、図２５２と説明２５４を含んでいる結果２５を生成するために実行プラットフォーム２４を呼び出すことができる。
【0098】
実行プラットフォーム２４は、決定木の視覚化に類似している、解約「Ｙｅｓ」または「Ｎｏ」を示すバブルを表しているチャート２５２などのような異なるチャートという結果になる、（ライトＧＢＭモデルよりも複雑さが少ないという点において）より単純なモデルを構築および訓練できる。バブルのサイズは、顧客の解約「Ｙｅｓ」または「Ｎｏ」の相対的な数を示している。実行プラットフォーム２４はまた、チャート２５２の形式化を下記のように説明する説明２５４を提供する。
・最初に私は、契約期間を、それぞれがサイズ２０の幾つかのバケツに分散して新しい列ｔｅｎｕｒｅｉｎｔ２０と命名しました。
・そして私は、出力列ＮｕｍＲｅｃｏｒｄｓを呼び出して、解約、契約、およびｔｅｎｕｒｅｉｎｔ２０のそれぞれに対する記録のカウントを計算しました。
・最後に私は、契約をｘ軸、ｔｅｎｕｒｅｉｎｔ２０をｙ軸とし、バブルの色は解約を使用して設定し、ＮｕｍＲｅｃｏｒｄｓはバブルのサイズを設定するために使用されたバブルチャートを作成しました。
・最初に私は、契約期間を、それぞれがサイズ２０の幾つかのバケツに分散して新しい列ｔｅｎｕｒｅｉｎｔ２０と命名しました。
・そして私は、出力列ＮｕｍＲｅｃｏｒｄｓを呼び出して、解約、契約、およびｔｅｎｕｒｅｉｎｔ２０のそれぞれに対する記録のカウントを計算しました。
・最後に私は、契約をｘ軸、ｔｅｎｕｒｅｉｎｔ２０をｙ軸とし、バブルの色は解約を使用して設定し、ＮｕｍＲｅｃｏｒｄｓはバブルのサイズを設定するために使用されたバブルチャートを作成しました。
【0099】
上述のように、ユーザ１６はスキルの異なるレベル（１から３）を設定できる。スクリーンショット２５０は、スキルレベル１において情報を提示するように構成されるときのインタフェース２１を示している。図２Ｈの例においては、スクリーンショット２６０は、スキルレベル２または３において情報を提示するように構成されるときのインタフェース２１を示している。スクリーンショット２６０は同じチャート２５２を含んでいるが、より包括的な説明２６４を提供している。説明２６４は下記を記述している。
＜図２Ｈにおいて示されていない＞１つのカテゴリ列は、データセットのサイズとほぼ等しい固有な値を有していることが検出されました。より意味のあるモデルを得るためにこれらの列を解析から削除することを考えてください。これは、下記のことを頼むことによりできます。顧客ＩＤを排除して解約を解析［ユーザ１６が、これを入力／クエリとしてすぐに入力することを可能にするハイパーリンク］
私は、ライトｇｂｍ分類器を訓練し、それをベストフィット１として保存しました。モデルの検証スコアは
・精度、８０．０％
・ＡＵＣ、０．８５
解約に対する値は、契約、契約期間、合計料金、月別料金のインパクトを最も受けています。＜図２Ｈにおいては示されていない＞
棒グラフは、完全なインパクトスコアを示しています。詳細なスコアはデータセットインパクトリスト１にあります。
私はまた、シンプルフィット１Ａ（ＡＵＣ、０．７１、精度、７５．０）、シンプルフィット１Ｂ（ＡＵＣ、０．７４、精度、７５．０）、シンプルフィット１Ｃ（ＡＵＣ、０．６６、精度、７７．０）と呼ばれる、詳細のレベルが増大する３つのモデルも作成しました。
データを視覚化するための３つのチャートがあります。
・チャート１Ａ（ｘ軸は契約、ｙ軸はｔｅｎｕｒｅｉｎｔ２０、バブルの色は解約、バブルのサイズはＮｕｍＲｅｃｏｒｄｓのバブルチャート）
・チャート１Ｂ（ｘ軸は契約、ｙ軸は各解約に対するＮｕｍＲｅｃｏｒｄｓの散布チャート）
・チャート１Ｃ（ｘ軸は契約、ｙ軸は各ｔｅｎｕｒｅＩｎｔ２０に対するＮｕｍＲｅｃｏｒｄｓの積み上げ棒チャート）
モデルに使用されたパラメータはパイプラインレポートと命名されたデータセットに保存されています［ユーザ１６がパイプラインレポートに対するクエリ／入力を入力することすぐに可能にするためにハイパーリンクとして提供されている］。
＜図２Ｈにおいて示されていない＞１つのカテゴリ列は、データセットのサイズとほぼ等しい固有な値を有していることが検出されました。より意味のあるモデルを得るためにこれらの列を解析から削除することを考えてください。これは、下記のことを頼むことによりできます。顧客ＩＤを排除して解約を解析［ユーザ１６が、これを入力／クエリとしてすぐに入力することを可能にするハイパーリンク］
私は、ライトｇｂｍ分類器を訓練し、それをベストフィット１として保存しました。モデルの検証スコアは
・精度、８０．０％
・ＡＵＣ、０．８５
解約に対する値は、契約、契約期間、合計料金、月別料金のインパクトを最も受けています。＜図２Ｈにおいては示されていない＞
棒グラフは、完全なインパクトスコアを示しています。詳細なスコアはデータセットインパクトリスト１にあります。
私はまた、シンプルフィット１Ａ（ＡＵＣ、０．７１、精度、７５．０）、シンプルフィット１Ｂ（ＡＵＣ、０．７４、精度、７５．０）、シンプルフィット１Ｃ（ＡＵＣ、０．６６、精度、７７．０）と呼ばれる、詳細のレベルが増大する３つのモデルも作成しました。
データを視覚化するための３つのチャートがあります。
・チャート１Ａ（ｘ軸は契約、ｙ軸はｔｅｎｕｒｅｉｎｔ２０、バブルの色は解約、バブルのサイズはＮｕｍＲｅｃｏｒｄｓのバブルチャート）
・チャート１Ｂ（ｘ軸は契約、ｙ軸は各解約に対するＮｕｍＲｅｃｏｒｄｓの散布チャート）
・チャート１Ｃ（ｘ軸は契約、ｙ軸は各ｔｅｎｕｒｅＩｎｔ２０に対するＮｕｍＲｅｃｏｒｄｓの積み上げ棒チャート）
モデルに使用されたパラメータはパイプラインレポートと命名されたデータセットに保存されています［ユーザ１６がパイプラインレポートに対するクエリ／入力を入力することすぐに可能にするためにハイパーリンクとして提供されている］。
【0100】
この例においては、実行プラットフォーム２４は、モデルはどのように構築されたかに対するより多くの洞察を提供しており、また、ユーザ１６がパイプラインレポートを取り出すことを可能にしている。図２Ｉの例においては、スクリーンショット２７０は、入力２７１を介してパイプラインレポートを要求した後のインタフェース２１を示している。ホスト装置１２は、データベース２６とのインタフェースを取り、パイプラインレポート２７２を取り出すために実行プラットフォーム２４を呼び出すことができ、パイプラインレポート２７２を結果としてクライアント装置１４に返すことができる。パイプラインレポート２７２は、種々の結果を取り出すためにＭＬＭ４４がどのように作成され、訓練され、および採用されたかをデータ科学者がより良好に理解することを可能にできる。このようにして、ホスト装置１２がどのようにしてＭＬＭ４４を生成したかを、より技術的詳細において、そして必ずしも平易言語を使用しないで説明しているパイプラインレポート２７２をホスト装置１２は生成でき、ユーザ１６による精査のためにパイプラインレポート２７２を出力できる（例えば、スキルレベルがレベル２または３に設定されているとき）。そのようなパイプラインレポート２７２は、監査および他の内部精査を容易にできる。
【0101】
図３Ａ～図３Ｇは、制約のある自然言語処理技術の種々の態様に従う、データセットにアクセスするための、ホスト装置１２により提示されるインタフェース２１を例示している追加図である。最初に図３Ａの例を参照すると、スクリーンショット３００は、ユーザ１６が「ファイルｓｂａ．ｃｓｖからデータをロード」するクエリ３０１を入力したインタフェース２１の他の例を表すことができ、ホスト装置１２はクエリ３０１を、データセット（ファイルｓｂａ．ｃｓｖからロードされる）と関連付けられている正式構文に準拠する正式ステートメント２７に実行プラットフォーム２４が（変換ユニット３４の呼び出しを通して）変換できる意図２３を決定するためにＣＮＬＰユニット２２を使用して処理する。実行プラットフォーム２４は、プレビュー３０２が形成されるクエリ結果２９を取得するために、ステートメント２７を使用してデータベース２６にアクセスできる。実行プラットフォーム２４は、プレビュー３０２を結果２５としてクライアント装置１４に返す。
【0102】
追加的に、ユーザ１６は、平易言語で「ＢｏｒｒＳｔａｔｅがＷＩを含んでいる行を保管」することを示すクエリ３０３を入力するためにクライアント装置１４とのインタフェースを取ることができる。そしてまた、ホスト装置１２は、クエリ３０３を処理してクエリ３０３から１つ以上の意図２３を構文解析するためにＣＮＬＰユニット２２を呼び出すことができ、意図２３を実行プラットフォーム２４に提供できる。実行プラットフォーム２４は、データセットと関連付けられている正式構文に準拠する１つ以上の（ＳＱＬ選択ステートメントなどのような）選択ステートメント２７に意図２３（クエリ３０３を表している）を変換するために変換ユニット３４を呼び出すことができる。
【0103】
実行プラットフォーム２４は、選択テートメント２７に基づいて、クエリ３０３により識別されたデータセットの１つ以上の次元を含んでいるクエリ２９を取得するためにデータセットにアクセスできる。つまり、クエリ３０３は、ＢｏｒｒＳｔａｔｅ（次元を識別する例としてのラベル）が「ＷＩ」の値を含んでいる行を保管することを示している。そのため、実行プラットフォーム２４は、列ＢｏｒｒＳｔａｔｅに対して「ＷＩ」の値を有している何れの行も取得して、プレビュー３０４が生成されるクエリ結果２９を返す。図３Ｂの例においては、スクリーンショット３１０は、ユーザ１６が、「列ＢｏｒｒＣｉｔｙ、ＢｏｒｒＳｔａｔｅ、ＢｏｒｒＳｔｒｅｅｔを保管」することを要求するクエリ３１１を入力したインタフェース２１を例示している。そしてまた、ホスト装置１２は、クエリ３１１に応答して、クエリ３１１から意図２３を構文解析するためにＣＮＬＰユニット２２を呼び出し、意図２３を実行プラットフォーム２４に提供する。実行プラットフォーム２４は、データベースと関連付けられている正式構文を使用して、クエリ３１１により識別された列（つまり、この例においては、ＢｏｒｒＣｉｔｙ、ＢｏｒｒＳｔａｔｅ、ＢｏｒｒＳｔｒｅｅｔ）を選択する選択ステートメント２７に意図２３を変換するために変換ユニット３４を呼び出すことができる。
【0104】
実行プラットフォーム２４は、プレビュー３１２が形成されるクエリ結果２９を取得するために、選択ステートメント２７を使用してデータベース２６にアクセスできる。そして、ホスト装置１２は、プレビュー３１２をクライアント装置１４にインタフェース２１を介して、プレビュー３１２を提示する結果２５の一部として提供できる。
【0105】
図３Ｃの例においては、インタフェース２１のスクリーンショット３１５は、ユーザ１６が「承認会計年度が２０１０年以降の行を保管」するクエリ３１６を入力したことを示している。そしてまた、ホスト装置１２は、クエリ３１６に応答して、クエリ３１６から意図２３を構文解析するためにＣＮＬＰユニット２２を呼び出し、意図２３を実行プラットフォーム２４に提供する。実行プラットフォーム２４は、クエリ３１６により識別された行（つまり、承認会計年度のラベルが付けられている列における値が、２００９より大きい行）を選択し、ＳＱＬ構文に準拠する選択ステートメント２７に意図２３を変換するために変換ユニット３４を呼び出すことができる。
【0106】
実行プラットフォーム２４は、プレビュー３１２が形成されるクエリ結果２９を取得するために、選択ステートメント２７を使用してデータベース２６にアクセスできる。そして、ホスト装置１２は、プレビュー３１２をクライアント装置１４にインタフェース２１を介して、プレビュー３１２を提示する結果２５の一部として提供できる。
【0107】
図３Ｄの例においては、インタフェース２１のスクリーンショット３２０は、ユーザ１６が「各承認会計年度、出力列ＮｕｍｂｅｒＯｆＬｏａｎｓＭａｄｅ、ＴｏｔａｌＡｐｐｒｏｖｅｄ、ＴｏｔａｌＬｏｓｔ、ＭａｘｉｍｕｍＬｏａｎを呼び出すＢｏｒｒＳｔａｔｅに対する、ｔｏｔａｌＧｒｏｓｓＡｐｐｒｏｖａｌ、ｔｏｔａｌＧｒｏｓｓＣｈａｒｇｅＯｆｆＡｍｏｕｎｔ、ｍａｘｉｍｕｍＧｒｏｓｓＡｐｐｒｏｖａｌの記録のカウントを計算」するクエリ３２１を入力したことを示している。そしてまた、ホスト装置１２は、クエリ３２１に応答して、クエリ３２１から意図２３を構文解析するためにＣＮＬＰユニット２２を呼び出し、意図２３を実行プラットフォーム２４に提供する。実行プラットフォーム２４は、実行済みローン数、合計承認金額、合計損失金額、および最大ローン値を計算し、ＳＱＬ構文に準拠するステートメント２７に意図２３を変換するために変換ユニット３４を呼び出すことができる。
【0108】
実行済みローン数、合計承認金額、合計損失金額、および最大ローン値を計算するときに、実行プラットフォーム２４は、他のデータセットをクエリ３２１を満たすために使用できると決定できる（つまり、図３Ｄの例におけるｓｂａ＿ｓａｍｐｌｅデータセット）。実行プラットフォーム２４は、ｓｂａ＿ｓａｍｐｌｅデータセットをクエリ３２１に答えるために使用できるということを示すフィードバック３２３を構成でき、フィードバック３２３を、結果２５の一部として提供できる。そして、実行プラットフォーム２４は、最新の（ファイルｓｂａ．ｃｓｖから）ロードされたデータセットを使用してクエリ３２１を処理することに戻ることができる。
【0109】
実行プラットフォーム２４は、プレビュー３２２が形成されるクエリ結果２９を取得するためにステートメント２７を使用して（最新のロードされたデータセットを格納している）データベース２６にアクセスできる。そして、ホスト装置１２は、プレビュー３２２をクライアント装置１４にインタフェース２１を介して、プレビュー３２２を提示する結果２５の一部として提供できる。
【0110】
追加的に、実行プラットフォーム２４は、クエリ結果２９から形成される作業用データセットを維持でき、後続の追加クエリ１９に応答して作業用データセットを参照できる。作業用データセットは、最新のロードされたデータセットの例を表すことができる。しかし、実行プラットフォーム２４は、作業用データセットのある次元（例えば、行および／または列）は存在しないが、追加の後続するクエリ１９において参照されると決定できる。そして、実行プラットフォーム２４は、この追加クエリを１つ以上の追加ステートメント２７に変換するために変換ユニット３４を呼び出すことができ、この１つ以上のステートメント２７に基づいて、および、識別された次元は以前のクエリ結果２９には存在しないと決定することに応答して、追加クエリ結果２９を取得するために基礎となるデータセットに、（ユーザ１６から如何なる追加入力も要求することなく）自動的にアクセスできる。実行プラットフォーム２４は、これらの追加クエリ結果２９を結果２５の一部として提供できる。
【0111】
前述の例においては、クエリ３２１は、基礎となるデータセットの多数の異なる次元にわたる多数の異なる値を計算するという点において相対的に複雑である。ＳＱＬなどのような正式構文を使用すると、実行プラットフォーム２４は、クエリ３２１内の異なる計算の順序に依存して異なる結果を返す可能性があり、それは、ユーザ１６による結果２５に対する信頼性を低める可能性がある。しかし、実行プラットフォーム２４は、種々の動作が実行される順序とは無関係に同じ結果を返すことができる。
【0112】
言い換えると、クエリ３２１は、複数のクエリステートメント（例えば、実行済みローン数を計算する、合計承認金額を計算する、合計損失金額を計算する、最大ローン値を計算するなど）を有している多部分クエリを表すことができる。しかし、ＣＮＬＰユニット２２は、多部分クエリを形成している複数のクエリステートメントが如何なる順序でも定義でき、しかし、同じ意図２３という結果になるように、クエリ３２１を定義するときに、不明瞭さを除去する方法で言語サブサーフェス１８を露出することによりクエリ３２１を処理できる。そのため、実行プラットフォーム２４は、多部分クエリ３２１を形成するために複数のクエリステートメントが定義される順序に無関係に、多部分クエリ３２１を同じ１つ以上のステートメント２７に変換できる。
【0113】
図３Ｅの例においては、インタフェース２１のスクリーンショット３３０は、ユーザ１６が「ＧｒｏｓｓＡｐｐｒｏｖａｌが、集計値中央値ＧｒｏｓｓＡｐｐｒｏｖａｌ未満の行を保管」するクエリ３３１を入力したことを示している。そしてまた、ホスト装置１２は、クエリ３３１に応答して、クエリ３３１から意図２３を構文解析するためにＣＮＬＰユニット２２を呼び出し、意図２３を実行プラットフォーム２４に提供する。実行プラットフォーム２４は、中央値ＧｒｏｓｓＡｐｐｒｏｖａｌを計算し、ＧｒｏｓｓＡｐｐｒｏｖａｌが集計値中央値ＧｒｏｓｓＡｐｐｒｏｖａｌ未満の行を選択し、ＳＱＬ構文に準拠するステートメント２７に意図２３を変換するために変換ユニット３４を呼び出すことができる。
【0114】
実行プラットフォーム２４は、プレビュー３３２が形成されるクエリ結果２９を取得するために、ステートメント２７を使用して（最新のロードされたデータセットを格納している）データベース２６にアクセスできる。そして、ホスト装置１２は、プレビュー３３２をクライアント装置１４にインタフェース２１を介して、プレビュー３３２を提示する結果２５の一部として提供できる。
【0115】
上述の例においては、クエリ３３１は、クエリ３３１において最後に言及される種々の計算は、行を選択する前に実行されることが要求されているという点において相対的に複雑である。ＳＱＬなどのような正式構文を使用すると、実行プラットフォーム２４は、クエリ３３１内の異なるクエリステートメントの順序に依存して異なる結果を返す可能性があり、それは、ユーザ１６による結果２５に対する信頼性を低める可能性がある。しかし、実行プラットフォーム２４は、種々の動作が実行される順序とは無関係に同じ結果を返すことができる。
【0116】
言い換えると、クエリ３３１は、複数のクエリステートメントを有している多部分クエリの他の例を表すことができる。しかし、ＣＮＬＰユニット２２は、多部分クエリを形成している複数のクエリステートメントが如何なる順序でも定義でき、しかし、同じ意図２３という結果になるように、クエリ３３１を定義するときに、不明瞭さを除去する方法で言語サブサーフェス１８を露出することによりクエリ３３１を処理できる。そのため、実行プラットフォーム２４は、多部分クエリ３３１を形成するために複数のクエリステートメントが定義される順序に無関係に、多部分クエリ３３１を同じ１つ以上のステートメント２７に変換できる。
【0117】
図３Ｆの例においては、インタフェース２１のスクリーンショット３４０は、ユーザ１６が「新しいウィンドウ列ＴｅｓｔＷｉｎｄｏｗを、年齢によりソートされた各Ｐａｒｃｈに対して、１０行前および３行後の行に対して計算された平均Ｆａｒｅとして作成」するクエリ３４１を入力したことを示している。そしてまた、ホスト装置１２は、クエリ３４１に応答して、クエリ３４１から意図２３を構文解析するためにＣＮＬＰユニット２２を呼び出し、意図２３を実行プラットフォーム２４に提供する。実行プラットフォーム２４は正式ＳＱＬ構文を使用して、行が年齢行に対する値によりソートされるときの、現在の行の１０行前および３行後のＡｖｅｒａｇｅＦａｉｒを計算するウィンドウを計算するステートメント２７に意図２３を変換するために変換ユニット３４を呼び出すことができる。
【0118】
実行プラットフォーム２４は、プレビュー３３２が形成されるクエリ結果２９を取得するために、ステートメント２７を使用して（最新のロードされたデータセットを格納している）データベース２６にアクセスできる。そして、ホスト装置１２は、プレビュー３４２をクライアント装置１４にインタフェース２１を介して、プレビュー３４２を提示する結果２５の一部として提供できる。
【0119】
次に図３Ｇの例を参照すると、実行プラットフォーム２４は、多数のデータセットにアクセスすることを要求する意図２３を受信できる。実行プラットフォーム２４は、意図２３は、クエリ１９が現在の作業用データセット以外のデータセットの次元を識別するクエリステートメントを含んでいるかどうかを決定すると決定できる。クエリステートメントが現在の作業用データセット以外のデータセットの次元を識別するときは、実行プラットフォーム２４は、結合されたデータセットを取得するために、現在の作業用データセットと他のデータセットを（ユーザ１６から如何なる更なる入力も要求することなく）自動的に結合できる。
【0120】
図３Ｇの例において示されているスクリーンショット３５０は、結合されたデータセット（作業用データセットとなる）を取得するために複数のデータセットをどのように結合できるのか（矢印を介して示されているように）を示している。実行プラットフォーム２４は、複数のデータセットを結合するために、正式ＳＱＬ構文に準拠する結合ステートメント２７を自動的に作成でき、それにより結合されたデータセットを取得できる。
【0121】
幾つかの例においては、実行プラットフォーム２４は、関係（そしてまた、例としてのスクリーンショット３５０に示されている関係に類似している）に基づいて、グラフデータ構造体を形式化でき、ここにおいてグラフデータ構造体は、複数のデータセットのそれぞれを表しているノードと、複数のデータセットの次元間の関係を表しているエッジを有している。実行プラットフォーム２４は、意図２３に基づいて、基礎となるクエリ１９を満たすためにグラフデータ構造体を通しての最短距離を識別するためにグラフデータ構造体を詳細に検討でき、結合されたデータセットを取得するために最短経路に沿って自動的にデータセットを結合できる。
【0122】
更に、実行プラットフォーム２４は、グラフデータ構造体を詳細に検討するときに、クエリ１９を満たすグラフデータ構造体を通しての追加経路を識別できる。追加経路を識別することに応答して、実行プラットフォーム２４は、グラフデータ構造体を通しての追加経路を識別する表示を形式化でき、クライアント装置１４を介してユーザ１６に提示される結果２５の一部としてその表示を提供できる。表示は、グラフデータ構造体を通しての追加経路を詳細に検討するという結果になる改良されたクエリに対するリンクを含むことができる。他の例においては、表示は、クエリ１９を完結する前にユーザ１６が解決する必要のある不明瞭さがあるということを示すことができる。
【0123】
実行プラットフォーム２４は、クエリ１９に応答して、データセットの１つ以上の次元間の関係を識別する、スクリーンショット３５０において示されている図に類似している図（図３Ｇの例におけるグラフデータ構造体の視覚化を表している）を出力できる。つまり、実行プラットフォーム２４は、複数のデータセットの１つ以上の次元間の関係を識別でき、データセットの１つ以上の次元間の関係を例示している図を生成できる。実行プラットフォーム２４は、スクリーンショット３５０の例において示されているような図を出力できる。
【0124】
そして何れにせよ、実行プラットフォーム２４は、種々のステートメント２７を使用して、クエリ結果２９を取得するために結合されたデータセット（自動結合が、グラフデータ構造体を通しての最短経路を介して起こると仮定して）にアクセスできる。実行プラットフォーム２４は、クエリ結果２９を含むために結果２５を更新でき、ホスト装置１２はクライアント装置１４にインタフェース２１を介して結果２５を提供する。
【0125】
図４は、本開示において記述されている技術の種々の態様に従う、図１の例において示されている言語サーフェス１８を表すために使用されるデータ構造体７００を例示しているブロック図である。図４の例において示されているように、データ構造体７００は、サブサーフェスルートノード７０２（「ＳＳ－ＲＮ７０２」）、多数の階層的に配置されているサブサーフェス子ノード７０４Ａ～７０４Ｎ（「ＳＳ－ＣＮ７０４」）、７０６Ａ～７０６Ｎ（「ＳＳ－ＣＮ７０６」）、７０８Ａ～７０８Ｎ（「ＳＳ－ＣＮ７０８」）、およびサブサーフェスリーフノード７１０Ａ～７１０Ｎ（「ＳＳ－ＬＮ７１０」）を含むことができる。
【0126】
サブサーフェスルートノード７０２は、基本的サブサーフェスを露出する初期開始ノードを表すことができ、それにより、ＳＳ－ＣＮ７０４などのような、それに依存するサブサーフェスへの露出を制約できる。最初に、ＣＮＬＰユニット２２は、新しいユーザ１６に対して、パターンの限られたセットを露出できるのみであり、パターンのそれぞれは、上述したように、識別子、位置およびキーワードエンティティ、および無視された語句を含んでいる。ＣＮＬＰユニット２２は、状況（現在のセッションの履歴、識別されたユーザの能力、ユーザの嗜好などの１つ、またはそれらの組み合わせを指すことができる）に基づいて、ＳＳ－ＲＮ７０２から、ＳＳ－ＣＮ７０４の１つまでを詳細に検討できる。そのため、ＣＮＬＰユニット２２は階層的に配置されているノード７０２～７１０（例えば、ＳＳ－ＲＮ７０２からＳＳ－ＣＮ７０４の１つ、ＳＳ－ＣＮ７０６／７０８の１つ、ＳＳ－ＬＮ７１０の１つ）を、発見可能性と認識オーバーヘッドとの間のバランスを取るために詳細に検討できる。
【0127】
上述しているように、言語サーフェスにおけるすべてのパターンは識別子で開始でき、これらの識別子は、それらを言語サブサーフェス７０２～７１０にグループ化するためにパターンにわたって再使用される。例えば、すべてのデータ視覚化意図は、「作成」で開始する。発話をテキストボックスに入力すること開始するときは、ユーザ１６は、第１識別子（「作成」、「ロード」など）の１つを含んでいるオートコンプリート提案リストを調べることができる。ユーザ１６が第１識別子を完結すると、ＣＮＬＰユニット２２は、更なる完結のために、その言語サブサーフェスに属している他のパターンを露出できるのみである。上記の例においては、ユーザ１６が第１語句として「作成」を特定したときのみ、ＣＮＬＰユニット２２は種々のチャートフォーマット（線チャート、バブルチャート、ヒストグラムなど）を提案するためにオートコンプリート機構を呼び出す。ユーザ１６がオートコンプリート提案の１つ（例えば、線チャート）を特定したことに応答して、ＣＮＬＰユニット２２は、チャートを構成するためにユーザ１６が特定する必要のあるエンティティ（軸上の列、色、スライダなど）を露出できる。
【0128】
概念的には、すべての発話（言語サーフェス）のセットは、（発話における識別子およびエンティティに基づいて）階層的に配置されるサブセット（サブサーフェス）に分解されると考えることができ、階層の各レベルは、基礎となるサブセットを形成するすべての発話／パターンを含んでいる。オートコンプリート機構を使用して、ユーザ１６はこの階層を上から下に１度に１ステップずつナビゲートできる。各ステップにおいては、ユーザ１６には、提案として次のステップの小さなセットを示すことができるだけである。これは、ＣＮＬＰユニット２２が、発見可能性と認識オーバーヘッドとの間のバランスを取ることを可能にする。言い換えると、技術のこの態様は、パターン特定言語を使用してパターンをどのように構造化するかについてであってよく、ここにおける（「パターンは識別子で開始する」のような）設計選択は、パターン特定言語自体によって強いられることはない。
【0129】
追加的に、ある言語サブサーフェスは、対応する条件が満たされたときのみ露出される。例えば、ＣＮＬＰユニット２２は、すでにロードされている少なくとも１つのデータセットがあるときに、データ視覚化サブサーフェスを露出できるだけである。これは、パターンが現時点で露出されているかどうかを決定するために、各パターンを、現在の状況（このセッションの履歴、ユーザの能力および嗜好など）を見ている機能／手運と関連付けることにより達成される。
【0130】
図５は、図１の例において示されているホスト装置１２および／またはクライアント装置１４の例としての構成要素を示しているブロック図である。図４の例においては、装置１２／１４は、プロセッサ４１２、グラフィックス処理ユニット（ＧＰＵ）４１４、システムメモリ４１６、ディスプレイプロセッサ４１８、１つ以上の集積スピーカ１０５、ディスプレイ１０３、ユーザインタフェース４２０、およびトランシーバモジュール４２２を含んでいる。ソース装置１２がモバイル装置である例においては、ディスプレイプロセッサ４１８はモバイルディスプレイプロセッサ（ＭＤＰ）である。ソース装置１２がモバイル装置である例などのような幾つかの例においては、プロセッサ４１２、ＧＰＵ４１４、およびディスプレイプロセッサ４１８は、集積回路（ＩＣ）として形成できる。
【0131】
例えば、ＩＣはチップパッケージ内の処理チップとして考えることができ、システムオンチップ（ＳｏＣ）であってよい。幾つかの例においては、プロセッサ４１２、ＧＰＵ４１４、およびディスプレイプロセッサ４１８の２つは、同じＩＣに一緒に格納することができ、他の１つは異なる集積回路（つまり、異なるチップパッケージ）に格納でき、または、３つすべてを異なるＩＣ、または同じＩＣに格納できる。しかし、ソース装置１２がモバイル装置である例においては、プロセッサ４１２、ＧＰＵ４１４、およびディスプレイプロセッサ４１８はすべて異なる集積回路に格納されているということは可能である。
【0132】
プロセッサ４１２、ＧＰＵ４１４、およびディスプレイプロセッサ４１８の例としては、下記に制限されないが、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他の等価な集積または離散論理回路が含まれる。プロセッサ４１２は、ソース装置１２の中央演算処理装置（ＣＰＵ）であってよい。幾つかの例においては、ＧＰＵ４１４は、ＧＰＵ４１４に、グラフィックス処理に適切な大量の並行処理機能を提供する集積および／または離散論理回路を含んでいる特殊化ハードウェアであってよい。幾つかの例においては、ＧＰＵ４１４はまた、汎用処理機能を含むことができ、汎用処理タスク（つまり、非グラフィックス関連のタスク）を実現するときは、汎用ＧＰＵ（ＧＰＧＰＵ）と称することができる。ディスプレイプロセッサ４１８はまた、システムメモリ４１６から画像コンテンツを取り出し、画像コンテンツを画像フレームに構成し、画像フレームをディスプレイ１０３に出力するように設計されている特殊化集積回路ハードウェアであってよい。
【0133】
プロセッサ４１２は、種々のタイプのアプリケーション２０を実行できる。アプリケーション２０の例としては、ウェブブラウザ、ｅメールアプリケーション、スプレッドシート、ビデオゲーム、表示のための見ることができるオブジェクトを生成する他のアプリケーション、または、より詳細に上記で一覧表示した任意のアプリケーションタイプが含まれる。システムメモリ４１６は、アプリケーション２０の実行のための命令を格納できる。プロセッサ４１２上でのアプリケーション２０の１つの実行は、プロセッサ４１２に、表示される画像コンテンツのためのグラフィックスデータと、再生されるオーディオデータ２１を生成させる。プロセッサ４１２は、更なる処理のために画像コンテンツのグラフィックスデータを、プロセッサ４１２がＣＰＵ４１４に送信する命令またはコマンドに基づいてＧＰＵ４１４に送信できる。
【0134】
プロセッサ４１２は、特別なアプリケーション処理インタフェース（ＡＰＩ）に従ってＧＰＵ４１４と通信できる。そのようなＡＰＩの例としては、Ｍｉｃｒｏｓｏｆｔ（登録商標）によるＤｉｒｅｃｔＸ（登録商標）ＡＰＩ、ＯｐｅｎＧＬ（登録商標）、またはＫｈｒｏｎｏｓグループによるＯｐｅｎＧＬ（登録商標）、およびＯｐｅｎＣＬＴＭがあるが、本開示の態様は、ＤｉｒｅｃｔＸ、ＯｐｅｎＧＬ、またはＯｐｅｎＣＬ ＡＰＩに制限されず、他のタイプのＡＰＩに拡張できる。更に、本開示において記述されている技術は、ＡＰＩに従って機能することは要求されず、プロセッサ４１２とＧＰＵ４１４は、通信のための如何なる技術も利用できる。
【0135】
システムメモリ４１６は、ソース装置１２に対するメモリであってよい。システムメモリ４１６は、１つ以上のコンピュータ読み取り可能格納媒体を備えることができる。システムメモリ４１６の例としては、下記に制限されないが、ランダムアクセスメモリ（ＲＡＭ）、電気的消去可能型プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、または、所望のプログラムコードを、命令および／またはデータ構造体の形状で搬送または格納するために使用でき、コンピュータまたはプロセッサによりアクセスできる他の媒体が含まれる。
【0136】
幾つかの例においては、システムメモリ４１６は、プロセッサ４１２、ＧＰＵ４１４、および／またはディスプレイプロセッサ４１８に、本開示において記述されている機能を実行させる命令を含むことができる。従って、システムメモリ４１６は、実行されると１つ以上のプロセッサ（例えば、プロセッサ４１２、ＧＰＵ４１４、および／またはディスプレイプロセッサ４１８）に種々の機能を実行させる命令を格納しているコンピュータ読み取り可能格納媒体であってよい。
【0137】
システムメモリ４１６は、非一時的格納媒体を含むことができる。「非一時的」という用語は、格納媒体は搬送波または伝播信号には組み入れられないということを示している。しかし、「非一時的」という用語は、システムメモリ４１６は不揮発性である、または、そのコンテンツは静的であるということを意味していると解釈されるべきではない。１つの例として、システムメモリ４１６は、ソース装置１２から取り外すことができ、他の装置に移動できる。他の例として、実質的にシステムメモリ４１６に類似しているメモリは、装置１２／１４に挿入できる。ある例においては、非一時的格納媒体は、時間の経過と共に変化し得るデータを格納できる（例えば、ＲＡＭにおいて）。
【0138】
ユーザインタフェース４２０は、ユーザがソース装置１２とのインタフェースを取ることができる１つ以上のハードウェアまたは仮想（ハードウェアとソフトウェアとの組み合わせを意味している）ユーザインタフェースを表すことができる。ユーザインタフェース４２０は、物理ボタン、スイッチ、トグル、ライト、またはそれらの仮想版を含むことができる。ユーザインタフェース４２０はまた、物理または仮想キーボード、タッチスクリーンなどのようなタッチインタフェース、触覚フィードバックなどを含むことができる。
【0139】
プロセッサ４１２は、種々のユニット／モジュールなどの１つ以上に関して上記で検討した動作のすべてまたは幾つかを実行するように構成されている１つ以上のハードウェアユニット（いわゆる「処理コア」を含んでいる）を含むことができる。トランシーバモジュール４２２は、装置１２／１４間の無線接続を確立および維持するように構成されているユニットを表すことができる。トランシーバモジュール４２２は、１つ以上の無線通信プロトコルに従って無線通信が可能な１つ以上の受信機および１つ以上の送信機を表すことができる。
【0140】
上述した種々の例のそれぞれにおいては、装置１２／１４は方法を実行でき、または、装置１２／１４が実行するものと上述されている方法の各ステップを実行するための手段を備えることができるということは理解されるべきである。幾つかの例においては、手段は１つ以上のプロセッサを備えることができる。幾つかの例においては、１つ以上のプロセッサは、非一時的コンピュータ読み取り可能格納媒体に格納されている命令により構成されている特殊目的プロセッサを表すことができる。言い換えると、符号化の例のセットのそれぞれにおける技術の種々の態様は、命令を格納した非一時的コンピュータ読み取り可能格納媒体を提供でき、この命令は実行されると１つ以上のプロセッサに、装置１２／１４が実行するように構成されている方法を実行させる。
【0141】
図６は、本開示において記述されている技術の種々の態様を実行するときの、図１のホスト装置の例としての動作を示しているフローチャートである。最初に、ホスト装置１２のＣＮＬＰユニット２２は、自然言語に対する文法を、言語サブサーフェス１８の階層的配置として定義する自然言語包含階層を特定する言語サブサーフェス、例えば、言語サブ１８Ａを露出できる（８００）。ホスト装置１２のサーバ２８は、インタフェース２１を介してＣＮＬＰユニット２２により露出されたＣＮＬサブサーフェス１８を介して、データベース２６に格納されているデータに対する平易言語要求を含んでいるクエリ１９を受信できる。そのようなクエリ１９は、言い換えると、データベース２６に格納されているデータをデータセットとして取り出すようにデータベース２６へのアクセスを要求できる。このようにして、サーバ２８は、データベースにアクセスするためにクエリ１９を受信できる（８０２）。
【0142】
上記のように、そのようなクエリ１９は、ＣＮＬＰユニット２２により意図２３に変換される種々の入力を有している平易会話言語に準拠することができる。サーバ２８は、意図２３を実行プラットフォーム２４に転送でき、実行プラットフォーム２４は、意図２３（クエリ１９を表している）を、データベース２６に格納されているデータセットと関連付けられている正式構文に準拠する１つ以上のステートメント２７に変換する変換を意図２３に適用する。実行プラットフォーム２４は、ステートメント２７に基づいて、初期のクエリ１９に関連しているデータセットの部分を提供するクエリ結果２９を取得するために、データベース２６に格納されているデータセットにアクセスできる（８０６）。実行プラットフォーム２４は、結果２５を形成するときに使用できるクエリ結果２９を取得できる（８０８）。
【0143】
図７は、本開示において記述されている技術の追加態様を実行するときの、図１のホスト装置の例としての動作を示している他のフローチャートである。上述したように、ホスト装置１２の実行プラットフォーム２４は、複数のＭＬＭ４４のそれぞれにより出力されるクエリ結果２９を取得するために、データベース２６に格納されている多次元データセットに複数のＭＬＭを適用する（９００）。実行プラットフォーム２４は次に、データベース２６に格納されている多次元データセットの１つ以上の次元（例えば、選択された行または列）の、ＭＬＭ４４により出力される、変換された意図２３（ステートメント２７により表されている）に応答して提供されるクエリ結果２９との相関関係を決定できる（９０２）。
【0144】
実行プラットフォーム２４は、意図２３（または、ステートメント２７により表されている変換された意図２３）に応答して、ステートメント２７に基づいて結果２５を取得するために、データセットへのアクセスの結果としてのクエリ結果２９を解析する複数のＭＬＭ４４を呼び出すことができる。実行プラットフォーム２４は、１つ以上の次元と、複数のＭＬＭ４４のそれぞれにより出力されたクエリ結果２９との間で決定された相関関係に基づいて、複数のＭＬＭ４４のサブセットのそれぞれに対する結果２５を取得するために、ＭＬＭ４４のサブセットを選択できる（９０４）。実行プラットフォーム２４は、ＭＬＭ４４の１つ以上のそれぞれに対する結果２５をサーバ２８に出力でき、サーバ２８は、インタフェース２１を介して出力結果２５を提供できる（９０６）。
【0145】
このようにして、技術の種々の態様は、下記の例を可能にできる。
【0146】
例１Ａ． 多次元データセットを解釈するように構成されている装置であって、装置は、多次元データセットを格納するように構成されているメモリと、１つ以上のプロセッサを備え、この１つ以上のプロセッサは、複数の機械学習モデルのそれぞれにより出力される結果を取得するために、この複数の機械学習モデルを多次元データセットに適用し、多次元データセットの１つ以上の次元の、複数の機械学習モデルのそれぞれにより出力される結果との相関関係を決定し、１つ以上の次元と、複数の機械学習モデルのそれぞれにより出力される結果との間で決定された相関関係に基づいて、複数の機械学習モデルのサブセットのそれぞれに対する結果を取得するために、複数の機械学習モデルのサブセットを選択し、複数の機械学習モデルのサブセットのそれぞれに対する結果を出力するように構成されている。
【0147】
例２Ａ． 例１Ａの装置であって、１つ以上のプロセッサは、結果を、平易言語を使用する文章として出力するように構成されている。
【0148】
例３Ａ． 例１Ａと２Ａの任意の組み合わせの装置であって、１つ以上のプロセッサは、複数の機械学習モデルのサブセットの少なくとも１つに対する結果を、１つ以上の次元のそれぞれの、複数の機械学習モデルのサブセットのそれぞれに対する結果との関連性を識別するグラフとして出力するように構成されている。
【0149】
例４Ａ． 例３Ａの装置であって、グラフはインパクトグラフを備えている。
【0150】
例５Ａ． 例１Ａ～４Ａの任意の組み合わせの装置であって、１つ以上のプロセッサは、複数の機械学習モデルのサブセットのそれぞれに対する結果を、決定木の図形的表現として出力するように構成されている。
【0151】
図６Ａ． 例１Ａ～５Ａの任意の組み合わせの装置であって、１つ以上のプロセッサは、１つ以上の次元と、複数の機械学習モデルのそれぞれにより出力される結果との間で決定される相関関係の、関連性閾値との比較に基づいて、複数の機械学習モデルのそれぞれにより出力される結果に対して低い関連性を有する多次元データセットの１つ以上の低関連性次元を決定し、１つ以上の低関連性次元は、結果に対して低い関連性を有していると説明する表示を出力するように更に構成されている。
【0152】
例７Ａ． 例６Ａの装置であって、１つ以上のプロセッサは、結果に対して低い関連性を有している１つ以上の低関連性次元を説明する、平易言語での文章を出力するように構成されている。
【0153】
例８Ａ． 例１Ａ～７Ａの任意の組み合わせの装置であって、１つ以上のプロセッサは、複数の機械学習モデルの適用の前に、多次元データセットの１つ以上の次元を変換すること控えるように更に構成されている。
【0154】
例９Ａ． 例１Ａ～８Ａの任意の組み合わせの装置であって、１つ以上のプロセッサは、複数の機械学習モデルの１つ以上のそれぞれに対する結果に基づいて、対応する結果を説明するために複数のチャートの１つ以上を決定し、最も高くランク付けされたチャートを識別するために、複数のチャートの１つ以上をランク付けし、最も高くランク付けされたチャートを選択し、最も高くランク付けされたチャートをビジュアルチャートとして出力するように更に構成されている。
【0155】
例１０Ａ． 例９Ａの装置であって、１つ以上のプロセッサは、ビジュアルチャートの形式化を説明する、平易言語での説明を生成し、その説明を出力するように更に構成されている。
【0156】
例１１Ａ． 例１Ａ～１０Ａの任意の組み合わせの装置であって、１つ以上のプロセッサは、装置がどのように複数の機械学習モデルを生成したかを説明するパイプラインレポートを生成し、そのパイプラインレポートを出力するように更に構成されている。
【0157】
例１２Ａ． 多次元データセットを解釈する方法であって、方法は、複数の機械学習モデルのそれぞれにより出力される結果を取得するために、この複数の機械学習モデルを多次元データセットに適用することと、多次元データセットの１つ以上の次元の、複数の機械学習モデルのそれぞれにより出力される結果との相関関係を決定することと、１つ以上の次元と、複数の機械学習モデルのそれぞれにより出力される結果との間で決定された相関関係に基づいて、複数の機械学習モデルのサブセットのそれぞれに対する結果を取得するために、複数の機械学習モデルのサブセットを選択することと、複数の機械学習モデルのサブセットのそれぞれに対する結果を出力することを備えている。
【0158】
例１３Ａ． 例１２Ａの方法であって、結果を出力することは、結果を、平易言語を使用する文章として出力することを備えている。
【0159】
例１４Ａ． 例１２Ａと１３Ａの任意の組み合わせの方法であって、結果を出力することは、複数の機械学習モデルのサブセットの少なくとも１つに対する結果を、１つ以上の次元のそれぞれの、複数の機械学習モデルのサブセットのそれぞれに対する結果との関連性を識別するグラフとして出力することを備えている。
【0160】
例１５Ａ． 例１４Ａの方法であって、グラフはインパクトグラフを備えている。
【0161】
例１６Ａ． 例１２Ａ～１５Ａの任意の組み合わせの方法であって、結果を出力することは、複数の機械学習モデルのサブセットのそれぞれに対する結果を、決定木の図形的表現として出力することを備えている。
【0162】
例１７Ａ． 例１２Ａ～１６Ａの任意の組み合わせの方法であって、１つ以上の次元と、複数の機械学習モデルのそれぞれにより出力される結果との間で決定される相関関係の、関連性閾値との比較に基づいて、複数の機械学習モデルのそれぞれにより出力される結果に対して低い関連性を有する多次元データセットの１つ以上の低関連性次元を決定することと、１つ以上の低関連性次元は、結果に対して低い関連性を有していると説明する表示を出力することを更に備えている。
【0163】
例１８Ａ． 例１７Ａの方法であって、表示を出力することは、結果に対して低い関連性を有している１つ以上の低関連性次元を説明する、平易言語での文章を出力することを備えている。
【0164】
例１９Ａ． 例１２Ａ～１８Ａの任意の組み合わせの方法であって、複数の機械学習モデルの適用の前に、多次元データセットの１つ以上の次元を変換すること控えることを更に備えている。
【0165】
例２０Ａ． 例１２Ａ～１８Ａの任意の組み合わせの方法であって、複数の機械学習モデルの１つ以上のそれぞれに対する結果に基づいて、対応する結果を説明するために複数のチャートの１つ以上を決定することと、最も高くランク付けされたチャートを識別するために、複数のチャートの１つ以上をランク付けすることと、最も高くランク付けされたチャートを選択することと、最も高くランク付けされたチャートをビジュアルチャートとして出力することを更に備えている。
【0166】
例２１Ａ． 例２０Ａの方法であって、ビジュアルチャートの形式化を説明する、平易言語での説明を生成することと、その説明を出力することを更に備えている。
【0167】
例２２Ａ． 例１２Ａ～２１Ａの任意の組み合わせの方法であって、装置がどのように複数の機械学習モデルを生成したかを説明するパイプラインレポートを生成することと、そのパイプラインレポートを出力することを更に備えている。
【0168】
例２３Ａ． 命令を格納している非一時的コンピュータ読み取り可能格納媒体であって、この命令は実行されると１つ以上のプロセッサに、複数の機械学習モデルのそれぞれにより出力される結果を取得するために、この複数の機械学習モデルを多次元データセットに適用させ、多次元データセットの１つ以上の次元の、複数の機械学習モデルのそれぞれにより出力される結果との相関関係を決定させ、１つ以上の次元と、複数の機械学習モデルのそれぞれにより出力される結果との間で決定された相関関係に基づいて、複数の機械学習モデルのサブセットのそれぞれに対する結果を取得するために、複数の機械学習モデルのサブセットを選択させ、複数の機械学習モデルのサブセットのそれぞれに対する結果を出力させる。
【0169】
例１Ｂ． データセットにアクセスするように構成されている装置であって、装置は、データセットを格納するように構成されているメモリと、１つ以上のプロセッサを備え、この１つ以上のプロセッサは、自然言語に対する文法を、複数の言語サブサーフェスの階層的配置として定義する自然言語包含階層を特定する言語サブサーフェスを露出し、露出された言語サブサーフェスにより提供される自然言語の部分に準拠する、データセットにアクセスするためのクエリを受信し、クエリを、データセットと関連付けられている正式構文に準拠する１つ以上のステートメントに変換し、１つ以上のステートメントに基づいて、クエリ結果を取得するためにデータセットにアクセスし、クエリ結果を出力するように構成されている。
【0170】
例２Ｂ． 例１Ｂの装置であって、１つ以上のプロセッサは、保管するデータセットの１つ以上の次元を識別するクエリを受信し、クエリを、データセットと関連付けられている正式構文に準拠する１つ以上の選択ステートメントに変換し、１つ以上の選択ステートメントに基づいて、クエリにより識別されたデータセットの１つ以上の次元を含んでいるクエリ結果を取得するためにデータセットにアクセスするように構成されている。
【0171】
例３Ｂ． 例１Ｂと２Ｂの任意の組み合わせの装置であって、１つ以上のプロセッサは、データセットにアクセスする、露出された言語サブサーフェスにより提供される言語の部分に準拠し、クエリ結果に存在しないデータセットにおける次元を識別する追加クエリを受信し、識別された次元は、クエリ結果に存在しないと決定し、追加クエリを、正式構文に準拠する１つ以上の追加ステートメントに変換し、１つ以上の追加ステートメントに基づいて、および識別された次元はクエリ結果に存在しないと決定することに応答して、追加クエリ結果を取得するためにデータセットにアクセスし、追加クエリ結果を、追加クエリ結果は、クエリ結果からではなく、データセットから取得されたことを示す表示と共に出力するように更に構成されている。
【0172】
例４Ｂ． 例１Ｂ～３Ｂの任意の組み合わせの装置であって、データセットは、複数のデータセットの１つのデータセットであって、１つ以上のプロセッサは、クエリは複数のデータセットの複数のデータセットに適用されるかどうかを決定し、クエリは複数のデータセットの複数のデータセットに適用されると決定することに応答して、クエリは複数のデータセットに適用されるという表示を出力するように更に構成されている。
【0173】
例５Ｂ． 例１Ｂ～４Ｂの任意の組み合わせの装置であって、クエリは、複数のクエリステートメントを有している多部分クエリを含んでおり、露出された言語サブサーフェスは、クエリを定義するときに、多部分クエリを形成している複数のクエリステートメントが任意の順序で定義可能なように不明瞭さを除去し、１つ以上のプロセッサは、多部分クエリを形成するために複数のクエリステートメントが定義される順序に無関係に、多部分クエリを、同じ１つ以上のステートメントに変換するように構成されている。
【0174】
例６Ｂ． 例１Ｂ～５Ｂの任意の組み合わせの装置であって、データセットは、複数のデータセットの第１データセットであって、１つ以上のプロセッサは、クエリが複数のデータセットの第２データセットの次元を識別するクエリステートメントを含んでいるかどうかを決定し、クエリが第２データセットの次元を識別するクエリステートメントを含んでいると決定することに応答して、結合されたデータセットを取得するために、第１データセットと第２データセットを自動的に結合し、１つ以上のステートメントに基づいて、クエリ結果を取得するために、結合されたデータセットにアクセスするように更に構成されている。
【0175】
例７Ｂ． 例１Ｂ～６Ｂの任意の組み合わせの装置であって、データセットは複数のデータセットの１つのデータセットであり、１つ以上のプロセッサは、複数のデータセットの１つ以上の次元間の関係を識別し、複数のデータセットの１つ以上の次元間の関係を例示する図を生成し、その図を出力するように更に構成されている。
【0176】
例８Ｂ． 例１Ｂ～７Ｂの任意の組み合わせの装置であって、データセットは、複数のデータセットの１つのデータセットであり、１つ以上のプロセッサは、複数のデータセットの１つ以上の次元間の関係を識別し、識別された関係に基づいて、複数のデータセットのそれぞれを表しているノードと、複数のデータセットの１つ以上の次元間の関係を表しているエッジを有しているグラフデータ構造体を生成し、クエリに基づいて、クエリを満たすグラフデータ構造体を通しての最短経路を識別するために、グラフデータ構造体を詳細に検討し、結合されたデータセットを取得するために、データセットと、最短経路に沿って識別された複数のデータセットの１つ以上の追加データセットを自動的に結合し、１つ以上のステートメントに基づいて、クエリ結果を取得するために結合されたデータセットにアクセスするように更に構成されている。
【0177】
例９Ｂ． 例８Ｂの装置であって、１つ以上のプロセッサは、クエリに基づいて、クエリを満たすグラフデータ構造体を通しての追加経路を識別するために、グラフデータ構造体を詳細に検討し、グラフデータ構造体を通しての追加経路を識別する表示を出力するように更に構成されている。
【0178】
例１０Ｂ． 例９Ｂの装置であって、表示は、グラフデータ構造体を通しての追加経路を詳細に検討するという結果になる改良されたクエリに対するリンクである。
【0179】
例１１Ｂ． 例１Ｂ～１０Ｂの任意の組み合わせの装置であって、正式構文は構造クエリ言語構文または、Ｐａｎｄａｓデータフレーム構文を含んでいる。
【0180】
例１２Ｂ． データセットにアクセスする方法であって、方法は、自然言語に対する文法を、複数の言語サブサーフェスの階層的配置として定義する自然言語包含階層を特定する言語サブサーフェスを露出することと、露出された言語サブサーフェスにより提供される言語の部分に準拠する、データセットにアクセスするためのクエリを受信することと、クエリを、データセットと関連付けられている正式構文に準拠する１つ以上のステートメントに変換することと、１つ以上のステートメントに基づいて、クエリ結果を取得するためにデータセットにアクセスすることと、クエリ結果を出力することを備えている。
【0181】
例１３Ｂ． 例１２Ｂの方法であって、クエリを受信することは、保管するデータセットの１つ以上の次元を識別するクエリを受信することを備え、クエリを変換することは、クエリを、データセットと関連付けられている正式構文に準拠する１つ以上の選択ステートメントに変換することを備え、データセットにアクセスすることは、１つ以上の選択ステートメントに基づいて、クエリにより識別されたデータセットの１つ以上の次元を含んでいるクエリ結果を取得するためにデータセットにアクセスすることを備えている。
【0182】
例１４Ｂ． 例１２Ｂと１３Ｂの任意の組み合わせの方法であって、データセットにアクセスする、露出された言語サブサーフェスにより提供される言語の部分に準拠し、クエリ結果に存在しないデータセットにおける次元を識別する追加クエリを受信することと、識別された次元は、クエリ結果に存在しないと決定することと、追加クエリを、正式構文に準拠する１つ以上の追加ステートメントに変換することと、１つ以上の追加ステートメントに基づいて、および識別された次元はクエリ結果に存在しないと決定することに応答して、追加クエリ結果を取得するためにデータセットにアクセスすることと、追加クエリ結果を、追加クエリ結果は、クエリ結果からでなく、データセットから取得されたことを示す表示と共に出力することを更に備えている。
【0183】
例１５Ｂ． 例１２Ｂ～１４Ｂの任意の組み合わせの方法であって、データセットは、複数のデータセットの１つのデータセットであって、方法は、クエリは複数のデータセットの複数のデータセットに適用されるかどうかを決定することと、クエリは複数のデータセットの複数のデータセットに適用されると決定することに応答して、クエリは複数のデータセットに適用されるという表示を出力することを更に備えている。
【0184】
例１６Ｂ． 例１２Ｂ～１５Ｂの任意の組み合わせの方法であって、クエリは、複数のクエリステートメントを有している多部分クエリを含んでおり、露出された言語サブサーフェスは、クエリを定義するときに、多部分クエリを形成している複数のクエリステートメントが任意の順序で定義可能なように不明瞭さを除去し、クエリを変換することは、多部分クエリを形成するために複数のクエリステートメントが定義される順序に無関係に、多部分クエリを、同じ１つ以上のステートメントに変換することを備えている。
【0185】
例１７Ｂ． 例１２Ｂ～１６Ｂの任意の組み合わせの方法であって、データセットは、複数のデータセットの第１データセットであって、方法は、クエリが複数のデータセットの第２データセットの次元を識別するクエリステートメントを含んでいるかどうかを決定することと、クエリが第２データセットの次元を識別するクエリステートメントを含んでいると決定することに応答して、結合されたデータセットを取得するために、第１データセットと第２データセットを自動的に結合することと、１つ以上のステートメントに基づいて、クエリ結果を取得するために、結合されたデータセットにアクセスすることを更に備えている。
【0186】
例１８Ｂ． 例１２Ｂ～１７Ｂの任意の組み合わせの方法であって、データセットは複数のデータセットの１つのデータセットであり、方法は、複数のデータセットの１つ以上の次元間の関係を識別することと、複数のデータセットの１つ以上の次元間の関係を例示する図を生成することと、その図を出力することを更に備えている。
【0187】
例１９Ｂ． 例１２Ｂ～１８Ｂの任意の組み合わせの方法であって、データセットは、複数のデータセットの１つのデータセットであり、方法は、複数のデータセットの１つ以上の次元間の関係を識別することと、識別された関係に基づいて、複数のデータセットのそれぞれを表しているノードと、複数のデータセットの１つ以上の次元間の関係を表しているエッジを有しているグラフデータ構造体を生成することと、クエリに基づいて、クエリを満たすグラフデータ構造体を通しての最短経路を識別するために、グラフデータ構造体を詳細に検討することと、結合されたデータセットを取得するために、データセットと、最短経路に沿って識別された複数のデータセットの１つ以上の追加データセットを自動的に結合することと、１つ以上のステートメントに基づいて、クエリ結果を取得するために結合されたデータセットにアクセスすることを更に備えている。
【0188】
例２０Ｂ． 例１９Ｂの方法であって、クエリに基づいて、クエリを満たすグラフデータ構造体を通しての追加経路を識別するために、グラフデータ構造体を詳細に検討することと、グラフデータ構造体を通しての追加経路を識別する表示を出力することを更に備えている。
【0189】
例２１Ｂ． 例２０Ｂの装置であって、表示は、グラフデータ構造体を通しての追加経路を詳細に検討するという結果になる改良されたクエリに対するリンクである。
【0190】
例２２Ｂ． 例１２Ｂ～２１Ｂの任意の組み合わせの方法であって、正式構文は構造クエリ言語構文または、Ｐａｎｄａｓデータフレーム構文を含んでいる。
【0191】
例２３Ｂ． 命令を格納している非一時的コンピュータ読み取り可能格納媒体であって、この命令は実行されると１つ以上のプロセッサに、自然言語に対する文法を、複数の言語サブサーフェスの階層的配置として定義する自然言語包含階層を特定する言語サブサーフェスを露出させ、露出された言語サブサーフェスにより提供される言語の部分に準拠する、データセットにアクセスするためのクエリを受信させ、クエリを、データセットと関連付けられている正式構文に準拠する１つ以上のステートメントに変換させ、１つ以上のステートメントに基づいて、クエリ結果を取得するためにデータセットにアクセスさせ、クエリ結果を出力させる。
【0192】
１つ以上の例においては、記述されている機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせにおいて実現できる。ソフトウェアにおいて実現される場合は、機能は１つ以上の命令またはコードとして、コンピュータ読み取り可能媒体に格納または送信でき、ハードウェアに基づく処理ユニットにより実行できる。コンピュータ読み取り可能媒体は、データ格納媒体などのような実体的媒体に対応するコンピュータ読み取り可能格納媒体を含むことができる。データ格納媒体は、本開示において記述されている技術の実現のための命令、コードおよび／またはデータ構造体を取り出すために１つ以上のコンピュータまたは１つ以上のプロセッサによりアクセス可能な任意の利用可能な媒体であってよい。コンピュータプログラム製品は、コンピュータ読み取り可能媒体を含むことができる。
【0193】
同様に、上記の種々の例のそれぞれにおいては、ホスト装置１２は方法を実行でき、または、ホスト装置１２が実行するように構成されている方法の各ステップを実行するための手段を備えることができるということは理解されるべきである。幾つかの例においては、その手段は１つ以上のプロセッサを備えることができる。幾つかの例においては、１つ以上のプロセッサは、非一時的コンピュータ読み取り可能格納媒体に格納されている命令により構成されている特殊目的プロセッサを表すことができる。言い換えると、符号化の例のセットのそれぞれにおける技術の種々の態様は、命令を格納した非一時的コンピュータ読み取り可能格納媒体を提供でき、この命令は実行されると１つ以上のプロセッサに、ホスト装置１２が実行するように構成されている方法を実行させる。
【0194】
例として、そして制限的ではなく、そのようなコンピュータ読み取り可能格納媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ、または他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気格納装置、フラッシュメモリ、または、所望されるプログラムコードを、命令またはデータ構造体の形状で格納するために使用でき、コンピュータによりアクセス可能な任意の他の媒体を備えることができる。しかし、コンピュータ読み取り可能格納媒体およびデータ格納媒体は、接続、搬送波、信号、または他の一時的媒体は含まず、非一時的、実体的格納媒体を指しているということは理解されるべきである。ここで使用されているようなディスク（ｄｉｓｋ）およびディスク（ｄｉｓｃ）としては、コンパクトディスク（ＣＤ）、レーザディスク、光ディスク、デジタル多目的ディスク（ＤＶＤ）、フロッピーディスク、およびブルーレイディスクが含まれ、ディスク（ｄｉｓｋ）は通常はデータを磁気的に再生し、一方、ディスク（ｄｉｓｃ）は、データをレーザにより光学的に再生する。上記の組み合わせもまた、コンピュータ読み取り可能媒体の範囲に含まれるべきである。
【0195】
命令は１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または、他の等価な集積または離散論理回路などのような１つ以上のプロセッサにより実行できる。従って、ここにおいて使用されているような「プロセッサ」という用語は、上述の構造体の何れをも、または、ここにおいて記述されている技術の実現に対して適切である他の構造体の何れをも指すことができる。追加的に、幾つかの例においては、ここにおいて記述されている機能は、符号化および復号化のために構成されている専用ハードウェアおよび／またはソフトウェアモジュール内で提供でき、または、組み合わされているコーデックに組み込むことができる。また、これらの技術は、１つ以上の回路または論理要素において完全に実現できる。
【0196】
本開示の技術は、無線ハンドセット、集積回路（ＩＣ）、またはＩＣのセット（例えば、チップセット）を含む、広く多様なデバイスまたは装置において実現できる。種々の構成要素、モジュール、またはユニットが、開示されている技術を実行するように構成されている装置の機能態様を強調するために本開示において記述されているが、それらは、他の異なるハードウェアユニットによる実現を必ずしも要求するわけではない。そうではなく、上述したように、種々のユニットは、コーデックハードウェアユニットにおいて組み合わせることができ、または、上述した１つ以上のプロセッサを含む相互動作が可能なハードウェアユニットの集合体により、適切なソフトウェアおよび／またはファームウェアと連携して提供できる。
【0197】
技術の種々の態様が記述されてきた。技術のこれらの、および他の態様は、下記の請求事項の範囲内である。
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図2F】
【図2G】
【図2H】
【図2I】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図3F】
【図3G】
【図4】
【図5】
【図6】
【図7】
【国際調査報告】