特許 7186871 自然言語構造を使用したデータ視覚化の詳細レベルの判定

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-01

(45)【発行日】2022-12-09

(54)【発明の名称】自然言語構造を使用したデータ視覚化の詳細レベルの判定

(51)【国際特許分類】

   G06F 16/2452 20190101AFI20221202BHJP

   G06F 16/248 20190101ALI20221202BHJP

   G06F 40/30 20200101ALI20221202BHJP

   G06F 40/247 20200101ALI20221202BHJP

【ＦＩ】

G06F16/2452

G06F16/248

G06F40/30

G06F40/247

【請求項の数】 19

(21)【出願番号】P 2021518553

(86)(22)【出願日】2019-10-08

(65)【公表番号】

(43)【公表日】2022-01-13

(86)【国際出願番号】 US2019055169

(87)【国際公開番号】W WO2020076811

(87)【国際公開日】2020-04-16

【審査請求日】2021-06-04

(31)【優先権主張番号】62/742,857

(32)【優先日】2018-10-08

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/234,470

(32)【優先日】2018-12-27

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/166,125

(32)【優先日】2018-10-21

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】508311813

【氏名又は名称】タブロー ソフトウェア，インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】ジャラリ，アレックス

(72)【発明者】

【氏名】セトラー，ヴィディヤ，ラガヴァン

【審査官】甲斐 哲雄

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０２０３９２４（ＵＳ，Ａ１）

【文献】特表２０２２－５００７５１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｆ ４０／２０－４０／５８

(57)【特許請求の範囲】

【請求項1】

自然言語表現の詳細レベルを判定するための方法であって、
ディスプレイ、１つ以上のプロセッサ、および前記１つ以上のプロセッサによる実行のために構成された１つ以上のプログラムを格納するメモリを有するコンピューティングデバイスにおいて、
前記ディスプレイ上にデータ視覚化インターフェースを表示することと、
データソースのユーザ選択を受信することと、
前記データソースに向けられた自然言語コマンドを指定するためのユーザ入力を受信することと、
前記自然言語コマンドを構文解析することによって、前記データソース内のデータフィールドの文脈自由文法およびセマンティックモデルに従って中間表現を形成することであって、前記自然言語コマンドで、
（ｉ）第１の集計における集計タイプを指定する第１の用語、
（ｉｉ）前記セマンティックモデルで、前記第１の集計のために集計されるデータフィールドを指定する第２の用語、および
（ｉｉｉ）前記第１の集計のグループ化を判定するために、前記セマンティックモデルでデータフィールドを指定する１つ以上の用語、を識別することを含む、中間表現を形成することと、
前記データソースに従って、前記中間表現を、前記第１の集計を含む１つ以上のデータベースクエリに変換することと、
前記１つ以上のデータベースクエリを実行して、前記データソースから前記第１の集計に従って集計された１つ以上のデータセットを取得することと、
前記取得されたデータセットの更新されたデータ視覚化を生成および表示することと、を含む、方法。

【請求項2】

前記自然言語コマンドを構文解析することは、前記自然言語コマンドを複数のトークンに構文解析することを含む、請求項１に記載の方法。

【請求項3】

前記複数のトークンの各々について、
レキシコンで前記それぞれのトークンを検索して、前記それぞれのトークンに対応する概念を識別することをさらに含む、請求項２に記載の方法。

【請求項4】

前記自然言語コマンドは、複数の語を含み、前記自然言語コマンドを構文解析することは、
前記レキシコンを使用して、前記自然言語コマンドのコンテキスト内で前記複数の語の各々の機能を判定することをさらに含み、
前記複数のトークンの各々は、前記自然言語コマンドにおいて２つ以上の隣接する語を組み合わせることによって形成される単一の語または句のいずれかを含む、請求項３に記載の方法。

【請求項5】

前記中間表現を形成することは、前記トークンに対応する前記概念を連結することを含む、請求項３または請求項４に記載の方法。

【請求項6】

前記それぞれのトークンに対応する概念を識別するために前記レキシコン内の各トークンを検索することは、
対応する概念を有していない１つ以上のトークンを識別することと、
対応する概念を有する前記複数のトークンを使用して前記中間表現を形成することと、をさらに含む、請求項３に記載の方法。

【請求項7】

前記レキシコンは、データソースレキシコンおよび文法レキシコンを含む、請求項３に記載の方法。

【請求項8】

前記データソースレキシコンは、前記データソース内の前記データフィールドに対応する複数のフィールドを含み、
前記複数のフィールドの各々は、１つ以上のエントリにマッピングされ、前記エントリの各々は、概念に対応する、請求項７に記載の方法。

【請求項9】

前記データソースレキシコンは、前記データソースの前記セマンティックモデルから生成され、
前記セマンティックモデルは、属性の名前、前記属性の値、および前記値に対応するメタデータを含む、請求項７または請求項８に記載の方法。

【請求項10】

前記データソースレキシコン内の前記複数のフィールドは、複数の同義語を含む、請求項８に記載の方法。

【請求項11】

前記複数の同義語は、ユーザによって定義される第１のサブセットを含む、請求項１０に記載の方法。

【請求項12】

前記複数の同義語は、前記コンピューティングデバイスによって事前定義された第２のサブセットを含む、請求項１０または請求項１１に記載の方法。

【請求項13】

前記中間表現を形成することは、前記文脈自由文法を管理する１つ以上の事前定義された文法規則を使用する、請求項１～１２のいずれかに記載の方法。

【請求項14】

前記事前定義された文法規則は、制限、グループ、集計、フィルタリング、およびソートからなる群から選択された事前定義された表現タイプを含む、請求項１３に記載の方法。

【請求項15】

前記自然言語コマンドを指定するためのユーザ入力を受信することは、前記データ視覚化インターフェースのユーザインターフェース制御を介して、前記ユーザ入力を受信することを含む、請求項１～１４のいずれかに記載の方法。

【請求項16】

複数のデータソースのユーザ選択を受信することをさらに含み、前記複数のデータソースの各々が前記データソースに固有のデータソースレキシコンに関連付けられている、請求項１～１５のいずれかに記載の方法。

【請求項17】

前記データソースは、共通の文法レキシコンを共有する、請求項１６に記載の方法。

【請求項18】

コンピューティングデバイスであって、
１つ以上のプロセッサと、
前記１つ以上のプロセッサに結合されたメモリと、
ディスプレイと、
前記メモリに格納され、前記１つ以上のプロセッサによる実行のために構成された１つ以上のプログラムであって、請求項１～１７のいずれかに記載の方法を実施するための命令を含む、１つ以上のプログラムと、を含む、コンピューティングデバイス。

【請求項19】

１つ以上のプログラムを格納する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、コンピューティングデバイスによって実行されると、前記デバイスに請求項１～１７のいずれかに記載の方法を実施させる命令を含む、非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実装形態は、概して、データ視覚化に関し、より具体的には、ユーザが自然言語表現を使用してデータ視覚化と対話し、データを分析することを可能にするシステム、方法、およびユーザインターフェースに関する。

【背景技術】

【0002】

データ視覚化アプリケーションは、ユーザにデータセットを視覚的に理解させることができる。分布、傾向、外れ値、および他の要因を含むデータセットの視覚的分析は、ビジネス上の意思決定を行うために重要である。いくつかのデータセットは、非常に大きいかまたは複雑であり、多くのデータフィールドを含む。複数のデータを視覚化したダッシュボード、および視覚的な分析タスクに役立つ自然言語インターフェースを含めて、様々なツールを使用してデータを理解し、分析することに役立ち得る。

【0003】

自然言語インターフェースは、データ探索に役立つモダリティになりつつある。しかしながら、視覚的分析システムとの自然言語対話をサポートすることは、多くの場合困難である。例えば、ユーザは、言語的に単純または口語的な発話をタイピングする傾向があるが、視覚的分析システムは、基礎となるデータおよび分析機能に対してこれらの発話を実現するというより複雑なニュアンスを有する。統計的手法および機械学習手法を採用することはできるが、新しいデータベースごとに文法を手動で作成し、調整することは脆弱であり、法外な費用がかかる。加えて、特定のデータベースに提示された質問を構文解析するには、統計パーサーをそのデータベースに固有の質問のコーパスでトレーニングする必要がある。

【発明の概要】

【0004】

視覚的分析システムとの自然言語対話をサポートする改善されたシステムおよび方法が必要である。本開示は、自然言語の発話を、視覚的分析システム（例えば、データ視覚化アプリケーション）に対して実行することができる正式なクエリに解決する中間言語について説明する。中間言語は、単一のデータ視覚化で複数の集計レベルをさらにサポートする。したがって、中間言語は、ユーザの認知的負担を軽減し、より効率的なヒューマンマシンインターフェースを作り出す。

【0005】

いくつかの実装形態によると、方法は、ディスプレイと、１つ以上のプロセッサと、１つ以上のプロセッサによる実行のために構成された１つ以上のプログラムを格納するメモリと、を有する、コンピューティングデバイスで実行される。この方法は、ディスプレイ上に視覚化インターフェースを表示することを含む。この方法は、データソースのユーザ選択を受信することを含む。この方法は、データソースに向けられた自然言語コマンドを指定するためのユーザ入力を受信することをさらに含む。例えば、ユーザ入力は、データソースに関連付けられた１つ以上の語を含む。この方法は、自然言語コマンドで、（ｉ）第１の集計における集計タイプを指定する第１の用語と、（ｉｉ）セマンティックモデルで、第１の集計のために集計されるデータフィールドを指定する第２の用語と、（ｉｉｉ）第１の集計のグループ化を判定するために、セマンティックモデルでデータフィールドを指定する１つ以上の用語と、を識別することを含む、自然言語コマンドを構文解析することによって、データソース内のデータフィールドの文脈自由文法およびセマンティックモデルに従って中間表現を形成することをさらに含む。コンピューティングデバイスは、データソースに従って、中間表現を、第１の集計を含む１つ以上のデータベースクエリに変換する。コンピューティングデバイスは、１つ以上のデータベースクエリを実行して、データソースから第１の集計に従って集計された１つ以上のデータセットを取得する。コンピューティングデバイスは、取得されたデータセットの更新されたデータ視覚化を生成および表示する。

【0006】

いくつかの実装形態において、変換は、中間表現を再帰的に使用して、異なる詳細レベルを有する更新されたデータ視覚化を作成することを含む。

【0007】

いくつかの実装形態において、自然言語コマンドを構文解析することは、自然言語コマンドを複数のトークンに構文解析することを含む。

【0008】

いくつかの実装形態において、複数のトークンの各々について、コンピューティングデバイスは、レキシコンでそれぞれのトークンを検索して、それぞれのトークンに対応する概念を識別する。

【0009】

いくつかの実装形態において、自然言語コマンドは、複数の語を含む。自然言語コマンドの構文解析は、レキシコンを使用して、自然言語コマンドのコンテキスト内で複数の語の各々の機能を判定することをさらに含む。複数のトークンの各々は、自然言語コマンドにおいて２つ以上の隣接する語を組み合わせることによって形成される単一の語または句のいずれかを含む。

【0010】

いくつかの実装形態において、中間表現を形成することは、トークンに対応する概念を連結することを含む。

【0011】

いくつかの実装形態において、それぞれのトークンに対応する概念を識別するためにレキシコン内の各トークンを検索することは、対応する概念を有していない１つ以上のトークンを識別することと、対応する概念を有する複数のトークンを使用して中間表現を形成することと、をさらに含む。

【0012】

いくつかの実装形態において、レキシコンは、データソースレキシコンおよび文法レキシコンを含む。

【0013】

いくつかの実装形態において、データソースレキシコンは、データソース内のデータフィールドに対応する複数のフィールドを含む。複数のフィールドの各々は、１つ以上のエントリにマッピングされる。エントリの各々は、概念に対応する。

【0014】

いくつかの実装形態において、データソースレキシコンは、データソースのセマンティックモデルから生成される。セマンティックモデルは、属性の名前、属性の値、および値に対応するメタデータを含む。

【0015】

いくつかの実装形態において、データソースレキシコン内の複数のフィールドは、複数の同義語を含む。

【0016】

いくつかの実装形態において、複数の同義語は、ユーザによって定義される第１のサブセットを含む。

【0017】

いくつかの実装形態において、複数の同義語は、コンピューティングデバイスによって事前定義された第２のサブセットを含む。

【0018】

いくつかの実装形態において、中間表現を形成することは、文脈自由文法を管理する１つ以上の事前定義された文法規則を使用する。

【0019】

いくつかの実装形態において、事前定義された文法規則は、表現タイプが制限、グループ、集計、フィルタリング、またはソートである複数の文法規則を含む。

【0020】

いくつかの実装形態において、自然言語コマンドを指定するためのユーザ入力を受信することは、データ視覚化インターフェースのユーザインターフェース制御を介して、ユーザ入力を受信することを含む。

【0021】

いくつかの実装形態において、この方法は、複数のデータソースのユーザ選択を受信することをさらに含み、各々がデータソースに固有のデータソースレキシコンに関連付けられている。

【0022】

いくつかの実装形態において、データソースは、共通の文法レキシコンを共有する。

【0023】

いくつかの実装形態において、コンピューティングデバイスは、１つ以上のプロセッサ、メモリ、ディスプレイ、およびメモリに格納された１つ以上のプログラムを含む。プログラムは、１つ以上のプロセッサによる実行のために構成される。１つ以上のプログラムは、本明細書に記載の方法のいずれかを実施するための命令を含む。

【0024】

いくつかの実装形態において、非一時的コンピュータ可読記憶媒体は、１つ以上のプロセッサ、メモリ、およびディスプレイを有するコンピューティングデバイスによる実行のために構成された１つ以上のプログラムを格納する。１つ以上のプログラムは、本明細書に記載の方法のいずれかを実施するための命令を含む。

【0025】

したがって、ユーザがデータ視覚化と容易に対話し、自然言語表現を使用してデータを分析することを可能にする方法、システム、およびグラフィカルユーザインターフェースが開示される。

【図面の簡単な説明】

【0026】

上記のシステム、方法、およびグラフィカルユーザインターフェース、ならびにデータ視覚化分析を提供する追加のシステム、方法、およびグラフィカルユーザインターフェースをより良好に理解するために、同様の参照番号が図全体を通して対応する部分を指す以下の図面と併せて、以下の発明を実施するための形態を参照されたい。

【0027】

【図1】いくつかの実装形態で使用されるグラフィカルユーザインターフェースを示す。

【図2A】いくつかの実装形態によるコンピューティングデバイスのブロック図である。

【図2B】いくつかの実装形態によるデータソースレキシコンの構成要素を示すブロック図である。

【図2C】いくつかの実装形態による文法レキシコンのサブモジュールを示すブロック図である。

【図2D】いくつかの実装形態による分析表現を示すブロック図である。

【図3A-3J】いくつかの実装形態による複数レベルの集計をサポートするための中間言語の使用を示す。

【図4A-4D】いくつかの実装形態による自然言語表現の詳細レベルを判定するための方法のフローチャートを提供する。

【図5】いくつかの実装形態による、図３Ｃ、図３Ｅ、図３Ｆ、および図３Ｇの自然言語コマンドの中間表現を示す表である。

【0028】

ここで、実装形態を参照すると、その例は、添付の図面に示されている。以下の説明では、本発明の徹底した理解を提供するために、数多くの特定の詳細が記載される。しかしながら、本発明がこれらの特定の詳細を必要とせずに実践され得ることは当業者には明らかであろう。

【0029】

実装形態の説明
本明細書に記載されている様々な方法およびデバイスは、軽量の中間言語を使用して、自然言語表現（自然言語入力、クエリ、または発話として知られる）から生成された中間論理クエリを表すことにより、データ視覚化プラットフォームでの自然言語インターフェースの有効性を改善する。本明細書でＡｒｋＬａｎｇとも称される中間言語は、自然言語入力をデータベースに対して実行することができる正式なクエリに解決するように設計されている。自然言語入力は、辞書的にＡｒｋＬａｎｇに変換される。入力の中間表現は、ＡｒｋＬａｎｇで形成され、次いで、データソース（例えば、データベース）に対してクエリを発行するために視覚化クエリ言語を採用する一連の命令に変換（例えば、コンパイル）される。データ視覚化プラットフォームは、自然言語入力に応答して、取得したデータセットのデータ視覚化（または更新されたデータ視覚化）を自動的に生成し、および表示する。視覚化クエリ言語は、表、チャート、グラフ、マップ、時系列、および視覚化の表など、データの視覚的表現を記述するための正式な言語である。これらの異なるタイプの視覚的表現は、１つのフレームワークに統合され、クエリ、分析、および視覚化を結合する。したがって、視覚化クエリ言語は、ある視覚的表現から別の視覚的表現へ（例えば、リストビューからクロスタブ、チャートへ）の変換を容易にする。

【0030】

図１は、対話型データ分析のためのグラフィカルユーザインターフェース１００を示す。ユーザインターフェース１００は、いくつかの実装形態に従って、データタブ１１４および分析タブ１１６を含む。データタブ１１４が選択されると、ユーザインターフェース１００は、データペインとも称されるスキーマ情報領域１１０を表示する。スキーマ情報領域１１０は、データ視覚化を構築するために選択、および使用され得る名前付きのデータ要素（例えば、フィールド名）を提供する。いくつかの実装形態において、フィールド名のリストは、ディメンションのグループ（例えば、カテゴリデータ）とメジャーのグループ（例えば、数値）とに分けられる。いくつかの実装形態はまた、パラメータのリストも含む。分析タブ１１６が選択されると、ユーザインターフェースは、データ要素（図示せず）の代わりに分析機能のリストを表示する。

【0031】

グラフィカルユーザインターフェース１００はまた、データ視覚化領域１１２も含む。データ視覚化領域１１２は、列シェルフ領域１２０および行シェルフ領域１２２など複数のシェルフ領域を含む。これらは、列シェルフ１２０および行シェルフ１２２とも称される。本明細書に示されるように、データ視覚化領域１１２はまた、視覚的グラフィックを表示するための大きな空間を有する（本明細書ではデータ視覚化とも称される）。データ要素がまだ選択されていないため、空間は最初に視覚的なグラフィックを有しない。いくつかの実装形態において、データ視覚化領域１１２は、シートと称される複数の層を有する。いくつかの実装形態において、データ視覚化領域１１２は、データ視覚化フィルタのための領域１２６を含む。

【0032】

いくつかの実装形態において、グラフィカルユーザインターフェース１００はまた、自然言語コマンドを受信するための自然言語入力ボックス１２４（コマンドボックスとも称される）を含む。ユーザは、コマンドボックスと対話してコマンドを提供することができる。例えば、ユーザは、ボックス１２４にコマンドをタイピングすることによって、自然言語コマンドを提供することができる。加えて、ユーザは、コマンドを提供するためにマイクロホン２２０に話しかけることによって、コマンドボックスと間接的に対話することができる。いくつかの実装形態において、データ要素は、最初に列シェルフ１２０および行シェルフ１２２に関連付けられる（例えば、スキーマ情報領域１１０から列シェルフ１２０および／または行シェルフ１２２へのドラッグアンドドロップ操作を使用して）。最初の関連付けの後、ユーザは、自然言語コマンド（例えば、自然言語ボックス１２４内）を使用して、表示されたデータの視覚化をさらに探索することができる。場合によっては、ユーザは、自然言語入力ボックス１２４を使用して最初の関連付けを作成し、その結果、１つ以上のデータ要素が列シェルフ１２０および行シェルフ１２２に配置される。例えば、ユーザは、データ要素Ｘとデータ要素Ｙとの間の関係を作成するためのコマンドを提供することができる。コマンドを受信することに応答して、列シェルフ１２０および行シェルフ１２２は、データ要素でポピュレートされ得る（例えば、列シェルフ１２０はデータ要素Ｘでポピュレートされ得、行シェルフ１２２はデータ要素Ｙでポピュレートされ得るか、またはその逆である）。

【0033】

図２Ａは、いくつかの実装形態によるグラフィカルユーザインターフェース１００を表示することができるコンピューティングデバイス２００を示すブロック図である。コンピューティングデバイス２００の様々な例には、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ならびにディスプレイおよびデータ視覚化アプリケーション２３０を実行することができるプロセッサを有する他のコンピューティングデバイスが挙げられる。コンピューティングデバイス２００は、典型的には、１つ以上の処理ユニット（プロセッサまたはコア）２０２、１つ以上のネットワークまたは他の通信インターフェース２０４、メモリ２０６、およびこれらの構成要素を相互接続するための１つ以上の通信バス２０８を含む。通信バス２０８は、任意選択的に、システム構成要素間の通信を相互接続し、制御する回路（チップセットと呼ばれることもある）を含む。コンピューティングデバイス２００は、ユーザインターフェース２１０を含む。ユーザインターフェース２１０は、典型的には、ディスプレイデバイス２１２を含む。いくつかの実装形態において、コンピューティングデバイス２００は、キーボード、マウス、および／または他の入力ボタン２１６などの入力デバイスを含む。代替的に、または加えて、いくつかの実装形態において、ディスプレイデバイス２１２は、タッチセンシティブ面２１４を含み、その場合、ディスプレイデバイス２１２は、タッチセンシティブディスプレイである。いくつかの実装形態において、タッチセンシティブ面２１４は、様々なスワイプジェスチャ（例えば、垂直および／または水平方向の連続ジェスチャ）および／または他のジェスチャ（例えば、シングル／ダブルタップ）を検出するように構成されている。タッチセンシティブディスプレイ２１４を有するコンピューティングデバイスにおいて、物理キーボードは任意選択である（例えば、キーボード入力が必要なときにソフトキーボードが表示され得る）。ユーザインターフェース２１０はまた、スピーカー、またはスピーカー、イヤホン、またはヘッドホンに接続されたオーディオ出力接続などのオーディオ出力デバイス２１８を含む。さらに、いくつかのコンピューティングデバイス２００は、キーボードを補足または交換するためにマイクロホンおよび音声認識を使用する。任意選択的に、コンピューティングデバイス２００は、オーディオ（例えば、ユーザからのスピーチ）をキャプチャするためのオーディオ入力デバイス２２０（例えば、マイクロホン）を含む。

【0034】

いくつかの実装形態において、メモリ２０６は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、または他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、または他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含んでもよい。いくつかの実装形態において、メモリ２０６は、プロセッサ（複数可）２０２からリモートに位置する１つ以上の記憶デバイスを含む。メモリ２０６、または代替的にメモリ２０６内の不揮発性メモリデバイス（複数可）は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実装形態において、メモリ２０６、またはメモリ２０６のコンピュータ可読記憶媒体は、以下のプログラム、モジュール、およびデータ構造、またはそれらのサブセットもしくはスーパーセットを格納する。
・様々な基本的なシステムサービスを処理し、ハードウェアに依存するタスクを実施するための手順を含むオペレーティングシステム２２２、
・コンピューティングデバイス２００を、インターネット、他のワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなど、１つ以上の通信インターフェース２０４（有線または無線）を介して他のコンピュータおよびデバイスに接続するために使用される通信モジュール２２４、
・ユーザがネットワークを介してリモートのコンピュータまたはデバイスと通信することを可能にするウェブブラウザ２２６（またはウェブページを表示することができる他のアプリケーション）、
・オーディオ入力デバイス２２０によってキャプチャされたオーディオを処理するためのオーディオ入力モジュール２２８（例えば、マイクロホンモジュール）。キャプチャされたオーディオは、リモートサーバに送信され、および／またはコンピューティングデバイス２００上で実行されるアプリケーション（例えば、データ視覚化アプリケーション２３０）によって処理され得る。
・データ視覚化および関連機能を生成するためのデータ視覚化アプリケーション２３０。いくつかの実装形態において、データ視覚化アプリケーション２３０はまた、以下も含む。
○ユーザが視覚的グラフィックスを構築するためのグラフィカルユーザインターフェース１００。いくつかの実装形態において、グラフィカルユーザインターフェースは、自然言語ボックス１２４（図１）を介して、ユーザ入力を受信するためのユーザ入力モジュール２３４を含む。例えば、ユーザは、１つ以上のデータソース２４２（コンピューティングデバイス２００に格納されるか、またはリモートで格納され得る）および／またはデータソース（複数可）からのデータフィールドを識別する自然言語コマンドまたは表現を自然言語ボックス１２４に入力する。いくつかの実装形態において、自然言語表現は、オーディオ入力デバイス２２０によってキャプチャされた音声発話である。選択されたフィールドは、視覚的グラフィックを定義するために使用される。次いで、データ視覚化アプリケーション２３０は、生成された視覚的グラフィックをユーザインターフェース１００に表示する。いくつかの実装形態において、データ視覚化アプリケーション２３０は、スタンドアロンアプリケーション（例えば、デスクトップアプリケーション）として実行される。いくつかの実装形態において、データ視覚化アプリケーション２３０は、ウェブサーバによって提供されるウェブページを使用して、ウェブブラウザ２２６または別のアプリケーション内で以下を実行する。
○ユーザ入力（例えば、自然言語入力）を使用して、対応する視覚的グラフィック（「データ視覚化」または「データビズ」とも称される）を自動的に生成および表示するデータ視覚化生成モジュール２３６、
〇自然言語ボックス１２４を使用して受信した自然言語入力（例えば、コマンド）を処理（例えば、解釈）するための自然言語処理モジュール２３８。いくつかの実装形態において、自然言語処理モジュール２３８は、自然言語コマンドを（例えば、トークンに）構文解析し、コマンドを中間言語（例えば、ＡｒｋＬａｎｇ）に変換する。自然言語処理モジュール２３８は、自然言語処理モジュール２３８によって自然言語コマンドの中間表現を形成するために使用される分析表現２３９を含む。自然言語処理モジュール２３８はまた、データベースまたはデータソース２４２に対してクエリを発行し、データベースまたはデータソース２４２から１つ以上のデータセットを取得するために、視覚化クエリ言語を採用することによって、中間表現をデータベースクエリに変換（例えば、コンパイル）する。
・所望のデータ視覚化の特性を定義するために使用される視覚的仕様２４０。いくつかの実装形態において、ユーザが提供する情報（例えば、ユーザ入力）は、視覚的仕様として格納される。いくつかの実装形態において、視覚的仕様２４０は、ユーザから受信した以前の自然言語コマンド、または自然言語コマンドを介してユーザによって指定されたプロパティを含む。いくつかの実装形態において、視覚的仕様２４０は、異なる詳細レベルに基づく２つ以上の集計を含む。詳細レベルについてのさらなる情報は、２０１５年７月１６日に出願された米国特許出願第１４／８０１，７５０号、発明の名称「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ ｕｓｉｎｇ Ｍｕｌｔｉｐｌｅ Ａｇｇｒｅｇａｔｉｏｎ Ｌｅｖｅｌｓ ｉｎ ａ Ｓｉｎｇｌｅ Ｄａｔａ Ｖｉｓｕａｌｉｚａｔｉｏｎ」に見ることができ、その全体が参照により本明細書に組み込まれている。
・データ視覚化アプリケーション２３０によって使用される、ゼロ個以上のデータベースまたはデータソース２４２（例えば、第１のデータソース２４４および第２のデータソース２４６）。いくつかの実装形態において、データソースは、スプレッドシートファイル、ＣＳＶファイル、ＸＭＬファイル、フラットファイル、もしくはＪＳＯＮファイルとして格納されるか、またはリレーショナルデータベースに格納される。例えば、ユーザは、１つ以上のデータベースまたはデータソース２４２（コンピューティングデバイス２００に格納され得るか、またはリモートに格納され得る）を選択し、データソース（複数可）からデータフィールドを選択し、選択されたフィールドを使用して視覚的グラフィックを定義する。
・各々がそれぞれのデータベースまたはデータソース２４２から直接導出される、ゼロ個以上のセマンティックモデル２４８（例えば、第１のセマンティックモデル２４８－１および第２のセマンティックモデル２４８－２）。セマンティックモデル２４８は、データベーススキーマを表し、属性に関するメタデータを含む。いくつかの実装形態において、セマンティックモデル２４８は、属性の代替ラベルまたは同義語のメタデータも含む。セマンティックモデル２４８は、データタイプ（例えば、「テキスト」、「日付」、「地理空間」、「ブール」、および「数値」）、属性（例えば、米ドルなどの通貨タイプ）、およびそれぞれのデータベースまたはデータソース２４２のデータフィールドのセマンティックロール（例えば、地理空間属性の「都市」ロール）を含む。いくつかの実装形態において、セマンティックモデル２４８はまた、各属性の統計値（例えば、データ分布、範囲制限、平均、およびカーディナリティ）をキャプチャする。いくつかの実装形態において、セマンティックモデル２４８は、多くのクエリ言語（例えば、平均、フィルタ、ソート）に見られる分析概念２５８のセットを含む文法レキシコン２５０で拡張されている。いくつかの実装形態において、セマンティックモデル２４８はまた、メジャーである属性（例えば、測定、集計、または数学演算に使用することができる属性）とディメンション（例えば、カウント以外では集計することができないフィールド）とを区別する。したがって、セマンティックモデル２４８は、顕著な属性および値を推論し、選択するのに役立つ。
・中間表現を形成するための分析表現２３９をサポートするために使用される分析概念２５８（図２Ｂを参照）を含む文法レキシコン２５０、および
・各々がそれぞれのデータベースまたはデータソース２４２に関連付けられている、ゼロ個以上のデータソースレキシコン２５２（例えば、第１のデータソースレキシコン２５４および第２のデータソースレキシコン２５６）。データソースレキシコンの構成要素の詳細は、図２Ｂに記載されている。

【0035】

図２Ｂは、いくつかの実装形態による、第１のデータソースレキシコン２５４の構成要素を示すブロック図である。第１のデータソースレキシコン２５４は、第１のデータソース２４４の１つ以上の表の名前に対応する表名２７４、第１のデータソース２４４の複数のデータフィールド２７６、および他のデータベースオブジェクト２８８を含む。各データフィールド２７６は、以下を含む。
・整数、文字列、日付、または浮動小数点数値などのデータタイプ２７８、
・データフィールドを解釈するために使用される１つ以上の概念２８０。例えば、データフィールド「Ｍｉｃｈａｅｌ」は、「文字列」、「名前」、「性別（例えば、男性）」、「歌手」、「バスケットボールプレーヤ」、および／または「シェフ」などの概念を使用して解釈され得る。いくつかの実装形態において、１つ以上の概念がエラスティック検索から導出される。
・システムによって定義される１つ以上の同義語２８２。例えば、データフィールド「ａｖｅｒａｇｅ」は、「ｍｅａｎ」や「ａｖｇ」などの同義語を含み得る。
・ユーザによって定義される１つ以上のエイリアス２８４。例えば、データフィールド「ｇｏｏｄｓ」は、「ｗｉｄｇｅｔｓ」、「ｂａｎａｎａｓ」、および「ｍｙ ｆａｖｏｒｉｔｅ ｆｉｅｌｄ」などのエイリアスを含み得る。
・データ値２８６（例えば、カーディナリティの低い文字列フィールドの場合）。

【0036】

いくつかの実装形態において、データソースレキシコン２５４は、他のデータベースオブジェクト２８８も含む。

【0037】

図２Ｃは、いくつかの実装形態による文法レキシコン２５０の構成要素を示すブロック図である。いくつかの実装形態において、文法レキシコンは、分析表現２３９の形成をサポートする分析概念２５８を含む。分析概念２５８は、以下を含む。
・データベース属性の有限のセットであるフィールド２６０の概念。フィールドの概念の例には、「ｓａｌｅｓ」および「ｐｒｏｄｕｃｔ ｃａｔｅｇｏｒｙ」が挙げられる。
・データベース値の有限のセットである値２６２の概念。値の概念の例には、「＄１００」および「Ａｖｅｒｙ Ｌｅｃｋｍａｎ」が挙げられる。
・複数の行の値を一緒にグループ化して、数学演算に基づいて単一の値を形成する演算子の有限のセットである、集計２６４の概念。集計の概念の例には、「ａｖｅｒａｇｅ」、「ｍｅｄｉａｎ」、「ｃｏｕｎｔ」、「ｄｉｓｔｉｎｃｔ ｃｏｕｎｔ」が挙げられる。
・データをデータ視覚化で示されるカテゴリに分割する演算子の有限のセットである、グループ２６６の概念。グループの概念の例には、「ｂｙ」フィールドが挙げられる。
・フィールドのドメインのサブセットを返す演算子の有限のセットである、フィルタ２６８の概念。フィルタの概念の例「ｆｉｌｔｅｒ ｔｏ」、「ａｔ ｌｅａｓｔ」、「ｂｅｔｗｅｅｎ」、「ａｔ ｍｏｓｔ」。
・フィールドのドメインのサブセットを返す演算子の有限のセット（フィルタ２６８に類似）であり、最大ｎ行に制限し、１≦ｎ≦Ｎであり、Ｎは、ドメイン内の行の総数である、制限２７０の概念。制限の概念の例には、「ｔｏｐ」および「ｂｏｔｔｏｍ」が挙げられる。
・データ行を順番に配置する演算子の有限のセットである、ソート２７２の概念。ソートの概念の例には、「ａｓｃｅｎｄｉｎｇ」、「ｄｅｓｃｅｎｄｉｎｇ」、および「ａｌｐｈａｂｅｔｉｃａｌ」が挙げられる。

【0038】

ＡｒｋＬａｎｇは、対応するデータベースを表すセマンティックモデルのセット（例えば、セマンティックモデル２４８）、文脈自由文法（ＣＦＧ）、およびセマンティック制約のセットから生成することができる。いくつかの実装形態において、ＡｒｋＬａｎｇの方言は、特定のセマンティックモデルを修正し、文脈自由文法とセマンティックヒューリスティックの固定セットとを活用することによって生成することができる、構文的に有効で意味的に意味のあるすべての分析表現のセットである。

【0039】

いくつかの実装形態において、正準表現が分析表現２３９に割り当てられ（例えば、自然言語処理モジュール２３８によって）、自然言語クエリに固有の曖昧な構文解析の急増の問題に対処する。正準構造は、パーサーの観点から明確であり、自然言語処理モジュール２３８は、複数の構文解析間で迅速に選択して中間表現を形成することができる。

【0040】

図２Ｄは、いくつかの実装形態による、自然言語処理モジュール２３８の分析表現２３９を示すブロック図である。ＡｒｋＬａｎｇの方言での正準形とともに、分析表現は以下を含む。
・集計表現２９０：これらは、正準形［ａｇｇ ａｔｔ］であり、ここでａｇｇ∈Ａｇｇｒｅｇａｔｉｏｎｓであり、ａｔｔは属性である。集計表現の例は、「ａｖｅｒａｇｅ Ｓａｌｅｓ」であり、ここで「ａｖｅｒａｇｅ」はａｇｇ、および「Ｓａｌｅｓ」はａｔｔである。
・グループ表現２９２：これらは、正準形［ｇｒｐ ａｔｔ］であり、ここでｇｒｐ∈Ｇｒｏｕｐｓであり、ａｔｔは属性である。グループ表現の例は、「ｂｙ Ｒｅｇｉｏｎ」であり、ここで「ｂｙ」はｇｒｐ、および「Ｒｅｇｉｏｎ」はａｔｔである。
・フィルタ表現２９４：これらは、正準形［ａｔｔ ｆｉｌｔｅｒ ｖａｌ］であり、ここでａｔｔは属性であり、ｆｉｌｔｅｒ∈Ｆｉｌｔｅｒｓ、およびｖａｌ∈Ｖａｌｕｅｓである。フィルタ表現の例は、「Ｃｕｓｔｏｍｅｒ Ｎａｍｅ ｓｔａｒｔｓ ｗｉｔｈ Ｊｏｈｎ」であり、ここで「Ｃｕｓｔｏｍｅｒ」はａｔｔ、「ｓｔａｒｔｓ ｗｉｔｈ」はｆｉｌｔｅｒ、および「Ｊｏｈｎ」はｖａｌである。
・制限表現２９６：これらは、正準形［ｌｉｍｉｔ ｖａｌ ｇｅ ａｅ］であり、ここでｌｉｍｉｔ∈Ｌｉｍｉｔｓ、ｖａｌ∈Ｖａｌｕｅｓ、ｇｅ∈グループ表現、およびａｅ∈集計表現である。制限表現の例は、「ｔｏｐ ５ Ｗｉｎｅｒｉｅｓ ｂｙ ｓｕｍ ｏｆ Ｓａｌｅｓ」であり、ここで「ｔｏｐ」はｌｉｍｉｔ、「５」はｖａｌ、「Ｗｉｎｅｒｉｅｓ」はｇｒｏｕｐ ｂｙの属性、および「ｓｕｍ ｏｆ Ｓａｌｅｓ」は集計表現である。
・ソート表現２９８：これらは、正準形［ｓｏｒｔ ｇｅ ａｅ］であり、ここでｓｏｒｔ∈Ｓｏｒｔｓ、ｇｅ∈グループ表現、およびａｅ∈集計表現である。ソート表現の例は、「ｓｏｒｔ Ｐｒｏｄｕｃｔｓ ｉｎ ａｓｃｅｎｄｉｎｇ ｏｒｄｅｒ ｂｙ ｓｕｍ ｏｆ Ｐｒｏｆｉｔ」であり、ここで「ａｓｃｅｎｄｉｎｇ ｏｒｄｅｒ」はｓｏｒｔ、「Ｐｒｏｄｕｃｔｓ」はｇｒｏｕｐ ｂｙの属性、および「ｓｕｍ ｏｆ Ｐｒｏｆｉｔ」は集計表現である。

【0041】

いくつかの実装形態において、コンピューティングデバイス２００は、ユーザが入力ボックス１２４にタイピングし始めたときに複数の候補オプションを含むドロップダウンメニューを表示するオートコンプリートモジュール、および自然言語コマンドとデータフィールド（図示せず）との間の構文的および意味的な曖昧さを解決する曖昧さモジュールなど他のモジュールも含む。これらのサブモジュールの詳細は、２０１８年９月１８日に出願された米国特許出願第１６／１３４，８９２号、発明の名称「Ａｎａｌｙｚｉｎｇ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｅｘｐｒｅｓｓｉｏｎｓ ｉｎ ａ Ｄａｔａ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」に記載されており、その全体が参照により本明細書に組み込まれる。

【0042】

図２は、コンピューティングデバイス２００を示しているが、図２は、本明細書で説明されている実装形態の構造的概略としてではなく、存在し得る様々な特徴の機能的説明としてより意図されている。実際には、当業者によって認識されるように、別々に示されたアイテムを組み合わせることができ、いくつかのアイテムを分離することができる。

【0043】

図３Ａ～図３Ｊは、例示的なデータソース、ならびに中間言語を背景として使用して、ユーザが入力した自然言語コマンドに応答して、視覚的表現の自動生成および表示を示す。中間言語を使用したコマンド処理に関するさらなる詳細については、図４で説明される。

【0044】

図３Ａは、それぞれの年のバスケットボールチームのプレーヤ、およびそれぞれの年のチーム別の勝利数を説明する例示的なデータソース３１０（例えば、図２Ａのデータベースまたはデータソース２４２）を示す。この例では、データソース３１０は、データ列に格納された複数のデータ値を含むデータ構造（例えば、スプレッドシート）である。いくつかの実装形態において、データソース３１０は、生の（例えば、元のまたはフォーマットされていない）データソースである。この例では、データソースフィールドは集計されていない（Ｗｉｎｓ列を除く）。いくつかの実装形態において、集計されていないデータソースフィールドを参照する分析表現（例えば、分析表現２３９）が、基礎となる表の各行について計算される。言い換えれば、表現の次元は行レベルであり、「詳細レベル（ＬＯＤ）０」として知られている。

【0045】

図３Ｂは、元のデータソース３１０から生成された集計データソース３２０を示す。集計されたデータソース３２０は、集計されたデータ列「年別のチーム」を含む。集計されたデータソース３２０のフィールドは、各行のチームおよび年のフィールドを集計（例えば、グループ化）することによって導出される。集計されたデータソース３２０の次元は、「詳細レベル（ＬＯＤ）１」である。言い換えれば、ＬＯＤ１は、単一レベルの集計を表し、集計されたデータソース３２０は、行レベルのデータから導出された表である。

【0046】

図３Ｃは、グラフィカルユーザインターフェース１００とのユーザ対話を示す。この例では、ユーザは、コマンドボックス１２４に自然言語表現（例えば、自然言語コマンド）３１２「チーム別の勝利の合計」を入力する。典型的に、自然言語表現は、データソース（例えば、データソース３１０）からのデータフィールドを識別する１つ以上の用語を含む。用語は、ディメンション（例えば、カテゴリデータ）またはメジャー（例えば、数値）であり得る。例で示されているように、自然言語入力は、典型的に、２つ以上の用語を含む。

【0047】

図３Ｄは、ユーザによって入力された自然言語表現３１２に応答して、グラフィカルユーザインターフェース１００に自動的に生成および表示されるデータ視覚化３３０（例えば、水平棒グラフ）を示す。列シェルフ１２０および行シェルフ１２２はそれぞれ、自動生成されたフィールド「ＳＵＭ（Ｗｉｎｓ）」３３２および「Ｔｅａｍ」３３４を含む。言い換えれば、データ視覚化３３０は、一方の軸（例えば、ｘ軸）上の測定値（「ｗｉｎｓ」の数）および他方の軸（例えば、ｙ軸）上のディメンション（「Ｔｅａｍ」）の集計（「ｓｕｍ」）の視覚的表現である。この場合、データ視覚化３３０に関連付けられた次元は、詳細レベル（ＬＯＤ）１である。

【0048】

図３Ｅは、自然言語表現３４２「経時的なチーム別の勝利の合計」に応答して自動的に生成されるデータ視覚化３４０（例えば、水平棒グラフ）を示す。図３Ｄと図３Ｅとの間を比較すると、列シェルフ１２０のフィールドは両方の場合で同じである（ＳＵＭ（Ｗｉｎｓ）３３２）のに対し、図３Ｅの行シェルフ１２２は、フィールド「Ｔｅａｍ」３３４と「Ｙｅａｒ」３４４とを含む（すなわち、１つの追加フィールド「Ｙｅａｒ」を含む）ことを示す。データ視覚化３４０は、ｙ軸が「Ｔｅａｍ」および「Ｙｅａｒ」のディメンションを含み、その年のチーム別の勝利の合計の内訳を示すという点で、図３Ｄとは異なる。データ視覚化３４０に関連付けられた次元は、詳細レベル（ＬＯＤ）１である。

【0049】

図３Ｆは、自然言語表現「平均勝利、ｈｅａｔにフィルタリング」３５２に応答して自動的に生成されるデータ視覚化３５０（例えば、水平棒グラフ）を示す。列シェルフ１２０は、自動生成されたフィールド「ＡＶＧ（Ｗｉｎｓ）」３５６を含む。追加的に、フィルタ領域１２６は、「Ｔｅａｍ：ｈｅａｔ」のためのフィルタが含まれていることを示している。データ視覚化３５０は、１つの軸（例えば、ｘ軸）上の測定値（「ｗｉｎｓ」の数）の集計（「ａｖｅｒａｇｅ」）を示す。ｙ軸は、フィルタリングされたチームの「ｈｅａｔ」に対応する単一の水平バーを示す。いくつかの実装形態において、データ視覚化領域１１２はまた、ユーザがフィルタリングしたいチームを手動で選択することを可能にするウィンドウ３５４を表示する。データ視覚化フィルタのさらなる詳細は、２０１５年７月１６日に出願された米国特許出願第１４／８０１，７５０号、発明の名称「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ ｕｓｉｎｇ Ｍｕｌｔｉｐｌｅ Ａｇｇｒｅｇａｔｉｏｎ Ｌｅｖｅｌｓ ｉｎ ａ Ｓｉｎｇｌｅ Ｄａｔａ Ｖｉｓｕａｌｉｚａｔｉｏｎ」に記載されており、その全体が参照により本明細書に組み込まれる。

【0050】

図３Ｆのデータ視覚化は、各年の勝利数を見てチーム平均を計算することを示す。「生の」データソースがＴｅａｍ、Ｙｅａｒ、およびＷｉｎｓのデータフィールドを含む場合、この平均は、ＬＯＤ１を表す。これは、単一の集計を使用して計算することができるためである（例えば、ＳＥＬＥＣＴ Ｔｅａｍの計算と同様に、ＡＶＥＲＡＧＥ（Ｗｉｎｓ）ＦＲＯＭ Ｄａｔａ＿Ｓｏｕｒｃｅ ＧＲＯＵＰ ＢＹ Ｔｅａｍ）。一方、生のデータソースがプレイされた個々のゲームである場合、各チームの年間合計を取得するための第１の集計（ＬＯＤ１の計算）があり、第２の集計は、第１の集計に基づいているので、年別の平均の計算はＬＯＤ２の計算である。例えば、生のデータソースがフィールドＴｅａｍ、Ｇａｔｅ＿Ｄａｔｅ、およびＷｉｎｎｅｒ（ブールフィールド）を有する場合、第１の集計の計算は、ＳＥＬＥＣＴ Ｔｅａｍ、ＹＥＡＲ（Ｇａｍｅ＿Ｄａｔｅ）ＡＳ Ｙｅａｒ、ＣＯＵＮＴ（＊）ＡＳ Ｗｉｎｓ ＦＲＯＭ Ｇａｍｅｓ ＷＨＥＲＥ Ｗｉｎｎｅｒ＝１ ＧＲＯＰＵＰ ＢＹ Ｔｅａｍ，ＹＥＡＲ（Ｇａｍｅ＿Ｄａｔｅ）の計算に類似している。

【0051】

図３Ｇは、グラフィカルユーザインターフェース１００上でユーザによって入力された、「１人以上のプレーヤの合計数を伴う年別のチーム別の勝利」という自然言語表現３６２を示す。

【0052】

いくつかの実装形態において、第２の集計（例えば、詳細レベル（ＬＯＤ）２）をＬＯＤ１の表から導出することができる。図３Ｈは、図３Ａの元のデータソース３１０から生成された詳細レベル（ＬＯＤ）１を備えた集計データソース３６０を示す。データソース３６０は、データ列「年別のチーム」と、「勝利の合計」および「プレーヤの数」の集計列と、を含む。図３Ｉは、集計データソース３６０から導出された（例えば、生成された）集計データソース３７０を示し、２回集計されたデータ列「年別のチーム別の勝利の合計別」を含む。すなわち、データ列「年別のチーム」および「勝利の合計」は、最初に集計されて、データフィールド「（５５、（Ｂｕｌｌｓ、１９９１））」、「（５８、（Ｈｅａｔ、２０１０））」、および「（５５、（Ｈｅａｔ、２０１１））」を形成する。年別に各チームに１人のプレーヤがおり、５５勝が２人（チーム、年）いるため、（チーム、年）の５５勝のプレーヤの数は２人である。したがって、データフィールドは、（例えば、５５勝のプレーヤの数を合計することによって）再び集計されて、図３Ｉのデータソース３７０を形成する。したがって、集計されたデータソース３７０は、第２の詳細レベル（ＬＯＤ２）を有し、２回集計されたデータ列「年別のチーム別の勝利の合計別」を含む。いくつかの実装形態において、表計算およびＬＯＤ計算を使用して、複数の集計（例えば、ＬＯＤ２）が実現される。

【0053】

図３Ｊは、自然言語表現３６２に応答して自動的に生成および表示され、データソース３７０の視覚的表現であるデータ視覚化３８０を示す。

【0054】

図４Ａ～図４Ｄは、いくつかの実装形態による自然言語表現の詳細レベルを判定する（４０２）ための方法４００のフローチャートを提供する。方法４００は、プロセスとも称される。

【0055】

いくつかの実装形態において、中間言語（ＡｒｋＬａｎｇとも称される）により、汎用データベースに自然言語クエリを発行するプロセスが容易になる。いくつかの実装形態において、視覚化応答を生成するための自然言語入力から視覚化クエリ言語（ＶｉｚＱＬ）コマンドへの変換は、以下のアルゴリズムを使用する。
・入力：自然言語トークンのシーケンス
・出力：ＶｉｚＱＬクエリ表現（複数可）
・ｆを、各自然言語の語をＡｒｋＬａｎｇの概念（例えば、「ａｖｅｒａｇｅ」の概念）にマッピングする変換関数とする。
・ｇを、ＡｒｋＬａｎｇの分析表現をＶｉｚＱＬにマッピングする（トップダウン再帰）変換関数とする。
・次いで、ｈは、自然言語表現をＶｉｚＱＬにマッピングするｆとｇとの合成として定義される。
・自然言語からＡｒｋＬａｎｇへの語彙翻訳を実施する。例えば、ｆ（ｍｅａｎ）＝ｆ（ａｖｇ）＝「ａｖｅｒａｇｅ」およびｆ（ｗｉｎｅ ｐｒｉｃｅｓ）＝「Ｐｒｉｃｅ」。
・文脈自由文法と文法規則のセットとを活用して、結果として変換された用語をＡｒｋＬａｎｇ方言に構文解析する。例えば、「ａｖｅｒａｇｅ」∈Ａｇｇｒｅｇａｔｉｏｎｓ、およびワイン価格∈Ｆｉｅｌｄｓなので、［ａｖｅｒａｇｅ，Ｐｒｉｃｅ］∈集計表現となり、
・ＡｒｋＬａｎｇセンテンスをＶｉｚＱＬコマンドにコンパイルし、そのコマンドをデータベースに対して発行する。例えば、変換ｇ（［ａｖｅｒａｇｅ、Ｐｒｉｃｅ］）を実施する。

【0056】

方法４００は、ディスプレイ２１２、１つ以上のプロセッサ２０２、およびメモリ２０６を有する（４０４）コンピューティングデバイス２００で実施される（４０４）。メモリ２０６は、１つ以上のプロセッサ２０２による実行のために構成された１つ以上のプログラムを格納する（４０６）。いくつかの実装形態において、図４Ａ～図４Ｄに示される動作は、メモリ２０６または他の非一時的コンピュータ可読記憶媒体に記憶された命令に対応する。コンピュータ可読記憶媒体は、磁気もしくは光ディスク記憶デバイス、フラッシュメモリなどのソリッドステート記憶デバイス、または他の不揮発性メモリデバイスを含み得る。コンピュータ可読記憶媒体に格納された命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、または１つ以上のプロセッサによって解釈される他の命令フォーマットのうちの１つ以上を含み得る。方法４００のいくつかの動作を組み合わせてもよく、および／またはいくつかの動作の順序を変更してもよい。

【0057】

コンピューティングデバイス２００は、ディスプレイ２１２上にデータ視覚化インターフェース１００を表示する（４０８）。

【0058】

コンピューティングデバイス２００は、データソースのユーザ選択を受信する（４１０）。例えば、コンピューティングデバイスは、図３Ａに示されるように、データソース３１０のユーザ選択を受信する。

【0059】

コンピューティングデバイスは、データソース（例えば、データベースまたはデータソース２４２またはデータソース３１０）に向けられた自然言語コマンドを指定するためのユーザ入力を受信する（４１２）。いくつかの実装形態において、ユーザ入力は、データソースに関連付けられた１つ以上のフィールドを含む。例えば、ユーザ入力は、複数の語および／または数字を含む。

【0060】

いくつかの実装形態において、コンピューティングデバイス２００は、データ視覚化インターフェースのユーザインターフェース制御を介して、ユーザ入力を受信する（４１４）。例えば、コンピューティングデバイスは、グラフィカルユーザインターフェース１００のコマンドボックス１２４を介してユーザ入力を受信する。いくつかの実装形態において、ユーザは、ユーザ入力を入力する（例えば、入力する）ことができる。いくつかの実装形態において、ユーザ入力は、オーディオ入力デバイス２２０によってキャプチャされた音声発話である。

【0061】

コンピューティングデバイスは、自然言語コマンドで、（ｉ）第１の集計における集計タイプを指定する第１の用語と、（ｉｉ）セマンティックモデル２４８で、第１の集計のために集計されるデータフィールドを指定する第２の用語と、（ｉｉｉ）第１の集計のグループ化を判定するために、セマンティックモデルでデータフィールドを指定する１つ以上の用語と、を識別することを含む、自然言語コマンドを構文解析することによって、データソース内のデータフィールドの文脈自由文法およびセマンティックモデル２４８に従って（例えば、自然言語処理モジュール２３８を使用して）中間表現を形成する（４１６）。

【0062】

いくつかの実装形態において、自然言語コマンドの構文解析のために構文解析アルゴリズムＣｏｃｋｅ－Ｋａｓａｍｉ－Ｙｏｕｎｇｅｒ（ＣＫＹ）が使用される。ＣＫＹアルゴリズムは、文脈自由文法でボトムアップ構文解析と動的計画法とを採用している。基礎となるＣＫＹパーサーへの入力は、データベースクエリの基礎となる分析機能に見られる基本的なデータベース操作に対応する分析表現に基づいて、構文述語と意味述語との両方で拡張された生成規則を備えたこの文脈自由文法である。

【0063】

いくつかの実装形態において、自然言語コマンドを構文解析することは、自然言語コマンドを複数のトークンに構文解析する（４１８）ことを含む。図３Ｃの例を参照すると、自然言語コマンド３１２は、「チーム別の勝利の合計」という語の文字列を含む。いくつかの実装形態において、トークンの各々は、語の文字列内の語である。例えば、自然言語処理モジュール２３８は、コマンド３１２を５つのトークン「ｓｕｍ」、「ｏｆ」、「ｗｉｎｓ」、「ｂｙ」、および「ｔｅａｍ」に構文解析する。

【0064】

いくつかの実装形態において、複数のトークンの各々について、コンピューティングデバイス２００は、レキシコンでそれぞれのトークンを検索して（４２０）、それぞれのトークンに対応する概念を識別する。図３の例では、コンピューティングデバイス２００は、データソース３１０に対応する文法レキシコン２５０およびデータソースレキシコン２５２を検索して、それぞれのトークンに対応する概念を識別する。例えば、トークン「ｗｉｎｓ」および「ｔｅａｍ」は、データソースのフィールドに対応しているため、それらの概念はデータソースレキシコンで識別される可能性がある。一方、トークン「ｓｕｍ」および「ｏｆ」は、文法レキシコン２５０で定義された集計２６４の概念およびグループ２６６の概念に関連付けられている。

【0065】

いくつかの実装形態において、自然言語コマンドは、複数の語を含む（４２２）。コンピューティングデバイス２００は、レキシコンを使用して、自然言語コマンドのコンテキスト内で複数の語の各々の機能を判定する。複数のトークンの各々は、自然言語コマンドにおいて２つ以上の隣接する語を組み合わせることによって形成される単一の語または句のいずれかを含む。

【0066】

上記のように、図３Ｃの自然言語コマンドは、５つのトークンに構文解析されている。いくつかの実装形態において、コンピューティングデバイス２００は、トークンの１つ以上（例えば、「ｏｆ」および「ｂｙ」）がそれ自体では意味がないと判定する。この場合、コンピューティングデバイス２００は、機能的に意味のないトークンをその直前または直後の語（例えば、トークン）と組み合わせてそれぞれの句を生成することによって、１つ以上の新しいトークンを形成する。この例では、コンピューティングデバイスは、「の合計」、「の勝利」、「別の勝利」、および「チーム別」の新しいトークン／句を形成する。コンピューティングデバイス２００は、最初の２つの句が機能的に意味がないと再度判定し得、したがって、「ｂｙ」の直前および後続の語を組み合わせて、「勝利の合計」という句を形成する。

【0067】

いくつかの実装形態において、中間表現を形成することは、トークンに対応する概念を連結する（４２４）ことを含む。表５は、いくつかの実装形態（例えば、自然言語処理モジュール２３８によって生成される）による、図３Ｃ、図３Ｅ、図３Ｆ、および図３Ｇの自然言語コマンドの中間表現を示す表５００を示す。

【0068】

いくつかの実装形態において、コンピューティングデバイス２００は、対応する概念を有していない１つ以上のトークンを識別し（４２６）、対応する概念を有する複数のトークンを使用して中間表現を形成する。言い換えれば、１つ以上の識別されたトークンが除外されて（すなわち、使用されない）、中間表現が形成される。

【0069】

いくつかの実装形態において、レキシコンは、データソースレキシコンおよび文法レキシコン２５０を含む（４２８）。いくつかの実装形態において、データソースレキシコンは、データベースに対応するレキシコンの一意の部分である。例えば、第１のデータソースレキシコン２５４は、第１のデータソース２４４に対応するレキシコンの一意の部分である。文法レキシコン２５０は、文脈自由文法に対応する事前定義された部分である。

【0070】

いくつかの実装形態において、コンピューティングデバイス２００は、文脈自由文法を管理する１つ以上の事前定義された文法規則を使用して中間表現を形成する（４３０）。いくつかの実装形態において、事前定義された文法規則がＢａｃｋｕｓ－Ｎａｕｒ記法で指定されている。

【0071】

いくつかの実装形態において、各事前定義された文法規則は、事前定義された表現タイプ（例えば、分析表現２３９）を有する（４３２）。いくつかの実装形態において、事前定義された表現のタイプは、制限、グループ化、集計、フィルタリング、およびソートである。言い換えれば、形成される中間表現は、文脈自由文法の構文的に実行可能な表現である。

【0072】

いくつかの実装形態において、データソースレキシコン（例えば、第１のデータソースレキシコン２５４）は、データソース内のデータフィールド２７６に対応する複数のフィールドを含む（４３４）。複数のフィールドの各々は、１つ以上のエントリにマッピングされ（例えば、エラスティック検索を使用して）、エントリの各々は、概念２８０に対応する。

【0073】

いくつかの実装形態において、データソースレキシコンの複数のフィールドは、複数の同義語を含む（４３６）。

【0074】

いくつかの実装形態において、複数の同義語は、ユーザによって定義される第１のサブセットを含む（４３８）。いくつかの実装形態において、第１のサブセットは、エイリアス２８４を含む。

【0075】

いくつかの実装形態において、複数の同義語は、コンピューティングデバイス２００によって事前定義された第２のサブセットを含む（４４０）。いくつかの実装形態において、第２のサブセットは、同義語２８２を含む。いくつかの実装形態において、同義語は、サードパーティのソース（例えば、マップサービス）からコンピューティングシステム２００によって取得される。いくつかの実装形態において、第２のサブセットは、名前の略語を含む（例えば、カリフォルニアの「ＣＡ」）。

【0076】

いくつかの実装形態において、データソースレキシコン（例えば、第１のデータソースレキシコン２５４）は、データソースのセマンティックモデル２４８から生成される（４４２）。セマンティックモデル２４８は、属性の名前、属性の値、および値に対応するメタデータを含む。

【0077】

コンピューティングデバイスは、データソースに従って、中間表現を、第１の集計を含む１つ以上のデータベースクエリに変換する（４４４）。いくつかの実装形態において、変換は、図３Ｇ～図３Ｊおよび表５００の中間表現に示すように、中間表現を再帰的に使用して、異なる詳細レベル（例えば、ＬＯＤ２）を有する更新されたデータの視覚化を作成することを含む。

【0078】

コンピューティングデバイスは、１つ以上のデータベースクエリを実行して、データソースから第１の集計に従って集計された１つ以上のデータセットを取得する（４４６）。

【0079】

コンピューティングデバイスは、取得されたデータセットの更新されたデータ視覚化を生成および表示する（４４８）。

【0080】

いくつかの実装形態において、方法４００は、複数の（例えば、別個の）データソースのユーザ選択を受信すること（４５０）をさらに含み、各々がデータソースに固有のデータソースレキシコンに関連付けられている。例えば、この方法は、第１のデータソース２４４および第２のデータソース２４６のユーザ選択を受信することを含む。第１のデータソース２４４は、第１のデータソース２４４に固有の第１のデータソースレキシコン２５４に関連付けられている。第２のデータソース２４６は、第２のデータソース２５６に固有の第２のデータソースレキシコン２５６に関連付けられている。

【0081】

いくつかの実装形態において、データソース２４４および２４６は、共通の文法レキシコン２５０を共有する（４５２）。

【0082】

上述の識別された実行可能モジュール、アプリケーション、または手順のセットの各々は、前述のメモリデバイスの１つ以上に格納され得、上述の機能を実施するための命令のセットに対応する。上述の識別されたモジュールまたはプログラム（すなわち、命令のセット）は、別個のソフトウェアプログラム、手順、またはモジュールとして実装される必要はなく、したがって、これらのモジュールの様々なサブセットは、様々な実装形態において組み合わされるか、または別様に再配置され得る。いくつかの実装形態において、メモリ２１４は、上述の識別されたモジュールおよびデータ構造のサブセットを格納する。さらに、メモリ２１４は、上述されていない追加のモジュールまたはデータ構造を格納し得る。

【0083】

本明細書で本発明の説明に使用される専門用語は、特定の実装形態を説明することのみを目的としており、本発明を限定することを意図するものではない。本発明の説明および添付の特許請求の範囲で使用される場合、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、特に文脈が明示しない限り、複数形も含むことが意図される。本明細書で使用される「および／または」という用語は、１つ以上の関連するリストされたアイテムのありとあらゆる可能な組み合わせを指し、それらを包含することも理解されよう。本明細書で使用される場合、「含む」および／または「含んでいる」という用語は、述べられた特徴、ステップ、動作、要素、および／または構成要素の存在を指定するが、１つ以上の他の特徴、ステップ、動作、要素、構成要素、および／またはそれらの群の存在または追加を排除しないことがさらに理解されよう。
前述の記載は、説明の目的で、特定の実装形態を参照して記載されてきた。しかしながら、上記の例示的な論議は、網羅的であること、または本発明を開示された正確な形態に限定することを意図していない。上記の教示を考慮して、多くの修正および変形が可能である。実装形態は、本発明の原理およびその実際の応用を最もよく解説するために選択および記載され、それにより、当業者は、本発明および企図される特定の用途に好適な様々な修正を伴う様々な実装形態を最大限に利用できる。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図3F】

【図3G】

【図3H】

【図3I】

【図3J】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】