特許 7597907 短いクエリ応答のマルチソース抽出および採点

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-02

(45)【発行日】2024-12-10

(54)【発明の名称】短いクエリ応答のマルチソース抽出および採点

(51)【国際特許分類】

   G06F 16/9538 20190101AFI20241203BHJP

【ＦＩ】

G06F16/9538

【請求項の数】 20

(21)【出願番号】P 2023502802

(86)(22)【出願日】2022-03-09

(65)【公表番号】

(43)【公表日】2024-04-03

(86)【国際出願番号】 US2022071054

(87)【国際公開番号】W WO2023172334

(87)【国際公開日】2023-09-14

【審査請求日】2023-03-08

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】プレヤス・ダルスクハイ・ポパット

(72)【発明者】

【氏名】ガウラフ・バスカル・ジーテ

(72)【発明者】

【氏名】ジョン・ブリッツァー

(72)【発明者】

【氏名】ジャヤント・マダヴァン

(72)【発明者】

【氏名】アリアクセイ・セヴェリン

【審査官】甲斐 哲雄

(56)【参考文献】

【文献】特開２００２－０３２４１３（ＪＰ，Ａ）

【文献】特開２０１２－０５３８５５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

(57)【特許請求の範囲】

【請求項1】

検索クエリを受け取るステップと、
前記検索クエリに基づいた複数の検索結果を生成するステップであって、前記複数の検索結果の各々が前記検索クエリに関するそれぞれのパッセージを有する、ステップと、
前記それぞれのパッセージの組を選択するステップであって、前記組の中の前記それぞれのパッセージのうちの1つが前記複数の検索結果のうちのトップランクの検索結果に属する候補パッセージであり、前記組の中の残りのそれぞれのパッセージが文脈パッセージである、ステップと、
前記候補パッセージについての確度スコアを作成するため、前記文脈パッセージを使用して前記候補パッセージを採点するステップと、
前記確度スコアに基づいて、ディスプレイ上にブラウザウィンドウによってレンダリングされる検索結果ページ中の短い応答として表示するために前記候補パッセージを提供するステップと、
を含む、コンピュータ実装される方法。

【請求項2】

前記確度スコアに基づいて、表示するための前記候補パッセージを提供するステップが、
前記確度スコアを確度スコアしきい値と比較するステップと、
前記確度スコアが前記確度スコアしきい値より大きいことに応じて、前記候補パッセージを前記ディスプレイ上に表示するステップと、
前記確度スコアが前記確度スコアしきい値より小さいことに応じて、前記候補パッセージを前記ディスプレイ上に表示しないステップと、
を含む、請求項1に記載のコンピュータ実装される方法。

【請求項3】

前記文脈パッセージを使用して前記候補パッセージを採点するステップが、
前記候補パッセージと前記文脈パッセージとの間の一致レベルを決定するステップであって、前記確度スコアが前記一致レベルに基づく、ステップを含む、請求項1に記載のコンピュータ実装される方法。

【請求項4】

前記文脈パッセージを使用して前記候補パッセージを採点するステップが、
前記候補パッセージ、前記検索クエリ、および前記文脈パッセージに基づいて前記確度スコアを予測するように構成されるスコア予測エンジンに、前記候補パッセージ、前記検索クエリ、および前記文脈パッセージを入力するステップ
を含む、請求項1に記載のコンピュータ実装される方法。

【請求項5】

前記文脈パッセージを使用して前記候補パッセージを採点するステップが、
前記候補パッセージ、前記検索クエリ、および前記文脈パッセージを前記スコア予測エンジンに入力するステップに加えて、前記候補パッセージおよび前記文脈パッセージのそれぞれのタイトルを前記スコア予測エンジンに入力するステップ
をさらに含む、請求項4に記載のコンピュータ実装される方法。

【請求項6】

前記スコア予測エンジンが訓練記録のコーパスで訓練され、訓練記録の前記コーパスが、訓練クエリ、前記訓練クエリ用に選択されるプライマリパッセージ、少なくとも1つの文脈パッセージ、および前記プライマリパッセージについてのそれぞれの確度スコアを含む、請求項4に記載のコンピュータ実装される方法。

【請求項7】

訓練記録の前記コーパスが、前記少なくとも1つの文脈パッセージについての前記プライマリパッセージのそれぞれのタイトルをさらに含む、請求項6に記載のコンピュータ実装される方法。

【請求項8】

前記スコア予測エンジンが、プライマリパッセージに適用される確度スコアしきい値の組に基づいた損失関数を適用するステップによってさらに訓練され、前記損失関数が、前記プライマリパッセージについての確度スコアしきい値の前記組の各々について、そのしきい値スコアについてのシグモイドクロスエントロピー損失を含む、請求項6に記載のコンピュータ実装される方法。

【請求項9】

前記損失関数が、出力として、確度スコアしきい値の前記組にわたる前記シグモイドクロスエントロピー損失の平均を生成する、請求項8に記載のコンピュータ実装される方法。

【請求項10】

前記スコア予測エンジンが複数の訓練ステージを使用して訓練され、
確度スコアしきい値の前記組が前記複数の訓練ステージ間で変わる、請求項8に記載のコンピュータ実装される方法。

【請求項11】

訓練記録の前記コーパスが、以前に採点したパッセージの組、前記プライマリパッセージとの一致に基づかない前記以前に採点したパッセージのそれぞれの確度スコア、および少なくとも1つの文脈パッセージも含む、請求項6に記載のコンピュータ実装される方法。

【請求項12】

前記それぞれのパッセージの前記組が、予め規定された数のトップランクのパッセージを含む、請求項1に記載のコンピュータ実装される方法。

【請求項13】

前記短い応答として表示するための前記候補パッセージを提供するステップが、前記予め規定された数のトップランクのパッセージのうちの最も高い確度スコアを有するトップランクのパッセージを選択するステップを含む、請求項12に記載のコンピュータ実装される方法。

【請求項14】

コンピュータ可読記憶媒体に記憶されたコンピュータプログラムであって、コンピューティングデバイスの処理回路によって実行されると前記処理回路に方法を実施させるコードを含み、前記方法が、
検索クエリを表すクエリデータを受け取るステップと、
前記検索クエリに基づいた複数の検索結果を生成するステップであって、前記複数の検索結果の各々が前記検索クエリに関するそれぞれのパッセージを有する、ステップと、
前記それぞれのパッセージの組を選択するステップであって、前記組の中の前記それぞれのパッセージのうちの1つが前記複数の検索結果のうちのトップランクの検索結果に属する候補パッセージであり、前記組の中の残りのそれぞれのパッセージが文脈パッセージである、ステップと、
前記候補パッセージについての確度スコアを作成するため、前記文脈パッセージを使用して前記候補パッセージを採点するステップと、
前記確度スコアに基づいて、ディスプレイ上にブラウザウィンドウによってレンダリングされる検索結果ページ中の短い応答として表示するために前記候補パッセージを提供するステップと
を含む、コンピュータプログラム。

【請求項15】

前記確度スコアに基づいて、表示するための前記候補パッセージを提供するステップが、
前記確度スコアを確度スコアしきい値と比較するステップと、
前記確度スコアが前記確度スコアしきい値より大きいことに応じて、前記候補パッセージを前記ディスプレイ上に表示するステップと、
前記確度スコアが前記確度スコアしきい値より小さいことに応じて、前記候補パッセージを前記ディスプレイ上に表示しないステップと、
を含む、請求項14に記載のコンピュータプログラム。

【請求項16】

前記文脈パッセージを使用して前記候補パッセージを採点するステップが、
前記候補パッセージおよび前記文脈パッセージに基づいて前記確度スコアを予測するように構成されるスコア予測エンジンに、前記候補パッセージおよび前記文脈パッセージを入力するステップ
を含む、請求項14に記載のコンピュータプログラム。

【請求項17】

前記文脈パッセージを使用して前記候補パッセージを採点するステップが、
前記候補パッセージおよび前記文脈パッセージを前記スコア予測エンジンに入力するステップに加えて、前記候補パッセージおよび前記文脈パッセージのそれぞれのタイトルを前記スコア予測エンジンに入力するステップ
をさらに含む、請求項16に記載のコンピュータプログラム。

【請求項18】

前記方法が、
前記スコア予測エンジンを訓練するため訓練データのコーパスに訓練動作を行うステップであって、訓練データの前記コーパスが表示するための短い応答を提供する候補パッセージおよび残りのそれぞれのパッセージを含み、これからトップスコアの短い応答が生成される、ステップ、をさらに含む、請求項16に記載のコンピュータプログラム。

【請求項19】

メモリと、
前記メモリに結合される制御回路であって、
検索クエリを表すクエリデータを受け取り、
前記検索クエリに基づいた複数の検索結果を生成し、前記複数の検索結果の各々が前記検索クエリに関するそれぞれのパッセージを有し、
前記それぞれのパッセージの組を選択し、前記組の中の前記それぞれのパッセージのうちの1つが前記複数の検索結果のうちのトップランクの検索結果に属する候補パッセージであり、前記組の中の残りのそれぞれのパッセージが文脈パッセージであり、
前記候補パッセージについての確度スコアを作成するため、前記文脈パッセージを使用して前記候補パッセージを採点し、
前記確度スコアに基づいて、ディスプレイ上にブラウザウィンドウによってレンダリングされる検索結果ページ中の短い応答として表示するために前記候補パッセージを提供する
ように構成される、制御回路と
を備える、装置。

【請求項20】

前記確度スコアに基づいて、表示するための前記候補パッセージを提供するように構成される前記制御回路が、
前記確度スコアを確度スコアしきい値と比較し、
前記確度スコアが前記確度スコアしきい値より大きいことに応じて、前記候補パッセージを前記ディスプレイ上に表示し、
前記確度スコアが前記確度スコアしきい値より小さいことに応じて、前記候補パッセージを前記ディスプレイ上に表示しない
ようにさらに構成される、請求項19に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本記載は、検索エンジンを走らせるブラウザ中で表示するために短い応答を生成することに関する。

【背景技術】

【0002】

いくつかの検索エンジンは、コールアウト中に表示される短い応答をサポートしており、これは、検索エンジンの結果を表示する検索ブラウザウィンドウ内の目立つ場所に表示される。そのような短い応答の目立つ表示によって、クエリに対する応答を得る前にユーザが検索結果を選択してその上でクリックする必要なしに、ファクチュアルクエリに対する非常に早い応答がユーザに提供される。さらに、検索エンジンは、管理された知識ベースなしに、多様な範囲の質問に対する応答を直接提供することが可能である。

【発明の概要】

【課題を解決するための手段】

【0003】

本明細書に記載される実装形態は、検索エンジンに提供されるクエリからもたらされる複数のパッセージに基づいて表示するための短い応答を生成することに関する。短い応答とは、検索エンジンを走らせるブラウザウィンドウ中に目立って表示されるファクチュアルクエリに対する応答であって、そのような応答は、トップランクの検索結果中のパッセージから導くことができる、またはトップランクの検索結果中のパッセージである。短い応答とは、単に、ほとんどそれらが導かれるパッセージである。したがって、パッセージからの短い応答を導くときに文脈について他のパッセージを使用するのは、短い応答の品質を改善するはずである。特定の短い応答を表示するかの決定は、確度スコア予測エンジンによって提供される確度スコアに依存し、短い応答は、確度スコアがそれぞれ確度スコアしきい値より大きい、または小さいかに基づいて、表示され、または表示されない。確度スコアは、他の検索結果からの他のパッセージとの一致に基づいて、トップランクの検索結果からのパッセージについての確度スコアを予測する確度スコア予測エンジンによって決定することができる。確度スコア予測エンジンは、他の検索結果からの文脈パッセージとの一致に基づいて格付者により手動で採点された、検索エンジン結果からのパッセージを使用して訓練される。

【0004】

1つの一般的態様では、コンピュータベースの方法が、検索エンジンへユーザが入力した検索クエリを表すクエリデータを受け取るステップを含むことができる。本方法は、検索クエリに基づいた複数の検索結果であって、複数の検索結果の各々が検索クエリに関するそれぞれのパッセージを有する複数の検索結果を生成するステップも含むことができる。本方法は、それぞれのパッセージの組を選択するステップであって、組の中のそれぞれのパッセージのうちの1つが、複数の検索結果のうちのトップランクの検索結果に属する候補パッセージであって、組の中の残りのそれぞれのパッセージが文脈パッセージである、ステップをさらに含むことができる。本方法は、候補パッセージについての確度スコアを作成するため、文脈パッセージを使用して候補パッセージを採点するステップをさらに含むことができる。本方法は、確度スコアに基づいて、ディスプレイ上にブラウザウィンドウによってレンダリングされる検索結果ページ中の短い応答として表示するための、候補パッセージを提供するステップをさらに含むことができる。

【0005】

別の一般的態様では、コンピュータプログラム製品が非一時的記憶媒体を備えており、コンピュータプログラム製品は、コンピューティングデバイスの処理回路によって実行されると処理回路に方法を実施させるコードを含む。本方法は、検索エンジンへユーザが入力した検索クエリを表すクエリデータを受け取るステップを含むことができる。本方法は、検索クエリに基づいた複数の検索結果であって、複数の検索結果の各々が検索クエリに関するそれぞれのパッセージを有する複数の検索結果を生成するステップも含むことができる。本方法は、それぞれのパッセージの組を選択するステップであって、組の中のそれぞれのパッセージのうちの1つが、複数の検索結果のうちのトップランクの検索結果に属する候補パッセージであって、組の中の残りのそれぞれのパッセージが文脈パッセージである、ステップをさらに含むことができる。本方法は、候補パッセージについての確度スコアを作成するため、文脈パッセージを使用して候補パッセージを採点するステップをさらに含むことができる。本方法は、確度スコアに基づいて、ディスプレイ上にブラウザウィンドウによってレンダリングされる検索結果ページ中の短い応答として表示するための、候補パッセージを提供するステップをさらに含むことができる。

【0006】

別の一般的態様では、電子装置が、メモリと、メモリに結合される制御回路とを備える。制御回路は、検索エンジンへユーザが入力した検索クエリを表すクエリデータを受け取るように構成することができる。制御回路は、検索クエリに基づいた複数の検索結果であって、複数の検索結果の各々が検索クエリに関するそれぞれのパッセージを有する複数の検索結果を生成するように構成することもできる。制御回路は、それぞれのパッセージの組を選択し、組の中のそれぞれのパッセージのうちの1つが、複数の検索結果のうちのトップランクの検索結果に属する候補パッセージであって、組の中の残りのそれぞれのパッセージが文脈パッセージであるようにさらに構成することができる。制御回路は、候補パッセージについての確度スコアを作成するため、文脈パッセージを使用して候補パッセージを採点するようにさらに構成することができる。制御回路は、確度スコアに基づいて、ディスプレイ上にブラウザウィンドウによってレンダリングされる検索結果ページ中の短い応答として表示するための、候補パッセージを提供するようにさらに構成することができる。

【0007】

1つまたは複数の実装形態の詳細が、添付図面および下の説明に記載される。他の特徴は、説明および図面、ならびに特許請求の範囲から明らかとなろう。

【図面の簡単な説明】

【0008】

【図1A】本明細書に記載される改善した技術を実施することができる例示的な検索エンジンを図示する図である。

【図1B】検索クエリからもたらされる、ディスプレイ上のブラウザウィンドウ中に表示される例示的な短い応答を図示する図である。

【図2】本明細書に記載される改善した技術を実施することができる例示的な電子環境を図示する図である。

【図3】検索結果からの複数のトップスコアのパッセージからコールアウトへのデータの、例示的な流れを図示する図である。

【図4】例示的な入力と確度スコア予測エンジンからの出力を図示する図である。

【図5】開示される実装形態による、一致ベースの短い応答提示を実施する例示的な方法を図示するフローチャートである。

【図6】記載される技術を実施するため使用できるコンピュータデバイスおよびモバイルコンピュータデバイスの例を図示する図である。

【図7】記載される技法を実施するため使用できる分散型コンピュータデバイスの例を図示する図である。

【発明を実施するための形態】

【0009】

いくつかの検索エンジンは、検索エンジンの結果を表示する検索ブラウザウィンドウ内の目立つ場所に表示される短い応答をサポートする。短い応答は、ファクチュアルクエリに対する応答を表すパッセージまたはパッセージからの抽出物を含む。そのような短い応答の目立つ表示によって、クエリに対する応答を得る前にユーザが検索結果を選択してその上でクリックする必要なしに、クエリに対する非常に早い応答がユーザに提供される。さらに、検索エンジンは、管理された知識ベースなしに、多様な範囲の質問に対する応答を直接提供することが可能である。しかし、短い応答についてのパッセージを選択するのは、複雑で、誤りやすい場合がある。

【0010】

たとえば、ユーザからのクエリ「スポーツにおいて、NFCは何を意味するか」に応じて、検索エンジンは、ユーザのディスプレイ上の目立つ場所に短い応答を表示することができる。この場合、ユーザは、ユーザのディスプレイ上の検索エンジンのブラウザウィンドウに目立って表示される、「National Football Conference」が見えると期待する。しかし、「Near Field Communication」という応答が代わりに表示される場合がある。

【0011】

コールアウトに表示されることが多い短い応答をサポートする従来の検索エンジンは、それぞれの検索結果から各々の短い応答を別個に得る。所与のクエリについての短い応答用に選ばれる検索結果がウェブサイトを表し、短い応答が取得された検索結果に表示されるウェブサイトへのリンクを含む場合がある。検索エンジンによる短い応答の選択は、トップランクの検索結果についてのウェブサイトからのパッセージを取得するステップと、最もクエリに対する応答を含む可能性があると判定されるパッセージ(テキストの範囲)を選択するステップとを含む。

【0012】

短い応答を生成することに対する上述の従来手法での技術的問題は、上述の従来の検索エンジンにおける短い応答が、選択した検索結果に依存して、品質が変わる場合があるということである。そのような手法では、短い応答が取得されるパッセージを選択するため使用されるロジックは、短い応答の品質を考慮しない。したがって、いくつかの場合に、短い応答は、誤解を招き、または誤っている場合さえある。

【0013】

本明細書に記載される実装形態によれば、上述の技術的問題に対する技術的解決策としては、短い応答を表示するかを判定するための、改善した採点エンジン(確度スコア予測エンジン)が挙げられる。改善した採点エンジンは、複数の異なるそれぞれの検索結果からの複数のパッセージを使用する。特定の短い応答を表示するかの決定は、確度スコア予測エンジンによって提供される確度スコアに依存し、短い応答は、確度スコアがそれぞれ確度スコアしきい値より大きい、または小さいかに基づいて、表示され、または表示されない。確度スコアは、他の検索結果からの他のパッセージとの一致に基づいて、トップランクの検索結果からのパッセージについての確度スコアを予測する確度スコア予測エンジンによって決定することができる。確度スコア予測エンジンは、他の検索結果からの文脈パッセージとの一致に基づいて格付者により手動で採点された、検索エンジン結果からのパッセージを使用して訓練される。

【0014】

開示される実装形態の技術的利点は、従来の検索エンジンとは対照的に、検索エンジンが異なるソースからの複数のパッセージ間の一致の程度を判定するために、上述の改善した検索エンジンによって提供される短い応答がより高い品質のものである(たとえば、より正しい可能性がある)ことである。さらに、短い応答の改善した品質によって、ユーザクエリがより少なくなり、したがってネットワークデータが減る結果となる可能性がある。

【0015】

図1Aは、ユーザが1つまたは複数のコンピュータ実装した検索サービスと相互作用できる例示の環境100を描く。例示的なコンピュータ実装される検索サービスとしては、電子メールサービス、チャットサービス、文書共有サービス、カレンダ共有サービス、写真共有サービス、動画共有サービス、買い物サービス、ブログサービス、マイクロブログサービス、ソーシャルネットワークサービス、位置(位置認識)サービス、チェックインサービス、ならびに/または、格付けおよびレビューサービスのための検索サービスが挙げられる。図1Aの例では、インターネット検索サービスが描かれており、本明細書に記載でさらに詳細に議論される。しかし、本開示の実装形態は、本明細書で議論される例などといった1つまたは複数のコンピュータ実装されるサービスを含む場合があることを理解されたい。

【0016】

図1Aへの参照を続けて、検索システム120が検索サービスを提供する。例示の環境100は、たとえば、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、インターネット、またはそれらの組合せといったネットワーク102を含み、ウェブサイト104、ユーザデバイス106、および検索システム120を接続する。いくつかの例では、ネットワーク102は、有線および/またはワイヤレスの通信リンクを介してアクセルすることができる。たとえば、スマートフォンなどといったモバイルコンピューティングデバイスは、ネットワークにアクセスするためセルラネットワークを利用することができる。環境100は、数百万のウェブサイト104およびユーザデバイス106を含むことができる。

【0017】

いくつかの例では、ウェブサイト104は、ドメインネームに関連づけられ、1つまたは複数のサーバによってホストされる1つまたは複数のリソース105として提供される。例示のウェブサイトは、テキスト、画像、マルチメディアコンテンツ、およびスクリプトなどのプログラミング要素を含むことができるたとえばハイパーテキストマークアップ言語(HTML)などの好適な機械可読言語でフォーマットされたウェブページの集合である。各ウェブサイト104は、たとえば、ウェブサイトを管理および/または所有するエンティティといった発行者によって維持される。ウェブサイトリソース105は、静的または動的であってよい。

【0018】

いくつかの例では、リソース105は、ネットワーク102を介して提供され、たとえばユニフォームリソースロケータ(URL)といったリソースアドレスと関連づけられるデータである。いくつかの例では、ウェブサイト104が提供できるリソース105としては、好適なデジタルコンテンツの中でもとりわけ、ウェブページ、ワード処理文書、およびポータブルドキュメントフォーマット(PDF)文書、画像、動画、ならびにフィードソースが挙げられる。リソース105は、たとえば、言葉、フレーズ、画像、および音声といったコンテンツを含むことができ、たとえば、メタ情報およびハイパーリンクといった埋込み情報ならびに/またはたとえばスクリプトといった埋込み命令を含むことができる。

【0019】

いくつかの例では、ユーザデバイス106は、ユーザの制御下にある電子デバイスであって、ネットワーク102を介してリソース105に要求し受け取ることができる。例示のユーザデバイス106としては、ネットワーク102を介してデータを送受信することができる、パーソナルコンピュータ、たとえばスマートフォン、ウェラブルデバイス、および/またはタブレットコンピューティングデバイスといったモバイルコンピューティングデバイスが挙げられる。本文書の全体を通して使用される、モバイルコンピューティングデバイス(モバイルデバイス)という用語は、モバイル通信ネットワークを介して通信するように構成されるユーザデバイスのことを呼ぶ。たとえば、インターネットを介して通信することが可能な電話であるスマートフォンは、ウェラブルデバイスおよびスマートスピーカなどといった他のスマートデバイスのようなモバイルデバイスの例である。ユーザデバイス106は、典型的には、ネットワーク102を介したデータの送受信を容易にするたとえばウェブブラウザといったユーザアプリケーションを含む。

【0020】

いくつかの例では、リソース105の検索を容易にするため、検索システム120は、ウェブサイト104上に提供されるリソース105を巡回して索引付けすることによって、リソース105を識別する。リソース105についてのデータは、データが対応するリソースに基づいて索引付けることができる。リソース105の索引付けし任意選択でキャッシュしたコピーが、たとえば索引付けリソース126として検索索引122中に記憶される。

【0021】

ユーザデバイス106は、検索システム120に検索クエリ109を提出する。いくつかの例では、ユーザデバイス106は、1つまたは複数の入力様式を含むことができる。例示的な様式としては、キーボード、タッチスクリーン、および/またはマイクロフォンが挙げられる。たとえば、ユーザは、検索クエリをタイプするため、キーボードおよび/またはタッチスクリーンを使用することができる。別の例として、ユーザが検索クエリを話し、ユーザの音声は、マイクロフォンを通して捕捉されて、検索クエリを提供するために音声認識を通して処理することができる。

【0022】

検索クエリ109を受け取ることに応答して、検索システム120は、検索索引122にアクセスし、検索クエリ109に関連する、たとえば、検索クエリ109についての少なくとも最小指定関連スコアを有するリソース105を識別する。検索システム120は、リソース105を識別し、リソース105を識別する検索結果112および短い応答113を含む検索結果表示111を作成し、検索結果表示111をユーザデバイス106に戻す。例示の文脈では、検索結果表示は、たとえば1つまたは複数の検索結果ページといった1つまたは複数のウェブページを含むことができる。いくつかの例では、ウェブページは、任意の好適な機械可読言語で書かれてよいウェブ文書に基づいて提供することができる。しかし、本開示の実装形態が他の好適な表示タイプを含んでよいことが意図される。たとえば、検索結果は、コンピューティングデバイス上で実行されるアプリケーションによって生成されるディスプレイ、および/または、たとえばモバイルオペレーティングシステムといったオペレーティングシステムによって生成されるディスプレイの中に提供することができる。いくつかの例では、検索結果は、たとえば、JavaScript-html、プレーンテキストといった任意の好適な形式に基づいて提供することができる。

【0023】

検索結果112は、特定の検索クエリに応答するリソース105を識別する検索システム120によって生成されたデータであり、リソース105へのリンクを含む。例示の検索結果112は、ウェブページタイトル、テキストの断片またはウェブページから抽出された画像の一部、およびウェブページのURLを含むことができる。いくつかの例では、検索結果112に提供されるデータは、リソースデータストアから取り出すことができる。たとえば、検索システム120は、検索結果112を表示する検索結果表示111を提供することができる。いくつかの例では、検索結果表示111は、リソースデータストアから提供される、たとえばウェブページタイトル、テキストの断片またはウェブページから抽出された画像の一部といった情報で埋めることができる。

【0024】

本開示の実装形態によれば、例示の環境100は、たとえば直接結合される、または、ネットワーク102などといったネットワークを介して結合される検索システム120に通信可能に結合される短い応答システム130も含む。いくつかの例では、複数のコンピュータ実装したサービスの場合に、短い応答システム130は、それぞれのコンピュータ実装したサービスの機能性を実現するそれぞれのシステムに通信可能に結合される。いくつかの例では、本明細書でさらに詳細に議論されるように、たとえば検索システム120といったシステムが、短い応答システム130と相互作用して、検索システム120を走らせるブラウザウィンドウ中で、コールアウトに表示されることが多い、目立つ場所に正しい短い応答113を提供することができる。

【0025】

図1Bは、例示の短い応答190が現れるユーザインターフェース150を図示する図である。図1Bの例では、短い応答190が抽出した応答170を含む。抽出した応答170は、短い応答190から抽出される。短い応答190は、検索クエリ160からもたらされる、ディスプレイ上のブラウザウィンドウ中に表示される。この場合、短い応答190は、トップランクの検索結果180からのパッセージに基づく。短い応答190(および、より具体的には、抽出した応答170)が正しく質問に答えることに留意されたい。いくつかの実装形態では、短い応答190を、抽出した応答170なしに表示する場合がある。

【0026】

従来の検索エンジンは、検索結果180に基づいて短い応答190を表示する。しばしば、これは、パッセージとして正しくない短い応答をもたらす場合があり、そのことで、短い応答がトップランクの検索結果から取られ、正確かどうか検査されてないことになる。この場合における上述の技術的解決策は、そのパッセージだけでなく、他の検索結果から取られた他のパッセージに基づいて確度スコアを生成することを含むことになる。したがって、短い応答となるであろうパッセージが、他のパッセージ中の情報と十分に合致しない場合、短い応答190は表示されない。

【0027】

図2は、上述の技術的解決策を実装することができる例示的な電子環境200を図示する図である。コンピュータ220は、確度スコア予測エンジンを使用して短い応答を生成し、訓練データのコーパスを使用して確度スコア予測エンジンを訓練するように構成される。

【0028】

コンピュータ220は、ネットワークインターフェース222、1つまたは複数の処理ユニット224、メモリ226、およびディスプレイインターフェース228を含む。ネットワークインターフェース222は、ネットワークから受け取った電気および/または光信号をコンピュータ220が使用する電気的形式に変換するために、たとえば、イーサネットアダプタ、トークンリングアダプタなどを含む。処理ユニット224の組は、1つまたは複数の処理チップおよび/または組立体を含む。メモリ226は、揮発性メモリ(たとえば、RAM)と1つまたは複数のROMなどといった不揮発性メモリの両方、ディスクドライブ、半導体ドライブなどを含む。処理ユニット224の組とメモリ226が一緒に制御回路を形成し、制御回路は、本明細書に記載されるような様々な方法および機能性を実行するように構成および配置される。ディスプレイインターフェース228は、レンダリングするためデータをディスプレイデバイスに提供してユーザに表示するように構成される。

【0029】

いくつかの実装形態では、コンピュータ220の構成要素のうちの1つまたは複数は、メモリ226に記憶される命令を処理するように構成されるプロセッサ(たとえば、処理ユニット224)であってよく、またはプロセッサ(たとえば、処理ユニット224)を含んでよい。そのような図2に描かれるような命令の例としては、クエリマネージャ230、検索エンジンマネージャ232、確度スコアマネージャ240、および予測エンジンマネージャ250が挙げられる。さらに、図2に図示されるように、メモリ226は、様々なデータを記憶するように構成され、これは、そのようなデータを使用するそれぞれのマネージャに関して記載される。

【0030】

クエリマネージャ230は、クエリデータ231を受け取るように構成される。いくつかの実装形態では、クエリマネージャ230は、ネットワークインターフェース222を介して、すなわち、ネットワークを介してクエリデータ231を受け取る。いくつかの実装形態では、クエリマネージャ230は、ユーザ入力として直接クエリデータ231を受け取る。

【0031】

クエリデータ231は、検索エンジン(たとえば、図1A中の検索システム120)へのクエリ入力を表す。いくつかの実装形態では、クエリデータ231は、文字列の形式を取る。いくつかの実装形態では、クエリデータ231は、たとえば、グラフィック、画像、音声クリップ、動画などといった代替形式を取る。

【0032】

検索エンジンマネージャ232は、検索エンジンデータ233を作成するために、検索エンジン(たとえば、図1A中の検索システム120)の中に入力するためのクエリデータ231を処理するように構成される。検索エンジンデータ233は、検索エンジン結果234(1)、・・・、234(N)の組を含む。検索エンジン結果234(1)、・・・、234(N)の各々は、それぞれのパッセージ235(1)、・・・、235(N)およびそれぞれのランキング236(1)、・・・、236(N)を含むウェブサイトへのリンクを含む。

【0033】

各パッセージ、たとえば、パッセージ235(1)は、検索結果234(1)がリンクされるウェブサイト上のコンテンツの少なくとも一部である。本明細書に記載される例では、パッセージ235(1)、・・・、235(N)の各々がテキストを含む。いくつかの実装形態では、テキストがパラグラフを形成する。いくつかの実装形態では、たとえばパッセージ235(1)といったパッセージ中に、指定された量のテキスト、たとえば指定された数の言葉、文、または情報の量の他の尺度が存在する。しかし、いくつかの実装形態では、パッセージ235(1)、・・・、235(N)のうちの少なくとも1つ、たとえばパッセージ235(1)が、絵文字、画像の一部、音声クリップ、動画クリップなどのグラフィックを含む。

【0034】

検索結果234(1)、・・・、234(N)のそれぞれのランキング236(1)、・・・、236(N)は、たとえばディスプレイインターフェース228を介して、ディスプレイ上に表示されるブラウザウィンドウ中に表示されるような、検索結果の配置を表す。いくつかの実装形態では、それぞれのランキング236(1)、・・・、236(N)は、数のシーケンスの形式を取る。この方法では、トップランクの検索結果が234(1)となり、最低ランクの検索結果が234(N)である。

【0035】

確度スコアマネージャ240は、トップランクの検索結果234(1)のパッセージの確度スコアを予測するように構成される予測エンジンのための訓練データとして、人間の格付者からの確度スコアデータ241を受け取るように構成される。図2に示されるように、人間の格付者から受け取った確度スコアデータ241は、各パッセージ235(1)、・・・、235(N)についてそれぞれ確度スコア242(1)、・・・、242(N)を含む。いくつかの実装形態では、人間の格付者は、M個のトップランクのパッセージ235(1)、・・・、235(M)、M<Nだけについての確度スコアを提供する。いくつかの実装形態では、トップランクのパッセージ235(1)だけが確度スコアを提供される。

【0036】

いくつかの実装形態では、トップランクのパッセージ235(1)の確度スコアは、たとえば、235(2)、・・・、235(K)といった他のパッセージの組の文脈において人間の格付者が理解したような、パッセージ235(1)の確度に基づく。いくつかの実装形態では、K=1または2である。いくつかの実装形態では、各々が確度スコアを有する複数のトップランクのパッセージが存在する。

【0037】

たとえば、「冷凍庫の中で魚はどのくらい長くもつのか」というクエリデータ231への応答で、検索エンジンは、トップ格付のパッセージ235(1)として「真空で密封され冷凍庫の中で適切に保管されると、魚は2年間もつことができる。冷凍した魚が適切に解凍されると、新鮮な魚と比較したときに、質感にほとんど差がないはずである。」を戻す。いくつかの実装形態では、パッセージ235(1)に基づいた短い応答が、ここで、目立つ場所に表示される「2年。」を含む場合がある。いくつかの実装形態では、短い応答はパッセージ235(1)であってよい。さらなる文脈なしでの人間の格付者によって提供される確度スコア242(1)は、単に、パッセージ235(1)および格付者の個人的な対象についての知識に依存し、これは欠けている場合がある。

【0038】

しかし、改善した検索エンジンでは、確度スコアマネージャ240は、格付者の個人的な知識に依存することが少ないパッセージ235(1)についてのより正確な確度スコア242(1)を提供するために、文脈について他のパッセージを検査する機会を格付者に提供する。たとえば、パッセージ235(2)が、「冷凍した魚または貝は無期限に安全となるが、長く貯蔵した後では風味や質感が低下する。最高品質のためには、調理した魚は最長3か月の期間冷凍(0F/-17.8℃以下)せよ。冷凍した生魚は3～8か月内、貝は3～12か月内に使用されるのが最もよい。」と述べる場合がある。パッセージ235(2)が文脈で使用される場合、パッセージ235(2)はパッセージ235(1)とは明確な差異を有するため、格付者は、「2年」という短い応答には低い確度スコア242(1)を付ける可能性がある。短い応答がパッセージ235(2)から導かれた場合、格付者は、「2年」ではなくむしろ「3～8か月」を提供した可能性がある。この場合、確度スコアを使用して訓練した予測エンジンマネージャは、短い応答を表示しないと結論する可能性がある。

【0039】

いくつかの実装形態では、確度スコアマネージャ240は、格付者に、文脈についての1つより多いパッセージを提供する。たとえば、パッセージ235(1)および235(2)に加えて、パッセージ235(3)が、「サーモンなどの脂肪を含む魚は2～3か月の間冷凍することができる一方で、タラまたはカレイのような脂肪の少ない魚は最長で6か月もつであろう。調理した残りのものは3か月。挽肉(牛、子羊、豚)は2～3か月の間もつ。ロースト、ステーキ、およびチョップは、冷凍庫の中で少なくとも半年もつことができる。」と述べる場合がある。パッセージ235(3)がパッセージ235(2)に加えて文脈のために提供される場合、パッセージ235(3)がパッセージ235(1)とやはり明確な差異を有するため、格付者は、「2年」という短い応答にさらに低い確度スコア242(1)を付ける可能性がある。しかしこの場合に、パッセージ235(2)またはパッセージ235(3)のいずれかが、短い応答が導かれるトップ格付のパッセージとして選択された場合、パッセージ235(2)とパッセージ235(3)の間にある程度の合致があるために、そのパッセージについての確度スコア242(1)がパッセージ235(1)についてのものより増加される場合がある。

【0040】

いくつかの実装形態では、1つより多くのトップランクのパッセージが存在するとき、確度スコアマネージャ240は、最も高い確度スコアを有するトップランクのパッセージを選択する。

【0041】

いくつかの実装形態では、短い応答が表示されるかまたはされないかに関する決定は、確度スコア242(1)が指定された確度スコアしきい値244より大きいかまたは小さいかに基づく。いくつかの実装形態では、格付者によって提供される確度スコアは、0.5ステップで-1.0と3.0の間にあり、-1.0は、他のパッセージの文脈中(または格付者の個人的な知識の中)で明らかに悪い短い応答を示し、3.0は、他のパッセージの文脈中で完全に合致する短い応答を示す。この場合、予測エンジンマネージャ250は-1.0と3.0の間のスコアを出力するように訓練することができ、検索システムは、0.5の確度スコアしきい値244を使用することができる。すなわち、-1.0、-0.5、および0.0の格付を有する短い応答は表示されなくてよい一方で、0.5、1.0、1.5、2.0、2.5、または2.0の確度スコアを有する短い応答は表示されてよい。

【0042】

いくつかの実装形態では、異なるレベルの短い応答の精度に対応する複数の確度スコアしきい値が存在する。たとえば、上述の0.5の確度スコアしきい値244は、下側しきい値(「よい応答精度(GAP)」)と考えることができる。他のしきい値を、たとえば1.5(「非常によい応答精度(VGAP)」)または2.0(「極めてよい応答精度(XGAP)」)に規定することができる。

【0043】

いくつかの実装形態では、確度スコア予測エンジンのための訓練データを生成するために、格付者の知識ならびに追加の文脈パッセージから導かれる確度のレベルに基づいて採点するための例のデータセット(たとえば、プライマリパッセージ)が人間の格付者に与えられる。プライマリパッセージは、クエリに応答して選択され、格付者が悪い応答、よい応答、非常によい応答などと採点するように求められる短い応答を含む。いくつかの実装形態では、たとえば、「追加調査なしで格付するのが困難」、「ランダムトラフィックの例」などといった指定された基準に基づいて例が選択される。いくつかの実装形態では、「1+1は、何の数に等しい?」などといったつまらない例は除外される。いくつかの実装形態では、そのような例の中でも、たとえば95%といった大きいパーセンテージの例がGAPしきい値を満足させることができる一方で、たとえば85%といったより小さいパーセンテージがVGAPしきい値を満足させることができる。

【0044】

これらの例および採点結果を確度スコア予測エンジンに提供するため、いくつかの実装形態では、格付者が確度スコアを提供するテンプレートが、それ自体評価される場合がある。いくつかの実装形態では、評価は、VGAP精度およびVGAPリコールの形式を取る。(精度は、真の正の結果の数対真および偽の正の総数の比率であり、リコールは、真の正の結果の数対真の正および偽の負の総数の比率である。)たとえば、約50%の、いくつかのデータセットについてのVGAP精度はかなりの数の偽の正を意味する一方で、約95%のVGAPは、そのような例における、より少ない数の偽の負を意味する。

【0045】

いくつかの実装形態では、格付者が確度スコアを提供するテンプレートは、VGAP精度を向上させるために調整することができる。たとえば、ベースラインのテンプレートは、検索結果234(1)、・・・、234(N)のタイトルまたはURLを使用しなくてよい。いくつかの実装形態では、VGAP精度を向上させるために、以下の変化のうちの一部または全部をテンプレートに行うことができる。
- 異なる検索結果からのトップパッセージである2つのさらなるパッセージを加える。他のパッセージ自体が、少なくともGAPしきい値で応答を提供する。
- 格付者には、確度スコアをもたらすより長い時間が与えられる。
- 格付者はコメントを付けるように要求される/必要とされ、結果のタイトルが示される。
- パッセージの順番をランダムにする(たとえば、その結果、プライマリパッセージは、必ずしもリストの最初にくるわけではない)。
- 確度スコアにバイアス項(たとえば、-0.5)を加える。
いくつかの実装形態では、VGAP精度を向上させるために取られた上述の行為の結果、VGAPリコールが減少する。経験的に、バイアス項を追加するのは、リコールに最大の負の効果をもたらし、精度に最大の正の効果をもたらすと考えられる。

【0046】

予測エンジンマネージャ250は、格付者によって提供される予測エンジンデータ253に基づいて確度スコア予測を行い、予測される確度スコアデータ265およびいくつかの実装形態では短い応答データ270を作成するように構成される。図2に示されるように、予測エンジンマネージャ250は、エンコーダ251およびデコーダ252を含む。

【0047】

エンコーダ251は、予測エンジンの中への入力を、ニューラルネットワークなどの機械学習エンジンの中への入力に好適な形式にエンコードするように構成される。たとえば、いくつかの実装形態では、確度スコア予測エンジンへの入力は、クエリ(たとえば、クエリデータ231)、トップ格付のパッセージ(たとえば、パッセージ235(1))、トップ格付のパッセージのタイトル、およびさらなるパッセージを含む。いくつかの実装形態では、入力は、(たとえば、さらなるパッセージに対応する)さらなるタイトルを含む場合がある。さらなるパッセージは、文脈パッセージと呼ばれる。エンコーダ251は、これらの入力を、ベクトルを埋め込んだ入力トークンへと変換するように構成される。デコーダ252は、確度スコア予測エンジンの出力レイヤをデコードして予測される確度スコアを作成するように構成される。エンコーダ251およびデコーダ252の行為が図4に示される。

【0048】

図4は、例示的な入力405および確度スコア予測エンジンからの出力442を図示する図400である。図4に示されるように、入力は、クエリ410、トップランクのパッセージ420、対応するタイトル422、さらなるパッセージ430および434、ならびにそれらそれぞれのタイトル432および436の形式を取る。エンコーダ251(図2)は、入力トークン埋込み408を作成するために入力をエンコードし、これらのトークン埋込み408は、確度スコア予測エンジン438が生成されるニューラルネットワークの入力レイヤの中に入力される。訓練サイクルが一度完了すると、確度スコア予測エンジン438は、予測される確度スコア444を生成するためにエンコードされた出力442をデコードする。しかし、訓練期間に、ニューラルネットワークは、トップランクのパッセージ420だけに基づく損失関数の出力440を作成する。

【0049】

図2に戻って、予測エンジンデータ253は、確度スコア予測エンジンを訓練するために使用されるデータを表す。図2に示されるように、予測エンジンデータ253は、入力埋込みデータ254および中間データ255を含む。いくつかの実装形態では、図2に示されるような確度スコア予測エンジンは、知識蒸留(KD)からの教師-生徒モデルを採用する。KDの主な着想は、教師および生徒と名付けられた2つのネットワーク構造を含んでいる。教師が強い能力を有するモデルである一方で、生徒は簡単なモデルであってよい。教師モデルは、かなりの知識を生徒に伝達することによって生徒モデルを教えるために使用される。

【0050】

中間データ255は、確度スコア予測エンジンがその訓練期間に使用するデータを表す。図2に示されるように、中間データ255は、教師モデルと生徒モデルの間で供給される損失関数の出力、隠れたレイヤ値、および中間スコア予測のいずれかを含む。いくつかの実装形態では、教師モデルと生徒モデルは、各々が複数のステージを有し、その結果、1つのステージの出力が次のステージの中に入力される。いくつかの実装形態では、教師モデルが4つのステージを有し、生徒モデルが2つのステージを有する。

【0051】

予測される確度スコアデータ265は、確度スコア予測エンジンの出力を表す。いくつかの実装形態では、予測される確度スコアデータ265は、短い応答を表示するかを決定するために使用される。

【0052】

短い応答データ270は、表示される、または表示されない場合がある短い応答を表す。

【0053】

ユーザデバイス106の構成要素(たとえば、モジュール、処理ユニット224)は、1つまたは複数のタイプのハードウェア、ソフトウェア、ファームウェア、オペレーティングシステム、ランタイムライブラリなどを含むことができる1つまたは複数のプラットフォーム(たとえば、1つまたは複数の同様または異なるプラットフォーム)に基づいて動作するように構成することができる。いくつかの実装形態では、コンピュータ220の構成要素は、デバイスのクラスタ(たとえば、サーバファーム)内で動作するように構成することができる。そのような実装形態では、コンピュータ220の構成要素の機能性および処理を、デバイスのクラスタのうちのいくつかのデバイスに分散することができる。

【0054】

コンピュータ220の構成要素は、アトリビュートを処理するように構成される任意のタイプのハードウェアおよび/もしくはソフトウェアであってよく、または、任意のタイプのハードウェアおよび/もしくはソフトウェアを含むことができる。いくつかの実装形態では、図2中のコンピュータ220の構成要素中に示される構成要素の1つまたは複数の部分は、ハードウェアベースのモジュール(たとえば、デジタル信号プロセッサ(DSP)、フィールドプログラム可能ゲートアレイ(FPGA)、メモリ)、ファームウェアモジュール、および/もしくはソフトウェアベースのモジュール(たとえば、コンピュータで実行できる、コンピュータコードのモジュール、コンピュータ可読命令の組)であってよく、または含んでよい。たとえば、いくつかの実装形態では、コンピュータ220の構成要素のうちの1つまたは複数の部分は、少なくとも1つのプロセッサ(図示せず)が実行するように構成されるソフトウェアモジュールであってよく、ソフトウェアモジュールを含んでよい。いくつかの実装形態では、構成要素の機能性は、図2に示されるものと異なるモジュールおよび/または異なる構成要素に含まれて、2つの構成要素として図示された機能性を単一の構成要素に組み合わせることを含んでよい。

【0055】

示されないが、いくつかの実装形態では、コンピュータ220の構成要素(またはその部分)は、たとえば、データセンタ(たとえば、クラウドコンピューティング環境)、コンピュータシステム、1つまたは複数のサーバ/ホストデバイスなどの中で動作するように構成することができる。いくつかの実装形態では、コンピュータ220の構成要素(またはその部分)は、ネットワーク中で動作するように構成することができる。したがって、コンピュータ220の構成要素(またはその部分)は、1つもしくは複数のデバイスおよび/または1つもしくは複数のサーバデバイスを含むことができる様々なタイプのネットワーク環境内で機能するように構成することができる。たとえば、ネットワークは、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)などであってよく、それらを含んでよい。ネットワークは、ワイヤレスネットワーク、および/または、たとえば、ゲートウェイデバイス、ブリッジ、スイッチなどを使用して実装されるワイヤレスネットワークであってよく、それらを含んでよい。ネットワークは、1つもしくは複数のセグメントを含んでよく、ならびに/または、インターネットプロトコル(IP)および/もしくは知的所有権下にあるプロトコルなどの様々なプロトコルに基づいた部分を有してよい。ネットワークは、インターネットの少なくとも一部を含んでよい。

【0056】

いくつかの実装形態では、検索システム120の構成要素のうちの1つまたは複数は、メモリに記憶された命令を処理するように構成されるプロセッサであってよく、プロセッサを含んでよい。たとえば、クエリマネージャ230(および/またはその一部)、検索エンジンマネージャ232(および/またはその一部)、確度スコアマネージャ240(および/またはその一部)、ならびに予測エンジンマネージャ250(および/またはその一部)である。

【0057】

いくつかの実装形態では、メモリ226は、ランダムアクセスメモリ、ディスクドライブメモリ、フラッシュメモリなどといった、任意のタイプのメモリであってよい。いくつかの実装形態では、メモリ226は、コンピュータ220の構成要素に関連する1つより多くのメモリ構成要素(たとえば、1つより多くのRAM構成要素またはディスクドライブメモリ)として実装されてよい。いくつかの実装形態では、メモリ226は、データベースメモリであってよい。いくつかの実装形態では、メモリ226は、非ローカルメモリであってよく、非ローカルメモリを含んでよい。たとえば、メモリ226は、複数のデバイス(図示せず)に共有されるメモリであってよく、共有されるメモリを含んでよい。いくつかの実装形態では、メモリ226は、ネットワーク内のサーバデバイス(図示せず)に関連し、コンピュータ220の構成要素にサービスするように構成することができる。図2に図示されるように、メモリ226は、クエリデータ231、検索エンジンデータ233、確度スコアデータ241、予測エンジンデータ253、予測される確度スコアデータ265、および短い応答データ270を含む様々なデータを記憶するように構成される。

【0058】

図3は、検索結果からの複数のトップスコアのパッセージからコールアウトへのデータ300の、例示的な流れを図示する図である。図3に示されるように、検索エンジンの中に入力されるクエリ310によって、文書320(1～4)の形式での検索結果が作成される。図3に示されるように、文書320(1～4)の各々は、M個の(いくつかは、より少数を有する場合があるが)パッセージ330(1～4)(1～M)を有する。パッセージ330(1)(1)、330(1)(2)、および330(1,3)が確度スコア予測エンジンの中に入力されて、コールアウト340を生成する。

【0059】

図5は、上述の改善した技術に従った検索エンジンに提供されたクエリからもたらされる複数のパッセージに基づいて表示するための短い応答を生成する例示的な方法500を描くフローチャートである。方法500は、コンピュータ220のメモリ226中に常駐し処理ユニット224の組が走らせる、図2に関して記載されたソフトウェア命令によって実施することができる。

【0060】

502において、クエリマネージャ230は、検索エンジンの中にユーザによって入力された検索クエリを表すクエリデータ(たとえば、クエリデータ231)を受け取る。

【0061】

504において、検索エンジンマネージャ232が、検索クエリに基づいて複数の検索結果(たとえば、検索結果234(1～N))を生成する。複数の検索結果の各々は、検索クエリに関するそれぞれのパッセージ(たとえば、パッセージ235(1～N))を有する。それぞれのパッセージは、従来の方法を使用して選択することができる。

【0062】

506において、予測エンジンマネージャ250は、短い応答の採点のためそれぞれのパッセージの組を選択する。組の中のそれぞれのパッセージのうちの1つは、複数の検索結果のトップランクの検索結果に属する候補パッセージであり、組の中の残りのそれぞれのパッセージは文脈パッセージである。いくつかの実装形態では、組は、たとえば、予め規定された数のトップランクの検索結果からの、予め規定された数のパッセージを含む。いくつかの実装形態では、組は、トップランクの検索結果からのパッセージを含む、3つのパッセージを含む。

【0063】

508において、予測エンジンマネージャ250は、候補パッセージについての確度スコアを作成するため、文脈パッセージを使用して候補パッセージを採点する。文脈パッセージに加えて、予測エンジンマネージャ250は、入力として、検索クエリ(または、その一部)および候補パッセージに対応するタイトルも含むことができる。いくつかの実装形態では、予測エンジンマネージャ250は、入力として、文脈パッセージに対応するタイトルも含むことができる。

【0064】

510において、予測エンジンマネージャ250は、しきい値を満足させる確度スコアに基づいて、ディスプレイ上にブラウザウィンドウによってレンダリングされる検索結果ページ中の短い応答として表示するための候補パッセージを提供する。

【0065】

図6は、本明細書で記載される技術とともに使用できる一般的コンピュータデバイス600および一般的モバイルコンピュータデバイス650の例を図示する。コンピュータデバイス600は、図1Aの検索システム120および/または短い応答システム130ならびに図2のコンピュータ220の、1つの例示的構成である。

【0066】

図6に示されるように、コンピューティングデバイス600は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の好適なコンピュータなどといった様々な形式のデジタルコンピュータを表すことが意図される。コンピューティングデバイス650は、携帯情報端末、セルラ電話、スマートフォン、および他の同様のコンピューティングデバイスなどといった様々な形式のモバイルデバイスを表すことが意図される。本明細書に示される構成要素、それらの接続および関係、ならびにそれらの機能は、単に例であることが意図され、本文書に記載および/または特許請求される本発明の実装形態を制限することは意図されない。

【0067】

コンピューティングデバイス600は、プロセッサ602、メモリ604、記憶デバイス606、メモリ604および高速拡張ポート610に接続する高速インターフェース608、ならびに低速バス614および記憶デバイス606に接続する低速インターフェース612を含む。構成要素602、604、606、608、610、および612の各々は、様々なバスを使用して相互接続され、共通のマザーボード上に、または適宜他の方法で取り付けることができる。プロセッサ602は、高速インターフェース608に結合されるディスプレイ616などの外部入出力デバイス上でGUIのためのグラフィカル情報を表示するため、メモリ604の中または記憶デバイス606上に記憶された命令を含む、コンピューティングデバイス600内で実行するための命令を処理することができる。他の実装形態では、複数のメモリおよび複数のタイプのメモリとともに、適宜、複数のプロセッサおよび/または複数のバスを使用することができる。また、複数のコンピューティングデバイス600は、(たとえば、サーババンク、ブレードサーバのグループ、または複数のプロセッサシステムといった)必要な動作の部分を提供する各デバイスと接続することができる。

【0068】

メモリ604は、コンピューティングデバイス600内に情報を記憶する。1つの実装形態では、メモリ604は1つまたは複数の揮発性メモリユニットである。別の実装形態では、メモリ604は1つまたは複数の不揮発性メモリユニットである。メモリ604は、磁気ディスクまたは光ディスクなどといった別の形式のコンピュータ可読媒体であってもよい。

【0069】

記憶デバイス606は、コンピューティングデバイス600についての大容量記憶域を提供することが可能である。1つの実装形態では、記憶デバイス606は、フロッピーディスクデバイス、ハードディスクデバイス、光学ディスクデバイス、またはテープデバイス、フラッシュメモリもしくは他の同様の半導体メモリデバイス、またはデバイスの配列などといったコンピュータ可読媒体であってよく、またはコンピュータ可読媒体を含んでよく、記憶域ネットワークまたは他の構成中のデバイスが含まれる。コンピュータプログラム製品は、情報キャリア中に有形に具体化することができる。コンピュータプログラム製品は、実行されると、上述のものなどといった1つまたは複数の方法を実施する命令も含むことができる。情報キャリアは、メモリ604、記憶デバイス606、またはプロセッサ602上のメモリなどといったコンピュータまたは機械可読媒体である。

【0070】

高速コントローラ608がコンピューティングデバイス600についての帯域幅集約的動作を管理する一方で、低速コントローラ612がより低い帯域幅集約的動作を管理する。そのような機能の割振りは、単なる例である。1つの実装形態では、高速コントローラ608は、メモリ604、ディスプレイ616に(たとえば、グラフィックスプロセッサまたはアクセラレータを通して)結合され、様々な拡張カード(図示せず)を受け入れることができる高速拡張ポート610に結合される。本実装形態では、低速コントローラ612は、記憶デバイス506および低速拡張ポート614に結合される。低速拡張ポートは、様々な通信ポート(たとえば、USB、Bluetooth、イーサネット、ワイヤレスイーサネット)を含むことができるが、キーボード、ポインティングデバイス、スキャナなどといった1つまたは複数の入出力デバイス、または、たとえばネットワークアダプタを通してスイッチもしくはルータなどといったネットワークデバイスに結合することができる。

【0071】

コンピューティングデバイス600は、図に示されるような、いくつかの異なった形式で実装することができる。たとえば、コンピューティングデバイス600は、標準的サーバ620として、または、そのようなサーバのグループ中に複数回実装することができる。コンピューティングデバイス600は、ラックサーバシステム624の部分として実装することもできる。加えて、コンピューティングデバイス600は、ラップトップコンピュータ622などといったパーソナルコンピュータに実装することができる。あるいは、コンピューティングデバイス600からの構成要素を、デバイス650などのモバイルデバイス(図示せず)中の他の構成要素と組み合わせることができる。そのようなデバイスの各々がコンピューティングデバイス600、650のうちの1つまたは複数を含んでよく、システム全体が、互いに通信する複数のコンピューティングデバイス600、650からなってよい。

【0072】

コンピューティングデバイス650は、構成要素の中でもとりわけ、プロセッサ652、メモリ664、ディスプレイ654などの入出力デバイス、通信インターフェース666、およびトランシーバ668を含む。デバイス650は、追加記憶域を実現するため、マイクロドライブまたは他のデバイスなどの記憶デバイスを設けることもできる。構成要素650、652、664、654、666、および668の各々は、様々なバスを使用して相互接続され、構成要素のいくつかは、共通のマザーボード上に、または適宜他の方法で取り付けることができる。

【0073】

プロセッサ652は、メモリ664の中に記憶された命令を含む、コンピューティングデバイス650内の命令を実行することができる。プロセッサは、別個で複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実装することができる。プロセッサは、たとえば、ユーザインターフェースの制御、デバイス650が走らせるアプリケーション、およびデバイス650によるワイヤレス通信などといったデバイス650の他の構成要素の協調を実現することができる。

【0074】

プロセッサ652は、ディスプレイ654に結合される制御インターフェース658およびディスプレイインターフェース656を通してユーザと通信することができる。ディスプレイ654は、たとえば、TFT LCD(薄膜トランジスタ液晶ディスプレイ)またはOLED(有機発光ダイオード)ディスプレイ、または他の好適なディスプレイ技術であってよい。ディスプレイインターフェース656は、グラフィックおよび他の情報をユーザに提示するため、ディスプレイ654を駆動するための好適な回路を備えることができる。制御インターフェース658は、ユーザからのコマンドを受け取ってそれらをプロセッサ652に提出するため変換することができる。加えて、他のデバイスとのデバイス650の近距離通信を可能にするために、プロセッサ652との通信に外部インターフェース660を設けることができる。外部インターフェース660は、たとえば、いくつかの実装形態では有線通信用に、または他の実装形態ではワイヤレス通信用に設けることができ、複数のインターフェースを使用することもできる。

【0075】

メモリ664は、コンピューティングデバイス650内に情報を記憶する。メモリ664は、コンピュータ可読媒体、揮発性メモリユニット、または不揮発性メモリユニットのうちの1つまたは複数として実装することができる。拡張メモリ674は、たとえば、SIMM(シングルインラインメモリモジュール)カードインターフェースを含むことができる拡張インターフェース672を通してデバイス650に設けて接続することもできる。そのような拡張メモリ674は、デバイス650用の余分の記憶空間を設けることができ、または、デバイス650用のアプリケーションまたは他の情報を記憶することもできる。具体的には、拡張メモリ674は、上述のプロセスを実行するまたは補う命令を含むことができ、安全情報を含むこともできる。したがって、たとえば、拡張メモリ674は、デバイス650用のセキュリティモジュールとして設けることができ、デバイス650の安全な使用を可能にする命令でプログラムすることができる。加えて、ハッキング不可能な方法でSIMMカード上に識別情報を配置するなどといった、追加情報とともにSIMMカードを介して安全用アプリケーションを実現することができる。

【0076】

メモリは、たとえば、後述のように、フラッシュメモリおよび/またはNVRAMメモリを含むことができる。1つの実装形態では、コンピュータプログラム製品は、情報キャリア中に有形に具体化される。コンピュータプログラム製品は、実行されると、上述のものなどといった1つまたは複数の方法を実施する命令を含む。情報キャリアは、メモリ、拡張メモリ674、またはプロセッサ652上のメモリなどといった、たとえば、トランシーバ668または外部インターフェース660を介して受け取ることができるコンピュータまたは機械可読媒体である。

【0077】

デバイス650は、通信インターフェース666を通してワイヤレスで通信することができ、必要な場合、デジタル信号処理回路を含むことができる。通信インターフェース666は、とりわけ、GSM音声通話、SMS、EMS、またはMMSメッセージング、CDMA、TDMA、PDC、WCDMA（登録商標）、CDMA2000、またはGPRSなどといった様々なモードまたはプロトコルの下で通信を実現することができる。そのような通信は、たとえば、無線周波数トランシーバ668を通して行うことができる。加えて、Bluetooth、WiFi、または他のそのようなトランシーバ(図示せず)の使用などで、短距離通信を行うことができる。加えて、GPS(全地球測位システム)レシーバモジュール670は、デバイス650に追加のナビゲーション関連および測位関連のワイヤレスデータを提供することができ、これは、デバイス650上で走るアプリケーションによって適宜使用することができる。

【0078】

デバイス650は、ユーザから話された情報を受け取り、それを使用可能なデジタル情報へと変換することができる、音声コーデック660を使用して可聴式に通信することもできる。音声コーデック660は、同様に、たとえばデバイス650の送受話器中のスピーカなどを通して、ユーザに可聴音を生成することができる。そのような音は、音声電話の通話からの音を含むことができ、記録した音(たとえば、音声メッセージ、音楽ファイルなど)を含むことができ、デバイス650上で動作するアプリケーションによって生成される音を含むこともできる。

【0079】

コンピューティングデバイス650は、図に示されるような、いくつかの異なった形式で実装することができる。たとえば、コンピューティングデバイス650は、セルラ電話680として実装することができる。コンピューティングデバイス650は、スマートフォン682、携帯情報端末、または他の同様のモバイルデバイスの部分として実装することもできる。

【0080】

図7は、図2の検索システム120であってよく、本明細書で記載される技術とともに使用できる、一般的コンピュータデバイス700の例を示す。コンピューティングデバイス700は、サーバ、ブレードサーバ、データセンタ、メインフレーム、および他の大規模コンピューティングデバイスなどといった様々な例示の形式の大規模データ処理デバイスを表すことが意図される。コンピューティングデバイス700は、1つまたは複数の通信ネットワークによって相互接続される、ネットワーク接続された記憶ノードを含む場合がある、複数のプロセッサを有する分散型システムであってよい。本明細書に示される構成要素、それらの接続および関係、ならびにそれらの機能は、単に例であることが意図され、本文書に記載および/または特許請求される本発明の実装形態を制限することは意図されない。

【0081】

分散型コンピューティングシステム70は、任意の数のコンピューティングデバイス780を含むことができる。コンピューティングデバイス780は、サーバまたはラックサーバ、メインフレームなどを含むことができ、ローカルエリアネットワークもしくはワイドエリアネットワーク、専用光リンク、モデム、ブリッジ、ルータ、スイッチ、有線またはワイヤレスネットワークなどを介して通信する。

【0082】

いくつかの実装形態では、各コンピューティングデバイスは、複数のラックを含むことができる。たとえば、コンピューティングデバイス780aは、複数のラック758a～758nを含む。各ラックは、プロセッサ752a～752nおよび762a～762nなどといった1つまたは複数のプロセッサを含むことができる。プロセッサは、データプロセッサ、ネットワーク接続された記憶デバイス、および他のコンピュータ制御デバイスを含むことができる。いくつかの実装形態では、1つのプロセッサがマスタプロセッサとして動作して、スケジューリングおよびデータ分散タスクを制御することができる。プロセッサは、1つまたは複数のラックスイッチ762a～762nを通して相互接続することができ、1つまたは複数のラックを、スイッチ778を通して接続することができる。スイッチ778は、複数の接続したコンピューティングデバイス700間の通信を取り扱うことができる。

【0083】

各ラックは、メモリ754およびメモリ764などのメモリ、ならびに756および766などの記憶装置を含むことができる。記憶装置756および766は、大容量記憶域を提供することができ、ネットワーク接続したディスク、フロッピーディスク、ハードディスク、光ディスク、テープ、フラッシュメモリもしくは他の同様の半導体メモリデバイスまたはデバイスの配列などといった揮発性もしくは不揮発性記憶装置を含み、記憶域ネットワークもしくは他の構成中のデバイスを含むことができる。記憶装置756および766は、複数のプロセッサ、複数のラック、または複数のコンピューティングデバイス間で共有することができ、プロセッサのうちの1つまたは複数が実行可能な命令を記憶するコンピュータ可読媒体を含むことができる。メモリ754および764は、たとえば、磁気ディスクまたは光ディスク、フラッシュメモリ、キャッシュ、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、およびそれらの組合せなどといった、揮発性メモリユニット、不揮発性メモリメモリユニット、および/またはコンピュータ可読媒体の他の形式を含むことができる。メモリ754などといったメモリは、やはり、プロセッサ752a～752n間で共有することができる。索引などのデータ構造は、たとえば、記憶装置756とメモリ754にわたって記憶することができる。コンピューティングデバイス700は、コントローラ、バス、入出力デバイス、通信モジュールなどといった図示しない他の構成要素を含むことができる。

【0084】

図1の環境100などといったシステム全体は、互いに通信する複数のコンピューティングデバイス700から構成されてよい。たとえば、デバイス780aは、デバイス780b、780c、および780dと通信することができ、これらが集合的に環境100として知られてよい。別の例として、図2のコンピュータ220が1つまたは複数のコンピューティングデバイス700を含むことができる。コンピューティングデバイスのいくつかが互いに地理的に近接して配置されてよく、他のものは地理的に遠くに配置されてよい。システム700のレイアウトは、単なる例であり、システムは、他のレイアウトまたは構成を取ることができる。

【0085】

いくつかの実装形態では、確度スコアに基づいて、表示するための候補パッセージを提供するステップが、確度スコアを確度スコアしきい値と比較するステップと、確度スコアが確度スコアしきい値より大きいことに応じて、候補パッセージをディスプレイ上に表示するステップと、確度スコアが確度スコアしきい値より小さいことに応じて、候補パッセージをディスプレイ上に表示しないステップとを含む。

【0086】

いくつかの実装形態では、文脈パッセージを使用して候補パッセージを採点するステップが、候補パッセージと文脈パッセージの組との間の一致レベルを決定するステップを含み、確度スコアは、一致レベルに基づく。

【0087】

いくつかの実装形態では、文脈パッセージを使用して候補パッセージを採点するステップが、候補パッセージおよび残りのそれぞれのパッセージに基づいてスコアを予測するように構成されるスコア予測エンジンに候補パッセージおよび残りのそれぞれのパッセージを入力するステップを含む。

【0088】

いくつかの実装形態では、文脈パッセージを使用して候補パッセージを採点するステップが、候補パッセージおよび残りのそれぞれのパッセージをスコア予測エンジンに入力するステップに加えて、候補パッセージおよび残りのそれぞれのパッセージのそれぞれのタイトルをスコア予測エンジンに入力するステップをさらに含む。

【0089】

いくつかの実装形態では、方法は、スコア予測エンジンを訓練するため訓練データのコーパスに訓練動作を行うステップをさらに含み、訓練データのコーパスは、コールアウト中に表示するための短い応答を提供する候補パッセージおよび残りのそれぞれのパッセージを含み、これからトップスコアの短い応答が生成される。そのような実装形態では、訓練データのコーパスは、残りのそれぞれのパッセージならびに候補パッセージおよび残りのそれぞれのパッセージのそれぞれのタイトルをさらに含む。そのような実装形態では、訓練動作を行うステップは、候補パッセージに適用される確度スコアしきい値の組に基づいた損失関数を適用するステップを含み、損失関数は、プライマリパッセージについての確度スコアしきい値の組の各々について、そのしきい値スコアについてのシグモイドクロスエントロピー損失を含む。そのような実装形態では、損失関数は、出力として、確度スコアしきい値の組にわたるシグモイドクロスエントロピー損失の平均を生成する。そのような実装形態では、訓練動作は、複数の訓練ステージを含み、確度スコアしきい値の組は、訓練動作の複数の訓練ステージ間で変わる。そのような実装形態では、訓練動作は、教師モデルを作成する教師訓練動作および生徒モデルを作成する生徒訓練動作を含み、ここで生徒訓練は、教師モデルによって作成された教師確度スコアの組を入力として取る。そのような実装形態では、教師訓練動作は、教師モデルと生徒モデルの平均2乗誤差を含む損失関数に基づく。

【0090】

いくつかの実装形態では、訓練データのコーパスは、以前に採点したパッセージの第3の組、候補パッセージと残りのそれぞれのパッセージの一致に基づかない以前に採点したパッセージのそれぞれの確度スコアも含む。

【0091】

いくつかの実装形態では、短い応答として表示するための候補パッセージを提供するステップが、予め規定された数のトップランクのパッセージのうちの最も高い確度スコアを有するトップランクのパッセージを選択するステップを含む。

【0092】

本明細書に記載されるシステムおよび技術の様々な実装形態は、デジタル電子回路、集積回路、専用設計したASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはそれらの組合せで具体化することができる。これらの様々な実装形態は、専用または汎用であり、記憶システムからデータおよび命令を受け取って記憶システムにデータおよび命令を送信するように結合することができる少なくとも1つのプログラム可能なプロセッサ、少なくとも1つの入力デバイス、および少なくとも1つの出力デバイスを含むプログラム可能なシステム上で実行可能および/または解釈可能である1つまたは複数のコンピュータプログラム中の実装形態を含むことができる。

【0093】

これらのコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られている)は、プログラム可能なプロセッサ用の機械命令を含み、高レベル手続型プログラミング言語および/もしくはオブジェクト指向プログラミング言語、ならびに/またはアセンブリ言語/機械語で実装することができる。本明細書で使用する、「機械可読媒体」「コンピュータ可読媒体」という用語は、プログラム可能なプロセッサに機械命令および/またはデータを提供するために使用される任意のコンピュータプログラム製品、装置、および/またはデバイス(たとえば、磁気ディスク、光ディスク、メモリ、プログラム可能論理デバイス(PLD))のことを呼び、機械可読信号として機械命令を受け取る機械可読媒体を含む。「機械可読信号」という用語は、プログラム可能なプロセッサに機械命令および/またはデータを提供するために使用される任意の信号のことを呼ぶ。

【0094】

ユーザとの相互作用を実現するため、本明細書で記載されるシステムおよび技術は、ユーザに情報を表示するためのディスプレイデバイス(たとえば、CRT(陰極線管)またはLCD(液晶ディスプレイ)モニタ)ならびにユーザがコンピュータに入力を提供できるキーボードおよびポインティングデバイス(たとえば、マウスまたはトラックボール)を有するコンピュータ上に実装することができる。同様に、ユーザとの相互作用を実現するため、他の種類のデバイスを使用することができる。たとえば、ユーザへ提供されるフィードバックはセンサフィードバック(たとえば、視覚フィードバック、音声フィードバック、または触覚フィードバック)のいずれかの形式であってよく、ユーザからの入力は、音響、会話、または触覚入力を含む任意の形式で受け取ることができる。

【0095】

本明細書で記載されるシステムおよび技術は、(たとえば、データサーバとして)バックエンド構成要素を含む、または(アプリケーションサーバとして)ミドルウェア構成要素を含む、または(たとえば、ユーザが本明細書で記載されるシステムおよび技術の実装形態と相互作用することができるグラフィカルユーザインターフェースまたはウェブブラウザを有するクライアントコンピュータといった)フロントエンド構成要素を含む、またはそのようなバックエンド構成要素、ミドルウェア構成要素、またはフロントエンド構成要素の任意の組合せを含むコンピューティングシステム中に実装することができる。システムの構成要素は、デジタルデータ通信の任意の形式または媒体(たとえば、通信ネットワーク)によって相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク(「LAN」)、ワイドエリアネットワーク(「WAN」)、およびインターネットが挙げられる。

【0096】

コンピューティングシステムは、クライアントおよびサーバを含むことができる。クライアントおよびサーバは、一般的に互いに離れており、典型的には、通信ネットワークを通して相互作用する。クライアントとサーバの関係は、それぞれのコンピュータ上で走り、互いにクライアントサーバ関係を有するコンピュータプログラムによって生じる。

【0097】

いくつかの実装形態を記載してきた。それにもかかわらず、本明細書の精神および範囲から逸脱することなく、様々な変更を行うことができることを理解されよう。

【0098】

ある要素が、別の要素上にある、接続される、電気的に接続される、結合される、または電気的に結合されると言及されるとき、ある要素が、直接別の要素上にある、接続される、もしくは結合されてよく、または、1つまたは複数の中間要素が存在してよいことも理解されよう。対照的に、ある要素が、直接別の要素上にある、直接接続される、または直接結合されると言及されるとき、中間要素は存在しない。直接上にある、直接接続される、または直接結合されるという用語が詳細な説明の全体を通して使用されない可能性があるが、直接上にある、直接接続される、または直接結合されるものとして示される要素がそのようなものとして言及することができる。本用途の特許請求は、本明細書に記載される、または図に示される例示の関係を説明するために変更される場合がある。

【0099】

記載される実装形態のある特徴が本明細書で記載されたように図示されてきたが、ここで、当業者には、多くの修正形態、代替形態、変更形態、および等価形態が想到されるであろう。したがって、添付の特許請求の範囲は、すべてのそのような修正形態および変更形態が本実装形態の範囲内に入るようにカバーすることが意図されると理解されたい。実装形態は、限定ではなく単に例として提示されており、形態および詳細に様々な変更を行うことができることを理解されたい。本明細書で記載される装置および/または方法の任意の部分は、相互に排他的な組合せ以外なら任意の組合せで組み合わせることができる。本明細書で記載される実装形態は、記載される異なる実装形態の機能、構成要素、および/または特徴の様々な組合せおよび/または下位の組合せを含むことができる。

【0100】

加えて、図に描かれる論理フローは、所望の結果を達成するために、示される特定の順番または連続的な順番を必要としない。加えて、他のステップを設けることができ、または記載されたフローからステップを取り除くことができ、記載されるシステムに他の構成要素を加えること、または除去することができる。したがって、他の実装形態は、添付の特許請求の範囲内にある。

【符号の説明】

【0101】

70 分散型コンピューティングシステム
100 例示の環境
102 ネットワーク
104 ウェブサイト
105 ウェブサイトリソース
106 ユーザデバイス
109 検索クエリ
111 検索結果表示
112 検索結果
113 短い応答
120 検索システム
122 検索索引
126 索引付けリソース
130 短い応答システム
150 ユーザインターフェース
160 検索クエリ
170 応答
180 トップランクの検索結果
190 短い応答
200 電子環境
220 コンピュータ
222 ネットワークインターフェース
224 処理ユニット
226 メモリ
228 ディスプレイインターフェース
230 クエリマネージャ
231クエリデータ
232 検索エンジンマネージャ
233 検索エンジンデータ
234(1) 検索エンジン結果
234(N) 検索エンジン結果
235(1) パッセージ
235(N) パッセージ
236(1) ランキング
236(N) ランキング
240 確度スコアマネージャ
241 確度スコアデータ
242(1) 確度スコア
242(N) 確度スコア
244 確度スコアしきい値
250 予測エンジンマネージャ
251 エンコーダ
252 デコーダ
253 予測エンジンデータ
254 入力埋込みデータ
255 中間データ
265 予測される確度スコアデータ
270 短い応答データ
310 クエリ
320(1) 文書1
330(1)(1) パッセージ1
330(2)(1) パッセージ2
330(M)(1) パッセージM
320(2) 文書2
330(1)(2) パッセージ1
330(2)(2) パッセージ2
330(M)(2) パッセージM
320(3) 文書3
330(1)(3) パッセージ1
330(2)(3) パッセージ2
330(M)(3) パッセージM
320(4) 文書4
330(1)(4) パッセージ1
330(2)(4) パッセージ2
330(M)(4) パッセージM
340 コールアウト
405 入力
408 入力トークン埋込み
410 クエリ
420 パッセージ
422 タイトル
430 さらなるパッセージ1
432 さらなるタイトル1
434 さらなるパッセージ2
436 さらなるタイトル2
438 確度スコア予測エンジン
440 損失関数の出力
442 エンコードされた出力
444 予測される確度スコア
506 記憶デバイス
600 一般的コンピュータデバイス、コンピューティングデバイス
602 プロセッサ
604 メモリ
606 記憶デバイス
608 高速インターフェース
610 高速拡張ポート
612 低速インターフェース
614 低速拡張ポート
616 ディスプレイ
620 標準的サーバ
622 ラップトップコンピュータ
624 ラックサーバシステム
650 一般的モバイルコンピュータデバイス
652 プロセッサ
654 ディスプレイ
656 ディスプレイインターフェース
658 制御インターフェース
660 外部インターフェース、音声コーデック
664 メモリ
666 通信インターフェース
668 トランシーバ
670 GPS(全地球測位システム)レシーバモジュール
672 拡張インターフェース
674 拡張メモリ
680 セルラ電話
682 スマートフォン
700 一般的コンピュータデバイス
755 メモリ
752a プロセッサ
752n プロセッサ
756 記憶装置
758a ラック
758n ラック
762a プロセッサ、ラックスイッチ
762n プロセッサ、ラックスイッチ
764 メモリ
766 記憶装置
778 スイッチ
780 コンピューティングデバイス
780a コンピューティングデバイス
780b デバイス
780c デバイス
780d デバイス

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】