ホーム > 特許ランキング > Ｇｏｏｇｌｅ ＬＬＣ
知財求人 - 知財ポータルサイト「IP Force」
特開2024-109745人間のユーザに代わる対話式音声応答（ＩＶＲ）ツリーの自動ナビゲーション
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024109745
(43)【公開日】2024-08-14
(54)【発明の名称】人間のユーザに代わる対話式音声応答（ＩＶＲ）ツリーの自動ナビゲーション
(51)【国際特許分類】
H04M 3/50 20060101AFI20240806BHJP
G06F 3/16 20060101ALI20240806BHJP
G10L 15/00 20130101ALI20240806BHJP
G10L 13/00 20060101ALI20240806BHJP
【ＦＩ】
H04M3/50 A
G06F3/16 660
G06F3/16 690
G06F3/16 620
G06F3/16 610
G06F3/16 650
G10L15/00 200A
G10L13/00 100M
【審査請求】有
【請求項の数】41
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024082495
(22)【出願日】2024-05-21
(62)【分割の表示】P 2022570378の分割
【原出願日】2020-12-14
(31)【優先権主張番号】63/088,178
(32)【優先日】2020-10-06
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/068,511
(32)【優先日】2020-10-12
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】502208397
【氏名又は名称】グーグル エルエルシー
【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ
【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ユヴァル・バロール
(72)【発明者】
【氏名】マイケル・アンドリュー・グッドマン
(72)【発明者】
【氏名】ヨアヴ・ツール
(57)【要約】
【課題】支援型電話通話中、ターゲット状態に到着するように対話式音声応答(IVR)ツリーを自動的にナビゲートするためにアシスタントを利用することを対象とする。
【解決手段】アシスタントは、支援型電話通話を開始するための入力を受信し、ユーザに代わって、かつ支援型電話通話中、関与すべきエンティティを入力に基づいて識別し、エンティティに関連して記憶されたIVRツリーを識別することができる。様々な実装形態では、IVRツリーのナビゲーションは、支援型電話通話を開始した後、クライアントデバイスにおいて検出される対話に基づいて修正され得る。様々な実装形態では、支援型電話通話は検索インターフェースから開始され得、ターゲット状態は所与の検索結果に関連することができる。様々な実装形態では、IVRツリーの候補状態のサブセットしかターゲット状態として利用可能でない場合があるという点で、IVRツリーは動的であり得る。
【選択図】図１
【解決手段】アシスタントは、支援型電話通話を開始するための入力を受信し、ユーザに代わって、かつ支援型電話通話中、関与すべきエンティティを入力に基づいて識別し、エンティティに関連して記憶されたIVRツリーを識別することができる。様々な実装形態では、IVRツリーのナビゲーションは、支援型電話通話を開始した後、クライアントデバイスにおいて検出される対話に基づいて修正され得る。様々な実装形態では、支援型電話通話は検索インターフェースから開始され得、ターゲット状態は所与の検索結果に関連することができる。様々な実装形態では、IVRツリーの候補状態のサブセットしかターゲット状態として利用可能でない場合があるという点で、IVRツリーは動的であり得る。
【選択図】図１
【特許請求の範囲】
【請求項1】
1つまたは複数のプロセッサによって実施される方法であって、
所与のユーザから、かつ前記所与のユーザに関連するクライアントデバイスを介して、支援型電話通話を開始するためのユーザ入力を受信するステップと、
前記支援型電話通話中に前記所与のユーザに代わって関与すべきエンティティを、前記ユーザ入力に基づいて識別するステップと、
前記識別されたエンティティに関連する対話式音声応答(IVR)ツリーを識別するステップであって、前記IVRツリーが複数の候補状態を含む、ステップと、
前記複数の候補状態の中から前記IVRツリーのターゲット状態を前記ユーザ入力または追加のユーザ入力に基づいて決定するステップと、
前記IVRツリーを前記ターゲット状態へナビゲートするために前記支援型電話通話の実行を開始するステップであって、前記支援型電話通話の実行が、前記支援型電話通話を前記IVRツリーの前記ターゲット状態へ自動的にナビゲートするステップを備える、ステップと、
前記支援型電話通話の実行中、かつ前記IVRツリーが前記ターゲット状態へナビゲートされている間、
前記クライアントデバイスを対象とするとともに前記識別されたエンティティに関連する少なくとも1つのユーザ対話を検出するステップと、
前記IVRツリーのナビゲーションを修正することに関係する1つまたは複数のプロンプトを、前記クライアントデバイスを対象とする前記少なくとも1つのユーザ対話に基づいて生成するステップと、
前記追加のプロンプトのうちの1つまたは複数のレンダリングに応答して受信されるさらなる追加のユーザ入力が前記IVRツリーのナビゲーションを修正するという決定に応答して、
前記さらなる追加のユーザ入力に基づいて前記支援型電話通話の実行を修正するステップと
を備える方法。
所与のユーザから、かつ前記所与のユーザに関連するクライアントデバイスを介して、支援型電話通話を開始するためのユーザ入力を受信するステップと、
前記支援型電話通話中に前記所与のユーザに代わって関与すべきエンティティを、前記ユーザ入力に基づいて識別するステップと、
前記識別されたエンティティに関連する対話式音声応答(IVR)ツリーを識別するステップであって、前記IVRツリーが複数の候補状態を含む、ステップと、
前記複数の候補状態の中から前記IVRツリーのターゲット状態を前記ユーザ入力または追加のユーザ入力に基づいて決定するステップと、
前記IVRツリーを前記ターゲット状態へナビゲートするために前記支援型電話通話の実行を開始するステップであって、前記支援型電話通話の実行が、前記支援型電話通話を前記IVRツリーの前記ターゲット状態へ自動的にナビゲートするステップを備える、ステップと、
前記支援型電話通話の実行中、かつ前記IVRツリーが前記ターゲット状態へナビゲートされている間、
前記クライアントデバイスを対象とするとともに前記識別されたエンティティに関連する少なくとも1つのユーザ対話を検出するステップと、
前記IVRツリーのナビゲーションを修正することに関係する1つまたは複数のプロンプトを、前記クライアントデバイスを対象とする前記少なくとも1つのユーザ対話に基づいて生成するステップと、
前記追加のプロンプトのうちの1つまたは複数のレンダリングに応答して受信されるさらなる追加のユーザ入力が前記IVRツリーのナビゲーションを修正するという決定に応答して、
前記さらなる追加のユーザ入力に基づいて前記支援型電話通話の実行を修正するステップと
を備える方法。
【請求項2】
前記支援型電話通話中に特定の状態に到着するように前記IVRツリーをナビゲートした後、かつ前記さらなる追加のユーザ入力に基づいて、
前記クライアントデバイスに関連する前記所与のユーザが前記支援型電話通話に加入することを要求する通知を生成するステップと、
前記所与のユーザに関連する前記クライアントデバイスにおいて前記通知をレンダリングさせるステップと
をさらに備える、請求項1に記載の方法。
前記クライアントデバイスに関連する前記所与のユーザが前記支援型電話通話に加入することを要求する通知を生成するステップと、
前記所与のユーザに関連する前記クライアントデバイスにおいて前記通知をレンダリングさせるステップと
をさらに備える、請求項1に記載の方法。
【請求項3】
前記所与のユーザに関連する前記クライアントデバイスにおいて前記通知をレンダリングさせるステップが、前記クライアントデバイスを振動させるステップ、前記所与のユーザが前記支援型電話通話に加入することを要求する前記通知を、前記クライアントデバイスに可聴的にレンダリングさせるステップ、または前記所与のユーザが前記支援型電話通話に加入することを要求する前記通知を、前記クライアントデバイスに視覚的にレンダリングさせるステップのうちの1つまたは複数を備える、請求項2に記載の方法。
【請求項4】
前記IVRツリーを前記特定の状態へナビゲートした後、
前記特定の状態が前記ターゲット状態に対応するかどうかを検証するために、前記識別されたエンティティに関連する人間代理人との会話に関与するステップ
をさらに備える、請求項2または3に記載の方法。
前記特定の状態が前記ターゲット状態に対応するかどうかを検証するために、前記識別されたエンティティに関連する人間代理人との会話に関与するステップ
をさらに備える、請求項2または3に記載の方法。
【請求項5】
前記特定の状態が前記ターゲット状態に対応するかどうかを検証するために前記人間代理人との前記会話に関与するステップが、
前記人間代理人の口頭発話をキャプチャするオーディオデータを、音声認識モデルを使用して処理するステップと、
前記特定の状態が前記ターゲット状態に対応することを前記人間代理人が検証するかどうかを、前記オーディオデータを処理するステップに基づいて決定するステップとを備え、
前記クライアントデバイスに関連する前記所与のユーザが前記支援型電話通話に加入することを要求する前記通知を生成するステップが、前記特定の状態が前記ターゲット状態に対応することを前記人間代理人が検証することを決定するステップに応答する、
請求項4に記載の方法。
前記人間代理人の口頭発話をキャプチャするオーディオデータを、音声認識モデルを使用して処理するステップと、
前記特定の状態が前記ターゲット状態に対応することを前記人間代理人が検証するかどうかを、前記オーディオデータを処理するステップに基づいて決定するステップとを備え、
前記クライアントデバイスに関連する前記所与のユーザが前記支援型電話通話に加入することを要求する前記通知を生成するステップが、前記特定の状態が前記ターゲット状態に対応することを前記人間代理人が検証することを決定するステップに応答する、
請求項4に記載の方法。
【請求項6】
前記IVRツリーが首尾よくナビゲートされたかどうかを検証するための合成音声を含む合成音声オーディオデータを、人間代理人に関連する追加のクライアントデバイスにおいてレンダリングさせるステップをさらに備え、
前記人間代理人の口頭発話をキャプチャする前記オーディオデータが、前記人間代理人に関連する前記追加のクライアントデバイスにおいて前記合成音声オーディオデータがレンダリングされることに応答して受信される、
請求項1から5のいずれか一項に記載の方法。
前記人間代理人の口頭発話をキャプチャする前記オーディオデータが、前記人間代理人に関連する前記追加のクライアントデバイスにおいて前記合成音声オーディオデータがレンダリングされることに応答して受信される、
請求項1から5のいずれか一項に記載の方法。
【請求項7】
前記特定の状態が前記ターゲット状態に対応しないことを前記人間代理人が示すという決定に応答して、
前記識別されたエンティティに関連する別の人間代理人に前記支援型電話通話が転送されることを要求するためのさらなる合成音声を含むさらなる合成音声オーディオデータを、前記人間代理人に関連する追加のクライアントデバイスにおいてレンダリングさせるステップ
をさらに備える、請求項4に記載の方法。
前記識別されたエンティティに関連する別の人間代理人に前記支援型電話通話が転送されることを要求するためのさらなる合成音声を含むさらなる合成音声オーディオデータを、前記人間代理人に関連する追加のクライアントデバイスにおいてレンダリングさせるステップ
をさらに備える、請求項4に記載の方法。
【請求項8】
前記所与のユーザに代わって、かつ前記支援型電話通話中、実行されるべきタスクを前記ユーザ入力または前記追加のユーザ入力に基づいて識別するステップと、
前記IVRツリーを前記ターゲット状態へナビゲートした後、かつ前記支援型電話通話中、
前記所与のユーザに代わって前記タスクを完了するために、前記識別されたエンティティに関連する人間代理人との会話に関与するステップとをさらに備え、前記人間代理人との前記会話に関与するステップが、
前記タスクを完了するための合成音声を含む合成音声オーディオデータを、前記人間代理人に関連する追加のクライアントデバイスにおいてレンダリングさせるステップと、
前記人間代理人の口頭発話をキャプチャするとともに前記合成音声のレンダリングに応答して受信されるオーディオデータを、音声認識モデルを使用して処理するステップと、
前記タスクの実行に関連する結果を、前記オーディオデータを処理するステップに基づいて決定するステップとを備える、
請求項1から7のいずれか一項に記載の方法。
前記IVRツリーを前記ターゲット状態へナビゲートした後、かつ前記支援型電話通話中、
前記所与のユーザに代わって前記タスクを完了するために、前記識別されたエンティティに関連する人間代理人との会話に関与するステップとをさらに備え、前記人間代理人との前記会話に関与するステップが、
前記タスクを完了するための合成音声を含む合成音声オーディオデータを、前記人間代理人に関連する追加のクライアントデバイスにおいてレンダリングさせるステップと、
前記人間代理人の口頭発話をキャプチャするとともに前記合成音声のレンダリングに応答して受信されるオーディオデータを、音声認識モデルを使用して処理するステップと、
前記タスクの実行に関連する結果を、前記オーディオデータを処理するステップに基づいて決定するステップとを備える、
請求項1から7のいずれか一項に記載の方法。
【請求項9】
前記タスクの実行に関連する前記結果に基づいて通知を生成するステップと、
前記所与のユーザに関連する前記クライアントデバイスにおいて前記通知をレンダリングさせるステップと
をさらに備える、請求項8に記載の方法。
前記所与のユーザに関連する前記クライアントデバイスにおいて前記通知をレンダリングさせるステップと
をさらに備える、請求項8に記載の方法。
【請求項10】
前記追加のプロンプトのうちの1つまたは複数のレンダリングに応答して受信される前記さらなる追加のユーザ入力が前記IVRツリーのナビゲーションを修正しないという決定に応答して、
前記IVRツリーを前記ターゲット状態へナビゲートするために前記支援型電話通話の実行を継続するステップ
をさらに備える、請求項1から9のいずれか一項に記載の方法。
前記IVRツリーを前記ターゲット状態へナビゲートするために前記支援型電話通話の実行を継続するステップ
をさらに備える、請求項1から9のいずれか一項に記載の方法。
【請求項11】
前記識別されたエンティティに関連する前記IVRツリーの識別に応答して、
前記識別されたエンティティに関連する前記IVRツリーをナビゲートすることに関係する1つまたは複数のプロンプトを取得するステップと、
前記プロンプトのうちの1つまたは複数を、前記所与のユーザに関連する前記クライアントデバイスにおいてレンダリングさせるステップとをさらに備え、
前記追加のユーザ入力が、前記プロンプトのうちの1つまたは複数がレンダリングされることに応答して受信される、
請求項1から10のいずれか一項に記載の方法。
前記識別されたエンティティに関連する前記IVRツリーをナビゲートすることに関係する1つまたは複数のプロンプトを取得するステップと、
前記プロンプトのうちの1つまたは複数を、前記所与のユーザに関連する前記クライアントデバイスにおいてレンダリングさせるステップとをさらに備え、
前記追加のユーザ入力が、前記プロンプトのうちの1つまたは複数がレンダリングされることに応答して受信される、
請求項1から10のいずれか一項に記載の方法。
【請求項12】
前記所与のユーザに関連する前記クライアントデバイスにおける前記少なくとも1つのユーザ対話が、前記識別されたエンティティに関連する前記クライアントデバイスにおける検索対話、前記識別されたエンティティに関連する前記クライアントデバイスにおけるブラウジング対話、または前記識別されたエンティティに関連する前記クライアントデバイスにおけるナビゲーション対話のうちの1つまたは複数を備える、請求項1から11のいずれか一項に記載の方法。
【請求項13】
前記支援型電話通話を前記IVRツリーの前記ターゲット状態へ自動的にナビゲートするステップが、
前記ユーザ入力または前記追加のユーザ入力に基づいて前記IVRツリーをナビゲートするための対応するパラメータに関連する1つまたは複数の値を決定するステップのうちの1つまたは複数を備える、
請求項1から12のいずれか一項に記載の方法。
前記ユーザ入力または前記追加のユーザ入力に基づいて前記IVRツリーをナビゲートするための対応するパラメータに関連する1つまたは複数の値を決定するステップのうちの1つまたは複数を備える、
請求項1から12のいずれか一項に記載の方法。
【請求項14】
前記IVRの前記ナビゲーションを修正するステップが、
前記IVRツリーの代替のターゲット状態を前記ユーザ対話または前記さらなる追加のユーザ入力に基づいて決定するステップを備え、
前記支援型電話通話の修正された実行が、前記対応するパラメータに関連する前記値のうちの1つまたは複数に基づいて前記支援型電話通話を前記IVRツリーの前記代替のターゲット状態へ自動的にナビゲートするステップを備える、
請求項13に記載の方法。
前記IVRツリーの代替のターゲット状態を前記ユーザ対話または前記さらなる追加のユーザ入力に基づいて決定するステップを備え、
前記支援型電話通話の修正された実行が、前記対応するパラメータに関連する前記値のうちの1つまたは複数に基づいて前記支援型電話通話を前記IVRツリーの前記代替のターゲット状態へ自動的にナビゲートするステップを備える、
請求項13に記載の方法。
【請求項15】
前記IVRの前記ナビゲーションを修正するステップが、
前記IVRツリーの1つまたは複数の代替のターゲット状態を前記ユーザ対話または前記さらなる追加のユーザ入力に基づいて決定するステップを備え、
前記支援型電話通話の修正された実行が、前記対応するパラメータに関連する1つまたは複数の代替の値に基づいて前記支援型電話通話を前記IVRツリーの前記ターゲット状態へ自動的にナビゲートするステップを備える、
請求項13に記載の方法。
前記IVRツリーの1つまたは複数の代替のターゲット状態を前記ユーザ対話または前記さらなる追加のユーザ入力に基づいて決定するステップを備え、
前記支援型電話通話の修正された実行が、前記対応するパラメータに関連する1つまたは複数の代替の値に基づいて前記支援型電話通話を前記IVRツリーの前記ターゲット状態へ自動的にナビゲートするステップを備える、
請求項13に記載の方法。
【請求項16】
前記支援型電話通話を前記IVRツリーの前記ターゲット状態へ自動的にナビゲートするステップが、
前記ターゲット状態に到着するまで前記IVRツリーを自動的にナビゲートするために、前記識別されたエンティティに関連する追加のクライアントデバイスにおいてレンダリングされるべき1つもしくは複数のボタン押下をエミュレートするステップ、
前記ターゲット状態に到着するまで前記IVRツリーを自動的にナビゲートするために、合成音声を含む合成音声オーディオデータを、前記識別されたエンティティに関連する追加のクライアントデバイスにおいてレンダリングさせるステップ、または
前記クライアントデバイスに関連する前記所与のユーザの口頭発話をキャプチャするオーディオデータを、前記識別されたエンティティに関連する追加のクライアントデバイスにおいてレンダリングさせるステップのうちの1つまたは複数を備える、
請求項1から15のいずれか一項に記載の方法。
前記ターゲット状態に到着するまで前記IVRツリーを自動的にナビゲートするために、前記識別されたエンティティに関連する追加のクライアントデバイスにおいてレンダリングされるべき1つもしくは複数のボタン押下をエミュレートするステップ、
前記ターゲット状態に到着するまで前記IVRツリーを自動的にナビゲートするために、合成音声を含む合成音声オーディオデータを、前記識別されたエンティティに関連する追加のクライアントデバイスにおいてレンダリングさせるステップ、または
前記クライアントデバイスに関連する前記所与のユーザの口頭発話をキャプチャするオーディオデータを、前記識別されたエンティティに関連する追加のクライアントデバイスにおいてレンダリングさせるステップのうちの1つまたは複数を備える、
請求項1から15のいずれか一項に記載の方法。
【請求項17】
1つまたは複数のプロセッサによって実施される方法であって、
所与のユーザから、かつ前記所与のユーザに関連するクライアントデバイスの検索インターフェースを介して、ユーザ入力を受信するステップと、
前記ユーザ入力に基づいて検索クエリを前記クライアントデバイスの前記検索インターフェースにおいて発行するステップと、
支援型電話通話中に前記所与のユーザに代わって関与すべきエンティティに関連する所与の検索結果を、前記発行された検索クエリに基づいて識別するステップであって、前記所与の検索結果が、前記識別されたエンティティに関連する対話式音声応答(IVR)ツリーに対する複数の候補状態の中からのターゲット状態に関連する、ステップと、
少なくとも前記所与の検索結果を前記クライアントデバイスの前記検索インターフェースにおいてレンダリングさせるステップと、
前記所与の検索結果が前記クライアントデバイスの前記検索インターフェースにおいてレンダリングされることに応答して、前記所与のユーザから、かつ前記クライアントデバイスの前記検索インターフェースを介して、前記所与の検索結果の選択肢を受信するステップと、
前記所与の検索結果の前記選択肢の受信に応答して前記支援型電話通話の実行を開始するステップとを備え、前記支援型電話通話の実行が、前記支援型電話通話を前記IVRツリーの前記ターゲット状態へ自動的にナビゲートするステップを備える、
方法。
所与のユーザから、かつ前記所与のユーザに関連するクライアントデバイスの検索インターフェースを介して、ユーザ入力を受信するステップと、
前記ユーザ入力に基づいて検索クエリを前記クライアントデバイスの前記検索インターフェースにおいて発行するステップと、
支援型電話通話中に前記所与のユーザに代わって関与すべきエンティティに関連する所与の検索結果を、前記発行された検索クエリに基づいて識別するステップであって、前記所与の検索結果が、前記識別されたエンティティに関連する対話式音声応答(IVR)ツリーに対する複数の候補状態の中からのターゲット状態に関連する、ステップと、
少なくとも前記所与の検索結果を前記クライアントデバイスの前記検索インターフェースにおいてレンダリングさせるステップと、
前記所与の検索結果が前記クライアントデバイスの前記検索インターフェースにおいてレンダリングされることに応答して、前記所与のユーザから、かつ前記クライアントデバイスの前記検索インターフェースを介して、前記所与の検索結果の選択肢を受信するステップと、
前記所与の検索結果の前記選択肢の受信に応答して前記支援型電話通話の実行を開始するステップとを備え、前記支援型電話通話の実行が、前記支援型電話通話を前記IVRツリーの前記ターゲット状態へ自動的にナビゲートするステップを備える、
方法。
【請求項18】
前記エンティティに関連する追加の所与の検索結果を、前記発行された検索クエリに基づいて識別するステップをさらに備え、前記追加の所与の検索結果が、前記IVRツリーに対して、前記複数の候補状態のうちの追加のターゲット状態に関連する、
請求項17に記載の方法。
請求項17に記載の方法。
【請求項19】
前記追加の所与の検索結果を前記所与の検索結果と一緒にレンダリングさせるステップ
をさらに備える、請求項18に記載の方法。
をさらに備える、請求項18に記載の方法。
【請求項20】
前記追加の所与の検索結果を前記所与の検索結果と一緒にレンダリングさせるステップが、前記追加の所与の検索結果よりも目立つように前記所与の検索結果をレンダリングするステップを備える、請求項19に記載の方法。
【請求項21】
前記追加の所与の検索結果よりも目立つように前記所与の検索結果をレンダリングするステップが、前記クライアントデバイスとの前記所与のユーザの最近のユーザ対話に基づいて前記追加の所与の検索結果よりも目立つように前記所与の検索結果をレンダリングするステップを備える、請求項20に記載の方法。
【請求項22】
前記クライアントデバイスとの前記所与のユーザの前記最近のユーザ対話が、前記所与の検索結果に関連するコンテンツに前記所与のユーザがアクセスするステップを含む、請求項21に記載の方法。
【請求項23】
前記追加の所与の検索結果よりも目立つように前記所与の検索結果をレンダリングするステップが、前記所与の検索結果の評判に基づいて前記追加の所与の検索結果よりも目立つように前記所与の検索結果をレンダリングするステップを備える、請求項20から22のいずれか一項に記載の方法。
【請求項24】
前記所与の検索結果の評判が、前記所与の検索結果に関連する、前記所与のユーザに加えられる複数のユーザのクリックスルーレートに基づく、請求項20から23のいずれか一項に記載の方法。
【請求項25】
1つまたは複数のプロセッサによって実施される方法であって、
所与のユーザから、かつ前記所与のユーザに関連するクライアントデバイスを介して、支援型電話通話を開始するためのユーザ入力を受信するステップと、
前記支援型電話通話中に前記所与のユーザに代わって関与すべきエンティティを前記ユーザ入力に基づいて識別するステップと、
前記識別されたエンティティに関連する対話式音声応答(IVR)ツリーを識別するステップであって、前記IVRツリーが複数の候補状態を含む、ステップと、
前記IVRツリーのターゲット状態としての前記複数の候補状態の利用可能性を、前記クライアントデバイスまたは前記クライアントデバイスに関連する前記所与のユーザに関連するコンテキスト情報に基づいて決定するステップと、
利用可能な前記複数の候補状態の中から前記IVRツリーの前記ターゲット状態を前記ユーザ入力または追加のユーザ入力に基づいて決定するステップと、
前記IVRツリーを前記ターゲット状態へナビゲートするために、前記支援型電話通話の実行を開始するステップであって、前記支援型電話通話の実行が、前記支援型電話通話を前記IVRツリーの前記ターゲット状態へ自動的にナビゲートするステップを備える、ステップと
を備える方法。
所与のユーザから、かつ前記所与のユーザに関連するクライアントデバイスを介して、支援型電話通話を開始するためのユーザ入力を受信するステップと、
前記支援型電話通話中に前記所与のユーザに代わって関与すべきエンティティを前記ユーザ入力に基づいて識別するステップと、
前記識別されたエンティティに関連する対話式音声応答(IVR)ツリーを識別するステップであって、前記IVRツリーが複数の候補状態を含む、ステップと、
前記IVRツリーのターゲット状態としての前記複数の候補状態の利用可能性を、前記クライアントデバイスまたは前記クライアントデバイスに関連する前記所与のユーザに関連するコンテキスト情報に基づいて決定するステップと、
利用可能な前記複数の候補状態の中から前記IVRツリーの前記ターゲット状態を前記ユーザ入力または追加のユーザ入力に基づいて決定するステップと、
前記IVRツリーを前記ターゲット状態へナビゲートするために、前記支援型電話通話の実行を開始するステップであって、前記支援型電話通話の実行が、前記支援型電話通話を前記IVRツリーの前記ターゲット状態へ自動的にナビゲートするステップを備える、ステップと
を備える方法。
【請求項26】
前記コンテキスト情報が前記クライアントデバイスに関連し、前記コンテキスト情報が、前記クライアントデバイスの現在位置、前記クライアントデバイスの前記現在位置における現在時間、または前記クライアントデバイスの前記現在位置における現在日のうちの1つまたは複数を備える、請求項25に記載の方法。
【請求項27】
前記複数の異種IVRツリーの中から選択される前記所与のIVRツリーが、前記クライアントデバイスの前記現在位置、または前記クライアントデバイスの前記現在位置における前記現在時間のうちの1つまたは複数に基づく、請求項26に記載の方法。
【請求項28】
前記コンテキスト情報が、前記クライアントデバイスに関連する前記所与のユーザに関連し、前記コンテキスト情報が、前記クライアントデバイスにおいて作成されるかもしくは前記クライアントデバイスにおいて受信される電子通信、前記所与のユーザのユーザアカウントに関連するユーザアカウント情報、または前記所与のユーザに関連する金銭的情報のうちの1つまたは複数を備える、請求項25から27のいずれか一項に記載の方法。
【請求項29】
前記複数の異種IVRツリーの中から選択される前記所与のIVRツリーが、前記クライアントデバイスにおいて作成されるかもしくは前記クライアントデバイスにおいて受信される電子通信、前記所与のユーザのユーザアカウントに関連するユーザアカウント情報、または前記所与のユーザに関連する金銭的情報のうちの1つまたは複数に基づく、請求項25から28のいずれか一項に記載の方法。
【請求項30】
少なくとも1つのプロセッサと、
実行されたとき、請求項1から29のいずれか一項に記載の方法を前記少なくとも1つのプロセッサに実行させる命令を記憶するメモリと
を備える少なくとも1つのコンピューティングデバイス。
実行されたとき、請求項1から29のいずれか一項に記載の方法を前記少なくとも1つのプロセッサに実行させる命令を記憶するメモリと
を備える少なくとも1つのコンピューティングデバイス。
【請求項31】
実行されたとき、請求項1から29のいずれか一項に記載の方法を少なくとも1つのプロセッサに実行させる命令を記憶する、コンピュータ可読記憶媒体における。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、人間のユーザに代わる対話式音声応答（ＩＶＲ）ツリーの自動ナビゲーションに関する。
【背景技術】
【0002】
自動アシスタントは、スマートフォン、タブレットコンピュータ、ウェアラブルデバイス、自動車システム、スタンドアロンパーソナルアシスタントデバイスなどの、様々なコンピューティングデバイスを介してユーザによって対話され得る。自動アシスタントは、(たとえば、発話、タッチ、および/またはタイプ式)入力をユーザから受信し、応答性の(たとえば、視覚的な、かつ/または可聴式の)出力を用いて応答する。
【0003】
ユーザは、ユーザに代わって自動アシスタントにアクションを実行させるために自動アシスタントと対話することができる。一例として、自動アシスタントは、対話式音声応答(IVR:interactive voice response)システムをナビゲートすることができ、所与のアクションを実行するためにユーザに代わって電話通話をかけることができ、アクションを実行すべき追加のユーザとの話し合いに関与することができる。たとえば、ユーザは、自動アシスタントが、電話を介して、かつユーザに代わって、レストラン予約を行うことを要求する、ユーザ入力を提供することができる。自動アシスタントは、特定のレストランとの電話通話を開始することができ、予約を行うために、特定のレストランに関連するIVRシステムをナビゲートすることができ、かつ/または予約を行うために、特定のレストランに関連する追加の人間に予約情報を提供することができる。自動アシスタントは、次いで、特定のレストランに関連する人間がいつ電話通話のアクティブな参加者であるのかをユーザに通知することができ、電話通話中にユーザに代わってレストラン予約が首尾よく行われたかどうかをユーザに通知することができ、かつ/またはユーザを電話通話に加入させることができる。
【発明の概要】
【課題を解決するための手段】
【0004】
本明細書で開示する実装形態は、エンティティと、かつ所与のユーザに代わって、支援型電話通話を実行するために自動アシスタントを使用して、エンティティに関連する対話式音声応答(IVR)システムのIVRツリーをナビゲートすることを対象とする。エンティティに関連するIVRシステムのIVRツリーは、所与のユーザのクライアントデバイスにおいてアクセス可能なデータベースの中に記憶され得る。IVRツリーをナビゲートするために支援型電話通話を実行することは、IVRツリーをIVRツリーのターゲット状態へ自動的にナビゲートすることを含むことができる。IVRツリーのターゲット状態は、所与のユーザのクライアントデバイスにおいて検出されたユーザ入力に基づいて複数の中から決定され得る。自動アシスタントは、合成音声のインスタンスによってIVRツリーをIVRツリーのターゲット状態へ自動的にナビゲートすること、および支援型電話通話の一部としてレンダリングされることが可能であり、支援型電話通話は、合成音声または人間音声を支援型電話に注入することを含むことができ、その結果、合成音声または人間音声は、IVRシステム(必ずしもそうではないが、所与のユーザ)に可聴的に知覚可能であり、かつ/またはエミュレートされたボタン押下のインスタンスが、支援型電話通話の一部としてレンダリングされ得、支援型電話通話は、エミュレートされたボタン押下をIVRシステムによって知覚できるように通話の中に注入することを含むことができる。合成音声、人間音声、および/またはエミュレートされたボタン押下は、IVRツリーをターゲット状態へナビゲートすることに関連するパラメータに対する対応する値に基づいて決定され得る。パラメータは、エンティティに関連するIVRツリーに関連して記憶され得、パラメータに対する対応する値は、データベースから取り出され得、かつ/またはクライアントデバイスの所与のユーザに要請され得る。いくつかの実装形態では、自動アシスタントは、クライアントデバイスのユーザが支援型電話通話に加入することを要求する通知を、クライアントデバイスにレンダリングさせることができる。いくつかの追加または代替の実装形態では、自動アシスタントは、IVRツリーをターゲット状態へ自動的にナビゲートした後、ユーザに代わって随意にタスクを実行することができる。たとえば、自動アシスタントは、ユーザに代わってタスクを実行すべきエンティティに関連する人間代理人との話し合いに関与することができる。
【0005】
いくつかの実装形態は、支援型電話通話を開始した後、クライアントデバイスにおいて検出されたユーザ対話に基づいてIVRツリーのナビゲーションを修正することを対象とする。自動アシスタントは、IVRツリーのナビゲーションを修正することに関係するプロンプトを生成およびレンダリングすることができ、プロンプトに応答して受信されたユーザ入力に基づいて、IVRツリーのナビゲーションを修正すべきかどうかを決定することができる。それらの実装形態のいくつかのバージョンでは、IVRツリーのナビゲーションを修正することは、ターゲット状態へナビゲートした後に、ターゲット状態を代替のターゲット状態に修正すること、またはナビゲートされるべき追加のターゲット状態を追加することを含んでよい。たとえば、自動アシスタントが、住宅改良エンティティに関連するIVRツリーの塗装部門に関連するターゲット状態へナビゲートしていることを想定する。この例では、所与のユーザが、住宅改良エンティティに関連するウェブページの住宅および造園セクションと対話する場合、ユーザは、追加または代替として、住宅改良エンティティに関連するIVRツリーの住宅および造園部門に関連するターゲット状態へナビゲートするようにプロンプトされてよい。それらの実装形態のいくつかの追加および/または代替のバージョンでは、IVRツリーのナビゲーションを修正することは、IVRツリーをターゲット状態へナビゲートすることに関連するパラメータに対する対応する値を修正することを含んでよい。上記の例を続けると、所与のユーザが、特定の銘柄の塗料に関連するウェブページと対話する場合、ユーザは、塗料銘柄パラメータに対して、その特定の銘柄の塗料に関連する対応する値を利用するようにプロンプトされてよい。これらおよび他の方式では、IVRツリーをナビゲートするための代替のターゲット状態および/または代替の値に関して実行される別の支援型電話通話の再起動を防止することによって、クライアントデバイスリソースおよび/またはネットワークリソースが保存され得る。さらに、支援型電話通話は、より迅速に終結することができ、それによって、支援型電話通話を実行する際にコンピュータおよび/またはネットワークリソースが利用される全体的な持続時間を短くする。その上、所与のユーザが支援型電話通話におけるアクティブな参加者でなく、かつクライアントデバイスが支援型電話通話中にロック状態または低電力状態に置かれてよいという点で、クライアントデバイスのバッテリーリソースも保存されてよい。
【0006】
いくつかの追加または代替の実装形態は、ユーザ入力に基づいて決定された検索クエリに応答して受信される検索結果と一緒に、IVRツリーの候補状態へのIVRディープリンクを提供することを対象とする。それらの実装形態のいくつかのバージョンでは、所与のIVRディープリンクは、検索クエリの発行の前の、クライアントデバイスにおける最近のユーザ対話に基づいて提供され得る。たとえば、クライアントデバイスのユーザが、紛失した手荷物を航空会社エンティティに報告することに関係する検索結果と対話中であり、次いで、航空会社エンティティを求める検索を発行することを想定する。この例では、自動アシスタントは、紛失した手荷物を報告するというターゲット状態に関連するIVRディープリンクを、最近のユーザ対話に基づいて(かつ随意に、同じく提供されることがある他のIVRディープリンクよりも目立つように)、クライアントデバイスの所与のユーザによる選択肢に提供させることができる。それらの実装形態のいくつかの追加および/または代替のバージョンでは、所与のIVRディープリンクには、ベース用語検索クエリが提供され得る。たとえば、クライアントの所与のユーザが、「紛失した手荷物を例示的な航空会社に報告する(report lost baggage to Example Airlines)」という検索クエリを発行することを想定する。この例では、自動アシスタントは、「紛失した手荷物を報告する(report lost baggage)」および「例示的な航空会社(Example Airlines)」を含む検索クエリの用語に基づいて、紛失した手荷物を報告するというターゲット状態に関連するIVRディープリンクを、クライアントデバイスの所与のユーザによる選択肢に提供させることができる。これらおよび他の方式では、ユーザ入力の数量が低減され得、それによって、所与のユーザは「IVRディープリンク」を選択する必要しかないのでクライアントデバイスリソースが保存されてよい。さらに、支援型電話通話は、より迅速に終結することができ、それによって、支援型電話通話を実行する際にコンピュータおよび/またはネットワークリソースが利用される全体的な持続時間を短くする。その上、所与のユーザが支援型電話通話におけるアクティブな参加者でなく、かつクライアントデバイスが支援型電話通話中にロック状態または低電力状態に置かれてよいという点で、クライアントデバイスのバッテリーリソースも保存されてよい。
【0007】
いくつかの追加または代替の実装形態は、所与のユーザのクライアントデバイスに関連するコンテキスト情報および/またはクライアントデバイスの所与のユーザに関連するコンテキスト情報に基づいて候補状態の利用可能性を決定することを対象とする。クライアントデバイスに関連するコンテキスト情報は、たとえば、デバイス状態情報(たとえば、オン状態、オフ状態、ロック状態、スリープ状態)、クライアントデバイスの現在位置に関連する日付および/もしくは時間情報、クライアントデバイスの現在位置、ならびに/またはクライアントデバイスによって生成される他のコンテキスト情報を含むことができる。たとえば、レストランエンティティに関連する候補状態は、レストランエンティティが開店している場合、持ち帰り候補状態および配達候補状態を含んでよい。しかしながら、レストランエンティティに関連する候補状態は、レストランエンティティが閉店している場合、持ち帰り候補状態もしくは配達候補状態を含まなくてよく、またはレストランが開店しているとしてもクライアントデバイスが配達区域を越えて位置する場合、配達候補状態を含まなくてよい。さらに、クライアントデバイスの所与のユーザに関連するコンテキスト情報は、たとえば、クライアントデバイスのユーザによって作成されるかもしくはクライアントデバイスのユーザによって受信される電子通信、クライアントデバイスの所与のユーザの様々なユーザアカウントに関連するユーザアカウント情報、クライアントデバイスの所与のユーザの金銭的情報、クライアントデバイスの所与のユーザの写真アルバム、クライアントデバイスの所与のユーザのソーシャルメディアプロファイル、クライアントデバイスのユーザのユーザ選好、クライアントデバイスの所与のユーザの個人情報、および/またはクライアントデバイスの所与のユーザに関連する他の情報を含むことができる。たとえば、ホテルエンティティに関連する候補状態は、所与のユーザがホテルエンティティにおいてゴールドステータスメンバー以上である場合、コンシェルジェ連絡状態または無料アップグレード要求状態を含んでよい。しかしながら、所与のユーザがホテルエンティティにおいてゴールドステータスメンバー以上でない場合、候補状態はこれらの状態を省略してよい。これらおよび他の方式では、利用不可能であり得る候補状態を所与のユーザが選択することに関して実行される別の支援型電話通話の再起動を防止することによって、クライアントデバイスリソースおよび/またはネットワークリソースが保存され得る。さらに、支援型電話通話は、より迅速に終結することができ、それによって、支援型電話通話を実行する際にコンピュータおよび/またはネットワークリソースが利用される全体的な持続時間を短くする。その上、所与のユーザが支援型電話通話におけるアクティブな参加者でなく、かつクライアントデバイスが支援型電話通話中にロック状態または低電力状態に置かれてよいという点で、クライアントデバイスのバッテリーリソースも保存されてよい。
【0008】
いくつかの追加または代替の実装形態は、エンティティに関連するIVRツリーに対する信頼性レベルに基づいて様々な方式で候補状態をレンダリングすることを対象とする。エンティティに関連して記憶されたIVRツリーに対する信頼性レベルは、エンティティに関連して記憶されたIVRツリーとは異なるIVRツリーをナビゲートすることを含む、エンティティとの支援型電話通話の数量に基づいてよく、ナビゲートされるIVRツリーと記憶されたIVRツリーとの間の差異の程度に随意に基づいてよい。たとえば、エンティティに関連するIVRツリーを自動アシスタントが極めて確信していることを示す第1のしきい値を、IVRツリーに対する信頼性レベルが満たす場合、支援型電話通話を開始する前に、または支援型電話通話を開始すると(たとえば、紛失した手荷物を報告するために「1」、「3」、「5」を押すと)、IVRツリーを候補状態のうちの1つまたは複数へどのように迅速にナビゲートすべきかをクライアントデバイスの所与のユーザに通知するために、自動アシスタントは、クライアントデバイスにおいてボタン押下のシーケンスをレンダリングさせることができ、または支援型電話通話を開始する前に、もしくは支援型電話通話を開始すると(たとえば、紛失した手荷物を報告するために「5」を押すと)、自動アシスタントは、候補状態に関連し、かつ選択されると選択された選択可能なグラフィカル要素に関連するターゲット状態へ自動アシスタントに自動的にナビゲートさせる、(ボタン押下のシーケンスに整合しない場合がある)選択可能なグラフィカル要素を、クライアントデバイスにおいてレンダリングさせることができる。別の例として、IVRツリーに対する信頼性レベルが、第1のしきい値を満たさないが、エンティティに関連するIVRツリーを自動アシスタントが少し確信していることを示す第2のしきい値を満たす場合、自動アシスタントは、クライアントデバイスにおいて、かつ自動アシスタントがその中で少し信頼性であるIVRツリーの一部分が横断されるときのみ、候補状態に関連する(ボタン押下のシーケンスに整合しない場合がある)上述の選択可能なグラフィカル要素をレンダリングさせることができる。また別の例として、IVRツリーに対する信頼性レベルが、第1のしきい値、およびエンティティに関連するIVRツリーを自動アシスタントが確信していないことを示す第2のしきい値を満たさない場合、自動アシスタントは、自動アシスタントがIVRツリーに対するオプションを知覚した後、候補状態に関連する(ボタン押下のシーケンスに整合しない場合がある)上述の選択可能なグラフィカル要素を、クライアントデバイスにおいてレンダリングさせることができる。これらおよび他の方式では、IVRツリーをナビゲートするために自動アシスタントが不正確な情報をユーザに提供した場合には、別の支援型電話通話の再起動を防止することによって、クライアントデバイスリソースおよび/またはネットワークリソースが保存され得る。さらに、支援型電話通話は、より迅速に終結することができ、それによって、候補状態に関連するボタン押下または選択可能な要素のシーケンスを提供することによって、支援型電話通話を実行する際にコンピュータおよび/またはネットワークリソースが利用される全体的な持続時間を短くする。その上、所与のユーザが支援型電話通話におけるアクティブな参加者でなく、かつクライアントデバイスが支援型電話通話中にロック状態または低電力状態に置かれてよいという点で、クライアントデバイスのバッテリーリソースも保存されてよい。
【0009】
上記の説明は、本明細書で開示するいくつかの実装形態の概要として提供されるにすぎない。それらの実装形態および他の実装形態が、本明細書での追加の詳細の中で説明される。
【図面の簡単な説明】
【0010】
【図1】本開示の様々な態様を論証し、かつ本明細書で開示する実装形態が実施され得る、例示的な環境のブロック図である。
【図2】様々な実装形態による例示的な対話式音声応答(IVR)ツリーを示す図である。
【図3】様々な実装形態による、所与のユーザに関連するクライアントデバイスにおけるユーザ対話に基づいて対話式音声応答(IVR)ツリーのナビゲーションを修正する、例示的な方法を示すフローチャートである。
【図4A】様々な実装形態による、所与のユーザに関連するクライアントデバイスにおけるユーザ対話に基づいて対話式音声応答(IVR)ツリーのナビゲーションを修正することに関連する、ユーザインターフェースの様々な非限定的な例を示す図である。
【図4B】様々な実装形態による、所与のユーザに関連するクライアントデバイスにおけるユーザ対話に基づいて対話式音声応答(IVR)ツリーのナビゲーションを修正することに関連する、ユーザインターフェースの様々な非限定的な例を示す図である。
【図4C】様々な実装形態による、所与のユーザに関連するクライアントデバイスにおけるユーザ対話に基づいて対話式音声応答(IVR)ツリーのナビゲーションを修正することに関連する、ユーザインターフェースの様々な非限定的な例を示す図である。
【図5】様々な実装形態による、所与のユーザに関連するクライアントデバイスにおける検索インターフェースから対話式音声応答(IVR)ツリーをナビゲートする、例示的な方法を示すフローチャートである。
【図6A】様々な実装形態による、所与のユーザに関連するクライアントデバイスにおける検索インターフェースから対話式音声応答(IVR)ツリーをナビゲートすることに関連する、ユーザインターフェースの様々な非限定的な例を示す図である。
【図6B】様々な実装形態による、所与のユーザに関連するクライアントデバイスにおける検索インターフェースから対話式音声応答(IVR)ツリーをナビゲートすることに関連する、ユーザインターフェースの様々な非限定的な例を示す図である。
【図6C】様々な実装形態による、所与のユーザに関連するクライアントデバイスにおける検索インターフェースから対話式音声応答(IVR)ツリーをナビゲートすることに関連する、ユーザインターフェースの様々な非限定的な例を示す図である。
【図6D】様々な実装形態による、所与のユーザに関連するクライアントデバイスにおける検索インターフェースから対話式音声応答(IVR)ツリーをナビゲートすることに関連する、ユーザインターフェースの様々な非限定的な例を示す図である。
【図6E】様々な実装形態による、所与のユーザに関連するクライアントデバイスにおける検索インターフェースから対話式音声応答(IVR)ツリーをナビゲートすることに関連する、ユーザインターフェースの様々な非限定的な例を示す図である。
【図7】様々な実装形態による、動的な対話式音声応答(IVR)ツリーをナビゲートする例示的な方法を示すフローチャートである。
【図8A】様々な実装形態による、動的な対話式音声応答(IVR)ツリーをナビゲートすることに関連するユーザインターフェースの様々な非限定的な例を示す図である。
【図8B】様々な実装形態による、動的な対話式音声応答(IVR)ツリーをナビゲートすることに関連するユーザインターフェースの様々な非限定的な例を示す図である。
【図8C】様々な実装形態による、動的な対話式音声応答(IVR)ツリーをナビゲートすることに関連するユーザインターフェースの様々な非限定的な例を示す図である。
【図8D】様々な実装形態による、動的な対話式音声応答(IVR)ツリーをナビゲートすることに関連するユーザインターフェースの様々な非限定的な例を示す図である。
【図9】様々な実装形態によるコンピューティングデバイスの例示的なアーキテクチャを示す図である。
【発明を実施するための形態】
【0011】
次に図1を参照すると、本開示の様々な態様を論証し、かつ本明細書で開示する実装形態が実施され得る、例示的な環境のブロック図が示される。クライアントデバイス110が図1に示され、様々な実装形態では、ユーザ入力エンジン111、デバイス状態エンジン112、レンダリングエンジン113、検索エンジン114、音声認識エンジン120A1、自然言語理解(「NLU:natural language understanding」)エンジン130A1、および音声合成エンジン140A1を含む。
【0012】
ユーザ入力エンジン111は、クライアントデバイス110において様々なタイプのユーザ入力を検出することができる。クライアントデバイス110において検出されるユーザ入力は、クライアントデバイス110のマイクロフォンを介して検出される発話入力および/もしくは支援型電話通話中にエンティティに関連する追加のユーザの追加のクライアントデバイスからクライアントデバイス110へ送信される追加の発話入力、クライアントデバイス110のユーザインターフェース入力デバイス(たとえば、タッチスクリーン)を介して検出されるタッチ入力、ならびに/またはクライアントデバイス110のユーザインターフェース入力デバイスを介して(たとえば、タッチスクリーン上の仮想キーボードを介して)検出されるタイプ式入力を含むことができる。エンティティに関連する追加のユーザは、たとえば、追加のクライアントデバイスに関連する追加の人間の参加者、追加のユーザの追加のクライアントデバイスに関連する追加の自動アシスタント、および/または他の追加のユーザであり得る。
【0013】
本明細書で説明する支援型電話通話は、様々な音声通信プロトコル(たとえば、ボイスオーバーインターネットプロトコル(VoIP)、公衆交換電話網(PSTN)、および/または他の電話通信プロトコルを使用して実行され得る。本明細書で説明するように、合成音声は、合成音声を通話の中に注入することを含むことができる支援型電話通話の一部としてレンダリングされ得、その結果、支援型電話通話の参加者のうちの少なくとも1人によって知覚できる。同じく本明細書で説明するように、エミュレートされたボタン押下は、エミュレートされたボタン押下を通話の中に注入することを含むことができる支援型電話通話の一部としてレンダリングされ得、その結果、支援型電話通話の参加者のうちの少なくとも1人によって知覚できる。合成音声は、通話の端点のうちの1つであるクライアントデバイス110によって生成および/もしくは注入され得、かつ/またはクライアントデバイス100と通信しており同じく支援型電話通話に接続されるサーバによって生成および/もしくは注入され得る。同じく本明細書で説明するように、可聴式出力を通話の中に注入することを含まない支援型電話通話の外側で可聴式出力もレンダリングされ得るが、可聴式出力は、支援型電話通話に接続されたクライアントデバイス110のマイクロフォンによって検出され得、その結果、通話上で知覚できる。いくつかの実装形態では、支援型電話通話の外側でレンダリングされる可聴式出力を支援型電話通話の中で知覚することを軽減するために、支援型電話通話は随意にミュートされ得、かつ/またはフィルタ処理が利用され得る。
【0014】
様々な実装形態では、(図1の中の破線によって概略的に示される)自動アシスタント115は、支援型電話通話システム160を使用してネットワーク190(たとえば、Wi-Fi、Bluetooth、近距離場通信、ローカルエリアネットワーク、ワイドエリアネットワーク、および/または他のネットワーク)を介して、クライアントデバイス110において支援型電話通話を実行することができる。支援型電話通話システム160は、様々な実装形態では、音声認識エンジン120A2、NLUエンジン130A2、音声合成エンジン140A2、および支援型電話通話エンジン150を含む。いくつかの実装形態では、自動アシスタント115は、追加のユーザとの支援型電話通話中に、エンティティに関連するIVRシステムの対話式音声応答(IVR)ツリーをナビゲートするために、かつクライアントデバイス110のユーザに代わって、支援型電話通話システム160を利用することができる。いくつかの追加または代替の実装形態では、自動アシスタント115は、追加のユーザとの支援型電話通話中にクライアントデバイス110のユーザに代わってタスクを実行するために、支援型電話通話システム160を利用することができる。いくつかの追加または代替の実装形態では、自動アシスタント115は、非対話型システム(たとえば、保留システム、音声メールシステム)をナビゲートし、かつ/またはIVRシステムが誤動作しているかどうか、もしくはアシスタント電話通話中に何も起こっていないかどうかを認識する(かつ随意に、支援型電話通話を終了しユーザに通知する)ために、支援型電話通話システム160を利用することができる。
【0015】
その上、いくつかの実装形態では、IVRツリーをナビゲートした後、かつクライアントデバイス110のユーザに代わって任意のタスクを実行する前、自動アシスタント115は、自動アシスタント115との話し合いに関与するための承諾を追加のユーザから取得することができる。たとえば、自動アシスタント115は、人間の参加者の音声に対応するオーディオデータを処理するために人間の参加者と接続すると、承諾を取得することができる。自動アシスタント115が追加のユーザから承諾を取得する場合、自動アシスタント115は、(たとえば、検証エンジン155に関して以下で説明するように)IVRツリーのターゲット状態に達していることを検証することができ、かつ/または(たとえば、タスクエンジン157に関して以下で説明するように)ユーザに代わってタスクを実行することができる。しかしながら、自動アシスタント115が追加のユーザから承諾を取得しない場合、自動アシスタント115は、ユーザが、支援型電話通話を引き継ぐこと、および/または支援型電話通話を終了しクライアントデバイス110のユーザへの通知を(たとえば、レンダリングエンジン113を使用して)レンダリングすることを必要とすることを示す、クライアントデバイス110のユーザへの通知を、(たとえば、レンダリングエンジン113を使用して)クライアントデバイス110にレンダリングさせることができる。
【0016】
以下で詳細に説明するように、自動アシスタント115は、自動アシスタント115を使用して電話通話を開始するために、クライアントデバイス110のユーザからのユーザ入力の検出に応答して、支援型電話通話システム160を使用して支援型電話通話を実行することができる。いくつかの実装形態では、自動アシスタント115は、クライアントデバイス110において受信されるユーザ入力に基づいて、クライアントデバイス110のユーザに代わって、かつ支援型電話通話中、関与すべきエンティティに関連するIVRツリーのナビゲーションのために、複数の候補状態の中からターゲット状態を決定することができる。それらの実装形態のいくつかのバージョンでは、自動アシスタント115は、支援型電話通話の開始の前に、または支援型電話通話が開始されると、ターゲット状態の選択肢を受信することができる。それらの実装形態のいくつかの追加または代替のバージョンでは、自動アシスタント115は、支援型電話通話の開始の前に、または支援型電話通話が開始されると、ターゲット状態をもたらす選択肢のシーケンスを受信することができる。自動アシスタント115は、ターゲット状態に到着するまでIVRツリーをナビゲートすることができ、自動アシスタント115がターゲット状態に到着しているという通知を、(たとえば、レンダリングエンジン113を使用して)クライアントデバイス110においてレンダリングさせることができる。様々な実装形態では、自動アシスタント115は、追加として、ターゲット状態に到着するとユーザに代わってタスクを実行することができ、タスクの実行の結果を含む通知を、(たとえば、レンダリングエンジン113を使用して)クライアントデバイス110においてレンダリングさせることができる。
【0017】
図1に示すように、支援型電話通話システム160は、(たとえば、サーバおよび/または他のリモートクライアントデバイスを介して)リモートで、かつクライアントデバイス110と通信して実施され得る。ネットワーク190を介してリモートで、かつクライアントデバイス110と通信して実施されるものとして、支援型電話通話システム160が図1に示されるが、そのことが例のためであり限定的であることを意図しないことを理解されたい。たとえば、様々な実装形態では、支援型電話通話システム160は、クライアントデバイス110上でローカルに実施され得る。別の例として、様々な実装形態では、支援型電話通話システム160は、クライアントデバイス110へのいかなる接続も伴わずにアシスタント電話通話システム160においてリモートで実施され得(たとえば、クラウドベースの支援型電話通話)、クライアントデバイス110は随意に、オフ状態にあってよく、またはいかなるネットワークにも接続されなくてよい(たとえば、デバイス状態エンジン112を使用して決定される)。その上、クライアントデバイス110上でのローカルと、支援型電話通話システム160におけるリモートの両方で実施されるものとして、自動アシスタント115が図1に示されるが、そのことがまた、例のためであり限定的であることを意図しないことを理解されたい。たとえば、様々な実装形態では、自動アシスタント115は、クライアントデバイス110上でローカルに実施され得るが、他の実装形態では、自動アシスタント115は、クライアントデバイス110上でローカルに実施され得るとともに(たとえば、自動アシスタント115の論理インスタンスを形成する)別個のクラウドベースの自動アシスタントと対話することができる。
【0018】
ユーザ入力エンジン111がクライアントデバイス110のマイクロフォンを介してユーザの発話入力を検出し、かつ/または(たとえば、支援型電話通話中に)追加のクライアントデバイスからクライアントデバイス110へ送信される、追加のユーザからの追加の発話入力をキャプチャするオーディオデータを受信する実装形態では、クライアントデバイス110の音声認識エンジン120A1が、発話入力をキャプチャしかつ/または追加の発話入力をキャプチャするオーディオデータを、音声認識モデル120Aを使用して処理することができる。音声認識エンジン120A1は、オーディオデータの処理に基づいて、発話入力および/または追加の発話入力に対応する認識されたテキストを生成することができる。さらに、クライアントデバイス110のNLUエンジン130A1は、音声認識エンジン120A1によって生成される認識されたテキストをNLUモデル130Aを使用して処理して、発話入力および/または追加の発話入力の中に含まれる意図を決定することができる。たとえば、クライアントデバイス110が「紛失した手荷物を報告するために仮想航空会社に電話をかける(call Hypothetical Airline to report lost luggage)」という発話入力をユーザから検出する場合、クライアントデバイス110は、発話入力をキャプチャするオーディオデータを音声認識モデル120Aを使用して処理して、「紛失した手荷物を報告するために仮想航空会社に電話をかける」という発話入力に対応する認識されたテキストを生成することができ、認識されたテキストをNLUモデル130Aを使用して処理して、少なくとも、通話を開始するという第1の意図、および紛失した手荷物を報告するという第2の意図を決定することができる。別の例として、クライアントデバイス110が「あなたがなぜ電話をかけているのかを我々に手短に話してください(tell us briefly why you are calling)」という追加の発話入力を検出する場合、クライアントデバイス110は、追加の発話入力をキャプチャするオーディオデータを音声認識モデル120Aを使用して処理して、「あなたがなぜ電話をかけているのかを我々に手短に話してください」という追加の発話入力に対応する認識されたテキストを生成することができ、認識されたテキストをNLUモデル130Aを使用して処理して、なぜ支援型電話通話が開始されたのか(たとえば、紛失した手荷物を報告するため)に関連する情報を求める要求を含む自然言語入力を要求するという意図を決定することができる。それらの実装形態のいくつかのバージョンでは、クライアントデバイス110は、オーディオデータ、認識されたテキスト、および/または意図を、支援型電話通話システム160へ送信することができる。
【0019】
他の実装形態では、ユーザ入力エンジン111が、クライアントデバイス110のマイクロフォンを介してユーザの発話入力を検出し、かつ/または(たとえば、支援型電話通話中に、かつ/または進行中の通話中に)追加のクライアントデバイスからクライアントデバイス110へ送信される、追加のユーザからの追加の発話入力をキャプチャするオーディオデータを受信するとき、自動アシスタント115は、発話入力および/または追加の発話入力をキャプチャするオーディオデータを支援型電話通話システム160へクライアントデバイス110に送信させることができる。支援型電話通話システム160の音声認識エンジン120A2および/またはNLUエンジン130A2は、クライアントデバイス110の音声認識エンジン120A1および/またはNLUエンジン130A1に関して上記で説明したのと同様の方式で、発話入力をキャプチャするオーディオデータおよび/または追加の口頭発話をキャプチャするオーディオデータを処理することができる。いくつかの追加および/または代替の実装形態では、クライアントデバイス110の音声認識エンジン120A1および/またはNLUエンジン130A1は、分散的な方法で、支援型電話通話システム160の音声認識エンジン120A2および/またはNLUエンジン130A2と連携して使用され得る。その上、音声認識モデル120Aおよび/またはNLUモデル130Aは、クライアントデバイス110上でローカルに、かつ/またはネットワーク190を介してクライアントデバイス110および/もしくは支援型電話通話システム160と通信しているサーバにおいてリモートで記憶され得る。
【0020】
様々な実装形態では、音声認識モデル120Aは、音声認識エンジン120A1および/または120A2が、モデルを使用して発話入力に対応する認識されたテキストを直接生成できるような、エンドツーエンド音声認識モデルである。たとえば、音声認識モデル120Aは、認識されたテキストを文字ごとに(または、他のトークンごとに)生成するために使用されるエンドツーエンドモデルであり得る。認識されたテキストを文字ごとに生成するために使用される、そのようなエンドツーエンドモデルの非限定的な一例は、再帰ニューラルネットワークトランスジューサ(RNN-T:recurrent neural network transducer)モデルである。RNN-Tモデルは、注意メカニズム(attention mechanism)を採用しないシーケンスツーシーケンスモデルの形式である。他の実装形態では、音声認識モデル120Aは、予測される音素(および/または、他の表現)を音声認識エンジン120A1および/または120A2が代わりに生成できるようなエンドツーエンド音声認識モデルでない。たとえば、予測される音素(および/または、他の表現)は、そのとき、予測される音素に適合する認識されたテキストを決定するために音声認識エンジン120A1および/または120A2によって利用されてよい。そうする際に、音声認識エンジン120A1および/または120A2は、復号グラフ、辞書、および/または他のリソースを随意に採用することができる。
【0021】
ユーザ入力エンジン111がクライアントデバイス110のユーザインターフェース入力デバイスを介してタッチ入力および/またはタイプ式入力を検出する実装形態では、自動アシスタント115は、タッチ入力の表示および/または表示タイプ式入力を、クライアントデバイス110から支援型電話通話システム160へ送信させることができる。それらの実装形態のいくつかのバージョンでは、タッチ入力の表示および/または表示タイプ式入力は、タッチ入力の隠されたテキストもしくは表現および/またはタイプ式入力のテキストを含むことができ、隠されたテキスト音声認識モデル120Aはエンドツーエンド音声認識モデルであり、隠されたテキストおよび/またはテキストに対する意図を決定するためにNLUモデル130Aを使用して処理され得る。
【0022】
本明細書で説明するように、支援型電話通話システム160の支援型電話通話エンジン150は、音声認識エンジン120A1および/もしくは120A2によって生成される認識されたテキスト、クライアントデバイス110において検出されるタッチ入力の隠されたテキストもしくは表現、クライアントデバイス110において検出されるタイプ式入力の隠されたテキスト、ならびに/またはNLUエンジン130A1および/もしくは130A2によって決定される意図をさらに処理することができる。支援型電話通話エンジン150は、様々な実装形態では、エンティティ識別エンジン151、対話式音声応答(IVR)エンジン152、パラメータエンジン153、ユーザ対話エンジン154、検証エンジン155、通知エンジン156、およびタスク実行エンジン157を含む。
【0023】
エンティティ識別エンジン151は、クライアントデバイス110のユーザに代わって関与すべきエンティティを識別することができる。エンティティは、たとえば、人物エンティティ、ビジネスエンティティ、ロケーションエンティティ、および/または他のエンティティであり得る。たとえば、人物エンティティは、友人エンティティ、家族メンバーエンティティ、同僚エンティティ、および/または他の特定のタイプの人物エンティティであり得る。さらに、ビジネスエンティティは、レストランエンティティ、航空会社エンティティ、ホテルエンティティ、サロンエンティティ、診療室エンティティ、および/または他の特定のタイプのビジネスエンティティであり得る。その上、ロケーションエンティティは、学校エンティティ、美術館エンティティ、図書館エンティティ、公園エンティティ、および/または他の特定のタイプのロケーションエンティティであり得る。いくつかの実装形態では、エンティティ識別エンジン151はまた、識別されたエンティティに対する特定のエンティティを決定することができる。たとえば、人物エンティティに対する特定のエンティティは、人物の名前(たとえば、Jane Doe、John Doeなど)であり得、ビジネスエンティティに対する特定のエンティティは、ビジネスの名称(たとえば、仮想航空会社、例示的な航空会社など)であり得、ロケーションエンティティに対する特定のエンティティは、ロケーションの名称(たとえば、仮想大学、例示的な国立公園など)であり得る。本明細書で説明するエンティティは様々なレベルの粒度によって規定され得るが、簡潔のためにそれらは本明細書ではまとめて「エンティティ」と呼ばれる。
【0024】
いくつかの実装形態では、エンティティ識別エンジン151は、自動アシスタント115を使用して支援型電話通話を開始する前に、クライアントデバイス110とのユーザ対話に基づいて、クライアントデバイス110のユーザに代わって関与すべきエンティティを識別することができる。それらの実装形態のいくつかのバージョンでは、エンティティは、支援型電話通話を開始するためのユーザ入力の受信に応答して識別され得る。たとえば、クライアントデバイス110のユーザが、(たとえば、連絡先アプリケーションの中の連絡先に関連し、ブラウザアプリケーションの中の検索結果に関連し、かつ/または他のソフトウェアアプリケーションの中に含まれる他の通話可能エンティティに関連する)ソフトウェアアプリケーションの通話インターフェース要素に(たとえば、発話されるかまたはタッチ)入力を導く場合、エンティティ識別エンジン151は、通話インターフェース要素に関連するエンティティを識別することができる。たとえば、ユーザ入力が、ブラウザアプリケーションにおける「仮想航空会社(Hypothetical Airlines)」に関連する通話インターフェース要素を対象とする場合、エンティティ識別エンジン151は、支援型電話通話中にクライアントデバイス110のユーザに代わって関与すべきエンティティとして、「仮想航空会社」(または、より一般には、ビジネスエンティティもしくはレストランエンティティ)を識別することができる。
【0025】
その上、エンティティ識別エンジン151は、エンティティデータベース151Aの中に記憶されている複数のエンティティの中からエンティティを識別することができる。いくつかの実装形態では、エンティティデータベース151Aの中に記憶された複数のエンティティは、エンティティおよび/または特定のタイプのエンティティによってインデックス付けされ得る。たとえば、エンティティ識別エンジン151がエンティティ「仮想航空会社」を識別する場合、「仮想航空会社」は、ビジネスエンティティとしてエンティティデータベース151Aの中でインデックス付けされ得、随意に航空会社エンティティとしてさらにインデックス付けされ得る。識別されたエンティティをエンティティデータベース151Aの中で記憶およびインデックス付けすることによって、エンティティ識別エンジン151は、エンティティを容易に識別し取り出すことができ、それによって、将来の支援型電話通話の中でそれらが遭遇するときに、エンティティを識別するための後続の処理を低減する。その上、様々な実装形態では、各エンティティは、エンティティデータベース151Aの中のタスクに関連することができる。
【0026】
IVRエンジン152は、エンティティ識別エンジン151を介して識別されるエンティティに関連するIVRツリー(および随意に、IVRツリーに関連するオーディオデータ)を識別することができる。いくつかの実装形態では、識別されたエンティティに関連するIVRツリーは、IVRツリーデータベース152Aの中の識別されたエンティティに関連して記憶され得る。たとえば、IVRツリーデータベース152Aの中に記憶されたIVRツリーは、エンティティデータベース151Aの中に記憶された対応するエンティティにマッピングされ得る。いくつかの追加または代替の実装形態では、IVRツリーは、エンティティデータベース151Aの中の対応するエンティティに関連して記憶され得、IVRツリーデータベース152Aは省略されてよい。IVRツリーの各々は、対応する複数の候補状態を含むことができ、自動アシスタント115は、ユーザ入力エンジン111を介して検出されるユーザ入力に基づいて、対応する複数の候補状態の中から所与のIVRツリーのターゲット状態を決定することができる。支援型電話通話中、自動アシスタントは、IVRツリーをターゲット状態へ自動的にナビゲートすることができる。
【0027】
いくつかの実装形態では、また支援型電話通話を開始するためのユーザ入力を受信する前に、自動アシスタント115(および/または、自動アシスタントの追加のインスタンス)は、エンティティデータベース151Aの中に記憶された複数のエンティティとの自動電話通話を開始してよい。これらの自動電話通話中、自動アシスタント115(および/または、自動アシスタントの追加のインスタンス)は、複数のエンティティの各々に関連する対応するIVRツリーを区分けするように、エンティティに関連するIVRシステムをナビゲートすることができ、対応するIVRツリーのマッピングは、IVRツリーデータベース152Aの中に記憶され得る。それらの実装形態のいくつかのバージョンでは、自動アシスタント115(および/または、自動アシスタントの追加のインスタンス)は、所与のエンティティに関連する所与のIVRツリーの変形態をマッピングするために、複数のエンティティのうちの所与のエンティティへの複数の自動電話通話を開始してよい。たとえば、自動アシスタント115は、レストランエンティティが開店しているとき、レストランエンティティとの第1の自動電話通話を開始してよく、レストランが閉店しているとき、レストランエンティティとの第2の自動電話通話を開始してよい。言い換えれば、IVRエンジン152は、所与のIVRツリーが動的であるかどうかを決定するために、異なるコンテキスト(たとえば、所与のクライアントデバイスに関連するコンテキスト、またはユーザに関連するコンテキスト)において、自動アシスタント115に、レストランエンティティに関連する所与のIVRツリーをマッピングさせることができる。その結果、IVRツリー152が、エンティティに関連するIVRツリーを識別するとき、クライアントデバイス110および/またはクライアントデバイス110のユーザの現在のコンテキストに整合するIVRツリーが識別され得る(たとえば、図7および図8A～図8Dに関して説明するように)。いくつかの追加または代替の実装形態では、また支援型電話通話を開始するためのユーザ入力を受信する前に、エンティティは、IVRツリーの表現を提供することができ、IVRツリーは、IVRツリーデータベース152Aの中に記憶され得る。
【0028】
様々な実装形態では、自動アシスタント115は、支援型電話通話を開始するためのユーザ入力に応答して開始された支援型電話通話に基づいて経時的にIVRツリーの変化を、かつ随意に変化の程度を追跡することができる。これらの変化は、記憶されたIVRツリーと自動アシスタント115によって現在ナビゲートされているIVRツリーとの間の状態の差異、ならびに/またはIVRツリーに関連する記憶されたオーディオデータ、および自動アシスタント115によって現在ナビゲートされているIVRツリーに関連するオーディオデータに基づいて識別され得る。たとえば、所与のエンティティに関連し、かつ支援型電話通話中に横断される、IVRツリーが、IVRツリーデータベース152Aの中に記憶されたIVRツリーとは異なることを、自動アシスタント115が決定する場合(たとえば、現在ナビゲートされているIVRツリーは、新たな導入メッセージ、異なる内部ノードまたは先頭ノードなどを含む)、自動アシスタント115は、IVRツリーデータベース152Aの中に所与のエンティティに関連してすでに記憶されたIVRツリーと一緒に、現在ナビゲートされているIVRツリーの異なる状態を記憶することができる。さらに、新たな導入メッセージの包含は、IVRツリーが、他の下流側変化を含んでよく、(可能な場合)直ちにIVRツリーをナビゲートしようとするのではなくそれらの変化を求めて監視するという、自動アシスタント115への信号として利用され得る。その結果、自動アシスタント115は、してよい。別の例として、IVRのナビゲーション中に受信されたオーディオデータが、IVRツリーに関連して記憶されたオーディオデータとは異なることを、(たとえば、受信されたオーディオデータと記憶されたオーディオデータとの音響特徴を比較すること、および/または受信されたオーディオデータに対応する認識されたテキストと記憶されたオーディオデータとを比較することに基づいて)自動アシスタント115が決定する場合、自動アシスタント115は、IVRツリーデータベース152Aの中に所与のエンティティに関連してすでに記憶されたIVRツリーと一緒に、現在ナビゲートされているIVRツリーの異なるオーディオデータを記憶することができる。記憶されたIVRツリーとナビゲートされるIVRツリーとの間の差異が、所与のエンティティとのしきい値数量の支援型電話通話にわたって持続する場合、所与のエンティティに関連するIVRツリーを異なるIVRツリーが置き換えてよい。それらの実装形態のいくつかのバージョンでは、異なるIVRツリーは、(たとえば、クライアントデバイス110および/またはクライアントデバイス110のユーザに関連するコンテキスト情報に基づいて決定される)同じコンテキストの中で遭遇する場合、IVRツリーを置き換えることに対してのみ考慮されてよい。それらの実装形態のいくつかのバージョンでは、所与のエンティティに関連するIVRツリーに関連する信頼性レベルは、支援型電話通話中に横断されるIVRツリーが、IVRツリーデータベース152Aの中にIVRツリーに関連して記憶されたIVRツリーにどのくらい頻繁に整合するのかに基づいてよい。それらの実装形態のいくつかのさらなるバージョンでは、また図6B～図6Eに関して説明するように、自動アシスタント115は、信頼性レベル、および信頼性レベルが1つまたは複数のしきい値を満たすかどうかに基づいて、異なる方式で複数の候補状態をレンダリングすることができる。
【0029】
いくつかの実装形態では、パラメータエンジン153は、エンティティ識別エンジン151を介して識別されるエンティティに基づいて、IVRエンジン152を介して識別されるIVRツリーをナビゲートすることに関連するパラメータを識別することができる。IVRツリーに対するパラメータは、IVRエンジン152を介して識別されるIVRツリーに関連して記憶され得、IVRツリーをターゲット状態へナビゲートするためのナビゲーション経路に基づいて変化することができる。自動アシスタント115は、パラメータに対する対応する値を使用してIVRツリーをナビゲートすることができる。いくつかの実装形態では、パラメータに対する対応する値は、ユーザプロファイルデータベース153Aの中に記憶され得、自動アシスタント115は、IVRツリーをナビゲートすることに関連するパラメータを識別に応答して、かついかなる値もクライアントデバイス110のユーザに要請することなく、パラメータに対する対応する値をユーザプロファイルデータベース153Aから取り出すことができる。それらの実装形態のいくつかの追加または代替のバージョンでは、自動アシスタント115は、IVRツリーをナビゲートすることに関連するパラメータの識別に応答して、かつ対応する値がユーザプロファイルデータベース153Aから取り出され得ないという決定に応答して、パラメータに対する対応する値をユーザに要請させることができる。たとえば、自動アシスタント115は、クライアントデバイスのユーザとの話し合いを開始することができ、ユーザプロファイルデータベース153Aからの情報を使用して解決され得ない任意のパラメータに対する対応する値を要請するために、レンダリングエンジン113を介して、クライアントデバイス110において1つまたは複数のプロンプトをレンダリングさせることができる。
【0030】
ユーザプロファイルデータベース153Aは、たとえば、クライアントデバイス110のユーザに関連する電子通信(たとえば、電子メール、テキストメッセージ、音声メッセージなど)、クライアントデバイス110のユーザの様々なユーザアカウントに関連するユーザアカウント情報(たとえば、アカウントステータス情報、アカウント番号、アカウントユーザ名、アカウントパスワードなど)、クライアントデバイス110上にインストールされ、かつ/またはクライアントデバイス110によってアクセス可能な、アプリケーション(たとえば、スマートデバイスアプリケーション、ノートアプリケーション、リマインダアプリケーション、電話アプリケーション、カレンダーアプリケーション、および/または他のソフトウェアアプリケーション)からのアプリケーション情報、クライアントデバイス110のユーザの支払い情報(たとえば、銀行口座番号、クレジットカード番号、支払いアプリケーション情報など)、クライアントデバイス110のユーザの写真アルバム、クライアントデバイス110のユーザのソーシャルメディアプロファイル、クライアントデバイス110のユーザのユーザ選好、クライアントデバイス110のユーザの個人情報(たとえば、氏名、電話番号、物理アドレス、電子メールアドレス、社会保障番号、生年月日など)、および/または他のアクセス制限付き情報を含む様々なソースからの、ユーザについての情報を含むことができる。たとえば、航空会社エンティティに関連するIVRツリーを、フライト予約を取り消すことに関連するターゲット状態へナビゲートするために、パラメータエンジン153は、フライト予約を取り消すためのパラメータを識別することができ、そのパラメータに対する値を決定することができる。たとえば、フライト確認番号パラメータが識別され得、フライト確認番号がフライト確認電子メールから取り出され得、マイレージ会員番号パラメータが識別され得、フライトが取り消されつつある航空会社に関連する、クライアントデバイス110のユーザに対するマイレージ会員番号が、その航空会社に関連するアプリケーションから取り出され得る。対照的に、航空会社エンティティに関連するIVRツリーを、フライト予約を変更することに関連する異なるターゲット状態へナビゲートするために、パラメータエンジン153は、上記のパラメータおよび対応する値をできるが、新たなフライトに対する日付または時間パラメータ、および新たなフライトに対する目的地パラメータを同じく識別してもよく、それらのパラメータに対する対応する値が要請されてよく、クライアントデバイス110のユーザを形成してよい。
【0031】
たとえば、手短に図2を参照すると、例示的なIVRツリー200が示される。図2に示すIVRツリー200は、複数のエッジによって接続される複数のノードを含む。複数のノードは、たとえば、少なくとも1つのルートノード、および少なくとも1つのリーフノードを含むことができる。たとえば、図2に示すように、IVRツリーは、ルートノード211、複数の内部ノード221、222、および223、ならびに複数のリーフノード231、232、233、234、235、および236を含む。リーフノード231、232、233、234、235、および236は、複数の候補状態に対応することができ、リーフノード231、232、233、234、235、および236のうちの所与の1つが、ターゲット状態に対応することができる。特に、複数のノードは、複数の対応するエッジによって接続される。これらのノードおよび/またはエッジは、IVRツリーデータベース152Aの中に(かつ随意に、ノードおよび/またはエッジの各々に関連するオーディオデータと一緒に)IVRツリーとして記憶され得る。対応するエッジの各々は、支援型電話通話中に自動アシスタント115によって生成される入力に基づいて横断され得る。たとえば、対応するエッジは、自動アシスタント115によってボタン押下としてエミュレートされ得る数値インジケータに対応する入力に基づいて(たとえば、図2の中のエッジによって示されるように、「1」を押してルートノード211から内部ノード1 221まで横断し、「2」を押してルートノード211から内部ノード2 222まで横断し、「3」」を押してルートノード211からリーフノード1 231まで横断するなど)、または自由形式自然言語入力に対応する入力に基づいて横断され得る(たとえば、「フライトを予約する(book a flight)」と言ってルートノード211から内部ノード1 221まで横断するなど)。
【0032】
いくつかの実装形態では、自由形式自然言語入力は、IVRツリーのエッジに沿って横断するための、追加のクライアントデバイスにおいてレンダリングされるべき合成音声を含む、自動アシスタント115によって生成される合成音声オーディオデータであり得る。たとえば、自動アシスタントは、上記で説明した数値インジケータの表示、および/またはなぜ支援型電話通話がかけられたのかという短い概要を含む、合成音声オーディオデータを生成することができる。いくつかの追加または代替の実装形態では、自由形式自然言語入力は、クライアントデバイス110のユーザの発話入力をキャプチャし、かつ支援型電話通話を開始する前かつ/または支援型電話通話中に提供される、オーディオデータであり得る。たとえば、クライアントデバイス110のユーザの識別情報を(たとえば、音声識別を使用して)検証するために、ユーザが口頭発話を提供することをIVRツリーが必要とする場合、オーディオデータは、ユーザの発話入力をキャプチャすることができる。
【0033】
様々な実装形態では、自動アシスタント115は、IVRツリー200のナビゲーションを追跡することができる。IVRツリー200のナビゲーションを追跡することによって、自動アシスタント115は、IVRツリー200をナビゲートするために、入力(たとえば、合成音声、エミュレートされたボタン押下、および/またはオーディオデータ)をいつ提供すべきかを決定することができる。たとえば、自動アシスタント115は、ルートノード211において始まる支援型電話通話の開始を追跡することができ、IVRツリー200を、クライアントデバイス110において検出されたユーザ入力に基づいて決定されるターゲット状態へナビゲートするために、内部ノード221、222、および223、ならびに/またはリーフノード231、232、233、234、235、および236までIVRツリー200のエッジに沿った横断を始めることができる。自動アシスタント115が、ターゲット状態に到着すべき異なるノードまでエッジに沿って横断するにつれて、横断されるエッジおよび/またはノードが自動アシスタント115によって追跡され得る。この例では、ルートノード211に関連するメインメニューを提示する前にIVRツリー200が導入メッセージを含む場合、自動アシスタント115は、導入メッセージが新しいことを決定することができ、ルートノード211に関連するメインメニューが提示されるまで(または、任意の他の変化が提示されるまで)、IVRツリーをナビゲートするための任意の入力を保留することができる。別の例として、自動アシスタント115は、IVRシステムがIVRツリーをナビゲートするためのオプションのすべてを提供するまで、IVRツリーをターゲット状態へナビゲートするために提供されるべき任意の入力が提供されない場合があることを決定することができる(たとえば、IVRツリーは任意の時間における入力の提供をサポートしない)。この例では、自動アシスタント115は、IVRツリーをナビゲートするためのオプションのすべてが提示されるまで、IVRツリーをナビゲートするためのいかなる入力も保留してよい。いくつかの実装形態では、自動アシスタント115は、IVRツリー200のナビゲーション中に横断された以前のノードに戻ってよい。
【0034】
非限定的な一例として、IVRツリー200が仮想的なエンティティ、すなわち、例示的な航空会社に関連するIVRツリーに対応することを想定する。この例では、ルートノード211は、例示的な航空会社に関連するIVRシステムのメインメニューに対応してよく、内部ノードは、中間状態221、222、および223に対応してよく、リーフノード231、232、233、234、235、および236は、IVRツリーに対するターゲット状態に対応してよい。リーフノード1 231が「代理人と話す(speak with a representative)」というターゲット状態に関連し、リーフノード2 232が「今度のフライト情報(upcoming flight information)」というターゲット状態に関連し、リーフノード3 233が「紛失した手荷物を報告する」というターゲット状態に関連し、リーフノード4 234が「フライトを予約する」というターゲット状態に関連し、リーフノード5 235が「フライト予約を変更する(change flight reservation)」というターゲット状態に関連し、リーフノード6 236が「フライト予約を取り消す(cancel flight reservation)」というターゲット状態に関連することをさらに想定する。いくつかの実装形態では、支援型電話通話中に自動アシスタント115がIVRツリーをナビゲートする先のターゲット状態は、支援型電話通話を開始する前かつ/または支援型電話通話中にクライアントデバイス110のユーザ入力エンジン111を介して検出されるユーザ入力に基づいて決定され得る。
【0035】
たとえば、紛失した手荷物を報告することをユーザが希望することを示すユーザ入力がクライアントデバイス110において受信されることを想定する。この例では、自動アシスタント115は、「紛失した手荷物を報告する」というターゲット状態に関連するリーフノード3 233へナビゲートすべきと決定することができる。この例では、IVRエンジン152に関して上記で説明したように、IVRツリー200が自動アシスタント115(および/または、追加の自動アシスタント)によって以前にマッピングされたので、自動アシスタント115は、紛失した手荷物を報告するために、ルートノード211から内部ノード1 221まで横断し、かつ内部ノード1 221からリーフノード3 233まで横断すべきと知っている場合がある。ルートノード211からリーフノード3 233までナビゲートする際に、かつ/またはリーフノード3 233に到着すると、自動アシスタント115は、IVRツリー200をナビゲートする間に要求されるパラメータに対する対応する値を、エンティティに関連する追加のクライアントデバイスにおいてレンダリングさせることができる。この例では、自動アシスタント115は、パラメータに対する対応する値が要求されることに応答して、エンティティに関連する追加のクライアントデバイスにおいて、最近のフライトに関連するフライト情報(たとえば、フライト確認番号、出発目的地、到着目的地)に対する対応する値、クライアントデバイス110のユーザの個人情報(たとえば、名前および電話番号)、および/またはパラメータに対する対応する他の値をレンダリングすることができる。リーフノード3 233に到着すると、自動アシスタント115は、ユーザが支援型電話通話に加入することを要求し、かつ/または紛失した手荷物を報告した結果の警報をクライアントデバイス110のユーザに出す、クライアントデバイス110において(たとえば、レンダリングエンジン113を介して)レンダリングされるべき通知を随意に(たとえば、通知エンジン156を介して)生成することができる。
【0036】
別の事例として、紛失した予約を取り消すのをユーザが望むことを示すユーザ入力がクライアントデバイス110において受信されることを想定する。この例では、自動アシスタント115は、「紛失した手荷物を報告する」というターゲット状態に関連するリーフノード6 236へナビゲートすべきと決定することができる。この例では、IVRエンジン152に関して上記で説明したように、IVRツリー200が自動アシスタント115(および/または、追加の自動アシスタント)によって以前にマッピングされたので、自動アシスタント115は、フライト予約を取り消すために、ルートノード211から内部ノード1 221まで横断し、内部ノード1 221から内部ノード3 223まで横断し、かつ内部ノード3 223からリーフノード6 236まで横断すべきと知っている場合がある。ルートノード211からリーフノード6 236までナビゲートする際に、かつ/またはリーフノード6 236に到着すると、自動アシスタント115は、IVRツリー200をナビゲートする間に要求されるパラメータに対する対応する値を、エンティティに関連する追加のクライアントデバイスにおいてレンダリングさせることができる。この例では、自動アシスタント115は、パラメータに対する対応する値が要求されることに応答して、エンティティに関連する追加のクライアントデバイスにおいて、今度のフライトに関連するフライト情報(たとえば、フライト確認番号、出発目的地、到着目的地)に対する対応する値、例示的な航空会社アカウントに関連するアカウント情報(たとえば、マイレージ会員番号)、および/またはパラメータに対する対応する他の値をレンダリングすることができる。リーフノード6 236に到着すると、自動アシスタント115は、ユーザが支援型電話通話に加入することを要求し、かつ/またはフライトを取り消した結果の警報をクライアントデバイス110のユーザに出す、クライアントデバイス110において(たとえば、レンダリングエンジン113を介して)レンダリングされるべき通知を随意に(たとえば、通知エンジン156を介して)生成することができる。
【0037】
図2のIVRツリー200は、特定のノードが、対応するエッジに基づく特定の方式にそれを構成したことを有するものとして示されるが、そのことが例のためであり限定的であることを意図しないことを理解されたく、また仮想的に無限の様々な方法でIVRツリーが構成され得ることを理解されたい。その上、IVRツリー200のいくつかのノードは、(たとえば、図7および図8A～図8Dに関して説明するように)いくつかのコンテキストに基づいてクライアントデバイス110のユーザにとって利用可能であってもなくてもよい。たとえば、所与のIVRツリーがレストランエンティティに関連することを想定する。この例では、レストランエンティティが開店しているとき、持ち帰り注文をすることに関連するターゲット状態が利用可能であってよい。対照的に、レストランエンティティが閉店しているとき、持ち帰り注文をすることに関連するターゲット状態は利用可能でなくてよい。
【0038】
再び図1を参照すると、ユーザ対話エンジン154は、クライアントデバイス110におけるユーザ対話を検出することができる。ユーザ対話は、たとえば、ウェブブラウザもしくはウェブブラウザアプリケーションとの検索対話、ウェブブラウザもしくはウェブブラウザアプリケーションとのブラウジング対話、ウェブブラウザもしくはナビゲーションアプリケーションとのナビゲーション対話、自動アシスタント115とのアシスタント対話、および/または他のユーザ対話を含むことができる。いくつかの実装形態では、ユーザ対話エンジン154は、自動アシスタント115が支援型電話通話の実行を開始した後、クライアントデバイス110における、または(たとえば、ネットワーク190を介して)クライアントデバイス110と通信している追加のクライアントデバイスにおける、クライアントデバイス110のユーザのユーザ対話を検出することができる。それらの実装形態のいくつかのバージョンでは、自動アシスタント115は、検出されたユーザ対話が、支援型電話通話中に、検出されたユーザ対話が、クライアントデバイス110のユーザに代わって関与されるエンティティに関連するかどうかを決定してよい。検出されたユーザ対話がエンティティに関連することを自動アシスタント115が決定する場合、自動アシスタント115は、IVRツリーのナビゲーションが修正されるべきかどうかをクライアントデバイス110のユーザに尋ねる1つまたは複数のプロンプトを(たとえば、通知エンジン156を介して)生成してよい。それらの実装形態のいくつかのさらなるバージョンでは、IVRツリーのナビゲーションを修正することは、異なるターゲット状態へナビゲートすることを含んでよい。たとえば、自動アシスタント115が、IVRツリーを住宅改良エンティティの塗装部門に関連するターゲット状態へナビゲートするために、住宅改良エンティティに関連するIVRツリーをナビゲートするための支援型電話通話を開始し、かつクライアントデバイス110のユーザが、その後、住宅改良エンティティの住宅および庭園部門に関連するウェブページと対話する場合、自動アシスタント115は、追加または代替として、住宅および庭園部門に関連するターゲット状態へナビゲートすべきかどうかをユーザに尋ねる1つまたは複数のプロンプトを生成してよい。それらの実装形態の他のさらなるバージョンでは、IVRツリーのナビゲーションを修正することは、異なるパラメータを用いて同じIVRツリーへナビゲートすることを含んでよい。たとえば、自動アシスタント115が、IVRツリーを住宅改良エンティティの塗装部門に関連するターゲット状態へナビゲートするために、住宅改良エンティティに関連するIVRツリーをナビゲートするための支援型電話通話を開始し、かつクライアントデバイス110のユーザが、その後、特定の塗料製造業者に関連するウェブページと対話する場合、自動アシスタント115は、塗料部門に関連するターゲット状態へナビゲートする際のパラメータに対する対応する値として特定の塗料製造業者を利用すべきかどうかをユーザに尋ねる1つまたは複数のプロンプトを生成してよい。IVRツリーのナビゲーションを修正することは、(たとえば、図3および図4A～図4Cに関して)以下で詳細に説明される。
【0039】
いくつかの追加または代替の実装形態では、ユーザ対話エンジン154は、自動アシスタント115が支援型電話通話の実行を開始する前に、クライアントデバイス110における、または(たとえば、ネットワーク190を介して)クライアントデバイス110と通信している追加のクライアントデバイスにおける、クライアントデバイス110のユーザのユーザ対話を検出することができる。それらの実装形態のいくつかのバージョンでは、自動アシスタント115は、ユーザ対話に関連するエンティティを識別してよく、支援型電話通話が、その後、識別されたエンティティとともに開始される場合、ユーザ対話に基づいてIVRツリーの候補状態をレンダリングさせてよい。たとえば、ユーザが、例示的な航空会社との支援型電話通話を開始する前に、紛失した手荷物をどのように報告するのかを再検索しながら仮想的な航空会社エンティティ、すなわち、例示的な航空会社に関連するウェブページをナビゲートしている場合、自動アシスタント115は、例示的な航空会社に関連するIVRツリーに対して、紛失した手荷物を報告することに関連するターゲット状態に関連する選択可能なグラフィカル要素を(単独で、または他の選択可能な要素よりも目立つように)レンダリングしてよい。言い換えれば、自動アシスタント115は、(たとえば、図5および図6Aに関して説明するように)支援型電話通話を開始する前に、ユーザが、紛失した手荷物をどのように報告するのかを再検索することに基づいて、IVRツリーのターゲット状態への「IVRディープリンク」として、選択可能なグラフィカル要素をレンダリングさせることができる。
【0040】
いくつかの実装形態では、検証エンジン155は、支援型電話通話中に自動アシスタント115によってナビゲートされる状態が実際にターゲット状態であるかどうかを検証することができる。それらの実装形態のいくつかのバージョンでは、エンティティに関連する人間代理人が支援型電話通話に加入すると、自動アシスタント115は、自動アシスタント115によってナビゲートされる状態が実際にターゲット状態であることを検証するために、人間代理人の発話入力をキャプチャする受信オーディオデータを処理することができる。たとえば、自動アシスタント115が、住宅改良エンティティに関連するIVRツリーを、住宅改良エンティティの塗装部門に関連するターゲット状態へナビゲートしていることを想定する。人間代理人が、住宅改良エンティティに関連するIVRシステムから支援型電話通話を引き継ぎ、「塗料部門にお電話いただきありがとうございます。今日はどのようなご用件ですか(Thanks for calling the paint department, how can I help today?)」という発話入力を提供することをさらに想定する。この例では、検証エンジン155は、音声認識エンジン120A1および/または120A2を使用して発話入力をキャプチャするオーディオデータを自動アシスタント115に処理させることができ、発話入力をキャプチャするオーディオデータを処理することに基づいて、発話入力が「塗料部門(paint department)」を含むことを決定することができる。それらの実装形態のいくつかの追加または代替のバージョンでは、IVRツリーをナビゲートするというターゲット状態を検証するために、発話入力は、合成音声を含む合成音声オーディオデータに応答して受信されてよい。上記の例を続けると、人間代理人が、住宅改良エンティティに関連するIVRシステムから支援型電話通話を引き継ぎ、「もしもし(Hello.)」という発話入力を提供することを想定する。この例では、検証エンジン155は、人間代理人に関連する追加のクライアントデバイスにおいて、「もしもし、こちらは塗料部門ですか(Hello, is this the paint department?)」という合成音声を自動アシスタント115にレンダリングさせることができる。検証エンジン155は、音声認識エンジン120A1および/または120A2を使用して、合成音声に反応する発話入力をキャプチャするオーディオデータを自動アシスタント115に処理させることができ、ターゲット状態に達したことを発話入力が検証する(たとえば、「はい(yes)」、「こちらは塗料部門です(this is the paint department)」、またはいくつかの他の肯定)かどうかを決定することができる。
【0041】
様々な実装形態では、IVRをナビゲートする際に到着される状態がターゲット状態に対応しない場合、検証エンジン155は、支援型電話通話がターゲット状態に転送されることを要求する合成音声を、人間代理人に関連する追加のクライアントデバイスにおいて自動アシスタント115にレンダリングさせることができる。上記の例を続けると、自動アシスタント115が(塗料部門ではなく)住宅および庭園部門に関連する状態に到着したことを発話入力が示すことが決定される場合、検証エンジン155は、人間代理人に関連する追加のクライアントデバイスにおいて、「塗料部門に私を転送できますか(Can you transfer me to the paint department?)」という合成音声を自動アシスタント115にレンダリングさせることができ、転送の後に再び状態を検証することができ、クライアントデバイス110のユーザの所望のターゲット状態に対応する。
【0042】
通知エンジン156は、支援型電話通話中に支援型電話通話を中断することなく、識別されたエンティティに関連するIVRツリーをナビゲートすることに基づいて、かつ/または自動アシスタント115によって実行されるタスクに基づいて、かつクライアントデバイス110のユーザに代わって、様々な通知を生成することができる。たとえば、自動アシスタント115は、ターゲット状態に到着すると、クライアントデバイス110のユーザが支援型電話通話に加入することを要求する通知を通知エンジン156に生成させることができる。いくつかの実装形態では、検証エンジン155に関して上記で説明したように、自動アシスタントが実際にターゲット状態に到着していることを検証エンジン155が検証した後にのみ、通知エンジン156は、クライアントデバイス110のユーザが支援型電話通話に加入することを要求する通知を自動アシスタント115に生成させてよい。別の例として、自動アシスタント115が、支援型電話中にパラメータに対する対応する値を解決できない場合、自動アシスタント115は、エンティティに関連するIVRツリーをナビゲートし続けるために必要とされる未解決の任意のパラメータに対する対応する値を要請するための、1つまたは複数のプロンプトを通知エンジン156に生成させることができる。また別の例として、自動アシスタントが、支援型電話通話中にクライアントデバイス110のユーザに代わってタスクを実行する場合、自動アシスタント115は、タスクの実行の結果を含む通知を通知エンジン156に生成させることができる。
【0043】
いくつかの実装形態では、通知エンジン157によって生成されレンダリングエンジン113を介してクライアントデバイス110においてレンダリングされる通知のタイプ、および/または通知をレンダリングすることの1つもしくは複数の特性(たとえば、ボリューム、輝度、サイズ)は、(たとえば、デバイス状態エンジン112を使用して決定される)クライアントデバイス110の状態、および/または進行中の支援型電話通話の状態に基づくことができる。進行中の支援型電話通話の状態は、たとえば、ソフトウェアアプリケーションがクライアントデバイス110のフォアグラウンドで動作していること、ソフトウェアアプリケーションがクライアントデバイス110のバックグラウンドで動作していること、クライアントデバイス110がロック状態にあるかどうか、クライアントデバイス110がスリープ状態にあるかどうか、クライアントデバイス110がオフ状態にあるかどうか、クライアントデバイス110のセンサーによって生成されるセンサーデータ、および/またはクライアントデバイス110に関連する他のデータに基づくことができる。たとえば、支援型電話通話の転写を表示するソフトウェアアプリケーション(たとえば、自動アシスタントアプリケーション、電話アプリケーション、支援型電話通話アプリケーション、および/または他のソフトウェアアプリケーション)がクライアントデバイス110のフォアグラウンドで動作していることを、クライアントデバイス110の状態が示す場合、通知のタイプは、バナー通知、ポップアップ通知、および/または他のタイプの視覚通知であってよい。別の例として、クライアントデバイス110がスリープ状態またはロック状態にあることを、クライアントデバイス110の状態が示す場合、通知のタイプは、スピーカーを介した可聴表示、および/またはスピーカーもしくは電話通話を模倣するクライアントデバイス110の他のハードウェア構成要素を介した振動であってよい。また別の例として、存在センサー、加速度計、および/またはクライアントデバイスの他のセンサーからのセンサーデータが、ユーザが現在クライアントデバイスの近くにおらず、かつ/または現在クライアントデバイスを保持していないことを示す場合、より侵入的な(たとえば、視覚的かつ第1のボリュームレベルにおける可聴式の)通知が提供され得る。一方、そのようなセンサーデータが、ユーザが現在クライアントデバイスの近くにおり、かつ/または現在クライアントデバイスを保持していることを示す場合、さほど侵入的でない(たとえば、視覚的のみの、または視覚的かつ第1のボリュームレベルよりも小さい第2のボリュームレベルにおける可聴式の)通知が提供され得る。また別の例として、話し合いがもう少しで完了することを話し合いの状態が示すとき、より侵入的な通知が提供され得るが、話し合いがもう少しで完了するわけではないことを話し合いの状態が示すとき、さほど侵入的でない通知が提供され得る。
【0044】
その上、ユーザが支援型電話通話に加入することを要求する通知を自動アシスタント115がクライアントデバイス110においてレンダリングさせるが、ユーザがしきい値持続時間(たとえば、15秒、30秒、60秒、および/または他の持続時間)内に支援型電話通話に加入しない実装形態では、自動アシスタントは、支援型電話通話を終了させることができる。それらの実装形態のいくつかのバージョンでは、ユーザが支援型電話通話に加入することを要求する通知がクライアントデバイス110においてレンダリングされると、しきい値持続時間が始まることができる。それらの実装形態のいくつかの追加または代替のバージョンでは、また支援型電話通話を終了する前に、支援型電話通話の状態がクライアントデバイス110の1つまたは複数のデータベース(たとえば、クライアントデバイスのランダムアクセスメモリ)の中に記憶され得る。クライアントデバイス110のユーザが、その後、終了された支援型電話通話に加入するための通知と対話する場合、自動アシスタント115は、支援型電話通話の記憶された状態をロードすることによって、支援型電話通話の実行を再開始することができ、その結果、支援型電話通話は、支援型電話通話の記憶された状態に対応する所与の状態において再開される。このようにして、自動アシスタント115は、自動アシスタント115によってすでにナビゲートされている、IVRツリーの部分をナビゲートする必要がない。
【0045】
様々な実装形態では、また自動アシスタント115が、エンティティに関連するIVRツリーのターゲット状態へナビゲートした後、自動アシスタントは、クライアントデバイス110のユーザに代わってタスクを実行することができる。それらの実装形態のいくつかのバージョンでは、タスクエンジン157は、支援型電話通話を開始するための、クライアントデバイス110において検出されるユーザ入力に基づいて、また自動アシスタント115が支援型電話通話を開始する前にクライアントデバイス110において検出される追加のユーザ入力に基づいて、クライアントデバイス110のユーザに代わって実行されるべきタスクを決定することができる。たとえば、クライアントデバイス110のユーザが「今夜のための予約を行うために例示的なカフェに電話をかける(call Example Cafe to make a reservation for tonight)」という発話入力を提供する場合、タスクエンジン157は、発話入力に基づいてレストラン予約を行うタスクを決定するために、通話を開始することおよびレストラン予約を行うことの(たとえば、NLUモデル130Aを使用して決定される)意図を利用することができる。パラメータエンジン153によって決定される、本明細書で説明するパラメータはまた、タスクエンジン157によって識別されるタスクのためのパラメータを識別することができ、パラメータエンジン153に関して上記で説明した同様の方法で、タスクのためのパラメータに対する対応する値を決定することができる。
【0046】
タスクエンジン157は、自動アシスタント115に、タスクを実行するための支援型電話通話中、識別されたエンティティに関連する人間代理人との話し合いに関与させることができる。たとえば、タスクエンジン157は、合成音声オーディオデータを生成するために、パラメータに対する対応する値に基づくテキストおよび/または音素を音声合成エンジン140A1および/または140A2に提供することができる。合成音声オーディオデータは、追加のクライアントデバイスにおける可聴式レンダリングのために、人間代理人の追加のクライアントデバイスへ送信され得る。たとえば、音声合成エンジン140A1および/または140A2は、人間代理人によって要求されるパラメータに対する値に対応するものと決定される音素のシーケンスを決定することができ、合成音声オーディオデータを生成するために、音声合成モデル140Aを使用して音素のシーケンスを処理することができる。合成音声オーディオデータは、たとえば、オーディオ波形の形式をなすことができる。パラメータに対する値に対応する音素のシーケンスを決定する際に、音声合成エンジン140A1および/または140A2は、クライアントデバイス110においてローカルに記憶された、または(たとえば、ネットワーク190を介して)サーバにおいて記憶された、トークンから音素へのマッピングにアクセスすることができる。タスクエンジン157は、人間代理人によって提供される発話入力をキャプチャする任意のオーディオデータを、音声認識エンジン120A1および/または120A2に処理させることができ、自動アシスタント115は、次いで、音声合成エンジン140A1および/または140A2を使用してさらなる合成音声オーディオデータを生成することができる。
【0047】
本明細書で説明するように、レンダリングエンジン113は、クライアントデバイス110において様々な通知または他の出力をレンダリングすることができる。レンダリングエンジン113は、本明細書で説明する様々な通知を可聴的かつ/または視覚的にレンダリングすることができる。その上、レンダリングエンジン113は、クライアントデバイス110のユーザインターフェース上で話し合いの転写をレンダリングさせることができる。いくつかの実装形態では、転写は、クライアントデバイス110のユーザと自動アシスタント115との間の話し合いに対応することができる。いくつかの追加または代替の実装形態では、転写は、識別されたエンティティに関連するIVRシステムと自動アシスタント115との間の話し合いに対応することができる。また他の実装形態では、転写は、識別されたエンティティに関連する人間代理人と自動アシスタント115との間の話し合いに対応することができる。
【0048】
いくつかの実装形態では、ユーザ入力エンジン111を介してクライアントデバイス110において検出されるユーザ入力は、クライアントデバイス110の検索インターフェースを介して受信される検索クエリであり得る。検索インターフェースは、たとえば、電話もしくは連絡先アプリケーション、ブラウザアプリケーション、自動アシスタントアプリケーション、ウェブベースブラウザ、および/または検索機能を可能にする任意の他のインターフェースの一部として実装され得る。検索エンジン114は、レンダリングエンジン113を介してクライアントデバイス110においてレンダリングされる検索結果を識別し取り出すことができる。それらの実装形態のいくつかのバージョンでは、検索結果は、検索クエリに反応するコンテンツを含むことができ、1つまたは複数の選択可能な要素を随意に含むことができる。1つまたは複数の選択可能な要素は、たとえば、エンティティに関連し、かつ追加のユーザ入力(たとえば、タッチ、タイプ式、および/または発話型)に基づいて選択されると、検索結果の中に含まれるIVRツリーの選択された候補状態に対応するIVRツリーのターゲット状態を自動アシスタント115にナビゲートさせる、IVRツリーの1つまたは複数の候補状態へのディープリンクを含むことができる。たとえば、クライアントデバイス110のユーザが電話アプリケーションの検索インターフェースを介して「住宅改良店舗(home improvement store)」という検索クエリをサブミットする場合、住宅改良店舗に関連するIVRツリーの、候補状態のうちの1つまたは複数に対応する様々な部門に関連する選択可能な要素が、検索クエリに反応する検索結果の中に含められ得る。その上、選択可能な特定の要素(たとえば、「塗料部門」)は、(たとえば、ユーザ対話エンジン154に関して上記で説明したように)ユーザが最近「塗料(paint)」に関連する他の検索結果と対話した場合、他の選択可能な要素よりも目立つようにレンダリングされてよい。
【0049】
本明細書で説明する技法を使用することによって、様々な技術的利点が達成され得る。非限定的な一例として、IVRツリーがエンティティに関連して記憶されてから、自動アシスタントは、IVRツリーをナビゲートする前にIVRシステムのオプションを聞く必要がないので、自動アシスタント115は、より迅速に支援型電話通話を終結することができる。本明細書で開示する技法を使用することによって支援型電話通話の長さが短縮され得るので、ネットワークリソースと計算リソースの両方が温存され得る。さらに、ユーザ入力の数量が低減され得、それによって、様々な実装形態では、支援型電話通話の実行を開始するために所与のユーザが「IVRディープリンク」を選択する必要しかなくてよいので、クライアントデバイスリソースが保存されてよい。その上、ユーザが支援型電話通話におけるアクティブな参加者でなく、かつクライアントデバイス110が支援型電話通話中にロック状態または低電力状態に置かれてよいという点で、クライアントデバイス110のバッテリーリソースも保存されてよい。
【0050】
次に図3を参照すると、所与のユーザに関連するクライアントデバイスにおけるユーザ対話に基づいてIVRツリーのナビゲーションを修正する、例示的な方法300を示すフローチャートが示される。便宜上、方法300の動作は、その動作を実行するシステムを参照しながら説明される。方法300のこのシステムは、コンピューティングデバイス(たとえば、図1、図4A～図4D、図6A～図6E、および/もしくは図8A～図8Dのクライアントデバイス110、ならびに/または図9のコンピューティングデバイス910、1つもしくは複数のサーバ、ならびに/または他のコンピューティングデバイス)の1つまたは複数のプロセッサおよび/または他の構成要素を含む。その上、方法300の動作は特定の順序で示されるが、このことは限定的であることを意図しない。1つまたは複数の動作が並べ替えられてよく、省略されてよく、かつ/または追加されてよい。
【0051】
ブロック352において、システムは、所与のユーザから、かつ所与のユーザに関連するクライアントデバイスを介して、支援型電話通話を開始するためのユーザ入力を受信する。支援型電話通話を開始するためのユーザ入力は、支援型電話通話を開始するための発話入力、支援型電話通話を開始するためのタッチ入力、または支援型電話通話を開始するためのタイプ式入力のうちの1つまたは複数であり得る。さらに、支援型電話通話を開始するためのユーザ入力は、様々なインターフェース(たとえば、検索インターフェース、音声インターフェース、自動アシスタントインターフェース、および/または支援型電話通話がそこから開始され得る他のインターフェース)において受信され得る。
【0052】
ブロック354において、システムは、支援型電話通話中に所与のユーザに代わって関与すべきエンティティを、ユーザ入力に基づいて識別する。システムは、ブロック352において受信されたユーザ入力および/または支援型電話通話の開始の直前でのクライアントデバイスとのユーザ対話に基づいて、支援型電話通話中に関与すべきエンティティを識別することができる。たとえば、システムは、クライアントデバイスにおいて受信される「紛失した自分の手荷物を例示的な航空会社に報告する」という発話入力を処理することに基づいて、「例示的な航空会社」というエンティティを識別することができる。別の例として、システムは、クライアントデバイスの所与のユーザが、例示的な航空会社に関連する通話インターフェース要素、または例示的な航空会社に関連するIVRツリーの候補状態に関連する特定のグラフィカル要素を選択したことを決定することに基づいて、「例示的な航空会社」というエンティティを識別することができる。
【0053】
ブロック356において、システムは、識別されたエンティティに関連するIVRツリーを識別し、IVRツリーは複数の候補状態を含む。識別されたエンティティに関連するIVRツリーは、ブロック354において識別されたエンティティに関連して(たとえば、図1のエンティティデータベース151Aの中および/または図1のIVRツリーデータベース152Aの中に)記憶され得る。システム(および/または、システムの追加のインスタンス)が、識別されたエンティティに関連するIVRシステムを以前にクロール(crawl)したことに基づいて、エンティティによって関連付けられる記憶されるIVRツリーは、1つもしくは複数のデータベースの中に以前に記憶される場合があり、かつ/または識別されたエンティティは、識別されたエンティティに関連するIVRシステムのためのIVRツリーを提供することができる。さらに、システムは、IVRツリーをナビゲートする複数の支援型電話通話に基づいて、識別されたエンティティに関連するIVRシステムのためのIVRツリーを継続的に更新することができる。複数の候補状態は、支援型電話通話中にシステムがそこへナビゲートすることができる、IVRツリーの特定のノードに対応することができる。
【0054】
ブロック358において、システムは、複数の候補状態の中からIVRツリーのターゲット状態をユーザ入力または追加のユーザ入力に基づいて決定する。いくつかの実装形態では、ターゲット状態は、ブロック352において受信されたユーザ入力に基づいて決定され得る。たとえば、IVRツリーが例示的な航空会社のエンティティに関連することを想定し、IVRの所与の候補状態が例示的な航空会社のエンティティに関連するIVRツリーに対する「紛失した手荷物を報告する」候補状態に対応することを想定する。「紛失した自分の手荷物を例示的な航空会社に報告する」という発話入力がブロック352においてクライアントデバイスにおいて受信されることをさらに想定する。この例では、「紛失した手荷物を報告する」というターゲット状態が、発話入力に基づいて識別され得る。いくつかの追加または代替の実装形態では、ターゲット状態は、ブロック352において受信されたユーザ入力に加えられる追加のユーザ入力に基づいて決定され得る。たとえば、IVRツリーが例示的な航空会社のエンティティに関連することを想定し、IVRの所与の候補状態が例示的な航空会社のエンティティに関連するIVRツリーに対する「紛失した手荷物を報告する」候補状態に対応することを想定する。「例示的な航空会社に電話をかける」という発話入力が、ブロック352においてクライアントデバイスにおいて受信されるか、または例示的な航空会社に電話をかけることに関連する選択可能なグラフィカル要素の選択肢が、ブロック352においてクライアントデバイスにおいて受信されることをさらに想定する。この例では、ユーザ入力の受信に応答して複数の候補状態のうちの1つまたは複数がクライアントデバイスにおける出力として提示され得、ターゲット状態は、提示される複数の候補状態のうちの1つまたは複数の中から「紛失した手荷物を報告する」というターゲット状態を選択する追加のユーザ入力に基づくことができる。支援型電話通話を開始する前に、または支援型電話通話を開始すると、出力が提示されてよい。
【0055】
ブロック360において、システムは、IVRツリーをターゲット状態へナビゲートするために支援型電話通話の実行を開始する。システムは、所与のユーザに関連するクライアントデバイスとブロック354において識別されたエンティティに関連する追加のクライアントデバイスとの間の通信セッションを確立することによって、支援型電話の実行を開始することができる。通信セッションは、たとえば、VoIP、PSTN、および/または他の電話通信プロトコルを含む、様々な音声通信プロトコルを使用して確立され得る。いくつかの実装形態では、システムは、IVRツリーのノードを横断するようにボタン押下をエミュレートすることによって、IVRツリーのノードを横断するように合成音声を含む合成音声オーディオデータをレンダリングすることによって、かつ/または(たとえば、図2に関して説明したように)クライアントデバイスに関連する所与のユーザの発話入力を含むオーディオデータをレンダリングすることによって、IVRツリーをターゲット状態へナビゲートすることができる。それらの実装形態のいくつかのバージョンでは、システムはまた、IVRツリーをナビゲートすることに関連するパラメータに対する対応する値を利用することができる。パラメータに対する対応する値は、1つもしくは複数のデータベース(たとえば、図1のユーザプロファイルデータベース153A)から取り出され得、かつ/またはクライアントデバイスに関連する所与のユーザに要請され得る。
【0056】
ブロック362において、システムは、ユーザ対話がクライアントデバイスにおいて検出されるかどうかを決定する。ユーザ対話は、たとえば、ウェブブラウザもしくはウェブブラウザアプリケーションとの検索対話、ウェブブラウザもしくはウェブブラウザアプリケーションとのブラウジング対話、ウェブブラウザもしくはナビゲーションアプリケーションとのナビゲーション対話、自動アシスタント115とのアシスタント対話、および/またはクライアントデバイスとの他のユーザ対話を含むことができる。特に、システムが支援型電話通話を実行する間、支援型電話通話がクライアントデバイスのバックグラウンドで実行されるように、クライアントデバイスに関連する所与のユーザは依然としてクライアントデバイスと対話してよい。ブロック362の反復において、クライアントデバイスにおいてユーザ対話が検出されないことをシステムが決定する場合、システムはブロック370に進んでよい。ブロック370は以下で詳細に説明される。ブロック362の反復において、クライアントデバイスにおいてユーザ対話が検出されることをシステムが決定する場合、システムはブロック364に進んでよい。
【0057】
ブロック364において、システムは、ブロック362において検出されたユーザ対話が、ブロック354において識別されたエンティティに関連したかどうかを決定する。たとえば、システムは、ユーザ対話が、ブロック354において識別されたエンティティに関連するウェブページを対象とするのか、ブロック354において識別されたエンティティに関連する実店舗への道案内を取得することを対象とするのか、かつ/または他のユーザ対話がそのエンティティを対象とするのかを決定することができる。ブロック364の反復において、ブロック362において検出されたユーザ対話がブロック354において識別されたエンティティに関連しなかったことをシステムが決定する場合、システムはブロック370に進んでよい。ブロック370は以下で詳細に説明される。ブロック364の反復において、ブロック362において検出されたユーザ対話がブロック354において識別されたエンティティに関連したことをシステムが決定する場合、システムはブロック366に進んでよい。
【0058】
ブロック366において、システムは、ブロック362において検出されたユーザ対話に基づいてIVRツリーのナビゲーションを修正することに関係する1つまたは複数のプロンプトを生成する。いくつかの実装形態では、IVRツリーのナビゲーションを修正することは、IVRツリーを代替のターゲット状態へナビゲートするためにターゲット状態を修正することを含むことができる。たとえば、住宅改良エンティティに関連するIVRツリーの床張り部門に関連するターゲット状態へナビゲートするために支援型電話通話が開始されることを想定し、住宅改良エンティティの照明部門に関連するウェブページの一部分を対象とするユーザ対話が検出されることをさらに想定する。この例では、システムは、床張り部門に関連することから照明部門に関連する代替のターゲット状態へターゲット状態を変更するように所与のユーザにプロンプトすることができる。
【0059】
いくつかの追加または代替の実装形態では、IVRツリーのナビゲーションを修正することは、IVRツリーをナビゲートするための追加のターゲット状態を追加することを含むことができる。上記の例を続けると、床張り部門に関連することから照明部門に関連する代替のターゲット状態へターゲット状態を変更するように所与のユーザにプロンプトするのではなく、システムは、床張り部門に関連するターゲット状態に加えられる追加のターゲット状態として照明部門を追加するように所与のユーザにプロンプトすることができる。この例では、床張り部門に関連するターゲット状態に到着すると、ユーザは支援型電話通話に加入するように通知されてよい。所与のユーザが床張り部門と対話した後、所与のユーザは支援型電話通話を終了してよい。しかしながら、システムは、支援型電話通話を接続されたままにしておくことができ、床張り部門に関連する人間代理人が支援型電話通話を照明部門に転送することを要求することができるか、またはシステムは、IVRツリーを、照明部門に関連する追加のターゲット状態へ再ナビゲートすることができる。
【0060】
いくつかの追加または代替の実装形態では、IVRツリーのナビゲーションを修正することは、IVRツリーをナビゲートするためのパラメータに対する対応する値を修正することを含むことができる。たとえば、住宅改良エンティティに関連するIVRツリーの照明部門に関連するターゲット状態へナビゲートするために支援型電話通話が開始されることを想定し、住宅改良エンティティにおいて販売される特定の銘柄のスマート電球に関連するウェブページの一部分を対象とするユーザ対話が検出されることをさらに想定する。この例では、システムは、照明部門に関連するターゲット状態へナビゲートすることに関連するパラメータに対する、特定の銘柄のスマート電球に関連する対応する値を含めるように所与のユーザにプロンプトすることができる。さらに、システムは、所与のユーザに関連するクライアントデバイスにおいて視覚的かつ/または可聴的に1つまたは複数のプロンプトをレンダリングさせることができる。
【0061】
ブロック368において、システムは、プロンプトのうちの1つまたは複数に応答して受信される追加のユーザ入力に基づいて、IVRツリーのナビゲーションを修正すべきかどうかを決定する。たとえば、ユーザが、クライアントデバイスにおいてレンダリングされたプロンプトのうちの1つまたは複数に肯定的に応答する場合、IVRツリーのナビゲーションは、ブロック362において検出されたユーザ対話に基づいて修正され得る。しかしながら、ユーザがプロンプトのうちの1つまたは複数に肯定的に応答しない(または、否定的に応答する)場合、IVRツリーのナビゲーションは修正されなくてよい。ブロック368の反復において、追加のユーザ入力に基づいて、IVRツリーのナビゲーションを修正すべきでないことをシステムが決定する場合、システムはブロック370に進んでよい。
【0062】
ブロック370において、システムは、IVRツリーをターゲット状態へナビゲートする。システムがブロック362、364、および/または368からブロック370に進む実装形態では、システムは、ブロック358において決定されたターゲット状態に基づいてIVRツリーをナビゲートし続けることができる。システムは、IVRツリーをナビゲートするようにボタン押下をエミュレートすること、合成音声を含む合成音声オーディオデータを、ブロック354において識別されたエンティティに関連するレンダリングされた追加のクライアントデバイスにさせること、および/またはブロック354において識別されたエンティティに関連する追加のクライアントデバイスにおいて発話入力を含むオーディオデータをレンダリングさせることに基づいて、IVRツリーをナビゲートすることができる。ブロック368の反復において、追加のユーザ入力に基づいて、IVRツリーのナビゲーションを修正すべきであることをシステムが決定する場合、システムはブロック372に進んでよい。ブロック372において、システムは、IVRツリーをナビゲートするためのパラメータに対する対応する値を修正するか、またはブロック366に関して上記で説明したように、追加として追加のターゲット状態を含むように、もしくは代替として代替のターゲット状態を含むように、ターゲット状態を修正する。IVRツリーをナビゲートすることが、図2に関して上記の中で説明されている。
【0063】
ブロック370またはブロック372から、システムはブロック374に進んでよい。ブロック374において、システムは、支援型電話通話がターゲット状態に到着しているかどうかを検証することができる。システムは、システムがターゲット状態に到着しているかどうかを決定するために、通話に加入しているエンティティに関連する人間代理人またはエンティティに関連するIVRシステムの追加の自動アシスタントからクライアントデバイスにおいて受信された発話入力を処理することができる。たとえば、IVRツリーのターゲット状態が住宅改良店舗エンティティの照明部門に関連することを想定する。人間代理人または追加の自動アシスタントが「照明部門にお電話いただきありがとうございます。ご用件は何でしょうか(Thank you for calling the lighting department, how may I help?)」という発話入力を提供することをさらに想定する。この例では、システムが、クライアントデバイスに関連する所与のユーザの所望のターゲット状態に実際に到着していることを検証するために、システムは、発話入力が「照明部門(lighting department)」という用語を含むことを決定することができる。いくつかの実装形態では、クライアントデバイスにおいて受信される発話入力は、人間代理人または追加の自動アシスタントに関連する追加のクライアントデバイスにおいてレンダリングされた合成音声を介して発話入力をシステムが要請することに応答して提供されてよい(たとえば、「もしもし、こちらは照明部門ですか(Hello, is this the lighting department)」、またはターゲット状態の検証を要求する他の合成音声)。ブロック374の反復において、支援型電話通話がターゲット状態以外の別の状態に到着していることをシステムが決定する場合、システムはブロック376に進んでよい。ブロック376において、システムは、支援型電話通話が、ターゲット状態に関連する代理人に転送されることを要求する。支援型電話通話を転送するための要求は、人間代理人または追加の自動アシスタントに関連する追加のクライアントデバイスにおいてレンダリングされる合成音声の中に含まれ得る(たとえば、「照明部門に私を転送できますか(Can you transfer me to the lighting department)」、または支援型電話通話が転送されることを要求する他の合成音声)。システムは、次いで、ターゲット状態に関連する代理人が転送後のターゲット状態に対応するかどうかを検証するために、ブロック374に戻ってよい。ブロック374の反復において、支援型電話通話がターゲット状態に到着していることをシステムが決定する場合、システムはブロック378に進んでよい。
【0064】
ブロック378において、システムは、IVRツリーをナビゲートすることの実行の結果を示す通知を、クライアントデバイスを介してレンダリングする。たとえば、その通知は、クライアントデバイスに関連する所与のユーザが支援型電話通話に加入するという要求を含むことができる。クライアントデバイスに関連する所与のユーザに代わって、かつエンティティに対して、システムが同じくタスクを実行する、本明細書で説明する実装形態では、通知は、追加または代替として、タスクの実行の結果を含むことができる。
【0065】
次に図4A～図4Cを参照すると、所与のユーザに関連するクライアントデバイス110におけるユーザ対話に基づいてIVRツリーのナビゲーションを修正することに関連する、ユーザインターフェースの様々な非限定的な例が示される。図4A～図4Cは各々、グラフィカルユーザインターフェース180を有するクライアントデバイス110を示し、図1のクライアントデバイスの構成要素のうちの1つまたは複数を含んでよい。クライアントデバイス110に関連する自動アシスタント(たとえば、図1の自動アシスタント115)の1つまたは複数の態様は、クライアントデバイス110上で、かつ/または分散的な方法で(たとえば、図1のネットワーク190を介して)クライアントデバイス110とネットワーク通信している他のクライアントデバイス上で、ローカルに実装されてよい。簡潔のために、図4A～図4Cの動作は、自動アシスタントによって実行されるものとして本明細書で説明される。図4A～図4Cのクライアントデバイス110はモバイルフォンとして示されるが、そのことが限定的であることを意図しないことを理解されたい。クライアントデバイス110は、たとえば、(たとえば、スピーカーおよび/またはディスプレイを有する)スタンドアロンアシスタントデバイス、ラップトップ、デスクトップコンピュータ、車両コンピューティングデバイス、および/または電話通話を行うことが可能な任意の他のクライアントデバイスであり得る。
【0066】
図4A～図4Cのグラフィカルユーザインターフェース180は、仮想キーボードまたは他のタッチ入力および/もしくはタイプ式入力を介してユーザ入力を生成するためにユーザが選択してよいテキスト応答インターフェース要素184、ならびにクライアントデバイス110のマイクロフォンを介してユーザ入力を生成するためにユーザが選択してよい音声応答インターフェース要素185をさらに含む。いくつかの実装形態では、ユーザは、音声応答インターフェース要素185の選択を伴わずにマイクロフォンを介してユーザ入力を生成してよい。たとえば、ユーザが音声応答インターフェース要素185を選択する必要をなくすために、マイクロフォンを介した可聴式ユーザ入力に対するアクティブな監視が行われてよい。それらのうちのいくつかでは、かつ/または他の実装形態では、音声応答インターフェース要素185は省略されてよい。その上、いくつかの実装形態では、テキスト応答インターフェース要素184は、追加および/または代替として、省略されてよい(たとえば、ユーザは可聴式ユーザ入力のみを提供してよい)。図4A～図4Cのグラフィカルユーザインターフェース180はまた、1つまたは複数のアクションをコンピューティングデバイス110に実行させるためにユーザによって対話されることがあるシステムインターフェース要素181、182、183を含む。
【0067】
本明細書で説明する様々な実装形態では、ユーザ入力は、自動アシスタントを使用するエンティティとの電話通話(たとえば、支援型電話通話)を開始するために受信され得る。ユーザ入力は、支援型電話通話を開始するための表示を含む発話入力、タッチ入力、および/またはタイプ式入力であり得る。さらに、自動アシスタントは、クライアントデバイス110の所与のユーザに代わって、エンティティに関連するIVRツリーを、複数の候補状態の中からのターゲット状態へナビゲートすることができ、かつ/またはエンティティに対してタスクを実行することができる。図4Aに示すように、ユーザインターフェース180は、クライアントデバイス110においてアクセス可能なブラウザアプリケーションからの食料雑貨店エンティティに対する検索結果を含む(たとえば、「www.exampleurl0.com/」というURL411によって示されるように)。さらに、検索結果は、第1のロケーションに位置する「仮想食料雑貨店(Hypothetical Grocer)」の第1の検索結果420、および第2のロケーションに位置する「仮想食料雑貨店」の第2の検索結果430を含む。
【0068】
いくつかの実装形態では、検索結果420および/または430は、選択されると、対応するアクションをクライアントデバイス110に実行させる、様々な選択可能なグラフィカル要素に関連することができる。たとえば、検索結果420および/または430のうちの所与の1つに関連する通話グラフィカル要素421および/または431が選択されると、ユーザ入力は、検索結果420および/または430に関連する食料雑貨店エンティティへの電話通話アクションが実行されるべきであることを示すことができる。別の例として、検索結果420および/または430のうちの所与の1つに関連する道案内グラフィカル要素422および/または432が選択されると、ユーザ入力は、検索結果420および/または430に関連する食料雑貨店エンティティへのナビゲーションアクションが実行されるべきであることを示すことができる。また別の例として、検索結果420および/または430のうちの所与の1つに関連する部門グラフィカル要素423および/または433が選択されると、ユーザ入力は、検索結果420および/または430に関連する食料雑貨店エンティティに対する部門を表示するためのブラウザベースのアクションが実行されるべきであることを示すことができる。支援型電話通話は図4Aの中のブラウザアプリケーションから開始されるが、そのことが例のためであり限定的であることを意図しないことを理解されたい。たとえば、支援型電話通話は、クライアントデバイス110においてアクセス可能な様々なソフトウェアアプリケーション(たとえば、自動アシスタントアプリケーション、電話アプリケーション、連絡先アプリケーション、電子メールアプリケーション、テキストもしくはSMSメッセージングアプリケーション、および/または他のソフトウェアアプリケーション)から、また発話入力を使用して支援型電話通話が開始される場合、クライアントデバイス110のホームスクリーンから、クライアントデバイス110のロックスクリーンから、かつ/またはクライアントデバイス110の他の状態から開始され得る。
【0069】
例のために、第1のロケーションにおける「仮想食料雑貨店」の第1の検索結果420との電話通話を開始するために、ユーザ入力がクライアントデバイス110において検出されることを想定する。ユーザ入力は、たとえば、「仮想食料雑貨店に電話をかける(call Hypothetical Grocer)」という発話入力であり得(かつ、クライアントデバイス110までの第1のロケーションの近接度に基づいて選択され)、または490A1によって示されるように、通話グラフィカル要素421を対象とするタッチ入力であり得る。いくつかの実装形態では、通話詳細インターフェース470は、「仮想食料雑貨店」との電話通話を開始するためのユーザ入力を受信する前にクライアントデバイス110においてレンダリングされ得るか、または490A1によって示されるように、「仮想食料雑貨店」との電話通話を開始するためのユーザ入力の受信に応答してクライアントデバイス110においてレンダリングされ得る。それらの実装形態のいくつかのバージョンでは、通話詳細インターフェース470は、ユーザインターフェース180の一部としてクライアントデバイス110においてレンダリングされ得る。それらの実装形態のいくつかの他のバージョンでは、通話詳細インターフェース470は、ユーザインターフェース180にオーバーレイする、ユーザインターフェース180とは別個のインターフェースであり得、ユーザが、(たとえば、通話詳細インターフェース要素186上で上にスワイプすることによって)追加の通話詳細を表示するように通話詳細インターフェース470を拡張すること、および/または(たとえば、通話詳細インターフェース要素186上で下にスワイプすることによって)通話詳細インターフェース470を払いのけることを可能にする、通話詳細インターフェース要素186を含むことができる。ユーザインターフェース180の下部におけるものとして通話詳細インターフェース470が示されるが、そのことが例のためであり限定的であることを意図しないことを理解されたい。たとえば、通話詳細インターフェース470は、ユーザインターフェース180の上部、ユーザインターフェース180の側部、またはユーザインターフェース180とはまったく別個のインターフェースにおいてレンダリングされ得る。
【0070】
通話詳細インターフェース470は、様々な実装形態では、複数のグラフィカル要素を含むことができる。それらの実装形態のいくつかのバージョンでは、グラフィカル要素は選択可能であり得、その結果、グラフィカル要素のうちの所与の1つが選択されると、クライアントデバイス110は、対応するアクションを実行することができる。図4Aに示すように、通話詳細インターフェース470は、「支援型通話、仮想食料雑貨店、第1のロケーション(Assisted Call, Hypothetical Grocer, First Location)」という第1のグラフィカル要素471A、「通常の通話(Regular Call)」という第2のグラフィカル要素472A、および「連絡先「仮想食料雑貨店」をセーブする(Save Contact 'Hypothetical Grocer')」という第3のグラフィカル要素473Aを含む。特に、それらの実装形態のいくつかのバージョンでは、グラフィカル要素は、「仮想食料雑貨店」に関連するIVRツリーをナビゲートするための候補状態の表示を提供するための下位要素を含むことができる。たとえば、第1のグラフィカル要素471Aは、仮想食料雑貨店に関連するIVRツリーを、農産物部門に対応する一部分へナビゲートするというターゲット状態に関連する、「農産物部門(Produce Department)」という第1の下位要素471A1、仮想食料雑貨店に関連するIVRツリーを、製パン部門に対応する一部分へナビゲートするというターゲット状態に関連する、「製パン部門(Bakery Department)」という第2の下位要素471A2、および仮想食料雑貨店に関連するIVRツリーを、調理済食品部門に対応する一部分へナビゲートするというターゲット状態に関連する、「調理済食品部門(Deli Department)」という第3の下位要素471A3を含むことができる。
【0071】
例のために、仮想食料雑貨店に関連するIVRツリーへ仮想食料雑貨店の農産物部門に関連するターゲット状態へナビゲートするための、仮想食料雑貨店との支援型電話通話の実行を開始するために、ユーザ入力がクライアントデバイス110において検出されることを想定する。ユーザ入力は、たとえば、「仮想食料雑貨店の農産物部門に電話をかける(call the produce department of Hypothetical Grocer)」という発話入力、または490A2によって示されるように、第1の下位要素471A1を対象とするタッチ入力であり得る。ユーザ入力の検出に応答して、自動アシスタントは、仮想食料雑貨店に関連するIVRツリーをナビゲートするという「農産物部門」のターゲット状態を決定することができる。いくつかの実装形態では、自動アシスタントは、(たとえば、図1のパラメータエンジン153に関して、かつ図2に関して)本明細書で説明するように、IVRツリーをターゲット状態へナビゲートすることに関連するパラメータに対する対応する値、および/または農産物部門に関連するターゲット状態に到着すると実行されるべきタスクに対する対応する値を識別することができる。
【0072】
いくつかの実装形態では、また図4Bに示すように、支援型電話通話中に自動アシスタントがIVRツリーをターゲット状態へナビゲートしている間、クライアントデバイス110の所与のユーザは、依然としてクライアントデバイス110と対話することが可能であってよい。それらの実装形態のいくつかのバージョンでは、自動アシスタントがIVRツリーをナビゲートしている間にクライアントデバイス110において検出されるユーザ対話は、IVRツリーのナビゲーションを修正するために利用されてよい。たとえば、また図4Bに示すように、クライアントデバイス110に関連する与えるユーザが、クライアントデバイス110においてアクセス可能なブラウザアプリケーションにおける「仮想食料雑貨店」の第1の検索結果420に関連するウェブページを見ることを想定する(たとえば、「www.exampleurl1.com/」というURL411によって示されるように)。詳細には、ウェブページは、仮想食料雑貨店の様々な部門に関係する情報に対応する選択可能なグラフィカル要素を含んでよい。たとえば、クライアントデバイス110に関連する所与のユーザは、仮想食料雑貨店の農産物部門における農産物入手可能性を見るために第1のグラフィカル選択可能要素471B1を選択することができ、仮想食料雑貨店の製パン部門におけるケーキ入手可能性を見るために第2のグラフィカル選択可能要素471B2を選択することができ、または仮想食料雑貨店の調理済食品部門における食肉入手可能性を見るために第3のグラフィカル選択可能要素471B3を選択することができ、あるいは提示されてよい任意の他のグラフィカル選択可能要素。
【0073】
例のために、自動アシスタントが、仮想食料雑貨店に関連するIVRツリーを、農産物部門に関連するターゲット状態へナビゲートしている間、490B1によって示されるように、仮想食料雑貨店の調理済食品部門における食肉入手可能性を見るために、ユーザが第3のグラフィカル選択可能要素471B3を選択することを想定する。自動アシスタントが、仮想食料雑貨店に関連するIVRツリーを、食肉部門に関連しないターゲット状態へナビゲートしている間、クライアントデバイス110に関連する所与のユーザが、仮想食料雑貨店の調理済食品部門に関係する検索結果と対話したという決定に応答して、自動アシスタントは、1つまたは複数のプロンプトを生成することができ、クライアントデバイス110のユーザインターフェース180においてプロンプトのうちの1つまたは複数を通知としてレンダリングすることができる。たとえば、自動アシスタントは、通話詳細インターフェース470の中で視覚的に通知479をレンダリングさせることができる。通知479は、「むしろ進行中の支援型電話通話中に調理済食品部門につなぎますか(Would you rather connect with the deli department during the ongoing assisted telephone call)」という表示を含み、「はい(yes)」という第1の提案479B1および「いいえ(no)」という第2の提案479B2も含む。図4Bに示すように、また通知479のレンダリングに応答して、クライアントデバイス110の所与のユーザが実際にはもともと意図されたような農産物部門よりもむしろ調理済食品部門と接続することになることを示す、追加のユーザ入力が、クライアントデバイス110において受信されることをさらに想定する(たとえば、「はい」という第1の提案479B1の選択結果として490B2によって示されるように)。この例では、仮想食料雑貨店に関連するIVRツリーのナビゲーションは、クライアントデバイス110におけるウェブページとのユーザ対話に基づいて修正され得る。たとえば、クライアントデバイス110に関連する所与のユーザによってもともと意図されたような農産物部門に関連するターゲット状態へIVRをナビゲートするのではなく、自動アシスタントは、代替として、調理済食品部門に関連する代替のターゲット状態へナビゲートすることができる。
【0074】
様々な実装形態では、ユーザ対話が、支援型電話通話中に関与されるエンティティに関連する場合のみ、自動アシスタントは、IVRツリーのナビゲーションを修正するようにクライアントデバイス110の所与のユーザにプロンプトしてよい。たとえば、クライアントデバイス110の所与のユーザは、仮想食料雑貨店に関連するユーザ対話のみに基づいて、IVRツリーのナビゲーションを修正するようにプロンプトされてよい。いくつかの追加または代替の実装形態では、ユーザ対話が、支援型電話通話中に関与されるエンティティに関連しない場合でも、自動アシスタントは、依然としてIVRツリーのナビゲーションを修正するようにクライアントデバイス110の所与のユーザにプロンプトしてよい。たとえば、クライアントデバイス110の所与のユーザは、仮想食料雑貨店とは異なる特定の銘柄のデリミートのためのウェブページに関連するユーザ対話に基づいて、IVRツリーのナビゲーションを修正するようにプロンプトされてよい。この例では、1つまたは複数のプロンプトはまた、その特定の銘柄のデリミートのためのクーポンまたは広告を含んでよい。
【0075】
いくつかの実装形態では、IVRシステムのナビゲーションを修正することは、IVRツリーをナビゲートするという状態に基づいてよい。たとえば、IVRツリーのナビゲーションを修正するための1つまたは複数のプロンプトに応答して追加のユーザ入力が受信されるときに、自動アシスタントがターゲット状態に到着していない場合、自動アシスタントは、ターゲット状態へナビゲートするためにIVRツリーをナビゲートする際に利用されるパラメータに対する対応する値を修正してよく、代替のターゲット状態へナビゲートするために(たとえば、図2に関して説明したように)IVRツリーをナビゲートする際に横断される内部ノードを修正してよく、かつ/またはIVRツリーのナビゲーションを再起動してよい。別の例として、IVRツリーのナビゲーションを修正するための1つまたは複数のプロンプトに応答して追加のユーザ入力が受信されるときに、自動アシスタントがターゲット状態に到着している場合、自動アシスタントは、追加のユーザ入力に基づいて決定される代替のターゲット状態に支援型電話通話が転送されることを要求してよく、かつ/またはIVRツリーのナビゲーションを再起動してよい。
【0076】
たとえば、また詳細に図4Cを参照すると、仮想食料雑貨店IVRからの「いまあなたを農産物部門につないでいるところです(Now connecting you with the produce department)」という口頭発話452C1、および仮想食料雑貨店農産物代理人からの「もしもし、農産物部門です(Hello, produce department)」という後続の口頭発話452C2によって示されるように、自動アシスタントがIVRツリーをターゲット状態へナビゲートしたことを想定する。調理済食品部門に関連する代替のターゲット状態へのIVRのナビゲーションを修正するための、図4Bの490B1によって示されるユーザ入力を受信する前に、自動アシスタントがターゲット状態に到着したことをさらに想定する。一般に、仮想食料雑貨店に関連するIVRツリーをナビゲートする、このステージにおいて、自動アシスタントは、ターゲット状態に到着していることを(たとえば、後続の口頭発話452C2に基づいて)検証してよく、ユーザが支援型電話に加入することを要求する通知を生成してよく、かつ/またはクライアントデバイス110の所与のユーザに代わってタスクを実行してよい。しかしながら、所与のユーザが、図4Bの中のIVRツリーのナビゲーションを修正するためのユーザ入力を提供したので、自動アシスタントは、「もしもし、調理済食品部門に私を転送できますか(Hello, can you transfer me to the deli department)」という合成音声454C1を引き起こすことができ、通話を調理済食品部門に転送するために仮想食料雑貨店農産物代理人が自動アシスタントを保留に置くので、合成音声452C3に応答して口頭発話452C3「少々お待ちください(One moment please)」が受信され得、自動アシスタントは、「もしもし、調理済食品部門です(Hello, deli department)」という口頭発話452C4が受信されるまで保留のままであってよい。したがって、仮想食料雑貨店に関連するIVRツリーをナビゲートする、このステージにおいて、自動アシスタントは、ターゲット状態に到着していることを(たとえば、口頭発話452C4に基づいて)検証してよく、ユーザが支援型電話に加入することを要求する(たとえば、454C2によって示されるような)通知を生成してよく、かつ/またはクライアントデバイス110の所与のユーザに代わってタスクを実行してよい。
【0077】
その上、様々な実装形態では、自動アシスタントは、(たとえば、図4Cに示すように)クライアントデバイス110のユーザインターフェース180において様々な話し合いの転写を視覚的にレンダリングさせることができる。転写は、たとえば、クライアントデバイス110のホームスクリーンにおいて、様々なソフトウェアアプリケーション(たとえば、自動アシスタントアプリケーション、通話アプリケーション、および/または他のアプリケーション)において、表示され得る。いくつかの実装形態では、転写は、自動アシスタント、IVRシステム、および/またはエンティティに関連する人間代理人の間の話し合いを含むことができる。さらに、様々な実装形態では、自動アシスタントはまた、通話詳細インターフェース470の中に様々なグラフィカル要素を提示させることができる。たとえば、支援型電話通話を終わらせることに関連する第1の選択可能グラフィカル要素442Cが設けられ得、所与のユーザが支援型電話通話に加入することを終わらせることに関連する第2の選択可能グラフィカル要素443Cが設けられ得、支援型電話通話がクライアントデバイス110のスピーカーを介して可聴的に知覚可能であることに関連する第3の選択可能グラフィカル要素444Cが設けられ得、かつ/または支援型電話通話に関連する他の選択可能グラフィカル要素が設けられ得る。様々な実装形態では、これらの選択可能グラフィカル要素は、452C2によって示されるような通知の生成に応答してのみ、通話詳細インターフェース470においてレンダリングされてよい。
【0078】
図4A～図4Cは、農産物部門に関連する元のターゲット状態から、調理済食品部門に関連する代替のターゲット状態に、仮想食料雑貨店に関連するIVRツリーのナビゲーションを修正することに関して本明細書で説明されるが、そのことが例のためであり限定的であることを意図しないことを理解されたい。たとえば、また(たとえば、図1のユーザ対話エンジン154に関して、図2のIVRツリー200に関して、かつ図3の方法300に関して)上記で説明したように、IVRツリーのナビゲーションを修正することは、農産物部門に関連する元のターゲット状態へナビゲートした後にナビゲートされてよい追加のターゲット状態として、調理済食品部門を追加することを含むことができる。別の例として、また同じく(たとえば、図1のユーザ対話エンジン154に関して、図2のIVRツリー200に関して、かつ図3の方法300に関して)上記で説明したように、IVRツリーのナビゲーションを修正することは、IVRツリーを、農産物部門に関連する元のターゲット状態へナビゲートするためのパラメータに対する対応する値を修正することを含むことができる。たとえば、農産物部門に関連するターゲット状態へナビゲートする際に、所与のユーザが、自動アシスタントがアボカドについて照会すべきであることを示したが、仮想食料雑貨店に関連するウェブページの農産物セクション上でトマトを見始める場合、ユーザは、自動アシスタントが、追加または代替として、トマトについて照会すべきかどうかに関してプロンプトされてよい。
【0079】
その上、仮想食料雑貨店に関連するIVRツリーをナビゲートする自動アシスタントの転写を含むものとして図4Cが示されるが、そのことが例のためであり限定的であることを意図しないことを理解されたい。たとえば、他のソフトウェアアプリケーションがフォアグラウンドで動作しているとき、かつまたは他の状態において、クライアントデバイス110がスリープ状態、ロック状態にある間、上記で説明した支援型電話通話が実行され得ることを、理解されたい。さらに、自動アシスタントがクライアントデバイス110において通知をレンダリングさせる実装形態では、クライアントデバイスにおいてレンダリングされる通知のタイプは、本明細書で説明するようなクライアントデバイス110の状態に基づく。その上、図4A～4Cは、仮想食料雑貨店に関連するIVRツリーをナビゲートすることに関して本明細書で説明されるが、そのことが同じく限定的であることを意図しないこと、および本明細書で説明する技法が、以前に記憶された任意のIVRツリーをナビゲートする際に、かつ複数の異なるエンティティに関して、利用したことができることを理解されたい。
【0080】
次に図5を参照すると、所与のユーザに関連するクライアントデバイスにおける検索インターフェースからIVRツリーをナビゲートする、例示的な方法500を示すフローチャートが示される。便宜上、方法500の動作は、その動作を実行するシステムを参照しながら説明される。方法500のこのシステムは、コンピューティングデバイス(たとえば、図1、図4A～図4D、図6A～図6E、および/もしくは図8A～図8Dのクライアントデバイス110、ならびに/または図9のコンピューティングデバイス910、1つもしくは複数のサーバ、ならびに/または他のコンピューティングデバイス)の1つまたは複数のプロセッサおよび/または他の構成要素を含む。その上、方法500の動作は特定の順序で示されるが、このことは限定的であることを意図しない。1つまたは複数の動作が並べ替えられてよく、省略されてよく、かつ/または追加されてよい。
【0081】
ブロック552において、システムは、所与のユーザから、かつ所与のユーザに関連するクライアントデバイスの検索インターフェースを介して、ユーザ入力を受信する。支援型電話通話を開始するためのユーザ入力は、支援型電話通話を開始するための発話入力、支援型電話通話を開始するためのタッチ入力、または支援型電話通話を開始するためのタイプ式入力のうちの1つまたは複数であり得る。さらに、支援型電話通話を開始するためのユーザ入力は、様々なインターフェース(たとえば、検索インターフェース、音声インターフェース、自動アシスタントインターフェース、および/または支援型電話通話がそこから開始され得る他のインターフェース)において受信され得る。さらに、検索インターフェースは、たとえば、電話もしくは連絡先アプリケーション、ブラウザアプリケーション、自動アシスタントアプリケーション、ウェブベースブラウザ、および/または検索機能を可能にする任意の他のインターフェースの一部として実装され得る。
【0082】
ブロック554において、システムは、クライアントデバイスの検索インターフェースにおいて、ユーザ入力に基づいて検索クエリを発行する。検索クエリは、クライアントデバイスによってアクセス可能な1つまたは複数のデータベース(たとえば、アクセス制限付きデータベースおよび/または公共データベース)、検索エンジン、および/または任意の他の検索ベースのシステムに発行され得る。
【0083】
ブロック556において、システムは、支援型電話通話中に、所与のユーザに代わって関与すべきエンティティに関連する所与の検索結果を、発行された検索クエリに基づいて識別し、所与の検索結果は、識別されたエンティティに関連するIVRツリーに対する複数の候補状態の中からのターゲット状態に関連する。ブロック558において、システムは、少なくとも所与の検索結果をクライアントデバイスにおいてレンダリングさせる。ブロック560において、システムは、所与のユーザから、かつクライアントデバイスの検索インターフェースを介して、所与の検索結果の選択肢を受信する。所与の検索結果は、ブロック554において発行された検索クエリに反応するコンテンツを含むことができる。いくつかの実装形態では、他の候補状態に対応する追加の所与の検索結果も、所与の検索結果と一緒にレンダリングされ得る。それらの実装形態のいくつかのバージョンでは、所与の検索結果は、クライアントデバイスにおける最近のユーザ対話に基づいて、他の候補状態に関連する追加の所与の検索結果よりも目立つように提示され得る。たとえば、ユーザが、様々な銘柄の塗料または塗装機器に関係する他の検索結果と対話中であり、かつ発行された検索クエリが住宅改良エンティティ用である場合、所与の検索結果は、住宅改良エンティティに、またはより詳細には、住宅改良エンティティの塗装部門に関連することができる。したがって、所与の検索結果の選択時に、システムは、住宅改良エンティティに関連するIVRツリーをナビゲートするためのターゲット状態であるものとして塗装部門を決定することができる。所与の検索結果の選択は、タッチ入力、発話入力、および/またはタイプ式入力に基づくことができる。
【0084】
ブロック562において、システムは、選択に応答して、IVRツリーをターゲット状態へナビゲートするために支援型電話通話の実行を開始する。システムは、所与のユーザに関連するクライアントデバイスとブロック556において識別されたエンティティに関連する追加のクライアントデバイスとの間の通信セッションを確立することによって、支援型電話の実行を開始することができる。通信セッションは、たとえば、VoIP、PSTN、および/または他の電話通信プロトコルを含む、様々な音声通信プロトコルを使用して確立され得る。いくつかの実装形態では、システムは、IVRツリーのノードを横断するようにボタン押下をエミュレートすることによって、IVRツリーのノードを横断するように合成音声を含む合成音声オーディオデータをレンダリングすることによって、かつ/または(たとえば、図2に関して説明したように)クライアントデバイスに関連する所与のユーザの発話入力を含むオーディオデータをレンダリングすることによって、IVRツリーをターゲット状態へナビゲートすることができる。それらの実装形態のいくつかのバージョンでは、システムはまた、IVRツリーをナビゲートすることに関連するパラメータに対する対応する値を利用することができる。パラメータに対する対応する値は、1つもしくは複数のデータベース(たとえば、図1のユーザプロファイルデータベース153A)から取り出され得、かつ/またはクライアントデバイスに関連する所与のユーザに要請され得る。
【0085】
ブロック564において、システムは、IVRツリーをナビゲートすることの実行の結果を示す通知をクライアントデバイスを介してレンダリングする。たとえば、その通知は、クライアントデバイスに関連する所与のユーザが支援型電話通話に加入するという要求を含むことができる。クライアントデバイスに関連する所与のユーザに代わって、かつエンティティに対して、システムが同じくタスクを実行する、本明細書で説明する実装形態では、通知は、追加または代替として、タスクの実行の結果を含むことができる。様々な実装形態では、図5に関して説明したIVRツリーのナビゲーションは、図3および図4A～図4Cに関して上記で説明したように、クライアントデバイスにおけるユーザ対話に基づいて修正されてよい。
【0086】
次に図6A～図6Eを参照すると、所与のユーザに関連するクライアントデバイス110における検索インターフェースからIVRツリーをナビゲートすることに関連する、ユーザインターフェースの様々な非限定的な例が示される。図6A～図6Eは各々、グラフィカルユーザインターフェース180を有するクライアントデバイス110を示し、図1のクライアントデバイスの構成要素のうちの1つまたは複数を含んでよい。クライアントデバイス110は、図4A～図4Cのクライアントデバイスと実質的に類似であってよく、自動アシスタントのインスタンス(たとえば、図1の自動アシスタント115)を含む、図4A～図4Cに関して上記で説明した同じ構成要素のうちの多数を含んでよい。
【0087】
本明細書で説明する様々な実装形態では、ユーザ入力が受信され得、ユーザ入力に基づいて検索クエリが発行され得る。ユーザ入力は、検索クエリを含む発話入力、タッチ入力、および/またはタイプ式入力であり得る。たとえば、また図6Aに示すように、クライアントデバイス110においてアクセス可能なブラウザアプリケーションにおいて、ユーザが(たとえば、テキスト応答インターフェース要素184の中に含まれるような)「紛失した手荷物仮想航空会社」という検索クエリ684Aを提供することを想定する(たとえば、「www.exampleurl0.com/」というURL611によって示されるように)。さらに、検索結果は、北米をサービスするフライトを提供する「仮想航空会社」という第1の検索結果620を含む。いくつかの実装形態では、検索結果620は、選択されると、対応するアクションをクライアントデバイス110に実行させる、様々な選択可能なグラフィカル要素に関連することができる。たとえば、検索結果620に関連する通話グラフィカル要素621が選択されると、ユーザ入力は、仮想航空会社への電話通話アクションが実行されるべきであることを示すことができる。別の例として、検索結果620に関連するユーザアカウントグラフィカル要素622が選択されると、ユーザ入力は、仮想航空会社に関連するユーザアカウントに対するアカウントルックアップアクションが実行されるべきであることを示すことができる。また別の例として、検索結果620に関連するフライトグラフィカル要素623が選択されると、ユーザ入力は、仮想航空会社に関連するフライトに対するフライトルックアップアクションが実行されるべきであることを示すことができる。
【0088】
様々な実装形態では、検索結果620はまた、エンティティに関連するIVRツリーの候補状態への1つまたは複数のIVRディープリンクを含むことができる。たとえば、また図6Aに示すように、仮想航空会社に関連するIVRツリーをナビゲートする際に、紛失した手荷物を報告するための候補状態に対応する、「最後の手荷物を報告する(report last baggage)」という第1のIVRディープリンク620A1が提供されてよく、仮想航空会社に関連するIVRツリーをナビゲートする際に、仮想航空会社代理人と話すための候補状態に対応する、「代理人と話す」という第2のIVRディープリンク620A2が提供されてよい。「もっと見る(see more)」という追加のグラフィカル要素620A3が、随意に提供されてよく、選択されると、候補状態に関連する1つまたは複数の追加のIVRディープリンクを、第1のディープリンク620A1および第2のディープリンク620A2と一緒にレンダリングさせてよい。それらの実装形態のいくつかのバージョンでは、レンダリングされるIVRディープリンク620A1および/または620A2のうちの1つまたは複数は、クライアントデバイス110における最近のユーザ対話に基づくことができる。たとえば、「紛失した手荷物を報告する」という第1のIVRディープリンク620A1は、検索クエリ684Aが「紛失した手荷物」を含むことに基づいて、またはクライアントデバイス110の所与のユーザが、紛失した手荷物を報告することに関係する他の検索結果と以前に対話したことに基づいて、クライアントデバイス110においてレンダリングされてよい。別の例として、「代理人と話す」という第2のIVRディープリンク620A2が、候補状態の中から最も一般的なターゲット状態であることに基づいて、クライアントデバイス110においてレンダリングされてよい。これらの例では、第1のIVRディープリンク620A1は、クライアントデバイス110の所与のユーザにとってより重要であると決定することに基づいて(たとえば、検索クエリ684Aに基づいて、かつ/またはクライアントデバイス110の所与のユーザが他の検索結果と以前に対話したことに基づいて決定される)、第2のIVRディープリンク620A2よりも目立つようにレンダリングされてよい。
【0089】
仮想航空会社に関連するIVRツリーを、紛失した手荷物を報告することに関連するターゲット状態へナビゲートするための支援型電話は、第1のIVRディープリンク620A1を対象とするユーザ入力に基づいて開始され得、IVRツリーをターゲット状態へナビゲートするための支援型電話通話の実行が開始され得る。いくつかの実装形態では、自動アシスタントは、支援型電話通話の実行を開始するために、クライアントデバイス110のリソースを利用することができる。いくつかの追加または代替の実装形態では、自動アシスタントは、支援型電話通話(たとえば、クラウドベースの支援型電話通話)の実行を開始するために、リモートシステムのリソースを利用することができる。たとえば、ユーザが第1のIVRディープリンク620A1を選択するが、クライアントデバイス110がVoIP、PSTN、または(たとえば、ラップトップまたはデスクトップコンピュータを介する)他の電話通信プロトコルを使用して電話通話を実行できないことを想定する。この例では、自動アシスタント115は、(クライアントデバイス110と通信していてもしていなくてもよい)リモートシステムに、ユーザに代わって支援型電話通話を開始および実行させることができる。
【0090】
様々な実装形態では、通話詳細インターフェース670は、「仮想航空会社」との電話通話を開始するためのユーザ入力を受信する前にクライアントデバイス110においてレンダリングされ得るか、または仮想航空会社との電話通話を開始するためのユーザ入力の受信に応答してクライアントデバイス110においてレンダリングされ得る。それらの実装形態のいくつかのバージョンでは、通話詳細インターフェース670は、ユーザインターフェース180の一部としてクライアントデバイス110においてレンダリングされ得る。それらの実装形態のいくつかの他のバージョンでは、通話詳細インターフェース670は、ユーザインターフェース180にオーバーレイする、ユーザインターフェース180とは別個のインターフェースであり得、ユーザが、(たとえば、通話詳細インターフェース要素186上で上にスワイプすることによって)追加の通話詳細を表示するように通話詳細インターフェース670を拡張すること、および/または(たとえば、通話詳細インターフェース要素186上で下にスワイプすることによって)通話詳細インターフェース670を払いのけることを可能にする、通話詳細インターフェース要素186を含むことができる。ユーザインターフェース180の下部におけるものとして通話詳細インターフェース670が示されるが、そのことが例のためであり限定的であることを意図しないことを理解されたい。たとえば、通話詳細インターフェース670は、ユーザインターフェース180の上部、ユーザインターフェース180の側部、またはユーザインターフェース180とはまったく別個のインターフェースにおいてレンダリングされ得る。
【0091】
通話詳細インターフェース670は、様々な実装形態では、複数のグラフィカル要素を含むことができる。それらの実装形態のいくつかのバージョンでは、グラフィカル要素は選択可能であり得、その結果、グラフィカル要素のうちの所与の1つが選択されると、クライアントデバイス110は、対応するアクションを実行することができる。図6Aに示すように、通話詳細インターフェース670は、「支援型通話、仮想航空会社(Assisted Call, Hypothetical Airline)」という第1のグラフィカル要素671、「通常の通話」という第2のグラフィカル要素672A、および「連絡先「仮想航空会社」をセーブする(Save Contact 'Hypothetical Airline')」という第3のグラフィカル要素673Aを含む。支援型電話通話は、追加または代替として、第1の選択可能グラフィカル要素671を対象とするユーザ入力に基づいて通話詳細インターフェース670から開始され得、支援型電話通話の実行は、第1の選択可能グラフィカル要素671の選択に基づく。
【0092】
様々な実装形態では、候補状態に関連する1つまたは複数のIVRディープリンクはレンダリングされなくてよい。それらの実装形態のいくつかのバージョンでは、自動アシスタントは、エンティティに関連するIVRツリーをナビゲートするための様々なノード(たとえば、図2に関して説明したような内部ノードおよび/またはリーフノード)を視覚的にレンダリングしてよい。様々なノードの視覚的なレンダリングは、エンティティに関連して記憶されるIVRツリーに対する信頼性レベルに基づいてよい。エンティティに関連して記憶されるIVRツリーに対する信頼性レベルは、エンティティに関連して記憶されたIVRツリーとは異なるIVRツリーをナビゲートすることを含む、エンティティとの支援型電話通話の数量に基づいてよく、ナビゲートされるIVRツリーと記憶されたIVRツリーとの間の差異の程度に随意に基づいてよい。詳細には、図6B～図6Eは、仮想航空会社に関連するIVRツリーに対する差分信頼性レベルに基づいて、これらの様々なノードがユーザにどのように提示されてよいのかに対する様々な非限定的な例を示す。
【0093】
例のために図6B～図6Eに関して、支援型電話通話中に関与されるべきエンティティが、図6Aに関して上記で説明した仮想航空会社であること、およびユーザが仮想航空会社に関連する第1の検索結果610を見ていること、ただし、検索クエリ684Aを含むユーザ入力が受信されないことを想定する。詳細に図6Bを参照すると、仮想航空会社に関連して記憶されるIVRツリーを自動アシスタントが極めて確信していることをさらに想定する。同じIVRツリーを含む支援型電話通話の(すべてではないとしても)大部分にとってIVRツリーのノードが同じままであることに基づいて決定される信頼性レベルに基づいて、仮想航空会社に関連して記憶されるIVRツリーを自動アシスタントが極めて確信している場合がある。この例では、1つまたは複数のIVRディープリンクを提供するのではなく、自動アシスタントは、支援型電話通話の実行を開始するためのユーザ入力を受信する前に仮想航空会社に関連するIVRツリーをどのようにナビゲートすべきかという表示を含む情報を引き起こすことができる。たとえば、通話詳細インターフェース670は、紛失した手荷物を報告することに関連するIVRツリーのターゲット状態に到着するためにクライアントデバイス110の所与のユーザが提供できるボタン押下のシーケンスを示す、「「1」、「3」、「5」を押して紛失した手荷物を報告する」という671Aの第1の情報、および代理人と話すことに関連するIVRツリーのターゲット状態に到着するためにクライアントデバイス110の所与のユーザが提供できるボタン押下のシーケンスを示す、「「5」を押して代理人と話す」という671Bの第2の情報を含むことができる。「もっと見る」というグラフィカル要素671Cが随意に提供されてよく、選択されると、他の候補状態に関連する追加の情報を第1の情報671Aおよび第2の情報671Bと一緒にレンダリングさせてよい。図6Aと同様に、通話詳細インターフェース670の中でレンダリングされる候補状態に関連する情報は、クライアントデバイス110との最近のユーザ対話および/または候補状態の全体的な評判に基づいて随意にレンダリングされてよい。
【0094】
詳細に図6Cを参照すると、また図6Bと同様に、仮想航空会社に関連して記憶されるIVRツリーを自動アシスタントが極めて確信していることをさらに想定する。この例では、1つもしくは複数のIVRディープリンク、または支援型電話通話を開始する前にボタン押下のシーケンスを通じて所望のターゲット状態へ直接ナビゲートすることに関係する情報を提供するのではなく、自動アシスタントは、候補状態を含む仮想航空会社IVRから口頭発話654C1を受信する前に、652C1によって示されるような通話詳細インターフェース670の中の通知679Cの中で、候補状態をレンダリングさせることができる。詳細には、候補状態は、679C1、679C2、679C3、679C4、および679C5によって示される候補状態を含むことができる。通知679Cの中に含まれる候補状態の各々は選択可能であってよく、その結果、クライアントデバイス110に関連する所与のユーザは、候補状態のうちの所与の1つをターゲット状態として単に選択することができ、自動アシスタントは、支援型電話通話をターゲット状態へ自動的にナビゲートする。
【0095】
詳細に図6Dを参照すると、また図6Cとは対照的に、仮想航空会社に関連して記憶されるIVRツリーを自動アシスタントが中程度に確信していることをさらに想定する。同じIVRツリーを含む支援型電話通話のうちのいくつかに対してIVRツリーのノードがいくつかの差異を含むことに基づいて決定される信頼性レベルに基づいて、仮想航空会社に関連して記憶されるIVRツリーを自動アシスタントが中程度に確信している場合がある。この例では、候補状態を含む仮想航空会社IVRから口頭発話を受信する前に通話詳細インターフェース670の中で通知679Dを提供するのではなく、自動アシスタントは、候補状態を含む通知679Cをレンダリングするのを、候補状態のサブセットを含む発話応答652D1の第1の部分が仮想航空会社IVRによって提供されるまで待ってよい。たとえば、仮想航空会社に関連する記憶されたIVRツリーの間の差異の程度は、口頭発話652D1の第1の部分の中に含まれる候補状態のサブセットを中程度にしか確信していないことがあるが、残りの候補状態を極めて確信していることがある。したがって、候補状態のサブセットが口頭発話652D1の第1の部分の中に含められた後、自動アシスタントは、口頭発話652D2の第2の部分を受信する前に、654D1によって示されるように通知679Dを生成してよい。図6Cと同様に、通知679Dの中に含まれる候補状態の各々は選択可能であってよく、その結果、クライアントデバイス110に関連する所与のユーザは、候補状態のうちの所与の1つをターゲット状態として単に選択することができ、自動アシスタントは、支援型電話通話をターゲット状態へ自動的にナビゲートする。
【0096】
詳細に図6Eを参照すると、また図6Cおよび図6Dとは対照的に、仮想航空会社に関連して記憶されるIVRツリーを自動アシスタントが確信していないことをさらに想定する。異なるIVRツリーを含むしきい値数の支援型電話通話に対してIVRツリーのノードが差異を含むことに基づいて決定される信頼性レベルに基づいて、仮想航空会社に関連して記憶されるIVRツリーを自動アシスタントが確信していない場合がある。この例では、口頭発話を受信する前に通話詳細インターフェース670の中で通知679Eを提供するのではなく、自動アシスタントは、654E1によって示されるような候補状態を含む通知679Dをレンダリングするのを、候補状態を含む発話応答652E1が仮想航空会社IVRによって提供されるまで待ってよい。図6Cと同様に、通知679Eの中に含まれる候補状態の各々は選択可能であってよく、その結果、クライアントデバイス110に関連する所与のユーザは、候補状態のうちの所与の1つをターゲット状態として単に選択することができ、自動アシスタントは、支援型電話通話をターゲット状態へ自動的にナビゲートする。
【0097】
図6A～図6Eはエンティティ仮想航空会社に関して本明細書で説明され、いくつかのグラフィカル要素および情報が検索結果620および通話詳細インターフェースと一緒に示されるが、そのことが例のためであり限定的であることを意図しないことを理解されたい。IVRシステムを採用する任意のエンティティに関連するIVRツリーが記憶され得るとともに、その後、支援型電話通話を実行する際に利用され得ることを、理解されたい。さらに、自動アシスタントによって提供されるグラフィカル要素および情報がIVRツリーに基づいてよいこと、ならびにエンティティに関連するIVRツリーの構成が仮想的に無限であることを理解されたい。
【0098】
次に図7を参照すると、動的な対話式音声応答(IVR)ツリーをナビゲートする例示的な方法700を示すフローチャートが示される。便宜上、方法700の動作は、その動作を実行するシステムを参照しながら説明される。方法700のこのシステムは、コンピューティングデバイス(たとえば、図1、図4A～図4D、図6A～図6E、および/もしくは図8A～図8Dのクライアントデバイス110、ならびに/または図9のコンピューティングデバイス910、1つもしくは複数のサーバ、ならびに/または他のコンピューティングデバイス)の1つまたは複数のプロセッサおよび/または他の構成要素を含む。その上、方法700の動作は特定の順序で示されるが、このことは限定的であることを意図しない。1つまたは複数の動作が並べ替えられてよく、省略されてよく、かつ/または追加されてよい。
【0099】
ブロック752において、システムは、所与のユーザから、かつ所与のユーザに関連するクライアントデバイスを介して、支援型電話通話を開始するためのユーザ入力を受信する。支援型電話通話を開始するためのユーザ入力は、支援型電話通話を開始するための発話入力、支援型電話通話を開始するためのタッチ入力、または支援型電話通話を開始するためのタイプ式入力のうちの1つまたは複数であり得る。さらに、支援型電話通話を開始するためのユーザ入力は、様々なインターフェース(たとえば、検索インターフェース、音声インターフェース、自動アシスタントインターフェース、および/または支援型電話通話がそこから開始され得る他のインターフェース)において受信され得る。
【0100】
ブロック754において、システムは、支援型電話通話中に所与のユーザに代わって関与すべきエンティティを、ユーザ入力に基づいて識別する。システムは、ブロック752において受信されたユーザ入力および/または支援型電話通話の開始の直前でのクライアントデバイスとのユーザ対話に基づいて、支援型電話通話中に関与すべきエンティティを識別することができる。たとえば、システムは、クライアントデバイスにおいて受信される「紛失した自分の手荷物を例示的な航空会社に報告する」という発話入力を処理することに基づいて、「例示的な航空会社」というエンティティを識別することができる。別の例として、システムは、クライアントデバイスの所与のユーザが、例示的な航空会社に関連する通話インターフェース要素、または例示的な航空会社に関連するIVRツリーの候補状態に関連する特定のグラフィカル要素を選択したことを決定することに基づいて、「例示的な航空会社」というエンティティを識別することができる。
【0101】
ブロック756において、システムは、ブロック754において識別されたエンティティに関連するIVRツリーを識別し、IVRツリーは複数の候補状態を含む。識別されたエンティティに関連するIVRツリーは、ブロック754において識別されたエンティティに関連して(たとえば、図1のエンティティデータベース151Aの中および/または図1のIVRツリーデータベース152Aの中に)記憶され得る。システム(および/または、システムの追加のインスタンス)が、識別されたエンティティに関連するIVRシステムを以前にクロールしたことに基づいて、エンティティによって関連付けられる記憶されるIVRツリーは、1つもしくは複数のデータベースの中に以前に記憶される場合があり、かつ/または識別されたエンティティは、識別されたエンティティに関連するIVRシステムのためのIVRツリーを提供することができる。さらに、システムは、IVRツリーをナビゲートする複数の支援型電話通話に基づいて、識別されたエンティティに関連するIVRシステムのためのIVRツリーを継続的に更新することができる。複数の候補状態は、支援型電話通話中にシステムがそこへナビゲートすることができる、IVRツリーの特定のノードに対応することができる。
【0102】
ブロック758において、システムはコンテキスト情報を受信する。いくつかの実装形態では、ブロック756は、随意のサブブロック758Aおよび/または随意のサブブロック758Bを含むことができる。含まれる場合、随意のサブブロック758Aにおいて、システムは、クライアントデバイスに関連するコンテキスト情報を受信する。クライアントデバイスに関連するコンテキスト情報は、たとえば、(たとえば、デバイス状態エンジン112を介して決定される)デバイス状態情報、クライアントデバイスの現在位置に関連する日付および/もしくは時間情報、クライアントデバイスの現在位置、ならびに/またはクライアントデバイスによって生成される他のコンテキスト情報を含むことができる。含まれる場合、随意のサブブロック758Bにおいて、システムは、クライアントデバイスの所与のユーザに関連するコンテキスト情報を受信する。クライアントデバイスの所与のユーザに関連するコンテキスト情報は、たとえば、クライアントデバイスのユーザによって作成されるかまたはクライアントデバイスのユーザによって受信される電子通信(たとえば、電子メール、テキストメッセージ、音声メッセージなど)、クライアントデバイスの所与のユーザの様々なユーザアカウントに関連するユーザアカウント情報(たとえば、アカウントステータス情報、アカウント番号、アカウントユーザ名、アカウントパスワードなど)、クライアントデバイスの所与のユーザの金銭的情報(たとえば、銀行口座番号、クレジットカード番号、支払いアプリケーション情報など)、クライアントデバイスの所与のユーザの写真アルバム、クライアントデバイスの所与のユーザのソーシャルメディアプロファイル、クライアントデバイスのユーザのユーザ選好、クライアントデバイスの所与のユーザの個人情報(たとえば、氏名、電話番号、物理アドレス、電子メールアドレス、社会保障番号、生年月日など)、および/またはクライアントデバイスの所与のユーザに関連する他の情報を含むことができる。
【0103】
ブロック760において、システムは、IVRツリーのターゲット状態としての複数の候補状態の利用可能性を、クライアントデバイスおよび/またはクライアントデバイスの所与のユーザに関連するコンテキスト情報に基づいて決定する。様々な実装形態では、IVRツリーのいくつかの候補状態は、コンテキスト情報に基づいてクライアントデバイスの所与のユーザにとって利用可能であってもなくてもよい。たとえば、ブロック754において識別されるエンティティがレストランエンティティであることを想定する。この例では、いくつかの候補状態は、レストランの営業時間中のみ利用可能であってよい(たとえば、持ち帰り注文をすることに関連する候補状態)。別の例として、ブロック754において識別されるエンティティが航空会社エンティティであることを想定する。この例では、いくつかの候補状態は、ユーザアカウントステータスがしきい値メンバーシップステータスを超える場合のみ(たとえば、ゴールドステータスメンバー以上に対してのみ)利用可能であってよい。言い換えれば、識別されたエンティティに関連するIVRツリーは、いくつかのコンテキストでは候補状態が利用可能であってもなくてもよいという点で動的であってよい。
【0104】
ブロック762において、システムは、IVRツリーをターゲット状態へナビゲートするために支援型電話通話の実行を開始する。システムは、ターゲット状態を選択する追加のユーザ入力に応答して支援型電話通話の実行を開始することができる。さらに、システムは、所与のユーザに関連するクライアントデバイスとブロック754において識別されたエンティティに関連する追加のクライアントデバイスとの間の通信セッションを確立することによって、支援型電話の実行を開始することができる。通信セッションは、たとえば、VoIP、PSTN、および/または他の電話通信プロトコルを含む、様々な音声通信プロトコルを使用して確立され得る。いくつかの実装形態では、システムは、IVRツリーのノードを横断するようにボタン押下をエミュレートすることによって、IVRツリーのノードを横断するように合成音声を含む合成音声オーディオデータをレンダリングすることによって、かつ/または(たとえば、図2に関して説明したように)クライアントデバイスに関連する所与のユーザの発話入力を含むオーディオデータをレンダリングすることによって、IVRツリーをターゲット状態へナビゲートすることができる。それらの実装形態のいくつかのバージョンでは、システムはまた、IVRツリーをナビゲートすることに関連するパラメータに対する対応する値を利用することができる。パラメータに対する対応する値は、1つもしくは複数のデータベース(たとえば、図1のユーザプロファイルデータベース153A)から取り出され得、かつ/またはクライアントデバイスに関連する所与のユーザに要請され得る。
【0105】
ブロック764において、システムは、IVRツリーをナビゲートすることの実行の結果を示す通知をクライアントデバイスを介してレンダリングする。たとえば、その通知は、クライアントデバイスに関連する所与のユーザが支援型電話通話に加入するという要求を含むことができる。クライアントデバイスに関連する所与のユーザに代わって、かつエンティティに対して、システムが同じくタスクを実行する、本明細書で説明する実装形態では、通知は、追加または代替として、タスクの実行の結果を含むことができる。様々な実装形態では、図5に関して説明したIVRツリーのナビゲーションは、図3および図4A～図4Cに関して上記で説明したように、クライアントデバイスにおけるユーザ対話に基づいて修正されてよい。
【0106】
次に図8A～図8Dを参照すると、動的なIVRツリーをナビゲートすることに関連するユーザインターフェースの様々な非限定的な例が示される。図8A～図8Dは各々、グラフィカルユーザインターフェース180を有するクライアントデバイス110を示し、図1のクライアントデバイスの構成要素のうちの1つまたは複数を含んでよい。クライアントデバイス110は、図4A～図4Cのクライアントデバイスと実質的に類似であってよく、自動アシスタントのインスタンス(たとえば、図1の自動アシスタント115)を含む、図4A～図4Cに関して上記で説明した同じ構成要素のうちの多数を含んでよい。
【0107】
本明細書で説明する様々な実装形態では、エンティティに関連するIVRツリーは、IVRツリーに関連する1つまたは複数の候補状態が利用可能であってもなくてもよいという点で動的なIVRツリーであり得る。候補状態のうちの1つまたは複数の利用可能性は、コンテキスト情報に基づいて決定されてよい。いくつかの実装形態では、コンテキスト情報は、クライアントデバイス110に関連するコンテキスト情報であってよく、たとえば、(たとえば、デバイス状態エンジン112を介して決定される)クライアントデバイス110のデバイス状態情報、クライアントデバイス110の現在位置に関連する日付および/もしくは時間情報、クライアントデバイスの現在位置、ならびに/またはクライアントデバイス110によって生成される他のコンテキスト情報を含んでよい。いくつかの追加または代替の実装形態では、コンテキスト情報は、クライアントデバイス110の所与のユーザに関連するコンテキスト情報であってよく、たとえば、クライアントデバイスのユーザによって作成されるかまたはクライアントデバイスのユーザによって受信される電子通信(たとえば、電子メール、テキストメッセージ、音声メッセージなど)、クライアントデバイス110の所与のユーザの様々なユーザアカウントに関連するユーザアカウント情報(たとえば、アカウントステータス情報、アカウント番号、アカウントユーザ名、アカウントパスワードなど)、クライアントデバイス110の所与のユーザの金銭的情報(たとえば、銀行口座番号、クレジットカード番号、支払いアプリケーション情報など)、クライアントデバイス110の所与のユーザの写真アルバム、クライアントデバイス110の所与のユーザのソーシャルメディアプロファイル、クライアントデバイス110のユーザのユーザ選好、クライアントデバイスの所与のユーザの個人情報(たとえば、氏名、電話番号、物理アドレス、電子メールアドレス、社会保障番号、生年月日など)、および/またはクライアントデバイスの所与のユーザに関連する他の情報を含んでよい。
【0108】
詳細に図8Aおよび図8Bを参照すると、クライアントデバイス110の所与のユーザが、クライアントデバイス110においてアクセス可能なブラウザアプリケーションにおいてレストランエンティティに対する検索結果を見ていることを想定する(たとえば、「www.exampleurl0.com/」というURL811Aによって示されるように)。検索結果が9:00AMから11:00PMまで開店している「仮想レストラン(Hypothetical Restaurant)」という検索結果820Aを少なくとも含むことをさらに想定する。いくつかの実装形態では、検索結果820Aは、選択されると、対応するアクションをクライアントデバイス110に実行させる、様々な選択可能なグラフィカル要素に関連することができる。たとえば、検索結果820Aに関連する通話グラフィカル要素821Aが選択されると、ユーザ入力は、仮想レストランへの電話通話アクションが実行されるべきであることを示すことができる。別の例として、検索結果820Aに関連する道案内グラフィカル要素822Aが選択されると、ユーザ入力は、仮想レストランの実ロケーションへのナビゲーションアクションが実行されるべきであることを示すことができる。また別の例として、検索結果820Aに関連するメニューグラフィカル要素823Aが選択されると、ユーザ入力は、仮想航空会社に関連するメニューに対するメニュールックアップアクションが実行されるべきであることを示すことができる。
【0109】
様々な実装形態では、通話詳細インターフェース870は、「仮想レストラン」との電話通話を開始するためのユーザ入力を受信する前にクライアントデバイス110においてレンダリングされ得るか、または仮想レストランとの電話通話を開始するためのユーザ入力の受信に応答して、クライアントデバイス110においてレンダリングされ得る。それらの実装形態のいくつかのバージョンでは、通話詳細インターフェース870は、ユーザインターフェース180の一部としてクライアントデバイス110においてレンダリングされ得る。それらの実装形態のいくつかの他のバージョンでは、通話詳細インターフェース870は、ユーザインターフェース180にオーバーレイする、ユーザインターフェース180とは別個のインターフェースであり得、ユーザが、(たとえば、通話詳細インターフェース要素186上で上にスワイプすることによって)追加の通話詳細を表示するように通話詳細インターフェース870を拡張すること、および/または(たとえば、通話詳細インターフェース要素186上で下にスワイプすることによって)通話詳細インターフェース870を払いのけることを可能にする、通話詳細インターフェース要素186を含むことができる。ユーザインターフェース180の下部におけるものとして通話詳細インターフェース870が示されるが、そのことが例のためであり限定的であることを意図しないことを理解されたい。たとえば、通話詳細インターフェース870は、ユーザインターフェース180の上部、ユーザインターフェース180の側部、またはユーザインターフェース180とはまったく別個のインターフェースにおいてレンダリングされ得る。
【0110】
通話詳細インターフェース870は、様々な実装形態では、複数のグラフィカル要素を含むことができる。それらの実装形態のいくつかのバージョンでは、グラフィカル要素は選択可能であり得、その結果、グラフィカル要素のうちの所与の1つが選択されると、クライアントデバイス110は、対応するアクションを実行することができる。図8Aおよび図8Bに示すように、通話詳細インターフェース870は、「支援型通話、仮想レストラン(Assisted Call, Hypothetical Restaurant)」という第1のグラフィカル要素871A、「通常の通話」という第2のグラフィカル要素872A、および「連絡先「仮想レストラン」をセーブする(Save Contact 'Hypothetical Restaurant')」という第3のグラフィカル要素873Aを含む。グラフィカル要素はまた、仮想レストランに関連するIVRツリーに関連する候補状態に対応する下位要素を含んでよい。たとえば、また図8Aに示すように、第1のグラフィカル要素871Aは、仮想レストランに関連するIVRツリーを、レストラン予約を行うことに対応する一部分へナビゲートするというターゲット状態に関連する、「予約を行う(Make Reservations)」という第1の下位要素871A1、仮想レストランに関連するIVRツリーを、レストランに持ち帰りを注文することに対応する一部分へナビゲートするというターゲット状態に関連する、「持ち帰りを注文する(Order Carryout)」という第2の下位要素871A2、および仮想レストランに関連するIVRツリーを、仮想レストランに配達を注文することに対応する一部分へナビゲートするというターゲット状態に関連する、「配達を注文する(Order Delivery)」という第3の下位要素871A3を含むことができる。対照的に、また図8Bに示すように、第1のグラフィカル要素871Aは、仮想レストランに関連するIVRツリーを、レストラン予約を行うことに対応する一部分へナビゲートするというターゲット状態に関連する、「予約を行う」という第1の下位要素871B1、および仮想レストランに関連するIVRツリーを、仮想レストランの営業時間を聞くことに対応する一部分へナビゲートするというターゲット状態に関連する、「営業時間(Hours of Operation)」という第2の下位要素871B2を含むことができる。
【0111】
特に、図8Aおよび図8Bの中に含まれる候補状態の差異は、所与のユーザのクライアントデバイス110に関連するコンテキスト情報に基づいてよい。特に、また図8Aに関して、クライアントデバイス110の現在位置における時間および日付情報812Aは、9:30AMという時間を示し、そのことは、(たとえば、営業時間が9:00AM～11:00PMであることに基づいて)仮想レストランが開店していることに対応する。その結果、仮想レストランが開店しているので、選択可能な下位要素871A2および871A3に関連する候補状態が利用可能であってよい。対照的に、また図8Bに関して、クライアントデバイス110の現在位置における時間および日付情報812Bは、8:30AMという時間を示し、そのことは、(たとえば、営業時間が9:00AM～11:00PMであることに基づいて仮想レストランが閉店していることに対応する。その結果、仮想レストランが閉店しているので、選択可能な下位要素871A2および871A3に関連する候補状態は利用可能でない場合があるが、自動アシスタントは、仮想レストランに関連するIVRツリーをそれが閉店していてもナビゲートすることによって、依然としてレストラン予約を行うことおよび/または営業時間について照会することが可能であってよい。したがって、候補状態のうちのいくつかが所与のコンテキストにおいて利用可能であってよいが、他の候補状態がその所与のコンテキストにおいて利用可能でない場合があるという点で、IVRツリーは動的であってよい。別の例として、図8Aにおいて、仮想レストランが開店しているが、クライアントデバイス110の現在位置が仮想レストランのための配達区域の外側にあることを想定する。この例では、「配達を注文する」という第3の下位要素871A3に関連する候補状態は省略されてよい。また別の例として、図8Aにおいて、仮想レストランが開店しているが、仮想レストランにおいて屋内での食事も屋外での食事も利用可能でないことを想定する。この例では、「予約を行う」という第1の下位要素871A1に関連する候補状態は省略されてよい。
【0112】
詳細に図8Cおよび図8Dを参照すると、クライアントデバイス110の所与のユーザが、クライアントデバイス110においてアクセス可能なブラウザアプリケーションにおけるホテルエンティティに対する検索結果を見ていることを想定する(たとえば、「www.exampleurl0.com/」というURL811Cによって示されるように)。検索結果が、少なくとも「仮想ホテル(Hypothetical Hotel)」という第1の検索結果820Cおよび「例示的なホテル(Example Hotel)」という第2の検索結果830Cを含むことをさらに想定する。いくつかの実装形態では、検索結果820Cおよび/または830Cは、選択されると、対応するアクションをクライアントデバイス110に実行させる、様々な選択可能なグラフィカル要素に関連することができる。たとえば、それぞれ、検索結果820Aおよび/または830Cに関連する、通話グラフィカル要素821Cおよび/または831Cが選択されると、ユーザ入力は、それぞれのホテルエンティティへの電話通話アクションが実行されるべきであることを示すことができる。別の例として、それぞれ、検索結果820Aおよび/または830Cに関連する、道案内グラフィカル要素822Cおよび/または832Cが選択されると、ユーザ入力は、それぞれのホテルエンティティの実ロケーションへのナビゲーションアクションが実行されるべきであることを示すことができる。また別の例として、それぞれ、検索結果820Aおよび/または830Cに関連する、アカウント要素823Cおよび/または833Cが選択されると、ユーザ入力は、それぞれのホテルエンティティに関連するユーザアカウントに対するアカウントルックアップアクションが実行されるべきであることを示すことができる。
【0113】
様々な実装形態では、通話詳細インターフェース870は、ホテルエンティティのうちのそれぞれのホテルエンティティとの電話通話を開始するためのユーザ入力を受信する前にクライアントデバイス110においてレンダリングされ得るか、またはホテルエンティティのうちのそれぞれのホテルエンティティとの電話通話を開始するためのユーザ入力の受信に応答してクライアントデバイス110においてレンダリングされ得る。それらの実装形態のいくつかのバージョンでは、通話詳細インターフェース870は、ユーザインターフェース180の一部としてクライアントデバイス110においてレンダリングされ得る。それらの実装形態のいくつかの他のバージョンでは、通話詳細インターフェース870は、ユーザインターフェース180にオーバーレイする、ユーザインターフェース180とは別個のインターフェースであり得、ユーザが、(たとえば、通話詳細インターフェース要素186上で上にスワイプすることによって)追加の通話詳細を表示するように通話詳細インターフェース870を拡張すること、および/または(たとえば、通話詳細インターフェース要素186上で下にスワイプすることによって)通話詳細インターフェース870を払いのけることを可能にする、通話詳細インターフェース要素186を含むことができる。ユーザインターフェース180の下部におけるものとして通話詳細インターフェース870が示されるが、そのことが例のためであり限定的であることを意図しないことを理解されたい。たとえば、通話詳細インターフェース870は、ユーザインターフェース180の上部、ユーザインターフェース180の側部、またはユーザインターフェース180とはまったく別個のインターフェースにおいてレンダリングされ得る。
【0114】
通話詳細インターフェース870は、様々な実装形態では、複数のグラフィカル要素を含むことができる。それらの実装形態のいくつかのバージョンでは、グラフィカル要素は選択可能であり得、その結果、グラフィカル要素のうちの所与の1つが選択されると、クライアントデバイス110は、対応するアクションを実行することができる。図8Cに示すように、通話詳細インターフェース870は、「支援型通話、仮想ホテル(Assisted Call, Hypothetical Hotel)」という第1のグラフィカル要素871C、「通常の通話」という第2のグラフィカル要素872C、および「連絡先「仮想ホテル」をセーブする(Save Contact 'Hypothetical Hotel')」という第3のグラフィカル要素873Cを含む。図8Cのグラフィカル要素はまた、仮想ホテルに関連するIVRツリーに関連する候補状態に対応する下位要素を含んでよい。たとえば、また図8Cに示すように、第1のグラフィカル要素871Cは、仮想ホテルに関連するIVRツリーを、ホテル予約を変更することに対応する一部分へナビゲートするというターゲット状態に関連する、「予約を変更する(Change Reservation)」という第1の下位要素871C1、仮想ホテルに関連するIVRツリーを、既存のホテル予約に対する無料アップグレードを要求することに対応する一部分へナビゲートするというターゲット状態に関連する、「無料アップグレードを要求する(Request Free Upgrade)」という第2の下位要素871C2、および仮想ホテルに関連するIVRツリーを、仮想ホテルのコンシェルジェに連絡することに対応する一部分へナビゲートするというターゲット状態に関連する、「コンシェルジェ直通電話(Concierge Direct Line)」という第3の下位要素871C3を含むことができる。
【0115】
対照的に、また図8Dに示すように、通話詳細インターフェース870は、(図8Cにおける「仮想ホテル」ではなく)「支援型通話、例示的なホテル(Assisted Call, Example Hotel)」という第1のグラフィカル要素871D、「通常の通話」という第2のグラフィカル要素872D、および「連絡先「例示的なホテル」をセーブする(Save Contact 'Example Hotel')」という第3のグラフィカル要素873Dを含む。図8Dのグラフィカル要素はまた、例示的なホテルに関連するIVRツリーに関連する候補状態に対応する下位要素を含んでよい。たとえば、また図8Dに示すように、第1のグラフィカル要素871Dは、例示的なホテルに関連するIVRツリーを、ホテル予約を変更することに対応する一部分へナビゲートするというターゲット状態に関連する、「予約を変更する」という第1の下位要素871D1、例示的なホテルに関連するIVRツリーを、既存のホテル予約を取り消すことに対応する一部分へナビゲートするというターゲット状態に関連する、「予約を取り消す(Cancel Reservation)」という第2の下位要素871D2、および仮想ホテルに関連するIVRツリーを、例示的なホテルにおけるフロントデスクに連絡することに対応する一部分へナビゲートするというターゲット状態に関連する、「フロントデスク(Front Desk)」という第3の下位要素871D3を含むことができる。
【0116】
特に、図8Cおよび図8Dの中に含まれる候補状態の差異は、所与のユーザのクライアントデバイス110の所与のユーザに関連するコンテキスト情報に基づいてよい。特に、また図8Cに関して、自動アシスタントは、仮想ホテルに関連するクライアントデバイス110の所与のユーザのユーザアカウントへのアクセスを有する。たとえば、自動アシスタントは、ユーザアカウントステータス(たとえば、ブロンズメンバー、シルバーメンバー、ゴールドメンバーなど)、ユーザアカウント番号、仮想ホテルの様々なロケーションにおける滞在を含むユーザアカウント履歴などにアクセスすることができる。例のために、クライアントデバイス110の所与のユーザが仮想ホテルのゴールドメンバーであることを想定する。その結果、選択可能な下位要素871C2および871C3に関連する候補状態は、クライアントデバイス110の所与のユーザのゴールドメンバーステータスに基づいて利用可能であってよい。対照的に、また図8Dに関して、自動アシスタントは、例示的なホテルに関連するユーザアカウントのいかなる記録も有しない場合がある。その結果、選択可能な下位要素871C2および871C3に関連する候補状態が利用可能でない場合があるが、自動アシスタントは、依然として図8Dに示す様々な候補状態へナビゲートすることが可能であってよい。したがって、候補状態のうちのいくつかが所与のコンテキストにおいて利用可能であってよいが、他の候補状態がその所与のコンテキストにおいて利用可能でない場合があるという点で、IVRツリーは動的であってよい。
【0117】
図8Aおよび図8Bは、所与のユーザのクライアントデバイス110に関連するコンテキスト情報に基づいて候補状態の利用可能性に関して本明細書で説明されるが、図8Cおよび図8Dは、クライアントデバイス110の所与のユーザに関連するコンテキスト情報に基づいて候補状態の利用可能性に関して本明細書で説明され、そのことが例のためであり限定的であることを意図しないことを理解されたい。たとえば、候補状態の利用可能性は、所与のユーザのクライアントデバイス110に関連するコンテキスト情報とクライアントデバイス110の所与のユーザに関連するコンテキスト情報の両方に基づくことができる。たとえば、また図8Cに関して、仮想ホテルのコンシェルジェが働いていないときにクライアントデバイス110の所与のユーザが支援型電話通話を開始する場合、仮想ホテルに関連するユーザアカウントのユーザアカウントステータスにより、クライアントデバイス110の所与のユーザが仮想ホテルのコンシェルジェに直接連絡することが可能であるにもかかわらず、「コンシェルジェ直通電話」という第3の下位要素871C3に関連する候補状態は省略されてよい。
【0118】
その上、図8A～8Dは、いくつかのエンティティに関して本明細書で説明され、いくつかのグラフィカル要素は検索結果および通話詳細インターフェースと一緒に示されるが、そのことが例のためであり限定的であることを意図しないことを理解されたい。IVRシステムを採用する任意のエンティティに関連するIVRツリーが記憶され得るとともに、その後、支援型電話通話を実行する際に利用され得ることを、理解されたい。さらに、自動アシスタントによって提供されるグラフィカル要素および情報がIVRツリーに基づいてよいこと、およびエンティティに関連するIVRツリーの構成が仮想的に無限であることを理解されたい。
【0119】
図9は、本明細書で説明する技法の1つまたは複数の態様を実行するために随意に利用されてよい、例示的なコンピューティングデバイス910のブロック図である。いくつかの実装形態では、クライアントデバイス、クラウドベースの自動アシスタント構成要素、および/または他の構成要素のうちの1つまたは複数は、例示的なコンピューティングデバイス910の1つまたは複数の構成要素を備えてよい。
【0120】
コンピューティングデバイス910は、通常、バスサブシステム912を介していくつかの周辺デバイスと通信する、少なくとも1つのプロセッサ914を含む。これらの周辺デバイスは、たとえば、メモリサブシステム925およびファイル記憶サブシステム926を含む記憶サブシステム924、ユーザインターフェース出力デバイス920、ユーザインターフェース入力デバイス922、ならびにネットワークインターフェースサブシステム916を含んでよい。入力デバイスおよび出力デバイスは、コンピューティングデバイス910とのユーザ対話を可能にする。ネットワークインターフェースサブシステム916は、外部ネットワークへのインターフェースを提供し、他のコンピューティングデバイスの中の対応するインターフェースデバイスに結合される。
【0121】
ユーザインターフェース入力デバイス922は、キーボード、マウス、トラックボール、タッチパッド、もしくはグラフィックスタブレットなどのポインティングデバイス、スキャナ、ディスプレイの中に組み込まれたタッチスクリーン、音声認識システム、マイクロフォンなどのオーディオ入力デバイス、および/または他のタイプの入力デバイスを含んでよい。一般に、「入力デバイス」という用語の使用は、情報をコンピューティングデバイス910の中にまたは通信ネットワーク上に入力するすべての可能なタイプのデバイスおよび方法を含むことを意図する。
【0122】
ユーザインターフェース出力デバイス920は、ディスプレイサブシステム、プリンタ、ファックスマシン、またはオーディオ出力デバイスなどの非視覚的ディスプレイを含んでよい。ディスプレイサブシステムは、陰極線管(CRT)、液晶ディスプレイ(LCD)などのフラットパネルデバイス、投影デバイス、または可視画像を作成するためのいくつかの他のメカニズムを含んでよい。ディスプレイサブシステムはまた、オーディオ出力デバイスを介するなどして非視覚的表示を提供し得る。一般に、「出力デバイス」という用語の使用は、コンピューティングデバイス910からユーザに、または別の機械もしくはコンピューティングデバイスに情報を出力するためのすべての可能なタイプのデバイスおよび方法を含むことを意図する。
【0123】
記憶サブシステム924は、本明細書で説明するモジュールの一部または全部の機能を提供する、プログラミングおよびデータ構造を記憶する。たとえば、記憶サブシステム924は、本明細書で開示する方法の選択された態様を実行するための、かつ図1に示す様々な構成要素を実装するための論理を含んでよい。
【0124】
これらのソフトウェアモジュールは、一般に、プロセッサ914によって単独で、または他のプロセッサと組み合わせて実行される。記憶サブシステム924の中で使用されるメモリ925は、プログラム実行中に命令およびデータを記憶するためのメインランダムアクセスメモリ(RAM)930、ならびに固定命令がその中に記憶される読取り専用メモリ(ROM)932を含む、いくつかのメモリを含むことができる。ファイル記憶サブシステム926は、プログラムおよびデータファイルに対する永続的な記憶を提供することができ、ハードディスクドライブ、関連するリムーバブルメディアとともにフロッピーディスクドライブ、CD-ROMドライブ、光ドライブ、またはリムーバブルメディアカートリッジを含んでよい。いくつかの実装形態の機能を実装するモジュールは、記憶サブシステム924の中のファイル記憶サブシステム926によって、またはプロセッサ914によってアクセス可能な他の機械の中に、記憶されてよい。
【0125】
バスサブシステム912は、コンピューティングデバイス910の様々な構成要素およびサブシステムを、意図されるように互いに通信させるためのメカニズムを提供する。バスサブシステム912は、単一のバスとして概略的に示されるが、バスサブシステム912の代替実装形態は、複数のバスを使用してよい。
【0126】
コンピューティングデバイス910は、ワークステーション、サーバ、コンピューティングクラスタ、ブレードサーバ、サーバファーム、または任意の他のデータ処理システムもしくはコンピューティングデバイスを含む、異なるタイプのものであり得る。コンピュータおよびネットワークの絶え間なく変化する性質に起因して、図9に示すコンピューティングデバイス910の説明は、いくつかの実装形態を例示するための具体例にすぎないものとする。図9に示すコンピューティングデバイスよりも多数または少数の構成要素を有する、コンピューティングデバイス910の多くの他の構成が可能である。
【0127】
本明細書で説明するシステムがユーザについての個人情報を収集するかもしくは場合によっては監視し、または個人および/もしくは監視される情報を利用し得る状況では)、ユーザは、プログラムもしくは機能がユーザ情報(たとえば、ユーザのソーシャルネットワーク、社会的なアクションもしくはアクティビティ、職業、ユーザの選好、またはユーザの現在の地理的ロケーションについての情報)を収集するかどうかを制御するための、またはユーザにより関連し得るコンテンツサーバからコンテンツを受信するかどうか、および/もしくはどのように受信するのかを制御するための、機会が与えられてよい。また、いくつかのデータは、個人を識別できる情報が除去されるように、記憶または使用される前に1つまたは複数の方法で処理されてよい。たとえば、個人を識別できる情報がユーザに対して決定され得ないように、ユーザの識別情報が処理されてよく、またはユーザの特定の地理的ロケーションが決定され得ないように、地理的ロケーション情報が取得される場所にユーザの地理的ロケーションが(都市レベル、郵便番号レベル、または州レベルなどに)一般化されてよい。したがって、情報がどのようにユーザについて収集され、かつ/または使用されるのかを、ユーザが制御してよい。
【0128】
いくつかの実装形態では、1つまたは複数のプロセッサによって実施される方法が提供され、所与のユーザから、かつ所与のユーザに関連するクライアントデバイスを介して、支援型電話通話を開始するためのユーザ入力を受信することと、支援型電話通話中に所与のユーザに代わって関与すべきエンティティを、ユーザ入力に基づいて識別することと、識別されたエンティティに関連する対話式音声応答(IVR)ツリーを識別することであって、IVRツリーが複数の候補状態を含むことと、複数の候補状態の中からIVRツリーのターゲット状態をユーザ入力または追加のユーザ入力に基づいて決定することと、IVRツリーをターゲット状態へナビゲートするために支援型電話通話の実行を開始することとを含む。支援型電話通話の実行は、支援型電話通話をIVRツリーのターゲット状態へ自動的にナビゲートすることを備える。方法は、支援型電話通話の実行中、かつIVRツリーがターゲット状態へナビゲートされている間、クライアントデバイスを対象とするとともに識別されたエンティティに関連する少なくとも1つのユーザ対話を検出することと、IVRツリーのナビゲーションを修正することに関係する1つまたは複数のプロンプトを、クライアントデバイスを対象とする少なくとも1つのユーザ対話に基づいて生成することとをさらに含む。方法は、追加のプロンプトのうちの1つまたは複数のレンダリングに応答して受信されるさらなる追加のユーザ入力がIVRツリーのナビゲーションを修正するという決定に応答して、さらなる追加のユーザ入力に基づいて支援型電話通話の実行を修正することをさらに含む。
【0129】
本明細書で開示する技術のこれらおよび他の実装形態は、以下の特徴のうちの1つまたは複数を随意に含むことができる。
【0130】
いくつかの実装形態では、方法は、支援型電話通話中に特定の状態に到着するようにIVRツリーをナビゲートした後、かつさらなる追加のユーザ入力に基づいて、クライアントデバイスに関連する所与のユーザが支援型電話通話に加入することを要求する通知を生成することと、所与のユーザに関連するクライアントデバイスにおいて通知をレンダリングさせることとをさらに含んでよい。それらの実装形態のいくつかのバージョンでは、所与のユーザに関連するクライアントデバイスにおいて通知をレンダリングさせることは、クライアントデバイスを振動させること、所与のユーザが支援型電話通話に加入することを要求する通知を、クライアントデバイスに可聴的にレンダリングさせること、または所与のユーザが支援型電話通話に加入することを要求する通知を、クライアントデバイスに視覚的にレンダリングさせることのうちの1つまたは複数を含んでよい。それらの実装形態のいくつかの追加または代替のバージョンでは、方法は、IVRツリーを特定の状態へナビゲートした後、特定の状態がターゲット状態に対応するかどうかを検証するために、識別されたエンティティに関連する人間代理人との会話に関与することをさらに含んでよい。
【0131】
それらの実装形態のいくつかのさらなるバージョンでは、特定の状態がターゲット状態に対応するかどうかを検証するために人間代理人との会話に関与することは、人間代理人の口頭発話をキャプチャするオーディオデータを、音声認識モデルを使用して処理することと、特定の状態がターゲット状態に対応することを人間代理人が検証するかどうかを、オーディオデータを処理することに基づいて決定することとを含んでよい。クライアントデバイスに関連する所与のユーザが支援型電話通話に加入することを要求する通知を生成することは、特定の状態がターゲット状態に対応することを人間代理人が検証するという決定に応答してよい。それらの実装形態のまたさらなるバージョンでは、IVRツリーが首尾よくナビゲートされたかどうかを検証するための合成音声を含む合成音声オーディオデータを、人間代理人に関連する追加のクライアントデバイスにおいてレンダリングさせることをさらに含んでよい。人間代理人の口頭発話をキャプチャするオーディオデータは、人間代理人に関連する追加のクライアントデバイスにおいて合成音声オーディオデータがレンダリングされることに応答して受信され得る。
【0132】
それらの実装形態のいくつかのさらなる追加または代替のバージョンでは、方法は、特定の状態がターゲット状態に対応しないことを人間代理人が示すという決定に応答して、識別されたエンティティに関連する別の人間代理人に支援型電話通話が転送されることを要求するためのさらなる合成音声を含むさらなる合成音声オーディオデータを、人間代理人に関連する追加のクライアントデバイスにおいてレンダリングさせることをさらに含んでよい。
【0133】
いくつかの実装形態では、方法は、所与のユーザに代わって、かつ支援型電話通話中、実行されるべきタスクをユーザ入力または追加のユーザ入力に基づいて識別することと、IVRツリーをターゲット状態へナビゲートした後、かつ支援型電話通話中、所与のユーザに代わってタスクを完了するために、識別されたエンティティに関連する人間代理人との会話に関与することとをさらに含んでよい。人間代理人との会話に関与することは、タスクを完了するための合成音声を含む合成音声オーディオデータを、人間代理人に関連する追加のクライアントデバイスにおいてレンダリングさせることと、人間代理人の口頭発話をキャプチャするとともに合成音声のレンダリングに応答して受信されるオーディオデータを、音声認識モデルを使用して処理することと、タスクの実行に関連する結果を、オーディオデータを処理することに基づいて決定することとを含んでよい。それらの実装形態のいくつかのバージョンでは、方法は、タスクの実行に関連する結果に基づいて通知を生成することと、所与のユーザに関連するクライアントデバイスにおいて通知をレンダリングさせることとをさらに含んでよい。
【0134】
いくつかの実装形態では、方法は、追加のプロンプトのうちの1つまたは複数のレンダリングに応答して受信されるさらなる追加のユーザ入力がIVRツリーのナビゲーションを修正しないという決定に応答して、IVRツリーをターゲット状態へナビゲートするために支援型電話通話の実行を継続することをさらに含んでよい。
【0135】
いくつかの実装形態では、方法は、識別されたエンティティに関連するIVRツリーの識別に応答して、識別されたエンティティに関連するIVRツリーをナビゲートすることに関係する1つまたは複数のプロンプトを取得することと、プロンプトのうちの1つまたは複数を、所与のユーザに関連するクライアントデバイスにおいてレンダリングさせることとをさらに含んでよい。追加のユーザ入力は、プロンプトのうちの1つまたは複数がレンダリングされることに応答して受信され得る。
【0136】
いくつかの実装形態では、所与のユーザに関連するクライアントデバイスにおける少なくとも1つのユーザ対話は、識別されたエンティティに関連するクライアントデバイスにおける検索対話、識別されたエンティティに関連するクライアントデバイスにおけるブラウジング対話、または識別されたエンティティに関連するクライアントデバイスにおけるナビゲーション対話のうちの1つまたは複数を含んでよい。
【0137】
いくつかの実装形態では、支援型電話通話をIVRツリーのターゲット状態へ自動的にナビゲートすることは、ユーザ入力または追加のユーザ入力に基づいてIVRツリーをナビゲートするための対応するパラメータに関連する1つまたは複数の値を決定することのうちの1つまたは複数を含んでよい。それらの実装形態のいくつかのバージョンでは、IVRのナビゲーションを修正することは、IVRツリーの代替のターゲット状態をユーザ対話またはさらなる追加のユーザ入力に基づいて決定することを含んでよい。支援型電話通話の修正された実行は、対応するパラメータに関連する値のうちの1つまたは複数に基づいて支援型電話通話をIVRツリーの代替のターゲット状態へ自動的にナビゲートすることを含んでよい。それらの実装形態のいくつかのさらなるバージョンでは、IVRのナビゲーションを修正することは、IVRツリーの1つまたは複数の代替のターゲット状態をユーザ対話またはさらなる追加のユーザ入力に基づいて決定することを含んでよい。支援型電話通話の修正された実行は、対応するパラメータに関連する1つまたは複数の代替の値に基づいて支援型電話通話をIVRツリーのターゲット状態へ自動的にナビゲートすることを含んでよい。
【0138】
いくつかの実装形態では、支援型電話通話をIVRツリーのターゲット状態へ自動的にナビゲートすることは、ターゲット状態に到着するまでIVRツリーを自動的にナビゲートするために、識別されたエンティティに関連する追加のクライアントデバイスにおいてレンダリングされるべき1つもしくは複数のボタン押下をエミュレートすること、ターゲット状態に到着するまでIVRツリーを自動的にナビゲートするために、合成音声を含む合成音声オーディオデータを、識別されたエンティティに関連する追加のクライアントデバイスにおいてレンダリングさせること、またはクライアントデバイスに関連する所与のユーザの口頭発話をキャプチャするオーディオデータを、識別されたエンティティに関連する追加のクライアントデバイスにおいてレンダリングさせることのうちの1つまたは複数を含んでよい。
【0139】
いくつかの実装形態では、1つまたは複数のプロセッサによって実施される方法が提供され、所与のユーザから、かつ所与のユーザに関連するクライアントデバイスの検索インターフェースを介して、ユーザ入力を受信することと、ユーザ入力に基づいて検索クエリをクライアントデバイスの検索インターフェースにおいて発行することと、支援型電話通話中に所与のユーザに代わって関与すべきエンティティに関連する所与の検索結果を、発行された検索クエリに基づいて識別することであって、所与の検索結果が、識別されたエンティティに関連する対話式音声応答(IVR)ツリーに対する複数の候補状態の中からのターゲット状態に関連することと、少なくとも所与の検索結果をクライアントデバイスの検索インターフェースにおいてレンダリングさせることと、所与の検索結果がクライアントデバイスの検索インターフェースにおいてレンダリングされることに応答して、所与のユーザから、かつクライアントデバイスの検索インターフェースを介して、所与の検索結果の選択肢を受信することと、所与の検索結果の選択肢の受信に応答して支援型電話通話の実行を開始することとを含む。支援型電話通話の実行は、支援型電話通話をIVRツリーのターゲット状態へ自動的にナビゲートすることを含む。
【0140】
本明細書で開示する技術のこれらおよび他の実装形態は、以下の特徴のうちの1つまたは複数を随意に含むことができる。
【0141】
いくつかの実装形態では、方法は、エンティティに関連する追加の所与の検索結果を、発行された検索クエリに基づいて識別することをさらに含んでよく、追加の所与の検索結果は、IVRツリーに対して、複数の候補状態のうちの追加のターゲット状態に関連する。それらの実装形態のいくつかのバージョンでは、方法は、追加の所与の検索結果を所与の検索結果と一緒にレンダリングさせることをさらに含んでよい。それらの実装形態のいくつかのさらなるバージョンでは、追加の所与の検索結果を所与の検索結果と一緒にレンダリングさせることは、追加の所与の検索結果よりも目立つように所与の検索結果をレンダリングすることを含んでよい。
【0142】
それらの実装形態のまたさらなるバージョンでは、追加の所与の検索結果よりも目立つように所与の検索結果をレンダリングすることは、クライアントデバイスとの所与のユーザの最近のユーザ対話に基づいて追加の所与の検索結果よりも目立つように所与の検索結果をレンダリングすることを含んでよい。それらの実装形態のまたさらなるバージョンでは、クライアントデバイスとの所与のユーザの最近のユーザ対話は、所与の検索結果に関連するコンテンツに所与のユーザがアクセスすることを含んでよい。それらの実装形態のまたさらなる追加または代替のバージョンでは、追加の所与の検索結果よりも目立つように所与の検索結果をレンダリングすることは、所与の検索結果の評判に基づいて追加の所与の検索結果よりも目立つように所与の検索結果をレンダリングすることを含んでよい。それらの実装形態のまたさらなるバージョンでは、所与の検索結果の評判は、所与の検索結果に関連する、所与のユーザに加えられる複数のユーザのクリックスルーレートに基づいてよい。
【0143】
いくつかの実装形態では、1つまたは複数のプロセッサによって実施される方法が提供され、所与のユーザから、かつ所与のユーザに関連するクライアントデバイスを介して、支援型電話通話を開始するためのユーザ入力を受信することと、支援型電話通話中に所与のユーザに代わって関与すべきエンティティをユーザ入力に基づいて識別することと、識別されたエンティティに関連する対話式音声応答(IVR)ツリーを識別することであって、IVRツリーが複数の候補状態を含むことと、IVRツリーのターゲット状態としての複数の候補状態の利用可能性を、クライアントデバイスまたはクライアントデバイスに関連する所与のユーザに関連するコンテキスト情報に基づいて決定することと、利用可能な複数の候補状態の中からIVRツリーのターゲット状態をユーザ入力または追加のユーザ入力に基づいて決定することと、IVRツリーをターゲット状態へナビゲートするために、支援型電話通話の実行を開始することとを含む。支援型電話通話の実行は、支援型電話通話をIVRツリーのターゲット状態へ自動的にナビゲートすることを含む。
【0144】
本明細書で開示する技術のこれらおよび他の実装形態は、以下の特徴のうちの1つまたは複数を随意に含むことができる。
【0145】
いくつかの実装形態では、コンテキスト情報は、クライアントデバイスに関連してよく、コンテキスト情報は、クライアントデバイスの現在位置、クライアントデバイスの現在位置における現在時間、またはクライアントデバイスの現在位置における現在日のうちの1つまたは複数を含んでよい。それらの実装形態のいくつかのバージョンでは、複数の異種IVRツリーの中から選択される所与のIVRツリーは、クライアントデバイスの現在位置、またはクライアントデバイスの現在位置における現在時間のうちの1つまたは複数に基づいてよい。
【0146】
いくつかの実装形態では、コンテキスト情報は、クライアントデバイスに関連する所与のユーザに関連してよく、コンテキスト情報は、クライアントデバイスにおいて作成されるかもしくはクライアントデバイスにおいて受信される電子通信、所与のユーザのユーザアカウントに関連するユーザアカウント情報、または所与のユーザに関連する金銭的情報のうちの1つまたは複数を含んでよい。それらの実装形態のいくつかのバージョンでは、複数の異種IVRツリーの中から選択される所与のIVRツリーは、クライアントデバイスにおいて作成されるかもしくはクライアントデバイスにおいて受信される電子通信、所与のユーザのユーザアカウントに関連するユーザアカウント情報、または所与のユーザに関連する金銭的情報のうちの1つまたは複数に基づいてよい。
【0147】
加えて、いくつかの実装形態は、1つまたは複数のコンピューティングデバイスの1つまたは複数のプロセッサ(たとえば、中央処理ユニット(CPU)、グラフィックス処理ユニット(GPU、および/またはテンソル処理ユニット(TPU)を含み、ここで、1つまたは複数のプロセッサは、関連するメモリの中に記憶された命令を実行するように動作可能であり、ここで、命令は、上述の方法のうちのいずれかの実行を引き起こすように構成される。いくつかの実装形態はまた、上述の方法のうちのいずれかを実行するために1つまたは複数のプロセッサによって実行可能なコンピュータ命令を記憶する、1つまたは複数の非一時的コンピュータ可読記憶媒体を含む。いくつかの実装形態はまた、上述の方法のうちのいずれかを実行するために1つまたは複数のプロセッサによって実行可能な命令を含む、コンピュータプログラム製品を含む。
【0148】
本明細書でより詳細に説明する上記の概念および追加の概念のすべての組合せが、本明細書で開示する主題の一部であるものとして企図されることを諒解されたい。たとえば、本開示の末尾に掲載する請求される主題のすべての組合せは、本明細書で開示する主題の一部であるものとして企図される。
【符号の説明】
【0149】
110 クライアントデバイス
111 ユーザ入力エンジン
112 デバイス状態エンジン
113 レンダリングエンジン
114 検索エンジン
115 自動アシスタント
120A 音声認識モデル
120A1、120A2 音声認識エンジン
130A 自然言語理解モデル
130A1、130A2 自然言語理解エンジン
140A 音声合成モデル
140A1、140A2 音声合成エンジン
150 支援型電話通話エンジン
151 エンティティ識別エンジン
151A エンティティデータベース
152 対話式音声応答(IVR)エンジン
152A IVRツリーデータベース
153 パラメータエンジン
153A ユーザプロファイルデータベース
154 ユーザ対話エンジン
155 検証エンジン
156 通知エンジン
157 タスク実行エンジン
160 支援型電話通話システム
180 グラフィカルユーザインターフェース
181、182、183 システムインターフェース要素
184 テキスト応答インターフェース要素
185 音声応答インターフェース要素
186 通話詳細インターフェース要素
190 ネットワーク
200 IVRツリー
211 ルートノード
221、222、223 内部ノード
231、232、233、234、235、236 リーフノード
411 URL
420 第1の検索結果
421 通話グラフィカル要素
422 道案内グラフィカル要素
423 部門グラフィカル要素
430 第2の検索結果
431 通話グラフィカル要素
432 道案内グラフィカル要素
433 部門グラフィカル要素
442C 第1の選択可能グラフィカル要素
443C 第2の選択可能グラフィカル要素
444C 第3の選択可能グラフィカル要素
452C1、452C2、452C3、452C4 口頭発話
454C1 合成音声
470 通話詳細インターフェース
471A 第1のグラフィカル要素
471A1 第1の下位要素
471A2 第2の下位要素
471A3 第3の下位要素
472A 第2のグラフィカル要素
473A 第3のグラフィカル要素
479 通知
479B1 第1の提案
479B2 第2の提案
611 URL
620 第1の検索結果
620A1 第1のIVRディープリンク
620A2 第2のIVRディープリンク
620A3 追加のグラフィカル要素
621 通話グラフィカル要素
622 ユーザアカウントグラフィカル要素
623 フライトグラフィカル要素
652D1 発話応答、口頭発話
652D2 口頭発話
652E1 発話応答
654C1 口頭発話
670 通話詳細インターフェース
671 第1のグラフィカル要素
671A 第1の情報
671B 第2の情報
671C グラフィカル要素
672A 第2のグラフィカル要素
673A 第3のグラフィカル要素
679C 通知
679C1、679C2、679C3、679C4、679C5 候補状態
679D、679E 通知
684A 検索クエリ
811A、811C URL
812A、812B 時間および日付情報
820A 検索結果
820C 第1の検索結果
821A、821C 通話グラフィカル要素
822A、822C 道案内グラフィカル要素
823A メニューグラフィカル要素
823C アカウント要素
830C 第2の検索結果
831C 通話グラフィカル要素
832C 道案内グラフィカル要素
833C アカウント要素
871A 第1のグラフィカル要素
871A1 第1の下位要素
871A2 第2の下位要素
871A3 第3の下位要素
871B1 第1の下位要素
871B2 第2の下位要素
871C 第1のグラフィカル要素
871C1 第1の下位要素
871C2 第2の下位要素
871C3 第3の下位要素
871D 第1のグラフィカル要素
871D1 第1の下位要素
871D2 第2の下位要素
871D3 第3の下位要素
872A、872C、872D 第2のグラフィカル要素
873A、873C、873D 第3のグラフィカル要素
870 通話詳細インターフェース
910 コンピューティングデバイス
912 バスサブシステム
914 プロセッサ
916 ネットワークインターフェースサブシステム
920 ユーザインターフェース出力デバイス
922 ユーザインターフェース入力デバイス
924 記憶サブシステム
925 メモリサブシステム
926 ファイル記憶サブシステム
930 ランダムアクセスメモリ(RAM)
932 読取り専用メモリ(ROM)
111 ユーザ入力エンジン
112 デバイス状態エンジン
113 レンダリングエンジン
114 検索エンジン
115 自動アシスタント
120A 音声認識モデル
120A1、120A2 音声認識エンジン
130A 自然言語理解モデル
130A1、130A2 自然言語理解エンジン
140A 音声合成モデル
140A1、140A2 音声合成エンジン
150 支援型電話通話エンジン
151 エンティティ識別エンジン
151A エンティティデータベース
152 対話式音声応答(IVR)エンジン
152A IVRツリーデータベース
153 パラメータエンジン
153A ユーザプロファイルデータベース
154 ユーザ対話エンジン
155 検証エンジン
156 通知エンジン
157 タスク実行エンジン
160 支援型電話通話システム
180 グラフィカルユーザインターフェース
181、182、183 システムインターフェース要素
184 テキスト応答インターフェース要素
185 音声応答インターフェース要素
186 通話詳細インターフェース要素
190 ネットワーク
200 IVRツリー
211 ルートノード
221、222、223 内部ノード
231、232、233、234、235、236 リーフノード
411 URL
420 第1の検索結果
421 通話グラフィカル要素
422 道案内グラフィカル要素
423 部門グラフィカル要素
430 第2の検索結果
431 通話グラフィカル要素
432 道案内グラフィカル要素
433 部門グラフィカル要素
442C 第1の選択可能グラフィカル要素
443C 第2の選択可能グラフィカル要素
444C 第3の選択可能グラフィカル要素
452C1、452C2、452C3、452C4 口頭発話
454C1 合成音声
470 通話詳細インターフェース
471A 第1のグラフィカル要素
471A1 第1の下位要素
471A2 第2の下位要素
471A3 第3の下位要素
472A 第2のグラフィカル要素
473A 第3のグラフィカル要素
479 通知
479B1 第1の提案
479B2 第2の提案
611 URL
620 第1の検索結果
620A1 第1のIVRディープリンク
620A2 第2のIVRディープリンク
620A3 追加のグラフィカル要素
621 通話グラフィカル要素
622 ユーザアカウントグラフィカル要素
623 フライトグラフィカル要素
652D1 発話応答、口頭発話
652D2 口頭発話
652E1 発話応答
654C1 口頭発話
670 通話詳細インターフェース
671 第1のグラフィカル要素
671A 第1の情報
671B 第2の情報
671C グラフィカル要素
672A 第2のグラフィカル要素
673A 第3のグラフィカル要素
679C 通知
679C1、679C2、679C3、679C4、679C5 候補状態
679D、679E 通知
684A 検索クエリ
811A、811C URL
812A、812B 時間および日付情報
820A 検索結果
820C 第1の検索結果
821A、821C 通話グラフィカル要素
822A、822C 道案内グラフィカル要素
823A メニューグラフィカル要素
823C アカウント要素
830C 第2の検索結果
831C 通話グラフィカル要素
832C 道案内グラフィカル要素
833C アカウント要素
871A 第1のグラフィカル要素
871A1 第1の下位要素
871A2 第2の下位要素
871A3 第3の下位要素
871B1 第1の下位要素
871B2 第2の下位要素
871C 第1のグラフィカル要素
871C1 第1の下位要素
871C2 第2の下位要素
871C3 第3の下位要素
871D 第1のグラフィカル要素
871D1 第1の下位要素
871D2 第2の下位要素
871D3 第3の下位要素
872A、872C、872D 第2のグラフィカル要素
873A、873C、873D 第3のグラフィカル要素
870 通話詳細インターフェース
910 コンピューティングデバイス
912 バスサブシステム
914 プロセッサ
916 ネットワークインターフェースサブシステム
920 ユーザインターフェース出力デバイス
922 ユーザインターフェース入力デバイス
924 記憶サブシステム
925 メモリサブシステム
926 ファイル記憶サブシステム
930 ランダムアクセスメモリ(RAM)
932 読取り専用メモリ(ROM)
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図6E】
【図7】
【図8A】
【図8B】
【図8C】
【図8D】
【図9】
【手続補正書】
【提出日】2024-05-22
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
1つまたは複数のプロセッサによって実施される方法であって、
所与のユーザから、かつ前記所与のユーザに関連するクライアントデバイスを介して、支援型電話通話を開始するためのユーザ入力を受信するステップと、
前記支援型電話通話中に前記所与のユーザに代わって関与すべきエンティティを、前記ユーザ入力に基づいて識別するステップと、
前記識別されたエンティティに関連する対話式音声応答(IVR)ツリーを識別するステップであって、前記IVRツリーが複数の候補状態を含む、ステップと、
前記支援型電話通話の実行を開始するステップと、
前記支援型電話通話の実行中に、
前記IVRツリーの前記複数の候補状態の各々に関連する、対応する信頼性レベルを決定するステップと、
前記IVRツリーの前記複数の候補状態の各々に関連する前記対応する信頼性レベルに基づいて、前記ユーザへの提示のために提供されるべき前記IVRツリーの前記候補状態のセットを決定するステップと、
前記IVRツリーの前記候補状態の前記セットを前記ユーザへの提示のために提供させるステップと
を備える方法。
所与のユーザから、かつ前記所与のユーザに関連するクライアントデバイスを介して、支援型電話通話を開始するためのユーザ入力を受信するステップと、
前記支援型電話通話中に前記所与のユーザに代わって関与すべきエンティティを、前記ユーザ入力に基づいて識別するステップと、
前記識別されたエンティティに関連する対話式音声応答(IVR)ツリーを識別するステップであって、前記IVRツリーが複数の候補状態を含む、ステップと、
前記支援型電話通話の実行を開始するステップと、
前記支援型電話通話の実行中に、
前記IVRツリーの前記複数の候補状態の各々に関連する、対応する信頼性レベルを決定するステップと、
前記IVRツリーの前記複数の候補状態の各々に関連する前記対応する信頼性レベルに基づいて、前記ユーザへの提示のために提供されるべき前記IVRツリーの前記候補状態のセットを決定するステップと、
前記IVRツリーの前記候補状態の前記セットを前記ユーザへの提示のために提供させるステップと
を備える方法。
【請求項2】
前記IVRツリーの前記複数の候補状態の各々に関連する前記対応する信頼性レベルは、第１のしきい値信頼性レベルを満たし、前記IVRツリーの前記複数の候補状態の各々に関連する前記対応する信頼性レベルに基づいて前記ユーザへの提示のために提供されるべき前記IVRツリーの前記候補状態の前記セットを決定するステップが、
前記ユーザへの提示のために提供されるべき前記IVRツリーの前記候補状態の前記セットが、前記IVRツリーの前記複数の候補状態の各々を含む、と決定するステップを含む
請求項1に記載の方法。
前記ユーザへの提示のために提供されるべき前記IVRツリーの前記候補状態の前記セットが、前記IVRツリーの前記複数の候補状態の各々を含む、と決定するステップを含む
請求項1に記載の方法。
【請求項3】
前記IVRツリーの前記候補状態の前記セットを前記ユーザへの提示のために提供させるステップが、
前記識別されたエンティティに関連する前記IVRツリーを利用するIVRシステムが前記IVRツリーの前記候補状態のうちのいずれかを識別する合成音声をレンダリングするよりも前に、前記IVRツリーの前記候補状態の前記セットを前記ユーザへの提示のために提供させるステップを含む、
請求項2に記載の方法。
前記識別されたエンティティに関連する前記IVRツリーを利用するIVRシステムが前記IVRツリーの前記候補状態のうちのいずれかを識別する合成音声をレンダリングするよりも前に、前記IVRツリーの前記候補状態の前記セットを前記ユーザへの提示のために提供させるステップを含む、
請求項2に記載の方法。
【請求項4】
前記IVRツリーの前記複数の候補状態のうちの第1のサブセットに関連する前記対応する信頼性レベルが、第1のしきい値信頼性レベルを満たし、前記IVRツリーの前記複数の候補状態のうちの第2のサブセットに関連する前記対応する信頼性レベルが、前記第1のしきい値信頼性レベルを満たさないが、第2のしきい値信頼性レベルを満たし、前記IVRツリーの前記複数の候補状態の各々に関連する前記対応する信頼性レベルに基づいて前記ユーザへの提示のために提供されるべき前記IVRツリーの前記候補状態の前記セットを決定するステップが、
前記ユーザへの提示のために提供されるべき前記IVRツリーの前記候補状態のセットが、前記IVRツリーの前記複数の候補状態のうちの前記第1のサブセットを含むが、前記IVRツリーの前記複数の候補状態のうちの前記第2のサブセットを含まないと決定するステップを含む、
請求項1に記載の方法。
前記ユーザへの提示のために提供されるべき前記IVRツリーの前記候補状態のセットが、前記IVRツリーの前記複数の候補状態のうちの前記第1のサブセットを含むが、前記IVRツリーの前記複数の候補状態のうちの前記第2のサブセットを含まないと決定するステップを含む、
請求項1に記載の方法。
【請求項5】
前記IVRツリーの前記候補状態の前記セットを前記ユーザへの提示のために提供させるステップが、
前記識別されたエンティティに関連する前記IVRツリーを利用するIVRシステムが前記IVRツリーの前記候補状態のうちのいずれかを識別する合成音声をレンダリングするよりも前に、前記IVRツリーの前記候補状態のうちの前記第1のサブセットを前記ユーザへの提示のために提供させるステップを含む、
請求項4に記載の方法。
前記識別されたエンティティに関連する前記IVRツリーを利用するIVRシステムが前記IVRツリーの前記候補状態のうちのいずれかを識別する合成音声をレンダリングするよりも前に、前記IVRツリーの前記候補状態のうちの前記第1のサブセットを前記ユーザへの提示のために提供させるステップを含む、
請求項4に記載の方法。
【請求項6】
前記IVRツリーの前記候補状態の前記セットを前記ユーザへの提示のために提供させるステップが、
前記IVRシステムが、前記IVRツリーの前記候補状態のうちの前記第1のサブセットを識別する合成音声をレンダリングした後で、
前記IVRツリーの前記候補状態のうちの前記第2のサブセットを前記ユーザへの提示のために提供させるステップをさらに含む、
請求項5に記載の方法。
前記IVRシステムが、前記IVRツリーの前記候補状態のうちの前記第1のサブセットを識別する合成音声をレンダリングした後で、
前記IVRツリーの前記候補状態のうちの前記第2のサブセットを前記ユーザへの提示のために提供させるステップをさらに含む、
請求項5に記載の方法。
【請求項7】
前記IVRツリーの前記候補状態のうちの前記第1のサブセットと、前記IVRツリーの前記候補状態のうちの前記第2のサブセットとが、相互に排他的である、請求項4に記載の方法。
【請求項8】
前記IVRツリーの前記複数の候補状態の各々に関連する前記対応する信頼性レベルが、第1のしきい値信頼性レベルを満たさず、また第2のしきい値信頼性レベルも満たさず、前記IVRツリーの前記複数の候補状態の各々に関連する前記対応する信頼性レベルに基づいて前記ユーザへの提示のために提供されるべき前記IVRツリーの前記候補状態の前記セットを決定するステップが、
IVRシステムが、前記IVRツリーの前記候補状態の各々を反復的に識別する対応する合成音声を反復的にレンダリングした後で、
前記ユーザへの提示のために提供されるべき前記IVRツリーの前記候補状態の前記セットが前記IVRツリーの前記候補状態の各々を含むと反復的に決定するステップを含む、
請求項1に記載の方法。
IVRシステムが、前記IVRツリーの前記候補状態の各々を反復的に識別する対応する合成音声を反復的にレンダリングした後で、
前記ユーザへの提示のために提供されるべき前記IVRツリーの前記候補状態の前記セットが前記IVRツリーの前記候補状態の各々を含むと反復的に決定するステップを含む、
請求項1に記載の方法。
【請求項9】
前記IVRツリーの前記候補状態の前記セットを前記ユーザへの提示のために提供させるステップが、
前記IVRツリーの前記候補状態の各々を前記ユーザへの提示のために提供させることを反復的に行うステップをさらに含む、
請求項8に記載の方法。
前記IVRツリーの前記候補状態の各々を前記ユーザへの提示のために提供させることを反復的に行うステップをさらに含む、
請求項8に記載の方法。
【請求項10】
前記IVRツリーの前記複数の候補状態の各々に関連する前記対応する信頼性レベルが、第1のしきい値信頼性レベルを満たさず、また第2のしきい値信頼性レベルも満たさず、前記IVRツリーの前記複数の候補状態の各々に関連する前記対応する信頼性レベルに基づいて前記ユーザへの提示のために提供されるべき前記IVRツリーの前記候補状態の前記セットを決定するステップが、
前記識別されたエンティティに関連する前記IVRツリーを利用するIVRシステムが、前記IVRツリーの前記候補状態の各々を識別する対応する合成音声をレンダリングした後で、
前記ユーザへの提示のために提供されるべき前記IVRツリーの前記候補状態の前記セットが前記IVRツリーの前記候補状態の各々を含むと決定するステップを含む、
請求項1に記載の方法。
前記識別されたエンティティに関連する前記IVRツリーを利用するIVRシステムが、前記IVRツリーの前記候補状態の各々を識別する対応する合成音声をレンダリングした後で、
前記ユーザへの提示のために提供されるべき前記IVRツリーの前記候補状態の前記セットが前記IVRツリーの前記候補状態の各々を含むと決定するステップを含む、
請求項1に記載の方法。
【請求項11】
前記IVRツリーの前記候補状態の前記セットを前記ユーザへの提示のために提供させるステップが、
前記IVRツリーの前記候補状態の各々を前記ユーザへの提示のために提供させるステップをさらに含む、請求項8に記載の方法。
前記IVRツリーの前記候補状態の各々を前記ユーザへの提示のために提供させるステップをさらに含む、請求項8に記載の方法。
【請求項12】
前記IVRツリーの前記候補状態の前記セットを前記ユーザへの提示のために提供させるステップが、
前記IVRツリーの前記候補状態の前記セットに含まれる前記候補状態のうちの対応する１つの候補状態に関連する、対応する選択可能なグラフィカル要素を、前記ユーザへの提示のために提供させるステップを含む、
請求項1に記載の方法。
前記IVRツリーの前記候補状態の前記セットに含まれる前記候補状態のうちの対応する１つの候補状態に関連する、対応する選択可能なグラフィカル要素を、前記ユーザへの提示のために提供させるステップを含む、
請求項1に記載の方法。
【請求項13】
前記対応する選択可能なグラフィカル要素の中から、所与の対応する選択可能なグラフィカル要素のユーザ選択を受信するステップであって、前記所与の対応する選択可能なグラフィカル要素が、前記IVRツリーの前記複数の候補状態のうち前記IVRツリーの所与の候補状態に関連付けられる、受信するステップと、
前記支援型電話通話を、前記所与の対応する選択可能なグラフィカル要素に関連する前記IVRツリーの所与の候補状態に自動的にナビゲートするステップと、
をさらに含む、請求項12に記載の方法。
前記支援型電話通話を、前記所与の対応する選択可能なグラフィカル要素に関連する前記IVRツリーの所与の候補状態に自動的にナビゲートするステップと、
をさらに含む、請求項12に記載の方法。
【請求項14】
前記対応する選択可能なグラフィカル要素の各々が、前記識別されたエンティティに関連する前記IVRツリーを利用するIVRシステムによって生成された合成音声とは異なるテキストコンテンツを含む、請求項12に記載の方法。
【請求項15】
前記IVRツリーの前記複数の候補状態の各々に関連する前記対応する信頼性レベルが、前記識別されたエンティティに関連するが、前記識別されたエンティティに関連する記憶されたIVRツリーとは異なる、IVRツリーをナビゲートすることを含む、前記識別されたエンティティとの支援型電話通話の数量に基づく、請求項1に記載の方法。
【請求項16】
前記支援型電話通話の転写を前記ユーザへの提示のために提供させるステップをさらに含む、請求項1に記載の方法。
【請求項17】
前記支援型電話通話の前記転写が、前記クライアントデバイスのグラフィカルユーザインタフェースの第1の部分において前記ユーザへの提示のために提供され、前記IVRツリーの前記候補状態の前記セットが、前記グラフィカルユーザインタフェースの第2の部分において前記ユーザへの提示のために提供される、請求項16に記載の方法。
【請求項18】
前記クライアントデバイスの前記ユーザが、前記支援型電話通話におけるアクティブな参加者でない、請求項1に記載の方法。
【請求項19】
システムであって、
1つまたは複数のプロセッサと、
命令を記憶するメモリとを備えており、前記命令が、実行されたときに前記1つまたは複数のプロセッサに、
所与のユーザから、かつ前記所与のユーザに関連するクライアントデバイスを介して、支援型電話通話を開始するためのユーザ入力を受信することと、
前記支援型電話通話中に前記所与のユーザに代わって関与すべきエンティティを、前記ユーザ入力に基づいて識別することと、
前記識別されたエンティティに関連する対話式音声応答(IVR)ツリーを識別することであって、前記IVRツリーが複数の候補状態を含む、識別することと、
前記支援型電話通話の実行を開始することと、
前記支援型電話通話の実行中に、
前記IVRツリーの前記複数の候補状態の各々に関連する、対応する信頼性レベルを決定することと、
前記IVRツリーの前記複数の候補状態の各々に関連する前記対応する信頼性レベルに基づいて、前記ユーザへの提示のために提供されるべき前記IVRツリーの前記候補状態のセットを決定することと、
前記IVRツリーの前記候補状態の前記セットを前記ユーザへの提示のために提供させることとと
を行うことを可能にする、システム。
1つまたは複数のプロセッサと、
命令を記憶するメモリとを備えており、前記命令が、実行されたときに前記1つまたは複数のプロセッサに、
所与のユーザから、かつ前記所与のユーザに関連するクライアントデバイスを介して、支援型電話通話を開始するためのユーザ入力を受信することと、
前記支援型電話通話中に前記所与のユーザに代わって関与すべきエンティティを、前記ユーザ入力に基づいて識別することと、
前記識別されたエンティティに関連する対話式音声応答(IVR)ツリーを識別することであって、前記IVRツリーが複数の候補状態を含む、識別することと、
前記支援型電話通話の実行を開始することと、
前記支援型電話通話の実行中に、
前記IVRツリーの前記複数の候補状態の各々に関連する、対応する信頼性レベルを決定することと、
前記IVRツリーの前記複数の候補状態の各々に関連する前記対応する信頼性レベルに基づいて、前記ユーザへの提示のために提供されるべき前記IVRツリーの前記候補状態のセットを決定することと、
前記IVRツリーの前記候補状態の前記セットを前記ユーザへの提示のために提供させることとと
を行うことを可能にする、システム。
【請求項20】
命令を記憶するコンピュータ可読記憶媒体であって、前記命令が、実行されたときに1つまたは複数のプロセッサに、
所与のユーザから、かつ前記所与のユーザに関連するクライアントデバイスを介して、支援型電話通話を開始するためのユーザ入力を受信することと、
前記支援型電話通話中に前記所与のユーザに代わって関与すべきエンティティを、前記ユーザ入力に基づいて識別することと、
前記識別されたエンティティに関連する対話式音声応答(IVR)ツリーを識別することであって、前記IVRツリーが複数の候補状態を含む、識別することと、
前記支援型電話通話の実行を開始することと、
前記支援型電話通話の実行中に、
前記IVRツリーの前記複数の候補状態の各々に関連する、対応する信頼性レベルを決定することと、
前記IVRツリーの前記複数の候補状態の各々に関連する前記対応する信頼性レベルに基づいて、前記ユーザへの提示のために提供されるべき前記IVRツリーの前記候補状態のセットを決定することと、
前記IVRツリーの前記候補状態の前記セットを前記ユーザへの提示のために提供させることとと
を含む動作を実行可能にする、コンピュータ可読記憶媒体。
所与のユーザから、かつ前記所与のユーザに関連するクライアントデバイスを介して、支援型電話通話を開始するためのユーザ入力を受信することと、
前記支援型電話通話中に前記所与のユーザに代わって関与すべきエンティティを、前記ユーザ入力に基づいて識別することと、
前記識別されたエンティティに関連する対話式音声応答(IVR)ツリーを識別することであって、前記IVRツリーが複数の候補状態を含む、識別することと、
前記支援型電話通話の実行を開始することと、
前記支援型電話通話の実行中に、
前記IVRツリーの前記複数の候補状態の各々に関連する、対応する信頼性レベルを決定することと、
前記IVRツリーの前記複数の候補状態の各々に関連する前記対応する信頼性レベルに基づいて、前記ユーザへの提示のために提供されるべき前記IVRツリーの前記候補状態のセットを決定することと、
前記IVRツリーの前記候補状態の前記セットを前記ユーザへの提示のために提供させることとと
を含む動作を実行可能にする、コンピュータ可読記憶媒体。
【請求項21】
1つまたは複数のプロセッサによって実施される方法であって、
所与のユーザから、かつ前記所与のユーザに関連するクライアントデバイスの検索インターフェースを介して、ユーザ入力を受信するステップと、
前記ユーザ入力に基づく検索クエリを前記クライアントデバイスの前記検索インターフェースにおいて発行するステップと、
支援型電話通話中に前記所与のユーザに代わって関与すべきエンティティに関連する所与の検索結果を、前記発行された検索クエリに基づいて識別するステップであって、前記所与の検索結果が、前記識別されたエンティティに関連する対話式音声応答(IVR)ツリーに関する複数の候補状態の中からのターゲット状態に関連する、ステップと、
少なくとも前記所与の検索結果を前記クライアントデバイスの前記検索インターフェースにおいてレンダリングさせるステップと、
前記所与の検索結果が前記クライアントデバイスの前記検索インターフェースにおいてレンダリングされることに応答して、前記所与のユーザから、かつ前記クライアントデバイスの前記検索インターフェースを介して、前記所与の検索結果の選択を受信するステップと、
前記所与の検索結果の前記選択の受信に応答して前記支援型電話通話の実行を開始するステップとを備え、前記支援型電話通話の実行が、前記支援型電話通話を前記IVRツリーの前記ターゲット状態へ自動的にナビゲートするステップを備える、
方法。
所与のユーザから、かつ前記所与のユーザに関連するクライアントデバイスの検索インターフェースを介して、ユーザ入力を受信するステップと、
前記ユーザ入力に基づく検索クエリを前記クライアントデバイスの前記検索インターフェースにおいて発行するステップと、
支援型電話通話中に前記所与のユーザに代わって関与すべきエンティティに関連する所与の検索結果を、前記発行された検索クエリに基づいて識別するステップであって、前記所与の検索結果が、前記識別されたエンティティに関連する対話式音声応答(IVR)ツリーに関する複数の候補状態の中からのターゲット状態に関連する、ステップと、
少なくとも前記所与の検索結果を前記クライアントデバイスの前記検索インターフェースにおいてレンダリングさせるステップと、
前記所与の検索結果が前記クライアントデバイスの前記検索インターフェースにおいてレンダリングされることに応答して、前記所与のユーザから、かつ前記クライアントデバイスの前記検索インターフェースを介して、前記所与の検索結果の選択を受信するステップと、
前記所与の検索結果の前記選択の受信に応答して前記支援型電話通話の実行を開始するステップとを備え、前記支援型電話通話の実行が、前記支援型電話通話を前記IVRツリーの前記ターゲット状態へ自動的にナビゲートするステップを備える、
方法。
【請求項22】
前記エンティティに関連する追加の所与の検索結果を、前記発行された検索クエリに基づいて識別するステップをさらに備え、前記追加の所与の検索結果が、前記IVRツリーに関して、前記複数の候補状態のうちの追加のターゲット状態に関連する、
請求項21に記載の方法。
請求項21に記載の方法。
【請求項23】
前記追加の所与の検索結果を前記所与の検索結果と一緒にレンダリングさせるステップ
をさらに備える、請求項22に記載の方法。
をさらに備える、請求項22に記載の方法。
【請求項24】
前記追加の所与の検索結果を前記所与の検索結果と一緒にレンダリングさせるステップが、前記追加の所与の検索結果よりも目立つように前記所与の検索結果をレンダリングするステップを備える、請求項23に記載の方法。
【請求項25】
前記追加の所与の検索結果よりも目立つように前記所与の検索結果をレンダリングするステップが、前記クライアントデバイスとの前記所与のユーザの最近のユーザ対話に基づいて前記追加の所与の検索結果よりも目立つように前記所与の検索結果をレンダリングするステップを備える、請求項24に記載の方法。
【請求項26】
前記クライアントデバイスとの前記所与のユーザの前記最近のユーザ対話が、前記所与の検索結果に関連するコンテンツに前記所与のユーザがアクセスするステップを含む、請求項25に記載の方法。
【請求項27】
前記追加の所与の検索結果よりも目立つように前記所与の検索結果をレンダリングするステップが、前記所与の検索結果の評判に基づいて前記追加の所与の検索結果よりも目立つように前記所与の検索結果をレンダリングするステップを備える、請求項24に記載の方法。
【請求項28】
前記所与の検索結果の前記評判が、前記所与の検索結果に関連する、前記所与のユーザに加えて複数のユーザのクリックスルーレートに基づく、請求項27に記載の方法。
【請求項29】
システムであって、
少なくとも1つのプロセッサと、
命令を記憶するメモリとを備えており、前記命令が、実行されたときに前記少なくとも1つのプロセッサに、
所与のユーザから、かつ前記所与のユーザに関連するクライアントデバイスの検索インターフェースを介して、ユーザ入力を受信することと、
前記ユーザ入力に基づく検索クエリを前記クライアントデバイスの前記検索インターフェースにおいて発行することと、
支援型電話通話中に前記所与のユーザに代わって関与すべきエンティティに関連する所与の検索結果を、前記発行された検索クエリに基づいて識別することであって、前記所与の検索結果が、前記識別されたエンティティに関連する対話式音声応答(IVR)ツリーに関する複数の候補状態の中からのターゲット状態に関連する、識別することと、
少なくとも前記所与の検索結果を前記クライアントデバイスの前記検索インターフェースにおいてレンダリングさせることと、
前記所与の検索結果が前記クライアントデバイスの前記検索インターフェースにおいてレンダリングされることに応答して、前記所与のユーザから、かつ前記クライアントデバイスの前記検索インターフェースを介して、前記所与の検索結果の選択を受信することと、
前記所与の検索結果の前記選択の受信に応答して前記支援型電話通話の実行を開始することとを実行させ、前記支援型電話通話の実行を開始するための命令が、前記支援型電話通話を前記IVRツリーの前記ターゲット状態へ自動的にナビゲートするための命令を備える、
システム。
少なくとも1つのプロセッサと、
命令を記憶するメモリとを備えており、前記命令が、実行されたときに前記少なくとも1つのプロセッサに、
所与のユーザから、かつ前記所与のユーザに関連するクライアントデバイスの検索インターフェースを介して、ユーザ入力を受信することと、
前記ユーザ入力に基づく検索クエリを前記クライアントデバイスの前記検索インターフェースにおいて発行することと、
支援型電話通話中に前記所与のユーザに代わって関与すべきエンティティに関連する所与の検索結果を、前記発行された検索クエリに基づいて識別することであって、前記所与の検索結果が、前記識別されたエンティティに関連する対話式音声応答(IVR)ツリーに関する複数の候補状態の中からのターゲット状態に関連する、識別することと、
少なくとも前記所与の検索結果を前記クライアントデバイスの前記検索インターフェースにおいてレンダリングさせることと、
前記所与の検索結果が前記クライアントデバイスの前記検索インターフェースにおいてレンダリングされることに応答して、前記所与のユーザから、かつ前記クライアントデバイスの前記検索インターフェースを介して、前記所与の検索結果の選択を受信することと、
前記所与の検索結果の前記選択の受信に応答して前記支援型電話通話の実行を開始することとを実行させ、前記支援型電話通話の実行を開始するための命令が、前記支援型電話通話を前記IVRツリーの前記ターゲット状態へ自動的にナビゲートするための命令を備える、
システム。
【請求項30】
前記命令が前記少なくとも１つのプロセッサに、
前記エンティティに関連する追加の所与の検索結果を、前記発行された検索クエリに基づいて識別することであって、前記追加の所与の検索結果が、前記IVRツリーに関して、前記複数の候補状態のうちの追加のターゲット状態に関連する、識別すること
をさらに実行させる、請求項29に記載のシステム。
前記エンティティに関連する追加の所与の検索結果を、前記発行された検索クエリに基づいて識別することであって、前記追加の所与の検索結果が、前記IVRツリーに関して、前記複数の候補状態のうちの追加のターゲット状態に関連する、識別すること
をさらに実行させる、請求項29に記載のシステム。
【請求項31】
前記命令が前記少なくとも１つのプロセッサに、
前記追加の所与の検索結果を前記所与の検索結果と一緒にレンダリングさせること
をさらに実行させる、請求項30に記載のシステム。
前記追加の所与の検索結果を前記所与の検索結果と一緒にレンダリングさせること
をさらに実行させる、請求項30に記載のシステム。
【請求項32】
前記追加の所与の検索結果を前記所与の検索結果と一緒にレンダリングさせるための命令が、前記追加の所与の検索結果よりも目立つように前記所与の検索結果をレンダリングするための命令を備える、請求項31に記載のシステム。
【請求項33】
前記追加の所与の検索結果よりも目立つように前記所与の検索結果をレンダリングするための命令が、前記クライアントデバイスとの前記所与のユーザの最近のユーザ対話に基づいて前記追加の所与の検索結果よりも目立つように前記所与の検索結果をレンダリングするための命令を備える、請求項32に記載のシステム。
【請求項34】
前記クライアントデバイスとの前記所与のユーザの前記最近のユーザ対話が、前記所与の検索結果に関連するコンテンツに前記所与のユーザがアクセスすることを含む、請求項33に記載のシステム。
【請求項35】
前記追加の所与の検索結果よりも目立つように前記所与の検索結果をレンダリングするための命令が、前記所与の検索結果の評判に基づいて前記追加の所与の検索結果よりも目立つように前記所与の検索結果をレンダリングするための命令を備える、請求項32に記載のシステム。
【請求項36】
前記所与の検索結果の前記評判が、前記所与の検索結果に関連する、前記所与のユーザに加えて複数のユーザのクリックスルーレートに基づく、請求項35に記載のシステム。
【請求項37】
命令を記憶するコンピュータ可読記憶媒体であって、前記命令が、実行されたときに1つまたは複数のプロセッサに、
所与のユーザから、かつ前記所与のユーザに関連するクライアントデバイスの検索インターフェースを介して、ユーザ入力を受信することと、
前記ユーザ入力に基づく検索クエリを前記クライアントデバイスの前記検索インターフェースにおいて発行することと、
支援型電話通話中に前記所与のユーザに代わって関与すべきエンティティに関連する所与の検索結果を、前記発行された検索クエリに基づいて識別することであって、前記所与の検索結果が、前記識別されたエンティティに関連する対話式音声応答(IVR)ツリーに関する複数の候補状態の中からのターゲット状態に関連する、識別することと、
少なくとも前記所与の検索結果を前記クライアントデバイスの前記検索インターフェースにおいてレンダリングさせることと、
前記所与の検索結果が前記クライアントデバイスの前記検索インターフェースにおいてレンダリングされることに応答して、前記所与のユーザから、かつ前記クライアントデバイスの前記検索インターフェースを介して、前記所与の検索結果の選択を受信することと、
前記所与の検索結果の前記選択の受信に応答して前記支援型電話通話の実行を開始することであって、前記支援型電話通話の実行が、前記支援型電話通話を前記IVRツリーの前記ターゲット状態へ自動的にナビゲートすることを含む、開始することと、
を含む動作を実行させる、コンピュータ可読記憶媒体。
所与のユーザから、かつ前記所与のユーザに関連するクライアントデバイスの検索インターフェースを介して、ユーザ入力を受信することと、
前記ユーザ入力に基づく検索クエリを前記クライアントデバイスの前記検索インターフェースにおいて発行することと、
支援型電話通話中に前記所与のユーザに代わって関与すべきエンティティに関連する所与の検索結果を、前記発行された検索クエリに基づいて識別することであって、前記所与の検索結果が、前記識別されたエンティティに関連する対話式音声応答(IVR)ツリーに関する複数の候補状態の中からのターゲット状態に関連する、識別することと、
少なくとも前記所与の検索結果を前記クライアントデバイスの前記検索インターフェースにおいてレンダリングさせることと、
前記所与の検索結果が前記クライアントデバイスの前記検索インターフェースにおいてレンダリングされることに応答して、前記所与のユーザから、かつ前記クライアントデバイスの前記検索インターフェースを介して、前記所与の検索結果の選択を受信することと、
前記所与の検索結果の前記選択の受信に応答して前記支援型電話通話の実行を開始することであって、前記支援型電話通話の実行が、前記支援型電話通話を前記IVRツリーの前記ターゲット状態へ自動的にナビゲートすることを含む、開始することと、
を含む動作を実行させる、コンピュータ可読記憶媒体。
【請求項38】
前記動作が、
前記エンティティに関連する追加の所与の検索結果を、前記発行された検索クエリに基づいて識別することをさらに備え、前記追加の所与の検索結果が、前記IVRツリーに関して、前記複数の候補状態のうちの追加のターゲット状態に関連する、
請求項37に記載のコンピュータ可読記憶媒体。
前記エンティティに関連する追加の所与の検索結果を、前記発行された検索クエリに基づいて識別することをさらに備え、前記追加の所与の検索結果が、前記IVRツリーに関して、前記複数の候補状態のうちの追加のターゲット状態に関連する、
請求項37に記載のコンピュータ可読記憶媒体。
【請求項39】
前記動作が、
前記追加の所与の検索結果を前記所与の検索結果と一緒にレンダリングさせること
をさらに備える、請求項38に記載のコンピュータ可読記憶媒体。
前記追加の所与の検索結果を前記所与の検索結果と一緒にレンダリングさせること
をさらに備える、請求項38に記載のコンピュータ可読記憶媒体。
【請求項40】
少なくとも1つのプロセッサと、
実行されたとき、請求項1から18および請求項21から28のいずれか一項に記載の方法を前記少なくとも1つのプロセッサに実行させる命令を記憶するメモリと
を備える少なくとも1つのコンピューティングデバイス。
実行されたとき、請求項1から18および請求項21から28のいずれか一項に記載の方法を前記少なくとも1つのプロセッサに実行させる命令を記憶するメモリと
を備える少なくとも1つのコンピューティングデバイス。
【請求項41】
実行されたとき、請求項1から18および請求項21から28のいずれか一項に記載の方法を少なくとも1つのプロセッサに実行させる命令を記憶する、コンピュータ可読記憶媒体。
【外国語明細書】