IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 北京字跳▲網▼絡技▲術▼有限公司の特許一覧 ▶ レモン インコーポレイテッドの特許一覧

特開2024-138149情報対話のための方法、装置、デバイス、及び記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024138149
(43)【公開日】2024-10-07
(54)【発明の名称】情報対話のための方法、装置、デバイス、及び記憶媒体
(51)【国際特許分類】
   G06F 3/0481 20220101AFI20240927BHJP
   G06F 3/04842 20220101ALI20240927BHJP
   G06F 3/14 20060101ALI20240927BHJP
【FI】
G06F3/0481
G06F3/04842
G06F3/14 340A
G06F3/14 340B
【審査請求】有
【請求項の数】20
【出願形態】OL
【公開請求】
(21)【出願番号】P 2024122624
(22)【出願日】2024-07-29
(31)【優先権主張番号】202310946825.1
(32)【優先日】2023-07-28
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】521431088
【氏名又は名称】北京字跳▲網▼絡技▲術▼有限公司
【氏名又は名称原語表記】Beijing Zitiao Network Technology Co., Ltd.
【住所又は居所原語表記】0207, 2/F, Building 4, Zijin Digital Park, Haidian District, Beijing,P. R. China
(71)【出願人】
【識別番号】521388058
【氏名又は名称】レモン インコーポレイテッド
【氏名又は名称原語表記】Lemon Inc.
(74)【代理人】
【識別番号】110004381
【氏名又は名称】弁理士法人ITOH
(72)【発明者】
【氏名】イグオ,ワン
(72)【発明者】
【氏名】ヤン,リィウ
(72)【発明者】
【氏名】ボウェン,ジャオ
(72)【発明者】
【氏名】インディ,スン
(72)【発明者】
【氏名】イビン,ジュ
(57)【要約】
【課題】ユーザとデジタルアシスタントとの対話の柔軟性を向上させること。
【解決手段】 本発明に係る実施例は、情報対話のための方法、装置、デバイス、及び記憶媒体を提供する。情報対話のための方法において、第1ページにおいてデジタルアシスタントを呼び起こす操作に応答して、第1ユーザとデジタルアシスタントとの第1対話ウィンドウを展示し、また、第1対話ウィンドウにおいてデフォルトで選択された1つまたは複数のプラグインを展示し、ここで、デフォルトで選択された1つまたは複数のプラグインは、第1ページと第1関連関係を有し、各プラグインは、対応する機能を実行するように構成される。したがって、対話ウィンドウにおいてデフォルトでユーザに対してプラグインを選択することができる。当該方法によると、ユーザとデジタルアシスタントとの対話プロセスにおいてプラグインを利用して多様化な操作を効率的に完成することができる。
【選択図】図12A
【特許請求の範囲】
【請求項1】
第1ページにおいてデジタルアシスタントを呼び起こす操作に応答して、第1ユーザと前記デジタルアシスタントとの第1対話ウィンドウを展示することと、
前記第1対話ウィンドウにおいてデフォルトで選択された1つまたは複数のプラグインを展示することと、を含み、
前記デフォルトで選択された1つまたは複数のプラグインは、前記第1ページと第1関連関係を有し、各プラグインは、対応する機能を実行するように構成される、
情報対話の方法。
【請求項2】
前記第1ユーザと前記デジタルアシスタントとが対話するメイン会話ウィンドウを呼び起こす操作に応答して、前記第1ユーザと前記デジタルアシスタントとのメイン会話ウィンドウを展示することをさらに含み、
前記メイン会話ウィンドウが配置されるアプリケーションは、第1ウィンドウが配置されるアプリケーションとは異なるアプリケーションである、
請求項1に記載の方法。
【請求項3】
前記方法は、
前記メイン会話ウィンドウにおいてプラグイン選択コントロールを展示すること、
前記第1対話ウィンドウ内の対話メッセージを前記第1ユーザと前記デジタルアシスタントとが対話するメイン会話ウィンドウ内に同期させること、のうちの1つまたは複数をさらに含む、
請求項2に記載の方法。
【請求項4】
ユーザのプラグイン選択操作に応答して、前記第1対話ウィンドウにおいてユーザが選択したプラグインを展示することをさらに含む、
請求項1に記載の方法。
【請求項5】
前記第1関連関係は、
第1ウィンドウが配置されるアプリケーションのビジネス種類との間の関連関係、
前記第1ページに呈出されたコンテンツとの間の関連関係、
前記第1ページに呈出されたコンテンツから選択された一部のコンテンツとの間の関連関係、
前記第1ページにおける前記第1ユーザと前記デジタルアシスタントの履歴話題との間の関連関係、のうちの1つまたは複数を含む、
請求項1に記載の方法。
【請求項6】
第1ユーザとデジタルアシスタントとの会話ウィンドウにおいて第1話題を開始する操作に応答して、前記第1話題の対話において使用するプラグインを選択するために、前記会話ウィンドウにおいて前記第1話題に関連する第1プラグイン選択コントロールを展示することと、
前記会話ウィンドウにおいて第2話題を開始する操作に応答して、前記第2話題の対話において使用するプラグインを選択するために、前記第2話題に関連する第2プラグイン選択コントロールを呈出することと、を含む、
情報対話の方法。
【請求項7】
前記第1話題に関連する第1プラグイン選択コントロールは、前記第1話題と前の話題との分割線の近くに展示され、また、
前記第2話題に関連する第2プラグイン選択コントロールは、前記第1話題と前記第2話題との分割線の近くに展示される、
請求項6に記載の方法。
【請求項8】
第1ユーザとデジタルアシスタントとの対話ウィンドウにおいて、話題におけるプラグインに関連するインターフェース要素を呈出し、前記インターフェース要素を利用して対応する話題において使用されるプラグインが選択可能または照会可能であることであって、各プラグインは対応する機能を実行するように構成されることと、
前記対話ウィンドウ内で、前記第1ユーザと前記デジタルアシスタントとの現在話題の対話中に、前記現在話題において選択されたプラグインに基づいて前記第1ユーザによって要求されたタスクを実行することと、を含む、
情報対話の方法。
【請求項9】
話題におけるプラグインに関連するインターフェース要素を呈出することは、
前記対話ウィンドウにおいて前記現在話題を開始する操作に応答して、前記現在話題におけるプラグインに関連する第1インターフェース要素を呈出し、前記第1インターフェース要素によって前記現在話題において使用されるプラグインが選択可能であることを含む、
請求項8に記載の方法。
【請求項10】
前記対話ウィンドウにおいて、履歴話題におけるプラグインに関連する第2インターフェース要素によって前記履歴話題において使用されるプラグインが照会可能である、
請求項8に記載の方法。
【請求項11】
前記現在話題において少なくとも1つの会話メッセージが受信されたことに応答して、前記現在話題において選択されたプラグインの変更を無効にすることをさらに含む、
請求項8に記載の方法。
【請求項12】
話題におけるプラグインに関連する前記インターフェース要素は、
対応する話題に関連するプラグイン選択パネルであって、プラグインリストを含むプラグイン選択パネル、または、
前記プラグイン選択パネルの呈出をトリガするためのプラグイン選択コントロール、のうちの少なくとも1つを含む、
請求項9に記載の方法。
【請求項13】
前記現在話題に関連するプラグイン選択パネルに対する第1プラグイン選択コントロールは、前記対話ウィンドウにおいて上部に呈出される、
請求項12に記載の方法。
【請求項14】
前記プラグイン選択パネルにおいて、前記プラグインリストからプラグインを検索するためのプラグイン検索機能を提供する、
請求項12に記載の方法。
【請求項15】
前記プラグインリストの中の第1プラグインに対する詳細情報照会要求に応答して、前記第1プラグインの詳細情報パネルを提供することであって、前記詳細情報パネルは、少なくとも前記第1プラグインの機能に対する説明を含むことをさらに含む、
請求項12に記載の方法。
【請求項16】
前記対話ウィンドウは、目標コンテンツに関連して呈出され、前記第1ユーザと前記デジタルアシスタントとの前記対話ウィンドウの話題における対話は、少なくとも前記目標コンテンツをコンテキストとし、前記対話ウィンドウの話題において選択可能なプラグインは、前記目標コンテンツに基づいて決定される、
請求項8に記載の方法。
【請求項17】
対応する話題において少なくとも1つのプラグインが選択されると、前記対応する話題におけるプラグインに関連するインターフェース要素は、前記少なくとも1つのプラグインのうちの1つまたは複数のプラグインの識別情報を含む、
請求項8に記載の方法。
【請求項18】
前記対話ウィンドウにおいて前記デジタルアシスタントの第1返信を呈出することであって、前記第1返信は前記タスクの実行結果と前記タスクの実行に使用されるプラグインの識別情報とを含むことをさらに含む、
請求項8に記載の方法。
【請求項19】
電子デバイスであって、
少なくとも1つの処理ユニットと、
前記少なくとも1つの処理ユニットに結合され、前記少なくとも1つの処理ユニットによって実行されるための命令を記憶し、前記命令が前記少なくとも1つの処理ユニットによって実行されると、請求項1~5のいずれか1項に記載の方法、請求項6に記載の方法、または、請求項8~18のいずれか1項に記載の方法を前記電子デバイスに実行させる少なくとも1つのメモリと、備える、
電子デバイス。
【請求項20】
コンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサによって実行されると、請求項1~5のいずれか1項に記載の方法、請求項6に記載の方法、または、請求項8~18のいずれか1項に記載の方法が実現される、
コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の例示的な実施例は、一般にコンピュータ分野に関し、特に、情報対話のための方法、装置、デバイス、及びコンピュータ可読記憶媒体に関する。
【背景技術】
【0002】
インターネット技術の急速な発展に伴い、インターネットは、既に人々がコンテンツを取得し、共有する重要なプラットフォームになり、ユーザは端末デバイスを通じてインターネットにアクセスし、様々なインターネットサービスを享受することができる。端末デバイスは、アプリケーションのユーザインターフェースを通じて対応するコンテンツを呈出して、ユーザとの対話を実現し、ユーザにサービスを提供する。したがって、多彩なアプリケーションの対話インターフェースは、ユーザ体験を向上させる重要な手段である。情報技術の発展に伴い、様々な端末デバイスは、仕事や生活などにおいて人々に様々なサービスを提供する。例えば、端末デバイスには、サービスを提供するためのアプリケーションが配備されていてもよい。端末デバイスまたはアプリケーションは、ユーザにデジタルアシスタントタイプの機能を提供することにより、ユーザの端末デバイスまたはアプリケーションの使用を支援することができる。ユーザとデジタルアシスタントとの対話の柔軟性をどのように向上させることができるかは、現在検討されている技術的問題である。
【発明の概要】
【0003】
本発明の第1の態様は、情報対話の方法を提供する。当該方法は、第1ページにおいてデジタルアシスタントを呼び起こす(呼び出す)操作に応答して、第1ユーザとデジタルアシスタントとの第1対話ウィンドウを展示することと、第1対話ウィンドウにおいてデフォルトで選択された1つまたは複数のプラグインを展示することと、を含み、ここで、デフォルトで選択された1つまたは複数のプラグインは、第1ページと第1関連関係を有し、各プラグインは、対応する機能を実行するように構成される。
【0004】
本発明の第2の態様は、情報対話の方法を提供する。当該方法は、第1ユーザとデジタルアシスタントとが対話するメイン会話ウィンドウを呼び起こす操作に応答して、第1ユーザとデジタルアシスタントとのメイン会話ウィンドウを展示し、メイン会話ウィンドウにおいて使用するプラグインを選択するために、メイン会話ウィンドウにおいてプラグイン選択コントロールを展示することと、第1ページにおいてデジタルアシスタントを呼び起こす操作に応答して、第1ユーザとデジタルアシスタントとの第1対話ウィンドウを展示することと、第1対話ウィンドウにおいて、第1対話ウィンドウにおいて使用するプラグインを選択するために、プラグイン選択コントロールを展示することと、を含む。
【0005】
本発明の第3の態様は、情報対話の方法を提供する。当該方法は、第1ユーザとデジタルアシスタントとの会話ウィンドウにおいて第1話題を開始する操作に応答して、会話ウィンドウにおいて、第1話題の対話において使用するプラグインを選択するために、第1話題に関連する第1プラグイン選択コントロールを展示することと、会話ウィンドウにおいて第2話題を開始する操作に応答して、第2話題の対話において使用するプラグインを選択するために、第2話題に関連する第2プラグイン選択コントロールを呈出することと、を含む。
【0006】
本発明の第4の態様は、情報対話の方法を提供する。当該方法は、第1ユーザとデジタルアシスタントとの対話ウィンドウにおいて、話題におけるプラグインに関連するインターフェース要素を呈出し、インターフェース要素を利用して対応する話題において使用されるプラグインが選択可能または照会可能であることであって、各プラグインは対応する機能を実行するように構成されることと、対話ウィンドウ内で、第1ユーザとデジタルアシスタントとの現在話題の対話中に、現在話題において選択されたプラグインに基づいて第1ユーザによって要求されたタスクを実行することと、を含む。
【0007】
本発明の第5の態様は、情報対話のための装置を提供する。当該装置は、第1ページにおいてデジタルアシスタントを呼び起こす操作に応答して、第1ユーザとデジタルアシスタントとの第1対話ウィンドウを展示するための第1対話ウィンドウ展示モジュールと、第1対話ウィンドウにおいてデフォルトで選択された1つまたは複数のプラグインを展示するためのプラグイン展示モジュールと、を備え、ここで、デフォルトで選択された1つまたは複数のプラグインは、第1ページと第1関連関係を有し、各プラグインは、対応する機能を実行するように構成される。
【0008】
本発明の第6の態様は、情報対話のための装置を提供する。当該装置は、第1ユーザとデジタルアシスタントとが対話するメイン会話ウィンドウを呼び起こす操作に応答して、第1ユーザとデジタルアシスタントとのメイン会話ウィンドウを展示し、メイン会話ウィンドウにおいて使用するプラグインを選択するために、メイン会話ウィンドウにおいてプラグイン選択コントロールを展示するために、メイン会話ウィンドウ展示モジュールと、第1ページにおいてデジタルアシスタントを呼び起こす操作に応答して、第1ユーザとデジタルアシスタントとの第1対話ウィンドウを展示し、第1対話ウィンドウにおいて、第1対話ウィンドウにおいて使用するプラグインを選択するために、プラグイン選択コントロールを展示するために、第1対話ウィンドウ展示モジュールと、を備える。
【0009】
本発明の第7の態様は、情報対話のための装置を提供する。当該装置は、第1ユーザとデジタルアシスタントとの会話ウィンドウにおいて第1話題を開始する操作に応答して、会話ウィンドウにおいて、第1話題の対話において使用するプラグインを選択するために、第1話題に関連する第1プラグイン選択コントロールを展示するための第1プラグイン選択コントロール展示モジュールと、会話ウィンドウにおいて第2話題を開始する操作に応答して、第2話題の対話において使用するプラグインを選択するために、第2話題に関連する第2プラグイン選択コントロールを呈出するための第2プラグイン選択コントロール呈出モジュールと、を備える。
【0010】
本発明の第8の態様は、情報対話のための装置を提供する。当該装置は、第1ユーザとデジタルアシスタントとの対話ウィンドウにおいて、話題におけるプラグインに関連するインターフェース要素を呈出し、インターフェース要素を利用して対応する話題において使用されるプラグインが選択可能または照会可能であるインターフェース要素呈出モジュールであって、各プラグインは対応する機能を実行するように構成されるインターフェース要素呈出モジュールと、対話ウィンドウ内で、第1ユーザとデジタルアシスタントとの現在話題の対話中に、現在話題において選択されたプラグインに基づいて第1ユーザによって要求されたタスクを実行するためのタスク実行モジュールと、を備える。
【0011】
本発明の第9の態様は、電子デバイスを提供する。当該デバイスは、少なくとも1つの処理ユニットと、少なくとも1つのメモリとを備え、少なくとも1つのメモリは、少なくとも1つの処理ユニットに結合され、少なくとも1つの処理ユニットによって実行されるための命令を記憶する。命令が少なくとも1つの処理ユニットに実行される際に、第1の態様の方法、第2の態様の方法、第3の態様の方法または第4の態様の方法をデバイスに実行させる。
【0012】
本発明の第10の態様は、コンピュータ可読記憶媒体を提供する。当該コンピュータ可読記憶媒体には、コンピュータプログラムが記憶されており、コンピュータプログラムがプロセッサによって実行されて、第1の態様の方法、第2の態様の方法、第3の態様の方法または第4の態様の方法が実現される。
【0013】
本発明の概要の部分で説明される内容は、本発明の実施例の主要な特徴または重要な特徴を限定することを意図したものではなく、本発明の範囲を限制することを意図したものでもないことを理解されたい。本発明の他の特徴は、以下の説明によって容易に理解されるようになる。
【図面の簡単な説明】
【0014】
図面と併せて以下の詳細な説明を参考すると、本発明の各実施例の上述した特徴および他の特徴、利点、および態様がより明らかになる。図面において、同じまたは類似の符号は、同じまたは類似の要素を示し、ここで、
図1】本発明の実施例が実現され得る例示的な環境の概略図を示す。
図2A】本発明に係るいくつかの実施例の対話ウィンドウの例示的なインターフェースの概略図を示す。
図2B】本発明に係るいくつかの実施例の対話ウィンドウの例示的なインターフェースの概略図を示す。
図2C】本発明に係るいくつかの実施例の対話ウィンドウの例示的なインターフェースの概略図を示す。
図3A】本発明に係るいくつかの実施例の話題対話の例示的なインターフェースの概略図を示す。
図3B】本発明に係るいくつかの実施例の話題対話の例示的なインターフェースの概略図を示す。
図4A】本発明に係るいくつかの実施例のプラグインパネルの対話の複数の例の概略図を示す。
図4B】本発明に係るいくつかの実施例のプラグインパネルの対話の複数の例の概略図を示す。
図4C】本発明に係るいくつかの実施例のプラグインパネルの対話の複数の例の概略図を示す。
図4D】本発明に係るいくつかの実施例のプラグインパネルの対話の複数の例の概略図を示す。
図5A】本発明に係るいくつかの実施例のプラグインを変更するインタラクションな操作の複数の例の概略図を示す。
図5B】本発明に係るいくつかの実施例のプラグインを変更するインタラクションな操作の複数の例の概略図を示す。
図6A】本発明に係るいくつかの実施例の話題のためのプラグインをデフォルトで選択する複数の例の概略図を示す。
図6B】本発明に係るいくつかの実施例の話題のためのプラグインをデフォルトで選択する複数の例の概略図を示す。
図6C】本発明に係るいくつかの実施例の話題のためのプラグインをデフォルトで選択する複数の例の概略図を示す。
図7A】本発明に係るいくつかの実施例のデジタルアシスタントの返信を呈出する複数の例の概略図を示す。
図7B】本発明に係るいくつかの実施例のデジタルアシスタントの返信を呈出する複数の例の概略図を示す。
図7C】本発明に係るいくつかの実施例のデジタルアシスタントの返信を呈出する複数の例の概略図を示す。
図7D】本発明に係るいくつかの実施例のデジタルアシスタントの返信を呈出する複数の例の概略図を示す。
図7E】本発明に係るいくつかの実施例のデジタルアシスタントの返信を呈出する複数の例の概略図を示す。
図8】本発明に係るいくつかの実施例のプラグインの使用状態を呈出する1例の概略図を示す。
図9A】本発明に係るいくつかの実施例のプラグイン対話の複数の例の概略図を示す。
図9B】本発明に係るいくつかの実施例のプラグイン対話の複数の例の概略図を示す。
図10A】本発明に係るいくつかの実施例の現在会話ストリームが現在話題に属する1例の概略図を示す。
図10B】本発明に係るいくつかの実施例の現在会話ストリームが現在話題に属する1例の概略図を示す。
図11A】本発明に係るいくつかの実施例の現在会話ストリームが現在話題に属するもう1例の概略図を示す。
図11B】本発明に係るいくつかの実施例の現在会話ストリームが現在話題に属するもう1例の概略図を示す。
図12A】本発明に係るいくつかの実施例の情報対話の複数のプロセスのフローチャートを示す。
図12B】本発明に係るいくつかの実施例の情報対話の複数のプロセスのフローチャートを示す。
図12C】本発明に係るいくつかの実施例の情報対話の複数のプロセスのフローチャートを示す。
図12D】本発明に係るいくつかの実施例の情報対話の複数のプロセスのフローチャートを示す。
図13A】本発明に係るいくつかの実施例の情報対話のための複数の装置のブロック図を示す。
図13B】本発明に係るいくつかの実施例の情報対話のための複数の装置のブロック図を示す。
図13C】本発明に係るいくつかの実施例の情報対話のための複数の装置のブロック図を示す。
図13D】本発明に係るいくつかの実施例の情報対話のための複数の装置のブロック図を示す。
図14】本発明の複数の実施例を実施できる電子デバイスのブロック図を示す。
【発明を実施するための形態】
【0015】
以下では、図面を参照して本発明の実施例をより詳細に説明する。図面では本発明の特定の実施例が示されているが、本発明は様々な形態で実現され得、本明細書に記載された実施例に限定されると解釈されるべきではなく、むしろ、これらの実施例は本発明のより徹底的かつ完全な理解のために提供されることを理解されたい。本発明の図面および実施例は、例示的な目的のためのものであり、本発明の保護範囲を限定するために使用されないことを理解されたい。
【0016】
本発明の実施例の説明において、「含む」という用語および類似の用語は、「~を含むがこれらに限定されない」というオープンエンドの包含である。「に基づく」という用語は、「少なくとも一部に基づく」であることを理解されたい。「1実施例」または「当該実施例」という用語は、「少なくとも1つの実施例」であることを理解されたい。「いくつかの実施例」という用語は、「少なくともいくつかの実施例」であることを理解されたい。以下の明細書には、明示的、暗黙的な定義が以下に含まれる場合がある。
【0017】
本明細書において、明示的に記述されていない限り、「Aに応答して」1つのステップを実行することは、「A」の後で直後にすぐ当該ステップを実行することを意味するのではなく、1つまたは複数の中間ステップを含んでもよい。
【0018】
本技術的解決策に関わるデータ(データ自身、データの取得、またはデータの使用を含むがこれらに限定されない)は、対応する法令および関連指定された要件を遵守すべきであることが理解される。
【0019】
本発明の各実施例に開示された技術的解決策を使用する前に、関連法令に従って適切な方法で本発明に関わる情報の種類、使用範囲、使用場面などを関連するユーザに通知して関連するユーザの許諾を得るべきであり、ここで、関連するユーザは、個人、企業、団体などの任意の種類の権利者を含んでもよいことが理解される。
【0020】
例えば、ユーザの未承諾の要求を受信したことに応答する際には、関連するユーザに提示情報を送信することによって、要求された操作がユーザの個人情報の取得および使用を必要とすることをユーザに明示的に提示する。これにより、ユーザは、提示情報に基づいて、本発明の技術的解決策の操作を実行する電子デバイス、アプリケーション、サーバまたは記憶媒体などのソフトウェアまたはハードウェアに個人情報を提供するか否かを独自に選択することができる。
【0021】
選択的であるが非限定的な実現形態として、ユーザの未承諾の要求を受信したことに応答して、ユーザに提示情報を送信する方法は、例えば、ポップアップウィンドウを利用する方法であってもよく、ポップアップウィンドウ内にテキストの形態で提示情報を表示することができる。なお、ポップアップウィンドウ内には、さらに、電子デバイスに個人情報を提供することに「同意」または「同意しない」をユーザが選択するための選択コントロールが含まれてもよい。
【0022】
上述した通知およびユーザ認可取得プロセスは、あくまでも概略的なものであり、本発明の実現形態を限定するものではなく、関連法令を満たす他の方法を本発明の実現形態に適用することもできることが理解される。
【0023】
図1は、本発明の実施例が実現され得る例示的な環境100の概略図を示す。当該例示的な環境100において、端末デバイス110には、アプリケーション120がインストールされている。ユーザ140は、端末デバイス110および/または端末デバイス110の付属デバイスを介してアプリケーション120と対話することができる。
【0024】
いくつかの実施例において、アプリケーション120は、ダウンロードされて、端末デバイス110にインストールされてもよい。いくつかの実施例において、アプリケーション120は、ネットページなどの他の形態介してアクセスすることができる。図1の環境100において、アプリケーション120が起動されると、端末デバイス110は、アプリケーション120のインターフェース150を呈出することができる。インターフェース150は、アプリケーション120が提供できる様々なタイプのユーザインターフェースを含んでもよい。インターフェース150は、クライアントインターフェースとも呼ばれる場合がある。
【0025】
アプリケーション120は、チャットアプリケーション(インスタント通信アプリケーションとも呼ばれる)、文書アプリケーション、オーディオ/ビデオ会議アプリケーション、電子メールアプリケーション、タスクアプリケーション、目標和主要結果(OKR)アプリケーションなどのうちの1つまたは複数を含むがこれらに限定されない。アプリケーション120は、プラグインの使用をサポートする。このようなプラグインは、プラグイン検索、連絡先プラグイン、メッセージプラグイン、文書プラグイン、フォームプラグイン、電子メールプラグイン、カレンダプラグイン、スケジューリングプラグイン、タスクプラグインなどのうちの1つまたは複数を含むがこれらに限定されない。いくつかの実施例において、アプリケーション120は、多機能コラボレーションプラットフォームを含んでもよく、例えば、オフィスコラボレーションプラットフォーム(オフィススイートとも呼ばれる)は、様々な種類のアプリケーションまたはコンポーネントの統合を提供することによって、人々のオフィスワーク、コミュニケーションなどの活動を容易にすることができる。多機能コラボレーションプラットフォームにおいて、人々は、必要に応じて異なるアプリケーションまたはコンポーネントを起動して対応する情報処理、共有、コミュニケーションなどを完了することができる。
【0026】
いくつかの実施例において、端末デバイス110は、サーバ130と通信して、アプリケーション120に対するサービスの提供を実現する。端末デバイス110は、任意の種類の携帯端末、固定端末または携帯端末であってもよく、携帯電話、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、メディアコンピュータ、マルチメディアタブレット、個人通信システム(PCS)デバイス、パーソナルナビゲーションデバイス、パーソナルデジタルアシスタント(PDA)、オーディオ/ビデオプレーヤー、デジタルカメラ/ビデオカメラ、テレビ受信機、ラジオ放送受信機、電子書籍デバイス、ゲームデバイスまたはこれらの任意の組み合わせ、これらのデバイスの付属品および周辺機器またはその任意の組み合わせを含む。いくつかの実施例において、端末デバイス110は、任意の種類のユーザに対するインターフェース(例えば、「ウェアラブル」回路など)をサポートすることも可能である。アプリケーション130は、メインフレーム、エッジコンピューティングノード、クラウド環境におけるコンピューティングデバイスなどを含むがこれらに限定されない、コンピューティング能力を提供できる様々な種類のコンピューティングシステム/サーバであってもよい。
【0027】
環境100における各要素の構造および機能は、例示する目的のためにのみ説明され、本発明の範囲に対するいかなる限制を示唆しないことを理解されたい。
【0028】
先に簡単に述べたように、デジタルアシスタントは、ユーザの端末デバイスまたはアプリケーションの使用を支援することができる。いくつかのアプリケーションは、異なるプラグインの統合機能を提供することができる。ユーザは、デジタルアシスタントと自由に対話するだけでなく、自然言語命令を使用して、デジタルアシスタントに異なるプラグインを使用させ、文書の作成、スケジューリングの招待、タスクの作成などの、いくつかのより複雑なアプリケーションのビジネスに関連する操作を実行させることができる。しかし、これらのアプリケーションによって提供されるプラグイン対話機能は、柔軟性に欠ける。例えば、いくつかのアプリケーションにおいて、場面、会話ウィンドウ、話題などに基づいてプラグインを選択することができない。別のいくつかのアプリケーションにおいて、プラグインを検索または照会する機能を提供することができない。
【0029】
本発明に係るいくつかの実施例は、情報対話のための改善された解決策を提示する。本発明の実施例において、第1ユーザとデジタルアシスタントとの対話ウィンドウにおいて、話題におけるプラグインに関連するインターフェース要素を呈出し、インターフェース要素を利用して対応する話題において使用されるプラグインが選択可能または照会可能であり、ここで、各プラグインは対応する機能を実行するように構成され、また、対話ウィンドウ内で、第1ユーザとデジタルアシスタントとの現在話題の対話中に、現在話題において選択されたプラグインに基づいて第1ユーザによって要求されたタスクを実行する。したがって、デジタルアシスタントとの対話ウィンドウにおいて、プラグインを選択、照会、または利用してタスクを実行することができる。当該方法によると、プラグインとの多様化のインタラクションな操作を実現することができる。
【0030】
本発明に係るいくつかの実施例は、情報対話のための改善された解決策を提示する。本発明の実施例において、第1ページにおいてデジタルアシスタントを呼び起こす操作に応答して、第1ユーザとデジタルアシスタントとの第1対話ウィンドウを展示し、また、第1対話ウィンドウにおいてデフォルトで選択された1つまたは複数のプラグインを展示し、ここで、デフォルトで選択された1つまたは複数のプラグインは、第1ページと第1関連関係を有し、各プラグインは、対応する機能を実行するように構成される。したがって、対話ウィンドウにおいてデフォルトでユーザに対してプラグインを選択することができる。当該方法によると、場面に基づいたプラグインのインテリジェントな選択を実現することができる。
【0031】
本発明に係るいくつかの実施例は、情報対話のための改善された解決策を提示する。本発明の実施例において、第1ユーザとデジタルアシスタントとが対話するメイン会話ウィンドウを呼び起こす操作に応答して、第1ユーザとデジタルアシスタントとのメイン会話ウィンドウを展示し、メイン会話ウィンドウにおいて、メイン会話ウィンドウにおいて使用するプラグインを選択するためのプラグイン選択コントロールを展示し、また、第1ページにおいてデジタルアシスタントを呼び起こす操作に応答して、第1ユーザとデジタルアシスタントとの第1対話ウィンドウを展示することと、第1対話ウィンドウにおいて、第1対話ウィンドウにおいて使用するプラグインを選択するためのプラグイン選択コントロールを展示する。したがって、メイン会話ウィンドウおよびサブ会話ウィンドウにおけるプラグインの選択をサポートすることができる。当該方法によると、ユーザのニーズに応じた柔軟なプラグイン選択を実現することができる。
【0032】
本発明に係るいくつかの実施例は、情報対話のための改善された解決策を提示する。本発明の実施例において、第1ユーザとデジタルアシスタントとの会話ウィンドウにおいて第1話題を開始する操作に応答して、会話ウィンドウにおいて、第1話題の対話において使用するプラグインを選択するために、第1話題に関連する第1プラグイン選択コントロールを展示し、また、会話ウィンドウにおいて第2話題を開始する操作に応答して、第2話題の対話において使用するプラグインを選択するために、第2話題に関連する第2プラグイン選択コントロールを呈出する。したがって、話題を開始するたびにいずれもプラグインを再選択することができる。当該方法によると、話題に基づいた柔軟なプラグイン選択を実現することができる。
【0033】
以下では、図面の例を参照して本発明のいくつかの例示的な実施例を詳細に説明する。
【0034】
例示的な対話ウィンドウ
前述したように、本発明の実施例において、デジタルアシスタントは、ユーザとの対話に使用される。クライアントインターフェースにおいてユーザとデジタルアシスタントとの対話ウィンドウを呈出することができる。ユーザとデジタルアシスタントとの対話ウィンドウは、会話ウィンドウを含んでもよく、会話ウィンドウにおけるユーザとデジタルアシスタントとの間の対話は、会話メッセージの形態で呈出されてもよい。代替的または追加的に、ユーザとデジタルアシスタントとの対話ウィンドウは、フローティングウィンドウモードのウィンドウなどの他の種類のウィンドウをさらに含んでもよく、ここで、ユーザは、命令を入力したり、ショートカット命令を選択したりすることでデジタルアシスタントをトリガして対応する操作を実行することができる。インテリジェントアシスタントとして、デジタルアシスタントは、インテリジェント対話と情報処理能力を有する。対話ウィンドウにおいて、ユーザは、対話メッセージを入力し、デジタルアシスタントは、ユーザの入力に応答して返信メッセージを提供する。デジタルアシスタントを提供するためのクライアントインターフェースは、単機能アプリケーションに対応してもよいし、オフィススイートまたは複数のコンポーネントを統合できる他のコラボレーションプラットフォームの、多機能コラボレーションプラットフォームに対応してもよい。
【0035】
いくつかの実施例において、ユーザとデジタルアシスタントとの複数の対話モードが提供されてもよく、また、複数の対話モード間で柔軟に切り替えることができる。特定の対話モードがトリガされた場合、対応する対話領域を呈出することにより、ユーザとデジタルアシスタントとの対話を容易にする。異なる対話モードにおけるユーザとデジタルアシスタントとの対話形態は異なるため、異なるアプリケーション場面における対話ニーズに柔軟に適応することができる。
【0036】
いくつかの実施例において、デジタルアシスタントは、ユーザの連絡先として、オフィススイートの現在のユーザの連絡先リスト、または、チャットコンポーネントのフィードストリームに含まれてもよい。いくつかの実施例において、ユーザは、デジタルアシスタントと対応関係を有する。例えば、第1デジタルアシスタントは第1ユーザに対応し、第2デジタルアシスタントは第2ユーザに対応し、等々であってもよい。いくつかの実施例において、第1デジタルアシスタントは第1ユーザに一意に対応され得、第2デジタルアシスタントは第2ユーザに一意に対応され得、等々であってもよい。つまり、第1ユーザの第1デジタルアシスタントは、第1ユーザに固有または排他的であり得る。例えば、第1デジタルアシスタントが第1ユーザに支援またはサービスを提供する過程において、第1デジタルアシスタントは、第1ユーザが認可したアクセスできるデータ、第1ユーザとの現在対話文脈などの、第1ユーザとの履歴対話情報を利用することができる。第1ユーザが個体または個人であると、第1デジタルアシスタントは、パーソナルデジタルアシスタントとして考えられてもよい。本発明の実施例において、第1デジタルアシスタントは、第1ユーザの認可に応じて権限が付与されたデータにアクセスすることを理解されたい。本発明における「一意に対応する」または類似した表現は、第1ユーザと第1デジタルアシスタントとの間の対話プロセスに基づいて第1デジタルアシスタントが対応的に更新されることを限定することを意図するものではないことを理解されたい。
【0037】
いくつかの実施例において、ユーザとデジタルアシスタントとの履歴対話情報および/または当該ユーザに固有のデータ範囲に基づいて、当該ユーザに固有の情報処理サービスを提供することができる。いくつかの実施例において、複数の対話モードにおいて第1デジタルアシスタントとそれぞれ対話する第1ユーザの履歴対話情報は、いずれも第1ユーザに関連付けて記憶される。このように、複数の対話モードのうちの1つの対話モード(いずれか1つまたは指定された1つの対話モード)において、第1デジタルアシスタントは、第1ユーザに関連付けて記憶された履歴対話情報に基づいて第1ユーザにサービスを提供することができる。
【0038】
デジタルアシスタントは、適切な形態(例えば、ショートカット、ボタン、または、音声)で呼び出されるか、またはウェイクアップされて、ユーザとの対話ウィンドウを呈出することができる。いくつかの実施例において、デジタルアシスタントは、ユーザの連絡先として、アプリケーションの現在のユーザの連絡先、または、チャットアプリケーションのフィードストリームに含まれてもよい。デジタルアシスタントを選択して、デジタルアシスタントとの対話ウィンドウを開くことができる。対話ウィンドウは、入力ボックス、メッセージリスト、メッセージバブルなどの、情報対話のためのインターフェース要素を含んでもよい。いくつかの別の実施例において、デジタルアシスタントは、ページに提供されたポータルコントロールまたはメニューを介して呼び起こされてもよいし、所定の命令を入力することによって呼び起こされてもよい。以下に説明するいくつかの実施例において、議論を容易にするために、主に、ユーザとデジタルアシスタントとの対話ウィンドウが会話ウィンドウである例を挙げて説明する。
【0039】
図2A図2Cは、本発明に係るいくつかの実施例の対話ウィンドウの例示クライアントインターフェース201の概略図を示す。クライアントインターフェース201は、端末デバイス110において実現され得る。以下では、図1を参照図2A図2Cの例を説明する。
【0040】
いくつかの実施例において、端末デバイス110は、ユーザ(第1ユーザとも呼ばれる)が所定の操作(例えば、連絡先リストからデジタルアシスタントを選択する)によってデジタルアシスタントを呼び起こしたことに応答して、第1ユーザとデジタルアシスタントとが対話する会話ウィンドウ(メイン会話ウィンドウとも呼ばれる)およびプラグイン選択コントロールを展示することができる。このようなプラグイン選択コントロールにより、第1ユーザは、メイン会話ウィンドウで使用しようとするプラグインを選択することができる。
【0041】
いくつかの実施例において、図2Aに示されたように、デジタルアシスタント(図面ではとして「XXアシスタント」示されている)とユーザとのメイン会話ウィンドウは、インターフェース201の領域210において呈出される。デジタルアシスタントは、ユーザの連絡先の1つと考えられて、インスタント通信アプリケーションのフィードストリームに呈出されてもよい。インスタント通信アプリケーションは、インターフェース201の領域230において呈出され、フィードストリームは、インターフェース201の領域220に呈出される。ユーザは、インスタント通信アプリケーションにおいて当該デジタルアシスタントを選択することによって、メイン会話ウィンドウに進入する。メイン会話ウィンドウは、プラグイン選択コントロール222を含む。ユーザは、クリックプラグイン選択コントロール222を介して当該会話ウィンドウで使用しようとするプラグインを選択ことができる。
【0042】
いくつかの実施例において、端末デバイス110は、ユーザが所定の操作(例えば、所定のコントロールをトリガするか、所定の命令を入力するか、または、音声によってウェイクアップするなど)によって第1ページ(例えば、閲覧文書のページ)においてデジタルアシスタントを呼び起こしたことに応答して、第1ユーザとデジタルアシスタントとが対話するサブ会話ウィンドウ(第1対話ウィンドウとも呼ばれる)を展示する。このようなサブ会話ウィンドウは、プラグイン選択コントロールを含む。このようなプラグイン選択コントロールにより、ユーザは、サブ会話ウィンドウにおいてプラグインを選択し使用することができる。
【0043】
いくつかの実施例において、対話ウィンドウは、目標コンテンツに関連して呈出される。例えば、図2Bに示されたように、ユーザは、領域230において文書アプリケーションを選択し、領域220において文書内の目標コンテンツを照会する。照会中に、ユーザは、例えば220における所定のコントロールまたはメニューをトリガすることにより、デジタルアシスタント呼び起こすか、または、音声によってもデジタルアシスタントを呼び起こす。端末デバイス110は、このような操作に応答して、インターフェース201の領域210においてユーザとデジタルアシスタントとのサブ会話ウィンドウを呈出する。図2Bおよび他の図面においてサブ会話ウィンドウを含む領域210と目標コンテンツを含む領域220を左右に並べる形態を例として説明することに留意されたい。他の実施例において、必要に応じて、他の形態で配列されてもよい。例を挙げて言えば、クライアントインターフェースにおいて、領域210が左側に呈出され、領域220が右側に呈出されてもよい。また例えば、領域210和領域220は、さらに、上下に分割する形態で配列されてもよい。サブ会話ウィンドウは、プラグイン選択コントロール222を含む。ユーザは、プラグイン選択コントロール222をクリックすることにより当該会話ウィンドウで使用しようとするプラグインを選択することができる。
【0044】
いくつかの実施例において、メイン会話ウィンドウが配置されるアプリケーションは、サブ会話ウィンドウが配置されるアプリケーションとは異なるアプリケーションである。例えば、メイン会話ウィンドウが配置されるアプリケーションは、ユーザと他のユーザとデジタルアシスタントとが通信するためのインスタント通信アプリケーションであってもよい。例えば、サブ会話ウィンドウを呼び起こすことができるアプリケーションは、文書アプリケーション、フォームアプリケーション、カレンダアプリケーション、スケジューリングアプリケーション、会議アプリケーション、プロジェクト管理アプリケーション、顧客関係管理CRMアプリケーションなどの、インスタント通信アプリケーション以外のアプリケーションであってもよい。
【0045】
いくつかの実施例において、端末デバイス110は、第1ページの目標コンテンツを表示する領域において、デジタルアシスタントをトリガし対話ウィンドウを呈出することができる。具体的には、図2Cに示されたように、領域220における目標文書の一部のコンテンツ214を選択した後、右クリックすることによりデジタルアシスタントのポータルコントロールを含むメニュー(図示せず)を表示することができる。ポータルコントロールをトリガすることにより、図2Cに示された対話ウィンドウを呈出することができる。当該例において、対話ウィンドウは、フローティングウィンドウ対話ウィンドウまたはフローティングウィンドウ会話ウィンドウとも呼ばれフローティングウィンドウスタイルで呈出される。もちろん、右クリックの形態に加えて、さらに、様々な他の適切な形態でフローティングウィンドウ対話ウィンドウをトリガすることができ、本発明の実施例においてはこれらに対して限定しない。フローティングウィンドウ対話ウィンドウにおいて、プラグイン選択コントロール222が展示されてもよい。ユーザは、プラグイン選択コントロール222をクリックすることにより、当該会話ウィンドウで使用しようとするプラグインを選択することができる。
【0046】
いくつかの実施例において、端末デバイス110は、第1ページにおいてデジタルアシスタントを呼び起こす操作に応答して、ユーザとデジタルアシスタントとの対話ウィンドウ(第1対話ウィンドウとも呼ばれる)を展示する。このような第1対話ウィンドウは、サブ会話ウィンドウおよびフローティングウィンドウ対話ウィンドウを含んでもよい。サブ会話ウィンドウとフローティングウィンドウ対話ウィンドウを展示するためのトリガ操作は、同じであっても異なっていてもよい。例えば、ユーザが、文書アプリケーションを使用して文書コンテンツを閲覧する過程において、音声によってデジタルアシスタント呼び起こすと、端末デバイス110は、文書コンテンツを表示する領域の側方の領域にサブ会話ウィンドウを展示する。また例えば、ユーザが、文書アプリケーションを使用して文書コンテンツを閲覧する過程において、ある段落のテキストを選択してデジタルアシスタント呼び起こすと、端末デバイス110は、文書コンテンツを表示する領域においてフローティングウィンドウ対話ウィンドウを展示する。
【0047】
いくつかの実施例において、端末デバイス110は、第1対話ウィンドウ内の対話メッセージをユーザとデジタルアシスタントとが対話するメイン会話ウィンドウ内に同期させることができる。例えば、文書アプリケーションにおけるユーザのサブ会話ウィンドウ内の会話メッセージについて、ユーザがインスタント通信アプリケーションに切り替えると、端末デバイス110は、サブ会話ウィンドウ内の会話メッセージをメイン会話ウィンドウ内に同期させることができる。当該方法によると、ユーザとデジタルアシスタントの両方がコンテキスト情報を了解できるようにすることができる。
【0048】
図面では文書と目標コンテンツとする例を説明したことを理解されたい。他の実施例において、目標コンテンツは、オーディオ、ビデオ、画像、電子メール、カレンダ、スケジューリング、タスクなどを含むがこれらに限定されない、プラットフォームの処理可能な任意の他の適切なコンテンツをさらに含んでもよい。これらのコンテンツについて、いずれもデジタルアシスタントを呼び起こして会話ウィンドウを呈出することができる。
【0049】
図2A図2Cは、起動ユーザとデジタルアシスタントとの会話ウィンドウの複数の例を示す。さらに、他の形態で当該会話ウィンドウを起動することができることを理解されたい。なお、図2A図2Cに示された様々な具体的情報、アイコンなども例示的なものに過ぎず、本発明の実施例の範囲を限定するものではない。
【0050】
例示的な話題対話
いくつかの実施例において、端末デバイス110は、対話ウィンドウにおいてデフォルトで選択されたプラグインを展示する。したがって、場面に基づいてプラグインをデフォルトで推奨することができる。当該方法によると、ユーザのニーズに応答しやすくなり、ユーザタスクを効率的に実行することができる。
【0051】
メイン会話ウィンドウにおいてデフォルトで選択されたプラグインが展示されていないと、図2Aに示されたように、プラグイン選択コントロール222は「プラグイン選択」の提示情報を呈出する。いくつかの実施例において、対応する話題において少なくとも1つのプラグインが選択されると、端末デバイス110は、対応する話題におけるプラグインに関連するインターフェース要素において選択したプラグインの識別情報を呈出する。例えば、会話ウィンドウにおいてデフォルトで選択されたプラグインが展示されていると、図2Bおよび図2Cに示されたように、プラグイン選択コントロール222は、バブルアイコンなどの、選択したプラグインの識別情報を呈出する。
【0052】
いくつかの実施例において、デジタルアシスタントが第1ページにおいて呼び起こされると、デフォルトで選択されたプラグインは、第1ページと関連関係(第1関連関係とも呼ばれる)を有し、各プラグインは、対応する機能を実行するように構成される(例えば、検索プラグインは、検索キーワードに一致するメッセージおよびデータを得るために使用され、文書プラグインは、文書の作成などの、文書に関連するタスクを実行するために使用される)。いくつかの実施例において、第1関連関係は、第1ページにおけるユーザとデジタルアシスタントとの履歴話題との間の関連関係をさらに含んでもよい。例えば、ユーザが第1ページに対応するアプリケーションにおいて新しい話題を開始すると、デフォルトで選択されたプラグインは、履歴話題から継承された1つまたは複数のプラグインを含んでもよい。いくつかの実施例において、このような第1関連関係は、第1ウィンドウが配置されるアプリケーションのビジネス種類との間の関連関係を含んでもよい。例えば、文書アプリケーションの場合、文書プラグインは、当該文書アプリケーションと第1関連関係を有するプラグインである。さらに例えば、文書アプリケーションの場合、第1関連関係を有するプラグインは「検索プラグイン」をさらに含んでもよく、なぜなら、「検索プラグイン」を利用して文書コンテンツを検索して、ユーザが目標文書を処理することを支援することができるからである。追加的または代替的に、このような第1関連関係は、第1ページに呈出されたコンテンツとの間の関連関係をさらに含んでもよい。例えば、第1ページにおいて呈出された目標文書に会議通知が含まれ、デジタルアシスタントが第1ページにおいて呼び起こされると、デフォルトで選択されたプラグインは「スケジューリングプラグイン」を含んでもよく、これにより、「スケジューリングプラグイン」を利用して会議通知を対応するスケジューリング注意喚起に簡単に追加することができる。追加的または代替的に、このような第1関連関係は、第1ページに呈出されたコンテンツから選択された一部のコンテンツとの間の関連関係をさらに含んでもよい。例えば、ユーザによって第1ページに呈出された中国語文書から一部の外国語ステートメントを選択され、デジタルアシスタントが呼び起こされた後、デフォルトで選択されたプラグインは「翻訳プラグイン」を含んでもよく、これにより、「翻訳プラグイン」を利用して選択された外国語ステートメントを簡単に翻訳することができる。解釈し説明することのみを目的として、アプリケーションとページコンテンツと選択されたコンテンツとの間の関連関係を示すことを理解されたい。実際の適用において、具体的なニーズに応じて異なる場面においてデフォルトで選択するプラグインの具体的な種類、数などを設定することができる。
【0053】
デフォルトで選択されたプラグインがユーザのニーズを満たすのに不十分である場合、または、ユーザがニーズを新たに追加した場合、端末デバイス110は、さらに、ユーザがプラグインを自律的に選択することをサポートする。いくつかの実施例において、端末デバイス110は、ユーザのプラグイン選択操作に応答して、対話ウィンドウにおいてユーザが選択したプラグインを展示することができる。例えば、図2Bに示されたように、対話ウィンドウにおいて、デフォルトで選択された「メッセージプラグイン」を展示する(例えば、バブルスタイルで呈出する)。端末デバイス110は、ユーザがプラグイン選択コントロール222をクリックして「フォームプラグイン」を選択したことに応答して、「メッセージプラグイン」の右側に展示する(例えば、図示されていないが、フォームのスタイルで呈出する)。
【0054】
会話ウィンドウにおいて、ユーザは、入力ボックスまたは他の適切な形態(例えば、音声)を使用してメッセージを入力することができ、デジタルアシスタントは、入力されたメッセージに基づいて、関連する知識と組み合わせて返信メッセージを提供することができる。会話ウィンドウにおけるメッセージは、一般的に会話メッセージである。このような会話メッセージは、ある話題の一部として考えられてもよい。
【0055】
本明細書において、「話題」は、対話の特定コンテキストに対応する。各話題の対話中に、ユーザとデジタルアシスタントとの対話情報は、コンテキスト情報と考えられて、デジタルアシスタントの後続の会話メッセージの決定を支援するために使用される。いくつかの実施例において、話題は、さらに、主題と呼ばれ、主題として呈出される。
【0056】
いくつかの実施例において、ユーザとデジタルアシスタントとの会話ウィンドウにおいて、話題におけるプラグインに関連するインターフェース要素が呈出される。図3Aおよび図3Bは、本発明に係るいくつかの実施例の話題対話の例示的なインターフェース301の概略図を示す。メイン会話ウィンドウは、ユーザとデジタルアシスタントとの会話メッセージを含む。現在話題は、特定の文書に関連している。図3Aの例において、現在話題におけるプラグインに関連するインターフェース要素は、インターフェース要素302およびインターフェース要素308(インターフェース要素302、308は、第1インターフェース要素と呼ばれることがある)を含む。ユーザは、第1インターフェース要素を利用して話題において使用されるプラグインを選択または照会することができる。
【0057】
いくつかの実施例において、会話ウィンドウは、インターフェース要素302などの、現在話題に使用されるプラグインに関連するインターフェース要素を含む。端末デバイス110は、インターフェース要素302に対するユーザのクリック操作に応答して、プラグインを選択するためのページを呈出する。例えば、図3Aに示されたように、このようなインターフェース要素302は、上記の図2A図2Cに関して説明したプラグイン選択コントロール222に対応すると考えられててもよい。端末デバイス110は、ユーザがインターフェース要素302における左側のサブインターフェース要素304またはサブインターフェース要素306をクリックする操作に応答して、別のプラグインを選択するためのインターフェース要素を呈出することができる。また例えば、端末デバイス110は、サブインターフェース要素304においてデフォルトで選択されたまたは既に選択されたプラグイン(図面では、バブルスタイルの「メッセージプラグイン」が示されている)を呈出してもよい。
【0058】
いくつかの実施例において、会話ウィンドウは、インターフェース要素308などの、話題を作成するためのインターフェース要素を含む。端末デバイス110は、インターフェース要素308に対するユーザのクリック操作に応答して、メイン会話ウィンドウをスクリーンクリアし、図3Bに示されたように、新しい話題を開始することにより、前の話題におけるコンテキストを分割して、ユーザとデジタルアシスタントとが新しいコンテキストで簡単に対話し続けるようにすることができる。
【0059】
いくつかの実施例において、新しい話題を開始することによって、ユーザは新しい話題において使用するプラグインを再選択することができる。新しい話題が開始された後、会話ウィンドウは新しい話題におけるプラグインに関連するプラグインの選択をさらに含む。例えば、図3Bに示されたように、メイン会話ウィンドウは、インターフェース要素312を含む。当該インターフェース要素312は、上記の図2A図2Cに関して説明したプラグイン選択コントロール222に対応すると考えられてもよい。例えば、端末デバイス110は、ユーザがインターフェース要素312において左側のサブインターフェース要素314またはサブインターフェース要素316をクリックした操作に応答して、別のプラグインを選択するためのインターフェース要素を呈出することができる。図3Bの会話ウィンドウにおいて、ユーザは、デジタルアシスタントとの新しい話題において対話することができる。また、選択したプラグインは、ユーザによって要求されたタスクを実行するために使用されてもよい。
【0060】
いくつかの実施例において、ユーザとデジタルアシスタントとの会話ウィンドウは、履歴話題において使用されるプラグイン照会するためのインターフェース要素(第2インターフェース要素と呼ばれることがある)をさらに含んでもよい。例えば、ユーザは、メッセージリストをスクロールして履歴話題における会話メッセージおよび履歴話題において使用されたプラグインを照会することができる。履歴話題において使用されたプラグインを照会するためのインターフェース要素は、図3Aに示されたインターフェース要素302と同様であるが、会話ウィンドウにおいる履歴話題に対応する領域に呈出される。いくつかの実施例において、履歴話題において使用されたプラグインを照会するためのインターフェース要素は、履歴話題に関連するプラグイン選択コントロールを含むが、当該プラグイン選択コントロールは、ユーザが履歴話題において使用されたプラグインを照会することを可能にし、ユーザが選択されたプラグインを変更することを可能にしない。1例として、以下で説明される図9Aでは履歴話題に関連するプラグイン選択コントロール902が示され、当該プラグイン選択コントロール902は対応する履歴話題の分割線の近くに呈出される。
【0061】
前述したように、ユーザは、必要に応じて与えられたデジタルアシスタントの会話ウィンドウにおいて複数の話題を開始することができる。新しい話題を開始するたびに、ユーザは新しい話題において使用されるプラグインを再選択することができる。いくつかの実施例において、端末デバイス110は、ユーザとデジタルアシスタントとの会話ウィンドウにおいて第1話題を開始する操作に応答して、第1話題の対話において使用するプラグインを選択するために、第1話題に関連する第1プラグイン選択コントロールを展示する。さらに、端末デバイス110は、さらに、会話ウィンドウにおいて第2話題を開始する操作に応答して、第2話題の対話において使用するプラグインを選択するために、第2話題に関連する第2プラグイン選択コントロールを呈出する。
【0062】
いくつかの実施例において、第1話題に関連する第1プラグイン選択コントロールは、第1話題と前の話題との分割線の近くに展示され、第2話題に関連する第2プラグイン選択コントロールは、第1話題と第2話題との分割線の近くに展示される。例えば、ユーザは、1つの会話ウィンドウにおいて複数の話題を開き、使用しようとするプラグインを複数回選択することができる。新しい話題が開始されるたびに、いずれも会話ウィンドウ内で新しい話題分割線を表示される。新しい話題分割線の下方において、プラグインを選択および照会するためのインターフェース要素(例えば、カプセルセレクタスタイルのプラグイン選択コントロール)が呈出される。
【0063】
いくつかの実施例において、端末デバイス110は、第1話題と第2話題との間に分割線(仕切り線または第1プラグイン選択コントロールとも呼ばれる)を呈出することができる。
【0064】
いくつかの実施例において、端末デバイス110は、新しい話題が作成されたことに応答して、分割線を上部に呈出する。例えば、ユーザが新しい話題を作成した後、図3Bに示されたように、端末デバイス110は、メイン会話ウィンドウをスクリーンクリアし、新しい話題分割線310を上部に呈出する。いくつかの実施例において、端末デバイス110は、履歴話題に関連する少なくとも一部の対話情報が対話ウィンドウにおいて呈出されたことに応答して、分割線の上部呈出をキャンセルする。
【0065】
図3Bに示されたように、新しい話題が作成された後、メイン会話ウィンドウはスクリーンクリアされ、新しい話題分割線310は吸い上げられる。ユーザが会話ウィンドウに新しい話題に対する会話メッセージを入力し送信する場合、スクリーンクリア効果は元に戻らない。ユーザは、メッセージリストをスクロールして履歴話題における会話メッセージを照会することができる。履歴話題の会話メッセージを照会する際に、現在話題分割線310の吸い上げ効果は解除される。いくつかの実施例において、履歴話題分割線が会話ウィンドウにおいて出現される際に、履歴話題分割線は吸い上げられない。
【0066】
プラグインを選択/照会する例示的な対話
端末デバイス110は、現在話題に関連する第1インターフェース要素または履歴話題に関連する第2インターフェース要素に対するユーザのトリガ操作に応答して、対応する話題に関連するプラグイン選択パネルなどの、別のプラグインを選択するためのインターフェース要素を呈出することができる。このようなプラグイン選択パネルは、プラグインリストを含む。追加的または代替的に、このようなインターフェース要素は、プラグイン選択コントロールをさらに含んでもよく、このようなプラグイン選択コントロールは、プラグイン選択パネルの呈出をトリガすることができる。
【0067】
いくつかの実施例において、現在話題に関連するプラグイン選択パネルのプラグイン選択コントロール(第1プラグイン選択コントロールとも呼ばれる)は、会話ウィンドウにおいて上部に呈出される。引き続き図2Aを参照すると、プラグイン選択コントロール222は、新しい話題分割線の下方およびプラグイン選択パネル224の上方において、上部に呈出される。当該方法によって、両者と現在話題との関連関係が示される。
【0068】
以下では、プラグイン選択コントロールを通じてプラグイン選択パネルをトリガする例を挙げ、図4A図4Dを参照して、プラグインパネルのインタラクションな操作を説明する。
【0069】
図4A図4Dは、本発明に係るいくつかの実施例のプラグインパネルの対話の複数の例を示す概略図を示す。図4A図4Dに示されたように、プラグイン選択パネル402は、プラグイン選択コントロール422の下方に呈出される。プラグイン選択パネル402は、プラグイン選択リスト404を含む。このようなプラグイン選択リスト404は、「検索プラグイン」、「連絡先プラグイン」、「メッセージプラグイン」、「文書プラグイン」「フォームプラグイン」、「カレンダプラグイン」などを含む。追加的または代替的に、プラグイン選択リストは、ユーザ使用好みによるプラグインのソートをサポートする。例えば、検索頻度または使用頻度越が高いほど、プラグインは上位に表示される。
【0070】
図4Aの例において、これらのプラグインには、対応するチェックボックスが設定される。選択されたプラグインの識別情報は、在プラグイン選択コントロール422に対応するインターフェース要素において呈出される。例えば、「検索プラグイン」が選択された後、対応する位置に虫眼鏡スタイルのアイコンが呈出される。
【0071】
いくつかの実施例において、端末デバイス110は、プラグインリストの中のプラグイン(第1プラグインとも呼ばれる)に対する詳細情報照会要求に応答して、対応する詳細情報パネルを提供する。このような詳細情報パネルは、少なくとも当該プラグインの機能に対する説明を含む。図4Aに示されたように、プラグイン選択パネル402は、詳細情報パネル406をさらに含む。「検索プラグイン」に対するユーザの所定の操作(例えば、クリック操作)に基づいて、当該プラグをインハイライトし、詳細情報パネル406において当該プラグインの機能の説明を表示する。
【0072】
いくつかの実施例において、プラグイン選択パネルにおいて、プラグインリストからプラグインを検索するためのプラグイン検索機能を提供する。図4Aに示されたように、プラグイン選択パネル402は、検索ボックス408を含む。ユーザが検索ボックス408に検索語「検」を入力すると、検索リスト404に、「検索プラグイン」、「連絡先検索」、「文書検索」、「フォーム検索」などの検索結果が呈出される。追加的または代替的に、プラグイン選択パネルはファジー検索機能を提供する。
【0073】
いくつかの実施例において、プラグイン選択パネルにおいて、プラグインリストからプラグインを再検索するためのプラグイン二次検索機能を提供する。図4Aの例において、ユーザは、検索ボックス408に検索語「検」を入力し、検索結果から「検索プラグイン」を選択する。当該「検索プラグイン」は、プラグイン選択コントロール422に対応するインターフェース要素において呈出される。図4Bの例において、ユーザは、検索ボックス408に、検索語文書を再入力すると、検索リスト404において、複数の「文書プラグイン」などの検索結果が呈出される。1番目の「文書プラグイン」に対するユーザの所定の操作(例えば、クリック操作)に基づいて、当該プラグをインハイライトし、詳細情報パネル406において当該プラグインの機能の説明を表示する。ユーザが当該「文書プラグイン」を選択すると、当該プラグインの識別情報はプラグイン選択コントロール422に対応するインターフェース要素において呈出される。例えば、虫眼鏡スタイルのアイコンの隣接位置にペーパースタイルのアイコンが呈出される。
【0074】
いくつかの実施例において、2つ、3つ、または任意の他の適切な数など、所定の数以上のプラグインを選択することができる、例えば、図4Cに示されたように、「検索プラグイン」および「文書プラグイン」を選択した後、チェックボックスはグレーアウトされ、マウスは選択不可能の効果が呈出される。
【0075】
いくつかの実施例において、プラグイン選択パネルは、提示メッセージを含む。例えば、検索ボックス408に、提示メッセージ「最大2つのプラグインを選択して1つの話題を作成する」がデフォルトで表示される。また例えば、ユーザが入力した検索語に関連する検索結果を提供できない場合、検索ボックス408に提示メッセージ「このようなプラグインはない」を表示する。
【0076】
以上、複数の実施例を通じてプラグイン選択パネルの対話を説明した。このようなプラグイン選択パネルにおいてインタラクションな操作を行うことにより、ユーザのニーズに基づいてプラグインを選択することができる。いくつかの実施例において、端末デバイス110は、現在話題において選択されたプラグインが変更されるか否かを制御することができる。例えば、履歴話題において選択および使用するプラグインは、もはや変更されないが、新しい話題において選択されるプラグインは、変更され得る。以下では、図5Aおよび図5Bを参照して、プラグインを変更するインタラクションな操作を説明する。
【0077】
いくつかの実施例において、端末デバイス110は、現在話題において少なくとも1つの会話メッセージが受信されたことに応答して、現在話題において選択されたプラグインの変更を無効にする。つまり、新しく開始された話題において既に1回または複数回の対話があると、ユーザは、進行中の話題において使用されているプラグインを変更することができなくなる。図5Aに示されたように、ユーザは、新しい話題を作成し、プラグイン選択パネル502からプラグインを選択する。現在メッセージリストが空の場合、端末デバイス110は、ユーザのプラグインの再選択をサポートする。図5Bに示されたように、ユーザが新しい話題を作成し、プラグイン選択パネル502からプラグインを選択した後、端末デバイス110は、プラグイン選択コントロール522に対応するインターフェース要素において、選択したプラグインの識別情報を呈出する。現在メッセージリストに会話メッセージが受信されると、図5Bに示されたように、端末デバイス110は、ユーザの選択されたプラグインの変更をサポートしない。追加的または代替的に、端末デバイス110は、プラグイン選択コントロール522に対するユーザの所定の操作(例えば、クリック操作)に応答して、プラグイン照会パネル502を呈出する。追加的または代替的に、端末デバイス110は、「現時点では、私は進行中の話題のプラグインを変更できません。新しい話題を作成して新しいプラグインを使用してください。」などの、選択されたプラグインの変更をサポートしないことをユーザに注意喚起するための提示メッセージを呈出することができる。
【0078】
いくつかの実施例において、ユーザとデジタルアシスタントとの対話ウィンドウの話題における対話は、少なくとも目標コンテンツをコンテキストとし、対話ウィンドウの話題において選択可能なプラグイン目標コンテンツに基づいて決定される。例えば、文書アプリケーションにおいて、文書におけるコンテンツに従って選択可能なプラグインが決定され、プラグインパネルにおいてユーザに呈出される。したがって、目標コンテンツと関連性がより高いプラグインを最初に選別することができる。当該方法によると、対話の効率を向上させることができる。
【0079】
図6A図6Cは、本発明に係るいくつかの実施例の話題のためのプラグインをデフォルトで選択する複数の例を示す概略図を示す。いくつかの実施例において、少なくとも1つのプラグインがデフォルトで選択されて、対話ウィンドウにおける最初話題に使用される。図6Aに示されたように、サブ会話ウィンドウにおける最初話題において「検索プラグイン」がデフォルトで選択されると、プラグイン選択コントロール622に対応するインターフェース要素において「検索プラグイン」の識別情報が呈出される。
【0080】
いくつかの実施例において、対話ウィンドウにおいて新しい話題がトリガされると、少なくとも1つのプラグインがデフォルトで選択されて新しい話題に使用される。図6Bに示されたように、サブ会話ウィンドウにおいて、現在話題が呈出される。端末デバイス110は、インターフェース要素602に対するユーザのクリック操作に応答して、図6Aに示されたように、サブ会話ウィンドウをスクリーンクリアし、デフォルトで選択されたプラグインを上部に呈出する。このようにして、デフォルトで選択されたプラグインは、ユーザの個人使用好みによって決定された。例えば、ユーザが「検索プラグイン」を頻繁に使用すると、新しい話題を作成する際に、「検索プラグイン」をデフォルトで呈出してもよい。当該方法によると、対話形態をユーザのニーズにより適合させることができる。
【0081】
いくつかの実施例において、端末デバイス110は、ユーザがサブ会話ウィンドウにおいて新しい話題を作成したに応答して、アプリケーションまたはアプリケーションにおける目標コンテンツに従ってデフォルトのプラグインをロードし、ユーザによる自由な編集をサポートする。例えば、文書アプリケーションにおいて目標コンテンツに関する会議通知が呈出されると、「カレンダプラグイン」をロードすることができる。ユーザは、デフォルトで選択されたプラグインを所望のプラグインに変更してもよく、例えば、図6Cに示されたように、端末デバイス110は、プラグイン選択コントロール622に対するユーザのクリック操作に応答して、プラグイン選択パネル604を呈出する。ユーザは、プラグイン選択パネル604において、「メッセージプラグイン」などの、所望のプラグインを選択することができる。
【0082】
いくつかの実施例において、端末デバイス110は、フローティングウィンドウ対話ウィンドウにおいて新しい話題が作成されたことに応答して、アプリケーションまたはアプリケーションにおける目標コンテンツに従ってデフォルトのプラグインをロードし、ユーザによる自由な編集をサポートしない。
【0083】
対話におけるプラグインに対する識別
ユーザによって要求されたタスクは、選択されたプラグインによって実行され得る。プラグインの機能、または、現在タスクがどのプラグインによって実行されているかをユーザに明確にするために、いくつかの実施例において、対話ウィンドウにおいてデジタルアシスタントの返信(第1返信とも呼ばれる)を呈出する。このような返信は、タスクの実行結果およびタスクの実行に使用されるプラグインの識別情報を含む。
【0084】
図7A図7Eは、本発明に係るいくつかの実施例のデジタルアシスタントの返信を呈出する複数の例の概略図を示す。図7Aに示されたように、ユーザは、「張三によって作成された文書を探すのを手伝ってください」などの、検索タスクの実行を要求する。当該検索タスクの実行結果は、デジタルアシスタントの会話メッセージに呈出され、当該検索タスクを実行するための「検索プラグイン」に対応する識別情報702も呈出される。
【0085】
図7Bに示されたように、ユーザは、「私はなぜ承認プッシュが受信できなかったのか」の理由を特定するなどの、タスクの実行を要求する。当該タスクの実行結果は、デジタルアシスタントの会話メッセージに呈出され、当該タスクを実行するための「検索プラグイン」に対応する識別情報704および「承認プラグイン」に対応する識別情報706も呈出される。
【0086】
図7Cに示されたように、ユーザは、「営業報告に関連する文書の生成を手伝ってください」などの、営業報告の生成の実行するためのタスクを要求する。当該タスクの実行結果は、デジタルアシスタントの会話メッセージに呈出され、当該タスクを実行するための「文書プラグイン」に対応する識別情報708も呈出される。
【0087】
図7A図7Bの例において、プラグインに対応する識別情報は、会話メッセージに呈出され、また、上部に呈出される。図7Dの例において、ユーザは、「会議の予約を手伝ってください」などの、会議の予約を実行するためのタスクを要求する。当該タスクの実行結果は、デジタルアシスタントの会話メッセージに呈出され、当該タスクを実行するための「カレンダプラグイン」に対応する識別情報710は、会話メッセージの上方に呈出される。いくつかの場面において、タスクの実行に多い時間を要する場合、ユーザの待機不安を軽減するために、まず、タスクの実行に使用されるプラグインに対応する識別情報を呈出し、タスク実行結果を得た後に当該識別情報の下方において会話メッセージを呈出する。
【0088】
いくつかの場面において、ユーザは、「AIに関連する文書を検索して私に送信し、次いで、それらをまとめて、新文書に入れてください」などの、複数のサブタスクに関わるタスクの実行を要求する。当該タスクにおける1番目のサブタスクの実行結果は、デジタルアシスタントの1番目の会話メッセージに呈出され、当該サブタスクを実行するための「検索プラグイン」に対応する識別情報712も呈出される。次いで、当該タスクにおける2番目のサブタスクの実行結果は、デジタルアシスタントの2番目の会話メッセージに呈出され、当該サブタスクを実行するための「文書プラグイン」に対応する識別情報714も呈出される。
【0089】
いくつかの場面において、関係するプラグインの数およびタスク実行のワークフローが線形であることを考慮すると、現在使用中のプラグインを順番に1つずつ明らかにする。プラグインが明らかになる際に、プラグインに対応する識別情報のみを展示してもよいし、機能情報などの、当該プラグインに対応するもっと多い情報を展示してもよい。
【0090】
いくつかの実施例において、第1返信の生成中に、対話ウィンドウにおいてプラグインの使用状態を呈出する。このようなプラグインの使用状態は使用されているプラグインを指す。図8は、本発明に係るいくつかの実施例のプラグインの使用状態を呈出する1例の概略図を示す。図8の例において、ユーザは、「私の全ての電子メールを展示してください」などの、タスクの実行を要求する。デジタルアシスタントは、まず、1番目の会話メッセージ802を呈出し、例えば、省略記号によって対応するプラグインを探していることを示す。その後、デジタルアシスタントは、2番目の会話メッセージ804を呈出する。2番目の会話メッセージ804は、「検索プラグイン」を使用して当該タスクに対応する1番目のサブタスクの実行を開始したことを示すために、「検索プラグイン」に対応する識別情報を呈出する。次いで、デジタルアシスタントは、3番目の会話メッセージ806を呈出する。3番目の会話メッセージ806は、「文書プラグイン」を使用して当該タスクに対応する2番目のサブタスクの実行を開始したことを示すために、「文書プラグイン」に対応する識別情報を含む。最後に、デジタルアシスタントは、当該タスクの実行結果および使用されたプラグインの識別情報を呈出するために、4番目の会話メッセージ808を呈出する。
【0091】
例示的な他の対話
図9Aおよび図9Bは、本発明に係るいくつかの実施例のプラグイン対話の複数の例の概略図を示す。図9Aの例において、履歴話題に関連するプラグイン選択コントロール902は、カプセルセレクタスタイルの境界線を取り除くなどの、軽量化されたスタイルで呈出される。端末デバイス110は、プラグイン選択コントロール902に対するユーザのクリック操作に応答して、プラグイン照会パネル904を呈出する。選択されるプラグインがない場合、プラグイン照会パネル904において提示情報のみを呈出する。選択されるプラグインが存在する場合、プラグイン照会パネル904において対応するプラグインおよび提示情報を呈出する。
【0092】
図9Bの例において、新しい話題におけるプラグイン選択コントロール906は、カプセルセレクタのスタイルに呈出される。端末デバイス110は、プラグイン選択コントロール906に対するユーザのクリック操作に応答して、プラグイン照会パネル908を呈出する。選択されるプラグインがない場合、プラグイン照会パネル908において提示情報のみを呈出する。選択されるプラグインが存在する場合、プラグイン照会パネル908において対応するプラグインおよび提示情報を呈出する。
【0093】
いくつかの実施例において、現在会話ストリームが現在話題に属すると、プラグイン選択コントロールは対話ウィンドウの上部に吸着される。
【0094】
図10Aおよび図10Bは、本発明に係るいくつかの実施例の現在会話ストリームが現在話題に属する1例の概略図を示す。図10Aの例は、プラグイン選択コントロール1002に対応するインターフェース要素において選択されるプラグインがない場合に対応され、図10Bの例は、プラグイン選択コントロール1002に対応するインターフェース要素において選択されるプラグインを展示した場合に対応する。図10Aの例において、現在会話ストリームが現在話題に属し、メッセージリストをスクロールする際に、履歴会話ストリームと現在会話ストリームとが同時に呈出されると、プラグイン選択コントロール1002を話題分割線の近くに固定させる。現在会話ストリームのみが呈出されると、プラグイン選択コントロール1002は会話ウィンドウの上部に吸着される。
【0095】
図11Aおよび図11Bは、本発明に係るいくつかの実施例の現在会話ストリームが現在話題に属するもう1例の概略図を示す。図11Aの例は、プラグイン選択コントロール1102に対応するインターフェース要素において選択されるプラグインがない場合に対応され、図11Bの例は、プラグイン選択コントロール1102に対応するインターフェース要素において選択されるプラグインを展示した場合に対応する。図11Aおよび図11Bの例において、現在会話ストリームが現在話題に属し、メッセージリストをスクロールする際に、現在会話ストリームのみが見えると、プラグイン選択コントロール1102は常に会話ウィンドウの上部に吸着される。
【0096】
いくつかの実施例において、現在会話ストリームが現在話題に属しないと、プラグイン選択コントロールが会話ストリームに戻る。例えば、メッセージリストをスクロールする際に、履歴会話ストリームのみが呈出されると、プラグイン選択コントロールは話題分割線の近くに固定され、スクロールに従う。
【0097】
要約すると、本発明に係る各実施例によれば、ユーザとデジタルアシスタントとの対話中に、ユーザが対話ウィンドウ(例えば、メイン会話ウィンドウ、サブ会話ウィンドウ、フローティングウィンドウ対話ウィンドウなど)においてプラグインを選択し、使用することがサポートされる。サブ会話ウィンドウにおいては、アプリケーションのコンテキストに基づいてデフォルトで選択されたプラグインをユーザに推奨、さらに、ユーザがデフォルトで選択されたプラグインを変更することがサポートされる。さらに、ユーザが同じ会話ウィンドウにおいて新しい話題を開いて使用しようとするプラグインを複数回選択することがサポートされる。ユーザがプラグインを検索するようにするために、プラグイン選択パネルさらに提供。当該方法によると、場面に基づく、ユーザのニーズに基づく、話題に基づくプラグインの柔軟な選択が実現され得、さらにプラグインとの多様なインタラクションな操作が実現され得る。
【0098】
以上では図面の中の具体的な例と併せて本発明のいくつかの実施例を説明したが、これらの具体的な例は本発明の実施例の範囲を限定することを意図しないことを理解されたい。説明される実施例は、さらに様々な他の変形によって実現され得る。
【0099】
例示的なプロセス
図12Aは、本発明に係るいくつかの実施例の情報対話のためのプロセス1200Aのフローチャートを示す。プロセス1200Aは、端末デバイス110で実現されてもよい。議論を容易にするために、図1の環境100を参照してプロセス1200Aを説明する。
【0100】
ボックス1210Aにおいて、端末デバイス110は、第1ページにおいてデジタルアシスタントを呼び起こす操作に応答して、第1ユーザとデジタルアシスタントとの第1対話ウィンドウを展示する。ボックス1220Aにおいて、第1対話ウィンドウにおいてデフォルトで選択された1つまたは複数のプラグインを展示する。ここで、デフォルトで選択された1つまたは複数のプラグインは、第1ページと第1関連関係を有し、各プラグインは、対応する機能を実行するように構成される。
【0101】
いくつかの実施例において、端末デバイス110は、第1ユーザとデジタルアシスタントとが対話するメイン会話ウィンドウを呼び起こす操作に応答して、第1ユーザとデジタルアシスタントとのメイン会話ウィンドウを展示する。ここで、メイン会話ウィンドウが配置されるアプリケーションは、第1ウィンドウが配置されるアプリケーションとは異なるアプリケーションである。
【0102】
いくつかの実施例において、方法1200Aは、メイン会話ウィンドウにおいてプラグイン選択コントロールを展示すること、第1対話ウィンドウ内の対話メッセージを到第1ユーザとデジタルアシスタントとが対話するメイン会話ウィンドウ内に同期させること、のうちの1つまたは複数をさらに含む。
【0103】
いくつかの実施例において、端末デバイス110は、ユーザのプラグイン選択操作に応答して、第1対話ウィンドウにおいてユーザが選択したプラグインを展示する。
【0104】
いくつかの実施例において、第1関連関係は、第1ウィンドウが配置されるアプリケーションのビジネス種類との間の関連関係、第1ページに呈出されたコンテンツとの間の関連関係、第1ページに呈出されたコンテンツから選択された一部のコンテンツとの間の関連関係、第1ページにおける第1ユーザとデジタルアシスタントの、履歴話題との間の関連関係、のうちの1つまたは複数を含む。
【0105】
図12Bは、本発明に係るいくつかの実施例の情報対話のためのプロセス1200Bのフローチャートを示す。プロセス1200Bは、端末デバイス110で実現されてもよい。議論を容易にするために、図1の環境100を参照してプロセス1200Bを説明する。
【0106】
ボックス1210Bにおいて、端末デバイス110は、第1ユーザとデジタルアシスタントとが対話するメイン会話ウィンドウを呼び起こす操作に応答して、第1ユーザとデジタルアシスタントとのメイン会話ウィンドウを展示し、メイン会話ウィンドウにおいて使用するプラグインを選択するために、メイン会話ウィンドウにおいてプラグイン選択コントロールを展示する。ボックス1220Bにおいて、第1ページにおいてデジタルアシスタントを呼び起こす操作に応答して、第1ユーザとデジタルアシスタントとの第1対話ウィンドウを展示し、また、第1対話ウィンドウにおいて、第1対話ウィンドウにおいて使用するプラグインを選択するために、プラグイン選択コントロールを展示する。
【0107】
図12Cは、本発明に係るいくつかの実施例の情報対話のためのプロセス1200Cのフローチャートを示す。プロセス1200Cは、端末デバイス110で実現されてもよい。議論を容易にするために、図1の環境100を参照してプロセス1200Cを説明する。
【0108】
ボックス1210Cにおいて、端末デバイス110は、第1ユーザとデジタルアシスタントとの会話ウィンドウにおいて第1話題を開始する操作に応答して、会話ウィンドウにおいて、第1話題の対話において使用するプラグインを選択するために、第1話題に関連する第1プラグイン選択コントロールを展示する。ボックス1220Cにおいて、会話ウィンドウにおいて第2話題を開始する操作に応答して、第2話題の対話において使用するプラグインを選択するために、第2話題に関連する第2プラグイン選択コントロールを呈出する。
【0109】
いくつかの実施例において、第1話題に関連する第1プラグイン選択コントロールは、第1話題と前の話題との分割線の近くに展示され、また、第2話題に関連する第2プラグイン選択コントロールは、第1話題と第2話題との分割線の近くに展示される。
【0110】
図12Dは、本発明に係るいくつかの実施例の情報対話のためのプロセス1200Dのフローチャートを示す。プロセス1200Dは、端末デバイス110で実現されてもよい。議論を容易にするために、図1の環境100を参照してプロセス1200Dを説明する。
【0111】
ボックス1210Dにおいて、端末デバイス110は、第1ユーザとデジタルアシスタントとの対話ウィンドウにおいて、話題におけるプラグインに関連するインターフェース要素を呈出し、インターフェース要素を利用して対応する話題において使用されるプラグインが選択可能または照会可能であり、ここで、各プラグインは、対応する機能を実行するように構成される。ボックス1220Dにおいて、対話ウィンドウ内で、第1ユーザとデジタルアシスタントとの現在話題の対話中に、現在話題において選択されたプラグインに基づいて第1ユーザによって要求されたタスクを実行する。
【0112】
いくつかの実施例において、端末デバイス110は、対話ウィンドウにおいて現在話題を開始する操作に応答して、現在話題におけるプラグインに関連する第1インターフェース要素を呈出し、第1インターフェース要素によって現在話題において使用されるプラグインが選択可能である。
【0113】
いくつかの実施例において、対話ウィンドウにおいて、履歴話題におけるプラグインに関連する第2インターフェース要素によって履歴話題において使用されるプラグインが照会可能である。
【0114】
いくつかの実施例において、端末デバイス110は、現在話題において少なくとも1つの会話メッセージが受信されたことに応答して、現在話題において選択されたプラグインの変更を無効にする。
【0115】
いくつかの実施例において、話題におけるプラグインに関連するインターフェース要素は、対応する話題に関連するプラグイン選択パネルであって、プラグインリストを含むプラグイン選択パネル、または、プラグイン選択パネルの呈出をトリガするためのプラグイン選択コントロール、のうちの少なくとも1つを含む。
【0116】
いくつかの実施例において、現在話題に関連するプラグイン選択パネルに対する第1プラグイン選択コントロールは、対話ウィンドウにおいて上部に呈出される。
【0117】
いくつかの実施例において、端末デバイス110は、履歴話題に関連する少なくとも一部の対話情報が対話ウィンドウにおいて呈出されたことに応答して、第1プラグイン選択コントロールに対する上部呈出をキャンセルする。
【0118】
いくつかの実施例において、プラグイン選択パネルにおいてプラグイン検索機能を提供することにより、プラグインリストからプラグインを検索する。
【0119】
いくつかの実施例において、端末デバイス110は、プラグインリストの中の第1プラグインに対する詳細情報照会要求に応答して、第1プラグインの詳細情報パネルを提供し、ここで、詳細情報パネルは、少なくとも第1プラグインの機能に対する説明を含む。
【0120】
いくつかの実施例において、対話ウィンドウは、目標コンテンツに関連して呈出され、第1ユーザとデジタルアシスタントとの対話ウィンドウの話題における対話は、少なくとも目標コンテンツをコンテキストとし、対話ウィンドウの話題において選択可能なプラグイン目標コンテンツに基づいて決定される。
【0121】
いくつかの実施例において、対話ウィンドウにおいて新しい話題がトリガされると、少なくとも1つのプラグインがデフォルトで選択されて新しい話題に使用される。
【0122】
いくつかの実施例において、対応する話題において少なくとも1つのプラグインが選択されると、対応する話題におけるプラグインに関連するインターフェース要素は、少なくとも1つのプラグインのうちの1つまたは複数のプラグインの識別情報を含む。
【0123】
いくつかの実施例において、端末デバイス110は、対話ウィンドウにおいてデジタルアシスタントの第1返信を呈出し、ここで、前記第1返信は前記タスクの実行結果と前記タスクの実行に使用されるプラグインの識別情報とを含む。
【0124】
いくつかの実施例において、端末デバイス110は、第1返信の生成プロセスにおいて、対話ウィンドウにおいてプラグインの使用状態を呈出し、ここで、プラグインの使用状態は使用されているプラグインを指す。
【0125】
例示的な装置とデバイス
図13Aは、本発明に係るいくつかの実施例の情報対話のための装置1300Aの概略的な構造のブロック図を示す。装置600aは、端末デバイス110として実現されるか、端末デバイス110に含まれることができる。装置1300Aにおける各モジュール/コンポーネントは、ハードウェア、ソフトウェア、ファームウェア、または、それらの任意の組み合わせによって実現され得る。
【0126】
装置1300Aは、第1ページにおいてデジタルアシスタントを呼び起こす操作に応答して、第1ユーザと前記デジタルアシスタントとの第1対話ウィンドウを展示するための第1対話ウィンドウ展示モジュール1310Aを備える。装置1300Aは、前記第1対話ウィンドウにおいてデフォルトで選択された1つまたは複数のプラグインを展示するためのプラグイン展示モジュール1320Aをさらに備える。ここで、デフォルトで選択された1つまたは複数のプラグインは、前記第1ページと第1関連関係を有し、各プラグインは、対応する機能を実行するように構成される。
【0127】
いくつかの実施例において、装置1300Aは、前記第1ユーザと前記デジタルアシスタントとが対話するメイン会話ウィンドウを呼び起こす操作に応答して、前記第1ユーザと前記デジタルアシスタントとのメイン会話ウィンドウを展示するためのメイン会話ウィンドウ展示モジュールをさらに備える。ここで、前記メイン会話ウィンドウが配置されるアプリケーションは、前記第1ウィンドウが配置されるアプリケーションとは異なるアプリケーションである。
【0128】
いくつかの実施例において、装置1300Aは、前記メイン会話ウィンドウにおいてプラグイン選択コントロールを展示するためのプラグイン選択コントロール展示モジュール、および/または、前記第1対話ウィンドウ内の対話メッセージを前記第1ユーザと前記デジタルアシスタントとが対話するメイン会話ウィンドウ内に同期させるための対話メッセージ同期にモジュール、をさらに備える。
【0129】
いくつかの実施例において、装置1300Aは、ユーザのプラグイン選択操作に応答して、前記第1対話ウィンドウにおいてユーザが選択したプラグインを展示するためのユーザ選択プラグイン展示モジュールをさらに備える。
【0130】
いくつかの実施例において、第1関連関係は、前記第1ウィンドウが配置されるアプリケーションのビジネス種類との間の関連関係、前記第1ページに呈出されたコンテンツとの間の関連関係、前記第1ページに呈出されたコンテンツから選択された一部のコンテンツとの間の関連関係、第1ページにおける第1ユーザとデジタルアシスタントの、履歴話題との間の関連関係、のうちの1つまたは複数を含む。
【0131】
図13Bは、本発明に係るいくつかの実施例の情報対話のための装置1300Bの概略的な構造のブロック図を示す。装置1300Bは、端末デバイス110として実現されるか、端末デバイス110に含まれることができる。装置1300Bにおける各モジュール/コンポーネントは、ハードウェア、ソフトウェア、ファームウェア、または、それらの任意の組み合わせによって実現され得る。
【0132】
装置1300Bは、第1ユーザとデジタルアシスタントとが対話するメイン会話ウィンドウを呼び起こす操作に応答して、前記第1ユーザと前記デジタルアシスタントとのメイン会話ウィンドウを展示し、前記メイン会話ウィンドウにおいて、前記メイン会話ウィンドウにおいて使用するプラグインを選択するために、プラグイン選択コントロールを展示するためのメイン会話ウィンドウ展示モジュール1310Bを備える。装置1300Bは、第1ページにおいて前記デジタルアシスタントを呼び起こす操作に応答して、前記第1ユーザと前記デジタルアシスタントとの第1対話ウィンドウを展示し、前記第1対話ウィンドウにおいて、前記第1対話ウィンドウにおいて使用するプラグインを選択するために、プラグイン選択コントロールを展示するための第1対話ウィンドウ展示モジュール1320Bをさらに備える。
【0133】
図13Cは、本発明に係るいくつかの実施例の情報対話のための装置1300Cの概略的な構造のブロック図を示す。装置1300Cは、端末デバイス110として実現されるか、端末デバイス110に含まれることができる。装置1300Cにおける各モジュール/コンポーネントは、ハードウェア、ソフトウェア、ファームウェア、または、それらの任意の組み合わせによって実現され得る。
【0134】
装置1300Cは、第1ユーザとデジタルアシスタントとの会話ウィンドウにおいて第1話題を開始する操作に応答して、前記会話ウィンドウにおいて、前記第1話題の対話において使用するプラグインを選択するために、前記第1話題に関連する第1プラグイン選択コントロールを展示するための第1プラグイン選択コントロール展示モジュール1310Cを備える。装置1300Cは、前記会話ウィンドウにおいて第2話題を開始する操作に応答して、前記第2話題の対話において使用するプラグインを選択するために、前記第2話題に関連する第2プラグイン選択コントロールを呈出するための第2プラグイン選択コントロール呈出モジュール1320Cをさらに備える。
【0135】
いくつかの実施例において、前記第1話題に関連する第1プラグイン選択コントロールは、前記第1話題と前の話題との分割線の近くに展示され、また、前記第2話題に関連する第2プラグイン選択コントロールは、前記第1話題と前記第2話題との分割線の近くに展示される。
【0136】
図1300Dは、本発明に係るいくつかの実施例の情報対話のための装置1300Dの概略的な構造のブロック図を示す。装置1300Dは、端末デバイス110として実現されるか、端末デバイス110に含まれることができる。装置1300Dにおける各モジュール/コンポーネントは、ハードウェア、ソフトウェア、ファームウェア、または、それらの任意の組み合わせによって実現され得る。
【0137】
装置1300Dは、第1ユーザとデジタルアシスタントとの対話ウィンドウにおいて、話題におけるプラグインに関連するインターフェース要素を呈出し、前記インターフェース要素を利用して対応する話題において使用されるプラグインが選択可能または照会可能であるインターフェース要素呈出モジュール1310Dであって、各プラグインは、対応する機能を実行するように構成されるインターフェース要素呈出モジュール1310Dを備える。装置1300Dは、前記対話ウィンドウ内で、前記第1ユーザと前記デジタルアシスタントとの現在話題の対話中に、前記現在話題において選択されたプラグインに基づいて前記第1ユーザによって要求されたタスクを実行するためのタスク実行モジュール1320Dをさらに備える。
【0138】
いくつかの実施例において、インターフェース要素呈出モジュール1310Dは、さらに、前記対話ウィンドウにおいて前記現在話題を開始する操作に応答して、前記現在話題におけるプラグインに関連する第1インターフェース要素を呈出し、前記第1インターフェース要素によって前記現在話題において使用されるプラグインが選択可能である。
【0139】
いくつかの実施例において、前記対話ウィンドウにおいて、履歴話題におけるプラグインに関連する第2インターフェース要素によって前記履歴話題において使用されるプラグインが照会可能である。
【0140】
いくつかの実施例において、装置1300Dは、前記現在話題において少なくとも1つの会話メッセージが受信されたことに応答して、前記現在話題において選択されたプラグインの変更を無効にするための変更無効化モジュールをさらに備える。
【0141】
いくつかの実施例において、話題におけるプラグインに関連する前記インターフェース要素は、対応する話題に関連するプラグイン選択パネルであって、プラグインリストを含むプラグイン選択パネル、または、前記プラグイン選択パネルの呈出をトリガするためのプラグイン選択コントロール、のうちの少なくとも1つを含む。
【0142】
いくつかの実施例において、前記現在話題に関連するプラグイン選択パネルに対する第1プラグイン選択コントロールは、前記対話ウィンドウにおいて上部に呈出される。
【0143】
いくつかの実施例において、装置1300Dは、履歴話題に関連する少なくとも一部の対話情報が前記対話ウィンドウにおいて呈出されたことに応答して、前記第1プラグイン選択コントロールに対する上部呈出をキャンセルするための上部呈出キャンセルモジュールをさらに備える。
【0144】
いくつかの実施例において、前記プラグイン選択パネルにおいて、前記プラグインリストからプラグインを検索するためのプラグイン検索機能を提供する。
【0145】
いくつかの実施例において、装置1300Dは、前記プラグインリストの中の第1プラグインに対する詳細情報照会要求に応答して、前記第1プラグインの詳細情報パネルを提供するための詳細情報パネル提供モジュールであって、前記詳細情報パネルは、少なくとも前記第1プラグインの機能に対する説明を含む詳細情報パネル提供モジュールをさらに備える。
【0146】
いくつかの実施例において、前記対話ウィンドウは、目標コンテンツに関連して呈出され、前記第1ユーザと前記デジタルアシスタントとの前記対話ウィンドウの話題における対話は、少なくとも前記目標コンテンツをコンテキストとし、前記対話ウィンドウの話題において選択可能なプラグインは、前記目標コンテンツに基づいて決定される。
【0147】
いくつかの実施例において、前記対話ウィンドウにおいて新しい話題がトリガされると、少なくとも1つのプラグインがデフォルトで選択されて前記新しい話題に使用される。
【0148】
いくつかの実施例において、対応する話題において少なくとも1つのプラグインが選択されると、前記対応する話題におけるプラグインに関連するインターフェース要素は、前記少なくとも1つのプラグインのうちの1つまたは複数のプラグインの識別情報を含む。
【0149】
いくつかの実施例において、装置1300Dは、前記対話ウィンドウにおいて前記デジタルアシスタントの第1返信を呈出するための第1返信呈出モジュールであって、前記第1返信は前記タスクの実行結果と前記タスクの実行に使用されるプラグインの識別情報とを含む第1返信呈出モジュールをさらに備える。
【0150】
いくつかの実施例において、装置1300Dは、前記第1返信の生成プロセスにおいて、前記対話ウィンドウにおいてプラグインの使用状態を呈出するためのプラグインの使用状態呈出モジュールであって、前記プラグインの使用状態は使用されているプラグインを指すプラグインの使用状態呈出モジュールをさらに備える。
【0151】
上記の方法における1つまたは複数のステップは、適切な電子デバイスまたは電子デバイスの組み合わせによって実行され得ることを理解されたい。このような電子デバイスまたは電子デバイスの組み合わせは、例えば、図1におけるサーバ130、端末デバイス110、および/または、サーバ130と端末デバイス110の組み合わせを備えてもよい。
【0152】
図14は、本発明の1つまたは複数の実施例を実施できる電子デバイス1400のブロック図を示す。図14に示された電子デバイス1400は、例示的なものに過ぎず、本明細書に説明される実施例の機能および範囲を制限するものであってはならないことを理解されたい。図14に示された電子デバイス1400は、図1の端末デバイス110を実現するために使用されてもよい。
【0153】
図14に示されたように、電子デバイス1400は、汎用電子デバイスの形態である。電子デバイス1400のコンポーネントは、1つまたは複数のプロセッサまたは処理ユニット1410、メモリ1420、記憶デバイス1430、1つまたは複数の通信ユニット1440、1つまたは複数の入力デバイス1450、および、1つまたは複数の出力デバイス1460を備えてもよいがこれらに限定されない。処理ユニット1410は、実際または仮想プロセッサであってもよく、メモリ1420に記憶されたプログラムに基づいて様々な処理を実行することができる。マルチプロセッサシステムにおいて、複数の処理ユニットがコンピュータ実行可能命令を並行して実行することにより、電子デバイス1400の並行処理能力を向上させる。
【0154】
電子デバイス1400は、通常、複数のコンピュータ記憶媒体を含む。このような媒体は、揮発性媒体および不揮発性媒体、取外し可能媒体および取外し不可能媒体を含むがこれらに限定されない、電子デバイス1400によりアクセスな能なの任意の取得可能なメディアであってもよい。メモリ1420は、揮発性メモリ(例えば、レジスタ、高速キャッシュ、ランダムアクセスメモリ(RAM))、不揮発性メモリ(例えば、読み取り専用メモリ(ROM)、電気的消去可能プログラマブル読み取り専用メモリ(EEPROM)、フラッシュメモリ)、または、それらの特定の組み合わせであってもよい。記憶デバイス1430は、取り外し可能または不取り外し不可能媒体であってもよく、フラッシュメモリドライブ、磁気ディスク、または、任意の他のメディアなどの、機械可読媒体を含んでもよく、情報および/またはデータを記憶するために使用され得、電子デバイス1400内でアクセス可能であり得る。
【0155】
電子デバイス1400は、別の取り外し可能/取り外し不可能、揮発性/不揮発性記憶媒体をさらに含むことができる。図14には示されていないが、取り外し可能な、不揮発性磁気ディスク(例えば、「フロッピーディスク」)から読取りまたは書込むための磁気ディスクドライブ、および、取り外し可能な、不揮発性光ディスクから読取りまたは書込むための光ディスクドライブを提供することができる。これらの場合には、各ドライブは、1つまたは複数のデータ媒体インターフェースによってパス(図示せず)に接続されてもよい。メモリ1420は、1つまたは複数のプログラムモジュールを有するコンピュータプログラム製品1425を含んでもよく、これらのプログラムモジュールは本発明の様々な実施例の様々な方法または動作を実行するように構成される。
【0156】
通信ユニット1440は、通信媒体を介した他のコンピューティングデバイスと通信を実現する。追加的に、電子デバイス1400のコンポーネントの機能は、単一のコンピューティングクラスタまたは複数のコンピューティングマシンとして実現されてもよく、これらのコンピューティングマシンは通信接続を介して通信可能である。したがって、電子デバイス1400は、1つまたは複数の他のサーバ、ネットワークパーソナルコンピュータ(PC)、または、別のネットワークノードの論理接続を使用して、ネットワーク化された環境で動作することができる。
【0157】
入力デバイス1450は、マウス、キーボード、トラックボールなどの1つまたは複数の入力デバイスであってもよい。出力デバイス1460は、ディスプレイ、スピーカー、プリンターなどの1つまたは複数の出力デバイスであってもよい。電子デバイス1400は、さらに、必要に応じて、通信ユニット1440を介して記憶デバイス、表示デバイスなどの1つまたは複数の外部デバイス(図示せず)と通信することができ、ユーザが電子デバイス1400と対話することを可能にする1つまたは複数のデバイスと通信することができ、または、電子デバイス1400が1つまたは複数の他のコンピューティングデバイスと通信することを可能にする任意のデバイス(例えば、ネットブックカード、モデムなど)と通信することができる。このような通信は、入力/出力(I/O)インターフェース(図示せず)を介して実行することができる。
【0158】
本発明に係る例示的な実現形態は、コンピュータ実行可能命令が記憶されているコンピュータ可読記憶媒体を提供し、コンピュータ実行可能命令は、プロセッサに実行されて上記の方法を実現する。本発明に係る例示的な実現形態は、コンピュータプログラム製品をさらに提供し、コンピュータ実行可能命令を含むコンピュータプログラム製品は、非一時的なコンピュータ可読媒体に有形に記憶され、コンピュータ実行可能命令は、プロセッサによって実行されて上記の方法を実現する。
【0159】
ここでは、本発明によって実現される方法、装置、デバイス和コンピュータプログラム製品のフローチャートおよび/またはブロック図を参照して、本発明の各態様を説明した。フローチャートおよび/またはブロック図の各ボックスおよびフローチャートおよび/またはブロック図における各ボックスの組み合わせは、いずれも、コンピュータ可読プログラム命令によって実現されてもよいことを理解されたい。
【0160】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、特殊用途コンピュータ、または、他のプログラム可能なデータ処理装置の処理ユニットに提供されて、機械を生成することにより、これらの命令がコンピュータまたは他のプログラム可能なデータ処理装置の処理ユニットによって実行される際に、フローチャートおよび/またはブロック図における1つまたは複数のボックスで指定された機能/動作を実現するための装置を生成するようにすることができる。これらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に記憶されてもよく、これらの命令がコンピュータ、プログラム可能なデータ処理装置および/または他のデバイスを特定の形態で動作させることによって、命令が記憶されているコンピュータ可読媒体が、フローチャートおよび/またはブロック図における1つまたは複数のボックスで指定された機能/動作の各態様を実現する命令を含む製造品を構成するようにする。
【0161】
コンピュータ可読プログラム命令をコンピュータ、他のプログラム可能なデータ処理装置、または、他のデバイスにロードすることによって、コンピュータ、他のプログラム可能なデータ処理装置、または、他のデバイス上で一連の操作ステップを実行させて、コンピュータによって実現されるプロセスを生成し、これにより、コンピュータ、他のプログラム可能なデータ処理装置、または、他のデバイス上で実行される命令が、フローチャートおよび/またはブロック図における1つまたは複数のボックスで指定された機能/動作を実現するようにする。
【0162】
図面の中のフローチャートおよびブロック図は、本発明に係る複数の実現のシステム、方法、および、コンピュータプログラム製品の実現可能なアーキテクチャ、機能、および、操作を示す。これに関して、フローチャートまたはブロック図における各ボックスは、1つのモジュール、プログラムセグメント、または、命令の一部を表すことができ、モジュール、プログラムセグメント、または、命令の一部は、指定された論理機能を実現するための1つまたは複数の実行可能命令を含む。置き換えとしてのいくつかの実現において、ボックスに表記された機能は、図面に表記されたものとは異なる順序で発生することもある。例えば、2つの連続するボックスは、実際には実質的に並行して実行されることがあり、関わる機能によっては逆の順序で実行されることもある。ブロック図および/またはフローチャートにおける各ボックス、および、ブロック図および/またはフローチャートにおけるボックスの組み合わせは、指定された機能または動作を実行する特殊用途のハードウェア基盤システムによって実現されてもよいし、特殊用途のハードウェアとコンピュータ命令の組み合わせによって実現されてもよいことにも留意されたい。
【0163】
以上、本発明の各実現について説明したが、上述した説明は例示的なものであり、網羅的なものではなく、開示された各実現に限定されるものではない。説明される各実現の範囲および精神から逸脱することなく、多くの修正および変更は当業者には明らかである。本明細書で使用される用語の選択は、各実現の原理、実際の適用、または、市場における技術に対する改良を最もよく解釈することを意図し、または、当業者が本明細書で開示される各実現形態を理解できるようにすることを意図している。
図1
図2A
図2B
図2C
図3A
図3B
図4A
図4B
図4C
図4D
図5A
図5B
図6A
図6B
図6C
図7A
図7B
図7C
図7D
図7E
図8
図9A
図9B
図10A
図10B
図11A
図11B
図12A
図12B
図12C
図12D
図13A
図13B
図13C
図13D
図14