特開 2024-178148 大規模言語モデルに適用する回答フィードバック方法、装置、電子機器、記憶媒体およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024178148

(43)【公開日】2024-12-24

(54)【発明の名称】大規模言語モデルに適用する回答フィードバック方法、装置、電子機器、記憶媒体およびコンピュータプログラム

(51)【国際特許分類】

   G06F 16/90 20190101AFI20241217BHJP

【ＦＩ】

G06F16/90 100

【審査請求】有

【請求項の数】17

【出願形態】ＯＬ

【外国語出願】

【公開請求】

(21)【出願番号】P 2024099752

(22)【出願日】2024-06-20

(31)【優先権主張番号】202311714546.9

(32)【優先日】2023-12-13

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際弁理士法人

(72)【発明者】

【氏名】ドン ペイグオ

(72)【発明者】

【氏名】シー ファンファン

(72)【発明者】

【氏名】ディン メイユアン

(72)【発明者】

【氏名】チャオ フイビン

(57)【要約】      （修正有）

【解決手段】大規模言語モデルに適用する回答フィードバック方法であって、ユーザが入力した質問を受信するステップと、事前訓練の大規模言語モデルにより、質問の候補回答セットを生成し、候補回答セットから目標回答として回答を選択して、ユーザへ目標回答を表示するステップと、ユーザが目標回答に対して送信したフィードバック要求を受信したことに応じて、フィードバックページを生成し、ユーザへフィードバックページを表示するステップと、を含む。フィードバックページのコンテンツには候補回答セットが含まれる。方法はまた、ユーザがフィードバックページに対して送信した更新要求を受信したことに応じて、候補回答セットにおいて更新要求が示した回答を新たな目標回答として特定し、ユーザへ新たな目標回答を表示するステップと、を含む。
【効果】ユーザから与えられた明確な正解を簡単に取得できて、回答フィードバック結果の精度を向上できる。
【選択図】図２

【特許請求の範囲】

【請求項1】

ユーザが入力した質問を受信するステップと、
事前訓練の大規模言語モデルにより、前記質問の候補回答セットを生成し、前記候補回答セットから目標回答として回答を選択して、前記ユーザへ目標回答を表示するステップと、
前記ユーザが前記目標回答に対して送信したフィードバック要求を受信したことに応じて、フィードバックページを生成し、前記ユーザへフィードバックページを表示するステップであって、前記フィードバックページのコンテンツには前記候補回答セットが含まれる、ステップと、
前記ユーザが前記フィードバックページに対して送信した更新要求を受信したことに応じて、前記候補回答セットにおける前記更新要求が示す回答を新たな目標回答として特定し、前記ユーザへ新たな目標回答を表示するステップと、
を含む大規模言語モデルに適用する回答フィードバック方法。

【請求項2】

前記フィードバックページのコンテンツには、前記質問に対する前記候補回答セットの各回答のマッチング度がさらに含まれ、前記マッチング度は、前記大規模言語モデルによって生成される、
請求項１に記載の大規模言語モデルに適用する回答フィードバック方法。

【請求項3】

前記フィードバックページのコンテンツには、前記候補回答セットの回答に対応する参照情報がさらに含まれ、前記大規模言語モデルは、前記参照情報を用いて前記候補回答セットを生成する、
請求項２に記載の大規模言語モデルに適用する回答フィードバック方法。

【請求項4】

前記目標回答が属する表示ページには、予め設定されたフィードバック識別子が表示され、
前記フィードバック要求は、前記ユーザの前記フィードバック識別子に応じたインタラクション動作によって送信される、
請求項３に記載の大規模言語モデルに適用する回答フィードバック方法。

【請求項5】

前記フィードバックページには、更新識別子およびキャンセル識別子が表示され、
前記更新要求は、前記ユーザの前記更新識別子に応じたインタラクション動作によって送信され、
前記大規模言語モデルに適用する回答フィードバック方法は、
前記ユーザから送信された前記フィードバックページに対するキャンセル要求を受信したことに応じて、前記目標回答の所在する表示ページへ戻るステップをさらに含み、
前記キャンセル要求は、前記ユーザの前記キャンセル識別子に応じたインタラクション動作によって送信される、
請求項３に記載の大規模言語モデルに適用する回答フィードバック方法。

【請求項6】

前記大規模言語モデルは、
事前訓練の基盤モデルを取得するステップと、
前記基盤モデルに対して教師あり微調整訓練を行って、教師あり微調整モデルを取得するステップと、
事前訓練の報酬モデルを取得するステップと、
前記教師あり微調整モデルおよび報酬モデルに基づいて、強化学習訓練によって大規模言語モデルを取得するステップと、
によって訓練される、請求項１に記載の大規模言語モデルに適用する回答フィードバック方法。

【請求項7】

前記質問と新たな目標回答を関連付けて補足訓練データとして記憶するステップと、
前記補足訓練データを用いて前記大規模言語モデルを更新訓練するステップと、
をさらに含む請求項６に記載の大規模言語モデルに適用する回答フィードバック方法。

【請求項8】

ユーザが入力した質問を受信するように構成される受信モジュールと、
事前訓練の大規模言語モデルにより、前記質問の候補回答セットを生成し、前記候補回答セットから目標回答として回答を選択して、前記ユーザへ目標回答を表示するように構成される表示モジュールと、
前記ユーザが前記目標回答に対して送信したフィードバック要求を受信したことに応じて、フィードバックページを生成し、前記ユーザへフィードバックページを表示するように構成されるフィードバックモジュールであって、前記フィードバックページのコンテンツには前記候補回答セットが含まれる、フィードバックモジュールと、を備え、
前記表示モジュールは、前記ユーザが前記フィードバックページに対して送信した更新要求を受信したことに応じて、前記候補回答セットにおける前記更新要求が示す回答を新たな目標回答として特定し、前記ユーザへ新たな目標回答を表示するようにさらに構成される、
大規模言語モデルに適用する回答フィードバック装置。

【請求項9】

前記フィードバックページのコンテンツには、前記質問に対する前記候補回答セットの各回答のマッチング度がさらに含まれ、前記マッチング度は、前記大規模言語モデルによって生成される、
請求項８に記載の大規模言語モデルに適用する回答フィードバック装置。

【請求項10】

前記フィードバックページのコンテンツには、前記候補回答セットの回答に対応する参照情報がさらに含まれ、前記大規模言語モデルは、前記参照情報を用いて前記候補回答セットを生成する、
請求項９に記載の大規模言語モデルに適用する回答フィードバック装置。

【請求項11】

前記目標回答が属する表示ページには、予め設定されたフィードバック識別子が表示され、
前記フィードバック要求は、前記ユーザの前記フィードバック識別子に応じたインタラクション動作によって送信される、
請求項１０に記載の大規模言語モデルに適用する回答フィードバック装置。

【請求項12】

前記フィードバックページには、更新識別子およびキャンセル識別子が表示され、
前記更新要求は、前記ユーザの前記更新識別子に応じたインタラクション動作によって送信され、
前記表示モジュールは、
前記ユーザから送信された前記フィードバックページに対するキャンセル要求を受信したことに応じて、前記目標回答の所在する表示ページへ戻るようにさらに構成され、
前記キャンセル要求は、前記ユーザの前記キャンセル識別子に応じたインタラクション動作によって送信される、
請求項１０に記載の大規模言語モデルに適用する回答フィードバック装置。

【請求項13】

前記大規模言語モデルは、
事前訓練の基盤モデルを取得するステップと、
前記基盤モデルに対して教師あり微調整訓練を行って、教師あり微調整モデルを取得するステップと、
事前訓練の報酬モデルを取得するステップと、
前記教師あり微調整モデルおよび報酬モデルに基づいて、強化学習訓練によって大規模言語モデルを取得するステップと、
によって訓練される、請求項８～１２のいずれか１項に記載の大規模言語モデルに適用する回答フィードバック装置。

【請求項14】

前記質問と新たな目標回答を関連付けて補足訓練データとして記憶するように構成される記憶モジュールと、
前記補足訓練データを用いて前記大規模言語モデルを更新訓練するように構成される訓練モジュールと、
をさらに備える請求項１３に記載の大規模言語モデルに適用する回答フィードバック装置。

【請求項15】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信可能に接続されるメモリとを備える電子機器であって、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な指令が格納され、前記指令が前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに請求項１～７のいずれか１項に記載の大規模言語モデルに適用する回答フィードバック方法を実行させる、
電子機器。

【請求項16】

コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、
前記コンピュータ指令はコンピュータに請求項１～７のいずれか１項に記載の方法を実行させるために用いられる、
非一時的コンピュータ可読記憶媒体。

【請求項17】

プロセッサによって実行されると、請求項１～７のいずれか１項に記載の大規模言語モデルに適用する回答フィードバック方法が実現される、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実施形態はデータ処理の分野に関し、具体的には、生成モデル、インテリジェントな質問・回答などの人工知能技術の分野に関し、大規模言語モデルによって生成された回答をフィードバックするシーンに適用することができる。

【背景技術】

【0002】

大規模言語モデル（ＬＬＭ，Ｌａｒｇｅ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌ）は、ＣｈａｔＧＰＴ（Ｃｈａｔ Ｇｅｎｅｒａｔｉｖｅ Ｐｒｅ－ｔｒａｉｎｅｄ Ｔｒａｎｓｆｏｒｍｅｒ，ＯｐｅｎＡＩが開発したチャットボットプログラム）のような、様々な下流タスクに適用可能な本質的な生成モデルである。例えば、インテリジェントな問答、イベント分析、テキスト生成、インテリジェントな翻訳などである。これらの大規模言語モデルの生成アプリケーションでは、生成結果のフィードバックが大規模言語モデルの成長に重要な役割を果たしている。より多くの、より良い回答フィードバックは、大規模言語モデルのより良い訓練を支援し、それによって、ユーザへいっそう良いサービスを提供でき、効率的で良性のデータのフライホイール（Ｄａｔａ Ｆｌｙｗｈｅｅｌ）を形成する。

【0003】

現在、大規模言語モデルの生成アプリケーションにおいて、よく用いられる回答フィードバック方式は主に３つある。（１）如何なるフィードバックもない。この方式では、ユーザは大規模言語モデルによって生成された回答を受動的に受け取るしかできず、体験が悪い。（２）「いいね」と「よくないね」のような単純な正方向と逆方向のフィードバックを提供する。この方式はフィードバックによって回答の良し悪しのみを知ることができ、大規模言語モデルの再訓練への作用が限られている。（３）ユーザが「よくないね」を選択するなどして回答が良くないことを示した場合に、ポップアップウィンドウなどによってユーザに具体的な原因を記入させる。この方式は、ユーザが記入したコンテンツの品質を制御することが難しく、ユーザが満足できる答えを直接得ることもできない。

【発明の概要】

【0004】

本開示の実施形態は、大規模言語モデルに適用する回答フィードバック方法および装置、電子機器、記憶媒体およびコンピュータプログラムを提出する。

【0005】

第１の態様では、本開示の実施形態は、ユーザが入力した質問を受信するステップと、事前訓練の大規模言語モデルにより、質問の候補回答セットを生成し、候補回答セットから目標回答として回答を選択して、ユーザへ目標回答を表示するステップと、ユーザが目標回答に対して送信したフィードバック要求を受信したことに応じて、フィードバックページを生成し、ユーザへフィードバックページを表示するステップであって、フィードバックページのコンテンツには候補回答セットが含まれる、ステップと、ユーザがフィードバックページに対して送信した更新要求を受信したことに応じて、候補回答セットにおいて更新要求が示す回答を新たな目標回答として特定し、ユーザへ新たな目標回答を表示するステップと、を含む大規模言語モデルに適用する回答フィードバック方法を提供する。

【0006】

第２の態様では、本開示の実施形態は、大規模言語モデルに適用する回答フィードバック装置であって、ユーザが入力した質問を受信するように構成される受信モジュールと、事前訓練の大規模言語モデルにより、質問の候補回答セットを生成し、候補回答セットから目標回答として回答を選択して、ユーザへ目標回答を表示するように構成される表示モジュールと、ユーザが目標回答に対して送信したフィードバック要求を受信したことに応じて、フィードバックページを生成し、ユーザへフィードバックページを表示するように構成されるフィードバックモジュールであって、フィードバックページのコンテンツには前記候補回答セットが含まれる、フィードバックモジュールと、を備え、表示モジュールは、ユーザがフィードバックページに対して送信した更新要求を受信したことに応じて、候補回答セットにおいて更新要求が示す回答を新たな目標回答として特定し、ユーザへ新たな目標回答を表示するようにさらに構成される、大規模言語モデルに適用する回答フィードバック装置を提供する。

【0007】

第３の態様では、本開示の実施形態は、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信可能に接続されたメモリとを備える電子機器であって、メモリには、少なくとも１つのプロセッサによって実行可能な指令が格納されており、指令が少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに第１の態様に記載の大規模言語モデルに適用する回答フィードバック方法を実行させる、電子機器を提供する。

【0008】

第４の態様では、本開示の実施形態は、コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、コンピュータ指令はコンピュータに第１の態様に記載の大規模言語モデルに適用する回答フィードバック方法を実行させるために用いられる非一時的コンピュータ可読記憶媒体を提供する。

【0009】

第５の態様では、本開示の実施形態は、プロセッサによって実行されると、第１の態様に記載の大規模言語モデルに適用する回答フィードバック方法が実行されるコンピュータプログラムを提供する。

【0010】

本開示の実施形態が提供する大規模言語モデルに適用する回答フィードバック方法は、ユーザの質問に対して候補回答セットを生成して候補回答セットから目標回答を選択して表示する時、ユーザの該回答に対するフィードバック要求を受信して、ユーザへ候補回答セットの全ての回答を表示して、ユーザは大規模言語モデルが該質問に対して生成した全ての回答の中から新たな回答を選択して更新することができ、ユーザからの明確な正解を容易に取得することができ、回答フィードバック結果の精度を向上させることができる。

【0011】

なお、発明の概要に記載された内容は、本開示の実施形態のかなめとなる特徴または重要な特徴を限定することを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明によって理解しやすくなる。

【図面の簡単な説明】

【0012】

本開示の他の特徴、目的および利点は、以下の図面を参照してなされる非限定的な実施形態に係る詳細な説明を読むことにより、より明らかになる。

【図1】本開示の適用可能な例示的なシステムアーキテクチャを示す図である。

【図2】本開示に係る大規模言語モデルに適用する回答フィードバック方法の一実施形態のフローチャートである。

【図3A】本開示の実施形態に係る大規模言語モデルに適用する回答フィードバック方法の一応用シーンを示す概略図である。

【図3B】本開示の実施形態に係る大規模言語モデルに適用する回答フィードバック方法の一応用シーンを示す概略図である。

【図3C】本開示の実施形態に係る大規模言語モデルに適用する回答フィードバック方法の一応用シーンを示す概略図である。

【図4A】本開示の実施形態に係る大規模言語モデルに適用する回答フィードバック方法の他の一応用シーンを示す概略図である。

【図4B】本開示の実施形態に係る大規模言語モデルに適用する回答フィードバック方法の他の一応用シーンを示す概略図である。

【図4C】本開示の実施形態に係る大規模言語モデルに適用する回答フィードバック方法の他の一応用シーンを示す概略図である。

【図5】本開示に係る大規模言語モデルに適用する回答フィードバック方法の更なる実施形態のフローチャートである。

【図6A】回答のフィードバックを取得し、回答のフィードバックに基づいて訓練を行う閉ループの概略図である。

【図6B】回答のフィードバックを取得し、回答のフィードバックに基づいて訓練を行う閉ループの概略図である。

【図6C】回答のフィードバックを取得し、回答のフィードバックに基づいて訓練を行う閉ループの概略図である。

【図7】本開示に係る大規模言語モデルに適用する回答フィードバック装置の一実施形態を示す構造概略図である。

【図8】本開示の実施形態に係る大規模言語モデルに適用する回答フィードバック方法を実現するための電子機器のブロック図である。

【発明を実施するための形態】

【0013】

以下は、図面を参照して本開示の例示的な実施形態を説明し、ここで理解を助けるため、本開示の実施形態の様々な詳細を記載するが、これらは単なる例示的なものに過ぎないことを理解すべきである。従って、本開示の範囲および要旨を逸脱しない限り、当業者が本明細書の実施形態に対して様々な変更および修正を行うことができることを理解すべきである。なお、以下の説明では、明確化および簡略化のため、公知の機能および構造については説明を省略する。

【0014】

なお、本開示の実施形態および実施形態における特徴は、矛盾を生じない限り、相互に組み合わせることができる。以下、図面および実施形態を参照しながら本開示を詳細に説明する。

【0015】

図１は、本開示に係る大規模言語モデルに適用する回答フィードバック方法または大規模言語モデルに適用する回答フィードバック装置が適用可能な実施形態の例示的なシステムアーキテクチャ１００を示している。

【0016】

図１に示すように、システムアーキテクチャ１００は、端末装置１０１、１０２、１０３、ネットワーク１０４、およびサーバ１０５を含んでもよい。ネットワーク１０４は、端末装置１０１、１０２、１０３とサーバ１０５との間で通信リンクを提供するための媒体として使用される。ネットワーク１０４は、有線、無線通信リンクまたは光ファイバケーブルなどの様々なタイプの接続を含んでもよい。

【0017】

ユーザは、メッセージを送受信するために、端末装置１０１、１０２、１０３を使用してネットワーク１０４を介してサーバ１０５と情報のやり取りをすることができる。端末装置１０１、１０２、１０３およびサーバ１０５に両者の間の情報通信を実現するためのアプリケーションをインストールすることができ、例えば検索アプリケーション、モデル訓練アプリケーションなどが挙げられる。

【0018】

サーバ１０５は、様々なサービスを端末装置１０１、１０２、１０３に提供できる。例えば、サーバ１０５は、端末装置１０１、１０２、１０３のユーザから入力された質問を受信し、事前訓練の大規模言語モデルを用いて、その質問に対する候補回答セットを生成し、候補回答セットから回答を目標回答として選択して表示するようにしてもよいし、目標回答に対してユーザから送信されたフィードバック要求を受信して、候補回答セットを含むフィードバックページを生成し、そのフィードバックページに基づいてユーザから送信された更新要求を受信した場合に、候補回答セットにおけるその更新要求が示す回答を新たな目標回答として特定して表示するようにしてもよい。

【0019】

端末装置１０１、１０２、１０３は、ハードウェアであってもよいし、ソフトウェアであってもよい。端末装置１０１、１０２、１０３は、ハードウェアである場合、表示画面を備えた様々な電子機器であり得、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータなどを含むがこれらに限定されない。端末装置１０１、１０２、１０３は、ソフトウェアである場合、上記列挙された電子機器にインストールされてもよいし、複数のソフトウェア若しくはソフトウェアモジュールとして実現されてもよく、または単一のソフトウェア若しくはソフトウェアモジュールとして実現されてもよく、これらに限定されない。

【0020】

サーバ１０５は、ハードウェアであってもよいし、ソフトウェアであってもよい。サーバ１０５は、ハードウェアである場合、複数のサーバで構成される分散サーバクラスターとして実現されてもよく、単一のサーバとして実現されてもよい。サーバは、ソフトウェアである場合、複数のソフトウェアまたはソフトウェアモジュールや、単一のソフトウェアまたはソフトウェアモジュールとして実現することができる。ここでは具体的に限定しない。

【0021】

図１における端末装置、ネットワークおよびサーバの数は例示的なものに過ぎないことを理解すべきである。実現のニーズに応じて、端末装置、ネットワークおよびサーバの数を任意に加減してもよい。

【0022】

次に、本開示に係る大規模言語モデルに適用する回答フィードバック方法の一実施形態のフロー２００を示す図２を参照する。当該大規模言語モデルに適用する回答フィードバック方法は、次のステップを含む。

【0023】

ステップ２０１では、ユーザが入力した質問を受信する。

【0024】

本実施形態では、ユーザは、使用する端末（例えば、図１に示す端末装置１０１、１０２、１０３など）を介して、実行主体（例えば、図１に示すサーバ１０５など）に質問を入力することができる。

【0025】

ユーザが入力した質問は、実際の需要に応じてユーザが得たい回答の様々な質問であってもよい。例えば、質問は「速い脈拍はどのくらい」であってもよい。別の例として、質問は、特定セキュリティイベントの分析結果を要求することであってもよい。

【0026】

アプリケーションシーンによって、ユーザは様々な質問入力方式を採用してもよい。例えば、テキスト入力、音声入力等である。

【0027】

ステップ２０２では、事前訓練の大規模言語モデルにより、質問の候補回答セットを生成し、候補回答セットから目標回答として回答を選択して、ユーザへ目標回答を表示する。

【0028】

本実施形態では、大規模言語モデルは、事前訓練によって得ることができる。大規模言語モデルは、入力された質問に対して、その質問に対応する候補回答セットを生成することができる。なお、候補回答セットは、複数の回答から構成されていてもよい。

【0029】

また、大規模言語モデルが生成された候補回答セットの中から目標回答として回答を選択してその目標回答をユーザへ表示することは、様々な方法により達成できる。例えば、目標回答として回答をランダムに選択することができる。

【0030】

また、例えば、大規模言語モデルは、候補回答セットを生成するとともに、その候補回答セット内の各回答に対応するマッチング度を生成してもよい。マッチング度は、回答とユーザが入力した質問との間の適合度を表すことができる。一般に、マッチング度は、大規模言語モデルによって生成された各回答の確率で表すことができる。このとき、対応するマッチング度が最も大きい（例えば、確率が最も大きい）回答を目標回答として選択することができる。

【0031】

一般に、表示ページにおいて選択された目標回答をユーザへ表示してもよい。例えば、ユーザが入力した質問を表示するページに、選択された目標回答を表示してもよい。

【0032】

ステップ２０３では、ユーザが目標回答に対して送信したフィードバック要求を受信したことに応じて、フィードバックページを生成し、ユーザへフィードバックページを表示する。

【0033】

本実施形態では、ユーザは、必要に応じて、目標回答に対応するフィードバック要求を送信してもよい。ここで、フィードバック要求は、ユーザが現在の目標回答に対してフィードバック要求を有することを示すことができる。具体的には、ユーザは、アプリケーションシーンおよびニーズによって、様々な方法でフィードバック要求を送信してもよい。例えば、予め設定されたキーワードを発話したり、「フィードバック」などの指定文を入力したりすることなどの方法がある。

【0034】

上記実行主体は、現在表示されている目標回答に対するフィードバック要求を受信すると、対応するフィードバックページを生成してユーザへ表示することができる。このフィードバックページ上のコンテンツには、ユーザが入力した質問に対して、前記大規模言語モデルによって生成された候補回答セットが含まれてもよい。

【0035】

場合によっては、ページの表示可能なコンテンツが限られている場合や回答のコンテンツが長い場合などに、回答のコンテンツの全体を表示する必要がなく、フィードバックページ上に候補回答セット内の各回答に対応するキーワードなどを柔軟に表示してもよい。

【0036】

ステップ２０４では、ユーザがフィードバックページに対して送信した更新要求を受信したことに応じて、候補回答セットにおいて更新要求が示す回答を新たな目標回答として特定し、ユーザへ新たな目標回答を表示する。

【0037】

本実施形態では、ユーザは、必要に応じて、フィードバックページに対して更新要求を送信してもよい。ここで、更新要求は、ユーザが、現在表示されている回答を候補回答セット内の他の回答に置き換えることを望むことを示してもよい。具体的には、ユーザは、アプリケーションシーンおよびニーズによって、様々な方法で更新要求を送信してもよい。例えば、予め設定されたキーワードを発話したり、「更新」などの特定文を入力したりすることなどの方法がある。

【0038】

一般に、ユーザは、更新要求を送信する際に、ページインタラクション等によって、フィードバックページ上に表示された候補回答セットの中から、自分の要求を満たす回答を指定してもよい。このとき、上記実行主体は、フィードバックページに対してユーザが送信した更新要求を受信すると、ユーザが指定した回答を新たな目標回答としてユーザへ表示してもよい。例えば、前の目標回答の下に新たな目標回答を表示する。

【0039】

従来技術では、ユーザは、答えが良いか悪いかをフィードバックしたり、答えが悪いと思われる理由を入力したりすることしかできなかった。本開示の回答フィードバック方式は、ユーザが現在の回答に満足していない場合に、ユーザが入力した質問に対して大規模言語モデルによって生成されたすべての候補回答をインタフェース化してユーザへ表示することによって、ユーザがそれらの回答から満足する回答を選択することを可能にした。従来技術と比較すると、明確で、正確で、ユーザが満足するフィードバック回答を得ることができ、ユーザフィードバックの精度を効果的に向上させる。

【0040】

本実施形態のいくつかのオプション的な実施形態では、フィードバックページのコンテンツは、上記候補回答セット内の各回答に対応するマッチング度をさらに含んでもよい。このマッチング度は、大規模言語モデルによって生成された、回答とユーザが入力した質問との適合度を表す。

【0041】

オプションとして、フィードバックページのコンテンツには、上記候補回答セット内の各回答に対応する参照情報が含まれていてもよい。ここで、参照情報は、通常、大規模言語モデルが回答を生成する際に参照または使用する情報を表す。

【0042】

フィードバックページに各回答を表示するとともに、各回答にそれぞれ対応するマッチング度、参照情報などを表示することにより、大規模言語モデルの能力をインタフェース化して表示することが可能となり、ユーザは回答に関する情報をより正確に把握することが可能となる。

【0043】

本実施形態のいくつかのオプション的な実施形態では、目標回答が属する表示ページには、予め設定されたフィードバック識別子が同時に表示されてもよい。この時、ユーザは、当該フィードバック識別子とのインタラクション動作によってフィードバック要求の送信をトリガしてもよい。

【0044】

ここで、フィードバック識別子は、関連技術者によって予め設計されてもよい。例えば、フィードバック識別子は、指定されたパターン等であってもよい。一般に、フィードバック識別子をページ内の１つのボタンコントロールとして設計するなど、フィードバック識別子の所在するページ領域をインタラクティブ領域として設計してもよい。インタラクション動作は、予め設定されてもよい（例えば、クリック、所定の方向へのスワイプなど）。例えば、ユーザは、当該フィードバック識別子をクリックすることによってフィードバック要求を送信してもよい。

【0045】

オプションとして、フィードバックページ上に更新識別子が表示されてもよい。この時、ユーザは、更新識別子とのインタラクション動作によって更新要求の送信をトリガしてもよい。

【0046】

ここで、更新識別子は、関連技術者によって予め設計されてもよい。例えば、更新識別子は、指定されたテキスト（例えば、「回答更新」など）であってもよい。一般に、更新識別子をページ内の１つのボタンコントロールとして設計するなど、更新識別子の所在するページ領域をインタラクティブ領域として設計してもよい。インタラクション動作は、予め設定されてもよい（例えば、クリック、所定の方向へのスワイプなど）。例えば、ユーザは、当該更新識別子をクリックすることによって更新要求を送信してもよい。

【0047】

さらにフィードバックページ上にキャンセル識別子が表示されてもよい。この時、フィードバックページに対してユーザから送信されたキャンセル要求を受信したことに応じて、目標回答の所在する表示ページへ戻る。ユーザは、当該フィードバック識別子とのインタラクション動作によってキャンセル要求の送信をトリガしてもよい。

【0048】

キャンセル識別子は、関連技術者によって予め設計されてもよい。例えば、キャンセル識別子は、指定されたテキスト（例えば、「戻る」など）であってもよい。一般に、キャンセル識別子をページ内の１つのボタンコントロールとして設計するなど、キャンセル識別子の所在するページ領域をインタラクティブ領域として設計してもよい。インタラクション動作は、予め設定されてもよい（例えば、クリック、所定の方向へのスワイプなど）。例えば、ユーザは、当該キャンセル識別子をクリックすることによってキャンセル要求を送信してもよい。

【0049】

実際のアプリケーションのニーズによって、目標回答が属する表示ページおよびフィードバックページには、様々な必要な情報がさらに表示されてもよい。例えば、目標回答が属する表示ページには、ユーザが表示された目標回答をコピー、リフレッシュおよび転送などの様々な動作をしやすくするように、コピー、リフレッシュ、転送等を示す識別子が表示されてもよい。

【0050】

目標回答の表示ページおよび目標回答に対するフィードバックページに様々なインタラクション識別子をインタフェース化して表示することにより、ユーザが必要に応じて目標回答に対してフィードバックしたり、新たな目標回答を提出したり、目標回答への更新をキャンセルしたりすることが容易になり、ユーザの操作体験を向上できる。

【0051】

次に、本実施形態に係る大規模言語モデルに適用する回答フィードバック方法の一つの例示的な応用シーンを示す図３Ａ～３Ｃを参照する。図３Ａでは、ユーザは、最初に質問３０１「速い脈拍はどのくらい」を入力してもよい。大規模言語モデルは、当該質問に対応する候補回答セットと、そのうちの各回答に対応する確率とを生成し、最も確率の高い回答を目標回答（例えば、図中の符号３０２）として選択してユーザへ表示してもよい。同時に、表示ページには、順にリフレッシュ、コピー、いいね、良くないね、フィードバックを表す５つの動作識別子３０３がある。ユーザが現在の回答に満足していないか、またはより多くの回答を閲覧したい場合、動作識別子３０３のうちのフィードバック識別子をクリックして、フィードバックページ３０４を閲覧することができる。

【0052】

図３Ｂにおいて、フィードバックページ３０４の左側には、対応する確率が大きい方から小さい方への順に各回答に対応するキーワード３０５が順次表示されている。フィードバックページ３０４の右側には、左側の選択された状態にある回答に対応する出所および具体的なコンテンツ３０６が示されており、同時に回答に対応するキーワードが強調表示されている。フィードバックページ３０４の右下隅には、「キャンセル」ボタンおよび「結果差替え・再生成」ボタン３０７が表示される。ここで、ユーザは、キャンセルボタンをクリックすることにより、目標回答への修正を取り消して図３Ａに示す表示ページへ戻ることができる。

【0053】

また、ユーザは、フィードバックページ３０４の左側に表示された各回答のキーワードの中から、所望のキーワード（例えば、１～１．７回／秒）を選択し、「結果差替え・再生成」ボタンをクリックして、目標回答３０２への更新要求を送信することもできる。

【0054】

このとき、図３Ｃに示すように、図３Ａに示す表示ページでは、「１～１．７回／秒に差し替える」３０８が自動的に入力され、対応する回答３０９が表示される。即ち、回答のキーワードと予め設定されたＰｒｏｍｐｔとを組み合わせて対応する答えを得る。

【0055】

次に、本実施形態に係る大規模言語モデルに適用する回答フィードバック方法の他の一つの例示的な応用シーンを示す図４Ａ～４Ｃを参照する。セキュリティの専門家によって入力された質問は、指定されたセキュリティイベントへの分析を要求することができる。このとき、大規模言語モデルはこのセキュリティイベントを分析することができる。図４Ａに示すページ４０１に示すように、このセキュリティイベントについて、攻撃者分析、メッセージ分析（攻撃メッセージ、攻撃特徴、攻撃手段、攻撃目的等）、被害者分析、アソシエーション分析等を行う。

【0056】

セキュリティの専門家は、ページ４０１内の分析領域をクリックすることによって、具体的な分析結果を見ることができる。図４Ｂに示すように、ユーザが攻撃分析に対応する領域をクリックすると、セキュリティの専門家へ具体的な攻撃特徴４０２を表示することができ、同時にリフレッシュ、コピー、いいね、良くないね、フィードバックを示す５つの動作識別子４０３を順次表示することができる。

【0057】

フィードバック識別子がセキュリティの専門家によってクリックされると、フィードバックページ４０４をセキュリティの専門家へ表示することができる。フィードバックページ４０４の左側には、対応する確率が大きい方から小さい方への順に各分析結果のキーワード４０５が順次表示されている。フィードバックページ４０４の右側には、分析結果を生成するプロセスにおけるコード解析関連コンテンツ４０６（例えば、オリジナルメッセージおよび対応する解析済みコードなど）が表示されている。同時に、フィードバックページ４０４の右下隅には、「キャンセル」ボタンおよび「結果差替え・再生成」ボタン４０７が表示される。ここで、セキュリティの専門家は、「キャンセル」ボタンをクリックすることにより分析結果への修正を取り消して、図４Ａに示す表示ページに戻ることができる。

【0058】

そして、セキュリティの専門家が専門知識や経験に基づいて分析判断を行い、フィードバックページの左側で正しい分析結果のキーワードを選択し、右下隅の「結果差替え・再生成」ボタンをクリックすると、対応する新たな分析結果を生成してセキュリティの専門家が確認するために表示することができる。

【0059】

本実施形態のいくつかのオプション的な実施形態では、大規模言語モデルは、以下のステップによって訓練され得る。

【0060】

ステップ１では、事前訓練の基盤モデルを取得する。

【0061】

このステップでは、１つの基盤モデルを予め訓練してもよい。例えば、指定されたモデルアーキテクチャに基づいて、大量のラベルなしデータを用いて基盤モデルを訓練して得る。

【0062】

ステップ２では、基盤モデルに対して教師あり微調整訓練を行って、教師あり微調整モデルを取得する。

【0063】

このステップでは、Ｐｒｏｍｐｔ－Ｒｅｓｐｏｎｓｅデータペア等のいくつかの高品質の問答データを使用して、基盤モデルに対して教師あり微調整訓練を行って、教師あり微調整モデルを得ることができる。

【0064】

ステップ３では、事前訓練の報酬モデルを取得する。

【0065】

このステップでは、同じＰｒｏｍｐｔに３つの異なるＲｅｓｐｏｎｓｅを設定し、品質をマークしてデータセットを形成することができる。そして、このデータセットを用いて報酬モデルを訓練して、同様なＰｒｏｍｐｔがどのＲｅｓｐｏｎｓｅに対応すれば良いであるかを学習させることができる。

【0066】

ステップ４では、教師あり微調整モデルおよび報酬モデルに基づいて、強化学習訓練によって大規模言語モデルを取得する。

【0067】

本ステップでは、強化学習により、教師あり微調整モデルと報酬モデルを用いた訓練により大規模言語モデルを得ることができる。例えば、予め教師あり微調整モデルを訓練して回答を生成し、各回答の良し悪しを区別できるようにするとともに、報酬モデルが示す報酬関数の正負に応じて教師あり微調整モデルを調整し、このように繰り返し訓練することにより、大規模言語モデルを得ることができる。

【0068】

さらに、大規模言語モデルに適用する回答フィードバック方法の更なる一つの実施形態のフロー５００を示す図５を参照する。この大規模言語モデルに適用する回答フィードバック方法のフロー５００は、次のステップを含む。

【0069】

ステップ５０１では、ユーザが入力した質問を受信する。

【0070】

ステップ５０２では、事前訓練の大規模言語モデルにより、質問の候補回答セットを生成し、候補回答セットから目標回答として回答を選択して、ユーザへ目標回答を表示する。

【0071】

ステップ５０３では、ユーザが目標回答に対して送信したフィードバック要求を受信したことに応じて、フィードバックページを生成し、ユーザへフィードバックページを表示する。

【0072】

ステップ５０４では、ユーザがフィードバックページに対して送信した更新要求を受信したことに応じて、候補回答セットにおいて、更新要求が示す回答を新たな目標回答として特定し、ユーザへ新たな目標回答を表示する。

【0073】

ステップ５０５では、質問と新たな目標回答を関連付けて補足訓練データとして記憶する。

【0074】

本実施形態では、新たな目標回答が得られた後に、さらに、ユーザが入力した質問とその新たな目標回答とを関連付けて補足訓練データとして記憶することができる。

【0075】

ステップ５０６では、補足訓練データを用いて大規模言語モデルを更新訓練する。

【0076】

本実施形態では、記憶された補足訓練データを用いて、大規模言語モデルに対してさらなる調整および最適化訓練等を行うことができる。通常、補足訓練データがある程度の量に達した後、さらに大規模言語モデルに対してさらなる調整および最適化訓練を行うことができる。

【0077】

次に、回答のフィードバックを取得して回答のフィードバックに基づいて訓練を行う一回の閉ループの例を示す図６Ａ－図６Ｃを参照する。フロントエンドは、様々な情報表示に使用され得る。データ転送は、異なるモジュールがデータを伝送するために使用され得る。業界モデルは、特定分野内のいくつかの専門用語などを正確に解釈できる特定分野の垂直クラスモデル（Ｖｅｒｔｉｃａｌ ｃｌａｓｓ ｍｏｄｅｌ）であってもよい。計算モデルは、大規模言語モデルと組み合わせて計算を行って回答を生成する。

【0078】

図６Ａにおいて、フロントエンドモジュールは、ユーザが入力した質問を受信することができ、データ転送モジュールは、当該質問およびＰｒｏｍｐｔを業界モデルに転送することができ、業界モデルは、当該質問およびＰｒｏｍｐｔを大規模言語モデルおよび計算モデルに配信し、大規模言語モデルと計算モデルは組み合わせてＲｅｓｐｏｎｓｅを計算することができる。

【0079】

これに対応して、図６Ｂでは、Ｒｅｓｐｏｎｓｅは最初に業界モデルに転送され、次にデータ転送モジュールによってフロントエンドモジュールに転送されて表示する。ユーザがフィードバック入口を介してフィードバックを行う場合、図６Ｃに示すように、大規模言語モデルおよび計算モデルは、そのフィードバックに対応するＲｅｓｐｏｎｓｅ ’を再生成し、業界モデル、データ転送モジュールなどを介してフロントエンドモジュールに順次転送してユーザへ表示することができる。同時に、図６Ｂに示すように、大規模言語モデルおよび計算モデルは、ユーザのフィードバックに基づいて自己訓練（Ｓｅｌｆ－ｔｒａｉｎｉｎｇ）することができる。

【0080】

ユーザが積極的にフィードバックした明確で正しい回答を訓練データとして記録することにより、ユーザの使用過程において大規模言語モデルに対して連続的に調整、最適化および修正を行い、モデルの訓練効果を高めることができる。

【0081】

さらに図７を参照すると、上記の各図に示す方法の実施形態として、本開示は、大規模言語モデルに適用する回答フィードバック装置の一実施形態を提供し、当該装置の実施形態は、図２に示す方法の実施形態に対応しており、当該装置は、具体的に様々な電子機器に適用することができる。

【0082】

図７に示すように、本実施形態に提供された大規模言語モデルに適用する回答フィードバック装置７００は、受信モジュール７０１と、表示モジュール７０２と、フィードバックモジュール７０３とを備える。ここで、受信モジュール７０１は、ユーザが入力した質問を受信するように構成される。表示モジュール７０２は、事前訓練の大規模言語モデルにより、質問の候補回答セットを生成し、候補回答セットから目標回答として回答を選択して、ユーザへ目標回答を表示するように構成される。フィードバックモジュール７０３は、ユーザが目標回答に対して送信したフィードバック要求を受信したことに応じて、フィードバックページを生成し、ユーザへフィードバックページを表示するように構成される。ここで、フィードバックページのコンテンツには候補回答セットが含まれる。表示モジュール７０２は、ユーザがフィードバックページに対して送信した更新要求を受信したことに応じて、候補回答セットにおいて更新要求が示す回答を新たな目標回答として特定し、ユーザへ新たな目標回答を表示するようにさらに構成される。

【0083】

本実施形態において、大規模言語モデルに適用する回答フィードバック装置７００において、受信モジュール７０１と、表示モジュール７０２と、フィードバックモジュール７０３の具体的な処理およびそれらによって奏される技術的効果は、それぞれ図２の対応する実施形態におけるステップ２０１～２０４の関連する説明を参照することができ、ここでそれらの説明を省略する。

【0084】

本実施形態のいくつかのオプション的な実施形態では、上記フィードバックページのコンテンツには、質問に対する候補回答セットの各回答のマッチング度がさらに含まれ、マッチング度は、大規模言語モデルによって生成される。

【0085】

本実施形態のいくつかのオプション的な実施形態では、上記フィードバックページのコンテンツには、候補回答セットの回答に対応する参照情報がさらに含まれ、大規模言語モデルは、参照情報を用いて候補回答セットを生成する。

【0086】

本実施形態のいくつかのオプション的な実施形態では、上記目標回答が属する表示ページには、予め設定されたフィードバック識別子が表示される。フィードバック要求は、ユーザのフィードバック識別子に応じたインタラクション動作によって送信される。

【0087】

本実施形態のいくつかのオプション的な実施形態では、上記フィードバックページには、更新識別子およびキャンセル識別子が表示される。上記更新要求は、ユーザの更新識別子に応じたインタラクション動作によって送信される。表示モジュール７０２は、ユーザから送信されたフィードバックページに対するキャンセル要求を受信したことに応じて、目標回答の所在する表示ページへ戻るようにさらに構成される。キャンセル要求は、ユーザのキャンセル識別子に応じたインタラクション動作によって送信される。

【0088】

本実施形態のいくつかのオプション的な実施形態では、上記大規模言語モデルは、事前訓練の基盤モデルを取得するステップと、基盤モデルに対して教師あり微調整訓練を行って、教師あり微調整モデルを取得するステップと、事前訓練の報酬モデルを取得するステップと、教師あり微調整モデルおよび報酬モデルに基づいて、強化学習訓練によって大規模言語モデルを取得するステップと、によって訓練される。

【0089】

本実施形態のいくつかのオプション的な実施形態では、上記大規模言語モデルに適用する回答フィードバック装置は、質問と新たな目標回答を関連付けて補足訓練データとして記憶するように構成される記憶モジュール（図示せず）と、補足訓練データを用いて大規模言語モデルを更新訓練するように構成される訓練モジュール（図示せず）とをさらに備える。

【0090】

本開示の実施形態によれば、本開示はさらに電子機器、非一時的コンピュータ可読記憶媒体およびコンピュータプログラムを提供する。

【0091】

図８は、本開示の実施形態を実施するために使用できる例示的な電子機器８００の概略ブロック図を示している。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレード型サーバ、メインフレームコンピュータおよびその他の適切なコンピュータ等の様々な形態のデジタルコンピュータを表す。また、電子機器は、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル機器およびその他の類似する計算装置等の様々な形態のモバイルデバイスを表すことができる。なお、ここで示したコンポーネント、それらの接続関係、およびそれらの機能はあくまでも例示であり、ここで記述および／または要求した本開示の実施形態を限定することを意図するものではない。

【0092】

図８に示すように、電子機器８００は、読み出し専用メモリ（ＲＯＭ）８０２に記憶されているコンピュータプログラムまたは記憶ユニット８０８からランダムアクセスメモリ（ＲＡＭ）８０３にロードされたコンピュータプログラムによって様々な適当な動作および処理を実行することができる計算ユニット８０１を備える。ＲＡＭ８０３には、機器８００の動作に必要な様々なプログラムおよびデータがさらに格納されることが可能である。計算ユニット８０１、ＲＯＭ８０２およびＲＡＭ８０３は、バス８０４を介して互いに接続されている。入／出力（Ｉ／Ｏ）インタフェース８０５もバス８０４に接続されている。

【0093】

電子機器８００において、キーボード、マウスなどの入力ユニット８０６と、様々なタイプのディスプレイ、スピーカなどの出力ユニット８０７と、磁気ディスク、光ディスクなどの記憶ユニット８０８と、ネットワークカード、モデム、無線通信送受信機などの通信ユニット８０９とを含む複数のコンポーネントは、Ｉ／Ｏインタフェース８０５に接続されている。通信ユニット８０９は、電子機器８００がインターネットなどのコンピュータネットワークおよび／または様々な電気通信ネットワークを介して他の装置と情報またはデータのやりとりを可能にする。計算ユニット８０１は、処理および計算能力を有する様々な汎用および／または専用処理コンポーネントであってもよい。計算ユニット８０１のいくつかの例示としては、中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用人工知能（ＡＩ）計算チップ、機械学習モデルアルゴリズムを実行する様々な計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、および任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット６０１は、上述した大規模言語モデルに適用する回答フィードバック方法のような様々な方法および処理を実行する。例えば、いくつかの実施形態では、大規模言語モデルに適用する回答フィードバック方法は、記憶ユニット８０８などの機械可読媒体に有形に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施形態では、コンピュータプログラムの一部または全部は、ＲＯＭ８０２および／または通信ユニット８０９を介して電子機器８００にロードおよび／またはインストールされてもよい。コンピュータプログラムは、ＲＡＭ８０３にロードされ、計算ユニット８０１によって実行されると、上述した大規模言語モデルに適用する回答フィードバック方法の１つまたは複数のステップを実行することができる。あるいは、他の実施形態では、計算ユニット８０１は、他の任意の適切な方式によって（例えば、ファームウェアを介して）大規模言語モデルに適用する回答フィードバック方法を実行するように構成されていてもよい。

【0094】

ここで説明するシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせにおいて実現されてもよい。これらの各実施形態は、１つまたは複数のコンピュータプログラムに実装されることと、当該１つまたは複数のコンピュータプログラムが少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行および／または解釈することができることと、当該プログラマブルプロセッサが専用または汎用プログラマブルプロセッサであってもよいことと、記憶システム、少なくとも１つの入力装置および少なくとも１つの出力装置からデータおよび指令を受信し、且つデータおよび指令を当該記憶システム、当該少なくとも１つの入力装置および当該少なくとも１つの出力装置に転送することができることとを含み得る。

【0095】

本開示の方法を実施するためのプログラムコードは、１つまたは複数のプログラミング言語のあらゆる組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラミング可能なデータ処理装置のプロセッサまたはコントローラに提供されることができ、これらのプログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび／またはブロック図に規定された機能または動作が実施される。プログラムコードは、完全にデバイス上で実行されることも、部分的にデバイス上で実行されることも、スタンドアロンソフトウェアパッケージとして部分的にデバイス上で実行されながら部分的にリモートデバイス上で実行されることも、または完全にリモートデバイスもしくはサーバ上で実行されることも可能である。

【0096】

本開示のコンテキストでは、機械可読媒体は、有形の媒体であってもよく、指令実行システム、装置または機器が使用するため、または指令実行システム、装置または機器と組み合わせて使用するためのプログラムを含むか、または格納してもよい。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であってもよい。機械可読媒体は、電子的、磁気的、光学的、電磁的、赤外線の、または半導体のシステム、装置または機器、またはこれらのあらゆる適切な組み合わせを含むことができるが、これらに限定されない。機械可読記憶媒体のより具体的な例には、１本または複数本のケーブルに基づく電気的接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、またはこれらのあらゆる適切な組み合わせが含まれ得る。

【0097】

ユーザとのインタラクションを提供するために、ここで説明するシステムと技術は、ユーザへ情報を表示するための表示装置（例えば、陰極線管（ＣａｔｈｏｄｅＲａｙＴｕｂｅ，ＣＲＴ）またはＬＣＤ（液晶ディスプレイ）モニタ）と、キーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）とを備えるコンピュータ上で実装することができ、ユーザが当該キーボードおよび当該ポインティングデバイスを介してコンピュータに入力を提供できる。他の種類の装置は、さらにユーザとのインタラクションを提供することに用いることができる。例えば、ユーザへ提供されるフィードバックは（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであるいかなる形態のセンシングフィードバックであってもよく）、且つ音入力、音声入力または、触覚入力を含むいかなる形態でユーザからの入力を受信してもよい。

【0098】

ここで説明したシステムおよび技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバ）に実施されてもよく、またはミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）に実施されてもよく、またはフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェースまたはウェブブラウザを有するユーザコンピュータ）に実施されてもよく、ユーザは該グラフィカルユーザインタフェースまたはウェブブラウザを介してここで説明したシステムおよび技術の実施形態とインタラクションしてもよく、またはこのようなバックエンドコンポーネント、ミドルウェアコンポーネントまたはフロントエンドコンポーネントのいずれかの組み合わせを含むコンピューティングシステムに実施されてもよい。また、システムの各コンポーネントの間は、通信ネットワーク等、任意の形態または媒体のデジタルデータ通信により接続されていてもよい。通信ネットワークの例示としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）およびインターネットを含む。

【0099】

コンピュータシステムは、クライアントとサーバとを含んでもよい。クライアントとサーバは、通常、互いに離れており、通信ネットワークを介してやりとりを行う。クライアントとサーバとの関係は、互いにクライアント－サーバの関係を有するコンピュータプログラムをそれぞれのコンピュータ上で動作することによって生成される。サーバはクラウドサーバであってもよく、分散システムのサーバ、あるいはブロックチェーンを結合したサーバであってもよい。

【0100】

なお、上述した様々な形態のフローを用いて、ステップの並び替え、追加または削除を行うことができることを理解すべきである。例えば、本開示に記載された各ステップは、本開示に記載された技術案の所望の結果が達成できる限り、並行して実行されてもよく、順番に実行されてもよく、異なる順番で実行されてもよい。本明細書はここで制限しない。

【0101】

上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件および他の要因に応じて、様々な修正、組み合わせ、副次的な組み合わせ、および置き換えを行うことができることを理解すべきである。本開示の趣旨および原理を逸脱せずに行われたあらゆる修正、均等な置換および改善などは、いずれも本開示の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図4C】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8】

【外国語明細書】