知財求人 - 知財ポータルサイト「IP Force」
▶ インターナショナル・ビジネス・マシーンズ・コーポレーションの特許一覧
特表2024-514062拡張インテリジェンスに基づく仮想会議ユーザ・エクスペリエンスの改善
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-28
(54)【発明の名称】拡張インテリジェンスに基づく仮想会議ユーザ・エクスペリエンスの改善
(51)【国際特許分類】
H04N 7/15 20060101AFI20240321BHJP
H04N 21/8549 20110101ALI20240321BHJP
【ＦＩ】
H04N7/15 150
H04N21/8549
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023558790
(86)(22)【出願日】2022-03-07
(85)【翻訳文提出日】2023-09-25
(86)【国際出願番号】 CN2022079553
(87)【国際公開番号】W WO2022218062
(87)【国際公開日】2022-10-20
(31)【優先権主張番号】17/231,066
(32)【優先日】2021-04-15
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】390009531
【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100112690
【弁理士】
【氏名又は名称】太佐 種一
(74)【代理人】
【識別番号】100120710
【弁理士】
【氏名又は名称】片岡 忠彦
(72)【発明者】
【氏名】ソード、シッダールタ
(72)【発明者】
【氏名】ジェイン、サンケット
(72)【発明者】
【氏名】シャーマ、アジャイ クマール
(72)【発明者】
【氏名】ウディン、ムハンマド カフィー
(72)【発明者】
【氏名】ジョシ、マノジュ クマール
【テーマコード（参考）】
5C164
【Ｆターム（参考）】
5C164FA10
5C164MC03P
5C164SC11S
5C164VA00P
5C164YA08
5C164YA09
(57)【要約】
仮想会議ユーザ・エクスペリエンスを改善するための手法において、プロセッサが、事前設定された期間の間、または事前にスケジュールされた仮想会議の割り当てられた合計時間の事前設定された割合の間、少なくとも２人の参加者を含んでいる仮想会議から離れているユーザを検出する。プロセッサは、データベースからデータを取り出す。プロセッサは、ユーザのプロフィールに合わせて調整された、ユーザが切り離されていた間の仮想会議の一部を対象にする、要約を準備する。プロセッサは、ユーザが仮想会議に再接続することを検出する。プロセッサは、ユーザが仮想会議に再び参加する前に要約をレビューするかどうかを判定する。ユーザが仮想会議に再び参加する前に要約をレビューするということを決定することに応答して、プロセッサは、デフォルトのユーザの嗜好のセットを使用して、要約をレビューするようユーザに促す。プロセッサは、要約をユーザに出力する。
【特許請求の範囲】
【請求項1】
コンピュータ実装方法であって、１つまたは複数のプロセッサによって、事前設定された期間の間、または事前にスケジュールされた仮想会議の割り当てられた合計時間の事前設定された割合の間、少なくとも２人の参加者を含んでいる仮想会議から離れているユーザを検出することと、
１つまたは複数のプロセッサによって、前記ユーザに関するデータの第１のセット、前記仮想会議の前記少なくとも２人の参加者に関するデータの第２のセット、および前記ユーザと前記仮想会議の前記少なくとも２人の参加者の間の関係に関するデータの第３のセットをデータベースから取り出すことと、
１つまたは複数のプロセッサによって、前記ユーザのプロフィールに合わせて調整された、前記ユーザが切り離されていた間の前記仮想会議の一部を対象にする、要約を準備することと、
１つまたは複数のプロセッサによって、前記ユーザが前記仮想会議に再接続することを検出することと、
１つまたは複数のプロセッサによって、事前設定されたユーザの嗜好、前記ユーザによって行われた決定、または機械駆動の推奨に基づいて、前記ユーザが前記仮想会議に再び参加する前に前記要約をレビューするかどうかを判定することと、
前記ユーザが前記仮想会議に再び参加する前に前記要約をレビューするということを決定することに応答して、１つまたは複数のプロセッサによって、デフォルトのユーザの嗜好のセットを使用して、前記要約をレビューするよう前記ユーザに促すことと、
１つまたは複数のプロセッサによって、前記要約を前記ユーザに出力することとを含む、コンピュータ実装方法。
【請求項2】
前記要約を前記ユーザに出力した後に、１つまたは複数のプロセッサによって、前記要約を前記仮想会議の完全な記録の再生と比較することと、１つまたは複数のプロセッサによって、前記ユーザに対してフィードバックを要求することと、
１つまたは複数のプロセッサによって、前記ユーザから前記フィードバックを受信することと、
１つまたは複数のプロセッサによって、強化学習を使用して、準備される複数の未来の要約の精度を改善することと、
１つまたは複数のプロセッサによって、前記ユーザからの前記フィードバックを前記データベースに格納することとをさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項3】
前記ユーザの前記プロフィールに合わせて調整された、前記ユーザが切り離されていた間の前記仮想会議の前記一部を対象にする、前記要約を準備することが、１つまたは複数のプロセッサによって、前記仮想会議の前記少なくとも２人の参加者を識別することと、
１つまたは複数のプロセッサによって、要因の第１のセットに基づいて、重み付けを前記仮想会議の前記少なくとも２人の参加者に割り当てることと、
１つまたは複数のプロセッサによって、前記少なくとも２人の参加者に割り当てられた前記重み付けに基づいて、前記仮想会議の前記少なくとも２人の参加者をランク付けすることとをさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項4】
前記少なくとも２人の参加者に割り当てられた前記重み付けに基づいて前記仮想会議の前記少なくとも２人の参加者をランク付けした後に、１つまたは複数のプロセッサによって、複数の音声フレーム、複数のビデオ・フレーム、ならびに複数の音声およびビデオ・フレームを、前記ユーザが切り離されていた間の前記仮想会議の前記一部から抽出することと、１つまたは複数のプロセッサによって、前記仮想会議の前記１つまたは複数のトピックを理解するために、前記複数の音声フレーム、前記複数のビデオ・フレーム、ならびに前記複数の音声およびビデオ・フレームの文脈を識別することとをさらに含む、請求項３に記載のコンピュータ実装方法。
【請求項5】
前記仮想会議の前記１つまたは複数のトピックを理解するために前記複数の音声フレーム、前記複数のビデオ・フレーム、ならびに前記複数の音声およびビデオ・フレームの前記文脈を識別した後に、１つまたは複数のプロセッサによって、前記複数の音声フレーム、前記複数のビデオ・フレーム、ならびに前記複数の音声およびビデオ・フレームが前記ユーザの前記プロフィールに関連するかどうかに基づいて、前記複数の音声フレームのサブセット、前記複数のビデオ・フレームのサブセット、ならびに前記複数の音声およびビデオ・フレームのサブセットを選択することと、１つまたは複数のプロセッサによって、アルゴリズム法または要因の第２のセットを使用して、前記複数の音声フレームの前記サブセット、前記複数のビデオ・フレームの前記サブセット、ならびに前記複数の音声およびビデオ・フレームの前記サブセットをランク付けすることと、
１つまたは複数のプロセッサによって、アルゴリズムで決定されたしきい値より上にランク付けされた前記複数の音声フレームの前記サブセット、前記複数のビデオ・フレームの前記サブセット、ならびに前記複数の音声およびビデオ・フレームの前記サブセットをマージすることと、
１つまたは複数のプロセッサによって、前記アルゴリズムで決定されたしきい値より上にランク付けされた前記複数の音声フレームの前記サブセットの統合された要約、前記アルゴリズムで決定されたしきい値より上にランク付けされた前記複数のビデオ・フレームの前記サブセットの統合された要約、ならびに前記アルゴリズムで決定されたしきい値より上にランク付けされた前記複数の音声およびビデオ・フレームの前記サブセットの統合された要約を準備することとをさらに含む、請求項４に記載のコンピュータ実装方法。
【請求項6】
前記アルゴリズムで決定されたしきい値より上にランク付けされた前記複数の音声フレームの前記サブセットの統合された要約、前記アルゴリズムで決定されたしきい値より上にランク付けされた前記複数のビデオ・フレームの前記サブセットの統合された要約、ならびに前記アルゴリズムで決定されたしきい値より上にランク付けされた前記複数の音声およびビデオ・フレームの前記サブセットの統合された要約を準備した後に、１つまたは複数のプロセッサによって、抽出テキスト要約アルゴリズムを使用して前記統合された要約を１つまたは複数の文に変換することと、１つまたは複数のプロセッサによって、話者ダイアライゼーションを適用することと、
１つまたは複数のプロセッサによって、要因の第３のセットに基づいて前記１つまたは複数の文をランク付けすることと、
１つまたは複数のプロセッサによって、第２の事前設定されたユーザの嗜好または第２の機械駆動の推奨に基づく第２のしきい値より上にランク付けされた前記１つまたは複数の文のサブセットを保持することとをさらに含む、請求項５に記載のコンピュータ実装方法。
【請求項7】
前記第２の事前設定されたユーザの嗜好または前記第２の機械駆動の推奨に基づく前記第２のしきい値より上にランク付けされた前記１つまたは複数の文の前記サブセットを保持した後に、１つまたは複数のプロセッサによって、前記１つまたは複数の文の前記サブセット内の１つまたは複数のキーワードを識別することと、１つまたは複数のプロセッサによって、前記仮想会議の前記１つまたは複数のトピックとの前記１つまたは複数のキーワードの関連性に基づいて、および前記仮想会議の前記少なくとも２人の参加者との前記１つまたは複数のキーワードの関連性に基づいて、重み付けを前記１つまたは複数の文の前記サブセット内の前記１つまたは複数のキーワードに割り当てることと、
１つまたは複数のプロセッサによって、前記１つまたは複数のキーワードを使用して前記１つまたは複数の文の前記サブセットをタグ付けすることとをさらに含む、請求項６に記載のコンピュータ実装方法。
【請求項8】
前記１つまたは複数のキーワードを使用して前記１つまたは複数の文の前記サブセットをタグ付けした後に、１つまたは複数のプロセッサによって、前記少なくとも２人の参加者、前記１つまたは複数のキーワード、および前記１つまたは複数の文の前記サブセットを組み込むグローバルなランク付けを準備することと、１つまたは複数のプロセッサによって、前記グローバルなランク付けに基づいて、前記ユーザのプロフィールに合わせて調整された前記要約を準備することとをさらに含む、請求項７に記載のコンピュータ実装方法。
【請求項9】
前記データベースから収集された、前記ユーザに関する前記データの第１のセット、前記仮想会議の前記少なくとも２人の参加者に関する前記データの第２のセット、前記ユーザと前記仮想会議の前記少なくとも２人の参加者の間の前記関係に関する前記データの第３のセットが、前記ユーザによって作成されたプロフィール、前記ユーザの企業プロフィール、前記ユーザのカレンダー、前記仮想会議の前記少なくとも２人の参加者によって作成された１つまたは複数のプロフィール、前記仮想会議の前記少なくとも２人の参加者の前記企業プロフィール、前記仮想会議の前記少なくとも２人の参加者の前記カレンダー、前記仮想会議の前記少なくとも２人の参加者によって使用される１つまたは複数のプレゼンテーション・ツール、および前記ユーザがホストしたか、参加したか、または出席した１つまたは複数の以前の仮想会議からのデータを含む、請求項１に記載のコンピュータ実装方法。
【請求項10】
前記ユーザが前記仮想会議に再接続することを検出することが、１つまたは複数のプロセッサによって、前記ユーザが再接続したときの前記仮想会議中の前記時間を捕捉することと、
１つまたは複数のプロセッサによって、前記ユーザが前記仮想会議から切り離されていた時間の全持続時間を計算することとをさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項11】
前記要約をレビューするための前記デフォルトのユーザの嗜好のセットが、言語の嗜好、視聴モードの嗜好、音声の嗜好、およびサブタイトルの嗜好を含む、請求項１に記載のコンピュータ実装方法。
【請求項12】
前記要約を前記仮想会議の前記完全な記録の前記再生と比較することが、１つまたは複数のプロセッサによって、１つまたは複数の主要な実体の第１のセットを前記要約から抽出し、１つまたは複数の主要な実体の第２のセットを前記仮想会議の前記完全な記録から抽出することと、
１つまたは複数のプロセッサによって、前記要約からの前記１つまたは複数の主要な実体の第１のセットを、前記仮想会議の前記完全な記録からの前記１つまたは複数の主要な実体の第２のセットと照合することとをさらに含む、請求項２に記載のコンピュータ実装方法。
【請求項13】
前記ユーザに対してフィードバックを要求することが、１つまたは複数のプロセッサによって、前記ユーザの満足度を表す３つ以上の選択を前記ユーザに提供することをさらに含み、前記３つ以上の選択が、不満足、中立、および満足を含む、請求項２に記載のコンピュータ実装方法。
【請求項14】
前記要因の第１のセットが、前記仮想会議における前記少なくとも２人の参加者の役割、企業における前記少なくとも２人の参加者の前記役割、および前記仮想会議から離れた前記ユーザとの前記少なくとも２人の参加者の前記関連性を含む、請求項３に記載のコンピュータ実装方法。
【請求項15】
前記アルゴリズムで決定されたしきい値が、動的であり、トレーニング・データ・セットに合わせて設定される、請求項５に記載のコンピュータ実装方法。
【請求項16】
前記要因の第２のセットが、前記フレームが、前記仮想会議から切り離された前記ユーザの名前を含んでいるかどうか、前記少なくとも２人の参加者の前記ランク付け、前記ユーザの前記技術に関する関心に基づくか、前記ユーザの前記専門知識に基づくか、または過去の分析に基づく、前記仮想会議から離れた前記ユーザとの前記少なくとも２人の参加者の前記関連性を含む、請求項５に記載のコンピュータ実装方法。
【請求項17】
話者ダイアライゼーションを適用することが、１つまたは複数のプロセッサによって、前記複数の音声フレーム内の前記少なくとも２人の参加者間の変更点を検出することと、
１つまたは複数のプロセッサによって、前記少なくとも２人の参加者の特性に基づいて、音声のセグメントを一緒にグループ化することとをさらに含む、請求項６に記載のコンピュータ実装方法。
【請求項18】
前記要因の第３のセットが、前記仮想会議の前記少なくとも２人の参加者の前記役割および前記仮想会議の前記１つまたは複数のトピックとの前記１つまたは複数の文の前記関連性を含む、請求項６に記載のコンピュータ実装方法。
【請求項19】
プログラム命令が具現化されているコンピュータ可読ストレージ媒体を備えているコンピュータ・プログラム製品であって、前記プログラム命令が、プロセッサによって実行可能であり、前記プロセッサに、請求１ないし１８のいずれか一項に記載の方法の前記ステップを実行させる、コンピュータ・プログラム製品。
【請求項20】
１つまたは複数のプロセッサと、１つまたは複数のコンピュータ可読ストレージ媒体と、
前記１つまたは複数のコンピュータ・プロセッサのうちの少なくとも１つによって実行するために前記１つまたは複数のコンピュータ可読ストレージ媒体に集合的に格納されたプログラム命令とを備えているコンピュータ・システムであって、前記格納されたプログラム命令が、請求１ないし１８のいずれか一項に記載の方法の前記ステップを実行するためのプログラム命令を含む、コンピュータ・システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般に、データ処理の分野に関し、より詳細には、仮想会議ユーザ・エクスペリエンスを改善するための拡張インテリジェンスに基づくシステムおよび方法に関する。
【背景技術】
【0002】
拡張インテリジェンスは、人間の能力を高めることにおけるＡＩの支援の役割に重点を置く人工知能（ＡＩ：artificial intelligence）の代替の概念化である。拡張インテリジェンスは、機械学習および深層学習を使用して、人間のインテリジェンスを置き換えるのではなく、強化する。拡張インテリジェンスは、人間の意思決定を改善することによって、人間のインテリジェンスを強化し、延いては、改善された決定に応答して行動が取られる。
【0003】
機械学習は、追加のプログラミングなしで経験から学習して改善するＡＩの能力を表す。コンピュータが人間の言語を識別できるようにする自然言語処理は、機械学習の例である。深層学習は、データを処理してパターンを調べる人間の脳の能力を模倣するＡＩのプロセスを表す。
【0004】
拡張インテリジェンスとＡＩの間の重要な違いは、自律性の違いである。拡張インテリジェンスは、他の方法では人間の意思決定者を圧倒する大量のデータを処理し、先入観、疲労、または注意散漫などの、データがゆがめられるか、または間違って解釈されることを引き起こす要因を取り除く。拡張インテリジェンスは、データを分析し、パターンを識別し、それらのパターンをユーザに報告し、その後、人間のインテリジェンスが引き継ぐことができるようにする。拡張インテリジェンスは、システムがユーザの個別の嗜好および期待についてユーザから学習することを可能にし、好みに合わせて調整されて個人化された経験を提供する。
【0005】
拡張インテリジェンスの例は、ストリーミング・ビデオ・サービスによって提供された推奨の視聴である。拡張インテリジェンス・アルゴリズムは、ユーザの視聴習慣を分析し、それらの習慣に基づいて追加の視聴を推奨する。その後、推奨に従って行動するかどうかの判断は、ユーザに任される。拡張インテリジェンスには、任意の産業においてパターンおよび予測指標についてビッグ・データをマイニングする応用もある。例としては、顧客の嗜好を予測するためにデータ分析を使用するオンライン・ストア、自然言語処理に基づく仮想的顧客サービス支援、浮動票を有する人々を識別するためにビッグ・データ分析を使用する政治シンク・タンク、効率的な治療選択肢を識別するためのケース・ファイルの医学分析、人間の従業員によって監視される工場自動化、過去のデータに基づく工場の機器の予知保全、周囲の環境およびデータを使用して拡張現実のイベントを作成し、コンピュータによって生成された画像をスマートフォンのカメラ画面に重ね合わせる、モバイル・ビデオ・ゲーム、飛行機およびドローンのオートパイロット・システム、株式市場のパターンを監視および識別する投資および金融アプリケーションが挙げられるが、これらに限定されない。
【0006】
一方、ＡＩは、どのような人間の支援もなしで動作する。ＡＩの例は、電子メール・スパム・フィルタまたはＡＩを利用する検索提案である。
【発明の概要】
【0007】
本発明の実施形態の態様は、仮想会議ユーザ・エクスペリエンスを改善するための方法、コンピュータ・プログラム製品、およびコンピュータ・システムを開示する。プロセッサは、事前設定された期間の間、または事前にスケジュールされた仮想会議の割り当てられた合計時間の事前設定された割合の間、少なくとも２人以上の参加者を含んでいる仮想会議から離れているユーザを検出する。プロセッサは、ユーザに関するデータの第１のセット、仮想会議の少なくとも２人の参加者に関するデータの第２のセット、およびユーザと仮想会議の少なくとも２人の参加者の間の関係に関するデータの第３のセットをデータベースから取り出す。プロセッサは、ユーザのプロフィールに合わせて調整された、ユーザが切り離されていた間の仮想会議の一部を対象にする、要約を準備する。プロセッサは、ユーザが仮想会議に再接続することを検出する。プロセッサは、事前設定されたユーザの嗜好、ユーザによって行われた決定、または機械駆動の推奨に基づいて、ユーザが仮想会議に再び参加する前に要約をレビュー(review)するかどうかを判定する。ユーザが仮想会議に再び参加する前に要約をレビューするということを決定することに応答して、プロセッサは、デフォルトのユーザの嗜好のセットを使用して、要約をレビューするようユーザに促す。プロセッサは、要約をユーザに出力する。
【0008】
本発明の実施形態の一部の態様では、要約をユーザに出力した後に、プロセッサは、要約を仮想会議の完全な記録の再生と比較する。プロセッサは、ユーザに対してフィードバックを要求する。プロセッサは、ユーザからフィードバックを受信する。プロセッサは、強化学習を使用して、準備される複数の未来の要約の精度を改善する。プロセッサは、ユーザからのフィードバックをデータベースに格納する。
【0009】
本発明の実施形態の一部の態様では、プロセッサは、仮想会議の２人以上の参加者を識別する。プロセッサは、要因の第１のセットに基づいて、重み付けを仮想会議の２人以上の参加者に割り当てる。プロセッサは、２人以上の参加者に割り当てられた重み付けに基づいて、仮想会議の２人以上の参加者をランク付けする。
【0010】
本発明の実施形態の一部の態様では、プロセッサは、少なくとも２人の参加者に割り当てられた重み付けに基づいて仮想会議の少なくとも２人の参加者をランク付けした後に、複数の音声フレーム、複数のビデオ・フレーム、ならびに複数の音声およびビデオ・フレームを、ユーザが切り離されていた間の仮想会議の一部から抽出する。プロセッサは、仮想会議の１つまたは複数のトピックを理解するために、複数の音声フレーム、複数のビデオ・フレーム、ならびに複数の音声およびビデオ・フレームの文脈を識別する。
【0011】
本発明の実施形態の一部の態様では、プロセッサは、仮想会議の１つまたは複数のトピックを理解するために複数の音声フレーム、複数のビデオ・フレーム、ならびに複数の音声およびビデオ・フレームの文脈を識別した後に、複数の音声フレーム、複数のビデオ・フレーム、ならびに複数の音声およびビデオ・フレームがユーザのプロフィールに関連するかどうかに基づいて、複数の音声フレームのサブセット、複数のビデオ・フレームのサブセット、ならびに複数の音声およびビデオ・フレームのサブセットを選択する。プロセッサは、アルゴリズム法または要因の第２のセットを使用して、複数の音声フレームのサブセット、複数のビデオ・フレームのサブセット、ならびに複数の音声およびビデオ・フレームのサブセットをランク付けする。プロセッサは、アルゴリズムで決定されたしきい値より上にランク付けされた複数の音声フレームのサブセット、複数のビデオ・フレームのサブセット、ならびに複数の音声およびビデオ・フレームのサブセットをマージする。プロセッサは、アルゴリズムで決定されたしきい値より上にランク付けされた複数の音声フレームのサブセットの統合された要約、アルゴリズムで決定されたしきい値より上にランク付けされた複数のビデオ・フレームのサブセットの統合された要約、ならびにアルゴリズムで決定されたしきい値より上にランク付けされた複数の音声およびビデオ・フレームのサブセットの統合された要約を準備する。
【0012】
本発明の実施形態の一部の態様では、プロセッサは、アルゴリズムで決定されたしきい値より上にランク付けされた複数の音声フレームのサブセットの統合された要約、アルゴリズムで決定されたしきい値より上にランク付けされた複数のビデオ・フレームのサブセットの統合された要約、ならびにアルゴリズムで決定されたしきい値より上にランク付けされた複数の音声およびビデオ・フレームのサブセットの統合された要約を準備した後に、抽出テキスト要約アルゴリズムを使用して統合された要約を１つまたは複数の文に変換する。プロセッサは、話者ダイアライゼーション(diarisation)を適用する。プロセッサは、要因の第３のセットに基づいて１つまたは複数の文をランク付けする。プロセッサは、第２の事前設定されたユーザの嗜好または第２の機械駆動の推奨に基づく第２のしきい値より上にランク付けされた１つまたは複数の文のサブセットを保持する。
【0013】
本発明の実施形態の一部の態様では、プロセッサは、第２の事前設定されたユーザの嗜好または第２の機械駆動の推奨に基づく第２のしきい値より上にランク付けされた１つまたは複数の文のサブセットを保持した後に、１つまたは複数の文のサブセット内の１つまたは複数のキーワードを識別する。プロセッサは、仮想会議の１つまたは複数のトピックとの１つまたは複数のキーワードの関連性に基づいて、および仮想会議の少なくとも２人の参加者との１つまたは複数のキーワードの関連性に基づいて、重み付けを１つまたは複数の文のサブセット内の１つまたは複数のキーワードに割り当てる。プロセッサは、１つまたは複数のキーワードを使用して１つまたは複数の文のサブセットをタグ付けする。
【0014】
本発明の実施形態の一部の態様では、プロセッサは、１つまたは複数のキーワードを使用して１つまたは複数の文のサブセットをタグ付けした後に、少なくとも２人の参加者、１つまたは複数のキーワード、および１つまたは複数の文のサブセットを組み込むグローバルなランク付けを準備する。プロセッサは、グローバルなランク付けに基づいて、ユーザのプロフィールに合わせて調整された要約を準備する。
【0015】
本発明の実施形態の一部の態様では、データベースから収集された、ユーザに関するデータの第１のセット、仮想会議の少なくとも２人の参加者に関するデータの第２のセット、ユーザと仮想会議の少なくとも２人の参加者の間の関係に関するデータの第３のセットは、ユーザによって作成されたプロフィール、ユーザの企業プロフィール、ユーザのカレンダー、仮想会議の少なくとも２人の参加者によって作成された１つまたは複数のプロフィール、仮想会議の少なくとも２人の参加者の企業プロフィール、仮想会議の少なくとも２人の参加者のカレンダー、仮想会議の少なくとも２人の参加者によって使用される１つまたは複数のプレゼンテーション・ツール、およびユーザがホストしたか、参加したか、または出席した１つまたは複数の以前の仮想会議からのデータを含む。
【0016】
本発明の実施形態の一部の態様では、プロセッサは、ユーザが再接続したときの仮想会議中の時間を捕捉する。プロセッサは、ユーザが仮想会議から切り離されていた時間の全持続時間を計算する。
【0017】
本発明の実施形態の一部の態様では、要約をレビューするためのデフォルトのユーザの嗜好のセットは、言語の嗜好、視聴モードの嗜好、音声の嗜好、およびサブタイトルの嗜好を含む。
【0018】
本発明の実施形態の一部の態様では、プロセッサは、１つまたは複数の主要な実体(key entities)の第１のセットを要約から抽出し、１つまたは複数の主要な実体の第２のセットを仮想会議の完全な記録から抽出する。プロセッサは、要約からの１つまたは複数の主要な実体の第１のセットを、仮想会議の完全な記録からの１つまたは複数の主要な実体の第２のセットと照合する。
【0019】
本発明の実施形態の一部の態様では、プロセッサは、ユーザの満足度を表す３つ以上の選択をユーザに提供し、３つ以上の選択は、不満足、中立、および満足を含む。
【0020】
本発明の実施形態の一部の態様では、要因の第１のセットは、仮想会議における少なくとも２人の参加者の役割、企業における少なくとも２人の参加者の役割、および仮想会議から離れたユーザとの少なくとも２人の参加者の関連性を含む。
【0021】
本発明の実施形態の一部の態様では、アルゴリズムで決定されたしきい値は、動的であり、トレーニング・データ・セットに合わせて設定される。
【0022】
本発明の実施形態の一部の態様では、要因の第２のセットは、フレームが、仮想会議から切り離されたユーザの名前を含んでいるかどうか、少なくとも２人の参加者のランク付け、ユーザの技術に関する関心に基づくか、ユーザの専門知識に基づくか、または過去の分析に基づく、仮想会議から離れたユーザとの少なくとも２人の参加者の関連性を含む。
【0023】
本発明の実施形態の一部の態様では、プロセッサは、複数の音声フレーム内の少なくとも２人の参加者間の変更点を検出する。プロセッサは、少なくとも２人の参加者の特性に基づいて、音声のセグメントを一緒にグループ化する。
【0024】
本発明の実施形態の一部の態様では、要因の第３のセットは、仮想会議の少なくとも２人の参加者の役割および仮想会議の１つまたは複数のトピックとの１つまたは複数の文の関連性を含む。
【図面の簡単な説明】
【0025】
【図1】本発明の実施形態に従って、分散データ処理環境を示す機能ブロック図である。
【発明を実施するための形態】
【0026】
本発明の実施形態は、仮想コラボレーション・サーバ・ツール（virtual collaboration server tool）上の会議中に問題が発生する可能性があるということを認識している。例えば、技術的問題が、ユーザが会議から切断されることを引き起こすことがある。この切断に起因して、ユーザは、問題またはトピックに関するホストまたは別の参加者の情報提供、別の参加者の質問または懸念に対するホストの応答、参加者によって取られた行動の経過、あるいは会議から切断されたユーザに向けられている期待される重要点および要処置事項などの、重要な情報を聞きもらすことがある。
【0027】
本発明の実施形態は、仮想会議ユーザ・エクスペリエンスを改善するための拡張インテリジェンスに基づくシステムおよび方法を提供する。本発明の実施形態は、仮想コラボレーション・サーバ・ツール上の会議から離れているユーザのプロフィールに合わせて調整された、ユーザが切り離されていた間の会議の一部を対象にする、要約を準備することを提案する。
【0028】
本発明の実施形態は、ユーザが明示的にまたは暗黙的に会議から離れたときを検出する。ユーザの離脱を検出した後に、本発明の実施形態は、（１）マージおよび（２）抽出テキスト要約アルゴリズムを使用する音声テキスト要約（speech-to-text summarization）の概念を、ユーザが切り離されていた間の会議の一部から抽出された音声フレームまたはビデオ・フレームあるいはその両方に適用する。
【0029】
本発明の実施形態は、話者ダイアライゼーションを使用して、参加者の識別情報に従って文を同質のセグメントに分割し、参加者の文からキーワードを識別する。本発明の実施形態は、重み付けを参加者およびキーワードに割り当てる。本発明の実施形態は、識別されて重み付けされた参加者、識別されて重み付けされたキーワード、ならびにランク付けされた文を組み込むグローバルなランク付けを準備する。
【0030】
本発明の実施形態は、３０秒のビデオまたは１ページの長さのテキストのどちらかの形態で、文を短い要約に減らす。本発明の実施形態は、各ユーザの企業プロフィール、ユーザの企業の階層、企業の階層内のユーザの地位、ユーザの企業内のユーザの年功序列、ユーザの主要な仕事、ユーザの主要な仕事の職務、ユーザの技術に関する関心、ユーザの専門知識、およびユーザがホストしたか、参加したか、または出席した会議への関与のユーザの履歴などの要因を使用して、仮想コラボレーション・サーバ・ツール上で会議から離れているユーザのプロフィールに合わせて要約を調整する。本発明の実施形態は、要約プロセスの一部として、計算された音声認識信頼度スコアおよび意図信頼度スコアも考慮する。
【0031】
本発明の実施形態は、他の参加者とのユーザの関係の重みを活用して、ユーザが会議に再接続した後に、ユーザにいつ要約の使用を促すかを決定する。本発明の実施形態は、会議中または会議後に要約を再生するための選択肢をユーザに提供する。本発明の実施形態は、音声、ビデオ、字幕、またはこれら３つの形式の任意の組合せを含む要約を再生するための選択肢もユーザに提供する。
【0032】
本発明の実施形態は、要約の未来の準備を改善するために、ユーザからフィードバックを収集する。
【0033】
本発明の実施形態の実装は、さまざまな形態をとってよく、以下では、各図を参照して例示的な実装の詳細が説明される。
【0034】
図１は、本発明の１つの実施形態に従って、分散データ処理環境（概して１００と指定される）を示す機能ブロック図である。示された実施形態では、分散データ処理環境１００は、ネットワーク１１０を経由して相互接続されたサーバ１２０およびユーザ・コンピューティング・デバイス１３０を含んでいる。分散データ処理環境１００は、図に示されていない追加のサーバ、コンピュータ、コンピューティング・デバイス、ＩｏＴセンサ、および他のデバイスを含んでよい。図１は、単に本発明の１つの実施形態の例を提供しており、さまざまな実施形態が実装され得る環境に関して、どのような制限も意味していない。特許請求の範囲に列挙されている本発明の範囲から逸脱することなく、当業者によって、示された環境に対する多くの変更が行われてよい。
【0035】
ネットワーク１１０は、例えば、電気通信ネットワーク、ローカル・エリア・ネットワーク、インターネットなどの広域ネットワーク、またはこれらの３つの組合せであることができ、有線接続、ワイヤレス接続、または光ファイバ接続を含むことができる、コンピューティング・ネットワークとして動作する。ネットワーク１１０は、データ情報、音声情報、およびビデオ情報を含んでいるマルチメディア信号を含むデータ信号、音声信号、またはビデオ信号、あるいはその組合せを受信および送信できる１つまたは複数の有線ネットワークまたはワイヤレス・ネットワークあるいはその両方を含むことができる。一般に、ネットワーク１１０は、分散データ処理環境１００内のサーバ１２０、ユーザ・コンピューティング・デバイス１３０、および他のコンピューティング・デバイス（図示されていない）の間の通信をサポートする接続およびプロトコルの任意の組合せであることができる。
【0036】
サーバ１２０は、ユーザ固有の要約プログラム１２２を実行し、データをデータベース１２６に送信するか、または格納するか、あるいはその両方を実行するように動作する。実施形態では、サーバ１２０は、データをデータベース１２６からユーザ・コンピューティング・デバイス１３０に送信することができる。実施形態では、サーバ１２０は、データベース１２６内のデータをユーザ・コンピューティング・デバイス１３０から受信することができる。１つまたは複数の実施形態では、サーバ１２０は、スタンドアロン・コンピューティング・デバイス、管理サーバ、Ｗｅｂサーバ、モバイル・コンピューティング・デバイス、またはデータを受信、送信、および処理することができる任意の他の電子デバイスもしくはコンピューティング・システムであることができる。１つまたは複数の実施形態では、サーバ１２０は、クラウド・コンピューティング環境内などの分散データ処理環境１００内でアクセスされたときにシームレスなリソースの単一のプールとして機能するクラスタ化されたコンピュータおよびコンポーネント（例えば、データベース・サーバ・コンピュータ、アプリケーション・サーバ・コンピュータなど）を利用する、コンピューティング・システムであることができる。１つまたは複数の実施形態では、サーバ１２０は、ラップトップ・コンピュータ、タブレット・コンピュータ、ネットブック・コンピュータ、パーソナル・コンピュータ、デスクトップ・コンピュータ、パーソナル・デジタル・アシスタント、スマートフォン、またはネットワーク１１０を介して分散データ処理環境１００内のユーザ・コンピューティング・デバイス１３０および他のコンピューティング・デバイス（図示されていない）と通信できる任意のプログラム可能な電子デバイスであることができる。サーバ１２０は、図５さらに詳細に示され、説明されるように、内部および外部のハードウェア・コンポーネントを含んでよい。
【0037】
ユーザ固有の要約プログラム１２２は、仮想コラボレーション・サーバ・ツール上の会議から離れているユーザのプロフィールに合わせて調整された、ユーザが切り離されていた間の会議の一部を対象にする、要約を準備するように動作する。
【0038】
示された実施形態では、ユーザ固有の要約プログラム１２２は、機械学習コンポーネント１２４を含む。示された実施形態では、ユーザ固有の要約プログラム１２２は、スタンドアロン・プログラムである。別の実施形態では、ユーザ固有の要約プログラム１２２は、仮想会議ソフトウェア・パッケージなどの別のソフトウェア製品に統合されてよい。示された実施形態では、ユーザ固有の要約プログラム１２２はサーバ１２０に存在する。他の実施形態では、ユーザ固有の要約プログラム１２２は、ユーザ固有の要約プログラム１２２がネットワーク１１０にアクセスできるということを条件として、ユーザ・コンピューティング・デバイス１３０または別のコンピューティング・デバイス（図示されていない）に存在してよい。
【0039】
実施形態では、ユーザは、ユーザ固有の要約プログラム１２２にオプトインし、ユーザ固有の要約プログラム１２２を使用してユーザ・プロフィールを設定する。ユーザ固有の要約プログラム１２２の設定コンポーネントが、図２に関してさらに詳細に示され、説明される。ユーザ固有の要約プログラム１２２の動作ステップが、図３に関してさらに詳細に示され、説明される。ユーザ固有の要約プログラム１２２の機械学習コンポーネント１２４の動作ステップが、図４に関してさらに詳細に示され、説明される。
【0040】
データベース１２６は、ユーザ固有の要約プログラム１２２によって受信されたデータ、使用されたデータ、または生成されたデータ、あるいはその組合せのリポジトリとして動作する。データベースは、データの構造化された集合である。データは、各ユーザの企業プロフィール、ユーザの企業の階層、企業の階層内のユーザの地位、ユーザの企業内のユーザの年功序列、ユーザの主要な仕事、ユーザの主要な仕事の職務、ユーザの技術に関する関心、およびユーザの専門知識に関する設定中にユーザによって入力された情報を含む複数のユーザ・プロフィール、仮想コラボレーション・サーバ・ツール上の現在の会議からのデータ、またはユーザがホストしたか、参加したか、または出席した仮想コラボレーション・サーバ・ツール上の以前の会議からのデータ、あるいはその両方（すなわち、音声フレーム、ビデオ・フレーム、または音声およびビデオ・フレーム）、ユーザの嗜好、警告通知の嗜好、ならびにユーザ固有の要約プログラム１２２によって受信されたか、使用されたか、または生成されたか、あるいはその組合せである任意の他のデータを含むが、これらに限定されない。
【0041】
データベース１２６は、ハード・ディスク・ドライブ、データベース・サーバ、またはフラッシュ・メモリなどの、サーバ１２０によってアクセスされて利用され得るデータおよび構成ファイルを格納できる任意の種類のデバイスを使用して実装され得る。実施形態では、データベース１２６は、データを格納するか、またはデータにアクセスするか、あるいはその両方のために、ユーザ固有の要約プログラム１２２によってアクセスされる。示された実施形態では、データベース１２６はサーバ１２０に存在する。別の実施形態では、データベース１２６は、ユーザ固有の要約プログラム１２２がデータベース１２６にアクセスできるということを条件として、別のコンピューティング・デバイス、サーバ、クラウド・サーバに存在するか、または分散データ処理環境１００内のどこかの複数のデバイス（図示されていない）にわたって分散されてよい。
【0042】
本発明は、ユーザが処理されないことを望む個人または企業の機密あるいはその両方のデータ、コンテンツ、または情報を含み得る、データベース１２６などの、さまざまなアクセス可能なデータ・ソースを含んでよい。処理とは、任意の自動化されたか、または自動化されない動作、あるいは一連の動作のことを指し、そのような動作としては、個人データまたは企業機密データあるいはその両方の収集、記録、編成、構造化、格納、適応、変更、検索、参照、使用、送信、配布、または他の方法で使用可能にすることによる開示、結合、制限、消去、あるいは破壊などがある。ユーザ固有の要約プログラム１２２は、個人データの許可された安全な処理を可能にする。データベース１２６内のデータのすべての格納は、現地法および取得された適切な許可に従って実行されなければならない。
【0043】
ユーザ固有の要約プログラム１２２は、個人データまたは企業機密データあるいはその両方の収集の通知と共に、情報に基づく同意(informed consent)を提供し、ユーザが、個人データまたは企業機密データあるいはその両方を処理することをオプトインまたはオプトアウトできるようにする。同意は、複数の形態をとることができる。オプトインの同意は、個人データまたは企業機密データあるいはその両方が処理される前に、積極的行動(affirmative action)を取ることをユーザに強制することができる。代替として、オプトアウトの同意は、個人データまたは企業機密データあるいはその両方が処理される前に、個人データまたは企業機密データあるいはその両方の処理を防ぐための積極的行動を取ることをユーザに強制することができる。ユーザ固有の要約プログラム１２２は、個人データまたは企業機密データあるいはその両方および処理の性質（例えば、種類、範囲、目的、持続時間など）に関する情報を提供する。ユーザ固有の要約プログラム１２２は、格納された個人データまたは企業機密データあるいはその両方のコピーをユーザに提供する。ユーザ固有の要約プログラム１２２は、正しくないか、または不完全な個人データまたは企業機密データあるいはその両方の修正または完成を可能にする。ユーザ固有の要約プログラム１２２は、個人データまたは企業機密データあるいはその両方の即時の削除を可能にする。
【0044】
ユーザ・コンピューティング・デバイス１３０は、ユーザ・インターフェイス１３２を実行するように動作し、ユーザに関連付けられる。実施形態では、ユーザ・コンピューティング・デバイス１３０は、ラップトップ・コンピュータ、タブレット・コンピュータ、ネットブック・コンピュータ、パーソナル・コンピュータ、デスクトップ・コンピュータ、スマートフォン、またはユーザ・インターフェイス１３２を実行し、ネットワーク１１０を介してユーザ固有の要約プログラム１２２と通信する（すなわち、データを送信し、データを受信する）ことができる任意のプログラム可能な電子デバイスなどの、電子デバイスであってよい。示された実施形態では、ユーザ・コンピューティング・デバイス１３０は、ユーザ・インターフェイス１３２のインスタンスを含む。図５でさらに詳細に説明されるように、ユーザ・コンピューティング・デバイス１３０はコンポーネントを含んでよい。
【0045】
ユーザ・インターフェイス１３２は、サーバ１２０上のユーザ固有の要約プログラム１２２とユーザ・コンピューティング・デバイス１３０のユーザの間のローカル・ユーザ・インターフェイスとして動作する。一部の実施形態では、ユーザ・インターフェイス１３２は、グラフィカル・ユーザ・インターフェイス（ＧＵＩ：graphical user interface）、Ｗｅｂユーザ・インターフェイス（ＷＵＩ：web user interface）、または音声ユーザ・インターフェイス（ＶＵＩ：voice user interface）、あるいはその組合せであり、ネットワーク１１０を介してユーザ固有の要約プログラム１２２からユーザに送信されたテキスト、文書、Ｗｅｂブラウザのウィンドウ、ユーザの選択肢、アプリケーション・インターフェイス、および動作のための命令を、表示する（すなわち、視覚的に表示する）か、または提示する（すなわち、聞こえるように提示する）ことができる。ユーザ・インターフェイス１３２は、ネットワーク１１０を介してユーザ固有の要約プログラム１２２からユーザに送信された情報（例えば、グラフィックス、テキスト、または音、あるいはその組合せ）を含んでいる警告通知を表示または提示することもできる。実施形態では、ユーザ・インターフェイス１３２は、データを送信および受信する（すなわち、ネットワーク１１０を介してユーザ固有の要約プログラム１２２との間でそれぞれ送信および受信する）ことができる。
【0046】
ユーザ・インターフェイス１３２を介して、ユーザはユーザ固有の要約プログラム１２２にオプトインし、ユーザ・プロフィールを作成し、各ユーザの企業プロフィール、ユーザの企業の階層、企業の階層内のユーザの地位、ユーザの企業内のユーザの年功序列、ユーザの主要な仕事、ユーザの主要な仕事の職務、ユーザの技術に関する関心、およびユーザの専門知識に関する情報を入力し、ユーザの嗜好および警告通知の嗜好を設定することができる。
【0047】
ユーザの嗜好は、特定のユーザ用にカスタマイズされ得る設定である。デフォルトのユーザの嗜好のセットは、ユーザ固有の要約プログラム１２２の各ユーザに割り当てられる。デフォルトのユーザの嗜好を変更するように値を更新するために、ユーザ嗜好エディタ（user preference editor）が使用され得る。カスタマイズされ得るユーザの嗜好は、一般的なユーザ・システム設定、ユーザ固有の要約プログラム１２２に関する特定のユーザ・プロフィール設定、警告通知設定、および機械学習されるデータの収集／格納設定を含むが、これらに限定されない。機械学習されるデータは、ユーザ固有の要約プログラム１２２の反復の過去の結果、およびユーザ固有の要約プログラム１２２によって送信された警告通知に対するユーザの以前の応答に関するデータを含むが、これらに限定されない。機械学習されるデータは、仮想コラボレーション・サーバ・ツール上の会議から離れているユーザのプロフィールに合わせて調整された、ユーザが離れていた間の会議の一部を対象にする、要約を準備する方法、および会議に再び参加する前に要約をレビューするようユーザに促すかどうかを自己学習する、ユーザ固有の要約プログラム１２２から来る。ユーザ固有の要約プログラム１２２は、ユーザの活動を追跡することによって自己学習し、ユーザ固有の要約プログラム１２２の各反復と共に改善する。
【0048】
図２は、本発明の実施形態に従って、図１の分散データ処理環境１００内のユーザ固有の要約プログラム１２２の設定コンポーネントの動作ステップを示す、概して２００と指定されたフローチャートである。実施形態では、ユーザ固有の要約プログラム１２２は、仮想コラボレーション・サーバ・ツール上の会議をホストするか、会議に参加するか、または会議に出席するユーザとの１回限りの設定を完了する。１回限りの設定は、ユーザ固有の要約プログラム１２２がユーザに関する関連情報を捕捉してユーザ・プロフィールを作成することを可能にする。実施形態では、ユーザ固有の要約プログラム１２２は、オプトインするための要求をユーザから受信する。実施形態では、ユーザ固有の要約プログラム１２２はユーザに対して情報を要求する。実施形態では、ユーザ固有の要約プログラム１２２は、要求された情報をユーザから受信する。実施形態では、ユーザ固有の要約プログラム１２２はユーザ・プロフィールを作成する。実施形態では、ユーザ固有の要約プログラム１２２はユーザ・プロフィールを格納する。図２に示されたプロセスがユーザ固有の要約プログラム１２２の１つの可能な反復を示しているということが理解されるべきであり、このプロセスは、ユーザ固有の要約プログラム１２２によって受信されたオプトイン要求ごとに繰り返されてよい。
【0049】
ステップ２１０で、ユーザ固有の要約プログラム１２２は、オプトインするための要求をユーザから受信する。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザ固有の要約プログラム１２２にオプトインするための要求をユーザから受信する。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザ・コンピューティング・デバイス１３０のユーザ・インターフェイス１３２を介して、ユーザ固有の要約プログラム１２２にオプトインするための要求をユーザから受信する。ユーザは、オプトインすることによって、データベース１２６とデータを共有することに同意する。
【0050】
ステップ２２０で、ユーザ固有の要約プログラム１２２はユーザに対して情報を要求する。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザ・コンピューティング・デバイス１３０のユーザ・インターフェイス１３２を介してユーザに対して情報を要求する。ユーザから要求される情報は、ユーザの嗜好に関する情報（例えば、ユーザ・コンピューティング・デバイス１３０に関する警告通知などの一般的なユーザ・システム設定）、警告通知の嗜好に関する情報（例えば、ユーザが離れていた会議に再接続するときに警告通知が送信される、または、ユーザが離れていた会議が完了するときに警告通知が送信される）、およびユーザ・プロフィールを作成するために必要な情報（例えば、各ユーザの企業プロフィール、ユーザの企業の階層、企業の階層内のユーザの地位、ユーザの企業内のユーザの年功序列、ユーザの主要な仕事、ユーザの主要な仕事の職務、ユーザの技術に関する関心、およびユーザの専門知識に関する情報）を含むが、これらに限定されない。実施形態では、ユーザ固有の要約プログラム１２２がオプトインするための要求をユーザから受信することに応答して、ユーザ固有の要約プログラム１２２はユーザに対して情報を要求する。
【0051】
ステップ２３０で、ユーザ固有の要約プログラム１２２は、要求された情報をユーザから受信する。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザ・コンピューティング・デバイス１３０のユーザ・インターフェイス１３２を介して、要求された情報をユーザから受信する。実施形態では、ユーザ固有の要約プログラム１２２がユーザに対して情報を要求することに応答して、ユーザ固有の要約プログラム１２２は要求された情報をユーザから受信する。
【0052】
ステップ２４０で、ユーザ固有の要約プログラム１２２はユーザ・プロフィールを作成する。実施形態では、ユーザ固有の要約プログラム１２２はユーザのユーザ・プロフィールを作成する。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザに関する設定の間にユーザによって入力された情報に加えて、ユーザの嗜好およびユーザの警告通知の嗜好を含むユーザ・プロフィールを作成する。実施形態では、ユーザ固有の要約プログラム１２２が要求された情報をユーザから受信することに応答して、ユーザ固有の要約プログラム１２２はユーザ・プロフィールを作成する。
【0053】
ステップ２５０で、ユーザ固有の要約プログラム１２２はユーザ・プロフィールを格納する。実施形態では、ユーザ固有の要約プログラム１２２はユーザ・プロフィールをデータベース（例えば、データベース１２６）に格納する。実施形態では、ユーザ固有の要約プログラム１２２がユーザ・プロフィールを作成することに応答して、ユーザ固有の要約プログラム１２２はユーザ・プロフィールを格納する。
【0054】
図３は、本発明の実施形態に従って、図１の分散データ処理環境１００内のユーザ固有の要約プログラム１２２の動作ステップを示す、概して３００と指定されたフローチャートである。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザが仮想コラボレーション・サーバ・ツール上の会議から離れたときを検出することと、仮想コラボレーション・サーバ・ツール上の会議から離れているユーザのプロフィールに合わせて調整された、ユーザが切り離されていた間の会議の一部を対象にする、要約を準備することと、ユーザが会議に再接続するときにユーザに要約を提供することと、未来の反復でより調整された要約を準備することにおいてユーザ固有の要約プログラム１２２を支援するために、ユーザからフィードバックを収集することとを実行するように動作する。図３に示されたプロセスがプロセス・フローの１つの可能な反復を示しているということが理解されるべきであり、このプロセスは、ユーザが仮想コラボレーション・サーバ・ツール上でホストするか、参加するか、または出席する会議ごとに繰り返され得る。
【0055】
ステップ３０５で、ユーザ固有の要約プログラム１２２は、ユーザが仮想コラボレーション・サーバ・ツール（例えば、Ｃｉｓｃｏ Ｗｅｂｅｘ（Ｒ）、Ｚｏｏｍ（Ｒ）、Ｇｏｏｇｌｅ Ｍｅｅｔ（Ｒ）、Ｍｉｃｒｏｓｏｆｔ（Ｒ）Ｔｅａｍｓなど）上の会議から離れたときを検出する。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザが、１人または複数のホストおよび２人以上の参加者が存在する仮想コラボレーション・サーバ・ツール上の会議から離れたときを検出する。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザが、ホストまたは参加者あるいはその両方が１つまたは複数のプレゼンテーション・ツール（例えば、Ｍｉｃｒｏｓｏｆｔ（Ｒ）ＰｏｗｅｒＰｏｉｎｔスライド、Ｍｉｃｒｏｓｏｆｔ（Ｒ）Ｅｘｃｅｌファイル、スプレッドシート、Ｗｅｂページ、ダイアグラム、フローチャートなど）を利用している仮想コラボレーション・サーバ・ツール上の会議から離れたときを検出する。
【0056】
実施形態では、ユーザ固有の要約プログラム１２２は、ユーザによって開始されたユーザの明示的な離脱（例えば、ユーザが状態を不在に変更する、ユーザが会議からサインアウトするなど）を検出する。１つまたは複数の実施形態では、ユーザ固有の要約プログラム１２２は、技術的問題（例えば、ネットワーク接続の問題、デバイスの故障、停電など）によって引き起こされたユーザの暗黙的な離脱を検出する。
【0057】
第１の例では、コンピュータ科学の学生であるユーザＡが、仮想コラボレーション・サーバ・ツール上のユーザＡのオンライン仮想クラスに出席する。ある日、クラスに出席している間に、ユーザＡはネットワーク接続の問題を経験する。ユーザＡが経験するネットワーク接続の問題のため、ユーザＡは、ユーザＡのオンライン仮想クラスから切断される。ユーザ固有の要約プログラム１２２は、ユーザＡのオンライン仮想クラスからのユーザＡの暗黙的な離脱を検出する。
【0058】
第２の例では、技術企業の従業員であるユーザＢが、自宅から作業する。ユーザＢは、仮想コラボレーション・サーバ・ツール上でユーザＢのチームと頻繁にチーム会議を開く。ユーザＢのチーム会議のうちの１つの間に、ユーザＢは、個人的な緊急事態に対処するためにチーム会議との接続を切る。ユーザ固有の要約プログラム１２２は、ユーザＢのチーム会議からのユーザＢの明示的な離脱を検出する。
【0059】
第３の例では、都市Ｘの納税者であるユーザＣが、仮想コラボレーション・サーバ・ツール上の都市Ｘのオンライン市議会に出席する。ユーザＣが出席していた都市Ｘのオンライン市議会のうちの１つの間に、ユーザＣは、休憩するために会議との接続を切る。ユーザ固有の要約プログラム１２２は、都市Ｘのオンライン市議会からのユーザＣの明示的な離脱を検出する。
【0060】
実施形態では、ユーザ固有の要約プログラム１２２は、ユーザが、１０分より長いが３０分より短い事前設定された期間の間、仮想コラボレーション・サーバ・ツール上の会議から離れたときを検出する。１つまたは複数の実施形態では、ユーザ固有の要約プログラム１２２は、ユーザが、事前にスケジュールされた会議の割り当てられた合計時間の事前設定された割合の間、仮想コラボレーション・サーバ・ツール上の会議から離れたとき（例えば、ユーザが、事前にスケジュールされた会議の割り当てられた合計時間（例えば、６０分）の１０パーセント～２５パーセント（例えば、６～１５分）の間、離れた）かを検出する。
【0061】
実施形態では、ユーザ固有の要約プログラム１２２は、仮想コラボレーション・サーバ・ツール上の会議の開始時間を捕捉する。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザの離脱の開始時間（すなわち、ユーザが明示的または暗黙的に切断したときの会議中の時間）を捕捉する。
【0062】
ステップ３１０で、ユーザ固有の要約プログラム１２２はデータを取り出す。実施形態では、ユーザ固有の要約プログラム１２２は、仮想コラボレーション・サーバ・ツール上の会議から離れているユーザのプロフィールに合わせて調整された、ユーザが切り離されていた間の会議の一部を対象にする要約を準備する目的で、データを取り出す。
【0063】
実施形態では、ユーザ固有の要約プログラム１２２は、ユーザに関するデータを取り出す。１つまたは複数の実施形態では、ユーザ固有の要約プログラム１２２は、会議の他の参加者に関するデータを取り出す。１つまたは複数の実施形態では、ユーザ固有の要約プログラム１２２は、ユーザと会議の他の参加者の間の接続に関するデータを取り出す。１つまたは複数の実施形態では、ユーザ固有の要約プログラム１２２は、参加者の特定の呼び出し、参加者によって尋ねられた質問、および参加者によって尋ねられた質問に対して提供された回答を含む、参加者間の対話に関するデータを取り出す。１つまたは複数の実施形態では、ユーザ固有の要約プログラム１２２は、会議のトピックに関するデータを取り出す。
【0064】
実施形態では、ユーザ固有の要約プログラム１２２は、ステップ２４０で作成されたユーザ・プロフィール、ユーザの企業プロフィール、ユーザのカレンダー、他の参加者のユーザ・プロフィール、他の参加者の企業プロフィール、他の参加者のカレンダー、ホストまたは参加者あるいはその両方によって使用される１つまたは複数のプレゼンテーション・ツール（例えば、Ｍｉｃｒｏｓｏｆｔ（Ｒ）ＰｏｗｅｒＰｏｉｎｔスライド、Ｍｉｃｒｏｓｏｆｔ（Ｒ）Ｅｘｃｅｌファイル、スプレッドシート、Ｗｅｂページ、ダイアグラム、フローチャートなど）、およびユーザがホストしたか、参加したか、または出席した以前の会議からデータベース（例えば、データベース１２６）に格納されたデータを含むが、これらに限定されないソースから、データを取り出す。データを取り出すユーザ固有の要約プログラム１２２の例は、本明細書では個別の方法を使用して説明されるが、ユーザ固有の要約プログラム１２２が上記の実施形態の１つまたは複数の組合せを介してデータを取り出してよいということに、注意するべきである。実施形態では、ユーザ固有の要約プログラム１２２が、ユーザが仮想コラボレーション・サーバ・ツール上の会議から離れたときを検出することに応答して、ユーザ固有の要約プログラム１２２はデータを取り出す。
【0065】
ステップ３１５で、ユーザ固有の要約プログラム１２２は要約を準備する。実施形態では、ユーザ固有の要約プログラム１２２は、仮想コラボレーション・サーバ・ツール上の会議から離れているユーザのプロフィールに合わせて調整された、ユーザが切り離されていた間の会議の一部を対象にする要約を準備する。実施形態では、ユーザ固有の要約プログラム１２２は、（１）マージおよび（２）抽出テキスト要約アルゴリズムを使用する音声テキスト要約の概念を適用することによって、要約を準備する。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザの離脱を検出した後に、本発明の実施形態は、（１）マージおよび（２）抽出テキスト要約アルゴリズムを使用する音声テキスト要約の概念を、ユーザが切り離されていた間の会議の一部から抽出された音声フレームまたはビデオ・フレームあるいはその両方に適用することによって、要約を準備する。実施形態では、ユーザ固有の要約プログラム１２２は、（１）マージおよび（２）抽出テキスト要約アルゴリズムを使用する音声テキスト要約の概念を、ホストまたは参加者あるいはその両方によって使用される１つまたは複数のプレゼンテーション・ツール（例えば、Ｍｉｃｒｏｓｏｆｔ（Ｒ）ＰｏｗｅｒＰｏｉｎｔスライド、Ｍｉｃｒｏｓｏｆｔ（Ｒ）Ｅｘｃｅｌファイル、スプレッドシート、Ｗｅｂページ、ダイアグラム、フローチャートなど）に適用することによって、要約を準備する。
【0066】
抽出テキスト要約アルゴリズムは、重要な文および他の際立った情報を特定の音声、ビデオ、またはテキスト・ファイル、あるいはその組合せから識別して抽出することによって適用される。テキスト・ファイルから抽出された文に重みが割り当てられ、文の特定の重みに基づいて文がランク付けされる。高くランク付けされた文が一緒にグループ化されて、簡潔な要約を形成する。別の方法で表すと、抽出テキスト要約アルゴリズムは、テキストの重要なセクションを識別して逐語的に生成し、元のテキストから文のサブセットを要約として生成することによって、適用される。
【0067】
ステップ３１５は、図４のフローチャート４００に関してさらに詳細に説明される。実施形態では、ユーザ固有の要約プログラム１２２がデータを取り出すことに応答して、ユーザ固有の要約プログラム１２２は要約を準備する。
【0068】
ステップ３２０で、ユーザ固有の要約プログラム１２２は、ユーザが仮想コラボレーション・サーバ・ツール上の会議に再接続するとき検出する。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザの再関与時間（すなわち、ユーザが再接続したときの会議中の時間）を捕捉する。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザの離脱期間の全持続時間（すなわち、ユーザが会議から切り離されていた時間の全持続時間）を計算する。ユーザ固有の要約プログラム１２２が、ユーザの離脱期間の全持続時間が、事前設定された期間、または事前にスケジュールされた会議の割り当てられた合計時間の事前設定された割合より長いということを決定した場合、ユーザ固有の要約プログラム１２２は要約をユーザに出力しない。実施形態では、ユーザ固有の要約プログラム１２２が要約を準備することに応答して、ユーザ固有の要約プログラム１２２は、ユーザが仮想コラボレーション・サーバ・ツール上の会議に再接続するとき検出する。
【0069】
第１の例では、ユーザＡは、ユーザＡのネットワーク接続の問題を解決した後に、切断から１０分以内にユーザＡのオンライン仮想クラスに再接続する。ユーザ固有の要約プログラム１２２は、再接続しているユーザＡを検出し、ユーザＡの再関与時間を捕捉し、ユーザＡのオンライン仮想クラスからのユーザＡの離脱期間の全持続時間を、１０分であると計算する。
【0070】
第２の例では、ユーザＢは、ユーザＢの個人的な緊急事態に対処した後に、切断から１５分以内にユーザＢのチーム会議に再接続する。ユーザ固有の要約プログラム１２２は、再接続しているユーザＢを検出し、ユーザＢの再関与時間を捕捉し、ユーザＢのチーム会議からのユーザＢの離脱期間の全持続時間を、１５分であると計算する。
【0071】
第３の例では、ユーザＣは、休憩した後に、切断から１０分以内に都市Ｘのオンライン市議会に再接続する。ユーザ固有の要約プログラム１２２は、再接続しているユーザＣを検出し、ユーザＣの再関与時間を捕捉し、都市Ｘのオンライン市議会からのユーザＣの離脱の全持続時間を、１０分であると計算する。
【0072】
判定３２５で、ユーザ固有の要約プログラム１２２は、ユーザが会議に再び参加する前に要約をレビューするかどうかを判定する。実施形態では、ユーザ固有の要約プログラム１２２は、ステップ２２０でユーザが設定したユーザの嗜好に基づいて、ユーザが会議に再び参加する前に要約をレビューするかどうかを判定する。１つまたは複数の実施形態では、ユーザ固有の要約プログラム１２２は、ユーザの決定に基づいて、ユーザが会議に再び参加する前に要約をレビューするかどうかを判定する。１つまたは複数の実施形態では、ユーザ固有の要約プログラム１２２は、機械駆動の推奨に基づいて、ユーザが会議に再び参加する前に要約をレビューするかどうかを判定する。例えば、再び参加する前に、ユーザの離脱期間中にユーザが聞きもらした情報は、再び参加する前に知る必要があるため、ユーザ固有の要約プログラム１２２は、ユーザが再び参加する前に要約を読むことを推奨する。ユーザが会議に再び参加する前に要約をレビューするかどうかを判定するユーザ固有の要約プログラム１２２の例は、本明細書では個別の方法を使用して説明されるが、ユーザ固有の要約プログラム１２２が上記の実施形態の１つまたは複数の組合せを介してユーザが会議に再び参加する前に要約をレビューするかどうかを判定してよいということに、注意するべきである。実施形態では、ユーザ固有の要約プログラム１２２が、ユーザが仮想コラボレーション・サーバ・ツール上の会議に再接続するとき検出することに応答して、ユーザ固有の要約プログラム１２２は、ユーザが会議に再び参加する前に要約をレビューするかどうかを判定する。
【0073】
ユーザ固有の要約プログラム１２２が、ユーザが会議に再び参加する前に要約をレビューするということを決定した場合（判定３２５の「はい」の分岐）、ユーザ固有の要約プログラム１２２は、ユーザが要約をレビューすることをどの程度好むか（すなわち、ユーザの嗜好）を選択するようユーザに促す（ステップ３３０）。ユーザ固有の要約プログラム１２２が、ユーザが会議に再び参加する前に要約をレビューしないということを決定した場合（判定３２５の「いいえ」の分岐）、ユーザ固有の要約プログラム１２２は、ユーザが要約をレビューすることをどの程度好むかを選択するようユーザに促す前に、会議が完了したかどうかを判定する（判定３６０）。
【0074】
判定３６０で、ユーザ固有の要約プログラム１２２は、会議が完了したかどうかを判定する。実施形態では、ユーザ固有の要約プログラム１２２は、ホストが会議を終わらせたときに、会議が完了したということを決定する。実施形態では、ユーザ固有の要約プログラム１２２が、ユーザが会議に再び参加する前に要約をレビューしないということを決定することに応答して、ユーザ固有の要約プログラム１２２は、会議が完了したかどうかを判定する。
【0075】
ユーザ固有の要約プログラム１２２が、会議が完了したということを決定した場合（判定３６０の「はい」の分岐）、ユーザ固有の要約プログラム１２２は、ユーザが要約をレビューすることをどの程度好むかを選択するようユーザに促す（ステップ３３０）。ユーザ固有の要約プログラム１２２が、会議が完了していないということを決定した場合（判定３６０の「いいえ」の分岐）、ユーザ固有の要約プログラム１２２は、ステップ３３０に進む前に、会議が完了するまで待機する。
【0076】
例では、仮想コラボレーション・サーバ・ツール上の都市Ｘのオンライン市議会に出席している、都市Ｘの納税者であるユーザＣが、都市Ｘのオンライン市議会に再接続する。ユーザ固有の要約プログラム１２２は、再接続しているユーザＣを検出する。ユーザ固有の要約プログラム１２２は、会議に再び参加することからユーザＣを遅延させる代わりに、ユーザＣが、都市Ｘのオンライン市議会が完了するまで待機して、要約をレビューするという、機械駆動の推奨を作成する。ユーザ固有の要約プログラム１２２は、会議が完了するまで、ユーザＣが要約をレビューすることをどの程度好むかを選択するようユーザＣに促さない。
【0077】
判定３２５に戻り、ユーザ固有の要約プログラム１２２が、ユーザが会議に再び参加する前に要約をレビューするということを決定した場合（判定３２５の「はい」の分岐）、ユーザ固有の要約プログラム１２２は、ステップ３３０に進み、ユーザがどのように要約をレビューすることを好むかを選択するようユーザに促す。ステップ３３０で、ユーザ固有の要約プログラム１２２は、ユーザがどのように要約をレビューすることを好むかを選択するようユーザに促す。実施形態では、ユーザ固有の要約プログラム１２２は、言語、視聴モード、音声、およびサブタイトルを含むが、これに限定されない設定のデフォルトの選択をユーザに促す。デフォルトの選択は、推奨される経験（例えば、英語（米語）、高帯域ビデオ視聴モード、音声のオン、およびサブタイトルのオフ）をユーザに提供し、ステップ２２０でユーザによって設定されたユーザの嗜好に基づく。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザの作業環境により適した選択肢を選択するために、デフォルトの選択を変更するようユーザに促す。例えば、ユーザは、デフォルトの言語設定を代替の言語（例えば、ドイツ語、英語（米語）、スペイン語（ラテンアメリカ）、フランス語、フランス語（カナダ）、イタリア語、ポーランド語、ポルトガル語、ポルトガル語（ブラジル）など）に変更するか、デフォルトの視聴モードを代替の視聴モード（例えば、高帯域ビデオ、低帯域ビデオ、テキスト、およびグラフィックス）に変更するか、デフォルトの音声設定（例えば、オンまたはオフ）を変更するか、またはデフォルトのサブタイトル設定（例えば、オンまたはオフ）を変更するか、あるいはその組合せを実行してよい。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザ・コンピューティング・デバイス１３０のユーザ・インターフェイス１３２を介して、ユーザがどのように要約をレビューすることを好むかを選択するようユーザに促す。実施形態では、ユーザ固有の要約プログラム１２２が、ユーザが要約をレビューするということを決定することに応答して、ユーザ固有の要約プログラム１２２は、ユーザがどのように要約をレビューすることを好むかを選択するようユーザに促す。
【0078】
ステップ３３５で、ユーザ固有の要約プログラム１２２は要約を出力する。実施形態では、ユーザ固有の要約プログラム１２２は、ステップ３３０でユーザによって選択された形式で要約を出力する。実施形態では、ユーザ固有の要約プログラム１２２は、要約を警告通知として出力する。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザ・コンピューティング・デバイス１３０のユーザ・インターフェイス１３２を介して、要約をユーザに出力する。実施形態では、ユーザ固有の要約プログラム１２２が、ユーザがどのように要約をレビューすることを好むかを選択するようユーザに促すことに応答して、ユーザ固有の要約プログラム１２２は要約を出力する。
【0079】
第１の例では、仮想コラボレーション・サーバ・ツール上のオンライン仮想クラスに出席し、ネットワーク接続の問題を経験していたコンピュータ科学の学生であるユーザＡが、ユーザＡのオンライン仮想クラスに再接続する。ユーザ固有の要約プログラム１２２は、再接続しているユーザＡを検出し、ユーザＡがクラスに再び参加する前に要約をレビューすることを好むか、またはクラスが完了するまで待機して、要約をレビューするかを尋ねる。ユーザＡは、ユーザＡのオンライン仮想クラスに再び参加する前に要約をレビューすることを選択する。ユーザＡは、デフォルトの選択を使用して要約をレビューすることを選択し、小会議室に移動される。ユーザＡは、音声付きの３０秒のビデオを受信して、見る。このときユーザＡは、ユーザＡが切り離されていた間に聞きもらしたことに関する最新情報を取得し、ユーザＡのオンライン仮想クラスに再び参加する準備ができる。
【0080】
第２の例では、自宅から作業し、仮想コラボレーション・サーバ・ツール上でユーザＢのチームとのチーム会議に参加していた、技術企業の従業員であるユーザＢが、ユーザＢのチーム会議に再接続する。ユーザ固有の要約プログラム１２２は、再接続しているユーザＢを検出し、ユーザＢがチーム会議に再び参加する前に要約をレビューすることを好むか、またはチーム会議が完了するまで待機して、要約をレビューするかを尋ねる。ユーザＢは、チーム会議に再び参加する前に要約をレビューすることを選択する。ユーザＢは、デフォルトの音声設定を「オフ」に変更し、デフォルトのサブタイトル設定を「オン」に変更する。ユーザＢは、現在の会議室にとどまって要約をレビューする。ユーザＢは、サブタイトル付きの３０秒のビデオを受信して、見る。このときユーザＢは、ユーザＢが切り離されていた間に聞きもらしたことに関する最新情報を取得し、ユーザＢのチーム会議に再び参加する準備ができる。
【0081】
第３の例では、都市Ｘのオンライン市議会が完了する。ユーザ固有の要約プログラム１２２は、要約をユーザＣに出力する。ユーザＣは、音声付きの３０秒のビデオを受信して、見る。このときユーザＣは、ユーザＣが都市Ｘのオンライン市議会から切り離されていた間に聞きもらしたことに関する最新情報を取得する。
【0082】
ステップ３４０で、ユーザ固有の要約プログラム１２２は、要約を会議の完全な記録の再生と比較する。実施形態では、ユーザ固有の要約プログラム１２２は、主要な実体を、要約から、および会議の完全な記録の再生から抽出する。実施形態では、ユーザ固有の要約プログラム１２２は、要約から、および会議の完全な記録の再生から抽出された、類似している主要な実体を照合する。実施形態では、ユーザ固有の要約プログラム１２２は、要約および会議の意味が同じであることを保証するために、要約を、会議の完全な記録の再生と比較する。実施形態では、ユーザ固有の要約プログラム１２２が要約を出力することに応答して、ユーザ固有の要約プログラム１２２は、要約を会議の完全な記録の再生と比較する。
【0083】
ステップ３４５で、ユーザ固有の要約プログラム１２２はユーザに対してフィードバックを要求する。実施形態では、ユーザ固有の要約プログラム１２２は、ステップ３３５での要約の出力に関して、ユーザに対してフィードバックを要求する。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザが１つのみを選択できる３つの選択肢（すなわち、－１、０、＋１）をユーザに提供する。ユーザに提供される３つの選択肢は、ユーザのあり得る満足度（すなわち、それぞれ不満足、中立、満足）を表す。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザ・コンピューティング・デバイス１３０のユーザ・インターフェイス１３２を介してユーザに対してフィードバックを要求する。実施形態では、要約を会議の完全な記録の再生と比較することに応答して、ユーザ固有の要約プログラム１２２はユーザに対してフィードバックを要求する。
【0084】
ステップ３５０で、ユーザ固有の要約プログラム１２２はユーザからフィードバックを受信する。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザ・コンピューティング・デバイス１３０のユーザ・インターフェイス１３２を介してユーザからフィードバックを受信する。実施形態では、ユーザ固有の要約プログラム１２２は、フィードバックを使用して、プロセスの未来の反復でより調整された要約を準備することにおいてユーザ固有の要約プログラム１２２を改良する。実施形態では、ユーザ固有の要約プログラム１２２は、強化学習を使用してユーザ固有の要約プログラム１２２を改良する。実施形態では、ユーザ固有の要約プログラム１２２は、ＲｅＬＵまたはリーキーＲｅＬＵを活性化関数として使用して、精度を向上させる。実施形態では、ユーザ固有の要約プログラム１２２は、音声フレームまたはビデオ・フレームあるいはその両方に対して音声テキスト（ＳＴＴ：speech-to-text）認識を実行して、三つ組(triples)を準備する。実施形態では、ユーザ固有の要約プログラム１２２は、上位Ｎ個のランク付けされ文をエンド・ユーザに勧める。実施形態では、ユーザ固有の要約プログラム１２２は、会議サマライザ（meeting summarizer）を強化学習エージェントとして使用し、協調プロセスの間のマルコフ決定プロセスの後に、反復プロセスをモデル化する。実施形態では、ユーザ固有の要約プログラム１２２は、アルゴリズムの実行時間を加速するために、状態とアクション（Ｓ－Ａ：State-Action）の対に対してＱ学習技術を実行する。Ｑ学習技術は、強化学習（ＲＬ：reinforcement learning）エージェントのカンニング・ペーパー(crib sheet)として機能する。Ｑ学習技術は、ＲＬエージェントが環境からのフィードバックを使用して、さまざまな環境内で実行できる最良のアクションを学習することを可能にする。Ｑ学習技術は、Ｑ値も使用して、ＲＬエージェントの性能を追跡し、改善する。最初に、Ｑ値は任意の値に設定される。しかし、ＲＬエージェントがさまざまなアクションを実行し、アクションに対するフィードバック（すなわち、不満足、中立、満足）を受信するときに、Ｑ値が更新される。実施形態では、ユーザ固有の要約プログラム１２２は、時間が増加するにつれて報酬が増えるように、強化学習システムを設計する。エピソードごとの報酬の最大値は、総報酬を最大化することによってＲＬエージェントが正しいアクションを実行することを学習したことを示す。実施形態では、ユーザ固有の要約プログラム１２２がユーザに対してフィードバックを要求することに応答して、ユーザ固有の要約プログラム１２２はフィードバックをユーザから受信する。
【0085】
ステップ３５５で、ユーザ固有の要約プログラム１２２はフィードバックを格納する。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザから受信されたフィードバックを格納する。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザから受信されたフィードバックをデータベース（例えば、データベース１２６）に格納する。実施形態では、ユーザ固有の要約プログラム１２２がフィードバックをユーザから受信することに応答して、ユーザ固有の要約プログラム１２２はフィードバックを格納する。
【0086】
一部の実施形態では、ユーザ固有の要約プログラム１２２は、任意選択的なステップとして、ステップ３４５、３５０、および３５５を実行してよい。
【0087】
図４は、本発明の実施形態に従って、図１の分散データ処理環境１００内のユーザ固有の要約プログラム１２２の機械学習コンポーネント１２４の動作ステップを示す、概して４００と指定されたフローチャートである。実施形態では、ユーザ固有の要約プログラム１２２は、マージ、抽出要約、話者ダイアライゼーション、および機械学習の概念を適用することによって、仮想コラボレーション・サーバ・ツール上の会議から離れているユーザのプロフィールに合わせて調整された、ユーザが切り離されていた間の会議の一部を対象にする要約を準備するように動作する。実施形態では、ユーザ固有の要約プログラム１２２の機械学習コンポーネント１２４は、ユーザが仮想コラボレーション・サーバ・ツール上でホストするか、参加するか、または出席する会議の全持続時間の間、継続的に稼働する。図４に示されたプロセスがプロセス・フローの１つの可能な反復を示しているということが理解されるべきである。
【0088】
ステップ４０５で、ユーザ固有の要約プログラム１２２は、会議の２人以上の参加者を識別する。実施形態では、ユーザ固有の要約プログラム１２２は、仮想コラボレーション・サーバ・ツールから（例えば、参加者リストから、または出席報告から）収集された情報を介して、会議の２人以上の参加者を識別する。実施形態では、ユーザ固有の要約プログラム１２２は、重み付けを会議の２人以上の参加者に割り当てる。実施形態では、ユーザ固有の要約プログラム１２２は、要因のセットに基づいて、重み付けを会議の２人以上の参加者に割り当てる。要因のセットは、会議における参加者の役割（すなわち、会議の主催者、会議の要求された出席者、会議の任意選択的な出席者など）、参加者の企業における参加者の役割、および会議から離れたユーザとの参加者の関連性を含むが、これらに限定されない。実施形態では、ユーザ固有の要約プログラム１２２は、参加者の割り当てられた重み付けに基づいて、会議の２人以上の参加者をランク付けする（すなわち、ユーザに最も関連する参加者からユーザに最も関連しない参加者まで、参加者をランク付けする）。実施形態では、ユーザ固有の要約プログラム１２２は、２人以上の参加者のそのようなランク付けをくつがえす(override)能力をユーザに提供する。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザ・コンピューティング・デバイス１３０のユーザ・インターフェイス１３２を介して、そのようなランク付けをくつがえす能力をユーザに提供する。
【0089】
ステップ４１０で、ユーザ固有の要約プログラム１２２は、複数の音声フレームまたはビデオ・フレームあるいはその両方を抽出する。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザが切り離されていた会議の一部から、複数の音声フレームまたはビデオ・フレームあるいはその両方を抽出する。実施形態では、ユーザ固有の要約プログラム１２２は、要約が準備されて、会議から離れていたユーザに出力されるまで、複数の音声フレームまたはビデオ・フレームあるいはその両方を継続的に抽出する。
【0090】
実施形態では、ユーザ固有の要約プログラム１２２は、ユーザが切り離されていた会議の一部から抽出された音声フレームまたはビデオ・フレームあるいはその両方の数を数える。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザの名前を含んでいる音声フレームまたはビデオ・フレームあるいはその両方（例えば、ユーザが話すことまたは質問に回答することが期待されたため、会議のホストによってユーザの名前が言及されていた間の音声フレームもしくはビデオ・フレームまたはその両方、あるいは小規模なブレークアウトグループに参加するように会議のホストによってユーザの名前が呼ばれていた間の音声フレームもしくはビデオ・フレームまたはその両方）の数を数える。実施形態では、ユーザ固有の要約プログラム１２２が会議の２人以上の参加者を識別することに応答して、ユーザ固有の要約プログラム１２２は、複数の音声フレームまたはビデオ・フレームあるいはその両方を抽出する。
【0091】
ステップ４１５で、ユーザ固有の要約プログラム１２２は、複数の音声フレームまたはビデオ・フレームあるいはその両方の文脈を識別する。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザが切り離されていた会議の一部から抽出された複数の音声フレームまたはビデオ・フレームあるいはその両方の文脈を識別する。実施形態では、ユーザ固有の要約プログラム１２２は、会議の意図またはトピックあるいはその両方を理解するために、複数の音声フレームまたはビデオ・フレームあるいはその両方の文脈を識別する。実施形態では、ユーザ固有の要約プログラム１２２が複数の音声フレームまたはビデオ・フレームあるいはその両方を抽出することに応答して、ユーザ固有の要約プログラム１２２は、複数の音声フレームまたはビデオ・フレームあるいはその両方の文脈を識別する。
【0092】
ステップ４２０で、ユーザ固有の要約プログラム１２２は、複数の音声フレームまたはビデオ・フレームあるいはその両方のサブセットを選択する。実施形態では、ユーザ固有の要約プログラム１２２は、音声フレームまたはビデオ・フレームあるいはその両方が、会議から離れていたユーザのための要約の準備に寄与するかどうかに基づいて、複数の音声フレームまたはビデオ・フレームあるいはその両方のサブセットを選択する。実施形態では、ユーザ固有の要約プログラム１２２が複数の音声フレームまたはビデオ・フレームあるいはその両方の文脈を識別することに応答して、ユーザ固有の要約プログラム１２２は、複数の音声フレームまたはビデオ・フレームあるいはその両方のサブセットを選択する。
【0093】
ステップ４２５で、ユーザ固有の要約プログラム１２２は、ステップ４２０で選択された複数の音声フレームまたはビデオ・フレームあるいはその両方のサブセットをランク付けする。実施形態では、ユーザ固有の要約プログラム１２２は、複数の音声フレームのサブセットをランク付けする。別の実施形態では、ユーザ固有の要約プログラム１２２は、複数のビデオ・フレームのサブセットをランク付けする。別の実施形態では、ユーザ固有の要約プログラム１２２は、複数の音声およびビデオ・フレームのサブセットをランク付けする。
【0094】
実施形態では、ユーザ固有の要約プログラム１２２は、アルゴリズム法を使用して複数の音声フレームまたはビデオ・フレームあるいはその両方のサブセットをランク付けする。１つまたは複数の実施形態では、ユーザ固有の要約プログラム１２２は、音声フレームまたはビデオ・フレームあるいはその両方が、会議から離れていたユーザの名前を含んでいるかどうかに基づいて、複数の音声フレームまたはビデオ・フレームあるいはその両方のサブセットをランク付けする。１つまたは複数の実施形態では、ユーザ固有の要約プログラム１２２は、ステップ４０５で受信された参加者をランク付けすることに基づいて、複数の音声フレームまたはビデオ・フレームあるいはその両方のサブセットをランク付けする。１つまたは複数の実施形態では、ユーザ固有の要約プログラム１２２は、参加者と会議から離れていたユーザの間の関係に基づいて、複数の音声フレームまたはビデオ・フレームあるいはその両方のサブセットをランク付けする。会議から離れていたユーザとの参加者の関連性は、会議における参加者の役割（すなわち、会議の主催者、会議の要求された出席者、会議の任意選択的な出席者）、参加者の企業プロフィール、参加者の企業の階層、企業の階層内の参加者の地位、参加者の企業内の参加者の年功序列、参加者の主要な仕事、参加者の主要な仕事の職務を含むが、これらに限定されない、因子のセットによって決定される。１つまたは複数の実施形態では、ユーザ固有の要約プログラム１２２は、ユーザの技術に関する関心に基づいて、複数の音声フレームまたはビデオ・フレームあるいはその両方のサブセットをランク付けする。１つまたは複数の実施形態では、ユーザ固有の要約プログラム１２２は、ユーザの専門知識に基づいて、複数の音声フレームまたはビデオ・フレームあるいはその両方のサブセットをランク付けする。１つまたは複数の実施形態では、ユーザ固有の要約プログラム１２２は、過去の分析に基づいて、複数の音声フレームまたはビデオ・フレームあるいはその両方のサブセットをランク付けする。複数の音声フレームまたはビデオ・フレームあるいはその両方のサブセットをランク付けするユーザ固有の要約プログラム１２２の例は、本明細書では個別の方法を使用して説明されるが、ユーザ固有の要約プログラム１２２が上記の実施形態の１つまたは複数の組合せを介して複数の音声フレームまたはビデオ・フレームあるいはその両方のサブセットをランク付けしてよいということに、注意するべきである。
【0095】
実施形態では、ユーザ固有の要約プログラム１２２が複数の音声フレームまたはビデオ・フレームあるいはその両方のサブセットを選択することに応答して、ユーザ固有の要約プログラム１２２は、ステップ４２０で選択された複数の音声フレームまたはビデオ・フレームあるいはその両方のサブセットをランク付けする。
【0096】
ステップ４３０で、ユーザ固有の要約プログラム１２２は統合された要約を準備する。実施形態では、ユーザ固有の要約プログラム１２２は、アルゴリズムで決定されたしきい値より上にランク付けされた複数の音声フレームの統合された要約を準備する。別の実施形態では、ユーザ固有の要約プログラム１２２は、アルゴリズムで決定されたしきい値より上にランク付けされた複数のビデオ・フレームの統合された要約を準備する。別の実施形態では、ユーザ固有の要約プログラム１２２は、アルゴリズムで決定されたしきい値より上にランク付けされた複数の音声およびビデオ・フレームの統合された要約を準備する。
【0097】
実施形態では、ユーザ固有の要約プログラム１２２は、アルゴリズムで決定されたしきい値より上にランク付けされた複数の音声フレームまたはビデオ・フレームあるいはその両方をマージすることによって、統合された要約を準備する。実施形態では、ユーザ固有の要約プログラム１２２は、アルゴリズムで決定されたしきい値より上にランク付けされた複数の音声フレームまたはビデオ・フレームあるいはその両方を連続的に一緒につなぎ合わせて、アルゴリズムで決定されたしきい値より上にランク付けされた複数の音声フレームまたはビデオ・フレームあるいはその両方をマージすることによって、統合された要約を準備する。実施形態では、ユーザ固有の要約プログラム１２２は、アルゴリズムで決定されたしきい値より上にランク付けされなかった複数の音声フレームまたはビデオ・フレームあるいはその両方を取り消すことによって、統合された要約を準備する。しきい値は、動的であり、ユーザ固有の要約プログラム１２２のユーザごとに変わる。実施形態では、ユーザ固有の要約プログラム１２２は、トレーニング・データ・セットに対する機械学習に合わせて、アルゴリズムで決定されたしきい値を設定する。
【0098】
実施形態では、ユーザ固有の要約プログラム１２２が複数の音声フレームまたはビデオ・フレームあるいはその両方のサブセットをランク付けすることに応答して、ユーザ固有の要約プログラム１２２は、統合された要約を準備する。
【0099】
第１の例では、仮想コラボレーション・サーバ・ツール上のユーザＡのオンライン仮想クラスが、教師Ｘによってホストされる。招待講演者Ｙも、ユーザＡのオンライン仮想クラスに参加する。ユーザＡのネットワーク接続の問題のために、ユーザＡがオンライン仮想クラスから切り離されている間に、教師Ｘは、２５枚のＭｉｃｒｏｓｏｆｔ（Ｒ）ＰｏｗｅｒＰｏｉｎｔスライドを提示する。教師Ｘが提示する最初のスライドは、スライド１である。しかし、教師Ｘは、招待講演者Ｙが後でクラスで提示する内容を説明するために、非常に簡単にスライド２５を参照する。次に教師Ｘは、ユーザＡがユーザＡのオンライン仮想クラスに再接続する前に、スライド２～２４に戻って参照し、説明する。この場合、ユーザ固有の要約プログラム１２２は、スライド１および２５が高度なコンテンツ情報を含んでいるため、スライド１および２５をスライド２～２４より高くランク付けする。スライド１および２５がマージされる。
【0100】
第２の例では、仮想コラボレーション・サーバ・ツール上のユーザＢのチーム会議は、チーム・リーダーＸによってホストされる。ユーザＢがチーム会議から切り離されている間に、チーム・リーダーＸは、ビデオがあまり技術的でなく、より図解的であるため、技術的スライドよりも非常に良くチーム・メンバーの共感を呼んだビデオを提示する。この場合、ユーザ固有の要約プログラム１２２は、技術的スライドより高くビデオをランク付けする。ビデオおよび他の高くランク付けされたスライドが一緒にマージされるが、技術的スライドは取り消される。
【0101】
ステップ４３５で、ユーザ固有の要約プログラム１２２は、統合された要約を１つまたは複数の文に変換する。実施形態では、ユーザ固有の要約プログラム１２２は、統合された要約をテキスト形式で１つまたは複数の文に変換する。実施形態では、ユーザ固有の要約プログラム１２２は、抽出テキスト要約アルゴリズムを使用して、統合された要約を１つまたは複数の文に変換する。実施形態では、ユーザ固有の要約プログラム１２２は、統合された要約内の重要な文および他の際立った情報を識別する。実施形態では、ユーザ固有の要約プログラム１２２は、統合された要約から重要な文および他の際立った情報を抽出する。会議の全持続時間の間、抽出テキスト要約アルゴリズムを使用する音声テキスト要約が発生するが、持続時間内の３０分のローリング・ウィンドウを開いた状態に保つ。実施形態では、ユーザ固有の要約プログラム１２２が統合された要約を準備することに応答して、ユーザ固有の要約プログラム１２２は、統合された要約を１つまたは複数の文に変換する。
【0102】
ステップ４４０で、ユーザ固有の要約プログラム１２２は話者ダイアライゼーションを適用する。話者ダイアライゼーションは、話者の識別情報に従って入力音声ストリームを同質のセグメントに分割するプロセスである。話者ダイアライゼーションは、音声ストリームを話者の順番に構造化することによって、および話者認識システムと共に使用された場合に、話者の真の識別情報を提供することによって、自動音声文字起こしの可読性を高める。話者ダイアライゼーションは、話者セグメント化および話者クラスタ化の組合せである。話者セグメント化は、音声ストリーム内の話者の変化点を検出することを目標とする。話者クラスタ化は、話者の特性に基づいて音声セグメントを一緒にグループ化することを目標とする。実施形態では、ユーザ固有の要約プログラム１２２は、音声フレーム内の話者の変化点を検出する（すなわち、話者セグメント化）。実施形態では、ユーザ固有の要約プログラム１２２は、話者の特性に基づいて音声セグメントを一緒にグループ化する（すなわち、話者クラスタ化）。実施形態では、ユーザ固有の要約プログラム１２２が統合された要約を１つまたは複数の文に変換することに応答して、ユーザ固有の要約プログラム１２２は、話者ダイアライゼーションを適用する。
【0103】
ステップ４４５で、ユーザ固有の要約プログラム１２２は、１つまたは複数の文をランク付けする。実施形態では、ユーザ固有の要約プログラム１２２は、会議における話者の役割（すなわち、ホスト、参加者、出席者）、および会議の意図またはトピックあるいはその両方との文の関連性を含むが、これらに限定されない、因子のセットに基づいて、１つまたは複数の文をランク付けする。実施形態では、ユーザ固有の要約プログラム１２２は、上位Ｎ個の最も有用な文を保持する。Ｎは、ステップ２２０でユーザによって設定されたユーザの嗜好または機械駆動の推奨であってよい。実施形態では、ユーザ固有の要約プログラム１２２が話者ダイアライゼーションを適用することに応答して、ユーザ固有の要約プログラム１２２は、１つまたは複数の文をランク付けする。
【0104】
例えば、会議からのユーザの離脱の持続時間の間に、重要人物（例えば、会議のホスト）が１００個の文を話した場合、ユーザ固有の要約プログラム１２２は、重要性の順に１００個の文をすべてランク付けする。しかし、Ｎが２５に設定されたため、ユーザ固有の要約プログラム１２２は、話された上位２５個の文のみを保持する。
【0105】
別の例では、会議からのユーザの離脱の持続時間の間に、重要人物（例えば、会議のホスト）が１００個の文を話した場合、ユーザ固有の要約プログラム１２２は、重要性の順に１００個の文をすべてランク付けする。１００個の文がすべて重要であるため、ユーザ固有の要約プログラム１２２に対して１００個の文をすべて保持することの機械駆動の推奨が行われ、そのためユーザ固有の要約プログラム１２２は、１００個の文をすべて保持する。
【0106】
さらに別の例では、重要人物（例えば、会議のホスト）が１つの文のみを話した場合、ユーザ固有の要約プログラム１２２は１つの文を保持する。
【0107】
ステップ４５０で、ユーザ固有の要約プログラム１２２は１つまたは複数のキーワードを識別する。実施形態では、ユーザ固有の要約プログラム１２２は、１つまたは複数の文内の１つまたは複数のキーワードを識別する。実施形態では、ユーザ固有の要約プログラム１２２は、会議の意図またはトピックあるいはその両方に関して１つまたは複数のキーワードを識別する。実施形態では、ユーザ固有の要約プログラム１２２は、会議の２人以上の参加者に関して１つまたは複数のキーワードを識別する。
【0108】
実施形態では、ユーザ固有の要約プログラム１２２は、重み付けを１つまたは複数のキーワードに割り当てる。実施形態では、ユーザ固有の要約プログラム１２２は、会議の意図またはトピックあるいはその両方とのキーワードの関連性に基づいて、重み付けを１つまたは複数のキーワードに割り当てる。実施形態では、ユーザ固有の要約プログラム１２２は、会議の２人以上の参加者とのキーワードの関連性に基づいて、重み付けを１つまたは複数のキーワードに割り当てる。
【0109】
例えば、３つの文Ｓ１０、Ｓ１１、およびＳ１２は、会議の複数の参加者に関する候補である。特定の参加者と一致するキーワードの頻度に基づいてそのような文をランク付けするためのランク付けシステムが構築される。Ｓ１０、Ｓ１１、およびＳ１２からキーワードが識別される。識別されたキーワードは、「データ」、「アルゴリズム」、および「Ｋ平均クラスタ化」である。参加者Ｘ１０は、データ・サイエンティストである。参加者Ｘ１１は、ソリューション・アーキテクトである。Ｘ１０は、キーワード「データ」、「アルゴリズム」、および「Ｋ平均クラスタ化」を含む文により興味があり、一方、Ｘ１１は、キーワード「データ」を含む文のみに興味がある。
【0110】
実施形態では、ユーザ固有の要約プログラム１２２は、１つまたは複数の文をタグ付けする。実施形態では、ユーザ固有の要約プログラム１２２は、タグ付けシステムを使用して１つまたは複数の文をタグ付けする。実施形態では、ユーザ固有の要約プログラム１２２は、１つまたは複数の文の意図を表す単語または語句を使用して１つまたは複数の文をタグ付けする。実施形態では、ユーザ固有の要約プログラム１２２が１つまたは複数の文をランク付けすることに応答して、ユーザ固有の要約プログラム１２２は１つまたは複数のキーワードを識別する。
【0111】
例えば、３つの文Ｓ１、Ｓ２、およびＳ３は、一群の人の意欲を引き出すか、または注目を集める目的で話される。タグ付けシステムは、これらの文を「動機付け」または「グループの注目を集める」としてタグ付けするために使用される。３つの文Ｓ４、Ｓ５、およびＳ６は、一群の人の気分を明るくする目的で話される。タグ付けシステムは、これらの文を「気分を明るくする」としてタグ付けするために使用される。３つの文Ｓ７、Ｓ８、およびＳ９は、何の目的もなく話される。タグ付けシステムは、これらの文を「無意味」としてタグ付けするために使用される。
【0112】
ステップ４５５で、ユーザ固有の要約プログラム１２２はグローバルなランク付けを準備する。実施形態では、ユーザ固有の要約プログラム１２２は、ステップ４０５で識別されて重み付けを割り当てられた２人以上の参加者、ステップ４５０で識別されて重み付けを割り当てられた１つまたは複数のキーワード、およびステップ４５５でランク付けされた１つまたは複数の文のサブセットを組み込む、グローバルなランク付けを準備する。実施形態では、ユーザ固有の要約プログラム１２２は、ユーザに合わせてより調整された要約を準備することにおいてユーザ固有の要約プログラム１２２を支援するために、会議から離れたユーザがランク付けの優先順位をくつがえすことを可能にする。実施形態では、ユーザ固有の要約プログラム１２２が１つまたは複数のキーワードを識別することに応答して、ユーザ固有の要約プログラム１２２はグローバルなランク付けを準備する。
【0113】
ステップ４６０で、ユーザ固有の要約プログラム１２２は要約を準備する。実施形態では、ユーザ固有の要約プログラム１２２は、機械学習アルゴリズムを使用して要約を準備する。実施形態では、ユーザ固有の要約プログラム１２２は、ステップ４０５で重み付けを割り当てられた参加者ごとに要約を準備する。１つまたは複数の実施形態では、ユーザ固有の要約プログラム１２２は、上位Ｎ個のランク付けされた参加者に関する要約を準備する。Ｎは、ステップ２２０でユーザによって設定されたユーザの嗜好または機械駆動の推奨であってよい。
【0114】
例えば、１５人（すなわち、Ｘ１、Ｘ２、．．．、Ｘ１５）が会議に参加する。ユーザ固有の要約プログラム１２２は、会議における参加者の役割、参加者の企業における参加者の役割、および会議から離れたユーザとの参加者の関連性に基づいて、重み付けを各参加者に割り当てる。ユーザ固有の要約プログラム１２２は、上位５人のランク付けされた参加者（すなわち、Ｘ１、Ｘ２、Ｘ３、Ｘ４、およびＸ５）に関する要約を準備する。
【0115】
実施形態では、ユーザ固有の要約プログラム１２２は、会議から離れたユーザのプロフィールに合わせて、準備される各要約を調整する。実施形態では、ユーザ固有の要約プログラム１２２は、ステップ４５５で準備されたグローバルなランク付けを使用して各要約を調整する。実施形態では、ユーザ固有の要約プログラム１２２は、会議中に話した参加者と会議から離れたユーザの間の関係に比例して一致するように各要約を調整する。会議から離れたユーザとの参加者の関連性が、要因のセットによって決定される。要因のセットは、会議における参加者の役割（すなわち、会議の主催者、会議の要求された出席者、会議の任意選択的な出席者）、参加者の企業プロフィール、参加者の企業の階層、企業の階層内の参加者の地位、参加者の企業内の参加者の年功序列、参加者の主要な仕事、参加者の主要な仕事の職務、ユーザの技術に関する関心、およびユーザの専門知識、参加者が話すことまたは質問に回答することが期待されたため、会議のホストによって参加者の名前が言及されたかどうか、ならびに参加者が会議中に話していたかどうかを含むが、これらに限定されない。
【0116】
実施形態では、ユーザ固有の要約プログラム１２２は、音声認識信頼度スコアまたは意図信頼度スコアあるいはその両方を使用して各要約を調整する。実施形態では、ユーザ固有の要約プログラム１２２がグローバルなランク付けを準備することに応答して、ユーザ固有の要約プログラム１２２は要約を準備する。
【0117】
図５は、本発明の実施形態に従う、図１の分散データ処理環境１００内のコンピューティング・デバイス５００のコンポーネントのブロック図である。図５は、単に１つの実装の例を提供しており、さまざまな実施形態が実装され得る環境に関して、どのような制限も意味していないと理解されるべきである。図に示された環境に対して、多くの変更が行われ得る。
【0118】
コンピューティング・デバイス５００は、キャッシュ５１６、メモリ５０６、永続的ストレージ５０８、通信ユニット５１０、および入出力（Ｉ／Ｏ：input/output）インターフェイス５１２の間の通信を提供する通信ファブリック５０２を含んでいる。通信ファブリック５０２は、プロセッサ（マイクロプロセッサ、通信プロセッサ、およびネットワーク・プロセッサなど）、システム・メモリ、周辺機器、およびシステム内の任意の他のハードウェア・コンポーネントの間で、データまたは制御情報あるいはその両方を渡すために設計された、任意のアーキテクチャを使用して実装され得る。例えば、通信ファブリック５０２は、１つまたは複数のバスまたはクロスバ・スイッチを使用して実装され得る。
【0119】
メモリ５０６および永続的ストレージ５０８は、コンピュータ可読ストレージ媒体である。この実施形態では、メモリ５０６はランダム・アクセス・メモリ（ＲＡＭ：random access memory）を含んでいる。一般に、メモリ５０６は、任意の適切な揮発性または不揮発性のコンピュータ可読ストレージ媒体を含むことができる。キャッシュ５１６は、メモリ５０６から最近アクセスされたデータ、およびアクセスされたデータに近いデータを保持することによって、コンピュータ・プロセッサ５０４の性能を向上させる高速なメモリである。
【0120】
キャッシュ５１６を介して各コンピュータ・プロセッサ５０４のうちの１つまたは複数によって実行するため、またはアクセスするため、あるいはその両方のために、プログラムが永続的ストレージ５０８およびメモリ５０６に格納されてよい。実施形態では、永続的ストレージ５０８は、磁気ハード・ディスク・ドライブを含んでいる。磁気ハード・ディスク・ドライブに対する代替または追加として、永続的ストレージ５０８は、半導体ハード・ドライブ、半導体ストレージ・デバイス、読み取り専用メモリ（ＲＯＭ：read-only memory）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ：erasable programmable read-only memory）、フラッシュ・メモリ、あるいはプログラム命令またはデジタル情報を格納できる任意の他のコンピュータ可読ストレージ媒体を含むことができる。
【0121】
永続的ストレージ５０８によって使用される媒体は、取り外し可能であってもよい。例えば、取り外し可能ハード・ドライブが、永続的ストレージ５０８に使用されてよい。他の例としては、永続的ストレージ５０８の一部でもある別のコンピュータ可読ストレージ媒体に転送するためのドライブに挿入される、光ディスクおよび磁気ディスク、サム・ドライブ、ならびにスマート・カードが挙げられる。
【0122】
これらの例において、通信ユニット５１０は、他のデータ処理システムまたはデバイスとの通信を提供する。これらの例において、通信ユニット５１０は、１つまたは複数のネットワーク・インターフェイス・カードを含む。通信ユニット５１０は、物理的通信リンクおよびワイヤレス通信リンクのどちらかまたは両方を使用して通信を提供してよい。プログラムは、通信ユニット５１０を介して永続的ストレージ５０８にダウンロードされてよい。
【0123】
Ｉ／Ｏインターフェイス５１２は、サーバ１２０またはユーザ・コンピューティング・デバイス１３０あるいはその両方に接続されてよい他のデバイスとのデータの入力および出力を可能にする。例えば、Ｉ／Ｏインターフェイス５１２は、キーボード、キーパッド、タッチ・スクリーン、または他の適切な入力デバイス、あるいはその組合せなどの、外部デバイス５１８への接続を提供してよい。外部デバイス５１８は、例えばサム・ドライブ、ポータブル光ディスクまたはポータブル磁気ディスク、およびメモリ・カードなどの、ポータブル・コンピュータ可読ストレージ媒体を含むこともできる。本発明の実施形態を実践するために使用されるソフトウェアおよびデータは、そのようなポータブル・コンピュータ可読ストレージ媒体に格納することができ、Ｉ／Ｏインターフェイス５１２を介して永続的ストレージ５０８に読み込むことができる。Ｉ／Ｏインターフェイス５１２は、ディスプレイ５２０にも接続する。
【0124】
ディスプレイ５２０は、データをユーザに表示するためのメカニズムを提供し、例えば、コンピュータのモニタであってよい。
【0125】
本明細書に記載されたプログラムは、アプリケーションに基づいて識別され、本発明の特定の実施形態において、そのアプリケーションに関して実装される。ただし、本明細書における特定のプログラムの名前は単に便宜上使用されていると理解されるべきであり、したがって、本発明は、そのような名前によって識別されたか、または暗示されたか、あるいはその両方である特定のアプリケーションのみで使用するように制限されるべきではない。
【0126】
本発明は、システム、方法、またはコンピュータ・プログラム製品、あるいはその組合せであってよい。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を含んでいるコンピュータ可読ストレージ媒体を含んでよい。
【0127】
コンピュータ可読ストレージ媒体は、命令実行デバイスによって使用するための命令を保持および格納できる有形のデバイスであることができる。コンピュータ可読ストレージ媒体は、例えば、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイス、またはこれらの任意の適切な組合せであってよいが、これらに限定されない。コンピュータ可読ストレージ媒体のさらに具体的な例の非網羅的リストは、ポータブル・フロッピー（Ｒ）・ディスク、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ：static random access memory）、ポータブル・コンパクト・ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ：compact disc read-only memory）、デジタル・バーサタイル・ディスク（ＤＶＤ：digital versatile disk）、メモリ・スティック、フロッピー（Ｒ）・ディスク、命令が記録されているパンチカードまたは溝の中の隆起構造などの機械的にエンコードされるデバイス、およびこれらの任意の適切な組合せを含む。本明細書において使用されるとき、コンピュータ可読ストレージ媒体は、電波または他の自由に伝搬する電磁波、導波管または他の送信媒体を伝搬する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、あるいはワイヤを介して送信される電気信号などの、それ自体が一過性の信号であると解釈されるべきではない。
【0128】
本明細書に記載されたコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体から各コンピューティング・デバイス／処理デバイスへ、またはネットワーク（例えば、インターネット、ローカル・エリア・ネットワーク、広域ネットワーク、またはワイヤレス・ネットワーク、あるいはその組合せ）を介して外部コンピュータまたは外部ストレージ・デバイスへダウンロードされ得る。このネットワークは、銅伝送ケーブル、光伝送ファイバ、ワイヤレス送信、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組合せを備えてよい。各コンピューティング・デバイス／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェイスは、コンピュータ可読プログラム命令をネットワークから受信し、それらのコンピュータ可読プログラム命令を各コンピューティング・デバイス／処理デバイス内のコンピュータ可読ストレージ媒体に格納するために転送する。
【0129】
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ：instruction-set-architecture）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、あるいはＳｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む１つまたは複数のプログラミング言語の任意の組合せで記述されたソース・コードまたはオブジェクト・コードであってよい。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で全体的に実行すること、ユーザのコンピュータ上でスタンドアロン・ソフトウェア・パッケージとして部分的に実行すること、ユーザのコンピュータ上およびリモート・コンピュータ上でそれぞれ部分的に実行すること、あるいはリモート・コンピュータ上またはサーバ上で全体的に実行することができる。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワークまたは広域ネットワークを含む任意の種類のネットワークを介してユーザのコンピュータに接続されてよく、または接続は、（例えば、インターネット・サービス・プロバイダを使用してインターネットを介して）外部コンピュータに対して行われてよい。一部の実施形態では、本発明の態様を実行するために、例えばプログラマブル・ロジック回路、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ：field-programmable gate arrays）、またはプログラマブル・ロジック・アレイ（ＰＬＡ：programmable logic arrays）を含む電子回路は、コンピュータ可読プログラム命令の状態情報を利用することによってコンピュータ可読プログラム命令を実行し、電子回路をカスタマイズしてよい。
【0130】
本発明の態様は、本明細書において、本発明の実施形態に従って、方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照して説明される。フローチャート図またはブロック図あるいはその両方の各ブロック、ならびにフローチャート図またはブロック図あるいはその両方に含まれるブロックの組合せが、コンピュータ可読プログラム命令によって実装され得るということが理解されるであろう。
【0131】
これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定される機能／動作を実施する手段を作り出すべく、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されてマシンを作り出すものであってよい。これらのコンピュータ可読プログラム命令は、命令が格納されたコンピュータ可読ストレージ媒体がフローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定される機能／動作の態様を実施する命令を含んでいる製品を備えるように、コンピュータ可読ストレージ媒体に格納され、コンピュータ、プログラム可能なデータ処理装置、または他のデバイス、あるいはその組合せに特定の方式で機能するように指示できるものであってもよい。
【0132】
コンピュータ可読プログラム命令は、コンピュータ上、他のプログラム可能な装置上、または他のデバイス上で実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定される機能／動作を実施するように、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスに読み込まれてもよく、それによって、一連の動作可能なステップを、コンピュータ上、他のプログラム可能な装置上、またはコンピュータ実装プロセスを生成する他のデバイス上で実行させる。
【0133】
図内のフローチャートおよびブロック図は、本発明のさまざまな実施形態に従って、システム、方法、およびコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能、および動作を示す。これに関連して、フローチャートまたはブロック図内の各ブロックは、規定された論理機能を実装するための１つまたは複数の実行可能な命令を備える、命令のモジュール、セグメント、または部分を表してよい。一部の代替の実装では、ブロックに示された機能は、図に示された順序とは異なる順序で発生してよい。例えば、連続して示された２つのブロックは、実際には、含まれている機能に応じて、実質的に同時に実行されるか、または場合によっては逆の順序で実行されてよい。ブロック図またはフローチャート図あるいはその両方の各ブロック、ならびにブロック図またはフローチャート図あるいはその両方に含まれるブロックの組合せは、規定された機能または動作を実行するか、または専用ハードウェアとコンピュータ命令の組合せを実行する専用ハードウェアベースのシステムによって実装され得るということにも注意する。
【0134】
本発明のさまざまな実施形態の説明は、例示の目的で提示されているが、網羅的であることは意図されておらず、開示された実施形態に制限されない。本発明の範囲から逸脱することなく、多くの変更および変形が、当業者にとって明らかになるであろう。本明細書で使用された用語は、実施形態の原理、実際の適用、または市場で見られる技術を超える技術的改良を最も良く説明するため、または他の当業者が本明細書で開示された実施形態を理解できるようにするために選択されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【国際調査報告】