知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024158425
(43)【公開日】2024-11-08
(54)【発明の名称】要約システム、要約方法、及びプログラム
(51)【国際特許分類】
G06F 16/34 20190101AFI20241031BHJP
【ＦＩ】
G06F16/34
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023073614
(22)【出願日】2023-04-27
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】色摩 健
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175FB01
5B175GA04
5B175JC04
(57)【要約】
【課題】直近の要約文を確認することを容易にする要約システムを提供する。
【解決手段】要約システムは、音声を取得する取得部と、前記音声を複数のテキストに変換する変換部と、前記複数のテキストが所定の要約実施条件を満たしたときに、前記複数のテキストを要約した要約文を生成する生成部と、前記要約文をユーザに提供する提供部と、を有する。
【選択図】図３
【解決手段】要約システムは、音声を取得する取得部と、前記音声を複数のテキストに変換する変換部と、前記複数のテキストが所定の要約実施条件を満たしたときに、前記複数のテキストを要約した要約文を生成する生成部と、前記要約文をユーザに提供する提供部と、を有する。
【選択図】図３
【特許請求の範囲】
【請求項1】
音声を取得する取得部と、
前記音声を複数のテキストに変換する変換部と、
前記複数のテキストが所定の要約実施条件を満たしたときに、前記複数のテキストを要約した要約文を生成する生成部と、
前記要約文をユーザに提供する提供部と、
を有する、要約システム。
前記音声を複数のテキストに変換する変換部と、
前記複数のテキストが所定の要約実施条件を満たしたときに、前記複数のテキストを要約した要約文を生成する生成部と、
前記要約文をユーザに提供する提供部と、
を有する、要約システム。
【請求項2】
前記要約実施条件は、前記変換部が変換した前記複数のテキストのサイズが第１の閾値に達したことを含む、請求項１に記載の要約システム。
【請求項3】
前記要約実施条件は、前記変換部が変換した前記複数のテキストから算出した類似度が第２の閾値を下回ることを含む、請求項１に記載の要約システム。
【請求項4】
前記要約文と、前記複数のテキストとを対応付けて記憶するデータベースを有し、
前記複数のテキストが変更された場合、前記要約文を更新する、
請求項１に記載の要約システム。
前記複数のテキストが変更された場合、前記要約文を更新する、
請求項１に記載の要約システム。
【請求項5】
前記提供部は、前記要約文と、前記要約文の生成に用いた前記複数のテキストとを、前記ユーザが利用する端末装置に配信し、
前記端末装置は、少なくとも前記要約文を表示する表示画面を表示部に表示させる表示制御部を有する、
請求項１乃至４のいずれか一項に記載の要約システム。
前記端末装置は、少なくとも前記要約文を表示する表示画面を表示部に表示させる表示制御部を有する、
請求項１乃至４のいずれか一項に記載の要約システム。
【請求項6】
前記表示画面は、前記要約文と対応付けて、前記要約文の生成に用いた前記複数のテキストを編集可能に表示する、請求項５に記載の要約システム。
【請求項7】
前記表示画面は、
前記要約文の抽出、複製、又は編集が可能である、請求項５に記載の要約システム。
前記要約文の抽出、複製、又は編集が可能である、請求項５に記載の要約システム。
【請求項8】
前記音声は、複数の端末装置の間でコンテンツデータを送受信する会議の音声であり、
前記表示制御部は、前記会議の会議画面に重畳させて、前記表示画面を表示させる、請求項５に記載の要約システム。
前記表示制御部は、前記会議の会議画面に重畳させて、前記表示画面を表示させる、請求項５に記載の要約システム。
【請求項9】
前記複数のテキストが最初に変更されてから第１の時間を経過後、又は前記複数のテキストが最後に変更されてから第２の時間を経過後に、前記要約文を更新する、請求項４に記載の要約システム。
【請求項10】
前記要約文が手動で変更されている場合、前記要約文の更新を中止する、請求項４に記載の要約システム。
【請求項11】
ユーザによる所定の操作を受け付けた後に、前記要約文を更新する、請求項４に記載の要約システム。
【請求項12】
音声を取得する処理と、
前記音声を複数のテキストに変換する処理と、
前記複数のテキストが所定の要約実施条件を満たしたときに、前記複数のテキストを要約した要約文を生成する処理と、
前記要約文をユーザに提供する処理と、
をコンピュータが実行する、要約方法。
前記音声を複数のテキストに変換する処理と、
前記複数のテキストが所定の要約実施条件を満たしたときに、前記複数のテキストを要約した要約文を生成する処理と、
前記要約文をユーザに提供する処理と、
をコンピュータが実行する、要約方法。
【請求項13】
音声を取得する処理と、
前記音声を複数のテキストに変換する処理と、
前記複数のテキストが所定の要約実施条件を満たしたときに、前記複数のテキストを要約した要約文を生成する処理と、
前記要約文をユーザに提供する処理と、
をコンピュータに実行させる、プログラム。
前記音声を複数のテキストに変換する処理と、
前記複数のテキストが所定の要約実施条件を満たしたときに、前記複数のテキストを要約した要約文を生成する処理と、
前記要約文をユーザに提供する処理と、
をコンピュータに実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、要約システム、要約方法、及びプログラムに関する。
【背景技術】
【0002】
音声データに基づいて要約文を生成する要約システムがある。例えば、会話中の複数の人物それぞれの発言内容をテキストに変換するとともに、変換されたテキストを選択可能に表示し、ユーザにより選択されたテキストで構成される要約文を作成する要約文作成装置が知られている（例えば、特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【0003】
特許文献１に開示された技術では、変換された複数のテキストから、要約の対象となるテキストをユーザが選択する手間がかかるため、直近の要約文を確認することには困難を伴っていた。
【0004】
本発明の一実施形態は、上記の問題点に鑑みてなされたものであって、直近の要約文を確認することを容易にする要約システムを提供する。
【課題を解決するための手段】
【0005】
上記の課題を解決するため、本発明の一実施形態に係る要約システムは、音声を取得する取得部と、前記音声を複数のテキストに変換する変換部と、前記複数のテキストが所定の要約実施条件を満たしたときに、前記複数のテキストを要約した要約文を生成する生成部と、前記要約文をユーザに提供する提供部と、を有する。
【発明の効果】
【0006】
本発明の一実施形態によれば、直近の要約文を確認することを容易にする要約システムを提供することができる。
【図面の簡単な説明】
【0007】
【図1】一実施形態に係る要約システムのシステム構成の例を示す図である。
【図2】一実施形態に係るコンピュータのハードウェア構成の例を示す図である。
【図3】一実施形態に係る要約システムの機能構成の例を示す図である。
【図4】一実施形態に係る要約システムのデータ構造について説明するための図である。
【図5】一実施形態に係る要約処理の例を示すシーケンス図である。
【図6】一実施形態に係る端末装置の表示画面の例を示す図（１）である。
【図7】一実施形態に係る端末装置の表示画面の例を示す図（２）である。
【図8】一実施形態に係る端末装置の表示画面の例を示す図（３）である。
【図9】第１の実施形態に係る判断処理の例を示すフローチャートである。
【図10】第１の実施形態に係る判断処理について説明するための図である。
【図11】第２の実施形態に係る判断処理の例を示すフローチャートである。
【図12】第２の実施形態に係る判断処理について説明するための図である。
【図13】一実施形態に係る変更処理の例を示すシーケンス図である。
【図14】一実施形態に係る再要約処理の例を示すシーケンス図（１）である。
【図15】一実施形態に係る再要約処理について説明するための図（１）である。
【図16】一実施形態に係る再要約処理について説明するための図（２）である。
【図17】一実施形態に係る再要約処理の例を示すシーケンス図（２）である。
【図18】一実施形態に係る再要約処理の例を示すシーケンス図（３）である。
【発明を実施するための形態】
【0008】
以下、本発明の実施形態（本実施形態）について、図面を参照しながら詳細に説明する。
【0009】
＜システム構成＞
図１は、一実施形態に係る要約システムのシステム構成の例を示す図である。要約システム１は、例えば、インターネット及びＬＡＮ（Local Area network）等の通信ネットワーク２に接続する、要約サーバ１００及び複数の端末装置１１０ａ、１１０ｂ、・・・等を含む。なお、以下の説明において、複数の端末装置１１０ａ、１１０ｂ、・・・のうち、任意の端末装置を示す場合、「端末装置１１０」を用いる。また、図１に示した端末装置１１０の数は一例であり、端末装置１１０の数は２つ以上の他の数であってよい。
図１は、一実施形態に係る要約システムのシステム構成の例を示す図である。要約システム１は、例えば、インターネット及びＬＡＮ（Local Area network）等の通信ネットワーク２に接続する、要約サーバ１００及び複数の端末装置１１０ａ、１１０ｂ、・・・等を含む。なお、以下の説明において、複数の端末装置１１０ａ、１１０ｂ、・・・のうち、任意の端末装置を示す場合、「端末装置１１０」を用いる。また、図１に示した端末装置１１０の数は一例であり、端末装置１１０の数は２つ以上の他の数であってよい。
【0010】
要約システム１は、例えば、端末装置１１０を利用するユーザの会話を要約し、直近の要約文をユーザに提供するシステムである。例えば、要約システム１は、端末装置１１０ａを利用するユーザが、他の端末装置１１０ｂを利用するユーザと、会議サーバ１０を介して会議を行うウェブ会議の音声を要約し、要約した要約文を端末装置１１０ａ、１１０ｂに配信する。なお、会議サーバ１０は、要約システム１の外部のサーバであってもよいし、要約システム１内部のサーバであってもよい。
【0011】
なお、要約システム１は、例えば、ユーザが対面で行う一般の会議等の会話の要約も可能である。ここでは、一例として、要約システム１が、ウェブ会議（以下、会議と呼ぶ）の音声を要約し、要約した要約文を、会議に参加する端末装置１１０に配信するものとして、以下の説明を行う。
【0012】
端末装置１１０は、ユーザが利用する、例えば、ＰＣ（Personal Computer）、タブレット端末、又はスマートフォン等の汎用の情報端末である。ただし、これに限られず、端末装置１１０は、例えば、ビデオ会議装置、又はＩＷＢ（Interactive White Board）等のウェブ会議の機能を有する電子機器であってもよい。ここで、ＩＷＢは、相互通信が可能な電子式の黒板機能を有する白板であり、電子黒板とも呼ばれる。ここでは、一例として、端末装置１１０が、汎用の情報端末であるものとして、以下の説明を行う。
【0013】
ウェブ会議に参加するユーザは、例えば、端末装置１１０にインストールされたウェブ会議用のアプリケーション、又はウェブブラウザ等を利用して、会議サーバ１０が提供する会議用のアドレスにアクセスすることにより、ウェブ会議に参加する。
【0014】
会議サーバ１０は、例えば、コンピュータの構成を有する情報処理装置、又は複数のコンピュータを含むシステムである。会議サーバ１０は、複数の端末装置１１０の間で、音声を含むコンテンツデータを送受信するウェブ会議サービスを提供する。なお、本実施形態では、会議サーバ１０が提供するウェブ会議サービスは、任意のウェブ会議サービスであってよい。
【0015】
要約サーバ１００は、例えば、コンピュータの構成を有する情報処理装置、又は複数の情報処理装置を含むシステムである。要約サーバ１００は、本実施形態に係る要約サービスを提供する。
【0016】
なお、図１に示した要約システム１のシステム構成は一例である。例えば、要約システム１は、要約サーバ１００が、会議サーバ１０の機能を備えていてもよい。また、要約システム１は、会議サーバ１０を有していなくてもよい。
【0017】
（要約システムの処理の概要）
例えば、端末装置１１０ａを利用するユーザが、会議サーバ１０が提供するウェブ会議を利用して、端末装置１１０ｂを利用する他のユーザとウェブ会議（以下、単に会議と呼ぶ）を行うものとする。
例えば、端末装置１１０ａを利用するユーザが、会議サーバ１０が提供するウェブ会議を利用して、端末装置１１０ｂを利用する他のユーザとウェブ会議（以下、単に会議と呼ぶ）を行うものとする。
【0018】
端末装置１１０ａ、１１０ｂは、要約システム１に対応するアプリケーションプログラム（以下、アプリと呼ぶ）を実行することにより、ユーザの音声を取得し、取得した音声（音声データ）を要約サーバ１００に送信する。
【0019】
要約サーバ１００は、端末装置１１０ａ、１１０ｂが送信する音声を取得し、取得した音声を複数のテキスト（テキストデータ）に変換する。また、要約サーバ１００は、複数のテキストが所定の要約実施条件に満たしたときに、複数のテキストを要約した要約文を生成し、生成した要約文を端末装置１１０ａ、１１０ｂに配信する。
【0020】
ここで、要約実施条件は、一例として、要約サーバ１００が変換した複数のテキストのサイズ（例えば、文字数等）が、第１の閾値に達したときである。別の一例として、要約実施条件は、要約システム１が変換した複数のテキストから算出した類似度が第２のしきい値を下回ったとき（話題が変わったとき）等である。
【0021】
端末装置１１０ａ、１１０ｂは、要約サーバ１００から配信された要約文を、例えば、アプリの表示画面に表示してもよいし。会議の会議画面に重畳させて表示してもよい。
【0022】
例えば、特許文献１に示されるような従来の技術では、変換された複数のテキストから、要約の対象となるテキストをユーザが選択する手間がかかるため、例えば、会議中に、ユーザが直近の要約文を確認することには困難を伴っていた。
【0023】
一方、本実施形態に係る要約システム１は、テキスト化した複数のテキストが所定の要約実施条件を満たすたびに、自動的に要約文をユーザが利用する端末装置１１０ａ、１１０ｂに配信する。従って、本実施形態によれば、直近の要約文を確認することを容易にする要約システムを提供することができる。
【0024】
＜ハードウェア構成＞
（コンピュータのハードウェア構成）
要約サーバ１００は、例えば、図２に示すようなコンピュータ２００のハードウェア構成を有している。或いは、要約サーバ１００は、複数のコンピュータ２００によって構成される。また、端末装置１１０は、一例として、図３に示すようなコンピュータ２００のハードウェア構成を有している。
（コンピュータのハードウェア構成）
要約サーバ１００は、例えば、図２に示すようなコンピュータ２００のハードウェア構成を有している。或いは、要約サーバ１００は、複数のコンピュータ２００によって構成される。また、端末装置１１０は、一例として、図３に示すようなコンピュータ２００のハードウェア構成を有している。
【0025】
図２は、一実施形態に係るコンピュータのハードウェア構成の例を示す図である。コンピュータ２００は、例えば、図２に示されるように、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、ＨＤ（Hard Disk）２０４、ＨＤＤ（Hard Disk Drive）コントローラ２０５、ディスプレイ２０６、外部機器接続Ｉ／Ｆ（Interface）２０７、ネットワークＩ／Ｆ２０８、キーボード２０９、ポインティングデバイス２１０、ＤＶＤ－ＲＷ（Digital Versatile Disk Rewritable)ドライブ２１２、メディアＩ／Ｆ２１４、及びバスライン２１５等を備えている。
【0026】
また、コンピュータ２００が端末装置１１０である場合、コンピュータ２００は、マイク２２１、スピーカ２２２、音入出力Ｉ／Ｆ２２３、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ２２４、及び撮像素子Ｉ／Ｆ２２５等を、さらに備える。
【0027】
これらのうち、ＣＰＵ２０１は、コンピュータ２００全体の動作を制御する。ＲＯＭ２０２は、例えば、ＩＰＬ（Initial Program Loader）等のコンピュータ２００の起動に用いられるプログラムを記憶する。ＲＡＭ２０３は、例えば、ＣＰＵ２０１のワークエリア等として使用される。ＨＤ２０４は、例えば、ＯＳ（Operating System）、アプリケーション、デバイスドライバ等のプログラムや、各種データを記憶する。ＨＤＤコントローラ２０５は、例えば、ＣＰＵ２０１の制御に従ってＨＤ２０４に対する各種データの読み出し又は書き込みを制御する。なお、ＨＤ２０４、及びＨＤＤコントローラ２０５は、コンピュータ２００が備えるストレージデバイスの一例である。
【0028】
ディスプレイ２０６は、例えば、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。なお、ディスプレイ２０６は、コンピュータ２００の外部に設けられていてもよい。外部機器接続Ｉ／Ｆ２０７は、コンピュータ２００に、様々な外部装置を接続するためのインタフェースである。ネットワークＩ／Ｆ２０８は、コンピュータ２００を通信ネットワーク２に接続して、他の装置と通信するためのインタフェースである。
【0029】
キーボード２０９は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス２１０は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行なう入力手段の一種である。なお、キーボード２０９、及びポインティングデバイス２１０は、コンピュータ２００の外部に設けられていてもよい。
【0030】
ＤＶＤ－ＲＷドライブ２１２は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ２１１に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷ２１１は、ＤＶＤ－ＲＷに限らず、他の着脱可能な記録媒体であってもよい。メディアＩ／Ｆ２１４は、フラッシュメモリ等のメディア２１３に対するデータの読み出し又は書き込み（記憶）を制御する。バスライン２１５は、上記の各構成要素を電気的に接続するためのアドレスバス、データバス及び各種の制御信号等を含む。
【0031】
マイク２２１は、音を電気信号に変える内蔵型の回路である。スピーカ２２２は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力Ｉ／Ｆ２２３は、ＣＰＵ２０１の制御に従ってマイク２２１及びスピーカ２２２との間で音信号の入出力を処理する回路である。
【0032】
ＣＭＯＳセンサ２２４は、ＣＰＵ２０１の制御に従って被写体（例えば自画像）を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、コンピュータ２００は、ＣＭＯＳセンサ２２４に代えて、ＣＣＤ(Charge Coupled Device)センサ等の撮像手段を有していてもよい。撮像素子Ｉ／Ｆ２２５は、ＣＭＯＳセンサ２２４の駆動を制御する回路である。
【0033】
なお、図２に示したコンピュータ２００のハードウェア構成は一例であり、様々な変形、及び応用が可能である。例えば、要約サーバ１００は、物理マシン（コンピュータ２００）に限られず、仮想マシン上で動作するプログラム等によって実現されるもの等であってもよい。
【0034】
＜機能構成＞
続いて、要約システム１の機能構成について説明する。図３は、一実施形態に係る要約システムの機能構成の例を示す図である。
続いて、要約システム１の機能構成について説明する。図３は、一実施形態に係る要約システムの機能構成の例を示す図である。
【0035】
（端末装置の機能構成）
端末装置１１０は、例えば、ＨＤ２０４等の記憶媒体に記憶した所定のプログラムをＣＰＵ２０１が実行することにより、通信部３１１、会議制御部３１２、音声送信部３１３、表示制御部３１４、及び操作受付部３１５等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。なお、図３において、端末装置１１０ｂは、端末装置１１０ａと同様の機能構成を有しているものとする。
端末装置１１０は、例えば、ＨＤ２０４等の記憶媒体に記憶した所定のプログラムをＣＰＵ２０１が実行することにより、通信部３１１、会議制御部３１２、音声送信部３１３、表示制御部３１４、及び操作受付部３１５等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。なお、図３において、端末装置１１０ｂは、端末装置１１０ａと同様の機能構成を有しているものとする。
【0036】
通信部３１１は、例えば、ネットワークＩ／Ｆ２０８を用いて、端末装置１１０を通信ネットワーク２に接続して、会議サーバ１０、要約サーバ１００、及び他の端末装置１１０等の他の装置と通信する通信処理を実行する。
【0037】
会議制御部３１２は、例えば、通信部３１１を用いて会議サーバ１０に接続し、会議音声を含むコンテンツデータの送受信を行う。また、会議制御部３１２は、音入出力Ｉ／Ｆ２２３を用いた会議音声の入出力、及びディスプレイ２０６を用いたコンテンツ画像（会議画像、又は共有画像等）の出力等を制御する。なお、会議制御部３１２が実行する処理は、一般的なウェブ会議と同様の処理であってよい。
【0038】
音声送信部３１３は、端末装置１１０を利用するユーザの音声を取得し、要約サーバ１００に送信する音声送信処理を実行する。例えば、音声送信部３１３は、音入出力Ｉ／Ｆ２２３から、マイク２２１で取得した音声を取得し、取得した音声（音声データ）を要約サーバ１００に送信する。これにより、要約サーバ１００は、ウェブ会議に限られず、通常の会議等における会話等を要約することも可能である。
【0039】
なお、音声送信部３１３は、会議制御部３１２から、ユーザの音声を取得し、取得した音声を要約サーバ１００に送信してもよい。
【0040】
表示制御部３１４は、後述する様々な表示画面を、例えば、ディスプレイ２０６等の表示部に表示する表示制御処理を実行する。操作受付部３１５は、ユーザ等による操作を受け付ける操作受付処理を実行する。例えば、操作受付部３１５は、表示制御部３１４が表示した表示画面に対するユーザの操作を受け付ける。
【0041】
（要約サーバの機能構成）
要約サーバ１００は、例えば、ＨＤ２０４等の記憶媒体に記憶した所定のプログラムを１つ以上のコンピュータ２００が実行することにより、通信部３０１、取得部３０２、変換部３０３、判断部３０４、生成部３０５、提供部３０６、及びＤＢ（Database）３０７等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。
要約サーバ１００は、例えば、ＨＤ２０４等の記憶媒体に記憶した所定のプログラムを１つ以上のコンピュータ２００が実行することにより、通信部３０１、取得部３０２、変換部３０３、判断部３０４、生成部３０５、提供部３０６、及びＤＢ（Database）３０７等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。
【0042】
また、要約サーバ１００は、例えば、ＨＤ２０４、及びＨＤＤコントローラ２０５等のストレージデバイスにより、記憶部３０８を実現している。
【0043】
通信部３０１は、例えば、ネットワークＩ／Ｆ２０８等を用いて、要約サーバ１００を通信ネットワーク２に接続し、端末装置１１０等の他の装置と通信する通信処理を実行する。
【0044】
取得部３０２は、ユーザの音声を取得する取得処理を実行する。例えば、取得部３０２は、端末装置１１０の音声送信部３１３が、要約サーバ１００に送信する、ユーザの音声（音声データ）を取得する。
【0045】
変換部３０３は、取得部３０２が取得した音声を複数のテキストに変換する変換処理を実行する。なお、音声を複数のテキストに変換する処理は、例えば、文字おこし、又はテキスト化等と呼ばれる場合がある。また、変換部３０３は、例えば、変換サーバ、文字おこしサーバ、又はテキスト化サーバ等によって実現されるものであってもよい。
【0046】
判断部３０４は、変換部３０３が変換した複数のテキストが、所定の要約実施条件を満たしたかを判断する判断処理を実行する。一例として、判断部３０４は、変換部３０３が変換した複数のテキストのサイズが、第１の閾値に達したか（要約実施条件の一例）を判断する。別の一例として、判断部３０４は、変換部３０３が変換した複数のテキストのサイズから算出した類似度が第２の閾値を下回ったか（要約実施条件の別の一例）を判断する。なお、判断部３０４は、複数のテキストが、所定の要約実施条件を満たしたかを判断する要約トリガサーバ等によって実現されるものであってもよい。
【0047】
生成部３０５は、判断部３０４が、変換部３０３が変換した複数のテキストが所定の要約実施条件を満たしたと判断したときに、当該複数のテキストを要約した要約文を生成する生成処理を実行する。なお、本実施形態では、生成部３０５が要約文を生成する方法について、特に限定しない。例えば、生成部３０５は、自然言語処理、及びＡＩ（Artificial Intelligence）等を使って、文章を要約する公知のクラウドサービス等を利用して、複数のテキストを要約した要約文を生成してもよい。なお、生成部３０５は、文章を要約する要約サーバ等によって実現されるものであってもよい。
【0048】
なお、要約システム１は、生成部３０５に入力される複数のテキストをキューイングするキューイングサーバを、さらに有していてもよい。或いは、生成部３０５が、キューイングサーバの機能を有していてもよい。
【0049】
提供部３０６は、生成部３０５が生成した要約文をユーザに提供する提供処理を実行する。例えば、提供部３０６は、生成部３０５が生成した要約文を、ユーザが利用する端末装置１１０に送信する。好ましくは、提供部３０６は、生成部３０５が生成した要約文に加えて、生成部３０５が要約文の生成に用いた複数のテキストを、ユーザが利用する端末装置１１０に送信する。なお、提供部３０６は、例えば、Ｐｕｂｌｉｓｈ／Ｓｕｂｓｃｒｉｂｅメッセージングサービスを提供するＰｕｂ／Ｓｕｂサーバ等によって実現されるものであってもよい。
【0050】
ＤＢ３０７は、例えば、変換部３０３が変換した変換テキスト、生成部３０５が生成した要約文、及び会話情報等を記憶するデータベースである。
【0051】
図４は、一実施形態に係る要約システムのデータ構造について説明するための図である。要約システム１が管理するデータは、例えば、図４に示すような、会話情報４００、要約文４１０、及び変換テキスト４１１ａ、４１１ｂ、４１１ｃ等を含む。なお、以下の説明において、変換テキスト４１１ａ、４１１ｂ、４１１ｃのうち、任意の変換テキストを示す場合、「変換テキスト４１１」を用いる。
【0052】
図４に示すように、会話情報４００、要約文４１０、及び変換テキスト４１１は、会話を識別する「会話ＩＤ」を有している。要約システム１は、この「会話ＩＤ」により、各データがどの会話に関するデータであるのかを区別することができる。また、要約システム１は、この「会話ＩＤ」ごとに、要約文４１０、及び変換テキスト４１１を作成する。
【0053】
また、図４に示すように、要約文４１０、及び変換テキスト４１１は、要約文を識別する「要約ＩＤ」を有している。要約システム１は、この「要約ＩＤ」により、各変換テキスト４１１が、どの要約文４１０に関するデータであるのかを区別することができる。また、要約システム１は、例えば、ユーザによって変換テキスト４１が変更された場合、この「要約ＩＤ」により、変更された変換テキスト４１から生成された要約文４１０を特定することができる。
【0054】
また、要約文４１０は、「状態」という属性を有している。要約システム１は、この「状態」により、要約文４１０が、生成中の状態であるか、要約完了の状態であるか、手動で要約が修正されたであるか、等を特定することができる。要約システム１は、この「状態」により、要約文の状態を、端末装置１１０が実行するアプリに提供することができる。
【0055】
さらに、会話情報４００、要約文４１０、及び変換テキスト４１１には、図４に示すような、様々な情報が含まれる。
【0056】
記憶部３０８は、例えば、要約システム１が管理する様々な情報（閾値、設定値等）、データ、及びプログラム等を記憶する。
【0057】
なお、図３において、会議サーバ１０は、ウェブ会議サービスを提供する一般的なクラウドサービス等であってよいので、ここでは説明を省略する。
【0058】
＜処理の流れ＞
続いて、本実施形態に係るコミュニケーション支援方法の処理の流れについて説明する。
続いて、本実施形態に係るコミュニケーション支援方法の処理の流れについて説明する。
【0059】
（要約処理）
図５は、一実施形態に係る要約処理の例を示すシーケンス図である。なお、図５示す処理の開始時点において、端末装置１１０ａと端末装置１１０ｂは、会議サーバ１０を介して、音声を含むコンテンツデータを送受信する会議（Ｗｅｂ会議）に参加しているものとする。
図５は、一実施形態に係る要約処理の例を示すシーケンス図である。なお、図５示す処理の開始時点において、端末装置１１０ａと端末装置１１０ｂは、会議サーバ１０を介して、音声を含むコンテンツデータを送受信する会議（Ｗｅｂ会議）に参加しているものとする。
【0060】
ステップＳ５０１、Ｓ５０２において、端末装置１１０ａ、及び端末装置１１０ｂは、Ｐｕｂ／Ｓｕｂメッセージングサービスを提供する提供部３０６に、Ｓｕｂｓｃｒｉｐｔｉｏｎの登録を行う。端末装置１１０ａ、及び端末装置１１０ｂは、Ｓｕｂｓｃｒｉｐｔｉｏｎの登録を行うことにより、提供部３０６との間で双方向の通信が可能となり、提供部３０６からの通知を遅延なく受け取ることができる。ただし、これに限られず、端末装置１１０ａ、及び端末装置１１０ｂは、例えば、ポーリング処理等の他の方法で、提供部３０６から情報を取得してもよい。
【0061】
ステップＳ５０３において、端末装置１１０ａの音声送信部３１３は、マイク２２１で取得した音声を音声データに変換し、音声データを要約サーバ１００に送信する。これに応じて、ステップＳ５０４において、要約サーバ１００の取得部３０２は、端末装置１１０ａが送信した音声データを受信し、受信した音声データを変換部３０３に出力する。
【0062】
同様に、ステップＳ５０５において、端末装置１１０ｂの音声送信部３１３は、マイク２２１で取得した音声を音声データに変換し、音声データを要約サーバ１００に送信する。これに応じて、ステップＳ５０６において、要約サーバ１００の取得部３０２は、端末装置１１０ｂが送信した音声データを受信し、受信した音声データを変換部３０３に出力する。
【0063】
ステップＳ５０７において、要約サーバ１００の変換部３０３は、取得部３０２が取得した音声データをテキストデータに変換する。また、変換部３０３は、変換したテキストデータ（以下、変換テキストと呼ぶ）を、提供部３０６に通知する。
【0064】
ステップＳ５０９において、提供部３０６は、変換部３０３から通知された変換テキストを、例えば、図４に示すようなデータ構造で、ＤＢ３０７に登録する。
【0065】
ステップＳ５１０において、提供部３０６は、変換部３０３から通知された変換テキストを端末装置１１０ａに配信する。これに応じて、ステップＳ５１１において、端末装置１１０ａの表示制御部３１４は、配信された変換テキストを表示画面に表示する。
【0066】
同様に、ステップＳ５１２において、提供部３０６は、変換部３０３から通知された変換テキストを端末装置１１０ｂに配信する。これに応じて、ステップＳ５１３において、端末装置１１０ｂの表示制御部３１４は、配信された変換テキストを表示画面に表示する。なお、端末装置１１０が表示する表示画面の例については後述する。
【0067】
ステップＳ５１４において、提供部３０６は、変換部３０３から通知された変換テキストを判断部３０４に通知する。これに応じて、ステップＳ５１５において、判断部３０４は、要約実行条件をチェックする。具体的には、判断部３０４は、テキスト変換部５０７が変換した変換テキスト（複数のテキスト）が、所定の要約実施条件を満たしたかをチェックする。
【0068】
ステップＳ５１６において、判断部３０４は、ＤＢ３０７に登録された変換テキストの情報を更新する。例えば、判断部３０４は、登録された変換テキストに、要約ＩＤ等を付与する。
【0069】
要約システム１は、例えば、会議が行われている間、ステップＳ５０３～Ｓ５１６の処理を繰り返し実行する。また、要約システム１は、ステップＳ５１５において、判断部３０４が、要約実行条件を満たしたと判断した場合、ステップＳ５２１～Ｓ５２８の処理５２０を実行する。
【0070】
ステップＳ５２１において、判断部５０４は、要約実行条件を満たしたと判断すると、提供部３０６が通知された複数の変換テキスト（以下、変換テキスト群と呼ぶ）を、生成部３０５に通知する。この変換テキスト群には、判断部５０４が、前回、要約実行条件を満たしたと判断した後に、提供部３０６から通知された複数の変換テキストが含まれる。
【0071】
ステップＳ５２２において、生成部３０５は、判断部３０４から通知された変換テキスト群（複数のテキスト）を要約し、要約文を生成する。また、ステップＳ５２３において、生成部３０５は、生成した要約文を提供部３０６に通知する。
【0072】
ステップＳ５２４において、提供部３０６は、生成部３０５から通知された要約文を、例えば、図４に示すようなデータ構造で、ＤＢ３０７に登録する。例えば、提供部３０６は、図４に示すように、要約文４１０と、要約文４１０の生成に用いた変換テキスト４１１ａ、４１１ｂ、４１１ｃとが、同じ要約ＩＤを有するように、要約文を登録する。
【0073】
ステップＳ５２５において、提供部３０６は、生成部３０５から通知された要約文を端末装置１１０ａに配信する。これに応じて、ステップＳ５２６において、端末装置１１０ａの表示制御部３１４は、配信された要約文を表示画面に表示する。
【0074】
同様に、ステップＳ５２７において、提供部３０６は、生成部３０５から通知された要約文を端末装置１１０ｂに配信する。これに応じて、ステップＳ５２８において、端末装置１１０ｂの表示制御部３１４は、配信された要約文を表示画面に表示する。
【0075】
（表示画面の例１）
図６は、一実施形態に係る端末装置の表示画面の例を示す図（１）である。図（Ａ）は、端末装置１１０の表示制御部３１４が、要約サーバ１００から通知された変換テキスト、及び要約文を表示するアプリの表示画面６００の一例を示している。
図６は、一実施形態に係る端末装置の表示画面の例を示す図（１）である。図（Ａ）は、端末装置１１０の表示制御部３１４が、要約サーバ１００から通知された変換テキスト、及び要約文を表示するアプリの表示画面６００の一例を示している。
【0076】
図６の例では、表示画面６００は、変換テキスト（文字おこしテキスト）、及び要約文を表示する第１の表示エリア６１０と、決定事項、及びアクションアイテムを表示する第２の表示エリア６２０とを含む。なお、第２の表示エリア６２０はオプションであり、必須ではない。
【0077】
表示制御部３１４は、要約サーバ１から配信された変換テキスト６１１ａ、６１１ｂ、６１１ｃ、６１１ｄを、第１の表示エリア６１０に、受信した順に、順次に表示する。同様に、表示制御部３１４は、要約サーバ１から配信された要約文６１２ａ、６１２ｂを、第１の表示エリア６１０に、受信した順に、順次に表示する。これにより、表示制御部３１４は、例えば、図６に示すように、要約文６１２ｂと、要約文６１２ｂの生成に用いられた複数の変換テキスト６１３とを対応付けて、第１の表示エリア６１０に表示することができる。
【0078】
なお、以下の説明において、変換テキスト６１１ａ、６１１ｂ、６１１ｃ、６１１ｄのうち、任意の変換テキストを示す場合、「変換テキスト６１１」を用いる。また、要約文６１２ａ、６１２ｂのうち、任意の要約文を示す場合、「要約文６１２」を用いる。
【0079】
好ましくは、第１の表示エリア６１０に表示された変換テキスト６１１は、当該変換テキスト６１１を削除するための削除アイコン６１４を有している。ユーザは、削除アイコン６１４を選択することにより、削除アイコン６１４に対応する変換テキスト６１１を削除することができる。同様に、要約文６１２も、当該要約文６１２を削除するための削除アイコン６１４を有している。
【0080】
好ましくは、第１の表示エリア６１０に表示された要約文６１２は、当該要約文６１２を第２の表示エリア６２０に表示するためのブックマークアイコン６１５を有している。ユーザは、ブックマークアイコン６１５を選択することにより、ブックマークアイコン６１５に対応する要約文６１２のコピーを、第２の表示エリアに表示することができる。同様に、変換テキスト６１１も、当該変換テキスト６１１を第２の表示エリア６２０に表示するためのブックマークアイコン６１５を有している。
【0081】
好ましくは、第１の表示エリア６１０は、変換テキスト６１１、及び要約文６１２を自動スクロールするか否かを設定する「自動スクロール」ボタン６１６を有している。例えば、ユーザは、「自動スクロールボタン」６１６をオフにすることにより、自動スクロール機能を無効に設定することができる。
【0082】
好ましくは、要約文６１２は、要約文の生成に用いた変換テキスト６１１を非表示にするための非表示ボタン６１７を有する。例えば、ユーザは要約文６１２ｂの非表示ボタン６１７を選択することにより、図６（Ｂ）に示すように、要約文６１２ｂの生成に用いられた複数の変換テキスト６１３を非表示にすることができる。
【0083】
また、図６（Ｂ）に示すように、要約文６１２ｂの生成に用いられた複数の変換テキスト６１３が非表示になっている場合、要約文６１２ｂは、要約文６１２ｂの生成に用いた変換テキスト６１３を表示にするための表示ボタン６１８を有する。ユーザは、表示ボタン６１８を選択することにより、図６（Ａ）に示すように、要約文６１２ｂの生成に用いた変換テキスト６１３を再び表示することができる。
【0084】
好ましくは、表示制御部３１４は、第２の表示エリア６２０に表示したテキスト６２１が編集されると、編集内容をコピー元の変換テキスト６１１、又は要約文６１２に反映する。また、第２の表示エリア６２０に表示したテキストは、当該テキストのコピー元の変換テキスト６１１、又は要約文６１２にジャンプするためのジャンプボタン６２２を有している。
【0085】
（表示画面の例２）
図７は、一実施形態に係る端末装置の表示画面の例を示す図（２）である。端末装置１１０が他の端末装置１１０と会議（ウェブ会議）を行う場合、端末装置１１０には、他の端末装置１１０が撮影した会議映像、又はプレゼンテーション資料等を表示する会議画面が表示されることが多い。そのため、端末装置１１０のディスプレイ２０６等の表示部に、例えば、図６で説明した表示画面６００を表示することが困難な場合がある。
図７は、一実施形態に係る端末装置の表示画面の例を示す図（２）である。端末装置１１０が他の端末装置１１０と会議（ウェブ会議）を行う場合、端末装置１１０には、他の端末装置１１０が撮影した会議映像、又はプレゼンテーション資料等を表示する会議画面が表示されることが多い。そのため、端末装置１１０のディスプレイ２０６等の表示部に、例えば、図６で説明した表示画面６００を表示することが困難な場合がある。
【0086】
そこで、端末装置１１０の表示制御部３１４は、例えば、図７に示すように、端末装置１１０の表示部に表示した会議画面７００に、要約文を表示する表示画面７１０を重畳させて表示してもよい。図７の例では、表示制御部３１４は、会議画面７００に重畳させて、直近の２つの要約文を表示する表示画面７１０を表示している。なお、表示画面７１０に表示する要約文の数は、１つであってもよいし、３つ以上であってもよい。
【0087】
また、表示画面７１０に表示した要約文は、図６で説明した要約文６１２と同様に、当該要約文を第２の表示エリア６２０に表示するためのブックマークアイコン７１１を有している。ユーザは、ブックマークアイコン７１１を選択することにより、バックグラウンドで動作している表示画面６００の第２の表示エリア６２０に、ブックマークアイコン７１１に対応する要約文のコピーを表示することができる。
【0088】
（表示画面の例３）
図８は、一実施形態に端末装置の表示画面の例を示す図（３）である。図８の例では、端末装置１１０の表示制御部３１４は、端末装置１１０の表示部に表示した会議画面７００に重畳させて、要約文を表示する表示画面８００を表示させている。この場合、表示画面８００に新たな要約文を表示すると、現在の表示画面８００に表示されている要約文が消えてしまうという問題がある。
図８は、一実施形態に端末装置の表示画面の例を示す図（３）である。図８の例では、端末装置１１０の表示制御部３１４は、端末装置１１０の表示部に表示した会議画面７００に重畳させて、要約文を表示する表示画面８００を表示させている。この場合、表示画面８００に新たな要約文を表示すると、現在の表示画面８００に表示されている要約文が消えてしまうという問題がある。
【0089】
そこで、図８の例では、表示画面８００に、要約文を画面上にピン止めするためのピン止めアイコン８０１を有している。ユーザは、ピン止めアイコン８０１を選択することにより、表示画面８００に表示されている要約文のコピー８０２を、端末装置１１０の表示部に表示し続けること（ピン止めすること）ができる。
【0090】
（判断処理）
［第１の実施形態］
図９は、第１の実施形態に係る判断処理の例を示す図である。この処理は、例えば、図５のステップＳ５１５において、要約サーバ１００の判断部３０４が、テキスト変換部５０７が変換した変換テキストが、所定の要約実施条件を満たしたか否かを判断する判断処理の一例を示している。
［第１の実施形態］
図９は、第１の実施形態に係る判断処理の例を示す図である。この処理は、例えば、図５のステップＳ５１５において、要約サーバ１００の判断部３０４が、テキスト変換部５０７が変換した変換テキストが、所定の要約実施条件を満たしたか否かを判断する判断処理の一例を示している。
【0091】
ステップＳ９０１において、判断部３０４は、提供部３０６から変換テキストを受け付けると、ステップＳ９０２以降の処理を実行する。
【0092】
ステップＳ９０２において、判断部３０４は、提供部３０６から受信した変換テキストの文字数を算出する。
【0093】
ステップＳ９０３において、判断部３０４は、算出した受信文字数が、第１の閾値に達したか否かを判断する。ここで、第１の閾値は、要約の対象となる文字数（要約対象文字数）が、予め設定されているものとする。受信文字数が第１の閾値に達していない場合、判断部３０４は、処理をステップＳ９０１に戻す。一方、受信文字数が第１の閾値に達した場合、判断部３０４は、処理をステップＳ９０４に移行させる。
【0094】
ステップＳ９０４に移行すると、判断部３０４は、生成部３０５に要約を実行させる。例えば、判断部３０４は、提供部３０６から受信した変換テキスト群を、生成部３０５に通知する。
【0095】
ステップＳ９０５において、判断部３０４は、変換テキストの受信文字数を初期化する。
【0096】
ステップＳ９０６において、判断部３０４は、変換テキストの受信を継続するかを判断する。変換テキストの受信を継続する場合、判断部３０４は、処理をステップＳ９０１に戻す。一方、変換テキストの受信を継続しない場合、判断部３０４は、処理を終了する。
【0097】
図１０は、第１の実施形態に係る判断処理について説明するための図である。例えば、判断部３０４は、図１０に示すような変換テキスト１～８を、提供部３０６から順次に受信するものとする。また、第１の閾値は、１００文字に設定されているものとする。
【0098】
この場合、判断部３０４は、図９の処理を実行することにより、変換テキスト４を受信したときに、変換テキストの文字数が１００文字になるので、変換テキスト１～４を変換テキスト群１００１として、生成部３０５に通知する。これにより、生成部３０５は、変換テキスト群１００１を要約した要約文を生成する。
【0099】
続いて、判断部３０４は、変換テキスト７を受信したときに、変換テキストの文字数が１００文字になるので、変換テキスト５～７を変換テキスト群１００２として、生成部３０５に通知する。
【0100】
このように、変換テキストの文字数を閾値とすることで、どの程度の会話量について要約を実行するのかを調整することができる。なお、第１の閾値（要約対象文字数）は、ユーザが設定可能であってもよい。
【0101】
［第２の実施形態］
図１１は、第２の実施形態に係る判断処理の例を示すフローチャートである。この処理は、例えば、図５のステップＳ５１５において、要約サーバ１００の判断部３０４が、テキスト変換部５０７が変換した変換テキストが、所定の要約実施条件を満たしたか否かを判断する判断処理の別の一例を示している。
図１１は、第２の実施形態に係る判断処理の例を示すフローチャートである。この処理は、例えば、図５のステップＳ５１５において、要約サーバ１００の判断部３０４が、テキスト変換部５０７が変換した変換テキストが、所定の要約実施条件を満たしたか否かを判断する判断処理の別の一例を示している。
【0102】
ステップＳ１１０１において、判断部３０４は、提供部３０６から変換テキストを受け付けると、ステップＳ１１０２以降の処理を実行する。
【0103】
ステップＳ１１０２において、判断部３０４は、提供部３０６から受信した複数の変換テキストをまとめてチャンクデータを生成する。これは、１つの変換テキストだけでは意味がないケースもあるため、複数の変換テキストをまとめてチャンクデータとして、判断処理を行う。
【0104】
図１２は、第２の実施形態に係る判断処理について説明するための図である。例えば、判断部３０４は、図１２に示すような変換テキスト１～８を、提供部３０６から順次に受信するものとする。また、図１２の例では、判断部３０４は、一例として、直近に受信した３つ（所定の数の一例）の変換テキストを１つのチャンクデータとしている。例えば、判断部３０４は、変換テキスト３を受信したときに、変換テキスト１～３をチャンクデータ１２０１とし、変換テキスト４を受信したときに、変換テキスト２～４をチャンクデータ１２０２とする。同様に、判断部３０４は、変換テキスト５を受信したときに、変換テキスト３～５をチャンクデータ１２０３とし、変換テキスト６を受信したときに、変換テキスト４～６をチャンクデータ１２０４とする。
【0105】
このように、判断部３０４は、一例として、直近に受信した所定の数の変換テキストを１つのチャンクデータとしてもよい。別の一例として、受信した複数の変換テキストの文字数が所定の文字数に達したときに、受信した複数の変換テキストを１つのチャンクデータとしてもよい。
【0106】
なお、判断部３０４は、チャンクデータを作成するときに、複数の変換テキストを単純に結合してもよいし、複数の変換テキストを生成部３０５に入力して要約してもよい。
【0107】
図１１のステップＳ１１０３において、生成したチャンクデータをベクトル化して、類似度を算出する。例えば、判断部３０４は、生成したチャンクデータと、前回生成したチャンクデータとの類似度を算出する。例えば、図１２において、判断部３０４は、変換テキスト４を受信してチャンクデータ１２０２を作成した場合、チャンクデータ１２０２と、チャンクデータ１２０１との類似度を算出する。
【0108】
チャンクデータをベクトル化する方法としては、例えば、チャンクデータを単語単位に分割し、分割した単語からベクトル値を算出する。なお、ベクトル値の算出方法としては、例えば、公知のBag of Words、又はBERT（Bidirectional Encoder Representations from Transformers）等の自然言語処理を適用することができる。
【0109】
図１１のステップＳ１１０４において、判断部３０４は、算出した類似度が第２閾値を下回ったかを判断する。ここで、第２の閾値は、チャンクデータ間の類似性が低いことを判断するための値が、予め設定されているものとする。類似度が第２の閾値を下回っていない場合、判断部３０４は、処理をステップＳ１１０１に戻す。一方、類似度が第２の閾値を下回った場合、判断部３０４は、処理をステップ１１０５に移行させる。
【0110】
ステップＳ１１０５に移行すると、前回のチャンクデータまで要約を実行させる。例えば、図１２において、判断部３０４は、変換テキスト４を受信したときに、類似度が第２の閾値を下回った場合、変換テキスト１～３を変換テキスト群として、生成部３０５に通知する。同様に、判断部３０４は、変換テキスト７を受信したときに、類似度が第２の閾値を下回った場合、変換テキスト１～６を変換テキスト群として、生成部３０５に通知する。
【0111】
ステップＳ１１０６に移行すると、判断部３０４は、要約に利用した変換テキストを要約済として、要約の対象から除外する。
【0112】
ステップＳ１１０７において、判断部３０４は、変換テキストの受信を継続するかを判断する。変換テキストの受信を継続する場合、判断部３０４は、処理をステップＳ１１０１に戻す。一方、変換テキストの受信を継続しない場合、判断部３０４は、処理を終了する。
【0113】
なお、図１１のステップＳ１１０４において、判断部３０４は、算出した類似度を単純に第２の閾値と比較しているが、これは一例である。例えば、算出した類似度の移動平均、又は算出した類似度の微分値等を閾値と比較してもよい。
【0114】
（変更処理）
例えば、図６で説明した表示画面６００において、ユーザは要約文６１２を編集可能であることが望ましい。これにより、ユーザは、要約文６１２に違和感がある場合、要約文６１２を容易に修正できるようになる。
例えば、図６で説明した表示画面６００において、ユーザは要約文６１２を編集可能であることが望ましい。これにより、ユーザは、要約文６１２に違和感がある場合、要約文６１２を容易に修正できるようになる。
【0115】
また、例えば、端末装置１１０ａが表示する表示画面６００で行われた編集内容、及びブックマークアイコン６１５の選択内容等は、他の端末装置１１０ｂが表示する表示画面６００にも反映されることが望ましい。
【0116】
図１３は、一実施形態に係る変更処理の例を示すシーケンス図である。ステップＳ１３００において、要約システム１は、図５で説明した要約処理を実行し、端末装置１１０ａ、１１０ｂは、図６に示すような表示画面６００を表示しているものとする。
【0117】
ステップＳ１３０１、Ｓ１３０２において、端末装置１１０ｂは、ユーザが要約文６１２を編集すると、編集内容を要約サーバ１００の提供部３０６に送信する。これに応じて、ステップＳ１３０３において、提供部３０６は、端末装置１１０ｂから受信した編集内容をＤＢ３０７に保存する。
【0118】
ステップ１３０４、Ｓ１３０５において、提供部３０６は、編集結果を端末装置１１０ａ、１１０ｂに配信する。これにより、ステップＳ１３０６において、端末装置１１０ｂにおける要約文の編集内容が、端末装置１１０ａの表示画面６００に反映される。
【0119】
また、ステップＳ１３１１、Ｓ１３１１２において、端末装置１１０ａは、ユーザがブックマークアイコン６１５を選択すると、ブックマーク情報を要約サーバ１００の提供部３０６に送信する。これにより、ステップＳ１３１３において、提供部３０６は、端末装置１１０ａから受信したブックマーク情報をＤＢ３０７に保存する。
【0120】
また、ステップＳ１３１４、Ｓ１３１５において、提供部３０６は、ブックマーク結果を端末装置１１０ａ、１１０ｂに配信する。これにより、ステップＳ１３１６において、端末装置１１０ａにおけるブックマークアイコン６１５の選択内容が、端末装置１１０ｂに反映される。
【0121】
（再要約処理１）
例えば、図６で説明した表示画面６００において、ユーザは変換テキスト６１１を編集可能であることが望ましい。また、変換テキスト６１１が編集された場合、要約システム１は、要約文６１２を再要約することが望ましい。
例えば、図６で説明した表示画面６００において、ユーザは変換テキスト６１１を編集可能であることが望ましい。また、変換テキスト６１１が編集された場合、要約システム１は、要約文６１２を再要約することが望ましい。
【0122】
図１４は、一実施形態に係る再要約処理の例を示すシーケンス図（１）である。この処理は、要約システム１が実行する再要約処理の一例を示している。
【0123】
ステップＳ１４００において、要約システム１は、図５で説明した要約処理を実行し、端末装置１１０ａ、１１０ｂは、図１５（Ａ）に示すような表示画面１５００を表示しているものとする。また、図１５（Ａ）の例では、変換テキスト１５０１ａ、１５０１ｂに誤り（変換ミス等）１５１１、１５１２があり、その誤りにより、要約文１５０２にも誤りが含まれているものとする。
【0124】
ステップＳ１４０１、Ｓ１４０２において、端末装置１１０ｂは、ユーザが変換テキスト１５０１ａ、１５０１ｂを編集（修正）すると、編集内容を要約サーバ１００の提供部３０６に送信する。これに応じて、ステップＳ１４０３において、提供部３０６は、端末装置１１０ｂから受信した編集内容をＤＢ３０７に保存する。
【0125】
ステップ１４０４、Ｓ１４０５において、提供部３０６は、編集結果を端末装置１１０ａ、１１０ｂに配信する。これにより、ステップＳ１４０６において、端末装置１１０ｂにおける変換テキストの編集内容が、端末装置１１０ａの表示画面１５００にも反映される。これにより、例えば、図１５（Ｂ）に示すように、端末装置１１０ａ、１１０ｂが表示する表示画面１５００において、変換テキスト１５０１ａ、１５０１ｂの修正が反映される。
【0126】
ステップＳ１４０７において、提供部３０６は、端末装置１１０ｂから受信した変更内容を判断部３０４に通知する。これに応じて、ステップＳ１４０８において、判断部３０４は、受信した編集内容に関連するデータをＤＢ３０７から取得する。例えば、判断部３０４は、編集された変換テキストと同じ要約ＩＤを有する変換テキスト、及び要約文を取得する。
【0127】
ステップＳ１４０８において、判断部３０４は、取得した要約文に対する手動変更の有無を確認する。取得した要約文に手動変更がない場合、要約システム１は、ステップＳ１５１０、Ｓ１４１１の処理を実行する。一方、取得した要約文に手動変更がある場合、ステップＳ１４１０、Ｓ１４１１の処理の実行を中止する。これにより、ユーザが既に修正した要約文を、要約システム１が上書きしてしまうことを防止することができる。
【0128】
ステップＳ１４１０において、ステップＳ１４０８で取得した変換テキスト群を、生成部３０５に通知する。これにより、ステップＳ１４１１において、要約システム１は、要約文の再生成、及び通知処理を実行する。例えば、要約システム１は、判断部３０４が生成部３０５に通知した変換テキスト群を用いて、図５のステップＳ５２２～Ｓ５２８と同様の要約処理、及び通知処理を再実行する。
【0129】
好ましくは、端末装置１１０ａ、１１０ｂは、ステップＳ１４１１の処理が行われている間、図１５（Ｂ）に示すように、要約文１５０２を再要約中であることを示す情報１５２３を、表示画面１５００に表示する。
【0130】
【0131】
（変形例）
図１４の例では、要約システム１は、要約文に手動変更がない場合、ステップＳ１４１０、Ｓ１４１１の処理を自動的に実行していた。別の一例として、要約システム１は、例えば、図１６（Ｂ）に示すように、要約文１５０２の再要約が可能であることを示す更新アイコン１６２１を表示し、更新アイコン１６２１が選択されたときに、ステップＳ１４１０、Ｓ１４１１の処理を実行してもよい。
図１４の例では、要約システム１は、要約文に手動変更がない場合、ステップＳ１４１０、Ｓ１４１１の処理を自動的に実行していた。別の一例として、要約システム１は、例えば、図１６（Ｂ）に示すように、要約文１５０２の再要約が可能であることを示す更新アイコン１６２１を表示し、更新アイコン１６２１が選択されたときに、ステップＳ１４１０、Ｓ１４１１の処理を実行してもよい。
【0132】
（再要約処理２）
図１７は、一実施形態に係る再要約処理の例を示すシーケンス図（２）である。この処理は、要約システム１が実行する再要約処理の別の一例を示している。なお、図１７のステップＳ１４００～Ｓ１４０８の処理は、図１４で説明したステップＳ１４００～Ｓ１４０８の処理と同様なので、ここでは説明を省略する。
図１７は、一実施形態に係る再要約処理の例を示すシーケンス図（２）である。この処理は、要約システム１が実行する再要約処理の別の一例を示している。なお、図１７のステップＳ１４００～Ｓ１４０８の処理は、図１４で説明したステップＳ１４００～Ｓ１４０８の処理と同様なので、ここでは説明を省略する。
【0133】
ステップＳ１７０１において、判断部３０４は、第１の時間を計測する要約タイマを開始する。
【0134】
ステップＳ１７０２において、同じ要約ＩＤに対応する変換テキストに対して、ステップＳ１４０１～Ｓ１４０８に示すような変換テキストの編集処理が行われても、判断部３０４は、再要約処理を開始しない。
【0135】
ステップＳ１７０３、Ｓ１７０４において、要約タイマが満了すると、判断部３０４は、ステップＳ１４０８以降で取得した変換テキスト群を、生成部３０５に通知する。これにより、ステップＳ１７０５において、要約システム１は、要約文の再生成、及び通知処理を実行する。例えば、要約システム１は、判断部３０４が生成部３０５に通知した変換テキスト群を用いて、図５のステップＳ５２２～Ｓ５２８と同様の要約処理、及び通知処理を再実行する。
【0136】
図１７の処理により、要約システム１は、要約文１５０２に対応する複数の変換テキスト１５０１ａ、１５０１ｂが最初に変更されてから、第１の時間を経過後に、要約文１５０２を更新する。これにより、例えば、ユーザが、変換テキスト１５０１ａ、１５０１ｂを修正中に、要約文１５０２が頻繁に再要約されてしまうことを抑制することができる。
【0137】
（再要約処理３）
図１８は、一実施形態に係る再要約処理の例を示すシーケンス図（３）である。この処理は、要約システム１が実行する再要約処理の別の一例を示している。なお、図１７のステップＳ１４００～Ｓ１４０８の処理は、図１４で説明したステップＳ１４００～Ｓ１４０８の処理と同様なので、ここでは説明を省略する。
図１８は、一実施形態に係る再要約処理の例を示すシーケンス図（３）である。この処理は、要約システム１が実行する再要約処理の別の一例を示している。なお、図１７のステップＳ１４００～Ｓ１４０８の処理は、図１４で説明したステップＳ１４００～Ｓ１４０８の処理と同様なので、ここでは説明を省略する。
【0138】
ステップＳ１８０１において、判断部３０４は、第２の時間を計測する要約タイマを開始する。
【0139】
ステップＳ１８０２において、同じ要約ＩＤに対応する変換テキストに対して、ステップＳ１４０１～Ｓ１４０８に示すような変換テキストの編集処理が行われると、判断部３０４は、ステップＳ１８０３、Ｓ１８０４の処理を実行する。
【0140】
ステップＳ１８０３において、判断部３０４は、要約タイマを停止し、ステップＳ１８０４において、第２の時間を計測する要約タイマを開始する。
【0141】
ステップＳ１８０５、Ｓ１８０６において、要約タイマが満了すると、判断部３０４は、ステップＳ１４０８以降で取得した変換テキスト群を、生成部３０５に通知する。これにより、ステップＳ１８０７において、要約システム１は、要約文の再生成、及び通知処理を実行する。例えば、要約システム１は、判断部３０４が生成部３０５に通知した変換テキスト群を用いて、図５のステップＳ５２２～Ｓ５２８と同様の要約処理、及び通知処理を再実行する。
【0142】
図１８の処理により、要約システム１は、要約文１５０２に対応する複数の変換テキスト１５０１ａ、１５０１ｂが最後に変更されてから、第２の時間を経過後に、要約文１５０２を更新する。これにより、例えば、ユーザによる、変換テキスト１５０１ａ、１５０１ｂを修正量が多い場合でも、修正中に要約文１５０２が再要約されてしまうことを抑制することができる。
【0143】
【0144】
以上、本発明の各実施形態によれば、直近の要約文を確認することを容易にする要約システムを提供することができる。
＜補足＞
上記で説明した各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（digital signal processor）、ＦＰＧＡ（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。
＜補足＞
上記で説明した各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（digital signal processor）、ＦＰＧＡ（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。
【0145】
また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものに過ぎない。ある実施形態では、要約サーバ１００は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。
【0146】
さらに、前述したように、要約サーバ１００の各要素は、１つのサーバ装置にまとめられていても良いし、複数の装置に分けられていてもよい。
【0147】
＜付記＞
本明細書には、下記の各項の要約システム、要約方法、及びプログラムが開示されている。
（第１項）
音声を取得する取得部と、
前記音声を複数のテキストに変換する変換部と、
前記複数のテキストが所定の要約実施条件を満たしたときに、前記複数のテキストを要約した要約文を生成する生成部と、
前記要約文をユーザに提供する提供部と、
を有する、要約システム。
（第２項）
前記要約実施条件は、前記変換部が変換した前記複数のテキストのサイズが第１の閾値に達したことを含む、第１項に記載の要約システム。
（第３項）
前記要約実施条件は、前記変換部が変換した前記複数のテキストから算出した類似度が第２の閾値を下回ることを含む、第１項に記載の要約システム。
（第４項）
前記要約文と、前記複数のテキストとを対応付けて管理するデータ管理部を有し、
前記複数のテキストが変更された場合、前記要約文を更新する、
第１項に記載の要約システム。
（第５項）
前記提供部は、前記要約文と、前記要約文の生成に用いた前記複数のテキストとを、前記ユーザが利用する端末装置に配信し、
前記端末装置は、少なくとも前記要約文を表示する表示画面を表示部に表示させる表示制御部を有する、
第１項～第４項のいずれかに記載の要約システム。
（第６項）
前記表示画面は、前記要約文と対応付けて、前記要約文の生成に用いた前記複数のテキストを編集可能に表示する、第５項に記載の要約システム。
（第７項）
前記表示画面は、
前記要約文の抽出、複製、又は編集が可能である、第５項に記載の要約システム。
（第８項）
前記音声は、複数の端末装置の間でコンテンツデータを送受信する会議の音声であり、
前記表示制御部は、前記会議の会議画面に重畳させて、前記表示画面を表示させる、第５項に記載の要約システム。
（第９項）
前記複数のテキストが最初に変更されてから第１の時間を経過後、又は前記複数のテキストが最後に変更されてから第２の時間を経過後に、前記要約文を更新する、第４項に記載の要約システム。
（第１０項）
前記要約文が手動で変更されている場合、前記要約文の更新を中止する、第４項に記載の要約システム。
（第１１項）
ユーザによる所定の操作を受け付けた後に、前記要約文を更新する、第４項に記載の要約システム。
（第１２項）
音声を取得する処理と、
前記音声を複数のテキストに変換する処理と、
前記複数のテキストが所定の要約実施条件を満たしたときに、前記複数のテキストを要約した要約文を生成する処理と、
前記要約文を前記ユーザに提供する処理と、
をコンピュータが実行する、要約方法。
（第１３項）
音声を取得する処理と、
前記音声を複数のテキストに変換する処理と、
前記複数のテキストが所定の要約実施条件を満たしたときに、前記複数のテキストを要約した要約文を生成する処理と、
前記要約文を前記ユーザに提供する処理と、
をコンピュータに実行させる、プログラム。
本明細書には、下記の各項の要約システム、要約方法、及びプログラムが開示されている。
（第１項）
音声を取得する取得部と、
前記音声を複数のテキストに変換する変換部と、
前記複数のテキストが所定の要約実施条件を満たしたときに、前記複数のテキストを要約した要約文を生成する生成部と、
前記要約文をユーザに提供する提供部と、
を有する、要約システム。
（第２項）
前記要約実施条件は、前記変換部が変換した前記複数のテキストのサイズが第１の閾値に達したことを含む、第１項に記載の要約システム。
（第３項）
前記要約実施条件は、前記変換部が変換した前記複数のテキストから算出した類似度が第２の閾値を下回ることを含む、第１項に記載の要約システム。
（第４項）
前記要約文と、前記複数のテキストとを対応付けて管理するデータ管理部を有し、
前記複数のテキストが変更された場合、前記要約文を更新する、
第１項に記載の要約システム。
（第５項）
前記提供部は、前記要約文と、前記要約文の生成に用いた前記複数のテキストとを、前記ユーザが利用する端末装置に配信し、
前記端末装置は、少なくとも前記要約文を表示する表示画面を表示部に表示させる表示制御部を有する、
第１項～第４項のいずれかに記載の要約システム。
（第６項）
前記表示画面は、前記要約文と対応付けて、前記要約文の生成に用いた前記複数のテキストを編集可能に表示する、第５項に記載の要約システム。
（第７項）
前記表示画面は、
前記要約文の抽出、複製、又は編集が可能である、第５項に記載の要約システム。
（第８項）
前記音声は、複数の端末装置の間でコンテンツデータを送受信する会議の音声であり、
前記表示制御部は、前記会議の会議画面に重畳させて、前記表示画面を表示させる、第５項に記載の要約システム。
（第９項）
前記複数のテキストが最初に変更されてから第１の時間を経過後、又は前記複数のテキストが最後に変更されてから第２の時間を経過後に、前記要約文を更新する、第４項に記載の要約システム。
（第１０項）
前記要約文が手動で変更されている場合、前記要約文の更新を中止する、第４項に記載の要約システム。
（第１１項）
ユーザによる所定の操作を受け付けた後に、前記要約文を更新する、第４項に記載の要約システム。
（第１２項）
音声を取得する処理と、
前記音声を複数のテキストに変換する処理と、
前記複数のテキストが所定の要約実施条件を満たしたときに、前記複数のテキストを要約した要約文を生成する処理と、
前記要約文を前記ユーザに提供する処理と、
をコンピュータが実行する、要約方法。
（第１３項）
音声を取得する処理と、
前記音声を複数のテキストに変換する処理と、
前記複数のテキストが所定の要約実施条件を満たしたときに、前記複数のテキストを要約した要約文を生成する処理と、
前記要約文を前記ユーザに提供する処理と、
をコンピュータに実行させる、プログラム。
【0148】
以上、本発明の実施形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、及び応用が可能である。
【符号の説明】
【0149】
１ 要約システム
１００ 要約サーバ
２００ コンピュータ
１１０、１１０ａ、１１０ｂ 端末装置
３０２ 取得部
３０５ 生成部
３０６ 提供部
３０７ ＤＢ（データベース）
３１４ 表示制御部
６００、７１０、８００、１５００ 表示画面
７００ 会議画面
１００ 要約サーバ
２００ コンピュータ
１１０、１１０ａ、１１０ｂ 端末装置
３０２ 取得部
３０５ 生成部
３０６ 提供部
３０７ ＤＢ（データベース）
３１４ 表示制御部
６００、７１０、８００、１５００ 表示画面
７００ 会議画面
【先行技術文献】
【特許文献】
【0150】
【特許文献1】特開２０２２－０２５６６５号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】