知財求人 - 知財ポータルサイト「IP Force」
特開2024-122293情報処理システム、情報処理装置、情報処理方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024122293
(43)【公開日】2024-09-09
(54)【発明の名称】情報処理システム、情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
H04N 7/15 20060101AFI20240902BHJP
【ＦＩ】
H04N7/15 120
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2023029754
(22)【出願日】2023-02-28
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100107515
【弁理士】
【氏名又は名称】廣田 浩一
(72)【発明者】
【氏名】鴻上 和彦
【テーマコード（参考）】
5C164
【Ｆターム（参考）】
5C164FA10
5C164UB81S
5C164VA06S
5C164VA07P
5C164VA10S
5C164VA51P
(57)【要約】
【課題】コミュニケーションに参加した参加者、又は管理者等が、コミュニケーションの内容を後から確認することを容易にする情報処理システムを提供する。
【解決手段】情報処理システムは、コミュニケーションに参加する参加者と他の参加者の発話音声を取得する取得部と、前記コミュニケーションにおいて、前記参加者による所定の操作を受け付ける受付部と、前記所定の操作を受け付けたときに、前記所定の操作を受け付けた時刻を示す時刻情報を記録する記録部と、前記発話音声に基づいて、前記参加者と前記他の参加者の発話状況を示す指標を表示させるとともに、前記時刻情報に基づいて、前記コミュニケーションにおいて、前記所定の操作を受け付けた箇所を把握可能に表示させる表示画面を提供する情報提供部と、を有する。
【選択図】図９
【解決手段】情報処理システムは、コミュニケーションに参加する参加者と他の参加者の発話音声を取得する取得部と、前記コミュニケーションにおいて、前記参加者による所定の操作を受け付ける受付部と、前記所定の操作を受け付けたときに、前記所定の操作を受け付けた時刻を示す時刻情報を記録する記録部と、前記発話音声に基づいて、前記参加者と前記他の参加者の発話状況を示す指標を表示させるとともに、前記時刻情報に基づいて、前記コミュニケーションにおいて、前記所定の操作を受け付けた箇所を把握可能に表示させる表示画面を提供する情報提供部と、を有する。
【選択図】図９
【特許請求の範囲】
【請求項1】
コミュニケーションに参加する参加者と他の参加者の発話音声を取得する取得部と、
前記コミュニケーションにおいて、前記参加者による所定の操作を受け付ける受付部と、
前記所定の操作を受け付けたときに、前記所定の操作を受け付けた時刻を示す時刻情報を記録する記録部と、
前記発話音声に基づいて、前記参加者と前記他の参加者の発話状況を示す指標を表示させるとともに、前記時刻情報に基づいて、前記コミュニケーションにおいて、前記所定の操作を受け付けた箇所を把握可能に表示させる表示画面を提供する情報提供部と、
を有する、情報処理システム。
前記コミュニケーションにおいて、前記参加者による所定の操作を受け付ける受付部と、
前記所定の操作を受け付けたときに、前記所定の操作を受け付けた時刻を示す時刻情報を記録する記録部と、
前記発話音声に基づいて、前記参加者と前記他の参加者の発話状況を示す指標を表示させるとともに、前記時刻情報に基づいて、前記コミュニケーションにおいて、前記所定の操作を受け付けた箇所を把握可能に表示させる表示画面を提供する情報提供部と、
を有する、情報処理システム。
【請求項2】
前記情報提供部は、
前記発話音声に基づいて、前記指標を前記表示画面に図示し、
前記時刻情報に基づいて、前記所定の操作を受け付けた時刻に対応するマーカを前記表示画面に表示する、
請求項１に記載の情報処理システム。
前記発話音声に基づいて、前記指標を前記表示画面に図示し、
前記時刻情報に基づいて、前記所定の操作を受け付けた時刻に対応するマーカを前記表示画面に表示する、
請求項１に記載の情報処理システム。
【請求項3】
前記情報提供部は、前記表示画面において前記マーカが選択された場合、前記マーカに対応するコメントの入力を受け付けるコメント欄を前記表示画面に表示する、請求項２に記載の情報処理システム。
【請求項4】
前記コメント欄は、前記コメント欄に入力された１つ以上のコメントを表示する、請求項３に記載の情報処理システム。
【請求項5】
前記コメント欄は、前記コメントを入力したユーザの情報をさらに表示する、請求項４に記載の情報処理システム。
【請求項6】
前記情報処理システムは、前記参加者、又は管理者が利用する端末装置に、前記表示画面を提供し、
前記コメント欄は、前記参加者、又は前記管理者がコメントを入力可能である、
請求項３乃至５のいずれか一項に記載の情報処理システム。
前記コメント欄は、前記参加者、又は前記管理者がコメントを入力可能である、
請求項３乃至５のいずれか一項に記載の情報処理システム。
【請求項7】
前記参加者は、端末装置を用いて前記コミュニケーションに参加し、
前記端末装置は、
前記参加者と前記他の参加者の発話音声を前記取得部に送信する音声送信部と、
前記参加者による前記所定の操作を受け付ける操作画面を表示部に表示する表示制御部と、
前記操作画面が前記所定の操作を受け付けたことを前記受付部に通知する通知部と、
を有する、請求項１に記載の情報処理システム。
前記端末装置は、
前記参加者と前記他の参加者の発話音声を前記取得部に送信する音声送信部と、
前記参加者による前記所定の操作を受け付ける操作画面を表示部に表示する表示制御部と、
前記操作画面が前記所定の操作を受け付けたことを前記受付部に通知する通知部と、
を有する、請求項１に記載の情報処理システム。
【請求項8】
前記操作画面は、互いに異なるマーキング操作を受け付ける複数の表示要素を含み、
前記情報提供部は、前記参加者が選択した前記表示要素によって異なるマーカを前記表示画面に表示する、請求項７に記載の情報処理システム。
前記情報提供部は、前記参加者が選択した前記表示要素によって異なるマーカを前記表示画面に表示する、請求項７に記載の情報処理システム。
【請求項9】
前記情報提供部は、
前記参加者の発話音量と前記他の参加者の発話音量とを前記表示画面に時系列に図示し、
発話音量が第１の閾値を超えた箇所に、前記マーカとは別のマーカを表示する、
請求項２に記載の情報処理システム。
前記参加者の発話音量と前記他の参加者の発話音量とを前記表示画面に時系列に図示し、
発話音量が第１の閾値を超えた箇所に、前記マーカとは別のマーカを表示する、
請求項２に記載の情報処理システム。
【請求項10】
前記情報提供部は、
前記参加者の会話密度と前記他の参加者の会話密度とを前記表示画面に時系列に図示し、
会話密度が第２の閾値を超えた箇所に、前記マーカとは別のマーカを表示する、
請求項２に記載の情報処理システム。
前記参加者の会話密度と前記他の参加者の会話密度とを前記表示画面に時系列に図示し、
会話密度が第２の閾値を超えた箇所に、前記マーカとは別のマーカを表示する、
請求項２に記載の情報処理システム。
【請求項11】
前記情報提供部は、前記表示画面において前記別のマーカが選択された場合、前記別のマーカに対応するコメント欄を前記表示画面に表示する、請求項９又は１０に記載の情報処理システム。
【請求項12】
前記表示画面に示した前記発話状況を示す指標から、選択された箇所の発話音声を再生する音声再生部を有する、請求項１に記載の情報処理システム。
【請求項13】
前記情報提供部は、前記表示画面に示した前記発話状況を示す指標から、選択された箇所の発話音声をテキスト化した文字列を、前記表示画面に表示する、請求項１に記載の情報処理システム。
【請求項14】
コミュニケーションに参加する参加者と他の参加者の発話音声を取得する取得部と、
前記コミュニケーションにおいて、前記参加者による所定の操作を受け付ける受付部と、
前記所定の操作を受け付けたときに、前記所定の操作を受け付けた時刻を示す時刻情報を記録する記録部と、
前記発話音声に基づいて、前記参加者と前記他の参加者の発話状況を示す指標を表示させるとともに、前記時刻情報に基づいて、前記コミュニケーションにおいて、前記所定の操作を受け付けた箇所を把握可能に表示させる表示画面を提供する情報提供部と、
を有する、情報処理装置。
前記コミュニケーションにおいて、前記参加者による所定の操作を受け付ける受付部と、
前記所定の操作を受け付けたときに、前記所定の操作を受け付けた時刻を示す時刻情報を記録する記録部と、
前記発話音声に基づいて、前記参加者と前記他の参加者の発話状況を示す指標を表示させるとともに、前記時刻情報に基づいて、前記コミュニケーションにおいて、前記所定の操作を受け付けた箇所を把握可能に表示させる表示画面を提供する情報提供部と、
を有する、情報処理装置。
【請求項15】
コミュニケーションに参加する参加者と他の参加者の発話音声を取得する取得処理と、
前記コミュニケーションにおいて、前記参加者による所定の操作を受け付ける受付処理と、
前記所定の操作を受け付けたときに、前記所定の操作を受け付けた時刻を示す時刻情報を記録する記録処理と、
前記発話音声に基づいて、前記参加者と前記他の参加者の発話状況を示す指標を表示させるとともに、前記時刻情報に基づいて、前記コミュニケーションにおいて、前記所定の操作を受け付けた箇所を把握可能に表示させる表示画面を提供する情報提供処理と、
をコンピュータが実行する、情報処理方法。
前記コミュニケーションにおいて、前記参加者による所定の操作を受け付ける受付処理と、
前記所定の操作を受け付けたときに、前記所定の操作を受け付けた時刻を示す時刻情報を記録する記録処理と、
前記発話音声に基づいて、前記参加者と前記他の参加者の発話状況を示す指標を表示させるとともに、前記時刻情報に基づいて、前記コミュニケーションにおいて、前記所定の操作を受け付けた箇所を把握可能に表示させる表示画面を提供する情報提供処理と、
をコンピュータが実行する、情報処理方法。
【請求項16】
コミュニケーションに参加する参加者と他の参加者の発話音声を取得する取得処理と、
前記コミュニケーションにおいて、前記参加者による所定の操作を受け付ける受付処理と、
前記所定の操作を受け付けたときに、前記所定の操作を受け付けた時刻を示す時刻情報を記録する記録処理と、
前記発話音声に基づいて、前記参加者と前記他の参加者の発話状況を示す指標を表示させるとともに、前記時刻情報に基づいて、前記コミュニケーションにおいて、前記所定の操作を受け付けた箇所を把握可能に表示させる表示画面を提供する情報提供処理と、
をコンピュータに実行させる、プログラム。
前記コミュニケーションにおいて、前記参加者による所定の操作を受け付ける受付処理と、
前記所定の操作を受け付けたときに、前記所定の操作を受け付けた時刻を示す時刻情報を記録する記録処理と、
前記発話音声に基づいて、前記参加者と前記他の参加者の発話状況を示す指標を表示させるとともに、前記時刻情報に基づいて、前記コミュニケーションにおいて、前記所定の操作を受け付けた箇所を把握可能に表示させる表示画面を提供する情報提供処理と、
をコンピュータに実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
複数の端末装置の間で、映像、又は音声等のコンテンツデータを送受信する会議システムが普及している。
【0003】
また、録画再生装置において、一方の視聴者が作成したブックマークを他方の視聴者に伝えることにより、一方の視聴者が見たい場面を、他方の視聴者と共有する技術が知られている（例えば、特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、オンラインで商談を行う会議システムにおいて、商談を行った担当者、又は担当者を管理する管理者等が、商談内容を後から確認したいという要求がある。しかし、従来の技術では、商談を行った担当者、又は担当者を管理する管理者等が、商談内容を後から確認することには困難を伴っていた。
【0005】
なお、このような問題は、商談を行う会議システムに限られず、例えば、遠隔医療、カウンセリング、遠隔授業、又は就学相談等のコミュニケーションを行う様々なコミュニケーションシステムに共通に存在する。
【0006】
このように、従来のコミュニケーションシステムでは、コミュニケーションに参加した参加者、又は管理者等が、コミュニケーションの内容を後から確認することには困難を伴っていた。
【0007】
本発明の一実施形態は、上記の問題点に鑑みてなされたものであって、コミュニケーションに参加した参加者、又は管理者等が、コミュニケーションの内容を後から確認することを容易にする情報処理システムを提供する。
【課題を解決するための手段】
【0008】
上記の課題を解決するため、本発明の一実施形態に係る情報処理システムは、コミュニケーションに参加する参加者と他の参加者の発話音声を取得する取得部と、前記コミュニケーションにおいて、前記参加者による所定の操作を受け付ける受付部と、前記所定の操作を受け付けたときに、前記所定の操作を受け付けた時刻を示す時刻情報を記録する記録部と、前記発話音声に基づいて、前記参加者と前記他の参加者の発話状況を示す指標を表示させるとともに、前記時刻情報に基づいて、前記コミュニケーションにおいて、前記所定の操作を受け付けた箇所を把握可能に表示させる表示画面を提供する情報提供部と、を有する。
【発明の効果】
【0009】
本発明の一実施形態によれば、コミュニケーションに参加した参加者、又は管理者等が、コミュニケーションの内容を後から確認することを容易にする情報処理システムを提供することができる。
【図面の簡単な説明】
【0010】
【図1】一実施形態に係る情報処理システムのシステム構成の一例を示す図である。
【図2】一実施形態に係る情報処理システムのシステム構成の別の一例を示す図である。
【図3】一実施形態に係る端末装置の操作画面の例を示す図である。
【図4】一実施形態に係る表示画面の一例を示す図（１）である。
【図5】一実施形態に係る表示画面の一例を示す図（２）である。
【図6】一実施形態に係る表示画面の別の一例を示す図である。
【図7】一実施形態に係るコンピュータのハードウェア構成の例を示す図である。
【図8】一実施形態に係る端末装置のハードウェア構成の一例を示す図である。
【図9】一実施形態に係る情報処理システムの機能構成の例を示す図である。
【図10】一実施形態に係るデータ処理部の機能構成の例を示す図である。
【図11】第１の実施形態に係る端末装置の処理の例を示すフローチャートである。
【図12】第１の実施形態に係るデータ処理の例を示すフローチャートである。
【図13】第１の実施形態に係る表示画面の提供処理の例を示すフローチャートである。
【図14】第１の実施形態に係るコメント欄の表示処理の例を示すフローチャートである。
【図15】第１の実施形態に係る会議音声の再生処理の例を示す図である。
【図16】第２の実施形態に係るデータ処理の例を示すフローチャートである。
【図17】第２の実施形態に係る表示画面の提供処理の例を示すフローチャートである。
【図18】第３の実施形態に係る端末装置の処理の例を示すフローチャートである。
【図19】第３の実施形態に係るデータ処理の例を示すフローチャートである。
【図20】第３の実施形態に係る表示画面の提供処理の例を示すフローチャートである。
【図21】一実施形態に係るマーカの追加処理の例を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【0012】
＜システム構成＞
図１、２は、一実施形態に係る情報処理システムのシステム構成の例を示す図である。情報処理システム１は、例えば、図１に示すように、インターネット、又はＬＡＮ（Local Area network）等の通信ネットワーク２に接続する会議サーバ１０、情報処理装置２０、複数の端末装置１００ａ、１００ｂ、１００ｃ、１００ｄ、・・・、及び管理者端末１０１等を含む。なお、以下の説明において、複数の端末装置１００ａ、１００ｂ、１００ｃ、１００ｄ、・・・のうち、任意の端末装置を示す場合、「端末装置１００」を用いる。また、図１に示した複数の端末装置１００の数は一例である。
図１、２は、一実施形態に係る情報処理システムのシステム構成の例を示す図である。情報処理システム１は、例えば、図１に示すように、インターネット、又はＬＡＮ（Local Area network）等の通信ネットワーク２に接続する会議サーバ１０、情報処理装置２０、複数の端末装置１００ａ、１００ｂ、１００ｃ、１００ｄ、・・・、及び管理者端末１０１等を含む。なお、以下の説明において、複数の端末装置１００ａ、１００ｂ、１００ｃ、１００ｄ、・・・のうち、任意の端末装置を示す場合、「端末装置１００」を用いる。また、図１に示した複数の端末装置１００の数は一例である。
【0013】
情報処理システム１は、端末装置１００と、１つ以上の他の端末装置１００との間で、少なくとも音声を送受信する、例えば、商談、会議、診療、授業、又はカウンセリング等の様々なコミュニケーションを支援するシステムである。ここで、情報処理システム１が支援するコミュニケーションの「支援」とは、コミュニケーションの内容を後から確認することの支援を含む。ここでは、一例として、情報処理システム１が、端末装置１００のユーザと、他の端末装置１００のユーザとの間で、音声を含む映像を送受信し、商談を行うウェブ会議の内容を後から確認することを支援するものとして、以下の説明を行う。
【0014】
端末装置１００は、ウェブ会議に参加するユーザが利用する、例えば、ＰＣ（Personal Computer）、タブレット端末、又はスマートフォン等の汎用の情報端末である。或いは、端末装置１００は、ビデオ会議装置、又はＩＷＢ（Interactive White Board）等のウェブ会議の機能を有する電子機器であってもよい。なお、ＩＷＢは、相互通信が可能な電子式の黒板機能を有する白板であり、電子黒板とも呼ばれる。ここでは、一例として、端末装置１００が、汎用の情報端末であるものとして、以下の説明を行う。
【0015】
ウェブ会議に参加する参加者は、例えば、端末装置１００にインストールされたウェブ会議用のアプリケーション、又はウェブブラウザ等を利用して、会議サーバ１０が提供する会議用のアドレスにアクセスすることにより、ウェブ会議に参加する。
【0016】
会議サーバ１０は、コンピュータの構成を有する情報処理装置、又は複数のコンピュータを含むシステムである。会議サーバ１０は、複数の端末装置１００の間で、音声、又は音声を含む映像を送受信するウェブ会議サービスを提供する。なお、本実施形態では、会議サーバ１０が提供するウェブ会議サービスは、任意のウェブ会議サービスであってよい。
【0017】
情報処理装置２０は、例えば、コンピュータの構成を有する情報処理装置、又は複数のコンピュータを含むシステムである。情報処理装置２０は、本実施形態に係るコミュニケーション支援サービスを提供する。
【0018】
管理者端末１０１は、本実施形態に係るコミュニケーション支援サービスを利用する管理者等が利用する、例えば、ＰＣ、タブレット端末、又はスマートフォン等の情報端末である。管理者等は、例えば、管理者端末１０１が備えるウェブブラウザ、又は管理者端末１０１が実行する情報処理システム１用のアプリケーションプログラム（以下、アプリと呼ぶ）等を利用して、コミュニケーション支援サービスを利用する。
【0019】
また、ウェブ会議に参加した参加者は、例えば、参加者が利用する端末装置１００、又は管理者端末１０１等を用いて、管理者と同様に、コミュニケーション支援サービスを利用することができる。
【0020】
なお、図１に示した情報処理システム１のシステム構成は一例である。例えば、情報処理システム１は、図２に示すように、会議サーバ１０を有していなくてもよい。この場合、端末装置１００は、情報処理システム１の外部のウェブ会議サービスを利用して、ウェブ会議を行うものであってよい。或いは、情報処理装置２０が会議サーバ１０の機能を有しており、端末装置１００は、情報処理装置２０が提供するウェブ会議サービスを利用して、ウェブ会議を行うものであってもよい。
【0021】
（処理の概要）
例えば、会議サーバ１０が提供するウェブ会議を利用して商談を行う場合、商談を行った担当者、又は担当者を管理する管理者等が、後から商談内容を確認したいという要求がある。しかし、商談を行った担当者、又は担当者を管理する管理者等が、情報処理システム１等に記録した商談内容を後から確認することには困難を伴っていた。
例えば、会議サーバ１０が提供するウェブ会議を利用して商談を行う場合、商談を行った担当者、又は担当者を管理する管理者等が、後から商談内容を確認したいという要求がある。しかし、商談を行った担当者、又は担当者を管理する管理者等が、情報処理システム１等に記録した商談内容を後から確認することには困難を伴っていた。
【0022】
例えば、商談に要した時間が１時間である場合、仮に音声を２倍速で早送り再生できたとしても、全ての音声を再生すると３０分を要する。従って、例えば、複数の担当者を管理する管理者等が、複数の担当者が行った商談の音声を再生して、全ての商談内容を把握することは困難である。なお、商談に参加した担当者が、面談の音声を再生して、商談内容を確認する場合にも、同様の問題がある。
【0023】
そこで、本実施形態に係る情報処理システム１は、商談を行ったウェブ会議の内容を後から確認することを容易にするコミュニケーション支援サービスを提供する。例えば、端末装置１００は、情報処理システム１に対応するアプリを実行することにより、端末装置１００の表示部に、図３（Ａ）に示すような操作画面３１０を表示する。
【0024】
図３（Ａ）に示した操作画面３１０において、ウェブ会議に参加する参加者が、「記録する」ボタン３１１を選択すると、情報処理システム１は、ウェブ会議に参加する参加者、及び他の参加者の発話音声の記録を開始する。
【0025】
例えば、端末装置１００が実行するアプリは、端末装置１００が備える音声回路等を用いて、ウェブ会議に参加する参加者、及び他の参加者の発話音声を取得し、取得した発話音声を情報処理装置２０へ送信する。情報処理装置２０は、端末装置１００から受信したウェブ会議に参加する参加者、及び他の参加者の発話音声等を記憶する。
【0026】
また、端末装置１００が実行するアプリは、発話音声を記録中に、端末装置１００の表示部に、例えば、図３（Ｂ）に示すような操作画面３２０を表示する。図３（Ｂ）に示した操作画面３２０において、ウェブ会議に参加する参加者が、「停止する」ボタン３２１を選択すると、情報処理システム１は、ウェブ会議に参加する参加者、及び他の参加者の発話音声の記録を停止する。また、参加者は、「マーキングする」ボタン３２２を選択すると、記録中の発話音声にマーカを付加するマーキングを行うことができる。
【0027】
例えば、端末装置１００が実行するアプリは、「マーキングする」ボタン３２２が選択されると、マーキング操作を受け付けたことを情報処理装置２０に通知する。これに応じて、情報処理装置２０は、参加者によるマーキング操作を受付し、マーキング操作を受け付けた時刻を示す時刻情報と、会議を識別する会議ＩＤとを、所定のＤＢ（Database）等に記憶する。
【0028】
別の一例として、端末装置１００が実行するアプリは、発話音声を記録中に、端末装置１００の表示部に、例えば、図３（Ｃ）に示すような操作画面３３０を表示してもよい。図３（Ｃ）の例では、操作画面３３０には、記録中の発話音声に、互いに異なるマーカを付加する、「マーキングＡ」ボタン３３１ａ、「マーキングＢ」ボタン３３１ｂ、・・・が表示されている。これにより、参加者は、記録中の発話音声に、異なるマーカを付加することができる。
【0029】
例えば、端末装置１００が実行するアプリは、「マーキングＡ」ボタン３３１ａが選択されると、選択されたマーキングの情報（例えば、マーキングＡ）を、情報処理装置２０に通知する。これに応じて、情報処理装置は、参加者によるマーキング操作を受付し、選択されたマーキングの情報、マーキング操作を受け付けた時刻を示す時刻情報、及び会議ＩＤ等を、ＤＢ等に記憶する。なお、「マーキングＡ」ボタン３３１ａ、「マーキングＢ」ボタン３３１ｂ、・・・は、互いに異なるマーキング操作を受け付ける複数の表示要素の一例である。
【0030】
図４は、一実施形態に係る表示画面の一例を示す図（１）である。この図は、情報処理システム１が、管理者端末１０１、又は端末装置１００等に提供する表示画面４００の一例を示している。図４の例では、情報処理システム１が提供する表示画面４００には、会議の概要４１０、及び音量タイムライン４２０が表示されている。
【0031】
会議の概要４１０には、一例として、ウェブ会議（以下、会議と呼ぶ）に参加した参加者（担当者）の名前、会議に参加した他の参加者（顧客）の名前、会議を開始した日時、及び評価等の情報が表示されている。ここで、評価は、例えば、会議に参加した担当者が、商談内容を、星の数等で自己評価した結果等である。
【0032】
音量タイムライン４２０は、横軸を時間として、会議に参加した参加者の発話音量４２１ａと、会議に参加した他の参加者の発話音量４２１ｂとを時系列に表示している。なお、参加者の発話音量４２１ａ、及び他の参加者の発話音量４２１ｂは、会議に参加した参加者と他の参加者の発話状況を示す指標の一例である。
【0033】
好ましくは、情報処理システム１は、発話音量のデータから、所定の期間（例えば、数秒～十数分程度）の移動平均を算出して、参加者の発話音量４２１ａ、及び他の参加者の発話音量４２１ｂとする。
【0034】
また、情報処理システム１は、ＤＢ等に記憶した時刻情報に基づいて、マーキング操作を受け付けた時刻に対応するマーカ４２２ａ、４２２ｂ、４２２ｃ、・・を、音量タイムライン４２０に表示する。これにより、管理者、又は参加者等は、音量タイムライン４２０から、マーキングされた箇所を容易に特定することができる。これにより、コミュニケーションに参加した参加者、又は管理者等は、コミュニケーションの内容を後から確認することが容易になる。
【0035】
好ましくは、情報処理システム１は、表示画面４００において、マーカ４２２ａが選択された場合、例えば、図５に示すようなコメント欄５０１を、表示画面４００に表示する。図５の例では、情報処理システム１は、ポップアップウィンドウ５００を使って、コメント欄５０１を表示している。ただし、コメント欄５０１を表示する方法は、これに限られない。
【0036】
参加者、及び管理者は、コメント欄５０１にコメントを入力し、「追加する」ボタン５０２を選択することにより、マーカ４２２ａに、コメントを追加することができる。例えば、管理者は、管理者端末１０１を用いて、図５に示すような表示画面４００を表示し、図５に示すようなコメント５０３を追加することができる。同様に、参加者（担当者）は、端末装置１００、又は管理者端末１０１を用いて、図５に示すような表示画面４００を表示し、例えば、図５に示すようなコメント５０３を追加することができる。
【0037】
なお、図５に示したコメント５０３は、管理者、又は参加者等が自分で入力してもよいし、情報処理システム１が、ログインしたユーザのユーザ名等を自動的に表示してもよい。このコメント欄５０１にコメントを残すことにより、コミュニケーションに参加した参加者、又は管理者等は、コミュニケーションの内容を後から確認することが、さらに容易になる。
【0038】
また、情報処理システム１は、時系列に表示した参加者の発話音量４２１ａ、及び他の参加者の発話音量４２１ｂから、問題がありそうな箇所にマーカ４２３ａ、４２３ｂを表示してもよい（表示しなくてもよい）。ここで、問題がありそうな箇所には、例えば、発話音量が、所定の閾値を超えた箇所（発話音量が大きい、又は小さい）等が含まれる。
【0039】
さらに、情報処理システム１は、例えば、図４に示すような表示画面４００において、時系列に表示した参加者の発話音量４２１ａ、又は他の参加者の発話音量４２１ｂから、選択された箇所の発話音声を再生する機能を有している。例えば、管理者等が、発話音声の再生位置を示すバー４２４を、マーカ４２２ａ付近に移動させ、「再生」ボタン４２５を選択したものとする。この場合、情報処理システム１は、バー４２４が示す再生位置から、発話音声（参加者の発話音声、又は他の参加者の発話音声）の再生を開始する。この発話音声の再生機能により、コミュニケーションに参加した参加者、又は管理者等は、参加者によってマーキングされた箇所の発話音声を、後から容易に確認することができる。
【0040】
図６は、一実施形態に係る表示画面の別の一例を示している。図６の例では、情報処理システム１が提供する表示画面６００には、図４で説明した音量タイムライン４２０に代えて、会話密度６１０が表示されている。会話密度６１０は、横軸を時間として、参加者（担当者）の会話密度６１１ａと、他の参加者（顧客）の会話密度６１１ｂとを、時系列に図示している。ここで、会話密度は、例えば、所定の時間内における発話文字数（又は発話語数）等で表される。なお、会話密度６１０は、参加者と他の参加者の発話状況を示す指標の別の一例である。
【0041】
好ましくは、情報処理システム１は、算出した会話密度のデータから、所定の期間（例えば、数秒～十数分程度）の移動平均を算出して、参加者の会話密度６１１ａ、及び他の参加者の会話密度６１１ｂとする。
【0042】
図６の例では、情報処理システム１は、参加者の会話密度６１１ａと、他の参加者の会話密度６１１ｂのうち、管理者等によって選択された他の参加者の会話密度６１１ｂの表示をアクティブとし、参加者の会話密度４１１を非アクティブとしている。
【0043】
また、情報処理システム１は、ＤＢに記憶した時刻情報、及び選択されたマーキングの情報等に基づいて、マーキング操作を受け付けた時刻に対応するマーカを、会話密度６１０に表示する。このとき、情報処理システム１は、例えば、図３（Ｃ）に示すような操作画面３３０で選択されたマーキングの情報に応じて、異なるマーカを表示する。
【0044】
例えば、情報処理装置２０は、操作画面３３０で「マーキングＡ」ボタン３３１ａが選択された箇所に、マーカＡ６１２ａ、６１２ｂを表示し、「マーキングＢ」ボタン３３１ｂが選択された箇所に、マーカＢ６１３を表示する。
【0045】
これにより、参加者は、用途に応じて異なるマーカを、会話密度６１０に表示することができる。なお、参加者は、同様にして、用途に応じて異なるマーカを、図４に示すような表示画面４００の音量タイムライン４２０に表示するものであってもよい。
【0046】
なお、図４、５に示した表示画面４００、及び図６に示した表示画面６００は、情報処理システム１が提供する表示画面の一例である。例えば、情報処理システム１は、音量タイムライン４２０と、会話密度６１０とを同時に表示する表示画面を提供してもよい。
【0047】
このように、本実施形態によれば、コミュニケーションに参加した参加者、又は管理者等が、コミュニケーションの内容を後から確認することを容易にする情報処理システム１を提供することができる。
【0048】
＜ハードウェア構成＞
（コンピュータのハードウェア構成）
会議サーバ１０、情報処理装置２０、及び管理者端末１０１は、例えば、図７に示すようなコンピュータ７００のハードウェア構成を備えている。なお、会議サーバ１０、及び情報処理装置２０は、複数のコンピュータ７００によって実現されるものであってもよい。また、端末装置１００は、一例として、図７に示すようなコンピュータ７００のハードウェア構成を有していてもよい。
（コンピュータのハードウェア構成）
会議サーバ１０、情報処理装置２０、及び管理者端末１０１は、例えば、図７に示すようなコンピュータ７００のハードウェア構成を備えている。なお、会議サーバ１０、及び情報処理装置２０は、複数のコンピュータ７００によって実現されるものであってもよい。また、端末装置１００は、一例として、図７に示すようなコンピュータ７００のハードウェア構成を有していてもよい。
【0049】
図７は、一実施形態に係るコンピュータのハードウェア構成の例を示す図である。コンピュータ７００は、例えば、図７に示されるように、ＣＰＵ（Central Processing Unit）７０１、ＲＯＭ（Read Only Memory）７０２、ＲＡＭ（Random Access Memory）７０３、ＨＤ（Hard Disk）７０４、ＨＤＤ（Hard Disk Drive）コントローラ７０５、ディスプレイ７０６、外部機器接続Ｉ／Ｆ（Interface）７０７、ネットワークＩ／Ｆ７０８、キーボード７０９、ポインティングデバイス７１０、ＤＶＤ－ＲＷ（Digital Versatile Disk Rewritable)ドライブ７１２、メディアＩ／Ｆ７１４、及びバスライン７１５等を備えている。
【0050】
また、コンピュータ７００が端末装置１００である場合、コンピュータ７００は、例えば、マイク７２１、スピーカ７２２、音入出力Ｉ／Ｆ７２３、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ７２４、及び撮像素子Ｉ／Ｆ７２５等を、さらに備える。
【0051】
これらのうち、ＣＰＵ７０１は、コンピュータ７００全体の動作を制御する。ＲＯＭ７０２は、例えば、ＩＰＬ（Initial Program Loader）等のコンピュータ７００の起動に用いられるプログラムを記憶する。ＲＡＭ７０３は、例えば、ＣＰＵ７０１のワークエリア等として使用される。ＨＤ７０４は、例えば、ＯＳ（Operating System）、アプリケーション、デバイスドライバ等のプログラムや、各種データを記憶する。ＨＤＤコントローラ７０５は、例えば、ＣＰＵ７０１の制御に従ってＨＤ７０４に対する各種データの読み出し又は書き込みを制御する。なお、ＨＤ７０４、及びＨＤＤコントローラ７０５は、コンピュータ７００が備えるストレージデバイスの一例である。
【0052】
ディスプレイ７０６は、例えば、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。なお、ディスプレイ７０６は、コンピュータ７００の外部に設けられていてもよい。外部機器接続Ｉ／Ｆ７０７は、コンピュータ７００に、様々な外部装置を接続するためのインタフェースである。ネットワークＩ／Ｆ７０８は、コンピュータ７００を通信ネットワーク２に接続して、他の装置と通信するためのインタフェースである。
【0053】
キーボード７０９は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス７１０は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行なう入力手段の一種である。なお、キーボード７０９、及びポインティングデバイス７１０は、コンピュータ７００の外部に設けられていてもよい。
【0054】
ＤＶＤ－ＲＷドライブ７１２は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ７１１に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷ７１１は、ＤＶＤ－ＲＷに限らず、他の記録媒体であってもよい。メディアＩ／Ｆ７１４は、フラッシュメモリ等のメディア７１３に対するデータの読み出し又は書き込み（記憶）を制御する。バスライン７１５は、上記の各構成要素を電気的に接続するためのアドレスバス、データバス及び各種の制御信号等を含む。
【0055】
マイク７２１は、音を電気信号に変える内蔵型の回路である。スピーカ７２２は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力Ｉ／Ｆ７２３は、ＣＰＵ７０１の制御に従ってマイク７２１及びスピーカ７２２との間で音信号の入出力を処理する回路である。
【0056】
ＣＭＯＳセンサ７２４は、ＣＰＵ７０１の制御に従って被写体（例えば自画像）を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、コンピュータ７００は、ＣＭＯＳセンサ７２４に代えて、ＣＣＤ(Charge Coupled Device)センサ等の撮像手段を有していてもよい。撮像素子Ｉ／Ｆ７２５は、ＣＭＯＳセンサ７２４の駆動を制御する回路である。
【0057】
（端末装置のハードウェア構成の一例）
図８は、一実施形態に係る端末装置のハードウェア構成の一例を示す図である。ここでは、端末装置１００が、例えば、スマートフォン、又はタブレット端末等の情報端末である場合における端末装置１００のハードウェア構成の例について説明する。なお、端末装置１００は、例えば、ビデオ会議装置、又はＩＷＢ等のコンピュータの構成と、ウェブ会議の機能を備えた電子機器であってもよい。また、管理者端末１０１は、図８に示すような端末装置１００のハードウェア構成を有していてもよい。
図８は、一実施形態に係る端末装置のハードウェア構成の一例を示す図である。ここでは、端末装置１００が、例えば、スマートフォン、又はタブレット端末等の情報端末である場合における端末装置１００のハードウェア構成の例について説明する。なお、端末装置１００は、例えば、ビデオ会議装置、又はＩＷＢ等のコンピュータの構成と、ウェブ会議の機能を備えた電子機器であってもよい。また、管理者端末１０１は、図８に示すような端末装置１００のハードウェア構成を有していてもよい。
【0058】
図８の例では、端末装置１００は、ＣＰＵ８０１、ＲＯＭ８０２、ＲＡＭ８０３、ストレージデバイス８０４、ＣＭＯＳセンサ８０５、撮像素子Ｉ／Ｆ８０６、加速度・方位センサ８０７、メディアＩ／Ｆ８０９、ＧＰＳ（Global Positioning System）受信部８１０等を備えている。
【0059】
これらのうち、ＣＰＵ８０１は、所定のプログラムを実行することにより端末装置１００全体の動作を制御する。ＲＯＭ８０２は、例えば、ＩＰＬ等のＣＰＵ８０１の起動に用いられるプログラムを記憶する。ＲＡＭ８０３は、ＣＰＵ８０１のワークエリアとして使用される。ストレージデバイス８０４は、ＯＳ、アプリ等のプログラム、及び各種のデータ等を記憶する大容量の記憶装置であり、例えば、ＳＳＤ（Solid State Drive）、又はフラッシュＲＯＭ等によって実現される。
【0060】
ＣＭＯＳセンサ８０５は、ＣＰＵ８０１の制御に従って被写体（主に自画像）を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、端末装置１００は、ＣＭＯＳセンサ８０５に代えて、ＣＣＤセンサ等の撮像手段を有していてもよい。撮像素子Ｉ／Ｆ８０６は、ＣＭＯＳセンサ８０５の駆動を制御する回路である。加速度・方位センサ８０７は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ８０９は、フラッシュメモリ等のメディア（記憶メディア）８０８に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部８１０は、ＧＰＳ衛星からＧＰＳ信号（測位信号）を受信する。
【0061】
また、端末装置１００は、遠距離通信回路８１１、遠距離通信回路８１１のアンテナ８１１ａ、ＣＭＯＳセンサ８１２、撮像素子Ｉ／Ｆ８１３、マイク８１４、スピーカ８１５、音入出力Ｉ／Ｆ８１６、ディスプレイ８１７、外部機器接続Ｉ／Ｆ８１８、近距離通信回路８１９、近距離通信回路８１９のアンテナ８１９ａ、及びタッチパネル８２０を備えている。
【0062】
これらのうち、遠距離通信回路８１１は、例えば、通信ネットワーク２を介して、他の装置と通信する回路である。ＣＭＯＳセンサ８１２は、ＣＰＵ８０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ８１３は、ＣＭＯＳセンサ８１２の駆動を制御する回路である。マイク８１４は、音を電気信号に変える内蔵型の回路である。スピーカ８１５は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力Ｉ／Ｆ８１６は、ＣＰＵ８０１の制御に従ってマイク８１４及びスピーカ８１５との間で音信号の入出力を処理する回路である。
【0063】
ディスプレイ８１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬ(Electro Luminescence)等の表示手段の一種である。外部機器接続Ｉ／Ｆ８１８は、各種の外部機器を接続するためのインタフェースである。近距離通信回路８１９は、近距離無線通信を行う回路を含む。タッチパネル８２０は、利用者がディスプレイ８１７を押下することで、端末装置１００を操作する入力手段の一種である。
【0064】
また、端末装置１００は、バスライン８２１を備えている。バスライン８２１は、図８に示されているＣＰＵ８０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等を含む。
【0065】
なお、図８に示した端末装置１００のハードウェア構成は一例である。端末装置１００は、コンピュータの構成、通信回路、ディスプレイ、マイク、及びスピーカ等を有していれば、他の様々なハードウェア構成であってもよい。
【0066】
＜機能構成＞
続いて、情報処理システム１の機能構成の例について説明する。図９は、一実施形態に係る情報処理システムの機能構成の例を示す図である。
続いて、情報処理システム１の機能構成の例について説明する。図９は、一実施形態に係る情報処理システムの機能構成の例を示す図である。
【0067】
（端末装置の機能構成）
ここでは、端末装置１００が、図７に示すようなコンピュータ７００のハードウェア構成を有しているものとして、以下の説明を行う。
ここでは、端末装置１００が、図７に示すようなコンピュータ７００のハードウェア構成を有しているものとして、以下の説明を行う。
【0068】
端末装置１００は、ＣＰＵ７０１が所定のプログラムを実行することにより、例えば、通信部９１１、会議制御部９１２、音声送信部９１３、表示制御部９１４、操作受付部９１５、及び通知部９１６等の機能構成を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。なお、本実施形態では、端末装置１００ｂは、会議サーバ１０を介して、端末装置１００ａと同じ会議に参加できるものであれば、任意の機能構成であってよい。
【0069】
通信部９１１は、例えば、ネットワークＩ／Ｆ７０８等を用いて、端末装置１００を通信ネットワーク２に接続して、例えば、会議サーバ１０、情報処理装置２０、又は他の端末装置１００等と通信する通信処理を実行する。
【0070】
会議制御部９１２は、例えば、会議への接続、会議映像（又は会議音声）の送受信、及び会議映像（又は会議音声）の入出力等、ウェブ会議に関する一連の処理を実行する。なお、会議制御部９１２が実行する処理は、一般的なウェブ会議と同様の処理であってよい。なお、会議は、本実施形態に係るコミュニケーションの一例である。
【0071】
音声送信部９１３は、会議に参加する参加者（例えば、端末装置１００ａを利用する利用者）の発話音声、及び会議に参加する他の参加者（例えば、端末装置１００ｂを利用する利用者）の発話音声を取得し、情報処理装置２０に送信する音声送信処理を実行する。例えば、音声送信部９１３は、音入出力Ｉ／Ｆ７２３等から、マイクで取得した音声、及びスピーカから出力する音声等の発話音声を取得し、取得した発話音声（音声データ）を情報処理装置２０に送信する。これにより、情報処理システム１は、ウェブ会議に限られず、通常の会議等のコミュニケーションを支援することも可能になる。
【0072】
ただし、これに限られず、音声送信部９１３は、会議制御部９１２から、参加者の発話音声、及び他の参加者の発話音声を取得し、取得した発話音声（音声データ）を情報処理装置２０に送信してもよい。
【0073】
表示制御部９１４は、例えば、ディスプレイ７０６等の表示部に表示画面を表示する表示制御処理を実行する。操作受付部９１５は、例えば、キーボード７０９、又はポインティングデバイス７１０等の入力デバイスを用いて、参加者による操作を受け付ける操作受付処理を実行する。なお、会議制御部９１２、表示制御部９１４、及び操作受付部９１５は、例えば、端末装置１００が備えるウェブブラウザ等によって実現されるものであってもよい。
【0074】
通知部９１６は、表示制御部９１４が表示部に表示した操作画面が所定の操作を受け付けたときに、所定の操作を受け付けたことを情報処理装置２０に通知する通知処理を実行する。例えば、通知部９１６は、例えば、図３（Ｂ）に示すような操作画面３２０において、「マーキングする」ボタン３２２が選択されると、マーキング操作を受け付けたことを示す情報を情報処理装置２０に通知する。
【0075】
（情報処理装置の機能構成）
情報処理装置２０は、１つ以上のコンピュータ７００が所定のプログラムを実行することにより、例えば、通信部９０１、取得部９０２、受付部９０３、記録部９０４、データ処理部９０５、情報提供部９０６、及び音声再生部９０７等の機能構成を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。
情報処理装置２０は、１つ以上のコンピュータ７００が所定のプログラムを実行することにより、例えば、通信部９０１、取得部９０２、受付部９０３、記録部９０４、データ処理部９０５、情報提供部９０６、及び音声再生部９０７等の機能構成を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。
【0076】
また、情報処理装置２０は、例えば、ＨＤ７０４、及びＨＤＤコントローラ７０５等のストレージデバイスにより、記憶部９０８を実現している。
【0077】
通信部９０１は、例えば、ネットワークＩ／Ｆ７０８等を用いて、情報処理装置２０を通信ネットワーク２に接続し、端末装置１００、及び管理者端末１０１等と通信する通信処理を実行する。
【0078】
取得部９０２は、会議（コミュニケーション）に参加する参加者の発話音声と、同じ会議に参加する他の参加者の発話音声とを取得する取得処理を実行する。例えば、取得部９０２は、参加者が利用する端末装置１００の音声送信部９１３が、情報処理装置２０に送信する、参加者の発話音声と他の参加者の発話音声を取得する。
【0079】
受付部９０３は、会議（コミュニケーション）において、参加者による所定の操作を受け付ける受付処理を実行する。例えば、受付部９０３は、端末装置１００が、マーキング操作を受け付けたときに送信する、マーキング操作を受け付けたことを示す情報を受信したときに、参加者によるマーキング操作を受け付ける。なお、マーキング操作は、所定の操作の一例である。
【0080】
記録部９０４は、受付部９０３が、参加者による所定の操作を受け付けたときに、所定の操作を受け付けた時刻を示す時刻情報と、会議を識別する会議ＩＤとを、ＤＢ等に記録する。
【0081】
データ処理部９０５は、取得部９０２が取得した参加者、及び他の参加者の発話音声（音声データ）に対してデータ処理を実行する。データ処理部９０５は、一例として、図１０に示すように、会議音声作成部１００１、指標算出部１００２、及びマーキング部１００３等を含む。
【0082】
会議音声作成部１００１は、取得部９０２が取得した参加者の発話音声と他の参加者の発話音声とを合成して、参加者の発話音声と他の参加者の発話音声とを含む会議音声を作成する会議音声作成処理を実行する。
【0083】
【0084】
例えば、指標算出部１００２は、取得部９０２が取得した参加者と他の参加者の発話音声に基づいて、参加者の発話音量と、他の参加者の発音量とを算出する。好ましくは、指標算出部１００２は、参加者の発話音量と他の参加者の発話音量の所定の期間（例えば、数秒～十数分程度）の移動平均を算出することにより、所定の期間ごとの参加者の発話音量と他の参加者の発話音量とを算出する。
【0085】
或いは、指標算出部１００２は、取得部９０２が取得した参加者と他の参加者の発話音声をテキスト化して発話文字数を抽出し、参加者の発話速度と他の参加者の発話速度とを算出する。また、指標算出部１００２は、算出した発話速度のデータに基づいて、所定の期間（例えば、数秒～十数分程度）の移動平均を算出することにより、所定の期間ごとの参加者の会話密度と他の参加者の会話密度とを算出する。ここで、会話密度は、所定の時間内における発話文字数（又は発話語数）を表す指標である。
【0086】
マーキング部１００３は、指標算出部１００２が算出した、参加者の発話状況を示す指標、又は他の参加者の発話状況を示す指標が所定の条件を満たす箇所にマーキングするマーキング処理を実行する。例えば、マーキング部１００３は、所定の期間ごとの参加者の発話音量、又は所定の期間ごとの他の参加者の発話音量が、第１の閾値を超えた箇所にマーキングする。或いは、マーキング部１００３は、所定の期間ごとの参加者の会話密度、又は所定の期間ごとの他の参加者の会話密度が、第２の閾値を超えた箇所にマーキングする。
【0087】
ここで、図９に戻り、情報処理装置２０の機能構成の説明を続ける。情報提供部９０６は、取得部９０２が取得した発話音声に基づいて、参加者と他の参加者の発話状況を示す指標を表示させるとともに、時刻情報に基づいて、所定の操作を受け付けた箇所を把握可能に表示させる表示画面を提供する。具体的な例として、情報提供部９０６は、取得部９０２が取得した発話音声に基づいて、参加者と他の参加者の発話状況を示す指標を時系列に図示するとともに、ＤＢ等に記憶した時刻情報に基づいて、所定の操作を受け付けた時刻に対応するマーカを表示する表示画面を提供する。例えば、情報提供部９０６は、図４で説明した表示画面４００、又は図６で説明した表示画面６００等を、管理者端末１０１、又は端末装置１００等に提供する情報提供処理を実行する。
【0088】
音声再生部９０７は、情報提供部９０６が提供する表示画面に図示した参加者と他の参加者の発話状況を示す指標から、選択された箇所の発話音声を再生する音声再生処理を実行する。例えば、音声再生部９０７は、参加者と他の参加者の発話状況を示す指標から、選択された箇所の時刻を取得し、取得した時刻から、会議音声作成部１００１が作成した会議音声を再生する。
【0089】
記憶部９０８は、例えば、取得部９０２が取得した発話音声、データ処理部９０５が作成した会議音声等のデータ、及び閾値等の設定情報等を記憶する。
【0090】
（会議サーバの機能構成）
会議サーバ１０は、１つ以上のコンピュータ７００が所定のプログラムを実行することにより、例えば、通信部９２１、会議管理部９２２、及び中継部９２３等の機能構成を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。
会議サーバ１０は、１つ以上のコンピュータ７００が所定のプログラムを実行することにより、例えば、通信部９２１、会議管理部９２２、及び中継部９２３等の機能構成を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。
【0091】
通信部９２１は、例えば、ネットワークＩ／Ｆ７０８等を用いて、会議サーバ１０を通信ネットワーク２に接続し、端末装置１００ａ、１００ｂ、・・・等と通信する通信処理を実行する。
【0092】
会議管理部９２２は、同じウェブ会議用のＵＲＬ（Uniform Resource Locator）にアクセスする複数の端末装置１００を同じ会議（セッション）に参加させる会議管理処理を実行する。
【0093】
中継部９２３は、同じ会議に参加する複数の端末装置１００の間で、音声、及び画像を含むコンテンツデータを中継する中継処理を実行する。なお、会議管理部９２２、及び中継部９２３の機能は、既存のウェブ会議システムの機能を流用するものであってよい。
【0094】
また、本実施形態では、会議サーバ１０は、情報処理システム１の外部の任意のウェブ会議サービスであってもよい。
【0095】
（管理者端末の機能構成）
管理者端末１０１は、例えば、コンピュータ７００が所定のプログラムを実行することにより、通信部９３１、表示制御部９３２、及び操作受付部９３３等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。
管理者端末１０１は、例えば、コンピュータ７００が所定のプログラムを実行することにより、通信部９３１、表示制御部９３２、及び操作受付部９３３等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。
【0096】
通信部９３１は、例えば、ネットワークＩ／Ｆ７０８等を用いて、管理者端末１０１を通信ネットワーク２に接続して、例えば、情報処理装置２０等と通信する通信処理を実行する。
【0097】
表示制御部９３２は、例えば、情報提供部９０６等から提供される表示画面を、ディスプレイ７０６等の表示部に表示する表示制御処理を実行する。操作受付部９３３は、例えば、表示制御部９３２が表示した表示画面に対する管理者等の操作等を受け付ける操作受付処理を実行する。なお、表示制御部９３２、及び操作受付部９３３は、例えば、管理者端末１０１が備えるウェブブラウザ等によって実現されるものであってもよい。例えば、管理者端末１０１は、ウェブブラウザを備えた汎用の情報端末等であってもよい。
【0098】
なお、図９に示した情報処理システム１の機能構成は一例である。例えば、会議サーバ１０の機能は、情報処理装置２０が有していてもよいし、情報処理システム１の外部のコンピュータ７００、又はクラウドサービス等が有していてもよい。また、情報処理装置２０の機能構成の少なくとも一部は、端末装置１００、又は管理者端末１０１等が有していてもよい。さらに、端末装置１００が備える機能構成の少なくとも一部は、情報処理装置２０、又は会議サーバ１０等が備えていてもよい。要するに、図９に示した、情報処理システム１の各機能構成は、情報処理システム１に含まれる、いずれかの装置が有していればよい。
【0099】
＜処理の流れ＞
続いて、本実施形態に係る情報処理支援方法の処理の流れについて説明する。
続いて、本実施形態に係る情報処理支援方法の処理の流れについて説明する。
【0100】
［第１の実施形態］
（端末装置の処理）
図１１は、第１実施形態に係る端末装置の処理の例を示すフローチャートである。この処理は、例えば、図９で説明した機能構成を有する端末装置１００（例えば、端末装置１００ａ）が実行する処理の例を示している。なお、図１１に示す処理の開始時点において、参加者が利用する端末装置１００（例えば、端末装置１００ａ）は、他の参加者が利用する端末装置（例えば、端末装置１００ｂ）と同じ会議に参加し、少なくとも音声による会話が可能な状態であるものとする。
（端末装置の処理）
図１１は、第１実施形態に係る端末装置の処理の例を示すフローチャートである。この処理は、例えば、図９で説明した機能構成を有する端末装置１００（例えば、端末装置１００ａ）が実行する処理の例を示している。なお、図１１に示す処理の開始時点において、参加者が利用する端末装置１００（例えば、端末装置１００ａ）は、他の参加者が利用する端末装置（例えば、端末装置１００ｂ）と同じ会議に参加し、少なくとも音声による会話が可能な状態であるものとする。
【0101】
ステップＳ１１０１において、操作受付部９１５は、会議音声の記録の開始操作を受け付けると、処理をステップＳ１１０２に移行させる。なお、参加者は、例えば、図３（Ａ）に示すような操作画面３１０において、「記録する」ボタン３１１を選択することにより、会議音声の記録の開始操作を行うことができる。
【0102】
ステップＳ１１０２において、音声送信部９１３は、会議に参加する参加者の発話音声、及び会議に参加する他の参加者の発話音声を取得し、取得した発話音声を情報処理装置２０に送信する発話音声の送信処理を開始する。
【0103】
ステップＳ１１０３において、操作受付部９１５は、マーキング操作を受け付けたかを判断する。なお、参加者は、例えば、図３（Ｂ）に示すような操作画面３２０において、「マーキングする」ボタン３２２を選択することにより、マーキング操作を行うことができる。マーキング操作を受け付けた場合、操作受付部９１５は、処理をステップＳ１１０４に移行させる。一方、マーキング操作を受け付けていない場合。操作受付部９１５は、処理をステップＳ１１０５に移行させる。
【0104】
ステップＳ１１０４において、通知部９１６は、マーキング操作を受け付けたことを、通信部９１１を介して、情報処理装置２０に通知する。
【0105】
ステップＳ１１０５に移行すると、操作受付部９１５は、記録の停止操作を受け付けたか否かを判断する。なお、参加者は、例えば、図３（Ｂ）に示すような操作画面３２０において、「停止する」ボタン３２１を選択することにより、記録の停止操作を行うことができる。記録の停止操作を受け付けていない場合、操作受付部９１５は、処理をステップＳ１１０３に戻す。一方、記録の停止操作を受け付けた場合、操作受付部９１５は、処理をステップＳ１１０６に移行させる。
【0106】
ステップＳ１１０６に移行すると、音声送信部９１３は、発話音声の送信処理を停止、又は終了する。
【0107】
図１１の処理により、端末装置１００は、参加者と他の参加者の発話音声を情報処理装置２０に送信するとともに、参加者によるマーキング操作を受け付けたことを情報処理装置２０に通知することができる。
【0108】
（データ処理）
図１２は、第１の実施形態に係るデータ処理の例を示すフローチャートである。この処理は、例えば、図１１で説明した端末装置の処理により、端末装置１００が情報処理装置２０に送信する参加者と参加者の発話音声を受信したときに、情報処理装置２０が実行するデータ処理の一例を示している。
図１２は、第１の実施形態に係るデータ処理の例を示すフローチャートである。この処理は、例えば、図１１で説明した端末装置の処理により、端末装置１００が情報処理装置２０に送信する参加者と参加者の発話音声を受信したときに、情報処理装置２０が実行するデータ処理の一例を示している。
【0109】
ステップＳ１２０１において、取得部９０２は、端末装置１００が送信する参加者と他の参加者の発話音声の受信を開始すると、処理をステップＳ１２０２、Ｓ１２０４に移行させる。
【0110】
ステップＳ１２０２において、受付部９０３は、マーキング操作を受け付けたかを判断する。例えば、受付部９０３は、端末装置１００が送信する、マーキング操作を受け付けたことを示す通知を受信したときに、マーキング操作を受け付けたと判断する。マーキング操作を受け付けた場合、受付部９０３は、処理をステップＳ１２０３に移行させる。一方、マーキング操作を受け付けていない場合、受付部９０３は、処理をステップＳ１２０５に移行させる。なお、マーキング操作は、所定の操作の一例である。
【0111】
ステップＳ１２０３に移行すると、記録部９０４は、受付部９０３がマーキング操作を受け付けた時刻を示す時刻情報と、会議を識別する会議ＩＤとを、ＤＢ等に記録する。ここで、会議ＩＤは、記録部９０４が付与するものであってもよいし、端末装置１００から通知されるものであってもよい。
【0112】
ステップＳ１２０４において、データ処理部９０５は、例えば、ステップＳ１２０２、Ｓ１２０３の処理と並行して、取得部９０２が取得した参加者と他の参加者の発話音声の発話音量を算出し、記憶する。例えば、データ処理部９０５は、算出した発話音量にタイムスタンプを付けて、記憶部９０８等に記憶する。
【0113】
ステップＳ１２０５において、取得部９０２は、発話音声の受信を停止したかを判断する。発話音声の受信を停止していない場合、取得部９０２は、処理をステップＳ１２０２、Ｓ１２０４に戻す。一方、発話音声の受信を停止した場合、取得部９０２は、処理をステップＳ１２０６に移行させる。
【0114】
ステップＳ１２０６に移行すると、データ処理部９０５は、取得部９０２が取得した参加者の発話音声と他の参加者の発話音声とを合成して、参加者の発話音声と他の参加者の発話音声とを含む会議音声を作成する。
【0115】
ステップＳ１２０７において、データ処理部９０５は、所定の期間ごとの指標を算出する。例えば、データ処理部９０５は、会議の各時点において、参加者の発話音量データから所定の期間の移動平均を算出することにより、所定の期間ごとの参加者の発話音量を算出する。同様にして、データ処理部９０５は、会議の各時点において、他の参加者の発話音量データから所定の期間の移動平均を算出することにより、所定の期間ごとの他の参加者の発話音量を算出する。なお、所定の期間ごとの参加者の発話音量と他の参加者の発話音量は、参加者と他の参加者の発話状況を示す指標の一例である。
【0116】
ステップＳ１２０８において、データ処理部９０５は、算出した指標、及び作成した会議音声を、記憶部９０８等に記憶する。
【0117】
図１２の処理により、情報処理装置２０は、会議に参加する参加者と他の参加者の発話音声、マーキング操作を受け付けた時刻情報、及び参加者と他の参加者の発話状況を示す指標等を取得し、記憶することができる。
【0118】
（表示画面の提供処理）
図１３は、第１の実施形態に係る表示画面の提供処理の例を示すフローチャートである。この処理は、情報処理装置２０が、例えば、図４に示すような表示画面４００、又は図６に示すような表示画面６００を、管理者端末１０１、又は端末装置１００等に提供する表示画面の提供処理の一例を示している。ここでは、情報処理装置２０が、管理者端末１０１に表示画面４００を提供するものとして以下の説明を行う。
図１３は、第１の実施形態に係る表示画面の提供処理の例を示すフローチャートである。この処理は、情報処理装置２０が、例えば、図４に示すような表示画面４００、又は図６に示すような表示画面６００を、管理者端末１０１、又は端末装置１００等に提供する表示画面の提供処理の一例を示している。ここでは、情報処理装置２０が、管理者端末１０１に表示画面４００を提供するものとして以下の説明を行う。
【0119】
ステップＳ１３０１において、情報提供部９０６は、例えば、図１２で説明したデータ処理でデータを記憶した会議の一覧を、管理者端末１０１に表示させる。例えば、管理者等は、管理者端末１０１が備えるウェブブラウザ等を用いて、所定のＵＲＬにアクセスすることにより、会議の一覧を表示することができる。
【0120】
ステップＳ１３０２において、情報提供部９０６は、会議の一覧から選択された会議の会議音声、及び参加者と他の参加者の発話状況を示す指標を、記憶部９０８等から取得する。なお、ステップＳ１３０１、Ｓ１３０２の処理は一例である。例えば、情報提供部９０６は、管理者等によって入力された会議ＩＤ等に基づいて、会議音声、及び指標を記憶部９０８等から取得してもよい。
【0121】
ステップＳ１３０３において、情報提供部９０６は、選択された会議に対応するマーキング情報を、ＤＢ等から取得する。このマーキング情報には、例えば、会議ＩＤ、及びマーキング操作が行われた時刻を示す時刻情報等が含まれる。
【0122】
ステップＳ１３０４において、情報提供部９０６は、参加者と発話者の発話音声である会議音声に基づいて、参加者と他の参加者の発話状況を示す指標を時系列に図示する表示画面を作成する。例えば、情報提供部９０６は、図４に示すような音量タイムライン４２０を図示する表示画面４００を作成する。なお、この時点では、音量タイムライン４２０には、マーカ４２２ａ、４２２ｂ、４２２ｃ、及びマーカ４２３ａ、４２３ｂ等は表示されていない。
【0123】
ステップＳ１３０５において、情報提供部９０６は、取得したマーキング情報に含まれる時刻情報に基づいて、マーキング操作を受け付けた時刻に対応するマーカを、表示画面に描画する。例えば、情報提供部９０６は、図４に示すような音量タイムライン４２０に、マーカ４２２ａ、４２２ｂ、４２２ｃを描画する。なお、この時点では、音量タイムライン４２０には、マーカ４２３ａ、４２３ｂは表示されていない。
【0124】
ステップＳ１３０６において、情報提供部９０６は、作成した表示画面を管理者端末１０１に提供する。
【0125】
図１３の処理により、情報処理装置２０は、管理者端末１０１等に、例えば、図４に示すような表示画面４００を表示させることができる。ただし、第１の実施形態で情報提供部９０６が提供する表示画面には、マーカ４２３ａ、４２３ｂは表示されていない。
【0126】
（コメント欄の表示処理）
図１４は、第１の実施形態に係るコメント欄の表示処理の例を示すフローチャートである。この処理は、例えば、図４に示すような表示画面４００に、図５に示すようなコメント欄５０１を表示するコメント欄の表示処理の例を示している。
図１４は、第１の実施形態に係るコメント欄の表示処理の例を示すフローチャートである。この処理は、例えば、図４に示すような表示画面４００に、図５に示すようなコメント欄５０１を表示するコメント欄の表示処理の例を示している。
【0127】
ステップＳ１４０１において、情報処理装置２０の情報提供部９０６は、マーカの選択を受け付けると、ステップＳ１４０２以降の処理を実行する。なお、管理者等は、図４に示すような表示画面４０において、例えば、マーカ４２２ａをクリックすること、マーカ４２２ａをタップすること、又はマーカ４２２ａの上にカーソルを移動すること等により、マーカ４２２ａを選択することができる。また、情報提供部９０６は、例えば、管理者端末１０１から、例えば、マーカ４２２ａの選択操作を受け付けたことを示す通知を受け付けたときに、マーカ４２２ａの選択操作を受け付けたと判断する。
【0128】
ステップＳ１４０２において、情報提供部９０６は、選択されたマーカのマーキング情報に基づいてコメント欄を表示する。例えば、情報提供部９０６は、図４に示すような表示画面４００に、図５に示すような、選択されたマーカに対応する入力を受け付けるコメント欄５０１を表示する。
【0129】
ステップＳ１４０３において、情報提供部９０６は、表示したコメント欄にコメントが入力されているかを判断する。コメントが入力されている場合、情報提供部９０６は、ステップＳ１４０４の処理を実行する。一方、コメントが入力されていない場合、情報提供部９０６は、図１４の処理を終了する。
【0130】
ステップＳ１４０４に移行すると、情報提供部９０６は、コメント欄に入力されたコメントを、選択されたマーカのマーキング情報に記憶する。
【0131】
図１４の処理により、情報提供部９０６は、コメント欄に入力されたコメントをマーキング情報に記憶し、次にコメント欄を表示するときに、マーキング情報に記憶したコメントをコメント欄に表示することができる。
【0132】
（会議音声の再生処理）
図１５は、第１の実施形態に係る会議音声の再生処理の例を示すフローチャートである。この処理は、例えば、図４に示すような表示画面４００において、管理者等が選択した箇所の会議音声を再生する会議音声の再生処理の一例を示している。
図１５は、第１の実施形態に係る会議音声の再生処理の例を示すフローチャートである。この処理は、例えば、図４に示すような表示画面４００において、管理者等が選択した箇所の会議音声を再生する会議音声の再生処理の一例を示している。
【0133】
ステップＳ１５０１において、情報処理装置２０は、例えば、図４に示すような表示画面４００において、再生位置の指定操作を受け付けると、ステップＳ１５０２以降の処理を実行する。なお、管理者等は、表示画面４００において、発話音声の再生位置を示すバー４２４を移動させることにより、再生位置を指定することができる。
【0134】
ステップＳ１５０２において、音声再生部９０７は、管理者等によって指定された再生位置に対応する時間ｔを取得する。
【0135】
ステップＳ１５０３において、音声再生部９０７が、再生ボタンの選択を受け付けると、ステップＳ１５０４において、音声再生部９０７は、取得した時間ｔから、会議音声（参加者の発話音声、又は他の参加者の発話音声）を再生する。例えば、図４に示すような表示画面４００において、管理者等が「再生」ボタン４２５を選択すると、音声再生部９０７は、時間ｔ以降の会議音声の音声データを管理者端末１０１に送信する。これにより、管理者端末１０１は、時間ｔ以降の会議音声を出力する。
【0136】
なお、図１５に示した会議音声の再生処理は一例である。例えば、音声再生部９０７は、ステップＳ１５０３の処理を省略して、ステップＳ１５０４において、ステップＳ１５０２で取得した時間ｔから、会議音声の再生を開始してもよい。また、会議音声の再生を開始する時間ｔの指定方法は、例えば、シークバー等を用いて指定するもの等であってもよい。
【0137】
このように、本実施形態に係る情報処理システム１によれば、表示画面に時系列に表示した、参加者と他の参加者の発話状況を示す指標において、管理者等が指定した箇所の会議音声を、容易に再生することができる。
【0138】
［第２の実施形態］
第２の実施形態では、情報処理装置２０が、例えば、図４に示すような表示画面４００において、音量タイムライン４２０の問題がありそうな箇所に、マーカ４２３ａ、４２３ｂを表示する場合の処理の例について説明する。
第２の実施形態では、情報処理装置２０が、例えば、図４に示すような表示画面４００において、音量タイムライン４２０の問題がありそうな箇所に、マーカ４２３ａ、４２３ｂを表示する場合の処理の例について説明する。
【0139】
（データ処理）
図１６は、第２の実施形態に係るデータ処理の例を示すフローチャートである。この処理は、例えば、図１１で説明した端末装置の処理により、端末装置１００が情報処理装置２０に送信する参加者と参加者の発話音声を受信したときに、情報処理装置２０が実行するデータ処理の別の一例を示している。
図１６は、第２の実施形態に係るデータ処理の例を示すフローチャートである。この処理は、例えば、図１１で説明した端末装置の処理により、端末装置１００が情報処理装置２０に送信する参加者と参加者の発話音声を受信したときに、情報処理装置２０が実行するデータ処理の別の一例を示している。
【0140】
なお、図１６に示した処理のうち、ステップＳ１２０１～Ｓ１２０７の処理は、図１２で説明した第１の実施形態に係るデータ処理と同様なので、ここでは説明を省略する。また、ここでは、第１の実施形態と同様の処理内容に対する詳細な説明は省略する。
【0141】
ステップＳ１２０７において、データ処理部９０５が、所定の期間ごとの指標（所定の期間ごとの参加者の発話音量と他の参加者の発話音量）算出した後、ステップＳ１６０１において、データ処理部９０５は、閾値を超えた指標があるかを判断する。
【0142】
ここで、閾値には、指標の値に問題がある可能性の有無を判断するための値が予め設定されているものとする。なお、閾値の設定は、情報処理装置２０に予め設定された値であってもよいし、管理者、又は参加者等が設定した値等であってもよい。また、閾値の設定は、例えば、情報処理システム１が記憶している過去の会議のデータと、問題があった過去の会議の事例等に基づいて、機械学習により決定してもよい。
【0143】
ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し、新たなデータについてこれを適用して予測を行う技術のことをいう。また、機械学習のための学習方法は、教師あり学習に限られず、例えば、教師なし学習、半教師学習、強化学習、又は深層学習等であってもよい。
【0144】
閾値を超えた指標がある場合、データ処理部９０５は、処理をステップＳ１６０２に移行させる。一方、閾値を超えた指標がない場合、データ処理部９０５は、処理をステップＳ１６０３に移行させる。
【0145】
ステップＳ１６０２に移行すると、データ処理部９０５は、閾値を超えた指標にマーキングする。なお、本実施形態では、情報処理装置２０が自動的にマーキングすることを「マーキング（自動）」と呼び、自動的にマーキングされたマーカを「マーカ（自動）」と呼ぶ場合がある。また、マーカ（自動）のマーキング情報を「マーキング情報（自動）」と呼ぶ場合がある。
【0146】
ステップＳ１６０３に移行すると、データ処理部９０５は、算出した指標、マーキング情報（自動）、及び作成した会議音声を、記憶部９０８等に記憶する。
【0147】
図１６の処理により、情報処理装置２０は、会議に参加する参加者と他の参加者の発話音声、マーキング操作を受け付けた時刻情報、参加者と他の参加者の発話状況を示す指標、及びマーキング情報（自動）等を取得し、記憶することができる。
【0148】
（表示画面の提供処理）
図１７は、第２の実施形態に係る表示画面の提供処理の例を示すフローチャートである。この処理は、情報処理装置２０が、例えば、図４に示すような表示画面４００を、管理者端末１０１、又は端末装置１００等に提供する表示画面の提供処理の別の一例を示している。ここでは、情報処理装置２０が、管理者端末１０１に表示画面４００を提供するものとして以下の説明を行う。
図１７は、第２の実施形態に係る表示画面の提供処理の例を示すフローチャートである。この処理は、情報処理装置２０が、例えば、図４に示すような表示画面４００を、管理者端末１０１、又は端末装置１００等に提供する表示画面の提供処理の別の一例を示している。ここでは、情報処理装置２０が、管理者端末１０１に表示画面４００を提供するものとして以下の説明を行う。
【0149】
なお、図１７に示した処理のうち、ステップＳ１３０１～Ｓ１３０５の処理は、図１３で説明した第１の実施形態に係る表示画面の提供処理と同様なので、ここでは説明を省略する。また、ここでは、第１の実施形態と同様の処理内容に対する詳細な説明は省略する。
【0150】
ステップＳ１７０１において、情報提供部９０６は、例えば、図１６のステップＳ１６０３で記憶したマーキング情報（自動）に基づいて、表示画面にマーカ（自動）を描画する。例えば、情報提供部９０６は、ステップＳ１３０５において、図４に示すような音量タイムライン４２０に、マーカ４２２ａ、４２２ｂ、４２２ｃを描画した後、ステップＳ１７０１において、マーカ４２３ａ、４２３ｂを描画する。
【0151】
ステップＳ１７０２において、情報提供部９０６は、作成した表示画面を管理者端末１０１に提供する。
【0152】
【0153】
［第３の実施形態］
第３の実施形態では、情報処理装置２０が、例えば、図６に示すような表示画面６００を提供する場合の処理の例について説明する。
第３の実施形態では、情報処理装置２０が、例えば、図６に示すような表示画面６００を提供する場合の処理の例について説明する。
【0154】
（端末装置の処理）
図１８は、第３の実施形態に係る端末装置の処理の例を示すフローチャートである。なお、図１８に示した処理のうち、ステップＳ１１０１～Ｓ１１０３、Ｓ１１０５～Ｓ１１０６の処理は、図１１で説明した第１の実施形態に係る端末装置の処理と同様なので、ここでは説明を省略する。
図１８は、第３の実施形態に係る端末装置の処理の例を示すフローチャートである。なお、図１８に示した処理のうち、ステップＳ１１０１～Ｓ１１０３、Ｓ１１０５～Ｓ１１０６の処理は、図１１で説明した第１の実施形態に係る端末装置の処理と同様なので、ここでは説明を省略する。
【0155】
ステップＳ１１０３において、操作受付部９１５が、マーキング操作を受け付けた場合、ステップＳ１８０１において、通知部９１６は、選択されたマーキングの情報を、通信部９１１を介して、情報処理装置２０に通知する。
【0156】
図１８の処理により、端末装置１００は、例えば、図３（Ｃ）に示すような操作画面３３０において、「マーキングＡ」ボタン３３１ａが選択された場合、「マーキングＡ」ボタン３３１ａが選択されたことを示す情報を、情報処理装置２０に通知することができる。同様に、端末装置１００は、操作画面３３０において、「マーキングＢ」ボタン３３１ｂが選択された場合、「マーキングＢ」ボタン３３１ｂが選択されたことを示す情報を、情報処理装置２０に通知することができる。
【0157】
（データ処理）
図１９は、第３の実施形態に係るデータ処理の例を示すフローチャートである。なお、図１９に示した処理のうち、ステップＳ１２０１、Ｓ１２０５～Ｓ１２０６の処理は、図１２で説明した第１の実施形態に係るデータ処理と同様なので、ここでは説明を省略する。また、ここでは、第１の実施形態と同様の処理内容に対する詳細な説明は省略する。
図１９は、第３の実施形態に係るデータ処理の例を示すフローチャートである。なお、図１９に示した処理のうち、ステップＳ１２０１、Ｓ１２０５～Ｓ１２０６の処理は、図１２で説明した第１の実施形態に係るデータ処理と同様なので、ここでは説明を省略する。また、ここでは、第１の実施形態と同様の処理内容に対する詳細な説明は省略する。
【0158】
ステップＳ１９０１において、受付部９０３は、マーキング操作を受け付けたかを判断する。例えば、受付部９０３は、端末装置１００が送信する、選択されたマーキングの情報を受信した場合、マーキング操作を受け付けたと判断する。マーキング操作を受け付けた場合、受付部９０３は、処理をステップＳ１９０２に移行させる。一方、マーキング操作を受け付けていない場合、受付部９０３は、処理をステップＳ１２０５に移行させる。
【0159】
ステップＳ１９０２に移行すると、記録部９０４は、受付部９０３がマーキング操作を受け付けた時刻を示す時刻情報と、会議を識別する会議ＩＤとを含む、選択されたマーキングの情報をＤＢ等に記録する。
【0160】
ステップＳ１９０３において、データ処理部９０５は、例えば、ステップＳ１９０１、Ｓ１９０２の処理と並行して、取得部９０２が取得した参加者と他の参加者の発話音声を、発話ごとにテキスト化して発話文字数を抽出する。
【0161】
ステップＳ１９０４において、データ処理部９０５は、抽出した発話文字数と発話時間とから、発話速度（発話文字数／発話時間）を算出し、記憶する。例えば、データ処理部９０５は、算出した発話速度にタイムスタンプを付けて、記憶部９０８等に記憶する。
【0162】
また、発話音声の受信を停止した後に、ステップＳ１９１１において、データ処理部９０５は、所定の期間ごとの指標を算出する。例えば、データ処理部９０５は、会議の各時点において、参加者の発話速度データから所定の期間の移動平均を算出することにより、所定の期間ごとの参加者の会話密度を算出する。なお、会話密度は、前述したように、所定の期間内における発話文字数（又は発話語数）を示す指標である。同様に、データ処理部９０５は、会議の各時点において、他の参加者の発話速度データから所定の期間の移動平均を算出することにより、所定の期間ごとの他の参加者の会話密度を算出する。
【0163】
ステップＳ１９１２において、データ処理部９０５は、閾値を超えた指標があるかを判断する。閾値を超えた指標がある場合、データ処理部９０５は、処理をステップＳ１９１３に移行させる。一方、閾値を超えた指標がない場合、データ処理部９０５は、処理をステップＳ１９１４に移行させる。
【0164】
ステップＳ１９１３に移行すると、データ処理部９０５は、閾値を超えた指標にマーキング（自動）する。なお、本実施形態においても、情報処理装置２０が自動的にマーキングすることを「マーキング（自動）」と呼び、自動的にマーキングされたマーカを「マーカ（自動）」と呼ぶ場合がある。また、マーカ（自動）のマーキング情報を「マーキング情報（自動）」と呼ぶ場合がある。
【0165】
ステップＳ１９１４に移行すると、データ処理部９０５は、算出した指標（会話密度）、マーキング情報（自動）、及び作成した会議音声等を、記憶部９０８等に記憶する。
【0166】
図１９の処理により、情報処理装置２０は、会議に参加する参加者と他の参加者の発話音声、マーキング操作を受け付けた時刻情報、参加者と他の参加者の発話状況を示す指標、及びマーキング情報（自動）等を取得し、記憶することができる。
【0167】
（表示画面の提供処理）
図２０は、第３の実施形態に係る表示画面の提供処理の例を示すフローチャートである。この処理は、情報処理装置２０が、例えば、図６に示すような表示画面６００を、管理者端末１０１、又は端末装置１００等に提供する表示画面の提供処理の例を示している。ここでは、情報処理装置２０が、管理者端末１０１に表示画面６００を提供するものとして以下の説明を行う。
図２０は、第３の実施形態に係る表示画面の提供処理の例を示すフローチャートである。この処理は、情報処理装置２０が、例えば、図６に示すような表示画面６００を、管理者端末１０１、又は端末装置１００等に提供する表示画面の提供処理の例を示している。ここでは、情報処理装置２０が、管理者端末１０１に表示画面６００を提供するものとして以下の説明を行う。
【0168】
なお、図２０に示した処理のうち、ステップＳ１３０１～Ｓ１３０３の処理は、図１３で説明した第１の実施形態に係る表示画面の提供処理と同様なので、ここでは説明を省略する。また、ここでは、第１の実施形態と同様の処理内容に対する詳細な説明は省略する。
【0169】
ステップＳ２００１において、情報提供部９０６は、参加者と発話者の発話音声である会議音声に基づいて、参加者と他の参加者の発話状況を示す指標を時系列に図示する表示画面を作成する。例えば、情報提供部９０６は、図６に示すような会話密度６１０を図示する表示画面６００を作成する。なお、この時点では、会話密度６１０には、マーカ６１２ａ、６１２ｂ、マーカ６１３、及びマーカ６１４ａ、６１６ｂ等は表示されていない。
【0170】
ステップＳ２００２において、情報提供部９０６は、取得したマーキング情報に含まれる時刻情報に基づいて、マーキング操作を受け付けた時刻に対応するマーカを、表示画面に描画する。例えば、情報提供部９０６は、図６に示すような会話密度６１０に、マーカ６１２ａ、６１２ｂ、及びマーカ６１３を描画する。なお、この時点では、会話密度６１０には、マーカ６１４ａ、６１４ｂは表示されていない。
【0171】
ステップＳ２００３において、情報提供部９０６は、例えば、図１９のステップＳ１９１４で記憶したマーキング情報（自動）に基づいて、表示画面にマーカ（自動）を描画する。例えば、情報提供部９０６は、ステップＳ２００２において、図６に示すような会話密度６１０に、マーカ６１２ａ、６１２ｂ、及びマーカ６１３を描画した後、ステップＳ２００３において、マーカ６１４ａ、６１４ｂを描画する。
【0172】
ステップＳ２００４において、情報提供部９０６は、作成した表示画面を管理者端末１０１に提供する。
【0173】
【0174】
（マーカの追加処理）
第１～３の実施形態では、参加者が、会議中にリアルタイムにマーカを付加するものとして説明を行った。ただし、これに限られず、例えば、図４に示すような表示画面４００において、参加者、又は管理者等が、後からマーカを追加することもできる。
第１～３の実施形態では、参加者が、会議中にリアルタイムにマーカを付加するものとして説明を行った。ただし、これに限られず、例えば、図４に示すような表示画面４００において、参加者、又は管理者等が、後からマーカを追加することもできる。
【0175】
【0176】
ステップＳ２１０１において、管理者端末１０１が、時系列に図示した指標に対してマーキング操作を受け付けるものとする。例えば、管理者等は、図４に示すような表示画面４００の音量タイムライン４２０において、参加者の発話音量４２１ａ、又は他の参加者の発話音量４２１ｂに対して所定の操作（例えば、右クリック、長押し等）を行うことにより、マーキング操作を行うことができる。
【0177】
ステップＳ２１０２において、情報処理装置２０の記録部９０４は、マーキング操作を受け付けた位置に対応する時刻を取得する。
【0178】
ステップＳ２１０３において、記録部９０４は、取得した時刻を示す時刻情報と会議ＩＤとを含むマーキング情報を作成し、ＤＢ等に記録する。
【0179】
ステップＳ２１０４において、情報処理装置２０の情報提供部９０６は、記録部９０４が作成したマーキング情報に基づいて、表示画面４００の音量タイムライン４２０に、新たなマーカを追加する。ここで、追加されたマーカは、例えば、会議中に付与されたマーカ４２２ａ、４２２ｂ、４２２ｃと同様にして表示され、コメント欄の利用も可能である。
【0180】
図２１の処理により、情報処理システム１は、会議中だけではなく、会議が終了した後からでも、表示画面にマーカを追加することができる。
【0181】
以上、本発明の各実施形態によれば、コミュニケーションに参加した参加者、又は管理者等が、コミュニケーションの内容を後から確認することを容易にする情報処理システム１を提供することができる。
【0182】
＜補足＞
上記で説明した各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（digital signal processor）、ＦＰＧＡ（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。
上記で説明した各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（digital signal processor）、ＦＰＧＡ（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。
【0183】
また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものに過ぎない。ある実施形態では、会議サーバ１０、及び情報処理装置２０等は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。
【0184】
さらに、情報処理装置２０、端末装置１００、及び管理者端末１０１は、開示された処理ステップ、例えば、図１１～２１に示す処理を様々な組み合わせで共有するように構成できる。例えば、情報処理装置２０によって実行されるプロセスは、端末装置１００、又は管理者端末１０１によって実行され得る。また、端末装置１００によって実行されるプロセス、及び管理者端末１０１によって実行されるプロセスは、情報処理装置２０によって実行され得る。さらに、情報処理装置２０の各要素は、１つの装置にまとめられていても良いし、複数の装置に分けられていてもよい。
【0185】
＜付記＞
本明細書には、下記の各項の情報処理システム、情報処理装置、情報処理方法、及びプログラムが開示されている。
（第１項）
コミュニケーションに参加する参加者と他の参加者の発話音声を取得する取得部と、
前記コミュニケーションにおいて、 前記参加者による所定の操作を受け付ける受付部と、
前記所定の操作を受け付けたときに、前記所定の操作を受け付けた時刻を示す時刻情報を記録する記録部と、
前記発話音声に基づいて、前記参加者と前記他の参加者の発話状況を示す指標を表示させるとともに、前記時刻情報に基づいて、前記コミュニケーションにおいて、前記所定の操作を受け付けた箇所を把握可能に表示させる表示画面を提供する情報提供部と、
を有する、情報処理システム。
（第２項）
前記情報提供部は、
前記発話音声に基づいて、前記指標を前記表示画面に図示し、
前記時刻情報に基づいて、前記所定の操作を受け付けた時刻に対応するマーカを前記表示画面に表示する、
第１項に記載の情報処理システム。
（第３項）
前記情報提供部は、前記表示画面において前記マーカが選択された場合、前記マーカに対応するコメントの入力を受け付けるコメント欄を前記表示画面に表示する、第２項に記載の情報処理システム。
（第４項）
前記コメント欄は、前記コメント欄に入力された１つ以上のコメントを表示する、第３項に記載の情報処理システム。
（第５項）
前記コメント欄は、前記コメントを入力したユーザの情報をさらに表示する、第４項に記載の情報処理システム。
（第６項）
前記情報処理システムは、前記参加者、又は管理者が利用する端末装置に、前記表示画面を提供し、
前記コメント欄は、前記参加者、又は前記管理者がコメントを入力可能である、
第３項～第５項のいずれかに記載の情報処理システム。
（第７項）
前記参加者は、端末装置を用いて前記コミュニケーションに参加し、
前記端末装置は、
前記参加者と前記他の参加者の発話音声を前記取得部に送信する音声送信部と、
前記参加者による前記所定の操作を受け付ける操作画面を表示部に表示する表示制御部と、
前記操作画面が前記所定の操作を受け付けたことを前記受付部に通知する通知部と、
を有する、第１項～第６項のいずれかに記載の情報処理システム。
（第８項）
前記操作画面は、互いに異なるマーキング操作を受け付ける複数の表示要素を含み、
前記情報提供部は、前記参加者が選択した前記表示要素によって異なるマーカを前記表示画面に表示する、第７項に記載の情報処理システム。
（第９項）
前記情報提供部は、
前記参加者の発話音量と前記他の参加者の発話音量とを前記表示画面に時系列に図示し、
発話音量が第１の閾値を超えた箇所に、前記マーカとは別のマーカを表示する、
第２項～第６項のいずれかに記載の情報処理システム。
（第１０項）
前記情報提供部は、
前記参加者の会話密度と前記他の参加者の会話密度とを前記表示画面に時系列に図示し、
会話密度が第２の閾値を超えた箇所に、前記マーカとは別のマーカを表示する、
第２項～第６項のいずれかに記載の情報処理システム。
（第１１項）
前記情報提供部は、前記表示画面において前記別のマーカが選択された場合、前記別のマーカに対応するコメント欄を前記表示画面に表示する、第９項又は第１０項に記載の情報処理システム。
（第１２項）
前記表示画面に示した前記発話状況を示す指標から、選択された箇所の発話音声を再生する音声再生部を有する、第１項～第１１項のいずれかに記載の情報処理システム。
（第１３項）
前記情報提供部は、前記表示画面に示した前記発話状況を示す指標から、選択された箇所の発話音声をテキスト化した文字列を、前記表示画面に表示する、第１項～第１１項のいずれかに記載の情報処理システム。
（第１４項）
コミュニケーションに参加する参加者と他の参加者の発話音声を取得する取得部と、
前記コミュニケーションにおいて、前記参加者による所定の操作を受け付ける受付部と、
前記所定の操作を受け付けたときに、前記所定の操作を受け付けた時刻を示す時刻情報を記録する記録部と、
前記発話音声に基づいて、前記参加者と前記他の参加者の発話状況を示す指標を示すとともに、前記時刻情報に基づいて、前記コミュニケーションにおいて、前記所定の操作を受け付けた箇所を把握可能に表示する表示画面を提供する情報提供部と、
を有する、情報処理装置。
（第１５項）
コミュニケーションに参加する参加者と他の参加者の発話音声を取得する取得処理と、
前記コミュニケーションにおいて、前記参加者による所定の操作を受け付ける受付処理と、
前記所定の操作を受け付けたときに、前記所定の操作を受け付けた時刻を示す時刻情報を記録する記録処理と、
前記発話音声に基づいて、前記参加者と前記他の参加者の発話状況を示す指標を表示させるとともに、前記時刻情報に基づいて、前記コミュニケーションにおいて、前記所定の操作を受け付けた箇所を把握可能に表示させる表示画面を提供する情報提供処理と、
をコンピュータが実行する、情報処理方法。
（第１６項）
コミュニケーションに参加する参加者と他の参加者の発話音声を取得する取得処理と、
前記コミュニケーションにおいて、前記参加者による所定の操作を受け付ける受付処理と、
前記所定の操作を受け付けたときに、前記所定の操作を受け付けた時刻を示す時刻情報を記録する記録処理と、
前記発話音声に基づいて、前記参加者と前記他の参加者の発話状況を示す指標を表示させるとともに、前記時刻情報に基づいて、前記コミュニケーションにおいて、前記所定の操作を受け付けた箇所を把握可能に表示させる表示画面を提供する情報提供処理と、
をコンピュータに実行させる、プログラム。
本明細書には、下記の各項の情報処理システム、情報処理装置、情報処理方法、及びプログラムが開示されている。
（第１項）
コミュニケーションに参加する参加者と他の参加者の発話音声を取得する取得部と、
前記コミュニケーションにおいて、 前記参加者による所定の操作を受け付ける受付部と、
前記所定の操作を受け付けたときに、前記所定の操作を受け付けた時刻を示す時刻情報を記録する記録部と、
前記発話音声に基づいて、前記参加者と前記他の参加者の発話状況を示す指標を表示させるとともに、前記時刻情報に基づいて、前記コミュニケーションにおいて、前記所定の操作を受け付けた箇所を把握可能に表示させる表示画面を提供する情報提供部と、
を有する、情報処理システム。
（第２項）
前記情報提供部は、
前記発話音声に基づいて、前記指標を前記表示画面に図示し、
前記時刻情報に基づいて、前記所定の操作を受け付けた時刻に対応するマーカを前記表示画面に表示する、
第１項に記載の情報処理システム。
（第３項）
前記情報提供部は、前記表示画面において前記マーカが選択された場合、前記マーカに対応するコメントの入力を受け付けるコメント欄を前記表示画面に表示する、第２項に記載の情報処理システム。
（第４項）
前記コメント欄は、前記コメント欄に入力された１つ以上のコメントを表示する、第３項に記載の情報処理システム。
（第５項）
前記コメント欄は、前記コメントを入力したユーザの情報をさらに表示する、第４項に記載の情報処理システム。
（第６項）
前記情報処理システムは、前記参加者、又は管理者が利用する端末装置に、前記表示画面を提供し、
前記コメント欄は、前記参加者、又は前記管理者がコメントを入力可能である、
第３項～第５項のいずれかに記載の情報処理システム。
（第７項）
前記参加者は、端末装置を用いて前記コミュニケーションに参加し、
前記端末装置は、
前記参加者と前記他の参加者の発話音声を前記取得部に送信する音声送信部と、
前記参加者による前記所定の操作を受け付ける操作画面を表示部に表示する表示制御部と、
前記操作画面が前記所定の操作を受け付けたことを前記受付部に通知する通知部と、
を有する、第１項～第６項のいずれかに記載の情報処理システム。
（第８項）
前記操作画面は、互いに異なるマーキング操作を受け付ける複数の表示要素を含み、
前記情報提供部は、前記参加者が選択した前記表示要素によって異なるマーカを前記表示画面に表示する、第７項に記載の情報処理システム。
（第９項）
前記情報提供部は、
前記参加者の発話音量と前記他の参加者の発話音量とを前記表示画面に時系列に図示し、
発話音量が第１の閾値を超えた箇所に、前記マーカとは別のマーカを表示する、
第２項～第６項のいずれかに記載の情報処理システム。
（第１０項）
前記情報提供部は、
前記参加者の会話密度と前記他の参加者の会話密度とを前記表示画面に時系列に図示し、
会話密度が第２の閾値を超えた箇所に、前記マーカとは別のマーカを表示する、
第２項～第６項のいずれかに記載の情報処理システム。
（第１１項）
前記情報提供部は、前記表示画面において前記別のマーカが選択された場合、前記別のマーカに対応するコメント欄を前記表示画面に表示する、第９項又は第１０項に記載の情報処理システム。
（第１２項）
前記表示画面に示した前記発話状況を示す指標から、選択された箇所の発話音声を再生する音声再生部を有する、第１項～第１１項のいずれかに記載の情報処理システム。
（第１３項）
前記情報提供部は、前記表示画面に示した前記発話状況を示す指標から、選択された箇所の発話音声をテキスト化した文字列を、前記表示画面に表示する、第１項～第１１項のいずれかに記載の情報処理システム。
（第１４項）
コミュニケーションに参加する参加者と他の参加者の発話音声を取得する取得部と、
前記コミュニケーションにおいて、前記参加者による所定の操作を受け付ける受付部と、
前記所定の操作を受け付けたときに、前記所定の操作を受け付けた時刻を示す時刻情報を記録する記録部と、
前記発話音声に基づいて、前記参加者と前記他の参加者の発話状況を示す指標を示すとともに、前記時刻情報に基づいて、前記コミュニケーションにおいて、前記所定の操作を受け付けた箇所を把握可能に表示する表示画面を提供する情報提供部と、
を有する、情報処理装置。
（第１５項）
コミュニケーションに参加する参加者と他の参加者の発話音声を取得する取得処理と、
前記コミュニケーションにおいて、前記参加者による所定の操作を受け付ける受付処理と、
前記所定の操作を受け付けたときに、前記所定の操作を受け付けた時刻を示す時刻情報を記録する記録処理と、
前記発話音声に基づいて、前記参加者と前記他の参加者の発話状況を示す指標を表示させるとともに、前記時刻情報に基づいて、前記コミュニケーションにおいて、前記所定の操作を受け付けた箇所を把握可能に表示させる表示画面を提供する情報提供処理と、
をコンピュータが実行する、情報処理方法。
（第１６項）
コミュニケーションに参加する参加者と他の参加者の発話音声を取得する取得処理と、
前記コミュニケーションにおいて、前記参加者による所定の操作を受け付ける受付処理と、
前記所定の操作を受け付けたときに、前記所定の操作を受け付けた時刻を示す時刻情報を記録する記録処理と、
前記発話音声に基づいて、前記参加者と前記他の参加者の発話状況を示す指標を表示させるとともに、前記時刻情報に基づいて、前記コミュニケーションにおいて、前記所定の操作を受け付けた箇所を把握可能に表示させる表示画面を提供する情報提供処理と、
をコンピュータに実行させる、プログラム。
【0186】
以上、本発明の実施形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、及び応用が可能である。
【符号の説明】
【0187】
１ 情報処理システム
２ 通信ネットワーク
１０ 会議サーバ
２０ 情報処理装置
１００、１００ａ、１００ｂ、１００ｃ、１００ｄ 端末装置
１０１ 管理者端末（管理者が利用する端末装置）
４００、６００ 表示画面
４２２ａ、４２２ｂ、４２２ｃ、６１２ａ、６１２ｂ、６１３ マーカ
４２３ａ、４２３ｂ、６１４ａ、６１４ｂ マーカ（別のマーカ）
５０１ コメント欄
７００ コンピュータ
７０６ ディスプレイ（表示部の一例）
９０２ 取得部
９０３ 受付部
９０４ 記録部
９０６ 情報提供部
９１３ 音声送信部
９１４ 表示制御部
９１６ 通知部
２ 通信ネットワーク
１０ 会議サーバ
２０ 情報処理装置
１００、１００ａ、１００ｂ、１００ｃ、１００ｄ 端末装置
１０１ 管理者端末（管理者が利用する端末装置）
４００、６００ 表示画面
４２２ａ、４２２ｂ、４２２ｃ、６１２ａ、６１２ｂ、６１３ マーカ
４２３ａ、４２３ｂ、６１４ａ、６１４ｂ マーカ（別のマーカ）
５０１ コメント欄
７００ コンピュータ
７０６ ディスプレイ（表示部の一例）
９０２ 取得部
９０３ 受付部
９０４ 記録部
９０６ 情報提供部
９１３ 音声送信部
９１４ 表示制御部
９１６ 通知部
【先行技術文献】
【特許文献】
【0188】
【特許文献1】特開２００６－０６０８６７号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】