特開 2024-168292 コミュニケーション支援装置、コミュニケーション支援システム、コミュニケーション支援方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024168292

(43)【公開日】2024-12-05

(54)【発明の名称】コミュニケーション支援装置、コミュニケーション支援システム、コミュニケーション支援方法、及びプログラム

(51)【国際特許分類】

   G06Q 10/10 20230101AFI20241128BHJP

   H04M 3/56 20060101ALN20241128BHJP

【ＦＩ】

G06Q10/10

H04M3/56 C

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023084840

(22)【出願日】2023-05-23

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】鴻上 和彦

(72)【発明者】

【氏名】浅川 智哉

【テーマコード（参考）】

5K201

5L010

5L049

【Ｆターム（参考）】

5K201BB09

5K201CA01

5K201CA04

5K201CA10

5L010AA12

5L049AA12

(57)【要約】

【課題】コミュニケーションに参加している参加者が、関係者から、コメントを得ることを容易にするコミュニケーション支援装置を提供する。
【解決手段】コミュニケーション支援装置は、コミュニケーションに参加している参加者が利用する端末装置から送信された所定の操作を受け付けたことを示す操作情報を受け付ける受付部と、前記操作情報を受け付けたときに、前記所定の操作を受け付けたことを示す通知を前記参加者に予め関連付けられた通知先に通知する通知部と、前記通知に応じて前記通知先で入力されたコメントを前記参加者が利用する端末装置に表示させるために前記コメントを前記参加者が利用する端末装置に送信する表示制御部と、を有する。
【選択図】図５

【特許請求の範囲】

【請求項1】

コミュニケーションに参加している参加者が利用する端末装置から送信された所定の操作を受け付けたことを示す操作情報を受け付ける受付部と、
前記操作情報を受け付けたときに、前記所定の操作を受け付けたことを示す通知を前記参加者に予め関連付けられた通知先に通知する通知部と、
前記通知に応じて前記通知先で入力されたコメントを前記参加者が利用する端末装置に表示させるために前記コメントを前記参加者が利用する端末装置に送信する表示制御部と、
を有する、コミュニケーション支援装置。

【請求項2】

前記コミュニケーションに参加している前記参加者と他の参加者の発話音声を取得する取得部と、
前記発話音声をテキスト化する変換部と、
を有し、
前記通知は、前記所定の操作が行われる前の前記発話音声をテキスト化した文字列の少なくとも一部を含む、
請求項１に記載のコミュニケーション支援装置。

【請求項3】

前記所定の操作は、前記端末装置が表示する操作画面において、前記通知先に助言を求めるための表示要素を選択する操作を含む、請求項１に記載のコミュニケーション支援装置。

【請求項4】

前記通知部は、前記参加者に対応する管理者が利用する情報端末に前記通知を通知する、請求項１乃至３のいずれか一項に記載のコミュニケーション支援装置。

【請求項5】

前記参加者と同じグループに所属するメンバーの情報を登録したグループ情報を有し、
前記通知部は、前記メンバーが利用する情報端末に前記通知を通知する、
請求項１乃至３のいずれか一項に記載のコミュニケーション支援装置。

【請求項6】

前記通知部は、前記通知に応じて、前記メンバーのうち、一のメンバーがコメントを入力した場合、前記一のメンバーがコメントを入力したことを他のメンバーに通知する、請求項５に記載のコミュニケーション支援装置。

【請求項7】

前記発話音声に基づいて、前記参加者と前記他の参加者の発話状況を示す指標を時系列に図示するとともに、前記所定の操作を受け付けた時刻に対応するマーカを表示する表示画面を提供する情報提供部を有し、
前記情報提供部は、前記表示画面において前記マーカが選択された場合、前記マーカに対応するコメントの表示及び入力が可能なコメント欄を前記表示画面に表示する、請求項２に記載のコミュニケーション支援装置。

【請求項8】

コミュニケーションに参加する参加者が利用する端末装置と、前記端末装置と通信ネットワークを介して通信可能なコミュニケーション支援装置とを含むコミュニケーション支援システムであって、
前記端末装置は、前記コミュニケーション中に所定の操作が可能な操作画面を表示する表示部を有し、
前記コミュニケーション支援装置は、
前記端末装置から送信された前記所定の操作を受け付けたことを示す操作情報を受け付ける受付部と、
前記操作情報を受け付けたときに、前記所定の操作を受け付けたことを示す通知を前記参加者に予め関連付けられた通知先に通知する通知部と、
前記通知に応じて前記通知先で入力されたコメントを前記端末装置の前記表示部に表示させるために前記コメントを前記参加者が利用する前記端末装置に送信する表示制御部と、
を有する、コミュニケーション支援システム。

【請求項9】

コミュニケーション支援装置が、
コミュニケーションに参加している参加者が利用する端末装置から送信された所定の操作を受け付けたことを示す操作情報を受け付ける処理と、
前記操作情報を受け付けたときに、前記所定の操作を受け付けたことを示す通知を前記参加者に予め関連付けられた通知先に通知する処理と、
前記通知に応じて前記通知先で入力されたコメントを前記参加者が利用する端末装置に表示させるために前記コメントを前記参加者が利用する端末装置に送信する処理と、
を実行する、コミュニケーション支援方法。

【請求項10】

コンピュータに、
コミュニケーションに参加している参加者が利用する端末装置から送信された所定の操作を受け付けたことを示す操作情報を受け付ける処理と、
前記操作情報を受け付けたときに、前記所定の操作を受け付けたことを示す通知を前記参加者に予め関連付けられた通知先に通知する処理と、
前記通知に応じて前記通知先で入力されたコメントを前記参加者が利用する端末装置に表示させるために前記コメントを前記参加者が利用する端末装置に送信する処理と、
を実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コミュニケーション支援装置、コミュニケーション支援システム、コミュニケーション支援方法、及びプログラムに関する。

【背景技術】

【0002】

端末装置の間で、映像、又は音声等のコンテンツデータを送受信するコミュニケーションシステムがある。

【0003】

また、案件の進捗を管理して、セールスの営業活動を支援する営業活動支援システムにおいて、予め決められた停滞条件に合致する案件の担当セールス、及びそのマネージャーへ停滞案件があることを通知する技術が知られている（例えば、特許文献１参照）。

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、オンラインで商談を行う会議システムにおいて、営業担当者は、クライアントからの質問等を持ち帰ることなく、できるだけ商談の中で回答できるように、マネージャー、又は他のメンバー等の関係者から助言を得たい場合がある。

【0005】

しかし、従来の会議システムでは、営業担当者が、会議中に、クライアントの相手をしながら他の関係者から、助言などのコメントを得ることには困難を伴っていた。なお、このような問題は、商談を行う会議システムに限られず。例えば、遠隔医療、カウンセリング、遠隔講義、又は就学相談等のコミュニケーションを行う様々なコミュニケーションシステムに共通に存在する。

【0006】

本発明の一実施形態は、上記の問題点に鑑みてなされたものであって、コミュニケーションに参加している参加者が、関係者から、コメントを得ることを容易にするコミュニケーション支援装置を提供する。

【課題を解決するための手段】

【0007】

上記の課題を解決するため、本発明の一実施形態に係るコミュニケーション支援装置は、コミュニケーションに参加している参加者が利用する端末装置から送信された所定の操作を受け付けたことを示す操作情報を受け付ける受付部と、前記操作情報を受け付けたときに、前記所定の操作を受け付けたことを示す通知を前記参加者に予め関連付けられた通知先に通知する通知部と、前記通知に応じて前記通知先で入力されたコメントを前記参加者が利用する端末装置に表示させるために前記コメントを前記参加者が利用する端末装置に送信する表示制御部と、を有する。

【発明の効果】

【0008】

本発明の一実施形態によれば、コミュニケーションに参加している参加者が、関係者から、コメントを得ることを容易にするコミュニケーション支援装置を提供することができる。

【図面の簡単な説明】

【0009】

【図1】一実施形態に係るコミュニケーション支援システムのシステム構成の一例を示す図である。

【図2】一実施形態に係るコミュニケーション支援システムのシステム構成の別の一例を示す図である。

【図3】一実施形態に係るコンピュータのハードウェア構成の例を示す図である。

【図4】一実施形態に係る端末装置のハードウェア構成の一例を示す図である。

【図5】一実施形態に係るコミュニケーション支援システムの機能構成の例を示す図である。

【図6】一実施形態に係る端末装置の処理の例を示すフローチャートである。

【図7】一実施形態に係る端末装置の操作画面の例を示す図である。

【図8】一実施形態に係る端末装置の表示画面の例を示す図である。

【図9】一実施形態に係る発話音声の受信処理の例を示すフローチャートである。

【図10】第１の実施形態に係るコミュニケーション支援システムの処理の一例を示すシーケンス図である。

【図11】一実施形態に係るグループ情報の例を示す図である。

【図12】一実施形態に係る情報端末の表示画面の例を示す図（１）である。

【図13】一実施形態に係る情報端末の表示画面の例を示す図（２）である。

【図14】第１の実施形態に係るコミュニケーション支援システムの処理の別の一例を示すシーケンス図である。

【図15】第２の実施形態に係るコミュニケーション支援システムの機能構成の例を示す図である。

【図16】第２の実施形態に係るコミュニケーション支援システムの処理の例を示すシーケンス図である。

【図17】一実施形態に係る情報提供画面の例を示す図（１）である。

【図18】一実施形態に係る情報提供画面の例を示す図（２）である。

【図19】一実施形態に係る情報提供画面の提供処理の例を示すフローチャートである。

【図20】一実施形態に係るコメント欄の表示処理の例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態（本実施形態）について、図面を参照しながら詳細に説明する。

【0011】

＜システム構成＞
図１、２は、一実施形態に係るコミュニケーション支援システムのシステム構成の例を示す図である。コミュニケーション支援システム１は、例えば、図１に示すように、インターネット、又はＬＡＮ（Local Area network）等の通信ネットワークＮに接続するコミュニケーション支援装置１０、会議サーバ２０、複数の端末装置１００ａ、１００ｂ、１００ｃ、１００ｄ、・・・、及び１つ以上の情報端末１０１等を含む。なお、以下の説明において、複数の端末装置１００ａ、１００ｂ、１００ｃ、１００ｄ、・・・のうち、任意の端末装置を示す場合、「端末装置１００」を用いる。また、図１に示した端末装置１００の数は一例である。

【0012】

コミュニケーション支援システム１は、端末装置１００と、１つ以上の他の端末装置１００との間で、少なくとも音声を送受信する、例えば、商談、会議、診療、講義、又はカウンセリング等の様々なコミュニケーションを支援するシステムである。ここでは、一例として、コミュニケーション支援システム１が、端末装置１００を利用する参加者と、他の端末装置１００を利用する他の参加者との間で、音声を含む映像を送受信し、商談を行うウェブ会議を支援するものとして、以下の説明を行う。

【0013】

端末装置１００は、ウェブ会議に参加する参加者が利用する、例えば、ＰＣ（Personal Computer）、タブレット端末、又はスマートフォン等の汎用の情報端末である。或いは、端末装置１００は、ビデオ会議装置、又はＩＷＢ（Interactive White Board）等のウェブ会議の機能を有する電子機器であってもよい。なお、ＩＷＢは、相互通信が可能な電子式の黒板機能を有する白板であり、電子黒板とも呼ばれる。ここでは、一例として、端末装置１００が、汎用の情報端末であるものとして、以下の説明を行う。

【0014】

ウェブ会議に参加する参加者は、例えば、端末装置１００にインストールされたウェブ会議用のアプリケーション、又はウェブブラウザ等を利用して、会議サーバ２０が提供する会議用のアドレスにアクセスすることにより、ウェブ会議に参加する。

【0015】

コミュニケーション支援装置１０は、例えば、コンピュータの構成を有する情報処理装置、又は複数のコンピュータを含むシステムである。コミュニケーション支援装置１０は、本実施形態に係るコミュニケーション支援サービスを提供する。

【0016】

会議サーバ２０は、コンピュータの構成を有する情報処理装置、又は複数のコンピュータを含むシステムである。会議サーバ２０は、複数の端末装置１００の間で、音声、又は音声を含む映像を送受信するウェブ会議サービスを提供する。なお、本実施形態では、会議サーバ２０が提供するウェブ会議サービスは、任意のウェブ会議サービスであってよい。

【0017】

１つ以上の情報端末１０１は、本実施形態に係るコミュニケーション支援サービスを利用する組織の管理者（マネージャー）、及びメンバー等が利用する、例えば、ＰＣ、タブレット端末、又はスマートフォン等の情報端末である。管理者等は、例えば、情報端末１０１が備えるウェブブラウザ、又は情報端末１０１が実行するコミュニケーション支援システム１用のアプリケーションプログラム（以下、アプリと呼ぶ）等を利用して、コミュニケーション支援サービスを利用する。

【0018】

なお、図１に示したコミュニケーション支援システム１のシステム構成は一例である。例えば、コミュニケーション支援システム１は、図２に示すように、会議サーバ２０を有していなくてもよい。この場合、端末装置１００は、コミュニケーション支援システム１の外部のウェブ会議サービスを利用して、ウェブ会議を行うものであってよい。或いは、コミュニケーション支援装置１０が会議サーバ２０の機能を有しており、端末装置１００は、コミュニケーション支援装置１０が提供するウェブ会議サービスを利用して、ウェブ会議を行うものであってもよい。さらに、コミュニケーション支援システム１は、端末装置１００ａを用いて、参加者と他の参加者が同じ会議室で会議を行う一般の会議におけるコミュニケーションを支援するものであってもよい。

【0019】

（処理の概要）
例えば、会議サーバ２０が提供するウェブ会議を利用して商談を行っているときに、商談に参加している参加者（例えば、営業担当者）が、商談に参加している他の参加者（例えば、クライアント）から、即答が困難な質問を受ける場合がある。

【0020】

このような場合、参加者は、クライアントから受けた質問を持ち帰らずに、できるだけ商談の中で回答したいと思っているため、例えば、メッセージングサービス、又はチャット等を用いて、わからないことを他の関係者等に確認している場合がある。

【0021】

このように、従来の技術では、会議中に、会議に参加していない他の関係者から、コメントを得ることには困難を伴っていた。

【0022】

そこで、本実施形態は、コミュニケーションに参加している参加者が、当該コミュニケーション参加していない関係者から、コメントを得ることを容易にするコミュニケーション支援システム１を提供する。

【0023】

例えば、端末装置１００は、会議に参加している参加者、及び他の参加者の発話音声をコミュニケーション支援装置１０に送信するとともに、参加者による所定の操作を受け付けるアプリケーションプログラム（以下、アプリと呼ぶ）を実行する。このアプリにより、装置１００は、参加者が、会議に参加していない他の関係者に助言を求めるための表示要素（例えば、後述する「ＳＯＳを送る」ボタン等）を含む操作画面を表示する。

【0024】

コミュニケーション支援装置１０は、端末装置１００で実行しているアプリが所定の操作を受け付けると、所定の操作を受け付けたことを示す通知を、予め設定された通知先（例えば、他の関係者が利用する情報端末１０１等）に通知する。また、コミュニケーション支援装置１０は、当該通知に応じて通知先で入力されたコメントを、参加者が利用する端末装置１００に表示させる。

【0025】

好ましくは、コミュニケーション支援装置１０が、通知先に通知する通知は、参加者、及び他の参加者の発話音声をテキスト化した文字列の少なくとも一部を含む。これにより、通知を受けた他の関係者は、参加者が必要としているコメントの内容を把握することが容易になる。また、参加者は、会議の状況、又は助言を受けたい内容等を入力しなくても、他の関係者に助言を求めることができる。

【0026】

このように、本実施形態によれば、コミュニケーションに参加している参加者が、関係者から、コメントを得ることを容易にするコミュニケーション支援装置を提供することができる。

【0027】

＜ハードウェア構成＞
（コンピュータのハードウェア構成）
コミュニケーション支援装置１０、会議サーバ２０、及び情報端末１０１は、例えば、図３に示すようなコンピュータ３００のハードウェア構成を備えている。或いは、コミュニケーション支援装置１０、又は会議サーバ２０は、複数のコンピュータ３００によって構成されるものであってもよい。また、端末装置１００は、一例として、図３に示すようなコンピュータ３００のハードウェア構成を有していてもよい。

【0028】

図３は、一実施形態に係るコンピュータのハードウェア構成の例を示す図である。コンピュータ３００は、例えば、図３に示されるように、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３、ＨＤ（Hard Disk）３０４、ＨＤＤ（Hard Disk Drive）コントローラ３０５、ディスプレイ３０６、外部機器接続Ｉ／Ｆ（Interface）３０７、ネットワークＩ／Ｆ３０８、キーボード３０９、ポインティングデバイス３１０、ＤＶＤ－ＲＷ（Digital Versatile Disk Rewritable)ドライブ３１２、メディアＩ／Ｆ３１４、及びバスライン３１５等を備えている。

【0029】

また、コンピュータ３００が端末装置１００である場合、コンピュータ３００は、例えば、マイク３２１、スピーカ３２２、音入出力Ｉ／Ｆ３２３、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ３２４、及び撮像素子Ｉ／Ｆ３２５等を、さらに備える。

【0030】

これらのうち、ＣＰＵ３０１は、コンピュータ３００全体の動作を制御する。ＲＯＭ３０２は、例えば、ＩＰＬ（Initial Program Loader）等のコンピュータ３００の起動に用いられるプログラムを記憶する。ＲＡＭ３０３は、例えば、ＣＰＵ３０１のワークエリア等として使用される。ＨＤ３０４は、例えば、ＯＳ（Operating System）、アプリケーション、デバイスドライバ等のプログラムや、各種データを記憶する。ＨＤＤコントローラ３０５は、例えば、ＣＰＵ３０１の制御に従ってＨＤ３０４に対する各種データの読み出し又は書き込みを制御する。なお、ＨＤ３０４、及びＨＤＤコントローラ３０５は、コンピュータ３００が備えるストレージデバイスの一例である。

【0031】

ディスプレイ３０６は、例えば、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。なお、ディスプレイ３０６は、コンピュータ３００の外部に設けられていてもよい。外部機器接続Ｉ／Ｆ３０７は、コンピュータ３００に、様々な外部装置を接続するためのインタフェースである。ネットワークＩ／Ｆ３０８は、コンピュータ３００を通信ネットワークＮに接続して、他の装置と通信するためのインタフェースである。

【0032】

キーボード３０９は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス３１０は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行なう入力手段の一種である。なお、キーボード３０９、及びポインティングデバイス３１０は、コンピュータ３００の外部に設けられていてもよい。

【0033】

ＤＶＤ－ＲＷドライブ３１２は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ３１１に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷ３１１は、ＤＶＤ－ＲＷに限らず、他の記録媒体であってもよい。メディアＩ／Ｆ３１４は、フラッシュメモリ等のメディア３１３に対するデータの読み出し又は書き込み（記憶）を制御する。バスライン３１５は、上記の各構成要素を電気的に接続するためのアドレスバス、データバス及び各種の制御信号等を含む。

【0034】

マイク３２１は、音を電気信号に変える内蔵型の回路である。スピーカ３２２は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力Ｉ／Ｆ３２３は、ＣＰＵ３０１の制御に従ってマイク３２１及びスピーカ３２２との間で音信号の入出力を処理する回路である。

【0035】

ＣＭＯＳセンサ３２４は、ＣＰＵ３０１の制御に従って被写体（例えば自画像）を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、コンピュータ３００は、ＣＭＯＳセンサ３２４に代えて、ＣＣＤ(Charge Coupled Device)センサ等の撮像手段を有していてもよい。撮像素子Ｉ／Ｆ３２５は、ＣＭＯＳセンサ３２４の駆動を制御する回路である。

【0036】

（端末装置のハードウェア構成の一例）
図４は、一実施形態に係る端末装置のハードウェア構成の一例を示す図である。ここでは、端末装置１００が、例えば、スマートフォン、又はタブレット端末等の情報端末である場合における端末装置１００のハードウェア構成の例について説明する。なお、端末装置１００は、例えば、ビデオ会議装置、又はＩＷＢ等のコンピュータの構成と、ウェブ会議の機能を備えた電子機器であってもよい。また、情報端末１０１は、図３に示すようなコンピュータ３００のハードウェア構成を有していてもよい。

【0037】

図４の例では、端末装置１００は、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、ストレージデバイス４０４、ＣＭＯＳセンサ４０５、撮像素子Ｉ／Ｆ４０６、加速度・方位センサ４０７、メディアＩ／Ｆ４０９、ＧＰＳ（Global Positioning System）受信部４１０等を備えている。

【0038】

これらのうち、ＣＰＵ４０１は、所定のプログラムを実行することにより端末装置１００全体の動作を制御する。ＲＯＭ４０２は、例えば、ＩＰＬ等のＣＰＵ４０１の起動に用いられるプログラムを記憶する。ＲＡＭ４０３は、ＣＰＵ４０１のワークエリアとして使用される。ストレージデバイス４０４は、ＯＳ、アプリ等のプログラム、及び各種のデータ等を記憶する大容量の記憶装置であり、例えば、ＳＳＤ（Solid State Drive）、又はフラッシュＲＯＭ等によって実現される。

【0039】

ＣＭＯＳセンサ４０５は、ＣＰＵ４０１の制御に従って被写体（主に自画像）を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、端末装置１００は、ＣＭＯＳセンサ４０５に代えて、ＣＣＤセンサ等の撮像手段を有していてもよい。撮像素子Ｉ／Ｆ４０６は、ＣＭＯＳセンサ４０５の駆動を制御する回路である。加速度・方位センサ４０７は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ４０９は、フラッシュメモリ等のメディア（記憶メディア）４０８に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部４１０は、ＧＰＳ衛星からＧＰＳ信号（測位信号）を受信する。

【0040】

また、端末装置１００は、遠距離通信回路４１１、遠距離通信回路４１１のアンテナ４１１ａ、ＣＭＯＳセンサ４１２、撮像素子Ｉ／Ｆ４１３、マイク４１４、スピーカ４１５、音入出力Ｉ／Ｆ４１６、ディスプレイ４１７、外部機器接続Ｉ／Ｆ４１８、近距離通信回路４１９、近距離通信回路４１９のアンテナ４１９ａ、及びタッチパネル４２０を備えている。

【0041】

これらのうち、遠距離通信回路４１１は、例えば、通信ネットワークＮを介して、他の装置と通信する回路である。ＣＭＯＳセンサ４１２は、ＣＰＵ４０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ４１３は、ＣＭＯＳセンサ４１２の駆動を制御する回路である。マイク４１４は、音を電気信号に変える内蔵型の回路である。スピーカ４１５は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力Ｉ／Ｆ４１６は、ＣＰＵ４０１の制御に従ってマイク４１４及びスピーカ４１５との間で音信号の入出力を処理する回路である。

【0042】

ディスプレイ４１７は、被写体の画像や各種アイコン等を表示する液晶、又は有機ＥＬ(Electro Luminescence)等の表示手段の一種である。外部機器接続Ｉ／Ｆ４１８は、各種の外部機器を接続するためのインタフェースである。近距離通信回路４１９は、近距離無線通信を行う回路を含む。タッチパネル４２０は、利用者がディスプレイ４１７を押下することで、端末装置１００を操作する入力手段の一種である。

【0043】

また、端末装置１００は、バスライン４２１を備えている。バスライン４２１は、図４に示されているＣＰＵ４０１等の各構成要素を電気的に接続するためのアドレスバス、データバス、及び各種の制御信号等を含む。

【0044】

なお、図４に示した端末装置１００のハードウェア構成は一例である。端末装置１００は、コンピュータの構成、通信回路、ディスプレイ、マイク、及びスピーカ等を有していれば、他の様々なハードウェア構成であってもよい。

【0045】

＜機能構成＞
続いて、コミュニケーション支援システム１の機能構成について説明する。図５は、一実施形態に係るコミュニケーション支援システムの機能構成の例を示す図である。

【0046】

（端末装置の機能構成）
ここでは、端末装置１００が、図３に示すようなコンピュータ３００のハードウェア構成を有しているものとして、以下の説明を行う。

【0047】

端末装置１００は、ＣＰＵ３０１で所定のプログラムを実行することにより、例えば、通信部５１１、会議制御部５１２、音声送信部５１３、表示部５１４、及び操作受付部５１５等の機能構成を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。

【0048】

通信部５１１は、例えば、ネットワークＩ／Ｆ３０８等を用いて、端末装置１００を通信ネットワークＮに接続して、他の装置と通信する通信処理を実行する。

【0049】

会議制御部５１２は、例えば、会議への接続、会議映像（又は会議音声）の送受信、及び会議映像（又は会議音声）の入出力等、ウェブ会議に関する一連の処理を実行する。なお、会議制御部５１２が実行する処理は、一般的なウェブ会議と同様の処理であってよい。なお、会議、及びウェブ会議は、本実施形態に係るコミュニケーションの一例である。

【0050】

音声送信部５１３は、会議に参加する参加者、及び他の参加者の発話音声を取得し、取得した発話音声（音声データ）をコミュニケーション支援装置１０に送信する音声送信処理を実行する。例えば、音声送信部５１３は、音入出力Ｉ／Ｆ３２３から、マイク３２１で取得した音声、及びスピーカ３２２から出力する音声等の発話音声を取得し、取得した発話音声をコミュニケーション支援装置１０に送信する。これにより、コミュニケーション支援システム１は、ウェブ会議に限られず、通常の会議等のコミュニケーションを支援することも可能である。

【0051】

表示部５１４は、例えば、ディスプレイ３０６等に表示画面を表示する表示処理を実行する。操作受付部５１５は、例えば、キーボード３０９、又はポインティングデバイス３１０等の入力デバイスを用いて、参加者による操作を受け付ける操作受付処理を実行する。例えば、操作受付部５１５は、表示部５１４が表示した操作画面に対する所定の操作を受付し、受け付けた所定の操作の情報である操作情報を、通信部５１１を介してコミュニケーション支援装置１０へ送信する。

【0052】

（コミュニケーション支援装置の機能構成）
コミュニケーション支援装置１０は、１つ以上のコンピュータ３００が所定のプログラムを実行することにより、例えば、通信部５０１、取得部５０２、変換部５０３、受付部５０４、通知部５０５、表示制御部５０６、データ処理部５０７、及び情報提供部５０８等の機能構成を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。

【0053】

また、コミュニケーション支援装置１０は、例えば、ＨＤ３０４、及びＨＤＤコントローラ３０５等のストレージデバイスにより、記憶部５０９を実現している。

【0054】

通信部５０１は、例えば、ネットワークＩ／Ｆ３０８等を用いて、コミュニケーション支援装置１０を通信ネットワークＮに接続し、他の装置と通信する通信処理を実行する。

【0055】

取得部５０２は、会議（コミュニケーション）に参加する参加者、及び他の参加者の発話音声（音声データ）を取得する取得処理を実行する。例えば、取得部５０２は、参加者が利用する端末装置１００の音声送信部５１３が、コミュニケーション支援装置１０に送信する、参加者の発話音声、及び他の参加者の発話音声を取得し、取得した発話音声を記憶部５０９等に記憶する。

【0056】

変換部５０３は、取得部５０２が取得した、参加者、及び他の参加者の発話音声をテキスト化する変換処理を実行する。例えば、変換部５０３は、参加者の発話音声、及び他の参加者の発話音声をテキスト化し、テキスト化した文字列を記憶部５０９等に記憶する。

【0057】

受付部５０４は、会議に参加している参加者による所定の操作を受け付ける受付処理を実行する。例えば、受付部５０４は、端末装置１００から、通知先に助言を求めるための所定の操作を受け付けたことを示す操作情報を受け付けることにより、参加者による所定の操作を受け付ける。

【0058】

通知部５０５は、受付部５０４が所定の操作を受け付けたときに、所定の操作を受け付けたことを示す通知を参加者に予め関連付けられた通知先に通知する。例えば、コミュニケーション支援装置１０は、会議に参加している参加者と同じグループ（組織等）に所属しているマネージャー、及びメンバー等の情報が登録されたグループ情報等を予め記憶しておく。また、通知部５０５は、受付部５０４が所定の操作を受け付けたときに、記憶部５０９等に記憶したグループ情報等に基づいて、参加者と同じグループのマネージャー、又はメンバー等に、参加者による所定の操作を受け付けたことを通知する。なお、同じグループのマネージャーは、参加者に対応する管理者の一例である。

【0059】

表示制御部５０６は、通知部５０５が通知した通知に応じて、通知先で入力されたコメントを、通信部５０１を介して、参加者が利用する端末装置１００に送信することで表示させる表示制御処理を実行する。

【0060】

ここで、表示制御処理とは、端末装置１００において表示されるコメントなどの情報を送信することも含まれる。

【0061】

データ処理部５０７は、端末装置１００から受信した発話音声（音声データ）から、参加者と他の参加者の発話状況を示す指標（例えば、発話音量、発話率、又は発話速度等）を算出する。また、データ処理部５０７は、端末装置１００から受信した発話音声、算出した指標、端末装置１００から受信した操作情報、及び操作情報に対応するコメント等を、記憶部５０９等に記憶して管理する。

【0062】

情報提供部５０８は、取得部５０２が取得した発話音声に基づいて、参加者と他の参加者の発話状況を示す指標を時系列に図示するとともに、所定の操作を受け付けた時刻に対応するマーカを表示する情報提供画面を提供する。

【0063】

記憶部５０９は、例えば、取得部５０２が取得した発話音声、変換部５０３が変換した文字列、受付部５０４が受け付けた所定の操作の情報、データ処理部５０７が算出した指標、及び設定情報等を記憶する。

【0064】

（会議サーバの機能構成）
会議サーバ２０は、１つ以上のコンピュータ３００が所定のプログラムを実行することにより、例えば、通信部５２１、会議管理部５２２、及び中継部５２３等の機能構成を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。

【0065】

通信部５２１は、例えば、ネットワークＩ／Ｆ３０８等を用いて、会議サーバ２０を通信ネットワークＮに接続し、他の装置と通信する通信処理を実行する。

【0066】

会議管理部５２２は、同じウェブ会議用のＵＲＬ（Uniform Resource Locator）にアクセスする複数の端末装置１００を同じ会議（セッション）に参加させる会議管理処理を実行する。

【0067】

中継部５２３は、同じ会議に参加する複数の端末装置１００の間で、音声、及び画像を含むコンテンツデータを中継する中継処理を実行する。なお、会議管理部５２２、及び中継部５２３の機能は、既存のウェブ会議システムの機能を流用するものであってよい。

【0068】

また、本実施形態では、会議サーバ２０は、コミュニケーション支援システム１の外部の任意のウェブ会議サービスであってよい。

【0069】

（管理者端末の機能構成）
情報端末１０１は、例えば、コンピュータ３００が所定のプログラムを実行することにより、通信部５３１、表示部５３２、及び操作受付部５３３等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。

【0070】

通信部５３１は、例えば、ネットワークＩ／Ｆ３０８等を用いて、情報端末１０１を通信ネットワークＮに接続して、他の装置と通信する通信処理を実行する。

【0071】

表示部５３２は、例えば、情報提供部５０８等から提供される表示画面、及び通知部５０５から通知される通知等を、ディスプレイ３０６等に表示する表示処理を実行する。操作受付部５３３は、例えば、表示部５３２が表示した表示画面に対する管理者等による入力操作、又は選択操作等の操作を受け付ける操作受付処理を実行する。なお、表示部５３２、及び操作受付部５３３は、例えば、情報端末１０１が備えるウェブブラウザ等によって実現されるものであってもよい。例えば、情報端末１０１は、ウェブブラウザを備えた汎用の情報端末等であってもよい。

【0072】

なお、図５に示したコミュニケーション支援システム１の機能構成は一例である。例えば、会議サーバ２０の機能は、コミュニケーション支援装置１０が有していてもよいし、コミュニケーション支援システム１の外部のコンピュータ３００、又はクラウドサービス等が有していてもよい。また、コミュニケーション支援装置１０の機能構成の少なくとも一部は、端末装置１００、又は情報端末１０１等が有していてもよい。さらに、端末装置１００が備える機能構成の少なくとも一部は、コミュニケーション支援装置１０、又は会議サーバ２０等が備えていてもよい。要するに、図９に示した、コミュニケーション支援システム１の各機能構成は、コミュニケーション支援システム１に含まれる、いずれかの装置が有していればよい。

【0073】

＜処理の流れ＞
続いて、本実施形態に係る情報処理支援方法の処理の流れについて説明する。

【0074】

（端末装置の処理）
図６は、一実施形態に係る端末装置の処理の例を示すフローチャートである。この処理は、例えば、図５で説明した機能構成を有する端末装置１００が実行する処理の例を示している。なお、図６に示す処理の開始時点において、参加者が利用する端末装置１００（例えば、端末装置１００ａ）は、他の参加者が利用する端末装置（例えば、端末装置１００ｂ）と同じ会議に参加し、少なくとも音声による会話が可能な状態であるものとする。

【0075】

ステップＳ６０１において、操作受付部５１５が、記録の開始操作を受け付けると、端末装置１００は、ステップＳ６０２以降の処理を実行する。例えば、端末装置１００でコミュニケーション支援システム１に対応するアプリを実行することにより、表示部５１４は、図７（Ａ）に示すような操作画面７１０をディスプレイ３０６等に表示する。参加者は、操作画面７１０において、「記録する」ボタン７１１を選択することにより、発話音声の記録の開始操作を行うことができる。

【0076】

ステップＳ６０２において、音声送信部５１３は、発話音声の送信処理を開始する。例えば、音声送信部５１３は、音入出力Ｉ／Ｆ３２３から、マイク３２１で取得した音声、及びスピーカ３２２から出力する音声等の発話音声を取得し、取得した発話音声をコミュニケーション支援装置１０に送信する。

【0077】

ステップＳ６０３において、操作受付部５１５は、参加者による所定の操作を受け付けたか否かを判断する。例えば、表示部５１４は、発話音声を記録中に、図７（Ｂ）に示すような操作画面７２０をディスプレイ３０６等に表示する。参加者は、図７（Ｂ）に示した操作画面７２０において、「停止する」ボタン７２１を選択することにより、発話音声の記録の停止操作を行うことができる。また、参加者は、「ＳＯＳを送る」ボタン７２２を選択することにより、通知先に助言を求めるための所定の操作を行うことができる。

【0078】

なお、「ＳＯＳを送る」ボタン７２２を選択操作は、所定の操作の一例である。例えば、表示部５１４は、発話音声を記録中に、図７（Ｃ）に示すような操作画面７３０をディスプレイ３０６等に表示してもよい。操作画面７３０には、「ＳＯＳを送る」ボタン７２２に加えて、「ブックマークする」ボタン７３１が表示されている。参加者は、「ブックマークする」ボタン７３１を選択することにより、現在の発話音声にマーキングするための所定の操作を行うことができる。なお、「ブックマークする」ボタン７３１の選択操作は、所定の操作の別の一例である。

【0079】

所定の操作を受け付けた場合、操作受付部５１５は、処理をステップＳ６０４に移行させる。一方、所定の操作を受け付けていない場合、操作受付部５１５は、処理をステップＳ６０５に移行させる。

【0080】

ステップＳ６０４に移行すると、操作受付部５１５は、所定の操作を受け付けたことを示す操作情報を、通信部５１１を介して、コミュニケーション支援装置１０に送信する。

【0081】

ステップＳ６０５に移行すると、表示部５１４は、操作受付部５１５が送信した操作情報に応じて、コミュニケーション支援装置１０からコメントを受け付けたか否かを判断する。コメントを受け付けた場合、表示部５１４は、処理をステップＳ６０６に移行させる。一方、コメントを受け付けていない場合、表示部５１４は、処理をステップＳ６０７に移行させる。

【0082】

ステップＳ６０６に移行すると、表示部５１４は、コミュニケーション支援装置１０から受け付けたコメントをディスプレイ３０６等に表示する。

【0083】

図８は、一実施形態に係る端末装置の表示画面の例を示す図である。この図は、例えば、図６のステップＳ６０６において、表示部５１４がディスプレイ３０６等に表示する表示画面８００のイメージを示している。図８の例では、表示画面８００には、図７で説明した操作画面７２０、会議画面８１０、及びコメント画面８２０等が表示されている。

【0084】

会議画面８１０は、例えば、参加者、及び他の参加者を撮影した会議映像、又は画面を共有する共有画面等を表示する会議システム用の画面である。表示部５１４は、例えば、会議画面８１０に重畳させて、コメント画面８２０を表示し、コメント画面８２０に、コミュニケーション支援装置１０から受け付けた、他の関係者からのコメント８２１を表示する。これにより、例えば、操作画面７２０が、最小化されている場合、又は会議画面８１０の背後に表示されている場合等でも、参加者は、他の関係者からのコメントを容易に確認することができる。

【0085】

ステップＳ６０７に移行すると、操作受付部５１５は、記録の停止操作を受け付けたか否かを判断する。記録の停止操作を受け付けていない場合、操作受付部５１５は、処理をステップＳ６０３に戻し、ステップＳ６０３～Ｓ６０７の処理を再び実行する。一方、記録の停止操作を受け付けた場合、操作受付部５１５は、処理をステップＳ６０８に移行させる。

【0086】

ステップＳ６０８に移行すると、音声送信部５１３は、発話音声の送信処理を停止、又は終了する。

【0087】

図６の処理により、端末装置１００は、参加者と他の参加者の発話音声をコミュニケーション支援装置１０に送信するとともに、参加者による所定の操作を受け付けたことをコミュニケーション支援装置１０に通知することができる。

【0088】

（発話音声の受信処理）
図９は、一実施形態に係る発話音声の受信処理の例を示すフローチャートである。この処理は、コミュニケーション支援装置１０が、端末装置１００から発話音声を受信したときに実行する発話音声の受信処理の例を示している。

【0089】

ステップＳ９０１において、取得部５０２が、端末装置１００が送信する参加者と他の参加者の発話音声の受信を開始すると、コミュニケーション支援装置１０は、ステップＳ９０２移行の処理を実行する。

【0090】

ステップＳ９０２において、変換部５０３は、取得部５０２が取得した発話音声をテキスト化する変換処理を実行する。なお、音声をテキスト化する処理は、例えば、文字起こし、又はテキスト変換等と呼ばれる場合がある。また、変換部５０３は、例えば、文字起こしサーバ、テキスト化サーバ、又はテキスト変換サーバ等を利用して、取得部５０２が取得した音声をテキスト化してもよい。

【0091】

ステップＳ９０３において、データ処理部５０７は、変換部５０３が変換した文字列を記憶部５０９等に記憶する。好ましくは、データ処理部５０７は、変換部５０３が変換した文字列に時刻情報等を付加して、会議ＩＤごとに時系列に記憶部５０９等に記憶する。

【0092】

また、コミュニケーション支援装置１０は、ステップＳ９０２、Ｓ９０３の処理と並行して、ステップＳ９０４、Ｓ９０５の処理を実行する。

【0093】

ステップＳ９０４において、データ処理部５０７は、取得部５０２が取得した発話音声の発話音量を算出する。例えば、データ処理部５０７は、参加者の発話音声から参加者の発話音量を算出し、他の参加者の発話音声から他の参加者の発話音量を算出する。

【0094】

ステップＳ９０５において、データ処理部５０７は、取得部５０２が取得した発話音声と、ステップＳ９０４で算出した発話音量を記憶部５０９等に記憶する。好ましくは、データ処理部５０７は、取得した発話音声、及び算出した発話音量に時刻情報を付加して、会議ＩＤごとに時系列に記憶部５０９等に記憶する。

【0095】

ステップＳ９０６において、コミュニケーション支援装置１０は、発話音声の受信を停止したか否かを判断する。発話音声の受信を停止していない場合、コミュニケーション支援装置１０は、処理をステップＳ９０２に戻して、ステップＳ９０２～Ｓ９０６の処理を再び実行する。一方、発話音声の受信を停止した場合、コミュニケーション支援装置１０は、図９の処理を終了する。

【0096】

図９の処理により、コミュニケーション支援装置１０は、端末装置１００から受信した発話音声に基づいて、参加者、及び他の参加者の発話音声、発話音声をテキスト化した文字列、及び発話音量等のデータを、記憶部５０９等に記憶することができる。なお、発話音量は、参加者と他の参加者の発話状況を示す指標の一例である。参加者と他の参加者の発話状況を示す指標は、例えば、発話率、発話比率、又は発話速度等の他の指標であってもよい。

【0097】

＜コミュニケーション支援システムの処理＞
［第１の実施形態］
（コミュニケーション支援システムの処理１）
図１０は、第１の実施形態に係るコミュニケーション支援システムの処理の一例を示すシーケンス図である。この処理は、例えば、図６で説明した端末装置の処理、及び図９で説明した発話音声の受信処理と並行して、コミュニケーション支援システム１が実行する処理の一例を示している。

【0098】

ステップＳ１００１において、端末装置１００ａを利用する参加者が、端末装置１００が表示している、例えば、図７（Ｂ）に示すような操作画面７２０において、「ＳＯＳを送る」ボタン７２２を選択するものとする。

【0099】

ステップＳ１００２において、端末装置１００ａの操作受付部５１５は、「ＳＯＳを送る」ボタン７２２の選択操作を受け付けると、「ＳＯＳを送る」ボタン７２２の選択操作を受け付けたことを示す操作情報を、コミュニケーション支援装置１０に送信する。

【0100】

ステップＳ１００３において、コミュニケーション支援装置１０の受付部５０４が、端末装置１００が送信した操作情報を受け付けると、通知部５０５は、所定の通知先に通知する通知情報を収集する。例えば、コミュニケーション支援装置１０の通知部５０５は、端末装置１００が参加している会議を識別する会議ＩＤ、所定の操作を受け付けた時刻を示す時刻情報、及び所定の操作を受け付ける前に発話音声をテキスト化した文字列（文字起こし結果）等を収集する。

【0101】

ステップＳ１００４において、通知部５０５は、ＳＯＳ通知を通知する通知先を特定する。例えば、コミュニケーション支援装置１０の記憶部５０９には、図１１に示すようなグループ情報１１００が予め記憶されているものとする。図１１の例では、グループ情報１１００には、項目として、「メンバー」、「役職」、及び「メールアドレス」等の情報が含まれる。

【0102】

「メンバー」は、例えば、同じ組織等のグループに所属するメンバーの名前等を示す情報である。「役職」は、各メンバーの役職、又はロール等を示す情報である。「メールアドレス」は、各メンバーのメールアドレスを示す情報である。

【0103】

なお、ここでは、端末装置１００ａを利用している参加者がメンバーＢであり、メンバーＢに対応する管理者（マネージャー）がマネージャーＡであるものとする。また、各メンバーは、コミュニケーション支援装置１０が提供するコミュニケーション支援サービスを利用するときに、メールアドレスをログインＩＤとして、コミュニケーション支援装置１０にログインするものとする。

【0104】

第１の実施形態では、通知部５０５は、一例として、会議に参加している参加者（メンバーＢ）と同じグループ内の管理者（マネージャーＡ）に、ＳＯＳ通知を通知するものとして、以下の説明を行う。

【0105】

ステップＳ１００５において、通知部５０５は、管理者（マネージャーＡ）が利用する情報端末１０１に対して、ＳＯＳ通知を通知する。このＳＯＳ通知には、例えば、ステップＳ１００３で収集した会議ＩＤと、時刻情報と、所定の操作を受け付ける前に発話音声をテキスト化した文字列（文字起こし結果）の少なくとも一部と、が含まれる。例えば、通知部５０５は、管理者（マネージャーＡ）のメールアドレスで、コミュニケーション支援装置１０にログインしている情報端末１０１に、ＳＯＳ通知を送信する。

【0106】

ステップＳ１００６において、情報端末１０１の表示部５３２は、コミュニケーション支援装置１０から受け付けたＳＯＳ通知を、情報端末１０１のディスプレイ３０６等に表示する。

【0107】

図１２は、一実施形態に係る情報端末の表示画面の例を示す図（１）である。情報端末１０１を利用する管理者等は、コミュニケーション支援装置１０が提供するコミュニケーション支援サービスにログインすることにより、例えば、図１２に示すような表示画面１２００を、情報端末１０１のディスプレイ３０６等に表示することができる。図１２の例では、表示画面１２００には、同じグループに所属するメンバーＢ、メンバーＣ、及びメンバーＣ等が参加している、又は過去に参加した商談の一覧である商談一覧１２１０が表示されている。

【0108】

また、情報端末１０１の表示部５３２は、コミュニケーション支援装置１０からＳＯＳ通知を受け付けると、表示画面１２００の通知領域１２２０に、受け付けたＳＯＳ通知１２２１を表示する。図１２の例では、ＳＯＳ通知１２２１には、商談のタイトル１２２２、及び発話内容をテキスト化した文字列１２２３等が表示されている。管理者は、このＳＯＳ通知１２２１を選択することにより、例えば、図１３に示すような、ＳＯＳ通知の詳細画面１３００を、表示画面１２００に表示することができる。

【0109】

例えば、ステップＳ１００７において、管理者が、表示画面１２００のＳＯＳ通知１２２１を選択するものとする。これに応じて、ステップＳ１００８において、情報端末１０１の操作受付部５３３は、ＳＯＳ通知が選択されたことを示す操作情報を、コミュニケーション支援装置１０に送信する。これに応じて、ステップＳ１００９においてコミュニケーション支援装置１０の通知部５０５は、例えば、図１３に示すような、ＳＯＳ通知の詳細画面１３００を、情報端末１０１に送信する。

【0110】

ステップＳ１０１０において、情報端末１０１の表示部５３２は、コミュニケーション支援装置１０から通知されたＳＯＳ通知の詳細画面１３００を、例えば、図１３に示すように、表示画面１２００に表示する。

【0111】

なお、ステップＳ１００８～Ｓ１０１０の処理は一例である。例えば、情報端末１０１の表示部５３２は、ステップＳ１００５でコミュニケーション支援装置１０から受信したＳＯＳ通知に基づいて、図１３に示すような、ＳＯＳ通知の詳細画面１３００を作成し、表示してもよい。

【0112】

図１３の例では、ＳＯＳ通知の詳細画面１３００には、「ＳＯＳを送る」ボタン７２２が選択される前に、参加者が発話した発話音声と、他の参加者と発話した発話音声とをテキスト化した文字列１３０１と、コメント欄１３０２とが表示されている。

【0113】

管理者は、この文字列１３０１により、参加者（メンバーＢ）がどのような助言を求めているかを判断することができる。例えば、図１３の例では、他の参加者（クライアントＸ）が、「商品Ａの動作速度を教えてください」と発話したときに、「ＳＯＳを送る」ボタン７２２が選択されている。従って、管理者は、参加者（メンバーＢ）が、商品Ａの動作速度のスペックについての助言を求めていると判断してもよい。

【0114】

ステップＳ１０１１において、管理者が、コメント欄１３０２にコメントを入力するものとする。図１３の例では、管理者は、商品Ａの動作速度を示すコメント「動作速度はX m/sです。」をコメント欄１３０２に入力し、送信ボタン１３０３を選択する。

【0115】

ステップＳ１０１２において、情報端末１０１の操作受付部５３３は、管理者が入力したコメントをコミュニケーション支援装置１０に送信する。

【0116】

ステップＳ１０１３において、コミュニケーション支援装置１０の表示制御部５０６は、情報端末１０１から受信したコメントを、端末装置１００ａに送信することにより、当該コメントを端末装置１００ａに表示させる。

【0117】

ステップＳ１０１４において、端末装置１００ａの表示部５１４は、コミュニケーション支援装置１０から受信したコメントを、ディスプレイ３０６等に表示する。例えば、表示部５１４は、図８に示すような、コメント画面８２０に、コミュニケーション支援装置１０から受信したコメント８２１を表示する。

【0118】

図１０の処理により、会議に参加している参加者は、会議中に「ＳＯＳを送る」ボタン７２２を選択するだけで、管理者等の関係者に助言を求めることができる。従って、本実施形態に係るコミュニケーション支援システム１によれば、コミュニケーションに参加している参加者が、当該コミュニケーション参加していない関係者から、コメントを得ることが容易になる。

【0119】

（コミュニケーション支援システムの処理２）
図１４は、第１の実施形態に係るコミュニケーション支援システムの処理の別の一例を示すシーケンス図である。この処理は、例えば、図６で説明した端末装置の処理、及び図９で説明した発話音声の受信処理と並行して、コミュニケーション支援システム１が実行する処理の別の一例を示している。なお、図１４に示した処理のうち、ステップＳ１００１～１００３、Ｓ１００７～Ｓ１０１４の処理は、図１０で説明したステップＳ１００１～１００３、Ｓ１００７～Ｓ１０１４の処理と同様なので、ここでは説明を省略する。

【0120】

ステップＳ１４０１において、通知部５０５は、管理者（マネージャーＡ）のメールアドレスにＳＯＳ通知を送信する。例えば、通知部５０５は、電子メール、又はメッセージングサービス等で、ＳＯＳ通知を管理者に送信する。このＳＯＳ通知には、例えば、図１２に示すようなＳＯＳ通知１２２１を表示するためのリンク情報等が含まれる。

【0121】

ステップＳ１４０２において、管理者は、電子メール、又はメッセージングサービス等で通知されたＳＯＳ通知のリンク情報を選択するものとする。これにより、情報端末１０１の操作受付部５３３は、リンク情報が示すリンク先にアクセスする。

【0122】

ステップＳ１４０４において、コミュニケーション支援装置１０の通知部５０５は、例えば、図１２に示すような表示画面１２００を送信する。これにより、ステップＳ１４０５において、情報端末１０１の表示部５３２は、例えば、図１２に示すような、ＳＯＳ通知１２２１をディスプレイ３０６等に表示する。

【0123】

このように、コミュニケーション支援装置１０は、電子メール、又はメッセージングサービス等を用いて、情報端末１０１にＳＯＳ通知を通知してもよい。

【0124】

［第２の実施形態］
図１５は、第２の実施形態に係るコミュニケーション支援システムの機能構成の例を示す図である。第２の実施形態に係るコミュニケーション支援システム１は、複数の情報端末１０１ａ、１０１ｃ、１０１ｄを含む。ここで、情報端末１０１ａは、図１１のグループ情報１１００に含まれるマネージャーＡが利用する情報端末であるものとする。また、情報端末１０１ｃ、１０１ｄは、それぞれ、グループ情報１１００に含まれるメンバーＣ、メンバーＤが利用する情報端末であるものとする。また、情報端末１０１ａ、１０１ｃ、１０１ｄは、図５で説明した情報端末１０１と同様の機能構成を有しているものとする。

【0125】

＜処理の流れ＞
図１６は、第２の実施形態に係るコミュニケーション支援システムの処理の例を示すシーケンス図である。この処理は、例えば、図６で説明した端末装置の処理、及び図９で説明した発話音声の受信処理と並行して、コミュニケーション支援システム１が実行する処理の別の一例を示している。なお、図１６に示した処理のうち、ステップＳ１００１～１００３の処理は、図１０で説明したステップＳ１００１～１００３の処理と同様なので、ここでは説明を省略する。

【0126】

ステップＳ１６０１において、通知部５０５は、ＳＯＳ通知を通知する通知先を特定する。第１の実施形態では、通知部５０５は、一例として、会議に参加している参加者（メンバーＢ）と同じグループ内の管理者（マネージャーＡ）に、ＳＯＳ通知を通知するものとして説明を行った。

【0127】

一方、第２の実施形態では、通知部５０５は、別の一例として、会議に参加している参加者（メンバーＢ）と同じグループ内のメンバーに、ＳＯＳ通知を通知するものとして、以下の説明を行う。

【0128】

通知部５０５は、例えば、図１１に示すようなグループ情報１１００に基づいて、会議に参加している参加者（メンバーＢ）と同じグループ内のメンバー（マネージャーＡ、メンバーＣ、及びメンバーＤ）を、ＳＯＳ通知を通知する通知先として特定する。

【0129】

ステップＳ１６０２ａ、Ｓ１６０２ｂにおいて、通知部５０５は、管理者（マネージャーＡ）が利用する情報端末１０１ａ、及び他のメンバー（メンバーＣ、及びメンバーＤ）が利用する情報端末１０１ｃ、１０１ｄに対して、ＳＯＳ通知を通知する。

【0130】

ステップＳ１００６において、情報端末１０１ａ、１０１ｂ、１０１ｃの表示部５３２は、コミュニケーション支援装置１０から受け付けたＳＯＳ通知をディスプレイ３０６等に表示する。例えば、情報端末１０１ａ、１０１ｂ、１０１ｃの表示部５３２は、図１２に示すようなＳＯＳ通知１２２１を表示する。

【0131】

ステップＳ１６０４において、管理者が、情報端末１０１ａが表示する表示画面１２００のＳＯＳ通知１２２１を選択するものとする。これに応じて、ステップＳ１６０５において、情報端末１０１ａの操作受付部５３３は、ＳＯＳ通知が選択されたことを示す操作情報を、コミュニケーション支援装置１０に送信する。

【0132】

ステップＳ１６０６においてコミュニケーション支援装置１０の通知部５０５は、例えば、図１３に示すような、ＳＯＳ通知の詳細画面１３００を、情報端末１０１ａに送信する。

【0133】

ステップＳ１６０７において、情報端末１０１ａの表示部５３２は、コミュニケーション支援装置１０から通知されたＳＯＳ通知の詳細画面１３００を、例えば、図１３に示すように、表示画面１２００に表示する。

【0134】

また、ステップＳ１６０８において、管理者が、ＳＯＳ通知の詳細画面１３００のコメント欄１３０２にコメントを入力するものとする。これに応じて、ステップＳ１６０９において、情報端末１０１ａの操作受付部５３３は、管理者が入力したコメントをコミュニケーション支援装置１０に送信する。

【0135】

ステップＳ１６１０において、コミュニケーション支援装置１０の通知部５０５は、情報端末１０１ｃ、１０１ｄに対して、ＳＯＳ通知に対してコメントが入力されたことを示すコメント通知を通知する。これにより、ステップＳ１６１１において、情報端末１０１ｃ、１０１ｄの表示部５１４は、ＳＯＳ通知に対してコメントが入力されたことを示す通知を、ディスプレイ３０６等に表示する。

【0136】

ステップＳ１６１２において、コミュニケーション支援装置１０の表示制御部５０６は、情報端末１０１ａから受信したコメントを、端末装置１００ａに送信することにより、当該コメントを端末装置１００ａに表示させる。

【0137】

ステップＳ１６１３において、端末装置１００ａの表示部５１４は、コミュニケーション支援装置１０から受信したコメントを、ディスプレイ３０６等に表示する。例えば、表示部５１４は、図８に示すような、コメント画面８２０に、コミュニケーション支援装置１０から受信したコメント８２１を表示する。

【0138】

図１６の処理により、例えば、情報端末１０１ｃ、１０１ｄを利用するメンバーＣ、及びメンバーＤは、ＳＯＳ通知に対して、管理者がコメントしたことを確認することが容易になる。また、メンバーＣ、及びメンバーＤは、ＳＯＳ通知に対して、管理者がコメントしていない場合、管理者に代わって、ＳＯＳ通知に対してコメントする必要があると判断することができる。

【0139】

なお、図１６に示した処理は一例である。例えば、ステップＳ１６０４～Ｓ１６０８の処理は、管理者に代わって、情報端末１０１ｃを利用するメンバーＣ、又は情報端末１０１ｄを利用するメンバーＤが行ってもよい。

【0140】

（変形例）
図１６の処理では、コミュニケーション支援装置１０の通知部５０５は、ステップＳ１６０２ａ、Ｓ１６０２ｂの処理を同時に行っている。ただし、これは一例である。例えば、通知部５０５は、ステップＳ１６０２ａにおいて、情報端末１０１ａにＳＯＳ通知を通知後に、所定の時間を経過してもコメントが入力されない場合、ステップＳ１６０２ｂにおいて、情報端末１０１ｃ、１０１ｄにＳＯＳ通知を通知してもよい。

【0141】

これより、管理者がＳＯＳ通知に対応可能である場合、他のメンバーＣ、及びメンバーＤに対するＳＯＳ通知の通知を抑制することができる。また、他のメンバーＣ、及びメンバーＤは、情報端末１０１ｃ、１０１ｄにＳＯＳ通知が通知された場合、管理者が対応できないので、自分たちがコメントすべきであることを容易に把握できるようになる。

【0142】

＜情報提供画面について＞
例えば、会議サーバ２０が提供するウェブ会議を利用して商談を行う場合、商談に参加した参加者、又は参加者を管理する管理者等が、後から商談内容を確認したいという要求がある。そこで、本実施形態に係るコミュニケーション支援装置１０は、例えば、参加者、又は管理者が利用する情報端末１０１に、例えば、図１７に示すような情報提供画面１７００を提供する機能を有している。

【0143】

図１７は、一実施形態に係る情報提供画面の例を示す図（１）である。図１７の例では、コミュニケーション支援装置１０が提供する情報提供画面１７００には、会議の概要１７１０、及び音量タイムライン１７２０が表示されている。

【0144】

会議の概要１７１０には、一例として、会議（商談）に参加した参加者の名前、会議に参加した他の参加者（クライアント）の名前、会議を開始した日時、及び評価等の情報が表示されている。ここで、評価は、例えば、会議に参加した担当者が、商談内容を、星の数等で自己評価した結果等である。

【0145】

音量タイムライン１７２０は、横軸を時間として、会議に参加した参加者の発話音量１７２１ａと、会議に参加した他の参加者の発話音量１７２１ｂとを時系列に表示している。なお、参加者の発話音量１７２１ａ、及び他の参加者の発話音量１７２１ｂは、会議に参加した参加者と他の参加者の発話状況を示す指標の一例である。

【0146】

好ましくは、コミュニケーション支援装置１０は、発話音量のデータから、所定の期間（例えば、数秒～十数分程度）の移動平均を算出して、参加者の発話音量１７２１ａ、及び他の参加者の発話音量１７２１ｂとする。

【0147】

また、コミュニケーション支援装置１０は、記憶部５０９等に記憶した時刻情報に基づいて、所定の操作を受け付けた時刻に対応するマーカを、音量タイムライン１７２０に表示している。図１７の例では、音量タイムライン１７２０には、「ＳＯＳを送る」ボタン７２２の選択操作を受け付けたことを示すマーカ１７２２ａ、１７２２ｂが表示されている。また、音量タイムライン１７２０には、「ブックマークする」ボタン７３１の選択操作を受け付けたことを示すマーカ１７２３も表示されている。これらのマーカ１７１１ａ、１７２２ｂ、及びマーカ１７２３により、管理者、又は参加者等は、音量タイムライン１７２０から、マーキングされた箇所を容易に特定することができる。

【0148】

好ましくは、コミュニケーション支援装置１０は、情報提供画面１７００において、マーカ１７２２ａが選択された場合、例えば、図１８に示すようなコメント欄１８０１を、情報提供画面１７００に表示する。図１８の例では、コミュニケーション支援装置１０は、ポップアップウィンドウ１８００を使って、コメント欄１８０１を表示している。ただし、コメント欄１８０１を表示する方法は、これに限られない。

【0149】

また、マーカ１７１１ａに、既にコメントが登録されている場合、コメント欄１８０１には、例えば、図１８に示すように、コメント１８０３が表示される。また、参加者、又は管理者は、コメント欄１８０１にコメントを入力し、「追加する」ボタン１８０２を選択することにより、マーカ１７２２ａに、コメントを追加することができる。

【0150】

なお、図１８に示したコメント１８０３に表示されている、「マネージャーＡ」、「メンバーＢ」等の名前は、管理者、又は参加者等が自分で入力してもよいし、コミュニケーション支援装置１０が、ログインしたユーザのユーザ名等を自動的に表示してもよい。このコメント欄１８０１により、管理者等は、コミュニケーションに参加した参加者とのコミュニケーションが容易になる。

【0151】

また、コミュニケーション支援装置１０は、図１７に示すように、時系列に表示した参加者の発話音量１７２１ａ、及び他の参加者の発話音量１７２１ｂから、問題がありそうな箇所にマーカ１７２４ａ、１７２４ｂを表示してもよい（表示しなくてもよい）。ここで、問題がありそうな箇所には、例えば、発話音量が、所定の閾値を超えた箇所（発話音量が大きい、又は小さい）等が含まれる。

【0152】

さらに、コミュニケーション支援装置１０は、例えば、図１７に示すような情報提供画面１７００に表示した参加者の発話音量１７２１ａ、又は他の参加者の発話音量１７２１ｂから、選択された箇所の発話音声を再生する機能を有していてもよい。

【0153】

（情報提供画面の提供処理）
図１９は、一実施形態に係る情報提供画面の提供処理の例を示すフローチャートである。この処理は、例えば、コミュニケーション支援装置１０が、情報端末１０１等に、図１７に示すような情報提供画面１７００を提供する処理の概要を示している。

【0154】

ステップＳ１９０１において、コミュニケーション支援装置１０の情報提供部５０８は、例えば、情報端末１０１が表示した会議の一覧から、情報提供画面を作成する会議の選択操作を受け付けると、ステップＳ１９０２以降の処理を実行する。

【0155】

ステップＳ１９０２において、情報提供部５０８は、会議の一覧から選択された会議の発話音声、及び発話音量のデータを、記憶部５０９等から取得する。また、ステップＳ１９０３において、情報提供部５０８は、選択された会議のマーキング情報を、記憶部５０９等から取得する。

【0156】

ステップＳ１９０４において、情報提供部５０８は、取得した発話音量を時系列に図示した情報提供画面を作成する。また、ステップＳ１９０５において、情報提供部５０８は、取得したマーキング情報に基づいて、作成した情報提供画面にマーカを表示する。

【0157】

ステップＳ１９０１～Ｓ１９０５の処理により、情報提供部５０８は、例えば、図１７に示すような情報提供画面１７００を作成する。

【0158】

ステップＳ１９０６において、情報提供部５０８は、作成した情報提供画面を提供する。例えば、情報提供部５０８は、図１７に示すような情報提供画面１７００を、管理者が利用する情報端末１０１、又は参加者が利用する端末装置１００等に表示させる。

【0159】

図１９の処理により、情報提供部５０８は、例えば、図１７に示すような情報提供画面１７００を管理者、又は会議に参加した参加者等に提供することができる。

【0160】

（コメント欄の表示処理）
図２０は、一実施形態に係るコメント欄の表示処理の例を示すフローチャートである。この処理は、コミュニケーション支援装置１０が、例えば、図１７に示すような情報提供画面１７００に、図１８に示すようなコメント欄１８０１を表示させるコメント欄の表示処理の例を示している。

【0161】

ステップＳ２００１において、コミュニケーション支援装置１０の情報提供部５０８は、マーカの選択操作を受け付けると、ステップＳ２００２以降の処理を実行する。なお、管理者等は、例えば、図１７に示すような情報提供画面１７００において、例えば、マーカ１７２２ａを選択することにより、マーカ１７２２ａを選択することができる。また、情報提供部５０８は、例えば、情報端末１０１から、例えば、マーカ１７２２ａの選択操作を受け付けたことを示す操作情報を受け付けたときに、マーカ１７２２ａの選択操作を受け付けたと判断する。

【0162】

ステップＳ２００２において、情報提供部５０８は、選択されたマーカのマーキング情報に基づいてコメント欄を表示する。例えば、情報提供部５０８は、図１７に示すような情報提供画面１７００に、図１８に示すような、選択されたマーカに対応する入力を受け付けるコメント欄１８０１を表示する。なお、情報提供部５０８は、マーキング情報にコメントが登録されている場合、登録されているコメントをコメント欄１８０１に表示させる。

【0163】

ステップＳ２００３において、情報提供部５０８は、表示したコメント欄にコメントが入力されたかを判断する。コメントが入力された場合、情報提供部５０８は、処理をステップＳ２００４に移行させる。一方、コメントが入力されていない場合、情報提供部５０８は、図２０の処理を終了する。

【0164】

ステップＳ２００４に移行すると、情報提供部５０８は、コメント欄に入力されたコメントを、選択されたマーカのマーキング情報に記憶する。

【0165】

図２０の処理により、情報提供部５０８は、コメント欄に入力されたコメントをマーキング情報に記憶し、次にコメント欄を表示するときに、マーキング情報に記憶したコメントをコメント欄に表示することができる。

【0166】

以上、本発明の各実施形態によれば、コミュニケーションに参加している参加者が、関係者から、コメントを得ることを容易にするコミュニケーション支援装置を提供することができる。

【0167】

＜補足＞
上記で説明した各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（digital signal processor）、ＦＰＧＡ（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

【0168】

また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものに過ぎない。ある実施形態では、コミュニケーション支援装置１０は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。

【0169】

さらに、コミュニケーション支援装置１０、会議サーバ２０、端末装置１００、及び情報端末１０１は、開示された処理ステップ、例えば、図６、９、１０、１４、１６、１９、２０等に示す処理を様々な組み合わせで共有するように構成できる。例えば、コミュニケーション支援装置１０によって実行されるプロセスは、端末装置１００、又は情報端末１０１によって実行され得る。また、端末装置１００によって実行されるプロセス、及び情報端末１０１によって実行されるプロセスは、コミュニケーション支援装置１０によって実行され得る。さらに、コミュニケーション支援装置１０の各要素は、１つの装置にまとめられていても良いし、複数の装置に分けられていてもよい。

【0170】

＜付記＞
本明細書には、下記の各項のコミュニケーション支援装置、コミュニケーション支援システム、コミュニケーション支援方法、及びプログラムが開示されている。
（第１項）
コミュニケーションに参加している参加者が利用する端末装置から送信された所定の操作を受け付けたことを示す操作情報を受け付ける受付部と、
前記操作情報を受け付けたときに、前記所定の操作を受け付けたことを示す通知を前記参加者に予め関連付けられた通知先に通知する通知部と、
前記通知に応じて前記通知先で入力されたコメントを前記参加者が利用する端末装置に表示させるために前記コメントを前記参加者が利用する端末装置に送信する表示制御部と、
を有する、コミュニケーション支援装置。
（第２項）
前記コミュニケーションに参加している前記参加者と他の参加者の発話音声を取得する取得部と、
前記発話音声をテキスト化する変換部と、
を有し、
前記通知は、前記所定の操作が行われる前の前記発話音声をテキスト化した文字列の少なくとも一部を含む、
第１項に記載のコミュニケーション支援装置。
（第３項）
前記所定の操作は、前記端末装置が表示する操作画面において、前記通知先に助言を求めるための表示要素を選択する操作を含む、第１項又は第２項に記載のコミュニケーション支援装置。
（第４項）
前記通知部は、前記参加者に対応する管理者が利用する情報端末に前記通知を通知する、第１項～第３項のいずれかに記載のコミュニケーション支援装置。
（第５項）
前記参加者と同じグループに所属するメンバーの情報を登録したグループ情報を有し、
前記通知部は、前記メンバーが利用する情報端末に前記通知を通知する、
第１項～第３項のいずれかに記載のコミュニケーション支援装置。
（第６項）
前記通知部は、前記通知に応じて、前記メンバーのうち、一のメンバーがコメントを入力した場合、前記一のメンバーがコメントを入力したことを他のメンバーに通知する、第５項に記載のコミュニケーション支援装置。
（第７項）
前記発話音声に基づいて、前記参加者と前記他の参加者の発話状況を示す指標を時系列に図示するとともに、前記所定の操作を受け付けた時刻に対応するマーカを表示する表示画面を提供する情報提供部を有し、
前記情報提供部は、前記表示画面において前記マーカが選択された場合、前記マーカに対応するコメントの表示及び入力が可能なコメント欄を前記表示画面に表示する、第２項に記載のコミュニケーション支援装置。
（第８項）
コミュニケーションに参加する参加者が利用する端末装置と、前記端末装置と通信ネットワークを介して通信可能なコミュニケーション支援装置とを含むコミュニケーション支援システムであって、
前記端末装置は、前記コミュニケーション中に所定の操作が可能な操作画面を表示する表示部を有し、
前記コミュニケーション支援装置は、
前記端末装置から送信された前記所定の操作を受け付けたことを示す操作情報を受け付ける受付部と、
前記操作情報を受け付けたときに、前記所定の操作を受け付けたことを示す通知を前記参加者に予め関連付けられた通知先に通知する通知部と、
前記通知に応じて前記通知先で入力されたコメントを前記端末装置の前記表示部に表示させるために前記コメントを前記参加者が利用する前記端末装置に送信する表示制御部と、
を有する、コミュニケーション支援システム。
（第９項）
コミュニケーション支援装置が、
コミュニケーションに参加している参加者が利用する端末装置から送信された所定の操作を受け付けたことを示す操作情報を受け付ける処理と、
前記操作情報を受け付けたときに、前記所定の操作を受け付けたことを示す通知を前記参加者に予め関連付けられた通知先に通知する処理と、
前記通知に応じて前記通知先で入力されたコメントを前記参加者が利用する端末装置に表示させるために前記コメントを前記参加者が利用する端末装置に送信する処理と、
を実行する、コミュニケーション支援方法。
（第１０項）
コンピュータに、
コミュニケーションに参加している参加者が利用する端末装置から送信された所定の操作を受け付けたことを示す操作情報を受け付ける処理と、
前記操作情報を受け付けたときに、前記所定の操作を受け付けたことを示す通知を前記参加者に予め関連付けられた通知先に通知する処理と、
前記通知に応じて前記通知先で入力されたコメントを前記参加者が利用する端末装置に表示させるために前記コメントを前記参加者が利用する端末装置に送信する処理と、
を実行させる、プログラム。

【0171】

以上、本発明の実施形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、及び応用が可能である。

【符号の説明】

【0172】

１ コミュニケーション支援システム
１０ コミュニケーション支援装置
１００、１００ａ～１００ｄ 端末装置
１０１、１０１ｃ、１０１ｄ 情報端末
５０２ 取得部
５０３ 変換部
５０４ 受付部
５０５ 通知部
５０６ 表示制御部
７２２ 「ＳＯＳを送る」ボタン（表示要素の一例）
１１００ グループ情報
１２２１ ＳＯＳ通知（通知の一例）
１７００ 情報提供画面
１７２０ 音量タイムライン
１７２２ａ、１７２２ｂ、１７２３ マーカ
１８０１ コメント欄

【先行技術文献】

【特許文献】

【0173】

【特許文献1】特開２００４－０５４４９５号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】