IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社リコーの特許一覧

特開2024-93360コミュニケーション支援システム、コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム
<>
  • 特開-コミュニケーション支援システム、コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム 図1
  • 特開-コミュニケーション支援システム、コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム 図2
  • 特開-コミュニケーション支援システム、コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム 図3
  • 特開-コミュニケーション支援システム、コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム 図4
  • 特開-コミュニケーション支援システム、コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム 図5
  • 特開-コミュニケーション支援システム、コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム 図6
  • 特開-コミュニケーション支援システム、コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム 図7
  • 特開-コミュニケーション支援システム、コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム 図8
  • 特開-コミュニケーション支援システム、コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム 図9
  • 特開-コミュニケーション支援システム、コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム 図10
  • 特開-コミュニケーション支援システム、コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム 図11
  • 特開-コミュニケーション支援システム、コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム 図12
  • 特開-コミュニケーション支援システム、コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム 図13
  • 特開-コミュニケーション支援システム、コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム 図14
  • 特開-コミュニケーション支援システム、コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム 図15
  • 特開-コミュニケーション支援システム、コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム 図16
  • 特開-コミュニケーション支援システム、コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024093360
(43)【公開日】2024-07-09
(54)【発明の名称】コミュニケーション支援システム、コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム
(51)【国際特許分類】
   G06Q 10/10 20230101AFI20240702BHJP
   G10L 15/10 20060101ALI20240702BHJP
【FI】
G06Q10/10
G10L15/10 200W
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2022209685
(22)【出願日】2022-12-27
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100107515
【弁理士】
【氏名又は名称】廣田 浩一
(72)【発明者】
【氏名】鴻上 和彦
【テーマコード(参考)】
5L010
5L049
【Fターム(参考)】
5L010AA11
5L049AA11
(57)【要約】
【課題】言い忘れたり、聞き忘れていたりすることがあることに気付かずに、コミュニケーションを終了してしまうことを防止するコミュニケーション支援システムを提供する。
【解決手段】コミュニケーション支援システムは、キーワードを管理する管理部と、コミュニケーションに参加する参加者の発話音声を取得する取得部と、前記発話音声を解析して、前記コミュニケーションで前記キーワードに関する発話が行われていない場合、前記コミュニケーションが終了する前に、前記キーワードに関するリマインドを前記参加者に通知する通知部と、を有する。
【選択図】図5
【特許請求の範囲】
【請求項1】
キーワードを管理する管理部と、
コミュニケーションに参加する参加者の発話音声を取得する取得部と、
前記発話音声を解析して、前記コミュニケーションで前記キーワードに関する発話が行われていない場合、前記コミュニケーションが終了する前に、前記キーワードに関するリマインドを前記参加者に通知する通知部と、
を有する、コミュニケーション支援システム。
【請求項2】
前記通知部は、前記コミュニケーションで前記参加者が前記キーワードに関する発話を行っていない場合、前記キーワードに関するリマインドを前記参加者に通知する、請求項1に記載のコミュニケーション支援システム。
【請求項3】
前記取得部は、前記コミュニケーションに参加する他の参加者の発話音声をさらに取得し、
前記通知部は、前記コミュニケーションで前記他の参加者が前記キーワードに関する発話を行っていない場合、前記キーワードに関するリマインドを前記参加者に通知する、請求項1に記載のコミュニケーション支援システム。
【請求項4】
前記コミュニケーション支援システムは、端末装置を含み、
前記参加者が利用する端末装置に前記キーワードを設定するための操作画面を表示させる表示制御部を有する、請求項1乃至3のいずれか一項に記載のコミュニケーション支援システム。
【請求項5】
前記操作画面は、前記キーワードを設定する設定欄を含み、
前記管理部は、前記操作画面で設定された前記キーワードを管理する、
請求項4に記載のコミュニケーション支援システム。
【請求項6】
前記操作画面は、前記コミュニケーションの予定時間を設定する設定欄を含み、
前記通知部は、前記コミュニケーションの予定時間に基づいて、前記キーワードに関するリマインドを前記参加者に通知する、
請求項4に記載のコミュニケーション支援システム。
【請求項7】
前記通知部は、前記コミュニケーションの終了予定時間より所定の時間前に、前記キーワードに関するリマインドを前記参加者に通知する、
請求項6に記載のコミュニケーション支援システム。
【請求項8】
前記操作画面は、前記所定の時間を設定する設定欄を含む、請求項7に記載のコミュニケーション支援システム。
【請求項9】
前記操作画面は、1つ以上の前記キーワードを設定する設定欄を含み、
前記キーワード、又は前記キーワードの数に基づいて、前記所定の時間を決定する決定部を有する、
請求項7に記載のコミュニケーション支援システム。
【請求項10】
前記通知部は、前記操作画面で所定の操作を受け付けたときに、前記キーワードに関するリマインドを前記参加者に通知する、
請求項4に記載のコミュニケーション支援システム。
【請求項11】
前記発話音声をテキスト化する解析部を有し、
前記通知部は、前記解析部がテキスト化した発話内容に前記キーワードを含まれていない場合、前記コミュニケーションが終了する前に、前記キーワードに関するリマインドを前記参加者に通知する、請求項1に記載のコミュニケーション支援システム。
【請求項12】
前記発話音声を解析して、発話の意図を解釈する解析部を有し、
前記通知部は、前記発話音声に、前記キーワードを意図する発話内容が含まれていない場合、前記コミュニケーションが終了する前に、前記キーワードに関するリマインドを前記参加者に通知する、請求項1に記載のコミュニケーション支援システム。
【請求項13】
キーワードを管理する管理部と、
コミュニケーションに参加する参加者の発話音声を取得する取得部と、
前記発話音声を解析して、前記コミュニケーションで前記キーワードに関する発話が行われていない場合、前記コミュニケーションが終了する前に、前記キーワードに関するリマインドを前記参加者に通知する通知部と、
を有する、コミュニケーション支援装置。
【請求項14】
キーワードを管理する管理ステップと、
コミュニケーションに参加する参加者の発話音声を取得する取得ステップと、
前記発話音声を解析して、前記コミュニケーションで前記キーワードに関する発話が行われていない場合、前記コミュニケーションが終了する前に、前記キーワードに関するリマインドを前記参加者に通知する通知ステップと、
をコンピュータが実行する、コミュニケーション支援方法。
【請求項15】
キーワードを管理する管理ステップと、
コミュニケーションに参加する参加者の発話音声を取得する取得ステップと、
前記発話音声を解析して、前記コミュニケーションで前記キーワードに関する発話が行われていない場合、前記コミュニケーションが終了する前に、前記キーワードに関するリマインドを前記参加者に通知する通知ステップと、
をコンピュータに実行させる、プログラム。
【請求項16】
コミュニケーション支援装置と、端末装置を有するコミュニケーション支援システムであって、
前記コミュニケーション支援装置は、
キーワードを管理する管理部と、
コミュニケーションに参加する参加者の発話音声を取得する取得部と、
前記発話音声を解析して、前記コミュニケーションで前記キーワードに関する発話が行われていない場合、前記コミュニケーションが終了する前に、前記キーワードに関するリマインドを前記参加者に通知する通知部と、を有し、
前記端末装置は、
前記キーワードに関するリマインドを表示する表示制御部を有する、
コミュニケーション支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コミュニケーション支援システム、コミュニケーション支援装置、コミュニケーション支援方法、及びプログラムに関する。
【背景技術】
【0002】
複数の端末装置の間で、映像、又は音声等のコンテンツデータを送受信する会議システムが普及している。
【0003】
また、商談や営業活動の際の顧客への説明内容等のデータに基づいて、「禁止表現」の有無、および「必要事項」が含まれているか否かのいずれについてもチェック対象とするコンプライアンスチェックシステムが知られている(例えば、特許文献1参照)。
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、商談等のコミュニケーションにおいて、言い忘れたり、聞き忘れていたりすることがあったとしても気付かずに、コミュニケーションを終了してしまう場合がある。
【0005】
このように、従来の技術では、言い忘れたり、聞き忘れていたりすることに気付かずに、コミュニケーションを終了してしまうという問題がある。
【0006】
本発明の一実施形態は、上記の問題点に鑑みてなされたものであって、言い忘れたり、聞き忘れていたりすることがあることに気付かずに、コミュニケーションを終了してしまうことを防止するコミュニケーション支援システムを提供する。
【課題を解決するための手段】
【0007】
上記の課題を解決するため、本発明の一実施形態に係るコミュニケーション支援システムは、キーワードを管理する管理部と、コミュニケーションに参加する参加者の発話音声を取得する取得部と、前記発話音声を解析して、前記コミュニケーションで前記キーワードに関する発話が行われていない場合、前記コミュニケーションが終了する前に、前記キーワードに関するリマインドを前記参加者に通知する通知部と、を有する。
【発明の効果】
【0008】
本発明の一実施形態によれば、言い忘れたり、聞き忘れていたりすることがあることに気付かずに、コミュニケーションを終了してしまうことを防止するコミュニケーション支援システムを提供することができる。
【図面の簡単な説明】
【0009】
図1】一実施形態に係るコミュニケーション支援システムのシステム構成の一例を示す図である。
図2】一実施形態に係るコミュニケーション支援システムのシステム構成の別の一例を示す図である。
図3】一実施形態に係るコンピュータのハードウェア構成の例を示す図である。
図4】一実施形態に係る端末装置のハードウェア構成の一例を示す図である。
図5】一実施形態に係るコミュニケーション支援システムの機能構成の例を示す図である。
図6】第1の実施形態に係る支援処理の例を示すフローチャートである。
図7】第1の実施形態に係る操作画面の例を示す図(1)である。
図8】第1の実施形態に係る操作画面の例を示す図(2)である。
図9】第1の実施形態に係る支援ウィンドウのイメージを示す図である。
図10】第2の実施形態に係る支援処理の例を示すフローチャートである。
図11】第2の実施形態に係る操作画面の例を示す図である。
図12】第3の実施形態に係る支援処理の一例を示すフローチャートである。
図13】第3の実施形態に係る操作画面の例を示す図(1)である。
図14】第3の実施形態に係る操作画面の例を示す図(2)である。
図15】第3の実施形態に係る支援処理の別の一例を示すフローチャートである。
図16】第4の実施形態に係るコミュニケーション支援システムの機能構成の例を示す図である。
図17】第4の実施形態に係る支援処理の例を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【0011】
<システム構成>
図1は、一実施形態に係るコミュニケーション支援システムのシステム構成の例を示す図である。コミュニケーション支援システム1は、一例として、インターネット、又はLAN(Local Area network)等の通信ネットワーク2に接続する会議サーバ10、コミュニケーション支援装置100、及び複数の端末装置110a、100b、100c、100d、・・・等を含む。なお、以下の説明において、複数の端末装置110a、100b、100c、100d、・・・のうち、任意の端末装置を示す場合、「端末装置110」を用いる。また、図1に示した端末装置110の数は一例であり、端末装置110の数は2つ以上の他の数であってもよい。
【0012】
コミュニケーション支援システム1は、端末装置110と、1つ以上の他の端末装置110との間で、少なくとも音声を送受信する、例えば、商談、会議、診療、授業、又はカウンセリング等の様々なコミュニケーションを支援するシステムである。ここでは、一例として、コミュニケーション支援システム1が支援するコミュニケーションが、端末装置110のユーザと、他の端末装置110のユーザとの間で、音声を含む映像を送受信し、商談を行うウェブ会議であるものとして、以下の説明を行う。
【0013】
端末装置110は、ウェブ会議に参加するユーザが利用する、例えば、PC(Personal Computer)、タブレット端末、又はスマートフォン等の汎用の情報端末である。或いは、端末装置110は、ビデオ会議装置、又はIWB(Interactive White Board)等のウェブ会議の機能を有する電子機器であってもよい。ここで、IWBは、相互通信が可能な電子式の黒板機能を有する白板であり、電子黒板とも呼ばれる。ここでは、一例として、端末装置110が、汎用の情報端末であるものとして、以下の説明を行う。
【0014】
ウェブ会議に参加する参加者は、例えば、端末装置110にインストールされたウェブ会議用のアプリケーション、又はウェブブラウザ等を利用して、会議サーバ10が提供する会議用のアドレスにアクセスすることにより、ウェブ会議に参加することができる。
【0015】
会議サーバ10は、例えば、コンピュータの構成を有する情報処理装置、又は複数のコンピュータを含むシステムである。会議サーバ10は、複数の端末装置110の間で、音声、又は音声を含む映像を送受信するウェブ会議サービスを提供する。なお、本実施形態では、会議サーバ10が提供するウェブ会議サービスは、任意のウェブ会議サービスであってよい。
【0016】
コミュニケーション支援装置100は、例えば、コンピュータの構成を有する情報処理装置、又は複数のコンピュータを含むシステムである。コミュニケーション支援装置100は、本実施形態に係るコミュニケーション支援サービスを提供する。
【0017】
なお、図1に示したコミュニケーション支援システム1のシステム構成は一例である。例えば、コミュニケーション支援システム1は、図2に示すように、コミュニケーション支援装置100が、会議サーバ10の機能を備えていてもよい。また、コミュニケーション支援システム1が提供するコミュニケーション支援サービスの少なくとも一部、または全部は、端末装置110が提供するものであってもよい。ここでは、コミュニケーション支援システム1が、図1に示すようなシステム構成を有しているものとして、以下の説明を行う。
【0018】
(コミュニケーション支援サービスの概要)
例えば、端末装置110aを利用する参加者が、会議サーバ10が提供するウェブ会議を利用して、端末装置110bを利用する他の参加者と商談(コミュニケーションの一例)を行うものとする。また、参加者は、この商談において、確認すべき重要な事項があるものとする。しかし、実際の商談では、重要な事項について言い忘れたり、聞き忘れていたりすることに気付かずに、ウェブ会議を終了してしまう場合がある。
【0019】
そこで、本実施形態に係るコミュニケーション支援システム1は、重要な事項に関するキーワードを管理する機能を有している。例えば、コミュニケーション支援システム1は、商談の前に、利用者による、商談で確認すべき重要な事項に関するキーワード等の設定を受け付ける。
【0020】
また、コミュニケーション支援システム1は、商談に参加する参加者、及び他の参加者の発話音声を取得する機能を有している。例えば、コミュニケーション支援システム1は、端末装置110aが実行する所定のアプリケーションプログラム(以下、アプリと呼ぶ)を利用して、端末装置110aから、参加者の発話音声、及び他の参加者の発話音声を取得する。
【0021】
さらに、コミュニケーション支援システム1は、取得した発話音声を解析して、商談でキーワードに関する発話が行われていない場合、商談が終了する前に、キーワードに関するリマインドを参加者に通知する機能を有している。一例として、コミュニケーション支援システム1は、会議の終了予定時間より所定の時間前(例えば5分前)に、商談でキーワードに関する発話が行われていない場合、設定されたキーワードに関するリマインドを参加者に通知する。
【0022】
このように、コミュニケーション支援システム1は、参加者が、商談中に重要な事項の確認をしていない場合、参加者にリマインドを通知するので、参加者は、商談中に重要な事項を漏れなく確認することができるようになる。
【0023】
このように、本実施形態によれば、言い忘れたり、聞き忘れていたりすることがあることに気付かずに、コミュニケーションを終了してしまうことを防止するコミュニケーション支援システムを提供することができる。
【0024】
ここで、コミュニケーションとは、端末装置110を利用する参加者と、他の端末装置110を利用する他の参加者とが、少なくとも音声を送受信する通信であり、例えば、ウェブ会議を利用した、商談、会議、診療、授業、又はカウンセリング等が含まれる。ただし、これに限られず、コミュニケーションは、端末装置110を利用する参加者と、他の参加者との音声(肉声)による会話等であってもよい。
【0025】
また、キーワードとは、リマインドの対象となる語句であり、例えば、端末装置110を利用する参加者が、コミュニケーション支援システム1に登録した語句等の文字列が含まれる。ただし、これに限られず、キーワードには、例えば、コミュニケーションの種類等に応じて、コミュニケーション支援システム1に予め登録された語句等の文字列が含まれていてもよい。
【0026】
<ハードウェア構成>
(コンピュータのハードウェア構成)
会議サーバ10、及びコミュニケーション支援装置100は、例えば、図3に示すようなコンピュータ300のハードウェア構成を有している。或いは、会議サーバ10、又はコミュニケーション支援装置100は、複数のコンピュータ300によって構成される。また、端末装置110は、一例として、図3に示すようなコンピュータ300のハードウェア構成を有している。
【0027】
図3は、一実施形態に係るコンピュータのハードウェア構成の例を示す図である。コンピュータ300は、例えば、図3に示されるように、CPU(Central Processing Unit)301、ROM(Read Only Memory)302、RAM(Random Access Memory)303、HD(Hard Disk)304、HDD(Hard Disk Drive)コントローラ305、ディスプレイ306、外部機器接続I/F(Interface)307、ネットワークI/F308、キーボード309、ポインティングデバイス310、DVD-RW(Digital Versatile Disk Rewritable)ドライブ312、メディアI/F314、及びバスライン315等を備えている。
【0028】
また、コンピュータ300が端末装置110である場合、コンピュータ300は、マイク321、スピーカ322、音入出力I/F323、CMOS(Complementary Metal Oxide Semiconductor)センサ324、及び撮像素子I/F325等を、さらに備える。
【0029】
これらのうち、CPU301は、コンピュータ300全体の動作を制御する。ROM302は、例えば、IPL(Initial Program Loader)等のコンピュータ300の起動に用いられるプログラムを記憶する。RAM303は、例えば、CPU301のワークエリア等として使用される。HD304は、例えば、OS(Operating System)、アプリケーション、デバイスドライバ等のプログラムや、各種データを記憶する。HDDコントローラ305は、例えば、CPU301の制御に従ってHD304に対する各種データの読み出し又は書き込みを制御する。なお、HD304、及びHDDコントローラ305は、ストレージデバイスの一例である。
【0030】
ディスプレイ306は、例えば、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。なお、ディスプレイ306は、コンピュータ300の外部に設けられていてもよい。外部機器接続I/F307は、コンピュータ300に、様々な外部装置を接続するためのインタフェースである。ネットワークI/F308は、コンピュータ300を通信ネットワーク2に接続して、他の装置と通信するためのインタフェースである。
【0031】
キーボード309は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス310は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行なう入力手段の一種である。なお、キーボード309、及びポインティングデバイス310は、コンピュータ300の外部に設けられていてもよい。
【0032】
DVD-RWドライブ312は、着脱可能な記録媒体の一例としてのDVD-RW311に対する各種データの読み出し又は書き込みを制御する。なお、DVD-RW311は、DVD-RWに限らず、他の着脱可能な記録媒体であってもよい。メディアI/F314は、フラッシュメモリ等のメディア313に対するデータの読み出し又は書き込み(記憶)を制御する。バスライン315は、上記の各構成要素を電気的に接続するためのアドレスバス、データバス及び各種の制御信号等を含む。
【0033】
マイク321は、音を電気信号に変える内蔵型の回路である。スピーカ322は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力I/F323は、CPU301の制御に従ってマイク321及びスピーカ322との間で音信号の入出力を処理する回路である。
【0034】
CMOSセンサ324は、CPU301の制御に従って被写体(例えば自画像)を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、コンピュータ300は、CMOSセンサ324に代えて、CCD(Charge Coupled Device)センサ等の撮像手段を有していてもよい。撮像素子I/F325は、CMOSセンサ324の駆動を制御する回路である。
【0035】
(端末装置のハードウェア構成)
図4は、一実施形態に係る端末装置のハードウェア構成の一例を示す図である。ここでは、端末装置110が、スマートフォン、又はタブレット端末等の情報端末である場合における端末装置110のハードウェア構成の例について説明する。なお、端末装置110は、例えば、ビデオ会議装置、又はIWB等のコンピュータの構成と、ウェブ会議の機能を備えた電子機器であってもよい。また、管理者端末101は、図3に示すようなコンピュータ300のハードウェア構成を有していてもよい。
【0036】
図4の例では、端末装置110は、CPU401、ROM402、RAM403、ストレージデバイス404、CMOSセンサ405、撮像素子I/F406、加速度・方位センサ407、メディアI/F409、GPS(Global Positioning System)受信部410を備えている。
【0037】
これらのうち、CPU401は、所定のプログラムを実行することにより端末装置110全体の動作を制御する。ROM402は、例えば、IPL等のCPU401の起動に用いられるプログラムを記憶する。RAM403は、CPU401のワークエリアとして使用される。ストレージデバイス404は、OS、アプリ等のプログラム、及び各種のデータ等を記憶する大容量の記憶装置であり、例えば、SSD(Solid State Drive)、又はフラッシュROM等によって実現される。
【0038】
CMOSセンサ405は、CPU401の制御に従って被写体(主に自画像)を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、端末装置110は、CMOSセンサ405に代えて、CCDセンサ等の撮像手段を有していてもよい。撮像素子I/F406は、CMOSセンサ405の駆動を制御する回路である。加速度・方位センサ407は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアI/F409は、フラッシュメモリ等のメディア(記憶メディア)408に対するデータの読み出し又は書き込み(記憶)を制御する。GPS受信部410は、GPS衛星からGPS信号(測位信号)を受信する。
【0039】
また、端末装置110は、遠距離通信回路411、遠距離通信回路411のアンテナ411a、CMOSセンサ412、撮像素子I/F413、マイク414、スピーカ415、音入出力I/F416、ディスプレイ417、外部機器接続I/F418、近距離通信回路419、近距離通信回路419のアンテナ419a、及びタッチパネル420を備えている。
【0040】
これらのうち、遠距離通信回路411は、例えば、通信ネットワーク2を介して、他の装置と通信する回路である。CMOSセンサ412は、CPU401の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F413は、CMOSセンサ412の駆動を制御する回路である。マイク414は、音を電気信号に変える内蔵型の回路である。スピーカ415は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力I/F416は、CPU401の制御に従ってマイク414及びスピーカ415との間で音声信号の入出力を処理する回路である。
【0041】
ディスプレイ417は、被写体の画像や各種アイコン等を表示する液晶や有機EL(Electro Luminescence)等の表示手段の一種である。外部機器接続I/F418は、各種の外部機器を接続するためのインタフェースである。近距離通信回路419は、近距離無線通信を行う回路を含む。タッチパネル420は、利用者がディスプレイ417を押下することで、端末装置110を操作する入力手段の一種である。
【0042】
また、端末装置110は、バスライン421を備えている。バスライン421は、図4に示されているCPU401等の各構成要素を電気的に接続するためのアドレスバスやデータバス等を含む。
【0043】
なお、図4に示した端末装置110のハードウェア構成は一例である。端末装置110は、コンピュータの構成、通信回路、ディスプレイ、マイク、及びスピーカ等を有していれば、他のハードウェア構成であってよい。
【0044】
<機能構成>
続いて、コミュニケーション支援システム1の機能構成について説明する。図5は、一実施形態に係るコミュニケーション支援システムの機能構成の例を示す図である。ここでは、コミュニケーション支援システム1が、図1に示すようなシステム構成であるものとする。
【0045】
(コミュニケーション支援装置の機能構成)
コミュニケーション支援装置100は、1つ以上のコンピュータ300で、所定のプログラムを実行することにより、通信部501、設定受付部502、管理部503、取得部504、解析部505、及び通知部506等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。
【0046】
また、コミュニケーション支援装置100は、例えば、HD304、及びHDDコントローラ305等のストレージデバイスにより、記憶部507を実現している。
【0047】
通信部501は、ネットワークI/F308等を用いて、コミュニケーション支援装置100を通信ネットワーク2に接続し、端末装置110等と通信する通信処理を実行する。
【0048】
設定受付部502は、コミュニケーション支援システム1の設定を受け付ける設定受付処理を実行する。例えば、設定受付部502は、端末装置110が表示する操作画面に対して、参加者が設定したキーワード、会議の予定時間、及びリマインドのタイミング等の設定情報を、端末装置110から受け付ける。
【0049】
管理部503は、コミュニケーション支援システムに関する様々な情報を記憶部507に記憶して管理する。例えば、設定受付部502が受け付けた、参加者が設定したキーワード、会議の予定時間、又はリマインドのタイミング等の設定情報を記憶部507に記憶して管理する。
【0050】
取得部504は、ウェブ会議(以下、会議と呼ぶ)に参加する参加者の発話音声、及び会議に参加する他の参加者の発話音声を取得する取得処理を実行する。例えば、取得部504は、参加者が利用する端末装置110(例えば、端末装置110a)の音声送信部513が、コミュニケーション支援装置100に送信する、参加者の発話音声、及び他の参加者の発話音声を取得する。なお、ウェブ会議、及び会議は、コミュニケーションの一例である。
【0051】
解析部505は、取得部504が取得した発話音声を解析する解析処理を実行する。例えば、解析部505は、参加者の発話音声、他の参加者の発話音声、又は参加者と他の参加者の発話音声をテキスト化する。また、テキスト化した発話音声に基づいて、会議で、管理部503が管理するキーワードに関する発話が行われたか否かを解析する。
【0052】
一例として、解析部505は、テキスト化した発話音声に、管理部503が管理するキーワードが含まれているかを検索し、発話音声にキーワードが含まれていない場合、会議でキーワードに関する発話が行われていないと判断する。
【0053】
別の一例として、解析部505は、チャットボット等で用いられる意図解釈の技術を利用して、テキスト化した発話音声の意図を解釈し、キーワードを意図する発話が行われていない場合、会議でキーワードに関する発話が行われていないと判断してもよい。
【0054】
通知部506は、解析部505の解析結果に基づいて、会議でキーワードに関する発話が行われていない場合、会議が終了する前に、キーワードに関するリマインドを参加者に通知する通知処理を実行する。
【0055】
記憶部507は、例えば、管理部503が管理する様々な設定情報を含む様々な情報、データ、及びプログラム等を記憶する。
【0056】
なお、コミュニケーション支援装置が有する各種機能構成は、端末装置110が有していてもよい。
【0057】
(端末装置の機能構成)
端末装置110は、例えば、CPU301(又はCPU401)で、所定のプログラムを実行することにより、通信部511、会議制御部512、音声送信部513、表示制御部514、及び操作受付部515等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。なお、他の参加者が利用する端末装置110(例えば、端末装置100b、・・・)は、音声送信部513を有していなくてもよい(有していてもよい)。
【0058】
通信部511は、例えば、ネットワークI/F308(又は遠距離通信回路411)を用いて、端末装置110を通信ネットワーク2に接続して、会議サーバ10、コミュニケーション支援装置100、及び他の端末装置100等と通信する通信処理を実行する。
【0059】
会議制御部512は、例えば、通信部511を用いて会議サーバ10に接続し、会議映像(又は会議音声)の送受信を行う。また、会議制御部512は、音入出力I/F323(又は音入出力I/F416)を用いた会議音声の入出力、及びディスプレイ306(又はディスプレイ417)を用いた会議映像の出力等を行う。なお、会議制御部512が実行する処理は、一般的なウェブ会議と同様の処理であってよい。
【0060】
音声送信部513は、会議に参加する参加者(例えば、端末装置110aを利用する利用者)の発話音声、及び会議に参加する他の参加者(例えば、端末装置100bを利用する利用者)の発話音声を取得し、コミュニケーション支援装置100に送信する。例えば、音声送信部513は、音入出力I/F323(又は音入出力I/F416)から、マイクで取得した音声、及びスピーカから出力する音声等の音声を取得し、取得した音声(音声データ)をコミュニケーション支援装置100に送信する。この場合、コミュニケーション支援装置100は、ウェブ会議に限られず、通常の会議等のコミュニケーションを支援することも可能になる。
【0061】
ただし、これに限られず、音声送信部513は、会議制御部512から、参加者の発話音声、及び他の参加者の発話音声を取得し、取得した発話音声(音声データ)をコミュニケーション支援装置100に送信してもよい。
【0062】
表示制御部514は、例えば、後述する操作画面等のUI(User Interface)画面、及びリマインドを表示する支援ウィンドウ等を、ディスプレイ306(又はディスプレイ417)等の表示部に表示する表示制御処理を実行する。
【0063】
操作受付部515は、端末装置110を利用する利用者(参加者等)による操作を受け付ける操作受付処理を実行する。例えば、操作受付部515は、表示制御部514が表示したUI画面に対する入力操作等を受け付ける。
【0064】
なお、図5の例では、会議サーバ10は、ウェブ会議サービスを提供する一般的なクラウドサービスであってよいので、ここでは説明を省略する。
【0065】
<処理の流れ>
続いて、本実施形態に係るコミュニケーション支援方法の処理の流れについて説明する。
【0066】
[第1の実施形態]
(支援処理)
図6は、第1の実施形態に係る支援処理の例を示すフローチャートである。この処理は、例えば、図5に示すような機能構成を有するコミュニケーション支援システム1が、コミュニケーション(会議)を支援する支援処理の一例を示している。
【0067】
ステップS601において、設定受付部502は、会議に参加する参加者によるキーワード、及び会議予定時間等の設定を受け付ける。
【0068】
例えば、端末装置110aを利用する参加者は、端末装置110aでコミュニケーション支援システム1用のアプリを起動することにより、図7に示すような操作画面710を表示することができる。
【0069】
図7の例では、操作画面710には、会議予定時間を設定する設定欄711、及びキーワードを設定する設定欄712が表示されている。参加者は、設定欄711を用いて、会議予定時間(例えば、15分、30分、45分、1時間、・・・等)を設定することができる。また、参加者は、設定欄712を用いて、キーワードを設定することができる。
【0070】
具体的な一例として、参加者が、設定欄712に、会議で確認すべき事項に関するキーワード(例えば、「予算」)を入力し、Enterキー等を押すと、設定欄712に、入力したキーワードが、例えば、タグ714等で表示される。参加者は、同様の操作を繰り返すことにより、設定欄712に複数のキーワードを入力することができる。
【0071】
参加者が、会議予定時間、及びキーワードを設定した後に、「記録する」ボタン713を選択すると、操作受付部515は、設定された会議予定時間、及びキーワードを、コミュニケーション支援装置100に送信する。コミュニケーション支援装置100の設定受付部502は、端末装置100aから受信した会議予定時間、及びキーワードの設定を受け付ける。
【0072】
ステップS602において、例えば、参加者が利用する端末装置100aと、他の参加者が利用する端末装置100b、・・・との間で会議を開始する。例えば、参加者は、端末装置100aを用いて、会議サーバ10が提供するウェブ会議に参加することにより、端末装置100b、・・・を用いて、同じウェブ会議に参加する他の参加者と会議を開始する。なお、コミュニケーション支援システム1は、ステップS601の処理を、ステップS602の後に実行してもよい。
【0073】
ステップS603において、取得部504は、会議に参加する参加者の発話音声、及び会議に参加する他の参加者の発話音声を取得する。例えば、取得部504は、端末装置110aの音声送信部513が送信する、参加者、及び他の参加者の発話音声(音声データ)を取得する。
【0074】
ステップS604において、解析部505は、取得部504が取得した発話音声を解析する解析処理を実行する。例えば、解析部505は、参加者の発話音声、他の参加者の発話音声、又は参加者と他の参加者の発話音声をテキスト化し、テキスト化した発話音声に基づいて、会議で、管理部503が管理するキーワードに関する発話が行われたか否かを解析する。
【0075】
ステップS605において、解析部505は、会議終了時間の所定の時間前になったかを判断する。例えば、解析部505は、設定受付部502が受け付けた会議予定時間から、会議終了時間を算出し、算出した会議終了時間より所定の時間前(例えば5分前)になったか否かを判断する。
【0076】
ここで、所定の時間は、例えば、コミュニケーション支援装置100に予め設定されているものであってもよいし、例えば、図8に示すような操作画面800を用いて、参加者が設定するものであってもよい。図8の例では、操作画面800に、リマインドのタイミングを設定するための設定欄801が追加されている。参加者は、この設定欄801を用いて、所定の時間を設定してもよい。
【0077】
会議終了時間の所定の時間前になっていない場合、解析部505は、処理をステップS603に戻す。一方、会議終了時間の所定の時間前になった場合、解析部505は、処理をステップS606に移行させる。
【0078】
ステップS606に移行すると、解析部505は、会議でキーワードに関する発話が行われたか否かを判断する。キーワードに関する発話が行われていない場合、解析部505は、処理をステップS607に移行させる。一方、キーワードに関する発話が行われた場合、解析部505は、処理をステップS608に移行させる。
【0079】
ステップS607において、通知部506は、会議で発話が行われていないキーワードに関するリマインドを通知する。例えば、会議でキーワード「予算」、及び「次回打合せ」に関する発話が行われていない場合、通知部506は、図9に示すような支援ウィンドウ900を、参加者が利用する端末装置100aにポップアップ表示させるための情報を、端末装置100aに通知する。端末装置100aの表示制御部514は、通知を受信すると、端末装置100aの表示部に支援ウィンドウ900を表示する。
【0080】
図9は、第1の実施形態に係る支援ウィンドウのイメージを示す図である。図9の例では、支援ウィンドウ900には、会議で発話が行われていないキーワード901a、901bが表示されている。通知部506は、例えば、このような支援ウィンドウ900を、参加者の端末装置100aに表示させる。なお、支援ウィンドウ900は、会議で発話が行われていないキーワードに関するリマインドの一例である。例えば、通知部506は、会議で発話が行われていないキーワードに関するリマインドを、電子メール、チャットアプリ等で参加者に通知してもよい。
【0081】
ステップS608に移行すると、参加者が利用する端末装置100aと、他の参加者が利用する端末装置100b、・・・との間の会議を終了する。このように、本実施形態に係るコミュニケーション支援システム1は、会議で、予め登録したキーワードに関する発話が行われていない場合、会議が終了する前に、発話が行われていないキーワードに関するリマインドを参加者に通知することができる。
【0082】
従って、本実施形態によれば、言い忘れたり、聞き忘れていたりすることがあることに気付かずに、コミュニケーションを終了してしまうことを防止するコミュニケーション支援システムを提供することができる。
【0083】
[第2の実施形態]
第1の実施形態では、コミュニケーション支援システム1は、会議において、設定したキーワードを、参加者、及び他の参加者が発話していない場合、発話していないキーワードに関するリマインドを参加者に通知していた。
【0084】
第2の実施形態では、話者を特定して、特定した話者(例えば、参加者、又は他の参加者)が、会議において、予め設定したキーワードを発話していない場合に、発話していないキーワードに関するリマインドを参加者に通知する場合の例について説明する。
【0085】
図10は、第2の実施形態に係る支援処理の例を示すフローチャートである。この処理は、例えば、図5に示すような機能構成を有するコミュニケーション支援システム1が、コミュニケーション(会議)を支援する支援処理の別の一例を示している。なお、基本的な処理内容は、図6で説明した第1の実施形態に係る支援処理と同様なので、ここでは、第1の実施形態と同様の処理に対する説明は省略する。
【0086】
ステップS1001において、設定受付部502は、会議に参加する参加者によるキーワード、及び会議予定時間等の設定に加えて、話者の設定を受け付ける。
【0087】
例えば、端末装置110aを利用する参加者は、端末装置110aでコミュニケーション支援システム1用のアプリを起動することにより、図11に示すような操作画面1100を表示することができる。
【0088】
図11は、第2の実施形態に係る操作画面の例を示す図である。図11の例では、操作画面1100には、会議予定時間を設定する設定欄711、及びキーワードを設定する設定欄712に加えて、リマインドの対象を設定する設定欄1101が表示されている。会議予定時間を設定する設定欄711、及びキーワードを設定する設定欄712は、図7で説明した設定欄711、及び設定欄712と同様なので、ここでは説明を省略する。
【0089】
参加者は、リマインドの対象を設定する設定欄1101を用いて、リマインドの対象となる話者を、参加者とするか、他の参加者とするか、参加者と他の参加者の両方にするかを設定することができる。
【0090】
参加者が、会議予定時間、キーワード、及びリマインド対象の話者を設定した後に、「記録する」ボタン713を選択すると、操作受付部515は、会議予定時間、キーワード、及びリマインド対象の話者を、コミュニケーション支援装置100に送信する。コミュニケーション支援装置100の設定受付部502は、端末装置100aから受信した会議予定時間、キーワード、及びリマインド対象の話者の設定を受け付ける。
【0091】
ステップS602、S603の処理は、図6で説明したステップS602、S603の処理と同様でよい。
【0092】
ステップS1002において、解析部505は、取得部504が取得した、参加者の発話音声、及び他の参加者の発話音声のうち、ステップS1001で設定されたリマインドの対象となる話者の発話音声を解析する解析処理を実行する。例えば、解析部505は、リマインド対象となる話者の発話音声をテキスト化し、テキスト化した発話音声に基づいて、会議で、管理部503が管理するキーワードに関する発話が行われたか否かを解析する。
【0093】
ステップS605~S608の処理は、図6で説明したステップS605~S608の処理と同様でよい。
【0094】
図10の処理により、参加者が、リマインドの対象となる話者を参加者(例えば、営業担当者等)に設定すると、通知部506は、会議で参加者がキーワードに関する発話を行っていない場合に、キーワードに関するリマインドを参加者に通知する。同様に、参加者が、リマインドの対象となる話者を他の参加者(例えば、顧客等)に設定すると、通知部506は、会議で他の参加者がキーワードに関する発話を行っていない場合に、キーワードに関するリマインドを参加者に通知する。
【0095】
[第3の実施形態]
第1、2の実施形態では、コミュニケーション支援システム1は、会議終了時間より所定の時間前に、キーワードに関するリマインドの通知を行っていた。しかし、実際の会議では、予定時間より早く会議を終了してしまう場合がある。
【0096】
そこで、第3の実施形態では、コミュニケーション支援システム1が、参加者による所定の操作を受け付けたときに、キーワードに関するリマインドを行う場合の例について説明する。
【0097】
図12は、第3の実施形態に係る支援処理の一例を示すフローチャートである。この処理は、例えば、図5に示すような機能構成を有するコミュニケーション支援システム1が、コミュニケーション(会議)を支援する支援処理の別の一例を示している。なお、基本的な処理内容は、図6で説明した第1の実施形態に係る支援処理と同様なので、ここでは、第1の実施形態と同様の処理に対する説明は省略する。
【0098】
ステップS601~S604の処理は、図6で説明したステップS601~S604の処理と同様でよい。
【0099】
ステップS1201において、解析部505は、図6のステップS605の処理と同様に、会議終了時間の所定の時間前になったかを判断する。会議終了の所定の時間前になった場合、解析部505は、処理をステップS606に移行させる。一方、会議終了の所定の時間前になっていない場合、解析部505は、処理をステップS1202に移行させる。
【0100】
ステップS1202に移行すると、解析部505は、所定の操作を受け付けたか否かを判断する。例えば、端末装置100aの表示制御部514は、図7に示すような操作画面710において、「記憶する」ボタン713が選択されると、図13に示すような操作画面1300を、端末装置100aの表示部に表示させる。
【0101】
図13の例では、操作画面1300には、「停止する」ボタン1301が表示されている。例えば、コミュニケーション支援装置100の取得部504は、図7に示すような操作画面710において、「記憶する」ボタン713が選択されると、取得部504が取得した参加者の発話音声、及び他の参加者の発話音声の記録を開始する。また、取得部504は、図13に示すような操作画面1300において、「停止する」ボタン1301が選択されると、取得部504が取得した参加者の発話音声、及び他の参加者の発話音声の記録を停止する。
【0102】
好ましくは、端末装置100aは、「停止する」ボタン1301が選択された場合、例えば、図14に示すような操作画面1400を表示して、取得した発話音声に関する情報の設定を受け付ける。これにより、コミュニケーション支援システム1は、取得した発話音声の記録に、例えば、タイトル、クライアント名、又は自己評価等の情報を付加して管理することができる。
【0103】
解析部505は、例えば、図13に示すような操作画面1300において、「停止する」ボタン1301が選択されたときに、所定の操作を受け付けたと判断する。ただし、これに限られず、解析部505は、操作画面において、例えば、「確認」ボタン、又は「リマインド」ボタン等の所定のボタンが選択されたときに、所定の操作を受け付けたと判断してもよい。
【0104】
所定の操作を受け付けていない場合、解析部505は、処理をステップS603に戻す。一方、所定の操作を受け付けた場合、解析部505は、処理をステップS606に移行させる。ステップS606~S608の処理は、図6で説明したステップS606~S608の処理と同様でよい。
【0105】
なお、図12のステップS1201、1202の処理は一例である。例えば、コミュニケーション支援システム1は、図15に示すように、図12のステップS1201の処理を省略してもよい。
【0106】
図15の例では、ステップS1501において、解析部505は、所定の操作を受け付けたか否かを判断する。所定の操作を受け付けていない場合、解析部505は、処理をステップS603に戻す。一方、所定の操作を受け付けた場合、解析部505は、処理をステップS606に移行させる。
【0107】
図14、15の処理により、コミュニケーション支援システム1は、予定時間より早く会議を終了する場合でも、会議が終了する前に、会議で発話されていないキーワードに関するリマインドを参加者に通知することができる。なお、第3の実施形態は、第2の実施形態と組み合わせて適用することも可能である。
【0108】
[第4の実施形態]
第4の実施形態では、コミュニケーション支援システム1が、リマインドのタイミングを示す所定の時間を決定する決定部を有している場合の処理の例について説明する。
【0109】
<機能構成>
図16は、第4の実施形態に係るコミュニケーション支援システム1の機能構成の例を示す図である。図16に示すように、第4の実施形態に係るコミュニケーション支援装置100は、図5で説明したコミュニケーション支援装置100の機能構成に加えて、決定部1601を有している。
【0110】
決定部1601は、例えば、CPU301によって実行されるプログラムによって実現される。決定部1601は、例えば、参加者によって設定されたキーワード、又はキーワードの数等に応じて、リマインドのタイミングを示す所定の時間を決定する決定処理を実行する。
【0111】
例えば、確認すべき事項が1つである場合、5分以内に確認が可能であるとしても、確認すべき事項が複数ある場合、5分以内に確認することが困難になる場合がある。そこで、決定部1601は、確認すべき事項に関するキーワードの数が増えると、所定の時間が長くなるように、所定の時間を決定してもよい。
【0112】
また、確認すべき事項が、「次回の打合せ」等の簡単な内容であれば、5分以内に確認が可能であるとしても、例えば、「予算」等の複雑な内容である場合、5分以内に確認することが困難になる場合がある。そこで、決定部1601は、設定されたキーワードに応じて、所定の時間を変更してもよい。
【0113】
好ましくは、決定部1601は、設定されたキーワード、又はキーワードの数に応じて、所定の時間を決定するように予め学習した学習済の機械学習モデルを用いて、所定の時間を決定する。この場合、学習済の機械学習モデルは、コミュニケーション支援装置100の記憶部507に記憶していてもよいし、システム外のクラウドサービスが提供する学習済の機械学習モデル等を用いるものであってもよい。
【0114】
ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し、新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。
【0115】
好ましくは、複数のキーワードが設定された場合、決定部1601は、キーワードごとに、異なる所定の時間を決定する。例えば、2つのキーワード「予算」、「次回の打合せ」が設定された場合、決定部1601は、会議終了時間の10分前に「予算」に関するリマインドを行い、会議終了時間の5分前に「次回の打合せ」に関するリマインドを行うように、所定の時間を決定してもよい。
【0116】
なお、第4の実施形態に係るコミュニケーション支援システム1の決定部1601以外の機能構成は、図5で説明した一実施形態に係るコミュニケーション支援システム1の機能構成と同様でよい。
【0117】
<処理の流れ>
図17は、第4の実施形態に係る支援処理の例を示すフローチャートである。この処理は、例えば、図16に示すような機能構成を有するコミュニケーション支援システム1が、コミュニケーション(会議)を支援する支援処理の別の一例を示している。なお、基本的な処理内容は、図6で説明した第1の実施形態に係る支援処理と同様なので、ここでは、第1の実施形態と同様の処理に対する説明は省略する。
【0118】
ステップS601の処理は、図6で説明したステップS601の処理と同様でよい。
【0119】
ステップS1701において、決定部1601は、設定受付部502が受け付けたキーワード、又はキーワードの数に基づいて、リマインドを行う所定の時間を決定する。好ましくは、複数のキーワードが設定された場合、決定部1601は、キーワードごとに所定の時間を決定する。
【0120】
ステップS602~S607の処理は、図6で説明したステップS602~S607の処理と同様でよい。
【0121】
ステップS1702において、コミュニケーション支援装置100は、所定の時間に達していない他のキーワードがあるか否かを判断する。他のキーワードがある場合、コミュニケーション支援装置100は、処理をステップS603に戻す。一方、他のキーワードがない場合、コミュニケーション支援装置100は、処理をステップS608に移行させる。
【0122】
ステップS608の処理は、図6で説明したステップS608の処理と同様でよい。
【0123】
図4の処理により、コミュニケーション支援システム1は、参加者によって設定されたキーワード、又はキーワードの数に応じて、キーワードをリマインドする所定の時間を、自動的に決定することができる。なお、第4の実施形態は、第1~3の実施形態と組み合わせて適用することが可能である。
【0124】
(変形例1)
図17のステップS601、S1701において、設定受付部502は、キーワード、及び会議予定時間の設定に加えて、キーワードごとの所定の時間の設定を受け付けるものであってもよい。
【0125】
この場合、例えば、端末装置100aの表示制御部514は、操作画面に、キーワードを設定する設定欄と、キーワードごとに所定の時間を設定する設定欄を表示する。また、設定受付部502は、操作画面で設定されたキーワード、及び所定の時間を受け付ける。
【0126】
(変形例2)
コミュニケーション支援システム1は、会議に複数の他の参加者が参加している場合、他の参加者を特定してもよい。例えば、他の参加者A、Bが会議に参加している場合、コミュニケーション支援システム1は、他の参加者Aが、キーワードに関する発話を行っていない場合、他の参加者Aがキーワードに関する発話を行っていないことを示すリマインドを、参加者に通知してもよい。
【0127】
なお、他の参加者の特定方法は、例えば、他の参加者が利用する端末装置100によって特定するものであってもよいし、他の参加者の発話音声に対して、公知の話者認識技術を適用して他の参加者を特定するものであってもよい。
【0128】
以上、本発明の各実施形態によれば、言い忘れたり、聞き忘れていたりすることがあることに気付かずに、コミュニケーションを終了してしまうことを防止するコミュニケーション支援システムを提供することができる。
<補足>
上記で説明した各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
【0129】
また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものに過ぎない。ある実施形態では、コミュニケーション支援装置100は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。
【0130】
さらに、会議サーバ10、コミュニケーション支援装置100、及び端末装置110は、開示された処理ステップ、例えば、図6、10、12、15、17に示す処理を様々な組み合わせで共有するように構成できる。例えば、コミュニケーション支援装置100によって実行されるプロセスは、会議サーバ10、又は端末装置110によって実行され得る。また、コミュニケーション支援装置100の各要素は、1つのサーバ装置にまとめられていても良いし、複数の装置に分けられていてもよい。
【0131】
<付記>
本明細書には、下記の各項のコミュニケーション支援システム、コミュニケーション支援装置、コミュニケーション支援方法、及びプログラムが開示されている。
(第1項)
キーワードを管理する管理部と、
コミュニケーションに参加する参加者の発話音声を取得する取得部と、
前記発話音声を解析して、前記コミュニケーションで前記キーワードに関する発話が行われていない場合、前記コミュニケーションが終了する前に、前記キーワードに関するリマインドを前記参加者に通知する通知部と、
を有する、コミュニケーション支援システム。
(第2項)
前記通知部は、前記コミュニケーションで前記参加者が前記キーワードに関する発話を行っていない場合、前記キーワードに関するリマインドを前記参加者に通知する、第1項に記載のコミュニケーション支援システム。
(第3項)
前記取得部は、前記コミュニケーションに参加する他の参加者の発話音声をさらに取得し、
前記通知部は、前記コミュニケーションで前記他の参加者が前記キーワードに関する発話を行っていない場合、前記キーワードに関するリマインドを前記参加者に通知する、第1項又は第2項に記載のコミュニケーション支援システム。
(第4項)
前記コミュニケーション支援システムは、端末装置を含み、
前記参加者が利用する端末装置に前記キーワードを設定するための操作画面を表示させる表示制御部を有する、第1項~第4項のいずれかに記載のコミュニケーション支援システム。
(第5項)
前記操作画面は、前記キーワードを設定する設定欄を含み、
前記管理部は、前記操作画面で設定された前記キーワードを管理する、
第4項に記載のコミュニケーション支援システム。
(第6項)
前記操作画面は、前記コミュニケーションの予定時間を設定する設定欄を含み、
前記通知部は、前記コミュニケーションの予定時間に基づいて、前記キーワードに関するリマインドを前記参加者に通知する、
第4項又は第5項に記載のコミュニケーション支援システム。
(第7項)
前記通知部は、前記コミュニケーションの終了予定時間より所定の時間前に、前記キーワードに関するリマインドを前記参加者に通知する、
第6項に記載のコミュニケーション支援システム。
(第8項)
前記操作画面は、前記所定の時間を設定する設定欄を含む、第7項に記載のコミュニケーション支援システム。
(第9項)
前記操作画面は、1つ以上の前記キーワードを設定する設定欄を含み、
前記キーワード、又は前記キーワードの数に基づいて、前記所定の時間を決定する決定部を有する、
第7項に記載のコミュニケーション支援システム。
(第10項)
前記通知部は、前記操作画面で所定の操作を受け付けたときに、前記キーワードに関するリマインドを前記参加者に通知する、
第4項又は第5項に記載のコミュニケーション支援システム。
(第11項)
前記発話音声をテキスト化する解析部を有し、
前記通知部は、前記解析部がテキスト化した発話内容に前記キーワードを含まれていない場合、前記コミュニケーションが終了する前に、前記キーワードに関するリマインドを前記参加者に通知する、第1項~第10項のいずれかに記載のコミュニケーション支援システム。
(第12項)
前記発話音声を解析して、発話の意図を解釈する解析部を有し、
前記通知部は、前記発話音声に、前記キーワードを意図する発話内容が含まれていない場合、前記コミュニケーションが終了する前に、前記キーワードに関するリマインドを前記参加者に通知する、第1項~第10項のいずれかに記載のコミュニケーション支援システム。
(第13項)
キーワードを管理する管理部と、
コミュニケーションに参加する参加者の発話音声を取得する取得部と、
前記発話音声を解析して、前記コミュニケーションで前記キーワードに関する発話が行われていない場合、前記コミュニケーションが終了する前に、前記キーワードに関するリマインドを前記参加者に通知する通知部と、
を有する、コミュニケーション支援装置。
(第14項)
キーワードを管理する管理ステップと、
コミュニケーションに参加する参加者の発話音声を取得する取得ステップと、
前記発話音声を解析して、前記コミュニケーションで前記キーワードに関する発話が行われていない場合、前記コミュニケーションが終了する前に、前記キーワードに関するリマインドを前記参加者に通知する通知ステップと、
をコンピュータが実行する、コミュニケーション支援方法。
(第15項)
キーワードを管理する管理ステップと、
コミュニケーションに参加する参加者の発話音声を取得する取得ステップと、
前記発話音声を解析して、前記コミュニケーションで前記キーワードに関する発話が行われていない場合、前記コミュニケーションが終了する前に、前記キーワードに関するリマインドを前記参加者に通知する通知ステップと、
をコンピュータに実行させる、プログラム。
(第16項)
コミュニケーション支援装置と、端末装置を有するコミュニケーション支援システムであって、
前記コミュニケーション支援装置は、
キーワードを管理する管理部と、
コミュニケーションに参加する参加者の発話音声を取得する取得部と、
前記発話音声を解析して、前記コミュニケーションで前記キーワードに関する発話が行われていない場合、前記コミュニケーションが終了する前に、前記キーワードに関するリマインドを前記参加者に通知する通知部と、を有し、
前記端末装置は、
前記キーワードに関するリマインドを表示する表示制御部を有する、
コミュニケーション支援システム。
【符号の説明】
【0132】
1 コミュニケーション支援システム
110、110a、110b 端末装置
300 コンピュータ
503 管理部
504 取得部
505 解析部
506 通知部
514 表示制御部
710、800、1100、1300、1400 操作画面
711 設定欄
712 設定欄
801 設定欄
1601 決定部
【先行技術文献】
【特許文献】
【0133】
【特許文献1】特開2018-120640号公報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17