知財求人 - 知財ポータルサイト「IP Force」
特開2024-135640コミュニケーションシステム、プログラム、端末装置、情報処理システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024135640
(43)【公開日】2024-10-04
(54)【発明の名称】コミュニケーションシステム、プログラム、端末装置、情報処理システム
(51)【国際特許分類】
G06F 3/0481 20220101AFI20240927BHJP
H04N 7/15 20060101ALI20240927BHJP
【ＦＩ】
G06F3/0481
H04N7/15 120
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023046427
(22)【出願日】2023-03-23
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100107515
【弁理士】
【氏名又は名称】廣田 浩一
(72)【発明者】
【氏名】渡辺 恵里
(72)【発明者】
【氏名】堀 悠貴
(72)【発明者】
【氏名】鈴木 友規
(72)【発明者】
【氏名】田中 宏昌
(72)【発明者】
【氏名】小山 輝憲
(72)【発明者】
【氏名】内藤 拓朗
【テーマコード（参考）】
5C164
5E555
【Ｆターム（参考）】
5C164FA10
5C164VA13P
5C164VA36P
5E555AA02
5E555AA29
5E555AA65
5E555BA02
5E555BB02
5E555BC08
5E555CA18
5E555DB03
5E555DB39
5E555DC02
5E555DC39
5E555FA00
(57)【要約】
【課題】グループ毎の表示画面を共有したコミュニケーションの状態を把握可能とする。
【解決手段】所定のグループに所属するユーザーに対して音声から変換された言語情報が時系列に表示される領域と、表示された言語情報に基づくコンテンツが表示される領域とを含む前記所定のグループ毎の情報表示画面を表示する表示制御部と、複数の前記グループを管理するユーザーに対して前記グループ毎に表示された複数の前記情報表示画面の一覧を含む状態確認画面を表示する状態表示部と、を有するコミュニケーションシステムである。
【選択図】図７
【解決手段】所定のグループに所属するユーザーに対して音声から変換された言語情報が時系列に表示される領域と、表示された言語情報に基づくコンテンツが表示される領域とを含む前記所定のグループ毎の情報表示画面を表示する表示制御部と、複数の前記グループを管理するユーザーに対して前記グループ毎に表示された複数の前記情報表示画面の一覧を含む状態確認画面を表示する状態表示部と、を有するコミュニケーションシステムである。
【選択図】図７
【特許請求の範囲】
【請求項1】
所定のグループに所属するユーザーに対して音声から変換された言語情報が時系列に表示される領域と、表示された言語情報に基づくコンテンツが表示される領域とを含む前記所定のグループ毎の情報表示画面を表示する表示制御部と、
複数の前記グループを管理するユーザーに対して前記グループ毎に表示された複数の前記情報表示画面の一覧を含む状態確認画面を表示する状態表示部と、を有するコミュニケーションシステム。
複数の前記グループを管理するユーザーに対して前記グループ毎に表示された複数の前記情報表示画面の一覧を含む状態確認画面を表示する状態表示部と、を有するコミュニケーションシステム。
【請求項2】
前記表示制御部は、複数の前記グループに所属するユーザーに紐付けられた第一の端末装置に、前記グループと対応した前記情報表示画面を表示させ、
前記状態表示部は、複数の前記グループを管理するユーザーに紐付けられた第二の端末装置に対して前記状態確認画面を表示させる、請求項１記載のコミュニケーションシステム。
前記状態表示部は、複数の前記グループを管理するユーザーに紐付けられた第二の端末装置に対して前記状態確認画面を表示させる、請求項１記載のコミュニケーションシステム。
【請求項3】
前記言語情報が時系列に表示される領域を第一の領域とし、前記表示された言語情報に基づくコンテンツが表示される領域を第二の領域とした場合に、
前記第一の領域に表示された言語情報の選択を受け付ける操作受付部を有し、
前記表示制御部は、前記操作受付部が選択を受け付けた言語情報に基づくコンテンツを前記第二の領域に表示する、請求項１又は２記載のコミュニケーションシステム。
前記第一の領域に表示された言語情報の選択を受け付ける操作受付部を有し、
前記表示制御部は、前記操作受付部が選択を受け付けた言語情報に基づくコンテンツを前記第二の領域に表示する、請求項１又は２記載のコミュニケーションシステム。
【請求項4】
前記言語情報が時系列に表示される領域を第一の領域とし、前記表示された言語情報に基づくコンテンツが表示される領域を第二の領域とした場合に、
前記第一の領域に表示された言語情報を絞り込むフィルタリング部を有し、
前記表示制御部は、前記フィルタリング部が絞り込んだ前記言語情報のみを前記第一の領域に表示させ、前記フィルタリング部が絞り込んだ前記コンテンツのみを前記第二の領域に表示する、請求項１又は２記載のコミュニケーションシステム。
前記第一の領域に表示された言語情報を絞り込むフィルタリング部を有し、
前記表示制御部は、前記フィルタリング部が絞り込んだ前記言語情報のみを前記第一の領域に表示させ、前記フィルタリング部が絞り込んだ前記コンテンツのみを前記第二の領域に表示する、請求項１又は２記載のコミュニケーションシステム。
【請求項5】
前記第一の領域に存在する言語情報に基づいて前記第二の領域に配置されたコンテンツは、前記言語情報の識別情報と対応付けられており、
前記表示制御部は、前記フィルタリング部が絞り込んだ前記言語情報のみを前記第一の領域に表示した場合に、前記第一の領域に表示された前記言語情報の識別情報と対応付けられているコンテンツのみを前記第二の領域に表示する、請求項４記載のコミュニケーションシステム。
前記表示制御部は、前記フィルタリング部が絞り込んだ前記言語情報のみを前記第一の領域に表示した場合に、前記第一の領域に表示された前記言語情報の識別情報と対応付けられているコンテンツのみを前記第二の領域に表示する、請求項４記載のコミュニケーションシステム。
【請求項6】
表示されたコンテンツを絞り込むフィルタリング部を有し、
前記状態表示部は、
前記状態確認画面において、前記フィルタリング部によるフィルタリングの要素を選択される選択欄を表示させ、
前記状態確認画面に含まれる前記情報表示画面において、前記選択欄において選択された要素によって前記フィルタリング部が絞り込んだ前記コンテンツを強調表示させる、請求項１又は２記載のコミュニケーションシステム。
前記状態表示部は、
前記状態確認画面において、前記フィルタリング部によるフィルタリングの要素を選択される選択欄を表示させ、
前記状態確認画面に含まれる前記情報表示画面において、前記選択欄において選択された要素によって前記フィルタリング部が絞り込んだ前記コンテンツを強調表示させる、請求項１又は２記載のコミュニケーションシステム。
【請求項7】
前記状態表示部は、
前記状態確認画面に含まれる前記情報表示画面の前記言語情報が時系列に表示される領域において、表示された言語情報の表示態様を、前記言語情報を発話した発言者毎に異ならせる、請求項１又は２記載のコミュニケーションシステム。
前記状態確認画面に含まれる前記情報表示画面の前記言語情報が時系列に表示される領域において、表示された言語情報の表示態様を、前記言語情報を発話した発言者毎に異ならせる、請求項１又は２記載のコミュニケーションシステム。
【請求項8】
前記状態表示部は、
前記状態確認画面に含まれる前記情報表示画面の前記言語情報が時系列に表示される領域に表示された言語情報に基づき、発言者毎の発言数を示す画像を表示させる、請求項１又は２記載のコミュニケーションシステム。
前記状態確認画面に含まれる前記情報表示画面の前記言語情報が時系列に表示される領域に表示された言語情報に基づき、発言者毎の発言数を示す画像を表示させる、請求項１又は２記載のコミュニケーションシステム。
【請求項9】
前記言語情報が時系列に表示される領域を第一の領域とし、前記表示された言語情報に基づくコンテンツが表示される領域を第二の領域とした場合に、
前記表示制御部は、
前記第一の領域に存在する言語情報に含まれる各単語の出現頻度に応じて前記単語を示す文字画像の大きさと配置を決定し、
前記大きさと配置に基づき前記単語を示す文字画像を前記第二の領域に表示する、請求項１又は２記載に記載のコミュニケーションシステム。
前記表示制御部は、
前記第一の領域に存在する言語情報に含まれる各単語の出現頻度に応じて前記単語を示す文字画像の大きさと配置を決定し、
前記大きさと配置に基づき前記単語を示す文字画像を前記第二の領域に表示する、請求項１又は２記載に記載のコミュニケーションシステム。
【請求項10】
前記表示制御部は、
前記単語同士の関連性に応じて、前記単語を示す文字画像同士を繋ぐ線を前記第二の領域に表示する、請求項９記載のコミュニケーションシステム。
前記単語同士の関連性に応じて、前記単語を示す文字画像同士を繋ぐ線を前記第二の領域に表示する、請求項９記載のコミュニケーションシステム。
【請求項11】
端末装置を、
所定のグループに所属するユーザーに対して音声から変換された言語情報が時系列に表示される領域と、表示された言語情報に基づくコンテンツが表示される領域とを含む前記所定のグループ毎の情報表示画面を表示する表示制御部、
複数の前記グループを管理するユーザーに対して前記グループ毎に表示された複数の前記情報表示画面の一覧を含む状態確認画面を表示する状態表示部、として機能させるためのプログラム。
所定のグループに所属するユーザーに対して音声から変換された言語情報が時系列に表示される領域と、表示された言語情報に基づくコンテンツが表示される領域とを含む前記所定のグループ毎の情報表示画面を表示する表示制御部、
複数の前記グループを管理するユーザーに対して前記グループ毎に表示された複数の前記情報表示画面の一覧を含む状態確認画面を表示する状態表示部、として機能させるためのプログラム。
【請求項12】
所定のグループに所属するユーザーに対して音声から変換された言語情報が時系列に表示される領域と、表示された言語情報に基づくコンテンツが表示される領域とを含む情報表示画面を表示する表示制御部と、
複数の前記グループを管理するユーザーに対して前記グループ毎に表示された複数の前記情報表示画面の一覧を含む状態確認画面を表示する状態表示部と、を有する端末装置。
複数の前記グループを管理するユーザーに対して前記グループ毎に表示された複数の前記情報表示画面の一覧を含む状態確認画面を表示する状態表示部と、を有する端末装置。
【請求項13】
所定のグループに所属するユーザーに対して音声から変換された言語情報が時系列に表示される領域と、表示された言語情報に基づくコンテンツが表示される領域とを含む情報表示画面を表示する表示制御部と、
複数の前記グループを管理するユーザーに対して前記グループ毎に表示された複数の前記情報表示画面の一覧を含む状態確認画面を表示する状態表示部と、を有する端末装置と、ネットワークを介して通信する情報処理システムであって、
前記端末装置のユーザーの権限に応じて、前記端末装置に表示させる情報を管理する権限管理部を有し、
前記権限管理部は、複数の前記グループを管理するユーザーに紐付けられた端末装置に対して、前記状態確認画面の表示させる、情報処理システム。
複数の前記グループを管理するユーザーに対して前記グループ毎に表示された複数の前記情報表示画面の一覧を含む状態確認画面を表示する状態表示部と、を有する端末装置と、ネットワークを介して通信する情報処理システムであって、
前記端末装置のユーザーの権限に応じて、前記端末装置に表示させる情報を管理する権限管理部を有し、
前記権限管理部は、複数の前記グループを管理するユーザーに紐付けられた端末装置に対して、前記状態確認画面の表示させる、情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コミュニケーションシステム、プログラム、端末装置、及び情報処理システムに関する。
【背景技術】
【0002】
近年では、表示画面を共有して行われる会議等のイベントにおいて発生した音声データから変換されたテキストデータを表示する表示領域と、当該イベントのある時点における表示画面のキャプチャを表示する表示領域と、を時系列に表示させる技術が知られている。これらの表示を見ることによって、当該イベントにおけるコミュニケーションの状態を把握することができる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
しかしながら、従来の技術では、例えば、複数のグループ毎それぞれで表示画面を共有してイベントを行っている場合に、当該複数のイベントのファシリテータが、当該複数のイベントそれぞれにおける表示画面を共有したコミュニケーションの状態を把握することはできない。
【0004】
本発明は、上記課題に鑑み、グループ毎の表示画面を共有したコミュニケーションの状態を把握可能とすることを目的とする。
【課題を解決するための手段】
【0005】
上記課題に鑑み、本発明は、所定のグループに所属するユーザーに対して音声から変換された言語情報が時系列に表示される領域と、表示された言語情報に基づくコンテンツが表示される領域とを含む前記所定のグループ毎の情報表示画面を表示する表示制御部と、
複数の前記グループを管理するユーザーに対して前記グループ毎に表示された複数の前記情報表示画面の一覧を含む状態確認画面を表示する状態表示部と、を有するコミュニケーションシステムである。
複数の前記グループを管理するユーザーに対して前記グループ毎に表示された複数の前記情報表示画面の一覧を含む状態確認画面を表示する状態表示部と、を有するコミュニケーションシステムである。
【発明の効果】
【0006】
グループ毎の表示画面を共有したコミュニケーションの状態を把握可能とすることができる。
【図面の簡単な説明】
【0007】
【図1】ビジュアルコミュニケーションシステムの利用シーンを説明する図である。
【図2】ビジュアルコミュニケーションシステムのシステム構成を示すシステム構成図である。
【図3】コンピュータのハードウェア構成図の一例である。
【図4】参加者が操作する端末装置が表示するホーム画面の一例を示す図である。
【図5】端末装置が会議中に表示する情報表示画面を示す図である。
【図6】ファシリテータが操作する端末装置が表示するホーム画面の一例を示す図である。
【図7】ファシリテータが操作する端末装置が表示する状態確認画面の一例を示す第一の図である。
【図8】ビジュアルコミュニケーションシステムの機能ブロック図である。
【図9】会話内容テーブルを示す概念図である。
【図10】コンテンツテーブルを示す概念図である。
【図11】イラストテーブルを示す概念図である。
【図12】会議管理テーブルを示す概念図である。
【図13】コンテンツ表示時系列テーブルを示す概念図である。
【図14】端末装置が表示する初期状態の情報表示画面の一例を示す図である。
【図15】端末装置が音声データを情報処理システム３に送信し、情報処理システムが音声データから変換した言語情報を他の端末装置と共有する処理を説明するシーケンス図である。
【図16】ユーザー操作に応じて、端末装置が会話蓄積領域からホワイトボード作業領域へ言語情報をコピーする処理を模式的に説明する図である。
【図17】ユーザー操作に応じて、端末装置が会話蓄積領域からホワイトボード作業領域へ言語情報をコピーする処理を説明するシーケンス図である。
【図18】ユーザー操作に応じて、端末装置が会話蓄積領域からホワイトボード作業領域へ言語情報の全文をコピーする処理を模式的に説明する図である。
【図19】ホワイトボード作業領域にコピーされた言語情報に基づいて検索されたイラストの表示例を説明する図である。
【図20】ユーザー操作に応じて、端末装置がホワイトボード作業領域の言語情報に基づいてイラストを表示する処理を説明するシーケンス図である。
【図21】ホワイトボード作業領域１０２のコンテンツが選択された場合に強調して表示される会話蓄積領域１０１の言語情報の一例を示す図である。
【図22】ユーザー操作に応じて、端末装置がホワイトボード作業領域のコンテンツに対応する言語情報を強調して表示する処理を説明するシーケンス図である。
【図23】端末装置が会話蓄積領域の言語情報をフィルタリングする処理を説明するフローチャート図である。
【図24】ファシリテータが操作する端末装置が表示する状態確認画面の一例を示す第二の図である。
【図25】ファシリテータが操作する端末装置が表示する状態確認画面の一例を示す第三の図である。
【図26】ファシリテータが操作する端末装置が表示する状態確認画面の一例を示す第四の図である。
【図27】ファシリテータが操作する端末装置が表示する状態確認画面の一例を示す第五の図である。
【図28】端末装置が会議中に表示する情報表示画面の他の例を示す図である。
【図29】ファシリテータが操作する端末装置が表示するホーム画面の他の例を示す図である。
【図30】情報表示画面の他の表示態様を示す図である。
【発明を実施するための形態】
【0008】
以下に、本発明を実施するための形態の一例として、ビジュアルコミュニケーションシステムとビジュアルコミュニケーションシステムが行う表示方法について図面を参照しながら説明する。
【0009】
会議などのコミュニケーションの場面では、短い時間で効率的な情報伝達を行うために、言語情報によるコミュニケーションだけでは不十分であることがある。例えば、新しい企画やアイデアを考える際に行われる会議では、意思疎通のために視覚情報の活用が有効である。
【0010】
また、コミュニケーションを行う場面の一例として、複数のユーザーのグループ活動を行うワークショップ等がある。ワークショップでは、複数のユーザーがそれぞれ異なる観点から新しいビジネスモデルの検討や、様々な問題に対してアイデアを出すグループディスカッション（グループワーク）等が行われる。
【0011】
グループディスカッションでは、グループのアイデアを協同でまとめるために、模造紙やホワイトボードなどを用いることがある。対面でのグループディスカッションでは、ファシリテータと参加者ともに同じ空間にいるため、ファシリテータが各グループの盛り上がりや議論の様子を把握することができる。
【0012】
これに対し、オンラインでグループディスカッションを実施する場合、Ｗｅｂ会議システムのブレイクアウトルーム機能により参加者を複数のグループを分割し、各グループで、複数人の共同編集が可能な表示領域（ホワイトボード作業領域）を用いてグループワークを実施することが多い。
【0013】
この場合、ファシリテータは、各グループの議論の状態を把握するために、各グループのブレイクアウトルームに入室せずに、グループ毎の表示領域を俯瞰することが考えられるが、編集中の表示領域を俯瞰するだけでは、議論の状態を把握することが困難なグループもある。具体的には、例えば、議論の内容が表示領域に可視化されていないグループや、表示領域に文字だけが羅列しているグループの場合には、表示領域を俯瞰するだけでは議論の状態を把握することが難しい。また、表示領域を俯瞰するだけでは、議論における会話の量や、会話の内容まで把握することはできない。
【0014】
そのため、本実施形態では、ファシリテータに対して、複数のグループのそれぞれの議論の状態を直感的に把握させる。なお、ファシリテータとは、グループディスカッションの進行を支援する立場の人物の一例である。
【0015】
【0016】
図１は、ビジュアルコミュニケーションシステムを用いてグループディスカッションを行う場合を示している。図１の例では、グループディスカッションの参加者は、ビジュアルコミュニケーションシステムのブレイクアウトルーム機能により、グループＡ、グループＢ、グループＣ、グループＤに分割されている。また、グループディスカッションは、ファシリテータＰによって進行が支援される。
【0017】
ブレイクアウトルーム機能とは、オンラインコミュニケーションツールの機能であり、参加者をグループ分けしてグループ単位で会話するための機能である。以下の説明では、ブレイクアウトルームを、単にルームと呼ぶ場合がある。
【0018】
図１の例では、グループＡによる議論は、ビジュアルコミュニケーションシステムによってオンライン上に形成されたルーム１で行われ、グループＢによる議論は、ビジュアルコミュニケーションシステムによってオンライン上に形成されたルーム２で行われる。また、グループＣによる議論は、ビジュアルコミュニケーションシステムによってオンライン上に形成されたルーム３で行われ、グループＤによる議論は、ビジュアルコミュニケーションシステムによってオンライン上に形成されたルーム４で行われる。
【0019】
なお、本実施形態のルーム１～ルーム４は、ビジュアルコミュニケーションシステムが有するブレイクアウトルーム機能以外の方法によって設定されてもよい。
【0020】
本実施形態では、ファシリテータＰに対して、グループＡ～グループＤのそれぞれにおける議論の状態を、直感的に且つリアルタイムに把握させる。
【0021】
＜システム構成例＞
図２は、ビジュアルコミュニケーションシステム５のシステム構成を示すシステム構成図である。ビジュアルコミュニケーションシステム５は、ネットワーク２を介して通信が可能な端末装置１Ａ、端末装置１Ｂ及び情報処理システム３を有する。
図２は、ビジュアルコミュニケーションシステム５のシステム構成を示すシステム構成図である。ビジュアルコミュニケーションシステム５は、ネットワーク２を介して通信が可能な端末装置１Ａ、端末装置１Ｂ及び情報処理システム３を有する。
【0022】
ネットワーク２は、インターネット、移動体通信網、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のうち１つ以上を用いて構築されていてよい。ネットワーク２には、例えば、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）、４Ｇ（４ｔｈ Ｇｅｎｅｒａｔｉｏｎ）、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）（登録商標）、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）又はＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）等の無線通信によるネットワークが含まれてもよい。
【0023】
端末装置１Ａ（第一の端末装置）は、参加者が操作する情報処理装置である。具体的には、例えば、端末装置１Ａは、グループＡ～グループＤに含まれる参加者が操作する情報処理装置である。端末装置１Ｂは、ファシリテータが操作する情報処理装置である。なお、ファシリテータＰは、グループＡ～グループＤの参加者のうちの一人であってもよい。
【0024】
なお、端末装置１Ｂは、各グループにおける議論を管理する管理者によって利用されればよく、管理者はファシリテータに限定されない。例えば、グループディスカッションが教育現場の授業として行われる場合には、教師が管理者となってもよい。また、グループディスカッションが、部署内の会議として行われる場合には、部署内の上司が管理者となってもよい。
【0025】
本実施形態の端末装置１Ａは、情報表示画面を表示させる。より具体的には、グループＡに所属する参加者の端末装置１Ａは、グループＡの情報表示画面を表示させ、グループＢに所属する参加者の端末装置１Ａは、グループＢの情報表示画面を表示させる。また、グループＣに所属する参加者の端末装置１Ａは、グループＣの情報表示画面を表示させ、グループＤに所属する参加者の端末装置１Ａは、グループＤの情報表示画面を表示させる。
【0026】
情報表示画面は、参加者による議論が行われてる最中に、端末装置１Ａに表示される画面であり、音声から変換された言語情報が時系列に表示される会話蓄積領域（第一の領域）と、言語情報に基づくコンテンツが配置されるホワイトボード作業領域（第二の領域）を含む。
【0027】
端末装置１Ａは、参加者が発声した音声データを情報処理システム３に送信する。端末装置１Ａは、サーバが音声データを文字に変換した言語情報を受信し、端末装置１Ａに表示される情報表示画面の会話蓄積領域に表示する。
【0028】
端末装置１Ａは、この処理を繰り返す。ネットワーク２には会議に参加する複数の参加者が操作する端末装置１Ａが接続されており、各端末装置１Ａが同様の処理を行うことで、各参加者が入力した言語情報が、情報表示画面の会話蓄積領域に時系列に表示される。情報表示画面の詳細は後述する。
【0029】
端末装置１Ｂ（第二の端末装置）は、ファシリテータＰに各グループの議論の状態を把握させるための状態確認画面を表示させる。状態確認画面は、各グループの情報表示画面の一覧が表示される。具体的には、例えば、端末装置１Ｂには、グループＡの情報表示画面、グループＢの情報表示画面、グループＣの情報表示画面、グループＤの情報表示画面が一覧表示される。状態確認画面の詳細は後述する。
【0030】
本実施形態では、このように、各グループの情報表示画面の一覧を端末装置１Ｂに表示させることで、ファシリテータＰに対して、各グループにおける議論の状態を直感的に把握させる。
【0031】
なお、以下の説明において、端末装置１Ａと端末装置１Ｂとを区別しない場合には、単に端末装置１と呼ぶ場合がある。
【0032】
端末装置１は、例えば、Ｗｉｎｄｏｗｓ（登録商標）、ＭＡＣ ＯＳ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）、ｉＯＳ（登録商標）等、一般的なＯＳで動作するデスクトップＰＣ（パーソナルコンピュータ）、ノート型ＰＣ、スマートフォン、タブレット端末等でよい。この他、端末装置１はＷｅｂブラウザをはじめとするアプリケーションが動作可能な装置であればよい。
【0033】
また、端末装置１は電子黒板、デジタルサイネージ等の出力装置、ＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）装置、産業機械、医療機器、ネットワーク家電、自動車（Ｃｏｎｎｅｃｔｅｄ Ｃａｒ）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等であってもよい。
【0034】
情報処理システム３は、端末装置１からの要求に対して情報や処理結果を提供する機能を果たす情報処理装置である。このようは情報処理装置をサーバという。本実施形態のビジュアルコミュニケーションシステム５において、情報処理システム３は、上記の音声認識を行う他、言語情報に対応するイラストなどの画像を端末装置１に提供する場合がある。なお、音声認識は端末装置１においても可能である。
【0035】
情報処理システム３は、Ｗｅｂサーバの機能を有することが好ましい。Ｗｅｂサーバとは、クライアントであるＷｅｂブラウザに指示されたＵＲＬに基づいて、Ｗｅｂサーバ内に存在するＨＴＭＬドキュメント等の各種情報を、端末装置１から接続されたＨＴＴＰに則って送信する。ＷｅｂブラウザとＷｅｂサーバとが通信することでＷｅｂアプリの実行が可能となる。Ｗｅｂアプリとは、Ｗｅｂブラウザ上で動作するプログラミング言語（例えばJavaScript（登録商標））によるプログラムとＷｅｂサーバ側のプログラムが協調することによって動作するアプリケーションである。これに対し、端末装置１にインストールされなければ実行されないアプリケーションをネイティブアプリという。
【0036】
情報処理システム３はクラウドコンピューティングに対応していてよい。クラウドコンピューティングとは、特定ハードウェア資源が意識されずにネットワーク上のリソースが利用される利用形態をいう。例えば、情報処理システム３が有するＷｅｂサーバの機能、音声認識の機能、イラストの検索機能などに対応したサーバが別々に存在してもよい。
【0037】
＜ハードウェア構成例＞
図３は、端末装置１、情報処理システム３のハードウェア構成図を示す。端末装置１、情報処理システム３は、それぞれ、図３に示すようなコンピュータ５００のハードウェア構成を有している。
図３は、端末装置１、情報処理システム３のハードウェア構成図を示す。端末装置１、情報処理システム３は、それぞれ、図３に示すようなコンピュータ５００のハードウェア構成を有している。
【0038】
コンピュータ５００は、図３に示されているように、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ５０４、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）５０８、ネットワークＩ／Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、光学ドライブ５１４、メディアＩ／Ｆ５１６、動作取得デバイス５１７、マイク５１８、スピーカ５１９、カメラ５２０を備えている。
【0039】
これらのうち、ＣＰＵ５０１は、コンピュータ５００全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム５００ａ等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。表示手段としてのディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやプリンタ等である。ネットワークＩ／Ｆ５０９は、ネットワーク２を利用してデータ通信をするためのインターフェースである。バスライン５１０は、図３に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレス
また、キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。光学ドライブ５１４は、着脱可能な記録媒体の一例としての光記憶媒体５１３に対する各種データの読み出し又は書き込みを制御する。なお、光学ドライブ５１４はＣＤ、ＤＶＤ、Ｂｌｕ－ＲａｙＲ等でよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。
また、キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。光学ドライブ５１４は、着脱可能な記録媒体の一例としての光記憶媒体５１３に対する各種データの読み出し又は書き込みを制御する。なお、光学ドライブ５１４はＣＤ、ＤＶＤ、Ｂｌｕ－ＲａｙＲ等でよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。
【0040】
動作取得デバイス５１７は、ユーザーの動作を検出し、電気信号に変える回路で、入力手段の一種である。ユーザーの動作の検出は、光の反射を検出する光学式、ユーザーに取り付けられた磁気センサ、機械式センサ、磁気センサの検出結果を用いるもの、又はユーザーの画像を解析する方式等いずれか、又はそれらを組み合わせてもよい。
【0041】
マイク５１８は、音を電気信号に変える内蔵型の回路である。スピーカ５１９は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。マイク５１８，スピーカ５１９は内蔵されていても外付けでもよい。
【0042】
スピーカ５１９は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。
【0043】
カメラ５２０は、被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。
【0044】
なお、情報処理システム３に適用されるコンピュータ５００において、ＨＤＤコントローラ５０５は、ＨＤ５０４に対応し、プログラム５００ａを格納する。端末装置１に適用されるコンピュータ５００において、情報処理システム３からネットワーク２経由でプログラム５００ａがダウンロードされＨＤ５０４に格納され、ＣＰＵ５０１によりプログラム５００ａがＨＤ５０４から読み出され実行されることで、ＲＡＭ５０３内に図４に示すような機能構成が、コンパイル時に一括して又は処理の進行に応じて順次に展開され得る。また、情報処理システム３に適用されるコンピュータ５００において、プログラム５００ａがＣＰＵ５０１により実行されることで、ＲＡＭ５０３内に図８に示すような機能構成が、コンパイル時に一括して又は処理の進行に応じて展開され得る。
【0045】
また、情報処理システム３に適用されるコンピュータ５００は、ユーザーインタフェースに関する構成が省略されていてもよく、ディスプレイ５０６、キーボード５１１、及びポインティングデバイス５１２、動作取得デバイス５１７のうち少なくとも１つが省略されていてもよい。
【0046】
【0047】
図４に示す画面４００は、例えば、参加者が端末装置１Ａを操作して本実施形態のビジュアルコミュニケーションシステムにログインした場合に、端末装置１Ａに表示される、参加者用のホーム画面の一例である。
【0048】
画面４００は、表示領域４０１を含む、表示領域４０１は、各グループの情報表示画面を表示させるための操作ボタンの一覧が表示される。具体的には、表示領域４０１は、操作ボタン４０１Ａ、操作ボタン４０１Ｂ、操作ボタン４０１Ｃ、操作ボタン４０１Ｄを含む。
【0049】
操作ボタン４０１Ａは、画面４００をグループＡの情報表示画面に遷移させるための操作ボタンであり、操作ボタン４０１Ｂは、画面４００をグループＢの情報表示画面に遷移させるための操作ボタンである。操作ボタン４０１Ｃは、画面４００をグループＣの情報表示画面に遷移させるための操作ボタンであり、操作ボタン４０１Ｄは、画面４００をグループＤの情報表示画面に遷移させるための操作ボタンである。
【0050】
次に、図５を参照して、グループ毎の情報表示画面について説明する。図５は、端末装置が会議中に表示する情報表示画面を示す図である。図５に示すように、情報表示画面１００は、会話蓄積領域１０１（第一の領域の一例）と、ホワイトボード作業領域１０２（第二の領域の一例）と、を有している。ホワイトボード作業領域１０２は、タッチパネルであり、手書きデータ、直接入力された言語情報、又は各種の画像などを通常の電子黒板と同様に、参加者が表示させる領域である。会話蓄積領域１０１は、会議の参加者による会話の内容が音声認識により変換された言語情報の履歴が表示される領域である。なお、ホワイトボード作業領域１０２はタッチパネルを必須とするわけではなく、通常のディスプレイでもよい。この場合、ユーザーは、マウスを使用して手書き入力等を行う。
【0051】
このように、ホワイトボード作業領域１０２と会話蓄積領域１０１とが同一画面に表示される。参加者は、会話蓄積領域１０１に表示されている言語情報を、押下やドラッグなどによりホワイトボード作業領域１０２に配置できる。図１では「リラックスできる」という文字列１０４と「face to faceがいい」という文字列１０５が、ホワイトボード作業領域１０２に表示されている。
【0052】
また、参加者は、会話蓄積領域１０１又はホワイトボード作業領域１０２の言語情報に基づいてイラストをホワイトボード作業領域１０２に配置できる。図１では、「face to faceがいい」という文字列１０５に基づいたイラスト１０８が、ホワイトボード作業領域１０２に表示されている。
【0053】
このように本実施形態のビジュアルコミュニケーションシステム５は、音声から変換された言語情報を基にイラストなどの視覚情報をホワイトボード作業領域１０２に表示できる。ユーザーは、会話の内容をイラストに変換してホワイトボード作業領域１０２に手書きしたりネットワーク等から取得したりしなくても、会議中のコミュニケーションを容易に視覚化できる。ホワイトボード作業領域１０２と、会話蓄積領域１０１が同じ画面に表示されるので、ユーザーはホワイトボード作業領域１０２のコンテンツがどのようなコミュニケーションの過程で配置されたのかを把握しながら、コミュニケーションを進めることができる。
【0054】
図６は、ファシリテータが操作する端末装置が表示するホーム画面の一例を示す図である。図６に示す画面４００Ａは、例えば、ファシリテータＰが端末装置１Ｂを操作して本実施形態のビジュアルコミュニケーションシステムにログインした場合に、端末装置１Ｂに表示される、ファシリテータ用のホーム画面の一例である。
【0055】
なお、ファシリテータＰが端末装置１Ｂを操作して本実施形態のビジュアルコミュニケーションシステムにログインした場合には、端末装置１Ｂには、ファシリテータ用の画面が表示される。
【0056】
画面４００Ａは、表示領域４０１と、操作ボタン４０２とを含む。操作ボタン４０２は、画面４００Ａを状態確認画面に遷移させるための操作ボタンである。言い換えれば、操作ボタン４０２は、ファシリテータＰとしての権限を有する参加者が端末装置１Ｂを用いてビジュアルコミュニケーションシステム５にログインした場合に表示される。
【0057】
端末装置１Ｂは、ファシリテータＰにより、操作ボタン４０２が操作されると、各グループの情報表示画面の一覧を含む状態確認画面を表示させる。
【0058】
【0059】
画面７００は、表示領域７０１と、操作ボタン７０２とを含む。表示領域７０１には、グループ毎の情報表示画面の一覧が表示される。図７の例では、表示領域７０１には、グループＡの情報表示画面１００Ａと、グループＢの情報表示画面１００Ｂの一部とが表示されている。画面７００では、スライダ７０３を移動させることで、表示領域７０１に、グループＣの情報表示画面１００ＣやグループＤの情報表示画面１００Ｄを表示させることができる。
【0060】
また、表示領域７０１に表示される情報表示画面１００Ａには、表示領域７０４ａ、操作ボタン７０５ａが表示されおり、情報表示画面１００Ｂには、表示領域７０４ｂ、操作ボタン７０５ｂが表示される。
【0061】
表示領域７０４ａは、グループＡに所属する参加者を特定するアイコン画像が表示される。操作ボタン７０５ａは、ファシリテータＰが、グループＡが議論を行っているルーム１に入室するための操作ボタンである。表示領域７０４ｂは、グループＢに所属する参加者を特定するアイコン画像が表示される。操作ボタン７０５ｂは、ファシリテータＰが、グループＢが議論を行っているルーム２に入室するための操作ボタンである。
【0062】
画面７００において、操作ボタン７０５ａが操作されると、端末装置１Ｂは、グループＡの情報表示画面１００Ａを共有する複数の端末装置１Ａの１つとなり、端末装置１Ｂに表示される画面は、画面７００から情報表示画面１００Ａに遷移する。
【0063】
操作ボタン７０２は、画面７００を、図６に示す画面４００Ａに遷移させるための操作ボタンである。
【0064】
なお、画面７００では、例えば、これまでの対話および可視化の様子を短時間のアニメーションで振り返る機能があっても良い。また、端末装置１Ｂは、各グループの情報表示画面においてイラストやテキストが選択されると、選択されたテキストやイラストを操作参加者を特定し、特定された参加者が視認できるように表示されてもよい。また、端末装置１Ｂでは、イラストが選択されると、選択されたイラストと紐付くテキストが特定できるように表示されてもよい。
【0065】
＜用語について＞
言語情報とは、日本語や英語などの言語で構成される情報をいう。本実施形態では、言語情報には、発言者が発言した言葉が音声認識されたものの他、キーボードなどから入力される場合も言語情報に含まれる。言語情報には、文字、図形、数字、アルファベット、など文字コードに基づいてコンピュータで表示できる情報が含まれる。
言語情報とは、日本語や英語などの言語で構成される情報をいう。本実施形態では、言語情報には、発言者が発言した言葉が音声認識されたものの他、キーボードなどから入力される場合も言語情報に含まれる。言語情報には、文字、図形、数字、アルファベット、など文字コードに基づいてコンピュータで表示できる情報が含まれる。
【0066】
時系列に蓄積されるとは、発言の順番に言語情報が表示され、また、過去の言語情報を任意に閲覧可能であることをいう。
【0067】
作業領域とは、言語情報及びコンテンツの配置や内容をユーザーが編集できるコンピュータ画面上の領域である。作業領域の一例として電子ホワイトボードのように使用できる領域がある。電子ホワイトボードとは、タッチパネルを利用して従来のホワイトボード同様に手書きデータを書き込むこともでき、ＰＣ等の画面やデータを映し出すことができる装置である。なお、ホワイトボードは、電子黒板、電子情報ボード、電子白板などと呼ばれてよい。
【0068】
コンテンツとは、作業領域に表示された表示物である。コンテンツは、例えば言語情報、イラスト、図形、表、ＰＣ等の画面やデータ、インターネット上の情報など、コンピュータで表示可能なものであればコンテンツとなり得る。
【0069】
【0070】
＜情報処理システムの機能構成＞
図８に示されているように、情報処理システム３は、第二通信部３１、変換部３２、会話内容管理部３３、コンテンツ管理部３４、権限管理部３５、フィルタリング部３６を有している。情報処理システム３が有するこれら各部は、図３に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システム３は、図３に示されているＲＡＭ５０３、ＨＤ５０４によって構築される記憶部３０００を有している。
図８に示されているように、情報処理システム３は、第二通信部３１、変換部３２、会話内容管理部３３、コンテンツ管理部３４、権限管理部３５、フィルタリング部３６を有している。情報処理システム３が有するこれら各部は、図３に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システム３は、図３に示されているＲＡＭ５０３、ＨＤ５０４によって構築される記憶部３０００を有している。
【0071】
第二通信部３１は、ネットワーク２を介して端末装置１と通信する。第二通信部３１は、音声データ又は手書きデータを端末装置１から受信し、音声データ又は手書きデータから変換された言語情報を端末装置１に送信する。
【0072】
変換部３２は、ユーザーが発話した音声データ、又は、ユーザーが手書きした１つ以上のストロークデータ（手書きデータ）に対し文字認識処理を行い、言語情報に変換する。言語情報の実体は文字コードである。変換部３２は、ユーザーの発話、及び、ユーザーのペン操作と並行して文字（日本語だけでなく英語などの多国語）、数字、記号（％、＄、＆など）、図形（線、丸、三角など）等を認識していく。認識方法については様々なアルゴリズムが考案されているが、本実施形態では公知の技術を利用できるとして詳細を割愛する。なお、音声データと手書きデータの認識のアルゴリズムはそれぞれに適したものが使用される。
【0073】
なお、変換部３２による変換を端末装置１側が行ってもよい。また、変換部３２を情報処理システム３とは独立したサーバが有していてもよい。
【0074】
会話内容管理部３３は、変換部３２が各端末装置１の音声データから変換した言語情報を会話内容記憶部３００１に保存する。会話内容記憶部３００１には会話の履歴が時系列に保存される。
【0075】
コンテンツ管理部３４は、ホワイトボード作業領域１０２に表示された言語情報とイラスト等を管理する。コンテンツは、後述するコンテンツ記憶部３００２において管理される。ホワイトボード作業領域１０２は各端末装置１で共有されるので、コンテンツ記憶部３００２には各ユーザーが配置したコンテンツが含まれる。
【0076】
権限管理部３５は、端末装置１の利用者の権限に応じて、端末装置１に表示させる情報を管理する。具体的には、権限管理部３５は、ファシリテータの権限を有するユーザーがビジュアルコミュニケーションシステム５にログインした場合には、このユーザーと紐付けられた端末装置１Ｂに対して、ファシリテータ用のホーム画面や状態確認画面を表示させるための処理を行う。
【0077】
また、権限管理部３５は、ファシリテータの権限を有していない一般の参加者であるユーザーがビジュアルコミュニケーションシステム５にログインした場合には、このユーザーと紐付けられた端末装置１Ａに対して、参加者用のホーム画面や情報表示画面を表示させるための処理を行う。なお、ユーザーの権限は、後述する会議管理テーブル等を参照することで判別される。
【0078】
フィルタリング部３６は、会話蓄積領域１０１に表示される言語情報をユーザーＩＤなどでフィルタリングする。こうすることで、ユーザーは、会話蓄積領域１０１に表示される言語情報の数を少なくし、重要な言語情報を探しやすくできる。
【0079】
また、フィルタリング部３６は、会話蓄積領域１０１に表示される言語情報をユーザーＩＤでフィルタリングし、ユーザー毎の発言数を端末装置１Ｂに表示される状態確認画面に表示させてもよい。また、フィルタリング部３６は、ホワイトボード作業領域１０２に表示されたイラストを、特定の要素でフィルタリングし、状態確認画面において、フィルタリングされたイラストを強調表示させてもよい。
【0080】
なお、権限管理部３５、フィルタリング部３６は、端末装置１の機能として、端末装置１に設けられていてもよい。
【0081】
（会話内容テーブル）
図９は、会話内容テーブルを示す概念図である。記憶部３０００には、図９に示されているような会話内容テーブルによって構成されている会話内容記憶部３００１が構築されている。この会話内容テーブルでは、言語情報ＩＤ、言語情報、入力時刻、発言者、いいね回数の各項目が対応付けて保存される。
図９は、会話内容テーブルを示す概念図である。記憶部３０００には、図９に示されているような会話内容テーブルによって構成されている会話内容記憶部３００１が構築されている。この会話内容テーブルでは、言語情報ＩＤ、言語情報、入力時刻、発言者、いいね回数の各項目が対応付けて保存される。
【0082】
また、会話内容テーブルは、グループ毎に格納される。会話内容テーブル３００１Ａは、グループＡの会話内容テーブルであり、会話内容テーブル３００１Ｂは、グループＢの会話内容テーブルであり、会話内容テーブル３００１Ｃは、グループＣの会話内容テーブルであり、会話内容テーブル３００１Ｄは、グループＤの会話内容テーブルである。
【0083】
・言語情報ＩＤの項目は、会話蓄積領域１０１に表示される言語情報の識別情報である。会話内容管理部３３が重複しないように採番する。
【0084】
・言語情報の項目は、会話蓄積領域１０１に表示される言語情報であり、変換部３２が音声データから変換したものである。
【0085】
・入力時刻の項目は、言語情報が入力された時刻であり、例えば変換部３２が音声データから言語情報への変換を完了した時刻である。
【0086】
・ユーザーＩＤの項目は、言語情報を音声として発言したユーザー（発言者）の識別情報（以下、ユーザーＩＤという場合がある）である。ユーザーの識別情報は音声データと共に情報処理システム３に送信される。
【0087】
・いいね回数の項目は、言語情報についていいねボタンが押下された回数である。いいねボタンは好意的な反応を意味し、いいね回数は好意的な反応数である。
【0088】
（コンテンツテーブル）
図１０は、コンテンツテーブルを示す概念図である。記憶部３０００には、図１０に示されているようなコンテンツテーブルによって構成されているコンテンツ記憶部３００２が構築されている。このコンテンツテーブルでは、コンテンツＩＤ、種別、ページ、座標、サイズ、フォントサイズ、配置時刻、言語情報ＩＤの各項目が対応付けて保存される。
図１０は、コンテンツテーブルを示す概念図である。記憶部３０００には、図１０に示されているようなコンテンツテーブルによって構成されているコンテンツ記憶部３００２が構築されている。このコンテンツテーブルでは、コンテンツＩＤ、種別、ページ、座標、サイズ、フォントサイズ、配置時刻、言語情報ＩＤの各項目が対応付けて保存される。
【0089】
また、コンテンツテーブルは、グループ毎に格納される。コンテンツテーブル３００２Ａは、グループＡのコンテンツテーブルであり、コンテンツテーブル３００２Ｂは、グループＢのコンテンツテーブルであり、コンテンツテーブル３００２Ｃは、グループＣのコンテンツテーブルであり、コンテンツテーブル３００２Ｄは、グループＤのコンテンツテーブルである。
【0090】
・コンテンツＩＤの項目は、コンテンツを識別する識別情報である。コンテンツＩＤは、コンテンツ管理部３４が採番する。
【0091】
・種別の項目は、コンテンツの種類であり、手書き、言語情報、図形（四角、三角等）、イラスト、表、等がある。手書きはストロークデータ（座標点列）である。言語情報はホワイトボード作業領域１０２に配置された１つ以上の文字や記号等（文字コード）である。図形は、三角や四角など手書きデータや言語情報から変換された幾何学的な形状である。イラストは、言語情報により検索されたり、ユーザーが直接配置したりした、Ｊｐｅｇ、Ｐｎｇ、Ｔｉｆｆなどの画像データである。表は、一次元又は二次元のテーブル状のコンテンツである。
【0092】
・ホワイトボード作業領域１０２の１画面をページと称する。ページの項目はそのページ番号である。
【0093】
・座標の項目は、ホワイトボード作業領域１０２の所定の原点を基準とするコンテンツの位置を示す。コンテンツの位置は例えばコンテンツの外接矩形の左上頂点である。座標は例えば、ディスプレイの画素単位で表される。
【0094】
・サイズの項目は、コンテンツの外接矩形の幅と高さである。
【0095】
・フォントサイズの項目は、種別が言語情報のコンテンツについて、設定される一文字の大きさである。言語情報については、この他、色、フォントなどが設定されてもよい。
【0096】
・配置時刻の項目は、コンテンツがホワイトボード作業領域１０２に最初に配置された日時である。配置は、会話蓄積領域１０１からのコピーでもよいし、直接、ユーザーがホワイトボード作業領域１０２に手書き等したものでもよい。「最初」とは、言語情報が形態素解析で分解されたり、イラストのサイズなどが変更されたりしても、配置時刻は変更されないことをいう。これは、会話蓄積領域１０１の言語情報の入力時刻との関連を維持するためである。
【0097】
・言語情報ＩＤの項目は、言語情報又はイラストが会話蓄積領域１０１の言語情報を由来とする場合（会話蓄積領域１０１からコピーされたり、検索されたりしたイラストである場合）、該言語情報の言語情報ＩＤである。つまり、コンテンツテーブルの言語情報ＩＤは、各コンテンツを会話蓄積領域１０１の言語情報と対応付ける。換言すると、会話蓄積領域１０１の言語情報を由来としないコンテンツには言語情報ＩＤが設定されない。
【0098】
（イラストテーブル）
図１１は、イラストテーブルを示す概念図である。記憶部３０００には、図１１に示されているようなイラストテーブルによって構成されているイラスト記憶部３００３が構築されている。このイラストテーブルでは、キーワード、ＩＤ、及び、ファイル名の各項目が対応付けて保存される。
図１１は、イラストテーブルを示す概念図である。記憶部３０００には、図１１に示されているようなイラストテーブルによって構成されているイラスト記憶部３００３が構築されている。このイラストテーブルでは、キーワード、ＩＤ、及び、ファイル名の各項目が対応付けて保存される。
【0099】
・キーワードの項目は、イラストの名称や呼称であり、検索の対象となる文字列である。言語情報が含む単語と少なくとも部分一致するキーワードに対応付けられているファイル名のイラストが端末装置１に表示される。キーワードは、単語、表音文字、表意文字、文章、数字、これらの組み合わせ等いずれであってもよい。
【0100】
・ＩＤの項目はイラストの識別情報である。
【0101】
・ファイル名の項目は、イラストが格納されたファイル名である。
【0102】
図１１のようなイラストテーブルは、管理者などが予め情報処理システム３に登録しておく。あるいは、イラストテーブルを用意せずに、検索部１５がインターネット上のイラストを検索してもよい。あるいは、ＧＡＮ（Generative Adversarial Network）などの技術で言語情報が含む単語に対応するイラストを情報処理システム３が生成してもよい。
【0103】
また、イラストには３Ｄモデル又は三次元イラストが含まれていてよい。３Ｄモデル又は三次元イラストは三次元空間内の仮想的な立体物である。ユーザーは360°のうち任意に方向から３Ｄモデル又は三次元イラストを閲覧でき、更に、情報処理システム３が二次元平面のイラストに変換することができる。また、イラストテーブルは、端末装置１が保持していてよい。
【0104】
（会議管理テーブル）
図１２は、会議管理テーブルを示す概念図である。記憶部３０００には、図１２に示されているような会議管理テーブルによって構成されている会議管理記憶部３００４が構築されている。会議管理テーブルは、会議ＩＤに対応付けて、参加者、タイトル（会議名）、開始日時、終了日時、場所、パスワードなどの項目を有する。会議ＩＤは、グループ毎に行われるグループディスカッション（議論）を特定する識別情報である。
図１２は、会議管理テーブルを示す概念図である。記憶部３０００には、図１２に示されているような会議管理テーブルによって構成されている会議管理記憶部３００４が構築されている。会議管理テーブルは、会議ＩＤに対応付けて、参加者、タイトル（会議名）、開始日時、終了日時、場所、パスワードなどの項目を有する。会議ＩＤは、グループ毎に行われるグループディスカッション（議論）を特定する識別情報である。
【0105】
また、会議管理テーブルは、グループ毎に格納される。会議管理テーブル３００４Ａは、グループＡの会議管理テーブルであり、会議管理テーブル３００４Ｂは、グループＢの会議管理テーブルであり、会議管理テーブル３００４Ｃは、グループＣの会議管理テーブルであり、会議管理テーブル３００４Ｄは、グループＤの会議管理テーブルである。
【0106】
・ファシリテータの項目は、グループ毎に行われる会議の進行を支援するファシリテータを特定する識別情報（ファシリテータのユーザーＩＤ）を示す。ファシリテータのユーザーＩＤは、端末装置１Ｂと紐付けられていてよい。
【0107】
・グループの項目は、グループを特定する情報を示す。グループを特定する情報は、グループＩＤ等であってもよいし、グループの名称等であってもよい。
【0108】
・参加者の項目は、会議の参加者を特定する識別情報（参加者のユーザーＩＤ）を示す。言い換えれば、会議の参加者は、会議を行ったグループに所属する参加者である。参加者のユーザーＩＤは、端末装置１Ａと紐付けられていてよい。
【0109】
・タイトルの項目は、会議名や会議の議題など、会議の内容を表す。
【0110】
・開始日時の項目は、会議が開始される予定の日時である。
【0111】
・終了日時の項目は、会議が終了する予定の日時である。
【0112】
・場所の項目は、会議の開催場所であり、例えば会議室や、支社名、建屋などである。
【0113】
・パスワードの項目は会議に参加するための認証情報であって、予め参加者に配布されている。
【0114】
（コンテンツ表示時系列テーブル）
図１３は、コンテンツ表示時系列テーブルを示す概念図である。記憶部３０００には、図１３に示されているようなコンテンツ表示時系列テーブルによって構成されているコンテンツ表示時系列記憶部３００５が構築されている。
図１３は、コンテンツ表示時系列テーブルを示す概念図である。記憶部３０００には、図１３に示されているようなコンテンツ表示時系列テーブルによって構成されているコンテンツ表示時系列記憶部３００５が構築されている。
【0115】
また、コンテンツ表示時系列テーブルは、グループ毎に格納される。コンテンツ表示時系列テーブル３００５Ａは、グループＡのコンテンツ表示時系列テーブルであり、コンテンツ表示時系列テーブル３００５Ｂは、グループＢのコンテンツ表示時系列テーブルであり、コンテンツ表示時系列テーブル３００５Ｃは、グループＣのコンテンツ表示時系列テーブルであり、コンテンツ表示時系列テーブル３００５Ｄは、グループＤのコンテンツ表示時系列テーブルである。
【0116】
このコンテンツ表示時系列テーブルでは、状態ＩＤに対応付けて、会話蓄積領域１０１の状態とホワイトボード作業領域１０２の状態が時系列に対応付けて保存される。
【0117】
・状態ＩＤの項目は、会話蓄積領域１０１の状態とホワイトボード作業領域１０２の状態の識別情報である。
【0118】
・会話蓄積領域１０１の状態は、会話蓄積領域１０１にどの言語情報が表示されているかを言語情報ＩＤにて示す。例えば、状態ＩＤがｓ００１の場合、会話蓄積領域１０１にはｔ００１～ｔ００２の言語情報が表示されており、その状態のホワイトボード作業領域１０２には状態ＩＤがｓ００１のホワイトボード作業領域１０２の状態に示すコンテンツが表示されていた。次に、会話蓄積領域１０１にｔ００３が追加され、ｔ００１～ｔ００３の言語情報が表示された状態のホワイトボード作業領域１０２には状態ＩＤがｓ００２のホワイトボード作業領域１０２の状態に示すコンテンツが表示されていた。このように、会話蓄積領域１０１の状態とホワイトボード作業領域１０２の状態が対応付けられている。
【0119】
・ホワイトボード作業領域１０２の状態は、上記のコンテンツテーブルにより示されている。したがって、端末装置１は、スナップショットのような画像ではなく、過去のホワイトボード作業領域１０２の状態をそのまま再現できる。ただし、ホワイトボード作業領域１０２の状態がスナップショットのような画像で保存されていてもよい。また、情報表示画面１００の全体が動画のように記録されてもよい。
【0120】
なお、コンテンツ表示時系列記憶部３００５は、端末装置１が記録しておいて、情報処理システム３に送信してもよい。
【0121】
＜端末装置の機能構成＞
図８に戻って端末装置１について説明する。端末装置１は、第一通信部１１、音声入力部１２、手書き入力部１３、形態素解析部１４、検索部１５、操作受付部１８、更新通知部１９、時系列記憶処理部２１、表示制御部２２、状態表示部２３等を有している。端末装置１が有するこれら各部は、図３に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、端末装置１は、図３に示されているＲＡＭ５０３、ＨＤ５０４によって構築される記憶部１０００を有している。
図８に戻って端末装置１について説明する。端末装置１は、第一通信部１１、音声入力部１２、手書き入力部１３、形態素解析部１４、検索部１５、操作受付部１８、更新通知部１９、時系列記憶処理部２１、表示制御部２２、状態表示部２３等を有している。端末装置１が有するこれら各部は、図３に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、端末装置１は、図３に示されているＲＡＭ５０３、ＨＤ５０４によって構築される記憶部１０００を有している。
【0122】
第一通信部１１は、ネットワークを介して情報処理システム３と通信する。第一通信部１１は、音声データ又は手書きデータを情報処理システム３に送信し、音声データ又は手書きデータから変換された言語情報を受信する。
【0123】
音声入力部１２は、マイク５１８が集音する音声の入力を受け付け、受け付けた音声に基づき、音声情報としての音声データを取得する。すなわち、音声入力部１２は、アナログ信号である音声にＰＣＭ（Pulse Code Modulation）を行い、音声をデジタルデータである音声データに変換する。
【0124】
手書き入力部１３は、タッチパネルに対しペン等の入力手段が接触した位置の座標を検出することで、ストロークデータ（座標点列）の入力を受け付ける。手書き入力部１３は、マウス操作に応じてストロークデータ（座標点列）の入力を受け付けてもよい。手書き入力部１３は、この座標点列を補間することで接続してストロークデータを生成する。ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレイに表示される情報である。ストロークデータは適宜、補間されてよい。手書きデータとは、１つ以上のストロークデータを有するデータである。
【0125】
形態素解析部１４は、情報処理システム３により任意の言語情報に形態素解析を行い、品詞付きの単語に分解する。形態素解析とは、言語情報を意味のある最小の単位に分解して、意味や品詞など判別することをいう。
【0126】
検索部１５は、形態素解析部１４が分解した単語等の文字列でイラスト記憶部１００２を検索する。検索部１５は、文字列に適合したイラストをイラスト記憶部１００２から取得する。
【0127】
表示制御部２２は、端末装置１Ａに情報表示画面を表示させる。表示制御部２２は、第一表示制御部１６と第二表示制御部１７を含む。
【0128】
第一表示制御部１６は、情報表示画面１００のうち、会話蓄積領域１０１に言語情報、イラストのリスト、及びメニューアイコンなどを表示する。第二表示制御部１７は、情報表示画面１００のうち、ホワイトボード作業領域１０２に言語情報、イラストのリスト、イラスト、及びメニューアイコンなどを表示する。また、本実施形態の第二表示制御部１７は、言語情報（テキストデータ）を画像化した結果をホワイトボード作業領域１０２に表示させてもよい。なお、第一表示制御部１６と第二表示制御部１７は、端末装置１Ｂに表示された状態確認画面に含まれる情報表示画面においても、同様に表示を制御する。
【0129】
操作受付部１８は、会話蓄積領域１０１又はホワイトボード作業領域１０２における各種の操作を受け付ける。操作には、メニューアイコンの押下、コンテンツの選択、コンテンツの編集、コンテンツの移動、及びコンテンツの削除等がある。なお、操作受付部１８は、状態確認画面に一覧表示された各グループの情報表示画面に対する操作も受け付ける。
【0130】
更新通知部１９は、ホワイトボード作業領域１０２のコンテンツに変更があった場合に、他の端末装置９と共有するために、コンテンツに関する情報を情報処理システム３に通知する。コンテンツの変更には、位置、サイズ、色、など、コンテンツについて共有すべき変更が含まれてよい。他の端末装置９とは、端末装置１Ａと紐付けられた参加者と同じグループに所属する参加者が利用する端末装置１Ａの一例である。
【0131】
時系列記憶処理部２１は、会話蓄積領域１０１に蓄積される言語情報とホワイトボード作業領域１０２のコンテンツを対応付けてコンテンツ表示時系列記憶部３００５に保存する。すなわち、ある時刻において会話蓄積領域１０１に表示されていた言語情報と、ホワイトボード作業領域１０２のコンテンツとが、情報処理システム３において対応付けられる。
【0132】
状態表示部２３は、ファシリテータの権限を有するユーザーがログインした場合に、ファシリテータ用のホーム画面や状態確認画面を表示させる。
【0133】
なお、表示制御部２２や状態表示部２３は、情報処理システム３に設けられていてもよい。
【0134】
（イラストテーブル）
端末装置１が有するイラスト記憶部１００２については、その構造は情報処理システム３が有するイラスト記憶部３００３と同様でよい。端末装置１がＷｅｂアプリを実行する場合、イラスト記憶部１００２は端末装置１が情報処理システム３に接続することで、情報処理システム３から端末装置１にダウンロードされる。端末装置１がネイティブアプリを実行する場合、イラスト記憶部１００２は予めネイティブアプリが有している。端末装置１がネイティブアプリを実行する場合に、イラスト記憶部１００２がダウンロードされてもよい。
端末装置１が有するイラスト記憶部１００２については、その構造は情報処理システム３が有するイラスト記憶部３００３と同様でよい。端末装置１がＷｅｂアプリを実行する場合、イラスト記憶部１００２は端末装置１が情報処理システム３に接続することで、情報処理システム３から端末装置１にダウンロードされる。端末装置１がネイティブアプリを実行する場合、イラスト記憶部１００２は予めネイティブアプリが有している。端末装置１がネイティブアプリを実行する場合に、イラスト記憶部１００２がダウンロードされてもよい。
【0135】
＜情報表示画面の一例＞
次に、図１４を参照して、端末装置１が表示する情報表示画面１００について説明する。図１４は、端末装置１Ａが表示する初期状態の情報表示画面１００の一例を示す図である。情報表示画面１００は、Ｗｅｂアプリでもよいし、ネイティブアプリでもよい。
次に、図１４を参照して、端末装置１が表示する情報表示画面１００について説明する。図１４は、端末装置１Ａが表示する初期状態の情報表示画面１００の一例を示す図である。情報表示画面１００は、Ｗｅｂアプリでもよいし、ネイティブアプリでもよい。
【0136】
情報表示画面１００は、会話蓄積領域１０１、ホワイトボード作業領域１０２、ツール表示欄１０３、及び、音声認識結果表示欄１１０、を有している。
【0137】
ツール表示欄１０３は、各種のツールを表示する。このツールには、コンテンツの選択ツール１１１、手書き入力するためのペンツール１１２、図形を描くための図形ツール１１３、文字を入力するためのテキストツール１１４、投げ縄ツール１１５などがある。これらは一例である。また、ツールには、会話蓄積領域１０１の表示非表示切り替えツール１１６がある。表示非表示切り替えツール１１６の押下により、会話蓄積領域１０１が閉じてその分、ホワイトボード作業領域１０２が拡大する。
【0138】
会話蓄積領域１０１には、音声データから変換された言語情報が時系列に表示される。新しい言語情報が会話蓄積領域１０１に追加されると、言語情報は古いものが上方から下方に移動する。会話蓄積領域１０１の最下部に到達した言語情報は、スクロールアウトする。スクロールアウトしても、ユーザーがスクロールバーを操作することで過去の言語情報を表示できる。
【0139】
音声認識結果表示欄１１０には、端末装置１Ａの音声入力部１２が取得した音声データから変換された言語情報がリアルタイムに表示される。音声認識結果表示欄１１０に表示中の言語情報も他の端末装置９と共有されてよい。音声認識結果表示欄１１０に表示中の言語情報については、自動的にイラストが表示される。例えば、無音状態が一定時間以上継続すると、音声認識結果表示欄１１０に表示中の言語情報が情報処理システム３に送信される。情報処理システム３は変換が完了した言語情報を、会話蓄積領域１０１に表示する旨を各端末装置１Ａに送信することで、言語情報が他の端末装置との間で共有される。
【0140】
ホワイトボード作業領域１０２には、ユーザーが任意にコンテンツを入力できる。すなわち、ユーザーはホワイトボード作業領域１０２を電子黒板のように使用できる。また、後述するように、ユーザーは会話蓄積領域１０１の言語情報をホワイトボード作業領域１０２にコピーできる。
【0141】
会話蓄積領域１０１とホワイトボード作業領域１０２の位置やサイズをユーザーが調整できてもよい。ユーザーは例えば会話蓄積領域１０１とホワイトボード作業領域１０２の左右を入れ替える。ユーザーがホワイトボード作業領域１０２を大きくすると、その分、会話蓄積領域１０１が小さくなるとよい。ユーザーが会話蓄積領域１０１のサイズを変更した場合も同様である。また、ホワイトボード作業領域１０２がディスプレイ５０６より広くてもよく、この場合、ディスプレイ５０６は、ユーザーの操作に応じてホワイトボード作業領域の一部のみをディスプレイ５０６に表示する。
【0142】
＜音声認識と言語情報の共有＞
次に、図１５を参照して、会議に参加した各端末装置１Ａが音声データから変換された言語情報を共有する流れを説明する。図１５は、端末装置１Ａが音声データを情報処理システム３に送信し、情報処理システム３が音声データから変換した言語情報を他の端末装置９と共有する処理を説明するシーケンス図である。なお、端末装置１Ａと他の端末装置９は、メール等で招待されたＵＲＬに接続するなどして、同じ会議に参加しており、情報処理システム３が同じ会議に参加している複数の端末装置１をユーザーＩＤやＩＰアドレス等で管理している。あるいは、各ユーザーが会議管理テーブルに登録した会議を端末装置１で選択して、所定のパスワードを入力することで、同じ会議に参加してもよい。この場合も情報処理システム３が同じ会議に参加している複数の端末装置１ＡをユーザーＩＤやＩＰアドレス等で管理している。
次に、図１５を参照して、会議に参加した各端末装置１Ａが音声データから変換された言語情報を共有する流れを説明する。図１５は、端末装置１Ａが音声データを情報処理システム３に送信し、情報処理システム３が音声データから変換した言語情報を他の端末装置９と共有する処理を説明するシーケンス図である。なお、端末装置１Ａと他の端末装置９は、メール等で招待されたＵＲＬに接続するなどして、同じ会議に参加しており、情報処理システム３が同じ会議に参加している複数の端末装置１をユーザーＩＤやＩＰアドレス等で管理している。あるいは、各ユーザーが会議管理テーブルに登録した会議を端末装置１で選択して、所定のパスワードを入力することで、同じ会議に参加してもよい。この場合も情報処理システム３が同じ会議に参加している複数の端末装置１ＡをユーザーＩＤやＩＰアドレス等で管理している。
【0143】
Ｓ１０１：端末装置１Ａの音声入力部１２はユーザーが発言する音声の入力を受け付ける。
【0144】
Ｓ１０２：音声入力部１２は第一通信部１１を介して、デジタルデータに変換した音声データを情報処理システム３に送信する。
【0145】
Ｓ１０３：情報処理システム３の第二通信部３１は、音声データを受信し、変換部３２が音声データに音声認識を行い言語情報に変換する。
【0146】
Ｓ１０４、Ｓ１０５：第二通信部３１は、言語情報を会議に参加している他の端末装置９に送信する。なお、音声認識はリアルタイムに行われるので、この時点では発言内容が確定していない場合がある。
【0147】
Ｓ１０６、Ｓ１０７：端末装置１Ａと他の端末装置９の第一通信部１１は言語情報を受信し、第一表示制御部１６は、未確定の言語情報を随時、音声認識結果表示欄１１０に表示する。
【0148】
Ｓ１０８：会話内容管理部３３は、無音時間などに基づいて発言の区切りを検出した場合、会話内容テーブルに、言語情報ＩＤ（新たに採番）、言語情報、入力時刻、発言者（ログインしたユーザー）、いいね回数（初期値はゼロ）を保存する。
【0149】
Ｓ１０９、Ｓ１１０：第二通信部３１は、言語情報ＩＤ、言語情報及び入力時刻を端末装置１Ａと他の端末装置９に送信する。
【0150】
Ｓ１１１、Ｓ１１２：端末装置１Ａと他の端末装置９の第一通信部１１は、言語情報ＩＤ、言語情報及び入力時刻を受信し、第一表示制御部１６が会話蓄積領域１０１に新しい言語情報を追加で表示する。
【0151】
Ｓ１１３、Ｓ１１４：また、会話蓄積領域１０１の状態が変わったので、時系列記憶処理部２１が現在、会話蓄積領域１０１に表示中の言語情報ＩＤを会話蓄積領域１０１の状態として取得する。また、時系列記憶処理部２１は、ホワイトボード作業領域１０２に表示中のコンテンツデータをホワイトボード作業領域１０２の状態として取得する（情報処理システム３から取得しても、端末装置１Ａで表示しているコンテンツから取得してもよい）。
【0152】
Ｓ１１５、Ｓ１１６：時系列記憶処理部２１は、会話蓄積領域１０１の状態とホワイトボード作業領域１０２の状態を対応付けて、コンテンツ表示時系列記憶部３００５への保存を要求する。
【0153】
Ｓ１１７：コンテンツ管理部３４は、会話蓄積領域１０１の状態とホワイトボード作業領域１０２の状態を対応付けて、コンテンツ表示時系列記憶部３００５へ格納する。
【0154】
＜会話蓄積領域からホワイトボード作業領域への言語情報のコピー＞
次に、図１６を参照して、会話蓄積領域１０１の言語情報を利用したホワイトボード作業領域１０２へのコンテンツの表示例を説明する。図１６は、ユーザー操作に応じて、端末装置１Ａが会話蓄積領域１０１からホワイトボード作業領域１０２へ言語情報をコピーする処理を模式的に説明する図である。
次に、図１６を参照して、会話蓄積領域１０１の言語情報を利用したホワイトボード作業領域１０２へのコンテンツの表示例を説明する。図１６は、ユーザー操作に応じて、端末装置１Ａが会話蓄積領域１０１からホワイトボード作業領域１０２へ言語情報をコピーする処理を模式的に説明する図である。
【0155】
図１６（ａ）は、いくつかの言語情報が表示された会話蓄積領域１０１を示す。ホワイトボード作業領域１０２にはコンテンツがないが、あってもよい。ユーザーが会話蓄積領域１０１の任意の言語情報１２１をホワイトボード作業領域１０２にて利用するため選択する（タップ又はクリックする）。選択された言語情報１２１は、一文字ずつ、漢字のみ、又は、形態素解析による文字列に分解され、検索部１５がイラスト記憶部１００２を検索する。
【0156】
これにより、図１６（ｂ）に示すように、第一表示制御部１６は、会話蓄積領域１０１の選択された言語情報１２１に周囲に、言語情報に関連するイラストのリスト１２２を表示する。イラストのリスト１２２は複数のイラストのサムネイル（イラストが１つの場合もある）である。ユーザーは、イラストのリスト１２２の中からホワイトボード作業領域１０２に表示するイラストを選択できる。ユーザーは選択したイラストをホワイトボード作業領域１０２にドラッグ＆ドロップしてもよいし、単にイラストのリスト１２２のイラストを選択するだけで、イラストがホワイトボード作業領域１０２に表示されてもよい。このホワイトボード作業領域に表示されるイラストは、ユーザの選択に基づくコンテンツの一例である。
【0157】
イラストのリスト１２２の中からのイラストの選択は、自身が発言した内容以外に他者の発言に対しても行える。これにより他者にとっては自身の発言が利用されたと感じ、主体的な参加の実感が得られる。なお、図１６（ｂ）ではユーザーはイラストを選択しなかったものとする。
【0158】
また、音声認識結果表示欄１１０に表示されていた言語情報に対し表示されたイラストを端末装置１Ａが保持しておいて、イラストのリスト１２２として表示してよい。ユーザーが言語情報１２１を選択してから、イラストのリスト１２２が表示されるまでの時間を短縮できる。
【0159】
図１６（ｃ）に示すように、ユーザーが言語情報の一部の文字列１２３を選択し、文字列１２３の複製（以下、文字列１２６という）を会話蓄積領域１０１からホワイトボード作業領域１０２にドラッグ＆ドロップした。図１６（ｄ）はホワイトボード作業領域１０２に表示された文字列１２６を示す。文字列１２６は言語情報に対するユーザーの選択に基づくコンテンツの一例である。したがって、ユーザーは自身の発言がホワイトボード作業領域１０２にどのように影響を与えたのか理解することができる。
【0160】
なお、ユーザーは文字列１２３の一部又は全体をクリックし、その後、ホワイトボード作業領域１０２でクリックすることで、文字列１２６を表示させることもできる。イラストのリスト１２２のイラストについても、ドラッグ＆ドロップ又はクリックのどちらでもホワイトボード作業領域１０２に表示可能でよい。
【0161】
このように、ユーザーは会話蓄積領域１０１の言語情報を利用してホワイトボード作業領域１０２への入力作業を低減できる。ユーザーは、文字列１２６を更に移動したり、任意の角度に回転させたりすることができる。
【0162】
なお、図１６（ａ）に示すように、会話蓄積領域１０１の各言語情報にはいいねボタン１２４やお気に入りボタン１２５が表示される。いいねボタン１２４やお気に入りボタン１２５は、常時、表示されてもよいし、ユーザーが言語情報を選択したりマウスオーバーしたりした際に表示されてもよい。ユーザーがいいねボタン１２４を押下すると、言語情報ＩＤといいねボタンが押下された旨が情報処理システム３に送信され、会話内容テーブルのいいね回数が１つ増える。
【0163】
また、図１６（ｄ）に示すように、ホワイトボード作業領域１０２にコンテンツが追加されると、更新通知部１９が、第一通信部１１を介して、コンテンツの種別、ページ、座標、サイズ、フォントサイズ、言語情報ＩＤを情報処理システム３に送信する。コンテンツ管理部３４は、他の端末装置９に新たに追加されたコンテンツテーブルの一レコードを送信するので、他の端末装置９がホワイトボード作業領域１０２の状態を共有できる。
【0164】
図１７は、ユーザー操作に応じて、端末装置１Ａが会話蓄積領域１０１からホワイトボード作業領域１０２へ言語情報をコピーする処理を説明するシーケンス図である。
【0165】
Ｓ１：ユーザーが会話蓄積領域１０１の言語情報１２１を選択すると、操作受付部１８が選択を受け付ける。
【0166】
Ｓ２：形態素解析部１４が言語情報１２１に形態素解析を行い、文字列に分解する。形態素解析は必須でなく、形態素解析部１４は単に漢字だけを取り出してもよい。検索部１５が各文字列でイラスト記憶部１００２のキーワードを検索する。第一表示制御部１６は、検索に適合したキーワードに対応付けられているイラストのリスト１２２を、選択された言語情報１２１の周囲に表示する。
【0167】
Ｓ３：ユーザーが言語情報の文字列１２３の複製である文字列１２６をホワイトボード作業領域１０２にドラッグ＆ドロップする。操作受付部１８がこの操作を受け付け、第二表示制御部１７が文字列１２６をドロップ先に表示する。
【0168】
Ｓ４：ホワイトボード作業領域１０２の状態が変更されたことを更新通知部１９が検出する。更新通知部１９は、第一通信部１１を介して、コンテンツの更新通知（コンテンツの種別、文字列１２６、ページ、座標、サイズ、フォントサイズ、言語情報ＩＤ）を情報処理システム３に送信する。
【0169】
Ｓ５：情報処理システム３の第二通信部３１はコンテンツの更新通知を受信し、コンテンツ管理部３４がコンテンツＩＤを採番して、更新通知の内容と共に、対応するグループのコンテンツテーブルに保存する。
【0170】
Ｓ６：情報処理システム３の第二通信部３１はコンテンツＩＤを端末装置１Ａに送信する。
【0171】
Ｓ７：また、コンテンツテーブルに変更が生じたので、コンテンツ管理部３４は、同じ会議に参加している他の端末装置９に対しコンテンツの共有要求（コンテンツＩＤ、コンテンツの種別、文字列１２６、ページ、座標、サイズ、フォントサイズ、言語情報ＩＤ）を送信する。
【0172】
Ｓ８：他の端末装置９の第一通信部１１がコンテンツの共有要求を受信し、第二表示制御部１７が文字列１２６を座標で指定された位置に、フォントサイズで表示する。
【0173】
＜会話蓄積領域からホワイトボード作業領域への言語情報の全文コピー＞
次に、図１８を参照して、会話蓄積領域１０１の言語情報を利用したホワイトボード作業領域１０２へのコンテンツの表示例を説明する。図１８は、ユーザー操作に応じて、端末装置１Ａが会話蓄積領域１０１からホワイトボード作業領域１０２へ言語情報の全文をコピーする処理を模式的に説明する図である。なお、図１８の説明では主に図１６との相違を説明する。
次に、図１８を参照して、会話蓄積領域１０１の言語情報を利用したホワイトボード作業領域１０２へのコンテンツの表示例を説明する。図１８は、ユーザー操作に応じて、端末装置１Ａが会話蓄積領域１０１からホワイトボード作業領域１０２へ言語情報の全文をコピーする処理を模式的に説明する図である。なお、図１８の説明では主に図１６との相違を説明する。
【0174】
図１８（ａ）については図１６（ａ）と同様である。図１８（ｂ）では、１つの言語情報１３１の全体の複製（以下、言語情報１３２という）がドラッグされている。なお、マウスホバーの状態では、第一表示制御部１６は、会話蓄積領域１０１の言語情報を移動させない。こうすることで、コピーしたい言語情報１３１が移動して操作性が低減することを抑制できる。
【0175】
図１８（ｃ）では、引き続き、１つの言語情報１３２がドラッグされている。図１８（ｄ）は、ユーザーが言語情報１３２をドロップした状態を示す。このように、ユーザーは会話蓄積領域１０１の言語情報１３１の全体をホワイトボード作業領域１０２にコピーできる。後述するように、ユーザーはホワイトボード作業領域１０２で言語情報の形態素解析を行うこともできるので、所望の文字列のみをドラッグ＆ドロップすることなく、言語情報１３１が含む文字列を利用できる。
【0176】
【0177】
＜ホワイトボード作業領域における言語情報に基づくイラストの表示＞
次に、図１９を参照して、ホワイトボード作業領域１０２における言語情報に基づくイラストの表示例を説明する。図１９は、ホワイトボード作業領域１０２にコピーされた言語情報に基づいて検索されたイラストの表示例を説明する図である。
次に、図１９を参照して、ホワイトボード作業領域１０２における言語情報に基づくイラストの表示例を説明する。図１９は、ホワイトボード作業領域１０２にコピーされた言語情報に基づいて検索されたイラストの表示例を説明する図である。
【0178】
会議の議論の中ではホワイトボード作業領域１０２に、ユーザーが直接、言語情報を入力したり、会話蓄積領域１０１で選択した言語情報を配置したりする。ここで言語情報だけではなく関連するイラストを合わせて配置すると、言語情報の内容がわかりやすくなる。
【0179】
図１９（ａ）に示すように、ユーザーがホワイトボード作業領域１０２の言語情報１３２を選択する（タップ又はクリック）。選択された言語情報１３２は、一文字ずつ、漢字のみ、又は、形態素解析による文字列に分解され、検索部１５がイラスト記憶部１００２を検索する。
【0180】
これにより、図１９（ｂ）に示すように、第二表示制御部１７は、ホワイトボード作業領域１０２の選択された言語情報１３２の周囲に、言語情報に関連するイラストのリスト１４２とメニューアイコン１４１を表示する。メニューアイコン１４１は、ユーザーＩＤ表示アイコン１４１ａ、言語情報や枠の色を設定するアイコン１４１ｂ、言語情報の中央揃えアイコン１４１ｃ、形態素解析アイコン１４１ｄ、言語情報の一固定アイコン１４１ｅなどである。これらは一例に過ぎない。
【0181】
ユーザーは、イラストのリスト１４２の中からホワイトボード作業領域１０２に表示するイラストを選択できる。図１９（ｃ）に示すように、第二表示制御部１７は選択されたイラスト１４３を表示する。イラスト１４３は言語情報に対するユーザーの選択に基づくコンテンツの一例である。イラスト１４３のサイズは予め決まっているものとするが、ユーザーが適宜変更できる。
【0182】
ユーザーは表示されたイラストのリスト１４２からイラスト１４３を選択することで、自身で適したイラストを探索することなく、会議中にスムーズに内容を分かりやすく伝える視覚情報を追加できる。ユーザーは、イラスト１４３を移動したり、任意の角度に回転させたりすることができる。
【0183】
図２０は、ユーザー操作に応じて、端末装置１Ａがホワイトボード作業領域１０２の言語情報に基づいてイラストを表示する処理を説明するシーケンス図である。
【0184】
Ｓ１１：ユーザーがホワイトボード作業領域１０２の言語情報１３２を選択すると、操作受付部１８が選択を受け付ける。
【0185】
Ｓ１２：形態素解析部１４が言語情報１３２に形態素解析を行い、文字列に分解する。形態素解析は必須でなく、形態素解析部１４は単に漢字だけを取り出してもよい。検索部１５が各単文字列でイラスト記憶部１００２のキーワードを検索する。第二表示制御部１７は、検索に適合したキーワードに対応づけられているイラストのリスト１４２とメニューアイコン１４１を選択された言語情報１３２の周囲に表示する。
【0186】
Ｓ１３：ユーザーがイラストのリスト１４２から任意のイラストを選択する。操作受付部１８がこのイラストの選択を受け付ける。
【0187】
Ｓ１４：第二表示制御部１７が選択されたイラスト１４３を、ホワイトボード作業領域１０２の言語情報１３２の周囲に表示する。
【0188】
Ｓ１５：ホワイトボード作業領域１０２の状態が変更されたことを更新通知部１９が検出する。更新通知部１９は、第一通信部１１を介して、コンテンツの更新通知（コンテンツの種別、イラスト、ページ、座標、サイズ、言語情報ＩＤ）を情報処理システム３に送信する。
【0189】
Ｓ１６：情報処理システム３の第二通信部３１はコンテンツの更新通知を受信し、コンテンツ管理部３４がコンテンツＩＤを採番して、更新通知の内容と共にコンテンツテーブルに保存する。
【0190】
Ｓ１７：情報処理システム３の第二通信部３１はコンテンツＩＤを端末装置１Ａに送信する。
【0191】
Ｓ１８：また、コンテンツテーブルに変更が生じたので、コンテンツ管理部３４は、同じ会議に参加している他の端末装置９に対しコンテンツの共有要求（コンテンツＩＤ、コンテンツの種別、イラスト、ページ、座標、サイズ、言語情報ＩＤ）を送信する。
【0192】
Ｓ１９：他の端末装置９の第一通信部１１がコンテンツの共有要求を受信し、第二表示制御部１７がイラスト１４３を座標で指定された位置に表示する。
【0193】
＜ホワイトボード作業領域のコンテンツによる会話蓄積領域の参照＞
次に、図２１を参照して、ホワイトボード作業領域１０２のコンテンツによる会話蓄積領域１０１の参照方法を説明する。図２１は、ホワイトボード作業領域１０２のコンテンツが選択された場合に強調して表示される会話蓄積領域１０１の言語情報の一例を示す図である。
次に、図２１を参照して、ホワイトボード作業領域１０２のコンテンツによる会話蓄積領域１０１の参照方法を説明する。図２１は、ホワイトボード作業領域１０２のコンテンツが選択された場合に強調して表示される会話蓄積領域１０１の言語情報の一例を示す図である。
【0194】
議論が進んだ後、ホワイトボード作業領域１０２の各コンテンツが会議におけるどの場面で発想されたか確認できると振り返りに有効である。そこで、第一表示制御部１６は、ホワイトボード作業領域１０２で選択されたコンテンツに対応付けられている言語情報を会話蓄積領域１０１で強調して表示する。
【0195】
まず、図２１（ａ）に示すように、ユーザーがホワイトボード作業領域１０２でコンテンツを選択する。ここではユーザーが、イラスト１６１を選択（タップ又はクリック）したものとする。これにより、図２１（ｂ）に示すように、第二表示制御部１７は、関連情報確認アイコン１６２をイラスト１６１の近くに表示する。ユーザーが関連情報確認アイコン１６２を押下する。これにより、図２１（ｃ）に示すように、第一表示制御部１６は、選択されたイラスト１６１の言語情報ＩＤを有する言語情報１６３を会話蓄積領域１０１に強調して表示する。仮にこの言語情報１６３がスクロールアウトしている場合、第一表示制御部１６は、会話蓄積領域１０１の中央付近に言語情報１６３をスクロールさせて強調して表示する。
【0196】
選択されたイラスト１６１が直接、ユーザーがホワイトボード作業領域１０２に入力したため、言語情報ＩＤを有さない場合もある。この場合、第一表示制御部１６は、選択されたイラスト１６１が配置された日時付近（日時から一定以内）の言語情報を強調して表示する。
【0197】
なお、強調表示は文字を太字にしたり、該当部分の色を変更したり、表示領域をスクロールし該当部分を見える状態にするだけでも良い。
【0198】
図２２は、ユーザー操作に応じて、端末装置１Ａがホワイトボード作業領域１０２のコンテンツに対応する言語情報を強調して表示する処理を説明するシーケンス図である。
【0199】
Ｓ５１：ユーザーがホワイトボード作業領域１０２のコンテンツ（イラスト１６１）を選択すると、操作受付部１８が選択を受け付ける。
【0200】
Ｓ５２：第二表示制御部１７が、関連情報確認アイコン１６２を選択されたイラスト１６１に表示する。
【0201】
Ｓ５３：コンテンツテーブルにおいて選択されたイラスト１６１が言語情報ＩＤを有する場合、第一表示制御部１６は、選択されたイラスト１６１の言語情報ＩＤの言語情報１６３を会話蓄積領域１０１に強調して表示する。
【0202】
Ｓ５４：コンテンツテーブルにおいて選択されたイラスト１６１が言語情報ＩＤを有さない場合、第一表示制御部１６は、選択されたイラスト１６１の配置時刻に近い入力時刻が対応付けられている言語情報を会話蓄積領域１０１に強調して表示する。「選択されたコンテンツの配置時刻に近い」とは、配置時刻の直前から一定時間内の入力時刻でよい。会話蓄積領域１０１の言語情報を由来とするコンテンツは、該言語情報よりも後にホワイトボード作業領域１０２に配置されるからである。また、直前から一定時間内は、１つの言語情報が表示されてからスクロールアウトされるまでのおよその時間が最大であるが、例えばその１／２～１／４程度としてよい。
【0203】
なお、会話蓄積領域１０１の状態は他の端末装置９と共有されない。共有されると、会話蓄積領域１０１を見ている他の端末装置９のユーザーにとって意図しない言語情報のスクロールが生じるためである。しかしながら、複数のユーザーが一緒に会議を振り返る状況など、ユーザーの設定に応じて、会話蓄積領域１０１の状態が他の端末装置９と共有されてよい。
【0204】
＜端末装置によるフィルタリング＞
会話蓄積領域１０１の言語情報は議論が進むにつれ数が増えていき、振り返りが困難になる。このため、第一表示制御部１６は、会話蓄積領域１０１の言語情報をフィルタリングする機能を有している。フィルタリングの方法としては、
・ユーザーの名前（ユーザーＩＤ）で絞り込む方法（言語情報の発言者による絞り込み）
・会話蓄積領域１０１の各言語情報に対していいねボタンが押下された回数が一定数を超えるもので絞り込む方法
・自分だけの気に入った言語情報が保存されたテーブルに登録されているもので絞り込む方法
・会話蓄積領域１０１への言語情報の入力時刻（発言時刻）で絞り込む方法
等がある。
会話蓄積領域１０１の言語情報は議論が進むにつれ数が増えていき、振り返りが困難になる。このため、第一表示制御部１６は、会話蓄積領域１０１の言語情報をフィルタリングする機能を有している。フィルタリングの方法としては、
・ユーザーの名前（ユーザーＩＤ）で絞り込む方法（言語情報の発言者による絞り込み）
・会話蓄積領域１０１の各言語情報に対していいねボタンが押下された回数が一定数を超えるもので絞り込む方法
・自分だけの気に入った言語情報が保存されたテーブルに登録されているもので絞り込む方法
・会話蓄積領域１０１への言語情報の入力時刻（発言時刻）で絞り込む方法
等がある。
【0205】
また、フィルタリングの際、第二表示制御部１７が、ホワイトボード作業領域１０２のコンテンツを、会話蓄積領域１０１で絞り込んだコンテンツに関連するもののみに限定することも有効である。第二表示制御部１７は、フィルタリングされた言語情報の言語情報ＩＤと対応付けられたコンテンツのみを表示し、そうでないコンテンツを非表示にする。あるいは、第二表示制御部１７は、フィルタリングされた言語情報の言語情報ＩＤと対応付けられていないコンテンツの彩度や透過度を下げて視認性を下げてもよい。
【0206】
図２３は、端末装置１Ａが会話蓄積領域１０１の言語情報をフィルタリングする処理を説明するフローチャート図である。
【0207】
まず、端末装置１Ａの操作受付部１８が、フィルタリングの実行開始を受け付ける（Ｓ６１）。操作受付部１８は、フィルタリングの絞り込み方法についてもラジオボタンなどで選択を受け付ける。
【0208】
フィルタリング部３６は、会話蓄積領域１０１の全ての言語情報についてフィルタリングを実行する（Ｓ６２）。
【0209】
第一表示制御部１６は、会話蓄積領域１０１にフィルタリング後の言語情報のみを表示する（Ｓ６３）。会話蓄積領域１０１に表示しきれない言語情報はスクロールにより表示可能である。
【0210】
第二表示制御部１７は、ホワイトボード作業領域１０２に、フィルタリングされた言語情報の言語情報ＩＤと対応付いているコンテンツのみを表示する（Ｓ６４）。
【0211】
こうすることで、会話蓄積領域１０１の言語情報の数が、議論が進むにつれて増えていっても、振り返りが容易になる。
【0212】
【0213】
これらの処理は、端末装置１Ｂに表示された状態確認画面に含まれる、各情報表示画面においても、同様の操作を行うことができる。
【0214】
具体的には、例えば、図５に示す画面（状態確認画面）７００の表示領域７０１内に表示された情報表示画面１００Ａにおいて、ファシリテータＰによって、会話蓄積領域からホワイトボード作業領域へ言語情報をコピーする操作が行われたとする。
【0215】
この場合、この操作の内容は、グループＡに所属するユーザーと紐付けられた端末装置１Ａに表示された情報表示画面に反映されてよい。
【0216】
本実施形態では、このようにすることで、ファシリテータＰは、状態確認画面を各グループの情報表示画面に遷移させずに、各グループの情報表示画面を操作することができる。
【0217】
＜情報処理システム３によるフィルタリング＞
情報処理システム３は、フィルタリング部３６によるフィルタリングの結果を、端末装置１Ｂに表示されるファシリテータ用の状態確認画面に反映させてよい。
情報処理システム３は、フィルタリング部３６によるフィルタリングの結果を、端末装置１Ｂに表示されるファシリテータ用の状態確認画面に反映させてよい。
【0218】
図２４は、ファシリテータが操作する端末装置が表示する状態確認画面の一例を示す第二の図である。
【0219】
図２４に示す画面（状態確認画面）７００Ａでは、フィルタリング部３６によって、グループ毎の会話蓄積領域１０１に蓄積された言語情報を、ユーザーＩＤ毎にフィルタリングした結果が反映されている。
【0220】
具体的には、フィルタリング部３６は、グループ毎の会話内容テーブルを参照し、同一のユーザーＩＤが対応付けられた言語情報ＩＤと対応する言語情報を同一の色とし、ユーザーＩＤ毎に対応する言語情報の表示態様が異なるように、状態確認画面を表示させる。
【0221】
画面７００Ａの表示領域７０１には、グループＡの情報表示画面１００Ａ－１が表示される。グループＡの情報表示画面１００Ａ－１では、グループＡに所属する参加者の言語情報は、参加者毎に色が異なるように表示される。
【0222】
情報表示画面１００Ａ－１において、言語情報７１２、７１４、７１５は、同じ色で表示されている。したがって、言語情報７１１と、言語情報７１２、７１４、７１５と、言語情報７１３とは、それぞれ色が異なる。したがって、言語情報７１１と、言語情報７１２、７１４、７１５と、言語情報７１３とは、それぞれが別々の参加者の発言であることがわかる。また、言語情報７１２、７１４、７１５は、同じ色で表示されている。したがって、言語情報７１２、７１４、７１は、同一の参加者による発話であることがわかる。
【0223】
本実施形態では、このように、状態確認画面に表示されるグループ毎の情報表示画面の一覧において、各情報表示画面における言語情報をユーザー毎に色分けして表示させる。したがって、本実施形態によれば、状態確認画面を閲覧したファシリテータＰに対し、短時間で各グループにおける参加者毎の発言量を把握させることができる。
【0224】
図２５は、ファシリテータが操作する端末装置が表示する状態確認画面の一例を示す第三の図である。
【0225】
図２５に示す画面（状態確認画面）７００Ｂでは、フィルタリング部３６によって、グループ毎の会話蓄積領域１０１に蓄積された言語情報を、ユーザーＩＤ毎にフィルタリングした結果に加え、ユーザーＩＤ毎の発言数がカウントされた結果が反映されている。
【0226】
画面７００Ｂの表示領域７０１には、グループＡの情報表示画面１００Ａ－２が表示される。グループＡの情報表示画面１００Ａ－２では、グループＡに所属する参加者の言語情報は、参加者毎に色が異なるように表示される。
【0227】
また、情報表示画面１００Ａ－２は、表示領域７０６ａを含む。表示領域７０６ａは、グループＡの参加者を特定するアイコン画像の一覧が表示される。また、表示領域７０６ａでは、参加者のアイコン画像の大きさが、各参加者の発言数に対応する大きさとして表示される。具体的には、表示領域７０６ａに表示される各参加者のアイコン画像の大きさは、各参加者のユーザーＩＤと対応する発言数に応じて決められる。
【0228】
情報表示画面１００Ａ－２では、グループＡに所属する参加者のうち、参加者「Ｎ」の発言数が最も多く、次に発言数が多い参加者は、参加者「Ｔ」であることがわかる。
【0229】
また、画面７００Ｂにおいて、情報表示画面１００Ｂ－２は、表示領域７０６ｂを含む。表示領域７０６ｂでは、グループＢに所属する参加者のアイコン画像の大きさが、各参加者の発言数に対応する大きさとして表示される。
【0230】
図２６は、ファシリテータが操作する端末装置が表示する状態確認画面の一例を示す第四の図である。
【0231】
図２６に示す画面（状態確認画面）７００Ｃでは、フィルタリング部３６によって、ユーザーＩＤ毎の発言数がカウントされた結果が、グループ毎に棒グラフとして表示される。
【0232】
画面７００Ｃの表示領域７０１には、グループＡの情報表示画面１００Ａ－３が表示される。グループＡの情報表示画面１００Ａ－３は、表示領域７０５Ａを含む。表示領域７０５Ａは、グループＡに所属する各参加者の発言数を示す棒グラフが表示される。
【0233】
本実施形態では、このように、状態確認画面において、グループ毎に、グループに所属する参加者毎の発言数を示す画像を表示させることで、ファシリテータＰに対し、グループ内の参加者の発言数の割合等を視覚的に把握させることができる。
【0234】
図２７は、ファシリテータが操作する端末装置が表示する状態確認画面の一例を示す第五の図である。
【0235】
図２７に示す画面（状態確認画面）７００Ｄでは、フィルタリング部３６によって、情報表示画面１００Ａのホワイトボード作業領域１０２に表示されたイラストを、特定の要素でフィルタリングした結果が反映されている。
【0236】
この場合、フィルタリング部３６は、フィルタリングの要素が特定されると、グループ毎のコンテンツテーブルを参照し、要素に応じたコンテンツＩＤが特定するコンテンツをフィルタリングすればよい。
【0237】
画面７００Ｄの表示領域７０１は、情報表示画面１００Ａ、情報表示画面１００Ｂに加え、表示領域７０７を含む。表示領域７０７は、ホワイトボード作業領域１０２に表示されたイラストをフィルタリングする際の要素を選択されるための選択欄が表示される。
【0238】
表示領域７０７には、イラストをフィルタリングする際の要素の候補が一覧表示される。本実施形態における要素の候補は、イラストの移動量、イラストのクリック数、イラストと関連する発言数等を含む。
【0239】
フィルタリング部３６は、表示領域７０７に表示された選択欄において、イラストの移動量が選択された場合には、参加者の操作によってホワイトボード作業領域１０２内の移動量が一定に閾値以上のイラストや、移動量が多い順から選択された複数のイラストを強調表示してよい。なお、移動量とは、ホワイトボード作業領域１０２内で移動した長さの合計であってよい。
【0240】
また、フィルタリング部３６は、表示領域７０７に表示された選択欄において、イラストの発言数が選択された場合には、関連する発言数が一定に閾値以上のイラストや、関連する発言数が多い順から選択された複数のイラストを強調表示してよい。
【0241】
また、フィルタリング部３６は、表示領域７０７に表示された選択欄において、イラストのクリック数が選択された場合には、クリック数が一定に閾値以上のイラストや、クリック数が多い順から選択された複数のイラストを強調表示してよい。
【0242】
図２７の例では、表示領域７０７に表示された選択欄において、イラストのクリック数が選択されており、情報表示画面１００Ａのホワイトボード作業領域１０２において、クリック数が多い順に選択されたイラスト７０８とイラスト７０９が強調表示されている。
【0243】
本実施形態では、このように、グループ毎の情報表示画面のホワイトボード作業領域において、選択された要素に応じたイラストを強調表示させることができる。
【0244】
なお、本実施形態では、フィルタリングの要素は表示領域７０７に表示された選択欄から選択されるものとしたが、これに限定されない。フィルタリングの要素は、例えば、端末装置１Ａに搭載されたカメラ等によって取得された生体情報等が用いられてもよい。具体的には、例えば、カメラ等によってグループに所属する参加者の視線から検出されるイラスト毎の注目回数をフィルタリングの要素の候補に含めてもよい。
【0245】
＜ホワイトボード作業領域１０２の他の例＞
本実施形態の端末装置１Ａにおいて、第二表示制御部１７は、言語情報（テキストデータ）を画像化した結果をホワイトボード作業領域１０２に表示させる機能を有していてよい。言語情報（テキストデータ）を画像化する方法としては、
・形態素解析部１４が分解した単語毎の出現頻度を取得する。
・各単語の出現頻度に応じて、単語を示す文字画像それぞれの大きさ、フォント、色、配置等を決定する。
・それぞれの単語を示す文字画像（コンテンツ）を、決定された大きさ、フォント、色、配置で表示させる。
本実施形態の端末装置１Ａにおいて、第二表示制御部１７は、言語情報（テキストデータ）を画像化した結果をホワイトボード作業領域１０２に表示させる機能を有していてよい。言語情報（テキストデータ）を画像化する方法としては、
・形態素解析部１４が分解した単語毎の出現頻度を取得する。
・各単語の出現頻度に応じて、単語を示す文字画像それぞれの大きさ、フォント、色、配置等を決定する。
・それぞれの単語を示す文字画像（コンテンツ）を、決定された大きさ、フォント、色、配置で表示させる。
【0246】
図２８は、端末装置が会議中に表示する情報表示画面の他の例を示す図である。図２８に示す情報表示画面１００－１におけるホワイトボード作業領域１０２－１では、会話蓄積領域１０１に蓄積された言語情報が画像化されている。また、図２８の例では、単語同士の関連性がベクトル図のように繋れて表示されてもよい。言い換えれば、図２８では、単語同士の関連性に応じて、単語を示す文字画像同士を繋ぐ線が表示されてよい。このように文字画像を表示させることで、単語同士の関連性を視覚的に把握させることができる。さらに、図２８の例では、出現頻度が一定の頻度に満たない単語を省いて、言語情報を画像化してもよい。
【0247】
本実施形態では、ホワイトボード作業領域１０２－１をこのような表示とすることで、例えば、あるグループの参加者が、他のグループのルームに入室した際に、他のグループ内の会話の概要を把握することができる。なお、あるグループの参加者が、他のグループのルームに入室する、とは、あるグループの参加者が、自身が利用する端末装置１Ａに表示された画面４００において、自身が所属するグループ以外の他のグループを選択する操作を行い、他のグループの情報表示画面を端末装置１Ａに表示させることを示す。
【0248】
＜ファシリテータ用のホーム画面の他の例＞
さらに、本実施形態では、図２９に示す情報表示画面１００－１を、ファシリテータ用のホーム画面に表示させてよい。
さらに、本実施形態では、図２９に示す情報表示画面１００－１を、ファシリテータ用のホーム画面に表示させてよい。
【0249】
【0250】
また、表示領域４０１において、操作ボタン４０１ａの下方には表示領域４０３Ａが対応付けられており、操作ボタン４０１ｂの下方には表示領域４０３Ｂが対応付けられている。また、表示領域４０１において、操作ボタン４０１Ｃの下方には表示領域４０３Ｃが対応付けられており、操作ボタン４０１Ｄの下方には表示領域４０３Ｄが対応付けられている。
【0251】
操作ボタン４０１ａは、内側にグループＡの情報表示画面１００Ａにおけるホワイトボード作業領域１０２（図５参照）が表示されている。また、操作ボタン４０１ｂは、内側にグループＢの情報表示画面１００Ｂにおけるホワイトボード作業領域１０２－１（図２４参照）が表示されている。
【0252】
本実施形態では、このように、操作ボタン４０１ａ、４０１ｂを表示させることで、ファシリテータＰに対し、画面４００Ｂを閲覧するだけで、各グループの会話内容の概要を把握させることができる。また、ファシリテータＰは、状態確認画面において、各グループの状態表示画面に表示された会話蓄積領域の内容を読み込むまなくても、グループ内で繰り広げられている会話の内容を短時間で直感的に理解することができる。
【0253】
本実施形態の表示領域４０３Ａは、操作ボタン４０１ａと対応するグループ名「グループＡ」とグループＡに所属する参加者を特定するアイコン画像の一覧とが表示され、表示領域４０３Ｂは、操作ボタン４０１ｂと対応するグループ名「グループＢ」と、グループＢに所属する参加者を特定するアイコン画像の一覧とが表示される。また、表示領域４０３Ｃは、操作ボタン４０１Ｃと対応するグループ名「グループＣ」とグループＣに所属する参加者を特定するアイコン画像の一覧とが表示され、表示領域４０３Ｄは、操作ボタン４０１Ｄと対応するグループ名「グループＤ」と、グループＤに所属する参加者を特定するアイコン画像の一覧とが表示される。
【0254】
本実施形態では、このようにグループ名と、グループに所属する参加者を特定するアイコン画像の一覧とを表示させることで、画面４００Ｂにおいて、グループ毎の参加者をファシリテータＰに把握させることができる。
【0255】
＜変形例＞
図３０は、情報表示画面の他の表示態様を示す図である。本実施形態における情報表示画面の表示態様は、上述した各図に示す例に限定されない。
図３０は、情報表示画面の他の表示態様を示す図である。本実施形態における情報表示画面の表示態様は、上述した各図に示す例に限定されない。
【0256】
図３０に示す画面１００－２は、Ｗｅｂ会議中に端末装置１に表示される情報表示画面の一例である。
【0257】
この画面１００－２では、会話蓄積領域１０１－１と、音声認識結果表示欄１１０－１と、ホワイトボード作業領域１０２－１の配置が、上述した各情報表示画面と異なる。
【0258】
図３０の例では、会話蓄積領域１０１－１に表示された文字列１０４－１が、上述した方法によってホワイトボード作業領域１０２－１で画像化される。
【0259】
このように、本実施形態の機能は、情報表示画面の表示態様にかかわらず、実現することができる。
【0260】
＜主な効果＞
以上説明したように、本実施形態のビジュアルコミュニケーションシステム５は、ファシリテータに対して、各グループのそれぞれの議論の状態を容易に把握させることができる。
以上説明したように、本実施形態のビジュアルコミュニケーションシステム５は、ファシリテータに対して、各グループのそれぞれの議論の状態を容易に把握させることができる。
【0261】
また、本実施形態では、音声から変換された言語情報を基にイラストなどの視覚情報をホワイトボード作業領域１０２に表示できる。ユーザーは、会話の内容をイラストに変換してホワイトボード作業領域１０２に手書きしたりネットワーク等から取得したりしなくても、会議中のコミュニケーションを容易に可視化できる。ホワイトボード作業領域１０２と、会話蓄積領域１０１が同じ画面に表示されるので、ユーザーはホワイトボード作業領域１０２のコンテンツがどのようなコミュニケーションの過程で配置されたのかを把握しながら、コミュニケーションできる。
【0262】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0263】
例えば、本実施形態では、ディスプレイ５０６に情報表示画面１００が表示されたが、情報表示画面１００をプロジェクターが表示してもよい。この場合、ビジュアルコミュニケーションシステム５は、手書き用のペン先の座標を超音波により検出する。ペンは発光と共に超音波を発信しており、端末装置１は超音波の到達時間により距離を算出する。端末装置１は、方向と距離によりペンの位置を特定でき、ペンの軌跡をストロークデータとしてプロジェクターが描画（投影）する。
【0264】
また、端末装置１は一台でもよい。この場合、ユーザーは端末装置１を自分の考えをまとめたり記録したりするツールとして使用できる。
【0265】
また、図８などの構成例は、端末装置１、及び、情報処理システム３による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。端末装置１、及び、情報処理システム３の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
【0266】
また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、情報処理システム３は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。
【0267】
更に、情報処理システム３は、本実施形態で開示された処理ステップ、例えば図１２等を様々な組み合わせで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、情報処理システム３が有する複数の情報処理装置によって実行され得る。また、情報処理システム３は、１つのサーバ装置にまとめられていても良いし、複数の装置に分けられていても良い。
【0268】
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（Digital Signal Processor）、FPGA（Field Programmable Gate Array）や従来の回路モジュール等のデバイスを含むものとする。
【0269】
また、明細書中のテーブルは、機械学習の学習効果によって生成されたものでもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し、新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、更に、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。
【0270】
＜請求項に関する付記＞
［１］
所定のグループに所属するユーザーに対して音声から変換された言語情報が時系列に表示される領域と、表示された言語情報に基づくコンテンツが表示される領域とを含む前記所定のグループ毎の情報表示画面を表示する表示制御部と、
複数の前記グループを管理するユーザーに対して前記グループ毎に表示された複数の前記情報表示画面の一覧を含む状態確認画面を表示する状態表示部と、を有するコミュニケーションシステム。
［２］
前記表示制御部は、複数の前記グループに所属するユーザーに紐付けられた第一の端末装置に、前記グループと対応した前記情報表示画面を表示させ、
前記状態表示部は、複数の前記グループを管理するユーザーに紐付けられた第二の端末装置に対して前記状態確認画面を表示させる、付記１記載のコミュニケーションシステム。
［３］
前記言語情報が時系列に表示される領域を第一の領域とし、前記表示された言語情報に基づくコンテンツが表示される領域を第二の領域とした場合に、
前記第一の領域に表示された言語情報の選択を受け付ける操作受付部を有し、
前記表示制御部は、前記操作受付部が選択を受け付けた言語情報に基づくコンテンツを前記第二の領域に表示する、付記１又は２記載のコミュニケーションシステム。
［４］
前記言語情報が時系列に表示される領域を第一の領域とし、前記表示された言語情報に基づくコンテンツが表示される領域を第二の領域とした場合に、
前記第一の領域に表示された言語情報を絞り込むフィルタリング部を有し、
前記表示制御部は、前記フィルタリング部が絞り込んだ前記言語情報のみを前記第一の領域に表示させ、前記フィルタリング部が絞り込んだ前記コンテンツのみを前記第二の領域に表示する、付記１乃至３の何れか一項に記載のコミュニケーションシステム。
［５］
前記第一の領域に存在する言語情報に基づいて前記第二の領域に配置されたコンテンツは、前記言語情報の識別情報と対応付けられており、
前記表示制御部は、前記フィルタリング部が絞り込んだ前記言語情報のみを前記第一の領域に表示した場合に、前記第一の領域に表示された前記言語情報の識別情報と対応付けられているコンテンツのみを前記第二の領域に表示する、付記４記載のコミュニケーションシステム。
［６］
表示されたコンテンツを絞り込むフィルタリング部を有し、
前記状態表示部は、
前記状態確認画面において、前記フィルタリング部によるフィルタリングの要素を選択される選択欄を表示させ、
前記状態確認画面に含まれる前記情報表示画面において、前記選択欄において選択された要素によって前記フィルタリング部が絞り込んだ前記コンテンツを強調表示させる、付記１乃至５の何れか一項に記載のコミュニケーションシステム。
［７］
前記状態表示部は、
前記状態確認画面に含まれる前記情報表示画面の前記言語情報が時系列に表示される領域において、表示された言語情報の表示態様を、前記言語情報を発話した発言者毎に異ならせる、付記１乃至６の何れか一項に記載のコミュニケーションシステム。
［８］
前記状態表示部は、
前記状態確認画面に含まれる前記情報表示画面の前記言語情報が時系列に表示される領域に表示された言語情報に基づき、発言者毎の発言数を示す画像を表示させる、付記１乃至７の何れか一項に記載のコミュニケーションシステム。
［９］
前記言語情報が時系列に表示される領域を第一の領域とし、前記表示された言語情報に基づくコンテンツが表示される領域を第二の領域とした場合に、
前記表示制御部は、
前記第一の領域に存在する言語情報に含まれる各単語の出現頻度に応じて前記単語を示す文字画像の大きさと配置を決定し、
前記大きさと配置に基づき前記単語を示す文字画像を前記第二の領域に表示する、付記１乃至８の何れか一項に記載に記載のコミュニケーションシステム。
［１０］
前記表示制御部は、
前記単語同士の関連性に応じて、前記単語を示す文字画像同士を繋ぐ線を前記第二の領域に表示する、付記９記載のコミュニケーションシステム。
［１１］
端末装置を、
所定のグループに所属するユーザーに対して音声から変換された言語情報が時系列に表示される領域と、表示された言語情報に基づくコンテンツが表示される領域とを含む前記所定のグループ毎の情報表示画面を表示する表示制御部、
複数の前記グループを管理するユーザーに対して前記グループ毎に表示された複数の前記情報表示画面の一覧を含む状態確認画面を表示する状態表示部、として機能させるためのプログラム。
［１２］
所定のグループに所属するユーザーに対して音声から変換された言語情報が時系列に表示される領域と、表示された言語情報に基づくコンテンツが表示される領域とを含む情報表示画面を表示する表示制御部と、
複数の前記グループを管理するユーザーに対して前記グループ毎に表示された複数の前記情報表示画面の一覧を含む状態確認画面を表示する状態表示部と、を有する端末装置。
［１３］
所定のグループに所属するユーザーに対して音声から変換された言語情報が時系列に表示される領域と、表示された言語情報に基づくコンテンツが表示される領域とを含む情報表示画面を表示する表示制御部と、
複数の前記グループを管理するユーザーに対して前記グループ毎に表示された複数の前記情報表示画面の一覧を含む状態確認画面を表示する状態表示部と、を有する端末装置と、ネットワークを介して通信する情報処理システムであって、
前記端末装置のユーザーの権限に応じて、前記端末装置に表示させる情報を管理する権限管理部を有し、
前記権限管理部は、複数の前記グループを管理するユーザーに紐付けられた端末装置に対して、前記状態確認画面の表示させる、情報処理システム。
［１］
所定のグループに所属するユーザーに対して音声から変換された言語情報が時系列に表示される領域と、表示された言語情報に基づくコンテンツが表示される領域とを含む前記所定のグループ毎の情報表示画面を表示する表示制御部と、
複数の前記グループを管理するユーザーに対して前記グループ毎に表示された複数の前記情報表示画面の一覧を含む状態確認画面を表示する状態表示部と、を有するコミュニケーションシステム。
［２］
前記表示制御部は、複数の前記グループに所属するユーザーに紐付けられた第一の端末装置に、前記グループと対応した前記情報表示画面を表示させ、
前記状態表示部は、複数の前記グループを管理するユーザーに紐付けられた第二の端末装置に対して前記状態確認画面を表示させる、付記１記載のコミュニケーションシステム。
［３］
前記言語情報が時系列に表示される領域を第一の領域とし、前記表示された言語情報に基づくコンテンツが表示される領域を第二の領域とした場合に、
前記第一の領域に表示された言語情報の選択を受け付ける操作受付部を有し、
前記表示制御部は、前記操作受付部が選択を受け付けた言語情報に基づくコンテンツを前記第二の領域に表示する、付記１又は２記載のコミュニケーションシステム。
［４］
前記言語情報が時系列に表示される領域を第一の領域とし、前記表示された言語情報に基づくコンテンツが表示される領域を第二の領域とした場合に、
前記第一の領域に表示された言語情報を絞り込むフィルタリング部を有し、
前記表示制御部は、前記フィルタリング部が絞り込んだ前記言語情報のみを前記第一の領域に表示させ、前記フィルタリング部が絞り込んだ前記コンテンツのみを前記第二の領域に表示する、付記１乃至３の何れか一項に記載のコミュニケーションシステム。
［５］
前記第一の領域に存在する言語情報に基づいて前記第二の領域に配置されたコンテンツは、前記言語情報の識別情報と対応付けられており、
前記表示制御部は、前記フィルタリング部が絞り込んだ前記言語情報のみを前記第一の領域に表示した場合に、前記第一の領域に表示された前記言語情報の識別情報と対応付けられているコンテンツのみを前記第二の領域に表示する、付記４記載のコミュニケーションシステム。
［６］
表示されたコンテンツを絞り込むフィルタリング部を有し、
前記状態表示部は、
前記状態確認画面において、前記フィルタリング部によるフィルタリングの要素を選択される選択欄を表示させ、
前記状態確認画面に含まれる前記情報表示画面において、前記選択欄において選択された要素によって前記フィルタリング部が絞り込んだ前記コンテンツを強調表示させる、付記１乃至５の何れか一項に記載のコミュニケーションシステム。
［７］
前記状態表示部は、
前記状態確認画面に含まれる前記情報表示画面の前記言語情報が時系列に表示される領域において、表示された言語情報の表示態様を、前記言語情報を発話した発言者毎に異ならせる、付記１乃至６の何れか一項に記載のコミュニケーションシステム。
［８］
前記状態表示部は、
前記状態確認画面に含まれる前記情報表示画面の前記言語情報が時系列に表示される領域に表示された言語情報に基づき、発言者毎の発言数を示す画像を表示させる、付記１乃至７の何れか一項に記載のコミュニケーションシステム。
［９］
前記言語情報が時系列に表示される領域を第一の領域とし、前記表示された言語情報に基づくコンテンツが表示される領域を第二の領域とした場合に、
前記表示制御部は、
前記第一の領域に存在する言語情報に含まれる各単語の出現頻度に応じて前記単語を示す文字画像の大きさと配置を決定し、
前記大きさと配置に基づき前記単語を示す文字画像を前記第二の領域に表示する、付記１乃至８の何れか一項に記載に記載のコミュニケーションシステム。
［１０］
前記表示制御部は、
前記単語同士の関連性に応じて、前記単語を示す文字画像同士を繋ぐ線を前記第二の領域に表示する、付記９記載のコミュニケーションシステム。
［１１］
端末装置を、
所定のグループに所属するユーザーに対して音声から変換された言語情報が時系列に表示される領域と、表示された言語情報に基づくコンテンツが表示される領域とを含む前記所定のグループ毎の情報表示画面を表示する表示制御部、
複数の前記グループを管理するユーザーに対して前記グループ毎に表示された複数の前記情報表示画面の一覧を含む状態確認画面を表示する状態表示部、として機能させるためのプログラム。
［１２］
所定のグループに所属するユーザーに対して音声から変換された言語情報が時系列に表示される領域と、表示された言語情報に基づくコンテンツが表示される領域とを含む情報表示画面を表示する表示制御部と、
複数の前記グループを管理するユーザーに対して前記グループ毎に表示された複数の前記情報表示画面の一覧を含む状態確認画面を表示する状態表示部と、を有する端末装置。
［１３］
所定のグループに所属するユーザーに対して音声から変換された言語情報が時系列に表示される領域と、表示された言語情報に基づくコンテンツが表示される領域とを含む情報表示画面を表示する表示制御部と、
複数の前記グループを管理するユーザーに対して前記グループ毎に表示された複数の前記情報表示画面の一覧を含む状態確認画面を表示する状態表示部と、を有する端末装置と、ネットワークを介して通信する情報処理システムであって、
前記端末装置のユーザーの権限に応じて、前記端末装置に表示させる情報を管理する権限管理部を有し、
前記権限管理部は、複数の前記グループを管理するユーザーに紐付けられた端末装置に対して、前記状態確認画面の表示させる、情報処理システム。
【符号の説明】
【0271】
１Ａ、１Ｂ 端末装置
３ 情報処理システム
５ ビジュアルコミュニケーションシステム
３ 情報処理システム
５ ビジュアルコミュニケーションシステム
【先行技術文献】
【特許文献】
【0272】
【特許文献1】特開２０１９－１９２２３０号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】