IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社リコーの特許一覧

特許7533527情報処理装置、表示方法、通信システム、プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-05
(45)【発行日】2024-08-14
(54)【発明の名称】情報処理装置、表示方法、通信システム、プログラム
(51)【国際特許分類】
   G06F 3/0481 20220101AFI20240806BHJP
   G06Q 10/00 20230101ALI20240806BHJP
   G10L 15/22 20060101ALI20240806BHJP
   G06F 3/16 20060101ALI20240806BHJP
【FI】
G06F3/0481
G06Q10/00
G10L15/22 460Z
G06F3/16 650
G06F3/16 620
【請求項の数】 20
(21)【出願番号】P 2022089244
(22)【出願日】2022-05-31
(65)【公開番号】P2023176774
(43)【公開日】2023-12-13
【審査請求日】2023-03-07
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】中島 章敬
【審査官】塩屋 雅弘
(56)【参考文献】
【文献】特開2019-053566(JP,A)
【文献】特開2021-196653(JP,A)
【文献】特開2021-163459(JP,A)
【文献】特開2017-085444(JP,A)
【文献】特許第6746923(JP,B2)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/0481
G06Q 10/00
G10L 15/22
G06F 3/16
(57)【特許請求の範囲】
【請求項1】
複数の端末とネットワークを介して通信する情報処理装置であって、
前記複数の端末のうち任意の端末が送信する音データから変換されたテキストデータの第一の表示領域への表示指示情報と共に、前記テキストデータを前記複数の端末に送信する通信部と、
前記任意の端末から受信した、前記テキストデータに関する操作情報を前記テキストデータに対応付けて記憶部に保存する処理部と、を有し、
前記通信部は、前記操作情報の操作が行われた前記テキストデータの少なくとも一部の、前記第一の表示領域とは別の第二の表示領域への表示指示情報を前記複数の端末に送信することを特徴とする情報処理装置。
【請求項2】
前記処理部が、前記記憶部に保存された前記操作情報が所定の操作情報であることを検出した場合、
前記通信部は、前記所定の操作情報の操作が行われた前記テキストデータの少なくとも一部の、前記第一の表示領域とは別の第二の表示領域への表示指示情報を前記複数の端末に送信することを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記通信部は、前記テキストデータの少なくとも一部の表示指示情報に加え、前記所定の操作情報の操作が行われたことの前記第二の表示領域への表示指示情報を前記複数の端末に送信することを特徴とする請求項2に記載の情報処理装置。
【請求項4】
前記複数の端末は、音データから変換されたテキストデータを共有するイベントに参加しており、
前記テキストデータに対し端末が受け付け可能な操作の設定を受け付ける画面を作成する作成部を有し、
前記通信部は、前記作成部が作成した前記画面の画面情報を端末に送信し、
前記処理部は、前記イベントに参加している前記端末から送信された、前記端末が受け付け可能な操作の操作情報を記憶部に保存することを特徴とする請求項1~3のいずれか1項に記載の情報処理装置。
【請求項5】
前記画面は、端末が受け付け可能な操作が提供される対象として、利用者が所属する組織又は利用者が参加している前記イベントのいずれかが選択可能であり、
前記処理部は、前記端末から送信された、前記端末が受け付け可能な操作の操作情報、前記対象、及び、前記対象となる組織の識別情報又は前記イベントの識別情報を対応付けて前記記憶部に保存することを特徴とする請求項4に記載の情報処理装置。
【請求項6】
前記通信部は、前記イベントに参加する端末に対し、
前記記憶部に記憶されている前記操作情報の前記対象が組織である場合、前記端末の利用者が所属する組織の識別情報と同じ組織の識別情報が対応付けられている前記操作情報を送信し、
前記記憶部に記憶されている前記操作情報の前記対象が前記イベントである場合、前記端末の利用者が参加している前記イベントの識別情報と同じイベントの識別情報が対応付けられている前記操作情報、を送信することを特徴とする請求項5に記載の情報処理装置。
【請求項7】
前記第一の表示領域は、音データから変換されたテキストデータ古いものからスクロールアウトさせ、前記第二の表示領域は、前記テキストデータの少なくとも一部をスクロールアウトさせないことを特徴とする請求項1に記載の情報処理装置。
【請求項8】
前記所定の操作情報は、前記テキストデータについて質問を受け付けたことを示す操作情報であることを特徴とする請求項2に記載の情報処理装置。
【請求項9】
前記第二の表示領域は、前記操作情報の操作が行われた前記テキストデータの少なくとも一部と共に、前記テキストデータについて質問があったことを示す情報を表示することを特徴とする請求項3に記載の情報処理装置。
【請求項10】
複数の端末とネットワークを介して通信する情報処理装置が行う表示方法であって、
通信部が、前記複数の端末のうち任意の端末が送信する音データから変換されたテキストデータの第一の表示領域への表示指示情報と共に、前記テキストデータを前記複数の端末に送信するステップと、
処理部が、前記任意の端末から受信した、テキストデータに関する操作情報を前記テキストデータに対応付けて記憶部に保存するステップと、
前記通信部が、前記操作情報の操作が行われた前記テキストデータの少なくとも一部の、前記第一の表示領域とは別の第二の表示領域への表示指示情報を前記複数の端末に送信するステップと、を有することを特徴とする表示方法。
【請求項11】
前記処理部が、前記記憶部に保存された前記操作情報が所定の操作情報であることを検出した場合、
前記通信部は、前記所定の操作情報の操作が行われた前記テキストデータの少なくとも一部の、前記第一の表示領域とは別の第二の表示領域への表示指示情報を前記複数の端末に送信することを特徴とする請求項10に記載の表示方法。
【請求項12】
前記通信部は、前記テキストデータの少なくとも一部の表示指示情報に加え、前記所定の操作情報の操作が行われたことの前記第二の表示領域への表示指示情報を前記複数の端末に送信することを特徴とする請求項11に記載の表示方法。
【請求項13】
前記複数の端末は、音データから変換されたテキストデータを共有するイベントに参加しており、
作成部が、前記テキストデータに対し端末が受け付け可能な操作の設定を受け付ける画面を作成するステップと、
前記通信部が、前記作成部が作成した前記画面の画面情報を端末に送信するステップと、
前記処理部が、前記イベントに参加している前記端末から送信された、前記端末が受け付け可能な操作の操作情報を記憶部に保存するステップと、を有することを特徴とする請求項10~12のいずれか1項に記載の表示方法。
【請求項14】
前記画面は、端末が受け付け可能な操作が提供される対象として、利用者が所属する組織又は利用者が参加している前記イベントのいずれかが選択可能であり、
前記処理部は、前記端末から送信された、前記端末が受け付け可能な操作の操作情報、前記対象、及び、前記対象となる組織の識別情報又は前記イベントの識別情報を対応付けて前記記憶部に保存することを特徴とする請求項13に記載の表示方法。
【請求項15】
前記通信部は、前記イベントに参加する端末に対し、
前記記憶部に記憶されている前記操作情報の前記対象が組織である場合、前記端末の利用者が所属する組織の識別情報と同じ組織の識別情報が対応付けられている前記操作情報を送信し
前記記憶部に記憶されている前記操作情報の前記対象が前記イベントである場合、前記端末の利用者が参加している前記イベントの識別情報と同じイベントの識別情報が対応付けられている前記操作情報、を送信することを特徴とする請求項14に記載の表示方法。
【請求項16】
前記第一の表示領域は、音データから変換されたテキストデータ古いものからスクロールアウトさせ、前記第二の表示領域は、前記テキストデータの少なくとも一部をスクロールアウトさせないことを特徴とする請求項10に記載の表示方法。
【請求項17】
前記所定の操作情報は、前記テキストデータについて質問を受け付けたことを示す操作情報であることを特徴とする請求項11に記載の表示方法。
【請求項18】
前記第二の表示領域は、前記操作情報の操作が行われた前記テキストデータの少なくとも一部と共に、前記テキストデータについて質問があったことを示す情報を表示することを特徴とする請求項12に記載の表示方法。
【請求項19】
複数の端末と情報処理装置とがネットワークを介して通信する通信システムであって、
前記情報処理装置は、
前記複数の端末のうち任意の端末が送信する音データから変換されたテキストデータの第一の表示領域への表示指示情報と共に、前記テキストデータを前記複数の端末に送信する通信部と、
前記任意の端末から受信した、テキストデータに関する操作情報を前記テキストデータに対応付けて記憶部に保存する処理部と、を有し、
前記通信部は、前記操作情報の操作が行われた前記テキストデータの少なくとも一部の、前記第一の表示領域とは別の第二の表示領域への表示指示情報を前記複数の端末に送信し、
前記複数の端末は、
前記情報処理装置から受信したテキストデータを前記第一の表示領域に表示し、前記操作情報の操作が行われた前記テキストデータの少なくとも一部を前記第二の表示領域に表示することを特徴とする通信システム。
【請求項20】
複数の端末とネットワークを介して通信する情報処理装置を、
前記複数の端末のうち任意の端末が送信する音データから変換されたテキストデータの第一の表示領域への表示指示情報と共に、前記テキストデータを前記複数の端末に送信する通信部と、
前記任意の端末から受信した、テキストデータに関する操作情報を前記テキストデータに対応付けて記憶部に保存する処理部、として機能させ、
前記通信部は、前記操作情報の操作が行われた前記テキストデータの少なくとも一部の、前記第一の表示領域とは別の第二の表示領域への表示指示情報を前記複数の端末に送信することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、表示方法、通信システム、及び、プログラムに関する。
【背景技術】
【0002】
ネットワークを介して、遠隔地の拠点との間で映像や音声を送受信する通信システムが知られている。通信システムにおいては、例えば会議に参加する参加者の一方がいる拠点において、通信端末を用いて周囲の撮像及び発言などの音声(音データともいう。)の収集を行い、これらをデジタルデータに変換して相手方の通信端末に送信する。相手方の通信端末はディスプレイへの画像表示及びスピーカからの音声出力を行い、拠点間の参加者がビデオ通話を行うことができる。
【0003】
テレビ会議を支援するために、テレビ会議の音声を音声認識によりテキストに変換する技術が考案されている(例えば、特許文献1参照。)。特許文献1には、このテキストを議事録作成に利用する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術は、音データから変換されたテキストデータが表示される第一の画面とは別の第二の画面に、テキストデータが表示されないという問題がある。例えば会議中は、次々と音データから変換されたテキストデータが表示されてしまい、ある参加者が質問しても発表者が気づかずに議論が進むことによって、質問者が取り残されてしまう場合がある。
【0005】
本発明は、上記課題に鑑み、音データから変換されたテキストデータが表示される第一の画面とは別の第二の画面に、テキストデータが表示される情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題に鑑み、本発明は、複数の端末とネットワークを介して通信する情報処理装置であって、前記複数の端末のうち任意の端末が送信する音データから変換されたテキストデータの第一の表示領域への表示指示情報と共に、前記テキストデータを前記複数の端末に送信する通信部と、前記任意の端末から受信した、前記テキストデータに関する操作情報を前記テキストデータに対応付けて記憶部に保存する処理部と、を有し、前記通信部は、前記操作情報の操作が行われた前記テキストデータの少なくとも一部の、前記第一の表示領域とは別の第二の表示領域への表示指示情報を前記複数の端末に送信することを特徴とする。
【発明の効果】
【0007】
音データから変換されたテキストデータが表示される第一の画面とは別の第二の画面に、テキストデータが表示される情報処理装置を提供することができる。
【図面の簡単な説明】
【0008】
図1】本実施形態に係る通信システムの概略図である。
図2】ビデオ会議端末のハードウェア構成図である。
図3】カーナビゲーション装置のハードウェア構成図である。
図4】PC、表示端末、サーバのハードウェア構成図である。
図5】通信システムの機能ブロック図である。
図6】(A)は利用者認証管理テーブルの概念図、(B)はアクセス管理テーブルの概念図、(C)は予定管理テーブルの概念図である。
図7】コンテンツ管理テーブルの概念図である。
図8】リアクション種類管理テーブルの概念図である。
図9】リアクション押下管理テーブルを示す概念図である。
図10】(A)は利用者認証管理テーブルの概念図、(B)は利用者管理テーブルの概念図、(C)は共用体管理テーブルの概念図である。
図11】(A)は共用体予約管理テーブルの概念図、(B)はイベント管理テーブルの概念図である。
図12】(A)はサーバ認証管理テーブルの概念図、(B)は実行イベント履歴管理テーブルの概念図である。
図13】(A)実行イベント管理テーブルの概念図、(B)関連情報管理テーブルの概念図である。
図14】テキスト情報管理テーブルの概念図である。
図15】スケジュールの登録処理を示したシーケンス図である。
図16】サインイン画面を示した図である。
図17】PCの初期画面の例である。
図18】スケジュール入力画面を示した図である。
図19】イベントの開始処理を示したシーケンス図である。
図20】電子黒板に表示されるサインイン画面を示した図である。
図21】共用体の予約リスト画面を示した図である。
図22】イベントの開始処理を示したシーケンス図である。
図23】イベントの詳細情報画面を示した図である。
図24】イベント開始時に電子黒板に表示される表示画面を示した図である。
図25】実行イベント履歴の登録処理を示したシーケンス図である。
図26】音声テキスト変換処理を示したフローチャートである。
図27】実行イベント履歴の登録処理を示したシーケンス図である。
図28】PCが表示する会議画面の一例を示す図である。
図29】参加者が質問ボタンをクリック又はタップした場合にPCが表示する会議画面の一例を示す図である。
図30】PCが質問ボタンの押下を受け付け、通信端末及び表示端末が、質問ボタンが押下された旨を共有するシーケンス図の一例である。
図31】PCが表示するリアクションボタン登録画面の一例を示す図である。
図32】参加者がリアクションボタンを共用支援サーバに登録する処理を説明するシーケンス図の一例である。
【発明を実施するための形態】
【0009】
以下、本発明を実施するための形態の一例として、通信システムと通信システムが行う表示方法について図面を参照しながら説明する。
【0010】
<処理の概略>
音声認識を活用してリアルタイムに文字起こしが進行すると、次々に音声認識されたテキストデータが表示され、古いテキストデータからスクロールアウトしていく。利用者が気になったテキストデータに基づいて質問した場合、質問自体もスクロールアウトしてしまうか、又は、質問しないとしても気になったテキストデータ自体がスクロールアウトしてしまう。このため、利用者が質問しにくい場合があった。
【0011】
本実施形態の共用支援サーバは、質問の対象となる発言部分のテキストデータについて各種のリアクションボタンを表示させる。このうち質問ボタンが押下されると、共用支援サーバは、音声認識されたテキストデータに埋もれないように、音声認識されたテキストデータとは別の領域に該テキストデータ及び質問ボタンが押下された旨を表示する。
【0012】
こうすることで、質問の対象となったテキストデータ及び質問ボタンが押下された旨はスクロールアウトしないので、回答者が質問を見落とすことを低減することができる。また、質問があっても会話の流れに乗りにくい聴覚障碍者がためらってしまったり、聴覚障碍者だけが自分の意思を示せなかったりする状況を低減できる。
【0013】
<用語について>
音データとは、音が信号処理可能なデータに変換されたものである。音データはアナログでもよいしデジタルでもよいが、コンピュータ上ではデジタルに変換される。音データの中身は主に音声が想定されるが、どのような音が含まれていてもよい。
【0014】
テキストデータとは文字コードで表された文字、アルファベット、数字、又は、記号などである。
【0015】
リアルタイムとは、ある処理が現在、実行されたとして、一定の遅延内で処理の結果が得られることをいう。
【0016】
操作情報とは、音データから変換されたテキストデータに対し、何らかの反応を示す操作が行われた旨の情報である。所定の操作情報は、本実施形態では、質問の操作を例に説明する。
【0017】
所定の操作情報は、質問の他、「ちょっと待って」「異議あり」など、テキストデータのスクロールアウトを制限する何らかの反応を示す操作であってよい。
【0018】
<システム構成の概略>
まず、図1を参照して通信システム1の構成の概略について説明する。図1は、本実施形態に係る通信システムの概略図である。
【0019】
図1に示されているように、本実施形態の通信システム1は、通信端末2、ビデオ会議端末3、カーナビゲーション装置4、PC(Personal Computer、パーソナルコンピュータ)5、共用支援サーバ6、スケジュール管理サーバ8、音声テキスト変換サーバ9、及び、表示端末10を有している。
【0020】
また、通信端末2、ビデオ会議端末3、カーナビゲーション装置4、PC5、共用支援サーバ6、スケジュール管理サーバ8、音声テキスト変換サーバ9及び表示端末10は、通信ネットワークNを介して通信することができる。通信ネットワークNは、インターネット、移動体通信網、LAN(Local Area Network)等によって構築されている。通信ネットワークNには、有線通信だけでなく、3G(3rd Generation)、WiMAX(Worldwide Interoperability for Microwave Access)、4G、5G、又はLTE(Long Term Evolution)等の無線通信によるネットワークが含まれてもよい。
【0021】
また、通信端末2は、会議室Xで利用される。ビデオ会議端末3は、会議室Yで利用される。会議室XやYには電子黒板が配置されていてよい。また、共用体は、各利用者による予約対象となる。カーナビゲーション装置4は、車両αで利用される。この場合の車両αは、カーシェアリングの対象となる車両である。車両には、車、バイク、自転車、車椅子等が含まれる。
【0022】
「共用体」は、複数の人又は団体が共同で使用する物、サービス、空間(部屋)、場所、又は情報を示す。会議室X、会議室Y及び車両αは、複数の利用者が共用する共用体の一例である。共用体に付与された情報の例として、アカウントの場合が挙げられる。例えば、Webで提供されている特定のサービスにおいて、使用されるアカウントが1つに制限されているような場合である。
【0023】
通信端末2はノートPC、タブレット端末又はスマートフォンなどの汎用的なコンピュータである。表示端末10、PC5、ビデオ会議端末3、及びカーナビゲーション装置4も、通信端末の一例である。これら「通信端末」は、例えば、利用者によるサインイン(後述のS32参照)で、拠点間のテレビ会議に使用可能となる端末である。なお、車両αで利用される通信端末は、カーナビゲーション装置4だけでなく、カーナビゲーションのアプリケーションがインストールされたスマートフォン又はスマートウォッチのようなウェアラブルデバイス等も含む。表示端末10はスマートフォンのような携帯端末やPCなど汎用的なコンピュータである(第二の端末の一例)。表示端末10は、表示端末10a、10b……のように複数存在してよく、任意の表示端末を「表示端末10」という。
【0024】
PC5は、汎用的なコンピュータであり、スケジュール管理サーバ8に対して、各共用体の利用の予約の登録及び各利用者が実行予定のイベントを登録する登録装置の一例である。イベントは、例えば、会議、会合、集い、寄り合い、相談、打ち合わせ、運転、乗車又は移動等である。PC5は、PC5a、5b……のように複数存在してよく、任意のPCを「PC5」という。
【0025】
共用支援サーバ6は、コンピュータであり、各通信端末に対して遠隔的に共用体を共用する場合の支援を行う(情報処理装置の一例)。
【0026】
スケジュール管理サーバ8は、コンピュータであり、各共用体の予約及び各利用者の予定のスケジュールを管理する。
【0027】
音声テキスト変換サーバ9は、コンピュータであり、外部のコンピュータ(例えば、共用支援サーバ6)から受信した音(音声)データを、テキストデータに変換する。
【0028】
ここで、共用支援サーバ6、スケジュール管理サーバ8及び音声テキスト変換サーバ9は、管理システムと称する。なお、管理システムは、例えば、共用支援サーバ6、スケジュール管理サーバ8及び音声テキスト変換サーバ9の各機能の全て又は一部を集約させたコンピュータであってもよい。また、共用支援サーバ6、スケジュール管理サーバ8及び音声テキスト変換サーバ9のそれぞれは、複数のコンピュータに各機能を分散させて実現させる構成であってもよい。さらに、共用支援サーバ6、スケジュール管理サーバ8及び音声テキスト変換サーバ9は、クラウド環境に存在するサーバコンピュータであるものとして説明するが、共用支援サーバ6及び音声テキスト変換サーバ9は、オンプレミス環境に存在するサーバであってもよい。また、スケジュール管理サーバ8は、オンプレミス環境に存在するサーバであってもよい。
【0029】
<ハードウェア構成>
続いて、図2乃至図4を用いて、通信システム1を構築する装置又は端末のハードウェア構成を説明する。
【0030】
<ビデオ会議端末のハードウェア構成>
図2は、ビデオ会議端末のハードウェア構成図を示した図である。図2に示されているように、ビデオ会議端末3は、CPU301、ROM302、RAM303、フラッシュメモリ304、SSD305、メディアI/F307、操作ボタン308、電源スイッチ309、バスライン310、ネットワークI/F311、CMOS(Complementary MetalOxide Semiconductor)センサ312、撮像素子I/F313、マイク314、スピーカ315、音入出力I/F316、ディスプレイI/F317、外部機器接続I/F318、近距離通信回路319及び近距離通信回路319のアンテナ319aを備えている。これらのうち、CPU301は、ビデオ会議端末3全体の動作を制御する。ROM302は、IPL等のCPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。フラッシュメモリ304は、通信用プログラム、画像データ及び音データ等の各種データを記憶する。SSD305は、CPU301の制御にしたがってフラッシュメモリ304に対する各種データの読み出し又は書き込みを制御する。なお、SSDは、これを代用可能なHDDでもよい。メディアI/F307は、フラッシュメモリ等の記録メディア306に対するデータの読み出し又は書き込み(記憶)を制御する。操作ボタン308は、ビデオ会議端末3の宛先を選択する場合等に操作されるボタンである。電源スイッチ309は、ビデオ会議端末3の電源のON/OFFを切り換えるためのスイッチである。
【0031】
また、ネットワークI/F311は、インターネット等の通信ネットワークNを利用してデータ通信をするためのインターフェースである。CMOSセンサ312は、CPU301の制御にしたがって被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F313は、CMOSセンサ312の駆動を制御する回路である。マイク314は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F316は、CPU301の制御にしたがってマイク314及びスピーカ315との間で音信号の入出力を処理する回路である。ディスプレイI/F317は、CPU301の制御にしたがって外付けのディスプレイ320に画像データを送信する回路である。外部機器接続I/F318は、各種の外部機器を接続するためのインターフェースである。近距離通信回路319は、NFC、Bluetooth(登録商標)等の通信回路である。
【0032】
また、バスライン310は、図2に示されているCPU301等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0033】
ディスプレイ320は、被写体の画像や操作アイコン等を表示する液晶や有機ELによって構成された表示部(表示手段)の一種である。また、ディスプレイ320は、ケーブル320cによってディスプレイI/F317に接続される。このケーブル320cは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、DisplayPort、HDMI(High Definition Multimedia Interface(登録商標))やDVI(Digital Video Interactive)信号用のケーブルであってもよい。
【0034】
なお、CMOSセンサ312は、CCD(Charge Coupled Device)センサ等の撮像素子であってもよい。外部機器接続I/F318には、USBケーブル等によって、外付けカメラ、外付けマイク及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、CPU301の制御にしたがって、内蔵型のCMOSセンサ312に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、CPU301の制御にしたがって、それぞれが内蔵型のマイク314や内蔵型のスピーカ315に優先して、外付けマイクや外付けスピーカが駆動する。
【0035】
また、記録メディア306は、ビデオ会議端末3に対して着脱自在な構成となっている。また、CPU301の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ304は、EEPROM等を用いてもよい。
【0036】
<カーナビゲーション装置のハードウェア構成>
図3は、カーナビゲーション装置のハードウェア構成図である。図3に示されているように、カーナビゲーション装置4は、CPU401、ROM402、RAM403、EEPROM404、電源スイッチ405、加速度・方位センサ406、メディアI/F408及びGPS受信部409を備えている。
【0037】
これらのうち、CPU401は、カーナビゲーション装置4全体の動作を制御する。ROM402は、IPL等のCPU401の駆動に用いられるプログラムを記憶する。RAM403は、CPU401のワークエリアとして使用される。EEPROM404は、CPU401の制御にしたがって、カーナビゲーション装置4用プログラム等の各種データの読み出し又は書き込みを行う。電源スイッチ405は、カーナビゲーション装置4の電源のON/OFFを切り換えるためのスイッチである。加速度・方位センサ406は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアI/F408は、フラッシュメモリ等の記録メディア407に対するデータの読み出し又は書き込み(記憶)を制御する。GPS受信部409は、GPS衛星からGPS信号を受信する。
【0038】
また、カーナビゲーション装置4は、遠距離通信回路411、遠距離通信回路411のアンテナ411a、CMOSセンサ412、撮像素子I/F413、マイク414、スピーカ415、音入出力I/F416、ディスプレイ417、ディスプレイI/F418、外部機器接続I/F419、近距離通信回路420及び近距離通信回路420のアンテナ420aを備えている。
【0039】
これらのうち、遠距離通信回路411は、車外のインフラから提供される渋滞情報、道路工事情報、交通事故情報等を受信し、逆に、自車位置や緊急時の救命信号等を外部へ発信するための回路である。外部のインフラは、例えば、VICS(登録商標)(Vehicle Information and Communication System)システム等の道路情報案内システムである。CMOSセンサ412は、CPU401の制御にしたがって被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F413は、CMOSセンサ412の駆動を制御する回路である。マイク414は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F416は、CPU401の制御にしたがってマイク414及びスピーカ415との間で音信号の入出力を処理する回路である。ディスプレイ417は、被写体の画像や各種アイコン等を表示する液晶や有機EL等の表示部(表示手段)の一種であり、タッチパネルの機能を有している。タッチパネルは、利用者がカーナビゲーション装置4を操作するための入力手段の一種である。ディスプレイI/F418は、ディスプレイ417に画像を表示させる回路である。外部機器接続I/F419は、各種の外部機器を接続するためのインターフェースである。近距離通信回路420は、NFCや(登録商標)等の通信回路である。また、カーナビゲーション装置4は、バスライン410を備えている。バスライン410は、図3に示されているCPU401等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0040】
<通信端末、PC、表示端末、サーバのハードウェア構成>
図4は、通信端末2、PC5、表示端末10、各種のサーバのハードウェア構成図である。通信端末2、PC5、表示端末10は、コンピュータによって構築されており、図4に示されているように、CPU501、ROM502、RAM503、HD504、HDD(Hard Disk Drive)コントローラ505、メディアI/F507、ディスプレイ508、ネットワークI/F509、キーボード511、マウス512、CD-RWドライブ514、スピーカ515、カメラ516、マイク517及びバスライン510を備えている。
【0041】
これらのうち、CPU501は、通信端末2、PC5、表示端末10全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。HD504は、プログラム等の各種データを記憶する。HDDコントローラ505は、CPU501の制御にしたがってHD504に対する各種データの読み出し又は書き込みを制御する。メディアI/F507は、フラッシュメモリ等の記録メディア506に対するデータの読み出し又は書き込み(記憶)を制御する。ディスプレイ508は、カーソル、メニュー、ウインドウ、文字又は画像等の各種情報を表示する。ディスプレイ508は、表示部(表示手段)の一例である。ネットワークI/F509は、通信ネットワークNを利用してデータ通信をするためのインターフェースである。キーボード511は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。マウス512は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。CD-RWドライブ514は、着脱可能な記録媒体の一例としてのCD-RW(Compact Disc ReWritable)513に対する各種データの読み出し又は書き込みを制御する。スピーカ515は、CPU501の制御にしたがって音信号の出力を行う。カメラ516はCPU501の制御にしたがって画角の範囲を撮像し画像データを生成する。マイク517はCPU501の制御にしたがって音信号を収集する。
【0042】
また、通信端末2、PC5、表示端末10は、バスライン510を備えている。バスライン510は、図4に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0043】
また、共用支援サーバ6は、コンピュータによって構築されており、図4に示されているように、CPU601、ROM602、RAM603、HD604、HDDコントローラ605、記録メディア606、メディアI/F607、ディスプレイ608、ネットワークI/F609、キーボード611、マウス612、CD-RWドライブ614及びバスライン610を備えている。これらは、それぞれ共用支援サーバ6において、CPU501、ROM502、RAM503、HD504、HDDコントローラ505、記録メディア506、メディアI/F507、ディスプレイ508、ネットワークI/F509、キーボード511、マウス512、CD-RWドライブ514及びバスライン510と同様の構成であるため、説明を省略する。
【0044】
さらに、スケジュール管理サーバ8は、コンピュータによって構築されており、図4に示されているように、CPU801、ROM802、RAM803、HD804、HDDコントローラ805、記録メディア806、メディアI/F807、ディスプレイ808、ネットワークI/F809、キーボード811、マウス812、CD-RWドライブ814及びバスライン810を備えている。これらは、それぞれ共用支援サーバ6において、CPU501、ROM502、RAM503、HD504、HDDコントローラ505、記録メディア506、メディアI/F507、ディスプレイ508、ネットワークI/F509、キーボード511、マウス512、CD-RWドライブ514及びバスライン510と同様の構成であるため、説明を省略する。
【0045】
また、音声テキスト変換サーバ9は、コンピュータによって構築されており、図4に示されているように、CPU901、ROM902、RAM903、HD904、HDDコントローラ905、記録メディア906、メディアI/F907、ディスプレイ908、ネットワークI/F909、キーボード911、マウス912、CD-RWドライブ914及びバスライン910を備えている。これらは、それぞれ共用支援サーバ6において、CPU501、ROM502、RAM503、HD504、HDDコントローラ505、記録メディア506、メディアI/F507、ディスプレイ508、ネットワークI/F509、キーボード511、マウス512、CD-RWドライブ514及びバスライン510と同様の構成であるため、説明を省略する。
【0046】
なお、上記各プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、CD-R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、ブルーレイディスク、SDカード等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。例えば、通信端末2、PC5、表示端末10は、本発明に係るプログラムが実行されることで本発明に係る表示制御方法を実現する。
【0047】
さらに、共用支援サーバ6は、単一のコンピュータによって構築されてもよいし、各部(機能、手段又は記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。スケジュール管理サーバ8及び音声テキスト変換サーバ9についても同様である。
【0048】
<<通信システムの機能構成>>
続いて、図5乃至図15を用いて、本実施形態の機能構成について説明する。図5は、通信システムの機能ブロック図である。なお、図5では、図1に示されている各端末、装置、サーバのうち、後述の処理又は動作に関連しているものが示されている。
【0049】
<通信端末の機能構成>
図5に示されているように、通信端末2は、通信部21、受付部22、画像・音処理部23、表示制御部24、判断部25、記憶・読出処理部29を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD504からRAM503上に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能、又は機能する手段である。また、通信端末2は、図4に示されているRAM503、HD504によって構築される記憶部2000を有している。
【0050】
(通信端末の各機能構成)
次に、通信端末2の各構成要素について説明する。通信部21は、図4に示されているCPU501からの命令、並びにネットワークI/F509によって実現され、通信ネットワークNを介して他の端末、装置又はシステムと各種データ(又は情報)の送受信を行う。
【0051】
受付部22は、主に、図4に示されているCPU501からの命令、キーボード511、マウス512及びタッチパネル付きのディスプレイ508によって実現され、利用者による各種入力を受け付ける。
【0052】
画像・音処理部23は、カメラ516が被写体を撮像して得た画像データに対しての画像処理を行う。また、画像・音処理部23は、マイク517によって利用者の音声が音声信号に変換された後、この音声信号に係る音データに対して音声処理を行う。さらに、画像・音処理部23は、音データに係る音声信号をスピーカ515に出力し、スピーカ515から音声を出力させる。
【0053】
表示制御部24は、図4に示されているCPU501からの命令によって実現され、ディスプレイ508に描画像を表示させたり、Webブラウザを用いて共用支援サーバ6にアクセスして各種画面データを表示させたりする。
【0054】
判断部25は、図4に示されているCPU501からの命令によって実現され、各種判断を行う。
【0055】
記憶・読出処理部29は、図4に示されているCPU501からの命令及びHD504によって実行され、記憶部2000に各種データを記憶したり、記憶部2000に記憶された各種データを読み出したりする処理を行う。さらに、記憶部2000には、他の通信端末やビデオ会議端末との通信を行う際に受信される画像データ及び音データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ508に画像が表示され、上書きされる前の音データによってスピーカ515から音声が出力される。
【0056】
なお、ビデオ会議端末3及びカーナビゲーション装置4は、通信端末2と同様の機能を有するため、ここでは説明を省略する。
【0057】
<PCの機能構成>
PC5は、通信部51、受付部52、表示制御部54、生成部56、音制御部58及び記憶・読出処理部59を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD504からRAM503上に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能又は機能する手段である。また、PC5は、図4に示されているHD504により構築される記憶部5000を有している。
【0058】
(PCの各機能構成)
次に、PC5の各構成要素について説明する。通信部51は、図4に示されているCPU501からの命令及びネットワークI/F509によって実現され、通信ネットワークNを介して他の端末、装置又はシステムと各種データ(又は情報)の送受信を行う。
【0059】
受付部52は、主に、図4に示されているCPU501からの命令、並びにキーボード511及びマウス512によって実現され、利用者による各種入力を受け付ける。
【0060】
表示制御部54は、図4に示されているCPU501からの命令によって実現され、ディスプレイ508に画像を表示させたり、Webブラウザを用いて共用支援サーバ6にアクセスして各種画面データを表示させたりする。表示制御部54は、例えば、HTML(HyperText Markup Language)を少なくとも含み、CSS(Cascading Style Sheets)又はJavaScript(登録商標)等を含むWebAPP(WebApplication)をダウンロードし、そのWebAPPによって生成された各種画像データを、ディスプレイ508に表示させる。表示制御部54は、例えば、XML(Extensible Markup Language)、JSON(JavaScript(登録商標) Object Notation)又はSOAP(Simple Object Access Protocol)形式等のデータを含むHTML5によって生成された画像データを、ディスプレイ508に表示させる。
【0061】
生成部56は、図4に示されているCPU501からの命令によって実現され、ディスプレイ508に表示させる各種画像データを生成する機能である。生成部56は、通信部51によって受信されたコンテンツデータを用いて、各種画像データを生成する。生成部56は、例えば、コンテンツデータであるテキストデータをレンダリングし、レンダリングされたデータを表示させるために、コンテンツ画像データであるテキストデータに係る画像データを生成する。レンダリングとは、Webページ記述用の言語(HTML、CSS又はXML等)で記述されたデータを解釈し、実際に画面に表示される文字や画像データ等の配置を計算する処理である。
【0062】
音制御部58は、図4に示されているCPU501からの命令によって実現され、スピーカ515から音信号を出力する機能である。音制御部58は、スピーカ515から出力させる音データを設定し、設定した音データに係る音信号をスピーカ515から出力することにより、音データを再生する。
【0063】
記憶・読出処理部59は、図4に示されているCPU501からの命令、及びHDDコントローラ505等によって実行され、記憶部5000に各種データを記憶したり、記憶部5000から各種データを読み出したりする処理を行う。
【0064】
<共用支援サーバの機能構成>
共用支援サーバ6は、通信部61、認証部62、作成部63、生成部64、判断部65、処理部66、及び記憶・読出処理部69を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD604からRAM603上に展開された共用支援用プログラムに従ったCPU601からの命令によって動作することで実現される機能又は機能する手段である。また、共用支援サーバ6は、図4に示されているHD604等により構築される記憶部6000を有している。
【0065】
(利用者認証管理テーブル)
図6(A)は、利用者認証管理テーブルを示す概念図である。記憶部6000には、図6(A)に示されているような利用者認証管理テーブルによって構成されている利用者認証管理DB6001が構築されている。この利用者認証管理テーブルでは、利用者を識別するための利用者ID、利用者名、利用者が属する組織を識別するための組織ID及びパスワードが関連付けられて管理されている。なお、組織IDには、通信ネットワーク上の複数のコンピュータを管理するためのグループや組織を表すドメイン名も含まれる。
【0066】
(アクセス管理テーブル)
図6(B)は、アクセス管理テーブルを示す概念図である。記憶部6000には、図6(B)に示されているようなアクセス管理テーブルによって構成されているアクセス管理DB6002が構築されている。このアクセス管理テーブルでは、組織ID、スケジュール管理サーバ8へアクセスする際の認証に必要なアクセスID及びアクセスパスワードが関連付けられて管理されている。このアクセスID及びアクセスパスワードは、共用支援サーバ6が、HTTP(Hypertext Transfer Protocol)又はHTTPS(Hypertext Transfer Protocol Secure)のプロトコルを用いて、WebAPI等を介して、スケジュール管理サーバ8によって提供されるサービス(機能)を利用するために必要である。スケジュール管理サーバ8は、複数のスケジューラを管理しており、組織が異なれば使用するスケジューラも異なることがあるため、アクセス管理テーブルで管理が必要である。
【0067】
(予定管理テーブル)
図6(C)は、予定管理テーブルを示す概念図である。記憶部6000には、図6(C)に示されているような予定管理テーブルによって構成されている予定管理DB6003が構築されている。この予定管理テーブルでは、予定イベントID及び実行イベントID毎に、組織ID、予約者の利用者ID、この予約者の参加の有無、予約者名、開始予定時刻、終了予定時刻、イベント名、他の参加者の利用者ID、この他の参加者の参加の有無、他の参加者名及びファイルデータが関連付けられて管理されている。
【0068】
これらのうち、予定イベントIDは、予約されたイベントを識別するための識別情報である。予定イベントIDは、実行予定のイベントを識別するための予定イベント識別情報の一例である。実行イベントIDは、予約されたイベントのうち実際に実行されたイベント又は実行されているイベントを識別するための識別情報である。実行イベントIDは、実行されたイベント又は実行されているイベントを識別するための実行イベント識別情報の一例である。予約者名は、共用体を予約した者の名前であり、共用体が会議室の場合は例えば主催者の名前であり、共用体が車両の場合は例えば運転者の名前である。開始予定時刻は、共用体の利用開始予定時刻を示している。終了予定時刻は、共用体の利用終了予定時刻を示している。イベント名は、予約者が実行予定のイベントの名称を示している。他の参加者の利用者IDは、予約者以外の参加者を識別するための識別情報である。他の参加者名は、予約者以外の参加者の名前であり、共用体も含まれる。つまり、この場合の利用者には、予約者及び他の参加者のほか、共用体も含まれる。ファイルデータは、後述するスケジュール入力画面550(図18参照)を用いて利用者Aによって登録された、予定イベントIDに対応するイベントで用いる資料ファイルのファイルデータである。また、ファイルデータは、各種アプリケーションを用いて作成された所定のファイル形式のデータである。ファイルデータのファイル形式は、例えば、パワーポイントファイル、エクセルファイル等である。
【0069】
(コンテンツ管理テーブル)
図7は、コンテンツ管理テーブルを示す概念図である。記憶部6000には、図7に示されているようなコンテンツ管理テーブルによって構成されているコンテンツ管理DB6005が構築されている。このコンテンツ管理テーブルでは、実行イベントID毎に、コンテンツ処理ID、コンテンツ処理の種類、コンテンツの内容、並びにコンテンツ処理の開始日時及び終了日時が関連付けられて管理されている。ここで、コンテンツは、会議等のイベントで発生した実行イベントの内容、又は当該イベントで用いた資料等である。コンテンツ処理の種類には、録音、スナップショット、音声テキスト変換、アクションアイテムの発生及び資料送付等が含まれる。また、コンテンツ処理IDは、各イベントで発生したコンテンツの処理を識別するための識別情報である。
【0070】
ここで、コンテンツには、イベントの実行内容を示す履歴情報と、実行されたイベントによって生じたアクションアイテムとが含まれている。履歴情報は、録音データ、スナップショット、音声テキスト又は資料等のデータである。スナップショットとは、実行中のイベントのある時点における表示画面を画像データとして取得する処理である。なお、スナップショットは、例えば、キャプチャ又は画像認識とも称される。
【0071】
コンテンツ処理の種類が「録音」である場合、コンテンツの内容は、録音された音データの保存先を示すURLを含む。また、コンテンツ処理の種類が「スナップショット」である場合、コンテンツの内容は、スナップショット(キャプチャ)によって取得された画面の画像データの保存先を示すURLを含む。キャプチャとは、ディスプレイ508に表示されている画像(静止画像、動画像)を、画像データとして保存することである。さらに、コンテンツ処理の種類が「音声テキスト変換」である場合、コンテンツの内容は、受信された音声テキストのテキストデータの保存先を示すURLを含む。
【0072】
ここで、アクションアイテムは、会議等のイベントで発生し、イベントに関連する者が対応すべき行動の内容を示す。コンテンツ処理の種類が「アクションアイテム発生」である場合、コンテンツの内容は、アクションアイテムの実行者の利用者ID、アクションアイテムを完了させる期限日、及びアクションアイテムを示す画像データの保存先を示すURLを含む。
【0073】
(リアクション種類管理テーブル)
図8は、リアクション種類管理テーブルを示す概念図である。記憶部6000には、図8に示されているようなリアクション種類管理テーブルによって構成されているリアクション種類管理DB6006が構築されている。このリアクション種類管理テーブルでは、リアクション登録ID毎に、組織ID、登録者ID、実行イベントID、対象、リアクション種類、及び、ボタン画像が関連付けられて管理されている。ここで、リアクションとは、「いいね」などの利用者が示した反応であり、より詳細には押下されたリアクションボタンである。リアクション登録IDは、リアクションの登録行為に対し付与された識別情報である。対象とは、当該リアクション登録IDのリアクションが適用される範囲である。対象が「組織」である場合、組織IDの組織で実行される全てのイベントにおいてリアクションボタンが表示される。対象が「イベント」である場合、実行イベントIDのイベントで実行されるイベントにおいてのみリアクションボタンが表示される。リアクション種類は、どのようなリアクションかを示し、例えば質問(question)、いいね(good)などがある。ボタン画像は、通信端末2等が表示するリアクションボタンを構成する各ボタンの画像である。リアクション種類はリアクションの識別情報を兼ねることができる。
【0074】
(リアクション押下管理テーブル)
図9は、リアクション押下管理テーブルを示す概念図である。記憶部6000には、図9に示されているようなリアクション押下管理テーブルによって構成されているリアクション押下管理DB6007が構築されている。リアクション押下管理テーブルではリアクションボタンが操作された操作情報が保存される。このリアクション押下管理テーブルでは、リアクション押下ID毎に、コンテンツ処理ID、利用者ID、及び、リアクション種類が関連付けられて管理されている。リアクション押下IDは、リアクションボタンの押下行為に対し付与された識別情報である。コンテンツ処理IDは、リアクションボタンが押下されたコンテンツのコンテンツ処理IDである。利用者IDはリアクションボタンを押下した利用者の識別情報である。リアクション種類は、押下されたリアクションボタンの種類である。
【0075】
(共用支援サーバの各機能構成)
次に、共用支援サーバ6の各機能構成について詳細に説明する。なお、以下では、共用支援サーバ6の各機能構成を説明するにあたって、図4に示されている各構成要素のうち、共用支援サーバ6の各機能構成を実現させるための主な構成要素との関係も説明する。
【0076】
図5に示されている共用支援サーバ6の通信部61は、図4に示されているCPU601からの命令、及び図4に示されているネットワークI/F609によって実現され、通信ネットワークNを介して他の端末、装置又はシステムと各種データ(又は情報)の送受信を行う。
【0077】
認証部62は、図4に示されているCPU601からの命令によって実現され、通信端末から送られて来る情報(利用者ID、組織ID及びパスワード)が、利用者認証管理DB6001に予め登録されている情報であるかを判断することで、認証を行う。
【0078】
作成部63は、図4に示されているCPU601からの命令によって実現され、スケジュール管理サーバ8から送られて来た予約情報及び予定情報に基づいて、後述の図22に示されているような予約リスト画面230等の各種の画面を作成する。
【0079】
生成部64は、図4に示されているCPU601からの命令によって実現され、実行イベントID、コンテンツ処理ID及び保存先のURLを生成する。
【0080】
判断部65は、図4に示されているCPU601からの命令によって実現され、各種判断を行う。この判断については後述する。
【0081】
処理部66は、PC5でリアクションボタンが押下された場合に、リアクションボタンの識別情報、リアクションボタンが押下されたテキストデータ、リアクションボタンを押下した利用者ID、リアクションの種類等を対応付けてリアクション管理テーブルに保存する。また、処理部66は、リアクションの種類が質問である場合、質問ボタンが押下されたテキストデータとその旨の表示をPC5に要求する。
【0082】
記憶・読出処理部69は、図4に示されているCPU601からの命令、及び図4に示されているHDDコントローラ605によって実現され、記憶部6000に各種データを記憶したり、記憶部6000に記憶された各種データを読み出したりする処理を行う。
【0083】
<スケジュール管理サーバの機能構成>
スケジュール管理サーバ8は、通信部81、認証部82、生成部83及び記憶・読出処理部89を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD804からRAM803上に展開されたスケジュール管理用プログラムに従ったCPU801からの命令によって動作することで実現される機能又は機能する手段である。また、スケジュール管理サーバ8は、図4に示されているHD804により構築される記憶部8000を有している。
【0084】
(利用者認証管理テーブル)
図10(A)は、利用者認証管理テーブルを示す概念図である。記憶部8000には、図10(A)に示されているような利用者認証管理テーブルによって構成されている利用者認証管理DB8001が構築されている。この利用者認証管理テーブルでは、利用者を識別するための利用者IDに、利用者が属する組織を識別するための組織ID及びパスワードが関連付けられて管理されている。
【0085】
(利用者管理テーブル)
図10(B)は、利用者管理テーブルを示す概念図である。記憶部8000には、図10(B)に示されているような利用者管理テーブルによって構成されている利用者管理DB8002が構築されている。この利用者管理テーブルでは、組織ID毎に、利用者ID及び利用者IDで示される利用者の名称(利用者名)が関連付けられて管理されている。
【0086】
(共用体管理テーブル)
図10(C)は、共用体管理テーブルを示す概念図である。記憶部8000には、図10(C)に示されているような共用体管理テーブルによって構成されている共用体管理DB8003が構築されている。この共用体管理テーブルでは、組織ID毎に、共用体を識別するための共用体ID及び共用体の名称(共用体名)が関連付けられて管理されている。
【0087】
(共用体予約管理テーブル)
図11(A)は、共用体予約管理テーブルを示す概念図である。記憶部8000には、図11(A)に示されているような共用体予約管理テーブルによって構成されている共用体予約管理DB8004が構築されている。この共用体予約管理テーブルでは、各情報が関連付けられた状態の予約情報が管理されている。予約情報には、組織ID毎に、共用体ID、共用体名、予約者の利用者ID、利用開始予定日時、利用終了予定日時及びイベント名が含まれている。これらのうち、利用開始予定日時は、共用体の利用開始予定日時を示している。利用終了予定日時は、共用体の利用終了予定日時を示している。各日時は、年・月・日・時・分・秒・タイムゾーンを示しているが、図11(A)では紙面の関係上、年・月・日・時・分まで表している。
【0088】
(イベント管理テーブル)
図11(B)は、イベント管理テーブルを示す概念図である。記憶部8000には、図11(B)に示されているようなイベント管理テーブルによって構成されているイベント管理DB8005が構築されている。このイベント管理テーブルでは、各情報が関連付けられた状態の予定情報が管理されている。予定情報には、予定イベントID毎に、組織ID、利用者ID、利用者名、イベント開始予定日時、イベント終了予定日時及びイベント名が関連付けられて管理されている。これらのうち、イベント開始予定日時は、イベントを実行する場合の開始予定日時を示している。イベント終了予定日時は、イベントの実行する場合の終了予定日時を示している。各日時は、年・月・日・時・分・秒・タイムゾーンを示しているが、図11(B)では紙面の関係上、年・月・日・時・分まで表している。また、イベント管理テーブルでは、予定イベントIDに関連付けて、予定情報に示されるイベントで使用される資料ファイルのファイルデータが管理されている。
【0089】
(サーバ認証管理テーブル)
図12(A)は、サーバ認証管理テーブルを示す概念図である。記憶部8000には、図12(A)に示されているようなサーバ認証管理テーブルによって構成されているサーバ認証管理DB8006が構築されている。このサーバ認証管理テーブルでは、アクセスID及びアクセスパスワードが関連付けられて管理されている。アクセスID及びアクセスパスワードは、共用支援サーバ6のアクセス管理DB6002で管理されているアクセスID及びアクセスパスワードと同じ概念である。
【0090】
(実行イベント履歴管理テーブル)
図12(B)は、実行イベント履歴管理テーブルを示す概念図である。記憶部8000には、図12(B)に示されているような実行イベント履歴管理テーブルによって構成されている実行イベント履歴管理DB8008が構築されている。この実行イベント履歴管理テーブルでは、実行イベントID毎に、コンテンツ処理ID、コンテンツ処理の種類、コンテンツの内容、並びにコンテンツ処理の開始日時及び終了日時が関連付けられて管理されている。この実行イベント履歴管理DB8008は、コンテンツ管理DB6005と一部同じデータを管理している。同じデータは、実行イベントID、コンテンツ処理ID、コンテンツ処理の種類、コンテンツ処理の開始日時及び終了日時である。コンテンツの内容は、コンテンツデータの保存先の表記方法(http://又はc://)が異なるのみで、保存先は同じである。
【0091】
(実行イベント管理テーブル)
図13(A)は、実行イベント管理テーブルを示す概念図である。記憶部8000には、図13(A)に示されているような実行イベント管理テーブルによって構成されている実行イベント管理DB8009が構築されている。この実行イベント管理テーブルでは、実行イベントIDに、イベント名、イベントの開始日時及び終了日時が関連付けられて管理されている。この実行イベント管理DB8009は、イベント管理DB8005において管理されている予定情報のうち、実際に実行されたイベントに関する情報を管理している。
【0092】
(関連情報管理テーブル)
図13(B)は、関連情報管理テーブルを示す概念図である。記憶部8000には、図13(B)に示されているような関連情報管理テーブルによって構成されている関連情報管理DB8010が構築されている。この関連情報管理テーブルでは、実行イベントID毎に、各情報(データ)が関連付けられた状態の関連情報が管理されている。関連情報には、コンテンツの発生時間帯、音データ、音声テキストデータ及び画面データが関連付けられて管理されている。コンテンツの発生時間帯は、実行されたイベントにおいてコンテンツが発生した時点における、イベントの開始日時からの経過時間を示す。ここで、コンテンツの発生時間帯は、イベント管理DB8005に記憶されたイベントの開始日時、及び実行イベント履歴管理DB8008に記憶されたコンテンツ処理の開始日時及び終了日時に基づいて、生成部83によって生成される。コンテンツの発生時間帯は、時間情報の一例である。また、音データには、コンテンツ処理ID及びコンテンツの種類が含まれる。音声テキストデータ及び画面データには、コンテンツ処理ID、コンテンツの種類及びシーケンスNoが含まれる。シーケンスNoは、音声テキストデータ及び画面データのそれぞれにコンテンツ処理が発生した発生時間順を示す。
【0093】
(テキスト情報管理テーブル)
図14は、テキスト情報管理テーブルを示す概念図である。記憶部8000には、図14に示されているようなテキスト情報管理テーブルによって構成されているテキスト情報管理DB8012が構築されている。このテキスト情報管理テーブルでは、実行イベントID毎に、実行されたイベントにおいて生成された音声テキストデータを含むテキスト情報が管理されている。このテキスト情報には、コンテンツ処理ID、テキストデータを識別するためのテキストID、及び、テキストデータの内容を示すtranscript、が関連付けられている。このうち、コンテンツ処理IDは、コンテンツ処理の種類が「音声テキスト変換」であるコンテンツ処理を識別するものである。また、transcript(テキストデータ)は、テキスト情報として関連付けられたコンテンツ処理IDと同様のコンテンツ処理IDに、実行イベント履歴管理DB8008において関連付けられたコンテンツの内容を示すテキストデータである。
【0094】
(スケジュール管理サーバの各機能構成)
次に、スケジュール管理サーバ8の各機能構成について詳細に説明する。なお、以下では、スケジュール管理サーバ8の各機能構成を説明するにあたって、図4に示されている各構成要素のうち、スケジュール管理サーバ8の各機能構成を実現させるための主な構成要素との関係も説明する。
【0095】
図5に示されているスケジュール管理サーバ8の通信部81は、図4に示されているCPU801からの命令、及び図4に示されているネットワークI/F809によって実現され、通信ネットワークNを介して他の端末、装置、又はシステムと各種データ(又は情報)の送受信を行う。
【0096】
認証部82は、図4に示されているCPU801からの命令によって実現され、共用体から送られて来る情報(利用者ID、組織ID及びパスワード)が、利用者認証管理DB8001に予め登録されている情報であるかを判断することで、認証を行う。また、認証部82は、共用支援サーバ6から送られて来る情報(アクセスID及びアクセスパスワード)が、サーバ認証管理DB8006に予め登録されている情報であるかを判断することで、認証を行う。
【0097】
生成部83は、図4に示されているCPU801からの命令によって実現され、関連情報管理DB8010に登録される関連情報を生成する機能である。
【0098】
記憶・読出処理部89は、図4に示されているCPU801からの命令、及び図4に示されているHDDコントローラ805によって実現され、記憶部8000に各種データを記憶したり、記憶部8000に記憶された各種データを読み出したりする処理を行う。記憶・読出処理部89は、記憶制御手段の一例である。
【0099】
<音声テキスト変換サーバの機能構成>
音声テキスト変換サーバ9は、通信部91、変換部93、及び記憶・読出処理部99を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD904からRAM903上に展開されたプログラムに従ったCPU901からの命令によって動作することで実現される機能又は機能する手段である。また、音声テキスト変換サーバ9は、図4に示されているHD904により構築される記憶部9000を有している。
【0100】
<音声テキスト変換サーバの各機能構成>
次に、音声テキスト変換サーバ9の各機能構成について詳細に説明する。なお、以下では、音声テキスト変換サーバ9の各機能構成を説明するにあたって、図4に示されている各構成要素のうち、音声テキスト変換サーバ9の各機能構成を実現させるための主な構成要素との関係も説明する。
【0101】
図5に示されている音声テキスト変換サーバ9の通信部91は、図4に示されているCPU901からの命令、及び図4に示されているネットワークI/F909によって実現され、通信ネットワークNを介して他の端末、装置、又はシステムと各種データ(又は情報)の送受信を行う。
【0102】
変換部93は、図4に示されているCPU901からの命令によって実現され、通信部91により通信ネットワークNを介して受信された音データを、テキストデータに変換する。
【0103】
記憶・読出処理部99は、図4に示されているCPU901からの命令、及び図4に示されているHDDコントローラ905によって実現され、記憶部9000に各種データを記憶したり、記憶部9000に記憶された各種データを読み出したりする処理を行う。
【0104】
なお、上記各IDは、識別情報の一例である。また、組織IDには、社名、事業所名、部署名、地域名等が含まれる。利用者IDには、社員番号、運転免許書番号、日本の社会保障・税番号制度におけるマイナンバー等が含まれる。
【0105】
<表示端末の各機能構成>
次に、表示端末10の各構成要素について説明する。表示端末10は、通信部11,受付部12、表示制御部13、及び、記憶・読出処理部19を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD504からRAM503上に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能、又は機能する手段である。また、表示端末10は、図4に示されているRAM503、HD504によって構築される記憶部1000を有している。
【0106】
通信部11は、図4に示されているCPU501からの命令、並びにネットワークI/F509によって実現され、通信ネットワークNを介して他の端末、装置又はシステムと各種データ(又は情報)の送受信を行う。
【0107】
受付部12は、主に、図4に示されているCPU501からの命令、キーボード511、マウス512及びタッチパネル付きのディスプレイ508によって実現され、利用者による各種入力を受け付ける。
【0108】
表示制御部13は、図4に示されているCPU501からの命令によって実現され、ディスプレイ508に描画像を表示させたり、Webブラウザを用いて共用支援サーバ6にアクセスして各種画面データを表示させたりする。
【0109】
記憶・読出処理部19は、図4に示されているCPU501からの命令及びHD504によって実行され、記憶部1000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出したりする処理を行う。さらに、記憶部1000には、他の通信端末やビデオ会議端末との通信を行う際に受信される画像データ及び音データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ508に画像が表示され、上書きされる前の音データによってスピーカ515から音声が出力される。
【0110】
なお、表示端末10は通信端末2と同様の機能を有していてよいが、図5では説明の便宜上、主要な機能のみ示した。
【0111】
<実施形態の処理又は動作>
以降、各実施形態の処理又は動作について説明する。
【0112】
<スケジュールの登録処理>
ここでは、図15乃至図18を用いて、予約者A(理光太郎)がPC5からスケジュール管理サーバ8に自己のスケジュールを登録する処理について説明する。図15は、スケジュールの登録処理を示したシーケンス図である。図16は、サインイン画面を示した図である。図17は、PCの初期画面の例である。図18は、スケジュール入力画面を示し まず、利用者AがPC5のキーボード511等を操作することで、PC5の表示制御部54が、図16に示されているように、ディスプレイ508上にサインインを行うためのサインイン画面530を表示させる(ステップS11)。このサインイン画面530には、利用者の利用者ID及び組織IDを入力する入力欄531、及びパスワードを入力する入力欄532、サインインを行う場合に押下されるサインインボタン538、サインインを中止する場合に押下されるキャンセルボタン539が含まれている。ここでは、利用者ID及び組織IDが、利用者Aの電子メールアドレスになっている。電子メールアドレスのユーザ名部分が利用者IDで、ドメイン名部分が組織IDを示している。なお、入力欄531は、電子メールアドレスではなく、利用者ID及び組織IDを別々に入力する入力欄であってもよい。
【0113】
次に、利用者Aが、入力欄531に自己の利用者ID及び組織IDを入力し、入力欄532に自己のパスワードを入力し、サインインボタン538を押下すると、受付部52が、サインインの要求を受け付ける(ステップS12)。そして、PC5の通信部51は、スケジュール管理サーバ8に対して、サインインの要求を示すサインイン要求情報を送信する(ステップS13)。このサインイン要求情報には、ステップS12によって受け付けられた情報(利用者ID、組織ID、及びパスワード)が含まれている。これにより、スケジュール管理サーバ8の通信部81は、サインイン要求情報を受信する。
【0114】
次に、スケジュール管理サーバ8の認証部82は、利用者ID、組織ID、及びパスワードを利用して利用者Aの認証を行う(ステップS14)。具体的には、記憶・読出処理部89は、利用者認証管理DB8001(図10(A)参照)において、ステップS13によって受信された利用者ID、組織ID、及びパスワードの組に対応する利用者ID、組織ID及びパスワードの組を検索する。対応する組がある場合には、認証部82は、要求元の利用者Aを正当な利用者であると判断する。対応する組がない場合には、認証部82は、利用者Aを不当な(正当でない)利用者であると判断する。正当でない場合には、通信部81がPC5に対して、正当でない旨の通知を行うが、ここでは、正当である場合について説明を続ける。
【0115】
次に、通信部81は、PC5に対して、認証結果を送信する(ステップS15)。これにより、PC5の通信部51は、認証結果を受信する。
【0116】
次に、PC5の生成部56は、ステップ15によって正当である旨の認証結果が受信された場合、図17に示されているような初期画面540を生成する(ステップS16)。そして、PC5の表示制御部54は、ディスプレイ508上に、図17に示されているような初期画面540を表示させる(ステップS17)。この初期画面540には、スケジュールを登録する場合に押下される「スケジュール登録」ボタン541、及び実行イベント履歴を閲覧する場合に押下される「実行イベント履歴閲覧」ボタン543が含まれている。ここで、利用者が「スケジュール登録」ボタン541を押下すると、受付部52は、スケジュール登録を受け付ける(ステップS18)。そして、通信部51は、スケジュール管理サーバ8に対して、スケジュール登録要求を送信する(ステップS19)。これにより、スケジュール管理サーバ8の通信部81は、スケジュール登録要求を受信する。
【0117】
次に、スケジュール管理サーバ8の記憶・読出処理部89は、ステップS13によって受信された組織IDを検索キーとして利用者管理DB8002(図10(B)参照)を検索することにより、対応する全ての利用者ID及び全ての利用者名を読み出す(ステップS20)。そして、通信部81は、PC5に対して、スケジュール入力画面情報を送信する(ステップS21)。このスケジュール入力画面情報には、ステップS20によって読み出された全ての利用者ID及び全ての利用者名が含まれている。全ての利用者名には、ステップS12でサインインのための入力を行った利用者Aである予約者の名称(名前)も含まれている。これにより、PC5の通信部51は、スケジュール入力画面情報を受信する。
【0118】
次に、PC5では、生成部56がステップS21によって受信されたスケジュール入力画面情報を用いて、スケジュール入力画面550を生成する(ステップS22)。そして、PC5の表示制御部24は、ディスプレイ508上に、図18に示されているようなスケジュール入力画面550を表示させる(ステップS23)。
【0119】
このスケジュール入力画面550には、イベント名を入力するための入力欄551、共用体ID又は共用体名を入力するための入力欄552、イベントの実行(共用体の利用)開始予定日時を入力するための入力欄553、イベントの実行(共用体の利用)終了予定日時を入力するための入力欄554、アジェンダ等のメモを入力するための入力欄555、予約者名を表示するための表示領域556、予約者以外の他の参加者の参加者名を選択するための選択メニュー557、予約を登録する場合に押下される「OK」ボタン558、入力中又は入力された内容をキャンセルする場合に押下される「CANCEL」ボタン559が含まれている。予約者名は、ステップS12でPC5にサインインのための入力を行った利用者の名称である。また、マウスポインタp1も表示されている。
【0120】
なお、入力欄552には、電子メールアドレスが入力されてもよい。また、選択メニュー557で、共用体名が選択されると、共用体も他の参加者として追加される。
【0121】
次に、利用者Aが、入力欄551~555に所定の事項を入力し、マウスポインタp1を利用して選択メニュー557からイベントに参加させたい利用者の名称(利用者名)を選択し、「OK」ボタン558を押下すると、受付部52は、スケジュール情報の入力を受け付ける(ステップS24)。そして、通信部51は、スケジュール管理サーバ8に対して、スケジュール情報を送信する(ステップS25)。このスケジュール情報には、イベント名、共用体ID(又は共用体名)、開始予定日時、終了予定日時、各参加者の利用者ID、及びメモが含まれている。なお、スケジュール入力画面550において、入力欄552に共用体IDが入力された場合には、この共用体IDが送信され、入力欄552に共用体名が入力された場合には、この共用体名が送信される。また、スケジュール入力画面550では、選択メニュー557で利用者名が選択されるが、ステップS21で利用者IDも受信されているため、利用者名に対応する利用者IDが送信される。これにより、スケジュール管理サーバ8の通信部81は、スケジュール情報を受信する。
【0122】
次に、スケジュール管理サーバ8は、ステップS25によって受信された共用体ID(又は共用体名)を検索キーとして共用体管理DB8003(図10(C)参照)を検索することにより、対応する共用体名(又は共用体ID)を読み出す(ステップS26)。
【0123】
次に、記憶・読出処理部89は、共用体予約管理DB8004(図11(A)参照)に対して、予約情報を記憶する(ステップS27)。この場合、記憶・読出処理部89は、予め登録しているスケジューラで管理されている共用体予約管理DB8004の共用体予約管理テーブルに1レコード分の予約情報を追加する。予約情報は、ステップS25によって受信されたスケジュール情報、及びステップS26によって読み出された共用体名(又は共用体ID)に基づいて構成されている。なお、共用体予約管理DB8004における利用開始予定日時は、スケジュール情報における開始予定日時に相当する。また、共用体予約管理DB8004における利用終了予定日時は、スケジュール情報における終了予定日時に相当する。
【0124】
さらに、記憶・読出処理部89は、イベント管理DB8005(図11(B)参照)に対して、予定情報を記憶する(ステップS28)。この場合、記憶・読出処理部89は、予め登録しているスケジューラで管理されているイベント管理DB8005のイベント管理テーブルに1レコード分の予定情報を追加する。予定情報は、ステップS25によって受信されたスケジュール情報に基づいて構成されている。なお、イベント管理DB8005におけるイベント開始予定日時は、スケジュール情報における開始予定日時に相当する。また、イベント管理DB8005におけるイベント終了予定日時は、スケジュール情報における終了予定日時に相当する。
【0125】
以上により、利用者Aは、スケジュール管理サーバ8に自己のスケジュールを登録することができる。なお、図15乃至図18では、PC5によってスケジュール登録を行う場合について説明したが、同様の処理によって、通信端末2、ビデオ会議端末3又はカーナビゲーション装置4を操作する利用者がスケジュール登録を行ってもよい。
【0126】
<イベント開始処理>
ここでは、図19乃至図27を用いて、予約者A(理光太郎)が予約しておいた会議室Xで、通信端末2を利用して他の参加者と会議をする処理について説明する。図19及び図22は、イベントの開始処理を示したシーケンス図である。図20は、通信端末に表示されるサインイン画面を示した図である。図21は、共用体の予約リスト画面を示した図である。図23は、イベントの詳細情報画面を示した図である。図24は、サインイン後に通信端末に表示される表示画面を示した図である。
【0127】
まず、利用者Aが通信端末2の電源スイッチ222を押下することで、通信端末2の受付部22が、利用者から電源ON(又はアプリの起動)を受け付ける(ステップS31)。そして、通信端末2の表示制御部24は、図20に示されているように、ディスプレイ508上にサインインを行うためのサインイン画面110を表示させる(ステップS32)。このサインイン画面110には、利用者Aが自己のICカードを用いてサインインを行う場合に押下される選択アイコン111、利用者Aが自己の電子メールアドレス(利用者ID及び組織ID)並びにパスワードを入力することによってサインインを行う場合に押下される選択アイコン113、及びサインインを行わずに電源OFFする場合に押下される電源アイコン115(又はアプリの終了ボタン)が含まれている。
【0128】
次に、利用者Aが、利用者Aが、選択アイコン113を押下して、利用者Aによる自己の電子メールアドレス及びパスワードを入力が行うことで、受付部22が、サインインの要求を受け付ける(ステップS33)。そして、通信部21は、共用支援サーバ6に対して、サインイン要求を示すサインイン要求情報を送信する(ステップS34)。このサインイン要求情報には、ステップS33によって受け付けられた情報(利用者ID、組織ID及びパスワード)、通信端末2が設置されている国もしくは地域のタイムゾーン情報、並びに通信端末2の利用者ID、組織ID及びパスワードが含まれている。これにより、共用支援サーバ6の通信部61は、サインイン要求情報を受信する。
【0129】
次に、共用支援サーバ6の認証部62は、ステップS34によって受信された利用者Aの利用者ID、組織ID及びパスワードを利用して利用者Aの認証を行う(ステップS35)。具体的には、記憶・読出処理部69は、ステップS34によって受信された利用者Aの利用者ID、組織ID及びパスワードを検索キーとして、利用者認証管理DB6001(図6(A)参照)において、上記受信された利用者Aの利用者ID、組織ID及びパスワードの組に対応する利用者ID、組織ID及びパスワードの組を検索する。対応する組がある場合、認証部62は、要求元の利用者Aを正当な利用者であると判断する。対応する組がない場合、認証部62は、要求元の利用者Aを不当な(正当でない)利用者であると判断する。正当でない場合には、通信部61が通信端末2に対して、正当でない旨の通知を行うが、ここでは、正当である場合について説明を続ける。
【0130】
次に、共用支援サーバ6の記憶・読出処理部69は、ステップS34によって受信された利用者Aの組織IDを検索キーとしてアクセス管理DB6002(図6(B)参照)を検索することにより、対応するアクセスID及びアクセスパスワードを読み出す(ステップS36)。
【0131】
次に、通信部61は、スケジュール管理サーバ8に対して、共用体の予約情報の要求を示す予約要求情報及び利用者の予定情報の要求を示す予定要求情報を送信する(ステップS37)。予約要求情報及び予定要求情報には、ステップS34によって受信された、タイムゾーン情報、通信端末の利用者ID及び組織ID、並びにステップS36によって読み出された、アクセスID及びパスワードが含まれている。これにより、スケジュール管理サーバ8の通信部81は、予約要求情報及び予定要求情報を受信する。
【0132】
次に、スケジュール管理サーバ8の認証部82は、アクセスID及びアクセスパスワードを利用して共用支援サーバ6の認証を行う(ステップS38)。具体的には、記憶・読出処理部89は、サーバ認証管理DB8006(図12(A)参照)において、ステップS37によって受信されたアクセスID及びアクセスパスワードの組に対応するアクセスID及びアクセスパスワードの組を検索する。対応する組がある場合、認証部82は、要求元の共用支援サーバ6を正当なアクセス者であると判断する。対応する組がない場合、認証部82は、要求元の共用支援サーバ6を不当な(正当でない)アクセス者であると判断する。正当でない場合には、通信部81が共用支援サーバ6に対して、正当でない旨の通知を行うが、ここでは、正当である場合について説明を続ける。
【0133】
スケジュール管理サーバ8の記憶・読出処理部89は、ステップS37によって受信された通信端末の利用者IDを検索キーとして、スケジューラで管理している共用体予約管理DB8004(図11(A)参照)を検索することにより、対応する予約情報を読み出す(ステップS39)。この場合、記憶・読出処理部89は、利用開始予定日時が本日である予約情報を読み出す。
【0134】
さらに、記憶・読出処理部89は、ステップS37によって受信された通信端末の利用者IDを検索キーとして、スケジューラで管理しているイベント管理DB8005(図11(B)参照)を検索することにより、対応する予定情報を読み出す(ステップS40)。この場合、記憶・読出処理部89は、イベント開始予定日時が本日である予定情報を読み出す。スケジュール管理サーバ8が、通信端末2とは別の国や地域にあった場合には、タイムゾーン情報に基づいて、タイムゾーンを通信端末が設置されている国や地域に併せて調整している。
【0135】
次に、通信部81は、共用支援サーバ6に対して、ステップS39によって読み出された予約情報、及びステップS40によって読み出された予定情報を送信する(ステップS41)。これにより、共用支援サーバ6の通信部61は、予約情報及び予定情報を受信する。
【0136】
次に、共用支援サーバ6の作成部63は、ステップS41によって受信された予約情報及び予定情報に基づいて、予約リストを作成する(ステップS42)。そして、通信部61は、通信端末2に対して、予約リストの内容を示す予約リスト情報を送信する(ステップS43)。これにより、通信端末2の通信部21は、予約リスト情報を受信する。
【0137】
次に、通信端末2では、表示制御部24が、ディスプレイ508上に、図21に示されているような予約リスト画面230を表示させる(ステップS44)。この予約リスト画面230には、共用体名(ここでは場所名)を表示する表示領域231、及び本日の日時を表示する表示領域232が含まれている。さらに、予約リスト画面230には、本日の本共用体(ここでは、会議室X)を利用するイベントを示すイベント情報235,236,237等が表示されている。各イベント情報には、イベント毎に、本共用体の利用開始予定時刻及び利用終了予定時刻、イベント名、本共用体を予約した予約者の名称(予約者名)が含まれている。イベント情報には、利用者が開始するイベントを特定する場合に押下される開始ボタン235s,236s,237s等が含まれている。
【0138】
次に、図22において、利用者Aが、開始ボタン235sを押下すると、受付部22が、イベント情報235で示されるイベントの選択を受け付ける(ステップS51)。次に、通信端末2の通信部21は、共用支援サーバ6に対して、上記ステップS51で選択された予定イベントを示す予定イベントIDを送信する(ステップS52)。ステップS52の処理は、実行イベント識別情報の送信要求処理である。これにより、共用支援サーバ6の通信部61は、選択された予定イベントIDを受信する。
【0139】
次に、共用支援サーバ6では、生成部64が、固有の実行イベントIDを生成する(ステップS53)。そして、記憶・読出処理部69が、ステップS53によって生成された実行イベントID、ステップS52によって受信された予約イベントID、予約者の利用者ID及び組織ID、並びにイベント情報を関連付けて管理する(ステップS54)。
【0140】
なお、予約者の利用者ID及び組織ID、並びにイベント情報は、ステップS41によって受信された予約情報及び予定情報に基づくID及び情報である。なお、この時点では、予約管理テーブル(図6(C)参照)における参加有無欄への入力はない。
【0141】
次に、共用支援サーバ6では、通信部61が、スケジュール管理サーバ8に登録されたファイルデータの送信要求を示すファイルデータ送信要求情報を、スケジュール管理サーバ8へ送信する(ステップS55)。ファイルデータ送信要求情報には、ステップS52によって受信された予定イベントID、ステップS34によって受信された通信端末の利用者ID及び組織ID、並びにステップS36によって読み出されたアクセスID及びアクセスパスワードが含まれている。これにより、スケジュール管理サーバ8の通信部81は、ファイルデータ送信要求情報を受信する。
【0142】
次に、スケジュール管理サーバ8の記憶・読出処理部89は、ステップS55によって受信された予定イベントIDを検索キーとしてイベント管理DB8005(図11(B)参照)を検索することにより、予定イベントIDに関連付けられたファイルデータを読み出す(ステップS56)。そして、通信部81は、ステップS56によって読み出されたファイルデータを、共用支援サーバ6へ送信する(ステップS57)。これにより、共用支援サーバ6の通信部61は、ファイルデータを受信する。
【0143】
次に、共用支援サーバ6の記憶・読出処理部69は、ステップS52によって受信された予定イベントID、及びステップS53によって生成された実行イベントIDに関連付けて、ステップS57によって受信されたファイルデータを、予定管理DB6003(図6(C)参照)に記憶して管理する(ステップS58)。
【0144】
そして、通信部61は、通信端末2に対して、ステップS53によって生成された実行イベントID、及びステップS57によって受信されたファイルデータを送信する(ステップS59)。これにより、通信端末2の通信部21は、実行イベントID及びファイルデータを受信する。
【0145】
次に、通信端末2では、記憶・読出処理部29が、記憶部2000に、実行イベントID及びファイルデータを記憶しておく(ステップS60)。ここで、共用支援サーバ6から送信されたファイルデータは、記憶部2000の特定の記憶領域に記憶される。これにより、通信端末2は、イベントの実行中に、特定の記憶領域にアクセスすることによって、表示制御部24が特定の記憶領域に記憶されたファイルデータをディスプレイ508に表示させる。ここで、特定の記憶領域は、実行中のイベント毎に設けられたデータの一時的な記憶先であり、記憶部2000内での所在を示す任意のパス(文字列)によって特定される記憶領域である。なお、特定の記憶領域は、通信端末2の内部に設けられる構成に限られず、通信端末2に接続される外部記憶装置、又はオンプレミス環境に存在し、通信端末2と通信可能なローカルサーバ等に設けられる構成であってもよい。
【0146】
次に、表示制御部24は、ディスプレイ508上に、図23に示されているように、選択されたイベントの詳細情報画面250を表示させる(ステップS61)。このイベントの詳細情報画面250には、イベント名の表示領域251、イベントの実施予定時間(開始予定時間及び終了予定時間)の表示領域252、及び予約者名の表示領域253が含まれている。さらに、イベントの詳細情報画面250には、メモの内容を表示するための表示領域256、参加予定者名を表示するための表示領域257、及び記憶部2000の特定の記憶領域に記憶されたファイルデータを識別するための識別情報(例えば、ファイル名)を表示するための表示領域258が表示されている。表示領域257には、図18によって示されている予約者名及び選択された他の参加者名が表示されると共に、各参加予定者名には実際に会議に参加している人をチェックするためのチェックボックスが表示されている。また、表示領域258には、記憶部2000の特定の記憶領域に記憶されたファイルデータ、すなわち共用支援サーバ6からダウンロードされたファイルデータのファイル名が表示されていると共に、共用支援サーバ6からダウンロード中のファイルデータのファイル名も表示されている。さらに、イベントの詳細情報画面250の右下側には、この詳細情報画面250を閉じる場合に押下される「閉じる」ボタン259が含まれている。
【0147】
次に、利用者が、参加予定者名のうち、実際に参加している利用者のチェックボックスにチェックして、「閉じる」ボタン259を押下すると、受付部22は、参加者の選択を受け付ける(ステップS62)。そして、通信部21は、共用支援サーバ6に対して、各参加予定者の利用者ID及び参加の有無を示す情報を送信する(ステップS63)。これにより、共用支援サーバ6の通信部61は、各参加予定者の利用者ID及び参加の有無を示す情報を受信する。
【0148】
次に、共用支援サーバ6は、予定管理DB6003において、入力されていなかった参加有無欄に、参加の有無を記憶して管理する(ステップS64)。
【0149】
以上により、利用者Aは、共用体(ここでは、会議室X)及び通信端末2を利用して、イベント(ここでは、方針決定会議)を開始する。通信端末2の表示制御部24は、イベントが開始されると、ディスプレイ508に、図24に示されているような表示画面100aを表示させる。
【0150】
図24は、イベント開始時に通信端末に表示される表示画面を示した図である。図24に示す表示画面100aには、メニューバー121、イベント開始からの経過時間又はイベント終了までの残り時間を示す時間情報124、並びに通信端末2の電源をOFFする場合に押下される電源アイコン117が含まれている。このメニューバー121には、イベント実行中の各種処理を行う際に選択(押下)される複数の操作アイコン125(125a~125j)を含まれている。操作アイコン125aは、実行中のイベントの詳細情報を閲覧するために選択(押下)される。操作アイコン125bは、各種外部アプリ103を起動させる際に選択(押下)される。操作アイコン125cは、記憶部2000の特定の記憶領域に記憶されたファイルデータを閲覧する際に選択(押下)される。操作アイコン125dは、起動中の外部アプリ103のアプリ表示画面の表示を切り替える際に選択(押下)される。操作アイコン125eは、外部アプリ103のアプリ表示画面の画面サイズを変更する際に選択(押下)される。操作アイコン125fは、実行されているイベントに関する各種操作を行う際に選択(押下)される。操作アイコン125gは、ディスプレイ508に表示されている表示画面100をキャプチャする際に選択(押下)される。操作アイコン125hは、実行中のイベントを終了する際に選択(押下)される。操作アイコン125iは、ブラウザを用いた検索を行うためにブラウザアプリ103cを起動させる際に選択(押下)される。操作アイコン125jは、文字又は数値等の入力を行う際に選択(押下)される。
【0151】
ここで、通信端末2に表示される表示画面に含まれる各種アイコンは、「受付領域」の一例である。受付領域は、アイコンやボタン等の画像だけでなく、「変更」等の文字、又は画像と文字を組み合わせたものであってもよい。ここでの画像は、記号や図形だけでなく、イラストや模様等の利用者が視認可能な画像であればよい。また、各種アイコンの選択(押下)は、各種アイコンに対する操作の一例である。各種アイコンに対する操作には、例えば、キーボード511やマウス512を用いたディスプレイ508への入力操作が挙げられる。
【0152】
そして、利用者Aは、会議室Xで、通信端末2を利用して会議を行うことができる。例えば、通信端末2の利用者Aは、操作アイコン125cを押下することで、受付部22が操作アイコン125cの選択を受け付け、表示制御部24が記憶部2000の特定の記憶領域に記憶された資料ファイルのファイルデータを表示させる。なお、通信端末2の表示制御部24は、ステップS59によって受信されたファイルデータだけでなく、記憶部2000に予め記憶されたファイルデータ、又は開始されているイベントにおいて新たに生成されるファイルデータを表示させてもよい。この場合、通信端末2の記憶・読出処理部29は、開始されているイベントにおいて生成又は更新されたファイルデータを、記憶部2000の特定の記憶領域に記憶させる。
【0153】
<実行イベント履歴の登録処理>
続いて、図25乃至図27を用いて、実行イベント履歴の登録処理について説明する。図25は、実行イベント履歴の登録処理を示したシーケンス図である。図26は、音声テキスト変換処理を示したフローチャートである。
【0154】
まず、通信端末2の判断部25は、開始されているイベントにおけるコンテンツの処理の種類を判断する(ステップS71)。具体的には、コンテンツが画像・音処理部23による録音によって生じる音データの場合には、判断部25は、コンテンツの処理の種類が「録音」であると判断する。コンテンツが画像・音処理部23によるスナップショット(キャプチャ)によって取得された画像データの場合には、判断部25は、コンテンツの処理の種類が「スナップショット」であると判断する。コンテンツが通信部21によって送信された資料ファイルデータの場合には、判断部25は、コンテンツの処理の種類が「資料送信」であると判断する。
【0155】
次に、通信部21は、共用支援サーバ6へ、発生したコンテンツの登録要求を示す登録要求情報を送信する(ステップS72)。この場合、通信部21は、コンテンツが発生するたびに自動的に登録要求情報を送信する。この登録要求情報には、実行イベントID、コンテンツの送信元の利用者ID、コンテンツデータ、及びコンテンツ処理の種類情報が含まれている。これにより、共用支援サーバ6の通信部61は、登録要求情報を受信する。
【0156】
次に、共用支援サーバ6の判断部65は、通信部61によって受信された登録要求情報に含まれる種類情報に基づいて、受信されたコンテンツ処理の種類を判断する(ステップS73)。そして、共用支援サーバ6の通信部61は、判断部65によってコンテンツ処理の種類が「録音」であると判断された場合、音声テキスト変換サーバ9へ、コンテンツデータである音データを送信する(ステップS74)。これにより、音声テキスト変換サーバ9の通信部91は、音データを受信する。なお、コンテンツ処理の種類が「録音」以外である場合、共用支援サーバ6は、ステップS74~ステップS76の処理は行わずに、ステップS77の処理へ移行する。
【0157】
次に、音声テキスト変換サーバ9の変換部93は、通信部91によって受信された音データを、テキストデータに変換する(ステップS75)。ここで、図26を用いて、音声テキスト変換サーバ9における音声テキスト変換処理について説明する。まず、変換部93は、通信部91によって音データが受信された日時を示す情報を取得する(ステップS75-1)。なお、ステップS75-1によって取得される情報は、共用支援サーバ6が音データを受信した日時又は共用支援サーバ6が音データを送信した日時を示す情報であってもよい。この場合、音声テキスト変換サーバ9の通信部91は、ステップS74において、共用支援サーバ6から送信された音データ及び上記日時を示す情報を受信する。
【0158】
次に、変換部93は、通信部91によって受信された音データのテキスト変換処理を実行する(ステップS75-2)。そして、変換部93は、音データのテキスト変換処理が完了した場合(ステップS75-3のYES)、処理をステップS75-4へ移行させる。一方で、変換部93は、音データのテキスト変換処理が完了するまでステップS75-2の処理を繰り返す。ここで、ステップS75-3において、変換部93は、通信部91によって受信された音データに基づいて、所定の分量のテキスト変換が行われた場合、音データのテキスト変換処理が完了したと判断する。例えば、変換部93は、1センテンス分のテキスト変換が行われた場合、音データのテキスト変換処理が完了したと判断する。そして、変換部93は、音データから変換されたテキストデータを生成する(ステップS75-4)。これにより、音声テキスト変換サーバ9は、共用支援サーバ6から送信された音データをテキストデータに変換する。音声テキスト変換サーバ9は、共用支援サーバ6から送信された音データを随時受信しているため、図26に示す処理を繰り返し実行する。
【0159】
図25に戻り、実行イベント履歴の登録処理の説明を続ける。通信部91は、変換部93によって変換されたテキストデータを、共用支援サーバ6へ送信する(ステップS76)。ここで、通信部91は、テキストデータと共に、ステップS75-1によって取得された日時を示す情報を、共用支援サーバ6へ送信する。
【0160】
次に、生成部64は、イベントにより発生したコンテンツ処理を識別するための固有のコンテンツ処理IDを生成する(ステップS77)。また、生成部64は、コンテンツの内容を示したコンテンツデータのURLを生成する(ステップS78)。そして、記憶・読出処理部69は、コンテンツ管理DB6005(図7参照)に対して、ステップS72によって受信された実行イベントID毎に、コンテンツ処理の種類、コンテンツ処理の開始日時及び終了日時、ステップS77によって生成されたコンテンツ処理ID、並びにステップS78によって生成されたコンテンツの保存先を示すURLを関連付けて管理する(ステップS79)。
【0161】
ここで、コンテンツ処理の種類が「音声テキスト変換」である場合、コンテンツ処理の開始日時及び終了日時は、音データがテキストデータに変換された日時である。ここで、音データがテキストデータに変換された日時とは、共用支援サーバ6の通信部61によって音データを送信された日時及び共用支援サーバ6の通信部61によってテキストデータが受信された日時である。なお、音データがテキストデータに変換された日時は、音声テキスト変換サーバ9の通信部91によって音データが受信された日時及び音声テキスト変換サーバ9の通信部91によってテキストデータが送信された日時であってもよい。また、コンテンツ処理の種類が「音声テキスト変換」である場合、コンテンツ処理の開始日時及び終了日時は、テキスト変換対象の音データに係るコンテンツ処理の開始日時及び終了日時と同じ日時であってもよい。
【0162】
また、コンテンツ処理の種類が「録音」、「スナップショット」及び「資料送信」である場合、コンテンツの処理の開始日時及び終了日時は、共用支援サーバ6の通信部61によってコンテンツデータ(音データ、画像データ、ファイルデータ)が受信された日時である。なお、コンテンツ処理の種類が「録音」、「スナップショット」及び「資料送信」である場合、コンテンツの処理の開始日時及び終了日時は、通信端末2の通信部21によってコンテンツデータが送信された日時であってもよい。また、コンテンツ処理の種類が「録音」である場合、画像・音処理部23による録音が行われた開始日時及び終了日時であってもよい。さらに、コンテンツ処理の種類が「スナップショット」である場合、コンテンツの処理の開始日時及び終了日時は、画像・音処理部23によるスナップショット(キャプチャ)が行われた日時であってもよい。
【0163】
また、通信端末2やセッションが張られている表示端末10、PC5に、通信部61はテキストデータを送信する(S80)。これにより、音データから変換されたテキストデータを通信端末2や表示端末10がリアルタイムに表示できる。
【0164】
次に、図27において、共用支援サーバ6の記憶・読出処理部69は、ステップS72によって受信された利用者IDを検索キーとして利用者認証管理DB6001(図6(A)参照)を検索することにより、対応する組織IDを読み出す(ステップS91)。
【0165】
次に、記憶・読出処理部69は、ステップS91によって読み出された組織IDを検索キーとしてアクセス管理DB6002(図6(B)参照)を検索することにより、対応するアクセスID及びアクセスパスワードを読み出す(ステップS92)。
【0166】
次に、通信部61は、スケジュール管理サーバ8に対して、コンテンツデータの登録要求を示す実行イベント履歴の登録要求情報を送信する(ステップS93)。この実行イベント履歴の登録要求情報には、ステップS72によって受信された実行イベントID、送信元の利用者ID、コンテンツデータ、ステップS77によって生成されたコンテンツ処理ID、ステップS78によって生成されたコンテンツデータのURL、ステップS92によって読み出されたアクセスID及びアクセスパスワード、並びにコンテンツ処理の開始日時及び終了日時が含まれている。これにより、スケジュール管理サーバ8の通信部81は、実行イベント履歴の登録要求情報を受信する。
【0167】
次に、スケジュール管理サーバ8では、認証部82が、アクセスID及びアクセスパスワードを利用して共用支援サーバ6の認証を行う(ステップS94)。この認証は、ステップS38と同様の処理であるため、説明を省略する。ここでは、正当である場合について説明を続ける。
【0168】
次に、記憶・読出処理部89は、実行イベント履歴管理DB8008(図12(B)参照)に対して、ステップS93によって受信された各種データ(情報)を記憶して管理する(ステップS95)。記憶・読出処理部89は、ステップS93によって受信された実行イベントIDに関連付けて、各種データ(情報)を、実行イベント履歴管理DB8008に記憶する。これにより、スケジュール管理サーバ8は、共用支援サーバ6側と同様の内容のデータを管理する。
【0169】
また、スケジュール管理サーバ8の生成部83は、ステップS93によって受信されたコンテンツデータを、コンテンツの発生時間帯毎に関連付けた関連情報を生成する(ステップS96)。ここで、関連情報に含まれるコンテンツの発生時間帯は、イベント管理DB8005に記憶されたイベントの開始日時、及び実行イベント履歴管理DB8008に記憶されたコンテンツ処理の開始日時及び終了日時を用いて生成される。すなわち、コンテンツの発生時間帯は、実行されたイベントにおいてコンテンツが発生した時点における、イベントの開始日時からの経過時間を示す。そして、スケジュール管理サーバ8の記憶・読出処理部89は、関連情報管理DB8010(図13(B)参照)に対して、ステップS93によって受信された実行イベントIDに関連付けて、生成部83によって生成された関連情報を記憶して管理する(ステップS97)。これにより、スケジュール管理サーバ8は、コンテンツ処理の種別が異なるコンテンツデータを、各コンテンツの発生時間毎に関連付けて管理する。
【0170】
そして、スケジュール管理サーバ8の記憶・読出処理部89は、テキスト情報管理DB8012(図14参照)に対して、ステップS93によって受信された実行イベントIDに関連付けて、ステップS93によって受信されたテキストデータを含むテキスト情報を記憶して管理する(ステップS98)。具体的には、生成部83は、ステップS93によって受信されたテキストデータ及びコンテンツ処理ID、ステップS93によって受信されたテキストデータを識別するテキストID、並びに状態情報を含むテキスト情報を生成する。そして、記憶・読出処理部89は、生成部83によって生成されたテキスト情報を、ステップS93によって受信された実行イベントIDに関連付けてテキスト情報管理DB8012に記憶する。
【0171】
以上により、通信端末2は、実行されているイベントの実行イベントIDと、対応するイベントによって生じたコンテンツを、スケジュール管理サーバ8へ送信することができる。また、スケジュール管理サーバ8は、受信したコンテンツを、実行イベントID毎に、実行イベント履歴管理DB8008に記憶することができる。これによって、通信システム1は、実行されたイベントにより生じたコンテンツを、イベント毎に記憶することができる。
【0172】
<リアクションボタンに関する処理>
続いて、図28乃至図30を参照して、リアクションボタンの押下等について説明する。なお、以下では、通信システム1の利用者のうち、会議などのイベントへ参加する者を参加者、参加者のうち質問する者を質問者という。
【0173】
図28は、PC5が表示する会議画面1100の一例である。なお、図28の会議画面1100はPC5で動作する専用のアプリが表示したものとする。会議画面の表示はWebブラウザでも可能である。また、会議画面1100は、通信端末2及び表示端末10でも表示される。図28に示すように、PC5、通信端末2及び表示端末10ではテキストデータがほぼリアルタイムに表示されている。
【0174】
会議画面1100は、書誌情報欄1021(第二の表示領域の一例)とテキストデータ欄1022(第一の表示領域の一例)を有している。テキストデータ欄1022は、発話時の発話文ごとに(マスごとに)区切られたテキストデータ1001~1007、認識中テキスト1008、及び、チャット入力欄1009を有している。図28のテキストデータ1001~1007は、新しいテキストデータが追加されると下方にスクロールし、音声から変換された最新のテキストデータが表示される。なお、図7のコンテンツ管理テーブルに示すように、テキストデータごとに発話の開始時間・終了時間が記録されている。
【0175】
認識中テキスト1008には、参加者が発言し、現在、音声認識中のテキストデータの一部が表示される。認識中テキスト1008は、まだ発話文として確定していない文字列である。
【0176】
参加者がテキストデータをクリック又はタップしたり、マウスオーバーしたりすると、表示制御部54がリアクションボタンの一覧1011を表示する。後述するように、リアクションボタンを参加者がリアクション種類管理テーブルに登録しておくことができる。各リアクションボタンは、いいねボタン、超いいねボタン、うけるねボタン、すごいねボタン、悲しいねボタン、ひどいねボタン、質問ボタン1013等であるが、これらに限らず参加者が任意に登録できる。
【0177】
会議の参加者は、テキストデータについて適宜リアクションボタンを押下でき、自分の反応をボタン操作という簡単な操作で示すことができる。このリアクションボタンの1つに質問ボタン1013があり、テキストデータについて質問がある参加者が質問ボタン1013を押下することで、会議画面1100の書誌情報欄1021に質問ボタン1013が押下されたテキストデータと共に質問ボタン1013が押下された旨が表示される。参加者は質問ボタン1013を押下せずに、会議中に口頭で質問することもできるが、難聴者や聾者のように口頭での質問が困難な参加者は、質問ボタン1013を押下しておけば、後に回答が得られるようになる。
【0178】
図28では、参加者が「狸先生です」というテキストデータ1003に対し、質問ボタン1013をクリック又はタップしたものとする。
【0179】
なお、リアクションボタンの一覧1011には、リアクション種類管理テーブルに登録されているもののうち、リアクション種類管理テーブルの対象に適合するリアクションボタンが表示される。すなわち、リアクション種類管理テーブルの対象が「組織」のリアルタイムボタンは、リアクション種類管理テーブルの組織IDが同じ参加者が表示でき、リアクション種類管理テーブルの対象が「イベント」のリアルタイムボタンは、リアクション種類管理テーブルのイベントIDと同じイベントに参加している参加者が表示できる。
【0180】
図29は、参加者が質問ボタン1013をクリック又はタップした場合にPC5が表示する会議画面1100の一例である。書誌情報欄1021に、質問ボタン1013が押下された旨、質問ボタン1013が押下されたテキストデータ1016、が表示される。質問ボタン1013が押下された旨として、質問ボタン1013に類似するアイコン1015と、「分かりません」というメッセージ1014が表示されている。
【0181】
テキストデータ1003がテキストデータ欄1022からスクロールアウトしても、書誌情報欄1021の質問ボタン1013が押下された旨、及び、質問ボタン1013が押下されたテキストデータ1016は、スクロールアウトしないので、テキストデータ1016の発言者などの任意の参加者が議論のタイミングなどを考慮して、質問に対し回答することができる。なお、テキストデータ1016は、テキストデータ1003の少なくとも一部でもよい。テキストデータ1016には発言された時刻1018も表示されるため、質問ボタン1013が押下されてから質問が取り残されている時間が分かる。この時刻1018は質問ボタン1013が押下された時刻でもよい。
【0182】
また、テキストデータ欄1022のテキストデータ1003に対応付けて質問ボタン1013に類似するアイコン1017が表示される。このアイコン1017も質問ボタン1013が押下された旨に相当する。テキストデータ欄1022における質問ボタン1013が押下された旨は、テキストデータ1003や枠が強調表示されてもよい。
【0183】
また、テキストデータ欄1022にテキストデータが追加で表示されるにつれて、テキストデータ欄1022のテキストデータ1003は、下方にスクロールするが、質問ボタン1013が押下された旨のアイコン1017が対応付けられたテキストデータ1003のみはスクロールアウトしない表示形態も可能である。このような制御は、PC5の表示制御部54がテキストデータ欄1022の各テキストデータ1001~1007について、質問ボタン1013が押下された旨のアイコン1017の有無を判断し、質問ボタン1013が押下された旨のアイコン1017が対応付けられているテキストデータ1003を最下行に固定することで実現される。
【0184】
書誌情報欄1021及びテキストデータ欄1022の質問ボタン1013が押下された旨(アイコン1015、メッセージ1014,アイコン1017)は、質問者が消去のための操作を行うことで消去できる。例えば、質問者がマウスオーバー等で消去ボタンを表示させる。
【0185】
<リアクションボタンの押下、及び、質問ボタンが押下された旨の表示>
図30は、PC5が質問ボタン1013の押下を受け付け、通信端末2及び表示端末10が、質問ボタン1013が押下された旨を共有するシーケンス図である。ここでは、質問者がPC5(第一の端末の一例)を操作しているものとし、他のPC5、通信端末2及び表示端末10(第二の端末の一例)の利用者が質問に回答する。
【0186】
S101:質問者は、図19のステップS32,S33と同様に共用支援サーバ6にサインイン済みである。したがって、質問者の利用者ID、組織ID及びイベントIDが特定されている。参加者のサインイン又は明示的な会議画面の閲覧要求により、PC5が会議画面1100を表示する。
【0187】
S102:会議画面1100の表示のため、PC5の通信部51は、組織IDと利用者IDを指定して、リアクション設定を共用支援サーバ6に要求する。なお、組織IDと利用者IDはアクセストークンで代用できる。リアクション設定とは、この質問者が表示できるリアルタイムボタンの一覧の要求である。
【0188】
S103:共用支援サーバ6の通信部61は、リアクション設定の要求を受信し、記憶・読出処理部69がリアクション種類管理テーブルからリアクションボタンの一覧1011を取得する。処理部66は、リアクション種類管理テーブルの対象の項目が「組織」であるリアクションボタンについては、サインインした質問者が所属する組織IDと一致するものを抽出する。処理部66は、リアクション種類管理テーブルの対象の項目が「イベント」であるリアクションボタンについては、質問者が参加しているイベントIDと一致するものを抽出する。共用支援サーバ6の通信部61は、リアクションボタンの一覧1011(各リアクションボタンのリアクション種類、ボタン画像等)をPC5に送信する。
【0189】
S104:PC5の通信部51はリアクションボタンの一覧1011(各リアクションボタンのリアクション種類、ボタン画像等)を受信する。そして、質問者が任意のテキストデータについてリアクションボタンの一覧1011を表示させる操作を行うと、受付部52が受け付けて、表示制御部54がボタン画像を用いてリアクションボタンの一覧1011を表示する。
【0190】
S105:質問者がリアクションボタンの一覧1011から質問ボタン1013を押下すると、受付部52が受け付ける。
【0191】
S106:PC5の通信部51は押下されたリアクションボタンのリアクション種類、リアクションボタンが押下されたテキストデータのコンテンツ処理ID、及び、利用者IDを共用支援サーバ6に送信する。
【0192】
S107:共用支援サーバ6の通信部61はリアクション種類、コンテンツ処理ID及び利用者IDを受信し、処理部66は、リアクション種類が所定のリアクションかどうかを判断する。所定のリアクションとは、スクロールアウトするとリアクションボタンの押下者が困るリアクションであり、本実施形態では、例えば質問ボタン1013(「?」(question))である。
【0193】
リアクション種類が所定のリアクションの場合、共用支援サーバ6の処理部66は、通信部61を介して、質問ボタン1013が押下されたテキストデータを書誌情報欄1021に表示する旨(表示指示情報の一例)と共に、リアクション押下ID(消去時に必要になる)、質問ボタン1013が押下された旨、及び、コンテンツ処理IDを、PC5に送信する。通信部61は、コンテンツ処理IDでなくテキストデータそのものを送信してもよい。
【0194】
S108:PC5の通信部51はこれらを受信し、表示制御部54は、コンテンツ処理IDで特定されるテキストデータに対応付けて質問ボタン1013が押下された旨を表示する。すなわち、表示制御部54は、書誌情報欄1021に質問ボタン1013が押下された旨のアイコン1015、メッセージ1014及びテキストデータ1016を表示し、テキストデータ欄1022の質問ボタン1013が押下されたテキストデータに対応付けて質問ボタン1013が押下された旨のアイコン1017を表示する。
【0195】
なお、ステップS106~S108では、PC5が、質問ボタン1013が押下された旨等を共用支援サーバ6に通知し、共用支援サーバ6から書誌情報欄1021へのテキストデータ1016と質問ボタン1013が押下された旨の表示要求を受信している。しかし、PC5は、質問ボタン1013が押下された後、共用支援サーバ6と通信する前に、書誌情報欄1021に質問ボタン1013が押下された旨とテキストデータ1016を表示してよい。また、PC5は、テキストデータ欄1022にアイコン1017を表示してよい。
【0196】
S109:記憶・読出処理部69はリアクション押下管理テーブルに、リアクション押下ID(重複しないように採番)、コンテンツ処理ID、利用者ID、及びリアクション種類を登録する。
【0197】
S110、S111:リアクションボタンが押下された旨を共有するため、共用支援サーバ6の処理部66は、通信部61を介して、テキストデータ1016を書誌情報欄1021に表示する旨と共に、リアクション押下ID、質問ボタン1013が押下された旨、及び、コンテンツ処理IDを、会議に参加している通信端末2と表示端末10に送信する。
【0198】
S112、S113:通信端末2の通信部21、表示端末10の通信部11はそれぞれリアクション押下ID、質問ボタン1013が押下された旨、及び、コンテンツ処理IDを受信する。通信端末2の表示制御部24、表示端末10の表示制御部13はそれぞれ、コンテンツ処理IDで特定されるテキストデータ1003を用いてテキストデータ1016を表示し、また、質問ボタン1013が押下された旨を表示する。表示制御部24、13はそれぞれ、コンテンツ処理IDで特定されるテキストデータ1003の周囲にアイコン1017を表示する。これらの表示方法はPC5と同様でよい。
【0199】
<リアクションボタンの登録>
次に、図31図32を参照してリアクションボタンの登録について説明する。図31は、PC5が表示するリアクションボタン登録画面1200である。なお、リアクションボタン登録画面1200は、通信端末2又は表示端末10が表示することも可能である。会議画面1100が表示する設定ボタン1012を参加者が押下すると、図31のリアクションボタン登録画面1200が表示される。
【0200】
リアクションボタン登録画面1200は、ボタン画像一覧1201、「テナント全体」「この会議のみ」に対応付けられたラジオボタン1202,1203、戻るボタン1204、及び、適用ボタン1205を有している。ボタン画像一覧1201は、リアクションボタン登録画面1200で表示するために、予め共用支援サーバ6に登録されているリアクションボタンの画像である。各リアクションボタンはリアクション種類に対応している。参加者は、使用したいリアクションボタンをマウス等で選択できる。図31に示すように、参加者が選択したリアクションボタンは枠1206で囲まれる。
【0201】
「テナント全体」とは、参加者が所属する組織で開催される全てのイベントで、枠1206で囲まれたリアクションボタンを表示することを意味する。「この会議のみ」とは、現在開催中のイベント(例えば会議)でのみ、枠1206で囲まれたリアクションボタンを表示することを意味する。「テナント全体」「この会議のみ」の設定は、リアクション種類管理テーブルの対象の項目に設定される。適用ボタン1205が押下されると、リアクションボタン登録画面1200の枠1206で選択されたリアクション種類と「テナント全体」「この会議のみ」の対象が共用支援サーバ6に送信される。
【0202】
図32は、参加者がリアクションボタンを共用支援サーバ6に登録する処理を説明するシーケンス図である。
【0203】
S121:参加者が会議画面1100の設定ボタン1012を押下する。受付部52が押下を受け付け、通信部51がリアクションボタン登録画面1200を共用支援サーバ6に要求する。共用支援サーバ6の通信部61は要求を受信し、作成部63がリアクションボタン登録画面1200を作成する。通信部61は、リアクションボタン登録画面1200の画面情報をPC5に送信する。なお、リアクションボタン登録画面1200はPC5内の処理で表示されてもよい。
【0204】
S122:PC5の表示制御部54はリアクションボタン登録画面1200を表示し、図31にて説明したように参加者がリアクションボタンに関する設定を行う。受付部52が設定を受け付ける。
【0205】
S123:参加者が適用ボタン1205を押下すると、通信部51が参加者の組織ID、参加者の利用者ID、及びリアクション種類(組織又はイベント)を共用支援サーバ6に送信する。組織ID、利用者IDについては、サインイン済みの参加者に関する情報が使用されてよい。
【0206】
S124:共用支援サーバ6の通信部61は組織ID、利用者ID、及びリアクション種類(組織又はイベント)を受信し、処理部66が記憶・読出処理部69を介して、リアクション種類管理テーブルに登録する。
【0207】
このように、参加者は会議中にも使用したいリアクションボタンを登録できる。テナント全体」「この会議のみ」の設定が可能なので、汎用的なリアクションボタンについて会議ごとに参加者が登録する必要がない。
【0208】
<主な効果>
以上説明したように、本実施形態の共用支援サーバ6は、質問の対象となる発言部分のテキストデータについて質問ボタン1013を表示させ、質問ボタン1013が押下されると、音声認識されたテキストデータとは別の領域に質問ボタン1013が押下された旨と質問の対象となるテキストデータ1016を表示する。質問ボタン1013が押下された旨とテキストデータ1016はスクロールアウトしないので、回答者が質問を見落とすことを低減することができる。また、質問があっても会話の流れに乗りにくい聴覚障碍者がためらってしまったり、聴覚障碍者だけが自分の意思を示せなかったりする状況を低減できる。
【0209】
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0210】
また、図5などの構成例は、通信端末2、PC5、共用支援サーバ6、スケジュール管理サーバ8、音声テキスト変換サーバ9、及び、表示端末10による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。通信端末2、PC5、共用支援サーバ6、スケジュール管理サーバ8、音声テキスト変換サーバ9、及び、表示端末10の処理は、処理内容に応じてさらに多くの処理単位に分割することもできる。また、1つの処理単位がさらに多くの処理を含むように分割することもできる。
【0211】
また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものにすぎない。ある実施形態では、共用支援サーバ6は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。
【0212】
さらに、共用支援サーバ6は、本実施形態で開示された処理ステップ、例えば図28等を様々な組み合わせで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、共用支援サーバ6が有する複数の情報処理装置によって実行され得る。また、共用支援サーバ6は、1つのサーバ装置にまとめられていても良いし、複数の装置に分けられていても良い。
【0213】
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)や従来の回路モジュール等のデバイスを含むものとする。
【0214】
<マルチマルチ請求項に関する付記>
[請求項1]
複数の端末とネットワークを介して通信する情報処理装置であって、
端末が送信する音データから変換されたテキストデータの第一の表示領域への表示指示情報と共に、第一の端末及び第二の端末に送信する通信部と、
端末から受信した、テキストデータに関する操作情報を前記テキストデータに対応付けて記憶部に保存する処理部と、を有し、
前記通信部は、前記操作情報の操作が行われた前記テキストデータの少なくとも一部の、前記第一の表示領域とは別の第二の表示領域への表示指示情報を前記複数の端末に送信することを特徴とする情報処理装置。
[請求項2]
前記処理部が、前記記憶部に保存された前記操作情報が所定の操作情報であることを検出した場合、
前記通信部は、前記所定の操作情報の操作が行われた前記テキストデータの少なくとも一部の、前記第一の表示領域とは別の第二の表示領域への表示指示情報を前記複数の端末に送信することを特徴とする請求項1に記載の情報処理装置。
[請求項3]
前記通信部は、前記テキストデータの少なくとも一部の表示指示情報に加え、前記所定の操作情報の操作が行われたことの前記第二の表示領域への表示指示情報を前記複数の端末に送信することを特徴とする請求項2に記載の情報処理装置。
[請求項4]
前記複数の端末は、音データから変換されたテキストデータを共有するイベントに参加しており、
前記テキストデータに対し端末が受け付け可能な操作の設定を受け付ける画面を作成する作成部を有し、
前記通信部は、前記作成部が作成した前記画面の画面情報を端末に送信し、
前記処理部は、前記イベントに参加している前記端末から送信された、前記端末が受け付け可能な操作の操作情報を記憶部に保存することを特徴とする請求項1~3のいずれか1項に記載の情報処理装置。
[請求項5]
前記画面は、端末が受け付け可能な操作が提供される対象として、利用者が所属する組織又は利用者が参加している前記イベントのいずれかが選択可能であり、
前記処理部は、前記端末から送信された、前記端末が受け付け可能な操作の操作情報、前記対象、及び、前記対象となる組織の識別情報又は前記イベントの識別情報を対応付けて前記記憶部に保存することを特徴とする請求項4に記載の情報処理装置。
[請求項6]
前記通信部は、前記イベントに参加する端末に対し、
前記記憶部に記憶されている前記操作情報の前記対象が組織である場合、前記端末の利用者が所属する組織の識別情報と同じ組織の識別情報が対応付けられている前記操作情報、及び、
前記記憶部に記憶されている前記操作情報の前記対象が前記イベントである場合、前記端末の利用者が参加している前記イベントの識別情報と同じイベントの識別情報が対応付けられている前記操作情報、を送信することを特徴とする請求項5に記載の情報処理装置。
[請求項7]
前記第一の表示領域は、音データから変換されたテキストデータが古いものからスクロールアウトさせ、前記第二の表示領域は、前記テキストデータの少なくとも一部をスクロールアウトさせないことを特徴とする請求項1~6のいずれか1項に記載の情報処理装置。
[請求項8]
前記所定の操作情報は、前記テキストデータについて質問を受け付けたことを示す操作情報であることを特徴とする請求項2に記載の情報処理装置。
[請求項9]
前記第二の表示領域は、前記操作情報の操作が行われた前記テキストデータの少なくとも一部と共に、前記テキストデータについて質問があったことを示す情報を表示することを特徴とする請求項3に記載の情報処理装置。
【符号の説明】
【0215】
1 通信システム
2 通信端末
3 ビデオ会議端末
5 PC
6 共用支援サーバ
8 スケジュール管理サーバ
9 音声テキスト変換サーバ
【先行技術文献】
【特許文献】
【0216】
【文献】特許第6746923号公報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32