特許 7393000 遠隔会議装置、システム、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-28

(45)【発行日】2023-12-06

(54)【発明の名称】遠隔会議装置、システム、方法及びプログラム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20231129BHJP

   H04N 21/8549 20110101ALI20231129BHJP

   H04M 3/56 20060101ALI20231129BHJP

【ＦＩ】

H04N7/15 150

H04N21/8549

H04M3/56

【請求項の数】 8

(21)【出願番号】P 2020179315

(22)【出願日】2020-10-27

(65)【公開番号】P2022070308

(43)【公開日】2022-05-13

【審査請求日】2022-02-02

【前置審査】

(73)【特許権者】

【識別番号】000227205

【氏名又は名称】ＮＥＣプラットフォームズ株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】藤本 正義

【審査官】富樫 明

(56)【参考文献】

【文献】特開２００３－２５５９７９（ＪＰ，Ａ）

【文献】特開２００５－２７８１０９（ＪＰ，Ａ）

【文献】特開２００４－１１０２６８（ＪＰ，Ａ）

【文献】特開２００２－０９９５３０（ＪＰ，Ａ）

【文献】特開２０１７－０６８５３０（ＪＰ，Ａ）

【文献】特開２００８－１７７８９６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１４－７／１５

Ｈ０４Ｎ ２１／００－２１／８５８

Ｈ０４Ｍ ３／５６

(57)【特許請求の範囲】

【請求項1】

会議参加者が用いる通信端末から、前記会議参加者の発言を受信する受信部と、
前記発言を、音声データとして録音する録音部と、
前記発言から文字データを生成する文字生成部と、
会議参加者が参加すると、前記音声データ及び前記文字データの要旨を作成する要約部と、
前記通信端末に対して、前記要旨を音声データ及び文字データの少なくとも一方を配信する送信部と、
前記発言の要旨の音声データ及び文字データを記憶する記憶部と、
前記通信端末からの報知により、途中参加者及び欠席者を検知する検知部と、
を備え、
前記検知部が、途中参加者或いは欠席者を検知した場合、
前記記憶部は、
前記要旨を発言した会議参加者の個人情報と、前記要旨の確認を行っていない途中参加者或いは欠席者である要旨未確認ユーザの情報と、を紐づけて記憶し、
前記検知部が検知したのが途中参加者であった場合、
前記送信部が、当該途中参加者が未確認である要旨を前記記憶部から取得し、当該要旨の音声データ及び文字データの少なくとも一方を、当該途中参加者が用いる通信端末に配信すると、
当該途中参加者の要旨確認状態は確認済として更新され、
前記検知部が検知したのが欠席者であった場合、
前記送信部が、当該欠席者が未確認である要旨を前記記憶部から取得し、当該要旨の音声データ及び文字データの少なくとも一方を、前記欠席者が用いる通信端末に配信し、前記欠席者の通信端末から要旨確認通知を受信すると、
当該欠席者の要旨確認状態は確認済として更新される、
遠隔会議装置。

【請求項2】

前記遠隔会議装置は、前記各通信端末に前記要旨を配信したか否かを管理する、
請求項１に記載の遠隔会議装置。

【請求項3】

前記遠隔会議装置は、前記通信端末に前記要旨の音声データ及び文字データの少なくとも一方を参照させることができる、
請求項１又は２に記載の遠隔会議装置。

【請求項4】

会議参加者が用いる通信端末と、前記通信端末と通信可能に接続される請求項１～３のいずれか１項に記載の遠隔会議装置と、
を備えた遠隔会議システム。

【請求項5】

前記通信端末は、各会議参加者が用いる通信端末に、前記遠隔会議装置が前記要旨を配信したか否かを表示する、
請求項４に記載の遠隔会議システム。

【請求項6】

前記通信端末は、前記要旨の種別である要旨種別情報を付加して前記遠隔会議装置に登録させることができる、
請求項４又は５に記載の遠隔会議システム。

【請求項7】

会議参加者が用いる通信端末から、前記会議参加者の発言を受信するステップと、
前記発言を、音声データとして録音するステップと、
前記発言から文字データを生成するステップと、
会議参加者が参加すると、前記音声データ及び前記文字データの要旨を作成するステップと、
前記通信端末に対して、前記要旨を音声データ及び文字データの少なくとも一方を配信するステップと、
前記発言の要旨の音声データ及び文字データを記憶するステップと、
前記通信端末からの報知により、途中参加者及び欠席者を検知するステップと、
を備え、
前記検知するステップが、途中参加者或いは欠席者を検知した場合、
前記記憶するステップは、前記要旨を発言した会議参加者の個人情報と、前記要旨の確認を行っていない途中参加者或いは欠席者である要旨未確認ユーザの情報と、を紐づけて記憶し、
前記検知するステップが検知したのが途中参加者であった場合、
前記配信するステップが、当該途中参加者が未確認である要旨を前記記憶するステップから取得し、当該要旨の音声データ及び文字データの少なくとも一方を、当該途中参加者が用いる通信端末に配信すると、
当該途中参加者の要旨確認状態は確認済として更新され、
前記検知するステップが検知したのが欠席者であった場合、
前記配信するステップが、当該欠席者が未確認である要旨を前記記憶するステップから取得し、当該要旨の音声データ及び文字データの少なくとも一方を、前記欠席者が用いる通信端末に配信し、前記欠席者の通信端末から要旨確認通知を受信すると、
当該欠席者の要旨確認状態は確認済として更新される、
遠隔会議装置の遠隔会議方法。

【請求項8】

会議参加者が用いる通信端末から、前記会議参加者の発言を受信する処理と、
前記発言を、音声データとして録音する処理と、
前記発言から文字データを生成する処理と、
会議参加者が参加すると、前記音声データ及び前記文字データの要旨を作成する処理と、
前記通信端末に対して、前記要旨を音声データ及び文字データの少なくとも一方を配信する処理と、
前記発言の要旨の音声データ及び文字データを記憶する処理と、
前記通信端末からの報知により、途中参加者及び欠席者を検知する処理と、
を備え、
前記検知する処理が、途中参加者或いは欠席者を検知した場合、
前記記憶する処理は、前記要旨を発言した会議参加者の個人情報と、前記要旨の確認を行っていない途中参加者或いは欠席者である要旨未確認ユーザの情報と、を紐づけて記憶し、
前記検知する処理が検知したのが途中参加者であった場合、
前記配信する処理が、当該途中参加者が未確認である要旨を前記記憶する処理から取得し、当該要旨の音声データ及び文字データの少なくとも一方を、当該途中参加者が用いる通信端末に配信すると、
当該途中参加者の要旨確認状態は確認済として更新され、
前記検知する処理が検知したのが欠席者であった場合、
前記配信する処理が、当該欠席者が未確認である要旨を前記記憶する処理から取得し、当該要旨の音声データ及び文字データの少なくとも一方を、前記欠席者が用いる通信端末に配信し、前記欠席者の通信端末から要旨確認通知を受信すると、
当該欠席者の要旨確認状態は確認済として更新される、
処理を情報処理装置に実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は遠隔会議装置、システム、方法及びプログラムに関する。

【背景技術】

【0002】

複数の遠隔会議用の端末装置を、通信網を介して接続し、遠隔会議を行うシステムが知られている。近年、拠点間の移動に伴う様々なコストの削減の要請や、リモートワークの増加等により、遠隔会議が行われる機会が増加している。遠隔会議システムでは、複数の拠点を接続して会議を行うことが一般的であり、各拠点を、通信網を介して会議に関する音声やデータなどの情報の送受信が行われる。

【0003】

ところで、会議では開催時刻に遅れて途中から出席する参加者もいるが、その場合、途中参加者はそれまでの会議の経過を把握して、以降の会議に合流する必要がある。特許文献１には、このような遠隔会議システムにおいて、一部の参加者だけが途中から会議に参加する場合に、途中参加者に対応できるようなシステムに関する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００３－３３９０３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１において開示された技術は、途中参加者が会議の内容を把握する時間を短縮するために、途中参加者を検知すると会議内容の要約を作成し、途中参加者に要約を音声又はテキストで送信するものである。しかしながら、この技術にかかる遠隔会議システムでは、途中参加者を検知しなければ要約は作成されないため、会議に参加できなかった者が、会議における発言の内容を把握できない。そのため、会議の途中参加者が会議の発言内容を短時間で把握できるものの、不参加者は発言内容を把握できないという問題がある。

【0006】

本開示は、このような問題点を解決する遠隔会議装置、システム、方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示にかかる遠隔会議装置は、会議参加者が用いる通信端末から、前記会議参加者の発言を受信する受信部と、前記発言を、音声データとして録音する録音部と、前記発言から文字データを生成する文字生成部と、会議参加者が参加すると、前記音声データ及び前記文字データの要旨を作成する要約部と、前記通信端末に対して、前記要旨を音声データ及び文字データの少なくとも一方を配信する送信部とを備える。

【0008】

本開示にかかる遠隔会議システムは、会議参加者が用いる通信端末と、前記通信端末と通信可能に接続される遠隔会議装置とを備え、前記遠隔会議装置は、会議参加者が用いる通信端末から、前記会議参加者の発言を受信する受信部と、前記発言を、音声データとして録音する録音部と、前記発言から文字データを生成する文字データ生成部と、会議参加者が参加すると、前記音声データ及び前記文字データの要旨を作成する要約部と、前記通信端末に対して、前記要旨を音声データ及び文字データの少なくとも一方を配信する送信部とを備える。

【0009】

本開示にかかる遠隔会議方法は、会議参加者が用いる通信端末から、前記会議参加者の発言を受信するステップと、前記発言を、音声データとして録音するステップと、前記発言から文字データを生成するステップと、会議参加者が参加すると、前記音声データ及び前記文字データの要旨を作成するステップと、前記通信端末に対して、前記要旨を音声データ及び文字データの少なくとも一方を配信するステップとを備える。

【0010】

本開示にかかるプログラムは、会議参加者が用いる通信端末から、前記会議参加者の発言を受信する処理と、前記発言を、音声データとして録音する処理と、前記発言から文字データを生成する処理と、会議参加者が参加すると、前記音声データ及び前記文字データの要旨を作成する処理と、前記通信端末に対して、前記要旨を音声データ及び文字データの少なくとも一方を配信する処理とを情報処理装置に実行させるものである。

【発明の効果】

【0011】

本開示により、会議不参加者及び途中参加者が会議における発言内容を短時間で把握できる遠隔会議装置、システム、方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0012】

【図1】本開示における実施形態１にかかる遠隔会議装置の概略構成図である。

【図2】本開示における実施形態２にかかる遠隔会議システムの概略図である。

【図3】本開示における実施形態２にかかる遠隔会議システムに用いる通信端末の概略構成図である。

【図4】本開示における実施形態２にかかる遠隔会議システムに用いる遠隔会議サーバの概略構成図である。

【図5】本開示における実施形態２にかかる遠隔会議システムに用いる通信装置の表示イメージを示す図である。

【図6】本開示における実施形態２にかかる遠隔会議システムに用いるサーバのデータ構成を示す図である。

【図7】本開示における実施形態２にかかる遠隔会議システムの通信開始のシーケンス図である。

【図8】本開示における実施形態２にかかる遠隔会議システムの音声グループ通信のフロー図である。

【図9】本開示における実施形態２にかかる遠隔会議システムの通信中のシーケンス図である。

【図10】本開示における実施形態２にかかる遠隔会議システムの要旨登録時のフロー図である。

【図11】本開示における実施形態２にかかる遠隔会議システムの要旨登録時のシーケンス図である。

【図12】本開示における実施形態２にかかる遠隔会議システムの途中参加のフロー図である。

【図13】本開示における実施形態２にかかる遠隔会議システムの途中参加のシーケンス図である。

【図14】本開示における実施形態２にかかる遠隔会議システムの要旨通知のフロー図である。

【図15】本開示における実施形態２にかかる遠隔会議システムの要旨通知のシーケンス図である。

【発明を実施するための形態】

【0013】

以下、図面を参照しつつ、実施の形態について説明する。なお、図面は簡略的なものであるから、この図面の記載を根拠として実施の形態の技術的範囲を狭く解釈してはならない。また、同一の要素には、同一の符号を付し、重複する説明は省略する。

【0014】

以下の実施の形態においては便宜上その必要があるときは、複数のセクション又は実施の形態に分割して説明する。ただし、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部又は全部の変形例、応用例、詳細説明、補足説明等の関係にある。また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む。）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

【0015】

さらに、以下の実施の形態において、その構成要素（動作ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似又は類似するもの等を含むものとする。このことは、上記数等（個数、数値、量、範囲等を含む。）についても同様である。

【0016】

＜実施形態１＞
実施形態１について、図１を用いて説明する。図１は、本実施形態にかかる遠隔会議装置１の概略図である。

【0017】

本実施形態にかかる遠隔会議装置１は、複数の遠隔会議用の通信端末２と通信網を介して接続し、遠隔会議を行う装置である。遠隔会議装置１は会議参加者が用いる通信端末２と通信可能に接続される。

【0018】

遠隔会議装置１は、受信部３、録音部４、文字生成部５、要約部６及び送信部７を備える。受信部３は、会議参加者が用いる通信端末２から、会議参加者の発言を受信する。また、録音部４は、会議参加者の発言を、音声データとして録音する。文字生成部５は、会議参加者の発言から文字データを生成する。

【0019】

要約部６は、録音部４が録音した音声データ及び文字生成部５が生成した文字データの要旨を作成する。要約部６は、会議に一人でも参加した場合に、要旨の作成を開始する。送信部７は、会議参加者が用いる通信端末２に対して、要旨を音声データ及び文字データの少なくとも一方を配信する。

【0020】

なお、遠隔会議装置１は、会議参加者の発言の要旨の音声データ及び文字データを記憶する記憶部（不図示）をさらに備えてもよい。また、会議の途中参加者及び欠席者が用いる通信端末２からの報知により、途中参加者及び欠席者の検知を行う検知部（不図示）を更に備えてもよい。このとき、遠隔会議装置１の送信部７は、検知部が途中参加者及び欠席者を検知したことにより、当該途中参加者及び欠席者が未確認である要旨を記憶部から取得する。そして、送信部７は当該要旨の音声データ及び文字データの少なくとも一方を、当該途中参加者及び欠席者が用いる通信端末２に配信することができる。

【0021】

本実施形態における遠隔会議装置１を用いることにより、会議欠席者や途中参加者が短時間で会議参加者の発言内容を把握できる。

【0022】

＜実施形態２＞
実施形態２について、図２を参照しながら説明する。図２は、本実施形態にかかる遠隔会議システム１０の概略図である。

【0023】

本実施形態における遠隔会議システム１０は、会議参加者が用いる通信端末１００ａ～１００ｃと、ネットワーク１１０、１１１を介して接続される遠隔会議サーバ１２０を備える。

【0024】

通信端末１００ａは、文字情報の表示が不可能であり、音声通話が可能な端末であり、例えば固定電話機が用いられる。また、通信端末１００ｂ、１００ｃは、文字情報の表示及び音声通話が可能である通信端末であり、例えば携帯電話機や、スマートフォンなどの通信端末が用いられる。なお、通信端末１００ａ～１００ｃを特に区別する必要がない場合は、以下単に通信端末１００と称する。

【0025】

通信端末１００と遠隔会議サーバ１２０はネットワーク１１０、１１１を介して接続される。本実施形態において、通信端末１００ａはアナログ通信に用いられるネットワーク１１０を介して遠隔会議サーバ１２０と接続される。また、通信端末１００ｂ、１００ｃは、デジタル通信に用いられるネットワーク１１１を介して遠隔会議サーバ１２０に接続される。なお、通信端末１００と遠隔会議サーバ１２０を接続する形態は上述したネットワーク１１０、１１１に限らず、１つであってもよく、３つ以上であってもよい。

【0026】

通信端末１００の構成を、図３を用いて説明する。図３は、本実施形態にかかる遠隔会議システム１０に用いる通信端末１００の概略構成図である。

【0027】

通信端末１００ａは音声通信部１０１及び操作部１０２を備える。音声通信部１０１は、遠隔会議システム１０による遠隔会議において、音声通信を行う。操作部１０２は、音声通信の開始や終了などの動作指示を行う押下可能なキー群を備える。通信端末１００ａは、ネットワーク１１０を介して遠隔会議サーバ１２０に対して、操作部１０２からの動作指示を行うことができる。また、遠隔会議サーバ１２０から通信端末１００ａに対して回線接続や音声通信を行うことができる。

【0028】

通信端末１００ｂ、１００ｃは音声通信部１０３、操作部１０４、表示部１０５及び制御部１０６を備える。音声通信部１０３及び操作部１０４は、通信端末１００ａと同様の機能を備えるため、説明を省略する。表示部１０５は、遠隔会議に関する文字情報を表示する。制御部１０６は、遠隔会議に関する文字情報の送受信を行う。通信端末１００ｂ、１００ｃは、ネットワーク１１１を介して遠隔会議サーバ１２０に対して、操作部１０４からの動作指示を行うことができる。通信端末１００ｂ、１００ｃは、制御部１０６から文字により遠隔会議サーバ１２０に対して動作指示を行い、操作の状態を表示部１０５に表示することとしてもよい。また、遠隔会議サーバ１２０から通信端末１００ｂ、１００ｃに対して回線接続や音声通信を行うことができる。

【0029】

遠隔会議サーバ１２０の構成を、図４を用いて説明する。図４は、本実施形態にかかる遠隔会議システム１０に用いる遠隔会議サーバ１２０の概略構成図である。

【0030】

遠隔会議サーバ１２０は、音声通信部１２１、録音部１２２、文字生成部１２３、記憶部１２４及び制御部１２５を備える。音声通信部１２１は、通信端末１００と音声通信を行う。録音部１２２は、会議における発言を音声データとして録音を行う。文字生成部１２３は、発言の音声から文字データを生成する。記憶部１２４は、音声データ及び文字データを記憶する。制御部１２５は、文字データを通信端末１００と送受信する。

【0031】

遠隔会議サーバ１２０は、通信端末１００との音声グループ通信が可能である。また、遠隔会議サーバ１２０は、自己が所有する通信端末１００を用いて遠隔会議サーバ１２０に対して接続する会議参加者や、会議参加者のグループの管理を行う。遠隔会議サーバ１２０から通信端末１００に対して回線接続や音声通信を行うことができる。

【0032】

（実施形態２における遠隔会議システム１０の動作）
以下、本実施形態における遠隔会議システム１０の動作を説明する。

【0033】

まず、通信端末１００ｂ、１００ｃの表示部１０５に表示される画面を、図５に示す。図５は、本実施形態にかかる遠隔会議システム１０に用いる通信端末１００ｂ、１００ｃの表示部１０５の表示イメージを示す図である。

【0034】

図５に示すとおり、通信端末１００ｂ、１００ｃの表示部１０５には、「要旨一覧画面」及び「要旨登録画面」が表示される。後に説明するとおり、本実施形態における遠隔会議システム１０は、会議参加者の発言の要旨が、音声データ及び文字データにより作成される。音声データの要旨が作成されることにより、会議参加者等は聴覚によって短時間で会議における発言内容を把握できる。また、文字データの要旨が作成されることにより、会議参加者等は視覚によって短時間で会議における発言内容を把握できる。

【0035】

通信端末１００ｂ、１００ｃの表示部１０５の要旨一覧画面には、会議参加者の発言の要旨が一覧として表示される。また、表示部１０５は、音声を再生するための再生釦及び、要旨を確認した旨を通知する確認釦を備えてもよい。

【0036】

要旨一覧画面には、開催グループ、要旨種別、会話ユーザ、会話内容及び要旨未確認ユーザの各項目を表示する。開催グループの項目には、会議参加予定者を含む、会議参加者のグループを識別する情報が記載される。要旨種別の項目には、「目的」、「要点」及び「決定事項」など、要旨の内容を示す記載がなされる。会話ユーザの項目には、発言をした会議参加者の個人情報が記載される。会話内容の項目には、発言の内容が記載される。要旨未確認ユーザの項目には、会議参加予定者のうち、例えば途中参加者及び欠席者等であって要旨の確認を行っていない者の個人情報が記載される。

【0037】

要旨未確認ユーザの項目を設けることにより、会議参加者が、他の会議参加者等が要旨を確認したか否かを容易に把握することができる。通信端末１００ｂ、１００ｃを用いる場合、要旨を文字データで表示するか、音声データを再生するかを選択できることとしてもよい。

【0038】

通信端末１００ｂ、１００ｃの表示部１０５の要旨登録画面には要旨種別、会話ユーザ及び会話内容の各項目を表示する。また、会議参加者の発言の要旨を登録するための登録釦を設ける。

【0039】

表示部１０５の要旨登録画面に示す要旨種別は、例えば「目的」、「要点」及び「決定事項」が記載されるがこれに限らない。要旨種別を表示することにより、会議参加者等が他の参加者の発言内容を短時間で確認できる。

【0040】

また、遠隔会議サーバ１２０の表示部に表示される画面を図６に示す。図６は、本実施形態にかかる遠隔会議システム１０に用いる遠隔会議サーバ１２０の記憶部１２４におけるデータ構成を示す図である。図６に示すとおり、記憶部１２４には、「グループ情報」、「会話情報」及び「グループ状態情報」が格納される。

【0041】

遠隔会議サーバ１２０の記憶部１２４における「グループ情報」は、会議参加者により構成されるグループ、グループに所属する会議参加者、及び会議参加者が私有する通信端末１００に関する情報を備える。一人の会議参加者が複数のグループに登録してもよい。上記の情報は、あらかじめ遠隔会議サーバ１２０に登録される。すなわち、「グループ情報」には、上記の情報を、遠隔会議１２０サーバから直接入力してもよいし、遠隔会議サーバ１２０と相互に通信可能な装置を用いて登録してもよい。

【0042】

「グループ情報」におけるグループ欄は、会議参加者により構成されるグループを示す。また、「グループ情報」におけるユーザ欄は、グループに所属する会議参加者を示し、会議参加者は複数のグループに登録してもよい。「グループ情報」における通信端末欄は、会議参加者が所有する通信端末１００を示す。

【0043】

遠隔会議サーバ１２０の記憶部１２４における「会話情報」は、各グループに属する会議参加者が通信端末１００を用いて会議を行う際に、各通信端末１００から送信される音声を発言毎に管理するためのリストである。

【0044】

「会話情報」における開催グループ欄は、会議参加者により構成されるグループを示す。「会話情報」における会話ユーザ欄は、グループに所属する会議参加者のうち、発言を行った会議参加者を示す。「会話情報」における音声データ欄は、各通信端末１００から送信される音声を録音した音声データを示す。「会話情報」における文字情報欄は、各通信端末１００から送信された音声データから生成した文字データを示す。「会話情報」における要旨種別欄は、音声データ及び文字データの要旨の有無を示す。

【0045】

遠隔会議サーバ１２０の記憶部１２４における「グループ状態情報」は、会議参加者により構成されるグループの、各会議参加者が通信端末１００を用いて要旨を確認したか否かを会議参加者毎に管理するためのリストである。

【0046】

「グループ状態情報」における開催グループ欄は、会議参加者により構成されるグループを示す。「グループ状態情報」におけるユーザ欄は、グループに所属する会議参加者を示す。「グループ状態情報」における要旨確認状態欄は、途中参加者及び欠席者が要旨を確認したかを示す。

【0047】

本実施形態における遠隔会議システム１０を用いて、音声グループ通信を開始する際のデータの流れについて、図７を用いて説明する。図７は、本実施形態にかかる遠隔会議システム１０の通信開始のシーケンス図である。

【0048】

まず、通信端末１００ｂを所有する会議参加者が会議に参加する際の動作について説明する。会議参加者は通信端末１００ｂを用いて、遠隔会議サーバ１２０にグループ情報要求を送信する（ステップ３０１）。遠隔会議サーバ１２０は、記憶部１２４の「グループ状態」から要求元の会議参加者が所属するグループの情報を通信端末１００ｂにグループ情報応答として返信する（ステップ３０２）。通信端末１００ｂが受信したグループ情報を通信端末１００ｂが備える表示部１０５に表示することによって、表示部１０５においてグループ情報を確認及び指定してもよい。

【0049】

次に、通信端末１００ａを所有する会議参加者が会議に参加する際の動作について説明する。会議参加者は通信端末１００ａが備える操作部１０２を用いた操作により、グループ情報を付加して遠隔会議サーバ１２０にグループ通信開始指示を送信する（ステップ３０３）。遠隔会議サーバ１２０は、グループ通信開始指示を受信すると、記憶部１２４の「グループ情報」から指定されたグループに所属するユーザ情報と通信端末情報を取得する。遠隔会議サーバ１２０は、記憶部１２４の「グループ状態情報」に、取得したグループ情報及びユーザ情報を設定する。その後、遠隔会議サーバ１２０は、通信端末１００ａ及び通信端末１００ｂに対して、グループ通信指示を送信する（ステップ３０４）。通信端末１００ａ及び通信端末１００ｂが、グループ通信指示に対して応答操作をすることにより音声グループ通信が開始される。

【0050】

本実施形態における遠隔会議システム１０を用いた、音声グループ通信中のデータの流れについて、図８及び図９を用いて説明する。図８は、本実施形態にかかる遠隔会議システム１０の音声グループ通信のフロー図である。また、図９は、本実施形態にかかる遠隔会議システム１０の通信中のシーケンス図である。

【0051】

まず、図８を用いて音声グループ通信中のデータの流れの概略を説明する。会議参加者が通信端末１００を用いて遠隔会議サーバ１２０に音声を送信する（ステップ２１１）。発言が開始された場合（ステップ２１２の「開始」）、遠隔会議サーバ１２０は、記憶部１２４の「会話情報」に開催グループ情報及び会話ユーザ情報を書き込む。また、遠隔会議サーバ１２０は、受信した音声を記憶部１２４の「会話情報」に音声データとして蓄積を開始する（ステップ２１３）。発言が終了した場合（ステップ２１２の「終了」）、遠隔会議サーバ１２０は、音声データの蓄積を終了し、文字生成部１２３にて音声データを文字データに変換した文字情報を書き込む（ステップ２１４）。遠隔会議サーバ１２０は、通信端末１００ｂに対し、会話ユーザ情報及び文字情報を付加して文字情報通知を送信する（ステップ２１５）。

【0052】

次に、図９を用いて遠隔会議システム１０の通信中のシーケンスを説明する。遠隔会議サーバ１２０は、音声グループ通信中の発言の録音、文字化、通信端末への仲介を行う。会議参加者の発言が始まると、遠隔会議サーバ１２０は通信端末１００より音声を受信する毎にリアルタイムでグループ内における発言者以外の会議参加者の通信端末１００に対して音声を送信する（ステップ３１１）。

【0053】

ステップ３１１の処理と並行して、発言開始時、発言者の変更時及び音声の区切りにおいて、遠隔会議サーバ１２０は、記憶部１２４の「会話情報」に開催グループ情報及び会話ユーザ情報を書き込む。また、遠隔会議サーバ１２０は、受信した音声を記憶部１２４の「会話情報」に音声データとして蓄積を開始し、発言終了時、発言者の変更及び音声の区切りにおいて音声データの蓄積を終了する。遠隔会議サーバ１２０は、文字生成部１２３にて音声データを文字データに変換した文字情報を書き込む（ステップ３１２）。

【0054】

遠隔会議サーバ１２０は、通信端末１００ｂに対し、会話ユーザ情報及び文字情報を付加して文字情報通知を送信する（ステップ３１３）。

【0055】

上述した処理により、文字情報の表示が不可能な通信端末１００ａ及び文字情報の表示が可能な通信端末１００ｂを用いて、音声グループ通信を行い、受信した音声のリアルタイム再生が可能となる。また、図５に示す要旨一覧において会議参加者の発言の要旨を文字情報として表示することにより、会議参加者は他会議参加者の発言を短時間で確認することができる。

【0056】

続いて、本実施形態における遠隔会議システム１０を用いた、会議参加者の発言の要旨登録の流れについて、図１０及び図１１を用いて説明する。図１０は、本実施形態にかかる遠隔会議システム１０の要旨登録時のフロー図である。また、図１１は、本実施形態にかかる遠隔会議システム１０の要旨登録時のシーケンス図である。

【0057】

まず、図１０を用いて会議参加者の発言の要旨登録の流れの概略を説明する。図１０のフロー図に示すとおり、会議参加者が使用する通信端末１００が文字情報の表示が不可能な通信端末１００ａか、文字情報の表示が可能な通信端末１００ｂ、１００ｃかによって処理の流れが異なる。

【0058】

会議参加者が使用する通信端末１００が文字情報の表示が不可能な通信端末１００ａである場合（ステップ２２１のＹＥＳ）、遠隔会議サーバ１２０は音声グループ通信の処理と同様の処理を行う。すなわち、遠隔会議サーバ１２０は通信端末１００ａより音声を受信する毎にリアルタイムに他の通信端末１００に音声を送信し、記憶部１２４に開催グループ情報及び会話ユーザ情報を書き込む。また遠隔会議サーバ１２０は、受信した音声を記憶部１２４に音声データとして蓄積を行うとともに、音声データを文字データに変換した文字情報を書き込む（ステップ２２２）。その後、遠隔会議サーバ１２０は、記憶部１２４の「会話情報」の要旨種別欄に要旨種別情報を書き込む（ステップ２２３）。遠隔会議サーバ１２０は、グループ内における会議参加者の通信端末１００に対して要旨の音声データ又は文字データを送信する。このとき、遠隔会議サーバ１２０は、要旨に加え、要旨確認状態情報を付加した要旨情報通知を送信する（ステップ２２４）。

【0059】

会議参加者が使用する通信端末１００が文字情報の表示が可能な通信端末１００ｂである場合（ステップ２２１のＮＯ）、遠隔会議サーバ１２０は、受信した発言から生成した文字データと一致するレコードを抽出する。通信端末１００ｂは、要旨の種別である要旨種別情報を付加して遠隔会議サーバ１２０に送信し、遠隔会議サーバ１２０は当該レコードの要旨欄に受信した要旨種別情報を書き込んでもよい（ステップ２２５）。遠隔会議サーバ１２０は、グループ内における会議参加者の通信端末１００に対して要旨の音声データ又は文字データを送信する。このとき、遠隔会議サーバ１２０は、要旨に加え、要旨確認状態情報を付加した要旨情報通知を送信する（ステップ２２４）。

【0060】

ここで、図１１を用いて遠隔会議システム１０の要旨登録のシーケンスを説明する。まず、通信端末１００ａを所有する会議参加者が会議に参加する際の動作について説明する。

【0061】

まず、通信端末１００ａを用いる場合について説明する。通信端末１００ａを用いる場合、要旨の登録時に通信端末１００ａが備える操作部１０２の操作により、要旨種別を指定し遠隔会議サーバ１２０に要旨開始指示を送信する（ステップ３２１）。要旨種別は「目的」「決定事項」などが用いられるが、これらに限らない。遠隔会議サーバ１２０は通信端末１００ａより要旨開始指示の受信後に、会議参加者の発言である音声を受信する（ステップ３２２）。

【0062】

このとき、遠隔会議サーバ１２０は、グループ通信中の動作と同様に、発言の録音、文字化、通信端末への仲介を行う。加えて、遠隔会議サーバ１２０は、記憶部１２４の「会話情報」の要旨種別欄２１５に要旨種別情報を書込む。また、記憶部１２４の「グループ状態情報」の要旨確認状態欄に、会議参加者であってグループ通信参加中の者の欄は要旨確認済として書き込む。また、途中参加者や欠席者等のグループ通信未参加の者の欄は要旨未確認として書き込む。要旨の登録終了の判断は発言終了時、発言者の変更及び音声の区切りとしてもよいし、通信端末１００ａが備える操作部１０２の操作をトリガとしてもよい。

【0063】

遠隔会議サーバ１２０は、グループ内における会議参加者の通信端末１００に対して要旨の音声データ又は文字データ及び要旨確認状態情報を付加した要旨情報通知を送信する（ステップ３２３）。

【0064】

次に、通信端末１００ｂを用いる場合について説明する。通信端末１００ｂを用いる場合、要旨の登録時に通信端末１００ａが備える操作部１０２の操作により、要旨種別を指定し遠隔会議サーバ１２０に要旨開始指示を送信する（ステップ３２５）。このとき、遠隔会議サーバ１２０は、通信端末１００ａを用いる場合と同様に記憶部１２４の「会話情報」の要旨種別欄及び「グループ状態情報」の要旨確認状態欄への書き込みを行う。遠隔会議サーバ１２０は、グループ内における会議参加者の通信端末１００に対して要旨の音声データ又は文字データ及び要旨確認状態情報を付加した要旨情報通知を送信する（ステップ３２６）。

【0065】

通信端末１００ａが要旨情報通知を受信した場合、要旨の音声データの再生が可能である。通信端末１００ｂが要旨情報通知を受信した場合、図５に示す要旨一覧のように要旨を文字データ表示及び音声データ再生を行うことによって、グループ通信参加中の会議参加者は要旨確認済及び要旨未確認の者の確認が可能となる。

【0066】

通信端末１００から要旨の再確認を指示する操作を行った場合、通信端末１００の操作部１０２、１０４を用いた再生操作によりサーバへ要旨再生指示を送信することとしてもよい。このとき、遠隔会議サーバ１２０は該当する要旨種別の音声データの送出を行うこととしてもよい。

【0067】

続いて、本実施形態における遠隔会議システム１０を用いた、会議参加者の発言の要旨登録の流れについて、図１２及び図１３を用いて説明する。図１２は、本実施形態にかかる遠隔会議システム１０の途中参加のフロー図である。また、図１３は、本実施形態にかかる遠隔会議システム１０の途中参加のシーケンス図である。

【0068】

まず、図１２を用いて会議への途中参加の流れの概略を説明する。遠隔会議サーバ１２０は、記憶部１２４の「グループ状態情報」から会議の途中参加者が用いる通信端末１００が未確認である要旨を取得し、当該要旨に一致する音声データ又は文字データを取得する（ステップ２３１）。途中参加者が通信端末１００ｂ、１００ｃを用いる場合、要旨を文字データで表示するか、音声データを再生するかを選択できることとしてもよい。途中参加者が通信端末１００ａを用いる場合（ステップ２３２のＹＥＳ）、通信端末１００ａに要旨の音声データを配信する（ステップ２３３）。途中参加者が通信端末１００ｂを用いる場合（ステップ２３２のＮＯ）、通信端末１００ｂに要旨の音声データ又は文字データを配信する（ステップ２３４）。その後、遠隔会議サーバ１２０は、記憶部１２４の「グループ状態情報」の当該途中参加者の要旨確認状態を、確認済として更新する（ステップ２３５）。

【0069】

ここで、図１３を用いて遠隔会議システム１０の途中参加処理のシーケンスを説明する。通信端末１００は操作部１０２，１０４の操作により遠隔会議サーバ１２０にグループ通信参加指示を送信する（ステップ３３１）。遠隔会議サーバ１２０は、通信端末１００よりグループ通信参加指示を受信すると記憶部１２４の「グループ状態情報」の要旨確認状態欄から途中参加者が未確認である要旨を取得する。その後、遠隔会議サーバ１２０は、記憶部１２４の「会話情報」から取得した要旨に一致する音声データ及び文字データを取得する。

【0070】

遠隔会議サーバ１２０は、会議の途中参加者が通信端末１００ａを用いる場合は要旨の音声データを配信する（ステップ３３２）。また、遠隔会議サーバ１２０は、会議の途中参加者が通信端末１００ｂを用いる場合は要旨の音声データ又は文字データを配信する（ステップ３３３、３３４）。その後、遠隔会議サーバ１２０は、記憶部１２４の「グループ状態」当該途中参加者の要旨確認状態を、確認済として更新する。

【0071】

このように、通信端末１００ａは受信した要旨の音声を再生できる。通信端末１００ｂは、図５に示す表示部１０５の表示画面における操作釦を用いることにより、受信した要旨の音声を再生し、または文字情報を確認できる。

【0072】

最後に、本実施形態における遠隔会議システム１０を用いた、要旨未確認である欠席者等に対する要旨通知の流れについて、図１４及び図１５を用いて説明する。図１４は、本実施形態にかかる遠隔会議システム１０の要旨通知のフロー図である。また、図１５は、本実施形態にかかる遠隔会議システム１０の要旨通知のシーケンス図である。

【0073】

まず、図１４を用いて要旨通知の流れの概略を説明する。会議による音声グループ通信が終了すると、遠隔会議サーバ１２０は、会議の欠席者等の要旨未確認の者及び未確認の要旨の音声又は文字データを取得する（ステップ２４１）。そして、遠隔会議サーバ１２０は、当該未確認の者が用いる通信端末１００に対して要旨通知を通知する（ステップ２４２）。要旨未確認の者が通信端末１００ａを用いる場合（ステップ２４３のＹＥＳ）、通信端末１００ａに要旨の音声データを配信する（ステップ２４４）。要旨未確認の者が通信端末１００ｂを用いる場合（ステップ２４３のＮＯ）、通信端末１００ｂに要旨の音声データ又は文字データを配信する（ステップ２４５）。欠席者が通信端末１００ｂ、１００ｃを用いる場合、要旨を文字データで表示するか、音声データを再生するかを選択できることとしてもよい。遠隔会議サーバ１２０は、記憶部１２４の「グループ状態情報」の当該要旨未確認の者の要旨確認状態を、確認済として更新する（ステップ２４６）。

【0074】

ここで、図１５を用いて要旨未確認である欠席者等に対する要旨通知の流れのシーケンスを説明する。遠隔会議サーバ１２０は、会議による音声グループ通信が終了すると、記憶部１２４の「グループ状態情報」の要旨確認状態欄から要旨を未確認であるユーザ情報を取得する。その後、遠隔会議サーバ１２０は、記憶部１２４の「会話情報」から取得した要旨に一致する音声データ及び文字データを取得する。

【0075】

遠隔会議サーバ１２０は、要旨未確認の者が用いる通信端末１００に要旨通知を通知する（ステップ３４１）。遠隔会議サーバ１２０は、通信端末１００ａに要旨を配信する場合は要旨の音声データを配信し（ステップ３４２）、通信端末１００ｂに要旨を配信する場合は、要旨の音声データ又は文字データを配信する（ステップ３４３、３４４）。

【0076】

通信端末１００は、操作部１０２、１０４を用いて、受信した要旨の音声を再旨の操作、要旨の文字情報表示する旨の操作又は表示部１０５の確認釦を押下することにより、遠隔会議サーバ１２０に対して要旨確認通知を行ってもよい（ステップ３４５）。このとき、遠隔会議サーバ１２０は、記憶部１２４の「グループ状態情報」の当該要旨未確認の者の要旨確認状態を、確認済として更新する。

【0077】

このように、会議欠席者等は会議における発言の要旨の把握ができる。また、他の会議参加者等は、要旨を未確認である者の把握及び、要旨未確認の者が要旨を確認したか否かの把握をすることができる。

【0078】

遠隔会議サーバ１２０は、会議による音声グループ通信が終了すると、記憶部１２４の「会話情報」の要旨種別欄に要旨がある旨の表示がされている会話ユーザ情報及び文字情報を取得し、独立して文書データを作成してもよい。作成した文書データを、他の通信端末１００から参照できる形態とすることによって、開催グループ内で共有することができる。また、文書データから会議の議事録を作成する等の活用もできる。

【0079】

本実施形態における遠隔会議システム１０を用いることにより、会議欠席者や途中参加者が短時間で会議参加者の発言の内容を把握できる。欠席者等が通信端末１００を用いることにより、発言内容の要旨を音声データによって確認するか文字データによって確認するか選択できるからである。また、文字情報の表示が不可能な通信端末１００ａを用いる場合であっても要旨の音声データによって把握できる。

【0080】

また、本実施形態における遠隔会議システム１０は、会議参加者の発言を、発言の都度要旨を音声データ及び文字データとして作成する。すなわち、途中参加者を検知することなく要旨を作成するため、会議の途中参加者が会議不在期間の要旨を確認できるのみならず、欠席者も要旨を確認することができる。

【0081】

＜その他の実施形態＞
実施形態２における遠隔会議システム１０では、遠隔会議サーバ１２０は、記憶部１２４の「会話情報」に会議参加者の発言ごとに音声データを蓄積していたが、グループに属する会議参加者の一連の発言を音声データとして蓄積してもよい。この場合、遠隔会議サーバ１２０は、記憶部１２４の「会話情報」に、会話毎の会話開始時間欄及び会話時間欄を更に設け、通信端末１００からの会話開始時の会話開始時間データを送信してもよい。

【0082】

また、実施形態２における遠隔会議システム１０では、遠隔会議サーバ１２０の文字生成部１２３は、発言の音声から文字データを生成するが、別途の装置やインタフェースを設け、生成した文字データを編集できることとしてもよい。また、通信端末１００ｂ、１００ｃを用いて文字データを編集できることとしてもよい。この場合、会議の音声から正しく文字データを作成できていなかった場合にも、文字データの修正ができる。

【0083】

上述の実施形態では、本開示についてハードウェアを用いるものとして説明したが、本開示はこれに限定されるものではない。本開示における遠隔会議装置１は、例えば、遠隔会議方法としての実施形態を備える。すなわち遠隔会議方法としては、会議参加者が用いる通信端末から、前記会議参加者の発言を受信するステップと、前記発言を、音声データとして録音するステップと、前記発言から文字データを生成するステップと、会議参加者が参加すると、前記音声データ及び前記文字データの要旨を作成するステップと、前記通信端末に対して、前記要旨を音声データ及び文字データの少なくとも一方を配信するステップを採りうる。

【0084】

上記の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体は、例えば、磁気記録媒体、光磁気記録媒体、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）などである。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0085】

上記プログラムは、会議参加者が用いる通信端末から、前記会議参加者の発言を受信する処理と、前記発言を、音声データとして録音する処理と、前記発言から文字データを生成する処理と、会議参加者が参加すると、前記音声データ及び前記文字データの要旨を作成する処理と、前記通信端末に対して、前記要旨を音声データ及び文字データの少なくとも一方を配信する処理とを情報処理装置に実行させるプログラムである。

【0086】

以上、図面を参照して、本開示の実施の形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、本開示の要旨を逸脱しない範囲内において様々な設計変更等が可能である。

【符号の説明】

【0087】

１ 遠隔会議装置
３ 受信部
４、１２２ 録音部
５ 文字生成部
６ 要約部
７ 送信部
１０ 遠隔会議システム
２、１００ａ、１００ｂ、１００ｃ 通信端末
１０１、１０３ 音声通信部
１０２、１０４ 操作部
１０５ 表示部
１０６、１２５ 制御部
１１０、１１１ ネットワーク
１２０ 遠隔会議サーバ
１２３ 文字生成部
１２４ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】