特開 2023-123080 機器管理システム、情報処理システム、機器管理方法、プログラム、機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023123080

(43)【公開日】2023-09-05

(54)【発明の名称】機器管理システム、情報処理システム、機器管理方法、プログラム、機器

(51)【国際特許分類】

   H04N 7/15 20060101AFI20230829BHJP

   H04N 21/436 20110101ALI20230829BHJP

   H04L 67/141 20220101ALI20230829BHJP

【ＦＩ】

H04N7/15 120

H04N21/436

H04L67/141

【審査請求】未請求

【請求項の数】21

【出願形態】ＯＬ

(21)【出願番号】P 2022026944

(22)【出願日】2022-02-24

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】猪上 綾乃

(72)【発明者】

【氏名】藤岡 進

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA10

5C164UB71P

5C164VA10S

5C164VA42P

5C164VA45P

(57)【要約】

【課題】コミュニケーションに関する情報を処理する機器をコミュニケーションに利用可能にする機器管理システムを提供すること。
【解決手段】本発明は、コミュニケーションに関する情報を処理する複数の機器と情報処理システムとを有する機器管理システム１００であって、第一の機器２は、前記第一の機器の機器識別情報を出力する出力部を有し、端末装置１０と通信可能な第二の機器６０は、前記第一の機器が出力した前記機器識別情報を取得する取得部と、前記機器識別情報を前記端末装置に送信する端末通信部と、を有し、前記情報処理システムは、前記端末装置から前記機器識別情報を受信する通信部と、前記機器識別情報の受信に応じて、前記第一の機器をコミュニケーションに利用可能にする機器管理部と、を有することを特徴とする。
【選択図】図２

【特許請求の範囲】

【請求項1】

コミュニケーションに関する情報を処理する複数の機器と情報処理システムとを有する機器管理システムであって、
第一の機器は、
前記第一の機器の機器識別情報を出力する出力部を有し、
端末装置と通信可能な第二の機器は、
前記第一の機器が出力した前記機器識別情報を取得する取得部と、
前記機器識別情報を前記端末装置に送信する端末通信部と、を有し、
前記情報処理システムは、
前記端末装置から前記機器識別情報を受信する通信部と、
前記機器識別情報の受信に応じて、前記第一の機器をコミュニケーションに利用可能にする機器管理部と、
を有することを特徴とする機器管理システム。

【請求項2】

前記機器識別情報の受信に応じて前記コミュニケーションの識別情報を発行するコミュニケーション管理部を有し、
前記通信部は、前記コミュニケーションの識別情報を、前記第一の機器と前記端末装置に送信することを特徴とする請求項１に記載の機器管理システム。

【請求項3】

前記機器管理部は、前記コミュニケーションの識別情報に、前記機器識別情報と、前記端末装置から送信された前記第一の機器の識別情報を対応付けて保存することで前記第一の機器をコミュニケーションに利用可能にすることを特徴とする請求項２に記載の機器管理システム。

【請求項4】

前記第一の機器は、前記コミュニケーションの識別情報に対応付けて前記第一の機器が表示したオブジェクト情報を前記情報処理システムに送信し、
前記情報処理システムは、前記端末装置が前記第二の機器から受信した周囲の画像データと前記コミュニケーションの識別情報を前記端末装置から受信し、
前記情報処理システムは、前記オブジェクト情報と前記周囲の画像データを、前記コミュニケーションの識別情報に対応付けて保存することを特徴とする請求項１～３のいずれか１項に記載の機器管理システム。

【請求項5】

前記出力部は、前記機器識別情報が符号化された二次元コード又はバーコードを表示し、
前記取得部は、前記二次元コード又は前記バーコードを撮像し、
前記通信部は、前記二次元コード又は前記バーコードから復号された前記機器識別情報を前記端末装置から受信することを特徴とする請求項１～４のいずれか１項に記載の機器管理システム。

【請求項6】

前記出力部は、前記二次元コード又は前記バーコードを、前記第一の機器の表示画面の中心線よりも上方に表示させることを特徴とする請求項５に記載の機器管理システム。

【請求項7】

前記出力部は、前記二次元コード又は前記バーコードの中心を、前記第一の機器の表示画面の中心線よりも上方に表示させることを特徴とする請求項５に記載の機器管理システム。

【請求項8】

前記出力部は、前記機器識別情報が符号化された音信号を出力し、
前記取得部は、前記音信号を集音し、
前記通信部は、前記音信号から復号された前記機器識別情報を前記端末装置から受信することを特徴とする請求項１～４のいずれか１項に記載の機器管理システム。

【請求項9】

前記出力部は、超音波の周波数により伝達される前記音信号を出力する、ことを特徴とする請求項８に記載の機器管理システム。

【請求項10】

前記端末装置は、前記第二の機器と通信するアプリが起動してからの時間を測定する時間測定部を有し、
前記時間測定部が一定時間を測定しても、前記取得部が前記機器識別情報を取得しない場合、前記機器識別情報が取得されない旨を表示することを特徴とする請求項１～９のいずれか１項に記載の機器管理システム。

【請求項11】

前記端末装置は、前記第二の機器から受信した周囲の画像データを録画する録画制御部と、
前記周囲の画像データの録画を終了する旨を検知する終了検知部を有し、
前記終了検知部が検知した録画を終了する旨を前記情報処理システムに送信し、
前記情報処理システムは、前記第一の機器に前記オブジェクト情報の記録が終了する旨を通知することを特徴とする請求項４に記載の機器管理システム。

【請求項12】

前記終了検知部は、前記端末装置が表示した録画終了ボタンの押下に応じて、録画を終了する旨を検知することを特徴とする請求項１１に記載の機器管理システム。

【請求項13】

前記終了検知部は、前記端末装置が前記第二の機器から受信した周囲の画像データに写っている二次元コード又はバーコードに基づいて、前記第一の機器の形状を特定しておき、
前記第二の機器から繰り返し送信される周囲の画像データから前記第一の機器を検出できない場合、録画を終了する旨を検知することを特徴とする請求項１１に記載の機器管理システム。

【請求項14】

前記第二の機器は前記第一の機器が出力する音信号を集音しており、
前記終了検知部は、前記端末装置が前記第二の機器から受信した前記音信号から所定の周波数の音信号を検出できない場合、録画を終了する旨を検知することを特徴とする請求項１１に記載の機器管理システム。

【請求項15】

前記端末装置と前記第二の機器は有線ケーブルで接続されており、
前記終了検知部は、前記端末装置が前記有線ケーブルの引き抜きを検知した場合、録画を終了する旨を検知することを特徴とする請求項１１に記載の機器管理システム。

【請求項16】

前記第一の機器は、前記オブジェクト情報の記録が終了する旨を受信した場合、前記第一の機器が表示するオブジェクト情報の記録を終了するか否かを受け付ける表示部品を表示し、
記録を終了する旨を受け付けた場合、前記第一の機器は、前記第一の機器が表示した前記オブジェクト情報の前記情報処理システムへの送信を終了することを特徴とする請求項１１～１５のいずれか１項に記載の機器管理システム。

【請求項17】

コミュニケーションに関する情報を処理する第一の機器と端末装置と通信する情報処理システムであって、
前記第一の機器が出力し、前記端末装置と通信可能な第二の機器が取得した機器識別情報を、前記端末装置から受信する通信部と、
前記機器識別情報の受信に応じて、前記第一の機器をコミュニケーションに利用可能にする機器管理部と、
を有することを特徴とする情報処理システム。

【請求項18】

コミュニケーションに関する情報を処理する第一の機器と端末装置と通信する情報処理システムが行う機器管理方法であって、
通信部が、前記第一の機器が出力し、前記端末装置と通信可能な第二の機器が取得した機器識別情報を、前記端末装置から受信するステップと、
機器管理部が、前記機器識別情報の受信に応じて、前記第一の機器をコミュニケーションに利用可能にするステップと、
を有することを特徴とする機器管理方法。

【請求項19】

コミュニケーションに関する情報を処理する第一の機器と端末装置と通信する情報処理システムを、
前記第一の機器が出力し、前記端末装置と通信可能な第二の機器が取得した機器識別情報を、前記端末装置から受信する通信部と、
前記機器識別情報の受信に応じて、前記第一の機器をコミュニケーションに利用可能にする機器管理部、
として機能させるためのプログラム。

【請求項20】

コミュニケーションに関する情報を処理する機器であって、
コミュニケーションに利用される他の機器から出力された機器識別情報を取得する取得部と、
前記機器識別情報を受信したことに応じて情報処理システムが前記他の機器をコミュニケーションに利用可能にするために、前記機器識別情報を前記情報処理システムに送信する端末通信部と
を有することを特徴とする機器。

【請求項21】

端末装置と通信可能であり、コミュニケーションに関する情報を処理する機器であって、
コミュニケーションに利用される他の機器から出力された機器識別情報を取得する取得部と、
前記端末装置から前記機器識別情報を受信したことに応じて情報処理システムが前記他の機器をコミュニケーションに利用可能にするために、前記機器識別情報を前記端末装置に送信する端末通信部と、
を有することを特徴とする機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機器管理システム、情報処理システム、機器管理方法、プログラム及び機器に関する。

【背景技術】

【0002】

一方の拠点から１つ以上の他の拠点にリアルタイムに画像や音声を送信することで、遠隔地にいるユーザー同士が会議を行う遠隔コミュニケーションシステムが知られている。遠隔コミュニケーションでは電子黒板などの機器が使用される場合がある。

【0003】

会議への参加者の認証を容易にする技術が知られている（例えば、特許文献１参照。）。特許文献１には、自装置の周囲を撮像して映像データを生成する撮像手段を有し、撮像手段は、画像データ化された参加証を読み込み、画像データ化された参加証を解析して会議への参加を受け付けるシステムが開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の技術では、コミュニケーションに関する情報を処理する機器をコミュニケーションに利用可能にする作業が必要であるという問題があった。例えば、会議で電子黒板が使用される場合、電子黒板に手書きされたデータを会議に対応付けて保存するには、参加者等が電子黒板を会議に対応付ける作業が必要である。

【0005】

本発明は、上記課題に鑑み、コミュニケーションに関する情報を処理する機器をコミュニケーションに利用可能にする機器管理システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題に鑑み、本発明は、コミュニケーションに関する情報を処理する複数の機器と情報処理システムとを有する機器管理システムであって、
第一の機器は、前記第一の機器の機器識別情報を出力する出力部を有し、
端末装置と通信可能な第二の機器は、前記第一の機器が出力した前記機器識別情報を取得する取得部と、前記機器識別情報を前記端末装置に送信する端末通信部と、を有し、
前記情報処理システムは、前記端末装置から前記機器識別情報を受信する通信部と、 前記機器識別情報の受信に応じて、前記第一の機器をコミュニケーションに利用可能にする機器管理部と、を有することを特徴とする。

【発明の効果】

【0007】

コミュニケーションに関する情報を処理する機器を利用可能にする機器管理システムを提供することができる。

【図面の簡単な説明】

【0008】

【図1】遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。

【図2】情報処理システムが電子黒板とミーティングデバイスを対応付ける処理の概略を説明する図である。

【図3】記録情報作成システムの構成例を示す図である。

【図4】情報処理システム及び端末装置のハードウェア構成例を示す図である。

【図5】ミーティングデバイスのハードウェア構成例を示す図である。

【図6】ミーティングデバイスの撮像範囲を説明する図である。

【図7】パノラマ画像と話者画像の切り出しを説明する図である。

【図8】電子黒板の一例のハードウェア構成図である。

【図9】記録情報作成システムにおける端末装置、ミーティングデバイス、及び、情報処理システムの機能をブロックに分けて説明する機能ブロック図の一例である。

【図10】情報記憶部が記憶している動画記録情報の一例を示す図である。

【図11】コミュニケーション管理部が管理する会議情報の一例を示す図である。

【図12】対応付け情報記憶部に記憶された、会議ＩＤと機器識別情報とが対応付けられた対応付け情報の一例を示す図である。

【図13】電子黒板の機能をブロックに分けて説明する機能ブロック図の一例である。

【図14】機器情報記憶部に記憶されている機器識別情報等の一例を示す図である。

【図15】オブジェクト情報記憶部に保存されているオブジェクト情報を説明する図である。

【図16】端末装置で動作する情報記録アプリが表示するログイン後の初期画面の一例を示す図である。

【図17】情報記録アプリが表示する録画設定画面の一例を示す図である。

【図18】情報記録アプリが録画中に表示する録画中画面の一例を示す図である。

【図19】情報記録アプリが表示する会議一覧画面の一例を示す図である。

【図20】記録情報作成システムがミーティングデバイスと電子黒板を対応付ける処理を説明するシーケンス図の一例である。

【図21】ユーザーが端末装置で動作する情報記録アプリを操作して情報処理システムにログインする手順又は処理を説明するシーケンス図の一例である。

【図22】情報処理システムの動作を説明するフローチャート図の一例である。

【図23】端末装置の情報記録アプリが表示するメッセージの一例を示す図である。

【図24】電子黒板が表示する二次元コードの表示方法の一例を示す図である。

【図25】電子黒板が表示する二次元コードの表示方法の一例を示す図である。

【図26】電子黒板が表示する二次元コードの表示方法の一例を示す図である。

【図27】電子黒板が表示する二次元コードの表示方法の一例を示す図である。

【図28】電子黒板が表示する二次元コードの表示方法の一例を示す図である。

【図29】電子黒板が表示する二次元コードの表示方法の一例を示す図である。

【図30】ミーティングデバイスが有するカメラが半球カメラである場合に、電子黒板が表示する二次元コードの表示方法の一例を示す図である。

【図31】電子黒板が表示するバーコードの表示方法の一例を示す図である。

【図32】情報記録アプリがパノラマ画像、話者画像及びアプリの画面を録画する手順を示すシーケンス図の一例である。

【図33】記録情報作成システムにおける端末装置、ミーティングデバイス、及び、情報処理システムの機能をブロックに分けて説明する機能ブロック図の一例である（実施例２）。

【図34】電子黒板の機能をブロックに分けて説明する機能ブロック図の一例である（実施例２）。

【図35】機器識別情報の伝達に使用される音の周波数とビットパターンの一例を示す図である。

【図36】機器識別情報の１文字を表す周波数のパターンの一例を示す図である。

【図37】記録情報作成システムが行う処理を説明するシーケンス図の一例である。

【図38】超音波の場合の周波数とビットデータの対応の一例を示す図である。

【図39】記録情報作成システムが会議における記録を終了する際の処理を説明するシーケンス図の一例である。

【図40】電子黒板が表示する会議終了通知画面の一例を示す図である。

【図41】記録情報作成システムにおける端末装置、ミーティングデバイス、及び、情報処理システムの機能をブロックに分けて説明する機能ブロック図の一例である（実施例４）。

【図42】パノラマ画像から検出された電子黒板２の形状の画像の一例を示す図である。

【図43】記録情報作成システムが会議における記録を終了する際の処理を説明するシーケンス図である（実施例４）。

【図44】記録情報作成システムにおける端末装置、ミーティングデバイス、及び、情報処理システムの機能をブロックに分けて説明する機能ブロック図の一例である（実施例５）。

【図45】記録情報作成システムが会議における記録を終了する際の処理を説明するシーケンス図の一例である（実施例５）。

【発明を実施するための形態】

【0009】

以下、本発明を実施するための形態の一例として、機器管理システムと機器管理システムが行う機器管理方法について説明する。

【実施例0010】

＜遠隔会議における議事録の作成方法の一例＞
まず、図１を参照して、パノラマ画像とアプリの画面を用いた議事録の作成方法の概略を説明する。図１は、遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。図１に示すように、図示する自拠点１０２にいるユーザーが遠隔会議サービスシステム９０を利用して、他の拠点１０１と遠隔会議を行っている。

【0011】

本実施形態の記録情報作成システム１００は、マイクとスピーカを備えたミーティングデバイス６０が撮像した水平パノラマ画像（以下、パノラマ画像という）と、端末装置１０が実行するアプリケーション（以下、アプリという）が作成する画面と、を用いて、記録情報（議事録）を作成する。音声については、記録情報作成システム１００は、遠隔会議アプリ４２が受信する音声と、ミーティングデバイス６０が取得する音声とを合成して、記録情報に含める。以下、概略を説明する。

【0012】

(1) 端末装置１０では、後述する情報記録アプリ４１と遠隔会議アプリ４２とが動作している。この他、資料表示用のアプリなども動作していてよい。情報記録アプリ４１は、端末装置１０が出力する音声（遠隔会議アプリ４２が他拠点から受信した音声を含む。）をミーティングデバイス６０（第二の機器、機器の一例）に送信する。ミーティングデバイス６０は、自身が取得している音声と、遠隔会議アプリ４２の音声とをミキシング（合成）する。

【0013】

(2) ミーティングデバイス６０はマイクを備え、音声を取得した方向に基づき、パノラマ画像から話者を切り出す処理を行い、話者画像を作成する。ミーティングデバイス６０は、パノラマ画像と話者画像の両方を端末装置１０に送信する。

【0014】

(3) 端末装置１０で動作する情報記録アプリ４１は、パノラマ画像２０３と話者画像２０４を表示できる。情報記録アプリ４１は、ユーザーが選択した任意のアプリ画面（例えば遠隔会議アプリ４２の画面１０３）と、パノラマ画像２０３と話者画像２０４と、を結合する。例えば、左側にパノラマ画像２０３と話者画像２０４、右側に遠隔会議アプリ４２の画面１０３が配置されるように、パノラマ画像２０３、話者画像２０４、アプリの画面１０３を結合する（以下、結合画像１０５という）。(3)の処理は繰り返し実行されるので、結合画像１０５は動画となる（以下、結合画像動画という）。また、情報記録アプリ４１は、結合画像動画に合成された音声を結合して音声付きの動画を作成する。

【0015】

なお、本実施形態では、パノラマ画像２０３、話者画像２０４、アプリの画面１０３を結合する例を説明するが、情報記録アプリ４１がこれらを別々に保存し、再生時に画面に配置してもよい。

【0016】

(4) 情報記録アプリ４１は、編集作業（ユーザーによる不要箇所のカット）を受け付け、結合画像動画を完成させる。結合画像動画は記録情報の一部を構成する。

【0017】

(5) 情報記録アプリ４１は、作成した結合画像動画（音声付き）をストレージサービスシステム７０に送信し保存しておく。

【0018】

(6) また、情報記録アプリ４１は、結合画像動画から音声のみを抽出しておき（結合前の音声を取っておいてもよい）、抽出した音声を、情報処理システム５０に送信する。情報処理システム５０は音声をテキストデータに変換する音声認識サービスシステム８０に送信し、音声をテキスト化する。テキストデータには、録画開始から何分後に話したか、というデータも含まれる。

【0019】

なお、リアルタイムのテキスト化の場合、ミーティングデバイス６０が情報処理システム５０に直接音声を送信する。情報処理システム５０は音声認識により得られたテキストデータをリアルタイムに情報記録アプリ４１に送信する。

【0020】

(7) 情報処理システム５０は、結合画像動画を格納したストレージサービスシステム７０に、テキストデータを追加で格納する。テキストデータは記録情報の一部を構成する。

【0021】

なお、情報処理システム５０は、ユーザーに対し利用したサービスに応じた課金処理を実行できる。例えば、課金はテキストデータ量、結合画像動画のファイルサイズ、処理時間などに基づいて算出される。

【0022】

このように、結合画像動画には、ユーザーを含む周囲のパノラマ画像や話者画像が表示され、更に、遠隔会議アプリ４２など、遠隔会議中に表示されたアプリの画面が表示される。遠隔会議の参加者や参加者でない者が、結合画像動画を議事録として閲覧した場合、遠隔会議中の様子が臨場感と共に再現される。

【0023】

＜処理の概略＞
続いて、図２を参照して、電子黒板２とミーティングデバイス６０の対応付け処理について説明する。図２は、情報処理システム５０が電子黒板２とミーティングデバイス６０を対応付ける処理の概略を説明する図である。

【0024】

(1) 電子黒板２（第一の機器、他の機器の一例）が設置されている会議室に参加者がミーティングデバイス６０を持参して机の上に置く。したがって、ミーティングデバイス６０が電子黒板２の近くに置かれる。

【0025】

(2) ミーティングデバイス６０が電子黒板２の機器識別情報が埋め込まれた二次元コードを撮像し、画像データを端末装置１０に送信する。

【0026】

(3) 端末装置１０は画像データから機器識別情報を検出し、情報処理システム５０に送信する。

【0027】

(4) 情報処理システム５０は、機器識別情報を受信すると、会議ＩＤを発行し、電子黒板２の機器識別情報を会議ＩＤに対応付ける。

【0028】

なお、情報処理システム５０が会議ＩＤを発行するタイミングはこれに限定されず、例えば、ユーザーの操作により事前に発行していてもよいし、スケジューラーと連携して、会議開始時刻に自動的に発行してもよい。

【0029】

(5) 情報処理システム５０は電子黒板２と端末装置１０に、会議ＩＤを含めた登録完了を送信する。電子黒板２と端末装置１０は、会議ＩＤを指定して情報処理システム５０と通信することで、それぞれが扱うデータを同じ会議に対応付けることができる。情報処理システム５０はミーティングデバイス６０が取得した画像データ（パノラマ画像と話者画像）と音声データ、及び、電子黒板２に対する手書きデータ等を会議ＩＤに対応付けて記録する。

【0030】

このように、本実施形態の記録情報作成システム１００は、会議室で使用される機器の機器識別情報をミーティングデバイス６０が取得して端末装置１０が情報処理システム５０へ送信することで、情報処理システム５０が機器を会議で使用される装置として対応付けることができる。情報処理システム５０と通信する端末装置１０にはミーティングデバイス６０が接続されているので、会議にはミーティングデバイス６０も対応付けられる。ユーザーがカメラで機器が表示する二次元コードを撮像したり、情報処理システム５０に機器とミーティングデバイス６０を会議のために登録したりする必要もなく、ユーザーの作業を最小限に抑制して複数の機器（ミーティングデバイス６０、電子黒板２）を対応付けることができる（利用可能にすることができる）。「利用可能にする」例としては様々な処理が考えられ、電子黒板が会議に使用される機器とする、電子黒板が情報処理システム５０に手書きのストロークデータや画像等を送信できるようにする、電子黒板の情報を用いて議事録を作成できるようにする、電子黒板と会議を紐付ける、電子黒板と情報処理システム５０との間でデータの送受信ができるようにする、クラウド電子黒板サービス（遠隔会議中の端末装置間で同一の画面にストローク等を書き合うサービス）に電子黒板を参加させる、等々の処理が「利用可能にすること」に含まれる。また、電子黒板を会議で利用可能にすると、その電子黒板は同時刻に行われる他の会議に参加できなくすることもできる。また、電子黒板を会議で利用可能にすると、情報処理システム等が作成する会議の議事録に電子黒板の表示情報や書き込み情報（ストローク情報）等を含めることができる。

【0031】

＜用語について＞
アプリケーション（アプリ）とは、ある特定の機能や目的のために開発・使用されるソフトウェアで、コンピュータの操作自体のためのもの（ＯＳ：オペレーティングシステム）ではないものである。アプリケーションにはネイティブアプリとＷｅｂアプリがある。

【0032】

実行中のアプリとは、アプリが起動されてから終了されるまでの間の状態のアプリをいう。アプリはアクティブ（最も手前にあるアプリ）でなくてもよく、バックグラウンドで動作していればよい。

【0033】

ミーティングデバイス６０が取得した周囲の画像は、水平方向に通常の画角より広い画角で撮像された画像をいう。本実施形態では、周囲の画像は、パノラマ画像という用語で説明される。パノラマ画像はおおむね水平方向に１８０°～３６０°の画角がある画像である。ミーティングデバイスは１台でパノラマ画像を撮像しなくてもよく、通常の画角の撮像装置が複数個、組み合わされていてもよい。

【0034】

記録情報とは、情報記録アプリ４１が記録する情報である。情報記録アプリ４１が遠隔会議アプリ４２の画面を録画した場合、記録情報が議事録となる場合がある。記録情報は、例えば、結合画像動画（音声を含む）及び音声が音声認識されたテキストデータを含む。

【0035】

テナントとは、サービスの提供者からサービスを受けることを契約したユーザーのグループ（企業や自治体、これらの一部の組織等）である。本実施形態の記録情報の作成やテキストデータへの変換は、テナントがサービス提供元と契約しているために実行される。

【0036】

遠隔コミュニケーションとは、物理的に離れた拠点にいる相手と、ソフトウェアや端末装置を活用することによって音声や映像を通じたコミュニケーションを取ることをいう。遠隔コミュニケーションの一例に遠隔会議があり、会議は、会合、ミーティング、打ち合わせ、集会、寄り合い、集まり、セミナーは、講習会、勉強会、ゼミ、研修会等と呼ばれてもよい。

【0037】

拠点とは、活動のよりどころとする場所をいう。拠点の例として会議室がある。会議室は、主に会議に使用することを目的に設置された部屋のことである。

【0038】

音声とは人間が発する言語音や周囲の音等であり、音声データは音声をデータ化したものであるが、本実施形態では、厳密に区別せずに説明する。

【0039】

第一の機器は、情報を表示する装置であればよい。本実施形態では電子黒板という用語で説明される。電子黒板は、電子ホワイトボード、電子情報ボード、などと呼ばれてよい。電子黒板２と同等の装置としてプロジェクタが知られている。この他、第一の機器は、デジタルサイネージ、テレビ、ディスプレイ、複合機、テレビ会議端末などでもよい。

【0040】

コミュニケーションに関する情報は、会議などのコミュニケーションにおいて記録される情報であり、例えば、電子黒板が表示する情報、撮像装置が撮像する画像、話者の音声、等である。コミュニケーションに関する情報を処理する機器の一例は、電子黒板２やミーティングデバイス６０等である。ミーティングデバイス６０は撮像装置を有していればよい。

【0041】

第一の機器と前記端末装置に送信される同じ識別情報は、コミュニケーションにおいて複数の機器を対応付ける情報である。同じ識別情報は、どのような情報でもよいが本実施形態では、会議ＩＤという用語で説明される。

【0042】

＜システム構成例＞
続いて、図３を参照して、記録情報作成システム１００のシステム構成を説明する。図３は、記録情報作成システム１００の構成例を示す。図３では、遠隔会議を行う複数の拠点のうち１つの拠点（自拠点１０２）を示し、自拠点１０２における端末装置１０がネットワークを介して情報処理システム５０と、ストレージサービスシステム７０と、遠隔会議サービスシステム９０と、通信する。自拠点１０２には更に、ミーティングデバイス６０と電子黒板２が配置され、端末装置１０はこのミーティングデバイス６０とＵＳＢケーブル等を介して通信可能に接続されている。なお、ミーティングデバイス６０、電子黒板２及び情報処理システム５０が機器管理システムとして動作する。

【0043】

端末装置１０では、少なくとも情報記録アプリ４１と遠隔会議アプリ４２とが動作する。遠隔会議アプリ４２は、他の拠点１０１の端末装置１０とネットワーク上の遠隔会議サービスシステム９０を介して通信することができ、各拠点のユーザー同士が遠隔地から会議できるようになっている。情報記録アプリ４１は、遠隔会議アプリ４２が実施する遠隔会議における記録情報を、情報処理システム５０及びミーティングデバイス６０の機能を使って作成する。

【0044】

なお、本実施形態では、遠隔会議中の記録情報を作成する例を説明するが、会議は、遠隔の拠点と通信する会議でなくてもよい。つまり、会議は１拠点内の参加者のみが参加する会議でもよい。この場合、ミーティングデバイス６０が撮像する画像と集音した音声がそれぞれ合成なしに保存される他、情報記録アプリ４１の処理に変更はない。

【0045】

端末装置１０には通常の画角のカメラが内蔵されており（外付けでもよい）、端末装置１０を操作するユーザー１０７を含む正面の画像を撮像している。通常の画角とは、パノラマ画像でない画像であるが、本実施形態では、主に全天球画像のように曲面でない平面画像である。したがって、ユーザーは、情報記録アプリ４１を意識することなく、遠隔会議アプリ４２を使用した従来の遠隔会議が可能である。情報記録アプリ４１やミーティングデバイス６０は、端末装置１０の処理負荷増を除けば遠隔会議アプリ４２に影響を与えない。なお、遠隔会議アプリ４２はミーティングデバイス６０が撮像するパノラマ画像や話者画像を遠隔会議サービスシステム９０に送信することも可能である。

【0046】

情報記録アプリ４１はミーティングデバイス６０と通信して記録情報を作成する。情報記録アプリ４１はまた、ミーティングデバイス６０が取得した音声と遠隔会議アプリ４２が他の拠点から受信した音声との合成等を行う。ミーティングデバイス６０は、パノラマ画像の撮像装置、マイク、及び、スピーカを備えたミーティング用のデバイスである。端末装置１０が有するカメラは正面の限られた範囲しか撮像できないが、ミーティングデバイス６０はミーティングデバイス６０を囲む全周囲（必ずしも全周囲でなくてもよい）を撮像できる。ミーティングデバイス６０は図３に示す複数の参加者１０６を常に画角に収めることができる。

【0047】

この他、ミーティングデバイス６０は、パノラマ画像からの話者画像の切り出し等を行う。なお、ミーティングデバイス６０は、机の上に限らず自拠点１０２のどこに配置されてもよい。ミーティングデバイス６０は全天球画像を撮像できるので、例えば天井に配置されてもよい。

【0048】

情報記録アプリ４１は、端末装置１０で実行中のアプリの一覧表示、上記した記録情報のための画像合成（結合画像動画の作成）、結合画像動画の再生、編集の受け付け等を行う。また、情報記録アプリ４１は、実施された又はこれから実施される予定の遠隔会議のリスト表示、等を行う。遠隔会議のリストは、記録情報に関する情報に使用され、ユーザーが遠隔会議と記録情報とを結びつけることができる。

【0049】

遠隔会議アプリ４２は、他の拠点１０１との通信接続、他の拠点１０１との画像及び音声の送受信、画像の表示や音声の出力等を行う。

【0050】

なお、情報記録アプリ４１及び遠隔会議アプリ４２はＷｅｂアプリでもネイティブアプリでもよい。Ｗｅｂアプリとは、Ｗｅｂサーバー上のプログラムとＷｅｂブラウザ上のプログラムが協働して処理を行うアプリであり、端末装置１０へのインストールが不要なアプリである。ネイティブアプリとは、端末装置１０にインストールして利用されるアプリである。本実施形態では、両者ともネイティブアプリであるとして説明する。

【0051】

端末装置１０は、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末等、通信機能を備えた汎用的な情報処理装置でよい。端末装置１０は、この他、電子黒板２、ゲーム機、ＰＤＡ（Personal Digital Assistant）、ウェアラブルＰＣ、カーナビ、産業機械、医療機器、ネットワーク家電等でもよい。端末装置１０は情報記録アプリ４１と遠隔会議アプリ４２が動作する装置であればよい。

【0052】

電子黒板２は、ペンや指等の入力手段でタッチパネルに手書きされたデータをディスプレイに表示する。電子黒板２は、有線又は無線で端末装置１０等と通信することができ、端末装置１０が表示する画面を取り込んでディスプレイに表示することができる。電子黒板２は、手書きデータをテキストデータに変換したり、他の拠点の電子黒板２とディスプレイに表示される情報を共有したりすることができる。電子黒板２は、タッチパネルを有さない単なる白板にプロジェクタが映像を投影する形態のものでもよい。また、電子黒板２は、タッチパネルを備えたタブレット端末、ノートＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistant）、ゲーム機等でもよい。

【0053】

電子黒板２は、情報処理システム５０と通信することができる。電子黒板２は、例えば、電源オンされた後、情報処理システム５０にポーリングするなどして、情報処理システム５０から情報を受信できる。

【0054】

情報処理システム５０は、ネットワーク上に配置された一台以上の情報処理装置である。情報処理システム５０は、情報記録アプリ４１と協働して処理を行う１つ以上のサーバーアプリと、基盤サービスを有している。このサーバーアプリは、遠隔会議のリストの管理、遠隔会議で記録された記録情報の管理、各種設定やストレージパスの管理等を行う。基盤サービスは、ユーザー認証や契約、課金処理等を行う。

【0055】

なお、情報処理システム５０の機能の全て又は一部は、クラウド環境に存在してもよいし、オンプレミス環境に存在してもよい。情報処理システム５０は複数台のサーバー装置により構成されてもよいし、一台の情報処理装置により構成されてもよい。例えば、サーバーアプリと基盤サービスが別々の情報処理装置より提供されてよいし、更にサーバーアプリ内の機能ごとに情報処理装置が存在してもよい。情報処理システム５０と次述するストレージサービスシステム７０、音声認識サービスシステム８０が一体でもよい。

【0056】

ストレージサービスシステム７０は、ネットワーク上の記憶手段であり、ファイル等の保存を受け付けるストレージサービスを提供する。ストレージサービスシステム７０としてはＯｎｅ Ｄｒｉｖｅ（登録商標）、Ｇｏｏｇｌｅ Ｗｏｒｋｓｐａｃｅ（登録商標）、ＤｒｏｐＢｏｘ（登録商標）等が知られている。ストレージサービスシステム７０は、オンプレミスのＮＡＳ（Network Attached Storage）等でもよい。

【0057】

音声認識サービスシステム８０は、音声データに音声認識を行いテキストデータに変換するサービスを提供する。音声認識サービスシステム８０は、汎用的な商用サービスでもよいし、情報処理システム５０の機能の一部でもよい。

【0058】

＜ハードウェア構成例＞
図４を参照して、本実施形態に係る情報処理システム５０及び端末装置１０のハードウェア構成について説明する。

【0059】

＜＜情報処理システム及び端末装置＞＞
図４は、本実施形態に係る情報処理システム５０及び端末装置１０の一例のハードウェア構成を示す図である。図４に示されているように、情報処理システム５０及び端末装置１０はコンピュータによって構築されており、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ（Hard Disk）５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ/Ｆ(Interface)５０８、ネットワークＩ/Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、光学ドライブ５１４、メディアＩ/Ｆ５１６を備えている。

【0060】

これらのうち、ＣＰＵ５０１は、情報処理システム５０及び端末装置１０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ/Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ/Ｆ５０９は、ネットワークを利用してデータ通信をするためのインターフェースである。バスライン５１０は、図４に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0061】

また、キーボード５１１は、文字、数値、又は各種指示などの入力に使用される複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。光学ドライブ５１４は、着脱可能な記録媒体の一例としての光記憶媒体５１３に対する各種データの読み出し又は書き込みを制御する。なお、光記憶媒体５１３は、ＣＤ，ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）等でよい。メディアＩ/Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

【0062】

＜＜ミーティングデバイス＞＞
図５を用いて、ミーティングデバイス６０のハードウェア構成を説明する。図５は、３６０°の動画を撮像可能なミーティングデバイス６０のハードウェア構成図の一例である。以下では、ミーティングデバイス６０は撮像素子を使用した、デバイスの周囲３６０°の動画を所定の高さで撮像する装置とするが、撮像素子は１つでも２つ以上のいくつでもよい。また、必ずしも専用装置である必要はなくPCやデジタルカメラ、スマートフォン等に後付けの３６０°動画の撮像ユニットを取り付けることで、実質的に同じ機能を有するようにしてもよい。

【0063】

図５に示されているように、ミーティングデバイス６０は、撮像ユニット６０１、画像処理ユニット６０４、撮像制御ユニット６０５、マイク６０８、音処理ユニット６０９、ＣＰＵ(Central Processing Unit)６１１、ＲＯＭ(Read Only Memory)６１２、ＳＲＡＭ(Static Random Access Memory)６１３、ＤＲＡＭ(Dynamic Random Access Memory)６１４、操作部６１５、外部機器接続Ｉ/Ｆ６１６、通信部６１７、アンテナ６１７ａ、音声センサー６１８、及びMicro USB用の凹状の端子６２１によって構成されている。

【0064】

このうち、撮像ユニット６０１は、半球画像を結像するための３６０°の画角を有する広角レンズ（いわゆる魚眼レンズ）６０２と、各広角レンズに対応させて設けられている撮像素子６０３（イメージセンサー）を備えている。撮像素子６０３は、魚眼レンズ６０２による光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサーやＣＣＤ(Charge Coupled Device)センサーなどの画像センサー、この画像センサーの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

【0065】

撮像ユニット６０１の撮像素子６０３（イメージセンサー）は、画像処理ユニット６０４とパラレルＩ/Ｆバスで接続されている。一方、撮像ユニット６０１の撮像素子６０３は、撮像制御ユニット６０５とは、シリアルＩ/Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット６０４、撮像制御ユニット６０５及び音処理ユニット６０９は、バス６１０を介してＣＰＵ６１１と接続される。更に、バス６１０には、ＲＯＭ６１２、ＳＲＡＭ６１３、ＤＲＡＭ６１４、操作部６１５、外部機器接続Ｉ/Ｆ６１６、通信部６１７、及び音声センサー６１８なども接続される。

【0066】

画像処理ユニット６０４は、撮像素子６０３から出力される画像データをパラレルＩ/Ｆバスを通して取り込み、画像データに対して所定の処理を施して、魚眼映像からパノラマ画像や話者画像のデータを作成する。更に、画像処理ユニット６０４は、パノラマ画像と話者画像等を合成処理して、１つの動画を出力する。

【0067】

撮像制御ユニット６０５は、一般に撮像制御ユニット６０５をマスタデバイス、撮像素子６０３をスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子６０３のレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ６１１から受け取る。また、撮像制御ユニット６０５は、同じくＩ２Ｃバスを利用して、撮像素子６０３のレジスタ群のステータスデータ等を取り込み、ＣＰＵ６１１に送る。

【0068】

また、撮像制御ユニット６０５は、操作部６１５の撮像開始ボタンが押下されたタイミングあるいはPCから撮像開始指示を受信したタイミングで、撮像素子６０３に画像データの出力を指示する。ミーティングデバイス６０によっては、ディスプレイ（例えば、ＰＣやスマートフォンのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子６０３からの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

【0069】

また、撮像制御ユニット６０５は、後述するように、ＣＰＵ６１１と協働して撮像素子６０３の画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、ミーティングデバイス６０にはディスプレイが設けられていないが、表示部を設けてもよい。

【0070】

マイク６０８は、音を音（信号）データに変換する。音処理ユニット６０９は、マイク６０８ａ、マイク６０８ｂ、マイク６０８ｃから出力される音声データをＩ/Ｆバスを通して取り込み、これらの音声データをミキシングして所定の処理を施す。音処理ユニット６０９はまた、マイク６０８ａ、マイク６０８ｂ、マイク６０８ｃから入力される音声レベル（音量）から音源（発話者）の方向を判断する。

【0071】

ＣＰＵ６１１は、ミーティングデバイス６０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ６１２は、ミーティングデバイス６０を動作させるための種々のプログラムを記憶している。ＳＲＡＭ６１３及びＤＲＡＭ６１４はワークメモリであり、ＣＰＵ６１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ６１４は、画像処理ユニット６０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

【0072】

操作部６１５は、撮像開始ボタン６１５ａなどの操作ボタンの総称である。ユーザーは操作部６１５を操作することで、撮像や録画を開始する他、電源ON/OFFの実行、通信接続の実行、種々の撮像モードや撮像条件などの設定を入力する。

【0073】

外部機器接続Ｉ/Ｆ６１６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＰＣ(Personal Computer)等である。ＤＲＡＭ６１４に記憶された動画データや画像データは、この外部機器接続Ｉ/Ｆ６１６を介して外部端末に送信されたり、外付けのメディアに記録されたりする。

【0074】

通信部６１７は、ミーティングデバイス６０に設けられたアンテナ６１７ａを介して、Ｗｉ－Ｆｉ等の無線通信技術によって、インターネット経由でクラウドサーバと通信し、記憶した動画データや画像データをクラウドサーバに送信してもよい。また、通信部６１７は、BLE（Bluetooth Low Energy。登録商標）やNFC等の近距離無線通信技術を用いて付近のデバイスと通信可能でもよい。

【0075】

音声センサー６１８は、ミーティングデバイス６０の周辺（水平面）の３６０°においてどの方向から音声が大きい音で入力されたかを特定するために、３６０°の音声情報を取得するセンサーである。音処理ユニット６０９は入力した３６０°の音声パラメータに基づき、最も強い方向を特定して３６０°における音声入力方向を出力する。

【0076】

なお、他のセンサー（方位・加速度センサーやGPS等）が方位・位置・角度・加速度等を算出し、画像補正や位置情報付加に用いてもよい。

【0077】

また画像処理ユニット６０４は、パノラマ画像の作成を次の方法で行う。ＣＰＵ６１１は、球面映像を入力するイメージセンサーから入力されたRAWデータをBayer変換（RGB補完処理）等の所定のカメラ映像処理を行って魚眼映像（曲面の映像）を作成する。更に作成した魚眼映像（曲面の映像）に対してDeWarp処理（歪み補正処理）を行い、ミーティングデバイス６０の周辺の３６０°が写ったパノラマ画像（平面の映像）を作成する。

【0078】

ＣＰＵ６１１は話者画像の作成を次の方法で行う。ＣＰＵ６１１は周辺の３６０°が写ったパノラマ画像（平面の映像）から、話者を切り出した話者画像を作成する。ＣＰＵ６１１は、音声センサー６１８及び音処理ユニット６０９を用いて出力した360°から特定した音声入力方向を、話者の方向として、上記パノラマ画像から話者画像を切り出す。このとき音声入力方向から人の画像を切り出す方法は、360°から特定した音声方向を中心に30°を切り取って、その中で顔検出を実施して切り出す。ＣＰＵ６１１は、更に切り出した話者画像のうち、直近で発言のあった特定人数分（３名等）の話者画像を特定する。

【0079】

パノラマ画像と、１以上の話者画像は個別に情報記録アプリ４１に送信されてもよいし、ミーティングデバイス６０がこれらから１枚の画像を作成して、情報記録アプリ４１に送信してもよい。本実施形態では、パノラマ画像と１以上の話者画像は個別にミーティングデバイス６０から情報記録アプリ４１に送信されるものとする。

【0080】

図６は、ミーティングデバイス６０の撮像範囲を説明する図である。図６（ａ）に示すように、ミーティングデバイス６０は水平方向に３６０°の範囲を撮像する。図６（ｂ）に示すように、ミーティングデバイス６０は、ミーティングデバイス６０の高さに水平な方向を０°とし、上下に所定の角度を撮像範囲とする。

【0081】

図７は、パノラマ画像と話者画像の切り出しを説明する図である。図７に示すように、ミーティングデバイス６０が撮像する画像は球体の一部１１０をなすため、三次元の形状を有している。ミーティングデバイス６０は、図６（ｂ）で示したように、上下の所定角度と左右の所定角度ごとに画角を区切って透視投影変換を行う。透視投影変換を水平方向３６０°の全体で隙間なく行うことで、所定数の平面画像が得られるので、所定数の平面画像を左右に連結することでパノラマ画像１１１が得られる。また、ミーティングデバイス６０はパノラマ画像から音声方向を中心に所定の範囲で顔検出を実施して、顔の中心から左右に１５°（全体で３０°）を切り出すことで、話者画像１１２を作成する。

【0082】

＜＜電子黒板＞＞
図８は、電子黒板２のハードウェア構成図である。図８に示されているように、電子黒板２は、ＣＰＵ(Central Processing Unit)４０１、ＲＯＭ(Read Only Memory)４０２、ＲＡＭ(Random Access Memory)４０３、ＳＳＤ(Solid State Drive)４０４、ネットワークＩ/Ｆ４０５、及び、外部機器接続Ｉ/Ｆ(Interface)４０６を備えている。

【0083】

これらのうち、ＣＰＵ４０１は、電子黒板２全体の動作を制御する。ＲＯＭ４０２は、ＩＰＬ(Initial Program Loader)等のＯＳの起動に用いられるプログラムを記憶する。ＲＡＭ４０３は、ＣＰＵ４０１のワークエリアとして使用される。ＳＳＤ４０４は、電子黒板２用のプログラム等の各種データを記憶する。ネットワークＩ/Ｆ４０５は、通信ネットワークとの通信を制御する。外部機器接続Ｉ/Ｆ４０６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリ４３０、外付け機器（マイク４４０、スピーカ４５０、カメラ４６０）である。

【0084】

また、電子黒板２は、キャプチャデバイス４１１、ＧＰＵ４１２、ディスプレイコントローラ４１３、接触センサー４１４、センサコントローラ４１５、電子ペンコントローラ４１６、近距離通信回路４１９、及び近距離通信回路４１９のアンテナ４１９ａ、電源スイッチ４２２及び選択スイッチ類４２３を備えている。

【0085】

これらのうち、キャプチャデバイス４１１は、外付けのＰＣ(Personal Computer)４７０のディスプレイの表示情報を静止画又は動画として表示させる。ＧＰＵ(Graphics Processing Unit)４１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ４１３は、ＧＰＵ４１２からの出力画像をディスプレイ４８０等へ出力するために画面表示の制御及び管理を行う。接触センサー４１４は、ディスプレイ４８０上に電子ペン４９０やユーザーの手Ｈ等が接触したことを検知する。センサコントローラ４１５は、接触センサー４１４の処理を制御する。接触センサー４１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ４８０の上側両端部に設置された２つ受発光装置が、ディスプレイ４８０に平行して複数の赤外線を放射し、ディスプレイ４８０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサー４１４である受発光装置は、物体によって赤外線が遮断された位置（受光素子上の位置）をセンサコントローラ４１５に出力し、センサコントローラ４１５が、これらの２つの位置情報から物体の接触位置である座標位置を特定する。電子ペンコントローラ４１６は、電子ペン４９０とＢｌｕｅｔｏｏｔｈ通信することで、ディスプレイ４８０へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路４１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。電源スイッチ４２２は、電子黒板２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ類４２３は、例えば、ディスプレイ４８０の表示の明暗や色合い等を調整するためのスイッチ群である。

【0086】

更に、電子黒板２は、バスライン４１０を備えている。バスライン４１０は、図８に示されているＣＰＵ４０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0087】

なお、接触センサー４１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネルでもよい。接触センサー４１４は、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネルでもよい。接触センサー４１４は、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルでもよい。この他、接触センサー４１４は種々の検出手段を用いてもよい。また、電子ペンコントローラ４１６が、電子ペン４９０のペン先及びペン尻だけでなく、電子ペン４９０のユーザーが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。

【0088】

＜機能について＞
次に、図９を参照して、記録情報作成システム１００が有する機能構成について説明する。図９は、記録情報作成システム１００における端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０の機能をブロックに分けて説明する機能ブロック図の一例である。

【0089】

＜＜端末装置＞＞
端末装置１０で動作する情報記録アプリ４１は、通信部１１、操作受付部１２、表示制御部１３、アプリ画面取得部１４、音声取得部１５、デバイス通信部１６、録画制御部１７、音声データ処理部１８、録画再生部１９、アップロード部２０、編集処理部２１、コード解析部２２、及び、時間測定部２５を有している。端末装置１０が有するこれら各部は、図４に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開された情報記録アプリ４１に従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、端末装置１０は、図４に示されているＨＤ５０４等によって構築される記憶部１０００を有している。記憶部１０００には情報記憶部１００１が構築されている。

【0090】

通信部１１は、ネットワークを介して情報処理システム５０と各種の情報を通信する。通信部１１は、例えば、遠隔会議のリストを情報処理システム５０から受信したり、音声データの認識要求を情報処理システム５０に送信したりする。

【0091】

表示制御部１３は情報記録アプリ４１に設定されている画面遷移にしたがって情報記録アプリ４１においてユーザーインターフェースとなる各種の画面を表示する。操作受付部１２は、情報記録アプリ４１に対する各種の操作を受け付ける。

【0092】

アプリ画面取得部１４は、デスクトップ画面、又は、ユーザーが選択したアプリの画面をＯＳ（Operating System）等から取得する。ユーザーが選択したアプリが遠隔会議アプリ４２の場合、遠隔会議アプリ４２が生成する画面（各拠点の画像、資料の画像等）が得られる。

【0093】

音声取得部１５は、端末装置１０が遠隔会議アプリ４２から遠隔会議において受信された音声データを取得する。なお、音声取得部１５が取得する音声は、端末装置１０が集音する音声は含まれず、遠隔会議において受信された音声データのみである点に注意されたい。ミーティングデバイス６０が別に、音声を集音しているためである。

【0094】

デバイス通信部１６は、ＵＳＢケーブルなどを利用してミーティングデバイス６０と通信する。デバイス通信部１６は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等でミーティングデバイス６０と通信してよい。デバイス通信部１６は、パノラマ画像と話者画像をミーティングデバイス６０から受信し、音声取得部１５が取得した音声データをミーティングデバイス６０に送信する。デバイス通信部１６は、ミーティングデバイス６０で合成された音声データを受信する。

【0095】

録画制御部１７は、デバイス通信部１６が受信したパノラマ画像と話者画像、及び、アプリ画面取得部１４が取得したアプリの画面を結合し、結合画像を作成する。また、録画制御部１７は繰り返し作成する結合画像を時系列に接続して結合画像動画を作成し、ミーティングデバイス６０で合成された音声データを結合画像動画に結合して音声付きの結合画像動画を作成する。

【0096】

音声データ処理部１８は、録画制御部１７が抽出する結合画像動画に結合された音声データ、又は、ミーティングデバイス６０から受信した合成後の音声データの、テキストデータへの変換を情報処理システム５０に要求する。

【0097】

録画再生部１９は、結合画像動画の再生を行う。結合画像動画は、録画中は端末装置１０に保存され、その後、情報処理システム５０にアップロードされる。

【0098】

アップロード部２０は、遠隔会議が終了すると、結合画像動画を情報処理システム５０に送信する。

【0099】

編集処理部２１は、ユーザーの操作に応じて、結合画像動画の編集（一部の削除、つなぎ合わせ等）を実行する。

【0100】

コード解析部２２は、パノラマ画像に含まれる二次元コードを検出すると共に、二次元コードを解析して機器識別情報を取得する。

【0101】

時間測定部２５は、情報記録アプリ４１を起動してから、二次元コードをミーティングデバイス６０から受信するまでの時間を測定する。一定時間が経過すると、時間測定部２５はその旨を表示制御部１３に通知し、表示制御部１３がエラーダイアログを表示する。

【0102】

図１０は、情報記憶部１００１が記憶している動画記録情報を示す。動画記録情報は、会議ＩＤ、録画ＩＤ、更新日時、タイトル、アップロード、保存先等の各項目を有している。ユーザーが情報処理システム５０にログインすると、情報記録アプリ４１は情報処理システム５０の会議情報記憶部５００１から会議情報をダウンロードする。会議情報に含まれる会議ＩＤなどが動画記録情報に反映される。図１０の動画記録情報は、あるユーザーが操作する端末装置１０が保持するものである。

【0103】

・会議ＩＤは、開催された遠隔会議を識別する識別情報である。会議ＩＤは、会議管理システム９に遠隔会議の予定が登録された際に採番されるか、又は、情報記録アプリ４１からの要求で情報処理システム５０が採番する。

【0104】

・録画ＩＤは、遠隔会議において録画された結合画像動画を識別する識別情報である。録画ＩＤはミーティングデバイス６０が採番するが、情報記録アプリ４１や情報処理システム５０が採番してもよい。同じ会議ＩＤに異なる録画ＩＤが付与されるのは、遠隔会議の途中で録画が終了したが、何らかの理由で再開した場合を示す。

【0105】

・更新日時は、結合画像動画が更新された（録画が終了した）日時である。結合画像動画が編集された場合、編集された日時である。

【0106】

・タイトルは、会議の会議名である。会議管理システム９への会議の登録時に設定されてもよいし、ユーザーが任意に設定してもよい。

【0107】

・アップロードは、結合画像動画が情報処理システム５０にアップロードされたか否かを示す。

【0108】

・保存先は、ストレージサービスシステム７０において、結合画像動画とテキストデータが保存されている場所（ＵＲＬやファイルパス）を示す。したがって、ユーザーはアップロードされた結合画像動画を任意に閲覧できる。なお、結合画像動画とテキストデータは、例えばＵＲＬに続いて別々のファイル名で保存される。

【0109】

＜＜ミーティングデバイス＞＞
図９に戻って説明する。ミーティングデバイス６０は、端末通信部６１、パノラマ画像作成部６２、話者画像作成部６３、集音部６４、及び、音声合成部６５を有している。ミーティングデバイス６０が有するこれら各部は、図５に示されている各構成要素のいずれかが、ＲＯＭ６１２からＤＲＡＭ６１４に展開されたプログラムに従ったＣＰＵ６１１からの命令によって動作することで実現される機能、又は機能する手段である。

【0110】

端末通信部６１は、ＵＳＢケーブルなどを利用して端末装置１０と通信する。端末通信部６１は、有線ケーブルで接続されるだけでなく、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等で端末装置１０と通信可能であればよい。

【0111】

パノラマ画像作成部６２はパノラマ画像を作成する。話者画像作成部６３は話者画像を作成する。これらの作成方法は図６、図７にて説明した。なお、パノラマ画像作成部６２は画像データを取得する取得部でもある。

【0112】

集音部６４は、ミーティングデバイス６０が有するマイクが取得する音声を音声データ（デジタル）に変換する。これにより、端末装置１０側の拠点でユーザーや参加者が発言した内容が集音される。

【0113】

音声合成部６５は、端末装置１０から送信された音声と集音部６４が集音した音声を合成する。これにより、他の拠点１０１で発言された音声と、自拠点１０２の発言がまとめられる。

【0114】

＜＜情報処理システム＞＞
情報処理システム５０は、通信部５１、認証部５２、画面生成部５３、コミュニケーション管理部５４、機器管理部５５、テキスト変換部５６を有する。情報処理システム５０が有するこれら各部は、図４に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システム５０は、図４に示されているＨＤ５０４等によって構築される記憶部５０００を有している。記憶部５０００には、会議情報記憶部５００１、録画情報記憶部５００２、対応付け情報記憶部５００３が構築される。

【0115】

通信部５１は、端末装置１０と各種の情報を送受信する。通信部５１は、例えば、遠隔会議のリストを端末装置１０に送信したり、音声データの認識要求を端末装置１０から受信したりする。

【0116】

認証部５２は、端末装置１０を操作するユーザーを認証する。認証部５２は、例えば、通信部５１によって受信された認証要求に含まれている認証情報（ユーザーＩＤ及びパスワード）が予め保持する認証情報と一致するか否かにより、ユーザーを認証する。なお、認証情報は、ＩＣカードのカード番号、顔や指紋などの生体認証情報等でもよい。また、認証部５２は、外部の認証システムやＯＡＵＴＨなどの認証方法で認証してもよい。

【0117】

画面生成部５３は端末装置１０がＷｅｂアプリで表示する画面情報の生成を行う。画面情報は、ＨＴＭＬ、ＸＭＬ、ＣＳＳ（Cascade Style Sheet）、及びJavaScript（登録商標）等により作成される。

【0118】

コミュニケーション管理部５４は、各ユーザーのアカウント又は情報処理システム５０に付与されたシステム用のアカウントで、遠隔会議に関する情報を会議管理システム９から取得する。コミュニケーション管理部５４は、予約された会議の会議情報を会議ＩＤと対応付けて会議情報記憶部に記憶させる。また、コミュニケーション管理部５４は、テナントに所属するユーザーに閲覧権限がある会議情報を取得する。会議には会議ＩＤが設定されているので、会議ＩＤにより遠隔会議と記録情報が対応付けられる。

【0119】

機器管理部５５は、会議で使用される電子黒板２とミーティングデバイス６０の機器識別情報を受信した場合、それらを対応付けて対応付け情報記憶部５００３に保存する。したがって、会議ＩＤと電子黒板２の機器識別情報とミーティングデバイス６０の機器識別情報が対応付けられる。会議ＩＤには結合画像動画も対応付けられるので、電子黒板２で入力された手書きデータと結合画像動画も対応付けられる。また、機器管理部５５は、録画が終了されると（会議が終了すると）、対応付け情報記憶部５００３から対応付けを削除する。

【0120】

テキスト変換部５６は、端末装置１０からテキストデータへの変換を要求された音声データを外部の音声認識サービスシステム８０を利用してテキストデータに変換する。テキスト変換部５６自身が変換してもよい。

【0121】

図１１は、コミュニケーション管理部５４が管理する、会議情報記憶部５００１に記憶された会議情報の一例である。コミュニケーション管理部５４は上記のアカウントを使ってテナントに所属する当該ユーザーが閲覧権限のある遠隔会議のリストを取得できる。本実施形態では、遠隔会議を例にしているが、遠隔会議のリストには１つの会議室だけで開催される会議も含まれている。

【0122】

会議情報は会議ＩＤで管理され、参加者、タイトル（会議名）、開始日時、終了日時、場所などと対応付けられている。これらは会議情報の一例であり、会議情報は、他にも情報を含みうる。

【0123】

・参加者の項目は、会議の参加者である。

【0124】

・タイトルの項目は、会議名や会議の議題など、会議の内容を表す。

【0125】

・開始日時の項目は、会議が開始される予定の日時である。

【0126】

・終了日時の項目は、会議が終了する予定の日時である。

【0127】

・場所の項目は、会議の開催場所であり、例えば会議室や、支社名、建屋などである。

【0128】

・電子黒板情報の項目は、会議で使用された電子黒板２の識別情報である。

【0129】

・ミーティングデバイスの項目は、会議で使用されたミーティングデバイス６０の識別情報である。

【0130】

図１０，図１１に示すように、会議ＩＤにより会議で録画された結合画像動画が特定される。

【0131】

録画情報記憶部５００２に記憶されている録画情報は図１０と同様でよい。ただし、情報処理システム５０では、テナントに所属する全てのユーザーが録画した結合画像動画のリストを有する。

【0132】

図１２は、対応付け情報記憶部５００３に記憶された、会議ＩＤに対し、電子黒板２の機器識別情報とミーティングデバイス６０の機器識別情報が対応付けられた対応付け情報を示す。情報記録アプリ４１が機器識別情報を情報処理システム５０に送信してから、録画を終了するまでこの対応付け情報が保持される。

【0133】

＜＜電子黒板＞＞
図１３は、電子黒板２の機能をブロックに分けて説明する機能ブロック図である。電子黒板２は、接触位置検出部３１、描画データ生成部３２、データ記録部３３、表示制御部３４、コード生成部３５、及び、通信部３６、を有する。電子黒板２が有する各機能は、図８に示されている各構成要素のいずれかが、ＳＳＤ４０４からＲＡＭ４０３上に展開されたプログラムに従ったＣＰＵ４０１からの命令によって動作することで実現される機能又は手段である。

【0134】

接触位置検出部３１は接触センサー４１４に対し電子ペン４９０が接触した位置の座標を検出する。描画データ生成部３２は電子ペン４９０のペン先が接触した座標を接触位置検出部３１から取得する。描画データ生成部３２はこの座標点列を補間することで接続してストロークデータを生成する。

【0135】

表示制御部３４は手書きデータやユーザーが操作するためのメニューなどをディスプレイに表示する。

【0136】

データ記録部３３は、電子黒板２に手書きされた手書きデータ、円や三角などの図形、済などのスタンプ、ＰＣの画面、ファイル等をオブジェクト情報記憶部３００２に保存する。手書きデータ、図形、及び、ＰＣの画面などの画像、ファイル等はオブジェクトして扱われる。手書きデータについては手書きの中断による時間的な区切り、手書き場所の違いによる距離的な区切りに応じて一まとまりのストロークデータが１つのオブジェクトとなる。

【0137】

通信部３６はＷＩ/ＦｉやＬＡＮに接続し、情報処理システム５０と通信する。通信部３６は、オブジェクト情報を情報処理システム５０に送信したり、情報処理システム５０に記憶されたオブジェクト情報を情報処理システム５０から受信してディスプレイ４８０に表示させたりする。

【0138】

コード生成部３５は、機器情報記憶部３００１に記憶された電子黒板２の機器識別情報と会議で使用可能な機器であることを示す情報を２次元のパターンに符号化して二次元コードを生成する。また、コード生成部３５は電子黒板２の機器識別情報と会議で使用可能な機器であることを示す情報をバーコードに符号化できる。機器識別情報はシリアル番号やＵＵＩＤ（Universally Unique Identifier）などでよい。ユーザーが設定したものでもよい。なお、コード生成部３５は二次元コード又はバーコードを出力する出力部でもある。

【0139】

また、電子黒板２は、図８に示されているＳＳＤ４０４等によって構築される記憶部３０００を有している。記憶部３０００には機器情報記憶部３００１とオブジェクト情報記憶部３００２が構築されている。

【0140】

図１４は、機器情報記憶部３００１に記憶されている機器識別情報等を示す。
・機器識別情報は、電子黒板２の識別情報である。
・ＩＰアドレスは、他の装置がネットワークを介して電子黒板２と接続するためのＩＰアドレスである。
・パスワードは電子黒板２に他の装置が接続する際の認証に使用される。

【0141】

図１５は、オブジェクト情報記憶部３００２に保存されているオブジェクト情報を説明する図である。オブジェクト情報は、電子黒板２が表示するオブジェクトを管理する情報である。オブジェクト情報は情報処理システム５０に送信され議事録として使用される。遠隔会議の開催時に他の拠点に電子黒板２が配置されている場合、オブジェクト情報が共有される。

【0142】

・会議ＩＤは、情報処理システム５０から通知された会議の識別情報である。

【0143】

・オブジェクトＩＤはオブジェクトを識別する識別情報である。

【0144】

・種別はオブジェクトの種類であり、手書き、文字、図形、画像、等がある。手書きはストロークデータ（座標点列）である。文字はソフトキーボードから入力された文字列（文字コード）である。文字列をテキストデータという場合もある。図形は、三角や四角などの幾何学的な形状である。画像は、ＰＣやインターネットなどから取り込まれたＪｐｅｇ、Ｐｎｇ、ＴＩＦＦなどの画像データである。

【0145】

・電子黒板２の１画面をページと称する。ページの項目はそのページ番号である。

【0146】

・座標は、電子黒板２の所定の原点を基準とするオブジェクトの位置を示す。オブジェクトの位置は例えばオブジェクトの外接矩形の左上頂点である。座標は例えば、ディスプレイの画素単位で表される。

【0147】

・サイズはオブジェクトの外接矩形の幅と高さである。

【0148】

＜画面遷移＞
続いて、図１６～図１９を参照して、端末装置１０が遠隔会議中に表示するいくつかの画面について説明する。図１６は、端末装置１０で動作する情報記録アプリ４１が表示するログイン後の初期画面２００である。端末装置１０のユーザーが情報記録アプリ４１を情報処理システム５０に接続させる。ユーザーが認証情報を入力してログインに成功すると、図１６の初期画面２００が表示される。

【0149】

初期画面２００は、固定表示ボタン２０１、正面変更ボタン２０２、パノラマ画像２０３、１つ以上の話者画像２０４ａ～２０４ｃ（以下、区別しない場合、話者画像２０４という）、及び、記録開始ボタン２０５を有している。ログイン時にすでにミーティングデバイス６０が起動して、周囲を撮像している場合、初期画面２００にミーティングデバイス６０が作成するパノラマ画像２０３、及び話者画像２０４が表示される。したがって、ユーザーはこれらを見ながら、記録開始するかどうか決めることができる。ミーティングデバイス６０が起動していない（撮像していない）場合、パノラマ画像２０３と話者画像２０４は表示されない。

【0150】

なお、情報記録アプリ４１は、パノラマ画像２０３から検出された全ての顔に基づく全ての参加者の話者画像２０４を表示してもよいし、直近に発言したＮ人の話者画像２０４のみを表示してもよい。図１６では、最大３人まで話者画像２０４が表示される例を示す。参加者が発言するまでの間、話者画像２０４がなくてもよいし（発言に応じて一人ずつ増える）、所定の方向の参加者の３人の話者画像２０４が表示されてもよい（発言に応じて入れ替わる）。

【0151】

なお、ミーティングデバイス６０が起動した直後など、誰も発言していない場合、水平３６０°のうちの予め決められた方向（ ０°、１２０°、２４０°など）を話者画像２０４として作成する。後述する固定表示が設定されている場合は、固定表示の設定が優先される。

【0152】

固定表示ボタン２０１は、パノラマ画像２０３のある領域を話者画像２０４として固定でクローズアップする操作をユーザーが行うためのボタンである。

【0153】

正面変更ボタン２０２は、パノラマ画像２０３の正面を変更する操作をユーザーが行うためのボタンである（パノラマ画像は水平方向に３６０°写っているので、右端と左端の方向が一致する）。ユーザーはポインティングデバイスでパノラマ画像２０３を左右にスライドさせて、正面に写る参加者を決定できる。ユーザーの操作はミーティングデバイス６０に送信され、ミーティングデバイス６０は、水平方向３６０°のうち正面にする角度を変更してパノラマ画像を作成し、端末装置１０に送信する。

【0154】

ユーザーが記録開始ボタン２０５を押下すると情報記録アプリ４１が図１７の録画設定画面２１０を表示する。

【0155】

図１７は、情報記録アプリ４１が表示する録画設定画面２１０の一例である。録画設定画面２１０では、ミーティングデバイス６０が作成したパノラマ画像及び話者画像、並びに、端末装置１０のデスクトップ画面又は動作するアプリの画面、を録画するかをユーザーが（録画に含めるか）設定できる。パノラマ画像及び話者画像、及び、デスクトップ画面又は動作するアプリの画面のどちらも、情報記録アプリ４１が録画しない場合は音声（端末装置１０が出力する音声＋ミーティングデバイス６０が集音した音声）のみ記録される。

【0156】

カメラトグルボタン２１１は、ミーティングデバイス６０が作成したパノラマ画像及び話者画像の録画のオンとオフを切り替えるボタンである。カメラトグルボタン２１１は、パノラマ画像と話者画像を個別に録画する設定が可能でもよい。

【0157】

ＰＣ画面トグルボタン２１２は、端末装置１０のデスクトップ画面、端末装置１０で動作するアプリの画面の、録画のオンとオフを切り替えるボタンである。ＰＣ画面トグルボタン２１２がオンの状態で、デスクトップ画面が録画される。

【0158】

ユーザーがアプリの画面を録画したい場合、更に、アプリ選択欄２１３で、アプリを選択する。アプリ選択欄２１３には端末装置１０が実行中のアプリ名がプルダウン形式で表示される。ユーザーは録画するアプリを選択できる。このアプリ名は、情報記録アプリ４１がＯＳから取得する。情報記録アプリ４１は実行中のアプリのうち、ＵＩ（画面）を持つアプリのみを表示することができる。選択されるアプリの中に、遠隔会議アプリ４２が含まれてよい。このため、情報記録アプリ４１は、遠隔会議アプリ４２で表示した資料や各拠点の参加者なども動画で記録できる。この他、プルダウンで表示されるアプリは、プレゼンテーション用アプリ、ワープロアプリ、表計算アプリ、Ｗｅｂブラウザアプリ、など様々である。したがって、ユーザーは結合画像動画に含めるアプリの画面を柔軟に選択できる。

【0159】

また、アプリ単位で録画する場合、ユーザーは複数のアプリを選択できる。情報記録アプリ４１は、選択された全てのアプリの画面を録画できる。

【0160】

カメラトグルボタン２１１とＰＣ画面トグルボタン２１２が双方ともオフの場合、録画内容確認ウィンドウ２１４に「音声のみ記録されます」と表示される。この音声は、端末装置１０が出力する音声（遠隔会議アプリ４２が他の拠点１０１から受信する音声）と、ミーティングデバイス６０が集音する音声である。つまり、遠隔会議が実施されていれば、遠隔会議アプリ４２の音声とミーティングデバイス６０の音声は、画像の記録に関係なく保存される。ただし、ユーザーは、ユーザーの設定で遠隔会議アプリ４２の音声、ミーティングデバイス６０の音声の保存を選択的に停止できてよい。

【0161】

カメラトグルボタン２１１とＰＣ画面トグルボタン２１２のオンとオフの組み合わせに応じて、以下のように結合画像動画が録画される。また、録画内容確認ウィンドウ２１４にはリアルタイムに結合画像動画が表示される。

【0162】

・カメラトグルボタン２１１がオン、ＰＣ画面トグルボタン２１２がオフの場合は、録画内容確認ウィンドウ２１４に、ミーティングデバイス６０が撮像したパノラマ画像と話者画像が表示される。

【0163】

・カメラトグルボタン２１１がオフ、ＰＣ画面トグルボタン２１２がオン（画面も選択済）の場合、録画内容確認ウィンドウ２１４に、デスクトップ画面や選択されたアプリの画面が表示される。

【0164】

・カメラトグルボタン２１１がオン、ＰＣ画面トグルボタン２１２がオンの場合、録画内容確認ウィンドウ２１４に、ミーティングデバイス６０が撮像したパノラマ画像と話者画像、及び、デスクトップ画面や選択されたアプリの画面が横に並んだ状態で表示される。

【0165】

したがって、パノラマ画像、話者画像、及びアプリの画面が録画されない場合や、パノラマ画像、話者画像、及びアプリの画面が一切録画されない場合があるが、本実施形態では、便宜上、情報記録アプリ４１が作成する画像を結合画像動画という。

【0166】

更に、録画設定画面２１０は、「記録をアップロード後に自動で文字おこしする」というメッセージと共にチェックボックス２１５を有する。また、録画設定画面２１０は今すぐ記録開始ボタン２１６を有する。ユーザーがチェックボックス２１５にチェックを入れると、記録動画に、遠隔会議中の発言が変換されたテキストデータが添付される。この場合、録画終了後に情報記録アプリ４１がテキストデータへの変換要求と共に音声を情報処理システム５０にアップロードする。また、ユーザーが今すぐ記録開始ボタン２１６を押下すると、図１８の録画中画面２２０が表示される。

【0167】

図１８は、情報記録アプリ４１が録画中に表示する録画中画面２２０の一例である。なお、図１８の説明では主に図１６との相違を説明する。録画中画面２２０は、録画設定画面２１０でユーザーが設定した条件で、録画される結合画像動画をリアルタイムに表示する。図１８の録画中画面２２０は、カメラトグルボタン２１１がオン、ＰＣ画面トグルボタン２１２がオフの場合であり、ミーティングデバイス６０が作成したパノラマ画像２０３と話者画像２０４（いずれも動画）を表示する。録画中画面２２０は、録画中アイコン２２５、一時停止ボタン２２６、及び、録画終了ボタン２２７を表示する。

【0168】

一時停止ボタン２２６は録画を停止するためのボタンで、停止後は録画再開も受け付ける。録画終了ボタン２２７は録画を終了するボタンである。一時停止ボタン２２６では録画ＩＤが切り替わらず、録画終了ボタン２２７で録画ＩＤが切り替わる。一時停止して、録画再開時にユーザーは録画設定画面２１０で設定した録画条件を再度設定することもできる。その場合、情報記録アプリ４１は、録画停止ごとに複数の録画ファイルを作成してもよいし（例えば、録画終了ボタン２２７が押下）、１つの動画として連続するように複数ファイルを結合してもよい（例えば、一時停止ボタン２２６が押下）。また、情報記録アプリ４１が結合画像動画を再生する場合、複数の録画ファイルを、１つの動画として連続して再生してもよい。

【0169】

また、録画中画面２２０は、カレンダから情報取得ボタン２２１、会議名称欄２２２、時間欄２２３、場所欄２２４を有している。カレンダから情報取得ボタン２２１は、ユーザーが会議管理システム９から会議情報を取得するためのボタンである。カレンダから情報取得ボタン２２１が押下されると、情報記録アプリ４１が情報処理システム５０から該ユーザーに閲覧権限がある会議一覧を取得し、表示する。ユーザーは会議一覧から、これから行う遠隔会議を選択する。これにより、会議名称欄２２２、時間欄２２３、場所欄２２４に会議情報が反映される。会議名称欄２２２には会議情報のタイトルが、時間欄２２３には開始時刻と終了時刻が、場所欄２２４に場所が反映される。また、会議管理システムにおける会議情報と記録情報が会議ＩＤで対応付けられる。

【0170】

遠隔会議が終了し、ユーザーが録画を終了すると、音声付きの結合画像動画が作成される。

【0171】

図１９は、情報記録アプリ４１が表示する会議一覧画面２３０の一例である。会議一覧画面２３０は、会議の一覧であるが、遠隔会議において録画された記録情報のリストを表示できる。また、遠隔の会議に関わらず、ある会議室内のみで行われた会議も含まれる。会議一覧画面２３０には、会議情報記憶部５００１においてログインユーザーが閲覧権限のある会議情報が表示される。情報記憶部１００１に保存された動画記録情報の情報が更に統合されてもよい。

【0172】

会議一覧画面２３０は、図１６の初期画面２００においてユーザーが会議一覧タブ２３１を選択すると表示される。会議一覧画面２３０は、このユーザーに閲覧権限がある記録情報のリスト２３６を表示する。会議作成者（議事録作成者）は参加者に閲覧権限を設定できる。なお会議一覧は、記憶した記録情報の一覧であっても、会議予定や会議データの一覧であってもよい。

【0173】

会議一覧画面２３０はチェックボックス２３２、更新日時２３３、タイトル２３４、及びステータス２３５の各項目を有する。

【0174】

・チェックボックス２３２は録画ファイルの選択を受け付ける。チェックボックス２３２は、ユーザーがまとめて録画ファイルを削除したい場合に使用される。

【0175】

・更新日時２３３は、結合画像動画の録画の開始時を示す。編集された場合は編集日時でよい。

【0176】

・タイトル２３４は、会議のタイトル（議題等）である。会議情報から転記されてもよいし、ユーザーが設定してもよい。

【0177】

・ステータス２３５は、結合画像動画が情報処理システム５０にアップロード済みか否かを示す。アップロード済みでない場合、「ローカルＰＣ」が表示され、アップロード済みの場合「アップロード済み」が表示される。アップロード済みでない場合、アップロードボタンが表示される。未アップロードの結合画像動画がある場合、ユーザーが情報処理システム５０にログイン時に、情報記録アプリ４１が自動アップロードするとよい。

【0178】

ユーザーが結合画像動画のリスト２３６から任意のタイトル等をポインティングデバイスで選択すると、情報記録アプリ４１が録画再生画面を表示するが本実施形態では省略する。録画再生画面では、結合画像動画の再生などが可能である。

【0179】

なお、ユーザーは、更新日時や、タイトル、キーワードなどから会議を絞り込むことができることが望ましい。また、表示される会議の数が多く、該当の会議を見つけにくい場合は、検索機能として、ユーザーが語句を入力することで、会議の発言やタイトルなどに含まれる語句から記録情報を絞り込むことができることが望ましい。検索機能により、ユーザーは記録情報が多くなった場合でも短時間で所望の記録情報を見つけることが可能である。また、会議一覧画面では、ユーザーが更新日時やタイトル順で会議をソートできてもよい。

【0180】

＜動作又は処理＞
図２０は、記録情報作成システム１００がミーティングデバイス６０と電子黒板２を対応付ける処理を説明するシーケンス図である。図２０の説明に関しては、会議に参加するユーザーがミーティングデバイス６０と電子黒板２を同じ会議で使用して会議に参加しようとしている。

【0181】

S1：会議で使用する会議室に配置された電子黒板２は、電源オンにより予め設定されている情報処理システム５０と通信し、機器識別情報を指定して会議への対応付けが可能である旨を登録する。

【0182】

S2：また、会議で使用する会議室に配置された電子黒板２のコード生成部３５は、自機の機器識別情報、及び、機器識別情報である旨が符号化された二次元コードを生成し、表示制御部３４が表示する。二次元コードには更に電子黒板２が他機を認証するためのパスワードが含まれてもよい。

【0183】

S3：ユーザーが端末装置１０とミーティングデバイス６０を持って電子黒板２が設置されている会議室に入室し、端末装置１０とミーティングデバイス６０をＵＳＢケーブルで接続する。ミーティングデバイス６０はＵＳＢケーブルの電力供給により、又は、電源オンにより起動する。これにより、ミーティングデバイス６０はスタンバイ状態になる。また、ユーザーは端末装置１０の情報記録アプリ４１を起動する。情報記録アプリ４１がミーティングデバイス６０と通信を開始することで、ミーティングデバイス６０が撮像と集音を開始する。ミーティングデバイス６０のパノラマ画像作成部６２が二次元コードを含む周囲を撮像したパノラマ画像（画像データ）を作成する。

【0184】

S4：ミーティングデバイス６０の端末通信部６１は、パノラマ画像を端末装置１０に送信する。

【0185】

S5：端末装置１０のデバイス通信部１６はパノラマ画像を受信し、コード解析部２２がパノラマ画像の中から電子黒板２が表示している二次元コードを検出する。コード解析部２２は、二次元コードを復号し、会議で使用可能な機器である旨が埋め込まれていると判断すると、二次元コードから電子黒板２の機器識別情報を取得する。なお、二次元コードの解析はミーティングデバイス６０が行ってもよい。

【0186】

S6：情報記録アプリ４１の通信部１１は、電子黒板２の機器識別情報を指定して会議への登録要求を情報処理システム５０へ送信する。通信部１１は、更に、ミーティングデバイス６０の識別情報を情報処理システム５０に送信することが好ましい。

【0187】

S7：情報処理システム５０の通信部５１は、会議への登録要求（機器識別情報）を受信すると、コミュニケーション管理部５４が会議ＩＤを発行する。情報記録アプリ４１が会議一覧画面２３０等から会議の選択を受け付けている場合、通信部５１は会議ＩＤを機器識別情報に添付するので、コミュニケーション管理部５４は会議ＩＤを発行しない。

【0188】

S8：そして機器管理部５５は、機器識別情報と会議ＩＤとを対応付けて、好ましくは、ミーティングデバイス６０の機器識別情報と会議ＩＤを対応付けて、対応付け情報記憶部５００３に保存する。

【0189】

S9,S10：情報処理システム５０の通信部５１は、端末装置１０と電子黒板２に、会議ＩＤを通知する。端末装置１０の通信部１１は会議ＩＤを受信して保存しておく。同様に、電子黒板２の通信部３６は会議ＩＤを受信すると、これを保存しておく。なお、端末装置１０は会議への登録要求の応答として会議ＩＤ又は機器識別情報の少なくとも一方を受信する。電子黒板２と情報処理システム５０は、情報処理システム５０から電子黒板２へのプッシュ型の通信を可能にするWebSocket等の双方向通信方式で通信してもよい。

【0190】

電子黒板２と端末装置１０が同じ会議ＩＤを有するので、電子黒板２とミーティングデバイス６０が会議に対応付けられる。以降、端末装置１０は送信するデータに会議ＩＤ又はミーティングデバイス６０の識別情報の少なくとも一方を、電子黒板２は送信するデータに会議ＩＤ又は機器識別情報の少なくとも一方を添付する。本実施形態では会議ＩＤが通信に添付されるが、機器識別情報又はミーティングデバイス６０の識別情報が通信に添付されても、情報処理システム５０が対応付け情報により会議ＩＤを特定できる。

【0191】

なお、図２０における電子黒板２と会議ＩＤの対応付けは、記録情報と手書きデータ等の対応付けのためであるが、電子黒板２は遠隔地にある他の電子黒板２とのオブジェクトの共有機能を有している。電子黒板２と他の電子黒板２は遠隔会議用のサーバーに登録され、手書きデータ等をリアルタイムに共有できる。

【0192】

図２１は、情報処理システム５０の動作を説明するフローチャート図である。情報処理システム５０の通信部５１は、端末装置１０から機器識別情報を受信するまで待機する（Ｓ１０１）。

【0193】

通信部５１が、機器識別情報を受信した場合、コミュニケーション管理部５４が会議ＩＤを発行する（Ｓ１０２）。通信部５１が機器識別情報に添付された会議ＩＤを受信した場合、コミュニケーション管理部５４は会議ＩＤを発行しない。

【0194】

機器管理部５５は、会議ＩＤと受信した機器識別情報を対応付けて対応付け情報記憶部５００３に保存する（Ｓ１０３）。機器管理部５５は、会議終了（録画終了）まで会議ＩＤと機器識別情報の対応付けを保持する。

【0195】

情報処理システム５０の通信部５１は、端末装置１０と電子黒板２に会議ＩＤを送信する（Ｓ１０４）。

【0196】

図２２は、端末装置１０で動作する情報記録アプリ４１の動作を説明するフローチャート図である。この処理は、電子黒板２の前に人がいるため、情報記録アプリ４１が二次元コードを検出できないと、電子黒板２を会議に対応付けられないために行われる。

【0197】

まず、情報記録アプリ４１が起動される（Ｓ１１１）。

【0198】

次に、時間測定部２５が、情報記録アプリ４１を起動してから二次元コードを検出するまでの時間の測定を開始する（Ｓ１１２）。

【0199】

デバイス通信部１６はパノラマ画像を受信するので、コード解析部２２が二次元コードを検出する。時間測定部２５は、起動してから一定時間内に二次元コードが検出されたか否かを判断する（Ｓ１１３）。

【0200】

起動してから一定時間内に二次元コードが検出された場合（Ｓ１１３のＹｅｓ）、時間測定部２５は時間の測定を停止する（Ｓ１１４）。

【0201】

起動してから一定時間内に二次元コードが検出されない場合（Ｓ１１３のＮｏ）、時間測定部２５からの通知に応じて、表示制御部１３がエラーダイアログを表示する（Ｓ１１５）。

【0202】

図２３は、端末装置１０の情報記録アプリ４１がエラーダイアログにおいて表示するメッセージ３０１の一例である。このエラーダイアログは、例えば「二次元コードが検出されません。二次元コードが表示されていること、電子黒板２の前に人がいないことを確認して下さい。」などのメッセージ３０１を表示する。ユーザーはメッセージ３０１により、二次元コードが検出されないことを把握し、電子黒板２の前から人を移動させるなどの対応ができる。ＯＫボタン３０２は、再度、情報記録アプリ４１が時間測定するためのボタンである。

【0203】

図２２に戻り、ステップＳ１１５でＯＫボタンが押下され、エラーダイアログが閉じられると（Ｓ１１６のＹｅｓ）、処理はステップＳ１１２に戻り、時間測定部２５が時間の測定を開始する。

【0204】

なお、ユーザーがエラーダイアログを閉じる際に、エラーダイアログにキャンセルボタンを設けるなどして、会議に電子黒板２を対応付けないで会議を開始することを可能にしてもよい。

【0205】

＜電子黒板が表示する二次元コード、バーコード＞
図２４～図３１を参照して、電子黒板２が表示する二次元コード、バーコードについて補足する。ミーティングデバイス６０と電子黒板２の間に障害物６９があった場合、端末装置１０が機器識別情報を取得できないおそれがある。このため、以下のように、電子黒板２が二次元コード８を表示する位置を調整することが有効である。

【0206】

図２４は、電子黒板２が表示する二次元コード８の位置の一例である。上記のように、二次元コード８には機器識別情報と機器識別情報である旨が含まれる。ミーティングデバイス６０が置かれた机には、ミーティングデバイス６０と電子黒板２の間に障害物６９がある。なお、二次元コード８の検出においてはミーティングデバイス６０が半球カメラでなくてもよい。電子黒板２は、機器識別情報を、上下方向における電子黒板２の表示画面の中心線３２０よりも上方に表示させる。こうすることで、ミーティングデバイス６０と電子黒板２の間に障害物６９があったとしても、ミーティングデバイス６０が機器識別情報を撮像しやすくなる。

【0207】

なお、図２５に示すように、電子黒板２は、二次元コード８の中心を、上下方向における電子黒板２の表示画面の中心線３２０よりも上方に表示させてもよい。

【0208】

また、図２６に示すように、電子黒板２が時間に応じて二次元コード８を移動させてもよい。図２６では、二次元コード８が左から右に移動している。電子黒板２は二次元コード８を表示させたまま移動してもよいし、表示→消去→場所を変えて再表示、してもよい。これにより、障害物６９の位置が不確定でも、ミーティングデバイス６０が機器識別情報を撮像しやすくなる。また、ユーザーへの圧迫感を低下させるために電子黒板２が二次元コード８を小さく表示した場合でも、ミーティングデバイス６０が撮像しやすくなる。

【0209】

更に、電子黒板２は二次元コード８を移動させながら二次元コード８のサイズを変更してもよい。

【0210】

また、図２７に示すように、電子黒板２が複数の二次元コード８を同時に表示させてもよい。これにより、一部の二次元コード８が障害物６９で隠れたとしても、残りの二次元コード８をミーティングデバイス６０が撮像しやすくなる。なお、複数の二次元コード８は、すべて同じ情報が格納されたものであっても良いし、互いに異なる情報が格納されてもよい。

【0211】

また、図２８に示すように、電子黒板２がメニュー７１の隣（近接して）に二次元コード８を表示してもよい。メニュー７１は右端の上下方向にわたって配置されており、上下方向における電子黒板２の表示画面の中心線よりも上方に表示させる点は図２４と同様である。

【0212】

二次元コード８がメニュー７１の近くに表示されることで、ユーザーが違和感を感じにくい。ユーザーが画面を広く使用できる。

【0213】

また、図２９に示すように、電子黒板２がメニュー７１内に二次元コード８を表示してもよい。図２８と比較して、更に圧迫感を解消しやすく、ユーザーが画面を広く使用できる。

【0214】

図３０は、ミーティングデバイス６０が有するカメラが半球カメラである場合を説明する図である。図２４～図２９の構成を、水平方向の視野が広い半球カメラで撮像することで、二次元コード８の発見をより容易にすることができる。

【0215】

なお、二次元コード８でなくバーコードの場合も図２４～図３０と同様に表示できる。図３１はバーコード７の一例である。

【0216】

なお、バーコード７に関しては二次元コード８よりも傾き等に対するロバスト性が低い。このため、コード解析部２２は、白黒のパターンを切り取り、スキュー角及びピッチ角を補正する。コード解析部２２は、黒のバーのエッジ強調を行う。コード解析部２２は、切り出した画像についてバーコード７のパターンとして登録されているスタートキャラクタから右端のストップキャラクタまでのパターンとパターンマッチングして、電子黒板２が表示しているバーコード７を検出する。

【0217】

また、図２４～図３１では、二次元コード８又はバーコード７が表示される例を説明したが、機器識別情報（アルファベットや数字）を電子黒板２が表示し、情報記録アプリ４１がＯＣＲ処理で機器識別情報を検出してもよい。

【0218】

＜＜結合画像動画の保存＞＞
続いて、図３２を参照し、結合画像動画の保存処理について説明する。図３２は、情報記録アプリ４１がパノラマ画像、話者画像及びアプリの画面を録画する手順を示すシーケンス図の一例である。図２０により端末装置１０と電子黒板２に会議ＩＤが送信されたので、情報記録アプリ４１が記録情報を記録できる。

【0219】

S21：ユーザーは遠隔会議アプリ４２を操作して遠隔会議を開始する。ここでは、自拠点１０２と他の拠点１０１の遠隔会議アプリ４２が遠隔会議を開始したものとする。自拠点１０２の遠隔会議アプリ４２は、ミーティングデバイス６０が有するカメラが撮像する画像、マイクが集音する音声を他の拠点１０１の遠隔会議アプリ４２に送信する。他の拠点１０１の遠隔会議アプリ４２は、受信した画像をディスプレイに表示し、受信した音声をスピーカから出力する。同様に、他の拠点１０１の遠隔会議アプリ４２は、ミーティングデバイス６０が有するカメラが撮像する画像、マイクが集音する音声を自拠点１０２の遠隔会議アプリ４２に送信する。自拠点１０２の遠隔会議アプリ４２は、受信した画像をディスプレイに表示し、受信した音声をスピーカから出力する。各遠隔会議アプリ４２はこれを繰り返して、遠隔会議を実現する。

【0220】

S22：ユーザーは図１７に示した情報記録アプリ４１の録画設定画面２１０に対し、録画に関する設定を行う。情報記録アプリ４１の操作受付部１２が設定を受け付ける。ここでは、カメラトグルボタン２１１、及び、ＰＣ画面トグルボタン２１２が共にオンであるとする。

【0221】

ユーザーは遠隔会議を事前に予約済みの場合、図１８のカレンダから情報取得ボタン２２１を押下することで遠隔会議のリストを表示し、記録動画を対応付ける遠隔会議を選択できる。ユーザーは情報処理システム５０にログイン済みなので、情報処理システム５０はログインしたユーザーが閲覧権限のある遠隔会議を特定する。情報処理システム５０は特定した遠隔会議のリストを端末装置１０に送信するので、ユーザーは開催中又はこれから開催される遠隔会議を選択する。これにより、会議ＩＤ等、遠隔会議に関する情報が決定される。本実施形態では図２０の処理で会議ＩＤが作成済みである。

【0222】

S23：ユーザーは録画開始（今すぐ記録開始ボタン２１６）を情報記録アプリ４１に指示する。情報記録アプリ４１の操作受付部１２が指示を受け付ける。表示制御部１３は録画中画面２２０を表示する。

【0223】

S24：会議ＩＤは決まっているので、情報記録アプリ４１の通信部１１が、会議ＩＤを指定して、保存先情報を情報処理システム５０に要求する。

【0224】

S25：情報処理システム５０の通信部５１が要求を受信し、コミュニケーション管理部５４は、通信部５１を介して、結合画像動画の保存先（ストレージサービスシステム７０のＵＲＬ）を情報記録アプリ４１に送信する。

【0225】

S26：情報記録アプリ４１の通信部１１が会議ＩＤと録画ファイルの保存先を受信することで、録画制御部１７が録画の準備が整ったと判断し、録画を開始する。

【0226】

S27：情報記録アプリ４１のアプリ画面取得部１４は、ユーザーが選択したアプリの画面をアプリに対し要求する（アプリ画面取得部１４は、より詳細にはＯＳを介して、アプリの画面を取得する）。図３２では、ユーザーが選択したアプリを遠隔会議アプリ４２とする。

【0227】

S28：情報記録アプリ４１の録画制御部１７は、デバイス通信部１６を介して、ミーティングデバイス６０に録画開始を通知する。通知の際、録画制御部１７は、カメラトグルボタン２１１がオンである旨（パノラマ画像と話者画像の要求）も通知するとよい。要求の有無に関係なくミーティングデバイス６０はパノラマ画像と話者画像を情報記録アプリ４１に送信している。

【0228】

S29：ミーティングデバイス６０の端末通信部６１が録画開始を受信すると、重複しない録画ＩＤを採番し、録画ＩＤを情報記録アプリ４１に返す。なお、録画ＩＤは情報記録アプリ４１が採番してもよいし、情報処理システム５０から取得してもよい。

【0229】

S30：情報記録アプリ４１の音声取得部１５は端末装置１０が出力する音声データ（遠隔会議アプリ４２が受信した音声データ）を取得する。

【0230】

S31：デバイス通信部１６が、音声取得部１５が取得した音声データと合成要求をミーティングデバイス６０に送信する。

【0231】

S32：ミーティングデバイス６０の端末通信部６１は音声データと合成要求を受信し、音声合成部６５が、集音部６４が集音した周囲の音声データと、受信した音声データを合成する。例えば、音声合成部６５は、２つの音声データを足し合わせる。ミーティングデバイス６０の周辺の鮮明な音声が記録されるので、特にミーティングデバイス６０周辺（会議室側）の音声のテキスト化精度が向上する。

【0232】

この音声の合成は、端末装置１０でも可能である。録画機能がミーティングデバイス６０に、音声処理が端末装置１０に分散して配置されてもよい。この場合、ミーティングデバイス６０の負荷を低減できる。

【0233】

S33：また、ミーティングデバイス６０のパノラマ画像作成部６２はパノラマ画像を作成し、話者画像作成部６３は話者画像を作成する。

【0234】

S34：情報記録アプリ４１のデバイス通信部１６は、パノラマ画像と話者画像を繰り返しミーティングデバイス６０から取得する。また、デバイス通信部１６は、合成後の音声データを繰り返しミーティングデバイス６０から取得する。これらの取得は、デバイス通信部１６がミーティングデバイス６０に要求することで行われてもよい。あるいは、カメラトグルボタン２１１がオンである旨を受け取ったミーティングデバイス６０が自動的にパノラマ画像と話者画像を送信してもよい。音声データの合成要求を受け取ったミーティングデバイス６０が自動的に合成後の音声データを情報記録アプリ４１に送信してもよい。

【0235】

S35：情報記録アプリ４１の録画制御部１７は、遠隔会議アプリ４２から取得したアプリの画面と、パノラマ画像と、話者画像を並べることで結合画像を作成する。録画制御部１７は、繰り返し結合画像を作成し、動画を構成するフレームに各結合画像を指定することで結合画像動画を作成する。また、録画制御部１７はミーティングデバイス６０から受信した音声データを保存しておく。

【0236】

S36：電子黒板２の通信部３６は、好ましくはストロークごとに手書きデータなどのオブジェクト情報を会議ＩＤに対応付けて情報処理システム５０に送信する。

【0237】

情報記録アプリ４１は以上のステップS30～S36を繰り返す。

【0238】

なお、ステップS30～S36の処理は、図３２に示すとおりの順番でなくてもよく、音声データの合成と結合画像の作成が前後してもよい。

【0239】

＜主な効果＞
以上説明したように、本実施形態の記録情報作成システム１００は、会議室で使用される機器の機器識別情報をミーティングデバイス６０が取得して端末装置１０が情報処理システム５０へ送信することで、情報処理システム５０が機器を会議で使用される装置として対応付けることができる。情報処理システム５０と通信する端末装置１０にはミーティングデバイス６０が接続されているので、会議にはミーティングデバイス６０も対応付けられる。ユーザーがカメラで機器が表示する二次元コードを撮像したり、情報処理システム５０に機器とミーティングデバイス６０を会議のために登録したりする必要もなく、ユーザーの作業を最小限に抑制して複数の機器（ミーティングデバイス６０、電子黒板）を対応付けることができる。

【実施例0240】

本実施例では、機器識別情報を音で通知する電子黒板２とその処理について説明する。なお、本実施例においては、上記の実施例にて説明した図４，図５，図８のハードウェア構成図を援用できるものとして説明する。

【0241】

＜機能について＞
図３３は、記録情報作成システム１００における端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０の機能をブロックに分けて説明する機能ブロック図の一例である。図３３の説明では主に図９との相違を説明する。

【0242】

図３３では、端末装置１０が音データ解析部２３を有している。音データ解析部２３は、後述するように音データをスペクトル解析して音データに含まれる周波数を検出し、特定の周波数をビットデータに変換することで機器識別情報を取得する。

【0243】

図３４は、電子黒板２の機能をブロックに分けて説明する機能ブロック図である。図３４の説明では、主に図１３との相違を説明する。図３４の電子黒板２は、音データ生成部３７を有している。音データ生成部３７は、機器識別情報を構成するアルファベットと数字をそれぞれ時間Ｔの周波数に変換し、ＰＣＭ変換と同様に一定間隔でサンプリングする手法で音信号を生成する。音信号はスピーカ４５０が有するＤ／Ａコンバータでアナログに変換され、スピーカ４５０から出力される。なお、音データ生成部３７は音信号を出力する出力部でもある。

【0244】

また、本実施例ではミーティングデバイス６０の集音部６４が、音データを取得する取得部でもある。

【0245】

＜音データの生成＞
図３５は、機器識別情報の伝達に使用される音の周波数とビットパターンの一例を示す。図３５では、音による機器識別情報の伝達に使用される周波数は、18KHz、19KHz、20KHzである。18KHzはメッセージの前に付加するパイロット信号の周波数である。時間Ｔの長さが１ビットに対応する。また、19kHzが0、20kHzが1に対応する。したがって、図３５（ａ）は00の値、図３５（ｂ）は01の値、図３５（ｃ）は10の値、図３５（ｄ）は11の値を示している。

【0246】

パイロット信号は８ビット分のデータ毎に２ビット分追加して送信される。音信号が、１つのアルファベット又は数字を８ビットで表すと１文字分の機器識別情報の伝達に１０ビット必要になる。電子黒板２が、例えば、８ビットのアスキー文字"e"（ 2進数で01100101：16進数で0x65）を送信する場合、音信号の周波数のパターンは、図３６に示すような周波数のパターンとなる。

【0247】

電子黒板２の機器識別情報には、０～９の数字とA～Zの英語大文字が使用される。したがって、機器識別情報は８ビットのアスキーコードで表される。機器識別情報の１文字はパイロット信号と併せて、図３６のような周波数のパターンを持つ。電子黒板２には、０～９の数字とA～Zの文字に対応する周波数のパターンと１ビット分の時間Ｔによる音信号がＰＣＭ符号化されて予め記憶されている。音データ生成部３７は、電子黒板２の機器識別情報を構成する各文字について、音源を使用してＰＣＭ符号化された音データをデジタル音響データに変換する。

【0248】

ミーティングデバイス６０の集音部６４は、周囲の音を集音しているため、音データ生成部３７が生成した音信号も集音している。端末装置１０の音データ解析部２３は、一定時間ごとに（例えば数十ミリ秒）音信号をスペクトル解析（フーリエ変換）することで、18ｋHz、19kHz又は20kHzにピークを有するスペクトルを得る。音データ解析部２３は、18kHzで機器識別情報を構成する文字の先頭を検出し、19kHz又は20kHzを０又は１に変換する。補足すると、スペクトル解析に使用する時間（例えば数十ミリ秒）は時間Ｔより短いので、音データ解析部２３は、時間Ｔごとに０又は１のどちらが多いかにより時間Ｔごとに０又は１の１ビットに集約し、機器識別情報を再生する。スペクトル解析に使用する時間（例えば数十ミリ秒）と時間Ｔが同じでもよい。

【0249】

＜動作手順＞
図３７は、記録情報作成システム１００が行う処理を説明するシーケンス図である。図３７の説明では、主に図２０との相違を説明する。まず、ステップS41は図２０のステップS1と同様でよい。

【0250】

S42：会議で使用する会議室に配置された電子黒板２に対し、ユーザーは電子黒板２の機器識別情報を出力するためのボタンを押下する。電子黒板２の音データ生成部３７は自機の機器識別情報を周波数で表す音信号を生成し、スピーカより出力する。音信号は電源オンで自動的に出力されてもよい。

【0251】

S43：ミーティングデバイス６０の集音部６４は電子黒板２が出力した音信号をマイクで集音し、音信号をＰＣＭ符号化する。

【0252】

S44：ミーティングデバイス６０の端末通信部６１は、音信号を端末装置１０に送信する。

【0253】

S45：端末装置１０のデバイス通信部１６は音信号を受信し、音データ解析部２３が音信号を周波数解析して18kHzのパイロット信号ごとに区切り、それぞれの区切られた音信号が含む周波数（19kHz、20kHz）を図３５の変換規則に基づいて８ビットのビット列に変換する。音データ解析部２３は、８ビットのアスキーコードの変換テーブルを利用して機器識別情報に変換する。この変換テーブルは０～９の数字及びA～Zの英語大文字（８ビットのビット列）と図３６に示した周波数のパターンを対応付けたテーブルである。

【0254】

S46：端末装置１０の通信部１１は、機器識別情報を情報処理システム５０に送信する。以降の処理は図２０と同様でよい。

【0255】

なお、図３７では、ミーティングデバイス６０が音信号を集音したが、端末装置１０が直接、音信号を集音してもよい。

【0256】

また、上記の実施例では音の周波数を18KHz～20KHzとしたが、この周波数は可聴領域であるため、ユーザーに音が聞こえるおそれがある。そこで、例えば、50～100KHz程度の超音波で電子黒板２が機器識別情報を音として出力するとよい。

【0257】

図３８は、超音波の場合の周波数とビットデータの対応の一例を示す。図３８では、超音波として50KHz（パイロット信号が使用）、55KHz、60KHzという周波数を示すが、超音波は、他の周波数でもよい。図３８（ａ）は00の値、図３８（ｂ）は01の値、図３８（ｃ）は10の値、図３８（ｄ）は11の値を示している。

【0258】

なお、この場合、電子黒板２が有するスピーカ４５０も超音波に対応したものであること、ミーティングデバイス６０のマイク６０８が超音波に対応したものであることが好ましい。

【0259】

＜主な効果＞
本実施例によれば、実施例１の効果に加え、電子黒板２が音により機器識別情報をミーティングデバイス６０に通知できるので、電子黒板２の前に人がいても、ミーティングデバイス６０が機器識別情報を取得しやすい。