特開 2023-137823 機器システム、情報処理方法、情報処理システム、プログラム、撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023137823

(43)【公開日】2023-09-29

(54)【発明の名称】機器システム、情報処理方法、情報処理システム、プログラム、撮像装置

(51)【国際特許分類】

   H04N 7/15 20060101AFI20230922BHJP

   H04L 65/40 20220101ALI20230922BHJP

   H04N 21/442 20110101ALI20230922BHJP

   G06F 3/04883 20220101ALI20230922BHJP

   G06F 3/01 20060101ALI20230922BHJP

   G06F 3/0481 20220101ALI20230922BHJP

【ＦＩ】

H04N7/15

H04L65/40

H04N21/442

G06F3/04883

G06F3/01 510

G06F3/0481

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022044210

(22)【出願日】2022-03-18

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】下平 佳彦

(72)【発明者】

【氏名】藤岡 進

【テーマコード（参考）】

5C164

5E555

【Ｆターム（参考）】

5C164FA10

5C164UB41P

5C164VA04S

5C164VA23P

5C164VA35P

5C164YA11

5C164YA12

5E555AA61

5E555AA76

5E555BA02

5E555BA05

5E555BA06

5E555BA13

5E555BA28

5E555BB02

5E555BB05

5E555BB06

5E555BB13

5E555BB28

5E555BC19

5E555BD05

5E555CA14

5E555CA42

5E555CB11

5E555CB12

5E555CB66

5E555CB76

5E555DA05

5E555DB41

5E555DB53

5E555DC13

5E555DC61

5E555DD06

5E555DD07

5E555EA05

5E555EA07

5E555EA08

5E555EA09

5E555EA24

5E555FA00

(57)【要約】

【課題】表示装置を操作する操作者の様子を他拠点の端末装置に共有できる技術を提供すること。
【解決手段】本発明は、入力表示領域を表示する入力表示装置と、前記入力表示装置と前記入力表示装置に入力している者とを含む操作者画像を撮像する撮像装置と、前記操作者画像を取得する取得部と、前記入力表示領域を前記入力表示装置と端末装置とで共有させる共有部と、を備える情報処理システムと、を有する機器システムであって、前記情報処理システムは、前記操作者画像を前記入力表示領域で表示させるために前記端末装置に送信する送信部を備える、ことを特徴とする。
【選択図】図２

【特許請求の範囲】

【請求項1】

入力表示領域を表示する入力表示装置と、
前記入力表示装置と前記入力表示装置に入力している者とを含む操作者画像を撮像する撮像装置と、
前記操作者画像を取得する取得部と、前記入力表示領域を前記入力表示装置と端末装置とで共有させる共有部と、を備える情報処理システムと、
を有する機器システムであって、
前記情報処理システムは、
前記操作者画像を前記入力表示領域で表示させるために前記端末装置に送信する送信部を備える、
ことを特徴とする機器システム。

【請求項2】

前記撮像装置は、
前記撮像装置と通信する第２の端末装置に前記操作者画像を送信する端末通信部を有し、
前記入力表示装置は、
前記第２の端末装置から受信した前記操作者画像と、前記入力表示装置が表示したオブジェクトを、前記情報処理システムに送信する通信部と、
前記入力表示装置に対する操作を検知する操作検知部と、を有し、
前記通信部は、前記操作検知部が前記操作を検知した旨を前記第２の端末装置に送信し、
前記撮像装置は、前記操作を検知した旨を受信した前記第２の端末装置から、前記操作者画像の要求を受信することを特徴とする請求項１に記載の機器システム。

【請求項3】

前記端末装置は、
前記撮像装置、前記入力表示装置、及び前記第２の端末装置が設置される拠点とは異なる他の拠点に設置される第１の端末装置であり、
前記入力表示領域を表示する前記入力表示装置に対して操作者が前記入力表示領域にストロークを入力した場合に、前記ストロークの結果として表示されるオブジェクトを、前記情報処理システムの前記共有部を介して、前記第１の端末装置に送信することを特徴とする請求項２に記載の機器システム。

【請求項4】

前記通信部は、前記情報処理システムに前記操作者画像を送信した際、前記情報処理システムから前記操作者画像の識別情報を受信し、
前記オブジェクトを送信する際、前記操作者画像の識別情報を添付して前記情報処理システムに送信することを特徴とする請求項２に記載の機器システム。

【請求項5】

前記操作検知部は、１つのストロークごとに前記操作を検知し、
最後のストロークの入力終了から次のストロークの入力開始までに一定時間が経過しない場合、前記通信部は、前記操作を検知した旨を前記第２の端末装置に送信せず、
前記情報処理システムから最後に受信した前記操作者画像の識別情報と、前記一定時間が経過せずに手書きされた前記ストロークの結果としての前記オブジェクトを、前記情報処理システムに送信することを特徴とする請求項４に記載の機器システム。

【請求項6】

最後のストロークの入力終了から次のストロークの入力開始までに一定時間が経過した場合、前記通信部は、前記操作を検知した旨を前記第２の端末装置に送信して、前記操作者画像を新たに取得し、
前記情報処理システムに前記操作者画像を送信することで前記情報処理システムから新たに受信した前記操作者画像の識別情報と、前記一定時間が経過してから手書きされた前記ストロークの結果としての前記オブジェクトを、前記情報処理システムに送信することを特徴とする請求項４に記載の機器システム。

【請求項7】

前記情報処理システムは、前記入力表示装置から受信した前記操作者画像と前記オブジェクトを、前記入力表示装置がある拠点とは異なる他の拠点の前記第１の端末装置に送信する請求項３に記載の機器システム。

【請求項8】

前記情報処理システムは、前記操作者画像と、前記オブジェクトを対応付けて保存するオブジェクト共有部を有し、
前記オブジェクト共有部は、前記他の拠点の前記第１の端末装置において、表示している前記オブジェクトを選択したことに応じて、前記オブジェクトに対応する前記操作者画像を提供する請求項７に記載の機器システム。

【請求項9】

前記情報処理システムとネットワークを介して通信する、前記他の拠点の前記第１の端末装置を有し、
前記他の拠点の前記第１の端末装置は、
前記情報処理システムから受信した、前記操作者画像と前記オブジェクトを表示する表示制御部を有することを特徴とする請求項７又は８に記載の機器システム。

【請求項10】

前記情報処理システムは、前記操作者画像の識別情報とオブジェクトを前記他の拠点の前記第１の端末装置に送信し、
前記表示制御部が前記操作者画像を表示中に、前記オブジェクトと、表示中の前記操作者画像とは異なる前記操作者画像の識別情報を受信した場合、前記表示制御部は前記操作者画像を切り替えることを特徴とする請求項９に記載の機器システム。

【請求項11】

前記表示制御部は、前記オブジェクトの操作を受け付けた場合、前記オブジェクトに前記操作者画像が対応付けられている旨を表示することを特徴とする請求項９又は１０に記載の機器システム。

【請求項12】

入力表示領域を入力表示装置と端末装置とで共有させる共有ステップと、
撮像装置で撮像した、前記入力表示装置と前記入力表示装置に入力している者とを含む操作者画像を取得する取得ステップと、
取得した前記操作者画像を、前記入力表示領域で表示させるために前記端末装置に送信する送信ステップと、
を有する情報処理方法。

【請求項13】

入力表示領域を入力表示装置と端末装置とで共有させる共有部と、
撮像装置で撮像した、前記入力表示装置と前記入力表示装置に入力している者とを含む操作者画像を取得する取得部と、
取得した前記操作者画像を、前記入力表示領域で表示させるために前記端末装置に送信する送信部と、
を有する情報処理システム。

【請求項14】

入力表示領域を入力表示装置と端末装置とで共有させる共有ステップと、
撮像装置で撮像した、前記入力表示装置と前記入力表示装置に入力している者とを含む操作者画像を取得する取得ステップと、
取得した前記操作者画像を、前記入力表示領域で表示させるために前記端末装置に送信する送信ステップと、
を有する情報処理システムで用いるプログラム。

【請求項15】

入力表示領域を表示する入力表示装置と前記入力表示装置に入力している者とを含む操作者画像を撮像し、
前記操作者画像を、情報処理システムを介して前記入力表示領域を共有している端末装置において、前記入力表示領域で表示させるために、前記情報処理システムに送信する、撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機器システム、情報処理方法、情報処理システム、プログラム、及び撮像装置に関する。

【背景技術】

【0002】

ペンや指等の入力手段でタッチパネルに手書きされたデータを表示する入力表示装置が知られている。比較的大型のタッチパネルを備えた入力表示装置は屋内や屋外に配置され、複数のユーザーにより電子黒板などとして利用される。

【0003】

入力表示装置の操作者を、電子黒板に搭載されたカメラを使って推定する技術が知られている（例えば、特許文献１参照。）。特許文献１には、第１画像に含まれるが第２画像には含まれないユーザーを現在のタッチパネル操作者として推定する技術が開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の技術では、自拠点の入力表示装置を操作する操作者の様子が、他拠点の端末装置と共有されていないため、他拠点では自拠点の入力表示装置の操作者による操作の様子が分からないという問題がある。

【0005】

本発明は、上記課題に鑑み、入力表示装置を操作する操作者の様子を他拠点の端末装置に共有できる機器システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題に鑑み、本発明は、入力表示領域を表示する入力表示装置と、前記入力表示装置と前記入力表示装置に入力している者とを含む操作者画像を撮像する撮像装置と、前記操作者画像を取得する取得部と、前記入力表示領域を前記入力表示装置と端末装置とで共有させる共有部と、を備える情報処理システムと、を有する機器システムであって、
前記情報処理システムは、前記操作者画像を前記入力表示領域で表示させるために前記端末装置に送信する送信部を備える、ことを特徴とする。

【発明の効果】

【0007】

入力表示装置を操作する操作者の様子を他拠点の端末装置に共有できる技術を提供できる。

【図面の簡単な説明】

【0008】

【図1】遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。

【図2】電子黒板が表示するオブジェクトを、他の拠点の端末装置が操作者画像と共に表示する処理の概略を説明する図である。

【図3】記録情報作成システムの構成例を示す図である。

【図4】情報処理システム及び端末装置のハードウェア構成例を示す図である。

【図5】ミーティングデバイスのハードウェア構成例を示す図である。

【図6】ミーティングデバイスの撮像範囲を説明する図である。

【図7】パノラマ画像と話者画像の切り出しを説明する図である。

【図8】電子黒板の一例のハードウェア構成図である。

【図9】記録情報作成システムにおける端末装置、ミーティングデバイス、及び、情報処理システムの機能をブロックに分けて説明する機能ブロック図の一例である。

【図10】情報記憶部が記憶している動画記録情報の一例を示す図である。

【図11】コミュニケーション管理部が管理する会議情報の一例を示す図である。

【図12】対応付け情報記憶部に記憶された、会議ＩＤと機器識別情報とが対応付けられた対応付け情報の一例を示す図である。

【図13】アカウント情報記憶部に記憶されているアカウント情報の一例を示す図である。

【図14】電子黒板の機能をブロックに分けて説明する機能ブロック図の一例である。

【図15】機器情報記憶部に記憶されている機器識別情報等の一例を示す図である。

【図16】オブジェクト情報記憶部に保存されているオブジェクト情報を説明する図である。

【図17】ユーザーが電子黒板に手書きしたストロークを、他の拠点の端末装置が操作者画像と共に表示する処理を説明するシーケンス図の一例である。

【図18】他の拠点の端末装置が表示するオブジェクトと操作者画像の一例を示す図である。

【図19】端末装置が表示する会議登録画面の一例を示す図である。

【図20】ユーザーがミーティングデバイスと電子黒板を情報処理システムに登録する処理を説明するシーケンス図の一例である。

【図21】会議情報を作成していない状態で、ユーザーがミーティングデバイスと電子黒板を情報処理システムに登録する処理を説明するシーケンス図の一例である。

【図22】端末装置と電子黒板が同一ネットワークに接続している場合の端末装置と電子黒板の通信方法を説明するシーケンス図の一例である。

【図23】位置登録ボタンの押下により電子黒板の方向を設定する操作方法を説明する図である。

【図24】ユーザーが設定した方向を確認する画面を示す図である。

【図25】特定の映像や音声により、情報記録アプリが電子黒板の方向を決定する処理を説明するシーケンス図の一例である。

【図26】電子黒板が特定の映像として表示する二次元コードの一例を示す図である。

【図27】二次元コードに基づく方向の決定方法を説明する図である。

【図28】電子黒板が特定の音を出力した場合の電子黒板の方向の決定方法を説明する図である。

【図29】機械学習などの画像処理により検出された電子黒板に基づいて電子黒板の方向を決定する方向を説明する図である。

【図30】端末装置で動作する情報記録アプリが表示するログイン後の初期画面の一例を示す図である。

【図31】情報記録アプリが表示する録画設定画面の一例を示す図である。

【図32】情報記録アプリが録画中に表示する録画中画面の一例を示す図である。

【図33】情報記録アプリが表示する会議一覧画面の一例を示す図である。

【図34】ミーティングデバイスが電子黒板の操作開始、操作終了に応じて機器画像の切り出しを開始し、また、終了する処理を説明するシーケンス図の一例である。

【図35】ユーザーが電子黒板に手書きしたストロークを、他の拠点の端末装置が操作者画像７と共に表示する処理を説明するシーケンス図の一例である（実施例２）。

【図36】ユーザーが電子黒板に手書きし、その後、違うユーザーが手書きした場合に他の拠点の端末装置が操作者画像と共にストロークを表示する処理を説明するシーケンス図の一例である。

【図37】電子黒板を二人のユーザー１，２が操作する場合に、他の拠点の端末装置が表示する操作者画像の一例を示す図である。

【図38】操作者画像を受信した他の拠点の端末装置が操作者画像を表示する処理を説明するフローチャート図の一例である。

【図39】他の拠点の端末装置が表示するストロークについて、操作者画像が添付されていることを示すマークを示す図の一例である。

【図40】入力表示領域を説明する図である。

【発明を実施するための形態】

【0009】

以下、本発明を実施するための形態の一例として、機器システムと機器システムが行う情報処理方法について説明する。

【0010】

＜遠隔会議における議事録の作成方法の一例＞
電子黒板が表示するオブジェクトを操作した操作者に関する情報が共有されていなかった。例えば、情報処理システムが、一方の拠点の電子黒板が表示したオブジェクトデータをリアルタイムで他の拠点と共有すれば、他の拠点のユーザーが、誰が何を書いているのかがわかるようになる。また、情報処理システムがオブジェクトに操作者を対応付けておけば、誰がオブジェクトを入力したのか明確になり、議事録の内容が向上する。

【0011】

まず、図１を参照して、パノラマ画像とアプリの画面を用いた議事録の作成方法の概略を説明する。図１は、遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。図１に示すように、図示する自拠点１０２にいるユーザーが遠隔会議サービスシステム９０を利用して、他の拠点１０１と遠隔会議を行っている。

【0012】

本実施形態の記録情報作成システム１００は、周囲３６０°を撮像可能な撮像手段及びマイクとスピーカを備えたミーティングデバイス６０が、周囲を撮像した情報を処理することで取得した水平パノラマ画像（以下、パノラマ画像という）と、端末装置１０が実行するアプリケーション（以下、アプリという）が作成する画面と、を用いて、記録情報（議事録など）を作成する。音声については、記録情報作成システム１００は、遠隔会議アプリ４２が受信する音声と、ミーティングデバイス６０が取得する音声とを合成して、記録情報に含める。以下、概略を説明する。

【0013】

(1)端末装置１０では、後述する情報記録アプリ４１と遠隔会議アプリとが動作している。この他、資料表示用のアプリなども動作していてよい。情報記録アプリ４１は、端末装置１０が出力する音声（遠隔会議アプリが他拠点から受信した音声を含む。）をミーティングデバイス６０に送信する。ミーティングデバイス６０は、自身が取得している音声と、遠隔会議アプリの音声とをミキシング（合成）する。

【0014】

(2)ミーティングデバイス６０はマイクを備え、音声を取得した方向に基づき、パノラマ画像から話者を切り出す処理を行い、話者画像を作成する。ミーティングデバイス６０は、パノラマ画像と話者画像の両方を端末装置１０に送信する。

【0015】

(3)端末装置１０で動作する情報記録アプリ４１は、パノラマ画像２０３と話者画像２０４を表示できる。情報記録アプリ４１は、ユーザーが選択した任意のアプリ画面（例えば遠隔会議アプリの画面１０３）と、パノラマ画像２０３と話者画像２０４と、を結合する。例えば、左側にパノラマ画像２０３と話者画像２０４、右側に遠隔会議アプリの画面１０３が配置されるように、パノラマ画像２０３、話者画像２０４、アプリの画面１０３を結合する（以下、結合画像１０５という）。なおアプリ画面は、遠隔会議アプリ等の各アプリケーションが表示する画面情報（後述）の例である。(3)の処理は繰り返し実行されるので、結合画像１０５は動画となる（以下、結合画像動画という）。また、情報記録アプリ４１は、結合画像動画に合成された音声を結合して音声付きの動画を作成する。

【0016】

なお、本実施形態では、パノラマ画像２０３、話者画像２０４、アプリの画面１０３を結合する例を説明するが、情報記録アプリ４１がこれらを別々に保存し、再生時に画面に配置してもよい。

【0017】

(4)情報記録アプリ４１は、編集作業（ユーザーによる不要箇所のカット）を受け付け、結合画像動画を完成させる。結合画像動画は記録情報の一部を構成する。

【0018】

(5)情報記録アプリ４１は、作成した結合画像動画（音声付き）をストレージサービスシステム７０に送信し保存しておく。

【0019】

(6)また、情報記録アプリ４１は、結合画像動画から音声のみを抽出しておき（結合前の音声を取っておいてもよい）、抽出した音声を、情報処理システム５０に送信する。情報処理システム５０は音声をテキストデータに変換する音声認識サービスシステム８０に送信し、音声をテキスト化する。テキストデータには、録画開始から何分後に話したか、というデータも含まれる。

【0020】

なお、リアルタイムのテキスト化の場合、ミーティングデバイス６０が情報処理システム５０に直接音声を送信する。ミーティングデバイス６０はテキストデータをリアルタイムに情報記録アプリ４１に送信する。

【0021】

(7)情報処理システム５０は、結合画像動画を格納したストレージサービスシステム７０に、テキストデータを追加で格納する。テキストデータは記録情報の一部を構成する。

【0022】

なお、情報処理システム５０は、ユーザーに対し利用したサービスに応じた課金処理を実行できる。例えば、課金はテキストデータ量、結合画像動画のファイルサイズ、処理時間などに基づいて算出される。

【0023】

このように、結合画像動画には、ユーザーを含む周囲のパノラマ画像や話者画像が表示され、更に、遠隔会議アプリ４２など、遠隔会議中に表示されたアプリの画面が表示される。遠隔会議の参加者や参加者でない者が、結合画像動画を議事録として閲覧した場合、遠隔会議中の様子が臨場感と共に再現される。

【実施例0024】

＜オブジェクトに操作者画像を対応付けて表示する処理の概略＞
次に、図２を参照して、他の拠点の端末装置８が、オブジェクトに操作者画像を対応付けて表示する処理の概略を説明する。図２は、電子黒板２が表示するオブジェクトを、他の拠点の端末装置８（第１の端末装置の一例）が操作者画像７と共に表示する処理の概略を説明する図である。なお、図２では、少なくとも電子黒板２と他の拠点の端末装置８が同じ会議に参加しており、他の拠点の端末装置８は電子黒板２が表示しているオブジェクトを電子黒板２と共有している。

【0025】

(1)ミーティングデバイス６０は繰り返し周囲の画像を撮像しており、パノラマ画像、話者画像を端末装置１０（第２の端末装置の一例）に送信する。パノラマ画像には、操作者１２１が写っているものとする。

【0026】

(2)電子黒板２が操作される、電子黒板２が端末装置１０を経由して、操作開始（操作者画像７の切り出し要求）をミーティングデバイス６０に送信する。ミーティングデバイス６０は、操作開始（操作者画像７の切り出し要求）が通知されると、パノラマ画像から電子黒板２を切り出す。パノラマ画像は、操作開始に応じて撮像されてもよい。電子黒板２が操作されたタイミングなので、切り出した画像には操作者が写っている。切り出した画像を操作者画像７という。

【0027】

(3)端末装置１０は操作者画像７を電子黒板２に送信する。

【0028】

(4)電子黒板２は、例えば１ストロークごとに、操作者画像７とストロークデータを情報処理システム５０に送信する。連続的にストロークが書き込まれている場合（ペンアップ後に一定時間が経過しないで次のストロークのペンダウンが検知された場合）、電子黒板２は操作者画像７を送信しなくてよい。

【0029】

(5)情報処理システム５０はストロークデータにオブジェクトＩＤを採番し、操作者画像７に操作者画像７の識別情報を採番し、ストロークデータと操作者画像７の識別情報を対応付けておく。また、情報処理システム５０はストロークデータと操作者画像７の識別情報を他の拠点の端末装置８に送信する。情報処理システム５０はストロークデータと操作者画像７そのものを他の拠点の端末装置８に送信してもよい。

【0030】

(6)他の拠点の端末装置８はストロークデータと操作者画像７の識別情報を受信し、操作者画像７の識別情報を指定して、操作者画像７を情報処理システム５０に要求する。

【0031】

(7)この要求に対し情報処理システム５０は操作者画像７の識別情報に対応付けられている操作者画像７を他の拠点の端末装置８に送信する。

【0032】

(8)他の拠点の端末装置８は操作者画像７を受信すると、ストローク１２０に対応付けて操作者画像７を表示する。

【0033】

図２に示すように、他の拠点ではストロークの近くに操作者画像７が表示されるので、誰が書いている(書いた)のかを他の拠点のユーザーが容易に把握することができる。また、情報処理システム５０では、オブジェクトデータに操作者画像７が対応付けられるので、誰がオブジェクトを入力したのか明確になり、議事録の内容が向上する。

【0034】

＜用語について＞
操作者画像とは、電子黒板２を操作する操作者が含まれる画像である。操作者と共に電子黒板２が含まれていてよいので、操作者画像は機器画像と呼ばれてもよい。

【0035】

ユーザーがディスプレイに入力手段を押しつけてから連続的に移動させた後、ディスプレイから離すという一連の操作をストロークという。ストロークは、ディスプレイに接触することなく、ユーザーの動きを追跡することを含む。この場合、表示装置は、例えばマウスやポインティングデバイスを使用して、ユーザーのジェスチャー、ユーザーの手又は足によるボタンの押下、又は他の方法で、ストロークを開始させてもよい。更に、ユーザーは、同じ又は異なるジェスチャー、ボタンを離す、又はマウスやポインティングデバイスを使用して、ストロークを終了させてもよい。

【0036】

ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレイに表示される情報である。ストロークデータは適宜、補間されてよい。手書きデータとは、１つ以上のストロークデータを有するデータである。手書き入力とは、ユーザーによって、手書きデータが入力されることを示している。手書き入力は、タッチインターフェース、ペンやスタイラスなどの触覚オブジェクト、又はユーザーの体を使って実行されてもよい。また、手書き入力は、ジェスチャーベースの入力、手の動きの追跡入力、又はユーザーによる他のタッチフリー入力など、他のタイプの入力を介して実行されてもよい。本発明の実施形態では、手書き入力及び手書き入力データに言及するが、他の形態の手書き入力が利用されてもよい。

【0037】

ストロークデータの結果としてディスプレイに表示される表示物をオブジェクトという。オブジェクトとは対象という意味であるが、本実施形態では表示対象などの意味である。ストロークデータが手書き認識して変換されたオブジェクトには、テキストの他、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等も含まれてよい。テキストとは主に１つ以上の文字を含む文字列（文字コード）であり、数字、記号なども含む。テキストを文字列という場合がある。

【0038】

入力表示装置は、情報を表示する装置であればよい。本実施形態では、入力表示装置は電子黒板という用語で説明される。電子黒板は、電子ホワイトボード、電子情報ボード、などと呼ばれてよい。電子黒板２と同等の装置としてプロジェクタが知られている。この他、入力表示装置は、デジタルサイネージ、テレビ、ディスプレイ、テレビ会議端末などでもよい。

【0039】

アプリケーション（アプリ）とは、ある特定の機能や目的のために開発・使用されるソフトウェアである。アプリケーションにはネイティブアプリとＷｅｂアプリがある。またＷｅｂアプリ（クラウドサービスで提供するクラウド側のアプリ）と、ネイティブアプリやＷｅｂブラウザとが連携して動作するものであってもよい。

【0040】

実行中のアプリとは、アプリが起動されてから終了されるまでの間の状態のアプリをいう。アプリはアクティブ（最も手前にあるアプリ）でなくてもよく、バックグラウンドで動作していればよい。

【0041】

記録情報とは、情報記録アプリ４１が記録する情報であり、ある１つの会議（ミーティング）の識別情報に紐づく情報として閲覧可能に記憶・保存された情報であって、例えば以下の情報を含む情報である。
・選択したアプリ（遠隔会議アプリなど）が表示する画面情報と、デバイスが取得したデバイスの周囲の画像情報、などに基づいて作成する動画情報。
・会議（ミーティング）中に、遠隔会議アプリ（端末装置）と、拠点のミーティングデバイスとで取得し合成した音声情報。
・取得した音声をテキスト化したテキスト情報。
・その他、会議（ミーティング）に関連する関連情報であるデータや画像。例えば会議中に用いた資料ファイル、追加したメモ、テキスト化データの翻訳データ、会議中にクラウド電子黒板サービスで作成した画像やストロークデータなど。
等である。情報記録アプリ４１が遠隔会議アプリの画面や、拠点の会議の様子を録画した場合、記録情報が、実施した会議の議事録となる場合がある。議事録は記録情報の例であり遠隔会議や拠点側で行った内容に応じて記録情報の呼び方が変わり、例えばコミュニケーションの記録、拠点状況の記録などと言ってもよい。また記録情報は、例えば、動画ファイル（結合画像動画等）、音声ファイル、テキストデータ（音声が音声認識されたテキストデータ）、文書ファイル、画像ファイル、表形式ファイルなど、複数の形式のファイルを含み、ファイルは会議の識別情報に対して互いに関連づいているため、閲覧時にまとめて、あるいは選択的に、時系列で閲覧可能となっている。

【0042】

テナントとは、サービスの提供者からサービスを受けることを契約したユーザーのグループ（企業や自治体、これらの一部の組織等）である。本実施形態の記録情報の作成やテキストデータへの変換は、テナントがサービス提供元と契約しているために実行される。

【0043】

遠隔コミュニケーションとは、物理的に離れた拠点にいる相手と、ソフトウェアや端末装置を活用することによって音声や映像を通じたコミュニケーションを取ることをいう。遠隔コミュニケーションの一例に遠隔会議があり、会議は、会合、ミーティング、打ち合わせ、相談、契約等の申し込み、集会、寄り合い、集まり、セミナー、講習会、勉強会、ゼミ、研修会等と呼ばれてもよい。

【0044】

拠点とは、ネットワーク接続させた各種装置を用いて様々な活動を行う場所をいう。拠点の例として会議室がある。会議室は、主に会議に使用することを目的に設置された部屋のことである。拠点はこのほか自宅や、受付や店舗、倉庫や屋外の現場など様々な場所であってもよく、端末装置やデバイス等を設置できる箇所のある場所や空間であればよい。

【0045】

音声とは人間が発する言語音や周囲の音等であり、音声データは音声をデータ化したものであるが、本実施形態では、厳密に区別せずに説明する。また、他の拠点とは、自拠点とは離れた異なる場所であり別の建物や、別の会議室などである。

【0046】

＜システム構成例＞
続いて、図３を参照して、記録情報作成システム１００のシステム構成を説明する。図３は、記録情報作成システム１００の構成例を示す。図３では、遠隔会議を行う複数の拠点のうち１つの拠点（自拠点１０２）を示し、自拠点１０２における端末装置１０がネットワークを介して情報処理システム５０と、ストレージサービスシステム７０と、遠隔会議サービスシステム９０と、通信する。自拠点１０２には更に、ミーティングデバイス６０と電子黒板２が配置され、端末装置１０はこのミーティングデバイス６０とＵＳＢケーブル等を介して通信可能に接続されている。端末装置１０がＬＡＮを介してミーティングデバイス６０と通信してもよい。

【0047】

端末装置１０では、少なくとも情報記録アプリ４１と遠隔会議アプリ４２とが動作する。遠隔会議アプリ４２は、他の拠点１０１の端末装置１０とネットワーク上の遠隔会議サービスシステム９０を介して通信することができ、各拠点のユーザー同士が遠隔地から会議できるようになっている。情報記録アプリ４１は、遠隔会議アプリ４２が実施する遠隔会議における記録情報を、情報処理システム５０及びミーティングデバイス６０の機能を使って作成する。

【0048】

なお、本実施形態では、遠隔会議中の記録情報を作成する例を説明するが、会議は、遠隔の拠点と通信する会議でなくてもよい。つまり、会議は１拠点内の参加者のみが参加する会議でもよい。この場合、ミーティングデバイス６０が集音した音声のみが合成なしに保存される他、情報記録アプリ４１の処理に変更はない。

【0049】

端末装置１０には通常の画角のカメラが内蔵されており（外付けでもよい）、端末装置１０を操作するユーザー１０７を含む正面の画像を撮像している。通常の画角とは、パノラマ画像でない画像であるが、本実施形態では、主に全天球画像のように曲面でない平面画像である。また、端末装置１０にはマイクが内蔵されており（外付けでもよい）、端末装置１０を操作するユーザー等の周囲の音声を集音している。したがって、ユーザーは、情報記録アプリ４１を意識することなく、遠隔会議アプリ４２を使用した従来の遠隔会議が可能である。情報記録アプリ４１やミーティングデバイス６０は、端末装置１０の処理負荷増を除けば遠隔会議アプリ４２に影響を与えない。

【0050】

情報記録アプリ４１はミーティングデバイス６０と通信して記録情報を作成することで情報を記録するアプリである。ミーティングデバイス６０は、パノラマ画像の撮像装置、マイク、及び、スピーカを備えたミーティング用のデバイスである。端末装置１０が有するカメラは正面の限られた範囲しか撮像できないが、ミーティングデバイス６０はミーティングデバイス６０を囲む全周囲（必ずしも全周囲でなくてもよい）を撮像できる。ミーティングデバイス６０は図３に示す複数の参加者１０６を常に画角に収めることができる。

【0051】

この他、ミーティングデバイス６０は、パノラマ画像からの話者画像の切り出し、ミーティングデバイス６０が取得した音声と端末装置１０が出力する音声（遠隔会議アプリ４２が受信した音声を含む）との合成等を行う。なお、ミーティングデバイス６０は、机や台などの設置場所の上に限らず自拠点１０２のどこに配置されてもよい。ミーティングデバイス６０は全天球画像を撮像できるので、例えば天井に配置されてもよい。またミーティングデバイス６０は他拠点側やいずれの拠点に設置されてもよい。

【0052】

情報記録アプリ４１は、端末装置１０で実行中のアプリの一覧表示、上記した記録情報のための画像合成（結合画像動画の作成）、結合画像動画の再生、編集の受け付け等を行う。また、情報記録アプリ４１は、実施された又はこれから実施される予定の遠隔会議のリスト表示、等を行う。遠隔会議のリストは、記録情報に関する情報に使用され、ユーザーが遠隔会議と記録情報とを結びつけることができる。

【0053】

遠隔会議アプリ４２は、他の拠点１０１の他の端末装置との通信接続、画像及び音声の送受信、画像の表示や音声の出力等により、端末装置が他の端末装置と遠隔コミュニケーションを行うアプリケーションである。遠隔会議アプリは、遠隔コミュニケーションアプリ、遠隔情報共通アプリなどと言うこともできる。

【0054】

なお、情報記録アプリ４１及び遠隔会議アプリ４２はＷｅｂアプリでもネイティブアプリでもよい。Ｗｅｂアプリとは、Ｗｅｂサーバー上のプログラムとＷｅｂブラウザ上のプログラムやネイティブアプリが協働して処理を行うアプリであり、端末装置１０へのインストールが不要なアプリである。ネイティブアプリとは、端末装置１０にインストールして利用されるアプリである。本実施形態では、両者ともネイティブアプリであるとして説明する。

【0055】

端末装置１０は、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末等、通信機能を備えた汎用的な情報処理装置でよい。端末装置１０は、この他、電子黒板２、ゲーム機、ＰＤＡ（Personal Digital Assistant）、ウェアラブルＰＣ、カーナビ、産業機械、医療機器、ネットワーク家電等でもよい。端末装置１０は情報記録アプリ４１と遠隔会議アプリ４２が少なくとも動作する装置であればよい。端末装置１０は情報記録アプリ４１と遠隔会議アプリ４２が動作する装置であればよい。

【0056】

電子黒板２は、ペンや指等の入力手段でタッチパネルに手書きされたデータをディスプレイに表示する。電子黒板２は、有線又は無線で端末装置１０等と通信することができ、端末装置１０が表示する画面を取り込んでディスプレイに表示することができる。電子黒板２は、手書きデータをテキストデータに変換したり、他の拠点の電子黒板２とディスプレイに表示される情報を共有したりすることができる。電子黒板２は、タッチパネルを有さない単なる白板にプロジェクタが映像を投影する形態のものでもよい。また、電子黒板２は、タッチパネルを備えたタブレット端末、ノートＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistant）、ゲーム機等でもよい。

【0057】

電子黒板２は、情報処理システム５０と通信することができる。例えば、電源オンされた後、電子黒板２が、情報処理システム５０にポーリングするなどして、情報処理システム５０から情報を受信できる。電子黒板２と、電子黒板２を撮像できるミーティングデバイス６０は表示システムとして動作する。

【0058】

情報処理システム５０は、ネットワーク上に配置された一台以上の情報処理装置である。情報処理システム５０は、情報記録アプリ４１と協働して処理を行う１つ以上のサーバーアプリと、基盤サービスを有している。このサーバーアプリは、遠隔会議のリストの管理、遠隔会議で記録された記録情報の管理、各種設定やストレージパスの管理等を行う。基盤サービスは、ユーザー認証や契約、課金処理等を行う。ミーティングデバイス６０と、電子黒板２と、情報処理システム５０は、機器システムとして機能する。

【0059】

なお、情報処理システム５０の機能の全て又は一部は、クラウド環境に存在してもよいし、オンプレミス環境に存在してもよい。情報処理システム５０は複数台のサーバー装置により構成されてもよいし、一台の情報処理装置により構成されてもよい。例えば、サーバーアプリと基盤サービスが別々の情報処理装置より提供されてよいし、更にサーバーアプリ内の機能ごとに情報処理装置が存在してもよい。情報処理システム５０と次述するストレージサービスシステム７０、音声認識サービスシステム８０が一体でもよい。

【0060】

ストレージサービスシステム７０は、ネットワーク上の記憶手段であり、ファイル等の保存を受け付けるストレージサービスを提供する。ストレージサービスシステム７０としてはＯｎｅ Ｄｒｉｖｅ（登録商標）、Ｇｏｏｇｌｅ Ｗｏｒｋｓｐａｃｅ（登録商標）、ＤｒｏｐＢｏｘ（登録商標）等が知られている。ストレージサービスシステム７０は、オンプレミスのＮＡＳ（Network Attached Storage）等でもよい。

【0061】

音声認識サービスシステム８０は、音声データに音声認識を行いテキストデータに変換するサービスを提供する。音声認識サービスシステム８０は、汎用的な商用サービスでもよいし、情報処理システム５０の機能の一部でもよい。また音声認識サービスシステム８０はユーザーやテナント毎、会議毎に異なるサービスシステムを設定して用いてもよい。

【0062】

＜ハードウェア構成例＞
図４を参照して、本実施形態に係る情報処理システム５０及び端末装置１０のハードウェア構成について説明する。

【0063】

＜＜情報処理システム及び端末装置＞＞
図４は、本実施形態に係る情報処理システム５０及び端末装置１０の一例のハードウェア構成を示す図である。図４に示されているように、情報処理システム５０及び端末装置１０はコンピュータによって構築されており、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ（Hard Disk）５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ/Ｆ(Interface)５０８、ネットワークＩ/Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、光学ドライブ５１４、メディアＩ/Ｆ５１６を備えている。

【0064】

これらのうち、ＣＰＵ５０１は、情報処理システム５０及び端末装置１０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ/Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ/Ｆ５０９は、ネットワークを利用してデータ通信をするためのインターフェースである。バスライン５１０は、図４に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0065】

また、キーボード５１１は、文字、数値、又は各種指示などの入力に使用される複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。光学ドライブ５１４は、着脱可能な記録媒体の一例としての光記憶媒体５１３に対する各種データの読み出し又は書き込みを制御する。なお、光記憶媒体５１３は、ＣＤ，ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）等でよい。メディアＩ/Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

【0066】

＜＜ミーティングデバイス＞＞
図５を用いて、ミーティングデバイス６０のハードウェア構成を説明する。図５は、３６０°の動画を撮像可能なミーティングデバイス６０のハードウェア構成図の一例である。以下では、ミーティングデバイス６０は撮像素子を使用した、デバイスの周囲３６０°の動画を所定の高さで撮像する装置とするが、撮像素子は１つでも２つ以上のいくつでもよい。また、必ずしも専用装置である必要はなくPCやデジタルカメラ、スマートフォン等に後付けの３６０°動画の撮像ユニットを取り付けることで、実質的に同じ機能を有するようにしてもよい。

【0067】

図５に示されているように、ミーティングデバイス６０は、撮像ユニット６０１、画像処理ユニット６０４、撮像制御ユニット６０５、マイク６０８、音処理ユニット６０９、ＣＰＵ(Central Processing Unit)６１１、ＲＯＭ(Read Only Memory)６１２、ＳＲＡＭ(Static Random Access Memory)６１３、ＤＲＡＭ(Dynamic Random Access Memory)６１４、操作部６１５、外部機器接続Ｉ/Ｆ６１６、通信部６１７、アンテナ６１７ａ、音声センサー６１８、及びMicro USB用の凹状の端子６２１によって構成されている。

【0068】

このうち、撮像ユニット６０１は、半球画像を結像するための３６０°の画角を有する広角レンズ（いわゆる魚眼レンズ）６０２と、各広角レンズに対応させて設けられている撮像素子６０３（イメージセンサー）を備えている。撮像素子６０３は、魚眼レンズ６０２による光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサーやＣＣＤ(Charge Coupled Device)センサーなどの画像センサー、この画像センサーの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。なお撮像ユニット６０１は３６０°カメラであってもよく、ミーティングデバイス６０の周囲３６０°を撮像可能な撮像手段の例である。

【0069】

撮像ユニット６０１の撮像素子６０３（イメージセンサー）は、各々、画像処理ユニット６０４とパラレルＩ/Ｆバスで接続されている。一方、撮像ユニット６０１の撮像素子６０３は、撮像制御ユニット６０５とは、シリアルＩ/Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット６０４、撮像制御ユニット６０５及び音処理ユニット６０９は、バス６１０を介してＣＰＵ６１１と接続される。更に、バス６１０には、ＲＯＭ６１２、ＳＲＡＭ６１３、ＤＲＡＭ６１４、操作部６１５、外部機器接続Ｉ/Ｆ６１６、通信部６１７、及び音声センサー６１８なども接続される。

【0070】

画像処理ユニット６０４は、撮像素子６０３から出力される画像データをパラレルＩ/Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施して、魚眼映像からパノラマ画像や話者画像のデータを作成する。更に、画像処理ユニット６０４は、パノラマ画像と話者画像等を合成処理して、１つの動画を出力する。

【0071】

撮像制御ユニット６０５は、一般に撮像制御ユニット６０５をマスタデバイス、撮像素子６０３をスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子６０３のレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ６１１から受け取る。また、撮像制御ユニット６０５は、同じくＩ２Ｃバスを利用して、撮像素子６０３のレジスタ群のステータスデータ等を取り込み、ＣＰＵ６１１に送る。

【0072】

また、撮像制御ユニット６０５は、操作部６１５の撮像開始ボタンが押下されたタイミングあるいはPCから撮像開始指示を受信したタイミングで、撮像素子６０３ａ，６０３ｂに画像データの出力を指示する。ミーティングデバイス６０によっては、ディスプレイ（例えば、ＰＣやスマートフォンのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子６０３からの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

【0073】

また、撮像制御ユニット６０５は、後述するように、ＣＰＵ６１１と協働して撮像素子６０３の画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、ミーティングデバイス６０にはディスプレイが設けられていないが、表示部を設けてもよい。

【0074】

マイク６０８は、音を音（信号）データに変換する。音処理ユニット６０９は、マイク６０８から出力される音声データをＩ/Ｆバスを通して取り込み、音声データに対して所定の処理を施す。

【0075】

ＣＰＵ６１１は、ミーティングデバイス６０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ６１２は、ＣＰＵ６１１のための種々のプログラムを記憶している。ＳＲＡＭ６１３及びＤＲＡＭ６１４はワークメモリであり、ＣＰＵ６１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ６１４は、画像処理ユニット６０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

【0076】

操作部６１５は、撮像開始ボタン６１５ａなどの操作ボタンの総称である。ユーザーは操作部６１５を操作することで、撮像や録画を開始する他、電源ON/OFFの実行、通信接続の実行、種々の撮像モードや撮像条件などの設定を入力する。

【0077】

外部機器接続Ｉ/Ｆ６１６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＰＣ(Personal Computer)、ディスプレイ、プロジェクタ、電子黒板等である。外部機器接続Ｉ/Ｆ６１６は例えばＵＳＢ端子、ＨＤＭＩ（登録商標）端子等を備えていてもよい。ＤＲＡＭ６１４に記憶された動画データや画像データは、この外部機器接続Ｉ/Ｆ６１６を介して外部端末に送信されたり、外付けのメディアに記録されたりする。また、複数の外部機器接続Ｉ/Ｆ６１６を用い、例えば、ミーティングデバイス６０で撮像し取得した画像情報をＰＣへＵＳＢを介して送信して記録しながら、ＰＣからミーティングデバイス６０へ映像（例えば遠隔会議アプリで表示する画面情報など）を取得し、更にミーティングデバイス６０からＨＤＭＩで他の外部機器（ディスプレイ、プロジェクタ、電子黒板等）へ送信して表示してもよい。

【0078】

通信部６１７は、ミーティングデバイス６０に設けられたアンテナ６１７ａを介して、Wi－Fi等の無線通信技術によって、インターネット経由でクラウドサーバと通信し、記憶した動画データや画像データをクラウドサーバに送信してもよい。また、通信部６１７は、BLE（Bluetooth Low Energy。登録商標）やNFC等の近距離無線通信技術を用いて付近のデバイスと通信してもよい。

【0079】

音声センサー６１８は、ミーティングデバイス６０の周辺（水平面）の３６０°においてどの方向から音声が大きい音で入力されたかを特定するために、３６０°の音声情報を取得するセンサーである。音処理ユニット６０９は入力した３６０°の音声パラメータに基づき、最も強い方向を特定して３６０°における音声入力方向を出力する。

【0080】

なお、他のセンサー（方位・加速度センサーやGPS等）が方位・位置・角度・加速度等を算出し、画像補正や位置情報付加に用いてもよい。

【0081】

また画像処理ユニット６０４は、以下の処理を行う。

【0082】

・ＣＰＵ６１１は、パノラマ画像の作成を次の方法で行う。ＣＰＵ６１１は、球面映像を入力するイメージセンサーから入力されたRAWデータをBayer変換（RGB補完処理）等の所定のカメラ映像処理を行って魚眼映像（曲面の画像からなる映像）を作成する。更に作成した魚眼映像（曲面の映像）に対してDeWarp処理（歪み補正処理）等の平面化処理を行い、ミーティングデバイス６０の周辺の３６０°が写ったパノラマ画像（平面の画像からなる映像）を作成する。

【0083】

・ＣＰＵ６１１は話者画像の作成を次の方法で行う。ＣＰＵ６１１は周辺の３６０°が写ったパノラマ画像（平面の映像）から、話者を切り出した話者画像を作成する。ＣＰＵ６１１は、音声センサー６１８及び音処理ユニット６０９を用いて出力した360°から特定した音声入力方向を、話者の方向として、上記パノラマ画像から話者画像を切り出す。このとき音声入力方向から人の画像を切り出す方法は、360°から特定した音声方向を中心に30°を切り取って、その中で顔検出を実施して切り出す。ＣＰＵ６１１は、更に切り出した話者画像のうち、直近で発言のあった特定人数分（３名等）の話者画像を特定する。

【0084】

パノラマ画像と、１以上の話者画像は個別に情報記録アプリ４１に送信されてもよいし、ミーティングデバイス６０がこれらから１枚の画像を作成して、情報記録アプリ４１に送信してもよい。本実施形態では、パノラマ画像と１以上の話者画像は個別にミーティングデバイス６０から情報記録アプリ４１に送信されるものとする。

【0085】

図６は、ミーティングデバイス６０の撮像範囲を説明する図である。図６（ａ）に示すように、ミーティングデバイス６０は水平方向に３６０°の範囲を撮像する。図６（ｂ）に示すように、ミーティングデバイス６０は、ミーティングデバイス６０の高さに水平な方向を０°とし、上下に所定の角度を撮像範囲とする。

【0086】

図７は、パノラマ画像と話者画像の切り出しを説明する図である。図７に示すように、ミーティングデバイス６０が撮像する画像は球体の一部１１０をなすため、三次元の形状を有している。ミーティングデバイス６０は、図６（ｂ）で示したように、上下の所定角度と左右の所定角度ごとに画角を区切って透視投影変換を行う。透視投影変換を水平方向３６０°の全体で隙間なく行うことで、所定数の平面画像が得られるので、所定数の平面画像を左右に連結することでパノラマ画像１１１が得られる。また、ミーティングデバイス６０はパノラマ画像から音声方向を中心に所定の範囲で顔検出を実施して、顔の中心から左右に１５°（全体で３０°）を切り出すことで、話者画像１１２を作成する。

【0087】

＜＜電子黒板＞＞
図８は、電子黒板２のハードウェア構成図である。図８に示されているように、電子黒板２は、ＣＰＵ(Central Processing Unit)４０１、ＲＯＭ(Read Only Memory)４０２、ＲＡＭ(Random Access Memory)４０３、ＳＳＤ(Solid State Drive)４０４、ネットワークＩ/Ｆ４０５、及び、外部機器接続Ｉ/Ｆ(Interface)４０６を備えている。

【0088】

これらのうち、ＣＰＵ４０１は、電子黒板２全体の動作を制御する。ＲＯＭ４０２は、ＣＰＵ４０１やＩＰＬ(Initial Program Loader)等のＣＰＵ４０１の駆動に用いられるプログラムを記憶する。ＲＡＭ４０３は、ＣＰＵ４０１のワークエリアとして使用される。ＳＳＤ４０４は、電子黒板２用のプログラム等の各種データを記憶する。ネットワークＩ/Ｆ４０５は、通信ネットワークとの通信を制御する。外部機器接続Ｉ/Ｆ４０６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリ４３０、外付け機器（マイク４４０、スピーカ４５０、カメラ４６０）である。

【0089】

また、電子黒板２は、キャプチャデバイス４１１、ＧＰＵ４１２、ディスプレイコントローラ４１３、接触センサー４１４、センサコントローラ４１５、電子ペンコントローラ４１６、近距離通信回路４１９、及び近距離通信回路４１９のアンテナ４１９ａ、電源スイッチ４２２及び選択スイッチ類４２３を備えている。

【0090】

これらのうち、キャプチャデバイス４１１は、外付けのＰＣ(Personal Computer)４７０のディスプレイに対して映像情報を静止画又は動画として表示させる。ＧＰＵ(Graphics Processing Unit)４１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ４１３は、ＧＰＵ４１２からの出力画像をディスプレイ４８０等へ出力するために画面表示の制御及び管理を行う。接触センサー４１４は、ディスプレイ４８０上に電子ペン４９０やユーザーの手Ｈ等が接触したことを検知する。センサコントローラ４１５は、接触センサー４１４の処理を制御する。接触センサー４１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法について説明する。ディスプレイ４８０の上側両端部に設置された２つの受発光装置が、ディスプレイ４８０に平行して複数の赤外線を放射する。ディスプレイ４８０の周囲に設けられた反射部材によって反射されて、２つの受発光装置が、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する。

【0091】

接触センサー４１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ４１５に出力し、センサコントローラ４１５が、物体の接触位置である座標位置を特定する。電子ペンコントローラ４１６は、電子ペン４９０と通信することで、ディスプレイ４８０へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路４１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。電源スイッチ４２２は、電子黒板２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ類４２３は、例えば、ディスプレイ４８０の表示の明暗や色合い等を調整するためのスイッチ群である。

【0092】

更に、電子黒板２は、バスライン４１０を備えている。バスライン４１０は、図８に示されているＣＰＵ４０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0093】

なお、接触センサー４１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネルでもよい。接触センサー４１４は、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネルでもよい。接触センサー４１４は、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルでもよい。接触センサー４１４は、この他、種々の検出手段を用いてよい。また、電子ペンコントローラ４１６が、電子ペン４９０のペン先及びペン尻だけでなく、電子ペン４９０のユーザーが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。

【0094】

＜機能について＞
次に、図９を参照して、記録情報作成システム１００が有する機能構成について説明する。図９は、記録情報作成システム１００における端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０の機能をブロックに分けて説明する機能ブロック図の一例である。

【0095】

＜＜端末装置＞＞
端末装置１０で動作する情報記録アプリ４１は、通信部１１、操作受付部１２、表示制御部１３、アプリ画面取得部１４、音声取得部１５、デバイス通信部１６、録画制御部１７、音声データ処理部１８、録画再生部１９、アップロード部２０、編集処理部２１、機器認識部２２、解析部２３、操作者画像送信部２４、切り出し要求部２５を有している。端末装置１０が有するこれら各部は、図４に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開された情報記録アプリ４１に従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、端末装置１０は、図４に示されているＨＤ５０４等によって構築される記憶部１０００を有している。記憶部１０００には情報記憶部１００１が構築されている。

【0096】

通信部１１は、ネットワークを介して情報処理システム５０と各種の情報を通信する。通信部１１は、例えば、遠隔会議のリストを情報処理システム５０から受信したり、音声データの認識要求を情報処理システム５０に送信したりする。また、通信部１１は電子黒板２から操作開始、操作終了を受信する。

【0097】

表示制御部１３は情報記録アプリ４１に設定されている画面遷移にしたがって情報記録アプリ４１においてユーザーインターフェースとなる各種の画面を表示する。操作受付部１２は、情報記録アプリ４１に対する各種の操作を受け付ける。

【0098】

アプリ画面取得部１４は、ユーザーが選択したアプリが表示する画面情報、又は、デスクトップ画面の画面情報などをＯＳ（Operating System）等から取得する。ユーザーが選択したアプリが遠隔会議アプリ４２の場合、遠隔会議アプリ４２が生成する画面（各拠点の端末装置カメラによる端末装置ユーザーの撮像画像、共有している資料の表示画像、参加者アイコンや参加者名等を含む画像）が得られる。アプリが表示する画面情報（アプリ画面）は、実行中のアプリケーションがウィンドウとして表示し、情報記録アプリケーションが画像として取得する情報である。アプリケーションのウィンドウは、ウィンドウの領域をデスクトップイメージ全体における領域として描画されモニター等に表示される。アプリが表示する画面情報は、ＯＳ（Operating System）のＡＰＩや表示するアプリのＡＰＩ等を介して、他のアプリケーション（情報記録アプリケーション等）が、画像ファイルや、連続した複数の画像から構成される動画ファイルとして取得可能である。また、デスクトップ画面の画面情報は、ＯＳが生成するデスクトップ画面の画像から構成される情報であり、同様に画像ファイルや動画ファイルとして、ＯＳのＡＰＩを介して取得可能である。これらの画像ファイルの形式はビットマップ、ＰＮＧ、その他の形式であってもよい。また動画ファイルの形式はＭＰ４、その他の形式でもよい。

【0099】

音声取得部１５は、端末装置１０がマイクやイヤホンから出力する音声（遠隔会議アプリ４２から遠隔会議において受信された音声データを含む）を取得する。出力音声がミュート状態でも、音声取得部１５は音声を取得できる。音声データに関してユーザーは遠隔会議アプリ４２を選択するなどの操作は必要なく、音声取得部１５は、端末装置１０が出力できる音声を、ＯＳやアプリのＡＰＩ（Application Interface）を介して取得できる。これにより、遠隔会議アプリ４２が他の拠点１０１から受信する音声データも取得される。遠隔会議アプリ４２が実行中でなかったり、遠隔会議中でなかったりする場合、情報記録アプリ４１は音声データを取得できない場合がある。なお、音声取得部１５が取得する音声は、端末装置１０が集音する音声は含まれず、出力する音声データのみとしてもよい。ミーティングデバイス６０が別に、拠点の音声を集音しているためである。

【0100】

デバイス通信部１６は、ＵＳＢケーブルなどを利用してミーティングデバイス６０と通信する。デバイス通信部１６は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等でミーティングデバイス６０と通信してよい。デバイス通信部１６は、パノラマ画像と話者画像をミーティングデバイス６０から受信し、音声取得部１５が取得した音声データをミーティングデバイス６０に送信する。デバイス通信部１６は、ミーティングデバイス６０で合成された音声データを受信する。

【0101】

録画制御部１７は、デバイス通信部１６が受信したパノラマ画像と話者画像、及び、アプリ画面取得部１４が取得したアプリの画面を結合し、結合画像を作成する。また、録画制御部１７は繰り返し作成する結合画像を時系列に接続して結合画像動画を作成し、合成された音声データを結合画像動画に結合して音声付きの結合画像動画を作成する。なお、パノラマ画像と話者画像の結合は、ミーティングデバイス６０が行ってもよい。また、パノラマ画像、話者画像、アプリ画面、パノラマ画像と話者画像からなる画像などの各画像からなる動画を、それぞれ別個の動画ファイルとしてストレージサービスシステム７０に記憶してもよい。その場合、パノラマ動画、話者動画、アプリ画面の動画、パノラマ画像と話者画像の結合動画を、閲覧時に呼び出して１つの表示画面で表示してもよい。

【0102】

音声データ処理部１８は、結合画像動画に結合された音声データを抽出するか、又は、ミーティングデバイス６０から受信した合成後の音声データの、テキストデータへの変換を情報処理システム５０に要求する。

【0103】

録画再生部１９は、結合画像動画の再生を行う。結合画像動画は、録画中は端末装置１０に保存され、その後、情報処理システム５０にアップロードされる。

【0104】

アップロード部２０は、遠隔会議が終了すると、結合画像動画を情報処理システム５０に送信する。

【0105】

編集処理部２１は、ユーザーの操作に応じて、結合画像動画の編集（一部の削除、つなぎ合わせ等）を実行する。

【0106】

機器認識部２２は、機械学習で電子黒板２の形状（外接矩形）を学習しておき、パノラマ画像から電子黒板２を検出する。機器認識部２２は、機械学習を使用せずに、単にパターンマッチングで認識してもよい。機器認識部２２が行う処理をミーティングデバイス６０が行ってもよい。

【0107】

解析部２３は、パノラマ画像に含まれる二次元コードを検出すると共に、二次元コードを解析して電子黒板２の機器識別情報等、二次元コードに含まれる情報を取得する。解析部２３が行う処理をミーティングデバイス６０が行ってもよい。

【0108】

操作者画像送信部２４は、ミーティングデバイス６０から送信された操作者画像７を、情報処理システム５０に送信する。情報処理システム５０は、同じ会議に参加している他の拠点の端末装置８に操作者画像７を送信する。操作者画像送信部２４が行う処理をミーティングデバイス６０が行ってもよい。

【0109】

切り出し要求部２５は、電子黒板２から操作開始を受信すると、操作者画像７の切り出し要求をミーティングデバイス６０に要求する。また、切り出し要求部２５は、電子黒板２から操作終了を受信すると、操作者画像７の切り出し終了をミーティングデバイス６０に要求する。

【0110】

図１０は、情報記憶部１００１が記憶している動画記録情報を示す。動画記録情報は、会議ＩＤ、録画ＩＤ、更新日時、タイトル、アップロード、保存先等の各項目を有している。ユーザーが情報処理システム５０にログインすると、情報記録アプリ４１は情報処理システム５０の会議情報記憶部５００１から会議情報をダウンロードする。会議情報に含まれる会議ＩＤなどが動画記録情報に反映される。図１０の動画記録情報は、あるユーザーが操作する端末装置１０が保持するものである。

【0111】

・会議ＩＤは、開催された遠隔会議を識別する識別情報である。会議ＩＤは、会議管理システム９に遠隔会議の予定が登録された際に採番されるか、又は、情報記録アプリ４１からの要求で情報処理システム５０が採番する。なお会議管理システム９は、会議及び遠隔会議の予定や、遠隔会議を開始するＵＲＬ（会議リンク）、会議で利用する機器の予約情報などを登録するためのシステムであり、端末装置１０からネットワークを介して接続するスケジューラ等である。また会議管理システム９は登録した予定等を情報処理システム５０に送信することが可能である。

【0112】

・録画ＩＤは、遠隔会議において録画された結合画像動画を識別する識別情報である。録画ＩＤはミーティングデバイス６０が採番するが、情報記録アプリ４１や情報処理システム５０が採番してもよい。同じ会議ＩＤに異なる録画ＩＤが付与されるのは、遠隔会議の途中で録画が終了したが、何らかの理由で再開した場合を示す。

【0113】

・更新日時は、結合画像動画が更新された（録画が終了した）日時である。結合画像動画が編集された場合、編集された日時である。

【0114】

・タイトルは、会議の会議名である。会議管理システム９への会議の登録時に設定されてもよいし、ユーザーが任意に設定してもよい。

【0115】

・アップロードは、結合画像動画が情報処理システム５０にアップロードされたか否かを示す。

【0116】

・保存先は、ストレージサービスシステム７０において、結合画像動画とテキストデータが保存されている場所（ＵＲＬやファイルパス）を示す。したがって、ユーザーはアップロードされた結合画像動画を任意に閲覧できる。なお、結合画像動画とテキストデータは、例えばＵＲＬに続いて別々のファイル名で保存される。

【0117】

・他の拠点の端末装置８
他の拠点の端末装置８については、電子黒板２が表示するオブジェクトを共有する機能について説明する。他の拠点の端末装置８は、図示する他に自拠点の端末装置１０と同じ機能を有していてもよい。他の拠点の端末装置８は、通信部７１、操作受付部７２、表示制御部７３及び操作者画像取得部７４を有している。他の拠点の端末装置８が有するこれら各部は、図４に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開されたプログラム（電子黒板２用アプリ又はＷｅｂブラウザ）に従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。

【0118】

通信部７１は、情報処理システム５０と通信して、電子黒板２が表示するオブジェクトデータや操作者画像７を含む各種の情報を受信する。また、通信部７１は他の拠点の端末装置８に手書きされたオブジェクトデータを情報処理システム５０に送信する。

【0119】

操作受付部７２は、他の拠点の端末装置８に対する各種の操作を受け付ける。例えば、操作受付部７２が電子黒板２に対するストロークの入力を受け付けてよい。

【0120】

表示制御部７３は、通信部７１が受信したオブジェクトデータや手書きされたストローク等を他の拠点の端末装置８のディスプレイに表示する。

【0121】

操作者画像取得部７４は、オブジェクトデータに操作者画像７の識別情報が添付されている場合、通信部７１を介して、操作者画像７の識別情報を指定して操作者画像７を情報処理システム５０から取得する。

【0122】

＜＜ミーティングデバイス＞＞
図９に戻って説明する。ミーティングデバイス６０は、端末通信部６１、パノラマ画像生成部６２、話者画像生成部６３、集音部６４、音声合成部６５、操作者画像生成部６６、及び、機器方向検知部６７を有している。ミーティングデバイス６０が有するこれら各部は、図５に示されている各構成要素のいずれかが、ＲＯＭ６１２からＤＲＡＭ６１４に展開されたプログラムに従ったＣＰＵ６１１からの命令によって動作することで実現される機能、又は機能する手段である。

【0123】

端末通信部６１は、ＵＳＢケーブルなどを利用して端末装置１０と通信する。端末通信部６１は、有線ケーブルで接続されるだけでなく、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等で端末装置１０と通信可能であればよい。

【0124】

パノラマ画像生成部６２はパノラマ画像を作成する。話者画像生成部６３は話者画像を作成する。これらの作成方法は図６、図７にて説明した。なお、パノラマ画像生成部６２は画像データを取得する取得部でもある。

【0125】

集音部６４は、ミーティングデバイス６０が有するマイクが取得する音声信号を音声データ（デジタル）に変換する。これにより、端末装置１０側の拠点でユーザーや参加者が発言した内容が集音される。

【0126】

音声合成部６５は、端末装置１０から送信された音声と集音部６４が集音した音声を合成する。これにより、他の拠点１０１で発言された音声と、自拠点１０２の発言がまとめられる。

【0127】

操作者画像生成部６６は、端末装置１０からの操作開始（切り出し要求）に応じてパノラマ画像から操作者画像７の切り出しを開始し、操作終了（切り出し終了要求）に応じて操作者画像７の切り出しを終了する。

【0128】

機器方向検知部６７は、特定の音声（特定の周波数の音声）を検出してパノラマ画像における電子黒板２の方向を検知する。なお、機器方向検知部６７は、予め設定されている電子黒板２の方向、二次元コード等の検出、又は、電子黒板２の形状等により、パノラマ画像における電子黒板２の方向を検知してもよい。本実施形態では、ユーザーの設定、二次元コード等の検出、又は、電子黒板２の形状に基づく電子黒板２の方向の検出は端末装置１０が行うとして説明する。この場合、機器方向検知部６７は、端末装置１０から電子黒板２の方向を受け取る。

【0129】

＜＜情報処理システム＞＞
情報処理システム５０は、通信部５１、認証部５２、画面生成部５３、コミュニケーション管理部５４、機器管理部５５、テキスト変換部５６、オブジェクト共有部５７を有する。情報処理システム５０が有するこれら各部は、図４に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システム５０は、図４に示されているＨＤ５０４等によって構築される記憶部５０００を有している。記憶部５０００には、会議情報記憶部５００１、録画情報記憶部５００２、対応付け情報記憶部５００３、アカウント情報記憶部５００４、オブジェクトデータ記憶部５００５が構築される。なお、オブジェクトデータ記憶部５００５については電子黒板２の説明において説明する。

【0130】

通信部５１は、端末装置１０と各種の情報を送受信する。通信部５１は、例えば、遠隔会議のリストを端末装置１０に送信したり、音声データの認識要求を端末装置１０から受信したりする。

【0131】

認証部５２は、端末装置１０を操作するユーザーを認証する。認証部５２は、例えば、通信部５１によって受信された認証要求に含まれている認証情報（ユーザーＩＤ及びパスワード）が予め保持する認証情報と一致するか否かにより、ユーザーを認証する。なお、認証情報は、ＩＣカードのカード番号、顔や指紋などの生体認証情報等でもよい。また、認証部５２は、外部の認証システムやＯＡＵＴＨなどの認証方法で認証してもよい。

【0132】

画面生成部５３は端末装置１０が表示する画面情報の生成を行う。端末装置１０がネイティブアプリを実行する場合は、画面情報は端末装置１０が保持しており、表示される情報がＸＭＬ等で送信される。端末装置１０がＷｅｂアプリを実行する場合は、画面情報は、ＨＴＭＬ、ＸＭＬ、ＣＳＳ（Cascade Style Sheet）、及びJavaScript（登録商標）等により作成される。

【0133】

コミュニケーション管理部５４は、各ユーザーのアカウント又は情報処理システム５０に付与されたシステム用のアカウントで、遠隔会議に関する情報を会議管理システム９から取得する。コミュニケーション管理部５４は、予約された会議の会議情報を会議ＩＤと対応付けて会議情報記憶部に記憶させる。また、コミュニケーション管理部５４は、テナントに所属するユーザーに閲覧権限がある会議情報を取得する。会議には会議ＩＤが設定されているので、会議ＩＤにより遠隔会議と記録情報が対応付けられる。

【0134】

機器管理部５５は、端末装置１０から電子黒板２の機器識別情報を受信した場合、会議ＩＤと会議で使用される電子黒板２とミーティングデバイス６０とを対応付けて対応付け情報記憶部５００３に保存する。会議ＩＤには結合画像動画も対応付けられるので、手書きデータと結合画像動画も対応付けられる。また、機器管理部５５は、録画が終了されると（会議が終了すると）、対応付け情報記憶部５００３から対応付けを削除する。

【0135】

テキスト変換部５６は、端末装置１０からテキストデータへの変換を要求された音声データを外部の音声認識サービスを利用してテキストデータに変換する。テキスト変換部５６自身が変換してもよい。

【0136】

オブジェクト共有部５７は、同じ会議に参加している端末装置１０及び電子黒板２の間で入力表示領域及びオブジェクトデータ及び操作者画像７を共有する。オブジェクト共有部５７は、入力表示領域を提供して、入力表示領域を電子黒板２と端末装置１０とで共有させ、電子黒板２や端末装置１０での入力表示領域に対するオブジェクトの入力を受け付ける。端末装置１０が通信に会議ＩＤを添付することで、オブジェクト共有部５７は会議を特定できる。オブジェクト共有部５７は、オブジェクトの入力に応じて一方の電子黒板２から送信されたオブジェクトを他方の電子黒板２（会議に紐づくことで参加する装置全て）に送信し、また、この逆も行う。オブジェクト共有部５７は、電子黒板２と端末装置１０の間でもオブジェクト及び操作者画像７を共有できる。送信内容はオブジェクトのみに限らず、オブジェクトが入力された入力表示領域全体を送信し表示させてもよい。

【0137】

オブジェクト共有部５７は例えば、オンラインホワイトボードアプリやオンライン電子黒板アプリなど、複数の端末装置１０及び電子黒板２から、操作者が相互にオブジェクトを書き込み合ってオンライン（クラウド上）で板書を作成するアプリであってもよい。またオブジェクト共有部５７は情報処理システム５０の外部のＷｅｂサービスを用いてもよい。オブジェクト共有部５７は共有部の一例である。

【0138】

図１１は、コミュニケーション管理部５４が管理する、会議情報記憶部５００１に記憶された会議情報の一例である。コミュニケーション管理部５４は上記のアカウントを使ってテナントに所属する当該ユーザーが閲覧権限のある遠隔会議のリストを取得できる。なお閲覧権限は、端末装置１０の情報記録アプリから直接、コミュニケーション管理部５４が管理する会議情報に対して付与されてもよい。またテナントに所属するユーザーに閲覧権限がある遠隔会議の情報には、ユーザーが作成した会議の情報と、ユーザーが他のユーザーによって閲覧権限を与えられた会議の情報とが含まれる。本実施形態では、遠隔会議を例にしているが、遠隔会議のリストには１つの会議室だけで開催される会議も含まれている。

【0139】

会議情報は会議ＩＤで管理され、開催者ＩＤ、タイトル（会議名）、開始日時、終了日時、電子黒板２、ミーティングデバイス６０などと対応付けられている。これらは会議情報の一例であり、会議情報は、他にも情報を含みうる。

【0140】

・開催者ＩＤの項目は、会議の開催者（主催者）である。

【0141】

・タイトルの項目は、会議名や海外の議題など、会議の内容を表す。

【0142】

・開始日時の項目は、会議が開始される予定の日時である。

【0143】

・終了日時の項目は、会議が終了する予定の日時である。

【0144】

・電子黒板２の項目は、会議に対応付けられた電子黒板２の識別情報である。

【0145】

・ミーティングデバイス６０の項目は、会議で使用されたミーティングデバイス６０の識別情報である。

【0146】

図１０，図１１に示すように、会議ＩＤにより会議で録画された結合画像動画が特定される。

【0147】

録画情報記憶部５００２に記憶されている録画情報は図１０と同様でよい。ただし、情報処理システム５０では、テナントに所属する全てのユーザーが録画した結合画像動画のリストを有する。保存先（クラウドストレージシステムのＵＲＬ等のパス情報）は、ユーザーが所望の保存先情報を端末装置１０の情報記録アプリ４１のユーザー設定画面等で入力し、録画情報記憶部５００２に記憶してもよい。

【0148】

図１２は、対応付け情報記憶部５００３に記憶された、会議ＩＤと機器識別情報（電子黒板２とミーティングデバイス６０）とが対応付けられた対応付け情報を示す。情報記録アプリ４１が機器識別情報を情報処理システム５０に送信してから、録画を終了するまで対応付け情報が保持される。ミーティングデバイス６０には端末装置１０が接続されているので、情報処理システム５０は端末装置１０の識別情報（ＩＰアドレス等）を対応付けて保存することもできる。あるいは、端末装置１０が通信にミーティングデバイス６０の機器識別情報を添付すれば、電子黒板２と同じ会議に参加している端末装置１０であることが特定される。

【0149】

図１３は、アカウント情報記憶部５００４に記憶されているアカウント情報の一例である。アカウント情報には人間だけでなく、人間以外のユーザーとして電子黒板２やミーティングデバイス６０の情報も保持されている。

【0150】

・ユーザーＩＤは、会議に参加しうるユーザー、電子黒板２及びミーティングデバイス６０等の識別情報である。

【0151】

・種別は、ユーザー、電子黒板２又はミーティングデバイス６０の各アカウントの種別である。

【0152】

・名称は、ユーザーの氏名や電子黒板２、ミーティングデバイス６０の名称である。

【0153】

・メールアドレスは、ユーザー、電子黒板２及びミーティングデバイス６０等のメールアドレスである。

【0154】

＜＜電子黒板＞＞
図１４は、電子黒板２の機能をブロックに分けて説明する機能ブロック図である。電子黒板２は、接触位置検出部３１、描画データ生成部３２、データ記録部３３、表示制御部３４、コード生成部３５、通信部３６、音声データ生成部３７、操作検知部３８、ユーザー検知部３９、オブジェクトアップロード部４０ａ、操作者画像受信部４０ｂを有する。電子黒板２が有する各機能は、図８に示されている各構成要素のいずれかが、ＳＳＤ４０４からＲＡＭ４０３上に展開されたプログラムに従ったＣＰＵ４０１からの命令によって動作することで実現される機能又は手段である。

【0155】

接触位置検出部３１は接触センサー４１４に対し電子ペン４９０が接触した位置の座標を検出する。描画データ生成部３２は電子ペン４９０のペン先が接触した座標を接触位置検出部３１から取得する。描画データ生成部３２はこの座標点列を補間することで接続してストロークデータを生成する。

【0156】

表示制御部３４は手書きデータ、手書きデータから変換された文字列、及び、ユーザーが操作するためのメニューなどをディスプレイに表示する。

【0157】

データ記録部３３は、電子黒板２に手書きされた手書きデータ、手書きデータが円や三角などに変換された図形、済などのスタンプ、ＰＣの画面、ファイル等をオブジェクトデータ記憶部３００２に保存する。手書きデータ、文字列（図形も含む）、及び、ＰＣの画面などの画像、ファイル等はオブジェクトして扱われる。手書きデータについては手書きの中断による時間的な区切り、手書き場所の違いによる距離的な区切りに応じて一まとまりのストロークデータが１つのオブジェクトとなる。

【0158】

通信部３６はＷｉ－ＦｉやＬＡＮに接続し、情報処理システム５０と通信する。通信部３６は、オブジェクトデータを情報処理システム５０に送信したり、情報処理システム５０に記憶されたオブジェクトデータを情報処理システム５０から受信してディスプレイ４８０に表示させたりする。また、通信部３６は操作開始又は操作終了を端末装置１０に送信する。

【0159】

コード生成部３５は、機器情報記憶部３００１に記憶された電子黒板２の機器識別情報と会議で使用可能な機器であることを示す情報を２次元のパターンに符号化して二次元コードを生成する。また、コード生成部３５は電子黒板２の機器識別情報と会議で使用可能な機器であることを示す情報をバーコードに符号化できる。機器識別情報はシリアル番号やＵＵＩＤなどでよい。機器識別情報は、ユーザーが設定したものでもよい。

【0160】

音声データ生成部３７は、予め設定されている周波数の信号をＰＣＭ変換と同様に一定間隔でサンプリングする手法で音声データを生成する。音声データはスピーカ４５０が有するＤ／Ａコンバータでアナログに変換され、スピーカ４５０から出力される。

【0161】

操作検知部３８は、電子黒板２に対するユーザー操作を検知する。操作検知部３８は、例えば、接触位置検出部３１が電子ペン４９０やユーザーの手Ｈ等がディスプレイ４８０（タッチパネル）に接触したこと（接近しただけでもよい）に応じて、操作開始又は操作終了を検知する。

【0162】

ユーザー検知部３９は、赤外線センサー、超音波センサー、カメラ等によりユーザーが電子黒板２に接近したこと及び遠ざかったこと（離れたこと）を検知する。

【0163】

オブジェクトアップロード部４０ａは、電子黒板２が表示するオブジェクトを所定のタイミングで情報処理システム５０にアップロードする。これにより拠点間でオブジェクトが共有される。

【0164】

操作者画像受信部４０ｂは、端末装置１０から操作者画像７を受信する。操作者画像受信部４０ｂは、情報処理システム５０を経由して端末装置１０から操作者画像７を受信してもよいし、直接、端末装置１０から受信してもよい。

【0165】

また、電子黒板２は、図８に示されているＳＳＤ４０４等によって構築される記憶部３０００を有している。記憶部３０００には機器情報記憶部３００１とオブジェクトデータ記憶部３００２が構築されている。

【0166】

図１５は、機器情報記憶部３００１に記憶されている機器識別情報等を示す。
・機器識別情報は、電子黒板２の識別情報である。
・ＩＰアドレスは、他の装置がネットワークを介して電子黒板２と接続するためのＩＰアドレスである。
・パスワードは電子黒板２に他の装置が接続する際の認証に使用される。

【0167】

図１６は、オブジェクトデータ記憶部３００２に保存されているオブジェクトデータを説明する図である。オブジェクトデータは、電子黒板２が表示するオブジェクトを管理する情報である。オブジェクトデータは情報処理システム５０に送信され議事録として使用される。なお、オブジェクトは情報処理システム５０から通知された会議ＩＤに対応付けられている。

【0168】

・オブジェクトＩＤの項目は、オブジェクトを識別する識別情報である。オブジェクトにはストロークの他、文字、図形、画像、等がある。文字は手書きデータから変換された文字列（文字コード）である。文字列をテキストデータという場合もある。図形は、三角や四角など手書きデータから変換された幾何学的な形状である。画像は、ＰＣやインターネットなどから取り込まれたＪｐｅｇ、Ｐｎｇ、ＰＤＦ、Ｔｉｆｆなどの画像データである。

【0169】

・データ内容の項目は、ストロークを構成する座標点列である。データ内容の項目は、文字コード、又は、画像ファイル等のデータとその位置情報である。

【0170】

・入力元の項目は、オブジェクトが入力された装置の識別情報である。電子黒板２への手書きは電子黒板２の識別情報が登録され、他の拠点の端末装置８への手書きは手書きしたユーザーＩＤ（ログインユーザー）が登録される。

【0171】

・操作者画像７の識別情報の項目は、当該オブジェクトに対応付けられている操作者画像７の識別情報が登録される。操作者画像７は情報処理システム５０に保存されてもよいし、ストレージサービスシステム７０に保存されていてもよい。

【0172】

・保存先は、操作者画像７が保存されたＵＲＬやファイルパスなどである。

【0173】

＜動作又は処理＞
次に、図１７を参照して、ミーティングデバイス６０が操作者画像７の切り出しを行い、他の拠点の端末装置８がオブジェクトと操作者画像７を表示する全体的な流れを説明する。図１７は、ユーザーが電子黒板２に手書きしたストロークを、他の拠点の端末装置８が操作者画像７と共に表示する処理を説明するシーケンス図である。

【0174】

S1：会議に参加したユーザーが、電子ペン４９０で手書きしたり、ＰＣの画面を電子黒板２で表示させたりする。

【0175】

S2：電子黒板２の接触位置検出部３１が電子ペン４９０の接触位置を検出し、操作検知部３８が操作開始を検知する。ユーザー検知部３９がユーザーの接近を検知してもよい。電子黒板２の通信部３６は、電子黒板２が操作されたので、操作開始（操作を検知した旨）を端末装置１０に送信する。なお、電子黒板２と端末装置１０が通信する方法については後述する（図１９～図２２）。

【0176】

S3：情報記録アプリ４１の通信部１１は操作開始を受信したので、切り出し要求部２５がデバイス通信部１６を介して操作者画像７の切り出し要求をミーティングデバイス６０に送信する。なお、切り出し要求部２５は、ユーザーが操作者画像を切り出す操作を入力したことに応じて、操作者画像７の切り出し要求をミーティングデバイス６０に送信してもよい。

【0177】

S4：ミーティングデバイス６０の端末通信部６１が切り出し要求を受信し、操作者画像生成部６６がパノラマ画像から操作者画像７を生成する（切り出す）。電子黒板２の方向の検知方法については後述する。なお、操作者画像７の切り出しを端末装置１０が行うこともできる。

【0178】

S5：ミーティングデバイス６０の端末通信部６１は、要求された操作者画像７を端末装置１０に送信する。端末装置１０のデバイス通信部１６は、操作者画像７を受信する。

【0179】

なお、ミーティングデバイス６０は、１ストロークごとに操作者画像７を生成してもよいし、１つのオブジェクトごとに操作者画像７を生成してもよい。また、ミーティングデバイス６０は、定期的に操作者画像７を生成してもよい。

【0180】

S6：会議に参加したユーザーが電子黒板２の操作を終了する。操作の終了には、ペンアップや、最後の操作からの一定時間以上の不操作がある。

【0181】

S7：電子黒板２の操作検知部３８が操作終了を検知する。ここでの操作終了は、１ストロークの終了（ペンアップ）であるとする。ユーザー検知部３９がユーザーの遠ざかりを検知してもよい。電子黒板２の操作者画像受信部４０ｂは操作終了に応じて、通信部３６を介して、操作者画像７を端末装置１０に要求する。端末装置１０の通信部１１は操作者画像７を電子黒板２に送信する。

【0182】

S8：電子黒板２の通信部３６は操作者画像７を受信し、オブジェクトアップロード部４０ａが通信部３６を介して、会議ＩＤを指定して操作者画像７を情報処理システム５０に送信する。情報処理システム５０の通信部５１は操作者画像７を受信し、オブジェクト共有部５７が操作者画像７の識別情報を採番する。オブジェクト共有部５７は操作者画像７とその識別情報を対応付けて保存する。操作者画像７の識別情報は端末装置１０に送信される。

【0183】

S9：次に、電子黒板２のオブジェクトアップロード部４０ａが通信部３６を介して、会議ＩＤを指定して、オブジェクトデータ（ここではストロークデータ）と操作者画像７の識別情報を情報処理システム５０に送信する。

【0184】

S10：情報処理システム５０の通信部５１は、会議ＩＤと、オブジェクトデータと、操作者画像７の識別情報とを受信し、オブジェクト共有部５７がオブジェクトＩＤを採番する（オブジェクトＩＤの採番は電子黒板２が行ってもよい）。オブジェクト共有部５７はオブジェクトＩＤとオブジェクトデータと操作者画像７の識別情報を対応付けて保存する。なお、オブジェクトデータの送信と操作者画像７の送信の順序は逆でもよい。

【0185】

S11：情報処理システム５０がオブジェクトデータ、操作者画像７を受信すると、オブジェクト共有部５７が同じ会議に参加している他の拠点の端末装置８を会議ＩＤで特定し、通信部５１がオブジェクトデータと操作者画像７の識別情報を他の拠点の端末装置８に送信する。オブジェクトデータと操作者画像７の識別情報は送信元の電子黒板２には送信されない。自拠点の端末装置１０には、この端末装置１０が同じ会議に参加していれば送信されてよい。

【0186】

S12：他の拠点の端末装置８の通信部７１は、オブジェクトデータと操作者画像７の識別情報を受信し、表示制御部７３がオブジェクトデータをディスプレイに表示する。

【0187】

S13：また、操作者画像取得部７４は、他の拠点の端末装置８のユーザーが、表示されているオブジェクトのうちの１つを選択したことに応じて、操作者画像７の識別情報を用いて、通信部７１を介し、情報処理システム５０に操作者画像７を要求する。情報処理システム５０の通信部５１は要求を受信し、オブジェクト共有部５７が操作者画像７の識別情報に対応付けられた操作者画像７を、通信部５１を介して、他の拠点の端末装置８に送信する。

【0188】

S14：他の拠点の端末装置８の通信部７１が操作者画像７を受信し、表示制御部７３が、操作者画像７の識別情報と共に送信されたオブジェクトに対応付けて表示する。オブジェクトに対応付けて表示するとは、オブジェクトの近く（一定距離内）や周囲（上下左右）に表示することをいう。

【0189】

以上の処理で、他の拠点の端末装置８が、電子黒板２に誰がストロークを書いたのかがわかるようになる。

【0190】

なお、上記では操作終了に応じて電子黒板２が操作者画像７を情報処理システム５０に送信しているが、操作中に（手書き中に）電子黒板２が操作者画像７を情報処理システム５０に送信してもよい。また、オブジェクトデータと操作者画像７がほぼ同時に情報処理システム５０に送信されているが、別々に送信されてもよい。例えば、電子黒板２がストロークデータを先に情報処理システム５０に送信してから、操作者画像７を情報処理システム５０に保存する処理を実施する。つまり、ストロークだけをまずは他の拠点の端末装置８が共有し、その後に、該ストロークを入力時に撮像された操作者画像７を共有してよい。

【0191】

＜他の拠点の端末装置の表示例＞
図１８は、他の拠点の端末装置８が表示するオブジェクトと操作者画像７の一例である。図１８（ａ）は、電子黒板２に手書きする操作者１２１を示す。電子黒板２で手書きされた「あ」というストローク１２０の近くの操作者１２１が写っている操作者画像７が作成されている。操作者画像７が電子黒板２の右半分なのは、電子黒板２の右側に手書きされたためであるが、電子黒板２の全体が切り出されてもよいし、顔だけが切り出されてもよい。

【0192】

図１８（ｂ）は、他の拠点の端末装置８に表示するストローク１２０と操作者画像７を示す。電子黒板２に手書きされた「あ」の近くに操作者画像７が吹き出し表示又はポップアップ表示されている。したがって、誰がストローク１２０を書いたのかを、他の拠点のユーザーが容易に把握することができる。

【0193】

図１８（ｂ）では、電子黒板２に対してユーザーがどのように手書きしているか、又は、電子黒板２を含めた雰囲気を、他の拠点でも分かりやすくするために、ミーティングデバイス６０があえて広めに切り出している。このため、書き込んでいるユーザーの手元と電子黒板２の一部が写り込んでいる。なお、操作者画像７の表示位置は一例であり、操作者画像７はストローク１２０の周囲に表示されればよい。表示制御部７３は、既存のストロークを避けて操作者画像７を表示してよい。また、表示制御部７３は、既存のストロークを避けるため、操作者画像７を縮小して表示してもよい。

【0194】

なお、ミーティングデバイス６０が公知の画像認識（顔認識）技術を用いて、顔や顔周辺部分のみ円形や矩形等に切り出して、操作者画像７を生成してもよい。図１８（ｂ）では、電子黒板２の右側に手書きされたという情報をミーティングデバイス６０が電子黒板２から得て、電子黒板２の右半分を操作者画像として生成した。あるいは、ミーティングデバイス６０は人を検知して、電子黒板２及び人を含む操作者画像を生成してもよい。

【0195】

また、他の拠点の端末装置８は操作者画像７を一定時間後（例：電子黒板２が書き込み検知語、書き込みが数秒以上無いと判断したとき）に消えるようにすることで、操作者画像７が邪魔にならないようにすることができる。表示制御部７３は、一定時間内でもユーザー操作で消去してよい。なお、操作者画像７の表示制御の詳細を図３８に示した。

【0196】

＜電子黒板と端末装置が通信するまでの処理の一例＞
以下では、電子黒板と端末装置が通信するための処理について説明する。図１９に示すような会議登録画面２５０により、ユーザーが新たに会議を情報処理システム５０に登録する。図１９は、端末装置１０が表示する会議登録画面２５０の一例である。

【0197】

会議名の項目２４１は、会議のタイトルである。

【0198】

開催者の項目２４２は、会議を開催した開催者に関する情報であり、通常は会議登録画面を操作する者である。

【0199】

日時の項目２４３は、会議の開始日時と終了日時の入力欄である。日時の項目２４３は、カレンダーから選択可能になっている。

【0200】

参加者の項目２４４は、会議の参加者であり、アカウント情報記憶部５００４に登録されたユーザーのリストから選択可能である。

【0201】

電子黒板２の項目２４５は、会議で使用される電子黒板２の選択欄であり、アカウント情報記憶部５００４において種別が電子黒板２のリストのうち種別が電子黒板２のアカウントから選択可能である。

【0202】

ミーティングデバイス６０の項目２４６は、会議で使用されるミーティングデバイス６０の選択欄であり、アカウント情報記憶部５００４において種別がミーティングデバイス６０のリストから選択可能である。

【0203】

図１９に示したように、新規会議作成時、ユーザーは、その会議で利用する電子黒板２とミーティングデバイス６０を選択できる。

【0204】

次に、図２０に示すように、ユーザーがミーティングデバイス６０と電子黒板２を情報処理システム５０に登録する。会議はすでに作成済みなので、ユーザーは会議を選択するだけでよい。図２０は、ユーザーがミーティングデバイス６０と電子黒板２を情報処理システム５０に登録する処理を説明するシーケンス図の一例である。

【0205】

S21：図１９に示したように、ユーザーが会議情報を作成する。

【0206】

S22：端末装置１０の操作受付部１２が会議情報を受け付け、通信部１１が情報処理システム５０に送信する。情報処理システム５０の通信部５１が会議情報を受信し、コミュニケーション管理部５４が会議情報記憶部５００１に登録する。

【0207】

S23：ユーザーは会議を開始する際、会議室に移動するなどしてよく、端末装置１０にミーティングデバイス６０を接続する。ＵＳＢケーブルの接続でミーティングデバイス６０が起動し、情報記録アプリ４１の起動により、ミーティングデバイス６０との通信（各種画像の送信）が開始される。

【0208】

S24：ユーザーは、情報記録アプリ４１が表示する会議一覧画面２３０（図３３参照）からこれから開催する会議を選択する。

【0209】

S25：情報記録アプリ４１の操作受付部１２が操作を受け付け、通信部１１がミーティングデバイス６０の機器識別情報と会議ＩＤを指定して、会議への登録を要求する。情報処理システム５０の通信部５１は会議への登録要求を受信し、会議情報に登録されているミーティングデバイス６０であると判断する。機器管理部５５は、会議ＩＤにミーティングデバイス６０の機器識別情報を対応付ける。

【0210】

S26：次に、ユーザーは、電子黒板２が表示する会議一覧画面２３０からこれから開催する会議を選択する。

【0211】

S27：電子黒板２の通信部３６が電子黒板２の機器識別情報と会議ＩＤを指定して、会議への登録を要求する。情報処理システム５０の通信部５１は会議への登録要求を受信し、会議情報に登録されている電子黒板２であると判断する。機器管理部５５は、会議ＩＤに電子黒板２の機器識別情報を対応付ける。

【0212】

このように、情報処理システム５０は、ミーティングデバイス６０（端末装置１０）と電子黒板２を対応付けることで、情報処理システム５０を介して端末装置１０と電子黒板２を相互に通信可能な状態とする。ミーティングデバイス６０（端末装置１０）と電子黒板２がそれぞれの識別情報を情報処理システム５０に送信すれば、情報処理システム５０は対応付け情報により同じ会議ＩＤに登録されている他方の機器を特定できる。

【0213】

図１９，図２０では、ユーザーが予め会議情報を登録しているが、会議情報を登録しておかなくても、ユーザーは会議の開始時に、ミーティングデバイス６０と電子黒板２を対応付けて情報処理システム５０に登録できる。

【0214】

図２１は、会議情報を作成していない状態で、ユーザーがミーティングデバイス６０と電子黒板２を情報処理システム５０に登録する処理を説明するシーケンス図の一例である。

【0215】

S31：ユーザーは会議室の電子黒板２に、ミーティングデバイス６０との対応付けの登録を開始する操作を入力する。

【0216】

S32：電子黒板２は操作に応じて、予め設定されている情報処理システム５０と通信し、機器識別情報と会議への対応付けが可能である旨を登録する。

【0217】

S33：また、会議で使用する会議室に配置された電子黒板２のコード生成部３５は、自機の機器識別情報、及び、機器識別情報である旨がエンコードされた二次元コードを生成し、表示制御部３４が表示する。更に電子黒板２が他機を認証するためのパスワードが含まれてもよい。

【0218】

S34：ユーザーが端末装置１０とミーティングデバイス６０を持って電子黒板２が設置されている会議室に入室し、端末装置１０とミーティングデバイス６０をＵＳＢケーブルで接続する。ミーティングデバイス６０はＵＳＢケーブルの電力供給により、又は、電源オンにより起動する。これにより、ミーティングデバイス６０はスタンバイ状態になる。また、ユーザーは端末装置１０の情報記録アプリ４１を起動する。情報記録アプリ４１がミーティングデバイス６０と通信を開始することで、ミーティングデバイス６０が撮像と集音を開始する。ミーティングデバイス６０のパノラマ画像生成部６２が二次元コードを含む周囲を撮像した画像データを生成する。

【0219】

S35：ミーティングデバイス６０の端末通信部６１は、画像データとミーティングデバイス６０の機器識別情報を端末装置１０に送信する。

【0220】

S36：端末装置１０のデバイス通信部１６は画像データとミーティングデバイス６０の機器識別情報を受信し、解析部２３が画像データの中から電子黒板２が表示している二次元コードを検出する。解析部２３は、二次元コードをデコードし、会議で使用可能な機器である旨が埋め込まれていると判断すると、二次元コードから電子黒板２の機器識別情報を取得する。情報記録アプリ４１の通信部１１は、電子黒板２の機器識別情報とミーティングデバイス６０の機器識別情報を指定して会議への登録要求を情報処理システム５０へ送信する。なお、二次元コードのデコードはミーティングデバイス６０においても可能である。

【0221】

S37、S38：情報処理システム５０の通信部５１は、会議への登録要求（機器識別情報、ミーティングデバイス６０の機器識別情報）を受信すると、コミュニケーション管理部５４が会議ＩＤを発行する。そして機器管理部５５が電子黒板２の機器識別情報とミーティングデバイス６０の機器識別情報と会議ＩＤとを対応付けて、対応付け情報記憶部５００３に保存する。

【0222】

情報処理システム５０の通信部５１は、端末装置１０と電子黒板２に、会議ＩＤと電子黒板２の会議への登録完了を通知する。端末装置１０の通信部１１は会議ＩＤを受信して保存しておく。同様に、電子黒板２の通信部３６は会議ＩＤとパスワードを受信すると、パスワードを検証し一致する場合に会議ＩＤを保存しておく。なお、端末装置１０はステップS36の通信への応答として会議ＩＤを受信する。電子黒板２は、情報処理システム５０に対するポーリング（機器識別情報と会議への対応付けを要求する）への応答として会議ＩＤとパスワードを受信する。電子黒板２と情報処理システム５０は、情報処理システム５０から電子黒板２へのプッシュ型の通信を可能にするWebSocket等の双方向通信方式で通信してもよい。

【0223】

以降、端末装置１０と電子黒板２は送信するデータに会議ＩＤ（又は各機器の識別情報）を添付する。

【0224】

このように、情報処理システム５０は、ミーティングデバイス６０（端末装置１０）と電子黒板２を対応付けることで、情報処理システム５０を介して端末装置１０と電子黒板２を相互に通信可能な状態とする。

【0225】

図１９～図２１では、端末装置１０と電子黒板２が情報処理システム５０を介して通信できるようになったが、端末装置１０と電子黒板２が同一ネットワークに接続していれば、ＩＰアドレスにより通信できる。同一ネットワークとは、ネットワークアドレスが同じ場合や接続先ＳＳＩＤ（Service Set Identifier）が同じ場合をいう。

【0226】

図２２は、端末装置１０と電子黒板２が同一ネットワークに接続している場合の端末装置１０と電子黒板２の通信方法を説明するシーケンス図の一例である。

【0227】

S41：ユーザーは会議室の電子黒板２に、ミーティングデバイス６０との対応付けを開始する操作を入力する。

【0228】

S42：電子黒板２は操作を受け付けて、表示制御部３４が電子黒板２のＩＰアドレスとパスワードを表示する。

【0229】

S43：ユーザーは表示されたＩＰアドレスとパスワードを見て、端末装置１０の情報記録アプリ４１にＩＰアドレスとパスワードを入力する。端末装置１０の操作受付部１２は入力を受け付ける。

【0230】

S44：端末装置１０の通信部１１はＩＰアドレスで電子黒板２に接続し、パスワードを送信すると、パスワードの検証が成功することで、端末装置１０と電子黒板２が通信可能となる。

【0231】

＜パノラマ画像における電子黒板の方向の決定＞
続いて、パノラマ画像における電子黒板２の方向の決定方法を説明する。操作者画像７は電子黒板２を操作する参加者（ユーザー）の画像なので、ミーティングデバイス６０が電子黒板２の方向を切り取れば、操作者を含む操作者画像７が得られる。

【0232】

決定方法には主に以下の４つがある。
１．会議開始時にパノラマ画像からユーザーが指定する。
２．電子黒板２が特定の映像（二次元コード等）を表示し、ミーティングデバイス６０の撮像ユニット６０１で撮像したパノラマ画像から端末装置１０又はミーティングデバイス６０が認識する。
３．電子黒板２が特定の音声を出力し、ミーティングデバイス６０がマイク６０８で認識する。
４．電子黒板２の形状を機械学習によって任意の情報処理装置が学習し、ミーティングデバイス６０のカメラ（撮像ユニット６０１）で撮像したパノラマ画像から端末装置１０又はミーティングデバイス６０が認識する。

【0233】

＜＜１．会議開始時にパノラマ画像からユーザーが指定する。＞＞
図２３は、位置登録ボタン２０７の押下により電子黒板２の方向を設定する操作方法を説明する図である。位置登録ボタン２０７の押下により、パノラマ画像２０３がポップアップ表示される。例えば、ユーザーはマウスやタッチパネルなどのポインティングデバイスで、矩形のウィンドウ２０６をパノラマ画像２０３上で移動させる。ユーザーはパノラマ画像２０３に含まれる電子黒板２や演台などにウィンドウ２０６を合わせる。

【0234】

図２４は、ユーザーが設定した方向を確認する画面を示す。ユーザーがＯＫボタン２０８を押下することで、パノラマ画像に対する電子黒板２の方向が設定される。ユーザーが設定した方向はミーティングデバイス６０に送信され、ミーティングデバイス６０の機器方向検知部６７が保存する。

【0235】

＜＜２．電子黒板が特定の映像（二次元コード等）を表示し、ミーティングデバイスの撮像ユニットで撮像したパノラマ画像から端末装置又はミーティングデバイスが認識する。３．電子黒板が特定の音声を出力し、ミーティングデバイスがマイクで認識する。＞＞
図２５は、特定の映像や音声により、情報記録アプリ４１が電子黒板２の方向を決定する処理を説明するシーケンス図の一例である。

【0236】

S51：ユーザーが端末装置１０の情報記録アプリ４１に電子黒板２の方向を決定する操作を入力する。操作受付部１２が操作を受け付ける。

【0237】

S52：情報記録アプリ４１の通信部１１は特定の映像又は特定の音の出力を電子黒板２に要求する。なお、通信部１１は、ＬＡＮ経由で電子黒板２と通信しても、情報処理システム５０経由で通信してもよい。

【0238】

S53：電子黒板２の通信部３６は要求を受信し、コード生成部３５が特定の映像として二次元コードを生成する。表示制御部３４は、二次元コードをディスプレイ４８０に表示する。

【0239】

また、電子黒板２の通信部３６は要求を受信し、音声データ生成部３７が特定の周波数の音をスピーカ４５０から出力する。コード生成部３５と音声データ生成部３７はどちらか一方が動作すればよいが、両方が動作してもよい。

【0240】

S54：ミーティングデバイス６０のパノラマ画像生成部６２は繰り返しパノラマ画像を生成しているので、二次元コードが画角にあれば二次元コードを含むパノラマ画像を自動的に生成する。また、ミーティングデバイス６０の集音部６４は繰り返し音を集音しているので、特定の周波数の音を自動的に集音する。機器方向検知部６７は、音声データにフーリエ変換を行うことで周波数スペクトルを得て、予め決まっている周波数で、かつ、閾値以上の音が到来する２つの方向を特定する。電子黒板２の機器方向検知部６７は、電子黒板２の方向（水平方向の３６０°うちＡ°～Ｂ°）を保存しておく。なお、この音は超音波の周波数帯域であるとユーザーに聞こえないのでより好ましい。

【0241】

S55：ミーティングデバイス６０の端末通信部６１は、パノラマ画像を端末装置１０に送信する。

【0242】

S56：情報記録アプリ４１のデバイス通信部１６がパノラマ画像を受信する。解析部２３はパノラマ画像の中から電子黒板２が表示している二次元コードを検出する。解析部２３は、二次元コードをデコードし、電子黒板２の方向を示す旨が埋め込まれていると判断すると、パノラマ画像における二次元コードの左右方向の端部の位置を特定する。詳細は図２６にて説明する。なお、この処理はミーティングデバイス６０の機器方向検知部６７が行うこともできる。

【0243】

S57：端末装置１０のデバイス通信部１６は、電子黒板２の方向（水平方向の３６０°うちＡ°～Ｂ°）をミーティングデバイス６０に送信する。ミーティングデバイス６０の端末通信部６１が電子黒板２の方向を受信し、機器方向検知部６７が保存しておく。

【0244】

S58：電子黒板２の方向が決まったので、情報記録アプリ４１の通信部１１は特定の映像又は特定の音の出力停止を電子黒板２に要求する。

【0245】

S59：電子黒板２の通信部３６は要求を受信し、表示制御部３４が二次元コードの表示を終了する。音声データ生成部３７が特定の周波数の音の出力を停止する。

【0246】

＜＜二次元コードによる方向の決定＞＞
図２６は、電子黒板２が特定の映像として表示する二次元コード３０１の一例を示す。図２６では、パノラマ画像に電子黒板２が写っているが、電子黒板２が２つの二次元コード３０１を表示している。二次元コード３０１のサイズ（幅）は、電子黒板２のディスプレイの幅を３分割したサイズとする。また、二次元コード３０１は２つ表示される。一方はディスプレイ４８０に右寄せして表示され、他方は左寄せして表示される。各二次元コード３０１には、右と左どちらに表示しているのかの情報が含まれる。なお、本実施形態では、ユーザーから電子黒板２に向かった状態で右及び左を判断する。

【0247】

図２７は、二次元コード３０１に基づく方向の決定方法を説明する図である。解析部２３が２つの二次元コード３０１を検出することで、各二次元コード３０１の水平方向における位置情報が特定される。解析部２３は、左側の二次元コード３０１の左端２５１から、二次元コード３０１の幅と同じ分だけ左に移動させた位置２５３を電子黒板２の左端の位置に決定する。解析部２３は、右側の二次元コード３０１の右端２５２から、二次元コード３０１の幅と同じ分だけ右に移動させた位置２５４を電子黒板２の右端の位置に決定する。解析部２３は、左端の位置２５３から右端の位置２５４までを電子黒板２の方向として決定する。

【0248】

＜＜音による方向の決定＞＞
図２８は、電子黒板２が特定の音を出力した場合の電子黒板２の方向の決定方法を説明する図である。図２８（ａ）に示すように、電子黒板２の左右の端部にそれぞれスピーカ４５０が設置される。左右の端部にスピーカ４５０が内蔵されていてもよい。

【0249】

そして、図２８（ｂ）に示すように、音声データ生成部３７がそれぞれのスピーカ４５０から音を出力する。ミーティングデバイス６０のマイク６０８は指向性を有しており、それぞれのスピーカ４５０から発せられた音がミーティングデバイス６０に対しどの方向から来ているのかを特定する。ミーティングデバイス６０に対する方向が特定されれば、パノラマ画像２０３における方向も特定される。

【0250】

なお、指向性があっても機器方向検知部６７がスピーカ４５０の中心を決定することが困難なので、機器方向検知部６７は特定の周波数の音の強度に基づいて、最も強度が高い方向を中心に左右方向の一定の範囲２６１をスピーカ４５０の位置に決定する。

【0251】

図２８（ｃ）に示すように、機器方向検知部６７は、２つの範囲２６１の左端２６２から右端２６３までを、電子黒板２の方向として決定する。

【0252】

＜＜４．電子黒板の形状を任意の情報処理装置が機械学習によって学習し、ミーティングデバイスの撮像ユニットで撮像したパノラマ画像から端末装置又はミーティングデバイスが認識する。＞＞
図２９は、機械学習などの画像処理により検出された電子黒板２に基づいて電子黒板２の方向を決定する方向を説明する図である。まず、機器認識部２２は、パノラマ画像から機械学習で電子黒板２の形状（外接矩形）を検出する。機器認識部２２は、パノラマ画像から電子黒板２を検出した場合、電子黒板２の幅を３分割して、電子黒板２の左端から幅の三分の一だけ移動した位置２７１から、右端から幅の三分の一だけ移動した位置２７２までを、電子黒板２の方向に決定する。三分の一は一例である。

【0253】

端末装置１０は電子黒板２の方向をミーティングデバイス６０に送信するので、機器方向検知部６７が電子黒板２の方向を保存する。なお、画像処理による位置検出はミーティングデバイス６０で行ってもよい。

【0254】

＜画面遷移＞
続いて、図３０～図３３を参照して、端末装置１０が遠隔会議中に表示するいくつかの画面について説明する。図３０は、端末装置１０で動作する情報記録アプリ４１が表示するログイン後の初期画面２００である。端末装置１０のユーザーが情報記録アプリ４１を情報処理システム５０に接続させる。ユーザーが認証情報を入力してログインに成功すると、図３０の初期画面２００が表示される。

【0255】

初期画面２００は、固定表示ボタン２０１、正面変更ボタン２０２、パノラマ画像２０３、１つ以上の話者画像２０４ａ～２０４ｃ（以下、区別しない場合、話者画像２０４という）、記録開始ボタン２０５、及び、位置登録ボタン２０７を有している。ログイン時にすでにミーティングデバイス６０が起動して、周囲を撮像している場合、初期画面２００にミーティングデバイス６０が作成するパノラマ画像２０３、及び話者画像２０４が表示される。したがって、ユーザーはこれらを見ながら、記録開始するかどうか決めることができる。ミーティングデバイス６０が起動していない（撮像していない）場合、パノラマ画像２０３と話者画像２０４は表示されない。

【0256】

なお、情報記録アプリ４１は、パノラマ画像２０３から検出された全ての顔に基づく全ての参加者の話者画像２０４を表示してもよいし、直近に発言したＮ人の話者画像２０４のみを表示してもよい。図３０では、最大３人まで話者画像２０４が表示される例を示す。参加者が発言するまでの間、話者画像２０４がなくてもよいし（発言に応じて一人ずつ増える）、所定の方向の参加者の３人の話者画像２０４が表示されてもよい（発言に応じて入れ替わる）。

【0257】

なお、ミーティングデバイス６０が起動した直後など、誰も発言していない場合、水平３６０°のうちの予め決められた方向（ ０°、１２０°、２４０°など）を話者画像２０４として作成する。後述する固定表示が設定されている場合は、固定表示の設定が優先される。

【0258】

固定表示ボタン２０１は、パノラマ画像２０３のある領域を話者画像２０４として固定でクローズアップする操作をユーザーが行うためのボタンである。

【0259】

正面変更ボタン２０２は、パノラマ画像２０３の正面を変更する操作をユーザーが行うためのボタンである（パノラマ画像は水平方向に３６０°写っているので、右端と左端の方向が一致する）。ユーザーはポインティングデバイスでパノラマ画像２０３を左右にスライドさせて、正面に写る参加者を決定できる。ユーザーの操作はミーティングデバイス６０に送信され、ミーティングデバイス６０は、水平方向３６０°のうち正面にする角度を変更してパノラマ画像を作成し、端末装置１０に送信する。

【0260】

位置登録ボタン２０７は、電子黒板２などの機器の位置（方向）を設定する操作をユーザーが行うためのボタンである。

【0261】

ユーザーが記録開始ボタン２０５を押下すると情報記録アプリ４１が図３１の録画設定画面２１０を表示する。

【0262】

図３１は、情報記録アプリ４１が表示する録画設定画面２１０の一例である。録画設定画面２１０では、ミーティングデバイス６０が作成したパノラマ画像及び話者画像、並びに、端末装置１０のデスクトップ画面又は動作するアプリの画面、を録画するかをユーザーが（録画に含めるか）設定できる。パノラマ画像及び話者画像、及び、デスクトップ画面又は動作するアプリの画面のどちらも、情報記録アプリ４１が録画しない場合は音声（端末装置１０が出力する音声＋ミーティングデバイス６０が集音した音声）のみ記録される。

【0263】

カメラトグルボタン２１１は、ミーティングデバイス６０が作成したパノラマ画像及び話者画像の録画のオンとオフを切り替えるボタンである。カメラトグルボタン２１１は、パノラマ画像と話者画像を個別に録画する設定が可能でもよい。

【0264】

ＰＣ画面トグルボタン２１２は、端末装置１０のデスクトップ画面、端末装置１０で動作するアプリの画面の、録画のオンとオフを切り替えるボタンである。ＰＣ画面トグルボタン２１２がオンの状態で、デスクトップ画面が録画される。

【0265】

ユーザーがアプリの画面を録画したい場合、更に、アプリ選択欄２１３で、アプリを選択する。アプリ選択欄２１３には端末装置１０が実行中のアプリ名がプルダウン形式で表示される。ユーザーは録画するアプリを選択できる。このアプリ名は、情報記録アプリ４１がＯＳから取得する。情報記録アプリ４１は実行中のアプリのうち、ＵＩ（画面）を持つアプリのみを表示することができる。選択されるアプリの中に、遠隔会議アプリ４２が含まれてよい。このため、情報記録アプリ４１は、遠隔会議アプリ４２で表示した資料や各拠点の参加者なども動画で記録できる。この他、プルダウンで表示されるアプリは、プレゼンテーション用アプリ、ワープロアプリ、表計算アプリ、文書等の資料作成編集アプリ、クラウド電子黒板アプリ、Ｗｅｂブラウザアプリ、など端末装置で実行中の様々なアプリである。したがって、ユーザーは結合画像動画に含めるアプリの画面を柔軟に選択できる。

【0266】

また、アプリ単位で録画する場合、ユーザーは複数のアプリを選択できる。情報記録アプリ４１は、選択された全てのアプリの画面を録画できる。

【0267】

カメラトグルボタン２１１とＰＣ画面トグルボタン２１２が双方ともオフの場合、録画内容確認ウィンドウ２１４に「音声のみ記録されます」と表示される。この音声は、端末装置１０が出力する音声（遠隔会議アプリ４２が他の拠点１０１から受信する音声）と、ミーティングデバイス６０が集音する音声である。つまり、遠隔会議が実施されていれば、遠隔会議アプリ４２の音声とミーティングデバイス６０の音声は、画像の記録に関係なく保存される。ただし、ユーザーは、ユーザーの設定で遠隔会議アプリ４２の音声、ミーティングデバイス６０の音声の保存を選択的に停止できてよい。

【0268】

カメラトグルボタン２１１とＰＣ画面トグルボタン２１２のオンとオフの組み合わせに応じて、以下のように結合画像動画が録画される。また、録画内容確認ウィンドウ２１４にはリアルタイムに結合画像動画が表示される。

【0269】

・カメラトグルボタン２１１がオン、ＰＣ画面トグルボタン２１２がオフの場合は、録画内容確認ウィンドウ２１４に、ミーティングデバイス６０が撮像したパノラマ画像と話者画像が表示される。

【0270】

・カメラトグルボタン２１１がオフ、ＰＣ画面トグルボタン２１２がオン（画面も選択済）の場合、録画内容確認ウィンドウ２１４に、デスクトップ画面や選択されたアプリの画面が表示される。

【0271】

・カメラトグルボタン２１１がオン、ＰＣ画面トグルボタン２１２がオンの場合、録画内容確認ウィンドウ２１４に、ミーティングデバイス６０が撮像したパノラマ画像と話者画像、及び、デスクトップ画面や選択されたアプリの画面が横に並んだ状態で表示される。

【0272】

したがって、パノラマ画像、話者画像、及びアプリの画面が録画されない場合や、パノラマ画像、話者画像、及びアプリの画面が一切録画されない場合があるが、本実施形態では、便宜上、情報記録アプリ４１が作成する画像を結合画像動画という。

【0273】

更に、録画設定画面２１０は、「記録をアップロード後に自動で文字おこしする」というメッセージと共にチェックボックス２０９を有する。また、録画設定画面２１０は今すぐ記録開始ボタン２１７を有する。ユーザーがチェックボックス２０９にチェックを入れると、記録動画に、遠隔会議中の発言が変換されたテキストデータが添付される。この場合、録画終了後に情報記録アプリ４１がテキストデータへの変換要求と共に音声を情報処理システム５０にアップロードする。また、ユーザーが今すぐ記録開始ボタン２１７を押下すると、図３２の録画中画面２２０が表示される。

【0274】

図３２は、情報記録アプリ４１が録画中に表示する録画中画面２２０の一例である。なお、図３２の説明では主に図３０との相違を説明する。録画中画面２２０は、録画設定画面２１０でユーザーが設定した条件で、録画される結合画像動画をリアルタイムに表示する。図３２の録画中画面２２０は、カメラトグルボタン２１１がオン、ＰＣ画面トグルボタン２１２がオフの場合であり、ミーティングデバイス６０が作成したパノラマ画像２０３と話者画像２０４（いずれも動画）を表示する。録画中画面２２０は、録画中アイコン２２５、一時停止ボタン２２６、及び、録画終了ボタン２２７を表示する。

【0275】

一時停止ボタン２２６は録画を停止するためのボタンで、停止後は録画再開も受け付ける。録画終了ボタン２２７は録画を終了するボタンである。一時停止ボタン２２６では録画ＩＤが切り替わらず、録画終了ボタン２２７で録画ＩＤが切り替わる。一時停止して、録画再開時にユーザーは録画設定画面２１０で設定した録画条件を再度設定することもできる。その場合、情報記録アプリ４１は、録画停止ごとに複数の動画ファイルを作成してもよいし（例えば、録画終了ボタン２２７が押下）、１つの動画として連続するように複数ファイルを結合してもよい（例えば、一時停止ボタン２２６が押下）。また、情報記録アプリ４１が結合画像動画を再生する場合、複数の動画ファイルを、１つの動画として連続して再生してもよい。

【0276】

また、録画中画面２２０は、カレンダーから情報取得ボタン２２１、会議名称欄２２２、時間欄２２３、場所欄２２４を有している。カレンダーから情報取得ボタン２２１は、ユーザーが会議管理システム９から会議情報を取得するためのボタンである。カレンダーから情報取得ボタン２２１が押下されると、情報記録アプリ４１が情報処理システム５０から該ユーザーに閲覧権限がある会議一覧を取得し、表示する。ユーザーは会議一覧から、これから行う遠隔会議を選択する。これにより、会議名称欄２２２、時間欄２２３、場所欄２２４に会議情報が反映される。会議名称欄２２２には会議情報のタイトルが、時間欄２２３には開始時刻と終了時刻が、場所欄２２４に場所が反映される。また、会議管理システムにおける会議情報と記録情報が会議ＩＤで対応付けられる。

【0277】

遠隔会議が終了し、ユーザーが録画を終了すると、音声付きの結合画像動画が作成される。

【0278】

図３３は、情報記録アプリ４１が表示する会議一覧画面２３０の一例である。会議一覧画面２３０は、会議の一覧であるが、遠隔会議において録画された記録情報のリストを表示できる。また、遠隔の会議に関わらず、ある会議室内のみで行われた会議も含まれる。会議一覧画面２３０には、会議情報記憶部５００１においてログインユーザーが閲覧権限のある会議情報が表示される。情報記憶部１００１に保存された動画記録情報の情報が更に統合されてもよい。

【0279】

会議一覧画面２３０は、図３０の初期画面２００においてユーザーが会議一覧タブ２３１を選択すると表示される。会議一覧画面２３０は、このユーザーに閲覧権限がある記録情報のリスト２３６を表示する。会議作成者（議事録作成者）は参加者に閲覧権限を設定できる。なお会議一覧は、記憶した記録情報の一覧であっても、会議予定や会議データの一覧であってもよい。

【0280】

会議一覧画面２３０はチェックボックス２３２、更新日時２３３、タイトル２３４、及びステータス２３５の各項目を有する。

【0281】

・チェックボックス２３２は動画ファイルの選択を受け付ける。チェックボックス２３２は、ユーザーがまとめて動画ファイルを削除したい場合に使用される。

【0282】

・更新日時２３３は、結合画像動画の録画の開始時と終了時を示す。編集された場合は編集日時でよい。

【0283】

・タイトルは２３４、会議のタイトル（議題等）である。会議情報から転記されてもよいし、ユーザーが設定してもよい。

【0284】

・ステータス２３５は、結合画像動画が情報処理システム５０にアップロード済みか否かを示す。アップロード済みでない場合、「ローカルＰＣ」が表示され、アップロード済みの場合「アップロード済み」が表示される。アップロード済みでない場合、アップロードボタンが表示される。未アップロードの結合画像動画がある場合、ユーザーが情報処理システム５０にログイン時に、情報記録アプリ４１が自動アップロードするとよい。

【0285】

ユーザーが結合画像動画のリスト２３６から任意のタイトル等をポインティングデバイスで選択すると、情報記録アプリ４１が録画再生画面を表示するが本実施形態では省略する。録画再生画面では、結合画像動画の再生などが可能である。

【0286】

なお、ユーザーは、更新日時や、タイトル、キーワードなどから会議を絞り込むことができることが望ましい。また、表示される会議の数が多く、該当の会議を見つけにくい場合は、検索機能として、ユーザーが語句を入力することで、会議の発言やタイトルなどに含まれる語句から記録情報を絞り込むことができることが望ましい。検索機能により、ユーザーは記録情報が多くなった場合でも短時間で所望の記録情報を見つけることが可能である。また、会議一覧画面２３０では、ユーザーが更新日時やタイトル順で会議をソートできてもよい。

【0287】

＜結合画像動画の保存＞
続いて、図３４を参照し、結合画像動画の保存処理について説明する。図３４は、情報記録アプリ４１がパノラマ画像、話者画像及びアプリの画面を録画する手順を示すシーケンス図の一例である。

【0288】

S61：ユーザーは遠隔会議アプリ４２を操作して遠隔会議を開始する。ここでは、自拠点１０２と他の拠点１０１の遠隔会議アプリ４２が遠隔会議を開始したものとする。自拠点１０２の遠隔会議アプリ４２は、端末装置１０が有するカメラが撮像する画像、マイクが集音する音声を他の拠点１０１の遠隔会議アプリ４２に送信する。他の拠点１０１の遠隔会議アプリ４２は、受信した画像をディスプレイに表示し、受信した音声をスピーカから出力する。同様に、他の拠点１０１の遠隔会議アプリ４２は、端末装置１０が有するカメラが撮像する画像、マイクが集音する音声を自拠点１０２の遠隔会議アプリ４２に送信する。自拠点１０２の遠隔会議アプリ４２は、受信した画像をディスプレイに表示し、受信した音声をスピーカから出力する。各遠隔会議アプリ４２はこれを繰り返して、遠隔会議を実現する。

【0289】

S62：ユーザーは図３１に示した情報記録アプリ４１の録画設定画面２１０に対し、録画に関する設定を行う。情報記録アプリ４１の操作受付部１２が設定を受け付ける。ここでは、カメラトグルボタン２１１、及び、ＰＣ画面トグルボタン２１２が共にオンであるとする。

【0290】

ユーザーは遠隔会議を事前に予約済みの場合、図３２のカレンダーから情報取得ボタン２２１を押下することで遠隔会議のリストを表示し、記録動画を対応付ける遠隔会議を選択できる。ユーザーは情報処理システム５０にログイン済みなので、情報処理システム５０はログインしたユーザーが閲覧権限のある遠隔会議を特定する。情報処理システム５０は特定した遠隔会議のリストを端末装置１０に送信するので、ユーザーは開催中又はこれから開催される遠隔会議を選択する。これにより、会議ＩＤ等、遠隔会議に関する情報が決定される。

【0291】

また、ユーザーは遠隔会議を事前に予約していなくても、結合画像動画を作成する際に会議を作成できる。以下では、情報記録アプリ４１が、結合画像動画を作成する際に会議を作成し、会議ＩＤを情報処理システム５０から取得する場合を説明する。

【0292】

S63：ユーザーは録画開始（今すぐ記録開始ボタン２１６）を情報記録アプリ４１に指示する。情報記録アプリ４１の操作受付部１２が指示を受け付ける。表示制御部１３は録画中画面２２０を表示する。

【0293】

S64：遠隔会議が選択されていないので（会議ＩＤが決まってないため）、情報記録アプリ４１の通信部１１が、遠隔会議作成要求を情報処理システム５０に送信する。

【0294】

S65：情報処理システム５０の通信部５１は遠隔会議作成要求を受信し、コミュニケーション管理部５４が、会議管理システム９が採番した重複しない会議ＩＤを取得し、通信部５１が会議ＩＤを情報記録アプリ４１に送信する。

【0295】

S66：また、コミュニケーション管理部５４は、通信部５１を介して、結合画像動画の保存先（ストレージサービスシステム７０のＵＲＬ）を情報記録アプリ４１に送信する。

【0296】

S67：情報記録アプリ４１の通信部１１が会議ＩＤと動画ファイルの保存先を受信し、通信部１１が会議ＩＤを電子黒板２に送信する。通信部１１は、情報処理システム５０を介してもよいし、直接、送信してもよい。

【0297】

S68：情報記録アプリ４１の通信部１１が会議ＩＤと動画ファイルの保存先を受信することで、録画制御部１７が録画の準備が整ったと判断し、録画を開始する。

【0298】

S69：情報記録アプリ４１のアプリ画面取得部１４は、ユーザーが選択したアプリの画面をアプリに対し要求する（アプリ画面取得部１４は、より詳細にはＯＳを介して、アプリの画面を取得する）。図３４では、ユーザーが選択したアプリを遠隔会議アプリ４２とする。

【0299】

S70：情報記録アプリ４１の録画制御部１７は、デバイス通信部１６を介して、ミーティングデバイス６０に録画開始を通知する。通知の際、録画制御部１７は、カメラトグルボタン２１１がオンである旨（パノラマ画像と話者画像の要求）も通知するとよい。要求の有無に関係なくミーティングデバイス６０はパノラマ画像と話者画像を情報記録アプリ４１に送信している。

【0300】

S71：ミーティングデバイス６０の端末通信部６１が録画開始を受信すると、重複しない録画ＩＤを採番し、録画ＩＤを情報記録アプリ４１に返す。なお、録画ＩＤは情報記録アプリ４１が採番してもよいし、情報処理システム５０から取得してもよい。

【0301】

S72：情報記録アプリ４１の音声取得部１５は端末装置１０が出力する音声データ（遠隔会議アプリ４２が受信した音声データ）を取得する。

【0302】

S73：デバイス通信部１６が、音声取得部１５が取得した音声データと合成要求をミーティングデバイス６０に送信する。

【0303】

S74：ミーティングデバイス６０の端末通信部６１は音声データと合成要求を受信し、音声合成部６５が、集音部６４が集音した周囲の音声データと、受信した音声データを合成する。例えば、音声合成部６５は、２つの音声データを足し合わせる。ミーティングデバイス６０の周辺の鮮明な音声が記録されるので、特にミーティングデバイス６０周辺（会議室側）の音声のテキスト化精度が向上する。

【0304】

この音声の合成は、端末装置１０でも可能である。しかし、録画機能が端末装置１０に、音声処理がミーティングデバイス６０に分散して配置されることで、端末装置１０とミーティングデバイス６０の負荷を低減できる。録画機能がミーティングデバイス６０に、音声処理が端末装置１０に分散して配置されてもよい。

【0305】

S75：また、ミーティングデバイス６０のパノラマ画像生成部６２はパノラマ画像を作成し、話者画像生成部６３は話者画像を作成する。

【0306】

S76：情報記録アプリ４１のデバイス通信部１６は、パノラマ画像と話者画像を繰り返しミーティングデバイス６０から取得する。また、デバイス通信部１６は、合成後の音声データを繰り返しミーティングデバイス６０に要求して取得する。これらの取得は、デバイス通信部１６がミーティングデバイス６０に要求することで行われてもよい。あるいは、カメラトグルボタン２１１がオンである旨を受け取ったミーティングデバイス６０が自動的にパノラマ画像と話者画像を送信してもよい。音声データの合成要求を受け取ったミーティングデバイス６０が自動的に合成後の音声データを情報記録アプリ４１に送信してもよい。

【0307】

S77：情報記録アプリ４１の録画制御部１７は、遠隔会議アプリ４２から取得したアプリの画面と、パノラマ画像と、話者画像を並べることで結合画像を作成する。録画制御部１７は、繰り返し結合画像を作成し、動画を構成するフレームに各結合画像を指定することで結合画像動画を作成する。また、録画制御部１７はミーティングデバイス６０から受信した音声データを保存しておく。

【0308】

情報記録アプリ４１は以上のステップS72～S77を繰り返す。ステップS72～S77の間、図１７の処理（操作者画像７の生成と送信）が随時、行われる。

【0309】

S78：遠隔会議が終わり、録画の必要がなくなると、ユーザーが録画終了（例えば、録画終了ボタン２２７）を情報記録アプリ４１に指示する。情報記録アプリ４１の操作受付部１２が指示を受け付ける。

【0310】

S79：情報記録アプリ４１のデバイス通信部１６は、ミーティングデバイス６０に録画終了を通知する。ミーティングデバイス６０は、引き続きパノラマ画像と話者画像の作成や音声の合成を継続する。ただし、ミーティングデバイス６０は録画中かどうかで解像度やfpsを変えるなど処理の不可を変更してもよい。

【0311】

S80：情報記録アプリ４１の録画制御部１７は、結合画像動画に音声データを結合して音声付きの結合画像動画を作成する。

【0312】

S81：また、ユーザーが録画設定画面２１０で「記録をアップロード後に自動で文字おこしする」に対応付けられたチェックボックス２１５をチェックした場合、音声データ処理部１８が、音声データのテキストデータへの変換を情報処理システム５０に要求する。詳細には、音声データ処理部１８は、通信部１１を介して、保存先のＵＲＬを指定し、会議ＩＤ及び録画ＩＤと共に、結合画像動画に結合された音声データの変換要求を情報処理システム５０に送信する。

【0313】

S82：情報処理システム５０の通信部５１は音声データの変換要求を受信し、テキスト変換部５６が音声認識サービスシステム８０を利用して音声データをテキストデータに変換する。通信部５１はテキストデータを、結合画像動画の保存先と同じ保存先（ストレージサービスシステム７０のＵＲＬ）に保存する。なお、録画情報記憶部５００２においてテキストデータは会議ＩＤ及び録画ＩＤにより結合画像動画と対応付けられている。なおテキストデータは、情報処理システム５０のコミュニケーション管理部５４で管理し、記憶部５０００に記憶してもよい。また、端末装置１０が音声認識サービスシステム８０に音声認識を要求し、音声認識サービスシステム８０から取得したテキストデータを保存先に保存してもよい。なお、音声認識サービスシステム８０は、変換したテキストデータを情報処理システム５０に返すが、直接保存先のＵＲＬに送信してもよい。音声認識サービスシステム８０は、情報処理システム５０にユーザーが設定した設定情報に応じて、複数のサービスから選択したり切り替えたりしてもよい。

【0314】

S83：また、情報記録アプリ４１のアップロード部２０は、通信部１１を介して、結合画像動画の保存先に結合画像動画を保存する。録画情報記憶部５００２において結合画像動画は会議ＩＤ及び録画ＩＤと対応付けられている。結合画像動画にはアップロード済みが記録される。

【0315】

S84：ユーザーが会議終了を電子黒板２に入力する。ユーザーが端末装置１０に会議終了を入力し、端末装置１０から電子黒板２に会議終了が送信されてもよい。この場合、会議終了は情報処理システム５０を経由して電子黒板２に送信されてよい。

【0316】

S85：電子黒板２の通信部３６は、会議ＩＤを指定して、会議中に表示した（例えば手書きされた）オブジェクトデータの保存を情報処理システム５０に送信する。オブジェクトデータ自体はリアルタイムに情報処理システム５０が共有している。なお、通信部３６は電子黒板２の機器識別情報を情報処理システム５０に送信してもよい。この場合、対応付け情報により会議ＩＤが特定される。

【0317】

S86：情報処理システム５０は会議ＩＤに基づいて結合画像動画等と同じ保存先にオブジェクトデータを保存する。

【0318】

保存先はユーザーに通知されているので、ユーザーはメールなどで保存先を知らせることで結合画像動画を参加者と共有できる。結合画像動画、音声データ、テキストデータ、オブジェクトデータを作成する装置がそれぞれ異なっても、１つの格納場所に集めて格納でき、後でユーザー等が容易に閲覧できる。

【0319】

なお、ステップS72～S77の処理は、図３４に示すとおりの順番でなくてもよく、音声データの合成と結合画像の作成が前後してもよい。

【0320】

＜主な効果＞
本実施例によれば、ストロークの近くに操作者画像７が表示されるので、誰が書いている(書いた)のかを他の拠点のユーザーが容易に把握することができる。また、情報処理システム５０では、オブジェクトデータに操作者画像７が対応付けられるので、誰がオブジェクトを入力したのか明確になり、議事録の内容が向上する。

【実施例0321】

本実施例では、電子黒板２と端末装置１０で直接、通信せずに、情報処理システム５０を介して情報を送受信する場合を説明する。電子黒板２と端末装置１０とが直接、通信できなくても、他の拠点の端末装置８が操作者画像７を表示できる。

【0322】

なお、本実施例において、上記の実施例にて説明した図４，図５、図８のハードウェア構成図、及び、図９に示した機能ブロック図を援用できるものとして説明する。

【0323】

図３５は、ユーザーが電子黒板２に手書きしたストロークを、他の拠点の端末装置８が操作者画像７と共に表示する処理を説明するシーケンス図である。なお、図３５の説明では主に図１７との相違を説明する。

【0324】

S91,S92：会議に参加したユーザーが、電子ペン４９０で手書きしたり、ＰＣの画面を電子黒板２で表示させたりする。電子黒板２の通信部３６は、電子黒板２が操作されたので、操作開始を電子黒板２の機器識別情報と共に情報処理システム５０に送信する。

【0325】

S93：情報処理システム５０の通信部５１は、電子黒板２の機器識別情報に対応付けられているミーティングデバイス６０（すなわち、端末装置１０）に、操作開始を送信する。なお、端末装置１０は情報処理システム５０に会議ＩＤと共にポーリングを繰り返しておいて情報処理システム５０から通信を受け付ける。あるいは、端末装置１０はウェブソケットなどの双方向通信により情報処理システム５０と通信してよい。

【0326】

S94～S96の処理は図１７のS3～S5と同様でよい。

【0327】

S97：ユーザーが書き込みを終了する。

【0328】

S98：電子黒板２の操作検知部３８が操作終了（電子黒板の方向の切り出し画像を保存する要求）を検知する。電子黒板２の操作者画像受信部４０ｂは操作終了に応じて、通信部３６を介して、電子黒板２の機器識別情報を指定して操作者画像７を情報処理システム５０に要求する。

【0329】

S99：情報処理システム５０の通信部５１は、電子黒板２の機器識別情報と操作者画像７の要求を受信し、オブジェクト共有部５７が通信部５１を介して、電子黒板２に対応付けられているミーティングデバイス６０に接続された端末装置１０に操作者画像７を要求する。

【0330】

S100：端末装置１０の通信部１１は操作者画像７の要求を受信し、操作者画像送信部２４が通信部１１を介して、操作者画像７を情報処理システム５０に送信する。

【0331】

S101：情報処理システム５０の通信部５１は操作者画像７を受信し、オブジェクト共有部５７は、操作者画像７の識別情報を採番する。オブジェクト共有部５７は、操作者画像７の識別情報と操作者画像７を対応付けて保存する。また、オブジェクト共有部５７は、通信部５１を介して、操作終了を送信した電子黒板２に操作者画像７の識別情報を送信する。

【0332】

S102：電子黒板２の通信部３６は操作者画像７の識別情報を受信したので、オブジェクトアップロード部４０ａが通信部３６を介して、会議ＩＤ、オブジェクトデータ、及び、操作者画像７の識別情報を情報処理システム５０に送信する。

【0333】

S103：情報処理システム５０の通信部５１は会議ＩＤ、オブジェクトデータ及び操作者画像７の識別情報を受信し、オブジェクト共有部５７がオブジェクトデータと操作者画像７の識別情報と操作者画像７を対応付けて保存する。オブジェクトＩＤは電子黒板２で採番されても、情報処理システム５０で採番されてもよい。

【0334】

S104：また、オブジェクト共有部５７は、通信部５１を介して、会議ＩＤで特定される同じ会議に参加している他の拠点の端末装置８にオブジェクトデータと操作者画像７の識別情報を送信する。以降は図１７と同様になる。

【0335】

＜主な効果＞
本実施例によれば、実施例１の効果に加え、端末装置１０と電子黒板２が直接通信できなくても、情報処理システム５０を経由して操作者画像７が端末装置１０から電子黒板２に送信される。