知財求人 - 知財ポータルサイト「IP Force」
特開2023-130837機器システム、音量の調整方法、第二の機器、第一の機器
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023130837
(43)【公開日】2023-09-21
(54)【発明の名称】機器システム、音量の調整方法、第二の機器、第一の機器
(51)【国際特許分類】
H04N 7/15 20060101AFI20230913BHJP
H04N 21/6332 20110101ALI20230913BHJP
H04M 3/56 20060101ALI20230913BHJP
【ＦＩ】
H04N7/15
H04N21/6332
H04M3/56 C
【審査請求】未請求
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2022035356
(22)【出願日】2022-03-08
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】皆川 文彦
(72)【発明者】
【氏名】亀倉 崇寛
(72)【発明者】
【氏名】石井 繁行
【テーマコード（参考）】
5C164
5K201
【Ｆターム（参考）】
5C164FA10
5C164MA07S
5C164PA41
5C164PA42
5C164TB22P
5C164VA06S
5C164VA09P
5C164VA16P
5K201AA01
5K201BB09
5K201CA01
5K201CA06
5K201CB06
5K201EC06
5K201EC09
(57)【要約】
【課題】適切な機器の音量を調整する機器システムを提供すること。
【解決手段】本発明は、音声の入出力手段を有する第一の機器と、音声の入力手段及び出力手段を有する第二の機器と、を有する機器システムであって、前記第一の機器は、前記第二の機器が出力する前記第二の機器に関する情報を取得する取得部と、前記取得部が取得した前記第二の機器に関する情報を端末装置に送信する端末通信部と、を有し、前記第二の機器は、前記第二の機器に関する情報を出力する出力部と、前記端末装置からネットワークを介して受信した、前記第二の機器に対する前記音声の音量の調整要求に応じて、前記第二の機器の前記音声の入力手段又は出力手段の少なくとも一方の音量を調整する調整部と、を有する。
【選択図】図２
【解決手段】本発明は、音声の入出力手段を有する第一の機器と、音声の入力手段及び出力手段を有する第二の機器と、を有する機器システムであって、前記第一の機器は、前記第二の機器が出力する前記第二の機器に関する情報を取得する取得部と、前記取得部が取得した前記第二の機器に関する情報を端末装置に送信する端末通信部と、を有し、前記第二の機器は、前記第二の機器に関する情報を出力する出力部と、前記端末装置からネットワークを介して受信した、前記第二の機器に対する前記音声の音量の調整要求に応じて、前記第二の機器の前記音声の入力手段又は出力手段の少なくとも一方の音量を調整する調整部と、を有する。
【選択図】図２
【特許請求の範囲】
【請求項1】
音声の入出力手段を有する第一の機器と、
音声の入力手段及び出力手段を有する第二の機器と、を有する機器システムであって、
前記第一の機器は、
前記第二の機器が出力する前記第二の機器に関する情報を取得する取得部と、
前記取得部が取得した前記第二の機器に関する情報を端末装置に送信する端末通信部と、を有し、
前記第二の機器は、
前記第二の機器に関する情報を出力する出力部と、
前記端末装置からネットワークを介して受信した、前記第二の機器に対する前記音声の音量の調整要求に応じて、前記第二の機器の前記音声の入力手段又は出力手段の少なくとも一方の音量を調整する調整部と、
を有する機器システム。
音声の入力手段及び出力手段を有する第二の機器と、を有する機器システムであって、
前記第一の機器は、
前記第二の機器が出力する前記第二の機器に関する情報を取得する取得部と、
前記取得部が取得した前記第二の機器に関する情報を端末装置に送信する端末通信部と、を有し、
前記第二の機器は、
前記第二の機器に関する情報を出力する出力部と、
前記端末装置からネットワークを介して受信した、前記第二の機器に対する前記音声の音量の調整要求に応じて、前記第二の機器の前記音声の入力手段又は出力手段の少なくとも一方の音量を調整する調整部と、
を有する機器システム。
【請求項2】
前記出力部は、前記第二の機器に関する情報を表示し、
前記取得部は、前記出力部が表示した前記第二の機器に関する情報を撮像手段で撮像することで取得する請求項１に記載の機器システム。
前記取得部は、前記出力部が表示した前記第二の機器に関する情報を撮像手段で撮像することで取得する請求項１に記載の機器システム。
【請求項3】
前記出力部は、前記第二の機器に関する情報を音声で出力し、
前記取得部は、前記出力部が音声で出力した前記第二の機器に関する情報をマイクで集音することで取得する請求項１に記載の機器システム。
前記取得部は、前記出力部が音声で出力した前記第二の機器に関する情報をマイクで集音することで取得する請求項１に記載の機器システム。
【請求項4】
前記出力部は、近距離無線通信により前記第二の機器に関する情報を送信し、
前記取得部は、近距離無線通信により送信された前記第二の機器に関する情報を受信することで取得する請求項１に記載の機器システム。
前記取得部は、近距離無線通信により送信された前記第二の機器に関する情報を受信することで取得する請求項１に記載の機器システム。
【請求項5】
前記第一の機器及び前記第二の機器と通信可能な情報処理システムを有し、
前記第二の機器は、
コミュニケーションへの参加要求を受け付けた場合、参加する旨を前記情報処理システムに送信し、
前記出力部が前記第二の機器に関する情報の出力を開始し、
前記第一の機器は、前記端末装置と通信可能に接続されており、
前記端末装置がコミュニケーションへの参加要求を受け付けた場合、参加する旨を前記情報処理システムに送信し、
前記第二の機器に関する情報の取得を開始し、
前記情報処理システムは、前記第一の機器と前記第二の機器を対応付けることを特徴とする請求項１～４のいずれか１項に記載の機器システム。
前記第二の機器は、
コミュニケーションへの参加要求を受け付けた場合、参加する旨を前記情報処理システムに送信し、
前記出力部が前記第二の機器に関する情報の出力を開始し、
前記第一の機器は、前記端末装置と通信可能に接続されており、
前記端末装置がコミュニケーションへの参加要求を受け付けた場合、参加する旨を前記情報処理システムに送信し、
前記第二の機器に関する情報の取得を開始し、
前記情報処理システムは、前記第一の機器と前記第二の機器を対応付けることを特徴とする請求項１～４のいずれか１項に記載の機器システム。
【請求項6】
前記第一の機器及び前記第二の機器と通信可能な情報処理システムを有し、
前記第二の機器は、
コミュニケーションへの参加要求を受け付けた場合、参加する旨を前記情報処理システムに送信し、
前記出力部が前記第二の機器に関する情報の出力を開始し、
前記第一の機器は、前記端末装置と通信可能に接続されており、
前記端末装置がコミュニケーションへの参加要求を受け付けた場合、参加する旨を前記情報処理システムに送信し、
前記情報処理システムは、
前記端末装置及び前記第二の機器から前記コミュニケーションへの参加要求を受信した場合、前記端末装置を介して、前記第二の機器に関する情報の取得開始を前記第一の機器に要求することを特徴とする請求項１～４のいずれか１項に記載の機器システム。
前記第二の機器は、
コミュニケーションへの参加要求を受け付けた場合、参加する旨を前記情報処理システムに送信し、
前記出力部が前記第二の機器に関する情報の出力を開始し、
前記第一の機器は、前記端末装置と通信可能に接続されており、
前記端末装置がコミュニケーションへの参加要求を受け付けた場合、参加する旨を前記情報処理システムに送信し、
前記情報処理システムは、
前記端末装置及び前記第二の機器から前記コミュニケーションへの参加要求を受信した場合、前記端末装置を介して、前記第二の機器に関する情報の取得開始を前記第一の機器に要求することを特徴とする請求項１～４のいずれか１項に記載の機器システム。
【請求項7】
前記第二の機器に関する情報は前記第二の機器のＩＰアドレスであり、
前記第二の機器は、同じネットワークに接続されている前記端末装置から、前記ＩＰアドレスを宛先にした、前記音声の音量の調整要求を受信することを特徴とする請求項１～６のいずれか１項に記載の機器システム。
前記第二の機器は、同じネットワークに接続されている前記端末装置から、前記ＩＰアドレスを宛先にした、前記音声の音量の調整要求を受信することを特徴とする請求項１～６のいずれか１項に記載の機器システム。
【請求項8】
前記第二の機器に関する情報は前記第二の機器の機器識別情報であり、
前記情報処理システムは、前記端末装置から前記第二の機器の機器識別情報を指定して前記音声の音量の調整要求を受信した場合、前記第二の機器の機器識別情報で特定される前記第二の機器に、前記音声の音量の調整要求を送信することを特徴とする請求項５に記載の機器システム。
前記情報処理システムは、前記端末装置から前記第二の機器の機器識別情報を指定して前記音声の音量の調整要求を受信した場合、前記第二の機器の機器識別情報で特定される前記第二の機器に、前記音声の音量の調整要求を送信することを特徴とする請求項５に記載の機器システム。
【請求項9】
前記情報処理システムは、前記端末装置から前記第二の機器の機器識別情報を指定して前記音声の音量の調整要求を受信した場合、前記第二の機器の機器識別情報で特定される前記第二の機器に対する音声の送信、及び、前記第二の機器から送信される音声の他の拠点への送信の停止を遠隔会議サービスシステムに要求することを特徴とする請求項５に記載の機器システム。
【請求項10】
前記第二の機器は、コミュニケーションへの参加要求を受け付けた際に、すでに前記音声の音量が調整状態である場合、前記第二の機器は、前記第二の機器に関する情報の出力を開始しないことを特徴とする請求項５に記載の機器システム。
【請求項11】
前記第二の機器がコミュニケーションの終了を受け付けた場合、音量の調整を解除する請求項１～８のいずれか１項に記載の機器システム。
【請求項12】
前記端末装置がコミュニケーションの終了を受け付けた場合、前記第二の機器は音量の調整の解除要求を前記端末装置から受信し、前記第二の機器が前記端末装置から音量の調整の解除要求を受信した場合、音量の調整を解除する請求項１～８のいずれか１項に記載の機器システム。
【請求項13】
前記情報処理システムが前記端末装置との通信切断を検知した場合、前記第二の機器に音量の調整の解除要求を送信し、
前記第二の機器が音量の調整の解除要求を受信した場合、音量の調整を解除する請求項５、６又は８のいずれか１項に記載の機器システム。
前記第二の機器が音量の調整の解除要求を受信した場合、音量の調整を解除する請求項５、６又は８のいずれか１項に記載の機器システム。
【請求項14】
前記第二の機器は、前記第二の機器に関する情報を表示してから一定時間のみ、前記第二の機器に関する情報の出力を行うものであり、
前記第二の機器に対する操作を検知した場合、一定時間内でも前記第二の機器に関する情報の出力を終了する請求項１～８のいずれか１項に記載の機器システム。
前記第二の機器に対する操作を検知した場合、一定時間内でも前記第二の機器に関する情報の出力を終了する請求項１～８のいずれか１項に記載の機器システム。
【請求項15】
音声の入出力手段を有する第一の機器と、
音声の入力手段及び出力手段を有する第二の機器と、を有する機器システムであって、
前記第一の機器は、
前記第二の機器が出力する前記第二の機器に関する情報を取得する取得部と、
前記取得部が取得した前記第二の機器に関する情報をネットワークに送信する端末通信部と、を有し、
前記第二の機器は、
前記第二の機器に関する情報を出力する出力部と、
ネットワークを介して受信した、前記第二の機器に対する前記音声の音量の調整要求に応じて、前記第二の機器の前記音声の入力手段又は出力手段の少なくとも一方の音量を調整する調整部と、
を有する機器システム。
音声の入力手段及び出力手段を有する第二の機器と、を有する機器システムであって、
前記第一の機器は、
前記第二の機器が出力する前記第二の機器に関する情報を取得する取得部と、
前記取得部が取得した前記第二の機器に関する情報をネットワークに送信する端末通信部と、を有し、
前記第二の機器は、
前記第二の機器に関する情報を出力する出力部と、
ネットワークを介して受信した、前記第二の機器に対する前記音声の音量の調整要求に応じて、前記第二の機器の前記音声の入力手段又は出力手段の少なくとも一方の音量を調整する調整部と、
を有する機器システム。
【請求項16】
音声の入出力手段を有する第一の機器と、
音声の入力手段及び出力手段を有する第二の機器と、を有する機器システムが行う音量の調整方法であって、
前記第一の機器は、
取得部が、前記第二の機器が出力する前記第二の機器に関する情報を取得するステップと、
前記取得部が取得した前記第二の機器に関する情報を、端末通信部が端末装置に送信するステップと、を有し、
前記第二の機器は、
出力部が、前記第二の機器に関する情報を出力するステップと、
前記端末装置からネットワークを介して受信した、前記第二の機器に対する前記音声の音量の調整要求に応じて、調整部が、前記第二の機器の前記音声の入力手段又は出力手段の少なくとも一方の音量を調整するステップと、
を有する音量の調整方法。
音声の入力手段及び出力手段を有する第二の機器と、を有する機器システムが行う音量の調整方法であって、
前記第一の機器は、
取得部が、前記第二の機器が出力する前記第二の機器に関する情報を取得するステップと、
前記取得部が取得した前記第二の機器に関する情報を、端末通信部が端末装置に送信するステップと、を有し、
前記第二の機器は、
出力部が、前記第二の機器に関する情報を出力するステップと、
前記端末装置からネットワークを介して受信した、前記第二の機器に対する前記音声の音量の調整要求に応じて、調整部が、前記第二の機器の前記音声の入力手段又は出力手段の少なくとも一方の音量を調整するステップと、
を有する音量の調整方法。
【請求項17】
第二の機器が出力する前記第二の機器に関する情報を取得する取得部と、
前記取得部が取得した前記第二の機器に関する情報を端末装置に送信する端末通信部と、音声の入出力手段と、を有する第一の機器とネットワークを介して通信できる第二の機器であって、
音声の入力手段及び出力手段と、
前記第二の機器に関する情報を出力する出力部と、
前記端末装置からネットワークを介して受信した、前記第二の機器に対する前記音声の音量の調整要求に応じて、前記第二の機器の前記音声の入力手段又は出力手段の少なくとも一方の音量を調整する調整部と、
を有する第二の機器。
前記取得部が取得した前記第二の機器に関する情報を端末装置に送信する端末通信部と、音声の入出力手段と、を有する第一の機器とネットワークを介して通信できる第二の機器であって、
音声の入力手段及び出力手段と、
前記第二の機器に関する情報を出力する出力部と、
前記端末装置からネットワークを介して受信した、前記第二の機器に対する前記音声の音量の調整要求に応じて、前記第二の機器の前記音声の入力手段又は出力手段の少なくとも一方の音量を調整する調整部と、
を有する第二の機器。
【請求項18】
音声の入力手段及び出力手段と、
第二の機器に関する情報を出力する出力部と、
端末装置からネットワークを介して受信した、前記第二の機器に対する前記音声の音量の調整要求に応じて、前記第二の機器の前記音声の入力手段又は出力手段の少なくとも一方の音量を調整する調整部と、を有する第二の機器とネットワークを介して通信できる第一の機器であって、
音声の入出力手段と、
前記第二の機器が出力する前記第二の機器に関する情報を取得する取得部と、
前記取得部が取得した前記第二の機器に関する情報を端末装置に送信する端末通信部と、を有する第一の機器。
第二の機器に関する情報を出力する出力部と、
端末装置からネットワークを介して受信した、前記第二の機器に対する前記音声の音量の調整要求に応じて、前記第二の機器の前記音声の入力手段又は出力手段の少なくとも一方の音量を調整する調整部と、を有する第二の機器とネットワークを介して通信できる第一の機器であって、
音声の入出力手段と、
前記第二の機器が出力する前記第二の機器に関する情報を取得する取得部と、
前記取得部が取得した前記第二の機器に関する情報を端末装置に送信する端末通信部と、を有する第一の機器。
【請求項19】
音声の入力手段及び出力手段と、
第二の機器に関する情報を出力する出力部と、
端末装置からネットワークを介して受信した、前記第二の機器に対する前記音声の音量の調整要求に応じて、前記第二の機器の前記音声の入力手段又は出力手段の少なくとも一方の音量を調整する調整部と、を有する第二の機器と通信できる第一の機器であって、
音声の入力手段と出力手段と、
前記第二の機器が出力する前記第二の機器に関する情報を取得する取得部と、
前記取得部が取得した前記第二の機器に関する情報に応じて、前記音声の入力手段又は出力手段の少なくとも一方の音量を調整する第一の機器。
第二の機器に関する情報を出力する出力部と、
端末装置からネットワークを介して受信した、前記第二の機器に対する前記音声の音量の調整要求に応じて、前記第二の機器の前記音声の入力手段又は出力手段の少なくとも一方の音量を調整する調整部と、を有する第二の機器と通信できる第一の機器であって、
音声の入力手段と出力手段と、
前記第二の機器が出力する前記第二の機器に関する情報を取得する取得部と、
前記取得部が取得した前記第二の機器に関する情報に応じて、前記音声の入力手段又は出力手段の少なくとも一方の音量を調整する第一の機器。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機器システム、音量の調整方法、第二の機器、及び第一の機器に関する。
【背景技術】
【0002】
一方の拠点から１つ以上の他の拠点にリアルタイムに画像や音声を送信し、遠隔地にいるユーザー同士で画像や音声を用いた会議を行う遠隔コミュニケーションシステムが知られている。遠隔コミュニケーションでは会議室に配置された電子黒板などの機器が使用される場合がある。
【0003】
会議室に配置された複数の機器により生じるハウリングを抑制する技術が知られている（例えば、特許文献１参照。）。特許文献１には、一方の端末を消音（ミュート）することでハウリングを防止する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術では、音量を調整すべきでない機器を消音する場合があるという問題があった。例えば、従来の技術は、距離に基づいて機器を消音するため、消音すべきでない機器を消音するおそれがある。
【0005】
本発明は、上記課題に鑑み、適切な機器の音量を調整する機器システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題に鑑み、本発明は、音声の入出力手段を有する第一の機器と、音声の入力手段及び出力手段を有する第二の機器と、を有する機器システムであって、前記第一の機器は、前記第二の機器が出力する前記第二の機器に関する情報を取得する取得部と、前記取得部が取得した前記第二の機器に関する情報を端末装置に送信する端末通信部と、を有し、
前記第二の機器は、前記第二の機器に関する情報を出力する出力部と、前記端末装置からネットワークを介して受信した、前記第二の機器に対する前記音声の音量の調整要求に応じて、前記第二の機器の前記音声の入力手段又は出力手段の少なくとも一方の音量を調整する調整部と、を有する。
前記第二の機器は、前記第二の機器に関する情報を出力する出力部と、前記端末装置からネットワークを介して受信した、前記第二の機器に対する前記音声の音量の調整要求に応じて、前記第二の機器の前記音声の入力手段又は出力手段の少なくとも一方の音量を調整する調整部と、を有する。
【発明の効果】
【0007】
適切な機器の音量を調整する機器システムを提供することができる。
【図面の簡単な説明】
【0008】
【図1】遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。
【図2】端末装置が、電子黒板のマイク及びスピーカをミュートする処理について説明する図である。
【図3】記録情報作成システムの構成例を示す図である。
【図4】情報処理システム及び端末装置のハードウェア構成例を示す図である。
【図5】ミーティングデバイスのハードウェア構成例を示す図である。
【図6】ミーティングデバイスの撮像範囲を説明する図である。
【図7】パノラマ画像と話者画像の切り出しを説明する図である。
【図8】電子黒板の一例のハードウェア構成図である。
【図9】記録情報作成システムにおける端末装置、ミーティングデバイス、及び、情報処理システムの機能をブロックに分けて説明する機能ブロック図の一例である。
【図10】情報記憶部が記憶している動画記録情報の一例を示す図である。
【図11】コミュニケーション管理部が管理する会議情報の一例を示す図である。
【図12】対応付け情報記憶部に記憶された、会議ＩＤと機器識別情報とが対応付けられた対応付け情報の一例を示す図である。
【図13】電子黒板の機能をブロックに分けて説明する機能ブロック図の一例である。
【図14】機器情報記憶部に記憶されている機器識別情報等の一例を示す図である。
【図15】オブジェクト情報記憶部に保存されているオブジェクト情報を説明する図である。
【図16】会議への参加に応じて、電子黒板が音声入出力をミュートする処理の流れを示すシーケンス図である（ミュートの手順１）。
【図17】端末装置が表示する会議参加画面の一例を示す図である。
【図18】電子黒板が表示する二次元コードの一例を示す図である。
【図19】電子黒板が表示する二次元コードの表示方法の一例を示す図である。
【図20】電子黒板が表示する二次元コードの表示方法の一例を示す図である。
【図21】電子黒板が表示する二次元コードの表示方法の一例を示す図である。
【図22】電子黒板が表示する二次元コードの表示方法の一例を示す図である。
【図23】電子黒板が表示する二次元コードの表示方法の一例を示す図である。
【図24】電子黒板が表示する二次元コードの表示方法の一例を示す図である。
【図25】ミーティングデバイスが有するカメラが半球カメラである場合に、電子黒板が表示する二次元コードの表示方法の一例を示す図である。
【図26】電子黒板が表示するバーコードの表示方法の一例を示す図である。
【図27】ミュート後に電子黒板が表示する画面の一例を示す図である。
【図28】会議への参加に応じて、電子黒板が音声入出力をミュートする処理の流れを示すシーケンス図である（ミュートの手順２）。
【図29】音声信号のフォーマットを示す図の一例である。
【図30】会議への参加に応じて、電子黒板が音声入出力をミュートする処理の流れを示すシーケンス図である（ミュートの手順３）。
【図31】会議への参加に応じて、電子黒板が音声入出力をミュートする処理の流れを示すシーケンス図である（ミュートの手順４）。
【図32】端末装置が表示する機器検知開始画面の一例を示す図である。
【図33】会議への参加に応じて、電子黒板が音声入出力をミュートする処理の流れを示すシーケンス図である（ミュートの手順５）。
【図34】会議への参加に応じて、電子黒板が音声入出力をミュートする処理の流れを示すシーケンス図である（ミュートの手順６）。
【図35】会議への参加に応じて、電子黒板が音声入出力をミュートする処理の流れを示すシーケンス図である（ミュートの手順７）。
【図36】会議への参加に応じて、電子黒板が音声入出力をミュートする処理の流れを示すシーケンス図である（ミュートの手順８）。
【図37】電子黒板が会議の退出時にミュートを解除する処理の流れを示すシーケンス図の一例である（ミュートの解除１）。
【図38】電子黒板が表示する会議退出指示画面の一例を示す図である。
【図39】端末装置が会議の退出時に電子黒板のミュートを解除する処理の流れを示すシーケンス図の一例である（ミュートの解除２）。
【図40】端末装置と情報処理システムとの通信が切断された場合に電子黒板のミュートを解除する処理の流れを示すシーケンス図の一例である（ミュートの解除３）。
【図41】電子黒板が起動してからミュート要求を受信せずに二次元コードの表示を終了する処理を示すシーケンス図の一例である。
【図42】端末装置で動作する情報記録アプリが表示するログイン後の初期画面の一例を示す図である。
【図43】情報記録アプリが表示する録画設定画面の一例を示す図である。
【図44】情報記録アプリが録画中に表示する録画中画面の一例を示す図である。
【図45】情報記録アプリが表示する会議一覧画面の一例を示す図である。
【図46】情報記録アプリがパノラマ画像、話者画像及びアプリの画面を録画する手順を示すシーケンス図の一例である。
【発明を実施するための形態】
【0009】
以下、本発明を実施するための形態の一例として、機器システムと機器システムが行う音量の調整方法について説明する。
【0010】
＜遠隔会議における議事録の作成方法の一例＞
まず、図１を参照して、パノラマ画像とアプリの画面を用いた議事録の作成方法の概略を説明する。図１は、遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。図１に示すように、図示する自拠点１０２にいるユーザーが遠隔会議サービスシステム９０を利用して、他の拠点１０１と遠隔会議を行っている。
まず、図１を参照して、パノラマ画像とアプリの画面を用いた議事録の作成方法の概略を説明する。図１は、遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。図１に示すように、図示する自拠点１０２にいるユーザーが遠隔会議サービスシステム９０を利用して、他の拠点１０１と遠隔会議を行っている。
【0011】
本実施形態の記録情報作成システム１００は、周囲３６０°を撮像可能な撮像手段及びマイクとスピーカを備えたミーティングデバイス６０が、周囲を撮像した情報を処理することで取得した水平パノラマ画像（以下、パノラマ画像という）と、端末装置１０が実行するアプリケーション（以下、アプリという）が作成する画面と、を用いて、記録情報（議事録など）を作成する。音声については、記録情報作成システム１００は、遠隔会議アプリ４２が受信する音声と、ミーティングデバイス６０が取得する音声とを合成して、記録情報に含める。以下、概略を説明する。
【0012】
(1) 端末装置１０では、後述する情報記録アプリ４１と遠隔会議アプリとが動作している。この他、資料表示用のアプリなども動作していてよい。情報記録アプリ４１は、端末装置１０が出力する音声（遠隔会議アプリが他の拠点から受信した音声を含む。）をミーティングデバイス６０に送信する。ミーティングデバイス６０は、自身が取得している音声と、遠隔会議アプリの音声とをミキシング（合成）する。
【0013】
(2) ミーティングデバイス６０はマイクを備え、音声を取得した方向に基づき、パノラマ画像から話者を切り出す処理を行い、話者画像を作成する。ミーティングデバイス６０は、パノラマ画像と話者画像の両方を端末装置１０に送信する。
【0014】
(3) 端末装置１０で動作する情報記録アプリ４１は、パノラマ画像２０３と話者画像２０４を表示できる。情報記録アプリ４１は、ユーザーが選択した任意のアプリ画面（例えば遠隔会議アプリの画面１０３）と、パノラマ画像２０３と話者画像２０４と、を結合する。例えば、左側にパノラマ画像２０３と話者画像２０４、右側に遠隔会議アプリの画面１０３が配置されるように、パノラマ画像２０３、話者画像２０４、アプリの画面１０３を結合する（以下、結合画像１０５という）。なおアプリ画面は、遠隔会議アプリ等の各アプリケーションが表示する画面情報（後述）の例である。(3)の処理は繰り返し実行されるので、結合画像１０５は動画となる（以下、結合画像動画という）。また、情報記録アプリ４１は、結合画像動画に合成された音声を結合して音声付きの動画を作成する。
【0015】
なお、本実施形態では、パノラマ画像２０３、話者画像２０４、アプリの画面１０３を結合する例を説明するが、情報記録アプリ４１がこれらを別々に保存し、再生時に画面に配置してもよい。
【0016】
(4) 情報記録アプリ４１は、編集作業（ユーザーによる不要箇所のカット）を受け付け、結合画像動画を完成させる。結合画像動画は記録情報の一部を構成する。
【0017】
(5) 情報記録アプリ４１は、作成した結合画像動画（音声付き）をストレージサービスシステム７０に送信し保存しておく。
【0018】
(6) また、情報記録アプリ４１は、結合画像動画から音声のみを抽出しておき（結合前の音声を取っておいてもよい）、抽出した音声を、情報処理システム５０に送信する。情報処理システム５０は音声をテキストデータに変換する音声認識サービスシステム８０に送信し、音声をテキスト化する。テキストデータには、録画開始から何分後に話したか、というデータも含まれる。
【0019】
なお、リアルタイムのテキスト化の場合、ミーティングデバイス６０が情報処理システム５０に直接音声を送信する。ミーティングデバイス６０はテキストデータをリアルタイムに情報記録アプリ４１に送信する。
【0020】
(7) 情報処理システム５０は、結合画像動画を格納したストレージサービスシステム７０に、テキストデータを追加で格納する。テキストデータは記録情報の一部を構成する。
【0021】
なお、情報処理システム５０は、ユーザーに対し利用したサービスに応じた課金処理を実行できる。例えば、課金はテキストデータ量、結合画像動画のファイルサイズ、処理時間などに基づいて算出される。
【0022】
このように、結合画像動画には、ユーザーを含む周囲のパノラマ画像や話者画像が表示され、更に、遠隔会議アプリ４２など、遠隔会議中に表示されたアプリの画面が表示される。遠隔会議の参加者や参加者でない者が、結合画像動画を議事録として閲覧した場合、遠隔会議中の様子が臨場感と共に再現される。
【0023】
＜処理の概略＞
続いて、図２を参照して、端末装置１０が、電子黒板２をミュートする処理について説明する。図２は、端末装置１０が、電子黒板２のマイク及びスピーカをミュートする処理について説明する図である。ミーティングデバイス６０と電子黒板２はそれぞれ、マイクとスピーカを持っている。ミーティングデバイス６０が出力した音声は電子黒板２のマイクで集音され、電子黒板２が遠隔会議サービスシステムに送信する。遠隔会議サービスシステム９０は音声を端末装置１０に送信し、ミーティングデバイス６０が出力する。このサイクルが繰り返されるとハウリングが発生する場合がある。逆に、電子黒板２が出力した音声はミーティングデバイス６０のマイクで集音され、端末装置１０が遠隔会議サービスシステム９０に送信する。遠隔会議サービスシステム９０は音声を電子黒板２に送信し、電子黒板２が出力する。このサイクルが繰り返されるとハウリングが発生する場合がある。
続いて、図２を参照して、端末装置１０が、電子黒板２をミュートする処理について説明する。図２は、端末装置１０が、電子黒板２のマイク及びスピーカをミュートする処理について説明する図である。ミーティングデバイス６０と電子黒板２はそれぞれ、マイクとスピーカを持っている。ミーティングデバイス６０が出力した音声は電子黒板２のマイクで集音され、電子黒板２が遠隔会議サービスシステムに送信する。遠隔会議サービスシステム９０は音声を端末装置１０に送信し、ミーティングデバイス６０が出力する。このサイクルが繰り返されるとハウリングが発生する場合がある。逆に、電子黒板２が出力した音声はミーティングデバイス６０のマイクで集音され、端末装置１０が遠隔会議サービスシステム９０に送信する。遠隔会議サービスシステム９０は音声を電子黒板２に送信し、電子黒板２が出力する。このサイクルが繰り返されるとハウリングが発生する場合がある。
【0024】
そこで、本実施形態のミーティングデバイス６０は以下のようにしてハウリングを抑制する。
(1) ユーザーが電子黒板２を操作して会議への参加を指示する。
(2) 電子黒板２がＱＲコード（登録商標）等の二次元コード８を表示する。二次元コード８には電子黒板２のＩＰアドレスや機器識別情報等、電子黒板２に関する情報が含まれている。
(3) ミーティングデバイス６０が二次元コードを撮像し、デコードすることで、電子黒板２のＩＰアドレスや機器識別情報等が得られる。
(4) 端末装置１０は、ＩＰアドレスを宛先に電子黒板２のＡＰＩ（Application Programming Interface）を呼び出すなどして、電子黒板２にミュートを要求する。あるいは、端末装置１０は、機器識別情報を指定して情報処理システム５０を介し、電子黒板２にミュートを要求する。
(1) ユーザーが電子黒板２を操作して会議への参加を指示する。
(2) 電子黒板２がＱＲコード（登録商標）等の二次元コード８を表示する。二次元コード８には電子黒板２のＩＰアドレスや機器識別情報等、電子黒板２に関する情報が含まれている。
(3) ミーティングデバイス６０が二次元コードを撮像し、デコードすることで、電子黒板２のＩＰアドレスや機器識別情報等が得られる。
(4) 端末装置１０は、ＩＰアドレスを宛先に電子黒板２のＡＰＩ（Application Programming Interface）を呼び出すなどして、電子黒板２にミュートを要求する。あるいは、端末装置１０は、機器識別情報を指定して情報処理システム５０を介し、電子黒板２にミュートを要求する。
【0025】
このように、本実施形態のミーティングデバイス６０は、二次元コードを表示した電子黒板２をミュートするので、機器を誤らずに適切な機器をミュートできる。また、ユーザーは、会議の参加者の中心にあるミーティングデバイス６０で音声を出力し、電子黒板２が集音するマイクをミュートにしたいが、従来技術ではそのような制御はできなかった。本実施形態では上記のように機器を誤ることがない。
【0026】
＜用語について＞
音量の調整とは、主に音量を小さくすることをいう。音量の調整には、マイクが集音する音量、又は、スピーカが発生する音量の少なくとも一方の音量を調整することをいう。調整の1つに消音（ミュート）がある。音量の調整には、マイクが検知できない程度の小さい音量に制御することを含んでよい。本実施形態では、音量の調整は、単に消音という用語で説明される。
音量の調整とは、主に音量を小さくすることをいう。音量の調整には、マイクが集音する音量、又は、スピーカが発生する音量の少なくとも一方の音量を調整することをいう。調整の1つに消音（ミュート）がある。音量の調整には、マイクが検知できない程度の小さい音量に制御することを含んでよい。本実施形態では、音量の調整は、単に消音という用語で説明される。
【0027】
情報の入力手段は、画像、音声、電波等を入力する手段であればよく、例えばカメラ（撮像手段）、マイク、近距離無線通信が相当する。
【0028】
情報の出力手段は、画像の表示手段、音声、電波等を出力する手段であればよく、例えばディスプレイや投影装置、スピーカ、近距離無線通信が相当する。
【0029】
第二の機器に関する情報は、第二の機器と通信において第二の機器を特定できる情報である。第二の機器に関する情報は、例えば、機器識別情報又はＩＰアドレス等である。第二の機器に関する情報は、電子黒板が今ミュート状態なのか否かを含んでよい。
【0030】
ミーティングデバイスが取得したミーティングデバイスの周囲の画像情報は、ミーティングデバイスがミーティングデバイスを囲む、周囲の空間（例えば水平方向で１８０°～３６０°の空間）を撮像して取得した画像情報であり、ミーティングデバイスが撮像した曲面の画像情報に対して、所定の処理を行うことで取得した画像をいう。所定の処理とは撮像した曲面の画像に対する平面化処理など、撮像した情報から周囲の画像情報を作成するための各種処理である。所定の処理には周辺の画像を作成する処理に加え、話者画像を切り出す処理、周辺の画像や話者画像等を結合する結合処理を含めてもよい。本実施形態では、周囲の画像は、パノラマ画像という用語で説明される。パノラマ画像はおおむね水平方向に１８０°～３６０°の画角がある画像である。ミーティングデバイスは１台でパノラマ画像を撮像しなくてもよく、通常の画角の撮像装置が複数個、組み合わされていてもよい。ミーティングデバイスは拠点での会議や周囲の状況把握のためにテーブル等の設置場所に設置して使用することを想定しているが、この他、監視（セキュリティ・防災など）、見守り（育児や介護など）、現場の状況分析（ソリューションやマーケティングなど）を行うために用いるデバイスであってもよい。
【0031】
記録情報とは、情報記録アプリ４１が記録する情報であり、ある１つの会議（ミーティング）の識別情報に紐づく情報として閲覧可能に記憶・保存された情報であって、例えば以下の情報を含む情報である。
・選択したアプリ（遠隔会議アプリなど）が表示する画面情報と、デバイスが取得したデバイスの周囲の画像情報、などに基づいて作成する動画情報。
・会議（ミーティング）中に、遠隔会議アプリ（端末装置）と、拠点のミーティングデバイスとで取得し合成した音声情報。
・取得した音声をテキスト化したテキスト情報。
・その他、会議（ミーティング）に関連する関連情報であるデータや画像。例えば会議中に用いた資料ファイル、追加したメモ、テキスト化データの翻訳データ、会議中にクラウド電子黒板サービスで作成した画像やストロークデータなど。
等である。情報記録アプリ４１が遠隔会議アプリの画面や、拠点の会議の様子を録画した場合、記録情報が、実施した会議の議事録となる場合がある。議事録は記録情報の例であり遠隔会議や拠点側で行った内容に応じて記録情報の呼び方が変わり、例えばコミュニケーションの記録、拠点状況の記録などと言ってもよい。また記録情報は、例えば、動画ファイル（結合画像動画等）、音声ファイル、テキストデータ（音声が音声認識されたテキストデータ）、文書ファイル、画像ファイル、表形式ファイルなど、複数の形式のファイルを含み、ファイルは会議の識別情報に対して互いに関連づいているため、閲覧時にまとめて、あるいは選択的に、時系列で閲覧可能となっている。
・選択したアプリ（遠隔会議アプリなど）が表示する画面情報と、デバイスが取得したデバイスの周囲の画像情報、などに基づいて作成する動画情報。
・会議（ミーティング）中に、遠隔会議アプリ（端末装置）と、拠点のミーティングデバイスとで取得し合成した音声情報。
・取得した音声をテキスト化したテキスト情報。
・その他、会議（ミーティング）に関連する関連情報であるデータや画像。例えば会議中に用いた資料ファイル、追加したメモ、テキスト化データの翻訳データ、会議中にクラウド電子黒板サービスで作成した画像やストロークデータなど。
等である。情報記録アプリ４１が遠隔会議アプリの画面や、拠点の会議の様子を録画した場合、記録情報が、実施した会議の議事録となる場合がある。議事録は記録情報の例であり遠隔会議や拠点側で行った内容に応じて記録情報の呼び方が変わり、例えばコミュニケーションの記録、拠点状況の記録などと言ってもよい。また記録情報は、例えば、動画ファイル（結合画像動画等）、音声ファイル、テキストデータ（音声が音声認識されたテキストデータ）、文書ファイル、画像ファイル、表形式ファイルなど、複数の形式のファイルを含み、ファイルは会議の識別情報に対して互いに関連づいているため、閲覧時にまとめて、あるいは選択的に、時系列で閲覧可能となっている。
【0032】
テナントとは、サービスの提供者からサービスを受けることを契約したユーザーのグループ（企業や自治体、これらの一部の組織等）である。本実施形態の記録情報の作成やテキストデータへの変換は、テナントがサービス提供元と契約しているために実行される。
【0033】
遠隔コミュニケーションとは、物理的に離れた拠点にいる相手と、ソフトウェアや端末装置を活用することによって音声や映像を通じたコミュニケーションを取ることをいう。遠隔コミュニケーションの一例に遠隔会議があり、会議は、会合、ミーティング、打ち合わせ、相談、契約等の申し込み、集会、寄り合い、集まり、セミナー、講習会、勉強会、ゼミ、研修会等と呼ばれてもよい。
【0034】
拠点とは、活動のよりどころとする場所をいう。拠点の例として会議室がある。会議室は、主に会議に使用することを目的に設置された部屋のことである。拠点はこのほか自宅や、受付や店舗、倉庫や屋外の現場など様々な場所であってもよく、端末装置やデバイス等を設置できる箇所のある場所や空間であればよい。
【0035】
音声とは人間が発する言語音や周囲の音等であり、音声データは音声をデータ化したものであるが、本実施形態では、厳密に区別せずに説明する。
【0036】
第一の機器は、コミュニケーションに関する情報を処理する機器であり、本実施形態では、ミーティングデバイス６０という用語で説明される。第一の機器は、周囲を撮像する撮像装置、音声を取得するマイク、ビーコンを受信する機能を有しているとよい。また、第一の機器はスピーカを有していてよい。
【0037】
第二の機器は、情報を表示する装置であればよい。本実施形態では電子黒板という用語で説明される。電子黒板は、電子ホワイトボード、電子情報ボード、などと呼ばれてよい。電子黒板２と同等の装置としてプロジェクタが知られている。この他、第一の機器は、デジタルサイネージ、テレビ、ディスプレイ、複合機、テレビ会議端末などでもよい。
【0038】
＜システム構成例＞
続いて、図３を参照して、記録情報作成システム１００のシステム構成を説明する。図３は、記録情報作成システム１００の構成例を示す。図３では、遠隔会議を行う複数の拠点のうち１つの拠点（自拠点１０２）を示し、自拠点１０２における端末装置１０がネットワークを介して情報処理システム５０と、ストレージサービスシステム７０と、遠隔会議サービスシステム９０と、通信する。自拠点１０２には更に、ミーティングデバイス６０と電子黒板２が配置され、端末装置１０はこのミーティングデバイス６０とＵＳＢケーブル等を介して通信可能に接続されている。なお、ミーティングデバイス６０、及び、電子黒板２、又は、更に情報処理システム５０を含めて、これらは機器システムとして動作する。
続いて、図３を参照して、記録情報作成システム１００のシステム構成を説明する。図３は、記録情報作成システム１００の構成例を示す。図３では、遠隔会議を行う複数の拠点のうち１つの拠点（自拠点１０２）を示し、自拠点１０２における端末装置１０がネットワークを介して情報処理システム５０と、ストレージサービスシステム７０と、遠隔会議サービスシステム９０と、通信する。自拠点１０２には更に、ミーティングデバイス６０と電子黒板２が配置され、端末装置１０はこのミーティングデバイス６０とＵＳＢケーブル等を介して通信可能に接続されている。なお、ミーティングデバイス６０、及び、電子黒板２、又は、更に情報処理システム５０を含めて、これらは機器システムとして動作する。
【0039】
端末装置１０では、少なくとも情報記録アプリ４１と遠隔会議アプリ４２とが動作する。遠隔会議アプリ４２は、他の拠点１０１の端末装置１０とネットワーク上の遠隔会議サービスシステム９０を介して通信することができ、各拠点のユーザー同士が遠隔地から会議できるようになっている。情報記録アプリ４１は、遠隔会議アプリ４２が実施する遠隔会議における記録情報を、情報処理システム５０及びミーティングデバイス６０の機能を使って作成する。
【0040】
なお、本実施形態では、遠隔会議中の記録情報を作成する例を説明するが、会議は、遠隔の拠点と通信する会議でなくてもよい。つまり、会議は１拠点内の参加者のみが参加する会議でもよい。この場合、ミーティングデバイス６０が撮像する画像と集音した音声がそれぞれ合成なしに保存される他、情報記録アプリ４１の処理に変更はない。
【0041】
端末装置１０には通常の画角のカメラが内蔵されており（外付けでもよい）、端末装置１０を操作するユーザー１０７を含む正面の画像を撮像している。通常の画角とは、パノラマ画像でない画像であるが、本実施形態では、主に全天球画像のように曲面でない平面画像である。したがって、ユーザーは、情報記録アプリ４１を意識することなく、遠隔会議アプリ４２を使用した従来の遠隔会議が可能である。情報記録アプリ４１やミーティングデバイス６０は、端末装置１０の処理負荷増を除けば遠隔会議アプリ４２に影響を与えない。なお、遠隔会議アプリ４２はミーティングデバイス６０が撮像するパノラマ画像や話者画像を遠隔会議サービスシステム９０に送信することも可能である。
【0042】
情報記録アプリ４１はミーティングデバイス６０と通信して記録情報を作成する。情報記録アプリ４１はまた、ミーティングデバイス６０が取得した音声と遠隔会議アプリ４２が他の拠点から受信した音声との合成等を行う。ミーティングデバイス６０は、パノラマ画像の撮像装置、マイク、及び、スピーカを備えたミーティング用のデバイスである。端末装置１０が有するカメラは正面の限られた範囲しか撮像できないが、ミーティングデバイス６０はミーティングデバイス６０を囲む全周囲（必ずしも全周囲でなくてもよい）を撮像できる。ミーティングデバイス６０は図３に示す複数の参加者１０６を常に画角に収めることができる。
【0043】
この他、ミーティングデバイス６０は、パノラマ画像からの話者画像の切り出し等を行う。なお、ミーティングデバイス６０は、机の上に限らず自拠点１０２のどこに配置されてもよい。ミーティングデバイス６０は全天球画像を撮像できるので、例えば天井に配置されてもよい。
【0044】
情報記録アプリ４１は、端末装置１０で実行中のアプリの一覧表示、上記した記録情報のための画像合成（結合画像動画の作成）、結合画像動画の再生、編集の受け付け等を行う。また、情報記録アプリ４１は、実施された又はこれから実施される予定の遠隔会議のリスト表示、等を行う。遠隔会議のリストは、記録情報に関する情報に使用され、ユーザーが遠隔会議と記録情報とを結びつけることができる。
【0045】
遠隔会議アプリ４２は、他の拠点１０１の他の端末装置との通信接続、画像及び音声の送受信、画像の表示や音声の出力等により、端末装置が他の端末装置と遠隔コミュニケーションを行うアプリケーションである。遠隔会議アプリは、遠隔コミュニケーションアプリ、遠隔情報共通アプリなどと言うこともできる。
【0046】
なお、情報記録アプリ４１及び遠隔会議アプリ４２はＷｅｂアプリでもネイティブアプリでもよい。Ｗｅｂアプリとは、Ｗｅｂサーバー上のプログラムとＷｅｂブラウザ上のプログラムやネイティブアプリが協働して処理を行うアプリであり、端末装置１０へのインストールが不要なアプリである。ネイティブアプリとは、端末装置１０にインストールして利用されるアプリである。本実施形態では、両者ともネイティブアプリであるとして説明する。
【0047】
端末装置１０は、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末等、通信機能を備えた汎用的な情報処理装置でよい。端末装置１０は、この他、電子黒板２、ゲーム機、ＰＤＡ（Personal Digital Assistant）、ウェアラブルＰＣ、カーナビ、産業機械、医療機器、ネットワーク家電等でもよい。端末装置１０は情報記録アプリ４１と遠隔会議アプリ４２が少なくとも動作する装置であればよい。
【0048】
電子黒板２は、ペンや指等の入力手段でタッチパネルに手書きされたデータをディスプレイに表示する。電子黒板２は、有線又は無線で端末装置１０等と通信することができ、端末装置１０が表示する画面を取り込んでディスプレイに表示することができる。電子黒板２は、手書きデータをテキストデータに変換したり、他の拠点の電子黒板２とディスプレイに表示される情報を共有したりすることができる。電子黒板２は、タッチパネルを有さない単なる白板にプロジェクタが映像を投影する形態のものでもよい。また、電子黒板２は、タッチパネルを備えたタブレット端末、ノートＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistant）、ゲーム機等でもよい。
【0049】
電子黒板２は、情報処理システム５０と通信することができる。電子黒板２は、例えば、電源オンされた後、情報処理システム５０にポーリングしたりＷｅｂソケットなどの双方向通信を利用したりして、情報処理システム５０から情報を受信できる。
【0050】
情報処理システム５０は、ネットワーク上に配置された一台以上の情報処理装置である。情報処理システム５０は、情報記録アプリ４１と協働して処理を行う１つ以上のサーバーアプリと、基盤サービスを有している。このサーバーアプリは、遠隔会議のリストの管理、遠隔会議で記録された記録情報の管理、各種設定やストレージパスの管理等を行う。基盤サービスは、ユーザー認証や契約、課金処理等を行う。
【0051】
なお、情報処理システム５０の機能の全て又は一部は、クラウド環境に存在してもよいし、オンプレミス環境に存在してもよい。情報処理システム５０は複数台のサーバー装置により構成されてもよいし、一台の情報処理装置により構成されてもよい。例えば、サーバーアプリと基盤サービスが別々の情報処理装置より提供されてよいし、更にサーバーアプリ内の機能ごとに情報処理装置が存在してもよい。情報処理システム５０と次述するストレージサービスシステム７０、音声認識サービスシステム８０が一体でもよい。
【0052】
ストレージサービスシステム７０は、ネットワーク上の記憶手段であり、ファイル等の保存を受け付けるストレージサービスを提供する。ストレージサービスシステム７０としてはＯｎｅ Ｄｒｉｖｅ（登録商標）、Ｇｏｏｇｌｅ Ｗｏｒｋｓｐａｃｅ（登録商標）、ＤｒｏｐＢｏｘ（登録商標）等が知られている。ストレージサービスシステム７０は、オンプレミスのＮＡＳ（Network Attached Storage）等でもよい。
【0053】
音声認識サービスシステム８０は、音声データに音声認識を行いテキストデータに変換するサービスを提供する。音声認識サービスシステム８０は、汎用的な商用サービスでもよいし、情報処理システム５０の機能の一部でもよい。また音声認識サービスシステム８０はユーザーやテナント毎、会議毎に異なるサービスシステムを設定して用いてもよい。
【0054】
＜ハードウェア構成例＞
図４を参照して、本実施形態に係る情報処理システム５０及び端末装置１０のハードウェア構成について説明する。
図４を参照して、本実施形態に係る情報処理システム５０及び端末装置１０のハードウェア構成について説明する。
【0055】
＜＜情報処理システム及び端末装置＞＞
図４は、本実施形態に係る情報処理システム５０及び端末装置１０の一例のハードウェア構成を示す図である。図４に示されているように、情報処理システム５０及び端末装置１０はコンピュータによって構築されており、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ（Hard Disk）５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ/Ｆ(Interface)５０８、ネットワークＩ/Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、光学ドライブ５１４、メディアＩ/Ｆ５１６を備えている。
図４は、本実施形態に係る情報処理システム５０及び端末装置１０の一例のハードウェア構成を示す図である。図４に示されているように、情報処理システム５０及び端末装置１０はコンピュータによって構築されており、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ（Hard Disk）５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ/Ｆ(Interface)５０８、ネットワークＩ/Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、光学ドライブ５１４、メディアＩ/Ｆ５１６を備えている。
【0056】
これらのうち、ＣＰＵ５０１は、情報処理システム５０及び端末装置１０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ/Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ/Ｆ５０９は、ネットワークを利用してデータ通信をするためのインターフェースである。バスライン５１０は、図４に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0057】
また、キーボード５１１は、文字、数値、又は各種指示などの入力に使用される複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。光学ドライブ５１４は、着脱可能な記録媒体の一例としての光記憶媒体５１３に対する各種データの読み出し又は書き込みを制御する。なお、光記憶媒体５１３は、ＣＤ，ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）等でよい。メディアＩ/Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。
【0058】
＜＜ミーティングデバイス＞＞
図５を用いて、ミーティングデバイス６０のハードウェア構成を説明する。図５は、３６０°の動画を撮像可能なミーティングデバイス６０のハードウェア構成図の一例である。以下では、ミーティングデバイス６０は撮像素子を使用した、デバイスの周囲３６０°の動画を所定の高さで撮像する装置とするが、撮像素子は１つでも２つ以上のいくつでもよい。また、必ずしも専用装置である必要はなくPCやデジタルカメラ、スマートフォン等に後付けの３６０°動画の撮像ユニットを取り付けることで、実質的に同じ機能を有するようにしてもよい。
図５を用いて、ミーティングデバイス６０のハードウェア構成を説明する。図５は、３６０°の動画を撮像可能なミーティングデバイス６０のハードウェア構成図の一例である。以下では、ミーティングデバイス６０は撮像素子を使用した、デバイスの周囲３６０°の動画を所定の高さで撮像する装置とするが、撮像素子は１つでも２つ以上のいくつでもよい。また、必ずしも専用装置である必要はなくPCやデジタルカメラ、スマートフォン等に後付けの３６０°動画の撮像ユニットを取り付けることで、実質的に同じ機能を有するようにしてもよい。
【0059】
図５に示されているように、ミーティングデバイス６０は、撮像ユニット６０１、画像処理ユニット６０４、撮像制御ユニット６０５、マイク６０８、音処理ユニット６０９、ＣＰＵ(Central Processing Unit)６１１、ＲＯＭ(Read Only Memory)６１２、ＳＲＡＭ(Static Random Access Memory)６１３、ＤＲＡＭ(Dynamic Random Access Memory)６１４、操作部６１５、外部機器接続Ｉ/Ｆ６１６、通信部６１７、アンテナ６１７ａ、音声センサー６１８、及び、スピーカ６１９を有している。
【0060】
このうち、撮像ユニット６０１は、半球画像を結像するための３６０°の画角を有する広角レンズ（いわゆる魚眼レンズ）６０２と、各広角レンズに対応させて設けられている撮像素子６０３（イメージセンサー）を備えている。撮像素子６０３は、魚眼レンズ６０２による光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサーやＣＣＤ(Charge Coupled Device)センサーなどの画像センサー、この画像センサーの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。なお撮像ユニット６０１は３６０°カメラであってもよく、ミーティングデバイス６０の周囲３６０°を撮像可能な撮像手段の例である。
【0061】
撮像ユニット６０１の撮像素子６０３（イメージセンサー）は、各々、画像処理ユニット６０４とパラレルＩ/Ｆバスで接続されている。一方、撮像ユニット６０１の撮像素子６０３は、撮像制御ユニット６０５とは、シリアルＩ/Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット６０４、撮像制御ユニット６０５及び音処理ユニット６０９は、バス６１０を介してＣＰＵ６１１と接続される。更に、バス６１０には、ＲＯＭ６１２、ＳＲＡＭ６１３、ＤＲＡＭ６１４、操作部６１５、外部機器接続Ｉ/Ｆ６１６、通信部６１７、音声センサー６１８及びスピーカ６１９なども接続される。
【0062】
画像処理ユニット６０４は、撮像素子６０３から出力される画像データをパラレルＩ/Ｆバスを通して取り込み、画像データに対して所定の処理を施して、魚眼映像からパノラマ画像や話者画像のデータを作成する。更に、 画像処理ユニット６０４は、パノラマ画像と話者画像等を合成処理して、１つの動画を出力する。
【0063】
撮像制御ユニット６０５は、一般に撮像制御ユニット６０５をマスタデバイス、撮像素子６０３をスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子６０３のレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ６１１から受け取る。また、撮像制御ユニット６０５は、同じくＩ２Ｃバスを利用して、撮像素子６０３のレジスタ群のステータスデータ等を取り込み、ＣＰＵ６１１に送る。
【0064】
また、撮像制御ユニット６０５は、操作部６１５の撮像開始ボタンが押下されたタイミングあるいはPCから撮像開始指示を受信したタイミングで、撮像素子６０３に画像データの出力を指示する。ミーティングデバイス６０によっては、ディスプレイ（例えば、ＰＣやスマートフォンのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子６０３からの画像データの出力は、所定のフレームレート（フレーム／秒）によって連続して行われる。
【0065】
また、撮像制御ユニット６０５は、後述するように、ＣＰＵ６１１と協働して撮像素子６０３の画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、ミーティングデバイス６０にはディスプレイが設けられていないが、表示部を設けてもよい。
【0066】
マイク６０８は、音を音（信号）データに変換する。音処理ユニット６０９は、マイク６０８ａ、マイク６０８ｂ、マイク６０８ｃから出力される音声データをＩ/Ｆバスを通して取り込み、これらの音声データをミキシングして所定の処理を施す。音処理ユニット６０９はまた、マイク６０８ａ、マイク６０８ｂ、マイク６０８ｃから入力される音声レベル（音量）から音源（発話者）の方向を判断する。
【0067】
スピーカ６１９は、入力された音声データを音声に変換する。マイク６０８とスピーカ６１９は入出力手段の一例である。入出力手段は１つの構成としてまとまっている必要はなく、入力手段と出力手段を別々に構成してもよい。
【0068】
ＣＰＵ６１１は、ミーティングデバイス６０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ６１２は、ミーティングデバイス６０を動作させるための種々のプログラムを記憶している。ＳＲＡＭ６１３及びＤＲＡＭ６１４はワークメモリであり、ＣＰＵ６１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ６１４は、画像処理ユニット６０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
【0069】
操作部６１５は、撮像開始ボタン６１５ａなどの操作ボタンの総称である。ユーザーは操作部６１５を操作することで、撮像や録画を開始する他、電源ON/OFFの実行、通信接続の実行、種々の撮像モードや撮像条件などの設定を入力する。
【0070】
外部機器接続Ｉ/Ｆ６１６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＰＣ(Personal Computer)、ディスプレイ、プロジェクタ、電子黒板等である。外部機器接続Ｉ/Ｆ６１６は例えばＵＳＢ端子、ＨＤＭＩ（登録商標）端子等を備えていてもよい。ＤＲＡＭ６１４に記憶された動画データや画像データは、この外部機器接続Ｉ/Ｆ６１６を介して外部端末に送信されたり、外付けのメディアに記録されたりする。また、複数の外部機器接続Ｉ/Ｆ６１６を用い、例えば、ミーティングデバイス６０で撮像し取得した画像情報をＰＣへＵＳＢを介して送信して記録しながら、ＰＣからミーティングデバイス６０へ映像（例えば遠隔会議アプリで表示する画面情報など）を取得し、更にミーティングデバイス６０からＨＤＭＩで他の外部機器（ディスプレイ、プロジェクタ、電子黒板等）へ送信して表示してもよい。
【0071】
通信部６１７は、ミーティングデバイス６０に設けられたアンテナ６１７ａを介して、Ｗｉ－Ｆｉ等の無線通信技術によって、インターネット経由でクラウドサーバと通信し、記憶した動画データや画像データをクラウドサーバに送信してもよい。また、通信部６１７は、BLE（Bluetooth Low Energy。登録商標）やNFC等の近距離無線通信技術を用いて付近のデバイスと通信可能でもよい。
【0072】
音声センサー６１８は、ミーティングデバイス６０の周辺（水平面）の３６０°においてどの方向から音声が大きい音で入力されたかを特定するために、３６０°の音声情報を取得するセンサーである。音処理ユニット６０９は入力した３６０°の音声パラメータに基づき、最も強い方向を特定して３６０°における音声入力方向を出力する。
【0073】
なお、他のセンサー（方位・加速度センサーやGPS等）が方位・位置・角度・加速度等を算出し、画像補正や位置情報付加に用いてもよい。
【0074】
また画像処理ユニット６０４は、パノラマ画像の作成を次の方法で行う。ＣＰＵ６１１は、球面映像を入力するイメージセンサーから入力されたRAWデータをBayer変換（RGB補完処理）等の所定のカメラ映像処理を行って魚眼映像（曲面の映像）を作成する。更に作成した魚眼映像（曲面の映像）に対してDeWarp処理（歪み補正処理）を行い、ミーティングデバイス６０の周辺の３６０°が写ったパノラマ画像（平面の映像）を作成する。
【0075】
ＣＰＵ６１１は話者画像の作成を次の方法で行う。ＣＰＵ６１１は周辺の３６０°が写ったパノラマ画像（平面の映像）から、話者を切り出した話者画像を作成する。ＣＰＵ６１１は、音声センサー６１８及び音処理ユニット６０９を用いて出力した360°から特定した音声入力方向を、話者の方向として、上記パノラマ画像から話者画像を切り出す。このとき音声入力方向から人の画像を切り出す方法は、360°から特定した音声方向を中心に30°を切り取って、その中で顔検出を実施して切り出す。ＣＰＵ６１１は、更に切り出した話者画像のうち、直近で発言のあった特定人数分（３名等）の話者画像を特定する。
【0076】
パノラマ画像と、１以上の話者画像は個別に情報記録アプリ４１に送信されてもよいし、ミーティングデバイス６０がこれらから１枚の画像を作成して、情報記録アプリ４１に送信してもよい。本実施形態では、パノラマ画像と１以上の話者画像は個別にミーティングデバイス６０から情報記録アプリ４１に送信されるものとする。
【0077】
図６は、ミーティングデバイス６０の撮像範囲を説明する図である。図６（ａ）に示すように、ミーティングデバイス６０は水平方向に３６０°の範囲を撮像する。図６（ｂ）に示すように、ミーティングデバイス６０は、ミーティングデバイス６０の高さに水平な方向を０°とし、上下に所定の角度を撮像範囲とする。
【0078】
図７は、パノラマ画像と話者画像の切り出しを説明する図である。図７に示すように、ミーティングデバイス６０が撮像する画像は球体の一部１１０をなすため、三次元の形状を有している。ミーティングデバイス６０は、図６（ｂ）で示したように、上下の所定角度と左右の所定角度ごとに画角を区切って透視投影変換を行う。透視投影変換を水平方向３６０°の全体で隙間なく行うことで、所定数の平面画像が得られるので、所定数の平面画像を左右に連結することでパノラマ画像１１１が得られる。また、ミーティングデバイス６０はパノラマ画像から音声方向を中心に所定の範囲で顔検出を実施して、顔の中心から左右に１５°（全体で３０°）を切り出すことで、話者画像１１２を作成する。
【0079】
＜＜電子黒板＞＞
図８は、電子黒板２のハードウェア構成図である。図８に示されているように、電子黒板２は、ＣＰＵ(Central Processing Unit)４０１、ＲＯＭ(Read Only Memory)４０２、ＲＡＭ(Random Access Memory)４０３、ＳＳＤ(Solid State Drive)４０４、ネットワークＩ/Ｆ４０５、及び、外部機器接続Ｉ/Ｆ(Interface)４０６を備えている。
図８は、電子黒板２のハードウェア構成図である。図８に示されているように、電子黒板２は、ＣＰＵ(Central Processing Unit)４０１、ＲＯＭ(Read Only Memory)４０２、ＲＡＭ(Random Access Memory)４０３、ＳＳＤ(Solid State Drive)４０４、ネットワークＩ/Ｆ４０５、及び、外部機器接続Ｉ/Ｆ(Interface)４０６を備えている。
【0080】
これらのうち、ＣＰＵ４０１は、電子黒板２全体の動作を制御する。ＲＯＭ４０２は、ＩＰＬ(Initial Program Loader)等のＯＳの起動に用いられるプログラムを記憶する。ＲＡＭ４０３は、ＣＰＵ４０１のワークエリアとして使用される。ＳＳＤ４０４は、電子黒板２用のプログラム等の各種データを記憶する。ネットワークＩ/Ｆ４０５は、通信ネットワークとの通信を制御する。外部機器接続Ｉ/Ｆ４０６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリ４３０、外付け機器（マイク４４０（入力手段の一例）、スピーカ４５０（出力手段の一例）、カメラ４６０）である。
【0081】
また、電子黒板２は、キャプチャデバイス４１１、ＧＰＵ４１２、ディスプレイコントローラ４１３、接触センサー４１４、センサコントローラ４１５、電子ペンコントローラ４１６、近距離通信回路４１９、及び近距離通信回路４１９のアンテナ４１９ａ、電源スイッチ４２２及び選択スイッチ類４２３を備えている。
【0082】
これらのうち、キャプチャデバイス４１１は、外付けのＰＣ(Personal Computer)４７０のディスプレイの表示情報を静止画又は動画として表示させる。ＧＰＵ(Graphics Processing Unit)４１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ４１３は、ＧＰＵ４１２からの出力画像をディスプレイ４８０等へ出力するために画面表示の制御及び管理を行う。接触センサー４１４は、ディスプレイ４８０上に電子ペン４９０やユーザーの手Ｈ等が接触したことを検知する。センサコントローラ４１５は、接触センサー４１４の処理を制御する。接触センサー４１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ４８０の上側両端部に設置された２つ受発光装置が、ディスプレイ４８０に平行して複数の赤外線を放射し、ディスプレイ４８０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサー４１４である受発光装置は、物体によって赤外線が遮断された位置（受光素子上の位置）をセンサコントローラ４１５に出力し、センサコントローラ４１５が、これらの２つの位置情報から物体の接触位置である座標位置を特定する。電子ペンコントローラ４１６は、電子ペン４９０とＢｌｕｅｔｏｏｔｈ通信することで、ディスプレイ４８０へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路４１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。電源スイッチ４２２は、電子黒板２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ類４２３は、例えば、ディスプレイ４８０の表示の明暗や色合い等を調整するためのスイッチ群である。
【0083】
更に、電子黒板２は、バスライン４１０を備えている。バスライン４１０は、図８に示されているＣＰＵ４０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0084】
なお、接触センサー４１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネルでもよい。接触センサー４１４は、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネルでもよい。接触センサー４１４は、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルでもよい。この他、接触センサー４１４は種々の検出手段を用いてもよい。また、電子ペンコントローラ４１６が、電子ペン４９０のペン先及びペン尻だけでなく、電子ペン４９０のユーザーが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
【0085】
＜機能について＞
次に、図９を参照して、記録情報作成システム１００が有する機能構成について説明する。図９は、記録情報作成システム１００における端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０の機能をブロックに分けて説明する機能ブロック図の一例である。
次に、図９を参照して、記録情報作成システム１００が有する機能構成について説明する。図９は、記録情報作成システム１００における端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０の機能をブロックに分けて説明する機能ブロック図の一例である。
【0086】
＜＜端末装置＞＞
端末装置１０で動作する情報記録アプリ４１は、通信部１１、操作受付部１２、表示制御部１３、アプリ画面取得部１４、音声取得部１５、デバイス通信部１６、録画制御部１７、音声データ処理部１８、録画再生部１９、アップロード部２０、編集処理部２１、コード解析部２２、消音要求部２３、音声データ解析部２４、及び、ビーコンデータ解析部２５を有している。端末装置１０が有するこれら各部は、図４に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開された情報記録アプリ４１に従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、端末装置１０は、図４に示されているＨＤ５０４等によって構築される記憶部１０００を有している。記憶部１０００には情報記憶部１００１が構築されている。
端末装置１０で動作する情報記録アプリ４１は、通信部１１、操作受付部１２、表示制御部１３、アプリ画面取得部１４、音声取得部１５、デバイス通信部１６、録画制御部１７、音声データ処理部１８、録画再生部１９、アップロード部２０、編集処理部２１、コード解析部２２、消音要求部２３、音声データ解析部２４、及び、ビーコンデータ解析部２５を有している。端末装置１０が有するこれら各部は、図４に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開された情報記録アプリ４１に従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、端末装置１０は、図４に示されているＨＤ５０４等によって構築される記憶部１０００を有している。記憶部１０００には情報記憶部１００１が構築されている。
【0087】
通信部１１は、ネットワークを介して情報処理システム５０と各種の情報を通信する。操作受付部１２は、情報記録アプリ４１に対する各種の操作を受け付ける。表示制御部１３は情報記録アプリ４１に設定されている画面遷移にしたがって情報記録アプリ４１においてユーザーインターフェースとなる各種の画面を表示する。
【0088】
アプリ画面取得部１４は、ユーザーが選択したアプリが表示する画面情報、又は、デスクトップ画面の画面情報などをＯＳ（Operating System）等から取得する。ユーザーが選択したアプリが遠隔会議アプリ４２の場合、遠隔会議アプリ４２が生成する画面（各拠点の端末装置カメラによる端末装置ユーザーの撮像画像、共有している資料の表示画像、参加者アイコンや参加者名等を含む画像）が得られる。アプリが表示する画面情報（アプリ画面）は、実行中のアプリケーションがウィンドウとして表示し、情報記録アプリケーションが画像として取得する情報である。アプリケーションのウィンドウは、ウィンドウの領域をデスクトップイメージ全体における領域として描画されモニター等に表示される。アプリが表示する画面情報は、ＯＳ（Operating System）のＡＰＩや表示するアプリのＡＰＩ等を介して、他のアプリケーション（情報記録アプリケーション等）が、画像ファイルや、連続した複数の画像から構成される動画ファイルとして取得可能である。また、デスクトップ画面の画面情報は、ＯＳが生成するデスクトップ画面の画像から構成される情報であり、同様に画像ファイルや動画ファイルとして、ＯＳのＡＰＩを介して取得可能である。これらの画像ファイルの形式はビットマップ、ＰＮＧ、その他の形式であってもよい。また動画ファイルの形式はＭＰ４、その他の形式でもよい。
【0089】
音声取得部１５は、端末装置１０が遠隔会議アプリ４２から遠隔会議において受信された音声データを取得する。なお、音声取得部１５が取得する音声は、端末装置１０が集音する音声は含まれず、遠隔会議において受信された音声データのみである点に注意されたい。ミーティングデバイス６０が別に、音声を集音しているためである。
【0090】
デバイス通信部１６は、ＵＳＢケーブルなどを利用してミーティングデバイス６０と通信する。デバイス通信部１６は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等でミーティングデバイス６０と通信してよい。デバイス通信部１６は、パノラマ画像と話者画像をミーティングデバイス６０から受信し、音声取得部１５が取得した音声データをミーティングデバイス６０に送信する。デバイス通信部１６は、ミーティングデバイス６０で合成された音声データを受信する。
【0091】
録画制御部１７は、デバイス通信部１６が受信したパノラマ画像と話者画像、及び、アプリ画面取得部１４が取得したアプリの画面を結合し、結合画像を作成する。また、録画制御部１７は繰り返し作成する結合画像を時系列に接続して結合画像動画を作成し、合成された音声データを結合画像動画に結合して音声付きの結合画像動画を作成する。なお、パノラマ画像と話者画像の結合は、ミーティングデバイス６０が行ってもよい。また、パノラマ画像、話者画像、アプリ画面、パノラマ画像と話者画像からなる画像などの各画像からなる動画を、それぞれ別個の動画ファイルとしてストレージサービスシステム７０に記憶してもよい。その場合、パノラマ動画、話者動画、アプリ画面の動画、パノラマ画像と話者画像の結合動画を、閲覧時に呼び出して１つの表示画面で表示してもよい。
【0092】
音声データ処理部１８は、録画制御部１７が抽出する結合画像動画に結合された音声データ、又は、ミーティングデバイス６０から受信した合成後の音声データの、テキストデータへの変換を情報処理システム５０に要求する。
【0093】
録画再生部１９は、結合画像動画の再生を行う。結合画像動画は、録画中は端末装置１０に保存され、その後、情報処理システム５０にアップロードされる。
【0094】
アップロード部２０は、遠隔会議が終了すると、結合画像動画を情報処理システム５０に送信する。
【0095】
編集処理部２１は、ユーザーの操作に応じて、結合画像動画の編集（一部の削除、つなぎ合わせ等）を実行する。
【0096】
コード解析部２２は、パノラマ画像に含まれる二次元コード又はバーコードを検出すると共に、二次元コード又はバーコードを解析して会議参加情報を取得する。会議参加情報は、会議で使用可能な機器であること、機器情報記憶部３００１に記憶された電子黒板２の機器識別情報、会議ＩＤ（ユーザーが選択した）、電子黒板２のＩＰアドレス等である。機器識別情報はシリアル番号やＵＵＩＤ（Universally Unique Identifier）などでよい。機器識別情報はユーザーが設定したものでもよい。会議ＩＤは会議の予約時に採番されるか、又は、録画の開始時に採番される。会議ＩＤは遠隔会議サービスシステムが決定した会議ＩＤと紐付けられてよい。
【0097】
消音要求部２３は、ミーティングデバイス６０が会議参加情報を取得できると、電子黒板２に対しミュートを要求する。
【0098】
音声データ解析部２４は、電子黒板２が出力する音声データをスペクトル解析して（フーリエ変換して）音声データに含まれる周波数を検出し、特定の周波数を二進数のビットデータに変換することで音声信号に含まれる会議参加情報を復号する。なお、音声データ解析部２４は、音声認識により会議参加情報を取得してもよい。
【0099】
ビーコンデータ解析部２５は、ミーティングデバイス６０から送信されたビーコンデータに含まれる会議参加情報を取得する。
【0100】
図１０は、情報記憶部１００１が記憶している動画記録情報を示す。動画記録情報は、会議ＩＤ、録画ＩＤ、更新日時、タイトル、アップロード、保存先等の各項目を有している。ユーザーが情報処理システム５０にログインすると、情報記録アプリ４１は情報処理システム５０の会議情報記憶部５００１から会議情報をダウンロードする。会議情報に含まれる会議ＩＤなどが動画記録情報に反映される。図１０の動画記録情報は、あるユーザーが操作する端末装置１０が保持するものである。
【0101】
・会議ＩＤは、開催された遠隔会議を識別する識別情報である。会議ＩＤは、会議管理システム９に遠隔会議の予定が登録された際に採番されるか、又は、情報記録アプリ４１からの要求で情報処理システム５０が採番する。なお会議管理システム９は、会議及び遠隔会議の予定や、遠隔会議を開始するＵＲＬ（会議リンク）、会議で利用する機器の予約情報などを登録するためのシステムであり、端末装置１０からネットワークを介して接続するスケジューラ等である。また会議管理システム９は登録した予定等を情報処理システム５０に送信することが可能である。
【0102】
・録画ＩＤは、遠隔会議において録画された結合画像動画を識別する識別情報である。録画ＩＤはミーティングデバイス６０が採番するが、情報記録アプリ４１や情報処理システム５０が採番してもよい。同じ会議ＩＤに異なる録画ＩＤが付与されるのは、遠隔会議の途中で録画が終了したが、何らかの理由で再開した場合を示す。
【0103】
・更新日時は、結合画像動画が更新された（録画が終了した）日時である。結合画像動画が編集された場合、編集された日時である。
【0104】
・タイトルは、会議の会議名である。会議管理システム９への会議の登録時に設定されてもよいし、ユーザーが任意に設定してもよい。
【0105】
・アップロードは、結合画像動画が情報処理システム５０にアップロードされたか否かを示す。
【0106】
・保存先は、ストレージサービスシステム７０において、結合画像動画とテキストデータが保存されている場所（ＵＲＬやファイルパス）を示す。したがって、ユーザーはアップロードされた結合画像動画を任意に閲覧できる。なお、結合画像動画とテキストデータは、例えばＵＲＬに続いて別々のファイル名で保存される。
【0107】
＜＜ミーティングデバイス＞＞
図９に戻って説明する。ミーティングデバイス６０は、端末通信部６１、パノラマ画像作成部６２、話者画像作成部６３、集音部６４、音声合成部６５、及び、近距離無線通信部６６を有している。ミーティングデバイス６０が有するこれら各部は、図５に示されている各構成要素のいずれかが、ＲＯＭ６１２からＤＲＡＭ６１４に展開されたプログラムに従ったＣＰＵ６１１からの命令によって動作することで実現される機能、又は機能する手段である。端末通信部６１は、ＵＳＢケーブルなどを利用して端末装置１０と通信する。端末通信部６１は、有線ケーブルで接続されるだけでなく、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等で端末装置１０と通信可能であればよい。
図９に戻って説明する。ミーティングデバイス６０は、端末通信部６１、パノラマ画像作成部６２、話者画像作成部６３、集音部６４、音声合成部６５、及び、近距離無線通信部６６を有している。ミーティングデバイス６０が有するこれら各部は、図５に示されている各構成要素のいずれかが、ＲＯＭ６１２からＤＲＡＭ６１４に展開されたプログラムに従ったＣＰＵ６１１からの命令によって動作することで実現される機能、又は機能する手段である。端末通信部６１は、ＵＳＢケーブルなどを利用して端末装置１０と通信する。端末通信部６１は、有線ケーブルで接続されるだけでなく、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等で端末装置１０と通信可能であればよい。
【0108】
パノラマ画像作成部６２はパノラマ画像を作成する。話者画像作成部６３は話者画像を作成する。これらの作成方法は図６、図７にて説明した。なお、パノラマ画像作成部６２は会議参加情報が含まれる二次元コードを取得する取得部でもある。
【0109】
集音部６４は、ミーティングデバイス６０が有するマイクが取得する音声を音声データ（デジタル）に変換する。これにより、端末装置１０側の拠点でユーザーや参加者が発言した内容が集音される。なお、集音部６４は会議参加情報が含まれる音声信号を取得する取得部でもある。
【0110】
音声合成部６５は、端末装置１０から送信された音声と集音部６４が集音した音声を合成する。これにより、他の拠点１０１で発言された音声と、自拠点１０２の発言がまとめられる。
【0111】
近距離無線通信部６６（第一の近距離無線通信部の一例）は、Bluetooth（登録商標）、Wi－Fiなどの電波（ビーコン）を受信し、復調することでデータを取り出す。なお、近距離無線通信部６６は会議参加情報が含まれるビーコンデータを取得する取得部でもある。
【0112】
＜＜情報処理システム＞＞
情報処理システム５０は、通信部５１、認証部５２、画面生成部５３、コミュニケーション管理部５４、機器管理部５５、テキスト変換部５６を有する。情報処理システム５０が有するこれら各部は、図４に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システム５０は、図４に示されているＨＤ５０４等によって構築される記憶部５０００を有している。記憶部５０００には、会議情報記憶部５００１、録画情報記憶部５００２、対応付け情報記憶部５００３が構築される。
情報処理システム５０は、通信部５１、認証部５２、画面生成部５３、コミュニケーション管理部５４、機器管理部５５、テキスト変換部５６を有する。情報処理システム５０が有するこれら各部は、図４に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システム５０は、図４に示されているＨＤ５０４等によって構築される記憶部５０００を有している。記憶部５０００には、会議情報記憶部５００１、録画情報記憶部５００２、対応付け情報記憶部５００３が構築される。
【0113】
通信部５１は、端末装置１０と各種の情報を送受信する。通信部５１は、例えば、遠隔会議のリストを端末装置１０に送信したり、音声データの認識要求を端末装置１０から受信したりする。
【0114】
認証部５２は、端末装置１０を操作するユーザーを認証する。認証部５２は、例えば、通信部５１によって受信された認証要求に含まれている認証情報（ユーザーＩＤ及びパスワード）が予め保持する認証情報と一致するか否かにより、ユーザーを認証する。なお、認証情報は、ＩＣカードのカード番号、顔や指紋などの生体認証情報等でもよい。また、認証部５２は、外部の認証システムやＯＡＵＴＨなどの認証方法で認証してもよい。
【0115】
画面生成部５３は端末装置１０が表示する画面情報の生成を行う。端末装置１０がネイティブアプリを実行する場合は、画面情報は端末装置１０が保持しており、表示される情報がＸＭＬ等で送信される。端末装置１０がＷｅｂアプリを実行する場合は、画面情報は、ＨＴＭＬ、ＸＭＬ、ＣＳＳ（Cascade Style Sheet）、及びJavaScript（登録商標）等により作成される。
【0116】
コミュニケーション管理部５４は、各ユーザーのアカウント又は情報処理システム５０に付与されたシステム用のアカウントで、遠隔会議に関する情報を会議管理システム９から取得する。コミュニケーション管理部５４は、予約された会議の会議情報を会議ＩＤと対応付けて会議情報記憶部に記憶させる。また、コミュニケーション管理部５４は、テナントに所属するユーザーに閲覧権限がある会議情報を取得する。会議には会議ＩＤが設定されているので、会議ＩＤにより遠隔会議と記録情報が対応付けられる。
【0117】
機器管理部５５は、電子黒板２又はミーティングデバイス６０の機器識別情報を受信した場合、会議に対し、会議で使用される電子黒板２とミーティングデバイス６０を対応付けて対応付け情報記憶部５００３に保存する。したがって、会議ＩＤと電子黒板２の機器識別情報とミーティングデバイス６０の機器識別情報が対応付けられる。会議ＩＤには結合画像動画も対応付けられるので、オブジェクトデータと結合画像動画も対応付けられる。また、機器管理部５５は、録画が終了されると（会議が終了すると）、対応付け情報記憶部５００３から対応付けを削除する。
【0118】
テキスト変換部５６は、端末装置１０からテキストデータへの変換を要求された音声データを外部の音声認識サービスシステム８０を利用してテキストデータに変換する。テキスト変換部５６自身が変換してもよい。
【0119】
図１１は、コミュニケーション管理部５４が管理する、会議情報記憶部５００１に記憶された会議情報の一例である。コミュニケーション管理部５４は上記のアカウントを使ってテナントに所属する当該ユーザーが閲覧権限のある遠隔会議のリストを取得できる。本実施形態では、遠隔会議を例にしているが、遠隔会議のリストには１つの会議室だけで開催される会議も含まれている。なお閲覧権限は、端末装置１０の情報記録アプリから直接、コミュニケーション管理部５４が管理する会議情報に対して付与されてもよい。またテナントに所属するユーザーに閲覧権限がある遠隔会議の情報には、ユーザーが作成した会議の情報と、ユーザーが他のユーザーによって閲覧権限を与えられた会議の情報とが含まれる。
【0120】
会議情報は会議ＩＤで管理され、参加者、タイトル（会議名）、開始日時、終了日時、場所などと対応付けられている。これらは会議情報の一例であり、会議情報は、他にも情報を含みうる。
【0121】
・参加者の項目は、会議の参加者である。
【0122】
・タイトルの項目は、会議名や会議の議題など、会議の内容を表す。
【0123】
・開始日時の項目は、会議が開始される予定の日時である。
【0124】
・終了日時の項目は、会議が終了する予定の日時である。
【0125】
・場所の項目は、会議の開催場所であり、例えば会議室や、支社名、建屋などである。
【0126】
・電子黒板の項目は、会議で使用された電子黒板２の機器識別情報である。
【0127】
・ミーティングデバイスの項目は、会議で使用されたミーティングデバイス６０の機器識別情報である。
【0128】
【0129】
録画情報記憶部５００２に記憶されている録画情報は図１０と同様でよい。ただし、情報処理システム５０では、テナントに所属する全てのユーザーが録画した結合画像動画のリストを有する。保存先（クラウドストレージシステムのＵＲＬ等のパス情報）は、ユーザーが所望の保存先情報を端末装置１０の情報記録アプリ４１のユーザー設定画面等で入力し、録画情報記憶部５００２に記憶してもよい。
【0130】
図１２は、対応付け情報記憶部５００３に記憶された、会議ＩＤに対し、電子黒板２の機器識別情報とミーティングデバイス６０の機器識別情報が対応付けられた対応付け情報を示す。会議参加から会議終了（退室）までこの対応付け情報が保持される。
【0131】
＜＜電子黒板＞＞
図１３は、電子黒板２の機能をブロックに分けて説明する機能ブロック図である。電子黒板２は、接触位置検出部３１、描画データ生成部３２、データ記録部３３、表示制御部３４、コード生成部３５、通信部３６、音声データ生成部３７、近距離無線通信部３８、及び、Ｉ/Ｆ３９を有する。電子黒板２が有する各機能は、図８に示されている各構成要素のいずれかが、ＳＳＤ４０４からＲＡＭ４０３上に展開されたプログラムに従ったＣＰＵ４０１からの命令によって動作することで実現される機能又は手段である。
図１３は、電子黒板２の機能をブロックに分けて説明する機能ブロック図である。電子黒板２は、接触位置検出部３１、描画データ生成部３２、データ記録部３３、表示制御部３４、コード生成部３５、通信部３６、音声データ生成部３７、近距離無線通信部３８、及び、Ｉ/Ｆ３９を有する。電子黒板２が有する各機能は、図８に示されている各構成要素のいずれかが、ＳＳＤ４０４からＲＡＭ４０３上に展開されたプログラムに従ったＣＰＵ４０１からの命令によって動作することで実現される機能又は手段である。
【0132】
接触位置検出部３１は接触センサー４１４に対し電子ペン４９０が接触した位置の座標を検出する。描画データ生成部３２は電子ペン４９０のペン先が接触した座標を接触位置検出部３１から取得する。描画データ生成部３２はこの座標点列を補間することで接続してストロークデータを生成する。
【0133】
表示制御部３４は手書きデータ、手書きデータから変換された文字列、及び、ユーザーが操作するためのメニューなどをディスプレイに表示する。
【0134】
データ記録部３３は、電子黒板２に手書きされた手書きデータ、手書きデータが円や三角などに変換された図形、済などのスタンプ、ＰＣの画面、ファイル等をオブジェクト情報記憶部３００２に保存する。手書きデータ、文字列（図形も含む）、及び、ＰＣの画面などの画像、ファイル等はオブジェクトして扱われる。手書きデータについては手書きの中断による時間的な区切り、手書き場所の違いによる距離的な区切りに応じて一まとまりのストロークデータが１つのオブジェクトとなる。
【0135】
通信部３６はＷＩ－ＦｉやＬＡＮに接続し、情報処理システム５０と通信する。通信部３６は、オブジェクト情報を情報処理システム５０に送信したり、情報処理システム５０に記憶されたオブジェクト情報を情報処理システム５０から受信してディスプレイ４８０に表示させたりする。
【0136】
コード生成部３５は、会議参加情報を２次元のパターンに符号化して二次元コードを生成する。コード生成部３５は会議参加情報をバーコードに符号化してもよい。なお、コード生成部３５は、会議参加情報が含まれる二次元コード又はバーコードを出力する出力部でもある。
【0137】
音声データ生成部３７は、アルファベットと数字をそれぞれ一定時間継続する周波数に変換し、ＰＣＭ変換と同様に一定間隔でサンプリングする手法で音声信号を生成する。音声データ生成部３７は、例えば、アルファベットと数字をアスキーコードで表し、１９ｋＨｚを二進数の０，２０ｋＨｚを二進数の１に対応させる。音声信号はスピーカ４５０が有するＤ／Ａコンバータでアナログに変換され、スピーカ４５０から出力される。なお、音声データ生成部３７は会議参加情報が含まれる音声信号を出力する出力部でもある。
【0138】
近距離無線通信部３８（第二の近距離無線通信部の一例）は、データを変調して搬送波と合成し、ビーコンをアンテナから送信する。近距離無線通信部３８は会議参加情報が含まれるビーコンを送信する出力部でもある。
【0139】
調整部３９は、端末装置１０等からの要求に応じて、電子黒板２のマイク４４０又はスピーカ４５０の少なくとも一方の音量を調整する。調整部３９は、マイク４４０又はスピーカ４５０を例えばミュートする。
【0140】
また、電子黒板２は、図８に示されているＳＳＤ４０４等によって構築される記憶部３０００を有している。記憶部３０００には機器情報記憶部３００１とオブジェクト情報記憶部３００２が構築されている。
【0141】
図１４は、機器情報記憶部３００１に記憶されている機器識別情報等を示す。
・機器識別情報は、電子黒板２の機器識別情報である。
・ＩＰアドレスは、他の装置がネットワークを介して電子黒板２と接続するためのＩＰアドレスである。
・パスコードは電子黒板２に他の装置が接続する際の認証に使用される。
・機器識別情報は、電子黒板２の機器識別情報である。
・ＩＰアドレスは、他の装置がネットワークを介して電子黒板２と接続するためのＩＰアドレスである。
・パスコードは電子黒板２に他の装置が接続する際の認証に使用される。
【0142】
図１５は、オブジェクト情報記憶部３００２に保存されているオブジェクト情報を説明する図である。オブジェクト情報は、電子黒板２が表示するオブジェクトを管理する情報である。オブジェクト情報は情報処理システム５０に送信され議事録として使用される。遠隔会議の開催時に他の拠点に電子黒板２が配置されている場合、オブジェクト情報が共有される。
【0143】
・会議ＩＤは、情報処理システム５０から通知された会議の識別情報である。
【0144】
・オブジェクトＩＤはオブジェクトを識別する識別情報である。
【0145】
・種別はオブジェクトの種類であり、手書き、文字、図形、画像、等がある。手書きはストロークデータ（座標点列）である。文字は手書きデータから変換された文字列（文字コード）である。文字列をテキストデータという場合もある。図形は、三角や四角など手書きデータから変換された幾何学的な形状である。画像は、ＰＣやインターネットなどから取り込まれたＪｐｅｇ、Ｐｎｇ、ＴＩＦＦなどの画像データである。
【0146】
・電子黒板２の１画面をページと称する。ページの項目はそのページ番号である。
【0147】
・座標は、電子黒板２の所定の原点を基準とするオブジェクトの位置を示す。オブジェクトの位置は例えばオブジェクトの外接矩形の左上頂点である。座標は例えば、ディスプレイの画素単位で表される。
【0148】
・サイズはオブジェクトの外接矩形の幅と高さである。
【0149】
＜ミュートの手順＞
以下では、いくつかのミュートの手順を説明する。なお、ミーティングデバイス６０と電子黒板２はいずれも電源が入っており、かつ、ネットワークに接続されていることを前提としている。
以下では、いくつかのミュートの手順を説明する。なお、ミーティングデバイス６０と電子黒板２はいずれも電源が入っており、かつ、ネットワークに接続されていることを前提としている。
【0150】
＜＜ミュートの手順１＞＞
図１６は、会議への参加に応じて、電子黒板２が音声入出力をミュートする処理の流れを示すシーケンス図である。
図１６は、会議への参加に応じて、電子黒板２が音声入出力をミュートする処理の流れを示すシーケンス図である。
【0151】
S1：まず、ユーザーは端末装置１０で動作する情報記録アプリ４１に会議参加を指示する。情報記録アプリ４１の操作受付部１２が会議参加を受け付ける。会議参加とは、会議を指定してその旨を情報処理システム５０に送信することをいう。会議の参加により、対応付け情報において、会議ＩＤに、ミーティングデバイス６０の機器識別情報が対応付けられる。また、図４６で後述する録画開始の操作が会議参加を兼ねてもよい。会議への参加要求がミュート制御（二次元コードの検知）の開始となる場合がある。なお、遠隔会議サービスシステムへの会議は、ミュート制御における会議参加とは別に行われる。会議参加画面の一例を図１７に示す。
【0152】
S2：情報記録アプリ４１の通信部１１は、ユーザーが選択した会議ＩＤを指定して参加要求（参加する旨）を情報処理システム５０に送信する。通信部１１は、ミーティングデバイス６０の機器識別情報を送信する。情報処理システム５０の通信部５１が会議参加（会議ＩＤ、ミーティングデバイス６０の機器識別情報）を受信する。機器管理部５５は、ミーティングデバイス６０の機器識別情報と会議ＩＤを対応付けて保存する（端末装置１０のＩＰアドレスも把握される）。
【0153】
この会議ＩＤは、会議管理システム９により管理される会議ＩＤであるが、遠隔会議サービスシステム９０が管理のために採番した会議ＩＤでもよい。これにより、遠隔会議サービスシステム９０に登録された会議と使用された機器とが紐付けられる。
【0154】
なお、遠隔会議アプリ４２は、別途、ユーザーの操作に応じて、遠隔会議サービスシステム９０と通信して、画像及び音声の送受信を開始する。
【0155】
S3：会議への参加が完了すると、端末装置１０は、同じ会議室内に同じ会議に参加している機器が存在するかどうかを検知するための処理（機器検知処理）を開始する。ここでは、機器の検知はカメラによる撮像によって行う。デバイス通信部１６は撮像開始をミーティングデバイス６０に要求する。
【0156】
S4：ミーティングデバイス６０の端末通信部６１は撮像開始を受信し、パノラマ画像作成部６２がパノラマ画像の生成を繰り返し行う。
【0157】
S5：次に、ユーザーは電子黒板２を操作して会議アプリを起動し、会議参加を指示する。電子黒板２の接触位置検出部３１が会議参加を受け付ける。会議への参加要求がミュート制御（二次元コードの表示）の開始となる場合がある。会議参加指示の方法は端末装置１０の場合と同様でよい。
【0158】
S6：電子黒板２の通信部３６は、ユーザーが選択した会議ＩＤを指定して参加要求（参加する旨）を情報処理システム５０に送信する。通信部３６は、電子黒板２の機器識別情報を送信する。情報処理システム５０の通信部５１が会議参加（会議ＩＤ、電子黒板２の機器識別情報）を受信する。機器管理部５５は、電子黒板２の機器識別情報と会議ＩＤを対応付けて対応付け情報として保存する（電子黒板２のＩＰアドレスも把握される）。電子黒板２とミーティングデバイス６０が対応付けられるので、電子黒板２が会議ＩＤと共にオブジェクトデータを情報処理システム５０に送信すると、同じ会議の議事録としてオブジェクトデータと結合画像動画を対応付けて保存できる。
【0159】
S7：会議への参加が完了すると、電子黒板２のコード生成部３５が、会議参加情報（会議で使用可能な機器であること、電子黒板２の機器識別情報、会議ＩＤ、電子黒板２のＩＰアドレス）を含む二次元コードを生成する。表示制御部３４は、二次元コードを一定時間表示する。二次元コードの表示例を図１８に示す。一定時間（例えば数秒から数分）とするのは、二次元コードが会議の邪魔にならないようにするためである。なお、会議参加情報には、端末装置１０が電子黒板２と通信する経路に応じて、電子黒板２の機器識別情報、又は電子黒板２のＩＰアドレスのどちらかが含まれればよい。
【0160】
S8：ミーティングデバイス６０のパノラマ画像作成部６２は、二次元コードが含まれるパノラマ画像を生成する。端末通信部６１はパノラマ画像を端末装置１０に送信する。
【0161】
なお、二次元コードに、電子黒板が今ミュート状態なのか否かが含まれている場合、ミーティングデバイス６０が自身のマイク又はスピーカをミュートしてもよい。ハウリングの防止には、ミーティングデバイス６０の音声入力若しくは出力、又は、電子黒板の音声の入力若しくは出力がミュートされればよい。二次元コードによりミーティングデバイス６０がミュート否（＝音量有）状態の電子黒板の存在に気づいたのであれば、ミーティングデバイス６０が自らをミュートにすればよい。
【0162】
S9：端末装置１０のデバイス通信部１６がパノラマ画像を受信すると、コード解析部２２がパノラマ画像を監視し、会議で使用される機器である旨を持った二次元コードが含まれるかどうか（会議参加情報の有無）を常に判断する。コード解析部２２は、二次元コードが含まれていない場合には何もせず、二次元コードが含まれるまで監視状態で待ち受けを続ける。
【0163】
会議で使用される機器である旨を含む二次元コードが含まれる場合、情報記録アプリ４１が電子黒板２の存在を検知する。消音要求部２３は、二次元コードに含まれる会議ＩＤとステップS2で選択された会議ＩＤを比較して、電子黒板２がミーティングデバイス６０と同一の会議に参加しているかどうかを判断する。こうすることで、同じ会議室の複数の機器が異なる会議に対応付けられることを抑制できる。なお、ステップS9の判断はミーティングデバイス６０によっても可能である。
【0164】
S10：ミーティングデバイス６０が電子黒板２と同一の会議に参加している場合には、消音要求部２３は、通信部１１を介して、電子黒板２のＩＰアドレスを宛先に、電子黒板２に対してマイク４４０又はスピーカ４５０の少なくとも一方にミュートを要求（調整要求の一例）する。端末装置１０と電子黒板２が同じＬＡＮ（ネットワークアドレスが同じ、同じＳＳＩＤに接続）に接続している場合、電子黒板２のＩＰアドレスがあれば通信できる。なお、会議参加情報に認証用のパスコードが含まれていてもよく、この場合、消音要求部２３はパスコードも電子黒板２に送信するとよい。ミュートの指示方法の好適な例として、電子黒板２が公開しているＷｅｂＡＰＩ(Application Programming Interface)を利用することが挙げられるが、方法はこれに限定されない。
【0165】
ステップS10では、電子黒板２が端末装置１０からミュート要求を受信しているが、ミーティングデバイス６０から直接、ミュート要求を受信してもよい。
【0166】
S11：電子黒板２の通信部３６がミュート要求を受信し、調整部３９がマイク４４０又はスピーカ４５０の少なくとも一方をミュート状態に変更する。また、ミュート状態に変更したので、表示制御部３４は、二次元コードの表示を終了する。ミュート状態になった電子黒板２が表示する画面を図２７に示す。
【0167】
なお、ミーティングデバイス６０と電子黒板２が互いに別の会議室に設置されていた場合や別の会議に参加していた場合など、電子黒板２がミュート要求を受信しない場合、電子黒板２は二次元コードを表示してから一定時間（例えば１分間など）が経過すると二次元コードの表示を終了する。この場合、ミュートも行われない。これにより、二次元コードが表示されたままになってしまうことを防ぐことができる。二次元コードの表示時間はユーザーが設定できてよい。
【0168】
また、端末装置１０の二次元コードの監視処理は、例えば、一定時間（１０分間など）経過後に終了してもよいが、終了すると終了後に会議参加した機器を検知できないため、本実施形態では監視状態を続けるものとしている。
【0169】
また、図１６では、ユーザーが先に端末装置１０を会議に参加させているが、電子黒板２を先に会議参加させたり、同時に参加させたりしてもよい。
【0170】
図１７は、端末装置１０が表示する会議参加画面３００の一例である。会議参加画面３００は、会議情報を表示する画面であり、参加ボタン３０１を有している。ユーザーが参加ボタン３０１を押下すると、会議ＩＤを指定した会議参加が情報処理システム５０に送信される。
【0171】
図１８は、電子黒板２が表示する二次元コード８の一例である。図１８では、大きな二次元コード８が１つ表示されている。ミーティングデバイス６０が二次元コード８を検出しやすい。以下では、二次元コード８の表示方法を説明する。
【0172】
図１９は、電子黒板２が表示する二次元コード８の位置の一例である。上記のように、二次元コード８には機器識別情報と機器識別情報である旨が含まれる。ミーティングデバイス６０が置かれた机には、ミーティングデバイス６０と電子黒板２の間に障害物６９がある。なお、二次元コード８の検出においてはミーティングデバイス６０が全天球カメラでなくてもよい。電子黒板２は、機器識別情報を、上下方向における電子黒板２の表示画面の中心線３２０よりも上方に表示させる。こうすることで、ミーティングデバイス６０と電子黒板２の間に障害物６９があったとしても、ミーティングデバイス６０が機器識別情報を撮像しやすくなる。
【0173】
なお、図２０に示すように、電子黒板２は、二次元コード８の中心を、上下方向における電子黒板２の表示画面の中心線３２０よりも上方に表示させてもよい。
【0174】
また、図２１に示すように、電子黒板２が時間に応じて二次元コード８を移動させてもよい。図２１では、二次元コード８が左から右に移動している。電子黒板２は二次元コード８を表示させたまま移動してもよいし、表示→消去→場所を変えて再表示、してもよい。これにより、障害物６９の位置が不確定でも、ミーティングデバイス６０が機器識別情報を撮像しやすくなる。また、ユーザーへの圧迫感を低下させるために電子黒板２が二次元コード８を小さく表示した場合でも、ミーティングデバイス６０が撮像しやすくなる。
【0175】
更に、電子黒板２は二次元コード８を移動させながら二次元コード８のサイズを変更してもよい。
【0176】
また、図２２に示すように、電子黒板２が複数の二次元コード８を同時に表示させてもよい。これにより、一部の二次元コード８が障害物６９で隠れたとしても、残りの二次元コード８をミーティングデバイス６０が撮像しやすくなる。なお、複数の二次元コード８は、すべて同じ情報が格納されたものであっても良いし、互いに異なる情報が格納されてもよい。
【0177】
また、図２３に示すように、電子黒板２がメニュー７１の隣（近接して）に二次元コード８を表示してもよい。メニュー７１は右端の上下方向にわたって配置されており、上下方向における電子黒板２の表示画面の中心線よりも上方に表示させる点は図１９と同様である。
【0178】
二次元コード８がメニュー７１の近くに表示されることで、ユーザーが違和感を生じにくい。ユーザーが画面を広く使用できる。
【0179】
【0180】
図２５は、ミーティングデバイス６０が有するカメラが半球カメラである場合を説明する図である。図１９～図２４の構成を、水平方向の視野が広い半球カメラで撮像することで、二次元コード８の発見をより容易にすることができる。
【0181】
【0182】
なお、バーコード７に関しては二次元コード８よりも傾き等に対するロバスト性が低い。このため、コード解析部２２は、白黒のパターンを切り取り、スキュー角及びピッチ角を補正する。コード解析部２２は、黒のバーのエッジ強調を行う。コード解析部２２は、切り出した画像についてバーコード７のパターンとして登録されているスタートキャラクタから右端のストップキャラクタまでのパターンとパターンマッチングして、電子黒板２が表示しているバーコード７を検出する。
【0183】
また、図１９～図２６では、二次元コード８又はバーコード７が表示される例を説明したが、機器識別情報（アルファベットや数字）を電子黒板２が表示し、情報記録アプリ４１がＯＣＲ処理で機器識別情報を検出してもよい。
【0184】
図２７は、ミュート後に電子黒板２が表示する画面３１０の表示例を示す。図２７にはミュートアイコン３１１が表示されている。ユーザーはミュートアイコン３１１により、現在、電子黒板２がミュート状態であることを把握できる。
【0185】
＜＜ミュートの手順２＞＞
図２８は、会議への参加に応じて、電子黒板２が音声入出力をミュートする処理の流れを示すシーケンス図である。ミュートの手順２では、ミーティングデバイス６０が音声信号によって電子黒板２を検知する。図２８の説明では、主に図１６との相違点についてのみ説明する。まず、ステップS21,S22、S25,S26に示す、会議参加までの処理は図１６のステップS1,2,5,6と同様である。
図２８は、会議への参加に応じて、電子黒板２が音声入出力をミュートする処理の流れを示すシーケンス図である。ミュートの手順２では、ミーティングデバイス６０が音声信号によって電子黒板２を検知する。図２８の説明では、主に図１６との相違点についてのみ説明する。まず、ステップS21,S22、S25,S26に示す、会議参加までの処理は図１６のステップS1,2,5,6と同様である。
【0186】
S23：会議への参加が完了すると、端末装置１０は、同じ会議室内に同じ会議に参加している機器が存在するかどうかを検知するための処理を開始する。ここでは、機器の検知は音声信号によって行う。デバイス通信部１６は集音開始をミーティングデバイス６０に要求する。
【0187】
S24：ミーティングデバイス６０の端末通信部６１は集音開始を受信し、集音部６４が音声の集音を繰り返し行う。
【0188】
S27：会議への参加が完了すると、電子黒板２の音声データ生成部３７が、会議参加情報を含む音声信号を生成し、スピーカ４５０から出力する。音声信号のフォーマットを図２９に示す。図２９に示すように、音声信号は、音声信号の先頭を示すプリアンブル、電子黒板２の機器識別情報、ＩＰアドレス及び参加中の会議ＩＤを含む。機器識別情報とＩＰアドレスはいずれか一方があればよい。
【0189】
S28：ミーティングデバイス６０の集音部６４は音声信号が含まれる音声データを生成する。端末通信部６１は音声データを端末装置１０に送信する。
【0190】
S29：端末装置１０のデバイス通信部１６が音声データを受信すると、音声データ解析部２４が音声データを解析し、会議で使用される機器である旨が含まれるかどうかを常に判断する。なお、ステップS29の処理はミーティングデバイス６０において行ってもよい。
【0191】
会議で使用される機器である旨が含まれる場合、情報記録アプリ４１が電子黒板２の存在を検知する。消音要求部２３は、音声信号に含まれる会議ＩＤをもとに電子黒板２がミーティングデバイス６０と同一の会議に参加しているかどうかを判断する。以降の処理は図１６と同様でよい。
【0192】
なお、音声による検知ではディスプレイによる表示やカメラによる撮像が不要となるため、電子黒板２がミーティングデバイス６０を検知し、ミーティングデバイス６０及び端末装置１０をミュートすることも可能である。この場合、ミーティングデバイス６０と電子黒板２の役割が逆になる。また、電子黒板２がミーティングデバイス６０を検知した後に、電子黒板２自身をミュートすることも可能である。
【0193】
＜＜ミュートの手順３＞＞
図３０は、会議への参加に応じて、電子黒板２が音声入出力をミュートする処理の流れを示すシーケンス図である。ミュートの手順３では、ミーティングデバイス６０が近距離無線通信によって電子黒板２を検知する。図３０の説明では、主に図１６との相違点についてのみ説明する。まず、ステップS41,S42、S45,S46に示す、会議参加までの処理は図１６のステップS1,2,5,6と同様である。
図３０は、会議への参加に応じて、電子黒板２が音声入出力をミュートする処理の流れを示すシーケンス図である。ミュートの手順３では、ミーティングデバイス６０が近距離無線通信によって電子黒板２を検知する。図３０の説明では、主に図１６との相違点についてのみ説明する。まず、ステップS41,S42、S45,S46に示す、会議参加までの処理は図１６のステップS1,2,5,6と同様である。
【0194】
S43：会議への参加が完了すると、端末装置１０は、同じ会議室内に同じ会議に参加している機器が存在するかどうかを検知するための処理を開始する。ここでは、機器の検知は近距離無線通信によって行う。デバイス通信部１６はビーコン検知開始をミーティングデバイス６０に要求する。
【0195】
S44：ミーティングデバイス６０の端末通信部６１はビーコン検知開始を受信し、近距離無線通信部６６がビーコンの受信を繰り返し行う。
【0196】
S47：会議への参加が完了すると、電子黒板２の近距離無線通信部３８が、会議参加情報を含むビーコンを生成し、アンテナから出力する。ビーコンに含まれる信号のフォーマットは図２９と同様でよい。ビーコンとは、所定の情報を繰り返し送信する無線の電波又は送信することをいう。ビーコンで使用される周波数や通信プロトコルはどのようなものでもよい。例えばBluetooth Low Energy（登録商標）のアドバタイズパケットが知られている。
【0197】
S48：ミーティングデバイス６０の近距離無線通信部６６はビーコンを復調してビーコンデータを生成する。端末通信部６１はビーコンデータを端末装置１０に送信する。
【0198】
S49：端末装置１０のデバイス通信部１６がビーコンデータを受信すると、ビーコンデータ解析部２５がビーコンデータを解析し、会議で使用される機器である旨が含まれるかどうかを常に判断する。なお、ステップS49の処理はミーティングデバイス６０において行ってもよい。
【0199】
会議で使用される機器である旨が含まれる場合、情報記録アプリ４１が電子黒板２の存在を検知する。消音要求部２３は、会議参加情報に含まれる会議ＩＤをもとに電子黒板２がミーティングデバイス６０と同一の会議に参加しているかどうかを判断する。以降の処理は図１６と同様でよい。
【0200】
＜＜ミュートの手順４＞＞
図３１は、会議への参加に応じて、電子黒板２が音声入出力をミュートする処理の流れを示すシーケンス図である。ミュートの手順４は、機器検知の開始をユーザーからの指示によって開始する。図３１の説明では、主に図１６との相違点についてのみ説明する。まず、ステップS61～S64に示す、会議参加までの処理は図１６のステップS1,2,5,6と同様である。ただし、端末装置１０及び電子黒板２のいずれも会議参加を受けると会議参加のみを行い、会議参加完了時点で自動的にミュート制御（二次元コードの検知、表示）を行うことはしない。
図３１は、会議への参加に応じて、電子黒板２が音声入出力をミュートする処理の流れを示すシーケンス図である。ミュートの手順４は、機器検知の開始をユーザーからの指示によって開始する。図３１の説明では、主に図１６との相違点についてのみ説明する。まず、ステップS61～S64に示す、会議参加までの処理は図１６のステップS1,2,5,6と同様である。ただし、端末装置１０及び電子黒板２のいずれも会議参加を受けると会議参加のみを行い、会議参加完了時点で自動的にミュート制御（二次元コードの検知、表示）を行うことはしない。
【0201】
S65：ユーザーは情報記録アプリ４１を操作し、機器検知処理の開始を指示する。操作受付部１２が指示を受け付ける。機器検知開始画面の一例を図３２に示す。
【0202】
S66：情報記録アプリ４１の通信部１１は、会議ＩＤ又はミーティングデバイス６０の機器識別情報を指定して情報処理システム５０に対して機器検知開始要求を送信する。
【0203】
S67、S68：情報処理システム５０の通信部５１が、機器検知開始要求を受信する。これにより、機器管理部５５が、対応付け情報において会議ＩＤ又はミーティングデバイス６０の機器識別情報により特定される、会議参加中のミーティングデバイス６０（端末装置１０）と電子黒板２に対して、通信部５１を介して、機器検知開始要求を送信する。なお、情報処理システム５０は電子黒板２からのポーリングへの応答で機器検知開始要求を送信してもよいし、Ｗｅｂソケットなどの双方向通信を利用して送信してもよい。
【0204】
これにより、電子黒板２が二次元コードを表示し、ミーティングデバイス６０が撮像する。以降のステップS69～S75の処理は、図１６のステップS3,4、7～11と同様になる。
【0205】
なお、図３１の処理において、二次元コードでなく、ミュートの手順２，３のように音声信号又はビーコンにより機器検知が行われてよい。
【0206】
図３２は、端末装置１０が表示する機器検知開始画面３３０の一例を示す。機器検知開始画面３３０は、「ハウリング防止のため、同一の会議室に設置されている端末を検知し、検知した端末をミュートします」というメッセージ３３１、及び、開始ボタン３３２を有する。ユーザーは開始ボタン３３２を押下することで、機器検知処理の開始を指示する。
【0207】
ミュートの手順４では、ユーザーの指示によって参加中のミーティングデバイス６０と電子黒板２が一斉に機器検知処理を開始するため、各機器の会議参加のタイミングが大きく異なっていても端末検知による自動ミュートが可能になる。例えば、ユーザーが電子黒板２を先に会議参加させ、その数分後にミーティングデバイス６０を会議参加させるような場合でも電子黒板２のミュートが可能である。また、端末検知が不要な場合にはユーザーが開始指示を実施しなければ無駄に機器検知が実施されることもない。
【0208】
＜＜ミュートの手順５＞＞
図３３は、会議への参加に応じて、電子黒板２が音声入出力をミュートする処理の流れを示すシーケンス図である。ミュートの手順５は、機器検知開始を電子黒板２が会議参加したことを起点に開始する。図３３の説明では、主に図１６との相違点についてのみ説明する。まず、ステップS81～S84に示す、会議参加までの処理は図１６のステップS1,2,5,6と同様である。ただし、端末装置１０は会議参加を受けると会議参加のみを行い、会議参加完了時点でミュート制御（二次元コードの検知）を行うことはしない。
図３３は、会議への参加に応じて、電子黒板２が音声入出力をミュートする処理の流れを示すシーケンス図である。ミュートの手順５は、機器検知開始を電子黒板２が会議参加したことを起点に開始する。図３３の説明では、主に図１６との相違点についてのみ説明する。まず、ステップS81～S84に示す、会議参加までの処理は図１６のステップS1,2,5,6と同様である。ただし、端末装置１０は会議参加を受けると会議参加のみを行い、会議参加完了時点でミュート制御（二次元コードの検知）を行うことはしない。
【0209】
S85：電子黒板２は会議参加指示を受け、会議参加が完了すると、表示制御部３４が会議参加情報を含む二次元コードを表示する。
【0210】
S86：また、情報処理システム５０の機器管理部５５は、ミーティングデバイス６０と電子黒板２の会議参加が完了すると、通信部５１を介して、端末装置１０に対し二次元コードの取得開始（機器検知開始要求）を送信する。
【0211】
S87：情報記録アプリ４１の通信部１１が機器検知開始要求を受信することで、デバイス通信部１６がパノラマ画像の撮像開始をミーティングデバイス６０に要求する。電子黒板２は二次元コードを表示中であるため、端末装置１０は電子黒板２を検知する。以降のステップS88～S92の処理は図１６のS4,8～11と同様でよい。
【0212】
なお、図３３において、二次元コードでなく、ミュートの手順２，３のように音声信号又はビーコンにより機器検知が行われてよい。
【0213】
また、図３３では先にミーティングデバイス６０が会議参加しているが、電子黒板２が先に会議に参加した場合も同様に適用可能である。この場合、電子黒板２が情報処理システム５０からミーティングデバイス６０の会議参加通知を受信後に二次元コードを表示する。
【0214】
また、ミュートの手順５では、２つめの機器が会議参加する度に適宜、機器検知処理を実行するため、機器の参加のタイミングの影響を受けることなく、かつ、ユーザーからの指示も不要で端末検知による自動ミュートが可能になる。
【0215】
＜＜ミュートの手順６＞＞
図３４は、会議への参加に応じて、電子黒板２が音声入出力をミュートする処理の流れを示すシーケンス図である。ミュートの手順６は、端末装置１０から電子黒板２に対して直接ミュート指示を送信するのではなく、情報処理システム５０を経由して電子黒板２をミュートする。図３４の説明では、主に図１６との相違点についてのみ説明する。まず、ステップS101～S109の処理は図１６のS1～S9と同様である。
図３４は、会議への参加に応じて、電子黒板２が音声入出力をミュートする処理の流れを示すシーケンス図である。ミュートの手順６は、端末装置１０から電子黒板２に対して直接ミュート指示を送信するのではなく、情報処理システム５０を経由して電子黒板２をミュートする。図３４の説明では、主に図１６との相違点についてのみ説明する。まず、ステップS101～S109の処理は図１６のS1～S9と同様である。
【0216】
S110：情報記録アプリ４１のコード解析部２２が電子黒板２を検知すると、消音要求部２３が通信部１１を介して、情報処理システム５０に対して電子黒板２のミュートを要求する。ミュート要求には、情報処理システム５０が電子黒板２と通信するために、電子黒板２の機器識別情報が添付される。
【0217】
S111：情報処理システム５０の通信部５１はミュート要求を受信すると、機器識別情報で特定される電子黒板２に対してミュート要求を送信する。例えば、電子黒板２が会議参加後、機器識別情報を指定したポーリングを繰り返しており、情報処理システム５０がポーリングへの応答としてミュート要求を送信する。あるいは、例えば、電子黒板２が会議参加後、電子黒板２と情報処理システム５０がＷｅｂソケットなどの双方向通信で通信しておき（機器識別情報が送信される）、情報処理システム５０が機器識別情報で特定される電子黒板２にミュート要求を送信する。
【0218】
S112：電子黒板２の通信部３６はミュート要求を受信すると、調整部３９がマイク４４０又はスピーカ４５０の少なくとも一方をミュートする。
【0219】
なお、図３４において二次元コードでなく、ミュートの手順２，３のように音声信号又はビーコンにより機器検知が行われてよい。
【0220】
ミュートの手順６では、端末装置１０が情報処理システム５０経由でミュートを行うため、端末装置１０と電子黒板２が直接通信できない環境であっても、電子黒板２に対してミュート要求を送信することができる。
【0221】
＜＜ミュートの手順７＞＞
図３５は、会議への参加に応じて、電子黒板２が音声入出力をミュートする処理の流れを示すシーケンス図である。ミュートの手順７は、電子黒板２のマイク４４０又はスピーカ４５０の少なくとも一方をミュートするのではなく、遠隔会議サービスシステム９０が電子黒板２に対する音声送受信を停止する。図３５の説明では、主に図１６との相違点についてのみ説明する。まず、ステップS121～S129の処理は図１６のS1～S9と同様である。
図３５は、会議への参加に応じて、電子黒板２が音声入出力をミュートする処理の流れを示すシーケンス図である。ミュートの手順７は、電子黒板２のマイク４４０又はスピーカ４５０の少なくとも一方をミュートするのではなく、遠隔会議サービスシステム９０が電子黒板２に対する音声送受信を停止する。図３５の説明では、主に図１６との相違点についてのみ説明する。まず、ステップS121～S129の処理は図１６のS1～S9と同様である。
【0222】
S130：情報記録アプリ４１のコード解析部２２が電子黒板２を検知すると、消音要求部２３が通信部１１を介して、情報処理システム５０に対して電子黒板２のミュートを要求する。ミュート要求には電子黒板２の機器識別情報又はＩＰアドレスが添付される。
【0223】
S131：情報処理システム５０の通信部５１はミュート要求を受信すると、電子黒板２の機器識別情報又はＩＰアドレスを指定して、ミュート要求を遠隔会議サービスシステム９０に送信する。
【0224】
S132：遠隔会議サービスシステム９０は、他の拠点から、電子黒板２の機器識別情報又はＩＰアドレスで特定される電子黒板２に対する音声を送信せず、また、電子黒板２が送信した音声を他の拠点に送信しない。これにより、電子黒板２がミュートしているのと同じ状態となる。
【0225】
なお、図３５において二次元コードでなく、ミュートの手順２，３のように音声信号又はビーコンにより機器検知が行われてよい。
【0226】
ミュートの手順７では、遠隔会議サービスシステム９０側でミュート状態にするため、電子黒板２のデバイス自体の設定を変更する必要がない。
【0227】
＜＜ミュートの手順８＞＞
図３６は、会議への参加に応じて、電子黒板２が音声入出力をミュートする処理の流れを示すシーケンス図である。ミュートの手順８は、会議開始時に電子黒板２が既にミュート状態であった場合、機器検知のための処理を実施しない。図３６の説明では、主に図１６との相違点についてのみ説明する。まず、ステップS1～S6の処理は図１６のS1～S6と同様である。
図３６は、会議への参加に応じて、電子黒板２が音声入出力をミュートする処理の流れを示すシーケンス図である。ミュートの手順８は、会議開始時に電子黒板２が既にミュート状態であった場合、機器検知のための処理を実施しない。図３６の説明では、主に図１６との相違点についてのみ説明する。まず、ステップS1～S6の処理は図１６のS1～S6と同様である。
【0228】
S170：電子黒板２の通信部３６が会議参加を情報処理システム５０に送信すると、調整部３９が、自身がミュート状態（調整状態）かどうか判断する。
【0229】
既に調整状態となっていた場合、表示制御部３４は、二次元コードの表示は実施せず、調整状態ではなかった場合にのみ二次元コードを表示して、ミュートの手順１と同様の処理を行う。なお、端末装置１０は二次元コード以外に参加者を撮像するため、ミーティングデバイス６０の撮像を継続してよい。あるいは、端末装置１０は会議参加後、一定時間で、ミーティングデバイス６０の撮像を終了してよい。
【0230】
なお、二次元コードでなく、ミュートの手順２，３のように音声信号又はビーコンにより機器検知が行われてよい。
【0231】
ミュートの手順８により、電子黒板２が会議参加時に既にミュート状態である場合、無駄な処理が実行されることを防ぐことができる。
【0232】
＜ミュートの解除＞
続いて、いくつかのミュートの解除方法を説明する。
続いて、いくつかのミュートの解除方法を説明する。
【0233】
＜＜ミュートの解除１＞＞
図３７は、電子黒板２が会議の退出時にミュートを解除する処理の流れを示すシーケンス図である。会議の退出により、電子黒板２が表示すオブジェクトデータは他の拠点と共有されず、記録されない。図３７の説明では、電子黒板２が会議参加時にマイク４４０又はスピーカ４５０の少なくとも一方をミュート状態にしている。
図３７は、電子黒板２が会議の退出時にミュートを解除する処理の流れを示すシーケンス図である。会議の退出により、電子黒板２が表示すオブジェクトデータは他の拠点と共有されず、記録されない。図３７の説明では、電子黒板２が会議参加時にマイク４４０又はスピーカ４５０の少なくとも一方をミュート状態にしている。
【0234】
S141：ユーザーが電子黒板２に対して会議退出指示を行う。操作受付部１２が指示を受け付ける。会議退出指示画面の一例を図３８に示す。
【0235】
S142：電子黒板２の通信部３６はユーザーの指示に応じて、会議ＩＤを指定し会議の終了（退室）を情報処理システム５０に送信する。情報処理システム５０の通信部５１は会議終了を受信し、機器管理部５５が会議ＩＤで特定される対応付け情報を削除する。
【0236】
S143：電子黒板２の調整部３９は、会議終了というユーザーの指示に応じて、ミュート状態を解除し、会議参加前の音量設定に戻す。
【0237】
なお、端末装置１０に関しては、ユーザーが別途、会議終了の操作を行う。これにより、機器管理部５５がミーティングデバイス６０の機器識別情報を対応付け情報から削除する。端末装置１０に関して、ミュートに関する処理は発生しない。
【0238】
図３８は、電子黒板２が表示する会議退出指示画面３４０の一例を示す。会議退出指示画面３４０は、「会議から退出しますか？」というメッセージ３４１、退出ボタン３４２、及び、キャンセルボタン３４３を有している。ユーザーが退出ボタン３４２を押下することで、ユーザーが電子黒板２に対して会議退出指示を行う。
【0239】
ミュートの解除１により、会議参加時にミュートされた電子黒板２がユーザーの意図に反してミュートされたままになってしまうことを防ぐことができる。なお、ミュートの解除１はミュートの手順７を除いてどの方法でミュートされていても適用できる。
【0240】
＜＜ミュートの解除２＞＞
図３９は、端末装置１０が会議を退出時に電子黒板２のミュートを解除する処理の流れを示すシーケンス図である。図３９の説明では、端末装置１０が会議参加時に電子黒板２に対してミュート状態にした。
図３９は、端末装置１０が会議を退出時に電子黒板２のミュートを解除する処理の流れを示すシーケンス図である。図３９の説明では、端末装置１０が会議参加時に電子黒板２に対してミュート状態にした。
【0241】
S151：ユーザーが情報記録アプリ４１に対して会議退出指示を行う。操作受付部１２が指示を受け付ける。
【0242】
S152：情報記録アプリ４１の通信部１１は、ＩＰアドレスを宛先に電子黒板２に対してミュート解除要求を送信する。
【0243】
S153：電子黒板２の通信部３６はミュート解除要求を受信すると、調整部３９がミュート状態を解除し、会議参加前の音量設定に戻す。
【0244】
S154：情報記録アプリ４１の通信部１１は、会議ＩＤを指定して会議の終了（退室）を情報処理システム５０に送信する。情報処理システム５０の通信部５１は、会議ＩＤで特定される対応付け情報（ミーティングデバイス６０と電子黒板２の機器識別情報）を削除する。
【0245】
なお、図３９では、端末装置１０が電子黒板２に直接ミュート解除指示を送信しているが、端末装置１０が情報処理システム５０を介して電子黒板２をミュートした場合、端末装置１０が情報処理システム５０を介して電子黒板２にミュート解除要求を送信してもよい。
【0246】
図３９によれば、端末装置１０が電子黒板２より先に会議を退出した場合に、電子黒板２がミュートされたままになって会議が継続できなくなってしまうことを防ぐことができる。また、ユーザーは端末装置１０のみに会議退出の操作を行えばよい。なお、ミュートの解除２はどの方法でミュートされていても適用できる。
【0247】
＜＜ミュートの解除３＞＞
図４０は、端末装置１０と情報処理システム５０との通信が切断された場合に電子黒板２のミュートを解除する処理の流れを示すシーケンス図である。図４０の説明では、端末装置１０が会議参加時に電子黒板２に対してミュート状態にした。
図４０は、端末装置１０と情報処理システム５０との通信が切断された場合に電子黒板２のミュートを解除する処理の流れを示すシーケンス図である。図４０の説明では、端末装置１０が会議参加時に電子黒板２に対してミュート状態にした。
【0248】
S161、S162：会議の開催中、情報処理システム５０の通信部５１は端末装置１０との通信を監視しており（例えばPingコマンドを送信する）、ネットワーク接続不良などによって切断されると、情報処理システム５０は端末装置１０との通信切断を検知する。なお、通信切断には、端末装置１０がシャットダウンしたりフリーズしたりすることも含まれる。
【0249】
S163：通信切断を検知すると、機器管理部５５は、端末装置１０からの指示によってミュート状態となっている電子黒板２に対してミュート解除指示を送信する。ミュートが解除される電子黒板２は、会議開始を通知した電子黒板２であり、情報処理システム５０が機器識別情報やＩＰアドレス等を保持している。
【0250】
S164：電子黒板２の通信部３６はミュート解除指示を受信すると、調整部３９がミュート状態を解除し、会議参加前の音量設定に戻す。
【0251】
図４０の処理では、端末装置１０との通信が切断された場合、電子黒板２がミュート状態のままになって会議が継続できなくなってしまうことを防ぐことができる。なお、ミュートの解除１はどの方法でミュートされていても適用できる。
【0252】
＜電子黒板２における機器検知の終了＞
ミュートの手順１等では、電子黒板２に対してミュート要求が送信されなくても、電子黒板２は二次元コードを表示してから一定時間経過後に二次元コードの表示を終了する。したがって、電子黒板２がミュート要求を受信しない場合、一定時間内は二次元コードが表示されたままとなるおそれがある。そこで、時間経過ではなくユーザーが電子黒板２を利用開始した時点で、電子黒板２が二次元コードの表示を終了する。
ミュートの手順１等では、電子黒板２に対してミュート要求が送信されなくても、電子黒板２は二次元コードを表示してから一定時間経過後に二次元コードの表示を終了する。したがって、電子黒板２がミュート要求を受信しない場合、一定時間内は二次元コードが表示されたままとなるおそれがある。そこで、時間経過ではなくユーザーが電子黒板２を利用開始した時点で、電子黒板２が二次元コードの表示を終了する。
【0253】
【0254】
S184：ユーザーが電子黒板２を利用する。利用開始の判断方法として、ユーザーが電子黒板２の画面に手や電子ペンでタッチした場合がある。
【0255】
S185：また、利用開始の判断方法として、端末装置１０が電子黒板２に画面を表示する場合がある。利用開始の判断方法は、これらに限定されるものではない。
【0256】
S186：端末装置１０はＨＤＭＩ（登録商標）ケーブル等を介して画面を電子黒板２に送信する。
【0257】
S187：電子黒板２の表示制御部３４は、一定時間が経過する前でも、利用開始を検知すると、二次元コードの表示を終了する。この場合、ミーティングデバイス６０と電子黒板２の対応付けが行われない。しかし、図３１のように、端末装置１０が会議参加することで、情報処理システム５０が機器検知の開始を行う場合には、電子黒板２が再度、二次元コードを表示するので、ミーティングデバイス６０と電子黒板２の対応付けが行われる。
【0258】
なお、図４１において、二次元コードでなく、ミュートの手順２，３のように音声信号又はビーコンにより機器検知が行われた場合も、同様に機器検知を終了できる。
【0259】
図４１の処理では、ユーザーが電子黒板２を利用開始したタイミングで機器検知処理が終了するため、例えば二次元コードが会議の妨げになってしまうことを防止できる。
【0260】
＜会議中の録画＞
続いて、図４２～図４５を参照して、端末装置１０が遠隔会議中に表示するいくつかの画面について説明する。図４２は、端末装置１０で動作する情報記録アプリ４１が表示するログイン後の初期画面２００である。端末装置１０のユーザーが情報記録アプリ４１を情報処理システム５０に接続させる。ユーザーが認証情報を入力してログインに成功すると、図４２の初期画面２００が表示される。
続いて、図４２～図４５を参照して、端末装置１０が遠隔会議中に表示するいくつかの画面について説明する。図４２は、端末装置１０で動作する情報記録アプリ４１が表示するログイン後の初期画面２００である。端末装置１０のユーザーが情報記録アプリ４１を情報処理システム５０に接続させる。ユーザーが認証情報を入力してログインに成功すると、図４２の初期画面２００が表示される。
【0261】
初期画面２００は、固定表示ボタン２０１、正面変更ボタン２０２、パノラマ画像２０３、１つ以上の話者画像２０４ａ～２０４ｃ（以下、区別しない場合、話者画像２０４という）、及び、記録開始ボタン２０５を有している。ログイン時にすでにミーティングデバイス６０が起動して、周囲を撮像している場合、初期画面２００にミーティングデバイス６０が作成するパノラマ画像２０３、及び話者画像２０４が表示される。したがって、ユーザーはこれらを見ながら、記録開始するかどうか決めることができる。ミーティングデバイス６０が起動していない（撮像していない）場合、パノラマ画像２０３と話者画像２０４は表示されない。
【0262】
なお、情報記録アプリ４１は、パノラマ画像２０３から検出された全ての顔に基づく全ての参加者の話者画像２０４を表示してもよいし、直近に発言したＮ人の話者画像２０４のみを表示してもよい。図４２では、最大３人まで話者画像２０４が表示される例を示す。参加者が発言するまでの間、話者画像２０４がなくてもよいし（発言に応じて一人ずつ増える）、所定の方向の参加者の３人の話者画像２０４が表示されてもよい（発言に応じて入れ替わる）。
【0263】
なお、ミーティングデバイス６０が起動した直後など、誰も発言していない場合、水平３６０°のうちの予め決められた方向（ ０°、１２０°、２４０°など）を話者画像２０４として作成する。後述する固定表示が設定されている場合は、固定表示の設定が優先される。
【0264】
固定表示ボタン２０１は、パノラマ画像２０３のある領域を話者画像２０４として固定でクローズアップする操作をユーザーが行うためのボタンである。
【0265】
正面変更ボタン２０２は、パノラマ画像２０３の正面を変更する操作をユーザーが行うためのボタンである（パノラマ画像は水平方向に３６０°写っているので、右端と左端の方向が一致する）。ユーザーはポインティングデバイスでパノラマ画像２０３を左右にスライドさせて、正面に写る参加者を決定できる。ユーザーの操作はミーティングデバイス６０に送信され、ミーティングデバイス６０は、水平方向３６０°のうち正面にする角度を変更してパノラマ画像を作成し、端末装置１０に送信する。
【0266】
ユーザーが記録開始ボタン２０５を押下すると情報記録アプリ４１が図４３の録画設定画面２１０を表示する。
【0267】
図４３は、情報記録アプリ４１が表示する録画設定画面２１０の一例である。録画設定画面２１０では、ミーティングデバイス６０が作成したパノラマ画像及び話者画像、並びに、端末装置１０のデスクトップ画面又は動作するアプリの画面、を録画するかをユーザーが（録画に含めるか）設定できる。パノラマ画像及び話者画像、及び、デスクトップ画面又は動作するアプリの画面のどちらも、情報記録アプリ４１が録画しない場合は音声（端末装置１０が出力する音声＋ミーティングデバイス６０が集音した音声）のみ記録される。
【0268】
カメラトグルボタン２１１は、ミーティングデバイス６０が作成したパノラマ画像及び話者画像の録画のオンとオフを切り替えるボタンである。カメラトグルボタン２１１は、パノラマ画像と話者画像を個別に録画する設定が可能でもよい。
【0269】
ＰＣ画面トグルボタン２１２は、端末装置１０のデスクトップ画面、端末装置１０で動作するアプリの画面の、録画のオンとオフを切り替えるボタンである。ＰＣ画面トグルボタン２１２がオンの状態で、デスクトップ画面が録画される。
【0270】
ユーザーがアプリの画面を録画したい場合、更に、アプリ選択欄２１３で、アプリを選択する。アプリ選択欄２１３には端末装置１０が実行中のアプリ名がプルダウン形式で表示される。ユーザーは録画するアプリを選択できる。このアプリ名は、情報記録アプリ４１がＯＳから取得する。情報記録アプリ４１は実行中のアプリのうち、ＵＩ（画面）を持つアプリのみを表示することができる。選択されるアプリの中に、遠隔会議アプリ４２が含まれてよい。このため、情報記録アプリ４１は、遠隔会議アプリ４２で表示した資料や各拠点の参加者なども動画で記録できる。この他、プルダウンで表示されるアプリは、プレゼンテーション用アプリ、ワープロアプリ、表計算アプリ、文書等の資料作成編集アプリ、クラウド電子黒板アプリ、Ｗｅｂブラウザアプリ、など端末装置で実行中の様々なアプリである。したがって、ユーザーは結合画像動画に含めるアプリの画面を柔軟に選択できる。
【0271】
また、アプリ単位で録画する場合、ユーザーは複数のアプリを選択できる。情報記録アプリ４１は、選択された全てのアプリの画面を録画できる。
【0272】
カメラトグルボタン２１１とＰＣ画面トグルボタン２１２が双方ともオフの場合、録画内容確認ウィンドウ２１４に「音声のみ記録されます」と表示される。この音声は、端末装置１０が出力する音声（遠隔会議アプリ４２が他の拠点１０１から受信する音声）と、ミーティングデバイス６０が集音する音声である。つまり、遠隔会議が実施されていれば、遠隔会議アプリ４２の音声とミーティングデバイス６０の音声は、画像の記録に関係なく保存される。ただし、ユーザーは、ユーザーの設定で遠隔会議アプリ４２の音声、ミーティングデバイス６０の音声の保存を選択的に停止できてよい。
【0273】
カメラトグルボタン２１１とＰＣ画面トグルボタン２１２のオンとオフの組み合わせに応じて、以下のように結合画像動画が録画される。また、録画内容確認ウィンドウ２１４にはリアルタイムに結合画像動画が表示される。
【0274】
・カメラトグルボタン２１１がオン、ＰＣ画面トグルボタン２１２がオフの場合は、録画内容確認ウィンドウ２１４に、ミーティングデバイス６０が撮像したパノラマ画像と話者画像が表示される。
【0275】
・カメラトグルボタン２１１がオフ、ＰＣ画面トグルボタン２１２がオン（画面も選択済）の場合、録画内容確認ウィンドウ２１４に、デスクトップ画面や選択されたアプリの画面が表示される。
【0276】
・カメラトグルボタン２１１がオン、ＰＣ画面トグルボタン２１２がオンの場合、録画内容確認ウィンドウ２１４に、ミーティングデバイス６０が撮像したパノラマ画像と話者画像、及び、デスクトップ画面や選択されたアプリの画面が横に並んだ状態で表示される。
【0277】
したがって、パノラマ画像、話者画像、及びアプリの画面が録画されない場合や、パノラマ画像、話者画像、及びアプリの画面が一切録画されない場合があるが、本実施形態では、便宜上、情報記録アプリ４１が作成する画像を結合画像動画という。
【0278】
更に、録画設定画面２１０は、「記録をアップロード後に自動で文字おこしする」というメッセージと共にチェックボックス２１５を有する。また、録画設定画面２１０は今すぐ記録開始ボタン２１６を有する。ユーザーがチェックボックス２１５にチェックを入れると、記録動画に、遠隔会議中の発言が変換されたテキストデータが添付される。この場合、録画終了後に情報記録アプリ４１がテキストデータへの変換要求と共に音声を情報処理システム５０にアップロードする。また、ユーザーが今すぐ記録開始ボタン２１６を押下すると、図４４の録画中画面２２０が表示される。
【0279】
図４４は、情報記録アプリ４１が録画中に表示する録画中画面２２０の一例である。なお、図４４の説明では主に図４２との相違を説明する。録画中画面２２０は、録画設定画面２１０でユーザーが設定した条件で、録画される結合画像動画をリアルタイムに表示する。図４４の録画中画面２２０は、カメラトグルボタン２１１がオン、ＰＣ画面トグルボタン２１２がオフの場合であり、ミーティングデバイス６０が作成したパノラマ画像２０３と話者画像２０４（いずれも動画）を表示する。録画中画面２２０は、録画中アイコン２２５、一時停止ボタン２２６、及び、録画終了ボタン２２７を表示する。
【0280】
一時停止ボタン２２６は録画を停止するためのボタンで、停止後は録画再開も受け付ける。録画終了ボタン２２７は録画を終了するボタンである。一時停止ボタン２２６では録画ＩＤが切り替わらず、録画終了ボタン２２７で録画ＩＤが切り替わる。一時停止して、録画再開時にユーザーは録画設定画面２１０で設定した録画条件を再度設定することもできる。その場合、情報記録アプリ４１は、録画停止ごとに複数の録画ファイルを作成してもよいし（例えば、録画終了ボタン２２７が押下）、１つの動画として連続するように複数ファイルを結合してもよい（例えば、一時停止ボタン２２６が押下）。また、情報記録アプリ４１が結合画像動画を再生する場合、複数の録画ファイルを、１つの動画として連続して再生してもよい。
【0281】
また、録画中画面２２０は、カレンダから情報取得ボタン２２１、会議名称欄２２２、時間欄２２３、場所欄２２４を有している。カレンダから情報取得ボタン２２１は、ユーザーが会議管理システム９から会議情報を取得するためのボタンである。カレンダから情報取得ボタン２２１が押下されると、情報記録アプリ４１が情報処理システム５０から該ユーザーに閲覧権限がある会議一覧を取得し、表示する。ユーザーは会議一覧から、これから行う遠隔会議を選択する。これにより、会議名称欄２２２、時間欄２２３、場所欄２２４に会議情報が反映される。会議名称欄２２２には会議情報のタイトルが、時間欄２２３には開始時刻と終了時刻が、場所欄２２４に場所が反映される。また、会議管理システムにおける会議情報と記録情報が会議ＩＤで対応付けられる。
【0282】
遠隔会議が終了し、ユーザーが録画を終了すると、音声付きの結合画像動画が作成される。
【0283】
図４５は、情報記録アプリ４１が表示する会議一覧画面２３０の一例である。会議一覧画面２３０は、会議の一覧であるが、遠隔会議において録画された記録情報のリストを表示できる。また、遠隔の会議に関わらず、ある会議室内のみで行われた会議も含まれる。会議一覧画面２３０には、会議情報記憶部５００１においてログインユーザーが閲覧権限のある会議情報が表示される。情報記憶部１００１に保存された動画記録情報の情報が更に統合されてもよい。
【0284】
会議一覧画面２３０は、図４２の初期画面２００においてユーザーが会議一覧タブ２３１を選択すると表示される。会議一覧画面２３０は、このユーザーに閲覧権限がある記録情報のリスト２３６を表示する。会議作成者（議事録作成者）は参加者に閲覧権限を設定できる。なお会議一覧は、記憶した記録情報の一覧であっても、会議予定や会議データの一覧であってもよい。
【0285】
会議一覧画面２３０はチェックボックス２３２、更新日時２３３、タイトル２３４、及びステータス２３５の各項目を有する。
【0286】
・チェックボックス２３２は録画ファイルの選択を受け付ける。チェックボックス２３２は、ユーザーがまとめて録画ファイルを削除したい場合に使用される。
【0287】
・更新日時２３３は、結合画像動画の録画の開始時と終了時を示す。編集された場合は編集日時でよい。
【0288】
・タイトル２３４は、会議のタイトル（議題等）である。会議情報から転記されてもよいし、ユーザーが設定してもよい。
【0289】
・ステータス２３５は、結合画像動画が情報処理システム５０にアップロード済みか否かを示す。アップロード済みでない場合、「ローカルＰＣ」が表示され、アップロード済みの場合「アップロード済み」が表示される。アップロード済みでない場合、アップロードボタンが表示される。未アップロードの結合画像動画がある場合、ユーザーが情報処理システム５０にログイン時に、情報記録アプリ４１が自動アップロードするとよい。
【0290】
ユーザーが結合画像動画のリスト２３６から任意のタイトル等をポインティングデバイスで選択すると、情報記録アプリ４１が録画再生画面を表示するが本実施形態では省略する。録画再生画面では、結合画像動画の再生などが可能である。
【0291】
なお、ユーザーは、更新日時や、タイトル、キーワードなどから会議を絞り込むことができることが望ましい。また、表示される会議の数が多く、該当の会議を見つけにくい場合は、検索機能として、ユーザーが語句を入力することで、会議の発言やタイトルなどに含まれる語句から記録情報を絞り込むことができることが望ましい。検索機能により、ユーザーは記録情報が多くなった場合でも短時間で所望の記録情報を見つけることが可能である。また、会議一覧画面では、ユーザーが更新日時やタイトル順で会議をソートできてもよい。
【0292】
＜＜録画の動作又は処理＞＞
図４６は、情報記録アプリ４１がパノラマ画像、話者画像及びアプリの画面を録画する手順を示すシーケンス図の一例である。すでに、会議参加やミュート制御は終了している。
図４６は、情報記録アプリ４１がパノラマ画像、話者画像及びアプリの画面を録画する手順を示すシーケンス図の一例である。すでに、会議参加やミュート制御は終了している。
【0293】
S201：ユーザーは遠隔会議アプリ４２を操作して遠隔会議を開始する。ここでは、自拠点１０２と他の拠点１０１の遠隔会議アプリ４２が遠隔会議を開始したものとする。自拠点１０２の遠隔会議アプリ４２は、ミーティングデバイス６０が有するカメラが撮像する画像、マイクが集音する音声を他の拠点１０１の遠隔会議アプリ４２に送信する。他の拠点１０１の遠隔会議アプリ４２は、受信した画像をディスプレイに表示し、受信した音声をスピーカから出力する。同様に、他の拠点１０１の遠隔会議アプリ４２は、ミーティングデバイス６０が有するカメラが撮像する画像、マイクが集音する音声を自拠点１０２の遠隔会議アプリ４２に送信する。自拠点１０２の遠隔会議アプリ４２は、受信した画像をディスプレイに表示し、受信した音声をスピーカから出力する。各遠隔会議アプリ４２はこれを繰り返して、遠隔会議を実現する。
【0294】
S202：ユーザーは図４３に示した情報記録アプリ４１の録画設定画面２１０に対し、録画に関する設定を行う。情報記録アプリ４１の操作受付部１２が設定を受け付ける。ここでは、カメラトグルボタン２１１、及び、ＰＣ画面トグルボタン２１２が共にオンであるとする。
【0295】
S203：ユーザーが録画開始を操作すると、情報記録アプリ４１の録画制御部１７が録画を開始する。
【0296】
S204：情報記録アプリ４１のアプリ画面取得部１４は、ユーザーが選択したアプリの画面をアプリに対し要求する（アプリ画面取得部１４は、より詳細にはＯＳを介して、アプリの画面を取得する）。図４６では、ユーザーが選択したアプリを遠隔会議アプリ４２とする。
【0297】
S205：情報記録アプリ４１の録画制御部１７は、デバイス通信部１６を介して、ミーティングデバイス６０に録画開始を通知する。通知の際、録画制御部１７は、カメラトグルボタン２１１がオンである旨（パノラマ画像と話者画像の要求）も通知するとよい。要求の有無に関係なくミーティングデバイス６０はパノラマ画像と話者画像を情報記録アプリ４１に送信している。
【0298】
S206：ミーティングデバイス６０の端末通信部６１が録画開始を受信すると、重複しない録画ＩＤを採番し、録画ＩＤを情報記録アプリ４１に返す。なお、録画ＩＤは情報記録アプリ４１が採番してもよいし、情報処理システム５０から取得してもよい。
【0299】
S207：情報記録アプリ４１の音声取得部１５は端末装置１０が出力する音声データ（遠隔会議アプリ４２が受信した音声データ）を取得する。
【0300】
S208：デバイス通信部１６が、音声取得部１５が取得した音声データと合成要求をミーティングデバイス６０に送信する。
【0301】
S209：ミーティングデバイス６０の端末通信部６１は音声データと合成要求を受信し、音声合成部６５が、集音部６４が集音した周囲の音声データと、受信した音声データを合成する。例えば、音声合成部６５は、２つの音声データを足し合わせる。ミーティングデバイス６０の周辺の鮮明な音声が記録されるので、特にミーティングデバイス６０周辺（会議室側）の音声のテキスト化精度が向上する。
【0302】
この音声の合成は、端末装置１０でも可能である。録画機能がミーティングデバイス６０に、音声処理が端末装置１０に分散して配置されてもよい。この場合、ミーティングデバイス６０の負荷を低減できる。
【0303】
S210：また、ミーティングデバイス６０のパノラマ画像作成部６２はパノラマ画像を作成し、話者画像作成部６３は話者画像を作成する。
【0304】
S211：情報記録アプリ４１のデバイス通信部１６は、パノラマ画像と話者画像を繰り返しミーティングデバイス６０から取得する。また、デバイス通信部１６は、合成後の音声データを繰り返しミーティングデバイス６０から取得する。これらの取得は、デバイス通信部１６がミーティングデバイス６０に要求することで行われてもよい。あるいは、カメラトグルボタン２１１がオンである旨を受け取ったミーティングデバイス６０が自動的にパノラマ画像と話者画像を送信してもよい。音声データの合成要求を受け取ったミーティングデバイス６０が自動的に合成後の音声データを情報記録アプリ４１に送信してもよい。
【0305】
S212：情報記録アプリ４１の録画制御部１７は、遠隔会議アプリ４２から取得したアプリの画面と、パノラマ画像と、話者画像を並べて配置することで結合画像を作成する。録画制御部１７は、繰り返し結合画像を作成し、動画を構成するフレームに各結合画像を指定することで結合画像動画を作成する。また、録画制御部１７はミーティングデバイス６０から受信した音声データを保存しておく。
【0306】
情報記録アプリ４１は以上のステップS207～S212を繰り返す。
【0307】
S213：遠隔会議が終わり、録画の必要がなくなると、ユーザーが録画終了（例えば、録画終了ボタン２２７）を情報記録アプリ４１に指示する。情報記録アプリ４１の操作受付部１２が指示を受け付ける。
【0308】
S214：情報記録アプリ４１のデバイス通信部１６は、ミーティングデバイス６０に録画終了を通知する。ミーティングデバイス６０は、引き続きパノラマ画像と話者画像の作成や音声の合成を継続する。ただし、ミーティングデバイス６０は録画中かどうかで解像度やfpsを変えるなど処理の負荷を変更してもよい。
【0309】
S215：情報記録アプリ４１の録画制御部１７は、結合画像動画に音声データを結合して音声付きの結合画像動画を作成する。
【0310】
S216：また、ユーザーが録画設定画面２１０で「記録をアップロード後に自動で文字おこしする」に対応付けられたチェックボックス２１５をチェックした場合、音声データ処理部１８が、音声データのテキストデータへの変換を情報処理システム５０に要求する。詳細には、音声データ処理部１８は、通信部１１を介して、保存先のＵＲＬを指定し、会議ＩＤ及び録画ＩＤと共に、結合画像動画に結合された音声データの変換要求を情報処理システム５０に送信する。
【0311】
S217：情報処理システム５０の通信部５１は音声データの変換要求を受信し、テキスト変換部５６が音声認識サービスシステム８０を利用して音声データをテキストデータに変換する。通信部５１はテキストデータを、結合画像動画の保存先と同じ保存先（ストレージサービスシステム７０のＵＲＬ）に保存する。なお、録画情報記憶部５００２においてテキストデータは会議ＩＤ及び録画ＩＤにより結合画像動画と対応付けられている。なおテキストデータは、情報処理システム５０のコミュニケーション管理部５４で管理し、記憶部５０００に記憶してもよい。また、端末装置１０が音声認識サービスシステム８０に音声認識を要求し、音声認識サービスシステム８０から取得したテキストデータを保存先に保存してもよい。なお、音声認識サービスシステム８０は、変換したテキストデータを情報処理システム５０に返すが、直接保存先のＵＲＬに送信してもよい。音声認識サービスシステム８０は、情報処理システム５０にユーザーが設定した設定情報に応じて、複数のサービスから選択したり切り替えたりしてもよい。
【0312】
S218：また、情報記録アプリ４１のアップロード部２０は、通信部１１を介して、結合画像動画の保存先に結合画像動画を保存する。録画情報記憶部５００２において結合画像動画は会議ＩＤ及び録画ＩＤと対応付けられている。結合画像動画にはアップロード済みが記録される。
【0313】
S219：ユーザーが会議終了を電子黒板２に入力する。ユーザーが端末装置１０に会議終了を入力し、端末装置１０から電子黒板２に会議終了が送信されてもよい。この場合、会議終了は情報処理システム５０を経由して電子黒板２に送信されてよい。
【0314】
S220：電子黒板２の通信部３６は、会議ＩＤを指定して、会議中に表示した（例えば手書きされた）オブジェクトデータを情報処理システム５０に送信する。通信部３６は電子黒板２の機器識別情報を情報処理システム５０に送信してもよい。この場合、対応付け情報により会議ＩＤが特定される。
【0315】
S221：情報処理システム５０は会議ＩＤに基づいて結合画像動画等と同じ保存先にオブジェクトデータを保存する。
【0316】
保存先はユーザーに通知されているので、ユーザーはメールなどで保存先を知らせることで結合画像動画を参加者と共有できる。結合画像動画、音声データ、テキストデータ、オブジェクトデータを作成する装置がそれぞれ異なっても、１つの格納場所に集めて格納でき、後でユーザー等が容易に閲覧できる。
【0317】
なお、ステップS207～S212の処理は、図４６に示すとおりの順番でなくてもよく、音声データの合成と結合画像の作成が前後してもよい。
【0318】
＜主な効果＞
このように、本実施形態のミーティングデバイス６０は、二次元コードを表示した電子黒板２をミュートするので、機器を誤らずに適切な機器をミュートできる。また、ユーザーは、会議の参加者の中心にあるミーティングデバイス６０で音声を出力し、電子黒板２が集音するマイク４４０をミュートにしたいが、従来技術ではそのような制御はできなかった。本実施形態では上記のように機器を誤ることがない。
このように、本実施形態のミーティングデバイス６０は、二次元コードを表示した電子黒板２をミュートするので、機器を誤らずに適切な機器をミュートできる。また、ユーザーは、会議の参加者の中心にあるミーティングデバイス６０で音声を出力し、電子黒板２が集音するマイク４４０をミュートにしたいが、従来技術ではそのような制御はできなかった。本実施形態では上記のように機器を誤ることがない。
【0319】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0320】
例えば、端末装置１０とミーティングデバイス６０が一体でもよい。端末装置１０にミーティングデバイス６０が外付けされてもよい。また、ミーティングデバイス６０は、全天球カメラとマイクとスピーカがケーブルで接続されたものでもよい。
【0321】
また、他の拠点１０１においてもミーティングデバイス６０が配置されてよい。他の拠点１０１は別途、ミーティングデバイス６０を使用して結合画像動画とテキストデータを作成する。また、１つの拠点に複数のミーティングデバイス６０が配置されてもよい。この場合、ミーティングデバイス６０ごとに複数の記録情報が作成される。
【0322】
また、本実施形態で使用した、結合画像動画における、パノラマ画像２０３，話者画像２０４、及び、アプリの画面の配置は一例に過ぎない。パノラマ画像２０３が下で話者画像２０４が上でもよいし、ユーザーが配置を変更したり、再生時にはパノラマ画像２０３と話者画像２０４の表示と非表示を個別に切り替えたりしてもよい。
【0323】
また、図９などの構成例は、端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
【0324】
また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、情報処理システム５０は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。
【0325】
更に、情報処理システム５０は、開示された処理ステップ、例えば図１６等を様々な組み合わせで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、情報処理システム５０が有する複数の情報処理装置によって実行され得る。また、情報処理システム５０は、1つのサーバー装置にまとめられていても良いし、複数の装置に分けられていても良い。
【0326】
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」は、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（Digital Signal Processor）、FPGA（Field Programmable Gate Array）、及び、従来の回路モジュール等のデバイスを含む。
【符号の説明】
【0327】
１０ 端末装置
５０ 情報処理システム
６０ ミーティングデバイス
１００ 記録情報作成システム
５０ 情報処理システム
６０ ミーティングデバイス
１００ 記録情報作成システム
【先行技術文献】
【特許文献】
【0328】
【特許文献1】特開２０１４‐１４３５３４号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】