知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023120142
(43)【公開日】2023-08-29
(54)【発明の名称】記録情報表示システム、プログラム、記録情報表示方法
(51)【国際特許分類】
H04N 7/15 20060101AFI20230822BHJP
H04N 21/8549 20110101ALI20230822BHJP
【ＦＩ】
H04N7/15 150
H04N21/8549
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022188591
(22)【出願日】2022-11-25
(31)【優先権主張番号】P 2022023067
(32)【優先日】2022-02-17
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100107515
【弁理士】
【氏名又は名称】廣田 浩一
(72)【発明者】
【氏名】小野 龍太郎
(72)【発明者】
【氏名】亀倉 崇寛
(72)【発明者】
【氏名】石井 繁行
【テーマコード（参考）】
5C164
【Ｆターム（参考）】
5C164FA10
5C164MC03P
5C164VA06P
5C164VA10S
5C164VA35P
(57)【要約】
【課題】実行中のアプリケーションが表示した画面情報と、デバイスの周囲の画像情報とに基づいて、遠隔コミュニケーションの記録情報を表示する技術を提供すること。
【解決手段】端末装置で実行する情報記録アプリケーションを含む記録情報作成システムであって、前記情報記録アプリケーションは、前記情報記録アプリケーションで選択した遠隔会議アプリケーションが表示する画面情報と、デバイスが取得した周囲の画像とに基づいて作成された記録動画を表示する記録動画表示部を有し、前記記録動画表示部は、前記周囲の画像情報と、前記周囲の画像情報から切り取られた話者画像情報と、前記画面情報とを表示することを特徴とする。
【選択図】図１
【解決手段】端末装置で実行する情報記録アプリケーションを含む記録情報作成システムであって、前記情報記録アプリケーションは、前記情報記録アプリケーションで選択した遠隔会議アプリケーションが表示する画面情報と、デバイスが取得した周囲の画像とに基づいて作成された記録動画を表示する記録動画表示部を有し、前記記録動画表示部は、前記周囲の画像情報と、前記周囲の画像情報から切り取られた話者画像情報と、前記画面情報とを表示することを特徴とする。
【選択図】図１
【特許請求の範囲】
【請求項1】
端末装置で実行する情報記録アプリケーションを含む記録情報表示システムであって、
前記情報記録アプリケーションは、前記情報記録アプリケーションで選択した遠隔会議アプリケーションが表示する画面情報と、デバイスが取得した周囲の画像情報とに基づいて作成された記録動画を表示する記録動画表示部を有し、
前記記録動画表示部は、前記周囲の画像情報と、前記周囲の画像情報から切り取られた話者画像情報と、前記画面情報とを表示することを特徴とする記録情報表示システム。
前記情報記録アプリケーションは、前記情報記録アプリケーションで選択した遠隔会議アプリケーションが表示する画面情報と、デバイスが取得した周囲の画像情報とに基づいて作成された記録動画を表示する記録動画表示部を有し、
前記記録動画表示部は、前記周囲の画像情報と、前記周囲の画像情報から切り取られた話者画像情報と、前記画面情報とを表示することを特徴とする記録情報表示システム。
【請求項2】
前記画面情報は、前記遠隔会議アプリケーションを含む実行中のアプリケーションをウィンドウとして表示し、前記情報記録アプリケーションが画像として取得する情報である請求項１に記載の記録情報表示システム。
【請求項3】
前記デバイスの周囲の画像情報は、前記デバイスが前記デバイスを囲む３６０°の領域を撮像して取得した画像情報である請求項１又は２に記載の記録情報表示システム。
【請求項4】
前記デバイスの周囲の画像情報は、拠点に設置された前記デバイスから、前記情報記録アプリケーションに送信される請求項１に記載の記録情報表示システム。
【請求項5】
前記記録動画表示部は、更に、前記デバイスが集音した音声データと、前記端末装置が出力した音声データとに基づいたテキストデータを、前記記録動画と同時に同じ画面に表示することを特徴とする請求項１に記載の記録情報表示システム。
【請求項6】
前記テキストデータは、前記デバイスが集音した音声データと、前記端末装置が出力した音声データが合成された音声データであり、
前記記録動画表示部は、合成された前記音声データが音声認識により変換された前記テキストデータを表示することを特徴とする請求項５に記載の記録情報表示システム。
前記記録動画表示部は、合成された前記音声データが音声認識により変換された前記テキストデータを表示することを特徴とする請求項５に記載の記録情報表示システム。
【請求項7】
前記記録動画表示部は、前記記録動画の表示時刻と対応させて、前記テキストデータをスクロールさせて表示することを特徴とする請求項５又は６に記載の記録情報表示システム。
【請求項8】
前記テキストデータからキーワードを検索する検索部と、
検索に適合した前記テキストデータの一部を表示する表示制御部と、を有し、
前記記録動画表示部は、前記テキストデータの一部が選択された場合、前記一部のテキストデータに対応付けられている発言時刻における前記記録動画を表示することを特徴とする請求項５又は６に記載の記録情報表示システム。
検索に適合した前記テキストデータの一部を表示する表示制御部と、を有し、
前記記録動画表示部は、前記テキストデータの一部が選択された場合、前記一部のテキストデータに対応付けられている発言時刻における前記記録動画を表示することを特徴とする請求項５又は６に記載の記録情報表示システム。
【請求項9】
前記記録動画は、前記周囲の画像情報、前記周囲の画像情報から切り取られた話者画像情報、及び、前記画面情報を有し、
前記記録動画表示部は、ユーザーの操作に応じて、前記周囲の画像情報及び前記話者画像情報を表示するか、前記画面情報を表示するか、又は、前記話者画像情報及び前記画面情報を表示するか、を切り替えることを特徴とする請求項１に記載の記録情報表示システム。
前記記録動画表示部は、ユーザーの操作に応じて、前記周囲の画像情報及び前記話者画像情報を表示するか、前記画面情報を表示するか、又は、前記話者画像情報及び前記画面情報を表示するか、を切り替えることを特徴とする請求項１に記載の記録情報表示システム。
【請求項10】
前記記録動画表示部は、前記周囲の画像情報及び前記話者画像情報を表示するか、前記画面情報を表示するか、又は、前記話者画像情報及び前記画面情報を表示するかを、ユーザーが切り替えた際の表示時刻に基づいて、切り替え後の、前記周囲の画像情報及び前記話者画像情報、前記画面情報、又は、前記話者画像情報及び前記画面情報を表示することを特徴とする請求項９に記載の記録情報表示システム。
【請求項11】
端末装置で実行するプログラムであって、
前記端末装置を、前記プログラムで選択した遠隔会議アプリケーションが表示する画面情報と、デバイスが取得した周囲の画像情報とに基づいて作成された記録動画を表示する記録動画表示部として機能させ、
前記記録動画表示部は、前記周囲の画像情報と、前記周囲の画像情報から切り取られた話者画像情報と、前記画面情報とを表示するためのプログラム。
前記端末装置を、前記プログラムで選択した遠隔会議アプリケーションが表示する画面情報と、デバイスが取得した周囲の画像情報とに基づいて作成された記録動画を表示する記録動画表示部として機能させ、
前記記録動画表示部は、前記周囲の画像情報と、前記周囲の画像情報から切り取られた話者画像情報と、前記画面情報とを表示するためのプログラム。
【請求項12】
端末装置で実行する情報記録アプリケーションを含む記録情報表示システムが行う記録情報表示方法であって、
前記情報記録アプリケーションは、前記情報記録アプリケーションで選択した遠隔会議アプリケーションが表示する画面情報と、デバイスが取得した周囲の画像情報とに基づいて作成された記録動画を表示させ、
前記周囲の画像情報と、前記周囲の画像情報から切り取られた話者画像情報と、前記画面情報とを表示することを特徴とする記録情報表示方法。
前記情報記録アプリケーションは、前記情報記録アプリケーションで選択した遠隔会議アプリケーションが表示する画面情報と、デバイスが取得した周囲の画像情報とに基づいて作成された記録動画を表示させ、
前記周囲の画像情報と、前記周囲の画像情報から切り取られた話者画像情報と、前記画面情報とを表示することを特徴とする記録情報表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、記録情報表示システム、プログラム、及び、記録情報表示方法に関する。
【背景技術】
【0002】
一方の拠点から１つ以上の他の拠点にリアルタイムに画像や音声を送信し、遠隔地にいるユーザー同士で画像や音声を用いた会議を行う遠隔会議システムが知られている。
【0003】
また、３６０度全周囲を撮影・集音した情報を基に議事録画面を表示する技術が知られている（例えば、特許文献１参照。）。特許文献１には、３６０度全周囲を撮影・集音した情報を基に、会議室内の参加者を表示する領域と、発言ごとに時系列順に並べて表示される発言履歴領域から構成される議事録画面が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、従来の技術では、実行中のアプリケーションが表示した画面情報と周囲の画像情報とに基づいて、遠隔コミュニケーションの記録情報を表示していないという問題がある。すなわち、従来は、会議室内を撮像した情報を表示できても、遠隔会議アプリケーションなどのアプリの画面と共に表示することが行われていない。このため、会議室内を撮像しながら遠隔コミュニケーションを行った時の様子を閲覧することはできなかった。
【0005】
本発明は、上記課題に鑑み、実行中のアプリケーションが表示した画面情報と、デバイスの周囲の画像情報とに基づいて、遠隔コミュニケーションの記録情報を表示する技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題に鑑み、本発明は、端末装置で実行する情報記録アプリケーションを含む記録情報表示システムであって、前記情報記録アプリケーションは、前記情報記録アプリケーションで選択した遠隔会議アプリケーションが表示する画面情報と、デバイスが取得した周囲の画像情報とに基づいて作成された記録動画を表示する記録動画表示部を有し、前記記録動画表示部は、前記周囲の画像情報と、前記周囲の画像情報から切り取られた話者画像情報と、前記画面情報とを表示することを特徴とする。
【発明の効果】
【0007】
実行中のアプリケーションが表示した画面情報と、デバイスの周囲の画像情報とに基づいて、遠隔コミュニケーションの記録情報を表示し、会議室内を撮像しながら遠隔コミュニケーションを行った時の様子を閲覧する記録情報表示システムを提供することができる。
【図面の簡単な説明】
【0008】
【図1】遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。
【図2】記録情報表示システムの構成例を示す図である。
【図3】情報処理システム及び端末装置のハードウェア構成例を示す図である。
【図4】ミーティングデバイスのハードウェア構成例を示す図である。
【図5】ミーティングデバイスの撮像範囲を説明する図である。
【図6】パノラマ画像と話者画像の切り出しを説明する図である。
【図7】記録情報表示システムにおける端末装置、ミーティングデバイス、及び、情報処理システムの機能をブロックに分けて説明する機能ブロック図の一例である。
【図8】情報記憶部が記憶している動画記録情報の一例を示す図である。
【図9】アプリ側会議情報記憶部に記憶されているアプリ側会議情報の一例である。
【図10】録画情報記憶部に記憶されている録画情報を示す図である。
【図11】会議情報記憶部に記憶されている側会議情報の一例である。
【図12】ストレージサービスシステムに保存されているテキストデータの構造を説明する図である。
【図13】端末装置で動作する情報記録アプリが表示するログイン後の初期画面の一例を示す図である。
【図14】固定表示ボタンがオンの場合の操作方法を説明する図である。
【図15】機器未認識画面の一例を示す図である。
【図16】情報記録アプリが表示する録画設定画面の一例を示す図である。
【図17】カメラトグルボタンがオン、ＰＣ画面トグルボタンがオフの場合の、録画内容確認ウィンドウの表示例を示す図である。
【図18】カメラトグルボタンがオン、ＰＣ画面トグルボタンがオンの場合の、録画内容確認ウィンドウの表示例を示す図である。
【図19】情報記録アプリが録画中に表示する録画中画面の一例を示す図である。
【図20】情報記録アプリが表示する会議一覧画面の一例を示す図である。
【図21】情報記録アプリが表示する記録動画の選択後の記録動画表示画面の一例を示す図である。
【図22】記録動画の編集画面の一例を示す図である。
【図23】情報記録アプリがパノラマ画像、話者画像及びアプリの画面を録画する手順を示すシーケンス図の一例である。
【図24】情報記録アプリが記録動画をダウンロードして表示する処理を説明するシーケンス図の一例である。
【図25】パノラマ画像と話者画像が表示された記録動画表示画面２４０の一例を示す図である。
【図26】動画＆コンテンツボタンが押下され、話者画像及びアプリの画面が表示された記録動画表示画面の一例を示す図である。
【図27】コンテンツボタンが押下され、アプリの画面が表示された記録動画表示画面の一例を示す図である。
【図28】記録動画選択メニューに対する操作に応じて切り替わる、画像表示欄に表示される記録動画を示す図である。
【図29】ユーザーの操作に応じて、情報記録アプリが画像表示欄に表示される記録動画を切り替える処理を説明するシーケンス図の一例である。
【図30】情報記録アプリが画像表示欄に表示される記録動画の表示時刻に応じてテキストデータを対応させて表示する処理を説明するシーケンス図の一例である。
【図31】テキストデータの検索と記録動画の対応表示を模式的に説明する図である。
【図32】情報記録アプリが検索されたテキストデータに応じて、画像表示欄に記録動画を対応させて表示する処理を説明するシーケンス図の一例である。
【発明を実施するための形態】
【0009】
以下、本発明を実施するための形態の一例として、記録情報表示システムと記録情報表示システムが行う記録情報表示方法について説明する。
【0010】
＜遠隔会議における議事録の作成方法の一例＞
まず、図１を参照して、パノラマ画像とアプリの画面を用いた議事録の作成方法の概略を説明する。図１は、遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。図１に示すように、図示する自拠点１０２にいるユーザーが遠隔会議サービスシステム９０を利用して、他の拠点１０１と遠隔会議を行っている。
まず、図１を参照して、パノラマ画像とアプリの画面を用いた議事録の作成方法の概略を説明する。図１は、遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。図１に示すように、図示する自拠点１０２にいるユーザーが遠隔会議サービスシステム９０を利用して、他の拠点１０１と遠隔会議を行っている。
【0011】
本実施形態の記録情報表示システム１００は、周囲３６０°を撮像可能な撮像手段及びマイクとスピーカを備えたミーティングデバイス６０が、周囲を撮像した情報を処理することで取得した水平パノラマ画像（以下、パノラマ画像という）と、端末装置１０が実行するアプリケーション（以下、アプリという）が作成する画面と、を用いて、記録情報（議事録）を作成する。音声については、記録情報表示システム１００は、遠隔会議アプリケーション（以下、遠隔会議アプリ４２という）が受信する音声と、ミーティングデバイス６０が取得する音声とを合成して、記録情報に含める。なお、本実施形態では記録情報を作成せず、閲覧、表示するだけでも可能である。以下、概略を説明する。
【0012】
(1) 端末装置１０では、後述する情報記録アプリ４１と遠隔会議アプリ４２とが動作している。この他、資料表示用のアプリなども動作していてよい。情報記録アプリ４１は、端末装置１０が出力する音声（遠隔会議アプリ４２が他拠点から受信した音声を含む。）をミーティングデバイス６０に送信する。ミーティングデバイス６０は、自身が取得している音声と、遠隔会議アプリ４２の音声とをミキシング（合成）する。
【0013】
(2) ミーティングデバイス６０はマイクを備え、音声を取得した方向に基づき、パノラマ画像から話者を切り出す処理を行い、話者画像（話者画像情報の一例）を作成する。ミーティングデバイス６０は、パノラマ画像と話者画像の両方を端末装置１０に送信する。
【0014】
(3) 端末装置１０で動作する情報記録アプリ４１は、パノラマ画像２０３と話者画像２０４を表示できる。情報記録アプリ４１は、ユーザーが選択した任意のアプリ画面（例えば遠隔会議アプリ４２の画面１０３）と、パノラマ画像２０３と、話者画像２０４と、をそれぞれ保存する。なおアプリ画面は、遠隔会議アプリ等の各アプリケーションが表示する画面情報（後述）の例である。これらはそれぞれが繰り返し保存されるので、それぞれが別々の動画として保存される。以下、アプリ画面、パノラマ画像２０３と、及び話者画像２０４を区別しないで記載する場合は「記録動画」という。
【0015】
(4) 情報記録アプリ４１は、編集作業（ユーザーによる不要箇所のカット）を受け付け、記録動画を完成させる。記録動画は記録情報の一部を構成する。
【0016】
(5) 情報記録アプリ４１は、記録動画と音声データをストレージサービスシステム７０に送信し保存しておく。
【0017】
(6) また、情報記録アプリ４１は、音声データのテキスト化の要求を情報処理システム５０に送信する。情報処理システム５０は音声をテキストデータに変換する音声認識サービスシステム８０に送信し、音声をテキスト化する。テキストデータには、録画開始から何分後に話したか、というデータも含まれる。
【0018】
なお、リアルタイムのテキスト化の場合、ミーティングデバイス６０が情報処理システム５０に直接音声を送信する。
【0019】
(7) 情報処理システム５０は、記録動画を格納したストレージサービスシステム７０に、テキストデータを追加で格納する。テキストデータは記録情報の一部を構成する。
【0020】
なお、情報処理システム５０は、ユーザーに対し利用したサービスに応じた課金処理を実行できる。例えば、課金はテキストデータ量、記録動画のファイルサイズ、処理時間などに基づいて算出される。
【0021】
(8) 情報記録アプリ４１は記録動画を音声データと共に再生できる。また、情報記録アプリ４１はテキストデータも記録動画に対応して表示できる。パノラマ画像２０３、話者画像２０４、及び、遠隔会議アプリ４２の画面１０３の配置は一例に過ぎないが、例えば、左側にパノラマ画像２０３と話者画像２０４、右側に遠隔会議アプリ４２の画面１０３が配置される。
【0022】
このように、記録動画の表示時には、ユーザーを含む周囲のパノラマ画像、話者画像、及び、遠隔会議アプリ４２など、遠隔会議中に表示されたアプリの画面が表示される。したがって、遠隔会議の参加者や参加者でない者が、記録動画を議事録として閲覧した場合、パノラマ画像、話者画像、及び、アプリの画面が１つの画面に表示されるので、遠隔会議中の様子が臨場感と共に再現される。
【0023】
＜用語について＞
アプリケーション（アプリ）とは、ある特定の機能や目的のために開発・使用されるソフトウェアである。アプリケーションにはネイティブアプリとＷｅｂアプリがある。またＷｅｂアプリ（クラウドサービスで提供するクラウド側のアプリ）と、ネイティブアプリやＷｅｂブラウザとが連携して動作するものであってもよい。
アプリケーション（アプリ）とは、ある特定の機能や目的のために開発・使用されるソフトウェアである。アプリケーションにはネイティブアプリとＷｅｂアプリがある。またＷｅｂアプリ（クラウドサービスで提供するクラウド側のアプリ）と、ネイティブアプリやＷｅｂブラウザとが連携して動作するものであってもよい。
【0024】
実行中のアプリとは、アプリが起動されてから終了されるまでの間の状態のアプリをいう。アプリはアクティブ（最も手前にあるアプリ）でなくてもよく、バックグラウンドで動作していればよい。
【0025】
デバイスとは、デバイスの周囲の画像を撮像でき、周囲の音声を集音できる装置である。デバイスは端末装置と接続して用いるもの、端末装置に内蔵するもの、端末装置と直接接続せずクラウドサービスに接続して用いるものを含んでもよい。本実施形態では、ミーティングデバイスという用語で説明される。
【0026】
ミーティングデバイスが取得したミーティングデバイスの周囲の画像は、ミーティングデバイスがミーティングデバイスを囲む、周囲の空間（例えば水平方向で１８０°～３６０°の領域や空間）を撮像して取得した画像情報であり、ミーティングデバイスが撮像した曲面の画像情報に対して、所定の処理を行うことで取得した画像をいう。所定の処理とは撮像した曲面の画像に対する平面化処理など、撮像した情報から周囲の画像情報を作成するための各種処理である。所定の処理には周辺の画像を作成する処理に加え、話者画像を切り出す処理、周辺の画像や話者画像等を結合する結合処理を含めてもよい。本実施形態では、周囲の画像は、パノラマ画像という用語で説明される。パノラマ画像はおおむね水平方向に１８０°～３６０°の画角がある画像である。ミーティングデバイスは１台でパノラマ画像を撮像しなくてもよく、通常の画角の撮像装置が複数個、組み合わされていてもよい。ミーティングデバイスは拠点での会議や周囲の状況把握のためにテーブル等の設置場所に設置して使用することを想定しているが、この他、監視（セキュリティ・防災など）、見守り（育児や介護など）、現場の状況分析（ソリューションやマーケティングなど）を行うために用いるデバイスであってもよい。
【0027】
記録情報とは、情報記録アプリ４１が記録する情報であり、ある１つの会議（ミーティング）の識別情報に紐づく情報として閲覧可能に記憶・保存された情報であって、例えば以下の情報を含む情報である。
・選択したアプリ（遠隔会議アプリなど）が表示する画面情報と、デバイスが取得したデバイスの周囲の画像情報、などに基づいて作成する動画情報。
・会議（ミーティング）中に、遠隔会議アプリ（端末装置）と、拠点のミーティングデバイスとで取得し合成した音声情報。
・取得した音声をテキスト化したテキスト情報。
・その他、会議（ミーティング）に関連する関連情報であるデータや画像。例えば会議中に用いた資料ファイル、追加したメモ、テキストデータの翻訳データ、会議中にクラウド電子黒板サービスで作成した画像やストロークデータなど。
情報記録アプリ４１が遠隔会議アプリの画面や、拠点の会議の様子を録画した場合、記録情報が、実施した会議の議事録となる場合がある。議事録は記録情報の例であり遠隔会議や拠点側で行った内容に応じて記録情報の呼び方が変わり、例えばコミュニケーションの記録、拠点状況の記録などと言ってもよい。また記録情報は、例えば、動画ファイル（結合画像動画等）、音声ファイル、テキストデータ（音声が音声認識されたテキストデータ）、文書ファイル、画像ファイル、表形式ファイルなど、複数の形式のファイルを含み、ファイルは会議の識別情報に対して互いに関連づいているため、閲覧時にまとめて、あるいは選択的に、時系列で閲覧可能となっている。
・選択したアプリ（遠隔会議アプリなど）が表示する画面情報と、デバイスが取得したデバイスの周囲の画像情報、などに基づいて作成する動画情報。
・会議（ミーティング）中に、遠隔会議アプリ（端末装置）と、拠点のミーティングデバイスとで取得し合成した音声情報。
・取得した音声をテキスト化したテキスト情報。
・その他、会議（ミーティング）に関連する関連情報であるデータや画像。例えば会議中に用いた資料ファイル、追加したメモ、テキストデータの翻訳データ、会議中にクラウド電子黒板サービスで作成した画像やストロークデータなど。
情報記録アプリ４１が遠隔会議アプリの画面や、拠点の会議の様子を録画した場合、記録情報が、実施した会議の議事録となる場合がある。議事録は記録情報の例であり遠隔会議や拠点側で行った内容に応じて記録情報の呼び方が変わり、例えばコミュニケーションの記録、拠点状況の記録などと言ってもよい。また記録情報は、例えば、動画ファイル（結合画像動画等）、音声ファイル、テキストデータ（音声が音声認識されたテキストデータ）、文書ファイル、画像ファイル、表形式ファイルなど、複数の形式のファイルを含み、ファイルは会議の識別情報に対して互いに関連づいているため、閲覧時にまとめて、あるいは選択的に、時系列で閲覧可能となっている。
【0028】
テナントとは、サービスの提供者からサービスを受けることを契約したユーザーのグループ（企業や自治体、これらの一部の組織等）である。本実施形態の記録情報の作成やテキストデータへの変換は、テナントがサービス提供元と契約しているために実行される。
【0029】
遠隔コミュニケーションとは、物理的に離れた拠点にいる相手と、ソフトウェアや端末装置を活用することによって音声や映像を通じたコミュニケーションを取ることをいう。遠隔コミュニケーションの一例に遠隔会議があり、会議は、会合、ミーティング、打ち合わせ、相談、契約等の申し込み、集会、寄り合い、集まり、セミナー、講習会、勉強会、ゼミ、研修会等と呼ばれてもよい。
【0030】
拠点とは、活動のよりどころとする場所をいう。拠点の例として会議室がある。会議室は、主に会議に使用することを目的に設置された部屋のことである。拠点はこのほか自宅や、受付や店舗、倉庫や屋外の現場など様々な場所であってもよく、端末装置やデバイス等を設置できる箇所のある場所や空間であればよい。
【0031】
音声とは人間が発する言語音や周囲の音等であり、音声データは音声をデータ化したものであるが、本実施形態では、厳密に区別せずに説明する。
【0032】
＜システム構成例＞
続いて、図２を参照して、記録情報表示システム１００のシステム構成を説明する。図２は、記録情報表示システム１００の構成例を示す。図２では、遠隔会議を行う複数の拠点のうち１つの拠点（自拠点１０２）を示し、自拠点１０２における端末装置１０がネットワークを介して情報処理システム５０と、ストレージサービスシステム７０と、遠隔会議サービスシステム９０と、通信する。自拠点１０２には更に、ミーティングデバイス６０が配置され、端末装置１０はこのミーティングデバイス６０とＵＳＢケーブル等を介して通信可能に接続されている。
続いて、図２を参照して、記録情報表示システム１００のシステム構成を説明する。図２は、記録情報表示システム１００の構成例を示す。図２では、遠隔会議を行う複数の拠点のうち１つの拠点（自拠点１０２）を示し、自拠点１０２における端末装置１０がネットワークを介して情報処理システム５０と、ストレージサービスシステム７０と、遠隔会議サービスシステム９０と、通信する。自拠点１０２には更に、ミーティングデバイス６０が配置され、端末装置１０はこのミーティングデバイス６０とＵＳＢケーブル等を介して通信可能に接続されている。
【0033】
端末装置１０では、少なくとも情報記録アプリ４１と遠隔会議アプリ４２とが動作する。遠隔会議アプリ４２は、他の拠点１０１の端末装置とネットワーク上の遠隔会議サービスシステム９０を介して通信することができ、各拠点のユーザー同士が遠隔地から会議できるようになっている。情報記録アプリ４１は、遠隔会議アプリ４２が実施する遠隔会議における記録情報を、情報処理システム５０及びミーティングデバイス６０の機能を使って作成する。
【0034】
なお、本実施形態では、遠隔会議中の記録情報を作成する例を説明するが、拠点が遠隔の拠点と通信する会議でなくてもよい。つまり、会議は１拠点内の参加者のみが参加する会議でもよい。この場合、ミーティングデバイス６０が集音した音声のみが合成なしに保存される他、情報記録アプリ４１の処理に変更はない。
【0035】
端末装置１０には通常の画角のカメラが内蔵されており（外付けでもよい）、端末装置１０を操作するユーザー１０７を含む正面の画像を撮像している。通常の画角とは、パノラマ画像でない画像であるが、本実施形態では、主に全天球画像のように曲面でない平面画像である。また、端末装置１０にはマイクが内蔵されており（外付けでもよい）、端末装置１０を操作するユーザー等の周囲の音声を集音している。したがって、ユーザーは、情報記録アプリ４１を意識することなく、遠隔会議アプリ４２を使用した従来の遠隔会議が可能である。情報記録アプリ４１やミーティングデバイス６０は、端末装置１０の処理負荷増を除けば遠隔会議アプリ４２に影響を与えない。なお、遠隔会議アプリ４２はミーティングデバイス６０が撮像するパノラマ画像や話者画像を遠隔会議システム９０に送信することも可能である。
【0036】
情報記録アプリ４１はミーティングデバイス６０と通信して記録情報を作成することで情報を記録するアプリである。ミーティングデバイス６０は、パノラマ画像の撮像装置、マイク、及び、スピーカを備えたミーティング用のデバイスである。端末装置１０が有するカメラは正面の限られた範囲しか撮像できないが、ミーティングデバイス６０はミーティングデバイス６０を囲む全周囲（必ずしも全周囲でなくてもよい）を撮像できる。ミーティングデバイス６０は図２に示す複数の参加者１０６を常に画角に収めることができる。
【0037】
この他、ミーティングデバイス６０は、パノラマ画像からの話者画像の切り出し、ミーティングデバイス６０が取得した音声と端末装置１０が出力する音声（遠隔会議アプリ４２が受信した音声を含む）との合成等を行う。なお、ミーティングデバイス６０は、机や台などの設置場所の上に限らず自拠点１０２のどこに配置されてもよい。ミーティングデバイス６０は全天球画像を撮像できるので、例えば天井に配置されてもよい。またミーティングデバイス６０は他拠点側やいずれの拠点に設置されてもよい。
【0038】
情報記録アプリ４１は、端末装置１０で実行中のアプリの一覧表示、上記した記録情報の保存、記録動画の表示、編集の受け付け等を行う。また、情報記録アプリ４１は、実施された又はこれらか実施される予定の遠隔会議のリスト表示、等を行う。遠隔会議のリストは、記録情報に関する情報に使用され、ユーザーが遠隔会議と記録情報とを結びつけることができる。
【0039】
遠隔会議アプリ４２は、他の拠点１０１の他の端末装置との通信接続、画像及び音声の送受信、画像の表示や音声の出力等により、端末装置が他の端末装置と遠隔コミュニケーションを行うアプリケーションである。遠隔会議アプリは、遠隔コミュニケーションアプリ、遠隔情報共通アプリなどと言うこともできる。
【0040】
なお、情報記録アプリ４１及び遠隔会議アプリ４２はＷｅｂアプリでもネイティブアプリでもよい。Ｗｅｂアプリとは、Ｗｅｂサーバー上のプログラムとＷｅｂブラウザ上のプログラムやネイティブアプリが協働して処理を行うアプリであり、端末装置１０へのインストールが不要なアプリである。ネイティブアプリとは、端末装置１０にインストールして利用されるアプリである。本実施形態では、両者ともネイティブアプリであるとして説明する。
【0041】
端末装置１０は、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末等、通信機能を備えた汎用的な情報処理装置でよい。端末装置１０は、この他、電子黒板、ゲーム機、ＰＤＡ（Personal Digital Assistant）、ウェアラブルＰＣ、カーナビ、産業機械、医療機器、ネットワーク家電等でもよい。端末装置１０は情報記録アプリ４１と遠隔会議アプリ４２が少なくとも動作する装置であればよい。
【0042】
情報処理システム５０は、ネットワーク上に配置された一台以上の情報処理装置である。情報処理システム５０は、情報記録アプリ４１と協働して処理を行う１つ以上のサーバーアプリと、基盤サービスを有している。このサーバーアプリは、遠隔会議のリストの管理、遠隔会議で記録された記録情報の管理、各種設定やストレージパスの管理等を行う。基盤サービスは、ユーザー認証や契約、課金処理等を行う。
【0043】
なお、情報処理システム５０の機能の全て又は一部は、クラウド環境に存在してもよいし、オンプレミス環境に存在してもよい。情報処理システム５０は複数台のサーバー装置により構成されてもよいし、一台の情報処理装置により構成されてもよい。例えば、サーバーアプリと基盤サービスが別々の情報処理装置より提供されてよいし、更にサーバーアプリ内の機能ごとに情報処理装置が存在してもよい。情報処理システム５０と次述する会議管理システム９、ストレージサービスシステム７０、及び、音声認識サービスシステム８０が一体でもよい。
【0044】
会議管理システム９は、情報処理システム５０を使用するテナントにおいて開催される会議に関する情報を管理するシステムである。情報処理システム５０は、会議管理システム９から会議情報を取得し、この会議情報を記録情報と対応付けて管理する。
【0045】
ストレージサービスシステム７０は、ネットワーク上の記憶手段であり、ファイル等の保存を受け付けるストレージサービスを提供する。ストレージサービスシステム７０としてはＯｎｅ Ｄｒｉｖｅ（登録商標）、Ｇｏｏｇｌｅ Ｗｏｒｋｓｐａｃｅ（登録商標）、ＤｒｏｐＢｏｘ（登録商標）等が知られている。ストレージサービスシステム７０は、オンプレミスのＮＡＳ（Network Attached Storage）等でもよい。
【0046】
音声認識サービスシステム８０は、音声データに音声認識を行いテキストデータに変換するサービスを提供する。音声認識サービスシステム８０は、汎用的な商用サービスでもよいし、情報処理システム５０の機能の一部でもよい。また音声認識サービスシステム８０はユーザーやテナント毎、会議毎に異なるサービスシステムを設定して用いてもよい。
【0047】
＜ハードウェア構成例＞
図３を参照して、本実施形態に係る情報処理システム５０及び端末装置１０のハードウェア構成について説明する。
図３を参照して、本実施形態に係る情報処理システム５０及び端末装置１０のハードウェア構成について説明する。
【0048】
＜＜情報処理システム及び端末装置＞＞
図３は、本実施形態に係る情報処理システム５０及び端末装置１０の一例のハードウェア構成を示す図である。図３に示されているように、情報処理システム５０及び端末装置１０はコンピュータによって構築されており、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ（Hard Disk）５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ(Interface)５０８、ネットワークＩ／Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、光学ドライブ５１４、メディアＩ／Ｆ５１６を備えている。
図３は、本実施形態に係る情報処理システム５０及び端末装置１０の一例のハードウェア構成を示す図である。図３に示されているように、情報処理システム５０及び端末装置１０はコンピュータによって構築されており、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ（Hard Disk）５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ(Interface)５０８、ネットワークＩ／Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、光学ドライブ５１４、メディアＩ／Ｆ５１６を備えている。
【0049】
これらのうち、ＣＰＵ５０１は、情報処理システム５０及び端末装置１０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ５０９は、ネットワークを利用してデータ通信をするためのインターフェースである。バスライン５１０は、図３に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0050】
また、キーボード５１１は、文字、数値、又は各種指示などの入力に使用される複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。光学ドライブ５１４は、着脱可能な記録媒体の一例としての光記憶媒体５１３に対する各種データの読み出し又は書き込みを制御する。なお、光記憶媒体５１３は、ＣＤ，ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）等でよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。
【0051】
＜＜ミーティングデバイス＞＞
図４を用いて、ミーティングデバイス６０のハードウェア構成を説明する。図４は、３６０°の動画を撮像可能なミーティングデバイス６０のハードウェア構成図の一例である。以下では、ミーティングデバイス６０は撮像素子を使用した、デバイスの周囲３６０°の動画を所定の高さで撮像する装置とするが、撮像素子は１つでも２つ以上のいくつでもよい。また、必ずしも専用装置である必要はなくPCやデジタルカメラ、スマートフォン等に後付けの３６０°動画の撮像ユニットを取り付けることで、実質的に同じ機能を有するようにしてもよい。
図４を用いて、ミーティングデバイス６０のハードウェア構成を説明する。図４は、３６０°の動画を撮像可能なミーティングデバイス６０のハードウェア構成図の一例である。以下では、ミーティングデバイス６０は撮像素子を使用した、デバイスの周囲３６０°の動画を所定の高さで撮像する装置とするが、撮像素子は１つでも２つ以上のいくつでもよい。また、必ずしも専用装置である必要はなくPCやデジタルカメラ、スマートフォン等に後付けの３６０°動画の撮像ユニットを取り付けることで、実質的に同じ機能を有するようにしてもよい。
【0052】
図４に示されているように、ミーティングデバイス６０は、撮像ユニット６０１、画像処理ユニット６０４、撮像制御ユニット６０５、マイク６０８、音処理ユニット６０９、ＣＰＵ(Central Processing Unit)６１１、ＲＯＭ(Read Only Memory)６１２、ＳＲＡＭ(Static Random Access Memory)６１３、ＤＲＡＭ(Dynamic Random Access Memory)６１４、操作部６１５、外部機器接続Ｉ／Ｆ６１６、通信部６１７、アンテナ６１７ａ、音声センサー６１８、及びMicro USB用の凹状の端子６２１によって構成されている。
【0053】
このうち、撮像ユニット６０１は、半球画像を結像するための３６０°の画角を有する広角レンズ（いわゆる魚眼レンズ）６０２と、各広角レンズに対応させて設けられている撮像素子６０３（イメージセンサー）を備えている。撮像素子６０３は、魚眼レンズ６０２による光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサーやＣＣＤ(Charge Coupled Device)センサーなどの画像センサー、この画像センサーの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。なお撮像ユニット６０１は３６０°カメラであってもよく、ミーティングデバイス６０の周囲３６０°を撮像可能な撮像手段の例である。なお、複数の撮像素子（例えば１８０°＋１８０°）で取得した複数の情報を合成して３６０°の画角にしてもよい。
【0054】
撮像ユニット６０１の撮像素子６０３（イメージセンサー）は、各々、画像処理ユニット６０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット６０１の撮像素子６０３は、撮像制御ユニット６０５とは、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット６０４、撮像制御ユニット６０５及び音処理ユニット６０９は、バス６１０を介してＣＰＵ６１１と接続される。更に、バス６１０には、ＲＯＭ６１２、ＳＲＡＭ６１３、ＤＲＡＭ６１４、操作部６１５、外部機器接続Ｉ／Ｆ６１６、通信部６１７、及び音声センサー６１８なども接続される。
【0055】
画像処理ユニット６０４は、撮像素子６０３から出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施して、魚眼映像からパノラマ画像や話者画像のデータを作成する。更に、画像処理ユニット６０４は、パノラマ画像と話者画像等を合成処理して、１つの動画を出力する。
【0056】
撮像制御ユニット６０５は、一般に撮像制御ユニット６０５をマスタデバイス、撮像素子６０３をスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子６０３のレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ６１１から受け取る。また、撮像制御ユニット６０５は、同じくＩ２Ｃバスを利用して、撮像素子６０３のレジスタ群のステータスデータ等を取り込み、ＣＰＵ６１１に送る。
【0057】
また、撮像制御ユニット６０５は、操作部６１５の撮像開始ボタンが押下されたタイミングあるいはPCから撮像開始指示を受信したタイミングで、撮像素子６０３ａ，６０３ｂに画像データの出力を指示する。ミーティングデバイス６０によっては、ディスプレイ（例えば、ＰＣやスマートフォンのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子６０３からの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。
【0058】
また、撮像制御ユニット６０５は、後述するように、ＣＰＵ６１１と協働して撮像素子６０３の画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、ミーティングデバイス６０にはディスプレイが設けられていないが、表示部を設けてもよい。
【0059】
マイク６０８は、音を音（信号）データに変換する。音処理ユニット６０９は、マイク６０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。
【0060】
ＣＰＵ６１１は、ミーティングデバイス６０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ６１２は、ＣＰＵ６１１のための種々のプログラムを記憶している。ＳＲＡＭ６１３及びＤＲＡＭ６１４はワークメモリであり、ＣＰＵ６１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ６１４は、画像処理ユニット６０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
【0061】
操作部６１５は、撮像開始ボタン６１５ａなどの操作ボタンの総称である。ユーザーは操作部６１５を操作することで、撮像や録画を開始する他、電源ON/OFFの実行、通信接続の実行、種々の撮像モードや撮像条件などの設定を入力する。
【0062】
外部機器接続Ｉ／Ｆ６１６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＰＣ(Personal Computer) 、ディスプレイ、プロジェクタ、電子黒板等である。外部機器接続Ｉ／Ｆ６１６は例えばＵＳＢ端子、ＨＤＭＩ（登録商標）端子等を備えていてもよい。ＤＲＡＭ６１４に記憶された動画データや画像データは、この外部機器接続Ｉ／Ｆ６１６を介して外部端末に送信されたり、外付けのメディアに記録されたりする。また、複数の外部機器接続Ｉ／Ｆ６１６を用い、例えば、ミーティングデバイス６０で撮像し取得した画像情報をＰＣへＵＳＢを介して送信して記録しながら、ＰＣからミーティングデバイス６０へ映像（例えば遠隔会議アプリで表示する画面情報など）を取得し、更にミーティングデバイス６０からＨＤＭＩで他の外部機器（ディスプレイ、プロジェクタ、電子黒板等）へ送信して表示してもよい。
【0063】
通信部６１７は、ミーティングデバイス６０に設けられたアンテナ６１７ａを介して、Wi－Fi等の無線通信技術によって、インターネット経由でクラウドサーバと通信し、記憶した動画データや画像データをクラウドサーバに送信してもよい。また、通信部６１７は、BLE（Bluetooth Low Energy。登録商標）やNFC等の近距離無線通信技術を用いて付近のデバイスと通信してもよい。
【0064】
音声センサー６１８は、ミーティングデバイス６０の周辺（水平面）の３６０°においてどの方向から音声が大きい音で入力されたかを特定するために、３６０°の音声情報を取得するセンサーである。音処理ユニット６０９は入力した３６０°の音声パラメータに基づき、最も強い方向を特定して３６０°における音声入力方向を出力する。
【0065】
なお、他のセンサー（方位・加速度センサーやGPS等）が方位・位置・角度・加速度等を算出し、画像補正や位置情報付加に用いてもよい。
【0066】
また画像処理ユニット６０４は、以下の処理を行う。
【0067】
・ＣＰＵ６１１は、パノラマ画像の作成を次の方法で行う。ＣＰＵ６１１は、球面映像を入力するイメージセンサーから入力されたRAWデータをBayer変換（RGB補完処理）等の所定のカメラ映像処理を行って魚眼映像（曲面の画像からなる映像）を作成する。更に作成した魚眼映像（曲面の映像）に対してDeWarp処理（歪み補正処理）等の平面化処理を行い、ミーティングデバイス６０の周辺の３６０°が写ったパノラマ画像（平面の画像からなる映像）を作成する。
【0068】
・ＣＰＵ６１１は話者画像の作成を次の方法で行う。ＣＰＵ６１１は周辺の３６０°が写ったパノラマ画像（平面の映像）から、話者を切り出した話者画像を作成する。ＣＰＵ６１１は、音声センサー６１８及び音処理ユニット６０９を用いて出力した360°から特定した音声入力方向を、話者の方向として、上記パノラマ画像から話者画像を切り出す。このとき音声入力方向から人の画像を切り出す方法は、360°から特定した音声方向を中心に30°を切り取って、その中で顔検出を実施して切り出す。ＣＰＵ６１１は、更に切り出した話者画像のうち、直近で発言のあった特定人数分（３名等）の話者画像を特定する。
【0069】
パノラマ画像と、１以上の話者画像は個別に情報記録アプリ４１に送信されてもよいし、ミーティングデバイス６０がこれらから１枚の画像を作成して、情報記録アプリ４１に送信してもよい。本実施形態では、パノラマ画像と１以上の話者画像は個別にミーティングデバイス６０から情報記録アプリ４１に送信されるものとする。
【0070】
図５は、ミーティングデバイス６０の撮像範囲を説明する図である。図５（ａ）に示すように、ミーティングデバイス６０は水平方向に３６０°の範囲を撮像する。図５（ｂ）に示すように、ミーティングデバイス６０は、ミーティングデバイス６０の高さに水平な方向を０°とし、上下に所定の角度を撮像範囲とする。
【0071】
図６は、パノラマ画像と話者画像の切り出しを説明する図である。図６に示すように、ミーティングデバイス６０が撮像する画像は球体の一部１１０をなすため、三次元の形状を有している。ミーティングデバイス６０は、図５（ｂ）で示したように、上下の所定角度と左右の所定角度ごとに画角を区切って透視投影変換を行う。透視投影変換を水平方向３６０°の全体で隙間なく行うことで、所定数の平面画像が得られるので、所定数の平面画像を左右に連結することでパノラマ画像１１１が得られる。また、ミーティングデバイス６０はパノラマ画像から音声方向を中心に所定の範囲で顔検出を実施して、顔の中心から左右に１５°（全体で３０°）を切り出すことで、話者画像１１２を作成する。
【0072】
＜機能について＞
次に、図７を参照して、記録情報表示システム１００が有する機能構成について説明する。図７は、記録情報表示システム１００における端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０の機能をブロックに分けて説明する機能ブロック図の一例である。
次に、図７を参照して、記録情報表示システム１００が有する機能構成について説明する。図７は、記録情報表示システム１００における端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０の機能をブロックに分けて説明する機能ブロック図の一例である。
【0073】
＜＜端末装置＞＞
端末装置１０で動作する情報記録アプリ４１は、通信部１１、操作受付部１２、表示制御部１３、アプリ画面取得部１４、音声取得部１５、デバイス通信部１６、動画保存部１７、音声データ処理部１８、記録動画表示部１９、アップロード部２０、編集処理部２１、及び、検索部２２を有している。端末装置１０が有するこれら各部は、図３に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開された情報記録アプリ４１に従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、端末装置１０は、図３に示されているＨＤ５０４等によって構築される記憶部１０００を有している。記憶部１０００には情報記憶部１００１が構築されている。
端末装置１０で動作する情報記録アプリ４１は、通信部１１、操作受付部１２、表示制御部１３、アプリ画面取得部１４、音声取得部１５、デバイス通信部１６、動画保存部１７、音声データ処理部１８、記録動画表示部１９、アップロード部２０、編集処理部２１、及び、検索部２２を有している。端末装置１０が有するこれら各部は、図３に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開された情報記録アプリ４１に従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、端末装置１０は、図３に示されているＨＤ５０４等によって構築される記憶部１０００を有している。記憶部１０００には情報記憶部１００１が構築されている。
【0074】
通信部１１は、ネットワークを介して情報処理システム５０と各種の情報を通信する。通信部１１は、例えば、遠隔会議のリストを情報処理システム５０から受信したり、音声データの認識要求を情報処理システム５０に送信したりする。
【0075】
表示制御部１３は情報記録アプリ４１に設定されている画面遷移にしたがって情報記録アプリ４１においてユーザーインターフェースとなる各種の画面を表示する。操作受付部１２は、情報記録アプリ４１に対する各種の操作を受け付ける。
【0076】
アプリ画面取得部１４は、ユーザーが選択したアプリが表示する画面情報、又は、デスクトップ画面の画面情報などをＯＳ（Operating System）等から取得する。ユーザーが選択したアプリが遠隔会議アプリ４２の場合、遠隔会議アプリ４２が生成する画面（各拠点の端末装置カメラによる端末装置ユーザーの撮像画像、共有している資料の表示画像、参加者アイコンや参加者名等を含む画像）が得られる。アプリが表示する画面情報（アプリ画面）は、遠隔会議アプリ等を含む実行中のアプリケーションがウィンドウとして表示し、情報記録アプリケーションが画像として取得する情報である。アプリケーションのウィンドウは、ウィンドウの領域をデスクトップイメージ全体における領域として描画されモニター等に表示される。アプリが表示する画面情報は、ＯＳ（Operating System）のＡＰＩや表示するアプリのＡＰＩ等を介して、他のアプリケーション（情報記録アプリケーション等）が、画像ファイルや、連続した複数の画像から構成される動画ファイルとして取得可能である。また、デスクトップ画面の画面情報は、ＯＳが生成するデスクトップ画面の画像から構成される情報であり、同様に画像ファイルや動画ファイルとして、ＯＳのＡＰＩを介して取得可能である。これらの画像ファイルの形式はビットマップ、ＰＮＧ、その他の形式であってもよい。また動画ファイルの形式はＭＰ４、その他の形式でもよい。
【0077】
音声取得部１５は、端末装置１０がマイクやイヤホンから出力する音声（遠隔会議アプリ４２から遠隔会議において受信された音声データを含む）を取得する。出力音声がミュート状態でも、音声取得部１５は音声を取得できる。音声データに関してユーザーは遠隔会議アプリ４２を選択するなどの操作は必要なく、音声取得部１５は、端末装置１０が出力できる音声を、ＯＳやアプリのＡＰＩ（Application Interface）を介して取得できる。これにより、遠隔会議アプリ４２が他の拠点１０１から受信する音声データも取得される。遠隔会議アプリ４２が実行中でなかったり、遠隔会議中でなかったりする場合、情報記録アプリ４１は音声データを取得できない場合がある。なお、音声取得部１５が取得する音声は、端末装置１０が集音する音声は含まれず、出力する音声データのみとしてもよい。ミーティングデバイス６０が別に、拠点の音声を集音しているためである。
【0078】
デバイス通信部１６は、ＵＳＢケーブルなどを利用してミーティングデバイス６０と通信する。デバイス通信部１６は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等でミーティングデバイス６０と通信してよい。デバイス通信部１６は、パノラマ画像と話者画像をミーティングデバイス６０から受信し、音声取得部１５が取得した音声データをミーティングデバイス６０に送信する。デバイス通信部１６は、ミーティングデバイス６０で合成された音声データを受信する。
【0079】
動画保存部１７は、デバイス通信部１６が受信したパノラマ画像、話者画像、及び、アプリ画面取得部１４が取得したアプリの画面を、それぞれ別の記録動画として保存する。動画保存部１７は、合成された音声データを別途、保存する。動画保存部１７は、音声データをパノラマ画像に結合して音声付きのパノラマ画像を作成してもよい。
【0080】
音声データ処理部１８は、ミーティングデバイス６０から受信した合成後の音声データの、テキストデータへの変換を情報処理システム５０に要求する。
【0081】
記録動画表示部１９は、記録動画の表示を行う。記録動画は、録画中は端末装置１０に保存され、その後、情報処理システム５０にアップロードされる。
【0082】
アップロード部２０は、遠隔会議が終了すると、記録動画と音声データを情報処理システム５０に送信する。
【0083】
編集処理部２１は、ユーザーの操作に応じて、記録動画の編集（一部の削除、つなぎ合わせ等）を実行する。
【0084】
検索部２２は、ユーザーが入力したキーワードでテキストデータを検索する。検索に適合したテキストデータの一部は、会議開始からどのくらいに時間に発言されたかも特定される。
【0085】
図８は、情報記憶部１００１が記憶している動画記録情報を示す。動画記録情報は、会議ＩＤ、録画ＩＤ、更新日時、タイトル、アップロード、保存先等の各項目を有している。ユーザーが情報処理システム５０にログインすると、情報記録アプリ４１は情報処理システム５０が会議管理システム９から取得する会議情報と、情報処理システム５０が有するアプリ側会議情報をダウンロードできる。会議情報に含まれる会議ＩＤなどが動画記録情報に反映される。図８の動画記録情報は、あるユーザーが操作する端末装置１０が保持するものである。
【0086】
・会議ＩＤは、開催された遠隔会議を識別する識別情報である。会議ＩＤは、会議管理システム９に遠隔会議の予定が登録された際に採番されるか、又は、情報記録アプリ４１からの要求で情報処理システム５０が採番する。なお会議管理システム９は、会議及び遠隔会議の予定や、遠隔会議を開始するＵＲＬ（会議リンク）、会議で利用する機器の予約情報などを登録するためのシステムであり、端末装置１０からネットワークを介して接続するスケジューラ等である。また会議管理システム９は登録した予定等を情報処理システム５０に送信することが可能である。
【0087】
・録画ＩＤは、遠隔会議において録画された記録動画を識別する識別情報である。録画ＩＤはミーティングデバイス６０が採番するが、情報記録アプリ４１や情報処理システム５０が採番してもよい。同じ会議ＩＤに異なる録画ＩＤが付与されるのは、遠隔会議の途中で録画が終了したが、何らかの理由で再開した場合を示す。
【0088】
・更新日時は、記録動画が更新された（録画が終了した）日時である。記録動画が編集された場合、編集された日時である。
【0089】
・タイトルは、会議の会議名である。会議管理システム９への会議の登録時に設定されてもよいし、ユーザーが任意に設定してもよい。
【0090】
・アップロードは、記録動画が情報処理システム５０にアップロードされたか否かを示す。
【0091】
・保存先は、ストレージサービスシステム７０において、記録動画とテキストデータが保存されている場所（ＵＲＬやファイルパス）を示す。したがって、ユーザーはアップロードされた記録動画を任意に閲覧できる。なお、パノラマ画像、話者画像、アプリの画面、及び、テキストデータは、例えばＵＲＬに続いて別々のファイル名で保存される。
【0092】
＜＜ミーティングデバイス＞＞
図７に戻って説明する。ミーティングデバイス６０は、端末通信部６１、パノラマ画像作成部６２、話者画像作成部６３、集音部６４、及び、音声合成部６５を有している。ミーティングデバイス６０が有するこれら各部は、図４に示されている各構成要素のいずれかが、ＲＯＭ６１２からＤＲＡＭ６１４に展開されたプログラムに従ったＣＰＵ６１１からの命令によって動作することで実現される機能、又は機能する手段である。
図７に戻って説明する。ミーティングデバイス６０は、端末通信部６１、パノラマ画像作成部６２、話者画像作成部６３、集音部６４、及び、音声合成部６５を有している。ミーティングデバイス６０が有するこれら各部は、図４に示されている各構成要素のいずれかが、ＲＯＭ６１２からＤＲＡＭ６１４に展開されたプログラムに従ったＣＰＵ６１１からの命令によって動作することで実現される機能、又は機能する手段である。
【0093】
端末通信部６１は、ＵＳＢケーブルなどを利用して端末装置１０と通信する。端末通信部６１は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等で端末装置１０と通信してよい。
【0094】
【0095】
集音部６４は、ミーティングデバイス６０が有するマイクが取得する音声信号を音声データ（デジタル）に変換する。これにより、端末装置１０側の拠点でユーザーや参加者が発言した内容が集音される。
【0096】
音声合成部６５は、端末装置１０から送信された音声と集音部６４が集音した音声を合成する。これにより、他の拠点１０１で発言された音声と、自拠点１０２の発言がまとめられる。
【0097】
＜＜情報処理システム＞＞
情報処理システム５０は、通信部５１、認証部５２、画面生成部５３、会議情報取得部５４、テキスト変換部５５を有する。情報処理システム５０が有するこれら各部は、図３に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システム５０は、図３に示されているＨＤ５０４等によって構築される記憶部５０００を有している。記憶部５０００には、アプリ側会議情報記憶部５００１と録画情報記憶部５００２が構築される。
情報処理システム５０は、通信部５１、認証部５２、画面生成部５３、会議情報取得部５４、テキスト変換部５５を有する。情報処理システム５０が有するこれら各部は、図３に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システム５０は、図３に示されているＨＤ５０４等によって構築される記憶部５０００を有している。記憶部５０００には、アプリ側会議情報記憶部５００１と録画情報記憶部５００２が構築される。
【0098】
通信部５１は、端末装置１０と各種の情報を送受信する。通信部５１は、例えば、遠隔会議のリストを端末装置１０に送信したり、音声データの認識要求を端末装置１０から受信したりする。
【0099】
認証部５２は、端末装置１０を操作するユーザーを認証する。認証部５２は、例えば、通信部５１によって受信された認証要求に含まれている認証情報（ユーザーＩＤ及びパスワード）が予め保持する認証情報と一致するか否かにより、ユーザーを認証する。なお、認証情報は、ＩＣカードのカード番号、顔や指紋などの生体認証情報等でもよい。また、認証部５２は、外部の認証システムやＯＡＵＴＨなどの認証方法で認証してもよい。
【0100】
画面生成部５３は端末装置１０が表示する画面情報の生成を行う。端末装置１０がネイティブアプリを実行する場合は、画面情報は端末装置１０が保持しており、表示される情報がＸＭＬ等で送信される。端末装置１０がＷｅｂアプリを実行する場合は、画面情報は、ＨＴＭＬ、ＸＭＬ、ＣＳＳ（Cascade Style Sheet）、及びJavaScript（登録商標）等により作成される。
【0101】
会議情報取得部５４は、各ユーザーのアカウント又は情報処理システム５０に付与されたシステム用のアカウントで、会議情報を会議管理システム９から取得する。会議情報取得部は、テナントに所属するユーザーに閲覧権限がある遠隔会議のリストを取得できる。なお、閲覧権限は、端末装置１０の情報記録アプリから直接、会議管理部５４が管理する会議情報に対して付与されてもよい。またテナントに所属するユーザーに閲覧権限がある遠隔会議の情報には、ユーザーが作成した会議の情報と、ユーザーが他のユーザーによって閲覧権限を与えられた会議の情報とが含まれる。遠隔会議には会議ＩＤが設定されているので、会議ＩＤにより遠隔会議と記録情報が対応付けられる。
【0102】
テキスト変換部５５は、端末装置１０からテキストデータへの変換を要求された音声データを外部の音声認識サービスを利用してテキストデータに変換する。テキスト変換部５５自身が変換してもよい。
【0103】
図９は、アプリ側会議情報記憶部５００１に記憶されているアプリ側会議情報の一例である。アプリ側会議情報は、情報記録アプリ４１が記録情報を作成する際に、会議情報とは別に作成される情報記録アプリ４１側の会議情報である。
【0104】
・会議ＩＤは、会議の識別情報である。会議ＩＤは、会議管理システム９が管理する会議情報とアプリ側会議情報とを対応付ける。
【0105】
・アプリＩＤは、情報記録アプリ４１の識別情報である。
【0106】
・アクセストークン発行先のユーザーＩＤは、アクセストークンを発行するストレージサービスシステム７０の識別情報である。
【0107】
・アクセストークン発行元のＵＲＬは、アクセストークンを発行するストレージサービスシステム７０のＵＲＬである。
【0108】
・発行日時は、アクセストークンが発行された日時である。発行日時は、発行時に決定されている。
【0109】
・有効になる日時は、アクセストークンが有効になる日時である。有効になる日時は、発行元により決定されている。
【0110】
・有効期限は、アクセストークンの有効期限である。有効期限は、発行元により決定されている。
【0111】
・権限情報は、アクセストークンによりユーザーが可能な処理の権限である。権限情報は、発行元により決定されている。
【0112】
・表示名は、情報記録アプリ４１におけるユーザーの表示名である。
【0113】
・姓は、ユーザーの姓である。
【0114】
・名は、ユーザーの名である。
【0115】
図１０は、録画情報記憶部５００２に記憶されている録画情報を示す。録画情報は、テナントに所属する全てのユーザーが録画した記録動画のリストを有する。録画情報は、会議ＩＤ、録画ＩＤ、更新日時、タイトル、保存先等の各項目を有してる。これらの項目は図８と同様でよい。保存先（クラウドストレージシステムのＵＲＬ等のパス情報）は、ユーザーが所望の保存先情報を端末装置１０の情報記録アプリ４１のユーザー設定画面等で入力し、録画情報記憶部５００２に記憶してもよい。
【0116】
＜＜会議管理システム＞＞
図７に戻って説明する。会議管理システム９は、会議情報管理部３１を有している。会議管理システム９が有するこれら各部は、図３に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、会議管理システム９は、図３に示されているＨＤ５０４等によって構築される記憶部を有している。記憶部３０００には、会議情報記憶部３００１が構築される。
図７に戻って説明する。会議管理システム９は、会議情報管理部３１を有している。会議管理システム９が有するこれら各部は、図３に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、会議管理システム９は、図３に示されているＨＤ５０４等によって構築される記憶部を有している。記憶部３０００には、会議情報記憶部３００１が構築される。
【0117】
会議情報管理部３１は、テナントで行われる会議情報を管理している。会議情報は会議情報記憶部３００１に保存されている。
【0118】
図１１は、会議情報記憶部３００１に記憶された会議情報の一例である。会議情報は会議ＩＤで管理され、図示する各項目を有している。
【0119】
・会議ＩＤは、会議の識別情報である。
【0120】
・テナントＩＤは、会議が開催されるテナントの識別情報である。
【0121】
・タイトルは、会議の件名や議題である。
【0122】
・開催者は、当該会議の開催者である。
【0123】
・参加者は、会議に招待された参加者のリストである。
【0124】
・閲覧権限があるユーザーは、記録動画を含む会議リソースへのアクセス可能なユーザーのリストである。
【0125】
・アドホック参加者は、ゲスト参加者のリストである。
【0126】
・場所は、会議室の名称など、会議室に関する情報である。
【0127】
・開始時刻は、会議が開始される予定時刻である。
【0128】
・終了時刻は、会議が終了される予定時刻である。
【0129】
・会議作成者は、会議情報を登録したユーザーＩＤ等である。
【0130】
・パスワードは、参加者が会議にログインするためのパスワードである。
【0131】
＜＜ストレージサービスシステム＞＞
ストレージサービスシステム７０は情報を記憶するサービスシステムであればよい。ここではストレージサービスシステム７０に保存されるテキストデータの構造を説明する。
ストレージサービスシステム７０は情報を記憶するサービスシステムであればよい。ここではストレージサービスシステム７０に保存されるテキストデータの構造を説明する。
【0132】
図１２は、ストレージサービスシステム７０に保存されているテキストデータの構造を説明する図である。図１２に示すように、テキストデータは、ＩＤ、time、user、textの項目が対応付けられている。ＩＤはテキストデータが所定の規則でtextに区切られた場合に採番される識別情報である。所定の規則は、音声認識サービスシステム８０に設定されており、例えば、一定時間の無音状態が継続すると区切る、無音状態がなくても一定時間で強制的に区切る、形態素解析に検出した一文ずつ区切る、などである。timeは、録画開始からの継続時間による発言時刻である。記録開始時にいわゆる時刻も保存されるので、textの文字列が発言された時刻（絶対的な時刻）も分かる。userは音圧などで判断された自拠点の発言か、他の拠点の発言かを示す。textの文字列は区切られたテキストデータの一部である。
【0133】
このように、timeとtextが対応付けられているので、テキストデータが検索に適合すると、情報記録アプリ４１はこのtimeに対応する表示時刻から記録動画を表示できる。
【0134】
＜画面遷移＞
続いて、図１３～図２２を参照して、端末装置１０が遠隔会議中に表示するいくつかの画面について説明する。図１３は、端末装置１０で動作する情報記録アプリ４１が表示するログイン後の初期画面２００である。端末装置１０のユーザーが情報記録アプリ４１を情報処理システム５０に接続させる。ユーザーが認証情報を入力してログインに成功すると、図１３の初期画面２００が表示される。
続いて、図１３～図２２を参照して、端末装置１０が遠隔会議中に表示するいくつかの画面について説明する。図１３は、端末装置１０で動作する情報記録アプリ４１が表示するログイン後の初期画面２００である。端末装置１０のユーザーが情報記録アプリ４１を情報処理システム５０に接続させる。ユーザーが認証情報を入力してログインに成功すると、図１３の初期画面２００が表示される。
【0135】
初期画面２００は、固定表示ボタン２０１、正面変更ボタン２０２、パノラマ画像２０３、１つ以上の話者画像２０４ａ～２０４ｃ（以下、区別しない場合、話者画像２０４という）、及び、記録開始ボタン２０５を有している。ログイン時にすでにミーティングデバイス６０が起動して、周囲を撮像している場合、初期画面２００にミーティングデバイス６０が作成するパノラマ画像２０３、及び話者画像２０４が表示される。したがって、ユーザーはこれらを見ながら、記録開始するかどうか決めることができる。ミーティングデバイス６０が起動していない（撮像していない）場合、パノラマ画像２０３と話者画像２０４は表示されない。
【0136】
なお、情報記録アプリ４１は、パノラマ画像２０３から検出された全ての顔に基づく全ての参加者の話者画像２０４を表示してもよいし、直近に発言したＮ人の話者画像２０４のみを表示してもよい。図１３では、最大３人まで話者画像２０４が表示される例を示す。参加者が発言するまでの間、話者画像２０４がなくてもよいし（発言に応じて一人ずつ増える）、所定の方向の参加者の３人の話者画像２０４が表示されてもよい（発言に応じて入れ替わる）。
【0137】
なお、ミーティングデバイス６０が起動した直後など、誰も発言していない場合、水平３６０°のうちの予め決められた方向（０°、１２０°、２４０°など）を話者画像２０４として作成する。後述する固定表示が設定されている場合は、固定表示の設定が優先される。
【0138】
固定表示ボタン２０１は、パノラマ画像２０３のある領域を話者画像２０４として固定でクローズアップする操作をユーザーが行うためのボタンである。
【0139】
図１４は、固定表示ボタン２０１がオンの場合の操作方法を説明する図である。例えば、ユーザーはマウスやタッチパネルなどのポインティングデバイスで、矩形のウィンドウ２０６をパノラマ画像２０３上で移動させる。ユーザーはパノラマ画像２０３に含まれるホワイトボードや演台などにウィンドウ２０６を合わせる。ユーザーの操作はミーティングデバイス６０に送信され、ミーティングデバイス６０は、水平方向３６０°のうちウィンドウで指示された範囲の画像を、話者画像２０４と同じ大きさで作成し、端末装置１０に送信する。こうすることで、話者画像２０４が話者以外のホワイトボードなども継続して表示できる。
【0140】
図１３に戻り、正面変更ボタン２０２は、パノラマ画像２０３の正面を変更する操作をユーザーが行うためのボタンである（パノラマ画像は水平方向に３６０°写っているので、方向として右端と左端が一致する）。ユーザーはポインティングデバイスでパノラマ画像２０３を左右にスライドさせて、正面に写る参加者を決定できる。ユーザーの操作はミーティングデバイス６０に送信され、ミーティングデバイス６０は、水平方向３６０°のうち正面にする角度を変更してパノラマ画像を作成し、端末装置１０に送信する。
【0141】
ユーザーが記録開始ボタン２０５を押下すると情報記録アプリ４１が図１６の録画設定画面２１０を表示する。
【0142】
なお、情報記録アプリ４１の起動時にミーティングデバイス６０が未接続又は電源が入っていない場合、図１５の機器未認識画面２５０が表示される。
【0143】
図１５は、機器未認識画面２５０の一例を示す。機器未認識画面２５０は「機器を認識できません。機器の電源を入れて接続して下さい。」というメッセージ２５１を表示する。ユーザーはこれを見てミーティングデバイス６０の電源や接続状態を確認できる。
【0144】
図１６は、情報記録アプリ４１が表示する録画設定画面２１０の一例である。録画設定画面２１０では、ミーティングデバイス６０が作成したパノラマ画像及び話者画像、並びに、端末装置１０のデスクトップ画面又は動作するアプリの画面、を録画するかをユーザーが（録画に含めるか）設定できる。パノラマ画像及び話者画像、及び、デスクトップ画面又は動作するアプリの画面のどちらも、情報記録アプリ４１が録画しない場合は音声（端末装置１０が出力する音声＋ミーティングデバイス６０が集音した音声）のみ記録される。
【0145】
カメラトグルボタン２１１は、ミーティングデバイス６０が作成したパノラマ画像及び話者画像の録画のオンとオフを切り替えるボタンである。カメラトグルボタン２１１は、パノラマ画像と話者画像を個別に録画する設定が可能でもよい。
【0146】
ＰＣ画面トグルボタン２１２は、端末装置１０のデスクトップ画面、端末装置１０で動作するアプリの画面の、録画のオンとオフを切り替えるボタンである。ＰＣ画面トグルボタン２１２がオンの状態で、デスクトップ画面が録画される。
【0147】
ユーザーがアプリの画面を録画したい場合、更に、アプリ選択欄２１３で、アプリを選択する。アプリ選択欄２１３には端末装置１０が実行中のアプリ名がプルダウン形式で表示される。ユーザーは録画するアプリを選択できる。このアプリ名は、情報記録アプリ４１がＯＳから取得する。情報記録アプリ４１は実行中のアプリのうち、ＵＩ（画面）を持つアプリのみを表示することができる。選択されるアプリの中に、遠隔会議アプリ４２が含まれてよい。このため、情報記録アプリ４１は、遠隔会議アプリ４２で表示した資料や各拠点の参加者なども動画で記録できる。この他、プルダウンで表示されるアプリは、プレゼンテーション用アプリ、ワープロアプリ、表計算アプリ、文書等の資料作成編集アプリ、クラウド電子黒板アプリ、Ｗｅｂブラウザアプリ、など端末装置で実行中の様々なアプリである。したがって、ユーザーは記録動画に含めるアプリの画面を柔軟に選択できる。
【0148】
また、アプリ単位で録画する場合、ユーザーは複数のアプリを選択できる。情報記録アプリ４１は、選択された全てのアプリの画面を録画できる。
【0149】
カメラトグルボタン２１１とＰＣ画面トグルボタン２１２が双方ともオフの場合、録画内容確認ウィンドウ２１４に「音声のみ記録されます」と表示される。この音声は、端末装置１０が出力する音声（遠隔会議アプリ４２が他の拠点１０１から受信する音声）と、ミーティングデバイス６０が集音する音声である。つまり、遠隔会議が実施されていれば、遠隔会議アプリ４２の音声とミーティングデバイス６０の音声は、画像の記録に関係なく保存される。ただし、ユーザーは、ユーザーの設定で遠隔会議アプリ４２の音声、ミーティングデバイス６０の音声の保存を選択的に停止できてよい。
【0150】
カメラトグルボタン２１１とＰＣ画面トグルボタン２１２のオンとオフの組み合わせに応じて、以下のように記録動画が録画される。また、録画内容確認ウィンドウ２１４にはリアルタイムに記録動画が表示される。
【0151】
・カメラトグルボタン２１１がオン、ＰＣ画面トグルボタン２１２がオフの場合は、録画内容確認ウィンドウ２１４に、ミーティングデバイス６０が撮像したパノラマ画像と話者画像が表示される。
【0152】
・カメラトグルボタン２１１がオフ、ＰＣ画面トグルボタン２１２がオン（画面も選択済）の場合、録画内容確認ウィンドウ２１４に、デスクトップ画面や選択されたアプリの画面が表示される。
【0153】
・カメラトグルボタン２１１がオン、ＰＣ画面トグルボタン２１２がオンの場合、録画内容確認ウィンドウ２１４に、ミーティングデバイス６０が撮像したパノラマ画像と話者画像、及び、デスクトップ画面や選択されたアプリの画面が横に並んだ状態で表示される。
【0154】
したがって、パノラマ画像、話者画像、及びアプリの画面が録画されない場合や、パノラマ画像、話者画像、及びアプリの画面が一切録画されない場合があるが、本実施形態では、便宜上、情報記録アプリ４１が作成する画像を記録動画という。
【0155】
【0156】
図１８は、カメラトグルボタン２１１がオン、ＰＣ画面トグルボタン２１２がオンの場合の、録画内容確認ウィンドウ２１４の表示例である。図１８では、パノラマ画像２０３と話者画像２０４が左側に、アプリの画面２１７が右側に表示されている。
【0157】
したがって、録画内容確認ウィンドウ２１４により、録画設定画面２１０に対する設定に応じてどのような内容で記録動画（特にミーティングデバイス６０による画像）が記録されるかを、録画開始前にユーザーが確認することができる。
【0158】
なお、図１８はアプリが１つだけ選択された場合の記録動画の表示例であるが、２つ以上のアプリが選択された場合、２つめ以降のアプリの画面は右側に順次、連結される。あるいは、２つめ以降のアプリの画面は縦横の２次元に配置されてもよい。
【0159】
図１６に戻って説明する。録画設定画面２１０は、「記録をアップロード後に自動で文字おこしする」というメッセージと共にチェックボックス２１５を有する。また、録画設定画面２１０は今すぐ記録開始ボタン２１６を有する。ユーザーがチェックボックス２１５にチェックを入れると、記録動画に、遠隔会議中の発言が変換されたテキストデータが添付される。この場合、録画終了後に情報記録アプリ４１がテキストデータへの変換要求と共に音声を情報処理システム５０にアップロードする。また、ユーザーが今すぐ記録開始ボタン２１６を押下すると、図１９の録画中画面２２０が表示される。
【0160】
図１９は、情報記録アプリ４１が録画中に表示する録画中画面２２０の一例である。なお、図１９の説明では主に図１６との相違を説明する。録画中画面２２０は、録画設定画面２１０でユーザーが設定した条件で、録画される記録動画を表示する。図１９の録画中画面２２０は、カメラトグルボタン２１１がオン、ＰＣ画面トグルボタン２１２がオフの場合であり、ミーティングデバイス６０が作成したパノラマ画像２０３と話者画像２０４（いずれも動画）を表示する。録画中画面２２０は、録画中アイコン２２５、一時停止ボタン２２６、及び、録画終了ボタン２２７を表示する。
【0161】
なお、ユーザーがＰＣ画面トグルボタン２１２をオンに設定した場合、図１８に示したように、録画中画面２２０にはパノラマ画像と話者画像に、デスクトップ画面やアプリの画面が隣り合って表示される。
【0162】
一時停止ボタン２２６は録画を停止するためのボタンで、停止後は録画再開も受け付ける。録画終了ボタン２２７は録画を終了するボタンである。一時停止ボタン２２６では録画ＩＤが切り替わらず、録画終了ボタン２２７で録画ＩＤが切り替わる。一時停止して、録画再開時にユーザーは録画設定画面２１０で設定した録画条件を再度設定することもできる。その場合、情報記録アプリ４１は、録画停止ごとに複数の録画ファイルを作成してもよいし（例えば、録画終了ボタン２２７が押下）、１つの動画として連続するように複数ファイルを連結してもよい（例えば、一時停止ボタン２２６が押下）。また、情報記録アプリ４１が記録動画を表示する場合、複数の録画ファイルを、１つの動画として連続して表示してもよい。
【0163】
また、録画中画面２２０は、カレンダから情報取得ボタン２２１、会議名称欄２２２、時間欄２２３、場所欄２２４を有している。カレンダから情報取得ボタン２２１は、ユーザーが会議管理システム９から会議情報を取得するためのボタンである。カレンダから情報取得ボタン２２１が押下されると、情報記録アプリ４１が情報処理システム５０から該ユーザーに閲覧権限がある会議一覧を取得し、表示する。ユーザーは会議一覧から、これから行う遠隔会議を選択する。また、情報記録アプリ４１はアプリ側会議情報も取得できる。これにより、会議名称欄２２２、時間欄２２３、場所欄２２４に会議情報が反映される。会議名称欄２２２には会議情報のタイトルが、時間欄２２３には開始時刻と終了時刻が、場所欄２２４に場所が反映される。また、会議管理システム９における遠隔会議と記録情報が会議ＩＤで対応付けられる。
【0164】
遠隔会議が終了し、ユーザーが録画を終了すると、音声付きの記録動画が作成される。
【0165】
図２０は、情報記録アプリ４１が表示する会議一覧画面２３０の一例である。会議一覧画面２３０は、会議の一覧であるが、遠隔会議において録画された記録情報のリストを表示できる。また、遠隔の会議に関わらず、ある会議室内のみで行われた会議も含まれる。会議一覧画面２３０は、会議情報記憶部３００１においてログインユーザーが閲覧権限のある会議情報と、アプリ側会議情報と、この遠隔会議に対応付けられている録画情報記憶部５００２に保存された情報が統合して表示される。情報記憶部１００１に保存された動画記録情報の情報が更に統合されてもよい。
【0166】
会議一覧画面２３０は、図１３の初期画面２００においてユーザーが会議一覧タブ２３１を選択すると表示される。会議一覧画面２３０は、このユーザーに閲覧権限がある記録情報のリスト２３６を表示する。会議作成者（議事録作成者）は参加者に閲覧権限を設定できる。なお会議一覧は、記憶した記録情報の一覧であっても、会議予定や会議データの一覧であってもよい。
【0167】
会議一覧画面２３０はチェックボックス２３２、更新日時２３３、タイトル２３４、及びステータス２３５の各項目を有する。
【0168】
・チェックボックス２３２は録画ファイルの選択を受け付ける。チェックボックス２３２は、ユーザーがまとめて録画ファイルを削除したい場合に使用される。
【0169】
・更新日時２３３は、記録動画の録画の開始時と終了時を示す。編集された場合は編集日時でよい。
【0170】
・タイトルは２３４、会議のタイトル（議題等）である。会議情報から転記されてもよいし、ユーザーが設定してもよい。
【0171】
・ステータス２３５は、記録動画が情報処理システム５０にアップロード済みか否かを示す。アップロード済みでない場合、「ローカルＰＣ」が表示され、アップロード済みの場合「アップロード済み」が表示される。アップロード済みでない場合、アップロードボタンが表示される。未アップロードの記録動画がある場合、ユーザーが情報処理システム５０にログイン時に、情報記録アプリ４１が自動アップロードするとよい。
【0172】
ユーザーが記録動画のリスト２３６から任意のタイトル等をポインティングデバイスで選択すると、情報記録アプリ４１が図２１の記録動画表示画面２４０を表示する。記録動画表示画面２４０では、記録動画の表示などが可能である。
【0173】
図２１は、情報記録アプリ４１が表示する、記録動画の選択後の記録動画表示画面２４０の一例である。記録動画表示画面２４０は画像表示欄２４１、文字起こしボタン２４２、１つ以上のテキスト表示欄２４３、自動スクロールボタン２４４、検索ボタン２４５を有する。
【0174】
・画像表示欄２４１は、表示ボタン２４１ａ、巻き戻しボタン２４１ｂ、早送りボタン２４１ｃ、タイムインジケータ２４１ｄ、表示速度ボタン２４１ｅ、音量ボタン２４１ｆ等を有する。画像表示欄２４１は、記録動画を表示する。図２１では、画像表示欄２４１の記録動画は、左側にパノラマ画像と話者画像が配置され、右側に遠隔会議アプリ４２の画面が表示されている。遠隔会議アプリ４２の画面は、遠隔会議中に、拠点の画像になったり資料の画像になったりする。したがって、ユーザーは各種のボタンを操作して所望の場面の画面を閲覧できる。
【0175】
・画像表示欄２４１に表示中の記録動画の音声データがテキストデータに変換済みの場合、テキスト表示欄２４３に、発言内容が文字で表示される。テキスト表示欄２４３には、合成された音声データが音声認識により変換されたテキストデータが表示される。
【0176】
・文字起こしボタン２４２は、テキスト表示欄２４３に表示されるテキストデータを記録動画の表示時刻に対応して表示させるか否かをユーザーが切り替えるボタンである。
【0177】
・自動スクロールボタン２４４は、表示時刻に関係なく、自動でテキストデータをスクロールさせるか否かをユーザーが切り替えるボタンである。
【0178】
・検索ボタン２４５は、ユーザーがキーワードを指定してテキストデータを検索するためのボタンである。詳細は後述する。
【0179】
また、記録動画表示画面２４０では、記録動画のダウンロードが可能でもよい。
【0180】
図２２は、記録動画の編集画面２６０の一例である。編集画面２６０は、録画中画面２２０から自動で、又は、記録動画表示画面２４０においてユーザーが所定の操作を行うと遷移する。編集画面２６０は、第一表示欄２６１と第二表示欄２６２を有している。第一表示欄２６１には表示途中のある瞬間の記録動画が表示され、第二表示欄２６２には記録動画を構成するフレームが時系列に表示される。ユーザーは１つ以上のフレームを選択して不要なフレームを削除できる。また、ユーザーはフレームの一部を取り出して、任意のフレームの後に挿入することもできる。編集処理部２１は、ユーザーの操作に応じて記録動画を編集し、編集後の記録動画で上書き、又は別途保存する。
【0181】
＜動作又は処理の手順＞
続いて、以上の構成に基づいて、記録情報表示システム１００が行う動作及び処理について説明する。
続いて、以上の構成に基づいて、記録情報表示システム１００が行う動作及び処理について説明する。
【0182】
【0183】
S1：ユーザーは端末装置１０で情報記録アプリ４１を起動し、端末装置１０（情報記録アプリ４１）を情報処理システム５０に接続させる。アクセストークンの有効期限が切れている場合、表示制御部１３がログイン画面を表示する。ユーザーは情報記録アプリ４１に、テナントにログインするための認証情報（例えばユーザーＩＤ、パスワード）を入力する。情報記録アプリ４１の操作受付部１２が入力を受け付ける。
【0184】
S2：情報記録アプリ４１の通信部１１が、認証情報を指定してログイン要求を情報処理システム５０に送信する。
【0185】
S3：情報処理システム５０の通信部５１はログイン要求を受信し、認証部５２が認証情報に基づいてユーザーを認証する。ここでは認証が成功したものとする。情報処理システム５０の通信部５１はアクセストークン１を情報記録アプリ４１に送信する。図では明記しないが、以降、通信部５１は、アクセストークン１を情報処理システム５０との通信に添付する。アクセストークン１にはログインしたユーザーの権限が対応付けられている。
【0186】
S4：同様に、ユーザーはストレージサービスシステム７０にもログインする。記録情報は、ストレージサービスシステム７０に保存されるためである。ユーザーはストレージサービスシステム７０にログインするための認証情報（例えばユーザーＩＤ、パスワード）を入力する。情報記録アプリ４１の操作受付部１２が入力を受け付ける。
【0187】
S5：情報記録アプリ４１の通信部１１が、認証情報を指定してログイン要求を情報処理システム５０に送信する。
【0188】
S6：情報処理システム５０の通信部５１はログイン要求を受信し、ストレージサービスシステム７０へのログイン要求なので、ログイン要求をストレージサービスシステム７０に転送する。
【0189】
S7：ストレージサービスシステム７０は認証情報に基づいてユーザーを認証する。ここでは認証が成功したものとする。ストレージサービスシステム７０はアクセストークン２を情報処理システム５０に送信する。
【0190】
S8：情報処理システム５０の通信部５１はアクセストークン２を受信し、情報記録アプリ４１に送信する。図では明記しないが、以降、通信部５１は、アクセストークン２をストレージサービスシステム７０との通信に添付する。アクセストークン２にはログインしたユーザーの権限が対応付けられている。
【0191】
S21：続いて、ユーザーは遠隔会議アプリ４２を操作して遠隔会議を開始する。ここでは、自拠点１０２と他の拠点１０１の遠隔会議アプリ４２が遠隔会議を開始したものとする。自拠点１０２の遠隔会議アプリ４２は、端末装置１０が有するカメラが撮像する画像、マイクが集音する音声を他の拠点１０１の遠隔会議アプリ４２に送信する。他の拠点１０１の遠隔会議アプリ４２は、受信した画像をディスプレイに表示し、受信した音声をスピーカから出力する。同様に、他の拠点１０１の遠隔会議アプリ４２は、端末装置１０が有するカメラが撮像する画像、マイクが集音する音声を自拠点１０２の遠隔会議アプリ４２に送信する。自拠点１０２の遠隔会議アプリ４２は、受信した画像をディスプレイに表示し、受信した音声をスピーカから出力する。各遠隔会議アプリ４２はこれを繰り返して、遠隔会議を実現する。
【0192】
S22：ユーザーは図１６に示した情報記録アプリ４１の録画設定画面２１０に対し、録画に関する設定を行う。情報記録アプリ４１の操作受付部１２が設定を受け付ける。ここでは、カメラトグルボタン２１１、及び、ＰＣ画面トグルボタン２１２が共にオンであるとする。
【0193】
ユーザーは遠隔会議を事前に予約済みの場合、図１９のカレンダから情報取得ボタン２２１を押下することで遠隔会議のリストを表示し、記録動画を対応付ける遠隔会議を選択できる。ユーザーは情報処理システム５０にログイン済みなので、情報処理システム５０はログインしたユーザーが閲覧権限のある遠隔会議を特定する。情報処理システム５０は特定した遠隔会議のリストを端末装置１０に送信するので、ユーザーは開催中又はこれから開催される遠隔会議を選択する。これにより、会議ＩＤ等、遠隔会議に関する情報が決定される。
【0194】
また、ユーザーは遠隔会議を事前に予約していなくても、記録動画を作成する際に会議を作成できる。以下では、情報記録アプリ４１が、記録動画を作成する際に会議を作成し、会議ＩＤを情報処理システム５０から取得する場合を説明する。
【0195】
S23：ユーザーは録画開始（今すぐ記録開始ボタン２１６）を情報記録アプリ４１に指示する。情報記録アプリ４１の操作受付部１２が指示を受け付ける。表示制御部１３は録画中画面２２０を表示する。
【0196】
S24：遠隔会議が選択されていないので（会議ＩＤが決まってないため）、情報記録アプリ４１の通信部１１が、遠隔会議作成要求を情報処理システム５０に送信する。
【0197】
S25：情報処理システム５０の通信部５１は遠隔会議作成要求を受信し、会議情報取得部５４が、会議管理システム９が採番した重複しない会議ＩＤを取得し、通信部５１が会議ＩＤを情報記録アプリ４１に送信する。
【0198】
S26：また、会議情報取得部５４は、通信部５１を介して、記録動画の保存先（ストレージサービスシステム７０のＵＲＬ）を情報記録アプリ４１に送信する。
【0199】
S27：情報記録アプリ４１の通信部１１が会議ＩＤと録画ファイルの保存先を受信することで、動画保存部１７が録画の準備が整ったと判断し、録画を開始する。
【0200】
S28：情報記録アプリ４１のアプリ画面取得部１４は、ユーザーが選択したアプリの画面をアプリに対し要求する（アプリ画面取得部１４は、より詳細にはＯＳを介して、アプリの画面を取得する）。図２３では、ユーザーが選択したアプリを遠隔会議アプリ４２とする。
【0201】
S29：情報記録アプリ４１の動画保存部１７は、デバイス通信部１６を介して、ミーティングデバイス６０に録画開始を通知する。通知の際、動画保存部１７は、カメラトグルボタン２１１がオンである旨（パノラマ画像と話者画像の要求）も通知するとよい。要求の有無に関係なくミーティングデバイス６０はパノラマ画像と話者画像を情報記録アプリ４１に送信している。
【0202】
S30：ミーティングデバイス６０の端末通信部６１が録画開始を受信すると、重複しない録画ＩＤを採番し、録画ＩＤを情報記録アプリ４１に返す。なお、録画ＩＤは情報記録アプリ４１が採番してもよいし、情報処理システム５０から取得してもよい。
【0203】
S31：情報記録アプリ４１の音声取得部１５は端末装置１０が出力する音声データ（遠隔会議アプリ４２が受信した音声データ）を取得する。
【0204】
S32：デバイス通信部１６が、音声取得部１５が取得した音声データと合成要求をミーティングデバイス６０に送信する。
【0205】
S33：ミーティングデバイス６０の端末通信部６１は音声データと合成要求を受信し、音声合成部６５が、集音部６４が集音した周囲の音声データと、受信した音声データを合成する。例えば、音声合成部６５は、２つの音声データを足し合わせる。ミーティングデバイス６０の周辺の鮮明な音声が記録されるので、特にミーティングデバイス６０周辺（会議室側）の音声のテキスト化精度が向上する。
【0206】
この音声の合成は、端末装置１０でも可能である。しかし、録画機能が端末装置１０に、音声処理がミーティングデバイス６０に分散して配置されることで、端末装置１０とミーティングデバイス６０の負荷を低減できる。録画機能がミーティングデバイス６０に、音声処理が端末装置１０に分散して配置されてもよい。
【0207】
S34：また、ミーティングデバイス６０のパノラマ画像作成部６２はパノラマ画像を作成し、話者画像作成部６３は話者画像を作成する。
【0208】
S35：情報記録アプリ４１のデバイス通信部１６は、パノラマ画像と話者画像を繰り返しミーティングデバイス６０から取得する。また、デバイス通信部１６は、合成後の音声データを繰り返しミーティングデバイス６０に要求して取得する。これらの取得は、デバイス通信部１６がミーティングデバイス６０に要求することで行われてもよい。あるいは、カメラトグルボタン２１１がオンである旨を受け取ったミーティングデバイス６０が自動的にパノラマ画像と話者画像を送信してもよい。音声データの合成要求を受け取ったミーティングデバイス６０が自動的に合成後の音声データを情報記録アプリ４１に送信してもよい。
【0209】
S36：情報記録アプリ４１の表示制御部１３はアプリの画面、パノラマ画像、話者画像を並べて、録画中画面２２０に表示する。また、情報記録アプリ４１の動画保存部１７は、遠隔会議アプリ４２から取得したアプリの画面と、パノラマ画像と、話者画像をそれぞれ別の記録動画として保存する。すなわち、動画保存部１７は、繰り返し受信されるアプリの画面と、パノラマ画像と、話者画像を、動画を構成するフレームに指定することで各記録動画を作成する。また、動画保存部１７はミーティングデバイス６０から受信した音声データを保存しておく。
【0210】
情報記録アプリ４１は以上のステップS31～S36を繰り返す。
【0211】
S37：遠隔会議が終わり、録画の必要がなくなると、ユーザーが録画終了（例えば、録画終了ボタン２２７）を情報記録アプリ４１に指示する。情報記録アプリ４１の操作受付部１２が指示を受け付ける。
【0212】
S38：情報記録アプリ４１のデバイス通信部１６は、ミーティングデバイス６０に録画終了を通知する。ミーティングデバイス６０は、引き続きパノラマ画像と話者画像の作成や音声の合成を継続する。ただし、ミーティングデバイス６０は録画中かどうかで解像度やfpsを変えるなど処理の不可を変更してもよい。
【0213】
S39：情報記録アプリ４１の動画保存部１７は、記録動画に音声データを結合して音声付きの結合画像動画を作成する。記録動画が一切保存されない場合は、音声データは独立していてよい。また、記録動画は、アプリの画面と、パノラマ画像と、話者画像の３つがあるが、どの記録動画に結合されるかは優先順位と共に予め決定されている。また、必ずしも記録動画と音声データは結合されなくてよい。
【0214】
S40：また、ユーザーが録画設定画面２１０で「記録をアップロード後に自動で文字おこしする」に対応付けられたチェックボックス２１５をチェックした場合、音声データ処理部１８が、音声データのテキストデータへの変換を情報処理システム５０に要求する。詳細には、音声データ処理部１８は、通信部１１を介して、保存先のＵＲＬを指定し、会議ＩＤ及び録画ＩＤと共に、記録動画に結合された音声データの変換要求を情報処理システム５０に送信する。
【0215】
S41：情報処理システム５０の通信部５１は音声データの変換要求を受信し、テキスト変換部５５が音声認識サービスシステム８０を利用して音声データをテキストデータに変換する。通信部５１はテキストデータを、記録動画の保存先と同じ保存先（ストレージサービスシステム７０のＵＲＬ）に保存する。なお、録画情報記憶部５００２においてテキストデータは会議ＩＤ及び録画ＩＤにより記録動画と対応付けられている。なおテキストデータは、情報処理システム５０の会議管理部５４で管理し、記憶部５０００に記憶してもよい。また、端末装置１０が音声認識サービスシステム８０に音声認識を要求し、音声認識サービスシステム８０から取得したテキストデータを保存先に保存してもよい。なお、音声認識サービスシステム８０は、変換したテキストデータを情報処理システム５０に返すが、直接保存先のＵＲＬに送信してもよい。音声認識サービスシステム８０は、情報処理システム５０にユーザーが設定した設定情報に応じて、複数のサービスから選択したり切り替えたりしてもよい。
【0216】
S42：また、情報記録アプリ４１のアップロード部２０は、通信部１１を介して、記録動画の保存先に記録動画を保存する。録画情報記憶部５００２において記録動画は会議ＩＤ及び録画ＩＤと対応付けられている。記録動画にはアップロード済みが記録される。
【0217】
保存先はユーザーに通知されているので、ユーザーはメールなどで保存先を知らせることで記録動画を参加者と共有できる。記録動画、音声データ、テキストデータを作成する装置がそれぞれ異なっても、１つの格納場所に集めて格納でき、後でユーザー等が容易に閲覧できる。
【0218】
リアルタイム音声認識の場合、ミーティングデバイス６０又は端末装置１０が音声データをリアルタイムに情報処理システム５０に送信する。端末装置１０はミーティングデバイス６０から送信された、又は、情報処理システム５０から返却されたテキストデータを録画中画面２２０に表示すると共に保存しておく。
【0219】
なお、ステップS31～S36の処理は、図２３に示すとおりの順番でなくてもよく、音声データの合成と記録動画の保存が前後してもよい。
【0220】
＜＜記録動画の表示＞＞
次に、図２４を参照して、ユーザーがストレージサービスシステム７０に保存された記録動画を表示する処理を説明する。図２４は、情報記録アプリ４１が記録動画をダウンロードして表示する処理を説明するシーケンス図の一例である。
次に、図２４を参照して、ユーザーがストレージサービスシステム７０に保存された記録動画を表示する処理を説明する。図２４は、情報記録アプリ４１が記録動画をダウンロードして表示する処理を説明するシーケンス図の一例である。
【0221】
S51：記録動画を表示したいユーザーは会議一覧画面を情報記録アプリ４１で表示する。このため、ユーザーは会議一覧タブ２３１を選択する。情報記録アプリ４１の操作受付部１２が選択を受け付ける。
【0222】
S52：情報記録アプリ４１の通信部１１が、アクセストークン１を指定して会議一覧を情報処理システム５０に送信する。
【0223】
S53：情報処理システム５０の通信部５１は会議一覧要求を受信し、会議情報取得部５４が会議管理システム９に会議一覧要求を送信する。
【0224】
S54,S55：会議管理システム９の会議情報管理部３１はアクセストークン１のユーザーに閲覧権限がある会議情報を特定する。また、会議情報管理部３１は、特定した会議情報と会議ＩＤで対応付けられているアプリ側会議情報を情報処理システム５０から取得する。
【0225】
S56：会議情報管理部３１は、会議管理システム９の会議情報とアプリ側会議情報を統合して、会議管理システム９が統合後の会議一覧を情報処理システム５０に送信する。統合は情報処理システム５０が行ってもよい。
【0226】
S57：情報処理システム５０の通信部５１は会議一覧を受信し、画面生成部５３が会議一覧画面を生成する。
【0227】
S58：情報処理システム５０の通信部５１は会議一覧画面の画面情報を情報記録アプリ４１に送信する。情報記録アプリ４１の通信部１１が会議一覧画面の画面情報を受信し、表示制御部１３が表示する。
【0228】
S59：ユーザーは記録動画を表示したい会議を選択する。情報記録アプリ４１の操作受付部１２が選択を受け付ける（会議ＩＤが特定される）。
【0229】
S60：情報記録アプリ４１の通信部１１は会議ＩＤを指定して記録情報の要求を情報処理システム５０に送信する。
【0230】
S61：情報処理システム５０の通信部５１は記録情報の要求を受信し、まず、会議情報取得部が会議管理システム９に対し会議の存在を確認する。ここでは、会議が存在したものとする。なお、この確認処理はなくてもよい。
【0231】
S62：会議が存在したので、画面生成部５３が録画情報記憶部５００２から会議ＩＤに対応付けられた録画情報（会議ＩＤ、録画ＩＤ、更新日時、タイトル、保存先等）を取得する。
【0232】
S63：画面生成部５３は録画情報を使用して記録動画表示画面２４０を作成する。ここではまだ、記録動画が取得されていないので、画像表示欄２４１は空欄やタイトルでもよい。また、録画情報記憶部５００２に録画された記録動画のサムネイル画像があれば、それが画像表示欄２４１に表示されるとよい。
【0233】
S64：情報処理システム５０の通信部５１は記録動画表示画面２４０の画面情報を、情報記録アプリ４１に送信する。情報記録アプリ４１の通信部１１が録画再生画面２４０の画面情報を受信し、表示制御部１３が表示する。
【0234】
S65：ユーザーは記録動画の表示を開始する（表示ボタン２４１ａをオン）。情報記録アプリ４１の操作受付部１２が操作を受け付ける。
【0235】
S66：情報記録アプリ４１の通信部１１がアクセストークン２を指定して情報記憶部１００１に保存されている保存先に接続する。
【0236】
S67：ストレージサービスシステム７０は保存先（記録情報（記録動画とテキストデータ））が保存されているＵＲＬを情報記録アプリ４１に返す。
【0237】
S68：情報記録アプリ４１の通信部１１がこのＵＲＬを受信し、接続することで記録情報をダウンロードできる。記録動画表示部１９は記録動画表示画面２４０において記録動画を表示し、テキストデータを対応して表示する。
【0238】
S69：また、ユーザーは情報記録アプリ４１から会議情報を削除できる。ユーザーは会議一覧画面で削除した会議を選択する。情報記録アプリ４１の操作受付部１２が操作を受け付ける（会議ＩＤが特定される）。
【0239】
S70：情報記録アプリ４１の通信部１１がアクセストークン２を指定して情報記憶部１００１に保存されているストレージサービスシステム７０の保存先に接続し、記録情報を削除する。
【0240】
S71：次に、情報記録アプリ４１の通信部１１は、アクセストークン１を用いて会議管理システム９に接続し、会議ＩＤを指定して会議情報の削除要求を送信する。
【0241】
S72：会議管理システム９は削除要求を受信し、会議情報管理部３１が会議ＩＤで特定される会議情報とアプリ側会議情報を削除する。
【0242】
＜記録動画表示時の詳細＞
これまで説明したように、記録情報には、
a. パノラマ画像
b. 話者画像
c. 1つ以上のアプリの画面
d. テキストデータ
が含まれ得る。音声データはa～ｃのいずれかに結合されている。a～ｃはユーザーの録画設定によってはない場合がある。dも音声データがテキストデータに変換されていなければ、ない場合がある。しかし、a～ｃがある場合、ユーザーは記録動画表示画面２４０で表示する記録動画を切り替えることができる。
これまで説明したように、記録情報には、
a. パノラマ画像
b. 話者画像
c. 1つ以上のアプリの画面
d. テキストデータ
が含まれ得る。音声データはa～ｃのいずれかに結合されている。a～ｃはユーザーの録画設定によってはない場合がある。dも音声データがテキストデータに変換されていなければ、ない場合がある。しかし、a～ｃがある場合、ユーザーは記録動画表示画面２４０で表示する記録動画を切り替えることができる。
【0243】
図２５は、パノラマ画像２０３と話者画像２０４が表示された記録動画表示画面２４０の一例を示す。なお、図２５の説明では、主に図２１との相違を説明する。記録動画表示画面２４０は、記録動画選択メニュー２４９を表示する。記録動画選択メニュー２４９は、動画ボタン２４６、コンテンツボタン２４７、動画＆コンテンツボタン２４８を有している。動画ボタン２４６はパノラマ画像と話者画像を表示するボタンであり、コンテンツボタン２４７はアプリの画面を表示するボタンであり、動画＆コンテンツボタン２４８は話者画像及びアプリの画面を表示するボタンである。
【0244】
図２５では、動画ボタン２４６が押下され、パノラマ画像２０３と話者画像２０４が、画像表示欄２４１に表示されている。
【0245】
図２６は、動画＆コンテンツボタン２４８が押下され、話者画像２０４及びアプリの画面２１７が表示された記録動画表示画面２４０である。画像表示欄２４１に、話者画像２０４及びアプリの画面２１７が表示されている。なお、人物が縦に並んだ領域は話者画像を縦に並べたものである。パノラマ画像は表示されていないが、パノラマ画像も表示されてよい。
【0246】
図２７は、コンテンツボタン２４７が押下され、アプリの画面２１７が表示された記録動画表示画面２４０である。画像表示欄２４１にアプリの画面２１７が表示されている。
【0247】
図２８は、記録動画選択メニュー２４９に対する操作に応じて切り替わる、画像表示欄２４１に表示される記録動画を示す。図２８に示すように、ユーザーは記録動画選択メニュー２４９を操作して、表示する記録動画を切り替えることができる。
【0248】
＜＜記録動画の切り替え処理＞＞
図２９は、ユーザーの操作に応じて情報記録アプリ４１が、画像表示欄２４１に表示される記録動画を切り替える処理を説明するシーケンス図の一例である。
図２９は、ユーザーの操作に応じて情報記録アプリ４１が、画像表示欄２４１に表示される記録動画を切り替える処理を説明するシーケンス図の一例である。
【0249】
S81：ユーザーは、記録動画選択メニュー２４９に対し、表示する記録動画を切り替える操作を入力する。情報記録アプリ４１の操作受付部１２が操作を受け付ける。
【0250】
S82：情報記録アプリ４１の記録動画表示部１９は、画像表示欄２４１に表示されている記録動画の現在の表示時刻を取得する。
【0251】
S83：記録動画表示部１９は、切り替え先の記録動画を表示時刻から画像表示欄２４１にて表示する。
【0252】
このように、記録動画が切り替わっても、切り替わる前の表示時刻から切り替わった後の記録動画を表示できる。
【0253】
図２９では、情報記録アプリ４１がダウンロード済みの記録情報を端末装置側で処理して、記録動画を切り替えているが、記録動画の切り替えを情報処理システム５０が行ってもよい。例えば、情報処理システム５０がＷｅｂアプリとして記録情報を表示する場合にこのような処理が行われてよい。
【0254】
＜＜テキストデータと記録動画の対応表示＞＞
続いて、図３０を参照して、情報記録アプリ４１によるテキストデータと記録動画の対応表示について説明する。図３０は、画像表示欄２４１に表示される記録動画の表示時刻に応じて情報記録アプリ４１がテキストデータを対応させて表示する処理を説明するシーケンス図の一例である。
続いて、図３０を参照して、情報記録アプリ４１によるテキストデータと記録動画の対応表示について説明する。図３０は、画像表示欄２４１に表示される記録動画の表示時刻に応じて情報記録アプリ４１がテキストデータを対応させて表示する処理を説明するシーケンス図の一例である。
【0255】
S91：ユーザーは、記録動画表示画面２４０で文字起こしボタン２４２をオンにする。情報記録アプリ４１の操作受付部１２が操作を受け付ける。
【0256】
S92：情報記録アプリ４１の記録動画表示部１９は、画像表示欄２４１に表示されている記録動画の現在の表示時刻を繰り返し取得する。
【0257】
S93：記録動画表示部１９は、テキストデータが有するtimeと表示時刻を比較し、表示時刻から所定時間内のtextの文字列があればこのtextの文字列をテキスト表示欄２４３に表示する。したがって、表示時刻に応じて、例えば、上から下にtextの文字列が時系列に表示されていく。
【0258】
このように、記録動画に対応してテキストデータが表示されるので、ユーザーは記録動画の表示時の発言内容を容易に確認できる。
【0259】
図３０では、情報記録アプリ４１が記録動画とテキストデータを対応させているが、同期処理を情報処理システム５０が行ってもよい。この場合、情報記録アプリ４１が表示時刻を情報処理システム５０に送信し、情報処理システム５０が表示時刻に対応するテキストデータを情報記録アプリ４１に返す。
【0260】
【0261】
図３１は、テキストデータの検索と記録動画の対応表示を模式的に説明する図である。図３１（ａ）では、ユーザーが検索窓２６５に「keyword」と入力してこのキーワードでテキストデータを検索している。検索部２２は、「keyword」でテキストデータを検索し、検索結果２６６として「It keyword it」「that keyword it」「this keyword it」を表示した。
【0262】
図３１（ｂ）では、ユーザーが「this keyword it」をポインティングデバイスで選択している。操作受付部１２が「this keyword it」の選択を受け付けると、記録動画表示部１９が「this keyword it」に対応付けられているtimeをテキストデータから取得する。記録動画表示部１９は、現在、表示中の記録動画をtimeの時刻から画像表示欄２４１にて表示する（静止画で表示してもよい）。
【0263】
図３２は、情報記録アプリ４１が検索されたテキストデータに応じて、画像表示欄２４１に記録動画を対応させて表示する処理を説明するシーケンス図の一例である。
【0264】
S101：ユーザーは、検索したいキーワードを入力し検索を指示する。情報記録アプリ４１の操作受付部１２が検索を受け付ける。
【0265】
S102：情報記録アプリ４１の検索部２２はキーワードでテキストデータを検索する。
【0266】
S103：表示制御部１３は検索結果として、textの文字列のリストを表示する。
【0267】
S104：ユーザーは、任意のtextの文字列を選択する。情報記録アプリ４１の操作受付部１２が選択を受け付ける。
【0268】
S105：情報記録アプリ４１の記録動画表示部１９は、textの文字列に対応付けられているtimeから記録動画を表示する。
【0269】
このように、テキストデータを検索すると、記録動画がテキストデータに対応して表示されるので、ユーザーは発言時の記録動画を探す手間を削減できる。
【0270】
図３２では、情報記録アプリ４１がテキストデータの検索と記録動画の表示を行っているが、この処理を情報処理システム５０が行ってもよい。この場合、情報記録アプリ４１がキーワードを情報処理システム５０に送信し、情報処理システム５０がキーワードでテキストデータを検索する。情報処理システム５０は、検索結果を情報記録アプリ４１に送信する。情報記録アプリ４１はユーザーが選択したtextの文字列を情報処理システム５０に送信する。情報処理システム５０は、textの文字列に対応付けられているtimeからの表示を情報記録アプリ４１に要求する。情報処理システム５０が記録動画を表示する場合、textの文字列に対応付けられているtimeから記録動画を送信する。
【0271】
＜主な効果＞
以上説明したように、本実施形態の記録情報表示システムは、ユーザーを含む周囲のパノラマ画像、話者画像、及び、遠隔会議アプリ４２など、遠隔会議中に表示されたアプリの画面を同時に表示する。したがって、遠隔会議の参加者や参加者でない者が、記録動画を議事録として閲覧した場合、遠隔会議中の様子が臨場感と共に再現される。また、記録情報に含めるために選択したアプリケーション（遠隔会議アプリなど）が表示する画面情報と、拠点内（会議室内など）のデバイスの周囲の画像情報との両方を、録画開始から終了まで記録して作成した動画を表示するので、会議中（録画中）に遠隔会議アプリ４２が表示する画面の内容が切り替わったとしても、遠隔会議（遠隔コミュニケーション）内容とともに拠点（会議室内など）の様子を漏れなく記録した記録情報を表示することができる。また、情報記録アプリ４１は、記録動画とテキストデータを対応して表示できる。また、情報記録アプリ４１は、ユーザー操作に応じて記録動画を選択的に表示できる。情報記録アプリ４１は、検索に適合した文字列と対応させて記録動画を表示できる。
以上説明したように、本実施形態の記録情報表示システムは、ユーザーを含む周囲のパノラマ画像、話者画像、及び、遠隔会議アプリ４２など、遠隔会議中に表示されたアプリの画面を同時に表示する。したがって、遠隔会議の参加者や参加者でない者が、記録動画を議事録として閲覧した場合、遠隔会議中の様子が臨場感と共に再現される。また、記録情報に含めるために選択したアプリケーション（遠隔会議アプリなど）が表示する画面情報と、拠点内（会議室内など）のデバイスの周囲の画像情報との両方を、録画開始から終了まで記録して作成した動画を表示するので、会議中（録画中）に遠隔会議アプリ４２が表示する画面の内容が切り替わったとしても、遠隔会議（遠隔コミュニケーション）内容とともに拠点（会議室内など）の様子を漏れなく記録した記録情報を表示することができる。また、情報記録アプリ４１は、記録動画とテキストデータを対応して表示できる。また、情報記録アプリ４１は、ユーザー操作に応じて記録動画を選択的に表示できる。情報記録アプリ４１は、検索に適合した文字列と対応させて記録動画を表示できる。
【0272】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0273】
例えば、端末装置１０とミーティングデバイス６０が一体でもよい。端末装置１０にミーティングデバイス６０が外付けされてもよい。また、ミーティングデバイス６０は、全天球カメラとマイクとスピーカがケーブルで接続されたものでもよい。
【0274】
また、他の拠点１０１においてもミーティングデバイス６０が配置されてよい。他の拠点１０１は別途、ミーティングデバイス６０を使用して結合画像動画とテキストデータを作成する。また、１つの拠点に複数のミーティングデバイス６０が配置されてもよい。この場合、ミーティングデバイス６０ごとに複数の記録情報が作成される。
【0275】
また、本実施形態で使用した、記録動画における、パノラマ画像２０３，話者画像２０４、及び、アプリの画面の配置は一例に過ぎない。パノラマ画像２０３が下で話者画像２０４が上でもよいし、ユーザーが配置を変更したり、記録動画の表示時にはパノラマ画像２０３と話者画像２０４の表示と非表示を個別に切り替えたりしてもよい。
【0276】
また、図７などの構成例は、端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。例えば記録動画を作成するシステムと、記録動画を表示させるシステムとが分かれていてもよい。
【0277】
また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、情報処理システム５０は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。
【0278】
更に、情報処理システム５０は、開示された処理ステップ、例えば図２３等を様々な組み合わせで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、情報処理システム５０が有する複数の情報処理装置によって実行され得る。また、情報処理システム５０は、１つのサーバー装置にまとめられていても良いし、複数の装置に分けられていても良い。
【0279】
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」は、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（Digital Signal Processor）、FPGA（Field Programmable Gate Array）、及び、従来の回路モジュール等のデバイスを含む。
＜請求項に関する付記＞
[請求項１]
端末装置で実行する情報記録アプリケーションを含む記録情報表示システムであって、
前記情報記録アプリケーションは、前記情報記録アプリケーションで選択した遠隔会議アプリケーションが表示する画面情報と、デバイスが取得した周囲の画像情報とに基づいて作成された記録動画を表示する記録動画表示部を有し、
前記記録動画表示部は、前記周囲の画像情報と、前記周囲の画像情報から切り取られた話者画像情報と、前記画面情報とを表示することを特徴とする記録情報表示システム。
[請求項２]
前記画面情報は、前記遠隔会議アプリケーションを含む実行中のアプリケーションをウィンドウとして表示し、前記情報記録アプリケーションが画像として取得する情報である請求項１に記載の記録情報表示システム。
[請求項３]
前記デバイスの周囲の画像情報は、前記デバイスが前記デバイスを囲む３６０°の領域を撮像して取得した画像情報である請求項１又は２に記載の記録情報表示システム。
[請求項４]
前記デバイスの周囲の画像情報は、拠点に設置された前記デバイスから、前記情報記録アプリケーションに送信される請求項１～３のいずれか１項に記載の記録情報表示システム。
[請求項５]
前記記録動画表示部は、更に、前記デバイスが集音した音声データと、前記端末装置が出力した音声データとに基づいたテキストデータを、前記記録動画と同時に同じ画面に表示することを特徴とする請求項１に記載の記録情報表示システム。
[請求項６]
前記テキストデータは、前記デバイスが集音した音声データと、前記端末装置が出力した音声データが合成された音声データであり、
前記記録動画表示部は、合成された前記音声データが音声認識により変換された前記テキストデータを表示することを特徴とする請求項５に記載の記録情報表示システム。
[請求項７]
前記記録動画表示部は、前記記録動画の表示時刻と対応させて、前記テキストデータをスクロールさせて表示することを特徴とする請求項５又は６に記載の記録情報表示システム。
[請求項８]
前記テキストデータからキーワードを検索する検索部と、
検索に適合した前記テキストデータの一部を表示する表示制御部と、を有し、
前記記録動画表示部は、前記テキストデータの一部が選択された場合、前記一部のテキストデータに対応付けられている発言時刻における前記記録動画を表示することを特徴とする請求項５又は６に記載の記録情報表示システム。
[請求項９]
前記記録動画は、前記周囲の画像情報、前記周囲の画像情報から切り取られた話者画像情報、及び、前記画面情報を有し、
前記記録動画表示部は、ユーザーの操作に応じて、前記周囲の画像情報及び前記話者画像情報を表示するか、前記画面情報を表示するか、又は、前記話者画像情報及び前記画面情報を表示するか、を切り替えることを特徴とする請求項１～８のいずれか１項に記載の記録情報表示システム。
[請求項１０]
前記記録動画表示部は、前記周囲の画像情報及び前記話者画像情報を表示するか、前記画面情報を表示するか、又は、前記話者画像情報及び前記画面情報を表示するかを、ユーザーが切り替えた際の表示時刻から、切り替え後の、前記周囲の画像情報及び前記話者画像情報、前記画面情報、又は、前記話者画像情報及び前記画面情報を表示することを特徴とする請求項９に記載の記録情報表示システム。
＜請求項に関する付記＞
[請求項１]
端末装置で実行する情報記録アプリケーションを含む記録情報表示システムであって、
前記情報記録アプリケーションは、前記情報記録アプリケーションで選択した遠隔会議アプリケーションが表示する画面情報と、デバイスが取得した周囲の画像情報とに基づいて作成された記録動画を表示する記録動画表示部を有し、
前記記録動画表示部は、前記周囲の画像情報と、前記周囲の画像情報から切り取られた話者画像情報と、前記画面情報とを表示することを特徴とする記録情報表示システム。
[請求項２]
前記画面情報は、前記遠隔会議アプリケーションを含む実行中のアプリケーションをウィンドウとして表示し、前記情報記録アプリケーションが画像として取得する情報である請求項１に記載の記録情報表示システム。
[請求項３]
前記デバイスの周囲の画像情報は、前記デバイスが前記デバイスを囲む３６０°の領域を撮像して取得した画像情報である請求項１又は２に記載の記録情報表示システム。
[請求項４]
前記デバイスの周囲の画像情報は、拠点に設置された前記デバイスから、前記情報記録アプリケーションに送信される請求項１～３のいずれか１項に記載の記録情報表示システム。
[請求項５]
前記記録動画表示部は、更に、前記デバイスが集音した音声データと、前記端末装置が出力した音声データとに基づいたテキストデータを、前記記録動画と同時に同じ画面に表示することを特徴とする請求項１に記載の記録情報表示システム。
[請求項６]
前記テキストデータは、前記デバイスが集音した音声データと、前記端末装置が出力した音声データが合成された音声データであり、
前記記録動画表示部は、合成された前記音声データが音声認識により変換された前記テキストデータを表示することを特徴とする請求項５に記載の記録情報表示システム。
[請求項７]
前記記録動画表示部は、前記記録動画の表示時刻と対応させて、前記テキストデータをスクロールさせて表示することを特徴とする請求項５又は６に記載の記録情報表示システム。
[請求項８]
前記テキストデータからキーワードを検索する検索部と、
検索に適合した前記テキストデータの一部を表示する表示制御部と、を有し、
前記記録動画表示部は、前記テキストデータの一部が選択された場合、前記一部のテキストデータに対応付けられている発言時刻における前記記録動画を表示することを特徴とする請求項５又は６に記載の記録情報表示システム。
[請求項９]
前記記録動画は、前記周囲の画像情報、前記周囲の画像情報から切り取られた話者画像情報、及び、前記画面情報を有し、
前記記録動画表示部は、ユーザーの操作に応じて、前記周囲の画像情報及び前記話者画像情報を表示するか、前記画面情報を表示するか、又は、前記話者画像情報及び前記画面情報を表示するか、を切り替えることを特徴とする請求項１～８のいずれか１項に記載の記録情報表示システム。
[請求項１０]
前記記録動画表示部は、前記周囲の画像情報及び前記話者画像情報を表示するか、前記画面情報を表示するか、又は、前記話者画像情報及び前記画面情報を表示するかを、ユーザーが切り替えた際の表示時刻から、切り替え後の、前記周囲の画像情報及び前記話者画像情報、前記画面情報、又は、前記話者画像情報及び前記画面情報を表示することを特徴とする請求項９に記載の記録情報表示システム。
【符号の説明】
【0280】
１０ 端末装置
５０ 情報処理システム
６０ ミーティングデバイス
１００ 記録情報表示システム
５０ 情報処理システム
６０ ミーティングデバイス
１００ 記録情報表示システム
【先行技術文献】
【特許文献】
【0281】
【特許文献1】特開２０２１－１０５６８８号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】