特開 2024-14716 プログラム、情報処理システム、記録情報作成システム、表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024014716

(43)【公開日】2024-02-01

(54)【発明の名称】プログラム、情報処理システム、記録情報作成システム、表示方法

(51)【国際特許分類】

   G06F 3/04842 20220101AFI20240125BHJP

   H04N 7/15 20060101ALI20240125BHJP

【ＦＩ】

G06F3/04842

H04N7/15 150

【審査請求】未請求

【請求項の数】28

【出願形態】ＯＬ

(21)【出願番号】P 2023080044

(22)【出願日】2023-05-15

(31)【優先権主張番号】P 2022115650

(32)【優先日】2022-07-20

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】尾崎 宏樹

(72)【発明者】

【氏名】亀倉 崇寛

(72)【発明者】

【氏名】石井 繁行

(72)【発明者】

【氏名】藤岡 進

(72)【発明者】

【氏名】猪上 綾乃

【テーマコード（参考）】

5C164

5E555

【Ｆターム（参考）】

5C164FA10

5C164UB81S

5C164VA06P

5C164VA07P

5E555AA04

5E555BA13

5E555BA28

5E555BB13

5E555BC17

5E555CA03

5E555CB10

5E555CB44

5E555CB73

5E555CC03

5E555DB41

5E555DB57

5E555DC05

5E555EA02

5E555FA00

(57)【要約】

【課題】オブジェクトが入力された際のオブジェクト、又は、オブジェクトについて議論されている記録情報を再生させるための指示情報を表示する技術を提供すること。
【解決手段】本発明は、デバイスにより動画として記録された音声及び映像を含む記録情報と、表示装置によりオブジェクトが表示された時刻情報を含むオブジェクト情報を情報処理システムから受信する端末装置を、前記記録情報と前記オブジェクト情報を受信する通信部と、前記記録情報を再生する録画再生部と、前記オブジェクト２１０を表示する表示制御部と、前記時刻情報における前記オブジェクト、又は、該オブジェクトに関する前記音声又は前記映像が記録されている前記記録情報を再生させるための指示情報を前記時刻情報に基づいて表示する指示情報表示部、として機能させるためのプログラムを提供する。
【選択図】図１

【特許請求の範囲】

【請求項1】

デバイスにより動画として記録された音声及び映像を含む記録情報と、表示装置によりオブジェクトが表示された時刻情報を含むオブジェクト情報を情報処理システムから受信する端末装置を、
前記記録情報と前記オブジェクト情報を受信する通信部と、
前記記録情報を再生する録画再生部と、
前記オブジェクトを表示する表示制御部と、
前記時刻情報における前記オブジェクト、又は、該オブジェクトに関する前記音声又は前記映像が記録されている前記記録情報を再生させるための指示情報を前記時刻情報に基づいて表示する指示情報表示部、
として機能させるためのプログラム。

【請求項2】

前記指示情報は前記時刻情報であることを特徴とする請求項１に記載のプログラム。

【請求項3】

前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記操作受付部が選択を受け付けた前記オブジェクトの前記時刻情報を前記指示情報表示部が表示することを特徴とする請求項２に記載のプログラム。

【請求項4】

前記時刻情報の選択を前記操作受付部が受け付けた場合、前記録画再生部は、前記記録情報を前記時刻情報から再生することを特徴とする請求項３に記載のプログラム。

【請求項5】

前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記操作受付部が選択を受け付けた前記オブジェクトの前記時刻情報から、前記録画再生部が前記記録情報を再生することを特徴とする請求項２に記載のプログラム。

【請求項6】

前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記操作受付部が前記オブジェクトの選択を受け付けた場合、前記表示制御部が前記時刻情報から前記記録情報を再生する表示部品を表示し、
前記操作受付部が前記表示部品の選択を受け付けた場合、前記オブジェクトの前記時刻情報から、前記録画再生部が前記記録情報を再生することを特徴とする請求項２に記載のプログラム。

【請求項7】

前記表示制御部が前記オブジェクトを表示している場合、前記指示情報表示部は、表示されている前記オブジェクトの前記時刻情報を常に表示することを特徴とする請求項２に記載のプログラム。

【請求項8】

前記時刻情報は、前記オブジェクトの入力開始時刻と最終更新時刻とを含み、
前記操作受付部が選択を受け付けた前記オブジェクトの前記入力開始時刻と前記最終更新時刻を前記指示情報表示部が表示することを特徴とする請求項３に記載のプログラム。

【請求項9】

前記操作受付部が複数の前記オブジェクトの選択を受け付けた場合、
前記指示情報表示部は選択された複数の前記オブジェクトのうち、最初の前記入力開始時刻と最後の前記最終更新時刻を表示することを特徴とする請求項８に記載のプログラム。

【請求項10】

前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記記録情報は、前記音声が発話された発話区間情報を有し、
前記操作受付部が選択を受け付けた前記オブジェクトの前記時刻情報を含む前記発話区間情報がある場合、前記録画再生部は前記発話区間情報の開始から前記記録情報を再生することを特徴とする請求項２に記載のプログラム。

【請求項11】

前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記オブジェクト情報はページごとに区分されており、
前記表示制御部は、前記オブジェクトを表示する際、任意のページの選択を受け付ける表示部品を表示し、
前記操作受付部が選択を受け付けた前記ページに含まれる前記オブジェクトの最終更新時刻のうち、最も遅い最終更新時刻から、前記録画再生部が前記記録情報を再生することを特徴とする請求項２に記載のプログラム。

【請求項12】

前記録画再生部は、前記記録情報のタイムインジケータを時間帯に応じて色分けして表示し、
前記表示制御部は、前記オブジェクトの前記時刻情報が属する前記時間帯と同じ色で該オブジェクトを表示することを特徴とする請求項２に記載のプログラム。

【請求項13】

前記表示制御部は、前記オブジェクトの前記時刻情報と前記記録情報が再生されている再生時刻との差に応じて、前記オブジェクトの濃度を変更して表示することを特徴とする請求項２に記載のプログラム。

【請求項14】

前記時刻情報の選択を前記操作受付部が受け付けた場合、前記表示制御部は、前記時刻情報におけるオブジェクトを表示することを特徴とする請求項３に記載のプログラム。

【請求項15】

前記録画再生部は、前記記録情報のタイムインジケータを前記記録情報と共に表示し、
前記指示情報は、前記タイムインジケータにおいて前記オブジェクトが入力された時刻を示すマークであることを特徴とする請求項１に記載のプログラム。

【請求項16】

前記オブジェクトはストロークデータであり、
前記マークは、前記タイムインジケータにおいて前記ストロークデータが入力された時刻を示すことを特徴とする請求項１５に記載のプログラム。

【請求項17】

前記オブジェクト情報はページごとに区分されており、前記オブジェクト情報にはページの切り替え操作の操作時刻が含まれており、
前記マークは、前記タイムインジケータにおいて前記ページの切り替え操作の操作時刻を示すことを特徴とする請求項１５に記載のプログラム。

【請求項18】

前記表示装置は手書き領域を拡張する操作により、手書き領域を拡張し、
前記オブジェクト情報には前記手書き領域を拡張した操作時刻が含まれており、
前記マークは、前記タイムインジケータにおいて前記手書き領域を拡張した操作時刻を示すことを特徴とする請求項１５に記載のプログラム。

【請求項19】

前記表示装置は、外部機器から入力された映像を表示し、
前記オブジェクト情報には前記外部機器から映像が入力された時刻が含まれており、
前記マークは、前記タイムインジケータにおいて前記外部機器から映像が入力された時刻を示すことを特徴とする請求項１５に記載のプログラム。

【請求項20】

前記オブジェクト情報は、ストロークデータが入力された時刻、ページの切り替え操作の操作時刻、図形が入力された時刻、手書き領域を拡張した操作時刻、及び、外部機器から映像が入力された時刻が含まれており、
前記表示制御部は、操作の種類によって前記マークを変更することを特徴とする請求項１５に記載のプログラム。

【請求項21】

表示された前記マークに対し、ポインティングデバイスのカーソルが重なった場合、
前記表示制御部は、該マークに対応付けられている前記オブジェクトの入力が終了した時刻に基づいて、前記オブジェクトのサムネイルを表示することを特徴とする請求項１５に記載のプログラム。

【請求項22】

前記表示制御部は、前記ストロークデータが入力された時刻と時刻の間隔が閾値以上の場合のみ、前記ストロークデータが入力された時刻を示すマークを前記タイムインジケータに表示することを特徴とする請求項１６に記載のプログラム。

【請求項23】

前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記マークの選択を前記操作受付部が受け付けた場合、前記録画再生部は、前記記録情報を前記オブジェクトが入力された時刻から再生することを特徴とする請求項１５～２２のいずれか１項に記載のプログラム。

【請求項24】

前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記マークの選択を前記操作受付部が受け付けた場合、前記表示制御部は、前記オブジェクトが入力された時刻におけるオブジェクトを表示することを特徴とする請求項１５～２２のいずれか１項に記載のプログラム。

【請求項25】

前記表示制御部は、前記時刻情報に基づいて前記オブジェクトを前記記録情報と同期させて表示する請求項１に記載のプログラム。

【請求項26】

デバイスにより動画として記録された音声及び映像を含む記録情報と、表示装置によりオブジェクトが表示された時刻情報を含むオブジェクト情報を端末装置に提供する情報処理システムであって、
前記オブジェクト及び前記記録情報を表示させ、
前記時刻情報における前記オブジェクト、又は、該オブジェクトに関する前記音声又は前記映像が記録されている前記記録情報を再生させるための指示情報を前記時刻情報に基づいて表示する画面を生成する画面生成部と、
前記記録情報、前記オブジェクト情報、及び前記画面の画面情報を前記端末装置に送信する通信部と、
を有する情報処理システム。

【請求項27】

デバイスにより動画として記録された音声及び映像を含む記録情報と、表示装置によりオブジェクトが表示された時刻情報を含むオブジェクト情報を端末装置に提供する情報処理システムと、前記端末装置を有する記録情報作成システムであって、
前記情報処理システムは、
前記記録情報と前記オブジェクト情報を前記端末装置に送信し、
前記端末装置は、
前記記録情報と前記オブジェクト情報を受信する通信部と、
前記記録情報を再生する録画再生部と、
前記オブジェクトを表示する表示制御部と、
前記時刻情報における前記オブジェクト、又は、該オブジェクトに関する前記音声又は前記映像が記録されている前記記録情報を再生させるための指示情報を前記時刻情報に基づいて表示する指示情報表示部と、
を有する記録情報作成システム。

【請求項28】

デバイスにより動画として記録された音声及び映像を含む記録情報と、表示装置によりオブジェクトが表示された時刻情報を含むオブジェクト情報を端末装置に提供する情報処理システムが行う表示方法であって、
前記オブジェクト及び前記記録情報を表示させ、前記時刻情報における前記オブジェクト、又は、該オブジェクトに関する前記音声又は前記映像が記録されている前記記録情報を再生させるための指示情報を前記時刻情報に基づいて表示する画面を生成するステップと、
前記記録情報、前記オブジェクト情報、及び前記画面の画面情報を前記端末装置に送信するステップと、
を有する表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理システム、記録情報作成システム、及び表示方法に関する。

【背景技術】

【0002】

タッチパネル式のディスプレイにユーザーが専用の電子ペンや指などで描画したストロークなどのオブジェクトを表示する電子黒板などの表示装置が知られている。単なるホワイトボードと異なりオブジェクトを電子データで保存したり、ＰＣ（Personal Computer）等の外部機器と接続したりして外部機器が表示する資料の映像を表示装置が表示することができる。

【0003】

表示装置が過去に表示したオブジェクトを表示させる技術が知られている（例えば、特許文献１参照。）。特許文献１には、オブジェクトのスナップショットをタイムライン上に表示し、ユーザーがスナップショットを選択することで過去のオブジェクトに戻って閲覧することができる電子ホワイトボードシステムが開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の技術では、オブジェクトが入力された際のオブジェクト、又は、オブジェクトについて議論されている記録情報を再生させるための指示情報が表示されないという問題があった。例えば、会議で表示装置が使用されると共に、会議の参加者の音声や映像が記録される場合がある。この場合、閲覧者はオブジェクト情報が表示されていた際に行われた議論を音声や映像で確認したい場合がある。あるいは、参加者はオブジェクトの入力開始時やその前後のオブジェクトを確認したい場合がある。

【0005】

本発明は、上記課題に鑑み、オブジェクトについて議論されている記録情報を再生させるための指示情報を表示するプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題に鑑み、本発明は、デバイスにより動画として記録された音声及び映像を含む記録情報と、表示装置によりオブジェクトが表示された時刻情報を含むオブジェクト情報を情報処理システムから受信する端末装置を、前記記録情報と前記オブジェクト情報を受信する通信部と、前記記録情報を再生する録画再生部と、前記オブジェクトを表示する表示制御部と、
前記時刻情報における前記オブジェクト、又は、該オブジェクトに関する前記音声又は前記映像が記録されている前記記録情報を再生させるための指示情報を前記時刻情報に基づいて表示する指示情報表示部、として機能させるためのプログラムを提供する。

【発明の効果】

【0007】

オブジェクトが入力された際のオブジェクト、又は、オブジェクトについて議論されている記録情報を再生させるための指示情報を表示する技術を提供できる。

【図面の簡単な説明】

【0008】

【図1】端末装置が表示する録画再生画面の一例を示す図である。

【図2】遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。

【図3】記録情報作成システムの構成例を示す図である。

【図4】情報処理システム及び端末装置の一例のハードウェア構成を示す図である。

【図5】３６０°の動画を撮像可能なミーティングデバイスのハードウェア構成図の一例である。

【図6】ミーティングデバイスの撮像範囲を説明する図である。

【図7】パノラマ画像と話者画像の切り出しを説明する図である。

【図8】電子黒板のハードウェア構成図の一例である。

【図9】記録情報作成システムにおける端末装置、ミーティングデバイス、及び、情報処理システムの機能をブロックに分けて説明する機能ブロック図の一例である。

【図10】情報記憶部が記憶している動画記録情報を示す図の一例である。

【図11】会議情報記憶部に記憶された会議情報の一例を示す図である。

【図12】会議ＩＤに対し、電子黒板の機器識別情報とミーティングデバイスの機器識別情報が対応付けられた対応付け情報を示す図の一例である。

【図13】記録情報記憶部に記憶されている記録情報とオブジェクト情報を示す図の一例である。

【図14】記録情報の一部であるテキストデータの構造を説明する図である。

【図15】電子黒板の機能をブロックに分けて説明する機能ブロック図の一例である。

【図16】機器情報記憶部に記憶されている機器識別情報等を示す図の一例である。

【図17】オブジェクト情報記憶部に保存されている電子黒板操作データを説明する図である。

【図18】オブジェクト情報記憶部に保存されているオブジェクト情報を説明する図である。

【図19】手書きデータの区切り方を説明する図である。

【図20】操作時刻を、録画開始時刻からの経過時間に変換する処理を説明する図である。

【図21】会議で記録された記録情報とオブジェクト情報の保存と、端末装置がこれらを閲覧する処理を説明するシーケンス図の一例である。

【図22】変換後操作時刻を表示した録画再生画面の一例を示す図である。

【図23】オブジェクトの押下により、変換後操作時刻から結合画像動画が再生される録画再生画面の一例を示す図である。

【図24】オブジェクトの押下後に録画再生画面に表示されるメニューを説明する図である。

【図25】変換後操作時刻が常に表示された録画再生画面、領域２に表示されているオブジェクトに関するオブジェクト情報を示す図の一例である。

【図26】オブジェクトの入力開始時刻と最終更新時刻の２つの変換後操作時刻が表示された録画再生画面、領域２に表示されているオブジェクトに関するオブジェクト情報を示す図の一例である。

【図27】複数のオブジェクトが選択された場合の変換後操作時刻の表示例、領域２に表示されているオブジェクトに関するオブジェクト情報を示す図の一例である。

【図28】発話区間の最初から再生される結合画像動画、領域２に表示されているオブジェクトに関するオブジェクト情報を示す図の一例である。

【図29】ページ内の最後に入力されたオブジェクトの変換後操作時刻から再生される結合画像動画、領域２に表示されているオブジェクトに関するオブジェクト情報を示す図の一例である。

【図30】タイムインジケータと同じ色でオブジェクトが表示される録画再生画面、領域２に表示されているオブジェクトに関するオブジェクト情報を示す図の一例である。

【図31】オブジェクトの操作時刻と再生時刻との差をオブジェクトの濃淡に対応させた録画再生画面、領域２に表示されているオブジェクトに関するオブジェクト情報を示す図の一例である。

【図32】マークを有する録画再生画面の一例を示す図である。

【図33】電子黒板の機能をブロックに分けて説明する機能ブロック図の一例である。

【図34】ストロークデータのデータ構造を示す図の一例である。

【図35】オブジェクト情報の記録処理を説明するシーケンス図の一例である。

【図36】電子黒板の会議終了時の処理を説明するシーケンス図の一例である。

【図37】結合画像動画の再生時の処理を説明するシーケンス図の一例である。

【図38】リンクを説明する図である。

【図39】録画再生画面の一例を示す図である。

【図40】電子黒板のディスプレイの下部に表示されるサムネイルとページ追加ボタンを示す図の一例である。

【図41】ページ操作データのデータ構造を示す図の一例である。

【図42】オブジェクト情報の記録処理を説明するシーケンス図の一例である。

【図43】オブジェクトの手書き領域の拡張を説明する図である。

【図44】手書き領域の拡張操作（スワイプイベントデータ）のデータ構造を示す図の一例である。

【図45】オブジェクト情報の記録処理を説明するシーケンス図の一例である。

【図46】映像入力イベントデータのデータ構造を示す図の一例である。

【図47】オブジェクト情報の記録処理を説明するシーケンス図の一例である。

【図48】図形のデータ構造を示す図の一例である。

【図49】オブジェクト情報の記録処理を説明するシーケンス図の一例である。

【図50】オブジェクトの種類又は操作の内容（ストロークデータ、ページ切り替え操作、手書き領域の拡張操作（スワイプイベントデータ）、及び、映像入力イベントデータ）ごとに異なった形状で表示されるマークの一例を示す図である。

【図51】マークにカーソルがマウスオーバーした場合に表示されるサムネイルを示す図である。

【図52】１つのオブジェクトとみなされる複数のストロークデータを説明する図である。

【発明を実施するための形態】

【0009】

以下、本発明を実施するための形態の一例として、記録情報作成システムと記録情報作成システムが行う表示方法について説明する。

【実施例0010】

＜記録情報とオブジェクト情報の同期再生の概略＞
図１は、端末装置が表示する録画再生画面２２０の一例である。録画再生画面２２０の詳細については後述する。図１の例では、閲覧者が任意のオブジェクトをマウスなどのポインティングデバイス５１２のカーソル２３０で押下すると、録画再生画面２２０にはオブジェクトが表示されていた時刻（入力開始時刻、最終更新時刻など）を表示する。図１では、「ＡＢＣ」というオブジェクト２１０を閲覧者が選択した。このため、「ＡＢＣ」が入力された入力開始時刻である「2:31」という時刻情報（後述する変換後操作時刻２１１）が表示されている。したがって、閲覧者は「ＡＢＣ」というオブジェクト２１０が入力された時刻の会議の様子を、タイムインジケータ２１３で「2:31」を指定することで確認すればよいことが分かる。

【0011】

このように、本実施形態の記録情報作成システムは、オブジェクトに関連付けて、会議などでオブジェクトに関する議論が行われている時刻を表示できる。

【0012】

＜用語について＞
指示情報は、オブジェクトに関する音声や映像が記録されている記録情報を再生させるための情報である。指示情報は、オブジェクトが表示されていた時間帯の一部を含む。指示情報は、時刻そのものの他、タイムインジケータ上の位置でもよく、記録情報においてオブジェクトが表示されているおよその時刻が分かればよい。

【0013】

会議とは、会合して評議することをいう。会議は、コンベンション、集会、集まり、ミーティング、評議、発表会、プレゼンテーション、コンファレンス、談合、会談、合議、話合い、セミナー等と呼ばれてもよい。

【0014】

デバイスとは、会議中の音声と映像を記録する装置であればよい。また、音声のみが記録されてもよい。本実施形態では、デバイスは、ミーティングデバイスという用語で説明される。

【0015】

記録情報とは、例えば会議中に記録された音声を含む。記録情報に映像が含まれていてもよい。音声はテキストデータに変換されていてもよいし、変換されていなくてもよい。

【0016】

ユーザーがディスプレイに入力手段を押しつけてから連続的に移動させた後、ディスプレイから離すという一連の操作をストロークという。ストロークは、ディスプレイに接触することなく、ユーザーの動きを追跡することを含む。この場合、電子黒板は、例えばマウスやポインティングデバイスを使用して、ユーザーのジェスチャー、ユーザーの手又は足によるボタンの押下、又は他の方法で、ストロークを開始させてもよい。更に、ユーザーは、同じ又は異なるジェスチャー、ボタンを離す、又はマウスやポインティングデバイスを使用して、ストロークを終了させてもよい。

【0017】

ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレイに表示される情報である。ストロークデータは適宜、補間されてよい。手書きデータとは、１つ以上のストロークデータを有するデータである。手書き入力とは、ユーザーによって、手書きデータが入力されることを示している。手書き入力は、タッチインターフェース、ペンやスタイラスなどの触覚オブジェクト、又はユーザーの体を使って実行されてもよい。また、手書き入力は、ジェスチャーベースの入力、手の動きの追跡入力、又はユーザーによる他のタッチフリー入力など、他のタイプの入力を介して実行されてもよい。本発明の実施形態では、手書き入力及び手書き入力データに言及するが、他の形態の手書き入力が利用されてもよい。

【0018】

ストロークデータに基づいてディスプレイに表示される表示物をオブジェクトという。オブジェクトとは対象という意味であるが、本実施形態では表示対象などの意味である。ストロークデータが手書き認識して変換されたオブジェクトには、テキストの他、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等も含まれてよい。テキストとは主に１つ以上の文字を含む文字列（文字コード）であり、数字、記号なども含む。テキストを文字列という場合がある。

【0019】

＜遠隔会議における議事録の作成方法の一例＞
図２を参照して、パノラマ画像とアプリの画面を用いた議事録の作成方法の概略を説明する。図２は、遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。図２に示すように、図示する自拠点１０２にいるユーザーが遠隔会議サービスシステム９０を利用して、他の拠点１０１と遠隔会議を行っている。

【0020】

本実施形態の記録情報作成システム１００は、マイクとスピーカを備えたミーティングデバイス６０が撮像した水平パノラマ画像（以下、パノラマ画像という）と、端末装置１０が実行するアプリケーション（以下、アプリという）が作成する画面と、を用いて、記録情報（議事録）を作成する。音声については、記録情報作成システム１００は、遠隔会議アプリ４２が受信する音声と、ミーティングデバイス６０が取得する音声とを合成して、記録情報に含める。以下、概略を説明する。

【0021】

(1) 端末装置１０では、後述する情報記録アプリ４１と遠隔会議アプリ４２とが動作している。この他、資料表示用のアプリなども動作していてよい。情報記録アプリ４１は、端末装置１０が出力する音声（遠隔会議アプリ４２が他拠点から受信した音声を含む。）をミーティングデバイス６０（第二の機器、機器の一例）に送信する。ミーティングデバイス６０は、自身が取得している音声と、遠隔会議アプリ４２の音声とをミキシング（合成）する。

【0022】

(2) ミーティングデバイス６０はマイクを備え、音声を取得した方向に基づき、パノラマ画像から話者を切り出す処理を行い、話者画像を作成する。ミーティングデバイス６０は、パノラマ画像と話者画像の両方を端末装置１０に送信する。

【0023】

(3) 端末装置１０で動作する情報記録アプリ４１は、パノラマ画像２０３と話者画像２０４を表示できる。情報記録アプリ４１は、ユーザーが選択した任意のアプリ画面（例えば遠隔会議アプリ４２の画面１０３）と、パノラマ画像２０３と話者画像２０４と、を結合する。例えば、左側にパノラマ画像２０３と話者画像２０４、右側に遠隔会議アプリ４２の画面１０３が配置されるように、パノラマ画像２０３、話者画像２０４、アプリの画面１０３を結合する（以下、結合画像１０５という）。(3)の処理は繰り返し実行されるので、結合画像１０５は動画となる（以下、結合画像動画という）。また、情報記録アプリ４１は、結合画像動画に合成された音声を結合して音声付きの動画を作成する。

【0024】

なお、本実施形態では、パノラマ画像２０３、話者画像２０４、アプリの画面１０３を結合する例を説明するが、情報記録アプリ４１がこれらを別々に保存し、再生時に画面に配置してもよい。

【0025】

(4) 情報記録アプリ４１は、編集作業（ユーザーによる不要箇所のカット）を受け付け、結合画像動画を完成させる。結合画像動画は記録情報の一部を構成する。

【0026】

(5) 情報記録アプリ４１は、作成した結合画像動画（音声付き）をストレージサービスシステム７０に送信し保存しておく。

【0027】

(6) また、情報記録アプリ４１は、結合画像動画から音声のみを抽出しておき（結合前の音声を取っておいてもよい）、抽出した音声を、情報処理システム５０に送信する。情報処理システム５０は音声をテキストデータに変換する音声認識サービスシステム８０に送信し、音声をテキスト化する。テキストデータには、録画開始から何分後に話したか、というデータも含まれる。

【0028】

なお、リアルタイムのテキスト化の場合、ミーティングデバイス６０が情報処理システム５０に直接音声を送信する。情報処理システム５０は音声認識により得られたテキストデータをリアルタイムに情報記録アプリ４１に送信する。

【0029】

(7) 情報処理システム５０は、結合画像動画を格納したストレージサービスシステム７０に、テキストデータを追加で格納する。テキストデータは記録情報の一部を構成する。

【0030】

なお、情報処理システム５０は、ユーザーに対し利用したサービスに応じた課金処理を実行できる。例えば、課金はテキストデータ量、結合画像動画のファイルサイズ、処理時間などに基づいて算出される。

【0031】

このように、結合画像動画には、ユーザーを含む周囲のパノラマ画像や話者画像が表示され、更に、遠隔会議アプリ４２など、遠隔会議中に表示されたアプリの画面が表示される。遠隔会議の参加者や参加者でない者が、結合画像動画を議事録として閲覧した場合、遠隔会議中の様子が臨場感と共に再現される。

【0032】

＜システム構成例＞
続いて、図３を参照して、記録情報作成システム１００のシステム構成を説明する。図３は、記録情報作成システム１００の構成例を示す。図３では、遠隔会議を行う複数の拠点のうち１つの拠点（自拠点１０２）を示し、自拠点１０２における端末装置１０がネットワークを介して情報処理システム５０と、ストレージサービスシステム７０と、遠隔会議サービスシステム９０と、通信する。自拠点１０２には更に、ミーティングデバイス６０と電子黒板２が配置され、端末装置１０はこのミーティングデバイス６０とＵＳＢケーブル等を介して通信可能に接続されている。

【0033】

端末装置１０では、少なくとも情報記録アプリ４１と遠隔会議アプリ４２とが動作する。遠隔会議アプリ４２は、他の拠点１０１の端末装置１０とネットワーク上の遠隔会議サービスシステム９０を介して通信することができ、各拠点のユーザー同士が遠隔地から会議できるようになっている。情報記録アプリ４１は、遠隔会議アプリ４２が実施する遠隔会議における記録情報を、情報処理システム５０及びミーティングデバイス６０の機能を使って作成する。

【0034】

なお、本実施形態では、遠隔会議中の記録情報を作成する例を説明するが、会議は、遠隔の拠点と通信する会議でなくてもよい。つまり、会議は１拠点内の参加者のみが参加する会議でもよい。この場合、ミーティングデバイス６０が撮像する画像と集音した音声がそれぞれ合成なしに保存される他、情報記録アプリ４１の処理に変更はない。

【0035】

端末装置１０には通常の画角のカメラが内蔵されており（外付けでもよい）、端末装置１０を操作するユーザー１０７を含む正面の画像を撮像している。通常の画角とは、パノラマ画像でない画像であるが、本実施形態では、主に全天球画像のように曲面でない平面画像である。したがって、ユーザーは、情報記録アプリ４１を意識することなく、遠隔会議アプリ４２を使用した従来の遠隔会議が可能である。情報記録アプリ４１やミーティングデバイス６０は、端末装置１０の処理負荷増を除けば遠隔会議アプリ４２に影響を与えない。なお、遠隔会議アプリ４２はミーティングデバイス６０が撮像するパノラマ画像や話者画像を遠隔会議サービスシステム９０に送信することも可能である。

【0036】

情報記録アプリ４１はミーティングデバイス６０と通信して記録情報を作成する。情報記録アプリ４１はまた、ミーティングデバイス６０が取得した音声と遠隔会議アプリ４２が他の拠点から受信した音声との合成等を行う。この合成はミーティングデバイス６０が行う場合がある。ミーティングデバイス６０は、パノラマ画像の撮像装置、マイク、及び、スピーカを備えたミーティング用のデバイスである。端末装置１０が有するカメラは正面の限られた範囲しか撮像できないが、ミーティングデバイス６０はミーティングデバイス６０を囲む全周囲（必ずしも全周囲でなくてもよい）を撮像できる。ミーティングデバイス６０は図３に示す複数の参加者１０６を常に画角に収めることができる。

【0037】

この他、ミーティングデバイス６０は、パノラマ画像からの話者画像の切り出し等を行う。なお、ミーティングデバイス６０は、机の上に限らず自拠点１０２のどこに配置されてもよい。ミーティングデバイス６０は全天球画像を撮像できるので、例えば天井に配置されてもよい。

【0038】

情報記録アプリ４１は、端末装置１０で実行中のアプリの一覧表示、上記した記録情報のための画像合成（結合画像動画の作成）、結合画像動画の再生、編集の受け付け等を行う。また、情報記録アプリ４１は、実施された又はこれから実施される予定の遠隔会議のリスト表示、等を行う。遠隔会議のリストは、記録情報に関する情報に使用され、ユーザーが遠隔会議と記録情報とを結びつけることができる。

【0039】

遠隔会議アプリ４２は、他の拠点１０１との通信接続、他の拠点１０１との画像及び音声の送受信、画像の表示や音声の出力等を行う。

【0040】

なお、情報記録アプリ４１及び遠隔会議アプリ４２はＷｅｂアプリでもネイティブアプリでもよい。Ｗｅｂアプリとは、Ｗｅｂサーバー上のプログラムとＷｅｂブラウザ上のプログラムが協働して処理を行うアプリであり、端末装置１０へのインストールが不要なアプリである。ネイティブアプリとは、端末装置１０にインストールして利用されるアプリである。本実施形態では、両者ともネイティブアプリであるとして説明する。

【0041】

端末装置１０は、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末等、通信機能を備えた汎用的な情報処理装置でよい。端末装置１０は、この他、電子黒板２、ゲーム機、ＰＤＡ（Personal Digital Assistant）、ウェアラブルＰＣ、カーナビ、産業機械、医療機器、ネットワーク家電等でもよい。端末装置１０は情報記録アプリ４１と遠隔会議アプリ４２が動作する装置であればよい。

【0042】

電子黒板２は、ペンや指等の入力手段でタッチパネルに手書きされたデータをディスプレイに表示する表示装置である。電子黒板２は、有線又は無線で端末装置１０等と通信することができ、ＰＣ４７０が表示する画面を取り込んでディスプレイに表示することができる。電子黒板２は、手書きデータをテキストデータに変換したり、他の拠点の電子黒板２とディスプレイに表示される情報を共有したりすることができる。電子黒板２は、タッチパネルを有さない単なる白板にプロジェクタが映像を投影する形態のものでもよい。また、電子黒板２は、タッチパネルを備えたタブレット端末、ノートＰＣ、ＰＤＡ、ゲーム機等でもよい。

【0043】

電子黒板２は、情報処理システム５０と通信することができる。電子黒板２は、例えば、電源オンされた後、情報処理システム５０にポーリングするなどして、情報処理システム５０から情報を受信できる。

【0044】

情報処理システム５０は、ネットワーク上に配置された一台以上の情報処理装置である。情報処理システム５０は、情報記録アプリ４１と協働して処理を行う１つ以上のサーバーアプリと、基盤サービスを有している。このサーバーアプリは、遠隔会議のリストの管理、遠隔会議で記録された記録情報の管理、各種設定やストレージパスの管理等を行う。基盤サービスは、ユーザー認証や契約、課金処理等を行う。

【0045】

なお、情報処理システム５０の機能の全て又は一部は、クラウド環境に存在してもよいし、オンプレミス環境に存在してもよい。情報処理システム５０は複数台のサーバー装置により構成されてもよいし、一台の情報処理装置により構成されてもよい。例えば、サーバーアプリと基盤サービスが別々の情報処理装置より提供されてよいし、更にサーバーアプリ内の機能ごとに情報処理装置が存在してもよい。情報処理システム５０と次述するストレージサービスシステム７０、音声認識サービスシステム８０が一体でもよい。

【0046】

ストレージサービスシステム７０は、ネットワーク上の記憶手段であり、ファイル等の保存を受け付けるストレージサービスを提供する。ストレージサービスシステム７０としてはＯｎｅ Ｄｒｉｖｅ（登録商標）、Ｇｏｏｇｌｅ Ｗｏｒｋｓｐａｃｅ（登録商標）、ＤｒｏｐＢｏｘ（登録商標）等が知られている。ストレージサービスシステム７０は、オンプレミスのＮＡＳ（Network Attached Storage）等でもよい。

【0047】

音声認識サービスシステム８０は、音声データに音声認識を行いテキストデータに変換するサービスを提供する。音声認識サービスシステム８０は、汎用的な商用サービスでもよいし、情報処理システム５０の機能の一部でもよい。

【0048】

＜ハードウェア構成例＞
図４を参照して、本実施形態に係る情報処理システム５０及び端末装置１０のハードウェア構成について説明する。

【0049】

＜＜情報処理システム及び端末装置＞＞
図４は、本実施形態に係る情報処理システム５０及び端末装置１０の一例のハードウェア構成を示す図である。図４に示されているように、情報処理システム５０及び端末装置１０はコンピュータによって構築されており、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ（Hard Disk）５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ/Ｆ(Interface)５０８、ネットワークＩ/Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、光学ドライブ５１４、メディアＩ/Ｆ５１６を備えている。

【0050】

これらのうち、ＣＰＵ５０１は、情報処理システム５０及び端末装置１０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ/Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ/Ｆ５０９は、ネットワークを利用してデータ通信をするためのインターフェースである。バスライン５１０は、図４に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0051】

また、キーボード５１１は、文字、数値、又は各種指示などの入力に使用される複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。光学ドライブ５１４は、着脱可能な記録媒体の一例としての光記憶媒体５１３に対する各種データの読み出し又は書き込みを制御する。なお、光記憶媒体５１３は、ＣＤ，ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）等でよい。メディアＩ/Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

【0052】

＜＜ミーティングデバイス＞＞
図５を用いて、ミーティングデバイス６０のハードウェア構成を説明する。図５は、３６０°の動画を撮像可能なミーティングデバイス６０のハードウェア構成図の一例である。以下では、ミーティングデバイス６０は撮像素子を使用した、デバイスの周囲３６０°の動画を所定の高さで撮像する装置とするが、撮像素子は１つでも２つ以上のいくつでもよい。また、必ずしも専用装置である必要はなくPCやデジタルカメラ、スマートフォン等に後付けの３６０°動画の撮像ユニットを取り付けることで、実質的に同じ機能を有するようにしてもよい。

【0053】

図５に示されているように、ミーティングデバイス６０は、撮像ユニット６０１、画像処理ユニット６０４、撮像制御ユニット６０５、マイク６０８、音処理ユニット６０９、ＣＰＵ(Central Processing Unit)６１１、ＲＯＭ(Read Only Memory)６１２、ＳＲＡＭ(Static Random Access Memory)６１３、ＤＲＡＭ(Dynamic Random Access Memory)６１４、操作部６１５、外部機器接続Ｉ/Ｆ６１６、通信部６１７、アンテナ６１７ａ、音声センサー６１８、及びMicro USB用の凹状の端子６２１によって構成されている。

【0054】

このうち、撮像ユニット６０１は、半球画像を結像するための３６０°の画角を有する広角レンズ（いわゆる魚眼レンズ）６０２と、各広角レンズに対応させて設けられている撮像素子６０３（イメージセンサー）を備えている。撮像素子６０３は、魚眼レンズ６０２による光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサーやＣＣＤ(Charge Coupled Device)センサーなどの画像センサー、この画像センサーの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

【0055】

撮像ユニット６０１の撮像素子６０３（イメージセンサー）は、画像処理ユニット６０４とパラレルＩ/Ｆバスで接続されている。一方、撮像ユニット６０１の撮像素子６０３は、撮像制御ユニット６０５とは、シリアルＩ/Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット６０４、撮像制御ユニット６０５及び音処理ユニット６０９は、バス６１０を介してＣＰＵ６１１と接続される。更に、バス６１０には、ＲＯＭ６１２、ＳＲＡＭ６１３、ＤＲＡＭ６１４、操作部６１５、外部機器接続Ｉ/Ｆ６１６、通信部６１７、及び音声センサー６１８なども接続される。

【0056】

画像処理ユニット６０４は、撮像素子６０３から出力される画像データをパラレルＩ/Ｆバスを通して取り込み、画像データに対して所定の処理を施して、魚眼映像からパノラマ画像や話者画像のデータを作成する。更に、画像処理ユニット６０４は、パノラマ画像と話者画像等を合成処理して、１つの動画を出力する。

【0057】

撮像制御ユニット６０５は、一般に撮像制御ユニット６０５をマスタデバイス、撮像素子６０３をスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子６０３のレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ６１１から受け取る。また、撮像制御ユニット６０５は、同じくＩ２Ｃバスを利用して、撮像素子６０３のレジスタ群のステータスデータ等を取り込み、ＣＰＵ６１１に送る。

【0058】

また、撮像制御ユニット６０５は、操作部６１５の撮像開始ボタンが押下されたタイミングあるいはPCから撮像開始指示を受信したタイミングで、撮像素子６０３に画像データの出力を指示する。ミーティングデバイス６０によっては、ディスプレイ（例えば、ＰＣやスマートフォンのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子６０３からの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

【0059】

また、撮像制御ユニット６０５は、後述するように、ＣＰＵ６１１と協働して撮像素子６０３の画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、ミーティングデバイス６０にはディスプレイが設けられていないが、表示部を設けてもよい。

【0060】

マイク６０８は、音を音（信号）データに変換する。音処理ユニット６０９は、マイク６０８ａ、マイク６０８ｂ、マイク６０８ｃから出力される音声データをＩ/Ｆバスを通して取り込み、これらの音声データをミキシングして所定の処理を施す。音処理ユニット６０９はまた、マイク６０８ａ、マイク６０８ｂ、マイク６０８ｃから入力される音声レベル（音量）から音源（発話者）の方向を判断する。

【0061】

ＣＰＵ６１１は、ミーティングデバイス６０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ６１２は、ミーティングデバイス６０を動作させるための種々のプログラムを記憶している。ＳＲＡＭ６１３及びＤＲＡＭ６１４はワークメモリであり、ＣＰＵ６１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ６１４は、画像処理ユニット６０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

【0062】

操作部６１５は、撮像開始ボタン６１５ａなどの操作ボタンの総称である。ユーザーは操作部６１５を操作することで、撮像や録画を開始する他、電源ON/OFFの実行、通信接続の実行、種々の撮像モードや撮像条件などの設定を入力する。

【0063】

外部機器接続Ｉ/Ｆ６１６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＰＣ等である。ＤＲＡＭ６１４に記憶された動画データや画像データは、この外部機器接続Ｉ/Ｆ６１６を介して外部端末に送信されたり、外付けのメディアに記録されたりする。

【0064】

通信部６１７は、ミーティングデバイス６０に設けられたアンテナ６１７ａを介して、Ｗｉ－Ｆｉ（登録商標）等の無線通信技術によって、インターネット経由でクラウドサーバと通信し、記憶した動画データや画像データをクラウドサーバに送信してもよい。また、通信部６１７は、BLE（Bluetooth Low Energy。登録商標）やNFC等の近距離無線通信技術を用いて付近のデバイスと通信可能でもよい。

【0065】

音声センサー６１８は、ミーティングデバイス６０の周辺（水平面）の３６０°においてどの方向から音声が大きい音で入力されたかを特定するために、３６０°の音声情報を取得するセンサーである。音処理ユニット６０９は入力した３６０°の音声パラメータに基づき、最も強い方向を特定して３６０°における音声入力方向を出力する。

【0066】

なお、他のセンサー（方位・加速度センサーやGPS等）が方位・位置・角度・加速度等を算出し、画像補正や位置情報付加に用いてもよい。

【0067】

また画像処理ユニット６０４は、パノラマ画像の作成を次の方法で行う。ＣＰＵ６１１は、球面映像を入力するイメージセンサーから入力されたRAWデータをBayer変換（RGB補完処理）等の所定のカメラ映像処理を行って魚眼映像（曲面の映像）を作成する。更に作成した魚眼映像（曲面の映像）に対してDeWarp処理（歪み補正処理）を行い、ミーティングデバイス６０の周辺の３６０°が写ったパノラマ画像（平面の映像）を作成する。

【0068】

ＣＰＵ６１１は話者画像の作成を次の方法で行う。ＣＰＵ６１１は周辺の３６０°が写ったパノラマ画像（平面の映像）から、話者を切り出した話者画像を作成する。ＣＰＵ６１１は、音声センサー６１８及び音処理ユニット６０９を用いて出力した360°から特定した音声入力方向を、話者の方向として、上記パノラマ画像から話者画像を切り出す。このとき音声入力方向から人の画像を切り出す方法は、360°から特定した音声方向を中心に30°を切り取って、その中で顔検出を実施して切り出す。ＣＰＵ６１１は、更に切り出した話者画像のうち、直近で発言のあった特定人数分（３名等）の話者画像を特定する。

【0069】

パノラマ画像と、１以上の話者画像は個別に情報記録アプリ４１に送信されてもよいし、ミーティングデバイス６０がこれらから１枚の画像を作成して、情報記録アプリ４１に送信してもよい。本実施形態では、パノラマ画像と１以上の話者画像は個別にミーティングデバイス６０から情報記録アプリ４１に送信されるものとする。

【0070】

図６は、ミーティングデバイス６０の撮像範囲を説明する図である。図６（ａ）に示すように、ミーティングデバイス６０は水平方向に３６０°の範囲を撮像する。図６（ｂ）に示すように、ミーティングデバイス６０は、ミーティングデバイス６０の高さに水平な方向を０°とし、上下に所定の角度を撮像範囲とする。

【0071】

図７は、パノラマ画像と話者画像の切り出しを説明する図である。図７に示すように、ミーティングデバイス６０が撮像する画像は球体の一部１１０をなすため、三次元の形状を有している。ミーティングデバイス６０は、図６（ｂ）で示したように、上下の所定角度と左右の所定角度ごとに画角を区切って透視投影変換を行う。透視投影変換を水平方向３６０°の全体で隙間なく行うことで、所定数の平面画像が得られるので、所定数の平面画像を左右に連結することでパノラマ画像１１１が得られる。また、ミーティングデバイス６０はパノラマ画像から音声方向を中心に所定の範囲で顔検出を実施して、顔の中心から左右に１５°（全体で３０°）を切り出すことで、話者画像１１２を作成する。

【0072】

＜＜電子黒板＞＞
図８は、電子黒板２のハードウェア構成図である。図８に示されているように、電子黒板２は、ＣＰＵ(Central Processing Unit)４０１、ＲＯＭ(Read Only Memory)４０２、ＲＡＭ(Random Access Memory)４０３、ＳＳＤ(Solid State Drive)４０４、ネットワークＩ/Ｆ４０５、及び、外部機器接続Ｉ/Ｆ(Interface)４０６を備えている。

【0073】

これらのうち、ＣＰＵ４０１は、電子黒板２全体の動作を制御する。ＲＯＭ４０２は、ＩＰＬ(Initial Program Loader)等のＯＳの起動に用いられるプログラムを記憶する。ＲＡＭ４０３は、ＣＰＵ４０１のワークエリアとして使用される。ＳＳＤ４０４は、電子黒板２用のプログラム等の各種データを記憶する。ネットワークＩ/Ｆ４０５は、通信ネットワークとの通信を制御する。外部機器接続Ｉ/Ｆ４０６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリ４３０、外付け機器（マイク４４０、スピーカ４５０、カメラ４６０）である。

【0074】

また、電子黒板２は、キャプチャデバイス４１１、ＧＰＵ４１２、ディスプレイコントローラ４１３、接触センサー４１４、センサコントローラ４１５、電子ペンコントローラ４１６、近距離通信回路４１９、及び近距離通信回路４１９のアンテナ４１９ａ、電源スイッチ４２２及び選択スイッチ類４２３を備えている。

【0075】

これらのうち、キャプチャデバイス４１１は、外付けのＰＣ４７０のディスプレイの表示情報を静止画又は動画として表示させる。ＧＰＵ(Graphics Processing Unit)４１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ４１３は、ＧＰＵ４１２からの出力画像をディスプレイ４８０等へ出力するために画面表示の制御及び管理を行う。接触センサー４１４は、ディスプレイ４８０上に電子ペン４９０やユーザーの手Ｈ等が接触したことを検知する。センサコントローラ４１５は、接触センサー４１４の処理を制御する。接触センサー４１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ４８０の上側両端部に設置された２つの受発光装置が、ディスプレイ４８０に平行して複数の赤外線を放射し、ディスプレイ４８０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサー４１４である受発光装置は、物体によって赤外線が遮断された位置（受光素子上の位置）をセンサコントローラ４１５に出力し、センサコントローラ４１５が、これらの２つの位置情報から物体の接触位置である座標位置を特定する。電子ペンコントローラ４１６は、電子ペン４９０とＢｌｕｅｔｏｏｔｈ（登録商標）通信することで、ディスプレイ４８０へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路４１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。電源スイッチ４２２は、電子黒板２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ類４２３は、例えば、ディスプレイ４８０の表示の明暗や色合い等を調整するためのスイッチ群である。

【0076】

更に、電子黒板２は、バスライン４１０を備えている。バスライン４１０は、図８に示されているＣＰＵ４０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0077】

なお、接触センサー４１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネルでもよい。接触センサー４１４は、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネルでもよい。接触センサー４１４は、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルでもよい。この他、接触センサー４１４は種々の検出手段を用いてもよい。また、電子ペンコントローラ４１６が、電子ペン４９０のペン先及びペン尻だけでなく、電子ペン４９０のユーザーが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。

【0078】

＜機能について＞
次に、図９を参照して、記録情報作成システム１００が有する機能構成について説明する。図９は、記録情報作成システム１００における端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０の機能をブロックに分けて説明する機能ブロック図の一例である。

【0079】

＜＜端末装置＞＞
端末装置１０で動作する情報記録アプリ４１は、通信部１１、操作受付部１２、表示制御部１３、アプリ画面取得部１４、音声取得部１５、デバイス通信部１６、録画制御部１７、音声データ処理部１８、録画再生部１９、アップロード部２０、編集処理部２１、コード解析部２２、指示情報表示部２３を有している。端末装置１０が有するこれら各部は、図４に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開された情報記録アプリ４１に従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、端末装置１０は、図４に示されているＨＤ５０４等によって構築される記憶部１０００を有している。記憶部１０００には情報記憶部１００１が構築されている。

【0080】

通信部１１は、ネットワークを介して情報処理システム５０と各種の情報を通信する。通信部１１は、例えば、遠隔会議のリストを情報処理システム５０から受信したり、音声データの認識要求を情報処理システム５０に送信したりする。

【0081】

表示制御部１３は情報記録アプリ４１に設定されている画面遷移にしたがって情報記録アプリ４１においてユーザーインターフェースとなる各種の画面を表示する。操作受付部１２は、情報記録アプリ４１に対する各種の操作を受け付ける。

【0082】

アプリ画面取得部１４は、デスクトップ画面、又は、ユーザーが選択したアプリの画面をＯＳ（Operating System）等から取得する。ユーザーが選択したアプリが遠隔会議アプリ４２の場合、遠隔会議アプリ４２が生成する画面（各拠点の画像、資料の画像等）が得られる。

【0083】

音声取得部１５は、遠隔会議アプリ４２が遠隔会議において受信した音声データを遠隔会議アプリ４２から取得する。なお、音声取得部１５が取得する音声は、端末装置１０が集音する音声は含まれず、遠隔会議において受信された音声データのみである点に注意されたい。ミーティングデバイス６０が別に、音声を集音しているためである。

【0084】

デバイス通信部１６は、ＵＳＢケーブルなどを利用してミーティングデバイス６０と通信する。デバイス通信部１６は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等でミーティングデバイス６０と通信してよい。デバイス通信部１６は、パノラマ画像と話者画像をミーティングデバイス６０から受信し、音声取得部１５が取得した音声データをミーティングデバイス６０に送信する。デバイス通信部１６は、ミーティングデバイス６０で合成された音声データを受信する。

【0085】

録画制御部１７は、デバイス通信部１６が受信したパノラマ画像と話者画像、及び、アプリ画面取得部１４が取得したアプリの画面を結合し、結合画像を作成する。また、録画制御部１７は繰り返し作成する結合画像を時系列に接続して結合画像動画を作成し、ミーティングデバイス６０で合成された音声データを結合画像動画に結合して音声付きの結合画像動画を作成する。

【0086】

音声データ処理部１８は、録画制御部１７が抽出する結合画像動画に結合された音声データ、又は、ミーティングデバイス６０から受信した合成後の音声データの、テキストデータへの変換を情報処理システム５０に要求する。なお、テキストデータへの変換は結合画像動画のストレージサービスシステム７０への保存時に行われてもよい。

【0087】

録画再生部１９は、結合画像動画の再生を行う。結合画像動画は、録画中は端末装置１０に保存され、その後、情報処理システム５０にアップロードされる。

【0088】

アップロード部２０は、遠隔会議が終了すると、結合画像動画を情報処理システム５０に送信する。

【0089】

編集処理部２１は、ユーザーの操作に応じて、結合画像動画の編集（一部の削除、つなぎ合わせ等）を実行する。

【0090】

コード解析部２２は、パノラマ画像に含まれる二次元コードを検出すると共に、二次元コードを解析して機器識別情報を取得する。

【0091】

指示情報表示部２３は、オブジェクトに対応付けられている操作時刻をオブジェクトの周囲等に表示したり、操作時刻に相当するタイムインジケータ上の位置にマークを表示したりする。

【0092】

図１０は、情報記憶部１００１が記憶している動画記録情報を示す。動画記録情報は、会議ＩＤ、録画ＩＤ、更新日時、タイトル、アップロード、保存先等の各項目を有している。ユーザーが情報処理システム５０にログインすると、情報記録アプリ４１は情報処理システム５０の会議情報記憶部５００１から会議情報をダウンロードする。会議情報に含まれる会議ＩＤなどが動画記録情報に反映される。図１０の動画記録情報は、あるユーザーが操作する端末装置１０が保持するものである。

【0093】

・会議ＩＤは、開催された遠隔会議を識別する識別情報である。会議ＩＤは、スケジュール管理システム９にユーザーが遠隔会議の予定を登録した際に採番されるか、又は、情報記録アプリ４１からの要求で情報処理システム５０が採番する。

【0094】

・録画ＩＤは、遠隔会議において録画された結合画像動画を識別する識別情報である。録画ＩＤはミーティングデバイス６０が採番するが、情報記録アプリ４１や情報処理システム５０が採番してもよい。同じ会議ＩＤに異なる録画ＩＤが付与されるのは、遠隔会議の途中で録画が終了したが、何らかの理由で再開した場合を示す。

【0095】

・更新日時は、結合画像動画が更新された（録画が終了した）日時である。結合画像動画が編集された場合、編集された日時である。

【0096】

・タイトルは、会議の会議名である。スケジュール管理システム９への会議の登録時に設定されてもよいし、ユーザーが任意に設定してもよい。

【0097】

・アップロードは、結合画像動画が情報処理システム５０にアップロードされたか否かを示す。

【0098】

・保存先は、ストレージサービスシステム７０において、結合画像動画、テキストデータ、及び、オブジェクト情報が保存されている場所（ＵＲＬやファイルパス）を示す。したがって、ユーザーはアップロードされた結合画像動画を任意に閲覧できる。なお、結合画像動画とテキストデータは、例えばＵＲＬに続いて別々のファイル名で保存される。保存先には、会議で決まったアクションリストなど、議事録も保存されてよい。

【0099】

＜＜ミーティングデバイス＞＞
図９に戻って説明する。ミーティングデバイス６０は、端末通信部６１、パノラマ画像作成部６２、話者画像作成部６３、集音部６４、音声合成部６５を有している。ミーティングデバイス６０が有するこれら各部は、図５に示されている各構成要素のいずれかが、ＲＯＭ６１２からＤＲＡＭ６１４に展開されたプログラムに従ったＣＰＵ６１１からの命令によって動作することで実現される機能、又は機能する手段である。

【0100】

端末通信部６１は、ＵＳＢケーブルなどを利用して端末装置１０と通信する。端末通信部６１は、有線ケーブルで接続されるだけでなく、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等で端末装置１０と通信可能であればよい。

【0101】

パノラマ画像作成部６２はパノラマ画像を作成する。話者画像作成部６３は話者画像を作成する。これらの作成方法は図６、図７にて説明した。

【0102】

集音部６４は、ミーティングデバイス６０が有するマイクが取得する音声を音声データ（デジタル）に変換する。これにより、端末装置１０側の拠点でユーザーや参加者が発言した内容が集音される。

【0103】

音声合成部６５は、端末装置１０から送信された音声と集音部６４が集音した音声を合成する。これにより、他の拠点１０１で発言された音声と、自拠点１０２の発言がまとめられる。

【0104】

＜＜情報処理システム＞＞
情報処理システム５０は、通信部５１、認証部５２、画面生成部５３、コミュニケーション管理部５４、機器管理部５５、テキスト変換部５６、操作時刻変換部５７、を有する。情報処理システム５０が有するこれら各部は、図４に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システム５０は、図４に示されているＨＤ５０４等によって構築される記憶部５０００を有している。記憶部５０００には、会議情報記憶部５００１、録画情報記憶部５００２、対応付け情報記憶部５００３、オブジェクト情報記憶部５００４が構築される。これらのうち、オブジェクト情報記憶部５００４については電子黒板２において説明する。

【0105】

通信部５１は、端末装置１０と各種の情報を送受信する。通信部５１は、例えば、遠隔会議のリストを端末装置１０に送信したり、音声データの認識要求を端末装置１０から受信したりする。

【0106】

認証部５２は、端末装置１０を操作するユーザーを認証する。認証部５２は、例えば、通信部５１によって受信された認証要求に含まれている認証情報（ユーザーＩＤ及びパスワード）が予め保持する認証情報と一致するか否かにより、ユーザーを認証する。なお、認証情報は、ＩＣカードのカード番号、顔や指紋などの生体認証情報等でもよい。また、認証部５２は、外部の認証システムやＯＡＵＴＨなどの認証方法で認証してもよい。

【0107】

画面生成部５３は、情報記録アプリ４１が表示する情報を提供する。画面の構成は情報記録アプリ４１が有しているので、画面生成部５３は、ヒートマップや活発度などをＸＭＬ等で端末装置１０に提供する。端末装置１０がＷｅｂアプリを実行する場合、画面生成部５３は、Ｗｅｂアプリが表示する画面情報の生成を行う。画面情報は、ＨＴＭＬ、ＸＭＬ、ＣＳＳ（Cascade Style Sheet）、及びJavaScript（登録商標）等により作成される。本実施形態では、画面生成部５３は、操作時刻に基づいてオブジェクトを記録情報と同期させて表示させる画面を生成する。また、画面生成部５３は、オブジェクトに関する音声又は映像が記録されている記録情報を再生させるための指示情報を時刻情報に基づいて表示する画面を生成する。

【0108】

コミュニケーション管理部５４は、各ユーザーのアカウント又は情報処理システム５０に付与されたシステム用のアカウントで、遠隔会議に関する情報をスケジュール管理システム９から取得する。スケジュール管理システム９は、各ユーザーのスケジュールを管理するシステムである。会議の開催は各参加者のスケジュールとしてスケジュール管理システム９に登録され、各参加者により共有される。コミュニケーション管理部５４は、予約された会議の会議情報を会議ＩＤと対応付けて会議情報記憶部５００１に記憶させる。また、コミュニケーション管理部５４は、テナントに所属するユーザーに閲覧権限がある会議情報を取得する。会議には会議ＩＤが設定されているので、会議ＩＤにより遠隔会議と記録情報が対応付けられる。

【0109】

機器管理部５５は、会議で使用される電子黒板２とミーティングデバイス６０の機器識別情報を受信した場合、それらを対応付けて対応付け情報記憶部５００３に保存する。したがって、会議ＩＤと電子黒板２の機器識別情報とミーティングデバイス６０の機器識別情報が対応付けられる。会議ＩＤには結合画像動画も対応付けられるので、電子黒板２で入力されたオブジェクトと結合画像動画も対応付けられる。また、機器管理部５５は、録画が終了されると（会議が終了すると）、対応付け情報記憶部５００３から対応付けを削除する。

【0110】

テキスト変換部５６は、端末装置１０からテキストデータへの変換を要求された音声データを外部の音声認識サービスシステム８０を利用してテキストデータに変換する。テキスト変換部５６自身が変換してもよい。

【0111】

操作時刻変換部５７は、電子黒板２に対する操作時刻を、結合画像動画の録画開始時刻からの経過時間に変換する。電子黒板２に対する操作時刻はその国又は地域の標準時間で記録されているからである。

【0112】

図１１は、コミュニケーション管理部５４が管理する、会議情報記憶部５００１に記憶された会議情報の一例である。コミュニケーション管理部５４は上記のアカウントを使ってテナントに所属する当該ユーザーが閲覧権限のある遠隔会議のリストを取得できる。本実施形態では、遠隔会議を例にしているが、遠隔会議のリストには１つの会議室だけで開催される会議も含まれている。

【0113】

会議情報は会議ＩＤで管理され、参加者、タイトル（会議名）、開始日時、終了日時、場所などと対応付けられている。これらは会議情報の一例であり、会議情報は、他にも情報を含みうる。

【0114】

・参加者の項目は、会議の参加者である。

【0115】

・タイトルの項目は、会議名や会議の議題など、会議の内容を表す。

【0116】

・開始日時の項目は、会議が開始される予定の日時である。

【0117】

・終了日時の項目は、会議が終了する予定の日時である。

【0118】

・場所の項目は、会議の開催場所であり、例えば会議室や、支社名、建屋などである。

【0119】

・電子黒板情報の項目は、会議で使用された電子黒板２の識別情報である。

【0120】

・ミーティングデバイスの項目は、会議で使用されたミーティングデバイス６０の識別情報である。

【0121】

・閲覧権限の項目は、会議の開催者が予め会議情報を登録する際又は開催後に閲覧権限をもつユーザーとして登録したユーザーＩＤである。例えば、会議ごとに、参加者のみ、参加者＋任意のユーザー名、又は、任意のユーザー名などが会議情報に登録される。

【0122】

・電子黒板操作データＩＤの項目は、後述する電子黒板操作データの識別情報であり、会議情報において電子黒板操作データＩＤはオブジェクト情報との紐付けに使用される。

【0123】

図１０，図１１に示すように、会議ＩＤにより会議で録画された結合画像動画が特定される。また、各会議には会議に作成される議事録が対応付けられてもよい。

【0124】

録画情報記憶部５００２に記憶されている録画情報は図１０と同様でよい。ただし、情報処理システム５０では、テナントに所属する全てのユーザーが録画した結合画像動画のリストを有する。

【0125】

図１２は、対応付け情報記憶部５００３に記憶された、会議ＩＤに対し、電子黒板２の機器識別情報とミーティングデバイス６０の機器識別情報が対応付けられた対応付け情報を示す。情報記録アプリ４１が電子黒板２とミーティングデバイス６０の機器識別情報を情報処理システム５０に送信してから、録画を終了するまでこの対応付け情報が保持される。

【0126】

＜＜ストレージサービスシステム＞＞
ストレージサービスシステム７０は記録情報及びオブジェクト情報を記憶するサービスシステムであればよい。記録情報記憶部７００１には、記録情報（結合画像動画、テキストデータ）及びオブジェクト情報が保存されている。

【0127】

図１３は、記録情報記憶部７００１に記憶されている記録情報とオブジェクト情報を示す。図１３に示すように、記録情報である結合画像動画とテキストデータ、及び、オブジェクト情報が会議ＩＤに対応付けて保存されている。結合画像動画には合成された音声が含まれており、テキストデータは合成後の音声データが音声認識により変換されたものである。オブジェクト情報は後述する電子黒板２に入力された手書きデータなどのオブジェクトに関する情報である。記録情報とオブジェクト情報は会議ＩＤと対応付けられているので、会議情報とも対応付けられている。

【0128】

図１４は、記録情報の一部であるテキストデータの構造を説明する図である。図１４に示すように、テキストデータには、ＩＤ、time、認識結果文字列、音声データ、拠点識別情報、話者ＩＤの項目が対応付けられている。

【0129】

・ＩＤの項目は、自拠点音声と他拠点音声が所定の規則で分割された場合に採番される識別情報である。所定の規則は、ミーティングデバイス６０（及び音声認識サービスシステム８０の少なくとも一方）に設定されており、例えば、一定時間の無音状態が継続すると区切る、無音状態がなくても一定時間で強制的に区切る、形態素解析により検出した一文ずつ区切る、などである。

【0130】

・timeの項目は、結合画像動画の録画開始からの継続時間による発言時刻である。記録開始時にいわゆる時刻も保存されるので、textが発言された時刻（絶対的な時刻）も分かる。

【0131】

・認識結果文字列の項目は、分割された合成音声が音声認識で変換されたテキストデータの一部である。合成音声は、認識結果文字列の変換元となった音声データである。

【0132】

・音声データの項目は、拠点の判断後に自拠点音声と他拠点音声が合成された合成音声（分割済み）である。

【0133】

・拠点識別情報の項目は、自拠点音声の音圧と他拠点音声の音圧に基づいて判断された、音声データが発言された拠点の識別情報である。拠点識別情報は、例えば１が自拠点、２が他拠点を表す。

【0134】

・話者ＩＤの項目は、認識結果文字列を発言した話者を示すユーザーＩＤである。ユーザーＩＤによりどの参加者が発言したかも特定できる。会議中に話者を識別する方法はいくつか知られている。識別する方法は、例えば、予め各社員が声紋を登録しておく方法、ミーティングデバイス６０が話者の方向を検出しているので、その方向の参加者を顔認識する方法など、どのような方法でもよい。話者ごとにマイクが用意される会場ではどのマイクが集音したかで話者が特定される。

【0135】

＜＜電子黒板＞＞
図１５は、電子黒板２の機能をブロックに分けて説明する機能ブロック図である。電子黒板２は、接触位置検出部３１、描画データ生成部３２、データ記録部３３、表示制御部３４、コード生成部３５、通信部３６、認証部３７、操作受付部３８、を有する。電子黒板２が有する各機能は、図８に示されている各構成要素のいずれかが、ＳＳＤ４０４からＲＡＭ４０３上に展開されたプログラムに従ったＣＰＵ４０１からの命令によって動作することで実現される機能又は手段である。

【0136】

接触位置検出部３１は接触センサー４１４に対し電子ペン４９０が接触した位置の座標を検出する。描画データ生成部３２は電子ペン４９０のペン先が接触した座標を接触位置検出部３１から取得する。描画データ生成部３２はこの座標点列を補間することで接続してストロークデータを生成する。

【0137】

表示制御部３４は手書きデータやユーザーが操作するためのメニューなどをディスプレイ４８０に表示する。

【0138】

データ記録部３３は、電子黒板２に手書きされた手書きデータ、円や三角などの図形、済などのスタンプ、ＰＣの画面、ファイル等をオブジェクト情報記憶部３００２に保存する。手書きデータ、図形、及び、ＰＣの画面などの画像、ファイル等はオブジェクトとして扱われる。

【0139】

通信部３６はＷＩ－ＦｉやＬＡＮに接続し、情報処理システム５０と通信する。通信部３６は、オブジェクト情報を情報処理システム５０に送信したり、情報処理システム５０に記憶されたオブジェクト情報を情報処理システム５０から受信してディスプレイ４８０に表示させたりする。

【0140】

コード生成部３５は、機器情報記憶部３００１に記憶された電子黒板２の機器識別情報と会議で使用可能な機器であることを示す情報を２次元のパターンに符号化して二次元コードを生成する。また、コード生成部３５は電子黒板２の機器識別情報と会議で使用可能な機器であることを示す情報をバーコードに符号化できる。機器識別情報はシリアル番号やＵＵＩＤ（Universally Unique Identifier）などでよい。ユーザーが設定したものでもよい。

【0141】

認証部３７は、電子黒板２のユーザーを認証する。認証方法は認証部５２と同様でよい。また、認証部３７は認証部５２に認証を依頼してもよい。

【0142】

操作受付部３８は、電子黒板２が表示するメニューや操作時刻の押下など、電子黒板２に対するユーザーの操作を受け付ける。

【0143】

また、電子黒板２は、図８に示されているＳＳＤ４０４等によって構築される記憶部３０００を有している。記憶部３０００には機器情報記憶部３００１とオブジェクト情報記憶部３００２が構築されている。

【0144】

図１６は、機器情報記憶部３００１に記憶されている機器識別情報等を示す。
・機器識別情報は、電子黒板２の識別情報である。
・ＩＰアドレスは、他の装置がネットワークを介して電子黒板２と接続するためのＩＰアドレスである。
・パスワードは電子黒板２に他の装置が接続する際の認証に使用される。

【0145】

図１７、図１８は、オブジェクト情報記憶部３００２に保存されている電子黒板操作データ及びオブジェクト情報を説明する図である。オブジェクト情報記憶部３００２とオブジェクト情報記憶部５００４に保存される情報は同じでよい。電子黒板操作データは、電子黒板２が表示するオブジェクトへの操作を時系列に記録した情報である。図１７のような電子黒板操作データに電子黒板操作データＩＤが付与され、記録情報に対応付けられる。

【0146】

まず、図１７は、電子黒板操作データを模式的に示す。電子黒板操作データは、操作ＩＤ、操作時刻、操作種別、オブジェクトＩＤ、オブジェクト種別、オブジェクト詳細の各項目を有している。

【0147】

・操作ＩＤの項目は、電子黒板２に対する一操作を識別する識別情報である。

【0148】

・操作時刻の項目は、電子黒板２に対しユーザーが操作した時刻であり、換言すると、オブジェクトの入力開始時刻又は更新時刻である。該オブジェクトが初めて入力された場合、操作時刻は入力開始時刻であり、入力済みのオブジェクトが更新された場合、操作時刻は更新時刻である。同じオブジェクトについて最も遅い更新時刻が最終更新時刻である。入力開始時刻と最終更新時刻は、それぞれオブジェクト情報に保存される。

【0149】

・オブジェクトＩＤの項目は、電子黒板に表示されたオブジェクトの識別情報である。図１７では、１つのストロークに１つのオブジェクトＩＤが付与されているが、後述の図１９にて説明するように、複数のストロークにまとめて１つのオブジェクトＩＤが付与されることが好ましい。

【0150】

・オブジェクト種別の項目は、ストローク、テキスト、図形などのオブジェクトの種別を示す。

【0151】

・オブジェクト詳細の項目は、どのようなオブジェクトが入力されたかなど、オブジェクトの詳細な情報である。

【0152】

次に、図１８を参照して、図１７の電子黒板操作データを用いて生成されるオブジェクト情報とオブジェクトの表示例の遷移を説明する。図１８は、電子黒板操作データに基づいてオブジェクト情報がどのように生成されるかを説明する図である。

【0153】

（１）ユーザーが、ストローク２２１を手書きした。データ記録部３３は操作ＩＤを付与して、このストロークの電子黒板操作データを記録する。図１７によれば、操作ＩＤは「１」、操作時刻は「13:30:00」、操作種別は作成、オブジェクトＩＤは「１」、オブジェクト種別はストローク、オブジェクト詳細は「パス、緑色」である。データ記録部３３は、これらを図１８（ａ）のオブジェクト情報に記載する。なお、入力開始時刻は操作時刻と同じ「13:30:00」、最終更新時刻は操作時刻と同じ「13:30:00」である。

【0154】

（２）次に、ユーザーが、テキスト２２２を手書きした。データ記録部３３は図１７の操作ＩＤ＝２の電子黒板操作データを作成する。そして、データ記録部３３は電子黒板操作データを図１８（ｂ）のオブジェクト情報に転記する。入力開始時刻は操作時刻と同じ「13:31:10」、最終更新時刻は操作時刻と同じ「13:31:10」である。

【0155】

（３）ユーザーが、ストローク２２１を削除した。データ記録部３３は図１７の操作ＩＤ＝３の電子黒板操作データを作成する。操作種別が削除なので、データ記録部３３は、削除されたオブジェクトＩＤ＝１をオブジェクト情報から特定し、当該オブジェクト情報を削除する（図１８（ｃ））。

【0156】

（４）ユーザーが、テキスト２２２の一部「Ｂ」を削除した。データ記録部３３は図１７の操作ＩＤ＝４の電子黒板操作データを作成する。操作種別が更新なので、データ記録部３３は、更新されたオブジェクトＩＤ＝２をオブジェクト情報から特定し、オブジェクトの詳細を更新する（「ＡＢＣ」→「ＡＣ」）。また、データ記録部３３は最終更新時刻を、電子黒板操作データの操作時刻である「13:33:35」に更新する図１８（ｄ））。

【0157】

なお、手書きデータは１つ以上のストロークの組み合わせなので、どこからどこまでが１つのオブジェクト（意味のある手書きデータ）かを適宜、電子黒板２又は情報処理システム５０が判断する。

【0158】

図１９は、手書きデータの区切り方を説明する図である。手書きデータの区切り方として入力されたストロークとストロークの間の時間的な間隔に着目する方法がある。これは連続して手書きされたストロークは、意味がある手書きデータを構成するだろうという考え方に基づいており、データ記録部３３は、予め設計者が決めた閾値以上の時間が経過したあとに手書きされたストロークを別の手書きデータとして分割する。

【0159】

図１９では時間軸に対し、ストロークの書き込み時間が四角３０７で示されている。四角３０７と四角３０７の間隔が、電子黒板２に電子ペンが触れていない時間（ペンアップからペンダウンまでの時間）である。時間に対し、ストローク３０１、ストローク３０２、ストローク３０３、ストローク３０４、ストローク３０５、が追加されている。電子ペンがストローク３０３を入力後ペンアップしてから、ストローク３０４の入力のためにペンダウンするまでの間隔が閾値以上であるとする。この場合、データ記録部３３はストローク３０１、ストローク３０２、ストローク３０３を１つの手書きデータ１５１として記録し、ストローク３０４、ストローク３０５を１つの手書きデータ１５２として記録する。

【0160】

ペンアップからペンダウンまでの時間を用いて分割する理由は、会議では複数人で一つのオブジェクトを描く場合があるためである。複数人が描いたオブジェクトに対して例えば単純にユーザーＩＤを用いて個人別にストロークを抽出すると、他人のストロークが前提となっているために、各個人別にストロークが何を筆記していたか把握することが困難なことがある。

【0161】

＜操作時刻の変換＞
続いて、図２０を参照して、操作時刻の経過時間への変換について説明する。操作時刻は、該当国の標準時で記録されている。日本の場合は日本標準時である。これに対し、結合画像動画の録画開始時刻や録画終了時刻は標準時で記録されるが、結合画像動画を構成する各フレームは、録画開始時刻からの経過時間しか有していない。このため、操作時刻変換部５７が、操作時刻を録画開始時刻からの経過時間に変換する。

【0162】

図２０は、操作時刻を、録画開始時刻からの経過時間に変換する処理を説明する図である。図２０（ａ）は、図１１と同じ会議情報である。例えば、会議ＩＤが「１」の会議では、結合画像動画の録画開始時刻が「13:28」である。図２０（ｂ）は電子黒板操作データの一例である。電子黒板操作データの操作時刻が「13:30:00」、「13:31:10」、「13:32:05」「13:33:35」だとすると、録画開始時刻との差異は、それぞれ「2:00」「3:10」「4:05」「5:35」である。操作時刻変換部５７は、このように録画開始時刻と操作時刻との差異を変換後操作時刻として算出し、この変換後操作時刻を電子黒板操作データに追加する。こうすることで、閲覧者が再生されたオブジェクトを指定すると、端末装置１０は、このオブジェクトに対応付けられた変換後操作時刻の結合画像動画を再生できる。

【0163】

操作時刻には、入力開始時刻と最終更新時刻が含まれるので、オブジェクト情報に保存される入力開始時刻と最終更新時刻がそれぞれ変換後操作時刻に変換される。

【0164】

＜動作手順＞
図２１は、会議で記録された記録情報とオブジェクト情報の保存と、端末装置１０がこれらを閲覧する処理を説明するシーケンス図である。なお、予め電子黒板２とミーティングデバイス６０が対応付けられているものとする。

【0165】

S1：ユーザーが端末装置１０の情報記録アプリ４１を操作して会議開始を指示する。例えば、ユーザーは会議情報のリストから会議を選択してよい。なお、ユーザーは別途、遠隔会議アプリ４２を操作して他の拠点との遠隔会議を開始してもよいし、遠隔会議はしなくてもよい。

【0166】

S2：端末装置１０の操作受付部１２は会議開始を受け付け、通信部１１が会議ＩＤを指定して会議開始を情報処理システム５０に送信する。

【0167】

S3：会議開始に応じて情報記録アプリ４１のデバイス通信部１６は、録画開始をミーティングデバイス６０に要求する。

【0168】

S4：ミーティングデバイス６０の端末通信部６１は録画開始要求を受信し、パノラマ画像作成部６２がパノラマ画像の作成を開始し、話者画像作成部６３が話者画像の作成を開始する。また、集音部６４が周囲の音声を集音する。なお、遠隔会議が開催された場合は音声の合成が行われるが、音声の合成はミーティングデバイス６０又は端末装置１０のどちらで行われてもよい。

【0169】

S5：端末通信部６１はパノラマ画像と話者画像及び集音した音声データを端末装置１０に送信する。端末装置１０のデバイス通信部１６はパノラマ画像と話者画像及び集音した音声データを受信する。録画制御部１７は、パノラマ画像と話者画像及び集音した音声データを合成したり、更に遠隔会議アプリ４２の映像を合成したりして結合画像動画を生成する。

【0170】

S6：次に、ユーザーが電子黒板２に対し、会議を指定して会議参加を指示する。

【0171】

S7：これにより、電子黒板２の通信部３６が電子黒板２の機器識別情報と会議ＩＤを指定して会議参加を情報処理システム５０に送信する。

【0172】

S8：ユーザーが電子黒板２にストロークなどのオブジェクトを入力する。描画データ生成部３２がストロークを生成し、表示制御部３４がディスプレイ４８０に表示する。データ記録部３３は、電子黒板操作データ及びオブジェクト情報を生成する。

【0173】

S9：電子黒板２の通信部３６は電子黒板操作データ及びオブジェクト情報を情報処理システム５０に送信する。これらは会議終了後にまとめて送信されてもよい。

【0174】

S10：情報処理システム５０の通信部５１は電子黒板操作データ及びオブジェクト情報を受信し、オブジェクト情報記憶部５００４に時系列に保存する。

【0175】

S11：ユーザーが端末装置１０の情報記録アプリ４１を操作して会議終了を指示する。

【0176】

S12：端末装置１０の操作受付部１２は会議終了を受け付け、通信部１１が会議ＩＤを指定して会議終了を情報処理システム５０に送信する。

【0177】

S13：また、会議終了に応じて情報記録アプリ４１の通信部１１は、会議ＩＤと共に結合画像動画を情報処理システム５０に送信する。

【0178】

S14：情報処理システム５０の通信部５１は結合画像動画を受信し、テキスト変換部５６が音声をテキストデータに変換する。通信部５１は、ストレージサービスシステム７０に記録情報（結合画像動画、テキストデータ）、及び、オブジェクト情報を保存する。

【0179】

S15：会議終了後、閲覧者が、端末装置１０の情報記録アプリ４１を操作して、会議を指定して記録情報とオブジェクト情報の閲覧を指示する。なお、閲覧者は参加者でも参加者以外のものでもよい。

【0180】

S16：端末装置１０の操作受付部１２は記録情報の閲覧を受け付け、通信部１１が会議ＩＤを指定して記録情報とオブジェクト情報を情報処理システム５０に要求する。

【0181】

S17：情報処理システム５０の通信部５１は、記録情報とオブジェクト情報の要求を受信し、ストレージサービスシステム７０から会議ＩＤで特定される記録情報とオブジェクト情報を取得する。通信部５１はこれらを端末装置１０に送信する。

【0182】

S18：端末装置１０の通信部１１は記録情報とオブジェクト情報を受信し、表示制御部１３が記録情報とオブジェクト情報を録画再生画面２２０に表示する。表示例は後述する。

【0183】

S19：閲覧者が例えば表示されたオブジェクトをポインティングデバイス５１２で押下する。

【0184】

S20：端末装置１０の操作受付部１２はオブジェクトの選択を受け付け、指示情報表示部２３がオブジェクトに対応付けられた変換後操作時刻を表示する。

【0185】

S21：閲覧者が例えば表示されたタイムインジケータのポインタが変換後操作時刻に一致するように操作する。

【0186】

S22：端末装置１０の操作受付部１２はポインタの操作を受け付け、録画再生部１９がポインタで指定された変換後操作時刻の結合画像動画を表示し、表示制御部１３がポインタで指定された変換後操作時刻のオブジェクトを表示する。

【0187】

＜録画再生画面の例＞
続いて、図２２から図３１を参照して、上記のステップS18で表示された録画再生画面２２０について説明する。

【0188】

図２２は、変換後操作時刻を表示した録画再生画面２２０の一例を示す。図２２に示す録画再生画面２２０の構成は一例に過ぎないが、まず録画再生画面２２０の構成を説明する。

【0189】

・領域１は、会議情報のうち比較的重要なものが表示される領域である。領域１には、例えば、会議名、会議の日時、会議の場所などが表示される。

【0190】

・領域２は、結合画像動画（パノラマ画像２０３、話者画像２０４）、及び、オブジェクト２１０が表示される領域である。録画再生部１９は、通常の動画再生と同様に結合画像動画を再生する。一方、オブジェクトは動画ではないので、結合画像動画の再生時刻を参照しながら、電子黒板操作データにおいて再生時刻＝変換後操作時刻となったオブジェクトＩＤのオブジェクトを、表示制御部１３が表示する。こうすることで、結合画像動画とオブジェクトが同期して表示される。また、領域２において、ユーザーが所定の操作を行うと、録画再生部１９はオブジェクトの再生を開始する。録画再生部１９は、ユーザーが指定した時刻以降のオブジェクトを時間の経過に応じて変化させながら表示する。オブジェクトの再生と同期させて、録画再生部１９は、結合画像動画も再生してもよい。録画再生部１９は、指定した時刻以降の変換後操作時刻を電子黒板操作データから順番に取得し、変換後操作時刻が切り替わるまでは結合画像動画を再生時刻に応じて再生し、再生時刻が次の変換後操作時刻になるとオブジェクト詳細に基づいてオブジェクトを再生する。なお、オブジェクト及び結合画像動画のいずれの場合も倍速再生（0.5、0.75、1.25、1.5、1.75、2.0倍速等、又は、任意の倍速）が可能でよい。オブジェクト又は結合画像動画のいずれか一方のみが再生されてもよい。この場合、再生されないオブジェクト又は結合画像動画は静止した状態になる。

【0191】

・領域３は、会議情報のうち領域１で表示されない情報が表示される。領域３には、例えば、参加者名、決定事項などが表示される。

【0192】

・領域４は、テキストデータが表示される領域である。テキストデータもオブジェクトと同様に、結合画像動画と同期して表示される。したがって、領域４のテキストデータは再生時刻と共に下方向にスクロールする。

【0193】

領域２には、「ＡＢＣ」というオブジェクト２１０が表示されている。閲覧者がオブジェクト２１０をポインティングデバイス５１２で押下すると、このオブジェクト２１０に対応付けられた変換後操作時刻２１１を指示情報表示部２３が表示する。この変換後操作時刻２１１は、入力開始時刻でも最終更新時刻でもよいが、ここでは入力開始時刻が変換された変換後操作時刻２１１が表示されている。変換後操作時刻２１１は入力開始時刻及び最終更新時刻の中央値でもよい。

【0194】

閲覧者は、このオブジェクト２１０に関する議論は、変換後操作時刻２１１に行われていることを確認できる。閲覧者は、タイムインジケータ２１３のポインタ２１２を操作して、変換後操作時刻２１１の結合画像動画を再生できる。なお、変換後操作時刻２１１は表示後、一定時間の経過で消去されてよい。

【0195】

図２２では、説明の便宜上、１つのオブジェクト２１０しか表示されていないが、閲覧者がタイムインジケータ２１３のポインタ２１２を進めると、その時刻までに入力された全てのオブジェクトが表示される。したがって、閲覧者は所望のオブジェクトを表示させてから、該オブジェクトを選択することで、このオブジェクト２１０に対応付けられた変換後操作時刻２１１を表示させることができる。

【0196】

あるいは、図２３に示すように、閲覧者がオブジェクト２１０をポインティングデバイス５１２で押下すると、指示情報表示部２３がこのオブジェクト２１０に対応付けられた変換後操作時刻２１１を表示すると共に、録画再生部１９が変換後操作時刻２１１から結合画像動画を再生してもよい。図２３は、オブジェクトの押下により、変換後操作時刻２１１から結合画像動画が再生される録画再生画面２２０を示す。閲覧者はタイムインジケータ２１３のポインタ２１２を操作しなくても、変換後操作時刻２１１の結合画像動画を再生できる。

【0197】

録画再生部１９は、変換後操作時刻２１１の少し前の時刻から結合画像動画を再生してもよい。オブジェクトの描画前から関連する会話が開始している場合、閲覧者が最初から会話を聞くことができる。

【0198】

また、図２３では、オブジェクト２１０の押下で、変換後操作時刻２１１から結合画像動画が再生されたが、図２２のように表示された変換後操作時刻２１１の押下で、変換後操作時刻２１１から結合画像動画が再生されてもよい。

【0199】

なお、変換後操作時刻２１１から結合画像動画が再生された場合、表示制御部１３は、電子黒板操作データの最初から変換後操作時刻２１１までのオブジェクトを表示する。ユーザーは結合画像動画だけでなく、変換後操作時刻２１１まで遡ってオブジェクトを確認できる。ユーザーが特に操作しなくても結合画像動画とオブジェクトを同期できる。以下、特に記載しない場合、オブジェクトは結合画像動画と同期して表示される。

【0200】

また、図２４に示すように、メニュー操作を経て、録画再生部１９が変換後操作時刻２１１の結合画像動画を再生してもよい。図２４は、オブジェクト２１０の押下後に録画再生画面２２０に表示されるメニュー２１５を示す。閲覧者がオブジェクト２１０を選択すると、変換後操作時刻２１１が表示されると共に、メニュー２１５が表示される。閲覧者が、「描画時間から再生を選択する」という選択肢２１５ａ（表示部品の一例）を選択すると、録画再生部１９が変換後操作時刻２１１から結合画像動画を再生する。図２４によれば、閲覧者はタイムインジケータ２１３のポインタ２１２を操作しなくても、変換後操作時刻２１１の結合画像動画を再生できる。

【0201】

また、図２５に示すように、変換後操作時刻２１１が常に表示されてもよい。図２５（ａ）は、変換後操作時刻が常に表示された録画再生画面２２０を示す。図２５（ｂ）は、領域２に表示されているオブジェクト２１０，２１６に関するオブジェクト情報である。図２５（ａ）では、「ＡＢＣ」というオブジェクト２１０と、「ＤＥ」というオブジェクト２１６のすべてに変換後操作時刻２１１，２１７が表示されている。このような処理は、結合画像動画の再生時刻に応じて、表示制御部１３が電子黒板操作データの入力開始時刻が再生時刻となったオブジェクトを表示すると、指示情報表示部２３がこのオブジェクトの変換後操作時刻２１１，２１７を表示することで実現できる。閲覧者はオブジェクト２１０，２１６を押下しなくてもこのオブジェクトに関する議論が行われた変換後操作時刻２１１，２１７を確認できる。

【0202】

また、図２６に示すように、オブジェクトの入力開始時刻と最終更新時刻の２つの変換後操作時刻２１８が表示されてもよい。図２６（ａ）は、オブジェクトの入力開始時刻と最終更新時刻の２つの変換後操作時刻２１８が表示された録画再生画面２２０を示す。図２６（ｂ）は、領域２に表示されているオブジェクトに関するオブジェクト情報である。オブジェクト情報によれば、領域２に表示中のオブジェクトうちオブジェクト２１０の入力開始時刻が「2:31」、最終更新時刻が「3:25」である。図２６（ａ）では、「ＡＢＣ」というオブジェクト２１０が押下されているので、指示情報表示部２３が「２：３１～３：２５」という２つの変換後操作時刻２１８を表示している。同様に、閲覧者が「ＤＥ」というオブジェクト２１６を押下した場合、指示情報表示部２３が「４：３０～４：３０」という２つの変換後操作時刻２１８を表示する。

【0203】

したがって、閲覧者はオブジェクト２１０に関する議論がいつからいつまで行われたかを確認でき、結合画像動画の検索性が向上する。

【0204】

次に、図２７を参照して、複数のオブジェクトの変換後操作時刻について説明する。図２７（ａ）は、複数のオブジェクト２１０，２１６が選択された場合の変換後操作時刻２１９の表示例を示す。図２７（ｂ）は、領域２に表示されているオブジェクトに関するオブジェクト情報である。閲覧者は、ポインティングデバイス５１２で領域２の複数のオブジェクト２１０，２１６を囲むなどして、複数のオブジェクトを選択できる。指示情報表示部２３は、選択された複数のオブジェクトの中で、最初の入力開始時刻と最後の最終更新時刻をオブジェクト情報から検索して表示する。図２７（ａ）では、例として、「ＡＢＣ」と「ＤＥ」の２つのオブジェクト２１０，２１６が選択されている。「ＡＢＣ」の入力開始時刻が「2:31」と、「ＤＥ」の最終更新時刻が「4:30」なので、指示情報表示部２３は選択された２つのオブジェクトについて「２：３１～４：３０」という範囲を示す変換後操作時刻２１９を表示する。閲覧者は、複数のオブジェクトに関する議論がいつからいつまで行われたかを確認でき、結合画像動画の検索性が向上する。

【0205】

また、図２８に示すように、選択されたオブジェクトの変換後操作時刻と発話区間が重複している場合に発話区間の最初から結合画像動画を再生してもよい。図２８（ａ）は、発話区間の最初から再生される結合画像動画を示す。図２８（ｂ）は、領域２に表示されているオブジェクトに関するオブジェクト情報である。図２８（ｃ）は、テキストデータのtimeの項目から求めた発話開始時刻と発話終了時刻を示す。

【0206】

発話区間とは、音声が継続している時間帯であり、例えば一定時間以上の無音状態で１つの発話区間が区切られた区間である。発話区間情報は、発話区間を示すある時刻から別の時刻までの情報である。この一定時間の長さがテキストデータで１つの認識結果文字列を区切るものと同じ場合、発話区間は１つの認識結果文字列が発話された時間である。ただし、発話区間の長さはテキストデータの区切りと同じでなくてもよい。例えば、話者が切り替わった場合、無音状態が一定時間未満でも発話区間が区切られてよい。図２８の説明では、一例として、発話開始時刻はテキストデータのtimeの項目と同じであり、発話終了時刻は、次の認識結果文字列に対応付けられたtimeの値から無音状態の長さを減じた時刻である。なお、発話開始時刻と発話終了時刻はいずれも結合画像動画の開始時刻からの経過時間に変換されている。

【0207】

図２８（ａ）では、「ＡＢＣ」というオブジェクト２１０がポインティングデバイス５１２で選択された。「ＡＢＣ」の変換後操作時刻は「２：３１」である。この時刻「２：３１」は、図２８（ｃ）の発話区間によると、「２：１５」から「３：２０」まで発話されたテキストデータ１と重複している。このため、録画再生部１９はテキストデータ１の発話開始時刻の「２:１５」から結合画像動画を再生する。タイムインジケータ２１３のポインタ２１２が「２:１５」に瞬間的に移動する。閲覧者は、オブジェクトに関する議論のうち、最初の議論から結合画像動画を閲覧できる。

【0208】

また、図２９に示すように、録画再生部１９は、ページ単位でオブジェクトの変換後操作時刻に応じた結合画像動画から再生してもよい。図２９（ａ）は、ページ内の最後に入力されたオブジェクトの変換後操作時刻から再生される結合画像動画を示す。図２９（ｂ）は、領域２に表示されているオブジェクトに関するオブジェクト情報である。

【0209】

領域２の下部には各ページのサムネイル２２５（表示部品の一例）が表示される。ページとは例えば１画面（ディスプレイサイズ分）に表示されたオブジェクトを表す区切りをいう。閲覧者がサムネイル２２５からページを選択すると、ページ内のオブジェクトの中でオブジェクトが最後に更新された最終更新時刻から、録画再生部１９が結合画像動画を再生する。例えば、閲覧者が２ページ目を選択すると、２ページ目にあるオブジェクトの最終更新時刻である「５：２０」から結合画像動画が再生される。また、表示制御部１３は、電子黒板操作データの最初から「５：２０」までに操作時刻があるオブジェクトを領域２に表示する。閲覧者は、ページ２の最終状態から議論を確認したいオブジェクトを選択して、再度、該オブジェクトの変換後操作時刻２１１から結合画像動画を再生させることができる。すなわち、閲覧者は、ページ内の全てのオブジェクトから議論を確認したいオブジェクトを選択できる。

【0210】

また、図３０に示すように、タイムインジケータとオブジェクトの色が対応付けられていてもよい。図３０（ａ）は、タイムインジケータ２１３と同じ色でオブジェクトが表示される録画再生画面２２０を示す。図３０（ｂ）は、領域２に表示されているオブジェクトに関するオブジェクト情報である。

【0211】

タイムインジケータ２１３は以下のように時間帯で色分けされている。このように色と時間帯が予め対応付けられているものとする。録画再生部１９は、タイムインジケータの長さを時間帯で区分して対応している色で表示する。
・０：００～２：００ 黄
・２：００～４：００ 緑
・４：００～６：００ 青
・６：００～８：００ 紫
一方、オブジェクト情報によると「ＡＢ」というオブジェクト２２６は「１：３１」が入力開始時刻であり、「ＣＤ」というオブジェクト２２７は「３：３０」が入力開始時刻であり、「ＥＦ」というオブジェクト２２８は「５：００」入力開始時刻であり、「ＧＨ」というオブジェクト２２９は「６：２０」入力開始時刻である。このため、表示制御部１３は、色と時間帯の対応付けに基づいて、「ＡＢ」というオブジェクト２２６を黄で、「ＣＤ」というオブジェクト２２７を緑で、「ＥＦ」というオブジェクト２２８を青で、「ＧＨ」というオブジェクト２２９を紫で、それぞれ表示する。したがって、閲覧者は、各オブジェクトについて議論が行われた時間帯をタイムインジケータ２１３から容易に特定できる。

【0212】

また、図３１に示すように、オブジェクトの操作時刻と結合画像動画の再生時刻との差と、オブジェクトの濃淡とが対応付けられていてもよい。図３１（ａ）は、オブジェクトの操作時刻と再生時刻との差をオブジェクトの濃淡に対応させた録画再生画面２２０を示す。図３１（ｂ）は、領域２に表示されているオブジェクトに関するオブジェクト情報である。

【0213】

各オブジェクト２２６～２２９は、会議中に描画されたオブジェクト詳細の色で表示されている。一方、「ＡＢ」というオブジェクト２２６の入力開始時刻は「１：３１」であり、「ＣＤ」というオブジェクト２２７の入力開始時刻は「３：３０」であり、「ＥＦ」というオブジェクト２２８の入力開始時刻は「５：００」であり、「ＧＨ」というオブジェクト２２９の入力開始時刻は「６：２０」である。

【0214】

表示制御部１３は、オブジェクト２２６～２２９の入力開始時刻と再生時刻との差をオブジェクト２２６～２２９の濃淡に対応させる。現在の再生時刻が「３：３０」であるとすると入力開始時刻との差の絶対値は以下になる。
ＡＢ 「３：３０」－「１：３１」＝１：５９
ＣＤ 「３：３０」－「３：３０」＝０
ＥＦ 「３：３０」－「５：００」＝１：３０
ＧＨ 「３：３０」－「６：２０」＝２：５０
表示制御部１３は、差が小さいほど色を濃く、差が大きいほど色を薄くする。差が極端に大きい場合、オブジェクトが透明になるので実質的には非表示である。したがって、表示制御部１３は、「ＣＤ」→「ＥＦ」→「ＡＢ」→「ＧＨ」の順に色を濃くする。表示制御部１３は、例えば１秒ごとなどに色の濃さを再計算して、色を更新する。なお、表示制御部１３は、現在の再生時刻「３：３０」には表示されていないオブジェクトについても濃度を薄くして表示する。現在の再生時刻が「３：３０」に対し前後のどのくらいの範囲のオブジェクトを表示するか（どのくらいで透明にするか）は閲覧者が設定できてよい。

【0215】

したがって、再生時刻における議論と関連性の高いオブジェクトだけ表示されるので視認性が高くなる。また、未来の時間のオブジェクトも表示することで理解しやすくなる。閲覧者は、オブジェクトの色の濃さで、現在の再生時刻に対し、どのくらい前、又は、後にオブジェクトが入力されたかを判断できる。なお、再生時刻との差は、入力開始時刻でなく、最終更新時刻との差でもよい。

【0216】

＜主な効果＞
以上説明したように、本実施例の記録情報作成システムによれば、オブジェクトに関連付けて、オブジェクトに関する議論が行われている時刻を提示できる。

【実施例0217】

本実施例では、オブジェクトの操作時刻をタイムインジケータに表示する記録情報作成システムについて説明する。

【0218】

まず、図３２を参照して概略を説明する。図３２は、本実施例の録画再生画面２２０の一例である。図３２の録画再生画面２２０では、タイムインジケータ２１３にオブジェクトのペンダウン時刻がマーク２６０で示されている。マーク２６０は、１つのオブジェクトの入力が開始された時刻（又は終了した時刻でもよい）、及び、一定時間書き込みがない状態から再度書き込みがされた時刻に表示される。

【0219】

閲覧者がポインティングデバイス５１２でマーク２６０を押下すると、端末装置１０はマーク２６０に対応するペンダウン時刻から結合画像動画を再生する。また、表示制御部１３は、電子黒板操作データの最初からペンダウン時刻までのオブジェクトを表示する。

【0220】

なお、本実施例においては、上記の実施例にて説明した図４、図５、図８のハードウェア構成図、及び、図９に示した機能ブロック図を援用できるものとして説明する。

【0221】

一方、図３３に示すように、端末装置１０の機能が実施例１とは異なっている。図３３は、電子黒板２の機能をブロックに分けて説明する機能ブロック図である。本実施例の電子黒板２は、映像表示部３９を有している。映像表示部３９は、ＰＣ４７０等の外部機器がＨＤＭＩ（登録商標。以下省略する。）ケーブル等を介して送信する映像をキャプチャデバイス４１１が受信した場合、ディスプレイ４８０の全体又は一部に映像を表示する。

【0222】

図３４は、ストロークデータのデータ構造を示す。線タイプは実線、破線等を示す。線色は線の色を示す。線太さは線の太さを示す。ペンダウン時刻はペン又は指がタッチパネルに接触した時刻（標準時）を示す。ペンダウン座標はその接触座標である。差分座標（Δx1, Δy1）、…、差分座標（Δxn, Δyn）は、ユーザーがペン又は指をタッチパネルに接触してから離れるまでの間、所定の時間間隔毎に算出された、ペンの座標と前回の検出座標との差分（Ｘ軸方向の差とＹ軸方向の差）である。

【0223】

図３４のようなストロークデータは実施例１でも作成されている。本実施形態では、ペンダウン時刻が操作時刻となる場合があるので、図を示して説明した。

【0224】

なお、本実施例では実施例１の電子黒板操作データとして、ストロークの入力だけでなく、ページ切り替え操作、手書き領域の拡張操作（スワイプイベントデータ）、及び、映像入力イベントデータ、を例にして説明する。

【0225】

＜動作手順＞
図３５は、オブジェクト情報の記録処理を説明するシーケンス図の一例である。

【0226】

S41：ユーザーがミーティングデバイス６０と電子黒板２を同じ会議で使用して会議に参加する。ミーティングデバイス６０と電子黒板２は同一会議に参加させる手順により連携済であり（図１２参照）、それぞれ情報処理システム５０に共通の会議ＩＤを指定して結合画像動画や電子黒板操作データを送信することが可能な状態となっている。

【0227】

S42：会議中、ミーティングデバイス６０のパノラマ画像作成部６２はパノラマ画像を作成し、話者画像作成部６３は話者画像を作成する。集音部６４は音声を取得する。端末通信部６１は、パノラマ画像、話者画像及び音声データを端末装置１０に送信する。

【0228】

S43：端末装置１０のデバイス通信部１６はパノラマ画像、話者画像及び音声データを受信し、これらを記録しておく。

【0229】

S44：会議中、任意のタイミングでユーザーが電子黒板２のタッチパネルにペンや指で触れることでストロークを描画する。

【0230】

S45：描画データ生成部３２は、ユーザーがタッチパネルに触れた座標列からストロークデータを生成する。

【0231】

S46：データ記録部３３は、ストロークデータを図３４に示したデータ構造に整形し、オブジェクト情報記憶部３００２に保存する。データ記録部３３はペン又は指がタッチパネルに接触した時刻（ペンダウン時刻）もオブジェクト情報記憶部３００２に保存する。

【0232】

S47：表示制御部３４は、ディスプレイ４８０にストロークを表示する。

【0233】

S48：電子黒板２の通信部３６は、会議ＩＤを指定して、情報処理システム５０に図３４のようなストロークデータを送信する。

【0234】

S49：情報処理システム５０の通信部５１はストロークデータを受信し、自身のオブジェクト情報記憶部５００４に保存する。

【0235】

次に、図３６は、電子黒板２の会議終了時の処理を説明するシーケンス図である。

【0236】

S51：ユーザーが端末装置１０の情報記録アプリ４１で会議終了ボタンを押す。

【0237】

S52：これにより、デバイス通信部１６が会議終了（映像、音声の入力停止）をミーティングデバイス６０に送信する。

【0238】

S53：ミーティングデバイス６０の端末通信部６１は会議終了を受信し、映像、音声の生成を終了する。

【0239】

S54：情報記録アプリ４１は会議中に記録したパノラマ画像と話者画像と音声から結合画像動画を作成する。

【0240】

S55：端末装置１０の通信部１１は結合画像動画を情報処理システム５０に送信する。

【0241】

S56：情報処理システム５０の通信部５１は結合画像動画を受信し、テキスト変換部５６が音声をテキストデータに変換する。情報処理システム５０は、結合画像動画、テキストデータ、及び、オブジェクト情報を会議ＩＤに対応付けてストレージサービスシステム７０に保存する。

【0242】

＜結合画像動画の再生＞
図３７は、結合画像動画の再生時の処理を説明するシーケンス図である。

【0243】

S61：会議終了後、閲覧者は端末装置１０の情報記録アプリ４１が表示する会議一覧画面にて先に実施した会議を選択する。

【0244】

S62：操作受付部１２が操作を受け付け、通信部１１が会議ＩＤを指定して記録情報を情報処理システム５０に要求する。

【0245】

S63：情報処理システム５０の通信部５１は要求を受信し、ストレージサービスシステム７０から会議ＩＤで特定される記録情報（結合画像動画とテキストデータ）を取得する。

【0246】

S64：情報処理システム５０の通信部５１は記録情報を端末装置１０に送信する。

【0247】

S65：端末装置１０の通信部１１が記録情報を受信し、録画再生部１９が録画再生画面２２０に結合画像動画とテキストデータを表示する。録画再生部１９は結合画像動画を再生し、また、音声を端末装置１０のスピーカから出力する。

【0248】

S66：また、情報処理システム５０の通信部５１は会議ＩＤに対応付けられているオブジェクト情報を端末装置１０に送信する。

【0249】

S67：端末装置１０の通信部１１がオブジェクト情報を受信し、表示制御部１３が録画再生画面２２０にオブジェクトを表示する。指示情報表示部２３は、ペンダウン時刻に基づいてマーク２６０を表示するタイムインジケータ上の位置を算出する。実施例１と同様に、ストロークデータの最初のペンダウン時刻は結合画像動画の録画開始時刻からの変換後操作時刻に変換されている。指示情報表示部２３は、タイムインジケータの長さに、変換後操作時刻/（結合画像動画の録画時間）を乗じると、タイムインジケータ上のマーク２６０の位置を算出できる。

【0250】

S68：表示制御部１３は、このマーク２６０とペンダウン時刻とを対応付けるリンクを作成する。リンクの詳細を図３８にて説明する。マーク２６０は結合画像動画の再生時刻を示すので、リンクとは、結合画像動画の再生時刻である。再生時刻はペンダウン時刻である。マーク２６０にはリンクが埋め込まれている。

【0251】

S69：閲覧者がポインティングデバイス５１２を操作してマーク２６０を押下する。端末装置１０の操作受付部１２が押下を受け付ける。

【0252】

S70－1：本実施例では、同じ領域で、結合画像動画とオブジェクトを切り替えて表示するので、端末装置１０の表示制御部１３は、結合画像動画をオブジェクトの表示に切り替える。

【0253】

S70－2：そして表示制御部１３は、マーク２６０に対応付けられたリンクが有する再生時刻のオブジェクトを録画再生画面２２０に表示する。再生時刻のオブジェクトとは、該当するページにおいて、電子黒板操作データの最初から再生時刻（ペンダウン時刻）までの全てのオブジェクトである。

【0254】

図３８は、リンクを説明する図である。図３８では、１つのストロークごとにペンダウンとペンアップが時間軸に対応づけられている。リンクは、マーク２６０と操作時刻とを対応付ける。例えば、ストローク１のペンダウン時刻「００：３０」とマーク２６０が対応付けられ、ストローク１のペンダウン時刻「００：５０」がマーク２６０と対応付けられる。マーク２６０の押下により操作時刻のオブジェクトを表示させることができる。

【0255】

一方、マーク２６０はその押下により操作時刻から結合画像動画を再生させることができる。したがって、リンクは、マーク２６０と結合画像動画の再生時刻を対応付ける。このように、リンクは、マーク２６０と操作時刻、又は、再生時刻とを対応付ける。

【0256】

＜画面例＞
図３９は、本実施例の録画再生画面２２０の一例を示す。なお、この録画再生画面２２０の構成は実施例１と異なっているが、特別な意図はなく、録画再生画面２２０は実施例１、２で共通でもよい。領域１には会議情報が表示され、領域２には結合画像動画又はオブジェクト情報が切り替えて表示され、領域３には会議の議事録が表示される。図３９（ａ）の録画再生画面２２０では、領域２に結合画像動画が表示されている。また、図３９（ａ）の録画再生画面２２０にはタイムインジケータ上にマーク２６０が表示されている。

【0257】

閲覧者がマーク２６０をポインティングデバイス５１２で押下（例えばクリック）すると、図３９（ｂ）の録画再生画面２２０に切り替わる。領域２に戻るボタン２６１が表示される。図３９（ｂ）の録画再生画面２２０では、領域２にオブジェクト情報が表示されている。表示制御部１３は、マーク２６０に対応付けられた再生時刻（ペンダウン時刻）のオブジェクト情報を領域２に表示する。すなわち、表示制御部１３は、電子黒板操作データの最初からペンダウン時刻までのオブジェクト情報に基づいてオブジェクト２６２を表示する。

【0258】

なお、領域２にオブジェクト２６２が表示されると、録画再生部１９は結合画像動画の再生を停止する。録画再生部１９は結合画像動画の再生を停止せずに、引き続き再生してもよい。また、表示制御部１３は、結合画像動画が再生されている場合、再生時刻に合わせてオブジェクト２６２の表示を変化させていくとよい。

【0259】

閲覧者が戻るボタン２６１を押下すると、図３９（ａ）の録画再生画面２２０に切り替わる。録画再生部１９は、押下されたマーク２６０に対応付けられた再生時刻（ペンダウン時刻）から、結合画像動画を再生する。すなわち、録画再生部１９は、再生を停止した時刻から（あるいはその数秒前から）結合画像動画の再生を再開する。

【0260】

また、閲覧者がマーク２６０をポインティングデバイス５１２でダブルクリック（又はダブルタップ）すると、図３９（ｃ）の録画再生画面２２０に切り替わる。図３９（ｃ）の録画再生画面２２０では、領域２に結合画像動画が表示されている。録画再生部１９は、押下されたマーク２６０に対応付けられた再生時刻（ペンダウン時刻）から結合画像動画を再生する。したがって、ストロークが手書きされた時刻の結合画像動画を閲覧者が閲覧できる。なお、領域２に結合画像動画が表示される場合、録画再生部１９は結合画像動画の再生を停止しないでよい。

【0261】

このように、タイムインジケータ２１３にマーク２６０が表示されることで、マーク２６０に対応付けられた操作時刻のオブジェクトを表示できる。閲覧者はオブジェクトが入力された時刻の電子黒板２の状態を表示できる。また、閲覧者はオブジェクトが入力された時刻の結合画像動画を再生できる。電子黒板２とミーティングデバイス６０を連携させ同一会議に参加させた会議で、会議後に閲覧者は、会議の結合画像動画と共に各オブジェクトを確認することができる。

【0262】

図３９では、領域２内でオブジェクトと結合画像動画が切り替えられているが、実施例１と同様に並行して両方が表示されてよい。この場合、オブジェクトと結合画像動画は同期して表示される。

【0263】

また、マーク２６０の押下（クリック又はタップ）、又はダブルクリックは一例であって、閲覧者が異なる操作でオブジェクトの表示と結合画像動画の再生を切り替えられればよい。また、録画再生画面２２０は、オブジェクトの表示→結合画像動画の再生→元に戻る、のように循環してもよい。

【0264】

＜ページ切り替えをタイミングとするオブジェクトの表示＞
図４０は電子黒板のディスプレイ４８０の下部に表示されるサムネイル２２５とページ追加ボタン２６３を示す。本実施例の電子黒板２は、保存済みのページのサムネイル２２５を電子黒板２のディスプレイ４８０の下部に表示すると共に、ページ追加ボタン２６３の押下により新たな白紙ページを表示できる。現在、電子黒板２が表示中のページは、サムネイルが強調して表示される（例えば色付きの矩形２６４で示される）。また、サムネイル２２５の押下により、電子黒板２は該ページを再度、表示する。ユーザーは再表示されたページのオブジェクトを編集したり、オブジェクトを追加したりできる。

【0265】

ページ追加ボタン２６３及びサムネイル２２５の選択も、ストロークデータと同様に電子黒板操作データとして、操作時刻と共に記録される。ページ追加ボタン及びサムネイルの選択を記録した電子黒板操作をページ操作データという。ページ操作データのデータ構造を図４１に示す。

【0266】

・操作タイプはページ追加ボタンによる新規ページ追加、ページ選択ボタンによるページ選択を示す。

【0267】

・操作元ページ番号はページ操作を行う前にディスプレイ４８０に表示していたページ番号を示す。

【0268】

・遷移先ページ番号はページ操作を実施したことによってディスプレイ４８０に表示するページ番号を示す。

【0269】

・操作時刻はページ操作を実施した時刻を示す。

【0270】

図４２は、オブジェクト情報の記録処理を説明するシーケンス図の一例である。なお、図４２の説明では主に図３５との相違を説明する。ステップS71～S73は図３５のステップS41～S43と同じでよい。

【0271】

S74：会議中、ユーザーが、電子黒板２が表示するページ追加ボタン２６３を押下すると、表示制御部３４が現在のページの末尾に新規ページを追加する。

【0272】

S75：表示制御部３４は、新規ページを表示する。データ記録部３３は、ページ操作が実施された時刻情報を含んだページ操作データを生成し、電子黒板２のオブジェクト情報記憶部３００２に保存する。

【0273】

S76：また、ページ操作データの記録後、電子黒板２の通信部３６は、情報処理システム５０にページ操作データを送信する。

【0274】

S77：情報処理システム５０の通信部５１はページ操作データを受信し、オブジェクト情報記憶部５００４に保存する。

【0275】

なお、ページ追加だけでなくサムネイル２２５の押下によるページ選択の場合も、ページ操作データが同様の流れで情報処理システム５０に記録される。

【0276】

会議終了処理は図３６と同じでよく、会議終了後の録画再生画面２２０の表示処理は図３７と同じでよい。ただし、リンクの作成方法が異なる。端末装置１０の表示制御部１３は、ページ操作データに付与されている操作時刻と結合画像動画の再生時刻とを紐付けるためのリンクを作成する。指示情報表示部２３は、タイムインジケータ上でのマーク２６０の位置を算出する。そして、指示情報表示部２３は、算出した位置にリンクが埋め込まれたマーク２６０を表示する。

【0277】

ユーザーがタイムインジケータ上に表示されたマーク２６０を押下すると、録画再生部１９は結合画像動画の再生を止めて、表示制御部１３が、当該ページにおいて電子黒板操作データの最初からリンクに対応付けられたページの切り替え操作があった時刻までのオブジェクトを表示する。オブジェクトの表示から結合画像動画の画面には、戻るボタン２６１で切り替えが可能である。なお、マーク２６０のダブルクリックにより、ページの切り替え操作があった時刻から結合画像動画が再生される。

【0278】

＜手書き領域の拡張操作の時刻を用いたオブジェクトの表示＞
本実施例の電子黒板２は、オブジェクトの手書き領域をディスプレイ４８０の画面サイズよりも広く拡張できる。図４３はオブジェクトの手書き領域の拡張を説明する図である。

【0279】

図４３（ａ）は、ディスプレイ４８０と同じサイズの手書き領域を示す。ユーザーが会議の議題として、あるプロジェクトの進捗を記載した後、プロジェクトの日程変更を行うために、日程表を記載することとなった。ユーザーは、ディスプレイ４８０の任意の位置をタッチして上方へのスワイプ操作を行う。こうすることで、図４３（ｂ）に示すように、電子黒板２は表示済みのオブジェクト２７０をディスプレイ４８０の手書き領域外へ移動する。手書き領域がスワイプ操作に応じた大きさだけ拡張される。拡張されるサイズは、電子黒板２のディスプレイ４８０と同じサイズでもよい。

【0280】

ユーザーによる拡張操作があった場合、電子黒板２は、電子黒板操作データとして、時刻情報を付加したスワイプイベントデータを情報処理システム５０に送信する。情報処理システム５０は、オブジェクト情報記憶部５００４にこのスワイプイベントデータを記録する。

【0281】

図４４は、手書き領域の拡張操作（スワイプイベントデータ）のデータ構造を示す。操作タイプは拡張操作を示す。操作時刻はこの拡張操作（スワイプ）が行われた時刻を示す。なお、拡張操作はスワイプに限られず、拡張操作のためのボタンで行われてもよい。

【0282】

図４５は、オブジェクト情報の記録処理を説明するシーケンス図の一例である。なお、図４５の説明では主に図４２との相違を説明する。ステップS81～S83は図４２のステップS71～S73と同じでよい。

【0283】

S84：会議中、ユーザーが、プロジェクトの日程変更を行うために、日程表を記載したいが、記載するスペースが無いため、上方へのスワイプ操作を行って、手書き領域を拡張する。

【0284】

S85：この操作により表示制御部３４は、データ記録部３３は、スワイプした移動量が所定の値以上であるか否かを判断して、所定の値以上である場合、手書き領域の拡張操作があった操作時刻を有するスワイプイベントデータを作成する。

【0285】

S86：通信部３６は、手書き領域の拡張操作（スワイプイベントデータ）を情報処理システム５０に送信する。

【0286】

S87：情報処理システム５０の通信部５１は手書き領域の拡張操作（スワイプイベントデータ）を受信し、オブジェクト情報記憶部５００４に保存する。

【0287】

会議終了処理は図３６と同じでよく、会議終了後の録画再生画面２２０の表示処理は図３７と同じでよい。ただし、リンクの作成方法が異なる。端末装置１０の表示制御部１３は、手書き領域の拡張操作（スワイプイベントデータ）に付与されている操作時刻と結合画像動画の再生時刻とを紐付けるためのリンクを作成する。そして指示情報表示部２３は、タイムインジケータ上でのマーク２６０の位置を算出する。指示情報表示部２３は、算出した位置にリンクが埋め込まれたマーク２６０を表示する。

【0288】

ユーザーがタイムインジケータ上に表示されたマーク２６０を押下すると、録画再生部１９は結合画像動画の再生を止めて、表示制御部１３が、当該ページにおいて拡張操作があった時刻までのオブジェクトを表示する。オブジェクトの表示から結合画像動画の画面には、戻るボタン２６１で切り替えが可能である。なお、マーク２６０のダブルクリックにより、ページの切り替え操作があった時刻から結合画像動画が再生される。

【0289】

＜外部映像の入力をタイミングとするオブジェクトの表示＞
本実施例の電子黒板２は、ＰＣ４７０などの外部機器から映像を受信し、その映像をディスプレイ４８０に表示できる。電子黒板２のキャプチャデバイス４１１がＰＣ４７０からＨＤＭＩケーブルを介して映像の入力を検知すると、電子黒板２は映像をディスプレイ４８０に表示する。

【0290】

図４６は、映像入力イベントデータのデータ構造を示す。イベントタイプはＰＣ４７０からの映像データの入力を示す。イベント時刻はこの映像データの入力が開始された時刻を示す。映像ファイル名は外部機器から入力される映像データのファイル名を示す。

【0291】

図４７は、オブジェクト情報の記録処理を説明するシーケンス図の一例である。なお、図４７の説明では主に図４２との相違を説明する。ステップS91～S93は図４２のステップS71～S73と同じでよい。

【0292】

S94：会議中に、ユーザーが持参しているＰＣ４７０の画面を電子黒板２のディスプレイ４８０に表示させるために、ＰＣ４７０と電子黒板２をＨＤＭＩケーブルで接続する。

【0293】

S95：電子黒板２のキャプチャデバイス４１１がＰＣ４７０から出力される映像データの入力を検知して、データ記録部３３が時刻情報を付加した映像入力イベントデータを生成する。電子黒板２のデータ記録部３３は、映像データをMPEG－4等で圧縮して、ファイル（外部入力映像ファイル）として保存する。なお、電子黒板２に接続されたＨＤＭＩケーブルが抜かれるか、又は、ユーザーにより電子黒板２の表示ボタンが押されて、ディスプレイ４８０の表示が電子黒板２に切り替わると（外部機器からの映像データ入力の終了）、映像データの圧縮処理を停止する。

【0294】

S96：外部機器からの映像データ入力が終了すると、電子黒板２のデータ記録部３３は、外部入力映像ファイルのファイル名を映像入力イベントデータに追加して、通信部３６がこの映像入力イベントデータと外部入力映像ファイルを情報処理システム５０に送信する。

【0295】

S97：情報処理システム５０の通信部５１は、映像入力イベントデータと外部入力映像ファイルを受信し、オブジェクト情報記憶部５００４に映像入力イベントデータと外部入力映像ファイルを保存する。

【0296】

会議終了処理は図３６と同じでよく、会議終了後の録画再生画面２２０の表示処理は図３７と同じでよい。ただし、リンクの作成方法が異なる。端末装置１０の表示制御部１３は、映像入力イベントデータが有する操作時刻と結合画像動画の再生時間とを紐付けるためのリンクを作成する。そして指示情報表示部２３は、タイムインジケータ上でのマーク２６０の位置を算出する。指示情報表示部２３は、算出したタイムインジケータ上の位置にリンクが埋め込まれたマーク２６０を表示する。

【0297】

ユーザーがタイムインジケータ上に表示されたマーク２６０を押下すると、録画再生部１９は結合画像動画の再生を止めて、表示制御部１３が、当該ページにおいて映像入力があった時刻までのオブジェクトを表示する。オブジェクトの表示から結合画像動画の画面には、戻るボタン２６１で切り替えが可能である。なお、マーク２６０のダブルクリックにより、ページの切り替え操作があった時刻から結合画像動画が再生される。

【0298】

なお、上記の例では、映像入力イベントの時刻を、ＨＤＭＩケーブルを介して映像の入力を検知した時刻としたが、電子黒板２に映像が入力されても直ぐにこの映像を表示しない仕様の場合もある。電子黒板２は、映像を検知して外部入力映像切り替えボタンをディスプレイ４８０に表示し、ユーザーがこのボタンを押下した時に外部機器から入力される映像を表示してもよい。この場合、外部入力映像切り替えボタンが押下された時刻がイベント時刻である。

【0299】

＜オブジェクトの種類、操作内容によるマークの変形＞
電子黒板２は、図形を表示する機能を持っている。図形とは、三角形、四角形、ひし形、円などその名称で決まる形状をいう。電子黒板２はメニューに図形ボタンを表示しており、ユーザーが図形ボタンを選択すると図形一覧が表示される。ユーザーがこの中から任意の図形を選択した後、それを表示させたいディスプレイ４８０の任意の位置を押下すると、表示制御部１３は、その図形をデフォルトの大きさで生成して、押下された位置に表示する。なお、図形の色（塗りつぶし）、図形の線の色、及び、太さは設定メニューにて設定できるようになっている。

【0300】

図４８は、図形のデータ構造を示す。
・図形タイプの項目は、図形の種類（矩形、円、三角等）を示す。
・色の項目は、図形を塗りつぶす色を示す。
・線色の項目は、線の色を示す。
・線太さの項目は、線の太さを示す。
・描画時刻の項目は、ユーザーが図形を表示させる位置にタッチした時刻を示す。
・外接矩形始点座標の項目は、図形に外接する矩形の左上の角の座標である。
・外接矩形終点座標の項目は、図形に外接する矩形の右下の角の座標である。

【0301】

図４９は、オブジェクト情報の記録処理を説明するシーケンス図の一例である。なお、図４９の説明では主に図４２との相違を説明する。ステップS101～S103は図４２のステップS71～S73と同じでよい。

【0302】

S104：会議中、ユーザーは任意のタイミングでストロークの入力、ページ追加・選択、外部入力切替、図形の表示を行う。

【0303】

S105：データ記録部３３はそれぞれの操作が実施された時刻情報を含んだ電子黒板操作データを生成し、電子黒板２のオブジェクト情報記憶部３００２に保存する。

【0304】

S106：操作データ記録後、電子黒板２の通信部３６は、情報処理システム５０に電子黒板操作データとオブジェクト情報を送信する。

【0305】

S107：情報処理システム５０の通信部５１は電子黒板操作データとオブジェクト情報を受信し、オブジェクト情報記憶部５００４に電子黒板操作データとオブジェクト情報を保存する。

【0306】

会議終了処理は図３６と同じでよく、会議終了後の録画再生画面２２０の表示処理は図３７と同じでよい。ただし、リンクの作成方法が異なる。端末装置１０の表示制御部１３は、電子黒板操作データに付与されている操作時刻と結合画像動画の再生時刻とを紐付けるためのリンクを作成する。そして指示情報表示部２３は、タイムインジケータ上でのマーク２６０の位置を算出する。指示情報表示部２３は、算出した位置にリンクが埋め込まれたマーク２６０を表示する。このマーク２６０は操作データの種類ごとに異なった形状である。

【0307】

図５０は、オブジェクトの種類又は操作の内容（ストロークデータ、ページ切り替え操作、手書き領域の拡張操作（スワイプイベントデータ）、及び、映像入力イベントデータ）ごとに異なった形状で表示されるマークを示す。図５０には、ストロークが入力された操作時刻を示すマーク２６０、ページ追加された操作時刻を示すマーク２８１、図形が表示された操作時刻を示すマーク２８２、２８３及び、外部入力の映像が表示された時刻を示すマーク２８４が、それぞれ異なる形状で表示されている。したがって、閲覧者は、マーク２６０、２８１～２８４の形状でどのオブジェクトが入力されたか判断でき、再生したいオブジェクトに対応するマークを選択できる。

【0308】

ユーザーがマーク２６０、２８１～２８４を押下すると、録画再生部１９は結合画像動画の再生を止めて、表示制御部１３が、当該ページにおいてこれらの操作があった時刻までのオブジェクトを表示する。オブジェクトの表示から結合画像動画の画面には、戻るボタン２６１で切り替えが可能である。なお、マーク２６０、２８１～２８４のダブルクリックにより、ページの切り替え操作があった時刻から結合画像動画が再生される。

【0309】

＜マウスオーバーによるサムネイルの表示＞
上記のように、本実施例の情報記録アプリ４１は、結合画像動画のタイムインジケータ上にマーク２６０を表示する。ユーザーがマーク２６０に端末装置１０のポインティングデバイス５１２のカーソル２３０を合わせると、表示制御部１３は、マーク２６０が対応付けられた再生時刻におけるオブジェクトのサムネイルをマーク２６０の上に表示する。

【0310】

図５１は、マーク２６０にカーソル２３０がマウスオーバーした場合に表示されるサムネイル２９０を示す。図５１では、ストローク１のペンダウン時刻に基づくマーク２６０をカーソル２３０がマウスオーバーしたので、マーク２６０に対応付けられた再生時刻（ペンダウン時刻「00:30」）のストロークの入力終了を示す、「００：３１」のオブジェクトのサムネイル２９０がポップアップ表示されている。表示制御部１３が「００：３１」のオブジェクトを表示するのは、入力が終わった状態のストロークを表示するためである。閲覧者は、マーク２６０を押下しなくても、ペンダウン時刻のオブジェクトを簡易的に確認することができる。このように、手書きデータのようなオブジェクトに関しては、このサムネイルは描画終了時点での画像となる。

【0311】

また、ストロークや図形のようなオブジェクトは同一ページである限り、電子黒板操作データの最初からマーク２６０に対応付けられた再生時刻までのオブジェクトが累積してサムネイル２９０に表示される。例えば図５１のストローク１とストローク２が同一ページに表示されている場合、閲覧者がストローク２のペンダウン時刻に基づくマーク２６０をカーソル２３０でマウスオーバーすると、ストローク２のサムネイル画像にはストローク１も含まれる。

【0312】

なお、表示制御部１３が、任意のサムネイルを表示した際、サムネイルをマーク２６０毎にキャッシュとして持っておくようにすることで、２回目以降、同じマーク２６０をカーソル２３０がマウスオーバーした場合、サムネイルの表示負荷を軽減できる。

【0313】

＜マークの間引き表示＞
ページ切り替え操作や映像入力イベントデータよりも、ストロークデータや図形の入力は、会議中の操作回数が多くマーク２６０が密になる場合がある。そのため表示制御部１３は、タイムインジケータ上のマーク２６０を間引いて表示することでマーク２６０の見やすさが向上する。

【0314】

指示情報表示部２３がリンクを作成する際、ストロークデータ又は図形の時間的な間隔が一定時間以下のものを１つのオブジェクトとみなし、このオブジェクトの先頭となるストロークデータについてのみペンダウン時刻とマーク２６０を対応付ける。

【0315】

図５２は１つのオブジェクトとみなされる複数のストロークデータを説明する図である。ストローク３１１とストローク３１２、ストローク３１２とストローク３１３の時間的な間隔が一定時間未満である。ストローク３１４とストローク３１５、ストローク３１５とストローク３１６の時間的な間隔が一定時間未満である。一方、ストローク３１３とストローク３１４の時間的な間隔が一定時間以上である。このため、指示情報表示部２３は、ストローク３１１～３１３を１つのオブジェクト、ストローク３１４～３１６を１つのオブジェクトと判断する。指示情報表示部２３は、ストローク３１１～３１３に１つのマーク２６０を対応付け、ストローク３１４～３１６に１つのマーク２６０を対応付ける。このように、複数のストロークデータに１つのマーク２６０を対応付けることで、マーク２６０の数が少なくなり、見やすさが向上する。

【0316】

なお、指示情報表示部２３は同じ種類のオブジェクトについて入力の時間的な間隔に応じてマーク２６０を間引きすることが好ましい。

【0317】

また、１つのオブジェクトとみなすための基準となる一定時間は、会議の全体時間によって可変の値でよい。会議の全体時間が短いほど一定時間は短くなり、１つのオブジェクトとみなされるストロークデータの数は少なくなる。一方で会議の全体時間が長いほど一定時間は長くなり、１つのオブジェクトとみなされるストロークデータの数が多くなる。

【0318】

また、入力の時間的な間隔でなく、手書きの入力密度が閾値以上の場合にその始点となったタイムインジケータ上の時刻に指示情報表示部２３がマーク２６０を表示してもよい。手書きの入力密度とは、例えば、一定時間ごとに入力されたストローク数や座標点数である。指示情報表示部２３は、一定時間ごとにこれらをカウントし、閾値以上の場合、一定時間の始期にマーク２６０を表示する。

【0319】

＜主な効果＞
本実施例によれば、タイムインジケータ上のマーク２６０を閲覧者が押下することで、マーク２６０に対応付けられた操作時刻のオブジェクト又は結合画像動画を再生できる。閲覧者はオブジェクトが入力された時刻の電子黒板２の状態を表示できる。また、閲覧者はオブジェクトが入力された時刻における議論を再生できる。

【0320】

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【0321】

例えば、本実施形態では、情報記録アプリ４１により録画再生画面２２０が表示されたが、端末装置１０がＷｅｂブラウザで録画再生画面２２０を表示してもよい。この場合、情報処理システム５０は本実施形態で説明した録画再生画面２２０の表示機能を含むＷｅｂアプリを端末装置１０に提供する。閲覧者は、録画再生画面２２０と同様に変換後操作時刻２１１を表示させたり、変換後操作時刻２１１から結合画像動画を再生したりできる。

【0322】

また、端末装置１０とミーティングデバイス６０が一体でもよい。端末装置１０にミーティングデバイス６０が外付けされてもよい。また、ミーティングデバイス６０は、全天球カメラとマイクとスピーカがケーブルで接続されたものでもよい。

【0323】

また、他の拠点１０１においてもミーティングデバイス６０が配置されてよい。他の拠点１０１は別途、ミーティングデバイス６０を使用して結合画像動画とテキストデータを作成する。また、１つの拠点に複数のミーティングデバイス６０が配置されてもよい。この場合、ミーティングデバイス６０ごとに複数の記録情報が作成される。

【0324】

また、本実施形態で使用した、結合画像動画における、パノラマ画像２０３，話者画像２０４、及び、アプリの画面の配置は一例に過ぎない。パノラマ画像２０３が下で話者画像２０４が上でもよいし、ユーザーが配置を変更したり、再生時にはパノラマ画像２０３と話者画像２０４の表示と非表示を個別に切り替えたりしてもよい。

【0325】

また、図９などの構成例は、端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

【0326】

また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、情報処理システム５０は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。

【0327】

更に、情報処理システム５０は、開示された処理ステップ、例えば図２１、図３５～図３７等を様々な組み合わせで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、情報処理システム５０が有する複数の情報処理装置によって実行され得る。また、情報処理システム５０は、1つのサーバー装置にまとめられていても良いし、複数の装置に分けられていても良い。

【0328】

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」は、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（Digital Signal Processor）、FPGA（Field Programmable Gate Array）、及び、従来の回路モジュール等のデバイスを含む。

【0329】

＜請求項に関する付記＞
［請求項１］
デバイスにより動画として記録された音声及び映像を含む記録情報と、表示装置によりオブジェクトが表示された時刻情報を含むオブジェクト情報を情報処理システムから受信する端末装置を、
前記記録情報と前記オブジェクト情報を受信する通信部と、
前記記録情報を再生する録画再生部と、
前記オブジェクトを表示する表示制御部と、
前記時刻情報における前記オブジェクト、又は、該オブジェクトに関する前記音声又は前記映像が記録されている前記記録情報を再生させるための指示情報を前記時刻情報に基づいて表示する指示情報表示部、
として機能させるためのプログラム。
［請求項２］
前記指示情報は前記時刻情報であることを特徴とする請求項１に記載のプログラム。
［請求項３］
前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記操作受付部が選択を受け付けた前記オブジェクトの前記時刻情報を前記指示情報表示部が表示することを特徴とする請求項２に記載のプログラム。
［請求項４］
前記時刻情報の選択を前記操作受付部が受け付けた場合、前記録画再生部は、前記記録情報を前記時刻情報から再生することを特徴とする請求項３に記載のプログラム。
［請求項５］
前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記操作受付部が選択を受け付けた前記オブジェクトの前記時刻情報から、前記録画再生部が前記記録情報を再生することを特徴とする請求項２に記載のプログラム。
［請求項６］
前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記操作受付部が前記オブジェクトの選択を受け付けた場合、前記表示制御部が前記時刻情報から前記記録情報を再生する表示部品を表示し、
前記操作受付部が前記表示部品の選択を受け付けた場合、前記オブジェクトの前記時刻情報から、前記録画再生部が前記記録情報を再生することを特徴とする請求項２に記載のプログラム。
［請求項７］
前記表示制御部が前記オブジェクトを表示している場合、前記指示情報表示部は、表示されている前記オブジェクトの前記時刻情報を常に表示することを特徴とする請求項２に記載のプログラム。
［請求項８］
前記時刻情報は、前記オブジェクトの入力開始時刻と最終更新時刻とを含み、
前記操作受付部が選択を受け付けた前記オブジェクトの前記入力開始時刻と前記最終更新時刻を前記指示情報表示部が表示することを特徴とする請求項３に記載のプログラム。
［請求項９］
前記操作受付部が複数の前記オブジェクトの選択を受け付けた場合、
前記指示情報表示部は選択された複数の前記オブジェクトのうち、最初の前記入力開始時刻と最後の前記最終更新時刻を表示することを特徴とする請求項８に記載のプログラム。
［請求項１０］
前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記記録情報は、前記音声が発話された発話区間情報を有し、
前記操作受付部が選択を受け付けた前記オブジェクトの前記時刻情報を含む前記発話区間情報がある場合、前記録画再生部は前記発話区間情報の開始から前記記録情報を再生することを特徴とする請求項２に記載のプログラム。
［請求項１１］
前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記オブジェクト情報はページごとに区分されており、
前記表示制御部は、前記オブジェクトを表示する際、任意のページの選択を受け付ける表示部品を表示し、
前記操作受付部が選択を受け付けた前記ページに含まれる前記オブジェクトの最終更新時刻のうち、最も遅い最終更新時刻から、前記録画再生部が前記記録情報を再生することを特徴とする請求項２に記載のプログラム。
［請求項１２］
前記録画再生部は、前記記録情報のタイムインジケータを時間帯に応じて色分けして表示し、
前記表示制御部は、前記オブジェクトの前記時刻情報が属する前記時間帯と同じ色で該オブジェクトを表示することを特徴とする請求項２に記載のプログラム。
［請求項１３］
前記表示制御部は、前記オブジェクトの前記時刻情報と前記記録情報が再生されている再生時刻との差に応じて、前記オブジェクトの濃度を変更して表示することを特徴とする請求項２に記載のプログラム。
［請求項１４］
前記時刻情報の選択を前記操作受付部が受け付けた場合、前記表示制御部は、前記時刻情報におけるオブジェクトを表示することを特徴とする請求項３に記載のプログラム。
［請求項１５］
前記録画再生部は、前記記録情報のタイムインジケータを前記記録情報と共に表示し、
前記指示情報は、前記タイムインジケータにおいて前記オブジェクトが入力された時刻を示すマークであることを特徴とする請求項１に記載のプログラム。
［請求項１６］
前記オブジェクトはストロークデータであり、
前記マークは、前記タイムインジケータにおいて前記ストロークデータが入力された時刻を示すことを特徴とする請求項１５に記載のプログラム。
［請求項１７］
前記オブジェクト情報はページごとに区分されており、前記オブジェクト情報にはページの切り替え操作の操作時刻が含まれており、
前記マークは、前記タイムインジケータにおいて前記ページの切り替え操作の操作時刻を示すことを特徴とする請求項１５に記載のプログラム。
［請求項１８］
前記表示装置は手書き領域を拡張する操作により、手書き領域を拡張し、
前記オブジェクト情報には前記手書き領域を拡張した操作時刻が含まれており、
前記マークは、前記タイムインジケータにおいて前記手書き領域を拡張した操作時刻を示すことを特徴とする請求項１５に記載のプログラム。
［請求項１９］
前記表示装置は、外部機器から入力された映像を表示し、
前記オブジェクト情報には前記外部機器から映像が入力された時刻が含まれており、
前記マークは、前記タイムインジケータにおいて前記外部機器から映像が入力された時刻を示すことを特徴とする請求項１５に記載のプログラム。
［請求項２０］
前記オブジェクト情報は、ストロークデータが入力された時刻、ページの切り替え操作の操作時刻、図形が入力された時刻、手書き領域を拡張した操作時刻、及び、外部機器から映像が入力された時刻が含まれており、
前記表示制御部は、操作の種類によって前記マークを変更することを特徴とする請求項１５に記載のプログラム。
［請求項２１］
表示された前記マークに対し、ポインティングデバイスのカーソルが重なった場合、
前記表示制御部は、該マークに対応付けられている前記オブジェクトの入力が終了した時刻に基づいて、前記オブジェクトのサムネイルを表示することを特徴とする請求項１５に記載のプログラム。
［請求項２２］
前記表示制御部は、前記ストロークデータが入力された時刻と時刻の間隔が閾値以上の場合のみ、前記ストロークデータが入力された時刻を示すマークを前記タイムインジケータに表示することを特徴とする請求項１６に記載のプログラム。
［請求項２３］
前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記マークの選択を前記操作受付部が受け付けた場合、前記録画再生部は、前記記録情報を前記オブジェクトが入力された時刻から再生することを特徴とする請求項１５～２２のいずれか１項に記載のプログラム。
［請求項２４］
前記端末装置を、
前記表示制御部が表示した前記オブジェクトの選択を受け付ける操作受付部として機能させ、
前記マークの選択を前記操作受付部が受け付けた場合、前記表示制御部は、前記オブジェクトが入力された時刻におけるオブジェクトを表示することを特徴とする請求項１５～２２のいずれか１項に記載のプログラム。
［請求項２５］
前記表示制御部は、前記時刻情報に基づいて前記オブジェクトを前記記録情報と同期させて表示する請求項１～２４のいずれか１項に記載のプログラム。