知財求人 - 知財ポータルサイト「IP Force」
特開2024-134884パノラマ画像作成システム、デバイス、表示方法、プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024134884
(43)【公開日】2024-10-04
(54)【発明の名称】パノラマ画像作成システム、デバイス、表示方法、プログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20240927BHJP
H04N 7/15 20060101ALI20240927BHJP
H04N 23/698 20230101ALI20240927BHJP
H04N 23/611 20230101ALI20240927BHJP
G06T 3/047 20240101ALI20240927BHJP
【ＦＩ】
H04N23/60 500
H04N7/15
H04N7/15 150
H04N23/698
H04N23/611
G06T3/00 710
【審査請求】未請求
【請求項の数】21
【出願形態】ＯＬ
(21)【出願番号】P 2023045315
(22)【出願日】2023-03-22
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100107515
【弁理士】
【氏名又は名称】廣田 浩一
(72)【発明者】
【氏名】切金 大介
【テーマコード（参考）】
5B057
5C122
5C164
【Ｆターム（参考）】
5B057BA23
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CD03
5B057CD18
5B057CD20
5B057DA07
5B057DA08
5B057DA16
5C122EA47
5C122FA02
5C122FB06
5C122FH04
5C122FH09
5C122FH11
5C122HA13
5C122HB01
5C122HB05
5C122HB09
5C122HB10
5C164FA10
5C164PA31
5C164UB81S
5C164VA07P
5C164VA35P
(57)【要約】
【課題】パノラマ画像の端部に人物が配置されることを抑制すること。
【解決手段】本発明は、魚眼レンズにより撮像した魚眼画像を生成するデバイスを含むパノラマ画像作成システムであって、前記魚眼画像における人物座標を取得する人物座標取得部と、前記人物座標に基づき人物の間隔を推定する人物間隔推定部と、予め設定されているパノラマ分割数ｎ(n≧1)に基づき、前記人物の間隔からｎ個のパノラマ端部位置を決定するパノラマ端部位置決定部と、ｎ個の前記パノラマ端部位置で前記魚眼画像が分割された、ｎ個のパノラマ画像１３６を出力するパノラマ画像出力部と、を有する。
【選択図】図１
【解決手段】本発明は、魚眼レンズにより撮像した魚眼画像を生成するデバイスを含むパノラマ画像作成システムであって、前記魚眼画像における人物座標を取得する人物座標取得部と、前記人物座標に基づき人物の間隔を推定する人物間隔推定部と、予め設定されているパノラマ分割数ｎ(n≧1)に基づき、前記人物の間隔からｎ個のパノラマ端部位置を決定するパノラマ端部位置決定部と、ｎ個の前記パノラマ端部位置で前記魚眼画像が分割された、ｎ個のパノラマ画像１３６を出力するパノラマ画像出力部と、を有する。
【選択図】図１
【特許請求の範囲】
【請求項1】
魚眼レンズにより撮像した魚眼画像を生成するデバイスを含むパノラマ画像作成システムであって、
前記魚眼画像における人物座標を取得する人物座標取得部と、
前記人物座標に基づき人物の間隔を推定する人物間隔推定部と、
予め設定されているパノラマ分割数ｎ(ｎ≧1)に基づき、前記人物の間隔からｎ個のパノラマ端部位置を決定するパノラマ端部位置決定部と、
ｎ個の前記パノラマ端部位置で前記魚眼画像が分割された、ｎ個のパノラマ画像を出力するパノラマ画像出力部と、
を有するパノラマ画像作成システム。
前記魚眼画像における人物座標を取得する人物座標取得部と、
前記人物座標に基づき人物の間隔を推定する人物間隔推定部と、
予め設定されているパノラマ分割数ｎ(ｎ≧1)に基づき、前記人物の間隔からｎ個のパノラマ端部位置を決定するパノラマ端部位置決定部と、
ｎ個の前記パノラマ端部位置で前記魚眼画像が分割された、ｎ個のパノラマ画像を出力するパノラマ画像出力部と、
を有するパノラマ画像作成システム。
【請求項2】
前記人物座標取得部は、前記魚眼画像から２次元の人物座標を取得し、
前記人物間隔推定部は、前記２次元の人物座標に基づき前記人物の間隔を推定することを特徴とする請求項１に記載のパノラマ画像作成システム。
前記人物間隔推定部は、前記２次元の人物座標に基づき前記人物の間隔を推定することを特徴とする請求項１に記載のパノラマ画像作成システム。
【請求項3】
前記２次元の人物座標を前記魚眼画像の原点を中心に、前記パノラマ分割数ｎに応じて回転させ、２次元人物回転座標を決定する座標回転処理部を有し、
前記人物間隔推定部は、前記２次元の人物座標と前記２次元人物回転座標に基づき前記人物の間隔を推定することを特徴とする請求項２に記載のパノラマ画像作成システム。
前記人物間隔推定部は、前記２次元の人物座標と前記２次元人物回転座標に基づき前記人物の間隔を推定することを特徴とする請求項２に記載のパノラマ画像作成システム。
【請求項4】
前記座標回転処理部は、前記魚眼画像の原点を中心に前記２次元の人物座標を360/n°回転させる処理を、(n－1)回繰り返し行うことで、前記２次元人物回転座標を決定することを特徴とする請求項３に記載のパノラマ画像作成システム。
【請求項5】
前記２次元の人物座標を、前記魚眼画像の原点を中心とする円周方向の１次元人物座標に変換する１次元座標変換部を有し、
前記人物間隔推定部は、前記１次元人物座標に基づき前記人物の間隔を推定することを特徴とする請求項２に記載のパノラマ画像作成システム。
前記人物間隔推定部は、前記１次元人物座標に基づき前記人物の間隔を推定することを特徴とする請求項２に記載のパノラマ画像作成システム。
【請求項6】
前記１次元人物座標を前記魚眼画像の原点を中心に、前記パノラマ分割数ｎに応じて回転させ、１次元人物回転座標を決定する座標回転処理部を有し、
前記人物間隔推定部は、前記１次元人物座標と前記１次元人物回転座標に基づき前記人物の間隔を推定することを特徴とする請求項５に記載のパノラマ画像作成システム。
前記人物間隔推定部は、前記１次元人物座標と前記１次元人物回転座標に基づき前記人物の間隔を推定することを特徴とする請求項５に記載のパノラマ画像作成システム。
【請求項7】
前記座標回転処理部は、前記魚眼画像の原点を中心に前記１次元人物座標を360/n°回転させる処理を、(n－1)回繰り返し行うことで、前記１次元人物回転座標を決定することを特徴とする請求項６に記載のパノラマ画像作成システム。
【請求項8】
前記パノラマ端部位置決定部は、複数の前記人物の間隔のうち最大の前記人物の間隔から前記パノラマ端部位置を決定することを特徴とする請求項１～７のいずれか１項に記載のパノラマ画像作成システム。
【請求項9】
前記パノラマ端部位置決定部は、複数の前記人物の間隔のうち最大の前記人物の間隔の中間点を前記パノラマ端部位置に決定することを特徴とする請求項８に記載のパノラマ画像作成システム。
【請求項10】
前記パノラマ端部位置決定部は、前記人物の間隔のうち前記パノラマ分割数ｎに応じて予め設定されたｎ個のパノラマ端部初期位置に最も近い前記人物の間隔から、前記パノラマ端部位置を決定することを特徴とする請求項１～７のいずれか１項に記載のパノラマ画像作成システム。
【請求項11】
前記パノラマ端部位置決定部は、直前の前記パノラマ端部位置に最も近い前記人物の間隔の間から、次回の前記パノラマ端部位置を決定することを特徴とする請求項１～７のいずれか１項に記載のパノラマ画像作成システム。
【請求項12】
前記人物座標取得部が前記魚眼画像から１人も人物座標を取得しない場合、
前記パノラマ端部位置決定部は、前記パノラマ分割数ｎに応じて予め設定されたｎ個のパノラマ端部初期位置を決定することを特徴とする請求項１に記載のパノラマ画像作成システム。
前記パノラマ端部位置決定部は、前記パノラマ分割数ｎに応じて予め設定されたｎ個のパノラマ端部初期位置を決定することを特徴とする請求項１に記載のパノラマ画像作成システム。
【請求項13】
前記人物座標取得部が前記魚眼画像から１人のみの人物座標を取得した場合、
前記パノラマ端部位置決定部は、取得した人物座標と重複しない１つの前記パノラマ端部位置を決定することを特徴とする請求項１に記載のパノラマ画像作成システム。
前記パノラマ端部位置決定部は、取得した人物座標と重複しない１つの前記パノラマ端部位置を決定することを特徴とする請求項１に記載のパノラマ画像作成システム。
【請求項14】
前記パノラマ端部位置決定部は、前記パノラマ端部位置が存在している前記人物の間隔の大きさが変化したタイミングで前記パノラマ端部位置を更新することを特徴とする請求項１に記載のパノラマ画像作成システム。
【請求項15】
前記パノラマ端部位置決定部は、最大の人物の間隔の場所が変わったタイミングで前記パノラマ端部位置を更新することを特徴とする請求項１に記載のパノラマ画像作成システム。
【請求項16】
前記パノラマ端部位置決定部は、前記魚眼画像から検知される前記人物の数が増加又は減少したタイミングで前記パノラマ端部位置を更新することを特徴とする請求項１に記載のパノラマ画像作成システム。
【請求項17】
前記パノラマ端部位置決定部は、現在の前記パノラマ端部位置と人物の座標が重なったタイミングで前記パノラマ端部位置を更新することを特徴とする請求項１に記載のパノラマ画像作成システム。
【請求項18】
前記パノラマ分割数ｎの選択を受け付ける画面を表示するか、前記デバイスは、前記パノラマ分割数ｎの選択を受け付けるハードキー又はタッチパネルを有することを特徴とする請求項１に記載のパノラマ画像作成システム。
【請求項19】
魚眼レンズにより撮像した魚眼画像を生成するデバイスであって、
前記魚眼画像における人物座標を取得する人物座標取得部と、
前記人物座標に基づき人物の間隔を推定する人物間隔推定部と、
予め設定されているパノラマ分割数ｎ(n≧1)に基づき、前記人物の間隔からｎ個のパノラマ端部位置を決定するパノラマ端部位置決定部と、
ｎ個の前記パノラマ端部位置で前記魚眼画像が分割された、ｎ個のパノラマ画像を出力するパノラマ画像出力部と、
を有するデバイス。
前記魚眼画像における人物座標を取得する人物座標取得部と、
前記人物座標に基づき人物の間隔を推定する人物間隔推定部と、
予め設定されているパノラマ分割数ｎ(n≧1)に基づき、前記人物の間隔からｎ個のパノラマ端部位置を決定するパノラマ端部位置決定部と、
ｎ個の前記パノラマ端部位置で前記魚眼画像が分割された、ｎ個のパノラマ画像を出力するパノラマ画像出力部と、
を有するデバイス。
【請求項20】
魚眼レンズにより撮像した魚眼画像を生成するデバイスを含むパノラマ画像作成システムが行う表示方法であって、
人物座標取得部が、前記魚眼画像における人物座標を取得する処理と、
人物間隔推定部が、前記人物座標に基づき人物の間隔を推定する処理と、
パノラマ端部位置決定部が、予め設定されているパノラマ分割数ｎ(n≧1)に基づき、前記人物の間隔からｎ個のパノラマ端部位置を決定する処理と、
パノラマ画像出力部が、ｎ個の前記パノラマ端部位置で前記魚眼画像が分割された、ｎ個のパノラマ画像を出力する処理と、
を実行する表示方法。
人物座標取得部が、前記魚眼画像における人物座標を取得する処理と、
人物間隔推定部が、前記人物座標に基づき人物の間隔を推定する処理と、
パノラマ端部位置決定部が、予め設定されているパノラマ分割数ｎ(n≧1)に基づき、前記人物の間隔からｎ個のパノラマ端部位置を決定する処理と、
パノラマ画像出力部が、ｎ個の前記パノラマ端部位置で前記魚眼画像が分割された、ｎ個のパノラマ画像を出力する処理と、
を実行する表示方法。
【請求項21】
魚眼レンズにより撮像した魚眼画像を生成するデバイスから、前記魚眼画像を受信する端末装置を、
前記魚眼画像における人物座標を取得する人物座標取得部と、
前記人物座標に基づき人物の間隔を推定する人物間隔推定部と、
予め設定されているパノラマ分割数ｎ(n≧1)に基づき、前記人物の間隔からｎ個のパノラマ端部位置を決定するパノラマ端部位置決定部と、
ｎ個の前記パノラマ端部位置で前記魚眼画像が分割された、ｎ個のパノラマ画像を出力するパノラマ画像出力部、
として機能させるためのプログラム。
前記魚眼画像における人物座標を取得する人物座標取得部と、
前記人物座標に基づき人物の間隔を推定する人物間隔推定部と、
予め設定されているパノラマ分割数ｎ(n≧1)に基づき、前記人物の間隔からｎ個のパノラマ端部位置を決定するパノラマ端部位置決定部と、
ｎ個の前記パノラマ端部位置で前記魚眼画像が分割された、ｎ個のパノラマ画像を出力するパノラマ画像出力部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、パノラマ画像作成システム、デバイス、表示方法、及びプログラムに関する。
【背景技術】
【0002】
会議の議事録の作成を支援する技術として、会議中の参加者の発言を記録したり、参加者などの会議中の様子を録画したりする技術が知られている。画角の広いデバイスを使用することで、広い範囲の参加者を記録できる。
【0003】
会議中に撮像された１人以上の参加者の顔画像を抽出して所定領域に配置する技術が知られている（例えば、特許文献１参照）。特許文献１には、凸面反射ミラーを用いて360°全方位が環状に撮像された画像を撮像し、検出した顔画像が画面中央に配置されるように分断する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術では、人物がパノラマ画像の端部に配置される場合があるという問題があった。例えば、撮像に魚眼レンズが使用された場合、得られる魚眼画像には端部がないが、魚眼画像から生成されたパノラマ画像には端部が発生し、人物がパノラマ画像の端部に配置される場合が生じうる。
【0005】
本発明は、上記課題に鑑み、パノラマ画像の端部に人物が配置されることを抑制する技術を提供する。
【課題を解決するための手段】
【0006】
本発明は、魚眼レンズにより撮像した魚眼画像を生成するデバイスを含むパノラマ画像作成システムであって、前記魚眼画像における人物座標を取得する人物座標取得部と、前記人物座標に基づき人物の間隔を推定する人物間隔推定部と、予め設定されているパノラマ分割数ｎ(n≧1)に基づき、前記人物の間隔からｎ個のパノラマ端部位置を決定するパノラマ端部位置決定部と、ｎ個の前記パノラマ端部位置で前記魚眼画像が分割された、ｎ個のパノラマ画像を出力するパノラマ画像出力部と、を有する。
【発明の効果】
【0007】
本発明は、パノラマ画像の端部に人物が配置されることを抑制することができる。
【図面の簡単な説明】
【0008】
【図1】パノラマ画像の作成方法の概略を説明する図である。
【図2】遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。
【図3】記録情報作成システムの構成例を示す図である。
【図4】情報処理システム及び端末装置のハードウェア構成例を示す図である。
【図5】ミーティングデバイスのハードウェア構成例を示す図である。
【図6】ミーティングデバイスの撮像範囲を説明する図である。
【図7】パノラマ画像と話者画像の切り出しを説明する図である。
【図8】記録情報作成システムにおける端末装置、ミーティングデバイス、及び、情報処理システムの機能をブロックに分けて説明する機能ブロック図の一例である。
【図9】情報記憶部が記憶している動画記録情報の一例を示す図である。
【図10】コミュニケーション管理部が管理する会議情報の一例を示す図である。
【図11】録画情報記憶部に記憶されている録画情報の一例を示す図である。
【図12】２段分割パノラマ画像の生成時に、人物間隔推定部が人物間隔情報を推定する処理を説明する図である。
【図13】パノラマ画像作成部の機能を詳細に示す機能ブロック図の一例である。
【図14】パノラマ端部位置決定部がパノラマ端部位置を決定する処理を説明するフローチャート図の一例である。
【図15】撮像ユニットとして半天球魚眼カメラを垂直上向きに設置したときに撮像される全方位魚眼画像を模式的に示す図である。
【図16】人物座標取得部が人物座標を取得する処理を説明するフローチャート図の一例である。
【図17A】全方位魚眼画像から、人物座標取得部が被写体となる人物の人物座標を取得する処理を説明する図である（２次元座標）。
【図17B】全方位魚眼画像から、人物座標取得部が被写体となる人物の人物座標を取得する処理を説明する図である（１次元座標）。
【図18】人物間隔推定部が人物間隔情報を推定する処理を説明する図である。
【図19】人物間隔の結果をもとに、パノラマ端部位置決定部がパノラマ端部位置を決定する処理を説明する図である。
【図20】パノラマ端部位置情報を元にパノラマ画像出力部がパノラマ画像を作成する処理を説明する図である。
【図21A】２段分割パノラマ画像の生成時に人物回転座標の取得方法を説明する図である（２次元座標）。
【図21B】２段分割パノラマ画像の生成時に人物回転座標の取得方法を説明する図である（１次元座標）。
【図22】２段分割パノラマ画像の生成時に、人物間隔推定部が人物間隔情報を推定する処理を説明する図である。
【図23】人物座標情報（１次元人物座標と１次元人物回転座標）において最も広い間隔の一例を示す図である。
【図24】２つのパノラマ端部位置に基づいてパノラマ画像出力部が２段分割パノラマ画像を作成する処理を説明する図である。
【図25】パノラマ端部位置の決定方法を説明する図である。
【図26】パノラマ端部位置決定部がパノラマ端部位置を更新するタイミングを説明するフローチャート図の一例である。
【図27】ミーティングデバイスに搭載された、パノラマ分割数ｎをユーザーが設定する操作部の一例を示す図である。
【図28】情報記録アプリが表示するパノラマ分割数決定操作部の一例を示す図である。
【図29】情報記録アプリがパノラマ画像、話者画像及びアプリの画面を録画する手順を示すシーケンス図の一例である。
【発明を実施するための形態】
【0009】
以下、本発明を実施するための形態の一例として、記録情報作成システムと記録情報作成システムが行う表示方法について説明する。
【0010】
＜人物の配置の概略＞
本実施形態のミーティングデバイスは、例えば会議室などで撮像された全方位魚眼画像における人物同士の間隔を検出し、この間隔とパノラマ分割数ｎ(ｎ≧１)に基づき、ｎ個のパノラマ端部位置を決定する。ミーティングデバイスは、決定したｎ個のパノラマ端部位置で全方位魚眼画像を分割するので、人物が端部に来ないように配置されたｎ段のパノラマ画像を生成できる。
本実施形態のミーティングデバイスは、例えば会議室などで撮像された全方位魚眼画像における人物同士の間隔を検出し、この間隔とパノラマ分割数ｎ(ｎ≧１)に基づき、ｎ個のパノラマ端部位置を決定する。ミーティングデバイスは、決定したｎ個のパノラマ端部位置で全方位魚眼画像を分割するので、人物が端部に来ないように配置されたｎ段のパノラマ画像を生成できる。
【0011】
図１は、パノラマ画像の作成方法の概略を説明する図である。図１ではｎ＝１として１段のパノラマ画像の作成方法を説明する。図１（ａ）に示すように、ミーティングデバイスは、全方位魚眼画像から人物座標を出力する。パノラマ画像の元となる全方位魚眼画像は２次元画像なので人物の座標も２次元である。ミーティングデバイスは、２次元の人物座標を、１次元座標に変換する。１次元座標の人物座標は、0°～360°の範囲（全方位魚眼画像の全円周に相当）を取る。
【0012】
ミーティングデバイスは人物間隔ｄ１～ｄ４に基づいて、パノラマ端部位置１５０を決定する。一例として、パノラマ端部位置１５０は最も大きい人物間隔の中間点である。図１（ａ）では、人物ＡとＤの間隔ｄ４の中間点がパノラマ端部位置１５０である。図１（ｂ）に示すように、ミーティングデバイスは、パノラマ端部位置１５０を起点として、１次元人物画像を円周方向にパノラマ展開し、パノラマ画像１３６を作成する。
【0013】
このように、本実施形態のミーティングデバイスは、人物の間隔に基づき１次元人物画像のパノラマ端部位置を決定するので、人物が配置されたパノラマ画像を作成する際に人物がパノラマ画像の端部で見切れて表示されることを抑制できる。
【0014】
＜用語について＞
アプリケーション（アプリ）とは、ある特定の機能や目的のために開発・使用されるソフトウェアである。アプリケーションにはネイティブアプリとＷｅｂアプリがある。またＷｅｂアプリ（クラウドサービスで提供するクラウド側のアプリ）と、ネイティブアプリやＷｅｂブラウザとが連携して動作するものであってもよい。
アプリケーション（アプリ）とは、ある特定の機能や目的のために開発・使用されるソフトウェアである。アプリケーションにはネイティブアプリとＷｅｂアプリがある。またＷｅｂアプリ（クラウドサービスで提供するクラウド側のアプリ）と、ネイティブアプリやＷｅｂブラウザとが連携して動作するものであってもよい。
【0015】
デバイスとは、デバイスの周囲の画像を撮像でき、周囲の音声を集音できる装置である。デバイスは端末装置と接続して用いるもの、端末装置に内蔵するもの、端末装置と直接接続せずクラウドサービスに接続して用いるものを含んでもよい。本実施形態では、デバイスは、ミーティングデバイスという用語で説明される。
【0016】
ミーティングデバイスが取得したミーティングデバイスの周囲の画像情報は、ミーティングデバイスがミーティングデバイスを囲む、周囲の空間（例えば水平方向で180°～360°の領域や空間）を撮像して取得した画像情報であり、ミーティングデバイスが撮像した曲面の画像情報に対して、所定の処理を行うことで取得した画像をいう。所定の処理とは撮像した曲面の画像に対する平面化処理など、撮像した情報から周囲の画像情報を作成するための各種処理である。所定の処理には周辺の画像を作成する処理に加え、話者画像を切り出す処理、周辺の画像や話者画像等を結合する結合処理が含められていてもよい。本実施形態では、周囲の画像は、パノラマ画像という用語で説明される。パノラマ画像はおおむね水平方向に180°～360°の画角がある画像である。ミーティングデバイスは１台でパノラマ画像を撮像しなくてもよく、通常の画角の撮像装置が複数個、組み合わされていてもよい。ミーティングデバイスは拠点での会議や周囲の状況把握のためにテーブル等の設置場所に設置して使用することを想定しているが、この他、監視（セキュリティ・防災など）、見守り（育児や介護など）、現場の状況分析（ソリューションやマーケティングなど）を行うために用いるデバイスであってもよい。
【0017】
記録情報とは、情報記録アプリ４１（情報記録アプリケーション）が記録する情報であり、ある１つの会議（ミーティング）の識別情報に紐づく情報として閲覧可能に記憶・保存された情報であって、例えば以下の情報を含む情報である。
・選択したアプリ（遠隔会議アプリなど）が表示する画面情報と、デバイスが取得したデバイスの周囲の画像情報、などに基づいて作成する動画情報。
・会議（ミーティング）中に、遠隔会議アプリ（端末装置）と、拠点のミーティングデバイスとで取得し合成した音声情報。
・取得した音声をテキスト化したテキスト情報。
・その他、会議（ミーティング）に関連する関連情報であるデータや画像。例えば会議中に用いた資料ファイル、追加したメモ、テキスト化されたデータの翻訳データ、会議中にクラウド電子黒板サービスで作成した画像やストロークデータなど。
・選択したアプリ（遠隔会議アプリなど）が表示する画面情報と、デバイスが取得したデバイスの周囲の画像情報、などに基づいて作成する動画情報。
・会議（ミーティング）中に、遠隔会議アプリ（端末装置）と、拠点のミーティングデバイスとで取得し合成した音声情報。
・取得した音声をテキスト化したテキスト情報。
・その他、会議（ミーティング）に関連する関連情報であるデータや画像。例えば会議中に用いた資料ファイル、追加したメモ、テキスト化されたデータの翻訳データ、会議中にクラウド電子黒板サービスで作成した画像やストロークデータなど。
【0018】
情報記録アプリ４１が遠隔会議アプリの画面や、拠点の会議の様子を録画した場合、記録情報が、実施した会議の議事録となる場合がある。議事録は記録情報の例であり遠隔会議や拠点側で行った内容に応じて記録情報の呼び方が変わり、例えばコミュニケーションの記録、拠点状況の記録などと言ってもよい。また記録情報は、例えば、録画ファイル（結合画像動画等）、音声ファイル、テキストデータ（音声が音声認識されたテキストデータ）、文書ファイル、画像ファイル、表形式ファイルなど、複数の形式のファイルを含み、ファイルは会議の識別情報に対して互いに関連づいているため、閲覧時にまとめて、あるいは選択的に、時系列で閲覧可能となっている。
【0019】
テナントとは、サービスの提供者からサービスを受けることを契約したユーザーのグループ（企業や自治体、これらの一部の組織等）である。本実施形態の記録情報の作成やテキストデータへの変換は、テナントがサービス提供元と契約しているために実行される。
【0020】
遠隔コミュニケーションとは、物理的に離れた拠点にいる相手と、ソフトウェアや端末装置を活用することによって音声や映像を通じたコミュニケーションを取ることをいう。遠隔コミュニケーションの一例に遠隔会議があり、会議は、会合、ミーティング、打ち合わせ、相談、契約等の申し込み、集会、寄り合い、集まり、セミナー、講習会、勉強会、ゼミ、研修会等と呼ばれてもよい。
【0021】
拠点とは、活動のよりどころとする場所をいう。拠点の例として会議室がある。会議室は、主に会議に使用することを目的に設置された部屋のことである。拠点はこのほか自宅や、受付や店舗、倉庫や屋外の現場など様々な場所であってもよく、端末装置やデバイス等を設置できる箇所のある場所や空間であればよい。
【0022】
パノラマ画像とは、広い範囲を撮像して得た画像である。例えば水平方向に180°以上の画角があることが好ましい。
【0023】
＜遠隔会議における議事録の作成方法の一例＞
図２を参照して、パノラマ画像とアプリの画面を用いた議事録の作成方法の概略を説明する。図２は、遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。図２に示すように、図示する自拠点１０２にいるユーザーが遠隔会議サービスシステム９０を利用して、他の拠点１０１と遠隔会議を行っている。
図２を参照して、パノラマ画像とアプリの画面を用いた議事録の作成方法の概略を説明する。図２は、遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。図２に示すように、図示する自拠点１０２にいるユーザーが遠隔会議サービスシステム９０を利用して、他の拠点１０１と遠隔会議を行っている。
【0024】
本実施形態の記録情報作成システム１００（パノラマ画像作成システムの一例）は、マイクとスピーカを備えたミーティングデバイス６０が撮像した水平パノラマ画像（以下、パノラマ画像という）と、端末装置１０が実行するアプリケーション（以下、アプリという）が作成する画面と、を用いて、記録情報（議事録）を作成する。音声については、記録情報作成システム１００は、遠隔会議アプリ４２が受信する音声と、ミーティングデバイス６０が取得する音声とを合成して、記録情報に含める。以下、概略を説明する。
【0025】
(1) 端末装置１０では、後述する情報記録アプリ４１と遠隔会議アプリ４２とが動作している。この他、資料表示用のアプリなども動作していてよい。情報記録アプリ４１は、端末装置１０が出力する音声（遠隔会議アプリ４２が他拠点から受信した音声を含む。）をミーティングデバイス６０（第二の機器、機器の一例）に送信する。ミーティングデバイス６０は、自身が取得している音声と、遠隔会議アプリ４２の音声とをミキシング（合成）する。
【0026】
(2) ミーティングデバイス６０はマイクを備え、音声を取得した方向に基づき、パノラマ画像から話者を切り出す処理を行い、話者画像を作成する。ミーティングデバイス６０は、パノラマ画像と話者画像の両方を端末装置１０に送信する。
【0027】
(3) 端末装置１０で動作する情報記録アプリ４１は、パノラマ画像２０３と話者画像２０４を表示できる。情報記録アプリ４１は、ユーザーが選択した任意のアプリ画面（例えば遠隔会議アプリ４２の画面１０３）と、パノラマ画像２０３と話者画像２０４と、を結合する。例えば、左側にパノラマ画像２０３と話者画像２０４、右側に遠隔会議アプリ４２の画面１０３が配置されるように、パノラマ画像２０３、話者画像２０４、アプリの画面１０３を結合する（以下、結合画像１０５という）。(3)の処理は繰り返し実行されるので、結合画像１０５は動画となる（以下、結合画像動画という）。また、情報記録アプリ４１は、結合画像動画に合成された音声を結合して音声付きの動画を作成する。
【0028】
なお、本実施形態では、パノラマ画像２０３、話者画像２０４、アプリの画面１０３を結合する例を説明するが、情報記録アプリ４１がこれらを別々に保存し、再生時に画面に配置してもよい。
【0029】
(4) 情報記録アプリ４１は、編集作業（ユーザーによる不要箇所のカット）を受け付け、結合画像動画を完成させる。結合画像動画は記録情報の一部を構成する。
【0030】
(5) 情報記録アプリ４１は、作成した結合画像動画（音声付き）をストレージサービスシステム７０に送信し保存しておく。
【0031】
(6) また、情報記録アプリ４１は、結合画像動画から音声のみを抽出しておき（結合前の音声を取っておいてもよい）、抽出した音声を、情報処理システム５０に送信する。情報処理システム５０は音声をテキストデータに変換する音声認識サービスシステム８０に送信し、音声をテキスト化する。テキストデータには、録画開始から何分後に話したか、というデータも含まれる。
【0032】
なお、リアルタイムのテキスト化の場合、ミーティングデバイス６０が情報処理システム５０に直接音声を送信する。情報処理システム５０は音声認識により得られたテキストデータをリアルタイムに情報記録アプリ４１に送信する。
【0033】
(7) 情報処理システム５０は、結合画像動画を格納したストレージサービスシステム７０に、テキストデータを追加で格納する。テキストデータは記録情報の一部を構成する。
【0034】
なお、情報処理システム５０は、ユーザーに対し利用したサービスに応じた課金処理を実行できる。例えば、課金はテキストデータ量、結合画像動画のファイルサイズ、処理時間などに基づいて算出される。
【0035】
このように、結合画像動画には、ユーザーを含む周囲のパノラマ画像や話者画像が表示され、更に、遠隔会議アプリ４２など、遠隔会議中に表示されたアプリの画面が表示される。遠隔会議の参加者や参加者でない者が、結合画像動画を議事録として閲覧した場合、遠隔会議中の様子が臨場感と共に再現される。
【0036】
＜システム構成例＞
続いて、図３を参照して、記録情報作成システム１００のシステム構成を説明する。図３は、記録情報作成システム１００の構成例を示す。図３では、遠隔会議を行う複数の拠点のうち１つの拠点（自拠点１０２）を示し、自拠点１０２における端末装置１０がネットワークを介して情報処理システム５０と、ストレージサービスシステム７０と、遠隔会議サービスシステム９０と、通信する。自拠点１０２には更に、ミーティングデバイス６０と電子黒板２が配置され、端末装置１０はこのミーティングデバイス６０とＵＳＢケーブル等を介して通信可能に接続されている。なお、ミーティングデバイス６０、電子黒板２及び情報処理システム５０が機器管理システムとして動作する。
続いて、図３を参照して、記録情報作成システム１００のシステム構成を説明する。図３は、記録情報作成システム１００の構成例を示す。図３では、遠隔会議を行う複数の拠点のうち１つの拠点（自拠点１０２）を示し、自拠点１０２における端末装置１０がネットワークを介して情報処理システム５０と、ストレージサービスシステム７０と、遠隔会議サービスシステム９０と、通信する。自拠点１０２には更に、ミーティングデバイス６０と電子黒板２が配置され、端末装置１０はこのミーティングデバイス６０とＵＳＢケーブル等を介して通信可能に接続されている。なお、ミーティングデバイス６０、電子黒板２及び情報処理システム５０が機器管理システムとして動作する。
【0037】
端末装置１０では、少なくとも情報記録アプリ４１と遠隔会議アプリ４２とが動作する。遠隔会議アプリ４２は、他の拠点１０１の端末装置１０とネットワーク上の遠隔会議サービスシステム９０を介して通信することができ、各拠点のユーザー同士が遠隔地から会議できるようになっている。情報記録アプリ４１は、遠隔会議アプリ４２が実施する遠隔会議における記録情報を、情報処理システム５０及びミーティングデバイス６０の機能を使って作成する。
【0038】
なお、本実施形態では、遠隔会議中の記録情報を作成する例を説明するが、会議は、遠隔の拠点と通信する会議でなくてもよい。つまり、会議は１拠点内の参加者のみが参加する会議でもよい。この場合、ミーティングデバイス６０が撮像する画像と集音した音声がそれぞれ合成なしに保存される他、情報記録アプリ４１の処理に変更はない。
【0039】
端末装置１０には通常の画角のカメラが内蔵されており（外付けでもよい）、端末装置１０を操作するユーザー１０７を含む正面の画像を撮像している。通常の画角とは、パノラマ画像でない画像であるが、本実施形態では、主に全天球画像のように曲面でない平面画像である。したがって、ユーザーは、情報記録アプリ４１を意識することなく、遠隔会議アプリ４２を使用した従来の遠隔会議が可能である。情報記録アプリ４１やミーティングデバイス６０は、端末装置１０の処理負荷増を除けば遠隔会議アプリ４２に影響を与えない。なお、遠隔会議アプリ４２はミーティングデバイス６０が撮像するパノラマ画像や話者画像を遠隔会議サービスシステム９０に送信することも可能である。
【0040】
情報記録アプリ４１はミーティングデバイス６０と通信して記録情報を作成する。情報記録アプリ４１はまた、ミーティングデバイス６０が取得した音声と遠隔会議アプリ４２が他の拠点から受信した音声との合成等を行う。この合成はミーティングデバイス６０が行う場合がある。ミーティングデバイス６０は、パノラマ画像の撮像装置、マイク、及び、スピーカを備えたミーティング用のデバイスである。端末装置１０が有するカメラは正面の限られた範囲しか撮像できないが、ミーティングデバイス６０はミーティングデバイス６０を囲む全周囲（必ずしも全周囲でなくてもよい）を撮像できる。ミーティングデバイス６０は図３に示す複数の参加者１０６を常に画角に収めることができる。
【0041】
この他、ミーティングデバイス６０は、パノラマ画像からの話者画像の切り出し等を行う。なお、ミーティングデバイス６０は、机の上に限らず自拠点１０２のどこに配置されてもよい。ミーティングデバイス６０は全天球画像を撮像できるので、例えば天井に配置されてもよい。
【0042】
情報記録アプリ４１は、端末装置１０で実行中のアプリの一覧表示、上記した記録情報のための画像合成（結合画像動画の作成）、結合画像動画の再生、編集の受け付け等を行う。また、情報記録アプリ４１は、実施された又はこれから実施される予定の遠隔会議のリスト表示、等を行う。遠隔会議のリストは、記録情報に関する情報に使用され、ユーザーが遠隔会議と記録情報とを結びつけることができる。
【0043】
遠隔会議アプリ４２は、他の拠点１０１との通信接続、他の拠点１０１との画像及び音声の送受信、画像の表示や音声の出力等を行う。
【0044】
なお、情報記録アプリ４１及び遠隔会議アプリ４２はＷｅｂアプリでもネイティブアプリでもよい。Ｗｅｂアプリとは、Ｗｅｂサーバー上のプログラムとＷｅｂブラウザ上のプログラムが協働して処理を行うアプリであり、端末装置１０へのインストールが不要なアプリである。ネイティブアプリとは、端末装置１０にインストールして利用されるアプリである。本実施形態では、両者ともネイティブアプリであるとして説明する。
【0045】
端末装置１０は、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末等、通信機能を備えた汎用的な情報処理装置でよい。端末装置１０は、この他、電子黒板２、ゲーム機、ＰＤＡ（Personal Digital Assistant）、ウェアラブルＰＣ、カーナビ、産業機械、医療機器、ネットワーク家電等でもよい。端末装置１０は情報記録アプリ４１と遠隔会議アプリ４２が動作する装置であればよい。
【0046】
電子黒板２は、ペンや指等の入力手段でタッチパネルに手書きされたデータをディスプレイに表示する。電子黒板２は、有線又は無線で端末装置１０等と通信することができ、端末装置１０が表示する画面を取り込んでディスプレイに表示することができる。電子黒板２は、手書きデータをテキストデータに変換したり、他の拠点の電子黒板２とディスプレイに表示される情報を共有したりすることができる。電子黒板２は、タッチパネルを有さない単なる白板にプロジェクタが映像を投影する形態のものでもよい。また、電子黒板２は、タッチパネルを備えたタブレット端末、ノートＰＣ、ＰＤＡ、ゲーム機等でもよい。
【0047】
電子黒板２は、情報処理システム５０と通信することができる。電子黒板２は、例えば、電源オンされた後、情報処理システム５０にポーリングするなどして、情報処理システム５０から情報を受信できる。
【0048】
情報処理システム５０は、ネットワーク上に配置された一台以上の情報処理装置である。情報処理システム５０は、情報記録アプリ４１と協働して処理を行う１つ以上のサーバーアプリと、基盤サービスを有している。このサーバーアプリは、遠隔会議のリストの管理、遠隔会議で記録された記録情報の管理、各種設定やストレージパスの管理等を行う。基盤サービスは、ユーザー認証や契約、課金処理等を行う。
【0049】
なお、情報処理システム５０の機能の全て又は一部は、クラウド環境に存在してもよいし、オンプレミス環境に存在してもよい。情報処理システム５０は複数台のサーバー装置により構成されてもよいし、一台の情報処理装置により構成されてもよい。例えば、サーバーアプリと基盤サービスが別々の情報処理装置より提供されてよいし、更にサーバーアプリ内の機能ごとに情報処理装置が存在してもよい。情報処理システム５０と次述するストレージサービスシステム７０、音声認識サービスシステム８０が一体でもよい。
【0050】
ストレージサービスシステム７０は、ネットワーク上の記憶手段であり、ファイル等の保存を受け付けるストレージサービスを提供する。ストレージサービスシステム７０としてはＯｎｅ Ｄｒｉｖｅ（登録商標）、Ｇｏｏｇｌｅ Ｗｏｒｋｓｐａｃｅ（登録商標）、ＤｒｏｐＢｏｘ（登録商標）等が知られている。ストレージサービスシステム７０は、オンプレミスのＮＡＳ（Network Attached Storage）等でもよい。
【0051】
音声認識サービスシステム８０は、音声データに音声認識を行いテキストデータに変換するサービスを提供する。音声認識サービスシステム８０は、汎用的な商用サービスでもよいし、情報処理システム５０の機能の一部でもよい。
【0052】
＜ハードウェア構成例＞
図４を参照して、本実施形態に係る情報処理システム５０及び端末装置１０のハードウェア構成について説明する。
図４を参照して、本実施形態に係る情報処理システム５０及び端末装置１０のハードウェア構成について説明する。
【0053】
＜＜情報処理システム及び端末装置＞＞
図４は、本実施形態に係る情報処理システム５０及び端末装置１０の一例のハードウェア構成を示す図である。図４に示されているように、情報処理システム５０及び端末装置１０はコンピュータによって構築されており、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ（Hard Disk）５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ/Ｆ(Interface)５０８、ネットワークＩ/Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、光学ドライブ５１４、メディアＩ/Ｆ５１６を備えている。
図４は、本実施形態に係る情報処理システム５０及び端末装置１０の一例のハードウェア構成を示す図である。図４に示されているように、情報処理システム５０及び端末装置１０はコンピュータによって構築されており、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ（Hard Disk）５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ/Ｆ(Interface)５０８、ネットワークＩ/Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、光学ドライブ５１４、メディアＩ/Ｆ５１６を備えている。
【0054】
これらのうち、ＣＰＵ５０１は、情報処理システム５０及び端末装置１０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ/Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ/Ｆ５０９は、ネットワークを利用してデータ通信をするためのインターフェースである。バスライン５１０は、図４に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0055】
また、キーボード５１１は、文字、数値、又は各種指示などの入力に使用される複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。光学ドライブ５１４は、着脱可能な記録媒体の一例としての光記憶媒体５１３に対する各種データの読み出し又は書き込みを制御する。なお、光記憶媒体５１３は、ＣＤ，ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）等でよい。メディアＩ/Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。
【0056】
＜＜ミーティングデバイス＞＞
図５を用いて、ミーティングデバイス６０のハードウェア構成を説明する。図５は、360°の動画を撮像可能なミーティングデバイス６０のハードウェア構成図の一例である。以下では、ミーティングデバイス６０は撮像素子を使用した、デバイスの周囲360°の動画を所定の高さで撮像する装置とするが、撮像素子は１つでも２つ以上のいくつでもよい。また、必ずしも専用装置である必要はなくPCやデジタルカメラ、スマートフォン等に後付けの360°動画の撮像ユニットを取り付けることで、実質的に同じ機能を有するようにしてもよい。
図５を用いて、ミーティングデバイス６０のハードウェア構成を説明する。図５は、360°の動画を撮像可能なミーティングデバイス６０のハードウェア構成図の一例である。以下では、ミーティングデバイス６０は撮像素子を使用した、デバイスの周囲360°の動画を所定の高さで撮像する装置とするが、撮像素子は１つでも２つ以上のいくつでもよい。また、必ずしも専用装置である必要はなくPCやデジタルカメラ、スマートフォン等に後付けの360°動画の撮像ユニットを取り付けることで、実質的に同じ機能を有するようにしてもよい。
【0057】
図５に示されているように、ミーティングデバイス６０は、撮像ユニット６０１、画像処理ユニット６０４、撮像制御ユニット６０５、マイク６０８、音処理ユニット６０９、ＣＰＵ(Central Processing Unit)６１１、ＲＯＭ(Read Only Memory)６１２、ＳＲＡＭ(Static Random Access Memory)６１３、ＤＲＡＭ(Dynamic Random Access Memory)６１４、操作部６１５、外部機器接続Ｉ/Ｆ６１６、通信部６１７、アンテナ６１７ａ、音声センサー６１８、及びMicro USB用の凹状の端子６２１によって構成されている。
【0058】
このうち、撮像ユニット６０１は、半球画像を結像するための360°の画角を有する広角レンズ（いわゆる魚眼レンズ）６０２と、各広角レンズに対応させて設けられている撮像素子６０３（イメージセンサー）を備えている。撮像素子６０３は、魚眼レンズ６０２による光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサーやＣＣＤ(Charge Coupled Device)センサーなどの画像センサー、この画像センサーの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
【0059】
撮像ユニット６０１の撮像素子６０３（イメージセンサー）は、画像処理ユニット６０４とパラレルＩ/Ｆバスで接続されている。一方、撮像ユニット６０１の撮像素子６０３は、撮像制御ユニット６０５とは、シリアルＩ/Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット６０４、撮像制御ユニット６０５及び音処理ユニット６０９は、バス６１０を介してＣＰＵ６１１と接続される。更に、バス６１０には、ＲＯＭ６１２、ＳＲＡＭ６１３、ＤＲＡＭ６１４、操作部６１５、外部機器接続Ｉ/Ｆ６１６、通信部６１７、及び音声センサー６１８なども接続される。
【0060】
画像処理ユニット６０４は、撮像素子６０３から出力される画像データをパラレルＩ/Ｆバスを通して取り込み、画像データに対して所定の処理を施して、魚眼画像からパノラマ画像や話者画像のデータを作成する。更に、画像処理ユニット６０４は、パノラマ画像と話者画像等を合成処理して、１つの動画を出力する。
【0061】
撮像制御ユニット６０５は、一般に撮像制御ユニット６０５をマスタデバイス、撮像素子６０３をスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子６０３のレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ６１１から受け取る。また、撮像制御ユニット６０５は、同じくＩ２Ｃバスを利用して、撮像素子６０３のレジスタ群のステータスデータ等を取り込み、ＣＰＵ６１１に送る。
【0062】
また、撮像制御ユニット６０５は、操作部６１５の撮像開始ボタンが押下されたタイミングあるいはPCから撮像開始指示を受信したタイミングで、撮像素子６０３に画像データの出力を指示する。ミーティングデバイス６０によっては、ディスプレイ（例えば、ＰＣやスマートフォンのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子６０３からの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。
【0063】
また、撮像制御ユニット６０５は、後述するように、ＣＰＵ６１１と協働して撮像素子６０３の画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、ミーティングデバイス６０にはディスプレイが設けられていないが、表示部を設けてもよい。
【0064】
マイク６０８は、音を音（信号）データに変換する。音処理ユニット６０９は、マイク６０８ａ、マイク６０８ｂ、マイク６０８ｃから出力される音声データをＩ/Ｆバスを通して取り込み、これらの音声データをミキシングして所定の処理を施す。音処理ユニット６０９はまた、マイク６０８ａ、マイク６０８ｂ、マイク６０８ｃから入力される音声レベル（音量）から音源（発話者）の方向を判断する。
ＣＰＵ６１１は、ミーティングデバイス６０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ６１２は、ミーティングデバイス６０を動作させるための種々のプログラムを記憶している。ＳＲＡＭ６１３及びＤＲＡＭ６１４はワークメモリであり、ＣＰＵ６１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ６１４は、画像処理ユニット６０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
ＣＰＵ６１１は、ミーティングデバイス６０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ６１２は、ミーティングデバイス６０を動作させるための種々のプログラムを記憶している。ＳＲＡＭ６１３及びＤＲＡＭ６１４はワークメモリであり、ＣＰＵ６１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ６１４は、画像処理ユニット６０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
【0065】
操作部６１５は、撮像開始ボタン６１５ａなどの操作ボタンの総称である。ユーザーは操作部６１５を操作することで、撮像や録画を開始する他、電源ON/OFFの実行、通信接続の実行、種々の撮像モードや撮像条件などの設定を入力する。
【0066】
外部機器接続Ｉ/Ｆ６１６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＰＣ等である。ＤＲＡＭ６１４に記憶された動画データや画像データは、この外部機器接続Ｉ/Ｆ６１６を介して外部端末に送信されたり、外付けのメディアに記録されたりする。
【0067】
通信部６１７は、ミーティングデバイス６０に設けられたアンテナ６１７ａを介して、Ｗｉ－Ｆｉ（登録商標）等の無線通信技術によって、インターネット経由でクラウドサーバと通信し、記憶した動画データや画像データをクラウドサーバに送信してもよい。また、通信部６１７は、BLE（Bluetooth Low Energy。登録商標）やNFC等の近距離無線通信技術を用いて付近のデバイスと通信可能でもよい。
【0068】
音声センサー６１８は、ミーティングデバイス６０の周辺（水平面）の360°においてどの方向から音声が大きい音で入力されたかを特定するために、360°の音声情報を取得するセンサーである。音処理ユニット６０９は入力した360°の音声パラメータに基づき、最も強い方向を特定して360°における音声入力方向を出力する。
【0069】
なお、他のセンサー（方位・加速度センサーやGPS等）が方位・位置・角度・加速度等を算出し、画像補正や位置情報付加に用いてもよい。
【0070】
また画像処理ユニット６０４は、パノラマ画像の作成を次の方法で行う。ＣＰＵ６１１は、球面映像を入力するイメージセンサーから入力されたRAWデータをBayer変換（RGB補完処理）等の所定のカメラ映像処理を行って魚眼画像（曲面の映像）を作成する。更に作成した魚眼画像（曲面の映像）に対してDeWarp処理（歪み補正処理）を行い、ミーティングデバイス６０の周辺の360°が写ったパノラマ画像（平面の映像）を作成する。
【0071】
ＣＰＵ６１１は話者画像の作成を次の方法で行う。ＣＰＵ６１１は周辺の360°が写ったパノラマ画像（平面の映像）から、話者を切り出した話者画像を作成する。ＣＰＵ６１１は、音声センサー６１８及び音処理ユニット６０９を用いて出力した360°から特定した音声入力方向を、話者の方向として、上記パノラマ画像から話者画像を切り出す。このとき音声入力方向から人の画像を切り出す方法は、360°から特定した音声方向を中心に30°を切り取って、その中で顔検知を実施して切り出す。ＣＰＵ６１１は、更に切り出した話者画像のうち、直近で発言のあった特定人数分（３名等）の話者画像を特定する。
【0072】
パノラマ画像と、１以上の話者画像は個別に情報記録アプリ４１に送信されてもよいし、ミーティングデバイス６０がこれらから１枚の画像を作成して、情報記録アプリ４１に送信してもよい。本実施形態では、パノラマ画像と１以上の話者画像は個別にミーティングデバイス６０から情報記録アプリ４１に送信されるものとする。
【0073】
図６は、ミーティングデバイス６０の撮像範囲を説明する図である。図６（ａ）に示すように、ミーティングデバイス６０は水平方向に360°の範囲を撮像する。図６（ｂ）に示すように、ミーティングデバイス６０は、ミーティングデバイス６０の高さに水平な方向を０°とし、上下に所定の角度を撮像範囲とする。
【0074】
図７は、パノラマ画像と話者画像の切り出しを説明する図である。図７に示すように、ミーティングデバイス６０が撮像する画像は球体の一部１１０をなすため、三次元の形状を有している。ミーティングデバイス６０は、図６（ｂ）で示したように、上下の所定角度と左右の所定角度ごとに画角を区切って透視投影変換を行う。透視投影変換を水平方向360°の全体で隙間なく行うことで、所定数の平面画像が得られるので、所定数の平面画像を左右に連結することでパノラマ画像１１１が得られる。また、ミーティングデバイス６０はパノラマ画像から音声方向を中心に所定の範囲で顔検知を実施して、顔の中心から左右に１５°（全体で３０°）を切り出すことで、話者画像１１２を作成する。
【0075】
＜機能について＞
次に、図８を参照して、記録情報作成システム１００が有する機能構成について説明する。図８は、記録情報作成システム１００における端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０の機能をブロックに分けて説明する機能ブロック図の一例である。
次に、図８を参照して、記録情報作成システム１００が有する機能構成について説明する。図８は、記録情報作成システム１００における端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０の機能をブロックに分けて説明する機能ブロック図の一例である。
【0076】
＜＜端末装置＞＞
端末装置１０で動作する情報記録アプリ４１は、通信部１１、操作受付部１２、表示制御部１３、アプリ画面取得部１４、音声取得部１５、デバイス通信部１６、録画制御部１７、音声データ処理部１８、録画再生部１９、アップロード部２０、編集処理部２１、及び、コード解析部２２、を有している。端末装置１０が有するこれら各部は、図４に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開された情報記録アプリ４１に従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、端末装置１０は、図４に示されているＨＤ５０４等によって構築される記憶部１０００を有している。記憶部１０００には情報記憶部１００１が構築されている。
端末装置１０で動作する情報記録アプリ４１は、通信部１１、操作受付部１２、表示制御部１３、アプリ画面取得部１４、音声取得部１５、デバイス通信部１６、録画制御部１７、音声データ処理部１８、録画再生部１９、アップロード部２０、編集処理部２１、及び、コード解析部２２、を有している。端末装置１０が有するこれら各部は、図４に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開された情報記録アプリ４１に従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、端末装置１０は、図４に示されているＨＤ５０４等によって構築される記憶部１０００を有している。記憶部１０００には情報記憶部１００１が構築されている。
【0077】
通信部１１は、ネットワークを介して情報処理システム５０と各種の情報を通信する。通信部１１は、例えば、遠隔会議のリストを情報処理システム５０から受信したり、音声データの認識要求を情報処理システム５０に送信したりする。
【0078】
表示制御部１３は情報記録アプリ４１に設定されている画面遷移にしたがって情報記録アプリ４１においてユーザーインターフェースとなる各種の画面を表示する。操作受付部１２は、情報記録アプリ４１に対する各種の操作を受け付ける。
【0079】
アプリ画面取得部１４は、デスクトップ画面、又は、ユーザーが選択したアプリの画面をＯＳ（Operating System）等から取得する。ユーザーが選択したアプリが遠隔会議アプリ４２の場合、遠隔会議アプリ４２が生成する画面（各拠点の画像、資料の画像等）が得られる。
【0080】
音声取得部１５は、遠隔会議アプリ４２が遠隔会議において受信した音声データを遠隔会議アプリ４２から取得する。なお、音声取得部１５が取得する音声は、端末装置１０が集音する音声は含まれず、遠隔会議において受信された音声データのみである点に注意されたい。ミーティングデバイス６０が別に、音声を集音しているためである。
【0081】
デバイス通信部１６は、ＵＳＢケーブルなどを利用してミーティングデバイス６０と通信する。デバイス通信部１６は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等でミーティングデバイス６０と通信してよい。デバイス通信部１６は、パノラマ画像と話者画像をミーティングデバイス６０から受信し、音声取得部１５が取得した音声データをミーティングデバイス６０に送信する。デバイス通信部１６は、ミーティングデバイス６０で合成された音声データを受信する。
【0082】
録画制御部１７は、デバイス通信部１６が受信したパノラマ画像と話者画像、及び、アプリ画面取得部１４が取得したアプリの画面を結合し、結合画像を作成する。また、録画制御部１７は繰り返し作成する結合画像を時系列に接続して結合画像動画を作成し、ミーティングデバイス６０で合成された音声データを結合画像動画に結合して音声付きの結合画像動画を作成する。
【0083】
音声データ処理部１８は、録画制御部１７が抽出する結合画像動画に結合された音声データ、又は、ミーティングデバイス６０から受信した合成後の音声データの、テキストデータへの変換を情報処理システム５０に要求する。
【0084】
録画再生部１９は、結合画像動画の再生を行う。結合画像動画は、録画中は端末装置１０に保存され、その後、情報処理システム５０にアップロードされる。
【0085】
アップロード部２０は、遠隔会議が終了すると、結合画像動画を情報処理システム５０に送信する。
【0086】
編集処理部２１は、ユーザーの操作に応じて、結合画像動画の編集（一部の削除、つなぎ合わせ等）を実行する。
【0087】
コード解析部２２は、パノラマ画像に含まれる２次元コードを検出すると共に、２次元コードを解析して機器識別情報を取得する。
【0088】
図９は、情報記憶部１００１が記憶している動画記録情報を示す。動画記録情報は、会議ＩＤ、録画ＩＤ、更新日時、タイトル、アップロード、保存先等の各項目を有している。ユーザーが情報処理システム５０にログインすると、情報記録アプリ４１は情報処理システム５０の会議情報記憶部５００１から会議情報をダウンロードする。会議情報に含まれる会議ＩＤなどが動画記録情報に反映される。図９の動画記録情報は、あるユーザーが操作する端末装置１０が保持するものである。
【0089】
・会議ＩＤは、開催された遠隔会議を識別する識別情報である。会議ＩＤは、会議管理システム９に遠隔会議の予定が登録された際に採番されるか、又は、情報記録アプリ４１からの要求で情報処理システム５０が採番する。
【0090】
・録画ＩＤは、遠隔会議において録画された結合画像動画を識別する識別情報である。録画ＩＤはミーティングデバイス６０が採番するが、情報記録アプリ４１や情報処理システム５０が採番してもよい。同じ会議ＩＤに異なる録画ＩＤが付与されるのは、遠隔会議の途中で録画が終了したが、何らかの理由で再開した場合を示す。
【0091】
・更新日時は、結合画像動画が更新された（録画が終了した）日時である。結合画像動画が編集された場合、編集された日時である。
【0092】
・タイトルは、会議の会議名である。会議管理システム９への会議の登録時に設定されてもよいし、ユーザーが任意に設定してもよい。
【0093】
・アップロードは、結合画像動画が情報処理システム５０にアップロードされたか否かを示す。
【0094】
・保存先は、ストレージサービスシステム７０において、結合画像動画、テキストデータ、及び、オブジェクト情報が保存されている場所（ＵＲＬやファイルパス）を示す。したがって、ユーザーはアップロードされた結合画像動画を任意に閲覧できる。なお、結合画像動画とテキストデータは、例えばＵＲＬに続いて別々のファイル名で保存される。
【0095】
＜＜ミーティングデバイス＞＞
図８に戻って説明する。ミーティングデバイス６０は、端末通信部６１、パノラマ画像作成部６２、話者画像作成部６３、集音部６４、及び、音声合成部６５を有している。ミーティングデバイス６０が有するこれら各部は、図５に示されている各構成要素のいずれかが、ＲＯＭ６１２からＤＲＡＭ６１４に展開されたプログラムに従ったＣＰＵ６１１からの命令によって動作することで実現される機能、又は機能する手段である。
図８に戻って説明する。ミーティングデバイス６０は、端末通信部６１、パノラマ画像作成部６２、話者画像作成部６３、集音部６４、及び、音声合成部６５を有している。ミーティングデバイス６０が有するこれら各部は、図５に示されている各構成要素のいずれかが、ＲＯＭ６１２からＤＲＡＭ６１４に展開されたプログラムに従ったＣＰＵ６１１からの命令によって動作することで実現される機能、又は機能する手段である。
【0096】
端末通信部６１は、ＵＳＢケーブルなどを利用して端末装置１０と通信する。端末通信部６１は、有線ケーブルで接続されるだけでなく、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等で端末装置１０と通信可能であればよい。
【0097】
【0098】
集音部６４は、ミーティングデバイス６０が有するマイクが取得する音声を音声データ（デジタル）に変換する。これにより、端末装置１０側の拠点でユーザーや参加者が発言した内容が集音される。
【0099】
音声合成部６５は、端末装置１０から送信された音声と集音部６４が集音した音声を合成する。これにより、他の拠点１０１で発言された音声と、自拠点１０２の発言がまとめられる。
【0100】
＜＜情報処理システム＞＞
情報処理システム５０は、通信部５１、認証部５２、表示情報提供部５３、コミュニケーション管理部５４、機器管理部５５、テキスト変換部５６、を有する。情報処理システム５０が有するこれら各部は、図４に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システム５０は、図４に示されているＨＤ５０４等によって構築される記憶部５０００を有している。記憶部５０００には、会議情報記憶部５００１、録画情報記憶部５００２、対応付け情報記憶部５００３、が構築される。
情報処理システム５０は、通信部５１、認証部５２、表示情報提供部５３、コミュニケーション管理部５４、機器管理部５５、テキスト変換部５６、を有する。情報処理システム５０が有するこれら各部は、図４に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システム５０は、図４に示されているＨＤ５０４等によって構築される記憶部５０００を有している。記憶部５０００には、会議情報記憶部５００１、録画情報記憶部５００２、対応付け情報記憶部５００３、が構築される。
【0101】
通信部５１は、端末装置１０と各種の情報を送受信する。通信部５１は、例えば、遠隔会議のリストを端末装置１０に送信したり、音声データの認識要求を端末装置１０から受信したりする。
【0102】
認証部５２は、端末装置１０を操作するユーザーを認証する。認証部５２は、例えば、通信部５１によって受信された認証要求に含まれている認証情報（ユーザーＩＤ及びパスワード）が予め保持する認証情報と一致するか否かにより、ユーザーを認証する。なお、認証情報は、ＩＣカードのカード番号、顔や指紋などの生体認証情報等でもよい。また、認証部５２は、外部の認証システムやＯＡＵＴＨなどの認証方法で認証してもよい。
【0103】
表示情報提供部５３は、情報記録アプリ４１が表示する情報を提供する。画面の構成は情報記録アプリ４１が有しているので、表示情報提供部５３は、ヒートマップや活発度などをＸＭＬ等で端末装置１０に提供する。端末装置１０がＷｅｂアプリを実行する場合、表示情報提供部５３は、Ｗｅｂアプリが表示する画面情報の生成を行う。画面情報は、ＨＴＭＬ、ＸＭＬ、ＣＳＳ（Cascade Style Sheet）、及びJavaScript（登録商標）等により作成される。
【0104】
コミュニケーション管理部５４は、各ユーザーのアカウント又は情報処理システム５０に付与されたシステム用のアカウントで、遠隔会議に関する情報を会議管理システム９から取得する。コミュニケーション管理部５４は、予約された会議の会議情報を会議ＩＤと対応付けて会議情報記憶部５００１に記憶させる。また、コミュニケーション管理部５４は、テナントに所属するユーザーに閲覧権限がある会議情報を取得する。会議には会議ＩＤが設定されているので、会議ＩＤにより遠隔会議と記録情報が対応付けられる。
【0105】
機器管理部５５は、会議で使用される電子黒板２とミーティングデバイス６０の機器識別情報を受信した場合、それらを対応付けて対応付け情報記憶部５００３に保存する。したがって、会議ＩＤと電子黒板２の機器識別情報とミーティングデバイス６０の機器識別情報が対応付けられる。会議ＩＤには結合画像動画も対応付けられるので、電子黒板２で入力された手書きデータと結合画像動画も対応付けられる。また、機器管理部５５は、録画が終了されると（会議が終了すると）、対応付け情報記憶部５００３から対応付けを削除する。
【0106】
テキスト変換部５６は、端末装置１０からテキストデータへの変換を要求された音声データを外部の音声認識サービスシステム８０を利用してテキストデータに変換する。テキスト変換部５６自身が変換してもよい。
【0107】
図１０は、コミュニケーション管理部５４が管理する、会議情報記憶部５００１に記憶された会議情報の一例である。コミュニケーション管理部５４は上記のアカウントを使ってテナントに所属する当該ユーザーが閲覧権限のある遠隔会議のリストを取得できる。なお閲覧権限は、端末装置１０の情報記録アプリから直接、コミュニケーション管理部５４が管理する会議情報に対して付与されてもよい。またテナントに所属するユーザーに閲覧権限がある遠隔会議の情報には、ユーザーが作成した会議の情報と、ユーザーが他のユーザーによって閲覧権限を与えられた会議の情報とが含まれる。本実施形態では、遠隔会議を例にしているが、遠隔会議のリストには１つの会議室だけで開催される会議も含まれている。
【0108】
会議情報は会議ＩＤで管理され、参加者、タイトル（会議名）、開始日時、終了日時、場所などと対応付けられている。これらは会議情報の一例であり、会議情報は、他にも情報を含みうる。
・参加者は、会議の参加者である。
・タイトルは、会議名や海外の議題など、会議の内容を表す。
・開始日時は、会議が開始される予定の日時である。
・終了日時は、会議が終了する予定の日時である。
・場所は、会議の開催場所であり、例えば会議室や、支社名、建屋などである。
・参加者は、会議の参加者である。
・タイトルは、会議名や海外の議題など、会議の内容を表す。
・開始日時は、会議が開始される予定の日時である。
・終了日時は、会議が終了する予定の日時である。
・場所は、会議の開催場所であり、例えば会議室や、支社名、建屋などである。
【0109】
【0110】
図１１は、録画情報記憶部５００２に記憶されている録画情報を示す。録画情報は、テナントに所属する全てのユーザーが録画した結合画像動画のリストを有する。録画情報は、会議ＩＤ、録画ＩＤ、更新日時、タイトル、保存先等の各項目を有している。これらの項目は図９と同様でよい。保存先（クラウドストレージシステムのＵＲＬ等のパス情報）は、ユーザーが所望の保存先情報を端末装置１０の情報記録アプリ４１のユーザー設定画面等で入力し、録画情報記憶部５００２に記憶してもよい。
【0111】
＜パノラマ画像の表示例＞
図１２は、情報記録アプリ４１が録画中に表示する録画中画面２２０の一例である。録画中画面２２０は、結合画像動画をリアルタイムに表示する録画処理中の画面である。録画中画面２２０は前記遠隔会議アプリケーションを実行しながら表示できる。図１２の録画中画面２２０は、カメラトグルボタン２１１がオン、ＰＣ画面トグルボタン２１２がオフの場合であり、ミーティングデバイス６０が作成したパノラマ画像２０３と話者画像２０４（いずれも動画）を表示する。録画中画面２２０は、録画中アイコン２２５、一時停止ボタン２２６、及び、録画終了ボタン２２７を表示する。録画中画面２２０にはパノラマ画像と話者画像に、デスクトップ画面やアプリの画面が隣り合って表示される。
図１２は、情報記録アプリ４１が録画中に表示する録画中画面２２０の一例である。録画中画面２２０は、結合画像動画をリアルタイムに表示する録画処理中の画面である。録画中画面２２０は前記遠隔会議アプリケーションを実行しながら表示できる。図１２の録画中画面２２０は、カメラトグルボタン２１１がオン、ＰＣ画面トグルボタン２１２がオフの場合であり、ミーティングデバイス６０が作成したパノラマ画像２０３と話者画像２０４（いずれも動画）を表示する。録画中画面２２０は、録画中アイコン２２５、一時停止ボタン２２６、及び、録画終了ボタン２２７を表示する。録画中画面２２０にはパノラマ画像と話者画像に、デスクトップ画面やアプリの画面が隣り合って表示される。
【0112】
一時停止ボタン２２６は録画を停止するためのボタンで、停止後は録画再開も受け付ける。録画終了ボタン２２７は録画を終了するボタンである。一時停止ボタン２２６では録画ＩＤが切り替わらず、録画終了ボタン２２７で録画ＩＤが切り替わる。一時停止して、録画再開時にユーザーは録画設定画面２１０で設定した録画条件を再度設定することもできる。その場合、情報記録アプリ４１は、録画停止ごとに複数の録画ファイルを作成してもよいし（例えば、録画終了ボタン２２７が押下）、１つの動画として連続するように複数ファイルを結合してもよい（例えば、一時停止ボタン２２６が押下）。また、情報記録アプリ４１が結合画像動画を再生する場合、複数の録画ファイルを、１つの動画として連続して再生してもよい。
【0113】
また、録画中画面２２０は、カレンダから情報取得ボタン２２１、会議名称欄２２２、時間欄２２３、場所欄２２４を有している。カレンダから情報取得ボタン２２１は、ユーザーが会議管理システム９から会議情報を取得するためのボタンである。カレンダから情報取得ボタン２２１が押下されると、情報記録アプリ４１が情報処理システム５０から該ユーザーに閲覧権限がある会議一覧を取得し、表示する。ユーザーは会議一覧から、これから行う遠隔会議を選択する。これにより、会議名称欄２２２、時間欄２２３、場所欄２２４に会議情報が反映される。会議名称欄２２２には会議情報のタイトルが、時間欄２２３には開始時刻と終了時刻が、場所欄２２４に場所が反映される。また、会議管理システムにおける会議情報と記録情報が会議ＩＤで対応付けられる。
【0114】
遠隔会議が終了し、ユーザーが録画を終了すると、音声付きの結合画像動画が作成される。録画中画面２２０が任意の拠点にライブ配信されてもよい。
【0115】
＜パノラマ画像作成部＞
図１３は、パノラマ画像作成部６２の機能を詳細に示す機能ブロック図である。撮像ユニット６０１は水平方向360°の全方位魚眼画像１３１を撮像する。パノラマ画像作成部６２は、撮像ユニット６０１から全方位魚眼画像１３１を取得する。
図１３は、パノラマ画像作成部６２の機能を詳細に示す機能ブロック図である。撮像ユニット６０１は水平方向360°の全方位魚眼画像１３１を撮像する。パノラマ画像作成部６２は、撮像ユニット６０１から全方位魚眼画像１３１を取得する。
【0116】
パノラマ分割数決定部１２１とは、端末装置に出力するパノラマ画像の段数であるパノラマ分割数情報１３２を決定する手段である。具体的には、パノラマ分割数決定部１２１は、プログラムを実行するＣＰＵ６１１やハードウェアによる処理回路などを含む。パノラマ分割数情報１３２はパノラマ分割数ｎ(ｎ≧１)を含む。パノラマ分割数ｎは予め設定されている他、ユーザーが設定できる。パノラマ画像が複数段に分けて出力される場合、水平方向180°の２段のパノラマ画像、水平方向120°の３段のパノラマ画像などが出力されてよい。パノラマ分割数ｎは、これらに限定されるものではなく、４段以上のパノラマ画像が選択されてもよい。
【0117】
人物座標取得部１２２とは、全方位魚眼画像１３１から人物座標情報１３３を検出する手段である。具体的には、人物座標取得部１２２は、プログラムを実行するＣＰＵ６１１やハードウェアによる処理回路などを含む。人物座標取得部１２２は、既存の顔検知技術を使用してよい。人物座標を取得するため人物座標取得部１２２は、２次元座標取得部１２３、１次元座標変換部１２４、及び座標回転処理部１２５を有する。
【0118】
２次元座標取得部１２３とは、全方位魚眼画像で検出された人物の２次元人物座標情報を取得する手段である。具体的には、２次元座標取得部１２３は、プログラムを実行するＣＰＵ６１１やハードウェアによる処理回路などを含む。２次元人物座標情報は、後述する座標回転処理部１２５で回転させられた２次元人物回転座標を含んでもよい。
【0119】
１次元座標変換部１２４とは、２次元人物座標情報を、人物間隔を推定しやすい１次元人物座標情報に変換する手段である。具体的には、１次元座標変換部１２４は、プログラムを実行するＣＰＵ６１１やハードウェアによる処理回路などを含む。１次元人物座標情報は、後述する座標回転処理部１２５で回転させられた１次元人物回転座標を含んでいてもよい。
【0120】
座標回転処理部１２５とは、１次元人物座標情報又は２次元人物座標情報をパノラマ分割数決定部１２１から入力されるパノラマ分割数ｎに応じて、１次元人物座標情報又は２次元人物座標情報を回転させ、１次元人物回転座標又は２次元人物回転座標を取得する手段である。具体的には、座標回転処理部１２５は、プログラムを実行するＣＰＵ６１１やハードウェアによる処理回路などを含む。回転処理は、パノラマ画像の段数が２段以上の場合に、端部に人物が来ない端部位置を決定するために行われる。
【0121】
人物間隔推定部１２６とは、１次元人物座標情報又は２次元人物座標情報に基づいて人物間隔情報１３４を推定する手段である。具体的には、人物間隔推定部１２６は、プログラムを実行するＣＰＵ６１１やハードウェアによる処理回路などを含む。人物間隔情報１３４は、全方位魚眼画像における人物同士の間隔である。
【0122】
パノラマ端部位置決定部１２７とは、人物間隔情報１３４とパノラマ分割数情報１３２に基づいて、１段以上の複数段に分割されたパノラマ画像の端部であるパノラマ端部位置情報１３５を決定する手段である。具体的には、パノラマ端部位置決定部１２７は、プログラムを実行するＣＰＵ６１１やハードウェアによる処理回路などを含む。
【0123】
パノラマ画像出力部１２８とは、パノラマ端部位置情報１３５に基づいて１段以上の段数に分割されたパノラマ画像１３６を作成する手段である。具体的には、パノラマ画像出力部１２８は、プログラムを実行するＣＰＵ６１１やハードウェアによる処理回路などを含む。
【0124】
なお、図示はされていないが、パノラマ画像作成部６２は、パノラマ画像作成部６２による途中、前段又は後段の処理として、画像の色味調整、明るさ調整、ダイナミックレンジ調整、ホワイトバランス調整、エッジ強調処理、シャープネス調整、HDR処理、LTM処理、ノイズ低減処理などの適切な画像処理を行うことが好ましい。
【0125】
なお、図１３の機能を情報記録アプリ４１が有していてもよい。すなわち、端末装置１０が全方位魚眼画像を受信して、パノラマ画像を作成してもよい。
【0126】
＜パノラマ端部位置情報の決定＞
図１４は、パノラマ端部位置決定部１２７がパノラマ端部位置を決定する処理を説明するフローチャート図の一例である。
図１４は、パノラマ端部位置決定部１２７がパノラマ端部位置を決定する処理を説明するフローチャート図の一例である。
【0127】
まず、撮像ユニット６０１が参加者を撮像することで全方位魚眼画像を生成し、人物座標取得部１２２が全方位魚眼画像を取得する（Ｓ１０１）。人物座標取得部１２２は全方位魚眼画像から人物を検出し人物座標を取得する（Ｓ１０２）。
【0128】
人物座標取得部１２２は、取得した人物座標の数を判断する（Ｓ１０３）。すなわち、人物座標取得部１２２は、全方位魚眼画像に何人の人物が写っているかを判断する。
【0129】
人物座標の数が０である場合（人物が１人も検出されなかった場合）、パノラマ端部位置決定部１２７は、パノラマ分割数ｎに応じて予め設定されているパノラマ端部初期位置をパノラマ端部位置情報として選択する（Ｓ１０４）。パノラマ端部初期位置はどこでもよいが、例えば全方位魚眼画像の１２時（１段）、１２時と６時（２段）、１２時と８時と４時（３段）の方向などでよい。例えば１２時の方向は、存在する人が少ないことが想定されるミーティングデバイス６０の真後ろなどに対応してよい。
【0130】
また、人物座標情報に含まれる人物座標の数が１つの場合（検出された人物が1人のみの場合）、パノラマ端部位置決定部１２７は、パノラマ端部位置情報として、取得した人物座標とパノラマ端部位置が重複しないようにパノラマ端部位置を決定する（Ｓ１０５）。
【0131】
ステップＳ１０５では、パノラマ端部位置決定部１２７は、検知した人物座標がパノラマ画像の中央に配置されるように決定することが望ましいが、これに限らない。後述する有効画素領域は円環状の画像なので、周期的境界を持ってる。周期的境界とは境界が周期的に存在することをいう（明確な境界がない）。したがって、例えば人物座標から１次元座標の半周期の位置をパノラマ端部位置とすることで、人物がパノラマ画像の中央に配置される。
【0132】
また、ステップＳ１０５において、パノラマ端部初期位置と人物が重複していない場合は、パノラマ端部位置決定部１２７が、パノラマ端部位置初期位置をパノラマ端部位置に決定してもよい。パノラマ端部位置決定部１２７がパノラマ端部初期位置を選択することで、本実施形態の端部位置の決定を行わない場合の背景に対し変化を最小限に抑制でき、普段の会議室に対し大きく背景が変わり視聴するユーザーに違和感を与えることを低減できる。
【0133】
人物座標情報に含まれる人物座標の数が２以上の場合、人物座標情報に基づいて、人物間隔推定部１２６が人物間隔情報を取得する。更に、パノラマ端部位置決定部１２７は人物間隔情報に基づいてパノラマ端部位置を決定する（Ｓ１０６）。本実施形態では、ステップＳ１０６の処理について詳細に説明する。
【0134】
その後、パノラマ画像出力部１２８が、選択されたパノラマ端部位置に基づいて全方位魚眼画像をパノラマ展開し、パノラマ画像を作成する（Ｓ１０７）。
【0135】
＜撮像ユニットにより写される画像の構造＞
図１５は、撮像ユニット６０１として半天球魚眼カメラを垂直上向きに設置したときに撮像される全方位魚眼画像１３１を模式図として示した。なお、全方位魚眼画像１３１は正確には半球よりやや大きい画角なので全天球ではないが、便宜上、全方位魚眼画像１３１という。
図１５は、撮像ユニット６０１として半天球魚眼カメラを垂直上向きに設置したときに撮像される全方位魚眼画像１３１を模式図として示した。なお、全方位魚眼画像１３１は正確には半球よりやや大きい画角なので全天球ではないが、便宜上、全方位魚眼画像１３１という。
【0136】
全方位魚眼画像１３１にはパノラマ画像として使用される有効画素領域１４０と、使用されない無効画素領域１４１がある。有効画素領域１４０は、ミーティングデバイスのいわゆる水平まわりであり、図６のａ°＋ｂ°の範囲である。有効画素領域１４０は円環（単なる円でもよい）になっている。
【0137】
無効画素領域１４１には、有効画素領域１４０の外周より外側の無効画素領域１４１ａと、有効画素領域１４０より内側の無効画素領域１４１ｂがある。有効画素領域１４０と無効画素領域１４１は、少なくとも所望の垂直画角を確保可能にその領域が設定されている。また、魚眼レンズ６０２から入射した像が撮像素子上に結像する領域であるイメージサークルより外側は対象が映りこむことはないため通常は無効画素領域である。イメージサークルは概ね無効画素領域１４１ｂと有効画素領域１４０を併せた範囲である。また、所望の垂直画角を得るために、イメージサークルより内側まで無効画素領域１４１ａが狭められていてもよい。全方位魚眼画像１３１の中心部が無効画素領域１４１ｂであるのは、通常は天井しか映らないためである。
【0138】
＜人物画像の取得処理＞
図１６は、人物座標取得部１２２が人物座標を取得する処理を説明するフローチャート図である。図１６では、人物座標取得部１２２が実行する処理フロー（図１６（ａ）（ｂ））を説明する。図１６については図１７、図１８も参照されたい。図１６（ａ）と図１６（ｂ）はどちらも１次元人物座標と１次元人物回転座標を取得する処理であるが処理の順番が異なっている。まず、図１６（ａ）について説明する。
図１６は、人物座標取得部１２２が人物座標を取得する処理を説明するフローチャート図である。図１６では、人物座標取得部１２２が実行する処理フロー（図１６（ａ）（ｂ））を説明する。図１６については図１７、図１８も参照されたい。図１６（ａ）と図１６（ｂ）はどちらも１次元人物座標と１次元人物回転座標を取得する処理であるが処理の順番が異なっている。まず、図１６（ａ）について説明する。
【0139】
人物座標取得部１２２は、全方位魚眼画像から２次元座標取得部１２３により、全方位魚眼画像に含まれる人物のそれぞれの２次元座標を含む２次元人物座標情報を取得する（Ｓ２０１）。２次元座標はｘ、ｙ座標でも、全方位魚眼画像の中心を原点とする極座標でもよい。
【0140】
２次元人物座標情報から座標回転処理部１２５が２次元人物座標を回転させた２次元人物回転座標を含む２次元人物座標情報'を得る（Ｓ２０２）。座標回転処理部１２５が出力する２次元人物座標情報は、２次元座標取得部１２３により取得された２次元人物座標と２次元人物回転座標とを含む。
【0141】
次に、１次元座標変換部１２４は、座標回転処理部１２５から出力された２次元人物座標情報'を１次元人物座標情報へ変換する（Ｓ２０３）。最終的に、２次元人物座標を１次元座標に射影した１次元人物座標と、１次元人物座標を回転させた１次元人物回転座標を含む人物座標情報が生成される。射影とは異なる座標系の座標への座標変換である。
【0142】
図１６（ｂ）について説明する。人物座標取得部１２２は、全方位魚眼画像から２次元座標取得部１２３により、全方位魚眼画像に含まれる人物のそれぞれの２次元座標を含む２次元人物座標情報を取得する（Ｓ３０１）。
【0143】
２次元人物座標情報を１次元座標変換部１２４が１次元人物座標情報'へ変換する（Ｓ３０２）。
【0144】
更に、座標回転処理部１２５は、１次元座標情報'に含まれる１次元座標を回転させた１次元人物回転座標を含む人物座標情報を得る（Ｓ３０３）。最終的に座標回転処理部１２５から出力される人物座標情報は、１次元人物座標と、１次元人物座標を回転させた１次元人物回転座標とを含む。
【0145】
以上のように、人物座標取得部１２２は、全方位魚眼画像をもとに、人物座標情報を出力する。２次元人物座標情報を取得後に、先に座標回転処理部１２５で座標の回転を行い、その後１次元座標変換部１２４が１次元座標へ射影を行ってもよい（図１６（ａ））。先に１次元座標変換部１２４が、２次元座標の１次元座標へ射影を行い、その後、座標回転処理部１２５が座標の回転を行ってもよい(図１６（ｂ）)。ミーティングデバイス６０がどちらを採用するかは、処理負荷等を考慮して設計可能である。人物座標が多くなると図１６（ｂ）の方が図１６（ａ）よりも処理負荷が小さいと考えられる。
【0146】
＜＜２次元座標の取得と１次元座標への変換＞＞
図１７Ａ、図１７Ｂは、全方位魚眼画像から、人物座標取得部１２２が被写体となる人物の人物座標を取得する処理を説明する図である。図１７Ａに示すように、２次元座標取得部１２３は、全方位魚眼画像上の人物を検知し、２次元座標系で表現する２次元人物座標情報を取得する。各人物の２次元人物座標を（ｘ１、ｙ１）～（ｘ４、ｙ４）で示す。人物検知のアルゴリズムとしては既存の人物検知アルゴリズムを利用可能であり、特定の方法に限定されることはない。人物検知の方法は、例えば、人間の顔の特徴を表すHaar－Like特徴量で画像検索する方法や、ニューラルネットワークを用いた顔検知など、どのような方法でもよい。
図１７Ａ、図１７Ｂは、全方位魚眼画像から、人物座標取得部１２２が被写体となる人物の人物座標を取得する処理を説明する図である。図１７Ａに示すように、２次元座標取得部１２３は、全方位魚眼画像上の人物を検知し、２次元座標系で表現する２次元人物座標情報を取得する。各人物の２次元人物座標を（ｘ１、ｙ１）～（ｘ４、ｙ４）で示す。人物検知のアルゴリズムとしては既存の人物検知アルゴリズムを利用可能であり、特定の方法に限定されることはない。人物検知の方法は、例えば、人間の顔の特徴を表すHaar－Like特徴量で画像検索する方法や、ニューラルネットワークを用いた顔検知など、どのような方法でもよい。
【0147】
２次元人物座標情報としては検知された人物の顔の中心、人物検知領域全体の中心等の座標を選択可能であるが、検知された人物の位置を推定可能な座標であればこれらに限定されることはない。また、２次元座標の原点としては有効画素領域の中心が今後の処理を計算する上で好ましいが、これに限定されず適切な座標系と原点を選択可能である。
【0148】
図１７Ｂに示すように、２次元人物座標情報は、１次元座標情報に射影されることが可能である。各人物の１次元人物座標をＩ１～Ｉ４で示す。１次元人物座標情報としては、有効画素領域１４０の外周上の座標を１次元座標へ射影した座標を用いることができる。２次元座標取得部１２３は、例えば、有効画素領域１４０の中心２６０から人物座標を通る直線と有効画素領域１４０の外周が直交する外周上の２次元座標を特定し、この２次元座標を１次元座標変換部１２４で1次元人物座標情報に変換することが可能である。
【0149】
この場合、有効画素領域１４０の外周上の点は周期的であるため、１次元座標は周期的境界を有する。しかし、取得した１次元座標情報から、人物間隔推定部１２６が人物間隔を推定可能な座標系であれば、これらに限定されず適切な１次元座標に射影可能である。
【0150】
＜＜人物間隔の取得＞＞
図１８は、人物間隔推定部１２６が人物間隔情報を推定する処理を説明する図である。人物間隔としては周期的境界を有する１次元座標上でそれぞれ隣り合う座標間の距離を利用可能である。それぞれの人物間隔の計算の仕方としては、例えば隣り合う１次元人物座標の差分から計算可能であるが、人物間隔を推定可能な方法であればこの計算方法に限定しない。人物間隔は以下のとおりである。
人物ＡとＢの人物間隔＝ｌ１－ｌ２＝ｄ１
人物ＢとＣの人物間隔＝ｌ２－ｌ３＝ｄ２
人物ＣとＤの人物間隔＝ｌ３－ｌ４＝ｄ３
人物ＤとＡの人物間隔＝ｌ４－ｌ１＝ｄ４
図１８に示す例では人物Ｄの１次元人物座標と人物Ａの１次元人物座標の間の人物間隔ｄ４が最も広くなっている。
図１８は、人物間隔推定部１２６が人物間隔情報を推定する処理を説明する図である。人物間隔としては周期的境界を有する１次元座標上でそれぞれ隣り合う座標間の距離を利用可能である。それぞれの人物間隔の計算の仕方としては、例えば隣り合う１次元人物座標の差分から計算可能であるが、人物間隔を推定可能な方法であればこの計算方法に限定しない。人物間隔は以下のとおりである。
人物ＡとＢの人物間隔＝ｌ１－ｌ２＝ｄ１
人物ＢとＣの人物間隔＝ｌ２－ｌ３＝ｄ２
人物ＣとＤの人物間隔＝ｌ３－ｌ４＝ｄ３
人物ＤとＡの人物間隔＝ｌ４－ｌ１＝ｄ４
図１８に示す例では人物Ｄの１次元人物座標と人物Ａの１次元人物座標の間の人物間隔ｄ４が最も広くなっている。
【0151】
人物座標が２次元人物座標である状態で、人物間隔推定部１２６が人物間隔を取得してもよい。この場合、人物間隔推定部１２６は、２次元人物座標を極座標として、方向を表す角度や弦の長さにより人物間隔を特定すればよい。
【0152】
図１９は、人物間隔の結果をもとに、パノラマ端部位置決定部１２７がパノラマ端部位置１５０を決定する処理を説明する図である。パノラマ端部位置決定部１２７は、人物間隔推定部１２６から得られた人物間隔情報のうち最も広い人物間隔に該当する人物間隔の間からパノラマ端部位置１５０を選択する。図１８では人物間隔ｄ４が最も広い人物間隔となっている。一例として、パノラマ端部位置決定部１２７は、最も広い人物間隔の中間点と有効画素領域の中心２６０を結ぶ直線をパノラマ端部位置１５０として選択することが好ましい。
【0153】
図２０は、パノラマ端部位置情報を元にパノラマ画像出力部１２８がパノラマ画像を作成する処理を説明する図である。図２０はパノラマ分割数ｎが１の場合である。図２０に示すように、最も広い人物間隔の中間点がパノラマ端部位置１５０に決定されているので、パノラマ画像の端部で人物が見切れることが抑制される。
【0154】
パノラマ画像出力部１２８は、パノラマ端部位置１５０を起点として、パノラマ展開を実施し、パノラマ画像を作成することができる。パノラマ画像出力部１２８は、例えばパノラマ端部位置１５０から反時計回り（又は時計回りでもよい）にパノラマ展開する。パノラマ展開方法としては、正角図法、正積図法、正距円筒図法、円錐図法などがあげられるが、これらに限定されることはなく、適切な方法を都度選択可能である。また、光学系の特性に合わせた適切な歪み補正を加えることがより好ましい。
【0155】
【0156】
＜＜２次元座標の１次元座標への変換＞＞
図２１Ａは、複数段分割パノラマ画像作成時の例として、２段分割パノラマ画像作成時に、撮像ユニット６０１が撮像した全方位魚眼画像から、人物座標取得部１２２が被写体となる人物の人物座標と、人物座標を180°回転させた人物回転座標の取得方法を説明する図である。
図２１Ａは、複数段分割パノラマ画像作成時の例として、２段分割パノラマ画像作成時に、撮像ユニット６０１が撮像した全方位魚眼画像から、人物座標取得部１２２が被写体となる人物の人物座標と、人物座標を180°回転させた人物回転座標の取得方法を説明する図である。
【0157】
人物座標取得部１２２は２次元座標取得部１２３により、全方位魚眼画像の人物を検出し、２次元座標系で表現する２次元人物座標を取得する。また、２段分割パノラマ画像の作成時、座標回転処理部１２５は、２次元座標取得部１２３が取得した２次元人物座標を、有効画素領域の原点（中心２６０に相当）に対して180°回転させ、２次元座標で表現する２次元人物回転座標を取得することができる。180°回転させることで間隔を保ったまま仮想的に人が存在する人物座標を決定できる。図２１Ａに示すように、座標回転処理部１２５が人物座標を180°回転させると、回転先の２次元人物座標が得られるが、２次元人物座標の間隔は変わらない。よって、パノラマ端部位置決定部１２７は、最も広い２つの人物間隔を特定できる。各人物の２次元人物回転座標を（ｘ１'、ｙ１'）～（ｘ４'、ｙ４'）で示す。
【0158】
ｎ段分割パノラマ画像を出力する場合を説明する。２段分割を一般化しｎ段分割パノラマ画像(ｎ＞３の整数)の場合を考えると、２次元座標取得部１２３が取得した２次元人物座標を、有効画素領域の原点を中心に360/n°回転させる処理を、(n－1)回繰り返し行った際にそれぞれ得られる２次元座標を2次元人物回転座標として得ることができる。この場合も、回転先の２次元人物座標が得られるが、人物間隔は変わらないので、パノラマ端部位置決定部１２７は、最も広いｎ個の人物間隔を特定できる。
【0159】
図２１Ｂに示すように、２段分割パノラマ画像を作成する場合、１段のパノラマ画像と同様に、１次元座標変換部１２４は、取得した２次元人物座標情報及び２次元人物回転座標情報を、周期的境界を有する１次元人物座標情報及び1次元人物回転座標情報に射影することが可能である。各人物の１次元人物回転座標をＩ１'～Ｉ４'で示す。
【0160】
一般化してｎ段分割パノラマ画像(ｎ＝整数)の場合も、１次元座標変換部１２４は、２次元人物座標情報及び２次元人物回転座標情報を、周期的境界を有する1次元人物座標情報及び1次元人物回転座標情報に射影することが可能である。
【0161】
周期的境界を有する１次元座標情報としては、有効画素領域の外周上の座標を１次元座標へ射影した１次元座標を用いることができる。例えば、有効画素領域の中心から人物座標を通る直線と有効画素領域の外周が直交する有効画素領域の外周上の２次元座標を計算し、この２次元座標を１次元座標変換部１２４で1次元人物座標情報及び１次元人物回転座標情報に変換することが可能である。この場合、有効画素領域の外周上の点は周期的であるため、１次元座標は周期的境界を有する。しかし、取得した１次元座標情報及び1次元人物回転座標情報から、人物間隔推定部１２６が人物間隔を推定可能な座標系であれば、これらに限定されず適切な１次元座標に射影可能である。
【0162】
＜＜複数段分割パノラマ画像作成時の人物間隔の取得＞＞
図２２は、２段分割パノラマ画像の生成時に、人物間隔推定部１２６が人物間隔情報を推定する処理を説明する図である。人物間隔としては周期的境界を有する１次元座標上でそれぞれ隣り合う座標間の距離を利用可能である。それぞれの人物間隔の計算の仕方としては、例えば隣り合う1次元人物座標の差分から計算可能であるが、人物間隔を推定可能な方法であればこの計算方法に限定しない。
人物ＡとＢの人物間隔＝ｌ１－ｌ２＝ｄ１
人物ＢとＣの人物間隔＝ｌ２－ｌ３＝ｄ２
人物ＣとＤの人物間隔＝ｌ３－ｌ４＝ｄ３
人物ＤとＡ（１次元回転人物座標）の間隔＝ｌ４－ｌ１'＝ｄ４
人物Ａ（１次元回転人物座標）と人物Ｂ（１次元回転人物座標）の間隔＝ｌ１'－ｌ２'＝ｄ５
人物Ｂ（１次元回転人物座標）と人物Ｃ（１次元回転人物座標）の間隔＝ｌ２'－ｌ３'＝ｄ６
人物Ｃ（１次元回転人物座標）と人物Ｄ（１次元回転人物座標）の間隔＝ｌ３'－ｌ４'＝ｄ７
人物Ｄ（１次元回転人物座標）と人物Ａの間隔＝ｌ４'－ｌ１＝ｄ８
図２３は、人物座標情報（１次元人物座標と１次元人物回転座標）において最も広い間隔を示す。図２２に示したように、人物Ａの１次元人物座標と人物Ｂの人物座標の間の人物間隔ｄ２、及び、人物Ａの１次元人物回転座標と人物Ｂの１次元人物回転座標の間の人物間隔ｄ５が最も広くなっている。したがって、２段分割パノラマ画像の場合、パノラマ端部位置１５１、１５２は人物間隔ｄ２、ｄ５のそれぞれ中間点である。
図２２は、２段分割パノラマ画像の生成時に、人物間隔推定部１２６が人物間隔情報を推定する処理を説明する図である。人物間隔としては周期的境界を有する１次元座標上でそれぞれ隣り合う座標間の距離を利用可能である。それぞれの人物間隔の計算の仕方としては、例えば隣り合う1次元人物座標の差分から計算可能であるが、人物間隔を推定可能な方法であればこの計算方法に限定しない。
人物ＡとＢの人物間隔＝ｌ１－ｌ２＝ｄ１
人物ＢとＣの人物間隔＝ｌ２－ｌ３＝ｄ２
人物ＣとＤの人物間隔＝ｌ３－ｌ４＝ｄ３
人物ＤとＡ（１次元回転人物座標）の間隔＝ｌ４－ｌ１'＝ｄ４
人物Ａ（１次元回転人物座標）と人物Ｂ（１次元回転人物座標）の間隔＝ｌ１'－ｌ２'＝ｄ５
人物Ｂ（１次元回転人物座標）と人物Ｃ（１次元回転人物座標）の間隔＝ｌ２'－ｌ３'＝ｄ６
人物Ｃ（１次元回転人物座標）と人物Ｄ（１次元回転人物座標）の間隔＝ｌ３'－ｌ４'＝ｄ７
人物Ｄ（１次元回転人物座標）と人物Ａの間隔＝ｌ４'－ｌ１＝ｄ８
図２３は、人物座標情報（１次元人物座標と１次元人物回転座標）において最も広い間隔を示す。図２２に示したように、人物Ａの１次元人物座標と人物Ｂの人物座標の間の人物間隔ｄ２、及び、人物Ａの１次元人物回転座標と人物Ｂの１次元人物回転座標の間の人物間隔ｄ５が最も広くなっている。したがって、２段分割パノラマ画像の場合、パノラマ端部位置１５１、１５２は人物間隔ｄ２、ｄ５のそれぞれ中間点である。
【0163】
また、一般化し、ｎ段分割パノラマ画像(ｎ＝整数)の場合でも同様に、人物間隔推定部１２６は、人物間隔としては周期的境界を有する１次元座標上でそれぞれ隣り合う座標間の距離を利用可能である。人物座標の回転処理によりｎ個の最も広い人物間隔が特定されるので、パノラマ端部位置決定部１２７はｎ個のパノラマ端部位置を決定できる。
【0164】
＜＜パノラマ端部位置の決定＞＞
図２４は、２つのパノラマ端部位置に基づいてパノラマ画像出力部１２８が２段分割パノラマ画像を作成する処理を説明する図である。２段分割パノラマ画像を作成する場合、パノラマ端部位置決定部１２７は、人物間隔推定部１２６から得られた人物間隔情報１３４のうち広いものから人物間隔を２個選択し、該当する人物間隔の間からそれぞれ１つずつパノラマ端部位置１５１、１５２を合計２つ決定する。
図２４は、２つのパノラマ端部位置に基づいてパノラマ画像出力部１２８が２段分割パノラマ画像を作成する処理を説明する図である。２段分割パノラマ画像を作成する場合、パノラマ端部位置決定部１２７は、人物間隔推定部１２６から得られた人物間隔情報１３４のうち広いものから人物間隔を２個選択し、該当する人物間隔の間からそれぞれ１つずつパノラマ端部位置１５１、１５２を合計２つ決定する。
【0165】
パノラマ端部位置１５１、１５２は、２段分割パノラマ画像の作成時には１つのパノラマ画像の広さがそれぞれ水平180°となるように決定されることが好ましい（本実施形態では、自動的に満たされる）。図２３では人物間隔ｄ２とｄ５が最も広い人物間隔として決定されている。パノラマ端部位置決定部１２７は、選択された人物間隔の中間点と有効画素領域の中心と結ぶ直線をパノラマ端部位置として選択している。
【0166】
一般化しｎ段分割パノラマ画像(ｎ＝整数)の場合、パノラマ端部位置決定部１２７は、ｎ個のパノラマ端部位置を選択する必要がある。ｎ段分割パノラマ画像を作成する場合、パノラマ端部位置決定部１２７は、人物間隔推定部１２６から得られた人物間隔情報のうち広いものから人物間隔をｎ個選択し、該当する人物間隔の間からそれぞれ1つずつパノラマ端部位置を合計n個選択する。また、ｎ個のパノラマ端部位置はパノラマ画像出力時にはそれぞれ１つのパノラマ画像の広さが水平360/n°となるように選択することが好ましい（本実施形態では、自動的に満たされる）。
【0167】
＜＜２段分割パノラマ画像の表示例＞＞
図２４（ｂ）は、パノラマ画像出力部１２８が作成した２段分割パノラマ画像を説明する図である。パノラマ画像出力部１２８は、パノラマ端部位置１５１、１５２を起点として、パノラマ展開を実施し、180°ずつ２段にパノラマ画像を分割し、パノラマ画像として２段分割パノラマ画像を作成することができる。座標回転処理部１２５が人物座標を180°回転させて、パノラマ端部位置決定部１２７が最も広い２つの人物間隔の中間点をパノラマ端部位置に決定したので、２つのパノラマ画像は自動的に180°の幅（水平角）を持つ。
図２４（ｂ）は、パノラマ画像出力部１２８が作成した２段分割パノラマ画像を説明する図である。パノラマ画像出力部１２８は、パノラマ端部位置１５１、１５２を起点として、パノラマ展開を実施し、180°ずつ２段にパノラマ画像を分割し、パノラマ画像として２段分割パノラマ画像を作成することができる。座標回転処理部１２５が人物座標を180°回転させて、パノラマ端部位置決定部１２７が最も広い２つの人物間隔の中間点をパノラマ端部位置に決定したので、２つのパノラマ画像は自動的に180°の幅（水平角）を持つ。
【0168】
パノラマ展開方法としては、正角図法、正積図法、正距円筒図法、円錐図法などがあげられるが、これらに限定されることはなく、適切な方法を都度選択可能である。また、光学系の特性に合わせた適切な歪み補正を加えることがより好ましい。
【0169】
また、一般化しｎ段分割パノラマ画像(ｎ＞３の整数)の場合、パノラマ画像出力部１２８が、抽出したｎ個のパノラマ端部位置情報を起点として、パノラマ展開を実施し、ｎ段分割し、パノラマ画像としてｎ段分割パノラマ画像を作成する。この場合も、ｎ個のパノラマ画像はそれぞれ自動的に360°/ｎの幅（水平角）を持つ。
【0170】
パノラマ展開方法としては、正角図法、正積図法、正距円筒図法、円錐図法などがあげられるが、これらに限定されることはなく、適切な方法を都度選択可能である。また、光学系の特性に合わせた適切な歪み補正を加えることがより好ましい。
【0171】
＜最も広い間隔でない間隔からのパノラマ端部位置の決定＞
本実施形態では、最も広い人物間隔からパノラマ端部位置を決定しているが、以下のように、ミーティングデバイス６０は、他の方法でパノラマ端部位置を決定することができる。
本実施形態では、最も広い人物間隔からパノラマ端部位置を決定しているが、以下のように、ミーティングデバイス６０は、他の方法でパノラマ端部位置を決定することができる。
【0172】
図２５は、パノラマ端部位置の決定方法を説明する図である。図２５は図２３と同様に２次元人物座標が180°回転させられた全方位魚眼画像を示す。例えば、パノラマ端部位置決定部１２７は、人物間隔のうち初期パノラマ端部位置１５３に最も近い人物間隔の間から、パノラマ端部位置を決定する。図２５（ａ）では初期パノラマ端部位置１５３に最も近い人物間隔（反時計回り）は人物間隔ｄ１１なので、パノラマ端部位置決定部１２７は、人物間隔ｄ１１の中間点をパノラマ端部位置に決定する。
【0173】
こうすることで、本実施形態の端部位置の決定を行わない場合との背景の変化を最小限に抑制でき、普段の会議室の背景に対し大きく背景が変わり視聴するユーザーに違和感を与えることを低減できる。
【0174】
なお、パノラマ端部位置決定部１２７は、単に、人物間隔のうち初期パノラマ端部位置１５３に最も近い人物間隔の間からパノラマ端部位置を決定するのでなく、初期パノラマ端部位置１５３に最も近い閾値以上の人物間隔の間からパノラマ端部位置を決定してもよい。こうすることで、人物間隔が狭い場合にパノラマ端部位置が人物と重複することを抑制できる。したがって、閾値は一般的な人物の幅の半分程度でよい。
【0175】
また、パノラマ端部位置決定部１２７は、人物間隔のうち直前に選択されていた、パノラマ端部位置に最も近い人物間隔からパノラマ端部位置を決定してもよい。すなわち、パノラマ端部位置は適宜更新されるが、更新時には現在のパノラマ端部位置を基点に次のパノラマ端部位置が決定される。
【0176】
図２５（ｂ）の現在のパノラマ端部位置をパノラマ端部位置１５４とする。パノラマ端部位置決定部１２７は、パノラマ端部位置１５４から反時計回りに次の人物間隔を次回のパノラマ端部位置に決定する（探索の際は現在のパノラマ端部位置１５４も含む）。仮に人物座標に変化がない場合、次回のパノラマ端部位置１５４は再度、人物間隔ｄ１１の中間点である。この場合も、パノラマ端部位置の更新時に、背景の変化を最小限に抑制できる。
【0177】
なお、パノラマ端部位置の更新タイミングについては後述するが、例えば人物座標が変化したタイミングでよい。
【0178】
＜パノラマ端部位置の更新タイミング＞
続いて、図２６に基づいて、パノラマ端部位置の更新タイミングについて説明する。図２６は、パノラマ端部位置決定部１２７がパノラマ端部位置を更新するタイミングを説明するフローチャート図である。
続いて、図２６に基づいて、パノラマ端部位置の更新タイミングについて説明する。図２６は、パノラマ端部位置決定部１２７がパノラマ端部位置を更新するタイミングを説明するフローチャート図である。
【0179】
人物間隔推定部１２６は繰り返し、１次元又は２次元の人物間隔を取得している。パノラマ端部位置決定部１２７は、現在のパノラマ端部位置と人物が重なったか否か判断する（Ｓ４０１）。また、ステップＳ４０１の判断では、現在のパノラマ端部位置に一定のマージンを設定して人物座標が含まれるか否か判断されてよい。この幅は、一般的な人物の幅の半分程度でよい。
【0180】
ステップＳ４０１の判断がＮｏの場合、パノラマ端部位置決定部１２７は、全方位魚眼画像から検知される人物の数が増加又は減少したか否か判断する（Ｓ４０２）。人物の数が変われば、最大の人物間隔の場所が変わる可能性があるためである。
【0181】
ステップＳ４０２の判断がＮｏの場合、パノラマ端部位置決定部１２７は、最大の人物間隔の場所が変わったか否か判断する（Ｓ４０３）。最大の人物間隔の場所が変わることには、現在の最大の人物間隔が更に広くなる又は狭くなる場合も、別の人物間隔が最大の人物間隔になる場合も含む。
【0182】
ステップＳ４０３の判断がＮｏの場合、パノラマ端部位置決定部１２７は、人物間隔が変化したか否か判断する（Ｓ４０４）。変化の有無の判断には閾値があってもよい。また、単に人物間隔が変化したか否かでなく、パノラマ端部位置決定部１２７は、パノラマ端部位置がある人物間隔が変化したか否か判断してよい。パノラマ端部位置が変わる可能性が高いためである。
【0183】
ステップＳ４０１～Ｓ４０４のいずれかでＹｅｓの場合、パノラマ端部位置決定部１２７はパノラマ端部位置を更新する（Ｓ４０５）。人物間隔が変化したタイミングで、パノラマ端部位置決定部１２７が最も広い人物間隔からパノラマ端部位置を決定できる。ステップＳ４０５において、図２５にて説明したように、パノラマ端部位置決定部１２７が初期パノラマ端部位置１５３や現在のパノラマ端部位置に基づいて次のパノラマ端部位置を決定してもよい。
【0184】
ステップＳ４０１～Ｓ４０４の全てでＮｏの場合、パノラマ端部位置は更新されないが、パノラマ端部位置決定部１２７は一定時間ごとにパノラマ端部位置を更新してもよい。
【0185】
【0186】
＜ユーザーによるパノラマ分割数の指定＞
図２７は、ミーティングデバイス６０に搭載された、パノラマ分割数ｎをユーザーが設定する操作部の一例を示す図である。図２７（ａ）は、ミーティングデバイス６０に、パノラマ分割数決定部１２１としてパノラマ分割数決定操作部２０１が1つ搭載されている例を示す。パノラマ分割数決定操作部２０１は、ハードキーやタッチパネルである。ユーザーがパノラマ分割数決定部１２１を押下するたびにパノラマ分割数ｎが、
ｎ＝１ ⇒ ｎ＝２ ⇒ ｎ＝３・・・⇒ ｎ＝ｎＭＡＸ
のように１から１つずつ大きくなる。ｎがパノラマ分割数最大値ｎＭＡＸになると、ユーザーがパノラマ分割数決定部１２１を押下することで、再びｎ＝１に回帰する。ｎＭＡＸの最大値としては２～４が好ましい。
図２７は、ミーティングデバイス６０に搭載された、パノラマ分割数ｎをユーザーが設定する操作部の一例を示す図である。図２７（ａ）は、ミーティングデバイス６０に、パノラマ分割数決定部１２１としてパノラマ分割数決定操作部２０１が1つ搭載されている例を示す。パノラマ分割数決定操作部２０１は、ハードキーやタッチパネルである。ユーザーがパノラマ分割数決定部１２１を押下するたびにパノラマ分割数ｎが、
ｎ＝１ ⇒ ｎ＝２ ⇒ ｎ＝３・・・⇒ ｎ＝ｎＭＡＸ
のように１から１つずつ大きくなる。ｎがパノラマ分割数最大値ｎＭＡＸになると、ユーザーがパノラマ分割数決定部１２１を押下することで、再びｎ＝１に回帰する。ｎＭＡＸの最大値としては２～４が好ましい。
【0187】
図２７（ｂ）は、ミーティングデバイス６０に、パノラマ分割数決定部１２１として複数のパノラマ分割数決定操作部201Bが搭載されている例を示す。パノラマ分割数決定部１２１にはパノラマ分割数ｎを数字で直接、指定可能なパノラマ分割数決定操作部が備えられる。例えば「1」と表記されたパノラマ分割数決定操作部201B1をユーザーが押下するとパノラマ分割数ｎは１にセットされる。「2」と表記されたパノラマ分割数決定操作部201B2をユーザーが押下するとパノラマ分割数ｎは２にセットされる。「3」と表記されたパノラマ分割数決定操作部201B3をユーザーが押下するとパノラマ分割数ｎは３にセットされる。「4」と表記されたパノラマ分割数決定操作部201B4をユーザーが押下するとパノラマ分割数ｎは４にセットされる。パノラマ分割数決定操作部201Bは５以上の数字を含んでもよいが、ｎ＝３～４程度を最大として指定できることが好ましい。
【0188】
図２８に示すように、ミーティングデバイス６０が接続された端末装置１０の情報記録アプリ４１上にパノラマ分割数決定操作部を有する画面が表示され、情報記録アプリ４１に対しユーザーがパノラマ分割数ｎを指定できるようにしてもよい。
【0189】
図２８（ａ）はスライダーバーによりパノラマ分割数ｎを指定するパノラマ分割数決定操作部201Cを示す。図２８（ａ）のパノラマ分割数決定操作部201Cは、パノラマ分割数ｎを左右にバーをスライドさせることで選択できるスライダーバー201C1と、スライダーバーで選択されている位置に基づいてパノラマ分割数ｎをユーザーに表示するパノラマ分割数表示部201C2を備える。
【0190】
図２８（ｂ）は、直接入力によりパノラマ分割数ｎを指定するパノラマ分割数決定操作部201Dを示す。パノラマ分割数決定操作部201Dは、パノラマ分割数ｎを直接ユーザーがキーボードで入力可能なパノラマ分割数入力部201D1を備える。ユーザーがパノラマ分割数入力部201D1にパノラマ分割数ｎを入力すると図２８（ｃ）に示すようにパノラマ分割数入力部201D1に数字が表示される。
【0191】
図２８（ｄ）は、プルダウンメニューを選択することによりパノラマ分割数ｎを指定するパノラマ分割数決定操作部201Eを示す。パノラマ分割数決定操作部201Eは、パノラマ分割数選択用プルダウンメニュー201E3からユーザーが数字を選択することで、パノラマ分割数ｎを指定可能である。また、パノラマ分割数決定操作部201Eは、パノラマ分割数選択用プルダウンメニューを表示させるために必要なプルダウン表示ボタン201E2を備える。更に、パノラマ分割数決定操作部201Eは、パノラマ分割数選択用プルダウンメニュー201E3から選択されたパノラマ分割数ｎを表示可能なパノラマ分割数表示部201E1を備える。
【0192】
図２８（ｅ）は、パノラマ分割数ｎとして、パノラマ分割数選択用プルダウンメニュー201E3から「2」が選択された後の画面例である。パノラマ分割数表示部201E1に「2」が表示されている。
【0193】
図２８（ｆ）は、選択ボタンによりパノラマ分割数ｎを指定するパノラマ分割数決定操作部201Fを示す。パノラマ分割数決定操作部201Fは、パノラマ分割数選択ボタン201F1を備える。ユーザーがパノラマ分割数選択ボタン201F1のうちのいずれかのボタンを選択することで、パノラマ分割数ｎを選択可能である。押下されたパノラマ分割数選択ボタン201F1は反転表示される。このように、ユーザーが任意にパノラマ分割数ｎを指定できる。
【0194】
なお、ユーザーがパノラマ分割数ｎを指定するのでなく、パノラマ端部位置決定部１２７が自動でパノラマ分割数ｎを決定してもよい。例えば、写っている人数に応じて、１人ならパノラマ分割数ｎ＝１、２人ならパノラマ分割数ｎ＝２、３人ならパノラマ分割数ｎ＝３、４人以上ならパノラマ分割数ｎ＝４、のようにパノラマ分割数ｎが決定される。
【0195】
また、ユーザーがミーティングデバイス６０に対し音声を発話し、ミーティングデバイス６０が音声認識によりパノラマ分割数ｎの設定を受け付けてもよい。
【0196】
以上のようにして生成されたパノラマ画像は、図１２に示した録画中画面２２０に表示される。録画中画面２２０は会議中に表示され、録画中画面２２０が結合画像動画に記録された場合は、再生時にも表示される。
【0197】
＜結合画像動画の保存＞
続いて、図２９を参照し、結合画像動画の保存処理について説明する。図２９は、情報記録アプリ４１がパノラマ画像、話者画像及びアプリの画面を録画する手順を示すシーケンス図の一例である。
続いて、図２９を参照し、結合画像動画の保存処理について説明する。図２９は、情報記録アプリ４１がパノラマ画像、話者画像及びアプリの画面を録画する手順を示すシーケンス図の一例である。
【0198】
S21：ユーザーは遠隔会議アプリ４２を操作して遠隔会議を開始する。ここでは、自拠点１０２と他の拠点１０１の遠隔会議アプリ４２が遠隔会議を開始したものとする。自拠点１０２の遠隔会議アプリ４２は、端末装置１０が有するカメラが撮像する画像、マイクが集音する音声を他の拠点１０１の遠隔会議アプリ４２に送信する。他の拠点１０１の遠隔会議アプリ４２は、受信した画像をディスプレイに表示し、受信した音声をスピーカから出力する。同様に、他の拠点１０１の遠隔会議アプリ４２は、端末装置１０が有するカメラが撮像する画像、マイクが集音する音声を自拠点１０２の遠隔会議アプリ４２に送信する。自拠点１０２の遠隔会議アプリ４２は、受信した画像をディスプレイに表示し、受信した音声をスピーカから出力する。各遠隔会議アプリ４２はこれを繰り返して、遠隔会議を実現する。
【0199】
S22：ユーザーは録画に関する設定を行う。情報記録アプリ４１の操作受付部１２が設定を受け付ける。ここでは、カメラ撮像、及び、ＰＣ画面録画の設定が共にオンであるとする。
【0200】
ユーザーは遠隔会議を事前に予約済みの場合、カレンダから情報取得ボタン２２１を押下することで遠隔会議のリストを表示し、記録動画を対応付ける遠隔会議を選択できる。ユーザーは情報処理システム５０にログイン済みなので、情報処理システム５０はログインしたユーザーが閲覧権限のある遠隔会議を特定する。情報処理システム５０は特定した遠隔会議のリストを端末装置１０に送信するので、ユーザーは開催中又はこれから開催される遠隔会議を選択する。これにより、会議ＩＤ等、遠隔会議に関する情報が決定される。
【0201】
また、ユーザーは遠隔会議を事前に予約していなくても、結合画像動画を作成する際に会議を作成できる。以下では、情報記録アプリ４１が、結合画像動画を作成する際に会議を作成し、会議ＩＤを情報処理システム５０から取得する場合を説明する。
【0202】
S23：ユーザーは録画開始を情報記録アプリ４１に指示する。情報記録アプリ４１の操作受付部１２が指示を受け付ける。表示制御部１３は録画中画面２２０を表示する。
【0203】
S24：遠隔会議が選択されていないので（会議ＩＤが決まってないため）、情報記録アプリ４１の通信部１１が、遠隔会議作成要求を情報処理システム５０に送信する。
【0204】
S25：情報処理システム５０の通信部５１は遠隔会議作成要求を受信し、コミュニケーション管理部５４が、会議管理システム９が採番した重複しない会議ＩＤを取得し、通信部５１が会議ＩＤを情報記録アプリ４１に送信する。
【0205】
S26：また、コミュニケーション管理部５４は、通信部５１を介して、結合画像動画の保存先（ストレージサービスシステム７０のＵＲＬ）を情報記録アプリ４１に送信する。
【0206】
S27：情報記録アプリ４１の通信部１１が会議ＩＤと録画ファイルの保存先を受信することで、録画制御部１７が録画の準備が整ったと判断し、録画を開始する。
【0207】
S28：情報記録アプリ４１のアプリ画面取得部１４は、ユーザーが選択したアプリの画面をアプリに対し要求する（アプリ画面取得部１４は、より詳細にはＯＳを介して、アプリの画面を取得する）。図２９では、ユーザーが選択したアプリを遠隔会議アプリ４２とする。
【0208】
S29：情報記録アプリ４１の録画制御部１７は、デバイス通信部１６を介して、ミーティングデバイス６０に録画開始を通知する。通知の際、録画制御部１７は、カメラトグルボタン２１１がオンである旨（パノラマ画像と話者画像の要求）も通知する。
【0209】
S30：ミーティングデバイス６０の端末通信部６１が録画開始を受信すると、重複しない録画ＩＤを採番し、録画ＩＤを情報記録アプリ４１に返す。なお、録画ＩＤは情報記録アプリ４１が採番してもよいし、情報処理システム５０から取得してもよい。
【0210】
S31：情報記録アプリ４１の音声取得部１５は端末装置１０が出力する音声データ（遠隔会議アプリ４２が受信した音声データ）を取得する。
【0211】
S32：デバイス通信部１６が、音声取得部１５が取得した音声データと合成要求をミーティングデバイス６０に送信する。
【0212】
S33：ミーティングデバイス６０の端末通信部６１は音声データと合成要求を受信し、音声合成部６５が、集音部６４が集音した周囲の音声データと、受信した音声データを合成する。例えば、音声合成部６５は、２つの音声データを足し合わせる。ミーティングデバイス６０の周辺の鮮明な音声が記録されるので、特にミーティングデバイス６０周辺（会議室側）の音声のテキスト化精度が向上する。
【0213】
この音声の合成は、端末装置１０でも可能である。しかし、録画機能が端末装置１０に、音声処理がミーティングデバイス６０に分散して配置されることで、端末装置１０とミーティングデバイス６０の負荷を低減できる。録画機能がミーティングデバイス６０に、音声処理が端末装置１０に分散して配置されてもよい。
【0214】
S34：また、ミーティングデバイス６０はカメラトグルボタン２１１がオンである旨を受け取ったので、パノラマ画像作成部６２はｎ段分割のパノラマ画像を作成し、話者画像作成部６３は話者画像を作成する。
【0215】
S35：情報記録アプリ４１のデバイス通信部１６は、パノラマ画像と話者画像を繰り返しミーティングデバイス６０から取得する。また、デバイス通信部１６は、合成後の音声データを繰り返しミーティングデバイス６０に要求して取得する。これらの取得は、デバイス通信部１６がミーティングデバイス６０に要求することで行われてもよい。あるいは、カメラトグルボタン２１１がオンである旨を受け取ったミーティングデバイス６０が自動的にパノラマ画像と話者画像を送信してもよい。音声データの合成要求を受け取ったミーティングデバイス６０が自動的に合成後の音声データを情報記録アプリ４１に送信してもよい。
【0216】
S36：情報記録アプリ４１の録画制御部１７は、遠隔会議アプリ４２から取得したアプリの画面と、パノラマ画像と、話者画像を並べることで結合画像を作成する。録画制御部１７は、繰り返し結合画像を作成し、動画を構成するフレームに各結合画像を指定することで結合画像動画を作成する。また、録画制御部１７はミーティングデバイス６０から受信した音声データを保存しておく。
【0217】
情報記録アプリ４１は以上のステップS31～S36を繰り返す。
【0218】
S37：遠隔会議が終わり、録画の必要がなくなると、ユーザーが録画終了（例えば、録画終了ボタン２２７）を情報記録アプリ４１に指示する。情報記録アプリ４１の操作受付部１２が指示を受け付ける。
【0219】
S38：情報記録アプリ４１のデバイス通信部１６は、ミーティングデバイス６０に録画終了を通知する。これにより、ミーティングデバイス６０はパノラマ画像と話者画像の作成や音声の合成を終了する。
【0220】
S39：情報記録アプリ４１の録画制御部１７は、結合画像動画に音声データを結合して音声付きの結合画像動画を作成する。
【0221】
S40：また、ユーザーが録画設定画面２１０で「記録をアップロード後に自動で文字おこしする」に対応付けられたチェックボックス２１５をチェックした場合、音声データ処理部１８が、音声データのテキストデータへの変換を情報処理システム５０に要求する。詳細には、音声データ処理部１８は、通信部１１を介して、保存先のＵＲＬを指定し、会議ＩＤ及び録画ＩＤと共に、結合画像動画に結合された音声データの変換要求を情報処理システム５０に送信する。
【0222】
S41：情報処理システム５０の通信部５１は音声データの変換要求を受信し、テキスト変換部５６が音声認識サービスシステム８０を利用して音声データをテキストデータに変換する。通信部５１はテキストデータを、結合画像動画の保存先と同じ保存先（ストレージサービスシステム７０のＵＲＬ）に保存する。なお、録画情報記憶部５００２においてテキストデータは会議ＩＤ及び録画ＩＤにより結合画像動画と対応付けられている。なおテキストデータは、情報処理システム５０のコミュニケーション管理部５４で管理し、記憶部５０００に記憶してもよい。また、端末装置１０が音声認識サービスシステム８０に音声認識を要求し、音声認識サービスシステム８０から取得したテキストデータを保存先に保存してもよい。なお、音声認識サービスシステム８０は、変換したテキストデータを情報処理システム５０に返すが、直接保存先のＵＲＬに送信してもよい。音声認識サービスシステム８０は、情報処理システム５０にユーザーが設定した設定情報に応じて、複数のサービスから選択したり切り替えたりしてもよい。
【0223】
S42：また、情報記録アプリ４１のアップロード部２０は、通信部１１を介して、結合画像動画の保存先に結合画像動画を保存する。録画情報記憶部５００２において結合画像動画は会議ＩＤ及び録画ＩＤと対応付けられている。結合画像動画にはアップロード済みが記録される。
【0224】
保存先はユーザーに通知されているので、ユーザーはメールなどで保存先を知らせることで結合画像動画を参加者と共有できる。結合画像動画、音声データ、テキストデータを作成する装置がそれぞれ異なっても、１つの格納場所に集めて格納でき、後でユーザー等が容易に閲覧できる。
【0225】
リアルタイム音声認識の場合、ミーティングデバイス６０又は端末装置１０が音声データをリアルタイムに情報処理システム５０に送信する。端末装置１０はミーティングデバイス６０から送信された、又は、情報処理システム５０から返却されたテキストデータを録画中画面２２０に表示すると共に保存しておく。
【0226】
なお、ステップS31～S36の処理は、図２９に示すとおりの順番でなくてもよく、音声データの合成と結合画像の作成が前後してもよい。
【0227】
＜主な効果＞
以上説明したように、本実施形態のミーティングデバイス６０は、人物の間隔に基づきパノラマ端部位置を決定することで、１人以上の人物が、１段以上に分割されたパノラマ画像に表示される場合、パノラマ画像の端部で見切れてしまうことを防止し、パノラマ画像に表示されるすべての人物が適切に表示可能なパノラマ画像を提供できる。
以上説明したように、本実施形態のミーティングデバイス６０は、人物の間隔に基づきパノラマ端部位置を決定することで、１人以上の人物が、１段以上に分割されたパノラマ画像に表示される場合、パノラマ画像の端部で見切れてしまうことを防止し、パノラマ画像に表示されるすべての人物が適切に表示可能なパノラマ画像を提供できる。
【0228】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0229】
例えば、本実施形態では、人物が端部に配置されないようにする画像処理を説明したが、商品など端部に配置されたくない物に対し、ミーティングデバイス６０が端部に配置されないようにする画像処理を行ってもよい。
【0230】
また、各パノラマ画像に写っている人物の数が１人の場合、パノラマ画像作成部６２は、人物をパノラマ画像の中央に配置してもよい。また、パノラマ画像作成部６２は、人物のみをトリミングして、各パノラマ画像に写っている人物の数に応じて決まった位置に配置してもよい。パノラマ画像作成部６２は、例えば、１人の場合は中央に、２人以上の場合は中央付近から等間隔に配置する。この場合は、背景は予め用意された無地、風景などでよい。
【0231】
また、例えば電子黒板２が全方位魚眼画像に写っている場合、パノラマ画像作成部６２は、電子黒板２が端部に配置されないようにパノラマ端部位置を決定するとよい。また、パノラマ画像作成部６２は、電子黒板２に手書きする人物と電子黒板２とを一体に認識して、端部に配置されないようにパノラマ端部位置を決定するとよい。電子黒板２の位置は予め決まっているか、画像処理により検出される。
【0232】
また、端末装置１０とミーティングデバイス６０が一体でもよい。端末装置１０にミーティングデバイス６０が外付けされてもよい。また、ミーティングデバイス６０は、全天球カメラとマイクとスピーカがケーブルで接続されたものでもよい。
【0233】
また、他の拠点１０１においてもミーティングデバイス６０が配置されてよい。他の拠点１０１は別途、ミーティングデバイス６０を使用して結合画像動画とテキストデータを作成する。また、１つの拠点に複数のミーティングデバイス６０が配置されてもよい。この場合、ミーティングデバイス６０ごとに複数の記録情報が作成される。
【0234】
また、本実施形態で使用した、結合画像動画における、パノラマ画像２０３，話者画像２０４、及び、アプリの画面の配置は一例に過ぎない。パノラマ画像２０３が下で話者画像２０４が上でもよいし、ユーザーが配置を変更したり、再生時にはパノラマ画像２０３と話者画像２０４の表示と非表示を個別に切り替えたりしてもよい。
【0235】
また、図８、図１３などの構成例は、端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。端末装置１０、ミーティングデバイス６０、及び、情報処理システム５０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
【0236】
また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、情報処理システム５０は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。
【0237】
更に、情報処理システム５０は、開示された処理ステップ、例えば図２９等を様々な組み合わせで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、情報処理システム５０が有する複数の情報処理装置によって実行され得る。また、情報処理システム５０は、1つのサーバー装置にまとめられていても良いし、複数の装置に分けられていても良い。
【0238】
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」は、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（Digital Signal Processor）、FPGA（Field Programmable Gate Array）、及び、従来の回路モジュール等のデバイスを含む。
【0239】
＜付記＞
[付記１]
魚眼レンズにより撮像した魚眼画像を生成するデバイスを含むパノラマ画像作成システムであって、
前記魚眼画像における人物座標を取得する人物座標取得部と、
前記人物座標に基づき人物の間隔を推定する人物間隔推定部と、
予め設定されているパノラマ分割数ｎ(ｎ≧1)に基づき、前記人物の間隔からｎ個のパノラマ端部位置を決定するパノラマ端部位置決定部と、
ｎ個の前記パノラマ端部位置で前記魚眼画像が分割された、ｎ個のパノラマ画像を出力するパノラマ画像出力部と、
を有するパノラマ画像作成システム。
[付記２]
前記人物座標取得部は、前記魚眼画像から２次元の人物座標を取得し、
前記人物間隔推定部は、前記２次元の人物座標に基づき前記人物の間隔を推定することを特徴とする付記１に記載のパノラマ画像作成システム。
[付記３]
前記２次元の人物座標を前記魚眼画像の原点を中心に、前記パノラマ分割数ｎに応じて回転させ、２次元人物回転座標を決定する座標回転処理部を有し、
前記人物間隔推定部は、前記２次元の人物座標と前記２次元人物回転座標に基づき前記人物の間隔を推定することを特徴とする付記２に記載のパノラマ画像作成システム。
[付記４]
前記座標回転処理部は、前記魚眼画像の原点を中心に前記２次元の人物座標を360/n°回転させる処理を、(n－1)回繰り返し行うことで、前記２次元人物回転座標を決定することを特徴とする付記３に記載のパノラマ画像作成システム。
[付記５]
前記２次元の人物座標を、前記魚眼画像の原点を中心とする円周方向の１次元人物座標に変換する１次元座標変換部を有し、
前記人物間隔推定部は、前記１次元人物座標に基づき前記人物の間隔を推定することを特徴とする付記２に記載のパノラマ画像作成システム。
[付記６]
前記１次元人物座標を前記魚眼画像の原点を中心に、前記パノラマ分割数ｎに応じて回転させ、１次元人物回転座標を決定する座標回転処理部を有し、
前記人物間隔推定部は、前記１次元人物座標と前記１次元人物回転座標に基づき前記人物の間隔を推定することを特徴とする付記５に記載のパノラマ画像作成システム。
[付記７]
前記座標回転処理部は、前記魚眼画像の原点を中心に前記１次元人物座標を360/n°回転させる処理を、(n－1)回繰り返し行うことで、前記１次元人物回転座標を決定することを特徴とする付記６に記載のパノラマ画像作成システム。
[付記８]
前記パノラマ端部位置決定部は、複数の前記人物の間隔のうち最大の前記人物の間隔から前記パノラマ端部位置を決定することを特徴とする付記１～７のいずれか１項に記載のパノラマ画像作成システム。
[付記９]
前記パノラマ端部位置決定部は、複数の前記人物の間隔のうち最大の前記人物の間隔の中間点を前記パノラマ端部位置に決定することを特徴とする付記８に記載のパノラマ画像作成システム。
[付記１０]
前記パノラマ端部位置決定部は、前記人物の間隔のうち前記パノラマ分割数ｎに応じて予め設定されたｎ個のパノラマ端部初期位置に最も近い前記人物の間隔から、前記パノラマ端部位置を決定することを特徴とする付記１～７のいずれか１項に記載のパノラマ画像作成システム。
[付記１１]
前記パノラマ端部位置決定部は、直前の前記パノラマ端部位置に最も近い前記人物の間隔の間から、次回の前記パノラマ端部位置を決定することを特徴とする付記１～７のいずれか１項に記載のパノラマ画像作成システム。
[付記１２]
前記人物座標取得部が前記魚眼画像から１人も人物座標を取得しない場合、
前記パノラマ端部位置決定部は、前記パノラマ分割数ｎに応じて予め設定されたｎ個のパノラマ端部初期位置を決定することを特徴とする付記１～１１のいずれか１項に記載のパノラマ画像作成システム。
[付記１３]
前記人物座標取得部が前記魚眼画像から１人のみの人物座標を取得した場合、
前記パノラマ端部位置決定部は、取得した人物座標と重複しない１つの前記パノラマ端部位置を決定することを特徴とする付記１～１２のいずれか１項に記載のパノラマ画像作成システム。
[付記１４]
前記パノラマ端部位置決定部は、前記パノラマ端部位置が存在している前記人物の間隔の大きさが変化したタイミングで前記パノラマ端部位置を更新することを特徴とする付記１～１３のいずれか１項に記載のパノラマ画像作成システム。
[付記１５]
前記パノラマ端部位置決定部は、最大の人物の間隔の場所が変わったタイミングで前記パノラマ端部位置を更新することを特徴とする付記１～１４のいずれか１項に記載のパノラマ画像作成システム。
[付記１６]
前記パノラマ端部位置決定部は、前記魚眼画像から検知される前記人物の数が増加又は減少したタイミングで前記パノラマ端部位置を更新することを特徴とする付記１～１５のいずれか１項に記載のパノラマ画像作成システム。
[付記１７]
前記パノラマ端部位置決定部は、現在の前記パノラマ端部位置と人物の座標が重なったタイミングで前記パノラマ端部位置を更新することを特徴とする付記１～１６のいずれか１項に記載のパノラマ画像作成システム。
[付記１８]
前記情報記録アプリケーションは、前記パノラマ分割数ｎの選択を受け付ける画面を表示するか、前記デバイスは、前記パノラマ分割数ｎの選択を受け付けるハードキー又はタッチパネルを有することを特徴とする付記１～１７のいずれか１項に記載のパノラマ画像作成システム。
[付記１]
魚眼レンズにより撮像した魚眼画像を生成するデバイスを含むパノラマ画像作成システムであって、
前記魚眼画像における人物座標を取得する人物座標取得部と、
前記人物座標に基づき人物の間隔を推定する人物間隔推定部と、
予め設定されているパノラマ分割数ｎ(ｎ≧1)に基づき、前記人物の間隔からｎ個のパノラマ端部位置を決定するパノラマ端部位置決定部と、
ｎ個の前記パノラマ端部位置で前記魚眼画像が分割された、ｎ個のパノラマ画像を出力するパノラマ画像出力部と、
を有するパノラマ画像作成システム。
[付記２]
前記人物座標取得部は、前記魚眼画像から２次元の人物座標を取得し、
前記人物間隔推定部は、前記２次元の人物座標に基づき前記人物の間隔を推定することを特徴とする付記１に記載のパノラマ画像作成システム。
[付記３]
前記２次元の人物座標を前記魚眼画像の原点を中心に、前記パノラマ分割数ｎに応じて回転させ、２次元人物回転座標を決定する座標回転処理部を有し、
前記人物間隔推定部は、前記２次元の人物座標と前記２次元人物回転座標に基づき前記人物の間隔を推定することを特徴とする付記２に記載のパノラマ画像作成システム。
[付記４]
前記座標回転処理部は、前記魚眼画像の原点を中心に前記２次元の人物座標を360/n°回転させる処理を、(n－1)回繰り返し行うことで、前記２次元人物回転座標を決定することを特徴とする付記３に記載のパノラマ画像作成システム。
[付記５]
前記２次元の人物座標を、前記魚眼画像の原点を中心とする円周方向の１次元人物座標に変換する１次元座標変換部を有し、
前記人物間隔推定部は、前記１次元人物座標に基づき前記人物の間隔を推定することを特徴とする付記２に記載のパノラマ画像作成システム。
[付記６]
前記１次元人物座標を前記魚眼画像の原点を中心に、前記パノラマ分割数ｎに応じて回転させ、１次元人物回転座標を決定する座標回転処理部を有し、
前記人物間隔推定部は、前記１次元人物座標と前記１次元人物回転座標に基づき前記人物の間隔を推定することを特徴とする付記５に記載のパノラマ画像作成システム。
[付記７]
前記座標回転処理部は、前記魚眼画像の原点を中心に前記１次元人物座標を360/n°回転させる処理を、(n－1)回繰り返し行うことで、前記１次元人物回転座標を決定することを特徴とする付記６に記載のパノラマ画像作成システム。
[付記８]
前記パノラマ端部位置決定部は、複数の前記人物の間隔のうち最大の前記人物の間隔から前記パノラマ端部位置を決定することを特徴とする付記１～７のいずれか１項に記載のパノラマ画像作成システム。
[付記９]
前記パノラマ端部位置決定部は、複数の前記人物の間隔のうち最大の前記人物の間隔の中間点を前記パノラマ端部位置に決定することを特徴とする付記８に記載のパノラマ画像作成システム。
[付記１０]
前記パノラマ端部位置決定部は、前記人物の間隔のうち前記パノラマ分割数ｎに応じて予め設定されたｎ個のパノラマ端部初期位置に最も近い前記人物の間隔から、前記パノラマ端部位置を決定することを特徴とする付記１～７のいずれか１項に記載のパノラマ画像作成システム。
[付記１１]
前記パノラマ端部位置決定部は、直前の前記パノラマ端部位置に最も近い前記人物の間隔の間から、次回の前記パノラマ端部位置を決定することを特徴とする付記１～７のいずれか１項に記載のパノラマ画像作成システム。
[付記１２]
前記人物座標取得部が前記魚眼画像から１人も人物座標を取得しない場合、
前記パノラマ端部位置決定部は、前記パノラマ分割数ｎに応じて予め設定されたｎ個のパノラマ端部初期位置を決定することを特徴とする付記１～１１のいずれか１項に記載のパノラマ画像作成システム。
[付記１３]
前記人物座標取得部が前記魚眼画像から１人のみの人物座標を取得した場合、
前記パノラマ端部位置決定部は、取得した人物座標と重複しない１つの前記パノラマ端部位置を決定することを特徴とする付記１～１２のいずれか１項に記載のパノラマ画像作成システム。
[付記１４]
前記パノラマ端部位置決定部は、前記パノラマ端部位置が存在している前記人物の間隔の大きさが変化したタイミングで前記パノラマ端部位置を更新することを特徴とする付記１～１３のいずれか１項に記載のパノラマ画像作成システム。
[付記１５]
前記パノラマ端部位置決定部は、最大の人物の間隔の場所が変わったタイミングで前記パノラマ端部位置を更新することを特徴とする付記１～１４のいずれか１項に記載のパノラマ画像作成システム。
[付記１６]
前記パノラマ端部位置決定部は、前記魚眼画像から検知される前記人物の数が増加又は減少したタイミングで前記パノラマ端部位置を更新することを特徴とする付記１～１５のいずれか１項に記載のパノラマ画像作成システム。
[付記１７]
前記パノラマ端部位置決定部は、現在の前記パノラマ端部位置と人物の座標が重なったタイミングで前記パノラマ端部位置を更新することを特徴とする付記１～１６のいずれか１項に記載のパノラマ画像作成システム。
[付記１８]
前記情報記録アプリケーションは、前記パノラマ分割数ｎの選択を受け付ける画面を表示するか、前記デバイスは、前記パノラマ分割数ｎの選択を受け付けるハードキー又はタッチパネルを有することを特徴とする付記１～１７のいずれか１項に記載のパノラマ画像作成システム。
【符号の説明】
【0240】
１０ 端末装置
５０ 情報処理システム
６０ ミーティングデバイス
１００ 記録情報作成システム
５０ 情報処理システム
６０ ミーティングデバイス
１００ 記録情報作成システム
【先行技術文献】
【特許文献】
【0241】
【特許文献1】特開２０１７－５９９０２
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図18】
【図19】
【図20】
【図21A】
【図21B】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】