特許 6235094 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6235094

(24)【登録日】2017年11月2日

(45)【発行日】2017年11月22日

(54)【発明の名称】表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム

(51)【国際特許分類】

   G09G 5/00 20060101AFI20171113BHJP

   G09G 5/14 20060101ALI20171113BHJP

   G09G 5/377 20060101ALI20171113BHJP

   G09G 5/36 20060101ALI20171113BHJP

   H04N 5/225 20060101ALI20171113BHJP

   H04N 5/232 20060101ALI20171113BHJP

   G06F 3/14 20060101ALI20171113BHJP

   G03B 37/00 20060101ALI20171113BHJP

【ＦＩ】

   G09G5/00 530H

   G09G5/00 550C

   G09G5/14 C

   G09G5/36 520L

   G09G5/36 520P

   H04N5/225 800

   H04N5/232 380

   G06F3/14 310B

   G03B37/00 A

【請求項の数】3

【全頁数】15

(21)【出願番号】特願2016-202672(P2016-202672)

(22)【出願日】2016年10月14日

【審査請求日】2017年3月24日

【早期審査対象出願】

(73)【特許権者】

【識別番号】509070463

【氏名又は名称】株式会社コロプラ

(74)【代理人】

【識別番号】110001416

【氏名又は名称】特許業務法人 信栄特許事務所

(72)【発明者】

【氏名】久保 典弘

【審査官】 武田 悟

(56)【参考文献】

【文献】 特開２０１１−２１１５５６（ＪＰ，Ａ）

【文献】 特開２０１６−１４６５４３（ＪＰ，Ａ）

【文献】 Ｉｎｔｅｒｆａｃｅ，ＣＱ出版株式会社，２０１５年 ８月 １日，第４１巻，第８号，p.126−134

【文献】 ３６０度ＶＲパノラマ制作パーフェクトガイド，株式会社秀和システム，２０１２年 １月 １日，第１版，p.142−145

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｇ ５／００ − ５／４２

Ｈ０４Ｎ ５／２２５， ５／２３２

Ｇ０６Ｆ ３／１４

Ｇ０３Ｂ ３７／００

(57)【特許請求の範囲】

【請求項1】

ａ）マルチカメラシステムを構成する複数のサブカメラによって撮像されると共に、各々が全天球画像の一部を構成する複数の撮影画像を取得するステップと、
ｂ）前記複数の撮影画像間の位置関係を特定するステップと、
ｃ）前記複数の撮影画像の各々を歪ませるステップと、
ｄ）前記位置関係と、前記複数の歪んだ撮影画像とに基づいて、前記複数の撮影画像の各々において、前記全天球画像の一部を構成する画像表示領域と、前記全天球画像の一部を構成しない非表示領域とを特定するステップと、
ｅ）前記複数の撮影画像の画像表示領域に基づいて、前記全天球画像のプレビュー画像を生成するステップと、
ｆ）隣接する画像表示領域間の境界及び前記複数の歪んだ撮影画像の各々の外縁が可視化された状態で前記プレビュー画像を表示部に表示させるステップと、を含む、表示制御方法。

【請求項2】

ｇ）ユーザからの入力操作に従って、前記全天球画像に表示される被写体が前記複数の撮影画像のうちの一つの画像表示領域にのみ表示されるように前記複数の撮影画像の画像表示領域を更新するステップと、
ｈ）前記複数の更新された画像表示領域に基づいて、前記プレビュー画像を更新するステップと、
をさらに含む、請求項１に記載の表示制御方法。

【請求項3】

請求項１又は２に記載の表示制御方法をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラムに関する。

【背景技術】

【0002】

特許文献１では、各々が被写体を部分的に示す複数の部分画像を合成することで１つの被写体画像を生成するスティッチング処理が開示されている。特に、特許文献１では、スティッチング処理によって生成された被写体画像における複数の画像領域の連結位置（境界線）を示す画像を当該被写体画像に合成する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−２０４７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、全天球画像（３６０度画像ともいう。）を生成するためには様々な方法が考えられるが、その中の一つの方法として、全天球画像を撮影するためのマルチカメラシステムの複数のサブカメラによって取得された複数の撮影画像をスティッチング処理することで全天球画像を生成する方法が知られている。複数の撮影画像をスティッチング処理する際には、隣接した撮影画像間の境界において画像の歪みが発生してしまう。特に、主要な被写体（換言すれば、映像コンテンツにおいて視聴者が注目する被写体）が隣接した撮影画像間の境界に位置する場合、当該被写体が歪んで表示されてしまい、全天球画像の品質の低下を招来する。

【0005】

本開示は、全天球画像の編集作業における負荷を軽減することが可能な表示制御方法及び当該表示制御方法をコンピュータに実現させるためのプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示が示す一態様によれば、表示制御方法は、
ａ）マルチカメラシステムを構成する複数のサブカメラによって撮像されると共に、各々が全天球画像の一部を構成する複数の撮影画像を取得するステップと、
ｂ）前記複数の撮影画像間の位置関係を特定するステップと、
ｃ）前記複数の撮影画像の各々を歪ませるステップと、
ｄ）前記位置関係と、前記複数の歪んだ撮影画像とに基づいて、前記複数の撮影画像の各々において、前記全天球画像の一部を構成する画像表示領域と、前記全天球画像の一部を構成しない非表示領域とを特定するステップと、
ｅ）前記複数の撮影画像の画像表示領域に基づいて、前記全天球画像のプレビュー画像を生成するステップと、
ｆ）隣接する画像表示領域間の境界が可視化された状態で前記プレビュー画像を表示部に表示させるステップと、
を含む。

【発明の効果】

【0007】

本開示によれば、全天球画像の編集作業における負荷を軽減することが可能な表示制御方法及び当該表示制御方法をコンピュータに実現させるためのプログラムを提供することができる。

【図面の簡単な説明】

【0008】

【図1】複数のサブカメラを備えたマルチカメラシステムを示す概要図である。

【図2】マルチカメラシステムと全天球画像編集装置を示すブロック図である。

【図3】全天球画像編集装置のハードウェア構成を示す図である。

【図4】本発明の実施形態（以下、単に本実施形態という。）に係る表示制御方法を説明するためのフローチャートである。

【図5】複数のカメラＩＤと複数の画像表示位置との間の対応関係を示すテーブルを示す図である。

【図6】複数の撮影画像間の位置関係を説明するための図である。

【図7】撮影画像の画像表示領域、非表示領域及び隣接する２つの画像表示領域間の境界のそれぞれを説明するための図である（本図では、隣接する２つの撮影画像が示されている）。

【図8】表示部に表示された全天球画像のプレビュー画像（各画像表示領域間の境界と各撮影画像の外縁は非可視化）の一例を示す図である。

【図9】各画像表示領域間の境界が可視化されたプレビュー画像の一例を示す図である。

【図10】各画像表示領域間の境界と各撮影画像の外縁が可視化されたプレビュー画像の一例を示す図である。

【図11】隣接する２つの画像表示領域間の境界の調整を説明するための図である。（ａ）は、編集者による境界に対する入力操作が実行される前の２つの画像表示領域を示す図である。（ｂ）は、編集者による境界に対する入力操作が実行された後の２つの画像表示領域を示す図である。

【発明を実施するための形態】

【0009】

［本開示が示す実施形態の説明］
本開示が示す実施形態の概要を説明する。
（１）ａ）マルチカメラシステムを構成する複数のサブカメラによって撮像されると共に、各々が全天球画像の一部を構成する複数の撮影画像を取得するステップと、
ｂ）前記複数の撮影画像間の位置関係を特定するステップと、
ｃ）前記複数の撮影画像の各々を歪ませるステップと、
ｄ）前記位置関係と、前記複数の歪んだ撮影画像とに基づいて、前記複数の撮影画像の各々において、前記全天球画像の一部を構成する画像表示領域と、前記全天球画像の一部を構成しない非表示領域とを特定するステップと、
ｅ）前記複数の撮影画像の画像表示領域に基づいて、前記全天球画像のプレビュー画像を生成するステップと、
ｆ）隣接する画像表示領域間の境界が可視化された状態で前記プレビュー画像を表示部に表示させるステップと、
を含む、表示制御方法。

【0010】

上記方法によれば、隣接する画像表示領域間の境界が可視化された状態で全天球画像のプレビュー画像が表示部に表示される。このように、全天球画像を編集するユーザは、全天球画像が生成される前に、全天球画像のプレビュー画像を見ることで、全天球画像において主要な被写体（換言すれば、映像コンテンツにおいて視聴者が注目する被写体）が歪んで表示されているかどうかを確認することができる。特に、ユーザは、主要な被写体が画像表示領域間の境界に位置しているかどうかをプレビュー画像によって確認することができる。ここで、主要な被写体が画像表示領域間の境界上に位置している場合、主要な被写体は全天球画像上において歪んで表示される可能性が高い。
例えば、ユーザは、主要な被写体が画像表示領域間の境界上に位置しないように、当該境界の位置を調整（つまり、画像表示領域を調整）することで、全天球画像において主要な被写体が歪んで表示される状況を防ぐことができる。
従って、全天球画像の編集作業における負荷を軽減することが可能な表示制御方法を提供することができる。

【0011】

（２）前記ステップ（ｆ）は、
隣接する画像表示領域間の境界と、前記複数の歪んだ撮影画像の各々の外縁が可視化された状態で前記プレビュー画像を前記表示部に表示させるステップを含む、項目（１）に記載の表示制御方法。

【0012】

上記方法によれば、隣接する画像表示領域間の境界と、前記複数の歪んだ撮影画像の各々の外縁が可視化された状態でプレビュー画像が表示部に表示される。このように、各撮影画像の外縁が可視化されているので、ユーザは、当該外縁を見ることで、隣接する画像表示領域間の境界の位置をどの程度まで動かすことができるのかを瞬時に把握することができる。

【0013】

（３）ｇ）ユーザからの入力操作に従って、前記複数の撮影画像の画像表示領域を更新するステップと、
ｈ）前記複数の更新された画像表示領域に基づいて、前記プレビュー画像を更新するステップと、
をさらに含む、項目（１）又は（２）に記載の表示制御方法。

【0014】

上記方法によれば、ユーザからの入力操作に従って、複数の撮影画像の画像表示領域が更新される。さらに、複数の更新された画像表示領域に基づいて、プレビュー画像が更新される。このように、主要な被写体が画像表示領域間の境界上に位置している場合、ユーザは、主要な被写体が当該境界上に位置しないように、画像表示領域を調整することができる。

【0015】

（４）ａ）マルチカメラシステムを構成する複数のサブカメラによって撮像されると共に、各々が全天球画像の一部を構成する複数の撮影画像を取得するステップと、
ｂ）前記複数の撮影画像間の位置関係を特定するステップと、
ｃ）前記複数の撮影画像の各々を歪ませるステップと、
ｄ）前記位置関係と、前記複数の歪んだ撮影画像とに基づいて、前記複数の撮影画像の各々において、前記全天球画像の一部を構成する画像表示領域と、前記全天球画像の一部を構成しない非表示領域とを特定するステップと、
ｅ）前記複数の撮影画像の画像表示領域に基づいて、前記全天球画像のプレビュー画像を生成するステップと、
ｆ）前記プレビュー画像に含まれる被写体を特定するステップと、
ｇ）隣接する画像表示領域間の境界が前記被写体上に位置している場合には、前記境界が前記被写体上に位置しないように前記境界の位置を更新するステップと、
ｈ）前記複数の撮影画像の画像表示領域に基づいて、前記全天球画像を生成するステップと、
を含む、表示制御方法。

【0016】

上記方法によれば、例えば被写体が人間である場合に、所定の顔認証技術等を適用することでプレビュー画像中の被写体（人間）が特定され、画像表示領域間の境界が当該特定された被写体上に位置しないように当該境界の位置が更新される。このように、全天球画像において被写体が歪んで表示される状況が自動的にコンピュータにより防止されるので、全天球画像の編集作業における負荷を軽減することが可能な表示制御方法を提供することができる。

【0017】

（５）項目（１）から（４）のうちいずれか一項に記載の表示制御方法をコンピュータに実行させるためのプログラム。

【0018】

上記によれば、全天球画像の編集作業における負荷を軽減することが可能なプログラムを提供することができる。

【0019】

［本開示が示す実施形態の詳細］
以下、本開示が示す実施形態について図面を参照しながら説明する。尚、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は繰り返さない。

【0020】

図１及び図２を参照してマルチカメラシステム１について以下に説明する。図１は、複数のサブカメラ２ａ〜２ｇを備えたマルチカメラシステム１を示す概要図（上面図）である。図２は、マルチカメラシステム１と全天球画像編集装置３（以下、単に編集装置３という。）を示すブロック図である。図１に示すように、マルチカメラシステム１は、複数のサブカメラ２ａ〜２ｇと、ホルダ４０とを備えている。各サブカメラ２ａ〜２ｇは、ホルダ４０によって所定の位置に固定されている。尚、図１ではサブカメラ２ｇが図示されていないが、サブカメラ２ｇは、サブカメラ２ｆの真下に配置されている。サブカメラ２ｆは、マルチカメラシステム１の上方の空間を撮像するように構成されている一方、サブカメラ２ｇは、マルチカメラシステム１の下方の空間を撮像するように構成されている。以降では説明の便宜上、サブカメラ２ａ〜２ｇを単にサブカメラ２と総称する場合がある。

【0021】

サブカメラ２ａ〜２ｇの視野（撮像領域）は、水平方向（紙面に平行な方向）及び垂直方向（紙面に垂直な方向）におけるマルチカメラシステム１の全周囲（３６０度）の領域をカバーしている。また、隣接したサブカメラ２の視野の一部が互いに重複している。図１に示すように、例えば、サブカメラ２ｂの視野の一部とサブカメラ２ａに隣接したサブカメラ２ｃの視野の一部が互いに重複している。このため、サブカメラ２ｂによって撮像された撮影画像中の一部の撮影領域とサブカメラ２ａによって撮影された撮影画像の一部の領域が互いに重複している。サブカメラ２ａ〜２ｇによって撮像された複数の撮影画像を歪ませて、当該歪んだ複数の撮影画像をスティッチング処理することで、全天球画像（３６０度画像）が生成される。このように、サブカメラ２ａ〜２ｇによって撮像された撮影画像の各々は、全天球画像の一部を構成しており、マルチカメラシステム１を用いることで全天球画像を生成することができる。尚、本実施形態において、撮影画像とは、静止画像と動画像の両方を含む。

【0022】

図２に示すように、マルチカメラシステム１は、有線又は無線により編集装置３に通信可能に接続されてもよい。特に、各サブカメラ２は、有線又は無線により編集装置３に通信可能に接続されてもよい。例えば、マルチカメラシステム１は、各サブカメラ２によって撮像された撮影画像（撮影画像データ）を編集装置３に送信してもよい。特に、各サブカメラ２は、無線又は有線により撮影画像を編集装置３に送信してもよい。また、各サブカメラ２が通信ネットワーク４（図３参照）を介して撮影画像を所定のサーバにアップロードした後に、編集装置３が所定のサーバに格納された撮影画像を通信ネットワーク４からダウンロードしてもよい。さらに、操作者は、各サブカメラ２に保存された撮影画像を記憶媒体（例えば、ＵＳＢメモリ等）に記録してもよい。この場合、当該記憶媒体が編集装置３に通信可能に接続されることで、当該記憶媒体に記録された複数の撮影画像が編集装置３により取得される。

【0023】

次に、図３を参照して編集装置３のハードウェア構成について説明する。図３は、編集装置３（コンピュータ）のハードウェア構成を示す図である。図３に示すように、編集装置３は、制御部３１と、記憶部３２と、Ｉ／Ｏ（入出力）インターフェース３３と、入力操作部３４と、表示部３５と、通信インターフェース３６と、バス３７とを備える。制御部３１と、記憶部３２と、Ｉ／Ｏインターフェース３３と、通信インターフェース３６は、バス３７により互いに通信可能に接続されている。編集装置３は、パーソナルコンピュータ、タブレット又はウェアラブルデバイスとして構成されてもよい。

【0024】

制御部３１は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。プロセッサは、例えばＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及び／又はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であって、ＲＯＭに組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されている。

【0025】

特に、プロセッサが本実施形態に係る表示制御方法をコンピュータに実行させるための表示制御プログラム（後述する）をＲＡＭ上に展開し、ＲＡＭとの協働で表示制御プログラムを実行することで、制御部３１は、編集装置３の各種動作を制御してもよい。制御部３１は、メモリや記憶部３２に格納された表示制御プログラムを実行することで、表示部３５に全天球画像のプレビュー画像１０，１０Ａ，１Ｂ（図８から１０参照）を表示してもよい。

【0026】

記憶部（ストレージ）３２は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢフラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。例えば、記憶部３２は、表示制御プログラムや各サブカメラ２によって撮像された複数の撮影画像を格納してもよい。さらに、記憶部３２には、各種データを管理するためのテーブル（例えば、図５に示すテーブル６０）を含むデータベースが構築されてもよい。

【0027】

Ｉ／Ｏインターフェース３３は、入力操作部３４と表示部３５をそれぞれ制御部３１に通信可能に接続するように構成されており、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ―Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子等により構成されている。サブカメラ２によって撮像された撮像画像（撮像画像データ）は、Ｉ／Ｏインターフェース３３を介して制御部３１に送信されてもよい。

【0028】

入力操作部３４は、編集装置３を操作する操作者Ｐの入力操作を受付けると共に、当該入力操作に対応する操作信号を生成するように構成されている。入力操作部３４は、例えば、表示部３５上に重ねて配置されたタッチパネル、マウス又はキーボード等である。入力操作部３４によって生成された操作信号は、バス３７を介して制御部３１に送信された後、制御部３１は、操作信号に応じて所定の処理を実行する。表示部３５は、液晶ディスプレイ、有機ＥＬディスプレイ等である。例えば、プレビュー画像１０，１０Ａ，１０Ｂが表示部３５に表示される。

【0029】

通信インターフェース３６は、編集装置３をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はインターネット等の通信ネットワーク４に接続させるように構成されている。通信インターフェース３６は、通信ネットワーク４を介してネットワーク上の外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク４を介して通信するための通信規格に適合するように構成されている。また、サブカメラ２によって撮像された撮像画像は、通信インターフェース３６を介して制御部３１に送信されてもよい。

【0030】

次に、図４を参照して本実施形態に係る表示制御方法について以下に説明する。図４は、本実施形態に係る表示制御方法を説明するためのフローチャートである。最初に、図４に示すように、制御部３１は、複数のサブカメラ２によって撮像された複数の撮影画像を取得する（ステップＳ１０）。各撮影画像は、全天球画像の一部を構成する。既に述べたように、制御部３１は、各サブカメラ２から撮影画像を受信してもよいし、通信ネットワーク４上の所定のサーバから複数の撮影画像をダウンロードしてもよい。さらに、制御部３１は、編集装置３に接続された記憶媒体（ＵＳＢメモリ等）から複数の撮影画像を取得してもよい。尚、以降の説明では、サブカメラ２ａ〜２ｇによって撮像された撮影画像をそれぞれ撮影画像Ｍ１〜Ｍ７という。ここで、サブカメラ２ａによって撮像された撮影画像は、撮影画像Ｍ１であると共に、サブカメラ２ｇによって撮像された撮影画像は、撮影画像Ｍ７である。また、説明の便宜上、撮影画像Ｍ１〜Ｍ７を単に撮影画像Ｍという場合がある。

【0031】

次に、ステップＳ１１において、制御部３１は、複数の撮影画像Ｍ間の位置関係を特定する。以下に、ステップＳ１１の処理の一例について図５及び図６を参照して説明する。図５は、複数のカメラＩＤと複数の画像表示位置との間の対応関係を示すテーブル６０を示す図である。図６は、複数の撮影画像Ｍ間の対応関係を説明するための図である。図５に示すように、テーブル６０は、複数のカメラＩＤ（Ｘ１〜Ｘ７）と複数の画像表示位置Ｐ１〜Ｐ７との間の対応関係を示す。複数のカメラＩＤの各々は、複数のサブカメラ２ａ〜２ｇのうちの対応する一つを識別するためのカメラ識別情報として機能する。複数の画像表示位置Ｐ１〜Ｐ７の各々は、編集装置３の表示部３５の表示画面上で撮影画像Ｍが配置される位置を示す（図６参照）。ここで、サブカメラ２ａ〜２ｇのカメラＩＤは、それぞれＸ１〜Ｘ７に相当する。例えば、テーブル６０から、カメラＩＤのＸ４は画像表示位置Ｐ４に対応するので、サブカメラ２ｄにより撮像された撮影画像Ｍ４は、図６に示す画像表示位置Ｐ４に配置される。また、カメラＩＤのＸ６は画像表示位置Ｐ６に対応するので、サブカメラｆにより撮像された撮影画像Ｍ６は、図６に示す画像表示位置Ｐ６に配置される。このように、制御部３１は、テーブル６０を参照することで、撮影画像Ｍ１〜Ｍ７の各々を複数の画像表示位置Ｐ１〜Ｐ７のうちの対応する一つに関連付ける。テーブル６０は、記憶部３２に保存されていてもよい。特に、テーブル６０は、撮影者又はその補助者（撮影者等）の入力操作に従って生成された上で、記憶部３２に保存されてもよい。

【0032】

次に、制御部３１は、撮影画像Ｍ１〜Ｍ７の各々を歪ませる（ステップＳ１２）。全天球画像を生成するために、制御部３１は、撮影画像Ｍ４を図６に示すように歪ませる。さらに、制御部３１は、撮影画像Ｍ１，Ｍ２，Ｍ３，Ｍ５を図６に示す撮影画像Ｍ４と同様の態様で歪ませる。また、制御部３１は、撮影画像Ｍ６を図６に示すように歪ませる。さらに、制御部３１は、撮影画像Ｍ７を図６に示す撮影画像Ｍ６と同様の態様で歪ませる。図６に示す歪んだ撮影画像Ｍ４，Ｍ６の外形は一例である点に留意されたい。

【0033】

次に、ステップＳ１３において、制御部３１は、歪んだ撮影画像Ｍ１〜Ｍ７の各々において、全天球画像の一部を構成する画像表示領域と、全天球画像の一部を構成しない非表示領域とを特定する。特に、制御部３１は、テーブル６０と、複数の歪んだ撮影画像Ｍ１〜Ｍ７とに基づいて、画像表示領域と非表示領域とを特定する。特に、制御部３１は、テーブル６０に基づいて、歪んだ撮影画像Ｍ１〜Ｍ７の各々を複数の画像表示位置Ｐ１〜Ｐ７のうちの関連する一つに配置する。ここで、図１に示すように、隣接したサブカメラ２の視野（撮像領域）の一部が互いに重複するため、隣接した２つの撮影画像のうち一方の撮影画像の撮影領域の一部と、他方の撮影画像の撮影領域の一部が互いに重複する。このため、制御部３１は、撮影画像Ｍ１〜Ｍ７の各々の特徴点を抽出した上で、当該抽出した特徴点に基づいて、隣接した撮影画像Ｍにおいて撮像領域が互いに重複する領域である重複領域を特定する。その後、制御部３１は、特定された重複領域に基づいて、歪んだ撮影画像Ｍ１〜Ｍ７の各々の画像表示領域と非表示領域を特定する。

【0034】

例えば、図７に示すように、制御部３１は、撮影画像Ｍ３，Ｍ５の特徴点を抽出した上で、当該抽出した特徴点に基づいて、互いに隣接した撮影画像Ｍ３，Ｍ５において撮像領域が互いに重複する重複領域Ｋを特定する。図中に示すように、符号Ｒ５は、撮影画像Ｍ５の画像表示領域を示す。符号Ｎ５は、撮影画像Ｍ５の非表示領域を示す。符号Ｄ５は、撮影画像Ｍ５の外縁を示す。また、符号Ｒ３は、撮影画像Ｍ３の画像表示領域を示す。符号Ｄ３は、撮影画像Ｍ３の外縁を示す。符号Ｎ３は、撮影画像Ｍ３の非表示領域を示す。符号Ｂ１は、撮影画像Ｍ５の画像表示領域Ｒ５と撮影画像Ｍ３の画像表示領域Ｒ３との間の境界を示す。また、図９に示すように、符号Ｂ２は、撮影画像Ｍ５の画像表示領域Ｒ５と撮影画像Ｍ６の画像表示領域Ｒ６との間の境界を示す。

【0035】

次に、制御部３１は、複数の撮影画像Ｍ１〜Ｍ７の画像表示領域Ｒ１〜Ｒ７（図９参照）に基づいて、全天球画像のプレビュー画像１０（図８参照）を生成する（ステップＳ１４）。その後、制御部３１は、生成されたプレビュー画像１０を表示部３５に表示させる（ステップＳ１５）。ここで、全天球画像のプレビュー画像とは、全天球画像を編集する編集者が視認可能なように２次元平面として表示される全天球画像である。つまり、編集者は、ヘッドマウントデバイス（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｅｖｉｃｅ：ＨＭＤ）を装着せずに、プレビュー画像を見ることで全天球画像を編集することが可能となる。また、以降の説明では、画像表示領域Ｒ１〜Ｒ７を単に画像表示領域Ｒという場合がある。さらに、隣接する画像表示領域Ｒ間の境界を単に境界Ｂという場合がある。

【0036】

ステップＳ１５において、制御部３１は、隣接する画像表示領域Ｒ間の境界Ｂが可視化された状態で全天球画像のプレビュー画像を表示部３５に表示してもよい。この点において、図９に示すように、制御部３１は、隣接する画像表示領域Ｒ間の境界Ｂが可視化されたプレビュー画像１０Ａを表示部３５に表示させてもよい。具体的には、編集者が入力操作部３４を用いて所定の操作を実行したときに、制御部３１は、当該所定の操作に対応する操作信号に基づいて、プレビュー画像１０（図８参照）をプレビュー画像１０Ａに変更してもよい。ここで、所定の操作とは、例えば、表示部３５上に表示されたプレビュー画像の表示を切り替えるための切替表示ボタン（図示せず）の操作等である。

【0037】

また、ステップＳ１５において、制御部３１は、隣接する画像表示領域Ｒ間の境界Ｂと複数の歪んだ撮影画像Ｍ１〜Ｍ７の外縁Ｄ１〜Ｄ７が可視化された状態で全天球画像のプレビュー画像を表示部３５に表示させてもよい。この点において、制御部３１は、図１０に示すように、隣接する画像表示領域Ｒ間の境界Ｂと外縁Ｄ１〜Ｄ７が可視化されたプレビュー画像１０Ｂを表示部３５に表示させてもよい。具体的には、編集者が入力操作部３４を用いて所定の操作（切替表示ボタンの操作等）を実行したときに、制御部３１は、当該所定の操作に対応する操作信号に基づいて、プレビュー画像１０又はプレビュー画像１０Ａをプレビュー画像１０Ｂに変更してもよい。

【0038】

次に、制御部３１は、複数の撮影画像Ｍ１〜Ｍ７の画像表示領域Ｒ１〜Ｒ７に基づいて全天球画像を生成する（ステップＳ１６）。当該生成された全天球画像（３６０度画像）とＨＭＤの位置と傾きに基づいて、全天球画像の一部の画像である視野画像がＨＭＤの表示部（図示せず）に表示される。

【0039】

次に、制御部３１は、編集者（ユーザ）が画像表示領域Ｒ間の境界Ｂを変更するための所定の操作を実行したかどうかを判定する（ステップＳ１７）。例えば、編集者は、入力操作部３４を用いて所定の境界Ｂを指定した上で、当該所定の境界Ｂに対してドラッグ・アンド・ドロップ操作を実行することで、当該所定の境界Ｂ（境界Ｂの位置や形状）を変更することができる。

【0040】

隣接する２つの画像表示領域Ｒ間の境界Ｂの調整について図１１を参照して説明する。図１１（ａ）の上段は、編集者による境界Ｂ１に対する入力操作が実行される前の画像表示領域Ｒ５と画像表示領域Ｒ３を示す図である。図１１（ａ）の下段は、編集者による境界Ｂ１に対する入力操作が実行される前の画像表示領域Ｒ５を示す図である。図１１（ｂ）の上段は、編集者による境界Ｂ１に対する入力操作が実行された後の画像表示領域Ｒ５と画像表示領域Ｒ３を示す図である。図１１（ｂ）の下段は、編集者による境界Ｂ１に対する入力操作が実行された後の画像表示領域Ｒ５を示す図である。

【0041】

図１１（ａ）に示すように、編集者による境界Ｂ１に対する入力操作が実行される前では、主要な被写体Ｓ（換言すれば、映像コンテンツにおいて視聴者が注目する被写体Ｓ）が境界Ｂ１上に表示されてしまう。この場合、全天球画像において被写体Ｓが歪んで表示されてしまい、全天球画像の品質の低下を招来する蓋然性が高い。

【0042】

この状態において、編集者が入力操作部３４を用いて境界Ｂ１を指定した上で、境界Ｂ１に対してドラッグ・アンド・ドロップ操作を実行すると、制御部３１は、編集者が境界Ｂ１を変更するための所定の操作を実行したと判定する（ステップＳ１７でＹＥＳ）。その後、制御部３１は、当該操作に対応する操作信号に基づいて、図１１（ｂ）に示すように、撮影画像Ｍ５の画像表示領域Ｒ５と非表示領域Ｎ５を変更すると共に、撮影画像Ｍ３の画像表示領域Ｒ３と非表示領域Ｎ３を変更する（ステップＳ１８）。このように、制御部３１は、画像表示領域Ｒ５と画像表示領域Ｒ３との間の境界Ｂ１の位置と形状を変更する。その後、制御部３１は、更新された画像表示領域Ｒ３，Ｒ５に基づいて、全天球画像のプレビュー画像を更新する（ステップＳ１９）。この結果、境界Ｂ１が被写体Ｓ上に位置しないため、全天球画像において被写体Ｓが歪んで表示される状況を防ぐことが可能となる。さらに、編集者は、更新されたプレビュー画像を見ることで、被写体Ｓが境界Ｂ１上に表示されていないかどうかを確認することができる。

【0043】

このように、制御部３１は、編集者が所定の境界Ｂを変更するための所定の操作を実行したと判定すると（ステップＳ１７でＹＥＳ）、所定の操作に従って、所定の境界Ｂを規定する隣接する２つの画像表示領域Ｒ（及び隣接する２つの非表示領域Ｎ）を更新する（ステップＳ１８）。その後、制御部３１は、更新された画像表示領域Ｒに基づいて、全天球画像のプレビュー画像を更新する（ステップＳ１９）。その後、制御部３１は、更新された画像表示領域Ｒに基づいて、全天球画像を更新する（ステップＳ２０）。その後、編集者が全天球画像の編集作業を終了する場合（ステップＳ２１でＹＥＳ）、一連の処理が終了する。一方、編集者が全天球画像の編集作業を終了しない場合（ステップＳ２１でＮＯ）、処理はステップＳ１７に戻る。

【0044】

このように、本実施形態によれば、隣接した画像表示領域Ｒ間の境界Ｂが可視化された状態で全天球画像のプレビュー画像１０Ａ（又は１０Ｂ）が表示される。このように、全天球画像を編集する編集者は、全天球画像が生成される前に、全天球画像のプレビュー画像を見ることで、全天球画像において主要な被写体Ｓが歪んで表示されているかどうかを確認することができる。特に、編集者は、主要な被写体Ｓが画像表示領域Ｒ間の境界Ｂに位置しているかどうかをプレビュー画像によって確認することができる。ここで、主要な被写体Ｓが画像表示領域Ｒ間の境界Ｂ上に位置している場合、主要な被写体Ｓは全天球画像上において歪んで表示される蓋然性が高い。

【0045】

例えば、編集者は、主要な被写体Ｓが画像表示領域Ｒ間の境界Ｂ上に位置しないように、境界Ｂの位置を調整（つまり、画像表示領域Ｒを調整）することで、全天球画像において主要な被写体Ｓが歪んで表示される状況を防ぐことができる。従って、全天球画像の編者作業における負荷を軽減することが可能な表示制御方法を提供することができる。

【0046】

また、本実施形態によれば、隣接する画像表示領域Ｒ間の境界Ｂと、歪んだ撮影画像Ｍ１〜Ｍ７の外縁Ｄ１〜Ｄ７が可視化されたプレビュー画像１０Ｂが表示部３５に表示される。このように、外縁Ｄ１〜Ｄ７が可視化されるので、編集者は、外縁Ｄ１〜Ｄ７を見ることで、隣接する画像表示領域Ｒ間の境界Ｂの位置をどの程度まで移動させることができるのかを瞬時に把握することができる。

【0047】

また、本実施形態によれば、編集者からの入力操作に従って、複数の撮影領域Ｍの画像表示領域Ｒが更新される。さらに、複数の更新された画像表示領域Ｒに基づいて、プレビュー画像が更新される。このように、主要な被写体Ｓが画像表示領域Ｒ間の境界Ｂ上に位置している場合、編集者は、主要な被写体Ｓが境界Ｂ上に位置しないように、画像表示領域Ｒを調整することができる。

【0048】

尚、本実施形態では、編集者からの入力操作に従って、制御部３１は、境界Ｂが被写体Ｓ上に位置しないように境界Ｂの位置を更新しているが、本実施形態はこれには限定されない。例えば、被写体Ｓが人間である場合、制御部３１は、所定の顔認証技術等を適用することでプレビュー画像中の被写体Ｓ（人間）を特定してもよい。この後、制御部３１は、隣接する画像表示領域Ｒ間の境界Ｂが特定された被写体Ｓ上に位置しているかどうかを自動的に判定する。ここで、制御部３１は、境界Ｂが被写体Ｓ上に位置していると判定した場合、境界Ｂが被写体Ｓ上に位置しないように境界Ｂの位置を更新してもよい。その後、制御部３１は、複数の撮影画像Ｍ１〜Ｍ７の画像表示領域Ｒ１〜Ｒ７に基づいて、全天球画像を生成する。このように、全天球画像において被写体Ｓが歪んで表示される状況が自動的にコンピュータ（制御部３１）により防止されるので、全天球画像の編集作業における負荷を軽減することが可能な表示制御方法を提供することができる。

【0049】

制御部３１によって実行される各種処理をソフトウェアによって実現するために、本実施形態に係る表示制御方法をコンピュータ（プロセッサ）に実行させるための表示制御プログラムが記憶部３２又はＲＯＭに予め組み込まれていてもよい。または、表示制御プログラムは、磁気ディスク（ＨＤＤ、フロッピーディスク）、光ディスク（ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ（ＳＤカード、ＵＳＢメモリ、ＳＳＤ等）等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体が編集装置３に接続されることで、当該記憶媒体に格納された表示制御プログラムが、記憶部３２に組み込まれる。そして、記憶部３２に組み込まれた表示制御プログラムがＲＡＭ上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部３１は本実施形態に係る表示制御方法を実行する。

【0050】

また、表示制御プログラムは、通信ネットワーク４上のコンピュータから通信インターフェース３６を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該プログラムが記憶部３２に組み込まれる。

【0051】

以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。

【0052】

本実施形態では、マルチカメラシステム１は、複数のサブカメラ２ａ〜２ｇとホルダ４０によって構成されているが、マルチカメラシステム１は、複数のサブカメラ２ａ〜２ｇと、ホルダ４０と、複数のサブカメラ２ａ〜２ｇを制御するためのサブカメラ制御部を備えてもよい。この場合、複数のサブカメラ２によって撮像された複数の撮影画像Ｍは、サブカメラ制御部を介して編集装置３に送信されてもよい。また、本実施形態において、サブカメラ２の台数は７つであるが、サブカメラ２の台数は特に限定されない。

【符号の説明】

【0053】

１：マルチカメラシステム
２，２ａ〜２ｇ：サブカメラ
３：編集装置（全天球画像編集装置）
４：通信ネットワーク
１０，１０Ａ，１０Ｂ：プレビュー画像
３１：制御部
３２：記憶部（ストレージ）
３３：Ｉ／Ｏインターフェース
３４：入力操作部
３５：表示部
３６：通信インターフェース
３７：バス
４０：ホルダ
６０：テーブル

【要約】      （修正有）

【課題】全天球画像の編集作業における負荷を軽減することが可能な表示制御方法及び当該表示制御方法をコンピュータに実現させるためのプログラムを提供する。
【解決手段】表示制御方法は、マルチカメラシステムを構成する複数のサブカメラによって撮像されると共に、各々が全天球画像の一部を構成する複数の撮影画像を取得するステップと、複数の撮影画像間の位置関係を特定するステップと、複数の撮影画像の各々を歪ませるステップと、前記位置関係と、複数の歪んだ撮影画像とに基づいて、複数の撮影画像の各々において、全天球画像の一部を構成する画像表示領域と、全天球画像の一部を構成しない非表示領域とを特定するステップと、複数の撮影画像の画像表示領域に基づいて、全天球画像のプレビュー画像を生成するステップと、隣接する画像表示領域間の境界が可視化された状態でプレビュー画像を表示部に表示させるステップと、を含む。
【選択図】図４

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】