特開 2024-26625 撮影支援装置、撮影支援方法、及び撮影支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024026625

(43)【公開日】2024-02-28

(54)【発明の名称】撮影支援装置、撮影支援方法、及び撮影支援プログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240220BHJP

   H04N 23/63 20230101ALI20240220BHJP

   H04N 7/18 20060101ALI20240220BHJP

【ＦＩ】

H04N23/60 100

H04N23/60 500

H04N23/63 300

H04N7/18 E

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2024000277

(22)【出願日】2024-01-04

(62)【分割の表示】P 2021024603の分割

【原出願日】2019-04-18

(31)【優先権主張番号】P 2018111460

(32)【優先日】2018-06-11

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】田中 康一

(72)【発明者】

【氏名】内田 亮宏

(72)【発明者】

【氏名】入江 公祐

(72)【発明者】

【氏名】藤原 慎也

(72)【発明者】

【氏名】藤木 伸一郎

(57)【要約】

【課題】複数の撮像画像を組み合わせて１つの撮像画像を得る場合において、所望の撮像画像を得られるようにすることができる、撮影支援装置、撮影支援方法、及び撮影支援プログラムを提供する。
【解決手段】複数の撮像装置により撮影対象が撮像された撮像画像を取得する取得部と、前記取得部が取得した撮像画像に含まれる前記撮影対象の画像に基づいて、前記複数の撮像装置の相対的な位置関係と、前記撮影対象の向きと、を表す俯瞰図を生成する生成部と、前記生成部が生成した前記俯瞰図を表示部に表示させる制御を行う表示制御部と、を備えた撮影支援装置。
【選択図】図３

【特許請求の範囲】

【請求項1】

複数の撮像装置により撮影対象が撮像された撮像画像を取得する取得部と、
前記取得部が取得した撮像画像に含まれる前記撮影対象の画像に基づいて、前記複数の撮像装置の相対的な位置関係と、前記撮影対象の向きと、を表す俯瞰図を生成する生成部と、
前記生成部が生成した前記俯瞰図を表示部に表示させる制御を行う表示制御部と、
を備えた撮影支援装置。

【請求項2】

前記取得部は、前記複数の撮像装置の各々により撮像された撮像画像を取得し、
前記表示制御部は、前記生成部が生成した前記俯瞰図と、前記取得部が取得した前記複数の撮像装置の各々により撮像された撮像画像のうちの少なくとも一つの撮像画像とを前記表示部に表示させる制御を行う、
請求項１に記載の撮影支援装置。

【請求項3】

前記表示部に表示させる撮像画像を、前記複数の撮像装置の各々により撮像された撮像画像のうちの、いずれの撮像画像とするかの指定を受け付ける受付部をさらに備え、
前記表示制御部は、前記受付部が指定を受け付けた撮像画像を、前記表示部に表示させる制御を行う、
請求項１または請求項２に記載の撮影支援装置。

【請求項4】

前記表示制御部が前記表示部に表示させた前記俯瞰図に対して、前記複数の撮像装置の各々における位置及び向きの少なくとも一方について、変更後の状態が入力される指定部をさらに備え、
前記生成部は、前記変更後の状態において前記複数の撮像装置の各々によって撮像されると推定される推定撮像画像をさらに生成し、
前記表示制御部は、前記生成部が生成した前記推定撮像画像を前記表示部に表示させる制御を行う、
請求項１から請求項３のいずれか１項に記載の撮影支援装置。

【請求項5】

前記表示制御部が前記表示部に、前記複数の撮像装置の各々及び前記撮影対象の、前記撮影対象を撮影するために推奨される推奨用の相対的な撮像装置の位置である推奨用撮像装置位置をさらに表示し、前記俯瞰図に示される前記複数の撮像装置及び前記推奨用撮像装置位置の各々における位置及び向きの少なくとも一方について、変更後の状態が指定される指定部をさらに備え、
前記生成部は、前記変更後の状態において前記複数の撮像装置の各々によって撮像されると推定される推定撮像画像をさらに生成し、
前記表示制御部は、前記生成部が生成した前記推定撮像画像を前記表示部に表示させる制御を行う、
請求項１から請求項４のいずれか１項に記載の撮影支援装置。

【請求項6】

前記撮影対象の撮影が行われた相対的な位置関係を表す情報を記憶する記憶部をさらに備える、
請求項１から請求項５のいずれか１項に記載の撮影支援装置。

【請求項7】

前記撮像画像は動画像である、
請求項１から請求項６のいずれか１項に記載の撮影支援装置。

【請求項8】

複数の撮像装置により撮影対象が撮像された撮像画像を取得し、
取得した撮像画像に含まれる前記撮影対象の画像に基づいて、前記複数の撮像装置の相対的な位置関係と、前記撮影対象の向きと、を表す俯瞰図を生成し、
生成した前記俯瞰図を表示部に表示させる制御を行う、
処理をコンピュータが実行する撮影支援方法。

【請求項9】

複数の撮像装置により撮影対象が撮像された撮像画像を取得し、
取得した撮像画像に含まれる前記撮影対象の画像に基づいて、前記複数の撮像装置の相対的な位置関係と、前記撮影対象の向きと、を表す俯瞰図を生成し、
生成した前記俯瞰図を表示部に表示させる制御を行う、
処理をコンピュータに実行させるための撮影支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、撮影支援装置、撮影支援方法、及び撮影支援プログラムに関する。

【背景技術】

【0002】

従来、ユーザが撮像装置を用いて撮影対象の撮影を行う場合、ユーザに対して撮影を支援するための情報を提示する技術が知られている。例えば、特許文献１には、データベースに記憶されている作例を提示し、作例のように撮像する際の設定条件を示す設定情報を用いて撮像を行う技術が記載されている。

【0003】

また、特許文献２には、複数の撮像装置を用いて撮影対象の撮影を行う場合、他の撮像装置において得られた、撮影対象の大きさ、位置及び移動速度を示す情報、及びズーム倍率を示す情報等のメタデータに基づいて決定した構図により撮像装置が撮像を行う技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】再公表特許２０１３／１１８５３５号公報

【特許文献2】特開２０１１－２１１５９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、ユーザが撮影対象を撮影する場合に、特定の撮影対象に対して、複数の撮像装置を用いて、異なる方向または異なる位置等から撮影を行い、複数の撮像装置の各々により撮像された撮像画像を組み合わせて、１つの撮像画像を生成することが行われている。

【0006】

この場合、各撮像画像を組み合わせて得られる１つの撮像画像について、ユーザの所望の画像とするためには、複数の撮像装置の各々が撮像した撮像画像の関係、例えば、各撮像画像に含まれる撮影対象の向き等の関係をユーザの所望の状態とすることが望まれる。そのため、複数の撮像装置の各々、及び撮影対象の相対的な位置関係が重要となる。

【0007】

しかしながら、複数の撮像装置を用いて撮影を行うため、ユーザは、例えば、適切な撮影方向または撮影位置等の判断がし難い場合があり、その結果、各撮像装置により得られた撮像画像を組み合わせた場合に、ユーザの所望の撮像画像が得られない場合があった。

【0008】

特許文献１及び特許文献２に記載の技術では、撮影対象を撮影するための作例または構図等は把握できるものの、複数の撮像装置の各々、及び撮影対象の相対的な位置関係までは把握できない。

【0009】

本開示は、上記事情を考慮して成されたものであり、複数の撮像画像を組み合わせて１つの撮像画像を得る場合において、所望の撮像画像を得られるようにすることができる、撮影支援装置、撮影支援方法、及び撮影支援プログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するために、本開示の第１の態様の撮影支援装置は、複数の撮像装置により撮影対象が撮像された撮像画像を取得する取得部と、取得部が取得した撮像画像に含まれる撮影対象の画像に基づいて、複数の撮像装置の相対的な位置関係と、撮影対象の向きと、を表す俯瞰図を生成する生成部と、生成部が生成した俯瞰図を表示部に表示させる制御を行う表示制御部と、を備える。

【0011】

第２の態様の撮影支援装置は、第１の態様の撮影支援装置において、取得部は、複数の撮像装置の各々により撮像された撮像画像を取得し、表示制御部は、生成部が生成した俯瞰図と、取得部が取得した複数の撮像装置の各々により撮像された撮像画像のうちの少なくとも一つの撮像画像とを表示部に表示させる制御を行う。

【0012】

第３の態様の撮影支援装置は、第１の態様または第２の態様の撮影支援装置において、表示部に表示させる撮像画像を、複数の撮像装置の各々により撮像された撮像画像のうちの、いずれの撮像画像とするかの指定を受け付ける受付部をさらに備え、表示制御部は、受付部が指定を受け付けた撮像画像を、表示部に表示させる制御を行う。

【0013】

第４の態様の撮影支援装置は、第１の態様から第３の態様のいずれか１態様の撮影支援装置において、表示制御部が表示部に表示させた俯瞰図に対して、複数の撮像装置の各々における位置及び向きの少なくとも一方について、変更後の状態が入力される指定部をさらに備え、生成部は、変更後の状態において複数の撮像装置の各々によって撮像されると推定される推定撮像画像をさらに生成し、表示制御部は、生成部が生成した推定撮像画像を表示部に表示させる制御を行う。

【0014】

第５の態様の撮影支援装置は、第１の態様から第４の態様のいずれか１態様の撮影支援装置において、表示制御部が表示部に、複数の撮像装置の各々及び撮影対象の、撮影対象を撮影するために推奨される推奨用の相対的な撮像装置の位置である推奨用撮像装置位置をさらに表示し、俯瞰図に示される複数の撮像装置及び推奨用撮像装置位置の各々における位置及び向きの少なくとも一方について、変更後の状態が指定される指定部をさらに備え、生成部は、変更後の状態において複数の撮像装置の各々によって撮像されると推定される推定撮像画像をさらに生成し、表示制御部は、生成部が生成した推定撮像画像を表示部に表示させる制御を行う。

【0015】

第６の態様の撮影支援装置は、第１の態様から第５の態様のいずれか１態様の撮影支援装置において、撮影対象の撮影が行われた相対的な位置関係を表す情報を記憶する記憶部をさらに備える。

【0016】

第７の態様の撮影支援装置は、第１の態様から第６の態様のいずれか１態様の撮影支援装置において、撮像画像は動画像である。

【0017】

第８の態様の撮影支援方法は、複数の撮像装置により撮影対象が撮像された撮像画像を取得し、取得した撮像画像に含まれる撮影対象の画像に基づいて、複数の撮像装置の相対的な位置関係と、撮影対象の向きと、を表す俯瞰図を生成し、生成した俯瞰図を表示部に表示させる制御を行う、処理をコンピュータが実行する撮影支援方法。

【0018】

第９の態様の撮影支援プログラムは、複数の撮像装置により撮影対象が撮像された撮像画像を取得し、取得した撮像画像に含まれる撮影対象の画像に基づいて、複数の撮像装置の相対的な位置関係と、撮影対象の向きと、を表す俯瞰図を生成し、生成した俯瞰図を表示部に表示させる制御を行う、処理をコンピュータに実行させるためのものである。

【0019】

また、上記目的を達成するために、本開示の撮影支援装置は、プロセッサを有する撮影支援装置であって、プロセッサが、複数の撮像装置により撮影対象が撮像された撮像画像を取得し、取得した撮像画像に含まれる撮影対象の画像に基づいて、複数の撮像装置の相対的な位置関係と、撮影対象の向きと、を表す俯瞰図を生成し、生成した俯瞰図を表示部に表示させる制御を行う、撮影支援装置。

【発明の効果】

【0020】

本開示によれば、複数の撮像画像を組み合わせて１つの撮像画像を得る場合において、所望の撮像画像を得られる。

【図面の簡単な説明】

【0021】

【図1】実施形態の撮像システムの構成の一例を示す平面図である。

【図2】実施形態の撮影支援装置のハードウェア構成の一例を示すブロック図である。

【図3】第１及び第２実施形態の撮影支援装置の機能的な構成の一例を示すブロック図である。

【図4】第１実施形態の撮影支援処理の流れの一例を示すフローチャートである。

【図5A】実施形態の撮影支援装置により生成される推奨用俯瞰図の一例を説明するための説明図である。

【図5B】実施形態の撮影支援装置により生成される実位置俯瞰図の一例を説明するための説明図である。

【図6】実施形態の撮影支援装置の表示部に表示される推奨用俯瞰図、実位置俯瞰図、メインカメラ画像、及びサブカメラ画像の表示の一例を説明するための説明図である。

【図7A】実施形態の撮影支援装置により生成される推奨用俯瞰図の他の例を説明するための説明図である。

【図7B】実施形態の撮影支援装置により生成される推奨用俯瞰図の他の例を説明するための説明図である。

【図8】第１実施形態の撮影支援処理の流れの他の例を示すフローチャートである。

【図9】実施形態の撮影支援装置の表示部に表示される推奨用俯瞰図、実位置俯瞰図、メインカメラ画像、及びサブカメラ画像の表示の他の例を説明するための説明図である。

【図10】第２実施形態の撮影支援処理の流れの一例を示すフローチャートである。

【図11】第３実施形態の撮影支援装置の機能的な構成の一例を示すブロック図である。

【図12】第３実施形態の撮影支援処理の流れの一例を示すフローチャートである。

【図13】第３実施形態の撮影支援装置の表示部に表示される推奨用俯瞰図、実位置俯瞰図、メインカメラ画像、及び推定撮像画像の表示の一例を説明するための説明図である。

【発明を実施するための形態】

【0022】

以下、図面を参照して本開示の技術を実施するための形態例を詳細に説明する。なお、以下では、ユーザが撮影対象を、撮像装置により撮像して動画像等の撮像画像を得ることを、撮影という。そのため、ユーザが撮像装置を用いて撮影を行う場合の「撮影」と、撮像装置による「撮像」とは、置き換えが可能な場合がある。

【0023】

［第１実施形態］
まず、図１を参照して、本実施形態の撮像システム１０の構成を説明する。図１に示すように、本実施形態の撮像システム１０は、メインカメラ１２及びサブカメラ１４の２台の撮像装置と、撮影支援装置１６と、を備える。本実施形態のメインカメラ１２及びサブカメラ１４が、本開示の複数の撮像装置の一例である。

【0024】

本実施形態では、一例として、ユーザが、主に使用するメインカメラ１２と、補助として使用するサブカメラ１４とにより、人物である撮影対象Ｓを撮影し、メインカメラ１２及びサブカメラ１４の各々により得られた動画像を組み合わせて１つの動画像、いわゆる映像コンテンツを生成する形態について説明する。なお、撮影対象Ｓの撮影において、実際にメインカメラ１２及びサブカメラ１４の各々を操作する人物は一人であってもよいし、複数人であってもよいが、本実施形態では、総称して単に「ユーザ」という。また、以下では、メインカメラ１２により撮像された動画像を「メインカメラ画像」といい、サブカメラ１４により撮影された動画像を「サブカメラ画像」という。

【0025】

なお、本実施形態では、一例として、ユーザが、時系列順にメインカメラ画像とサブカメラ画像とをつなげることにより、メインカメラ画像とサブカメラ画像とを組み合わせて１つの動画像を生成する形態について説明する。具体的には、例えば、撮影対象Ｓの撮影を開始から３分後まではメインカメラ画像、３分後から４分後まではサブカメラ画像、及び４分後から７分後まではメインカメラ画像等と、メインカメラ画像とサブカメラ画像とを時系列順に組み合わせる場合について説明する。なお、メインカメラ画像とサブカメラ画像との組み合わせ方は本実施形態に限定されない。例えば、１つの画面を２つの領域に分割し、分割した一方の領域にメインカメラ画像を、他方の領域にサブカメラ画像を配置することによりメインカメラ画像とサブカメラ画像とを組み合わせてもよい。また、メインカメラ画像及びサブカメラ画像の一方の画像中に、他方の画像を組み合わせ、同時に両方の画像が表示される形態として組み合わせてもよい。

【0026】

メインカメラ１２及びサブカメラ１４の各々は、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）ケーブルによって撮影支援装置１６に接続される。なお、メインカメラ１２及びサブカメラ１４と、撮影支援装置１６との接続方法は本実施形態に限定されず、その他の有線接続を行う形態であってもよいし、無線接続を行う形態であってもよい。また、メインカメラ１２及びサブカメラ１４の各々が異なる方法により、撮影支援装置１６と接続を行う形態であってもよい。メインカメラ１２及びサブカメラ１４の各々により撮像された動画像を表す動画像データは、撮影支援装置１６に出力される。

【0027】

撮影支援装置１６は、ユーザが所望とする映像コンテンツを得るために適切な、メインカメラ１２及びサブカメラ１４の撮像位置を提示することにより、ユーザが撮影対象Ｓを撮影するのを支援する機能を有する。

【0028】

図２を参照して、本実施形態の撮影支援装置１６のハードウェア構成を説明する。図２に示すように、本実施形態の撮影支援装置１６は、ＣＰＵ（Central Processing Unit）２０、一時記憶領域としてのメモリ２１、及び不揮発性の記憶部２２を含む。また、撮影支援装置１６は、液晶ディスプレイ等の表示部２３、及び各種ボタン等を含む操作部２４を含む。なお、表示部２３と、操作部２４の一部とは一体化されたタッチパネルディスプレイとして構成されている。また、撮影支援装置１６は、メインカメラ１２及びサブカメラ１４が接続される外部Ｉ／Ｆ（Interface）２６を含む。ＣＰＵ２０、メモリ２１、記憶部２２、表示部２３、操作部２４、及び外部Ｉ／Ｆ２６は、バス２９に接続される。撮影支援装置１６の例としては、パーソナルコンピュータ及びサーバコンピュータ等が挙げられる。

【0029】

記憶部２２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、及びフラッシュメモリ等によって実現される。記憶媒体としての記憶部２２には、撮影支援プログラム３０が記憶される。ＣＰＵ２０は、記憶部２２から撮影支援プログラム３０を読み出してからメモリ２１に展開し、展開した撮影支援プログラム３０を実行する。

【0030】

次に、図３を参照して、本実施形態の撮影支援装置１６の機能的な構成について説明する。図３に示すように、本実施形態の撮影支援装置１６は、取得部４０、生成部４２、表示制御部４４、及び受付部４６を備える。ＣＰＵ２０が撮影支援プログラム３０を実行することにより、取得部４０、生成部４２、表示制御部４４、及び受付部４６として機能する。

【0031】

取得部４０は、メインカメラ１２により撮像されたメインカメラ画像、より具体的にはメインカメラ画像を表す動画像データを、メインカメラ１２から取得する。また、取得部４０は、サブカメラ１４により撮像されたサブカメラ画像、より具体的にはサブカメラ画像を表す動画像データを、サブカメラ１４から取得する。

【0032】

生成部４２は、メインカメラ画像及びサブカメラ画像を解析して得られる、撮影対象Ｓの大きさに関する情報、撮影対象Ｓの位置に関する情報、及び撮影対象Ｓの向きに関する情報のうちの少なくとも一つの情報に基づいて、俯瞰図を生成する機能を有する。具体的には、本実施形態の生成部４２は、取得部４０が取得した、メインカメラ画像に含まれる撮影対象Ｓの画像に基づいて、メインカメラ１２、サブカメラ１４、及び撮影対象Ｓの、ユーザが撮影対象Ｓを撮影するために推奨される相対的な位置関係を表す推奨用の俯瞰図（以下、「推奨用俯瞰図」という）を生成する。また、本実施形態の生成部４２は、取得部４０が取得したメインカメラ画像及びサブカメラ１４の各々に含まれる撮影対象Ｓの画像に基づいて、メインカメラ１２、サブカメラ１４、及び撮影対象Ｓの、撮影対象Ｓの撮影が実際に行われた相対的な位置関係を表す実際の位置の俯瞰図（以下、「実位置俯瞰図」という）を生成する。

【0033】

表示制御部４４は、生成部４２が生成した推奨用俯瞰図を表示部２３に表示させる制御を行う。また、本実施形態の表示制御部４４は、生成部４２が生成した実位置俯瞰図を表示部２３に表示させる制御を行う。さらに、本実施形態の表示制御部４４は、取得部４０が取得したメインカメラ画像、及びサブカメラ画像の少なくとも一方の動画像を表示部２３に表示させる制御を行う。

【0034】

受付部４６は、表示部２３に表示させる動画像をメインカメラ画像、及びサブカメラ画像のうちの、いずれの動画像とするかの指定を、操作部２４を介してユーザから受け付ける。

【0035】

次に、図４を参照して、本実施形態の撮影支援装置１６の作用を説明する。ＣＰＵ２０が撮影支援プログラム３０を実行することによって、図４に示す撮影支援処理が実行される。図４に示す撮影支援処理は、例えば、操作部２４により、ユーザから撮影支援処理の実行を指示された場合に実行される。

【0036】

図４のステップＳ１００で、表示制御部４４は、ユーザに対し、メインカメラ１２を撮影支援装置１６に接続するよう促すためのガイダンスを表示部２３に表示させる。ユーザは、表示部２３に表示されたガイダンスに従い、撮影支援装置１６のＨＤＭＩ端子（図示省略）に、メインカメラ１２を接続する。なお、本ステップによるガイダンスの表示前に、メインカメラ１２が撮影支援装置１６に接続されていてもよい。

【0037】

次のステップＳ１０２で取得部４０は、撮影支援処理がキャンセルされたか否かを判定する。本実施形態の撮影支援装置１６では、ユーザは、例えば、撮影支援処理の実行を指示したものの、撮影支援を行わなくてもよいと判断した場合、操作部２４に含まれるキャンセルボタン（図示省略）を操作することにより、撮影支援処理のキャンセルを指示することができる。そこで、本ステップＳ１０２では、キャンセルボタンが操作されることにより、ユーザがキャンセルの指示を行ったか否かを判定する。キャンセルの指示が行われた場合、ステップＳ１０２の判定が肯定判定となり、ステップＳ１２６へ移行する。ステップＳ１２６で表示制御部４４は、撮影支援処理のキャンセルを行う旨の情報を、表示部２３に表示させた後、本撮影支援処理を終了する。

【0038】

一方、キャンセルの指示が行われない場合、ステップＳ１０２の判定が否定判定となり、ステップＳ１０４へ移行する。ステップＳ１０４で取得部４０は、メインカメラ１２からメインカメラ画像が、外部Ｉ／Ｆ２６を介して撮影支援装置１６に入力されたか否かを判定する。メインカメラ画像が入力されるまで、ステップＳ１０４の判定が否定判定となり、ステップＳ１０２に戻る。一方、メインカメラ画像が入力され、取得部４０により取得されると、ステップＳ１０４の判定が肯定判定となり、ステップＳ１０６へ移行する。

【0039】

ステップＳ１０６で生成部４２は、取得部４０が取得したメインカメラ画像の解析を開始する。本実施形態の生成部４２は、メインカメラ画像を画像解析することにより、撮影対象Ｓの、メインカメラ１２に対する向き（顔の向き）、撮影対象Ｓとメインカメラ１２との距離を推定する。これらの推定方法や、画像解析方法は特に限定されない。例えば、生成部４２は、メインカメラ画像に含まれる、撮影対象Ｓの顔を検出し、画角に占める顔の大きさから、及び撮影対象Ｓとメインカメラ１２との距離を推定してもよい。また例えば、メインカメラ画像に含まれる撮影対象Ｓの顔、瞳、鼻、及び口等を検出し、これらの位置や大きさ等から、メインカメラ１２に対する顔の向き推定してもよい。なお、撮影対象Ｓとメインカメラ１２との距離の推定には、メインカメラ１２の焦点距離が用いられるが、より正確な位置解析を行うためには、撮像に実際に用いられたレンズの焦点距離の情報が得られることが好ましい。例えば、外部Ｉ／Ｆ２６を介してメインカメラ１２と通信を行い、生成部４２がメインカメラ１２から撮像に用いられたレンズの焦点距離を表す情報を取得してもよいし、操作部２４によりユーザが焦点距離を表す情報を入力してもよい。なお、撮像に実際に用いられたレンズの焦点距離を表す情報が取得できない場合、汎用されている、いわゆる３５ｍｍ換算の焦点距離５０ｍｍを仮定して用いればよい。

【0040】

次のステップＳ１０８で表示制御部４４は、ユーザに対し、サブカメラ１４を撮影支援装置１６に接続するよう促すためのガイダンスを表示部２３に表示させる。ユーザは、表示部２３に表示されたガイダンスに従い、撮影支援装置１６のＨＤＭＩ端子（図示省略）に、サブカメラ１４を接続する。なお、本ステップによるガイダンスの表示前に、サブカメラ１４が撮影支援装置１６に接続されていてもよい。

【0041】

次のステップＳ１１０で取得部４０は、上記ステップＳ１０２と同様に、撮影支援処理がキャンセルされたか否かを判定する。キャンセルの指示が行われた場合、ステップＳ１１０の判定が肯定判定となり、上記ステップＳ１２６へ移行し、表示制御部４４が、撮影支援処理のキャンセルを行う旨の情報を、表示部２３に表示させた後、本撮影支援処理を終了する。

【0042】

一方、キャンセルの指示が行われない場合、ステップＳ１１０の判定が否定判定となり、ステップＳ１１２へ移行する。ステップＳ１１２で取得部４０は、サブカメラ１４からサブカメラ画像が、外部Ｉ／Ｆ２６を介して撮影支援装置１６に入力されたか否かを判定する。サブカメラ画像が入力されるまで、ステップＳ１１２の判定が否定判定となり、ステップＳ１１０に戻る。一方、サブカメラ画像が入力され、取得部４０により取得されると、ステップＳ１１２の判定が肯定判定となり、ステップＳ１１４へ移行する。

【0043】

ステップＳ１１４で生成部４２は、取得部４０が取得したサブカメラ画像の解析を開始する。本実施形態の生成部４２は、サブカメラ画像を画像解析することにより、撮影対象Ｓの、サブカメラ１４に対する向き（顔の向き）、撮影対象Ｓとサブカメラ１４との距離を推定する。これらの推定方法や、画像解析方法は特に限定されず、上記ステップＳ１０６と同様とすることができる。

【0044】

次のステップＳ１１６で生成部４２は、メインカメラ画像の解析結果に基づいて、推奨用俯瞰図を生成する。上述したように、メインカメラ画像の解析を行うことにより、メインカメラ１２に対する撮影対象Ｓの顔の向き、及び撮影対象Ｓとメインカメラ１２との距離が推定される。一例として本実施形態では、この顔の向き及び撮影対象Ｓとの距離に基づき、メインカメラ１２の撮影位置及び向き（撮影方向）を基準として推奨される、サブカメラ１４の撮影位置及び撮影方向を導出する。推奨されるサブカメラ１４の撮影位置及び撮影方向の導出方法は特に限定されない。例えば、撮影対象Ｓの顔の向き、メインカメラ１２の位置、及びメインカメラ１２の撮影方向の少なくとも一つと、サブカメラ１４の位置及び撮影方向との対応関係（以下、「推奨位置関係」という）を予め記憶部２２に記憶しておき、生成部４２が、記憶部２２に記憶されている推奨位置関係に基づいて、推奨されるサブカメラ１４の撮影位置及び撮影方向を導出してもよい。

【0045】

また、生成部４２における推奨用俯瞰図の生成方法も特に限定されない。一例として本実施形態では、メインカメラ１２、サブカメラ１４、及び撮影対象Ｓに対応するアイコンを、各々の向き及び位置に合わせて、撮影対象Ｓの頭側（上側）から俯瞰した状態に配置する。図５Ａには、本実施形態の生成部４２により生成される推奨用俯瞰図５０の一例を示す。図５Ａに示した推奨用俯瞰図５０には、顔の向きを表す情報とともに、撮影対象Ｓを示すアイコン６０が配置されている。また、推奨用俯瞰図５０には、メインカメラ１２の撮影位置及び撮影方向に応じてメインカメラ１２を示すアイコン６２と、推奨されるサブカメラ１４の撮影位置及び撮影方向に応じてサブカメラ１４を示すアイコン６５とが配置されている。なお、一例として本実施形態では、メインカメラ１２の撮影位置を基準としているため、推奨用俯瞰図５０におけるアイコン６２は、実際に撮影が行われたメインカメラ１２の撮影位置及び撮影方向に基づいて配置されている。

【0046】

次のステップＳ１１８で生成部４２は、メインカメラ画像の解析結果、及びサブカメラ画像の解析結果に基づいて、実位置俯瞰図を生成する。生成部４２における実位置俯瞰図の生成方法も特に限定されず、例えば、推奨用俯瞰図の生成方法と同様の方法を用いることができる。図５Ｂには、本実施形態の生成部４２により生成される実位置俯瞰図５２の一例を示す。図５Ｂに示した実位置俯瞰図５２には、顔の向きを表す情報とともに、撮影対象Ｓを示すアイコン６０が配置されている。また、実位置俯瞰図５２には、メインカメラ１２の撮影位置及び撮影方向に応じてメインカメラ１２を示すアイコン６２と、サブカメラ１４の撮影位置及び撮影方向に応じてサブカメラ１４を示すアイコン６４とが配置されている。なお、実位置俯瞰図５２では、サブカメラ１４を示すアイコン６４は、実際に撮影が行われたサブカメラ１４の撮影位置及び撮影方向に基づいて配置されている。

【0047】

次のステップＳ１２０で表示制御部４４は、図６に示した一例のように、推奨用俯瞰図５０、実位置俯瞰図５２、メインカメラ画像７０、及びサブカメラ画像７２を表示部２３に表示させる制御を行う。なお、図６に示した一例では、推奨用俯瞰図５０と実位置俯瞰図５２とを重畳させて表示部２３に表示させた状態を示している。また、図６に示した一例では、メインカメラ１２のリアルタイムのメインカメラ画像７０と、サブカメラ１４のリアルタイムのサブカメラ画像７２とを表示させた状態を示している。

【0048】

このように、メインカメラ画像７０及びサブカメラ画像７２を表示部２３に表示させることにより、ユーザは、メインカメラ１２及びサブカメラ１４各々の撮影位置及び撮影向きの関係と、実際に撮像される動画像との関係を把握しやすくなる。

【0049】

なお、本実施形態に限定されず、表示制御部４４は、メインカメラ画像７０及びサブカメラ画像７２を表示部２３に表示させないことも可能であるし、いずれか一方のみを表示させることとも可能である。本実施形態では、受付部４６が、表示させる動画像の指定を操作部２４を介してユーザから受け付けた場合、表示制御部４４は指定された動画像を、表示部２３に表示させ、受付部４６が指定を受け付けなかった場合、メインカメラ画像７０及びサブカメラ画像７２の両方を表示部２３に表示させる形態としている。

【0050】

次のステップＳ１２２で生成部４２は、メインカメラ１２及びサブカメラ１４の少なくとも一方のカメラが移動したか否か、より具体的には、メインカメラ１２及びサブカメラ１４の少なくとも一方のカメラの撮影位置及び撮影方向が変化したか否かを判定する。生成部４２が少なくとも一方のカメラが移動したか否かを判定する方法は特に限定されない。例えば、生成部４２は、メインカメラ画像７０及びサブカメラ画像７２の各々を画像解析し、撮影対象Ｓまたは他の被写体の位置または向きが変化したか否かにより判定してもよい。また例えば、生成部４２は、メインカメラ画像７０及びサブカメラ画像７２が位置検出センサを備えている場合は、これらのセンサの検出結果を取得し、取得した検出結果に基づいて判定してもよい。

【0051】

メインカメラ１２及びサブカメラ１４の少なくとも一方のカメラが移動した場合、ステップＳ１２２の判定が肯定判定となり、ステップＳ１１６に戻り、上記ステップＳ１１８、Ｓ１２０の各処理を繰り返す。この場合、少なくとも一方のカメラの移動に応じて、表示部２３に表示される推奨用俯瞰図５０及び実位置俯瞰図５２が更新され、各々、リアルタイムの状態に応じた俯瞰図となる。

【0052】

一方、メインカメラ１２及びサブカメラ１４の両方のカメラが移動していない場合、ステップＳ１２２の判定が否定判定となり、ステップＳ１２４へ移行する。ステップＳ１２４で生成部４２は、本撮影支援処理を終了するか否かを判定する。本実施形態では、一例として、上記キャンセルボタンがユーザにより操作された場合や、メインカメラ１２及びサブカメラ１４の少なくとも一方が、上記ＨＤＭＩ端子と非接続となった場合等、予め定められた終了条件を満たす場合に、本撮影支援処理を終了する。終了条件を満たさない場合、ステップＳ１２４の判定が否定判定となり、ステップＳ１２２に戻り、上記処理を繰り返す。一方、終了条件を満たす場合、ステップＳ１２４の判定が肯定判定となり、本撮影支援処理を終了する。本撮影支援処理を終了する場合、表示制御部４４は、表示部２３に表示されている推奨用俯瞰図５０、実位置俯瞰図５２、メインカメラ画像７０、サブカメラ画像７２の表示を終了する。

【0053】

なお、本実施形態の撮影支援装置１６では撮影対象Ｓの顔の向き、メインカメラ１２の位置、及びメインカメラ１２の撮影方向の少なくとも一つに対し、推奨されるサブカメラ１４の撮影位置及び撮影方向が一意に定まる形態、いわば、推奨される推奨用俯瞰図５０が１種類の場合について説明したが、本実施形態に限定されず、推奨される推奨用俯瞰図が複数種類あってもよく、例えば、メインカメラ１２の撮影位置及び撮影方向に対して、対応付けられている推奨されるサブカメラ１４の撮影位置及び撮影方向が複数あってもよい。換言すると、上記推奨位置関係を複数有していてもよい。具体例として、図７Ａに示すように、撮影対象Ｓに対するサブカメラ１４の向きが、図５Ａに示した推奨用俯瞰図５０により推奨されるサブカメラ１４の向きと異なる推奨用俯瞰図５０Ａや、図７Ｂに示すように、撮影対象Ｓとサブカメラ１４との距離が、図５Ａに示した推奨用俯瞰図５０により推奨されるサブカメラ１４の距離と異なる推奨用俯瞰図５０Ｂ等を有していてもよい。

【0054】

操作部２４を操作することにより、ユーザが推奨用俯瞰図の変更を指示することができる形態の一例について、図８を参照して説明する。図８には、推奨用俯瞰図を複数種類有する場合の、撮影支援処理の流れの一例を表すフローチャートが示されている。

【0055】

図８に示した撮影支援処理は、ステップＳ１２０とＳ１２２との間にステップＳ１２１Ａ～Ｓ１２１Ｃの処理を含む点で、上述の撮影支援処理（図４参照）と異なっている。図８に示した撮影支援処理では、受付部４６が、推奨用俯瞰図（５０、５０Ａ、及び５０Ｂ）の変更の指示を受け付けたか否かを判定する。受付部４６が、変更の指示を受け付けていない場合、ステップＳ１２１Ａの判定が否定判定となり、ステップＳ１２２へ移行する。一方、受付部４６が変更の指示を受け付けた場合、ステップＳ１２１Ａの判定が肯定判定となり、ステップＳ１２１Ｂへ移行する。ステップＳ１２１Ｂで表示制御部４４は、表示部２３に表示されている推奨用俯瞰図（５０、５０Ａ、または５０Ｂのいずれか）を更新する。具体的には、生成部４２が、記憶部２２に記憶されている複数の推奨位置関係から、現在、表示部２３に表示されている推奨用俯瞰図と異なる推奨位置関係を１つ取得し、取得した推奨位置関係に基づいて推奨用俯瞰図を生成し、生成された推奨用俯瞰図を表示制御部４４が表示部２３に表示させる。ユーザは、表示部２３に表示されている推奨用俯瞰図を撮影に用いることを決定した場合、操作部２４に含まれる決定ボタン（図示省略）を操作することにより推奨用俯瞰図の決定を指示する。

【0056】

次のステップＳ１２１Ｃで受付部４６は、上記の決定の指示を受け付けたか否かを判定する。本実施形態の受付部４６が、予め定められた時間が経過しても、上記の決定の指示を受け付けなかった場合、ステップＳ１２１Ｃの判定が否定判定となり、ステップＳ１２１Ａに戻り、ステップＳ１２１Ｂの処理を繰り返す。一方、受付部４６が、予め定められた時間内に上記の決定の指示を受け付けた場合、ステップＳ１２１Ｃの判定が肯定判定となり、ステップＳ１２２へ移行する。なお、本処理の後、ステップＳ１２２で肯定判定となり、ステップＳ１１６に戻り再び推奨用俯瞰図を生成する場合、ステップＳ１２１Ｃにおいて決定された推奨用俯瞰図に対応する推奨位置関係に基づいて、推奨用俯瞰図を生成する。

【0057】

また、本実施形態では、一例として、メインカメラ１２の撮影位置及び撮影方向を基準として推奨される、サブカメラ１４の撮影位置及び撮影方向を導出する形態について説明したが、本実施形態に限定されない。例えば、撮影対象Ｓの向きまたは位置を基準として推奨される、メインカメラ１２の撮影位置及び撮影方向と、サブカメラ１４の撮影位置及び撮影方向とを導出する形態としてもよい。この場合、生成部４２によって生成され、表示部２３に表示される推奨用俯瞰図５０Ｃは、図９に示した一例のように、推奨されるメインカメラ１２の撮影位置及び撮影方向に応じたメインカメラ１２を示すアイコン６３と、推奨されるサブカメラ１４の撮影位置及び撮影方向に応じたサブカメラ１４を示すアイコン６５とが配置された状態となる。

【0058】

このように本施形態の撮影支援装置１６では、取得部４０がユーザにより撮影対象Ｓが撮影されたメインカメラ画像をメインカメラ１２から取得し、生成部４２が、取得したメインカメラ画像を解析し、メインカメラ画像に含まれる撮影対象Ｓの画像から得られる解析結果に基づいて推奨用俯瞰図を生成し、表示制御部４４が推奨用俯瞰図を表示部２３に表示させる。

【0059】

このように本実施形態の撮影支援装置１６によれば、ユーザが、撮影対象Ｓをメインカメラ１２及びサブカメラ１４により撮影するために推奨される各カメラ及び撮影対象Ｓの相対的な位置関係を把握できるようになる。従って、本実施形態の撮影支援装置１６によれば、ユーザはメインカメラ画像及びサブカメラ画像を組み合わせて１つの動画像を得る場合において、所望の動画像を得ることができる。

【0060】

［第２実施形態］
以下、第２実施形態について詳細に説明する。なお、本実施形態では、上記第１実施形態で説明した構成及び作用と同一の構成及び作用については同一の符号を付し、詳細な説明を省略する。

【0061】

本実施形態の撮像システム１０及び撮影支援装置１６の構成は、第１実施形態の撮像システム１０及び撮影支援装置１６の構成（図１～図３参照）と同様であるため、説明を省略する。

【0062】

一方、本実施形態の撮影支援装置１６の作用は、撮影支援処理の一部が異なっている。図１０には、本実施形態の撮影支援処理の流れの一例を示すフローチャートを示す。図１０に示すように、本実施形態の撮影支援処理では、第１実施形態の撮影支援処理（図４参照）のステップＳ１２４の後に、ステップＳ１２５の処理を行う点が異なっている。

【0063】

本撮影支援処理を終了するか否かの判定が肯定判定となった後に行われるステップＳ１２５で生成部４２は、表示制御部４４の制御により表示部２３に表示されている実位置俯瞰図５２、メインカメラ１２を表す情報、及びサブカメラ１４を表す情報を対応付けて記憶部２２に記憶させた後、本撮影支援処理を終了する。すなわち、生成部４２は、撮影対象Ｓの撮影が行われた相対的な位置関係を表す情報を記憶部２２に記憶させる。なお、生成部４２が、記憶部２２に記憶させるメインカメラ１２を表す情報、及びサブカメラ１４を表す情報は特に限定されず、例えば、識別子等の撮影に用いられたカメラを識別可能とする情報であればよい。

【0064】

このように本実施形態の撮影支援装置１６では、撮影支援処理を終了する場合、すなわち、ユーザがメインカメラ１２及びサブカメラ１４による撮影対象Ｓの撮影を終了する場合、終了時点におけるメインカメラ１２及びサブカメラ１４の配置と、撮影対象Ｓの向きとの相対的な位置関係を表す実位置俯瞰図５２を、メインカメラ１２を表す情報及びサブカメラ１４を表す情報に対応付けて記憶部２２に記載させる。

【0065】

なお、ステップＳ１２５で生成部４２は、メインカメラ１２を表す情報及びサブカメラ１４を表す情報と対応付けて、実位置俯瞰図５２に代わり、また、実位置俯瞰図５２とともに推奨用俯瞰図５０を記憶部２２に記憶させてもよい。また、推奨用俯瞰図５０及び実位置俯瞰図５２のいずれの俯瞰図を記憶部２２に記憶させるかについて操作部２４を介してユーザによる指示が可能であってもよい。

【0066】

また、図１０に示すように、本実施形態の撮影支援処理では、第１実施形態の撮影支援処理（図４参照）に比べ、ステップＳ１１４とステップＳ１１６との間に、ステップＳ１１５Ａ～Ｓ１１５Ｄの各処理を実行する点が異なっている。

【0067】

ステップＳ１１５Ａで生成部４２は、現在、接続されているメインカメラ１２及びサブカメラ１４について、記憶部２２にメインカメラ１２を表す情報及びサブカメラ１４を表す情報の両方のカメラ情報が記憶されているか否かを判定する。記憶部２２に両方のカメラ情報が記憶されている場合、ステップＳ１１５Ａの判定が肯定判定となり、ステップＳ１１５Ｂへ移行する。ステップＳ１１５Ｂで、生成部４２は、メインカメラ１２を表す情報及びサブカメラ１４を表す情報に対応付けられている実位置俯瞰図５２を、記憶部２２から読み出して推奨用俯瞰図５０とした後、ステップＳ１１８へ移行する。

【0068】

一方、記憶部２２に、両方のカメラ情報が記憶されていない場合、ステップＳ１１５Ａの判定が否定判定となり、ステップＳ１１５Ｃへ移行する。ステップＳ１１５Ｃで表示制御部４４は、表示部２３に、両方のカメラ情報に対応する実位置俯瞰図５２が記憶部２２に記憶されていない旨、すなわち、撮影支援装置１６が、接続されているメインカメラ１２及びサブカメラ１４が、今まで撮影の支援対象としていないメインカメラ１２及びサブカメラ１４の組み合わせであることを表す情報をガイダンスとして、表示部２３に表示させる。本実施形態では一例として、ユーザは、表示部２３に表示されたガイダンスを参照し、接続されているカメラについて変更がなければ、操作部２４に含まれる了承ボタン（図示省略）を操作することにより、了承する旨を指示するか、または操作部２４に含まれるキャンセルボタン（図示省略）を操作することにより、撮影支援処理のキャンセルを指示する。

【0069】

そこで、次のステップＳ１１５Ｄで生成部４２は、了承ボタンが操作されたか否かを判定する。キャンセルボタンが操作された場合、ステップＳ１１５Ｄの判定が否定判定となり、本撮影支援処理を終了する。

【0070】

一方、了承ボタンが操作された場合、ステップＳ１１５Ｄの判定が肯定判定となり、ステップＳ１１６へ移行する。この場合、生成部４２は、新たに接続されているメインカメラ１２及びサブカメラ１４の組み合わせにより入力される、メインカメラ画像及びサブカメラ画像に基づき、推奨用俯瞰図５０及び実位置俯瞰図５２を生成することとなる。

【0071】

なお、本実施形態では、上記ステップＳ１１５Ａで両方のカメラ情報が記憶されているか否かを判定する形態としたが、本実施形態に限定されず、メインカメラ１２及びサブカメラ１４の一方のカメラ情報が記憶されているか否かを判定する形態としてもよい。例えば、撮影対象Ｓの撮影について一旦休憩後、撮影を再開する場合、主として撮影に用いられるメインカメラ１２は、同じカメラを使用するが、サブカメラ１４は先ほどと異なる機種のカメラを使用する場合がある。このような場合に対応する形態として、ステップＳ１１５Ａでは、メインカメラ１２を表す情報が記憶部２２に記憶されているか否かを判定する形態としてもよい。

【0072】

このように本実施形態の撮影支援装置１６で行われる撮影支援処理では、撮影支援処理を行った後、同一のメインカメラ１２及びサブカメラ１４を用いた撮影に対して再び撮影支援処理を行う場合、前回、表示部２３に表示した俯瞰図を、推奨用俯瞰図として採用する。これにより、本実施形態の撮影支援装置１６によれば、前回、撮影を終了した時点におけるメインカメラ１２及びサブカメラ１４の配置状態と同様の状態から、撮影を再開し易くなる。

【0073】

［第３実施形態］
以下、第３実施形態について詳細に説明する。なお、本実施形態では、上記第１実施形態及び第２実施形態で説明した構成及び作用と同一の構成及び作用については同一の符号を付し、詳細な説明を省略する。

【0074】

本実施形態の撮像システム１０の構成は、第１実施形態の撮像システム１０の構成（図１参照）と同様であるため、説明を省略する。一方、撮影支援装置１６の構成は、図１１に示すように、指定部４７をさらに備えている点で、第１実施形態の撮影支援装置１６の構成（図２及び図３参照）と異なっている。

【0075】

上記各実施形態では、表示制御部４４が表示部２３に、メインカメラ画像７０及びサブカメラ画像７２を表示させる形態について説明した。一方、本実施形態では、推奨用俯瞰図５０または実位置俯瞰図５２に対して、メインカメラ１２及びサブカメラ１４の位置及び撮影方向を指定すると、指定した位置及び撮影方向においてメインカメラ１２及びサブカメラ１４により撮像されたと推定される推定撮像画像を、メインカメラ画像７０またはサブカメラ画像７２に代わり表示部２３に表示させる形態について説明する。以下では、このように、ユーザが指定した位置及び撮影方向において、メインカメラ１２またはサブカメラ１４により撮像されたと推定される推定撮像画像を生成して表示させる動作について、シミュレーションと称する。

【0076】

指定部４７は、表示部２３に表示されている推奨用俯瞰図５０または実位置俯瞰図５２に対して、俯瞰図に示されるアイコン６２、６３、６４、及び６５について、位置及び撮影方向の少なくとも一方について変更後の状態がユーザによって指定される機能を有する。

【0077】

図１２を参照して、本実施形態の撮影支援装置１６において、上記シミュレーションを行う作用を説明する。ＣＰＵ２０が撮影支援プログラム３０を実行することによって、図１２に示すシミュレーション処理が実行される。一例として図１２に示すシミュレーション処理は、例えば、表示部２３に表示されたアイコン６２、６３、６４、及び６５のいずれかにユーザがタッチした場合、またはシミュレーションを行う旨の指示を操作部２４を用いてユーザが行った場合に実行される。

【0078】

図１２に示したステップＳ２００で指定部４７は、アイコン６２、６３、６４、及び６５のいずれかに対するユーザの操作が完了したか否かを判定する。本実施形態では、ユーザの操作により、アイコン６２、６３、６４、及び６５各々について、位置の移動、回転、拡大、及び縮小することができる。アイコン６２、６３、６４、及び６５各々の位置の移動は、各アイコンに対応するメインカメラ１２またはサブカメラ１４の位置の移動に対応する。また、アイコン６２、６３、６４、及び６５各々の回転は、各アイコンに対応するメインカメラ１２またはサブカメラ１４の撮影方向の変更（回転）に対応する。また、アイコン６２、６３、６４、及び６５各々の拡大及び縮小は、各アイコンに対応するメインカメラ１２またはサブカメラ１４の高さ方向（実世界における高さ方向、表示部２３の表示における奥行き方向）の移動に対応し、拡大された場合は、高さが高くなる方向への移動に対応し、縮小された場合は、高さが低くなる方向への移動に対応する。

【0079】

操作が完了するまでステップＳ２００の判定が否定判定となり、操作が完了するとステップＳ２００の判定が肯定判定となって、ステップＳ２０２へ移行する。ステップＳ２０２で、生成部４２は、ユーザによって操作されたアイコン６２、６３、６４、及び６５のいずれかの操作後の状態に応じて、推定撮像画像を生成する。具体的には、生成部４２は、操作後の上記アイコンの位置、向き、及び大きさに基づいて、撮影対象Ｓに対するメインカメラ１２またはサブカメラ１４の位置及び撮影方向を導出し、導出した位置及び撮影方向において撮像されると推定される推定撮像画像を生成する。

【0080】

生成部４２が、推定撮像画像を生成する具体的な方法は特に限定されない。例えば、３次元の人物構図データを記憶部２２に記憶しておき、導出した撮影対象Ｓに対するメインカメラ１２またはサブカメラ１４の位置及び撮影方向に応じて、上記３次元の人物構図データをレンダリングすることにより推定撮像画像を生成してもよい。

【0081】

次のステップＳ２０４で表示制御部４４は、ユーザによって操作されたアイコン６２、６３、６４、及び６５のいずれかに対応するメインカメラ画像７０またはサブカメラ画像７２に代わり、生成部４２が生成した推定撮像画像を表示部２３に表示させる。図１３には、サブカメラ１４に対応する推奨用俯瞰図５０のアイコン６５が操作された場合に、生成部４２によって生成された推定撮像画像７３を、サブカメラ画像７２の代わりに表示部２３に表示させた状態の一例を示す。

【0082】

次のステップＳ２０６で指定部４７は、本シミュレーション処理を終了するか否かを判定する。終了条件を満たすまでステップＳ２０６の判定が否定判定となり、ステップＳ２００に戻り、ステップＳ２０２及びＳ２０４の処理を繰り返す。一方、シミュレーションを終了する旨の指示を操作部２４を用いてユーザが行った場合に、終了条件を満たすと判定し、ステップＳ２０６の判定が肯定判定となり、本シミュレーション処理を終了する。

【0083】

このように、本実施形態の撮影支援装置１６では、ユーザの指定に応じて、メインカメラ１２またはサブカメラ１４により撮影されたと推定される推定撮像画像を生成して、表示部２３に表示する。

【0084】

従って、本実施形態の撮影支援装置１６によれば、ユーザは簡単な操作により、実際にメインカメラ１２またはサブカメラ１４の位置を移動させなくても、メインカメラ画像またはサブカメラ画像がどのような画像となるかを推定撮像画像により把握することができる。従って、撮影対象Ｓの撮影を行い易くすることができ、また、撮影時間の短縮化を図ることができる。

【0085】

以上説明したように、上記各実施形態の撮影支援装置１６は、特定の撮影対象Ｓを撮像するメインカメラ１２及びサブカメラ１４のうちのメインカメラ１２により撮像されたメインカメラ画像を取得する取得部４０と、取得部４０が取得したメインカメラ画像に含まれる撮影対象Ｓの画像に基づいて、メインカメラ１２及びサブカメラ１４の各々及び撮影対象Ｓの、撮影対象Ｓを撮影するために推奨される相対的な位置関係を表す推奨用俯瞰図を生成する生成部４２と、生成部４２が生成した俯瞰図を表示部２３に表示させる制御を行う表示制御部４４と、を備える。

【0086】

このような構成により、本実施形態の撮影支援装置１６によれば、撮影に不慣れなユーザでも各撮像装置のセッティング位置を容易に把握できるようになる。従って、上記各実施形態の撮影支援装置１６によれば、メインカメラ画像及びサブカメラ画像を組み合わせて１つの動画像を得る場合において、所望の動画像を得られるようにすることができる。

【0087】

なお、上記各実施形態では、撮影支援装置１６にメインカメラ１２とサブカメラ１４とが同時に接続可能な形態、換言すると、取得部４０が、メインカメラ画像とサブカメラ画像とを同時に取得可能な形態について説明したが、上記各実施形態に限定されない。例えば、撮影支援装置１６にはメインカメラ１２及びサブカメラ１４のいずれか一方のみが接続可能で有り、メインカメラ１２及びサブカメラ１４を交互に接続させることにより、取得部４０によるメインカメラ画像とサブカメラ画像との取得を可能とする形態としてもよい。なお、この形態の場合、取得部４０が取得するメインカメラ画像及びサブカメラ画像が、リアルタイムで撮像された動画像とならないため、生成部４２が生成する推奨用俯瞰図及び実位置俯瞰図が、リアルタイムの状態に応じた俯瞰図とならない場合がある。

【0088】

なお、上記各実施形態では、撮影対象Ｓの撮影にユーザが用いる撮像装置がメインカメラ１２及びサブカメラ１４の２台である形態について説明したが、撮影に用いる撮像装置の数に制限はない。また、上記各実施形態では、メインカメラ画像及びサブカメラ画像が動画像である形態について説明したが、メインカメラ画像及びサブカメラ画像の少なくとも一方が静止画像であってもよい。

【0089】

上記各実施形態において、例えば取得部４０、生成部４２、表示制御部４４、及び受付部４６、及び指定部４７といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであ

【0090】

るプログラマブルロジックデバイス（Programmable Logic Device ：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0091】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態が挙げられる。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態が挙げられる。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0092】

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。

【0093】

また、上記実施形態では、撮影支援プログラム３０が記憶部２２に予め記憶（インストール）されている態様を説明したが、これに限定されない。撮影支援プログラム３０は、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、撮影支援プログラム３０は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0094】

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【符号の説明】

【0095】

１０ 撮像システム
１２ メインカメラ
１４ サブカメラ
１６ 撮影支援装置
２０ ＣＰＵ
２１ メモリ
２２ 記憶部
２３ 表示部
２４ 操作部
２６ 外部Ｉ／Ｆ
２９ バス
３０ 撮影支援プログラム
４０ 取得部
４２ 生成部
４４ 表示制御部
４６ 受付部
４７ 指定部
５０、５０Ａ、５０Ｂ、５０Ｃ 推奨用俯瞰図
５２ 実位置俯瞰図
６０、６２、６３、６４、６５ アイコン
７０ メインカメラ画像
７２ サブカメラ画像
７３ 推定撮像画像
Ｓ 撮影対象

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【手続補正書】

【提出日】2024-01-25

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

撮像装置により撮影対象が異なる撮影方向から撮像された撮像画像を取得する取得部と、
前記取得部が取得した撮像画像に含まれる前記撮影対象の画像に基づいて、前記撮像装置の撮影位置の相対的な位置関係と、前記撮影対象の向きと、を表す、前記撮影対象を撮影するために推奨される推奨用俯瞰図を生成する生成部と、
前記生成部が生成した前記推奨用俯瞰図を表示部に表示させる制御を行う表示制御部と、
を備えた撮影支援装置。

【請求項2】

前記取得部は、前記撮像装置により撮像された撮像画像を取得し、
前記表示制御部は、前記生成部が生成した前記推奨用俯瞰図と、前記取得部が取得した前記撮像装置により撮像された撮像画像のうちの少なくとも一つの撮像画像とを前記表示部に表示させる制御を行う、
請求項１に記載の撮影支援装置。

【請求項3】

前記表示部に表示させる撮像画像を、前記撮像装置により撮像された撮像画像のうちの、いずれの撮像画像とするかの指定を受け付ける受付部をさらに備え、
前記表示制御部は、前記受付部が指定を受け付けた撮像画像を、前記表示部に表示させる制御を行う、
請求項１または請求項２に記載の撮影支援装置。

【請求項4】

前記表示制御部が前記表示部に表示させた前記推奨用俯瞰図に対して、前記撮像装置の位置及び向きの少なくとも一方について、変更後の状態が入力される指定部をさらに備え、
前記生成部は、前記変更後の状態において前記撮像装置によって撮像されると推定される推定撮像画像をさらに生成し、
前記表示制御部は、前記生成部が生成した前記推定撮像画像を前記表示部に表示させる制御を行う、
請求項１から請求項３のいずれか１項に記載の撮影支援装置。

【請求項5】

前記表示制御部が前記表示部に、前記撮像装置及び前記撮影対象の、前記撮影対象を撮影するために推奨される推奨用の相対的な撮像装置の位置である推奨用撮像装置位置をさらに表示し、前記推奨用俯瞰図に示される前記撮像装置及び前記推奨用撮像装置位置の各々における位置及び向きの少なくとも一方について、変更後の状態が指定される指定部をさらに備え、
前記生成部は、前記変更後の状態において前記撮像装置によって撮像されると推定される推定撮像画像をさらに生成し、
前記表示制御部は、前記生成部が生成した前記推定撮像画像を前記表示部に表示させる制御を行う、
請求項１から請求項４のいずれか１項に記載の撮影支援装置。

【請求項6】

前記撮影対象の撮影が行われた相対的な位置関係を表す情報を記憶する記憶部をさらに備える、
請求項１から請求項５のいずれか１項に記載の撮影支援装置。

【請求項7】

前記撮像画像は動画像である、
請求項１から請求項６のいずれか１項に記載の撮影支援装置。

【請求項8】

撮像装置により撮影対象が異なる撮影方向から撮像された撮像画像を取得し、
取得した撮像画像に含まれる前記撮影対象の画像に基づいて、前記撮像装置の撮影位置の相対的な位置関係と、前記撮影対象の向きと、を表す、前記撮影対象を撮影するために推奨される推奨用俯瞰図を生成し、
生成した前記推奨用俯瞰図を表示部に表示させる制御を行う、
処理をコンピュータが実行する撮影支援方法。

【請求項9】

撮像装置により撮影対象が異なる撮影方向から撮像された撮像画像を取得し、
取得した撮像画像に含まれる前記撮影対象の画像に基づいて、前記撮像装置の撮影位置の相対的な位置関係と、前記撮影対象の向きと、を表す、前記撮影対象を撮影するために推奨される推奨用俯瞰図を生成し、
生成した前記推奨用俯瞰図を表示部に表示させる制御を行う、
処理をコンピュータに実行させるための撮影支援プログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００１０

【補正方法】変更

【補正の内容】

【0010】

上記目的を達成するために、本開示の第１の態様の撮影支援装置は、撮像装置により撮影対象が異なる撮影方向から撮像された撮像画像を取得する取得部と、取得部が取得した撮像画像に含まれる撮影対象の画像に基づいて、撮像装置の撮影位置の相対的な位置関係と、撮影対象の向きと、を表す、撮影対象を撮影するために推奨される推奨用俯瞰図を生成する生成部と、生成部が生成した推奨用俯瞰図を表示部に表示させる制御を行う表示制御部と、を備える。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００１１

【補正方法】変更

【補正の内容】

【0011】

第２の態様の撮影支援装置は、第１の態様の撮影支援装置において、取得部は、撮像装置により撮像された撮像画像を取得し、表示制御部は、生成部が生成した推奨用俯瞰図と、取得部が取得した撮像装置により撮像された撮像画像のうちの少なくとも一つの撮像画像とを表示部に表示させる制御を行う。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００１２

【補正方法】変更

【補正の内容】

【0012】

第３の態様の撮影支援装置は、第１の態様または第２の態様の撮影支援装置において、表示部に表示させる撮像画像を、撮像装置により撮像された撮像画像のうちの、いずれの撮像画像とするかの指定を受け付ける受付部をさらに備え、表示制御部は、受付部が指定を受け付けた撮像画像を、表示部に表示させる制御を行う。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００１３

【補正方法】変更

【補正の内容】

【0013】

第４の態様の撮影支援装置は、第１の態様から第３の態様のいずれか１態様の撮影支援装置において、表示制御部が表示部に表示させた推奨用俯瞰図に対して、撮像装置の位置及び向きの少なくとも一方について、変更後の状態が入力される指定部をさらに備え、生成部は、変更後の状態において撮像装置によって撮像されると推定される推定撮像画像をさらに生成し、表示制御部は、生成部が生成した推定撮像画像を表示部に表示させる制御を行う。

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】００１４

【補正方法】変更

【補正の内容】

【0014】

第５の態様の撮影支援装置は、第１の態様から第４の態様のいずれか１態様の撮影支援装置において、表示制御部が表示部に、撮像装置及び撮影対象の、撮影対象を撮影するために推奨される推奨用の相対的な撮像装置の位置である推奨用撮像装置位置をさらに表示し、推奨用俯瞰図に示される撮像装置及び推奨用撮像装置位置の各々における位置及び向きの少なくとも一方について、変更後の状態が指定される指定部をさらに備え、生成部は、変更後の状態において撮像装置によって撮像されると推定される推定撮像画像をさらに生成し、表示制御部は、生成部が生成した推定撮像画像を表示部に表示させる制御を行う。

【手続補正7】

【補正対象書類名】明細書

【補正対象項目名】００１７

【補正方法】変更

【補正の内容】

【0017】

第８の態様の撮影支援方法は、撮像装置により撮影対象が異なる撮影方向から撮像された撮像画像を取得し、取得した撮像画像に含まれる撮影対象の画像に基づいて、撮像装置の撮影位置の相対的な位置関係と、撮影対象の向きと、を表す、撮影対象を撮影するために推奨される推奨用俯瞰図を生成し、生成した推奨用俯瞰図を表示部に表示させる制御を行う、処理をコンピュータが実行する撮影支援方法。

【手続補正8】

【補正対象書類名】明細書

【補正対象項目名】００１８

【補正方法】変更

【補正の内容】

【0018】

第９の態様の撮影支援プログラムは、撮像装置により撮影対象が異なる撮影方向から撮像された撮像画像を取得し、取得した撮像画像に含まれる撮影対象の画像に基づいて、撮像装置の撮影位置の相対的な位置関係と、撮影対象の向きと、を表す、撮影対象を撮影するために推奨される推奨用俯瞰図を生成し、生成した推奨用俯瞰図を表示部に表示させる制御を行う、処理をコンピュータに実行させるためのものである。

【手続補正9】

【補正対象書類名】明細書

【補正対象項目名】００１９

【補正方法】変更

【補正の内容】

【0019】

また、上記目的を達成するために、本開示の撮影支援装置は、プロセッサを有する撮影支援装置であって、プロセッサが、撮像装置により撮影対象が異なる撮影方向から撮像された撮像画像を取得し、取得した撮像画像に含まれる撮影対象の画像に基づいて、撮像装置の撮影位置の相対的な位置関係と、撮影対象の向きと、を表す、撮影対象を撮影するために推奨される推奨用俯瞰図を生成し、生成した推奨用俯瞰図を表示部に表示させる制御を行う、撮影支援装置。