知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-06
(45)【発行日】2024-12-16
(54)【発明の名称】シミュレーション装置、コンピュータプログラム及び記憶媒体
(51)【国際特許分類】
H04N 23/60 20230101AFI20241209BHJP
G06T 19/00 20110101ALI20241209BHJP
G03B 7/091 20210101ALI20241209BHJP
【ＦＩ】
H04N23/60 300
G06T19/00 A
G03B7/091
H04N23/60 100
【請求項の数】
20
(21)【出願番号】P 2020130590
(22)【出願日】2020-07-31
(65)【公開番号】P2022026907
(43)【公開日】2022-02-10
【審査請求日】2023-07-25
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(72)【発明者】
【氏名】大森 勇司
(72)【発明者】
【氏名】内原 正人
【審査官】辻本 寛司
(56)【参考文献】
【文献】特開２００９－１２４６５８（ＪＰ，Ａ）
【文献】特開２００４－２９７１９１（ＪＰ，Ａ）
【文献】特開２０１９－１９１９８９（ＪＰ，Ａ）
【文献】特開２００５－２７５８４７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／６０
Ｇ０６Ｔ １９／００
Ｇ０３Ｂ ７／０９１
(57)【特許請求の範囲】
【請求項1】
撮影対象となるイベントの情報と撮影情報と所望の撮影画像とを入力する情報入力手段と、前記情報入力手段によって入力された情報に基づいて、被写体モデルを用いて前記イベントを想定した仮想空間を構築する仮想空間構築手段と、
前記イベントで撮影した場合に得られる画像を、前記仮想空間を用いてシミュレーション画像として生成するシミュレーション画像生成手段と、
前記シミュレーション画像と所望の撮影画像における、明るさとボケ量の少なくとも１つの類似度を評価する評価手段と、
前記評価手段によって評価された前記類似度が所定値以上の前記シミュレーション画像を撮影するために必要な撮影機材の組み合わせ及び前記組み合わせに応じた撮影条件をユーザーに通知する通知手段と、を有することを特徴とするシミュレーション装置。
【請求項2】
前記イベントの情報は、前記イベントの内容、イベントの順序、イベントに参加している被写体の動き情報を表す被写体位置情報を含むことを特徴とする請求項１に記載のシミュレーション装置。
【請求項3】
前記被写体位置情報は、各時刻における被写体の位置、被写体の向きの少なくとも１つに関する情報を含むことを特徴とする請求項２に記載のシミュレーション装置。
【請求項4】
前記被写体位置情報は、複数のプリセットデータから選択可能であることを特徴とする請求項２または３に記載のシミュレーション装置。
【請求項5】
前記撮影情報は、撮影位置、撮影方向、撮影画角を含むとともに、絞り値、シャッター速度、ＩＳＯ感度、ホワイトバランスデータの少なくとも１つに関する情報を含むことを特徴とする請求項１～４のいずれか１項に記載のシミュレーション装置。
【請求項6】
前記所望の撮影画像は、画像情報を含むとともに、被写体の人数、顔の位置、顔のサイズ、顔の向きの少なくとも１つと関連付けられていることを特徴とする請求項１～５のいずれか１項に記載のシミュレーション装置。
【請求項7】
前記所望の撮影画像はプリセットデータとして保存された複数のサンプル画像から選択可能であることを特徴とする請求項１～６のいずれか１項に記載のシミュレーション装置。
【請求項8】
前記情報入力手段は、前記イベントが行われる会場の明るさに関する情報、前記イベント会場の背景画像の少なくとも１つを入力可能であることを特徴とする請求項１～７のいずれか１項に記載のシミュレーション装置。
【請求項9】
前記シミュレーション画像生成手段は、前記イベントが行われる会場の背景の画像データをもとにシミュレーション画像に背景画像を付加することを特徴とする請求項１～８のいずれか１項に記載のシミュレーション装置。
【請求項10】
前記シミュレーション画像生成手段は、入力された撮影条件をもとに、前記シミュレーション画像の明るさを調整することを特徴とする請求項１～９のいずれか１項に記載のシミュレーション装置。
【請求項11】
前記シミュレーション画像生成手段は、入力された撮影条件をもとに、シミュレーション画像の少なくとも背景画像にボケを付加することを特徴とする請求項１～１０のいずれか１項に記載のシミュレーション装置。
【請求項12】
前記評価手段は、前記シミュレーション画像と所望の撮影画像中における、被写体の数、被写体の位置、被写体のサイズ、被写体の向き、被写体の明るさ、背景画像、背景のボケ量、被写体の色の少なくとも２つについてそれぞれ類似度を算出することを特徴とする請求項１～１１のいずれか１項に記載のシミュレーション装置。
【請求項13】
前記評価手段は、前記算出された少なくとも２つの類似度に対して重みづけをして加算した評価値を算出することを特徴とする請求項１２に記載のシミュレーション装置。
【請求項14】
前記通知手段は、前記類似度が所定値以上の場合に、前記シミュレーション画像とそれに対応する撮影条件をユーザーに通知することを特徴とする請求項１～１３のいずれか１項に記載のシミュレーション装置。
【請求項15】
前記情報入力手段は撮影機材に関する情報を入力可能であることを特徴とする請求項１～１４のいずれか１項に記載のシミュレーション装置。
【請求項16】
前記撮影機材に関する情報は、カメラのセンサーサイズ、シャッター速度、ＩＳＯ感度、カメラの重量の少なくとも１つに関する情報を含むことを特徴とする請求項１５に記載のシミュレーション装置。
【請求項17】
前記撮影機材に関する情報は、レンズの焦点距離、絞り値、レンズの重量に関する情報を含むことを特徴とする請求項１６に記載のシミュレーション装置。
【請求項18】
前記通知手段は、前記類似度が所定値以上の場合に、前記カメラとレンズの組み合わせに関する情報をユーザーに通知することを特徴とする請求項１７に記載のシミュレーション装置。
【請求項19】
請求項１～１８のいずれか１項に記載の前記シミュレーション装置の各手段をコンピュータにより制御するためのコンピュータプログラム。
【請求項20】
請求項１９に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、仮想空間を用いたシミュレーション装置等に関する。
【背景技術】
【0002】
運動会や結婚式などのイベント撮影を効率的に行うには、事前に会場を訪れて所望の撮影画像を得るための撮影位置や画角などの撮影条件を検討するロケーション・ハンティング（以降ロケハンと表記）が効果的である。ロケハンは、事前に複数の撮影機材をイベント会場へ持ち込んで繰り返し試し撮りをすることにより、イベント当日の撮影を円滑に行えるようにするための作業である。
【0003】
一方で、３次元の計測データを用いてイベント会場などの空間を再現するシミュレーション技術が普及している。例えば特許文献１では、複数の視点で撮影されたイベント会場の画像を用いて、イベント会場内を任意の位置、任意の方向から見た画像データを生成するシミュレーション技術が公開されている。また、イベント会場を任意の位置、任意の方向から確認できるシミュレーションサービスも登場している。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１２－１１３２８１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記のような任意視点の画像合成技術を用いたシミュレーションでは、会場の様子を確認することはできても、実際に被写体となる人物の位置や大きさを考慮した撮影イメージの検討は困難であった。また、所望の撮影画像が得られる撮影位置、向き、画角などの撮影条件を見つけるためには、マウスやキーボード等による入力操作を用いて、シミュレーション画面内を探し回る必要があり、多くの時間を要してしまうといった課題があった。
【0006】
さらに所望の撮影画像に近い明るさや背景ぼけを得るために必要なＩＳＯ感度、絞り値、シャッター速度などの詳細な撮影条件や撮影機材（カメラ、レンズ等）の組み合わせを確認することができなかった。
本発明は、仮想空間を用いて適切な撮影条件等を速やかに取得できるシミュレーション装置を提供することを目的とする。
本発明は、仮想空間を用いて適切な撮影条件等を速やかに取得できるシミュレーション装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明にかかるシミュレーション装置は、
撮影対象となるイベントの情報と撮影情報と所望の撮影画像とを入力する情報入力手段と、
前記情報入力手段によって入力された情報に基づいて、被写体モデルを用いて前記イベントを想定した仮想空間を構築する仮想空間構築手段と、
前記イベントで撮影した場合に得られる画像を、前記仮想空間を用いてシミュレーション画像として生成するシミュレーション画像生成手段と、
前記シミュレーション画像と所望の撮影画像における、明るさとボケ量の少なくとも１つの類似度を評価する評価手段と、
前記評価手段によって評価された前記類似度が所定値以上の前記シミュレーション画像を撮影するために必要な撮影機材の組み合わせ及び前記組み合わせに応じた撮影条件をユーザーに通知する通知手段と、を有することを特徴とする。
撮影対象となるイベントの情報と撮影情報と所望の撮影画像とを入力する情報入力手段と、
前記情報入力手段によって入力された情報に基づいて、被写体モデルを用いて前記イベントを想定した仮想空間を構築する仮想空間構築手段と、
前記イベントで撮影した場合に得られる画像を、前記仮想空間を用いてシミュレーション画像として生成するシミュレーション画像生成手段と、
前記シミュレーション画像と所望の撮影画像における、明るさとボケ量の少なくとも１つの類似度を評価する評価手段と、
前記評価手段によって評価された前記類似度が所定値以上の前記シミュレーション画像を撮影するために必要な撮影機材の組み合わせ及び前記組み合わせに応じた撮影条件をユーザーに通知する通知手段と、を有することを特徴とする。
【発明の効果】
【0008】
本発明によれば、仮想空間を用いて適切な撮影条件等を速やかに取得できるシミュレーション装置を提供することができる。
【図面の簡単な説明】
【0009】
【図1】実施例１のシミュレーション装置の構成例を示すブロック図である。
【図2】実施例１における運動会の場合の会場レイアウトの一例を示す図である。
【図3】会場の背景情報の一例を示す図である。
【図4】光源情報の一例を示す図である。
【図5】徒競走における被写体位置情報の例について説明するための図である。
【図6】被写体向きの指定方法の一例を示す図である。
【図7】被写体位置情報のフォーマットの例を示す図である。
【図8】撮影位置情報の一例を示す図である。
【図9】撮影情報の例を示す図である。
【図10】所望の撮影画像の一例を示す図である。
【図11】仮想空間構築のフローチャートである。
【図12】会場レイアウトの座標変換の一例を示す図である。
【図13】被写体モデルのイメージを示す図である。
【図14】仮想空間への被写体モデル配置の一例を示す図である。
【図15】シミュレーション画像生成のフローチャートである。
【図16】投影画像の一例を示す図である。
【図17】投影画像に対して背景が付加されたシミュレーション画像の一例を示す図である。
【図18】明るさ調整されたシミュレーション画像の一例を示す図である。
【図19】背景ボケが付加されたシミュレーション画像の一例を示す図である。
【図20】類似度算出のフローチャートである。
【図21】類似度算出用グラフの一例を示す図である。
【図22】顔の向きに関する類似度算出方法の例を説明する図である。
【図23】ボケ量検出用２次元フィルター特性の一例を示す図である。
【図24】類似度算出用重み係数の一例を示す図である。
【図25】シミュレーション装置の撮影条件評価処理のためのフローの一例を示すフローチャートである。
【図26】撮影情報の一例（組み合わせ１）を示す図である。
【図27】撮影情報の一例（組み合わせ２）を示す図である。
【図28】撮影情報の一例（組み合わせ３）を示す図である。
【図29】撮影情報の一例（組み合わせ４）を示す図である。
【図30】背景が付加されたシミュレーション画像の一例（フルサイズ）を示す図である。
【図31】背景が付加されたシミュレーション画像の一例（ＡＰＳ－Ｃ）を示す図である。
【図32】最適な機材組み合わせを算出するためのフローの例を示すフローチャートである。
【図33】機材組み合わせ毎のスコア算出の例を示す図である。
【発明を実施するための形態】
【0010】
以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。なお、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。
【実施例1】
【0011】
図１は実施例１のシミュレーション装置の構成例を示すブロック図である。本実施例では、イベントとして小学校等の運動会を想定して説明するが、その他のイベントであっても同様に適用可能である。
図１において、シミュレーション装置は、撮影対象となるイベントの情報、撮影情報、所望の撮影画像等を入力する情報入力手段１００を有する。
また、情報入力手段１００によって入力された情報に基づいて、被写体モデルを用いてイベント状況を再現（想定）した仮想空間を構築する仮想空間構築手段１０１を有する。また、イベント会場で撮影した場合に得られる画像を、前記仮想空間を用いてシミュレーション画像として生成するシミュレーション画像生成手段１０２を有する。
図１において、シミュレーション装置は、撮影対象となるイベントの情報、撮影情報、所望の撮影画像等を入力する情報入力手段１００を有する。
また、情報入力手段１００によって入力された情報に基づいて、被写体モデルを用いてイベント状況を再現（想定）した仮想空間を構築する仮想空間構築手段１０１を有する。また、イベント会場で撮影した場合に得られる画像を、前記仮想空間を用いてシミュレーション画像として生成するシミュレーション画像生成手段１０２を有する。
【0012】
更に、前記シミュレーション画像と、所望の撮影画像との類似度を評価する評価手段１０３、評価手段１０３による評価結果が高くなるように、類似度に応じた撮影条件を収集し、類似度に応じた撮影条件をユーザーに通知する通知手段１０４を有する。
本実施例では、評価手段１０３は、シミュレーション画像と所望の撮影画像における、明るさと（背景の）ボケ量の少なくとも１つの類似度を評価するように構成されている。
本実施例では、評価手段１０３は、シミュレーション画像と所望の撮影画像における、明るさと（背景の）ボケ量の少なくとも１つの類似度を評価するように構成されている。
【0013】
制御手段１０５は前記情報入力手段１００によって入力された情報に基づいて、前記仮想空間構築手段１０１、シミュレーション画像生成手段１０２、評価手段１０３、通知手段１０４の制御を行う。制御手段１０５にはコンピュータとしてのＣＰＵが内蔵されており、メモリに記憶されたコンピュータプログラムに基づき装置全体の、例えば図１１、１５、２０、２５、３２のフローチャート等の動作を実行させる。
【0014】
また、仮想空間構築手段１０１、シミュレーション画像生成手段１０２、評価手段１０３、通知手段１０４等は、制御手段１０５のコンピュータがコンピュータプログラムを実行することによってそれぞれの機能を実行する。なお、仮想空間構築手段１０１、シミュレーション画像生成手段１０２、評価手段１０３、通知手段１０４等は、制御手段１０５に一部または全部が含まれていてもよいし、それぞれの機能をディスクリートな回路によって構成してもよい。
以下に、図１の構成それぞれの詳細について説明する。
以下に、図１の構成それぞれの詳細について説明する。
【0015】
前記情報入力手段１００は、イベントの情報や撮影情報、所望の撮影画像等を入力するための入力手段である。前記イベントの情報は、撮影対象となるイベントが催される会場のレイアウト、会場の背景情報、会場の光源情報、イベント内容やイベント順序等に関するイベントプログラム情報等の少なくとも１つを含む。
【0016】
情報入力手段は、イベント会場の明るさに関する情報、イベント会場の背景画像の少なくとも１つを入力可能である。
イベントとは運動会、運動競技会、レース、お遊戯、学芸会、お祭り、ライブ音楽イベント、結婚式等の大勢の人を集めて催す催し事を指す。
イベントとは運動会、運動競技会、レース、お遊戯、学芸会、お祭り、ライブ音楽イベント、結婚式等の大勢の人を集めて催す催し事を指す。
【0017】
会場レイアウトは、イベントが行われる会場の俯瞰図を含む。
図２は実施例１における運動会の場合の会場レイアウトの一例を示す図である。図２の２００はイベント会場となる運動場（校庭）であり、左上を原点（０，０）とする２次元（Ｘ、Ｙ）の座標空間で表される。図２の２０１は運動会の各競技で走路や境界線として使用されるトラック、２０２は校舎、２０３～２０５は運動場に植えられた樹木などの撮影時の背景となる物体（以降、背景物体と表記）を表している。
図２は実施例１における運動会の場合の会場レイアウトの一例を示す図である。図２の２００はイベント会場となる運動場（校庭）であり、左上を原点（０，０）とする２次元（Ｘ、Ｙ）の座標空間で表される。図２の２０１は運動会の各競技で走路や境界線として使用されるトラック、２０２は校舎、２０３～２０５は運動場に植えられた樹木などの撮影時の背景となる物体（以降、背景物体と表記）を表している。
【0018】
図３は会場の背景情報の例を示す図である。会場の背景情報とは、イベントが行われる会場とその周辺に配置された背景物体を撮影した画像群である。図２に示した運動会の会場レイアウトの場合の背景情報は、例えば校庭に配置された校舎２０２を撮影した図３（Ａ）、（Ｂ）に示す画像や、周辺に植えられた樹木２０３、２０４、２０５を撮影した図３（Ｃ）、（Ｄ）に示す画像等である。
【0019】
図３に示すように、背景情報（背景画像）は異なる複数の視点から撮影し、入力しておくことで、合成処理を用いて任意の視点からの背景画像を生成することができる。画像の取得方法については事前にイベント会場でスマートフォン等の携帯性の高いカメラを用いて撮影を行ってもよいし、既にクラウド上にイベント会場に関する画像がある場合はそれらをダウンロードにより取得してもよい。
【0020】
なお、入力される画像は適正な明るさでかつピントが合っているものとする。複数の視点の画像を基に、任意の視点の画像を合成する技術や、合成に適した複数枚の画像を過不足なく撮影する技術については公知の技術が各種存在するためここでは詳細説明は省略する。
光源情報は、イベントが開催される会場の照明条件（例えば明るさや色温度）に関する情報である。
光源情報は、イベントが開催される会場の照明条件（例えば明るさや色温度）に関する情報である。
【0021】
図４は光源情報の一例を示す図であり、図４に示すようなイベント会場の照明条件に対応するＥＶ（Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）値のリストを予め作成し、その中から選択される。屋外イベントなどで当日の照明条件が天候により左右される可能性がある場合は、複数の照明条件を選択してそれぞれの条件でシミュレーションを実行してもよい。
なお、光源情報としての明るさ情報は、イベント開催日時の天気予報等のデータをダウンロードして自動的に設定してもよい。その際に天気予報に応じて色温度情報も光源情報として入力するようにしてもよい。
なお、光源情報としての明るさ情報は、イベント開催日時の天気予報等のデータをダウンロードして自動的に設定してもよい。その際に天気予報に応じて色温度情報も光源情報として入力するようにしてもよい。
【0022】
イベントプログラム情報は、イベントの内容、イベントの順序、イベントに参加している被写体の動き情報を表す被写体位置情報等を含む。
被写体位置情報は、イベントが行われている各時刻における被写体の位置と被写体の向きの少なくとも１つに関する情報を含む。
図５は徒競走における被写体位置情報の例について説明するための図であり、運動会の徒競走を例に図５を用いて被写体位置情報の概要を説明する。
被写体位置情報は、イベントが行われている各時刻における被写体の位置と被写体の向きの少なくとも１つに関する情報を含む。
図５は徒競走における被写体位置情報の例について説明するための図であり、運動会の徒競走を例に図５を用いて被写体位置情報の概要を説明する。
【0023】
図中の５０１、５０２、５０３、５０４は競技に参加している４人の生徒（被写体）を表している。また、時刻Ｔ０、Ｔ１、Ｔ２・・ＴＮと進んでいくに従って、運動場５００内に引かれたトラック５０５のスタートからゴールに向かって各生徒が移動していく様子を示している。
ここで、各生徒の位置については図２の会場レイアウトと同様にＸＹ座標で表現される。
ここで、各生徒の位置については図２の会場レイアウトと同様にＸＹ座標で表現される。
【0024】
また、図６は被写体向きの指定方法の一例を示す図であり、生徒の向きについては図６に示すように３６０度を均等分割した矢印の方向（Ｄ０～Ｄ１５）で表現される。
図７は被写体位置情報のフォーマットの例を示す図であり、情報入力手段１００に入力される被写体位置情報は図７に示すように、複数の被写体について各時刻における位置と向きの情報のセットで構成される。
図７は被写体位置情報のフォーマットの例を示す図であり、情報入力手段１００に入力される被写体位置情報は図７に示すように、複数の被写体について各時刻における位置と向きの情報のセットで構成される。
【0025】
被写体位置情報はイベントのプログラム別に（運動会の場合は、徒競走や綱引きなどの競技別に）、情報入力手段１００内に複数のプリセットデータ（登録データ）として保存しておくことが可能である。これにより、ユーザーは予め保存された被写体位置情報をイベントのプログラムに応じて複数のプリセットデータから選択可能となる。
【0026】
イベントで催される内容や順序は、イベントプログラム情報として入力することになるが、そのためのＵｓｅｒ Ｉｎｔｅｒｆａｃｅ（以降、ＵＩと略記）に関してはここでは言及しない。事前に数値化されているデータを流し込んでもいいし、Ｇｒａｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ（以降、ＧＵＩと略記）によってユーザーに入力するようにしてもよい。或いはネット等を介してダウンロードしてもよい。
【0027】
続いて撮影情報について説明する。撮影情報は、撮影位置、撮影方向、撮影画角を含むとともに、絞り値、シャッター速度、ＩＳＯ感度、ホワイトバランスデータ（色温度データ）の少なくとも１つに関する情報を含む。
撮影位置は、イベント会場においてカメラマンあるいはドローン等の撮影機材（以降、カメラと表記）が侵入（立ち入り）可能な領域についての情報を含む。
撮影位置は、イベント会場においてカメラマンあるいはドローン等の撮影機材（以降、カメラと表記）が侵入（立ち入り）可能な領域についての情報を含む。
【0028】
図８は撮影位置情報の一例を示す図であり、図８（Ａ）は撮影位置の概要で運動場８００の周辺の黒丸で示されるＰ０～Ｐ１５が撮影可能な位置を示している。
それぞれの撮影位置は図８（Ｂ）のようにＸＹ座標のリストを用いて表現される。撮影位置はイベント会場内の点情報としてではなく領域情報として扱われてもよい。
撮影方向は、カメラが撮影を行う方向であり、本実施例では図６と同様に３６０度を均等分割した矢印の方向（Ｄ０～Ｄ１５）で表現される。
撮影画角は、カメラに装着されたレンズの撮影範囲を表す指標である。例えばセンサーサイズ３５ｍｍとして換算した場合の焦点距離（ｍｍ）で表わす。
それぞれの撮影位置は図８（Ｂ）のようにＸＹ座標のリストを用いて表現される。撮影位置はイベント会場内の点情報としてではなく領域情報として扱われてもよい。
撮影方向は、カメラが撮影を行う方向であり、本実施例では図６と同様に３６０度を均等分割した矢印の方向（Ｄ０～Ｄ１５）で表現される。
撮影画角は、カメラに装着されたレンズの撮影範囲を表す指標である。例えばセンサーサイズ３５ｍｍとして換算した場合の焦点距離（ｍｍ）で表わす。
【0029】
図９は撮影情報の例を示す図であり、本実施例では図９（Ａ）に示すように広角（１６ｍｍ）から超望遠（８００ｍｍ）までの離散的な画角をＦ０からＦ１２に対応づけて表現する。
絞り値は、カメラが撮影を行う際の露光量を調整するための指標であり、Ｆ値を用いて表される。Ｆ値が小さいほど、レンズは明るくなる（露光量が多くなる）一方、撮影被写体の前後でピントが合う領域（被写界深度）が狭くなるという特性がある。
絞り値は、カメラが撮影を行う際の露光量を調整するための指標であり、Ｆ値を用いて表される。Ｆ値が小さいほど、レンズは明るくなる（露光量が多くなる）一方、撮影被写体の前後でピントが合う領域（被写界深度）が狭くなるという特性がある。
【0030】
Ｆ値の最小値、最大値はカメラ装着されたレンズによって取り得る範囲が異なる。本実施例ではＦ値Ｎを以下の式１によりＡＶ（Ａｐｅｒｔｕｒｅ Ｖａｌｕｅ）値に対応づけて表現する。
ＡＶ＝２ｌｏｇ２Ｎ ・・・（式１）
ＡＶ値を用いることで、図９（Ｂ）に示すようにＦ１．０からＦ３２までの離散的な絞り値をＡＶ０からＡＶ１０までの連続した値に対応づけて表現できる。
ＡＶ＝２ｌｏｇ２Ｎ ・・・（式１）
ＡＶ値を用いることで、図９（Ｂ）に示すようにＦ１．０からＦ３２までの離散的な絞り値をＡＶ０からＡＶ１０までの連続した値に対応づけて表現できる。
【0031】
シャッター速度は、撮影を行うカメラの露光時間を表す指標である。一般的なカメラにおいては数秒から数千分の一秒という設定範囲となる。シャッター速度が遅くなるほど暗い場所でも明るい画像を撮影することができるが、撮影時の手ぶれあるいは被写体ぶれの影響が大きくなる為、撮影を失敗する可能性が高くなる。本実施例ではシャッター速度ｔを以下の式２によりＴＶ（Ｔｉｍｅ Ｖａｌｕｅ）値に対応づけて表現する。
ＴＶ＝ｌｏｇ２（１／ｔ）・・・（式２）
ＴＶ値を用いることで、図９（Ｃ）に示すように１秒から、１／８０００秒までの離散的なシャッター速度をＴｖ０からＴｖ１３までの連続した値に対応づけて表現できる。
ＴＶ＝ｌｏｇ２（１／ｔ）・・・（式２）
ＴＶ値を用いることで、図９（Ｃ）に示すように１秒から、１／８０００秒までの離散的なシャッター速度をＴｖ０からＴｖ１３までの連続した値に対応づけて表現できる。
【0032】
ＩＳＯ感度は、撮影を行うカメラに実装されたセンサーの感度設定である。数値の頭にＩＳＯをつけてＩＳＯ１００、ＩＳＯ２０と表される。
一般的なカメラではＩＳＯ感度の設定範囲は数百から数万という値となる。数値が大きくなるほど暗い場所でも明るい画像を撮影することができるが、ノイズの影響が大きくなる為画質が劣化する。
一般的なカメラではＩＳＯ感度の設定範囲は数百から数万という値となる。数値が大きくなるほど暗い場所でも明るい画像を撮影することができるが、ノイズの影響が大きくなる為画質が劣化する。
【0033】
本実施例ではＩＳＯ感度Ｓを以下の式３によりＳＶ（Ｓｅｎｓｉｖｉｔｙ Ｖａｌｕｅ）値に対応づけて表現する。
ＳＶ＝ｌｏｇ２（Ｓ／１００）・・・（式３）
ＳＶ値を用いることで、図９（Ｄ）に示すようにＩＳＯ１００からＩＳＯ５１２００までの離散的なＩＳＯ感度をＳＶ０からＳＶ９の連続した値に対応づけて表現できる。
ＳＶ＝ｌｏｇ２（Ｓ／１００）・・・（式３）
ＳＶ値を用いることで、図９（Ｄ）に示すようにＩＳＯ１００からＩＳＯ５１２００までの離散的なＩＳＯ感度をＳＶ０からＳＶ９の連続した値に対応づけて表現できる。
【0034】
続いて所望の撮影画像について説明する。所望の撮影画像とは、ユーザーが撮影したい画像のサンプルイメージに関する情報であり、サンプルとしての画像情報を含むとともに、被写体の人数、顔の位置、顔のサイズ、顔の向きの少なくとも１つと紐付けて（関連付けて）保存されている。
図１０は所望の撮影画像の一例を示す図である。
図１０は所望の撮影画像の一例を示す図である。
【0035】
本実施例では、図１０（Ａ）、（Ｂ）のようなサンプル画像をプリセットデータとして多数用意しておく。そして、それぞれのサンプル画像に対して被写体の人数、顔の位置、顔のサイズ、顔の向き、背景物体の位置とサイズ、向きを紐付けて（関連付けて）保存しておく。保存場所はネット上のクラウド等であってもよい。
所望の撮影画像の入力手段は様々な方法が考えられるが、過去に開催された同イベントの撮影画像あるいはイラストなどが入力として使用される。
ユーザーはプリセットデータとして保存された複数のサンプル画像を例えばネットを介してダウンロードし、その中から所望の撮影画像を選択可能である。
所望の撮影画像の入力手段は様々な方法が考えられるが、過去に開催された同イベントの撮影画像あるいはイラストなどが入力として使用される。
ユーザーはプリセットデータとして保存された複数のサンプル画像を例えばネットを介してダウンロードし、その中から所望の撮影画像を選択可能である。
【0036】
その選択されたサンプル画像に紐付けられた情報を入力情報として保持する。所望の撮影画像は複数選択できるようにしてもよい。
なお、それぞれのサンプル画像に対して顔の明るさ情報、顔のボケ情報も紐づけして保存しておく。更には被写体の色や色温度等も紐づけして保存してもよい。
続いて仮想空間構築手段１０１について説明する。仮想空間構築手段１０１は、情報入力手段１００により入力されたイベント情報をもとに、イベント状況を被写体モデルによって再現した仮想空間を生成する。
なお、それぞれのサンプル画像に対して顔の明るさ情報、顔のボケ情報も紐づけして保存しておく。更には被写体の色や色温度等も紐づけして保存してもよい。
続いて仮想空間構築手段１０１について説明する。仮想空間構築手段１０１は、情報入力手段１００により入力されたイベント情報をもとに、イベント状況を被写体モデルによって再現した仮想空間を生成する。
【0037】
図１１は仮想空間構築のフローチャート、図１２は会場レイアウトの座標変換の一例を示す図、図１３は被写体モデルのイメージを示す図であり、仮想空間の生成の流れを図１１～図１３を用いて説明する。
まずステップＳ１１０１で、仮想空間構築手段１０１は情報入力手段１００に入力された２次元の会場レイアウトを図１２に示すように３次元の座標空間（ｘｙｚ座標系）に変換する。
まずステップＳ１１０１で、仮想空間構築手段１０１は情報入力手段１００に入力された２次元の会場レイアウトを図１２に示すように３次元の座標空間（ｘｙｚ座標系）に変換する。
【0038】
続いてステップＳ１１０２で、仮想空間構築手段１０１は情報入力手段１００に入力されたイベントプログラム情報を基に３次元の座標空間に被写体モデルを配置する。配置する被写体モデルの一例を図１３に示す。図１３において、１３０１は運動会の被写体となる生徒の被写体モデルであり３次元の座標空間では多面体（ポリゴン）で表現される。図中の１３０２は生徒の顔の向きを示す正面マークである。図１３の被写体モデルを被写体位置情報に従い３次元座標空間に複数配置する。
【0039】
図１４は仮想空間への被写体モデル配置の一例を示す図であり、時刻Ｔ０においてスタートライン付近の仮想空間を表示している。被写体モデル１４０１、１４０２、１４０３、１４０４の位置と向きは被写体位置情報に基づいて時刻によって変化する。
さらに、仮想空間構築手段１０１は、被写体モデルに対し、前記被写体位置情報の内容に基づいてポーズをとらせたり、競技に参加していない生徒や、父兄などの観覧者を仮想空間に配置したりすることも可能である。
さらに、仮想空間構築手段１０１は、被写体モデルに対し、前記被写体位置情報の内容に基づいてポーズをとらせたり、競技に参加していない生徒や、父兄などの観覧者を仮想空間に配置したりすることも可能である。
【0040】
ポリゴンの被写体モデルに所望のポーズをとらせる方法に関しては、３Ｄゲーム等と同様であり、すでに広く公知であるためここでは詳細な説明を省略する。
続いてシミュレーション画像生成手段１０２について図１５を用いて説明する。シミュレーション画像生成手段１０２は、前記仮想空間内で種々の撮影条件で撮影を行った場合に得られるシミュレーション画像を生成する。
続いてシミュレーション画像生成手段１０２について図１５を用いて説明する。シミュレーション画像生成手段１０２は、前記仮想空間内で種々の撮影条件で撮影を行った場合に得られるシミュレーション画像を生成する。
【0041】
図１５はシミュレーション画像生成のフローチャートである。
まずステップＳ１５０１でシミュレーション画像生成手段１０２は、被写体モデルが配置された３次元座標空間内で撮影を行う際の撮影条件（撮影位置、撮影向き、画角、絞り値、シャッター速度、ＩＳＯ感度、照明条件等）を決定する。撮影位置は情報入力手段１００に入力された図８のＰ０～Ｐ１５から選択される。
まずステップＳ１５０１でシミュレーション画像生成手段１０２は、被写体モデルが配置された３次元座標空間内で撮影を行う際の撮影条件（撮影位置、撮影向き、画角、絞り値、シャッター速度、ＩＳＯ感度、照明条件等）を決定する。撮影位置は情報入力手段１００に入力された図８のＰ０～Ｐ１５から選択される。
【0042】
撮影向きは情報入力手段１００に入力された図６のＤ０～Ｄ１５から選択される。画角は情報入力手段１００に入力された図９（Ａ）のＦ０～Ｆ１２から選択される。絞り値は情報入力手段１００に入力された図９（Ｂ）のＡＶ０～ＡＶ１０から選択される。シャッター速度は情報入力手段１００に入力された図９（Ｂ）のＴＶ０～ＴＶ１３から選択される。ＩＳＯ感度は情報入力手段１００に入力された図９（Ｄ）のＳＶ５～ＡＶ１４から選択される。
【0043】
照明条件は情報入力手段１００に入力された図４の光源情報ＥＶ１～ＥＶ１４から選択される。
続いて、ステップＳ１５０２でシミュレーション画像生成手段１０２は、ステップＳ１５０１で選択された撮影位置、向き、画角で前記仮想空間内を撮影した場合に得られる２次元の画像（投影画像）を得るための投影処理を実施する。投影処理については透視投影など一般的に知られた技術で実施可能であるため詳細な説明は省略する。
続いて、ステップＳ１５０２でシミュレーション画像生成手段１０２は、ステップＳ１５０１で選択された撮影位置、向き、画角で前記仮想空間内を撮影した場合に得られる２次元の画像（投影画像）を得るための投影処理を実施する。投影処理については透視投影など一般的に知られた技術で実施可能であるため詳細な説明は省略する。
【0044】
図１６は投影画像の一例を示す図であり、時刻Ｔ１において、撮影位置Ｐ１４から撮影向きＤ４の方向にＦ６の画角で撮影を行った場合に得られる投影画像である。画面１６００の中に競技者を表す被写体モデル１６０１、１６０２、１６０３が配置された画像が得られる。投影画像の被写体モデルおよび仮想空間の明るさについては適正な明るさで生成される。
【0045】
続いて、ステップＳ１５０３でシミュレーション画像生成手段１０２は、ステップＳ１５０２で生成された投影画像に対して背景画像を付加する。背景画像は情報入力手段１００に入力された会場の背景情報を基にステップＳ１５０１で設定された撮影位置と向き、画角に応じて複数視点の画像データを合成することで生成される。
即ち、シミュレーション画像生成手段は、イベント会場の背景の画像データをもとにシミュレーション画像に背景画像を付加することができるように構成されている。
即ち、シミュレーション画像生成手段は、イベント会場の背景の画像データをもとにシミュレーション画像に背景画像を付加することができるように構成されている。
【0046】
複数の視点を用いた画像データ生成は、任意視点画像合成技術と呼ばれ公知であるため、ここでは詳細な説明は省略する。
図１７は投影画像に対して背景が付加されたシミュレーション画像の一例を示す図である。
図２の校庭に植えられた樹木２０４、樹木２０５に対応する背景物体１７０１、１７０２が投影画像に追加されている。合成前の複数視点の画像の明るさについては予め適正な明るさに調整されている為、合成後の画像の明るさについても適正となる。
図１７は投影画像に対して背景が付加されたシミュレーション画像の一例を示す図である。
図２の校庭に植えられた樹木２０４、樹木２０５に対応する背景物体１７０１、１７０２が投影画像に追加されている。合成前の複数視点の画像の明るさについては予め適正な明るさに調整されている為、合成後の画像の明るさについても適正となる。
【0047】
続いて、ステップＳ１５０４でシミュレーション画像生成手段１０２は、ステップＳ１５０３で背景が付加された投影画像に対して明るさの調整を行う。画像の明るさは画像全体が自然に見える明るさを適正と表現する。意図的に明るく撮影された画像の場合は、オーバー（Ｎ段）で表現する。Ｎの値は画像の明るさが適正の場合を基準に明るさ（輝度値）が２倍、４倍になるについてオーバー１段、オーバー２段と表現する。
【0048】
また意図的に暗く撮影された画像の場合は、アンダー（Ｍ段）で表現する。Ｍの値は画像の明るさが適正の場合を基準に明るさ（輝度値）が１／２、１／４になるについてアンダー１段、アンダー２段と表現する。
画像の明るさ（Ｌ）は照明条件（ＥＶ）、絞り値（ＡＶ）、シャッター速度（ＴＶ）、ＩＳＯ感度（ＳＶ）が与えられた場合に以下の式４で算出される。
Ｌ＝（ＥＶ＋ＳＶ）－（ＡＶ＋ＴＶ）・・・（式４）
画像の明るさ（Ｌ）は照明条件（ＥＶ）、絞り値（ＡＶ）、シャッター速度（ＴＶ）、ＩＳＯ感度（ＳＶ）が与えられた場合に以下の式４で算出される。
Ｌ＝（ＥＶ＋ＳＶ）－（ＡＶ＋ＴＶ）・・・（式４）
【0049】
Ｌが０となる場合、撮影画像は適正な明るさになる。背景が付加された画像は被写体モデル、背景物体ともに明るさは適正で出力される為Ｌが０の場合は明るさの調整は行わない。
Ｌが０より大きな値となる場合は、撮影画像はオーバーＬ段の明るさになる。この場合は背景が付加された画像の各画素の輝度値Ｙ（ｘ、ｙ）を以下の式５を用いて輝度値Ｙ‘（ｘ、ｙ）に変換する。
Ｙ‘（ｘ，ｙ）＝２Ｌ＊Ｙ（ｘ，ｙ） ・・・（式５）
Ｌが０より大きな値となる場合は、撮影画像はオーバーＬ段の明るさになる。この場合は背景が付加された画像の各画素の輝度値Ｙ（ｘ、ｙ）を以下の式５を用いて輝度値Ｙ‘（ｘ、ｙ）に変換する。
Ｙ‘（ｘ，ｙ）＝２Ｌ＊Ｙ（ｘ，ｙ） ・・・（式５）
【0050】
Ｌが負の値となる場合、撮影画像はアンダーＬ段の明るさになる。この場合は背景が付加された画像の各画素の輝度値Ｙ（ｘ，ｙ）を以下の式６を用いて輝度値Ｙ‘（ｘ，ｙ）に変換する。
Ｙ‘（ｘ，ｙ）＝（１／２｜Ｌ｜）＊Ｙ（ｘ，ｙ）・・・（式６）
上記のように、シミュレーション画像生成手段は、入力された撮影条件をもとに、前記シミュレーション画像の明るさを調整することができ、撮影条件に応じて画像の明るさを調整した画像をシミュレーション画像として出力する。
Ｙ‘（ｘ，ｙ）＝（１／２｜Ｌ｜）＊Ｙ（ｘ，ｙ）・・・（式６）
上記のように、シミュレーション画像生成手段は、入力された撮影条件をもとに、前記シミュレーション画像の明るさを調整することができ、撮影条件に応じて画像の明るさを調整した画像をシミュレーション画像として出力する。
【0051】
図１８は明るさ調整されたシミュレーション画像の一例を示す図である。
図１８では、照明条件が屋外曇天（ＥＶ１２）、絞り値Ｆ４．０（ＡＶ４）、シャッター速度１／５００（ＴＶ９）、ＩＳＯ感度１００（ＳＶ０）の場合の画像の明るさを調整したシミュレーション画像の例を示す。
画像の明るさＬはー１（アンダー１段）となるため、図１７の画像に対して、画面全体の明るさ（輝度値）が半減した画像となる。
図１８では、照明条件が屋外曇天（ＥＶ１２）、絞り値Ｆ４．０（ＡＶ４）、シャッター速度１／５００（ＴＶ９）、ＩＳＯ感度１００（ＳＶ０）の場合の画像の明るさを調整したシミュレーション画像の例を示す。
画像の明るさＬはー１（アンダー１段）となるため、図１７の画像に対して、画面全体の明るさ（輝度値）が半減した画像となる。
【0052】
尚、本実施例では全画像に対して一律の明るさ調整を実施したが、被写体毎の反射率を考慮して明るさを調整してもよい。その場合、被写体や背景物体の反射率については被写体モデルや情報入力手段１００に入力された会場の背景情報に反射率を紐づけておけばよい。
【0053】
また、屋外など太陽が光源となる場合は時刻によって照射角度が異なる場合がある。このような場合も光源情報として照明条件（ＥＶ値）だけでなく、時刻毎の照射角度を合わせて入力しておくことで被写体の影や、顔の明るさなどを精細に再現することができる。
被写体毎の反射率や光源の照射角度を考慮した明るさ調整の方法に関しては、光線追跡法やフォトンマッピング法などの公知の技術を用いれば良く、ここでは詳細は言及しない。
被写体毎の反射率や光源の照射角度を考慮した明るさ調整の方法に関しては、光線追跡法やフォトンマッピング法などの公知の技術を用いれば良く、ここでは詳細は言及しない。
【0054】
続いて、ステップＳ１５０５では、ステップＳ１５０４で明るさが調整された画像に対してボケの付加を行う。ボケを付加する前の画像のある一点Ｐ（Ｘ，Ｙ）の画素値をＰ（Ｘ，Ｙ）、ボケ付加後の値をＰ‘（Ｘ，Ｙ）とすると、Ｐ’とＰの関係は撮影を行うカメラに装着されたレンズの光学伝達特性を示す点像分布関数ＰＳＦを用いて以下の式７で表される。
Ｐ‘（Ｘ，Ｙ）＝Ｐ（Ｘ，Ｙ）＊ＰＳＦ（Ｆ，ｄ，Ｄ，ＡＶ）・・・（式７）
Ｐ‘（Ｘ，Ｙ）＝Ｐ（Ｘ，Ｙ）＊ＰＳＦ（Ｆ，ｄ，Ｄ，ＡＶ）・・・（式７）
【0055】
ここでＦは焦点距離（撮影画角）、ｄは撮影位置から主被写体（ピントを合わせる被写体）までの距離、Ｄは撮影位置から背景物体までの距離、ＡＶは絞り値である。
主被写体および背景物体までの距離については撮影時刻と撮影位置が決まれば、図２の会場レイアウトおよび図５のイベントプログラム情報等から一意に算出される。上記の式７の演算をシミュレーション画像の全ての画素について実施することで背景ボケが付加されたシミュレーション画像を得ることができる。
主被写体および背景物体までの距離については撮影時刻と撮影位置が決まれば、図２の会場レイアウトおよび図５のイベントプログラム情報等から一意に算出される。上記の式７の演算をシミュレーション画像の全ての画素について実施することで背景ボケが付加されたシミュレーション画像を得ることができる。
【0056】
このように、本実施例では、シミュレーション画像生成手段は、入力された撮影条件をもとに、シミュレーション画像の主被写体や背景画像等の少なくとも１つにボケを付加することができる。
一般的にカメラに装着されたレンズの焦点距離、絞り値が同じであれば、被写体までの距離と背景物体までの距離の差が大きくなるほどボケ量は大きくなる。また被写体までの距離と背景物体までの距離が同じであれば、カメラに装着されたレンズの焦点距離が長いほど、絞り値については値が小さいほどボケ量は大きくなる。
一般的にカメラに装着されたレンズの焦点距離、絞り値が同じであれば、被写体までの距離と背景物体までの距離の差が大きくなるほどボケ量は大きくなる。また被写体までの距離と背景物体までの距離が同じであれば、カメラに装着されたレンズの焦点距離が長いほど、絞り値については値が小さいほどボケ量は大きくなる。
【0057】
図１９は背景ボケが付加されたシミュレーション画像の一例を示す図である。
図１９ではピント位置である主被写体１９０１に対して後ろを走る被写体１９０２、１９０３にボケが付加される。ボケの量に関して、主被写体１９０１との距離が大きい１９０３のほうが１９０２より大きなボケが付加されている。同様に背景物体１９０４、１９０５に対しても主被写体１９０１との距離に応じたボケが付加されている。
図１９ではピント位置である主被写体１９０１に対して後ろを走る被写体１９０２、１９０３にボケが付加される。ボケの量に関して、主被写体１９０１との距離が大きい１９０３のほうが１９０２より大きなボケが付加されている。同様に背景物体１９０４、１９０５に対しても主被写体１９０１との距離に応じたボケが付加されている。
【0058】
続いて評価手段１０３について説明する。評価手段１０３は、シミュレーション画像生成手段１０２で生成されたシミュレーション画像と、情報入力手段１００で入力、選択された所望の撮影画像との類似度を評価する。
図２０は類似度算出のフローチャートであり、評価手段１０３による類似度の評価を図２０のフローチャートを用いて説明する。
まずステップＳ２００１で、評価手段１０３は、シミュレーション画像中の人物領域について人数の類似度（Ｍｎ）、顔の位置の類似度（Ｍｐ）を算出する。また、顔のサイズの類似度（Ｍｓ）、顔の向きの類似度（Ｍｄ）、顔の明るさの類似度（Ｍｌ）、ボケ量の類似度（Ｍｂ）を算出する。
図２０は類似度算出のフローチャートであり、評価手段１０３による類似度の評価を図２０のフローチャートを用いて説明する。
まずステップＳ２００１で、評価手段１０３は、シミュレーション画像中の人物領域について人数の類似度（Ｍｎ）、顔の位置の類似度（Ｍｐ）を算出する。また、顔のサイズの類似度（Ｍｓ）、顔の向きの類似度（Ｍｄ）、顔の明るさの類似度（Ｍｌ）、ボケ量の類似度（Ｍｂ）を算出する。
【0059】
被写体人数の類似度（Ｍｎ）は、シミュレーション画像中の被写体人数をｎ、所望の撮影画像に紐付けられた被写体人数をｍとした場合に、ｍ－ｎの絶対値を人数差分と定義する。この人数差分から類似度を求める。
図２１は類似度算出用グラフの一例を示す図であり、図２１（Ａ）に人数差分を横軸に、類似度を縦軸にしたグラフを示す。図２１（Ａ）は人数差分が大きい程類似度が直線的に小さくなるグラフになっているが、これは一例であり、曲線であってもかまわない。
図２１は類似度算出用グラフの一例を示す図であり、図２１（Ａ）に人数差分を横軸に、類似度を縦軸にしたグラフを示す。図２１（Ａ）は人数差分が大きい程類似度が直線的に小さくなるグラフになっているが、これは一例であり、曲線であってもかまわない。
【0060】
顔の位置の類似度（Ｍｐ）は、シミュレーション画像中の被写体の顔の中心の位置（Ｘｃ，Ｙｃ）と、所望の撮影画像に紐付けられた顔の中心の位置（Ｘｓ，Ｙｓ）とのユークリッド距離を求め、このユークリッド距離から類似度を求める。図２１（Ｂ）にユークリッド距離を横軸に、類似度を縦軸にしたグラフに示す。
【0061】
図２１（Ｂ）のグラフに示したカーブは一例であり、別の形状であってもかまわない。シミュレーション画像と所望の撮影画像に複数の顔が含まれる場合は、最もユークリッド距離が小さくなる組み合わせでペアリングを行い、それぞれの顔の位置の類似度を算出する。算出されたそれぞれの顔の位置の類似度の平均値を画像全体の顔の位置の類似度（Ｍｐ）とする。
【0062】
顔のサイズの類似度（Ｍｓ）は、顔の中心からの半径で示される顔のサイズを用いて計算する。シミュレーション画像中の被写体の顔のサイズをＲｃ、所望の撮影画像に紐付けられた顔のサイズをＲｓとする場合に、Ｒｓ－Ｒｃの絶対値を顔のサイズ差Ｒｄと定義する。図２１（Ｃ）に顔のサイズ差Ｒｄを横軸に、類似度を縦軸にしたグラフを示す。
【0063】
図２１（Ｃ）のグラフに示したカーブは一例であり、別の形状であってもかまわない。シミュレーション画像と所望の撮影画像に複数の顔が含まれる場合は、前記顔の位置の類似度算出の際にペアリングした組み合わせで、それぞれの顔のサイズの類似度を算出する。算出されたそれぞれの顔のサイズの類似度の平均値を画像全体の顔のサイズの類似度（Ｍｓ）とする。
【0064】
顔の向きの類似度（Ｍｄ）は、シミュレーション画像中の被写体の顔の向きと、所望の撮影画像に紐付けられた顔の向きとを、それぞれ三次元空間上の方向ベクトルとして、類似性を評価する。
図２２は顔の向きに関する類似度算出方法の例を説明する図である。例えば、図２２に示すように、着目している顔の中心座標を含むＸ－Ｙ平面９００を切り出し、顔の向きを示すベクトルをその平面上に投影し、投影したベクトルが向いている方向を求める。シミュレーション画像中の被写体の顔の向きと、所望の撮影画像に紐付けられた顔の向きとを重ね合わせ、それら２つのベクトルが成す角の小さい方の角を求める。
図２２は顔の向きに関する類似度算出方法の例を説明する図である。例えば、図２２に示すように、着目している顔の中心座標を含むＸ－Ｙ平面９００を切り出し、顔の向きを示すベクトルをその平面上に投影し、投影したベクトルが向いている方向を求める。シミュレーション画像中の被写体の顔の向きと、所望の撮影画像に紐付けられた顔の向きとを重ね合わせ、それら２つのベクトルが成す角の小さい方の角を求める。
【0065】
角度の差の絶対値は０°～３６０°となるが、１８０°を超えた場合は、３６０°から引いた角度にすることにより前記小さい方の角を求められる。前記小さい方の角の値０°～１８０°を１００％～０％に対応させることでＸ－Ｙ平面９００における類似度となる。Ｘ－Ｚ平面９０１についても同様に類似度を求め、Ｘ－Ｙ平面９００における類似度と、Ｘ－Ｚ平面９０１における類似度を掛け合わせた値を当該２つの顔の向きの類似度とする。
【0066】
シミュレーション画像と所望の撮影画像に複数の顔が含まれる場合は、前記顔の位置の類似度算出の際にペアリングした組み合わせで、それぞれの顔の向きの類似度を算出する。算出されたそれぞれの顔の向きの類似度の平均値を画像全体の顔の向きの類似度（Ｍｄ）とする。
顔の向きのベクトルのなす角度を横軸に、類似度を縦軸にしたグラフを図２１（Ｄ）に示す。図２１（Ｄ）のグラフに示したカーブは一例であり、別の形状であってもかまわない。
顔の向きのベクトルのなす角度を横軸に、類似度を縦軸にしたグラフを図２１（Ｄ）に示す。図２１（Ｄ）のグラフに示したカーブは一例であり、別の形状であってもかまわない。
【0067】
顔の明るさの類似度（Ｍｌ）は、シミュレーション画像中の被写体の顔の明るさの平均値Ｌｓと、所望の撮影画像に紐付けられた顔の明るさの平均値Ｌｒとの差分から類似度を求める。Ｌｓ－Ｌｒの絶対値を顔の明るさの差Ｌｄと定義する。Ｌｄの取り得る範囲は輝度値を８ｂｉｔで表現する場合０から２５５までの値となる。顔の明るさの差Ｌｄを横軸に、類似度を縦軸にしたグラフを図２１（Ｅ）に示す。
【0068】
なお、図２１（Ｅ）のグラフに示したカーブは一例であり、別の形状であってもかまわない。
シミュレーション画像と所望の撮影画像に複数の顔が含まれる場合は、前記顔の位置の類似度算出の際にペアリングした組み合わせで、それぞれの顔の明るさの類似度を算出する。算出されたそれぞれの顔の明るさの類似度の平均値を画像全体の顔の明るさの類似度（Ｍｌ）とする。
シミュレーション画像と所望の撮影画像に複数の顔が含まれる場合は、前記顔の位置の類似度算出の際にペアリングした組み合わせで、それぞれの顔の明るさの類似度を算出する。算出されたそれぞれの顔の明るさの類似度の平均値を画像全体の顔の明るさの類似度（Ｍｌ）とする。
【0069】
ボケ量の類似度（Ｍｂ）は、シミュレーション画像中の被写体の顔のボケ量Ｂｓと所望の撮影画像に紐付けられた顔のボケ量Ｂｒとの差分から類似度を求める。
図２３はボケ量検出用２次元フィルター特性の一例を示す図である。
ボケ量は、顔の輪郭部の画素値Ｐ（ｉ、ｊ）に対して図２３のような重み付け特性の２次元の高域抽出ＢＰＦフィルター処理を実施し、抽出した高域成分を参照した顔の輪郭部の画素数（Ｎ）で除算した値の逆数で定義する。
図２３はボケ量検出用２次元フィルター特性の一例を示す図である。
ボケ量は、顔の輪郭部の画素値Ｐ（ｉ、ｊ）に対して図２３のような重み付け特性の２次元の高域抽出ＢＰＦフィルター処理を実施し、抽出した高域成分を参照した顔の輪郭部の画素数（Ｎ）で除算した値の逆数で定義する。
【0070】
例えば以下の式７のように表される。
Ｂｒ＝Ｎ／ΣＰ（ｉ、ｊ）＊ＢＰＦ・・・（式７）
Ｂｓ－Ｂｒの絶対値を顔のボケ量の差Ｂｄと定義する。顔のボケ量の差Ｂｄを横軸に、類似度を縦軸にしたグラフを図２１（Ｆ）に示す。
Ｂｒ＝Ｎ／ΣＰ（ｉ、ｊ）＊ＢＰＦ・・・（式７）
Ｂｓ－Ｂｒの絶対値を顔のボケ量の差Ｂｄと定義する。顔のボケ量の差Ｂｄを横軸に、類似度を縦軸にしたグラフを図２１（Ｆ）に示す。
【0071】
図２１（Ｆ）のグラフに示したカーブは一例であり、別の形状であってもかまわない。シミュレーション画像と所望の撮影画像に複数の顔が含まれる場合は、前記顔の位置の類似度算出の際にペアリングした組み合わせで、それぞれの顔のボケ量の類似度を算出する。算出されたそれぞれの顔のボケ量の類似度の平均値を画像全体の顔のボケ量の類似度（Ｍｂ）とする。
【0072】
続いてステップＳ２００２で評価手段１０３は、シミュレーション画像中の背景物体について数の類似度（Ｍ‘ｎ）、位置の類似度（Ｍ’ｐ）、サイズの類似度（Ｍ’ｓ）、向きの類似度（Ｍ’ｄ）、明るさの類似度（Ｍ’ｌ）、ボケ量の類似度（Ｍ’ｂ）を算出する。類似度の算出方法についてはステップＳ２００１の人物領域の類似度算出と同様である。背景物体が複数ある場合もステップＳ２００１と同様にそれぞれの背景物体の類似度を算出した後平均値を算出し、その値を背景物体の類似度とする。
【0073】
続いてステップＳ２００３で評価手段１０３は、ステップＳ２００１、ステップＳ２００２で算出された人物領域、背景領域の各項目の類似度を用いて、画像全体の類似度Ｍｔｏｔａｌを以下の式８で算出する。
Ｍｔｏｔａｌ＝Ｋｎ＊Ｍｎ＋Ｋｐ＊Ｍｐ＋Ｋｓ＊Ｍｓ
＋Ｋｄ＊Ｍｄ＋Ｋｌ＊Ｍｌ＋Ｋｂ＊Ｍｂ
＋Ｋ‘ｎ＊Ｍ’ｎ＋Ｋ‘ｐ＊Ｍ’ｐ＋Ｋ‘ｓ＊Ｍ’ｓ
＋Ｋ‘ｄ＊Ｍ’ｄ＋Ｋ‘ｌ＊Ｍ’ｌ＋Ｋ‘ｂ＊Ｍ’ｂ・・（式８）
Ｍｔｏｔａｌ＝Ｋｎ＊Ｍｎ＋Ｋｐ＊Ｍｐ＋Ｋｓ＊Ｍｓ
＋Ｋｄ＊Ｍｄ＋Ｋｌ＊Ｍｌ＋Ｋｂ＊Ｍｂ
＋Ｋ‘ｎ＊Ｍ’ｎ＋Ｋ‘ｐ＊Ｍ’ｐ＋Ｋ‘ｓ＊Ｍ’ｓ
＋Ｋ‘ｄ＊Ｍ’ｄ＋Ｋ‘ｌ＊Ｍ’ｌ＋Ｋ‘ｂ＊Ｍ’ｂ・・（式８）
【0074】
ここで、Ｋｎ、Ｋｐ、Ｋｓ、Ｋｄ、Ｋｌ、Ｋｂはそれぞれ人物領域の各項目の類似度に対して重みを調整するための係数であり、Ｋ‘ｎ、Ｋ’ｐ、Ｋ‘ｓ、Ｋ’ｄ、Ｋ‘ｌ、Ｋ’ｂはそれぞれ背景領域の各項目の類似度に対して重みを調整するための係数である。
【0075】
図２４は類似度算出用重み係数の一例を示す図であり、図２４の例のように被写体の人数、位置、サイズ、向きの係数Ｋｎ、Ｋｐ、Ｋｓ、Ｋｄを明るさＫｂ、ボケ量Ｋｂより大きくすることで、より構図に重点をおいた類似度評価を行うことができる。また人物領域の係数を背景物体の係数より大きくすることで、より人物に重点をおいた類似度評価を行うことができる。
【0076】
これらの係数は所望の撮影画像のそれぞれ特性に応じて紐づけし設定しておくことで、画像毎に適した類似度の評価が行えるようになる。なお、本実施例では被写体の顔領域に着目して類似度を算出したが、同様の方法で被写体全身のサイズ、位置、向き、ポーズについて類似度を算出してもよい。さらに、明るさの類似度算出と同様の方法を各画素の色成分毎に適用することで色味を含めた類似度の評価が可能である。
【0077】
このように、所望の撮影画像に顔の色情報や色温度情報等も紐づけして保存しておくことによって顔の色の類似度や色温度情報も類似度の評価対象に加えるようにしてもよい。
即ち、評価手段は、シミュレーション画像と所望の撮影画像中における、被写体の数、被写体の位置、被写体のサイズ、被写体の向き、被写体の明るさ、背景画像、背景のボケ量、色等の少なくとも２つについてそれぞれ類似度を算出するようにしてもよい。
即ち、評価手段は、シミュレーション画像と所望の撮影画像中における、被写体の数、被写体の位置、被写体のサイズ、被写体の向き、被写体の明るさ、背景画像、背景のボケ量、色等の少なくとも２つについてそれぞれ類似度を算出するようにしてもよい。
【0078】
続いて通知手段１０４の処理の詳細について説明する。
通知手段１０４は評価手段１０３で算出された類似度（Ｍｔｏｔａｌ）と予め設定された閾値（Ｔｈ）の比較を行い、ＭｔｏｔａｌがＴｈより大きい場合に、ユーザーにシミュレーション画像とその生成の際に使用された撮影条件をユーザーに通知する。また、ＭｔｏｔａｌがＴｈより大きくない場合には、類似度が低いこと或いは類似度の高い画像がシミュレーション画像の中に存在しないことをユーザーに通知してもよい。通知の方法としてはユーザー端末の表示装置への出力、印刷による出力、外部メディアあるいはネットワークに接続される機器へのデータ出力等が挙げられる。
通知手段１０４は評価手段１０３で算出された類似度（Ｍｔｏｔａｌ）と予め設定された閾値（Ｔｈ）の比較を行い、ＭｔｏｔａｌがＴｈより大きい場合に、ユーザーにシミュレーション画像とその生成の際に使用された撮影条件をユーザーに通知する。また、ＭｔｏｔａｌがＴｈより大きくない場合には、類似度が低いこと或いは類似度の高い画像がシミュレーション画像の中に存在しないことをユーザーに通知してもよい。通知の方法としてはユーザー端末の表示装置への出力、印刷による出力、外部メディアあるいはネットワークに接続される機器へのデータ出力等が挙げられる。
【0079】
続いて制御手段１０５による撮影条件評価処理の詳細について説明する。制御手段１０５は前記情報入力手段１００に入力された、イベントプログラム情報、撮影情報、所望の撮影画像、会場の背景情報、光源情報等の各情報に基づいて、種々の条件で仮想空間を撮影した際に得られるシミュレーション画像の評価を順次実施する。そして、評価結果を通知する。
【0080】
図２５はシミュレーション装置の撮影条件評価処理のためのフローの一例を示すフローチャートであり、図２５を用いて評価の順次実施の例について説明する。
ステップＳ２５０１～ステップＳ２５０２は、様々な撮影条件を所定ステップずつ振って変化させる（スキャンする）ためのループである。なお、図２５では、時刻、位置、方向、焦点距離を振る撮影条件としていて、それぞれ時刻はＴ、位置はＰ、方向はＤ、焦点距離はＦで示している。この例では順番に総当たりで振っているが、撮影条件の振り方の順に関しては限定されない。何らかのアルゴリズムで効率的に必要な条件だけ振ってもよい。
ステップＳ２５０１～ステップＳ２５０２は、様々な撮影条件を所定ステップずつ振って変化させる（スキャンする）ためのループである。なお、図２５では、時刻、位置、方向、焦点距離を振る撮影条件としていて、それぞれ時刻はＴ、位置はＰ、方向はＤ、焦点距離はＦで示している。この例では順番に総当たりで振っているが、撮影条件の振り方の順に関しては限定されない。何らかのアルゴリズムで効率的に必要な条件だけ振ってもよい。
【0081】
ステップＳ２５０１はＴ（時刻）をＴ０～ＴＮの範囲で網羅的に評価するためのループ、ステップＳ２５０２はＰ（位置）をＰ０～ＰＮの範囲で網羅的に評価するためのループである。また、ステップＳ２５０３はＤ（方向）をＤ０～ＤＮの範囲で網羅的に評価するためのループ、ステップＳ２５０４はＦ（焦点距離）をＦ０～ＦＮの範囲で網羅的に評価するためのループである。また、ステップＳ２５０５はＡＶ（絞り値）をＡＶ０～ＡＶＮの範囲で網羅的に評価するためのループである。
【0082】
ステップＳ２５０６はＴＶ（シャッター速度）をＴＶ０～ＴＶＮの範囲で網羅的に評価するためのループ、ステップＳ２５０７はＳＶ（ＩＳＯ感度）をＳＶ０～ＳＶＮの範囲で網羅的に評価するためのループである。
また、ステップＳ２５０８はループ変数Ｔに基づいた条件で仮想空間構築手段１０１が仮想空間を構築する処理である。また、ステップＳ２５０９はループ変数Ｐ、Ｄ、Ｆ、ＡＶ、ＴＶ、ＳＶに基づいた撮影条件で撮影した場合のシミュレーション画像を生成する処理である。
また、ステップＳ２５０８はループ変数Ｔに基づいた条件で仮想空間構築手段１０１が仮想空間を構築する処理である。また、ステップＳ２５０９はループ変数Ｐ、Ｄ、Ｆ、ＡＶ、ＴＶ、ＳＶに基づいた撮影条件で撮影した場合のシミュレーション画像を生成する処理である。
【0083】
ステップＳ２５１０は評価手段１０３がステップＳ１７０９で生成されたシミュレーション画像と所望の撮影画像との評価値を算出する。
ステップＳ２５１１およびステップＳ２５１２はステップＳ２５１０で算出された評価結果を基に、通知手段１０４がシミュレーション画像と撮影条件をユーザーに通知する処理である。
即ち、類似度が所定値以上の場合に、前記シミュレーション画像とそれに対応する撮影条件をユーザーに通知する。
ステップＳ２５１１およびステップＳ２５１２はステップＳ２５１０で算出された評価結果を基に、通知手段１０４がシミュレーション画像と撮影条件をユーザーに通知する処理である。
即ち、類似度が所定値以上の場合に、前記シミュレーション画像とそれに対応する撮影条件をユーザーに通知する。
【0084】
ステップＳ２５１３からステップＳ２５１９は時刻Ｔ、位置Ｐ、方向Ｄ、焦点距離Ｆ、絞り値ＡＶ、シャッター速度ＴＶ、ＩＳＯ感度ＳＶに関するループ処理の継続判定を表しており、全ての条件が網羅されるまでステップＳ２５０８からステップＳ２５１２までの処理が繰り返される。
【0085】
このように本実施例によれば、シミュレーションを用いて、所望の撮影画像を得るための撮影条件を自動で振って評価し抽出できる為、事前に現場に多数の撮影機材を持ち込まなくても、より正確に所望の撮影画像を得るための撮影条件を抽出できる。
このように、所望の撮影画像に応じて、被写体の数、被写体の位置、被写体のサイズ、被写体の向き、被写体の明るさ、背景画像、背景のボケ量、被写体の色等の少なくとも２つについてそれぞれ類似度を算出する。
このように、所望の撮影画像に応じて、被写体の数、被写体の位置、被写体のサイズ、被写体の向き、被写体の明るさ、背景画像、背景のボケ量、被写体の色等の少なくとも２つについてそれぞれ類似度を算出する。
【0086】
そして類似度を人物領域と背景領域で異なる重みを用いて評価する。即ち、評価手段は、算出された少なくとも２つの類似度に対して重みづけをして加算した評価値を算出することで、より効果的に所望の撮影画像に近い画像を得るための撮影条件を抽出することが可能となる。
従って、予めどの位置でどのような撮影条件で撮影すればよいかがわかるので撮影作業の効率化が実現できる。また、所望の画像を得るために必要な撮影機材もわかるので無駄な撮影機材を持ち込む必要もなくなる。
従って、予めどの位置でどのような撮影条件で撮影すればよいかがわかるので撮影作業の効率化が実現できる。また、所望の画像を得るために必要な撮影機材もわかるので無駄な撮影機材を持ち込む必要もなくなる。
【実施例2】
【0087】
続いて本発明の第２の実施例について説明する。
実施例２ではシミュレーション装置に撮影機材の情報を入力することで、所望の撮影画像を得るための撮影条件に加えて、最適な撮影機材の組み合わせを予め抽出できるようにする。
実施例２ではシミュレーション装置に撮影機材の情報を入力することで、所望の撮影画像を得るための撮影条件に加えて、最適な撮影機材の組み合わせを予め抽出できるようにする。
【0088】
基本的な構成は実施例１と同じであるが、情報入力手段１００は撮影機材に関する情報を追加で入力可能としている。
撮影機材に関する情報は、カメラのセンサーサイズ（撮像素子の受光面のサイズ）、シャッター速度、ＩＳＯ感度、レンズの焦点距離、絞り値等を含む。
撮影機材に関する情報は、カメラのセンサーサイズ（撮像素子の受光面のサイズ）、シャッター速度、ＩＳＯ感度、レンズの焦点距離、絞り値等を含む。
【0089】
撮影機材に関する情報は、複数のカメラ、複数のレンズについての情報が入力される。また、撮影機材に関する情報は、ユーザーが所持しているカメラ、レンズの情報を入力してもよいし、レンタルサービス等で借りることのできるカメラ、レンズの情報を入力してもよい。また、購入を検討しているカメラ、レンズの情報を入力してもよい。撮影機材に関する情報は、予め情報入力手段に複数のカメラ、レンズの情報をプリセットとして用意しておいて、プリセットの中から選択してもよい。
【0090】
入力された撮影機材に関する情報のカメラ、レンズの組み合わせに応じて、実施例１の図９で説明した撮影条件（撮影画角、絞り値、シャッター速度、ＩＳＯ感度）の取り得る範囲が決定される。例えば、
カメラ１：センサーサイズ：フルサイズ、シャッター速度：１秒～１／８０００秒、ＩＳＯ１００～ＩＳＯ５１２００、
カメラ２：センサーサイズ：ＡＰＳ－Ｃサイズ、シャッター速度：１秒～１／４０００秒、ＩＳＯ１００～ＩＳＯ１２８００、
カメラ１：センサーサイズ：フルサイズ、シャッター速度：１秒～１／８０００秒、ＩＳＯ１００～ＩＳＯ５１２００、
カメラ２：センサーサイズ：ＡＰＳ－Ｃサイズ、シャッター速度：１秒～１／４０００秒、ＩＳＯ１００～ＩＳＯ１２８００、
【0091】
【0092】
図２６は撮影情報の一例（組み合わせ１）を示す図、図２７は撮影情報の一例（組み合わせ２）を示す図、図２８は撮影情報の一例（組み合わせ３）を示す図、図２９は撮影情報の一例（組み合わせ４）を示す図である。
ここで、組み合わせ１は、カメラ１とレンズ１の組み合わせ、組み合わせ２はカメラ１とレンズ２の組み合わせ、組み合わせ３はカメラ２とレンズ１の組み合わせ、組み合わせ４はカメラ２とレンズ２の組み合わせである。
ここで、組み合わせ１は、カメラ１とレンズ１の組み合わせ、組み合わせ２はカメラ１とレンズ２の組み合わせ、組み合わせ３はカメラ２とレンズ１の組み合わせ、組み合わせ４はカメラ２とレンズ２の組み合わせである。
【0093】
また、撮影画角はレンズの焦点距離とカメラのセンサーサイズの組み合わせに応じて決定する。センサーサイズがフルサイズの場合、センサーサイズ３５ｍｍとして換算した場合の焦点距離（ｍｍ）としてレンズの焦点距離をそのまま使用する。センサーサイズがＡＰＳ－Ｃの場合、センサーサイズ３５ｍｍの焦点距離に変換するために、レンズの焦点距離に１．６倍にした値を使用する。
【0094】
例えば図２８に示すように、センサーサイズがＡＰＳ－Ｃの場合、レンズ１の焦点距離３００ｍｍを１．６倍した４８０ｍｍを撮影画角の焦点距離として使用する。なお、１．６倍という数値は一例であり、センサーやレンズに応じた倍率を使用する。
図３０は背景が付加されたシミュレーション画像の一例（フルサイズ）を示す図であり、図３１は背景が付加されたシミュレーション画像の一例（ＡＰＳ－Ｃ）を示す図である。図３０と図３１の撮影条件はセンサーサイズを除いて、同じ条件とする。同じレンズ（焦点距離）を使用した場合、センサーサイズがＡＰＳ－Ｃの方がフルサイズに比べて被写体が大きく映る。
図３０は背景が付加されたシミュレーション画像の一例（フルサイズ）を示す図であり、図３１は背景が付加されたシミュレーション画像の一例（ＡＰＳ－Ｃ）を示す図である。図３０と図３１の撮影条件はセンサーサイズを除いて、同じ条件とする。同じレンズ（焦点距離）を使用した場合、センサーサイズがＡＰＳ－Ｃの方がフルサイズに比べて被写体が大きく映る。
【0095】
また、背景のボケ量もセンサーサイズにより違いが生じる。一般的にカメラのセンサーサイズが同じであれば、焦点距離が長いレンズほど背景は大きくボケる。またレンズの焦点距離が同じであればカメラのセンサーサイズが大きいほど背景は大きくボケる。このようなセンサーサイズと焦点距離の組み合わせによる背景ボケの違いは、実施例１で説明した背景ボケの付加の式７のＰＳＦをカメラとレンズの組み合わせに応じて変更することで、シミュレーション画像上で表現することが可能となる。
【0096】
実施例１で説明した図２５のシミュレーション画像生成と評価のフローを、前記組み合わせ１～４に対して実施し、それぞれの組み合わせで算出された評価結果を集計し、比較することで所望の撮影画像を得るための最適な機材の組み合わせを抽出できる。
図３２は最適な機材組み合わせを算出するためのフローの例を示すフローチャートであり、入力された撮影機材に関する情報をもとに、最適な撮影機材の組み合わせを抽出するフローを、図３２を用いて説明する。
図３２は最適な機材組み合わせを算出するためのフローの例を示すフローチャートであり、入力された撮影機材に関する情報をもとに、最適な撮影機材の組み合わせを抽出するフローを、図３２を用いて説明する。
【0097】
まずステップＳ３２０１で、制御手段１０５は撮影機材に関する情報から図２６～図２９に示したように、カメラとレンズの組み合わせに対応する撮影条件を生成する。
続いてステップＳ３２０２で制御手段１０５は生成された組み合わせ毎に、実施例１の図２５で説明したシミュレーション画像生成および評価の一連の処理を実施する。
例えば、組み合わせ１について図２５のフローを実施した場合を説明する。
ステップＳ２５０１～ステップＳ２５０２は、様々な撮影条件を振るためのループである。
続いてステップＳ３２０２で制御手段１０５は生成された組み合わせ毎に、実施例１の図２５で説明したシミュレーション画像生成および評価の一連の処理を実施する。
例えば、組み合わせ１について図２５のフローを実施した場合を説明する。
ステップＳ２５０１～ステップＳ２５０２は、様々な撮影条件を振るためのループである。
【0098】
図２５では、時刻、位置、方向、焦点距離を振る（スキャンする）撮影条件としており、それぞれ時刻はＴ、位置はＰ、方向はＤ、焦点距離はＦで示している。この例では順番に総当たりで振っているが、撮影条件の振り方の順に関してはこれに限定されない。何らかのアルゴリズムで効率的に必要な条件だけ振ってもよい。
ステップＳ２５０１はＴ（時刻）をＴ０～ＴＮの範囲で網羅的に評価するためのループ、ステップＳ２５０２はＰ（位置）をＰ０～ＰＮの範囲で網羅的に評価するためのループである。また、ステップＳ２５０３はＤ（方向）をＤ０～ＤＮの範囲で網羅的に評価するためのループである。
ステップＳ２５０１はＴ（時刻）をＴ０～ＴＮの範囲で網羅的に評価するためのループ、ステップＳ２５０２はＰ（位置）をＰ０～ＰＮの範囲で網羅的に評価するためのループである。また、ステップＳ２５０３はＤ（方向）をＤ０～ＤＮの範囲で網羅的に評価するためのループである。
【0099】
ステップＳ２５０４はＦ（焦点距離）をＦ０～ＦＮの範囲で網羅的に評価するためのループであるが、組み合わせ１の場合のＦ値はＦ８（３００ｍｍ）の１つであるため、このループは１回のみ実施される。
ステップＳ２５０５はＡＶ（絞り値）をＡＶ０～ＡＶＮの範囲で網羅的に評価するためのループであるが、組み合わせ１のＦ値はＡＶ４（Ｆ４．０）の１つであるため、このループは１回のみ実施される。
ステップＳ２５０５はＡＶ（絞り値）をＡＶ０～ＡＶＮの範囲で網羅的に評価するためのループであるが、組み合わせ１のＦ値はＡＶ４（Ｆ４．０）の１つであるため、このループは１回のみ実施される。
【0100】
ステップＳ２５０６はＴＶ（シャッター速度）をＴＶ０～ＴＶＮの範囲で網羅的に評価するためのループ、ステップＳ２５０７はＳＶ（ＩＳＯ感度）をＳＶ０～ＳＶＮの範囲で網羅的に評価するためのループである。またステップＳ２５０８はループ変数Ｔに基づいた条件で仮想空間構築手段１０１が仮想空間を構築する処理である。
【0101】
ステップＳ２５０９はループ変数Ｐ、Ｄ、Ｆ、ＡＶ、ＴＶ、ＳＶに基づいた撮影条件で撮影した場合のシミュレーション画像を生成する処理である。
ステップＳ２５１０は評価手段１０３がステップＳ１７０９で生成されたシミュレーション画像と所望の撮影画像との評価値を算出する。
ステップＳ２５１１およびステップＳ２５１２はステップＳ２５１０で算出された評価結果を基に、通知手段１０４がシミュレーション画像と撮影条件をユーザーに通知する処理である。
ステップＳ２５１０は評価手段１０３がステップＳ１７０９で生成されたシミュレーション画像と所望の撮影画像との評価値を算出する。
ステップＳ２５１１およびステップＳ２５１２はステップＳ２５１０で算出された評価結果を基に、通知手段１０４がシミュレーション画像と撮影条件をユーザーに通知する処理である。
【0102】
ステップＳ２５１０からステップＳ２５１３は時刻Ｔ、位置Ｐ、方向Ｄ、焦点距離Ｆ、絞り値ＡＶ、シャッター速度ＴＶ、ＩＳＯ感度ＳＶに関するループ処理の継続判定を表しており、全ての条件が網羅されるまでステップＳ２５０８からステップＳ２５１２までの処理が繰り返される。
続いてステップＳ３２０３で制御手段１０５は、全ての組み合わせでシミュレーション画像生成および評価が実施されたか否かを判定する。全ての組み合わせでシミュレーション画像生成および評価が完了した場合はステップＳ３２０４に進む。
続いてステップＳ３２０３で制御手段１０５は、全ての組み合わせでシミュレーション画像生成および評価が実施されたか否かを判定する。全ての組み合わせでシミュレーション画像生成および評価が完了した場合はステップＳ３２０４に進む。
【0103】
続いてステップＳ３２０４で制御手段１０５は、全ての組み合わせで実施されたシミュレーション画像の評価結果を集計する。
図３３は機材組み合わせ毎のスコア算出の例を示す図であり、図３３に示すようにカメラレンズの組み合わせ１～４に対して、所望の撮影画像毎のスコアとその合計である総スコアを算出する。
図３３は機材組み合わせ毎のスコア算出の例を示す図であり、図３３に示すようにカメラレンズの組み合わせ１～４に対して、所望の撮影画像毎のスコアとその合計である総スコアを算出する。
【0104】
ここでスコアの算出方法は、それぞれの組み合わせにおいて、ある一枚の所望の撮影画像に対して、類似度（Ｍｔｏｔａｌ）が閾値（Ｔｈ）以上であった場合の評価値（類似度）を積分した値となる。また総スコアはそれぞれの所望の撮影画像に対してのスコアを全て積分した値となる。総スコアが最も高い機材組み合わせを、通知手段１０４を介してユーザーに通知する。
【0105】
以上、説明したように本実施例を用いれば、所望の撮影画像を得るための最適な撮影機材の組み合わせをユーザーに通知できる為、事前に現場に多数の撮影機材を持ち込まなくても、より正確に所望の撮影画像を得るための撮影機材を選択することができる。
また、シミュレーションを用いて、所望の撮影画像を得るための撮影条件を自動で抽出できる為、事前に現場に多数の撮影機材を持ち込まなくても、より正確に所望の撮影画像を得るための撮影条件を抽出できる。
また、シミュレーションを用いて、所望の撮影画像を得るための撮影条件を自動で抽出できる為、事前に現場に多数の撮影機材を持ち込まなくても、より正確に所望の撮影画像を得るための撮影条件を抽出できる。
【0106】
さらに、所望の撮影画像に応じて、被写体の数、顔の位置とサイズ、向き、明るさ、ボケ等についての類似度を人物領域と背景領域で異なる重みを用いて評価する。それによって、より効果的に所望の撮影画像に近い画像を得るための撮影条件を抽出することが可能となる。
【実施例3】
【0107】
続いて本発明の第３の実施例について説明する。
実施例３では、撮影機材の重量を考慮することで、ユーザーが所望する撮影機材の総重量内で最適な撮影結果が得られる撮影機材の組み合わせを抽出する方法について説明する。
基本的な構成は実施例１と同じであるが、情報入力手段１００は撮影機材に関する情報として希望する重量情報も入力可能としている。
実施例３では、撮影機材の重量を考慮することで、ユーザーが所望する撮影機材の総重量内で最適な撮影結果が得られる撮影機材の組み合わせを抽出する方法について説明する。
基本的な構成は実施例１と同じであるが、情報入力手段１００は撮影機材に関する情報として希望する重量情報も入力可能としている。
【0108】
即ち、本実施例では、撮影機材に関する情報は、カメラのセンサーサイズ、シャッター速度、ＩＳＯ感度、カメラの重量、レンズの焦点距離、絞り値、レンズの重量等を含む。希望する重量情報はユーザーが所望する撮影機材の総重量である。ここでは、例えば１，５００ｇを入力する。
【0109】
撮影機材に関する情報は、複数のカメラ、複数のレンズについての情報が入力される。撮影機材情報は、ユーザーが所持しているカメラ、レンズの情報を入力してもよいし、レンタルサービス等で借りることのできるカメラ、レンズの情報を入力してもよい。また、購入を検討しているカメラ、レンズの情報を入力してもよい。
撮影機材に関する情報は、予め情報入力手段に複数のカメラ、レンズの情報をプリセットとして用意しておいて、プリセットの中から選択してもよい。
撮影機材に関する情報は、予め情報入力手段に複数のカメラ、レンズの情報をプリセットとして用意しておいて、プリセットの中から選択してもよい。
【0110】
入力された撮影機材に関する情報のカメラ、レンズの組み合わせに応じて、実施例１の図９で説明した撮影条件（撮影画角、絞り値、シャッター速度、ＩＳＯ感度）の取り得る範囲が決定される。
例えば、
例えば、
【0111】
カメラ１：センサーサイズ：フルサイズ、シャッター速度：１秒～１／８０００秒、ＩＳＯ１００～ＩＳＯ５１２００、重量：８００ｇ
カメラ２：センサーサイズ：ＡＰＳ－Ｃ、シャッター速度：１秒～１／４０００秒、ＩＳＯ１００～ＩＳＯ１２８００、４００ｇ
レンズ１：焦点距離３００ｍｍ、Ｆ値４．０、重量：１１００ｇ
レンズ２：焦点距離１３５ｍｍ、Ｆ値２．０、重量：７００ｇ
という撮影機材に関する情報が与えられた場合、
カメラ２：センサーサイズ：ＡＰＳ－Ｃ、シャッター速度：１秒～１／４０００秒、ＩＳＯ１００～ＩＳＯ１２８００、４００ｇ
レンズ１：焦点距離３００ｍｍ、Ｆ値４．０、重量：１１００ｇ
レンズ２：焦点距離１３５ｍｍ、Ｆ値２．０、重量：７００ｇ
という撮影機材に関する情報が与えられた場合、
【0112】
組み合わせ１（カメラ１＋レンズ１）の撮影条件は図２６示の条件となり、
組み合わせ２（カメラ１＋レンズ２）の撮影条件は図２７示の条件となり、
組み合わせ３（カメラ２＋レンズ１）の撮影条件は図２８示の条件となり、
組み合わせ４（カメラ２＋レンズ２）の撮影条件は図２９示の条件となる。
組み合わせ２（カメラ１＋レンズ２）の撮影条件は図２７示の条件となり、
組み合わせ３（カメラ２＋レンズ１）の撮影条件は図２８示の条件となり、
組み合わせ４（カメラ２＋レンズ２）の撮影条件は図２９示の条件となる。
【0113】
次に各組み合わせについての総重量を算出する。
組み合わせ１（カメラ１＋レンズ１）の総重量は１，９００ｇ、
組み合わせ２（カメラ１とレンズ２）の総重量は１，５００ｇ、
組み合わせ３（カメラ２とレンズ１）の総重量は１，５００ｇ、
組み合わせ４（カメラ２とレンズ２）の総重量は１，１００ｇ、
となる。
組み合わせ１（カメラ１＋レンズ１）の総重量は１，９００ｇ、
組み合わせ２（カメラ１とレンズ２）の総重量は１，５００ｇ、
組み合わせ３（カメラ２とレンズ１）の総重量は１，５００ｇ、
組み合わせ４（カメラ２とレンズ２）の総重量は１，１００ｇ、
となる。
【0114】
次に各組み合わせの総重量と希望する重量情報（１，５００ｇ）を比較する。組み合わせ１の総重量は希望する重量情報より重いため、組み合わせ１についてシミュレーション画像生成から除外することを決定する。組み合わせ２～４の総重量は希望する重量情報以下のため、シミュレーション画像生成を行うことを決定する。
【0115】
実施例１で説明したシミュレーション画像生成と評価のフロー（図２５）を、前記組み合わせ２～４に対して実施し、それぞれの組み合わせで算出された評価結果を集計し、比較することで所望の撮影画像を得るための最適な機材の組み合わせを抽出できる。以降、実施例２と同じため、説明を省略する。
【0116】
また、本実施例では各組み合わせの総重量と希望する重量情報を単純に比較したが、希望する重量情報Ｉｇと総重量Ｔｇとの差分Ｍｇ（＝Ｍｇ－Ｔｇ）に重み付け係数Ｋｇを掛けたものを画像全体の類似度に加算して算出してもよい。この場合の類似度Ｍｔｏｔａｌ２は式９で算出される。
【0117】
Ｍｔｏｔａｌ２＝Ｋｎ＊Ｍｎ＋Ｋｐ＊Ｍｐ＋Ｋｓ＊Ｍｓ
＋Ｋｄ＊Ｍｄ＋Ｋｌ＊Ｍｌ＋Ｋｂ＊Ｍｂ
＋Ｋ‘ｎ＊Ｍ’ｎ＋Ｋ‘ｐ＊Ｍ’ｐ＋Ｋ‘ｓ＊Ｍ’ｓ
＋Ｋ‘ｄ＊Ｍ’ｄ＋Ｋ‘ｌ＊Ｍ’ｌ＋Ｋ‘ｂ＊Ｍ’ｂ＋Ｋｇ＊Ｍｇ・・（式９）
＋Ｋｄ＊Ｍｄ＋Ｋｌ＊Ｍｌ＋Ｋｂ＊Ｍｂ
＋Ｋ‘ｎ＊Ｍ’ｎ＋Ｋ‘ｐ＊Ｍ’ｐ＋Ｋ‘ｓ＊Ｍ’ｓ
＋Ｋ‘ｄ＊Ｍ’ｄ＋Ｋ‘ｌ＊Ｍ’ｌ＋Ｋ‘ｂ＊Ｍ’ｂ＋Ｋｇ＊Ｍｇ・・（式９）
【0118】
Ｋｇ、Ｍｇ以外は実施例１と同じため、説明を省略する。
希望する重量より総重量が重い場合、Ｍｇは負の数値になるためＭｔｏｔａｌ２が低くなり、希望する重量より総重量が軽い場合、Ｍｇは正の数値になるためＭｔｏｔａｌ２が高くなる。
希望する重量より総重量が重い場合、Ｍｇは負の数値になるためＭｔｏｔａｌ２が低くなり、希望する重量より総重量が軽い場合、Ｍｇは正の数値になるためＭｔｏｔａｌ２が高くなる。
【0119】
Ｍｔｏｔａｌ２と予め設定された閾値（Ｔｈ）の比較を行い、Ｍｔｏｔａｌ２がＴｈより大きい場合のみ、ユーザーにシミュレーション画像とその生成の際に使用された、撮影機材に関する情報、撮影条件をユーザーに通知するようにしてもよい。即ち、通知手段は、類似度が所定値以上の場合に、カメラとレンズの組み合わせに関する情報をユーザーに通知することができる。
通知の方法としてはユーザー端末の表示装置への出力、印刷による出力、外部メディアあるいはネットワークに接続される機器へのデータ出力等が挙げられる。
通知の方法としてはユーザー端末の表示装置への出力、印刷による出力、外部メディアあるいはネットワークに接続される機器へのデータ出力等が挙げられる。
【0120】
以上、説明したように本実施例によれば、所望の撮影画像を得るための重量を考慮した最適な撮影機材の組み合わせをユーザーに通知できる為、事前に現場に多数の撮影機材を持ち込まなくても、より正確に所望の撮影画像を得るための撮影機材を選択できる。
また、シミュレーションを用いて、所望の撮影画像を得るための撮影条件を自動で抽出できる為、事前に現場に多数の撮影機材を持ち込まなくても、より正確に所望の撮影画像を得るための撮影条件を予め抽出できる。
また、シミュレーションを用いて、所望の撮影画像を得るための撮影条件を自動で抽出できる為、事前に現場に多数の撮影機材を持ち込まなくても、より正確に所望の撮影画像を得るための撮影条件を予め抽出できる。
【0121】
さらに、所望の撮影画像に応じて、被写体の数、顔の位置とサイズ、向き、明るさ、ボケについての類似度を人物領域と背景領域で異なる重みを用いて評価する。それによって、より効果的に所望の撮影画像に近い画像を得るための撮影条件を予め抽出することが可能となる。
【0122】
以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
なお、本実施例における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介してシミュレーション装置に供給するようにしてもよい。そしてそのシミュレーション装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
なお、本実施例における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介してシミュレーション装置に供給するようにしてもよい。そしてそのシミュレーション装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
【符号の説明】
【0123】
１００ 情報入力手段
１０１ 仮想空間構築手段
１０２ シミュレーション画像生成手段
１０３ 評価手段
１０４ 通知手段
１０５ 制御手段
１０１ 仮想空間構築手段
１０２ シミュレーション画像生成手段
１０３ 評価手段
１０４ 通知手段
１０５ 制御手段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】