ホーム > 特許ランキング > 富士フイルム株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-145559表示制御装置、撮影システム、撮影装置、表示制御方法、及び撮影方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024145559
(43)【公開日】2024-10-15
(54)【発明の名称】表示制御装置、撮影システム、撮影装置、表示制御方法、及び撮影方法
(51)【国際特許分類】
H04N 5/222 20060101AFI20241004BHJP
H04N 23/611 20230101ALI20241004BHJP
G09G 5/00 20060101ALI20241004BHJP
【ＦＩ】
H04N5/222 400
H04N23/611
G09G5/00 550C
G09G5/00 530T
G09G5/00 550B
G09G5/00 510B
【審査請求】未請求
【請求項の数】23
【出願形態】ＯＬ
(21)【出願番号】P 2023057965
(22)【出願日】2023-03-31
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100083116
【弁理士】
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100170069
【弁理士】
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【弁理士】
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100140992
【弁理士】
【氏名又は名称】松浦 憲政
(74)【代理人】
【識別番号】100153822
【弁理士】
【氏名又は名称】増田 重之
(72)【発明者】
【氏名】藤本 真一
(72)【発明者】
【氏名】田中 康一
(72)【発明者】
【氏名】石田 一樹
(72)【発明者】
【氏名】小林 俊輝
【テーマコード（参考）】
5C122
5C182
【Ｆターム（参考）】
5C122DA35
5C122FH11
5C122FK23
5C122FK24
5C122HB01
5C182AA02
5C182AA03
5C182AA04
5C182AA12
5C182BA01
5C182BA03
5C182BA04
5C182BA06
5C182BA14
5C182BA29
5C182BA54
5C182BA55
5C182BA56
5C182BB04
5C182BB11
5C182BB12
5C182BB13
5C182CB12
5C182CB54
5C182CC21
5C182DA44
5C182DA65
(57)【要約】
【課題】本開示の技術に係る一つの実施形態は、被写体の姿勢情報に基づいて表示装置を制御する表示制御装置、撮影システム、撮影装置、表示制御方法、及び撮影方法を提供する。
【解決手段】本発明の一の態様に係る表示制御装置は、プロセッサを備える撮影制御装置であって、プロセッサは、第１画像または第１映像を表示装置に表示させ、表示された第１画像または第１映像と、表示装置に関連する被写体とを撮影装置に撮影させ、撮影により取得された第２画像または第２映像における被写体の姿勢情報を解析し、解析した姿勢情報に基づいて表示装置を制御する。
【選択図】 図１０
【解決手段】本発明の一の態様に係る表示制御装置は、プロセッサを備える撮影制御装置であって、プロセッサは、第１画像または第１映像を表示装置に表示させ、表示された第１画像または第１映像と、表示装置に関連する被写体とを撮影装置に撮影させ、撮影により取得された第２画像または第２映像における被写体の姿勢情報を解析し、解析した姿勢情報に基づいて表示装置を制御する。
【選択図】 図１０
【特許請求の範囲】
【請求項1】
プロセッサを備える表示制御装置であって、
前記プロセッサは、
第１画像または第１映像を表示装置に表示させ、
前記表示された前記第１画像または前記第１映像と、前記表示装置に関連する被写体とを撮影装置に撮影させ、
前記撮影により取得された第２画像または第２映像における前記被写体の姿勢情報を解析し、
前記解析した前記姿勢情報に基づいて前記表示装置を制御する、
表示制御装置。
前記プロセッサは、
第１画像または第１映像を表示装置に表示させ、
前記表示された前記第１画像または前記第１映像と、前記表示装置に関連する被写体とを撮影装置に撮影させ、
前記撮影により取得された第２画像または第２映像における前記被写体の姿勢情報を解析し、
前記解析した前記姿勢情報に基づいて前記表示装置を制御する、
表示制御装置。
【請求項2】
前記プロセッサは、前記被写体と前記表示装置との位置関係に基づいて前記表示装置を制御する請求項１に記載の表示制御装置。
【請求項3】
前記プロセッサは、前記被写体の視線方向と、前記被写体の顔及び／または体の向きとのうち少なくとも一方に関する情報を前記姿勢情報として取得する請求項１または２に記載の表示制御装置。
【請求項4】
前記プロセッサは、
前記姿勢情報を解析した結果、
前記被写体が前記表示装置を見ているか否かに応じて前記表示を制御する請求項１または２に記載の表示制御装置。
前記姿勢情報を解析した結果、
前記被写体が前記表示装置を見ているか否かに応じて前記表示を制御する請求項１または２に記載の表示制御装置。
【請求項5】
前記プロセッサは、前記被写体が前記表示装置を見ていると判断した場合に、前記第１画像または前記第１映像を前記表示装置に表示させる請求項４に記載の表示制御装置。
【請求項6】
前記プロセッサは、前記被写体が前記表示装置を見ていると判断した場合は、前記第１画像または前記第１映像を前記被写体の視線に基づいて前記表示装置に表示させる請求項４に記載の表示制御装置。
【請求項7】
前記プロセッサは、前記姿勢情報を解析した結果、前記被写体が前記表示装置を見ていないと判断した場合は、前記第1画像または前記第１映像として単一色の背景を前記表示装置に表示させる請求項１または２に記載の表示制御装置。
【請求項8】
前記プロセッサは、前記撮影により取得された前記第２画像または前記第２映像を画像処理した結果、前記被写体の姿勢を計測するセンサの出力、及び前記被写体に装着されたマーカーを検出するトラッカーの出力のうち１つ以上に基づいて前記姿勢情報を解析する請求項１または２に記載の表示制御装置。
【請求項9】
前記プロセッサは、前記第２画像または前記第２映像における前記第１画像または前記第１映像の部分を指定された画像または映像に変更する請求項１または２に記載の表示制御装置。
【請求項10】
前記プロセッサは、前記表示装置を制御したタイミングに関する情報を前記第２画像または前記第２映像に関連付けて取得する請求項１または２に記載の表示制御装置。
【請求項11】
前記プロセッサは、
前記第１画像または前記第１映像がオフからオンになったタイミングを示す表示開始情報、及び前記第１画像または前記第１映像がオンからオフになったタイミングを示す表示終了情報を、前記第２画像または前記第２映像に関連付けて取得する請求項１または２に記載の表示制御装置。
前記第１画像または前記第１映像がオフからオンになったタイミングを示す表示開始情報、及び前記第１画像または前記第１映像がオンからオフになったタイミングを示す表示終了情報を、前記第２画像または前記第２映像に関連付けて取得する請求項１または２に記載の表示制御装置。
【請求項12】
前記プロセッサは、前記表示開始情報及び前記表示終了情報を、前記第２画像または前記第２映像のファイルに記録する請求項１１に記載の表示制御装置。
【請求項13】
前記プロセッサは、前記表示開始情報及び前記表示終了情報を、前記第２画像または前記第２映像のファイルとは別のファイルに記録する請求項１２に記載の表示制御装置。
【請求項14】
前記プロセッサは、前記表示開始情報及び前記表示終了情報に基づいて、前記第２画像または前記第２映像における前記第１画像または前記第１映像の部分を、指定された画像または映像に変更する請求項１１に記載の表示制御装置。
【請求項15】
前記プロセッサは、一の前記表示開始情報により示される表示開始タイミングから、前記一の前記表示開始情報に対応する前記表示終了情報により示される表示終了タイミングまでの期間について、前記第２画像または前記第２映像における前記第１画像または前記第１映像の部分を、前記指定された画像または映像に変更する請求項１４に記載の表示制御装置。
【請求項16】
請求項１または２に記載の表示制御装置と、
前記撮影装置と、
前記表示装置と、
を備える撮影システム。
前記撮影装置と、
前記表示装置と、
を備える撮影システム。
【請求項17】
前記被写体を照明する照明装置をさらに備え、
前記プロセッサは、前記表示の前記制御に連動して前記照明装置による前記照明を制御する請求項１６に記載の撮影システム。
前記プロセッサは、前記表示の前記制御に連動して前記照明装置による前記照明を制御する請求項１６に記載の撮影システム。
【請求項18】
前記撮影装置は画像データまたは映像データを保存するデータ保存部を備え、
前記プロセッサは、前記画像データに基づく画像または前記映像データに基づく映像を前記第１画像または前記第１映像として前記表示装置に表示させる請求項１６に記載の撮影システム。
前記プロセッサは、前記画像データに基づく画像または前記映像データに基づく映像を前記第１画像または前記第１映像として前記表示装置に表示させる請求項１６に記載の撮影システム。
【請求項19】
前記第１画像または前記第１映像を投影するプロジェクタと、前記第１画像または前記第１映像が投影されるスクリーンと、を備え、
前記プロセッサは前記スクリーンを前記表示装置として前記第１画像または前記第１映像を表示させる請求項１６に記載の撮影システム。
前記プロセッサは前記スクリーンを前記表示装置として前記第１画像または前記第１映像を表示させる請求項１６に記載の撮影システム。
【請求項20】
前記第１画像または前記第１映像を表示するモニタ装置を備え、
前記プロセッサは前記モニタ装置を前記表示装置として前記第１画像または前記第１映像を表示させる請求項１６に記載の撮影システム。
前記プロセッサは前記モニタ装置を前記表示装置として前記第１画像または前記第１映像を表示させる請求項１６に記載の撮影システム。
【請求項21】
撮影部と、プロセッサと、を備える撮影装置であって、
前記プロセッサは、
第１画像または第１映像を表示装置に表示させ、
前記第１画像または前記第１映像と、前記表示装置に関連する被写体とを前記撮影部に撮影させ、
前記撮影により取得された第２画像または第２映像における前記被写体の姿勢情報を解析し、
前記解析した前記姿勢情報に基づいて前記表示装置を制御する、
撮影装置。
前記プロセッサは、
第１画像または第１映像を表示装置に表示させ、
前記第１画像または前記第１映像と、前記表示装置に関連する被写体とを前記撮影部に撮影させ、
前記撮影により取得された第２画像または第２映像における前記被写体の姿勢情報を解析し、
前記解析した前記姿勢情報に基づいて前記表示装置を制御する、
撮影装置。
【請求項22】
プロセッサを備える表示制御装置により実行される表示制御方法であって、
前記プロセッサは、
第１画像または第１映像を表示装置に表示させ、
前記表示された前記第１画像または前記第１映像と、前記表示装置に関連する被写体とを撮影装置に撮影させ、
前記撮影により取得された第２画像または第２映像における前記被写体の姿勢情報を解析し、
前記解析した前記姿勢情報に基づいて前記表示装置を制御する、
表示制御方法。
前記プロセッサは、
第１画像または第１映像を表示装置に表示させ、
前記表示された前記第１画像または前記第１映像と、前記表示装置に関連する被写体とを撮影装置に撮影させ、
前記撮影により取得された第２画像または第２映像における前記被写体の姿勢情報を解析し、
前記解析した前記姿勢情報に基づいて前記表示装置を制御する、
表示制御方法。
【請求項23】
撮影部と、プロセッサと、を備える撮影装置により実行される撮影方法であって、
前記プロセッサは、
第１画像または第１映像を表示装置に表示させ、
前記表示された第１画像または前記第１映像と、前記表示装置に関連する被写体とを前記撮影部に撮影させ、
前記撮影により取得された第２画像または第２映像における前記被写体の姿勢情報を解析し、
前記解析した前記姿勢情報に基づいて前記表示装置を制御する、
撮影方法。
前記プロセッサは、
第１画像または第１映像を表示装置に表示させ、
前記表示された第１画像または前記第１映像と、前記表示装置に関連する被写体とを前記撮影部に撮影させ、
前記撮影により取得された第２画像または第２映像における前記被写体の姿勢情報を解析し、
前記解析した前記姿勢情報に基づいて前記表示装置を制御する、
撮影方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置を制御する表示制御装置、撮影システム、撮影装置、表示制御方法、及び撮影方法に関する。
【背景技術】
【0002】
表示装置を制御する技術に関し、例えば特許文献１には、背景等を表示するスタジオセット用ディスプレイ及びこのディスプレイを備えるスタジオセットが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００２－１９９２５２号公報
【発明の概要】
【0004】
本開示の技術に係る一つの実施形態は、被写体の姿勢情報に基づいて表示装置を制御する表示制御装置、撮影システム、撮影装置、表示制御方法、及び撮影方法を提供する。
【課題を解決するための手段】
【0005】
本発明の第１の態様に係る表示制御装置は、プロセッサを備える表示制御装置であって、プロセッサは、第１画像または第１映像を表示装置に表示させ、表示された第１画像または第１映像と、表示装置に関連する被写体とを撮影装置に撮影させ、撮影により取得された第２画像または第２映像における被写体の姿勢情報を解析し、解析した姿勢情報に基づいて表示装置を制御する。
【0006】
本発明の第２の態様に係る表示制御装置は第１の態様において、プロセッサは、被写体と表示装置との位置関係に基づいて表示装置を制御する。
【0007】
第３の態様に係る表示制御装置は第１または第２の態様において、プロセッサは、被写体の視線方向と、被写体の顔及び／または体の向きとのうち少なくとも一方に関する情報を姿勢情報として取得する。
【0008】
第４の態様に係る表示制御装置は第１から第３の態様のいずれか１つにおいて、プロセッサは、姿勢情報を解析した結果、被写体が表示装置を見ているか否かに応じて表示を制御する。
【0009】
第５の態様に係る表示制御装置は第１から第４の態様のいずれか１つにおいて、プロセッサは、被写体が表示装置を見ていると判断した場合に、第１画像または第１映像を表示装置に表示させる。
【0010】
第６の態様に係る表示制御装置は第４または第５の態様において、プロセッサは、被写体が表示装置を見ていると判断した場合は、第１画像または第１映像を被写体の視線に基づいて表示装置に表示させる。
【0011】
第７の態様に係る表示制御装置は第１から第６の態様のいずれか１つにおいて、プロセッサは、姿勢情報を解析した結果、被写体が表示装置を見ていないと判断した場合は、第１画像または第１映像として単一色の背景を表示装置に表示させる。
【0012】
第８の態様に係る表示制御装置は第１から第７の態様のいずれか１つにおいて、プロセッサは、撮影により取得された第２画像または第２映像を画像処理した結果、被写体の姿勢を計測するセンサの出力、及び被写体に装着されたマーカーを検出するトラッカーの出力のうち１つ以上に基づいて姿勢情報を解析する。
【0013】
第９の態様に係る表示制御装置は第１から第８の態様のいずれか１つにおいて、プロセッサは、第２画像または第２映像における第１画像または第１映像の部分を指定された画像または映像に変更する。
【0014】
第１０の態様に係る表示制御装置は第１から第９の態様のいずれか１つにおいて、プロセッサは、表示装置を制御したタイミングに関する情報を第２画像または第２映像に関連付けて取得する。
【0015】
第１１の態様に係る表示制御装置は第１から第１０の態様のいずれか１つにおいて、プロセッサは、第１画像または第１映像がオフからオンになったタイミングを示す表示開始情報、及び第１画像または第１映像がオンからオフになったタイミングを示す表示終了情報を、第２画像または第２映像に関連付けて取得する。
【0016】
第１２の態様に係る表示制御装置は第１１の態様において、プロセッサは、表示開始情報及び表示終了情報を、第２画像または第２映像のファイルに記録する。
【0017】
第１３の態様に係る表示制御装置は第１２の態様において、プロセッサは、表示開始情報及び表示終了情報を、第２画像または第２映像のファイルとは別のファイルに記録する。
【0018】
第１４の態様に係る表示制御装置は、第１１から第１３の態様のいずれか１つにおいて、プロセッサは、表示開始情報及び表示終了情報に基づいて、第２画像または第２映像における第１画像または第１映像の部分を、指定された画像または映像に変更する。
【0019】
第１５の態様に係る表示制御装置は第１４の態様において、プロセッサは、一の表示開始情報により示される表示開始タイミングから、一の表示開始情報に対応する表示終了情報により示される表示終了タイミングまでの期間について、第２画像または第２映像における第１画像または第１映像の部分を、指定された画像または映像に変更する。なお、第１５の態様及び以下の各態様において、「一の」とは「任意の」「いずれかの」「一以上の」の意味であり、数は特に限定されない。
【0020】
第１６の態様に係る撮影システムは、第１から第１５の態様のいずれか１つに係る表示制御装置と、撮影装置と、表示装置と、を備える。
【0021】
第１７の態様に係る撮影システムは第１６の態様において、被写体を照明する照明装置をさらに備え、プロセッサは、表示の制御に連動して照明装置による照明を制御する。
【0022】
第１８の態様に係る撮影システムは第１６または第１７の態様において、撮影装置は画像データまたは映像データを保存するデータ保存部を備え、プロセッサは、画像データに基づく画像または映像データに基づく映像を第１画像または第１映像として表示装置に表示させる。
【0023】
第１９の態様に係る撮影システムは第１６から第１８の態様のいずれか１つにおいて、第１画像または第１映像を投影するプロジェクタと、第１画像または第１映像が投影されるスクリーンと、を備え、プロセッサはスクリーンを表示装置として第１画像または第１映像を表示させる。
【0024】
第２０の態様に係る撮影システムは第１６から第１９の態様のいずれか１つにおいて、第１画像または第１映像を表示するモニタ装置を備え、プロセッサはモニタ装置を表示装置として第１画像または第１映像を表示させる。
【0025】
第２１の態様に係る撮影装置は、撮影部と、プロセッサと、を備える撮影装置であって、プロセッサは、第１画像または第１映像を表示装置に表示させ、第１画像または第１映像と、表示装置に関連する被写体とを撮影部に撮影させ、撮影により取得された第２画像または第２映像における被写体の姿勢情報を解析し、解析した姿勢情報に基づいて表示装置を制御する。
【0026】
第２２の態様に係る表示制御方法は、プロセッサを備える表示制御装置により実行される表示制御方法であって、プロセッサは、第１画像または第１映像を表示装置に表示させ、表示された第１画像または第１映像と、表示装置に関連する被写体とを撮影装置に撮影させ、撮影により取得された第２画像または第２映像における被写体の姿勢情報を解析し、解析した姿勢情報に基づいて表示装置を制御する。なお、第２２の態様に係る表示制御方法は、第２から第１５の態様に係る表示制御装置に対応する構成を備えていてもよい。また、これら態様の表示制御方法をコンピュータに実行させる表示制御プログラム、及び斯かる表示制御プログラムのコンピュータ読み取り可能なコードを記録した非一時的かつ有体の記録媒体も、本発明の態様として挙げることができる。
【0027】
第２３の態様に係る撮影方法は、撮影部と、プロセッサと、を備える撮影装置により実行される撮影方法であって、プロセッサは、第１画像または第１映像を表示装置に表示させ、表示された第１画像または第１映像と、表示装置に関連する被写体とを撮影部に撮影させ、撮影により取得された第２画像または第２映像における被写体の姿勢情報を解析し、解析した姿勢情報に基づいて表示装置を制御する。なお、第２２の態様に係る撮影方法は、第２から第１５の態様に係る表示制御装置に対応する構成を備えていてもよい。また、これら態様の撮影方法をコンピュータに実行させる撮影プログラム、及び斯かる撮影プログラムのコンピュータ読み取り可能なコードを記録した非一時的かつ有体の記録媒体も、本発明の態様として挙げることができる。
【図面の簡単な説明】
【0028】
【発明を実施するための形態】
【0029】
［映像制作における背景等表示］
映像制作においては、背景画像等（背景画像または背景映像、以下同じ）を表示し、その手前に被写体を配置し、背景画像等および被写体を同時に撮影することで、被写体が背景の場所にいるかのような映像を取得する技術が知られている。また、背景画像等は被写体が演技等をするために仮に（簡素な、あるいは大体の情報を）表示しておき、撮影で取得された映像の背景部分を、撮影後に合成処理で差し替えることで、よりリアルな映像を取得することも行われている。従来の技術では、背景画像等を表示する場合は常に表示し続けているが、背景の表示が必要なのは主に被写体が背景との位置関係を確認したいタイミングであり、常に背景を表示し続けるのは熱や省電力の面から効率的ではない。また、背景画像等を投影によって表示する場合、投影される背景画像等によって被写体がまぶしく感じるという問題もある。
映像制作においては、背景画像等（背景画像または背景映像、以下同じ）を表示し、その手前に被写体を配置し、背景画像等および被写体を同時に撮影することで、被写体が背景の場所にいるかのような映像を取得する技術が知られている。また、背景画像等は被写体が演技等をするために仮に（簡素な、あるいは大体の情報を）表示しておき、撮影で取得された映像の背景部分を、撮影後に合成処理で差し替えることで、よりリアルな映像を取得することも行われている。従来の技術では、背景画像等を表示する場合は常に表示し続けているが、背景の表示が必要なのは主に被写体が背景との位置関係を確認したいタイミングであり、常に背景を表示し続けるのは熱や省電力の面から効率的ではない。また、背景画像等を投影によって表示する場合、投影される背景画像等によって被写体がまぶしく感じるという問題もある。
【0030】
本願発明者らは斯かる状況に鑑みて鋭意検討を進め、本願発明の着想を得た。以下、添付図面を参照しつつ、本願発明（表示制御装置、撮影システム、撮影装置、表示制御方法、及び撮影方法）の具体的態様について説明する。なお、以下の説明において、画像と映像をまとめて「画像等」と記載し、背景画像と背景映像をまとめて「背景画像等」と記載し、撮影した画像と映像をまとめて「撮影画像等」と記載する場合がある。
【0031】
［第１の実施形態］
［撮影システムの構成］
図１は、第１の実施形態に係る撮影システムの構成（水平方向に見た状態）を示す図である。図１に示すように、撮影システム１（撮影システム）は、コントローラ１０（表示制御装置）と、撮影カメラ２０（撮影装置）と、表示装置３０（表示装置）と、照明装置５０（照明装置）と、を備え、演技を行う人物等である被写体９０（被写体）を撮影することができる。撮影システム１は、例えばテレビや映画の撮影を行うスタジオに設置することができる。
［撮影システムの構成］
図１は、第１の実施形態に係る撮影システムの構成（水平方向に見た状態）を示す図である。図１に示すように、撮影システム１（撮影システム）は、コントローラ１０（表示制御装置）と、撮影カメラ２０（撮影装置）と、表示装置３０（表示装置）と、照明装置５０（照明装置）と、を備え、演技を行う人物等である被写体９０（被写体）を撮影することができる。撮影システム１は、例えばテレビや映画の撮影を行うスタジオに設置することができる。
【0032】
［コントローラの構成］
図２は、第１の実施形態におけるコントローラの構成を示す図である。図２に示すように、コントローラ１０は、プロセッサ１００（プロセッサ）と、ＲＯＭ１１０（ＲＯＭ：Read Only Memory、非一時的かつ有体の記録媒体）と、ＲＡＭ１２０（ＲＡＭ：Random Access Memory）と、操作部１３０と、ディスプレイ１４０（表示装置）と、入出力インタフェース１５０と、記録装置１６０と、スピーカー１６５とを備え、これらの構成要素がバス１９０により接続されていて、必要に応じ通信を行う。
図２は、第１の実施形態におけるコントローラの構成を示す図である。図２に示すように、コントローラ１０は、プロセッサ１００（プロセッサ）と、ＲＯＭ１１０（ＲＯＭ：Read Only Memory、非一時的かつ有体の記録媒体）と、ＲＡＭ１２０（ＲＡＭ：Random Access Memory）と、操作部１３０と、ディスプレイ１４０（表示装置）と、入出力インタフェース１５０と、記録装置１６０と、スピーカー１６５とを備え、これらの構成要素がバス１９０により接続されていて、必要に応じ通信を行う。
【0033】
［プロセッサの構成］
図３は、プロセッサ１００の機能構成を示す図である。以下、これら機能の概略を説明する。表示制御部１００Ａは、表示装置３０における画像または映像の表示を制御する機能であり、撮影制御部１００Ｂは撮影カメラ２０を制御して、表示装置３０に表示された背景画像（第１画像）または背景映像（第１映像）と、表示装置３０に関連する被写体９０（被写体）とを撮影させる機能である。位置情報解析部１００Ｃ及び姿勢情報解析部１００Ｄは、被写体９０の位置情報及び姿勢情報を取得及び解析する機能である。画像変更部１００Ｅは、撮影した画像または映像（第２画像、第２映像）における背景画像または背景映像（第１画像、第１映像）の部分を指定された画像または映像に変更する機能である。照明制御部１００Ｆは、表示装置３０における表示の制御に連動して、照明装置５０による照明を制御する機能である。タイミング情報制御部１００Ｇは、背景画像または背景映像のオン／オフや内容の変更を示すタイミング情報（表示開始情報、表示終了情報等）を取得及び記録する機能である。外部入出力部１００Ｈは、入出力インタフェース１５０を介して、撮影カメラ２０や外部機器との通信を行い、画像や映像、必要なデータを入出力する機能である。なお、プロセッサ１００は、撮影カメラ２０の位置及び姿勢（撮影方向）を検出する機能を備えていてもよい。
図３は、プロセッサ１００の機能構成を示す図である。以下、これら機能の概略を説明する。表示制御部１００Ａは、表示装置３０における画像または映像の表示を制御する機能であり、撮影制御部１００Ｂは撮影カメラ２０を制御して、表示装置３０に表示された背景画像（第１画像）または背景映像（第１映像）と、表示装置３０に関連する被写体９０（被写体）とを撮影させる機能である。位置情報解析部１００Ｃ及び姿勢情報解析部１００Ｄは、被写体９０の位置情報及び姿勢情報を取得及び解析する機能である。画像変更部１００Ｅは、撮影した画像または映像（第２画像、第２映像）における背景画像または背景映像（第１画像、第１映像）の部分を指定された画像または映像に変更する機能である。照明制御部１００Ｆは、表示装置３０における表示の制御に連動して、照明装置５０による照明を制御する機能である。タイミング情報制御部１００Ｇは、背景画像または背景映像のオン／オフや内容の変更を示すタイミング情報（表示開始情報、表示終了情報等）を取得及び記録する機能である。外部入出力部１００Ｈは、入出力インタフェース１５０を介して、撮影カメラ２０や外部機器との通信を行い、画像や映像、必要なデータを入出力する機能である。なお、プロセッサ１００は、撮影カメラ２０の位置及び姿勢（撮影方向）を検出する機能を備えていてもよい。
【0034】
プロセッサ１００は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＤ（Programmable Logic Device）等の各種のプロセッサや電気回路で構成される。これらのプロセッサや電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのコンピュータ（例えば、プロセッサを構成する各種のプロセッサや電気回路、及び／またはそれらの組み合わせ）で読み取り可能なコードＲＯＭ１１０等の非一時的かつ有体の記録媒体に記憶しておき、コンピュータがそのソフトウェアを参照する。
【0035】
非一時的かつ有体の記録媒体に記憶しておくソフトウェアは、本発明に係る画像処理プログラム（本発明に係る表示制御方法及び撮影方法をコンピュータに実行させるプログラム）、及びその実行に際して用いられるデータを含む。ＲＯＭ１１０ではなく、フラッシュＲＯＭやＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）等の非一時的かつ有体の記録媒体にコードを記録してもよい。なお、この「非一時的かつ有体の記録媒体」は、搬送波信号や伝播信号そのもののような非有体の記録媒体を含まない。ソフトウェアを用いた処理の際には、ＲＡＭ１２０が一時的記憶領域あるいは作業領域として用いられる。
【0036】
上述した構成のプロセッサ１００を用いた処理については、詳細を後述する。
【0037】
［操作部及びディスプレイの構成］
操作部１３０は、図示せぬキーボード、マウス、ボタン、スイッチ等のデバイスにより構成される。ユーザはこれらのデバイスを介してコントローラ１０に対する指示を行うことができ、プロセッサ１００はその指示を受け付けて、受け付けた指示に応じた処理を行う。ディスプレイ１４０をタッチパネル型のデバイスにより構成して、ユーザがそのタッチパネルを介して指示を行うことができるようにしてもよい。ディスプレイ１４０は、そのようなタッチパネル型のデバイスや液晶表示装置等のデバイスにより構成され、取得した背景画像や背景映像、撮影した画像や映像、画像処理により生成された画像や映像、条件設定用の画面等を表示することができる。
操作部１３０は、図示せぬキーボード、マウス、ボタン、スイッチ等のデバイスにより構成される。ユーザはこれらのデバイスを介してコントローラ１０に対する指示を行うことができ、プロセッサ１００はその指示を受け付けて、受け付けた指示に応じた処理を行う。ディスプレイ１４０をタッチパネル型のデバイスにより構成して、ユーザがそのタッチパネルを介して指示を行うことができるようにしてもよい。ディスプレイ１４０は、そのようなタッチパネル型のデバイスや液晶表示装置等のデバイスにより構成され、取得した背景画像や背景映像、撮影した画像や映像、画像処理により生成された画像や映像、条件設定用の画面等を表示することができる。
【0038】
［入出力インタフェースの構成］
入出力インタフェース１５０は、ディスプレイやプリンタ、記録媒体等の外部機器を接続するための端子やスロット、Wi-Fi（登録商標）やBluetooth（登録商標）等の通信インタフェース等により構成される。コントローラ１０は、入出力インタフェース１５０を介して外部機器（サーバ装置、記録装置、データベース、撮影装置等）から画像データや映像データ、背景コンテンツ（第１画像、第１映像）等を取得することができる。外部機器はコントローラ１０に対し有線接続されていてもよいし、無線接続されていてもよい。また、外部機器はインターネット等のネットワークを介して接続されていてもよい。
入出力インタフェース１５０は、ディスプレイやプリンタ、記録媒体等の外部機器を接続するための端子やスロット、Wi-Fi（登録商標）やBluetooth（登録商標）等の通信インタフェース等により構成される。コントローラ１０は、入出力インタフェース１５０を介して外部機器（サーバ装置、記録装置、データベース、撮影装置等）から画像データや映像データ、背景コンテンツ（第１画像、第１映像）等を取得することができる。外部機器はコントローラ１０に対し有線接続されていてもよいし、無線接続されていてもよい。また、外部機器はインターネット等のネットワークを介して接続されていてもよい。
【0039】
［記録装置の構成］
記録装置１６０（記録装置、データ保存部）は、ハードディスクや半導体メモリ、各種の光磁気記録媒体等の記録媒体（非一時的かつ有体の記録媒体）及びそれらの制御部により構成され、各種の情報を記録あるいは保存する。
記録装置１６０（記録装置、データ保存部）は、ハードディスクや半導体メモリ、各種の光磁気記録媒体等の記録媒体（非一時的かつ有体の記録媒体）及びそれらの制御部により構成され、各種の情報を記録あるいは保存する。
【0040】
図４は、記録装置１６０に記録される情報の例を示す図である。背景コンテンツ１６０Ａは、表示装置３０（表示装置）に表示される背景画像の画像データまたは背景映像の映像データ（第１画像、第１映像；単一色背景を含んでいてもよい）、及び後述する「変更」に用いられる画像等（指定された画像または映像；最終的な背景として用いる画像または映像）を含んでいてよい。撮影画像１６０Ｂ（第２画像、第２映像）は、表示装置３０に表示された画像または映像と、表示装置３０に関連する被写体９０とを撮影カメラ２０（撮影装置）に撮影させて得られた画像等（画像または映像）である。位置情報１６０Ｃ（位置情報）及び姿勢情報１６０Ｄ（姿勢情報）は、それぞれ被写体９０の位置、姿勢を示す情報である。
【0041】
編集後画像１６０Ｅは、撮影画像１６０Ｂにおける背景コンテンツ１６０Ａ（第１画像、第１映像）の部分を、指定された画像または映像に変更して得られた画像等（画像または映像）である。タイミング情報１６０Ｆは、表示装置３０を制御したタイミング（背景等がオフからオンになったタイミング、オンからオフになったタイミング、内容が変更されたタイミング等）に関する情報であり、撮影画像１６０Ｂ（第２画像または第２映像）に関連付けて取得される。
【0042】
上述したコントローラ１０は、例えば、本発明に係る表示制御方法及び撮像方法を実行するためのソフトウェア（プログラム）等をコンピュータ（スマートフォンや、タブレット端末等の機器でもよい）にインストールすることにより実現することができる。
【0043】
［撮影カメラの構成］
撮影カメラ２０は図示せぬズームレンズ及びフォーカスレンズと、撮像素子と、画像生成部とを備え、コントローラ１０の制御により、表示装置３０に表示された背景等（第１画像、第１映像）と、表示装置３０に関連する被写体とを撮影する。撮影カメラ２０は前後左右、上下、円周方向等の方向に移動できることが好ましく、撮影方向を変えられる（例えば、仰角方向及び方位角方向）ことも好ましい。このような移動や撮影方向の変更はコントローラ１０の制御により行われてもよいし、撮影スタッフが操作するのでもよい。また撮影カメラ２０は台車や雲台に搭載されていてもよいし、移動及び回転が可能な移動体（ロボット、車両、ドローンその他の飛翔体等）に搭載されていてもよい。また、コントローラ１０は、図示せぬ位置センサ及び姿勢センサ等により、撮影カメラ２０の位置及び撮影方向の情報を取得することが好ましい。
撮影カメラ２０は図示せぬズームレンズ及びフォーカスレンズと、撮像素子と、画像生成部とを備え、コントローラ１０の制御により、表示装置３０に表示された背景等（第１画像、第１映像）と、表示装置３０に関連する被写体とを撮影する。撮影カメラ２０は前後左右、上下、円周方向等の方向に移動できることが好ましく、撮影方向を変えられる（例えば、仰角方向及び方位角方向）ことも好ましい。このような移動や撮影方向の変更はコントローラ１０の制御により行われてもよいし、撮影スタッフが操作するのでもよい。また撮影カメラ２０は台車や雲台に搭載されていてもよいし、移動及び回転が可能な移動体（ロボット、車両、ドローンその他の飛翔体等）に搭載されていてもよい。また、コントローラ１０は、図示せぬ位置センサ及び姿勢センサ等により、撮影カメラ２０の位置及び撮影方向の情報を取得することが好ましい。
【0044】
［表示装置の構成］
［プロジェクタ及びスクリーンを用いた表示装置］
図５は、プロジェクタ及びスクリーンを用いた表示装置の構成例を示す図である。図５の（ａ）部分は、プロジェクタ３４Ａ，３４Ｂ（プロジェクタ）により、背景画像等（第１画像または第１映像）をスクリーン３２（スクリーン）の前方から投影する例を示しており、同図の（ｂ）部分は、プロジェクタ３８Ａ，３８Ｂ（プロジェクタ）により、背景画像等をスクリーン３６（スクリーン）の後方から投影する例を示している。プロセッサ１００は、スクリーン３２やスクリーン３６を表示装置として、背景画像等（第１画像または第１映像）を表示させることができる。なお、図５に示すように、投影は前方からでもよいし後方からでもよい。両方向からの投影を可能にして投影方向を必要に応じて切り替えてもよい。また、プロジェクタの位置及び数は図５の例に限定されず、天井部分や床部分にプロジェクタを設置する他に、あるいはそれらに代えて側面部分に設置してもよい。
［プロジェクタ及びスクリーンを用いた表示装置］
図５は、プロジェクタ及びスクリーンを用いた表示装置の構成例を示す図である。図５の（ａ）部分は、プロジェクタ３４Ａ，３４Ｂ（プロジェクタ）により、背景画像等（第１画像または第１映像）をスクリーン３２（スクリーン）の前方から投影する例を示しており、同図の（ｂ）部分は、プロジェクタ３８Ａ，３８Ｂ（プロジェクタ）により、背景画像等をスクリーン３６（スクリーン）の後方から投影する例を示している。プロセッサ１００は、スクリーン３２やスクリーン３６を表示装置として、背景画像等（第１画像または第１映像）を表示させることができる。なお、図５に示すように、投影は前方からでもよいし後方からでもよい。両方向からの投影を可能にして投影方向を必要に応じて切り替えてもよい。また、プロジェクタの位置及び数は図５の例に限定されず、天井部分や床部分にプロジェクタを設置する他に、あるいはそれらに代えて側面部分に設置してもよい。
【0045】
［モニタを用いた表示装置］
表示装置は、モニタ（モニタ装置）を用いて構成することもできる。モニタの構成は特に限定されず、液晶式、有機ＥＬ（ＥＬ：Electro Luminescence）式、ＬＥＤ（Light-emitting Diode）式等のモニタを用いることができる。また、図６（モニタを用いた表示装置の構成例を示す図）に示すように、モニタの数は１つでもよいし複数でもよい。例えば、図６の（ａ）部分に示すように１台のモニタ４０で表示装置を構成してもよいし、同図の（ｂ）部分に示すように複数台のモニタ４２Ａを並べて全体として１台のモニタ４２を構成してもよい。図６の（ｂ）部分に示す例のように複数台のモニタにより全体として１台のモニタを構成する場合、ディスプレイの「タイリング」あるいは「タイリングディスプレイ」と呼ばれる技術を用いることができる。
表示装置は、モニタ（モニタ装置）を用いて構成することもできる。モニタの構成は特に限定されず、液晶式、有機ＥＬ（ＥＬ：Electro Luminescence）式、ＬＥＤ（Light-emitting Diode）式等のモニタを用いることができる。また、図６（モニタを用いた表示装置の構成例を示す図）に示すように、モニタの数は１つでもよいし複数でもよい。例えば、図６の（ａ）部分に示すように１台のモニタ４０で表示装置を構成してもよいし、同図の（ｂ）部分に示すように複数台のモニタ４２Ａを並べて全体として１台のモニタ４２を構成してもよい。図６の（ｂ）部分に示す例のように複数台のモニタにより全体として１台のモニタを構成する場合、ディスプレイの「タイリング」あるいは「タイリングディスプレイ」と呼ばれる技術を用いることができる。
【0046】
なお以下の説明では、上述した態様の表示装置を、まとめて「表示装置３０」と記載する場合がある。
【0047】
［表示装置の配置］
図７は、表示装置の配置例（鉛直上方から見た状態）を示す図である。撮影システム１においては、図７の（ａ）部分に示すように表示装置４４が一つ設けられていてもよいし、同図の（ｂ）部分に示すように複数の表示装置４６Ａ，４６Ｂ，４６Ｃが設けられていてもよい。また、図７の（ｃ）部分に示すように、曲面状の表示装置４８が設けられていてもよい。また、表示装置は鉛直方向に広がるものだけでなく、そのような表示装置に代えて、またはこれに加えて、天井付近や床付近等の水平方向に広がる表示装置を用いてもよい。
図７は、表示装置の配置例（鉛直上方から見た状態）を示す図である。撮影システム１においては、図７の（ａ）部分に示すように表示装置４４が一つ設けられていてもよいし、同図の（ｂ）部分に示すように複数の表示装置４６Ａ，４６Ｂ，４６Ｃが設けられていてもよい。また、図７の（ｃ）部分に示すように、曲面状の表示装置４８が設けられていてもよい。また、表示装置は鉛直方向に広がるものだけでなく、そのような表示装置に代えて、またはこれに加えて、天井付近や床付近等の水平方向に広がる表示装置を用いてもよい。
【0048】
［照明装置の構成］
照明装置５０（照明装置）の構成は特に限定されないが、例えば複数色（赤色、青色、及び緑色等）のＬＥＤで構成される照明装置を用いることができる。照明装置５０は、オン及びオフに加えて、明るさ及び色合い（色温度等）の変更ができる装置であることが好ましい。また、照明装置５０は図１の例のように被写体９０の上方に配置されるだけでなく、下方（床面等）や側方に配置してもよい。また、照明装置５０の数も特に限定されない。プロセッサ１００（照明制御部１００Ｆ）は、表示装置における背景画像等（第１画像、第１映像）の表示の制御に連動して、照明装置５０による照明を制御する。
照明装置５０（照明装置）の構成は特に限定されないが、例えば複数色（赤色、青色、及び緑色等）のＬＥＤで構成される照明装置を用いることができる。照明装置５０は、オン及びオフに加えて、明るさ及び色合い（色温度等）の変更ができる装置であることが好ましい。また、照明装置５０は図１の例のように被写体９０の上方に配置されるだけでなく、下方（床面等）や側方に配置してもよい。また、照明装置５０の数も特に限定されない。プロセッサ１００（照明制御部１００Ｆ）は、表示装置における背景画像等（第１画像、第１映像）の表示の制御に連動して、照明装置５０による照明を制御する。
【0049】
［表示制御方法及び撮影方法］
上述した構成の撮影システム１における表示制御方法及び撮影方法について説明する。図８は、第１の実施形態における表示制御方法及び撮影方法の処理を示すフローチャートである。
上述した構成の撮影システム１における表示制御方法及び撮影方法について説明する。図８は、第１の実施形態における表示制御方法及び撮影方法の処理を示すフローチャートである。
【0050】
［撮影及び表示制御の開始］
プロセッサ１００（撮影制御部１００Ｂ）は、操作部１３０に対する操作等に応じて、少なくとも表示装置３０に関連する被写体９０を撮影カメラ２０（撮影装置）に撮影させ、撮影が始まった以降に表示制御を開始する。撮影開始時において、表示装置３０の表示はオフでもよいし、単一色でもよいし、背景画像等（第１画像または第１映像）でもよく、これらのいずれかが初期設定されていてもよい。プロセッサ１００（撮影制御部１００Ｂ）は、表示装置３０に画像等が表示されている場合は、表示された画像等と被写体９０とを、撮影カメラ２０に撮影させる。
プロセッサ１００（撮影制御部１００Ｂ）は、操作部１３０に対する操作等に応じて、少なくとも表示装置３０に関連する被写体９０を撮影カメラ２０（撮影装置）に撮影させ、撮影が始まった以降に表示制御を開始する。撮影開始時において、表示装置３０の表示はオフでもよいし、単一色でもよいし、背景画像等（第１画像または第１映像）でもよく、これらのいずれかが初期設定されていてもよい。プロセッサ１００（撮影制御部１００Ｂ）は、表示装置３０に画像等が表示されている場合は、表示された画像等と被写体９０とを、撮影カメラ２０に撮影させる。
【0051】
ここで「表示装置に関連する被写体」とは、図１や図７に示すように表示装置３０の水平方向前方に存在する被写体９０を含むが、このような状況には限定されず、例えば表示装置３０が天井方向の水平面内に広がっている場合に被写体を床付近から上方に向けて撮影する場合等、撮影カメラ２０と表示装置３０との間に存在する被写体であればよい。
【0052】
［姿勢情報等の取得及び解析］
プロセッサ１００（姿勢情報解析部１００Ｄ）は、被写体９０の、少なくとも姿勢情報を取得する（ステップＳ１００）。プロセッサ１００（姿勢情報解析部１００Ｄ）は、被写体９０の視線方向と、被写体９０の顔及び／または体の向きとのうち少なくとも一方に関する情報を、姿勢情報として取得することができる。人物以外の被写体、例えば、動物、人型のロボットやキャラクター（着ぐるみを着た人物）等についても、同様に姿勢情報を取得することができる。なおプロセッサ１００（位置情報解析部１００Ｃ）は、姿勢情報に加えて被写体９０の位置情報も取得し、表示制御に反映することが好ましい。以下では、姿勢情報及び位置情報を取得する場合について説明する。
プロセッサ１００（姿勢情報解析部１００Ｄ）は、被写体９０の、少なくとも姿勢情報を取得する（ステップＳ１００）。プロセッサ１００（姿勢情報解析部１００Ｄ）は、被写体９０の視線方向と、被写体９０の顔及び／または体の向きとのうち少なくとも一方に関する情報を、姿勢情報として取得することができる。人物以外の被写体、例えば、動物、人型のロボットやキャラクター（着ぐるみを着た人物）等についても、同様に姿勢情報を取得することができる。なおプロセッサ１００（位置情報解析部１００Ｃ）は、姿勢情報に加えて被写体９０の位置情報も取得し、表示制御に反映することが好ましい。以下では、姿勢情報及び位置情報を取得する場合について説明する。
【0053】
姿勢情報解析部１００Ｄは、撮影により取得された画像等（第２画像または第２映像）を画像処理した結果、被写体の姿勢を計測するセンサ（加速度センサ、角速度センサ等）の出力、及び被写体に装着されたマーカーを検出するトラッカーの出力のうち１つ以上に基づいて姿勢情報を取得し（ステップＳ１００）、取得した姿勢情報を解析する（ステップＳ１１０）。姿勢情報解析部１００Ｄは、少なくとも「被写体９０が表示装置３０を見ているか否か」、また「見ているとすればどこを見ているか」を解析することができる。
【0054】
同様に、位置情報解析部１００Ｃは、撮影画像等を画像処理した結果、被写体の位置を計測するセンサ（ＧＰＳセンサ（ＧＰＳ：Global Positioning System）、加速度センサ、角速度センサ等）の出力、及びトラッカーの出力のうち１つ以上に基づいて位置情報を取得することができ、「被写体９０が撮影カメラ２０と表示装置３０との間に存在するか否か」、また「表示される画像等に存在する物体と被写体９０との仮想的な距離」等を解析することができる。
【0055】
［背景等の表示制御及びタイミング情報の取得］
［被写体が表示装置を見ている場合］
プロセッサ１００（姿勢情報解析部１００Ｄ）は、解析した姿勢情報に基づいて、被写体９０が表示装置３０を見ているか否かを判断し（ステップＳ１２０）、被写体９０が表示装置３０を見ていると判断した場合（ステップＳ１２０でＹＥＳ）、表示制御部１００Ａは、背景画像等（第１画像または第１映像）を、被写体９０の視線に基づいて（例えば、視線の方向に基づいて）、表示装置３０に表示させる（ステップＳ１３０）。
また、照明制御部１００Ｆは、表示の制御に連動して、照明装置５０による照明を制御する（後述するステップＳ１６０，Ｓ１８０においても同様である）。例えば、照明制御部１００Ｆは、表示装置３０に背景等を表示する期間は照明装置５０による照明の明るさを下げ、これにより被写体９０が感じる眩しさや熱さを低減することができる。
［被写体が表示装置を見ている場合］
プロセッサ１００（姿勢情報解析部１００Ｄ）は、解析した姿勢情報に基づいて、被写体９０が表示装置３０を見ているか否かを判断し（ステップＳ１２０）、被写体９０が表示装置３０を見ていると判断した場合（ステップＳ１２０でＹＥＳ）、表示制御部１００Ａは、背景画像等（第１画像または第１映像）を、被写体９０の視線に基づいて（例えば、視線の方向に基づいて）、表示装置３０に表示させる（ステップＳ１３０）。
また、照明制御部１００Ｆは、表示の制御に連動して、照明装置５０による照明を制御する（後述するステップＳ１６０，Ｓ１８０においても同様である）。例えば、照明制御部１００Ｆは、表示装置３０に背景等を表示する期間は照明装置５０による照明の明るさを下げ、これにより被写体９０が感じる眩しさや熱さを低減することができる。
【0056】
なお、表示される背景画像等は最終的な画像等における背景と同じであってもよく、この場合、被写体や撮影者、編集者等が最終的な画像等のイメージを把握しやすいが、最終的な画像等における背景と完全に同じでなくてもよい。例えば、「表示される背景画像等は、被写体の位置や姿勢に応じた変化がない（静止画像である）」「解像度が違う」「表示される背景画像等には、特殊効果が施されていない」等の相違があってもよい。コントローラ１０は、後述するように、撮影された画像等における背景画像等の部分を、撮影後に別の画像等に変更することができる。
【0057】
また、タイミング情報制御部１００Ｇは、タイミング情報を撮影画像等（第２画像または第２映像）に関連付けて取得する（ステップＳ１４０）。例えば、表示制御部１００Ａがタイミング情報を出力し、出力されたタイミング情報を、タイミング情報制御部１００Ｇが取得することができる。「タイミング情報」は、第１画像または第１映像がオフからオンになったタイミングを示す表示開始タイミング（表示開始情報）、及び表示開始タイミングに対応し第１画像または第１映像がオンからオフになったタイミングを示す表示終了タイミング（表示終了情報）を含み、表示される第１画像または第１映像の内容が変更になったタイミングを示す内容変更情報をさらに含んでいてもよい。なお、表示開始タイミング及び表示終了タイミングは１または複数存在していてよく、回数は特に限定されない。
【0058】
［タイミング情報の記録］
タイミング情報制御部１００Ｇは、取得したタイミング情報を記録装置１６０に記録することができる。タイミング情報制御部１００Gは、タイミング情報（表示開始情報、表示終了情報、及び内容変更情報を含む）を、撮影画像等（第２画像または第２映像）のファイルに記録してもよいし、撮影画像等のファイルとは別のファイルに記録してもよい。図９は、チャプタ（タイミング情報）を撮影画像等と別ファイルに記録した様子を示す図である。図９の例では、チャプタ番号（Chapter 0～6）、撮影開始からの経過時間、及び内容（背景オフでスタートし、その後、背景１がオンになる、等）が含まれており、画像変更部１００Ｅは、これらタイミング情報を用いて、後述する画像の変更（差し替え）を行うことができる。
タイミング情報制御部１００Ｇは、取得したタイミング情報を記録装置１６０に記録することができる。タイミング情報制御部１００Gは、タイミング情報（表示開始情報、表示終了情報、及び内容変更情報を含む）を、撮影画像等（第２画像または第２映像）のファイルに記録してもよいし、撮影画像等のファイルとは別のファイルに記録してもよい。図９は、チャプタ（タイミング情報）を撮影画像等と別ファイルに記録した様子を示す図である。図９の例では、チャプタ番号（Chapter 0～6）、撮影開始からの経過時間、及び内容（背景オフでスタートし、その後、背景１がオンになる、等）が含まれており、画像変更部１００Ｅは、これらタイミング情報を用いて、後述する画像の変更（差し替え）を行うことができる。
【0059】
［被写体の位置に応じた背景等の表示制御］
位置情報解析部１００Ｃは、被写体９０の位置が変化したか否かを判断し（ステップ）、位置が変化した場合、表示制御部１００Ａはその変化に合わせて背景画像等の表示を変化させる（ステップＳ１６０）。表示制御部１００Ａは、例えば「表示される画像等に存在する物体と被写体９０との仮想的な距離」に応じて、表示装置３０に表示される背景画像等の倍率を変化させることができる。ステップＳ１６０の判断がＹＥＳとなって表示制御部１００Ａが背景画像等の表示を変化させた場合、タイミング情報制御部１００Ｇは、タイミング情報（表示を変化させたタイミング、及び背景画像等の表示内容等；図９のChapter 2,3を参照）を取得し、記録装置１６０に記録する（ステップＳ１７０）。なお、被写体の位置情報を取得していない場合は、ステップＳ１５０～Ｓ１７０の処理を省略することができる。
位置情報解析部１００Ｃは、被写体９０の位置が変化したか否かを判断し（ステップ）、位置が変化した場合、表示制御部１００Ａはその変化に合わせて背景画像等の表示を変化させる（ステップＳ１６０）。表示制御部１００Ａは、例えば「表示される画像等に存在する物体と被写体９０との仮想的な距離」に応じて、表示装置３０に表示される背景画像等の倍率を変化させることができる。ステップＳ１６０の判断がＹＥＳとなって表示制御部１００Ａが背景画像等の表示を変化させた場合、タイミング情報制御部１００Ｇは、タイミング情報（表示を変化させたタイミング、及び背景画像等の表示内容等；図９のChapter 2,3を参照）を取得し、記録装置１６０に記録する（ステップＳ１７０）。なお、被写体の位置情報を取得していない場合は、ステップＳ１５０～Ｓ１７０の処理を省略することができる。
【0060】
［被写体が表示装置を見ていない場合］
上述のステップＳ１２０において、姿勢情報解析部１００Ｄが「被写体９０が表示装置３０を見ていない」と判断した場合、表示制御部１００Ａは、表示装置３０に単一色の背景を表示させる（ステップＳ１８０）。表示制御部１００Ａは、表示をオフにしてもよい。また、照明制御部１００Ｆは、この表示の制御に連動して、照明装置５０による照明を制御する。さらに、タイミング情報制御部１００Ｇは、図９について上述したのと同様のタイミング情報（例えば、チャプタ番号、タイミング、及び単一色またはオフにしたこと、表示の変更等）を記録する（ステップＳ１９０）。
上述のステップＳ１２０において、姿勢情報解析部１００Ｄが「被写体９０が表示装置３０を見ていない」と判断した場合、表示制御部１００Ａは、表示装置３０に単一色の背景を表示させる（ステップＳ１８０）。表示制御部１００Ａは、表示をオフにしてもよい。また、照明制御部１００Ｆは、この表示の制御に連動して、照明装置５０による照明を制御する。さらに、タイミング情報制御部１００Ｇは、図９について上述したのと同様のタイミング情報（例えば、チャプタ番号、タイミング、及び単一色またはオフにしたこと、表示の変更等）を記録する（ステップＳ１９０）。
【0061】
［表示制御の例］
図１０は、背景等の表示制御の例を示す図である。図１０の（ａ）部分～（ｃ）部分は被写体９０が表示装置３０の前に存在しているが表示装置３０を見ていない場合（同図の（ａ）部分を参照）における表示制御の例であり、表示装置３０には同図の（ｂ）部分に示すように単一色の背景９２が表示されている（この場合、背景はオフでもよい）。この場合、同図の（ｃ）部分に示すような撮影画像９６が得られる。一方、図１０の（ｄ）部分～（ｆ）部分は被写体９０が表示装置３０を見ている場合（同図の（ｄ）部分を参照）における表示制御の例であり、同図の（ｅ）部分に示すように表示装置３０に背景９４（第１画像、第１映像の例）が表示されていて、同図の（ｆ）部分に示すような撮影画像９８が得られる。なお、図１０における点線の吹き出しは、吹き出し内の音声が発せられていることを示している。
図１０は、背景等の表示制御の例を示す図である。図１０の（ａ）部分～（ｃ）部分は被写体９０が表示装置３０の前に存在しているが表示装置３０を見ていない場合（同図の（ａ）部分を参照）における表示制御の例であり、表示装置３０には同図の（ｂ）部分に示すように単一色の背景９２が表示されている（この場合、背景はオフでもよい）。この場合、同図の（ｃ）部分に示すような撮影画像９６が得られる。一方、図１０の（ｄ）部分～（ｆ）部分は被写体９０が表示装置３０を見ている場合（同図の（ｄ）部分を参照）における表示制御の例であり、同図の（ｅ）部分に示すように表示装置３０に背景９４（第１画像、第１映像の例）が表示されていて、同図の（ｆ）部分に示すような撮影画像９８が得られる。なお、図１０における点線の吹き出しは、吹き出し内の音声が発せられていることを示している。
【0062】
コントローラ１０（プロセッサ１００）は、ステップＳ１００～Ｓ１９０の処理を、表示制御を終了するまで（ステップＳ２００でＹＥＳになるまで）繰り返す。撮影の終了に合わせて表示制御を終了してもよいし、撮影の終了より前に表示制御を終了してもよい。
【0063】
［画像の変更］
撮影システム１では、撮影した画像等における背景画像等（第１画像または第１映像）の部分を、指定された画像または映像に変更することができる。コントローラ１０（プロセッサ１００）は、「指定された画像または映像」（以下「変更用画像等」と記載する場合がある）として、記録装置１６０に記録された背景コンテンツ１６０Ａを用いてもよいし、入出力インタフェース１５０を介して接続された外部機器から画像等を取得して使用してもよい。ユーザは、操作部１３０を介して、どのような画像等を変更に用いるかの指示を行うことができる。画像変更部１００Ｅは、例えば以下の手法により画像等の変更を行うことができるが、変更の手法はこれらに限定されるものではない。
（１）背景がグリーンバックやブルーバック等の単一色である場合、公知のクロマキー合成の手法を用いることができる。
（２）画像処理や機械学習の手法により撮影画像等における被写体の輪郭を抽出し、輪郭の外側の部分を変更用画像等に置き換える。
（３）撮影画像等と、その画像等で使用している背景（例えば、上述した第１画像または第１映像）との差分をとることで被写体の領域を抽出し、抽出した領域と変更用画像等とを重ね合わせる。
撮影システム１では、撮影した画像等における背景画像等（第１画像または第１映像）の部分を、指定された画像または映像に変更することができる。コントローラ１０（プロセッサ１００）は、「指定された画像または映像」（以下「変更用画像等」と記載する場合がある）として、記録装置１６０に記録された背景コンテンツ１６０Ａを用いてもよいし、入出力インタフェース１５０を介して接続された外部機器から画像等を取得して使用してもよい。ユーザは、操作部１３０を介して、どのような画像等を変更に用いるかの指示を行うことができる。画像変更部１００Ｅは、例えば以下の手法により画像等の変更を行うことができるが、変更の手法はこれらに限定されるものではない。
（１）背景がグリーンバックやブルーバック等の単一色である場合、公知のクロマキー合成の手法を用いることができる。
（２）画像処理や機械学習の手法により撮影画像等における被写体の輪郭を抽出し、輪郭の外側の部分を変更用画像等に置き換える。
（３）撮影画像等と、その画像等で使用している背景（例えば、上述した第１画像または第１映像）との差分をとることで被写体の領域を抽出し、抽出した領域と変更用画像等とを重ね合わせる。
【0064】
画像変更部１００Ｅは、上述したタイミング情報を用いて画像の変更を行うことができる。例えば、図９に示す例では、Chapter 1（経過時間0:04:14、表示開始タイミング）からChapter 4（経過時間0:17:40、表示終了タイミング）までが背景１の表示であり、画像変更部１００Ｅは、この期間について、撮影画像等における背景１の部分を「変更用画像」に変更することができる（倍率の変更も行う）。同様に、Chapter 5（経過時間0:21:55、表示開始タイミング）からChapter 6（経過時間0:23:56、表示終了タイミング）までが背景２の表示であり、画像変更部１００Ｅは、この期間について、撮影画像等における背景２の部分を「変更用画像」に変更することができる。また、画像変更部１００Ｅは、Chapter 0からChapter 1までの期間、及びChapter 6以降の期間について、撮影画像等における背景がオフの部分及びグリーンバックの部分を「変更用画像」に変更することができる。
【0065】
以上説明したように、第１の実施形態に係る撮影システム１によれば、姿勢情報に基づいて表示装置における背景画像等の表示を制御することで、演者（被写体９０）がイメージしやすい状況（どのような背景等が用いられるかを確認できる）を確保しつつ、演者が感じる眩しさや熱を低減し、また消費電力を削減することができる。
【0066】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。図１１は、第２の実施形態に係る撮影システム２（表示制御装置、撮影装置、撮影システム）の構成を示す図であり、図１２は撮影カメラ２２の構成を示す図である。これらの図に示すように、撮影システム２は、撮影部１７０（撮影装置、撮影部）及びコントローラ１２（表示制御装置、プロセッサ）が撮影カメラ２２（撮影装置）の中に設けられている（撮影カメラ２２の構成要素として設けられている）点で、第１の実施形態に係る撮影システム１と異なっている。
次に、本発明の第２の実施形態について説明する。図１１は、第２の実施形態に係る撮影システム２（表示制御装置、撮影装置、撮影システム）の構成を示す図であり、図１２は撮影カメラ２２の構成を示す図である。これらの図に示すように、撮影システム２は、撮影部１７０（撮影装置、撮影部）及びコントローラ１２（表示制御装置、プロセッサ）が撮影カメラ２２（撮影装置）の中に設けられている（撮影カメラ２２の構成要素として設けられている）点で、第１の実施形態に係る撮影システム１と異なっている。
【0067】
プロセッサ１０２（プロセッサ）の機能は撮影システム１におけるプロセッサ１００の機能と同様であるが、プロセッサ１０２は撮影部１７０の制御をも行う。撮影部１７０は、第１の実施形態における撮影カメラ２０と同様に図示せぬズームレンズ及びフォーカスレンズを含んで構成され、コントローラ１２の制御により、表示装置３０に表示された背景画像等（第１画像または第１映像）と、表示装置３０に関連する被写体とを撮影する。
【0068】
なお、撮影カメラ２２は、第１の実施形態における撮影カメラ２０と同様に、移動及び回転（撮影方向の変更）が可能であることが好ましい。
【0069】
撮影システム２のその他の要素に関し、第１の実施形態と同じ要素には同一の参照符号を付し、詳細な説明を省略する。
【0070】
上述した構成の撮影システム２においても、表示制御方法及び撮影方法の処理は第１の実施形態と同様に行うことができ、これにより演者がイメージしやすい状況を確保しつつ、演者が感じる眩しさや熱を低減し、また消費電力を削減することができる。
【0071】
以上で本発明の実施形態について説明してきたが、本発明は上述した態様に限定されず、種々の変形が可能である。
【符号の説明】
【0072】
１ 撮影システム
２ 撮影システム
１０ コントローラ
１２ コントローラ
２０ 撮影カメラ
２２ 撮影カメラ
３０ 表示装置
３２ スクリーン
３４Ａ プロジェクタ
３４Ｂ プロジェクタ
３６ スクリーン
３８Ａ プロジェクタ
３８Ｂ プロジェクタ
４０ モニタ
４２ モニタ
４２Ａ モニタ
４４ 表示装置
４６Ａ 表示装置
４６Ｂ 表示装置
４６Ｃ 表示装置
４８ 表示装置
５０ 照明装置
９０ 被写体
９２ 背景
９４ 背景
９６ 撮影画像
９８ 撮影画像
１００ プロセッサ
１００Ａ 表示制御部
１００Ｂ 撮影制御部
１００Ｃ 位置情報解析部
１００Ｄ 姿勢情報解析部
１００Ｅ 画像変更部
１００Ｆ 照明制御部
１００Ｇ タイミング情報制御部
１００Ｈ 外部入出力部
１０２ プロセッサ
１３０ 操作部
１４０ ディスプレイ
１５０ 入出力インタフェース
１６０ 記録装置
１６０Ａ 背景コンテンツ
１６０Ｂ 撮影画像
１６０Ｃ 位置情報
１６０Ｄ 姿勢情報
１６０Ｅ 編集後画像
１６０Ｆ タイミング情報
１６５ スピーカー
１７０ 撮影部
１９０ バス
２ 撮影システム
１０ コントローラ
１２ コントローラ
２０ 撮影カメラ
２２ 撮影カメラ
３０ 表示装置
３２ スクリーン
３４Ａ プロジェクタ
３４Ｂ プロジェクタ
３６ スクリーン
３８Ａ プロジェクタ
３８Ｂ プロジェクタ
４０ モニタ
４２ モニタ
４２Ａ モニタ
４４ 表示装置
４６Ａ 表示装置
４６Ｂ 表示装置
４６Ｃ 表示装置
４８ 表示装置
５０ 照明装置
９０ 被写体
９２ 背景
９４ 背景
９６ 撮影画像
９８ 撮影画像
１００ プロセッサ
１００Ａ 表示制御部
１００Ｂ 撮影制御部
１００Ｃ 位置情報解析部
１００Ｄ 姿勢情報解析部
１００Ｅ 画像変更部
１００Ｆ 照明制御部
１００Ｇ タイミング情報制御部
１００Ｈ 外部入出力部
１０２ プロセッサ
１３０ 操作部
１４０ ディスプレイ
１５０ 入出力インタフェース
１６０ 記録装置
１６０Ａ 背景コンテンツ
１６０Ｂ 撮影画像
１６０Ｃ 位置情報
１６０Ｄ 姿勢情報
１６０Ｅ 編集後画像
１６０Ｆ タイミング情報
１６５ スピーカー
１７０ 撮影部
１９０ バス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】