特許 6102181 画像処理装置、プログラム及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6102181

(24)【登録日】2017年3月10日

(45)【発行日】2017年3月29日

(54)【発明の名称】画像処理装置、プログラム及び画像処理方法

(51)【国際特許分類】

   G09G 5/36 20060101AFI20170316BHJP

   G03B 21/00 20060101ALI20170316BHJP

   G03B 21/10 20060101ALI20170316BHJP

   G09G 5/00 20060101ALI20170316BHJP

   G09G 5/377 20060101ALI20170316BHJP

   H04N 5/66 20060101ALI20170316BHJP

   G06F 3/14 20060101ALI20170316BHJP

【ＦＩ】

   G09G5/36 520P

   G03B21/00 D

   G03B21/10 Z

   G09G5/00 510B

   G09G5/00 550C

   G09G5/36 520M

   G09G5/00 510Q

   G09G5/00 530M

   H04N5/66 D

   G06F3/14 310A

【請求項の数】7

【全頁数】26

(21)【出願番号】特願2012-238048(P2012-238048)

(22)【出願日】2012年10月29日

(65)【公開番号】特開2014-89261(P2014-89261A)

(43)【公開日】2014年5月15日

【審査請求日】2015年8月25日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110001254

【氏名又は名称】特許業務法人光陽国際特許事務所

(72)【発明者】

【氏名】喜多 一記

【審査官】 橋本 直明

(56)【参考文献】

【文献】 特開２０１２−０５３２２７（ＪＰ，Ａ）

【文献】 特開２０１２−０４４４０７（ＪＰ，Ａ）

【文献】 特開２０１０−２６１９８９（ＪＰ，Ａ）

【文献】 特開２０１１−１３９２６１（ＪＰ，Ａ）

【文献】 特開２０１１−０８２７９８（ＪＰ，Ａ）

【文献】 特開２００４−０７２５７０（ＪＰ，Ａ）

【文献】 特開２００６−３５０１７４（ＪＰ，Ａ）

【文献】 特開２００５−２６７６１１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｇ ５／３６

Ｇ０３Ｂ ２１／００

Ｇ０３Ｂ ２１／１０

Ｇ０６Ｆ ３／１４

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３７７

Ｈ０４Ｎ ５／６６

(57)【特許請求の範囲】

【請求項1】

人物を含む映像コンテンツを前記人物の形状に成型されたスクリーンに投影する投影装置に接続された画像処理装置であって、
前記スクリーンを含む撮影画像を取得するスクリーン画像取得手段と、
前記取得された撮影画像から前記スクリーンの外形を抽出するスクリーン外形抽出手段と、
前記映像コンテンツの映像データに基づいて前記人物の性別を判別する判別手段と、
前記映像コンテンツの映像データから前記人物の領域を抽出し、当該抽出した人物の領域と、前記撮影画像から抽出されたスクリーンの外形に基づいて、前記映像データにおける、当該映像データを前記スクリーンに投影したときに前記人物の輪郭と前記スクリーンの外形の間に相当する領域に前記判別手段により判別された性別に応じたデザインの画像を合成する合成手段と、
前記合成された映像データに基づいて、前記人物の輪郭と前記スクリーンの外形の間に前記画像が合成された映像コンテンツを前記投影装置により前記スクリーン上に投影させる制御手段と、
を備える画像処理装置。

【請求項2】

投影対象物を含む映像コンテンツを前記投影対象物の形状に成型されたスクリーンに投影する投影装置に接続された画像処理装置であって、
前記スクリーンを含む撮影画像を取得するスクリーン画像取得手段と、
前記取得された撮影画像から前記スクリーンの外形を抽出するスクリーン外形抽出手段と、
前記スクリーンに投影された映像コンテンツの聴衆の人数を取得する人数取得手段と、
前記映像コンテンツの映像データから前記投影対象物の領域を抽出し、当該抽出した投影対象物の領域と、前記撮影画像から抽出されたスクリーンの外形に基づいて、前記映像データにおける、当該映像データを前記スクリーンに投影したときに前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に前記人数取得手段により取得された人数に応じた色の画像を合成する合成手段と、
前記合成された映像データに基づいて、前記投影対象物の輪郭と前記スクリーンの外形の間に前記画像が合成された映像コンテンツを前記投影装置により前記スクリーン上に投影させる制御手段と、
を備える画像処理装置。

【請求項3】

前記映像コンテンツの聴衆の撮影画像を取得する聴衆画像取得手段を備え、
前記人数取得手段は、前記映像コンテンツの聴衆の撮影画像を解析して前記聴衆の人数を取得する請求項２に記載の画像処理装置。

【請求項4】

人物を含む映像コンテンツを前記人物の形状に成型されたスクリーンに投影する投影装置に接続された画像処理装置における画像処理方法であって、
前記スクリーンを含む撮影画像を取得する工程と、
前記取得された撮影画像から前記スクリーンの外形を抽出する工程と、
前記映像コンテンツの映像データに基づいて前記人物の性別を判別する工程と、
前記映像コンテンツの映像データから前記人物の領域を抽出し、当該抽出した人物の領域と、前記撮影画像から抽出されたスクリーンの外形に基づいて、前記映像データにおける、当該映像データを前記スクリーンに投影したときに前記人物の輪郭と前記スクリーンの外形の間に相当する領域に前記判別された性別に応じたデザインの画像を合成する工程と、
前記合成された映像データに基づいて、前記人物の輪郭と前記スクリーンの外形の間に前記画像が合成された映像コンテンツを前記投影装置により前記スクリーン上に投影させる工程と、
を含む画像処理方法。

【請求項5】

投影対象物を含む映像コンテンツを前記投影対象物の形状に成型されたスクリーンに投影する投影装置に接続された画像処理装置における画像処理方法であって、
前記スクリーンを含む撮影画像を取得する工程と、
前記取得された撮影画像から前記スクリーンの外形を抽出する工程と、
前記スクリーンに投影された映像コンテンツの聴衆の人数を取得する工程と、
前記映像コンテンツの映像データから前記投影対象物の領域を抽出し、当該抽出した投影対象物の領域と、前記撮影画像から抽出されたスクリーンの外形に基づいて、前記映像データにおける、当該映像データを前記スクリーンに投影したときに前記投影対象物の郭と前記スクリーンの外形の間に相当する領域に前記取得された人数に応じた色の画像を合成する工程と、
前記合成された映像データに基づいて、前記投影対象物の輪郭と前記スクリーンの外形の間に前記画像が合成された映像コンテンツを前記投影装置により前記スクリーン上に投影させる工程と、
を含む画像処理方法。

【請求項6】

人物を含む映像コンテンツを前記人物の形状に成型されたスクリーンに投影する投影装置に接続された画像処理装置に用いられるコンピュータを、
前記スクリーンを含む撮影画像を取得するスクリーン画像取得手段、
前記取得された撮影画像から前記スクリーンの外形を抽出するスクリーン外形抽出手段、
前記映像コンテンツの映像データに基づいて前記人物の性別を判別する判別手段、
前記映像コンテンツの映像データから前記人物の領域を抽出し、当該抽出した人物の領域と、前記撮影画像から抽出されたスクリーンの外形に基づいて、前記映像データにおける、当該映像データを前記スクリーンに投影したときに前記人物の輪郭と前記スクリーンの外形の間に相当する領域に前記判別手段により判別された性別に応じたデザインの画像を合成する合成手段、
前記合成された映像データに基づいて、前記人物の輪郭と前記スクリーンの外形の間に前記画像が合成された映像コンテンツを前記投影装置により前記スクリーン上に投影させる制御手段、
として機能させるためのプログラム。

【請求項7】

投影対象物を含む映像コンテンツを前記投影対象物の形状に成型されたスクリーンに投影する投影装置に接続された画像処理装置に用いられるコンピュータを、
前記スクリーンを含む撮影画像を取得するスクリーン画像取得手段、
前記取得された撮影画像から前記スクリーンの外形を抽出するスクリーン外形抽出手段、
前記スクリーンに投影された映像コンテンツの聴衆の人数を取得する人数取得手段、
前記映像コンテンツの映像データから前記投影対象物の領域を抽出し、当該抽出した投影対象物の領域と、前記撮影画像から抽出されたスクリーンの外形に基づいて、前記映像データにおける、当該映像データを前記スクリーンに投影したときに前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に前記人数取得手段により取得された人数に応じた色の画像を合成する合成手段、
前記合成された映像データに基づいて、前記投影対象物の輪郭と前記スクリーンの外形の間に前記画像が合成された映像コンテンツを前記投影装置により前記スクリーン上に投影させる制御手段、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、プログラム及び画像処理方法に関する。

【背景技術】

【0002】

お客や鑑賞者に対して広告内容等のコンテンツを提示する際の印象を高めるために、人型に成形された投影スクリーンに、そのスクリーンの外形に合わせた形状のコンテンツ映像などを投影する技術が提案されている（例えば、特許文献１参照）。この技術は、展示会等における斬新で効果的な展示の演出や、あるいは、「バーチャルマネキン」等、人間代わりの商品説明等に利用されている。

【0003】

上記の人型スクリーンとしては、背面投影用のフィルム、例えば、透明塩化ビニルフィルムの投影する背面側にマイクロビーズレンズを配列した層と球状ビーズの隙間に黒い光吸収層を設けた特殊フィルムなどを、人型に成形された透明なアクリル板等の基材に貼り付けて用いることが多く、広い角度から、比較的明るく高輝度で、あたかもそこに人間が立っているかのような存在感のある投影像が得られる。

【0004】

上記の技術においては、人物像（人物の投影像）の方が人型スクリーン外形よりも外側にはみ出ると、その部分の人物像の顔や肩などが欠けたり、細くなったり、不自然な形状になる。また、人物の映像を撮影して使用する場合には人物像の輪郭が動いたり変化したりする。そのため、人型スクリーンと人物像との間に余白領域ができるように投影することが行われている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１１−１５０２２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、従来、その余白領域は使用されていなかったため、最大限の演出効果が得られていなかった。

【0007】

本発明は、上記のような問題を鑑みてなされたもので、その目的とするところは、スクリーンと投影対象物の像との間の余白領域を利用して、演出効果を向上させることである。

【課題を解決するための手段】

【0008】

上記課題を解決するため、請求項１に記載の発明は、
人物を含む映像コンテンツを前記人物の形状に成型されたスクリーンに投影する投影装置に接続された画像処理装置であって、
前記スクリーンを含む撮影画像を取得するスクリーン画像取得手段と、
前記取得された撮影画像から前記スクリーンの外形を抽出するスクリーン外形抽出手段と、
前記映像コンテンツの映像データに基づいて前記人物の性別を判別する判別手段と、
前記映像コンテンツの映像データから前記人物の領域を抽出し、当該抽出した人物の領域と、前記撮影画像から抽出されたスクリーンの外形に基づいて、前記映像データにおける、当該映像データを前記スクリーンに投影したときに前記人物の輪郭と前記スクリーンの外形の間に相当する領域に前記判別手段により判別された性別に応じたデザインの画像を合成する合成手段と、
前記合成された映像データに基づいて、前記人物の輪郭と前記スクリーンの外形の間に前記画像が合成された映像コンテンツを前記投影装置により前記スクリーン上に投影させる制御手段と、
を備える。

【発明の効果】

【0009】

本発明によれば、スクリーンと投影対象物の像との間の余白領域を利用して、演出効果を向上させることが可能となる。

【図面の簡単な説明】

【0010】

【図1】本実施形態におけるコンテンツ再生システムの全体構成例を示す図である。

【図2】（ａ）は、映像の投影前のコンテンツ再生システムの正面図、（ｂ）は映像の投影時のコンテンツ再生システムの正面図である。

【図3】図１の画像処理装置の機能的構成を示すブロック図である。

【図4】図３の制御部において実行される再生制御処理を示すフローチャートである。

【図5】図４のステップＳ１において実行される位置合わせ処理を示すフローチャートである。

【図6】図４のステップＳ２において実行されるスクリーン外形抽出処理を示すフローチャートである。

【図7】（ａ）は、図６のステップＳ２０２で取得される撮影画像を模式的に示す図、（ｂ）は、分割線が付加されたフレーム画像を模式的に示す図、（ｃ）は、（ａ）、（ｂ）に基づいて抽出された余白領域を模式的に示す図である。

【図8】第１の実施形態において図４のステップＳ３において実行される合成用画像生成処理（合成用画像生成処理Ａ）を示すフローチャートである。

【図9】図８のステップＳ３０２において実行される余白領域抽出処理を示すフローチャートである。

【図10】図４のステップＳ４において実行される投影制御処理を示すフローチャートである。

【図11】フレーム画像のスクリーンの外形と人物領域の輪郭との間に相当する余白領域に画像が合成された例を示す図である。

【図12】第２の実施形態におけるコンテンツ再生システムの全体構成例を示す図である。

【図13】第２の実施形態において実行される合成用画像生成処理（合成用画像生成処理Ｂ）を示すフローチャートである。

【図14】第３の実施形態において実行される合成用画像生成処理（合成用画像生成処理Ｃ）を示すフローチャートである。

【図15】第４の実施形態において実行される合成用画像生成処理（合成用画像生成処理Ｄ）を示すフローチャートである。

【図16】第５の実施形態において実行される合成用画像生成処理（合成用画像生成処理Ｅ）を示すフローチャートである。

【図17】第６の実施形態において実行される再生制御処理Ｂを示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。

【0012】

［第１の実施形態］
＜コンテンツ再生システム１００の構成＞
図１、図２は、本実施形態のコンテンツ再生システム１００の概略構成を示す図である。図１は、コンテンツ再生システム１００の側面図、図２は、コンテンツ再生システム１００の正面図である。図２（ａ）は、映像の投影前、図２（ｂ）は映像の投影時の正面図である。

【0013】

コンテンツ再生システム１００は、投影用映像コンテンツを再生してコンテンツに含まれる投影対象物をその投影対象物の形状に成型されたスクリーンに投影するシステムである。本実施形態においては、投影対象物を人物とし、スクリーンは人型である場合を例にとり説明するが、これに限定されるものではない。投影対象物は、例えば、キャラクタや動物等であってもよい。

【0014】

図１に示すように、コンテンツ再生システム１００は、画像処理装置１、プロジェクタ２、カメラ３、スピーカ４、スクリーン５、マイク７等を備えて構成されている。プロジェクタ２、カメラ３、スピーカ４、マイク７は、画像処理装置１に接続されている。

【0015】

画像処理装置１は、投影用映像コンテンツの映像データにおける、当該映像データをスクリーン５に投影したときに人物領域の輪郭とスクリーン５の外形との間に相当する領域（余白領域）に画像を合成し、合成した画像をプロジェクタ２に送信してスクリーン５上に投影させる装置である。画像処理装置１としては、例えば、ＰＣ（Personal Computer）、端末装置等が適用可能である。
ここで、スクリーン５の外形とは、スクリーン５の輪郭を指し、スクリーン５の外形領域とは、スクリーン５の外形に囲まれた領域を指す。また、スクリーン５の外形と投影像の人物領域（人物像）の輪郭との間の領域を余白領域と呼び、投影用映像コンテンツの映像データ（フレーム画像）においては、投影時にスクリーン５の外形と人物像の輪郭との間に相当する領域を余白領域と呼ぶ。

【0016】

図３に、画像処理装置１の機能構成例を示す。図３に示すように、画像処理装置１は、制御部１０、操作部１１、表示部１２、記憶部１３、Ｉ／Ｆ１４、Ｉ／Ｆ１５、音声出力部１６、Ｉ／Ｆ１７等を備えて構成されている。

【0017】

制御部１０は、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等を備えて構成される。制御部１０のＣＰＵは、記憶部１３のプログラム記憶部１３１に記憶されているプログラムを読み出し、ＲＡＭのワークエリアに展開し、展開したプログラムに従って、後述する再生制御処理を始めとする各種処理を実行する。制御部１０のＲＡＭは、揮発性のメモリであり、ＣＰＵにより実行される各種プログラムやこれら各種プログラムに係るデータ等を記憶するワークエリアを有する。
制御部１０は、再生制御処理を実行することにより、スクリーン画像取得手段、スクリーン外形抽出手段、合成手段、制御手段として機能する。

【0018】

操作部１１は、各種機能キーやカーソルキー等を有し、ユーザによるキー入力を受け付けてその操作情報を制御部１０に出力する。

【0019】

表示部１２は、ＬＣＤ（Liquid Crystal Display）等により構成され、制御部１０からの表示制御信号に従って、各種表示を行う。

【0020】

記憶部１３は、ＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリ等により構成される。記憶部１３には、図３に示すように、プログラム記憶部１３１、映像データ記憶部１３２、設定情報記憶部１３３が設けられている。

【0021】

プログラム記憶部１３１には、制御部１０で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。プログラムは、コンピュータ読み取り可能なプログラムコードの形態でプログラム記憶部１３１に格納されている。制御部１０は、当該プログラムコードに従った動作を逐次実行する。

【0022】

映像データ記憶部１３２は、投影用映像コンテンツの映像データを記憶する。映像データは、動画データを構成する複数のフレーム画像のデータ及び各フレーム画像に対応する音声データにより構成されている。

【0023】

設定情報記憶部１３３は、投影用映像コンテンツの映像データをスクリーン５に投影する際の人物領域の倍率及び位置の移動量を示す設定情報を記憶する。倍率の設定情報は、例えば、投影用映像コンテンツのフレーム画像（例えば、１フレーム目のフレーム画像）から、例えば画像認識等の公知の画像処理によって人物領域を抽出し、抽出した人物領域のサイズ、プロジェクタ２の拡大率、スクリーン５のサイズ等に基づいて、予め算出されて登録されている。位置の移動量の設定情報としては、例えば、投影用映像コンテンツのフレーム画像から画像処理によって人物領域を抽出し、その人物領域の重心を求め、求めた重心位置が画像中央に一致するように移動させたときの移動量及び移動方向が予め登録されている。

【0024】

Ｉ／Ｆ１４は、プロジェクタ２と接続し、データ送受信を行うためのインターフェースである。
Ｉ／Ｆ１５は、カメラ３と接続し、データ送受信を行うためのインターフェースである。

【0025】

音声出力部１６は、スピーカ４が接続され、制御部１０により指示された音声データを音声信号に変換してスピーカ４から出力させる。
Ｉ／Ｆ１７は、マイク７と接続し、マイク７からの音声の電気信号を入力する。

【0026】

プロジェクタ２は、画像処理装置１から送信されたフレーム画像に基づいてスクリーン５の背面から映像を投影する背面投射型の投影装置である。プロジェクタ２は、例えば、フレーム画像に基づいて、アレイ状に配列された複数個（ＸＧＡの場合、横１０２４画素×縦７６８画素）の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することでその反射光により光像を形成する表示素子であるＤＭＤ（デジタルマイクロミラーデバイス）を利用したＤＬＰ（Digital Light Processing）(登録商標)プロジェクタが適用可能である。投影対象物がフレーム画像中の人物領域である場合には、人物領域に対応する位置の微小ミラーをオンし、その他の領域をオフすることで、人物領域を投影することが可能となる。

【0027】

カメラ３は、スクリーン５の外形が視野内に収まる位置に設置され、画像処理装置１からの指示に従ってスクリーン５を撮影し、得られた撮影画像をＩ／Ｆ１５を介して画像処理装置１に送信する。

【0028】

スクリーン５は、支持台６に支持され、プロジェクタ２の出力光照射方向に配置された人型のスクリーンである。スクリーン５は、図１に示すように、投影対象の人型に成型された透明アクリル板等の基材５１の前面上側に背面投影用のスクリーンフィルム５２が貼付され、下側に投影対象の人物の下半身が印刷されたフィルム５３が貼付されて構成されている。このスクリーンフィルムは市販されている高輝度、高コントラストを有するものを用いることにより、日中の明るさであっても、また、明るい居室内であっても、スクリーン５に投影されたコンテンツを視認することができる。

【0029】

なお、本実施形態においては、人物の上半身が撮影された投影用映像コンテンツをスクリーン５に投影する場合を例としているが、スクリーン５の基材５１の全面に背面投影用のスクリーンフィルム５２を貼付した構成とし、人物の全身が撮影された投影用映像コンテンツをスクリーン５に投影することとしてもよい。

【0030】

マイク７は、音声を検出して電気信号に変換する。

【0031】

＜画像処理装置１の動作＞
次に、本実施形態における動作について説明する。
図１に示すコンテンツ再生システム１００の構成においては、投影用映像コンテンツのフレーム画像やスクリーン５に投影した投影像の撮影画像は、正面像とは左右を反転したものとなるが、以下の説明に使用する図においては左右反転は省略し、全て正面像として図示する。

【0032】

図４に、画像処理装置１によって実行される再生制御処理のフローチャートを示す。再生制御処理は、制御部１０のＣＰＵとプログラム記憶部１３１に記憶されているプログラムとの協働により実行される。

【0033】

まず、制御部１０は、位置合わせ処理を実行する（ステップＳ１）。
図５に、位置合わせ処理のフローチャートを示す。位置合わせ処理は、制御部１０のＣＰＵとプログラム記憶部１３１に記憶されているプログラムとの協働により実行される。

【0034】

位置合わせ処理において、まず、制御部１０は、投影用映像コンテンツのフレーム画像（例えば、１フレーム目）を記憶部１３の映像データ記憶部１３２から読み出して取得する（ステップＳ１０１）。
次いで、制御部１０は、記憶部１３の設定情報記憶部１３３から設定情報を取得し、取得した設定情報に基づいて、人物領域の倍率及び位置を変更したフレーム画像を作成する（ステップＳ１０２）。

【0035】

次いで、制御部１０は、作成されたフレーム画像から人物領域を抽出し、抽出した人物領域の位置情報及び作成されたフレーム画像をＩ／Ｆ１４を介してプロジェクタ２に送信し、プロジェクタ２によりフレーム画像中の人物領域をスクリーン５に投影させる（ステップＳ１０３）。人物領域は、例えば、画像認識等の公知の画像処理技術によって抽出することができる。

【0036】

次いで、制御部１０は、スクリーン５を含む投影像をカメラ３に撮影させて撮影画像を取得し（ステップＳ１０４）、取得した撮影画像からスクリーン５の外形領域を抽出する（ステップＳ１０５）。
ステップＳ１０５におけるスクリーン５の外形領域は、例えば、撮影画像にぼかし処理及び二値化処理を施すことにより抽出することとするが、これに限らず、その他の公知の画像処理技術を用いて抽出してもよい。

【0037】

次いで、制御部１０は、撮影画像から投影像の人物領域を抽出する（ステップＳ１０６）。例えば、撮影画像に、ステップＳ１０５より高い（明るい）輝度の閾値を用いて二値化処理を施すことにより人物領域を抽出することとするが、これに限らず、その他の公知の画像処理技術を用いて抽出してもよい。

【0038】

次いで、制御部１０は、抽出されたスクリーン５の外形領域と人物領域とを比較し、両者の位置合わせを行う（ステップＳ１０７）。例えば、スクリーン５の外形領域の重心と人物領域の重心をそれぞれ求め、両者が一致するように人物領域を移動させた後、人物領域がスクリーン５の外形領域に対して予め定められたサイズ（例えば、約０．９倍）となるように人物領域の倍率を変更する。

【0039】

次いで、制御部１０は、ステップＳ１０７の位置合わせで取得した人物領域の倍率及び移動量（及び移動方向）に基づいて、投影時のフレーム画像における人物領域の倍率及び位置の移動量（及び移動方向）を算出し、算出結果により設定情報記憶部１３３に記憶されている設定情報を更新し（ステップＳ１０８）、図４のステップＳ２の処理に移行する。

【0040】

図４のステップＳ２においては、スクリーン外形抽出処理が実行される（ステップＳ２）。

【0041】

図６に、スクリーン外形抽出処理のフローチャートを示す。スクリーン外形抽出処理は、制御部１０のＣＰＵとプログラム記憶部１３１に記憶されているプログラムとの協働により実行される。

【0042】

まず、制御部１０は、投影用映像コンテンツのフレーム画像と同サイズの画像をｎ×ｎ（ｎは正の整数）の領域に分割し、分割線の入った画像をＩ／Ｆ１４を介してプロジェクタ２に送信し、投影させる（ステップＳ２０１）。

【0043】

次いで、制御部１０は、投影中のスクリーン５を含む投影像をカメラ３に撮影させて撮影画像を取得し（ステップＳ２０２）、取得された撮影画像からスクリーン５の外形を抽出し（ステップＳ２０３）、図４のステップＳ３の処理に移行する。スクリーン５の外形の抽出は、図５のステップＳ１０５で説明したものと同様の処理によりスクリーン５の外形領域を抽出し、その輪郭を抽出することにより行うことができる。図７（ａ）に、ステップＳ２０２で取得される撮影画像の模式図を示す。

【0044】

図４のステップＳ３においては、合成画像生成処理が実行される（ステップＳ３）。本実施形態においては、合成画像生成処理として、図８に示す合成画像生成処理Ａが実行される。
図８に、合成画像生成処理のフローチャートを示す。合成画像生成処理は、制御部１０のＣＰＵとプログラム記憶部１３１に記憶されているプログラムとの協働により実行される。

【0045】

まず、制御部１０は、投影用映像コンテンツのフレーム画像を記憶部１３の映像データ記憶部１３２から読み出して取得する（ステップＳ３０１）。

【0046】

次いで、制御部１０は、余白領域抽出処理を実行する（ステップＳ３０２）。
図９に、余白領域抽出処理のフローチャートを示す。余白領域抽出処理は、制御部１０のＣＰＵとプログラム記憶部１３１に記憶されているプログラムとの協働により実行される。

【0047】

まず、制御部１０は、記憶部１３の設定情報記憶部１３３から当該投影用映像コンテンツのフレーム画像を投影する際の人物領域の倍率及び位置の移動量の設定情報を取得し、取得された設定情報に基づいて、人物領域の倍率及び位置を変更したフレーム画像を作成する（ステップＳ２０２１）。

【0048】

次いで、制御部１０は、作成したフレーム画像をｎ×ｎに分割し、分割線をフレーム画像に付加する（ステップＳ２０２２、図７（ｂ）参照）。
次いで、制御部１０は、上記フレーム画像から人物領域を抽出する（ステップＳ２０２３）。人物領域の抽出は、例えば、画像認識等の画像処理等の公知の画像処理技術によって行うことができる。

【0049】

そして、制御部１０は、図４のステップＳ２のスクリーン外形抽出処理で抽出したスクリーンの外形と、抽出した人物領域の輪郭とを比較して、フレーム画像から余白領域を抽出する（ステップＳ２０２４）。例えば、スクリーン外形抽出処理で撮影された撮影画像の分割線とフレーム画像の分割線とで撮影画像とフレーム画像との対応をとり、撮影画像の倍率を変更して撮影画像の分割線をフレーム画像の分割線に合わせる。これにより、フレーム画像中のスクリーン５の外形に相当する位置を特定することができる。次いで、フレーム画像におけるスクリーン５の外形とフレーム画像中の人物領域の輪郭とを比較し、人物領域の輪郭とスクリーンの外形との間の領域を余白領域として抽出する。図７（ｃ）に、図７（ａ）に示すスクリーン外形と図７（ｂ）に示す人物領域に基づいて抽出された余白領域を示す。図７（ｃ）において斜線で示した部分が余白領域である。余白領域の抽出後、制御部１０は、図８のステップＳ３０３の処理に移行する。

【0050】

図８のステップＳ３０３においては、抽出された余白領域に所定の色を付した合成用画像が生成される（ステップＳ３０３）。所定の色は、例えば、操作部１１からユーザが予め設定することができる。また、色に限らず、パターン等を余白領域に付すこととしてもよい。

【0051】

そして、制御部１０は、生成した合成用画像をフレーム画像（ステップＳ３０１で取得したフレーム画像）に対応付けて記憶部１３に記憶する（ステップＳ３０４）。例えば、合成用画像のヘッダ領域にフレーム画像を識別するための識別番号等を書き込んで記憶する。

【0052】

次いで、制御部１０は、投影用映像コンテンツの映像データに次のフレーム画像が存在するか否かを判断する（ステップＳ３０５）。次のフレーム画像が存在すると判断した場合（ステップＳ３０５；ＹＥＳ）、制御部１０は、ステップＳ３０１の処理に戻り、次のフレーム画像についてステップＳ３０１〜ステップＳ３０４の処理を繰り返し実行する。次のフレーム画像が存在しないと判断した場合（ステップＳ３０５；ＮＯ）、制御部１０は、図４のステップＳ４の処理に移行する。

【0053】

なお、余白領域の抽出としては、フレーム画像から抽出した人物領域をスクリーン５に投影し、その投影像を含むスクリーン５をカメラ３により撮影し、取得された撮影画像からスクリーン５の外形と人物領域を抽出し、抽出したスクリーン５の外形と人物領域の輪郭とに基づいて余白領域を抽出することとしてもよい。この場合は、図２のステップＳ２におけるスクリーン外形抽出処理は不要である。

【0054】

図４のステップＳ４において、制御部１０は、投影制御処理を実行する（ステップＳ４）。
図１０に、投影制御処理のフローチャートを示す。投影制御処理は、制御部１０のＣＰＵとプログラム記憶部１３１に記憶されているプログラムとの協働により実行される。

【0055】

まず、制御部１０は、投影用映像コンテンツのフレーム画像を記憶部１３の映像データ記憶部１３２から読み出して取得する（ステップＳ４０１）。

【0056】

次いで、制御部１０は、記憶部１３の設定情報記憶部１３３から当該投影用映像コンテンツのフレーム画像を投影する際の人物領域の倍率及び位置の移動量の設定情報を取得し、取得された設定情報に基づいて、人物領域の倍率及び位置を変更したフレーム画像を作成する（ステップＳ４０２）。

【0057】

次いで、制御部１０は、作成したフレーム画像から人物領域を抽出する（ステップＳ４０３）。人物領域の抽出は、例えば、画像認識等の画像処理等の公知の画像処理技術によって行うことができる。

【0058】

次いで、制御部１０は、記憶部１３を検索し、取得したフレーム画像に対応する合成用画像が存在するか否かを判断する（ステップＳ４０４）。取得したフレーム画像に対応する合成用画像が存在すると判断した場合（ステップＳ４０４；ＹＥＳ）、制御部１０は、ステップＳ４０３で抽出した人物領域とこれに対応付けられた合成用画像を合成して投影画像とし（ステップＳ４０５）、ステップＳ４０７の処理に移行する。

【0059】

図１１に、投影画像の一例を示す。図１１に示すように、投影画像においては、投影時にスクリーン外形と、人物領域の輪郭との間の余白領域に、所定の色やパターン等が合成されている。従って、例えば、この余白領域にスクリーン５の背景と同系色の色等やパターン等を合成することにより、人物像が周囲から浮かび上がったような立体的な投影等を可能とし、演出効果を向上させることが可能となる。

【0060】

一方、取得したフレーム画像に対応付けられた合成用画像が存在しないと判断した場合（ステップＳ４０４；ＮＯ）、ステップＳ４０３で抽出した人物領域を投影画像とし（ステップＳ４０６）、ステップＳ４０７の処理に移行する。

【0061】

ステップＳ４０７において、制御部１０は、合成された投影画像及び投影画像における投影対象領域の位置情報（人物領域＋余白領域の位置情報）をＩ／Ｆ１４を介してプロジェクタ２に送信し、プロジェクタ２により投影画像中の投影対象領域をスクリーン５に投影させる。また、元のフレーム画像に対応する音声データを音声出力部１６により音声信号に変換させ、スピーカ４より音声出力させる（ステップＳ４０７）。

【0062】

次いで、制御部１０は、投影用映像コンテンツの映像データに次のフレーム画像が存在するか否かを判断する（ステップＳ４０８）。次のフレーム画像が存在すると判断した場合（ステップＳ４０８；ＹＥＳ）、制御部１０は、ステップＳ４０１の処理に戻り、次のフレーム画像についてステップＳ４０１〜ステップＳ４０７の処理を繰り返し実行する。次のフレーム画像が存在しないと判断した場合（ステップＳ４０８；ＮＯ）、制御部１０は、再生制御処理を終了する。

【0063】

［第２の実施形態］
次に、第２の実施形態について説明する。
第２の実施形態におけるコンテンツ再生システム２００は、図１２に示すように、図１に示すコンテンツ再生システム１００のスクリーン５の前面にカメラ８が設けられている。このカメラ８は、スクリーン５及びその背景を撮影するものであり、画像処理装置１に接続されている。その他の第２の実施形態におけるコンテンツ再生システム２００及びこれを構成する各装置の構成は、第１の実施形態で説明したものと同様であるので説明を援用し、以下、第２の実施形態の動作について説明する。

【0064】

第２の実施形態においては、図４のステップＳ３で実行される合成用画像生成処理が第１の実施形態で説明したものと異なる。その他の処理は第１の実施形態で説明したものと同様であるので説明を援用し、以下、第２の実施形態において図４のステップＳ３で実行される合成用画像生成処理（合成用画像生成処理Ｂ）について説明する。
制御部１０は、合成用画像生成処理Ｂを含む再生制御処理を実行することで、スクリーン画像取得手段、スクリーン外形抽出手段、合成手段、制御手段、背景画像取得手段として機能する。

【0065】

図１３に、合成用画像生成処理Ｂのフローチャートを示す。合成用画像生成処理Ｂは、制御部１０のＣＰＵとプログラム記憶部１３１に記憶されているプログラムとの協働により実行される。
まず、制御部１０は、スクリーン５の背景をカメラ８に撮影させてその撮影画像を取得する（ステップＳ３１１）。
次いで、制御部１０は、投影用映像コンテンツのフレーム画像を記憶部１３の映像データ記憶部１３２から読み出して取得する（ステップＳ３１２）。

【0066】

次いで、制御部１０は、余白領域抽出処理を実行する（ステップＳ３１３）。余白領域抽出処理は、第１の実施形態において図９を用いて説明したものと同様であるので説明を援用する。

【0067】

次いで、制御部１０は、抽出された余白領域にステップＳ３１１で取得された背景の撮影画像を配置した合成用画像を生成する（ステップＳ３１４）。図１２に示す構成の場合、例えば、背景の撮影画像の左右を反転させ、背景の撮影画像中のスクリーン５の外形を抽出し、これをフレーム画像のスクリーン外形に相当する、抽出した余白領域の外形に合わせるように撮影画像の倍率を変更し、倍率変更した撮影画像の余白領域に対応する部分の画像を切り出して合成用画像を生成する。

【0068】

そして、制御部１０は、生成した合成用画像をフレーム画像（ステップＳ３１２で取得したフレーム画像）に対応付けて記憶部１３に記憶する（ステップＳ３１５）。例えば、合成用画像のヘッダ領域にフレーム画像を識別するための識別番号等を書き込んで記憶する。

【0069】

次いで、制御部１０は、投影用映像コンテンツの映像データに次のフレーム画像が存在するか否かを判断する（ステップＳ３１６）。次のフレーム画像が存在すると判断した場合（ステップＳ３１６；ＹＥＳ）、制御部１０は、ステップＳ３１１の処理に戻り、次のフレーム画像についてステップＳ３１１〜ステップＳ３１５の処理を繰り返し実行する。次のフレーム画像が存在しないと判断した場合（ステップＳ３１６；ＮＯ）、制御部１０は、図４のステップＳ４の処理に移行し、図１０の投影制御処理を実行する。投影制御処理の実行により、スクリーン５の背景の撮影画像がスクリーン５と人物像との間の余白領域に投影される。

【0070】

第２の実施形態によれば、スクリーン５と人物像との間の余白領域に背景の撮影画像が投影されるので、背景の前にあたかも人物が存在するかのような自然な投影を行うことが可能となり、演出効果を向上させることが可能となる。

【0071】

［第３の実施形態］
次に、第３の実施形態について説明する。
第３の実施形態におけるコンテンツ再生システム及びこれを構成する各装置の構成は、第１の実施形態で説明したものと同様であるので説明を援用し、以下、第３の実施形態の動作について説明する。

【0072】

第３の実施形態の動作は、図４のステップＳ３で実行される合成用画像生成処理が第１の実施形態と異なる。その他の処理は第１の実施形態で説明したものと同様であるので説明を援用し、以下、第３の実施形態において図４のステップＳ３で実行される合成用画像生成処理（合成用画像生成処理Ｃ）について説明する。
制御部１０は、合成用画像生成処理Ｃを含む再生制御処理を実行することで、スクリーン画像取得手段、スクリーン外形抽出手段、合成手段、制御手段、テキスト取得手段として機能する。

【0073】

図１４に、合成用画像生成処理Ｃのフローチャートを示す。合成用画像生成処理Ｃは、制御部１０のＣＰＵとプログラム記憶部１３１に記憶されているプログラムとの協働により実行される。
まず、制御部１０は、投影用映像コンテンツの音声を取得する（ステップＳ３２１）。具体的には、制御部１０は、投影用映像コンテンツの音声データを映像データ記憶部１３２から読み出し、音声出力部１６により音声信号に変換してスピーカ４により出力させる。そして、マイク７により入力されたその音声信号の音声波形を取得する。

【0074】

次いで、制御部１０は、取得された音声波形を解析して音声認識を行い、音声に対応するテキストを作成する（ステップＳ３２２）。

【0075】

次いで、制御部１０は、作成されたテキストの区切りを検出し、検出した区切りごとにテキストの表示タイミングを決定し、投影用映像コンテンツの各フレーム画像とテキストとを対応付けて記憶する（ステップＳ３２３）。例えば、制御部１０は、公知の形態素解析技術等によりテキストの区切りを決定し、区切られたひとまとまりのテキストの音声が再生されるタイミングで表示（投影）される一連のフレーム画像の表示タイミングをそのひとまとまりのテキストの表示タイミングとして決定する。そして、テキストの区切り毎に、テキストをそのテキストの表示タイミングと同じ表示タイミングで表示するフレーム画像に対応付けて記憶する。例えば、テキストを、フレーム画像を識別するための識別番号と対応付けて記憶する。
例えば、「いらっしゃいませ」という音声が再生されるタイミングで表示されるフレーム画像がフレーム番号１〜５の画像である場合、「いらっしゃいませ」というテキストの表示タイミングをフレーム番号１〜５のフレーム画像の表示タイミングに決定する。そして、「いらっしゃいませ」というテキストにフレーム番号１〜５を対応付けて記憶する。

【0076】

次いで、制御部１０は、投影用映像コンテンツのフレーム画像を記憶部１３の映像データ記憶部１３２から読み出して取得し（ステップＳ３２４）、余白領域抽出処理を実行する（ステップＳ３２５）。余白領域抽出処理は、第１の実施形態において図９を用いて説明したものと同様であるので説明を援用する。

【0077】

次いで、制御部１０は、抽出された余白領域に、このフレーム画像に対応付けられたテキストを配置して合成用画像を生成する（ステップＳ３２６）。

【0078】

そして、制御部１０は、生成した合成用画像をフレーム画像に対応付けて記憶部１３に記憶する（ステップＳ３２７）。例えば、合成用画像のヘッダ領域にフレーム画像を識別するための識別番号等を書き込んで記憶する。

【0079】

次いで、制御部１０は、投影用映像コンテンツの映像データに次のフレーム画像が存在するか否かを判断する（ステップＳ３２８）。次のフレーム画像が存在すると判断した場合（ステップＳ３２８；ＹＥＳ）、制御部１０は、ステップＳ３２４の処理に戻り、次のフレーム画像についてステップＳ３２４〜ステップＳ３２７の処理を繰り返し実行する。次のフレーム画像が存在しないと判断した場合（ステップＳ３２８；ＮＯ）、制御部１０は、図４のステップＳ４の処理に移行し、図１０の投影制御処理を実行する。投影制御処理の実行により、出力される音声のテキストがその音声の出力時に投影される人物像とスクリーン５との間の余白領域に表示される。

【0080】

第３の実施形態によれば、出力されている音声のテキストが人物像とスクリーン５との間の余白領域に表示されるので、音声が聞き取りにくい場合であっても聴衆はその投影されている人物像が何を言っているのかを容易に認識することが可能となる。

【0081】

［第４の実施形態］
次に、第４の実施形態について説明する。
第４の実施形態におけるコンテンツ再生システム及びこれを構成する各装置の構成は、第１の実施形態で説明したものと同様であるので説明を援用し、以下、第４の実施形態の動作について説明する。

【0082】

第４の実施形態の動作は、図４のステップＳ３で実行される合成用画像生成処理が第１の実施形態と異なる。その他の処理は第１の実施形態で説明したものと同様であるので説明を援用し、以下、第４の実施形態において図４のステップＳ３で実行される合成用画像生成処理（合成用画像生成処理Ｄ）について説明する。
制御部１０は、合成用画像生成処理Ｄを含む再生制御処理を実行することで、スクリーン画像取得手段、スクリーン外形抽出手段、合成手段、制御手段として機能する。また、制御部１０は、マイク７と協働して検出手段として機能する。

【0083】

図１５に、合成用画像生成処理Ｄのフローチャートを示す。合成用画像生成処理Ｄは、制御部１０のＣＰＵとプログラム記憶部１３１に記憶されているプログラムとの協働により実行される。
まず、制御部１０は、投影用映像コンテンツの音声を取得する（ステップＳ３３１）。具体的には、制御部１０は、投影用映像コンテンツの音声データを映像データ記憶部１３２から読み出し、音声出力部１６により音声信号に変換してスピーカ４により出力させる。そして、マイク７により入力されたその音声信号の音声波形を取得する。

【0084】

次いで、制御部１０は、取得された音声波形を解析して音声の強度を検出する（ステップＳ３３２）。

【0085】

次いで、制御部１０は、検出された音声の強度の値が予め定められた閾値を超えるか否かに基づいて、検出された音声強度が強、中、弱の何れであるかを判別する（ステップＳ３３３）。音声強度が強である場合（ステップＳ３３３；強）、制御部１０は、音声出力時の余白領域の色として明るい色を決定する（ステップＳ３３４）。音声強度が中である場合（ステップＳ３３３；中）、制御部１０は、音声出力時の余白領域の色として中間の色を決定する（ステップＳ３３５）。音声強度が弱である場合（ステップＳ３３３；弱）、制御部１０は、音声出力時の余白領域の色として暗い色を決定する（ステップＳ３３６）。ここで、明るい色、中間の色、暗い色のそれぞれに該当する色は、予め定められている。
制御部１０は、ステップＳ３３２で取得された全ての音声波形に対する解析及び余白領域の色の決定が終了するまでステップＳ３３２〜ステップＳ３３６の処理を繰り返し実行し、余白領域の色の決定が終了すると（ステップＳ３３７；ＹＥＳ）、ステップＳ３３８の処理に移行する。

【0086】

ステップＳ３３８において、制御部１０は、音声の再生タイミングに応じて各色の表示タイミングを決定し、決定された表示タイミングと同じ表示タイミングで表示されるフレーム画像にその色を対応付けて記憶し（ステップＳ３３８）、ステップＳ３３９の処理に移行する。例えば、フレーム画像の識別番号と色とを対応付けて記憶する。

【0087】

ステップＳ３３９において、制御部１０は、投影用映像コンテンツのフレーム画像を記憶部１３の映像データ記憶部１３２から読み出して取得する（ステップＳ３３９）。

【0088】

次いで、制御部１０は、余白領域抽出処理を実行する（ステップＳ３４０）。余白領域抽出処理は、第１の実施形態において図９を用いて説明したものと同様であるので説明を援用する。

【0089】

次いで、制御部１０は、抽出された余白領域にステップＳ３３８で対応付けられた色を配置した合成用画像を生成する（ステップＳ３４１）。そして、制御部１０は、生成した合成用画像をフレーム画像に対応付けて記憶部１３に記憶する（ステップＳ３４２）。例えば、合成用画像のヘッダ領域にフレーム画像を識別するための識別番号等を書き込んで記憶する。

【0090】

次いで、制御部１０は、投影用映像コンテンツの映像データに次のフレーム画像が存在するか否かを判断する（ステップＳ３４３）。次のフレーム画像が存在すると判断した場合（ステップＳ３４３；ＹＥＳ）、制御部１０は、ステップＳ３３９の処理に戻り、次のフレーム画像についてステップＳ３３９〜ステップＳ３４２の処理を繰り返し実行する。次のフレーム画像が存在しないと判断した場合（ステップＳ３４３；ＮＯ）、制御部１０は、図４のステップＳ４の処理に移行し、図１０の投影制御処理を実行する。投影制御処理の実行により、音声の強度に応じた色がフレーム画像の余白領域に合成される。

【0091】

第４の実施形態によれば、人物像とスクリーン５との間の余白領域が音声の強度に応じた色で表示される。従って、投影用映像コンテンツにおいて音声が強調されている時に人物像のまわりが明るい色となるので、強調したい部分を聴衆に印象付けることができる。

【0092】

なお、第４の実施形態においては、投影用映像コンテンツの音の強度を解析し、音の強度に応じた色で余白領域を投影することとして説明したが、音量を解析し、音量に応じた色で余白領域を投影することとしてもよい。

【0093】

［第５の実施形態］
次に、第５の実施形態について説明する。
第５の実施形態におけるコンテンツ再生システム及びこれを構成する各装置の構成は、第１の実施形態で説明したものと同様であるので説明を援用し、以下、第５の実施形態の動作について説明する。

【0094】

第５の実施形態の動作は、図４のステップＳ３で実行される合成用画像生成処理が第１の実施形態と異なる。その他の処理は第１の実施形態で説明したものと同様であるので説明を援用し、以下、第５の実施形態において図４のステップＳ３で実行される合成用画像生成処理（合成用画像生成処理Ｅ）について説明する。
制御部１０は、合成用画像生成処理Ｅを含む再生制御処理を実行することで、スクリーン画像取得手段、スクリーン外形抽出手段、合成手段、制御手段、判別手段として機能する。

【0095】

図１６に、合成用画像生成処理Ｅのフローチャートを示す。合成用画像生成処理Ｅは、制御部１０のＣＰＵとプログラム記憶部１３１に記憶されているプログラムとの協働により実行される。

【0096】

まず、制御部１０は、投影用映像コンテンツのフレーム画像（例えば、１フレーム目のフレーム画像）を映像データ記憶部１３２から読み出して取得する（ステップＳ３５１）。

【0097】

次いで、制御部１０は、フレーム画像に含まれる人物が男性であるか女性であるかを判別する（ステップＳ３５２）。具体的には、公知の顔認識技術を用いて、フレーム画像に含まれる人物が男性であるか女性であるかを判別する。例えば、予め複数の男性、女性の顔画像から予め定められた複数の特徴（例えば、鼻の長さ、幅等）の平均を抽出しておく。そして、フレーム画像に含まれる人物の顔の特徴を解析し、各特徴が男女の何れに近いかによって男性であるか女性であるかを判別する。

【0098】

ステップＳ３５２において、男性であると判別した場合（ステップＳ３５２；男）、制御部１０は、余白領域のデザインを男性らしいデザインに決定し（ステップＳ３５３）、ステップＳ３５５の処理に移行する。
一方、ステップＳ３５２において、女性であると判別した場合（ステップＳ３５２；女性）、制御部１０は、余白領域のデザインを女性らしいデザインに決定し（ステップＳ３５４）、ステップＳ３５５の処理に移行する。
男性らしいデザインと女性らしいデザインの画像は、それぞれ記憶部１３に予め記憶されている。

【0099】

ステップＳ３５５において、制御部１０は、投影用映像コンテンツのフレーム画像を記憶部１３の映像データ記憶部１３２から読み出して取得する（ステップＳ３５５）。

【0100】

次いで、制御部１０は、余白領域抽出処理を実行する（ステップＳ３５６）。余白領域抽出処理は、第１の実施形態において図９を用いて説明したものと同様であるので説明を援用する。

【0101】

次いで、制御部１０は、抽出された余白領域に決定したデザインを配置した合成用画像を生成する（ステップＳ３５７）。そして、制御部１０は、生成した合成用画像をフレーム画像に対応付けて記憶部１３に記憶する（ステップＳ３５８）。例えば、合成用画像のヘッダ領域にフレーム画像を識別するための識別番号等を書き込んで記憶する。

【0102】

次いで、制御部１０は、投影用映像コンテンツの映像データに次のフレーム画像が存在するか否かを判断する（ステップＳ３５９）。次のフレーム画像が存在すると判断した場合（ステップＳ３５９；ＹＥＳ）、制御部１０は、ステップＳ３５５の処理に戻り、次のフレーム画像についてステップＳ３５５〜ステップＳ３５８の処理を繰り返し実行する。次のフレーム画像が存在しないと判断した場合（ステップＳ３５９；ＮＯ）、制御部１０は、図４のステップＳ４の処理に移行し、図１０の投影制御処理を実行する。投影制御処理の実行により、投影対象の人物に応じたデザインが人物像とスクリーン５の間に投影される。

【0103】

第５の実施形態によれば、投影対象の人物が男性か女性かを判別し、判別結果に応じたデザインを人物像とスクリーン５との間の余白領域に表示する。従って、投影対象の人物のまわりにその人物に適したデザインが表示されるので、自然な投影とすることができる。

【0104】

［第６の実施形態］
次に、第６の実施形態について説明する。
第６の実施形態におけるコンテンツ再生システム及びこれを構成する各装置の構成は、第１の実施形態で説明したものと同様であるので説明を援用し、以下、第６の実施形態の動作について説明する。

【0105】

図１７に、第６の実施形態において実行される再生制御処理（再生制御処理Ｂとする）のフローチャートを示す。再生制御処理Ｂは、制御部１０のＣＰＵとプログラム記憶部１３１に記憶されているプログラムとの協働により実行される。
制御部１０は、再生制御処理Ｂを実行することで、スクリーン画像取得手段、スクリーン外形抽出手段、合成手段、制御手段、人数取得手段、聴衆画像取得手段として機能する。

【0106】

まず、制御部１０は、位置合わせ処理を実行する（ステップＳ１１）。位置合わせ処理は、図５を用いて説明したものと同様であるので説明を援用する。

【0107】

次いで、制御部１０は、スクリーン外形抽出処理を実行する（ステップＳ１２）。スクリーン外形抽出処理は、図６を用いて説明したものと同様であるので説明を援用する。

【0108】

次いで、制御部１０は、投影用映像コンテンツのフレーム画像（例えば、１フレーム目のフレーム画像）を映像データ記憶部１３２から読み出して取得する（ステップＳ１３）。

【0109】

次いで、制御部１０は、カメラ３に聴衆の撮影を行わせて撮影画像を取得し（ステップＳ１４）、取得した撮影画像を解析して聴衆の人数を取得する（ステップＳ１５）。例えば、撮影画像で顔認識できた人数を取得する。また、止まっている人数、即ち、１つ前の撮影画像で顔認識した人物のうち、位置が予め定められた閾値以上移動していない人数を取得することとしてもよい。なお、聴衆の撮影は、カメラ３とは別途設けたカメラにより行うこととしてもよい。

【0110】

人数が１０人以上であった場合（ステップＳ１６；１０人以上）、制御部１０は、投影される人物像とスクリーン５の間の余白領域に配置する色を明るい色に決定し（ステップＳ１７）、ステップＳ２０の処理に移行する。人数が５〜９人以上であった場合（ステップＳ１６；５〜９人）、制御部１０は、人物像とスクリーン５の間の余白領域に配置する色を中間の色に決定し（ステップＳ１８）、ステップＳ２０の処理に移行する。人数が０〜４人であった場合（ステップＳ１６；０〜４人）、制御部１０は、人物像とスクリーン５の間の余白領域に配置する色を暗い色に決定し（ステップＳ１９）、ステップＳ２０の処理に移行する。
ここで、明るい色、中間の色、暗い色のそれぞれに該当する色は、予め定められている。

【0111】

ステップＳ２０において、制御部１０は、余白領域抽出処理を実行する（ステップＳ２０）。余白領域抽出処理は、第１の実施形態において図９を用いて説明したものと同様であるので説明を援用する。

【0112】

次いで、制御部１０は、抽出された余白領域に決定した色の画像を合成し、投影画像を生成する（ステップＳ２１）。そして、制御部１０は、合成された投影画像及び投影画像における投影対象領域の位置情報（人物領域＋余白領域の位置情報）をＩ／Ｆ１４を介してプロジェクタ２に送信し、プロジェクタ２により投影画像中の投影対象領域をスクリーン５に投影させる。また、元のフレーム画像に対応する音声データを音声出力部１６により音声信号に変換させ、スピーカ４より音声出力させる（ステップＳ２２）。

【0113】

次いで、制御部１０は、投影用映像コンテンツの映像データに次のフレーム画像が存在するか否かを判断する（ステップＳ２３）。次のフレーム画像が存在すると判断した場合（ステップＳ２３；ＹＥＳ）、制御部１０は、ステップＳ１３の処理に戻り、次のフレーム画像についてステップＳ１３〜ステップＳ２２の処理を繰り返し実行する。次のフレーム画像が存在しないと判断した場合（ステップＳ２３；ＮＯ）、制御部１０は、再生制御処理Ｂを終了する。

【0114】

第６の実施形態によれば、投影用映像コンテンツを見ている聴衆の人数によって人物像とスクリーン５との間の余白領域に配置する色を変更する。具体的には、人数が多いときには明るい色を配置する。従って、多くの聴衆が集まっているときに投影する人物の周囲をより明るい色にして目立たせることによって、より注目度を挙げて演出を効果的にすることが可能となる。また、投影用映像コンテンツの提供側は、投影像を一瞥するだけで聴衆のおおよその数を容易に把握することが可能となる。

【0115】

以上説明したように、画像処理装置１の制御部１０は、映像コンテンツの映像データから投影対象物である人物領域を抽出し、当該抽出した人物領域の輪郭と、撮影画像から抽出されたスクリーン５の外形に基づいて、映像データにおける、当該映像データをスクリーン５に投影したときに人物領域の輪郭とスクリーン５の外形の間に相当する余白領域に画像を合成する。そして、合成された映像データに基づいて、人物像の輪郭とスクリーン５の外形の間に画像が合成された映像コンテンツをプロジェクタ２によりスクリーン５上に投影させる。
従って、スクリーンと人物像との間の余白領域に合成した画像が投影されるので、スクリーンと人物像との間の余白領域を利用して、演出効果を向上させることが可能となる。

【0116】

例えば、映像データにおける人物領域の輪郭とスクリーン５の外形の間に相当する領域に、背景と同系色の色又はパターンの画像を合成することで、人物像が周囲から浮かび上がったような立体的な投影等を可能とし、演出効果を向上させることが可能となる。

【0117】

また、映像データにおける人物領域の輪郭とスクリーン５の外形の間に相当する領域に、スクリーン５の背景の撮影画像を合成することで、背景の前にあたかも人物が存在するかのような自然な投影を行うことが可能となり、演出効果を向上させることが可能となる。

【0118】

また、例えば、映像データにおける人物領域の輪郭とスクリーン５の外形の間に相当する領域に、映像コンテンツの音声のテキスト情報を合成することで、投影時に出力されている音声のテキストが人物像とスクリーン５との余白領域に表示されるので、音声が聞き取りにくい場合であっても聴衆はその投影されている人物像が何を言っているのかを容易に認識することが可能となる。

【0119】

また、例えば、映像データにおける人物領域の輪郭とスクリーン５の外形の間に相当する領域に、映像コンテンツの音声の強度に対応する色（強度が高いほど明るい色）の画像を合成することで、投影の際に、音声が強調されている時に人物像のまわりを明るい色とすることができ、強調したい部分を聴衆に印象付けることができる。

【0120】

また、例えば、映像データにおける人物領域の輪郭とスクリーン５の外形の間に相当する領域に、人物像の性別に応じたデザインの画像を合成することで、投影時には人物像のまわりにその人物像に適したデザインの画像を表示することができる。

【0121】

また、例えば、映像データにおける人物領域の輪郭とスクリーン５の外形の間に相当する領域に、聴衆の人数に応じた色の画像を合成する（具体的には、人数が多いときには明るい色を合成する）ことで、多くの聴衆が集まっているときに投影する人物の周囲をより明るい色にして目立たせることができ、演出を効果的にすることが可能となる。また、投影用映像コンテンツの提供側は、聴衆のおおよその数を、投影像を一瞥するだけで容易に把握することが可能となる。

【0122】

なお、上記実施形態における記述内容は、本発明に係るコンテンツ再生システムの好適な一例であり、これに限定されるものではない。

【0123】

例えば、上記実施形態においては、画像処理装置１とプロジェクタ２とは別体であることとして説明したが、一体的に構成されたものであってもよい。また、プロジェクタ２とカメラ３は一体的に構成されたものであってもよい。

【0124】

また、上記実施形態においては、プロジェクタ２の出力光がスクリーン５の背面に直接照射される構成を例にとり説明したが、プロジェクタ２の出力光を反射するミラーを設け、ミラーの反射光をプロジェクタ２の背面に投影することとしてもよい。

【0125】

また、上記実施形態においては、投影用映像コンテンツの映像データは記憶部１３に記憶されていることとして説明したが、画像処理装置１に通信ネットワークを介して接続されるサーバから配信される構成としてもよい。また、ＵＳＢメモリや各種の記録媒体から映像データを取り込む構成としてもよい。

【0126】

また、上記第１〜第５の実施形態においては、まず、余白領域に配置する色やテキスト、デザイン等の合成用画像を生成し、その後で各フレーム画像に合成用画像を合成することとして説明したが、決定した色やテキスト、デザイン等を直接各フレーム画像に合成することとしてもよい。

【0127】

また、上記実施形態においては、制御部１０がカメラ３やカメラ８を制御して撮影を行わせることにより各種撮影画像を取得することとして説明したが、予め撮影された撮影画像を記憶部１３に記憶しておき、制御部１０が必要時に記憶部１３から読み出すことにより取得することとしてもよい。

【0128】

また、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

【0129】

その他、コンテンツ再生システムを構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

【0130】

(付記)
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
＜請求項１＞
投影対象物を含む映像コンテンツを前記投影対象物の形状に成型されたスクリーンに投影する投影装置に接続された画像処理装置であって、
前記スクリーンを含む撮影画像を取得するスクリーン画像取得手段と、
前記取得された撮影画像から前記スクリーンの外形を抽出するスクリーン外形抽出手段と、
前記映像コンテンツの映像データから前記投影対象物の領域を抽出し、当該抽出した投影対象物の領域と、前記撮影画像から抽出されたスクリーンの外形に基づいて、前記映像データにおける、当該映像データを前記スクリーンに投影したときに前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に画像を合成する合成手段と、
前記合成された映像データに基づいて、前記投影対象物の輪郭と前記スクリーンの外形の間に画像が合成された映像コンテンツを前記投影装置により前記スクリーン上に投影させる制御手段と、
を備える画像処理装置。
＜請求項２＞
前記合成手段は、前記映像データにおける前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に、所定の色又はパターンの画像を合成する請求項１に記載の画像処理装置。
＜請求項３＞
前記スクリーンの背景の撮影画像を取得する背景画像取得手段を備え、
前記合成手段は、前記映像データにおける前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に、前記スクリーンの背景の撮影画像を合成する請求項１に記載の画像処理装置。
＜請求項４＞
前記映像コンテンツの音声を出力する音声出力手段と、
前記映像コンテンツの音声を解析して音声のテキスト情報を取得するテキスト取得手段を備え、
前記合成手段は、前記映像データにおける前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に、前記映像コンテンツの音声のテキスト情報を合成する請求項１に記載の画像処理装置。
＜請求項５＞
前記映像コンテンツの音声を出力する音声出力手段と、
前記映像コンテンツの音声を解析して音声の強度を検出する検出手段を備え、
前記合成手段は、前記映像データにおける前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に、前記映像コンテンツの音声の強度に対応する色の画像を合成する請求項１に記載の画像処理装置。
＜請求項６＞
前記映像コンテンツの映像データに基づいて前記投影対象物の性別を判別する判別手段を備え、
前記合成手段は、前記映像データにおける前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に、前記判別手段により判別された性別に応じたデザインの画像を合成する請求項１に記載の画像処理装置。
＜請求項７＞
前記スクリーンに投影された映像コンテンツの聴衆の人数を取得する人数取得手段を備え、
前記合成手段は、前記映像データにおける前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に、前記人数取得手段により取得された人数に応じた色の画像を合成する請求項１に記載の画像処理装置。
＜請求項８＞
前記映像コンテンツの聴衆の撮影画像を取得する聴衆画像取得手段を備え、
前記人数取得手段は、前記映像コンテンツの聴衆の撮影画像を解析して前記聴衆の人数を取得する請求項７に記載の画像処理装置。
＜請求項９＞
投影対象物を含む映像コンテンツを前記投影対象物の形状に成型されたスクリーンに投影する投影装置に接続された画像処理装置における画像処理方法であって、
前記スクリーンを含む撮影画像を取得する工程と、
前記取得された撮影画像から前記スクリーンの外形を抽出する工程と、
前記映像コンテンツの映像データから前記投影対象物の領域を抽出し、当該抽出した投影対象物の領域と、前記撮影画像から抽出されたスクリーンの外形に基づいて、前記映像データにおける、当該映像データを前記スクリーンに投影したときに前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に画像を合成する工程と、
前記合成された映像データに基づいて、前記投影対象物の輪郭と前記スクリーンの外形の間に画像が合成された映像コンテンツを前記投影装置により前記スクリーン上に投影させる工程と、
を含む画像処理方法。
＜請求項１０＞
投影対象物を含む映像コンテンツを前記投影対象物の形状に成型されたスクリーンに投影する投影装置に接続された画像処理装置に用いられるコンピュータを、
前記スクリーンを含む撮影画像を取得するスクリーン画像取得手段、
前記取得された撮影画像から前記スクリーンの外形を抽出するスクリーン外形抽出手段、
前記映像コンテンツの映像データから前記投影対象物の領域を抽出し、当該抽出した投影対象物の領域と、前記撮影画像から抽出されたスクリーンの外形に基づいて、前記映像データにおける、当該映像データを前記スクリーンに投影したときに前記投影対象物の輪郭と前記スクリーンの外形の間に相当する領域に画像を合成する合成手段、
前記合成された映像データに基づいて、前記投影対象物の輪郭と前記スクリーンの外形の間に画像が合成された映像コンテンツを前記投影装置により前記スクリーン上に投影させる制御手段、
として機能させるためのプログラム。

【符号の説明】

【0131】

１００ コンテンツ再生システム
２００ コンテンツ再生システム
１ 画像処理装置
１０ 制御部
１１ 操作部
１２ 表示部
１３ 記憶部
１３１ プログラム記憶部
１３２ 映像データ記憶部
１３３ 設定情報記憶部
１４ Ｉ／Ｆ
１５ Ｉ／Ｆ
１６ 音声出力部
１７ Ｉ／Ｆ
２ プロジェクタ
３ カメラ
４ スピーカ
５ スクリーン
５１ 基材
５２ スクリーンフィルム
５３ フィルム
６ 支持台
７ マイク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図8】

【図9】

【図10】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図7】

【図11】