特開 2023-143275 照明制御装置および照明制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023143275

(43)【公開日】2023-10-06

(54)【発明の名称】照明制御装置および照明制御プログラム

(51)【国際特許分類】

   H05B 47/165 20200101AFI20230928BHJP

   H05B 47/105 20200101ALI20230928BHJP

   H05B 47/18 20200101ALI20230928BHJP

【ＦＩ】

H05B47/165

H05B47/105

H05B47/18

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022050561

(22)【出願日】2022-03-25

(71)【出願人】

【識別番号】000116068

【氏名又は名称】ローランド株式会社

(74)【代理人】

【識別番号】110000534

【氏名又は名称】弁理士法人真明センチュリー

(72)【発明者】

【氏名】涌田 里志

【テーマコード（参考）】

3K273

【Ｆターム（参考）】

3K273PA09

3K273QA07

3K273QA14

3K273RA08

3K273RA17

3K273SA17

3K273SA20

3K273SA21

3K273SA36

3K273SA46

3K273TA03

3K273TA05

3K273TA15

3K273TA28

3K273TA45

3K273TA52

3K273TA62

3K273TA68

3K273TA76

3K273UA08

3K273UA12

3K273UA14

3K273UA22

(57)【要約】

【課題】映像に基づく照明制御信号により接続される照明機器を安定して点灯させることができる照明制御装置および照明制御プログラムを提供すること。
【解決手段】映像処理部１５からの映像データＤｓに基づく照明制御信号Ｓｉの作成および照明ポート１８からの照明制御信号Ｓｉの出力の周期が、映像データＤｓの映像のフレームレートや音声Ｓｄ１等のサンプリングレートに依らず、照明制御信号Ｓｉが出力される照明機器Ｌ１～Ｌ４に応じた周期（３０ミリ秒）に設定される。これにより、照明機器Ｌ１～Ｌ４が、一定の周期で照明制御信号Ｓｉが入力されないと消灯してしまうものであっても、照明機器Ｌ１～Ｌ４を安定して点灯させることができる。
【選択図】図３

【特許請求の範囲】

【請求項1】

映像を取得する映像取得手段と、
その映像取得手段で取得された映像に基づき、照明を制御する照明制御値のセットが複数含まれる照明制御信号を作成する信号作成手段と、
その信号作成手段で作成された照明制御信号を、所定の周期で１又は複数の照明機器に送信する信号送信手段と、を備えていることを特徴とする照明制御装置。

【請求項2】

前記信号送信手段は、前記信号作成手段で作成された照明制御信号を少なくとも前記映像取得手段で取得された映像のフレームレートに依らない所定の周期で１又は複数の照明機器に送信するものであることを特徴とする請求項１記載の照明制御装置。

【請求項3】

前記所定の周期は、前記照明制御信号が送信される前記照明機器に応じて設定されるものであることを特徴とする請求項１又は２に記載の照明制御装置。

【請求項4】

音声を取得する音声取得手段と、
その音声取得手段で取得された音声から当該音声の所定の特徴である音声特徴が出力されるタイミングを取得する音声特徴タイミング取得手段とを備え、
前記信号作成手段は、前記音声特徴タイミング取得手段で取得されたタイミングにおいて前記映像取得手段で取得された映像に基づく照明制御値を変化させ、その照明制御値に基づく照明制御信号を作成するものであることを特徴とする請求項１から３のいずれかに記載の照明制御装置。

【請求項5】

前記映像取得手段で取得された映像から当該映像の特徴的な色である特徴色を取得する特徴色取得手段を備え、
前記信号作成手段は、前記音声特徴タイミング取得手段で取得されたタイミングにおいて前記特徴色取得手段で取得された特徴色に基づく照明制御値を作成し、その照明制御値に基づく照明制御信号を作成するものであることを特徴とする請求項４記載の照明制御装置。

【請求項6】

前記信号送信手段は、前記信号作成手段で作成された照明制御信号を少なくとも前記音声取得手段で取得された音声のサンプリングレートに依らない所定の周期で１又は複数の照明機器に送信するものであることを特徴とする請求項４又は５に記載の照明制御装置。

【請求項7】

前記音声特徴は、前記音声取得手段で取得された音声のビートであることを特徴とする請求項４から６のいずれかに記載の照明制御装置。

【請求項8】

前記映像は、ＨＤＭＩ（登録商標）規格に基づく映像信号であり、前記照明制御信号は、ＤＭＸ５１２規格に基づく制御信号であることを特徴とする請求項１から７のいずれかに記載の照明制御装置。

【請求項9】

コンピュータに照明制御処理を実行させる照明制御プログラムであって、
映像を取得する映像取得ステップと、
その映像取得ステップで取得された映像に基づき、照明を制御する照明制御値のセットが複数含まれる照明制御信号を作成する信号作成ステップと、
その信号作成ステップで作成された照明制御信号を、所定の周期で１又は複数の照明機器に送信する信号送信ステップと、を前記コンピュータに実行させることを特徴とする照明制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、照明制御装置および照明制御プログラムに関するものである。

【背景技術】

【0002】

特許文献１には、主に画像音響再生部６、照明制御部８と、照明出力部９と、画像音響出力部１０（テレビ等）とを有する照明装置が開示されている。画像音響出力部１０に画像音響再生部６からの映像および音響が出力されると共に、画像音響再生部６からの映像の平均色度に応じた照明制御データが照明出力部９に出力される。これにより、画像音響出力部１０に表示される映像への被験者４の没入感を増大させることができる。

【0003】

ところで、画像音響再生部６は所定のフレームレート（例えば３０ＦＰＳ）ごとにフレームを照明制御部８へ出力される。そこで、照明制御部８においてフレームレートに基づくタイミングで入力されたフレームに基づく照明制御データを作成し、照明出力部９に出力することが考えられる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０００－１７３７８３号公報（例えば、段落０１９７－０２０５、図９）

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、照明出力部９によっては、所定の周期で照明制御データが入力されない場合に消灯してしまうものも存在する。上記のフレームレートが高くなると照明制御部８及び照明出力部９の処理負荷が増大するので、照明制御部８において上記のフレームレートに基づくタイミングで照明制御データを作成し照明出力部９に出力できない事態が発生し得る。つまり、安定して照明を制御できない場合があるといった問題点があった。

【0006】

本発明は、上述した問題点を解決するためになされたものであり、映像に基づく照明制御信号により接続される照明機器を安定して点灯させることができる照明制御装置および照明制御プログラムを提供することを目的としている。

【課題を解決するための手段】

【0007】

この目的を達成するために本発明の照明制御装置は、映像を取得する映像取得手段と、その映像取得手段で取得された映像に基づき、照明を制御する照明制御値のセットが複数含まれる照明制御信号を作成する信号作成手段と、その信号作成手段で作成された照明制御信号を、所定の周期で１又は複数の照明機器に送信する信号送信手段とを備えている。

【0008】

本発明の照明制御プログラムは、コンピュータに照明制御処理を実行させるプログラムであり、映像を取得する映像取得ステップと、その映像取得ステップで取得された映像に基づき、照明を制御する照明制御値のセットが複数含まれる照明制御信号を作成する信号作成ステップと、その信号作成ステップで作成された照明制御信号を、所定の周期で１又は複数の照明機器に送信する信号送信ステップと、を前記コンピュータに実行させるものである。

【図面の簡単な説明】

【0009】

【図1】一実施形態である照明制御装置の外観図である。

【図2】（ａ）は、画面区分を説明する図であり、（ｂ）は、カラーモードを説明する図である。

【図3】照明制御装置の電気的構成を示すブロック図である。

【図4】（ａ）は、区分毎色情報テーブルを模式的に表す図であり、（ｂ）は、区分毎色情報テーブルを模式的に表す図である。

【図5】照明制御装置の機能ブロック図である。

【図6】（ａ）は、映像処理部における映像処理のフローチャートであり、（ｂ）は、音声処理部における音声処理のフローチャートである。

【図7】ＣＰＵにおけるメイン処理のフローチャートである。

【図8】区分毎色設定処理のフローチャートである。

【図9】（ａ）は、白抽出処理のフローチャートであり、（ｂ）は、フラッシュ付加処理のフローチャートである。

【発明を実施するための形態】

【0010】

以下、好ましい実施例について、添付図面を参照して説明する。図１を参照して、本実施形態の照明制御装置１の概要を説明する。図１は、照明制御装置１の外観図である。照明制御装置１は、接続される照明機器Ｌ１～Ｌ４の色味や明るさ、輝度等の照明の態様を制御する装置である。照明制御装置１には、照明機器Ｌ１～Ｌ４と、映像出力装置２０と、外部表示装置３０と、ユーザＨ等が発する音声Ｓｄ２を入力するマイク４０と、電子楽器５０、スピーカ６０とが接続される。

【0011】

照明機器Ｌ１～Ｌ４は、照明を行う照明装置であり、それぞれＬＥＤ（Light Emitting Diode、図示せず）が設けられる。照明制御装置１と照明機器Ｌ１～Ｌ４とは有線で接続され、具体的に、まず照明制御装置１と照明機器Ｌ１とが有線で接続され、その照明機器Ｌ１と照明機器Ｌ２とが有線で接続され、その照明機器Ｌ２と照明機器Ｌ３とが有線で接続され、その照明機器Ｌ３と照明機器Ｌ４とが有線で接続される。即ち照明制御装置１と照明機器Ｌ１～Ｌ４とは有線によって数珠繋ぎ（デイジーチェーン）に接続される。

【0012】

照明制御装置１は、照明の態様を制御する照明制御値のセットが含まれる照明制御信号Ｓｉを作成し、照明機器Ｌ１～Ｌ４に送信する。具体的に、照明制御装置１で作成された照明制御信号Ｓｉがまず照明機器Ｌ１に送信され、照明制御信号Ｓｉはその後、照明機器Ｌ１から接続される順に照明機器Ｌ２→照明機器Ｌ３→照明機器Ｌ４へと送信される。照明機器Ｌ１～Ｌ４は、受信した照明制御信号Ｓｉに含まれる照明制御値のセットに基づいてＬＥＤの色味や色や明るさ、輝度等を制御する。本実施形態の照明制御信号Ｓｉは、ＤＭＸ（Digital MultipleX）５１２規格に基づく制御信号とされるが、それ以外の規格に基づく制御信号でも良い。

【0013】

照明機器Ｌ１～Ｌ４は、照明制御信号Ｓｉに含まれる照明制御値のセットのうち、自身が用いる照明制御値のセットを取得し、取得された照明制御値のセットに基づいて自身の色や明るさ、輝度等を制御する。照明制御値のセットは、映像出力装置２０から出力される映像データＤｓ等に基づいて作成される。

【0014】

映像出力装置２０は、ビデオカメラ（図示せず）等で撮影された映像の映像データＤｓを出力する装置である。映像出力装置２０から出力された映像データＤｓと、その映像データＤｓに対応する音声Ｓｄ１とが、照明制御装置１に入力される。本実施形態において映像データＤｓは、ＨＤＭＩ（High-Definition Multimedia Interface、登録商標）規格に基づく映像信号とされるが、それ以外の規格に基づく映像信号でも良い。

【0015】

外部表示装置３０は、照明制御装置１を介して映像出力装置２０から入力された映像データＤｓによる映像を表示する装置である。上記した照明機器Ｌ１～Ｌ４は、外部表示装置３０の周囲に配置される。具体的に、外部表示装置３０における、左側に照明機器Ｌ１が、上側に照明機器Ｌ２が、右側に照明機器Ｌ３が、下側に照明機器Ｌ４がそれぞれ設けられる。電子楽器５０は、ユーザＨの演奏に基づいた楽音Ｓｄ３を出力する装置である。本実施形態において、電子楽器５０としてシンセサイザが例示されるが、これに限られず、電子ピアノや電子オルガン、電子サックス等の他の電子楽器でも良い。

【0016】

照明制御装置１は、映像出力装置２０から入力された音声Ｓｄ１と、マイク４０から入力された音声Ｓｄ２と、電子楽器５０から入力された楽音Ｓｄ３とを合成することで、音声Ｓｄを作成する。作成された音声Ｓｄはスピーカ６０から出力されると共に、音声Ｓｄのビートのタイミングに応じて照明機器Ｌ１～Ｌ４の照明を変化させる。音声Ｓｄのビートのタイミングに応じた照明機器Ｌ１～Ｌ４の照明の変化については後述する。本実施形態において、音声Ｓｄ１、音声Ｓｄ２、楽音Ｓｄ３及び音声Ｓｄのサンプリングレートはそれぞれ４４１００Ｈｚとされるが、サンプリングレートはこれ以外の周波数でも良い。

【0017】

照明制御装置１においては、照明機器Ｌ１～Ｌ４を制御する照明制御値のセットが外部表示装置３０で表示される映像、即ち映像出力装置２０から出力される映像の映像データＤｓと上記した音声Ｓｄとに基づいて作成される。照明制御装置１はまず、映像出力装置２０から出力される映像の映像データＤｓを領域Ａ１～Ａ３２に分割する。

【0018】

具体的には、映像出力装置２０から出力される映像の映像データＤｓを、縦方向に等間隔に４分割し、横方向に等間隔に８分割して形成された３２個の領域がそれぞれ領域Ａ１～Ａ３２とされる。図１に示す通り、形成された３２個の領域のうち、上から１段目の領域が左から領域Ａ１～Ａ８とされ、２段目の領域が左から領域Ａ９～Ａ１６とされ、３段目の領域が左から領域Ａ１０～Ａ２４とされ、４段目の領域が左から領域Ａ２５～Ａ３２とされる。

【0019】

このように分割された領域Ａ１～Ａ３２毎の映像データおよび音声Ｓｄに基づいて照明制御値のセットが作成される。具体的には、領域Ａ１～Ａ３２の領域に応じてグルーピングした画面区分が設けられる。照明機器Ｌ１～Ｌ４ごとにそれぞれの制御に用いる画面区分が割り当てられ、割り当てられた画面区分に属する領域Ａ１～Ａ３２の映像に応じた照明制御値のセットが作成される。

【0020】

また、照明制御値のセットは、対象の画面区分に属する領域Ａ１～Ａ３２の映像の色情報から作成されるが、色情報の用い方により３つのカラーモードが設定され、照明機器Ｌ１～Ｌ４ごとにどのカラーモードが用いられるかも割り当てられる。図２を参照して、画面区分およびカラーモードを説明する。

【0021】

図２（ａ）は、画面区分を説明する図である。図２（ａ）に示す通り、本実施形態では、領域Ａ１～Ａ３２の組み合わせを表す分割区分に応じて画面区分Ｄ１～Ｄ２９の２９個の画面区分が設けられる。まず、分割区分「全画面」は、映像の映像データＤｓの全てによるものであり、画面区分Ｄ１が対応する。即ち画面区分Ｄ１には、領域Ａ１～Ａ３２が該当する。

【0022】

分割区分「横２分割」は、映像の映像データＤｓを横方向に２分割した何れかの領域によるものであり、画面区分Ｄ２，Ｄ３が対応する。具体的に、画面区分Ｄ２には、領域Ａ１～Ａ４，Ａ９～Ａ１２，Ａ１７～Ａ２０，Ａ２５～Ａ２８が該当し、画面区分Ｄ３には、領域Ａ５～Ａ８，Ａ１３～Ａ１６，Ａ２１～Ａ２４，Ａ２９～Ａ３２が該当する。

【0023】

分割区分「横８分割」は、映像の映像データＤｓを横方向に８分割した何れかの領域によるものであり、画面区分Ｄ４～Ｄ１１が対応する。例えば、画面区分Ｄ４には、領域Ａ１，Ａ９，Ａ１７，Ａ２５が該当し、画面区分Ｄ５には、領域Ａ２，Ａ１０，Ａ１８，Ａ２６が該当する。

【0024】

分割区分「縦２分割」は、映像の映像データＤｓを縦方向に２分割した何れかの領域によるものであり、画面区分Ｄ１２，Ｄ１３が対応する。具体的に、画面区分Ｄ１２には、領域Ａ１～Ａ１６が該当し、画面区分Ｄ１３には、領域Ａ１７～Ａ３２が該当する。分割区分「縦４分割」は、映像の映像データＤｓを縦方向に４分割した何れかかの領域によるものであり、画面区分Ｄ１４～Ｄ１７が対応する。

【0025】

分割区分「縦２横２分割」は、映像の映像データＤｓを縦方向に２分割し、更に横方向に２分割した何れかの領域によるものであり、画面区分Ｄ１８～Ｄ２１が対応する。また、分割区分「縦２横４分割」は、映像の映像データＤｓを縦方向に２分割し、更に横方向に４分割した何れかの領域によるものであり、画面区分Ｄ２２～Ｄ２９が対応する。

【0026】

このように設定された領域Ａ１～Ａ３２の組み合わせによる画面区分Ｄ１～Ｄ２９が、照明機器Ｌ１～Ｌ４のそれぞれに割り当てられ、割り当てられた画面区分Ｄ１～Ｄ２９に属する領域Ａ１～Ａ３２の映像の色情報に基づき、照明制御値のセットが作成される。次に照明制御値のセットを作成する際のカラーモードを説明する。

【0027】

図２（ｂ）は、カラーモードを説明する図である。本実施形態では、画面区分Ｄ１～Ｄ２９に属する領域Ａ１～Ａ３２の映像の色情報の組み合わせによる３つのカラーモードが設けられ、カラーモードに応じた色の照明が照明機器Ｌ１～Ｌ４から出力される。具体的に、カラーモードとして、平均色と、ピックアップ３色と、ピックアップ４色とが設けられる。

【0028】

平均色は、画面区分Ｄ１～Ｄ２９に対応する領域Ａ１～Ａ３２の映像の色情報の平均によるカラーモードである。具体的に平均色は、画面区分Ｄ１～Ｄ２９に対応する領域Ａ１～Ａ３２のそれぞれの赤色成分（以下「Ｒ」いう）の平均値、緑色成分（以下「Ｇ」いう）の平均値、青色成分（以下「Ｂ」という）の平均値と、白色成分（以下「Ｗ」という）の平均値、黄色成分（以下「Ｙ」という）の平均値、シアン色成分（以下「Ｃ」という）の平均値、マゼンタ色成分（以下「Ｍ」という）の平均値とにより構成される。

【0029】

画面区分Ｄ４を例に挙げて、平均色の算出を説明する。画面区分Ｄ４を構成するのは領域Ａ１，Ａ９，Ａ１７，Ａ２５であり、それぞれの領域内のＲ，Ｇ，Ｂの平均値を（Ｒ１，Ｇ１，Ｂ１），（Ｒ９，Ｇ９，Ｂ９），（Ｒ１７，Ｇ１７，Ｂ１７），（Ｒ２５，Ｇ２５，Ｂ２５）とする。領域内のＲ，Ｇ，Ｂの平均値とは、当該領域におけるＲ，Ｇ，Ｂの合計値を当該領域のピクセル数で除算したものである。

【0030】

例えば、映像の映像データＤｓが１９２０ピクセル×１０８０ピクセルである場合、映像データＤｓを３２等分した領域Ａ１のピクセル数は、１９２０×１０８０／３２で６４８００ピクセルとなる。そして、領域Ａ１におけるＲの合計値が１５２２８０００である場合、領域Ａ１におけるＲの平均値Ｒ１は、１５２２８０００／６４８００で「２３５」となる。

【0031】

このように算出された各領域のＲ，Ｇ，Ｂの平均値を、更にそれぞれ平均したものが画面区分Ｄ４における平均色のＲ，Ｇ，Ｂとされる。具体的には、画面区分Ｄ４のＲの平均値は（Ｒ１＋Ｒ９＋Ｒ１７＋Ｒ２５）／４（即ち画面区分Ｄ４の領域の数）で算出される。同様に、画面区分Ｄ４のＧの平均値は（Ｇ１＋Ｇ９＋Ｇ１７＋Ｇ２５）／４で算出され、画面区分Ｄ４のＢの平均値は（Ｂ１＋Ｂ９＋Ｂ１７＋Ｂ２５）／４で算出される。

【0032】

Ｗ，Ｙ，Ｃ，Ｍについては、まず画面区分Ｄ４内の各領域のＷ，Ｙ，Ｃ，Ｍを、各領域のＲ，Ｇ，Ｂの平均値に基づいて算出し、その各領域のＷ，Ｙ，Ｃ，Ｍを更にそれぞれ平均したものが、画面区分Ｄ４における平均色のＷ，Ｙ，Ｃ，Ｍの平均値とされる。

【0033】

具体的には、各領域のＷは、各領域のＲ，Ｇ，Ｂの平均値のうちの最小値の値とされる。例えば、領域Ａ１のＲ１，Ｇ１，Ｂ１のうちの最小値がＧ１である場合、領域Ａ１におけるＷであるＷ１には、Ｇ１の値が設定される。同様に、領域Ａ９，Ａ１７，Ａ２５のＷ９，Ｗ１７，Ｗ２５にも、それぞれの領域のＲ，Ｇ，Ｂのうちの最小値が設定される。このように、各領域のＷとして、各領域のＲ，Ｇ，Ｂの最小値が設定されることで、Ｒ，Ｇ，Ｂのうちのいずれか１つが０（例えばＲ，Ｇ，Ｂのうちの１色）である場合に、各領域のＷの値が０となるので、照明機器Ｌ１～Ｌ４におけるＷのＬＥＤが点灯するのを回避できる。そして、Ｗ１，Ｗ９，Ｗ１７，Ｗ２５の平均値が、画面区分Ｄ４のＷの平均値とされる。

【0034】

各領域のＹは、各領域のＲ，Ｇの平均値のうちの最小値の値とされる。例えば、領域Ａ９のＲ９，Ｇ９のうちの最小値がＲ９である場合、領域Ａ９におけるＹであるＹ９には、Ｒ９の値が設定される。同様に、領域Ａ１，Ａ１７，Ａ２５のＹ１，Ｙ１７，Ｙ２５にも、それぞれの領域のＲ，Ｇのうちの最小値が設定される。そして、Ｙ１，Ｙ９，Ｙ１７，Ｙ２５の平均値が、画面区分Ｄ４のＹの平均値とされる。

【0035】

各領域のＣは、各領域のＧ，Ｂの平均値のうちの最小値の値とされる。例えば、領域Ａ１７のＧ１７，Ｂ１７のうちの最小値がＢ１７である場合、領域Ａ１７におけるＣであるＣ１７には、Ｂ１７の値が設定される。同様に、領域Ａ１，Ａ９，Ａ２５のＣ１，Ｃ９，Ｃ２５にも、それぞれの領域のＲ，Ｇのうちの最小値が設定される。そして、Ｃ１，Ｃ９，Ｃ１７，Ｃ２５の平均値が、画面区分Ｄ４のＣの平均値とされる。

【0036】

各領域のＭは、各領域のＲ，Ｂの平均値のうちの最小値の値とされる。例えば、領域Ａ２５のＲ２５，Ｂ２５のうちの最小値がＲ２５である場合、領域Ａ２５におけるＭであるＭ２５には、Ｂ２５の値が設定される。同様に、領域Ａ１，Ａ９，Ａ１７のＭ１，Ｍ９，Ｍ１７にも、それぞれの領域のＲ，Ｂのうちの最小値が設定される。そして、Ｍ１，Ｍ９，Ｍ１７，Ｍ２５の平均値が、画面区分Ｄ４のＭの平均値とされる。

【0037】

このように、対応する画面区分の色情報のＲ，Ｇ，Ｂ，Ｗ，Ｙ，Ｃ，Ｍの平均値を、平均色として照明機器Ｌ１～Ｌ４の照明に用いることで、当該照明を外部表示装置３０に表示される映像の色味と近いものとすることができる。また、平均色として、Ｒ，Ｇ，Ｂに加え、Ｗ，Ｙ，Ｃ，Ｍも設けることで、照明機器Ｌ１～Ｌ４にＷ，Ｙ，Ｃ，ＭのＬＥＤを有する場合にこれらのＬＥＤの点灯を効率良く行うことができる。

【0038】

次に、ピックアップ３色を説明する。ピックアップ３色は、画面区分Ｄ１～Ｄ２９に対応する領域Ａ１～Ａ３２の映像の色情報の最大値によるカラーモードである。具体的にピックアップ３色は、画面区分Ｄ１～Ｄ２９に対応する領域Ａ１～Ａ３２のそれぞれのＲの最大値に基づく値、Ｇの最大値に基づく値、Ｂの最大値に基づく値により構成される。

【0039】

ピックアップ３色も、上記の画面区分Ｄ４を例に挙げて説明する。ピックアップ３色は、まず画面区分Ｄ４を構成する領域Ａ１，Ａ９，Ａ１７，Ａ２５のそれぞれにおけるＲ，Ｇ，Ｂの平均値のうち、最大値を取るＲ，Ｇ，Ｂ（以下「最大Ｒ，Ｇ，Ｂ」等という）を抽出する。画面区分Ｄ４を構成する領域において、Ｒ，Ｇ，Ｂの平均値のうちＲが最大値である領域が領域Ａ１，Ａ１７であり、Ｒ，Ｇ，Ｂの平均値のうちＧが最大値である領域が領域Ａ９であり、Ｒ，Ｇ，Ｂの平均値のうちＢが最大値である領域が領域Ａ２５である場合、最大Ｒとして領域Ａ１のＲ１，Ａ１７のＲ１７が抽出され、最大Ｇとして領域Ａ９のＧ９が抽出され、最大Ｂとして領域Ａ２５のＢ２５が抽出される。

【0040】

そして、このように抽出された最大Ｒ，Ｇ，Ｂを、更に平均したものが画面区分Ｄ４におけるピックアップ３色のＲ，Ｇ，Ｂとされる。具体的には、画面区分Ｄ４の最大Ｒの平均値は（Ｒ１＋Ｒ１７）／４（即ち画面区分Ｄ４の領域の数）で算出される。同様に、画面区分Ｄ４の最大Ｇの平均値はＧ９／４で算出され、画面区分Ｄ４の最大Ｂの平均値はＢ２５／４で算出される。

【0041】

このように、対応する画面区分のＲ，Ｇ，Ｂの最大値に基づく値を、ピックアップ３色として照明機器Ｌ１～Ｌ４の照明に用いることで、当該照明を外部表示装置３０に表示される映像に多く含まれるＲ，Ｇ，Ｂによる、映像の特徴的・支配的な色によるものとすることができる。これにより、当該照明を外部表示装置３０に表示される映像に合致しつつもメリハリのあるものとすることができる。

【0042】

また、ピックアップ３色は画面区分のＲ，Ｇ，Ｂの最大値に基づく値であるので、画面区分における映像が白背景にＲ，Ｇ，Ｂが点在している状態であっても、点在しているＲ，Ｇ，Ｂを適切に抽出し、照明機器Ｌ１～Ｌ４の照明に用いることができる。これによって、当該照明が白っぽくなるのを抑制できるので、当該照明をメリハリのあるものとすることができる。

【0043】

また、特に照明機器Ｌ１～Ｌ４において、ＬＥＤとしてＲ，Ｇ，Ｂが含まれ、更にＲ，Ｇ，Ｂのそれぞれが独立した方向を向いている場合、カラーモードとして平均色を用いると、例え該当する画面区分が白っぽい映像であっても、Ｒ，Ｇ，ＢのＬＥＤが独立して点灯してしまう。照明機器Ｌ１～Ｌ４のＲ，Ｇ，Ｂが独立して点灯される照明は、該当する画面区分の白っぽい映像にマッチしないため、視聴者に違和感を生じさせてしまう虞がある。そこで、カラーモードとしてピックアップ３色を用いることで、上記の場合にＲ，Ｇ，Ｂの３色のＬＥＤがそれぞれ同程度の強さで点灯することを軽減できるので、視聴者の違和感を抑制することができる。

【0044】

次に、ピックアップ４色を説明する。ピックアップ４色も、画面区分Ｄ１～Ｄ２９に対応する領域Ａ１～Ａ３２の映像の色情報の最大値によるカラーモードである。具体的にピックアップ４色は、画面区分Ｄ１～Ｄ２９に対応する領域Ａ１～Ａ３２のそれぞれのＲの最大値に基づく値、Ｇの最大値に基づく値、Ｂの最大値、Ｗの最大値に基づく値により構成される。

【0045】

ピックアップ４色も、上記の画面区分Ｄ４を例に挙げて説明する。ピックアップ４色においては、まず、各領域のＷを算出する。各領域のＷは、各領域のＲ，Ｇ，Ｂの平均値が類似している場合に、そのＲ，Ｇ，Ｂの平均値のうちの最大値がその領域のＷとされる。一方で、Ｒ，Ｇ，Ｂの値が類似しない場合は、その領域のＷに「０」（成分なし）が設定される。各領域のＲ，Ｇ，Ｂの値が類似しているかは、それぞれの値が±２５％以内であるかによって判定されるが、詳細は図９（ａ）で後述する。例えば、領域Ａ１において、Ｒ１，Ｇ１，Ｂ１が±２５％以内であって、Ｒ１，Ｇ１，Ｂ１のうちの最大値がＢ１である場合、Ｂ１の値が領域Ａ１のＷであるＷ１に設定される。

【0046】

ピックアップ４色において、各領域のＷに、各領域のＲ，Ｂ，Ｇの平均値のうちの最大値を用いるのは、ピックアップ４色も上記のピックアップ３色と同様に、より特徴的・支配的な成分の強い色を抽出するためである。

【0047】

このように取得された各領域のＷと、各領域のＲ，Ｇ，Ｂの平均値とから、最大値を取るＲ，Ｇ，Ｂ，Ｗ（最大Ｒ，Ｇ，Ｂ，Ｗ）を抽出し、抽出された最大Ｒ，Ｇ，Ｂ，Ｗの平均値を算出する。なお、最大Ｒ，Ｇ，Ｂ，Ｗ及び最大Ｒ，Ｇ，Ｂ，Ｗの平均値の算出は、上記したピックアップ３色と同様の手法なので、詳細な説明は省略する。

【0048】

このように、対応する画面区分の色情報のＲ，Ｇ，Ｂ，Ｗの最大値に基づく値を、ピックアップ４色として照明機器Ｌ１～Ｌ４の照明に用いることで、ピックアップ３色と同様に当該照明を外部表示装置３０に表示される映像に多く含まれる映像の特徴的・支配的な色によるものとすることができる。これにより、当該照明を外部表示装置３０に表示される映像に合致しつつもメリハリのあるものとすることができる。

【0049】

また、ピックアップ４色ではＷも含まれる。特に照明機器Ｌ１～Ｌ４において、ＬＥＤとしてＲ，Ｇ，Ｂ，Ｗが含まれ、更にＲ，Ｇ，Ｂ，Ｗのそれぞれが独立した方向を向いている場合、カラーモードとしてピックアップ３色を用いると、Ｒ，Ｇ，Ｂのみが対象であるので、例え該当する画面区分が白っぽい映像であっても、Ｒ，Ｇ，ＢのＬＥＤが独立して点灯してしまう。照明機器Ｌ１～Ｌ４のＲ，Ｇ，Ｂが独立して点灯される照明は、画面区分の白っぽい映像にマッチしないため、視聴者に違和感を生じさせてしまう虞がある。

【0050】

そこで、カラーモードとしてＷが含まれるピックアップ４色を用いることで、上記の場合にＬＥＤのうちのＷを的確に点灯させることができるので、照明機器Ｌ１～Ｌ４の照明を画面区分の白っぽい映像にマッチさせることができ、視聴者の違和感を抑制することができる。

【0051】

このように、照明機器Ｌ１～Ｌ４のそれぞれに対し、照明を制御するカラーモードと、そのカラーモードを作成する対象の画面区分Ｄ１～Ｄ２９とが割り当てられる。割り当てられたカラーモード及び画面区分Ｄ１～Ｄ２９に基づいて、照明機器Ｌ１～Ｌ４の照明を制御する照明制御値のセットが作成される。

【0052】

本実施形態では、このようなカラーモード及び画面区分Ｄ１～Ｄ２９による照明機器Ｌ１～Ｌ４の照明の制御に加え、照明制御装置１に入力される音声Ｓｄのビートのタイミングに応じて、照明機器Ｌ１～Ｌ４の照明を変化させる。

【0053】

具体的には、照明制御装置１に入力される音声Ｓｄ、即ち映像出力装置２０から入力された音声Ｓｄ１と、マイク４０から入力された音声Ｓｄ２と、電子楽器５０から入力された楽音Ｓｄ３とを合成した音声Ｓｄにおいて、ビートが検出されたかを確認する。なお、ビートの検出は既知の手法が用いられるので、詳細な説明は省略する。

【0054】

音声Ｓｄからビートが検出された場合は、上記した画面区分Ｄ１（即ち全画面）のピックアップ４色におけるＲ，Ｇ，Ｂ，Ｗのうち最大値の色が取得され、取得された色の値が照明機器Ｌ１～Ｌ４の照明を制御する照明制御値のセットに加算される。これにより、照明機器Ｌ１～Ｌ４から出力される照明において、ピックアップ４色のＲ，Ｇ，Ｂ，Ｗのうち最も色味が強く特徴的・支配的な色が、音声Ｓｄのビートのタイミングで強調される。これにより、外部表示装置３０に表示される映像およびスピーカ６０から出力される音声へのユーザＨの没入感をより向上できる。

【0055】

次に、図３，４を参照して照明制御装置１の電気的構成を説明する。図３は、照明制御装置１の電気的構成を示すブロック図である。照明制御装置１には、ＣＰＵ１０と、フラッシュＲＯＭ１１と、ＲＡＭ１２とを有し、これらはバスライン１３を介して入出力ポート１４にそれぞれ接続されている。入出力ポート１４には更に、映像処理部１５と、音声処理部１６と、電子楽器５０から楽音Ｓｄ３を入力する楽音処理部１７と、照明ポート１８とが接続される。なお、音声処理部１６に楽音処理部１７の機能を搭載させ、電子楽器５０からの楽音Ｓｄ３を音声処理部１６で入力しても良い。

【0056】

ＣＰＵ１０は、バスライン１３により接続された各部を制御する演算装置である。フラッシュＲＯＭ１１は、ＣＰＵ１０により実行されるプログラムや固定値データ等を格納した書き換え可能な不揮発性の記憶装置であり、制御プログラム１１ａを含む。ＣＰＵ１０において制御プログラム１１ａが実行されると、図７のメイン処理が実行される。

【0057】

ＲＡＭ１２は、ＣＰＵ１０が制御プログラム１１ａの実行時に各種のワークデータやフラグ等を書き換え可能に記憶するためのメモリであり、領域Ａ１～Ａ３２の色情報、即ちＲ，Ｇ，Ｂがそれぞれ記憶されるエリア色情報メモリ１２ａと、区分毎色情報テーブル１２ｂと、照明設定テーブル１２ｃとを含む。図４を参照して、区分毎色情報テーブル１２ｂ及び照明設定テーブル１２ｃを説明する。

【0058】

図４（ａ）は、区分毎色情報テーブル１２ｂを模式的に表す図である。図４（ａ）に示す通り、区分毎色情報テーブル１２ｂには、上記したカラーモード及び画面区分毎に、算出されたカラーモードの色情報、即ちカラーモードが平均色の場合はＲ，Ｇ，Ｂ，Ｗ，Ｙ，Ｃ，Ｍ、ピックアップ３色の場合はＲ，Ｇ，Ｂ、ピックアップ４色の場合はＲ，Ｇ，Ｂ，Ｗがそれぞれ記憶される。

【0059】

図４（ｂ）は、照明設定テーブル１２ｃを模式的に表す図である。図４（ｂ）に示す通り、照明設定テーブル１２ｃには、照明機器Ｌ１～Ｌ４毎に、照明の制御に用いる画面区分と、カラーモードと、カラーモードに対応する色情報とがそれぞれ記憶される。

【0060】

図３に戻る。映像処理部１５は、映像出力装置２０から映像データＤｓ及び音声Ｓｄ１を入力し、入力した映像データＤｓから領域Ａ１～Ａ３２の色情報を取得すると共に、映像データＤｓを外部表示装置３０へ出力する処理装置である。映像処理部１５には、取得された領域Ａ１～Ａ３２の色情報がそれぞれ記憶されるエリア色情報メモリ１５ａが設けられる。映像処理部１５においては、映像出力装置２０から映像が１フレーム毎入力されるたびに、領域Ａ１～Ａ３２の色情報が取得され、エリア色情報メモリ１５ａに記憶される。

【0061】

音声処理部１６は、マイク４０から音声Ｓｄ２を入力し、当該音声Ｓｄ２と、映像出力装置２０から入力された音声Ｓｄ１と、電子楽器５０から入力された楽音Ｓｄ３とを合成した音声Ｓｄを作成し、スピーカ６０に出力すると共に、音声Ｓｄにおけるビートの有無を判定する装置である。

【0062】

照明ポート１８は、照明機器Ｌ１～Ｌ４に接続され、照明制御信号Ｓｉを照明機器Ｌ１～Ｌ４に出力する端子である。

【0063】

本実施形態において、映像処理部１５による映像データＤｓの取得および映像データＤｓからの領域Ａ１～Ａ３２の色情報の取得と、音声処理部１６による音声Ｓｄからのビートの検出と、ＣＰＵ１０による領域Ａ１～Ａ３２の色情報に基づく照明制御信号Ｓｉの作成および照明ポート１８からの照明制御信号Ｓｉの出力とは、それぞれ非同期で実行される。

【0064】

具体的には、映像処理部１５による映像データＤｓの取得および映像データＤｓからの領域Ａ１～Ａ３２の色情報の取得は映像データＤｓのフレームレート（例えば３０ＦＰＳ）に基づくタイミングで行われ、音声処理部１６による音声Ｓｄからのビートの検出は、音声Ｓｄ１、音声Ｓｄ２又は楽音Ｓｄ３のサンプリングレート（即ち４４１００Ｈｚ）に基づくタイミングで行われる。一方でＣＰＵ１０による領域Ａ１～Ａ３２の色情報に基づく照明制御信号Ｓｉの作成および照明ポート１８からの照明制御信号Ｓｉの出力は、３０ミリ秒ごとに行われる。これは、照明機器Ｌ１～Ｌ４には、３０ミリ秒ごとの周期で照明制御信号Ｓｉが入力されないと消灯してしまうものが含まれるためである。

【0065】

このように、照明制御信号Ｓｉの作成および照明ポート１８からの照明制御信号Ｓｉの出力の周期を、映像データＤｓの映像のフレームレートや音声Ｓｄ１等のサンプリングレートに依らず、照明制御信号Ｓｉが出力される照明機器Ｌ１～Ｌ４に応じた周期（即ち３０ミリ秒）に設定することで、照明機器Ｌ１～Ｌ４を安定して点灯させることができる。

【0066】

また、照明制御信号Ｓｉの作成および照明制御信号Ｓｉの出力の周期が、フレームレート及びサンプリングレートより長い周期に設定されることで、照明制御信号Ｓｉの作成するＣＰＵ１０や照明ポート１８の処理負荷を低減できる。これにより、照明制御信号Ｓｉの作成や照明ポート１８からの照明制御信号Ｓｉの出力を安定させることができるので、これによっても、照明機器Ｌ１～Ｌ４を安定して点灯させることができる。

【0067】

次に図５を参照して、照明制御装置１の機能を説明する。図５は、照明制御装置１の機能ブロック図である。図５に示すように、照明制御装置１は、映像取得手段２００と、信号作成手段２０１と、信号送信手段２０２とを有する。

【0068】

映像取得手段２００は、外部表示装置３０に表示される映像を取得する手段であり、映像処理部１５で実現される。信号作成手段２０１は、照明を制御する照明制御値のセットが複数含まれる照明制御信号Ｓｉを作成する手段であり、ＣＰＵ１０で実現される。信号送信手段２０２は、信号作成手段２０１で作成された照明制御信号Ｓｉを、所定の周期で１又は複数の照明機器Ｌ１～Ｌ４に送信する手段であり、ＣＰＵ１０及び照明ポート１８で実現される。

【0069】

信号送信手段２０２によって、信号作成手段２０１で作成された照明制御信号Ｓｉが所定の周期で１又は複数の照明機器Ｌ１～Ｌ４に送信される。即ち映像を取得するタイミングに依らず、所定の周期で１又は複数の照明機器Ｌ１～Ｌ４に送信することができる。これにより、照明機器Ｌ１～Ｌ４が所定の周期で照明制御信号Ｓｉを受信しないと消灯してしまうものであっても、照明機器Ｌ１～Ｌ４を安定して点灯させることができる。

【0070】

次に図６～９を参照して、ＣＰＵ１０、映像処理部１５及び音声処理部１６で実行される処理を説明する。まず図６（ａ）を参照して、映像処理部１５の処理を説明する。図６（ａ）は、映像処理部１５における映像処理のフローチャートである。映像処理は、照明制御装置１の電源投入後に映像処理部１５で実行される処理である。

【0071】

映像処理はまず、映像出力装置２０から１フレーム分の映像の受信が開始されたかを確認する（Ｓ１）。Ｓ１の処理において、１フレーム分の映像の受信が開始された場合は（Ｓ１：Ｙｅｓ）、エリア色情報メモリ１５ａの各領域Ａ１～Ａ３２のＲ，Ｇ，Ｂをそれぞれ０に設定することで、エリア色情報メモリ１５ａをリセットする（Ｓ２）。

【0072】

Ｓ２の処理の後、受信している１フレーム分のピクセルに対応する、領域Ａ１～Ａ３２を特定する（Ｓ３）。映像出力装置２０からは、１フレーム分の映像のピクセルが映像の左上から順に入力されるので、入力されたピクセルの位置に対応する領域Ａ１～Ａ３２が特定される。Ｓ２の処理の後、エリア色情報メモリ１５ａにおける特定された領域Ａ１～Ａ３２の色情報に、受信したピクセルのＲ，Ｇ，Ｂのそれぞれの値を加算する（Ｓ４）。

【0073】

Ｓ４の処理の後、１フレーム分の映像の受信が完了したかを確認する（Ｓ５）。Ｓ５の処理において、１フレーム分の映像の受信が完了していない場合は（Ｓ５：Ｎｏ）、Ｓ３以下の処理を繰り返す。一方で、Ｓ５の処理において、１フレーム分の映像の受信が完了した場合は（Ｓ５：Ｎｏ）、受信した１フレーム分の映像を外部表示装置３０へ出力し（Ｓ６）、Ｓ１以下の処理を繰り返す。なお、映像出力装置２０から受信した映像を１フレーム毎に外部表示装置３０へ出力するものに限られず、１ピクセル毎に外部表示装置３０へ出力しても良い。また、映像出力装置２０からの映像は、映像処理部１５を通して外部表示装置３０へ出力されるものに限られず、例えば、映像処理部１５への映像出力装置２０からの映像の出力と並行して、映像処理部１５を通さずに外部表示装置３０へバイパスして出力しても良い。

【0074】

エリア色情報メモリ１５ａに記憶された領域Ａ１～Ａ３２の色情報がＣＰＵ１０から参照され、ＣＰＵ１０による照明制御値のセットの作成に用いられる。この場合、Ｓ１～Ｓ５の処理における１フレーム分の色情報の取得中に、ＣＰＵ１０からエリア色情報メモリ１５ａが参照された場合は、既に処理が完了した当該フレームの前のフレームで取得された領域Ａ１～Ａ３２の色情報が参照される。即ちＳ１～Ｓ５の処理が繰り返されている間は、当該フレームの前のフレームで取得された領域Ａ１～Ａ３２の色情報が参照され、Ｓ１～Ｓ５の処理が完了した後、即ち「Ｓ５：Ｙｅｓ」となった後は、そのＳ１～Ｓ５の処理によって取得された領域Ａ１～Ａ３２の色情報が参照される。

【0075】

また、映像処理部１５においては、かかるＳ１～Ｓ６の処理と並列して映像出力装置２０から入力された音声Ｓｄ１がＣＰＵ１０及び音声処理部１６へ出力される。

【0076】

次に図６（ｂ）を参照して、音声処理部１６の処理を説明する。図６（ｂ）は、音声処理部１６における音声処理のフローチャートである。音声処理は、照明制御装置１の電源投入後に音声処理部１６で実行される処理である。

【0077】

音声処理はまず、マイク４０からの音声Ｓｄ２、映像処理部１５からの音声Ｓｄ１又は楽音処理部１７からの楽音Ｓｄ３がサンプリングされたかを確認する（Ｓ２０）。Ｓ２０の処理において、音声Ｓｄ１、音声Ｓｄ２又は楽音Ｓｄ３がサンプリングされた場合は、サンプリングされた音声Ｓｄ１、音声Ｓｄ２又は楽音Ｓｄ３を合成することで音声Ｓｄを作成し、その音声Ｓｄのビートを検出する（Ｓ２１）。

【0078】

Ｓ２１の処理の後、Ｓ２１の処理によってビートが検出されたかを確認する（Ｓ２２）。Ｓ２２の処理において、ビートが検出された場合は（Ｓ２２：Ｙｅｓ）、ビートが検出された旨をＣＰＵ１０に通知する（Ｓ２３）。Ｓ２２の処理において、ビートが検出されない場合は（Ｓ２２：Ｎｏ）、Ｓ２３の処理をスキップする。

【0079】

Ｓ２２，Ｓ２３の処理の後、音声Ｓｄをスピーカ６０へ出力する（Ｓ２４）。なお、音声Ｓｄ１、音声Ｓｄ２又は楽音Ｓｄ３は、音声処理部１６を通してスピーカ６０へ出力されるものに限られず、例えば、音声Ｓｄ１、音声Ｓｄ２又は楽音Ｓｄ３の音声処理部１６への出力と並行して、音声処理部１６を通さずにスピーカ６０へバイパスして出力しても良い。Ｓ２０の処理において、音声Ｓｄ１等がサンプリングされない場合（Ｓ２０：Ｎｏ）、又は、Ｓ２４の処理の後、Ｓ２０以下の処理を繰り返す。

【0080】

次に図７～９を参照して、ＣＰＵ１０の処理を説明する。図７は、ＣＰＵ１０におけるメイン処理のフローチャートである。メイン処理は、照明制御装置１の電源投入後にＣＰＵ１０で実行される処理である。

【0081】

メイン処理はまず、図示しない操作ボタンを介してユーザＨから照明設定、即ち照明機器Ｌ１～Ｌ４に割り当てられるカラーモード及び画面区分が更新されたかを確認する（Ｓ３０）。Ｓ３０の処理において、照明設定が更新された場合は（Ｓ３０：Ｙｅｓ）、更新された照明設定に基づき照明設定テーブル１２ｃを更新する（Ｓ３１）。Ｓ３０の処理において、照明設定が更新されていない場合は（Ｓ３０：Ｎｏ）、Ｓ３１の処理をスキップする。

【0082】

Ｓ３０，Ｓ３１の処理の後、前回、照明ポート１８から照明機器Ｌ１～Ｌ４へ照明制御信号Ｓｉを出力してから３０ミリ秒が経過したかを確認する（Ｓ３２）。Ｓ３２の処理において、前回の照明制御信号Ｓｉの出力から３０ミリ秒が経過した場合は（Ｓ３２：Ｙｅｓ）、映像処理部１５のエリア色情報メモリ１５ａを参照して、領域Ａ１～Ａ３２の色情報を取得し、エリア色情報メモリ１２ａに保存する（Ｓ３３）。Ｓ３３の処理の後、区分毎色設定処理（Ｓ３４）を実行する。ここで図８を参照して、区分毎色設定処理を説明する。

【0083】

図８は、区分毎色設定処理のフローチャートである。区分毎色設定処理はまず、画面区分Ｄ１～Ｄ２９を表すカウンタ変数ｎに１を設定する（Ｓ５０）。以下、「画面区分Ｄｎ」とは、ｎが１の場合は画面区分Ｄ１を表し、ｎが１０の場合は画面区分Ｄ１０を表す。

【0084】

Ｓ５０の処理の後、エリア色情報メモリ１５ａの色情報に基づき、画面区分Ｄｎに属する領域Ａ１～Ａ３２毎にＲ，Ｇ，Ｂの平均値（即ち上記したＲ１～Ｒ３２，Ｇ１～Ｇ３２，Ｂ１～Ｂ３２）を算出する（Ｓ５１）。Ｓ５１の処理の後、画面区分ＤｎにおけるＲ，Ｇ，Ｂ，Ｗ，Ｙ，Ｃ，Ｍの平均値、即ち上記した平均色を算出する（Ｓ５２）。

【0085】

なお、Ｗ，Ｙ，Ｃ，Ｍの平均値は、上記した通り、画面区分Ｄｎに属する領域Ａ１～Ａ３２のＲ，Ｇ，Ｂの平均値に基づき、領域Ａ１～Ａ３２毎のＷ，Ｙ，Ｃ，Ｍ、即ちＷ１～Ｗ３２，Ｙ１～Ｙ３２，Ｃ１～Ｃ３２，Ｍ１～Ｍ３２を算出し、これらの平均値がそれぞれＷ，Ｙ，Ｃ，Ｍの平均色とされる。Ｓ５２の処理の後、算出されたＲ，Ｇ，Ｂ，Ｗ，Ｙ，Ｃ，Ｍの平均値を、区分毎色情報テーブル１２ｂの画面区分Ｄｎ及びカラーモード「平均色」の領域に保存する（Ｓ５３）。

【0086】

Ｓ５３の処理の後、エリア色情報メモリ１５ａの色情報に基づき、画面区分Ｄｎに属する領域Ａ１～Ａ３２毎にＲ，Ｇ，Ｂの最大値を抽出する（Ｓ５４）。Ｓ５４の処理の後、画面区分ＤｎにおけるＲ，Ｇ，Ｂの最大値の平均値を算出する（Ｓ５５）。Ｓ５５の処理の後、算出されたＲ，Ｇ，Ｂの最大値の平均値を区分毎色情報テーブル１２ｂの画面区分Ｄｎ及びカラーモード「ピックアップ３色」の領域に保存する（Ｓ５６）。

【0087】

Ｓ５６の処理の後、白抽出処理（Ｓ５６）を実行する。ここで図９（ａ）を参照して、白抽出処理を説明する。

【0088】

図９（ａ）は、白抽出処理のフローチャートである。白抽出処理では、画面区分Ｄｎの該当領域ごとに処理をする。白抽出処理はまず、カウンタ変数ｍに１を設定する（Ｓ７０）。画面区分Ｄｎは、昇順に領域Ａ１～Ａ３２が設定されており、例えば、図２（ａ）の画面区分Ｄ２２は、領域Ａ１，Ａ２，Ａ９，Ａ１０の順に領域が設定されている。よって以下、「ｍ番目の領域」とは、画面区分Ｄ２２でｍが１の場合は領域Ａ１を表し、画面区分Ｄ２２でｍが３の場合は領域Ａ９を表す。

【0089】

Ｓ７０の処理の後、エリア色情報メモリ１５ａの色情報に基づき、画面区分Ｄｎのｍ番目の領域のＲ，Ｇ，Ｂを取得する（Ｓ７１）。Ｓ７１の処理の後、取得したＲが、取得したＧに０．７５を乗じた値より大きく、かつ、取得したＧに１．２５を乗じた値より小さいかを確認する（Ｓ７２）。Ｓ７２の処理において、取得したＲが、取得したＧに０．７５を乗じた値より大きく、かつ、取得したＧに１．２５を乗じた値より小さい場合は（Ｓ７２：Ｙｅｓ）、取得したＲが、取得したＢに０．７５を乗じた値より大きく、かつ、取得したＢに１．２５を乗じた値より小さいかを確認する（Ｓ７３）。

【0090】

Ｓ７３の処理において、取得したＲが、取得したＢに０．７５を乗じた値より大きく、かつ、取得したＢに１．２５を乗じた値より小さい場合は（Ｓ７３：Ｙｅｓ）、取得したＧが、取得したＢに０．７５を乗じた値より大きく、かつ、取得したＢに１．２５を乗じた値より小さいかを確認する（Ｓ７４）。

【0091】

Ｓ７４の処理において、取得したＧが、取得したＢに０．７５を乗じた値より大きく、かつ、取得したＢに１．２５を乗じた値より小さい場合は（Ｓ７４：Ｙｅｓ）、取得したＲ，Ｇ，Ｂがそれぞれ±２５％以内とされ、「白」とみなすことができるので、画面区分Ｄｎのｍ番目の領域のＷに、取得したＲ，Ｇ，Ｂのうちの最大値を設定する（Ｓ７５）。

【0092】

Ｓ７２の処理において、取得したＲが、取得したＧに０．７５を乗じた値以下、または、取得したＧに１．２５を乗じた値以上の場合（Ｓ７２：Ｎｏ）、取得したＲが、取得したＢに０．７５を乗じた値以下、または、取得したＢに１．２５を乗じた値以上の場合（Ｓ７３：Ｎｏ）、取得したＧが、取得したＢに０．７５を乗じた値以下、または、取得したＢに１．２５を乗じた値以上の場合（Ｓ７４：Ｎｏ）は、画面区分Ｄｎのｍ番目の領域のＷに０を設定する（Ｓ７６）。

【0093】

Ｓ７５，Ｓ７６の処理の後、カウンタ変数ｍに１を加算し（Ｓ７７）、そのカウンタ変数ｍが画面区分Ｄｎに属する領域の数よりも大きいかを確認する（Ｓ７８）。Ｓ７８の処理において、カウンタ変数ｍが画面区分Ｄｎに属する領域の数以下の場合は（Ｓ７８：Ｎｏ）、Ｓ７１以下の処理を繰り返す。一方で、Ｓ７８の処理において、カウンタ変数ｍが画面区分Ｄｎに属する領域の数より大きい場合は（Ｓ７８：Ｙｅｓ）、白抽出処理を終了する。なお、白抽出処理において、「白」とみなすＲ，Ｇ，Ｂの範囲は±２５％に限られず、±２５％以上でも、±２５％以下でも良い。

【0094】

図８に戻る。Ｓ５７の白抽出処理の後、エリア色情報メモリ１５ａの色情報および白抽出処理で設定されたＷに基づき、画面区分Ｄｎに属する領域Ａ１～Ａ３２毎にＲ，Ｇ，Ｂ，Ｗの最大値を抽出する（Ｓ５８）。Ｓ５８の処理の後、画面区分ＤｎにおけるＲ，Ｇ，Ｂ，Ｗの最大値の平均値を算出する（Ｓ５９）。Ｓ５９の処理の後、算出されたＲ，Ｇ，Ｂ，Ｗの最大値の平均値を区分毎色情報テーブル１２ｂの画面区分Ｄｎ及びカラーモード「ピックアップ４色」の領域に保存する（Ｓ６０）。

【0095】

Ｓ６０の処理の後、カウンタ変数ｎに１を加算し（Ｓ６１）、そのカウンタ変数ｎが総画面区分数（即ち「２９」）より大きいかを確認する（Ｓ６２）。Ｓ６２の処理において、カウンタ変数ｎが総画面区分数以下の場合は（Ｓ６２：Ｎｏ）、Ｓ５１以下の処理を繰り返す。一方で、Ｓ６２の処理において、カウンタ変数ｎが総画面区分数より大きい場合は（Ｓ６２：Ｙｅｓ）、区分毎色設定処理を終了する。

【0096】

図７に戻る。Ｓ３４の区分毎設定処理の後、区分毎色情報テーブル１２ｂに基づき照明設定テーブル１２ｃの照明機器Ｌ１～Ｌ４の色情報を設定する（Ｓ３５）。具体的には、区分毎色情報テーブル１２ｂから照明設定テーブル１２ｃの照明機器Ｌ１～Ｌ４に設定されている画面区分およびカラーモードに該当する色情報を取得し、照明設定テーブル１２ｃの色情報にそれぞれ設定する。

【0097】

Ｓ３５の処理の後、音声処理部１６からビートを検出した旨の通知があったかを確認する（Ｓ３６）。Ｓ３６の処理において、音声処理部１６からビートを検出した旨の通知があった場合は（Ｓ３６：Ｙｅｓ）、フラッシュ付加処理（Ｓ３７）を実行する。ここで図９（ｂ）を参照して、フラッシュ付加処理を説明する。

【0098】

図９（ｂ）は、フラッシュ付加処理のフローチャートである。フラッシュ付加処理はまず、図示しない操作ボタンを介してユーザＨから設定されたフラッシュ色付加設定を確認する（Ｓ９０）。フラッシュ色付加設定には、操作ボタンを介してユーザＨから設定された色を照明設定テーブル１２ｃの色情報に付加する「固定」と、画面区分Ｄ１（即ち全画面）のピックアップ４色におけるＲ，Ｇ，Ｂ，Ｗのうち最大値を照明設定テーブル１２ｃの色情報に付加する「自動」との２つの設定が設けられる。

【0099】

Ｓ９０の処理において、フラッシュ色付加設定が自動の場合は（Ｓ９０：「自動」）、区分毎色情報テーブル１２ｂのピックアップ４色および画面区分Ｄ１（全画面）の色情報のうち最大となる色の当該最大値を、照明設定テーブル１２ｃのそれぞれの色情報に加算する（Ｓ９１）。一方でＳ９０の処理において、フラッシュ色付加設定が固定の場合は（Ｓ９０：「固定」）、区分毎色情報テーブル１２ｂのピックアップ４色および画面区分Ｄ１（全画面）の色情報のうちユーザＨから設定された色の値を、照明設定テーブル１２ｃの対応する色情報に加算する（Ｓ９２）。Ｓ９１，Ｓ９２の処理の後、フラッシュ付加処理を終了する。

【0100】

図７に戻る。Ｓ３６の処理において、音声処理部１６からビートを検出した旨の通知がなかった場合は（Ｓ３６：Ｎｏ）、Ｓ３７のフラッシュ付加処理をスキップする。

【0101】

Ｓ３６，Ｓ３７の処理の後、照明設定テーブル１２ｃの色情報に基づき照明機器Ｌ１～Ｌ４をそれぞれ制御する照明制御値のセットを作成し、その照明制御値のセットからＤＭＸ５１２規格の照明制御信号Ｓｉを作成する（Ｓ３８）。なお、Ｓ３８の処理で作成される照明制御信号Ｓｉは、ＤＭＸ５１２規格に基づき５１２バイトのデータとされる。

【0102】

Ｓ３８の処理の後、作成された照明制御信号Ｓｉを照明ポート１８を介して照明機器Ｌ１～Ｌ４へ出力する（Ｓ３９）。Ｓ３２の処理において、前回の照明制御信号Ｓｉの出力から３０ミリ秒が経過していない場合（Ｓ３２：Ｎｏ）、又は、Ｓ３９の処理の後、Ｓ３０以下の処理を繰り返す。

【0103】

以上、上記実施形態に基づき説明したが、種々の改良変更が可能であることは容易に推察できるものである。

【0104】

上記実施形態では、照明制御装置１を外部表示装置３０の周囲に配置された照明機器Ｌ１～Ｌ４の照明を制御するものとしたが、これに限られない。照明機器Ｌ１～Ｌ４を、例えば屋内の天井、壁、床等における外部表示装置３０と無関係な位置に配置し、照明制御装置１でこれら照明機器Ｌ１～Ｌ４の照明を、外部表示装置３０に表示される映像と関連することなく制御しても良い。

【0105】

上記実施形態では、映像データＤｓによる映像を領域Ａ１～Ａ３２の３２個の領域に分割したが、領域を分割する数は、３２個以下でも３２個以上でも良い。また、画面区分として、図２（ａ）に示すような画面区分Ｄ１～Ｄ２９を設けたが、これに限られず、画面区分Ｄ１～Ｄ２９以外の領域Ａ１～Ａ３２の組み合わせによる画面区分を設けても良い。更には領域Ａ１～Ａ３２の形状をそれぞれ矩形状としたがこれに限られない。例えば、三角形や五角形等の矩形以外の多角形でも良いし、円形や楕円形、星形等の他の形状でも良い。

【0106】

上記実施形態では、音声Ｓｄにおいてビートが検出された場合に、ピックアップ４色の画面区分Ｄ１の色情報のうち最大となる色、または、ピックアップ４色および画面区分Ｄ１（全画面）の色情報のうちユーザＨが設定した色を照明設定テーブル１２ｃの色情報に付加したが、これに限られない。例えば、音声Ｓｄにおいて音量や音高が所定の値を超えた場合や、音声Ｓｄにおいて所定の周波数帯域の音を検出した場合に、ピックアップ４色および画面区分Ｄ１の色情報のうち最大となる色等を照明設定テーブル１２ｃの色情報に付加しても良い。この場合、音声処理部１６からビートを検出した旨をＣＰＵ１０に通知する代わりに、音量や音高が所定の値を超えた旨や、音声Ｓｄにおいて所定の周波数帯域の音を検出した旨をＣＰＵ１０に通知すれば良い。

【0107】

また、ピックアップ４色の画面区分Ｄ１の色情報のうち最大となる色の代わりに、ピックアップ３色の画面区分Ｄ１の色情報のうち最大となる色を用いても良いし、照明機器Ｌ１～Ｌ４の照明のうちＷのＬＥＤを含むものについては、ピックアップ４色の画面区分Ｄ１の色情報のうち最大となる色を用い、照明機器Ｌ１～Ｌ４の照明のうちＷのＬＥＤを含まないものについてはピックアップ３色の画面区分Ｄ１の色情報のうち最大となる色を用いても良い。更にはピックアップ４色の画面区分Ｄ１の色情報のうち最大となる色を用いるものに限られず、例えば、ピックアップ４色の画面区分Ｄ２の色情報のうち最大となる色等、他の画面区分のピックアップ４色の色情報を用いても良い。

【0108】

更には、フラッシュ色付加設定が「固定」の場合に、ピックアップ４色および画面区分Ｄ１（全画面）の色情報のうちユーザＨが設定した色を照明設定テーブル１２ｃの色情報に付加したが、これに限られない。例えば、ユーザＨによって設定されたピックアップ４色および画面区分Ｄ１の色情報とは無関係の色を照明設定テーブル１２ｃの色情報に付加しても良い。また、予めユーザＨが付加する色を複数設定しておき、設定された色からランダムに選択された色を照明設定テーブル１２ｃの色情報に付加しても良い。

【0109】

また、音声Ｓｄにおいてビートが検出された場合の照明設定テーブル１２ｃへの色情報の付加を、照明機器Ｌ１～Ｌ４ごとに独立して行うようにしても良い。例えば、照明機器Ｌ１～Ｌ４ごとに、割り当てられている画面区分およびカラーモードの色情報のうち最大となる色を、該当する照明設定テーブル１２ｃの色情報に付加しても良い。これによって、音声Ｓｄにおいてビートが検出された場合の照明機器Ｌ１～Ｌ４の変化を、照明機器Ｌ１～Ｌ４ごとに異なった態様のものとすることができる。

【0110】

更には、音声Ｓｄ１、音声Ｓｄ２及び楽音Ｓｄ３を合成した音声Ｓｄからビートを検出する代わりに、例えば、音声Ｓｄ１のみからビートを検出しても良いし、同様に、音声Ｓｄ２のみから、又は、楽音Ｓｄ３のみからビートを検出しても良い。

【0111】

上記実施形態では、３０ミリ秒ごとにＤＭＸ５１２規格の照明制御信号Ｓｉを５１２バイトとしたが、これに限られない。照明制御信号Ｓｉを作成する周期は３０ミリ秒以下でも３０ミリ秒以上でも良い。例えば、映像データＤｓのフレームレートが６０ＦＰＳ等、３０ＦＰＳよりも短い場合は、作成するＤＭＸ５１２規格の照明制御信号Ｓｉを２５６バイトとし、１５ミリ秒ごとに２５６バイト分を照明機器Ｌ１～Ｌ４に送信しても良い。更に、照明制御信号Ｓｉを作成する周期や照明制御信号Ｓｉのデータ量をユーザＨが設定できるようにしても良い。

【0112】

上記実施形態では、カラーモードとして、Ｒ，Ｇ，Ｂのうちの最大値によるピックアップ３色と、Ｒ，Ｇ，Ｂ，Ｗのうちの最大値によるピックアップ４色とを設けたが、これに限られない。例えば、Ｒ，Ｇ，Ｂ，Ｗ，Ｙ，Ｃ，Ｍのうちの最大値によるカラーモード（ピックアップ７色）を設けても良い。また、カラーモードの平均色を７色（Ｒ，Ｇ，Ｂ，Ｗ，Ｙ，Ｃ，Ｍ）の平均値としたが、これに限られず、３色（Ｒ，Ｇ，Ｂ）の平均値としても良いし、４色（Ｒ，Ｇ，Ｂ，Ｗ）の平均値としても良い。

【0113】

上記実施形態では、映像出力装置２０をビデオカメラ等で撮影された映像の映像データＤｓを出力する装置を例示したが、これに限られず、例えば、映像出力装置２０をＤＶＤプレイヤーで構成し、ＤＶＤ等に録画された映像の映像データＤｓを出力しても良いし、映像出力装置２０をＴＶチューナーで構成し、受信したＴＶ放送の映像データＤｓを出力しても良い。また、映像出力装置２０をインターネットに接続可能に構成し、インターネット経由で取得したライブ映像等の映像データＤｓを出力しても良い。更には、映像出力装置２０をカラオケ装置で構成しても良い。

【0114】

更には、映像出力装置２０の代わりに、照明制御装置１にＵＳＢ（登録商標）メモリ等の可搬な記録メディアを接続し、記録メディアに記憶された動画ファイルを再生することで得られる映像データＤｓを用いても良い。

【0115】

また、音声Ｓｄ２をマイク４０から入力されたユーザＨの音声としたが、これに限られない。音声Ｓｄ２を、例えば、マイク４０から入力された視聴者が発する歓声や手拍子としても良いし、マイク４０から入力された演奏者によるピアノやギターの演奏音としても良い。

【0116】

上記実施形態では、照明制御信号Ｓｉの作成および照明ポート１８からの照明制御信号Ｓｉが出力される周期を、映像データＤｓの映像のフレームレートや音声Ｓｄ１等のサンプリングレートに依らず、照明制御信号Ｓｉが出力される照明機器Ｌ１～Ｌ４に応じた周期に設定した。しかし、これに限られず、照明機器Ｌ１～Ｌ４を安定して点灯可能であれば、照明制御信号Ｓｉの作成および照明制御信号Ｓｉが出力される周期を、映像データＤｓの映像のフレームレートと同一の周期として良いし、当該フレームレートより短い周期としても良い。同様に、照明制御信号Ｓｉの作成および照明制御信号Ｓｉが出力される周期を、音声Ｓｄ１等のサンプリングレートに基づく周期として良い。

【0117】

また、照明制御信号Ｓｉの作成と照明制御信号Ｓｉの出力とを同一の周期で同期して行うものに限られず、これらを非同期で行っても良い。例えば、照明制御信号Ｓｉを作成する周期を照明制御信号Ｓｉを出力する周期より短くしても良いし、長くしても良い。

【0118】

上記実施形態では、映像出力装置２０から入力された１フレームの色情報の取得を映像処理部１５で実行したが、これに限られない。例えば、１フレームの色情報の取得をＣＰＵ１０で実行しても良い。この場合、ＣＰＵ１０において、照明制御信号Ｓｉの作成および３０ミリ秒ごとの出力を維持するため、例えば、１フレームの色情報の取得と、照明制御信号Ｓｉの作成および３０ミリ秒ごとの出力とを並列に実行すれば良い。同様に、音声Ｓｄからのビートの検出を音声処理部１６で実行したが、これに限られず、ＣＰＵ１０で実行しても良い。

【0119】

上記実施形態では、図８のＳ５１の処理で画面区分Ｄｎに該当する領域Ａ１～Ａ３２のＲ，Ｇ，Ｂの平均値を算出し、Ｓ５４の処理で画面区分Ｄｎに該当する領域Ａ１～Ａ３２のＲ，Ｇ，Ｂの最大値を抽出し、Ｓ５７の白抽出処理で画面区分Ｄｎに該当する領域Ａ１～Ａ３２のＷを設定し、Ｓ５８の処理で画面区分Ｄｎに該当する領域Ａ１～Ａ３２のＲ，Ｇ，Ｂ，Ｗの最大値を抽出した。

【0120】

しかし、これに限られず、予め（例えばＳ５０の処理の前に）領域Ａ１～Ａ３２のＲ，Ｇ，Ｂの平均値の算出と、領域Ａ１～Ａ３２のＲ，Ｇ，Ｂの最大値の抽出と、領域Ａ１～Ａ３２のＷの設定および領域Ａ１～Ａ３２のＲ，Ｇ，Ｂ，Ｗの最大値の抽出とを行っても良い。この場合、Ｓ５１，Ｓ５４，Ｓ５７及びＳ５８の処理を省略し、Ｓ５２，Ｓ５３の処理で予め算出された領域Ａ１～Ａ３２のＲ，Ｇ，Ｂの平均値のうち、画面区分Ｄｎに該当する領域Ａ１～Ａ３２のＲ，Ｇ，Ｂの平均値を用い、Ｓ５５の処理で予め抽出された領域Ａ１～Ａ３２のＲ，Ｇ，Ｂの最大値のうち、画面区分Ｄｎに該当する領域Ａ１～Ａ３２のＲ，Ｇ，Ｂの最大値を用い、Ｓ５９の処理で、予め抽出された領域Ａ１～Ａ３２のＲ，Ｇ，Ｂ，Ｗの最大値のうち、画面区分Ｄｎに該当する領域Ａ１～Ａ３２のＲ，Ｇ，Ｂ，Ｗの最大値を用いれば良い。

【0121】

上記実施形態では、照明制御装置１において、映像データＤｓと音声Ｓｄとに応じた照明制御信号Ｓｉを作成したが、これに限られない。例えば、電子楽器５０に限られない電子機器からＭＩＤＩ（Musical Instrument Digital Interface）を取得し、そのＭＩＤＩデータを照明制御信号Ｓｉに変換して、その照明制御信号Ｓｉを照明機器Ｌ１～Ｌ４の制御に用いても良い。

【0122】

上記実施形態では、照明制御装置１に照明機器Ｌ１～Ｌ４を照明ポート１８を介して有線で接続し、照明制御信号Ｓｉを送信した。しかし、これに限られず、例えば、照明制御装置１と照明機器Ｌ１～Ｌ４とを有線ＬＡＮで接続し、有線ＬＡＮを介して照明制御信号Ｓｉを送信しても良い。この場合、有線ＬＡＮによる照明制御信号Ｓｉを送信する通信プロトコルとしてはアートネット（Art-Net）が例示されるが、これ以外の通信プロトコルでも良い。また、照明制御装置１と照明機器Ｌ１～Ｌ４とを無線通信（例えばBluetooth（登録商標））で接続し無線通信を介して照明制御信号Ｓｉを送信しても良い。

【0123】

上記実施形態では、制御プログラム１１ａが組み込まれた照明制御装置１を例示したが、これに限られず、パーソナルコンピュータ等の情報処理装置（コンピュータ）で制御プログラム１１ａを実行する構成としても良い。

【0124】

上記実施形態に挙げた数値は一例であり、他の数値を採用することは当然可能である。

【符号の説明】

【0125】

１ 照明制御装置
Ｓｉ 照明制御信号
１５ 映像処理部（映像取得手段の一部、特徴色取得手段の一部）
１６ 音声処理部（音声取得手段の一部、音声特徴タイミング取得手段の一部）
１８ 照明ポート（信号送信手段の一部）
３０ 外部表示装置
Ｌ１～Ｌ４ 照明機器
Ｓ１ 映像取得手段の一部、映像取得ステップ
Ｓ４ 特徴色取得手段の一部、特徴色取得ステップ
Ｓ２０ 音声取得手段の一部、音声取得ステップ
Ｓ２２ 音声特徴タイミング取得手段の一部、音声特徴タイミング取得ステップ
Ｓ３８ 信号作成手段
Ｓ３９ 信号送信手段の一部、信号送信ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】