特許 7530680 花畑の照明システム、制御装置及び照明方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-07-31

(45)【発行日】2024-08-08

(54)【発明の名称】花畑の照明システム、制御装置及び照明方法

(51)【国際特許分類】

   G09G 5/00 20060101AFI20240801BHJP

   A01G 7/00 20060101ALI20240801BHJP

   H04N 5/74 20060101ALI20240801BHJP

【ＦＩ】

G09G5/00 510B

A01G7/00 603

G09G5/00 550C

A01G7/00 601A

H04N5/74 Z

【請求項の数】 5

(21)【出願番号】P 2023120339

(22)【出願日】2023-07-24

【審査請求日】2023-07-25

【新規性喪失の例外の表示】特許法第３０条第２項適用 （１）２０２２年７月２７日 「チームラボ ボタニカルガーデン 大阪」長居植物園にて公開 （２）２０２２年７月２９日 「チームラボ ボタニカルガーデン 大阪」長居植物園にて公開 （３）２０２２年１０月３１日 ＜ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝Ｑｌｋ－Ｋ６ｅｌＧＫ８＞にて公開 （４）２０２２年１１月２日 ＜ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝ｗＩＸｄｈ２Ｆｅｆ６Ｅ＞にて公開 （５）２０２３年４月７日 「チームラボ ボタニカルガーデン 大阪」長居植物園にて公開 （６）２０２３年４月２０日 ＜ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝Ｙ８ｏｏｙＧｆ２ＡＲＭ＞にて公開

【早期審査対象出願】

【前置審査】

(73)【特許権者】

【識別番号】501041894

【氏名又は名称】チームラボ株式会社

(74)【代理人】

【識別番号】100116850

【弁理士】

【氏名又は名称】廣瀬 隆行

(74)【代理人】

【識別番号】100165847

【弁理士】

【氏名又は名称】関 大祐

(72)【発明者】

【氏名】猪子 寿之

(72)【発明者】

【氏名】イヴァルト ヒュー

【審査官】塚本 丈二

(56)【参考文献】

【文献】特開２０１１－１８６５３７（ＪＰ，Ａ）

【文献】特開２０１９－１２９３６４（ＪＰ，Ａ）

【文献】特開２０１６－１４９６１８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０３５６７６０（ＵＳ，Ａ１）

【文献】MORIMOTO, Yuki，Plant and Animal Display，PROCEEDING OF THE INTERNATIONAL DISPLAY WORKSHOPS，2021年12月09日，VOL. 27，pp. 854-855

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ５／００－５／４２

Ｈ０４Ｎ ５／７４

Ｇ０３Ｂ ２１／００

Ｇ０３Ｂ ２１／１４

Ａ０１Ｇ ７／００

(57)【特許請求の範囲】

【請求項1】

花畑を撮影可能な位置に配置された撮影装置と、前記花畑に対してプロジェクションマッピングのための映像光を投影可能な位置に配置された投影装置と、前記撮影装置及び投影装置に接続された制御装置を備える照明システムであって、
前記制御装置は、
前記撮影装置による前記花畑の撮影画像を解析して、当該撮影画像中における花部分と草部分を特定する画像解析手段と、
前記画像解析手段による解析結果に基づいて、前記花畑内の花に対して前記映像光を投影するように前記投影装置を制御する投影制御手段を含み、
前記画像解析手段は、
前記花畑の撮影画像における花部分を前記映像光の投影領域としそれ以外を非投影領域とする花マスク画像と、
前記花畑の撮影画像における草部分を前記映像光の投影領域としそれ以外を非投影領域とする草マスク画像を生成し、
前記投影制御手段は、
前記花マスク画像に基づいて前記花畑内の花に対して前記映像光を投影するとともに、
前記草マスク画像に基づいて前記花畑内の草に対して前記映像光を投影するように前記投影装置を制御する
照明システム。

【請求項2】

前記投影制御手段は、前記花畑内の花に対する照明条件と草に対する照明条件が異なるように前記投影装置を制御する
請求項１に記載の照明システム。

【請求項3】

前記花マスク画像は、前記映像光の投影領域をＲＧＢ値のうちのいずれか１つで表したものであり、
前記草マスク画像は、前記映像光の投影領域をＲＧＢ値のうちの別の１つで表したものであり、
前記花マスク画像と前記草マスク画像は、ＲＧＢ値で表現される１つの画像に合成されている
請求項１に記載の照明システム。

【請求項4】

花畑を撮影可能な位置に配置された撮影装置と、前記花畑に対してプロジェクションマッピングのための映像光を投影可能な位置に配置された投影装置とに接続された、一又は複数のコンピュータにより構成される制御装置であって、
前記撮影装置による前記花畑の撮影画像を解析して、当該撮影画像中における花部分と草部分を特定する画像解析手段と、
前記画像解析手段による解析結果に基づいて、前記花畑内の花に対して前記映像光を投影するように前記投影装置を制御する投影制御手段を含み、
前記画像解析手段は、
前記花畑の撮影画像における花部分を前記映像光の投影領域としそれ以外を非投影領域とする花マスク画像と、
前記花畑の撮影画像における草部分を前記映像光の投影領域としそれ以外を非投影領域とする草マスク画像を生成し、
前記投影制御手段は、
前記花マスク画像に基づいて前記花畑内の花に対して前記映像光を投影するとともに、
前記草マスク画像に基づいて前記花畑内の草に対して前記映像光を投影するように前記投影装置を制御する
制御装置。

【請求項5】

撮影装置が、花畑の撮影画像を取得する工程と、
制御装置が、前記花畑の撮影画像を解析して当該撮影画像中における花部分と草部分を特定し、前記撮影画像の解析結果に基づいて前記花畑内の花に対してプロジェクションマッピングのための映像光を投影するように投影装置のための制御信号を生成する工程と、
前記投影装置が、前記制御信号に基づいて前記花畑内の花に対して投影する工程を含み、
前記制御装置は、
前記花畑の撮影画像における花部分を前記映像光の投影領域としそれ以外を非投影領域とする花マスク画像と、
前記花畑の撮影画像における草部分を前記映像光の投影領域としそれ以外を非投影領域とする草マスク画像を生成し、
前記花マスク画像に基づいて前記花畑内の花に対して前記映像光を投影するとともに、
前記草マスク画像に基づいて前記花畑内の草に対して前記映像光を投影するように前記投影装置を制御する
照明方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、花畑を照明するためのシステムや制御装置に関する。また、本発明は、花畑を照明する方法にも関連する。

【背景技術】

【0002】

現在は、対象物に対してプロジェクタから映像光を投影することで様々な映像演出を行うプロジェクションマッピングが普及している。プロジェクションマッピング用の投影画像を生成するための技術については種々提案されている。

【0003】

例えば、特許文献１には、投影装置、撮像装置、及び演算装置を備える画像投影システムが開示されている。特許文献１のシステムでは、画像投影装置により投影された所定のパターン画像と撮像装置により撮像された同じパターン画像との位置関係を基に、撮像装置のカメラ座標と画像投影装置のプロジェクタ座標とを変換するための変換情報を生成する。そして、このシステムでは、撮像装置が人物を含む被写体を撮像したときに、カメラ座標に係る人物の位置を検出するとともに、予め生成しておいた変換情報を基に、このカメラ座標に係る人物の位置情報をプロジェクタ座標に係る位置情報に変換することで、プロジェクタからこの人物に重ねて映像光を投影することとしている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－９７１４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

プロジェクションマッピングの技術を用いて、特許文献１のように人物に対して映像光を投影したり、その他建物などの構造物に映像光を投影することは従来から知られている。そこで、本発明の発明者は、プロジェクションマッピングの技術を応用して花畑を照明することを考えた。しかしながら、草花を含む花畑に対して光を投影することは検討が進んでいない。特に花畑は多数の花や葉、茎、その他の土壌部分を含むものであり、複雑な立体形状となっていることから、どのように光を投影すれば花畑を美しく見せることができるかを検討する必要がある。

【0006】

そこで、本発明は、花畑を美しく照明することのできる技術を提供することを主な目的とする。

【課題を解決するための手段】

【0007】

本発明の第１の側面は、花畑用の照明システムに関する。本発明に係る照明システムは、花畑を撮影可能な位置に配置された撮影装置と、この花畑に対して光を投影可能な位置に配置された投影装置と、これらの撮影装置及び投影装置に接続された制御装置を備える。また、制御装置は、画像解析手段と投影制御手段を含む。画像解析手段は、撮影装置による花畑の撮影画像を解析して、当該撮影画像中における花部分を特定する。投影制御手段は、画像解析手段による解析結果に基づいて、花畑内の花に対して光を投影するように投影装置を制御する。なお、「花」とは、花畑内の土壌に植わっている一本の植物のうち、複数の花弁の集合体である花冠を意味する。このように、花畑内の植物のうちの花を画像解析により特定して、この花に対して光を投影することで、花畑を美しく照明することができる。なお、本発明においては、花畑内の花のみに対して光を投影することとしてもよいし、後述するように花畑内の花と草に光を投影することとしてもよい。ただし、花畑内の土壌には光を投影しないようにすることが好ましい。

【0008】

本発明に係る照明システムにおいて、画像解析手段は、撮影装置による花畑の撮影画像を解析して、当該撮影画像中における花部分と草部分を特定することとしてもよい。この場合、投影制御手段は、画像解析手段による解析結果に基づいて、花畑内の花と草に対して光を投影するように投影装置を制御するとよい。なお、「草」とは、花畑内の土壌に植わっている一本の植物のうち、前述した花を除く部位であり、葉や茎、幹などの苗条系を含む。ただし、ここにいう「草」には、土壌内に埋もれている根系は含まれない。このように、花だけでなくその周りの草にも光を投影することで、花畑内の植物の種類によっては、花だけに照明を当てた場合と比較して、花畑を美しく見せることができる。例えば、ヒマワリやコスモスのように花冠が比較的大きい植物には花のみに照明を当てればよいし、ネモフィラのように花冠が比較的小さい植物には花及び草に照明を当てればよい。

【0009】

本発明に係る照明システムにおいて、投影制御手段は、花畑内の花に対する照明条件と草に対する照明条件が異なるように投影装置を制御することとしてもよい。ここにいう照明条件には、光量や、照度、色が含まれる。例えば、花に投影する光の光量に対して、草に投影する光の光量を小さくすると良い。これにより、花の周囲の草を照らしつつ、光を目立たせることができる。反対に、草を目立たせたい場合には、花に投影する光の光量に対して、草に投影する光の光量を大きくすればよい。

【0010】

本発明に係る照明システムにおいて、画像制御手段は、花畑の撮影画像における花部分を投影領域としそれ以外を非投影領域とする花マスク画像を生成することが好ましい。この場合、投影制御手段は、花マスク画像に基づいて花畑内の花に対して光を投影するように投影装置を制御する。このように、花マスク画像を生成して投影装置を制御することにより、花畑の花を精度良く照明することができる。特に、花マスク画像はカメラ座標系からプロジェクタ座標系へ変換できるため、花マスク画像を生成することにより投影画像の生成の処理効率を向上させることができる。

【0011】

本発明に係る照明システムにおいて、画像制御手段は、花畑の撮影画像における花部分を投影領域としそれ以外を非投影領域とする花マスク画像と、花畑の撮影画像における草部分を投影領域としそれ以外を非投影領域とする草マスク画像を生成することとしてもよい。この場合、投影制御手段は、花マスク画像に基づいて花畑内の花に対して光を投影するとともに、草マスク画像に基づいて花畑内の草に対して光を投影するように投影装置を制御する。このように、花マスク画像と草マスク画像とを生成することにより、花と草に当てる照明条件をそれぞれ個別に制御することができる。

【0012】

本発明に係るシステムにおいて、花マスク画像は、その投影領域をＲＧＢ値のうちのいずれか１つで表したものであり、草マスク画像は、その投影領域をＲＧＢ値のうちの別の１つで表したものであることが好ましい。例えば、花マスク画像の投影領域をＲ値で表す場合には、草マスク画像の投影領域をＧ値又はＢ値で表すようにようにすればよい。この場合、花マスク画像と草マスク画像は、ＲＧＢ値で表現される１つの画像に合成することができる。これにより、マスク画像のデータ量が抑えられて、投影画像の生成の処理効率を向上させることができる。

【0013】

本発明の第２の側面は、前述した第１の側面に係るシステムを構成する制御装置である。すなわち、本発明に係る制御装置は、花畑を撮影可能な位置に配置された撮影装置と、花畑に対して光を投影可能な位置に配置された投影装置とに接続されており、一又は複数のコンピュータにより構成されている。本発明に係る制御装置は、撮影装置による花畑の撮影画像を解析して当該撮影画像中における花部分を特定する画像解析手段と、画像解析手段による解析結果に基づいて花畑内の花に対して光を投影するように投影装置を制御する投影制御手段を含む。なお、一又は複数のコンピュータを第２の側面に係る制御装置として機能させるためのコンピュータプログラムを、本発明の一つの側面として捉えることとしてもよい。このコンピュータプログラムは、コンピュータにプリインストールされていてもよいし、インターネットを介してダウンロード可能なものであってもよいし、あるいはＣＤ－ＲＯＭ等の非一時的記録媒体に記録されていてもよい。

【0014】

本発明の第３の側面は、花畑を照明する方法に関する。本発明に係る照明方法では、撮影装置が、花畑の撮影画像を取得する（撮影工程）。また、制御装置が、花畑の撮影画像を解析して当該撮影画像中における花部分を特定し、撮影画像の解析結果に基づいて花畑内の花に対して光を投影するように投影装置のための制御信号を生成する（制御工程）。また、投影装置が、制御信号に基づいて花畑内の花に対して投影する（投影工程）。

【発明の効果】

【0015】

本発明によれば、花畑を美しく照明することができる。

【図面の簡単な説明】

【0016】

【図1】図１は、本発明のシステムの全体構成の例を示した模式図である。

【図2】図２は、本発明のシステムの機能要素の例を示したブロック図である。

【図3】図３は、映像光の投影前の撮影画像の例を模式的に示している。

【図4】図４は、マスク画像の例を示している。

【図5】図５は、映像光の投影後の撮影画像の例を模式的に示している

【発明を実施するための形態】

【0017】

以下、図面を用いて本発明を実施するための形態について説明する。本発明は、以下に説明する形態に限定されるものではなく、以下の形態から当業者が自明な範囲で適宜変更したものも含む。

【0018】

図１は、本発明の一実施形態に係る照明システム１００の全体構成を示している。図１に示されるように、本発明に係る照明システム１００は、複数の植物が植えられた花畑を照明するために用いられる。この花畑内では、土壌に複数の植物が植えられている。この花畑内の植物には花（花冠）を有するものが含まれる。また、植物は、この花の他に草（葉、茎、及び／又は幹）を有している。花を持つ植物の種類は限定されないが、例えばヒマワリやコスモス、ネモフィラなどが挙げられる。また、花畑に植えられている植物は一種類のみである必要はなく、多種類の植物が花畑に植えられていてもよい。また、花畑には花を持つ植物以外に、花を持たない植物が植えられていてもよい。

【0019】

図１に示されるように、照明システム１００は、撮影装置１０、投影装置２０、検知装置３０、及び制御装置４０を含む。撮影装置１０、投影装置２０、及び検知装置３０は、それぞれ制御装置４０に有線又は無線で接続されている。なお、制御装置４０はクラウド型のコンピュータであってもよく、その場合、撮影装置１０、投影装置２０、及び検知装置３０はインターネットを介して制御装置４０に接続されていればよい。また、図１に示した例では、撮影装置１０と投影装置２０は一つずつ描かれているが、これらの装置はそれぞれ複数台設けられていてもよい。また、１台の投影装置２０に対して１台の撮影装置１０設けることとしてもよいし、１台の投影装置２０に対して複数台の撮影装置１０を設けることや、１台の撮影装置１０に対して複数台の投影装置２０を設けることも可能である。

【0020】

撮影装置１０は、花畑の全体又は少なくとも一部を撮影可能な位置に配置されている。例えば、一台の撮影装置１０を用いる場合は、この撮影装置１０の画角内に花畑が収まるようにすればよい。また、複数台の撮影装置１０を用いる場合は、各撮影装置１０によって花畑を部分的に撮影し、複数台の撮影装置１０を合わせた画角内に花畑が収まるようにすればよい。撮影装置１０としては、公知のデジタルカメラを用いることができる。撮影装置１０によって取得された画像データは、制御装置４０へと送信され所定の画像処理が行われる。また、この画像データは制御装置４０内に保存される。デジタルカメラは、例えば、レンズ、メカシャッター、シャッタードライバ、ＣＣＤイメージセンサユニットやＣＭＯＳイメージセンサユニットといった光電変換素子、光電変換素子から電荷量を読み出し画像データを生成するデジタルシグナルプロセッサ（ＤＳＰ）、ＩＣメモリなどを備える。

【0021】

投影装置２０は、花畑の全体又は少なくとも一部に対して映像光を投影可能な位置に配置されている。例えば、一台の投影装置２０を用いる場合は、この投影装置２０による投影範囲内に花畑が収まるようにすればよい。また、複数台の投影装置２０を用いる場合は、各投影装置２０によって花畑に対して部分的に光を投影し、複数台の投影装置２０を合わせた投影範囲内に花畑が収まるようにすればよい。投影装置２０としては、公知の業務用プロジェクタを用いることができる。制御装置４０によって投影画像が生成されると、この投影画像が投影装置２０に送信される。投影装置２０は、制御装置４０の制御に従い、この制御装置４０から受信した投影画像を映像光に変換して花畑に向けて照射する。

【0022】

検知装置３０は、花畑内又は花畑周囲の物体を検知する。検知対象となる物体は、主に観客（人物）である。検知装置３０が観客を検知した場合、その観客の周囲に照射する映像光の照射条件（光量や色など）を変化させることができる。検知装置３０は、花畑内に設置したり、花畑の周囲に設置したり、花畑の間に設けられた観客の通路などの複数箇所に設置すればよい。検知装置３０としては、例えば測域センサ、赤外線センサや、光センサ、超音波センサ、静電容量センサ、感圧センサ、音センサ、温度センサなど各種公知のセンサを採用することができる。また、検知装置３０としては、測域センサと赤外線センサの組み合わせなど、異なる機能を持つ複数のセンサを採用することも可能である。特に、検知装置３０は、測域センサを採用し、花畑内の観客の位置を検知することが好ましい。測域センサは、検査光（レーザ）を出射するとともに、その検査光を走査することで鑑賞者による接触位置までの距離と角度を測定する２次元走査型の光測距センサである。測域センサにより検出された情報は、制御装置４０に伝達される。制御装置４０は、実空間における測域センサの位置座標が既知であれば、その測域センサから出射された光に触れた対象物までの距離と角度を測定することで、実空間における対象物の位置座標を検出することができる。このような検知装置３０による検知情報は、リアルタイムに制御装置４０へと送出され、例えば投影装置２０の制御に利用される。

【0023】

制御装置４０は、撮影装置１０及び検知装置３０からの入力情報に基づいて投影装置２０を制御するためのコンピュータである。図２のブロック図では、主にこの制御装置４０の機能要素を示している。図２に示した実施形態では、便宜的に制御装置４０が一台のコンピュータにより構成されているが、この制御装置４０は複数台のコンピュータに機能を分散して構成されたものであってもよい。また、制御装置４０としては、クラウド上のサーバ型コンピュータを利用することもできる。

【0024】

図２に示されるように、制御装置４０は、プロセッサ４１、メモリ４２、及びコンテンツ記憶部４３を含む。プロセッサ４１の例は公知のＣＰＵやＧＰＵである。メモリは、例えばＲＡＭ（Random Access Memory）等の揮発性メモリから構成される。プロセッサ４１は、メモリ４２に記憶されているプログラムやデータに従って所定の演算処理や画像処理を行い、その処理の結果をメモリの作業空間に書き出しながら各種の制御処理を実行する。コンテンツ記憶部４３は、投影装置２０によって花畑に投影する画像データを記憶するためのストレージである。コンテンツ記憶部４３は、ＲＯＭ（Read Only Memory）やフラッシュメモリ等の不揮発性メモリや、ＨＤＤ（ハードディスクドライブ）から構成される。プロセッサ４１は、コンテンツ記憶部４３から画像データを読み出して一時的にメモリ４２に展開し、この画像データに対して座標変換やマスク処理を行って、投影装置２０に送信する投影画像を生成する。なお、コンテンツ記憶部４３には、プロセッサ４１での処理に用いられるプログラムが記憶されていてもよい。

【0025】

また、図２では、プロセッサ４１で実行される処理を機能ブロックとして示している。すなわち、本実施形態において、プロセッサ４１は、キャリブレーション部４１ａ、マスク生成部４１ｂ（画像解析手段）、及びマッピング部４１ｃ（投影制御手段）を含む。これらの各機能ブロック４１ａ～４１ｃは、プロセッサ４１がプログラムに従った処理を実行した結果、このプロセッサ４１により実現される機能である。

【0026】

キャリブレーション部４１ａは、撮影装置１０のカメラ座標系と投影装置２０のプロジェクタ座標系とを対応付ける座標変換マップを計算するキャリブレーション処理を行う。すなわち、図１に示したように撮影装置１０の視点と投影装置２０の視点には物理的なズレがあることから、撮影装置１０の撮影画像に基づいて投影装置２０を制御するためには、撮影装置１０のカメラ座標と投影装置２０のプロジェクタ座標系を相互に変換するためのマップを予め求めておく必要がある。キャリブレーション部４１ａでは、このようなキャリブレーション処理を行う。本実施形態では、グレイコードパターンと呼ばれる白黒の縞模様の組を投影装置２０から花畑に投影し、この花畑に投影されたグレイコードパターンを撮影装置１０で撮影することにより、キャリブレーション処理を行う。

【0027】

まず、キャリブレーション部４１ａは、投影装置２０を制御して、グレイコードパターンを花畑へ向けて投影させる。また、キャリブレーション部４１ａは、撮影装置１０がグレイコードパターンを正しく撮影できるように、グレイコードパターンの縞の太さや方位を変更しながら、投影装置２０から投映される画像の歪みやフォーカスなどを調整する。このとき、キャリブレーション部４１ａでは、撮影装置１０のゲイン、シャッタースピード、ホワイトバランスなどの調整をおこなうこととしてもよい。なお、撮影装置１０と投影装置２０の調整は自動的に行うこととしてもよいし、人手による操作によっておこなうこととしてもよい。

【0028】

次に、キャリブレーション部４１ａは、キャリブレーション処理を開始する。キャリブレーション部４１ａは投影装置２０にグレイコードパターンを送り、投影装置２０はグレイコードパターンを花畑に投影する。撮影装置１０は、グレイコードパターンが投影された花畑を撮影して、その撮影画像をキャリブレーション部４１ａに送る。キャリブレーション部４１ａは、撮影画像の各画素で白黒がどういう順序で映っていたかを調べることで、撮影装置１０のカメラ座標系の座標（Ｃｘ，Ｃｙ）が投影装置２０のプロジェクタ座標系のどの座標（Ｐｘ，Ｐｙ）に対応するかを表すＣ→Ｐマップを求める。また、キャリブレーション部４１ａは、Ｃ→Ｐマップから逆算して、プロジェクタ座標系の座標（Ｐｘ，Ｐｙ）がカメラ座標系のどの座標（Ｃｘ，Ｃｙ）に対応するかを表すＰ→Ｃマップを求める。なお、Ｐ→Ｃマップの欠損部分は内挿（補間）によって補われる。キャリブレーション部４１ａは、Ｃ→Ｐマップ及びＰ→Ｃマップをメモリ４２に格納する。Ｃ→Ｐマップ及びＰ→Ｃマップにより、カメラ座標系とプロジェクタ座標系を相互に変換できる。本願明細書では、これらＣ→ＰマップとＰ→Ｃマップを合わせたものを座標変換マップとも称する。すなわち、この座標変換マップは、撮影装置１０により取得される撮像画像の各画素と、投影装置２０により出力される投影画像の各画素とを対応付けたものである。なお、１台の投影装置２０の投影領域を複数の撮影装置１０によって撮影している場合には、この座標変換マップは、複数の撮影装置１０のカメラ座標系の座標と、一つの投影装置２０のプロジェクタ座標系の座標とを対応付けるものとなる。プロセッサ４１は、必要に応じてメモリ４２からこの座標変換マップを読み込んで利用する。ただし、撮影装置１０と投影装置２０の位置が同一であるか又はそれらの位置ズレが無視できる程度に小さいものであれば、このキャリブレーション部４１ａは省略することもできる。

【0029】

マスク生成部４１ｂは、撮影装置１０によって取得された花畑の撮影画像を解析して、この撮影画像中の所定部分を特定し、この所定部分と他の部分を区別するためのマスク画像を生成する機能を持つ。本発明で用いるマスク画像とは、投影装置２０から光を投影する領域（投影領域）と、それ以外の領域（非投影領域）とを区別するための二値画像である。本実施形態において、マスク生成部４１ｂは、撮影画像に基づいて、撮影画像中の花部分を抽出した花マスク画像と、撮影画像中の草部分を抽出した草部分画像を生成する。ただし、草マスク画像は必須ではなく、マスク生成部４１ｂは、少なくとも花マスク画像を生成すればよい。

【0030】

一例として、図３は、映像光を投影する前の花畑の撮影画像を表したものである。撮影画像は実際には写真であるが、図３はこの撮影画像を模式的に線画で表現している。図３に示されるように、撮影画像には花畑が写っており、この撮影画像には花部分と、草部分と、その他の部分（土壌等）が含まれていることがわかる。マスク生成部４１ｂは、このような撮影画像を解析して、花部分と草部分をすべて抽出する。画像内から特定部分を抽出する処理は公知の方法を利用すればよい。例えば画像を構成する画素の色値（ＲＧＢ）や輝度値に基づいて、特定部分（花部分や草部分）と他の部分の境界線を特定し、その境界線内を特定部分として抽出すればよい。なお、花部分の色は、植物の種類によって異なることから、予め花部分として抽出する色値の範囲を設定しておくことが好ましい。また、草部分の色は、一般的に緑色であるから、緑色と人が認識しうる色値の範囲を草部分として設定しておけばよい。また、マスク生成部４１ｂは、深層学習等の公知の機械学習を行うことにより作成された学習済みモデルを利用して、撮影画像内の花部分や草部分を特定することとしてもよい。

【0031】

図４は、図３に示した撮影画像から作成された花マスク画像と草マスク画像の例を示している。図４に示されるように、花マスク画像では、撮影画像（図３）の中から花部分が抽出されている。同様に、草マスク画像では、撮影画像（図３）の中から草部分が抽出されている。花マスク画像では、花部分として抽出された領域が投影装置２０から光を投影する領域（投影領域）に相当し、それ以外の部分が投影装置２０から光を投影しない領域（非投影領域）に相当する。同様に、草マスク画像では、草部分として抽出された領域が投影装置２０から光を投影する領域（投影領域）に相当し、それ以外の部分が投影装置２０から光を投影しない領域（非投影領域）に相当する。

【0032】

また、花マスク画像と草マスク画像は一つのＲＧＢ画像に合成することができる（なお、合成しないことも可能である）。具体的には、（Ｒ，Ｇ，Ｂ）の３チャネルの画素値を持つ合成マスク画像において、例えば花マスク画像の投影領域をＲチャネルで表し、草マスク画像の投影領域をＧチャネルで表す。この場合、花マスク画像の投影領域は（２５５，０，０）の画素値を持つ領域となり、草マスク画像の投影領域は（０，２５５，０）の画素値を持つ領域となる。なお、花マスク画像の投影領域をＧチャネルやＢチャネルで表したり、草マスク画像の投影領域をＲチャネルやＢチャネルしたりすることも当然可能である。

【0033】

また、合成マスク画像において、花マスク画像と草マスク画像とで２つのチャネルを使用した場合、もう一つチャネルが余っている。この残りのチャンネルは、任意の投影領域を持つマスク画像とすることができる。例えば、撮影画像に写っている奥側の場所に投影装置２０からの光が届きにくい場合、この奥側の場所に照射する光量を他の場所よりも高くする必要がある。このような場合に、任意のマスク画像において撮影画像の奥側の場所に相当する範囲を投影領域に設定し、この奥側の場所に照射する光量を個別に高くすることができる。その他、任意のマスク画像では、例えば投影装置２０からの光が届きにくい場所を投影領域として自由に設定できる。任意のマスク画像における投影領域は人手で設定してもよい。前述したように、例えば花マスク画像をＲチャネルとし、草マスク画像をＧチャネルとした場合、この任意のマスク画像が残りのＢチャネルを使用することになる。この場合、任意のマスク画像の投影領域は、例えば（０，０，２５５）の画素値を持つ領域となる。

【0034】

上記のように、撮影画像のうちの花部分と草部分についてそれぞれマスク画像を生成することで、花畑の花と草に投影する光の照射条件を個別に調整できる。例えば、花マスク画像の投影領域（花部分）には投影装置２０から１００％の光量で光を照射し、草マスク画像画像の投影領域（草部分）には投影装置２０から３０％の光量で光を照射するといったように、光量の個別制御が可能となる。このように、花畑内の花を目立たせる場合には、花部分に照射する光の光量は、草部分に照射する光の光量よりも大きくすることが好ましい。例えば、投影装置２０から照射可能な最大の光量を１００％としたときに、花部分の光量は５０％以上１００以下とし、一方で草部分の光量は１％以上５０％未満とすればよい。また、光量以外にも、投影装置２０から花部分や草部分に投影する光の色を個別に調整するとも可能である。なお、任意のマスク画像の投影領域についても同様である。

【0035】

また、マスク画像はカメラ座標系の撮影画像に基づいて生成されるものであるため、マスク画像もカメラ座標系で表される。そこで、マスク生成部４１ｂは、このマスク画像をカメラ座標系の画像からプロジェクタ座標系の画像に変換する計算を行う。マスク生成部４１ｂは、この計算を行う際に、キャリブレーション部４１ａによって求められた座標変換マップを参照する。座標変換マップはメモリ４２に格納されているため、マスク生成部４１ｂはメモリ４２から座標変換マップを読み出せばよい。具体的には、座標変換マップには、カメラ座標系の座標（Ｃｘ，Ｃｙ）がプロジェクタ座標系のどの座標（Ｐｘ，Ｐｙ）に対応するかを表すＣ→Ｐマップが含まれる。マスク生成部４１ｂは、Ｃ→Ｐマップを参照してマスク画像をカメラ座標系の画像からプロジェクタ座標系の画像に変換すればよい。特に、マスク画像の中の透過領域の座標値がカメラ座標系からプロジェクタ座標系に変換される。

【0036】

マッピング部４１ｃは、投影画像を生成して、この投影画像を出力するように投影装置２０を制御する機能を持つ。具体的には、マッピング部４１ｃは、まず、コンテンツ記憶部４３内の画像データ又はメモリ４２に展開されている画像データを読み出す。この画像データは、単純に白色等の単色のみを指定するデータであってもよいし、領域ごとに異なる複数の色を指定するデータであってもよいし、図形・記号・模様等を表したデータであってもよい。また、画像データは、花畑内の花や草に投影する映像光の光量を個別に指定した情報を含んでいてもよい。また、画像データは静止画に限られず、動画であってもよい。

【0037】

次に、マッピング部４１ｃは、マスク生成部４１ｂで生成されたマスク画像（座標変換済みのもの）を画像データに合成した合成画像を得る。本実施形態において、マスク画像は、前述したように花部分の投光領域と草部分の投光領域に関する情報を含む。このマスク画像を画像データに合成することにより、画像データのうち、花部分の投光領域と草部分の投光領域に対応する部分のデータが切り出され、それ以外の非投稿領域に対応する部分のデータは除去される。

【0038】

次に、マッピング部４１ｃは、上記の合成画像を花畑の投影面にマッピングする。ここでは、マッピング部４１ｃは、プロジェクタ座標系で表される合成画像を、カメラ座標系で表される投影画像に変換する。特に、投影画像では、合成画像の投影領域の座標がこれに対応するカメラ座標系の座標変換されている。マッピング部４１ｃは、この投影画像を生成する際に、キャリブレーション部４１ａによって求められた座標変換マップを参照する。座標変換マップはメモリ４２に格納されているため、マスク生成部４１ｂはメモリ４２から座標変換マップを読み出せばよい。具体的には、座標変換マップには、プロジェクタ座標系の座標（Ｐｘ，Ｐｙ）がカメラ座標系のどの座標（Ｃｘ，Ｃｙ）に対応するかを表すＰ→Ｃマップが含まれる。マッピング部４１ｃは、Ｐ→Ｃマップを参照して、合成画像に含まれる投光領域の座標をカメラ座標系の座標に変換する。特に、合成画像の中の透過領域の座標値がプロジェクタ座標系からカメラ座標系に変換される。マッピング部４１ｃは、このようにして得られたカメラ座標系の投影画像を投影装置２０に送出し、この投影画像を投影装置２０に出力させる。これにより、カメラ座標系において狙った位置（花畑の花や草）に、投影装置２０から映像光を投影することができる。

【0039】

また、この投影画像は投影装置２０を制御するために用いられる画像データであるが、本実施形態において、このデータには、花マスク画像の投影領域（花部分）に対する照射条件と、草マスク画像画像の投影領域（草部分）に対する照射条件の情報が含まれる。投影装置２０は、この照射条件に関する情報に基づいて、花部分と草部分に映像光を照射する条件を個別に調整する。前述したように、例えば、花部分には投影装置２０から１００％の光量で光を照射し、草部分には投影装置２０から３０％の光量で光を照射するといったように、光量の個別制御が可能である。また、図５は、例えば夜間に投影装置２０から映像光を投影した花畑を、撮影装置１０によって撮影した画像の例を模式的に示している。特にこの例では、花畑の中の花と草に投影する光の照射条件をそれぞれ異ならせている。例えば、花畑内の花に対しては投影装置２０から１００％の光量で映像光を当てているため、この花は目だって見える。また、花畑内の草に対しては投影装置２０から３０％の光量で映像光を当てているため、花を引き立てる程度に草も明るく照らされている。一方で、花畑の花と草以外の部分には、投影装置２０から映像光は投影されない。このため、花畑内の花と草を際立たせることができる。

【0040】

また、マッピング部４１ｃは、検知装置３０によって花畑付近に人物（観客）がいることが検知された場合に、リアルタイムに投影装置２０を制御して、何らかのインタラクションを実行することとしてもよい。例えば、マッピング部４１ｃは、検知装置３０の検知情報に基づいて人物が存在する実空間の座標を特定し、その座標の周囲に投影する映像光の光量を一時的に大きくしたり、その座標の周囲に投影する映像光の色を変化させたりすることができる。この場合、マッピング部４１ｃは、投影装置２０に送出する投影画像をリアルタイムに変化させて、投影装置２０を制御すればよい。これにより、観客に対して、花畑を利用した映像作品への没入感を与えることができる。

【0041】

以上、本願明細書では、本発明の内容を表現するために、図面を参照しながら本発明の実施形態の説明を行った。ただし、本発明は、上記実施形態に限定されるものではなく、本願明細書に記載された事項に基づいて当業者が自明な変更形態や改良形態を包含するものである。

【符号の説明】

【0042】

１０…撮影装置 ２０…投影装置
３０…検知装置 ４０…制御装置
４１…プロセッサ ４１ａ…キャリブレーション部
４１ｂ…マスク生成部 ４１ｃ…マッピング部
４２…メモリ ４３…コンテンツ記憶部
１００…照明システム

【要約】

【課題】花畑を美しく照明する。
【解決手段】照明システム１００は、花畑を撮影可能な位置に配置された撮影装置１０と、この花畑に対して光を投影可能な位置に配置された投影装置２０と、撮影装置１０及び投影装置２０に接続された制御装置４０を備える。制御装置４０は、撮影装置１０による花畑の撮影画像を解析して当該撮影画像中における花部分を特定し、その解析結果に基づいて花畑内の花に対して光を投影するように投影装置２０を制御する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】