7314479 画像生成装置、画像生成方法、及び画像生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-18

(45)【発行日】2023-07-26

(54)【発明の名称】画像生成装置、画像生成方法、及び画像生成プログラム

(51)【国際特許分類】

   G06T 15/50 20110101AFI20230719BHJP

【ＦＩ】

G06T15/50

【請求項の数】 4

(21)【出願番号】P 2018109021

(22)【出願日】2018-06-06

(65)【公開番号】P2019212136

(43)【公開日】2019-12-12

【審査請求日】2021-05-07

(73)【特許権者】

【識別番号】000000192

【氏名又は名称】岩崎電気株式会社

(74)【代理人】

【識別番号】110001081

【氏名又は名称】弁理士法人クシブチ国際特許事務所

(72)【発明者】

【氏名】西嶋 慶

(72)【発明者】

【氏名】山田 哲司

【審査官】粕谷 満成

(56)【参考文献】

【文献】特開平０５－２１０７２７（ＪＰ，Ａ）

【文献】特開２０１８－０３６８０３（ＪＰ，Ａ）

【文献】特開２００１－００５９９７（ＪＰ，Ａ）

【文献】特開２００２－２０８０３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／５０

(57)【特許請求の範囲】

【請求項1】

調光可能な複数の照明器具を含む仮想空間の前記それぞれの照明器具を調光して行われる演出照明の演出効果を表現する仮想空間画像を生成する仮想空間画像生成部を備えた仮想空間画像生成装置において、
前記照明器具が放射する光を表現する円錐状の円錐オブジェクトを、前記仮想空間画像における前記それぞれの照明器具の発光面に、当該照明器具の光軸に合わせて合成する円錐オブジェクト合成部を備え、前記円錐オブジェクト合成部は、前記照明器具ごとに当該照明器具の出力光量の増加に応じて前記円錐オブジェクトのそれぞれの頂点の角度を大きくすることを特徴とする画像生成装置。

【請求項2】

前記円錐オブジェクト合成部は、
前記円錐オブジェクトの色を前記照明器具が放射する光の色に合わせる
ことを特徴とする請求項１に記載の画像生成装置。

【請求項3】

調光可能な複数の照明器具を含む仮想空間の前記それぞれの照明器具を調光して行われる演出照明の演出効果を表現する仮想空間画像を生成する画像生成方法において、
前記照明器具が放射する光を表現する円錐状の円錐オブジェクトを、前記仮想空間画像における前記それぞれの照明器具の発光面に、当該照明器具の光軸に合わせて合成し、前記照明器具ごとに当該照明器具の出力光量の増加に応じて前記円錐オブジェクトのそれぞれの頂点の角度を大きくすることを特徴とする画像生成方法。

【請求項4】

コンピュータを、
調光可能な複数の照明器具を含む仮想空間の前記それぞれの照明器具を調光して行われる演出照明の演出効果を表現する仮想空間画像を生成する仮想空間画像生成部として機能させる画像生成プログラムにおいて、
前記コンピュータを、
前記照明器具が放射する光を表現する円錐状の円錐オブジェクトを、前記仮想空間画像における前記それぞれの照明器具の発光面に、当該照明器具の光軸に合わせて合成する円錐オブジェクト合成部として機能させ、前記円錐オブジェクト合成部は、前記照明器具ごとに当該照明器具の出力光量の増加に応じて前記円錐オブジェクトのそれぞれの頂点の角度を大きくすることを特徴とする画像生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成装置、画像生成方法、及び画像生成プログラムに関する。

【背景技術】

【0002】

従来、照明器具を仮想空間に配置し、当該仮想空間での照明器具による照明効果をシミュレーションし、擬似的に表示する技術が知られている（例えば、特許文献１、特許文献２、及び特許文献３参照）。
一方、現実空間をシミュレーションによってリアルに再現した仮想空間の画像を表示し、ユーザの目の前に、現実空間が実在しているかような感覚（実在感）を与える、いわゆる仮想現実（ＶＲ：Virtual Reality）技術も知られている（例えば、特許文献４参照）。
近年では、仮想現実技術は、アミューズメントやエンターテインメントの分野だけではなく、照明設計の分野でも活用されるようになっている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１７／１７１００５号

【文献】特開２０１４－７１６９２号公報

【文献】特開２０１０－９７４２３号公報

【文献】特開２０１７－１３８９０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、スポットライト等の照明器具で舞台やスタジアムを演出照明する際の演出効果の確認に仮想現実技術を用いようとした場合、照明器具の数が多いと、仮想空間における演出効果を擬似的に表現するための計算負荷が高まり、動的に変化する演出効果をリアルタイムに確認することができなかった。

【0005】

本発明は、演出照明の演出効果の表現に要する処理負荷を抑えることができる画像生成装置、画像生成方法、及び画像生成プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、調光可能な照明器具を含む仮想空間の仮想空間画像を生成する仮想空間画像生成部を備えた画像生成装置において、前記照明器具が放射する光を表現する円錐状の円錐オブジェクトを、前記仮想空間画像における前記照明器具の発光面に、当該照明器具の光軸に合わせて合成する円錐オブジェクト合成部を備えることを特徴とする。

【0007】

本発明は、上記画像生成装置において、前記円錐オブジェクト合成部は、前記照明器具の出力光量の増加に応じて前記円錐オブジェクトの頂点の角度を大きくすることを特徴とする。

【0008】

本発明は、上記画像生成装置において、前記円錐オブジェクト合成部は、前記円錐オブジェクトの色を前記照明器具が放射する光の色に合わせることを特徴とする。

【0009】

本発明は、調光可能な照明器具を含む仮想空間の仮想空間画像を生成する画像生成方法において、前記照明器具が放射する光を表現する円錐状の円錐オブジェクトを、前記仮想空間画像における前記照明器具の発光面に、当該照明器具の光軸に合わせて合成することを特徴とする。

【0010】

本発明は、コンピュータを、調光可能な照明器具を含む仮想空間の仮想空間画像を生成する仮想空間画像生成部として機能させる画像生成プログラムにおいて、前記コンピュータを、前記照明器具が放射する光を表現する円錐状の円錐オブジェクトを、前記仮想空間画像における前記照明器具の発光面に、当該照明器具の光軸に合わせて合成する円錐オブジェクト合成部として機能させることを特徴とする。

【発明の効果】

【0011】

本発明によれば、演出照明の演出効果の表現に要する処理負荷が抑えられる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施形態に係る仮想空間提供システムの概略構成を示す図である。

【図2】仮想空間画像の一例を示す図である。

【図3】円錐オブジェクトの模式図である。

【図4】円錐オブジェクトの模式図である。

【図5】仮想空間画像生成装置による仮想空間画像の生成処理を示すフローチャートである。

【図6】演出効果が付与された仮想空間画像の一例を示す図である。

【発明を実施するための形態】

【0013】

以下、図面を参照して本発明の実施形態について説明する。
図１は本実施形態に係る仮想空間提供システム１の概略構成を示す図であり、図２は仮想空間画像５の一例を示す図である。
仮想空間提供システム１は、仮想空間４（図２）において、仮想的な観測者が視認する仮想空間画像５（図２）を生成して表示することで、現実空間のユーザ６が視覚を通じて仮想空間４を実感できるようにするシステムである。
また、この仮想空間提供システム１では、現実空間のユーザ６の視線方向の変化、及び移動に追従して、仮想空間４における観測者６ｖの視線方向（以下、「仮想視線方向」と言う）Ｄｖ、及び視点の位置（以下、「仮想視点位置」と言う）Ｐｖを変化させて仮想空間画像５を生成する。かかる仮想空間画像５がユーザ６の動きに追従して表示されることで、ユーザ６は、あたかも仮想空間４の中に居るかのような体験ができる。
さらに、本実施形態の仮想空間提供システム１では、仮想空間４に多数の調光可能な照明器具Ｉｖが配置されており、これらの照明器具Ｉｖを調光して行われる動的な演出照明の照明効果が仮想空間画像５にリアルタイムに再現されて表示されるようになっている。

【0014】

かかる仮想空間提供システム１は、図１に示すように、ヘッドマウントディスプレイ８と、仮想空間画像生成装置１０と、を備え、これらが有線通信または無線通信により互いにデータを送受する。
ヘッドマウントディスプレイ８は、仮想空間画像５を表示する表示装置の一態様であり、ユーザ６の頭部に装着して使用される、いわゆるウェアラブルデバイスである。ヘッドマウントディスプレイ８は、ユーザ６の眼前に配置されるディスプレイ１２を備え、このディスプレイ１２に仮想空間画像５が表示される。

【0015】

またヘッドマウントディスプレイ８は、現実空間におけるユーザ６の視線方向の変化を検出するための姿勢センサ１４と、当該ユーザ６の移動を検出するための位置センサ１５と、を備える。
姿勢センサ１４は、ユーザ６の視線方向の変化として、ヘッドマウントディスプレイ８の向きや傾きなどの姿勢の変化を検出し、位置センサ１５は、ユーザ６の移動としてヘッドマウントディスプレイ８の位置の変化を検出する。ヘッドマウントディスプレイ８の姿勢の変化、及び位置の変化は、それぞれ姿勢情報１６、及び位置情報１７として仮想空間画像生成装置１０に逐次に送信される。
姿勢センサ１４には、例えばジャイロセンサや、加速度センサ、角加速度センサ等を用いることができ、また位置センサ１５にはＧＰＳセンサ等を用いることができる。

【0016】

仮想空間画像生成装置１０は、仮想空間４における仮想空間画像５を生成し、ヘッドマウントディスプレイ８に送信する装置であり、受信部２０と、視点位置算出部２２と、視線方向算出部２４と、仮想空間情報記憶部２５と、３次元レンダリング部２６と、調光データ入力部２７と、送信部３０と、を備える。

【0017】

仮想空間画像生成装置１０は、ＣＰＵやＭＰＵなどのプロセッサと、ＲＯＭやＲＡＭなどのメモリデバイスと、ＨＤＤやＳＳＤなどのストレージ装置と、周辺機器などを接続するためのインターフェース回路と、外部と通信する通信装置と、を備えたコンピュータを備え、プロセッサがメモリデバイス又はストレージ装置に記憶されているプログラムを実行することで、図１に示す各部の機能が実現される。

【0018】

なお、仮想空間画像生成装置１０の各部を実現するコンピュータは、インターネットを介してヘッドマウントディスプレイ８と通信するサーバーコンピュータであってもよい。この場合において、サーバーコンピュータが仮想空間画像生成装置１０の機能を提供する方式には、いわゆるクラウドコンピューティング技術を用いることができる。

【0019】

図１において、受信部２０は、ヘッドマウントディスプレイ８から位置情報１７、及び姿勢情報１６を通信によって受信し、位置情報１７を視点位置算出部２２に出力し、姿勢情報１６を視線方向算出部２４に出力する。

【0020】

視点位置算出部２２は、仮想空間４における観測者６ｖの仮想視点位置Ｐｖを、位置情報１７に基づいて求め、３次元レンダリング部２６に出力する。具体的には、視点位置算出部２２は、仮想空間画像５の生成当初、仮想視点位置Ｐｖに初期値を設定する。その後、視点位置算出部２２は、現実空間でのユーザ６の移動を位置情報１７に基づいて特定し、当該移動に応じて仮想空間４における観測者６ｖの仮想視点位置Ｐｖを変更する。

【0021】

視線方向算出部２４は、仮想空間４における観測者６ｖの仮想視線方向Ｄｖを、姿勢情報１６に基づいて求め、３次元レンダリング部２６に出力する。具体的には、視線方向算出部２４は、仮想空間画像５の生成当初、仮想視線方向Ｄｖに初期値を設定する。その後、視線方向算出部２４は、姿勢情報１６によってヘッドマウントディスプレイ８の姿勢の変化が検出されるごとに、当該姿勢の変化に応じて仮想空間４における観測者６ｖの仮想視線方向Ｄｖを変更する。

【0022】

仮想空間情報記憶部２５は、仮想空間４のレンダリングによる描画に要する各種のデータを記憶するものであり、建築３Ｄモデル３３、照明器具データ３４、及び照明設計データ３５を記憶する。

【0023】

建築３Ｄモデル３３は、仮想空間４において建物の３次元形状、及び構造を再現するためのデータである。
照明器具データ３４は、仮想空間４に配置され、当該仮想空間４を照明する複数の調光可能な照明器具Ｉｖの各々のデータである。照明器具データ３４は、発光面Ｅｖ（図３参照）の大きさや放射光の色といった、仮想空間画像５において照明器具Ｉｖを描画するための情報の他に、演出照明のための調光に係るデータを含み、例えば、照明器具Ｉｖごとに割り当てられたアドレスである器具ＩＤ情報３４Ａを含んでいる。
照明設計データ３５は、仮想空間４における照明器具Ｉｖの配置位置、及び取付角度（すなわち、仮想空間４における照明器具Ｉｖの光軸Ｊ（図４）の角度）を示すデータである。

【0024】

調光データ入力部２７は、照明器具Ｉｖの各々の調光を指示する調光指示データＫを３次元レンダリング部２６に入力するものである。調光指示データＫのデータ形式は任意であり、調光制御に一般に用いられる任意の信号規格を用いることができる。本実施形態では、調光指示データＫには、ＤＭＸ５１２－Ａに沿った信号形式が用いられており、調光指示データＫでは、照明器具Ｉｖのアドレスである上記器具ＩＤ情報３４Ａに、この照明器具Ｉｖに対する調光指示値（２５６階調で示された値）が対応付けられている。
なお、調光指示データＫは、外部の装置で生成され調光データ入力部２７に入力されてもよいし、仮想空間画像生成装置１０が調光指示データＫを、例えばユーザ６の操作に基づいて生成する機能を備えてもよい。

【0025】

３次元レンダリング部２６は、仮想空間情報記憶部２５に格納されている各データと、仮想視点位置Ｐｖ、及び仮想視線方向Ｄｖとに基づいて、仮想空間４において観測者６ｖが仮想視点位置Ｐｖから仮想視線方向Ｄｖを見たときの仮想空間画像５を３次元のレンダリングによって生成する。３次元レンダリング部２６は、この仮想空間画像５に後述の円錐オブジェクト５Ｇを合成し、当該仮想空間画像５を送信部３０に出力する。なお、仮想空間画像５を生成するためのレンダリング手法には、周知又は公知の任意の手法を用いることができる。

【0026】

送信部３０は、当該仮想空間画像５をヘッドマウントディスプレイ８に送信する。

【0027】

また３次元レンダリング部２６は、仮想空間４における演出照明による演出効果を仮想空間画像５に付与するために、円錐オブジェクト５Ｇを生成して仮想空間画像５に合成する円錐オブジェクト合成部２８を備える。

【0028】

図３、及び図４は、円錐オブジェクト５Ｇの模式図である。
図３に示すように、円錐オブジェクト５Ｇは、照明器具Ｉｖの発光面Ｅｖから放射される光を円錐状のオブジェクトによって擬似的に表現した画像オブジェクトであり、円錐オブジェクト合成部２８は、円錐オブジェクト５Ｇの中心軸を仮想空間画像５における照明器具Ｉｖの光軸Ｊに合わせて当該仮想空間画像５と合成する。

【0029】

円錐オブジェクト合成部２８は、照明器具Ｉｖごとに円錐オブジェクト５Ｇを生成するときには、円錐の頂点の角度αを、図４に示すように、０度～所定の最大角度（例えば、最大角度＝１８０度）の範囲で、その照明器具Ｉｖに調光指示データＫによって与えられる調光指示値に応じて大きくする。
具体的には、調光指示値がゼロである場合（すなわち、照明器具Ｉｖの出力光量がゼロである場合）、円錐の角度αがゼロとなり、この場合、円錐オブジェクト合成部２８は円錐オブジェクト５Ｇを生成しない。
一方、調光指示値がゼロより大きくなると（すなわち、照明器具Ｉｖの出力光量がゼロより大きくなると）、円錐オブジェクト合成部２８は、調光指示値の増加に合わせ、円錐の角度αを、上記最大角度の範囲で大きくする。図４に示すように、円錐の角度αが大きくなるほど、円錐オブジェクト５Ｇの面積が増え、仮想空間画像５において当該円錐オブジェクト５Ｇが目立つようになり、出力光量の増加が表現される。

【0030】

したがって、照明器具Ｉｖごとに放射光の光束等を正確に求める光学的な計算を行うことなく、上述の円錐オブジェクト５Ｇを合成するだけで、調光指示値に基づく照明器具Ｉｖの出力光量の増減を表現することが可能となる。これにより、仮想空間４での演出照明による演出効果の再現に要する計算負荷が抑えられ、多数の照明器具Ｉｖを動的に調光して演出照明が行われる場合でも、演出照明による演出効果をリアルタイムに仮想空間画像５で再現することができる。

【0031】

なお、本実施形態では、円錐オブジェクト５Ｇにおける円錐の角度αを大きくする際には、出力光量に正比例して円錐の角度αを大きくさせているが、必ずしも、これに限定されるものではない。
また、照明器具Ｉｖの発光面Ｅｖの明るさは、各照明器具Ｉｖの調光指示値に基づいて３次元レンダリング部２６がレンダリングすることで、仮想空間画像５に予め表現される。
また、３次元レンダリング部２６は、照明器具Ｉｖの照明器具データ３４に基づいて、照明器具Ｉｖが放射する光に合わせた色の発光面Ｅｖを描画し、また円錐オブジェクト合成部２８も、照明器具データ３４に基づいて、照明器具Ｉｖが放射する光に合わせた色の円錐オブジェクト５Ｇを生成する。これにより、照明器具Ｉｖが放射する光が、よりリアルに表現される。

【0032】

図５は、仮想空間画像生成装置１０による仮想空間画像５の生成処理を示すフローチャートである。
仮想空間画像生成装置１０は、仮想空間画像５の生成開始の指示を、例えばヘッドマウントディスプレイ８等から受け付けると（ステップＳ１：Ｙｅｓ）、仮想空間画像５を生成するために次の処理を開始する。
すなわち、仮想空間画像生成装置１０は、ヘッドマウントディスプレイ８の位置情報１７、及び姿勢情報１６に基づいて、仮想視点位置Ｐｖ、及び仮想視線方向Ｄｖのそれぞれを算出する（ステップＳ２）。なお、このステップＳ２において、仮想空間画像５の生成開始時には、仮想視点位置Ｐｖ、及び仮想視線方向Ｄｖに所定の初期値が設定される。

【0033】

次いで仮想空間画像生成装置１０は、３次元レンダリング部２６が仮想空間情報記憶部２５のデータに基づいて３Ｄレンダリング処理を行い、照明器具Ｉｖが配置された仮想空間４の仮想空間画像５を生成する（ステップＳ３）。この３Ｄレンダリングにおいては、調光指示データＫで指示された階調指示値に応じて照明器具Ｉｖの発光面Ｅｖの明るさが描画される。

【0034】

次に仮想空間画像生成装置１０では、円錐オブジェクト合成部２８が、照明器具Ｉｖごとに、調光指示データＫで指示された階調指示値に応じた角度αで円錐オブジェクト５Ｇを生成する（ステップＳ４）。そして円錐オブジェクト合成部２８が、これらの円錐オブジェクト５Ｇを仮想空間画像５における各照明器具Ｉｖの発光面Ｅｖに光軸Ｊに合わせて合成することで、演出照明による演出効果が付与された仮想空間画像５を生成する（ステップＳ５）。かかる仮想空間画像５がヘッドマウントディスプレイ８に送信され、ディスプレイ１２に表示される。

【0035】

仮想空間画像生成装置１０は、仮想空間画像５の生成終了の指示を、例えばヘッドマウントディスプレイ８等から受け付けるまで（ステップＳ６：Ｙｅｓ）、ステップＳ２からステップＳ５の処理を繰り返し実行する。これにより、ユーザ６の動きに合わせて動的に変化し、仮想空間画像５が順次に生成されてディスプレイ１２に表示される。

【0036】

加えて、調光指示データＫに基づく各照明器具Ｉｖの調光制御によって演出照明が動的に行われた場合には、照明器具Ｉｖの調光指示値に基づいて円錐オブジェクト５Ｇも動的にリアルタイムに変化し、演出照明による演出効果をリアルタムが再現されることとなる。

【0037】

図６は、演出効果が付与された仮想空間画像５の一例を示す図である。
同図に示すように、照明器具Ｉｖの各々に円錐オブジェクト５Ｇが合成されることで、各照明器具Ｉｖが放射する光が表示され、これらの光による演出照明の演出効果がリアルに表現されていることが分かる。

【0038】

本実施形態によれば、次のような効果を奏する。

【0039】

本実施形態の仮想空間画像生成装置１０では、照明器具Ｉｖが放射する光を表現する円錐状の円錐オブジェクト５Ｇを、仮想空間画像５における照明器具Ｉｖの発光面Ｅｖに、当該照明器具Ｉｖの光軸Ｊに合わせて合成する構成とした。
これにより、照明器具Ｉｖの放射光の光束等を正確に求める光学的な計算を行うことなく、円錐オブジェクト５Ｇを合成するだけで、照明器具Ｉｖの放射光を表現することが可能となる。したがって、仮想空間４での演出照明による演出効果の再現に要する計算負荷が抑えられ、多数の照明器具Ｉｖを動的に調光して演出照明が行われる場合でも、演出照明による演出効果をリアルタイムに仮想空間画像５で再現することができる。

【0040】

本実施形態の仮想空間画像生成装置１０では、照明器具Ｉｖの出力光量の増加に応じて円錐オブジェクト５Ｇの頂点の角度αを大きくするようにした。
これにより、調光時の照明器具Ｉｖの放射光を、計算負荷を抑えて高速、かつリアルに表現できる。

【0041】

本実施形態の仮想空間画像生成装置１０では、円錐オブジェクト５Ｇの色を照明器具Ｉｖが放射する光の色に合わせるようにした。
これにより、照明器具Ｉｖが放射する光を、よりリアルに表現することができる。

【0042】

上述した実施形態は、あくまでも本発明の一態様を例示したものであって、本発明の趣旨を逸脱しない範囲において任意に変形及び応用が可能である。

【0043】

上述した実施形態において、円錐オブジェクト５Ｇの角度αの最大角度を、照明器具Ｉｖの配光に応じて決定してもよい。例えば、照明器具Ｉｖがダウンライトの場合は、当該照明器具Ｉｖの１／２ビーム角を最大角度とし、照明器具Ｉｖが投光器の場合は１／１０ビーム角を最大角度とする。
なお、発明者らは、前掲図６に示すように、多数の照明器具Ｉｖによって空間を演出照明する場合、最大角度が１０度を越えると、円錐オブジェクト５Ｇによる光の明るさの変化が、出力光量の増加に対して緩慢になり、光の再現性が低下する、との知見を得た。したがって、このような演出照明の場合には、最大角度は１０度以下であることが好ましい。

【0044】

上述した実施形態において、３次元レンダリング部２６が円錐オブジェクト合成部２８を備える構成を例示したが、これに限らず、円錐オブジェクト合成部２８を３次元レンダリング部２６と別体に設けてもよい。

【0045】

上述した実施形態において、ヘッドマウントディスプレイ８に仮想空間画像５を表示する構成としたが、これに限らず、任意の表示装置に仮想空間画像５を表示することができる。
また、ユーザ６の頭の動きに合わせて仮想視点位置Ｐｖ、及び仮想視線方向Ｄｖのそれぞれを変更したが、これに限らず、任意の操作デバイスを用いて、仮想視点位置Ｐｖ、及び仮想視線方向Ｄｖのそれぞれの変更をユーザ６が指示してもよい。

【符号の説明】

【0046】

１ 仮想空間提供システム
４ 仮想空間
５ 仮想空間画像
５Ｇ 円錐オブジェクト
１０ 仮想空間画像生成装置（画像生成装置）
２５ 仮想空間情報記憶部
２６ ３次元レンダリング部（仮想空間画像生成部）
２７ 調光データ入力部
２８ 円錐オブジェクト合成部
Ｅｖ 発光面
Ｉｖ 照明器具
Ｊ 光軸
Ｋ 調光指示データ
α 頂点の角度

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】