(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024102704
(43)【公開日】2024-07-31
(54)【発明の名称】画像投影方法、画像投影制御装置、及びプログラム
(51)【国際特許分類】
H04N 5/74 20060101AFI20240724BHJP
B29C 64/147 20170101ALI20240724BHJP
B33Y 10/00 20150101ALI20240724BHJP
B33Y 50/02 20150101ALI20240724BHJP
B33Y 80/00 20150101ALI20240724BHJP
B29C 64/393 20170101ALI20240724BHJP
【FI】
H04N5/74 C
B29C64/147
B33Y10/00
B33Y50/02
B33Y80/00
B29C64/393
H04N5/74 F
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023006775
(22)【出願日】2023-01-19
(71)【出願人】
【識別番号】597040902
【氏名又は名称】学校法人東京工芸大学
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】内田 孝幸
(72)【発明者】
【氏名】今給黎 隆
(72)【発明者】
【氏名】原 寛徳
(72)【発明者】
【氏名】久原 泰雄
【テーマコード(参考)】
4F213
5C058
【Fターム(参考)】
4F213AC03
4F213AH73
4F213WA25
4F213WB01
4F213WL02
5C058AA18
5C058BA35
5C058EA31
(57)【要約】
【課題】画像の座標変換を要することなく、リアリティの高い、多彩な画像表現を可能にする三次元造形物に対する画像投影方法、画像投影制御装置、及びプログラムを提供する。
【解決手段】シート状媒体を積層することにより三次元造形物が形成されると共に、シート状媒体の積層数に応じて、光を透過する平面部12と、光を透過しない立体部14とを有するスクリーンに、三次元造形物の背面方向から投影機により画像を投影する。
【選択図】
図6
【特許請求の範囲】
【請求項1】
シート状媒体を積層することにより三次元造形物が形成されると共に、前記シート状媒体の積層数に応じて、光を透過する部分と、光を透過しない部分とを有するスクリーンに、前記三次元造形物の背面方向から投影機により画像を投影する画像投影方法。
【請求項2】
前記シート状媒体は紙である請求項1に記載の画像投影方法。
【請求項3】
前記スクリーンは、紙積層型三次元プリンタにより作成されている請求項2に記載の画像投影方法。
【請求項4】
前記光を透過しない部分は、前記三次元造形物が形成される工程で着色されている請求項1~請求項3のいずれか1項に記載の画像投影方法。
【請求項5】
前記光を透過する部分は、前記シート状媒体の積層数が所定数以下で構成されると共に、前記シート状媒体の積層数が異なることにより、光の透過度が異なる複数の部分を有する請求項1~請求項3のいずれか1項に記載の画像投影方法。
【請求項6】
複数の前記スクリーンを、垂直面及び水平面を構成するように組み立て、複数の前記スクリーンの各々に前記画像を投影する請求項1~請求項3のいずれか1項に記載の画像投影方法。
【請求項7】
複数の前記スクリーンの各々に対応する複数の投影機から前記画像を投影するか、又は、1つの投影機から投影される画像を、ミラーを介して複数の前記スクリーンの各々に投影する請求項6に記載の画像投影方法。
【請求項8】
前記画像を、前記三次元造形物の配置及び形状を含む属性に応じた移動物の動きを出力するように予め機械学習により生成されたモデルにより出力される移動物を含む動画像とする請求項1~請求項3のいずれか1項に記載の画像投影方法。
【請求項9】
シート状媒体を積層することにより三次元造形物が形成されると共に、前記シート状媒体の積層数に応じて、光を透過する部分と、光を透過しない部分とを有するスクリーンに、前記三次元造形物の背面方向から投影機により投影する画像データを生成する生成部と、
前記生成部により生成された前記画像データを前記投影機へ出力する出力部と、
を含む画像投影制御装置。
【請求項10】
コンピュータを、
シート状媒体を積層することにより三次元造形物が形成されると共に、前記シート状媒体の積層数に応じて、光を透過する部分と、光を透過しない部分とを有するスクリーンに、前記三次元造形物の背面方向から投影機により投影する画像データを生成する生成部、及び、
前記生成部により生成された前記画像データを前記投影機へ出力する出力部
として機能させるための画像投影制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像投影方法、画像投影制御装置、及び画像投影制御プログラムに関する。
【背景技術】
【0002】
従来、三次元造形物に対して画像を投影する技術が提案されている。例えば、12万5千分の1の縮尺でリアルに再現した福島県の三次元地図上に、超高解像度で精細に地理情報を映し出すことが行われている(非特許文献1参照)。
【0003】
また、例えば、三次元造形物に対してリアプロジェクションを行う技術も提案されている。例えば、立体的な装飾が施された装飾部を有する3Dスクリーンと、複数のレーザ光を射出する光源部と、光源部からの複数のレーザ光を、3Dスクリーン上で互いに直交する2つの方向に走査する走査部とを備えるリアプロジェクタが提案されている。また、このリアプロジェクタは、装飾部の立体形状に応じて曲折された反射面を有する反射部を備えている。このリアプロジェクタでは、反射部が装飾部の立体形状に応じて曲折されているため、装飾部の形状に応じて反射部による反射の程度を変化させることにより、装飾部上に鮮明な画像を形成する(特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【非特許文献】
【0005】
【非特許文献1】“国立環境研、動く大型立体地図「3Dふくしま」を公開”、[online]2020年8月17日、原子力産業新聞、[2023年1月15日検索]、インターネット<URL:https://www.jaif.or.jp/journal/japan/4219.html>
【発明の概要】
【発明が解決しようとする課題】
【0006】
三次元造形物に画像を投影することで、多彩な画像表現が可能となるが、非特許文献1に記載の技術のように、三次元造形物の表面に画像を投影する場合、三次元造形物の立体形状によって画像が変形してしまい、リアリティが低下する。これを抑制するためには、特許文献1に記載の技術のように、画像の座標変換を行うための複雑な機構、又は複雑な計算処理が必要となる。
【0007】
本発明は、上記の点に鑑みてなされたものであり、画像の座標変換を要することなく、リアリティの高い、多彩な画像表現を可能にする三次元造形物に対する画像投影方法、画像投影制御装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本発明の第1態様は、シート状媒体を積層することにより三次元造形物が形成されると共に、前記シート状媒体の積層数に応じて、光を透過する部分と、光を透過しない部分とを有するスクリーンに、前記三次元造形物の背面方向から投影機により画像を投影する画像投影方法である。これにより、画像の座標変換を要することなく、リアリティの高い、多彩な画像表現を可能にする三次元造形物に対する画像投影を実現することができる。
【0009】
また、前記シート状媒体は紙としてよい。この場合、前記スクリーンは、紙積層型三次元プリンタにより作成されてよい。これにより、光を透過する部分と、光を透過しない部分とを有するスクリーンを一体的に作成することができる。
【0010】
また、前記光を透過しない部分は、前記三次元造形物が形成される工程で着色されてもよい。これにより、画像表現において静的部分を表す立体部をよりリアルにすることができる。
【0011】
また、前記光を透過する部分は、前記シート状媒体の積層数が所定数以下で構成されると共に、前記シート状媒体の積層数が異なることにより、光の透過度が異なる複数の部分を有するように構成してもよい。これにより、光を透過する部分において、光の透過度合いに変化をつけることができ、より多彩な画像表現を可能にする。
【0012】
また、複数の前記スクリーンを、垂直面及び水平面を構成するように組み立て、複数の前記スクリーンの各々に前記画像を投影するようにしてもよい。その際、複数の前記スクリーンの各々に対応する複数の投影機から前記画像を投影するか、又は、1つの投影機から投影される画像を、ミラーを介して複数の前記スクリーンの各々に投影するようにしてよい。これにより、よりリアリティの高い、より多彩な画像表現が可能になる。
【0013】
また、前記画像を、前記三次元造形物の配置及び形状を含む属性に応じた移動物の動きを出力するように予め機械学習により生成されたモデルにより出力される移動物を含む動画像としてもよい。これにより、光を透過する部分に再現される画像表現をよりリアルなものにすることができる。
【0014】
本発明の第2態様は、シート状媒体を積層することにより三次元造形物が形成されると共に、前記シート状媒体の積層数に応じて、光を透過する部分と、光を透過しない部分とを有するスクリーンに、前記三次元造形物の背面方向から投影機により投影する画像データを生成する生成部と、前記生成部により生成された前記画像データを前記投影機へ出力する出力部と、を含む画像投影制御装置である。
【0015】
本発明の第3態様は、コンピュータを、シート状媒体を積層することにより三次元造形物が形成されると共に、前記シート状媒体の積層数に応じて、光を透過する部分と、光を透過しない部分とを有するスクリーンに、前記三次元造形物の背面方向から投影機により投影する画像データを生成する生成部、及び、前記生成部により生成された前記画像データを前記投影機へ出力する出力部として機能させるための画像投影制御プログラムである。
【発明の効果】
【0016】
本発明に係る画像投影方法、画像投影制御装置、及びプログラムによれば、画像の座標変換を要することなく、リアリティの高い、多彩な画像表現を可能にする三次元造形物に対する画像投影を行うことができる。
【図面の簡単な説明】
【0017】
【
図1】本実施形態に係る画像投影システムの概略構成図である。
【
図3】紙積層型三次元プリンタによるスクリーンの作成を説明するための図である。
【
図4】紙積層型三次元プリンタによるスクリーンの作成を説明するための図である。
【
図5】紙積層型三次元プリンタで作成されたスクリーンの一例を示す図である。
【
図6】スクリーンにおける光の透過を説明するための図である。
【
図7】スクリーンに動的なコンテンツを含む画像を投影した例を示す図である。
【
図8】画像投影制御装置のハードウェア構成を示すブロック図である。
【
図10】画像投影制御処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0018】
以下、本発明の実施形態の一例を、図面を参照しつつ説明する。
【0019】
図1に示すように、本実施形態に係る画像投影システム100は、スクリーン10と、投影機20と、画像投影制御装置30とを含んで構成される。
【0020】
図2に、スクリーン10の側面及び上面視の平面の概略図を示す。スクリーン10は、シート状媒体を積層することにより三次元造形物が形成されると共に、シート状媒体の積層数に応じて、光を透過する部分(以下、「平面部12」という)と、光を透過しない部分(以下、「立体部14」という)とを有する。
【0021】
シート状媒体は、半透明拡散板であり、例えば、紙、フィルム等である。シート状媒体が紙の場合、スクリーン10は、紙積層型三次元プリンタにより作成してよい。
【0022】
紙積層型三次元プリンタによるスクリーン10の作成方法について説明する。まず、前準備として、
図3に示すように、形成したい三次元造形物の三次元モデルを平面方向にスライスしたスライスデータを作成する。そして、例えば、一般のインクジェットプリンタ等を用いて、各スライスデータが示す画像の輪郭部分に三次元モデルに応じた着色をフルカラー印刷で行い、フルカラーの紙束を用意する。なお、
図3中の(a)は三次元モデルの最上層のスライスデータ、(b)は中位層のスライスデータ、(c)は最下層のスライスデータのそれぞれに基づいて印刷された紙である。
【0023】
そして、
図4に示すように、前準備で用意したフルカラーの紙束を紙積層型三次元プリンタのペーパーストッカーにセットし(
図4中のA)、三次元モデルの最下層に該当する紙から順に1枚ずつプラットホームへ紙送りし、前段のシートに重ねて圧着する(
図4中のB)。次に、カッタープロッタで、該当のシートに印刷された画像の輪郭部分を紙1枚分カットし、不要な部分の紙を除去する(
図4中のC)。なお、本実施形態では、スクリーン10は平面部12を有するため、平面部12を形成する所定枚数(例えば、1~2枚)のシートについては、カットが不要な場合もある。次に、積層されている紙への糊付けを行い(
図4中のD)、次の紙を紙送りする。このように、紙積層型三次元プリンタによれば、平面部12及び立体部14を有するスクリーン10を一体的に作成可能である。
【0024】
図5に、紙積層型三次元プリンタで作成されたスクリーン10の一例を示す。
図5では、半島、島、及び海を含む地理形状を示す三次元造形物が形成されたスクリーン10の例を示している。
図5のスクリーン10において、半島及び島の部分が立体部14であり、実際の地理形状の縮小スケールに応じた輪郭で、紙の1枚1枚がカットされ積層されて形成されている。また、半島及び島の周辺部分は、海を表現する平面部12であり、1~2枚の紙で形成されている。
【0025】
なお、平面部12は、上述したように、光を透過する部分であるため、シート状媒体の積層数が所定数以下で構成される。所定数は、シート状媒体の材質、厚み等によって定まる。また、スクリーン10において、平面部12は、シート状媒体の積層数が異なることにより、光の透過度が異なる複数の部分を有するように構成してもよい。
【0026】
投影機20は、画像投影制御装置30から入力される画像データに基づく画像をスクリーン10の背面から投影する。スクリーン10の背面とは、三次元造形物が形成されていない側の面である。すなわち、投影機20は、スクリーン10に対して、リアプロジェクションを行う。これにより、
図6に示すように、スクリーン10の前面から見た場合、投影された画像のうち、平面部12を透過した画像のみが見えることになる。
【0027】
図7に、
図5の例のスクリーン10に、魚群や波の揺らぎ等の動的なコンテンツを含む画像を投影した例を示す。このように、静的なものは着色が施された三次元造形物として表現され、動的なものは動画像として平面部12に投影されることで、リアリティが高く、時間的変化の表現力に富んだ多彩な画像表現が可能になる。
【0028】
また、上述したように、平面部12が、光の透過度が異なる複数の部分を有する場合、より多彩な画像表現が可能になる。例えば、
図6に示すスクリーン10の例では、平面部12は、シート状媒体が1枚の部分、2枚の部分、及び3枚の部分を有する。この場合、スクリーンの前面側から見た場合、シート状媒体の積層数に応じて光の透過度合いに変化をつけることができる。
【0029】
画像投影制御装置30は、スクリーン10へ投影する画像データを生成し、投影機20からスクリーン10へ画像が投影されるように制御する。
【0030】
図8に、画像投影制御装置30のハードウェア構成を示すブロック図を示す。
図8に示すように、画像投影制御装置30は、CPU(Central Processing Unit)32と、メモリ34と、記憶装置36と、入力装置38と、出力装置40と、記憶媒体読取装置42と、通信I/F(Interface)44とを有する。各構成は、バス46を介して相互に通信可能に接続されている。
【0031】
記憶装置36には、後述する画像投影制御処理を実行するための画像投影制御プログラムが格納されている。CPU32は、中央演算処理ユニットであり、各種プログラムを実行したり、各構成を制御したりする。すなわち、CPU32は、記憶装置36からプログラムを読み出し、メモリ34を作業領域としてプログラムを実行する。CPU32は、記憶装置36に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。
【0032】
メモリ34は、RAM(Random Access Memory)により構成され、作業領域として一時的にプログラム及びデータを記憶する。記憶装置36は、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)等により構成され、オペレーティングシステムを含む各種プログラム及び各種データを格納する。
【0033】
入力装置38は、例えば、キーボードやマウス等の、各種の入力を行うための装置である。出力装置40は、例えば、ディスプレイやプリンタ等の、各種の情報を出力するための装置である。出力装置40として、タッチパネルディスプレイを採用することにより、入力装置38として機能させてもよい。
【0034】
記憶媒体読取装置42は、CD(Compact Disc)-ROM、DVD(Digital Versatile Disc)-ROM、ブルーレイディスク、USB(Universal Serial Bus)メモリ等の各種の記憶媒体に記憶されたデータの読み込みや、記憶媒体に対するデータの書き込み等を行う。通信I/F44は、他の機器と通信するためのインタフェースであり、例えば、イーサネット(登録商標)、FDDI又はWi-Fi(登録商標)等の規格が用いられる。
【0035】
図9に、画像投影制御装置30の機能ブロック図を示す。
図9に示すように、画像投影制御装置30は、機能構成として、画像生成部52と、出力部54とを含む。また、画像投影制御装置30の所定の記憶領域には、画像生成モデル56が記憶される。各機能構成は、CPU32が記憶装置36に記憶された画像投影制御プログラムを読み出し、メモリ34に展開して実行することにより実現される。
【0036】
画像生成部52は、スクリーン10に投影する画像データを生成する。画像は、静止画であってもよいし、動画像であってもよい。ここでは、動的なコンテンツを含む動画像を示す画像データを生成する場合について説明する。
【0037】
画像生成モデル56は、三次元造形物の配置及び形状を含む属性に応じた移動物の動きを出力するように予め機械学習により生成された機械学習モデルである。例えば、
図7に示すように、海を表現する平面部12を有するスクリーン10へ投影する動画像の場合、画像生成モデル56は、立体部14である半島及び島の配置及び形状に応じて移動する、魚群、船、波の動き等の動的コンテンツを含む動画像データを出力する。画像生成部52は、半島及び島の配置及び形状等の情報、動画像に含めたい動的コンテンツの形状及び数の情報等、画像データを生成するための基本情報を画像生成モデル56へ入力する。これにより、半島及び島の配置及び形状等を考慮した波の揺らぎ、回遊する魚群、引き波を加えた航行する船等を含む画像データが生成される。
【0038】
なお、画像データは、画像生成モデル56を用いて生成する場合に限定されず、既存の画像等を用いてもよい。また、サーモグラフィで得られた温度分布をインデックス化した画像、海の画像であれば、深度、水流の速さ、潮の分布状態、汚染があった場合にはその状況等を示す画像データを作成してもよい。
【0039】
出力部54は、画像生成部52により生成された画像データを投影機20へ出力する。これにより、投影機20からスクリーン10へ、画像データが示す画像が投影される。
【0040】
次に、本実施形態に係る画像投影システム100の作用について説明する。
【0041】
まず、上述した紙積層型三次元プリンタを用いるなどして作成された、平面部12及び立体部14を有するスクリーン10を所定の位置に配置する。そして、スクリーン10の背面から画像が投影されるように、投影機20を配置する。そして、画像投影制御装置30が、
図10に示す画像投影制御処理を実行する。
【0042】
具体的には、ステップS10で、画像生成部52が、スクリーン10に形成された三次元造形物の配置及び形状、動画像に含めたい動的コンテンツの形状及び数の情報等、画像データを生成するための基本情報を取得する。次に、ステップS12で、画像生成部52が、取得した基本情報を画像生成モデル56へ入力し、動的コンテンツを含む画像データを生成する。次に、ステップS14で、出力部54が、画像生成部52により生成された画像データを投影機20へ出力する。
【0043】
そして、投影機20が、画像投影制御装置30から出力された画像データが示す画像を、スクリーン10の背面から投影する。
【0044】
以上説明したように、本実施形態に係る画像投影システムは、シート状媒体を積層することにより三次元造形物が形成されると共に、シート状媒体の積層数に応じて、光を透過する平面部と、光を透過しない立体部とを有するスクリーンに、三次元造形物の背面方向から投影機により画像を投影する。これにより、三次元造形物に対する画像投影において、画像の座標変換を要することなく、リアリティの高い、多彩な画像表現を実現することができる。
【0045】
例えば、半島及び島等を立体部、海を平面部として作成したスクリーンに、波の揺らぎ、回遊する魚群、引き波を加えた航行する船等を含む画像データを投影する。これにより、半島及び島等の地理形状の静的な部分は予め形成された三次元造形物で表現され、海を表現する平面部に波、魚群、船等が動的に投影されることで、三次元造形物を含むリアルな画像表現が可能である。
【0046】
また、例えば、海面上の遮蔽物の下に魚群が潜るような動きも、遮蔽物の部分を立体部として構築しておくことで、自然な画像表現が可能になる。例えば、三次元造形物が形成されたスクリーンの前面から画像を投影する場合には、画像データにおいて遮蔽物に対する動的コンテンツのデータ削除等の画像処理を行う必要がある。一方、本実施形態の画像投影方法によれば、そのような画像処理を要することなく、立体部が光を透過しないことにより、上記のように自然な画像表現が可能になる。
【0047】
また、投影する画像データを、機械学習された画像生成モデルを用いて生成することで、動的コンテンツの動きをよりリアルに再現することができる。
【0048】
また、スクリーンを、紙積層型三次元プリンタで作成する場合、フルカラー印刷によりリアルに再現された立体部を有するスクリーンを作成することができる。また、紙積層のスクリーンの場合、紙のサイズの選択によって、大小様々なサイズのスクリーンを作成することができる。また、紙の厚さと同等の有機EL(Electronic Luminescent)等をスクリーンに取り付けるなど、電気的装飾も容易である。さらに、シート状媒体として紙を利用することにより、プラスチック等を利用する場合に比べ、SDGs(Sustainable Development Goals)にも配慮したものとなる。
【0049】
<変形例>
上記実施形態の変形例として、複数のスクリーンを、垂直面及び水平面を構成するように組み立て、複数のスクリーンの各々に画像を投影するようにしてもよい。例えば、
図11に示すように、水平面のスクリーン10Aと、垂直面のスクリーン10Bと、スクリーン10Bと直交する方向の垂直面のスクリーン10Cとを組み立てるようにしてもよい。この場合、例えば、スクリーン10Aには、投影機20Aにより、上記実施形態と同様に海の動画像を投影する。また、例えば、スクリーン10Bには、投影機20Bにより、空を飛ぶ鳥を含む動画像を投影する。また、例えば、スクリーン10Cには、投影機20Cにより、太陽の動きを含む動画像を投影する。これにより、例えば、日の出により徐々に空が明るくなる様子や、日没時の夕焼けの風景等を、立体部が表現する地理形状と共に表現することができ、よりリアリティが高く、より多彩な画像表現が可能になる。なお、図示は省略しているが、スクリーン10B、10Cについても立体部を有するように作成してもよい。
【0050】
図11の例では、スクリーン10A、10B、10Cのそれぞれに対応した投影機20A、20B、20Cにより、それぞれに対応した画像を投影する場合について説明したが、これに限定されない。
図12に示すように、1つの投影機20から投影される画像を、ミラー16を介して複数のスクリーン10A、10B、10Cの各々に投影するようにしてもよい。この場合、
図12の下図に示すように、画像データは、1つの画像内に、スクリーン10A用の画像、スクリーン10B用の画像、及びスクリーン10C用の画像を含むように生成しておく。そして、各画像部分が対応するスクリーン10A、10B、10Cに投影されるように、スクリーン10A、10B、10C、投影機20、及びミラー16の位置を調整して配置しておく。
【0051】
また、上記実施形態でCPUがソフトウェア(プログラム)を読み込んで実行した画像投影処理を、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、画像投影処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
【0052】
また、上記実施形態では、画像投影制御プログラムが記憶装置に予め記憶(インストール)されている態様を説明したが、これに限定されない。プログラムは、CD-ROM、DVD-ROM(Digital Versatile Disc Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【符号の説明】
【0053】
100 画像投影システム
10、10A、10B、10C スクリーン
12 平面部
14 立体部
16 ミラー
20、20A、20B、20C 投影機
30 画像投影制御装置
32 CPU
34 メモリ
36 記憶装置
38 入力装置
40 出力装置
42 記憶媒体読取装置
44 通信I/F
46 バス
52 画像生成部
54 出力部
56 画像生成モデル