(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について図面を参照して説明する。
【0010】
図1は、本発明の実施形態に係る投影制御システム1の外観構成を示す図である。投影制御システム1は、投影装置100と、投影面200と、撮像装置300と、投影制御装置400と、から構成される。
【0011】
投影装置100は、投影面200にコンテンツを投影する装置であって、投影レンズ、投影素子、及び光源等を備えるプロジェクタから構成される。投影装置100は、図示しない外部の記憶装置に記憶されたコンテンツを、投影制御装置400を介して取得し、投影面200に投影する。
【0012】
投影面200は、投影装置100により投影された画像や映像が投影される面である。投影面200は、例えば、建物の壁面やスクリーンである。本実施形態において、投影面200には、
図1に示すような合成パターン500が投影される。
【0013】
撮像装置300は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを含むカメラから構成される。撮像装置300は、投影面200の撮像画像を取得し、投影制御装置400に出力する。
【0014】
投影制御装置400は、投影装置100及び撮像装置300と有線または無線により通信可能に接続され、投影装置100が投影するコンテンツを投影装置100に出力する。また、本実施形態において、投影制御装置400は、合成パターン500を投影面200に投影させ、撮像装置300により撮像した合成パターン500の撮像画像に基づいて、撮像装置300の撮像画素と、投影装置100の投影画素との対応関係を決定する。すなわち、投影装置100のある画素が、撮像装置300のどの画素に写っているのかを決定する。そして、投影制御装置400は、決定された対応関係に基づいてコンテンツを補正し、投影装置100に出力する。
【0015】
次に、投影制御装置400の構成について詳細に説明する。
【0016】
図2は、投影制御装置400の構成を示す概略図である。
図2に示すように、投影制御装置400は、制御部401と、記憶部402と、通信部403と、入力部404とから構成され、各部は、バス405により接続されている。
【0017】
制御部401は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)によって構成される。制御部401は、ROMに記憶されたプログラム(例えば、後述する対応決定処理に係るプログラム)を実行することにより、後述する投影制御部411、画像取得部412、影響取得部413、対応決定部414の機能を実現する。
【0018】
記憶部402は、HDD(Hard Disk Drive)などの不揮発性メモリである。本実施形態において、記憶部402は、パターンデータベース(DB)421を記憶する。
【0019】
通信部403は、投影制御装置400を投影装置100及び撮像装置300と通信可能に接続するための通信インターフェースから構成される。
【0020】
入力部404は、ボタン、キーボード、タッチパネル等の入力装置から構成される。入力部404は、投影制御装置400のユーザからの操作入力を受け付け、受け付けた操作入力に対応する信号を制御部401に出力する。
【0021】
次に、記憶部402が記憶するパターンDB421に格納される合成パターン500について説明する。合成パターン500は、それぞれ異なる波長域の光のエリアを含む複数の単色パターンが合成されたパターンである。以下、
図3を用いて合成パターン500の生成方法について説明する。
図3に一例として示す合成パターン500_1は、それぞれ異なる波長域の一例としてRGB(赤・緑・青)の光のエリアを含む3つの単色パターン510_1,510_2,510_3が合成されたものである。ここで、単色パターン510_1,510_2,510_3は、横方向における3ビットのグレイコードによる空間コード化に用いられるパターンにおいて、縦方向の延び、輝度が所定値以上である明部にそれぞれRGBの波長域の光のエリアを適用したものである。単色パターン510_1は、赤に対応する波長域の光のエリア511_1と、輝度が所定値未満である暗部511_2と、を含む。単色パターン510_2は、緑に対応する波長域の光のエリア511_2と、暗部512_2と、を含む。単色パターン510_3は、青に対応する波長域の光のエリア511_3と、暗部512_3と、を含む。従って、単色パターン510_1,510_2,510_3を合成して得られる合成パターン500_1は、赤に対応する波長域の光のエリア501_1と、マゼンダに対応する波長域の光のエリア502_1と、白に対応する波長域の光のエリア503_1と、黄色に対応する波長域の光のエリア504_1と、緑に対応する波長域の光のエリア505_1と、シアンに対応する波長域の光のエリア506_1と、青に対応する波長域の光のエリア507_1と、暗部508_1と、を含む。
【0022】
図3に示す合成パターン500_1は、横方向における3ビットのグレイコードによる空間コード化に用いられる合成パターンであるが、パターンDB421は、空間コード化に必要なビット数に応じた数の合成パターン500を記憶する。例えば、横の画素数がX、縦の画素数がYである投影装置100の投影画素と撮像装置300の撮像画素との対応関係を決定する場合、横方向におけるlog
2Xビットのグレイコードによる空間コード化に用いられるlog
2X枚の単色パターンと、縦方向におけるlog
2Yビットのグレイコードによる空間コード化に用いられるlog
2Y枚の単色パターンとが必要である。そして、これらの単色パターンが、それぞれRGBのいずれかの波長域の光のエリアを含む場合、それぞれ異なる波長域の光のエリアを含む3つの単色パターンを合成することにより、(log
2X+log
2Y)/3枚の合成パターン500が生成される。従って、パターンDB421は、この(log
2X+log
2Y)/3枚の合成パターン500を予め記憶する。
【0023】
次に、投影制御装置400の制御部401の機能構成について説明する。
図2に示すように、制御部401は、投影制御部411、画像取得部412、影響取得部413、及び対応決定部414として機能する。
【0024】
投影制御部411は、それぞれ異なる波長域の光のエリアを含む複数の単色パターンが合成された合成パターン500を投影装置100により投影面200に投影させる。例えば、投影制御部411は、パターンDB421を参照し、パターンDB421に格納された合成パターン500を順次投影装置100に出力することにより、投影面に合成パターンを投影する。また、投影制御部411は、対応決定部414により決定された対応関係に基づいて、投影対象画像であるコンテンツを補正して投影装置100に出力する。
【0025】
画像取得部412は、撮像装置300により撮像された、投影面200に投影された合成パターン500の撮像画像を取得する。例えば、画像取得部412は、投影装置100により合成パターン500が順次投影されるタイミングに合わせて投影される合成パターン500それぞれを撮像するよう、撮像装置300を制御する。そして、画像取得部412は、撮像装置300により撮像された、合成パターン500それぞれの撮像画像を撮像装置300から取得する。
【0026】
影響取得部413は、それぞれ異なる波長域の光が投影装置100により投影された投影面200を、撮像装置300により撮像された波長域画像に基づいて、それぞれ異なる波長域の光が撮像画像に与える影響度を表す影響情報を取得する。一般的に、投影装置100により投影面200に投影された投影画像を、撮像装置300により撮像した場合、その投影画像と撮像画像との間でノイズ等の影響によりRGB値にずれが生じることが知られている。すなわち、例えば投影装置100により投影面200にRGB値が(255,0,0)で表される投影画像を投影した場合、その投影画像を撮像した撮像画像には、投影画像に含まれないG成分やB成分が含まれることがある。従って、本実施形態において、影響取得部413は、予めRGBの各成分が他の成分から受ける影響の度合を取得し、対応決定部414が取得された度合に基づいて、合成パターン500の撮像画像からこの影響を取り除き、撮像画像を投影画像の色空間に色変換することにより、RGBのグレイコードの独立性を上げることができる。
【0027】
以下、影響取得部413による影響情報の取得方法の一例について説明する。例えば、合成パターン500がRGBの波長域の光のエリアを含む3つの単色パターンを合成することにより生成されている場合、影響取得部413は、RGBの光をそれぞれ投影装置100により投影面200に投影させる。そして、影響取得部413は、撮像装置300にRGBの光が投影された投影面200を撮像させることにより、RGBそれぞれについての波長域画像を取得する。そして、影響取得部413は、取得されたRGBそれぞれについての波長域画像に基づいて、撮像画像におけるRGBの各成分の影響度合を測定する。そして、影響取得部413は、測定された影響度合に基づいて、撮像画像の色空間から投影画像の色空間への変換のための色変換行列を影響情報として生成する。
【0028】
対応決定部414は、撮像画像上の合成パターン500に基づいて、投影装置100の投影画素と、撮像装置300の撮像画素との対応関係を決定する。例えば、対応決定部414は、画像取得部412により取得された合成パターン500の撮像画像それぞれについて、影響取得部413により生成された色変換行列を用いて、投影装置100の色空間に補正する。そして、対応決定部414は、補正された撮像画像をRGBそれぞれについて2値化することにより、1つの撮像画像につき3つのグレイコードに対応するパターン画像を取得する。そして、対応決定部414は、取得されたパターン画像が表すグレイコードをデコードし座標計算することにより、投影装置100の投影画素と、撮像装置300の撮像画素との対応関係を決定する。
【0029】
次に、本実施形態に係る投影制御装置400の制御部401が実行する対応決定処理について説明する。
図4は、本実施形態に係る対応決定処理のフローチャートの一例である。この対応決定処理は、例えば、入力部404を介して、本処理の開始を指示する操作入力を受け付けたことを契機として開始される。
【0030】
まず、影響取得部413は、RGBの光をそれぞれ投影装置100により投影面200に投影させ、撮像装置300に投影面200を撮像させることにより、RGBそれぞれについての波長域画像を取得する(ステップS101)。
【0031】
次に、影響取得部413は、ステップS101において取得された波長域画像に基づいて、撮像画像の色空間から投影画像の色空間への変換のための色変換行列を生成する(ステップS102)。
【0032】
そして、投影制御部411は、パターンDB421に格納されている合成パターン500のうち、未だ選択されていない合成パターン500を1つ選択する(ステップS103)。
【0033】
そして、投影制御部411は、ステップS103において選択された合成パターン500を投影装置100に出力して投影面200に投影する(ステップS104)。
【0034】
画像取得部412は、ステップS104において投影面200に投影された合成パターン500を撮像装置300により撮像し、その撮像画像を取得する(ステップS105)。
【0035】
次に、対応決定部414は、ステップS102において生成された色変換行列を用いて、ステップS105において取得された撮像画像を色変換する(ステップS106)
【0036】
そして、対応決定部414は、ステップS106において色変換された撮像画像をRGBそれぞれについて2値化し、パターン画像を取得する(ステップS107)。
【0037】
そして、対応決定部414は、パターンDB421に格納された全ての合成パターン500を選択したか否かを判定する(ステップS108)。対応決定部414は、全ての合成パターンを選択していないと判定した場合(ステップS108;No)、ステップS103に戻ってその後の処理を繰り返す。また、対応決定部414は、全ての合成パターン500を選択したと判定した場合(ステップS108;Yes)、全ての合成パターン500について取得されたパターン画像が表すグレイコードをデコードし座標計算することにより、投影装置100の投影画素と、撮像装置300の撮像画素との対応関係を決定する(ステップS109)。そして、本処理を終了する。
【0038】
以上説明したように、本実施形態に係る投影制御装置400は、それぞれRGBの波長域の光のエリアを含む3つの単色パターンが合成された合成パターン500を投影装置100により投影面200に投影させ、その合成パターン500の撮像画像を取得する。そして、投影制御装置400は、取得された撮像画像上の合成パターン500に基づいて、投影装置100の投影画素と、撮像装置300の撮像画素との対応関係を決定する。従って、従来log
2X+log
2Y枚のグレイコードのパターンの投影及び撮像により投影装置100の投影画素と、撮像装置300の撮像画素との対応関係を決定していたところ、投影制御装置400は、その1/3の枚数の合成パターン500の投影及び撮像で済むため、高速に対応関係を決定することができる。
【0039】
また、投影制御装置400は、グレイコードに基づいて配置されたエリアを含む単色パターンが合成された合成パターン500を投影及び撮像する。従って、グレイコードでは隣接値のハミング距離が1となるため、境界上での符号化誤りを最小化することができる。
【0040】
また、投影制御装置400は、撮像画像をRGBそれぞれについて2値化する前に、RGBそれぞれについての撮像画像の色空間から投影画像の色空間への変換のための色変換行列により、撮像画像を補正する。そのため、ノイズ等の影響を減らしてRGBのグレイコードの独立性を上げることができ、投影装置100の投影画素と、撮像装置300の撮像画素との対応関係を精度良く決定することができる。
【0041】
以上で実施形態の説明を終了するが、上記実施形態は一例であり、投影制御装置400の具体的な構成や出力制御処理の内容などが上記実施形態で説明したものに限られず、以下のような変形も可能である。
【0042】
例えば、上記の実施形態において、合成パターン500がRGBの波長域の光のエリアを含む3つの単色パターンを合成することにより生成されている例について説明した。しかし、単色パターンに含まれる光のエリアは、RGBの波長域に限られず、十分に分離可能な他の波長域であってもよい。また、単色パターンに含まれる光のエリアは、可視光の波長域に限られず、例えば赤外線の波長域であってもよい。
【0043】
また、上記の実施形態において、
図3では、横方向におけるグレイコードによる空間コード化のための縦方向に延びる光のエリアを含む単色パターン510_1〜510_3を合成して合成パターン500_1を生成する例について説明した。しかし、合成パターン500_1の生成方法はこれに限られない。例えば、横方向におけるグレイコードによる空間コード化のための縦方向に延びる光のエリアを含む単色パターンと、縦方向におけるグレイコードによる空間コード化のための横方向に延びる光のエリアを含む単色パターンと、を合成して合成パターン500が生成されてもよい。合成される複数の単色パターンに含まれる光のエリアの波長域が異なる限り、任意の組み合わせの単色パターンを合成して合成パターン500を生成可能である。
【0044】
また、上記の実施形態において、2進グレイコードに基づく単色パターンを合成して合成パターン500を生成する例について説明した。しかし、単色パターンは、2進グレイコードに基づくものに限られず、例えば3進グレイコードや4進グレイコードに基づく単色パターンを用いてもよい。
【0045】
また、本発明に係る投影制御装置400は、専用の装置によらず、通常のコンピュータを用いて実現可能である。例えば、コンピュータがプログラムを実行することで、投影制御装置400を実現してもよい。投影制御装置400の機能を実現するためのプログラムは、USB(Universal Serial Bus)メモリ、CD−ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)、HDD等のコンピュータ読み取り可能な記録媒体に記憶されてもよいし、ネットワークを介してコンピュータにダウンロードされてもよい。
【0046】
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【0047】
(付記1)
それぞれ異なる波長域の光のエリアを含む複数のパターンが合成された合成パターンを投影装置により投影面に投影させる投影制御手段と、
撮像装置により撮像された、前記投影面に投影された前記合成パターンの撮像画像を取得する画像取得手段と、
前記撮像画像上の前記合成パターンに基づいて、前記投影装置の投影画素と、前記撮像装置の撮像画素との対応関係を決定する対応決定手段と、
を備えることを特徴とする投影制御装置。
【0048】
(付記2)
前記複数のパターンは、それぞれRGBの波長域の光のエリアを含む3つのパターンである、
ことを特徴とする付記1に記載の投影制御装置。
【0049】
(付記3)
前記複数のパターンは、それぞれグレイコードに基づいて配置された前記エリアを含む、
ことを特徴とする付記1または2に記載の投影制御装置。
【0050】
(付記4)
前記複数のパターンは、それぞれ所定の方向に延びる前記エリアを含む、
ことを特徴とする付記1乃至3のいずれか1つに記載の投影制御装置。
【0051】
(付記5)
前記複数のパターンは、所定の方向に延びる前記エリアを含むパターンと、前記所定の方向と直交する方向に延びる前記エリアを含むパターンと、を少なくとも含む、
ことを特徴とする付記1乃至3のいずれか1つに記載の投影制御装置。
【0052】
(付記6)
前記投影制御手段は、前記対応決定手段により決定された前記対応関係に基づいて、投影対象画像を補正して前記投影装置に出力する、
ことを特徴とする付記1乃至5のいずれか1つに記載の投影制御装置。
【0053】
(付記7)
前記それぞれ異なる波長域の光が前記投影装置により投影された前記投影面を、前記撮像装置により撮像された波長域画像に基づいて、前記それぞれ異なる波長域の光が前記撮像画像に与える影響度を表す影響情報を取得する影響取得手段をさらに備え、
前記対応決定手段は、前記影響情報に基づいて補正された前記撮像画像上の前記合成パターンに基づいて、前記投影装置の投影画素と、前記撮像装置の撮像画素との対応関係を決定する、
ことを特徴とする付記1乃至6のいずれか1つに記載の投影制御装置。
【0054】
(付記8)
前記投影装置と前記撮像装置の波長の対応関係を決定する色影響決定手段をさらに備え、
前記投影制御手段は、前記それぞれ異なる波長域の光を前記投影装置により前記投影面に投影させ、
前記画像取得手段は、前記撮像装置により撮像された、前記投影面に投影された前記それぞれ異なる波長域の光を撮像し、
前記色影響決定手段は、前記投影装置により投影された前記それぞれ異なる波長域の光と、前記撮像装置により撮像された前記それぞれ異なる波長域の光と、に基づいて、前記投影装置と前記撮像装置の波長の対応関係を決定する、
ことを特徴とする付記1乃至7のいずれか1つに記載の投影制御装置。
【0055】
(付記9)
それぞれ異なる波長域の光のエリアを含む複数のパターンが合成された合成パターンを投影装置により投影面に投影させる投影制御ステップと、
撮像装置により撮像された、前記投影面に投影された前記合成パターンの撮像画像を取得する画像取得ステップと、
前記撮像画像上の前記合成パターンに基づいて、前記投影装置の投影画素と、前記撮像装置の撮像画素との対応関係を決定する対応決定ステップと、
を備える投影制御方法。
【0056】
(付記10)
コンピュータを、
それぞれ異なる波長域の光のエリアを含む複数のパターンが合成された合成パターンを投影装置により投影面に投影させる投影制御手段、
撮像装置により撮像された、前記投影面に投影された前記合成パターンの撮像画像を取得する画像取得手段、
前記撮像画像上の前記合成パターンに基づいて、前記投影装置の投影画素と、前記撮像装置の撮像画素との対応関係を決定する対応決定手段、
として機能させることを特徴とするプログラム。