(58)【調査した分野】(Int.Cl.,DB名)
上記画像記憶手段が予め記憶する上記画像情報、及び上記画像選択手段が選択する上記画像情報は、オブジェクトと関連付けられていることを特徴とする請求項1記載の投影装置。
上記投影制御手段は、上記画像処理手段で抽出した上記オブジェクトの形状に対応する位置に画像が投影されるように上記画像選択手段で選択した画像情報を上記投影手段に与えることを特徴とする請求項1乃至3何れか記載の投影装置。
上記投影制御手段は、上記投影手段により上記画像情報に基づいた画像を、上記オブジェクトの背景側を含めて投影させることを特徴とする請求項1乃至4何れか記載の投影装置。
【発明を実施するための形態】
【0010】
以下、本発明を投影装置に適用した場合の一実施形態について図面を参照して説明する。
【0011】
図1は、本発明に係る投影装置10の使用環境を例示する図である。同図では、テーブルTB上に、脚部FTを伸ばして投影方向を調整した投影装置10を載置している。この投影装置10により予め形状を設定した何らかのオブジェクト(対象物)OJ、例えば花ビンを照らした場合、ノーマル投影モードを設定している状態では、通常の投影駆動、すなわち、花ビンの表面にも一部画像が投影された状態で画像信号に基いた画像を投影する一方で、オブジェクト投影モードを設定している状態では、オブジェクトOJの位置に対応して、例えば背景BG上のオブジェクトOJに対応する位置、例えば直上位置に投影画像PIを投影する。
【0012】
投影装置10は、投影レンズ系内にズームレンズ及びフォーカスレンズを備え、オブジェクト投影モード時の特にオブジェクトOJを認識した状態では、必要な投影角度を自動的に選択してオブジェクトOJまたは背景BG位置に合焦して画像PIを投影する。
【0013】
図2は、本実施形態に係る投影装置10の主として電子回路の機能構成を説明する図である。同図中、入力処理部IPで入力された画像データが、この入力処理部IPで必要によりデジタル化された後に、システムバスSBを介して投影画像駆動部11に送られる。
【0014】
この投影画像駆動部11は、送られてきた画像データに応じて、所定のフォーマットに従ったフレームレート、例えば120[フレーム/秒]と色成分の分割数、及び表示階調数を乗算した、より高速な時分割駆動により、マイクロミラー素子12を表示駆動する。
【0015】
このマイクロミラー素子12は、アレイ状に配列された複数、例えばWXGA(横1280画素×縦768画素)分の微小ミラーの各傾斜角度を個々に高速でオン/オフ動作して表示動作することで、その反射光により光像を形成する。
【0016】
一方で、光源部13から時分割でR,G,Bの原色光が循環的に出射される。光源部13は、半導体発光素子であるLEDを有し、R,G,Bの原色光を時分割で繰返し出射する。光源部13が有するLEDは、広義でのLEDとして、LD(半導体レーザ)や有機EL素子を含むものとしても良い。この光源部13からの原色光が、ミラー14で全反射して上記マイクロミラー素子12に照射される。
【0017】
そして、マイクロミラー素子12での反射光で光像が形成され、形成された光像が投影レンズ部15を介して外部に投射して表示される。
【0018】
上記投影レンズ部15は、内部のレンズ光学系中に、フォーカス位置を移動するためのフォーカスレンズ及びズーム(投影)画角を可変するためのズームレンズを含み、それら各レンズはレンズモータ(M)16により図示しないギヤ機構を介して光軸方向に沿った位置が選択的に駆動される。
【0019】
また、上記投影レンズ部15と隣接するようにして撮影レンズ部17を配設する。この撮影レンズ部17は、フォーカス位置を移動するためのフォーカスレンズを含み、上記投影レンズ部15の最広角での投影画角をカバーするような撮影画角を有する。撮影レンズ部17に入光する外部の光像は、固体撮像素子であるCMOSイメージセンサ18上に結像される。
【0020】
CMOSイメージセンサ18での結像により得られる画像信号は、A/D変換器19でデジタル化された後、撮影画像処理部20に送られる。
【0021】
この撮影画像処理部20は、上記CMOSイメージセンサ18を走査駆動して撮影動作を実行させ、撮影により得た画像データに対する輪郭抽出等の画像処理を実施することで、後述するように画像中から上記
図1のオブジェクトOJ、背景BGの位置、形状を抽出する。
【0022】
加えて撮影画像処理部20は、上記撮影レンズ部17のフォーカスレンズ位置を移動させるためのレンズモータ(M)21を駆動する。
【0023】
上記各回路の動作すべてをCPU22が制御する。このCPU22は、メインメモリ23及びプログラムメモリ24と直接接続される。メインメモリ23は、例えばSRAMで構成され、CPU22のワークメモリとして機能する。プログラムメモリ24は、電気的書換可能な不揮発性メモリ、例えばフラッシュROMで構成され、CPU22が実行する動作プログラムや各種定型データ等を記憶する。
【0024】
プログラムメモリ24には、図示する如く画像選択テーブル記憶部24A及び画像記憶部24Bが含まれる。
図3は、上記画像選択テーブル記憶部24Aに記憶されるテーブルの内容の概念を例示したものである。同図に示すように「抽出形状」「画像番号」及び「(オブジェクトに対する)投影位置」を1組のデータとして関連付けて複数組のデータを予め登録している。
画像記憶部24Bは、上記画像選択テーブル記憶部24Aで記憶した画像番号で関連付けられた複数の画像データを予め登録している。
【0025】
CPU22は、上記プログラムメモリ24に記憶されている動作プログラムや定型データ等を読出し、メインメモリ23に展開して記憶させた上で当該プログラムを実行することにより、この投影装置10を統括して制御する。
【0026】
上記CPU22は、操作部25からの操作信号に応じて各種投影動作を実行する。この操作部25は、投影装置10の本体に備えるいくつかの操作キーのキー操作信号を受付け、受付けたキー操作信号に応じた信号を上記CPU22へ送出する。
【0027】
操作部25が備える操作キーとしては、例えば投影装置10の電源のオン/オフを操作する電源キー、ノーマル投影モードとオブジェクト投影モードとを切換えるモード切換キー等を含む。
【0028】
上記CPU22はさらに、上記システムバスSBを介して音声処理部26と接続される。
音声処理部26は、PCM音源等の音源回路を備え、投影動作時に与えられる音声信号をアナログ化し、スピーカ部28を駆動して放音させ、あるいは必要によりビープ音等を発生させる。
【0029】
次に上記実施形態の動作について説明する。
なお以下に示す動作は、上述した如くCPU22がプログラムメモリ24から読出した動作プログラムや定型データ等をメインメモリ23に展開した上で実行するものである。プログラムメモリ24に記憶される動作プログラム等は、この投影装置10の工場出荷時にプログラムメモリ24に記憶されていたもののみならず、ユーザがこの投影装置10を購入後にバージョンアップ用のプログラム等をインストールした内容を含む。
【0030】
図4は、CPU22が実行する特にオブジェクト投影モード時の動作の処理内容を示す。その当初にCPU22は、動作モードがオブジェクト投影モード側に選択されているか否かを操作部25でのモードキーの操作状態によって判断する(ステップS101)。
【0031】
ここでオブジェクト投影モードが選択されていないと判断した場合、CPU22はノーマル投影モードが選択されているものと判断し、画像信号に対応した画像を投影した上で(ステップS102)、上記ステップS101からの処理に戻る。
【0032】
また上記ステップS101でオブジェクト投影モードが選択されていると判断した場合、CPU22はまだオブジェクトを認識できていない状態であり、白色光を投影させた状態でCMOSイメージセンサ18により投影方向の画像を撮影させる(ステップS103)。
【0033】
この撮影時に撮影画像処理部20は、合わせて撮影画像中の上記白色光を照射している範囲に関し、自動合焦機能による走査を行なって少なくとも数十点位置の距離情報マップを作成する。
【0034】
撮影により得られた画像データに対し、CPU22は撮影画像処理部20により輪郭抽出等の画像処理を実行させて、撮影画像中の上記白色光照射範囲内でオブジェクトとなり得る対象の形状を抽出する(ステップS104)。
【0035】
この撮影画像処理部20での抽出処理に対してCPU22は、何らかの形状抽出ができたか否かにより、オブジェクトとなり得る候補が抽出できたかどうかを判断する(ステップS105)。
【0036】
ここで何ら形状抽出ができず、オブジェクトの候補が抽出できなかったと判断した場合、CPU22は再び上記ステップS101からの処理に戻る。
【0037】
また上記ステップS105でオブジェクトの候補が抽出できたと判断した場合、CPU22は次いで抽出したオブジェクトの形状が、プログラムメモリ24の画像選択テーブル記憶部24Aに記憶されている内容と一致するか否かを判断する(ステップS106)。
【0038】
ここで画像選択テーブル記憶部24Aに記憶されているオブジェクトの形状で一致するものがないと判断した場合、CPU22は再び上記ステップS101からの処理に戻る。
【0039】
上記ステップS106で抽出したオブジェクトの形状が、プログラムメモリ24の画像選択テーブル記憶部24Aに記憶されている内容と一致すると判断した場合、CPU22はその一致した形状と関連付けられた画像番号に基づき、画像記憶部24Bから対応する画像データを読出す(ステップS107)。
【0040】
この読出した画像データを用い、さらに上記画像選択テーブル記憶部24Aでオブジェクトに対応する撮影位置を読出した上で、CPU22は撮影画像と当該画像中のオブジェクト形状の位置と大きさ、上記画像選択テーブル記憶部24Aのテーブルで読出した投影位置、上記撮影画像中の距離情報マップで得られる現在の姿勢から算出する投影方向の上下により、最適な投影位置と投影画像の拡大率、投影合焦位置となるような投影条件を設定し(ステップS108)、設定した投影条件に基づいた投影を開始する(ステップS109)。
【0041】
例えば上記
図1に示した環境下では、携帯照明装置10によりオブジェクト投影モードを選択している状態でオブジェクトOJを照射した場合、撮影画像中からオブジェクトOJの形状を抽出することで、ユーザUSから見てオブジェクトOJの上部に「ウグイスがとまっている梅の枝」の投影画像PIを投影している状態を示す。
【0042】
このとき、撮影した画像中のオブジェクトOJの位置と大きさとにより、投影する投影画像PIの位置と投影レンズ部15のズームレンズ位置を制御し、最大限投影画角を絞って投影画像PIを投影するように自動的に設定する。
【0043】
またCPU22は、投影画像PIを投影する距離についても、上記距離情報マップからオブジェクトOJの上位置の距離情報を読出すことで、投影レンズ部15のフォーカスレンズを移動させて投影画像PIが正確に合焦する距離を自動的に設定する。
【0044】
ここで、画像中のオブジェクト形状に対応する画像を投影する位置について詳述する。
【0045】
上記ステップS103では、撮影画像範囲に関し数十点位置の距離情報マップを作成しているが、この距離情報マップを利用して、個々のオブジェクト形状のそれぞれに設定されているオブジェクト基準点(例えば、
図3における点P)の撮影画像範囲における座標を調べる。
【0046】
なお、オブジェクト形状に対応するそれぞれの画像にも画像基準点(例えば、
図1における点Q)が設定されている。そして、画像選択テーブル記憶部24Aに記憶される「(オブジェクトに対する)投影位置」の情報とは、オブジェクト基準点を原点としたときに、画像基準点を、どの座標に一致させて画像を投影するかを示す投影箇所の座標情報となっている。なお、オブジェクト基準点と画像基準点とは使用者により、予め自由に設定し記憶させることができる。
【0047】
そして、この「(オブジェクトに対する)投影位置」の情報から画像の投影箇所の座標情報を読出し、上述したオブジェクト基準点を原点として、「(オブジェクトに対する)投影位置」の情報から得た画像の投影箇所の座標と画像基準点とを一致させるように画像を投影する。
【0048】
具体的には、例えば
図3を参照すると、抽出形状が花瓶であった場合、投影位置座標は(0,0)であって、オブジェクト基準点Pと、画像番号1に対応する画像の画像基準点Qとが一致するように画像を投影することとなる。
【0049】
このように投影位置を決定することで、
図1に示したように、オブジェクトOJの上部に「ウグイスがとまっている梅の枝」の投影画像PIを投影するといった、オブジェクト形状に対応する画像を当該オブジェクト形状に対して適した位置に投影することができる。
【0050】
そして本実施形態では、投影画像をオブジェクト自身には投影されないようにスクリーンに投影しており、このように表示することで、スクリーンに映った画像を実際にスクリーン前方に配置してあるオブジェクトの背景として利用することができる。
【0051】
その他の投影例として、例えば「船」の形状のオブジェクトに対して、抽出した形状自体の内部を除いて(黒画像投影)、その周囲四方全面を用いて「海」の画像を投影するなど、プログラムメモリ24の画像選択テーブル記憶部24A及び画像記憶部24Bに記憶させるデータ次第で、より多彩な表現が可能となる。
【0052】
こうしてオブジェクトの形状に応じた投影画像PIを投影した状態でCPU22は、その投影を解除するためのキー操作、例えばモード切換キーの操作がなされるのを待機する(ステップS110)。
【0053】
そしてオブジェクト投影モードを解除するためのキー操作がなされた時点で、上記ステップS110でCPU22がそれを判断し、それまで実行していたオブジェクトに対する画像の投影を解除した後(ステップS111)、再び上記ステップS101からの処理に戻る。
【0054】
なお本実施形態では、画像選択テーブル記憶部24Aに記憶されるテーブルの内容はオブジェクトの「抽出形状」と、「画像番号」及び「(オブジェクトに対する)投影位置」とを1組のデータとして関連付けて予め登録しているが、それに限らず、例えばオブジェクトの「模様」や「色」等と「画像番号」及び「(オブジェクトに対する)投影位置」とを関連付けて予め登録しておいても良いし、これら、オブジェクトの「形状」、「模様」及び「色」の組み合わせと、「画像番号」及び「(オブジェクトに対する)投影位置」とを関連付けて予め登録しておいても良い。
【0055】
このように、オブジェクトの形状だけでなく、オブジェクトの他の因子についても投影画像の選択に用いることができるので、バリエーションに富んだ画像投影を提供できる。
【0056】
以上詳述した如く本実施形態によれば、ユーザの設定操作を極力簡略化して環境に適した画像を投影することが可能となる。
【0057】
また上記実施形態では、抽出したオブジェクトの形状によっては、そのオブジェクトに直接画像を投影するのではなく、オブジェクトの背景側の適切な位置に画像を投影するように自動設定できるため、より表現力を増してオブジェクトに適した多彩な画像を投影できる。
【0058】
特に上記実施形態では、撮影系の撮影レンズ部17と投影系の投影レンズ部15が共にオートフォーカス機能を有するものとして、撮影画像中の複数点に対する合焦距離を取得するものとしたので、投影面に正確に合焦した状態で画像を投影させることができ、ユーザにとって違和感なく自然で高画質の画像が投影できる。
【0059】
さらに上記実施形態では、投影レンズ部15が投影画角を可変するズーム機能を有するものとして、できるだけ投影画角を絞った状態で画像を投影するような構成としたので、光源部13から得られる光とマイクロミラー素子12で形成する光像をより有効に利用し、明るく精密な画像を投影できる。
【0060】
また上記実施形態では、据え置いて使用する投影装置10の場合について説明したが、本発明の他の実施形態として、プロジェクタ機能を有する携帯照明装置10′に適した場合についても説明しておく。
【0061】
図5は、本発明の他の実施形態に係る携帯照明装置10′の使用環境を例示する図である。同図で、ユーザUSが所持して携帯する携帯照明装置10′により予め形状を設定した何らかのオブジェクトOJ、例えば花ビンを照らした場合、その時点でフラッシュライト(懐中電灯)モードを設定している状態では、単に円形の白色光を照射するに止まる一方で、オブジェクト投影モードを設定している状態では、オブジェクトOJの位置に対応して、例えば背景BG上のオブジェクトOJに対応する位置、例えば直上位置に投影画像PIを投影する。
【0062】
携帯照明装置10′は、投影レンズ系内にズームレンズ及びフォーカスレンズを備え、フラッシュライトモードでは一定の照射角度範囲、例えば5°〜30°中のユーザUSが設定した角度で無限遠方向に合焦するべく白色光を照射する一方で、オブジェクト投影モード時の特にオブジェクトOJを認識した状態では、必要な投影角度を自動的に選択して背景BG位置に合焦して画像PIを投影する。
【0063】
このような携帯照明装置10′内部の機能回路構成について、基本的には上記
図2に示したものと同様に構成できる。
【0064】
しかるに携帯照明装置10′では、画像信号を入力してリアルタイムで対応する画像の投影を行なうのではなく、通常のフラッシュライトモードで全面白色の白色光を照射するため、上記
図2中の入力処理部IPの構成を省略できる。
【0065】
一方で携帯照明装置10′では、オブジェクト投影モード時に撮影画像から抽出したオブジェクトに対する正しい投影位置を認識する必要があるため、携帯照明装置10′の姿勢を検出する構成として、例えば3次元加速度センサを設けるものとする。
【0066】
この3軸加速度センサを設けることにより、重力加速度を含むこの携帯照明装置10′の3次元空間内での姿勢角度の変化を検出することが可能となり、オブジェクトに対する正しい投影位置を認識して投影させることができる。
【0067】
なお上記実施形態では説明しなかったが、プログラムメモリ24の画像選択テーブル記憶部24Aで抽出したオブジェクトの形状と関連付けて音声情報を選択可能とし、投影する画像を選択した時点で合わせて対応する音声、例えば「ウグイスの鳴き声」「潮騒とカモメの鳴き声」あるいは種々のクラシック音楽の楽曲などをスピーカ部28により出力させるものとしてもよい。
【0068】
また上記実施形態は、投影レンズ部15が半導体発光素子を用いたDLP(登録商標)方式のプロジェクタ機能を有する投影装置について説明したが、本発明は発光素子やプロジェクタ方式等を限定するものではない。
【0069】
また上記実施形態では、撮影レンズ部17は、上記投影レンズ部15の最広角での投影画角をカバーするような撮影画角を有するように構成し、CMOSイメージセンサ18により投影方向の画像を撮影させる構成であるが、例えば撮像レンズ部17は投影方向ではなく、その他の方向の画像を撮影させる構成であってもよく、また、例えばその撮像レンズ部17を複数有しており投影装置の周囲を撮影するものであってもよい。
【0070】
なお、上記実施形態では、対応する投影画像をオブジェクト自身には投影されないようにスクリーンに投影するものであるが、同時に上記対応する投影画像をオブジェクトに一部投影するようにすることで、さらに多彩な表現が可能となる。
【0071】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【0072】
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
請求項1記載の発明は、与えられる画像情報に応じた画像を形成して被投影物に投影する投影手段と、オブジェクトと関連付けた画像情報を予め記憶する画像記憶手段と、上記投影手段での投影方向を含む画像を撮影する撮影手段と、上記撮影手段で得た画像からオブジェクトを抽出する画像処理手段と、上記画像処理手段で抽出したオブジェクトに基づいて上記画像記憶手段から関連付けられた画像情報を選択する画像選択手段と、上記画像選択手段で選択した画像情報を上記投影手段に与え、当該投影手段により上記オブジェクト以外の被投影物に対して画像を投影させる投影制御手段とを具備したことを特徴とする。
【0073】
請求項2記載の発明は、上記請求項1記載の発明において、上記画像記憶手段は、上記オブジェクトの形状、模様、または色の少なくとも1つと関連付けて画像情報を記憶することを特徴とする。
【0074】
請求項3記載の発明は、上記請求項1または2記載の発明において、上記投影制御手段は、上記画像処理手段で抽出した上記オブジェクトの形状に対応する位置に画像が投影されるように上記画像選択手段で選択した画像情報を上記投影手段に与えることを特徴とする。
【0075】
請求項4記載の発明は、上記請求項1乃至3何れか記載の発明において、上記投影制御手段は、上記投影手段により上記画像情報に基づいた画像を、上記オブジェクトを含めて投影させることを特徴とする。
【0076】
請求項5記載の発明は、上記請求項1乃至4何れか記載の発明において、上記投影手段は、投影する画像の合焦距離を可変する自動フォーカス機能を有し、上記撮影手段は、撮影する画像中の任意の位置までの距離を取得する距離取得機能を有し、上記投影制御手段は、上記画像処理手段で抽出した上記オブジェクトまたはその背景側までの距離を上記撮影手段の距離取得機能で取得し、取得した距離に応じて上記投影手段の自動フォーカス機能で合焦距離を設定することを特徴とする。
【0077】
請求項6記載の発明は、上記請求項1乃至5何れか記載の発明において、上記投影手段は、投影する画像の画角を可変する自動ズーム機能を有し、上記投影制御手段は、上記画像処理手段で抽出した上記オブジェクトの画像中の位置により上記投影手段の自動ズーム機能で投影画角を設定することを特徴とする。
【0078】
請求項7記載の発明は、与えられる画像情報に応じた画像を形成して被投影物に投影する投影部、及び上記投影部での投影方向を含む画像を撮影する撮影部を備えた装置での投影方法であって、オブジェクトと関連付けた画像情報を予め記憶する画像記憶工程と、上記撮影部で得た画像からオブジェクトを抽出する画像処理工程と、上記画像処理工程で抽出したオブジェクトに基づいて上記画像記憶工程で記憶した内容から関連付けられた画像情報を選択する画像選択工程と、上記画像選択工程で選択した画像情報を上記投影部に与え、当該投影部により上記オブジェクト以外の被投影物に対して画像を投影させる投影制御工程とを有したことを特徴とする。
【0079】
請求項8記載の発明は、与えられる画像情報に応じた画像を形成して被投影物に投影する投影部、及び上記投影部での投影方向を含む画像を撮影する撮影部を備えた装置が内蔵するコンピュータが実行するプログラムであって、上記コンピュータを、オブジェクトと関連付けた画像情報を予め記憶する画像記憶手段、上記撮影部で得た画像からオブジェクトを抽出する画像処理手段、上記画像処理手段で抽出したオブジェクトに基づいて上記画像記憶手段で記憶した内容から関連付けられた画像情報を選択する画像選択手段、及び上記画像選択手段で選択した画像情報を上記投影部に与え、当該投影部により上記オブジェクト以外の被投影物に対して画像を投影させる投影制御手段として機能させることを特徴とする。