ホーム > 特許ランキング > ソニーグループ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023126987
(43)【公開日】2023-09-13
(54)【発明の名称】画像処理部、画像処理方法、及びプログラム
(51)【国際特許分類】
H04N 9/31 20060101AFI20230906BHJP
H04N 5/74 20060101ALI20230906BHJP
G03B 21/14 20060101ALI20230906BHJP
G03B 21/00 20060101ALI20230906BHJP
G09G 5/00 20060101ALI20230906BHJP
G09G 5/377 20060101ALI20230906BHJP
G09G 5/18 20060101ALI20230906BHJP
G09G 5/36 20060101ALI20230906BHJP
G06T 7/33 20170101ALI20230906BHJP
【ＦＩ】
H04N9/31 850
H04N5/74 D
G03B21/14 E
G03B21/00 D
G09G5/00 510V
G09G5/00 510B
G09G5/00 550C
G09G5/36 520M
G09G5/18
G09G5/00 550X
G09G5/00 530H
G09G5/36 520E
G06T7/33
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2020128672
(22)【出願日】2020-07-29
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100104215
【弁理士】
【氏名又は名称】大森 純一
(74)【代理人】
【識別番号】100196575
【弁理士】
【氏名又は名称】高橋 満
(74)【代理人】
【識別番号】100168181
【弁理士】
【氏名又は名称】中村 哲平
(74)【代理人】
【識別番号】100160989
【弁理士】
【氏名又は名称】関根 正好
(74)【代理人】
【識別番号】100117330
【弁理士】
【氏名又は名称】折居 章
(74)【代理人】
【識別番号】100168745
【弁理士】
【氏名又は名称】金子 彩子
(74)【代理人】
【識別番号】100176131
【弁理士】
【氏名又は名称】金山 慎太郎
(74)【代理人】
【識別番号】100197398
【弁理士】
【氏名又は名称】千葉 絢子
(74)【代理人】
【識別番号】100197619
【弁理士】
【氏名又は名称】白鹿 智久
(72)【発明者】
【氏名】平田 英治
(72)【発明者】
【氏名】海津 俊
【テーマコード（参考）】
2K203
5C058
5C060
5C182
5L096
【Ｆターム（参考）】
2K203FA82
2K203FA93
2K203FB03
2K203FB08
2K203GB42
2K203GB62
2K203GC16
2K203MA01
5C058BA11
5C058BA27
5C058EA02
5C060CB00
5C060JA01
5C060JB06
5C182AA03
5C182AA04
5C182AA31
5C182AB01
5C182AB02
5C182AB08
5C182AB14
5C182AB15
5C182AB21
5C182AB25
5C182AB37
5C182AC03
5C182BA01
5C182BA03
5C182BA04
5C182BA06
5C182BA14
5C182BA26
5C182BA29
5C182BB04
5C182BC26
5C182CB11
5C182CB13
5C182CB14
5C182CB42
5C182CB47
5C182CB54
5C182CC24
5C182DA25
5C182DA44
5C182DA53
5C182DA62
5C182DA66
5C182DA70
5L096CA02
5L096EA14
5L096FA14
5L096FA69
(57)【要約】
【課題】高品質な画像を投影することを可能とする画像処理部、画像処理方法、及びプログラムを提供すること。
【解決手段】本技術の一形態に係る画像処理装置は、第１の生成部と、第２の生成部とを具備する。前記第１の生成部は、複数の単色プロジェクタの各々に対して、コンテンツ画像を構成する第１の画素領域と、前記第１の画素領域以外の第２の画素領域とを有し、前記第２の画素領域の少なくとも一部が特徴点画像を構成する投影画像を、補正パラメータを用いて生成する。前記第２の生成部は、前記複数の単色プロジェクタの各々により投影された前記投影画像が撮像された撮像画像から前記特徴点画像を検出し、前記特徴点画像の検出結果に基づいて前記補正パラメータを生成する。
【選択図】図２
【解決手段】本技術の一形態に係る画像処理装置は、第１の生成部と、第２の生成部とを具備する。前記第１の生成部は、複数の単色プロジェクタの各々に対して、コンテンツ画像を構成する第１の画素領域と、前記第１の画素領域以外の第２の画素領域とを有し、前記第２の画素領域の少なくとも一部が特徴点画像を構成する投影画像を、補正パラメータを用いて生成する。前記第２の生成部は、前記複数の単色プロジェクタの各々により投影された前記投影画像が撮像された撮像画像から前記特徴点画像を検出し、前記特徴点画像の検出結果に基づいて前記補正パラメータを生成する。
【選択図】図２
【特許請求の範囲】
【請求項1】
複数の単色プロジェクタの各々に対して、コンテンツ画像を構成する第１の画素領域と、前記第１の画素領域以外の第２の画素領域とを有し、前記第２の画素領域の少なくとも一部が特徴点画像を構成する投影画像を、補正パラメータを用いて生成する第１の生成部と、
前記複数の単色プロジェクタの各々により投影された前記投影画像が撮像された撮像画像から前記特徴点画像を検出し、前記特徴点画像の検出結果に基づいて前記補正パラメータを生成する第２の生成部と
を具備する画像処理装置。
前記複数の単色プロジェクタの各々により投影された前記投影画像が撮像された撮像画像から前記特徴点画像を検出し、前記特徴点画像の検出結果に基づいて前記補正パラメータを生成する第２の生成部と
を具備する画像処理装置。
【請求項2】
請求項１に記載の画像処理装置であって、
前記第１の生成部は、前記複数のプロジェクタにより複数の投影画像が投影された場合に、前記コンテンツ画像が互いに重なり合うように前記投影画像を生成する
画像処理装置。
前記第１の生成部は、前記複数のプロジェクタにより複数の投影画像が投影された場合に、前記コンテンツ画像が互いに重なり合うように前記投影画像を生成する
画像処理装置。
【請求項3】
請求項１に記載の画像処理装置であって、さらに、
前記複数の単色プロジェクタの各々により投影される対象となる前記コンテンツ画像を取得する取得部を具備し、
前記第１の生成部は、前記補正パラメータを用いて、取得された前記コンテンツ画像を補正して、前記投影画像を生成する
画像処理装置。
前記複数の単色プロジェクタの各々により投影される対象となる前記コンテンツ画像を取得する取得部を具備し、
前記第１の生成部は、前記補正パラメータを用いて、取得された前記コンテンツ画像を補正して、前記投影画像を生成する
画像処理装置。
【請求項4】
請求項１に記載の画像処理装置であって、
前記第１の生成部は、所定のフレームレートで前記投影画像を生成し、
前記第２の生成部は、フレームごとに前記補正パラメータを生成する
画像処理装置。
前記第１の生成部は、所定のフレームレートで前記投影画像を生成し、
前記第２の生成部は、フレームごとに前記補正パラメータを生成する
画像処理装置。
【請求項5】
請求項４に記載の画像処理装置であって、
前記第２の生成部は、前記特徴点画像の検出結果に基づいて、過去のフレームで生成された前記補正パラメータを更新する
画像処理装置。
前記第２の生成部は、前記特徴点画像の検出結果に基づいて、過去のフレームで生成された前記補正パラメータを更新する
画像処理装置。
【請求項6】
請求項５に記載の画像処理装置であって、
前記第２の生成部は、前記特徴点画像の検出結果に基づいて、前記補正パラメータの変化を推測し、前記補正パラメータを更新する
画像処理装置。
前記第２の生成部は、前記特徴点画像の検出結果に基づいて、前記補正パラメータの変化を推測し、前記補正パラメータを更新する
画像処理装置。
【請求項7】
請求項１に記載の画像処理装置であって、
前記第２の生成部は、前記複数の単色プロジェクタのうちいずれの単色プロジェクタにより投影された前記特徴点画像であるかを識別し、前記複数の単色プロジェクタの各々に対応する前記特徴点画像の検出結果に基づいて、前記複数の単色プロジェクタの各々に対して前記補正パラメータを生成する
画像処理装置。
前記第２の生成部は、前記複数の単色プロジェクタのうちいずれの単色プロジェクタにより投影された前記特徴点画像であるかを識別し、前記複数の単色プロジェクタの各々に対応する前記特徴点画像の検出結果に基づいて、前記複数の単色プロジェクタの各々に対して前記補正パラメータを生成する
画像処理装置。
【請求項8】
請求項１に記載の画像処理装置であって、
前記第２の生成部は、前記複数の単色プロジェクタの各々の焦点距離に関する前記補正パラメータ、又は前記複数の単色プロジェクタと投影面との位置関係に関する前記補正パラメータの少なくとも一方を、動的補正パラメータとして生成し、
前記第１の生成部は、生成された前記動的補正パラメータを用いて、前記投影画像を生成する
画像処理装置。
前記第２の生成部は、前記複数の単色プロジェクタの各々の焦点距離に関する前記補正パラメータ、又は前記複数の単色プロジェクタと投影面との位置関係に関する前記補正パラメータの少なくとも一方を、動的補正パラメータとして生成し、
前記第１の生成部は、生成された前記動的補正パラメータを用いて、前記投影画像を生成する
画像処理装置。
【請求項9】
請求項８に記載の画像処理装置であって、さらに、
前記複数の単色プロジェクタの相対的な位置関係に関する前記補正パラメータ、又は前記複数の単色プロジェクタの各々のレンズ歪みに関する前記補正パラメータの少なくとも一方を、共通補正パラメータとして記憶する記憶部を具備し、
前記第１の生成部は、記憶された前記共通補正パラメータを用いて、前記投影画像を生成する
画像処理装置。
前記複数の単色プロジェクタの相対的な位置関係に関する前記補正パラメータ、又は前記複数の単色プロジェクタの各々のレンズ歪みに関する前記補正パラメータの少なくとも一方を、共通補正パラメータとして記憶する記憶部を具備し、
前記第１の生成部は、記憶された前記共通補正パラメータを用いて、前記投影画像を生成する
画像処理装置。
【請求項10】
請求項１に記載の画像処理装置であって、
前記第１の生成部は、生成された前記補正パラメータに基づいて、前記第２の画素領域における前記特徴点画像の位置を算出する
画像処理装置。
前記第１の生成部は、生成された前記補正パラメータに基づいて、前記第２の画素領域における前記特徴点画像の位置を算出する
画像処理装置。
【請求項11】
請求項１に記載の画像処理装置であって、
前記第１の生成部は、全画素領域が前記特徴点画像の構成対象となる画像を、所定のフレームにて投影される補正用画像として生成し、
前記第２の生成部は、前記複数の単色プロジェクタの各々により投影された前記補正用画像が撮像された撮像画像に基づいて、前記補正パラメータを更新する
画像処理装置。
前記第１の生成部は、全画素領域が前記特徴点画像の構成対象となる画像を、所定のフレームにて投影される補正用画像として生成し、
前記第２の生成部は、前記複数の単色プロジェクタの各々により投影された前記補正用画像が撮像された撮像画像に基づいて、前記補正パラメータを更新する
画像処理装置。
【請求項12】
請求項１に記載の画像処理装置であって、
前記複数の単色プロジェクタは、赤色光により構成される赤色画像を投影する第１の単色プロジェクタ、緑色光により構成される緑色画像を投影する第２の単色プロジェクタ、及び青色光により構成される青色画像を投影する第３の単色プロジェクタであり、
前記複数の単色プロジェクタにより複数の投影画像が投影された場合に、前記コンテンツ画像が互いに重なり合うことで、カラー画像が表示される
画像処理装置。
前記複数の単色プロジェクタは、赤色光により構成される赤色画像を投影する第１の単色プロジェクタ、緑色光により構成される緑色画像を投影する第２の単色プロジェクタ、及び青色光により構成される青色画像を投影する第３の単色プロジェクタであり、
前記複数の単色プロジェクタにより複数の投影画像が投影された場合に、前記コンテンツ画像が互いに重なり合うことで、カラー画像が表示される
画像処理装置。
【請求項13】
複数の単色プロジェクタの各々に対して、コンテンツ画像を構成する第１の画素領域と、前記第１の画素領域以外の第２の画素領域とを有し、前記第２の画素領域の少なくとも一部が特徴点画像を構成する投影画像を、補正パラメータを用いて生成し、
前記複数の単色プロジェクタの各々により投影された前記投影画像が撮像された撮像画像から前記特徴点画像を検出し、前記特徴点画像の検出結果に基づいて前記補正パラメータを生成する
ことをコンピュータシステムが実行する画像処理方法。
前記複数の単色プロジェクタの各々により投影された前記投影画像が撮像された撮像画像から前記特徴点画像を検出し、前記特徴点画像の検出結果に基づいて前記補正パラメータを生成する
ことをコンピュータシステムが実行する画像処理方法。
【請求項14】
複数の単色プロジェクタの各々に対して、コンテンツ画像を構成する第１の画素領域と、前記第１の画素領域以外の第２の画素領域とを有し、前記第２の画素領域の少なくとも一部が特徴点画像を構成する投影画像を、補正パラメータを用いて生成するステップと、
前記複数の単色プロジェクタの各々により投影された前記投影画像が撮像された撮像画像から前記特徴点画像を検出し、前記特徴点画像の検出結果に基づいて前記補正パラメータを生成するステップと
をコンピュータシステムに実行させるプログラム。
前記複数の単色プロジェクタの各々により投影された前記投影画像が撮像された撮像画像から前記特徴点画像を検出し、前記特徴点画像の検出結果に基づいて前記補正パラメータを生成するステップと
をコンピュータシステムに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、プロジェクタによる画像の投影に適用可能な画像処理部、画像処理方法、及びプログラムに関する。
【背景技術】
【0002】
特許文献１には、被投影物が移動した場合に生じる投影映像と被投影物との間のずれを補正し、被投影物が移動しても投影映像と被投影物との間にずれが生じないようにする投影システムについて開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－２１５８１１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このように、プロジェクタによる画像の投影に関して、高品質な画像を投影することを可能とする技術が求められている。
【0005】
以上のような事情に鑑み、本技術の目的は、高品質な画像を投影することを可能とする画像処理部、画像処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本技術の一形態に係る画像処理装置は、第１の生成部と、第２の生成部とを具備する。
前記第１の生成部は、複数の単色プロジェクタの各々に対して、コンテンツ画像を構成する第１の画素領域と、前記第１の画素領域以外の第２の画素領域とを有し、前記第２の画素領域の少なくとも一部が特徴点画像を構成する投影画像を、補正パラメータを用いて生成する。
前記第２の生成部は、前記複数の単色プロジェクタの各々により投影された前記投影画像が撮像された撮像画像から前記特徴点画像を検出し、前記特徴点画像の検出結果に基づいて前記補正パラメータを生成する。
前記第１の生成部は、複数の単色プロジェクタの各々に対して、コンテンツ画像を構成する第１の画素領域と、前記第１の画素領域以外の第２の画素領域とを有し、前記第２の画素領域の少なくとも一部が特徴点画像を構成する投影画像を、補正パラメータを用いて生成する。
前記第２の生成部は、前記複数の単色プロジェクタの各々により投影された前記投影画像が撮像された撮像画像から前記特徴点画像を検出し、前記特徴点画像の検出結果に基づいて前記補正パラメータを生成する。
【0007】
この画像処理装置では、コンテンツ画像を構成する第１の画素領域と、少なくとも一部が特徴点画像を構成する第２の画素領域とを含む投影画像が生成される。そして複数の単色プロジェクタにより投影された投影画像が撮像された撮像画像から特徴点画像が検出され、検出結果に基づいて投影画像を生成するための補正パラメータが生成される。これにより、複数の単色プロジェクタを用いた高品質な画像の投影を実現することが可能となる。
【0008】
前記第１の生成部は、前記複数のプロジェクタにより複数の投影画像が投影された場合に、前記コンテンツ画像が互いに重なり合うように前記投影画像を生成してもよい。
【0009】
前記画像処理装置は、さらに、前記複数の単色プロジェクタの各々により投影される対象となる前記コンテンツ画像を取得する取得部を具備してもよい。この場合、前記第１の生成部は、前記補正パラメータを用いて、取得された前記コンテンツ画像を補正して、前記投影画像を生成してもよい。
【0010】
前記第１の生成部は、所定のフレームレートで前記投影画像を生成してもよい。この場合、前記第２の生成部は、フレームごとに前記補正パラメータを生成してもよい。
【0011】
前記第２の生成部は、前記特徴点画像の検出結果に基づいて、過去のフレームで生成された前記補正パラメータを更新してもよい。
【0012】
前記第２の生成部は、前記特徴点画像の検出結果に基づいて、前記補正パラメータの変化を推測し、前記補正パラメータを更新してもよい。
【0013】
前記第２の生成部は、前記複数の単色プロジェクタのうちいずれの単色プロジェクタにより投影された前記特徴点画像であるかを識別し、前記複数の単色プロジェクタの各々に対応する前記特徴点画像の検出結果に基づいて、前記複数の単色プロジェクタの各々に対して前記補正パラメータを生成してもよい。
【0014】
前記第２の生成部は、前記複数の単色プロジェクタの各々の焦点距離に関する前記補正パラメータ、又は前記複数の単色プロジェクタと投影面との位置関係に関する前記補正パラメータの少なくとも一方を、動的補正パラメータとして生成してもよい。この場合、前記第１の生成部は、生成された前記動的補正パラメータを用いて、前記投影画像を生成してもよい。
【0015】
前記画像処理装置は、さらに、前記複数の単色プロジェクタの相対的な位置関係に関する前記補正パラメータ、又は前記複数の単色プロジェクタの各々のレンズ歪みに関する前記補正パラメータの少なくとも一方を、共通補正パラメータとして記憶する記憶部を具備してもよい。この場合、前記第１の生成部は、記憶された前記共通補正パラメータを用いて、前記投影画像を生成してもよい。
【0016】
前記第１の生成部は、生成された前記補正パラメータに基づいて、前記第２の画素領域における前記特徴点画像の位置を算出してもよい。
【0017】
前記第１の生成部は、全画素領域が前記特徴点画像の構成対象となる画像を、所定のフレームにて投影される補正用画像として生成してもよい。この場合、前記第２の生成部は、前記複数の単色プロジェクタの各々により投影された前記補正用画像が撮像された撮像画像に基づいて、前記補正パラメータを更新してもよい。
【0018】
前記複数の単色プロジェクタは、赤色光により構成される赤色画像を投影する第１の単色プロジェクタ、緑色光により構成される緑色画像を投影する第２の単色プロジェクタ、及び青色光により構成される青色画像を投影する第３の単色プロジェクタであってもよい。この場合、前記複数の単色プロジェクタにより複数の投影画像が投影された場合に、前記コンテンツ画像が互いに重なり合うことで、カラー画像が表示されてもよい。
【0019】
本技術の一形態に係る画像処理方法は、コンピュータシステムにより実行される画像処理方法であって、複数の単色プロジェクタの各々に対して、コンテンツ画像を構成する第１の画素領域と、前記第１の画素領域以外の第２の画素領域とを有し、前記第２の画素領域の少なくとも一部が特徴点画像を構成する投影画像を、補正パラメータを用いて生成することを含む。
前記複数の単色プロジェクタの各々により投影された前記投影画像が撮像された撮像画像から前記特徴点画像が検出され、前記特徴点画像の検出結果に基づいて前記補正パラメータが生成される。
前記複数の単色プロジェクタの各々により投影された前記投影画像が撮像された撮像画像から前記特徴点画像が検出され、前記特徴点画像の検出結果に基づいて前記補正パラメータが生成される。
【0020】
本技術の一形態に係るプログラムは、コンピュータシステムに、以下のステップを実行させる。
複数の単色プロジェクタの各々に対して、コンテンツ画像を構成する第１の画素領域と、前記第１の画素領域以外の第２の画素領域とを有し、前記第２の画素領域の少なくとも一部が特徴点画像を構成する投影画像を、補正パラメータを用いて生成するステップ。
前記複数の単色プロジェクタの各々により投影された前記投影画像が撮像された撮像画像から前記特徴点画像を検出し、前記特徴点画像の検出結果に基づいて前記補正パラメータを生成するステップ。
複数の単色プロジェクタの各々に対して、コンテンツ画像を構成する第１の画素領域と、前記第１の画素領域以外の第２の画素領域とを有し、前記第２の画素領域の少なくとも一部が特徴点画像を構成する投影画像を、補正パラメータを用いて生成するステップ。
前記複数の単色プロジェクタの各々により投影された前記投影画像が撮像された撮像画像から前記特徴点画像を検出し、前記特徴点画像の検出結果に基づいて前記補正パラメータを生成するステップ。
【図面の簡単な説明】
【0021】
【図1】本技術に係る画像投影システムの適用例を説明するための模式図である。
【図2】本技術の一実施形態に係る画像投影システムの構成例を示す模式図である。
【図3】第１～第３の単色プロジェクタの各々による単色画像の投影を示す模式図である。
【図4】投影画像の生成例を示す模式図である。
【図5】投影画像の生成例を示す模式図である。
【図6】画像投影システムの機能的な構成例を示すブロック図である。
【図7】第１～第３の単色プロジェクタと投影面との投影距離の変化を説明するための模式図である。
【図8】共通補正パラメータ、及び動的補正パラメータを用いたコンテンツ画像の補正例を示す模式図である。
【図9】工場出荷時の処理例を示すフローチャートである。
【図10】電源立ち上げ時の処理例を示すフローチャートである（順次点灯フロー）。
【図11】電源立ち上げ時の処理例を示すフローチャートである（同時点灯フロー）。
【図12】コンテンツ画像の投影時の処理例を示すフローチャートである。
【図13】キャリブレーション画像の投影例を示す模式図である。
【図14】画像投影システムによる他の画像投影例を説明するための模式図である。
【図15】コンピュータのハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【0022】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【0023】
［画像投影システムの適用例］
図１は、本技術に係る画像投影システムの適用例を説明するための模式図である。
図１に示すように、本技術に係る画像投影システムは、スマートフォンやタブレット端末等のモバイル端末１によるカラー画像２の投影に適用することが可能である。
もちろん、本技術の適用対象がモバイル端末１に限定される訳ではない。ウエアラブル情報機器（眼鏡型、リストバンド型）や、ゲーム機器等、任意の電子機器に対して、本技術を適用することが可能である。
図１は、本技術に係る画像投影システムの適用例を説明するための模式図である。
図１に示すように、本技術に係る画像投影システムは、スマートフォンやタブレット端末等のモバイル端末１によるカラー画像２の投影に適用することが可能である。
もちろん、本技術の適用対象がモバイル端末１に限定される訳ではない。ウエアラブル情報機器（眼鏡型、リストバンド型）や、ゲーム機器等、任意の電子機器に対して、本技術を適用することが可能である。
【0024】
［画像投影システム］
図２は、本技術の一実施形態に係る画像投影システムの構成例を示す模式図である。
画像投影システム１００は、画像投影装置４と、撮像装置５と、画像処理部６とを有する。画像投影装置４及び画像処理部６は、電気的に接続される。また撮像装置５及び画像処理部６も電気的に接続される。
画像投影システム１００は、例えば図１に示すモバイル端末１に搭載される。
図２は、本技術の一実施形態に係る画像投影システムの構成例を示す模式図である。
画像投影システム１００は、画像投影装置４と、撮像装置５と、画像処理部６とを有する。画像投影装置４及び画像処理部６は、電気的に接続される。また撮像装置５及び画像処理部６も電気的に接続される。
画像投影システム１００は、例えば図１に示すモバイル端末１に搭載される。
【0025】
図２に示すように、画像投影装置４は、複数の単色プロジェクタ７を有する。
単色プロジェクタ７は、単色光により構成される単色画像９を生成して投影することが可能である。
例えば、単色プロジェクタ７は、自発光により単色画像９を生成可能なＯＬＥＤ（Organic Light Emitting Diode）パネル、及び生成された画像光を投影面に投影する投影レンズ部（ともに図示は省略）により構成される。
単色プロジェクタ７は、単色光により構成される単色画像９を生成して投影することが可能である。
例えば、単色プロジェクタ７は、自発光により単色画像９を生成可能なＯＬＥＤ（Organic Light Emitting Diode）パネル、及び生成された画像光を投影面に投影する投影レンズ部（ともに図示は省略）により構成される。
【0026】
あるいは、単色光を出射する光源部、光源部から出射された単色光を変調し画像画像光を生成する光変調素子、光変調素子により生成された画像光を投影面に投影する投影レンズ部（ともに図示は省略）により、単色プロジェクタ７が構成されてもよい。
光源部としては、例えばＬＥＤ（Light Emitting Diode）やＬＤ（Laser Diode）等の固体光源、又は水銀ランプやキセノンランプ等が配置される。
光変調素子としては、例えば液晶パネルやデジタルマイクロミラーデバイス（ＤＭＤ）等、任意のデバイスが用いられてよい。
投影レンズ部は、例えば複数の投影レンズ等を含み、具体的な構成は適宜設計されてよい。
その他、単色プロジェクタ７の具体的な構成は限定されず、任意の構成が採用されてよい。
光源部としては、例えばＬＥＤ（Light Emitting Diode）やＬＤ（Laser Diode）等の固体光源、又は水銀ランプやキセノンランプ等が配置される。
光変調素子としては、例えば液晶パネルやデジタルマイクロミラーデバイス（ＤＭＤ）等、任意のデバイスが用いられてよい。
投影レンズ部は、例えば複数の投影レンズ等を含み、具体的な構成は適宜設計されてよい。
その他、単色プロジェクタ７の具体的な構成は限定されず、任意の構成が採用されてよい。
【0027】
本実施形態では、複数の単色プロジェクタ７として、第１～第３の単色プロジェクタ７ａ～７ｃが用いられる。第１～第３の単色プロジェクタ７ａ～７ｃの各々は、単色画像９を投影可能に構成される。なお本開示において、画像は、静止画像及び動画像（映像）の両方を含む。
第１の単色プロジェクタ７ａは、赤色光により構成される赤色画像９ａを投影する。
第２の単色プロジェクタ７ｂは、緑色光により構成される緑色画像９ｂを投影する。
第３の単色プロジェクタ７ｃは、青色光により構成される青色画像９ｃを投影する。
第１～第３の単色プロジェクタ７ａ～７ｃは、相対的な位置関係が定められて配置される。本実施形態では、第１～第３の単色プロジェクタ７ａ～７ｃは、一方向に沿って並ぶように配置される。また第１～第３の単色プロジェクタ７ａ～７ｃは、画像光の出射方向が互いにそろえられて配置される。
第１の単色プロジェクタ７ａは、赤色光により構成される赤色画像９ａを投影する。
第２の単色プロジェクタ７ｂは、緑色光により構成される緑色画像９ｂを投影する。
第３の単色プロジェクタ７ｃは、青色光により構成される青色画像９ｃを投影する。
第１～第３の単色プロジェクタ７ａ～７ｃは、相対的な位置関係が定められて配置される。本実施形態では、第１～第３の単色プロジェクタ７ａ～７ｃは、一方向に沿って並ぶように配置される。また第１～第３の単色プロジェクタ７ａ～７ｃは、画像光の出射方向が互いにそろえられて配置される。
【0028】
図２に示すように、第１～第３の単色プロジェクタ７ａ～７ｃは、ＲＧＢの各色の単色画像９ａ～９ｃを投影可能な投影範囲１０（１０ａ～１０ｃ）が、互いに異なるように配置される。また第１～第３の単色プロジェクタ７ａ～７ｃは、投影範囲１０（１０ａ～１０ｃ）の一部が互いに重なり合うように配置される。
すなわち、第１の単色プロジェクタ７ａにより投影される赤色画像９ａの一部、第２の単色プロジェクタ７ｂにより投影される緑色画像９ｂの一部、及び第３の単色プロジェクタ７ｃにより投影される青色画像９ｃの一部が、互いに重なり合って投影される。
従って、第１～第３の単色プロジェクタ７ａ～７ｃにより、赤色画像９ａ、緑色画像９ｂ、及び青色画像９ｃが投影された場合に、３つの単色画像９ａ～９ｃが重なり合う重複範囲１１にて、カラー画像２を投影することが可能となる。
すなわち本実施形態では、ＲＧＢの３原色の単色画像９ａ～９ｃをブレンディングすることで、カラー画像２を投影することが可能となる。画像のブレンディングは、画像合成ともいえる。
以下、カラー画像２が投影される重複範囲１１を、同じ符号を用いて、カラー画像２を投影可能な投影可能範囲１１と記載する。
なお本実施系形態において、赤色画像９ａ、緑色画像９ｂ、及び青色画像９ｃは、複数の投影画像に相当する。
すなわち、第１の単色プロジェクタ７ａにより投影される赤色画像９ａの一部、第２の単色プロジェクタ７ｂにより投影される緑色画像９ｂの一部、及び第３の単色プロジェクタ７ｃにより投影される青色画像９ｃの一部が、互いに重なり合って投影される。
従って、第１～第３の単色プロジェクタ７ａ～７ｃにより、赤色画像９ａ、緑色画像９ｂ、及び青色画像９ｃが投影された場合に、３つの単色画像９ａ～９ｃが重なり合う重複範囲１１にて、カラー画像２を投影することが可能となる。
すなわち本実施形態では、ＲＧＢの３原色の単色画像９ａ～９ｃをブレンディングすることで、カラー画像２を投影することが可能となる。画像のブレンディングは、画像合成ともいえる。
以下、カラー画像２が投影される重複範囲１１を、同じ符号を用いて、カラー画像２を投影可能な投影可能範囲１１と記載する。
なお本実施系形態において、赤色画像９ａ、緑色画像９ｂ、及び青色画像９ｃは、複数の投影画像に相当する。
【0029】
図３は、第１～第３の単色プロジェクタ７ａ～７ｃの各々による単色画像９の投影を示す模式図である。
第１～第３の単色プロジェクタ７ａ～７ｃの各々は、コンテンツ画像１２が投影される第１の投影領域１３と、第１の投影領域１３以外の第２の投影領域１４とを有する。
コンテンツ画像１２は、視聴者の視聴対象となる画像であり、その種類は限定されない。
第１の投影領域１３をコンテンツ投影領域と呼ぶことも可能である。また第２の投影領域１４を、非コンテンツ投影領域と呼ぶことも可能である。
図３に示すように、第２の投影領域１４の少なくとも一部には、特徴点画像１５が投影される。
第１～第３の単色プロジェクタ７ａ～７ｃの各々は、コンテンツ画像１２が投影される第１の投影領域１３と、第１の投影領域１３以外の第２の投影領域１４とを有する。
コンテンツ画像１２は、視聴者の視聴対象となる画像であり、その種類は限定されない。
第１の投影領域１３をコンテンツ投影領域と呼ぶことも可能である。また第２の投影領域１４を、非コンテンツ投影領域と呼ぶことも可能である。
図３に示すように、第２の投影領域１４の少なくとも一部には、特徴点画像１５が投影される。
【0030】
図３Ａに示すように、第１の単色プロジェクタ７ａからは赤色画像９ａが投影される。赤色画像９ａは、コンテンツ画像１２ａが投影される第１の投影領域１３ａと、コンテンツ画像１２ａが投影されない第２の投影領域１４ａとを有する。
なお、図３では、第２の投影領域１４ａの周縁が線で図示されている。一方、第２の投影領域１４ａに対しては、特徴点画像１５のみを投影することも可能である。この場合、図３に示す第２の投影領域１４ａの周縁（線）は、投影されない。このことは、図３Ｂ及びＣに示す緑色画像９ｂ及び青色画像９ｃに関しても同様である。
図３Ａに示す例では、赤色画像９ａの全体、すなわち赤色画像９ａの投影範囲１０ａに対して、右側の領域が第１の投影領域１３ａとなり、コンテンツ画像１２ａが投影される。
なお、図３では、第２の投影領域１４ａの周縁が線で図示されている。一方、第２の投影領域１４ａに対しては、特徴点画像１５のみを投影することも可能である。この場合、図３に示す第２の投影領域１４ａの周縁（線）は、投影されない。このことは、図３Ｂ及びＣに示す緑色画像９ｂ及び青色画像９ｃに関しても同様である。
図３Ａに示す例では、赤色画像９ａの全体、すなわち赤色画像９ａの投影範囲１０ａに対して、右側の領域が第１の投影領域１３ａとなり、コンテンツ画像１２ａが投影される。
【0031】
図３Ｂに示すように、第２の単色プロジェクタ７ｂからは緑色画像９ｂが投影される。緑色画像９ｂは、コンテンツ画像１２ｂが投影される第１の投影領域１３ｂと、コンテンツ画像１２ｂが投影されない第２の投影領域１４ｂとを有する。
図３Ｂに示す例では、緑色画像９ｂの全体、すなわち緑色画像９ｂの投影範囲１０ｂに対して、中央の領域が第１の投影領域１３ｂとなり、コンテンツ画像１２ｂが投影される。
図３Ｂに示す例では、緑色画像９ｂの全体、すなわち緑色画像９ｂの投影範囲１０ｂに対して、中央の領域が第１の投影領域１３ｂとなり、コンテンツ画像１２ｂが投影される。
【0032】
図３Ｃに示すように、第３の単色プロジェクタ７ｃからは青色画像９ｃが投影される。青色画像９ｃは、コンテンツ画像１２ｃが投影される第１の投影領域１３ｂと、コンテンツ画像１２ｃが投影されない第２の投影領域１４ｃとを有する。
図３Ｃに示す例では、青色画像９ｃの全体、すなわち青色画像９ｃの投影範囲１０ｃに対して、左側の領域が第１の投影領域１３ｃとなり、コンテンツ画像１２ｃが投影される。
図３Ｃに示す例では、青色画像９ｃの全体、すなわち青色画像９ｃの投影範囲１０ｃに対して、左側の領域が第１の投影領域１３ｃとなり、コンテンツ画像１２ｃが投影される。
【0033】
なお第１～第３の単色プロジェクタ７ａ～７ｃを有する画像投影装置４は、カラー画像２を投影可能なプロジェクタとして機能する。
【0034】
撮像装置５は、第１～第３の単色プロジェクタ７ａ～７ｃの各々により投影面に投影された赤色画像９ａ、青色画像９ｂ、及び緑色画像９ｃを撮像可能に設置される。
撮像装置５としては、例えばＣＭＯＳ（Complementary-Metal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサを備えるデジタルカメラが用いられる。その他、任意の撮像装置が用いられてもよい。
本実施形態では、撮像装置５として、カラーカメラ（ＲＧＢカメラ）が用いられる。従って、撮像装置５により撮像される赤色画像９ａ、青色画像９ｂ、及び緑色画像９ｃは、ＲＧＢのカラーが再現されて撮像される。ＲＧＢカメラの具体的な構成は限定されない。
撮像装置５としては、例えばＣＭＯＳ（Complementary-Metal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサを備えるデジタルカメラが用いられる。その他、任意の撮像装置が用いられてもよい。
本実施形態では、撮像装置５として、カラーカメラ（ＲＧＢカメラ）が用いられる。従って、撮像装置５により撮像される赤色画像９ａ、青色画像９ｂ、及び緑色画像９ｃは、ＲＧＢのカラーが再現されて撮像される。ＲＧＢカメラの具体的な構成は限定されない。
【0035】
画像処理部６は、例えばＣＰＵ、ＧＰＵ、ＤＳＰ等のプロセッサ、ＲＯＭやＲＡＭ等のメモリ、ＨＤＤ等の記憶デバイス等、コンピュータの構成に必要なハードウェアを有する。例えばプロセッサがメモリや記憶デバイスに予め記録されている本技術に係るプログラムをＲＡＭにロードして実行することにより、本技術に係る画像処理方法が実行される。
画像処理部６の構成は限定されず、任意のハードウェア及びソフトウェアが用いられてよい。もちろんＦＰＧＡ、ＡＳＩＣ等のハードウェアが用いられてもよい。また画像処理部６が構成される位置も限定されず、任意に設計されてよい。
画像処理部６の構成は限定されず、任意のハードウェア及びソフトウェアが用いられてよい。もちろんＦＰＧＡ、ＡＳＩＣ等のハードウェアが用いられてもよい。また画像処理部６が構成される位置も限定されず、任意に設計されてよい。
【0036】
図２に示すように、本実施形態では、プロセッサが所定のプログラムを実行することで、機能ブロックとして取得部１７、第１の生成部１８、及び第２の生成部１９が構成される。もちろん機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが用いられてもよい。
プログラムは、例えば種々の記録媒体を介してインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
プログラムが記録される記録媒体の種類等は限定されず、コンピュータが読み取り可能な任意の記録媒体が用いられてよい。例えば、コンピュータが読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
プログラムは、例えば種々の記録媒体を介してインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
プログラムが記録される記録媒体の種類等は限定されず、コンピュータが読み取り可能な任意の記録媒体が用いられてよい。例えば、コンピュータが読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
【0037】
取得部１７は、複数の単色プロジェクタ７の各々により投影される対象となるコンテンツ画像（画像データ）を取得する。本実施形態では、第１～第３の単色プロジェクタ７ａ～７ｃの各々により投影される対象となるコンテンツ画像（画像データ）が取得される。
なお本開示において、画像の取得は、外部の装置から画像データを受信すること、及び画像データを自ら生成することの両方を含む。
なお本開示において、画像の取得は、外部の装置から画像データを受信すること、及び画像データを自ら生成することの両方を含む。
【0038】
第１の生成部１８は、複数の単色プロジェクタ７の各々に対して、画像を投影するための投影画像（画像データ）を生成する。本実施形態では、図４に例示したＲＧＢの各色の単色画像９ａ～９ｃを投影するための投影画像（画像データ）が生成される。
第２の生成部１９は、第１の生成部１８が投影画像を生成するための補正パラメータを生成する。従って、第１の生成部１８は、第２の生成部１９により生成された補正パラメータを用いて、投影画像を生成する。
第２の生成部１９は、第１の生成部１８が投影画像を生成するための補正パラメータを生成する。従って、第１の生成部１８は、第２の生成部１９により生成された補正パラメータを用いて、投影画像を生成する。
【0039】
本実施形態では、画像処理部６が投影されたモバイル端末１が、本技術に係る画像処理装置の一実施形態に相当する。
【0040】
図４及び図５は、画像処理部６の動作例を説明するための模式図である。
図４に示すように、取得部１７により、例えばカラー画像として構成されているコンテンツ画像２２（画像データ）が、外部の画像供給装置等により取得される。
取得部１７により、カラーのコンテンツ画像２２が、ＲＧＢの３原色の画像データに分解される。これにより、第１の単色プロジェクタ７ａにより投影される対象となるコンテンツ画像２２ａが取得される。また第２の単色プロジェクタ７ｂにより投影される対象となるコンテンツ画像２２ｂが取得される。また第３の単色プロジェクタ７ｃにより投影される対象となるコンテンツ画像２２ｃが取得される。
もちろん、外部の画像供給装置等から、ＲＧＢの３原色に分解されたコンテンツ画像２２ａ～２２ｂが取得されてもよい。
図４に示すように、取得部１７により、例えばカラー画像として構成されているコンテンツ画像２２（画像データ）が、外部の画像供給装置等により取得される。
取得部１７により、カラーのコンテンツ画像２２が、ＲＧＢの３原色の画像データに分解される。これにより、第１の単色プロジェクタ７ａにより投影される対象となるコンテンツ画像２２ａが取得される。また第２の単色プロジェクタ７ｂにより投影される対象となるコンテンツ画像２２ｂが取得される。また第３の単色プロジェクタ７ｃにより投影される対象となるコンテンツ画像２２ｃが取得される。
もちろん、外部の画像供給装置等から、ＲＧＢの３原色に分解されたコンテンツ画像２２ａ～２２ｂが取得されてもよい。
【0041】
第１の生成部１８は、第１～第３の単色プロジェクタ７ａ～７ｃの各々に対して、投影画像２３（２３ａ～２３ｃ）を生成する。
図４に示すように、投影画像２３は、コンテンツ画像２２（２２ａ～２２ｃ）を構成する第１の画素領域２６（２６ａ～２６ｃ）と、第１の画素領域２６以外の第２の画素領域２７（２７ａ～２７ｃ）とを有し、第２の画素領域２７の少なくとも一部が特徴点画像２５（２５ａ～２５ｃ）を構成する。
コンテンツ画像２２が、投影面上のコンテンツ画像１２に相当する。また第１の画素領域２６が、投影面上の第１の投影領域１３に相当する。また第２の画素領域２７が、投影面上の第２の投影領域１４に相当する。
図４に示すように、投影画像２３は、コンテンツ画像２２（２２ａ～２２ｃ）を構成する第１の画素領域２６（２６ａ～２６ｃ）と、第１の画素領域２６以外の第２の画素領域２７（２７ａ～２７ｃ）とを有し、第２の画素領域２７の少なくとも一部が特徴点画像２５（２５ａ～２５ｃ）を構成する。
コンテンツ画像２２が、投影面上のコンテンツ画像１２に相当する。また第１の画素領域２６が、投影面上の第１の投影領域１３に相当する。また第２の画素領域２７が、投影面上の第２の投影領域１４に相当する。
【0042】
図２に例示するように、第１の生成部１８は、第１～第３の単色プロジェクタ７ａ～７ｃにより複数の単色画像９ａ～９ｃが投影された場合に、コンテンツ画像１２ａ～１２ｃが互いに重なり合うように、投影画像２３（２３ａ～２３ｃ）を生成する。
なお、第１～第３の単色プロジェクタ７ａ～７ｃにより投影される複数の単色画像９は、生成された投影画像２３（画像データ）に基づいて投影される複数の投影画像に相当する。
なお、第１～第３の単色プロジェクタ７ａ～７ｃにより投影される複数の単色画像９は、生成された投影画像２３（画像データ）に基づいて投影される複数の投影画像に相当する。
【0043】
第１の生成部１８は、投影面においてコンテンツ画像１２ａ～１２ｃが高い精度で重なり合うように、投影画像２３ａ～２３ｃを生成する。そのために、第１の生成部１８は、図４に示すように、補正パラメータ２９（２９ａ～２９ｃ）を用いて、投影画像２３ａ～２３ｃを生成する。
具体的には、第１の生成部１８は、補正パラメータ２９ａ～２９ｃを用いて、取得部１７により取得されたコンテンツ画像２２ａ～２２ｂを補正して、投影画像２３ａ～２３ｃを生成する。
具体的には、第１の生成部１８は、補正パラメータ２９ａ～２９ｃを用いて、取得部１７により取得されたコンテンツ画像２２ａ～２２ｂを補正して、投影画像２３ａ～２３ｃを生成する。
【0044】
補正パラメータを用いた補正としては、例えば、投影面の幾何的な位置関係に応じて、コンテンツ画像を歪ませる等の幾何変換が挙げられる。
例えば、補正パラメータを用いたコンテンツ画像２２の補正として、以下の式に示すような画像の幾何変換（座標変換）が実行される。
例えば、補正パラメータを用いたコンテンツ画像２２の補正として、以下の式に示すような画像の幾何変換（座標変換）が実行される。
【0045】
【数1】
【0046】
［数１］式において、座標値（Ｘ、Ｙ）は、コンテンツ画像２２の各画素の座標値である。コンテンツ画像２２の各画素の座標値を変換行列Ｍｃで変換する。そして、変換後の座標値（Ｘ'、Ｙ'）に対応する投影画像２３の画素に、コンテンツ画像２２の座標値（Ｘ、Ｙ）の画素の画素値を割り当てる。
画像の幾何変換としては、拡大／縮小、平行移動、回転等の線形変換が挙げられる。これに限定されず、射影変換、アフィン変換、非線形変換等を用いた任意の幾何変換が実行されてもよい。
また、変換行列Ｍｃが用いられる場合、変換行列Ｍｃは、補正パラメータ２９となる。また、変換行列Ｍｃの要素（成分）も、補正パラメータ２９に含まれる。
もちろん、第１の生成部１８により実行される、補正パラメータ２９を用いた投影画像２３の生成が、コンテンツ画像２２の幾何変換に限定される訳ではない。他の画像生成方法が用いられてもよい。
また、本技術に係る補正パラメータの一実施形態として、変換行列Ｍｃとは異なるパラメータが用いられてもよい。
画像の幾何変換としては、拡大／縮小、平行移動、回転等の線形変換が挙げられる。これに限定されず、射影変換、アフィン変換、非線形変換等を用いた任意の幾何変換が実行されてもよい。
また、変換行列Ｍｃが用いられる場合、変換行列Ｍｃは、補正パラメータ２９となる。また、変換行列Ｍｃの要素（成分）も、補正パラメータ２９に含まれる。
もちろん、第１の生成部１８により実行される、補正パラメータ２９を用いた投影画像２３の生成が、コンテンツ画像２２の幾何変換に限定される訳ではない。他の画像生成方法が用いられてもよい。
また、本技術に係る補正パラメータの一実施形態として、変換行列Ｍｃとは異なるパラメータが用いられてもよい。
【0047】
第１の生成部１８により補正されたコンテンツ画像２２を構成する画素領域が、第１の画素領域２６となる。第１の画素領域２６以外の第２の画素領域２７の少なくとも一部には、特徴点画像２５が設定される。
例えば、画像データの生成に関して、パネルの有効画素領域に対応した領域を、描画領域とする。そして、画素値の設定を、描画領域に対する画像の描画（レンダリング）とする。
この場合、第１の生成部１８は、画素領域の一部に補正されたコンテンツ画像２２を描画し、コンテンツ画像２２が描画されない非コンテンツ画像描画領域の少なくとも一部に、特徴点画像２５を描画する。このように表現することも可能である。
例えば、画像データの生成に関して、パネルの有効画素領域に対応した領域を、描画領域とする。そして、画素値の設定を、描画領域に対する画像の描画（レンダリング）とする。
この場合、第１の生成部１８は、画素領域の一部に補正されたコンテンツ画像２２を描画し、コンテンツ画像２２が描画されない非コンテンツ画像描画領域の少なくとも一部に、特徴点画像２５を描画する。このように表現することも可能である。
【0048】
特徴点画像２５としては、任意の形状を有する画像を用いることが可能である。例えばバツ印（クロスマーク）、三角マーク、矩形マーク、円形マーク等が挙げられる。特徴点画像２５として、各単色プロジェクタ７による投影面に対する単色画像９の投影状態が検出可能な任意の画像が用いられてもよい。
図４に例示するように、本実施形態では、投影画像２３の四隅に近い位置、あるいは、コンテンツ画像２２が構成される第１の画素領域２６に近い位置に、特徴点画像２５が描画される。特徴点画像２５の数、構成される位置等は限定されず任意に設定されてよい。
特徴点画像２５が、コンテンツ画像２２（第１の画素領域２６）に近すぎると、ＲＧＢの３原色の単色画像９ａ～９ｃが投影される際に、ほんの少しのずれ等により他の色の単色画像９のコンテンツ画像１２（第１の投影領域１３）に、特徴点画像１５が重なってしまうこともあり得る。また、コンテンツ画像１２の視聴を妨げてしまう可能性もあり得る。
一方で、コンテンツ画像２２（第１の画素領域２６）から離れた位置のみに特徴点画像２５を設定する場合には、投影されたコンテンツ画像１２付近の投影状態の検出精度が低下する可能性もあり得る。
従って、コンテンツ画像２２（第１の画素領域２６）からある程度離れた位置に特徴点画像２５を設定することで、投影されたコンテンツ画像１２付近の投影状態を精度よく検出することが可能となる。
また、それに加えて、投影画像２３の四隅に近い位置に特徴点画像２５を設定することで、投影画像２３全体の投影状態を精度よく検出することが可能となる。
図４に例示するように、本実施形態では、投影画像２３の四隅に近い位置、あるいは、コンテンツ画像２２が構成される第１の画素領域２６に近い位置に、特徴点画像２５が描画される。特徴点画像２５の数、構成される位置等は限定されず任意に設定されてよい。
特徴点画像２５が、コンテンツ画像２２（第１の画素領域２６）に近すぎると、ＲＧＢの３原色の単色画像９ａ～９ｃが投影される際に、ほんの少しのずれ等により他の色の単色画像９のコンテンツ画像１２（第１の投影領域１３）に、特徴点画像１５が重なってしまうこともあり得る。また、コンテンツ画像１２の視聴を妨げてしまう可能性もあり得る。
一方で、コンテンツ画像２２（第１の画素領域２６）から離れた位置のみに特徴点画像２５を設定する場合には、投影されたコンテンツ画像１２付近の投影状態の検出精度が低下する可能性もあり得る。
従って、コンテンツ画像２２（第１の画素領域２６）からある程度離れた位置に特徴点画像２５を設定することで、投影されたコンテンツ画像１２付近の投影状態を精度よく検出することが可能となる。
また、それに加えて、投影画像２３の四隅に近い位置に特徴点画像２５を設定することで、投影画像２３全体の投影状態を精度よく検出することが可能となる。
【0049】
第２の生成部１９は、第１～第３の単色プロジェクタ７ａ～７ｃの各々により投影された単色画像９ａ～９ｃが撮像された撮像画像から、特徴点画像１５を検出し、特徴点画像１５の検出結果に基づいて、投影画像２３ａ～２３ｃを生成するための補正パラメータ２９ａ～２９ｃを生成する。
例えば、撮像画像から特徴点画像１５の位置が検出され、当該特徴点画像１５の位置に基づいて、補正パラメータ２９が生成される。その他、特徴点画像１５の検出結果として、特徴点画像１５の形状等が用いられてもよい。
例えば、撮像画像から特徴点画像１５の位置が検出され、当該特徴点画像１５の位置に基づいて、補正パラメータ２９が生成される。その他、特徴点画像１５の検出結果として、特徴点画像１５の形状等が用いられてもよい。
【0050】
第２の生成部１９は、第１～第３の単色プロジェクタ７ａ～７ｃのうちいずれの単色プロジェクタ７により投影された特徴点画像１５であるかを識別可能に構成される。
本実施形態では、撮像装置５としてＲＧＢカメラが用いられる。従ってＲＧＢの色情報に基づいて、いずれの単色プロジェクタ７により投影された特徴点画像１５かを識別することが可能である。
もちろん、いずれの単色プロジェクタ７により投影された特徴点画像１５であるかを識別する方法として、他の任意の方法が用いられてよい。例えば投影される特徴点画像１５の形状を単色プロジェクタ７ごとに変えることで、特徴点画像２５を投影した単色プロジェクタ７を識別することが可能となる。
第２の生成部１９は、第１～第３の単色プロジェクタ７ａ～７ｃの各々に対応する特徴点画像１５の検出結果に基づいて、第１～第３の単色プロジェクタ７ａ～７ｃの各々に対して補正パラメータ２９ａ～２９ｃを生成する。
本実施形態では、撮像装置５としてＲＧＢカメラが用いられる。従ってＲＧＢの色情報に基づいて、いずれの単色プロジェクタ７により投影された特徴点画像１５かを識別することが可能である。
もちろん、いずれの単色プロジェクタ７により投影された特徴点画像１５であるかを識別する方法として、他の任意の方法が用いられてよい。例えば投影される特徴点画像１５の形状を単色プロジェクタ７ごとに変えることで、特徴点画像２５を投影した単色プロジェクタ７を識別することが可能となる。
第２の生成部１９は、第１～第３の単色プロジェクタ７ａ～７ｃの各々に対応する特徴点画像１５の検出結果に基づいて、第１～第３の単色プロジェクタ７ａ～７ｃの各々に対して補正パラメータ２９ａ～２９ｃを生成する。
【0051】
補正パラメータ２９としては、例えば、単色プロジェクタ７のレンズ歪みに起因する成分、各単色プロジェクタ７の幾何的な位置関係に起因する成分、単色プロジェクタ７の焦点距離（レンズフォーカス）に起因する成分、及びハードウェアと投影面の幾何的な位置関係に起因する成分の４つの成分を補正するための補正パラメータ２９が挙げられる。
すなわち、補正パラメータ２９として、以下の補正パラメータが挙げられる。
第１～第３の単色プロジェクタ７ａ～７ｃの相対的な位置関係に関する補正パラメータ。
第１～第３の単色プロジェクタ７ａ～７ｃの各々のレンズ歪みに関する補正パラメータ。
第１～第３の単色プロジェクタ７ａ～７ｃの各々の焦点距離に関する補正パラメータ。
第１～第３の単色プロジェクタ７ａ～７ｃと投影面との相対的な位置関係に関する補正パラメータ。
もちろん、これらの補正パラメータ２９に限定されず、投影画像２３を生成するために使用可能な任意の補正パラメータが生成されてよい。また、上記で挙げた種々の補正パラメータのうち少なくとも１つの補正パラメータ２９が生成されればよい。
すなわち、補正パラメータ２９として、以下の補正パラメータが挙げられる。
第１～第３の単色プロジェクタ７ａ～７ｃの相対的な位置関係に関する補正パラメータ。
第１～第３の単色プロジェクタ７ａ～７ｃの各々のレンズ歪みに関する補正パラメータ。
第１～第３の単色プロジェクタ７ａ～７ｃの各々の焦点距離に関する補正パラメータ。
第１～第３の単色プロジェクタ７ａ～７ｃと投影面との相対的な位置関係に関する補正パラメータ。
もちろん、これらの補正パラメータ２９に限定されず、投影画像２３を生成するために使用可能な任意の補正パラメータが生成されてよい。また、上記で挙げた種々の補正パラメータのうち少なくとも１つの補正パラメータ２９が生成されればよい。
【0052】
【0053】
本実施形態では、撮像装置５により、フレームごとに、第１～第３の単色プロジェクタ７ａ～７ｃにより投影される単色画像９ａ～９ｃが撮像される。
また第２の生成部１９により、フレームごとに撮像画像が取得され、特徴点画像１５の検出結果に基づいて、補正パラメータ２９ａ～２９ｃが生成される。なお、補正パラメータ２９の生成は、過去のフレームにて生成された補正パラメータ２９を更新することを含む。
従って、第２の生成部１９により、特徴点画像１５の検出結果に基づいて、過去のフレームで生成された補正パラメータ２９ａ～２９ｃが更新されてもよい。また第２の生成部１９により、特徴点画像１５の検出結果に基づいて、補正パラメータ２９ａ～２９ｃの変化分が推測され、補正パラメータ２９ａ～２９ｃが更新されてもよい。
また第２の生成部１９により、フレームごとに撮像画像が取得され、特徴点画像１５の検出結果に基づいて、補正パラメータ２９ａ～２９ｃが生成される。なお、補正パラメータ２９の生成は、過去のフレームにて生成された補正パラメータ２９を更新することを含む。
従って、第２の生成部１９により、特徴点画像１５の検出結果に基づいて、過去のフレームで生成された補正パラメータ２９ａ～２９ｃが更新されてもよい。また第２の生成部１９により、特徴点画像１５の検出結果に基づいて、補正パラメータ２９ａ～２９ｃの変化分が推測され、補正パラメータ２９ａ～２９ｃが更新されてもよい。
【0054】
例えば、特徴点画像１５の位置に基づいて、第１～第３の単色プロジェクタ７ａ～７ｃの各々の焦点距離の変化が推測される。当該推測結果に基づいて、焦点距離に関する補正パラメータ２９の変化が推測され、補正パラメータ２９が更新される。
また、特徴点画像１５の位置に基づいて、第１～第３の単色プロジェクタ７ａ～７ｃと投影面との相対的な位置関係の変化が推測される。当該推測結果に基づいて、相対的な位置関係に関する補正パラメータ２９の変化が推測され、補正パラメータ２９が更新される。このような処理も可能である。
また、特徴点画像１５の位置に基づいて、第１～第３の単色プロジェクタ７ａ～７ｃと投影面との相対的な位置関係の変化が推測される。当該推測結果に基づいて、相対的な位置関係に関する補正パラメータ２９の変化が推測され、補正パラメータ２９が更新される。このような処理も可能である。
【0055】
第１の生成部１８は、第２の生成部１９により生成された補正パラメータ２９を用いて、投影画像２３ａ～２３ｃを生成する。
例えば、図５に示すように、前フレーム（ｔ－１）にて、投影画像２３ａ～２３ｃに基づいて、第１～第３の単色プロジェクタ７ａ～７ｂにより、ＲＧＢの３原色の単色画像９ａ～９ｃが投影される。
現フレームにて、投影された単色画像９ａ～９ｂの撮像画像に基づいて、補正パラメータ２９ａ～２９ｃが作成さされる。そして補正パラメータ２９ａ～２９ｃが用いられて、現フレームの投影画像２３ａ～２３ｃが生成される。
このように、フレームごとに、特徴点画像１５の検出結果に基づいて、補正パラメータ２９ａ～２９ｃが生成される。そして補正パラメータ２９ａ～２９ｃが用いられて、投影画像２３ａ～２３ｃが生成される。
これにより、投影面においてコンテンツ画像１２ａ～１２ｃを高い精度で重ね合わせることが可能となり、高品質なカラー画像２を投影することが可能となる。
例えば、図５に示すように、前フレーム（ｔ－１）にて、投影画像２３ａ～２３ｃに基づいて、第１～第３の単色プロジェクタ７ａ～７ｂにより、ＲＧＢの３原色の単色画像９ａ～９ｃが投影される。
現フレームにて、投影された単色画像９ａ～９ｂの撮像画像に基づいて、補正パラメータ２９ａ～２９ｃが作成さされる。そして補正パラメータ２９ａ～２９ｃが用いられて、現フレームの投影画像２３ａ～２３ｃが生成される。
このように、フレームごとに、特徴点画像１５の検出結果に基づいて、補正パラメータ２９ａ～２９ｃが生成される。そして補正パラメータ２９ａ～２９ｃが用いられて、投影画像２３ａ～２３ｃが生成される。
これにより、投影面においてコンテンツ画像１２ａ～１２ｃを高い精度で重ね合わせることが可能となり、高品質なカラー画像２を投影することが可能となる。
【0056】
本技術に係る画像投影システム１００の、さらに詳しい実施形態について説明する。
図６は、画像投影システム１００の機能的な構成例を示すブロック図である。画像投影装置４、及び撮像装置５については、図２等を参照して説明した画像投影装置４及び撮像装置５が用いられる。
画像入力部３１は、コンテンツ画像２２をＨＤＭＩ（登録商標）やＵＳＢ等の各種映像ＩＦを介してモバイル端末１に入力するブロックである。
図６は、画像投影システム１００の機能的な構成例を示すブロック図である。画像投影装置４、及び撮像装置５については、図２等を参照して説明した画像投影装置４及び撮像装置５が用いられる。
画像入力部３１は、コンテンツ画像２２をＨＤＭＩ（登録商標）やＵＳＢ等の各種映像ＩＦを介してモバイル端末１に入力するブロックである。
【0057】
本実施形態では、画像処理部６は、撮像画像入力部３２、画像出力部３３、タイミング制御部３４、キャリブレーション画像生成部３５、特徴点検出部３６、補正パラメータ演算部３７、入力画像変換部３８、特徴点画像設定部３９、及び投影画像生成部４０を有する。
各ブロックは、例えばプロセッサが所定のプログラムを実行することで構成される。もちろんこれらの機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが用いられてもよい。
各ブロックは、例えばプロセッサが所定のプログラムを実行することで構成される。もちろんこれらの機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが用いられてもよい。
【0058】
撮像画像入力部３２には、撮像装置５により撮像された撮像画像が入力される。
画像出力部３３は、複数の単色プロジェクタ７により投影される対象となる画像データを、画像投影装置４に出力する。
タイミング制御部３４は、各フレームにおいて、撮像画像の入力から画像データの出力までの各ブロックの動作を同期させるためのタイミング信号を出力する。
キャリブレーション画像生成部３５は、キャリブレーション画像を生成する。
画像出力部３３は、複数の単色プロジェクタ７により投影される対象となる画像データを、画像投影装置４に出力する。
タイミング制御部３４は、各フレームにおいて、撮像画像の入力から画像データの出力までの各ブロックの動作を同期させるためのタイミング信号を出力する。
キャリブレーション画像生成部３５は、キャリブレーション画像を生成する。
【0059】
特徴点検出部３６は、撮像画像から特徴点画像１５を検出する。
補正パラメータ演算部３７は、特徴点画像１５の検出結果に基づいて、補正パラメータ２９を生成する。本実施形態では、フレームごとに特徴点画像１５の検出結果に基づいた演算が実行され、補正パラメータ２９が更新される。
入力画像変換部３８は、補正パラメータを用いて、入力される画像に対して、幾何変換を実行する。例えば、入力されるコンテンツ画像２２やキャリブレーション画像に対して、幾何変換が実行される。
特徴点画像設定部３９は、特徴点画像２５の位置及び形状等を設定する。
投影画像生成部４０は、幾何変換されたコンテンツ画像２２と、設定された特徴点画像２５とを含む投影画像２３を生成する。すなわち投影画像生成部４０により、幾何変換されたコンテンツ画像２２と、設定された特徴点画像とが描画（レンダリング）される。
補正パラメータ演算部３７は、特徴点画像１５の検出結果に基づいて、補正パラメータ２９を生成する。本実施形態では、フレームごとに特徴点画像１５の検出結果に基づいた演算が実行され、補正パラメータ２９が更新される。
入力画像変換部３８は、補正パラメータを用いて、入力される画像に対して、幾何変換を実行する。例えば、入力されるコンテンツ画像２２やキャリブレーション画像に対して、幾何変換が実行される。
特徴点画像設定部３９は、特徴点画像２５の位置及び形状等を設定する。
投影画像生成部４０は、幾何変換されたコンテンツ画像２２と、設定された特徴点画像２５とを含む投影画像２３を生成する。すなわち投影画像生成部４０により、幾何変換されたコンテンツ画像２２と、設定された特徴点画像とが描画（レンダリング）される。
【0060】
図６に示す例では、入力画像変換部３８により、図２に示す取得部１７が実現される。
入力画像変換部３８、特徴点画像設定部３９、及び投影画像生成部４０により、図２に示す第１の生成部１８が実現される。
撮像画像入力部３２、特徴点検出部３６、及び補正パラメータ演算部３７により、図２に示す第２の生成部１９が実現される。
入力画像変換部３８、特徴点画像設定部３９、及び投影画像生成部４０により、図２に示す第１の生成部１８が実現される。
撮像画像入力部３２、特徴点検出部３６、及び補正パラメータ演算部３７により、図２に示す第２の生成部１９が実現される。
【0061】
本実施形態では、投影画像２３を生成するための補正パラメータ２９が、共通補正パラメータと、動的補正パラメータとに区分される。
共通補正パラメータは、画像処理部６が有するメモリや記憶デバイス（記憶部の一実施形態に相当）により記憶される。そして、フレームごとに、記憶部から読み出され、投影画像２３の生成に用いられる。
動的補正パラメータは、フレームごとに、特徴点画像１５の検出結果に基づいて生成され、投影画像２３の生成に用いられる。
例えば、共通補正パラメータとして変換行列Ｍｃ１が用いられ、動的補正パラメータとして変換行列Ｍｃ２が用いられるとする。この場合、例えば、以下の式に示すような画像の幾何変換が実行される。
共通補正パラメータは、画像処理部６が有するメモリや記憶デバイス（記憶部の一実施形態に相当）により記憶される。そして、フレームごとに、記憶部から読み出され、投影画像２３の生成に用いられる。
動的補正パラメータは、フレームごとに、特徴点画像１５の検出結果に基づいて生成され、投影画像２３の生成に用いられる。
例えば、共通補正パラメータとして変換行列Ｍｃ１が用いられ、動的補正パラメータとして変換行列Ｍｃ２が用いられるとする。この場合、例えば、以下の式に示すような画像の幾何変換が実行される。
【0062】
【数2】
【0063】
変換行列Ｍｃ１は、フレームごとに記憶部から読み出される。変換行列Ｍｃ２は、フレームごとにリアルタイムで生成される。例えば、変換行列Ｍｃ２の各成分が適宜更新される。
【0064】
共通補正パラメータとしては、例えば、ハードウェア固有の補正パラメータ等、一度求めてしまえば時々刻々と変化することがあまり見られない補正パラメータが選択される。
例えば、単色プロジェクタ７のレンズ歪みに起因する成分や、各単色プロジェクタ７の幾何的な位置関係に起因する成分については、複雑な補正が必要となる場合が多い。一方で、これらの成分は、画像投影時において、使用環境等に応じて、大きく変化することも少ない。
従って共通補正パラメータとして、第１～第３の単色プロジェクタ７ａ～７ｃの相対的な位置関係に関する補正パラメータや、第１～第３の単色プロジェクタ７ａ～７ｃの各々のレンズ歪みに関する補正パラメータ等が選択される。
例えば、単色プロジェクタ７のレンズ歪みに起因する成分や、各単色プロジェクタ７の幾何的な位置関係に起因する成分については、複雑な補正が必要となる場合が多い。一方で、これらの成分は、画像投影時において、使用環境等に応じて、大きく変化することも少ない。
従って共通補正パラメータとして、第１～第３の単色プロジェクタ７ａ～７ｃの相対的な位置関係に関する補正パラメータや、第１～第３の単色プロジェクタ７ａ～７ｃの各々のレンズ歪みに関する補正パラメータ等が選択される。
【0065】
動的補正パラメータとしては、例えば、ハードウェアの使用環境に応じて大きく変化する補正パラメータが選択される。また、単色プロジェクタ７の焦点距離に起因する成分や、ハードウェアと投影面の幾何的な位置関係に起因する成分等の、リアルタイムで比較的容易に補正可能な成分を補正するための補正パラメータが選択される。
例えば、動的補正パラメータとして、第１～第３の単色プロジェクタ７ａ～７ｃの各々の焦点距離に関する補正パラメータや、第１～第３の単色プロジェクタ７ａ～７ｃと投影面との位置関係に関する補正パラメータ等が選択される。
例えば、第１～第３の単色プロジェクタ７ａ～７ｃの各々の焦点距離の変化に応じて、投影面に投影されるコンテンツ画像１２のスケール（ズーム）が変化する。従って、投影されるコンテンツ画像１２のスケールの変化を補正可能な補正パラメータ２９を動的補正パラメータとして生成する。例えば、スケールの変化を補正可能な補正パラメータ２９として、入力されるコンテンツ画像１２を拡大／縮小させる変換行列Ｍｃ２を用いる。当該変換行列Ｍｃ２は、比較的容易にリアルタイムで生成（更新）することが可能である。
例えば、動的補正パラメータとして、第１～第３の単色プロジェクタ７ａ～７ｃの各々の焦点距離に関する補正パラメータや、第１～第３の単色プロジェクタ７ａ～７ｃと投影面との位置関係に関する補正パラメータ等が選択される。
例えば、第１～第３の単色プロジェクタ７ａ～７ｃの各々の焦点距離の変化に応じて、投影面に投影されるコンテンツ画像１２のスケール（ズーム）が変化する。従って、投影されるコンテンツ画像１２のスケールの変化を補正可能な補正パラメータ２９を動的補正パラメータとして生成する。例えば、スケールの変化を補正可能な補正パラメータ２９として、入力されるコンテンツ画像１２を拡大／縮小させる変換行列Ｍｃ２を用いる。当該変換行列Ｍｃ２は、比較的容易にリアルタイムで生成（更新）することが可能である。
【0066】
また図７に示すように、例えば、第１～第３の単色プロジェクタ７ａ～７ｃと投影面との距離が変化すると、投影面に対する各単色プロジェクタ７からの視差の影響により、カラー画像２が投影可能な投影可能範囲１１の位置が変化する。従って、投影可能範囲１１の位置の変化に対応するための補正パラメータ２９を動的補正パラメータとして生成する。
例えば、投影可能範囲１１の位置の変化に対応するための補正パラメータ２９として、入力されるコンテンツ画像１２を平行移動させる変換行列Ｍｃ２を用いる。当該変換行列Ｍｃ２は、比較的容易にリアルタイムで生成（更新）することが可能である。
もちろん、入力されるコンテンツ画像１２に対して、拡大／縮小、及び平行移動の両方を作用させる変換行列Ｍｃ２を生成することも可能である。例えば、以下に示すようなアフィン変換行列を用いることが可能となる。なお、式中の（ｔ、ｕ）により平行移動が実現され、（ｓ）により拡大／縮小が実現される。
例えば、投影可能範囲１１の位置の変化に対応するための補正パラメータ２９として、入力されるコンテンツ画像１２を平行移動させる変換行列Ｍｃ２を用いる。当該変換行列Ｍｃ２は、比較的容易にリアルタイムで生成（更新）することが可能である。
もちろん、入力されるコンテンツ画像１２に対して、拡大／縮小、及び平行移動の両方を作用させる変換行列Ｍｃ２を生成することも可能である。例えば、以下に示すようなアフィン変換行列を用いることが可能となる。なお、式中の（ｔ、ｕ）により平行移動が実現され、（ｓ）により拡大／縮小が実現される。
【0067】
【数3】
【0068】
図８は、共通補正パラメータ、及び動的補正パラメータを用いたコンテンツ画像２２の補正例を示す模式図である。
図８に示す例では、共通補正パラメータとして、第１～第３の単色プロジェクタ７ａ～７ｃの相対的な位置関係に関する補正パラメータ、及び第１～第３の単色プロジェクタ７ａ～７ｃの各々のレンズ歪みに関する補正パラメータが用いられる。
第１～第３の単色プロジェクタ７ａ～７ｃの相対的な位置関係に起因する成分、及び第１～第３の単色プロジェクタ７ａ～７ｃの各々のレンズ歪みに起因する成分を補正する共通補正パラメータ（例えば変換行列Ｍｃ１）が、テーブル情報として予め記憶される。
共通補正パラメータ（例えば変換行列Ｍｃ１）は、例えば工場出荷時（製造出荷時）等にてキャリブレーションが実行されることで生成される。もちろんこれに限定される訳ではない。
そして、フレームごとに、テーブル情報が用いられ、コンテンツ画像２２が変換される。
図８に示す例では、共通補正パラメータとして、第１～第３の単色プロジェクタ７ａ～７ｃの相対的な位置関係に関する補正パラメータ、及び第１～第３の単色プロジェクタ７ａ～７ｃの各々のレンズ歪みに関する補正パラメータが用いられる。
第１～第３の単色プロジェクタ７ａ～７ｃの相対的な位置関係に起因する成分、及び第１～第３の単色プロジェクタ７ａ～７ｃの各々のレンズ歪みに起因する成分を補正する共通補正パラメータ（例えば変換行列Ｍｃ１）が、テーブル情報として予め記憶される。
共通補正パラメータ（例えば変換行列Ｍｃ１）は、例えば工場出荷時（製造出荷時）等にてキャリブレーションが実行されることで生成される。もちろんこれに限定される訳ではない。
そして、フレームごとに、テーブル情報が用いられ、コンテンツ画像２２が変換される。
【0069】
また、動的補正パラメータとして、第１～第３の単色プロジェクタ７ａ～７ｃの各々の焦点距離に関する補正パラメータ、及び第１～第３の単色プロジェクタ７ａ～７ｃと投影面と距離（投影距離）に関する補正パラメータが用いられる。
図８に示す例では、焦点距離ｆに起因する成分、及び投影距離ｚに起因する成分を補正するための動的補正パラメータ（例えば変換行列Ｍｃ２）が生成される。
例えば工場出荷時等にてキャリブレーションが実行されることで、動的補正パラメータの初期値が算出される。例えば［数３］式のアフィン変換行列の成分（ｔ、ｕ、ｓ）の初期値が算出される。算出された初期値は記憶部に記憶される。
図８に示す例では、焦点距離ｆに起因する成分、及び投影距離ｚに起因する成分を補正するための動的補正パラメータ（例えば変換行列Ｍｃ２）が生成される。
例えば工場出荷時等にてキャリブレーションが実行されることで、動的補正パラメータの初期値が算出される。例えば［数３］式のアフィン変換行列の成分（ｔ、ｕ、ｓ）の初期値が算出される。算出された初期値は記憶部に記憶される。
【0070】
本画像投影システム１００の起動時において、画像投影装置４を使用する環境下にて、キャリブレーションを実行する。これにより、動的補正パラメータ初期値からの差分として、Δｆ及びΔｚが算出される。そして各々の補正関数に基づいて、焦点距離ｆ'及び投影距離ｚ'が算出される。これら焦点距離ｆ'及び投影距離ｚ'が、焦点距離ｆ及び投影距離ｚとして、改めて保持される。
コンテンツ画像１２の投影時には、特徴点画像１５の検出結果に基づいて、焦点距離ｆの変化Δｆ、及び投影距離ｚの変化分ｚの変化Δｚが推測される。そして各々の補正関数に基づいて、変化した焦点距離ｆ'及び投影距離ｚ'が算出される。
算出された焦点距離ｆ'及び投影距離ｚ'に基づいて、動的補正パラメータの変化が推測され、動的補正パラメータが更新される。例えば［数３］式のアフィン変換行列の成分（ｔ、ｕ、ｓ）が更新される。
コンテンツ画像１２の投影時には、特徴点画像１５の検出結果に基づいて、焦点距離ｆの変化Δｆ、及び投影距離ｚの変化分ｚの変化Δｚが推測される。そして各々の補正関数に基づいて、変化した焦点距離ｆ'及び投影距離ｚ'が算出される。
算出された焦点距離ｆ'及び投影距離ｚ'に基づいて、動的補正パラメータの変化が推測され、動的補正パラメータが更新される。例えば［数３］式のアフィン変換行列の成分（ｔ、ｕ、ｓ）が更新される。
【0071】
図８に例示するように、動的補正パラメータを用いて補正する対象を、焦点距離ｆに起因する成分、及び投影距離ｚに起因する成分の２つに設定する。この場合、例えば、［数３］式のアフィン変換行列を用いる場合、未知パラメータを３つの成分（ｔ、ｕ、ｓ）に減らすことが可能となり、コンテンツ画像２２の変換処理を安定させることが可能となる。
【0072】
図９～図１２を参照して、画像投影システム１００の動作例を説明する。
図９は、工場出荷時の処理例を示すフローチャートである。
第１～第３の単色プロジェクタ７ａ～７ｃのうち任意の単色プロジェクタ１台以外を消灯させる。すなわち、第１～第３の単色プロジェクタ７ａ～７ｃのうち任意の１台のみを点灯させる（ステップ１０１）。
点灯している単色プロジェクタ７により、キャリブレーション画像生成部３５により生成されたキャリブレーション画像４５が投影される（ステップ１０２）。
図９は、工場出荷時の処理例を示すフローチャートである。
第１～第３の単色プロジェクタ７ａ～７ｃのうち任意の単色プロジェクタ１台以外を消灯させる。すなわち、第１～第３の単色プロジェクタ７ａ～７ｃのうち任意の１台のみを点灯させる（ステップ１０１）。
点灯している単色プロジェクタ７により、キャリブレーション画像生成部３５により生成されたキャリブレーション画像４５が投影される（ステップ１０２）。
【0073】
図１３は、キャリブレーション画像の投影例を示す模式図である。
図１３Ａ～Ｃに例示されるように、第１～第３の単色プロジェクタ７ａ～７ｃの各々により、順次、キャリブレーション画像４５ａ～４５ｃが投影される。
キャリブレーション画像４５は、全画素領域が特徴点画像の構成対象となる画像である。すなわちキャリブレーション画像４５は、画像全体に特徴点画像４６が配置される画像である。
図１３に示す例では、特徴点画像４６として、円形マークが投影される。もちろんこれに限定されず、特徴点画像４６の形状、サイズ、数、位置等は任意に設定されてよい。
図１３Ａ～Ｃに例示されるように、第１～第３の単色プロジェクタ７ａ～７ｃの各々により、順次、キャリブレーション画像４５ａ～４５ｃが投影される。
キャリブレーション画像４５は、全画素領域が特徴点画像の構成対象となる画像である。すなわちキャリブレーション画像４５は、画像全体に特徴点画像４６が配置される画像である。
図１３に示す例では、特徴点画像４６として、円形マークが投影される。もちろんこれに限定されず、特徴点画像４６の形状、サイズ、数、位置等は任意に設定されてよい。
【0074】
ステップ１０２では、既知の焦点距離、及び既知の投影距離にて、キャリブレーション画像４５が投影される。
撮像装置５により、投影されたキャリブレーション画像４５が撮像される（ステップ１０３）。
特徴点検出部３６により、撮像画像から特徴点画像４６が検出される（ステップ１０４）。
補正パラメータ演算部３７により、特徴点画像４６の検出結果に基づいて、初期補正パラメータが生成される（ステップ１０５）。
撮像装置５により、投影されたキャリブレーション画像４５が撮像される（ステップ１０３）。
特徴点検出部３６により、撮像画像から特徴点画像４６が検出される（ステップ１０４）。
補正パラメータ演算部３７により、特徴点画像４６の検出結果に基づいて、初期補正パラメータが生成される（ステップ１０５）。
【0075】
初期補正パラメータは、共通補正パラメータと、動的補正パラメータの初期値とを含む。
本実施形態では、共通補正パラメータとして、第１～第３の単色プロジェクタ７ａ～７ｃの相対的な位置関係に関する補正パラメータ、及び第１～第３の単色プロジェクタ７ａ～７ｃの各々のレンズ歪みに関する補正パラメータが生成される。ここでは、既知の焦点距離及び既知の投影距離に対する共通補正パラメータが生成される。
また動的補正パラメータとして、焦点距離に関する補正パラメータ、及び投影距離に関する補正パラメータが生成される。既知の焦点距離に対応する補正パラメータ、及び既知の投影距離に対応する補正パラメータが、初期値として取得される。
例えば、特徴点画像４６の結果に基づいて、第１～第３の単色プロジェクタ７ａ～７ｃ、及び投影面の相対的な位置関係が推測される。当該推測結果に基づいて、共通補正パラメータ、及び動的補正パラメータの初期値が生成される。
本実施形態では、共通補正パラメータとして、第１～第３の単色プロジェクタ７ａ～７ｃの相対的な位置関係に関する補正パラメータ、及び第１～第３の単色プロジェクタ７ａ～７ｃの各々のレンズ歪みに関する補正パラメータが生成される。ここでは、既知の焦点距離及び既知の投影距離に対する共通補正パラメータが生成される。
また動的補正パラメータとして、焦点距離に関する補正パラメータ、及び投影距離に関する補正パラメータが生成される。既知の焦点距離に対応する補正パラメータ、及び既知の投影距離に対応する補正パラメータが、初期値として取得される。
例えば、特徴点画像４６の結果に基づいて、第１～第３の単色プロジェクタ７ａ～７ｃ、及び投影面の相対的な位置関係が推測される。当該推測結果に基づいて、共通補正パラメータ、及び動的補正パラメータの初期値が生成される。
【0076】
第１～第３の単色プロジェクタ７ａ～７ｃの各々に対して、初期補正パラメータが生成されるまで、処理は繰り返される（ステップ１０６）。初期補正パラメータは、記憶部に記憶される。
なお、ステップ１０５にて、カラー画像２が投影される投影可能範囲１１に対応する画素領域の情報が、各単色プロジェクタ７に対して取得されてもよい。これらの情報がコンテンツ画像２２の幾何変換の際の補正パラメータとして使用されてもよい。
なお、ステップ１０５にて、カラー画像２が投影される投影可能範囲１１に対応する画素領域の情報が、各単色プロジェクタ７に対して取得されてもよい。これらの情報がコンテンツ画像２２の幾何変換の際の補正パラメータとして使用されてもよい。
【0077】
図１０及び図１１は、本画像投影システム１００の起動時における電源立ち上げ時の処理例を示すフローチャートである。
図１０は、第１～第３の単色プロジェクタ７ａ～７ｃを順次点灯させる場合のフローである。
図１１は、第１～第３の単色プロジェクタ７ａ～７ｃを同時に点灯させる場合のフローである。
図１０に示す順次点灯フロー、又は図１１同時点灯フローのいずれかを選択することが可能である。
図１０は、第１～第３の単色プロジェクタ７ａ～７ｃを順次点灯させる場合のフローである。
図１１は、第１～第３の単色プロジェクタ７ａ～７ｃを同時に点灯させる場合のフローである。
図１０に示す順次点灯フロー、又は図１１同時点灯フローのいずれかを選択することが可能である。
【0078】
工場出荷後の電源立ち上げの過程では、起動時の各環境下で、初期補正パラメータからの変化分を演算するフローに移行する。本実施形態では、動的補正パラメータの変化分が演算され、動的補正パラメータが更新される。
【0079】
図１０に示す順次点灯フローにおいて、まず、工場出荷時に生成した初期補正パラメータが読み込まれる（ステップ２０１）。
第１～第３の単色プロジェクタ７ａ～７ｃのうち任意の単色プロジェクタ１台以外を消灯させる（ステップ２０２）。
入力画像変換部３８により、初期補正パラメータに基づいて、キャリブレーション画像４５の幾何変換が実行される。幾何変換されたキャリブレーション画像が、点灯している単色プロジェクタ７により投影される（ステップ２０３）。
本実施形態では、工場出荷時に使用されたキャリブレーション画像４５に対して幾何変換が実行される。これに限定されず、他の任意のキャリブレーション画像が用いられてもよい。
第１～第３の単色プロジェクタ７ａ～７ｃのうち任意の単色プロジェクタ１台以外を消灯させる（ステップ２０２）。
入力画像変換部３８により、初期補正パラメータに基づいて、キャリブレーション画像４５の幾何変換が実行される。幾何変換されたキャリブレーション画像が、点灯している単色プロジェクタ７により投影される（ステップ２０３）。
本実施形態では、工場出荷時に使用されたキャリブレーション画像４５に対して幾何変換が実行される。これに限定されず、他の任意のキャリブレーション画像が用いられてもよい。
【0080】
撮像装置５により、投影されたキャリブレーション画像４５が撮像される（ステップ２０４）。
特徴点検出部３６により、撮像画像から特徴点画像４６が検出される（ステップ２０５）。
補正パラメータ演算部３７により、特徴点画像４６の検出結果に基づいて、動的補正パラメータが更新される。すなわち、初期補正パラメータに含まれる動的補正パラメータの初期値との差分が算出され、動的補正パラメータが更新される（ステップ２０６）。
第１～第３の単色プロジェクタ７ａ～７ｃの各々に対して、動的補正パラメータが更新されるまで、処理は繰り返される（ステップ２０７）。更新された動的補正パラメータは、記憶部に記憶される。
特徴点検出部３６により、撮像画像から特徴点画像４６が検出される（ステップ２０５）。
補正パラメータ演算部３７により、特徴点画像４６の検出結果に基づいて、動的補正パラメータが更新される。すなわち、初期補正パラメータに含まれる動的補正パラメータの初期値との差分が算出され、動的補正パラメータが更新される（ステップ２０６）。
第１～第３の単色プロジェクタ７ａ～７ｃの各々に対して、動的補正パラメータが更新されるまで、処理は繰り返される（ステップ２０７）。更新された動的補正パラメータは、記憶部に記憶される。
【0081】
図１１に示す同時点灯フローにおいて、まず、工場出荷時に生成した初期補正パラメータが読み込まれる（ステップ３０１）。
入力画像変換部３８により、初期補正パラメータに基づいて、キャリブレーション画像４５の幾何変換が実行される。幾何変換されたキャリブレーション画像４５が、第１～第３の単色プロジェクタ７ａ～７ｃの各々により投影される（ステップ３０２）。
入力画像変換部３８により、初期補正パラメータに基づいて、キャリブレーション画像４５の幾何変換が実行される。幾何変換されたキャリブレーション画像４５が、第１～第３の単色プロジェクタ７ａ～７ｃの各々により投影される（ステップ３０２）。
【0082】
撮像装置５により、投影されたキャリブレーション画像４５が撮像される（ステップ３０３）。
特徴点検出部３６により、撮像画像から特徴点画像４６が検出される。ここでは、第１～第３の単色プロジェクタ７ａ～７ｃの各々により投影された特徴点画像４６が識別可能に検出される。すなわちいずれの単色プロジェクタ７により投影されたものなのかが識別されて検出される（ステップ３０４）。
補正パラメータ演算部３７により、特徴点画像４６の検出結果に基づいて、動的補正パラメータが更新される（ステップ３０５）。このステップ３０５にて、第１～第３の単色プロジェクタ７ａ～７ｃの各々に対して、動的補正パラメータが更新される。
特徴点検出部３６により、撮像画像から特徴点画像４６が検出される。ここでは、第１～第３の単色プロジェクタ７ａ～７ｃの各々により投影された特徴点画像４６が識別可能に検出される。すなわちいずれの単色プロジェクタ７により投影されたものなのかが識別されて検出される（ステップ３０４）。
補正パラメータ演算部３７により、特徴点画像４６の検出結果に基づいて、動的補正パラメータが更新される（ステップ３０５）。このステップ３０５にて、第１～第３の単色プロジェクタ７ａ～７ｃの各々に対して、動的補正パラメータが更新される。
【0083】
図１２は、コンテンツ画像の投影時の処理例を示すフローチャートである。
入力画像変換部３８により、補正パラメータに基づいて、コンテンツ画像２２の幾何変換が実行される（ステップ４０１）。補正パラメータは、共通補正パラメータと、更新された動的補正パラメータとを含む。またコンテンツ画像２２の幾何変化は、ＲＧＢの３原色のコンテンツ画像２２ａ～２２ｃの各々に対して実行される。
入力画像変換部３８により、補正パラメータに基づいて、コンテンツ画像２２の幾何変換が実行される（ステップ４０１）。補正パラメータは、共通補正パラメータと、更新された動的補正パラメータとを含む。またコンテンツ画像２２の幾何変化は、ＲＧＢの３原色のコンテンツ画像２２ａ～２２ｃの各々に対して実行される。
【0084】
特徴点画像設定部３９により、特徴点画像２５が設定される。
投影画像２３に埋め込まれる特徴点画像２５の位置（座標位置）は、例えば各単色プロジェクタ７、及び投影面との関係に応じて変化する。
特徴点画像設定部３９は、当該幾何位置関係の変化に応じて、特徴点画像２５の位置や形状等を適宜指定することが可能である。例えば、特徴点画像設定部３９は、補正パラメータ（共通補正パラメータ、及び更新された動的補正パラメータ）を取得することで、現フレームにて最適な特徴点画像２５の位置や形状を算出することが可能である。
例えば、過去のフレームにて算出した特徴点画像２５の位置等が、補正パラメータに基づいて更新されてもよい。
投影画像２３に埋め込まれる特徴点画像２５の位置（座標位置）は、例えば各単色プロジェクタ７、及び投影面との関係に応じて変化する。
特徴点画像設定部３９は、当該幾何位置関係の変化に応じて、特徴点画像２５の位置や形状等を適宜指定することが可能である。例えば、特徴点画像設定部３９は、補正パラメータ（共通補正パラメータ、及び更新された動的補正パラメータ）を取得することで、現フレームにて最適な特徴点画像２５の位置や形状を算出することが可能である。
例えば、過去のフレームにて算出した特徴点画像２５の位置等が、補正パラメータに基づいて更新されてもよい。
【0085】
投影画像生成部４０により、特徴点画像２５が追加されて投影画像２３が生成される（ステップ４０２）。
生成された投影画像２３ａ～２３ｃに基づいて、単色画像９ａ～９ｃが投影される（ステップ４０３）。図２に例示するように、投影可能範囲１１には、カラー画像２が投影される。
生成された投影画像２３ａ～２３ｃに基づいて、単色画像９ａ～９ｃが投影される（ステップ４０３）。図２に例示するように、投影可能範囲１１には、カラー画像２が投影される。
【0086】
撮像装置５により、投影された単色画像９ａ～９ｃが撮像される（ステップ４０４）。
特徴点検出部３６により、撮像画像から特徴点画像２５が検出される。ここでは、第１～第３の単色プロジェクタ７ａ～７ｃの各々により投影された特徴点画像２５ａ～２５ｃが識別可能に検出される（ステップ４０５）。
補正パラメータ演算部３７により、特徴点画像２５の検出結果に基づいて、動的補正パラメータが更新される（ステップ４０６）。例えば、特徴点画像２５の検出結果に基づいて、動的補正パラメータの変化分が算出され、動的補正パラメータが更新される。このステップ４０６にて、第１～第３の単色プロジェクタ７ａ～７ｃの各々に対して、動的補正パラメータが更新される。
ユーザにより終了操作が入力されるまで、処理は繰り返される（ステップ４０７）。終了操作としては、例えばコンテンツ画像の再生の停止等が挙げられる。
特徴点検出部３６により、撮像画像から特徴点画像２５が検出される。ここでは、第１～第３の単色プロジェクタ７ａ～７ｃの各々により投影された特徴点画像２５ａ～２５ｃが識別可能に検出される（ステップ４０５）。
補正パラメータ演算部３７により、特徴点画像２５の検出結果に基づいて、動的補正パラメータが更新される（ステップ４０６）。例えば、特徴点画像２５の検出結果に基づいて、動的補正パラメータの変化分が算出され、動的補正パラメータが更新される。このステップ４０６にて、第１～第３の単色プロジェクタ７ａ～７ｃの各々に対して、動的補正パラメータが更新される。
ユーザにより終了操作が入力されるまで、処理は繰り返される（ステップ４０７）。終了操作としては、例えばコンテンツ画像の再生の停止等が挙げられる。
【0087】
このように本実施形態では、フレームごとに動的補正パラメータがリアルタイムで更新され、コンテンツ画像２２の幾何変換、及び特徴点画像２５の設定が実行される。
また本実施形態では、複雑な補正項となりがちなレンズ歪みに関する成分、及び各単色プロジェクタ７の相対位置に関する成分を補正するための共通補正パラメータは、工場出荷時に事前に取得される。そして、焦点距離に起因する成分、及び投影距離に起因する成分を補正するための動的補正パラメータが、フレームごとにリアルタイムで更新される。
このように共通補正パラメータと動的補正パラメータとを分類することで、フレームごとの投影画像２３の生成にかかる全体的な処理負荷を低減することが可能となる。これにより、画像投影装置４を搭載したハードウェア自体が物理的に動いたとしても、補正処理がリアルタイムに追従して動き続け、投影面でブレのないカラー画像２を提供し続けることができるようになる。すなわち安定したカラー画像２の投影を実現することが可能となる。
また、本実施形態では、フレームごとに撮像画像に基づいた動的補正パラメータの更新が実行されるので、いわゆるフィードバック系が形成されることになる。これにより、熱や外力など外的な要因によりハードウェアの変形やデバイス特性のドリフトが生じた場合でも、安定的なカラー画像２の投影を実現することが可能となる。この結果、より高品質なカラー画像２を投影面で得ることが可能となる。
また本実施形態では、複雑な補正項となりがちなレンズ歪みに関する成分、及び各単色プロジェクタ７の相対位置に関する成分を補正するための共通補正パラメータは、工場出荷時に事前に取得される。そして、焦点距離に起因する成分、及び投影距離に起因する成分を補正するための動的補正パラメータが、フレームごとにリアルタイムで更新される。
このように共通補正パラメータと動的補正パラメータとを分類することで、フレームごとの投影画像２３の生成にかかる全体的な処理負荷を低減することが可能となる。これにより、画像投影装置４を搭載したハードウェア自体が物理的に動いたとしても、補正処理がリアルタイムに追従して動き続け、投影面でブレのないカラー画像２を提供し続けることができるようになる。すなわち安定したカラー画像２の投影を実現することが可能となる。
また、本実施形態では、フレームごとに撮像画像に基づいた動的補正パラメータの更新が実行されるので、いわゆるフィードバック系が形成されることになる。これにより、熱や外力など外的な要因によりハードウェアの変形やデバイス特性のドリフトが生じた場合でも、安定的なカラー画像２の投影を実現することが可能となる。この結果、より高品質なカラー画像２を投影面で得ることが可能となる。
【0088】
以上、本実施形態に係る画像投影システム１００では、コンテンツ画像２２を構成する第１の画素領域２６と、少なくとも一部が特徴点画像２５を構成する第２の画素領域２７とを含む投影画像２３が生成され、複数の単色プロジェクタ７により投影される。投影された単色画像９が撮像された撮像画像から特徴点画像１５が検出され、検出結果に基づいて投影画像を生成するための補正パラメータ２９が生成される。これにより、複数の単色プロジェクタ７を用いた高品質な画像の投影を実現することが可能となる。
【0089】
近年プロジェクタの小型化が進み、モバイル機器への搭載も実現している。モバイル機器への搭載にあたり、プロジェクタの小型化は機器全体の小型化・低背化につながるため重要な要素である。
既存のカラープロジェクタの小型化は継続的に進んでいるが、その複雑な光学系のために設計制約により、あるサイズ以下に小型化できない可能性もある。このため、本実施形態で提示したような簡易な光学で構成された単色の小型プロジェクタを少なくとも色の三原色分の計３台以上を搭載することにより、プロジェクタ機能部の物理的なサイズの更なる小型化・低背化を実現することが可能となる。
この場合、各色の単色プロジェクタが投影できる投影面の重なり合った領域に対して、投影面上で各プロジェクタが投影する画像を合成することで、結果としてカラー画像２を描画することが可能となる。
一方で、このようなシステムをモバイル機器で使用する場合、投影面と複数の単色プロジェクタ７の幾何関係が時々刻々と変化することも起こりえる。このため、高品質なカラー画像２を安定的に投影し続けるにはリアルタイムに幾何関係を演算する必要がある。
例えば、上記した特許文献１に記載の投影システムでは、赤外線カメラや赤外線プロジェクタが必要など追加する装置が多くなってしまうといったように、消費電力の観点で懸念が生じる。また選択する測距手法次第では精度の限界が測距手法により制限されてしまい、十分高品質な合成画像が得られない懸念がある。
例えば、投影面との幾何的な位置関係を取得する手法として、ＴｏＦ（Time of Flight）等を用いた測距手法が挙げられる。この手法を用いる場合、やはりＴｏＦ等の追加の装置が必要となり、消費電力が増加してしまう。またＴｏＦ等の測距手法は一般に低解像度であるため、これにより得られた補正パラメータでは精度的に限界があり、投影面のカラー画像のエッジに偽色がつくなどの画質劣化が懸念される。
既存のカラープロジェクタの小型化は継続的に進んでいるが、その複雑な光学系のために設計制約により、あるサイズ以下に小型化できない可能性もある。このため、本実施形態で提示したような簡易な光学で構成された単色の小型プロジェクタを少なくとも色の三原色分の計３台以上を搭載することにより、プロジェクタ機能部の物理的なサイズの更なる小型化・低背化を実現することが可能となる。
この場合、各色の単色プロジェクタが投影できる投影面の重なり合った領域に対して、投影面上で各プロジェクタが投影する画像を合成することで、結果としてカラー画像２を描画することが可能となる。
一方で、このようなシステムをモバイル機器で使用する場合、投影面と複数の単色プロジェクタ７の幾何関係が時々刻々と変化することも起こりえる。このため、高品質なカラー画像２を安定的に投影し続けるにはリアルタイムに幾何関係を演算する必要がある。
例えば、上記した特許文献１に記載の投影システムでは、赤外線カメラや赤外線プロジェクタが必要など追加する装置が多くなってしまうといったように、消費電力の観点で懸念が生じる。また選択する測距手法次第では精度の限界が測距手法により制限されてしまい、十分高品質な合成画像が得られない懸念がある。
例えば、投影面との幾何的な位置関係を取得する手法として、ＴｏＦ（Time of Flight）等を用いた測距手法が挙げられる。この手法を用いる場合、やはりＴｏＦ等の追加の装置が必要となり、消費電力が増加してしまう。またＴｏＦ等の測距手法は一般に低解像度であるため、これにより得られた補正パラメータでは精度的に限界があり、投影面のカラー画像のエッジに偽色がつくなどの画質劣化が懸念される。
【0090】
本技術を適用することで、コンテンツ画像１２が投影されない領域に特徴点画像１５が投影される。そして、投影された画像が撮像された撮像結果に基づいて、フレームごとに補正パラメータを更新することが可能となる。
この結果、追加の装置が少なく、消費電力の観点で有利となりうる。また、フィードバック系が形成可能であるので、高い精度でコンテンツ画像２２の補正を実行することが可能となる。
また補正可能な精度に関して、例えば撮像装置５及び複数の単色プロジェクタ７の解像度により上限が規定されるが、これらのデバイスに高解像度のものを選ぶのは難しくない。従って、高品質なハードウェアを容易に準備することが可能となり、補正可能な精度を向上させることが可能となる。
この結果、追加の装置が少なく、消費電力の観点で有利となりうる。また、フィードバック系が形成可能であるので、高い精度でコンテンツ画像２２の補正を実行することが可能となる。
また補正可能な精度に関して、例えば撮像装置５及び複数の単色プロジェクタ７の解像度により上限が規定されるが、これらのデバイスに高解像度のものを選ぶのは難しくない。従って、高品質なハードウェアを容易に準備することが可能となり、補正可能な精度を向上させることが可能となる。
【0091】
本技術に係る画像投影システム１００を搭載可能な電子機器の種類は限定されない。例えば、携帯電話、スマートフォン、パソコン、ゲーム機、デジタルカメラ、オーディオ機器、ＴＶ、プロジェクタ、カーナビ、ＧＰＳ端末、ウエアラブル情報機器（眼鏡型、リストバンド型）等の電子機器や、インターネット等に接続されたＩｏＴ機器等、任意の電子機器に本技術を適用することが可能である。
【0092】
＜その他の実施形態＞
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
【0093】
図１４は、画像投影システム１００による他の画像投影例を説明するための模式図である。
例えば第１の生成部１８により、全画素領域が特徴点画像の構成対象となるキャリブレーション画像が、所定のフレームにて投影される補正用画像として生成されてもよい。
図１４に例示するように、キャリブレーション画像５１が、補正用画像として、所定のフレームにて投影される。例えば、図１３に例示するようなキャリブレーション画像４５を、数～数十フレームに１度等の低頻度で差し込んで投影させる。
例えば、ＲＧＢの３原色のキャリブレーション画像５１が同時に投影されてもよい。あるいは、ＲＧＢの３原色のキャリブレーション画像５１が、１枚ずつ、ローテーションで投影されてもよい。また投影させるキャリブレーション画像５１の色がユーザにより選択可能であってもよい。
例えば第１の生成部１８により、全画素領域が特徴点画像の構成対象となるキャリブレーション画像が、所定のフレームにて投影される補正用画像として生成されてもよい。
図１４に例示するように、キャリブレーション画像５１が、補正用画像として、所定のフレームにて投影される。例えば、図１３に例示するようなキャリブレーション画像４５を、数～数十フレームに１度等の低頻度で差し込んで投影させる。
例えば、ＲＧＢの３原色のキャリブレーション画像５１が同時に投影されてもよい。あるいは、ＲＧＢの３原色のキャリブレーション画像５１が、１枚ずつ、ローテーションで投影されてもよい。また投影させるキャリブレーション画像５１の色がユーザにより選択可能であってもよい。
【0094】
第２の補正部１９により、複数の単色プロジェクタ７の各々により投影されたキャリブレーション画像５１が撮像された撮像画像に基づいて、補正パラメータが更新される。
例えば、工場出荷時におけるキャリブレーションと同様に、共通補正パラメータ及び動的補正パラメータの両方が更新されてもよい。もちろん、動的補正パラメータのみが更新されてもよい。
例えば、工場出荷時におけるキャリブレーションと同様に、共通補正パラメータ及び動的補正パラメータの両方が更新されてもよい。もちろん、動的補正パラメータのみが更新されてもよい。
【0095】
キャリブレーション画像５１を用いたキャリブレーションを挟むことで、カラー画像２が投影される投影可能範囲１１を含めた全領域にて補正パラメータを直接算出することが可能となる。これにより、例えば非コンテンツ投影領域（第２の投影領域１４）に投影された特徴点画像１５に基づいて補正パラメータを生成することにより、仮に誤差が累積してしまうといったことが発生した場合でも、当該誤差を打ち消すことが可能となる。
この結果、より高精度の補正パラメータを取得することが可能となる。
この結果、より高精度の補正パラメータを取得することが可能となる。
【0096】
本技術の適用において、複数の単色プロジェクタの数７や、単色の組み合わせ等は限定されず、任意に設定可能である。
上記では、モバイル端末１等の１つの装置に、本技術に係る画像投影システム１００が搭載される構成を説明した。これに限定されず、撮像装置５や画像投影装置４とは別に、ＰＣ等の任意のコンピュータにより、本技術に係る画像処理装置が実現されてもよい。
上記では、モバイル端末１等の１つの装置に、本技術に係る画像投影システム１００が搭載される構成を説明した。これに限定されず、撮像装置５や画像投影装置４とは別に、ＰＣ等の任意のコンピュータにより、本技術に係る画像処理装置が実現されてもよい。
【0097】
図１５は、画像処理装置を実現可能なコンピュータ６０のハードウェア構成例を示すブロック図である。
コンピュータ６０は、ＣＰＵ６１、ＲＯＭ（Read Only Memory）６２、ＲＡＭ６３、入出力インタフェース６５、及びこれらを互いに接続するバス６４を備える。入出力インタフェース６５には、表示部６６、入力部６７、記憶部６８、通信部６９、及びドライブ部７０等が接続される。
表示部６６は、例えば液晶、ＥＬ等を用いた表示デバイスである。入力部６７は、例えばキーボード、ポインティングデバイス、タッチパネル、その他の操作装置である。入力部６７がタッチパネルを含む場合、そのタッチパネルは表示部６６と一体となり得る。
記憶部６８は、不揮発性の記憶デバイスであり、例えばＨＤＤ、フラッシュメモリ、その他の固体メモリである。ドライブ部７０は、例えば光学記録媒体、磁気記録テープ等、リムーバブルの記録媒体７１を駆動することが可能なデバイスである。
通信部６９は、ＬＡＮ、ＷＡＮ等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部６９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部６９は、コンピュータ６０とは別体で使用される場合が多い。
上記のようなハードウェア構成を有するコンピュータ６０による情報処理は、記憶部６８またはＲＯＭ６２等に記憶されたソフトウェアと、コンピュータ６０のハードウェア資源との協働により実現される。具体的には、ＲＯＭ６２等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ６３にロードして実行することにより、本技術に係る情報処理方法が実現される。
プログラムは、例えば記録媒体６１を介してコンピュータ６０にインストールされる。あるいは、グローバルネットワーク等を介してプログラムがコンピュータ６０にインストールされてもよい。その他、コンピュータ読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
コンピュータ６０は、ＣＰＵ６１、ＲＯＭ（Read Only Memory）６２、ＲＡＭ６３、入出力インタフェース６５、及びこれらを互いに接続するバス６４を備える。入出力インタフェース６５には、表示部６６、入力部６７、記憶部６８、通信部６９、及びドライブ部７０等が接続される。
表示部６６は、例えば液晶、ＥＬ等を用いた表示デバイスである。入力部６７は、例えばキーボード、ポインティングデバイス、タッチパネル、その他の操作装置である。入力部６７がタッチパネルを含む場合、そのタッチパネルは表示部６６と一体となり得る。
記憶部６８は、不揮発性の記憶デバイスであり、例えばＨＤＤ、フラッシュメモリ、その他の固体メモリである。ドライブ部７０は、例えば光学記録媒体、磁気記録テープ等、リムーバブルの記録媒体７１を駆動することが可能なデバイスである。
通信部６９は、ＬＡＮ、ＷＡＮ等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部６９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部６９は、コンピュータ６０とは別体で使用される場合が多い。
上記のようなハードウェア構成を有するコンピュータ６０による情報処理は、記憶部６８またはＲＯＭ６２等に記憶されたソフトウェアと、コンピュータ６０のハードウェア資源との協働により実現される。具体的には、ＲＯＭ６２等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ６３にロードして実行することにより、本技術に係る情報処理方法が実現される。
プログラムは、例えば記録媒体６１を介してコンピュータ６０にインストールされる。あるいは、グローバルネットワーク等を介してプログラムがコンピュータ６０にインストールされてもよい。その他、コンピュータ読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
【0098】
ネットワーク等を介して通信可能に接続された複数のコンピュータが協働することで、本技術に係る画像処理方法及びプログラムが実行され、本技術に係る画像処理装置が構築されてもよい。
すなわち本技術に係る画像処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。
なお本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。
コンピュータシステムによる本技術に係る画像処理方法、及びプログラムの実行は、例えばコンテンツ画像の取得、投影画像の生成、特徴点画像の検出、補正パラメータの生成等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
すなわち本技術に係る画像処理方法及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
すなわち本技術に係る画像処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。
なお本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。
コンピュータシステムによる本技術に係る画像処理方法、及びプログラムの実行は、例えばコンテンツ画像の取得、投影画像の生成、特徴点画像の検出、補正パラメータの生成等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
すなわち本技術に係る画像処理方法及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
【0099】
各図面を参照して説明した画像投影システム、撮像装置、画像投影装置、単色プロジェクタ、画像処理装置、投影画像、キャリブレーション画像の各構成、各処理フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。
【0100】
本開示において、「略」という文言が使用される場合、これはあくまで説明の理解を容易とするための使用であり、「略」という文言の使用／不使用に特別な意味があるわけではない。
すなわち、本開示において、「中心」「中央」「均一」「等しい」「同じ」「直交」「平行」「対称」「延在」「軸方向」「円柱形状」「円筒形状」「リング形状」「円環形状」等の、形状、サイズ、位置関係、状態等を規定する概念は、「実質的に中心」「実質的に中央」「実質的に均一」「実質的に等しい」「実質的に同じ」「実質的に直交」「実質的に平行」「実質的に対称」「実質的に延在」「実質的に軸方向」「実質的に円柱形状」「実質的に円筒形状」「実質的にリング形状」「実質的に円環形状」等を含む概念とする。
例えば「完全に中心」「完全に中央」「完全に均一」「完全に等しい」「完全に同じ」「完全に直交」「完全に平行」「完全に対称」「完全に延在」「完全に軸方向」「完全に円柱形状」「完全に円筒形状」「完全にリング形状」「完全に円環形状」等を基準とした所定の範囲（例えば±１０％の範囲）に含まれる状態も含まれる。
従って、「略」の文言が付加されていない場合でも、いわゆる「略」を付加して表現される概念が含まれ得る。反対に、「略」を付加して表現された状態について、完全な状態が排除される訳ではない。
すなわち、本開示において、「中心」「中央」「均一」「等しい」「同じ」「直交」「平行」「対称」「延在」「軸方向」「円柱形状」「円筒形状」「リング形状」「円環形状」等の、形状、サイズ、位置関係、状態等を規定する概念は、「実質的に中心」「実質的に中央」「実質的に均一」「実質的に等しい」「実質的に同じ」「実質的に直交」「実質的に平行」「実質的に対称」「実質的に延在」「実質的に軸方向」「実質的に円柱形状」「実質的に円筒形状」「実質的にリング形状」「実質的に円環形状」等を含む概念とする。
例えば「完全に中心」「完全に中央」「完全に均一」「完全に等しい」「完全に同じ」「完全に直交」「完全に平行」「完全に対称」「完全に延在」「完全に軸方向」「完全に円柱形状」「完全に円筒形状」「完全にリング形状」「完全に円環形状」等を基準とした所定の範囲（例えば±１０％の範囲）に含まれる状態も含まれる。
従って、「略」の文言が付加されていない場合でも、いわゆる「略」を付加して表現される概念が含まれ得る。反対に、「略」を付加して表現された状態について、完全な状態が排除される訳ではない。
【0101】
本開示において、「Ａより大きい」「Ａより小さい」といった「より」を使った表現は、Ａと同等である場合を含む概念と、Ａと同等である場合を含なまい概念の両方を包括的に含む表現である。例えば「Ａより大きい」は、Ａと同等は含まない場合に限定されず、「Ａ以上」も含む。また「Ａより小さい」は、「Ａ未満」に限定されず、「Ａ以下」も含む。
本技術を実施する際には、上記で説明した効果が発揮されるように、「Ａより大きい」及び「Ａより小さい」に含まれる概念から、具体的な設定等を適宜採用すればよい。
本技術を実施する際には、上記で説明した効果が発揮されるように、「Ａより大きい」及び「Ａより小さい」に含まれる概念から、具体的な設定等を適宜採用すればよい。
【0102】
以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
【0103】
なお、本技術は以下のような構成も採ることができる。
（１）
複数の単色プロジェクタの各々に対して、コンテンツ画像を構成する第１の画素領域と、前記第１の画素領域以外の第２の画素領域とを有し、前記第２の画素領域の少なくとも一部が特徴点画像を構成する投影画像を、補正パラメータを用いて生成する第１の生成部と、
前記複数の単色プロジェクタの各々により投影された前記投影画像が撮像された撮像画像から前記特徴点画像を検出し、前記特徴点画像の検出結果に基づいて前記補正パラメータを生成する第２の生成部と
を具備する画像処理装置。
（２）（１）に記載の画像処理装置であって、
前記第１の生成部は、前記複数のプロジェクタにより複数の投影画像が投影された場合に、前記コンテンツ画像が互いに重なり合うように前記投影画像を生成する
画像処理装置。
（３）（１）又は（２）に記載の画像処理装置であって、さらに、
前記複数の単色プロジェクタの各々により投影される対象となる前記コンテンツ画像を取得する取得部を具備し、
前記第１の生成部は、前記補正パラメータを用いて、取得された前記コンテンツ画像を補正して、前記投影画像を生成する
画像処理装置。
（４）（１）から（３）のうちいずれか１つに記載の画像処理装置であって、
前記第１の生成部は、所定のフレームレートで前記投影画像を生成し、
前記第２の生成部は、フレームごとに前記補正パラメータを生成する
画像処理装置。
（５）（４）に記載の画像処理装置であって、
前記第２の生成部は、前記特徴点画像の検出結果に基づいて、過去のフレームで生成された前記補正パラメータを更新する
画像処理装置。
（６）（５）に記載の画像処理装置であって、
前記第２の生成部は、前記特徴点画像の検出結果に基づいて、前記補正パラメータの変化を推測し、前記補正パラメータを更新する
画像処理装置。
（７）（１）から（６）のうちいずれか１つに記載の画像処理装置であって、
前記第２の生成部は、前記複数の単色プロジェクタのうちいずれの単色プロジェクタにより投影された前記特徴点画像であるかを識別し、前記複数の単色プロジェクタの各々に対応する前記特徴点画像の検出結果に基づいて、前記複数の単色プロジェクタの各々に対して前記補正パラメータを生成する
画像処理装置。
（８）（１）から（７）のうちいずれか１つに記載の画像処理装置であって、
前記第２の生成部は、前記複数の単色プロジェクタの各々の焦点距離に関する前記補正パラメータ、又は前記複数の単色プロジェクタと投影面との位置関係に関する前記補正パラメータの少なくとも一方を、動的補正パラメータとして生成し、
前記第１の生成部は、生成された前記動的補正パラメータを用いて、前記投影画像を生成する
画像処理装置。
（９）（８）に記載の画像処理装置であって、さらに、
前記複数の単色プロジェクタの相対的な位置関係に関する前記補正パラメータ、又は前記複数の単色プロジェクタの各々のレンズ歪みに関する前記補正パラメータの少なくとも一方を、共通補正パラメータとして記憶する記憶部を具備し、
前記第１の生成部は、記憶された前記共通補正パラメータを用いて、前記投影画像を生成する
画像処理装置。
（１０）（１）から（９）のうちいずれか１つに記載の画像処理装置であって、
前記第１の生成部は、生成された前記補正パラメータに基づいて、前記第２の画素領域における前記特徴点画像の位置を算出する
画像処理装置。
（１１）（１）から（１０）のうちいずれか１つに記載の画像処理装置であって、
前記第１の生成部は、全画素領域が前記特徴点画像の構成対象となる画像を、所定のフレームにて投影される補正用画像として生成し、
前記第２の生成部は、前記複数の単色プロジェクタの各々により投影された前記補正用画像が撮像された撮像画像に基づいて、前記補正パラメータを更新する
画像処理装置。
（１２）（１）から（１１）のうちいずれか１つに記載の画像処理装置であって、
前記複数の単色プロジェクタは、赤色光により構成される赤色画像を投影する第１の単色プロジェクタ、緑色光により構成される緑色画像を投影する第２の単色プロジェクタ、及び青色光により構成される青色画像を投影する第３の単色プロジェクタであり、
前記複数の単色プロジェクタにより複数の投影画像が投影された場合に、前記コンテンツ画像が互いに重なり合うことで、カラー画像が表示される
画像処理装置。
（１３）
複数の単色プロジェクタの各々に対して、コンテンツ画像を構成する第１の画素領域と、前記第１の画素領域以外の第２の画素領域とを有し、前記第２の画素領域の少なくとも一部が特徴点画像を構成する投影画像を、補正パラメータを用いて生成し、
前記複数の単色プロジェクタの各々により投影された前記投影画像が撮像された撮像画像から前記特徴点画像を検出し、前記特徴点画像の検出結果に基づいて前記補正パラメータを生成する
ことをコンピュータシステムが実行する画像処理方法。
（１４）
複数の単色プロジェクタの各々に対して、コンテンツ画像を構成する第１の画素領域と、前記第１の画素領域以外の第２の画素領域とを有し、前記第２の画素領域の少なくとも一部が特徴点画像を構成する投影画像を、補正パラメータを用いて生成するステップと、
前記複数の単色プロジェクタの各々により投影された前記投影画像が撮像された撮像画像から前記特徴点画像を検出し、前記特徴点画像の検出結果に基づいて前記補正パラメータを生成するステップと
をコンピュータシステムに実行させるプログラム。
（１）
複数の単色プロジェクタの各々に対して、コンテンツ画像を構成する第１の画素領域と、前記第１の画素領域以外の第２の画素領域とを有し、前記第２の画素領域の少なくとも一部が特徴点画像を構成する投影画像を、補正パラメータを用いて生成する第１の生成部と、
前記複数の単色プロジェクタの各々により投影された前記投影画像が撮像された撮像画像から前記特徴点画像を検出し、前記特徴点画像の検出結果に基づいて前記補正パラメータを生成する第２の生成部と
を具備する画像処理装置。
（２）（１）に記載の画像処理装置であって、
前記第１の生成部は、前記複数のプロジェクタにより複数の投影画像が投影された場合に、前記コンテンツ画像が互いに重なり合うように前記投影画像を生成する
画像処理装置。
（３）（１）又は（２）に記載の画像処理装置であって、さらに、
前記複数の単色プロジェクタの各々により投影される対象となる前記コンテンツ画像を取得する取得部を具備し、
前記第１の生成部は、前記補正パラメータを用いて、取得された前記コンテンツ画像を補正して、前記投影画像を生成する
画像処理装置。
（４）（１）から（３）のうちいずれか１つに記載の画像処理装置であって、
前記第１の生成部は、所定のフレームレートで前記投影画像を生成し、
前記第２の生成部は、フレームごとに前記補正パラメータを生成する
画像処理装置。
（５）（４）に記載の画像処理装置であって、
前記第２の生成部は、前記特徴点画像の検出結果に基づいて、過去のフレームで生成された前記補正パラメータを更新する
画像処理装置。
（６）（５）に記載の画像処理装置であって、
前記第２の生成部は、前記特徴点画像の検出結果に基づいて、前記補正パラメータの変化を推測し、前記補正パラメータを更新する
画像処理装置。
（７）（１）から（６）のうちいずれか１つに記載の画像処理装置であって、
前記第２の生成部は、前記複数の単色プロジェクタのうちいずれの単色プロジェクタにより投影された前記特徴点画像であるかを識別し、前記複数の単色プロジェクタの各々に対応する前記特徴点画像の検出結果に基づいて、前記複数の単色プロジェクタの各々に対して前記補正パラメータを生成する
画像処理装置。
（８）（１）から（７）のうちいずれか１つに記載の画像処理装置であって、
前記第２の生成部は、前記複数の単色プロジェクタの各々の焦点距離に関する前記補正パラメータ、又は前記複数の単色プロジェクタと投影面との位置関係に関する前記補正パラメータの少なくとも一方を、動的補正パラメータとして生成し、
前記第１の生成部は、生成された前記動的補正パラメータを用いて、前記投影画像を生成する
画像処理装置。
（９）（８）に記載の画像処理装置であって、さらに、
前記複数の単色プロジェクタの相対的な位置関係に関する前記補正パラメータ、又は前記複数の単色プロジェクタの各々のレンズ歪みに関する前記補正パラメータの少なくとも一方を、共通補正パラメータとして記憶する記憶部を具備し、
前記第１の生成部は、記憶された前記共通補正パラメータを用いて、前記投影画像を生成する
画像処理装置。
（１０）（１）から（９）のうちいずれか１つに記載の画像処理装置であって、
前記第１の生成部は、生成された前記補正パラメータに基づいて、前記第２の画素領域における前記特徴点画像の位置を算出する
画像処理装置。
（１１）（１）から（１０）のうちいずれか１つに記載の画像処理装置であって、
前記第１の生成部は、全画素領域が前記特徴点画像の構成対象となる画像を、所定のフレームにて投影される補正用画像として生成し、
前記第２の生成部は、前記複数の単色プロジェクタの各々により投影された前記補正用画像が撮像された撮像画像に基づいて、前記補正パラメータを更新する
画像処理装置。
（１２）（１）から（１１）のうちいずれか１つに記載の画像処理装置であって、
前記複数の単色プロジェクタは、赤色光により構成される赤色画像を投影する第１の単色プロジェクタ、緑色光により構成される緑色画像を投影する第２の単色プロジェクタ、及び青色光により構成される青色画像を投影する第３の単色プロジェクタであり、
前記複数の単色プロジェクタにより複数の投影画像が投影された場合に、前記コンテンツ画像が互いに重なり合うことで、カラー画像が表示される
画像処理装置。
（１３）
複数の単色プロジェクタの各々に対して、コンテンツ画像を構成する第１の画素領域と、前記第１の画素領域以外の第２の画素領域とを有し、前記第２の画素領域の少なくとも一部が特徴点画像を構成する投影画像を、補正パラメータを用いて生成し、
前記複数の単色プロジェクタの各々により投影された前記投影画像が撮像された撮像画像から前記特徴点画像を検出し、前記特徴点画像の検出結果に基づいて前記補正パラメータを生成する
ことをコンピュータシステムが実行する画像処理方法。
（１４）
複数の単色プロジェクタの各々に対して、コンテンツ画像を構成する第１の画素領域と、前記第１の画素領域以外の第２の画素領域とを有し、前記第２の画素領域の少なくとも一部が特徴点画像を構成する投影画像を、補正パラメータを用いて生成するステップと、
前記複数の単色プロジェクタの各々により投影された前記投影画像が撮像された撮像画像から前記特徴点画像を検出し、前記特徴点画像の検出結果に基づいて前記補正パラメータを生成するステップと
をコンピュータシステムに実行させるプログラム。
【符号の説明】
【0104】
１…モバイル端末
２…カラー画像
４…画像投影装置
５…撮像装置
６…画像処理部
７…単色プロジェクタ
９…単色画像
１０…投影範囲
１１…投影可能範囲（重複範囲）
１２…コンテンツ画像
１３…第１の投影領域
１４…第２の投影領域
１５…特徴点画像
２２…コンテンツ画像（画像データ）
２３…投影画像（画像データ）
２５…特徴点画像（画像データ）
２６…第１の画素領域
２７…第２の画素領域
２９…補正パラメータ
４５、５１…キャリブレーション画像
４６…特徴点画像
１００…画像処理システム
２…カラー画像
４…画像投影装置
５…撮像装置
６…画像処理部
７…単色プロジェクタ
９…単色画像
１０…投影範囲
１１…投影可能範囲（重複範囲）
１２…コンテンツ画像
１３…第１の投影領域
１４…第２の投影領域
１５…特徴点画像
２２…コンテンツ画像（画像データ）
２３…投影画像（画像データ）
２５…特徴点画像（画像データ）
２６…第１の画素領域
２７…第２の画素領域
２９…補正パラメータ
４５、５１…キャリブレーション画像
４６…特徴点画像
１００…画像処理システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】