特許 5907580 投写型表示装置および記録画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5907580

(24)【登録日】2016年4月1日

(45)【発行日】2016年4月26日

(54)【発明の名称】投写型表示装置および記録画像生成方法

(51)【国際特許分類】

   G09G 5/00 20060101AFI20160412BHJP

   G09G 5/377 20060101ALI20160412BHJP

   G09G 5/36 20060101ALI20160412BHJP

   G09G 5/02 20060101ALI20160412BHJP

   G09G 5/10 20060101ALI20160412BHJP

【ＦＩ】

   G09G5/00 510M

   G09G5/36 520L

   G09G5/00 510B

   G09G5/00 530D

   G09G5/00 550C

   G09G5/36 520P

   G09G5/02 B

   G09G5/10 B

   G09G5/10 R

   G09G5/36 520D

【請求項の数】6

【全頁数】23

(21)【出願番号】特願2014-504500(P2014-504500)

(86)(22)【出願日】2012年3月13日

(86)【国際出願番号】JP2012056360

(87)【国際公開番号】WO2013136427

(87)【国際公開日】20130919

【審査請求日】2014年9月5日

(73)【特許権者】

【識別番号】300016765

【氏名又は名称】ＮＥＣディスプレイソリューションズ株式会社

(74)【代理人】

【識別番号】100123788

【弁理士】

【氏名又は名称】宮崎 昭夫

(74)【代理人】

【識別番号】100127454

【弁理士】

【氏名又は名称】緒方 雅昭

(72)【発明者】

【氏名】池田 浩省

【審査官】 西島 篤宏

(56)【参考文献】

【文献】 特開２０１１−０６４７７７（ＪＰ，Ａ）

【文献】 特開２０１０−１２２２７５（ＪＰ，Ａ）

【文献】 特開平１１−３２７７８９（ＪＰ，Ａ）

【文献】 特開２０１２−６０４５２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／０２

Ｇ０９Ｇ ５／１０

Ｇ０９Ｇ ５／３６

Ｇ０９Ｇ ５／３７７

(57)【特許請求の範囲】

【請求項1】

入力映像信号に応じた、背景とオブジェクトとを示す入力画像を、ユーザが情報を書き込む投写面に投写する投写手段と、
撮影を実行する旨の撮影指示を受け付けると、前記投写手段による投写を停止して前記投写面を撮影し撮影画像を生成し、前記入力画像内の背景の色と前記撮影画像内の投写面の色との違いを検出し、前記違いが小さくなるように、前記入力画像と前記撮影画像の一方の画像の色を補正して補正画像を生成し、他方の画像と前記補正画像とを合成して記録画像を生成する処理手段と、を含み、
前記処理手段は、前記入力画像内の画素間の色相差および明度差の関係と前記撮影画像内の画素間の色相差および明度差の関係とを維持しつつ前記違いが小さくなるように、前記一方の画像の色を補正して前記補正画像を生成する、投写型表示装置。

【請求項2】

請求項１に記載の投写型表示装置において、
前記処理手段は、前記入力画像内の背景の色の色相と、前記撮影画像内の投写面の色の色相と、の差分を検出し、前記背景の色の色相と前記投写面の色の色相とが一致するように、前記一方の画像内の各画素の色相を前記差分ずらし、また、前記一方の画像内の各画素間の明度差の関係を維持しつつ、色がとりうる明度範囲を分割した複数の分割明度範囲のうちの１つの分割明度範囲に前記背景の色の明度と前記投写面の色の明度とが属するように、前記一方の画像内の画素の明度を補正して、前記補正画像を生成する、投写型表示装置。

【請求項3】

請求項２に記載の投写型表示装置において、
前記複数の分割明度範囲は、２つの分割明度範囲であり、
前記処理手段は、前記背景の色の明度と前記投写面の色の明度とが、異なる前記分割明度範囲に属する場合に、前記一方の画像内の画素の明度を白黒反転して、前記一方の画像内の画素の明度を補正する、投写型表示装置。

【請求項4】

請求項２または３に記載の投写型表示装置において、
前記処理手段は、さらに、前記背景の色の彩度と前記投写面の色の彩度が一致するように、前記一方の画像内の画素の彩度を補正する、投写型表示装置。

【請求項5】

請求項３に記載の投写型表示装置において、
前記処理手段は、前記背景の色の彩度または前記撮影画像内の投写面の色の彩度が、所定の彩度よりも低い場合、前記一方の画像内の画素の色相を補正せずに、前記背景の色の明度と前記投写面の色の明度とが、異なる前記分割明度範囲に属する場合に、前記一方の画像内の画素の明度を白黒反転して、前記一方の画像内の画素の明度を補正する、投写型表示装置。

【請求項6】

投写型表示装置での記録画像生成方法であって、
入力映像信号に応じた、背景とオブジェクトとを示す入力画像を、ユーザが情報を書き込む投写面に投写する投写ステップと、
撮影を実行する旨の撮影指示を受け付けると、前記投写を停止して前記投写面を撮影し撮影画像を生成し、前記入力画像内の背景の色と前記撮影画像内の投写面の色との違いを検出し、前記違いが小さくなるように、前記入力画像と前記撮影画像とのうちの一方の画像の色を補正して補正画像を生成し、他方の画像と前記補正画像とを合成して記録画像を生成する処理ステップと、を含み、
前記処理ステップは、前記入力画像内の画素間の色相差および明度差の関係と前記撮影画像内の画素間の色相差および明度差の関係とを維持しつつ前記違いが小さくなるように、前記一方の画像の色を補正して前記補正画像を生成する、記録画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、投写型表示装置および記録画像生成方法に関し、例えば、ホワイトボード等の投写面上に、投写型表示装置に入力された入力映像信号に基づく入力画像を投写し、その後、投写面に文字等の追加情報が書き込まれた場合に、入力画像と追加情報とを表す記録画像を生成する投写型表示装置および記録画像生成方法に関する。

【背景技術】

【0002】

投写型表示装置であるプロジェクタを使用した学校の授業や企業の会議では、ホワイトボードなどのユーザが書き込みを行える書込み面を投写面として利用し、投写面に入力画像が投写されている状況で、文字等の追加情報が投写面に書き込まれることがある。この場合、投写面（書込み面）には、入力画像と追加情報とが存在する。なお、入力画像は、背景上に記号や文字などのオブジェクトが示された、プレゼンテーションなどに用いられる画像を示す。

【0003】

特許文献１には、入力画像と追加情報とが存在する投写面を記録する映像投射装置が記載されている。

【0004】

特許文献１に記載の映像投射装置は、投写面に投写された入力画像を、投写面に書き込まれた追加情報と共に撮影することで、記録画像を生成する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００６−５３３１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に記載の映像投射装置は、投写面に投写された入力画像を、投写面に書き込まれた追加情報と共に撮影するため、投写面上の入力画像が判別し難くなると、記録画像内の入力画像も判別し難くなるという問題が生じる。これは、文字等の追加情報の輝度と投写面上の入力画像の輝度が著しく異なることに起因する。

【0007】

この問題を解決する手法として、追加情報が投写面に書き込まれた後に入力画像の投写を停止して投写面を撮影することで撮影画像を生成し、この撮影画像と、プロジェクタが受け付けた入力画像（入力映像信号にて特定される入力画像）と、を重畳して、記録画像を生成する手法が考えられる。

【0008】

しかしながら、この手法が用いられると、入力画像内のオブジェクトの色が、オブジェクトの位置にある撮影画像の色と同じである場合には、入力画像と撮影画像とを重畳した記録画像上にて、オブジェクトが判別し難くなる可能性があるという課題があった。

【0009】

本発明の目的は、上記課題を解決可能な投写型表示装置および記録画像生成方法を提供することである。

【課題を解決するための手段】

【0010】

本発明の投写型表示装置は、
入力映像信号に応じた、背景上のオブジェクトを示す入力画像を、ユーザが情報を書き込む投写面に投写する投写手段と、
撮影を実行する旨の撮影指示を受け付けると、前記投写手段による投写を停止して前記投写面を撮影し撮影画像を生成し、前記入力画像内の背景の色と前記撮影画像内の投写面の色との違いを検出し、前記違いが小さくなるように、前記入力画像と前記撮影画像の一方の画像の色を補正して補正画像を生成し、他方の画像と前記補正画像とを重畳して記録画像を生成する処理手段と、を含む。

【0011】

本発明の記録画像生成方法は、
投写型表示装置での記録画像生成方法であって、
入力映像信号に応じた、背景上のオブジェクトを示す入力画像を、ユーザが情報を書き込む投写面に投写する投写ステップと、
撮影を実行する旨の撮影指示を受け付けると、前記投写を停止して前記投写面を撮影し撮影画像を生成し、前記入力画像内の背景の色と前記撮影画像内の投写面の色との違いを検出し、前記違いが小さくなるように、前記入力画像と前記撮影画像の一方の画像の色を補正して補正画像を生成し、他方の画像と前記補正画像とを重畳して記録画像を生成する処理ステップと、を含む。

【発明の効果】

【0012】

本発明によれば、入力画像と撮影画像とを重畳した記録画像にて、入力画像内の文字等の表示情報が判別され難くなることを防ぐことが可能になる。

【図面の簡単な説明】

【0013】

【図1】本発明の第１実施形態のプロジェクタ１００を示した図である。

【図2】投写面２００上の投写画像の一例を示した図である。

【図3】図２に示された黒板２００を撮影して生成した画像を示した図である。

【図4】一般的なＨＳＢ色空間を示す。

【図5】色相とＲ、Ｇ、Ｂの階調の関係を示した図である。

【図6】記憶部３に保存される入力画像の一例を示した図である。

【図7】テスト画像が表示された領域を表す抽出用画像の一例を示した図である。

【図8】投写画像が非表示になっている状況での撮影結果の一例を示した図である。

【図9】書込画像９０１の一例を示した図である。

【図10】合成用入力画像１００１の一例を示した図である。

【図11】色相、明度、彩度が補正された書込画像９０１の一例を示した図である。

【図12】記録画像１２０１の一例を示した図である。

【図13】本発明の第２実施形態のプロジェクタ１００Ａを示した図である。

【発明を実施するための形態】

【0014】

以下、本発明の実施形態について図面を参照して説明する。

【0015】

（第１実施形態）
図１は、本発明の第１実施形態のプロジェクタ１００を示した図である。

【0016】

プロジェクタ１００は、投写型表示装置の一例であり、投写処理部１と、映像信号出力部２と、記憶部３と、処理部４と、制御部５と、を含む。投写処理部１は、映像信号入力部１１と、フレームメモリ部１２と、映像信号処理部１３と、表示部１４と、投写レンズ１５と、を含む。処理部４は、撮像部４１と、トリガ検出部４２と、撮影画像処理部４３と、を含む。撮像部４１は、撮像レンズを有する撮影画像入力部４１ａを備える。

【0017】

投写処理部１は、投写手段の一例である。

【0018】

投写処理部１は、入力映像信号に応じた入力画像を、ユーザが情報を書き込む投写面２００に投写する。なお、本発明での入力画像は、背景上に記号や文字、図、絵、写真などのオブジェクトが示された、プレゼンテーションなどに用いられる画像を示す。

【0019】

本実施形態では、投写面２００として、ユーザが情報を書き込める書込み面（例えば、ホワイトボードまたは黒板、等）が用いられる。

【0020】

このため、ユーザは、入力画像が表示された投写面２００に、メモなどの情報を追加情報として書き込むことができる。

【0021】

映像信号入力部１１は、例えば、ＰＣ（personal computer）等の電子機器から、入力画像を表す映像信号（入力映像信号）を受け付ける。映像信号入力部１１は、映像信号を受け付けると、その映像信号を、映像信号処理部１３に出力する。

【0022】

映像信号処理部１３は、映像信号入力部１１からの映像信号を、そのまま、または、信号処理して、映像信号出力部２に出力可能である。また、映像信号処理部１３は、フレームメモリ部１２に入力映像信号を出力する。また、映像信号処理部１３は、フレームメモリ部１２から映像信号を読み出し、必要に応じて信号処理（例えば、画質調整や解像度変換、台形歪補正、等）を行い、投写領域に表示する投写画像を生成し、該信号処理された映像信号を表示部１４に出力する。

【0023】

フレームメモリ部１２は、映像信号処理部１３から映像信号を受け付けると、その映像信号に対応する画像をフレーム単位で格納する。

【0024】

表示部１４は、信号処理された映像信号を受け付け、信号処理された映像信号に応じた投写画像を表示し、光源であるランプ（不図示）からの光を投写画像に応じて変調して、投写画像を表す投写光を生成する。

【0025】

投写レンズ１５は、表示部１４にて生成された投写光（投写画像）を、投写面２００に投写する。

【0026】

映像信号出力部２は、例えば、映像信号入力部１１が受け付けた映像信号を、映像信号処理部１３を介して受け付け、その映像信号を外部機器（例えば、外部の表示装置）に出力する。

【0027】

記憶部３は、種々の画像を記憶する。

【0028】

処理部４は、処理手段の一例である。

【0029】

処理部４は、撮影を実行する旨の撮影指示を受け付けると、投写処理部１による投写を停止して投写面２００を撮影し撮影画像を生成する。

【0030】

撮像部４１は、投写面２００を撮影する。

【0031】

本実施形態では、入力映像信号に対応する表示画像（入力画像）が、投写面２００のうちの一部の領域（以下「表示領域」と称する）に投写されるとする。また、投写面２００の全域が、書き込み可能な領域（以下「書込領域」と称する）であり、撮像部４１は、投写面２００の全域を撮影するものとする。

【0032】

撮像部４１は、例えば、メモ等の追加情報が書き込まれた投写面２００を、投写面２００への入力映像信号に対応する表示画像の投写が停止しているときに撮影する。

【0033】

トリガ検出部４２は、撮影を実行する旨の撮影指示を受け付ける。

【0034】

撮影画像処理部４３は、トリガ検出部４２が撮影指示を受け付けると、記憶部３に入力画像（例えば、入力映像信号に対応する画像）を記憶し、投写処理部１による投写を停止し、撮影部４１を用いて投写面２００を撮影して撮影画像を生成する。

【0035】

制御部５は、プロジェクタ１００の制御、例えば、画像の投写表示等を行うための制御を行う。なお、撮影画像処理部４３は、制御部５に内蔵されてもよい。

【0036】

撮影画像処理部４３は、入力画像内の背景の色と撮影画像内の投写面２００の色との違い（以下「色の違い」と称する）を検出する。

【0037】

撮影画像処理部４３は、所定の領域の色の違いが小さくなるように、入力画像と撮影画像とのうちの一方の画像（例えば、撮影画像）の色を補正して補正画像を生成する。

【0038】

撮影画像処理部４３は、入力画像と撮影画像とのうちの他方の画像（一方の画像が撮影画像の場合には、入力画像）と、補正画像と、を重畳して記録画像を生成する。

【0039】

ここで、投写処理部１による入力画像の投写について説明する。

【0040】

一般に、プロジェクタの投写レンズの投写光軸と投写面との角度が垂直でない場合、プロジェクタから投写され投写面に表示された画像は、台形状に歪む。

【0041】

このため、プロジェクタ１００では、投写面２００で台形状に歪んだ入力映像信号に対応する表示画像が矩形形状になるように、映像信号処理部１３が、表示部１４で表示される入力映像信号に対応する表示画像に対して、台形歪補正を行っている。

【0042】

図２は、投写面２００として黒板が使用され、プロジェクタ１００から投写された投写画像が、台形状に歪んだ状態で、黒板の一部の所定領域（以下「投写領域」と称する）に表示され、ユーザ３００が黒板２００にメモを書き込んだ状態を、黒板２００の正面から見た図である。

【0043】

図２では、プロジェクタ１００は、黒板２００の左斜め下から投写画像を投写しているものとして簡易的に示されている。

【0044】

つまり、図２では、プロジェクタ１００の投写レンズ１５の投写光軸と投写面２００の法線とが平行でない場合において、台形に歪んだ状態となった投写画像が表示される投写領域２００ａと、台形歪補正により投写面２００で矩形形状となった入力映像信号に対応する表示画像２００ｂが表示される表示領域２００ｃとが、簡易的に示されている。

【0045】

なお、表示領域２００ｃ内に示された文字「Ａ」は、入力映像信号に対応する表示画像２００ｂ内の表示情報（オブジェクト）２００ｂ１であり、黒板２００に示された記号「×」、文字「Ｂ」および「Ｃ」は、ユーザ３００にて書き込まれた追加情報（書込みメモ）２００ａ１である。

【0046】

また、プロジェクタ１００の投写レンズ１５の投写光軸と投写面２００との関係と同様に、撮影画像入力部４１の撮像レンズの光軸と投写面２００との関係により、投写面２００を撮影した画像は、台形状に歪んだ画像となる。

【0047】

図３は、撮像部４１が図２に示された黒板（投写面）２００を撮影することで生成した画像を示した図である。

【0048】

なお、投写レンズ１５の投写光軸と撮像レンズの光軸とが平行に配置され、投写レンズ１５の中心と撮像レンズの中心との距離が、プロジェクタ１００の投写レンズと投写面２００との距離に対し十分小さければ、撮像部４１が生成した画像において、投写領域２００ａは、略矩形形状となる。

【0049】

次に、色相（Hue）、彩度（Saturation、Chroma）、および、明度（Brightness、Value）からなる色空間について説明する。

【0050】

色相、彩度、および、明度からなる色空間は、例えば、ＨＳＢ（Hue、Saturation、Brightness）色空間またはＨＳＶ（Hue、Saturation、Value）色空間と呼ばれ、図４のように示される。

【0051】

図４は、一般的なＨＳＢ色空間を示す。

【0052】

図４（ａ）は、円周方向に各色が配置されて色相を示す色相環を示す。なお、図４（ａ）に示した色相環では、円の中心に近づくほど彩度が低くなり、円周に近づくほど彩度が高くなる。

【0053】

図４（ｂ）は、明度と彩度の関係を主に示した図であり、図４（ａ）に示した色相環を示す平面に対する鉛直方向成分にて明度を示す。なお、明度が高くなると、色は白っぽく（明るく）なり、明度が低くなると、色は黒っぽく（暗く）なる。

【0054】

なお、図４は、図４（ａ）と図４（ｂ）とを用いて色空間を円柱形に示しているが、例えば、図４（ｂ）で示した明度と彩度の関係を円形や三角形、等で表して、色空間を球形や円錐形、等で示す場合もある。

【0055】

図４（ａ）において、例えば、青の色相を１８０度移動すると、黄の色相となる。つまり、色相環において、円の中心に対し反対の位置（１８０度の位置）にある色相同士が、互いの補色になる。

【0056】

また、図４（ａ）において、彩度が０のとき、円周に示された色の色彩は無くなり、明度により黒（暗）と白（明）の間で色が変化する。

【0057】

なお、本実施形態では、色相の変化範囲を０から３６０度、彩度と明度の変化範囲を最小値０から最大値１に正規化して記載する。

【0058】

また、色の構成要素となるＲ（赤）、Ｇ（緑）、Ｂ（青）の階調の変化範囲は、最小値０から最大値２５５として記載する。

【0059】

このとき、色相とＲ、Ｇ、Ｂの階調の関係は、例えば、図５で示される。ただし、図５に示された色相とＲ、Ｇ、Ｂの階調の関係は、プロジェクタ１００が画像を投写する際に使用する光源の各色の波長特性の関係から、適宜設定される。

【0060】

一般に、色相とＲ、Ｇ、Ｂの階調の関係が図５に示したものであるとき、明度が最大値１を示す白は、Ｒ＝Ｇ＝Ｂ＝２５５のときであり、明度が最小値０を示す黒は、Ｒ＝Ｇ＝Ｂ＝０のときである。

【0061】

また、彩度が最大値１を示す赤は、Ｒ＝２５５、Ｇ＝Ｂ＝０であり、彩度が小さくなるにしたがいＲの値が減少し、最小値０のときに、Ｒ＝Ｇ＝Ｂ＝０となり、黒となる。

【0062】

なお、ＲＧＢ信号や輝度色差信号（例えば、Ｙ、Ｃｂ、Ｃｒ信号）に対応するＲ、Ｇ、Ｂを示す値や輝度、式差を示す値と、色相、彩度、明度を示す値と、の相互の変換方法は、広く公開されている。

【0063】

次に、動作を説明する。

【0064】

まず、プロジェクタ１００では、投写処理部１は、入力された映像信号に応じた表示画像を、投写面２００の表示領域２００ｃに投写表示する。ユーザ３００は、投写面２００上の表示画像を用いて、プレゼンテーションまたは授業を行いながら、投写面２００に、メモ等の追加情報２００ａ１を書き込む。以下では、入力映像信号に対応する表示画像が投写され追加情報が書き込まれた投写面２００が、図２に示した状態になっているとする。

【0065】

その後、例えば、ユーザ３００が、リモコンやプロジェクタ１００に配置された操作ボタン（不図示）（本体ボタン）に対して、撮影を行う旨の操作を行うと、リモコンや本体ボタンは撮影指示を出力する。トリガ検出部４２は、撮影指示を検出すると、その撮影指示を撮影画像処理部４３に出力する。

【0066】

撮影画像処理部４３は、撮影指示を受け付けると、撮影指示を受け付けたときに、プロジェクタ１００から投写されている表示画像に対応する入力画像を記憶部３に保存する。なお、入力画像、および、撮像部４１で撮影される画像は、ＲＧＢの値で示される色空間で表現されているものとする。

【0067】

図６は、記憶部３に保存される入力画像の一例を示した図である。

【0068】

なお、撮影画像処理部４３は、映像信号入力部１１から入力された映像信号をそのまま入力画像として記憶部３に保存してもよいし、フレームメモリ部１２に保存された入力画像を記憶部３に保存してもよい。なお、フレームメモリ部１２に保存された入力画像を記憶部３に保存するとき、フレームメモリ部１２は、映像信号処理部１３から受け付ける映像信号の格納をフレーム単位で完了したときに一時的に停止し、記憶部３への保存を開始し、保存が終了したあとに、格納を再開することが望ましい。

【0069】

続いて、撮影画像処理部４３は、映像信号処理部１３を制御して、プロジェクタ１００から投写される画像を、テスト画像に切り換える。テスト画像は、例えば、投写領域２００ａに投写される投写映像のうち、入力映像信号に対応する表示画像の外周部分（以下「枠」と称する）を白とし、その他の領域を黒とした画像である。なお、テスト画像は、例えば、予め記憶部３に保存されており、撮影画像処理部４３が、記憶部３内のテスト画像を映像信号処理部１３に出力し、映像信号処理部１３がテスト画像を表示部１４に表示する。なお、表示されるテスト画像は、入力映像信号に対応する表示領域を抽出できるものであれば、どのような画像でもよい。

【0070】

続いて、撮影画像処理部４３は、撮像部４１を用いて、投写面２００のうち表示領域２００ｃを含む領域を撮影して、テスト画像が表示された領域を表す画像（以下「抽出用画像」）を生成する。なお、本実施形態では、テスト画像が表示された投写面２００全体が撮像部４１にて撮影される。

【0071】

図７は、テスト画像が表示された領域（投写面２００全体）を表す抽出用画像の一例を示した図である。

【0072】

続いて、撮影画像処理部４３は、抽出用画像から、入力映像信号に対応する表示画像が表示される表示領域２００ｃと、書込領域（投写面）２００と、を抽出する。

【0073】

例えば、撮影画像処理部４３は、抽出用画像のうち、テスト画像に示された枠内の領域を、表示領域２００ｃとして抽出する。また、撮影画像処理部４３は、抽出用画像のうち、表示領域２００ｃの周辺部であって輝度や色などの変化が小さい領域を含む略四角形の領域を、書込領域２００として抽出する。

【0074】

続いて、撮影画像処理部４３は、映像信号処理部１３を制御して、プロジェクタ１００の投写画像を一時的に非表示にし、その後、撮像部４１を用いて、投写面２００のうち、表示領域２００ｃを含む領域（本実施形態では、投写面２００全体）を撮影する。

【0075】

図８は、プロジェクタ１００の投写画像が非表示になっている状況での撮像部４１の撮影結果の一例を示した図である。

【0076】

なお、プロジェクタ１００の投写画像を一時的に非表示にする方法としては、表示部１４の表示画像として全黒画像（投写領域２００ａ全てが黒となる画像）を表示する、または、光源であるランプを消灯する、または、プロジェクタ１００が光源から投写面２００までの光路の途中に遮光板を備えている場合は該遮光板を閉じる、等で行うことができる。

【0077】

続いて、撮影画像処理部４３は、撮像部４１の撮影結果（図８参照）と、先に抽出された表示領域２００ｃおよび書込領域（投写面）２００と、に基づき、追加情報が書き込まれた領域を表す書込画像を生成する。なお、書込画像は、撮影画像の一例である。

【0078】

図９は、書込画像９０１の一例を示した図である。

【0079】

本実施形態では、撮影画像処理部４３は、書込画像９０１の縦方向または横方向の解像度が表示部１４の解像度と同じになり、かつ、書込画像９０１に表された書込領域（投写面）２００内の表示領域２００ｃのアスペクト比が入力画像のアスペクト比と略同じになるように、撮像部４１の撮影結果内の書込領域（投写面）２００の縦方向または横方向の解像度変換および台形歪補正を行って、書込画像９０１を生成する。

【0080】

つまり、撮影画像処理部４３は、表示部１４の解像度が例えば１０２４×７６８の場合、書込画像９０１内の書込領域２００の横方向の解像度が１０２４以下、縦方向の解像度が７６８以下となる解像度候補のうちで最大の解像度候補が、書込領域２００の解像度となり、かつ、書込領域２００内の表示領域２００ｃが略矩形形状であり、かつ、表示領域２００ｃのアスペクト比が入力画像のアスペクト比と略同じになるように、解像度変換および台形歪補正を行う。

【0081】

例えば、書込領域２００が横長の場合、撮影画像処理部４３は、書込領域２００の横方向の解像度を最大値である１０２４とし、書込領域２００の縦方向の解像度を７６８以下とする。

【0082】

なお、画面の縮小や拡大に関する解像度変換に関する技術は、既に公開されている。また、台形歪補正に関する技術として、投写面に対して投写型表示装置が斜め方向から投写されたときに発生する台形歪を補正する技術が公開されており、撮影画像処理部４３は、この技術に基づき、画像に対して台形歪補正の逆補正を行うことで対応できる。

【0083】

また、撮影画像処理部４３は、記憶部３内の入力映像が、書込画像９０１内の表示領域２００ｃと同じ形状になるように、記憶部３内の入力画像の解像度を変換して、合成用入力画像を生成する。

【0084】

図１０は、合成用入力画像１００１の一例を示した図である。

【0085】

続いて、撮影画像処理部４３は、合成用入力画像１００１、および、書込画像９０１を、ＲＧＢの値で示される色空間から、例えば、ＨＳＶ（色相、彩度、明度）の値で示される色空間に変換する。

【0086】

なお、本実施形態では、撮影画像処理部４３は、書込画像９０１の色相、明度、彩度を補正し、合成用入力画像１００１の色相、明度、彩度を補正せずに 記録画像を生成する。つまり、書込画像９０１の背景（投写面）と合成用入力画像１００１の背景との色の関係から補正量を算出して、書込画像９０１を補正する。このため、撮影画像処理部４３は、先に、合成用入力画像１００１の背景の領域を抽出し、抽出された背景をＨＳＶ色空間に変換し、その変換結果と書込画像９０１の背景の色との関係から書込画像９０１の補正量を算出してもよく、合成用入力画像１００１全体をＨＳＶ色空間に変換しなくてもよい。

【0087】

続いて、撮影画像処理部４３は、ＨＳＶ色空間に変換された合成用入力画像１００１’の背景の色を検出する。

【0088】

例えば、撮影画像処理部４３は、ＨＳＶ色空間に変換された合成用入力画像１００１’のうち、合成用入力画像１００１’の外周と、その外周から所定の画素数だけ内側に存在する各画素にて構成される境界と、の間の領域（枠領域）に含まれる各画素の色の分布（画素数）を生成し、最も多い色を合成用入力画像１００１’の背景の色とし、背景の色が表示される画素を背景とする。

【0089】

なお、撮影画像処理部４３は、最も多い色を含む所定の範囲の色を合成用入力画像１００１’の背景の色と見なしてもよい。

【0090】

画像の外周付近を用いて背景の色を特定する理由は、画像の外周付近は背景となる場合が多いためである。なお、合成用入力画像１００１’において、予め背景の位置が規定できれば、撮影画像処理部４３は、規定された位置に基づいて、合成用入力画像１００１’の背景の色を検出してもよい。

【0091】

続いて、撮影画像処理部４３は、ＨＳＶ色空間に変換された書込画像９０１’内の書込領域２００’の背景の色、つまり、書込画像９０１’内の投写面２００’の色を検出する。

【0092】

例えば、撮影画像処理部４３は、書込領域２００’のうち、書込領域２００’の外周と、その外周から所定の画素数だけ内側に存在する各画素にて構成される境界と、の間の領域（枠領域）に含まれる各画素の色の分布（画素数）を生成し、最も多い色を書込領域２００’の背景の色とし、背景の色が表示される画素を背景とする。

【0093】

また、撮影画像処理部４３は、最も多い色を含む所定の範囲の色を書込領域２００’の背景の色としてもよい。

【0094】

なお、撮影画像は、撮影されるときの室内照明等の影響を受け、投写面の場所により明度や彩度が異なる場合がある。このため、撮影画像処理部４３は、色相のみに着目して背景の色相を判定し、判定した色相の画素のうち、最も多い色（色相、彩度、明度）を背景の色としてもよい。

【0095】

書込領域２００’の外周付近を用いて背景の色を特定する理由は、書込領域２００’の外周付近は背景となる場合が多いためである。なお、書込領域２００’において、予め背景の位置が規定できれば、撮影画像処理部４３は、規定された位置に基づいて、書込領域２００’の背景の色を検出してもよい。

【0096】

続いて、撮影画像処理部４３は、合成用入力画像１００１’の背景の色と書込領域２００’の背景の色の関係を判定する。

【0097】

まず、撮影画像処理部４３は、合成用入力画像１００１’の背景の色相と、書込領域２００’の背景（投写面２００’）の色相との差分Ｄｈを算出する。例えば、撮影画像処理部４３は、合成用入力画像１００１’の背景の色相から、書込画像９０１’の背景の色相を、差し引いた値（差分：正と負の値をとる）を色相の差分Ｄｈとして算出する。

【0098】

次に、撮影画像処理部４３は、明度の中間の値である０．５を基準として、０以上で０．５より小さい第１の領域（黒領域）と、０．５より大きく１．０までの第２の領域（白領域）と、を特定し、合成用入力画像１００１’の背景の明度と、書込領域２００’の背景の明度とが、それぞれどちらの領域に含まれるか判定する。撮影画像処理部４３は、判定した結果、合成用入力画像１００１’の背景の明度と、書込領域２００’の背景の明度とが、同じ領域の場合は明度反転フラグＦｖをＯＦＦとし、違う領域の場合は明度反転フラグＦｖをＯＮとする。撮影画像処理部４３は、明度反転フラグＦｖがＯＮのときは、書込領域２００’の背景の明度を、中間の値である０．５に対し反転させる反転処理を行う。例えば、撮影画像処理部４３は、明度の値が０．１のときは、０．９とする。なお、撮影画像処理部４３は、画像の少なくとも一方が０．５のときは、同じ領域と判定することが望ましい。これは、不必要な反転処理をさけるためである。

【0099】

次に、撮影画像処理部４３は、書込領域２００’の背景の明度を、合成用入力画像１００１’の背景の明度と同じ値にするための明度係数Ｋｖを算出する。撮影画像処理部４３は、ＦｖがＯＮのとき、Ｋｖ＝（合成用入力画像１００１’の背景の明度の値）／（書込領域２００’の背景の明度の反転された値）により明度係数Ｋｖを算出し、ＦｖがＯＦＦのとき、Ｋｖ＝（合成用入力画像１００１’の背景の明度の値）／（書込領域２００’の背景の明度の値）により明度係数Ｋｖを算出する。

【0100】

次に、撮影画像処理部４３は、彩度の中間の値である０．５を基準として、０以上で０．５より小さい第３の領域（くすみ領域）と、０．５より大きく１．０までの第４の領域（あざやか領域）と、を特定し、合成用入力画像１００１’の背景の彩度と、書込領域２００’の背景の彩度とが、それぞれどちらの領域に含まれるか判定する。撮影画像処理部４３は、判定した結果、合成用入力画像１００１’の背景の彩度と、書込領域２００’の背景の彩度とが、同じ領域の場合は彩度反転フラグＦｓをＯＦＦとし、違う領域の場合は彩度反転フラグＦｓをＯＮとする。撮影画像処理部４３は、彩度反転フラグＦｓがＯＮのときは、書込領域２００’の背景の彩度を、中間の値である０．５に対し反転させる反転処理を行う。例えば、撮影画像処理部４３は、彩度の値が０．２のときは、明度の反転処理と同様に、０．８とする。なお、撮影画像処理部４３は、画像の少なくとも一方が０．５のときは、同じ領域と判定することが望ましい。これは、不必要な反転処理をさけるためである。

【0101】

次に、撮影画像処理部４３は、書込領域２００’の背景の彩度が、合成用入力画像１００１’の背景の彩度と同じ値にするための彩度係数Ｋｓを算出する。撮影画像処理部４３は、ＦｓがＯＮのとき、Ｋｓ＝（合成用入力画像１００１’の背景の彩度の値）／（書込領域２００’の背景の彩度の反転された値）により彩度係数Ｋｓを算出し、ＦｓがＯＦＦのとき、Ｋｓ＝（合成用入力画像１００１’の背景の彩度の値）／（書込領域２００’の背景の彩度の値）により彩度係数Ｋｓを算出する。

【0102】

続いて、撮影画像処理部４３は、判定された、合成用入力画像１００１’の背景の色と書込領域２００’の背景の色との関係に基づき、書込画像９０１’を補正する。

【0103】

まず、撮影画像処理部４３は、算出された色相の差分Ｄｈに基づき、書込画像９０１’の各画素の色相が、算出された色相の差分Ｄｈ（角度）だけ移動するように、色相処理を行う。つまり、この補正によって、書込画像９０１’内の画素間の色相差（角度差）を維持しつつ、書込画像９０１’のすべての画素の色相が変化する。

【0104】

次に、撮影画像処理部４３は、判定された彩度反転フラグＦｓに基づき、書込画像９０１’の全ての画素の彩度に、彩度反転フラグ処理を行う。つまり、撮影画像処理部４３は、彩度反転フラグＦｓがＯＮであれば、彩度の中間の値０．５を基準とし、反転処理を行い、彩度反転フラグＦｓがＯＦＦであれば、反転処理を行わず、そのままの値とする。次に、撮影画像処理部４３は、算出された彩度係数Ｋｓに基づき、彩度反転フラグ処理が行われた書込画像９０１’の全ての画素の彩度に、彩度係数Ｋｓを乗算する彩度係数処理を行う。

【0105】

なお、彩度反転フラグ処理が行われれば、書込画像の背景の色と、入力画像の背景の色との差は小さくなるので、彩度係数処理は行わなくても良い。

【0106】

次に、撮影画像処理部４３は、判定された明度反転フラグＦｖに基づき、書込画像９０１’の全ての画素の明度に、明度反転フラグ処理を行う。つまり、撮影画像処理部４３は、明度反転フラグＦｖがＯＮであれば、明度の中間の値０．５を基準とし、反転処理を行い、明度反転フラグＦｖがＯＦＦであれば、反転処理を行わず、そのままの値とする。次に、撮影画像処理部４３は、算出された明度係数Ｋｖ基づき、明度反転フラグ処理が行われた書込画像９０１’の全ての画素の明度に、明度係数Ｋｖを乗算する明度係数処理を行う。

【0107】

なお、明度反転フラグ処理が行われれば、書込画像の背景の色と、入力画像の背景の色との差は小さくなるので、明度係数処理は行わなくても良い。

【0108】

続いて、撮影画像処理部４３は、書込画像９０１’を、ＨＳＶの値で示される色空間からＲＧＢの値で示される色空間に変換し、色相、彩度、明度が補正された書込画像９０１を生成する。

【0109】

図１１は、色相、明度、彩度が補正された書込画像９０１の一例を示した図である。

【0110】

続いて、撮影画像処理部４３は、色相、明度、彩度が補正された書込画像９０１（図１１参照）と合成用入力画像１００１（図１０参照）を重畳（合成）して、記録画像を生成する。撮影画像処理部４３は、記録画像を記憶部３に保存する。

【0111】

なお、本実施形態では、撮影画像処理部４３は、合成用入力画像１００１の背景の明るさが、所定の明るさ閾値よりも明るい場合（例えば、白）、補正後の書込画像９０１内のある画素とその画素と重ねられる合成用入力画像１００１内の画素のうち、暗い色の画素が残るように、画素の合成（重畳）を行い、合成用入力画像１００１の背景の明るさが、所定の明るさ閾値以下である場合（例えば、黒）、補正後の書込画像９０１内のある画素とその画素と重ねられる合成用入力画像１００１内の画素のうち、明るい色の画素が残るように、画素の合成（重畳）を行う。

【0112】

図１２は、図１１に示された書込画像９０１と図１０に示された合成用入力画像１００１とを重畳した記録画像１２０１の一例を示した図である。

【0113】

なお、記録画像１２０１において、書込領域（投写面）２００の解像度が１０２４×７６８のアスペクトと異なる場合、例えば、書込領域（投写面）２００が横長である場合、横方向の解像度を１０２４にするため、縦方向の解像度が７６８以下となる。この場合、記録画像１２０１において縦方向の足りない部分は、例えば、黒等の画像を追加して１０２４×７６８の解像度になるように補正すれば良い。ただし、必ずしも１０２４×７６８の解像度になるように補正する必要はない。

【0114】

記憶部３に保存された記録画像１２０１は、プロジェクタ１００により、投写表示することが可能であり、外部機器に出力することもできる。例えば、プロジェクタ１００は、記録画像１２０１を、映像信号として別の表示装置に出力したり、画像データとしてＵＳＢメモリ等に出力することが可能である。

【0115】

なお、撮影画像処理部４３は、背景の検出を、合成用入力画像や書込画像ではなく、入力された映像信号に基づく画像やフレームメモリ部１２に保存された画像、撮像部４で撮影された画像に基づいて行ってもよい。

【0116】

また、撮影画像処理部４３は、色相、明度、彩度の相関関係に基づき、色相の補正、明度の補正、彩度の補正の順番を入れ替えてもよい。

【0117】

また、撮影画像処理部４３は、入力画像または書込画像の背景の色が無い（彩度が無いまたは低い）ときは、明度のみ補正してもよい。例えば、書込画像の背景の色が無い場合としては、書込面が黒板やホワイトボードのときがこれに相当する。

【0118】

また、撮影画像処理部４３は、合成用入力画像と書込画像のうち、書込画像について色相、明度、彩度の補正を行うようにしたが、書込画像の代わりに合成用入力画像について色相、明度、彩度の補正を行うようにしてもよい。

【0119】

また、撮影画像処理部４３は、解像度変換や台形歪補正を行った画像について色相、明度、彩度の補正を行うようにしたが、各画像について色相、明度、彩度の補正を行った後に、解像度変換や台形歪補正を行っても良い。

【0120】

なお、映像信号処理部１３の制御は、撮影画像処理部４３が行っているが、撮影画像処理部４３が制御部５に指示し、制御部５が映像信号処理部１３を制御しても良い。

【0121】

また、入力映像信号は、本実施形態では、ＰＣ等から入力される映像信号としたが、入力映像信号として、記憶部３に記憶された画像データや、ＵＳＢ端子等を利用して入力される画像データ等に基づく映像信号でもよい。

【0122】

次に、本実施形態の効果を説明する。

【0123】

本実施形態では、投写処理部１は、入力映像信号に応じた入力画像を、ユーザが情報を書き込む投写面２００に投写する。

【0124】

処理部４は、撮影指示を受け付けると、投写処理部１による投写を停止して投写面２００を撮影し撮影画像を生成する。

【0125】

処理部４は、入力画像内の背景の色と撮影画像内の投写面の色との違いを検出し、該違いが小さくなるように、入力画像と撮影画像とのうちの一方の画像の色を補正して補正画像を生成し、他方の画像と補正画像とを重畳して記録画像を生成する。

【0126】

このため、投写面の色と、入力画像内の文字等の表示情報の色と、のコントラストが低くても、記録画像では、投写面の色と入力画像内の背景の色との差が小さくなる。一般的に、入力画像内では、入力画像内の表示情報と入力画像の背景の色とのコントラストは高く設定される。よって、記録画像において表示情報の色と投写面の色とのコントラストは高くなり、記録画像内で表示情報が見難くなることを防止可能になる。

【0127】

本実施形態では、処理部４は、入力画像内の画素間の色相差および明度差の関係と撮影画像内の画素間の色相差および明度差の関係とを維持しつつ、入力画像内の背景の色と撮影画像内の投写面の色との違いが小さくなるように、前記一方の画像の色を補正して補正画像を生成する。

【0128】

このため、記録画像では、入力画像内の画素間の色相差および明度差の関係と撮影画像内の画素間の色相差および明度差の関係が維持されるため、記録画像上での撮影画像内の追加情報が見難くなることを防止可能になる。

【0129】

本実施形態では、処理部４は、入力画像内の背景の色の色相と、撮影画像内の投写面２００の色の色相と、の差分を検出し、背景の色の色相と投写面の色の色相とが一致するように、一方の画像内の各画素の色相を前記差分ずらし、また、一方の画像内の各画素間の明度差の関係を維持しつつ、色がとりうる明度範囲を分割した複数の分割明度範囲のうちの１つの分割明度範囲に背景の色の明度と投写面の色の明度とが属するように、一方の画像内の画素の明度を補正して、補正画像を生成する。

【0130】

このため、記録画像において、入力画像内の背景の色の色相と撮影画像内の投写面の色の色相との違いが小さくなり、かつ、入力画像内の背景の色の明度と撮影画像内の投写面の色の明度とが所定の明度範囲に収まる。なお、複数の分割明度範囲の数は２に限らず、２よりも大きい数でもよい。

【0131】

本実施形態では、複数の分割明度範囲は、２つの分割明度範囲（黒領域と白領域）であり、処理部４は、背景の色の明度と投写面の色の明度とが、異なる分割明度範囲に属する場合に、一方の画像内の画素の明度を白黒反転して、一方の画像内の画素の明度を補正する。

【0132】

このため、明度の白黒反転により、記録画像において、入力画像内の背景の色の明度と撮影画像内の投写面の色の明度とを所定の明度範囲に収めることが可能になる。

【0133】

本実施形態では、処理部４は、さらに、背景の色の彩度と投写面の色の彩度が一致するように、一方の画像内の画素の彩度を補正する。

【0134】

このため、記録画像１２０１において、背景の色の投写面の色との違いをより小さくすることが可能になる。

【0135】

なお、処理部４は、背景の色の彩度または投写面の色の彩度が、所定の彩度よりも低い場合、一方の画像内の画素の色相を補正せずに、背景の色の明度と投写面の色の明度とが、異なる分割明度範囲に属する場合に、一方の画像内の画素の明度を白黒反転して、一方の画像内の画素の明度を補正する。

【0136】

この場合、補正処理の簡略化を図ることができる。

【0137】

（第２実施形態）
図１３は、本発明の第２実施形態のプロジェクタ１００Ａを示した図である。

【0138】

図１３において、図１に示したものと同一構成のものには同一符号を付してある。以下、図１３に示したプロジェクタ１００Ａについて、図１に示したプロジェクタ１００と異なる点を中心に説明する。

【0139】

図１３に示したプロジェクタ１００Ａでは、図１に示した処理部４の代わりに処理部４Ａが用いられ、撮影画像処理部４３の代わりに撮影画像処理部４３Ａが用いられる。

【0140】

処理部４Ａは、処理手段の一例である。

【0141】

処理部４Ａは、撮像部４１と、トリガ検出部４２と、撮影画像処理部４３Ａと、を含む。

【0142】

撮影画像処理部４３Ａは、撮影画像内の投写面の色を構成するＲの明るさが、Ｒがとりうる明るさの範囲を２つに分割したＲ分割範囲のうち、入力画像内の背景の色を構成するＲの明るさが属するＲ分割範囲に属していない場合には、撮影画像内の各画素のＲの明るさを白黒反転する。

【0143】

また、撮影画像処理部４３Ａは、撮影画像内の投写面の色を構成するＧの明るさが、Ｇがとりうる明るさの範囲を２つに分割したＧ分割範囲のうち、入力画像内の背景の色を構成するＧの明るさが属するＧ分割範囲に属していない場合には、撮影画像内の各画素のＧの明るさを白黒反転する。

【0144】

また、撮影画像処理部４３Ａは、撮影画像内の投写面の色を構成するＢの明るさが、Ｂがとりうる明るさの範囲を２つに分割したＢ分割範囲のうち、入力画像内の背景の色を構成するＢの明るさが属するＢ分割範囲に属していない場合には、撮影画像内の各画素のＢの明るさを白黒反転する。

【0145】

次に、動作を説明する。

【0146】

以下では、図１に示したプロジェクタ１００と異なる動作を中心に説明する。

【0147】

本実施形態では、合成用入力画像１００１と、書込画像９０１と、を生成するところまでは、第１実施形態と同じである。

【0148】

撮影画像処理部４３Ａは、合成用入力画像１００１のうち、合成用入力画像１００１の外周と、その外周から所定の画素数だけ内側に存在する各画素にて構成される境界と、の間の領域（枠領域）に含まれる各画素の画像の階調から各画素のＲＧＢごとのヒストグラムを生成する。

【0149】

なお、撮影画像処理部４３Ａは、合成用入力画像１００１のうち、合成用入力画像１００１の外周から所定の画素数だけ内側に存在する各画素にて構成される第１境界と、第１境界から所定の画素数だけ内側に存在する各画素にて構成される第２境界の間の領域（枠領域）に含まれる各画素の画像の階調から各画素のＲＧＢごとのヒストグラムを生成してもよい。

【0150】

これは、画像の外周付近は背景となる場合が多いためである。なお、合成用入力画像１００１において、予め背景の位置が規定できれば、撮影画像処理部４３Ａは、規定された位置に含まれる各画素の画像の階調から各画素のＲＧＢごとのヒストグラムを生成してもよい。

【0151】

撮影画像処理部４３Ａは、例えば、ＲＧＢの各映像信号レベルが０から２５５の階調で規定される場合、２５６の階調を８階調ごとに３２のブロックに分割し、ブロックごとに、映像信号レベルの出現回数を、画像１フレームの枠領域について計測してヒストグラムを生成する。

【0152】

続いて、撮影画像処理部４３Ａは、合成用入力画像１００１から生成されたヒストグラムを基に、ＲＧＢ毎に、出現回数が最大となる階調（ブロック）を判別し、ＲＧＢ毎に判別された階調（ブロック）にて表される色を、合成用入力画像１００１の背景色、つまり、入力された映像信号（入力画像）の背景色とし、背景色が表示される画素を背景とする。この場合、ＲＧＢ毎にヒストグラムの１ブロック内の階調を８としているので、背景色は、８×８×８＝５１２色となる。ただし、背景の色は、例えば、ＲＧＢ毎に、ブロック内の中央に位置する２つの階調のいずれかを用いて、背景の基準色と規定する。以下、背景の色とされる５１２色を表示する画素を背景として処理するが、背景の色に基づく処理は、背景の基準色に基づいて処理される。

【0153】

また、撮影画像処理部４３Ａは、１ブロックの階調を１とし２５６ブロックを横軸にとったヒストグラムをＲＧＢごとに作成し、そのヒストグラムを用いて、背景色を決定してもよい。この場合、背景色は出現回数が最大となる１つの色で決定されるが、回路規模は大きくなる。

【0154】

続いて、撮影画像処理部４３Ａは、書込画像９０１内の書込領域２００の背景の色、つまり、書込画像９０１内の投写面２００の色を検出する。

【0155】

まず、撮影画像処理部４３Ａは、書込領域２００のうち、書込領域２００の外周と、その外周から所定の画素数だけ内側に存在する各画素にて構成される境界と、の間の領域（枠領域）に含まれる各画素の映像信号レベルから各画素のＲＧＢごとのヒストグラムを生成する。

【0156】

なお、撮影画像処理部４３Ａは、書込画像９０１内の書込領域２００のうち、書込領域２００の外周から所定の画素数だけ内側に存在する各画素にて構成される第３境界と、第３境界から所定の画素数だけ内側に存在する各画素にて構成される第４境界の間の領域（枠領域）に含まれる各画素の映像信号レベルから各画素のＲＧＢごとのヒストグラムを生成してもよい。

【0157】

続いて、撮影画像処理部４３Ａは、合成用入力画像１００１の背景色を判定した手法と同様の手法で、書込領域２００のヒストグラムを基に、書込領域２００の背景色（書込画像９０１内の投写面２００の色）を求め、背景色が表示される画素を背景とする。

【0158】

次に、撮影画像処理部４３Ａは、Ｒの階調（０から２５５の２５６階調）の中間の値（階調１２７と階調１２８）を基準として、Ｒの階調０からＲの階調１２７までの領域（暗領域）と、Ｒの階調１２８からＲの階調２５５までの領域（明領域）と、を特定し、合成用入力画像１００１の背景色を構成するＲの階調と、書込領域２００の背景色を構成するＲの階調とが、それぞれどちらの領域に含まれるか判定する。

【0159】

撮影画像処理部４３Ａは、判定した結果、合成用入力画像１００１の背景色を構成するＲの階調と、書込領域２００の背景色を構成するＲの階調とが、同じ領域の場合はＲ反転フラグＦｒをＯＦＦとし、違う領域の場合はＲ反転フラグＦｒをＯＮとする。

【0160】

撮影画像処理部４３Ａは、Ｒ反転フラグＦｒがＯＮのときは、書込領域２００の背景色を構成するＲの階調を、Ｒの階調の中間の値である階調１２７．５に対し反転させる反転処理を行う。撮影画像処理部４３Ａは、例えば、Ｒの階調の値が０のときは、２５５とする。

【0161】

次に、撮影画像処理部４３Ａは、書込領域２００の背景色を構成するＲの階調を、合成用入力画像１００１の背景色を構成するＲの階調と同じ値にするためのＲ係数Ｋｒを算出する。撮影画像処理部４３Ａは、ＦｒがＯＮのとき、Ｋｒ＝（合成用入力画像１００１の背景色を構成するＲの階調の値）／（書込領域２００の背景色を構成するＲの階調の反転された値）によりＲ係数Ｋｒを算出し、ＦｒがＯＦＦのとき、Ｋｒ＝（合成用入力画像１００１の背景色を構成するＲの階調の値）／（書込領域２００の背景色を構成するＲの階調の値）によりＲ係数Ｋｒを算出する。

【0162】

続いて、撮影画像処理部４３Ａは、Ｇの階調（０から２５５の２５６階調）の中間の値（階調１２７と階調１２８）を基準として、Ｇの階調０からＧの階調１２７までの領域（暗領域）と、Ｇの階調１２８からＧの階調２５５までの領域（明領域）と、を特定し、合成用入力画像１００１の背景色を構成するＧの階調と、書込領域２００の背景色を構成するＧの階調とが、それぞれどちらの領域に含まれるか判定する。

【0163】

撮影画像処理部４３Ａは、判定した結果、合成用入力画像１００１の背景色を構成するＧの階調と、書込領域２００の背景色を構成するＧの階調とが、同じ領域の場合はＧ反転フラグＦｇをＯＦＦとし、違う領域の場合はＧ反転フラグＦｇをＯＮとする。

【0164】

撮影画像処理部４３Ａは、Ｇ反転フラグＦｇがＯＮのときは、書込領域２００の背景色を構成するＧの階調を、Ｇの階調の中間の値である階調１２７．５に対し反転させる反転処理を行う。撮影画像処理部４３Ａは、例えば、Ｇの階調の値が０のときは、２５５とする。

【0165】

次に、撮影画像処理部４３Ａは、書込領域２００の背景色を構成するＧの階調を、合成用入力画像１００１の背景色を構成するＧの階調と同じ値にするためのＧ係数Ｋｇを算出する。撮影画像処理部４３Ａは、ＦｇがＯＮのとき、Ｋｇ＝（合成用入力画像１００１の背景色を構成するＧの階調の値）／（書込領域２００の背景色を構成するＧの階調の反転された値）によりＧ係数Ｋｇを算出し、ＦｇがＯＦＦのとき、Ｋｇ＝（合成用入力画像１００１の背景色を構成するＧの階調の値）／（書込領域２００の背景色を構成するＧの階調の値）によりＧ係数Ｋｇを算出する。

【0166】

続いて、撮影画像処理部４３Ａは、Ｂの階調（０から２５５の２５６階調）の中間の値（階調１２７と階調１２８）を基準として、Ｂの階調０からＢの階調１２７までの領域（暗領域）と、Ｂの階調１２８からＢの階調２５５までの領域（明領域）と、を特定し、合成用入力画像１００１の背景色を構成するＢの階調と、書込領域２００の背景色を構成するＢの階調とが、それぞれどちらの領域に含まれるか判定する。

【0167】

撮影画像処理部４３Ａは、判定した結果、合成用入力画像１００１の背景色を構成するＢの階調と、書込領域２００の背景色を構成するＢの階調とが、同じ領域の場合はＢ反転フラグＦｂをＯＦＦとし、違う領域の場合はＢ反転フラグＦｂをＯＮとする。

【0168】

撮影画像処理部４３Ａは、Ｂ反転フラグＦｂがＯＮのときは、書込領域２００の背景色を構成するＢの階調を、Ｂの階調の中間の値である階調１２７．５に対し反転させる反転処理を行う。撮影画像処理部４３Ａは、例えば、Ｂの階調の値が０のときは、２５５とする。

【0169】

次に、撮影画像処理部４３Ａは、書込領域２００の背景色を構成するＢの階調を、合成用入力画像１００１の背景色を構成するＢの階調と同じ値にするためのＢ係数Ｋｂを算出する。撮影画像処理部４３Ａは、ＦｂがＯＮのとき、Ｋｂ＝（合成用入力画像１００１の背景色を構成するＢの階調の値）／（書込領域２００の背景色を構成するＢの階調の反転された値）によりＢ係数Ｋｂを算出し、ＦｂがＯＦＦのとき、Ｋｂ＝（合成用入力画像１００１の背景色を構成するＢの階調の値）／（書込領域２００の背景色を構成するＢの階調の値）によりＢ係数Ｋｂを算出する。

【0170】

続いて、撮影画像処理部４３Ａは、判定された、合成用入力画像１００１の背景の色と書込領域２００の背景の色との関係に基づき、書込画像９０１を補正する。

【0171】

まず、撮影画像処理部４３Ａは、判定されたＲ反転フラグＦｒに基づき、書込画像９０１を構成する全ての画素のＲの階調に、Ｒ反転フラグ処理を行う。つまり、撮影画像処理部４３Ａは、Ｒ反転フラグＦｒがＯＮであれば、Ｒの階調の中間の値である階調１２７．５を基準とし、反転処理を行い、Ｒ反転フラグＦｒがＯＦＦであれば、反転処理を行わず、そのままの値とする。次に、撮影画像処理部４３Ａは、算出されたＲ係数Ｋｒに基づき、Ｒ反転フラグ処理が行われた書込画像９０１の全ての画素のＲの階調に、Ｒ係数Ｋｒを乗算するＲ係数処理を行う。

【0172】

続いて、撮影画像処理部４３Ａは、判定されたＧ反転フラグＦｇに基づき、書込画像９０１を構成する全ての画素のＧの階調に、Ｇ反転フラグ処理を行う。つまり、撮影画像処理部４３Ａは、Ｇ反転フラグＦｇがＯＮであれば、Ｇの階調の中間の値である階調１２７．５を基準とし、反転処理を行い、Ｇ反転フラグＦｇがＯＦＦであれば、反転処理を行わず、そのままの値とする。次に、撮影画像処理部４３Ａは、算出されたＧ係数Ｋｇに基づき、Ｇ反転フラグ処理が行われた書込画像９０１の全ての画素のＧの階調に、Ｇ係数Ｋｇを乗算するＧ係数処理を行う。

【0173】

続いて、撮影画像処理部４３Ａは、判定されたＢ反転フラグＦｂに基づき、書込画像９０１を構成する全ての画素のＢの階調に、Ｂ反転フラグ処理を行う。つまり、撮影画像処理部４３Ａは、Ｂ反転フラグＦｂがＯＮであれば、Ｂの階調の中間の値である階調１２７．５を基準とし、反転処理を行い、Ｂ反転フラグＦｂがＯＦＦであれば、反転処理を行わず、そのままの値とする。次に、撮影画像処理部４３Ａは、算出されたＢ係数Ｋｂに基づき、Ｂ反転フラグ処理が行われた書込画像９０１の全ての画素のＢの階調に、Ｂ係数Ｋｂを乗算するＢ係数処理を行う。

【0174】

以上で、書込画像９０１の補正が終了する。

【0175】

このため、本実施形態では、Ｒ、Ｇ、Ｂのうち、一色のみが補正される場合がある。

【0176】

続いて、撮影画像処理部４３Ａは、合成用入力画像１００１と補正された書込画像９０１とを、第１実施形態で撮影画像処理部４３が行ったように重畳して、記録画像を生成する。

【0177】

本実施形態によれば、入力画像または書込画像の背景の色が無い（彩度が無いまたは低い）ときも同様の処理が可能であり、処理が簡単になる。

【0178】

なお、本実施形態において、Ｒ反転フラグ処理、Ｇ反転フラグ処理、Ｂ反転フラグ処理が行われれば、書込画像の背景の色と、入力画像の背景の色との差は小さくなるので、Ｒ係数処理、Ｇ係数処理、Ｂ係数処理は、省略されてもよい。この場合、処理の簡略化を図ることが可能になる。

【0179】

なお、第１実施形態および第２実施形態では、書込画像９０１の全体を補正したが、例えば、書込画像９０１において、書込画像９０１の背景の色と関係する色の画素のみを補正してもよい。

【0180】

書込画像の背景の色と関係する色とは、例えば、書込画像の背景の色、書込画像の背景の色の補色、合成用入力画像の背景の色、合成用入力画像の背景の色の補色、それらの色の近似の色、等が挙げられる。

【0181】

例えば、書込画像９０１において、書込画像の背景の色と、その補色のみを補正してもよい。

【0182】

また、例えば、書込画像９０１の背景の色（例えば、緑）とその補色（マゼンダ）を、合成用入力画像の背景の色（例えば、青）とその補色（黄）にそれぞれ補正し、書込画像９０１の色のうち合成用入力画像の背景の色（青）とその補色（合成用入力画像の背景の色の補色である黄）を、書込画像９０１の元の背景の色（緑）とその補色（マゼンダ）にそれぞれ補正してもよいし、書込画像９０１の色のうち合成用入力画像の背景の色（青）とその補色（合成用入力画像の背景の色の補色である黄）を、書込画像９０１の元の背景の色の補色（マゼンダ）とその補色（緑）にそれぞれ補正してもよい。

【0183】

なお、上記では、書込画像の背景の色と関係する色として、書込画像９０１の背景の色とその補色を例として挙げたが、書込画像の背景の色と関係する色は、書込画像９０１の背景の色を含む所定の範囲の色と、書込画像９０１の背景の色の補色を含む所定の範囲の色としてもよい。

【0184】

なお、所定の範囲の色とは、例えば、色相の範囲で特定の色（背景の色およびその補色）を基準とした±５度の範囲、また、彩度や明度の範囲（最小値０から最大値１としたとき）で特定の色（背景の色およびその補色）を基準とした±０．０５の範囲、また、特定の色（背景の色およびその補色）をＲＧＢ信号で表現したとき、各ＲＧＢ信号の階調で特定の色（背景の色およびその補色）に対応する階調を基準とした±５階調の範囲、等、目視にて識別が難しいと規定される範囲として、様々な設定の方法がある。

【0185】

なお、明度は輝度信号、彩度と色相は色差信号で代用することも可能である。

【0186】

また、背景の映像信号レベルは、所定の領域のヒストグラムまたは所定の点の映像信号レベルに基づいて抽出されればよい。

【0187】

また、ヒストグラムを検出する領域または映像レベルを検出する点は、最外周付近でなくともよい。例えば、画像の中央付近が背景になりやすいときは、画像の中央付近を背景としてもよい。

【0188】

また、ヒストグラムを検出する領域または映像信号レベルを検出する点を、適宜設定できるようにしてもよい。例えば、投写面（書込面）を撮影するときに、入力画像および撮像された画像を、プロジェクタ１００を用いて順次投写して表示し、プロジェクタ１００を操作している人がマウスやリモコン等を用いて領域または点を指定することによりヒストグラムを検出する領域または映像信号レベルを検出する点が適宜設定されてもよい。

【0189】

また、背景の領域として指定するときは、その領域の映像信号レベルの平均値を背景の映像信号レベルとしてもよい。

【0190】

また、撮影する領域は、投写領域２００ａと同じ、または、投写領域２００ａの一部でもよい。

【0191】

また、合成用入力画像は、入力映像信号に基づく画像として、入力映像信号を元にプロジェクタ１００が加工、生成した画像でもよい。

【0192】

また、入力映像信号は、例えば、プロジェクタ１００に備えられた記憶部３に格納された画像に対応した信号や、プロジェクタ１００に接続された記憶装置に格納された画像に対応した信号としてもよい。

【0193】

以上説明した各実施形態において、図示した構成は単なる一例であって、本発明はその構成に限定されるものではない。

【符号の説明】

【0194】

１００、１００Ａ プロジェクタ
１ 投写処理部
１１ 映像信号入力部
１２ フレームメモリ部
１３ 映像信号処理部
１４ 表示部
１５ 投写レンズ
２ 映像信号出力部
３ 記憶部
４、４Ａ 処理部
４１ 撮像部
４１ａ 撮像画像入力部
４２ トリガ検出部
４３ 撮影画像処理部
５、５Ａ 制御部
２００ 投写面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】