特許 5772991 電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5772991

(24)【登録日】2015年7月10日

(45)【発行日】2015年9月2日

(54)【発明の名称】電子機器

(51)【国際特許分類】

   H04N 5/74 20060101AFI20150813BHJP

   H04N 9/31 20060101ALI20150813BHJP

   G03B 21/00 20060101ALI20150813BHJP

【ＦＩ】

   H04N5/74 D

   H04N9/31 A

   G03B21/00 E

【請求項の数】6

【全頁数】19

(21)【出願番号】特願2014-1768(P2014-1768)

(22)【出願日】2014年1月8日

(62)【分割の表示】特願2009-520471(P2009-520471)の分割

【原出願日】2008年6月16日

(65)【公開番号】特開2014-96834(P2014-96834A)

(43)【公開日】2014年5月22日

【審査請求日】2014年2月5日

(31)【優先権主張番号】特願2007-163986(P2007-163986)

(32)【優先日】2007年6月21日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100084412

【弁理士】

【氏名又は名称】永井 冬紀

(74)【代理人】

【識別番号】100078189

【弁理士】

【氏名又は名称】渡辺 隆男

(72)【発明者】

【氏名】小石 えりか

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開２００５−１２４１３３（ＪＰ，Ａ）

【文献】 特開２００７−０８８９８０（ＪＰ，Ａ）

【文献】 特開２００４−１５８９４１（ＪＰ，Ａ）

【文献】 特開２００６−２３５３７４（ＪＰ，Ａ）

【文献】 特開２００４−０５３４７７（ＪＰ，Ａ）

【文献】 特開平０９−００６９５７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００５／２３１６９１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／６６− ５／７４

Ｈ０４Ｎ ９／１２− ９／３１

Ｇ０３Ｂ ２１／００−２１／３０

Ｇ０９Ｇ ３／００− ５／００

Ｇ０６Ｔ １／００− ７／６０

(57)【特許請求の範囲】

【請求項1】

テスト画像を投影面に投影する投影ユニットと、
前記テスト画像が投影された投影面を撮像する撮像ユニットと、
前記撮像ユニットで撮影した前記投影面に投影された画像から前記投影面の反射率を算出する反射率算出ユニットと、
前記投影面に投影された画像のうち前記投影面の反射率が低い領域を除いた領域の画素値を用いて前記投影ユニットで投影する投影画像に対する前記投影面の反射率の影響を補正する補正量を設定する制御部と、を有し、
前記制御部は、前記撮像ユニットで撮影した前記投影面に投影された画像の画素値が所定の閾値より小さい部分を前記投影面の反射率が低い領域として検出することを特徴とする電子機器。

【請求項2】

請求項１に記載の電子機器において、
前記制御部は、前記撮像ユニットで撮影した前記投影面に投影された画像の画素値の最大値を基準とした所定の割合を前記所定の閾値とすることを特徴とする電子機器。

【請求項3】

請求項１に記載の電子機器において、
前記制御部は、前記撮像ユニットで撮影した前記投影面に投影された画像の画素値が最も小さい画素から大きい画素に向かって数えていき、その画素数が所定画素数となる画素値を前記所定の閾値とすることを特徴とする電子機器。

【請求項4】

反射率が異なる複数の領域を有する投影面に投影画像を投影する投影ユニットと、
前記反射率が異なる複数の領域のうち反射率が所定値より低い領域では前記投影面の前記反射率の差による影響を残す様に、前記投影ユニットで投影する画像に対して前記反射率の差による影響を補正する補正部と、
を有することを特徴とする電子機器。

【請求項5】

請求項４に記載の電子機器において、
前記投影面の前記反射率の差による影響は、前記反射率が所定値より低い領域が、前記反射率が所定値より低い領域以外の領域よりも暗いことであることを特徴とする電子機器。

【請求項6】

請求項４に記載の電子機器において、
前記反射率の差による前記投影面への影響は、前記投影面の前記反射率が所定値より低い領域がシミとして見えることであることを特徴とする電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子機器に関する。

【背景技術】

【0002】

プロジェクタで画像を投影するとき、投影面に反射率のムラや模様がある場合、プロジェクタに照明ムラがある場合、または投影画像に対して周囲の照明環境の影響が無視できない場合がある。このような場合、投影面の模様やムラなどが投影画像に重なるため、投影画像は正確に表示されない。このような照明ムラの影響などを相殺して投影画像を正確に表示するために、投影面を撮影し、撮影画像の投影面内の最低輝度以下に投影画像のダイナミックレンジが収まるように補正する技術が特許文献１に開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４−１５８９４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、投影面の一部に非常に暗い（輝度の低い）部分や、彩度の高い部分がある場合、その部分の影響で、投影画像全体のダイナミックレンジが極端に低く補正されてしまい、視認性が悪くなるという問題点がある。

【課題を解決するための手段】

【0005】

請求項１の発明による電子機器は、テスト画像を投影面に投影する投影ユニットと、前記テスト画像が投影された投影面を撮像する撮像ユニットと、前記撮像ユニットで撮影した前記投影面に投影された画像から前記投影面の反射率を算出する反射率算出ユニットと、前記投影面に投影された画像のうち前記投影面の反射率が低い領域を除いた領域の画素値を用いて前記投影ユニットで投影する投影画像に対する前記投影面の反射率の影響を補正する補正量を設定する制御部と、を有し、前記制御部は、前記撮像ユニットで撮影した前記投影面に投影された画像の画素値が所定の閾値より小さい部分を前記投影面の反射率が低い領域として検出することを特徴とする。
請求項４の発明による電子機器は、反射率が異なる複数の領域を有する投影面に投影画像を投影する投影ユニットと、前記反射率が異なる複数の領域のうち反射率が所定値より低い領域では前記投影面の前記反射率の差による影響を残す様に、前記投影ユニットで投影する画像に対して前記反射率の差による影響を補正する補正部と、を有することを特徴とする。

【発明の効果】

【0006】

本発明によれば、投影面の反射率のムラなどが目立たないとともに、ダイナミックレンジの広い良好な投影画像が得られる。

【図面の簡単な説明】

【0007】

【図1】本発明の一実施の形態による投射機能付きカメラの外観図である。

【図2】本発明の実施形態における投射機能付きカメラの構成を説明するブロック図である。

【図3】本発明の実施形態における画像処理によって処理された投影画像を投影したときに視認される投影画像について説明する図である。

【図4】本発明の実施形態における画像処理を説明するためのフローチャートである。

【図5】投影面の模様を説明するための図である。

【図6】白画像投影時の最大輝度の分布を示す図である。

【図7】黒画像投影時の最小輝度の分布を示す図である。

【図8】他の実施の形態４における画像処理を説明するための図である。

【図9】本発明の他の実施の形態４における画像処理を説明するためのフローチャートである。

【図10】周囲輝度に対するＹ_MIN,thの設定例を示す図である。

【図11】周囲輝度に対する輝度Ｌ_deviceの調整を説明する図である。

【図12】他の実施の形態６における彩度方向の補正を説明するためのフローチャートである。

【図13】他の実施の形態６における彩度方向の補正を説明するためのフローチャートである。

【発明を実施するための形態】

【0008】

以下、図面を参照して本発明を実施するための一実施形態について説明する。図１は、本発明の実施形態による投射機能付きカメラ１を前方から見た図である。図１において、投射機能付きカメラ１の正面には、撮像光学系１２１（図示せず。図２参照。）を構成する撮影レンズ１２１Ａと、投影光学系１１１（図示せず。図２参照。）を構成する投影レンズ１１１Ａとが設けられている。投射機能付きカメラ１は、机上などに載置された状態、または不図示のクレードル上に載置された状態で、前方のスクリーンなどに向けて、内蔵する投射ユニット１１０（プロジェクタ）によって画像などの投影情報を投影する。投射機能付きカメラ１の上面には、レリーズスイッチ１０３Ａが設けられている。投射機能付きカメラ１において、投射ユニット１１０の投影光学系１１１は縦方向に配設される。

【0009】

図２は、投射機能付きカメラ１の構成を説明するブロック図である。図２において投射機能付きカメラ１は、投射ユニット１１０と、撮像ユニット１２０と、制御回路１０１と、メモリ１０２と、操作部１０３と、外部インターフェイス（Ｉ／Ｆ）回路１０４と、メモリカードインターフェイス（Ｉ／Ｆ）１０５とを備え、メモリカードインターフェイス１０５にはメモリカード１５０が接続される。

【0010】

制御回路１０１は、マイクロプロセッサ及びその周辺回路からなる。制御回路１０１は、制御プログラムに基づいて、投射機能付きカメラ内各部から入力される信号を用いて所定の演算を行う。そして、制御回路１０１は、演算結果を制御信号として投射機能付きカメラ内各部に送出し、投射機能付きカメラ１の投影動作および撮影動作を制御する。なお、制御プログラムは制御１０１内の不図示のＲＯＭに格納される。

【0011】

制御回路１０１は画像処理部１０１Ａを有する。画像処理部１０１Ａでは、外部インターフェイス１０４を介して取得した画像データまたはメモリカード１５０より取得した画像データに対して画像処理を行う。画像処理部１０１Ａで行う画像処理の詳細については後述する。

【0012】

メモリ１０２は制御回路１０１の作業用メモリとして使用される。操作部１０３はレリーズスイッチ１０３Ａを含み、操作されたボタンやスイッチに対応する操作信号を制御回路１０１へ送出する。メモリカード１５０は、制御回路１０１の指示によりデータの書き込み、保存および読み出しが可能である。

【0013】

投射ユニット１１０は、投影光学系１１１、液晶パネル１１２、ＬＥＤ光源１１３、および投射制御回路１１４を含む。ＬＥＤ光源１１３は、供給電流に応じた明るさで液晶パネル１１２を照明する。液晶パネル１１２は、投射制御回路１１４からの駆動信号に応じて光像を生成する。投影光学系１１１は、液晶パネル１１２から射出される光像を投射する。投射制御回路１１４は、制御回路１０１からの指示により、ＬＥＤ光源１１３および液晶パネル１１２へ制御信号を送出する。

【0014】

投射ユニット１１０は、メモリカード１５０内に保存されている画像データの他、外部インターフェイス回路１０４を介して外部機器から供給される画像データによる画像を投影可能に構成され、制御回路１０１から指示された画像を投影する。メモリカード１５０内に保存されている画像データの画像、または、外部インターフェイス回路１０４を介して外部機器から供給される画像データの画像を、以下、投影原画像と呼ぶ。

【0015】

撮像ユニット１２０は撮像光学系１２１、撮像素子１２２および撮像制御回路１２３を有し、制御回路１０１からの指示に応じて投影面の撮像を行う。撮像光学系１２１は、撮像素子１２２の撮像面上に被写体像を結像させる。撮像素子１２２としては、ＣＣＤやＣＭＯＳ撮像素子などが用いられる。撮像制御回路１２３は、制御回路１０１からの指示により撮像素子１２２を駆動制御するとともに、撮像素子１２２から出力される画像信号に対して所定の信号処理を行う。信号処理後の画像のデータは、所定形式の画像ファイルとしてメモリカード１５０に記録される。

【0016】

制御回路１０１の画像処理部１０１Ａで行われる画像処理を説明する。本発明の実施形態の画像処理は、投影原画像の色補正を行う。また、画像処理部１０１Ａは、投射光学系１１１の光軸と撮像光学系１２１の光軸とが一致していないことによる投影画像の歪や、投影光学系１１１の光軸が投影面に対して垂直でないことに起因する投影画像のあおりや歪に対する補正も行う。本発明の実施形態の画像処理は、投影画像の色補正に特徴を有するので、色補正について主に説明する。

【0017】

図３を参照して、本発明の実施形態における画像処理によって投影原画像の画像処理を行い、その処理された投影画像を投影したときに視認される投影画像について説明する。図３（ａ）は、投影画像を投影する投影面３０を説明するための図である。投影面３０には、丸いシミ３１が付着しているものとして説明する。図３（ｂ）は、投影面３０に投影する投影原画像３２を示す図である。図３（ｃ）は、本発明の実施形態における画像処理によって投影原画像３２を処理した投影画像を投影面３０に投影したときに視認される投影画像３３を示す図である。投影画像３３では、シミ３１が目立たたず、投影画像３３の視認性も良好である。図３（ｄ）は、従来の画像処理、つまりシミ３１が全く見えなくなるように投影原画像３２を画像処理した投影画像を投影面３０に投影したときに視認される投影画像３４を示す図である。投影画像３４には、投影面３０のシミ３１は全く見えない。しかし、投影画像３４のダイナミックレンジは非常に狭くなり、投影画像３４の視認性が非常に悪くなる。

【0018】

図４のフローチャートを参照して、本発明の実施形態における画像処理について説明する。この画像処理は、投影画像において投影面である壁の模様やシミなどが目立たなくなるとともに、投影画像のダイナミックレンジが狭くなりすぎないように適切な補正量で投影原画像を補正する。図４の処理は、投射機能付きカメラ１が投影を開始するための処理を開始すると、スタートするプログラムにより制御回路１０１において実行される。

【0019】

ステップＳ１では、投射ユニット１１０の投影特性の算出を行う。投影特性とは、投射ユニット１１０の照明ムラ、投影面の色や模様による影響、周囲照明による投影面への影響などを考慮した場合の、入力画像の画素値（Ｒ，Ｇ，Ｂ）と、投影面で再現される測色値（Ｘ，Ｙ，Ｚ）との間の関係を示す特性である。投射ユニット１１０から投影された所定の投影画像を、撮影ユニット１２０で撮影し、撮影した画像から測色値を検出して投影特性を算出する。具体的な処理については後述する。

【0020】

ステップＳ２では、投影画像の補正係数を決定する。ここで、補正係数とは、ステップＳ１で得られた投影特性を用いて、入力画像（投影原画像）と実際に投影した投影画像の見え方が近くなるように、入力画像に施す補正係数を決定する。投射ユニット１１０から投影された所定の投影画像を、撮影ユニット１２０で撮影し、撮影した画像を解析して投影画像の補正係数を決定する。この補正係数が投影原画像の補正量となる。この処理の詳細についても後述する。

【0021】

ステップＳ３では、投影原画像を、外部インターフェイス回路１０４を介して、またはメモリカード１５０より読み込み、メモリ１０２に記憶する。

【0022】

ステップＳ４では、ステップＳ２で決定した補正係数で、ステップＳ３で読み込んだ投影原画像を補正する。

【0023】

ステップＳ５では、ステップＳ４で補正した投影画像をアナログ変換し、投影画像を投影する。

【0024】

ステップＳ６では、次に投影する投影原画像があるか否かを判定する。次に投影する投影原画像がある場合はステップＳ６が肯定判定され、ステップＳ３に戻る。次に投影する投影原画像がない場合はステップＳ６が否定判定され、処理を終了する。

【0025】

次に、ステップＳ１、Ｓ２、Ｓ４について、さらに詳細に説明する。

【0026】

−投影特性の決定−
ステップＳ１で行う投影特性の決定について説明する。
ｉ番目の画素値が（Ｒ，Ｇ，Ｂ）_iで与えられる画像データを投射ユニット１１０で投影したとき、ｉ番目の画素値に対応する投影面の測色値（Ｘ，Ｙ，Ｚ）_iは以下のような関係式になる。ここで、γは投射ユニット１１０の階調特性を表し、Ｍ_piは投射ユニット１１０の画素値（Ｒ^γ，Ｇ^γ，Ｂ^γ）_iから投射ユニット１１０の照明の測色値へ変換する色変換マトリックス（投射ユニット１１０の照明ムラを考慮して添字ｉを付ける）を表す。（Ｘ_kp，Ｙ_kp，Ｚ_kp）_iは投射ユニット１１０で黒投影時の周囲照明も含めた投影面の照明条件（周囲照明や黒点の面内ムラを考慮して添字ｉを付ける）を表し、Ｒ_iは投影面の反射率特性（投影面の模様など、反射率のムラを考慮して添字ｉを付ける）を表す。

【数1】

ただし、

【数2】

【0027】

一方、黒画像（（Ｒ，Ｇ，Ｂ）_i＝（０，０，０）_i）投影時の投影面撮影画像から、（Ｘ_k，Ｙ_k，Ｚ_k）_iを決定する。なお、投影面の測色値は、撮影画像の画素値から予め決まった色変換処理を用いることで算出できる。画像のプロファイルがｓＲＧＢであれば、通常のｓＲＧＢ変換処理を用いることで（Ｘ_k，Ｙ_k，Ｚ_k）_iを決定することができる。

【0028】

同様に、Ｒ画像（（Ｒ，Ｇ，Ｂ）_i＝（１，０，０））、Ｇ画像（（Ｒ，Ｇ，Ｂ）_i＝（０，１，０））およびＢ画像（（Ｒ，Ｇ，Ｂ）_i＝（０，０，１））を投影した投影面を撮影した撮影画像から、色変換マトリックスＭ_iの３×３のマトリックス係数を決定する。具体的には、Ｒ画像、Ｇ画像およびＢ画像を投影した投影面の測色値をそれぞれ、（Ｘ_r，Ｙ_r，Ｚ_k）、（Ｘ_g，Ｙ_g，Ｚ_g）および（Ｘ_b，Ｙ_b，Ｚ_b）とすると、色変換マトリックスＭ_ｉは以下のようになる。

【数3】

つまり、所定のテスト画像（黒画像、Ｒ画像、Ｇ画像、Ｂ画像）を投影した投影面を撮影した撮影画像から、色変換マトリックスＭ_ｉの３×３のマトリックス係数を決定する。

【0029】

なお、以上の説明では、撮像ユニット１２０による撮像画像と、投射ユニット１１０による投影画像の画素の位置／サイズが一致するものとして説明したが、画素の位置／サイズが一致しない場合には、対応する位置における画素値を補間して用いればよい。また、投影画像の角を検出することによって投影画像が投影されている領域を検出し、ｉ番目の画素値が投影されている位置および範囲を検出できるようにしてもよい。

【0030】

−投影画像補正係数の決定−
ステップＳ２で行う投影画像補正係数の決定について説明する。
投影面にムラ（以後、投影面の反射率のムラや照明ムラを含めて、単に「ムラ」と表現する）や模様がある場合、投影面の各画素で最大表示可能な色域は変化するが、まずこの範囲を決定する。投影面での輝度Ｙｉは、数式（１）より以下のように表すことができる。

【数4】

【0031】

したがって、表示可能な輝度範囲は数式（４）において、０≦Ｒ_i，Ｇ_i，Ｂ_i≦１の範囲で振ったときにＹ_iがとり得る範囲で決まり、通常、Ｙ_r，Ｙ_g，Ｙ_b＞Ｙ_kより白画像（（Ｒ，Ｇ，Ｂ）_i＝（１，１，１））投影時の輝度を最大輝度Ｙ_MAX,i、黒画像投影時の輝度を最小輝度Ｙ_MIN,iとして求めることができる。

【0032】

たとえば、図５のように投影面５０の模様として白色面に所々黒色部分がある場合、最大輝度Ｙ_MAX,iの分布および最小輝度Ｙ_MIN,iの頻度分布を投影面内で算出すると、図６、図７に示すようになる。

【0033】

ここで、投影面のムラや模様が消えるように投影原画像を補正すると、投影後の画像の最大輝度Ｙ_MAXをＭＩＮ（Ｙ_MAX,i）、最小輝度Ｙ_MINをＭＡＸ（Ｙ_MIN,i）になるように補正する必要がある。しかし、この場合、ダイナミックレンジが非常に狭くなり、補正後の投影画像の視認性が悪くなる（図３（ｄ）参照）。そこで、投影面の暗い部分の輝度が予め定めた最大輝度の閾値Ｙ_MIN,thより低い場合は補正量を緩和し、最大輝度Ｙ_MAXを以下のように決定する。

【数5】

【0034】

最大輝度の閾値Ｙ_MIN,thは、画像によらず予め定めた一定値Ｙ_CONSTANT（０＜_ＹCONSTANT≦１）でもよい。しかし、図６のヒストグラムで輝度の最も小さい画素から輝度の最も大きい画素に向かって数えた所定割合の画素数となる輝度値を用いたり、図６のヒストグラムで輝度の小さい方から数えた所定数の画素数となる輝度値を用いたり、ＭＡＸ（Ｙ_MAX,i）の所定割合の値を用いたりして、最大輝度の閾値Ｙ_MIN,thを決定してもよい。たとえば、すべての画素のうちの８０％の画素について補正を行えばよい場合は、図６のヒストグラムで輝度の小さい方から数えた全体の２０％の画素数となる輝度値を用いて閾値Ｙ_MIN,thを決定してもよい。また、図６のヒストグラムで輝度の最も大きい画素から輝度の最も小さい画素に向かって数えた所定割合の画素数となる輝度値を用いたり、図６のヒストグラムで輝度の大きい方から数えた所定数の画素数となる輝度値を用いたりして最大輝度の閾値Ｙ_MIN,thを決定してもよい。

【0035】

また、視覚の輝度順応により、同じ明るさの画像を見ていても、明るい周囲輝度に順応している場合の方が、暗い周囲輝度に順応している場合より画像が暗く感じられる。したがって、周囲の明るさに応じて最大輝度の閾値Ｙ_MIN,thを調整した方がより最適な見えを提供できる。図１０に周囲輝度に対するＹ_MIN,thの設定例を示す。プロジェクタで白を表示したときの絶対輝度Ｌ_deviceに比べ、周囲輝度が暗い場合はＹ_MIN,thを低く設定し、周囲輝度がＬ_deviceと同レベル以上に明るい場合はＹ_MIN,thを前述のように予め定めた値Ｙ_CONSTANTやヒストグラムを用いて決定した値などに設定すればよい。また、周囲輝度の感じ方は、直接観察しているプロジェクタの輝度（白を表示したときの輝度）と周囲輝度の比で変わるので、図１０の横軸を（周囲輝度／プロジェクタの輝度）の比を用いてもよい。

【0036】

なお、前述の例では、プロジェクタの輝度は一定値とし、白（Ｒ＝Ｇ＝Ｂ＝１）に対する相対輝度値Ｙ_MIN,thのレベル調整のみで対応する例で説明した。しかし、Ｙ_MIN,thで調整すると表示画像の階調が圧縮され潰れてしまう場合がある。したがって、プロジェクタの表示輝度も可変とし、プロジェクタの輝度Ｌ_deviceと合わせて調整すれば画質への影響をさらに抑えることができる。たとえば、Ｙ_MIN,thは前述のように予め定めた値Ｙ_CONSTANTやヒストグラムを用いて決定した値などに設定し、輝度Ｌ_deviceを図１１のように調整する。

【0037】

−投影画像の補正−
ステップＳ４で行う投影画像の補正について説明する。
投影原画像の色空間がｓＲＧＢとすれば、投影原画像の画素値（Ｒ₀，Ｇ₀，Ｂ₀）に対して、投影面での測色値（Ｘ，Ｙ，Ｚ）_iは以下のようになればよい。

【数6】

ここで、最小輝度Ｙ_MIN,iがＹ_MIN＝ＭＡＸ（Ｙ_MIN,i）となる画素値を投影画面の黒点（Ｘ_k0，Ｙ_k0，Ｚ_k0）とする。なお、Ｍ_sRGB→XYZは規格に決まっているｓＲＧＢからＸＹＺへの変換マトリックスである。

【0038】

したがって、数式（１）を用いて、補正後の投射ユニット１１０への入力画素値（Ｒ，Ｇ，Ｂ）_iは以下の式で算出できる。
（１）Ｙ_MAX,i≧Ｙ_MAXを満たす画素；

【数7】

【0039】

ただし、Ｙ_MAX,i＜Ｙ_MAXの場合、表示できる輝度範囲が外れるため、以下の式で算出する。
（２）Ｙ_MAX,i＜Ｙ_MAXを満たす画素；

【数8】

【0040】

数式（６），（７）は簡単のため、ｓＲＧＢのγ＝２．２として記述した。しかし、定義どおり線形関数とγ＝２．４の組み合わせで算出してもよい。

【0041】

以上説明した実施形態によれば、次の作用効果が得られる。
（１）所定のテスト画像（白画像、黒画像）が投影された投影面５０を撮影して得られる撮影画像の画素値分布（図６、図７）を解析し、その解析結果に基づいて、投影原画像の補正量を調整（数式（５），（６），（７））するようにした。これにより、投影面５０に著しく暗い場所があっても、投影画像を暗くしないように補正量を調整でき、投影画面の見えを改善できる。

【0042】

（２）投影面５０を撮影して得られる撮影画像の画素値から輝度値を算出し（数式（４））、その輝度値の頻度分布（図６、図７）を解析した結果に基づいて、投影原画像の補正量を調整するようにした。これにより、投影画像において投影面のシミなどが目立たなくなるとともに、投影画像のダイナミックレンジが狭くなりすぎない適切な補正量に調整することができる。

【0043】

（３）所定のテスト画像（白画像、黒画像）が投影された投影面５０を撮影して得られる撮影画像の輝度値が最小閾値（Ｙ_min,th）以上の画素値を用いて投影原画像の補正量を調整するようにした。これにより、投影画像において投影面のシミなどが目立たなくなるとともに、投影画像のダイナミックレンジが狭くなりすぎない適切な補正量に調整することができる。

【0044】

（４）所定のテスト画像（白画像、黒画像が投影された投影面５０を撮影した撮影画像から得られる最大輝度値（Ｙ_max,i）を基準とした所定割合を最小閾値（Ｙ_min,th）として算出するようにした。これにより、投影面のシミなどが目立たなくなるとともに、投影画像のダイナミックレンジが狭くなりすぎない適切な補正量を算出するための適切な最小閾値（Ｙ_min,th）を算出することができる。

【0045】

（５）所定のテスト画像（白画像、黒画像）が投影された投影面５０を撮影して得られる撮影画像の輝度値（図６）を最も小さい画素から大きい画素に向かって数えていき、その画素数が所定画素数となる輝度値を最小閾値（Ｙ_min,th）として算出するようにした。これにより、投影面のシミなどが目立たなくなるとともに、投影画像のダイナミックレンジが狭くなりすぎない適切な補正量を算出するための適切な最小閾値（Ｙ_min,th）を算出することができる。

【0046】

以上の実施形態を次のように変形することができる。
−他の実施の形態１−
本発明の実施形態では、Ｙ_MAX,i＜Ｙ_MAXを満たす画素については、最大輝度となる色が飽和しない範囲で補正画素の画素値を算出していた。しかし、補正画素の画素値を対象画素値が表現しうる最大値としてもよい。たとえば、すべての画素について、数式（６）にしたがって画素値を算出し、画素値が入力範囲を超えた場合（たとえば８ｂｉｔの場合、画素値が２５５より大きい場合）クリッピングしてもよい。また、数式（６）で算出したＲ，Ｇ，Ｂのうちの最大となる色情報が飽和しない範囲で最大値となるように、Ｍ_sRGB→XYZに乗算する係数を調整してもよい。

【0047】

−他の実施の形態２−
本発明の実施の形態では、ステップ２において、投影面内における最大輝度Ｙ_MAX,iの分布および最小輝度Ｙ_MIN,iの分布を算出した。しかし、投影画像の画像中心に相当する投影面上の位置（以下、画像中心と呼ぶ）からの距離が所定値以内の領域における最大輝度Ｙ_MAX,iの分布および最小輝度Ｙ_MIN,iの分布を算出し、画像中心からの距離が所定値より離れた領域における最大輝度Ｙ_MAX,iの分布および最小輝度Ｙ_MIN,iの分布を算出しないようにしてもよい。これにより、補正量を算出するために検出する画素数が少なくなり、画素値分布の解析を速く行うことができる。この場合、画像周辺部に投影面のムラなどが見えるが、画像中心から離れていれば、ユーザにとってそのムラなどが気になることが少ない。そして、画像周辺部に見える投影面のムラなどを見えなくするより、画像全体のダイナミックレンジを広げた方が投影画像の視認性が良好になるからである。

【0048】

投影画像の中で合焦した領域、あるいは顔認識を行った領域を検出し、その領域からの距離が所定値以内の領域における最大輝度Ｙ_MAX,iの分布および最小輝度Ｙ_MIN,iの分布を算出し、その領域からの距離が所定値より離れた領域における最大輝度Ｙ_MAX,iの分布および最小輝度Ｙ_MIN,iの分布を算出しないようにしてもよい。ユーザは、投影画像の合焦されている領域、あるいは顔認識された領域を中心に投影画像を視認するので、その領域から離れた位置に投影面のムラなどが見えても、気にならない。この場合、投影原画像を読み込んでから（図４のステップＳ３）、投影画像補正係数を決定する（図４のステップＳ２）。投影画像補正係数を決定する前に、投影画像の中で合焦した領域、あるいは顔認識を行った領域を検出する必要があるからである。

【0049】

また、投影画像がメニュー画面である場合、メニュー画面の内容を表す文字が表示されている領域からの距離が所定値以内の領域における最大輝度Ｙ_MAX,iの分布および最小輝度Ｙ_MIN,iの分布を算出し、その領域からの距離が所定値より離れた領域における最大輝度Ｙ_MAX,iの分布および最小輝度Ｙ_MIN,iの分布を算出しないようにしてもよい。ユーザは、メニューに表示されている文字を中心に投影画像を視認するので、それらの文字から離れた位置に投影面のムラなどが見えても、気にならないからである。この場合、投影原画像を読み込んでから（図４のステップＳ３）、投影画像補正係数を決定する（図４のステップＳ２）。投影画像補正係数を決定する前に、メニューの位置を検出する必要があるからである。

【0050】

−他の実施の形態３−
本発明の実施の形態では、ステップ２において、投影面内における最大輝度Ｙ_MAX,iの分布および最小輝度Ｙ_MIN,iの分布を算出した。しかし、投影画像の画像中心からの距離に応じて最大輝度Ｙ_MAX,iおよび最小輝度Ｙ_MIN,iに対して重み付けを行い、重み付けを行った最大輝度Ｙ_MAX,iの分布および最小輝度Ｙ_MIN,iの分布を算出するようにしてもよい。たとえば、画像中心においては、所定の最大輝度範囲における画素を１個見つけると度数１とカウントし、画像中心から離れるにしたがって、度数１とカウントする画素数を増やす（所定の最大輝度範囲における画素を１０個見つけるごとに度数１とカウントするなど）。そして、この重み付けを行った最大輝度Ｙ_MAX,iの分布および最小輝度Ｙ_MIN,iの分布に基づいて、投影後の画像の最大輝度Ｙ_MAXおよび最小輝度Ｙ_MINを決定する。この場合も、投影面の周辺部に著しく暗い場所があっても、極端に投影画像を暗くしないように補正量を調整でき、投影画像の視認性を改善できる。

【0051】

投影画像の中で合焦した領域、あるいは顔認識を行った領域を検出し、その領域からの距離に応じて最大輝度Ｙ_MAX,iおよび最小輝度Ｙ_MIN,iに対して重み付けを行い、重み付けを行った最大輝度Ｙ_MAX,iの分布および最小輝度Ｙ_MIN,iの分布を算出するようにしてもよい。ユーザは、投影画像の合焦されている領域、あるいは顔認識された領域を中心に投影画像を視認するので、その領域から離れた位置に投影面のムラなどが見えても、気にならないからである。この場合、投影原画像を読み込んでから（図４のステップＳ３）、投影画像補正係数を決定する（図４のステップＳ２）。投影画像補正係数を決定する前に、投影画像の中で合焦した領域、あるいは顔認識を行った領域を検出する必要があるからである。

【0052】

また、投影画像がメニュー画面である場合、メニュー画面の内容を表す文字が表示されている領域からの距離に応じて最大輝度Ｙ_MAX,iおよび最小輝度Ｙ_MIN,iに対して重み付けを行い、重み付けを行った最大輝度Ｙ_MAX,iの分布および最小輝度Ｙ_MIN,iの分布を算出するようにしてもよい。ユーザは、メニューに表示されている文字を中心に投影画像を視認するので、それらの文字から離れた位置に投影面のムラなどが見えても、気にならないからである。この場合、投影原画像を読み込んでから（図４のステップＳ３）、投影画像補正係数を決定する（図４のステップＳ２）。投影画像補正係数を決定する前に、メニューの位置を検出する必要があるからである。

【0053】

−他の実施の形態４−
投影面に暗い部分があっても、その暗い部分に原画像の暗い部分が投影される場合、その投影面の暗い部分を考慮に入れずに投影原画像の補正を行うようにしてもよい。

【0054】

図８を参照して、他の実施の形態４における画像処理について説明する。図８（ａ）は、投影画像を投影する投影面８０を説明する図である。投影面８０には、矩形のシミ８１と円形のシミ８２とが付着しているものとして説明する。図８（ｂ）に示すように、投影面８０に投影した投影画像８３の黒い部分８４（投影画像８３に表示された女性の髪毛の部分）がシミ８１，８２に重畳する場合、投影原画像の画像処理を行わなくても、シミ８１，８２は全く見えない。したがって、投影原画像を補正するための補正量を算出するにあたって、投影面８０の暗い部分８１，８２に対応する画素の輝度を考慮に入れないようにしてもよい。

【0055】

図９のフローチャートを参照して、本発明の他の実施の形態４における画像処理について説明する。図９の処理は、投射機能付きカメラ１が、投影を開始するための処理を開始するとスタートするプログラムにより制御回路１０１において実行される。図４の画像処理に共通するステップには共通の符号を付し、図４の画像処理と異なる部分を主に説明する。

【0056】

ステップＳ１の処理の後、ステップＳ３に進む。ステップＳ３の次にステップＳ２１に進む。ステップＳ２１では、投影画像の補正係数を決定する。上述のステップＳ２と同様にヒストムグラムを作成し、ＭＩＮ（Ｙ_MAX,i）を算出する。ここで、投影面に白画像を投影したときの投影画像における輝度値の画像面内分布と、投影原画像の輝度値の面内分布とを比較する。そして、最大輝度Ｙ_MAX,iがＭＩＮ（Ｙ_MAX,i）と一致する画素位置における投影原画像の画素値を参照し、輝度が低ければＭＩＮ（Ｙ_MAX,i）の算出対象から外す。Ｙ_MAX,iが低い画素位置について順次、投影画像の画素値評価を繰り返し、投影画像の輝度が低くない画素で対応する撮影面の表現可能な最大輝度の最小値ＭＩＮ（Ｙ_MAX,i）を決定する。そして、ステップＳ４へ進む。

【0057】

また、ステップＳ２１において、投影原画像の輝度値の面内分布を解析し、その中で輝度値が、所定割合以上の範囲（たとえば、２０％以上の範囲）の画素を検出する。そして、白画像および黒画像を投影したときの投影画像において、投影原画像の輝度値の面内分布から検出した画素に対応する画素における輝度値をヒストグラム化して、最小値ＭＩＮ（Ｙ_MAX,i）を決定するようにしてもよい。つまり、最大輝度の最小値ＭＩＮ（Ｙ_MAX,i）などの決定において、投影原画像の暗い部分に対応する部分の投影面を考慮に入れないようにしてもよい。

【0058】

以上の他の実施の形態４によれば、投影面の一部に暗い場所があっても、投影原画像に応じてダイナミックレンジを適切に調節できる。

【0059】

−他の実施の形態５−
上述の画像処理を組合せてもよい。たとえば、他の実施の形態３と他の実施の形態４とを組合せてもよい。

【0060】

−他の実施の形態６−
上述の実施の形態では、色域の補正として、輝度範囲の補正について説明したが、彩度方向の補正についてもＹＣｒＣｂ空間のＣｒ，Ｃｂ、もしくは彩度（ＸＹＺからＣＩＥＬＡＢに変換し、Ｃ＊＝√（ａ＊²+ｂ＊²）を使用）について同様に色域の補正を行ってもよい。たとえば、投影面に彩度の高い赤い部分があるとする。そのような赤い部分に投影される投影原画像を補正しようとすると、彩度方向のダイナミックレンジが非常に狭くなり、無彩色に近い色となる。このような場合、投影面の赤い部分の彩度を無視して彩度方向の補正を行う。その結果、赤い部分は多少視認されるものの、投影画像全体として、彩度方向にもダイナミックレンジの広い投影画像を視認することができる。

【0061】

図１２，１３と第１の実施の形態の図４を用いて補正方法の一例を説明する。撮像した所定のテスト画像（Ｒ画像、Ｇ画像、Ｂ画像）の撮影画像を解析し、その解析結果に基づいて、投影原画像の補正量を調整する。この場合、予め色相ｈ毎にＣ＊の最大閾値Ｃ＊_th（ｈ）を決めて記憶しておく。また補正方法について、第１の実施の形態における処理（図４）と異なる点を説明する。

【0062】

図１２は図４のステップＳ２の処理である。ステップＳ３１では、Ｒ画像（Ｒ＝２５５，Ｇ＝Ｂ＝０）を投影し、ステップＳ３２では投影した画像を撮影する。次にステップＳ３３では、Ｇ画像（Ｇ＝２５５，Ｒ＝Ｂ＝０）を投影し、ステップＳ３４では投影した画像を撮影する。次にステップＳ３５では、Ｂ画像（Ｂ＝２５５，Ｒ＝Ｇ＝０）を投影し、ステップＳ３６では投影した画像を撮影する。ステップＳ３２，３４，３６で撮影した画像の各画素値を数式（１）を用いてＸＹＺに変換し、さらにＣＩＥＬＡＢ空間に変換する。ＣＩＥＬＡＢ空間で彩度Ｃ＊を算出し、それぞれの撮影画像内での最大彩度ＭＡＸ（Ｃ＊_r,i），ＭＡＸ（Ｃ＊_g,i），ＭＡＸ（Ｃ＊_b,i）を算出する。

【0063】

ステップＳ３９では、Ｒ画像、Ｇ画像、Ｂ画像に対する最大彩度の閾値をそれぞれＣ＊_r,th、Ｃ＊_g,th、Ｃ＊_b,thとすると、各画素毎に彩度圧縮係数を以下のように算出し、処理を終了する。

【数9】

ただし、Ｃratio,i＞１となる画素については、Ｃratio,i＝１とする。

【0064】

次に、図１３を用いて、図４のステップＳ４の処理である。ステップＳ４１では、第１の実施の形態で説明したように、投影原画像の画素値（Ｒ₀，Ｇ₀，Ｂ₀）_iから投影面での測色値（Ｘ，Ｙ，Ｚ）_iに変換し、さらにＣＩＥＬＡＢ空間に各画素値を変換する。

【0065】

ステップＳ４２では、ＣＩＥＬＡＢ空間での彩度Ｃ＊を算出し、ステップＳ３９で算出した補正係数Ｃratio,iを用いて、Ｃ＊’＝Ｃratio×Ｃ＊のように彩度を補正する。ステップＳ４３では、Ｃ＊’を用いてＣＩＥＬＡＢ空間からＸＹＺに変換する。

【0066】

ステップＳ４４では、数式（６）、（７）の代わりに以下の式を用いて、補正後の投射ユニット１１０への入力画素値（Ｒ，Ｇ，Ｂ）_iを算出する。

【数10】

【0067】

−他の実施の形態７−
投影画像補正係数を決定する際、画像によらず補正係数を決定し、投影画像の補正を行ったが、補正係数は投影面内で変化させてもよい。たとえば、投影画像を複数の画素からなる領域に分割し、その領域単位で投影画像の補正を行うようにしてもよい。この場合、それぞれの領域における輝度や彩度ヒストグラムをとり、第１の実施の形態や他の実施の形態１〜５のようにそれぞれの領域毎に補正係数を決定して補正する。模様が投影面上一様でない場合に、過度な補正をせずにそれぞれの位置に適した補正が可能となる。領域は投影画像の形状に合わせて分割するとよい。

【0068】

また領域に分割ではなく、補正対象画素の所定領域範囲内の周辺画素（たとえば、補正対象画素を中心として４１×４１画素といった予め定めた所定領域内の周辺画素）について輝度や彩度のヒストグラムをとり、第１の実施の形態や他の実施の形態１〜５のように画素毎に補正係数を決定して補正してもよい。

【0069】

−他の実施の形態８−
以上の実施の形態では投影画像によらず同じ補正係数としたが、投影画像の画像面内の画素値分布（輝度分布や色分布など）にしたがって、補正を画像にしたがって変化させる。たとえば、投影画像を領域に分割し、それぞれの領域で使用される画素値に対する輝度や彩度ヒストグラムを作成する。これらにしたがって、領域毎に第１の実施の形態の数式（５）のように最大輝度Ｙ_MAXを決定し、数式（６）、（７）によって補正してもよい。また、領域に分割ではなく、補正対象画素の所定領域範囲内の平均輝度や色によって、補正対象画素毎に補正を変化させてもよい。

【0070】

−他の実施の形態９−
以上の実施形態の画像処理を行う装置は、投射機能付きカメラ１などの電子カメラに限定されない。たとえば、投影画像を撮影するカメラを備えたプロジェクタなどの投影装置でもよい。あるいは、投射機能および撮影機能を有する携帯電話などの電子機器でもよい。また、投影画像を投影する投影装置と、投影装置から投影される投影画像を撮影するカメラと、カメラが撮影した投影画像の画像データに基づいて画像処理を行い、画像処理を行った投影画像の画像データを投影装置に送信するコンピュータとを有する画像処理システムで、以上の実施形態の画像処理を実現するようにしてもよい。

【0071】

本発明の実施形態では、視認される投影画像から投影面３０のシミ３１を目立たないようにした。しかし、本発明の実施形態による画像処理によれば、投影面の傷、投影面の反射率のムラ、投影面の模様、投射ユニット１１０の照明ムラ、周囲の照明環境の影響なども目立たないようにすることができる。

【0072】

なお、投影面は、壁、ホワイトボードなど投影可能な被写体であればかまわない。また、布などのように凹凸がある面でも同様に補正できるが、凹凸が大きい面に投影する場合で観察者が投影画像を観察する方角が大きい場合は、凹凸による影の影響が観察する角度によって変化する。したがって、凹凸の少ない面に投影する方が望ましい。また、観察者の観察する角度を制限したり、観察する角度によって異なる投影画像を見せる方が望ましい。

【0073】

また、光源が反射している場合のように極端に輝度の高い部分がある場合、鏡面反射は観察する角度によって見え方が変わるので、補正をしても観察方向によっては見えが悪化することになる。また、鏡面反射がある部分は黒浮きが大きく、補正をしようとすると過剰補正になる場合がある。したがって、暗い方の補正に対しても最小輝度の最大閾値Ｙ_MAX,thを予め決定しておき、最小輝度Ｙ０=Ｙ_MIN＝ＭＩＮ（Ｙ_MAX,th，ＭＡＸ（Ｙ_MIN,i））とする。また、黒画像投影時の最小輝度Ｙ_MIN,i＞Ｙ_MIN、かつ白画像投影時の最大輝度Ｙ_MAX,i＝１となる領域は光源など極端に明るい周囲環境の鏡面反射による影響を考え、投影不適切領域として観察者に示す表示を投影画像に表示したり、補正処理で該当領域を無視してもよい。

【0074】

以上の説明はあくまで一例であり、本発明は上記実施形態の構成に何ら限定されるものではない。

【0075】

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００７年第１６３９８６号（２００７年６月２１日出願）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】