特許 7125561 制御装置、投影システム、制御方法、制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-16

(45)【発行日】2022-08-24

(54)【発明の名称】制御装置、投影システム、制御方法、制御プログラム

(51)【国際特許分類】

   H04N 5/74 20060101AFI20220817BHJP

   G03B 21/00 20060101ALI20220817BHJP

   G03B 21/14 20060101ALI20220817BHJP

   G06F 3/0346 20130101ALI20220817BHJP

【ＦＩ】

H04N5/74 Z

G03B21/00 D

G03B21/14 Z

G06F3/0346 422

【請求項の数】 32

(21)【出願番号】P 2021536633

(86)(22)【出願日】2020-06-01

(86)【国際出願番号】 JP2020021641

(87)【国際公開番号】W WO2021019897

(87)【国際公開日】2021-02-04

【審査請求日】2022-01-05

(31)【優先権主張番号】P 2019138118

(32)【優先日】2019-07-26

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110002505

【氏名又は名称】特許業務法人航栄特許事務所

(72)【発明者】

【氏名】増田 智紀

(72)【発明者】

【氏名】石田 一樹

(72)【発明者】

【氏名】石塚 晶啓

(72)【発明者】

【氏名】井上 和紀

【審査官】佐野 潤一

(56)【参考文献】

【文献】特開２００７－１５６３２５（ＪＰ，Ａ）

【文献】特開平０８－０２９１６３（ＪＰ，Ａ）

【文献】特開２０１８－０２５８０９（ＪＰ，Ａ）

【文献】特開２０１０－２３０８６４（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０１９－００７４５８５（ＫＲ，Ａ）

【文献】特開２０１４－１３８４１１（ＪＰ，Ａ）

【文献】特開２０１９－００７８２６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／７４

Ｈ４０Ｎ ９／３１

Ｇ０３Ｂ ２１／００

Ｇ０９Ｇ ５／００

Ｇ０６Ｆ ３／０３４６

Ｇ０１Ｃ ３／００

Ｇ０１Ｃ １１／００

(57)【特許請求の範囲】

【請求項1】

入力画像データに基づいて表示部にて生成される画像を投影対象物に投影する光学系と、前記投影対象物を撮像する撮像部と、を有する投影システムの制御装置であって、
前記投影対象物に投影された前記画像の第一撮像画像データを前記撮像部から取得し、前記第一撮像画像データの一部又は全部の第一鮮鋭度と、前記入力画像データの第二鮮鋭度とに基づいて、前記第一鮮鋭度と前記第二鮮鋭度との差又は比が、上限及び下限を有する所定範囲内の状態では前記投影対象物に対するジェスチャが行われていると判定し、前記差又は比が前記所定範囲外の状態では前記ジェスチャが行われていないと判定し、前記ジェスチャが行われていると判定した場合に前記入力画像データを変更する制御部を備える制御装置。

【請求項2】

請求項１記載の制御装置であって、
前記制御部は、前記第一撮像画像データの前記全部の鮮鋭度を前記第一鮮鋭度とする制御装置。

【請求項3】

請求項１記載の制御装置であって、
前記制御部は、前記投影対象物に前記画像が非投影の状態における前記投影対象物の第二撮像画像データを前記撮像部から取得し、前記第一撮像画像データから前記第二撮像画像データを減算することにより、前記第一撮像画像データの前記一部である第三撮像画像データを生成し、前記第三撮像画像データの鮮鋭度を前記第一鮮鋭度とする制御装置。

【請求項4】

請求項１から３のいずれか１項記載の制御装置であって、
前記撮像部から出力される撮像画像データに基づいて、前記投影対象物と前記光学系の間に存在する物体の有無を判定する物体判定部を更に備え、
前記制御部は、前記物体判定部によって物体が有りと判定された場合に、前記ジェスチャの有無の判定を行う制御装置。

【請求項5】

請求項４記載の制御装置であって、
前記物体判定部は、前記投影対象物に前記画像が非投影の状態における前記投影対象物の撮像画像データを前記撮像部から取得して基準画像データに設定し、前記基準画像データが設定された状態且つ前記投影対象物に前記画像が非投影の状態における前記投影対象物の撮像画像データを前記撮像部から取得し、当該撮像画像データと前記基準画像データの比較に基づいて、前記物体の有無を判定する制御装置。

【請求項6】

請求項４記載の制御装置であって、
前記物体判定部は、前記投影対象物に前記画像が非投影の状態における前記投影対象物の撮像画像データを前記撮像部から異なるタイミングにて取得し、第一タイミングにて取得した前記撮像画像データと、前記第一タイミングより前の第二タイミングにて取得した前記撮像画像データとの比較に基づいて、前記物体の有無を判定する制御装置。

【請求項7】

請求項４記載の制御装置であって、
前記物体判定部は、前記投影対象物に前記画像が投影された状態における前記投影対象物の撮像画像データを前記撮像部から異なるタイミングにて取得し、第一タイミングにて取得した前記撮像画像データと、前記第一タイミングより前の第二タイミングにて取得した前記撮像画像データとの比較に基づいて、前記物体の有無を判定する制御装置。

【請求項8】

請求項１記載の制御装置であって、
前記制御部は、前記投影対象物に前記画像が非投影の状態における前記投影対象物の第二撮像画像データを前記撮像部から取得し、前記第一撮像画像データから前記第二撮像画像データを減算することにより、前記第一撮像画像データの前記一部である第三撮像画像データを生成し、前記第三撮像画像データの鮮鋭度を前記第一鮮鋭度とし、
前記撮像部から出力される撮像画像データに基づいて、前記投影対象物と前記光学系の間に存在する物体の有無を判定する物体判定部を更に備え、
前記制御部は、前記物体判定部によって物体が有りと判定され且つ当該物体の周波数が所定値未満である場合に、前記ジェスチャの有無の判定を行う制御装置。

【請求項9】

請求項８記載の制御装置であって、
前記物体判定部は、前記投影対象物に前記画像が非投影の状態における前記投影対象物の撮像画像データを前記撮像部から取得して基準画像データに設定し、前記基準画像データが設定された状態且つ前記投影対象物に前記画像が非投影の状態における前記投影対象物の撮像画像データを前記撮像部から取得し、当該撮像画像データと前記基準画像データの比較に基づいて、前記物体の有無を判定し、
前記制御部は、前記物体判定部によって物体が有りと判定された場合に、前記撮像画像データと前記基準画像データの比較によって当該物体の周波数を求める制御装置。

【請求項10】

請求項８記載の制御装置であって、
前記物体判定部は、前記投影対象物に前記画像が非投影の状態における前記投影対象物の撮像画像データを前記撮像部から異なるタイミングにて取得し、第一タイミングにて取得した前記撮像画像データと、前記第一タイミングより前の第二タイミングにて取得した前記撮像画像データとの比較に基づいて、前記物体の有無を判定し、
前記制御部は、前記物体判定部によって物体が有りと判定された場合に、２つの前記撮像画像データの前記比較によって当該物体の周波数を求める制御装置。

【請求項11】

請求項４から１０のいずれか１項記載の制御装置であって、
前記光学系は、焦点位置可変の焦点位置調整光学系を含む制御装置。

【請求項12】

請求項１１記載の制御装置であって、
前記物体判定部によって物体が無しと判定されている場合に前記焦点位置調整光学系の焦点位置を制御する焦点制御部を更に備える制御装置。

【請求項13】

請求項１１記載の制御装置であって、
前記物体判定部によって物体が無しと判定されている場合に前記焦点位置調整光学系の焦点位置の調節を促す情報を発する情報発生部を更に備える制御装置。

【請求項14】

請求項１３記載の制御装置であって、
前記情報発生部は、前記情報を表示部に表示させる制御装置。

【請求項15】

請求項１から１４のいずれか１項記載の制御装置であって、
前記撮像部は、前記光学系の一部を通して前記投影対象物を撮像する制御装置。

【請求項16】

請求項１から１５のいずれか１項記載の制御装置と、
前記光学系と、
前記撮像部と、を備える投影システム。

【請求項17】

入力画像データに基づいて表示部にて生成される画像を投影対象物に投影する光学系と、前記投影対象物を撮像する撮像部と、を有する投影システムの制御方法であって、
前記投影対象物に投影された前記画像の第一撮像画像データを前記撮像部から取得し、前記第一撮像画像データの一部又は全部の第一鮮鋭度と、前記入力画像データの第二鮮鋭度とに基づいて、前記第一鮮鋭度と前記第二鮮鋭度との差又は比が、上限及び下限を有する所定範囲内の状態では前記投影対象物に対するジェスチャが行われていると判定し、前記差又は比が前記所定範囲外の状態では前記ジェスチャが行われていないと判定し、前記ジェスチャが行われていると判定した場合に前記入力画像データを変更する制御ステップを含む制御方法。

【請求項18】

請求項１７記載の制御方法であって、
前記制御ステップは、前記第一撮像画像データの前記全部の鮮鋭度を前記第一鮮鋭度とする制御方法。

【請求項19】

請求項１７記載の制御方法であって、
前記制御ステップは、前記投影対象物に前記画像が非投影の状態における前記投影対象物の第二撮像画像データを前記撮像部から取得し、前記第一撮像画像データから前記第二撮像画像データを減算することにより、前記第一撮像画像データの前記一部である第三撮像画像データを生成し、前記第三撮像画像データの鮮鋭度を前記第一鮮鋭度とする制御方法。

【請求項20】

請求項１７から１９のいずれか１項記載の制御方法であって、
前記撮像部から出力される撮像画像データに基づいて、前記投影対象物と前記光学系の間に存在する物体の有無を判定する物体判定ステップを更に備え、
前記制御ステップは、前記物体判定ステップによって物体が有りと判定された場合に、前記ジェスチャの有無の判定を行う制御方法。

【請求項21】

請求項２０記載の制御方法であって、
前記物体判定ステップは、前記投影対象物に前記画像が非投影の状態における前記投影対象物の撮像画像データを前記撮像部から取得して基準画像データに設定し、前記基準画像データが設定された状態且つ前記投影対象物に前記画像が非投影の状態における前記投影対象物の撮像画像データを前記撮像部から取得し、当該撮像画像データと前記基準画像データの比較に基づいて、前記物体の有無を判定する制御方法。

【請求項22】

請求項２０記載の制御方法であって、
前記物体判定ステップは、前記投影対象物に前記画像が非投影の状態における前記投影対象物の撮像画像データを前記撮像部から異なるタイミングにて取得し、第一タイミングにて取得した前記撮像画像データと、前記第一タイミングより前の第二タイミングにて取得した前記撮像画像データとの比較に基づいて、前記物体の有無を判定する制御方法。

【請求項23】

請求項２０記載の制御方法であって、
前記物体判定ステップは、前記投影対象物に前記画像が投影された状態における前記投影対象物の撮像画像データを前記撮像部から異なるタイミングにて取得し、第一タイミングにて取得した前記撮像画像データと、前記第一タイミングより前の第二タイミングにて取得した前記撮像画像データとの比較に基づいて、前記物体の有無を判定する制御方法。

【請求項24】

請求項１７記載の制御方法であって、
前記制御ステップは、前記投影対象物に前記画像が非投影の状態における前記投影対象物の第二撮像画像データを前記撮像部から取得し、前記第一撮像画像データから前記第二撮像画像データを減算することにより、前記第一撮像画像データの前記一部である第三撮像画像データを生成し、前記第三撮像画像データの鮮鋭度を前記第一鮮鋭度とし、
前記撮像部から出力される撮像画像データに基づいて、前記投影対象物と前記光学系の間に存在する物体の有無を判定する物体判定ステップを更に備え、
前記制御ステップは、前記物体判定ステップによって物体が有りと判定され且つ当該物体の周波数が所定値未満を満たす場合に、前記ジェスチャの有無の判定を行う制御方法。

【請求項25】

請求項２４記載の制御方法であって、
前記物体判定ステップは、前記投影対象物に前記画像が非投影の状態における前記投影対象物の撮像画像データを前記撮像部から取得して基準画像データに設定し、前記基準画像データが設定された状態且つ前記投影対象物に前記画像が非投影の状態における前記投影対象物の撮像画像データを前記撮像部から取得し、当該撮像画像データと前記基準画像データの比較に基づいて、前記物体の有無を判定し、
前記制御ステップは、前記物体判定ステップによって物体が有りと判定された場合に、前記撮像画像データと前記基準画像データの比較によって当該物体の周波数を求める制御方法。

【請求項26】

請求項２４記載の制御方法であって、
前記物体判定ステップは、前記投影対象物に前記画像が非投影の状態における前記投影対象物の撮像画像データを前記撮像部から異なるタイミングにて取得し、第一タイミングにて取得した前記撮像画像データと、前記第一タイミングより前の第二タイミングにて取得した前記撮像画像データとの比較に基づいて、前記物体の有無を判定し、
前記制御ステップは、前記物体判定ステップによって物体が有りと判定された場合に、２つの前記撮像画像データの前記比較によって当該物体の周波数を求める制御方法。

【請求項27】

請求項２０から２６のいずれか１項記載の制御方法であって、
前記光学系は、焦点位置可変の焦点位置調整光学系を含む制御方法。

【請求項28】

請求項２７記載の制御方法であって、
前記物体判定ステップによって物体が無しと判定されている場合に前記焦点位置調整光学系の焦点位置を制御する焦点制御ステップを更に備える制御方法。

【請求項29】

請求項２７記載の制御方法であって、
前記物体判定ステップによって物体が無しと判定されている場合に前記焦点位置調整光学系の焦点位置の調節を促す情報を発する情報発生ステップを更に備える制御方法。

【請求項30】

請求項２９記載の制御方法であって、
前記情報発生ステップは、前記情報を表示部に表示させる制御方法。

【請求項31】

請求項１７から３０のいずれか１項記載の制御方法であって、
前記撮像部は、前記光学系の一部を通して前記投影対象物を撮像する制御方法。

【請求項32】

入力画像データに基づいて表示部にて生成される画像を投影対象物に投影する光学系と、前記投影対象物を撮像する撮像部と、を有する投影システムの制御プログラムであって、
前記投影対象物に投影された前記画像の第一撮像画像データを前記撮像部から取得し、前記第一撮像画像データの一部又は全部の第一鮮鋭度と、前記入力画像データの第二鮮鋭度とに基づいて、前記第一鮮鋭度と前記第二鮮鋭度との差又は比が、上限及び下限を有する所定範囲内の状態では前記投影対象物に対するジェスチャが行われていると判定し、前記差又は比が前記所定範囲外の状態では前記ジェスチャが行われていないと判定し、前記ジェスチャが行われていると判定した場合に前記入力画像データを変更する制御ステップをコンピュータに実行させるための制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、制御装置、投影システム、制御方法、制御プログラムに関する。

【背景技術】

【0002】

撮像装置と投影装置とを組み合わせたシステムが提案されている（例えば特許文献１，２参照）。特許文献１には、複数のカメラを用いることで、投影面と装置との間の障害物までの距離を測定することが記載されている。特許文献２には、赤外線等を用いて、投影面における指のタッチ位置を検出することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】日本国特開２００５－２２９４１５号公報

【文献】日本国特開２０１６－１３９３９６号公報

【発明の概要】

【0004】

本開示の技術に係る１つの実施形態は、投影対象物に画像を投影する光学系とその投影対象物との間にある物体までの距離を低コストにて判定することを可能とする制御装置、投影システム、制御方法、及び制御プログラムを提供する。

【課題を解決するための手段】

【0005】

本発明の制御装置は、入力画像データに基づいて表示部にて生成される画像を投影対象物に投影する光学系と、上記投影対象物を撮像する撮像部と、を有する投影システムの制御装置であって、上記投影対象物に投影された上記画像の第一撮像画像データを上記撮像部から取得し、上記第一撮像画像データの一部又は全部の第一鮮鋭度と、上記入力画像データの第二鮮鋭度とに基づいて、上記投影対象物と上記光学系の間に存在する物体から上記光学系までの距離を判定する距離判定部を備えるものである。

【0006】

本発明の投影システムは、上記制御装置と、上記光学系と、上記撮像部と、を備えるものである。

【0007】

本発明の制御方法は、入力画像データに基づいて表示部にて生成される画像を投影対象物に投影する光学系と、上記投影対象物を撮像する撮像部と、を有する投影システムの制御方法であって、上記投影対象物に投影された上記画像の第一撮像画像データを上記撮像部から取得し、上記第一撮像画像データの一部又は全部の第一鮮鋭度と、上記入力画像データの第二鮮鋭度とに基づいて、上記投影対象物と上記光学系の間に存在する物体から上記光学系までの距離を判定する距離判定ステップを含むものである。

【0008】

本発明の制御プログラムは、入力画像データに基づいて表示部にて生成される画像を投影対象物に投影する光学系と、上記投影対象物を撮像する撮像部と、を有する投影システムの制御プログラムであって、上記投影対象物に投影された上記画像の第一撮像画像データを上記撮像部から取得し、上記第一撮像画像データの一部又は全部の第一鮮鋭度と、上記入力画像データの第二鮮鋭度とに基づいて、上記投影対象物と上記光学系の間に存在する物体から上記光学系までの距離を判定する距離判定ステップをコンピュータに実行させるためのものである。

【発明の効果】

【0009】

本発明によれば、投影対象物に画像を投影する光学系とその投影対象物との間にある物体までの距離を低コストにて判定可能とする制御装置、投影システム、制御方法、及び制御プログラムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の投影システムの一実施形態であるプロジェクタ１００の外観構成を示す模式図である。

【図2】図１の光源ユニット１１の内部構成の一例を示す模式図である。

【図3】図１に示すプロジェクタ１００の光学ユニット６の断面模式図である。

【図4】図１に示すプロジェクタ１００の内部ブロック構成を示す模式図である。

【図5】図４に示すシステム制御部１４の機能ブロック図である。

【図6】距離判定部１４Ａによる物体までの距離の判定原理を説明するための模式図である。

【図7】入力画像データｇ１と入力画像データｇ１に基づく画像Ｇ１の一例を示す模式図である。

【図8】図７に示す画像Ｇ１を撮像素子３８によって撮像して得られる撮像画像データＩＰの例を示す模式図である。

【図9】プロジェクタ１００のジェスチャ検出動作を説明するためのフローチャートである。

【図10】プロジェクタ１００のジェスチャ検出動作の変形例を説明するためのフローチャートである。

【図11】ステップＳ２２にて取得された第二撮像画像データＩＰ２と、ステップＳ３にて取得された第一撮像画像データＩＰ１と、ステップＳ２３にて生成された第三撮像画像データＩＰ３の例を示す図である。

【図12】図４に示すシステム制御部１４の機能ブロックの第一変形例を示す図である。

【図13】図１２に示すシステム制御部１４によるジェスチャ検出動作を説明するためのフローチャートである。

【図14】図１２に示すシステム制御部１４によるジェスチャ検出動作の変形例を説明するためのフローチャートである。

【図15】図４に示すシステム制御部１４の機能ブロックの第二変形例を示す図である。

【図16】図１５に示すシステム制御部１４によるジェスチャ検出動作を説明するためのフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について図面を参照して説明する。

【0012】

図１は、本発明の投影システムの一実施形態であるプロジェクタ１００の外観構成を示す模式図である。図２は、図１の光源ユニット１１の内部構成の一例を示す模式図である。図３は、図１に示すプロジェクタ１００の光学ユニット６の断面模式図である。図３は、本体部１から出射される光の光路に沿った面での断面を示している。

【0013】

図１に示すように、プロジェクタ１００は、本体部１と、本体部１から突出して設けられた光学ユニット６と、を備える。光学ユニット６は、本体部１に支持される第一部材２と、第一部材２に支持された第二部材３と、を備える。なお、第二部材３は、第一部材２に回転可能な状態にて固定されていてもよい。また、第一部材２と第二部材３は一体化された部材であってもよい。光学ユニット６は、本体部１に着脱自在に構成（換言すると交換可能に構成）されていてもよい。

【0014】

本体部１は、光学ユニット６と連結される部分に光を通すための開口１５ａが形成された筐体１５を有する（図３参照）。

【0015】

本体部１の筐体１５の内部には、図１に示すように、光源ユニット１１と、光源ユニット１１から射出される光を入力画像データに基づいて空間変調して画像を生成する光変調素子１２ａ（図２参照）を含む光変調ユニット１２と、が設けられている。光源ユニット１１と光変調ユニット１２によって表示部が構成される。

【0016】

図２に示す例では、光源ユニット１１は、白色光を出射する光源４１と、カラーホイール４２と、照明光学系４３と、を備える。光源４１は、レーザ又はＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の発光素子を含んで構成される。カラーホイール４２は、光源４１と照明光学系４３の間に配置されている。カラーホイール４２は、円板状の部材であり、その周方向に沿って、赤色光を透過するＲフィルタ、緑色光を透過するＧフィルタ、及び青色光を透過するＢフィルタが設けられている。カラーホイール４２は軸周りに回転され、光源４１から出射される白色光を時分割にて赤色光、緑色光、及び青色光に分光して照明光学系４３に導く。照明光学系４３から出射された光は光変調素子１２ａに入射される。

【0017】

光変調ユニット１２に含まれる光変調素子１２ａは、図２の光源ユニット１１の構成であればＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）が例えば用いられる。光変調素子１２ａとしては、ＬＣＯＳ（Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ）、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）素子、又は液晶表示素子等を用いることもできる。図３に示すように、光変調ユニット１２によって空間変調された光によって形成される画像Ｇ１は、筐体１５の開口１５ａを通過して光学ユニット６に入射され、投影対象物としてのスクリーンＳＣに投影される（図３参照）。

【0018】

図３に示すように、光学ユニット６は、本体部１の内部と繋がる中空部２Ａを有する第一部材２と、中空部２Ａと繋がる中空部３Ａを有する第二部材３と、中空部２Ａに配置された第一光学系２１及び反射部材２２と、中空部３Ａに配置された第二光学系３１、分岐部材３２、第三光学系３３、第四光学系３７、撮像素子３８、及びレンズ３４と、を備える。

【0019】

第一部材２は、断面外形が例えば矩形の部材であり、開口２ａと開口２ｂが互いに垂直な面に形成されている。第一部材２は、本体部１の開口１５ａと対面する位置に開口２ａが配置される状態にて、本体部１によって支持されている。本体部１の光変調ユニット１２の光変調素子１２ａから射出された光は、開口１５ａ及び開口２ａを通って第一部材２の中空部２Ａに入射される。

【0020】

本体部１から中空部２Ａに入射される光の入射方向を方向Ｘ１と記載し、方向Ｘ１の逆方向を方向Ｘ２と記載し、方向Ｘ１と方向Ｘ２を総称して方向Ｘと記載する。また、図３において、紙面手前から奥に向かう方向とその逆方向を方向Ｚと記載する。また、方向Ｘ及び方向Ｚに垂直な方向を方向Ｙと記載し、方向Ｙのうち、図３において上に向かう方向を方向Ｙ１と記載し、図３において下に向かう方向を方向Ｙ２と記載する。

【0021】

第一光学系２１、反射部材２２、第二光学系３１、分岐部材３２、第三光学系３３、及びレンズ３４は、光変調素子１２ａによって形成された画像（表示部にて生成された画像）をスクリーンＳＣに投影する光学系を構成している。図３には、この光学系の光軸Ｋが示されている。第一光学系２１、反射部材２２、第二光学系３１、分岐部材３２、第三光学系３３、及びレンズ３４は、光変調素子１２ａ側からこの順に光軸Ｋに沿って配置されている。

【0022】

第一光学系２１は、少なくとも１つのレンズを含み、本体部１から第一部材２に入射された方向Ｘ１に進む光を反射部材２２に導く。

【0023】

反射部材２２は、第一光学系２１から入射された光を方向Ｙ１に反射させる。反射部材２２は、例えばミラー等によって構成される。第一部材２には、反射部材２２にて反射した光の光路上に開口２ｂが形成されており、この反射した光は開口２ｂを通過して第二部材３の中空部３Ａへと進む。

【0024】

第二部材３は、断面外形が例えば略Ｔ字状の部材であり、第一部材２の開口２ｂと対面する位置に開口３ａが形成されている。第一部材２の開口２ｂを通過した本体部１からの光は、この開口３ａを通って第二部材３の中空部３Ａに入射される。

【0025】

第二光学系３１は、少なくとも１つのレンズを含み、第一部材２から入射された光を、分岐部材３２に導く。

【0026】

分岐部材３２は、第二光学系３１から入射される光を方向Ｘ２に反射させて第三光学系３３に導く。また、分岐部材３２は、スクリーンＳＣ側からレンズ３４に入射されて第三光学系３３を通過した被写体光を透過させて、第四光学系３７に導く。分岐部材３２は、例えばハーフミラー、ビームスプリッター、又は偏光部材等によって構成される。

【0027】

第三光学系３３は、少なくとも１つのレンズを含み、分岐部材３２にて反射された光をレンズ３４に導く。第三光学系３３には、例えば、光学系の焦点位置（スクリーンＳＣに投影される画像の焦点位置）を調節するためのフォーカスレンズ、光学系の焦点距離を調節するためのズームレンズ、又は透過光量が可変の可変絞り等が含まれていてもよい。フォーカスレンズは、焦点位置可変の焦点位置調節光学系を構成する。なお、フォーカスレンズは、第三光学系３３ではなく、第一光学系２１又は第二光学系３１に含まれる構成としてもよい。

【0028】

レンズ３４は、第二部材３の方向Ｘ２側の端部に形成された開口３ｃを塞ぐ形でこの端部に配置されている。レンズ３４は、第三光学系３３から入射された光をスクリーンＳＣに投影する。

【0029】

第四光学系３７は、分岐部材３２の方向Ｘ１側の隣に配置されており、分岐部材３２を透過して方向Ｘ１に進む被写体光を撮像素子３８に導く。第四光学系３７の光軸と、レンズ３４及び第三光学系３３の光軸とは略一致している。

【0030】

撮像素子３８は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等である。撮像素子３８は、レンズ３４、第三光学系３３、分岐部材３２、及び第四光学系３７を通して、スクリーンＳＣを撮像する。撮像素子３８の撮像画像信号は、後述の画像処理部３９に入力される。レンズ３４、第三光学系３３、及び分岐部材３２は、光学系の一部を構成する。

【0031】

図４は、図１に示すプロジェクタ１００の内部ブロック構成を示す模式図である。プロジェクタ１００の本体部１には、光源ユニット１１と、光変調素子１２ａ及び光変調素子１２ａを駆動する光変調素子駆動部１２ｂを含む光変調ユニット１２と、全体を統括制御するシステム制御部１４と、が設けられている。光学ユニット６には、撮像素子３８と、撮像素子３８から入力された撮像画像信号を処理して撮像画像データを生成する画像処理部３９と、が設けられている。画像処理部３９によって生成された撮像画像データはシステム制御部１４に入力される。撮像素子３８と画像処理部３９によって撮像部が構成される。

【0032】

光変調素子駆動部１２ｂは、システム制御部１４から入力される入力画像データに基づいて光変調素子１２ａを駆動し、光源ユニット１１からの光をこの入力画像データによって空間変調させる。入力画像データとは、パーソナルコンピュータ、スマートフォン、タブレット端末等の外部装置から入力される画像データに限定されず、プロジェクタ１００内部で生成した入力画像データでもよい。また、入力画像データのデータ形式は、デジタルデータ、デジタルアナログ変換後のアナログデータのどちらであってもよい。

【0033】

システム制御部１４は、各種のプロセッサと、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、を備える。

【0034】

各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0035】

システム制御部１４のプロセッサは、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。

【0036】

図５は、図４に示すシステム制御部１４の機能ブロック図である。システム制御部１４のプロセッサは、制御プログラムを実行することにより、距離判定部１４Ａ及び画像制御部１４Ｂを備える制御装置として機能する。

【0037】

距離判定部１４Ａは、スクリーンＳＣに投影された画像Ｇ１の第一撮像画像データを撮像部（具体的には画像処理部３９）から取得し、この第一撮像画像データの全部の鮮鋭度（第一鮮鋭度）と、画像Ｇ１の元となる入力画像データの鮮鋭度（第二鮮鋭度）とに基づいて、スクリーンＳＣと光学ユニット６の光学系の間に存在する物体（例えば、人の頭や手等）からこの光学系までの距離を判定する。

【0038】

画像データの鮮鋭度とは、その画像データの鮮鋭さ（シャープネス）、換言するとボケ具合を表す指標であり、例えば、画像データのコントラスト値等の各種の評価値を用いることができる。

【0039】

第一撮像画像データには、画像Ｇ１と、その画像Ｇ１が投影された背景部分（スクリーンＳＣや物体）とが含まれている。第一撮像画像データに含まれる画像Ｇ１は、第一撮像画像データの一部を構成する。第一撮像画像データに含まれる画像Ｇ１と背景部分は、第一撮像画像データの全部を構成する。

【0040】

画像制御部１４Ｂは、距離判定部１４Ａによって判定された光学系から物体までの距離に基づいて、光変調素子１２ａに入力する入力画像データを制御する。具体的には、画像制御部１４Ｂは、この距離がスクリーンＳＣの近傍に物体が存在することを示す距離である場合には、スクリーンＳＣへのタッチ操作がなされたと判断して、そのタッチ操作に応じた制御、つまり、入力画像データの変更を行う。これにより、タッチ操作によってスクリーンＳＣに投影された画像Ｇ１を別のものに変更することができる。

【0041】

図６は、距離判定部１４Ａによる物体までの距離の判定原理を説明するための模式図である。図６には、スクリーンＳＣと、光学ユニット６の光学系のうちの最もスクリーンＳＣ側に位置するレンズ３４と、が示されている。また、図６には、方向Ｘにおけるレンズ３４のスクリーンＳＣ側の端部の位置Ｐ１と、方向ＸにおけるスクリーンＳＣのレンズ３４側の端部の位置Ｐ３が示されている。また、図６には、位置Ｐ３と位置Ｐ１の間であって位置Ｐ３近傍の位置Ｐ２が示されている。光学ユニット６からスクリーンＳＣに投影される画像Ｇ１の合焦位置は、位置Ｐ３に設定されている。

【0042】

図７は、入力画像データｇ１と入力画像データｇ１に基づく画像Ｇ１の一例を示す模式図である。図７に示す入力画像データｇ１が光変調素子１２ａに入力されると、この入力画像データｇ１に基づく画像Ｇ１がスクリーンＳＣに投影される。ここで、図６に示すように、画像Ｇ１の通過経路上に人の指等の物体ＯＢが存在していると、図７に示すように、画像Ｇ１のうちの一部は、スクリーンＳＣに投影されることなく、物体ＯＢに投影された状態となる。したがって、図７に示す画像Ｇ１を撮像素子３８によって撮像して得られる撮像画像データＩＰは、図８に示すようなもの（物体ＯＢに対応する物体領域ｏｂを含むデータ）となる。

【0043】

ここで、物体ＯＢが、図６に示した位置Ｐ２と位置Ｐ１の間に存在している場合を想定する。この場合には、画像Ｇ１の合焦位置から遠く離れた位置に物体ＯＢが存在している。このため、図８に示した撮像画像データＩＰにおける物体領域ｏｂの鮮鋭度は、入力画像データｇ１における物体領域ｏｂと対応する領域の鮮鋭度に対し、大きく低下することになる。つまり、入力画像データｇ１の鮮鋭度Ｃ１と撮像画像データＩＰの鮮鋭度Ｃ２の差は大きな値（例えば後述の第二閾値ＴＨ２以上）となる。

【0044】

また、物体ＯＢが、図６に示した位置Ｐ３と位置Ｐ２の間に存在している場合を想定する。この場合には、画像Ｇ１の合焦位置近傍に物体ＯＢが存在している。このため、図８に示した撮像画像データＩＰにおける物体領域ｏｂの鮮鋭度は、入力画像データｇ１における物体領域ｏｂと対応する領域の鮮鋭度に対し、僅かに低下することになる。つまり、入力画像データｇ１の鮮鋭度Ｃ１と撮像画像データＩＰの鮮鋭度Ｃ２の差は、物体ＯＢが位置Ｐ２と位置Ｐ１の間に存在している場合よりは小さい値（例えば、後述の第一閾値ＴＨ１以上且つ第二閾値ＴＨ２未満の範囲の値）となる。

【0045】

更に、図６に示す物体ＯＢが存在していない場合を想定する。この場合には、入力画像データｇ１の鮮鋭度Ｃ１と撮像画像データＩＰの鮮鋭度Ｃ２はほぼ同じ値となる。つまり、鮮鋭度Ｃ１と鮮鋭度Ｃ２の差は、物体ＯＢが位置Ｐ３と位置Ｐ２の間に存在している場合よりも小さい値（例えば、後述の第一閾値ＴＨ１未満）となる。

【0046】

このように、距離判定部１４Ａは、入力画像データｇ１の鮮鋭度と、画像Ｇ１をスクリーンＳＣに投影した状態にてその画像Ｇ１を撮像して得られる第一撮像画像データの鮮鋭度との差の大きさによって、物体ＯＢの存在の有無と、光学系から物体ＯＢまでの距離の大きさとを判定する。

【0047】

図９は、プロジェクタ１００のジェスチャ検出動作を説明するためのフローチャートである。システム制御部１４の画像制御部１４Ｂは、入力画像データｇ１を取得し、これを光変調素子１２ａに入力して、入力画像データｇ１に基づく画像Ｇ１をスクリーンＳＣに投影させる（ステップＳ１）。

【0048】

次に、システム制御部１４の距離判定部１４Ａは、撮像素子３８を駆動して、画像Ｇ１が投影されているスクリーンＳＣを撮像させる（ステップＳ２）。ステップＳ２の撮像にて撮像素子３８から撮像画像信号が出力されると、この撮像画像信号が画像処理部３９によって処理されて、撮像画像データが生成される。距離判定部１４Ａは、この撮像画像データのうちの画像Ｇ１に対応する部分である第一撮像画像データを画像処理部３９から取得する（ステップＳ３）。

【0049】

次に、距離判定部１４Ａは、入力画像データｇ１と第一撮像画像データのサイズを一致させる処理を行う（ステップＳ４）。このステップＳ４において、距離判定部１４Ａは、更に、入力画像データｇ１と第一撮像画像データの明るさを揃える処理を行ってもよい。

【0050】

次に、距離判定部１４Ａは、入力画像データｇ１の鮮鋭度Ｃ１と第一撮像画像データの鮮鋭度Ｃ２をそれぞれ導出し、鮮鋭度Ｃ１と鮮鋭度Ｃ２の差ΔＣ（絶対値）を算出する（ステップＳ５）。

【0051】

次に、距離判定部１４Ａは、差ΔＣが第一閾値ＴＨ１未満となるか否かを判定する（ステップＳ６）。距離判定部１４Ａは、差ΔＣが第一閾値ＴＨ１未満であった場合（ステップＳ６：ＹＥＳ）には、投影中の画像Ｇ１を遮る物体は存在しないと判定し（ステップＳ７）、ジェスチャ非検出として処理を終了させる。

【0052】

距離判定部１４Ａは、差ΔＣが第一閾値ＴＨ１以上であった場合（ステップＳ６：ＮＯ）には、投影中の画像Ｇ１を遮る物体が存在すると判定し、差ΔＣが第二閾値ＴＨ２以上であるか否かを判定する（ステップＳ８）。

【0053】

距離判定部１４Ａは、差ΔＣが第二閾値ＴＨ２以上であった場合（ステップＳ８：ＹＥＳ）には、光学系から物体までの距離が、図６に示した位置Ｐ１と位置Ｐ２の間の距離である第一距離Ｌ１未満である、換言すると、スクリーンＳＣ近傍に物体が存在していないと判定し（ステップＳ９）、ジェスチャ非検出として処理を終了させる。

【0054】

距離判定部１４Ａは、差ΔＣが第二閾値ＴＨ２未満であった場合（ステップＳ８：ＮＯ）には、光学系から物体までの距離が第一距離Ｌ１以上である、換言すると、スクリーンＳＣ近傍に物体が存在している（すなわちジェスチャ（スクリーンＳＣへのタッチ操作）が行われている）と判定する（ステップＳ１０）。

【0055】

ステップＳ１０の後、画像制御部１４Ｂは、第一撮像画像データにおける物体領域の位置に基づいて、例えば入力画像データｇ１の一部を更新したり、入力画像データｇ１を他の入力画像データに変更したりする制御を行う（ステップＳ１１）。

【0056】

なお、距離判定部１４Ａは、図９のステップＳ５において、２つの鮮鋭度の比を算出し、この比に基づいて、光学系から物体までの距離を判定してもよい。例えば、距離判定部１４Ａは、入力画像データｇ１の鮮鋭度Ｃ１を第一撮像画像データの鮮鋭度Ｃ２で除算した値を上記の比とし、この比が“１”であればステップＳ７に処理を移行する。また、距離判定部１４Ａは、この比が“１”より大きく閾値ｔｈ１未満であればステップＳ１０に処理を移行する。また、距離判定部１４Ａは、この比が閾値ｔｈ１以上であればステップＳ９に処理を移行する。

【0057】

以上のように、プロジェクタ１００によれば、入力画像データｇ１の鮮鋭度と第一撮像画像データの鮮鋭度とに基づいて、光学系から、画像Ｇ１を遮っている物体までの距離を判定することができる。この判定には、赤外線やステレオカメラ等の高価なハードウェアや複雑な演算は不要である。このため、物体までの距離の判定を低コスト且つ軽負荷にて行うことができる。

【0058】

図１０は、プロジェクタ１００のジェスチャ検出動作の変形例を説明するためのフローチャートである。図１０において図９と同じ処理には同一符号を付して説明を省略する。

【0059】

ステップＳ１に先立ち、距離判定部１４Ａは、スクリーンＳＣに画像Ｇ１が非投影の状態において、撮像素子３８を駆動して、スクリーンＳＣを撮像させる（ステップＳ２１）。ステップＳ２１の撮像にて撮像素子３８から撮像画像信号が出力されると、この撮像画像信号が画像処理部３９によって処理されて、撮像画像データが生成される。距離判定部１４Ａは、この撮像画像データのうちの画像Ｇ１の投影範囲に対応する部分である第二撮像画像データを画像処理部３９から取得する（ステップＳ２２）。

【0060】

ステップＳ２２の後、ステップＳ１からステップＳ３の処理が行われると、距離判定部１４Ａは、第一撮像画像データから第二撮像画像データを減算して、第三撮像画像データを生成する（ステップＳ２３）。

【0061】

図１１は、ステップＳ２２にて取得された第二撮像画像データＩＰ２と、ステップＳ３にて取得された第一撮像画像データＩＰ１と、ステップＳ２３にて生成された第三撮像画像データＩＰ３の例を示す図である。

【0062】

図１１に示す第一撮像画像データＩＰ１における物体領域ｏｂは、画像Ｇ１の一部が物体ＯＢに重なった状態で得られる。そのため、物体ＯＢそのものに複雑な模様が存在している（例えば柄物の洋服の一部が画像Ｇ１を遮っているようなケースを想定）と、この複雑な模様と、画像Ｇ１の一部とが重なった状態にて撮像されることになる。この場合、第一撮像画像データＩＰ１の全部の鮮鋭度は、物体ＯＢがスクリーンＳＣ近傍に存在していても、入力画像データｇ１の鮮鋭度より大きくなる可能性がある。

【0063】

図１１に示す第一撮像画像データＩＰ１から第二撮像画像データＩＰ２を減算すると、物体ＯＢが除去された第三撮像画像データＩＰ３を得ることができる。一方で、第三撮像画像データＩＰ３における領域ｏｂ１は、スクリーンＳＣよりも手前側に画像Ｇ１が投影された部分である。このため、この領域ｏｂ1の鮮鋭度は第三撮像画像データＩＰ３の他の領域と比べて低下する。そのため、第一撮像画像データＩＰ１の鮮鋭度と第三撮像画像データの鮮鋭度に基づいて、物体ＯＢまでの距離を判定することができる。

【0064】

距離判定部１４Ａは、ステップＳ２３にて第三撮像画像データを生成すると、入力画像データｇ１と第三撮像画像データのサイズを一致させる処理を行う（ステップＳ４ａ）。

【0065】

次に、距離判定部１４Ａは、入力画像データｇ１の鮮鋭度Ｃ１と第三撮像画像データの鮮鋭度Ｃ３をそれぞれ導出し、鮮鋭度Ｃ１と鮮鋭度Ｃ３の差Ｃａ（絶対値）を算出する（ステップＳ５ａ）。本変形例において鮮鋭度Ｃ３は第一鮮鋭度を構成する。

【0066】

次に、距離判定部１４Ａは、差ΔＣａが第一閾値ＴＨ１未満となるか否かを判定する（ステップＳ６ａ）。距離判定部１４Ａは、差ΔＣａが第一閾値ＴＨ１未満であった場合（ステップＳ６ａ：ＹＥＳ）には、ステップＳ７に処理を移行する。

【0067】

距離判定部１４Ａは、差ΔＣが第一閾値ＴＨ１以上であった場合（ステップＳ６ａ：ＮＯ）には、投影中の画像Ｇ１を遮る物体が存在すると判定し、差ΔＣａが第二閾値ＴＨ２以上であるか否かを判定する（ステップＳ８ａ）。

【0068】

距離判定部１４Ａは、差ΔＣａが第二閾値ＴＨ２以上であった場合（ステップＳ８ａ：ＹＥＳ）には、ステップＳ９に処理を移行し、差ΔＣａが第二閾値ＴＨ２未満であった場合（ステップＳ８ａ：ＮＯ）には、ステップＳ１０に処理を移行する。

【0069】

以上のように、入力画像データｇ１の鮮鋭度と第三撮像画像データの鮮鋭度とに基づいて、光学系から、画像Ｇ１を遮っている物体までの距離を判定することができる。第三撮像画像データを用いることで、物体ＯＢにコントラストが高くなるような模様が含まれている場合であっても、その物体ＯＢまでの距離を正確に判定することができる。ここで説明した第三撮像画像データは、第一撮像画像データＩＰ１のうち物体ＯＢの部分とスクリーンＳＣの部分（つまり、上述した背景部分）が除去された画像データである。つまり、第三撮像画像データは、第一撮像画像データの一部ということができる。

【0070】

なお、図１０に示す変形例においても、差ΔＣａの代わりに、入力画像データｇ１の鮮鋭度と第三撮像画像データの鮮鋭度の比を用いることができる。

【0071】

また、図１０の説明では、第三撮像画像データを、第一撮像画像データから第二撮像画像データを減算して生成するものとした。しかし、第三撮像画像データは、第一撮像画像データに含まれる背景部分が除去されたものであればよく、例えば、第一撮像画像データの各画素と第二撮像画像データの各画素との輝度比を求め、この輝度比を第一撮像画像データの各画素に乗じることで、背景部分が除去された第三撮像画像データを生成してもよい。

【0072】

図１２は、図４に示すシステム制御部１４の機能ブロックの第一変形例を示す図である。システム制御部１４のプロセッサは、制御プログラムを実行することにより、距離判定部１４Ａ、画像制御部１４Ｂ、物体判定部１４Ｃを備える制御装置として機能する。

【0073】

物体判定部１４Ｃは、距離判定部１４Ａによる距離判定の処理に先立ち、画像処理部３９から出力される撮像画像データに基づいて、スクリーンＳＣと光学系の間に存在する物体の有無を判定する。

【0074】

図１２に示した距離判定部１４Ａと画像制御部１４Ｂの機能は、上述してきたものと同じである。ただし、距離判定部１４Ａは、物体判定部１４ＣによってスクリーンＳＣと光学系の間に物体が存在すると判定された場合に限って、上述した物体までの距離の判定を行うものとなっている。

【0075】

図１３は、図１２に示すシステム制御部１４によるジェスチャ検出動作を説明するためのフローチャートである。

【0076】

プロジェクタ１００の電源が投入されると、まず、物体判定部１４Ｃは、スクリーンＳＣに画像Ｇ１が非投影の状態において、撮像素子３８を駆動して、スクリーンＳＣを撮像させる（ステップＳ３１）。ステップＳ３１の撮像にて撮像素子３８から撮像画像信号が出力されると、この撮像画像信号が画像処理部３９によって処理されて、撮像画像データが生成される。物体判定部１４Ｃは、この撮像画像データのうちの画像Ｇ１の投影範囲に対応する部分の画像データを画像処理部３９から取得し、この画像データを基準画像データとして設定し、ＲＡＭに記憶する（ステップＳ３２）。

【0077】

次に、画像制御部１４Ｂが、入力画像データｇ１を取得し、これを光変調素子１２ａに入力して、入力画像データｇ１に基づく画像Ｇ１をスクリーンＳＣに投影させる（ステップＳ３３）。

【0078】

次に、物体判定部１４Ｃは、画像Ｇ１の投影を一時的に停止させる（ステップＳ３４）。そして、物体判定部１４Ｃは、画像Ｇ１の投影が停止されている状態において、撮像素子３８を駆動して、スクリーンＳＣを撮像させる（ステップＳ３５）。ステップＳ３５の撮像にて撮像素子３８から撮像画像信号が出力されると、この撮像画像信号が画像処理部３９によって処理されて、撮像画像データが生成される。物体判定部１４Ｃは、この撮像画像データのうちの画像Ｇ１の投影範囲に対応する部分を画像処理部３９から取得し、この部分と、基準画像データとを比較する（ステップＳ３６）。

【0079】

比較の結果、２つの画像データの輝度差が閾値未満であった場合（ステップＳ３７：ＮＯ）には、ステップＳ３３に処理が戻る。なお、ステップＳ３４の処理が行われてからステップＳ３３の処理が行われるまでの時間は、人に検知できない程度の短時間にて行われる。

【0080】

２つの画像データの輝度差がこの閾値以上であった場合（ステップＳ３７：ＹＥＳ）には、ステップＳ３８に処理が移行される。ステップＳ３８において、物体判定部１４Ｃは、画像Ｇ１を遮る物体が存在する可能性ありと判定する。そして、ステップＳ３８の処理が行われると、図９のステップＳ１以降の処理又は図１０のステップＳ２１以降の処理が開始される。

【0081】

なお、ステップＳ３７とステップＳ３８では、２つの画像データの輝度差の大きさによって物体の有無を判定しているが、例えば２つの画像データの差分画像データを生成し、その差分画像データにエッジが含まれる場合に、そのエッジで囲まれる部分に物体が存在する可能性があると判定してもよい。

【0082】

以上のように、画像Ｇ１を遮る物体が存在する可能性がある場合に限って、図９又は図１０に示す処理を行うことで、システム制御部１４の処理量の増大を防ぐことができる。

【0083】

図１３のステップＳ３７の判定がＮＯとなった場合に、物体判定部１４Ｃは、ＲＡＭに記憶している基準画像データを、ステップＳ３６にて取得した撮像画像データに書き換え、この撮像画像データを基準画像データとして再設定してもよい。このようにすることで、プロジェクタ１００の起動後に、スクリーンＳＣの置かれている環境の明るさが変化した場合であっても、物体の有無の判定を高精度に行うことができる。

【0084】

また、図１３では、画像が非投影の状態且つ異なるタイミングにてスクリーンＳＣを撮像して得られる２つの撮像画像データの比較により、投影される画像を遮る物体の有無を判定している。この変形例として、物体判定部１４Ｃは、画像が投影された状態且つ異なるタイミングにてスクリーンＳＣを撮像して得られる２つの撮像画像データの比較により、投影される画像を遮る物体の有無を判定してもよい。

【0085】

図１４は、図１２に示すシステム制御部１４によるジェスチャ検出動作の変形例を説明するためのフローチャートである。図１４に示すフローチャートは、ステップＳ３９が追加された点を除いては、図１３に示すフローチャートと同じである。図１４において図１３と同じ処理には同一符号を付して説明を省略する。

【0086】

物体判定部１４Ｃは、ステップＳ３８において物体が存在する可能性があると判定すると、その物体の特徴が特定条件を満たすか否かを判定する（ステップＳ３９）。

【0087】

具体的には、物体判定部１４Ｃは、ステップＳ３７の比較に用いた２つの撮像画像データの差分画像データを生成する。この差分画像データは、物体を示す画像データとなる。物体判定部１４Ｃは、この差分画像データの周波数（空間周波数）を求め、周波数が所定値以上となっている場合に、物体の特徴が特定条件を満たしていないと判定し、周波数が所定値未満となっている場合に、物体の特徴が特定条件を満たしていると判定する。この例では、周波数が物体の特徴であり、周波数が所定値未満となること（換言すると、細かい模様を含まない物体であること）が特定条件である。

【0088】

ステップＳ３９において物体の特徴が特定条件を満たすと判定されると、図１０のステップＳ２１以降の処理が行われる。図１４に示す動作によれば、スクリーンＳＣに投影された画像を遮る物体に、空間周波数が高くなる複雑な模様が含まれない場合に限って、図１０の処理が行われる。図１０の処理は、物体の模様の影響を排除できるものであるが、図１４のステップＳ３９の処理を行うことで、この影響をより強力に排除することが可能となる。

【0089】

図１４のフローチャートにおいても、図１３にて説明した変形例（ステップＳ３７の判定がＮＯとなった場合に基準画像データを更新する点、画像が投影された状態且つ異なるタイミングにてスクリーンＳＣを撮像して得られる２つの撮像画像データの比較により、投影される画像を遮る物体の有無を判定する点）を適用可能である。

【0090】

図１５は、図４に示すシステム制御部１４の機能ブロックの第二変形例を示す図である。システム制御部１４のプロセッサは、制御プログラムを実行することにより、距離判定部１４Ａ、画像制御部１４Ｂ、物体判定部１４Ｃ、及び焦点制御部１４Ｄを備える制御装置として機能する。この第二変形例では、光学ユニット６に含まれる光学系に、上述したフォーカスレンズが含まれることを前提としている。

【0091】

図１５に示した距離判定部１４Ａ、画像制御部１４Ｂ、物体判定部１４Ｃの機能は、図１２と同様であるため説明を省略する。

【0092】

焦点制御部１４Ｄは、物体判定部１４Ｃによって物体が無しと判定されている場合に、フォーカスレンズを制御して光学系の焦点位置を制御する。

【0093】

図１６は、図１５に示すシステム制御部１４によるジェスチャ検出動作を説明するためのフローチャートである。図１６に示すフローチャートは、ステップＳ４１とステップＳ４２が追加された点を除いては、図１３に示すフローチャートと同じである。図１６において図１３と同じ処理には同一符号を付して説明を省略する。

【0094】

ステップＳ３７の判定がＮＯとなった場合、焦点制御部１４Ｄは、ステップＳ３６にて取得された撮像画像得データに基づいて、光学系の焦点調節が必要か否かを判定する（ステップＳ４１）。例えば、焦点制御部１４Ｄは、この撮像画像データの鮮鋭度を求め、この鮮鋭度が所定値以下となっている場合に、焦点調節が必要であると判定する。

【0095】

焦点制御部１４Ｄは、焦点調節が必要と判定した場合（ステップＳ４１：ＹＥＳ）には、コントラストＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）方式や位相差ＡＦ方式等によって、フォーカスレンズの駆動量を決定し、この駆動量にしたがってフォーカスレンズを駆動して焦点位置の調節を行う（ステップＳ４２）。ステップＳ４２の後は、ステップＳ３３に処理が移行される。ステップＳ４１の判定がＮＯとなった場合にも、ステップＳ３３に処理が移行される。

【0096】

なお、図１４に示すフローチャートにおいて、ステップＳ３７の判定がＮＯとなった場合と、ステップＳ３９の判定がＮＯとなった場合とのそれぞれにおいて、図１６のステップＳ４１及びステップＳ４２の処理が行われるようにしてもよい。

【0097】

図１６のフローチャートにおいても、図１３にて説明した変形例（ステップＳ３７の判定がＮＯとなった場合に基準画像データを更新する点、画像が投影された状態且つ異なるタイミングにてスクリーンＳＣを撮像して得られる２つの撮像画像データの比較により、投影される画像を遮る物体の有無を判定する点）を適用可能である。

【0098】

図１６に示す動作によれば、物体判定部１４Ｃによって物体が無いと判定されている状態において、光学系の焦点調節が行われる。このため、スクリーンＳＣ前方の物体に焦点があってしまうのを防いで、スクリーンＳＣ上に焦点のあった画像を投影可能となる。

【0099】

図１６に示す動作では、ステップＳ３７の判定がＮＯとなった場合に、システム制御部１４が自動的に焦点調節を行うものとした。この変形例として、ステップＳ３７の判定がＮＯとなり且つステップＳ４１の判定がＹＥＳとなった場合に、システム制御部１４は、光学系の焦点位置の調節を促す情報を発してもよい。この場合のシステム制御部１４は、情報発生部として機能する。システム制御部１４は、例えば、図示省略の液晶ディスプレイ等の表示部にメッセージを表示させたり、図示省略のスピーカからメッセージを出力させたりすることで、光学系の焦点位置の調節を促す情報を発する。

【0100】

以上説明してきたように、本明細書には以下の事項が開示されている。

【0101】

（１）
入力画像データに基づいて表示部にて生成される画像を投影対象物に投影する光学系と、上記投影対象物を撮像する撮像部と、を有する投影システムの制御装置であって、
上記投影対象物に投影された上記画像の第一撮像画像データを上記撮像部から取得し、上記第一撮像画像データの一部又は全部の第一鮮鋭度と、上記入力画像データの第二鮮鋭度とに基づいて、上記投影対象物と上記光学系の間に存在する物体から上記光学系までの距離を判定する距離判定部を備える制御装置。

【0102】

（２）
（１）記載の制御装置であって、
上記距離判定部は、上記第一鮮鋭度と上記第二鮮鋭度との差に基づいて上記距離を判定する制御装置。

【0103】

（３）
（２）記載の制御装置であって、
上記距離判定部は、上記差が第一閾値以上第二閾値未満の状態では、上記距離が第一距離以上であると判定し、上記差が上記第二閾値以上の状態では、上記距離が上記第一距離未満であると判定する制御装置。

【0104】

（４）
（１）記載の制御装置であって、
上記距離判定部は、上記第一鮮鋭度と上記第二鮮鋭度との比に基づいて上記距離を判定する制御装置。

【0105】

（５）
（１）から（４）のいずれか１つに記載の制御装置であって、
上記距離に基づいて上記入力画像データを制御する画像制御部を備える制御装置。

【0106】

（６）
（３）記載の制御装置であって、
上記距離に基づいて上記入力画像データを制御する画像制御部を備え、
上記画像制御部は、上記距離が上記第一距離以上の状態において、上記入力画像データを変更する制御装置。

【0107】

（７）
（１）から（６）のいずれか１つに記載の制御装置であって、
上記距離判定部は、上記第一撮像画像データの上記全部の鮮鋭度を上記第一鮮鋭度とする制御装置。

【0108】

（８）
（１）から（６）のいずれか１つに記載の制御装置であって、
上記距離判定部は、上記投影対象物に上記画像が非投影の状態における上記投影対象物の第二撮像画像データを上記撮像部から取得し、上記第一撮像画像データと上記第二撮像画像データに基づいて、上記第一撮像画像データの上記一部である第三撮像画像データを生成し、上記第三撮像画像データの鮮鋭度を上記第一鮮鋭度とする制御装置。

【0109】

（９）
（８）記載の制御装置であって、
上記距離判定部は、上記第一撮像画像データから上記第二撮像画像データを減算して上記第三撮像画像データを生成する制御装置。

【0110】

（１０）
（１）から（９）のいずれか１つに記載の制御装置であって、
上記撮像部から出力される撮像画像データに基づいて、上記投影対象物と上記光学系の間に存在する物体の有無を判定する物体判定部を更に備え、
上記距離判定部は、上記物体判定部によって物体が有りと判定された場合に、上記距離の判定を行う制御装置。

【0111】

（１１）
（１０）記載の制御装置であって、
上記物体判定部は、上記投影対象物に上記画像が非投影の状態における上記投影対象物の撮像画像データを上記撮像部から取得して基準画像データに設定し、上記基準画像データが設定された状態且つ上記投影対象物に上記画像が非投影の状態における上記投影対象物の撮像画像データを上記撮像部から取得し、その撮像画像データと上記基準画像データの比較に基づいて、上記物体の有無を判定する制御装置。

【0112】

（１２）
（１０）記載の制御装置であって、
上記物体判定部は、上記投影対象物に上記画像が非投影の状態における上記投影対象物の撮像画像データを上記撮像部から異なるタイミングにて取得し、第一タイミングにて取得した上記撮像画像データと、上記第一タイミングより前の第二タイミングにて取得した上記撮像画像データとの比較に基づいて、上記物体の有無を判定する制御装置。

【0113】

（１３）
（１０）記載の制御装置であって、
上記物体判定部は、上記投影対象物に上記画像が投影された状態における上記投影対象物の撮像画像データを上記撮像部から異なるタイミングにて取得し、第一タイミングにて取得した上記撮像画像データと、上記第一タイミングより前の第二タイミングにて取得した上記撮像画像データとの比較に基づいて、上記物体の有無を判定する制御装置。

【0114】

（１４）
（１）から（６）のいずれか１つに記載の制御装置であって、
上記距離判定部は、上記投影対象物に上記画像が非投影の状態における上記投影対象物の第二撮像画像データを上記撮像部から取得し、上記第一撮像画像データと上記第二撮像画像データに基づいて、上記第一撮像画像データの上記一部である第三撮像画像データを生成し、上記第三撮像画像データの鮮鋭度を上記第一鮮鋭度とし、
上記撮像部から出力される撮像画像データに基づいて、上記投影対象物と上記光学系の間に存在する物体の有無を判定する物体判定部を更に備え、
上記距離判定部は、上記物体判定部によって物体が有りと判定され且つその物体の特徴が特定条件を満たす場合に、上記距離の判定を行う制御装置。

【0115】

（１５）
（１４）記載の制御装置であって、
上記物体判定部は、上記投影対象物に上記画像が非投影の状態における上記投影対象物の撮像画像データを上記撮像部から取得して基準画像データに設定し、上記基準画像データが設定された状態且つ上記投影対象物に上記画像が非投影の状態における上記投影対象物の撮像画像データを上記撮像部から取得し、その撮像画像データと上記基準画像データの比較に基づいて、上記物体の有無を判定し、
上記距離判定部は、上記物体判定部によって物体が有りと判定された場合に、上記撮像画像データと上記基準画像データの比較によって求まるその物体の周波数を上記特徴とする制御装置。

【0116】

（１６）
（１４）記載の制御装置であって、
上記物体判定部は、上記投影対象物に上記画像が非投影の状態における上記投影対象物の撮像画像データを上記撮像部から異なるタイミングにて取得し、第一タイミングにて取得した上記撮像画像データと、上記第一タイミングより前の第二タイミングにて取得した上記撮像画像データとの比較に基づいて、上記物体の有無を判定し、
上記距離判定部は、上記物体判定部によって物体が有りと判定された場合に、２つの上記撮像画像データの上記比較によって求まるその物体の周波数を上記特徴とする制御装置。

【0117】

（１７）
（１０）から（１６）のいずれか１つに記載の制御装置であって、
上記光学系は、焦点位置可変の焦点位置調整光学系を含む制御装置。

【0118】

（１８）
（１７）記載の制御装置であって、
上記物体判定部によって物体が無しと判定されている場合に上記焦点位置調整光学系の焦点位置を制御する焦点制御部を更に備える制御装置。

【0119】

（１９）
（１７）記載の制御装置であって、
上記物体判定部によって物体が無しと判定されている場合に上記焦点位置調整光学系の焦点位置の調節を促す情報を発する情報発生部を更に備える制御装置。

【0120】

（２０）
（１９）記載の制御装置であって、
上記情報発生部は、上記情報を表示部に表示させる制御装置。

【0121】

（２１）
（１）から（２０）のいずれか１つに記載の制御装置であって、
上記撮像部は、上記光学系の一部を通して上記投影対象物を撮像する制御装置。

【0122】

（２２）
（１）から（２１）のいずれか１つに記載の制御装置と、
上記光学系と、
上記撮像部と、を備える投影システム。

【0123】

（２３）
入力画像データに基づいて表示部にて生成される画像を投影対象物に投影する光学系と、上記投影対象物を撮像する撮像部と、を有する投影システムの制御方法であって、
上記投影対象物に投影された上記画像の第一撮像画像データを上記撮像部から取得し、上記第一撮像画像データの一部又は全部の第一鮮鋭度と、上記入力画像データの第二鮮鋭度とに基づいて、上記投影対象物と上記光学系の間に存在する物体から上記光学系までの距離を判定する距離判定ステップを含む制御方法。

【0124】

（２４）
（２３）記載の制御方法であって、
上記距離判定ステップは、上記第一鮮鋭度と上記第二鮮鋭度との差に基づいて上記距離を判定する制御方法。

【0125】

（２５）
（２４）記載の制御方法であって、
上記距離判定ステップは、上記差が第一閾値以上第二閾値未満の状態では、上記距離が第一距離以上であると判定し、上記差が上記第二閾値以上の状態では、上記距離が上記第一距離未満であると判定する制御方法。

【0126】

（２６）
（２３）記載の制御方法であって、
上記距離判定ステップは、上記第一鮮鋭度と上記第二鮮鋭度との比に基づいて上記距離を判定する制御方法。

【0127】

（２７）
（２３）から（２６）のいずれか１つに記載の制御方法であって、
上記距離に基づいて上記入力画像データを制御する画像制御ステップを含む制御方法。

【0128】

（２８）
（２５）記載の制御方法であって、
上記距離に基づいて上記入力画像データを制御する画像制御ステップを含み、
上記画像制御ステップにおいて、上記距離が上記第一距離以上の状態において、上記入力画像データを変更する制御方法。

【0129】

（２９）
（２３）から（２８）のいずれか１つに記載の制御方法であって、
上記距離判定ステップは、上記第一撮像画像データの上記全部の鮮鋭度を上記第一鮮鋭度とする制御方法。

【0130】

（３０）
（２３）から（２８）のいずれか１つに記載の制御方法であって、
上記距離判定ステップは、上記投影対象物に上記画像が非投影の状態における上記投影対象物の第二撮像画像データを上記撮像部から取得し、上記第一撮像画像データと上記第二撮像画像データに基づいて、上記第一撮像画像データの上記一部である第三撮像画像データを生成し、上記第三撮像画像データの鮮鋭度を上記第一鮮鋭度とする制御方法。

【0131】

（３１）
（３０）記載の制御方法であって、
上記距離判定ステップは、上記第一撮像画像データから上記第二撮像画像データを減算して上記第三撮像画像データを生成する制御方法。

【0132】

（３２）
（２３）から（３１）のいずれか１つに記載の制御方法であって、
上記撮像部から出力される撮像画像データに基づいて、上記投影対象物と上記光学系の間に存在する物体の有無を判定する物体判定ステップを更に備え、
上記距離判定ステップは、上記物体判定ステップによって物体が有りと判定された場合に、上記距離の判定を行う制御方法。

【0133】

（３３）
（３２）記載の制御方法であって、
上記物体判定ステップは、上記投影対象物に上記画像が非投影の状態における上記投影対象物の撮像画像データを上記撮像部から取得して基準画像データに設定し、上記基準画像データが設定された状態且つ上記投影対象物に上記画像が非投影の状態における上記投影対象物の撮像画像データを上記撮像部から取得し、その撮像画像データと上記基準画像データの比較に基づいて、上記物体の有無を判定する制御方法。

【0134】

（３４）
（３２）記載の制御方法であって、
上記物体判定ステップは、上記投影対象物に上記画像が非投影の状態における上記投影対象物の撮像画像データを上記撮像部から異なるタイミングにて取得し、第一タイミングにて取得した上記撮像画像データと、上記第一タイミングより前の第二タイミングにて取得した上記撮像画像データとの比較に基づいて、上記物体の有無を判定する制御方法。

【0135】

（３５）
（３２）記載の制御方法であって、
上記物体判定ステップは、上記投影対象物に上記画像が投影された状態における上記投影対象物の撮像画像データを上記撮像部から異なるタイミングにて取得し、第一タイミングにて取得した上記撮像画像データと、上記第一タイミングより前の第二タイミングにて取得した上記撮像画像データとの比較に基づいて、上記物体の有無を判定する制御方法。

【0136】

（３６）
（２３）から（２８）のいずれか１つに記載の制御方法であって、
上記距離判定ステップは、上記投影対象物に上記画像が非投影の状態における上記投影対象物の第二撮像画像データを上記撮像部から取得し、上記第一撮像画像データと上記第二撮像画像データに基づいて、上記第一撮像画像データの上記一部である第三撮像画像データを生成し、上記第三撮像画像データの鮮鋭度を上記第一鮮鋭度とし、
上記撮像部から出力される撮像画像データに基づいて、上記投影対象物と上記光学系の間に存在する物体の有無を判定する物体判定ステップを更に備え、
上記距離判定ステップは、上記物体判定ステップによって物体が有りと判定され且つその物体の特徴が特定条件を満たす場合に、上記距離の判定を行う制御方法。

【0137】

（３７）
（３６）記載の制御方法であって、
上記物体判定ステップは、上記投影対象物に上記画像が非投影の状態における上記投影対象物の撮像画像データを上記撮像部から取得して基準画像データに設定し、上記基準画像データが設定された状態且つ上記投影対象物に上記画像が非投影の状態における上記投影対象物の撮像画像データを上記撮像部から取得し、その撮像画像データと上記基準画像データの比較に基づいて、上記物体の有無を判定し、
上記距離判定ステップは、上記物体判定ステップによって物体が有りと判定された場合に、上記撮像画像データと上記基準画像データの比較によって求まるその物体の周波数を上記特徴とする制御方法。

【0138】

（３８）
（３６）記載の制御方法であって、
上記物体判定ステップは、上記投影対象物に上記画像が非投影の状態における上記投影対象物の撮像画像データを上記撮像部から異なるタイミングにて取得し、第一タイミングにて取得した上記撮像画像データと、上記第一タイミングより前の第二タイミングにて取得した上記撮像画像データとの比較に基づいて、上記物体の有無を判定し、
上記距離判定ステップは、上記物体判定ステップによって物体が有りと判定された場合に、２つの上記撮像画像データの上記比較によって求まるその物体の周波数を上記特徴とする制御方法。

【0139】

（３９）
（３２）から（３８）のいずれか１つに記載の制御方法であって、
上記光学系は、焦点位置可変の焦点位置調整光学系を含む制御方法。

【0140】

（４０）
（３９）記載の制御方法であって、
上記物体判定ステップによって物体が無しと判定されている場合に上記焦点位置調整光学系の焦点位置を制御する焦点制御ステップを更に備える制御方法。

【0141】

（４１）
（３９）記載の制御方法であって、
上記物体判定ステップによって物体が無しと判定されている場合に上記焦点位置調整光学系の焦点位置の調節を促す情報を発する情報発生ステップを更に備える制御方法。

【0142】

（４２）
（４１）記載の制御方法であって、
上記情報発生ステップは、上記情報を表示部に表示させる制御方法。

【0143】

（４３）
（２３）から（４２）のいずれか１つに記載の制御方法であって、
上記撮像部は、上記光学系の一部を通して上記投影対象物を撮像する制御方法。

【0144】

（４４）
入力画像データに基づいて表示部にて生成される画像を投影対象物に投影する光学系と、上記投影対象物を撮像する撮像部と、を有する投影システムの制御プログラムであって、
上記投影対象物に投影された上記画像の第一撮像画像データを上記撮像部から取得し、上記第一撮像画像データの一部又は全部の第一鮮鋭度と、上記入力画像データの第二鮮鋭度とに基づいて、上記投影対象物と上記光学系の間に存在する物体から上記光学系までの距離を判定する距離判定ステップをコンピュータに実行させるための制御プログラム。

【0145】

以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。

【0146】

なお、本出願は、２０１９年７月２６日出願の日本特許出願（特願２０１９－１３８１１８）に基づくものであり、その内容は本出願の中に参照として援用される。

【符号の説明】

【0147】

１ 本体部
２ 第一部材
２Ａ，３Ａ 中空部
２ａ，２ｂ，３ａ，３ｃ，１５ａ 開口
３ 第二部材
６ 光学ユニット
１１ 光源ユニット
１２ 光変調ユニット
１２ａ 光変調素子
１２ｂ 光変調素子駆動部
１４ システム制御部
１４Ａ 距離判定部
１４Ｂ 画像制御部
１４Ｃ 物体判定部
１４Ｄ 焦点制御部
１５ 筐体
２１ 第一光学系
２２ 反射部材
３１ 第二光学系
３２ 分岐部材
３３ 第三光学系
３４ レンズ
３７ 第四光学系
３８ 撮像素子
３９ 画像処理部
４１ 光源
４２ カラーホイール
４３ 照明光学系
１００ プロジェクタ
Ｇ１ 画像
ｇ１ 入力画像データ
ＩＰ 撮像画像データ
ＩＰ１ 第一撮像画像データ
ＩＰ２ 第二撮像画像データ
ＩＰ３ 第三撮像画像データ
Ｋ 光軸
ＳＣ スクリーン
ＯＢ 物体
ｏｂ 物体領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】