IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ セイコーエプソン株式会社の特許一覧

<>
  • 特許-投写画像の補正方法及び投写システム 図1
  • 特許-投写画像の補正方法及び投写システム 図2
  • 特許-投写画像の補正方法及び投写システム 図3
  • 特許-投写画像の補正方法及び投写システム 図4
  • 特許-投写画像の補正方法及び投写システム 図5
  • 特許-投写画像の補正方法及び投写システム 図6
  • 特許-投写画像の補正方法及び投写システム 図7
  • 特許-投写画像の補正方法及び投写システム 図8
  • 特許-投写画像の補正方法及び投写システム 図9
  • 特許-投写画像の補正方法及び投写システム 図10
  • 特許-投写画像の補正方法及び投写システム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-05
(45)【発行日】2024-08-14
(54)【発明の名称】投写画像の補正方法及び投写システム
(51)【国際特許分類】
   H04N 5/74 20060101AFI20240806BHJP
   G03B 21/14 20060101ALI20240806BHJP
   G09G 5/00 20060101ALI20240806BHJP
【FI】
H04N5/74 D
G03B21/14 Z
G09G5/00 X
G09G5/00 510B
G09G5/00 550C
【請求項の数】 11
(21)【出願番号】P 2022053880
(22)【出願日】2022-03-29
(65)【公開番号】P2023146614
(43)【公開日】2023-10-12
【審査請求日】2023-02-20
(73)【特許権者】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
(74)【代理人】
【識別番号】110001081
【氏名又は名称】弁理士法人クシブチ国際特許事務所
(72)【発明者】
【氏名】遠藤 雅明
【審査官】武田 悟
(56)【参考文献】
【文献】特開2014-74825(JP,A)
【文献】特開2014-229224(JP,A)
【文献】米国特許出願公開第2011/0267260(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/64
G09G 5/00 - 5/42
G03B 21/14
(57)【特許請求の範囲】
【請求項1】
複数の制御点を含むパターン画像が投写された投写面を撮像することと、
前記投写面を撮像した複数の撮像画像を含む撮像画像群に、指示体により前記投写面に照射される第3条件を満たす光を検出した場合、前記撮像画像群における前記第3条件を満たす光の位置に基づき、前記複数の制御点の少なくとも1つを第2の制御点に選択することと、
前記指示体により前記投写面に照射される第1条件を満たす光を検出した場合、前記撮像画像群における前記第1条件を満たす光の位置に基づき、前記第2の制御点の少なくとも1つを第1の制御点に選択することと、
前記撮像画像群に、前記指示体により前記投写面に照射される、前記第1条件とは異なる第2条件を満たす光を検出した場合、前記撮像画像群における前記第2条件を満たす光の位置の変化に基づき、前記第1の制御点の位置を変更することと、
前記第1の制御点の位置を変更した前記パターン画像を前記投写面に表示することと、
を含み、
前記第2の制御点は、前記第2条件を満たす光の位置の変化に基づき、位置の変更がされない制御点である、投写画像の補正方法。
【請求項2】
前記第1の制御点と、前記第2の制御点とは、異なる表示態様で表示される、請求項記載の投写画像の補正方法。
【請求項3】
前記第1条件を満たす光は、前記複数の制御点に含まれるいずれかの制御点から第1の範囲内に照射される第1色の光であり、
前記第2条件を満たす光は、前記第1の制御点から第2の範囲内に照射され、前記第1色とは異なる第2色の光である、請求項1又は2に記載の投写画像の補正方法。
【請求項4】
前記第1条件を満たす光は、前記複数の制御点に含まれるいずれかの制御点から第1の範囲内に照射され、前記指示体が第1発光強度で照射した光であり、
前記第2条件を満たす光は、前記第1の制御点から第2の範囲内に照射され、前記指示体が前記第1発光強度とは異なる第2発光強度で照射した光である、請求項1からのいずれか一項に記載の投写画像の補正方法。
【請求項5】
前記第1条件を満たす光は、前記複数の制御点に含まれるいずれかの制御点から第1の範囲内に照射され、第1期間以内に検出される位置の変化量がしきい値よりも小さい光であり、
前記第2条件を満たす光は、前記第1の制御点から第2の範囲内に照射され、前記第1期間以内に検出される位置の変化量が前記しきい値よりも小さく、前記第1期間の経過後に、位置の移動が検出される光である、請求項記載の投写画像の補正方法。
【請求項6】
前記第3条件を満たす光は、前記複数の制御点に含まれるいずれかの制御点から第3の範囲内に照射され、第2期間以内に検出される光の位置の変化量がしきい値よりも小さい光である、請求項記載の投写画像の補正方法。
【請求項7】
複数の制御点を含むパターン画像が投写された投写面を撮像することと、
前記投写面を撮像した複数の撮像画像を含む撮像画像群に、指示体により前記投写面に照射される第1条件を満たす光を検出した場合、前記撮像画像群における前記第1条件を満たす光の位置に基づいて、前記複数の制御点に含まれる少なくとも1つの制御点を第1の制御点に選択することと、
前記撮像画像群に、前記指示体により前記投写面に照射される、前記第1条件とは異なる第2条件を満たす光を検出した場合、前記撮像画像群における前記第2条件を満たす光の位置の変化に基づき、前記第1の制御点の位置を変更することと、
前記第1の制御点の位置を変更した前記パターン画像を前記投写面に表示することと、
を含み、
前記第1条件及び前記第2条件とは異なる第4条件を満たす光を検出した場合、前記撮像画像群において検出される前記第4条件を満たす光の位置の変化に基づき、前記複数の制御点の位置を変更する、投写画像の補正方法。
【請求項8】
複数の制御点を含むパターン画像を投写面に表示するプロジェクターと、
前記投写面を撮像する撮像装置と、
ユーザーの操作に対応した条件の光を前記投写面に照射する指示体と、
1以上のプロセッサーと、を備え、
前記1以上のプロセッサーは、
前記撮像装置が撮像した前記投写面の複数の撮像画像を含む撮像画像群に、指示体により前記投写面に照射される第3条件を満たす光を検出した場合、前記撮像画像群における前記第3条件を満たす光の位置に基づき、前記複数の制御点の少なくとも1つを第2の制御点に選択することと、
前記指示体により前記投写面に照射される第1条件を満たす光を検出した場合、前記撮像画像群における前記第1条件を満たす光の位置に基づき、前記第2の制御点の少なくとも1つを第1の制御点に選択することと、
前記撮像画像群に、前記指示体により前記投写面に照射される、前記第1条件とは異なる第2条件を満たす光を検出した場合、前記撮像画像群における前記第2条件を満たす光の位置の変化に基づき、前記第1の制御点の位置を変更することと、
前記第1の制御点の位置を変更した前記パターン画像を前記投写面に表示することと、
を実行し、
前記第2の制御点は、前記第2条件を満たす光の位置の変化に基づき、位置の変更がされない制御点である、
投写システム。
【請求項9】
前記指示体は、光源を備え、
前記光源は、一定の発光周波数で発光する、請求項記載の投写システム。
【請求項10】
前記指示体は、前記発光周波数を変更する操作を受け付ける操作部を備える、請求項記載の投写システム。
【請求項11】
前記指示体は、光源と、操作部とを備え、
前記操作部が操作を受け付けている間、前記光源は前記一定の発光周波数で発光する、請求項記載の投写システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、投写画像の補正方法及び投写システムに関する。
【背景技術】
【0002】
従来、ポインティング装置を用いて投写画像の形状を補正する方法が知られている。
例えば、特許文献1は、レーザーポインターを用いて投写画像の4隅の位置を補正するプロジェクターを開示する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2012-129594号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、ユーザーの手振れ等の影響により誤った位置が補正位置として選択されると、ユーザーの意図した補正が行われない場合があった。
【課題を解決するための手段】
【0005】
本開示は、複数の制御点を含むパターン画像が投写された投写面を撮像することと、前記投写面を撮像した複数の撮像画像を含む撮像画像群に、指示体により前記投写面に照射される第1条件を満たす光を検出した場合、前記撮像画像群における前記第1条件を満たす光の位置に基づいて、前記複数の制御点に含まれる少なくとも1つの制御点を第1の制御点に選択することと、前記撮像画像群に、前記指示体により前記投写面に照射される、前記第1条件とは異なる第2条件を満たす光を検出した場合、前記撮像画像群における前記第2条件を満たす光の位置の変化に基づき、前記第1の制御点の位置を変更することと、前記第1の制御点の位置を変更した前記パターン画像を前記投写面に表示することと、を含む、投写画像の補正方法である。
【0006】
本開示は、複数の制御点を含むパターン画像を投写面に表示するプロジェクターと、前記投写面を撮像する撮像装置と、ユーザーの操作に対応した条件の光を前記投写面に照射する指示体と、1以上のプロセッサーと、を備え、前記1以上のプロセッサーは、前記撮像装置が撮像した前記投写面の複数の撮像画像を含む撮像画像群に、指示体により前記投写面に照射される第1条件を満たす光を検出した場合、前記撮像画像群における前記第1条件を満たす光の位置に基づいて、前記複数の制御点に含まれる少なくとも1つの制御点を第1の制御点に選択することと、前記撮像画像群に、前記指示体により前記投写面に照射される第2条件を満たす光を検出した場合、前記撮像画像群における前記第2条件を満たす光の位置の変化に基づき、前記第1の制御点の位置を変更することと、前記第1の制御点の位置を変更した前記パターン画像を前記投写面に表示させることと、を実行する、投写システムである。
【図面の簡単な説明】
【0007】
図1】投写システムのシステム構成を示す図。
図2】プロジェクターの構成を示すブロック図。
図3】カメラの構成を示すブロック図。
図4】ポインティング装置の構成を示すブロック図。
図5】投写面に表示された第2パターン画像の一例を示す図。
図6】投写面に表示された第2パターン画像の一例を示す図。
図7】投写面に表示された第2パターン画像の一例を示す図。
図8】カメラの動作を示すフローチャート。
図9】カメラの動作を示すフローチャート。
図10】プロジェクターの動作を示すフローチャート。
図11】プロジェクターの動作を示すフローチャート。
【発明を実施するための形態】
【0008】
1.投写システム1の構成
図1は、投写システム1のシステム構成を示す図である。
投写システム1は、プロジェクター100と、カメラ200と、ポインティング装置300と、を備える。カメラ200は撮像装置に相当し、ポインティング装置300は指示体に相当する。
【0009】
プロジェクター100は、パーソナルコンピューター等の画像供給装置から供給される画像データに基づいて画像光を生成する。プロジェクター100は、生成した画像光を投写面10に拡大投写させる。これにより、投写面10には画像データに基づく画像である投射画像が表示される。
【0010】
カメラ200は、投写面10を含む範囲を撮像して撮像画像を生成する。カメラ200は、生成した撮像画像を画像解析して、投写面10上でのレーザー光の照射位置であるポイント位置Pや、プロジェクター100が表示する第2パターン画像30に含まれる制御点Sを検出する。第2パターン画像30や制御点Sについては後述する。
【0011】
ポインティング装置300は、レーザー光を出力する装置である。ユーザーは、ポインティング装置300を手に持ち、投写面10に表示された投写画像上にレーザー光を照射することで、投写画像上のポイント位置Pを指示する。
【0012】
2.プロジェクター100の構成
図2は、プロジェクター100の構成を示すブロック図である。
図2を参照しながらプロジェクター100の構成について説明する。
プロジェクター100は、第1無線インターフェイス110、リモコン受光部120、画像処理部130、フレームメモリー135、画像投写部140及び第1制御部150を備える。以下、インターフェイスをI/Fと略記する。
【0013】
第1無線I/F110は、例えば、BluetoothやWi-Fi等の規格に対応したインターフェイス回路を備える無線通信デバイスである。Bluetooth及びWi-Fiは、登録商標である。第1無線I/F110は、カメラ200に無線接続し、カメラ200との間で相互にデータ通信を行う。また、第1無線I/F110に代えて、プロジェクター100が、例えば、USB(Universal Serial Bus)等の規格に対応したインターフェイス回路を備える有線I/Fを備えてもよい。
【0014】
リモコン受光部120は、リモコン5から送信される赤外線信号を受信し、受信した赤外線信号が示す操作内容に対応した操作信号を第1制御部150に出力する。
リモコン5は、ユーザーインターフェイスに対する操作を行うための操作子を備える。リモコン5は、ユーザーによって操作子が操作された場合に、操作された操作子に対応する赤外線信号を送信する。
【0015】
画像処理部130には、フレームメモリー135が接続される。画像処理部130は、第1制御部150や第1無線I/F110から入力される画像データをフレームメモリー135に展開する。フレームメモリー135は、例えば、SDRAM(Synchronous Dynamic Random Access Memory)により構成される。
【0016】
画像処理部130は、フレームメモリー135に展開した画像データに対して、例えば、解像度変換処理又はリサイズ処理、歪曲収差の補正、形状補正処理、デジタルズーム処理、画像の色合いや輝度の調整等の画像処理を行う。画像処理部130は、第1制御部150により指定された画像処理を実行し、必要に応じて、第1制御部150から入力されるパラメーターを使用して処理を行う。また、画像処理部130は、上記のうち複数の画像処理を組み合わせて実行することも勿論可能である。画像処理部130は、処理の終了した画像データをフレームメモリー135から読み出し、読み出した画像データを画像投写部140に出力する。
【0017】
画像処理部130及びフレームメモリー135は、例えば、集積回路により構成される。集積回路には、LSI(Large Scale Integrated Circuit)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field-Programmable Gate Array)、SoC(System-on-a-chip)等が含まれる。また、集積回路の構成の一部にアナログ回路が含まれていてもよく、第1制御部150と集積回路とが組み合わされた構成であってもよい。
【0018】
画像投写部140は、光源141、光変調装置143及び光学ユニット145を備える。
【0019】
光源141は、超高圧水銀ランプやメタルハライドランプ等の放電型の光源ランプ、又は発光ダイオードや半導体レーザー等の固体光源を備える。光源141から射出された光は、光変調装置143に入射される。
【0020】
光変調装置143は、光源141から射出された光を変調する光変調素子として、一対の透明基板間に液晶が封入された透過型の液晶パネル143Aを備える。液晶パネル143Aは、マトリクス状に配列された複数の画素からなるパネル領域を備える。光変調装置143は、入力された画像データに対応した駆動電圧を、パネル領域の各画素に印加して、各画素の光透過率を画像データに対応した透過率に変更する。光源141から射出された光が液晶パネル143Aを透過することで光が変調され、画像データに対応した画像光が生成される。
【0021】
光変調装置143が備える光変調素子は、透過型の液晶パネルに限定されず、例えば、反射型の液晶パネルでもよいし、DMD(Digital Micromirror Device)でもよい。
【0022】
光学ユニット145は、不図示の投写レンズ等を備え、光変調装置143により変調された画像光を投写面10に拡大投写する。これにより投写面10には、画像光に対応した画像である投写画像が表示される。
【0023】
第1制御部150は、第1記憶部160と、第1プロセッサー170とを備えるコンピューター装置である。
【0024】
第1記憶部160は、ROM(Read Only Memory)等の不揮発性のメモリーと、RAM(Random Access Memory)等の揮発性のメモリーとを備える。ROMは、プロジェクター100の動作の制御に使用する制御プログラム161やキャリブレーションデータ163、各種設定情報を記憶する。RAMは、各種データ等の一時記憶に用いられる。
【0025】
キャリブレーションデータ163は、液晶パネル143Aに設定された座標と、カメラ200が生成する撮像画像に設定された座標とを対応づけるデータである。すなわち、撮像画像に設定された座標を、キャリブレーションデータ163を用いて液晶パネル143Aに設定された座標に変換することができる。以下、液晶パネル143Aに設定された座標系といい、撮像画像に設定された座標をカメラ座標という。
【0026】
第1プロセッサー170は、1以上のCPU(Central Processing Unit)や、MPU(Micro-Processing Unit)等を含む演算処理装置である。第1プロセッサー170は、制御プログラム161を実行してプロジェクター100の各部の動作を制御する。
【0027】
3.カメラの構成
図3は、カメラ200の構成を示すブロック図である。
カメラ200は、撮像部210、第2無線I/F220、タッチパネル230及び第2制御部250を備える。
【0028】
撮像部210は、レンズ群211、駆動回路212、撮像素子213及び信号処理回路214を備える。
【0029】
レンズ群211は、撮像レンズ、フォーカスレンズ等の各種のレンズと、絞りとを含む。
【0030】
駆動回路212は、第2制御部250の指示に従って、レンズ群211を制御する。具体的には、駆動回路212は、撮像レンズ、フォーカスレンズ及び絞りの位置を制御したり、絞りの開度を制御したりする。
【0031】
撮像素子213は、CMOS(Complementary Metal Oxide Semiconductor)センサーや、CCD(Charge Coupled Device)センサーなどのイメージセンサーを含む。撮像素子213は、複数の画素を2次元に配置した構成を備える。撮像素子213に入射された被写体光は、画素毎に光電変換され、赤、緑及び青の3原色の画像信号に変換される。変換された画像信号は、信号処理回路214に出力される。
【0032】
信号処理回路214は、入力された画像信号に対してゲイン調整、A/D変換、ノイズ除去、色補正、ガンマ補正等の信号処理を行う。信号処理回路214は、画像信号を信号処理して生成した撮像画像を第2制御部250及びタッチパネル230に出力する。
【0033】
第2無線I/F220は、例えば、BluetoothやWi-Fi等の規格に対応したインターフェイス回路を備える無線通信デバイスである。第2無線I/F220は、プロジェクター100に無線接続し、カメラ200との間で相互にデータ通信を行う。また、第2無線I/F220に代えて、カメラ200が、例えば、USB等の規格に対応したインターフェイス回路を備える有線I/Fを備えてもよい。
【0034】
タッチパネル230は、液晶パネルや有機EL(Electro Luminescence)等の表示パネルと、タッチセンサーとを含む。タッチセンサーは、タッチ操作を検出し、検出したタッチ操作の操作位置を含む操作信号を第2制御部250に出力する。タッチセンサーは、ユーザーの操作を受け付ける操作部として機能する。
【0035】
第2制御部250は、第2記憶部260と、第2プロセッサー270とを備えるコンピューター装置である。
【0036】
第2記憶部260は、ROM等の不揮発性のメモリーと、RAM等の揮発性のメモリーとを備える。ROMは、カメラ200の動作の制御に使用する制御プログラム265や各種設定情報を記憶する。RAMは、各種データ等の一時記憶に用いられる。
【0037】
第2プロセッサー270は、1以上のCPUやMPU等を含む演算処理装置である。第2プロセッサー270は、制御プログラム265を実行してカメラ200の各部の動作を制御する。第2プロセッサー270は、1以上のプロセッサーに相当する。
【0038】
4.ポインティング装置の構成
図4は、ポインティング装置300の構成を示すブロック図である。
ポインティング装置300は、第1スイッチ301、第2スイッチ303、入力I/F回路310、半導体レーザー350、周波数変調部330及び第3制御部370を備える。
【0039】
第1スイッチ301及び第2スイッチ303は、ユーザーの操作を受けるハードウェアスイッチの操作部である。第1スイッチ301は、ポインティング装置300の電源スイッチである。第2スイッチ303は、第2スイッチ303が押下されている間、ポインティング装置300が出力するレーザー光を、一定の周波数でオンとオフとを繰り返す変調光に変更するスイッチである。ポインティング装置300は、第2スイッチ303が押下されていない場合、連続光のレーザー光を出力し、第2スイッチ303が押下されると、一定周波数の変調光を出力する。
【0040】
入力I/F回路310は、第1スイッチ301又は第2スイッチ303が押下されると、押下された第1スイッチ301又は第2スイッチ303に対応した操作信号を第3制御部370に出力する。
【0041】
半導体レーザー350は、光源であり、不図示のバッテリーから供給される電流を半導体レーザー350に供給することでレーザー発振が生じ、レーザー光を出力する。
【0042】
周波数変調部330は、半導体レーザー350を制御することで、半導体レーザー350から射出されるレーザー光を、一定周波数の変調光に変調する制御回路である。より詳細には、周波数変調部330は、半導体レーザー350に印加する電流値を制御することによって、半導体レーザー350の出力を制御する。印加する電流値の制御は、例えば、半導体レーザー350をPWM(Pulse Width Modulation)制御によって制御する場合、PWM制御のduty比を切り替えれば良い。周波数変調部330により制御された半導体レーザー350が出力するレーザー光がポインティング装置300の外部に出力される。
【0043】
第3制御部370は、メモリーやプロセッサーを備えるコンピューターである。
第3制御部370は、第1スイッチ301が押下され、第1スイッチ301の操作に対応した操作信号が入力されると、半導体レーザー350に電力を供給してレーザー光の出力を開始させる。ポインティング装置300は、連続光のレーザー光を出力する。
また、第3制御部370は、第2スイッチ303が押下され、第2スイッチ303の操作に対応した操作信号が入力されている間、周波数変調部330を制御して、半導体レーザー350から射出されたレーザー光を、一定周波数の変調光に変調させる。ポインティング装置300は、第2スイッチ303がオンされている間、一定周波数に変調された変調光を出力する。
【0044】
5.プロジェクター及びカメラの動作説明
プロジェクター100の第1制御部150は、ポイント補正を指示する操作信号がリモコン受光部120から入力されると、キャリブレーションデータ163の生成を開始する。第1制御部150は、画像処理部130や画像投写部140を制御して、不図示の第1パターン画像を投写面10に表示させる。ポイント補正とは、投写面10に表示される画像の部分的な歪みを補正する方法である。第1パターン画像は矩形の画像であり、複数のマークが含まれる。複数のマークは、第1パターン画像の予め設定された複数の位置にそれぞれ配置される。第1パターン画像は、例えば、複数の格子点を含むチェッカーパターン画像を用いることができる。また、第1パターン画像として、グレイコードパターン画像や位相シフトパターン画像等の、構造化光パターン画像を用いてもよい。
【0045】
第1制御部150は、第1パターン画像を投写面10に表示させると、カメラ200に撮像を指示する。カメラ200は、第1パターン画像が表示された投写面10を撮像して撮像画像を生成し、生成した撮像画像をプロジェクター100に送信する。
【0046】
第1制御部150は、カメラ200から撮像画像を受信すると、受信した撮像画像に含まれる複数のマークをそれぞれ検出する。
第1制御部150は、投写面10に表示させるために液晶パネル143Aに描画した第1パターン画像における各マークの位置と、撮像画像におけるマークの位置とを対応づけることでキャリブレーションデータ163を生成する。第1制御部150は、生成したキャリブレーションデータ163を第1記憶部160に記憶させる。
【0047】
次に、第1制御部150は、画像処理部130や画像投写部140を制御して、第2パターン画像30を投写面10に表示させる。
【0048】
図5は、投写面10に表示された第2パターン画像30の一例を示す図である。
第2パターン画像30は、矩形の画像であり、複数の制御点Sをマトリクス状に配置した画像である。第2パターン画像30には、図面視で、第2パターン画像30の縦辺に平行な複数の線分と、第2パターン画像30の横辺に平行な複数の線分とがそれぞれ等間隔で表示される。ここで、図面視における縦辺とは、図示したY軸に平行する辺であり、横軸とは、図示したX軸に平行する辺である。また図面視における右方向とは、原点OからX軸方向に延びる方向である。図面視において、原点Oは左上に示される。第2パターン画像30の縦辺に平行な線分と、第2パターン画像30の横辺に平行な線分との交点には制御点Sが設定される。制御点Sは、ポイント補正により投写画像の表示位置を調整する調整点である。図5に示す第2パターン画像30は、制御点Sの位置に第1マークM1を表示した例を示す。第1マークM1は、制御点Sであることを示す小さい黒丸の図形である。
【0049】
制御点Sは、ポインティング装置300の選択操作により初期状態、準備状態及び選択状態の3つの状態に設定可能である。準備状態の制御点Sは、第2の制御点に相当する。選択状態の制御点Sは、第1の制御点に相当する。
初期状態の制御点Sは、ポインティング装置300によって選択されていない未選択の状態の制御点Sである。
準備状態の制御点Sは、ポインティング装置300によって1回選択された状態の制御点であり、選択状態の前状態とも言える。準備状態の制御点Sがポインティング装置300によって再度、すなわち2回選択されることで、選択状態の制御点Sとなる。選択状態の前に準備状態を設けることで、制御点Sの状態が初期状態及び選択状態の2つの状態である場合と比較して、ポインティング装置300を使用した操作の誤操作を低減することができる。
【0050】
選択状態の制御点Sは、ポインティング装置300の操作によって第2パターン画像30での表示位置を変更することが可能な制御点である。初期状態及び準備状態の制御点Sは、ポインティング装置300を操作しても第2パターン画像30での表示位置を変更することができない。
【0051】
また、ポインティング装置300の解除操作により、制御点Sの状態を準備状態や初期状態に戻すことができる。
ポインティング装置300の解除操作により選択状態の制御点Sを選択することで、この制御点Sの状態が、準備状態に変更される。また、ポインティング装置300の解除操作により準備状態の制御点Sを選択することで、この制御点Sの状態が、初期状態に変更される。
【0052】
第1制御部150は、第2パターン画像30を投写面10に表示させると、処理の開始をカメラ200に指示する。
カメラ200の第2制御部250は、プロジェクター100から処理の開始指示を受信すると撮像部210に撮像を開始させる。撮像部210は、予め設定された間隔で撮像し、撮像画像を生成する。第2制御部250は、撮像部210が生成した撮像画像を第2記憶部260に一時的に記憶させる。
【0053】
第2制御部250は、第2記憶部260から撮像画像を取り出し、取り出した撮像画像を画像解析してユーザーがポインティング装置300を用いて行う操作を検出する。ポインティング装置300による操作には、第1選択操作、第2選択操作、解除操作、第1移動操作、第2移動操作が含まれる。
ここで、第2制御部250は、撮像画像を順次取り出し、複数枚の撮像画像に含まれるポイント位置Pを検出する。検出された各撮像画像におけるポイント位置Pの変位量に基づき、第1選択操作、第2選択操作、解除操作、第1移動操作、第2移動操作のうち、いずれかの操作が行われたかを検出する。複数枚の撮像画像は、撮像画像群に相当する。
【0054】
第1選択操作及び第2選択操作は、制御点Sを選択する操作である。第1選択操作は、初期状態の制御点Sを、準備状態に変更する操作であり、第2選択操作は、準備状態の制御点Sを、選択状態に変更する操作である。
【0055】
図6は、投写面10に表示された第2パターン画像30を示す図である。
準備状態の制御点Sには、第2マークM2が表示され、選択状態の制御点Sには、第3マークM3が表示される。すなわち、準備状態の制御点Sと、選択状態の制御点Sとは、異なる表示態様で表示される。本実施形態では、第2マークM2として三角形の図形を表示し、第3マークM3として矩形の図形を表示する例を示すが、第2マークM2及び第3マークM3の形状は任意である。第1マークM1、第2マークM2及び第3マークM3の形状は、初期状態、準備状態及び選択状態の制御点Sをそれぞれ区別できるものであればよい。
【0056】
第1選択操作は、初期状態の制御点Sの位置を中心として、この制御点Sの位置から予め設定された第1の設定範囲内にポイント位置Pを照射し、照射したポイント位置Pを、予め設定された設定時間T1だけ第1の設定範囲から外に移動しないようにする操作である。第1の設定範囲は、隣接する他の制御点Sの第1の設定範囲と重ならないように設定される。第1の設定範囲は、例えば、制御点Sを中心とする円形の範囲に設定することができる。また、第1の設定範囲は、第2パターン画像30の解像度に応じて変更してもよい。第1の設定範囲は、第3の範囲の一例である。
【0057】
第2制御部250は、ポイント位置Pが制御点Sの第1の設定範囲内から設定時間T1、移動しないことを検出し、第1の設定範囲内の制御点Sが初期状態であると判定すると、第1選択操作を検出したと判定する。設定時間T1は、例えば、0.2秒に設定することができるが、設定時間T1の変更も可能である。設定時間T1は第2期間に相当する。制御点Sの第1の設定範囲内から設定時間T1、移動しないことを検出したポイント位置Pは、第3条件を満たす光に相当する。
また、第2制御部250は、第2記憶部260を参照して、第1の設定範囲内の制御点Sが初期状態であるか否かを判定する。第2制御部250は、第1の設定範囲内の制御点Sに対応する座標の情報として、準備状態又は選択状態が記憶されていない場合、第1の設定範囲内の制御点Sは、初期状態であると判定する。
【0058】
第2制御部250は、第1選択操作を検出すると、制御点Sの座標と、この制御点Sを、初期状態から準備状態に変更する要求とを含む第1変更要求をプロジェクター100に送信する。制御点Sの座標は、カメラ座標系の座標である。また、第2制御部250は、第1変更要求により状態を変更した制御点Sの座標に、状態を示す情報である準備状態を対応づけて第2記憶部260に記憶させる。
【0059】
第2選択操作は、準備状態の制御点Sの位置を中心として、この制御点Sの位置から予め設定された第2の設定範囲内にポイント位置Pを照射し、照射したポイント位置Pが、予め設定された設定時間T2だけ第2の設定範囲から外に移動しないようにする操作である。この第2の設定範囲も、隣接する他の制御点Sの第2の設定範囲と重ならないように設定される。第2の設定範囲は、例えば、制御点Sを中心とする円形の範囲に設定することができる。第2の設定範囲は、第1の設定範囲と同じ範囲にしてもよいし、それぞれが異なる範囲としてもよい。第2の設定範囲は、第1の範囲の一例である。
【0060】
第2制御部250は、ポイント位置Pが制御点Sの第2の設定範囲内から設定時間T2、移動しないことを検出し、第2の設定範囲内にある制御点Sが準備状態であると判定すると、第2選択操作を検出したと判定する。設定時間T2は、設定時間T1よりも長い時間に設定されている。設定時間T2は、例えば、0.5秒に設定することができるが、設定時間Tの変更も可能である。設定時間T2は、第1期間に相当する。制御点Sの第2の設定範囲内から設定時間T2、移動しないことが検出されたポイント位置Pは、第1条件を満たす光に相当する。
また、第2制御部250は、第2記憶部260を参照して、第2の設定範囲内の制御点Sが準備状態であるか否かを判定する。第2制御部250は、該当する座標に対応づけられた制御点Sの状態を示す情報として準備状態が記憶されている場合、第2の設定範囲内の制御点Sは、準備状態であると判定する。
【0061】
第2制御部250は、第2選択操作を検出した制御点Sの座標と、この制御点Sを、準備状態から選択状態に変更する要求とを含む第2変更要求をプロジェクター100に送信する。制御点Sの座標は、カメラ座標系の座標である。また、第2制御部250は、第2変更要求により状態を変更した制御点Sの座標に、状態を示す情報である選択状態を対応づけて第2記憶部260に記憶させる。
【0062】
解除操作は、準備状態又は選択状態の制御点Sの位置を中心として、この制御点Sの位置から予め設定された第3の設定範囲内にポイント位置Pを照射し、照射したポイント位置Pが、予め設定された設定時間T1以上かつ設定時間T2未満の時間だけ第3の設定範囲から外に移動しないようにする操作である。この第3の設定範囲も、隣接する他の制御点Sの第3の設定範囲と重ならないように設定される。第3の設定範囲は、例えば、制御点Sを中心とする円形の範囲に設定することができる。第3の設定範囲は、第1の設定範囲又は第2の設定範囲のいずれかと同じ範囲にしてもよいし、それぞれが異なる範囲としてもよい。
【0063】
ここで、解除操作は、第1解除操作及び第2解除操作を含む。
第2制御部250は、ポイント位置が制御点Sの第3の設定範囲内から設定時間T1以上かつ設定時間T2未満の時間、移動しないことを検出し、第3の設定範囲内にある制御点Sが準備状態であると判定すると、第1解除操作を検出したと判定する。
第2制御部250は、制御点Sの状態が準備状態である場合、第1解除操作を検出した制御点Sの座標と、この制御点Sを、準備状態から初期状態に変更する要求とを含む第3変更要求をプロジェクター100に送信する。制御点Sの座標は、カメラ座標系の座標である。
また、第2制御部250は、第3変更要求により状態を変更した制御点Sの座標と、この座標に対応づけて記憶した状態を示す情報とを第2記憶部260から削除する。
【0064】
また、第2制御部250は、ポイント位置が制御点Sの第3の設定範囲内から設定時間T1以上かつ設定時間T2未満の時間、移動しないことを検出し、第3の設定範囲内にある制御点Sが選択状態であると判定すると、第2解除操作を検出したと判定する。
第2制御部250は、制御点Sの状態が選択状態である場合、第2解除操作を検出した制御点Sの座標と、この制御点Sを、選択状態から準備状態に変更する要求とを含む第4変更要求をプロジェクター100に送信する。制御点Sの座標は、カメラ座標系の座標である。また、第2制御部250は、第4変更要求により状態を変更した制御点Sの座標に対応づけて第2記憶部260に記憶した状態を示す情報を、選択状態から準備状態に変更する。
【0065】
第1移動操作及び第2移動操作は、制御点Sの位置を移動させる操作である。
第1移動操作は、選択状態に設定されたすべての制御点Sの表示位置を、ポインティング装置300の操作により移動させる操作である。第2移動操作は、第2パターン画像30に含まれる、初期状態、準備状態及び選択状態のすべての制御点Sを、ポインティング装置300の操作により移動させる操作である。
【0066】
図7は、投写面10に表示された第2パターン画像30を示す図である。
第1移動操作は、いずれかの選択状態の制御点Sの位置を中心として、この制御点Sの位置から予め設定された第4の設定範囲内にポイント位置Pを照射し、照射したポイント位置Pが、予め設定された設定時間T2だけ第4の設定範囲から外に移動しないようにする。その後、第1移動操作は、ポイント位置Pを、制御点Sを移動させたい位置まで移動させる操作である。第4の設定範囲は、第1の設定範囲、第2の設定範囲、又は、第3の設定範囲のいずれかと同じ範囲にしてもよいし、それぞれが異なる範囲としてもよい。第4の設定範囲は、第2の範囲の一例である。
【0067】
第2制御部250は、ポイント位置Pが制御点Sの第4の設定範囲内から設定時間T2、移動しないことを検出し、第4の設定範囲内にある制御点Sが選択状態であると判定し、その後、ポイント位置Pの移動が検出された場合、第1移動操作が検出されたと判定する。
制御点Sの第4の設定範囲内から設定時間T2、移動しないことを検出し、その後、移動が検出されるポイント位置Pが、第2条件を満たす光に相当する。
第2制御部250は、第2記憶部260を参照して、第4の設定範囲内の制御点Sの状態が選択状態であるか否かを判定する。第2制御部250は、第4の設定範囲内の制御点Sの座標に対応づけられた状態を示す情報として選択状態が記憶されている場合、第4の設定範囲内の制御点Sは、選択状態であると判定する。
【0068】
また、第2制御部250は、第1移動操作を検出すると、撮像画像の画像解析によりポイント位置Pの移動前の座標と、移動後の座標とを算出する。第2制御部250は、ポイント位置Pの移動前の座標と、移動後の座標とに基づき、ポイント位置Pの移動方向及び移動量を算出する。
【0069】
次に、第2制御部250は、第2記憶部260を参照して、選択状態に設定されたすべての制御点Sの座標を取得する。第2制御部250は、選択状態に設定されたすべての制御点Sの座標と、移動方向及び移動量とを含む第1移動要求をプロジェクター100に送信する。制御点Sの座標は、カメラ座標系の座標である。
【0070】
図7に示す第3マークM3aが表示された制御点Sと、第3マークM3bが表示された制御点Sとが選択状態の制御点Sとして設定されていると仮定する。また、第3マークM3aの第4の設定範囲内でポイント位置Pが検出され、検出されたポイント位置Pが、図面視で右方向にtだけ移動したと仮定する。
第2制御部250は、第4の設定範囲内にポイント位置Pが含まれる第3マークM3aの制御点Sだけではなく、選択状態に設定された第3マークM3bの制御点Sも右方向にtだけ移動させる第1移動要求をプロジェクター100に送信する。
【0071】
次に、第2制御部250は、算出した移動方向及び移動量に基づき、選択状態のすべての制御点Sの移動後の座標を算出する。第2制御部250は、制御点Sの移動後の座標に、この座標の制御点Sの状態を示す選択状態を対応づけて第2記憶部260に記憶させる。制御点Sの座標は、カメラ座標系の座標である。
【0072】
第2移動操作は、ポインティング装置300から射出されるレーザー光を、一定周波数の変調光に変更して行う操作である。ポインティング装置300は、第2スイッチ303が押下されることで、出力するレーザー光を連続光から一定周波数の変調光に変更する。
第2制御部250は、撮像画像に基づいて一定周波数の変調光を検出すると、第2移動操作の検出を開始する。第2移動操作の検出を開始した後に、第2制御部250は、検出したポイント位置Pを追跡して、ポイント位置Pの移動後の座標を検出する。第2制御部250は、ポイント位置Pの移動前の座標と、移動後の座標とに基づき、ポイント位置Pの移動方向及び移動量を算出する。
【0073】
また、第2移動操作は、第2パターン画像30の制御点Sに、選択状態に設定された制御点Sがない状態で行うようにポインティング装置300が設定されてもよい。
この場合、第2制御部250は、ポインティング装置300が照射するポイント位置Pが設定時間T2、移動しないことを検出し、選択状態に設定された制御点Sが存在しないと判定した場合、第2移動操作の検出を開始する。第2移動操作の検出を開始した後に、検出したポイント位置Pを追跡して、ポイント位置Pの移動後の座標を検出する。第2制御部250は、ポイント位置Pの移動前の座標と、移動後の座標とに基づき、ポイント位置Pの移動方向及び移動量を算出する。
【0074】
第2制御部250は、算出した移動方向及び移動量と、第2パターン画像30に含まれる、初期状態、準備状態及び選択状態のすべての制御点Sの移動要求と、を含む第2移動要求を生成し、生成した第2移動要求をプロジェクター100に送信する。
また、第2制御部250は、算出した移動方向及び移動量に基づき、初期状態、準備状態及び選択状態のすべての制御点Sの移動後の座標を算出する。第2制御部250は、制御点Sの移動後の座標に、この座標の制御点Sの状態を示す初期状態、準備状態又は選択状態を対応づけて第2記憶部260に記憶させる。制御点Sの座標は、カメラ座標系の座標である。
【0075】
図8及び図9は、カメラ200の動作を示すフローチャートである。図8及び図9に示すフローチャートを参照しながらカメラ200の動作を説明する。
まず、第2制御部250は、プロジェクター100から第1パターン画像の表示通知を受信したか否かを判定する(ステップS1)。第2制御部250は、第1パターン画像の表示通知を受信していない場合(ステップS1/NO)、表示通知を受信するまで待機する。
【0076】
第2制御部250は、第1パターン画像の表示通知を受信すると(ステップS1/YES)、投写面10を撮像して撮像画像を生成し(ステップS2)、生成した撮像画像をプロジェクター100に送信する(ステップS3)。
【0077】
次に、第2制御部250は、第2パターン画像30の表示通知をプロジェクター100から受信したか否かを判定する(ステップS4)。第2制御部250は、第2パターン画像30の表示通知を受信していない場合(ステップS4/NO)、表示通知を受信するまで待機する。
【0078】
第2制御部250は、第2パターン画像30の表示通知を受信した場合(ステップS4/YES)、撮像を開始する(ステップS5)。第2制御部250は、予め設定された設定間隔で、撮像部210に撮像を実行させ、投写面10を撮像した撮像画像を生成させる。第2制御部250は、生成された撮像画像を第2記憶部260に記憶させる。予め設定された設定間隔は、例えば、16.7ミリ秒である。
【0079】
次に、第2制御部250は、撮像画像の撮像順に、第2記憶部260から撮像画像を取り出し、取り出した撮像画像を画像解析してポイント位置Pを検出する(ステップS6)。第2制御部250は、撮像画像からポイント位置Pが検出できない場合(ステップS6/NO)、撮像順が次の撮像画像を第2記憶部260から取り出し、取り出した撮像画像を画像解析する。
【0080】
第2制御部250は、撮像画像からポイント位置Pを検出すると(ステップS6/YES)、ポイント位置Pを検出した撮像画像に後続する撮像画像を画像解析して、操作を検出したか否かを判定する。第2制御部250が検出する操作には、第1選択操作、第2選択操作、第1解除操作、第2解除操作、第1移動操作及び第2移動操作が含まれる。
【0081】
第2制御部250は、第1選択操作を検出した場合(ステップS7/YES)、第1変更要求を生成する(ステップS8)。
第2制御部250は、検出したポイント位置Pが制御点Sの第1の設定範囲内から設定時間T1、移動していないことを検出し、この第1の設定範囲内に位置する制御点Sの状態が初期状態である場合、第1選択操作を検出したと判定する。第2制御部250は、制御点Sの座標と、この制御点Sを準備状態に変更する要求とを含む第1変更要求を生成する(ステップS8)。
【0082】
第2制御部250は、生成した第1変更要求をプロジェクター100に送信する(ステップS9)。また、第2制御部250は、第1変更要求により状態を変更した制御点Sの座標に、状態を示す情報である準備状態を対応づけて第2記憶部260に記憶させる(ステップS10)。その後、第2制御部250は、ステップS6の判定に戻り、撮像画像からポイント位置Pを検出する。
【0083】
第2制御部250は、第1選択操作が検出されず(ステップS7/NO)、第2選択操作を検出した場合(ステップS11/YES)、第2変更要求を生成する(ステップS12)。
第2制御部250は、検出したポイント位置Pが制御点Sの第2の設定範囲内から設定時間T2、移動していないことを検出し、この第2の設定範囲内に位置する制御点Sの状態が準備状態である場合、第2選択操作を検出したと判定する。第2制御部250は、制御点Sの座標と、この制御点Sを選択状態に変更する要求とを含む第2変更要求を生成する(ステップS12)。
【0084】
第2制御部250は、生成した第2変更要求をプロジェクター100に送信する(ステップS13)。また、第2制御部250は、第2変更要求により状態を変更した制御点Sの座標に、状態を示す情報である選択状態を対応づけて第2記憶部260に記憶させる(ステップS14)。その後、第2制御部250は、ステップS6の判定に戻り、撮像画像からポイント位置Pを検出する。
【0085】
第2制御部250は、第2選択操作が検出されず(ステップS11/NO)、第1解除操作を検出した場合(ステップS15/YES)、第3変更要求を生成する(ステップS16)。
第2制御部250は、検出したポイント位置Pが制御点Sの第3の設定範囲内から設定時間T1以上かつ設定時間T2未満の時間、移動していないことを検出し、この第3の設定範囲内の制御点Sが準備状態である場合、第1解除操作を検出したと判定する。第2制御部250は、制御点Sの座標と、この制御点Sを初期状態に変更する要求とを含む第3変更要求を生成する(ステップS16)。
【0086】
第2制御部250は、生成した第3変更要求をプロジェクター100に送信する(ステップS17)。また、第2制御部250は、第3変更要求により状態を変更した制御点Sの座標と、この座標に対応づけて記憶した状態を示す情報とを第2記憶部260から削除する(ステップS18)。その後、第2制御部250は、ステップS6の判定に戻り、撮像画像からポイント位置Pを検出する。
【0087】
第2制御部250は、第1解除操作が検出されず(ステップS15/NO)、第2解除操作を検出した場合(ステップS19/YES)、第4変更要求を生成する(ステップS20)。
第2制御部250は、検出したポイント位置Pが制御点Sの第3の設定範囲内から設定時間T1以上かつ設定時間T2未満の時間、移動していないことを検出し、この第3の設定範囲内の制御点Sが選択状態である場合、第2解除操作を検出したと判定する。第2制御部250は、制御点Sの座標と、この制御点Sを、選択状態から準備状態に変更する要求とを含む第4変更要求を生成する(ステップS20)。
【0088】
第2制御部250は、生成した第4変更要求をプロジェクター100に送信する(ステップS21)。また、第2制御部250は、第4変更要求により状態を変更した制御点Sの座標の状態を示す情報を、選択状態から準備状態に変更する(ステップS22)。その後、第2制御部250は、ステップS6の判定に戻り、撮像画像からポイント位置Pを検出する。
【0089】
第2制御部250は、第2解除操作を検出せず(ステップS19/NO)、第1移動操作を検出した場合(ステップS23/YES)、ポイント位置Pの移動方向及び移動量を検出する(ステップS24)。
第2制御部250は、ポイント位置Pが制御点Sの第4の設定範囲内から設定時間T2、移動しないことを検出し、第4の設定範囲内にある制御点Sが選択状態であると判定し、その後、ポイント位置Pの移動が検出された場合、第1移動操作が検出されたと判定する。第2制御部250は、ポイント位置Pの移動前の座標と、移動後の座標とを検出して、ポイント位置Pの移動方向及び移動量を検出する(ステップS24)。
【0090】
次に、第2制御部250は、第1移動要求を生成する(ステップS25)。第2制御部250は、すべての選択状態の制御点Sの座標と、ステップS24で算出した移動方向及び移動量を示す情報とを含む第1移動要求を生成する(ステップS25)。第2制御部250は、生成した第1移動要求をプロジェクター100に送信する(ステップS26)。その後、第2制御部250は、選択状態に設定されたすべての制御点Sの座標を、算出した移動方向及び移動量に基づいて更新する。第2制御部250は、更新した制御点Sの座標に、この座標の制御点Sの状態を示す選択状態を対応づけて第2記憶部260に記憶させる(ステップS27)。その後、第2制御部250は、ステップS6の判定に戻り、撮像画像からポイント位置Pを検出する。
【0091】
第2制御部250は、第1移動操作を検出せず(ステップS23/NO)、第2移動操作を検出した場合(ステップS28/YES)、ポイント位置Pの移動方向及び移動量を検出する(ステップS29)。
第2制御部250は、撮像画像を画像解析して、ポインティング装置300が出力するレーザー光が、連続光から一定周波数の変調光に変更されたことを検出した場合、第2移動操作の検出を開始する。第2制御部250は、第2移動操作によるポイント位置の移動前の座標と、移動後の座標とを検出して、ポイント位置Pの移動方向及び移動量を検出する(ステップS29)。
【0092】
次に、第2制御部250は、第2移動要求を生成する(ステップS30)。第2制御部250は、ステップS29で算出した移動方向及び移動量を含む第2移動要求を生成する(ステップS30)。第2制御部250は、生成した第2移動要求をプロジェクター100に送信する(ステップS31)。その後、第2制御部250は、算出した移動方向及び移動量に基づき、初期状態、準備状態及び選択状態の制御点Sの移動後の座標を算出する。第2制御部250は、制御点Sの移動後の座標に、この座標の制御点Sの状態を示す初期状態、準備状態又は選択状態を対応づけて第2記憶部260に記憶させる(ステップS32)。その後、第2制御部250は、ステップS6の判定に戻り、撮像画像からポイント位置Pを検出する。
【0093】
次に、第2制御部250は、プロジェクター100から終了通知を受信したか否かを判定する(ステップS33)。第2制御部250は、終了通知を受信していない場合(ステップS33/NO)、ステップS6の判定に戻り、撮像画像からポイント位置Pを検出する。
【0094】
図10及び図11は、プロジェクター100の動作を示すフローチャートである。
図10及び図11に示すフローチャートを参照しながらプロジェクター100の動作について説明する。
まず、第1制御部150は、ポイント補正の開始指示を受け付けたか否かを判定する(ステップST1)。ユーザーは、ポイント補正を開始させる指示をリモコン5により入力する。第1制御部150は、ポイント補正の開始指示を受け付けていない場合(ステップST1/NO)、開始指示を受け付けるまでポイント補正の処理の開始を待機する。
【0095】
第1制御部150は、ポイント補正の開始指示を受け付けると(ステップST1/YES)、第1パターン画像に対応した画像光を生成し、生成した画像光を投写面10に投写する。これにより、投写面10には第1パターン画像が表示される(ステップST2)。
【0096】
次に、第1制御部150は、第1パターン画像の表示通知をカメラ200に送信し(ステップST3)、カメラ200から撮像画像を受信したか否かを判定する(ステップST4)。第1制御部150は、撮像画像を受信していない場合(ステップST4/NO)、次の処理を実行しない。
【0097】
第1制御部150は、撮像画像を受信すると(ステップST4/YES)、受信した撮像画像に含まれる第1パターン画像のパターンを検出して、キャリブレーションデータ163を生成する(ステップST5)。第1制御部150は、生成したキャリブレーションデータ163を第1記憶部160に記憶させる。
【0098】
次に、第1制御部150は、第2パターン画像30に対応した画像光を生成し、生成した画像光を投写面10に投写する。これにより、投写面10には第2パターン画像30が表示される(ステップST6)。
【0099】
次に、第1制御部150は、第2パターン画像の表示通知をカメラ200に送信して(ステップST7)、カメラ200からの要求を受信するまで待機する。
第1制御部150は、カメラ200から第1変更要求を受信した場合(ステップST8/YES)、受信した第1変更要求に含まれる座標情報が示す制御点Sの座標を、キャリブレーションデータ163を用いてパネル座標系の座標に変換する。第1制御部150は、変換した液晶パネル143Aの座標に第2マークM2を表示させる(ステップST9)。これにより、第1変更要求により選択された制御点Sの表示が、第1マークM1から第2マークM2に変更される。
【0100】
また、第1制御部150は、受信した要求が第1変更要求ではなく(ステップST8/NO)、第2変更要求であった場合(ステップST10/YES)、制御点Sの座標をパネル座標系の座標に変換する。第1制御部150は、受信した第2変更要求に含まれる座標情報が示す制御点Sの座標を、キャリブレーションデータ163を用いてパネル座標系の座標に変換する。第1制御部150は、変換した液晶パネル143Aの座標に第3マークM3を表示させる(ステップST11)。これにより、第2変更要求により選択された制御点Sの表示が、第2マークM2から第3マークM3に変更される。
【0101】
また、第1制御部150は、受信した要求が第2変更要求ではなく(ステップST10/NO)、第3変更要求であった場合(ステップST12/YES)、制御点Sの座標をパネル座標系の座標に変換する。第1制御部150は、受信した第3変更要求に含まれる座標情報が示す制御点Sの座標を、キャリブレーションデータ163を用いてパネル座標系の座標に変換する。第1制御部150は、変換した液晶パネル143Aの座標に第1マークM1を表示させる(ステップST13)。これにより、第3変更要求により選択された制御点Sの表示が、第2マークM2から第1マークM1に変更される。
【0102】
また、第1制御部150は、受信した要求が第3変更要求ではなく(ステップST12/NO)、第4変更要求であった場合(ステップST14/YES)、制御点Sの座標をパネル座標系の座標に変換する。第1制御部150は、受信した第4変更要求に含まれる座標情報が示す制御点Sの座標を、キャリブレーションデータ163を用いてパネル座標系の座標に変換する。第1制御部150は、変換した液晶パネル143Aの座標に第2マークM2を表示させる(ステップST15)。これにより、第4変更要求により選択された制御点Sの表示が、第3マークM3から第2マークM2に変更される。
【0103】
また、第1制御部150は、受信した要求が第4変更要求ではなく(ステップST14/NO)、第1移動要求を受信した場合(ステップST16)、受信した第1移動要求に従って処理する。第1制御部150は、第1移動要求に含まれる選択状態の制御点Sの座標を、キャリブレーションデータ163によりパネル座標系の座標に変換する(ステップST17)。また、第1制御部150は、第1移動要求に含まれる移動方向及び移動量も、キャリブレーションデータ163によりパネル座標系での移動方向及び移動量に変換する(ステップST17)。
【0104】
次に、第1制御部150は、変換した移動方向及び移動量に基づき、すべての選択状態の制御点Sの移動後のパネル座標を算出する(ステップST18)。第1制御部150は、選択状態の制御点Sの移動後の座標に、この座標の制御点Sの状態を示す選択状態を対応づけて第1記憶部160に記憶させる(ステップST19)。次に、第1制御部150は、選択状態の制御点Sに表示した第3マークM3の表示位置を、移動前のパネル座標から移動後のパネル座標に変更する(ステップST20)。
【0105】
第1制御部150は、受信した要求が第1移動要求ではなく(ステップST16/NO)、第2移動要求を受信した場合(ステップST21/YES)、受信した第2移動要求に従って処理する。まず、第1制御部150は、第2移動要求に含まれる移動方向及び移動量を、キャリブレーションデータ163によりパネル座標系での移動方向及び移動量に変換する。
【0106】
次に、第1制御部150は、変換した移動方向及び移動量に基づき、第2パターン画像30の各制御点Sの移動後の座標を算出する(ステップST22)。第1制御部150は、第2パターン画像30の各制御点Sの座標を、算出した移動後の座標に移動させ(ステップST23)、移動後の座標に、対応する第1マークM1、第2マークM2及び第3マークM3のいずれかを表示させる。次に、第1制御部150は、第2パターン画像30の各制御点Sの座標を第1記憶部160に記憶させる(ステップST24)。
【0107】
また、第1制御部150は、第2移動要求を受信していない場合(ステップST21/NO)、リモコン5により終了操作を受け付けたか否かを判定する(ステップST25)。
第1制御部150は、終了操作を受け付けた場合(ステップST25/YES)、ポイント補正の終了通知をカメラ200に送信し(ステップST26)、第2パターン画像の投写面10への表示を終了させる(ステップST27)。
【0108】
次に、第1制御部150は、ポイント補正の補正パラメーターを生成する(ステップST28)。第1制御部150は、第2パターン画像30の各制御点Sの移動前の座標と、第2パターン画像30の各制御点Sの移動後の座標とに基づいて補正パラメーターを生成する。第1制御部150は、第2移動要求を受け付けていない場合、第1記憶部160に記憶させた選択状態の制御点Sの座標を、ユーザーの操作により移動させた制御点Sの座標として取得する。
また、第1制御部150は、第2移動要求を受け付けた場合、第1記憶部160からすべての制御点Sの座標を取得する。第1制御部150は、第1記憶部160に記憶させたすべての制御点Sの座標を、ユーザーの操作により移動させた制御点Sの座標として取得する。
【0109】
第1制御部150は、終了操作を受け付けていない場合(ステップST25/No)、終了操作以外の指示操作を受け付けているのであれば、指示に対応した処理を実行し(ステップST29)、ステップST2の処理に戻る。
【0110】
6.投写画像の補正方法の効果
以上説明したように本実施形態の投写画像の補正方法は、カメラ200の第2制御部250が実行する補正方法である。
第2制御部250は、複数の制御点Sを含む第2パターン画像30が投写された投写面10を撮像部210に撮像させる。
第2制御部250は、投写面10を撮像した複数の撮像画像群に、ポインティング装置300により投写面10に照射される第1条件を満たす光を検出した場合、以下の動作を実行する。つまり、第2制御部250は、撮像画像群における第1条件を満たす光の位置基づいて、複数の制御点Sに含まれる少なくとも1つの制御点Sを選択状態の制御点Sに選択する。
また、第2制御部250は、投写面10を撮像した撮像画像群に、ポインティング装置300により投写面10に照射される、第1条件とは異なる第2条件を満たす光を検出した場合、以下の動作を実行する。つまり、第2制御部250は、撮像画像群における検出される第2条件を満たす光の位置の変化に基づき、選択状態の制御点Sの位置を変更する指示をプロジェクター100に送信する。
プロジェクター100は、選択状態の制御点Sの位置を変更した第2パターン画像30を投写面10に表示させる。
【0111】
この構成によれば、ポインティング装置300により第1条件を満たす光を照射することで、制御点Sを選択状態に設定し、ポインティング装置300により第2条件を満たす光を照射することで、選択状態に設定した制御点Sの位置を移動させることができる。また、複数の制御点Sを選択状態として設定することも可能となり、選択状態に設定した制御点Sの位置を、第2条件を満たす光を照射することで移動させることができる。これにより、第1条件を満たす光を検出した場合に、制御点を選択する操作と、制御点を移動する操作と、の双方を実行する構成と比較して、ユーザーの手振れ等の影響により誤った位置が補正位置として選択されることを抑制し、ユーザーの意図した補正が行われるため、ポインティング装置300を用いた操作の利便性を向上させることができる。
【0112】
カメラ200は、投写面10を撮像した撮像画像群に、第3条件を満たす光を検出した場合、複数の制御点Sに含まれる少なくとも1つの制御点Sを準備状態の制御点Sに選択する。
また、カメラ200は、投写面10を撮像した撮像画像群に、第1条件を満たす光を検出した場合、撮像画像群における準備状態の制御点Sを、選択状態の制御点Sに変更する。
さらに、選択状態の制御点Sは、第2条件を満たす光の位置の変化に基づき、位置の変更されない制御点である。
【0113】
この構成によれば、選択状態よりも前に準備状態を設けることで、制御点Sの状態が初期状態及び選択状態の2つの状態である場合と比較して、ポインティング装置300を使用した操作の誤操作を低減することができる。
【0114】
選択状態の制御点Sと、準備状態の制御点Sとは、異なる表示態様で表示される。
【0115】
この構成によれば、選択状態の制御点Sと、準備状態の制御点Sとは、異なる表示態様で表示されるので、選択状態の制御点Sと、準備状態の制御点Sとを認識しやすくなり、誤操作を低減することができる。
【0116】
カメラ200は、複数の制御点Sから選択状態の制御点Sが選択されていない場合、かつ、第2条件を満たす光を検出した場合、撮像画像群において検出される第2条件を満たす光の位置の変化に基づき、複数の制御点Sの位置を変更する。
【0117】
この構成によれば、撮像画像において検出される第2条件を満たす光の位置の変化に基づき、複数の制御点Sの位置を変更できるので、複数の制御点Sの位置を、1つのポインティング装置300の操作により移動させることができる。
【0118】
第1条件を満たす光は、複数の制御点Sに含まれるいずれかの制御点から第1の範囲内に照射される第1色の光である。
第2条件を満たす光は、選択状態の制御点Sから第2の範囲内に照射され、第1色とは異なる第2色の光である。
【0119】
この構成によれば、ポインティング装置300が射出する光の色を変更することで、複数の制御点Sの少なくとも1つを選択状態の制御点Sに設定したり、選択状態の制御点Sの位置を変更したりすることができる。
【0120】
第1条件を満たす光は、複数の制御点Sに含まれるいずれかの制御点から第1の範囲内に照射され、ポインティング装置300が第1発光強度で照射した光である。
第2条件を満たす光は、選択状態の制御点Sから第2の範囲内に照射される光であり、ポインティング装置300が第1発光強度とは異なる第2発光強度で照射した光である。
【0121】
この構成によれば、ポインティング装置300が照射する光の発光強度を変更することで、複数の制御点Sの少なくとも1つを選択状態の制御点Sに設定したり、選択状態の制御点Sの位置を変更したりする操作を行うことができる。
【0122】
第1条件を満たす光は、複数の制御点Sに含まれるいずれかの制御点から第1の範囲内に照射され、第1期間以内に検出される位置の変化量がしきい値よりも小さい光である。
第2条件を満たす光は、選択状態の制御点Sから第2の範囲内に照射され、第1期間以内に検出される位置の変化量が前記しきい値よりも小さく、第1期間の経過後に、位置の移動が検出される光である。
【0123】
この構成によれば、ポインティング装置300が射出する光が照射される投写面10の位置を調整することで、複数の制御点Sの少なくとも1つを選択状態の制御点Sに設定したり、選択状態の制御点Sの位置を変更したりすることができる。
【0124】
第3条件を満たす光は、複数の制御点Sに含まれるいずれかの制御点から第3の範囲内に照射され、第2期間内に検出される光の位置の変化量がしきい値よりも小さい光である。
【0125】
この構成によれば、ポインティング装置300が射出する光が照射される投写面10の位置を調整することで、複数の制御点Sの少なくとも1つを準備状態の制御点Sに設定することができる。
【0126】
7.投写システムの効果
投写システム1は、プロジェクター100と、カメラ200と、ポインティング装置300と、第2プロセッサー270と、を備える。
プロジェクター100は、複数の制御点Sを含むパターン画像を投写面10に表示する。カメラ200は、投写面10を撮像する。ポインティング装置300は、ユーザーの操作に対応した条件の光を投写面10に照射する。
第2プロセッサー270は、カメラ200が投写面10を撮像した複数の撮像画像を含む撮像画像群に、ポインティング装置300により投写面10に照射される第1条件を満たす光を検出した場合、撮像画像群における第1条件を満たす光の位置に基づいて、以下、動作を実行する。つまり、第2プロセッサー270は、複数の制御点Sに含まれる少なくとも1つの制御点Sを選択状態の制御点Sに選択する。
また、第2プロセッサー270は、撮像画像群に、ポインティング装置300により投写面10に照射される第2条件を満たす光を検出した場合、以下の動作を実行する。
つまり、第2プロセッサー270は、撮像画像群における第2条件を満たす光の位置の変化に基づき、選択状態の制御点Sの位置を変更する。
プロジェクター100は、選択状態の制御点Sの位置を変更したパターン画像を投写面10に表示させる。
【0127】
この構成によれば、ポインティング装置300により第1条件を満たす光を照射することで、制御点Sを選択状態に設定し、ポインティング装置300により第2条件を満たす光を照射することで、選択状態に設定した制御点Sの位置を移動させることができる。これにより、複数の制御点Sを選択状態として設定することも可能となり、選択状態に設定した制御点Sの位置を、第2条件を満たす光を照射することで移動させることができる。これにより、ポインティング装置300を用いた操作の利便性を向上させることができる。
【0128】
ポインティング装置300は、光源として半導体レーザー350を備える。
半導体レーザー350は、一定の発光周波数で発光する。
【0129】
この構成によれば、カメラ200の撮像画像からポインティング装置300が照射する光を検出しやすくなる。
【0130】
ポインティング装置300は、所定の周波数を変更する操作を受け付ける操作部として、第2スイッチ303及び入力I/F回路310を備える。
【0131】
この構成によれば、第2スイッチ303の操作により、所定の周波数を変更することができ、ポインティング装置300により検出可能な操作の種類を増やすことができる。
【0132】
ポインティング装置300は、光源として半導体レーザー350と、操作部として第2スイッチ303及び入力I/F回路310を備える。
第2スイッチ303が操作を受け付けている間、半導体レーザー350は、一定の周波数で発光と消灯とを繰り返す。
【0133】
この構成によれば、第2スイッチ303を操作することで、所定の周波数を変更することができ、ポインティング装置300により検出可能な操作の種類を増やすことができる。
【0134】
上述した実施形態は本発明の好適な実施の形態である。ただし、この実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の変形実施が可能である。
例えば、上述した実施形態では、ポインティング装置300は、第2スイッチ303の操作により、レーザー光の発光周波数を変更したが、第2スイッチ303の操作により発光色や、発光強度を変更してもよい。例えば、上述した第1選択操作や第2選択操作、解除操作は、第1色の光により操作し、第1移動操作は、第1色とは異なる第2色の光により操作し、第2移動操作は、第1色や第2色とは異なる第3色の光により操作する構成であってもよい。第1色の光は、第1条件を満たす光の一例であり、第2色の光は、第2条件を満たす光の一例である。
【0135】
より具体的には、撮像画像から第1色の光を検出し、検出した第1色の光の位置が制御点Sの第1の設定範囲内に位置し、第1の設定範囲内に位置する制御点Sの状態が初期状態である場合、第1選択操作を検出したと判定する。撮像画像から第1色の光を検出し、検出した第1色の光の位置が制御点Sの第2の設定範囲内に位置し、第2の設定範囲内に位置する制御点Sの状態が準備状態である場合、第2選択操作を検出したと判定する。撮像画像から第1色の光を検出し、検出した第1色の光の位置が制御点Sの第3の設定範囲内から設定時間T1以上かつ設定時間T2未満の時間、移動しないことを検出し、第3の設定範囲内にある制御点Sが準備状態又は選択状態であると判定すると、解除操作を検出したと判定する。
【0136】
また、撮像画像から第2色の光を検出し、検出した第2色の光の位置が制御点Sの第4の設定範囲内に位置し、第4の設定範囲内にある制御点Sが選択状態であると判定し、その後、第2色の光の位置の移動が検出された場合、第1移動操作が検出されたと判定する。撮像画像から第3色の光を検出し、その後、第3色の光の位置の移動が検出された場合、第2移動操作が検出されたと判定する。
【0137】
ポインティング装置300から複数の色のレーザー光を切り替えて照射できる構成とする場合は、各色に対応する光源を複数搭載してもよいし、半導体レーザー350からレーザー光を出射する光路上に移動可能なカラーフィルターを搭載してもよい。移動可能なカラーフィルターは、例えばアクチュエータによって支持され、第2スイッチ303の操作に応じて、カラーフィルターがレーザー光の光路上に存在する位置から、光路上に存在しない位置に移動するようにアクチュエータを駆動可能な構成であればよい。
【0138】
また、ポインティング装置300が、第2スイッチ303の操作により、発光強度を変更する構成であってもよい。例えば、第1選択操作や第2選択操作、解除操作は、第1発光強度の光により操作し、第1移動操作は、第1発光強度とは異なる第2発光強度の光により操作する構成であってもよい。また、第2移動操作は、第1発光強度や第2発光強度とは異なる第3発光強度の光により操作する構成であってもよい。
第1発光強度の光は、第1条件を満たす光の一例であり、第2発光強度の光は、第2条件を満たす光の一例である。
【0139】
より具体的には、撮像画像から第1発光強度の光を検出し、検出した第1発光強度の光の位置が制御点Sの第1の設定範囲内に位置し、第1の設定範囲内に位置する制御点Sの状態が初期状態である場合、第1選択操作を検出したと判定する。撮像画像から第1発光強度の光を検出し、検出した第1発光強度の光の位置が制御点Sの第2の設定範囲内に位置し、第2の設定範囲内に位置する制御点Sの状態が準備状態である場合、第2選択操作を検出したと判定する。撮像画像から第1発光強度の光を検出し、検出した第1発光強度の光の位置が制御点Sの第3の設定範囲内から設定時間T1以上かつ設定時間T2未満の時間、移動しないことを検出し、第3の設定範囲内にある制御点Sが準備状態又は選択状態であると判定すると、解除操作を検出したと判定する。
【0140】
また、撮像画像から第2発光強度の光を検出し、検出した第2発光強度の光の位置が制御点Sの第4の設定範囲内に位置し、第4の設定範囲内にある制御点Sが選択状態であると判定し、その後、第2色の光の位置の移動が検出された場合、第1移動操作が検出されたと判定する。撮像画像から第3発光強度の光を検出し、その後、第3発光強度の光の位置の移動が検出された場合、第2移動操作が検出されたと判定する。
【0141】
また、ポインティング装置300は、第2スイッチ303が押下された回数によって、発光周波数を変更する構成であってもよい。例えば、ポインティング装置300は、第2スイッチ303が1回押下されると、発光周波数が30Hzのレーザー光を出力し、第2スイッチ303が2回押下されると、発光周波数が20Hzのレーザー光を出力する。また、ポインティング装置300は、第2スイッチ303が3回押下されると、発光周波数が15Hzのレーザー光を出力し、第2スイッチ303が4回押下されると、発光周波数が30Hzのレーザー光に戻る。
【0142】
ユーザーは、第1選択操作や第2選択操作、解除操作を行う場合、第2スイッチ303を1回押下して、発光周波数が30Hzのレーザー光により操作する。
また、ユーザーは、第1移動操作を行う場合、第2スイッチ303を2回押下して、発光周波数が20Hzのレーザー光により操作する。また、ユーザーは、第2移動操作を行う場合、第2スイッチ303を3回押下して、発光周波数が15Hzのレーザー光により操作する。
カメラ200の第2制御部250は、撮像画像に基づき、ポインティング装置300が照射したレーザー光の周波数を検出して、いずれの操作が行われたのかを判定する。
【0143】
また、上述した実施形態では、カメラ200が備える第2プロセッサー270が撮像画像を画像解析して、第1選択操作や第2選択操作、解除操作、第1移動操作、第2移動操作を検出した。これら第1選択操作や第2選択操作、解除操作、第1移動操作、第2移動操作を検出する処理を、プロジェクター100の第1プロセッサー170や、外部の制御装置により実行させてもよい。
【0144】
また、図2に示すプロジェクター100や、図3に示すカメラ200、図4に示すポインティング装置300の各機能部は、ハードウェアとソフトウェアとの協働により実現される機能的構成を示すものであって、具体的な実装形態は特に制限されない。従って、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、また、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。
【0145】
また、上述した投写画像の補正方法を、カメラ200又はプロジェクター100に搭載されたコンピューターを用いて実現する場合、このコンピューターに実行させるプログラムを記録媒体の態様で構成することも可能である。また、コンピューターに実行させるプログラムは、プログラムを伝送する伝送媒体の態様で構成することも可能である。記録媒体には、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、HDD、CD-ROM(compact disc read-only memory)、DVD(Digital Versatile Disc)、Blu-ray Disc、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、上記記録媒体は、サーバー装置が備える内部記憶装置であるRAM、ROM、HDD等の不揮発性記憶装置であってもよい。Blu-rayは、登録商標である。
【0146】
また、図8及び図9に示すフローチャートの処理単位は、第2制御部250の処理を理解容易にするために、主な処理内容に応じて分割したものであり、図8及び図9のフローチャートに示す処理単位の分割の仕方や名称によって本発明が制限されることはない。また、第2制御部250の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、1つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
【0147】
また、図10及び図11に示すフローチャートの処理単位は、第1制御部150の処理を理解容易にするために、主な処理内容に応じて分割したものである。図10及び図11のフローチャートに示す処理単位の分割の仕方や名称によって本発明が制限されることはない。また、第1制御部150の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、1つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
【符号の説明】
【0148】
1…投写システム、5…リモコン、10…投写面、30…第2パターン画像、100…プロジェクター、110…第1無線I/F、120…リモコン受光部、130…画像処理部、135…フレームメモリー、140…画像投写部、141…光源、143…光変調装置、143A…液晶パネル、145…光学ユニット、150…第1制御部、160…第1記憶部、161…制御プログラム、163…キャリブレーションデータ、170…第1プロセッサー、200…カメラ、210…撮像部、211…レンズ群、212…駆動回路、213…撮像素子、214…信号処理回路、220…第2無線I/F、230…タッチパネル、230…半導体レーザー、250…第2制御部、260…第2記憶部、265…制御プログラム、270…第2プロセッサー、300…ポインティング装置、301…第1スイッチ、303…第2スイッチ、310…入力I/F回路、330…周波数変調部、350…半導体レーザー、370…第3制御部。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11