特許 7184072 特定方法、特定システム、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-28

(45)【発行日】2022-12-06

(54)【発明の名称】特定方法、特定システム、及びプログラム

(51)【国際特許分類】

   G06T 7/80 20170101AFI20221129BHJP

   G03B 21/00 20060101ALI20221129BHJP

   H04N 5/74 20060101ALI20221129BHJP

   G09G 5/00 20060101ALI20221129BHJP

【ＦＩ】

G06T7/80

G03B21/00 D

H04N5/74 Z

G09G5/00 510B

G09G5/00 X

G09G5/00 530T

G09G5/00 550C

G09G5/00 550B

【請求項の数】 10

(21)【出願番号】P 2020178205

(22)【出願日】2020-10-23

(65)【公開番号】P2022069176

(43)【公開日】2022-05-11

【審査請求日】2021-09-28

(73)【特許権者】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】110003177

【氏名又は名称】弁理士法人旺知国際特許事務所

(72)【発明者】

【氏名】黒田 一平

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１６－１０２７７５（ＪＰ，Ａ）

【文献】国際公開第２０１７／１２２５００（ＷＯ，Ａ１）

【文献】特開２０１６－１０２７５５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０３Ｂ ２１／００

Ｈ０４Ｎ ５／７４

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

プロジェクターから投写画像を投写される被投写物を撮像する撮像装置が固定されているか否かを判定し、
前記撮像装置が固定されていないと判定される場合には、前記プロジェクターから前記被投写物に第１群に属する各画像を順次投写する一方、前記撮像装置が固定されていると判定される場合には前記プロジェクターから前記被投写物に第２群に属する各画像を順次投写し、
前記第１群に属する各画像又は前記第２群に属する各画像が投写されている状態において、前記被投写物を前記撮像装置により撮像することで撮像画像を生成し、
前記プロジェクターから前記被投写物に投写された画像と前記撮像装置による前記撮像画像とに基づいて、前記被投写物に投写された画像上の位置と前記撮像画像上の位置との対応関係を特定する、
特定方法。

【請求項2】

第１の時刻から第２の時刻までの前記撮像装置の位置の変化量を検出し、
前記変化量が閾値以上である場合に、前記撮像装置は固定されていないと判定し、前記第１の時刻から前記第２の時刻までの前記撮像装置の位置の変化量が前記閾値未満である場合に、前記撮像装置は固定されていると判定する、請求項１に記載の特定方法。

【請求項3】

第１の時刻から第２の時刻までの前記撮像装置の速度の変化量を検出し、
前記変化量が閾値以上である場合に、前記撮像装置は固定されていないと判定し、前記第１の時刻から前記第２の時刻までの前記撮像装置の速度の変化量が前記閾値未満である場合に、前記撮像装置は固定されていると判定する、請求項１に記載の特定方法。

【請求項4】

第１の時刻における前記撮像装置の加速度である第１の加速度、及び前記第２の時刻における前記撮像装置の加速度である第２の加速度を検出し、
前記第１の加速度と前記第２の加速度との和を前記撮像装置の速度の変化量とする、請求項３に記載の特定方法。

【請求項5】

第１の時刻、第２の時刻、第３の時刻、及び第４の時刻の各々における前記撮像装置の加速度を検出し、
前記第１の時刻から前記第４の時刻までの時間領域における前記撮像装置の加速度の分布を周波数領域のスペクトラムに変換し、前記スペクトラムのピークにおける強度が閾値以上である場合に、前記撮像装置が固定されていないと判定し、前記スペクトラムのピークにおける強度が前記閾値未満である場合に、前記撮像装置が固定されていると判定する、請求項１に記載の特定方法。

【請求項6】

前記撮像装置が固定されているか否かを示す情報の入力をユーザーに促し、前記ユーザーにより入力された情報に基づいて前記撮像装置が固定されているか否かを判定する、請求項１に記載の特定方法。

【請求項7】

前記第１群の画像数は、前記第２群の画像数よりも少ない、請求項１乃至６のうちの何れか１項に記載の特定方法。

【請求項8】

前記第１群の各画像は、互いに異なるパターンの画像であり、前記第１群の各画像は、互いに異なるパターンの画像に各パターンの位置合わせのためのマーカーを付与した画像である、請求項１乃至７のうちの何れか１項に記載の特定方法。

【請求項9】

プロジェクターと、
撮像装置と、
処理装置と、を備え、
前記処理装置は、
前記撮像装置が固定されているか否かを判定すること、
前記撮像装置が固定されていないと判定される場合には、被投写物に対して前記プロジェクターに第１群に属する各画像を順次投写させる一方、前記撮像装置が固定されていると判定される場合には前記プロジェクターから前記被投写物に第２群に属する各画像を順次投写させること、
前記第１群に属する各画像又は前記第２群に属する各画像が投写されている状態において、前記被投写物を前記撮像装置に撮像させることで撮像画像を生成すること、
前記プロジェクターから前記被投写物に投写された画像と前記撮像装置による前記撮像画像とに基づいて、前記被投写物に投写された画像上の位置と前記撮像画像上の位置との対応関係を特定すること、を実行する、
特定システム。

【請求項10】

コンピューターに、
プロジェクターから投写画像を投写される被投写物を撮像する撮像装置が固定されているか否かを判定すること、
前記撮像装置が固定されていないと判定される場合には、前記被投写物に対して第１群に属する各画像を前記プロジェクターに順次投写させる一方、前記撮像装置が固定されていると判定される場合には前記被投写物に対して第２群に属する各画像を前記プロジェクターに順次投写させること、
前記第１群に属する各画像又は前記第２群に属する各画像が投写されている状態において、前記被投写物を前記撮像装置に撮像させることで撮像画像を生成すること、及び、
前記プロジェクターから前記被投写物に投写された画像と前記撮像装置による前記撮像画像とに基づいて、前記被投写物に投写された画像上の位置と前記撮像画像上の位置との対応関係を特定すること、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、特定方法、特定システム、及びプログラム、に関する。

【背景技術】

【0002】

プロジェクションマッピングでは、非平面のスクリーンに対してプロジェクターから投写画像を投写することがある。非平面のスクリーンに投写された投写画像は、ユーザーには、スクリーンの形状に応じて歪んで見える。そこで、投写画像の投写先が非平面のスクリーンである場合には、スクリーンの形状に応じた歪みを考慮して投写画像を予め補正しておくことが普通である。スクリーンの形状に応じた歪みを検出する技術の一例としては特許文献１に開示の技術が挙げられる。

【0003】

特許文献１に開示の技術では、まず、スクリーンに対するプロジェクターの投写方向が特定される。特許文献１に開示の技術では、特定した投写方向に応じた変形を施したパターン画像がプロジェクターからスクリーンに投写される。特許文献１に開示の技術では、変形を施したパターン画像を投写されている状態において、スクリーンがカメラにより撮像される。そして、特許文献１に開示の技術では、投写方向に応じた変形を施したパターン画像とカメラの撮像画像とに基づいてプロジェクター座標系とカメラ座標系との対応関係が特定される。プロジェクター座標系とは投写画像内の位置を示す座標系である。カメラ座標系とはカメラによる撮像画像内の位置を示す座標系である。特許文献１に開示の技術では、プロジェクター座標系とカメラ座標系との対応関係に基づいてスクリーンの形状に応じた歪みが検出される。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－１６６８９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

スクリーンに対するプロジェクターの投写方向を考慮するだけでは、プロジェクター座標系とカメラ座標系との対応関係を十分な精度で特定できない場合がある。ユーザーが手に持ったカメラでスクリーンを撮像する場合には、プロジェクター座標系とカメラ座標系との対応関係を手振れ等の影響により、十分な精度で特定できない。

【課題を解決するための手段】

【0006】

以上の課題を解決するために、本開示の特定方法は、プロジェクターから投写画像を投写される被投写物を撮像する撮像装置が固定されているか否かを判定し、前記撮像装置が固定されていないと判定される場合には、前記プロジェクターから前記被投写物に第１群に属する各画像を順次投写する一方、前記撮像装置が固定されていると判定される場合には前記プロジェクターから前記被投写物に第２群に属する各画像を順次投写し、前記第１群に属する各画像又は前記第２群に属する各画像が投写されている状態において、前記被投写物を前記撮像装置により撮像することで撮像画像を生成し、前記プロジェクターから前記被投写物に投写された画像と前記撮像装置による前記撮像画像とに基づいて、前記被投写物に投写された画像上の位置と前記撮像画像上の位置との対応関係を特定する。

【0007】

また、以上の課題を解決するために、本開示の特定システムは、プロジェクターと、撮像装置と、処理装置と、を備える。処理装置は、前記撮像装置が固定されているか否かを判定すること、前記撮像装置が固定されていないと判定される場合には、被投写物に対して前記プロジェクターに第１群に属する各画像を順次投写させる一方、前記撮像装置が固定されていると判定される場合には前記プロジェクターから前記被投写物に第２群に属する各画像を順次投写させること、前記第１群に属する各画像又は前記第２群に属する各画像が投写されている状態において、前記被投写物を前記撮像装置に撮像させることで撮像画像を生成すること、及び、前記プロジェクターから前記被投写物に投写された画像と前記撮像装置による前記撮像画像とに基づいて、前記被投写物に投写された画像上の位置と前記撮像画像上の位置との対応関係を特定すること、を実行する。

【0008】

また、以上の課題を解決するために、本開示のプログラムは、コンピューターに、プロジェクターから投写画像を投写される被投写物を撮像する撮像装置が固定されているか否かを判定すること、前記撮像装置が固定されていないと判定される場合には、前記被投写物に対して第１群に属する各画像を前記プロジェクターに順次投写させる一方、前記撮像装置が固定されていると判定される場合には前記被投写物に対して第２群に属する各画像を前記プロジェクターに順次投写させること、前記第１群に属する各画像又は前記第２群に属する各画像が投写されている状態において、前記被投写物を前記撮像装置に撮像させることで撮像画像を生成すること、及び、前記プロジェクターから前記被投写物に投写された画像と前記撮像装置による前記撮像画像とに基づいて、前記被投写物に投写された画像上の位置と前記撮像画像上の位置との対応関係を特定すること、を実行させる。

【図面の簡単な説明】

【0009】

【図1】本開示の一実施形態に係る特定方法を実行する特定装置１Ａを含む画像表示システム５Ａの構成例を示すブロック図である。

【図2】特定装置１Ａがプロジェクター２に投射させるパターン画像の一例を示す図である。

【図3】特定装置１Ａがプロジェクター２に投射させるパターン画像の一例を示す図である。

【図4】特定装置１Ａがプロジェクター２に投射させるパターン画像の一例を示す図である。

【図5】特定装置１Ａがプロジェクター２に投射させるパターン画像の一例を示す図である。

【図6】特定装置１Ａの処理装置４０がプログラムＰＡに従って実行する特定方法の流れを示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、図面を参照して本開示の実施形態を説明する。以下に述べる実施形態には技術的に好ましい種々の限定が付されている。しかし、本開示の実施形態は、以下に述べる形態に限られるものではない。

【0011】

１．実施形態
図１は、本開示の実施形態に係る特定装置１Ａを含む画像表示システム５Ａの構成例を示すブロック図である。画像表示システム５Ａには、特定装置１Ａの他に、特定装置１Ａと通信するプロジェクター２が含まれる。プロジェクター２は、特定装置１Ａから供給される画像データに応じた投写画像Ｇ１を被投写物ＳＣの表面に投写する。図１では、詳細な図示を省略したが、プロジェクター２は、光源と、光変調装置としての３つの表示パネルと、投写レンズと、表示パネル駆動部とを備える。

【0012】

プロジェクター２における３つの表示パネルの各々は、夫々赤、緑及び青の各色に対応する。本実施形態では、表示パネルは液晶ライトバルブである。表示パネル駆動部は、特定装置１Ａから供給される画像データに応じて３つの表示パネルの各々における光の透過率を制御する。プロジェクター２は、光源から射出された光を３つの表示パネルの各々で変調して画像光を形成し、この画像光を投写レンズから投写して被投写物ＳＣの表面に投写画像Ｇ１を表示する。本実施形態における被投写物ＳＣは、図１に示すように直方体であるが、三角錐或いは四角錐等、多角形の連結により構成される三次元形状、或いは曲面を有する三次元形状であってもよい。

【0013】

特定装置１Ａは、例えばスマートフォンである。特定装置１Ａは、撮像機能、及びプロジェクター２と通信する通信機能、を有する。特定装置１Ａとプロジェクター２とがネットワーク接続されると、特定装置１Ａは、プロジェクター２と通信し、プロジェクター２からプロジェクター情報を取得する。プロジェクター情報には、解像度情報、及びプロジェクター２において復号化可能な圧縮形式を示す圧縮形式情報が含まれる。

【0014】

解像度情報は、プロジェクター２における表示パネルの解像度を示す情報である。解像度情報は、プロジェクター座標系とカメラ座標系との対応関係を特定するための計測パターンのパターン画像を生成する際に利用される。プロジェクター座標系とはプロジェクター２による投写画像上の位置を示す座標系である。プロジェクター座標系の一例としては、投写画像の左上隅を原点とする二次元座標系が挙げられる。カメラ座標系とは、撮像画像上の位置を示す座標系である。カメラ座標系の具体例としては撮像画像の左上隅を原点とする二次元座標系が挙げられる。詳細については後述するが、本実施形態では、計測パターンとしてバイナリコードパターンが用いられる。圧縮形式情報は、計測パターンを示す計測パターンデータを圧縮して特定装置１Ａからプロジェクター２へ送信する場合における計測パターンデータの圧縮形式の決定に利用される。特定装置１Ａからプロジェクター２へ計測パターンデータを圧縮して送信する場合の圧縮形式は、ランレングス、ＬＺＨ、ＰＮＧ、及びＧＩＦ等の可逆圧縮形式が望ましい。

【0015】

特定装置１Ａは、プロジェクター２から取得した解像度情報を用いて複数の計測パターンの各々を表す計測パターンデータを生成し、生成した計測パターンデータをプロジェクター２に与える。プロジェクター２は、特定装置１Ａから与えられる計測パターンデータの示す複数の計測パターンの各々の画像を被投写物ＳＣに投写する。なお、特定装置１Ａからプロジェクター２へコマンドを送信し、このコマンドに基づいて計測パターンデータをプロジェクター２が生成してもよい。特定装置１Ａからプロジェクター２へコマンドを送信する場合、プロジェクター情報に圧縮形式情報を含めておく必要はない。プロジェクター２で計測パターンデータを生成する態様であれば、特定装置１Ａからプロジェクター２に計測パターンを伝達するための通信時間が短縮される。

【0016】

特定装置１Ａは、計測パターン毎に、プロジェクター２により計測パターンのパターン画像を投写されている状態において被投写物ＳＣを撮像することをユーザーに促す。特定装置１Ａは、計測パターンのパターン画像を投写されている状態の被投写物ＳＣをユーザーの操作に応じて撮像機能により撮像する。計測パターンのパターン画像を投写されている状態の被投写物ＳＣを特定装置１Ａを用いて撮像する場合、三脚等を用いて特定装置１Ａを固定して撮像する場合、特定装置１Ａをユーザーが手に持って撮像する場合、即ち特定装置１Ａが固定されていない場合とがある。特定装置１Ａは、撮像された複数の撮像画像と複数のパターン画像とからプロジェクター座標系とカメラ座標系との対応関係を特定する。プロジェクター座標系とカメラ座標系との対応関係を特定するとは、一方の座標系から他方の座標系への射影変換のための変換行列を生成することをいう。

【0017】

図１に示すように、特定装置１Ａは、タッチパネル１０と、通信装置２０と、記憶装置３０と、処理装置４０と、撮像装置５０と、センサー６０と、を含む。通信装置２０は、無線通信モジュール又は有線通信モジュールである。通信装置２０が有線通信モジュールである場合、通信装置２０は通信線を介してプロジェクター２に接続される。特定装置１Ａとプロジェクター２との接続は、ルーター等の中継装置を介さない直接接続であってもよいし、中継装置を介する間接接続であってもよい。通信装置２０が無線通信モジュールである場合、直接接続の具体例としてはアドホック接続が挙げられ、間接接続の具体例としては無線アクセスポイント装置を介するアクセスポイント接続が挙げられる。また、通信装置２０が有線通信モジュールである場合、直接接続の具体例としてはピアトゥーピア接続が挙げられ、間接接続の具体例としては有線ルーター又は有線ハブを介する接続が挙げられる。通信装置２０は、処理装置４０による制御の下、プロジェクター２と通信する。撮像装置５０はカメラである。撮像装置５０は、処理装置４０による制御の下で撮像を行い、撮像画像を表す画像データを処理装置４０に供給する。本実施形態では、撮像装置５０は特定装置１Ａに固定されている。

【0018】

タッチパネル１０は、表示装置と入力装置とが一体化された装置である。入力装置は、例えば透明なシート状の接触センサーである。入力装置は、表示装置の表示面を覆うように設けられる。入力装置は、当該入力装置に接触する物体と当該入力装置とによって特定される静電容量を用いてタッチ位置を検出し、検出したタッチ位置を示すデータを処理装置４０へ出力する。これにより、タッチパネル１０に対するユーザーの操作内容が処理装置４０へ伝達される。

【0019】

センサー６０は、例えば加速度センサーである。センサー６０は、処理装置４０による制御の下、特定装置１Ａの筐体に加わった外力に応じた特定装置１Ａの並進運動の加速度を検知し、検知した加速度の大きさを示す加速度データを処理装置４０へ出力する。本実施形態では、特定装置１Ａに撮像装置５０が固定されているため、センサー６０により検知される特定装置１Ａの加速度は、撮像装置５０の加速度でもある。

【0020】

記憶装置３０は、処理装置４０が読み取り可能な記録媒体である。記憶装置３０は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭ（Radom Access Memory）である。

【0021】

記憶装置３０の不揮発性メモリーには、処理装置４０によって実行されるプログラムＰＡが記憶される。記憶装置３０の揮発性メモリーはプログラムＰＡを実行する際のワークエリアとして処理装置４０によって利用される。プログラムＰＡは、「アプリケーションプログラム」、「アプリケーションソフトウェア」又は「アプリ」とも称され得る。プログラムＰＡは、例えば、通信装置２０を介して不図示のサーバー等から取得され、その後、記憶装置３０に記憶される。プログラムＰＡは、記憶装置３０に予め記憶されてもよい。

【0022】

処理装置４０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサー、即ちコンピューターを含んで構成される。処理装置４０は、単一のコンピューターで構成されてもよいし、複数のコンピューターで構成されてもよい。処理装置４０は、プログラムＰＡの実行開始を指示する操作がタッチパネル１０に対して為されたことを契機としてプログラムＰＡを不揮発性メモリーから揮発性メモリーに読み出し、プログラムＰＡの実行を開始する。プログラムＰＡに従って作動中の処理装置４０は、図１に示す取得部４００、判定部４１０、第１撮像制御部４２０、第１特定部４３０、第２撮像制御部４４０、及び第２特定部４５０として機能する。図１に示す取得部４００、判定部４１０、第１撮像制御部４２０、第１特定部４３０、第２撮像制御部４４０、及び第２特定部４５０は、処理装置４０をプログラムＰＡに従って動作させることで実現されるソフトウェアモジュールである。

【0023】

取得部４００は、特定装置１Ａとプロジェクター２とがネットワーク接続された状況下においてタッチパネル１０に対する操作により対応関係の特定開始を指示されたことを契機として、プロジェクター情報を取得する。また、取得部４００は、プロジェクター情報を取得した時刻と、当該時刻から所定時間だけ後の時刻の各々における加速度の大きさを示す加速度データをセンサー６０から取得する。プロジェクター情報を取得した時刻は第１の時刻の一例である。第１の時刻から所定時間だけ後の時刻は第２の時刻の一例である。第１の時刻における加速度は第１の加速度の一例である。第２の時刻における加速度は第２の加速度の一例である。第１の加速度の大きさを表す加速度データは第１の加速度データの一例である。第２の加速度の大きさを表す加速度データは第２の加速度データの一例である。

【0024】

判定部４１０は、第１の加速度データ及び第２の加速度データに基づいて、被投写物ＳＣに対して撮像装置５０が固定されているか否かを判定する。より詳細に説明すると、判定部４１０は、まず、第１の時刻から第２の時刻までの所定時間における撮像装置５０の速度の変化量を算出する。具体的には、判定部４１０は、第１の加速度の大きさと第２の加速度の大きさとの和を、第１の時刻から第２の時刻までの所定時間における撮像装置５０の速度の変化量とする。判定部４１０は、撮像装置５０の速度の変化量に基づいて、撮像装置５０が固定されているか否かを判定する。具体的には、撮像装置５０の速度の変化量が予め定められた閾値未満である場合には、判定部４１０は、撮像装置５０が固定されていると判定する。逆に、撮像装置５０の速度の変化量が予め定められた閾値以上である場合には、判定部４１０は、撮像装置５０が固定されていないと判定する。

【0025】

第１撮像制御部４２０は、プロジェクター２に投写させる第１の計測パターンのパターン画像として第１群に属する複数の画像をプロジェクター情報に基づいて生成する。第１の計測パターンは、特定装置１Ａが固定されていない状態、即ち撮像装置５０が固定されていない状態において、プロジェクター座標系とカメラ座標系との対応関係を特定するための計測パターンである。撮像装置５０が固定されていない場合には、第１撮像制御部４２０と、後述の第１特定部４３０とにより、プロジェクター座標系とカメラ座標系との対応関係が特定される。第１撮像制御部４２０は、プロジェクター情報に含まれる解像度情報から第１群に属する各計測パターンの表す第１計測パターンデータを生成する。第１撮像制御部４２０は、第１計測パターンデータの表す各計測パターンを順次投写するようにプロジェクター２を制御する。また、第１撮像制御部４２０は、被投写物ＳＣに順次投写される各計測パターンを撮像するようにユーザーに促し、ユーザーの操作に応じて撮像装置５０に撮像を行わせることで撮像画像を生成する。

【0026】

第１特定部４３０は、第１群の各画像と、第１群の各画像が投写されている状態において撮像された被投写物ＳＣの各撮像画像とに基づいて、プロジェクター座標系とカメラ座標系との対応関係を特定する。第１特定部４３０は、撮像装置５０により撮像された撮像画像における第１の計測パターンの座標をプロジェクター２の表示装置における第１の計測パターンの座標に射影変換するための変換行列を複数の第１の計測パターンの画像と複数の撮像画像とから生成する。

【0027】

第２撮像制御部４４０は、プロジェクター２に投写させる計測パターンのパターン画像として第１群とは異なる第２群に属する複数の画像をプロジェクター情報に基づいて生成する。第２の計測パターンは、特定装置１Ａが固定されている状態、即ち撮像装置５０が固定されている状態において、プロジェクター座標系とカメラ座標系との対応関係を特定するための計測パターンである。撮像装置５０が固定されている場合には、第２撮像制御部４４０と、後述の第２特定部４５０とにより、プロジェクター座標系とカメラ座標系との対応関係が特定される。

【0028】

第２撮像制御部４４０は、プロジェクター情報に含まれる解像度情報から第２群に属する各計測パターンの表す第２計測パターンデータを生成する。第２撮像制御部４４０は、第２計測パターンデータの表す各計測パターンを順次投写するようにプロジェクター２を制御する。また、第２撮像制御部４４０は、被投写物ＳＣに順次投写される各計測パターンを撮像するようにユーザーに促し、ユーザーの操作に応じて撮像装置５０に撮像を行わせることで撮像画像を生成する。第２特定部４５０は、第２群の各画像と、第２群の各画像が投写されている状態において撮像された被投写物ＳＣの各撮像画像とに基づいて、プロジェクター座標系とカメラ座標系との対応関係を特定する。

【0029】

前述したように、本実施形態では計測パターンとしてバイナリコードパターンが用いられる。つまり、第１の計測パターンと第２の計測パターンは、バイナリコードパターンという点では共通である。バイナリコードパターンとは、バイナリコードを使って表示装置の座標を表現するための画像のことをいう。バイナリコードとは、任意の数値を２進数で表現した場合の各桁の値をスイッチのオン／オフによって表現する技法である。計測パターンとしてバイナリコードパターンを用いる場合、プロジェクター２により投写される画像が上記のスイッチにあたり、座標値を表す２進数の桁数分の画像が必要となる。また、Ｘ座標とＹ座標とで夫々別個の画像が必要となる。例えば、プロジェクター２の表示パネルの解像度、即ち縦方向及び横方向の画素数が夫々６桁の２進数で表現される場合、Ｘ座標を表現するために６枚の画像が必要となり、Ｙ座標を表現するために６枚の画像が必要となる。

【0030】

バイナリコードパターンを計測パターンとして用いる場合、照明等の外乱光の影響により計測のロバスト性が低下することが一般的に知られている。このため、バイナリコードパターンを計測パターンとして用いる場合には、外乱光の影響を抑え、計測のロバスト性を向上させるために相補パターンを併用することが一般的である。相補パターンとは、白黒を反転した画像のことをいう。以下では、１を白で表し、０を黒で表すバイナリコードパターンを「ポジティブパターン」と呼び、それを反転させた相補パターンを「ネガティブパターン」と呼ぶ。解像度情報の示す縦方向及び横方向の画素数が夫々６桁の２進数で表現される場合、計測のロバスト性の低下を考慮すれば、図２に示すように、ポジティブパターンが１２枚、ネガティブパターンが１２枚の合計２４枚の計測パターンを用いることが望ましい。

【0031】

本実施形態では、第２撮像制御部４４０は、解像度情報の示す縦方向及び横方向の画素数が夫々６桁の２進数で表現される場合、図２に示す２４枚の計測パターンを第２群の各画像として生成する。計測のロバスト性の低下を考慮し、プロジェクター座標系とカメラ座標系との対応関係を精度良く特定するためである。これに対して、第１撮像制御部４２０は、図３に示す１２枚の計測パターンを第１群の各画像として生成する。図３と図２とを対比すれば明らかように、第１の計測パターンは「ポジティブパターン」と「ネガティブパターン」とのうちの一方で構成されている点が、第２の計測パターンと異なる。つまり、本実施形態における第１群の画像数は第２群の画像数よりも少ない。撮像装置５０が固定されていない状態では、計測のロバスト性の向上よりも、対応関係の特定を手早く終わらせることを優先させることで、手振れの影響の低減が期待されるからである。

【0032】

また、図３と図２とを対比すれば明らかなように、第１群の各画像は、第１群の各画像を互いに位置合わせするためのマーカーＭを四隅に有する点において第２群の各画像と異なる。第１特定部４３０は、撮像装置５０により撮像された各撮像画像における４つのマーカーＭが互いに重なるように各撮像画像に射影変換を施す。そして、第１特定部４３０は、第１群の各画像と、射影変換済の各撮像画像とに基づいて、プロジェクター座標系とカメラ座標系との対応関係を特定する。４つのマーカーＭが互いに重なるように各撮像画像に射影変換を施すことで手振れの影響が低減するからである。

【0033】

本実施形態では、計測パターンとしてバイナリコードパターンが用いられるが、ドットパターン、矩形パターン、多角形パターン、チェッカーパターン、グレイコードパターン、位相シフトパターン、又はランダムドットパターン等の他の構造化光が用いられてもよい。計測パターンとしてグレイコードパターンを用い、且つ解像度情報の示す縦方向及び横方向の画素数が夫々６桁の２進数で表現される場合おける第２計測パターンとしては図４に示す２４枚が挙げられ、第１計測パターンとしては図５に示す１２枚が挙げられる。

【0034】

また、プログラムＰＡに従って作動している処理装置４０は、本開示の特定方法を実行する。図６は、この特定方法の流れを示すフローチャートである。図６に示すように、この特定方法には、取得処理ＳＡ１００、判定処理ＳＡ１１０、第１撮像制御処理ＳＡ１２０、第１特定処理ＳＡ１３０、第２撮像制御処理ＳＡ１４０、及び第２特定処理ＳＡ１５０が含まれる。

【0035】

取得処理ＳＡ１００では、処理装置４０は、取得部４００として機能する。取得処理ＳＡ１００では、処理装置４０は、タッチパネル１０に対する操作により対応関係の特定開始を指示されたことを契機として、プロジェクター情報を取得する。また、取得処理ＳＡ１００では、処理装置４０は、第１の加速度データと第２の加速度データとを取得する。

【0036】

判定処理ＳＡ１１０では、処理装置４０は、第１の加速度データ及び第２の加速度データに基づいて、撮像装置５０が固定されているか否かを判定する。前述したように、判定処理ＳＡ１１０では、処理装置４０は、まず、第１の時刻から第２の時刻までの所定時間における撮像装置５０の速度の変化量を算出する。具体的には、処理装置４０は、第１の加速度データの示す第１の加速度の大きさと第２の加速度データの示す第２の加速度の大きさとの和を、第１の時刻から第２の時刻までの所定時間における撮像装置５０の速度の変化量とする。次いで、処理装置４０は、撮像装置５０の速度の変化量が予め定められた閾値未満である場合には撮像装置５０が固定されていると判定し、当該変化量が予め定められた閾値以上である場合には撮像装置５０が固定されていないと判定する。

【0037】

撮像装置５０の速度の変化量が予め定められた閾値未満である場合には判定処理ＳＡ１１０の判定結果は“Ｙｅｓ”となり、撮像装置５０の速度の変化量が予め定められた閾値以上である場合には判定処理ＳＡ１１０の判定結果は“Ｎｏ”となる。判定処理ＳＡ１１０の判定結果が“Ｎｏ”、即ち否定である場合には、第１撮像制御処理ＳＡ１２０、及び第１特定処理ＳＡ１３０が実行される。判定処理ＳＡ１１０の判定結果が“Ｙｅｓ”、即ち肯定である場合には、第２撮像制御処理ＳＡ１４０、及び第２特定処理ＳＡ１５０が実行される。

【0038】

第１撮像制御処理ＳＡ１２０では、処理装置４０は、第１撮像制御部４２０として機能する。第１撮像制御処理ＳＡ１２０では、処理装置４０は、第１群の各画像をプロジェクター情報に基づいて生成し、第１群の各画像を順次投写するようにプロジェクター２を制御する。また、処理装置４０は、被投写物ＳＣに順次投写される第１群の各画像を撮像するようにユーザーに促し、ユーザーの操作に応じて撮像装置５０に撮像を行わせることで撮像画像を生成する。

【0039】

第１特定処理ＳＡ１３０では、処理装置４０は、第１特定部４３０として機能する。第１特定処理ＳＡ１３０では、処理装置４０は、第１群の各画像と、第１群の各画像が投写されている状態において撮像された被投写物ＳＣの各撮像画像とに基づいて、プロジェクター座標系とカメラ座標系との対応関係を特定する。より具体的には、第１特定処理ＳＡ１３０では、処理装置４０は、撮像装置５０により撮像された撮像画像における第１の計測パターンの座標をプロジェクター２の表示装置における第１の計測パターンの座標に射影変換するための変換行列を複数の第１の計測パターンの画像と複数の撮像画像とから生成する。

【0040】

第２撮像制御処理ＳＡ１４０では、処理装置４０は、第２撮像制御部４４０として機能する。第２撮像制御処理ＳＡ１４０では、処理装置４０は、第２群の各画像をプロジェクター情報に基づいて生成し、第２群の各画像を順次投写するようにプロジェクター２を制御する。また、処理装置４０は、被投写物ＳＣに順次投写される第２群の各画像を撮像するようにユーザーに促し、ユーザーの操作に応じて撮像装置５０に撮像を行わせることで撮像画像を生成する。

【0041】

第２特定処理ＳＡ１５０では、処理装置４０は、第２特定部４５０として機能する。第２特定処理ＳＡ１５０では、処理装置４０は、第２群の各画像と、第２群の各画像が投写されている状態において撮像された被投写物ＳＣの各撮像画像とに基づいて、プロジェクター座標系とカメラ座標系との対応関係を特定する。より具体的には、第２特定処理ＳＡ１５０では、処理装置４０は、撮像装置５０により撮像された撮像画像における第２の計測パターンの座標をプロジェクター２の表示装置における第２の計測パターンの座標に射影変換するための変換行列を複数の第２の計測パターンの画像と複数の撮像画像とから生成する。

【0042】

本実施形態の特定装置１Ａによれば、撮像装置５０が固定されている場合には、「ポジティブパターン」と「ネガティブパターン」とを含む第２群の各画像を用いてカメラ座標系とプロジェクター座標系の対応関係が特定されるので、対応関係を精度良く特定できる。一方、撮像装置５０が固定されていない場合には、「ポジティブパターン」と「ネガティブパターン」との何れか一方を含む第１群の各画像を用いてカメラ座標系とプロジェクター座標系の対応関係が特定される。第１群の画像数は第２群の画像数よりも少ないので、撮像装置５０が固定されていない場合には、撮像装置５０が固定されている場合に比較して短時間で対応関係が特定され、手振れ等に起因する影響を低減できる。また、第１群の各画像の四隅には位置合わせのためのマーカーＭが設けられている。第１特定部４３０は、撮像装置５０により撮像された各撮像画像における４つのマーカーＭが互いに重なるように各撮像画像に射影変換を施し、射影変換済の各撮像画像とに基づいて、プロジェクター座標系とカメラ座標系との対応関係を特定するので、手振れの影響を低減させることができる。

【0043】

２．変形例
上記実施形態は、以下のように変更されてもよい。
（１）上記実施形態におけるセンサー６０は、特定装置１Ａの並進運動の加速度を検知するセンサーであったが、特定装置１Ａの重心回りの回転運動の加速度、即ち角加速度を検知するセンサーであってもよい。センサー６０が角加速度を検知するセンサーである場合、判定処理ＳＡ１１０では、第１の時刻から第２の時刻までの間の角速度の変化量に基づいて撮像装置５０が固定されているか否かを判定してもよい。角速度の変化量に基づいて撮像装置５０が固定されているか否かを判定する場合、第１の時刻における角加速度と第２の時刻における角加速度との和を角速度の変化量とすればよい。

【0044】

（２）上述の実施形態における判定処理ＳＡ１１０では、第１の時刻においてセンサー６０により検出された加速度と第２の時刻においてセンサー６０により検出された加速度との和が撮像装置５０の速度の変化量とされた。しかし、センサー６０の出力に基づいて第１の時刻における撮像装置５０の速度と第２の時刻における撮像装置５０の速度とを算出し、第１の時刻における速度と第２の時刻における速度との差を撮像装置５０の速度の変化量としてもよい。また、第１の時刻における撮像装置５０の速度と第２の時刻における撮像装置５０の速度との和を撮像装置５０の位置の変化量とし、撮像装置５０の位置の変化量に基づいて撮像装置５０が固定されているか否かを判定してもよい。具体的には、撮像装置５０の位置の変化量が閾値未満であれば撮像装置５０が固定されていると判定し、撮像装置５０の位置の変化量が閾値以上であれば撮像装置５０が固定されていないと判定すればよい。また、センサー６０として速度センサーを用いて第１の時刻における撮像装置５０の速度と第２の時刻における撮像装置５０の速度とを検出してもよい。

【0045】

（３）撮像装置５０の速度又は位置の変化量ではなく、第１の時刻、第２の時刻、第３の時刻、及び第４の時刻の各々における加速度、即ち第１の時刻から第４の時刻に至る時間区間における加速度の分布に基づいて、撮像装置５０が固定されているか否かを判定してもよい。ユーザーが特定装置１Ａを手で持って撮像を行うと、撮像装置５０の加速度の分布には、手振れに起因する周期が現れるからである。具体的には、取得部４００は、第１の時刻、第２の時刻、第３の時刻、及び第４の時刻の各々における撮像装置５０の加速度を検出し、第１の時刻から第４の時刻までの時間領域における撮像装置５０の加速度の分布を周波数領域のスペクトラムに変換する。判定部４１０は、当該スペクトラムのピークにおける強度が閾値以上である場合には撮像装置５０が固定されていないと判定し、スペクトラムのピークにおける強度が閾値未満である場合には撮像装置５０が固定されていると判定する。

【0046】

（４）判定処理ＳＡ１１０では、撮像装置５０が固定されているか否かを示す情報の入力をユーザーに促す画面をタッチパネル１０の表示装置に表示し、ユーザーにより入力された情報に基づいて撮像装置５０が固定されているか否かを判定してもよい。本態様においては、センサー６０及び取得処理ＳＡ１００は不要である。

【0047】

（５）上述の実施形態における取得部４００、判定部４１０、第１撮像制御部４２０、第１特定部４３０、第２撮像制御部４４０、及び第２特定部４５０はソフトウェアモジュールであったが、取得部４００、判定部４１０、第１撮像制御部４２０、第１特定部４３０、第２撮像制御部４４０、及び第２特定部４５０の一部又は全部は、ハードウェアであってもよい。このハードウェアの一例としては、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、及びＦＰＧＡ（Field Programmable Gate Array）が挙げられる。取得部４００、判定部４１０、第１撮像制御部４２０、第１特定部４３０、第２撮像制御部４４０、及び第２特定部４５０の一部又は全部がハードウェアであっても、上記実施形態と同一の効果が奏される。

【0048】

（６）特定装置１Ａは、撮像装置５０を有するスマートフォンであったが、撮像装置を備えるタブレット端末或いは撮像装置を備えるノート型パーソナルコンピューターであってもよい。ノート型パーソナルコンピューターを本開示の特定装置として用いる場合には、マウス又はキーボードを入力装置として各種操作を受け付けてもよい。また、スマートフォン或いはタブレット端末等の撮像機能を有する携帯端末とＬＡＮ又はインターネットを介してと通信するサーバー装置とを有するコンピューターシステムにおいて、サーバー装置の処理装置を取得部４００、判定部４１０、第１撮像制御部４２０、第１特定部４３０、第２撮像制御部４４０、及び第２特定部４５０として機能させ、当該携帯端末に撮像装置及び入力装置の役割を担わせてもよい。このコンピューターシステムは本開示の特定システムの一例である。

【0049】

（７）上述した実施形態では、プログラムＰＡが記憶装置３０に記憶済であった。しかし、プログラムＰＡを単体で製造又は配布してもよい。プログラムＰＡの具体的な配布方法としては、フラッシュＲＯＭ（Read Only Memory）等のコンピューター読み取り可能な記録媒体に上記プログラムＰＡを書き込んで配布する態様、又はインターネット等の電気通信回線経由のダウンロードにより配布する態様が考えられる。当該プログラムＰＡをパーソナルコンピューター等の一般的な情報処理装置にインストールし、当該情報処理装置のＣＰＵ等のコンピューターを当該プログラムに従って作動させることで当該情報処理装置を本開示の特定装置として機能させることが可能になる。

【0050】

（８）上述した実施形態における第１撮像制御部４２０が生成する第１群の画像は、図３に示すようにバイナリコードパターンが表示されるバイナリコードパターン部と４つのマーカーＭを含めて無彩色のみで構成されていても良いし、バイナリコードパターン部と４つのマーカーＭとの色調を異ならせるように構成されていても良い。例えば、バイナリコードパターン部を赤色や緑色の有彩色で構成し、４つのマーカーＭを白色や黒色の無彩色で構成しても良いし、バイナリコードパターン部を白色や黒色の無彩色で構成し、４つのマーカーＭを赤色や緑色の有彩色で構成しても良い。このように、バイナリコードパターン部と４つのマーカーＭとの色調を異ならせることにより、第１群の各画像を撮像装置５０により撮像された各撮像画像から、４つのマーカーＭをより高精度に検出することが可能となる。これは計測パターンとしてバイナリコードパターン以外の、ドットパターン、矩形パターン、多角形パターン、チェッカーパターン、グレイコードパターン、位相シフトパターン、又はランダムドットパターン等の他の構造化光が用いる場合も同様である。

【0051】

３．各実施形態及び各変形例の少なくとも１つから把握される態様
本開示は、上述した各実施形態及び変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の態様で実現することができる。例えば、本開示は、以下の態様によっても実現可能である。以下に記載した各態様中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、或いは本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【0052】

本開示の特定方法は、判定処理ＳＡ１１０と、第１撮像制御処理ＳＡ１２０と、第１特定処理ＳＡ１３０と、第２撮像制御処理ＳＡ１４０と、第２特定処理ＳＡ１５０と、を含む。判定処理ＳＡ１１０では、プロジェクター２から投写画像を投写される被投写物ＳＣを撮像する撮像装置５０が固定されているか否かが判定される。判定処理ＳＡ１１０の判定結果が否定である場合、即ち、撮像装置５０が固定されていないと判定される場合には、第１撮像制御処理ＳＡ１２０及び第１特定処理ＳＡ１３０が実行される。これに対して、判定処理ＳＡ１１０の判定結果が肯定である場合、即ち、撮像装置５０が固定されていると判定される場合には、第２撮像制御処理ＳＡ１４０、及び第２特定処理ＳＡ１５０が実行される。第１撮像制御処理ＳＡ１２０では、第１群に属する各画像がプロジェクター２から被投写物ＳＣへ順次投写され、第１群に属する各画像が投写されている状態において、被投写物ＳＣを撮像装置５０により撮像することで撮像画像が生成される。第１特定処理ＳＡ１３０では、プロジェクター２から被投写物ＳＣへ投写された第１群の各画像と撮像装置５０による各撮像画像とに基づいて、被投写物ＳＣに投写された画像上の位置と撮像画像上の位置との対応関係が特定される。第２撮像制御処理ＳＡ１４０では、第２群に属する各画像がプロジェクター２から被投写物ＳＣへ順次投写され、第２群に属する各画像が投写されている状態において、被投写物ＳＣを撮像装置５０により撮像することで撮像画像が生成される。第２特定処理ＳＡ１５０では、プロジェクター２から被投写物ＳＣへ投写された第２群の各画像と撮像装置５０による各撮像画像とに基づいて、被投写物ＳＣに投写された画像上の位置と撮像画像上の位置との対応関係が特定される。

【0053】

本態様によれば、撮像装置５０が固定されている場合と固定されていない場合とで、異なる群の画像が用いられるので、撮像装置５０の固定状態によらず、プロジェクター座標系とカメラ座標系との対応関係を精度良く特定することが可能になる。具体的には、第２群の各画像には、「ポジティブパターン」と「ネガティブパターン」とを含めておけばよく、第１群の各画像には、「ポジティブパターン」と「ネガティブパターン」の何れか一方を含めておけばよい。また、第１群の各画像の四隅には位置合わせのためのマーカーＭを設けてもよい。なお、第１撮像制御処理ＳＡ１２０と第２撮像制御処理ＳＡ１４０は一つの撮像制御処理にまとめられてもよい。この撮像制御処理では、撮像装置５０が固定されていないと判定される場合には、プロジェクター２から被投写物ＳＣに第１群に属する各画像が順次投写される一方、撮像装置５０が固定されていると判定される場合にはプロジェクター２から被投写物ＳＣに第２群に属する各画像が順次投写される。そして、この撮像制御処理では、第１群に属する各画像又は第２群に属する各画像が投写されている状態において、被投写物ＳＣを撮像装置５０により撮像することで撮像画像が生成される。第１特定処理ＳＡ１３０及び第２特定処理ＳＡ１５０についても同様に、一つの特定処理にまとめられてもよい。この特定処理では、プロジェクター２から被投写物ＳＣに投写された画像と撮像装置５０による撮像画像とに基づいて、被投写物ＳＣに投写された画像上の位置と撮像画像上の位置との対応関係が特定される。

【0054】

より好ましい態様の特定方法では、判定処理ＳＡ１１０において、第１の時刻から第２の時刻までの撮像装置５０の位置の変化量に基づいて、撮像装置５０は固定されているか否かが判定されてもよい。具体的には、第１の時刻から第２の時刻までの撮像装置５０の位置の変化量が、閾値以上である場合には、固定されていないと判定され、閾値未満である場合には固定されていると判定される。本態様によれば、第１の時刻から第２の時刻までの撮像装置５０の位置の変化量に基づいて、撮像装置５０が固定されているか否かを判定できる。

【0055】

別の好ましい態様の特定方法では、判定処理ＳＡ１１０において、第１の時刻から第２の時刻までの撮像装置５０の速度の変化量に基づいて、撮像装置５０は固定されているか否かが判定されてもよい。具体的には、第１の時刻から第２の時刻までの撮像装置５０の速度の変化量が閾値以上である場合には固定されていないと判定され、閾値未満である場合には固定されていると判定される。本態様によれば、第１の時刻から第２の時刻までの撮像装置５０の速度の変化量に基づいて、撮像装置５０が固定されているか否かを判定できる。

【0056】

別の好ましい態様の特定方法では、判定処理ＳＡ１１０において、第１の時刻における撮像装置５０の加速度である第１の加速度、及び第２の時刻における撮像装置５０の加速度である第２の加速度が取得されてもよい。この態様では、第１の加速度と第２の加速度との和が撮像装置５０の速度の変化量とされる。本態様によれば、第１の加速度と第２の加速度とに基づいて、第１の時刻から第２の時刻までの撮像装置５０の速度の変化量を算出できる。

【0057】

別の好ましい態様の特定方法では、判定処理ＳＡ１１０において、第１の時刻、第２の時刻、第３の時刻、及び第４の時刻の各々における前記撮像装置の加速度が取得されてもよい。判定処理ＳＡ１１０では、第１の時刻から第４の時刻までの時間領域における撮像装置５０の加速度の分布が周波数領域のスペクトラムに変換される。そして、スペクトラムのピークにおける強度が閾値以上である場合には撮像装置５０が固定されていないと判定され、スペクトラムのピークにおける強度が閾値未満である場合には撮像装置５０が固定されていると判定される。本態様によれば、第１の時刻から第４の時刻までの時間領域における撮像装置５０の加速度の分布に基づいて、撮像装置５０が固定されているか否かを判定できる。

【0058】

別の好ましい態様の特定方法では、判定処理ＳＡ１１０では、撮像装置５０が固定されているか否かを示す情報の入力をユーザーに促し、ユーザーにより入力された情報に基づいて撮像装置５０が固定されているか否かが判定されてもよい。本態様によれば、撮像装置５０が固定されているか否かをユーザーに指定させることができる。

【0059】

本開示の特定システムは、プロジェクター２と、撮像装置５０と、処理装置４０と、を備える。処理装置４０は、前述の判定処理ＳＡ１１０、撮像制御処理、及び特定処理を実行する。本態様によっても、撮像装置５０の固定状態によらず、プロジェクター座標系とカメラ座標系との対応関係を精度良く特定することが可能になる。

【0060】

本開示のプログラムは、コンピューターに、前述の判定処理ＳＡ１１０、撮像制御処理、及び特定処理を実行させる。本態様によっても、撮像装置の固定状態によらず、プロジェクター座標系とカメラ座標系との対応関係を精度良く特定することが可能になる。

【符号の説明】

【0061】

１Ａ…特定装置、２…プロジェクター、１０…タッチパネル、２０…通信装置、３０…記憶装置、４０…処理装置、４００…取得部、４１０…判定部、４２０…第１撮像制御部、４３０…第１特定部、４４０…第２撮像制御部、４５０…第２特定部、５０…撮像装置、６０…センサー、ＰＡ…プログラム、ＳＣ…被投写物、５Ａ…画像表示システム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】