ホーム > 特許ランキング > セイコーエプソン株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024075176
(43)【公開日】2024-06-03
(54)【発明の名称】計測方法、計測システムおよび情報処理装置
(51)【国際特許分類】
H04N 5/74 20060101AFI20240527BHJP
G09G 5/00 20060101ALI20240527BHJP
G09G 5/37 20060101ALI20240527BHJP
G03B 21/14 20060101ALI20240527BHJP
G06T 7/521 20170101ALN20240527BHJP
【ＦＩ】
H04N5/74 D
G09G5/00 510B
G09G5/00 550C
G09G5/00 530H
G09G5/37 300
G09G5/00 X
G03B21/14 Z
G06T7/521
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022186428
(22)【出願日】2022-11-22
(71)【出願人】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
(74)【代理人】
【識別番号】110003177
【氏名又は名称】弁理士法人旺知国際特許事務所
(72)【発明者】
【氏名】仙敷 大樹
【テーマコード（参考）】
2K203
5C058
5C182
5L096
【Ｆターム（参考）】
2K203FA02
2K203FA64
2K203FA82
2K203FA93
2K203FB03
2K203GC22
2K203KA44
2K203KA56
2K203MA23
5C058BA27
5C058BA35
5C058BB25
5C058EA02
5C182AA03
5C182AA04
5C182BA03
5C182BA06
5C182BA14
5C182BA29
5C182BC22
5C182BC25
5C182BC26
5C182CB12
5C182CB23
5C182CB42
5C182CB44
5C182CC26
5C182DA70
5L096AA09
5L096CA02
5L096DA02
5L096FA12
5L096FA38
5L096FA69
(57)【要約】 （修正有）
【課題】同一平面に含まれる複数の点の座標を変換するための三次元射影変換行列を生成する。
【解決手段】平面である第１の面と、非平面である第２の面と、を含むスクリーンにおいて、第１の面の第１領域に含まれる複数の第１の点の第１の座標系における座標を表す第１座標情報を生成することと、複数の第１の点の第２の座標系における座標を表す第２座標情報を生成することと、第１の座標系において、複数の第１の点を含む平面に含まれない第２の点の座標を表す第３座標情報を生成することと、第２の座標系において、複数の第１の点を含む平面に含まれない第３の点の座標を表す第４座標情報を生成することと、第１座標情報と、第２座標情報と、第３座標情報と、第４座標情報と、に基づいて、第２の座標系における複数の第１の点の座標を第１の座標系における複数の第１の点の座標へ変換するための三次元射影変換行列を生成することと、を含む。
【選択図】図１４
【解決手段】平面である第１の面と、非平面である第２の面と、を含むスクリーンにおいて、第１の面の第１領域に含まれる複数の第１の点の第１の座標系における座標を表す第１座標情報を生成することと、複数の第１の点の第２の座標系における座標を表す第２座標情報を生成することと、第１の座標系において、複数の第１の点を含む平面に含まれない第２の点の座標を表す第３座標情報を生成することと、第２の座標系において、複数の第１の点を含む平面に含まれない第３の点の座標を表す第４座標情報を生成することと、第１座標情報と、第２座標情報と、第３座標情報と、第４座標情報と、に基づいて、第２の座標系における複数の第１の点の座標を第１の座標系における複数の第１の点の座標へ変換するための三次元射影変換行列を生成することと、を含む。
【選択図】図１４
【特許請求の範囲】
【請求項1】
平面である第１の面と、非平面である第２の面と、を含むスクリーンにおいて、前記第１の面の第１領域に含まれる複数の第１の点の第１の座標系における座標を表す第１座標情報を生成することと、
前記複数の第１の点の第２の座標系における座標を表す第２座標情報を生成することと、
前記第１の座標系において、前記複数の第１の点を含む平面に含まれない第２の点の座標を表す第３座標情報を生成することと、
前記第２の座標系において、前記複数の第１の点を含む平面に含まれない第３の点の座標を表す第４座標情報を生成することと、
前記第１座標情報と、前記第２座標情報と、前記第３座標情報と、前記第４座標情報と、に基づいて、前記第２の座標系における前記複数の第１の点の座標を前記第１の座標系における前記複数の第１の点の座標へ変換するための三次元射影変換行列を生成することと、
前記三次元射影変換行列に基づいて、前記スクリーンに含まれる四つの設定点の前記第１の座標系における座標を表す第５座標情報を生成することと、
前記第５座標情報の示す座標が所定の条件を充足しない場合、前記第３座標情報および前記第４座標情報の少なくとも一方を更新する第１の更新を実行し、前記第１の更新の結果に基づいて前記三次元射影変換行列を更新する第２の更新を実行し、前記第２の更新によって更新された前記三次元射影変換行列に基づいて前記第５座標情報を更新する第３の更新を実行することと、
を含み、
前記四つの設定点を頂点とする四角形は、所定の形状となり、
前記四つの設定点のうちの少なくとも一つは、前記第２の面に含まれる、
計測方法。
前記複数の第１の点の第２の座標系における座標を表す第２座標情報を生成することと、
前記第１の座標系において、前記複数の第１の点を含む平面に含まれない第２の点の座標を表す第３座標情報を生成することと、
前記第２の座標系において、前記複数の第１の点を含む平面に含まれない第３の点の座標を表す第４座標情報を生成することと、
前記第１座標情報と、前記第２座標情報と、前記第３座標情報と、前記第４座標情報と、に基づいて、前記第２の座標系における前記複数の第１の点の座標を前記第１の座標系における前記複数の第１の点の座標へ変換するための三次元射影変換行列を生成することと、
前記三次元射影変換行列に基づいて、前記スクリーンに含まれる四つの設定点の前記第１の座標系における座標を表す第５座標情報を生成することと、
前記第５座標情報の示す座標が所定の条件を充足しない場合、前記第３座標情報および前記第４座標情報の少なくとも一方を更新する第１の更新を実行し、前記第１の更新の結果に基づいて前記三次元射影変換行列を更新する第２の更新を実行し、前記第２の更新によって更新された前記三次元射影変換行列に基づいて前記第５座標情報を更新する第３の更新を実行することと、
を含み、
前記四つの設定点を頂点とする四角形は、所定の形状となり、
前記四つの設定点のうちの少なくとも一つは、前記第２の面に含まれる、
計測方法。
【請求項2】
撮像装置を制御することで、前記第１領域を含む範囲を撮像した撮像画像を取得することを更に含み、
前記第１座標情報および前記第２座標情報の少なくとも一方は、前記撮像画像に基づいて生成される、
請求項１に記載の計測方法。
前記第１座標情報および前記第２座標情報の少なくとも一方は、前記撮像画像に基づいて生成される、
請求項１に記載の計測方法。
【請求項3】
前記第２の点は、前記第１の座標系において、前記撮像装置の位置を示す点と、前記複数の第１の点を含む平面に含まれる第４の点と、を結ぶ第１の直線上に位置し、
前記第３の点は、前記第２の座標系において、前記撮像装置の位置を示す点と、前記複数の第１の点を含む平面に含まれる点であって、前記第４の点と対応する第５の点と、を結ぶ第２の直線上に位置する、
請求項２に記載の計測方法。
前記第３の点は、前記第２の座標系において、前記撮像装置の位置を示す点と、前記複数の第１の点を含む平面に含まれる点であって、前記第４の点と対応する第５の点と、を結ぶ第２の直線上に位置する、
請求項２に記載の計測方法。
【請求項4】
前記第１の更新が前記第３座標情報を更新することを含む場合、前記第３座標情報を更新することは、前記第２の点の座標を、前記第１の直線上の他の座標へ変更することを含み、
前記第１の更新が前記第４座標情報を更新することを含む場合、前記第４座標情報を更新することは、前記第３の点の座標を、前記第２の直線上の他の座標へ変更することを含む、
請求項３に記載の計測方法。
前記第１の更新が前記第４座標情報を更新することを含む場合、前記第４座標情報を更新することは、前記第３の点の座標を、前記第２の直線上の他の座標へ変更することを含む、
請求項３に記載の計測方法。
【請求項5】
前記第５座標情報を生成することは、前記スクリーンに画像を投射する投射装置から、前記四つの設定点と一対一で対応する四つの第６の点を含む第１のパターン画像を投射させることで、前記スクリーン上に第１投射画像を表示させることを含み、
前記四つの設定点は、前記第１投射画像に含まれる、
請求項１から請求項４のうちのいずれか一項に記載の計測方法。
前記四つの設定点は、前記第１投射画像に含まれる、
請求項１から請求項４のうちのいずれか一項に記載の計測方法。
【請求項6】
前記スクリーンに画像を投射する投射装置から、前記複数の第１の点と一対一で対応する複数の第７の点を含む第２のパターン画像を投射させることで、前記スクリーン上に第２投射画像を表示させることを更に含み、
前記撮像画像は、前記複数の第１の点と一対一で対応する複数の第８の点を含み、
前記第１座標情報および前記第２座標情報のどちらか一方は、前記撮像画像と、前記第２のパターン画像と、に基づいて生成される、
請求項２から請求項４のうちのいずれか一項に記載の計測方法。
前記撮像画像は、前記複数の第１の点と一対一で対応する複数の第８の点を含み、
前記第１座標情報および前記第２座標情報のどちらか一方は、前記撮像画像と、前記第２のパターン画像と、に基づいて生成される、
請求項２から請求項４のうちのいずれか一項に記載の計測方法。
【請求項7】
前記第１座標情報を生成することは、第１レンズを備え、前記第１レンズに関する内部パラメーターが既知である第１の装置に入力された画像および前記第１の装置から出力される画像のいずれか一方である第１の画像と、第２レンズを備え、前記第２レンズに関する内部パラメーターが既知である第２の装置に入力された画像および前記第２の装置から出力される画像のいずれか一方である第２の画像と、に基づいて、前記第１座標情報を生成することを含み、
前記第２座標情報を生成することは、第３レンズを備え、前記第３レンズに関する内部パラメーターが未知である第３の装置に入力された画像および前記第３の装置から出力される画像のいずれか一方である第３の画像と、前記第１の画像と、に基づいて、前記第２座標情報を生成することを含み、
前記第１の装置、前記第２の装置および前記第３の装置のうちの少なくとも一つは、前記スクリーンを撮像する撮像装置である、
請求項１に記載の計測方法。
前記第２座標情報を生成することは、第３レンズを備え、前記第３レンズに関する内部パラメーターが未知である第３の装置に入力された画像および前記第３の装置から出力される画像のいずれか一方である第３の画像と、前記第１の画像と、に基づいて、前記第２座標情報を生成することを含み、
前記第１の装置、前記第２の装置および前記第３の装置のうちの少なくとも一つは、前記スクリーンを撮像する撮像装置である、
請求項１に記載の計測方法。
【請求項8】
平面である第１の面と、非平面である第２の面と、を含むスクリーンにおいて、前記第１の面の第１領域に含まれる複数の第１の点の第１の座標系における座標を表す第１座標情報を生成することと、
前記複数の第１の点の第２の座標系における座標を表す第２座標情報を生成することと、
前記第１の座標系において、前記複数の第１の点を含む平面に含まれない第２の点の座標を表す第３座標情報を生成することと、
前記第２の座標系において、前記複数の第１の点を含む平面に含まれない第３の点の座標を表す第４座標情報を生成することと、
前記第１座標情報と、前記第２座標情報と、前記第３座標情報と、前記第４座標情報と、に基づいて、前記第２の座標系における前記複数の第１の点の座標を前記第１の座標系における前記複数の第１の点の座標へ変換するための三次元射影変換行列を生成することと、
前記三次元射影変換行列に基づいて、前記スクリーンに含まれる四つの設定点の前記第１の座標系における座標を表す第５座標情報を生成することと、
前記第５座標情報の示す座標が所定の条件を充足しない場合、前記第３座標情報および前記第４座標情報の少なくとも一方を更新する第１の更新を実行し、前記第１の更新の結果に基づいて前記三次元射影変換行列を更新する第２の更新を実行し、前記第２の更新によって更新された前記三次元射影変換行列に基づいて前記第５座標情報を更新する第３の更新を実行することと、
を実行する処理装置を備え、
前記四つの設定点を頂点とする四角形は、所定の形状となり、
前記四つの設定点のうちの少なくとも一つは、前記第２の面に含まれる、
計測システム。
前記複数の第１の点の第２の座標系における座標を表す第２座標情報を生成することと、
前記第１の座標系において、前記複数の第１の点を含む平面に含まれない第２の点の座標を表す第３座標情報を生成することと、
前記第２の座標系において、前記複数の第１の点を含む平面に含まれない第３の点の座標を表す第４座標情報を生成することと、
前記第１座標情報と、前記第２座標情報と、前記第３座標情報と、前記第４座標情報と、に基づいて、前記第２の座標系における前記複数の第１の点の座標を前記第１の座標系における前記複数の第１の点の座標へ変換するための三次元射影変換行列を生成することと、
前記三次元射影変換行列に基づいて、前記スクリーンに含まれる四つの設定点の前記第１の座標系における座標を表す第５座標情報を生成することと、
前記第５座標情報の示す座標が所定の条件を充足しない場合、前記第３座標情報および前記第４座標情報の少なくとも一方を更新する第１の更新を実行し、前記第１の更新の結果に基づいて前記三次元射影変換行列を更新する第２の更新を実行し、前記第２の更新によって更新された前記三次元射影変換行列に基づいて前記第５座標情報を更新する第３の更新を実行することと、
を実行する処理装置を備え、
前記四つの設定点を頂点とする四角形は、所定の形状となり、
前記四つの設定点のうちの少なくとも一つは、前記第２の面に含まれる、
計測システム。
【請求項9】
平面である第１の面と、非平面である第２の面と、を含むスクリーンにおいて、前記第１の面の第１領域に含まれる複数の第１の点の第１の座標系における座標を表す第１座標情報を生成することと、
前記複数の第１の点の第２の座標系における座標を表す第２座標情報を生成することと、
前記第１の座標系において、前記複数の第１の点を含む平面に含まれない第２の点の座標を表す第３座標情報を生成することと、
前記第２の座標系において、前記複数の第１の点を含む平面に含まれない第３の点の座標を表す第４座標情報を生成することと、
前記第１座標情報と、前記第２座標情報と、前記第３座標情報と、前記第４座標情報と、に基づいて、前記第２の座標系における前記複数の第１の点の座標を前記第１の座標系における前記複数の第１の点の座標へ変換するための三次元射影変換行列を生成することと、
前記三次元射影変換行列に基づいて、前記スクリーンに含まれる四つの設定点の前記第１の座標系における座標を表す第５座標情報を生成することと、
前記第５座標情報の示す座標が所定の条件を充足しない場合、前記第３座標情報および前記第４座標情報の少なくとも一方を更新する第１の更新を実行し、前記第１の更新の結果に基づいて前記三次元射影変換行列を更新する第２の更新を実行し、前記第２の更新によって更新された前記三次元射影変換行列に基づいて前記第５座標情報を更新する第３の更新を実行することと、
を実行する処理装置を備え、
前記四つの設定点を頂点とする四角形は、所定の形状となり、
前記四つの設定点のうちの少なくとも一つは、前記第２の面に含まれる、
情報処理装置。
前記複数の第１の点の第２の座標系における座標を表す第２座標情報を生成することと、
前記第１の座標系において、前記複数の第１の点を含む平面に含まれない第２の点の座標を表す第３座標情報を生成することと、
前記第２の座標系において、前記複数の第１の点を含む平面に含まれない第３の点の座標を表す第４座標情報を生成することと、
前記第１座標情報と、前記第２座標情報と、前記第３座標情報と、前記第４座標情報と、に基づいて、前記第２の座標系における前記複数の第１の点の座標を前記第１の座標系における前記複数の第１の点の座標へ変換するための三次元射影変換行列を生成することと、
前記三次元射影変換行列に基づいて、前記スクリーンに含まれる四つの設定点の前記第１の座標系における座標を表す第５座標情報を生成することと、
前記第５座標情報の示す座標が所定の条件を充足しない場合、前記第３座標情報および前記第４座標情報の少なくとも一方を更新する第１の更新を実行し、前記第１の更新の結果に基づいて前記三次元射影変換行列を更新する第２の更新を実行し、前記第２の更新によって更新された前記三次元射影変換行列に基づいて前記第５座標情報を更新する第３の更新を実行することと、
を実行する処理装置を備え、
前記四つの設定点を頂点とする四角形は、所定の形状となり、
前記四つの設定点のうちの少なくとも一つは、前記第２の面に含まれる、
情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、計測方法、計測システムおよび情報処理装置に関する。
【背景技術】
【0002】
物体に画像を投射する技術、および、物体を撮像することで撮像画像を取得する技術等において、座標変換のための行列演算が広く実施されている。当該行列演算は、具体的には、パノラマ画像の生成、投射装置によって表示された投射画像の形状および表示位置の補正、カメラの校正、並びに、物体の三次元形状の計測等に利用されている。
【0003】
特許文献１には、二次元空間から二次元空間への変換であるホモグラフィ変換を実施するためのホモグラフィ変換行列を生成する情報処理装置が開示されている。更に、当該情報処理装置は、三次元空間から三次元空間への三次元射影変換を実施するための三次元射影変換行列を生成する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１６－１２６６７３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
三次元射影変換行列は、複数の点の座標に基づいて算出される。しかしながら、当該複数の点が同一平面上に存在する場合、計算の性質上、三次元射影変換行列は正しく推定されないことが知られている。特許文献１の情報処理装置は、三次元射影変換行列の算出に用いられる複数の点の平面性を判定し、当該複数の点が平面性を有していると判定された場合には、三次元射影変換行列の算出に係る処理を中断する。このため、当該情報処理装置は、同一平面上に存在する複数の点の座標を変換する三次元射影変換行列を生成することができなかった。
【課題を解決するための手段】
【0006】
本発明に係る計測方法の一態様は、平面である第１の面と、非平面である第２の面と、を含むスクリーンにおいて、第１の面の第１領域に含まれる複数の第１の点の第１の座標系における座標を表す第１座標情報を生成することと、複数の第１の点の第２の座標系における座標を表す第２座標情報を生成することと、第１の座標系において、複数の第１の点を含む平面に含まれない第２の点の座標を表す第３座標情報を生成することと、第２の座標系において、複数の第１の点を含む平面に含まれない第３の点の座標を表す第４座標情報を生成することと、第１座標情報と、第２座標情報と、第３座標情報と、第４座標情報と、に基づいて、第２の座標系における複数の第１の点の座標を第１の座標系における複数の第１の点の座標へ変換するための三次元射影変換行列を生成することと、三次元射影変換行列に基づいて、スクリーンに含まれる四つの設定点の第１の座標系における座標を表す第５座標情報を生成することと、第５座標情報の示す座標が所定の条件を充足しない場合、第３座標情報および第４座標情報の少なくとも一方を更新する第１の更新を実行し、第１の更新の結果に基づいて三次元射影変換行列を更新する第２の更新を実行し、第２の更新によって更新された三次元射影変換行列に基づいて第５座標情報を更新する第３の更新を実行することと、を含み、四つの設定点を頂点とする四角形は、所定の形状となり、四つの設定点のうちの少なくとも一つは、第２の面に含まれる。
【0007】
本発明に係る計測システムの一態様は、平面である第１の面と、非平面である第２の面と、を含むスクリーンにおいて、第１の面の第１領域に含まれる複数の第１の点の第１の座標系における座標を表す第１座標情報を生成することと、複数の第１の点の第２の座標系における座標を表す第２座標情報を生成することと、第１の座標系において、複数の第１の点を含む平面に含まれない第２の点の座標を表す第３座標情報を生成することと、第２の座標系において、複数の第１の点を含む平面に含まれない第３の点の座標を表す第４座標情報を生成することと、第１座標情報と、第２座標情報と、第３座標情報と、第４座標情報と、に基づいて、第２の座標系における複数の第１の点の座標を第１の座標系における複数の第１の点の座標へ変換するための三次元射影変換行列を生成することと、三次元射影変換行列に基づいて、スクリーンに含まれる四つの設定点の第１の座標系における座標を表す第５座標情報を生成することと、第５座標情報の示す座標が所定の条件を充足しない場合、第３座標情報および第４座標情報の少なくとも一方を更新する第１の更新を実行し、第１の更新の結果に基づいて三次元射影変換行列を更新する第２の更新を実行し、第２の更新によって更新された三次元射影変換行列に基づいて第５座標情報を更新する第３の更新を実行することと、を実行する処理装置を備え、四つの設定点を頂点とする四角形は、所定の形状となり、四つの設定点のうちの少なくとも一つは、第２の面に含まれる。
【0008】
本発明に係る情報処理装置の一態様は、平面である第１の面と、非平面である第２の面と、を含むスクリーンにおいて、第１の面の第１領域に含まれる複数の第１の点の第１の座標系における座標を表す第１座標情報を生成することと、複数の第１の点の第２の座標系における座標を表す第２座標情報を生成することと、第１の座標系において、複数の第１の点を含む平面に含まれない第２の点の座標を表す第３座標情報を生成することと、第２の座標系において、複数の第１の点を含む平面に含まれない第３の点の座標を表す第４座標情報を生成することと、第１座標情報と、第２座標情報と、第３座標情報と、第４座標情報と、に基づいて、第２の座標系における複数の第１の点の座標を第１の座標系における複数の第１の点の座標へ変換するための三次元射影変換行列を生成することと、三次元射影変換行列に基づいて、スクリーンに含まれる四つの設定点の第１の座標系における座標を表す第５座標情報を生成することと、第５座標情報の示す座標が所定の条件を充足しない場合、第３座標情報および第４座標情報の少なくとも一方を更新する第１の更新を実行し、第１の更新の結果に基づいて三次元射影変換行列を更新する第２の更新を実行し、第２の更新によって更新された三次元射影変換行列に基づいて第５座標情報を更新する第３の更新を実行することと、を実行する処理装置を備え、四つの設定点を頂点とする四角形は、所定の形状となり、四つの設定点のうちの少なくとも一つは、第２の面に含まれる。
【図面の簡単な説明】
【0009】
【図1】投射画像ＧＰ１が表示される様子を図示した模式図である。
【図2】投射画像ＧＰ２が表示される様子を図示した模式図である。
【図3】投射画像ＧＰ３が表示される様子を図示した模式図である。
【図4】実施形態に係る計測システムＳｙｓの構成を示すブロック図である。
【図5】実施形態に係る記憶装置１０の構成を示すブロック図である。
【図6】第１投射画像情報１０３の示す画像の一例を図示した模式図である。
【図7】第１撮像画像情報１０６の示す画像の一例を図示した模式図である。
【図8】第２撮像画像情報１０７の示す画像の一例を図示した模式図である。
【図9】第２投射画像情報１０４の示す画像の一例を図示した模式図である。
【図10】第２投射画像情報１０４の示す画像の他の例を図示した模式図である。
【図11】座標系ＦＹにおける複数の点の位置関係を模式的に示した説明図である。
【図12】座標系ＦＸにおける複数の点の位置関係を模式的に示した説明図である。
【図13】第５座標情報１１５の示す複数の点の座標について説明するための模式図である。
【図14】実施形態に係る計測システムＳｙｓの動作について説明するためのフローチャートである。
【発明を実施するための形態】
【0010】
以下、添付図面を参照しながら、本発明に係る好適な実施形態を説明する。なお、図面において各部の寸法および縮尺は実際と異なる場合があり、理解を容易にするために模式的に示す部分もある。また、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られない。
【0011】
１．実施形態
実施形態では、物体を撮像することで得られる撮像画像等の二次元の画像を用いて、当該物体の三次元形状を計測する、換言すれば、当該物体の表面上に位置する複数の点の三次元座標を取得する計測システムを例示して、本発明に係る計測方法、計測システムおよび情報処理装置について説明する。実施形態に係る計測システムは、平面上に位置する複数の点の三次元座標を変換するための三次元射影変換行列を生成し、生成した三次元射影変換行列を用いて、物体の形状を計測する。
実施形態では、物体を撮像することで得られる撮像画像等の二次元の画像を用いて、当該物体の三次元形状を計測する、換言すれば、当該物体の表面上に位置する複数の点の三次元座標を取得する計測システムを例示して、本発明に係る計測方法、計測システムおよび情報処理装置について説明する。実施形態に係る計測システムは、平面上に位置する複数の点の三次元座標を変換するための三次元射影変換行列を生成し、生成した三次元射影変換行列を用いて、物体の形状を計測する。
【0012】
二次元の画像を用いて物体の表面上に位置する点の三次元座標を取得する場合、当該点の三次元座標を取得するために用いられる装置に由来するパラメーターを示す「内部パラメーター」と、当該装置の位置や姿勢に由来するパラメーターを示す「外部パラメーター」とが必要となる。本明細書において、二次元の画像を用いた物体の三次元形状の計測に用いられる装置の中に、内部パラメーターが未知の装置が含まれる場合、当該計測の方法を「射影復元」と称する。また、二次元の画像を用いた物体の三次元形状の計測に用いられる装置の中に、内部パラメーターが未知の装置が含まれない場合、換言すれば、当該計測に用いられるすべての装置の内部パラメーターが既知の場合、当該計測の方法を「ユークリッド復元」と称する。
【0013】
また、射影復元による物体の三次元形状の計測結果、換言すれば、射影復元によって取得された物体の表面上に位置する点の三次元座標を「射影復元結果」と称する。「射影復元結果」の示す点の三次元座標は、射影変換の不定性が含まれる。このため、射影復元によって得られた物体の形状は、実物と異なる場合がある。また、ユークリッド復元による物体の三次元形状の計測結果、換言すれば、ユークリッド復元によって取得された物体の表面上に位置する点の三次元座標を「ユークリッド復元結果」と称する。「ユークリッド復元結果」の示す点の三次元座標は、射影変換の不定性が含まれない、もしくは、射影変換の不定性を無視できる。すなわち、ユークリッド復元によって得られた物体の形状は、実物と相似な形状となる。また、物体の三次元形状の計測によって取得された点の三次元座標において、射影変換の不定性が含まれない場合、もしくは、射影変換の不定性を無視できる場合、当該点の三次元座標は「ユークリッド復元結果」であると見做す。
【0014】
１．１．計測システムの概要
以下、図１～図３を参照しつつ、実施形態に係る計測システムＳｙｓの概要について説明する。図１は、投射画像ＧＰ１が表示される様子を図示した模式図である。図２は、投射画像ＧＰ２が表示される様子を図示した模式図である。図３は、投射画像ＧＰ３が表示される様子を図示した模式図である。
以下、図１～図３を参照しつつ、実施形態に係る計測システムＳｙｓの概要について説明する。図１は、投射画像ＧＰ１が表示される様子を図示した模式図である。図２は、投射画像ＧＰ２が表示される様子を図示した模式図である。図３は、投射画像ＧＰ３が表示される様子を図示した模式図である。
【0015】
計測システムＳｙｓは、プロジェクター１と、プロジェクター２とを含む。プロジェクター１は、プロジェクター２と通信可能に接続され、各種情報の送受信を行う。プロジェクター１は、撮像装置１４と、投射装置１６とを備える。プロジェクター２は、撮像装置２４と、投射装置２６とを備える。
【0016】
投射装置１６および投射装置２６は、スクリーンＳＣ１に画像を投射することで、スクリーンＳＣ１上に投射画像を表示する。また、投射装置１６および投射装置２６は、内部パラメーターが未知である。
【0017】
スクリーンＳＣ１は、面ＳＣ１１と、面ＳＣ１２と、面ＳＣ１３とを含む。面ＳＣ１１は、平面である。面ＳＣ１２および面ＳＣ１３は、曲面である。より正確には、面ＳＣ１２および面ＳＣ１３は、柱面である。なお、投射装置１６によって表示される投射画像の少なくとも一部は、面ＳＣ１１上に表示される。
【0018】
撮像装置１４は、投射装置１６によってスクリーンＳＣ１上に表示された投射画像の少なくとも一部を含む範囲を撮像する。具体的には、撮像装置１４は、投射装置１６によって面ＳＣ１１上に表示された投射画像の少なくとも一部を含む範囲を撮像する。また、撮像装置１４は、投射装置２６によってスクリーンＳＣ１上に表示された投射画像の少なくとも一部を含む範囲を撮像する。また、撮像装置１４は、内部パラメーターが既知である。
【0019】
撮像装置２４は、スクリーンＳＣ１の領域Ｒ２を含む範囲を撮像する。領域Ｒ２は、面ＳＣ１１の一部と、面ＳＣ１３の一部とを含む。また、撮像装置２４は、投射装置１６によってスクリーンＳＣ１上に表示された投射画像の少なくとも一部を含む範囲を撮像する。具体的には、撮像装置２４は、投射装置１６によって面ＳＣ１１上に表示された投射画像の少なくとも一部を含む範囲を撮像する。また、撮像装置２４は、投射装置２６によってスクリーンＳＣ１上に表示された投射画像の少なくとも一部を含む範囲を撮像する。また、撮像装置２４は、内部パラメーターが既知である。なお、撮像装置１４の撮像範囲の少なくとも一部と、撮像装置２４の撮像範囲の少なくとも一部とは、面ＳＣ１１において重畳する。換言すれば、撮像装置１４の撮像範囲と、撮像装置２４の撮像範囲との重畳部分は、面ＳＣ１１に含まれる。
【0020】
投射装置１６は、スクリーンＳＣ１に後述する画像ＧＦ１を投射することで、スクリーンＳＣ１上に投射画像ＧＰ１を表示する。撮像装置１４は、投射画像ＧＰ１が表示されたスクリーンＳＣ１の領域Ｒ１を含む範囲を撮像する。領域Ｒ１は、面ＳＣ１１の一部と、面ＳＣ１２の一部とを含む。なお、領域Ｒ１の一部と、領域Ｒ２の一部とは、領域Ｒ３において重畳する。換言すれば、領域Ｒ１および領域Ｒ２は、領域Ｒ３を含む。すなわち、領域Ｒ３には、投射画像ＧＰ１の一部が表示される。また、領域Ｒ３は、面ＳＣ１１に含まれる。撮像装置２４は、投射画像ＧＰ１の一部が表示されたスクリーンＳＣ１の領域Ｒ２を含む範囲を撮像する。
【0021】
投射画像ＧＰ１は、面ＳＣ１１と、面ＳＣ１２とに跨って表示される。投射画像ＧＰ１は、複数の点を含む。また、当該複数の点は、複数の点ＤＰ１を含む。複数の点ＤＰ１は、面ＳＣ１１の領域Ｒ３に含まれる。
【0022】
投射装置１６は、スクリーンＳＣ１に後述する画像ＧＦ２を投射することで、スクリーンＳＣ１上に投射画像ＧＰ２を表示する。投射画像ＧＰ２は、投射画像ＧＰ１と同様、スクリーンＳＣ１の領域Ｒ１に表示される。投射画像ＧＰ２は、点ＤＰ２１と、点ＤＰ２２と、点ＤＰ２３と、点ＤＰ２４とを含む。なお、点ＤＰ２３および点ＤＰ２４は、面ＳＣ１２上に表示される。換言すれば、点ＤＰ２３および点ＤＰ２４は、面ＳＣ１２に含まれる。
【0023】
計測システムＳｙｓのユーザーは、投射画像ＧＰ２に含まれる点ＤＰ２１～ＤＰ２４の位置を調整する操作を実行することで、点ＤＰ２１～ＤＰ２４を頂点とする四角形の形状を長方形に調整する。以下、投射画像ＧＰ２に含まれる点ＤＰ２１～ＤＰ２４の位置を調整する操作を「位置調整操作」と称する。プロジェクター１は、ユーザーから、点ＤＰ２１～ＤＰ２４を頂点とする四角形の形状を長方形に調整するための位置調整操作を受け付ける。なお、位置調整操作が実行される間、ユーザーは、例えば、所謂レーザー墨出し器を用いて、点ＤＰ２１～ＤＰ２４の位置調整を補助するためのガイドラインを表示してもよい。これにより、ユーザーは、点ＤＰ２１～ＤＰ２４の位置を、容易かつ正確に調整することができる。
【0024】
ユーザーが位置調整操作を実行することで、点ＤＰ２１～ＤＰ２４を頂点とする四角形の形状を長方形に調整した場合、投射装置１６は、スクリーンＳＣ１に後述する画像ＧＦ３を投射することで、スクリーンＳＣ１上に投射画像ＧＰ３を表示する。投射画像ＧＰ３は、投射画像ＧＰ１および投射画像ＧＰ２と同様、スクリーンＳＣ１の領域Ｒ１に表示される。プロジェクター１は、ユーザーから受け付けた位置調整操作に基づいて、投射画像ＧＰ２を投射画像ＧＰ３へ更新する。
【0025】
投射画像ＧＰ３は、点ＤＰ３１と、点ＤＰ３２と、点ＤＰ３３と、点ＤＰ３４とを含む。プロジェクター１は、位置調整操作に基づいて、点ＤＰ２１を点ＤＰ３１へ移動する。換言すれば、点ＤＰ３１は、点ＤＰ２１の位置が調整された結果を表す点である。同様に、プロジェクター１は、位置調整操作に基づいて、点ＤＰ２２を点ＤＰ３２へ、点ＤＰ２３を点ＤＰ３３へ、点ＤＰ２４を点ＤＰ３４へ、それぞれ移動する。すなわち、点ＤＰ３１～ＤＰ３４を頂点とする四角形は、長方形となる。なお、点ＤＰ３１および点ＤＰ３２は、面ＳＣ１１上に表示される。また、点ＤＰ３３および点ＤＰ３４は、面ＳＣ１２上に表示される。換言すれば、点ＤＰ３１および点ＤＰ３２は、面ＳＣ１１に含まれる。また、点ＤＰ３３および点ＤＰ３４は、面ＳＣ１２に含まれる。
【0026】
プロジェクター１は、内部パラメーターが既知である撮像装置１４によって取得された撮像画像と、内部パラメーターが既知である撮像装置２４によって取得された撮像画像とに基づいて、領域Ｒ３のユークリッド復元結果を取得する。また、プロジェクター１は、撮像装置１４によって取得された撮像画像と、内部パラメーターが未知である投射装置１６から投射される画像ＧＦ１とに基づいて、領域Ｒ１の射影復元結果を取得する。なお、領域Ｒ１の射影復元結果は、領域Ｒ３の射影復元結果を含む。また、領域Ｒ１の射影復元結果は、点ＤＰ３１～ＤＰ３４の座標を示す。
【0027】
プロジェクター１は、領域Ｒ３のユークリッド復元結果と、領域Ｒ１の射影復元結果とに基づいて、領域Ｒ３の射影復元結果を領域Ｒ３のユークリッド復元結果へ変換する三次元射影変換行列を生成する。なお、前述の通り、三次元射影変換行列は複数の点の座標に基づいて算出されるが、当該複数の点が同一平面上に存在する場合は正しく算出されない。領域Ｒ３は平面である面ＳＣ１１に含まれることから、プロジェクター１は、面ＳＣ１１およびその延長上に含まれない仮想的な点を設定し、当該仮想的な点の座標と、領域Ｒ３のユークリッド復元結果と、領域Ｒ１の射影復元結果とに基づいて、領域Ｒ３の射影復元結果を領域Ｒ３のユークリッド復元結果へ変換する三次元射影変換行列を生成する。すなわち、プロジェクター１は、領域Ｒ３の射影復元結果を領域Ｒ３のユークリッド復元結果へ変換する三次元射影変換行列を生成する場合に用いられる複数の点の座標を、同一平面上に存在しない複数の点の座標とすることで、当該三次元射影変換行列を生成することができる。
【0028】
また、プロジェクター１は、当該三次元射影変換行列を用いて領域Ｒ１の射影復元結果を変換する。すなわち、プロジェクター１は、射影復元によって得られた点ＤＰ３１～ＤＰ３４の座標を、当該三次元射影変換行列を用いて変換する。
【0029】
プロジェクター１は、三次元射影変換行列を用いて変換された点ＤＰ３１～ＤＰ３４の座標が所定の条件を充足するまで、三次元射影変換行列を更新し、更新された三次元射影変換行列を用いて、射影復元によって得られた点ＤＰ３１～ＤＰ３４の座標を変換する。三次元射影変換行列を用いて変換された点ＤＰ３１～ＤＰ３４の座標が所定の条件を充足する場合、当該三次元射影変換行列は、領域Ｒ１の射影復元結果を、領域Ｒ１のユークリッド復元結果へ変換することができる。
【0030】
すなわち、計測システムＳｙｓは、内部パラメーターが既知である撮像装置１４と、内部パラメーターが既知である撮像装置２４と、内部パラメーターが未知である投射装置１６とを用いて、投射装置１６の内部パラメーターを把握するための校正作業を実施することなく、スクリーンＳＣ１における領域Ｒ１のユークリッド復元結果を取得することができる。換言すれば、計測システムＳｙｓは、内部パラメーターが既知である撮像装置１４と、内部パラメーターが既知である撮像装置２４と、内部パラメーターが未知である投射装置１６とを用いることで、撮像装置１４の撮像範囲と、撮像装置２４の撮像範囲との両方に含まれる領域Ｒ３のユークリッド復元結果に加えて、撮像装置２４の撮像範囲外である、領域Ｒ３を除いた領域Ｒ１のユークリッド復元結果を取得することができる。
【0031】
【0032】
図４は、実施形態に係る計測システムＳｙｓの構成を示すブロック図である。計測システムＳｙｓは、前述の通り、プロジェクター１と、プロジェクター２とを含む。
【0033】
プロジェクター１は、各種情報を記憶する記憶装置１０と、計測システムＳｙｓの動作を制御する処理装置１２と、物体の三次元形状を計測するために用いられる撮像画像を取得する撮像装置１４と、投射面に画像を投射する投射装置１６と、プロジェクター２との間で各種情報の送受信を行う通信装置１８と、ユーザーからの入力操作を受け付ける操作装置３０とを備える。処理装置１２は、投射制御部１２０と、撮像制御部１２１と、画像解析部１２２と、三次元座標管理部１２３と、入力管理部１２４と、画像編集部１２５としての機能を有する。撮像装置１４は、集光のための撮像レンズ１４２と、撮像レンズ１４２によって集光された光を電気信号に変換することで撮像画像を生成する撮像素子１４０とを備える。投射装置１６は、不図示の光源と、当該光源から発せられた光を、投射面上に投射画像を表示するための投射光に変調する光変調器１６０と、光変調器１６０によって変調された投射光を投射面に投射する投射レンズ１６２とを備える。
【0034】
プロジェクター２は、物体の三次元形状を計測するために用いられる撮像画像を取得する撮像装置２４と、投射面に画像を投射する投射装置２６とを備える。撮像装置２４は、集光のための撮像レンズ２４２と、撮像レンズ２４２によって集光された光を電気信号に変換することで撮像画像を生成する撮像素子２４０とを備える。投射装置２６は、不図示の光源と、当該光源から発せられた光を、投射面上に投射画像を表示するための投射光に変調する光変調器２６０と、光変調器２６０によって変調された投射光を投射面に投射する投射レンズ２６２とを備える。
【0035】
記憶装置１０は、例えば、ＲＡＭ等の揮発性メモリーおよびＲＯＭ等の不揮発性メモリーを含んで構成される。ここで、ＲＡＭとは、Random Access Memoryの略称である。また、ＲＯＭとは、Read Only Memoryの略称である。
【0036】
図５は、実施形態に係る記憶装置１０の構成を示すブロック図である。記憶装置１０の有する不揮発性メモリーは、プロジェクター１の動作を規定するプログラム１００と、領域Ｒ３の射影復元結果を領域Ｒ３のユークリッド復元結果へ変換する三次元射影変換行列１０１と、投射面上に投射される画像を表す投射画像情報１０２と、三次元形状の計測対象となる物体を撮像した結果を表す撮像画像情報１０５と、撮像画像情報１０５の示す撮像画像を用いて物体の三次元形状を計測した結果を表す三次元座標情報１１０と、各種画像に含まれる点の座標を表す二次元座標情報１３０と、光変調器１６０の備える複数の画素および撮像素子１４０の備える複数の画素の対応関係を示す関係情報１１６とを記憶する。
【0037】
投射画像情報１０２は、投射画像ＧＰ１が表示される場合に投射される画像を表す第１投射画像情報１０３と、投射画像ＧＰ２または投射画像ＧＰ３が表示される場合に投射される画像を表す第２投射画像情報１０４とを含む。
【0038】
撮像画像情報１０５は、撮像装置１４によって取得された撮像画像を表す第１撮像画像情報１０６と、撮像装置２４によって取得された撮像画像を表す第２撮像画像情報１０７とを含む。
【0039】
三次元座標情報１１０は、領域Ｒ３のユークリッド復元結果を表す第１座標情報１１１と、領域Ｒ１の射影復元結果を表す第２座標情報１１２と、面ＳＣ１１およびその延長上に含まれない仮想的な点の座標を表す第３座標情報１１３および第４座標情報１１４と、射影復元によって得られた点ＤＰ３１～ＤＰ３４の座標が三次元射影変換行列１０１によって変換された結果を表す第５座標情報１１５とを含む。なお、説明の便宜上、三次元座標情報１１０の示す複数の点の座標を表す場合に用いられる座標系は、撮像装置１４の位置を示す点を原点とする。
【0040】
二次元座標情報１３０は、第１撮像画像情報１０６の示す画像に含まれる複数の点の座標を表す第６座標情報１３１と、第２撮像画像情報１０７の示す画像に含まれる複数の点の座標を表す第７座標情報１３２と、第１投射画像情報１０３の示す画像に含まれる複数の点の座標を表す第８座標情報１３３と、第２投射画像情報１０４の示す画像に含まれる複数の点の座標を表す第９座標情報１３４とを含む。
【0041】
記憶装置１０の有する揮発性メモリーは、プログラム１００を実行する際のワークエリアとして処理装置１２によって利用される。
【0042】
なお、記憶装置１０の一部または全部は、外部記憶装置または外部サーバー等に設けられてもよい。また、記憶装置１０に記憶される各種情報の一部または全部は、予め記憶装置１０に記憶されてもよいし、外部記憶装置または外部サーバー等から取得されてもよい。
【0043】
図６は、第１投射画像情報１０３の示す画像の一例を図示した模式図である。本実施形態において、第１投射画像情報１０３は、画像ＧＦ１を表す。プロジェクター１は、第１投射画像情報１０３に基づく投射光を投射装置１６に投射させることで、スクリーンＳＣ１上に投射画像ＧＰ１を表示させる。換言すれば、プロジェクター１は、投射装置１６から画像ＧＦ１を投射させることで、スクリーンＳＣ１上に投射画像ＧＰ１を表示させる。
【0044】
画像ＧＦ１は、複数の点を含む。また、当該複数の点は、複数の点ＤＦ１を含む。複数の点ＤＦ１は、投射画像ＧＰ１に含まれる複数の点ＤＰ１と一対一で対応する。図６において、複数の点ＤＦ１は、破線で囲われた範囲内に含まれる点である。
【0045】
図７は、第１撮像画像情報１０６の示す画像の一例を図示した模式図である。本実施形態において、第１撮像画像情報１０６は、撮像画像ＧＳ１を表す。撮像装置１４は、投射画像ＧＰ１が表示されたスクリーンＳＣ１の領域Ｒ１を含む範囲を撮像することで、撮像画像ＧＳ１を取得する。換言すれば、撮像装置１４は、投射画像ＧＰ１が表示されたスクリーンＳＣ１の領域Ｒ１を含む範囲を撮像することで、撮像画像ＧＳ１を表す第１撮像画像情報１０６を生成する。
【0046】
撮像画像ＧＳ１は、画像ＧＳ１１を含む。画像ＧＳ１１は、スクリーンＳＣ１の一部を示す画像である。画像ＧＳ１１は、画像ＧＳ１１１と、画像ＧＳ１１２とからなる。画像ＧＳ１１１は、面ＳＣ１１の少なくとも一部を示す画像である。画像ＧＳ１１２は、面ＳＣ１２の少なくとも一部を示す画像である。画像ＧＳ１１は、画像ＧＶ１を含む。画像ＧＶ１は、投射画像ＧＰ１を示す画像である。画像ＧＶ１は、画像ＧＶ１１と、画像ＧＶ１２とからなる。画像ＧＶ１１は、面ＳＣ１１上に表示された投射画像ＧＰ１の一部を示す画像である。画像ＧＶ１１は、画像ＧＳ１１１に含まれる。画像ＧＶ１２は、面ＳＣ１２上に表示された投射画像ＧＰ１の一部を示す画像である。画像ＧＶ１２は、画像ＧＳ１１２に含まれる。
【0047】
画像ＧＶ１は、複数の点を含む。また、当該複数の点は、複数の点ＤＶ１を含む。複数の点ＤＶ１は、投射画像ＧＰ１に含まれる複数の点ＤＰ１と一対一で対応する。また、複数の点ＤＶ１は、画像ＧＦ１に含まれる複数の点ＤＦ１と一対一で対応する。図７において、複数の点ＤＶ１は、破線で囲われた範囲内に含まれる点である。
【0048】
図８は、第２撮像画像情報１０７の示す画像の一例を図示した模式図である。本実施形態において、第２撮像画像情報１０７は、撮像画像ＧＳ２を表す。撮像装置２４は、投射画像ＧＰ１の一部が表示されたスクリーンＳＣ１の領域Ｒ２を含む範囲を撮像することで、撮像画像ＧＳ２を取得する。換言すれば、撮像装置２４は、投射画像ＧＰ１の一部が表示されたスクリーンＳＣ１の領域Ｒ２を含む範囲を撮像することで、撮像画像ＧＳ２を表す第２撮像画像情報１０７を生成する。
【0049】
撮像画像ＧＳ２は、画像ＧＳ２１を含む。画像ＧＳ２１は、スクリーンＳＣ１の一部を示す画像である。画像ＧＳ２１は、画像ＧＳ２１１と、画像ＧＳ２１３とからなる。画像ＧＳ２１１は、面ＳＣ１１の少なくとも一部を示す画像である。画像ＧＳ２１３は、面ＳＣ１３の少なくとも一部を示す画像である。画像ＧＳ２１１は、画像ＧＶ２１を含む。画像ＧＶ２１は、領域Ｒ３に表示された投射画像ＧＰ１の一部を示す画像である。
【0050】
画像ＧＶ２１は、複数の点ＤＶ２を含む。複数の点ＤＶ２は、投射画像ＧＰ１に含まれる複数の点ＤＰ１と一対一で対応する。また、複数の点ＤＶ２は、画像ＧＦ１に含まれる複数の点ＤＦ１と一対一で対応する。また、複数の点ＤＶ２は、撮像画像ＧＳ１に含まれる複数の点ＤＶ１と一対一で対応する。図８において、複数の点ＤＶ２は、破線で囲われた範囲内に含まれる点である。
【0051】
図９は、第２投射画像情報１０４の示す画像の一例を図示した模式図である。例えば、第２投射画像情報１０４は、画像ＧＦ２を表す。プロジェクター１は、第２投射画像情報１０４に基づく投射光を投射装置１６に投射させることで、スクリーンＳＣ１上に投射画像ＧＰ２を表示させる。換言すれば、プロジェクター１は、投射装置１６から画像ＧＦ２を投射させることで、スクリーンＳＣ１上に投射画像ＧＰ２を表示させる。
【0052】
画像ＧＦ２は、点ＤＦ２１と、点ＤＦ２２と、点ＤＦ２３と、点ＤＦ２４とを含む。点ＤＦ２１は、点ＤＰ２１と対応する。点ＤＦ２２は、点ＤＰ２２と対応する。点ＤＦ２３は、点ＤＰ２３と対応する。点ＤＦ２４は、点ＤＰ２４と対応する。
【0053】
図１０は、第２投射画像情報１０４の示す画像の他の例を図示した模式図である。具体的には、図１０は、スクリーンＳＣ１に投射画像ＧＰ２が表示された状態で、プロジェクター１がユーザーから位置調整操作を受け付けた場合の、第２投射画像情報１０４の示す画像を図示した模式図である。換言すれば、図１０は、位置調整操作に基づいて更新された第２投射画像情報１０４の示す画像を図示した模式図である。位置調整操作に基づいて更新された第２投射画像情報１０４は、画像ＧＦ３を表す。プロジェクター１は、位置調整操作に基づいて更新された第２投射画像情報１０４に基づく投射光を投射装置１６に投射させることで、スクリーンＳＣ１上に投射画像ＧＰ３を表示させる。換言すれば、プロジェクター１は、投射装置１６から画像ＧＦ３を投射させることで、スクリーンＳＣ１上に投射画像ＧＰ３を表示させる。
【0054】
画像ＧＦ３は、点ＤＦ３１と、点ＤＦ３２と、点ＤＦ３３と、点ＤＦ３４とを含む。点ＤＦ３１は、位置調整操作に基づいて、点ＤＦ２１の位置が調整された結果を表す点である。点ＤＦ３１は、点ＤＰ３１と対応する。点ＤＦ３２は、位置調整操作に基づいて、点ＤＦ２２の位置が調整された結果を表す点である。点ＤＦ３２は、点ＤＰ３２と対応する。点ＤＦ３３は、位置調整操作に基づいて、点ＤＦ２３の位置が調整された結果を表す点である。点ＤＦ３３は、点ＤＰ３３と対応する。点ＤＦ３４は、位置調整操作に基づいて、点ＤＦ２４の位置が調整された結果を表す点である。点ＤＦ３４は、点ＤＰ３４と対応する。
【0055】
図４に戻り、処理装置１２は、１または複数のＣＰＵを含んで構成される。但し、処理装置１２は、ＣＰＵの代わりに、または、ＣＰＵに加えて、ＦＰＧＡ等のプログラマブルロジックデバイスを備えるものでもよい。ここで、ＣＰＵとはCentral Processing Unitの略称であり、ＦＰＧＡとはField-Programmable Gate Arrayの略称である。
【0056】
処理装置１２は、処理装置１２が有するＣＰＵ等がプログラム１００を実行することで、図４に示す投射制御部１２０、撮像制御部１２１、画像解析部１２２、三次元座標管理部１２３、入力管理部１２４および画像編集部１２５として機能する。
【0057】
投射制御部１２０は、投射装置を制御することで、三次元形状の計測対象となる物体の有する投射面に対して、投射画像を表示するための投射光を投射させる。具体的には、投射制御部１２０は、投射画像情報に基づく投射光を投射装置に投射させることで、当該投射面上に投射画像を表示させる。
【0058】
本実施形態において、投射制御部１２０は、投射装置１６を制御することで、スクリーンＳＣ１に対して投射画像を表示するための投射光を投射させる。具体的には、投射制御部１２０は、第１投射画像情報１０３に基づく投射光を投射装置１６に投射させることで、スクリーンＳＣ１上に投射画像ＧＰ１を表示させる。換言すれば、投射制御部１２０は、投射装置１６から、第１投射画像情報１０３の示す画像ＧＦ１を投射させることで、スクリーンＳＣ１上に投射画像ＧＰ１を表示させる。
【0059】
また、投射制御部１２０は、第２投射画像情報１０４に基づく投射光を投射装置１６に投射させることで、スクリーンＳＣ１上に投射画像ＧＰ２を表示させる。換言すれば、投射制御部１２０は、投射装置１６から、第２投射画像情報１０４の示す画像ＧＦ２を投射させることで、スクリーンＳＣ１上に投射画像ＧＰ２を表示させる。
【0060】
また、投射制御部１２０は、位置調整操作に基づいて更新された第２投射画像情報１０４に基づく投射光を投射装置１６に投射させることで、スクリーンＳＣ１上に投射画像ＧＰ３を表示させる。換言すれば、投射制御部１２０は、投射装置１６から、位置調整操作に基づいて更新された第２投射画像情報１０４の示す画像ＧＦ３を投射させることで、スクリーンＳＣ１上に投射画像ＧＰ３を表示させる。
【0061】
撮像制御部１２１は、撮像装置を制御することで、三次元形状の計測対象となる物体を撮像させる。また、撮像制御部１２１は、当該撮像装置から、当該物体の三次元形状を計測するために用いられる撮像画像を取得する。また、撮像制御部１２１は、取得した撮像画像を表す撮像画像情報１０５を記憶装置１０に記憶させる。
【0062】
本実施形態において、撮像制御部１２１は、撮像装置１４を制御することで、投射画像ＧＰ１が表示されたスクリーンＳＣ１の領域Ｒ１を含む範囲を撮像させる。すなわち、撮像制御部１２１は、撮像装置１４を制御することで、投射画像ＧＰ１の一部が表示されたスクリーンＳＣ１の領域Ｒ３を含む範囲を撮像させる。換言すれば、撮像制御部１２１は、撮像装置１４を制御することで、投射画像ＧＰ１に含まれる複数の点ＤＰ１を撮像させる。また、撮像制御部１２１は、当該撮像の結果を表す撮像画像ＧＳ１を取得する。また、撮像制御部１２１は、撮像画像ＧＳ１を表す第１撮像画像情報１０６を記憶装置１０に記憶させる。
【0063】
また、撮像制御部１２１は、撮像装置２４を制御することで、投射画像ＧＰ１の一部が表示されたスクリーンＳＣ１の領域Ｒ２を含む範囲を撮像させる。すなわち、撮像制御部１２１は、撮像装置２４を制御することで、投射画像ＧＰ１の一部が表示されたスクリーンＳＣ１の領域Ｒ３を含む範囲を撮像させる。換言すれば、撮像制御部１２１は、撮像装置２４を制御することで、投射画像ＧＰ１に含まれる複数の点ＤＰ１を撮像させる。また、撮像制御部１２１は、当該撮像の結果を表す撮像画像ＧＳ２を取得する。また、撮像制御部１２１は、撮像画像ＧＳ２を表す第２撮像画像情報１０７を記憶装置１０に記憶させる。
【0064】
画像解析部１２２は、各種画像情報の示す画像に対して画像処理を実行することで、当該画像に含まれる点を検出する。すなわち、画像解析部１２２は、検出された点の座標を表す二次元座標情報１３０を取得する。また、画像解析部１２２は、取得した二次元座標情報１３０を記憶装置１０に記憶させる。
【0065】
本実施形態において、画像解析部１２２は、第１撮像画像情報１０６の示す撮像画像ＧＳ１に対して画像処理を実行することで、撮像画像ＧＳ１に含まれる複数の点を検出する。すなわち、画像解析部１２２は、撮像画像ＧＳ１に含まれる複数の点の座標を表す第６座標情報１３１を取得する。また、画像解析部１２２は、取得した第６座標情報１３１を記憶装置１０に記憶させる。第６座標情報１３１は、複数の点ＤＶ１の座標を示す。
【0066】
また、画像解析部１２２は、第２撮像画像情報１０７の示す撮像画像ＧＳ２に対して画像処理を実行することで、撮像画像ＧＳ２に含まれる複数の点を検出する。すなわち、画像解析部１２２は、撮像画像ＧＳ２に含まれる複数の点の座標を表す第７座標情報１３２を取得する。また、画像解析部１２２は、取得した第７座標情報１３２を記憶装置１０に記憶させる。第７座標情報１３２は、複数の点ＤＶ２の座標を示す。
【0067】
また、画像解析部１２２は、第１投射画像情報１０３の示す画像ＧＦ１に対して画像処理を実行することで、画像ＧＦ１に含まれる複数の点を検出する。すなわち、画像解析部１２２は、画像ＧＦ１に含まれる複数の点の座標を表す第８座標情報１３３を取得する。また、画像解析部１２２は、取得した第８座標情報１３３を記憶装置１０に記憶させる。第８座標情報１３３は、複数の点ＤＦ１の座標を示す。
【0068】
点の検出に係る機能において、公知の画像処理技術が用いられてもよい。点の検出に係る公知の画像処理技術として、例えば、テンプレートマッチング、重心検出、および、「ＡＫＡＺＥ」と呼ばれるアルゴリズム等が挙げられる。本明細書において、点の検出に係る詳細な技術的説明は省略する。
【0069】
また、画像解析部１２２は、投射画像情報１０２と、撮像画像情報１０５とに基づいて、投射画像情報１０２の示す画像を投射する投射装置が有する光変調器の備える複数の画素と、撮像画像情報１０５を生成する撮像装置が有する撮像素子の備える複数の画素との対応関係を示す関係情報を生成する。換言すれば、画像解析部１２２は、投射画像情報１０２の示す画像と、撮像画像情報１０５の示す画像とに基づいて、関係情報を生成する。また、画像解析部１２２は、生成した関係情報を記憶装置１０に記憶させる。
【0070】
本実施形態において、画像解析部１２２は、第１投射画像情報１０３と、第１撮像画像情報１０６とに基づいて、第１投射画像情報１０３の示す画像ＧＦ１を投射する投射装置１６が有する光変調器１６０の備える複数の画素と、第１撮像画像情報１０６を生成する撮像装置１４が有する撮像素子１４０の備える複数の画素との対応関係を示す関係情報１１６を生成する。換言すれば、画像解析部１２２は、第１投射画像情報１０３の示す画像ＧＦ１と、第１撮像画像情報１０６の示す撮像画像ＧＳ１とに基づいて、関係情報１１６を生成する。具体的には、画像解析部１２２は、画像ＧＦ１に含まれる複数の点の座標を表す第８座標情報１３３と、撮像画像ＧＳ１に含まれる複数の点の座標を表す第６座標情報１３１とに基づいて、関係情報１１６を生成する。また、画像解析部１２２は、生成した関係情報１１６を記憶装置１０に記憶させる。
【0071】
入力管理部１２４は、操作装置３０を制御することで、ユーザーから受け付けた操作の内容を表す操作データを取得する。また、入力管理部１２４は、取得した操作データに基づいて、各種判定を実行する。
【0072】
本実施形態において、入力管理部１２４は、ユーザーから受け付けた位置調整操作の内容を表す操作データを取得する。
【0073】
また、入力管理部１２４は、ユーザーから、点ＤＰ２１～ＤＰ２４の位置調整を終了する操作の内容を表す操作データを取得したか否かを判定する。
【0074】
画像編集部１２５は、ユーザーから受け付けた位置調整操作に基づいて、投射画像情報１０２を更新する。換言すれば、画像編集部１２５は、ユーザーから受け付けた位置調整操作に基づいて、投射画像情報１０２の示す画像を更新する。また、画像編集部１２５は、ユーザーから受け付けた位置調整操作に基づいて、投射画像情報１０２の示す画像に含まれる点の座標を表す二次元座標情報１３０を更新する。
【0075】
本実施形態において、画像編集部１２５は、ユーザーから受け付けた位置調整操作に基づいて、第２投射画像情報１０４を更新する。換言すれば、画像編集部１２５は、ユーザーから受け付けた位置調整操作に基づいて、第２投射画像情報１０４の示す画像を更新する。具体的には、画像編集部１２５は、ユーザーから受け付けた位置調整操作に基づいて、画像ＧＦ２を画像ＧＦ３へ更新する。すなわち、位置調整操作に基づいて更新された第２投射画像情報１０４は、画像ＧＦ３を表す。また、画像編集部１２５は、ユーザーから受け付けた位置調整操作に基づいて、第２投射画像情報１０４の示す画像に含まれる複数の点の座標を表す第９座標情報１３４を更新する。位置調整操作に基づいて更新された第９座標情報１３４は、画像ＧＦ３に含まれる点ＤＦ３１～ＤＦ３４の座標を示す。
【0076】
三次元座標管理部１２３は、各種画像情報の示す画像に基づいて、物体の三次元形状を計測した結果を表す三次元座標情報１１０を生成する。また、三次元座標管理部１２３は、生成した三次元座標情報１１０を記憶装置１０に記憶させる。
【0077】
本実施形態において、三次元座標管理部１２３は、内部パラメーターが既知である撮像装置１４によって取得された撮像画像ＧＳ１と、内部パラメーターが既知である撮像装置２４によって取得された撮像画像ＧＳ２とに基づいて、領域Ｒ３のユークリッド復元結果を表す第１座標情報１１１を生成する。具体的には、三次元座標管理部１２３は、撮像画像ＧＳ１に含まれる複数の点の座標を表す第６座標情報１３１と、撮像画像ＧＳ２に含まれる複数の点の座標を表す第７座標情報１３２とに基づいて、第１座標情報１１１を生成する。また、三次元座標管理部１２３は、生成した第１座標情報１１１を記憶装置１０に記憶させる。
【0078】
また、三次元座標管理部１２３は、内部パラメーターが既知である撮像装置１４によって取得された撮像画像ＧＳ１と、内部パラメーターが未知である投射装置１６から投射される画像ＧＦ１とに基づいて、領域Ｒ１の射影復元結果を表す第２座標情報１１２を生成する。具体的には、三次元座標管理部１２３は、撮像画像ＧＳ１に含まれる複数の点の座標を表す第６座標情報１３１と、画像ＧＦ１に含まれる複数の点の座標を表す第８座標情報１３３とに基づいて、第２座標情報１１２を生成する。また、三次元座標管理部１２３は、生成した第２座標情報１１２を記憶装置１０に記憶させる。
【0079】
なお、第２座標情報１１２の示す複数の点の座標は、点ＤＰ３１～ＤＰ３４の射影復元結果を含む。点ＤＰ３１～ＤＰ３４の射影復元結果は、関係情報１１６と、位置調整操作に基づいて更新された第２投射画像情報１０４に基づいて生成される。具体的には、点ＤＰ３１～ＤＰ３４の射影復元結果は、関係情報１１６と、第２投射画像情報１０４の示す画像ＧＦ３に含まれる点ＤＦ３１～ＤＦ３４の座標を表す第９座標情報１３４とに基づいて生成される。すなわち、本実施形態において、第２座標情報１１２は、第６座標情報１３１と、第８座標情報１３３と、第９座標情報１３４と、関係情報１１６とに基づいて生成される。三次元座標管理部１２３は、第６座標情報１３１と、第８座標情報１３３と、第９座標情報１３４と、関係情報１１６とに基づいて、第２座標情報１１２を生成する。
【0080】
ユークリッド復元結果および射影復元結果を生成する方法として、例えば、エピポーラ幾何を活用した公知の三角測量法を用いてもよい。また、三角測量を実施する場合、Essential行列の分解による公知の外部パラメーターの推定を行ってもよい。また、ユークリッド復元結果および射影復元結果を生成する方法として、公知のステレオマッチングを用いてもよい。また、ステレオマッチングを実施する場合、事前に公知のステレオ平行化処理を行ってもよい。
【0081】
また、三次元座標管理部１２３は、三次元座標情報１１０の示す複数の点の座標のうちの、平面に含まれる複数の点の座標と、撮像装置１４の位置を示す点の座標とに基づいて、当該平面に含まれない仮想的な点の座標を表す情報を生成する。具体的には、三次元座標管理部１２３は、三次元座標情報１１０の示す複数の点の座標のうちの、平面に含まれる複数の点の座標と、撮像装置１４の位置を示す点の座標とに基づいて、当該平面に含まれる点と、撮像装置１４の位置を示す点とを結んだ直線上に位置する仮想的な点であって、当該平面に含まれない仮想的な点の座標を表す情報を生成する。
【0082】
本実施形態において、三次元座標管理部１２３は、ユークリッド復元によって取得された、面ＳＣ１１の領域Ｒ３に含まれる複数の点の座標を表す第１座標情報１１１に基づいて、面ＳＣ１１およびその延長上に含まれない仮想的な点の座標を表す第３座標情報１１３を生成する。また、三次元座標管理部１２３は、生成した第３座標情報１１３を記憶装置１０に記憶させる。
【0083】
また、三次元座標管理部１２３は、射影復元によって取得された、スクリーンＳＣ１の領域Ｒ１に含まれる複数の点の座標を表す第２座標情報１１２に基づいて、スクリーンＳＣ１の有する面ＳＣ１１およびその延長上に含まれない仮想的な点の座標を表す第４座標情報１１４を生成する。また、三次元座標管理部１２３は、生成した第４座標情報１１４を記憶装置１０に記憶させる。
【0084】
図１１は、座標系ＦＹにおける複数の点の位置関係を模式的に示した説明図である。座標系ＦＹは、第１座標情報１１１の示す複数の点の座標と、第３座標情報１１３の示す点の座標とを表す場合に用いられる座標系である。
【0085】
複数の点ＤＹ１の各々は、第１座標情報１１１の示す座標、換言すれば領域Ｒ３のユークリッド復元結果の示す座標に位置する。すなわち、複数の点ＤＹ１は、領域Ｒ３に含まれる複数の点ＤＰ１と一対一で対応する。また、第１座標情報１１１は、複数の点ＤＰ１の座標系ＦＹにおける座標を表す。領域Ｒ３は平面である面ＳＣ１１に含まれることから、座標系ＦＹにおいて、複数の点ＤＹ１は、平面ＳＶ１に含まれる。また、複数の点ＤＹ１は、点ＤＹ１１を含む。すなわち、点ＤＹ１１は、平面ＳＶ１に含まれる。
【0086】
点ＤＹ２１は、座標系ＦＹにおいて、撮像装置１４の位置を示す点である。直線Ｌ１は、点ＤＹ１１と、点ＤＹ２１とを結んだ直線である。直線Ｌ１上には、点ＤＹ３１が位置する。点ＤＹ３１は、第３座標情報１１３の示す座標に位置する点である。換言すれば、第３座標情報１１３は、点ＤＹ３１の座標を表す。また、点ＤＹ３１は、平面ＳＶ１に含まれない。
【0087】
図１２は、座標系ＦＸにおける複数の点の位置関係を模式的に示した説明図である。座標系ＦＸは、第２座標情報１１２の示す複数の点の座標と、第４座標情報１１４の示す点の座標とを表す場合に用いられる座標系である。
【0088】
複数の点ＤＸ１の各々は、第２座標情報１１２の示す座標のうちの、領域Ｒ３の射影復元結果の示す座標に位置する。すなわち、複数の点ＤＸ１は、領域Ｒ３に含まれる複数の点ＤＰ１と一対一で対応する。また、第２座標情報１１２は、複数の点ＤＰ１の座標系ＦＸにおける座標を表す。座標系ＦＸにおいて、複数の点ＤＸ１は、平面ＳＶ２に含まれる。また、複数の点ＤＸ１は、点ＤＸ１１を含む。すなわち、点ＤＸ１１は、平面ＳＶ２に含まれる。また、点ＤＸ１１は、点ＤＹ１１と対応する。
【0089】
点ＤＸ２１は、座標系ＦＸにおいて、撮像装置１４の位置を示す点である。直線Ｌ２は、点ＤＸ１１と、点ＤＸ２１とを結んだ直線である。直線Ｌ２上には、点ＤＸ３１が位置する。点ＤＸ３１は、第４座標情報１１４の示す座標に位置する点である。換言すれば、第４座標情報１１４は、点ＤＸ３１の座標を表す。また、点ＤＸ３１は、平面ＳＶ２に含まれない。
【0090】
図４に戻り、三次元座標管理部１２３は、第１座標情報１１１と、第２座標情報１１２と、第３座標情報１１３と、第４座標情報１１４とに基づいて、複数の点ＤＸ１の座標を複数の点ＤＹ１の座標へ変換するための三次元射影変換行列１０１を生成する。なお、三次元射影変換行列１０１は、第４座標情報１１４の示す点ＤＸ３１の座標を、第３座標情報１１３の示す点ＤＹ３１の座標へ変換する。すなわち、三次元射影変換行列１０１は、座標系ＦＸにおける点の座標を、座標系ＦＹにおける点の座標へ変換する。また、三次元射影変換行列１０１は、領域Ｒ３の射影復元結果を領域Ｒ３のユークリッド復元結果へ変換する。また、三次元座標管理部１２３は、生成した三次元射影変換行列１０１を記憶装置１０に記憶させる。
【0091】
三次元射影変換行列１０１は、４行４列の行列である。例えば、座標系ＦＸにおける点Ｓの座標を（ｘＳ，ｙＳ，ｚＳ）、座標系ＦＹにおける点の座標であって、点Ｓと対応する点Ｅの座標を（ｘＥ，ｙＥ，ｚＥ）、三次元射影変換行列１０１を行列Ｈとする場合、点Ｓの座標を点Ｅの座標へ変換する三次元射影変換は、同次座標を用いることで、次に示す（１）式で表される。
対応関係にある複数の点の組に対して（１）式を適用することで、行列Ｈの成分が導かれる。行列Ｈの成分を求める場合、（１）式を適用する点の組の数は、５組以上であることが好ましい。
【数1】
【0092】
また、三次元座標管理部１２３は、三次元射影変換行列１０１を用いて、射影復元によって得られた点ＤＰ３１～ＤＰ３４の座標、すなわち座標系ＦＸにおける点ＤＰ３１～ＤＰ３４の座標を変換することで、座標系ＦＹにおける点ＤＰ３１～ＤＰ３４の座標を取得する。具体的には、三次元座標管理部１２３は、三次元射影変換行列１０１を用いて、点ＤＰ３１～ＤＰ３４の射影復元結果を含む第２座標情報１１２の示す複数の点の座標を変換することで、座標系ＦＹにおける点ＤＰ３１～ＤＰ３４の座標を取得する。換言すれば、三次元座標管理部１２３は、第２座標情報１１２と、三次元射影変換行列１０１とに基づいて、座標系ＦＹにおける点ＤＰ３１～ＤＰ３４の座標を表す第５座標情報１１５を生成する。また、三次元座標管理部１２３は、生成した第５座標情報１１５を記憶装置１０に記憶させる。
【0093】
図１３は、第５座標情報１１５の示す複数の点の座標について説明するための模式図である。第５座標情報１１５は、点ＤＹ４１、点ＤＹ４２、点ＤＹ４３および点ＤＹ４４の座標を示す。
【0094】
点ＤＹ４１は、座標系ＦＹにおける点ＤＰ３１の座標に位置する点である。すなわち、点ＤＹ４１は、点ＤＰ３１と対応する。また、点ＤＹ４１は、点ＤＦ３１と対応する。
【0095】
点ＤＹ４２は、座標系ＦＹにおける点ＤＰ３２の座標に位置する点である。すなわち、点ＤＹ４２は、点ＤＰ３２と対応する。また、点ＤＹ４２は、点ＤＦ３２と対応する。
【0096】
点ＤＹ４３は、座標系ＦＹにおける点ＤＰ３１の座標に位置する点である。すなわち、点ＤＹ４３は、点ＤＰ３３と対応する。また、点ＤＹ４３は、点ＤＦ３３と対応する。
【0097】
点ＤＹ４４は、座標系ＦＹにおける点ＤＰ３１の座標に位置する点である。すなわち、点ＤＹ４４は、点ＤＰ３４と対応する。また、点ＤＹ４４は、点ＤＦ３４と対応する。
【0098】
四角形ＳＶ３は、点ＤＹ４１～ＤＹ４４を頂点とする四角形である。すなわち、四角形ＳＶ３は、点ＤＰ３１～ＤＰ３４を頂点とする四角形と対応する。四角形ＳＶ３は、角Ｔ１１と、角Ｔ１２と、角Ｔ１３と、角Ｔ１４とを備える。
【0099】
角Ｔ１１は、点ＤＹ４１および点ＤＹ４２を結んだ線分と、点ＤＹ４１および点ＤＹ４４を結んだ線分とがなす角である。
【0100】
角Ｔ１２は、点ＤＹ４１および点ＤＹ４２を結んだ線分と、点ＤＹ４２および点ＤＹ４３を結んだ線分とがなす角である。
【0101】
角Ｔ１３は、点ＤＹ４２および点ＤＹ４３を結んだ線分と、点ＤＹ４３および点ＤＹ４４を結んだ線分とがなす角である。
【0102】
角Ｔ１４は、点ＤＹ４３および点ＤＹ４４を結んだ線分と、点ＤＹ４１および点ＤＹ４４を結んだ線分とがなす角である。
【0103】
前述の通り、三次元射影変換行列１０１は、領域Ｒ３の射影復元結果を領域Ｒ３のユークリッド復元結果へ変換することができる。他方、三次元射影変換行列１０１は、領域Ｒ１の射影復元結果を領域Ｒ１のユークリッド復元結果へ変換することができるか否かは定かではない。このため、処理装置１２は、三次元射影変換行列１０１が領域Ｒ１の射影復元結果を領域Ｒ１のユークリッド復元結果へ変換することができるか否かを判定する。以下、三次元射影変換行列１０１が領域Ｒ１の射影復元結果を領域Ｒ１のユークリッド復元結果へ変換することができるか否か判定することを「三次元射影変換行列１０１の評価」ということがある。三次元射影変換行列１０１の評価は、四角形ＳＶ３の内角の角度のうち、角Ｔ１１の角度をθ１、角Ｔ１２の角度をθ２、角Ｔ１３の角度をθ３、角Ｔ１４の角度をθ４とする場合、次に示す（２）式の値Ｑを用いて実施される。
値Ｑは、第５座標情報１１５の示す複数の点の座標に基づいて変化する。三次元射影変換行列１０１が領域Ｒ１の射影復元結果を領域Ｒ１のユークリッド復元結果へ変換することができる場合、三次元射影変換行列１０１を用いて領域Ｒ１の射影復元結果を変換することで得られる複数の点の座標、すなわち領域Ｒ１の形状は、実物であるスクリーンＳＣ１の領域Ｒ１と相似な形状となる。従って、三次元射影変換行列１０１が領域Ｒ１の射影復元結果を領域Ｒ１のユークリッド復元結果へ変換することができる場合、三次元射影変換行列１０１に基づいて生成された第５座標情報１１５の示す座標に位置する点ＤＹ４１～ＤＹ４４を頂点とする四角形ＳＶ３の形状は、スクリーンＳＣ１上に位置する点ＤＰ３１～ＤＰ３４を頂点とする長方形と相似な形状となる。つまり、三次元射影変換行列１０１が領域Ｒ１の射影復元結果を領域Ｒ１のユークリッド復元結果へ変換することができる場合、θ１、θ２、θ３およびθ４が９０°となることから、値Ｑは、０となる。
【数2】
【0104】
なお、実際には、測定誤差および点ＤＰ３１～ＤＰ３４の調整誤差等に起因して、値Ｑが０にならない場合がある。このため、三次元射影変換行列１０１の評価において、値Ｑが所定の値以下になる場合、三次元射影変換行列１０１は領域Ｒ１の射影復元結果を領域Ｒ１のユークリッド復元結果へ変換することができると見做してもよい。本実施形態では、値Ｑが所定の値以下になる場合、三次元射影変換行列１０１は領域Ｒ１の射影復元結果を領域Ｒ１のユークリッド復元結果へ変換することができると見做す。
【0105】
値Ｑが所定の値よりも大きい場合、三次元座標管理部１２３は、第３座標情報１１３を更新する。具体的には、三次元座標管理部１２３は、第３座標情報１１３の示す点ＤＹ３１の座標を、直線Ｌ１上の他の座標へ変更することで、第３座標情報１１３を更新する。以下、第３座標情報１１３を更新することを「第１の更新」ということがある。また、第１の更新が実行された場合、三次元座標管理部１２３は、更新された第３座標情報１１３と、第１座標情報１１１と、第２座標情報１１２と、第４座標情報１１４とに基づいて、三次元射影変換行列１０１を更新する。以下、三次元射影変換行列１０１を更新することを「第２の更新」ということがある。また、第２の更新が実行された場合、三次元座標管理部１２３は、更新された三次元射影変換行列１０１と、第２座標情報１１２とに基づいて、第５座標情報１１５を更新する。以下、第５座標情報１１５を更新することを「第３の更新」ということがある。すなわち、値Ｑが所定の値よりも大きい場合、処理装置１２は、値Ｑが所定の値以下になるまで、第１の更新と、第２の更新と、第３の更新とを繰り返し実行する。これにより、処理装置１２は、領域Ｒ１の射影復元結果を領域Ｒ１のユークリッド復元結果へ変換する三次元射影変換行列１０１を生成することができる。
【0106】
撮像素子１４０および撮像素子２４０は、例えば、ＣＣＤまたはＣＭＯＳ等を一例とするイメージセンサーである。ここで、ＣＣＤとはCharge Coupled Deviceの略称であり、ＣＭＯＳとはComplementary Metal Oxide Semiconductorの略称である。撮像素子１４０および撮像素子２４０は、各々、複数の画素を備える。撮像装置１４は、撮像制御部１２１の制御により、投射画像ＧＰ１が表示されたスクリーンＳＣ１の領域Ｒ１を含む範囲を撮像する。撮像素子１４０は、投射画像ＧＰ１が表示されたスクリーンＳＣ１の領域Ｒ１を含む範囲を撮像した結果を表す第１撮像画像情報１０６を処理装置１２へ出力する。換言すれば、撮像素子１４０は、第１撮像画像情報１０６の示す撮像画像ＧＳ１を処理装置１２へ出力する。撮像装置２４は、撮像制御部１２１の制御により、投射画像ＧＰ１の一部が表示されたスクリーンＳＣ１の領域Ｒ２を含む範囲を撮像する。撮像素子２４０は、投射画像ＧＰ１の一部が表示されたスクリーンＳＣ１の領域Ｒ２を含む範囲を撮像した結果を表す第２撮像画像情報１０７を処理装置１２へ出力する。換言すれば、撮像素子２４０は、第２撮像画像情報１０７の示す撮像画像ＧＳ２を処理装置１２へ出力する。
【0107】
光変調器１６０および光変調器２６０は、例えば、１または複数のＤＭＤまたは液晶パネル等を含む。光変調器１６０および光変調器２６０は、各々、複数の画素を備える。光変調器１６０および光変調器２６０は、処理装置１２から入力される信号に基づいて、光源から発せられた光を、投射面上に投射画像を表示するための投射光に変調する。光源は、例えば、ハロゲンランプ、キセノンランプ、超高圧水銀ランプ、ＬＥＤまたはレーザー光源等を含む。ここで、ＬＥＤとはLight Emitting Diodeの略称であり、ＤＭＤとはDigital Mirror Deviceの略称である。
【0108】
投射装置１６は、投射制御部１２０の制御により、投射面上に投射画像を表示するための投射光を投射する。換言すれば、投射装置１６は、処理装置１２から入力された画像を投射面へ投射する。本実施形態において、投射装置１６は、投射制御部１２０の制御により、スクリーンＳＣ１上に投射画像を表示するための投射光を投射する。具体的には、投射装置１６は、処理装置１２から入力された画像ＧＦ１をスクリーンＳＣ１に投射することで、スクリーンＳＣ１上に投射画像ＧＰ１を表示する。また、投射装置１６は、処理装置１２から入力された画像ＧＦ２をスクリーンＳＣ１に投射することで、スクリーンＳＣ１上に投射画像ＧＰ２を表示する。また、投射装置１６は、処理装置１２から入力された画像ＧＦ３をスクリーンＳＣ１に投射することで、スクリーンＳＣ１上に投射画像ＧＰ３を表示する。
【0109】
内部パラメーターは、具体的には、物体の形状を計測するために用いられる装置の光学系に関するパラメーターである。より具体的には、内部パラメーターは、物体の形状を計測するために用いられる装置の備えるレンズに関するパラメーターを含む。例えば、撮像装置１４において、内部パラメーターは、撮像レンズ１４２に関するパラメーターと、撮像素子１４０に関するパラメーターとを含む。また、撮像装置２４において、内部パラメーターは、撮像レンズ２４２に関するパラメーターと、撮像素子２４０に関するパラメーターとを含む。また、投射装置１６において、内部パラメーターは、投射レンズ１６２に関するパラメーターと、光変調器１６０に関するパラメーターとを含む。また、投射装置２６において、内部パラメーターは、投射レンズ２６２に関するパラメーターと、光変調器２６０に関するパラメーターとを含む。
【0110】
通信装置１８は、例えば、コネクターおよびインターフェース回路を有するインターフェース基板を含み、外部端末、外部記憶装置または外部サーバー等から各種情報を受信する機能と、外部端末、外部記憶装置または外部サーバー等へ各種情報を送信する機能とを有する。通信装置１８は、有線通信を利用して各種情報を送受信してもよいし、無線通信を利用して各種情報を送受信してもよい。無線通信が利用される場合、通信装置１８は、所定の通信規格に準拠した無線通信に対応するアンテナを含んで構成される。本実施形態において、通信装置１８は、プロジェクター２と通信可能に接続され、プロジェクター２との間で各種情報を送受信する。
【0111】
操作装置３０は、プロジェクター１のユーザーから、プロジェクター１に対する入力操作を受け付ける。操作装置３０は、例えば、プロジェクター１の筐体に設けられたタッチパネルまたは操作ボタン等を含んで構成される。操作装置３０がタッチパネルを含んで構成される場合、操作装置３０は、検出したタッチ位置を示すデータを処理装置１２へ出力する。また、操作装置３０が操作ボタンを含んで構成される場合、操作装置３０は、押下されたボタンを識別するデータを処理装置１２へ出力する。これにより、プロジェクター１に対する入力操作の内容が処理装置１２へ伝達される。本実施形態において、操作装置３０は、ユーザーから位置調整操作を受け付ける。また、操作装置３０は、位置調整操作の内容を表す操作データを処理装置１２へ出力する。
【0112】
１．３．計測システムの動作
図１４は、実施形態に係る計測システムＳｙｓの動作について説明するためのフローチャートである。当該フローチャートに示す一連の動作は、例えば、プロジェクター１およびプロジェクター２の電源がＯＮになり、プロジェクター１がユーザーから動作開始に関する入力操作を受け付けた際に開始される。
図１４は、実施形態に係る計測システムＳｙｓの動作について説明するためのフローチャートである。当該フローチャートに示す一連の動作は、例えば、プロジェクター１およびプロジェクター２の電源がＯＮになり、プロジェクター１がユーザーから動作開始に関する入力操作を受け付けた際に開始される。
【0113】
ステップＳ１０１において、投射制御部１２０は、第１投射画像情報１０３に基づく投射光を投射装置１６に投射させることで、スクリーンＳＣ１上に投射画像ＧＰ１を表示させる。換言すれば、投射制御部１２０は、投射装置１６から、第１投射画像情報１０３の示す画像ＧＦ１を投射させることで、スクリーンＳＣ１上に投射画像ＧＰ１を表示させる。
【0114】
ステップＳ１０２において、撮像制御部１２１は、撮像装置１４を制御することで、投射画像ＧＰ１が表示されたスクリーンＳＣ１の領域Ｒ１を含む範囲を撮像させる。すなわち、撮像制御部１２１は、撮像装置１４を制御することで、投射画像ＧＰ１に含まれる複数の点ＤＰ１を撮像させる。また、撮像制御部１２１は、当該撮像の結果を表す撮像画像ＧＳ１を取得する。また、撮像制御部１２１は、撮像画像ＧＳ１を表す第１撮像画像情報１０６を記憶装置１０に記憶させる。
【0115】
ステップＳ１０３において、撮像制御部１２１は、撮像装置２４を制御することで、投射画像ＧＰ１の一部が表示されたスクリーンＳＣ１の領域Ｒ２を含む範囲を撮像させる。すなわち、撮像制御部１２１は、撮像装置２４を制御することで、投射画像ＧＰ１に含まれる複数の点ＤＰ１を撮像させる。また、撮像制御部１２１は、当該撮像の結果を表す撮像画像ＧＳ２を取得する。また、撮像制御部１２１は、撮像画像ＧＳ２を表す第２撮像画像情報１０７を記憶装置１０に記憶させる。
【0116】
ステップＳ１０４において、画像解析部１２２は、第１撮像画像情報１０６の示す撮像画像ＧＳ１に対して画像処理を実行することで、撮像画像ＧＳ１に含まれる複数の点を検出する。すなわち、画像解析部１２２は、撮像画像ＧＳ１に含まれる複数の点の座標を表す第６座標情報１３１を取得する。また、画像解析部１２２は、取得した第６座標情報１３１を記憶装置１０に記憶させる。
【0117】
また、画像解析部１２２は、第２撮像画像情報１０７の示す撮像画像ＧＳ２に対して画像処理を実行することで、撮像画像ＧＳ２に含まれる複数の点を検出する。すなわち、画像解析部１２２は、撮像画像ＧＳ２に含まれる複数の点の座標を表す第７座標情報１３２を取得する。また、画像解析部１２２は、取得した第７座標情報１３２を記憶装置１０に記憶させる。
【0118】
また、画像解析部１２２は、第１投射画像情報１０３の示す画像ＧＦ１に対して画像処理を実行することで、画像ＧＦ１に含まれる複数の点を検出する。すなわち、画像解析部１２２は、画像ＧＦ１に含まれる複数の点の座標を表す第８座標情報１３３を取得する。また、画像解析部１２２は、取得した第８座標情報１３３を記憶装置１０に記憶させる。
【0119】
ステップＳ１０５において、画像解析部１２２は、第１投射画像情報１０３と、第１撮像画像情報１０６とに基づいて、第１投射画像情報１０３の示す画像ＧＦ１を投射する投射装置１６が有する光変調器１６０の備える複数の画素と、第１撮像画像情報１０６を生成する撮像装置１４が有する撮像素子１４０の備える複数の画素との対応関係を示す関係情報１１６を生成する。換言すれば、画像解析部１２２は、第１投射画像情報１０３の示す画像ＧＦ１と、第１撮像画像情報１０６の示す撮像画像ＧＳ１とに基づいて、関係情報１１６を生成する。具体的には、画像解析部１２２は、画像ＧＦ１に含まれる複数の点の座標を表す第８座標情報１３３と、撮像画像ＧＳ１に含まれる複数の点の座標を表す第６座標情報１３１とに基づいて、関係情報１１６を生成する。また、画像解析部１２２は、生成した関係情報１１６を記憶装置１０に記憶させる。
【0120】
ステップＳ１０６において、投射制御部１２０は、第２投射画像情報１０４に基づく投射光を投射装置１６に投射させることで、スクリーンＳＣ１上に投射画像ＧＰ２を表示させる。換言すれば、投射制御部１２０は、投射装置１６から、第２投射画像情報１０４の示す画像ＧＦ２を投射させることで、スクリーンＳＣ１上に投射画像ＧＰ２を表示させる。
【0121】
スクリーンＳＣ１上に投射画像ＧＰ２が表示された場合、ユーザーは、位置調整操作を実行することで、点ＤＰ２１～ＤＰ２４を頂点とする四角形の形状を長方形に調整する。操作装置３０は、ユーザーから、点ＤＰ２１～ＤＰ２４を頂点とする四角形の形状を長方形に調整するための位置調整操作を受け付ける。
【0122】
ステップＳ１０７において、入力管理部１２４は、操作装置３０を制御することで、ユーザーから受け付けた位置調整操作の内容を表す操作データを取得する。
【0123】
ステップＳ１０８において、画像編集部１２５は、ユーザーから受け付けた位置調整操作に基づいて、第２投射画像情報１０４を更新する。換言すれば、画像編集部１２５は、ユーザーから受け付けた位置調整操作に基づいて、第２投射画像情報１０４の示すＧＦ２を画像ＧＦ３へ更新する。投射装置１６は、処理装置１２から入力された画像ＧＦ３をスクリーンＳＣ１に投射することで、スクリーンＳＣ１上に表示される投射画像を、投射画像ＧＰ２から投射画像ＧＰ３へ更新する。また、画像編集部１２５は、ユーザーから受け付けた位置調整操作に基づいて、第２投射画像情報１０４の示す画像に含まれる複数の点の座標を表す第９座標情報１３４を更新する。
【0124】
ステップＳ１０９において、入力管理部１２４は、ユーザーから、点ＤＰ２１～ＤＰ２４の位置調整を終了する操作の内容を表す操作データを取得したか否かを判定する。点ＤＰ２１～ＤＰ２４の位置調整を終了する操作の内容を表す操作データを取得した場合、すなわち、ステップＳ１０９でＹＥＳの場合、入力管理部１２４は処理をステップＳ１０７へ進める。また、点ＤＰ２１～ＤＰ２４の位置調整を終了する操作の内容を表す操作データを取得していない場合、すなわち、ステップＳ１０９でＮＯの場合、入力管理部１２４は処理をステップＳ１０７へ進める。
【0125】
ステップＳ１１０において、三次元座標管理部１２３は、内部パラメーターが既知である撮像装置１４によって取得された撮像画像ＧＳ１と、内部パラメーターが既知である撮像装置２４によって取得された撮像画像ＧＳ２とに基づいて、領域Ｒ３のユークリッド復元結果を表す第１座標情報１１１を生成する。具体的には、三次元座標管理部１２３は、第６座標情報１３１と、第７座標情報１３２とに基づいて、第１座標情報１１１を生成する。また、三次元座標管理部１２３は、生成した第１座標情報１１１を記憶装置１０に記憶させる。
【0126】
ステップＳ１１１において、三次元座標管理部１２３は、内部パラメーターが既知である撮像装置１４によって取得された撮像画像ＧＳ１と、内部パラメーターが未知である投射装置１６から投射される画像ＧＦ１とに基づいて、領域Ｒ１の射影復元結果を表す第２座標情報１１２を生成する。具体的には、三次元座標管理部１２３は、撮像画像ＧＳ１に含まれる複数の点の座標を表す第６座標情報１３１と、画像ＧＦ１に含まれる複数の点の座標を表す第８座標情報１３３と、位置調整操作に基づいて更新された第９座標情報１３４と、関係情報１１６とに基づいて、第２座標情報１１２を生成する。また、三次元座標管理部１２３は、生成した第２座標情報１１２を記憶装置１０に記憶させる。
【0127】
ステップＳ１１２において、三次元座標管理部１２３は、第１座標情報１１１に基づいて、平面ＳＶ１に含まれない点ＤＹ３１の座標を表す第３座標情報１１３を生成する。また、三次元座標管理部１２３は、生成した第３座標情報１１３を記憶装置１０に記憶させる。
【0128】
ステップＳ１１３において、三次元座標管理部１２３は、第２座標情報１１２に基づいて、平面ＳＶ２に含まれない点ＤＸ３１の座標を表す第４座標情報１１４を生成する。また、三次元座標管理部１２３は、生成した第４座標情報１１４を記憶装置１０に記憶させる。
【0129】
ステップＳ１１４において、三次元座標管理部１２３は、第１座標情報１１１と、第２座標情報１１２と、第３座標情報１１３と、第４座標情報１１４とに基づいて、複数の点ＤＸ１の座標を複数の点ＤＹ１の座標へ変換するための三次元射影変換行列１０１を生成する。また、三次元座標管理部１２３は、生成した三次元射影変換行列１０１を記憶装置１０に記憶させる。
【0130】
すなわち、処理装置１２は、面ＳＣ１１に含まれる複数の点ＤＰ１の座標系ＦＹにおける座標を表す第１座標情報１１１、および、複数の点ＤＰ１の座標系ＦＸにおける座標を表す第２座標情報１１２に加え、面ＳＣ１１およびその延長上に含まれない仮想的な点の座標を表す第３座標情報１１３および第４座標情報１１４を用いることで、同一平面上に存在する複数の点の座標を変換する三次元射影変換行列１０１を生成することができる。
【0131】
ステップＳ１１５において、三次元座標管理部１２３は、第２座標情報１１２と、三次元射影変換行列１０１とに基づいて、座標系ＦＹにおける点ＤＰ３１～ＤＰ３４の座標を表す第５座標情報１１５を生成する。また、三次元座標管理部１２３は、生成した第５座標情報１１５を記憶装置１０に記憶させる。
【0132】
ステップＳ１１６において、三次元座標管理部１２３は、三次元射影変換行列１０１の評価を実施する。すなわち、三次元座標管理部１２３は、値Ｑが所定の値以下であるか否かを判定する。値Ｑが所定の値以下である場合、すなわち、ステップＳ１１６でＹＥＳの場合、三次元座標管理部１２３を備える処理装置１２は図１４のフローチャートに示す一連の動作を終了させる。また、値Ｑが所定の値よりも大きい場合、すなわち、ステップＳ１１６でＮＯの場合、三次元座標管理部１２３は処理をステップＳ１１７へ進める。
【0133】
ステップＳ１１７において、三次元座標管理部１２３は、第３座標情報１１３を更新する第１の更新を実行する。具体的には、三次元座標管理部１２３は、第３座標情報１１３の示す点ＤＹ３１の座標を、直線Ｌ１上の他の座標へ変更することで、第１の更新を実行する。
【0134】
ステップＳ１１８において、三次元座標管理部１２３は、第１の更新によって更新された第３座標情報１１３と、第１座標情報１１１と、第２座標情報１１２と、第４座標情報１１４とに基づいて、三次元射影変換行列１０１を更新する第２の更新を実行する。
【0135】
ステップＳ１１９において、三次元座標管理部１２３は、第２の更新によって更新された三次元射影変換行列１０１と、第２座標情報１１２とに基づいて、第５座標情報１１５を更新する第３の更新を実行する。
【0136】
処理装置１２は、値Ｑが所定の値以下になるまで、換言すれば、ステップＳ１１６の判定結果がＹＥＳになるまで、第１の更新と、第２の更新と、第３の更新とを繰り返し実行する。これにより、処理装置１２は、領域Ｒ１の射影復元結果を領域Ｒ１のユークリッド復元結果へ変換する三次元射影変換行列１０１を生成することができる。
【0137】
以上より、実施形態によれば、計測システムＳｙｓは、同一平面上に存在する複数の点の座標に加え、当該平面上に存在しない仮想的な点の座標を用いて、三次元射影変換行列を生成する。すなわち、計測システムＳｙｓは、同一平面上に存在する複数の点の座標を変換する三次元射影変換行列を生成することができる。
【0138】
また、実施形態によれば、計測システムＳｙｓは、同一平面上に存在する複数の点の座標を変換する三次元射影変換行列を用いて、当該平面を含む領域の射影復元結果を変換することで、当該平面を含む領域のユークリッド復元結果を取得することができる。すなわち、計測システムＳｙｓは、計測対象となる物体に、平面の領域と、非平面の領域とが含まれる場合であっても、物体の形状を正確に計測することができる。
【0139】
以上に説明したように、実施形態に係る計測方法は、平面である面ＳＣ１１と、非平面である面ＳＣ１２と、を含むスクリーンＳＣ１において、面ＳＣ１１の領域Ｒ３に含まれる複数の点ＤＰ１の座標系ＦＹにおける座標を表す第１座標情報１１１を生成することと、複数の点ＤＰ１の座標系ＦＸにおける座標を表す第２座標情報１１２を生成することと、座標系ＦＹにおいて、平面ＳＶ１に含まれない点ＤＹ３１の座標を表す第３座標情報１１３を生成することと、座標系ＦＸにおいて、平面ＳＶ２に含まれない点ＤＸ３１の座標を表す第４座標情報１１４を生成することと、第１座標情報１１１と、第２座標情報１１２と、第３座標情報１１３と、第４座標情報１１４と、に基づいて、座標系ＦＸにおける複数の点ＤＰ１の座標を座標系ＦＹにおける複数の点ＤＰ１の座標へ変換するための三次元射影変換行列１０１を生成することと、三次元射影変換行列１０１に基づいて、スクリーンＳＣ１に含まれる点ＤＰ３１～ＤＰ３４の座標系ＦＹにおける座標を表す第５座標情報１１５を生成することと、第５座標情報１１５の示す座標が所定の条件を充足しない場合、第３座標情報１１３および第４座標情報１１４の少なくとも一方を更新する第１の更新を実行し、第１の更新の結果に基づいて三次元射影変換行列１０１を更新する第２の更新を実行し、第２の更新によって更新された三次元射影変換行列１０１に基づいて第５座標情報１１５を更新する第３の更新を実行することと、を含み、点ＤＰ３１～ＤＰ３４を頂点とする四角形は、所定の形状となり、点ＤＰ３１～ＤＰ３４のうちの少なくとも一つは、面ＳＣ１２に含まれる。
【0140】
また、実施形態に係る計測システムＳｙｓは、平面である面ＳＣ１１と、非平面である面ＳＣ１２と、を含むスクリーンＳＣ１において、面ＳＣ１１の領域Ｒ３に含まれる複数の点ＤＰ１の座標系ＦＹにおける座標を表す第１座標情報１１１を生成することと、複数の点ＤＰ１の座標系ＦＸにおける座標を表す第２座標情報１１２を生成することと、座標系ＦＹにおいて、平面ＳＶ１に含まれない点ＤＹ３１の座標を表す第３座標情報１１３を生成することと、座標系ＦＸにおいて、平面ＳＶ２に含まれない点ＤＸ３１の座標を表す第４座標情報１１４を生成することと、第１座標情報１１１と、第２座標情報１１２と、第３座標情報１１３と、第４座標情報１１４と、に基づいて、座標系ＦＸにおける複数の点ＤＰ１の座標を座標系ＦＹにおける複数の点ＤＰ１の座標へ変換するための三次元射影変換行列１０１を生成することと、三次元射影変換行列１０１に基づいて、スクリーンＳＣ１に含まれる点ＤＰ３１～ＤＰ３４の座標系ＦＹにおける座標を表す第５座標情報１１５を生成することと、第５座標情報１１５の示す座標が所定の条件を充足しない場合、第３座標情報１１３および第４座標情報１１４の少なくとも一方を更新する第１の更新を実行し、第１の更新の結果に基づいて三次元射影変換行列１０１を更新する第２の更新を実行し、第２の更新によって更新された三次元射影変換行列１０１に基づいて第５座標情報１１５を更新する第３の更新を実行することと、を実行する処理装置１２を備え、点ＤＰ３１～ＤＰ３４を頂点とする四角形は、所定の形状となり、点ＤＰ３１～ＤＰ３４のうちの少なくとも一つは、面ＳＣ１２に含まれる。
【0141】
また、実施形態に係るプロジェクター１は、平面である面ＳＣ１１と、非平面である面ＳＣ１２と、を含むスクリーンＳＣ１において、面ＳＣ１１の領域Ｒ３に含まれる複数の点ＤＰ１の座標系ＦＹにおける座標を表す第１座標情報１１１を生成することと、複数の点ＤＰ１の座標系ＦＸにおける座標を表す第２座標情報１１２を生成することと、座標系ＦＹにおいて、平面ＳＶ１に含まれない点ＤＹ３１の座標を表す第３座標情報１１３を生成することと、座標系ＦＸにおいて、平面ＳＶ２に含まれない点ＤＸ３１の座標を表す第４座標情報１１４を生成することと、第１座標情報１１１と、第２座標情報１１２と、第３座標情報１１３と、第４座標情報１１４と、に基づいて、座標系ＦＸにおける複数の点ＤＰ１の座標を座標系ＦＹにおける複数の点ＤＰ１の座標へ変換するための三次元射影変換行列１０１を生成することと、三次元射影変換行列１０１に基づいて、スクリーンＳＣ１に含まれる点ＤＰ３１～ＤＰ３４の座標系ＦＹにおける座標を表す第５座標情報１１５を生成することと、第５座標情報１１５の示す座標が所定の条件を充足しない場合、第３座標情報１１３および第４座標情報１１４の少なくとも一方を更新する第１の更新を実行し、第１の更新の結果に基づいて三次元射影変換行列１０１を更新する第２の更新を実行し、第２の更新によって更新された三次元射影変換行列１０１に基づいて第５座標情報１１５を更新する第３の更新を実行することと、を実行する処理装置１２を備え、点ＤＰ３１～ＤＰ３４を頂点とする四角形は、所定の形状となり、点ＤＰ３１～ＤＰ３４のうちの少なくとも一つは、面ＳＣ１２に含まれる。
【0142】
すなわち、計測システムＳｙｓは、同一平面上に存在する複数の点の座標に加え、当該平面上に存在しない仮想的な点の座標を用いて、三次元射影変換行列１０１を生成する。これにより、計測システムＳｙｓは、同一平面上に存在する複数の点の座標を変換する三次元射影変換行列１０１を生成することができる。また、三次元射影変換行列１０１は、平面部と、非平面部とを含む領域の複数の点の座標系を変換することができる。このため、計測システムＳｙｓは、計測対象となる物体に、平面の領域と、非平面の領域とが含まれる場合であっても、物体の形状を計測することができる。
【0143】
なお、実施形態において、計測システムＳｙｓは「計測システム」の一例であり、プロジェクター１は「情報処理装置」の一例であり、面ＳＣ１１は「第１の面」の一例であり、面ＳＣ１２は「第２の面」の一例であり、スクリーンＳＣ１は「スクリーン」の一例であり、領域Ｒ３は「第１領域」の一例であり、複数の点ＤＰ１は「複数の第１の点」の一例であり、座標系ＦＹは「第１の座標系」の一例であり、第１座標情報１１１は「第１座標情報」の一例であり、座標系ＦＸは「第２の座標系」の一例であり、第２座標情報１１２は「第２座標情報」の一例であり、点ＤＹ３１は「第２の点」の一例であり、第３座標情報１１３は「第３座標情報」の一例であり、点ＤＸ３１は「第３の点」の一例であり、第４座標情報１１４は「第４座標情報」の一例であり、三次元射影変換行列１０１は「三次元射影変換行列」の一例であり、点ＤＰ３１～ＤＰ３４は「四つの設定点」の一例であり、第５座標情報１１５は「第５座標情報」の一例であり、処理装置１２は「処理装置」の一例である。また、「第１の座標系において、複数の第１の点を含む平面」は平面ＳＶ１を一例とする。また、「第２の座標系において、複数の第１の点を含む平面」は平面ＳＶ２を一例とする。また、「所定の形状」は長方形を一例とする。また、「所定の条件」は値Ｑが所定の値以下になることを一例とする。
【0144】
また、実施形態に係る計測方法は、撮像装置１４を制御することで、領域Ｒ３を含む範囲を撮像した撮像画像ＧＳ１を取得することを更に含み、第１座標情報１１１および第２座標情報１１２の少なくとも一方は、撮像画像ＧＳ１に基づいて生成される。
【0145】
すなわち、計測システムＳｙｓは、撮像装置を用いて、物体の形状を計測する。これにより、計測システムＳｙｓは、物体の形状を正確に計測することができる。
【0146】
なお、実施形態において、撮像装置１４は「撮像装置」の一例であり、撮像画像ＧＳ１は「撮像画像」の一例である。
【0147】
また、実施形態に係る計測方法において、点ＤＹ３１は、座標系ＦＹにおいて、撮像装置１４の位置を示す点ＤＹ２１と、平面ＳＶ１に含まれる点ＤＹ１１と、を結ぶ直線Ｌ１上に位置し、点ＤＸ３１は、座標系ＦＸにおいて、撮像装置１４の位置を示す点ＤＸ２１と、平面ＳＶ２に含まれる点であって、点ＤＹ１１と対応する点ＤＸ１１と、を結ぶ直線Ｌ２上に位置する。
【0148】
すなわち、計測システムＳｙｓは、平面上に存在しない仮想的な点の座標を、撮像装置の位置を示す点と、当該平面に含まれる点とを結んだ直線上に設定する。これにより、計測システムＳｙｓは、三次元射影変換行列１０１を生成する精度を高めることができる。
【0149】
なお、実施形態において、点ＤＹ１１は「第４の点」の一例であり、点ＤＸ１１は「第５の点」の一例であり、直線Ｌ１は「第１の直線」の一例であり、直線Ｌ２は「第２の直線」の一例である。また、「第１の座標系において、撮像装置の位置を示す点」は点ＤＹ２１を一例とする。また、「第２の座標系において、撮像装置の位置を示す点」は点ＤＸ２１を一例とする。
【0150】
また、実施形態に係る計測方法において、第１の更新が第３座標情報１１３を更新することを含む場合、第３座標情報１１３を更新することは、点ＤＹ３１の座標を、直線Ｌ１上の他の座標へ変更することを含み、第１の更新が第４座標情報１１４を更新することを含む場合、第４座標情報１１４を更新することは、点ＤＸ３１の座標を、直線Ｌ２上の他の座標へ変更することを含む。
【0151】
すなわち、計測システムＳｙｓは、平面上に存在しない仮想的な点の座標を、撮像装置の位置を示す点と、当該平面に含まれる点とを結んだ直線上において変更する。これにより、計測システムＳｙｓは、三次元射影変換行列１０１の更新を、高精度かつ高速に行うことができる。
【0152】
また、実施形態に係る計測方法において、第５座標情報１１５を生成することは、スクリーンＳＣ１に画像を投射する投射装置１６から、点ＤＰ３１～ＤＰ３４と一対一で対応する点ＤＦ３１～ＤＦ３４を含む画像ＧＦ３を投射させることで、スクリーンＳＣ１上に投射画像ＧＰ３を表示させることを含み、点ＤＰ３１～ＤＰ３４は、投射画像ＧＰ３に含まれる。
【0153】
すなわち、計測システムＳｙｓは、点ＤＰ３１～ＤＰ３４の位置を簡便に表示することができる。これにより、ユーザーは、点ＤＰ３１～ＤＰ３４の位置調整を容易に行うことができる。
【0154】
なお、実施形態において、投射装置１６は「投射装置」の一例であり、点ＤＦ３１～ＤＦ３４は「四つの第６の点」の一例であり、画像ＧＦ３は「第１のパターン画像」の一例であり、投射画像ＧＰ３は「第１投射画像」の一例である。
【0155】
また、実施形態に係る計測方法は、スクリーンＳＣ１に画像を投射する投射装置１６から、複数の点ＤＰ１と一対一で対応する複数の点ＤＦ１を含む画像ＧＦ１を投射させることで、スクリーンＳＣ１上に投射画像ＧＰ１を表示させることを更に含み、撮像画像ＧＳ１は、複数の点ＤＰ１と一対一で対応する複数の点ＤＶ１を含み、第１座標情報１１１および第２座標情報１１２のどちらか一方は、撮像画像ＧＳ１と、画像ＧＦ１と、に基づいて生成される。
【0156】
すなわち、計測システムＳｙｓは、撮像装置および投射装置を用いて、物体の形状を計測する。これにより、計測システムＳｙｓは、物体の形状を正確に計測することができる。
【0157】
なお、実施形態において、複数の点ＤＦ１は「複数の第７の点」の一例であり、画像ＧＦ１は「第２のパターン画像」の一例であり、投射画像ＧＰ１は「第２投射画像」の一例であり、複数の点ＤＶ１は「複数の第８の点」の一例である。
【0158】
また、実施形態に係る計測方法において、第１座標情報１１１を生成することは、撮像レンズ１４２を備え、撮像レンズ１４２に関する内部パラメーターが既知である撮像装置１４に入力された画像および撮像装置１４から出力される画像のいずれか一方である撮像画像ＧＳ１と、撮像レンズ２４２を備え、撮像レンズ２４２に関する内部パラメーターが既知である撮像装置２４に入力された画像および撮像装置２４から出力される画像のいずれか一方である撮像画像ＧＳ２と、に基づいて、第１座標情報１１１を生成することを含み、第２座標情報１１２を生成することは、投射レンズ１６２を備え、投射レンズ１６２に関する内部パラメーターが未知である投射装置１６に入力された画像および投射装置１６から出力される画像のいずれか一方である画像ＧＦ１と、撮像画像ＧＳ１と、に基づいて、第２座標情報１１２を生成することを含み、撮像装置１４、撮像装置２４および投射装置１６のうちの少なくとも一つは、スクリーンＳＣ１を撮像する撮像装置である。
【0159】
すなわち、第１座標情報１１１は、平面上に設定された領域Ｒ３のユークリッド復元結果を表す。また、第２座標情報１１２は、領域Ｒ３の射影復元結果を表す。従って、三次元射影変換行列１０１は、領域Ｒ３を含む領域の射影復元結果を、当該領域Ｒ３を含む領域のユークリッド復元結果へ変換することができる。これにより、計測システムＳｙｓは、計測対象となる物体に、平面の領域と、非平面の領域とが含まれる場合であっても、物体の形状を正確に計測することができる。
【0160】
なお、実施形態において、撮像レンズ１４２は「第１レンズ」の一例であり、撮像装置１４は「第１の装置」の一例であり、撮像画像ＧＳ１は「第１の画像」の一例であり、撮像レンズ２４２は「第２レンズ」の一例であり、撮像装置２４は「第２の装置」の一例であり、撮像画像ＧＳ２は「第２の画像」の一例であり、投射レンズ１６２は「第３レンズ」の一例であり、投射装置１６は「第３の装置」の一例であり、画像ＧＦ１は「第３の画像」の一例である。
【0161】
２．変形例
以上の実施形態は多様に変形され得る。具体的な変形の態様を以下に例示する。また、以下の例示から任意に選択された２以上の態様は、相互に矛盾しない範囲内で適宜併合され得る。なお、以下に例示する変形例において作用や機能が前述の実施形態と同等である要素については、以上の説明で使用した符号を流用して各々の詳細な説明を適宜省略する。
以上の実施形態は多様に変形され得る。具体的な変形の態様を以下に例示する。また、以下の例示から任意に選択された２以上の態様は、相互に矛盾しない範囲内で適宜併合され得る。なお、以下に例示する変形例において作用や機能が前述の実施形態と同等である要素については、以上の説明で使用した符号を流用して各々の詳細な説明を適宜省略する。
【0162】
２．１．変形例１
前述の実施形態では、内部パラメーターが既知である二つの撮像装置と、内部パラメーターが未知である投射装置とを含む計測システムにおいて、当該内部パラメーターが未知である投射装置の校正作業を実施することなく、当該内部パラメーターが未知である投射装置を用いてユークリッド復元結果を取得する場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、計測システムは、内部パラメーターが既知である撮像装置と、内部パラメーターが既知である投射装置と、内部パラメーターが未知である撮像装置とを含むものであってもよい。内部パラメーターが既知である撮像装置と、内部パラメーターが既知である投射装置と、内部パラメーターが未知である撮像装置とを含む計測システムにおいて、当該内部パラメーターが未知である撮像装置の校正作業を実施することなく、当該内部パラメーターが未知である撮像装置を用いてユークリッド復元結果を取得することができる。
前述の実施形態では、内部パラメーターが既知である二つの撮像装置と、内部パラメーターが未知である投射装置とを含む計測システムにおいて、当該内部パラメーターが未知である投射装置の校正作業を実施することなく、当該内部パラメーターが未知である投射装置を用いてユークリッド復元結果を取得する場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、計測システムは、内部パラメーターが既知である撮像装置と、内部パラメーターが既知である投射装置と、内部パラメーターが未知である撮像装置とを含むものであってもよい。内部パラメーターが既知である撮像装置と、内部パラメーターが既知である投射装置と、内部パラメーターが未知である撮像装置とを含む計測システムにおいて、当該内部パラメーターが未知である撮像装置の校正作業を実施することなく、当該内部パラメーターが未知である撮像装置を用いてユークリッド復元結果を取得することができる。
【0163】
また、本発明に係る計測システムは、上記のような態様に限らず、例えば、内部パラメーターが既知である二つの撮像装置と、内部パラメーターが未知である撮像装置とを含む計測システムであってもよいし、内部パラメーターが既知である撮像装置と、内部パラメーターが既知である投射装置と、内部パラメーターが未知である投射装置とを含む計測システムであってもよい。本発明に係る計測システムは、少なくとも一つの撮像装置を含んでいればよい。
【0164】
２．２．変形例２
前述の実施形態および変形例において、複数の第１の点の一例である複数の点ＤＰ１と、四つの設定点の一例である点ＤＰ３１～ＤＰ３４とを異なるタイミングで表示する場合を例示したが、本発明はこのような態様に限定されるものではない。複数の第１の点、および、四つの設定点は、同時に表示してもよい。これにより、例えば、投射画像を切り替える時間を削減することができる。
前述の実施形態および変形例において、複数の第１の点の一例である複数の点ＤＰ１と、四つの設定点の一例である点ＤＰ３１～ＤＰ３４とを異なるタイミングで表示する場合を例示したが、本発明はこのような態様に限定されるものではない。複数の第１の点、および、四つの設定点は、同時に表示してもよい。これにより、例えば、投射画像を切り替える時間を削減することができる。
【0165】
２．３．変形例３
前述の実施形態および変形例において、点ＤＹ１１が複数の点ＤＹ１に含まれる場合を例示したが、点ＤＹ１１は、複数の点ＤＹ１に含まれなくてもよい。点ＤＹ１１は、複数の点ＤＹ１を含む平面である、平面ＳＶ１に含まれていればよい。
前述の実施形態および変形例において、点ＤＹ１１が複数の点ＤＹ１に含まれる場合を例示したが、点ＤＹ１１は、複数の点ＤＹ１に含まれなくてもよい。点ＤＹ１１は、複数の点ＤＹ１を含む平面である、平面ＳＶ１に含まれていればよい。
【0166】
２．４．変形例４
前述の実施形態および変形例では、第１の更新において、第３座標情報１１３が更新される場合を例示したが、本発明はこのような態様に限定されるものではない。第１の更新において、第３座標情報１１３の代わりに、第４座標情報１１４が更新されてもよい。例えば、第１の更新において、本発明に係る計測システムの備える処理装置は、第４座標情報１１４の示す点ＤＸ３１の座標を、直線Ｌ２上の他の座標へ変更することで、第４座標情報１１４を更新してもよい。また、本発明に係る計測システムの備える処理装置は、第１の更新において、第３座標情報１１３および第４座標情報１１４の両方を更新してもよい。
前述の実施形態および変形例では、第１の更新において、第３座標情報１１３が更新される場合を例示したが、本発明はこのような態様に限定されるものではない。第１の更新において、第３座標情報１１３の代わりに、第４座標情報１１４が更新されてもよい。例えば、第１の更新において、本発明に係る計測システムの備える処理装置は、第４座標情報１１４の示す点ＤＸ３１の座標を、直線Ｌ２上の他の座標へ変更することで、第４座標情報１１４を更新してもよい。また、本発明に係る計測システムの備える処理装置は、第１の更新において、第３座標情報１１３および第４座標情報１１４の両方を更新してもよい。
【0167】
３．付記
以下、付記として本発明のまとめを記載する。
以下、付記として本発明のまとめを記載する。
【0168】
３．１．付記１
平面である第１の面と、非平面である第２の面と、を含むスクリーンにおいて、前記第１の面の第１領域に含まれる複数の第１の点の第１の座標系における座標を表す第１座標情報を生成することと、前記複数の第１の点の第２の座標系における座標を表す第２座標情報を生成することと、前記第１の座標系において、前記複数の第１の点を含む平面に含まれない第２の点の座標を表す第３座標情報を生成することと、前記第２の座標系において、前記複数の第１の点を含む平面に含まれない第３の点の座標を表す第４座標情報を生成することと、前記第１座標情報と、前記第２座標情報と、前記第３座標情報と、前記第４座標情報と、に基づいて、前記第２の座標系における前記複数の第１の点の座標を前記第１の座標系における前記複数の第１の点の座標へ変換するための三次元射影変換行列を生成することと、前記三次元射影変換行列に基づいて、前記スクリーンに含まれる四つの設定点の前記第１の座標系における座標を表す第５座標情報を生成することと、前記第５座標情報の示す座標が所定の条件を充足しない場合、前記第３座標情報および前記第４座標情報の少なくとも一方を更新する第１の更新を実行し、前記第１の更新の結果に基づいて前記三次元射影変換行列を更新する第２の更新を実行し、前記第２の更新によって更新された前記三次元射影変換行列に基づいて前記第５座標情報を更新する第３の更新を実行することと、を含み、前記四つの設定点を頂点とする四角形は、所定の形状となり、前記四つの設定点のうちの少なくとも一つは、前記第２の面に含まれる、計測方法。
平面である第１の面と、非平面である第２の面と、を含むスクリーンにおいて、前記第１の面の第１領域に含まれる複数の第１の点の第１の座標系における座標を表す第１座標情報を生成することと、前記複数の第１の点の第２の座標系における座標を表す第２座標情報を生成することと、前記第１の座標系において、前記複数の第１の点を含む平面に含まれない第２の点の座標を表す第３座標情報を生成することと、前記第２の座標系において、前記複数の第１の点を含む平面に含まれない第３の点の座標を表す第４座標情報を生成することと、前記第１座標情報と、前記第２座標情報と、前記第３座標情報と、前記第４座標情報と、に基づいて、前記第２の座標系における前記複数の第１の点の座標を前記第１の座標系における前記複数の第１の点の座標へ変換するための三次元射影変換行列を生成することと、前記三次元射影変換行列に基づいて、前記スクリーンに含まれる四つの設定点の前記第１の座標系における座標を表す第５座標情報を生成することと、前記第５座標情報の示す座標が所定の条件を充足しない場合、前記第３座標情報および前記第４座標情報の少なくとも一方を更新する第１の更新を実行し、前記第１の更新の結果に基づいて前記三次元射影変換行列を更新する第２の更新を実行し、前記第２の更新によって更新された前記三次元射影変換行列に基づいて前記第５座標情報を更新する第３の更新を実行することと、を含み、前記四つの設定点を頂点とする四角形は、所定の形状となり、前記四つの設定点のうちの少なくとも一つは、前記第２の面に含まれる、計測方法。
【0169】
すなわち、付記１に記載の計測方法を実現する計測システムは、同一平面上に存在する複数の点の座標に加え、当該平面上に存在しない仮想的な点の座標を用いて、三次元射影変換行列を生成する。これにより、付記１に記載の計測方法を実現する計測システムは、同一平面上に存在する複数の点の座標を変換する三次元射影変換行列を生成することができる。また、付記１に記載の計測方法を実現する計測システムによって生成された三次元射影変換行列は、平面部と、非平面部とを含む領域の複数の点の座標系を変換することができる。このため、付記１に記載の計測方法を実現する計測システムは、計測対象となる物体に、平面の領域と、非平面の領域とが含まれる場合であっても、物体の形状を計測することができる。
【0170】
３．２．付記２
撮像装置を制御することで、前記第１領域を含む範囲を撮像した撮像画像を取得することを更に含み、前記第１座標情報および前記第２座標情報の少なくとも一方は、前記撮像画像に基づいて生成される、付記１に記載の計測方法。
撮像装置を制御することで、前記第１領域を含む範囲を撮像した撮像画像を取得することを更に含み、前記第１座標情報および前記第２座標情報の少なくとも一方は、前記撮像画像に基づいて生成される、付記１に記載の計測方法。
【0171】
すなわち、付記２に記載の計測方法を実現する計測システムは、撮像装置を用いて、物体の形状を計測する。これにより、付記２に記載の計測方法を実現する計測システムは、物体の形状を正確に計測することができる。
【0172】
３．３．付記３
前記第２の点は、前記第１の座標系において、前記撮像装置の位置を示す点と、前記複数の第１の点を含む平面に含まれる第４の点と、を結ぶ第１の直線上に位置し、前記第３の点は、前記第２の座標系において、前記撮像装置の位置を示す点と、前記複数の第１の点を含む平面に含まれる点であって、前記第４の点と対応する第５の点と、を結ぶ第２の直線上に位置する、付記２に記載の計測方法。
前記第２の点は、前記第１の座標系において、前記撮像装置の位置を示す点と、前記複数の第１の点を含む平面に含まれる第４の点と、を結ぶ第１の直線上に位置し、前記第３の点は、前記第２の座標系において、前記撮像装置の位置を示す点と、前記複数の第１の点を含む平面に含まれる点であって、前記第４の点と対応する第５の点と、を結ぶ第２の直線上に位置する、付記２に記載の計測方法。
【0173】
すなわち、付記３に記載の計測方法を実現する計測システムは、平面上に存在しない仮想的な点の座標を、撮像装置の位置を示す点と、当該平面に含まれる点とを結んだ直線上に設定する。これにより、付記３に記載の計測方法を実現する計測システムは、三次元射影変換行列を生成する精度を高めることができる。
【0174】
３．４．付記４
前記第１の更新が前記第３座標情報を更新することを含む場合、前記第３座標情報を更新することは、前記第２の点の座標を、前記第１の直線上の他の座標へ変更することを含み、前記第１の更新が前記第４座標情報を更新することを含む場合、前記第４座標情報を更新することは、前記第３の点の座標を、前記第２の直線上の他の座標へ変更することを含む、付記３に記載の計測方法。
前記第１の更新が前記第３座標情報を更新することを含む場合、前記第３座標情報を更新することは、前記第２の点の座標を、前記第１の直線上の他の座標へ変更することを含み、前記第１の更新が前記第４座標情報を更新することを含む場合、前記第４座標情報を更新することは、前記第３の点の座標を、前記第２の直線上の他の座標へ変更することを含む、付記３に記載の計測方法。
【0175】
すなわち、付記４に記載の計測方法を実現する計測システムは、平面上に存在しない仮想的な点の座標を、撮像装置の位置を示す点と、当該平面に含まれる点とを結んだ直線上において変更する。これにより、付記４に記載の計測方法を実現する計測システムは、三次元射影変換行列の更新を、高精度かつ高速に行うことができる。
【0176】
３．５．付記５
前記第５座標情報を生成することは、前記スクリーンに画像を投射する投射装置から、前記四つの設定点と一対一で対応する四つの第６の点を含む第１のパターン画像を投射させることで、前記スクリーン上に第１投射画像を表示させることを含み、前記四つの設定点は、前記第１投射画像に含まれる、付記１から付記４のうちのいずれか一項に記載の計測方法。
前記第５座標情報を生成することは、前記スクリーンに画像を投射する投射装置から、前記四つの設定点と一対一で対応する四つの第６の点を含む第１のパターン画像を投射させることで、前記スクリーン上に第１投射画像を表示させることを含み、前記四つの設定点は、前記第１投射画像に含まれる、付記１から付記４のうちのいずれか一項に記載の計測方法。
【0177】
すなわち、付記５に記載の計測方法を実現する計測システムは、四つの設定点の位置を簡便に表示することができる。これにより、ユーザーは、四つの設定点の位置調整を容易に行うことができる。
【0178】
３．６．付記６
前記スクリーンに画像を投射する投射装置から、前記複数の第１の点と一対一で対応する複数の第７の点を含む第２のパターン画像を投射させることで、前記スクリーン上に第２投射画像を表示させることを更に含み、前記撮像画像は、前記複数の第１の点と一対一で対応する複数の第８の点を含み、前記第１座標情報および前記第２座標情報のどちらか一方は、前記撮像画像と、前記第２のパターン画像と、に基づいて生成される、付記２から付記４のうちのいずれか一項に記載の計測方法。
前記スクリーンに画像を投射する投射装置から、前記複数の第１の点と一対一で対応する複数の第７の点を含む第２のパターン画像を投射させることで、前記スクリーン上に第２投射画像を表示させることを更に含み、前記撮像画像は、前記複数の第１の点と一対一で対応する複数の第８の点を含み、前記第１座標情報および前記第２座標情報のどちらか一方は、前記撮像画像と、前記第２のパターン画像と、に基づいて生成される、付記２から付記４のうちのいずれか一項に記載の計測方法。
【0179】
すなわち、付記６に記載の計測方法を実現する計測システムは、撮像装置および投射装置を用いて、物体の形状を計測する。これにより、付記６に記載の計測方法を実現する計測システムは、物体の形状を正確に計測することができる。
【0180】
３．７．付記７
前記第１座標情報を生成することは、第１レンズを備え、前記第１レンズに関する内部パラメーターが既知である第１の装置に入力された画像および前記第１の装置から出力される画像のいずれか一方である第１の画像と、第２レンズを備え、前記第２レンズに関する内部パラメーターが既知である第２の装置に入力された画像および前記第２の装置から出力される画像のいずれか一方である第２の画像と、に基づいて、前記第１座標情報を生成することを含み、前記第２座標情報を生成することは、第３レンズを備え、前記第３レンズに関する内部パラメーターが未知である第３の装置に入力された画像および前記第３の装置から出力される画像のいずれか一方である第３の画像と、前記第１の画像と、に基づいて、前記第２座標情報を生成することを含み、前記第１の装置、前記第２の装置および前記第３の装置のうちの少なくとも一つは、前記スクリーンを撮像する撮像装置である、付記１に記載の計測方法。
前記第１座標情報を生成することは、第１レンズを備え、前記第１レンズに関する内部パラメーターが既知である第１の装置に入力された画像および前記第１の装置から出力される画像のいずれか一方である第１の画像と、第２レンズを備え、前記第２レンズに関する内部パラメーターが既知である第２の装置に入力された画像および前記第２の装置から出力される画像のいずれか一方である第２の画像と、に基づいて、前記第１座標情報を生成することを含み、前記第２座標情報を生成することは、第３レンズを備え、前記第３レンズに関する内部パラメーターが未知である第３の装置に入力された画像および前記第３の装置から出力される画像のいずれか一方である第３の画像と、前記第１の画像と、に基づいて、前記第２座標情報を生成することを含み、前記第１の装置、前記第２の装置および前記第３の装置のうちの少なくとも一つは、前記スクリーンを撮像する撮像装置である、付記１に記載の計測方法。
【0181】
すなわち、第１座標情報は、平面上に設定された第１領域のユークリッド復元結果を表す。また、第２座標情報は、第１領域の射影復元結果を表す。従って、三次元射影変換行列は、第１領域を含む領域の射影復元結果を、当該第１領域を含む領域のユークリッド復元結果へ変換することができる。これにより、付記７に記載の計測方法を実現する計測システムは、計測対象となる物体に、平面の領域と、非平面の領域とが含まれる場合であっても、物体の形状を正確に計測することができる。
【0182】
３．８．付記８
平面である第１の面と、非平面である第２の面と、を含むスクリーンにおいて、前記第１の面の第１領域に含まれる複数の第１の点の第１の座標系における座標を表す第１座標情報を生成することと、前記複数の第１の点の第２の座標系における座標を表す第２座標情報を生成することと、前記第１の座標系において、前記複数の第１の点を含む平面に含まれない第２の点の座標を表す第３座標情報を生成することと、前記第２の座標系において、前記複数の第１の点を含む平面に含まれない第３の点の座標を表す第４座標情報を生成することと、前記第１座標情報と、前記第２座標情報と、前記第３座標情報と、前記第４座標情報と、に基づいて、前記第２の座標系における前記複数の第１の点の座標を前記第１の座標系における前記複数の第１の点の座標へ変換するための三次元射影変換行列を生成することと、前記三次元射影変換行列に基づいて、前記スクリーンに含まれる四つの設定点の前記第１の座標系における座標を表す第５座標情報を生成することと、前記第５座標情報の示す座標が所定の条件を充足しない場合、前記第３座標情報および前記第４座標情報の少なくとも一方を更新する第１の更新を実行し、前記第１の更新の結果に基づいて前記三次元射影変換行列を更新する第２の更新を実行し、前記第２の更新によって更新された前記三次元射影変換行列に基づいて前記第５座標情報を更新する第３の更新を実行することと、を実行する処理装置を備え、前記四つの設定点を頂点とする四角形は、所定の形状となり、前記四つの設定点のうちの少なくとも一つは、前記第２の面に含まれる、計測システム。
平面である第１の面と、非平面である第２の面と、を含むスクリーンにおいて、前記第１の面の第１領域に含まれる複数の第１の点の第１の座標系における座標を表す第１座標情報を生成することと、前記複数の第１の点の第２の座標系における座標を表す第２座標情報を生成することと、前記第１の座標系において、前記複数の第１の点を含む平面に含まれない第２の点の座標を表す第３座標情報を生成することと、前記第２の座標系において、前記複数の第１の点を含む平面に含まれない第３の点の座標を表す第４座標情報を生成することと、前記第１座標情報と、前記第２座標情報と、前記第３座標情報と、前記第４座標情報と、に基づいて、前記第２の座標系における前記複数の第１の点の座標を前記第１の座標系における前記複数の第１の点の座標へ変換するための三次元射影変換行列を生成することと、前記三次元射影変換行列に基づいて、前記スクリーンに含まれる四つの設定点の前記第１の座標系における座標を表す第５座標情報を生成することと、前記第５座標情報の示す座標が所定の条件を充足しない場合、前記第３座標情報および前記第４座標情報の少なくとも一方を更新する第１の更新を実行し、前記第１の更新の結果に基づいて前記三次元射影変換行列を更新する第２の更新を実行し、前記第２の更新によって更新された前記三次元射影変換行列に基づいて前記第５座標情報を更新する第３の更新を実行することと、を実行する処理装置を備え、前記四つの設定点を頂点とする四角形は、所定の形状となり、前記四つの設定点のうちの少なくとも一つは、前記第２の面に含まれる、計測システム。
【0183】
すなわち、付記８に記載の計測システムは、同一平面上に存在する複数の点の座標に加え、当該平面上に存在しない仮想的な点の座標を用いて、三次元射影変換行列を生成する。これにより、付記８に記載の計測システムは、同一平面上に存在する複数の点の座標を変換する三次元射影変換行列を生成することができる。また、付記８に記載の計測システムによって生成された三次元射影変換行列は、平面部と、非平面部とを含む領域の複数の点の座標系を変換することができる。このため、付記８に記載の計測システムは、計測対象となる物体に、平面の領域と、非平面の領域とが含まれる場合であっても、物体の形状を計測することができる。
【0184】
３．９．付記９
平面である第１の面と、非平面である第２の面と、を含むスクリーンにおいて、前記第１の面の第１領域に含まれる複数の第１の点の第１の座標系における座標を表す第１座標情報を生成することと、前記複数の第１の点の第２の座標系における座標を表す第２座標情報を生成することと、前記第１の座標系において、前記複数の第１の点を含む平面に含まれない第２の点の座標を表す第３座標情報を生成することと、前記第２の座標系において、前記複数の第１の点を含む平面に含まれない第３の点の座標を表す第４座標情報を生成することと、前記第１座標情報と、前記第２座標情報と、前記第３座標情報と、前記第４座標情報と、に基づいて、前記第２の座標系における前記複数の第１の点の座標を前記第１の座標系における前記複数の第１の点の座標へ変換するための三次元射影変換行列を生成することと、前記三次元射影変換行列に基づいて、前記スクリーンに含まれる四つの設定点の前記第１の座標系における座標を表す第５座標情報を生成することと、前記第５座標情報の示す座標が所定の条件を充足しない場合、前記第３座標情報および前記第４座標情報の少なくとも一方を更新する第１の更新を実行し、前記第１の更新の結果に基づいて前記三次元射影変換行列を更新する第２の更新を実行し、前記第２の更新によって更新された前記三次元射影変換行列に基づいて前記第５座標情報を更新する第３の更新を実行することと、を実行する処理装置を備え、前記四つの設定点を頂点とする四角形は、所定の形状となり、前記四つの設定点のうちの少なくとも一つは、前記第２の面に含まれる、情報処理装置。
平面である第１の面と、非平面である第２の面と、を含むスクリーンにおいて、前記第１の面の第１領域に含まれる複数の第１の点の第１の座標系における座標を表す第１座標情報を生成することと、前記複数の第１の点の第２の座標系における座標を表す第２座標情報を生成することと、前記第１の座標系において、前記複数の第１の点を含む平面に含まれない第２の点の座標を表す第３座標情報を生成することと、前記第２の座標系において、前記複数の第１の点を含む平面に含まれない第３の点の座標を表す第４座標情報を生成することと、前記第１座標情報と、前記第２座標情報と、前記第３座標情報と、前記第４座標情報と、に基づいて、前記第２の座標系における前記複数の第１の点の座標を前記第１の座標系における前記複数の第１の点の座標へ変換するための三次元射影変換行列を生成することと、前記三次元射影変換行列に基づいて、前記スクリーンに含まれる四つの設定点の前記第１の座標系における座標を表す第５座標情報を生成することと、前記第５座標情報の示す座標が所定の条件を充足しない場合、前記第３座標情報および前記第４座標情報の少なくとも一方を更新する第１の更新を実行し、前記第１の更新の結果に基づいて前記三次元射影変換行列を更新する第２の更新を実行し、前記第２の更新によって更新された前記三次元射影変換行列に基づいて前記第５座標情報を更新する第３の更新を実行することと、を実行する処理装置を備え、前記四つの設定点を頂点とする四角形は、所定の形状となり、前記四つの設定点のうちの少なくとも一つは、前記第２の面に含まれる、情報処理装置。
【0185】
すなわち、付記９に記載の情報処理装置を備える計測システムは、同一平面上に存在する複数の点の座標に加え、当該平面上に存在しない仮想的な点の座標を用いて、三次元射影変換行列を生成する。これにより、付記９に記載の情報処理装置を備える計測システムは、同一平面上に存在する複数の点の座標を変換する三次元射影変換行列を生成することができる。また、付記９に記載の情報処理装置を備える計測システムによって生成された三次元射影変換行列は、平面部と、非平面部とを含む領域の複数の点の座標系を変換することができる。このため、付記９に記載の情報処理装置を備える計測システムは、計測対象となる物体に、平面の領域と、非平面の領域とが含まれる場合であっても、物体の形状を計測することができる。
【符号の説明】
【0186】
１…プロジェクター、２…プロジェクター、１０…記憶装置、１２…処理装置、１４…撮像装置、１６…投射装置、１８…通信装置、３０…操作装置、１００…プログラム、１０１…三次元射影変換行列、１０２…投射画像情報、１０５…撮像画像情報、１１０…三次元座標情報、１１６…関係情報、１３０…二次元座標情報、１２０…投射制御部、１２１…撮像制御部、１２２…画像解析部、１２３…三次元座標管理部、１２４…入力管理部、１２５…画像編集部、１４０…撮像素子、１４２…撮像レンズ、１６０…光変調器、１６２…投射レンズ、ＧＰ１…投射画像、ＧＦ１…画像、ＧＳ１…撮像画像、ＤＰ１…点、Ｒ１…領域、ＳＣ１…スクリーン、ＦＹ…座標系、Ｓｙｓ…計測システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】