ホーム > 特許ランキング > セイコーエプソン株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024062524
(43)【公開日】2024-05-10
(54)【発明の名称】パラメーター決定方法、情報処理装置、及びプログラム
(51)【国際特許分類】
G06T 7/70 20170101AFI20240501BHJP
【ＦＩ】
G06T7/70
【審査請求】有
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022170407
(22)【出願日】2022-10-25
(71)【出願人】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
(74)【代理人】
【識別番号】110003177
【氏名又は名称】弁理士法人旺知国際特許事務所
(72)【発明者】
【氏名】仙敷 大樹
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA05
5L096EA14
(57)【要約】 （修正有）
【課題】オブジェクトが非平面を少なくとも一部に含む場合でも、パラメーターを決定可能にする方法、情報処理装置及びプログラムを提供する。
【解決手段】パラメーター決定方法は、第１の位置に位置する、内部パラメーターが既知の第１の光学装置によって取得された第１の画像又は第１の光学装置から投写された第１の画像の少なくとも一部に含まれるＮ個の第１の領域を決定することと、第１の位置とは異なる第２の位置に位置する、内部パラメーターが既知の第２の光学装置によって取得された第２の画像において、Ｎ個の第１の領域のそれぞれに一対一に対応するＮ個の第２の領域を決定することと、Ｎ個の第１の領域とＮ個の第２の領域との間で一対一に決定したＮ個のホモグラフィをそれぞれ分解することによって、第２の光学装置に関する第１のパラメーター及び撮像対象に関する第２のパラメーターの少なくとも１つを決定することと、を含む。
【選択図】図５
【解決手段】パラメーター決定方法は、第１の位置に位置する、内部パラメーターが既知の第１の光学装置によって取得された第１の画像又は第１の光学装置から投写された第１の画像の少なくとも一部に含まれるＮ個の第１の領域を決定することと、第１の位置とは異なる第２の位置に位置する、内部パラメーターが既知の第２の光学装置によって取得された第２の画像において、Ｎ個の第１の領域のそれぞれに一対一に対応するＮ個の第２の領域を決定することと、Ｎ個の第１の領域とＮ個の第２の領域との間で一対一に決定したＮ個のホモグラフィをそれぞれ分解することによって、第２の光学装置に関する第１のパラメーター及び撮像対象に関する第２のパラメーターの少なくとも１つを決定することと、を含む。
【選択図】図５
【特許請求の範囲】
【請求項1】
第１の位置に位置する、内部パラメーターが既知の第１の光学装置が撮像対象を撮像することによって取得された第１の画像、又は、前記第１の光学装置から投写された前記第１の画像の少なくとも一部に含まれるＮ（Ｎは１よりも大きな自然数）個の第１の領域を決定することと、
前記第１の位置とは異なる第２の位置に位置する、内部パラメーターが既知の第２の光学装置が前記撮像対象を撮像することによって取得された第２の画像において、前記Ｎ個の第１の領域のそれぞれに一対一に対応するＮ個の第２の領域を決定することと、
前記Ｎ個の第１の領域と前記Ｎ個の第２の領域との間で一対一にホモグラフィを決定することによってＮ個のホモグラフィを決定することと、
前記Ｎ個のホモグラフィをそれぞれ分解することによって、前記第２の光学装置に関する第１のパラメーター、及び、前記撮像対象に関する第２のパラメーターの少なくとも１つを決定することと、
を含む、
パラメーター決定方法。
前記第１の位置とは異なる第２の位置に位置する、内部パラメーターが既知の第２の光学装置が前記撮像対象を撮像することによって取得された第２の画像において、前記Ｎ個の第１の領域のそれぞれに一対一に対応するＮ個の第２の領域を決定することと、
前記Ｎ個の第１の領域と前記Ｎ個の第２の領域との間で一対一にホモグラフィを決定することによってＮ個のホモグラフィを決定することと、
前記Ｎ個のホモグラフィをそれぞれ分解することによって、前記第２の光学装置に関する第１のパラメーター、及び、前記撮像対象に関する第２のパラメーターの少なくとも１つを決定することと、
を含む、
パラメーター決定方法。
【請求項2】
前記第１のパラメーター、及び、前記第２のパラメーターの少なくとも１つを決定することは、
前記Ｎ個のホモグラフィをそれぞれ分解することによって、Ｎ個の前記第１のパラメーターを決定することと、
Ｎ個の前記第１のパラメーターを統計処理することによって、１つの前記第１のパラメーターを決定することと、
を含む、
請求項１に記載のパラメーター決定方法。
前記Ｎ個のホモグラフィをそれぞれ分解することによって、Ｎ個の前記第１のパラメーターを決定することと、
Ｎ個の前記第１のパラメーターを統計処理することによって、１つの前記第１のパラメーターを決定することと、
を含む、
請求項１に記載のパラメーター決定方法。
【請求項3】
前記第１のパラメーター、及び、前記第２のパラメーターの少なくとも１つを決定することは、
前記Ｎ個のホモグラフィをそれぞれ分解することによって、前記Ｎ個の第１の領域のそれぞれについて前記第２のパラメーターを決定すること、
を含む、
請求項１又は２に記載のパラメーター決定方法。
前記Ｎ個のホモグラフィをそれぞれ分解することによって、前記Ｎ個の第１の領域のそれぞれについて前記第２のパラメーターを決定すること、
を含む、
請求項１又は２に記載のパラメーター決定方法。
【請求項4】
前記撮像対象の表面は、少なくとも一部に非平面を含む、
請求項１に記載のパラメーター決定方法。
請求項１に記載のパラメーター決定方法。
【請求項5】
前記第１の光学装置は、前記撮像対象を撮像することによって前記第１の画像を取得するための光学系を含む撮像装置、又は、前記第１の画像を投写するための光学系を含むプロジェクターであり、
前記第２の光学装置は、前記撮像対象を撮像することによって前記第２の画像を取得するための光学系を含む撮像装置である、
請求項１に記載のパラメーター決定方法。
前記第２の光学装置は、前記撮像対象を撮像することによって前記第２の画像を取得するための光学系を含む撮像装置である、
請求項１に記載のパラメーター決定方法。
【請求項6】
前記第１の光学装置は、前記撮像対象を撮像することによって前記第１の画像を取得する装置であり、
前記第１の画像、及び前記第２の画像は、
プロジェクターから投写される第３の画像を撮像した画像である、
請求項１に記載のパラメーター決定方法。
前記第１の画像、及び前記第２の画像は、
プロジェクターから投写される第３の画像を撮像した画像である、
請求項１に記載のパラメーター決定方法。
【請求項7】
第１の位置に位置する、内部パラメーターが既知の第１の光学装置が撮像対象を撮像することによって取得された第１の画像、又は、前記第１の光学装置から投写された前記第１の画像の少なくとも一部に含まれるＮ（Ｎは１よりも大きな自然数）個の第１の領域を決定することと、
前記第１の位置とは異なる第２の位置に位置する、内部パラメーターが既知の第２の光学装置が前記撮像対象を撮像することによって取得された第２の画像において、前記Ｎ個の第１の領域のそれぞれに一対一に対応するＮ個の第２の領域を決定することと、
前記Ｎ個の第１の領域と前記Ｎ個の第２の領域との間で一対一にホモグラフィを決定することによってＮ個のホモグラフィを決定することと、
前記Ｎ個のホモグラフィをそれぞれ分解することによって、前記第２の光学装置に関する第１のパラメーター、及び、前記撮像対象に関する第２のパラメーターの少なくとも１つを決定することと、
を含む処理を行う少なくとも１つのプロセッサーを含む、情報処理装置。
前記第１の位置とは異なる第２の位置に位置する、内部パラメーターが既知の第２の光学装置が前記撮像対象を撮像することによって取得された第２の画像において、前記Ｎ個の第１の領域のそれぞれに一対一に対応するＮ個の第２の領域を決定することと、
前記Ｎ個の第１の領域と前記Ｎ個の第２の領域との間で一対一にホモグラフィを決定することによってＮ個のホモグラフィを決定することと、
前記Ｎ個のホモグラフィをそれぞれ分解することによって、前記第２の光学装置に関する第１のパラメーター、及び、前記撮像対象に関する第２のパラメーターの少なくとも１つを決定することと、
を含む処理を行う少なくとも１つのプロセッサーを含む、情報処理装置。
【請求項8】
第１の位置に位置する、内部パラメーターが既知の第１の光学装置が撮像対象を撮像することによって取得された第１の画像、又は、前記第１の光学装置から投写された前記第１の画像の少なくとも一部に含まれるＮ（Ｎは１よりも大きな自然数）個の第１の領域を決定することと、
前記第１の位置とは異なる第２の位置に位置する、内部パラメーターが既知の第２の光学装置が前記撮像対象を撮像することによって取得された第２の画像において、前記Ｎ個の第１の領域のそれぞれに一対一に対応するＮ個の第２の領域を決定することと、
前記Ｎ個の第１の領域と前記Ｎ個の第２の領域との間で一対一にホモグラフィを決定することによってＮ個のホモグラフィを決定することと、
前記Ｎ個のホモグラフィをそれぞれ分解することによって、前記第２の光学装置に関する第１のパラメーター、及び、前記撮像対象に関する第２のパラメーターの少なくとも１つを決定することと、
を含む処理をコンピューターに実行させるプログラム。
前記第１の位置とは異なる第２の位置に位置する、内部パラメーターが既知の第２の光学装置が前記撮像対象を撮像することによって取得された第２の画像において、前記Ｎ個の第１の領域のそれぞれに一対一に対応するＮ個の第２の領域を決定することと、
前記Ｎ個の第１の領域と前記Ｎ個の第２の領域との間で一対一にホモグラフィを決定することによってＮ個のホモグラフィを決定することと、
前記Ｎ個のホモグラフィをそれぞれ分解することによって、前記第２の光学装置に関する第１のパラメーター、及び、前記撮像対象に関する第２のパラメーターの少なくとも１つを決定することと、
を含む処理をコンピューターに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、パラメーター決定方法、情報処理装置、及びプログラムに関する。
【背景技術】
【0002】
オブジェクトをカメラによって撮像することによって得られる画像に基づいてカメラに関するパラメーターを特定する技術が知られている。
例えば、特許文献１は、異なる位置から平面オブジェクトの２つの画像をカメラを用いて取り込み、２つの画像の間のホモグラフィを分解することによって、少なくとも１つの可能な解を得て、この可能な解に基づきカメラの回転に関するパラメーターを導出する技術を開示する。
例えば、特許文献１は、異なる位置から平面オブジェクトの２つの画像をカメラを用いて取り込み、２つの画像の間のホモグラフィを分解することによって、少なくとも１つの可能な解を得て、この可能な解に基づきカメラの回転に関するパラメーターを導出する技術を開示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表２０１４－５２６７３６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ホモグラフィ分解法は、オブジェクトが平面であることを前提とする。このため、オブジェクトが非平面を少なくとも一部に含む場合、特許文献１の技術によって、カメラなどの光学装置に関するパラメーターを決定できない。
【課題を解決するための手段】
【0005】
本開示のパラメーター決定方法の一態様は、第１の位置に位置する、内部パラメーターが既知の第１の光学装置が撮像対象を撮像することによって取得された第１の画像、又は、前記第１の光学装置から投写された前記第１の画像の少なくとも一部に含まれるＮ（Ｎは１よりも大きな自然数）個の第１の領域を決定することと、前記第１の位置とは異なる第２の位置に位置する、内部パラメーターが既知の第２の光学装置が前記撮像対象を撮像することによって取得された第２の画像において、前記Ｎ個の第１の領域のそれぞれに一対一に対応するＮ個の第２の領域を決定することと、前記Ｎ個の第１の領域と前記Ｎ個の第２の領域との間で一対一にホモグラフィを決定することによってＮ個のホモグラフィを決定することと、前記Ｎ個のホモグラフィをそれぞれ分解することによって、前記第２の光学装置に関する第１のパラメーター、及び、前記撮像対象に関する第２のパラメーターの少なくとも１つを決定することと、を含む。
【0006】
本開示の情報処理装置の一態様は、第１の位置に位置する、内部パラメーターが既知の第１の光学装置が撮像対象を撮像することによって取得された第１の画像、又は、前記第１の光学装置から投写された前記第１の画像の少なくとも一部に含まれるＮ（Ｎは１よりも大きな自然数）個の第１の領域を決定することと、前記第１の位置とは異なる第２の位置に位置する、内部パラメーターが既知の第２の光学装置が前記撮像対象を撮像することによって取得された第２の画像において、前記Ｎ個の第１の領域のそれぞれに一対一に対応するＮ個の第２の領域を決定することと、前記Ｎ個の第１の領域と前記Ｎ個の第２の領域との間で一対一にホモグラフィを決定することによってＮ個のホモグラフィを決定することと、前記Ｎ個のホモグラフィをそれぞれ分解することによって、前記第２の光学装置に関する第１のパラメーター、及び、前記撮像対象に関する第２のパラメーターの少なくとも１つを決定することと、を含む処理を行う少なくとも１つのプロセッサーを含む。
【0007】
本開示のプログラムの一態様は、第１の位置に位置する、内部パラメーターが既知の第１の光学装置が撮像対象を撮像することによって取得された第１の画像、又は、前記第１の光学装置から投写された前記第１の画像の少なくとも一部に含まれるＮ（Ｎは１よりも大きな自然数）個の第１の領域を決定することと、前記第１の位置とは異なる第２の位置に位置する、内部パラメーターが既知の第２の光学装置が前記撮像対象を撮像することによって取得された第２の画像において、前記Ｎ個の第１の領域のそれぞれに一対一に対応するＮ個の第２の領域を決定することと、前記Ｎ個の第１の領域と前記Ｎ個の第２の領域との間で一対一にホモグラフィを決定することによってＮ個のホモグラフィを決定することと、前記Ｎ個のホモグラフィをそれぞれ分解することによって、前記第２の光学装置に関する第１のパラメーター、及び、前記撮像対象に関する第２のパラメーターの少なくとも１つを決定することと、を含む処理をコンピューターに実行させる。
【図面の簡単な説明】
【0008】
【図1】本開示の実施形態に係るパラメーター決定システムの一例を示す概略図である。
【図2】第１の範囲、第２の範囲、Ｎ個の第１の領域、及びＮ個の第２の領域の説明図である。
【図3】並進ベクトル、回転行列、及び法線ベクトルの説明図である。
【図4】位置、及び姿勢のそれぞれのＮ個のパラメーターから得られるヒストグラムの一例を示す図である。
【図5】パラメーター決定システムの動作の一例を示す図である。
【図6】第２実施形態に係るパラメーター計測システムの一例を示す概略図である。
【図7】第３実施形態に係るパラメーター計測システムの一例を示す概略図である。
【図8】第４実施形態に係るパラメーター計測システムの一例を示す概略図である。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら本開示に係る好適な形態を説明する。なお、図面において、各部の寸法、及び縮尺が実際と適宜に異なる場合があり、また、理解を容易にするために模式的に示している部分を含む場合がある。以下の説明において、本開示を限定する旨の特段の記載がない限り、本開示の範囲は以下の説明に記載された形態に限られない。また、本開示の範囲は当該形態の均等の範囲を含む。
【0010】
１．第１実施形態
図１は、パラメーター決定システム１の一例を示す概略図である。図２は、第１の範囲Ｈ１、第２の範囲Ｈ２、Ｎ個の第１の領域Ｆ１、及びＮ個の第２の領域Ｆ２の説明図である。
パラメーター決定システム１は、撮像対象であるオブジェクトＡを撮像する光学装置１０と、情報処理装置２０と、を含み、情報処理装置２０が光学装置１０に関する第１のパラメーターＢ１、及び、オブジェクトＡに関する第２のパラメーターＢ２の少なくとも１つを決定するシステムである。
光学装置１０は、オブジェクトＡを撮像することによって画像Ｃを取得するための撮像素子１００と、オブジェクトＡの像を結像させる光学系１０２と、を備える装置であり、本実施形態では撮像装置である。光学系１０２は、例えば、１又は複数のレンズ、及び、１又は複数の絞りなどの光学部材を含む。また、本実施形態の光学装置１０は、内部パラメーターが既知の装置である。内部パラメーターは、光学系１０２の特性に関するパラメーターであり、例えば、焦点距離、及び光学中心を表すパラメーターである。また、内部パラメーターは、一般に、カメラ行列とも呼ばれ、光学装置１０の座標系を画像Ｃの座標へ変換する行列に対応する。
図１は、パラメーター決定システム１の一例を示す概略図である。図２は、第１の範囲Ｈ１、第２の範囲Ｈ２、Ｎ個の第１の領域Ｆ１、及びＮ個の第２の領域Ｆ２の説明図である。
パラメーター決定システム１は、撮像対象であるオブジェクトＡを撮像する光学装置１０と、情報処理装置２０と、を含み、情報処理装置２０が光学装置１０に関する第１のパラメーターＢ１、及び、オブジェクトＡに関する第２のパラメーターＢ２の少なくとも１つを決定するシステムである。
光学装置１０は、オブジェクトＡを撮像することによって画像Ｃを取得するための撮像素子１００と、オブジェクトＡの像を結像させる光学系１０２と、を備える装置であり、本実施形態では撮像装置である。光学系１０２は、例えば、１又は複数のレンズ、及び、１又は複数の絞りなどの光学部材を含む。また、本実施形態の光学装置１０は、内部パラメーターが既知の装置である。内部パラメーターは、光学系１０２の特性に関するパラメーターであり、例えば、焦点距離、及び光学中心を表すパラメーターである。また、内部パラメーターは、一般に、カメラ行列とも呼ばれ、光学装置１０の座標系を画像Ｃの座標へ変換する行列に対応する。
【0011】
本実施形態の光学装置１０は、第１の位置Ｄ１、及び第２の位置Ｄ２の互いに異なる２点の間を移動し、第１の位置Ｄ１においてオブジェクトＡを撮像することによって第１の画像Ｃ１を取得し、また、第２の位置Ｄ２において同じオブジェクトＡを撮像することによって第２の画像Ｃ２を取得する。
本開示において、第１の位置Ｄ１に位置する光学装置１０が第１の光学装置に対応し、第２の位置Ｄ２に位置する光学装置１０が第２の光学装置に対応する。光学装置１０の移動は、ユーザーによる持ち運びによって行われてもよいし、光学装置１０を搬送する搬送機構、又は光学装置１０を自走させる自走機構などによって行われてもよい。なお、以下の説明において、第１の位置Ｄ１から第２の位置Ｄ２の順に光学装置１０が移動するものとする。
本開示において、第１の位置Ｄ１に位置する光学装置１０が第１の光学装置に対応し、第２の位置Ｄ２に位置する光学装置１０が第２の光学装置に対応する。光学装置１０の移動は、ユーザーによる持ち運びによって行われてもよいし、光学装置１０を搬送する搬送機構、又は光学装置１０を自走させる自走機構などによって行われてもよい。なお、以下の説明において、第１の位置Ｄ１から第２の位置Ｄ２の順に光学装置１０が移動するものとする。
【0012】
オブジェクトＡは、光学装置１０による撮像の対象となる有形の物体である。オブジェクトＡは、有形であること以外に限定されない。
【0013】
情報処理装置２０は、例えば、据置型、又は可搬型のコンピューターである。
本実施形態の情報処理装置２０は、上述の第１の画像Ｃ１、及び第２の画像Ｃ２に基づくホモグラフィＨに基づいて、上述の第１のパラメーターＢ１、及び第２のパラメーターＢ２を決定する。加えて、情報処理装置２０は、オブジェクトＡの表面ＡＳが非平面である場合、或いは、表面ＡＳが非平面な箇所を含む場合でも、後述するＮ個のホモグラフィＨに基づいて第１のパラメーターＢ１、及び第２のパラメーターＢ２を決定可能とする。
本実施形態の情報処理装置２０は、上述の第１の画像Ｃ１、及び第２の画像Ｃ２に基づくホモグラフィＨに基づいて、上述の第１のパラメーターＢ１、及び第２のパラメーターＢ２を決定する。加えて、情報処理装置２０は、オブジェクトＡの表面ＡＳが非平面である場合、或いは、表面ＡＳが非平面な箇所を含む場合でも、後述するＮ個のホモグラフィＨに基づいて第１のパラメーターＢ１、及び第２のパラメーターＢ２を決定可能とする。
【0014】
なお、本開示において、非平面は平面でないことを言う。具体的には、非平面は、１又は複数の有限の曲率を有する面を言う。非平面において、曲率が互いに異なる幾つかの領域の接続点は、互いの曲率が連続的に変化してもよいし、互いの曲率が非連続に変化してもよい。
また、本開示において、表面ＡＳが単一の平面であっても、情報処理装置２０は、後述するＮ個のホモグラフィＨに基づいて第１のパラメーターＢ１、及び第２のパラメーターＢ２を決定可能である。
また、本開示において、表面ＡＳが単一の平面であっても、情報処理装置２０は、後述するＮ個のホモグラフィＨに基づいて第１のパラメーターＢ１、及び第２のパラメーターＢ２を決定可能である。
【0015】
情報処理装置２０は、図１に示すように、処理装置２００と、記憶装置２１０と、データインターフェース装置２２０と、を含み、それぞれがバスに接続される。
処理装置２００は、例えばＣＰＵ（Central Processing Unit）などの１又は複数のプロセッサーを含む。処理装置２００の機能の一部は、ＦＰＧＡ（Field Programmable Gate Array）等の回路によって構成されてもよい。記憶装置２１０は、処理装置２００が読み取り可能な記録媒体である。記憶装置２１０は、例えば、不揮発性メモリーと、揮発性メモリーと、を含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭ（Random Access Memory）である。データインターフェース装置２２０は、光学装置１０から画像Ｃのデータが入力される装置である。データインターフェース装置２２０は、データの入力に関する所定規格に準拠したハードウェアを含み、当該ハードウェアは、例えばコネクター及びインターフェース回路を備える。
処理装置２００は、例えばＣＰＵ（Central Processing Unit）などの１又は複数のプロセッサーを含む。処理装置２００の機能の一部は、ＦＰＧＡ（Field Programmable Gate Array）等の回路によって構成されてもよい。記憶装置２１０は、処理装置２００が読み取り可能な記録媒体である。記憶装置２１０は、例えば、不揮発性メモリーと、揮発性メモリーと、を含む。不揮発性メモリーは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリーは、例えば、ＲＡＭ（Random Access Memory）である。データインターフェース装置２２０は、光学装置１０から画像Ｃのデータが入力される装置である。データインターフェース装置２２０は、データの入力に関する所定規格に準拠したハードウェアを含み、当該ハードウェアは、例えばコネクター及びインターフェース回路を備える。
【0016】
本実施形態の記憶装置２１０は、情報処理装置２０を制御するプログラム２１１を記憶する。処理装置２００のプロセッサーがプログラム２１１を実行することによって、処理装置２００は、画像取得部２０１、領域決定部２０２、ホモグラフィ決定部２０３、及び、パラメーター決定部２０４として機能する。
【0017】
画像取得部２０１は、光学装置１０からデータインターフェース装置２２０を介して画像Ｃを取得する。画像取得部２０１によって取得される画像Ｃには、少なくとも上述の第１の画像Ｃ１、及び第２の画像Ｃ２の２つが含まれる。
【0018】
領域決定部２０２は、Ｎを１より大きい自然数とした場合に、第１の画像Ｃ１の少なくとも一部に含まれるＮ個の第１の領域Ｆ１を決定する。また、領域決定部２０２は、第２の画像Ｃ２において、第１の領域Ｆ１に対応する第２の領域Ｆ２を、Ｎ個の第１の領域Ｆ１のそれぞれについて決定する。
より具体的には、本実施形態の領域決定部２０２は、図２に示すように、第１の画像Ｃ１において第１の範囲Ｈ１を決定し、この第１の範囲Ｈ１をＮ個の領域に分割することでＮ個の第１の領域Ｆ１を決定する。また、領域決定部２０２は、第２の領域Ｆ２についても同様に、第２の画像Ｃ２において第２の範囲Ｈ２を決定し、この第２の範囲Ｈ２をＮ個に分割することでＮ個の第２の領域Ｆ２を決定する。
より具体的には、本実施形態の領域決定部２０２は、図２に示すように、第１の画像Ｃ１において第１の範囲Ｈ１を決定し、この第１の範囲Ｈ１をＮ個の領域に分割することでＮ個の第１の領域Ｆ１を決定する。また、領域決定部２０２は、第２の領域Ｆ２についても同様に、第２の画像Ｃ２において第２の範囲Ｈ２を決定し、この第２の範囲Ｈ２をＮ個に分割することでＮ個の第２の領域Ｆ２を決定する。
【0019】
第１の範囲Ｈ１は、第１の画像Ｃ１においてオブジェクトＡが写っている領域の少なくとも一部である。第２の範囲Ｈ２は、第２の画像Ｃ２において、第１の画像Ｃ１の第１の範囲Ｈ１に対応する範囲、すなわち第１の範囲Ｈ１と同じオブジェクトＡ、又はオブジェクトＡの同じ部分が写っている範囲である。したがって、第１の範囲Ｈ１の中のＮ個の第１の領域Ｆ１は、いずれも第２の範囲Ｈ２のＮ個の第２の領域Ｆ２のうち、同じオブジェクトＡ、又はオブジェクトＡの同じ部分が写っている第２の領域Ｆ２と一対一に対応する。
【0020】
また、第１の領域Ｆ１、及び第２の領域Ｆ２は、いずれも同じ面積の領域であり、画像Ｃの解像度によって決定される画素よりも大きな面積に設定される。第１の領域Ｆ１、及び第２の領域Ｆ２の個数Ｎは、大きいほど好ましい。第１の範囲Ｈ１、及び第２の範囲Ｈ２に写っているオブジェクトＡの表面ＡＳが非平面を少なくとも一部に含む場合でも、第１の範囲Ｈ１、及び第２の範囲Ｈ２がそれぞれＮ個の第１の領域Ｆ１、及び第２の領域Ｆ２に分割されるため、オブジェクトＡの表面ＡＳが、微小な平面と見做せるＮ個の第１の領域Ｆ１、及び第２の領域Ｆ２の集合として取り扱われる。
【0021】
ホモグラフィ決定部２０３は、第１の画像Ｃ１におけるＮ個の第１の領域Ｆ１と、第２の画像Ｃ２におけるＮ個の第２の領域Ｆ２との間で一対一にホモグラフィＨを決定することによって、Ｎ個のホモグラフィＨを決定する。
【0022】
Ｎ個のホモグラフィＨは、それぞれ第１の領域Ｆ１の座標系を一対一に対応する第２の領域Ｆ２の座標系へ射影変換する射影変換行列である。本実施形態のホモグラフィ決定部２０３は、図２に示すように、一対一に対応する第１の領域Ｆ１と第２の領域Ｆ２とのそれぞれに、互いに対応する対応点Ｋを４点以上設定し、第１の領域Ｆ１の座標系における対応点Ｋの座標と、第２の領域Ｆ２の座標系における対応点Ｋの座標との線形的な対応関係を各対応点Ｋについて公知の手法により解析的に求めることでホモグラフィＨを決定する。そして、ホモグラフィ決定部２０３は、第１の領域Ｆ１と第２の領域Ｆ２のＮ個の対のそれぞれについてホモグラフィＨを決定することで、Ｎ個のホモグラフィＨを決定する。
【0023】
なお、ホモグラフィＨの決定に用いられる第１の領域Ｆ１、及び第２の領域Ｆ２の座標系は、それぞれ光学装置１０の既知の内部パラメーターに基づいて、例えば領域決定部２０２、又はホモグラフィ決定部２０３によって決定される。この場合において、第１の領域Ｆ１、及び第２の領域Ｆ２の座標系は、それぞれ光学系１０２のレンズ歪みが補償された座標系であってもよい。レンズ歪みの補償は、レンズ歪み係数などのパラメーターを用いて行われる。
【0024】
パラメーター決定部２０４は、ホモグラフィ決定部２０３によって決定されたＮ個のホモグラフィＨに基づいて、第１のパラメーターＢ１、及び第２のパラメーターＢ２を決定する。なお、パラメーター決定部２０４は、第１のパラメーターＢ１、及び第２のパラメーターＢ２の両方ではなく、いずれか１つを決定してもよい。
【0025】
本実施形態の第１のパラメーターＢ１は、第１の位置Ｄ１に位置する光学装置１０に対する第２の位置Ｄ２に位置する光学装置１０の相対的な位置関係を含むパラメーターである。
具体的には、第１のパラメーターＢ１は、第２の位置Ｄ２に位置する光学装置１０の外部パラメーターであり、位置と姿勢に関するパラメーターを含む。位置に関するパラメーターは、第１の位置Ｄ１に対する第２の位置Ｄ２の相対的な位置の座標を含み、後述する並進ベクトルｔに基づいて決定される。姿勢に関するパラメーターは、第１の位置Ｄ１に位置する光学装置１０に対する第２の位置Ｄ２に位置する光学装置１０の回転量を含み、後述する回転行列Ｒに基づいて決定される。
具体的には、第１のパラメーターＢ１は、第２の位置Ｄ２に位置する光学装置１０の外部パラメーターであり、位置と姿勢に関するパラメーターを含む。位置に関するパラメーターは、第１の位置Ｄ１に対する第２の位置Ｄ２の相対的な位置の座標を含み、後述する並進ベクトルｔに基づいて決定される。姿勢に関するパラメーターは、第１の位置Ｄ１に位置する光学装置１０に対する第２の位置Ｄ２に位置する光学装置１０の回転量を含み、後述する回転行列Ｒに基づいて決定される。
【0026】
また、本実施形態の第２のパラメーターＢ２は、撮像対象であるオブジェクトＡの表面ＡＳの形状に関するパラメーターを含み、具体的には、Ｎ個の法線ベクトルｎを含む。Ｎ個の法線ベクトルｎは、それぞれＮ個の第１の領域Ｆ１のそれぞれの法線方向を示すベクトルである。
【0027】
以下の説明では、第１の位置Ｄ１に位置する光学装置１０の座標系を「第１の座標系Ｐｄ１」と称し、第２の位置Ｄ２に位置する光学装置１０の座標系を「第２の座標系Ｐｄ２」と称する。また、本実施形態において、第１の座標系Ｐｄ１がワールド座標系Ｐｗであるとする。第１の座標系Ｐｄ１、第２の座標系Ｐｄ２、及びワールド座標系Ｐｗは、いずれも直交３次元座標系である。
【0028】
図３は、並進ベクトルｔ、回転行列Ｒ、及び法線ベクトルｎの説明図である。
並進ベクトルｔは、第１の位置Ｄ１から第２の位置Ｄ２への光学装置１０の移動を示すベクトルである。また、回転行列Ｒは、第１の位置Ｄ１に位置する光学装置１０に対する第２の位置Ｄ２に位置する光学装置１０の回転を示す行列である。そして、図３に示すように、第２の座標系Ｐｄ２とワールド座標系Ｐｗの関係は、Ｐｗ＝ＲＰｄ２＋ｔによって表される。したがって、並進ベクトルｔ、及び回転行列Ｒが求められることで、ワールド座標系Ｐｗにおける、第２の位置Ｄ２に位置する光学装置１０の位置座標、及び回転量が求められる。
また、法線ベクトルｎは、第１の座標系Ｐｄ１、すなわちワールド座標系Ｐｗにおける第１の領域Ｆ１の法線ベクトルである。Ｎ個の第１の領域Ｆ１の各法線ベクトルｎによって、オブジェクトＡの表面ＡＳのうち、第１の範囲Ｈ１の部分の曲率、及び凹凸などが決定可能となる。
並進ベクトルｔは、第１の位置Ｄ１から第２の位置Ｄ２への光学装置１０の移動を示すベクトルである。また、回転行列Ｒは、第１の位置Ｄ１に位置する光学装置１０に対する第２の位置Ｄ２に位置する光学装置１０の回転を示す行列である。そして、図３に示すように、第２の座標系Ｐｄ２とワールド座標系Ｐｗの関係は、Ｐｗ＝ＲＰｄ２＋ｔによって表される。したがって、並進ベクトルｔ、及び回転行列Ｒが求められることで、ワールド座標系Ｐｗにおける、第２の位置Ｄ２に位置する光学装置１０の位置座標、及び回転量が求められる。
また、法線ベクトルｎは、第１の座標系Ｐｄ１、すなわちワールド座標系Ｐｗにおける第１の領域Ｆ１の法線ベクトルである。Ｎ個の第１の領域Ｆ１の各法線ベクトルｎによって、オブジェクトＡの表面ＡＳのうち、第１の範囲Ｈ１の部分の曲率、及び凹凸などが決定可能となる。
【0029】
ここで、並進ベクトルｔ、回転行列Ｒ、及び法線ベクトルｎは、１つのホモグラフィＨを分解することによって決定される。ホモグラフィＨの分解には、一般に、特異値分解法（ＳＶＤ：Singular Value Decomposition）が用いられる。なお、一般に、ホモグラフィＨの分解では複数の解が得られることが知られている。本実施形態では、光学装置１０が撮像する方向である前方にオブジェクトＡが位置すること、及び、第１の位置Ｄ１と第２の位置Ｄ２との相対位置関係などを条件として、１つのホモグラフィＨごとに並進ベクトルｔ、回転行列Ｒ、及び法線ベクトルｎが１つずつ決定される。
【0030】
本実施形態では、Ｎ個のホモグラフィＨが決定されているため、Ｎ個のホモグラフィＨのそれぞれの分解によって、並進ベクトルｔ、回転行列Ｒ、及び法線ベクトルｎがＮ個ずつ決定される。１つのホモグラフィＨに基づく並進ベクトルｔ、及び回転行列Ｒの組は、そのホモグラフィＨに対応する１つの第１の領域Ｆ１の座標系について求められたものである。
【0031】
そこで、パラメーター決定部２０４は、位置に関するＮ個のパラメーター、及び姿勢に関するＮ個のパラメーターをそれぞれ統計処理することで、ワールド座標系Ｐｗにおける位置に関する１つのパラメーター、及び姿勢に関する１つのパラメーターを決定する。位置に関する１つのパラメーター、及び姿勢に関する１つのパラメーターの組が、本開示における１つの第１のパラメーターＢ１に相当する。
【0032】
本実施形態において、位置、及び姿勢のそれぞれのＮ個のパラメーターの統計処理にはトリム平均が用いられる。トリム平均は、Ｎ個のパラメーターのうち、最小値付近のパラメーター、及び、最大値付近のパラメーターを除外して求められた各パラメーターの平均値である。本実施形態では、Ｎ個のパラメーターの最小値、及び最大値のそれぞれから順に中央値にかけて、Ｎ個のＸ％に相当する数のパラメーターを除外している。Ｘは「０」より大きい自然数であり例えば「１０」である。統計処理にトリム平均が用いられることで、Ｎ個のパラメーターの中に含まれる外れ値及び異常値の影響を受けることなく、Ｎ個のパラメーターから平均値を求めることができる。なお、外れ値は、得られたパラメーターの中で真の値の推定値からの残差が異常に大きい値のことを言う。また、異常値は、得られたパラメーターの中で異常の原因が既知のパラメーターの値を言う。
【0033】
図４は、位置、及び姿勢のそれぞれのＮ個のパラメーターから得られるヒストグラムの一例を示す図である。
図４に示すように、位置に関するパラメーターは、ワールド座標系Ｐｗの各軸の位置座標を含む。そして、各軸の位置座標のヒストグラムにおいて、最小値付近、及び最大値付近のパラメーターを除外した残りの範囲Ｍのパラメーターの平均値がトリム平均となる。
また、姿勢に関するパラメーターは、ワールド座標系Ｐｗの各軸周りの回転角度を含む。そして、各軸周りの回転角度のヒストグラムにおいて、最小値付近、及び最大値付近のパラメーターを除外した残りの範囲Ｍのパラメーターの平均値がトリム平均となる。
図４に示すように、位置に関するパラメーターは、ワールド座標系Ｐｗの各軸の位置座標を含む。そして、各軸の位置座標のヒストグラムにおいて、最小値付近、及び最大値付近のパラメーターを除外した残りの範囲Ｍのパラメーターの平均値がトリム平均となる。
また、姿勢に関するパラメーターは、ワールド座標系Ｐｗの各軸周りの回転角度を含む。そして、各軸周りの回転角度のヒストグラムにおいて、最小値付近、及び最大値付近のパラメーターを除外した残りの範囲Ｍのパラメーターの平均値がトリム平均となる。
【0034】
図５は、パラメーター決定システム１の動作の一例を示す図である。
先ず、ユーザーなどが光学装置１０を第１の位置Ｄ１に配置する（ステップＳａ１）。そして、この第１の位置Ｄ１において、光学装置１０がオブジェクトＡを撮像することによって第１の画像Ｃ１を取得する（ステップＳａ２）。次いで、ユーザーなどが第２の位置Ｄ２に光学装置１０を移動する（ステップＳａ３）。そして、この第２の位置Ｄ２において、光学装置１０がオブジェクトＡを撮像することによって第２の画像Ｃ２を取得する（ステップＳａ４）。第１の画像Ｃ１、及び第２の画像Ｃ２は、適宜のタイミングで情報処理装置２０の画像取得部２０１によって取得される。
先ず、ユーザーなどが光学装置１０を第１の位置Ｄ１に配置する（ステップＳａ１）。そして、この第１の位置Ｄ１において、光学装置１０がオブジェクトＡを撮像することによって第１の画像Ｃ１を取得する（ステップＳａ２）。次いで、ユーザーなどが第２の位置Ｄ２に光学装置１０を移動する（ステップＳａ３）。そして、この第２の位置Ｄ２において、光学装置１０がオブジェクトＡを撮像することによって第２の画像Ｃ２を取得する（ステップＳａ４）。第１の画像Ｃ１、及び第２の画像Ｃ２は、適宜のタイミングで情報処理装置２０の画像取得部２０１によって取得される。
【0035】
次いで、情報処理装置２０において、領域決定部２０２が第１の画像Ｃ１の中に第１の範囲Ｈ１を決定し、第１の範囲Ｈ１に対応する第２の範囲Ｈ２を第２の画像Ｃ２の中に決定する（ステップＳａ５）。そして、領域決定部２０２は、第１の範囲Ｈ１、及び第２の範囲Ｈ２をＮ個に分割することにより、第１の画像Ｃ１の中にＮ個の第１の領域Ｆ１を決定し、第１の領域Ｆ１に一対一に対応するＮ個の第２の領域Ｆ２を第２の画像Ｃ２の中に決定する（ステップＳａ６）。
【0036】
次に、情報処理装置２０において、ホモグラフィ決定部２０３が、Ｎ個の第１の領域Ｆ１とＮ個の第２の領域Ｆ２との間で一対一にホモグラフィＨを決定すること、換言すれば、第１の領域Ｆ１とＮ個の第２の領域Ｆ２のＮ個の対について、それぞれホモグラフィＨを決定することにより、Ｎ個のホモグラフィＨを決定する（ステップＳａ７）。
【0037】
次いで、情報処理装置２０において、パラメーター決定部２０４が、Ｎ個のホモグラフィＨをそれぞれ分解することによって、光学装置１０に関するＮ個の第１のパラメーターＢ１と、オブジェクトＡに関するＮ個の第２のパラメーターＢ２とを決定する（ステップＳａ８）。
上述の通り、Ｎ個の第１のパラメーターＢ１は、それぞれ第１の位置Ｄ１における光学装置１０に対する第２の位置Ｄ２における光学装置１０の位置、及び姿勢に関するパラメーターを含む。この位置に関するパラメーターは第１の領域Ｆ１の座標系における位置座標を含み、姿勢に関するパラメーターは第１の領域Ｆ１の座標系における回転角度を含む。また、第２のパラメーターＢ２は、オブジェクトＡの表面ＡＳの形状に関するパラメーターを含み、具体的には、Ｎ個の第１の領域Ｆ１のそれぞれの法線ベクトルｎを含む。
上述の通り、Ｎ個の第１のパラメーターＢ１は、それぞれ第１の位置Ｄ１における光学装置１０に対する第２の位置Ｄ２における光学装置１０の位置、及び姿勢に関するパラメーターを含む。この位置に関するパラメーターは第１の領域Ｆ１の座標系における位置座標を含み、姿勢に関するパラメーターは第１の領域Ｆ１の座標系における回転角度を含む。また、第２のパラメーターＢ２は、オブジェクトＡの表面ＡＳの形状に関するパラメーターを含み、具体的には、Ｎ個の第１の領域Ｆ１のそれぞれの法線ベクトルｎを含む。
【0038】
そして、パラメーター決定部２０４は、Ｎ個の第１のパラメーターＢ１を統計処理することにより、１つの第１のパラメーターＢ１を決定する（ステップＳａ９）。
本実施形態では、上述の通り、統計処理にはトリム平均が用いられる。また、Ｎ個の第１のパラメーターＢ１は、位置に関するＮ個のパラメーター、及び、姿勢に関するＮ個のパラメーターを含む。位置に関するＮ個のパラメーターのトリム平均によって、位置に関する１つのパラメーターが決定され、また、姿勢に関するＮ個のパラメーターのトリム平均によって、姿勢に関する１つのパラメーターが決定される。
本実施形態では、上述の通り、統計処理にはトリム平均が用いられる。また、Ｎ個の第１のパラメーターＢ１は、位置に関するＮ個のパラメーター、及び、姿勢に関するＮ個のパラメーターを含む。位置に関するＮ個のパラメーターのトリム平均によって、位置に関する１つのパラメーターが決定され、また、姿勢に関するＮ個のパラメーターのトリム平均によって、姿勢に関する１つのパラメーターが決定される。
【0039】
なお、統計処理は、トリム平均に限定されない。統計処理は、例えば算術平均などの、他の平均値を求める処理でもよい。
また、図５に示す処理において、情報処理装置２０は、１つの第１のパラメーターＢ１、及びＮ個の第２のパラメーターＢ２の両方ではなく、１つの第１のパラメーターＢ１、及びＮ個の第２のパラメーターＢ２の一方を求めてもよい。
また、図５に示す処理において、情報処理装置２０は、１つの第１のパラメーターＢ１、及びＮ個の第２のパラメーターＢ２の両方ではなく、１つの第１のパラメーターＢ１、及びＮ個の第２のパラメーターＢ２の一方を求めてもよい。
【0040】
以上説明したように、本実施形態の情報処理装置２０は、次の一連の処理を実行する。すなわち、第１の位置Ｄ１に位置する、内部パラメーターが既知の光学装置１０によるオブジェクトＡの撮像によって取得された第１の画像Ｃ１の少なくとも一部に含まれるＮ（Ｎは１よりも大きな自然数）個の第１の領域Ｆ１を決定することと、第２の位置Ｄ２に位置する光学装置１０によるオブジェクトＡの撮像によって取得された第２の画像Ｃ２において、第１の領域Ｆ１に対応する第２の領域Ｆ２を、Ｎ個の第１の領域Ｆ１のそれぞれについて決定することと、Ｎ個の第１の領域Ｆ１とＮ個の第２の領域Ｆ２との間で一対一にホモグラフィＨを決定することによってＮ個のホモグラフィＨを決定することと、Ｎ個のホモグラフィＨをそれぞれ分解することによって、第２の位置Ｄ２に位置する光学装置１０に関する第１のパラメーターＢ１、及び、オブジェクトＡに関する第２のパラメーターＢ２の少なくとも１つを決定することと、を含む処理である。
この処理によれば、第１の画像Ｃ１、及び第２の画像Ｃ２に写っているオブジェクトＡの表面ＡＳが非平面を含む場合であっても、光学装置１０に関する第１のパラメーターＢ１を決定することができる。加えて、オブジェクトＡに関する第２のパラメーターＢ２も決定することができる。
この処理によれば、第１の画像Ｃ１、及び第２の画像Ｃ２に写っているオブジェクトＡの表面ＡＳが非平面を含む場合であっても、光学装置１０に関する第１のパラメーターＢ１を決定することができる。加えて、オブジェクトＡに関する第２のパラメーターＢ２も決定することができる。
【0041】
本実施形態の上記処理において、第２の位置Ｄ２に位置する光学装置１０に関する第１のパラメーターＢ１、及び、オブジェクトＡに関する第２のパラメーターＢ２の少なくとも１つを決定することは、Ｎ個のホモグラフィＨをそれぞれ分解することによってＮ個の第１のパラメーターＢ１を決定することと、Ｎ個の第１のパラメーターＢ１を統計処理することによって、１つの第１のパラメーターＢ１を決定することと、を含む。
この処理によれば、Ｎ個の第１のパラメーターＢ１の統計処理によって１つの第１のパラメーターＢ１が正確に決定される。
この処理によれば、Ｎ個の第１のパラメーターＢ１の統計処理によって１つの第１のパラメーターＢ１が正確に決定される。
【0042】
本実施形態の上記処理において、第２の位置Ｄ２に位置する光学装置１０に関する第１のパラメーターＢ１、及び、オブジェクトＡに関する第２のパラメーターＢ２の少なくとも１つを決定することは、Ｎ個のホモグラフィＨをそれぞれ分解することによって、Ｎ個の第１の領域Ｆ１のそれぞれについてＮ個の第２のパラメーターＢ２を決定すること、を含む。
この処理によれば、第１の範囲Ｈ１の中のＮ個の第１の領域Ｆ１のそれぞれについて、第２のパラメーターＢ２を得ることができる。これらＮ個の第２のパラメーターＢ２を用いることで、第１の範囲Ｈ１に写ったオブジェクトＡの形状を特定することもできる。
この処理によれば、第１の範囲Ｈ１の中のＮ個の第１の領域Ｆ１のそれぞれについて、第２のパラメーターＢ２を得ることができる。これらＮ個の第２のパラメーターＢ２を用いることで、第１の範囲Ｈ１に写ったオブジェクトＡの形状を特定することもできる。
【0043】
本実施形態において、オブジェクトＡの表面ＡＳは、少なくとも一部に非平面を含む。
本実施形態によれば、オブジェクトＡの表面ＡＳに非平面が実際に含まれる場合でも、Ｎ個のホモグラフィＨに基づいて第１のパラメーターＢ１、及び第２のパラメーターＢ２を確実に決定することができる。
本実施形態によれば、オブジェクトＡの表面ＡＳに非平面が実際に含まれる場合でも、Ｎ個のホモグラフィＨに基づいて第１のパラメーターＢ１、及び第２のパラメーターＢ２を確実に決定することができる。
【0044】
本実施形態において、光学装置１０は、第１の画像Ｃ１、及び第２の画像Ｃ２を撮像するための光学系１０２を含む撮像装置である。
本実施形態によれば、１台の光学装置１０により、第２の位置Ｄ２に位置したときの光学装置１０の第１のパラメーターＢ１を決定できる。
本実施形態によれば、１台の光学装置１０により、第２の位置Ｄ２に位置したときの光学装置１０の第１のパラメーターＢ１を決定できる。
【0045】
２．第２実施形態
図６は、本実施形態に係るパラメーター決定システム１Ａの一例を示す概略図である。なお、同図において、第１実施形態と共通する要素には同一の符号を付し、その詳細な説明を省略する。
第１実施形態では、パラメーター決定システム１が１つの光学装置１０を備えるのに対し、図６に示すように、本実施形態のパラメーター決定システム１Ａは、第１の光学装置１０Ａと、第２の光学装置１０Ｂとの２つの光学装置１０を備える点で相違する。
第１の光学装置１０Ａは、第１の位置Ｄ１においてオブジェクトＡを撮像することによって第１の画像Ｃ１を取得する、内部パラメーターが既知の装置である。第２の光学装置１０Ｂは、第１の光学装置１０Ａとは別の装置であり、第２の位置Ｄ２においてオブジェクトＡを撮像することによって第２の画像Ｃ２を取得する、内部パラメーターが既知の装置である。なお、第１の光学装置１０Ａと第２の光学装置１０Ｂとは、内部パラメーターが既知の１台のステレオカメラであってもよい。
図６は、本実施形態に係るパラメーター決定システム１Ａの一例を示す概略図である。なお、同図において、第１実施形態と共通する要素には同一の符号を付し、その詳細な説明を省略する。
第１実施形態では、パラメーター決定システム１が１つの光学装置１０を備えるのに対し、図６に示すように、本実施形態のパラメーター決定システム１Ａは、第１の光学装置１０Ａと、第２の光学装置１０Ｂとの２つの光学装置１０を備える点で相違する。
第１の光学装置１０Ａは、第１の位置Ｄ１においてオブジェクトＡを撮像することによって第１の画像Ｃ１を取得する、内部パラメーターが既知の装置である。第２の光学装置１０Ｂは、第１の光学装置１０Ａとは別の装置であり、第２の位置Ｄ２においてオブジェクトＡを撮像することによって第２の画像Ｃ２を取得する、内部パラメーターが既知の装置である。なお、第１の光学装置１０Ａと第２の光学装置１０Ｂとは、内部パラメーターが既知の１台のステレオカメラであってもよい。
【0046】
情報処理装置２０の構成は第１実施形態と同じである。すなわち、情報処理装置２０は、第１の光学装置１０Ａによって取得された第１の画像Ｃ１、及び第２の光学装置１０Ｂによって取得された第２の画像Ｃ２を画像取得部２０１が取得する。そして、情報処理装置２０は、図５のステップＳａ５からステップＳａ９を実行することにより、１つの第１のパラメーターＢ１、及びＮ個の第２のパラメーターＢ２の少なくとも一方を決定する。
【0047】
本実施形態によれば、光学装置１０を第１の位置Ｄ１から第２の位置Ｄ２に移動させなくても、第２の光学装置１０Ｂに関する第１のパラメーターＢ１、及び、Ｎ個の第１の領域Ｆ１に関する第２のパラメーターＢ２の少なくとも１つを決定することができる。
【0048】
３．第３実施形態
図７は、本実施形態に係るパラメーター決定システム１Ｂの一例を示す概略図である。なお、同図において、第１実施形態、又は第２実施形態と共通する要素については同一の符号を付し、その説明を省略する。
本実施形態のパラメーター決定システム１Ｂは、第１実施形態のパラメーター決定システム１、又は、第２実施形態のパラメーター決定システム１Ａにおいて、オブジェクトＡに第３の画像Ｃ３を投写するプロジェクター３０を更に備える。なお、図７は、第２実施形態のパラメーター決定システム１Ａがプロジェクター３０を更に備える場合を例示する。
図７は、本実施形態に係るパラメーター決定システム１Ｂの一例を示す概略図である。なお、同図において、第１実施形態、又は第２実施形態と共通する要素については同一の符号を付し、その説明を省略する。
本実施形態のパラメーター決定システム１Ｂは、第１実施形態のパラメーター決定システム１、又は、第２実施形態のパラメーター決定システム１Ａにおいて、オブジェクトＡに第３の画像Ｃ３を投写するプロジェクター３０を更に備える。なお、図７は、第２実施形態のパラメーター決定システム１Ａがプロジェクター３０を更に備える場合を例示する。
【0049】
第３の画像Ｃ３は、オブジェクトＡの表面ＡＳに、上記対応点Ｋの目印となるパターンを写す画像である。第１の光学装置１０Ａ、及び第２の光学装置１０Ｂは、それぞれオブジェクトＡの表面ＡＳに投写によって現れた第３の画像Ｃ３を撮像することによって、第１の画像Ｃ１、及び第２の画像Ｃ２を取得する。
この結果、第１の画像Ｃ１、及び第２の画像Ｃ２のそれぞれに、第３の画像Ｃ３のパターンが含まれ、このパターンに基づいて、第１の範囲Ｈ１に対応する第２の範囲Ｈ２の決定、及び、第１の領域Ｆ１に対応する第２の領域Ｆ２の決定、第１の領域Ｆ１から第２の領域Ｆ２への射影変換行列であるホモグラフィＨの決定などを正確かつ容易に行うことができる。
この結果、第１の画像Ｃ１、及び第２の画像Ｃ２のそれぞれに、第３の画像Ｃ３のパターンが含まれ、このパターンに基づいて、第１の範囲Ｈ１に対応する第２の範囲Ｈ２の決定、及び、第１の領域Ｆ１に対応する第２の領域Ｆ２の決定、第１の領域Ｆ１から第２の領域Ｆ２への射影変換行列であるホモグラフィＨの決定などを正確かつ容易に行うことができる。
【0050】
なお、第３の画像Ｃ３のパターンは、例えば、ドットパターン、チェッカーフラグパターン、及び、周期的変化パターンなどである。周期的変化パターンは、位相シフト法によって対応点Ｋを求める場合に用いられるパターンであり、具体的には、第１の位置Ｄ１と第２の位置Ｄ２を結ぶ方向において明暗が例えばサイン関数的に周期的に変化するパターンである。
【0051】
４．第４実施形態
図８は、本実施形態に係るパラメーター決定システム１Ｃの一例を示す概略図である。なお、同図において、第１実施形態、又は第２実施形態と共通する要素については同一の符号を付し、その説明を省略する。
同図に示すように、本実施形態のパラメーター決定システム１Ｃは、第２実施形態のパラメーター決定システム１Ａにおいて、第１の光学装置１０Ａが撮像装置ではなく、プロジェクターである点で構成を異にする。
具体的には、本実施形態の第１の光学装置１０Ａは、第１の位置Ｄ１において第１の画像Ｃ１をオブジェクトＡに投写する、内部パラメーターが既知のプロジェクターであり、光源１１０と、光変調装置１１２と、投写のための光学系１１４と、を含む。光源１１０は、放電ランプ、及び半導体光源などである。放電ランプの代表的な例は、ハロゲンランプ、キセノンランプ、及び超高圧水銀ランプなどである。半導体光源の代表的な例は、ＬＥＤ（light-emitting diode）、及びレーザーダイオードなどである。光変調装置１１２は、光源１１０の光を光変調する光変調素子を含む。光変調素子は、例えば、液晶パネル、及びデジタルミラーデバイス （Digital Micromirror Device）などである。光変調素子は、単一の液晶パネル又はデジタルミラーデバイスであってもよく、複数の液晶パネル又はデジタルミラーデバイスを含んでいてもよい。光学系１１４は、光変調装置１１２から出力された光の拡大率及び結像位置を調整する１又は複数の光学素子を含む。光学素子は、例えば、レンズ及びミラーである。光学系１１４の出力光が第１の画像Ｃ１の画像光ＬＧとして第１の光学装置１０Ａから放出され、オブジェクトＡの表面ＡＳに投写される。
図８は、本実施形態に係るパラメーター決定システム１Ｃの一例を示す概略図である。なお、同図において、第１実施形態、又は第２実施形態と共通する要素については同一の符号を付し、その説明を省略する。
同図に示すように、本実施形態のパラメーター決定システム１Ｃは、第２実施形態のパラメーター決定システム１Ａにおいて、第１の光学装置１０Ａが撮像装置ではなく、プロジェクターである点で構成を異にする。
具体的には、本実施形態の第１の光学装置１０Ａは、第１の位置Ｄ１において第１の画像Ｃ１をオブジェクトＡに投写する、内部パラメーターが既知のプロジェクターであり、光源１１０と、光変調装置１１２と、投写のための光学系１１４と、を含む。光源１１０は、放電ランプ、及び半導体光源などである。放電ランプの代表的な例は、ハロゲンランプ、キセノンランプ、及び超高圧水銀ランプなどである。半導体光源の代表的な例は、ＬＥＤ（light-emitting diode）、及びレーザーダイオードなどである。光変調装置１１２は、光源１１０の光を光変調する光変調素子を含む。光変調素子は、例えば、液晶パネル、及びデジタルミラーデバイス （Digital Micromirror Device）などである。光変調素子は、単一の液晶パネル又はデジタルミラーデバイスであってもよく、複数の液晶パネル又はデジタルミラーデバイスを含んでいてもよい。光学系１１４は、光変調装置１１２から出力された光の拡大率及び結像位置を調整する１又は複数の光学素子を含む。光学素子は、例えば、レンズ及びミラーである。光学系１１４の出力光が第１の画像Ｃ１の画像光ＬＧとして第１の光学装置１０Ａから放出され、オブジェクトＡの表面ＡＳに投写される。
【0052】
本実施形態において、オブジェクトＡは、典型的には、画像の投写に用いられ得る物体であり、例えばスクリーン、及び、部屋又は建物の壁面などである。
【0053】
第１の画像Ｃ１は、例えば第３実施形態の第３の画像Ｃ３と同様なパターンを含む画像である。本実施形態では、この第１の画像Ｃ１の投写画像データ２１２が情報処理装置２０の記憶装置２１０に予め記憶されている。そして、情報処理装置２０が第１の光学装置１０Ａに投写画像データ２１２を供給することによって、第１の光学装置１０Ａが投写画像データ２１２に基づいて第１の画像Ｃ１をオブジェクトＡに投写する。そして、第２の光学装置１０Ｂが第２の位置Ｄ２において、オブジェクトＡに現れた第１の画像Ｃ１を撮像することによって第２の画像Ｃ２を取得する。
【0054】
また、本実施形態の情報処理装置２０は、処理装置２００が第１の画像決定部２０５を更に備える。第１の画像決定部２０５は、第１の光学装置１０Ａの投写によってオブジェクトＡの表面ＡＳに現れる第１の画像Ｃ１を決定する機能部であり、処理装置２００がプログラム２１１を実行することによって実現される。
具体的には、第１の画像決定部２０５は、第１の光学装置１０Ａの内部パラメーターである光学系１１４の光学中心、及び焦点距離と、投写画像データ２１２と、に基づいて、オブジェクトＡの表面ＡＳにおける第１の画像Ｃ１を決定する。この場合において、第１の画像Ｃ１の座標系は、第１の光学装置１０Ａの座標系であり、本開示ではワールド座標系Ｐｗである。なお、第１の画像決定部２０５は、光学系１１４の光学中心、及び焦点距離に基づいてレンズ中心の影響を補償した第１の画像Ｃ１を決定してもよい。
具体的には、第１の画像決定部２０５は、第１の光学装置１０Ａの内部パラメーターである光学系１１４の光学中心、及び焦点距離と、投写画像データ２１２と、に基づいて、オブジェクトＡの表面ＡＳにおける第１の画像Ｃ１を決定する。この場合において、第１の画像Ｃ１の座標系は、第１の光学装置１０Ａの座標系であり、本開示ではワールド座標系Ｐｗである。なお、第１の画像決定部２０５は、光学系１１４の光学中心、及び焦点距離に基づいてレンズ中心の影響を補償した第１の画像Ｃ１を決定してもよい。
【0055】
そして、情報処理装置２０において、画像取得部２０１が第１の画像決定部２０５から第１の画像Ｃ１を取得し、また、第２の光学装置１０Ｂから第２の画像Ｃ２を取得する。その後、情報処理装置２０は、図５のステップＳａ５からステップＳａ９を実行することにより、１つの第１のパラメーターＢ１、及びＮ個の第２のパラメーターＢ２の少なくとも一方を決定する。
【0056】
本実施形態によれば、第１の光学装置１０Ａであるプロジェクターの第１の座標系Ｐｄ１をワールド座標系Ｐｗとして、第２の光学装置１０Ｂに関する第１のパラメーターＢ１、及び、オブジェクトＡに関する第２のパラメーターＢ２を決定できる。
【0057】
５．変形例
以上に例示した形態は多様に変形され得る。上述の形態に適用され得る具体的な変形の形態を以下に例示する。以下の例示から任意に選択された２以上の形態は、技術的な矛盾を生じさせない範囲で相互に適宜に併合され得る。
以上に例示した形態は多様に変形され得る。上述の形態に適用され得る具体的な変形の形態を以下に例示する。以下の例示から任意に選択された２以上の形態は、技術的な矛盾を生じさせない範囲で相互に適宜に併合され得る。
【0058】
例えば、情報処理装置２０は、１台のコンピューターに限らず、複数のコンピューターによって実現されてもよい。具体的には、情報処理装置２０の処理装置２００が備える各機能部は、複数のコンピューターがそれぞれ備える各プロセッサーによって実現されてもよい。この場合、図５に示した各ステップが、複数のコンピューターに割り当てられ、各コンピューターによって実行される。
【0059】
例えば、情報処理装置２０は、光学装置１０と一体であってもよい。この場合、データインターフェース装置２２０は省略されてもよい。
【0060】
６．応用例
本開示は、撮像対象であるオブジェクトＡを撮像した第１の画像Ｃ１と第２の画像Ｃ２との間のホモグラフィＨを用いる要素を含む各種の技術に広く用いることができる。例えば、この種の技術には、画像処理技術、及びコンピュータービジョン技術などが挙げられる。
本開示は、撮像対象であるオブジェクトＡを撮像した第１の画像Ｃ１と第２の画像Ｃ２との間のホモグラフィＨを用いる要素を含む各種の技術に広く用いることができる。例えば、この種の技術には、画像処理技術、及びコンピュータービジョン技術などが挙げられる。
【0061】
７．本開示のまとめ
以下、本開示のまとめを付記する。
以下、本開示のまとめを付記する。
【0062】
（付記１）
第１の位置に位置する、内部パラメーターが既知の第１の光学装置が撮像対象を撮像することによって取得された第１の画像、又は、前記第１の光学装置から投写された前記第１の画像の少なくとも一部に含まれるＮ（Ｎは１よりも大きな自然数）個の第１の領域を決定することと、
前記第１の位置とは異なる第２の位置に位置する、内部パラメーターが既知の第２の光学装置が前記撮像対象を撮像することによって取得された第２の画像において、前記Ｎ個の第１の領域のそれぞれに一対一に対応するＮ個の第２の領域を決定することと、
前記Ｎ個の第１の領域と前記Ｎ個の第２の領域との間で一対一にホモグラフィを決定することによってＮ個のホモグラフィを決定することと、
前記Ｎ個のホモグラフィをそれぞれ分解することによって、前記第２の光学装置に関する第１のパラメーター、及び、前記撮像対象に関する第２のパラメーターの少なくとも１つを決定することと、
を含む、
パラメーター決定方法。
付記１によれば、仮に、撮像対象が非平面を含む場合であっても、第２の光学装置に関する第１のパラメーターを決定することができる。また、撮像対象に関する第２のパラメーターも決定することができる。
第１の位置に位置する、内部パラメーターが既知の第１の光学装置が撮像対象を撮像することによって取得された第１の画像、又は、前記第１の光学装置から投写された前記第１の画像の少なくとも一部に含まれるＮ（Ｎは１よりも大きな自然数）個の第１の領域を決定することと、
前記第１の位置とは異なる第２の位置に位置する、内部パラメーターが既知の第２の光学装置が前記撮像対象を撮像することによって取得された第２の画像において、前記Ｎ個の第１の領域のそれぞれに一対一に対応するＮ個の第２の領域を決定することと、
前記Ｎ個の第１の領域と前記Ｎ個の第２の領域との間で一対一にホモグラフィを決定することによってＮ個のホモグラフィを決定することと、
前記Ｎ個のホモグラフィをそれぞれ分解することによって、前記第２の光学装置に関する第１のパラメーター、及び、前記撮像対象に関する第２のパラメーターの少なくとも１つを決定することと、
を含む、
パラメーター決定方法。
付記１によれば、仮に、撮像対象が非平面を含む場合であっても、第２の光学装置に関する第１のパラメーターを決定することができる。また、撮像対象に関する第２のパラメーターも決定することができる。
【0063】
（付記２）
前記第１のパラメーター、及び、前記第２のパラメーターの少なくとも１つを決定することは、
前記Ｎ個のホモグラフィをそれぞれ分解することによって、Ｎ個の前記第１のパラメーターを決定することと、
Ｎ個の前記第１のパラメーターを統計処理することによって、１つの前記第１のパラメーターを決定することと、
を含む、
付記１に記載のパラメーター決定方法。
付記２によれば、Ｎ個の第１のパラメーターの統計処理によって１つの第１のパラメーターＢ１が正確に決定される。
前記第１のパラメーター、及び、前記第２のパラメーターの少なくとも１つを決定することは、
前記Ｎ個のホモグラフィをそれぞれ分解することによって、Ｎ個の前記第１のパラメーターを決定することと、
Ｎ個の前記第１のパラメーターを統計処理することによって、１つの前記第１のパラメーターを決定することと、
を含む、
付記１に記載のパラメーター決定方法。
付記２によれば、Ｎ個の第１のパラメーターの統計処理によって１つの第１のパラメーターＢ１が正確に決定される。
【0064】
（付記３）
前記第１のパラメーター、及び、前記第２のパラメーターの少なくとも１つを決定することは、
前記Ｎ個のホモグラフィをそれぞれ分解することによって、前記Ｎ個の第１の領域のそれぞれについて前記第２のパラメーターを決定すること、
を含む、
付記１又は２に記載のパラメーター決定方法。
付記３によれば、Ｎ個の第１の領域のそれぞれについて、撮像対象に関する第２のパラメーターを得ることができる。
前記第１のパラメーター、及び、前記第２のパラメーターの少なくとも１つを決定することは、
前記Ｎ個のホモグラフィをそれぞれ分解することによって、前記Ｎ個の第１の領域のそれぞれについて前記第２のパラメーターを決定すること、
を含む、
付記１又は２に記載のパラメーター決定方法。
付記３によれば、Ｎ個の第１の領域のそれぞれについて、撮像対象に関する第２のパラメーターを得ることができる。
【0065】
（付記４）
前記撮像対象の表面は、少なくとも一部に非平面を含む、
付記１から付記３のいずれか１項に記載のパラメーター決定方法。
付記４によれば、撮像対象の表面の少なくとも一部に非平面が実際に含まれる場合でも、Ｎ個のホモグラフィに基づいて第１のパラメーター、及び第２のパラメーターを確実に決定することができる。
前記撮像対象の表面は、少なくとも一部に非平面を含む、
付記１から付記３のいずれか１項に記載のパラメーター決定方法。
付記４によれば、撮像対象の表面の少なくとも一部に非平面が実際に含まれる場合でも、Ｎ個のホモグラフィに基づいて第１のパラメーター、及び第２のパラメーターを確実に決定することができる。
【0066】
（付記５）
前記第１の光学装置は、前記撮像対象を撮像することによって前記第１の画像を取得するための光学系を含む撮像装置、又は、前記第１の画像を投写するための光学系を含むプロジェクターであり、
前記第２の光学装置は、前記撮像対象を撮像することによって前記第２の画像を取得するための光学系を含む撮像装置である、
付記１から付記４のいずれか１項に記載のパラメーター決定方法。
付記５によれば、第１の光学装置として撮像装置又はプロジェクターを用い、第２の光学装置として撮像装置を用いることで、第２の光学装置に対応する撮像装置に関する第１のパラメーターを決定できる。
前記第１の光学装置は、前記撮像対象を撮像することによって前記第１の画像を取得するための光学系を含む撮像装置、又は、前記第１の画像を投写するための光学系を含むプロジェクターであり、
前記第２の光学装置は、前記撮像対象を撮像することによって前記第２の画像を取得するための光学系を含む撮像装置である、
付記１から付記４のいずれか１項に記載のパラメーター決定方法。
付記５によれば、第１の光学装置として撮像装置又はプロジェクターを用い、第２の光学装置として撮像装置を用いることで、第２の光学装置に対応する撮像装置に関する第１のパラメーターを決定できる。
【0067】
（付記６）
前記第１の光学装置は、前記撮像対象を撮像することによって前記第１の画像を取得する装置であり、
前記第１の画像、及び前記第２の画像は、
プロジェクターから投写される第３の画像を撮像した画像である、
付記１から付記５のいずれか１項に記載のパラメーター決定方法。
付記６によれば、第１の画像、及び第２の画像に写ったそれぞれの第３の画像に基づいて、第１の領域Ｆ１に対応する第２の領域Ｆ２の決定などを正確かつ容易に行うことができる。
前記第１の光学装置は、前記撮像対象を撮像することによって前記第１の画像を取得する装置であり、
前記第１の画像、及び前記第２の画像は、
プロジェクターから投写される第３の画像を撮像した画像である、
付記１から付記５のいずれか１項に記載のパラメーター決定方法。
付記６によれば、第１の画像、及び第２の画像に写ったそれぞれの第３の画像に基づいて、第１の領域Ｆ１に対応する第２の領域Ｆ２の決定などを正確かつ容易に行うことができる。
【0068】
（付記７）
第１の位置に位置する、内部パラメーターが既知の第１の光学装置が撮像対象を撮像することによって取得された第１の画像、又は、前記第１の光学装置から投写された前記第１の画像の少なくとも一部に含まれるＮ（Ｎは１よりも大きな自然数）個の第１の領域を決定することと、
前記第１の位置とは異なる第２の位置に位置する、内部パラメーターが既知の第２の光学装置が前記撮像対象を撮像することによって取得された第２の画像において、前記Ｎ個の第１の領域のそれぞれに一対一に対応するＮ個の第２の領域を決定することと、
前記Ｎ個の第１の領域と前記Ｎ個の第２の領域との間で一対一にホモグラフィを決定することによってＮ個のホモグラフィを決定することと、
前記Ｎ個のホモグラフィをそれぞれ分解することによって、前記第２の光学装置に関する第１のパラメーター、及び、前記撮像対象に関する第２のパラメーターの少なくとも１つを決定することと、
を含む処理を行う少なくとも１つのプロセッサーを含む、情報処理装置。
付記７によれば、付記１と同様な効果を奏する。
第１の位置に位置する、内部パラメーターが既知の第１の光学装置が撮像対象を撮像することによって取得された第１の画像、又は、前記第１の光学装置から投写された前記第１の画像の少なくとも一部に含まれるＮ（Ｎは１よりも大きな自然数）個の第１の領域を決定することと、
前記第１の位置とは異なる第２の位置に位置する、内部パラメーターが既知の第２の光学装置が前記撮像対象を撮像することによって取得された第２の画像において、前記Ｎ個の第１の領域のそれぞれに一対一に対応するＮ個の第２の領域を決定することと、
前記Ｎ個の第１の領域と前記Ｎ個の第２の領域との間で一対一にホモグラフィを決定することによってＮ個のホモグラフィを決定することと、
前記Ｎ個のホモグラフィをそれぞれ分解することによって、前記第２の光学装置に関する第１のパラメーター、及び、前記撮像対象に関する第２のパラメーターの少なくとも１つを決定することと、
を含む処理を行う少なくとも１つのプロセッサーを含む、情報処理装置。
付記７によれば、付記１と同様な効果を奏する。
【0069】
（付記８）
第１の位置に位置する、内部パラメーターが既知の第１の光学装置が撮像対象を撮像することによって取得された第１の画像、又は、前記第１の光学装置から投写された前記第１の画像の少なくとも一部に含まれるＮ（Ｎは１よりも大きな自然数）個の第１の領域を決定することと、
前記第１の位置とは異なる第２の位置に位置する、内部パラメーターが既知の第２の光学装置が前記撮像対象を撮像することによって取得された第２の画像において、前記Ｎ個の第１の領域のそれぞれに一対一に対応するＮ個の第２の領域を決定することと、
前記Ｎ個の第１の領域と前記Ｎ個の第２の領域との間で一対一にホモグラフィを決定することによってＮ個のホモグラフィを決定することと、
前記Ｎ個のホモグラフィをそれぞれ分解することによって、前記第２の光学装置に関する第１のパラメーター、及び、前記撮像対象に関する第２のパラメーターの少なくとも１つを決定することと、
を含む処理をコンピューターに実行させるプログラム。
付記８によれば、付記１と同様な効果を奏する。
第１の位置に位置する、内部パラメーターが既知の第１の光学装置が撮像対象を撮像することによって取得された第１の画像、又は、前記第１の光学装置から投写された前記第１の画像の少なくとも一部に含まれるＮ（Ｎは１よりも大きな自然数）個の第１の領域を決定することと、
前記第１の位置とは異なる第２の位置に位置する、内部パラメーターが既知の第２の光学装置が前記撮像対象を撮像することによって取得された第２の画像において、前記Ｎ個の第１の領域のそれぞれに一対一に対応するＮ個の第２の領域を決定することと、
前記Ｎ個の第１の領域と前記Ｎ個の第２の領域との間で一対一にホモグラフィを決定することによってＮ個のホモグラフィを決定することと、
前記Ｎ個のホモグラフィをそれぞれ分解することによって、前記第２の光学装置に関する第１のパラメーター、及び、前記撮像対象に関する第２のパラメーターの少なくとも１つを決定することと、
を含む処理をコンピューターに実行させるプログラム。
付記８によれば、付記１と同様な効果を奏する。
【符号の説明】
【0070】
１、１Ａ、１Ｂ、１Ｃ…パラメーター決定システム、１０…光学装置、１０Ａ…第１の光学装置、１０Ｂ…第２の光学装置、２０…情報処理装置、３０…プロジェクター、１０２、１１４…光学系、２００…処理装置、２１１…プログラム、Ａ…オブジェクト、Ｂ１…第１のパラメーター、Ｂ２…第２のパラメーター、Ｃ１…第１の画像、Ｃ２…第２の画像、Ｃ３…第３の画像、Ｄ１…第１の位置、Ｄ２…第２の位置、Ｆ１…第１の領域、Ｆ２…第２の領域、Ｈ…ホモグラフィ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】