特許 5988364 画像処理装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5988364

(24)【登録日】2016年8月19日

(45)【発行日】2016年9月7日

(54)【発明の名称】画像処理装置及び方法

(51)【国際特許分類】

   G01B 11/26 20060101AFI20160825BHJP

   G01B 11/00 20060101ALI20160825BHJP

   G06T 7/60 20060101ALI20160825BHJP

   G06T 1/00 20060101ALI20160825BHJP

【ＦＩ】

   G01B11/26 H

   G01B11/00 H

   G06T7/60 150P

   G06T1/00 280

【請求項の数】8

【全頁数】17

(21)【出願番号】特願2012-174321(P2012-174321)

(22)【出願日】2012年8月6日

(65)【公開番号】特開2014-32161(P2014-32161A)

(43)【公開日】2014年2月20日

【審査請求日】2015年1月21日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100084870

【弁理士】

【氏名又は名称】田中 香樹

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】巻渕 有哉

(72)【発明者】

【氏名】加藤 晴久

(72)【発明者】

【氏名】米山 暁夫

【審査官】 神谷 健一

(56)【参考文献】

【文献】 特開２００８−１２２１０９（ＪＰ，Ａ）

【文献】 特開２０１１−１１８５５３（ＪＰ，Ａ）

【文献】 植松 裕子 Yuko Uematsu，ヒューマンインタフェースとバーチャルリアリティ，映像情報メディア学会誌 第６０巻 第６号 THE JOURNAL OF THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS，日本，（社）映像情報メディア学会 THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS，２００６年 ６月 １日，第60巻第6号，pp.909-919

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ１１／００−１１／３０

Ｇ０６Ｔ １／００− １／４０，

３／００− ９／４０

(57)【特許請求の範囲】

【請求項1】

同一平面上にある少なくとも４つの点または線分を特定可能なように構成されており、当該少なくとも４つの点または線分の各々の相対的な位置座標関係としての配置が既知である指標が複数、同一平面上に設置されているのを撮像装置において撮像した撮像画像より、複数の指標が前記設置されている基準座標系を推定する画像処理装置であって、
前記撮像画像より指標を検出する指標検出部と、
前記検出された各指標の前記撮像装置に対する姿勢を平面射影変換の関係として推定する指標姿勢推定部と、
前記推定された各姿勢より前記基準座標系における各指標の初期配置を推定する指標配置推定部と、
前記推定された各指標の初期配置と前記検出された各指標の前記撮像画像上における配置との全体としての対応関係より、前記基準座標系の前記撮像装置に対する姿勢を推定する基準座標系推定部と、を備え、
前記指標配置推定部は、前記推定された各姿勢に対応する平面射影変換を大きさ、位置及び向き並びに歪みに対応する各要素に分解し、1つの指標において前記推定された姿勢により表される平面上での当該１つの指標の前記既知である配置によって当該1つの指標の初期配置を定めると共に、当該1つの指標以外の各指標の初期配置を、当該1つの指標における位置及び向きの要素と当該各指標における大きさ及び歪みの要素との合成によって前記平面上に定め、
前記指標配置推定部は前記各平面射影変換を、大きさ並びに位置及び向きに対応する相似変換と、歪みに対応するアフィン変換及び射影変換と、に分解することを特徴とする画像処理装置。

【請求項2】

前記指標配置推定部は前記１つの指標以外の各指標の初期配置を、前記１つの指標及び当該各指標における相似変換並びに当該各指標におけるアフィン変換及び射影変換を、当該各指標の重心を前記撮像画像の座標系における原点として定めたうえで求めてから前記合成することによって定めることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記複数の指標には大きさ及び形状が既知である指標が含まれ、前記指標配置推定部は当該指標のうちの１つを前記１つの指標として定めることを特徴とする請求項1または２に記載の画像処理装置。

【請求項4】

前記複数の指標のうち、大きさ及び形状が前記既知である指標以外のその他の指標においては大きさ及び形状のうち、形状のみが既知であり、
前記指標配置推定部は、当該その他の指標の初期配置を前記合成して定める際に利用するための大きさを、当該その他の指標以外の指標を前記分解して得られた大きさに基づいて決定することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記指標配置推定部は、前記その他の指標の初期配置を前記合成して定める際に利用するための大きさを、前記その他の指標以外の指標のうち、前記撮像画像における面積が最大となる指標を前記分解して得られた大きさとして決定することを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記指標配置推定部は、前記その他の指標の初期配置を前記合成して定める際に利用するための大きさを、前記その他の指標以外の指標を前記分解して得られた大きさの平均として決定することを特徴とする請求項４に記載の画像処理装置。

【請求項7】

前記１つの指標に対する姿勢が既知であることによって前記同一平面に対する姿勢が既知である別平面上にさらに、同一平面上にある少なくとも４つの点または線分を特定可能なように構成されており、当該少なくとも４つの点または線分の各々の相対的な位置座標関係としての配置が既知である指標が少なくとも１つ配置され、
前記指標検出部は前記撮像画像よりさらに前記別平面上の指標を検出し、
前記指標配置推定部は前記１つの指標として前記同一平面上の指標を採用すると共に、さらに、前記別平面上の指標の初期配置を、前記1つの指標における位置及び向きの要素に前記同一平面に対する既知の姿勢を加味した要素と当該別平面上の指標における大きさ及び歪みの要素との合成によって定めることを特徴とする請求項1ないし６のいずれかに記載の画像処理装置。

【請求項8】

同一平面上にある少なくとも４つの点または線分を特定可能なように構成されており、当該少なくとも４つの点または線分の各々の相対的な位置座標関係としての配置が既知である指標が複数、同一平面上に設置されているのを撮像装置において撮像した撮像画像より、複数の指標が前記設置されている基準座標系を推定する画像処理方法であって、
前記撮像画像より指標を検出する指標検出ステップと、
前記検出された各指標の前記撮像装置に対する姿勢を平面射影変換の関係として推定する指標姿勢推定ステップと、
前記推定された各姿勢より前記基準座標系における各指標の初期配置を推定する指標配置推定ステップと、
前記推定された各指標の初期配置と前記検出された各指標の前記撮像画像上における配置との全体としての対応関係より、前記基準座標系の前記撮像装置に対する姿勢を推定する基準座標系推定ステップと、を備え、
前記指標配置推定ステップでは、前記推定された各姿勢に対応する平面射影変換を大きさ、位置及び向き並びに歪みに対応する各要素に分解し、1つの指標において前記推定された姿勢により表される平面上での当該１つの指標の前記既知である配置によって当該1つの指標の初期配置を定めると共に、当該1つの指標以外の各指標の初期配置を、当該1つの指標における位置及び向きの要素と当該各指標における大きさ及び歪みの要素との合成によって前記平面上に定め、
前記指標配置推定ステップでは前記各平面射影変換を、大きさ並びに位置及び向きに対応する相似変換と、歪みに対応するアフィン変換及び射影変換と、に分解することを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の指標の配置情報を用いて基準座標系の姿勢を推定する画像処理装置及び方法に関する。

【背景技術】

【0002】

ＡＲ（拡張現実感）は、文字やＣＧ等の仮想的な情報を現実世界に付加する概念であり、その中でも３次元ＣＧを撮像画像に重畳表示するためには現実世界の基準座標系に対する撮像装置の姿勢（又は同等の情報を有するその逆関係として、撮像装置に対する基準座標系の姿勢）を推定する必要がある。

【0003】

キャラクター等のＣＧ（コンピュータ・グラフィックス）を現実空間に重ね合わせて表示するＡＲシステムにおいては、キャラクターと現実空間との幾何学的な整合性を維持するために基準座標系の高い推定精度が要求される。もしこの精度が十分でない場合は、例えばキャラクターを現実空間の机の上に立たせて表示させようとしているのにもかかわらず、キャラクターが机の上から離れて浮いて表示されてしまうといったことが起こりうる。

【0004】

比較的容易に基準座標系を推定する方法として、ＡＲ指標の投影画像を利用した手法が広く知られている。すなわち、現実空間の一平面上に設置された特定の形状をとる指標を撮像し、撮像画像内における指標の歪み方を利用することで基準座標系の姿勢を推定するというものである。

【0005】

従来からのＡＲシステムにおいては単一の指標を用いるのが一般的であるが、複数の指標を用いてより高精度に基準座標系を推定する方式も検討されており、特許文献１及び２にはこうした技術が開示されている。

【0006】

特許文献１及び２では、点指標や正方指標を含む複数の指標を多数の角度から撮影することで、指標の配置を拘束条件とした基準座標系を推定する方式が開示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００５−３２７１０３号公報

【特許文献2】特開２００８−１２２１０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１及び２では、いずれの文献においても、基準座標系における撮像装置及び指標の位置及び向きの近似値が必要であり、それぞれを独立に求めることが要求されている。例えば、前者に関しては撮像装置に搭載された姿勢センサを利用する、または基準座標系における位置が既知の点の撮像画像内での投影位置を利用する、後者に関しては、巻尺や分度器、測量器などにより手動で計測する、といった手法が挙げられているが、いずれの手法においても基準座標系の推定に撮像装置以外のセンサや指標の配置に関する事前情報を必要とするという課題がある。

【0009】

本発明は上述の課題に鑑みてなされたものであり、複数の指標を撮像した単一の撮像画像のみから、撮像装置以外のセンサや指標の配置に関する事前情報を用いることなく基準座標系の姿勢を高精度に推定することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するため、本発明は各々が既知である指標が複数、同一平面上に設置されているのを撮像装置において撮像した撮像画像より、複数の指標が前記設置されている基準座標系を推定する画像処理装置であって、前記撮像画像より指標を検出する指標検出部と、前記検出された各指標の前記撮像装置に対する姿勢を平面射影変換の関係として推定する指標姿勢推定部と、前記推定された各姿勢より前記基準座標系における各指標の初期配置を推定する指標配置推定部と、前記推定された各指標の初期配置と前記検出された各指標の前記撮像画像上における配置との全体としての対応関係より、前記基準座標系の前記撮像装置に対する姿勢を推定する基準座標系推定部と、を備え、前記指標配置推定部は、前記推定された各姿勢に対応する平面射影変換を大きさ、位置及び向き並びに歪みに対応する各要素に分解し、1つの指標において前記推定された姿勢により表される平面上での当該１つの指標の前記既知である配置によって当該1つの指標の初期配置を定めると共に、当該1つの指標以外の各指標の初期配置を、当該1つの指標における位置及び向きの要素と当該各指標における大きさ及び歪みの要素との合成によって前記平面上に定め、前記指標配置推定部は前記各平面射影変換を、大きさ並びに位置及び向きに対応する相似変換と、歪みに対応するアフィン変換及び射影変換と、に分解することを特徴とする。

【発明の効果】

【0011】

本発明によれば、１つの指標に対する配置を基準座標系における初期配置となし、当該１つの指標以外の各指標については、当該１つの指標の推定配置における位置及び向きの要素によって共通の基準座標系とした上でさらに、各指標の推定位置における大きさ及び歪みの要素を合成することで、基準座標系において当初の大きさ及び形状に戻ることのできる正確な初期配置となし、当該共通の基準座標系において求まった全ての指標の初期配置と全ての指標の撮像画像上の配置との間の対応関係より基準座標系を推定する。

【0012】

従って予め指標同士の配置の情報を与えておくことなく、当該指標同士の配置の情報の近似値に相当する初期配置の情報が利用できるので、複数の指標から得られる複数の初期配置によって、高精度に基準座標系を推定することができる。

【図面の簡単な説明】

【0013】

【図1】画像処理装置を用いたＡＲシステムの構成図である。

【図2】画像処理装置の機能ブロック図である。

【図3】指標及び指標座標系を説明するための図である。

【図4】平面射影変換行列及びその逆行列により、指標座標系とピクセル座標系とが相互に変換されることを模式的に説明するための図である。

【図5A】本発明の一連の特徴的部分を説明するため、仮に指標間の位置関係が既知であったとした場合を説明する図である。

【図5B】各指標において個別にピクセル画像系と基準座標系との平面射影変換が求められていること等を説明する図である。

【図5C】ある指標1において求められた平面射影変換を別の指標2に適用すると、誤差により歪むこと及び初期配置の意義を説明する図である。

【図5D】別指標1につき求められた平面射影変換では歪むが、自身の指標2に対して求められた平面射影変換では歪まないことを説明する図である。

【図5E】別指標1につき求められた基準座標系へ指標2を変換する平面射影変換であって且つ歪まない変換と、当該歪まない変換により指標2の初期配置が定まることを説明する図である。

【図5F】図5Eと同様のことが指標2のその他の指標として指標3についても成立することを説明する図である。

【図5G】全ての初期配置を用いて基準座標系を求めることを説明する図である。

【図6】別平面上の指標を追加で利用するために必要な、別平面の特定について説明刷る図である。

【発明を実施するための形態】

【0014】

図１は、本発明の一実施形態に係る、画像処理装置を用いたＡＲシステムの構成図であり、図1を用いて本実施形態の概要を説明する。ＡＲシステム1は、撮像装置10と、情報表示装置11と、データベース12と、本発明の画像処理装置2と、を備えて構成される。

【0015】

撮像装置10は、(1)に模式的に示すような現実世界の撮像対象を撮像してその撮像画像を取得する装置であり、市販のＷＥＢカメラのほか、携帯電話端末や搭載されているカメラモジュールを用いてもよい。本発明にて使用する撮像装置10は、焦点距離や光軸のずれ、歪みパラメータ等の内部パラメータが事前のキャリブレーションにより既知であるものとする。

【0016】

画像処理装置2は、撮像装置10の撮像画像より複数の指標を検出し、当該検出結果に基づいて基準座標系を推定する。撮像対象は、一般的なＡＲシステムでは単一の指標であるのに対し、本発明では複数の指標を用いる。図1中ではその例として4つの指標1〜4が描かれている。このとき、全ての指標が同一平面上にある必要はないが、画像処理装置2は基本的には図中例示するように共通の平面P1上に配置された指標1〜3より、(2)に示すようなその基準座標系XYZを求める。

【0017】

さらに当該平面P1とは別途に、当該基本座標系XYZとの配置関係が(3)に示すように座標系X'Y'Z'として既知であるような平面P2があり、当該平面P2上に例示されるような指標4がある場合、画像処理装置2は共通の平面P1上に設置された指標1〜3と、別の平面P2上に設置された指標P4とによって、指標1〜3のみを利用する場合よりも一般に誤差をより少なくして基準座標系XYZを求めることもできる。

【0018】

以下、まず指標が指標1〜3のように全て同一平面上にある基本的な場合を説明してから、さらに指標4のような別平面上の指標を追加利用する応用的な場合を説明する。

【0019】

情報表示装置11は、テキスト、動画像及びＣＧ又はそれらの組み合わせ等を、画像処理装置2が推定した姿勢の情報を利用して、例えば当該姿勢に応じた撮像画像に対する重畳表示等の制御を加えて、表示するための装置であり、ＰＣやテレビのディスプレイ、またはヘッドマウントディスプレイを使用してもよい。また、カメラ付き携帯電話端末のように撮像装置10と筐体を共有しているものでもよい。なお、タッチパネルを搭載した構成の情報表示装置11を用いることで、後述の指標検出をユーザのポインティング操作に代替することが可能である。ＡＲシステムでは、撮像装置が取得した動画像にＣＧを重畳表示するのが一般的であり、本発明でも同様に推定した基準座標系の任意の位置にＣＧを表示してもよい。

【0020】

データベース12は、データを記録する装置であり、ハードディスクやフラッシュメモリ等の不揮発性メモリストレージや、ＰＣの主記憶装置に一般的に使用される揮発性メモリを用いてもよい。本発明では、少なくとも撮像装置10の内部パラメータと、指標の形状及び大きさとが記録されており、さらに重畳表示するためのＣＧのモデルを記録しておいてもよい。また、後述の形状のみ既知の指標に関しては形状のみ記録する。

【0021】

データベース12を画像処理装置2に含めることで、当該記録され必要となる情報を画像処理装置2において保持してもよい。また、画像処理装置2はデータベース12より自身の設定(利用環境など)に対応する必要な情報のみ取り寄せて保持しておいてもよい。

【0022】

図2は、画像処理装置2の機能ブロック図である。画像処理装置2は、撮像画像取得部3、指標検出部4と、指標姿勢推定部5、指標配置推定部6及び基準座標系推定部7を備える。当該各部の概要を以下説明する。

【0023】

なお本発明において、当該各部の扱う各対象に対する用語、特に空間上ないし平面上の関係に言及する用語に関して、以下のような区別を設けて用いるものとする。
（１）「姿勢」…平面射影変換の関係として表現される撮像装置（撮像装置座標系）に対する指標（指標座標系もしくは基準座標系）の位置姿勢、もしくはその逆関係として、指標に対する撮像装置に位置姿勢を示す用語。3次元空間における位置と姿勢とを決定する6次元ベクトルのパラメータであり、位置と姿勢を指すことから一般に「位置姿勢」と表現されるが、本稿では位置と姿勢をまとめて「姿勢」と表現する。
（２）「位置及び向き」…平面射影変換行列をピクセル座標系の指標に適用することにより求まる基準座標系の一平面における指標の位置及び向きを示す用語。
（３）「配置」…基準座標系の一平面またはピクセル座標系における指標間の位置関係を示す用語。本稿では、（２）の「位置及び向き」が主に単一の指標について言及する際に用いられるに対し、「配置」は主に複数の指標について言及する際に、それらの相対的な位置関係を示すのに用いられる。

【0024】

撮像画像取得部3は、撮像装置10から撮像画像を取得し、指標検出部4に入力する。指標検出部4は、入力された撮像画像から指標を検出し、指標姿勢推定部5に入力する。指標姿勢推定部5は、入力された各指標の撮像装置10に対する姿勢を平面射影変換の関係として推定し、指標配置推定部6に入力する。

【0025】

指標配置推定部6は、入力された各指標の撮像装置10に対する姿勢から基準座標系における各指標の初期配置を推定し、基準座標系推定部7に入力する。初期配置に関しては後述する。基準座標系推定部7は、入力された全指標の初期配置を用いて基準座標系の姿勢を推定する。当該構成によって、画像処理装置2は複数の指標の情報から高精度に基準座標系を推定することができる。以下、各部の処理の詳細について述べる。

【0026】

撮像画像取得部3は、撮像装置10から撮像画像を取得し、指標検出部4に入力する。撮像装置10から撮像画像取得部3が取得する撮像画像の画像サイズは限定しないが、後述する指標の検出処理に際して、その際の座標の丸め誤差の観点から解像度が高い方が望ましく、撮像装置10の撮像画像をそのまま指標検出部4に渡すのが望ましい。リアルタイム処理などで負荷が大きい場合は、所定の解像度に下げてから渡してもよい。

【0027】

指標検出部4は、入力された撮像画像から、予めデータベース12(図1)等において記録されている全ての種類の指標を撮像画像のピクセル座標系において検出し、以下説明する指標座標系における指標の形状及び大きさの情報と共に、指標姿勢推定部5に入力する。本発明における指標は、平面上に設置した際の相対的な位置座標関係が既知である点を少なくとも４つ以上有し（この状態を形状と大きさが既知であると表現する）、それぞれに対し撮像画像において対応する点を特定できるものであればよい。また、点ではなく線分の対応が求まるものでもよい。各指標がその他の指標と区別して撮像画像内より識別可能であるような特徴を有し、且つ上記既知の4点以上を有するのと同等の構成を有することで、後述の指標姿勢推定部5にて指標の撮像装置10に対する姿勢を推定できるような任意の指標を予め設定しておき、利用することができる。

【0028】

図3は、指標及び指標座標系を説明するための図である。指標として例えば(1)に示すような、ＡＲシステムにおいて一般的な正方指標を利用してよく、指標検出部4は内部の模様を認識することで頂点A、頂点B、頂点C及び頂点Dの各対応点を撮像画像から抽出することができる。

【0029】

各指標における点または線分等の位置は、各指標に任意の位置と向きとに設定した指標座標系により指定することが可能である。例えば、指標が正方指標である図3の(1)の場合は、(2)に示すように正方指標の重心を指標座標系の原点としてもよい。これにより、４頂点の座標が定まり、所定値として予め記録しておく指標座標系における頂点の座標と、それに対応するものとして指標検出部4が検出した撮像画像中の頂点の座標(ピクセル座標系における座標)とを１組として、各指標１つにつき少なくとも４組以上の頂点座標(又はこれに同等な情報)が指標姿勢推定部5に入力される。

【0030】

なお、本発明においては複数の指標が撮像画像内に存在し、少なくとも１つの指標の形状と大きさが既知である必要があるが、各指標間の位置関係（配置）は既知である必要はない。また、全ての指標に同種類の指標を用いる必要はなく、撮像画像内に異なる種類の指標が存在していてもよい。例えば、机等の平面上にそれぞれ各種の所定の指標が印刷されたカードを複数、カード同士の位置関係は特に決めることなくランダムに置いたのを撮像した撮像画像について、本発明を適用して、机の面における基準座標系を求めることができる。

【0031】

さらに、一般的なＡＲシステムにおいては指標の形状と大きさが既知である必要があるが、本発明においては複数の指標のうち少なくとも１個の指標の形状と大きさが既知であればよい。大きさが未知である指標に関しては、指標座標系に配置する際に形状を保ったまま任意の大きさで配置して、指標姿勢推定部5にその情報を渡すようにしてもよい。

【0032】

例えば、本発明にて壁などの基準座標系を推定する際には、当該壁上に少なくとも１個の形状及び大きさが既知の指標を設けておき、さらに当該壁に形状のみ既知のロゴマークや窓枠などが存在すれば、それらを指標として追加利用することができる。

【0033】

なおまた、指標検出部4による指標検出処理を簡略化するために、図3の(3)に(1)の正方指標の場合に適用した例を示すように、指標に枠領域を設けておいてもよい。これにより撮像画像に２値化を施すことで指標領域を確実に抽出でき、指標領域の内部を認識することで指標の向きを検知することができる。もし枠を設けるのが困難である場合は、タッチパネル搭載の情報表示端末を用いてポインティングにより、ユーザが直接撮像画像を見て指定することで指標領域を検出してもよい。

【0034】

指標姿勢推定部5は、各指標の撮像装置10に対する姿勢を推定し、指標配置推定部6に入力する。なお、各指標の撮像装置10に対する姿勢は、各指標を指標座標系からピクセル座標系に変換する平面射影変換行列として求める。

【0035】

指標姿勢推定部5は各指標に対して該当の平面射影変換行列を求めて、指標配置推定部6に入力する。よって指標配置推定部6に対しては、撮像画像内に存在する指標の個数分(指標検出部4が検出した指標の個数分)の平面射影変換行列が入力されることとなる。

【0036】

指標座標系における点を(X_m,Y_m)、ピクセル座標系におけるその対応点を(u,v)、sをスケール係数とすると、平面射影変換行列Hは3×3行列であり、

【0037】

【数1】

【0038】

という関係式(式1)で表現できる。指標姿勢推定部5は(式1)における平面射影変換行列Hを求め、当該行列Hは指標座標系から撮像画像(ピクセル画像系)への写像であるが、いずれを順写像又は逆写像と呼ぶかは単に定義づけの問題であるので、この逆写像として求めてもよい。

【0039】

平面射影変換行列Hとその逆行列H⁻¹とは、それぞれ図4に模式的に示す写像を表しており、逆行列H⁻¹は平面射影変換行列Hとは逆にピクセル画像系から指標座標系への写像を表している。図4では、図3の(1)のような正方指標が、指標座標系(X,Y)においてその形状通りに正方形で与えられ、ピクセル座標系(u, v)において斜めに見えているために歪んでいる場合を例として、相互変換の関係を表している。

【0040】

なお、同一平面上の少なくとも４組の点の対応または線分の対応から(式1)のような平面射影変換行列を求める計算はＣＧを重畳表示するＡＲシステムにおいては一般的であるため、詳細は割愛する。

【0041】

指標姿勢推定部5の各指標に対する姿勢の推定結果を用いての指標配置推定部6による初期配置の推定と、当該初期配置に基づいての基準座標系推定部7による基準座標系の姿勢の推定とは本発明の特徴的部分である。図5A〜図5Gは当該特徴的部分の意義を説明するための一連の図であり、ここでは説明のための例として正方指標の指標1〜3を用いる。

【0042】

図5Aに示すように、同一平面上にある指標1〜3を(1)のように利用する場合であって、仮に本発明における前提とは異なり、当該全指標1〜3の位置関係が(2)に示すようなある基準座標系において既知であったとすると、(3)に示すように全指標1〜3の当該位置関係を拘束条件として用いて、ピクセル画像系と基準座標系との間の平面射影変換行列Hを計算可能である。

【0043】

この場合、各指標1〜3及びそれらの間の位置関係からなる、多数の対応点(若しくは対応線又はそれらと同等な対応関係)を有する一つの大きな指標を利用しているとみなすことができ、当該多数の対応点等と同等な関係を利用できるので、ピクセル座標系と基準座標系との対応付けとしての平面射影変換行列Hが高精度で計算可能である。しかしながら、各指標1〜3の位置関係を予め定めておく必要が生ずる等の点で、簡素にARシステムが構築できなくなるという問題がある。さらに、指標が増えるほど当該困難は増す。

【0044】

そこで本発明においては、指標間の位置関係を予め決めておくことなく未知のものとして簡素にARシステムを構築可能とした上で、さらに図5Aの場合のように位置関係が既知である場合に近い推定精度が得られるようにする。このために、既知である位置関係の近似値として利用できる情報として、指標配置推定部6が共通の基準座標系における初期配置を求め、当該初期配置より基準座標系推定部7が基準座標系の推定を行う。以下、図5B〜図5Gにて当該一連の処理の骨子を説明する。

【0045】

本発明では、指標間の位置関係の情報は与えられていないが、各指標の撮像装置10に対する姿勢については上記説明した指標検出部4が求めている。例えば図5Bに示すように、指標1について(1)のピクセル座標系と(2)の当該指標1に対して求められた基準座標系との関係が(3)に示すような平面射影変換行列H₁(又はその逆行列H₁⁻¹)として求められており、指標2,3については各指標座標系との関係として平面射影変換行列H₂,H₃が求められている。

【0046】

指標1〜3は正方指標であり、(3)に示すように平面射影変換行列H₁によってピクセル座標系で歪んだ指標1は指標1の指標座標系（基準座標系）において正方形に戻ることとなる。なお、図4の定義では正方形に戻す行列は、(3)にてH₁に併記して括弧内に示している通り逆行列H₁⁻¹となるが、図5B〜図5Gにおいては正方形となる基準座標系に戻す側を順写像として説明し、図4の手法の行列は当該(3)と同様に適宜括弧で図中に示すこととする。

【0047】

指標1に対する平面射影変換行列H₁を求める際、仮に特徴点の検出位置に関する誤差等がない理想的な状態で求められたとすれば、図5Bの(2)に点線で示すように、当該H₁による変換で指標2及び3も指標1の基準座標系において本来の正方形の形状に戻ることとなる。

【0048】

しかしながら実際はある程度の誤差は避けられないので、図5Cの(3)及び(4)に示すように指標1の行列H₁によって指標1の基準座標系に指標2及び3を戻すと、行列H₁における誤差に起因して(2)に示すように本来の正方形ではなく、歪んだ形状と大きさになってしまう。これら歪んだ指標2,3を本来の正方形に戻すようにすることで、当該共通の指標1における基準座標系にて指標1以外の指標2及び3をも正確な形状と大きさとなるよう較正した配置が初期配置である。例えば指標2の当該指標1の基準座標系における初期配置は次のように求める。

【0049】

図5Dの(3)に再度示すように、指標2について指標1の行列H₁を適用すると、(2)のように歪んだ形状となる。しかしながら指標2に対しては指標1とは別途、(5)に示すように指標検出部4が行列H₂を求めており、当該H₂によって(4)に示すように指標1の基準座標系とは異なる指標2の指標座標系において指標2は本来の正方形に戻ることとなる。

【0050】

しかしここで、本発明において各指標の間の位置関係は同一平面上にある以外に関して任意であるので、(4)に示す指標2の指標座標系と(2)に示す指標1の基準座標系との配置関係の情報が与えられていない。そこで、図5Cに示す歪んだ四角形を位置や向きはそのままに形状と大きさを較正することを考える。当該配置関係に相当する情報を行列H₁及びH₂から求めることで、図5Eの(2)及び(5)に示すように指標1の基準座標系において指標2が正方形に戻るような行列H₂'を、次のようにして求めることができる。

【0051】

まず、指標1のH₁を用いて指標2の概略位置及び向きを求める。概略位置及び向きは、図5Cの説明で述べたように撮像画像中の指標2にH₁を適用することにより求める。この概略位置及び向きを安定的に求めるために、ピクセル座標系を撮像装置座標系に合わせた上で、反復計算により再投影誤差を最小化したH₁を用いてもよい。

【0052】

続いて、求めた概略位置において形状及び大きさを較正するために前提となる数学的手法につき説明する。非特許文献１によれば、任意の平面射影変換行列H_anyは、相似変換行列H_S、アフィン変換行列H_A及び射影変換行列H_Pをそれぞれ、

【0053】

【数2】

【0054】

【数3】

【0055】

【数4】

【0056】

の(式2)〜(式4)のように表したとき、(式3)中のKに関してdet(K)=1という制約の元で
H_any = H_S H_A H_P …(式5)
という形式に一意に分解できる。

【0057】

[非特許文献1] R. Hartley and A. Zisserman: "Multiple view geometry in computer vision, second edition," Cambridge University Press, 2003.

【0058】

指標配置推定部6は、当該(式5)の分解を指標姿勢推定部5から入力された各指標に対する平面射影変換行列につき行う。従って、指標1及び指標2に関しても同様に、次のような分解が行われる。
H₁ = H_1S H_1A H_1P …(式6)
H₂ = H_2S H_2A H_2P …(式7)

【0059】

なお、指標2の形状及び大きさを較正する場合は、上記の分解の前にH₁とH₂とのいずれも指標2の重心を原点としたピクセル座標系と指標座標系との関係として求めておくものとする。ここで指標座標系に関しては重心を原点とする必要はない。当該詳細については後述する。

【0060】

ここで、(式5)等の分解において、H_S は大きさ、位置及び向きに関する変換を表しており、H_A はアフィン歪みに関する変換を表しており、H_P は射影歪みに関する変換を表しているという関係がある。

【0061】

そこで、指標配置推定部6は当該関係を利用することで、図5Eに示すような、指標2を指標1の基準座標系において本来の正方形の形状及び大きさとして正確に配置した初期配置を求めるための行列H₂'を次のように求める。
H₂' ＝ H_1S[2S] H_2A H_2P …(式8)

【0062】

ここで、H_1S[2S] はH_1Sにおいてその大きさ変換の要素、すなわち(式2)中のスケールsに対応する部分を、H_2sのスケールで置き換えた行列である。よって指標2は、(式8)による変換の適用により、まずH_1S[2S] によって指標1の基準座標系に移すと共に当該座標系における指標2の大きさとなし、さらに当該座標系において図5C及び5Dにて示したように歪んでいる形状を、H_2A H_2P によって本来の正方形に戻ることができ、指標2の初期配置が求まることとなる。

【0063】

指標配置推定部6はまた、指標3についても同様にして、予めH₁及びH₃を指標3の重心をピクセル画像系の原点として求めておいてから、次の(式9)のように行列H₃の分解を行い、さらに(式10)に従って指標3を指標1の基準座標系において正確に配置させた初期配置となす行列H₃'を求める。こうして、指標2が図5Eにて本来の正方形に戻ったように、指標3も図5Fの(2)及び(5)に示すように指標1の基準座標系において正方形となるようにすることができる。なお、(式10)においても(式8)と同様にH_1S[3S] はH_1SにおいてそのスケールをH_3sのスケールで置き換えたものである。
H₃ = H_3S H_3A H_3P …(式9)
H₃' ＝ H_1S[3S] H_3A H_3P …(式10)

【0064】

そして、図5Gの(2)及び(4)に示すように、基準座標系推定部7は、共通の指標1座標系（基準座標系）における初期配置としてH₁を用いて推定された指標1の初期配置と、H₂'を用いて推定された指標2の初期配置と、H₃'を用いて推定された指標3の初期配置とを全て組み合わせた配置と、(1)に示す当該指標1〜3全てのピクセル画像系における配置との全体の対応関係として、(3)に示すように平面射影変換行列Hを求める。

【0065】

当該行列Hが、基準座標系としての指標1座標系の撮像装置10に対する姿勢を推定した結果に相当し、初期配置によって全ての指標の配置を拘束条件として利用できるようになるので、図5Aで説明したような各指標間の位置関係が既知である場合に準じた、当該既知の場合の結果に対する近似値としての推定結果が、位置関係を未知として得られることとなる。

【0066】

なお、上記のように計算対象は異なるが、基準座標系推定部7が当該行列Hを求める計算自体については指標姿勢推定部5におけるものと同様である。当該計算に際して、点などの対応をもとに求めた平面射影変換行列から得られる撮像装置10の姿勢パラメータから初期値を算出し、反復手法を用いて再投影誤差関数を最小化するように姿勢パラメータを最適化してもよい。

【0067】

以下、図5A〜図5Gにてその骨子の説明をした指標配置推定部6の処理の詳細を説明する。

【0068】

図4の定義で順写像・逆写像を定めることとすると、指標配置推定部6は、基準座標系における各指標i(i＝1,2,...,n)の初期配置を推定し、基準座標系推定部7に入力するためにまず、指標姿勢推定部5から入力された各指標iの撮像装置10に対する姿勢を表している行列H_iにつき、逆の関係としてピクセル座標系から各指標iにおける指標座標系に変換する逆行列H_i⁻¹に対して、(式5)で説明したように次のn個の分解を行う。
H_i⁻¹ ＝ H_iS H_iA H_iP ( i＝1,2,...,n ) …(式11)

【0069】

なお、上記の分解の前に、基準指標j（後述）以外の指標に対応する行列H_iに関しては、各指標iの重心を原点としたピクセル座標系と指標座標系との関係として求めておくものとする。また、基準指標jに対応する行列H_jに関しては、後述の工程において指標iの初期配置を推定する際に、指標iの重心を原点としたピクセル座標系と指標座標系との関係として各指標iに対して求めておく必要がある。そのため、基準指標jを除く各指標i(i＝1,2,...,n)について、その指標の重心を原点としたピクセル座標系と指標座標系との関係として基準指標に対応する行列を求め、上記の分解を施しておく。なお前述の通り、指標座標系に関しては重心を原点とする必要はない。

【0070】

いま、上記(式11)においては各指標iにつき指標姿勢推定部5がそれぞれ個別に推定した合計n個の指標座標系が存在しており、指標配置推定部6ではこの中から基準座標系として利用する一つの指標座標系を選択する。例えば図5A〜図5Gの例の場合であると、指標1〜3の中から指標1の指標座標系が基準座標系として選択された。基準座標系の指標を基準指標と呼ぶこととする。

【0071】

当該選択は、乱数などを用いて任意の１つの指標を選択するようにしてもよい。また、撮像画像中の各指標の中で面積(指標が占めている領域)が最大のものや、指標姿勢推定部5において平面射影変換行列を求める際の誤差が最小となるものなど、所定基準によって特定の指標を選択してもよい。

【0072】

指標座標系を特定する情報は、平面射影変換行列Hの逆行列H⁻¹の分解により得られる相似変換行列H_Sに(式2)で示したように含まれる回転行列R及び並進ベクトルtに格納されており、基準座標系として利用する指標座標系はこの回転行列及び並進ベクトルをもって指定することができる。

【0073】

上述で特定若しくは任意の指標から選択した基準座標系を特定する回転行列及び並進ベクトルをそれぞれR_base及びt_baseとする。

【0074】

指標配置推定部6は続いて、各平面射影変換行列の逆行列H_i⁻¹に内在する指標座標系の姿勢を基準座標系の姿勢に揃える。具体的には、各指標iに対応する平面射影変換行列の逆行列H_i⁻¹の分解により得られる相似変換行列H_iSにおいて、その内部の回転行列及び並進ベクトルをそれぞれR_base及びt_baseにより置換してH_iS' となし、当該H_iS' をもって各平面射影変換行列の逆行列を次のように再計算する。
H_i⁻¹_[再計算] ＝ H_iS' H_iA H_iP ( i＝1,2,...,n ) …(式12)

【0075】

このとき、先の説明で述べたように、指標iの回転行列及び並進ベクトルを置換する際は、指標iの重心を原点としたピクセル座標系と指標座標系との関係として求めた基準指標jに対応する平面射影変換行列H_jについて、その分解により得られるR_base及びt_baseが適宜選択されるものとする。なお、仮に重心を原点としない場合、H_iA H_iPは歪み較正のみではなく移動をも行うことになる。重心を原点とすることで基本的には歪み較正のみを行うようにすることができ、(式12)のように指標の位置及び向きを決定する要素のみ置換することができる。

【0076】

なお、H_iS'においてスケールsの値は置換対象ではないので、当初のH_iSにおける値のままである。また、基準座標系として選択された指標jに関しては当然ながら、当該再計算は不要である。

【0077】

上記再計算(式12)は、大きさ(及び形状)が既知の指標iを対象としたものである。大きさが未知(且つ形状が既知)の指標に対応する平面射影変換行列の逆行列H_i⁻¹に対して上記再計算に相当する置換を施す際は、大きさが既知の指標の場合とは異なり、H_i⁻¹の分解により得られる相似変換行列H_sに含まれるスケールsも同時に置換する必要がある。

【0078】

このとき、スケールsの置換に用いる値としては、大きさが既知である指標に対応する平面射影変換行列の逆行列に含まれるスケールを選択してもよい。大きさが既知の指標が複数存在する場合、乱数などで任意の1つを選択してもよく、また、撮像画像中に写る大きさが最大の指標に対応する平面射影変換行列の逆行列に含まれるスケールを選択してもよい。また、大きさが既知の指標に対応する平面射影変換行列の逆行列に含まれるスケールの平均に置換してもよい。

【0079】

なお、スケールの置換に用いる値を求める際に用いる他の各指標kに対応する平面射影変換行列H_kに関しても(式12)等にて説明したのと同様に、スケールの置換を行う指標iの重心を原点としたピクセル座標系と指標座標系との関係として求めたものを使用する。

【0080】

このように得られる各平面射影変換行列の逆行列を用いることで、指標配置推定部6は各指標の基準座標系における配置を初期配置として推定することができる。ピクセル座標系における指標の一点を(u, v)、その指標に対応する再計算された平面射影変換行列の逆行列をH'⁻¹、基準座標系におけるその対応点を(X_b, Y_b)とすると、

【0081】

【数5】

【0082】

という関係式(式13)により各点の基準座標系における対応点を求める。以上により、指標配置推定部6は指標間の配置に関する事前情報なしに同一平面上に存在する指標の初期配置を推定することができる。

【0083】

以上、指標は全て同一平面上にあるものとしての基本的な場合を説明した。ここで、注目すべき応用的な場合として、追加情報を利用することにより指標配置推定部6では図1の例における平面P1に対して平面P2のような、同一平面上に存在しない指標の初期配置も求めることもできる。当該実施形態を図1を用いて説明する。

【0084】

前述の基本的な場合の手法により、図1の(2)に示す基準座標系のXY平面(平面P1)に存在する３つの指標1〜3の初期配置は求めることができる。当該一実施形態においては(3)に示すY'Z'平面(平面P2)上に存在する指標の、当該平面P2上における初期配置も求めることが可能となる。基準座標系推定部7はさらに当該別平面P2上の初期配置を基本的な場合で求めた平面P1上の初期配置に加えて利用することで、利用する指標の数を増し、平面P1の基準座標系をより高精度に推定できる。

【0085】

基本的な場合の手法によって指標配置推定部6においてXY平面(平面P1)上の指標に関して、例えば指標1の指標座標系を選択して(2)に示すようにその基準座標系（XYZ座標系）とし、初期配置を求めたように、Y'Z'平面(平面P2)上の指標においても同様にX'Y'Z'座標系を基準とした配置を(3)に示すように求めることを考える。

【0086】

このとき、Y'Z'平面においてX'Y'Z'座標系を特定する回転行列と並進ベクトルとが必要となるが、これは基準座標系に配置された指標の平面射影変換行列に対して座標軸の回転と平行移動とを適用することによってX'Y'Z'座標系のY'Z'平面における平面射影変換行列を求め、その平面射影変換行列を分解することにより求まる。つまり、同一平面上に存在しない指標の初期配置を求めるためには、例えばXYZ座標軸とX'Y'Z'座標軸の相対関係といった、同一平面上に存在しない指標の平面を特定できる情報さえ持っていればよい。

【0087】

当該特定する情報を図6で説明する。ここでは指標1を基準指標とし、その基準座標系XYZの平面XY上のその他の指標(不図示)に加え、別平面X'Y'上の指標4をさらに追加で利用する場合を例とする。別平面X'Y'を特定するためには座標系X'Y'Z'の情報が既知であればよく、次のようにして特定とすることができる。

【0088】

画像処理装置2においてエッジ検出などの処理によって線分X'を検出し、又は当該線分をユーザ指定により識別し、さらにXY平面とX'Z'平面とが同一であることが既知であれば基準座標座標系に対してX'Y'平面を特定できる。あるいは基準指標1の基準座標系におけるX'Y'平面の姿勢の情報を予め画像処理装置2において既知情報として保持するか、又はユーザ入力により取得するようにしてもよい。

【0089】

なお、図1の例に戻り、指標1〜3の初期配置と合わせて基準座標系推定部7での計算を可能にするため指標4については指標1〜3と共通の平面P1の基準座標系で表現された初期配置を求める必要があるが、平面P1の基準座標系における指標4の配置は平面P2の座標系における初期配置（2次元座標）から3次元座標として求めることができる。指標1〜4の基準座標系における3次元座標と対応する撮像画像のピクセル座標系における2次元座標との関係により、基準座標系が計算される。

【0090】

これにより、複数の指標が任意の２平面上に存在しても、座標軸間の相対関係が既知であれば、いずれかの平面上のいずれかの指標(形状及び大きさが既知)による共通の基準座標系によって２平面上の全ての指標に対する初期配置を推定することが可能である。平面射影変換行列に座標軸の回転と平行移動とを適用する計算に関しては、非特許文献１等に詳細が開示されている。

【0091】

なお、平面P1及びP2の特定処理も指標の検出の際に、各指標へのユーザからのポインティング指示を利用して、各指標がいずれの平面に属するかの情報をユーザから得るようにしてもよい。また自動検出手法として、当該目的としている平面以外の箇所に検出されることがないような特定の指標を予め用意してデータベース12又は画像処理装置2でその情報を保持しておいてもよいし、さらに当該指標のうち平面P1に利用するものと、平面P2に利用するものとを予め区別しておいてもよい。

【0092】

また同様に自動検出手法として、平面P1及び平面P2自体のテクスチャ情報等を保持しておき、指標検出部4は前処理として撮像画像において平面P1及びP2を領域として検出してから、当該領域内で指標を検出するようにしてもよい。当該平面領域の指定情報をユーザに入力させるようにしてもよい。あるいは撮像画像自体をあらかじめ平面P1のみ、又は平面P1及び平面P2のみ、が写った状態で用意するようにしてもよい。

【符号の説明】

【0093】

1…ＡＲシステム、2…画像処理装置、10…撮像装置、11…情報表示装置、12…データベース、3…撮像画像取得部、4…指標検出部、5…指標姿勢推定部、6…指標配置推定部、7…基準座標系推定部

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図5E】

【図5F】

【図5G】

【図6】