特許 5872923 ＡＲ画像処理装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5872923

(24)【登録日】2016年1月22日

(45)【発行日】2016年3月1日

(54)【発明の名称】ＡＲ画像処理装置及び方法

(51)【国際特許分類】

   G06F 3/038 20130101AFI20160216BHJP

   G06T 19/00 20110101ALI20160216BHJP

   G06F 3/0484 20130101ALI20160216BHJP

   G06F 3/0346 20130101ALI20160216BHJP

【ＦＩ】

   G06F3/038 310Y

   G06T19/00 F

   G06F3/0484 150

   G06F3/0346 426

【請求項の数】2

【全頁数】15

(21)【出願番号】特願2012-36628(P2012-36628)

(22)【出願日】2012年2月22日

(65)【公開番号】特開2013-171523(P2013-171523A)

(43)【公開日】2013年9月2日

【審査請求日】2014年12月10日

(73)【特許権者】

【識別番号】399107845

【氏名又は名称】株式会社マイクロネット

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(72)【発明者】

【氏名】伊藤 和彦

【審査官】 田川 泰宏

(56)【参考文献】

【文献】 特開２００５−０３８１５３（ＪＰ，Ａ）

【文献】 特開２００１−１２６０５１（ＪＰ，Ａ）

【文献】 神原 誠之，マーカと自然特徴点を併用した広範囲見回し可能なステレオビデオシースルー拡張現実感 Registration for Stereo Vision-based Augmented Reality Based on Extendible Tracking of Markers and Natural Features，日本バーチャルリアリティ学会論文誌，日本，日本バーチャルリアリティ学会，２００２年 ９月３０日，第7巻,第3号，p.367-373

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１−０４８９

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

ＡＲマーカに対応するＣＧオブジェクトの画像データを予め記憶部に記憶し、
カメラによって前記ＡＲマーカを含むその周囲の第１のビューボリューム空間内の情景を第１の撮影画像として撮影し、
ＡＲマーカ認識型の第１ＡＲ解析器によって、前記第１の撮影画像を取得し、ＡＲ認識処理によって前記第１の撮影画像からＡＲマーカ像を見つけ出し、当該第１の撮影画像に対応する前記第１のビューボリューム空間内での前記ＡＲマーカの位置、姿勢、スケールを割り出し、
自然特徴点追跡型の第２のＡＲ解析器において、前記第１ＡＲ解析器から前記第１のビューボリューム空間内での前記ＡＲマーカの位置、姿勢、スケールのデータを取得し、
前記第２のＡＲ解析器において、前記カメラの現在の位置、中心軸方向、視野角に対応する第２のビューボリューム空間内での前記ＡＲマーカの位置、姿勢、スケールを決定し、
前記第２のＡＲ解析器において、前記カメラが前記現在の位置、中心軸方向、視野角で撮影する第２の撮影画像に対して自然特徴点追跡処理を施し、当該第２の撮影画像に対応する前記ＡＲマーカ像のスケール、位置、姿勢を計算し、
ＣＧレンダリング部によって、前記記憶部に記憶されている前記ＣＧオブジェクトの画像データを読み出し、前記計算された前記ＡＲマーカ像のスケール、位置、姿勢を用いて、ＣＧオブジェクトを前記第２の撮影画像のカメラ位置、中心線方向、視野角での見え方にて再現し、前記第２の撮影画像内の対応する位置に合成し、
表示器によって、前記合成した画像を表示することを特徴とするＡＲ画像処理方法。

【請求項2】

カメラと、
ＡＲマーカに対応するＣＧオブジェクトの画像データを記憶する記憶部と、
前記カメラによって撮影したＡＲマーカを含むその周囲の第１のビューボリューム空間内の情景の第１の撮影画像に対して、ＡＲマーカ認識処理によって前記ＡＲマーカ像を見つけ出し、当該第１の撮影画像に対応する前記第１のビューボリューム空間内での前記ＡＲマーカの位置、姿勢、スケールを割り出すＡＲマーカ認識型の第１ＡＲ解析器と、
前記第１ＡＲ解析器から前記第１のビューボリューム空間内での前記ＡＲマーカの位置、姿勢、スケールのデータを取得し、前記カメラの現在の位置、中心軸方向に対応する第２のビューボリューム空間内での前記ＡＲマーカの位置、姿勢、スケールを決定し、前記カメラが前記現在の位置、中心軸方向で撮影する第２の撮影画像に対して自然特徴点追跡処理を施し、当該第２の撮影画像内で前記ＡＲマーカに対応する前記ＣＧオブジェクトのスケール、位置、姿勢を計算する自然特徴点追跡型の第２のＡＲ解析器と、
前記記憶部に記憶されている前記ＣＧオブジェクトの画像データを読み出し、前記計算された前記ＡＲマーカのスケール、位置、姿勢を用いて、ＣＧオブジェクトを前記第２の撮影画像のカメラ位置、中心線方向、カメラアングルでの見え方にて再現し、前記第２の撮影画像内の対応する位置に合成するＣＧレンダリング部と、
前記ＣＧレンダリング部が合成した画像を表示する表示器とを備えたことを特徴とするＡＲ画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＡＲマーカと自然特徴点追跡方法を組み合わせたＡＲ画像処理装置及び方法に関する。

【背景技術】

【0002】

拡張現実感（ＡＲ）技術により、撮影装置であるウェブカメラやデジタルビデオ等のカメラで撮影したＡＲマーカ像のような対象物体像の上にＣＧオブジェクトをリアルタイム合成するＡＲ画像処理装置はすでに多方面で利用されている。

【0003】

マーカ型ＡＲ技術は、デジタル画像において一定形状の集団を形成する特徴点群を事前に登録し、撮影装置から得られるデジタル画像中から、ホモグラフィー等を用いて登録された特徴点群を検出し、位置、姿勢等を推定し、その位置、姿勢等に対応するようにＡＲマーカ像の位置にＣＧオブジェクトを合成表示するものである。

【0004】

このＡＲ技術において、事前に登録する一定形状の特徴点群をＡＲマーカ（あるいは単純に「マーカ」）と呼ぶ。マーカを登録する際に、マーカの実世界上での大きさや姿勢を表す付加情報を与えることにより、撮影装置から得られるデジタル画像内での大きさや距離をある程度正確に推定することが可能である。一方、デジタル画像中に認識できる特徴点群が存在しない場合、当然ながらマーカの位置や姿勢を推定することは不可能である。

【0005】

自然特徴点追跡型のＡＲ技術は、ＰＴＡＭ（「Ｐａｒａｌｌｅｌ Ｔｒａｃｋｉｎｇ ａｎｄ Ｍａｐｐｉｎｇ ｆｏｒ Ｓｍａｌｌ ＡＲ Ｗｏｒｋｓｐａｃｅｓ」、オクスフォード大学）に代表されるようなデジタル画像中の特徴点群の事前登録を必要とせず、撮影装置の位置を連続的に動かした場合にも、特徴点を追跡し得る限り、どのような方向・位置へも撮影装置を移動することが可能な優れた方法である。

【0006】

しかし、最初に基準位置を特定する必要があるため、撮影装置の特殊な動かし方を行ってカメラの移動に伴う複数画像の特徴点移動量から基準位置を決定したり、別途、位置、姿勢情報を与えたりする必要がある。この際、撮影装置を正しく動かさなければ正確に基準平面を決めることはできない。また、自然特徴点追跡型ＡＲ技術は、一般的にその特性から事前の特徴点登録を行わないため、撮影されたデジタル画像の特徴点間の距離や大きさの情報を正確に知ることはできない。このことから、ＣＧオブジェクトの大きさや向き、位置を基準平面に対して手動で合わせる方法を用いるのが一般的である。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１１−１４１８２８号公報

【特許文献2】特開２０１２−００３５９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は、これら従来のマーカ型ＡＲ技術と自然特徴点追跡型ＡＲ技術との両者の長所を取り入れ、カメラを介して撮影された自然風景等のデジタル画像にＣＧオブジェクトを適切に合成表示するＡＲ画像処理方法及び装置を提供することを目的とする。

【0009】

より具体的には、本発明は、カメラを介して撮影された自然風景等のデジタル画像の上に、手動による位置合わせ操作を必要とせずに、正確な位置と大きさ・姿勢にＣＧオブジェクトをリアルタイムに合成表示し、カメラをさまざまな位置、方向へ移動させてもリアルな表現が可能なＡＲ画像処理方法及び装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明は、ＡＲマーカに対応するＣＧオブジェクトの画像データを予め記憶部に記憶し、カメラによって前記ＡＲマーカを含むその周囲の第１のビューボリューム空間内の情景を第１の撮影画像として撮影し、ＡＲマーカ認識型の第１ＡＲ解析器によって、前記第１の撮影画像を取得し、ＡＲ認識処理によって前記第１の撮影画像からＡＲマーカ像を見つけ出し、当該第１の撮影画像に対応する前記第１のビューボリューム空間内での前記ＡＲマーカの位置、姿勢、スケールを割り出し、自然特徴点追跡型の第２のＡＲ解析器において、前記第１ＡＲ解析器から前記第１のビューボリューム空間内での前記ＡＲマーカの位置、姿勢、スケールのデータを取得し、前記第２のＡＲ解析器において、前記カメラの現在の位置、中心軸方向、視野角に対応する第２のビューボリューム空間内での前記ＡＲマーカの位置、姿勢、スケールを決定し、前記第２のＡＲ解析器において、前記カメラが前記現在の位置、中心軸方向、視野角で撮影する第２の撮影画像に対して自然特徴点追跡処理を施し、当該第２の撮影画像に対応する前記ＡＲマーカ像のスケール、位置、姿勢を計算し、ＣＧレンダリング部によって、前記記憶部に記憶されている前記ＣＧオブジェクトの画像データを読み出し、前記計算された前記ＡＲマーカ像のスケール、位置、姿勢を用いて、ＣＧオブジェクトを前記第２の撮影画像のカメラ位置、中心線方向、視野角での見え方にて再現し、前記第２の撮影画像内の対応する位置に合成し、表示器によって、前記合成した画像を表示するＡＲ画像処理方法を特徴とする。

【0011】

また、本発明は、カメラと、ＡＲマーカに対応するＣＧオブジェクトの画像データを記憶する記憶部と、前記カメラによって撮影したＡＲマーカを含むその周囲の第１のビューボリューム空間内の情景の第１の撮影画像に対して、ＡＲマーカ認識処理によって前記ＡＲマーカ像を見つけ出し、当該第１の撮影画像に対応する前記第１のビューボリューム空間内での前記ＡＲマーカの位置、姿勢、スケールを割り出すＡＲマーカ認識型の第１ＡＲ解析器と、前記第１ＡＲ解析器から前記第１のビューボリューム空間内での前記ＡＲマーカの位置、姿勢、スケールのデータを取得し、前記カメラの現在の位置、中心軸方向に対応する第２のビューボリューム空間内での前記ＡＲマーカの位置、姿勢、スケールを決定し、前記カメラが前記現在の位置、中心軸方向で撮影する第２の撮影画像に対して自然特徴点追跡処理を施し、当該第２の撮影画像内で前記ＡＲマーカに対応する前記ＣＧオブジェクトのスケール、位置、姿勢を計算する自然特徴点追跡型の第２のＡＲ解析器と、前記記憶部に記憶されている前記ＣＧオブジェクトの画像データを読み出し、前記計算された前記ＡＲマーカのスケール、位置、姿勢を用いて、ＣＧオブジェクトを前記第２の撮影画像のカメラ位置、中心線方向、カメラアングルでの見え方にて再現し、前記第２の撮影画像内の対応する位置に合成するＣＧレンダリング部と、前記ＣＧレンダリング部が合成した画像を表示する表示器とを備えたＡＲ画像処理装置を特徴とする。

【発明の効果】

【0012】

本発明のＡＲ画像処理技術によれば、カメラを介して撮影された自然風景等のデジタル画像の上に、手動による位置合わせ操作を必要とせずに、正確な位置と大きさ・姿勢にＣＧオブジェクトをリアルタイムに合成表示し、カメラをさまざまな位置、方向へ移動させてもリアルな表現が可能である。

【図面の簡単な説明】

【0013】

【図1】本発明における第１ＡＲ解析器のビューボリューム空間と第２ＡＲ解析器のビューボリューム空間とを示す説明図。

【図2】本発明における第１ＡＲ解析器のビューボリューム空間と当該ビューボリューム空間において検出されたマーカ像の位置を原点とする座標との関係を示す説明図。

【図3】本発明において使用するＡＲマーカとそれに対応するＣＧオブジェクト像との説明図。

【図4】本発明における第１ＡＲ解析器のビューボリューム空間において検出されたマーカ像とそれに対応するＣＧオブジェクトとを示す説明図。

【図5】一般的なピンホールカメラモデルにおけるビューボリュームの定義の説明図。

【図6】本発明の１つの実施の形態のＡＲ画像処理装置のブロック図。

【図7】本発明の１つの実施の形態のＡＲ画像処理方法のフローチャート。

【図8A】上記実施の形態によるＡＲ合成画像であって、カメラがＡＲマーカの全体を撮影できるアングルで撮影した画像に対するＡＲ合成画像。

【図8B】上記実施の形態によるＡＲ合成画像であって、カメラがＡＲマーカを撮影できない上向きのアングルで撮影した画像に対するＡＲ合成画像。

【発明を実施するための形態】

【0014】

以下、本発明の実施の形態を図に基づいて詳説する。

【0015】

まず、本発明の原理について説明する。一般的に、ウェブカメラ、デジタルビデオカメラ等のカメラにて撮影したデジタル画像をＡＲ解析器にて解析し、デジタル画像から特定の対象物体の像の位置情報を基にして、デジタル画像中にＣＧオブジェクトを合成表示するためには、空間上のＣＧオブジェクトをデジタル画像へ射影変換する必要がある。そしてそれを行うＡＲ解析器では、４×４のプロジェクション行列Ｐと４×４のモデルビュー行列Ｍを作成する必要がある。カメラ１０１にて撮影したデジタル画像中の対象物体像の位置検出を行う第１ＡＲ解析器Ａの射影変換を、

【数1】

【0016】

とし、自然特徴点の追跡からデジタル画像中の対象物体像の位置検出を行う第２ＡＲ解析器Ｂの射影変換を、

【数2】

【0017】

とする。ここで、Ｓａ及びＳｂは定数値であり、射影するデジタル画像への適切なスケーリングパラメータである。プロジェクション行列ＰａとＰｂは撮影するカメラのカメラパラメータとして事前にカメラキャリブレーションを行い決定される射影行列であり、これらの行列Ｐａ，ＰｂはそれぞれのＡＲ解析器Ａ，Ｂの特性に応じて異なった値をとることができる。これが、本発明の特徴の１つである。

【0018】

この異なる２つの射影変換行列Ｐａ，Ｐｂは、図１に示すように射影変換の幾何学的な模式図であるＡＲ解析器Ａ，Ｂそれぞれのビューボリューム１１Ａ，１１Ｂを考えた場合、同じ撮影装置（カメラ）を使用した場合には正規化されたスクリーン面ＳＣＲ−Ａすなわち投影面は共通のものと考えることができる。

【0019】

本発明で最初に行うのは第２ＡＲ解析器Ｂの初期化処理である。これはすなわち、自然特徴点追跡を行う第２ＡＲ解析器Ｂにおいて、カメラで撮影されたデジタル画像がスクリーン面ＳＣＲ−Ａに投影されているものとし、既知であるプロジェクション行列Ｐｂから、初期モデルビュー行列Ｍｂを決定することである。この操作は、たとえば撮影するカメラの撮影位置を変化させ、特徴点の移動量からエピポーラ幾何学によりカメラの位置を推定するという、一般的によく知られた方法を用いる。

【0020】

この初期モデルビュー行列Ｍｂは第２ＡＲ解析器Ｂの座標系におけるカメラの位置や姿勢を決定していることに他ならず、この初期位置から、撮影された特徴点の移動量に応じてカメラの撮影位置、すなわちモデルビュー行列Ｍｂを推定していくのが、自然特徴点追跡型ＡＲ解析器である。

【0021】

このモデルビュー行列Ｍｂにはスケーリング要素が含まれているが、デジタル画像中に観察される自然特徴点の情報からはその特徴点間の距離や大きさを得ることはできないので、従来、任意の値としてデジタル画像上にＣＧ画像を合成した状態で手動で補正を行わなければならない手間が必要であった。

【0022】

ところが、本発明では、この問題を解決するために次の手順として、上述した第２ＡＲ解析器Ｂの初期化手順において、あらかじめスケール、姿勢、位置がわかっているＡＲマーカを使用し、第１ＡＲ解析器Ａにより、カメラで撮影されたデジタル画像の正規化されたスクリーン面ＳＣＲ−Ａを構成するビューボリューム、すなわち射影変換Ｐａによるモデルビュー行列Ｍａを決定する。

【0023】

このモデルビュー行列Ｍａは、図２のように第１ＡＲ解析器Ａの射影変換を通じて撮影されたデジタル画像中の検出マーカ像ＭＲＫの位置に対応する空間上のマーカ位置座標と方向、大きさの情報を持ち、相対的にビューボリューム空間上のマーカ像ＭＲＫの位置を原点Ｏ３とした場合に、第１ＡＲ解析器Ａのビューボリューム空間１１Ａ上での撮影位置を決定できることになる。

【0024】

本発明では、これは見かけ上だけのものであり、デジタル画像上での位置関係が正しく表現されていれば良く、幾何学的に厳密な位置を表している必要はない。

【0025】

ここまでで、第１ＡＲ解析器Ａの座標系にて、スクリーン面ＳＣＲ−Ａに投影されるマーカ像ＭＲＫの位置と姿勢・スケールが推定でき、第２ＡＲ解析器Ｂの座標系における初期モデルビュー行列Ｍｂが求まっているが、一般的に第１ＡＲ解析器Ａの座標系（原点Ｏ１）と第２ＡＲ解析器Ｂの座標系（原点Ｏ２）はまったく異なった解釈となっており、図１に示すように光学的中心軸を含むビューボリューム１１Ａ，１１Ｂの構成も異なっている。

【0026】

本発明では、正規化されたビューボリューム１１Ａ，１１Ｂのスクリーン面ＳＣＲ−Ａは共通の位置にあるとみなし、このスクリーン面ＳＣＲ−Ａの空間的な位置情報を手がかりに、双方の座標系の変換を行い、スクリーン面ＳＣＲ−Ａ上に投影される写像の見た目の合致を行うことを試みる。このことは、第１ＡＲ解析器Ａで推定される実際のマーカ像ＭＲＫの位置や姿勢・サイズが、第２ＡＲ解析器Ｂによりスクリーン面ＳＣＲ−Ａに写像される自然特徴点の位置情報に対し、適切な位置、姿勢・スケールの各パラメータを決定することを意味している。

【0027】

第１ＡＲ解析器Ａの座標系におけるモデルビュー行列Ｍａの並進成分は、ＡＲマーカ像ＭＲＫの空間座標内での原点Ｏ３を表しているとみなし、スケーリング及び回転成分はマーカ像ＭＲＫの第１ＡＲ解析器Ａでの座標空間における大きさと姿勢を表しているとみなす。

【0028】

第１ＡＲ解析器Ａの座標系の４×４プロジェクション行列はＰａ、４×４モデルビュー行列はＭａであり、次のように決定されているものとする。

【数3】

【0029】

図５に示すように第１ＡＲ解析器Ａのカメラ座標系（Ｘ，Ｙ，Ｚ）において原点Ｏ１から、ビューボリューム錐台１１Ａの手前のプロジェクション面ＰＪ−Ａ１の左上の頂点が（ｌ，ｔ，−ｎ）、左下の頂点が（ｌ，ｂ，−ｎ）、右上の頂点が（ｒ，ｔ，−ｎ）、左上の頂点が（ｒ，ｂ，−ｎ）とし、奥の面ＰＪ−Ａ２までの距離をｆとする。

【0030】

第１ＡＲ解析器Ａの座標系における任意空間座標

【数4】

【0031】

をスクリーン面ＳＣＲ−Ａに対応するデジタル画像中のＡＲマーカ観測位置ヘアフィン変換することを考える。これは、以下のように算出する。

【0032】

まず、

【数5】

【0033】

をスクリーン面ＳＣＲ−Ａの位置へ移動する並進ベクトルＴｒは、モデルビュー行列Ｍａとｎから次のようになる。

【数6】

【0034】

プロジェクション行列Ｐａによる射影変換を考慮したスケーリングパラメータＳは、

【数7】

【0035】

である。ここで、Ｖｂは定数であり、スクリーン面ＳＣＲ−Ａの高さスケールである。

【0036】

光学的中心軸の偏向成分を考慮したスクリーン面ＳＣＲ−Ａの位置での移動量Ｔｐは、

【数8】

【0037】

と表される。ここで、Ａｘはスクリーン面ＳＣＲ−Ａの横方向のアスペクト比を表す定数であり、デジタル画像が１６：９画像の場合１６／９、４：３画像の場合４／３という値となる。

【0038】

以上のパラメータから、同次座標表現で第１ＡＲ解析器Ａの座標系における任意空間座標

【数9】

【0039】

をスクリーン面ＳＣＲ−Ａに対応するデジタル画像中のＡＲマーカ観測位置ヘアフィン変換する４×４行列をＭｐとし、［Ｔｐ］、［Ｔｒ］という並進ベクトルの４×４行列同次座標表現を用いると、Ｍｐは

【数10】

【0040】

となる。したがって、第１ＡＲ解析器Ａの座標系において、

【数11】

【0041】

のスクリーン面ＳＣＲ−Ａへの写像を表すｍａ′は、

【数12】

【0042】

と計算でき、マーカ座標の原点Ｏ３だけに着目すれば、

【数13】

【0043】

となる。

【0044】

ここで、スクリーン面ＳＣＲ−Ａへの写像がｍａ′が第２ＡＲ解析器Ｂの座標系においても等しく観察できると考える。そのとき、第２ＡＲ解析器Ｂの射影行列Ｐｂは、Ｐａと同様に、

【数14】

【0045】

と定義されており、第２ＡＲ解析器Ｂのビューボリューム１１Ｂの頂点パラメータもＰａの場合と同様に、

【数15】

【0046】

と計算できる。

【0047】

第１ＡＲ解析器Ａと第２ＡＲ解析器Ｂが同じアスペクト比のデジタル画像を使用する場合、ビューボリューム１１Ａ，１１Ｂのプロジェクション面ＰＪ−Ａ，ＰＪ−Ｂも同じアスペクト比なので、第１ＡＲ解析器Ａと第２ＡＲ解析器Ｂでのスケーリング解釈の比率をＳ′とすると、

【数16】

【0048】

と考えられる。ただし、Ｐｂ［ｎ（ｂ１＋１）／ｂ０）］は第２ＡＲ解析器Ｂの座標系のＰｂのパラメータであり、Ｐａ［ｎ（ｂ１＋１）／ｂ０）］は第２ＡＲ解析器Ｂの座標系のＰａのパラメータを表すとする。

【0049】

そこで、これがそのまま第１ＡＲ解析器Ａと第２ＡＲ解析器Ｂのスケーリング解釈の差異であるとする。

【0050】

第１ＡＲ解析器Ａの座標系において推定されたマーカ像ＭＲＫの位置が第２ＡＲ解析器Ｂの座標系の空間座標の原点位置Ｏ３を表しているとみなすと、第２ＡＲ解析器Ｂの座標系の原点位置［０，０，０，１］^Ｔが第２ＡＲ解析器Ｂの射影変換により、ｍａ′として観測されていると考えることができるので、

【数17】

【0051】

が成立する。ここで、Ｍｏは４×４の定数行列である。

【0052】

上記の式において、ｍａ′は既知であるので、定数行列Ｍｏは、次の式により決定できる。

【数18】

【0053】

このオフセット行列Ｍｏを第２ＡＲ解析器Ｂの射影変換に適用すると、

【数19】

【0054】

と決定できる。

【0055】

このようにして決定される定数行列Ｍｏは、第２ＡＲ解析器Ｂの射影変換Ｍｂに対して、第１ＡＲ解析器Ａで解析されたマーカ像ＭＲＫの位置を原点とし、その位置での姿勢、大きさを表したオフセット行列である。従来の自然特徴点追跡を行う第２ＡＲ解析器Ｂでは、このオフセット行列を合成画面を見ながら手動で決定していたのである。

【0056】

次に、本発明の１つの実施の形態のＡＲ画像処理装置及びそれによるＡＲ画像処理方法について、図６、図７を用いて説明する。図６に示す本実施の形態のＡＲ画像処理装置の構成を示し、主にカメラ１と、ＡＲマーカ認識型の第１ＡＲ解析器３Ａと、自然特徴点追跡型の第２ＡＲ解析器３Ｂと、ＣＧレンダリング部５と、表示器７にて構成されている。

【0057】

ＡＲマーカ認識型の第１ＡＲ解析器３Ａは、カメラ１によって撮影したＡＲマーカ像ＭＲＫを含む視野内の情景の撮影画像を解析し、ＡＲマーカ像ＭＲＫの当該視野内での位置、姿勢、スケールを決定し、対応するＣＧオブジェクトＯＢＪを当該ＡＲマーカ像の位置、姿勢、スケールにてカメラ１のビューボリューム１１Ａの該当位置に再現し、その座標を決定する。第１ＡＲ解析器３Ａのこの処理に必要な諸データを記憶する記憶部３Ａ１、カメラキャリブレーション部３Ａ３、ＡＲマーカ像解析部３Ａ５、アフィン変換行列決定部３Ａ７、写像処理部３Ａ９、射影変換処理部３Ａ１１を備えている。この射影変換処理部３Ａ１１が割り出した第１ＡＲ解析器３Ａのビューボリューム空間１１Ａ内でのＡＲマーカ像の空間座標データは、第２ＡＲ解析器３Ｂに出力される。

【0058】

第２ＡＲ解析器３Ｂは、自然特徴点追跡型のものであり、諸データを記憶する記憶部３Ｂ１、この第２ＡＲ解析器３Ｂの初期化処理を行う初期化処理部３Ｂ３、モデルビュー行列推定部３Ｂ７、射影変換処理部３Ｂ９、オフセット行列決定部３Ｂ１１を備えている。

【0059】

ＣＧレンダリング部５は、諸データを記憶する記憶部５１，カメラ１の撮影画像を取り込むカメラ画像入力部５３、第２ＡＲ解析器３Ｂのオフセット行列Ｍｏを利用し、ＣＧオブジェクト画像を生成するＣＧオブジェクト画像生成部５５、カメラ画像入力部５３のカメラ撮影画像とＣＧオブジェクト画像生成部５５のＣＧオブジェクト画像とを合成し、合成画像を表示器７に出力する。表示器７は、図８Ｂのようにカメラ１の現在の視野での撮影画像上の対応する位置に対応する姿勢でＣＧオブジェクトＯＢＪを合成した画像を表示する。

【0060】

次に、上記のＡＲ画像処理装置によるＡＲ画像処理方法について図７を用いて説明する。本実施の形態のＡＲ画像処理方法は、要約すれば、カメラ１によってＡＲマーカＭＲＫを含むその周囲の視野内の情景を撮影し、第１ＡＲ解析器３Ａによってカメラ１の撮影したＡＲマーカ像ＭＲＫを含むその周囲の情景の撮影画像を解析し、ＡＲマーカ像ＭＲＫの該当ビューボリューム１１Ａ内での位置、姿勢、スケールを決定し、対応するＣＧオブジェクトＯＢＪを当該ＡＲマーカ像ＭＲＫの位置、姿勢、スケールにて当該ビューボリューム空間内の該当位置に仮想的に置き、第２ＡＲ解析器３Ｂによって、前記ＣＧオブジェクトＯＢＪについて、カメラ１が現在撮影している撮影画像に対して、そのカメラ視野内での見え方を計算し、当該カメラ１の撮影画像の該当する位置に該当する見え方にて合成し、表示器７にて合成した画像を表示することを特徴とする。

【0061】

さらに具体的には、次の手順である。

【0062】

ＳＴＥＰ１：ＡＲマーカに対応するＣＧオブジェクトを記憶する。

【0063】

ＳＴＥＰ３：カメラキャリブレーションにより、第１ＡＲ解析器３Ａ、第２ＡＲ解析器３ＢそれぞれにてカメラパラメータＰａ，Ｐｂを算出して記憶部３Ａ１，３Ｂ１それぞれに記憶する。

【0064】

ＳＴＥＰ５：第２ＡＲ解析器３Ｂにて初期化処理を行い、モデルビュー行列Ｍｂを決定して記憶する。

【0065】

以上が前処理である。

【0066】

ＳＴＥＰ７：ＡＲマーカＭＲＫを含む情景をカメラ１で撮影し、第１ＡＲ解析器３Ａに撮影画像を入力する。

【0067】

ＳＴＥＰ９，１１：第１ＡＲ解析器３Ａにおいて、撮影画像からのＡＲマーカ像ＭＲＫの見つけ出し、ＡＲマーカ像ＭＲＫの位置、姿勢、スケールを割り出し、ビューモデル行列Ｍａを決定する。

【0068】

ＳＴＥＰ１３：第１ＡＲ解析器３Ａにて、行列Ｐａ，Ｍａを用いてＡＲマーカ像ＭＲＫのスクリーンＳＣＲ−Ａへの射影を行い、その結果を第２ＡＲ解析器３Ｂに出力する。

【0069】

ＳＴＥＰ１５：第２ＡＲ解析器３Ｂにおいて、マーカ像ＭＲＫのオフセット行列Ｍｏの決定する。

【0070】

ＳＴＥＰ１７：第２ＡＲ解析器において、現在のカメラの位置、中心軸方向に対応したＣＧオブジェクトを見え方（位置、姿勢、スケール）を決定し、スクリーン面ＳＣＲ−Ａに射影し、その結果をＣＧレンダリング部５に出力する。

【0071】

ＳＴＥＰ１９：記憶部５１からＣＧオブジェクトＯＢＪの画像データを読み出し、第２ＡＲ解析器３Ｂからの射影変換行列のデータを用いてＣＧオブジェクトの現在のカメラアングルで見えるＣＧオブジェクトの形の画像を生成し、カメラ１の現在の撮影画像の対応する空間座標位置にＣＧ合成する。

【0072】

ＳＴＥＰ２１：表示器５にて合成画像を表示する。

【0073】

以上から、本発明の実施の形態によると、マーカ認識型の第１ＡＲ解析器３Ａによって、対象マーカ像ＭＲＫの位置・姿勢・大きさを自動的に決定することができ、マーカ像ＭＲＫが画面から外れた場合にも、自然特徴点追跡型の第２ＡＲ解析器３Ｂにより位置推定を継続できる。したがって、図８に示すようにカメラ１によって撮影されたデジタル画像の自然風景上に、手動による位置合わせ操作を必要とせずに、正確な位置と大きさ・姿勢のＣＧオブジェクトＯＢＪをリアルタイムに合成表示し、カメラ１をさまざまな位置、方向へ移動することが可能となる。この図８Ａでは、ＡＲマーカのほぼ全体が撮影されているマーカ像ＭＲＫに対して対応するＣＧオブジェクトＯＢＪを合成表示している。そして画面の右上にはわずかに自動車ＣＡＲの前バンパーの下部も撮影されている。これに対して、カメラを上方に移動してＡＲマーカが画面に入らないカメラアングルにしても、図８Ｂに示すように、ＣＧオブジェクトＯＢＪを移動後のカメラから見た位置、姿勢でカメラ撮影画像上に合成表示することができる。つまり、図８Ａの画像に見えるＣＧオブジェクトＯＢＪを、図８ＢのＣＧ合成画像ではさらに上からの視線で見たように表示されるようになっている。また、この図８Ｂでは、カメラ１の上方への移動により自動車ＣＡＲのほぼ全体が写っていることにも注目できる。

【符号の説明】

【0074】

ＭＲＫ ＡＲマーカ（像）
ＯＢＪ ＣＧオブジェクト
１ 固定カメラ
３Ａ 第１ＡＲ解析器
３Ｂ 第２ＡＲ解析器
５ ＣＧレンダリング部
７ 表示器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】