特許 7097285 平面物体の姿勢認識方法およびそのための装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-29

(45)【発行日】2022-07-07

(54)【発明の名称】平面物体の姿勢認識方法およびそのための装置

(51)【国際特許分類】

   G06T 7/70 20170101AFI20220630BHJP

【ＦＩ】

G06T7/70 B

【請求項の数】 10

(21)【出願番号】P 2018231071

(22)【出願日】2018-12-10

(65)【公開番号】P2019106184

(43)【公開日】2019-06-27

【審査請求日】2021-03-03

(31)【優先権主張番号】10-2017-0169512

(32)【優先日】2017-12-11

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】596180076

【氏名又は名称】韓國電子通信研究院

【氏名又は名称原語表記】Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ

【住所又は居所原語表記】２１８，Ｇａｊｅｏｎｇ－ｒｏ Ｙｕｓｅｏｎｇ－ｇｕ Ｄａｅｊｅｏｎ ３４１２９，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100091982

【弁理士】

【氏名又は名称】永井 浩之

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100082991

【氏名又は名称】佐藤 泰和

(74)【代理人】

【識別番号】100105153

【弁理士】

【氏名又は名称】朝倉 悟

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100152205

【弁理士】

【氏名又は名称】吉田 昌司

(72)【発明者】

【氏名】イ、ジュ－ヘン

(72)【発明者】

【氏名】キム、ジェ－ホン

(72)【発明者】

【氏名】ユン、ウ－ハン

(72)【発明者】

【氏名】イ、ジェ－ヨン

(72)【発明者】

【氏名】ジャン、ジン－ヒョク

【審査官】佐田 宏史

(56)【参考文献】

【文献】特開２００５－１０７９６５（ＪＰ，Ａ）

【文献】特開２００８－０５１６６４（ＪＰ，Ａ）

【文献】特表２０１５－５０３７７８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０１８８９３８（ＵＳ，Ａ１）

【文献】糠信 祐昌、外２名，“拡張ハウスドルフ距離法を用いたエッジ情報に基づく画像のマッチング”，映像メディア処理シンポジウム 第４回シンポジウム資料，日本，電子情報通信学会画像工学研究専門委員会，1999年09月29日，pp.71-72

【文献】Xilin Yi et al.，"Line feature-based recognition using Hausdorff distance"，Proceedings of International Symposium on Computer Vision - ISCV，米国，IEEE，1995年11月21日，pp.79-84

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００，７／００－７／９０

Ｇ０１Ｂ １１／００－１１／３０

(57)【特許請求の範囲】

【請求項1】

プロセッサが、測定図形の重心と参照図形の重心に基づいて２つの図形間の平行移動値を算出するステップと、
前記プロセッサが、前記平行移動値に基づいて前記２つの図形が重なるようにし、前記測定図形の回転角度ごとに算出される前記２つの図形の頂点間の距離に基づいて前記測定図形の回転角度を検出するステップと、
前記プロセッサが、前記２つの図形の頂点間の距離と前記測定図形のひっくり返りの有無を判断するための閾値とを比較して、前記測定図形のひっくり返りの有無を判断するステップと、
前記プロセッサが、前記平行移動値、前記回転角度および前記ひっくり返りの有無の少なくとも１つに基づいて姿勢を補正した測定図形と前記参照図形とを比較した結果を考慮して、前記測定図形の姿勢を認識するステップとを含み、
前記回転角度を検出するステップは、
前記参照図形に相応する複数の第１頂点それぞれに対して、前記測定図形に相応する複数の第２頂点までの距離を算出するステップと、
前記距離のうち最小距離を前記回転角度ごとに算出し、前記回転角度ごとに算出された複数の最小距離の長さを合算した結果値のうち最小値に対応する角度を前記回転角度に決定するステップとを含み、
前記ひっくり返りの有無を判断するステップは、
前記最小値が前記閾値を超える場合、前記測定図形がひっくり返ったと判断することを特徴とする平面物体の姿勢認識方法。

【請求項2】

前記姿勢を認識するステップは、
前記測定図形がひっくり返ったと判断される場合、前記姿勢を補正した測定図形と姿勢をひっくり返した参照図形とを比較した結果を考慮して、前記測定図形の姿勢を認識することを特徴とする請求項１に記載の平面物体の姿勢認識方法。

【請求項3】

前記平行移動値を算出するステップは、
測定対象が含まれた入力映像を２進化して、前記測定図形に相応する複数の第２頂点を検出するステップと、
前記複数の第２頂点に対応する前記参照図形を抽出するステップと、
前記複数の第２頂点に基づいて前記測定図形の重心を計算し、前記複数の第１頂点に基づいて前記参照図形の重心を計算するステップとを含むことを特徴とする請求項１に記載の平面物体の姿勢認識方法。

【請求項4】

前記姿勢認識方法は、
前記測定図形の姿勢を評価してユーザに提供するためのガイド情報を生成するステップと、
ディスプレイを介して前記ガイド情報を前記ユーザに出力するステップとをさらに含むことを特徴とする請求項１に記載の平面物体の姿勢認識方法。

【請求項5】

前記測定図形の姿勢は、実世界で前記ユーザによって制御される測定対象の姿勢であることを特徴とする請求項４に記載の平面物体の姿勢認識方法。

【請求項6】

測定図形の重心と参照図形の重心に基づいて２つの図形間の平行移動値を算出し、前記平行移動値に基づいて前記２つの図形が重なるようにし、前記測定図形の回転角度ごとに算出される前記２つの図形の頂点間の距離に基づいて前記測定図形の回転角度を検出し、前記２つの図形の頂点間の距離と前記測定図形のひっくり返りの有無を判断するための閾値とを比較して、前記測定図形のひっくり返りの有無を判断し、前記平行移動値、前記回転角度および前記ひっくり返りの有無の少なくとも１つに基づいて姿勢を補正した測定図形と前記参照図形とを比較した結果を考慮して、前記測定図形の姿勢を認識するプロセッサと、
前記参照図形に関する情報および前記閾値の少なくとも１つを格納するメモリとを含み、
前記プロセッサは、
前記参照図形に相応する複数の第１頂点それぞれに対して、前記測定図形に相応する複数の第２頂点までの距離を算出し、前記距離のうち最小距離を前記回転角度ごとに算出し、前記回転角度ごとに算出された複数の最小距離の長さを合算した結果値のうち最小値に対応する角度を前記回転角度に決定し、
前記最小値が前記閾値を超える場合、前記測定図形がひっくり返ったと判断することを特徴とする平面物体の姿勢認識装置。

【請求項7】

前記プロセッサは、
前記測定図形がひっくり返ったと判断される場合、前記姿勢を補正した測定図形と姿勢をひっくり返した参照図形とを比較した結果を考慮して、前記測定図形の姿勢を認識することを特徴とする請求項６に記載の平面物体の姿勢認識装置。

【請求項8】

前記プロセッサは、
測定対象が含まれた入力映像を２進化して、前記測定図形に相応する複数の第２頂点を検出し、前記複数の第２頂点に対応する前記参照図形を抽出し、前記複数の第２頂点に基づいて前記測定図形の重心を計算し、前記複数の第１頂点に基づいて前記参照図形の重心を計算することを特徴とする請求項６に記載の平面物体の姿勢認識装置。

【請求項9】

前記プロセッサは、
前記測定図形の姿勢を評価してユーザに提供するためのガイド情報を生成し、ディスプレイを介して前記ガイド情報を前記ユーザに出力することを特徴とする請求項６に記載の平面物体の姿勢認識装置。

【請求項10】

前記測定図形の姿勢は、実世界で前記ユーザによって制御される測定対象の姿勢であることを特徴とする請求項９に記載の平面物体の姿勢認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、平面物体の姿勢を認識する技術に関し、特に、短時間で物体の回転を正確に計算することができ、その結果を増強現実および人間とロボットの相互作用に活用できる平面物体の姿勢認識方法およびそのための装置に関する。

【背景技術】

【0002】

最近、実世界と仮想世界とをつなぐ技術の発展で物体の認識に関する技術需要が非常に高い。特に、増強現実およびロボット分野では、物体の認識、区別、姿勢認識が非常に重要な要素技術の一つである。多様な物体の中でも、学習教具などに大きな需要がある平面物体の姿勢を正確に計算することは非常に基本的な要素技術であるが、意外と正確ながらも効率的な計算が可能な方法が知られていない。また、姿勢の計算結果を増強現実およびロボット応用で適当に活用できる装置も必要である。周知の既存の方法を活用すると、計算が極めて遅く、また、単純な平面図形で発生する対称性を解決しにくい。

【先行技術文献】

【特許文献】

【0003】

【文献】韓国公開特許第１０－２０１１－００５０７５９号、２０１１年５月１７日公開（名称：ポリゴンモデルに対するハウスドルフ距離算出方法）

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の目的は、平面図形に対する入力映像からその図形の正確な姿勢を計算して基準に対する位置と回転を知ることである。

【0005】

また、本発明の目的は、対称性とひっくり返りが存在する環境においても効果的に平面図形の姿勢を推定することである。

【0006】

さらに、本発明の目的は、検出された平面図形の姿勢を増強現実および人間とロボットとの間の相互作用の応用に活用する方法を提供することである。

【0007】

なお、本発明の目的は、実世界の平面図形に仮想世界の情報およびコンテンツを増強することにより、物体自体の使用性を高める方法を提供することである。

【課題を解決するための手段】

【0008】

上記の目的を達成するための、本発明に係る平面物体の姿勢認識方法は、測定図形の重心と参照図形の重心に基づいて２つの図形間の平行移動値を算出するステップと、前記平行移動値に基づいて前記２つの図形が重なるようにし、前記測定図形の回転角度ごとに算出される前記２つの図形の頂点間の距離に基づいて前記測定図形の回転角度を検出するステップと、前記２つの図形の頂点間の距離と前記測定図形のひっくり返りの有無を判断するための閾値とを比較して、前記測定図形のひっくり返りの有無を判断するステップと、前記平行移動値、前記回転角度および前記ひっくり返りの有無の少なくとも１つに基づいて姿勢を補正した測定図形と前記参照図形とを比較した結果を考慮して、前記測定図形の姿勢を認識するステップとを含む。

【0009】

この時、回転角度を検出するステップは、前記参照図形に相応する複数の第１頂点それぞれに対して、前記測定図形に相応する複数の第２頂点までの距離を算出するステップと、前記距離のうち最小距離を前記回転角度ごとに算出し、前記回転角度ごとに算出された複数の最小距離の長さを合算した結果値のうち最小値に対応する角度を前記回転角度に決定するステップとを含むことができる。

【0010】

この時、ひっくり返りの有無を判断するステップは、前記最小値が前記閾値を超える場合、前記測定図形がひっくり返ったと判断することができる。

【0011】

この時、姿勢を認識するステップは、前記測定図形がひっくり返ったと判断される場合、前記姿勢を補正した測定図形と姿勢をひっくり返した参照図形とを比較した結果を考慮して、前記測定図形の姿勢を認識することができる。

【0012】

この時、平行移動値を算出するステップは、測定対象が含まれた入力映像を２進化して、前記測定図形に相応する複数の第２頂点を検出するステップと、前記複数の第２頂点に対応する前記参照図形を抽出するステップと、前記複数の第２頂点に基づいて前記測定図形の重心を計算し、前記複数の第１頂点に基づいて前記参照図形の重心を計算するステップとを含むことができる。

【0013】

この時、姿勢認識方法は、前記測定図形の姿勢を評価してユーザに提供するためのガイド情報を生成するステップと、ディスプレイを介して前記ガイド情報を前記ユーザに出力するステップとをさらに含んでもよい。

【0014】

この時、測定図形の姿勢は、実世界で前記ユーザによって制御される測定対象の姿勢であってもよい。

【0015】

また、本発明の一実施形態に係る平面物体の姿勢認識装置は、測定図形の重心と参照図形の重心に基づいて２つの図形間の平行移動値を算出し、前記平行移動値に基づいて前記２つの図形が重なるようにし、前記測定図形の回転角度ごとに算出される前記２つの図形の頂点間の距離に基づいて前記測定図形の回転角度を検出し、前記２つの図形の頂点間の距離と前記測定図形のひっくり返りの有無を判断するための閾値とを比較して、前記測定図形のひっくり返りの有無を判断し、前記平行移動値、前記回転角度および前記ひっくり返りの有無の少なくとも１つに基づいて姿勢を補正した測定図形と前記参照図形とを比較した結果を考慮して、前記測定図形の姿勢を認識するプロセッサと、前記参照図形に関する情報および前記閾値の少なくとも１つを格納するメモリとを含む。

【0016】

この時、プロセッサは、前記参照図形に相応する複数の第１頂点それぞれに対して、前記測定図形に相応する複数の第２頂点までの距離を算出し、前記距離のうち最小距離を前記回転角度ごとに算出し、前記回転角度ごとに算出された複数の最小距離の長さを合算した結果値のうち最小値に対応する角度を前記回転角度に決定することができる。

【0017】

この時、プロセッサは、前記最小値が前記閾値を超える場合、前記測定図形がひっくり返ったと判断することができる。

【0018】

この時、プロセッサは、前記測定図形がひっくり返ったと判断される場合、前記姿勢を補正した測定図形と姿勢をひっくり返した参照図形とを比較した結果を考慮して、前記測定図形の姿勢を認識することができる。

【0019】

この時、プロセッサは、測定対象が含まれた入力映像を２進化して、前記測定図形に相応する複数の第２頂点を検出し、前記複数の第２頂点に対応する前記参照図形を抽出し、前記複数の第２頂点に基づいて前記測定図形の重心を計算し、前記複数の第１頂点に基づいて前記参照図形の重心を計算することができる。

【0020】

この時、プロセッサは、前記測定図形の姿勢を評価してユーザに提供するためのガイド情報を生成し、ディスプレイを介して前記ガイド情報を前記ユーザに出力することができる。

【0021】

この時、測定図形の姿勢は、実世界で前記ユーザによって制御される測定対象の姿勢であってもよい。

【発明の効果】

【0022】

本発明によれば、平面図形に対する入力映像からその図形の正確な姿勢を計算して基準に対する位置と回転を知ることができる。

【0023】

また、本発明は、対称性とひっくり返りが存在する環境においても効果的に平面図形の姿勢を推定することができる。

【0024】

さらに、本発明は、検出された平面図形の姿勢を増強現実および人間とロボットとの間の相互作用の応用に活用する方法を提供することができる。

【0025】

なお、本発明は、実世界の平面図形に仮想世界の情報およびコンテンツを増強することにより、物体自体の使用性を高める方法を提供することができる。

【図面の簡単な説明】

【0026】

【図1】本発明の一実施形態に係る平面物体の姿勢認識方法を示す動作フローチャートである。

【図2】物体の移動や回転によるハウスドルフ距離の一例を示す図である。

【図3】物体の移動や回転によるハウスドルフ距離の一例を示す図である。

【図4】物体の移動や回転によるハウスドルフ距離の一例を示す図である。

【図5】物体の移動や回転によるハウスドルフ距離の一例を示す図である。

【図6】物体の移動や回転によるハウスドルフ距離の一例を示す図である。

【図7】本発明に係る参照図形の１つの頂点と測定図形の各頂点との間の距離を測定図形の回転角度ごとに表示したグラフの一例を示す図である。

【図8】図７に示されたグラフの距離のうち最小距離を表示したグラフの一例を示す図である。

【図9】本発明に係る参照図形の頂点に対して、図７に示されるような最小距離を表示したグラフの一例を示す図である。

【図10】図９に示された最小距離を、本発明に係るＭＭＭ演算およびＭＳＭ演算で演算した値を表示したグラフの一例を示す図である。

【図11】本発明に係る測定図形の回転を測定した結果と過程の一例を示す図である。

【図12】本発明に係る測定図形の回転を測定した結果と過程の一例を示す図である。

【図13】本発明に係る測定図形の回転を測定した結果と過程の一例を示す図である。

【図14】本発明に係る測定図形の回転を測定した結果と過程の一例を示す図である。

【図15】本発明に係る測定図形の回転を測定した結果と過程の一例を示す図である。

【図16】本発明に係る測定図形の回転を測定した結果と過程の一例を示す図である。

【図17】本発明に係る測定図形の回転を測定した結果と過程の一例を示す図である。

【図18】本発明に係る測定図形の回転を測定した結果と過程の一例を示す図である。

【図19】本発明に係る姿勢認識方法によりｌｏｃａｌ ｍｉｎｉｍｕｍのエラーを解決する過程の一例を示す図である。

【図20】本発明に係る姿勢認識方法によりｌｏｃａｌ ｍｉｎｉｍｕｍのエラーを解決する過程の一例を示す図である。

【図21】本発明に係る姿勢認識方法によりｌｏｃａｌ ｍｉｎｉｍｕｍのエラーを解決する過程の一例を示す図である。

【図22】本発明に係る姿勢認識方法によりｌｏｃａｌ ｍｉｎｉｍｕｍのエラーを解決する過程の一例を示す図である。

【図23】本発明に係る姿勢認識方法によりｌｏｃａｌ ｍｉｎｉｍｕｍのエラーを解決する過程の一例を示す図である。

【図24】本発明に係る姿勢認識方法によりｌｏｃａｌ ｍｉｎｉｍｕｍのエラーを解決する過程の一例を示す図である。

【図25】本発明に係る実物教具材を用いた姿勢認識過程の一例を示す図である。

【図26】本発明に係る実物教具材を用いた姿勢認識過程の一例を示す図である。

【図27】本発明に係る実物教具材を用いた姿勢認識過程の一例を示す図である。

【図28】本発明に係る実物教具材を用いた姿勢認識過程の一例を示す図である。

【図29】本発明に係る実物教具材を用いた姿勢認識過程の一例を示す図である。

【図30】本発明に係る実物教具材を用いた姿勢認識過程の一例を示す図である。

【図31】本発明に係る実物教具材を用いた姿勢認識過程の一例を示す図である。

【図32】本発明に係る測定図形のひっくり返りを判断する過程の一例を示す図である。

【図33】本発明に係る測定図形のひっくり返りを判断する過程の一例を示す図である。

【図34】本発明に係る測定図形のひっくり返りを判断する過程の一例を示す図である。

【図35】本発明に係る測定図形のひっくり返りを判断する過程の一例を示す図である。

【図36】本発明に係る測定図形のひっくり返りを判断する過程の一例を示す図である。

【図37】本発明に係る測定図形のひっくり返りを判断する過程の一例を示す図である。

【図38】本発明により測定図形のひっくり返りを考慮した場合と、そうでない場合との整合誤差に関するＭＭＭ演算結果の一例を示す図である。

【図39】本発明に係る姿勢認識方法とこれをユーザの相互作用シナリオおよび増強現実装置と結合する構造の一例を示す図である。

【図40】本発明の一実施形態に係る姿勢認識方法を詳細に示す図である。

【図41】本発明の一実施形態に係る姿勢認識装置を示すブロック図である。

【発明を実施するための形態】

【0027】

以下、本発明を添付した図面を参照して詳細に説明する。ここで、繰り返される説明、本発明の要旨を不必要にあいまいにしうる公知の機能および構成に関する詳細な説明は省略する。本発明の実施形態は、当業界における平均的な知識を有する者に本発明をより完全に説明するために提供されるものである。したがって、図面における要素の形状および大きさなどはより明確な説明のために誇張されることがある。

【0028】

以下、本発明に係る好ましい実施形態を添付した図面を参照して詳細に説明する。

【0029】

図１は、本発明の一実施形態に係る平面物体の姿勢認識方法を示す動作フローチャートである。

【0030】

実世界の事物を撮影した映像からある平面図形の姿勢を認識するにあたり、平面図形が基準からどれくらい位置移動をしたか、またはどれくらい回転をしているかを検出することは非常に重要である。例えば、タングラムのような平面教具を仮想コンテンツと結合する場合、ユーザの現在の解を幾何学的に正確に測定することは、応用において決定的な情報となりうる。また、これに基づいて増強現実や人間とロボットとの間の相互作用の応用において適当な出力を与えると、インタラクティブなシナリオを作成することも可能になる。

【0031】

平面図形の姿勢を計算することは幾何学的に単純に見えるにもかかわらず、一般的に最適化計算で解を求めることができる。しかし、このような方法は計算時間を多く要するので、インタラクティブな応用に適用するには好適でない。したがって、本発明では、平面図形の姿勢を効果的に計算する方法を提供しようとする。

【0032】

まず、既存の最適化方法で平面図形の姿勢認識を実現する方式は、映像から図形を抽出し、基準図形と抽出された図形の姿勢を比較して位置と回転を計算した後、応用に活用するものであってもよい。すなわち、映像装置から平面図形の幾何学的表現を先に取得することができる。この時、平面図形の幾何学的表現とは、平面図形の輪郭線多角形（ｂｏｕｎｄａｒｙ ｐｏｌｙｇｏｎ）に対する頂点と表現されるものを意味することができる。

【0033】

このように取得された幾何学的情報を姿勢計算における基準となる参照図形の頂点と比較して平面図形の姿勢を計算するが、問題は、この過程で取得された平面図形の頂点と参照図形の頂点との対応関係が与えられていないという点である。例えば、参照図形Ｐの各頂点Ｐｉが平面図形Ｑのどの頂点に対応するかを知らないため、平面図形に対する回転計算が難しくなりうる。これを解決するための簡単な方法はすべての点との対応を考慮することであるが、これは、計算が極めて非効率的であるので、インタラクティブなシナリオを作成するのに好適でない。

【0034】

一般的に対応関係が与えられていない時、２つの図形の幾何学的関係を表現するためにハウスドルフ距離（Ｈａｕｓｄｏｒｆｆ Ｄｉｓｔａｎｃｅ、ＨＤ）を用いることができる。例えば、２つの図形ＰとＱのハウスドルフ距離ＨＤ（Ｐ，Ｑ）は、ＭＡＸ（ｈｄ（Ｐ，Ｑ），ｈｄ（Ｑ，Ｐ））で定義される。すなわち、２つのｈｄ値の最大値でＨＤが決定されるが、ｈｄは、方向性が存在するハウスドルフ距離に相当する。つまり、ｈｄ（Ｐ，Ｑ）は、図形Ｐの各点から図形Ｑまでの最小距離を求める時、その最小距離の最大値に相当できる。また、ｈｄ（Ｑ，Ｐ）は逆に、図形Ｑの各点から図形Ｐまでの最小距離を求める時、その最小距離の最大値に相当できる。したがって、図形Ｐと図形Ｑの姿勢が完全に一致する場合、２つの図形間のハウスドルフ距離は０になる。

【0035】

図２は、ハウスドルフ距離の一例を示すもので、図２に示された実線２１０、２２０のようにそれぞれの方向によるｈｄが計算され、このうち最大値がＨＤになる。

【0036】

また、図３～図４のように、参照図形３０１と測定図形３０２の中心が一致した状況であれば、回転によってハウスドルフ距離が変化可能である。例えば、図３に示された場合のハウスドルフ距離３１０より、図４に示されるように多く回転した場合のハウスドルフ距離４１０の方がより大きく算出される。

【0037】

したがって、ハウスドルフ距離が最小になる回転角度を探せるならば、参照図形３０１を基準とする測定図形３０２の相対的回転角度を獲得することができる。

【0038】

また、上記で説明したように、ハウスドルフ距離は、２つの図形の各点間の最小距離の最大値で決定されるが、図５に示されるように、参照図形５０１と測定図形５０２が対称的な形態で平行移動のみある場合には、対称によって対応する頂点間の距離のうちいずれか１つだけを計算してハウスドルフ距離５１０、５２０を獲得することもできる。

【0039】

しかし、図６に示されるように、測定図形５０２が平行移動と回転を同時に行った場合には、図３～図４に示されるような方式で測定図形５０２の回転角度を計算する過程を行う必要がある。

【0040】

このようなハウスドルフ距離の計算は、ボロノイ図を用いて比較的効率的に計算することができるが、これを最適化過程に適用して回転角度を探すには効率的でない。まず、ハウスドルフ距離は、ユークリッド距離を計算する過程以外には最大値と最小値の比較で構成されているので、計算方式が手順的といえる。この時、最適化計算には微分可能な連続的な数式が役に立つのに対し、平面図形の姿勢に相応する回転角度を計算するためには、回転角度を引き続き変更しながらハウスドルフ距離を求める中間過程が必要であるので、計算過程が負担になりうる。例えば、Ｍａｔｈｅｍａｔｉｃａ１１．１でこれをテストすると、２つの三角形間のハウスドルフ距離を計算することは０．０００１３秒程度かかるが、これを回転しながら最適化計算を行う場合には１．３６秒程度かかる。すなわち、インタラクティブ応用への適用が困難であることが分かる。

【0041】

本発明では、次の過程により上記の問題を解決するための方法を提示しようとする。

【0042】

まず、本発明の一実施形態に係る平面物体の姿勢認識方法は、測定図形の重心と参照図形の重心に基づいて２つの図形間の平行移動値を算出する（Ｓ１１０）。

【0043】

例えば、基準となる参照図形の重心から測定図形の重心が移動した値を２つの図形間の平行移動値として算出することができる。

【0044】

この時、測定図形と参照図形は、同じ形態の平面図形であってもよい。すなわち、参照図形は、測定図形の姿勢を認識するために基準として用いられる図形に相当できる。

【0045】

この時、測定対象が含まれた入力映像を２進化して、測定図形に相応する複数の第２頂点を検出し、複数の第２頂点に対応する参照図形を抽出することができる。

【0046】

例えば、測定対象が入力された映像を２進化して、測定図形に相応する輪郭線多角形（ｂｏｕｎｄａｒｙ ｐｏｌｙｇｏｎ）を検出し、これにより複数の第２頂点を検出することができる。この後、複数の第２頂点の位置を考慮して、これに相応する複数の第１頂点を有する参照図形を抽出することができる。

【0047】

この時、複数の第１頂点や複数の第２頂点は、単純に測定図形と参照図形とを区分するために用いられたもので、その意味が限定されて適用されない。

【0048】

この時、複数の第２頂点に基づいて測定図形の重心を計算し、参照図形に相応する複数の第１頂点に基づいて参照図形の重心を計算することができる。

【0049】

また、本発明の一実施形態に係る平面物体の姿勢認識方法は、平行移動値に基づいて２つの図形が重なるようにし、測定図形の回転角度ごとに算出される２つの図形の頂点間の距離に基づいて測定図形の回転角度を検出する（Ｓ１２０）。

【0050】

この時、参照図形に相応する複数の第１頂点それぞれに対して、測定図形に相応する複数の第２頂点までの距離を算出することができる。

【0051】

まず、参照図形の姿勢を基準として測定図形をθだけ回転する演算を行うことができる。例えば、測定図形に相応する１つの第２頂点の座標が（ｔｘ，ｔｙ）と仮定する場合に、これをθだけ回転すると、数式１のように表すことができる。

【0052】

［数式１］
｛ｔｘ ｃｏｓ（θ）－ｔｙ ｓｉｎ（θ），ｔｘ ｓｉｎ（θ）＋ｔｙ ｃｏｓ（θ）｝
この後、参照図形に相応する１つの第１頂点である（ｒｘ，ｒｙ）から（ｔｘ，ｔｙ）までの距離の二乗であるｄ（ｒ，ｔ，θ）を計算すると、数式２のように表すことができる。

【0053】

［数式２］
ｄ（ｒ，ｔ，θ）＝ｄ（（ｒｘ，ｒｙ），（ｔｘ，ｔｙ），θ）＝
ｒｘ^２＋ｒｙ^２＋ｔｘ^２＋ｔｙ^２＋２ｓｉｎ（θ）（ｒｘ ｔｙ－ｒｙ ｔｘ）－２ｃｏｓ（θ）（ｒｘ ｔｘ＋ｒｙ ｔｙ）
このような近似した距離の計算方法は、最適化過程で大きな計算効率を有することができる。

【0054】

このような方式により、参照図形に相応する複数の第１頂点であるｒｉ＝（ｒｘｉ，ｒｙｉ）に対して、測定図形に相応する複数の第２頂点であるｔｉ＝（ｔｘｉ，ｔｙｉ）との距離を計算して、数式３のようにこれらの最小値を表すことができる。

【数1】

【0055】

この時、ｍｉｎは、関数ｄ（）の最小値を、ｊを変更させると探せるものを意味することができる。

【0056】

この時、距離のうち最小距離を回転角度ごとに算出し、回転角度ごとに算出された複数の最小距離の長さを合算する結果値のうち最小値に対応する角度を回転角度に決定することができる。

【0057】

もし、ハウスドルフ距離と類似の接近をすれば、参照図形の観点から、数式３の値を最大とするいずれか１つの第１頂点を探してその距離を測定する。例えば、下記数式４のようにｉを変更させ、関数の最大値を抽出することができる。

【数2】

【0058】

しかし、本発明では、この過程でｍａｘ演算を行う代わりに、ｓｕｍ演算を用いる数式５の方式を利用することができる。すなわち、回転角度ごとに算出された最小距離をすべて加算することができる。

【数3】

【0059】

したがって、最終的に、本発明に係る姿勢認識方法を利用した最適化過程は、数式６のように表すことができる。すなわち、数式６によれば、（）を最小化するθを測定図形の回転角度として検出することができる。

【数4】

【0060】

この時、数式６における距離の測定は、Ｍｉｎ－Ｓｕｍ－Ｍｉｎの過程を経るので、このような測定方式をＭＳＭ距離といえる。

【0061】

また、数式７のように数式４の方法に基づいて計算する場合には、Ｍｉｎ－Ｍａｘ－Ｍｉｎの過程を経るので、このような測定方式をＭＭＭ距離といえる。

【数5】

【0062】

この時、ＭＳＭ距離とＭＭＭ距離の計算時間は類似する方であるが、ＭＭＭ距離は、ｍａｘに依存するので、ＭＳＭ距離に比べてノイズにロバストでないことがある。反面、ＭＳＭ距離は、最小距離をすべて加算した結果を提供するため、ＭＭＭ距離に比べて値が大きいものの、全体的な傾向性の把握に有利でありうる。もし、特異な特徴の１つが回転角度を決定する場合であれば、ＭＭＭ距離を用いることがさらに有利なこともある。

【0063】

例えば、数式１～数式７をグラフで示すと、図７～図１０のように示すことができる。この時、図７～図１０は、測定図形が直角二等辺三角形の場合の値を示すものであってもよい。

【0064】

まず、図７は、数式１～数式２に基づいて測定図形をθだけ回転させ、参照図形のいずれか１つの頂点であるｒ_１から測定図形の各頂点であるｔ_ｊまでの距離ｄ（ｒ_１，ｔ_ｊ，θ）を示すグラフであってもよい。すなわち、測定図形が直角二等辺三角形であるので、３つの頂点に対して回転角度ごとの距離を測定してグラフで示すことができる。

【0065】

また、図８は、θを変化させる時、数式３に基づいてｒ_１からｔ_ｊまでの距離のうち最小距離だけを示すグラフに相応できる。すなわち、図７に示されたグラフの値のうち回転角度ごとに最小値だけを示すものであってもよい。

【0066】

このような最小値を参照図形のすべての頂点ごとに検出して示すグラフが、図９に相応できる。すなわち、参照図形も、測定図形と同じく直角二等辺三角形であるので、３つのグラフ値として表現される。

【0067】

また、図９に示されたＭＳＭ演算結果１０１０は、図８に示されたグラフ値を数式５に基づいて演算した結果を示すものであり、図９に示されたＭＭＭ演算結果１０２０は、図８に示されたグラフ値を数式４に基づいて演算した結果を示すものに相当できる。

【0068】

この時、ＭＳＭ演算結果１０１０やＭＭＭ演算結果１０２０による最小値１０３０に相応する回転角度が約１．６ラジアン（ｒａｄｉａｎ）であるので、測定図形の回転角度が１．６ラジアンであることが分かる。

【0069】

この時、検出された測定図形の回転角度は、測定図形を検出された回転角度だけ逆に回転して参照図形と整合した場合に、その有効性を確認することができる。

【0070】

また、本発明の一実施形態に係る平面物体の姿勢認識方法は、２つの図形の頂点間の距離と測定図形のひっくり返りの有無を判断するための閾値とを比較して、測定図形のひっくり返りの有無を判断する（Ｓ１３０）。

【0071】

この時、図形のひっくり返り（ｆｌｉｐ）は、測定図形に対する正確な回転角度を計算するために考慮される。例えば、平行四辺形の場合には、図形がひっくり返っている場合のＭＳＭ演算結果と、図形がひっくり返っていない場合のＭＳＭ演算結果とが異なりうる。したがって、このように図形のひっくり返りを考慮しなければならない図形に対しては、これを判断するための閾値を事前に設定し、ＭＳＭ演算結果と閾値とを比較してひっくり返りの有無を判断することができる。

【0072】

この時、最小値が閾値を超える場合に、測定図形がひっくり返ったと判断することができる。

【0073】

この時、測定図形のひっくり返りを判断する過程は、図３２～図３７により詳細に説明する。

【0074】

また、本発明の一実施形態に係る平面物体の姿勢認識方法は、平行移動値、回転角度およびひっくり返りの有無の少なくとも１つに基づいて姿勢を補正した測定図形と参照図形とを比較した結果を考慮して、測定図形の姿勢を認識する（Ｓ１４０）。

【0075】

この時、姿勢を補正した測定図形と参照図形とを比較した結果が一致する場合、検出された平行移動値、回転角度およびひっくり返りの有無に相応するように測定図形の姿勢を認識することができる。

【0076】

この時、測定図形がひっくり返ったと判断される場合、姿勢をひっくり返した参照図形を基準として測定図形の最小値を再測定して回転角度を算出することができる。

【0077】

また、測定図形がひっくり返ったと判断される場合、姿勢を補正した測定図形と姿勢をひっくり返した参照図形とを比較した結果を考慮して、測定図形の姿勢を認識することができる。

【0078】

このように、本発明に係る単純な計算過程により効率的に平面図形の姿勢を計算しながら対称性とひっくり返りまでを考慮する手法は皆無といえる。本発明に係る姿勢認識方法の有効性は、幾何学的または解析学的証明により裏付けられる。

【0079】

また、本発明に係る姿勢認識方法は非常に実用的である。例えば、我々の日常環境には教具、作業物体、インテリア、文書などといった非常に多い平面図形が存在するが、このような実世界の平面図形に仮想世界の情報やコンテンツを増強することにより、物体自体の使用性を高めることができる。すなわち、増強現実や人間とロボットとの間の相互作用のための応用装置に活用することもできる。

【0080】

さらに、図１には示していないが、本発明の一実施形態に係る平面物体の姿勢認識方法は、測定図形の姿勢を評価してユーザに提供するためのガイド情報を生成し、ディスプレイを介してガイド情報をユーザに出力することができる。

【0081】

例えば、タングラムのような平面教具を用いた仮想コンテンツの場合、教具材を用いて作れる多様な形状に関するガイド情報を提供することができる。

【0082】

この時、測定図形の姿勢は、実世界でユーザによって制御される測定対象の姿勢であってもよい。すなわち、ユーザが実世界で測定対象を動かした時の該当する姿勢をそのまま測定図形の姿勢として認識することができる。

【0083】

また、図１には示していないが、本発明の一実施形態に係る平面物体の姿勢認識方法は、上述のように平面物体の姿勢認識過程で発生する多様な情報を格納する。

【0084】

このような平面物体の姿勢認識方法により、平面図形に対する入力映像からその図形の正確な姿勢を計算して基準に対する位置と回転を知ることができる。

【0085】

また、対称性とひっくり返りが存在する環境においても効果的に平面図形の姿勢を推定することができ、検出された平面図形の姿勢を増強現実および人間とロボットとの間の相互作用の応用に活用することができる。

【0086】

図１１～図１８は、本発明に係る測定図形の回転を測定した結果と過程の一例を示す図である。

【0087】

まず、図１１～図１２は、星状の参照図形１１０１と実世界で測定された測定図形１１０２との間の回転を測定した結果と過程を示す。

【0088】

この時、図１１に示されるように、回転している測定図形１１０２の回転を、本発明の一実施形態に係るＭＳＭ演算またはＭＭＭ演算で計算して回転角度を算出し、算出した回転角度を測定図形１１０２に逆に適用すると、図１２に示されるように整合された映像を獲得することができ、この結果を応用に活用することができる。

【0089】

この時、図１３は、図１１に示された参照図形１１０１を基準として測定図形１１０２の回転を計算する場合のＭＳＭ演算結果とＭＭＭ演算結果を示す。

【0090】

この時、星状は、５つの対称的な形状が繰り返されるため、図１３に示されるように、ＭＳＭ演算またはＭＭＭ演算における最小値領域が周期的に繰り返されることが分かる。このように繰り返される条件を知っている状況では、最適化区間を１／５に縮小して計算を加速することもできる。

【0091】

また、本発明に係る姿勢認識方法は、図１２に示されるように、参照図形１１０１と測定図形１１０２の大きさが正確に一致しなくてもエラーなく計算することができる。

【0092】

例えば、図１４～図１５に示されるように、参照図形１４０１と測定図形１４０２の大きさだけでなく、形状に差があるとしても、図１６に示されるように、測定図形の回転角度を探すのには問題がない。

【0093】

他の例として、図１７のように、対称的な形状が繰り返される図形でない上に、参照図形と測定図形の大きさに差がある場合にも、本発明に係る姿勢認識方法により測定図形の回転角度を検出することができる。

【0094】

さらに他の例として、図１８のように、対称的な形状が繰り返される図形でない上に、参照図形と測定図形の形状が類似する場合にも、本発明に係る姿勢認識方法により測定図形の回転角度を検出することができる。

【0095】

すなわち、本発明に係る平面図形の姿勢認識方法は、入力映像から測定図形を抽出する過程で発生しうるエラーによって測定図形が正確に抽出されなくても、これを勘案して測定図形の回転角度を検出することができる。

【0096】

また、本発明は、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）のような方式で少なくとも２つの軸が確実で長めの長方形に対してのみ姿勢認識が可能であった従来の問題点を解決して、複雑な形状に対しても姿勢認識が可能な姿勢認識方法を提供することができる。

【0097】

図１９～図２４は、本発明に係る姿勢認識方法によりｌｏｃａｌ ｍｉｎｉｍｕｍのエラーを解決する過程の一例を示す図である。

【0098】

まず、図１９～図２０を参照すれば、本発明に係る姿勢認識方法により直角二等辺三角形や正方形のように対称性がある平面図形に対する姿勢を認識する過程でｌｏｃａｌ ｍｉｎｉｍｕｍに落ちるエラーを防止できることが分かる。

【0099】

例えば、図１９に示された直角二等辺三角形状の測定図形１９０２に対して、これに対する参照図形１９０１を基準としてＭＳＭ演算とＭＭＭ演算を行った結果は、図２０の通りである。この時、図２０を参照すれば、ＭＭＭ演算結果の最小値が１．６ラジアン付近で発生するが、直角二等辺三角形の対称性によって３．８ラジアンと５．８ラジアン付近でも局所最小値が検出されることを確認することができる。このような結果は、測定図形の回転角度を算出するのにエラーを発生させることがある。

【0100】

反面、図２０に示されたＭＳＭ演算結果では、最小値がＭＭＭ演算結果と同様に１．６ラジアン付近で発生するが、３．８ラジアンと５．８ラジアン付近の値をＭＭＭ演算結果のような局所最小値と見なすことが困難である。すなわち、本発明によりＭＳＭ演算によって最小値を検出する場合、対称性がある測定図形から発生しうるｌｏｃａｌ ｍｉｎｉｍｕｍのエラーを防止することができる。

【0101】

また、図２１～図２４を参照すれば、本発明に係る姿勢認識方法は、対称性が存在する平面図形の姿勢を認識する時、計算効率を高めるために、回転角度の探索範囲を制限したり、ｓｐｌｉｔして平行で計算することができる。

【0102】

例えば、図２１に示された正方形状の測定図形２１０２に対して、これに対する参照図形２１０１を基準としてＭＳＭ演算とＭＭＭ演算を行った結果は、図２２の通りである。この時、図２２を参照すれば、π／２ラジアンの周期で回転角度を検出できる最小値が繰り返されることが分かる。この場合、回転角度の探索範囲を２πラジアンより小さく設定することにより、測定図形の回転角度を検出するための計算の効率を向上させることができる。

【0103】

他の例として、図２３に示された平行四辺形状の測定図形２３０２に対して、これに対する参照図形２３０１を基準としてＭＳＭ演算とＭＭＭ演算を行った結果は、図２４の通りである。この時、図２４を参照すれば、πラジアンの周期で回転角度を検出できる最小値が繰り返されることが分かる。この場合にも、回転角度の探索範囲を２πラジアンより小さく設定することにより、計算の効率を向上させることができる。

【0104】

図２５～図３１は、本発明に係る実物教具材を用いた姿勢認識過程の一例を示す図である。

【0105】

図２５～図３１を参照すれば、本発明に係る姿勢認識方法は、実物を活用する増強現実の応用に活用するのに好適である。

【0106】

この時、幾何および空間知覚能力の向上に役立つタングラム（ｔａｎｇｒａｍ）は非常に簡単な実物教具材で、本発明に係る姿勢認識方法により増強現実の応用で実現することができる。

【0107】

例えば、図２５に示されるように、タングラムのための７つの実片２５１０、２５２０、２５３０、２５４０、２５５０、２５６０、２５７０に対する正確な姿勢を認識し、増強された映像として認識された片２５１１、２５２１、２５３１、２５４１、２５５１、２５６１、２５７１を出力することができる。

【0108】

このような増強現実の応用を実現するためには、まず、図２６に示されるように、実片２５１０、２５２０、２５３０、２５４０、２５５０、２５６０、２５７０が含まれた入力映像を分割してそれぞれの実片を分離することができる。

【0109】

この後、図２７に示されるように、分割された映像に基づいて２進化を行って実片２５１０、２５２０、２５３０、２５４０、２５５０、２５６０、２５７０に対する頂点を検出することができる。

【0110】

この後、図２５～図３１に示していないが、実片２５１０、２５２０、２５３０、２５４０、２５５０、２５６０、２５７０の頂点に対応する参照図形を獲得し、重心方法で７つの実片２５１０、２５２０、２５３０、２５４０、２５５０、２５６０、２５７０それぞれに対する平行移動値を検出することができる。

【0111】

この後、図２８に示されるように、７つの実片２５１０、２５２０、２５３０、２５４０、２５５０、２５６０、２５７０それぞれに対してＭＳＭ演算とＭＭＭ演算を行って、７つの実片（２５１０、２５２０、２５３０、２５４０、２５５０、２５６０、２５７０それぞれに対する回転角度を検出することができる。

【0112】

この後、検出された回転角度に基づいて７つの実片２５１０、２５２０、２５３０、２５４０、２５５０、２５６０、２５７０の姿勢を認識して、増強された映像として認識された片２５１１、２５２１、２５３１、２５４１、２５５１、２５６１、２５７１を出力することができる。

【0113】

この過程により、最終的には、図２９～図３１のように、ユーザが移動させた実片２５１０、２５２０、２５３０、２５４０、２５５０、２５６０、２５７０の姿勢を評価し、これに関するガイドを出力するのに活用することができる。

【0114】

図３２～図３７は、本発明に係る測定図形のひっくり返りを判断する過程の一例を示す図である。

【0115】

図３２～図３７を参照すれば、本発明に係る姿勢認識方法では、測定図形のひっくり返り（ｆｌｉｐ）を考慮して、測定図形の正確な回転角度を検出することができる。

【0116】

例えば、図３２に示されるように測定図形３２０２と参照図形３２０１がひっくり返りの関係にある場合には、図３３のように、本発明に係るＭＳＭ演算やＭＭＭ演算を行って測定図形３２０２の回転角度を検出することができる。しかし、このように検出された回転角度を測定図形３２０２に逆に適用して回転すると、図３４に示されるように、参照図形３２０１と測定図形３４０２との間に整合誤差が大きく発生しうる。

【0117】

また、図３２のように２つの図形がひっくり返りの関係にある場合、図３３に示されるように、ＭＳＭ演算結果の最小値が一般的な場合より大きく現れることが分かる。

【0118】

したがって、本発明に係る姿勢認識方法では、平行四辺形のようにｆｌｉｐｐｉｎｇが発生しうる図形に対しては、最小値に対する閾値を事前に設定し、ＭＳＭ演算により検出された最小値が閾値より大きく検出される場合には、測定図形がｆｌｉｐｐｉｎｇされたと判断することができる。

【0119】

この時、測定図形がひっくり返ったと判断される場合、図３５に示されるように、ひっくり返った姿勢の参照図形３５０１を基準としてひっくり返った測定図形３５０２に対する回転角度を検出することができる。また、参照図形３５０１をひっくり返した姿勢で測定図形３５０２に対するＭＳＭ演算を行う場合、図３６に示されるように、ＭＳＭ演算の最小値が０に近い値で検出されることを確認することができる。

【0120】

このように検出された回転角度を測定図形３５０２に逆に適用して回転すると、図３７に示されるように、ひっくり返った姿勢の参照図形３５０１と、ひっくり返った測定図形３５０２との整合誤差が少なく発生するので、結論的には、測定図形３５０２の姿勢がひっくり返ったと確定することができる。

【0121】

あるいは、本発明に係る姿勢認識方法では、ひっくり返りを考慮しなければならない測定図形に対する姿勢を認識する場合、入力映像から検出された測定図形の姿勢とひっくり返った姿勢に対していずれもＭＳＭ演算を行って、最小値が小さい方の姿勢の回転角度を測定図形の回転角度および姿勢として取ることもできる。

【0122】

図３８は、本発明により測定図形のひっくり返りを考慮した場合と、そうでない場合との整合誤差に関するＭＭＭ演算結果の一例を示す図である。

【0123】

図３８を参照すれば、本発明により測定図形のひっくり返りを考慮した場合（ｎｏｒｍａｌ）の整合誤差をＭＭＭ演算した結果の最小値が、ひっくり返りを考慮しない場合（ｆｌｉｐｐｅｄ）の整合誤差をＭＭＭ演算した結果の最小値より少なく検出されることを確認することができる。

【0124】

すなわち、本発明のように、測定図形のひっくり返りを考慮して平面図形の姿勢を認識することにより、平面図形の姿勢をより正確に認識できることが分かる。

【0125】

図３９は、本発明に係る姿勢認識方法とこれをユーザの相互作用シナリオおよび増強現実装置と結合する構造の一例を示す図である。

【0126】

図３９を参照すれば、本発明の一実施形態に係る姿勢認識方法は、実世界に存在する事物に基づくユーザとの相互作用シナリオによって動作可能であり、この過程で増強現実装置と結合され、関連するコンテンツをユーザに提供することができる。

【0127】

例えば、図３９に示されるように、ユーザが実世界に存在する事物の位置と姿勢を変化させた後、当該事物を含む作業空間を撮影して入力映像を提供することができる。

【0128】

この時、本発明の一実施形態に係る姿勢認識装置は、入力映像から姿勢を測定する対象の測定図形を抽出することができる。

【0129】

この後、姿勢認識装置は、測定図形の頂点に基づいて参照図形を抽出することができ、参照図形に基づいて測定図形の平行移動値、回転角度およびひっくり返りの有無などを計算して測定図形の姿勢を獲得することができる。

【0130】

このように獲得した測定図形の姿勢に関連する情報は増強現実装置に提供される。

【0131】

この時、増強現実装置は、測定図形の姿勢を評価してユーザに提供されるガイド情報を生成することができ、別のディスプレイモジュールベースでユーザにガイド情報を出力することにより、ユーザとの相互作用を行うことができる。

【0132】

このように、実世界での平面図形の姿勢を迅速で正確に認識することは、実世界と仮想世界とをつなぐ増強現実の応用および人間とロボットとの間の相互作用の応用において非常に重要な要素となりうる。したがって、本発明に係る平面図形の姿勢認識方法は、多様な物理的教具材を増強現実の応用に拡張する場合や、実際の事物に対する作業をめぐって人間とロボットが協業する状況で作業する物体の状態を把握して対応する問題に非常に有用に活用できる。

【0133】

図４０は、本発明の一実施形態に係る姿勢認識方法を詳細に示す図である。

【0134】

図４０を参照すれば、本発明の一実施形態に係る姿勢認識方法は、まず、測定対象を含む入力映像を獲得する（Ｓ４０１０）。

【0135】

この後、入力映像に対して２進化を行って測定図形を検出する（Ｓ４０２０）。

【0136】

この後、測定図形の頂点を算出して参照図形を検出する（Ｓ４０３０）。

【0137】

例えば、測定対象が入力された映像を２進化して、測定図形に相応する輪郭線多角形（ｂｏｕｎｄａｒｙ ｐｏｌｙｇｏｎ）を検出し、これにより測定図形に対する複数の第２頂点を検出することができる。この後、複数の第２頂点の位置を考慮して、これに相応する複数の第１頂点を有する参照図形を検出することができる。

【0138】

この後、２つの図形の重心に基づいて測定図形の平行移動値を算出する（Ｓ４０４０）。

【0139】

例えば、２つの図形の重心を結ぶベクトル値に相応するように平行移動値を算出することができる。

【0140】

この後、平行移動値に基づいて２つの図形を重なるようにし、測定図形の回転角度ごとに算出される重なった２つの図形の頂点間の最小距離に基づいてＭＭＭ演算またはＭＳＭ演算を行って最小値を算出する（Ｓ４０５０）。

【0141】

この後、測定図形のひっくり返りの有無を判断するために、ステップＳ４０５０で算出された最小値が予め設定された閾値を超えるか否かを判断し（Ｓ４０５５）、最小値が閾値を超える場合、測定図形がひっくり返ったと判断する（Ｓ４０５６）。

【0142】

この時、測定図形がひっくり返ったと判断されると、参照図形の姿勢をひっくり返した状態でステップＳ４０５０を再び行って最小値を再算出することができる。

【0143】

また、ステップＳ４０５５の判断結果、最小値が閾値を超えていなければ、最小値に相応する角度に相応するように測定図形の回転角度を算出する（Ｓ４０６０）。

【0144】

この後、算出された平行移動値、回転角度およびひっくり返りの有無を考慮して、測定図形の姿勢を補正した後、補正された測定図形と参照図形とを比較して、測定図形の姿勢を認識する（Ｓ４０７０）。

【0145】

この時、認識された測定図形の姿勢を評価してガイド情報が必要か否かを判断し（Ｓ４０７５）、ガイド情報が必要であれば、ガイド情報を生成してユーザに出力する（Ｓ４０８０）。

【0146】

また、ステップＳ４０７５の判断結果、ガイド情報が必要でなければ、別途のガイド情報は出力せず増強された映像だけを生成して提供することもできる。

【0147】

図４１は、本発明の一実施形態に係る姿勢認識装置を示すブロック図である。

【0148】

図４１を参照すれば、本発明の一実施形態に係る姿勢認識装置は、通信部４１１０と、プロセッサ４１２０と、メモリ４１３０とを含む。

【0149】

通信部４１１０は、平面図形の姿勢認識のために必要な情報を送受信する役割を果たすことができる。特に、本発明の一実施形態に係る通信部４１１０は、測定対象が含まれた入力映像を受信したり、ディスプレイを介してユーザにガイド情報を提供することもできる。

【0150】

プロセッサ４１２０は、測定図形の重心と参照図形の重心に基づいて２つの図形間の平行移動値を算出する。

【0151】

例えば、基準となる参照図形の重心から測定図形の重心が移動した値を２つの図形間の平行移動値として算出することができる。

【0152】

この時、測定図形と参照図形は、同じ形態の平面図形であってもよい。すなわち、参照図形は、測定図形の姿勢を認識するために基準として用いられる図形に相当できる。

【0153】

この時、測定対象が含まれた入力映像を２進化して、測定図形に相応する複数の第２頂点を検出し、複数の第２頂点に対応する参照図形を抽出することができる。

【0154】

例えば、測定対象が入力された映像を２進化して、測定図形に相応する輪郭線多角形（ｂｏｕｎｄａｒｙ ｐｏｌｙｇｏｎ）を検出し、これにより複数の第２頂点を検出することができる。この後、複数の第２頂点の位置を考慮して、これに相応する複数の第１頂点を有する参照図形を抽出することができる。

【0155】

この時、複数の第１頂点や複数の第２頂点は、単純に測定図形と参照図形とを区分するために用いられたもので、その意味が限定されて適用されない。

【0156】

この時、複数の第２頂点に基づいて測定図形の重心を計算し、参照図形に相応する複数の第１頂点に基づいて参照図形の重心を計算することができる。

【0157】

また、プロセッサ４１２０は、平行移動値に基づいて２つの図形が重なるようにし、測定図形の回転角度ごとに算出される２つの図形の頂点間の距離に基づいて測定図形の回転角度を検出する。

【0158】

この時、参照図形に相応する複数の第１頂点それぞれに対して、測定図形に相応する複数の第２頂点までの距離を算出することができる。

【0159】

まず、参照図形の姿勢を基準として測定図形をθだけ回転する演算を行うことができる。例えば、測定図形に相応する１つの第２頂点の座標が（ｔｘ，ｔｙ）と仮定する場合に、これをθだけ回転すると、数式１のように表すことができる。

【0160】

［数式１］
｛ｔｘ ｃｏｓ（θ）－ｔｙ ｓｉｎ（θ），ｔｘ ｓｉｎ（θ）＋ｔｙ ｃｏｓ（θ）｝
この後、参照図形に相応する１つの第１頂点である（ｒｘ，ｒｙ）から（ｔｘ，ｔｙ）までの距離の二乗であるｄ（ｒ，ｔ，θ）を計算すると、数式２のように表すことができる。

【0161】

［数式２］
ｄ（ｒ，ｔ，θ）＝ｄ（（ｒｘ，ｒｙ），（ｔｘ，ｔｙ），θ）＝
ｒｘ^２＋ｒｙ^２＋ｔｘ^２＋ｔｙ^２＋２ｓｉｎ（θ）（ｒｘ ｔｙ－ｒｙ ｔｘ）－２ｃｏｓ（θ）（ｒｘ ｔｘ＋ｒｙ ｔｙ）
このような近似した距離の計算方法は、最適化過程で大きな計算効率を有することができる。

【0162】

このような方式により、参照図形に相応する複数の第１頂点であるｒｉ＝（ｒｘｉ，ｒｙｉ）に対して、測定図形に相応する複数の第２頂点であるｔｉ＝（ｔｘｉ，ｔｙｉ）との距離を計算して、数式３のようにこれらの最小値を表すことができる。

【数6】

【0163】

この時、ｍｉｎは、関数ｄ（）の最小値を、ｊを変更させると探せるものを意味することができる。

【0164】

この時、距離のうち最小距離を回転角度ごとに算出し、回転角度ごとに算出された複数の最小距離の長さを合算する結果値のうち最小値に対応する角度を回転角度に決定することができる。

【0165】

もし、ハウスドルフ距離と類似の接近をすれば、参照図形の観点から、数式３の値を最大とするいずれか１つの第１頂点を探してその距離を測定する。例えば、下記数式４のようにｉを変更させ、関数の最大値を抽出することができる。

【数7】

【0166】

しかし、本発明では、この過程でｍａｘ演算を行う代わりに、ｓｕｍ演算を用いる数式５の方式を利用することができる。すなわち、回転角度ごとに算出された最小距離をすべて加算することができる。

【数8】

【0167】

したがって、最終的に、本発明に係る姿勢認識方法を利用した最適化過程は、数式６のように表すことができる。すなわち、数式６によれば、（）を最小化するθを測定図形の回転角度として検出することができる。

【数9】

【0168】

この時、数式６における距離の測定は、Ｍｉｎ－Ｓｕｍ－Ｍｉｎの過程を経るので、このような測定方式をＭＳＭ距離といえる。

【0169】

また、数式７のように、数式４の方法に基づいて計算する場合には、Ｍｉｎ－Ｍａｘ－Ｍｉｎの過程を経るので、このような測定方式をＭＭＭ距離といえる。

【数10】

【0170】

この時、ＭＳＭ距離とＭＭＭ距離の計算時間は類似する方であるが、ＭＭＭ距離は、ｍａｘに依存するので、ＭＳＭ距離に比べてノイズにロバストでないことがある。反面、ＭＳＭ距離は、最小距離をすべて加算した結果を提供するため、ＭＭＭ距離に比べて値が大きいものの、全体的な傾向性の把握に有利でありうる。もし、特異な特徴の１つが回転角度を決定する場合であれば、ＭＭＭ距離を用いることがさらに有利なこともある。

【0171】

また、プロセッサ４１２０は、２つの図形の頂点間の距離と測定図形のひっくり返りの有無を判断するための閾値とを比較して、測定図形のひっくり返りの有無を判断する。

【0172】

この時、図形のひっくり返り（ｆｌｉｐ）は、測定図形に対する正確な回転角度を計算するために考慮される。例えば、平行四辺形の場合には、図形がひっくり返っている場合のＭＳＭ演算結果と、図形がひっくり返っていない場合のＭＳＭ演算結果とが異なりうる。したがって、このように、図形のひっくり返りを考慮しなければならない図形に対しては、これを判断するための閾値を事前に設定し、ＭＳＭ演算結果と閾値とを比較して、ひっくり返りの有無を判断することができる。

【0173】

この時、最小値が閾値を超える場合に、測定図形がひっくり返ったと判断することができる。

【0174】

この時、測定図形のひっくり返りを判断する過程は、図３２～図３７により詳細に説明したので、省略する。

【0175】

また、プロセッサ４１２０は、平行移動値、回転角度およびひっくり返りの有無の少なくとも１つに基づいて姿勢を補正した測定図形と参照図形とを比較した結果を考慮して、測定図形の姿勢を認識する。

【0176】

この時、姿勢を補正した測定図形と参照図形とを比較した結果が一致する場合、検出された平行移動値、回転角度およびひっくり返りの有無に相応するように測定図形の姿勢を認識することができる。

【0177】

この時、測定図形がひっくり返ったと判断される場合、姿勢をひっくり返した参照図形を基準として測定図形の最小値を再測定して回転角度を算出することができる。

【0178】

また、測定図形がひっくり返ったと判断される場合、姿勢を補正した測定図形と姿勢をひっくり返した参照図形とを比較した結果を考慮して、測定図形の姿勢を認識することができる。

【0179】

メモリ４１３０は、参照図形に関する情報および閾値の少なくとも１つを格納する。

【0180】

この時、閾値は、ひっくり返りが発生しうる図形によって設定されて格納される。

【0181】

また、メモリ４１３０は、上述のように、本発明の一実施形態に係る姿勢認識装置で発生する多様な情報を格納する。

【0182】

実施形態により、メモリ４１３０は、姿勢認識装置と独立して構成され、平面図形の姿勢認識のための機能を支援することができる。この時、メモリ４１３０は、別途の大容量ストレージとして動作可能であり、動作実行のための制御機能を含むこともできる。

【0183】

一方、姿勢認識装置は、メモリが搭載され、その装置内で情報を格納することができる。一実施形態の場合、メモリは、コンピュータで読取可能な媒体である。一実施形態において、メモリは、揮発性メモリユニットであってもよいし、他の実施形態の場合、メモリは、不揮発性メモリユニットであってもよい。一実施形態の場合、格納装置は、コンピュータで読取可能な媒体である。多様な互いに異なる実施形態において、格納装置は、例えば、ハードディスク装置、光学ディスク装置、あるいはある他の大容量格納装置を含むこともできる。

【0184】

このような姿勢認識装置を用いることにより、平面図形に対する入力映像からその図形の正確な姿勢を計算して基準に対する位置と回転を知ることができる。

【0185】

また、対称性とひっくり返りが存在する環境においても効果的に平面図形の姿勢を推定することができ、検出された平面図形の姿勢を増強現実および人間とロボットとの間の相互作用の応用に活用することができる。

【0186】

以上、本発明に係る平面物体の姿勢認識方法およびそのための装置は、上記のように説明された実施形態の構成と方法が限定されて適用できるものではなく、上記の実施形態は多様な変形がなされるように各実施形態の全部または一部が選択的に組み合わされて構成されてもよい。

【符号の説明】

【0187】

２１０、２２０：実線
３１０、４１０、５１０、５２０、６１０、６２０：ハウスドルフ距離
３０１、５０１、１１０１、１４０１、１９０１、２１０１、２３０１、３２０１、３４０１、３５０１、３７０１：参照図形
３０２、５０２、１１０２、１４０２、１９０２、２１０２、２３０２、３２０２、３４０２、３５０２、３７０２：測定図形
１０１０：ＭＳＭ演算結果
１０２０：ＭＭＭ演算結果
１０３０：最小値
２５１０、２５２０、２５３０、２５４０、２５５０、２５６０、２５７０：実片
２５１１、２５２１、２５３１、２５４１、２５５１、２５６１、２５７１：認識された片
４１１０：通信部
４１２０：プロセッサ
４１３０：メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】