特許 6064210 マーカ選定装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6064210

(24)【登録日】2017年1月6日

(45)【発行日】2017年1月25日

(54)【発明の名称】マーカ選定装置及び方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20170116BHJP

【ＦＩ】

   G06T7/00 T

【請求項の数】8

【全頁数】28

(21)【出願番号】特願2013-76602(P2013-76602)

(22)【出願日】2013年4月2日

(65)【公開番号】特開2014-203147(P2014-203147A)

(43)【公開日】2014年10月27日

【審査請求日】2015年12月10日

(73)【特許権者】

【識別番号】000006105

【氏名又は名称】株式会社明電舎

(74)【代理人】

【識別番号】100078499

【弁理士】

【氏名又は名称】光石 俊郎

(74)【代理人】

【識別番号】230112449

【弁護士】

【氏名又は名称】光石 春平

(74)【代理人】

【識別番号】100102945

【弁理士】

【氏名又は名称】田中 康幸

(74)【代理人】

【識別番号】100120673

【弁理士】

【氏名又は名称】松元 洋

(74)【代理人】

【識別番号】100182224

【弁理士】

【氏名又は名称】山田 哲三

(72)【発明者】

【氏名】宍道 洋

(72)【発明者】

【氏名】藤原 伸行

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２００７−１８８２２１（ＪＰ，Ａ）

【文献】 特開２００５−３３２２０２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

複数のマーカ候補の原画像から前記マーカ候補毎に基準画像を作成する基準画像作成部と、
前記マーカ候補の前記原画像から前記マーカ候補毎に距離に応じた複数の参照画像を作成する参照画像作成部と、
全ての前記基準画像及び前記参照画像の特徴量を算出する画像特徴量抽出部と、
全ての前記基準画像の前記特徴量と全ての前記参照画像の前記特徴量とを総当りで比較し、対象となる前記マーカ候補の検出又は未検出の判定の境界となる検出境界閾値を前記マーカ候補毎に求める比較判定部と、
複数の前記マーカ候補に対して、各々、前記検出境界閾値に基づいて、前記マーカ候補の前記基準画像に対する認識安定性を示す第１のスコアを求め、前記第１のスコアが最大となる閾値を前記マーカ候補の判定用閾値として求め、前記判定用閾値に基づいて、前記マーカ候補の前記基準画像及び前記参照画像に対する認識安定性を示す第２のスコアを求め、前記第２のスコアが最低の前記マーカ候補を複数の前記マーカ候補の中から除外するスコア算出部とを有し、
複数の前記マーカ候補が所定数に減るまで前記スコア算出部での処理を繰り返し、前記所定数の前記マーカ候補を選定することを特徴とするマーカ選定装置。

【請求項2】

請求項１に記載のマーカ選定装置において、
前記第１のスコアは、
対象とする前記マーカ候補の前記基準画像に対する全ての前記参照画像について、検出又は未検出の判定を行う閾値を変更しながら前記検出境界閾値と比較して、当該マーカ候補の検出又は未検出の判定を行い、当該判定における、当該マーカ候補の前記基準画像に対する当該マーカ候補の全ての前記参照画像での認識正解率と、当該マーカ候補の前記基準画像に対する当該マーカ候補以外の前記マーカ候補の全ての前記参照画像での誤認識率とを用いて算出したものであることを特徴とするマーカ選定装置。

【請求項3】

請求項１又は請求項２に記載のマーカ選定装置において、
前記第２のスコアは、
対象とする前記マーカ候補の前記基準画像に対する全ての前記参照画像について、検出又は未検出の判定を行う閾値を変更しながら前記判定用閾値と比較して、当該マーカ候補の検出又は未検出の判定を行い、当該判定における、当該マーカ候補の前記基準画像に対する当該マーカ候補の全ての前記参照画像での認識正解率と、当該マーカ候補の前記基準画像に対する当該マーカ候補以外の前記マーカ候補の全ての前記参照画像及び当該マーカ候補以外の前記マーカ候補の全ての前記基準画像に対する当該マーカ候補の全ての前記参照画像の誤認識率とを用いて算出したものであることを特徴とするマーカ選定装置。

【請求項4】

請求項１から請求項３のいずれか１つに記載のマーカ選定装置において、
更に、
選定された前記マーカ候補について、当該マーカ候補毎に前記第１のスコアを再計算し、前記第１のスコアが最大となる閾値の範囲を求め、当該範囲にある閾値から当該マーカ候補の最終閾値を決定する閾値算出部を有することを特徴とするマーカ選定装置。

【請求項5】

複数のマーカ候補の原画像から前記マーカ候補毎に基準画像を作成する基準画像作成工程と、
前記マーカ候補の前記原画像から前記マーカ候補毎に距離に応じた複数の参照画像を作成する参照画像作成工程と、
全ての前記基準画像及び前記参照画像の特徴量を算出する画像特徴量抽出工程と、
全ての前記基準画像の前記特徴量と全ての前記参照画像の前記特徴量とを総当りで比較し、対象となる前記マーカ候補の検出又は未検出の判定の境界となる検出境界閾値を前記マーカ候補毎に求める比較判定工程と、
複数の前記マーカ候補に対して、各々、前記検出境界閾値に基づいて、前記マーカ候補の前記基準画像に対する認識安定性を示す第１のスコアを求め、前記第１のスコアが最大となる閾値を前記マーカ候補の判定用閾値として求め、前記判定用閾値に基づいて、前記マーカ候補の前記基準画像及び前記参照画像に対する認識安定性を示す第２のスコアを求め、前記第２のスコアが最低の前記マーカ候補を複数の前記マーカ候補の中から除外するスコア算出工程とを実施する共に、
複数の前記マーカ候補が所定数に減るまで前記スコア算出工程での処理を繰り返し、前記所定数の前記マーカ候補を選定することを特徴とするマーカ選定方法。

【請求項6】

請求項５に記載のマーカ選定方法において、
前記第１のスコアは、
対象とする前記マーカ候補の前記基準画像に対する全ての前記参照画像について、検出又は未検出の判定を行う閾値を変更しながら前記検出境界閾値と比較して、当該マーカ候補の検出又は未検出の判定を行い、当該判定における、当該マーカ候補の前記基準画像に対する当該マーカ候補の全ての前記参照画像での認識正解率と、当該マーカ候補の前記基準画像に対する当該マーカ候補以外の前記マーカ候補の全ての前記参照画像での誤認識率とを用いて算出することを特徴とするマーカ選定方法。

【請求項7】

請求項５又は請求項６に記載のマーカ選定方法において、
前記第２のスコアは、
対象とする前記マーカ候補の前記基準画像に対する全ての前記参照画像について、検出又は未検出の判定を行う閾値を変更しながら前記判定用閾値と比較して、当該マーカ候補の検出又は未検出の判定を行い、当該判定における、当該マーカ候補の前記基準画像に対する当該マーカ候補の全ての前記参照画像での認識正解率と、当該マーカ候補の前記基準画像に対する当該マーカ候補以外の前記マーカ候補の全ての前記参照画像及び当該マーカ候補以外の前記マーカ候補の全ての前記基準画像に対する当該マーカ候補の全ての前記参照画像の誤認識率とを用いて算出することを特徴とするマーカ選定方法。

【請求項8】

請求項５から請求項７のいずれか１つに記載のマーカ選定方法において、
更に、
選定された前記マーカ候補について、当該マーカ候補毎に前記第１のスコアを再計算し、前記第１のスコアが最大となる閾値の範囲を求め、当該範囲にある閾値から当該マーカ候補の最終閾値を決定する閾値算出工程を実施することを特徴とするマーカ選定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理を使用したマーカ認識装置で使用するマーカを、マーカ候補の中から最適なものを選定するマーカ選定装置及び方法に関する。

【背景技術】

【0002】

画像処理を使用してマーカを認識するマーカ認識装置において、カメラ入力で得られた画像から特徴量を抽出し、それを基にマーカを認識する装置及び方法がある（図１１）。図１１において、マーカ認識装置５０は、マーカを撮影するカメラ５１と、カメラ５１で撮影されて入力された入力画像とマーカ基準画像５２とから特徴量を抽出する画像特徴量抽出部５３と、入力画像の特徴量とマーカ基準画像５２の特徴量とを比較し、判定を行う比較判定部５４とを有している。このような装置及び方法の場合、使用するマーカの模様によっては認識時の特徴量の出現状況が異なるため、それに伴い、マーカの違いにより認識の安定性が大きく異なることになる。マーカ認識の安定性を向上するためには、認識しやすいマーカを選定する必要がある。

【0003】

現在のマーカを選定する方法は、以下の通りである。
［手動による方法］
複数のマーカ候補を用意し、実際にマーカ認識装置で認識させて挙動を観察し、その結果、良さそうなマーカを作業者が選択する方法。
［自動化による方法］
図１２に示す構成の通り、マーカ認識装置６０の画像特徴量抽出部６４と同じものを、マーカ選定装置７０の画像特徴量抽出部７４で使用して、マーカ選定を行う方法。

【0004】

図１２において、マーカ認識装置６０は、マーカを撮影するカメラ６１と、カメラ６１で撮影された画像を入力するカメラ入力部６２と、マーカ基準画像を読み込む基準画像読込部６３と、カメラ入力部６２に入力された入力画像と基準画像読込部６３で読み込んだマーカ基準画像とから特徴量を抽出する画像特徴量抽出部６４と、マーカ基準画像の特徴量を保存する基準画像特徴量保存部６５と、入力画像の特徴量と保存したマーカ基準画像の特徴量とを比較し、判定を行う比較判定部６６とを有している。

【0005】

又、マーカ選定装置７０は、原画像を読み込む原画像読込部７１と、原画像読込部７１で読み込んだ原画像から基準画像を作成する基準画像作成部７２と、原画像読込部７１で読み込んだ原画像から参照画像を作成する参照画像作成部７３と、基準画像作成部７２で作成した基準画像と参照画像作成部７３で作成した参照画像とから特徴量を抽出する画像特徴量抽出部７４と、基準画像の特徴量を保存する基準画像特徴量保存部７５と、参照画像の特徴量と保存した基準画像の特徴量とを比較し、判定を行う比較判定部７６と、比較、判定の集計を行う集計処理部７７と、集計処理の結果を出力する結果出力部７８とを有している。ここで、マーカ選定装置７０の画像特徴量抽出部７４は、マーカ認識装置６０の画像特徴量抽出部６４と同一である。

【0006】

マーカ選定装置７０では、複数のマーカ候補を用意し、画像特徴量抽出部７４（つまり、マーカ認識装置６０の画像特徴量抽出部６４）の認識処理部分を使用して、その複数のマーカ候補の原画像を順次読み込んで認識処理を行い、その結果から未検出率及び誤検出率のもっとも小さいものをマーカとして選択している。

【0007】

具体的には、以下の手順で行っている。
（１）図１３に示すように、全てのマーカ候補に対して、マーカ原画像から基準画像を作成する。
（２）図１３に示すように、全てのマーカ候補に対して、カメラ画像を模擬し、カメラ〜マーカ間の距離に応じた参照画像をマーカ原画像から作成する。
（３）図１４に示すように、画像特徴量抽出部７４（マーカ認識装置６０の画像特徴量抽出部６４と同じもの）を用いて、全ての基準画像に対して、全ての参照画像を総当りで認識処理を行い、合否判定を行う。
（４）合否判定を元に、未検出率、誤検出率を算出する。
（５）未検出がなく、かつ、誤検出率の低いものをマーカとして選択する。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】国際公開第２００７／００４５２１号パンフレット

【発明の概要】

【発明が解決しようとする課題】

【0009】

マーカ認識装置用のマーカを選定する方法として、手動による方法は、作業者の経験的な選択であって、確証がなく、時間のかかる方法でもある。

【0010】

上記の自動化による方法では、例えば、マーカ認識装置で複数のマーカを交換して使用したい場合、複数のマーカを選定すると、選定されたマーカ間での誤認識（例えば、マーカＡを別のマーカＢとして間違えること）が発生する。これは、誤検出率が低かったとしても、マーカ間での誤検出が起きないことにはなっていないためである。例えば、表１のようなマーカＡ〜Ｇの検出結果がでた場合、誤検出率の低いもの（マーカＢとマーカＤ）を選択しても、マーカＢをマーカＤとして検出したり、逆に、マーカＤをマーカＢとして検出したりする。

【0011】

【表1】

【0012】

複数のマーカを利用する例として、マーカ認識装置を搭載したマーカ追跡装置の場合を例に挙げる。この場合、一台のマーカ追跡装置がマーカを切り替えて使用する場合と、複数台のマーカ追跡装置がそれぞれのマーカを追跡する場合とが考えられる。まず、一台のマーカ追跡装置がマーカを切り替えて使用する場合を図１５に示す。このとき、上記のようにマーカＢとマーカＤを使用した場合、図１６に示すように、誤認識する場合がある。

【0013】

又、複数台のマーカ追跡装置がそれぞれのマーカを追跡する場合を図１７に示す。このとき、複数台のマーカ追跡装置において、使用するマーカを換えて同時に使用した場合、図１８に示すように、マーカ同士での誤認識が発生する場合がある。

【0014】

又、比較判定部でマーカかどうかを判定する閾値の設定によっては、値の大小によって未検出や誤検出が大きく変わる。例えば、類似度を計算し、それを閾値によって判定している場合、値が大きければ判定がシビアになって未検出が多くなり、小さくなれば判定が甘くなり誤検出が増加する。この閾値はマーカの特徴量の出現状況に左右されるため、選択するマーカによっては、認識の安定性が悪くなる。

【0015】

例えば、マーカＡ、マーカＣ、マーカＤの三つのマーカに対して、図１９のような類似度が得られたとする。この場合、第２閾値では三つのマーカとも「目的のマーカ」と「それ以外のマーカ」との識別が可能であるが、第１閾値ではマーカＣ、第３閾値ではマーカＤの識別ができないことになる。このため、複数のマーカを使用する場合には、同じ閾値を共通して使うことができず、又、マーカの選定前にあらかじめ閾値を決定することができない。

【0016】

なお、ここで、「類似度」について説明する。類似度を求めるには、図２０に示すように、基準画像及び参照画像の特徴量を、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）などを用いて抽出し、多次元ベクトルやバイナリとして特徴量を記述し、基準画像及び参照画像から得られた多次元ベクトル特徴量又はバイナリ特徴量を用いて、ユークリッド距離やハミング距離などを計算することで、距離の短いものを類似したものとして判断している。

【0017】

本発明は上記課題に鑑みなされたもので、認識安定性のあるマーカを複数選定することができるマーカ選定装置及び方法を提供することを目的とする。

【課題を解決するための手段】

【0018】

上記課題を解決する第１の発明に係るマーカ選定装置は、
複数のマーカ候補の原画像から前記マーカ候補毎に基準画像を作成する基準画像作成部と、
前記マーカ候補の前記原画像から前記マーカ候補毎に距離に応じた複数の参照画像を作成する参照画像作成部と、
全ての前記基準画像及び前記参照画像の特徴量を算出する画像特徴量抽出部と、
全ての前記基準画像の前記特徴量と全ての前記参照画像の前記特徴量とを総当りで比較し、対象となる前記マーカ候補の検出又は未検出の判定の境界となる検出境界閾値を前記マーカ候補毎に求める比較判定部と、
複数の前記マーカ候補に対して、各々、前記検出境界閾値に基づいて、前記マーカ候補の前記基準画像に対する認識安定性を示す第１のスコアを求め、前記第１のスコアが最大となる閾値を前記マーカ候補の判定用閾値として求め、前記判定用閾値に基づいて、前記マーカ候補の前記基準画像及び前記参照画像に対する認識安定性を示す第２のスコアを求め、前記第２のスコアが最低の前記マーカ候補を複数の前記マーカ候補の中から除外するスコア算出部とを有し、
複数の前記マーカ候補が所定数に減るまで前記スコア算出部での処理を繰り返し、前記所定数の前記マーカ候補を選定することを特徴とする。

【0019】

上記課題を解決する第２の発明に係るマーカ選定装置は、
上記第１の発明に記載のマーカ選定装置において、
前記第１のスコアは、
対象とする前記マーカ候補の前記基準画像に対する全ての前記参照画像について、検出又は未検出の判定を行う閾値を変更しながら前記検出境界閾値と比較して、当該マーカ候補の検出又は未検出の判定を行い、当該判定における、当該マーカ候補の前記基準画像に対する当該マーカ候補の全ての前記参照画像での認識正解率と、当該マーカ候補の前記基準画像に対する当該マーカ候補以外の前記マーカ候補の全ての前記参照画像での誤認識率とを用いて算出したものであることを特徴とする。

【0020】

上記課題を解決する第３の発明に係るマーカ選定装置は、
上記第１又は第２の発明に記載のマーカ選定装置において、
前記第２のスコアは、
対象とする前記マーカ候補の前記基準画像に対する全ての前記参照画像について、検出又は未検出の判定を行う閾値を変更しながら前記判定用閾値と比較して、当該マーカ候補の検出又は未検出の判定を行い、当該判定における、当該マーカ候補の前記基準画像に対する当該マーカ候補の全ての前記参照画像での認識正解率と、当該マーカ候補の前記基準画像に対する当該マーカ候補以外の前記マーカ候補の全ての前記参照画像及び当該マーカ候補以外の前記マーカ候補の全ての前記基準画像に対する当該マーカ候補の全ての前記参照画像の誤認識率とを用いて算出したものであることを特徴とする。

【0021】

上記課題を解決する第４の発明に係るマーカ選定装置は、
上記第１から第３のいずれか１つの発明に記載のマーカ選定装置において、
更に、
選定された前記マーカ候補について、当該マーカ候補毎に前記第１のスコアを再計算し、前記第１のスコアが最大となる閾値の範囲を求め、当該範囲にある閾値から当該マーカ候補の最終閾値を決定する閾値算出部を有することを特徴とする。

【0022】

上記課題を解決する第５の発明に係るマーカ選定方法は、
複数のマーカ候補の原画像から前記マーカ候補毎に基準画像を作成する基準画像作成工程と、
前記マーカ候補の前記原画像から前記マーカ候補毎に距離に応じた複数の参照画像を作成する参照画像作成工程と、
全ての前記基準画像及び前記参照画像の特徴量を算出する画像特徴量抽出工程と、
全ての前記基準画像の前記特徴量と全ての前記参照画像の前記特徴量とを総当りで比較し、対象となる前記マーカ候補の検出又は未検出の判定の境界となる検出境界閾値を前記マーカ候補毎に求める比較判定工程と、
複数の前記マーカ候補に対して、各々、前記検出境界閾値に基づいて、前記マーカ候補の前記基準画像に対する認識安定性を示す第１のスコアを求め、前記第１のスコアが最大となる閾値を前記マーカ候補の判定用閾値として求め、前記判定用閾値に基づいて、前記マーカ候補の前記基準画像及び前記参照画像に対する認識安定性を示す第２のスコアを求め、前記第２のスコアが最低の前記マーカ候補を複数の前記マーカ候補の中から除外するスコア算出工程とを実施する共に、
複数の前記マーカ候補が所定数に減るまで前記スコア算出工程での処理を繰り返し、前記所定数の前記マーカ候補を選定することを特徴とする。

【0023】

上記課題を解決する第６の発明に係るマーカ選定方法は、
上記第５の発明に記載のマーカ選定方法において、
前記第１のスコアは、
対象とする前記マーカ候補の前記基準画像に対する全ての前記参照画像について、検出又は未検出の判定を行う閾値を変更しながら前記検出境界閾値と比較して、当該マーカ候補の検出又は未検出の判定を行い、当該判定における、当該マーカ候補の前記基準画像に対する当該マーカ候補の全ての前記参照画像での認識正解率と、当該マーカ候補の前記基準画像に対する当該マーカ候補以外の前記マーカ候補の全ての前記参照画像での誤認識率とを用いて算出することを特徴とする。

【0024】

上記課題を解決する第７の発明に係るマーカ選定方法は、
上記第５又は第６の発明に記載のマーカ選定方法において、
前記第２のスコアは、
対象とする前記マーカ候補の前記基準画像に対する全ての前記参照画像について、検出又は未検出の判定を行う閾値を変更しながら前記判定用閾値と比較して、当該マーカ候補の検出又は未検出の判定を行い、当該判定における、当該マーカ候補の前記基準画像に対する当該マーカ候補の全ての前記参照画像での認識正解率と、当該マーカ候補の前記基準画像に対する当該マーカ候補以外の前記マーカ候補の全ての前記参照画像及び当該マーカ候補以外の前記マーカ候補の全ての前記基準画像に対する当該マーカ候補の全ての前記参照画像の誤認識率とを用いて算出することを特徴とする。

【0025】

上記課題を解決する第８の発明に係るマーカ選定方法は、
上記第５から第７のいずれか１つの発明に記載のマーカ選定方法において、
更に、
選定された前記マーカ候補について、当該マーカ候補毎に前記第１のスコアを再計算し、前記第１のスコアが最大となる閾値の範囲を求め、当該範囲にある閾値から当該マーカ候補の最終閾値を決定する閾値算出工程を実施することを特徴とする。

【発明の効果】

【0026】

本発明によれば、第１スコア及び第２スコアにより複数のマーカを評価すると共に、認識安定性の低いマーカを除外して、所定数のマーカを選定するので、更には、選定したマーカにおいて、当該マーカに応じて閾値を変更するので、マーカ認識装置に対して、認識安定性のあるマーカを複数選定することができる。又、経験に頼らない、再現性のあるマーカ選定を行うことができる。又、自動的に、かつ、高速にマーカ選定を行うことができる。又、複数マーカ間の誤認識が発生しないマーカ選定を行うことができる。

【図面の簡単な説明】

【0027】

【図1】本発明に係るマーカ選定装置の実施形態の一例を示す構成図である。

【図2】図１に示したマーカ選定装置の比較判定部で実施する手順を示すフローチャートである。

【図3】図１に示したマーカ選定装置のスコア算出部で実施する手順を示すフローチャートである。

【図4】図１に示したマーカ選定装置の閾値算出部で実施する手順を示すフローチャートである。

【図5】マーカ「牛」のスコア変化を示すグラフである。

【図6】各マーカの類似度の分布を示すグラフである。

【図7】マーカ「鼠」のスコア変化を示すグラフである。

【図8】マーカ「馬」のスコア変化を示すグラフである。

【図9】各マーカの類似度の分布において、マーカ毎の閾値を示すグラフである。

【図10】各マーカの類似度の分布において、閾値に対するマージンを示すグラフである。

【図11】従来のマーカ認識装置を示す構成図である。

【図12】従来のマーカ認識装置及びマーカ選定装置を示す構成図である。

【図13】マーカの基準画像と参照画像の作成を説明する図である。

【図14】基準画像と参照画像の総当たりにより認識処理を説明する図である。

【図15】一台のマーカ追跡装置でマーカを切り替えて使用する場合を説明する図である。

【図16】一台のマーカ追跡装置でマーカを切り替えて使用する場合の誤認識を説明する図である。

【図17】複数台のマーカ追跡装置を同時に使用する場合を説明する図である。

【図18】複数台のマーカ追跡装置を同時に使用する場合の誤認識を説明する図である。

【図19】各マーカの類似度と閾値の関係を示す図である。

【図20】従来のマーカ認識装置におけるマーカ判定方法を説明する図である。

【発明を実施するための形態】

【0028】

以下、本発明に係るマーカ選定装置及び方法について、図１〜図１０を参照して、その実施形態を説明する。

【0029】

［実施例１］
マーカ認識装置では、マーカの基準画像とカメラ入力画像のそれぞれの特徴点を抽出し、対応する点の数などを求めて類似度を計算し、これを基に、類似度が予め規定した閾値より大きいかどうか比較することで、対応するマーカかどうかを判定している（図２０参照）。この判定に使用する閾値を、本実施例のマーカ選定装置では、使用するマーカ毎に別々に設定することにより、マーカ間の誤認識の少ない選定結果が得られるようにしている。以下、判定に使用する閾値をどのように設定するか説明する。

【0030】

図１は、本実施例のマーカ選定装置１０を示す構成図である。マーカ選定装置１０は、マーカ候補の原画像を読み込む原画像読込部１１と、原画像読込部１１で読み込んだ原画像から基準画像を作成する基準画像作成部（工程）１２と、原画像読込部１１で読み込んだ原画像から距離に応じた参照画像を複数作成する参照画像作成部（工程）１３と、基準画像作成部１２で作成した基準画像と参照画像作成部１３で作成した参照画像とから特徴量を抽出する画像特徴量抽出部（工程）１４と、基準画像の特徴量を保存する基準画像特徴量保存部１５と、参照画像の特徴量と保存した基準画像の特徴量とを総当たりで比較し、対応するマーカの検出又は未検出の境界となる検出境界閾値を求める比較判定部（工程）１６と、認識安定性を示すスコア（第１のスコア及び第２のスコア）を計算し、計算したスコアによりマーカ候補の選定を行うスコア算出部（工程）１７と、選定したマーカ候補について、マーカ候補毎の最終閾値を算出する閾値算出部（工程）１８と、選定したマーカ候補と、それらの最終閾値を出力する結果出力部１９とを有している。

【0031】

まず、マーカ選定装置１０での手順の概略を説明する。マーカ候補の原画像を読み込む原画像読込部１１から基準画像作成部１２及び参照画像作成部１３へ画像データを渡し、それぞれで作成した基準画像及び参照画像について、画像特徴量抽出部１４で特徴量抽出を行う。基準画像の特徴量は基準画像特徴量保存部１５で保管し、比較判定部１６で参照画像の特徴量と比較し、スコア算出部１７でスコア（第１のスコア及び第２のスコア）の計算及びマーカ候補の選定を行う。その後、閾値算出部１８で選定されたマーカ候補毎に最終閾値を算出し、結果出力部１９で選定結果（選定したマーカ候補及び最終閾値）を出力している。

【0032】

そして、マーカ認識装置では、このマーカ選定装置１０で選定されたマーカ候補と共に、そのマーカ候補毎に決定された最終閾値を組み合わせて使用する。

【0033】

本実施例のマーカ選定装置１０において、マーカ選定の主要処理は、以下の三つの部分に分けられる。
（１）比較判定部１６
（２）スコア算出部１７
（３）閾値算出部１８
以下に、各部の処理方法について、図２〜図４のフローチャートを参照して説明する。

【0034】

（１）比較判定部１６
比較判定部１６での処理方法について、基準画像作成部１２、参照画像作成部１３、画像特徴量抽出部１４及び基準画像特徴量保存部１５での処理方法も含めて、図２を参照して説明する。

【0035】

（ステップＳ１）
全てのマーカ候補の原画像を用いて、基準画像作成部１２でマーカ候補毎の基準画像を作成し、作成した全ての基準画像に対して画像特徴量抽出部１４により特徴量を抽出し、基準画像の特徴量を基準画像特徴量保存部１５で保存しておく。

【0036】

（ステップＳ２）
全てのマーカ候補の原画像を用いて、参照画像作成部１３でカメラ〜マーカ間距離に応じた（大きさの異なる）参照画像を複数個作成し（例えば、５００ｍｍから２５００ｍｍまで５００ｍｍ間隔で）、作成した全ての参照画像に対して画像特徴量抽出部１４により特徴量を抽出する。

【0037】

（ステップＳ３）
比較判定部１６において、ステップＳ１で作成した全ての基準画像の特徴量と、ステップＳ２で作成した全ての参照画像の特徴量とを総当りで比較する。ここでは、図２０に示した「マーカ」（検出）又は「マーカでない」（未検出）を判定するための閾値を変化させながら比較を行い、判定が「検出」と「未検出」の境目となる閾値（検出境界閾値）を、全ての基準画像と参照画像との組み合わせで求める。

【0038】

（２）スコア算出部１７
スコア算出部１７での処理方法について図３を参照して説明する。

【0039】

（ステップＳ１１）
比較判定部１６のステップＳ３で求めた検出境界閾値を用い、全てのマーカ候補について、基準画像に対する参照画像の「検出」又は「未検出」の判定を行い、全てのマーカ候補に対して、マーカ候補毎に第１のスコアが最大になる閾値（判定用閾値）を求める。第１のスコアの求め方は、対象となるマーカ候補の基準画像に対する当該マーカ候補の全参照画像での認識正解率（％）をａ、当該マーカ候補の基準画像に対する当該マーカ候補以外のマーカ候補の全参照画像での誤認識率（％）をｂとして、このａとｂの値を用いて求める（例えば、ａ−ｂにより第１のスコアを算出）。この第１のスコアは、当該マーカ候補の基準画像の認識安定性を示すものである。

【0040】

（ステップＳ１２）
ステップＳ１１で得られた判定用閾値を用い、全てのマーカ候補について、基準画像に対する参照画像の「検出」又は「未検出」の判定を行い、全てのマーカ候補に対して、第２のスコアを計算する。第２のスコアの求め方は、対象となるマーカ候補の基準画像に対する当該マーカ候補の全参照画像での認識正解率（％）をｃ、当該マーカ候補の基準画像に対する当該マーカ候補以外のマーカ候補の全参照画像及び当該マーカ候補以外のマーカ候補の基準画像に対する当該マーカ候補の全参照画像での誤認識率（％）をｄとして、このｃとｄの値を用いる（例えば、ｃ−ｄにより第２のスコアを算出）。この第２のスコアは、当該マーカ候補の基準画像及び参照画像の認識安定性を示すものである。

【0041】

（ステップＳ１３）
ステップＳ１２で得られた第２のスコアに基づき、第２のスコアが最も低いマーカ候補を複数のマーカ候補の中から除外する。マーカ候補の除外について、第２のスコアが同じ最低値のマーカ候補が複数ある場合には、（１）マーカ候補に設定した優先順位順、（２）ランダム、（３）マーカ候補の登録順などの方法により、１つずつ削除する。このように、マーカ候補の除外は、１つずつ行う方が良い。これは、第１のスコア及び第２のスコアがマーカ候補同士で依存しあっているためである。例えば、第２のスコアが最低値のマーカ候補の誤認識の影響が、その次に低い値のマーカ候補などに影響を与えていると、場合によっては、第２のスコアが最低値のマーカ候補を１つだけ削除した場合と、まとめて２つ削除した場合では、結果が異なることがあるためである。

【0042】

（ステップＳ１４）
マーカ候補数が目的の個数であるかどうか確認し、マーカ候補数が目的の個数になるまで、ステップＳ１１〜Ｓ１３を繰り返す。つまり、スコア算出部１７では、目的の個数のマーカ候補を選定することになる。

【0043】

（３）閾値算出部１８
閾値算出部１８での処理方法について図４を参照して説明する。

【0044】

（ステップＳ２１）
スコア算出部１７で選定されたマーカ候補それぞれに対して、第１のスコアが最大になる閾値の範囲を求める。つまり、比較判定部１６のステップＳ３で求めた検出境界閾値を用い、選定されたマーカ候補について、基準画像に対する参照画像の「検出」又は「未検出」の判定を行い、選定されたマーカ候補に対して、第１のスコアを計算する。この第１のスコアの算出方法は、スコア算出部１７のステップＳ１１の方法と同一である。

【0045】

（ステップＳ２２）
ステップＳ２１で求められた閾値範囲からマーカ候補毎に設定する閾値（最終判定用閾値）を決定する。例えば、閾値範囲の中間値などを最終判定用閾値として決定する。

【0046】

（ステップＳ２３）
選定結果、即ち、選定したマーカ候補及び最終閾値を出力する。

【0047】

以上の方法により、誤検出の少ない複数のマーカの選択が可能になる。

【0048】

次に、本実施例のマーカ選定装置及び方法を用いた具体例を以下に示す。

【0049】

ここでは、「鼠」、「牛」、「寅」、「兎」、「龍」、「蛇」、「馬」、「羊」、「猿」、「鶏」、「犬」、「猪」の１２個のマーカ候補から、最終的に６つのマーカ候補を選定するとする。参照画像は、カメラ〜マーカ間距離として、５００ｍｍ、１０００ｍｍ、１５００ｍｍ、２０００ｍｍを模擬して作成する。

【0050】

比較判定部１６では、上述したように、検出境界閾値を求めるが、その結果は表２に示す通りとなった。この表２では、基準画像と参照画像それぞれで得られた特徴点が対応する数（対応点数）を示しており、この対応点数によって「検出」又は「未検出」の判断をしており、この対応点数が「検出境界閾値」となる。対応点数は、数が多いほど類似しているため、「類似度」といえる。

【0051】

この表２の中で、例えば、「鼠」の基準画像を使って「鼠 ５００ｍｍ」の参照画像に対して比較判定処理を行った場合、４５個の対応点数が得られているので、閾値を検出境界閾値４５以下にすると「検出」となり、４５より大きくすると「未検出」となる。同様に、「牛 １５００ｍｍ」の参照画像の場合は、閾値を検出境界閾値４以下にすると「検出」となり、４より大きくすると「未検出」となる。

【0052】

【表2】

【0053】

スコア算出部１７では、まず、マーカ候補毎に第１のスコアが最大になる閾値（判定用閾値）を求める。具体的には、閾値を上下させ、比較判定部１６で求めた検出境界閾値と比較することで、基準画像と参照画像の組み合わせ毎に「検出」又は「未検出」の判定を行い、その判定結果に基づいて、第１のスコアを計算する。ここでは、認識正解率（％）ａと誤認識率（％）ｂから、第１のスコアを「ａ−ｂ」として算出している。そして、表２の検出境界閾値に基づいて、第１のスコアが最大となる閾値（判定用閾値）を求めたものが表３である。閾値を変化させると、判定結果が変化し、第１のスコアも変化するので、第１のスコアが最大となったときの閾値（判定用閾値）を求めることができる。

【0054】

【表3】

【0055】

例えば、「牛」の場合、図５に示すように、閾値が１４のときに最大値となっている。具体的には、「牛」の場合、閾値が１４のときには、表４に示すように、認識正解率ａ＝１００％（＝４個／総数４個）、誤認識率ｂ＝９．１％（＝４個／総数４×１１個）により、スコア（ａ−ｂ）＝９０．９となっている。

【0056】

【表4】

【0057】

そして、表３の判定用閾値に基づいて、基準画像と参照画像の組み合わせ毎に「検出」又は「未検出」を判定した結果が表５である。

【0058】

【表5】

【0059】

この表５の判定結果に基づいて、第２のスコアを計算する。ここでは、認識正解率（％）ｃと誤認識率（％）ｄから、第２のスコアを「ｃ−ｄ」として算出している。このときの第２のスコアの計算は、例えば、「寅」の場合、次のようになる。まず、認識正解率ｃは、４個／総数４個から１００％である。又、誤認識率ｄは、基準画像が「寅」のものについて誤認識が７個、参照画像が「寅」のものについて誤認識が２個、合計が９個であるため、９個／（総数４×１１×２個）から１０．２％となる。よって、第２のスコアは１００−１０．２＝８９．８となる。同様に、他のマーカ候補も計算し、高いスコア順に並び替えると、表６のようになる。

【0060】

【表6】

【0061】

このうち、第２のスコアが最低のマーカ候補「羊」をマーカ候補から除外し、１回目のスコア算出部１７での処理が完了する。

【0062】

マーカ候補「羊」をマーカ候補から除外して、同様の計算を行った２回目の処理結果を表７に示す。表７中の判定用閾値は、２回目の処理において、マーカ候補毎の第１のスコアが最大になる閾値を示している。

【0063】

【表7】

【0064】

２回目の結果、第２のスコアが最低のマーカ候補「猪」がマーカ候補から除外される。

【0065】

更に、マーカ候補「猪」をマーカ候補から除外して、同様の計算を行った３回目の処理結果を表８に示す。表８中の判定用閾値は、３回目の処理において、マーカ候補毎の第１のスコアが最大になる閾値を示している。

【0066】

【表8】

【0067】

３回目の結果、第２のスコアが最低のマーカ候補「兎」がマーカ候補から除外される。

【0068】

更に、マーカ候補「兎」をマーカ候補から除外して、同様の計算を行った４回目の処理結果を表９に示す。表９中の判定用閾値は、４回目の処理において、マーカ候補毎の第１のスコアが最大になる閾値を示している。

【0069】

【表9】

【0070】

４回目の結果、第２のスコアが最低のマーカ候補「寅」がマーカ候補から除外される。

【0071】

更に、マーカ候補「寅」をマーカ候補から除外して、同様の計算を行った５回目の処理結果を表１０に示す。表１０中の判定用閾値は、５回目の処理において、マーカ候補毎の第１のスコアが最大になる閾値を示している。

【0072】

【表10】

【0073】

５回目の結果、第２のスコアが最低のマーカ候補は「龍」と「鶏」で同率であった。この場合、何らかの基準により、どれか１つを除外するようにする。例えば、マーカ候補の登録順を優先したりする。この場合は、「鶏」をマーカ候補から除外した。

【0074】

更に、マーカ候補「鶏」をマーカ候補から除外して、同様の計算を行った６回目の処理結果を表１１に示す。表１１中の判定用閾値は、６回目の処理において、マーカ候補毎の第１のスコアが最大になる閾値を示している。

【0075】

【表11】

【0076】

６回目の結果、第２のスコアが最低のマーカ候補「犬」がマーカ候補から除外される。

【0077】

最終的に選定された６個のマーカ候補について、同様の計算を行った７回目の処理結果を表１２に示す。表１２中の判定用閾値は、７回目の処理において、マーカ候補毎の第１のスコアが最大になる閾値を示している。

【0078】

【表12】

【0079】

以上の結果より、基準画像で「馬」を使用したときに、「龍 ５００ｍｍ」の参照画像を誤認識する以外は良好な結果となっている。

【0080】

続いて、閾値算出部１８では、選定されたマーカ候補について最終閾値を決定する。表２の通り、既に、全てのマーカ候補について、マーカ候補毎の類似度が求まっており、選定されたマーカ候補について、マーカ候補毎の類似度を示すと表１３の通りとなる。そして、基準画像と同じ参照画像との類似度と、基準画像と異なる参照画像との類似度をグラフに示すと、図６の通りとなる。

【0081】

【表13】

【0082】

ここで、選択されたそれぞれのマーカ候補に対して、スコア算出部１７のステップＳ１１の方法を用いて、第１のスコアが最大になる閾値の範囲を求める。例えば、「鼠」の場合は、図７に示すとおり、閾値が２０〜２２の範囲で最大値１００となっている。又、「馬」の場合、図８に示すとおり、閾値が２０〜２２の範囲で最大値９５となっている。以上により、第１のスコアが最大になる閾値範囲は、表１４の通りとなる。

【0083】

【表14】

【0084】

これより、選択されたそれぞれのマーカ候補の最終閾値は、表１４の閾値範囲から選定することになる。例えば、中間値を選択した場合、表１５の通りの最終閾値が決定する。

【0085】

【表15】

【0086】

図６に対し、中間値とした最終閾値を示すと図９の通りとなる。

【0087】

以上のように、マーカ候補毎に閾値を設定することにより、認識安定性を得ることができる。これは、類似度の閾値を固定値で処理した場合、低めに設定すると、未検出率は低下するが、誤検出率が増加し、逆に、高めに設定すると、誤検出率は低下するが、未検出率が増加するためであり、選定したマーカ候補によって、特徴量の出方が異なるため、閾値をマーカ候補に応じて変更したためである。

【0088】

又、第１のスコアが最大値となる閾値範囲の中間値を最終閾値として設定することで、図１０に示すように、マーカ検出の余裕（マージン）が生じ、正しい物とそうでない物の境界が明確になるため、マーカ認識の安定性が得られる。最終閾値の決定は、一旦、マーカ候補の選定を行った後に行う必要がある。これは、選定されたマーカ候補間での誤認識を減らすためである。

【産業上の利用可能性】

【0089】

本発明は、画像処理を使用したマーカ認識装置に対し、最適なマーカ候補を選定するマーカ選定装置に好適なものである。

【符号の説明】

【0090】

１０ マーカ選定装置
１１ 原画像読込部
１２ 基準画像作成部
１３ 参照画像作成部
１４ 画像特徴量抽出部
１５ 基準画像特徴量保存部
１６ 比較判定部
１７ スコア算出部
１８ 閾値算出部
１９ 結果出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】