特許 6233842 情報端末装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6233842

(24)【登録日】2017年11月2日

(45)【発行日】2017年11月22日

(54)【発明の名称】情報端末装置、方法及びプログラム

(51)【国際特許分類】

   G06T 3/00 20060101AFI20171113BHJP

   G06K 7/14 20060101ALI20171113BHJP

【ＦＩ】

   G06T3/00 735

   G06K7/14 039

【請求項の数】15

【全頁数】14

(21)【出願番号】特願2014-26910(P2014-26910)

(22)【出願日】2014年2月14日

(65)【公開番号】特開2015-153190(P2015-153190A)

(43)【公開日】2015年8月24日

【審査請求日】2016年7月29日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】加藤 晴久

【審査官】 石田 信行

(56)【参考文献】

【文献】 特開２００７−０５８６３４（ＪＰ，Ａ）

【文献】 特開２００６−１４８４４２（ＪＰ，Ａ）

【文献】 特開２０１０−０６２９１１（ＪＰ，Ａ）

【文献】 特開２０１３−１０８９３３（ＪＰ，Ａ）

【文献】 特開２００２−３０４５９７（ＪＰ，Ａ）

【文献】 特開２００５−１２２３２８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ３／００

Ｇ０６Ｔ ５／００

Ｇ０６Ｔ ７／６０

Ｇ０６Ｋ ７／１４

(57)【特許請求の範囲】

【請求項1】

予め既知の抽出対象を撮像する撮像部を有する情報端末装置であって、
前記撮像部から入力される画像から、前記抽出対象の特徴領域を抽出する抽出部と、
前記特徴領域から特徴候補を選択し、前記抽出対象に対応付けて撮像画像の歪みを補正し、当該補正画像と前記抽出対象とを比較することで最適な特徴候補を選別し、当該最適な特徴候補に対応する補正画像を出力する補正部と、を備え、
前記抽出部は、点座標若しくは線分係数の抽出精度の信頼性に応じて前記特徴領域の範囲を変化させる機能を有する
ことを特徴とする情報端末装置。

【請求項2】

前記抽出部は、撮像部で撮像された画像から認識対象における特徴的な点及び／又は特徴的な線を抽出することに基づいて前記特徴領域を抽出する請求項１に記載の情報端末装置。

【請求項3】

前記抽出部は、前記抽出した点及び／又は線の近傍領域として、前記特徴領域を抽出することを特徴とする請求項２に記載の情報端末装置。

【請求項4】

前記抽出部は、前記抽出対象の既知の色を含む領域を閾値処理又は領域分割で抽出することに基づいて前記特徴領域を抽出することを特徴とする請求項１ないし３のいずれかに記載の情報端末装置。

【請求項5】

前記抽出部は、前記抽出した既知の色を含む領域の頂点及び／又は辺の近傍領域を前記特徴領域として抽出することを特徴とする請求項４に記載の情報端末装置。

【請求項6】

前記抽出部は、前記特徴的な点及び／又は特徴的な線を抽出するに際し、当該抽出の精度に応じて、当該精度が悪いほどより広い領域として、前記特徴領域を抽出することを特徴とする請求項２又は３に記載の情報端末装置。

【請求項7】

前記補正部は、前記補正画像と前記抽出対象とを比較し、その相違を最小とするものとして、前記最適な特徴候補を選別することを特徴とする請求項１ないし６のいずれかに記載の情報端末装置。

【請求項8】

前記補正部は、前記選択した特徴候補をそれぞれ、前記抽出対象の所定の点及び／又は線に対応付け、当該対応付けのもとで、前記特徴候補と前記所定の点及び／又は線と、を互いに変換する所定変換式の係数を求め、当該係数の適用によって前記撮像画像の歪みを補正して前記補正画像を得ることを特徴とする請求項１ないし７のいずれかに記載の情報端末装置。

【請求項9】

前記特徴候補は点であり、
前記補正部は、前記選択した特徴候補に前記係数を適用した点と、対応する前記抽出対象の所定の点と、の距離の総和に基づき、前記比較を行うことを特徴とする請求項８に記載の情報端末装置。

【請求項10】

前記補正部は、前記補正画像における抽出対象の角度と、対応する前記既知の抽出対象の所定の角度と、の差に基づき、前記比較を行うことを特徴とする請求項８に記載の情報端末装置。

【請求項11】

前記補正部は、複数の特徴領域の各々における複数の特徴候補の中から組み合わせとして前記最適な特徴候補を選別するに際して、特定の特徴領域における特徴候補だけ変化させ、他の特徴領域の特徴候補を固定した上で、該特徴領域における一時的な最適特徴候補を決定する手順を、順繰りに全ての特徴領域に適用することで、全体としての最適特徴を選別することを特徴とする請求項１ないし１０のいずれかに記載の情報端末装置。

【請求項12】

前記補正部は、複数の特徴領域の各々における複数の特徴候補の中から組み合わせとして前記最適な特徴候補を選別するに際して、予め、輝度変化が共通している特徴候補同士に絞り込みを実施することを特徴とする請求項１ないし１１のいずれかに記載の情報端末装置。

【請求項13】

さらに、前記補正画像において、前記抽出対象に対して所定の配置関係にある認識対象を認識する認識部を備えることを特徴とする請求項１ないし１２のいずれかに記載の情報端末装置。

【請求項14】

予め既知の抽出対象を撮像する撮像部を有する情報端末装置の動作する方法であって、
前記撮像部から入力される画像から前記抽出対象の特徴領域を抽出するに際して、前記撮像部で撮像された画像から認識対象における特徴的な点及び／又は特徴的な線を抽出し、当該抽出の精度に応じて、当該精度が悪いほどより広い領域として、前記特徴領域を抽出する抽出ステップと、
前記特徴領域から特徴候補を選択し、前記抽出対象に対応付けて撮像画像の歪みを補正し、当該補正画像と前記抽出対象とを比較することで最適な特徴候補を選別し、当該最適な特徴候補に対応する補正画像を出力する補正ステップと、を備えることを特徴とする方法。

【請求項15】

コンピュータを請求項１ないし１３のいずれかに記載の情報端末装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像部により撮像された画像を補正する情報端末装置、方法及びプログラムに関し、特に、抽出対象の形状から画像を補正する際に、該対象の特徴候補から最適な特徴を選別することで補正精度を高める情報端末装置、方法及びプログラムに関する。

【背景技術】

【0002】

画像から文字やバーコードを認識する装置は、配布や提示が容易な媒体に記載されたアナログ情報からデジタル情報に変換させることが可能であり、利用者の利便性を向上させることができる。

【0003】

しかし、情報の読み取りに携帯端末を利用する場合は、利用者の撮影の仕方が認識精度に影響される。認識精度を向上させる装置を実現する技術としては、以下のようなものが公開されている。

【0004】

特許文献１では、画像にウェーブレット変換を行ってエッジを抽出し、抽出したエッジの中から高周波強度が所定値以上のエッジを選別し、選別したエッジに対してハフ変換を行って直線を抽出し、抽出した直線の中から基準線を特定し、特定の向きの直線が所定数以上含まれる領域を候補領域として特定し、候補領域に対してパターンマッチングを行ってコードを検出するコード検出装置が開示されている。

【0005】

特許文献２では、バーコードの各バーの輪郭位置のノイズ除去を制限するとともに、複数の読取線からバーコードのバー及びスペースの配置を読み取り、バー及びスペースの本来の配列から生じた情報を有効に活用して、バーコードの認識率を向上させる装置が開示されている。

【0006】

特許文献３では、帳票の罫線を検出し、黒画素を囲む最小矩形を切り出すことによって文字列を抽出する。抽出された文字列から罫線の傾きに沿って各文字を切り出し、切り出された各文字を認識する。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００８−２８２３３９号公報

【特許文献2】特開２００９−１５７５３２号公報

【特許文献3】特開２００７−３２８８３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１のコード検出装置および特許文献２のバーコード認識率向上装置、特許文献３の帳票認識装置では、撮像系に起因するノイズを除去しているが、利用者の撮像スキルに起因するノイズは対応できないという課題がある。また、奥行き方向の歪みには対応できないという問題がある。さらに、焦点ボケや動きボケが発生すると、形状を構成するエッジの位置が安定せず、正確な領域を特定できないという問題がある。

【0009】

本発明の目的は、上記従来技術の課題に鑑み、撮像した画像から撮像対象を高精度に補正できる情報端末装置、方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0010】

上記目的を達成するため、本発明は、予め既知の抽出対象を撮像する撮像部を有する情報端末装置であって、前記撮像部から入力される画像から、前記抽出対象の特徴領域を抽出する抽出部と、前記特徴領域から特徴候補を選択し、前記抽出対象に対応付けて撮像画像の歪みを補正し、当該補正画像と前記抽出対象とを比較することで最適な特徴候補を選別し、当該最適な特徴候補に対応する補正画像を出力する補正部と、を備え、 前記抽出部は、点座標若しくは線分係数の抽出精度の信頼性に応じて前記特徴領域の範囲を変化させる機能を有することを特徴とする。

【0011】

また、本発明は、予め既知の抽出対象を撮像する撮像部を有する情報端末装置の動作する方法であって、前記撮像部から入力される画像から前記抽出対象の特徴領域を抽出するに際して、前記撮像部で撮像された画像から認識対象における特徴的な点及び／又は特徴的な線を抽出し、当該抽出の精度に応じて、当該精度が悪いほどより広い領域として、前記特徴領域を抽出する抽出ステップと、前記特徴領域から特徴候補を選択し、前記抽出対象に対応付けて撮像画像の歪みを補正し、当該補正画像と前記抽出対象とを比較することで最適な特徴候補を選別し、当該最適な特徴候補に対応する補正画像を出力する補正ステップと、を備えることを特徴とする。

【0012】

さらに、本発明は、コンピュータを上記情報端末装置として機能させるプログラムであることを特徴とする。

【発明の効果】

【0013】

本発明によれば、抽出対象の特徴領域を抽出し、当該特徴領域から特徴候補を選択し、撮像画像の歪みを補正して得た補正画像と予め既知の抽出対象との比較で、当該選択される候補の中から最適な特徴候補を選別するので、撮像画像に外乱が加わる場合であっても、高精度な補正が可能となる。

【図面の簡単な説明】

【0014】

【図1】一実施形態に係る情報端末装置の機能ブロック図である。

【図2】別の一実施形態に係る情報端末装置の機能ブロック図である。

【図3】特徴領域を抽出される抽出対象と、認識対象と、それらの間の相対的位置関係と、の模式的な例を示す図である。

【図4】撮像画像及び特徴領域の模式図である。

【図5】補正部における一処理として、特徴領域から特徴候補を選択する処理の例を示す図である。

【図6】補正部における一処理として、特徴候補の組み合わせのうち、相違を最小とするものを決定する処理を概念的に示す図である。

【図7】一実施形態に係る、最適な特徴候補組み合わせ決定のフローチャートである。

【図8】一実施形態に係る、特徴候補組み合わせの中から限定を行うことの意義を説明するための図である。

【発明を実施するための形態】

【0015】

以下、図面を参照して本発明を説明する。以下では、情報端末装置として携帯端末を利用し、撮像対象を任意の画像とする場合について説明する。しかし、本発明の情報端末装置は、携帯端末に限られるものではなく、撮像部を備えたものであればどのような情報端末装置でもよく、例えば、デスクトップ型、ラップトップ型又はその他のコンピュータなどでもよい。

【0016】

図１は、一実施形態に係る情報端末装置の機能ブロック図である。情報端末装置10は、撮像部1、抽出部2及び補正部3を備える。当該各部の概要は以下の通りである。

【0017】

撮像部1は、撮像対象を撮像して、その撮像画像を抽出部2および補正部3へ出力する。撮像対象には抽出部2によって抽出される予め既知の抽出対象が含まれる。抽出対象は例えば、色特徴等が既知の正方形状であり、マーカーや印刷物等であってよい。撮像部1としては、携帯端末に標準装備されるデジタルカメラを用いることができる。

【0018】

抽出部2は、撮像部1で撮像された画像から抽出対象の特徴領域を抽出する。当該抽出する特徴領域には、抽出対象におけるコーナーなどの特徴的な点の近傍領域や、エッジなどの特徴的な線の近傍領域を利用できる。抽出部2において抽出された特徴領域は補正部3へ出力する。抽出部2の詳細は後述する。

【0019】

補正部3は、抽出部2で抽出された特徴領域を用いて、撮像部1で撮像された撮像画像の歪みを補正し、認識処理に適した補正画像を生成する。補正部での処理の詳細は後述する。

【0020】

図２は、別の一実施形態に係る情報端末装置10の機能ブロック図であり、図１の構成に加えてさらに情報端末装置10が認識部4を備えているが、その他の構成は図１と同一である。図２の実施形態においては、補正部3において補正された補正画像は、認識部4へ出力する。

【0021】

認識部4は、補正部3で補正された画像から認識対象を認識する。認識対象は、抽出対象と同一でもよいし、別の対象でもよい。認識部4は、第一処理として、抽出部2で抽出された特徴領域を基準としての相対的な位置関係により、補正画像から認識部の認識対象領域を切り出す。

【0022】

図３は、当該特徴領域を抽出される抽出対象と、認識対象と、それらの間の相対的位置関係と、の模式的な例を示す図である。(1)の例では、抽出対象R1は黒一色からなる正方形であり、認識対象E1は図示するように、予め定まったR1との相対的位置関係として、当該抽出対象R1の正方形と1頂点及び2辺を共有して所定倍率拡大された正方形の領域を占めている。ここで、抽出対象R1の占める正方形としての領域は、抽出された特徴領域に基づいて把握されているので、上記予め定まった相対的位置関係によって、認識対象の領域E1が定めることが可能となる。

【0023】

同様に、図３の(2)の例では、抽出対象R2は黒色の正方形状の枠組みであり、認識対象E2はその内部に形成された正方形状であり、当該両者の間には予め定まった相対的位置関係が存在している。なお、以上の図３の例では、認識対象E1やE2はその領域しか示していないが、実際には当該領域に、認識対象として例えば文字列や1次元コード、2次元コードといったようなものが配置される。

【0024】

なお、図３の例でも示したように、相対的位置情報を、抽出された特徴領域の大きさの比率として表現することで、入力画像の解像度に依存せず認識対象領域を抽出することが可能となる。

【0025】

認識部4は次に、第二処理として、その領域が抽出された認識対象を認識し、認識結果を得る。認識対象が文字列の場合、OCR(光学文字認識)等の既存手法を利用できる。ここで、抽出によってその領域を定めることで、認識対象以外を排除することで、入力画像に直接OCR等を適用するよりも高精度に認識可能となる。また、認識対象が1次元コードや2次元コードその他である場合も、対応する既存手法を利用することができ、同様に認識対象以外の領域を解析対象から排除して、高精度な認識が可能となる。

【0026】

以上、図１及び図２の各部の概要を説明した。なお、抽出部2、補正部3、認識部4のいずれか若しくは全てを、情報端末装置10が備えるのではなく、別途のサーバーに設置する構成を取ることもできる。

【0027】

次に、抽出部2における処理の詳細を説明する。

【0028】

抽出部2は、まず、形状情報および位置情報として、抽出対象の複数の特徴的な点座標若しくは線分係数を抽出する。抽出手法としては、第一手法として、SIFT(Scale-Invariant Feature Transform)やSURF(Speeded Up Robust Features)などの特徴的な点を抽出する既存手法が利用できる。別の抽出手法では、第二手法として、抽出対象の色を含む領域を閾値処理若しくは領域分割で抽出し、該領域の頂点や辺を利用する。領域分割は、Watershed や Floodfill等の既存手法を利用できる。

【0029】

抽出部2は、次に、上記第一手法を利用した場合には、抽出された点若しくは線分に対して、その近傍領域を特徴領域として設定する。また、上記第二手法を利用した場合には、抽出された領域を構成する頂点若しくは辺を特定したうえで、同様に、その近傍領域を特徴領域として設定する。

【0030】

上記設定される特徴領域は、予め定めてある範囲として設定することができる。例えば、抽出された点(X, Y)について、当該点を中心とした所定半径rの円の内部{(x, y)|d(x-X, y-Y)≦r}（ここでdは距離関数）を特徴領域とすることができる。また例えば、抽出された傾きa,切片bの線分(y=ax+b)について、当該線分係数(a, b)を一定範囲で変動させた一連の線分の通過領域を、特徴領域とすることができる。

【0031】

あるいは、上記設定される特徴領域は、点座標若しくは線分係数の抽出精度の信頼性に応じて、範囲を変化させることもできる。例えば、ボケの影響を考慮して輝度変化に反比例するように設定することで、信頼性が高い点の近傍領域は狭く、信頼性が低い点の近傍領域は広くすることが望ましい。

【0032】

例えば、上記抽出された点(X, Y)については、当該点を中心として所定半径r内の領域で輝度変化を調べ、当該輝度変化の度合いに反比例する、あるいは単調減少する値の半径を有し、当該点を中心とした領域を特徴領域としてよい。線分係数を抽出した場合も、当該係数を一定範囲で変動させた範囲で輝度変化を調べて、同様に特徴領域を設定すればよい。

【0033】

図４に、撮像画像および特徴領域の模式図を示す。図４では、(1)が撮像画像の例を、(2)が、当該撮像画像の例に対応する、点の近傍領域としての特徴領域の例を、(3)が、当該撮像画像の例に対応する、線分の近傍領域としての特徴領域の例を、それぞれ示している。なお、(2)及び(3)では、特徴領域を示すに際して、その境界を白色の線として明示することによって示すための便宜上、背景を(1)とは異なりグレーに加工してある。

【0034】

図４の(1)の例では、撮像されている抽出対象は、図３のR1として示したように、黒一色の正方形状である。しかしながら、正面から撮像されていないため、図示するような奥行方向への変形が生じており、また、ボケによって明確なエッジ等が失われている。当該(1)のような撮像画像においては、本来の黒一色の正方形状としての抽出対象を抽出する際、特徴的な点座標や線分情報を抽出したとしても、ボケやノイズによって真値からのズレは避けられない。そこで、当該ズレを吸収するための領域が、本発明において設定される特徴領域である。

【0035】

そして、図４の(2)及び(3)ではそれぞれ、抽出された点座標及び線分係数の近傍領域に真値があるものと仮定して、信頼度に応じた近傍領域を特徴領域として設定した例を示している。(2)では、抽出された4頂点の点座標に対する特徴領域C21〜C24のうち、特に、特徴領域C23が信頼度の低いものとして、その他よりも広い領域として設定されている。(3)では、抽出された4辺の線分係数に対する特徴領域C31〜C34のうち、特に、特徴領域C33が信頼度の低いものとして、その他よりも広い領域として設定されている。

【0036】

抽出部2は以上のようにして特徴領域を求め、最後に補正部3へと出力する。次に、補正部3における処理の詳細を説明する。

【0037】

補正部3は、抽出部2によって得られた点座標若しくは線分係数は、ボケやテカリ等の外乱によって真値を得ることが困難であるという前提に立ち、点座標若しくは線分係数の近傍から選択した特徴候補が抽出対象を正確に再構成できるか否か判断基準とすることで、このような考えに基づいて、補正部3は、具体的には以下（処理１）〜（処理５）の処理を行う。

【0038】

補正部3は、まず、（処理１）前記特徴領域ごとに抽出対象の該当領域と対応付けする。次に、（処理２）特徴領域から特徴候補を選択し、対応関係をもとに撮像された画像を正面から見た画像へと変換する。続いて、（処理３）変換した画像における特徴候補と抽出対象において該特徴候補に対応する特徴との相違を算出する。このとき、（処理４）特徴領域から選択する特徴候補を変化させ、相違が最小となる特徴候補を特徴として採用する。最後に、（処理５）当該採用された特徴によって変換された画像を補正された画像として認識部4へ出力する。

【0039】

以下、（処理１）〜（処理４）の詳細を説明する。

【0040】

（処理１）では、特徴領域の各々が、予め既知の抽出対象のどの領域に対応するかが特定される。図３にR1として示したような黒一色の正方形状であれば、図４に示したように、(2)の例であれば、特徴領域C21,C22,C23,C24が、この順番で周囲を囲む形で、正方形状の4頂点に対応する領域となっていることが特定される。(3)の例でも同様である。

【0041】

当該特定は、予め既知の抽出対象の形状情報及び位置情報を利用して、抽出部2での抽出結果と整合するものとして、特定することができる。また、その他の情報も利用してよく、例えば、抽出対象において形状情報及び位置情報と紐付く形で色情報が既知であれば、当該色情報も利用して特定してよい。

【0042】

図５は、（処理２）における特徴領域から特徴候補を選択することの例を示す図である。図５では、図４の(2)の特徴領域の例C21〜C24に対して、それぞれ特徴候補P21〜P24が選択された例が示されている。

【0043】

（処理２）における特徴候補には、座標点の近傍として設定された特徴領域の場合であれば、当該特徴領域に属する全ての点が選択対象となり、線分の近傍として設定された特徴領域であれば、同様に、当該特徴領域に属する全ての線分が選択対象となる。従って、特徴領域がM個あって、j(j=1, 2, …, M)番目の特徴領域にN[j]個の特徴候補があるとすると、特徴候補を選択する組み合わせ総数はN[1]*N[2]*…*N[M]通り存在する。本発明においては、以下の処理により、当該組み合わせの中から最適と判定できるものを決定することで、外乱に頑健な補正を実現する。

【0044】

（処理２）ではさらに、上記選択した特徴候補が、（処理１）で特定された対応関係のもとで既知の抽出対象の特徴点座標又は線分係数に対応するものとして、撮像された画像を正面から見た画像へと変換する。当該変換のために、M個の特徴領域からそれぞれ選択されたM個の特徴候補座標を(x_j, y_j) (1≦j≦M)、これに対応する抽出対象における予め既知の点座標を(x_j', y_j') (1≦j≦M)とし、予め設定した変換式において両者が一致するような変換係数a_k (1≦k≦m, m≦2M)を求める。

【0045】

予め設定した変換式として、次式の射影変換の式を利用するとき、変換係数a_kを求めるためには、m=2Mでは2M元連立方程式として解くことができる。m<2Mでは最小二乗法で解くこともできる。

【0046】

【数1】

【0047】

以上のようにして得られた変換係数を画像全体若しくは認識対象を含む部分画像に適用し、撮像時に生じた歪みを補正することで、（処理２）が完了する。

【0048】

（処理３）における相違の算出には、一実施形態として、以下の式のように、前記変換式を特徴候補に適用した座標と抽出対象の対応する座標との距離の総和 e_dを利用することができる。

【0049】

【数2】

【0050】

また、（処理３）における相違の算出には、別の一実施形態として、以下の式のように、前記変換式を特徴候補に適用した角度と抽出対象の対応する角度θの差の絶対値和e_aを利用することができる。

【0051】

【数3】

【0052】

なお、以上の（処理２）及び（処理３）は特徴候補が点である場合の各計算を説明したが、線分である場合も同様の計算が可能である。

【0053】

（処理４）では、特徴候補の組み合わせの各々のうち、以上の（処理１）〜（処理３）で算出される相違を最小となるものを決定する。図６は、当該相違が最小となるものを決定する処理を概念的に示すための図である。図６では、(1)〜(4)に示すような第一〜第四の特徴候補の選択組み合わせの中から、(4)に示す第四候補が、最も相違を小さくするものとして採用された例が示されている。

【0054】

図６では概念的な例として４通りのみの比較を示したが、（処理２）で説明したように、実際に存在する組み合わせ総数はN[1]*N[2]*…*N[M]通りである。当該総数が少ない場合は、全てについて調べて最小となるものを決定してよいが、総数が多い場合は、以下のような種々の実施形態（４−１）〜（４−３）で計算回数を減らすことも可能である。

【0055】

（４−１）一実施形態では、特徴領域ごとに最適な特徴候補を決定する。その概要は次の通りである。

【0056】

まず、ある特徴領域の特徴候補を全てチェックする際に、他の特徴領域の特徴候補は固定しておく。次に、当該特徴領域において相違が最小となる特徴候補が決定した後は、当該特徴領域の特徴として固定する。続いて、他の特徴領域からひとつの特徴領域を選択し、選択された特徴領域以外の特徴領域の特徴候補を固定した上で、選択された特徴領域の特徴候補を全てチェックする。同様に、ひとつひとつの特徴領域において相違が最小となる特徴を確定しながら、全ての特徴領域に適用する。全ての特徴が確定した後、再び最初から反復することで全体的に相違が最小となる特徴の組み合わせが得られる。

【0057】

図７は、当該一実施形態による最適な特徴候補組み合わせ決定のフローチャートである。当該フローを説明するために、記号を次のように定める。（処理２）での説明と同様に、特徴領域がM個あり、j番目の特徴領域にN[j]個の特徴候補があるものとする。そして、特徴候補P[i,j](1≦i≦N[j], 1≦j≦M)を、j番目の特徴領域のi番目の特徴候補とし、当該i,jを、フロー制御のカウンタ変数とする。

【0058】

ステップS1では、候補組み合わせCを初期値{P[1,1], P[1,2], P[1,3],…,P[1,M]}として設定し、ステップS20に進む。以降、当該初期値を与えられた候補組み合わせCがステップS5を通過するごとに更新されることによって、最終的な最適組み合わせが決定される。

【0059】

ステップS20では特徴領域のカウンタ変数jをj=1と初期値に設定し、ステップS30へ進む。こうして、以降のステップS21にj=Mとなって到達するまで、S30〜S21が繰り返される。

【0060】

ステップS30では、特徴候補のカウンタ変数iをi=1と初期値に設定し、ステップS4に進む。こうして、以降のステップS31にi=N[j]となって到達するまで、S4,S31が繰り返される。

【0061】

ステップS4では、当該時点で保持している候補組み合わせCにおいて、特徴領域jの候補をi番目のP[i,j]に置き換えたものに対して、（処理３）による相違を算出し、ステップS31へ進む。

【0062】

ステップS31では、特徴候補のカウンタ変数iの値がN[j]に到達している場合、ステップS5へ進み、到達していなければ、当該カウンタ変数iの値を1だけ増やしてから、ステップS4に戻る。

【0063】

ステップS5では、直近のステップS30〜S31の繰り返しにおいて算出された、当該特徴領域jの一連の特徴候補P[i,j]における相違のうち、最小のものを与える候補P[i,j]を選択して、当該選択された候補P[i,j]により、保持している候補組み合わせCにおける特徴領域jの候補を置き換えて当該候補組み合わせCを更新してから、ステップS21へ進む。

【0064】

ステップS21では、特徴領域のカウンタ変数jの値がMに到達している場合、ステップS6へ進み、到達していなければ、当該カウンタ変数jの値を1だけ増やしてから、ステップS30に戻る。

【0065】

ステップS6では、当該時点で保持している候補組み合わせCを、最適な結果であるとして決定し、フローを終了する。

【0066】

なお、以上の図７のフロー全体を1回終えた際に得られている最適結果の候補組み合わせを、2回目に図７のフロー全体を実行する際の、ステップS1で設定する初期組み合わせとすることで、さらに精度の高い結果を得るようにすることもできる。以降も再帰的に実施可能であるが、得られる最小の相違の値の変動が少なくなったと判定された時点で、当該再帰的な処理を終えて結果を確定してもよいし、図７のフロー全体を再帰的に実施することが所定回数に達した時点での結果を確定結果としてもよい。

【0067】

（４−２）一実施形態では、組み合わせ総数がN[1]*N[2]*…*N[M]通りあるうち、以下のような条件（条件１）〜（条件３）を満たすもののみを相違の算出対象として絞り込むようにしてもよい。なお、いずれを利用するかは、予め既知の抽出対象における輝度値の特徴に即したものを利用するようにすればよい。

【0068】

ボケ等の外乱が一様に発生していると仮定し、ある特徴領域からランダムに選択した特徴候補Aと同様の輝度変化が生じている特徴候補Bを他の特徴領域から選択する。当該A,Bに課す条件は、具体的には、（条件１）ある特徴領域からランダムに選択した特徴候補の輝度値に着目し、他の特徴領域から特徴候補を選択する際に、輝度値が類似する（すなわち、輝度値が閾値判定で一致するとみなせる）特徴候補に限定する。あるいは、（条件２）輝度値の合計が一定になるように限定する。あるいは、（条件３）近傍領域の極大値および極小値に対する相対的な割合が類似する特徴候補に限定する。いずれも組み合わせ数を大幅に削減できるため、高速な処理を見込める。

【0069】

図８は、（条件１）〜（条件３）による限定の意義を概念的に示すための図である。ここでは特徴候補が点の場合について説明するが、エッジ部であるので、特徴候補が線分である場合についても同様である。(1)に示すように、抽出対象は正方形状で、点A,Bとして示すようなエッジ部が特徴点であるものとする。(2)は当該抽出対象がボケ等の外乱の影響を受けて撮像画像として得られたことを示している。(3)は、点A,Bを通る直線上で、(1)の外乱がない場合と、(2)の外乱がある場合との輝度値の分布を示している。(4),(5)も同様に、外乱がない場合及び外乱がある場合の輝度値の分布を示している。

【0070】

(3)では、実線で示すのが(1)の理想的な状況での分布であり、輝度値は0(黒色)又は255(白色)であり、急峻に変化する。しかし、(2)の状況では、点線に示すように、分布がなだらかになってしまう。ここで、点A,Bとして示したエッジ部は、均一な外乱の仮定から、(3)に示すように、輝度値が共通のΔ(グレー)へといわば「なまって」しまうこととなる。

【0071】

すなわち、本来ある特徴点は互いに共通の輝度値の特徴を有するとした場合に、外乱が一様であれば、外乱を受けた後も輝度値が共通となるべきことを利用するのが、（条件１）である。

【0072】

また、（条件２）は、上記と同様に共通の輝度値において一様な外乱を受けている仮定のもとで、特徴点同士の距離が本来の距離と等しくなるべきことを利用するものであり、図８の(4)に示すように、本来のAB間の距離と等しい距離を与える2点A'B'が、（条件２）の限定によって得られることを利用するものである。すなわち、点A'はその輝度値が「δ」となり、点B'はその輝度値が「255-δ」となるので、これらの和は輝度値の範囲で定まる「255」となって一定となる。

【0073】

さらに、（条件３）は、（条件１）のいわば変形版であり、共通の輝度値において、外乱が一様ではない仮定のもとで、本来の2点A,Bの満たすべき制約を与えるものである。すなわち、当初の輝度値が共通であれば、外乱が一様ではない場合、輝度値変化の絶対値は異なるものの、特徴候補近傍の極値（変曲点）の輝度値との間での変化比率は一致すべきであるという制約である。模式的には図８の(5)に示すように、点Aに対して、近傍極小値の点A1及び近傍極大値の点A2（ここで、図８では上方向ほど輝度値が小である）との間での輝度値の変化比率は「r_A1:r_A2」であり、点Bに対して、近傍極小値の点B1及び近傍極大値の点B2との間での輝度値の変化比率は「r_B1:r_B2」である。点Aにおける外乱と点Bにおける外乱とが不均一であることから、輝度値の変化の絶対値は異なるものの、当初の輝度値が共通であることから、その変化の比率は等しく、「r_A1:r_A2= r_B1:r_B2」となる。

【0074】

（４−３）一実施形態では、各特徴領域から、所定のサンプリングレートで間引いた点又は線分だけを候補として、組み合わせ総数N[1]*N[2]*…*N[M]自体を小さくするようにしてもよい。

【0075】

以上、本発明によれば、抽出対象を撮像部で撮影して、その特徴領域から選択する一連の特徴候補による補正のうち、最も抽出対象との相違を小さくする補正を選んで補正画像を得るので、撮像画像に外乱が加わる場合であっても、抽出対象の位置姿勢を、その後の認識処理等において好都合なように、高精度に推定することができる。なお、特徴候補は点又は線分として説明したが、当該両者を併用して特徴候補としてもよい。

【0076】

なお、本発明は、情報端末装置10の動作する方法としても提供可能であり、コンピュータを情報端末装置10として機能させるプログラムとしても提供可能である。

【符号の説明】

【0077】

10…情報端末装置、1…撮像部、2…抽出部、3…補正部、4…認識部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】