特許第6586852号(P6586852)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ サクサ株式会社の特許一覧

<>
  • 特許6586852-画像処理装置 図000002
  • 特許6586852-画像処理装置 図000003
  • 特許6586852-画像処理装置 図000004
  • 特許6586852-画像処理装置 図000005
  • 特許6586852-画像処理装置 図000006
  • 特許6586852-画像処理装置 図000007
  • 特許6586852-画像処理装置 図000008
  • 特許6586852-画像処理装置 図000009
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6586852
(24)【登録日】2019年9月20日
(45)【発行日】2019年10月9日
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
   G06T 7/60 20170101AFI20191001BHJP
   G06T 7/62 20170101ALI20191001BHJP
【FI】
   G06T7/60 300A
   G06T7/62
【請求項の数】5
【全頁数】11
(21)【出願番号】特願2015-203574(P2015-203574)
(22)【出願日】2015年10月15日
(65)【公開番号】特開2017-76260(P2017-76260A)
(43)【公開日】2017年4月20日
【審査請求日】2018年4月17日
(73)【特許権者】
【識別番号】304020498
【氏名又は名称】サクサ株式会社
(74)【代理人】
【識別番号】100110319
【弁理士】
【氏名又は名称】根本 恵司
(72)【発明者】
【氏名】永見 睦
【審査官】 山田 辰美
(56)【参考文献】
【文献】 国際公開第2015/068417(WO,A1)
【文献】 特開2006−309718(JP,A)
【文献】 国際公開第2012/114401(WO,A1)
【文献】 特開2015−125618(JP,A)
【文献】 岩村 雅一 他,特徴点の配置に基づく画像検索手法の解析,電子情報通信学会論文誌 (J93−D),社団法人電子情報通信学会,2010年 4月 1日,第4号,p.494−p.501
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00−7/90
(57)【特許請求の範囲】
【請求項1】
対象物の画像データから前記対象物の外形点の座標を抽出し、外形に沿って配列化して座標配列を生成する配列化手段と、
前記配列化手段により生成された座標配列を分割して複数の部分座標配列を生成する分割手段と、
前記分割手段により生成された部分座標配列における対応する座標間の距離を算出し、かつ座標間の距離の算出値を所定の順番に配列して距離配列を生成する距離算出手段と、
前記距離算出手段により生成された複数の座標間距離からなる距離配列を当該座標間距離が特徴的な値となる座標間距離を基点として並べ替える並べ替え手段と、
を有する画像処理装置。
【請求項2】
請求項1に記載された画像処理装置において、
前記配列化手段は、前記対象物の輪郭を構成する画素を所定数毎に選択することにより、前記外形点の座標を抽出する、画像処理装置。
【請求項3】
請求項1に記載された画像処理装置において、
前記距離算出手段は、各部分座標配列における配列順位の同じ座標間の距離を算出する、画像処理装置。
【請求項4】
請求項に記載された画像処理装置において、
前記距離算出手段により生成された距離配列を構成する座標間距離の数を量子化する量子化手段を有する画像処理装置。
【請求項5】
請求項に記載された画像処理装置において、
認識対象物の画像データから算出した距離配列と、比較対象物の画像データから算出した距離配列とを比較し、比較結果として、近似度を表す情報を出力する比較手段と、前記比較結果に基づいて、前記認識対象物を認識する認識手段を有する画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像処理装置に関し、より詳しくは、顔認識、文字認識、ステレオマッチング等に用いて好適な画像処理装置に関する。
【背景技術】
【0002】
コンピュータ装置の発達に伴い発展してきた画像処理技術の一分野にパターン認識がある。パターン認識は、カメラ等で入力された画像に様々な処理を施し、特定の形状として認識するものである。
【0003】
このようなパターン認識に用いられている画像処理として、テンプレートマッチング処理がある。テンプレートマッチング処理とは、入力画像中でテンプレート画像と同じパターンを持つ認識対象物の位置を検出する処理である。一般的には、入力画像に対して探索領域を設定し、探索領域内の画像にテンプレート画像をずらしながら重ね合わせて相関値を計算し、最も高い相関値が得られた場所を認識対象物の存在場所と判断するという処理が行われる(特許文献1)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平11−340115号公報(段落0002、0003)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、テンプレートマッチング処理では、認識対象物の形状と、比較対象物であるテンプレート画像の形状が同じであっても、サイズが異なると、認識できないという問題がある。
【0006】
本発明は、このような状況に鑑みてなされたものであり、その目的は、認識対象物と比較対象物の形状が同じであれば、サイズが異なっていても、認識可能にする特徴量を取得することである。
【課題を解決するための手段】
【0007】
本発明に係る画像処理装置は、対象物の画像データから前記対象物の外形点の座標を抽出し、外形に沿って配列化して座標配列を生成する配列化手段と、前記配列化手段により生成された座標配列を分割して複数の部分座標配列を生成する分割手段と、前記分割手段により生成された部分座標配列における対応する座標間の距離を算出し、かつ座標間の距離の算出値を所定の順番に配列して距離配列を生成する距離算出手段と、前記距離算出手段により生成された複数の座標間距離からなる距離配列を当該座標間距離が特徴的な値となる座標間距離を基点として並べ替える並べ替え手段と、を有する画像処理装置である。
【発明の効果】
【0008】
本発明によれば、認識対象物と比較対象物の形状が同じであれば、サイズが異なっていても、認識可能にする特徴量を取得することができる。
【図面の簡単な説明】
【0009】
図1】本発明の実施形態に係る画像処理装置を含む画像処理システムの構成を示す図である。
図2】本発明の実施形態に係る画像処理装置における対象物の輪郭、外形点、座標配列、および座標間距離について説明するための図である。
図3】本発明の実施形態に係る画像処理装置において、横軸を外形点の位置、縦軸を座標間距離としたグラフを示す図である。
図4図2に示す対象物と形状が同じであり、サイズが異なる対象物の輪郭、外形点、座標配列、および座標間距離について説明するための図である。
図5】本発明の実施形態に係る画像処理装置の処理対象である形状が同じであり、サイズが異なる文字の一例の画像を示す図である。
図6図5に示す文字の画像データを処理して生成した距離配列について説明するための図である。
図7図6に示す距離配列の比較結果について説明するための図である。
図8】距離配列の並べ替えについて説明するための図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について図面を参照して詳細に説明する。
〈画像処理装置を含む画像処理システム〉
図1は、本発明の実施形態に係る画像処理装置を含む画像処理システムの構成を示す図である。
この画像処理システムは、画像処理装置1と、それぞれが画像処理装置1に接続された撮像装置2、入力装置3、記録媒体4、および出力装置5を備えている。
【0011】
画像処理装置1は、例えば、PC(Personal Computer)であり、撮像装置2、または記録媒体4から入力される画像データを処理する。画像処理装置1における処理の詳細については後述する。
【0012】
撮像装置2は、例えばビデオカメラであり、対象物(オブジェクト)を撮像するように配置される。入力装置3は、例えば、キーボード、マウス等であり、ユーザが画像処理装置1に対して種々の指示を与えるための装置である。
【0013】
記録媒体4は、例えば、SDメモリカード、USB(登録商標)メモリ等であり、画像および当該画像を撮像した撮像装置に関するデータを記録するための媒体である。出力装置5は、例えば、液晶ディスプレイ等の表示装置であり、撮像装置2、または記録媒体4から入力される画像データ、また画像処理装置1により処理された画像データ等を必要に応じて出力する。
【0014】
画像処理装置1は、CPU11と、それぞれがCPU11に接続された入力部12、撮像装置制御部13、ROM14、RAM15、ストレージ16、および出力部17を備えている。
【0015】
CPU11は、画像処理装置1のコントローラとして機能する。また、後に詳述するように、CPU11は、RAM15をワークエリアとしてストレージ16に格納された画像処理プログラムを実行することで、実現される機能ブロックとして、輪郭抽出手段21、配列化手段22、分割手段23、距離算出手段24、量子化手段25、並べ替え手段26、比較手段27、および認識手段28を備えている。
【0016】
入力部12は、撮像装置2および記録媒体4からの画像データや入力装置3からの種々の指示(命令)を受けるためのインタフェースである。撮像装置制御部13は、撮像装置2の焦点距離、絞り、撮像方向等を制御する。
【0017】
ROM14は、CPU11が実行するプログラムや固定データを記憶するメモリであり、RAM15は、CPU11のワークエリアとなるメモリである。ストレージ16は、例えば、ハードディスク等の大容量記憶装置であり、撮像装置2で撮像され、CPU11で画像処理が施された画像データ、CPU11で生成されたデータ、その他のアプリケーションプログラムを格納する。出力部17は、出力装置5と通信を行うためのインタフェースであり、例えば、CPU11で処理された画像データを出力装置5に表示させる。
【0018】
次に上述した各機能ブロックの詳細について説明する。
輪郭抽出手段21は、入力された画像データから、対象物の輪郭(外形線)に対応する画素(輪郭画素)を抽出する。
【0019】
配列化手段22は、輪郭抽出手段21により抽出された輪郭画素を例えば一定数毎に選択(抽出)することにより外形点を生成し、さらに外形点の座標を輪郭に沿って配列化し、座標配列を生成する。ここでは、外形点の座標として、画像平面上の横軸をx、縦軸をyとしたxy直交座標とする。
【0020】
例えば外形点がP,P,P,・・・,Pn−2,Pn−1,Pであり、それぞれの座標[x,y]が[x,y],[x,y],[x,y],・・・,[xn−2,yn−2],[xn−1,yn−1],[x,y]とすると、座標配列[XY]は下記の式〔1〕で表される。
【0021】
[XY]=[[x,y],[x,y],[x,y],・・・,[xn−2,yn−2],[xn−1,yn−1],[x,y]] …式〔1〕
【0022】
分割手段23は、配列化手段22から出力される座標配列を分割して、複数の部分座標配列を生成する。分割数は2以上の任意の整数にすることができる。ただし、各部分座標配列を構成する座標数を等しくするため、外形点数(=座標数)が分割数の整数倍になるように、外形点数、分割数を設定することが必要である。
【0023】
式〔1〕で表わされる座標配列[XY]を2個に分割した場合、部分座標配列[XY],[XY]は、それぞれ下記の式〔2〕、〔3〕で表される。
【0024】
[XY]=[[x,y],[x,y],・・・,[x(n−2)/2,y(n−2]/2],[x(n-1)/2,y(n−1)/2]] …式〔2〕
【0025】
[XY]=[[xn/2,yn/2],[x(n+1)/2,y(n+1)/2],・・・,[xn−1,yn−1],[x,y]] …式〔3〕
【0026】
距離算出手段24は、分割手段23から出力される部分座標配列の間の対応する座標の間の距離を算出し、距離配列を生成する。ここで、対応する座標とは、部分座標配列における配列順位が同じ座標を意味する。式〔2〕、〔3〕で表わされる部分座標配列[XY],[XY]の場合、距離配列は下記の式〔4〕で表される。
【0027】
距離配列=[√(xn/2−x+√(yn/2−y,√(x(n+1)/2−x+√(y(n+1)/2−y,・・・,√(xn−1−x(n−2)/2+√(yn−1−y(n−2)/2,√(x−x(n−1)/2+√(y−y(n−1)/2] …式〔4〕
【0028】
〈対象物の輪郭、外形点、座標配列、および距離算出の具体例〉
ここで、輪郭抽出手段21、配列化手段22、分割手段23、および距離算出手段24が実行する処理について具体例を挙げて説明する。図2は、対象物の輪郭、外形点、座標配列、および座標間距離について説明するための図である。ここで、図2A図2Bは、それぞれ対象物の輪郭を2分割、4分割した場合を示している。
【0029】
図2A図2Bに示すように、まず輪郭抽出手段21により、ほぼ楕円形の輪郭(外形線)100に対応する輪郭画像が抽出される。次に配列化手段22により、輪郭画素から外形点P,P,P,P,P,P,P,Pが生成され、座標配列が生成される。ここで、P,P,P,P,P,P,P,Pの座標を、それぞれ[x,y](k=0〜7)とすると、座標配列は式〔1〕にn=7を代入したものとなる。
【0030】
次に分割手段23により座標配列が分割される。図2Aの場合、輪郭(外形線)100を1本の直線101で2分割したものとする。この場合、2つの分割座標配列は、それぞれ式〔2〕、〔3〕において、n=7を代入したものとなる。
【0031】
図2Bの場合、輪郭(外形線)100を2本の直線101、102で分割したものとする。この4つの分割座標配列は、それぞれ[[x,y],[x,y]]、[[x,y],[x,y]]、[[x,y],[x,y]]、[[x,y],[x,y]]で表される。
【0032】
次に距離算出手段24により、分割座標配列間の対応する座標間の距離が算出される。前述したように、対応する座標とは、部分座標配列における配列順位が同じ座標を意味するから、図2Aの場合、P,P,P,Pに対応する座標は、それぞれP,P,P,Pである。したがって、距離算出手段24は、図2Aにおいて、PとPとを結ぶ線分L04、PとPとを結ぶ線分L15、PとPとを結ぶ線分L26、およびPとPとを結ぶ線分L37の長さを算出し、これら4個の距離データからなる距離配列を生成する。
【0033】
図2Bの場合、P,P,P,Pの座標が互いに対応し、P,P,P,Pの座標が互いに対応する。したがって、距離算出手段24は、線分L02、L04、L06、L13、L15、L17、L24、L26、L35、L37、L46、L57の長さを算出し、これら12個の距離データからなる距離配列を生成する。
【0034】
ここで、距離配列を構成するデータの配列順について説明する。図2Aの場合、式〔4〕に基づいて距離配列を生成すると、距離配列は[線分L04の長さ、線分L15の長さ、線分L26の長さ、線分L37の長さ]となる。しかし、距離配列を構成する座標間距離の配列の順番はこれに限定されるものではなく、任意でよい。ただし、後述するように、認識対象物の距離配列を構成する座標間距離の配列の順番と、比較対象の対象物を構成する座標間距離の配列の順番を揃えることが必要である。
【0035】
図3は、横軸を外形点の位置、縦軸を座標間距離としたグラフを示す図である。図2Aの場合、横軸には原点側から順にP,P,P,Pが配置され、各位置における距離の値が線分L04の長さ、線分L15の長さ、線分L26の長さ、線分L37の長さとなる。ただし、実際の画像処理では多数の外形点を生成する。外形点の最大数は輪郭画素の総数である。このグラフの形状(波形)は、対象物の形状およびサイズを表す情報を含むので、距離配列を対象物の形状およびサイズを表す特徴量(マッチング処理用データ)として採用することができる。
【0036】
〈形状が同じであり、向きが異なる対象物に対する処理〉
次に距離配列により形状が同じであり、サイズが異なる対象物を認識可能な理由について説明する。
【0037】
図4は、図2に示す対象物と形状が同じであり、サイズが異なる対象物の輪郭、外形点、座標配列、および座標間距離について説明するための図である。ここで、図4A図2Aと同じであり、図4B図4Aに示す対象物と形状が同じであり、サイズが80%(4/5)の対象物の輪郭、外形点、座標配列、および座標間距離を示す図である。
【0038】
図4Bにおいて、輪郭(外形線)200は、図4Aに示す輪郭(外形線)100と形状が同じであり、サイズが80%になっている。外形点P,P,P,P,P,P,P,Pは、配列化手段22により生成された外形点である。座標配列は[[Pのx座標,Pのy座標],[Pのx座標,Pのy座標],・・・,[Pのx座標,Pのy座標],[Pのx座標,Pのy座標]]となる。
【0039】
分割手段23により、直線201を境界として、座標配列を2つに分割すると、2つの分割座標配列は、[[Pのx座標,Pのy座標],[Pのx座標,Pのy座標],[Pのx座標,Pのy座標],[Pのx座標,Pのy座標]]、および[[Pのx座標,Pのy座標],[Pのx座標,Pのy座標],[Pのx座標,Pのy座標],[Pのx座標,Pのy座標]]となる。そして、距離算出手段24により算出され、生成される距離配列は、[線分Laeの長さ、線分Lbfの長さ、線分Lcgの長さ、線分Ldhの長さ]となる。
【0040】
ここで、外形点P,P,P,P,P,P,P,Pの頂点を結ぶことで形成される多角形(八角形)と外形点P,P,P,P,P,P,P,Pの頂点を結ぶことで形成される多角形(八角形)とが相似、すなわち形状が同じであり、サイズが異なる場合、線分Laeの長さ、線分Lbfの長さ、線分Lcgの長さ、線分Ldhの長さは、それぞれ線分L04の長さ、線分L15の長さ、線分L26の長さ、線分L37の長さの80%となる。
【0041】
したがって、仮に[線分L04の長さ、線分L15の長さ、線分L26の長さ、線分L37の長さ]からなる距離配列のグラフが図3であった場合、[線分Laeの長さ、線分Lbfの長さ、線分Lcgの長さ、線分Ldhの長さ]からなる距離配列のグラフは、外形点P,P,P,Pの横軸上の位置を外形点P,P,P,P横軸上の位置に合わせれば、縦軸の値(距離)は80%となる。画像処理装置1は、この性質を利用して、形状が同じであり、サイズが異なる対象物を認識することができる(詳細については、比較手段27および認識手段28に関する説明で後述する。)。
【0042】
図1の説明に戻る。量子化手段25は、比較対象物と形状は同じであり、サイズが異なる認識対象物を認識する際に、距離配列を構成する座標間距離の数を揃える処理を行う。
【0043】
前述したように、実際の画像処理では、最大で輪郭画素数の外形点が設定される。したがって、仮に図4Aにおいて、輪郭画素数である100個の外形点が設定された場合、図4Bでは、最大で80個の外形点しか設定されないことになる。
【0044】
そこで、量子化手段25は、サイズが異なる対象物を認識する際、認識対象物の距離配列を構成する座標間距離データの数と、比較対象物の距離配列を構成する座標間距離データの数とを比較し、小さい方の値に揃える処理を行う。
【0045】
〈形状および向きが同じであり、サイズが異なる文字の距離配列およびその比較〉
次に、形状が同じであり、サイズが異なる対象物としてのサイズの異なる文字を処理して生成した距離配列およびその比較について説明する。
【0046】
図5は、形状が同じであり、サイズが異なる文字の一例の画像を示す図であり、図6は、図5に示す文字の画像データを処理して生成した距離配列について説明するための図である。また、図7は、図6に示す距離配列の比較結果について説明するための図である。
【0047】
図5において、画像111内の文字「あ」のサイズに対して、画像112内、113内、114内、115内、116内、117内の文字「あ」のサイズは、それぞれ90%、80%、70%、60%、50%、40%である。
【0048】
図6において、横軸は外形点の位置を表し、縦軸は距離(座標間距離)を表している。また、グラフの特性i、ii、iii、iv、v、vi、viiは、それぞれ画像111、112、113、114、115、116、117内の文字の画像データに対して、輪郭抽出手段21、配列化手段22、分割手段23、距離算出手段24、および量子化手段25による処理を施して生成した距離配列をグラフ化したものである。ここで、分割手段23による分割数は2である。また、量子化手段25は、サイズが最小の文字である画像117内の文字の外形点数に揃えている。
【0049】
図6より、形状が同じであり、サイズが異なる対象物同士の距離配列の特性のグラフでは、極大値、極小値をとる外形点の位置が等しくなることが確認できた。
【0050】
図7において、特性ii/i、iii/i、iv/i、v/i、vi/i、vii/iは、それぞれ図6におけるii、iii、iv、v、vi、viiの値をiの値で除算したものである。なお、各特性の折れ線の付近に存在する点列は、各特性の平均値である。
【0051】
図1の説明に戻る。図7の特性を取得する処理は、比較手段27により実行される。さらに、比較手段27は、特性ii/i、iii/i、iv/i、v/i、vi/i、vii/iと水平線との近似度である分散値を算出する。この近似度は、画像111内の文字に対する、画像112内、113内、114内、115内、116内、117内の文字の近似度の指標となる。すなわち、分散値が小さい(水平線に近い)程、文字間の近似度が高いことになる。分散値の代わりに標準偏差値を用いてもよい。
【0052】
比較手段27で算出された近似度データは、認識手段28により対象物の認識の判定に使用される。すなわち、例えば、近似度が所定の閾値を超えていれば、認識対象の対象物が比較対象の対象物と同じ形状を有すると判定する。
【0053】
〈形状が同じであり、向きが異なる対象物に対する処理〉
以上、画像処理装置1によれば、形状が同じであり、サイズが異なる対象物を認識できることを説明したが、画像処理装置1は、サイズだけでなく向きが異なる対象物を認識することもできる。以下、この点について説明する。
【0054】
認識対象物の回転等の影響により、認識対象物の向きが比較対象物の向きと異なる場合、配列化手段22による外形点の座標の配列化の際に、同一の点から配列されることが保証されない。そこで、画像処理装置1では、並べ替え手段26により、距離配列の特徴点(座標間距離が特徴的な値(例えば最小値)となる点)を基点として、距離配列を並べ替える。そして、並べ替えの済んだ距離配列を比較手段27に出力する。
【0055】
図8は、距離配列の並べ替えについて説明するための図である。図において、特性iは図6における特性iと同じであり、図5における画像111内の文字の画像データを処理して生成した距離配列のグラフである。これに対して、特性xiは、画像111内の文字を回転させて向きを変えた文字の画像データから生成される距離配列のグラフである。
【0056】
特性xiの距離配列の原点と特性iの距離配列の原点と同じであるため、文字の形状が同じでも、向き(回転角度)の相違に応じて、グラフの形状が変化してしまう。そこで、特性xiのグラフの基点が原点になるように並べ替える。すなわち、特性xiのグラフのうち、基点の左側に位置する部分の左端が基点の右側に位置する部分の右端に接続されるように並べ替える。これにより、特性xiのグラフの形状を特性iのグラフの形状に一致させることができる。
【0057】
以上詳細に説明したように、本発明の実施形態に係る画像処理装置は下記(1)〜(3)の特徴を備えている。
(1)認識対象物の形状が同じであれば、サイズおよび向きが異なっていても認識することができる。
(2)外形点の数を加減することにより、認識の精度を調整することができる。
(3)距離配列のデータを蓄積することで、精度を向上させることができる。
【符号の説明】
【0058】
1…画像処理装置、11…CPU、22…配列化手段、23…分割手段、24…距離算出手段、25…量子化手段、26…並べ替え手段、27…比較手段、28…認識手段。
図1
図2
図3
図4
図5
図6
図7
図8