6557943 画像照合装置、画像センサ、処理システム、画像照合方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6557943

(24)【登録日】2019年7月26日

(45)【発行日】2019年8月14日

(54)【発明の名称】画像照合装置、画像センサ、処理システム、画像照合方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20190805BHJP

【ＦＩ】

   G06T7/00 300D

【請求項の数】15

【全頁数】18

(21)【出願番号】特願2014-5089(P2014-5089)

(22)【出願日】2014年1月15日

(65)【公開番号】特開2015-133049(P2015-133049A)

(43)【公開日】2015年7月23日

【審査請求日】2016年12月6日

【前置審査】

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】特許業務法人秀和特許事務所

(72)【発明者】

【氏名】小西 嘉典

【審査官】 笠田 和宏

(56)【参考文献】

【文献】 特開２００８−１２９７４３（ＪＰ，Ａ）

【文献】 特開平０７−０６７１４３（ＪＰ，Ａ）

【文献】 特開平０７−２４９１１９（ＪＰ，Ａ）

【文献】 特開２００３−０３６４４３（ＪＰ，Ａ）

【文献】 特開２００７−００４８２３（ＪＰ，Ａ）

【文献】 特開２０１１−０１３９１２（ＪＰ，Ａ）

【文献】 特開平０９−１６１０５４（ＪＰ，Ａ）

【文献】 特表２００５−５３５０１５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

ＩＰＣ Ｇ０６Ｔ ７／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

照合対象の物体の特徴点の位置および各特徴点の位置における輝度勾配の方向を含むモデル画像を記憶する記憶部と、
入力画像から、特徴点の位置および各特徴点の位置における輝度勾配の方向を取得する特徴量取得部と、
前記モデル画像と前記入力画像の照合を行う画像照合部と、
を備え、
前記画像照合部は、
特徴点の位置ずれ許容範囲および各特徴点の位置における輝度勾配の方向の方向ずれ許容範囲をそれぞれ設け、
モデル画像に含まれる特徴点（以下、モデル特徴点と称する）について、当該モデル特徴点の位置ずれ許容範囲に対応する入力画像中に特徴点が存在し、かつ、当該特徴点における輝度勾配方向がモデル特徴点における輝度勾配方向の方向ずれ許容範囲内である場合に、前記モデル特徴点に対応する特徴点が入力画像中に存在すると判断する、
ことを特徴とする画像照合装置。

【請求項2】

特徴点の位置の許容範囲は、前記モデル画像における特徴点の位置を中心とする、矩形、円、楕円のいずれかの形状である、
請求項１に記載の画像照合装置。

【請求項3】

輝度勾配の方向の許容範囲は、前記モデル画像における輝度勾配の方向を中心とする所定の角度範囲である、
請求項１または２に記載の画像照合装置。

【請求項4】

前記特徴点はエッジ点である、
請求項１から３のいずれか１項に記載の画像照合装置。

【請求項5】

前記照合における特徴点の位置および各特徴点における輝度勾配の方向の許容範囲をユーザが設定するための許容範囲設定手段を更に備える、
請求項１から４のいずれか１項に記載の画像照合装置。

【請求項6】

前記許容範囲設定手段は、特徴点の位置の許容範囲および各特徴点の位置における輝度勾配の方向の許容範囲のいずれかまたは双方を、ユーザが設定可能に構成される、
請求項５に記載の画像照合装置。

【請求項7】

前記許容範囲設定手段は、
許容する変形パターンと許容する変形量のレベルの組合せと、特徴点の位置の許容範囲および各特徴点の位置における輝度勾配の方向の許容範囲の組合せとを対応付けてあらかじめ記憶し、
許容する変形のパターンと許容する変形量のレベルをユーザから受け付け、
当該ユーザからの入力に基づいて特徴点の位置の許容範囲および各特徴点の位置における輝度勾配の方向の許容範囲を決定する、
ように構成される、請求項５に記載の画像照合装置。

【請求項8】

前記画像照合部によって検出された、モデル特徴点に対応する入力画像中の特徴点の位置を、前記モデル特徴点と関連付けて記憶する対応点位置記憶手段と、
前記対応点位置記憶手段に記憶されたモデル特徴点に対応する入力画像中の特徴点の位置を出力する出力手段と、
を更に備える、請求項１に記載の画像照合装置。

【請求項9】

どのモデル特徴点に対応する入力画像中の特徴点を出力するかの指定をユーザから受け付ける設定手段を、更に備える、
請求項８に記載の画像照合装置。

【請求項10】

物体を撮影するカメラと、
前記カメラから入力された画像に前記照合対象の物体が含まれるか否かを判別し、前記判別の結果を出力する、請求項１から９のいずれか１項に記載の画像照合装置と、
を有する画像センサ。

【請求項11】

物体を撮影するカメラと、
前記カメラから入力された画像に前記照合対象の物体が含まれるか否かを判別し、含まれる場合には、前記出力手段から前記モデル特徴点に対応する入力画像中の特徴点の位置を出力する請求項８または９に記載の画像照合装置と、
を有する画像センサ。

【請求項12】

照合対象物体に対する操作を行う処理装置を制御する制御装置と、
請求項１１に記載の画像センサと、
を有する処理システムであって、
前記画像センサの出力手段は、前記モデル特徴点に対応する入力画像中の特徴点の位置を前記制御装置に出力し、
前記制御装置は、前記画像センサから得られる前記モデル特徴点に対応する入力画像中の特徴点の位置に基づいて決定される部位に対して操作を行うように、前記処理装置を制御する、
処理システム。

【請求項13】

コンピュータが行う画像照合方法であって、
照合対象の物体の特徴点の位置および各特徴点の位置における輝度勾配の方向を含むモデル画像を記憶する記憶ステップと、
入力画像から、特徴点の位置および各特徴点の位置における輝度勾配の方向を取得する
特徴量取得ステップと、
前記モデル画像と前記入力画像の照合を行う画像照合ステップと、
を含み、
前記画像照合ステップでは、
特徴点の位置ずれ許容範囲および各特徴点の位置における輝度勾配の方向の方向ずれ許容範囲をそれぞれ設け、
モデル画像に含まれる特徴点（以下、モデル特徴点と称する）について、当該モデル特徴点の位置ずれ許容範囲に対応する入力画像中に特徴点が存在し、かつ、当該特徴点における輝度勾配方向がモデル特徴点における輝度勾配方向の方向ずれ許容範囲内である場合に、前記モデル特徴点に対応する特徴点が入力画像中に存在すると判断する、
ことを特徴とする画像照合方法。

【請求項14】

請求項１３に記載の画像照合方法の各ステップをコンピュータに実行させるためのコンピュータプログラム。

【請求項15】

請求項１４に記載のコンピュータプログラムを非一時的に記憶するコンピュータ読取可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、テンプレートマッチングによって画像照合を行う技術に関する。

【背景技術】

【0002】

ＦＡ（Factory Automation）分野においては、ラインを流れる計測対象物（以下、「ワーク」とも呼ぶ）を計測・監視するために、画像センサ（視覚センサ）と呼ばれるセンサデバイスが広く用いられている。画像センサは、カメラと画像処理装置から構成され、予め登録された教師物体（以下、「モデル」または「パターン」とも呼ぶ）とのマッチング処理（テンプレートマッチング）によって画像内のワークを検出し、必要な情報の抽出・計測などを行う機能を有している。画像センサの出力は、例えば、ワークの識別、検査、仕分けなどの様々な用途に利用される。

【0003】

ところで、袋包装された物体、野菜、手書き文字や人体など、状況に応じて形状が変化したり、個体間で形状に差があったりする物体を画像中から検出したいというニーズは多い。このような形状が変化する物体（以下、「可変形状物体」とも呼ぶ）を精度良く行うための技術はこれまでも研究されており、主要な技術として「距離変換」と「弾性マッチング」が挙げられる。

【0004】

距離変換は、画像中の各画素についてエッジからの最短距離を求め、この最短距離に基づいてマッチングを行う技術である（特許文献１）。この方法によれば、モデル画像と入力画像との間において、エッジの位置座標に許容度を持たせてマッチングを行うことができる。

【0005】

弾性マッチングは、モデル画像と入力画像の特徴点の対応関係（写像関数）をもとに類似度を算出してマッチングを行う技術である（特許文献２，３）。この方法によれば、
モデル画像と入力画像との間でエッジの位置座標に許容度を持たせてマッチングを行うことができる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００８−２８６７２５号公報

【特許文献2】米国特許出願公開第２０１０／０２８４５７７号明細書

【特許文献3】米国特許第７０２４０４２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0007】

距離変換では、エッジの位置座標に許容度を持たせているが、各エッジ点がどのように変形するかに関して制約を設けることができず、入力画像において許容範囲内にエッジ点があれば照合成功となる。したがって、背景にエッジが多数存在する場合には誤マッチングを起こしやすい。マッチングの精度を向上させるには、形状変化に対するより詳細な許容尺度を設けることが望ましい。

【0008】

弾性マッチングでは、特徴点の厳密な対応が必要となるので、顔や文字などのような明確な特徴点を抽出可能な物体のみにしか適用できない。また、部分ごとの位置関係を用いた照合しかできず、詳細な形状変化を考慮したマッチングは行えない。

【0009】

本発明は、上記実情に鑑みてなされたものであり、許容する形状変化をより細かく指定
して可変形状物体の照合ができる技術を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するために本発明では、特徴点の位置および当該特徴点における輝度勾配の方向の両方に対して許容範囲を設けて形状マッチングを行う、という構成を採用する。

【0011】

具体的には、本発明に係る画像照合装置は、照合対象の物体の特徴点の位置および各特徴点の位置における輝度勾配の方向を含むモデル画像を記憶する記憶部と、入力画像から、特徴点の位置および各特徴点の位置における輝度勾配の方向を取得する特徴量取得部と、前記モデル画像と前記入力画像の照合を行う画像照合部と、を備え、前記画像照合部は、特徴点の位置および各特徴点の位置における輝度勾配の方向の両方に対して許容範囲を設けて画像照合を行う、ことを特徴とする。画像照合部は、モデル画像に含まれる特徴点（モデル特徴点）について、当該モデル特徴点の位置ずれ許容範囲に対応する入力画像中に、輝度勾配方向がモデル特徴点における輝度勾配方向の方向ずれ許容範囲内である特徴点が存在する場合に、前記モデル特徴点に対応する特徴点が入力画像中に存在すると判断して、画像照合を行えばよい。

【0012】

この構成によれば、可変形状物体の画像照合において、変形の許容度を従来よりも細かく設定できる。照合対象の物体がどのように変形しやすいかに応じて位置ずれおよび方向ずれの許容度をそれぞれ設定することで、可変形状物体の照合を従来よりも高精度に行うことができる。

【0013】

本発明において、特徴点の位置の許容範囲は、前記モデル画像における特徴点の位置を中心とする、矩形（正方形または長方形）、円、楕円等の形状とすることができる。許容範囲の形状は任意であって構わないが、矩形（正方形または長方形）とすると許容範囲内か否かの判別処理が容易となる。円とすれば、任意の方向への位置ずれを均等に許容することができる。楕円や長方形とすれば、特定の方向について大きく位置がずれることを許容できる。ただし、位置の許容範囲は、任意形状であってよく、その中心はモデル画像の特徴点の位置でなくても構わない。

【0014】

また本発明において、輝度勾配の方向の許容範囲は、前記モデル画像における輝度勾配の方向を中心とする所定の角度範囲とすることができる。ただし、モデル画像における輝度勾配の方向を中心とせずに、時計回り方向と反時計回り方向とに異なる角度のずれを許容するようにしても構わない。

【0015】

本発明における特徴点は、画像から特徴的な点として求められる点であれば、任意のものを採用可能である。例えば、本発明における特徴点として、エッジ点を採用することができる。また、ＳＩＦＴ、ＳＵＲＦ、Ｈａｒｒｉｓコーナーポイントなどその他の特徴点を採用することもできる。

【0016】

また、本発明に係る画像照合装置は、前記画像照合における特徴点の位置および各特徴点における輝度勾配の方向の許容範囲をユーザが設定するための許容範囲設定手段を更に備える、ことも好ましい。

【0017】

許容範囲設定手段は、上記の位置および方向の許容範囲のいずれかまたは双方をユーザが設定可能なように構成されることができる。この場合、具体的な数値をユーザが設定可能であってもよいし、許容レベルをユーザが設定可能としてもよい。位置および方向の許容範囲をそれぞれユーザが設定可能とすることで、ユーザはより詳細な設定を行うことができる。

【0018】

また、許容範囲設定手段は、許容する変形パターンと許容する変形量のレベルの組合せと、特徴点の位置の許容範囲および各特徴点の位置における輝度勾配の方向の許容範囲の組合せとを対応付けて記憶しておき、許容する変形のパターンと許容する変形量のレベルをユーザから受け付け、当該ユーザからの入力に基づいて特徴点の位置の許容範囲および各特徴点の位置における輝度勾配の方向の許容範囲を決定する、ように構成されることもできる。このようにすれば、ユーザは設定の内容をより簡易に理解することができる。

【0019】

また、本発明に係る画像照合装置は、前記画像照合部によって検出された、モデル特徴点に対応する入力画像中の特徴点の位置を、前記モデル特徴点と関連付けて記憶する対応点位置記憶手段と、前記対応点位置記憶手段に記憶されたモデル特徴点に対応する入力画像中の特徴点の位置を出力する出力手段と、を更に備えることも好ましい。なお、出力手段による出力先は、ディスプレイなどの出力装置であってもよいし、他の機械を制御する制御装置などであってもよい。モデル特徴点に対応する入力画像中の当直点の位置を出力することで、照合対象物の形状変化を適切に認識することができる。

【0020】

なお、全てのモデル特徴点について対応する特徴点の位置を出力する必要はない。どのモデル特徴点に対応する入力画像中の特徴点を出力するかの指定をユーザから受け付ける設定手段を設けて、ユーザによって指定されたモデル特徴点についてのみ対応する特徴点の位置を出力すればよい。

【0021】

なお、本発明は、上記構成の少なくとも一部を有する画像照合装置として捉えることができる。また、本発明は、物体を撮影するカメラと画像照合装置とを有する画像センサとして捉えることもできる。また、本発明は、上記の画像センサと照合対象物体に対する操作を行う処理装置を制御する処理システムとして捉えることもできる。例えば、画像センサがモデル特徴点に対応する入力画像中の特徴点の位置を出力する場合には、制御装置は、当該特徴点の位置に基づいて決定される部位に対して操作を行うように処理装置を制御することで、照合対象物体の形状変化を考慮した適切な操作が可能となる。

【0022】

また、本発明は、上記処理の少なくとも一部を含む画像照合装置の制御方法、または、かかる方法をコンピュータに実行させるためのプログラムやそのプログラムを非一時的に記憶したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

【発明の効果】

【0023】

本発明によれば、許容する形状変化をより細かく指定して可変形状物体の照合ができる技術を提供することができる。

【図面の簡単な説明】

【0024】

【図1】実施形態にかかる画像センサの全体構成を示す図。

【図2】実施形態にかかる画像センサのハードウェア構成を示す図。

【図3】第１の実施形態にかかる画像処理装置の画像照合にかかわる機能構成を示す図。

【図4】画像照合処理の流れを示すフローチャート。

【図5】モデル画像の例を示す図。

【図6】特徴点の位置ずれの許容範囲および輝度勾配方向の方向ずれの許容範囲を示す図。

【図7】画像照合部における照合処理を説明する図。（ａ）はモデル画像、（ｂ）は入力画像、（ｃ）はモデル画像と入力画像の比較を示す。

【図8】各種の変形に対して位置ずれ許容量および方向ずれ許容量を変えた場合の照合スコアを示す図。（ａ）はモデル画像、（ｂ）は「細り」の変形に対する照合結果、（ｃ）は「欠け」の変形に対する照合結果、（ｄ）は「その他」の変形に対する照合結果をそれぞれ示す。

【図9】（ａ）（ｂ）はそれぞれ、位置ずれ許容量および方向ずれ許容量の設定画面の例を示す。

【図10】（ａ）は位置ずれ許容量および方向ずれ許容量の設定画面の例、（ｂ）は変形パターンおよび許容レベルと位置ずれ許容量および方向ずれ許容量との対応関係を記憶したテーブルの例を示す図。

【図11】位置ずれ許容範囲および方向ずれ許容範囲の変形例を示す図。

【図12】第２の実施形態にかかる画像処理装置の画像照合にかかわる機能構成を示す図。

【発明を実施するための形態】

【0025】

本発明は、カメラで撮影した画像から所定の物体を検出するする技術に関するものである。この技術は、ＦＡ用の画像センサ、コンピュータビジョン、マシンビジョンなどにおける物体検出に応用することができる。以下に述べる実施形態では、本発明の好ましい応用例の一つとして、可変形状物体のワークが流れるラインにおいてワークの検出を行うＦＡ用の画像センサに本発明を実装した例を説明する。

【0026】

＜第１の実施形態＞
（画像センサ）
図１を参照して、本発明の実施形態に係る画像センサの全体構成および適用場面について説明する。

【0027】

画像センサ１は、生産ラインなどに設置され、製造物（ワーク２）を撮像することで得られる入力画像を用いてワーク２の位置検出などを行うシステムである。なお、画像センサ１には、位置検出のほかにも、エッジ検出、キズ・汚れ検出、面積・長さ・重心の計測など、必要に応じて様々な画像処理機能を実装可能である。

【0028】

図１に示すように、コンベヤ３上にはワーク２が流れている。ワーク２は、同一の個体であっても状況に応じて形状が変化したり、個体間で形状に差があったりする物体（可変形状物体）である。画像センサ１は、カメラ１１から定期的に画像を取り込み、画像処理装置１０によって画像に含まれる各ワーク２の位置検出などの処理を実行し、その結果をディスプレイ１２に表示したり、外部装置（ＰＬＣ４など）へ出力したりする。ＰＬＣ（Programmable Logic Controller）４は、画像センサ１、コンベヤ３、ロボット等の製造
装置（不図示）の制御を司るデバイスである。

【0029】

（画像センサのハードウェア構成）
図２を参照して、画像センサ１のハードウェア構成を説明する。画像センサ１は、概略、カメラ１１と画像処理装置１０から構成される。

【0030】

カメラ１１は、ワーク２の画像を画像処理装置１０に取り込むためのデバイスであり、例えばＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）カメラやＣＣＤ（Charge-Coupled Device）カメラを好適に用いることができる。入力画像の形式（解像度、カラー／モノクロ、静止画像／動画、階調、データ形式など）は任意であり、ワーク２の種類やセンシングの目的に合わせて適宜選択すればよい。可視光像以外の特殊な画像（Ｘ線画像、サーモ画像など）を検査に利用する場合には、その画像に合わせたカメラを用いてもよい。

【0031】

画像処理装置１０は、ＣＰＵ（中央演算処理装置）１１０と、記憶部としてのメインメモリ１１２およびハードディスク１１４と、カメラインターフェイス１１６と、入力インターフェイス１１８と、表示コントローラ１２０と、ＰＬＣインターフェイス１２２と、通信インターフェイス１２４と、データリーダ／ライタ１２６とを含む。これらの各部は、バス１２８を介して、互いにデータ通信可能に接続される。

【0032】

カメラインターフェイス１１６は、ＣＰＵ１１０とカメラ１１とのあいだのデータ伝送を仲介する部分であり、カメラ１１からの画像データを一時的に蓄積するための画像バッファ１１６ａを有している。入力インターフェイス１１８は、ＣＰＵ１１０と入力部（マウス１３、キーボード、タッチパネル、ジョグコントローラなど）とのあいだのデータ伝送を仲介する。表示コントローラ１２０は、液晶モニタなどのディスプレイ１２に接続され、当該ディスプレイ１２での表示を制御する。ＰＬＣインターフェイス１２２は、ＣＰＵ１１０とＰＬＣ４のあいだのデータ伝送を仲介する。通信インターフェイス１２４は、ＣＰＵ１１０とコンソール（あるいは、パーソナルコンピュータやサーバ装置）などとのあいだのデータ伝送を仲介する。データリーダ／ライタ１２６は、ＣＰＵ１１０と記憶媒体であるメモリカード１４との間のデータ伝送を仲介する。

【0033】

画像処理装置１０は、汎用的なアーキテクチャを有するコンピュータで構成可能であり、ＣＰＵ１１０が、ハードディスク１１４またはメモリカード１４に格納されたプログラム（命令コード）を読み込み、実行することで、各種機能を提供する。このようなプログラムは、メモリカード１４や光ディスクなどのコンピュータ読取可能な記録媒体に非一時的に記憶された状態で流通する。

【0034】

汎用的なパーソナルコンピュータを画像処理装置１０として利用する場合には、本実施形態で述べる物体判別機能を提供するためのアプリケーションプログラムに加えて、コンピュータの基本的な機能を提供するためのＯＳ（オペレーション・システム）がインストールされていてもよい。この場合には、本実施形態に係るプログラムは、ＯＳが提供するプログラムモジュールを利用することで、目的とする機能を実現してもよい。なお、本実施形態に係るプログラムは単体のアプリケーションプログラムとして提供されてもよいし、他のプログラムの一部に組み込まれるモジュールとして提供されてもよい。また、その機能の一部または全部が専用のロジック回路で代替されてもよい。

【0035】

（画像処理装置の機能構成）
画像処理装置１０は、テンプレートマッチングの技術を用いて、入力された画像の中から検出対象の物体を検出する機能を有する。図３に、画像処理装置が提供する物体検出（位置検出）にかかわる機能構成を示す。画像処理装置１０は、位置検出にかかわる機能として、画像入力部１３０、照合範囲決定部１３１、特徴量取得部１３２、画像照合部１３３、出力部１３４、記憶部１３５、設定部１３６を有している。これらの機能ブロックは、画像処理装置１０のＣＰＵ１１０がコンピュータプログラムを実行することにより実現される。

【0036】

画像入力部１３０は、カメラ１１が撮影したワークの画像を取得する機能部である。照合範囲決定部１３１は、モデル画像との照合を行う範囲（照合範囲）を決定する機能部である。照合範囲の大きさはモデル画像の大きさと同じとし、その位置が照合範囲決定部１３１によって決定される。照合範囲の位置は、入力画像の走査によって順次変えていってもよいし、簡易的な物体検出処理を行って物体が存在しそうな位置として決定してもよい。

【0037】

特徴量取得部１３２は、入力画像から特徴点およびその位置での輝度勾配方向を取得する機能部である。本実施形態では、特徴点としてエッジ点を採用する。エッジ点の取得方
法は既存の任意の手法が採用可能である。例えば、まず、入力画像に対してソーベルフィルタなどの微分フィルタを適用して輝度勾配ベクトル（輝度勾配方向）を求め、輝度勾配方向において勾配ベクトルの大きさが極大値を取る点をエッジ点として抽出することができる。なお、エッジ検出の前後に細線化処理を施すことも好ましい。

【0038】

画像照合部１３３は、照合範囲決定部１３１によって決定された入力画像のうちの照合範囲と、記憶部１３５に格納されているモデル画像１３５ａとの照合を行い、照合範囲内に照合対象物体が存在するか否かを判別する。詳細は後述するが、画像照合部１３３は、特徴点の位置ずれと輝度勾配の方向ズレにそれぞれ所定の許容範囲を設けて照合処理を実施する。このような処理を可能とするために、画像照合部１３３は、照合パラメータとして位置ずれ許容量１３３ａ、方向ズレ許容量１３３ｂおよび照合閾値（判定閾値）１３３ｃを保持する。

【0039】

出力部１３４は、画像照合部１３３による照合結果が出力される。例えば、画像照合部１３３が照合対象物体を検出した入力画像中の位置が、画像中での強調表示や数値などによって出力される。

【0040】

記憶部１３５は、照合対象物体に関する情報（モデル画像と呼ぶ）を格納する。図５は、記憶部１３５に格納されているモデル画像１３５ａの一例を示す。モデル画像１３５ａには、照合対象の物体５０のエッジ点（特徴点）の位置５１と、その点での輝度勾配の方向５２が含まれる。図５では、８個のエッジ点が示されているが、エッジ点の数は任意であってよく、その数は数十〜数百個あるいはそれ以上であってよい。

【0041】

設定部１３６は、画像照合部１３３が照合の際に用いる照合パラメータである位置ずれ許容量１３３ａ、方向ズレ許容量１３３ｂおよび照合閾値１３３ｃをユーザが設定可能とするための機能部である。これらのパラメータの設定方法の詳細については後述する。

【0042】

（画像照合処理）
本実施形態における画像照合処理では、モデル画像に含まれる特徴点（モデル特徴点）に対応する特徴点が入力画像中に存在するか否か判断するにあたり、特徴点の位置および輝度勾配方向のずれを許容して判断する。具体的には、モデル特徴点の位置ずれ許容範囲に対応する入力画像中に、輝度勾配方向がモデル特徴点における輝度勾配方向の方向ずれ許容範囲内である特徴点が存在すれば、モデル特徴点に対応する特徴点が入力画像中に存在すると判断する。

【0043】

以下、図４のフローチャートを参照しながら、本実施形態の画像処理装置１０が行う画像照合処理についてより詳細に説明する。

【0044】

まず、画像処理装置１０は、画像入力部１３０を介してカメラ１１が撮影した画像を取得する（Ｓ１０）。以下、この画像を入力画像と称する。特徴量取得部１３２は、入力画像からエッジ点および各エッジ点での輝度勾配方向を取得する（Ｓ１２）。

【0045】

照合範囲決定部１３１は、入力画像から、モデル画像との照合を行う範囲（照合範囲）を決定する（Ｓ１４）。照合範囲は、入力画像を順次走査した位置としてもよい。あるいは、別途簡易的な物体検出処理を行って検出対象物体が存在しそうな位置を照合範囲としてもよい。ステップＳ１４からＳ２６の処理は、それぞれの照合領域ごとに行われる。

【0046】

画像照合部１３３は、照合スコアをゼロにリセット（Ｓ１６）した後、モデル画像の各エッジ点について、対応するエッジ点が入力画像の照合範囲内に存在するかを調べる（Ｓ１８）。対応するエッジ点が入力画像に存在すれば照合スコアを１増加させ、存在しなけ
れば何もせず次のエッジ点について調べる。なお本実施形態では、照合スコアはモデル画像中のエッジ点数を最大値とする整数としているが、所定の値（例えば１００）を最大値として正規化した値を照合スコアとして採用してもよい。

【0047】

画像照合処理は、対応するエッジ点が存在するか否かを判定する際に、エッジ点の位置ずれと輝度勾配の方向ズレを許容する。この許容量を指定する照合パラメータが、位置ずれ許容量１３３ａおよび方向ズレ許容量１３３ｂである。

【0048】

図６は、位置ずれ許容量１３３ａおよび方向ズレ許容量１３３ｂを説明する図である。本実施形態では、位置ずれ許容量１３３ａは、モデル画像におけるエッジ点５１からの距離６１として指定される。すなわち、モデル画像におけるエッジ点５１の位置を中心として所定の半径６１を有する円６２が、位置ずれの許容範囲となる。方向ズレ許容量１３３ｂは、モデル画像におけるエッジ点５１における輝度勾配の方向５２との角度６３として指定される。すなわち、モデル画像における輝度勾配の方向を中心として角度６３以内の範囲６４が、方向ズレの許容範囲となる。

【0049】

ステップＳ１８の処理について、図７を参照して説明する。図７（ａ）は、モデル画像を示しており、ここでは図５と同様に８個のエッジ点７１ａ〜７８ａおよび各エッジ点での輝度勾配方向からなる。図７（ｂ）は、特徴量取得部１３２によって取得された入力画像のエッジ点７１ｂ〜７８ｂおよび各エッジ点での輝度勾配方向からなる。

【0050】

ステップＳ１８において画像照合部１３３は、入力画像中にモデル画像のエッジ点と対応するエッジ点が存在するかどうかを調べる。この際、位置ずれ許容量１３３ａによって指定される位置ずれ、および方向ズレ許容量１３３ｂによって指定されるエッジ点位置での輝度勾配方向の方向ズレを許容する。具体的には、入力画像において、モデル画像のエッジ点位置から位置ずれ許容量１３３ａの範囲内に、輝度勾配方向が方向ズレ許容量１３３ｂ以内のエッジ点が存在すれば、モデル画像のエッジ点に対応するエッジ点が入力画像に存在すると判定する。

【0051】

図７（ｃ）を参照して説明する。図７（ｃ）は、図７（ａ）のモデル画像と図７（ｂ）の入力画像を重ね合わせて示した図である。ここで、モデル画像のエッジ点７１ａ〜７８ａを中心とした位置ずれ許容範囲が円で示されている。輝度勾配方向の方向ズレ許容範囲の図示は省略している。

【0052】

エッジ点７３ａ，７５ａ〜７８ａの５個のエッジ点については、入力画像中の同じ位置に、同じ輝度勾配方向を有するエッジ点７３ｂ，７５ｂ〜７８ｂが存在するので、各エッジ点に対応するエッジ点が入力画像中に存在すると判断される。エッジ点７１ａについては、完全に同じ位置ではないが位置ずれ許容範囲内に、同じ輝度勾配方向を有するエッジ点７１ｂが存在するので、対応するエッジ点が入力画像中に存在すると判断される。エッジ点７２ａについては、同じ位置に、同じ方向ではないが方向ズレ許容範囲内の輝度勾配方向を有するエッジ点７２ｂが存在するので、対応するエッジ点が入力画像中に存在すると判断される。エッジ点７４ａについては、同じ位置ではないが位置ずれ許容範囲内に、同じ方向ではないが方向ズレ許容範囲内の輝度勾配方向を有するエッジ点７４ｂが存在するので、対応するエッジ点が入力画像中に存在すると判断される。

【0053】

画像処理装置１０は、上記のようにステップＳ１８〜Ｓ２０の処理を、モデル画像中の全てのエッジ点について繰り返し処理した後、得られた照合スコアが所定の照合閾値以上であるか否か判定する（Ｓ２２）。

【0054】

画像照合部１３３は、このようにして算出した照合スコアが所定の照合閾値以上であれ
ば、入力画像の探索範囲内に照合対象の物体が存在すると判定する（Ｓ２４）。逆に、照合スコアが照合閾値未満であれば、入力画像の探索範囲内に照合対象の物体が存在しないと判定する（Ｓ２６）。

【0055】

画像処理装置１０は、照合領域を変えて上記ステップＳ１４〜Ｓ２６の処理を繰り返し行い、全ての照合領域について照合処理を終えた後に、照合結果を出力する。照合結果は、出力部１３４に送られて表示されてもよいし、画像処理装置１０における別の処理（例えば、検査処理など）のための入力として用いられてもよい。なお、全ての照合範囲について照合処理が終わってから照合結果を出力するのではなく、１つの照合範囲について処理が終わる度や、物体が検出される度などに初号結果を出力するようにしてもよい。

【0056】

（照合結果）
エッジ点の位置ずれおよび輝度勾配の方向ズレを許容した照合処理（テンプレートマッチング処理）の効果について図８を参照して説明する。図８（ａ）は、照合対象の物体を示すモデル画像の例であり、ここではＴ字形の形状を有する物体である。

【0057】

図８（ｂ）〜８（ｄ）は、照合対象の物体が変形した場合の入力画像、および各設定における照合スコアを示している。図８（ｂ）〜図８（ｄ）における「位置０，方向０」「位置０，方向３」「位置３，方向０」等は、位置ずれおよび方向ズレをどれだけ許容するかを表す。ここでは、それぞれのズレ許容量を０〜５の６段階のレベルで設定し、０がズレを許容せず、５が最大に許容する設定とする。また、図中にはそれぞれの照合パラメータを用いて画像照合を行った結果の照合スコアも示されている。ここでの照合スコアは、最大値が１００となるように正規化されている。

【0058】

図８（ｂ）は、幅が細くなる変形が生じている場合の入力画像を示す。このような物体の幅が細くなったりあるいは太くなったりする変形では、エッジ点における輝度勾配方向は変化せずに、エッジ点の位置が変化する。したがって、位置ずれの許容量を大きくする「位置３，方向０」という設定で、照合スコアが大きくなる。すなわち、細りや太りの変形が生じた場合でも、正しく物体を検出することができるようになる。

【0059】

図８（ｃ）は、本来は直線である部分に欠けが生じている場合の入力画像を示す。このような欠けが生じる変形では、エッジ点の位置はそれほど変化しないが、エッジ点における輝度勾配方向が変化する。したがって、少しの位置ずれと比較的大きい方向ずれを許容する「位置１，方向４」という設定で、照合スコアが大きくなる。すなわち、欠けの変形が生じた場合でも、正しく物体を検出することができるようになる。

【0060】

図８（ｄ）は、物体の形状が歪んだ場合の入力画像を示す。このような変形では、エッジ点の位置およびエッジ点における輝度勾配方向の両方が変化する。したがって、位置ずれおよび方向ずれの両方を比較的大きく許容した「位置２，方向３」という設定で、照合スコアが大きくなる。すなわち、歪みなどの変形が生じた場合でも、正しく物体を検出することができるようになる。

【0061】

なお、位置ずれおよび方向ずれの許容量を大きくすれば、照合スコアが大きくなるので、検出したい物体を見逃す（偽陰性）確率は小さくできる。しかしながら、闇雲に許容量を大きくすると、誤検出（偽陽性）の確率も大きくなってしまう。そこで、検出対象物体の変形の性質に応じた位置ずれおよび方向ずれの許容量を設定することで、誤検出の可能性を最小限としつつ、検出対象物体を適切に検出することが可能となる。これは、本実施形態において、特徴点の位置ずれに加えて、輝度勾配方向の方向ずれも許容し、許容する形状変化を従来よりも細かく指定可能となったためである。

【0062】

（照合パラメータの設定方法）
特徴点の位置のずれや各特徴点位置での輝度勾配方向のずれなどの照合パラメータの設定方法について、ここで説明する。設定部（許容範囲設定手段）１３６がディスプレイ１２に設定用のユーザインターフェイスを表示し、ユーザはマウス１３等を用いて照合パラメータを入力する。

【0063】

図９（ａ）は、照合パラメータ設定用のユーザインターフェイスの一例を示す。この例では、位置ずれ許容量、方向ずれ許容量、および判定閾値（照合閾値）をユーザが数値入力する。位置ずれ許容量は、ピクセル単位などの絶対値として指定されてもよいし、モデル画像の大きさ（例えば、横サイズの大きさ）に対する相対値として指定されてもよい。方向ずれ許容量は、度によって指定される。判定閾値は、照合スコアの最小値から最大値（この例では０から１００）の間の数値として指定される。

【0064】

また、入力された数字に応じて、位置ずれ許容範囲および方向ずれ許容範囲を表す画像を表示することが好ましい。数値が更新されると画像も更新されるようにすることで、許容量を視覚的に理解しやすくなる。また、画像上で位置ずれ許容範囲や方向ずれ許容範囲を変更することで、これらのパラメータを入力するようにしてもよい。

【0065】

このように、具体的な数値を入力可能とすることで、ユーザは照合に関する設定を正確に指定することができる。

【0066】

図９（ｂ）は、照合パラメータ設定用のユーザインターフェイスの別の例を示す。本例では図９（ａ）のように具体的な数値を入力するのではなく、許容する誤差の大きさを示すレベルを入力する。図９（ｂ）の例では、位置ずれ許容量、方向ずれ許容量、および判定閾値をいずれも０−１０の１１段階で指定可能としている。各段階と具体的なパラメータの値は、内部的にあらかじめ定めておけばよい。例えば、位置ずれ許容量であれば１段階ごとに３ピクセルずつ増加し、方向ずれ許容量であれば１段階ごとに１０度ずつ増加するなど、レベルに応じて等間隔でパラメータの値が大きくなるようにしてもよい。また、レベルの増加に応じて等間隔で増加するのではなく、非等間隔で増加するような設定としてもよい。なお、設定可能な段階数は図９（ｂ）で示した１１段階以外の任意の数であって構わず、またパラメータごとに設定可能な段階数は異なっても構わない。

【0067】

入力されたレベルと具体的なパラメータ値の対応関係は、照合対象物に応じて変えることも望ましい。そのためには、照合対象物の種類に応じて対応関係をあらかじめ用意しておき、ユーザに照合対象物の種類を入力させたり、画像認識により照合対象物の種類を取得したりして、どの対応関係に基づいてパラメータ値を決定するかを選択すれば良い。

【0068】

このように、許容レベルを入力する形式とすることで、ユーザは照合に関する設定を直感的に理解しやすくなる。

【0069】

図１０（ａ）は、照合パラメータ設定用のユーザインターフェイスの別の例を示す。図９（ａ）（ｂ）では、位置ずれ許容量と方向ずれ許容量をそれぞれ独立してユーザに設定させていたが、この例では、どのような変形パターンを許容するかと、その許容の程度の２つの値をユーザに設定させる。許容する変形パターンとして、この例では「細り／太り」「欠け」「その他」の３つのパターンを用意している。

【0070】

ユーザは、許容する変形パターンをこれら３つのうちからいずれか１つを選択し、また、どの程度の変形量を許容するかを表す許容レベルを指定する。変形パターンおよび許容レベルの組合せと実際に設定する照合パラメータとは、あらかじめ対応付けて記憶しておけばよい。図１０（ｂ）は、変形パターンおよび許容レベルの組合せと、位置ずれ許容量
および方向ずれ許容量の組合せとの対応関係を定義したテーブルである。なお、テーブルを記憶するのではなく、許容レベルから各許容量を算出するための算出式（関数）を変形パターンごとに記憶するようにしても構わない。

【0071】

「細り／太り」は、幅のある物体の太さが変わる変形、すなわち、輝度勾配方向は変化しないが特徴点位置が変化する変形を想定している。したがって、変形量の許容レベルが大きくなるにしたがって、位置ずれ許容量をより大きくする設定としている。「欠け」は、直線的な境界がぎざぎざになる変形、すなわち、特徴点位置が少し変化し輝度勾配方向が比較的大きく変化する変形を想定する。したがって、変形量の許容レベルが大きくなるにしたがって、方向ずれ許容量をより大きくする設定としている。「その他」は、上記２つで想定されない任意の変形を想定する。したがって、変形量の許容レベルが大きくなるにしたがって、位置ずれ許容量および方向ずれ許容量の量が大きくなる設定としている。

【0072】

なお、ここで示した数値は一例に過ぎず、具体的な照合パラメータとの対応は適宜決定すればよい。また、許容する変形パターンは上記の３種類に限られず、より多くても少なくても構わない。また、上述の例では、位置ずれ許容量と方向ずれ許容量の双方をユーザが設定するものとしているが、いずれか一方のみをユーザが設定するように構成しても構わない。また、この例では判定閾値の設定については記載を省略しているが、判定閾値を別途指定可能としてもよいし、許容レベルの大きさに応じて自動的に変更されるようにしてもよい。

【0073】

このように、許容する変形パターンと許容する変形量のレベルを指定することで、ユーザは照合に関する設定をより直感的に理解しやすくなる。

【0074】

＜第２の実施形態＞
本実施形態では、モデル画像中の特徴点と一致する入力画像中の特徴点の位置を記憶することで、照合対象物体の形状変化を認識可能とする。本実施形態にかかる画像センサは、第１の実施形態にかかる画像センサと基本的に同様の構成を有するので、主に異なる部分について説明する。図１２は本実施形態にかかる、画像センサ１の画像処理装置２０の機能ブロック図である。第１の実施形態にかかる画像処理装置１０との相違点は、対応点位置記憶部１３７が設けられている点である。

【0075】

画像照合部１３３は、モデル画像の特徴点と対応する入力画像中の特徴点を求めている（図４のフローチャートのステップＳ１８）。ここで、画像照合部１３３は、モデル画像の特徴点と対応する入力画像中の特徴点の位置を、対応点位置記憶部１３７に記憶する。なお、モデル画像中の全ての特徴点について、入力画像中の対応する特徴点の位置を記憶してもよいし、後述するように対応点位置を出力する特徴点についてのみ記憶するようにしてもよい。

【0076】

出力部１３４は、照合結果として照合対象物体（ワーク）の検出位置を出力する際に、対応点位置記憶部１３７に記憶されているモデル画像の特徴点に対応する入力画像中の特徴点の位置を出力する。なお、出力先は、ディスプレイ１２であってもよいし、ＰＬＣ４のような外部装置であっても構わない。

【0077】

モデル画像中の特徴点のうち、どの特徴点に対応する入力画像中の特徴点の位置を出力部１３４から出力するかは、ユーザが設定部１３６を介して指定することができる。出力対象とする特徴点の数は任意であって構わない。対応点を高密度に出力するほど、詳細な形状変化を認識できるので、必要とされる形状変化の認識精度に応じて出力する特徴点の数を決定すればよい。

【0078】

本実施形態にかかる画像センサ１によれば、ワークの形状変化を適切に認識することができる。特に、モデル画像の特徴点に対応する入力画像中の特徴点の位置をＰＬＣ４に出力した場合には、ＰＬＣ４はワークの形状変化を認識して、ワークの特定の位置（部位）に対する操作を行うことができる。以下、本実施形態の画像センサを利用した処理システムについて説明する。

【0079】

例えば、図１，図２に示すシステムと野菜の加工機からなりＰＬＣ４が加工機を制御する処理システムにおいて、本実施形態の画像センサ１を好適に用いることができる。加工機が野菜（例えば茄子）のヘタを切り落とす場合を考える。野菜は、個体差が大きいため切り落とすべきヘタの位置を同定することが必要となる。そこで、ヘタの部位を同定するための特徴点の位置をモデル画像において定めておき、この特徴点に対応する入力画像中の特徴点を画像センサ１からＰＬＣ４に出力するように設定すればよい。ＰＬＣ４は画像センサ１から得られる特徴点位置に基づいて、ヘタの部位を同定して、ヘタの部位を切り落とすように加工機に対して指示することができる。

【0080】

また、図１，図２に示すシステムとコンベア上からワークを把持（ピッキング）して移動させる搬送機械からなるシステムにおいて、ＰＬＣ４が搬送機械を制御する場合にも本実施形態の画像センサ１を好適に用いることができる。搬送機械がワークを把持して移動させる場合、把持する位置を同定することが好ましい。そこで、把持部位を同定するための特徴点の位置をモデル画像において定めておき、この特徴点に対応する入力画像中の特徴点を画像センサ１からＰＬＣ４に出力するように設定すればよい。ＰＬＣ４は画像センサ１から得られる特徴点位置に基づいて把持すべき部位を同定して、ワークのこの部位を把持して移動するように搬送機械に対して指示することができる。

【0081】

なお、上記の説明は例示に過ぎず、ワークに対して操作を行う処理装置と、画像センサと、処理装置の制御を司る制御装置とからなり、画像センサから出力される特徴点位置に基づいて操作を行うように制御装置から処理装置に対して指示する処理システム一般に対して、本実施形態の画像センサを好適に用いることができる。

【0082】

このような処理システムによれば、画像センサからの出力によってワークの形状変化を適切に認識して、形状変化を考慮してワークに対して処理を行うように指示できるので、ワークに対する操作が確実に行える。

【0083】

（変形例）
上述した実施形態の構成は本発明の一具体例を示したものにすぎず、本発明の範囲を限定する趣旨のものではない。本発明はその技術思想を逸脱しない範囲において、種々の具体的構成を採り得るものである。

【0084】

例えば、上記では生産ラインにおけるワークの位置検出を行うためのシステムを例として説明したが、本発明に係る画像照合は、画像から照合対象物を検出するための任意の用途に適用可能である。例えば、本発明の一実施形態は、手書き文字を認識するためのシステムとして実装することもできる。また、本発明の一実施形態は、画像データを記録媒体やネットワークを経由して取得し、この画像データを対象として画像照合を行うシステムとして実装することもできる。

【0085】

また、上記の説明では、特徴点としてエッジ点を採用しているが、特徴点は、画像から特徴的な点として求められるものであれば任意のものを採用できる。エッジ点以外として、ＳＩＦＴ、ＳＵＲＦ、Ｈａｒｒｉｓコーナーポイントなど様々な手法による特徴点を採用することができる。

【0086】

また、上記の説明では、位置ずれの許容範囲を、モデル画像における特徴点の位置から所定の距離以内の範囲、すなわち円領域としているが、これも必須ではない。許容範囲は、円以外にも、矩形（正方形および長方形）、楕円、多角形など任意の形状の領域とすることができる。例えば、図１１（ａ）に示すように、位置ずれ許容範囲を、特徴点位置を中心とする正方形とすることができる。このようにすれば、ｘ座標の位置ずれとｙ座標の位置ずれがそれぞれ所定値以内であるかどうかによって許容範囲内であるかどうかを判断できるので、処理負荷が少なくなる。図１１（ａ）において、ｘ座標の位置ずれとｙ座標の位置ずれの許容量を異なるようにしてもよい。この場合は、図１１（ｂ）に示すような長方形の許容範囲となり、特定方向への位置ずれを比較的大きく許容できる。図１１（ｃ）は、許容範囲を菱形とした例である。このようにすれば、ｘ座標の位置ずれとｙ座標の位置ずれの和が所定値以内であるかどうかによって許容範囲内であるかどうかを判断できるので、処理負荷が少なくなる。この方法は、距離測度としてユークリッド距離ではなくマンハッタン距離を採用して所定の距離以内の位置ずれを許容したものと捉えることができる。また、図１１（ｄ）は、許容範囲を、特徴点位置を中心とする楕円形状とした例である。このようにすれば、特定に方向への位置ずれを比較的大きく許容できるので、位置ずれしやすい方向が決まっている物体を対象とする場合に好適である。許容範囲は、ここで示した以外にも任意の形状とすることができる。

【0087】

また、方向ずれの許容範囲をも、モデル画像における輝度勾配方向を中心とする角度範囲とする必要はない。図１１（ｅ）に示すように、方向ずれの許容量を方向に応じて異なるようにしてもよい。この場合、時計回り方向のずれ許容量と、反時計回り方向のずれ許容量をそれぞれ設定すればよい。

【0088】

また、上記の説明では、モデル画像中の全ての特徴点について、同一のずれ許容基準を適用して対応する特徴点が入力画像中に存在するか判定しているが、特徴点ごとに異なる許容基準を適用してもよい。すなわち、特徴点ごとに、許容する位置ずれ量および方向ズレ量を設定するようにしてもよい。

【0089】

図１では、カメラと画像処理装置が別体で構成されているが、カメラと画像処理装置が一体となった構成の画像センサを用いることもできる。また、画像処理装置に複数台のカメラを接続し、一つの画像センサで複数のラインの計測・監視を行うこともできる。また、グリッドコンピューティング、クライアントサーバシステム、クラウドコンピューティングなどの技術を適用し、画像処理装置の機能の一部または全部を別のコンピュータで実行するようにしてもよい。

【符号の説明】

【0090】

１：画像センサ、２：ワーク、３：コンベヤ、４：ＰＬＣ
１０：画像処理装置、１１：カメラ、１２：ディスプレイ
１３０：画像入力部、１３１：照合範囲決定部、１３２：特徴量取得部、１３３：画像照合部、１３４：出力部、１３５：記憶部、１３６：設定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】