特開 2022-91591 コンピュータプログラム、画像処理装置、および、画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022091591

(43)【公開日】2022-06-21

(54)【発明の名称】コンピュータプログラム、画像処理装置、および、画像処理方法

(51)【国際特許分類】

   G06T 7/33 20170101AFI20220614BHJP

【ＦＩ】

G06T7/33

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2020204507

(22)【出願日】2020-12-09

(71)【出願人】

【識別番号】000005267

【氏名又は名称】ブラザー工業株式会社

(74)【代理人】

【識別番号】110001058

【氏名又は名称】特許業務法人鳳国際特許事務所

(72)【発明者】

【氏名】▲高▼須 将也

(72)【発明者】

【氏名】井上 千智

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA07

5L096CA02

5L096DA02

5L096FA69

5L096GA51

5L096HA08

5L096JA03

5L096JA09

5L096JA11

5L096JA18

(57)【要約】

【課題】画像間の相対的な位置関係を精度良く決定する。
【解決手段】コンピュータプログラムは、対象画像データとテンプレート画像データとを用いて、対応関係を有する対象画像内の第１特徴点とテンプレート画像内の第２特徴点とを特定する処理と、対象画像内の第１エッジ画素のうち、第１特徴点の近傍に位置する画素を第１使用画素として決定し、テンプレート画像内の複数個の第２エッジ画素のうち、第２特徴点の近傍に位置する画素を第２使用画素として決定する処理と、複数個の第１使用画素と複数個の第２使用画素とを用いて、対象画像とテンプレート画像との相対的な位置関係を決定する処理と、をコンピュータに実行させる。対応関係は、第１特徴点を含む局所領域の特徴を示す第１局所特徴量と、第２特徴点を含む局所領域の特徴を示す第２局所特徴量との比較に基づいて決定される。
【選択図】 図７

【特許請求の範囲】

【請求項1】

コンピュータプログラムであって、
前記対象画像を示す対象画像データと、オブジェクトに対応するテンプレート画像を示すテンプレート画像データと、を取得する画像取得処理と、
前記対象画像データを用いて前記対象画像内の複数個の第１エッジ画素を特定し、前記テンプレート画像データを用いて前記テンプレート画像内の複数個の第２エッジ画素を特定するエッジ画素特定処理と、
前記対象画像データと前記テンプレート画像データとを用いて、対応関係を有する前記対象画像内の第１特徴点と前記テンプレート画像内の第２特徴点とを特定する特徴点特定処理であって、前記第１特徴点と前記第２特徴点とは、画像内の局所的な所定の特徴を有する部分に位置する点であり、前記第１エッジ画素と前記第２エッジ画素の特定とは異なるアルゴリズムを用いて特定される点であり、前記対応関係は、前記第１特徴点を含む局所領域の特徴を示す第１局所特徴量と、前記第２特徴点を含む局所領域の特徴を示す第２局所特徴量との比較に基づいて決定される、前記特徴点特定処理と、
前記複数個の第１エッジ画素のうち、前記第１特徴点の近傍に位置する画素を第１使用画素として決定し、前記複数個の第２エッジ画素のうち、前記第２特徴点の近傍に位置する画素を第２使用画素として決定する使用画素決定処理と、
前記複数個の第１使用画素と前記複数個の第２使用画素とを用いて、前記対象画像と前記テンプレート画像との相対的な位置関係を決定する第１決定処理と、
をコンピュータに実行させるコンピュータプログラム。

【請求項2】

請求項２に記載のコンピュータプログラムであって、さらに、
前記対象画像と前記テンプレート画像との相対的な位置関係を所定の精度で決定する第２決定処理を
コンピュータに実行させ、
前記第１決定処理は、前記第２決定処理の後に、前記所定の精度よりも高い精度で前記対象画像に対する前記テンプレート画像の決定を決定する処理である、コンピュータプログラム。

【請求項3】

請求項２に記載のコンピュータプログラムであって、
前記第２決定処理は、前記対象画像データに対して縮小処理を実行して生成される縮小対象画像データと、前記テンプレート画像データに対して縮小処理を実行して生成される縮小テンプレート画像データと、を用いて実行される、コンピュータプログラム。

【請求項4】

請求項２または３に記載のコンピュータプログラムであって、
前記使用画素決定処理では、前記第１特徴点は、前記対象画像のうちの前記テンプレート画像に対応する一部分であって前記第２決定処理で決定された位置関係に基づいて決定される部分画像内に決定される、コンピュータプログラム。

【請求項5】

請求項２～４のいずれかに記載のコンピュータプログラムであって、
前記第２決定処理は、テンプレートマッチング処理である、コンピュータプログラム。

【請求項6】

請求項１～５のいずれかに記載のコンピュータプログラムであって、
前記第１決定処理は、ＩＣＰ（iterative closest point）アルゴリズムを用いる処理である、コンピュータプログラム。

【請求項7】

請求項１～６のいずれかに記載のコンピュータプログラムであって、
前記特徴点特定処理は、ＭＳＥＲ（Maximally Stable Extremal Regions）アルゴリズムを用いる処理である、コンピュータプログラム。

【請求項8】

画像処理装置であって、
前記対象画像を示す対象画像データと、オブジェクトに対応するテンプレート画像を示すテンプレート画像データと、を取得する画像取得部と、
前記対象画像データを用いて前記対象画像内の複数個の第１エッジ画素を特定し、前記テンプレート画像データを用いて前記テンプレート画像内の複数個の第２エッジ画素を特定するエッジ画素特定部と、
前記対象画像データと前記テンプレート画像データとを用いて、対応関係を有する前記対象画像内の第１特徴点と前記テンプレート画像内の第２特徴点とを特定する特徴点特定処理であって、前記第１特徴点と前記第２特徴点とは、画像内の局所的な所定の特徴を有する部分に位置する点であり、前記第１エッジ画素と前記第２エッジ画素の特定とは異なるアルゴリズムを用いて特定される点であり、前記対応関係は、前記第１特徴点を含む局所領域の特徴を示す第１局所特徴量と、前記第２特徴点を含む局所領域の特徴を示す第２局所特徴量との比較に基づいて決定される、前記特徴点特定部と、
前記複数個の第１エッジ画素のうち、前記第１特徴点の近傍に位置する画素を第１使用画素として決定し、前記複数個の第２エッジ画素のうち、前記第２特徴点の近傍に位置する画素を第２使用画素として決定する使用画素決定部と、
前記複数個の第１使用画素と前記複数個の第２使用画素とを用いて、前記対象画像と前記テンプレート画像との相対的な位置関係を決定する第１決定部と、
を備える画像処理装置。

【請求項9】

画像処理方法であって、
前記対象画像を示す対象画像データと、オブジェクトに対応するテンプレート画像を示すテンプレート画像データと、を取得する画像取得工程と、
前記対象画像データを用いて前記対象画像内の複数個の第１エッジ画素を特定し、前記テンプレート画像データを用いて前記テンプレート画像内の複数個の第２エッジ画素を特定するエッジ画素特定工程と、
前記対象画像データと前記テンプレート画像データとを用いて、対応関係を有する前記対象画像内の第１特徴点と前記テンプレート画像内の第２特徴点とを特定する特徴点特定処理であって、前記第１特徴点と前記第２特徴点とは、画像内の局所的な所定の特徴を有する部分に位置する点であり、前記第１エッジ画素と前記第２エッジ画素の特定とは異なるアルゴリズムを用いて特定される点であり、前記対応関係は、前記第１特徴点を含む局所領域の特徴を示す第１局所特徴量と、前記第２特徴点を含む局所領域の特徴を示す第２局所特徴量との比較に基づいて決定される、前記特徴点特定工程と、
前記複数個の第１エッジ画素のうち、前記第１特徴点の近傍に位置する画素を第１使用画素として決定し、前記複数個の第２エッジ画素のうち、前記第２特徴点の近傍に位置する画素を第２使用画素として決定する使用画素決定工程と、
前記複数個の第１使用画素と前記複数個の第２使用画素とを用いて、前記対象画像と前記テンプレート画像との相対的な位置関係を決定する第１決定工程と、
を備える画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、画像間の相対的な位置関係を決定するための技術に関する。

【背景技術】

【0002】

特許文献１に記載された画像処理装置は、サーチ画像上にある電子部品などのオブジェクトを特定する。その際に、画像処理装置は、サーチ画像上のエッジ画素のうち、コーナー度を用いて抽出された画素を用いて、サーチ画像とテンプレート画像との粗い位置合わせを行う。画像処理装置は、さらに、サーチ画像上の全てのエッジ画素、あるいは、一部が間引かれた後のエッジ画素を用いて、サーチ画像とテンプレート画像との最終的な位置合わせを行う。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２－４８５９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記技術では、位置合わせに用いるべきエッジ画素の選択について十分な工夫がなされているとは言えなかった。このために、画像間の相対的な位置関係を十分に精度良く決定できない場合があった。

【0005】

本明細書は、画像間の相対的な位置関係を精度良く決定できる新たな技術を開示する。

【課題を解決するための手段】

【0006】

本明細書に開示された技術は、以下の適用例として実現することが可能である。

【0007】

［適用例１］コンピュータプログラムであって、
前記対象画像を示す対象画像データと、オブジェクトに対応するテンプレート画像を示すテンプレート画像データと、を取得する画像取得処理と、
前記対象画像データを用いて前記対象画像内の複数個の第１エッジ画素を特定し、前記テンプレート画像データを用いて前記テンプレート画像内の複数個の第２エッジ画素を特定するエッジ画素特定処理と、
前記対象画像データと前記テンプレート画像データとを用いて、対応関係を有する前記対象画像内の第１特徴点と前記テンプレート画像内の第２特徴点とを特定する特徴点特定処理であって、前記第１特徴点と前記第２特徴点とは、画像内の局所的な所定の特徴を有する部分に位置する点であり、前記第１エッジ画素と前記第２エッジ画素の特定とは異なるアルゴリズムを用いて特定される点であり、前記対応関係は、前記第１特徴点を含む局所領域の特徴を示す第１局所特徴量と、前記第２特徴点を含む局所領域の特徴を示す第２局所特徴量との比較に基づいて決定される、前記特徴点特定処理と、
前記複数個の第１エッジ画素のうち、前記第１特徴点の近傍に位置する画素を第１使用画素として決定し、前記複数個の第２エッジ画素のうち、前記第２特徴点の近傍に位置する画素を第２使用画素として決定する使用画素決定処理と、
前記複数個の第１使用画素と前記複数個の第２使用画素とを用いて、前記対象画像と前記テンプレート画像との相対的な位置関係を決定する第１配置処理と、
をコンピュータに実行させるコンピュータプログラム。

【0008】

上記構成によれば、画像内の局所的な所定の特徴を有する部分に位置する特徴点の近傍に位置するエッジ画素を用いて、対象画像とテンプレート画像との相対的な位置関係が決定される。この結果、対象画像とテンプレート画像との相対的な位置関係を精度良く決定することができる。例えば、特徴点は、特定するためのアルゴリズムなどによってずれが生じる場合がある。また、複数個のエッジ画素は、例えば、線を構成する場合が多い。このことから、複数個のエッジ画素を用いる場合には、特徴点だけを用いる場合よりも、対象画像とテンプレート画像との相対的な位置関係を精度良く決定できる。また、画像内のエッジ画素は、ノイズに対応するエッジ画素が含まれる。特徴点の近傍に位置するエッジ画素は、局所的な特徴を有する部分に関連するエッジ画素である確率が高く、ノイズに対応するエッジ画素である確率が低い。この結果、特徴点の近傍に位置するエッジ画素を用いる場合には、画像内の全てのエッジ画素を用いる場合よりもノイズによる悪影響を抑制できるので、対象画像とテンプレート画像との相対的な位置関係を精度良く決定できる。さらに、特徴点の近傍に位置するエッジ画素を用いる場合には、画像内の全てのエッジ画素を用いる場合よりも使用されるエッジ画素の個数が少ないので、対象画像とテンプレート画像との相対的な位置関係の決定に要する処理時間を低減できる。

【0009】

なお、本明細書に開示の技術は、種々の態様で実現することが可能であり、例えば、画像処理方法、画像処理装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体（例えば、一時的ではない記録媒体）、等の形態で実現することができる。

【図面の簡単な説明】

【0010】

【図1】実施例の印刷システム１０００の構成を示すブロック図。

【図2】印刷システム１０００の概略構成を示す斜視図。

【図3】テンプレート登録処理および印刷処理のフローチャート。

【図4】テンプレート画像に関する画像の一例を示す図。

【図5】媒体画像に関する画像の一例を示す図。

【図6】マッチング処理のフローチャート。

【図7】有効エッジ画素決定処理のフローチャート。

【発明を実施するための形態】

【0011】

Ａ．第１実施例：
Ａ－１：印刷システム１０００の構成
次に、実施の形態を実施例に基づき説明する。図１は、実施例の印刷システム１０００の構成を示すブロック図である。印刷システム１０００は、プリンタ２００と、本実施例の画像処理装置としての端末装置３００と、撮像装置４００と、を含んでいる。プリンタ２００と端末装置３００、および、撮像装置４００と端末装置３００とは、通信可能に接続されている。

【0012】

端末装置３００は、プリンタ２００のユーザが使用する計算機であり、例えば、パーソナルコンピュータやスマートフォンである。端末装置３００は、端末装置３００のコントローラとしてのＣＰＵ３１０と、ハードディスクドライブなどの不揮発性記憶装置３２０と、ＲＡＭなどの揮発性記憶装置３３０と、マウスやキーボードなどの操作部３６０と、液晶ディスプレイなどの表示部３７０と、通信部３８０と、を備えている。通信部３８０は、外部機器、例えば、プリンタ２００や撮像装置４００と通信可能に接続するための有線または無線のインタフェースを含む。

【0013】

揮発性記憶装置３３０は、ＣＰＵ３１０が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域３３１を提供する。不揮発性記憶装置３２０には、コンピュータプログラムＰＧ１が格納されている。コンピュータプログラムＰＧ１は、例えば、サーバからダウンロードされる形態、あるいは、ＤＶＤ－ＲＯＭなどに格納される形態で、プリンタ２００の製造者によって提供される。ＣＰＵ３１０は、コンピュータプログラムＰＧ１を実行することによって、プリンタ２００を制御するプリンタドライバとして機能する。プリンタドライバとしてのＣＰＵ３１０は、例えば、後述するテンプレート登録処理や印刷処理を実行する。

【0014】

撮像装置４００は、光学的に被写体を撮像することによって被写体を表す画像データ（撮像画像データとも呼ぶ）を生成するデジタルカメラである。撮像装置４００は、端末装置３００の制御に従って、撮像画像データを生成し、端末装置３００に送信する。

【0015】

プリンタ２００は、例えば、印刷機構１００と、プリンタ２００のコントローラとしてのＣＰＵ２１０と、ハードディスクドライブなどの不揮発性記憶装置２２０と、ＲＡＭなどの揮発性記憶装置２３０と、ユーザによる操作を取得するためのボタンやタッチパネルなどの操作部２６０と、液晶ディスプレイなどの表示部２７０と、通信部２８０と、を備えている。通信部２８０は、外部機器、例えば、端末装置３００と通信可能に接続するための有線または無線のインタフェースを含む。

【0016】

揮発性記憶装置２３０は、ＣＰＵ２１０が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域２３１を提供する。不揮発性記憶装置２２０には、コンピュータプログラムＰＧ２が格納されている。コンピュータプログラムＰＧ２は、本実施例では、プリンタ２００を制御するための制御プログラムであり、プリンタ２００の出荷時に不揮発性記憶装置２２０に格納されて提供され得る。これに代えて、コンピュータプログラムＰＧ２は、サーバからダウンロードされる形態で提供されても良く、ＤＶＤ－ＲＯＭなどに格納される形態で提供されてもよい。ＣＰＵ２１０は、コンピュータプログラムＰＧ２を実行することにより、例えば、後述する印刷処理によって端末装置３００から送信される印刷データに従って印刷機構１００を制御して印刷媒体に画像を印刷する。なお、本実施例のプリンタ２００は、印刷媒体として布地が想定されており、例えば、Ｔシャツなどの衣服や、靴ＳＨ（図２参照）の上に画像を印刷することができる。

【0017】

印刷機構１００は、Ｃ、Ｍ、Ｙ、Ｋの各インク（液滴）を吐出して印刷を行うインクジェット方式の印刷機構である。印刷機構１００は、印刷ヘッド１１０とヘッド駆動部１２０と主走査部１３０と搬送部１４０とを備えている。

【0018】

図２を参照して、さらに、説明する。図２は、印刷システム１０００の概略構成を示す斜視図である。図２の＋Ｘ方向、－Ｘ方向、＋Ｙ方向、－Ｙ方向、＋Ｚ方向、－Ｚ方向は、それぞれ、プリンタ２００の左方、右方、前方、後方、上方、下方である。

【0019】

主走査部１３０は、筐体２０１の内部において、図示しない主走査モータの動力を用いて、印刷ヘッド１１０を搭載するキャリッジ（図示省略）を主走査方向（図２のＸ方向）に沿って往復動させる。これによって、靴ＳＨなどの印刷媒体に対して主走査方向（Ｘ方向）に沿って印刷ヘッド１１０を往復動させる主走査が実現される。

【0020】

搬送部１４０は、筐体２０１のＸ方向中央部に設けられたプラテン１４２およびトレイ１４４を備えている。板状のプラテン１４２の上面（＋Ｚ方向の面）は、靴ＳＨなどの印刷媒体を載置するための載置面である。プラテン１４２は、プラテン１４２の－Ｚ方向に配置された板状のトレイ１４４に固定されている。トレイ１４４は、プラテン１４２より一回り大きい。プラテン１４２とトレイ１４４とによって、靴ＳＨなどの印刷媒体が保持される。例えば、印刷媒体が靴ＳＨである場合には、靴ＳＨの足を挿入する部分に挿入される靴用の治具（図示省略）がプラテン１４２に固定される。靴ＳＨは、内部に治具が挿入されることによって治具に対して固定される。プラテン１４２とトレイ１４４は、図示しない副走査モータの動力を用いて、主走査方向と交差する搬送方向（図２のＹ方向）に搬送される。これによって、靴ＳＨなどの印刷媒体を印刷ヘッド１１０に対して搬送方向に搬送する副走査が実現される。

【0021】

ヘッド駆動部１２０（図１）は、主走査部１３０が印刷ヘッド１１０の主走査を行っている最中に、印刷ヘッド１１０に駆動信号を供給して、印刷ヘッド１１０を駆動する。印刷ヘッド１１０は、図示しない複数個のノズルを備え、駆動信号に従って、搬送部１４０によって搬送される印刷媒体上にインクを吐出してドットを形成する。

【0022】

図２に示すように、撮像装置４００は、図示しない支持具によって支持されて、プリンタ２００の＋Ｚ方向に配置される。撮像装置４００は、プリンタ２００から離れた場所に位置し、プラテン１４２の上面に対向して設けられ、プラテン１４２の上面に載置された靴ＳＨなどの印刷媒体を撮影可能である。これによって、撮像装置４００は、靴ＳＨなどの印刷媒体を含む画像を示す撮像画像データを生成することができる。

【0023】

Ａ－２．印刷システム１０００の動作
印刷システム１０００の動作について説明する。印刷システム１０００は、印刷媒体としての靴ＳＨの一部分である印刷対象領域に対して、所定の画像（例えば、模様やロゴ）を印刷する。本実施例では、印刷対象領域は、靴ＳＨの側面の布地の領域である。靴ＳＨは、例えば、作業者によって、プラテン１４２とトレイ１４４との所定の位置に載置される。その際に、常に、靴ＳＨがプラテン１４２に対して同じ位置に配置されるように、靴ＳＨを正確に載置することは困難である。このために、印刷システム１０００は、靴ＳＨが載置されたプラテン１４２やトレイ１４４上において、靴ＳＨを含む領域を特定し、特定された靴ＳＨの印刷対象領域に対して印刷を行う機能を備えている。

【0024】

Ａ－２－１．テンプレート登録処理
テンプレート登録処理は、後述する印刷処理において靴ＳＨが位置する印刷対象領域を特定するためのテンプレート画像データを、見本の靴ＳＨを用いて生成する処理である。見本の靴ＳＨは、例えば、印刷すべき複数個の靴ＳＨのうちの一つである。

【0025】

図３（Ａ）は、テンプレート登録処理のフローチャートである。テンプレート登録処理は、例えば、見本の靴ＳＨがプラテン１４２に対して載置され、プラテン１４２に載置された靴ＳＨを上方から撮像装置４００にて撮影可能な状態で、ユーザが端末装置３００に開始指示を入力した場合に開始される。テンプレート登録処理は、端末装置３００のＣＰＵ３１０によって実行される。

【0026】

Ｓ１００では、ＣＰＵ３１０は、見本の靴ＳＨの撮像画像データを撮像装置４００から取得する。具体的には、ＣＰＵ３１０は、撮像装置４００に撮像指示を送信する。撮像装置４００は、プラテン１４２に載置された見本の靴ＳＨを撮像して、撮像画像データを生成して、端末装置３００に送信する。撮像画像データは、例えば、複数個の画素に対応する複数個のＲＧＢ値を含み、ＲＧＢ値で画素ごとの色を示す画像データである。ＲＧＢ値は、ＲＧＢの３個の成分値を含むＲＧＢ表色系の色値である。本ステップにて取得される見本の靴ＳＨの撮像画像データを見本画像データとも呼び、見本画像データによって示される画像を見本画像とも呼ぶ。

【0027】

図４は、テンプレート画像に関する画像の一例を示す図である。図４に示すように、画像の左右方向は、プリンタ２００の主走査方向（図２のＸ方向）に対応し、画像の上下方向は、プリンタ２００の搬送方向（図２のＹ方向）に対応している。図４（Ａ）には、見本画像データによって示される見本画像Ｉｔの一例が図示されている。見本画像Ｉｔは、プラテン１４２に載置された見本の靴ＳＨを示す画像を含んでいる。以下では、見本画像Ｉｔに含まれる見本の靴ＳＨを示す画像を、単に「靴ＳＨｔ」とも呼ぶ。

【0028】

Ｓ１０５では、ＣＰＵ３１０は、ユーザの指示に基づいて、見本画像Ｉｔ内の印刷対象領域ＰＡｔをクロッピングする。例えば、ＣＰＵ３１０は、図示しないユーザインタフェース（ＵＩ）画面を表示部３７０に表示する。ユーザは、マウスなどのポインティングデバイスを用いて、ＵＩ画面上において、見本画像Ｉｔ内の印刷対象領域ＰＡｔを指定する指示を入力する。図４（Ａ）の例では、靴ＳＨｔを含む印刷対象領域ＰＡｔが図示されている。ＣＰＵ３１０は、見本画像データに対してクロッピング処理を実行して、印刷対象領域ＰＡｔに対応する部分見本画像データを生成する。

【0029】

Ｓ１１０では、ＣＰＵ３１０は、部分見本画像データをテンプレート画像データとして、不揮発性記憶装置２２０に保存する。図４（Ｂ）には、テンプレート画像データ（部分見本画像データ）によって示されるテンプレート画像ＴＩの一例が図示されている。

【0030】

Ａ－２－２．印刷処理
印刷処理は、プリンタ２００を用いて、印刷媒体としての靴ＳＨを含む印刷対象領域に対して、所定の画像（例えば、模様やロゴ）を印刷する処理である。図３（Ｂ）は、印刷処理のフローチャートである。印刷処理は、印刷媒体である靴ＳＨがプラテン１４２に載置され、プラテン１４２に載置された靴ＳＨを上方から撮像装置４００にて撮影可能な状態で、ユーザが端末装置３００に開始指示を入力した場合に開始される。印刷処理は、端末装置３００のＣＰＵ３１０によって実行される。

【0031】

Ｓ２００では、ＣＰＵ３１０は、印刷媒体である靴ＳＨの撮像画像データを撮像装置４００から取得する。取得の方法は、図３（Ａ）のＳ１００と同様の方法である。本ステップにて取得される印刷媒体である靴ＳＨの撮像画像データを媒体画像データともよび、媒体画像データによって示される画像を媒体画像とも呼ぶ。

【0032】

図５は、媒体画像に関する画像の一例を示す図である。図５（Ａ）には、媒体画像データによって示される媒体画像Ｉｓの一例が図示されている。媒体画像Ｉｓは、見本画像Ｉｔと同様に、プラテン１４２に載置された見本の靴ＳＨを示す画像を含んでいる。以下では、媒体画像Ｉｓに含まれる靴ＳＨを示す画像を、単に「靴ＳＨｓ」とも呼ぶ。

【0033】

Ｓ２１０では、ＣＰＵ３１０は、マッチング処理を実行して、媒体画像Ｉｓ内の印刷対象領域ＰＡｓを特定する。マッチング処理は、媒体画像データと、テンプレート画像データと、を用いて実行される。マッチング処理は、媒体画像Ｉｓとテンプレート画像ＴＩとの位置関係を決定する処理である。マッチング処理の詳細については後述する。

【0034】

２個の画像Ｉｓ、ＴＩの位置関係は、例えば、媒体画像Ｉｓに対するテンプレート画像ＴＩの位置（座標）と、媒体画像Ｉｓに対するテンプレート画像ＴＩの傾き（角度）と、によって示される。該位置関係は、さらに、媒体画像Ｉｓに対するテンプレート画像ＴＩの大きさ（縮尺）を含んでも良い。図５（Ａ）において、破線で示す矩形は、マッチング処理によって決定された位置関係で媒体画像Ｉｓ上に配置されたテンプレート画像ＴＩを示している。ＣＰＵ３１０は、特定された位置関係に基づいて印刷対象領域ＰＡｓを特定する。例えば、特定された位置関係で媒体画像Ｉｓに重ねられたテンプレート画像ＴＩの領域（図５（Ａ））が印刷対象領域ＰＡｓとして特定される。

【0035】

Ｓ２１５では、ＣＰＵ３１０は、特定された印刷対象領域ＰＡｓに基づいて印刷画像（例えば、模様やロゴ）を位置決めし、印刷を実行する。例えば、ＣＰＵ３１０は、媒体画像Ｉｓにおいて特定された印刷対象領域ＰＡｓ内の靴ＳＨｓ上の領域（例えば、靴ＳＨｓの側面の領域）に印刷画像が印刷されるように、印刷データを生成して、プリンタ２００に送信する。プリンタ２００は、受信した印刷データに従って、印刷機構１００を制御して、靴ＳＨに画像を印刷する。

【0036】

Ａ－２－３．マッチング処理
図３（Ｂ）のＳ２１０のマッチング処理について説明する。図６は、マッチング処理のフローチャートである。Ｓ３００では、ＣＰＵ３１０は、テンプレート画像データに対して縮小処理を実行して、縮小テンプレート画像データを生成する。縮小処理は、処理対象の画像のＸ方向の画素数およびＹ方向の画素数を所定の縮小率で減少させる処理である。縮小処理は、公知の手法、例えば、ニアレストネイバー法、バイリニア法、バイキュービック法を用いて実行される。所定の縮小率は、例えば、１０～５０％である。

【0037】

Ｓ３０５では、縮小テンプレート画像データに対してエッジ検出処理を実行して、縮小テンプレートエッジデータを生成する。エッジ検出処理は、処理対象の画像内の複数個の画素の中からエッジ画素を検出し、検出結果を示すエッジデータを生成する処理である。エッジデータは、画素ごとにエッジ画素であるか非エッジ画素であるかを示す二値画像データである。

【0038】

エッジ画素の検出方法は、種々の方法であってよい。本実施例では、画像内のオブジェクトの輪郭を示すエッジ画素の検出に好ましいＣａｎｎｙ Ｅｄｇｅ法が用いられる。これに代えて、例えば、ラプラシアンフィルタやソーベルフィルタを用いてエッジ強度を算出し、該エッジ強度が閾値ＴＨ１よりも大きな画素をエッジ画素として検出する方法であっても良い。

【0039】

図４（Ｃ）には、縮小テンプレートエッジデータによって示される縮小テンプレートエッジ画像ＭＥＩｔが図示されている。縮小テンプレートエッジ画像ＭＥＩｔは、図４（Ｂ）のテンプレート画像ＴＩ内の靴ＳＨｔのエッジＭＥｔを含んでいる。

【0040】

Ｓ３１０では、ＣＰＵ３１０は、媒体画像データに対して縮小処理を実行して、縮小媒体画像データを生成する。本ステップの縮小処理には、Ｓ３００の縮小処理と同様の処理が用いられる。また、本ステップの縮小処理の縮小率は、Ｓ３００の縮小処理の縮小率と同じである。

【0041】

Ｓ３１５では、縮小媒体画像データに対して、エッジ検出処理を実行して、縮小媒体エッジデータを生成する。エッジ検出処理には、Ｓ３０５のエッジ検出処理と同様の検出方法が用いられる。

【0042】

図５（Ｂ）には、縮小媒体エッジデータによって示される縮小媒体エッジ画像ＭＥＩｓが図示されている。縮小媒体エッジ画像ＭＥＩｓは、図５（Ａ）の媒体画像Ｉｓ内の靴ＳＨｓのエッジＭＥｓを含んでいる

【0043】

Ｓ３２０では、ＣＰＵ３１０は、パターンマッチングにより粗い精度でのマッチングを実行する。具体的には、ＣＰＵ３１０は、縮小媒体エッジデータと縮小テンプレートエッジデータとを用いて、縮小媒体エッジ画像ＭＥＩｓと縮小テンプレートエッジ画像ＭＥＩｔとの大まかな位置関係を決定する。パターンマッチングのアルゴリズムには、公知のアルゴリズムが用いられる。例えば、パターンマッチングは、縮小媒体エッジ画像ＭＥＩｓと縮小テンプレートエッジ画像ＭＥＩｔとの位置関係（座標と角度）を所定の刻み量で変えながら、縮小媒体エッジ画像ＭＥＩｓと縮小テンプレートエッジ画像ＭＥＩｔとが重なる領域において、２個の画像ＭＥＩｓ、ＭＥＩｔ間の類似度を算出し、該類似度が最も高い位置関係を探索する手法である。２個の画像ＭＥＩｓ、ＭＥＩｔ間の類似度には、例えば、縮小媒体エッジ画像ＭＥＩｓの複数個のエッジ画素のうち、縮小テンプレートエッジ画像ＭＥＩｔのエッジ画素と重なる画素の個数が用いられる。

【0044】

マッチングの精度は、刻み量によって決定付けられる。本ステップでは、座標の刻み量は、例えば、１～数画素、角度の刻み量は、例えば、３～７度に設定される。

【0045】

図５（Ｂ）において、破線で示す矩形は、パターンマッチングによって決定された位置関係で縮小媒体エッジ画像ＭＥＩｓ上に配置された縮小テンプレートエッジ画像ＭＥＩｔを示している。

【0046】

Ｓ３２５では、ＣＰＵ３１０は、縮小されていない元のテンプレート画像データに対して、エッジ検出処理を実行して、テンプレートエッジデータを生成する。エッジ検出処理は、Ｓ３００のエッジ検出処理と同様に、Ｃａｎｎｙ Ｅｄｇｅ法が用いられる。これに代えて、各種の検出フィルタを用いる方法などの方法が用いられても良い。

【0047】

図４（Ｄ）には、テンプレートエッジデータによって示されるテンプレートエッジ画像ＴＥＩが図示されている。テンプレートエッジ画像ＴＥＩでは、図４（Ｂ）のテンプレート画像ＴＩに含まれるエッジ画素Ｅｇｔが特定されている。

【0048】

Ｓ３３０では、ＣＰＵ３１０は、Ｓ３２０での縮小画像を用いて実行されたパターンマッチングの結果に基づき、縮小前の媒体画像Ｉｓのうち、処理対象とすべき部分をクロッピングする。すなわち、ＣＰＵ３１０は、Ｓ３２０にて特定された縮小媒体エッジ画像ＭＥＩｓと縮小テンプレートエッジ画像ＭＥＩｔとの位置関係に基づいて、縮小前の媒体画像Ｉｓとテンプレート画像ＴＩとの位置関係を特定する。ＣＰＵ３１０は、媒体画像Ｉｓのうち、特定された位置関係においてテンプレート画像ＴＩと重なる領域をクロッピングして、部分媒体画像データを生成する。

【0049】

図５（Ｃ）には、クロッピングによって生成された部分媒体画像データによって示される部分媒体画像ＳＩが図示されている。部分媒体画像ＳＩは、媒体画像Ｉｓのうち、靴ＳＨｓを含む部分を示している。

【0050】

Ｓ３３５では、ＣＰＵ３１０は、クロッピングによって生成された部分媒体画像データに対して、エッジ検出処理を実行して、部分媒体エッジデータを生成する。エッジ検出処理は、Ｓ３００のエッジ検出処理と同様に、Ｃａｎｎｙ Ｅｄｇｅ法が用いられる。これに代えて、各種の検出フィルタを用いる方法などの方法が用いられても良い。

【0051】

図５（Ｄ）には、部分媒体エッジデータによって示される部分媒体エッジ画像ＳＥＩが図示されている。部分媒体エッジ画像ＳＥＩでは、図５（Ｃ）の部分媒体画像ＳＩに含まれるエッジ画素Ｅｇｓが特定されている。

【0052】

Ｓ３４０では、ＣＰＵ３１０は、有効エッジ画素決定処理を実行する。有効エッジ画素決定処理は、テンプレートエッジ画像ＴＥＩにおいて特定されているテンプレート画像ＴＩの複数個のエッジ画素Ｅｇｔと、部分媒体エッジ画像ＳＥＩにおいて特定されている部分媒体画像ＳＩの複数個のエッジ画素Ｅｇｓの中から、Ｓ３４５で行われる最終的なマッチングにて用いるべきエッジ画素（有効エッジ画素とも呼ぶ）を決定する処理である。

【0053】

図７は、有効エッジ画素決定処理のフローチャートである。Ｓ４１０では、ＣＰＵ３１０は、テンプレート画像データを用いて、テンプレート画像ＴＩ内の複数個の特徴点を検出する。特徴点は、画像内の局所的な所定の特徴を有する部分に位置する点である。特徴点の検出には、様々なアルゴリズムが用いられる。本実施例では、ＣＰＵ３１０は、領域検出アルゴリズムであるＭＳＥＲ（Maximally Stable Extremal Regions）と呼ばれるアルゴリズムを用いて、局所的な特徴領域を検出し、該特徴領域の代表点を特徴点として検出する。特徴領域の代表点には、例えば、重心や外接矩形の中心が用いられる。このように、特徴点は、エッジ画素Ｅｇｔ、Ｅｇｓとは異なるアルゴリズムを用いて特定される。図４（Ｂ）の例では、テンプレート画像ＴＩにおいて、特徴点Ｐｔ１～Ｐｔ７が検出されている。実際の画像では、さらに、多数の特徴点が検出される。

【0054】

Ｓ４１５では、ＣＰＵ３１０は、部分媒体画像データを用いて、部分媒体画像ＳＩ内の複数個の特徴点を検出する。特徴点を検出する手法は、Ｓ４１０のテンプレート画像ＴＩの特徴点の検出手法と同じである。図５（Ｃ）の例では、部分媒体画像ＳＩにおいて、特徴点Ｐｓ１～Ｐｓ１１が検出されている。実際の画像では、さらに、多数の特徴点が検出される。

【0055】

Ｓ４２０では、ＣＰＵ３１０は、Ｓ４１０にて検出済みのテンプレート画像ＴＩの特徴点Ｐｔ１～Ｐｔ７のそれぞれについて、局所特徴量を記述する。局所特徴量は、特徴点を含む局所領域の特徴を示す。局所特徴量を記述するアルゴリズムには、様々なアルゴリズムが用いられる。本実施例では、ＣＰＵ３１０は、ＢＲＩＳＫ（Binary Robust Invariant Scalable Keypoints）と呼ばれるアルゴリズムを用いて、局所特徴量を記述する。局所特徴量は、例えば、所定のビット数（例えば、５１２ビット）の二値ベクトルで表される。

【0056】

Ｓ４２５では、ＣＰＵ３１０は、Ｓ４１０にて検出済みの部分媒体画像ＳＩの特徴点Ｐｓ１～Ｐｓ１１のそれぞれについて、局所特徴量を記述する。局所特徴量を記述するアルゴリズムには、Ｓ４２０のテンプレート画像ＴＩの特徴点の局所特徴量を記述するアルゴリズムと同じである。

【0057】

Ｓ４３０では、テンプレート画像ＴＩの複数個の特徴点Ｐｔ１～Ｐｔ７から選択される１つの点と、部分媒体画像ＳＩの複数個の特徴点Ｐｓ１～Ｐｓ１１から選択される１つの点と、で構成されるペアの中から、１個の注目ペアを選択する。

【0058】

Ｓ４３５では、ＣＰＵ３１０は、注目ペアを構成する２個の特徴点の類似度Ｓｖｔを算出する。２個の特徴点の類似度Ｓｖｔには、例えば、２個の特徴点の局所特徴量の距離が用いられる。局所特徴量の距離は、例えば、局所特徴量を示すベクトルのハミング距離やユークリッド距離が用いられる。このために、特徴点の類似度Ｓｖｔ（距離）が小さいほど、２個の特徴点が類似していることを示す。

【0059】

Ｓ４４０では、ＣＰＵ３１０は、特徴点の類似度Ｓｖｔが所定の閾値ＴＨ未満であるか否かを判断する。特徴点の類似度Ｓｖｔが所定の閾値ＴＨ未満である場合には（Ｓ４４０：ＹＥＳ）、Ｓ４４５にて、ＣＰＵ３１０は、注目ペアを構成する２個の特徴点を有効特徴点として決定する。特徴点の類似度Ｓｖｔが所定の閾値ＴＨ以上である場合には（Ｓ４４０：ＮＯ）、ＣＰＵ３１０は、Ｓ４４５をスキップする。

【0060】

Ｓ４５０では、ＣＰＵ３１０は、テンプレート画像ＴＩの特徴点と部分媒体画像ＳＩの特徴点とで構成される全てのペアを注目ペアとして処理したか否かを判断する。未処理のペアがある場合には（Ｓ４５０：ＮＯ）、ＣＰＵ３１０は、Ｓ４３０に戻って未処理のペアを新たな注目ペアとして選択する。全てのペアが処理された場合には（Ｓ４５０：ＹＥＳ）、ＣＰＵ３１０は、Ｓ４５５に処理を進める。

【0061】

図７のＳ４３０～Ｓ４５０によって、テンプレート画像ＴＩの複数個の特徴点Ｐｔ１～Ｐｔ７と、部分媒体画像ＳＩの複数個の特徴点Ｐｓ１～Ｐｓ１１と、のマッチングが行われる。これによって、テンプレート画像ＴＩの特徴点Ｐｔ１～Ｐｔ７のうち、部分媒体画像ＳＩに対応する特徴点が存在する点が、有効特徴点として決定される。また、部分媒体画像ＳＩの複数個の特徴点Ｐｓ１～Ｐｓ１１のうち、テンプレート画像ＴＩに対応する特徴点が存在する点が、有効特徴点として決定される。

【0062】

図４（Ｂ）、図５（Ｃ）の例では、テンプレート画像ＴＩの特徴点Ｐｔ１～Ｐｔ７は、それぞれ、部分媒体画像ＳＩの特徴点Ｐｓ１～Ｐｓ７と対応している。このために、テンプレート画像ＴＩの特徴点Ｐｔ１～Ｐｔ７と部分媒体画像ＳＩの特徴点Ｐｓ１～Ｐｓ７とは、有効特徴点として決定される。一方で、部分媒体画像ＳＩの特徴点Ｐｓ８～Ｐｓ１１は、テンプレート画像ＴＩのいずれの特徴点とも対応していない。このために、部分媒体画像ＳＩの特徴点Ｐｓ８～Ｐｓ１１は、有効特徴点として決定されない。このように、互いに対応する特徴点がない場合があるのは、例えば、靴ＳＨの姿勢や変形によって、一方の撮像画像には現れない特徴点が他方の撮像画像には現れる場合があるためである。

【0063】

Ｓ４５５では、ＣＰＵ３１０は、テンプレートエッジ画像ＴＥＩにおいて特定済みのテンプレート画像ＴＩの複数個のエッジ画素Ｅｇｔ（図４（Ｄ））のうち、テンプレート画像ＴＩの有効特徴点の近傍に位置するエッジ画素を、有効エッジ画素として決定する。例えば、有効特徴点から所定の距離以内に位置するエッジ画素は、有効特徴点の近傍に位置すると判断される。図４（Ｄ）の例では、破線で示す円領域Ａｔ１～Ａｔ７内のエッジ画素Ｅｇｔが、有効エッジ画素として決定される。

【0064】

Ｓ４６０では、ＣＰＵ３１０は、部分媒体エッジ画像ＳＥＩにおいて特定済みの部分媒体画像ＳＩの複数個のエッジ画素Ｅｇｓ（図５（Ｄ））のうち、部分媒体画像ＳＩの有効特徴点の近傍に位置するエッジ画素を、有効エッジ画素として決定する。図５（Ｄ）の例では、破線で示す円領域Ａｓ１～Ａｓ７内のエッジ画素Ｅｇｓが、有効エッジ画素として決定される。

【0065】

有効エッジ画素決定処理が終了すると、図６のＳ３４５では、ＣＰＵ３１０は、ＩＣＰ（iterative closest point）アルゴリズムを用いて、部分媒体画像ＳＩとテンプレート画像ＴＩとのマッチングを実行する。マッチングは、具体的には、テンプレート画像ＴＩの複数個の有効エッジ画素と、部分媒体画像ＳＩの複数個の有効エッジ画素と、を使用画素として用いて、実行される。マッチングは、ＩＣＰアルゴリズムに従って、２個の画像のエッジ画素間の距離が最小となるように最適化計算を行うことによって実行される。

【0066】

本ステップのマッチングは、図６のＳ３２０のパターンマッチングによって決定された位置関係を初期位置として、図６のＳ３２０のパターンマッチングよりも高い精度で行われる。例えば、本ステップのマッチングは、座標（オフセット）については１画素未満の精度、角度については１度未満の精度で行われる。

【0067】

Ｓ３５０では、ＣＰＵ３１０は、Ｓ３４５でのマッチングの平均誤差が閾値ＴＨｍ以下であるか否かを判断する。平均誤差は、マッチング後の位置関係における２個の画像の対応するエッジ画素間の距離の平均である。平均誤差が閾値ＴＨｍ以下である場合には、Ｓ３４５のマッチングが十分に高い精度で行われたと判断できる。

【0068】

マッチングの平均誤差が閾値ＴＨｍ以下である場合には（Ｓ３５０：ＹＥＳ）、Ｓ３６０にて、ＣＰＵ３１０は、Ｓ３２０のパターンマッチングの結果と、Ｓ３４５のＩＣＰマッチングの結果と、に基づいて、媒体画像Ｉｓ内の印刷対象領域ＰＡｓ（図５（Ａ））を決定する。具体的には、ＣＰＵ３１０は、２回のマッチングのオフセット量の合計と、回転角度の合計と、に基づいて、媒体画像Ｉｓとテンプレート画像ＴＩとの最終的な位置関係を特定する。ＣＰＵ３１０は、最終的な位置関係において、テンプレート画像ＴＩが重なる媒体画像Ｉｓ上の領域を印刷対象領域ＰＡｓとして決定する。

【0069】

マッチングの平均誤差が閾値ＴＨｍより大きい場合には（Ｓ３５０：ＮＯ）、Ｓ３５５にて、ＣＰＵ３１０は、中断処理を実行して、マッチング処理を中断する。中断処理としては、例えば、処理を中断すること示すメッセージと、靴ＳＨを、再度、プラテン１４２上に設定する段階から作業をやり直すように作業者に指示するメッセージと、を表示部３７０に表示する処理が行われる。

【0070】

以上説明した本実施例によれば、ＣＰＵ３１０は、媒体画像データを用いて媒体画像Ｉｓ内の複数個のエッジ画素Ｅｇｓ（図５（Ｄ））を特定する（図６のＳ３３５）。ＣＰＵ３１０は、テンプレート画像データを用いてテンプレート画像ＴＩ内の複数個のエッジ画素Ｅｇｔ（図４（Ｄ））を特定する（図６のＳ３２５）。ＣＰＵ３１０は、媒体画像データとテンプレート画像データとを用いて、対応関係を有する部分媒体画像ＳＩ内の特徴点Ｐｓ１～Ｐｓ７（図５（Ｃ））と、テンプレート画像ＴＩ内の特徴点Ｐｔ１～Ｐｔ７（図４（Ｂ））とを特定する。上述のように、特徴点の対応関係は、ペアを構成する２個の特徴点の局所特徴量の比較に基づいて決定される（図７のＳ４３０～Ｓ４４５）。ＣＰＵ３１０は、部分媒体画像ＳＩのエッジ画素Ｅｇｓのうち、特徴点Ｐｓ１～Ｐｓ７の近傍に位置する画素を、図６のＳ３４５のマッチングにおける使用画素として決定し（図７のＳ４６０）、テンプレート画像ＴＩのエッジ画素Ｅｇｔのうち、特徴点Ｐｔ１～Ｐｔ７の近傍に位置する画素を、図６のＳ３４５のマッチングにおける使用画素として決定する（図７のＳ４５５）。ＣＰＵ３１０は、これらの使用画素を用いて、部分媒体画像ＳＩとテンプレート画像ＴＩとの相対的な位置関係を決定する（図６のＳ３４５）。この結果、部分媒体画像ＳＩとテンプレート画像ＴＩとの相対的な位置関係を精度良く決定することができる。

【0071】

例えば、局所的な特徴点は、特定するためのアルゴリズムなどによってずれが生じる場合がある。また、複数個のエッジ画素Ｅｇｓ、Ｅｇｔは、例えば、線を構成する場合が多い。このことから、複数個のエッジ画素Ｅｇｓ、Ｅｇｔを用いる場合には、特徴点だけを用いる場合よりも、部分媒体画像ＳＩとテンプレート画像ＴＩとの相対的な位置関係を精度良く決定できる。

【0072】

また、複数個のエッジ画素Ｅｇｓ、Ｅｇｔは、ノイズに対応するエッジ画素が含まれる。また、特定すべきオブジェクト（例えば、靴ＳＨ）の構造が複雑である場合には、エッジ画素Ｅｇｓ、Ｅｇｔの個数が過度に多くなる。このために、仮に全てのエッジ画素Ｅｇｓ、Ｅｇｔを用いてマッチングを行うと、誤った位置でマッチングが行われる可能性が高くなる。これに対して、画像内の複数の特徴点の近傍に位置するエッジ画素は、局所的な特徴を有する部分に関連するエッジ画素である確率が高く、ノイズに対応するエッジ画素である確率が低い。また、画像内の複数の特徴点の近傍に位置するエッジ画素のみを使用することで、過度に多数のエッジ画素が用いられることを抑制できる。この結果、特徴点の近傍に位置するエッジ画素を用いる場合には、画像内の全てのエッジ画素を用いる場合よりもノイズによる悪影響を抑制できるので、部分媒体画像ＳＩとテンプレート画像ＴＩとの相対的な位置関係を精度良く決定できる。

【0073】

さらに、特徴点の近傍に位置するエッジ画素を用いる場合には、画像内の全てのエッジ画素を用いる場合よりも使用されるエッジ画素の個数が少ないので、部分媒体画像ＳＩとテンプレート画像ＴＩとの相対的な位置関係の決定に要する処理時間を低減できる。

【0074】

さらに、本実施例によれば、ＣＰＵ３１０は、媒体画像Ｉｓとテンプレート画像ＴＩとの相対的な位置関係を比較的粗い第１の精度で決定する（図６のＳ３２０）。その後に、ＣＰＵ３１０は、決定された使用画素を用いて、媒体画像Ｉｓとテンプレート画像ＴＩとの相対的な位置関係を第１の精度よりも高い第２の精度で決定する（図６のＳ３４５）。このように、２段階で位置合わせを行うことで、例えば、第２の精度での１回のマッチング処理を行う場合よりも速い速度で、媒体画像Ｉｓとテンプレート画像ＴＩとの相対的な位置関係を決定できる。

【0075】

さらに、本実施例によれば、Ｓ３２０における第１の精度での位置関係の決定は、媒体画像データに対して縮小処理を実行して生成される縮小媒体画像データ（図６のＳ３１０）と、テンプレート画像データに対して縮小処理を実行して生成される縮小テンプレート画像データ（図６のＳ３００）と、を用いて実行される。この結果、比較的粗い精度での位置関係の決定に要する処理時間を低減できる。

【0076】

さらに、本実施例によれば、媒体画像Ｉｓの特徴点Ｐｓ１～Ｐｓ１１は、媒体画像Ｉｓの全体ではなく、媒体画像Ｉｓのうちのテンプレート画像ＴＩに対応する一部分である部分媒体画像ＳＩ内に決定される（図５（Ｃ））。この結果、媒体画像Ｉｓ内に、無駄な特徴点が決定されることを抑制することができる。

【0077】

さらに、本実施例によれば、図６のＳ３４５での高精度でのマッチングは、ＩＣＰ（iterative closest point）アルゴリズムを用いる処理である。この結果、適切なエッジ画素を用いて、高精度のマッチングを実現できる。

【0078】

以上の説明から解るように、部分媒体画像ＳＩ（部分媒体エッジ画像ＳＥＩ）のエッジ画素Ｅｇｓは、第１エッジ画素の例であり、テンプレート画像ＴＩ（テンプレートエッジ画像ＴＥＩ）のエッジ画素Ｅｇｔは、第２エッジ画素の例である。図６のＳ３２０のマッチングは、第２決定処理の例であり、図６のＳ３４５のマッチングは、第１決定処理の例である。

【0079】

Ｂ．変形例
（１）上記実施例では、靴ＳＨを示す媒体画像データを対象画像データとして用いて、靴ＳＨを含む印刷対象領域を特定している。これに限らず、他の様々な用途に用いられる。例えば、用紙内の印刷対象領域を特定するために、用紙内の印刷対象領域を示すマーカを特定するために、用紙をスキャンして得られるスキャンデータが対象画像データとして用いられても良い。また、工業部品をロボットで操作するために、撮像画像内の工業部品を特定する際に、撮像画像データが対象画像データとして用いられても良い。

【0080】

（２）上記実施例では、図６のＳ３２０のパターンマッチングは、縮小媒体画像データと、縮小テンプレート画像データとを用いて実行されている。これに代えて、図６のＳ３２０のパターンマッチングは、縮小されていない媒体画像データとテンプレート画像データとを用いて実行されても良い。

【0081】

（３）上記実施例では、図６のＳ３３５～Ｓ３４５の処理は、媒体画像データの一部分である部分媒体画像データを用いて実行されている。これに代えて、例えば、媒体画像データとテンプレート画像データとのサイズの差が小さい場合には、媒体画像データを用いて、図６のＳ３３５～Ｓ３４５の処理が実行されても良い。

【0082】

（４）上記実施例では、ＣＰＵ３１０は、図６のＳ３２０におけるパターンマッチングと図６のＳ３４５のＩＣＰマッチングとの２段階のマッチングを実行する。これに代えて、ＣＰＵ３１０は、特徴点の近傍のエッジ画素を用いて、１段階でマッチングを行っても良い。

【0083】

（５）上記実施例の図７のＳ４５５、Ｓ４６０では、有効特徴点から所定の距離以内に位置するエッジ画素が、有効特徴点の近傍に位置する有効エッジ画素として決定される。これに限らず、例えば、ＣＰＵ３１０は、テンプレート画像ＴＩや部分媒体画像ＳＩを複数個のブロックに分割し、有効特徴点が所定数（例えば、１～数個）以上存在するブロックに位置するエッジ画素を有効エッジ画素として決定しても良い。

【0084】

（６）上記実施例では、図６のＳ３２０のマッチングには、パターンマッチングが用いられている。これに代えて、他のアルゴリズムを用いたマッチングが実行されても良い。他のアルゴリズムとしては、例えば、Chamfer Matchingなどが用いられても良い。

【0085】

（７）上記実施例では、図６のＳ３４５のマッチングには、ＩＣＰアルゴリズムが用いられている。これに代えて、他のアルゴリズムを用いたマッチングが実行されても良い。

【0086】

（８）上記実施例では、図７のＳ４１０、Ｓ４１５の特徴点の検出には、ＭＳＥＲアルゴリズムが用いられている。これに代えて、他のアルゴリズムを用いた特徴点の検出が実行されても良い。他のアルゴリズムとしては、例えば、ＦＡＳＴやＨａｒｒｉｓなどのコーナー検出アルゴリズムが用いられても良い。

【0087】

（９）上記実施例では、図７のＳ４２０、Ｓ４２５の局所特徴量の記述には、ＢＲＩＳＫアルゴリズムが用いられている。これに代えて、他のアルゴリズムを用いた局所特徴量の記述が実行されても良い。他のアルゴリズムとしては、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speeded-Up Robust Features）などの実数ベクトルを用いるアルゴリズムや、ＢＲＩＥＦ（Binary Robust Independent Elementary Features）やＦＲＥＡＫ（Fast Retina Keypoint）などの二値ベクトルを用いるアルゴリズムが用いられても良い。

【0088】

（１０）図３（Ａ）のテンプレート登録処理および図３（Ｂ）の印刷処理の全部または一部を実行する装置は、端末装置３００に代えて、他の種々の装置であってよい。例えば、プリンタ２００のＣＰＵ２１０や、撮像装置４００のＣＰＵが、図３（Ａ）のテンプレート登録処理および図３（Ｂ）の印刷処理を実行しても良い。この場合には、端末装置３００は不要である。また、図３（Ａ）のテンプレート登録処理および図３（Ｂ）の印刷処理を実行する装置は、プリンタ２００、端末装置３００、撮像装置４００の少なくとも１つとインターネットを介して接続されたサーバであっても良い。この場合に、サーバは、複数個の互いに通信可能な計算機によって構成されるいわゆるクラウドサーバであっても良い。

【0089】

（１１）上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。

【0090】

また、本発明の機能の一部または全部がコンピュータプログラムで実現される場合には、そのプログラムは、コンピュータ読み取り可能な記録媒体（例えば、一時的ではない記録媒体）に格納された形で提供することができる。プログラムは、提供時と同一または異なる記録媒体（コンピュータ読み取り可能な記録媒体）に格納された状態で、使用され得る。「コンピュータ読み取り可能な記録媒体」は、メモリーカードやＣＤ－ＲＯＭのような携帯型の記録媒体に限らず、各種ＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスクドライブ等のコンピュータに接続されている外部記憶装置も含み得る。

【0091】

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

【符号の説明】

【0092】

１００…印刷機構,１０００…印刷システム,１１０…印刷ヘッド,１２０…ヘッド駆動部,１３０…主走査部,１４０…搬送部,１４２…プラテン,１４４…トレイ,２００…プリンタ,２０１…筐体,２１０…ＣＰＵ,２２０…不揮発性記憶装置,２３０…揮発性記憶装置,２３１…バッファ領域,２６０…操作部,２７０…表示部,２８０…通信部,３００…端末装置,３１０…ＣＰＵ,３２０…不揮発性記憶装置,３３０…揮発性記憶装置,３６０…操作部,３７０…表示部,３８０…通信部,４００…撮像装置,Ｉｓ…媒体画像,Ｉｔ…見本画像,ＬＥＩ…処理済部分媒体エッジ画像,ＭＥＩｓ…縮小媒体エッジ画像,ＭＥＩｔ…縮小テンプレートエッジ画像,ＰＧ１,ＰＧ２…コンピュータプログラム,ＳＥＩ…部分媒体エッジ画像,ＳＩ…部分媒体画像,ＴＥＩ…テンプレートエッジ画像,ＴＩ…テンプレート画像,Ｐｔ１～Ｐｔ７,Ｐｓ１～Ｐｓ１１…特徴点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】