知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-06-24
(45)【発行日】2025-07-02
(54)【発明の名称】印字検査装置、印字検査方法及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20250625BHJP
【ＦＩ】
G06T7/00 300D
G06T7/00 610C
【請求項の数】
10
(21)【出願番号】P 2022519944
(86)(22)【出願日】2021-04-28
(86)【国際出願番号】 JP2021017037
(87)【国際公開番号】W WO2021225108
(87)【国際公開日】2021-11-11
【審査請求日】2024-04-01
(31)【優先権主張番号】P 2020082856
(32)【優先日】2020-05-08
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000128131
【氏名又は名称】株式会社エヌテック
(73)【特許権者】
【識別番号】000006884
【氏名又は名称】株式会社ヤクルト本社
(73)【特許権者】
【識別番号】593205831
【氏名又は名称】東邦商事株式会社
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】李 勝蘭
(72)【発明者】
【氏名】坂野 和見
(72)【発明者】
【氏名】長瀬 正樹
(72)【発明者】
【氏名】太田 英樹
(72)【発明者】
【氏名】豊島 邦光
【審査官】小池 正彦
(56)【参考文献】
【文献】特開２０１５－０３６９３７（ＪＰ，Ａ）
【文献】特開２０１５－０８７８８９（ＪＰ，Ａ）
【文献】特開２０１１－１１２３９８（ＪＰ，Ａ）
【文献】特開２００３－１８７１８７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
検査対象に印字された文字を検査する印字検査装置であって、検査対象の文字が印字された部分を含む領域を撮像する撮像部と、
前記撮像部が取得した撮像画像に含まれる撮像文字パターンと、予め設定された基準文字パターンとを、当該基準文字パターンの形状の変形度合を変化させながら形状について照合し、前記基準文字パターンに対する前記撮像文字パターンの形状の類似度が閾値以上になるマッチした文字を探索する形状マッチング処理を行う形状マッチング処理部と、
前記形状マッチング処理で文字がマッチしたときの変形度合で前記基準文字パターンを変形させた変形文字パターンを生成する変形パターン生成部と、
前記変形文字パターンと前記撮像文字パターンとの比較結果に基づいて文字の印字状態の良否を検査する検査処理部と
を備えることを特徴とする印字検査装置。
【請求項2】
前記形状マッチング処理部は、前記基準文字パターンを所定の分割数で分割した分割基準文字パターンと、前記撮像文字パターンを前記分割数で分割した分割文字パターンとを、当該分割基準文字パターンの変形度合を変化させながら形状について照合して前記分割文字パターンと前記分割基準文字パターンとの形状の類似度が閾値以上になるマッチした分割基準文字パターンを探索する形状マッチング処理を分割領域ごとに行い、前記変形パターン生成部は、前記分割領域ごとの前記変形度合と前記分割基準文字パターンとに基づいて当該分割領域ごとの複数の分割変形文字パターンを生成し、当該複数の分割変形文字パターンを１つの文字に合成して前記変形文字パターンを生成することを特徴とする請求項１に記載の印字検査装置。
【請求項3】
前記分割基準文字パターンの前記分割数は、文字ごとに個別に設定されることを特徴とする請求項２に記載の印字検査装置。【請求項4】
少なくとも１つの前記分割基準文字パターンは、前記分割基準文字パターンを含む矩形領域を分割する区画線が、前記矩形領域の辺と鋭角な角度をなして交差する斜めの区画線を含み、当該斜めの区画線を２つ以上含む複数の区画線により３分割以上の分割数で分割されることを特徴とする請求項２又は請求項３に記載の印字検査装置。【請求項5】
前記形状マッチング処理部は、前記基準文字パターンのサイズと回転角度とのうち少なくとも一方を変化させることで、前記変形度合を変化させることを特徴とする請求項１～請求項４のいずれか一項に記載の印字検査装置。【請求項6】
前記検査処理部は、前記撮像画像のうち前記撮像文字パターンを含む文字領域に対して前記変形文字パターンをマッチした位置に重ねた検査領域特定画像を生成し、当該検査領域特定画像のうち前記変形文字パターン以外の背景画像について濃淡検査を行うことで文字の印字状態の良否を検査することを特徴とする請求項１～請求項５のいずれか一項に記載の印字検査装置。【請求項7】
前記検査処理部は、前記撮像画像のうち前記撮像文字パターンを含む文字領域に対して前記変形文字パターンをマッチした位置に重ねた検査領域特定画像を生成し、当該検査領域特定画像のうち前記変形文字パターンの領域に対して濃淡検査を行うことで文字の印字状態の良否を検査することを特徴とする請求項１～請求項５のいずれか一項に記載の印字検査装置。【請求項8】
前記検査処理部は、前記撮像画像のうち前記撮像文字パターンを含む文字領域に対してマッチした位置に重ねた前記変形文字パターンの領域と前記撮像文字パターンの領域とを結合させた結合文字領域に対して濃淡検査を行うことで文字の印字状態の良否を検査することを特徴とする請求項１～請求項５のいずれか一項に記載の印字検査装置。【請求項9】
検査対象に印字された文字を検査する印字検査方法であって、検査対象の文字が印字された部分を含む領域を撮像する撮像ステップと、
前記撮像ステップで取得した撮像画像に含まれる撮像文字パターンと、予め設定された基準文字パターンとを、当該基準文字パターンの形状の変形度合を変化させながら形状について照合し、前記基準文字パターンに対する前記撮像文字パターンの形状の類似度が閾値以上になるマッチした文字を探索する形状マッチング処理を行う形状マッチング処理ステップと、
前記形状マッチング処理で文字がマッチしたときの変形度合で前記基準文字パターンを変形させた変形文字パターンを生成する変形パターン生成ステップと、
前記変形文字パターンと前記撮像文字パターンとの比較結果に基づいて文字の印字状態の良否を検査する検査処理ステップと
を備えることを特徴とする印字検査方法。
【請求項10】
対象画像に含まれる文字を検査する文字検査処理を行うコンピュータにより実行されるプログラムであって、コンピュータに、
前記対象画像に含まれる撮像文字パターンと、予め設定された基準文字パターンとを、当該基準文字パターンの形状の変形度合を変化させながら形状について照合し、前記基準文字パターンに対する前記撮像文字パターンの形状の類似度を算出する形状マッチング処理ステップと、
前記類似度が閾値以上になるときの変形度合で前記基準文字パターンを変形させた変形文字パターンを生成する変形パターン生成ステップと、
前記変形文字パターンと前記撮像文字パターンとの比較結果に基づいて文字の印字状態の良否を検査する検査処理ステップと
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象物に印字された文字を検査するための印字検査装置、印字検査方法及びプログラムに関する。
【背景技術】
【0002】
従来、例えば飲料容器（対象物）などに印字された賞味期限などを示す文字の印字状態を検査する印字検査装置としてパターンマッチングを利用したものが知られている（例えば、特許文献１～３）。この種の印字検査装置では、検査対象に印字された文字をカメラで撮影し、撮影した文字の撮像文字パターンと予め登録された基準文字パターンを含むテンプレートとでパターンマッチングを行うことでこれらの類似度を算出し、その類似度が予め設定した閾値に達しているか否かによって印字状態の合否の判定をしている。
【0003】
特許文献１に記載の印字検査装置では、１文字分の画像領域を分割した領域ごとに、分割テンプレートを照合させながらマッチング処理を行う。また、特許文献２に記載された印字検査装置では、ドットパターンを登録して、一致度が高い登録パターンと各ドットの相対位置関係を数値化して検査する。さらに、特許文献３に記載された印字検査装置では、減点を設定した複数のエリアを有する標準文字マスクと照合して、算出されたスコアに基づいて検査する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１１－１１２３９８号公報
【文献】特開２０１５－８７８８９号公報
【文献】特開２０１５－３６９３７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、検査対象の印字面が曲面等であったり、カメラと印字面とのなす角度が傾いていたりすると、印字面に正しく印字されていても文字が変形して撮像される場合がある。特許文献１～３に記載の印字検査装置では、この種の文字の変形に対応できないか、文字の変形に対応できたとしても、文字の変形度合に応じた多数のテンプレートを登録してマッチング処理を行う必要があるので、検査処理に長時間を要する。例えば、工場のラインで搬送される容器等の検査対象に印字された文字を検査する場合、文字の検査精度と検査速度との両立が必要になる。しかし、従来の印字検査装置では、文字の検査精度と検査速度との両立が困難であった、よって、撮像された文字が変形していても、文字の検査精度と検査速度との両立が可能な印字検査装置が要望されている。
【0006】
本発明の目的は、検査対象に印字された文字の検査精度と検査速度とを両立できる印字検査装置、印字検査方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決する印字検査装置は、検査対象に印字された文字を検査する印字検査装置であって、検査対象の文字が印字された部分を含む領域を撮像する撮像部と、前記撮像部が取得した撮像画像に含まれる撮像文字パターンと、予め設定された基準文字パターンとを、当該基準文字パターンの形状の変形度合を変化させながら形状について照合し、前記基準文字パターンに対する前記撮像文字パターンの形状の類似度が閾値以上になるマッチした文字を探索する形状マッチング処理を行う形状マッチング処理部と、前記形状マッチング処理で文字がマッチしたときの変形度合で前記基準文字パターンを変形させた変形文字パターンを生成する変形パターン生成部と、前記変形文字パターンと前記撮像文字パターンとの比較結果に基づいて文字の印字状態の良否を検査する検査処理部とを備える。
【0008】
この構成によれば、撮像文字パターンと基準文字パターンとを、基準文字パターンの形状の変形度合を変化させながら形状について照合する形状マッチング処理が行われる。基準文字パターンに対する撮像文字パターンの類似度が閾値以上となるマッチする文字が探索される。文字がマッチしたときの変形度合で基準文字パターンを変形させた変形文字パターンが生成される。変形文字パターンと撮像文字パターンとの比較結果に基づいて文字の印字状態の良否が検査される。よって、検査対象に印字された文字が、許容範囲内で、変形していても、その変形に合わせて基準文字パターンを変形させた変形文字パターンと撮像文字パターンとの比較結果から文字の良否が検査される。よって、検査対象に印字された文字の検査精度と検査速度とを両立できる。
【0009】
上記印字検査装置において、前記形状マッチング処理部は、前記基準文字パターンを所定の分割数で分割した分割基準文字パターンと、前記撮像文字パターンを前記分割数で分割した分割文字パターンとを、当該分割基準文字パターンの変形度合を変化させながら形状について照合して前記分割文字パターンと前記分割基準文字パターンとの形状の類似度が閾値以上になるマッチした分割基準文字パターンを探索する形状マッチング処理を分割領域ごとに行い、前記変形パターン生成部は、前記分割領域ごとの前記変形度合と前記分割基準文字パターンとに基づいて当該分割領域ごとの複数の分割変形文字パターンを生成し、当該複数の分割変形文字パターンを１つの文字に合成して前記変形文字パターンを生成してもよい。
【0010】
この構成によれば、分割領域ごとに行った形状マッチング処理でマッチした分割基準文字パターンを、それぞれの変形度合で１つの文字に合成することで、変形文字パターンが生成される。よって、印字された文字の検査精度を一層高めることができる。
【0011】
上記印字検査装置において、前記分割基準文字パターンの前記分割数は、文字ごとに個別に設定されてもよい。
【0012】
この構成によれば、分割基準文字パターンの分割数は、文字ごとに個別に設定されるので、印字された文字の検査速度の低速化を抑制しつつ文字の検査精度を高めることができる。
【0013】
上記印字検査装置において、少なくとも１つの前記分割基準文字パターンは、前記分割基準文字パターンを含む矩形領域を分割する区画線が、前記矩形領域の辺と鋭角な角度をなして交差する斜めの区画線を含み、当該斜めの区画線を２つ以上含む複数の区画線により３分割以上の分割数で分割されてもよい。
【0014】
この構成によれば、矩形領域の辺と平行な線よりなる区画線のみで分割した場合に比べ、印字された文字の検査精度を一層高めることができる。
【0015】
上記印字検査装置において、前記形状マッチング処理部は、前記基準文字パターンのサイズと回転角度とのうち少なくとも一方を変化させることで、前記変形度合を変化させてもよい。
【0016】
この構成によれば、形状マッチング処理において、基準文字パターンのサイズと回転角度とのうち少なくとも一方を変化させながら文字の形状について照合されるので、印字された文字の検査精度を一層高めることができる。
【0017】
上記印字検査装置において、前記検査処理部は、前記撮像画像のうち前記撮像文字パターンを含む文字領域に対して前記変形文字パターンをマッチした位置に重ねた検査領域特定画像を生成し、当該検査領域特定画像のうち前記変形文字パターン以外の背景画像について濃淡検査を行うことで文字の印字状態の良否を検査してもよい。
【0018】
この構成によれば、印字された文字について、印字ずれ、汚れ、滲みなどの印字不良の有無を検査できるので、文字の印字状態の良否を精度よく検査できる。
【0019】
上記印字検査装置において、前記検査処理部は、前記撮像画像のうち前記撮像文字パターンを含む文字領域に対して前記変形文字パターンをマッチした位置に重ねた検査領域特定画像を生成し、当該検査領域特定画像のうち前記変形文字パターンの領域に対して濃淡検査を行うことで文字の印字状態の良否を検査してもよい。
【0020】
この構成によれば、印字された文字について、印字ずれ、滲み及びドット欠損などの印字不良の有無を検査できるので、文字の印字状態の良否を精度よく検査できる。
【0021】
上記印字検査装置において、前記検査処理部は、前記撮像画像のうち前記撮像文字パターンを含む文字領域に対してマッチした位置に重ねた前記変形文字パターンの領域と前記撮像文字パターンの領域とを結合させた結合文字領域に対して濃淡検査を行うことで文字の印字状態の良否を検査してもよい。
【0022】
この構成によれば、変形し易い印字面に印字された文字について、印字ずれ、滲み及びドット欠損などの印字不良の有無を検査できるので、文字の印字状態の良否を精度よく検査でき、かつ検査結果が安定する。
【0023】
上記課題を解決する印字検査方法は、検査対象に印字された文字を検査する印字検査方法であって、検査対象の文字が印字された部分を含む領域を撮像する撮像ステップと、前記撮像ステップで取得した撮像画像に含まれる撮像文字パターンと、予め設定された基準文字パターンとを、当該基準文字パターンの形状の変形度合を変化させながら形状について照合し、前記基準文字パターンに対する前記撮像文字パターンの形状の類似度が閾値以上になるマッチした文字を探索する形状マッチング処理を行う形状マッチング処理ステップと、前記形状マッチング処理で文字がマッチしたときの変形度合で前記基準文字パターンを変形させた変形文字パターンを生成する変形パターン生成ステップと、前記変形文字パターンと前記撮像文字パターンとの比較結果に基づいて文字の印字状態の良否を検査する検査処理ステップとを備える。この印字検査方法によれば、上記印字検査装置と同様の効果が得られる。
【0024】
上記課題を解決するプログラムは、対象画像に含まれる文字を検査する文字検査処理を行うコンピュータにより実行されるプログラムであって、コンピュータに、前記対象画像に含まれる撮像文字パターンと、予め設定された基準文字パターンとを、当該基準文字パターンの形状の変形度合を変化させながら形状について照合し、前記基準文字パターンに対する前記撮像文字パターンの形状の類似度を算出する形状マッチング処理ステップと、前記類似度が閾値以上になるときの変形度合で前記基準文字パターンを変形させた変形文字パターンを生成する変形パターン生成ステップと、前記変形文字パターンと前記撮像文字パターンとの比較結果に基づいて文字の印字状態の良否を検査する検査処理ステップとを実行させる。このプログラムをコンピュータに実行させることで、上記印字検査装置と同様の効果が得られる。
【発明の効果】
【0025】
本発明によれば、検査対象に印字された文字の検査精度と検査速度とを両立できる。
【図面の簡単な説明】
【0026】
【図1】一実施形態の印字検査装置の全体構成を示すブロック図。
【図2】文字列が印字された飲料容器とカメラとを示す側面図。
【図3】飲料容器に印字された文字列を示す側面図。
【図4】印字検査装置の制御部内を示すブロック図。
【図5】（ａ）は形状マッチング処理で使用されるテンプレートを示し、（ｂ）は分割テンプレートを示す模式図。
【図6】（ａ），（ｂ）は分割テンプレートを示す模式図。
【図7】撮像された文字列を示す模式図。
【図8】撮像文字パターンに対する輪郭抽出処理を説明する模式図。
【図9】（ａ）～（ｅ）は基準文字パターンの変形度合を変化させながら行われる形状マッチング処理を説明する模式図。
【図10】（ａ）～（ｇ）はピラミッド探索を説明する模式図。
【図11】（ａ）～（ｃ）は分割テンプレートを用いた形状マッチング処理を説明する模式図。
【図12】検査領域特定画像の生成手順を説明する模式図。
【図13】（ａ）は背景画像を用いた第１検査を説明する模式図、（ｂ）は変形文字領域画像を用いた第２検査を説明する模式図。
【図14】印字検査処理ルーチンを示すフローチャート。
【図15】結合文字領域の生成手順を説明する模式図。
【図16】結合文字領域画像を用いた第３検査を説明する模式図。
【発明を実施するための形態】
【0027】
以下、本発明をビールやジュースなどの飲料が収容される飲料容器に印字された製造年月日等を表す文字の印字状態を検査する印字検査装置及び同装置を用いた印字検査方法に具体化した一実施形態を、図面を参照して説明する。
【0028】
図１に示すように、印字検査装置１１は、検査対象の一例としての複数の飲料容器１２を図１に矢印で示す搬送方向に上流側から下流側へ向かって順次搬送するベルトコンベヤ１３の近傍に配置されている。各飲料容器１２はベルトコンベヤ１３によって搬送される。図２、図３に示すように、各飲料容器１２の外周面１２ａ上の所定領域にはインクジェットプリンタ（図示略）によって製造年月を含む複数の文字２１よりなる文字列２０が印字されている。
【0029】
図２、図３に示すように、本実施形態では、印字される文字列２０は、ロット番号及び製造年月を含む。図３に示す例では、飲料容器１２には、文字列２０として、例えば、ロット番号「ＡＢＣ１２３」と、製造年月「２０２０年０２月」とが上下二段で印字されている。ロッド番号は、アルファベット、数字及び記号よりなる文字２１によって表され、製造年月は、数字と「年」、「月」の漢字よりなる文字２１によって表されている。なお、文字列２０は、製造年月に替え、製造年月日でもよい。また、製造時期を表す製造年月等に替え、賞味期限または消費期限などでもよい。さらに、文字列２０はロッド番号のみでもよい。
【0030】
図１に示すように、印字検査装置１１は、印字検査装置１１の稼働状態を制御する制御部１５を備える。制御部１５は、ベルトコンベヤ１３によって搬送される各飲料容器１２を検知する光センサ１６と、光センサ１６によって検知された飲料容器１２の所定領域に印字された文字２１（図２参照）を撮像する撮像部の一例としてのカメラ１７と電気的に接続されている。また、制御部１５は、文字２１が印字不良と判定された飲料容器１２をベルトコンベヤ１３上から排除する排除機構１８と電気的に接続されている。制御部１５は、光センサ１６から飲料容器１２を検知した検知信号を入力するとともにカメラ１７及び排除機構１８を駆動制御する。制御部１５は、光センサ１６から検知信号を入力すると、カメラ１７に撮像指示信号を出力することで、カメラ１７に飲料容器１２に印字された文字列２０を撮像させる。
【0031】
図２に示すように、カメラ１７は、飲料容器１２に印字された文字列２０を含む所定領域を撮像する。カメラ１７が撮像した画像データは、制御部１５に送信される。なお、搬送中の飲料容器１２の向きは、予め印字された文字列２０がカメラ１７の正面を向く向きに調整される。
【0032】
図３に示すように、飲料容器１２の外周面１２ａなどの曲面に印字される場合、カメラ１７から文字２１までの距離が文字２１の位置によって異なる。この距離の違いによってカメラ１７に撮像された文字５１（図７参照）にサイズの大小が生じる。また、飲料容器１２の外周面１２ａなどの曲面に印字される場合、文字２１が印字された印字面とカメラ１７の光軸とのなす角度が文字２１の位置によって異なる。この角度の違いによってカメラ１７に撮像された文字５１に変形度合に応じた違いが生じる。また、図３に示す例では、飲料容器１２の印字面に交差するように周溝状の凹部１２ｂが形成されており、この種の凹部１２ｂによっても文字５１は変形する。
【0033】
図４に示すように、制御部１５はコンピュータ３０を備えており、コンピュータ３０はＣＰＵと、ＲＯＭ及びＲＡＭにより構成される記憶部３１とを備える。そして、コンピュータ３０は、記憶部３１に記憶された印字検査用プログラムを実行することで起動されるソフトウェアよりなる構成部分として、ＯＣＲ（Optical Character Recognition）検査部３２、形状マッチング処理部３３、変形パターン生成部３４、検査処理部３５、排除処理部３６及び表示処理部３７を備える。
【0034】
ＯＣＲ検査部３２は、印字された文字をカメラ１７で撮像することで画像として読み取り、データと照らし合わせ文字を認識して電子テキスト化し、その文字のテキストデータに基づいて文字を検査する。記憶部３１には、予めＯＣＲ検査部３２が認識できる文字のデータが記憶されている。ＯＣＲ検査部３２は、文字２１を認識する。ＯＣＲ検査部３２は、文字列２０の中に認識不能な文字が１つでもあれば、印字不良と判定する。ＯＣＲ検査部３２により文字２１が認識されることで、その認識された文字２１の位置が特定される。
【0035】
形状マッチング処理部３３は、カメラ１７が取得した撮像画像に含まれる１文字ごとの撮像文字パターン５３（図８参照）と、予め設定された１文字ごとの基準の文字パターンである基準文字パターン４１（図５参照）とを、基準文字パターン４１の形状の変形度合を変化させながら形状について照合する。形状マッチング処理部３３は、この照合によって、基準文字パターン４１に対する撮像文字パターン５３の形状の類似度を算出する。形状マッチング処理部３３は、基準文字パターン４１に対する撮像文字パターン５３の形状の類似度が閾値以上となるマッチした文字を探索する。
【0036】
形状マッチング処理部３３は、変形処理部３８を備える。変形処理部３８は、テンプレート４０の基準文字パターン４１及び分割用テンプレート４２の分割基準文字パターン４１ａ，４１ｂ等を、所定の変形度合で変形させる変形処理を行う。本実施形態では、変形処理部３８は、文字のサイズと文字の回転角度とのうち少なくとも一方を変化させることで基準文字パターン４１又は分割基準文字パターン４１ａ，４１ｂ等を所定の変形度合で変化させる。
【0037】
変形パターン生成部３４は、形状マッチング処理で文字がマッチしたときの変形度合で基準文字パターン４１を変形させることにより、変形文字パターン４６（図１０（ｇ）、図１１（ｃ））を生成する。変形文字パターン４６は、撮像文字パターン５１Ｐ（図８参照）に重ねると、撮像文字パターン５１Ｐのうち正しく印字された部分は変形文字パターン４６とかなりの部分で重なる。
【0038】
検査処理部３５は、撮像文字パターン５１Ｐと変形文字パターン４６との比較結果に基づいて文字２１の印字状態の良否を検査する。検査処理部３５は、撮像画像のうち撮像文字パターン５１Ｐを含む文字領域５２に変形文字パターン４６をマッチした位置で重ねた検査領域特定画像６０（図１２参照）を生成し、この検査領域特定画像６０の検査特定領域に対して濃淡（濃度）に基づいて印字不良を検出する濃淡検査を行う。この濃淡検査の詳細については後述する。
【0039】
図４に示す排除処理部３６は、検査処理部３５による印字検査の結果、印字不良である旨の検査結果が得られた場合、排除機構１８を駆動制御して印字不良のある飲料容器１２をベルトコンベヤ１３上から排除する。
【0040】
表示処理部３７は、検査処理部３５による検査結果をモニタ１９に表示させる表示処理を行う。表示処理部３７は、検査の結果、飲料容器１２に印字された文字列２０の印字状態が良好であれば、その旨を示す「ＧＯＯＤ」の文字をモニタ１９に表示させる。また、表示処理部３７は、検査の結果、飲料容器１２に印字された文字２１の印字状態が不良状態である印字不良であれば、その旨を示す「ＮＧ」の文字をモニタ１９に表示させる。
【0041】
記憶部３１には、形状マッチング処理で使用される図５（ａ）に示されるテンプレート４０（マスタ）と、基準文字パターン４１を複数に分割した図５（ｂ）に示される分割用テンプレート４２（分割マスタ）とが記憶されている。テンプレート４０は、基準の文字パターンである基準文字パターン４１を含む。また、分割用テンプレート４２は、基準文字パターン４１を分割した分割基準文字パターン４１ａ、４１ｂ等を含む。
【0042】
本実施形態では、図５（ａ）に示すテンプレート４０に含まれる基準文字パターン４１には、「Ａ」～「Ｚ」までの大文字と小文字（図示略）のアルファベット、「／」等の記号、「０」～「９」までの数字がそれぞれ用意されている。また、分割用テンプレート４２は、テンプレート４０に含まれる基準文字パターン４１のうち少なくとも一部の文字が必要に応じて複数に分割されたテンプレートである。なお、図５に示す例では、テンプレート４０を文字ごとに１つ示すが、文字ごとに複数用意されてもよい。また、テンプレート４０は、文字の輪郭を表す基準文字パターン４１を含むが、例えば、印字状態が合格である良品の撮像文字パターンを記憶部３１に記憶（登録）し、制御部１５が良品の撮像文字パターンにエッジ検出処理等の輪郭抽出処理を施して、形状マッチングに使用するテンプレート４０，４２を検査開始前に生成する構成でもよい。
【0043】
図６（ａ），（ｂ）は、分割用テンプレート４２の一例を示す。図６（ａ）は「２」を上下に２分割した例、図６（ｂ）は「月」を３分割した例である。分割用テンプレート４２は、矩形領域であるテンプレート４０を１本又は複数本の区画線で複数の領域に分割した複数の分割テンプレート４２ａ，４２ｂ等から構成される。複数に分割された各分割テンプレートの境界部分は一部重複している。基準文字パターン４１の形状に応じて分割数が決められている。
【0044】
例えば、図６（ａ）に示す「２」の分割用テンプレート４２は、「２」を含む矩形領域のテンプレート４０を上下にほぼ半分ずつに２分割された２つの分割テンプレート４２ａ，４２ｂからなる。上側の分割テンプレート４２ａは水平な区画線４３ａで区画され、下側の分割テンプレート４２ｂは水平な区画線４３ｂで区画されている。
【0045】
また、図６（ｂ）に示す「月」などの漢字を含む矩形領域の分割用テンプレート４２は、「月」のテンプレート４０をＹ字状の区画線４３ａ，４３ｂ，４３ｃにより３分割された３つの分割テンプレート４２ａ，４２ｂ，４２ｃからなる。一番上の分割テンプレート４２ａは、矩形領域の辺と平行な縦線と横線に対して鋭角をなす斜めの線よりなる区画線４３ａで区画される。左側の分割テンプレート４２ｂは、矩形領域の辺と平行な縦線と斜線よりなる区画線４３ｂで区画され、右側の分割テンプレート４２ｃは、縦線と斜線よりなる区画線４３ｃで区画されている。
【0046】
ここで、「月」のテンプレート４０を上下半分ずつや左右半分ずつに分割した場合、２つの分割テンプレートが対象の文字「月」を２分割した一方のみにどちらもマッチする可能性がある。「月」のテンプレート４０を縦方向に水平な区画線で３分割した場合も、分割した３つの分割テンプレートのうち２つがよく似た形状であり、対象の文字を３分割した３つのうち１つの部分に２つがマッチする可能性がある。
【0047】
そのため、本実施形態では、図６（ｂ）に示すように、分割用テンプレート４２は、「月」のテンプレート４０を、Ｙ字状の区画線４３ａ，４３ｂ，４３ｃで３分割している。このように、本実施形態では、区画線４３ａ，４３ｂ，４３ｃのうち少なくとも１本が斜めの線よりなる。なお、分割用テンプレート４２の境界部分は、数画素分（例えば、３～５画素分）だけ重複している。
【0048】
図７は、カメラ１７が撮像した画像を示す。図７に示すように、撮像画像では、所定の印字領域５０Ａ内に文字列５０は位置する。文字列５０のうち、カメラ１７の正面付近で撮像された中央付近に位置する文字５１は、相対的に大きなサイズでかつ変形度合が小さい。また、水平方向において文字列５０の中央部から両端部へ向かうに連れて、文字５１のサイズが小さくかつ文字５１の変形度合が大きくなる。また、文字５１が変形（回転）する方向は、カメラ１７の光軸と印字面とのなす角度に応じて変化する。文字５１は、それぞれの印字面の違いによって、図７における時計回り方向に変形（回転）する場合と、反時計回り方向に変形（回転）する場合とがある。
【0049】
なお、本実施形態では、印字領域５０Ａは、飲料容器１２の所定位置及び所定サイズの領域から規定される。また、文字領域５２は、ＯＣＲ検査により認識された文字５１の位置及びサイズに応じて文字５１を囲む範囲に設定される。この文字領域５２は、テンプレート４０の領域よりも大きい。このため、形状マッチング処理では、文字５１ごとの文字領域５２内でテンプレート４０により類似度の高いマッチする文字の探索が行われる。
【0050】
ところで、テンプレートマッチングには、本例で採用する文字の輪郭を照合する形状マッチング処理（輪郭マッチング処理）と、文字の濃度を照合する濃度マッチング処理とがある。例えば、文字が変形して印字されたり、文字が印字面の面形状により変形して撮像されたりする場合がある。文字を閾値以上の類似度でマッチさせたい場合、濃度マッチングでは、変形度合の異なる文字ごとにテンプレートを用意する必要がある。また、印字面が曲面でありカメラ１７と印字面との距離の違いによって文字のサイズが異なる場合、濃度マッチングでは、文字サイズごとにテンプレートを用意する必要がある。さらに、明るさが異なる場合、異なる明るさごとにテンプレートを用意する必要がある。このように濃度マッチングでは、文字の変形度合、文字サイズ、明るさなどに応じて多数のテンプレートを用意する必要がある。
【0051】
撮像画像の文字５１が変形すると、類似度が閾値以上となる頻度（マッチする頻度）が低下し、文字の変形が許容範囲内であっても、検査結果が不良となる場合がある。例えば、１文字に対して基準文字パターン４１を複数種用意すれば、類似度が閾値以上となる頻度は高まる。しかし、撮像文字パターン５３とマッチングする基準文字パターン４１の数が非常に多くなり、マッチング処理に長時間を要する。例えば、ベルトコンベヤ１３を搬送される飲料容器１２の搬送速度に、文字の検査が追従できなくなる。
【0052】
これに対して、本実施形態の形状マッチング（輪郭マッチング）は、パターンの形状について基準文字パターン４１の変形度合を変化させながら照合するので、文字の明るさ、文字の濃度、文字の変形度合（サイズ・回転角度）が異なっても、１つの基準文字パターン４１で対応できる。このため、１文字当たりの検査に必要なマッチング回数が少なく済むので、高速な搬送速度で搬送中の飲料容器１２に印字された文字の検査にも対応できる。また、テンプレート４０及び分割用テンプレート４２は、文字パターンの輪郭のみの情報なので、記憶部３１に記憶する記憶容量が少なく済む。このように本実施形態では、形状マッチング処理を採用することが、検査速度を高速化できる第１の理由である。
【0053】
図８に示すように、形状マッチングを行う前に、制御部１５は、事前に文字領域５２の撮像文字パターン５１Ｐに対してエッジ検出処理を施すことにより、撮像文字パターン５１Ｐを文字パターンの形状（輪郭）が抽出された撮像文字パターン５３に変換する。本例では、この撮像文字パターン５３を含む文字領域５４に対して、テンプレート４０を用いた形状マッチング処理が行われる。
【0054】
ここで、図９を参照して、形状マッチング処理について説明する。図９（ａ）に示すように、形状マッチング処理部３３は、「Ａ」のテンプレート４０を、文字領域５４内で、左側から右側へ向かって所定画素分の微小距離Δｘ（例えば１～３画素分）ずつ順次移動させながら、各位置において類似度を逐次算出する。このとき、形状マッチング処理部３３は、各位置で基準文字パターン４１の変形度合を変化させながら形状マッチングを行う。Ｘ方向に１行の移動を終えると、上側から下側へ向かって所定画素分の微小距離Δｙだけ次行へ移動し、次行において同様に左側から右側へ向かって微小距離Δｘずつ順次移動させながら、各位置において類似度を逐次算出する。こうして文字領域５４内の全域を対象として形状マッチング処理を行う。形状マッチング処理部３３は、類似度が閾値以上になると、テンプレート４０中の基準文字パターン４１と文字領域５４内の撮像文字パターン５３とがマッチしたとする。
【0055】
本例では、変形処理部３８が基準文字パターン４１の変形度合を変化させる。変形度合の変化は、文字サイズの変化と回転角度の変化とを含む。図９（ｂ）に示すように、基準文字パターン４１の文字サイズを小さく変更した基準文字パターン４１Ａを含むテンプレート４０Ａを用いて形状マッチング処理を行う。また、図９（ｃ）に示すように、基準文字パターン４１の文字サイズを大きく変更した基準文字パターン４１Ｂを含むテンプレート４０Ｂを用いて形状マッチング処理を行う。また、図９（ｄ）に示すように、基準文字パターン４１を反時計回り方向の回転角度で回転させた基準文字パターン４１Ｃを含むテンプレート４０Ｃを用いて形状マッチング処理を行う。さらに、図９（ｅ）に示すように、基準文字パターン４１を時計回り方向の回転角度で回転させた基準文字パターン４１Ｄを含むテンプレート４０Ｄを用いて形状マッチング処理を行う。文字サイズは印字の許容範囲内（例えば±１０％）で複数段階変化し、回転角度は印字の許容範囲（例えば±１０度）内で複数段階変化する。
【0056】
また、本実施形態の記憶部３１には、テンプレート４０及び分割用テンプレート４２が解像度の異なる複数種ずつ記憶されてもよい。そして、形状マッチング処理部３３は、低解像度から高解像度に向かって順番に形状マッチング処理を行うピラミッド探索を行ってもよい。
【0057】
本実施形態では、低解像度から高解像度に向かって順番に形状マッチング処理を行う。最も解像度の低い第１解像度Ｄ１、第２解像度Ｄ２、…、第ｎ解像度Ｄｎ（但し、ｎは２以上の自然数）のｎ段階の解像度が設定されている。本実施形態は、形状マッチング処理を行う解像度の段階を何段階にするかを、作業者はモニタ１９の設定画面（図示略）を見ながら入力部１４の入力操作により制御部１５に対して選択設定できる。
【0058】
図１０（ａ），（ｂ），（ｄ），（ｆ）に示すように、撮影画像が第ｎ解像度Ｄｎであるとすると、この第ｎ解像度の画像を、解像度Ｄ１，Ｄ２，…，Ｄｎ-1の低解像度に変換するとともに、エッジ検出処理を行って、文字パターンの輪郭よりなる撮像文字パターン５３１を含む文字領域５４を取得する。図１０（ａ）～（ｆ）では、解像度Ｄ１，Ｄ２，…，Ｄｎごとに、文字領域５４を、文字領域５４１、５４２，…５４ｎと表記し、撮像文字パターン５３を、撮像文字パターン５３１，５３２，…，５３ｎと表記する。また、解像度Ｄ１，Ｄ２，…，Ｄｎごとに、テンプレート４０を、テンプレート４０１，４０２，…，４０ｎと表記し、基準文字パターン４１を、基準文字パターン４１１，４１２，…４１ｎと表記する。
【0059】
形状マッチング処理部３３は、まず第１解像度Ｄ１の撮像文字パターン５３１を含む文字領域５４１（図１０（ａ））に対して同じ解像度のテンプレート４０１を用いて形状マッチング処理を行う（図１０（ｃ））。形状マッチングの結果、類似度が閾値以上になるマッチした文字が探索されると、その時点でその解像度Ｄ１での形状マッチング処理を終了し、次に高い解像度である第２解像度Ｄ２の撮像文字パターン５３２を含む文字領域５４２に対して同じ解像度の基準文字パターン４１２を含むテンプレート４０２を用いて形状マッチング処理を行う。このとき、１つ前の解像度でマッチしたテンプレート４０１の位置座標から文字がマッチする範囲５５が絞り込まれているので、その絞り込まれた範囲５５内で次の第２解像度Ｄ２での形状マッチング処理を行う（図１０（ｄ），（ｅ））。この処理を各解像度Ｄ２～Ｄｎで同様に行い、１つ前の解像度でマッチしたテンプレートの位置座標から文字がマッチする範囲５５が絞り込まれているので、その絞り込まれた範囲５５内で次の解像度での形状マッチング処理を行う（図１０（ｆ），（ｇ））。このようなピラミッド探索を行うことにより、形状マッチング処理部３３は、第ｎ解像度の画像中の文字パターンを高速に探索する。
【0060】
例えば、ピラミッド探索を行わずに、第ｎ解像度の文字領域５４内で形状マッチング処理を行う場合、テンプレート４０を微小距離Δｘ（例えば１画素分の距離）ずつＸ方向に移動させながらマッチング処理を行う。次にＹ方向に微小距離Δｙだけ１つずらし、その１つずらしたＹ方向の位置で同様にＸ方向に微小距離Δｘずつずらしながらマッチング処理を行う。そして、これをマッチした文字が探索し終わるまで継続する。この場合、第ｎ解像度では文字領域５４の全域で形状マッチング処理をするためにずらす位置が膨大になり、形状マッチング処理に長時間を要する。これに対して、ピラミッド探索では、低解像度の形状マッチング処理で高速に撮像文字パターン５３の位置を絞り込み、その絞り込んだ範囲５５内で高解像度の形状マッチング処理を行うことで、総マッチング処理回数を少なく抑え、より高速に第ｎ解像度Ｄｎでの文字パターンを探索することが可能である。このように本実施形態では、ピラミッド探索を行うことが、検査速度を高速化できる第２の理由である。
【0061】
そして、最高解像度である第ｎ解像度Ｄｎでの形状マッチング処理でマッチすると、そのマッチしたときの変形度合で変形した図１０（ｇ）に示すテンプレート４０が、マッチしたときの変形度合で基準文字パターン４１を変形させた変形文字パターン４６を含む変形テンプレート４５に相当する。
【0062】
また、第ｎ解像度Ｄｎでの形状マッチング処理においては、必要に応じて分割テンプレートを用いる。すなわち、検査対象である飲料容器１２の印字面の面形状に応じて、検査作業者は、印字検査装置１１に接続されたキーボード等の不図示の入力操作部を操作して検査精度を高めるために分割テンプレートを使用する分割マッチングを設定する。例えば、図２に示すように、曲面に印字される文字列２０は、幅方向中央領域の文字サイズが大きくかつ幅方向両端領域の文字サイズが小さく撮像される（図７参照）。また、文字列のうち幅方向両端領域と、高さ方向上下端領域で文字が変形して撮像される場合がある。そして、変形度合の大きい領域では１文字においても、上側半分と下側半分、あるいは、左側半分と右側半分で異なる変形度合で撮像される場合がある。
【0063】
そこで、１つの文字領域５４を分割した分割領域ごとに分割テンプレート４２ａ，４２ｂを用いて分割文字パターンを探索する形状マッチング処理を行う。これは、撮像画像上で文字が変形していても、印字面の面形状、カメラ１７から印字面までの距離差、許容範囲内の印字のずれ等に起因する文字の変形によるものである場合は、不良品とするのではなく合格品とする方が適切である。そのため、本実施形態では、撮像画像上の文字が変形していても許容範囲内の変形であれば、合格品とする検査が可能である。
【0064】
また、図１１（ａ），（ｂ）に示すように、分割マッチングが指定された文字（例えば「２」）については、分割テンプレート４２ａ，４２ｂを用いて形状マッチング処理を行う。図１１（ａ）に示すように、文字領域５４内の撮像文字パターン５３に対して、上側半分の分割基準文字パターン４１ａを含む第１分割テンプレート４２ａを微小距離Δｘずつ移動させながら照合する形状マッチング処理を行う。第１分割テンプレート４２ａが第１変形度合にあるとき、類似度が閾値以上になったとする。次に、図１１（ｂ）に示すように、文字領域５４内の撮像文字パターン５３に対して、下側半分の分割基準文字パターン４１ｂを含む第２分割テンプレート４２ｂを微小距離Δｘずつ移動させながら照合する形状マッチング処理を行う。第２分割テンプレート４２ｂが第２変形度合にあるとき、類似度が閾値以上になったとする。変形パターン生成部３４は、図１１（ｃ）に示すように、第１変形度合で変形した分割基準文字パターン４１ａを含む第１分割テンプレート４２ａと、第２変形度合で変形した分割基準文字パターン４１ｂを含む第２分割テンプレート４２ｂとを合成することで、変形文字パターン４６を含む変形テンプレート４５を生成する。なお、変形文字パターン４６を文字の領域として復元するために、必要に応じて領域モフォロジーの処理を適用する。
【0065】
次に、図１２、図１３を参照して検査処理について説明する。なお、図１２、図１３（ｂ）では、ドット領域４６ａとドット５１ａとを判別し易いように、ドット領域４６ａを少し誇張して大きく描いている。また、変形文字パターン４６のドット領域４６ａは、変形度合に応じてその形状が実際には歪んでいるが、図１２、図１３では、ドット領域４６ａを模式的に円で描いている。
【0066】
検査処理部３５は、図１２に示すように、撮像文字パターン５１Ｐを含む文字領域５２に対して、変形テンプレート４５に含まれる変形文字パターン４６をマッチした位置に重ねることで、検査領域特定画像６０を生成する。図１２の左下に示される変形文字パターン４６は、マッチしたときの変形テンプレート４５の変形文字パターンに相当する。撮像された文字領域５２の画像にこの変形文字パターン４６を重ねることで、文字領域５２の画像において検査領域が特定するための検査領域特定画像６０が生成される。
【0067】
図１３（ａ）は、図１２に示す検査領域特定画像６０のうち、ドット領域４６ａを除く背景領域６２の画像を抽出した背景画像６１である。検査処理部３５は、図１２に示す検査領域特定画像６０からドット領域４６ａの部分の画像を除くことで、図１３（ａ）に示す背景画像６１を生成する。この背景画像６１では、ドット領域４６ａ内の濃度値を、白色を表す値（例えば「２５５」）に変換することで、ドット領域４６ａの画像を削除する。そして、検査処理部３５は、背景画像６１に対して濃淡検査を行う。濃淡検査では、濃度値が閾値以下になる部分（図１３（ａ）における黒色の部分）を検出する。この結果、ドット５１ａのずれ、汚れ５７及び滲み５８が検出される。ドット５１ａのずれ、汚れ５７及び滲み５８が、それぞれに応じて設定された所定面積及び所定数以上存在すると、文字は印字不良と判定される。なお、背景画像６１を生成する場合、検査領域特定画像６０におけるドット領域４６ａは、例えば１．２倍のサイズに拡大調整される。そして、背景画像６１において拡大後のドット領域４６ａをはみ出すドット５１ａの部分は、許容範囲を超えてずれた部分となる。
【0068】
図１３（ｂ）は、図１２に示す検査領域特定画像６０のうち、ドット領域４６ａの内部の画像を抽出した変形文字領域画像６３である。検査処理部３５は、図１２に示す検査領域特定画像６０からドット領域４６ａ以外の部分の画像を除くことで、図１３（ｂ）に示す変形文字領域画像６３を生成する。この変形文字領域画像６３では、背景領域６２の濃度値を、白色を表す値に変換することで、背景領域６２の画像を削除する。変形文字領域画像６３では、ドット領域４６ａのサイズを例えば１．２倍に拡大する拡大調整は行われない。変形文字領域画像６３において、ドット領域４６ａの内部にドット５１ａが占める占有率が閾値未満と小さい場合、ドット５１ａのずれ又は欠損と判定される。検査処理部３５は、その占有率の値からドット５１ａのずれであるかドット５１ａの欠損であるかを判別する。また、検査処理部３５は、ドット５１ａのずれである場合、その占有率の値からドット５１ａのずれ量を求める。なお、変形文字領域画像６３では、変形文字パターン４６のドット領域４６ａを１．２倍に拡大する拡大調整は行っていない。また、ドット領域４６ａのサイズを例えば０．８倍に縮小する縮小調整を行い、縮小後のドット領域４６ａ内に少しでも白の画素が存在すればドットずれ又はドット欠損の印字不良と判定してもよい。
【0069】
検査処理部３５は、記憶部３１に予め記憶された所定の検査ルールに従って、ドットずれ、汚れ５７及び滲み５８の程度及び数、並びにドット欠損の数から、文字の印字状態の良否を判定する。
【0070】
次に、本実施形態の印字検査装置１１の作用について図１４等を参照して説明する。
【0071】
さて、制御部１５は、ベルトコンベヤ１３が駆動された場合に図１４に示す印字検査処理ルーチンを実行する。詳しくは、制御部１５内のコンピュータ３０が、図１４のフローチャートで示される印字検査処理用のプログラムを実行する。
【0072】
まずステップＳ１１では、制御部１５は、撮像する。制御部１５は、光センサ１６から飲料容器１２を検知した検知信号を入力すると、カメラ１７に対して撮像指示信号を送信する。すると、光センサ１６によって検知された飲料容器１２の例えば外周面１２ａに印字されたロット番号及び製造年月を示す文字列２０がカメラ１７によって撮像され、その撮像された画像データがカメラ１７から制御部１５に送信される。なお、本実施形態では、ステップＳ１１の処理が、撮像ステップの一例に相当する。
【0073】
ステップＳ１２では、制御部１５は、画像を取り込む。制御部１５は、カメラ１７から受信した画像データを記憶部３１の所定記憶領域に記憶する。
【0074】
ステップＳ１３では、制御部１５は、印字領域を検出する。制御部１５は記憶部３１から読み出した画像データに基づく撮像画像から飲料容器１２の画像領域を抽出し、画像領域中の飲料容器１２のうち所定の高さ範囲及び所定の幅範囲の領域を印字領域５０Ａ（図７参照）として抽出する。
【0075】
ステップＳ１４では、制御部１５は、ＯＣＲ検査を行う。詳しくは、ＯＣＲ検査部３２が、印字領域５０Ａ内の文字列５０を構成する文字５１を認識して、認識した文字が予め設定された印字用の文字列に登録されていれば、文字が印字できたと判定する。記憶部３１には、予めＯＣＲ検査部３２が認識できる文字のデータが記憶されている。ＯＣＲ検査部３２は、１文字ずつ文字５１の認識処理を行い、文字列５０中に認識不能な文字が１つでも存在すれば、印字不良と判定する。ＯＣＲ検査部３２により文字２１が認識されることで、その認識された文字２１の位置が特定される。そして、印字領域５０Ａ内で文字５１を含む矩形領域よりなる文字領域５２が特定される。
【0076】
ステップＳ１５では、制御部１５は、撮像文字パターン５１Ｐを取得する。すなわち、制御部１５は、ＯＣＲ検査部３２により認識された文字２１の位置からその文字５１のパターンである撮像文字パターン５１Ｐを含む矩形領域である文字領域５２を取得する。
【0077】
ステップＳ１６では、制御部１５は、輪郭抽出処理を行う。詳しくは、制御部１５は、図８に示す文字領域５２の撮像文字パターン５１Ｐに対してエッジ検出処理を行い、エッジから輪郭を抽出する。その結果、図８に示す輪郭で表された撮像文字パターン５３を含む文字領域５４を生成する。
【0078】
ステップＳ１７では、制御部１５は、撮像文字パターン５３と基準文字パターン４１とを、基準文字パターン４１の変形度合を変化させながら照合する形状マッチング処理を行って類似度を算出する。詳しくは、図９（ａ）～（ｅ）に示すように、基準文字パターン４１の変形度合を変化させながら照合することで、文字領域５４中の撮像文字パターン５３を探索する。形状マッチング処理部３３は、基準文字パターン４１のサイズ及び回転角度を所定の順番に変化させながら形状マッチング処理を行う。形状マッチング処理部３３は、所定の変形度合で変形させた基準文字パターン４１を微小距離Δｘずつ移動させながら各位置で、基準文字パターン４１に対する撮像文字パターン５３の類似度を算出する。
【0079】
ステップＳ１８では、制御部１５は、マッチしたか否かを判定する。つまり、制御部１５は、類似度が閾値以上であるか否かを判定する。類似度が閾値以上であれば、基準文字パターン４１に対して撮像文字パターン５３がマッチしたと判定される。一方、類似度が閾値未満であれば、基準文字パターン４１に対して撮像文字パターン５３がマッチしていないと判定される。マッチすれば、ステップＳ１９に進み、マッチしなければステップＳ１７に戻って形状マッチング処理を繰り返す。
【0080】
ここで、分割マッチングが設定されている場合、ステップＳ１７における形状マッチング処理は、テンプレート４０に替え、分割用テンプレート４２を用いて分割領域ごとに行われる。すなわち、形状マッチング処理部３３は、図１１（ａ）に示すように、第１分割テンプレート４２ａを用いて分割基準文字パターン４１ａの変形度合を変化させながら形状マッチング処理を行った後、図１１（ｂ）に示すように、第２分割テンプレート４２ｂを用いて分割基準文字パターン４１ｂの変形度合を変化させながら形状マッチング処理を行う。そして、分割領域ごとに類似度が閾値以上であると判定される（ステップＳ１８）まで形状マッチング処理（ステップＳ１７）を繰り返す。
【0081】
また、ステップＳ１７においては、図１０に示すピラミッド探索を行うことも可能である。形状マッチング処理部３３は、ピラミッド探索を行う場合、低解像度から高解像度に向かって順番に形状マッチング処理を行う。これにより、前の階層の解像度で行った形状マッチング処理で絞り込んだ範囲５５内で次の階層の解像度で形状マッチング処理を行えばよいので、形状マッチング処理の高速化が可能である。このピラミッド探索は、分割マッチングでも適用できる。なお、本実施形態では、ステップＳ１７，Ｓ１８の処理が、形状マッチング処理ステップの一例に相当する。
【0082】
図１４に示すステップＳ１９では、制御部１５は、マッチした変形度合で基準文字パターン４１を変形させた変形文字パターン４６を生成する。制御部１５は、基準文字パターン４１を変形させる際に領域モフォロジーを利用して変形文字パターンを生成する。ここで、基準文字パターン４１は、パーソナルコンピュータで画像作成ソフトウェアを使って人工的な文字パターンとして作成することもできるが、飲料容器１２の良品の印字領域を撮像した撮像画像から作成する方が実際の条件に合っており検査精度を確保する点から好ましい場合がある。本例では後者の方法で作成した基準文字パターン４１を採用しているため、基準文字パターン４１には、小さな汚れや文字パターンの輪郭線に切断箇所がある。変形文字パターン４６を領域にするためには、線の切断箇所を接続する必要があるが、小さな汚れがあると、汚れを接続する線を描いてしまう可能性がある。そのため、汚れ等のノイズを除去するノイズ除去処理を行った後、領域モフォロジーを利用して線を接続することで変形文字パターン４６を生成する。領域モフォロジーでは、結合、交差、差分、補集合、平行移動、穴埋め、収縮及び膨張等が用いられる。こうして、基準文字パターン４１を含むテンプレート４０を利用してカメラ１７から印字面までの距離の違いや印字面の面状態に応じた変形度合が考慮された文字の領域が変形文字パターン４６として復元される。
【0083】
なお、分割マッチングが設定されている場合、制御部１５は、マッチした変形度合で分割基準文字パターン４１ａ，４１ｂを変形させ、それらの変形させた分割基準文字パターン４１ａ，４１ｂを１つの文字に合成することで、変形文字パターン４６を生成する（図１１（ｃ）参照）。そして、この場合も、飲料容器１２の良品の印字領域を撮像した撮像画像から作成された分割基準文字パターン４１ａ，４１ｂである場合、ノイズ除去処理及び領域モフォロジーを利用して変形文字パターン４６を生成する。
【0084】
図１４に示すステップＳ２０では、制御部１５は、検査領域特定画像６０を生成する。詳しくは、検査処理部３５が、図１２に示すように、撮像文字パターン５１Ｐを含む文字領域５２に対して、変形文字パターン４６をマッチした位置に重ねることで、検査領域特定画像６０を生成する。検査領域特定画像６０は、撮像された文字領域５２の画像であるが、検査の対象とされる検査領域が特定された画像である。
【0085】
ステップＳ２１では、制御部１５は、背景画像６１に対して濃淡検査を行う。詳しくは、検査処理部３５が、図１２に示す検査領域特定画像６０のうち変形文字パターン４６以外の背景領域６２の画像を抽出した図１３（ａ）に示す背景画像６１を生成し、この背景画像６１に対して濃淡検査を行う。この第１検査では、検査処理部３５は、背景画像６１において、濃度値（画素値）が第１閾値以下となる画素の分布及び数から、図１３（ａ）に示すドット５１ａのずれ、汚れ５７及び滲み５８を検出する。また、検査処理部３５は、画素の分布する位置から印字ずれのドットの特定や汚れ５７及び滲み５８の位置を特定できる。なお、第１閾値は、例えば、検査領域特定画像６０の平均濃度に所定値（例えば０．８）を乗じた値が採用される。
【0086】
ステップＳ２２では、制御部１５は、変形文字領域画像６３に対して濃淡検査を行う。詳しくは、検査処理部３５が、図１２に示す検査領域特定画像６０のうち変形文字パターン４６の領域の画像のみ抽出した図１３（ｂ）に示す変形文字領域画像６３を生成し、この変形文字領域画像６３に対して濃淡検査を行う。この第２検査では、検査処理部３５は、ドット領域４６ａ内において濃度値が第２閾値以上となる画素の分布及び数から、当該画素のドット領域４６ａ内に占める占有率（例えば白占有率）を求める。検査処理部３５は、その占有率が占有率閾値以上であると、ドット５１ａのずれ又は欠損であると判定する。また、検査処理部３５は、占有率の値からドットずれであるかドット欠損であるかを判別する。なお、第２閾値は、例えば、検査領域特定画像６０の平均濃度に所定値（例えば１．２）を乗じた値が採用される。なお、本実施形態では、ステップＳ２０～Ｓ２２の処理が、検査処理ステップの一例に相当する。
【0087】
ステップＳ２３では、制御部１５は、全文字検査終了したか否かを判定する。文字列５０のうち全文字の検査が終了していなければ、ステップＳ２４で次の文字へ移行し、ステップＳ１５～ステップＳ２２の処理を繰り返す。こうして１文字ずつ検査が行われ、全ての文字について検査が終了すると（ステップＳ２３で肯定判定）、ステップＳ２５に進む。
【0088】
ステップＳ２５では、制御部１５は、検査結果を出力する。詳しくは、検査処理部３５は、全文字の検査結果を基に文字列５０の印字状態の良否を判定する。制御部１５は、文字列５０の印字状態の良否を示す検査結果をモニタ１９に表示させる表示指令を表示処理部３７に送る。表示処理部３７は印字状態の良否を示す検査結果をモニタ１９に表示する。また、制御部１５は、検査結果が印字不良である場合、排除処理部３６に排除指令を送る。排除処理部３６は、排除機構１８を駆動させ、印字不良の飲料容器１２をベルトコンベヤ１３上から排除する。
【0089】
以上詳述した実施形態によれば次のような効果が得られる。
【0090】
（１）印字検査装置１１は、検査対象の文字が印字された部分を含む領域を撮像する撮像部の一例としてのカメラ１７と、形状マッチング処理部３３と、変形パターン生成部３４と、検査処理部３５とを備える。形状マッチング処理部３３は、カメラ１７が取得した撮像画像に含まれる撮像文字パターン５１Ｐ（５３）と、予め設定された基準文字パターン４１とを、基準文字パターン４１の形状の変形度合を変化させながら形状について照合し、基準文字パターン４１に対する撮像文字パターン５１Ｐ（５３）の形状の類似度が閾値以上になるマッチした文字を探索する。変形パターン生成部３４は、形状マッチング処理で文字がマッチしたときの変形度合で基準文字パターン４１を変形させた変形文字パターン４６を生成する。検査処理部３５は、変形文字パターン４６と撮像文字パターン５１Ｐとの比較結果に基づいて文字の印字状態の良否を検査する。
【0091】
この構成によれば、撮像文字パターン５１Ｐ（５３）と基準文字パターン４１とを、基準文字パターン４１の形状の変形度合を変化させながら形状について照合する形状マッチング処理によって、基準文字パターン４１に対する撮像文字パターン５１Ｐ（５３）の形状の類似度が閾値以上となるマッチする文字が探索される。そして、文字がマッチしたときの変形度合で基準文字パターン４１を変形させた変形文字パターン４６が生成される。印字された文字が、許容範囲内で変形していても、その同じ変形度合で変形させた変形文字パターン４６と撮像文字パターン５１Ｐとの比較結果から文字の印字状態の良否を適切に検査できる。例えば、文字が印字された印字面が曲面であったりカメラ１７の光軸と印字面となす角度が９０度から外れていたりすることが原因で、撮像画像の文字５１が許容範囲内で変形していても、良好な印字状態と判定できる。また、形状マッチング処理では、印字ずれ、ドット欠損、汚れ５７及び滲み５８などの局所的な印字不良が混在していても、類似度が閾値以上となって印字不良が見逃される場合がある。しかし、本実施形態では、撮像文字パターン５１Ｐと変形文字パターン４６とを比較することで、印字ずれ、ドット欠損、汚れ５７及び滲み５８などの局所的な印字不良の有無を検査できる。したがって、印字された文字の印字状態の良否を精度よく検査できる。また、形状マッチング処理は、文字のサイズ、回転角度、明るさなどの因子ごとに多数のテンプレートを必要とする濃淡マッチング処理に比べ、少ないテンプレート４０，４２で形状のみ照合すれば足りるので、処理時間を短縮できる。よって、検査対象に印字された文字の検査精度と検査速度とを両立できる。
【0092】
（２）形状マッチング処理部３３は、基準文字パターン４１を所定の分割数で分割した分割基準文字パターン４１ａ，４１ｂ等と、撮像文字パターン５３を同じ分割数で分割した分割文字パターンとを、分割基準文字パターン４１ａ，４１ｂ等の変形度合を変化させながら形状について照合して分割基準文字パターン４１ａ，４１ｂ等に対する撮像文字パターン５３の分割した部分の形状の類似度が閾値以上になるマッチした分割文字パターンを探索する形状マッチング処理を分割領域ごとに行い、変形パターン生成部３４は、分割領域ごとの変形度合と分割基準文字パターン４１ａ，４１ｂ等とに基づいて分割領域ごとの複数の分割変形文字パターンを生成し、複数の分割変形文字パターンを１つの文字に合成して変形文字パターン４６を生成する。このため、分割領域ごとに行った形状マッチング処理でマッチした分割基準文字パターン４１ａ，４１ｂ等を、それぞれの変形度合で１つの文字に合成することで、変形文字パターン４６が生成される。よって、印字された文字の検査精度を一層高めることができる。
【0093】
（３）分割基準文字パターン４１ａ，４１ｂ等の分割数は、文字ごとに個別に設定される。よって、分割基準文字パターン４１ａ，４１ｂ等の分割数は、文字ごとに個別に設定されるので、印字された文字の検査速度の低速化を抑制しつつ文字の検査精度を高めることができる。
【0094】
（４）少なくとも１つの分割基準文字パターン４１ａ～４１ｃ（図６（ｂ））は、分割基準文字パターン４１ａ～４１ｃを含む矩形領域を分割する区画線４３ａ～４３ｃが、矩形領域の辺と鋭角な角度をなして交差する斜めの区画線４３ａを含み、斜めの区画線４３ａを２つ以上含む複数の区画線４３ａ～４３ｃにより３分割以上の分割数で分割される。よって、矩形領域の辺と平行な線よりなる区画線のみで分割した場合に比べ、印字された文字の検査精度を一層高めることができる。
【0095】
（５）形状マッチング処理部３３は、基準文字パターン４１のサイズと回転角度とのうち少なくとも一方を変化させることで、変形度合を変化させる。よって、形状マッチング処理において、基準文字パターン４１のサイズと回転角度とのうち少なくとも一方を変化させながら文字の形状について照合されるので、印字された文字の検査精度を高めることができる。特に、本実施形態では、基準文字パターン４１のサイズと回転角度との両方を変化させるので、印字された文字の検査精度を一層高めることができる。
【0096】
（６）検査処理部３５は、撮像文字パターン５１Ｐを含む文字領域５２に対して変形文字パターン４６をマッチした位置に重ねた検査領域特定画像６０を生成し、検査領域特定画像６０のうち変形文字パターン４６の領域を除く背景画像６１について濃淡検査を行うことで、文字の印字状態の良否を検査する。よって、印字された文字の印字ずれ、汚れ５７及び滲み５８などの印字不良の有無を検査できるので、文字の印字状態の良否を精度よく検査できる。
【0097】
（７）検査処理部３５は、撮像文字パターン５１Ｐを含む文字領域５２に対して変形文字パターン４６をマッチした位置に重ねた検査領域特定画像６０を生成し、検査領域特定画像６０のうち変形文字パターン４６の領域である変形文字領域画像６３に対して濃淡検査を行うことで、文字の印字状態の良否を検査する。よって、印字された文字の印字ずれ及びドット欠損などの印字不良の有無を検査できるので、文字の印字状態の良否を精度よく検査できる。
【0098】
（８）印字検査方法は、検査対象の文字が印字された部分を含む領域を撮像する撮像ステップ（ステップＳ１１）と、形状マッチング処理ステップ（ステップＳ１７，Ｓ１８）と、変形パターン生成ステップ（ステップＳ１９）と、検査処理ステップ（ステップＳ２０～Ｓ２２）とを備える。形状マッチング処理ステップでは、撮像ステップで取得した撮像画像に含まれる撮像文字パターン５１Ｐと、予め設定された基準文字パターン４１とを、当該基準文字パターン４１の形状の変形度合を変化させながら形状について照合し、基準文字パターン４１に対する撮像文字パターン５１Ｐの形状の類似度が閾値以上になるマッチした文字を探索する。変形パターン生成ステップでは、形状マッチング処理で文字がマッチしたときの変形度合で基準文字パターン４１を変形させた変形文字パターン４６を生成する。検査処理ステップでは、変形文字パターン４６と撮像文字パターン５１Ｐとの比較結果に基づいて文字の印字状態の良否を検査する。よって、この印字検査方法によれば、上記（１）に記載の印字検査装置１１と同様の効果が得られる。
【0099】
（９）対象画像に含まれる文字を検査する文字検査処理を行うコンピュータ３０により実行されるプログラムは、コンピュータ３０に、形状マッチング処理ステップ（ステップＳ１７，Ｓ１８）と、変形パターン生成ステップ（ステップＳ１９）と、検査処理ステップ（ステップＳ２０～Ｓ２２）とを実行させる。形状マッチング処理ステップでは、対象画像に含まれる撮像文字パターン５１Ｐ（５３）と、予め設定された基準文字パターン４１とを、基準文字パターン４１の形状の変形度合を変化させながら形状について照合し、基準文字パターン４１に対する撮像文字パターン５１Ｐ（５３）の形状の類似度を算出する。変形パターン生成ステップでは、類似度が閾値以上になるときの変形度合で基準文字パターン４１を変形させた変形文字パターン４６を生成する。検査処理ステップでは、変形文字パターン４６と撮像文字パターン５１Ｐとの比較結果に基づいて文字の印字状態の良否を検査する。よって、このプログラムをコンピュータ３０に実行させることで、上記（１）に記載の印字検査装置１１と同様の効果が得られる。
【0100】
なお、上記実施形態は、次のように変更して具体化してもよい。
【0101】
・検査処理部３５が行う検査は、第１検査や第２検査に限定されず、以下に示す第３検査でもよい。検査処理部３５は、図１５の左側に示すように、撮像文字パターン５３の領域と、マッチした位置にある変形文字パターン４６の領域とを結合させることで、図１５の右側に示す結合文字領域４７を生成する。結合文字領域４７は、変形文字パターン４６のドット領域４６ａと対応する箇所に位置する複数の結合ドット領域４７ａにより構成される。図１５から分かるように、ドット領域４６ａとドット５３ａがずれた箇所では、結合ドット領域４７ａがドット領域４６ａよりもドット５３ａのずれ分だけ広くなっている。また、滲み５８があるドット５３ａでは、結合ドット領域４７ａがドット領域４６ａよりも滲み５８の分だけ広くなっている。
【0102】
検査処理部３５は、図１６に示すように、撮像画像のうち撮像文字パターン５１Ｐを含む文字領域５２に対して、マッチした位置に重ねた変形文字パターン４６（図１５参照）の領域と撮像文字パターン５３（図１５参照）の領域とを結合させた結合文字領域４７を重ねた結合文字領域画像６４を生成する。そして、検査処理部３５は、結合文字領域画像６４に対して結合文字領域４７の範囲内で濃淡検査を行う。
【0103】
検査処理部３５は、結合ドット領域４７ａ内でドット５１ａが占める占有率が閾値未満と小さい場合、ドット５１ａのずれ、欠損又は滲み５８があると判定する。検査処理部３５は、その占有率の値からドット５１ａのずれであるかドット５１ａの欠損であるかを判別する。この第３検査によれば、第２検査（図１３（ｂ））に比べ、ドット５１ａや滲み５８がドット領域４６ａからはみ出した部分の面積が同じであっても、算出される占有率がさほど小さな値となりにくい。このため、小さな印字ずれ及び小さな滲み５８は、不良印字と判定されない。
【0104】
例えば、印字面がランダムに変形するパウチなどの柔らかい容器に印字する場合、小さな印字ずれは避けられないため、歩留まりの観点から小さな印字ずれを印字不良としたくない要求がある。この第３検査によれば、第２検査では不良と判定される小さな印字ずれや小さな滲み５８があっても、良好な印字状態と判定されるので、小さな印字ずれが不良と判定されることを回避できる。また、印字ずれ量が多少変化しても、検査結果がばらつかず安定する。よって、第３検査によれば、変形し易い印字面に印字された文字について、形状マッチング処理による大まかな検査結果に加え、印字ずれ、滲み５８及びドット欠損などの印字不良の有無を検査できるので、文字の印字状態の良否を精度よく検査でき、かつ検査結果が安定する。例えば、印字面がランダムに変形するパウチなどの容器の印字検査に有用である。
【0105】
・検査処理部３５は、第１検査、第２検査及び第３検査のうち少なくとも１つの検査を行えば足りる。例えば、第１検査のみ、第２検査のみ、第３検査のみを行ってもよいし、これらの１つの検査と他の検査とを組合せてもよい。また、第１検査と第３検査との組合せ、第２検査と第３検査との組合せであってもよいし、第１検査～第３検査の全てを行ってもよい。また、印字検査装置１１に上記の複数の検査を用意しておき、検査員がどの検査を適用するかを入力装置の操作で選択設定する構成としてもよい。
【0106】
・形状マッチング処理における基準文字パターン４１の変形は、サイズと回転とのうち少なくとも一方であればよい。例えば、サイズのみ又は回転のみでもよい。また、変形は、文字を傾けて斜字にする傾斜でもよいし、曲面に印字された文字を正面から見たときの形状のように、文字のサイズがその一端に向かうほど徐々に小さくなる又は大きくなる変形でもよい。さらに、文字の倍率を一方向のみに変化させてもよい。例えば、文字を、幅方向のみに膨張又は圧縮させたり、高さ方向のみに膨張又は圧縮させたりしてもよい。さらに、文字を、扇状又は逆扇状に変形させてもよい。また、上記の変形を複数組み合わせてもよい。
【0107】
・前記実施形態において、マッチしたときの変形文字パターン４６を、領域で表現された変形文字パターン４６に復元する方法は領域モフォロジー以外の他の方法でもよい。例えば、画像作成ソフトウェア等を用いて作成した領域で表現された基準文字パターンを記憶部３１に記憶しておき、この基準文字パターンをマッチした変形度合の情報（例えばサイズ及び回転角度）を用いて変形させることで、変形文字パターン４６を取得してもよい。また、領域モフォロジーを利用した復元に、マッチした変形度合の情報を用いてもよい。
【0108】
・背景画像６１を生成する場合、文字領域５２の撮像画像に、背景領域を透明化しかつドット領域４６ａ内を白色にした変形テンプレート４５の画像を重ねてもよい。また、変形文字領域画像６３を生成する場合、文字領域５２の撮像画像に、背景領域を白色にしかつドット領域４６ａを透明化した変形テンプレート４５の画像を重ねてもよい。
【0109】
・前記実施形態では、印字されたドットが１つずつ離れたドット文字であったが、ドットが隣のドットと結合した文字であってもよい。５×８や５×９などのドットで文字が形成されるドット文字に替え、ゴシック体や明朝体などの所定の書体で印字された文字でもよい。
【0110】
・前記実施形態において、分割用テンプレート４２を用いなくてもよい。つまり、テンプレート４０のみを用いて形状マッチング処理を行う構成でもよい。
【0111】
・ピラミッド探索を行わなくてもよい。
【0112】
・ＯＣＲ検査を廃止してもよい。ＯＣＲ検査を廃止した場合、記憶部３１に、文字列２０のテキスト情報を記憶しておいてもよい。テキスト情報を参照することにより、形状マッチング処理でテンプレートに使用する文字を絞り込むことができる。１つの文字に対する形状マッチング処理に複数のテンプレートを使用して複数回のマッチング処理を行う必要がない。
【0113】
【0114】
・各分割テンプレート４２ａ，４２ｂ，４２ｃは、これらの境界部分が必ずしも互いに重複している必要はない。
【0115】
・斜めの区画線４３ａを２本含む複数の区画線で３分割したが、斜めの区画線４３ａを１本のみ含む複数の区画線で３分割してもよい。また、斜めの区画線４３ａを３本用いて３分割してもよい。また、斜めの区画線４３ａを２本含む複数の区画線で４分割以上の複数分割をしてもよい。さらに、斜めの区画線４３ａを１本又は２本含む複数の区画線で２分割してもよい。
【0116】
・検査対象の文字は、漢字、ひらがな、カタカナ、ローマ字、アルファベット、数字等の文字あるいは記号などであってもよい。
【0117】
・文字列は、製造年月日、賞味期限、消費期限、ロット番号以外の文字の検査に用いてもよい。
【0118】
・検査の対象は、印字された文字に加え、印字されたコードを含んでもよい。この場合、コードは、例えば、バーコード等の一次元コードやＱＲコード（登録商標）等の二次元コードでもよい。
【0119】
・前記実施形態では、ＯＣＲ検査部３２、形状マッチング処理部３３、変形パターン生成部３４、検査処理部３５、排除処理部３６及び表示処理部３７をＣＰＵがプログラムを実行して構築されるソフトウェアにより実現したが、これらをＩＣなどのハードウェアにより構成してもよい。さらに、これらをソフトウェアとハードウェアとの協働により実現される構成にしてもよい。
【0120】
・文字の印字面は、平面でもよい。また、印字面は凹曲面や斜面でもよい。
【0121】
・検査対象（対象物）は、飲料用のプラスチック容器、紙容器、瓶、缶等の飲料容器に限定されず、食品用の容器、例えば、缶、瓶、紙容器、プラスチック容器、パウチ容器でもよい。さらに、検査対象は、食品に限定されず、その他の製品又は半製品が収容された容器でもよく、例えば、段ボール箱でもよい。さらに、検査対象は、容器に限定されず、容器に収容される前の製品そのものでもよい。この場合、製品には、電化製品、文房具、食器、建材、部品等でもよい。また、文字が印字されたシールが貼られた製品でもよい。
【0122】
・印字は、インクジェットプリンタによる印字に限定されず、レーザープリンター、ドットインパクトプリンターによる印字でもよい。また、レーザマーカのレーザ光による印字（刻印）でもよい。
【符号の説明】
【0123】
１１…印字検査装置、１２…検査対象の一例としての飲料容器、１５…制御部、１７…撮像部の一例としてのカメラ、２０…文字列、２１…文字、３０…コンピュータ、３１…記憶部、３２…ＯＣＲ検査部、３３…形状マッチング処理部、３４…変形パターン生成部、３５…検査処理部、３６…排除処理部、３７…表示処理部、３８…変形処理部、４０，４０Ａ，４０Ｂ，４０Ｃ，４０Ｄ…テンプレート、４１…基準文字パターン、４１ａ，４１ｂ，４１ｃ…分割基準文字パターン、４２…分割用テンプレート、４２ａ，４２ｂ，４２ｃ…分割テンプレート、４３ａ，４３ｂ，４３ｃ…区画線、４５…変形テンプレート、４６…変形文字パターン、４６ａ…ドット領域、４７…結合文字領域、４７ａ…結合ドット領域、５０Ａ…印字領域、５０…文字列、５１…文字、５１Ｐ…撮像文字パターン、５１ａ…ドット、５２…文字領域、５３…撮像文字パターン、５４…文字領域、５５…範囲、５７…汚れ、５８…滲み、６０…検査領域特定画像、６１…背景画像、６２…背景領域、６３…変形文字領域画像、６４…結合文字領域画像。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】