特開 2024-75368 学習済みモデル、学習済みモデル生成方法、及び検査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024075368

(43)【公開日】2024-06-03

(54)【発明の名称】学習済みモデル、学習済みモデル生成方法、及び検査装置

(51)【国際特許分類】

   G06V 30/194 20220101AFI20240527BHJP

   G06V 10/72 20220101ALI20240527BHJP

   G06T 7/00 20170101ALI20240527BHJP

【ＦＩ】

G06V30/194

G06V10/72

G06T7/00 350B

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022186769

(22)【出願日】2022-11-22

(71)【出願人】

【識別番号】000000929

【氏名又は名称】カヤバ株式会社

(74)【代理人】

【識別番号】110002468

【氏名又は名称】弁理士法人後藤特許事務所

(72)【発明者】

【氏名】小木曽 茂寿

(72)【発明者】

【氏名】鈴木 健斗

【テーマコード（参考）】

5B064

5L096

【Ｆターム（参考）】

5B064AA05

5B064AB02

5B064DA27

5L096AA02

5L096BA03

5L096BA17

5L096FA59

5L096FA67

5L096GA41

5L096KA04

(57)【要約】

【課題】文字を認識する学習済みモデルのモデル生成に要する時間を短縮する。
【解決手段】緩衝器１にプリントされた文字を撮像した画像から文字を認識するようにコンピュータを機能させる学習済みモデル１０１は、文字と当該文字を表す人工的に生成された文字画像とを教師データとして機械学習されており、学習される文字画像には、文字の基準形状を表す基準画像と、基準形状から形状変更した文字の変形形状を表す形状変更画像及び基準画像に対して色を変更した色変更画像の少なくとも一方と、が含まれる。
【選択図】図４

【特許請求の範囲】

【請求項1】

対象物にプリントされた文字を撮像した画像から前記文字を認識するようにコンピュータを機能させる学習済みモデルであって、
前記文字と当該文字を表す人工的に生成された文字画像とを教師データとして機械学習されており、
学習される前記文字画像には、
前記文字の基準形状を表す基準画像と、
前記基準形状から形状変更した前記文字の変形形状を表す形状変更画像及び前記基準画像に対して色を変更した色変更画像の少なくとも一方と、が含まれることを特徴とする学習済みモデル。

【請求項2】

対象物にプリントされた文字を撮像した画像から前記文字を認識するようにコンピュータを機能させる学習済みモデルを生成する学習済みモデル生成方法であって、
前記文字と当該文字を表す人工的に生成された文字画像とを教師データとして機械学習させる工程を含み、
学習される前記文字画像には、
前記文字の基準形状を表す基準画像と、
前記基準形状から形状を変更した前記文字の変形形状を表す形状変更画像及び前記基準画像に対して色を変更した色変更画像の少なくとも一方と、が含まれることを特徴とする学習済みモデル生成方法。

【請求項3】

対象物にプリントされた文字を認識して前記対象物を検査する検査装置であって、
前記文字を含む判定画像を撮像する撮像部と、
前記撮像部が撮像した前記判定画像を取得する処理部と、を備え、
前記処理部は、
前記対象物に付されるべき適正文字が予め記憶される記憶部と、
学習済みモデルによって前記判定画像内に含まれる前記文字を認識する認識部と、
前記認識部が認識した前記文字と前記適正文字とが一致するかを判定する判定部と、を有し、
前記学習済みモデルは、前記対象物にプリントされる前記文字と、前記文字を表す画像であって、前記対象物に前記文字をプリントするための設計図面又は設計データに基づいて人工的に生成される文字画像と、を教師データとして機械学習され、
学習される前記文字画像には、
前記文字の基準形状を表す基準画像と、
前記文字の前記基準形状に対して形状を変更した変形形状を表す形状変更画像及び前記基準画像に対して色を変更した色変更画像の少なくとも一方と、が含まれることを特徴とする検査装置。

【請求項4】

請求項３に記載の検査装置であって、
学習される前記文字画像には、前記文字の前記基準形状に対して文字太さの変更、縁取りする縁取化、縦横比の変更、大きさの変更、及び傾きの変更の少なくともいずれかを行った前記形状変更画像が含まれることを特徴とする検査装置。

【請求項5】

請求項４に記載の検査装置であって、
前記文字は、刻印として前記対象物にプリントされており、
学習される前記文字画像には、前記文字の前記基準形状を縁取りした縁取形状を表す前記形状変更画像が含まれることを特徴とする検査装置。

【請求項6】

請求項３に記載の検査装置であって、
学習される前記文字画像には、前記基準画像に対して文字色の変更、背景色の変更、及びノイズの付加の少なくともいずれかを行った前記色変更画像が含まれることを特徴とする検査装置。

【請求項7】

請求項５に記載の検査装置であって、
前記文字は、刻印として前記対象物にプリントされており、
学習される前記文字画像には、画像内に含まれる前記文字の明度が均一な前記基準画像と、画像内に含まれる前記文字の明度が部分的に異なる前記色変更画像と、が含まれることを特徴とする検査装置。

【請求項8】

請求項３から７のいずれか一つに記載の検査装置であって、
前記形状変更画像及び前記色変更画像は、それぞれ前記基準画像から変更される項目及び変更の程度がランダムに設定されていることを特徴とする検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習済みモデル、学習済みモデル生成方法、及び検査装置に関するものである。

【背景技術】

【0002】

特許文献１には、認識対象の文字を撮像する撮像手段と、撮像手段から出力された画像データから文字毎に特徴量を抽出する特徴量抽出部と、認識対象の各文字をそれぞれ１文字ずつ予め学習した複数のニューラルネットワークと、を備える文字認識装置が開示されている。この文字認識装置では、特徴量抽出部によって抽出された特徴量データに基づいてニューラルネットワークを選択すると共に当該選択したニューラルネットワークに当該特徴量を入力する認識制御部が設けられ、認識制御部が、各ニューラルネットワークからの出力値に基づいて撮像手段によって撮像された文字の文字種を判定する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平９－１２０４３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載されるような機械学習済みモデルを利用した文字認識では、対象物にプリントされた文字を撮像し、撮像した画像データに含まれる文字情報をラベリングしたデータを教師データとして機械学習が行われることがある。このような方法では、機械学習済みモデルを生成するにあたり、学習用の教師データとして多くの撮像画像を用意する必要があり、学習用に文字を対象物にプリントする工程や対象物の文字を撮像する工程などにおいて多くの工数を必要とする。

【0005】

本発明は上記の問題点に鑑みてなされたものであり、文字を認識するための学習済みモデルにおいてモデル生成に要する時間を短縮することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、対象物にプリントされた文字を撮像した画像から文字を認識するようにコンピュータを機能させる学習済みモデルであって、文字と当該文字を表す人工的に生成された文字画像とを教師データとして機械学習し、学習される文字画像には、文字の基準形状を表す基準画像と、基準形状から形状変更した文字の変形形状を表す形状変更画像及び基準画像に対して色を変更した色変更画像の少なくとも一方と、が含まれることを特徴とする。

【0007】

また、本発明は、対象物にプリントされた文字を撮像した画像から文字を認識するようにコンピュータを機能させる学習済みモデルを生成する学習済みモデル生成方法であって、文字と当該文字を表す人工的に生成された文字画像とを教師データとして機械学習させる工程を含み、学習される文字画像には、文字の基準形状を表す基準画像と、基準形状から形状を変更した文字の変形形状を表す形状変更画像及び基準画像に対して色を変更した色変更画像の少なくとも一方と、が含まれることを特徴とする。

【0008】

これらの発明では、教師データとなる画像は、文字を実際に撮像した画像ではなく、文字を表す画像であって人工的に生成された文字画像である。文字画像には、基準画像に加えて、基準画像から文字の形状を変更した形状変更画像及び画像の色を変更した色変更画像の少なくとも一方と、が含まれるため、教師データとして十分な量の学習データを用意することができる。このように、本発明では、多様な教師データを人工的に生成するため、実際に文字を撮像して教師データとする場合と比較して、教師データの準備に要する工数を削減することができる。

【0009】

また、本発明は、対象物にプリントされた文字を認識して対象物を検査する検査装置であって、文字を含む判定画像を撮像する撮像部と、撮像部が撮像した判定画像を取得する処理部と、を備え、処理部は、対象物に付されるべき適正文字が予め記憶される記憶部と、学習済みモデルによって判定画像内に含まれる文字を認識する認識部と、認識部が認識した文字が対象物にプリントされる文字と一致するかを判定する判定部と、を有し、学習済みモデルは、対象物にプリントされる文字と、文字を表す画像であって、対象物に文字をプリントするための設計図面又は設計データに基づいて人工的に生成される文字画像と、を教師データとして機械学習され、学習される文字画像には、文字の基準形状を表す基準画像と、文字の基準形状に対して形状を変更した変形形状を表す形状変更画像及び基準画像に対して色を変更した色変更画像の少なくとも一方と、が含まれることを特徴とする。

【0010】

この発明では、教師データとなる画像は、文字を実際に撮像した画像ではなく、対象物に文字をプリントするための設計図面又は設計データに基づいて人工的に生成された文字画像である。文字画像には、基準画像に加えて、基準画像から文字の形状を変更した形状変更画像及び画像の色を変更した色変更画像の少なくとも一方と、が含まれるため、教師データとして十分な量の学習データを用意することができる。このように、本発明では、多様な教師データを人工的に生成するため、実際に文字を撮像して教師データとする場合と比較して、教師データの準備に要する工数を削減することができる。

【0011】

また、本発明は、学習される文字画像には、文字の基準形状に対して文字太さの変更、縁取りする縁取化、縦横比の変更、大きさの変更、及び傾きの変更の少なくともいずれかを行った形状変更画像が含まれることを特徴とする。

【0012】

また、本発明は、学習される文字画像には、基準画像に対して文字色の変更、背景色の変更、及びノイズの付加の少なくともいずれかを行った色変更画像が含まれることを特徴とする。

【0013】

これらの発明によれば、多様な変更画像を教師データとすることができるため、検査精度を向上させることができる。

【0014】

また、本発明は、文字が、刻印として対象物にプリントされており、学習される文字画像には、文字の基準形状を縁取りした縁取形状を表す形状変更画像が含まれることを特徴とする。

【0015】

また、本発明は、文字が、刻印として対象物にプリントされており、学習される文字画像には、画像内に含まれる文字の明度が均一な基準画像と、画像内に含まれる文字の明度が部分的に異なる色変更画像と、が含まれることを特徴とする。

【0016】

また、本発明は、形状変更画像及び色変更画像は、それぞれ基準画像から変更される項目及び変更の程度がランダムに設定されていることを特徴とする。

【0017】

これらの発明では、文字が刻印によってプリントされた場合の特徴を含む画像を教師データとするため、対象物の刻印を認識する検査装置において、認識精度を向上させることができる。

【0018】

また、本発明は、形状変更画像及び色変更画像は、それぞれ基準画像から変更される項目及び変更の程度がランダムに設定されていることを特徴とする。

【0019】

この発明では、教師データの偏りを低減できるため、画像認識及び検査精度の向上を図ることができる。

【発明の効果】

【0020】

本発明によれば、文字を認識するための学習済みモデルにおいてモデル生成に要する時間が短縮される。

【図面の簡単な説明】

【0021】

【図1】本発明の実施形態に係る検査装置の全体構成を示す概略図である。

【図2】本発明の実施形態に係る検査装置の構成を示すブロック図である。

【図3】本発明の実施形態に係る検査装置において、撮像部が撮像する判定画像を示す模式図である。

【図4】本発明の実施形態に係る学習済みモデル生成方法において設計図面から基準画像を抽出する工程を示す模式図である。

【図5】本発明の実施形態に係る学習済みモデル生成方法において用いられる形状変更画像の例を示す模式図である。

【図6】本発明の実施形態に係る学習済みモデル生成方法において用いられる色変更画像の例を示す模式図である。

【発明を実施するための形態】

【0022】

以下、図面を参照して、本発明の実施形態に係る学習済みモデル１０１、学習済みモデル生成方法、及び検査装置１００について説明する。

【0023】

本実施形態の検査装置１００は、製造ラインで用いられる外観検査装置であり、製造された対象物にプリント（印字）された文字を認識し、対象物が製造ラインを流れる適正な製品であるかを検査して、製造ラインでの異品混入を防止するものである。本実施形態では、検査装置１００は、対象物としての緩衝器１のシリンダ２における円筒面状の外周面に刻印によってプリントされる製造番号等の文字（文字列）を認識し、認識した文字が緩衝器１に刻印する当該製造番号等の文字と一致しているかを判定するものである。なお、対象物は、緩衝器１に限定されず、文字がプリントされる製造物であれば、任意のものを対象物とすることができる。

【0024】

また、本明細書において、文字とは、情報を伝達・記録するために用いられ視覚によって認識可能な記号全般を指す。本明細書では、文字とは、アルファベットや数字、漢字、ひらがな、カタカナに加えて、句読点や疑問符等の記号（いわゆる約物）、絵文字等も含むものである。

【0025】

図１及び図２に示すように、検査装置１００は、緩衝器１を軸線周りに回転させる電動モータ１０と、緩衝器１の外周面の文字を含む画像（以下、「判定画像」と称する。図３参照。）を撮像する撮像部２０と、撮像部２０が撮像した判定画像を取得する処理部３０と、を備える。

【0026】

検査対象となる緩衝器１は、検査装置１００によって行われる検査工程よりも前の工程において、刻印機（図示省略）によりシリンダ２の外周に文字が刻印される。文字は、シリンダ２の外周面から窪むようにして刻印される。文字が刻印された緩衝器１は、搬送機構（図示省略）によって架台（図示省略）上の所定位置（検査位置）に搬送される。電動モータ１０は、架台上の検査位置にある緩衝器１を軸線周りに回転させる。電動モータ１０の作動は、処理部３０又はその他の制御装置によって制御される。

【0027】

撮像部２０は、線状に対象物を撮像し、撮像したデータを繋ぎ合わせることで一つの画像を生成するラインセンサカメラである。撮像部２０は、検査位置にある緩衝器１の鉛直方向上方の設けられており、緩衝器１の軸線方向に沿ったラインによって緩衝器１の外周面を撮像する。電動モータ１０によって軸線周りに回転する緩衝器１の外周面を撮像部２０で撮像することで、シリンダ２の円筒状の外周面にプリントされた文字を平面上の画像として取得することができる。なお、撮像部２０は、ラインセンサカメラに限定されず、その他のカメラであってもよい。

【0028】

処理部３０は、制御プログラム等を実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＣＰＵにより実行される制御プログラムを記憶するＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＣＰＵの演算結果等を記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、通信装置と、等を備えたコンピュータによって構成される情報処理装置である。処理部３０は、ＲＯＭに記憶される制御プログラムがＲＡＭに読み込まれ、ＲＡＭ上でＣＰＵによって実行されることにより、本明細書に記載の処理部３０の各種機能を実行する。処理部３０は、一つのコンピュータによって構成されていてもよいし、複数のマイクロコンピュータによって構成され各制御を当該複数のコンピュータで分散処理するように構成されていてもよい。

【0029】

処理部３０は、図２に示すように、検査する緩衝器１に付されるべき適正文字が予め記憶される記憶部３１と、学習済みモデル１０１によって判定画像内に含まれる文字を認識する認識部３２と、認識部３２が認識した文字と適正文字とが一致するかを判定する判定部３３と、を有する。なお、図２に示す処理部３０の各構成は、処理部３０の各機能を仮想的なユニットとして示したものであり、必ずしも物理的に存在することを意味するものではない。

【0030】

記憶部３１は、検査する緩衝器１に刻印される文字の情報（文字が表す製造番号等の情報）を、適正文字として記憶する。適正文字は、作業者によって予め入力される。本実施形態では、一例として、適正文字を「ＡＢＣ－１２３」とする。また、記憶部３１は、後述するプログラムとしての学習済みモデル１０１を予め記憶している。

【0031】

認識部３２は、撮像部２０が撮像した判定画像を取得し、記憶部３１から呼び出した学習済みモデル１０１によって判定画像内に含まれる文字を認識する。後述のように、学習済みモデル１０１は、公知のアルゴリズムを利用できるため詳細な説明は省略するが、図３に示すように、認識部３２によって認識された文字の情報（以下、「判定文字」と称する。）は、判定部３３に入力される。学習済みモデル１０１については、後に詳細に説明する。

【0032】

判定部３３は、記憶部３１に記憶される適正文字と認識部３２から入力される判定文字とが一致しているか否かを判定する。適正文字と判定文字とが一致していない場合、つまり、判定画像から認識した判定文字が、記憶部３１に記憶された「ＡＢＣ－１２３」という適正文字ではない場合には、処理部３０からエラー情報が出力される。エラー情報は、表示装置等の外部機器に入力され、作業者が認識可能な態様によって報知される。適正文字と判定文字とが一致する場合には、処理部３０からの信号に基づいて検査をパスした旨を報知してもよいし、なにも対応しなくてもよい。

【0033】

このようにして、検査装置１００は、製造ラインを流れる緩衝器１に付された製造番号等の文字を外観検査し、適正な文字が付された緩衝器１が当該製造ラインをながれているかを検査する。これにより、当該製造ラインへの異品の混入や、製造番号等の文字列の刻印の不具合などを検知することができる。

【0034】

次に、本実施形態の学習済みモデル１０１及びその生成方法について説明する。

【0035】

学習済みモデル１０１は、判定画像に含まれる緩衝器１に付された文字列を認識するためにあらかじめ用意される教師データによってコンピュータに深層学習（ディープラーニング）を用いた機械学習をさせることで構築される。

【0036】

学習済みモデル１０１のアルゴリズムは、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）など、深層学習による機械学習を用いた物体認識の分野において利用される公知のアルゴリズムを利用することができる。学習済みモデル１０１は、図３に示すように、判定画像内において認識対象となる文字を含むバウンティングボックス（矩形枠）を設定し、バウンティングボックス内に含まれる文字列のそれぞれがどの文字であるか認識・識別するようにコンピュータを機能させるプログラムである。学習済みモデル１０１は、バウンティングボックス内の文字列を一文字ずつ認識可能なものである。

【0037】

本実施形態では、機械学習に用いられる教師データは、緩衝器１の文字を実際に撮像した画像データを含まず、人工的に生成した文字画像のみを含んでいる。教師データとなる文字画像には、図４から図６で示すように、緩衝器１に文字を刻印するための設計図面に含まれる文字形状（以下、「基準形状」と称する。）を表す基準画像と、基準画像に基づいて人工的に生成された変更画像と、が含まれる。以下、教師データの生成方法について具体的に説明する。

【0038】

教師データの生成では、まず、図４に示すように、設計図面から基準画像が取得される。具体的には、設計図面中に基準形状の文字を含むバウンティングボックスを設定し、バウンティングボックスで囲われた部分を基準画像として設計図面から抽出する。このような基準画像の抽出は、機械学習を用いた物体認識の技術を用いてコンピュータにより実行されてもよいし、作業者の人手による作業によって実行されてもよい。

【0039】

次に、基準画像に対して、形状及び／又は色を変更し、画像認識する上でのノイズを含んだ変更画像を複数生成する。変更画像の生成は、以下の手順を実行可能なプログラムを記憶したコンピュータにより実行される。変更画像の生成を実行するコンピュータは、検査装置１００における処理部３０でもよいし、その他のコンピュータであってもよい。

【0040】

形状変更の項目には、図５に示すように、文字の文字太さ、縁取り（縁取化）、縦横比、大きさ、及び傾きといった項目が含まれる。基準画像からこれらの形状変更項目の少なくとも一項目を変更することで、形状変更画像が生成される。色変更の項目には、図６に示すように、文字色、背景色、及びノイズとしてのごま塩ノイズ（ソルトアンドペッパーノイズ、インパルスノイズ）といった項目が含まれる。基準画像からこれらの色変更項目の少なくとも一項目を変更することで、形状変更画像が生成される。

【0041】

各変更項目では、変更範囲（変更するにあたっての上限値及び下限値）及び変更する刻み幅（スケール）などを含む変更条件が予め設定される。変更条件は、実際の刻印における各項目のばらつきに基づいて設定することができる。例えば、縦横比であれば、所定数のサンプリング品を撮像して縦横比の最大値、最小値、ばらつきなどを取得し、これらの値から縦横比を変更する最大値、最小値、変更するスケールなどを設定すればよい。その他、変更条件は、経験則などに基づいて任意に設定することもできる。

【0042】

図５に示すように、変更項目としての文字太さとは、文字を構成する線の太さを変更するものである。文字太さの変更では、複数の文字のうちの各文字を均一に同程度変更してもよいし、文字ごとに異なる程度での変更や、一つの文字内において局所的に太さを変更する、といった変更の態様であってもよい。

【0043】

変更項目としての縁取りとは、文字の外形を線で囲った縁取り文字化するものである。縁取りにおけるパラメータは、縁取り線の太さと縁取り位置である。縁取り位置とは、文字の全体を縁取りすること、文字の一部のみを縁取りすることを含む。例えば、縁取り位置としては、全体の縁取り化、右半分の縁取り化、左半分の縁取り化、の３項目が設定される。つまり、縁取化では、縁取り線の太さを各文字において均一に変更してもよいし、文字ごとに異なる程度で縁取り線の太さを変更する、一つの文字内において局所的に縁取り線の太さを変更する、といった変更の態様であってもよい。

【0044】

変更項目としての縦横比とは、矩形領域内の文字の高さ（縦方向の寸法）と幅（横方向の寸法）の比（幅／高さ）を変更するものである。縦横比を変更するにあたっては、文字の高さと幅の少なくとも一方を変更してもよいし、両方を変更してもよい。高さと幅の変更には、それぞれ増加（拡大）及び減少（縮小）させることを含む。つまり、縦横比の変更とは、文字の高さと幅とを、互いに異なる割合で拡大又は縮小させることである。

【0045】

変更項目としての大きさとは、矩形領域内の文字の絶対的な高さ及び幅を変更するものである。つまり、文字の大きさを変更するとは、文字の縦横比を保ったまま高さ及び幅を変更することである。

【0046】

なお、縦横比及び大きさの変更は、文字列中の一部のみを変更するのではなく、文字列全体を一体として変更される。

【0047】

変更項目としての傾きの変更は、文字列中の各文字のそれぞれを個別に変更しもよいし、文字列全体を一体として変更してもよい。ただし、文字列中の各文字をそれぞれ個別に傾けるには、傾ける方向は同一である。

【0048】

変更項目としての文字色とは、画像中の文字の明度を変更するものである。文字色の変更は、文字列中の各文字のそれぞれを個別に変更してもよいし、文字列全体を一体として変更してもよい。また、図６に示すように、各文字において、一方側（図中左側）から他方側（図中右側）に向けて明度が変化するグラデーションにより明度が変更されてもよい。なお、文字色は、明度に限定されず、色相又は彩度を変更するものでもよい。また、明度、色相、及び彩度のうちのいずれか複数又はすべてを変更するように構成してもよい。

【0049】

変更項目としての背景色は、基準画像内での文字列以外の部分の明度、彩度、色相の少なくともいずれかを変更するものである。背景色の変更は、全体で均一に変更してもよいし、変更の度合いを局所的に変更してもよい。

【0050】

変更項目としてのごま塩ノイズとは、基準画像全体にごま塩ノイズと呼ばれるノイズを付与するものである。ごま塩ノイズとは、白と黒のピクセルが、画像上に不均一に生じるノイズである。ごま塩ノイズの変更のパラメータは、そのノイズ量（白黒のピクセル量。画素数。）である。例えば、画像内からランダムに選定した所定数（ノイズ量）の画素を黒色（画素値が２５５）にすることで、ごま塩ノイズを付加することができる。

【0051】

文字太さ、縁取り、縦横比、大きさ、傾き、文字色、背景色、ごま塩といった計７つの変更項目において、基準画像に対してランダムに変更を加えることで、変更画像が生成される。加えられる変更は、７つの変更項目のうちの一つでもよいし、複数でもよい。つまり、変更する項目の数もランダムに設定される。また、各項目においてどの程度の変更を加えるかも、プログラムによってランダムに自動選択される。例えば、各変更項目における変更のパラメータごとに変更の程度（変更しないことも含む）を複数段階設定しておき、乱数等によって一つの変更の程度が選択される。このようにして、７つの変更項目から一又は複数の項目がランダムに選択され、各項目においてランダムに内容が変更されることで変更画像が生成される。例えば、変更画像として、文字太さを増加、大きさを増大、ごま塩ノイズを所定量だけ付加、といった変更がなされた変更画像が生成される。

【0052】

このようにして複数の変更項目において変更を加えた変更画像がランダムに複数生成されるため、多種多様なバリエーションの教師データを簡易に用意することができる。また、教師データの偏りを低減できるため、画像認識及び検査精度の向上を図ることができる。

【0053】

以上のようにして生成される変更画像及びその基準画像について、基準画像に含まれる文字列（設計図面上の文字列であり、適正文字に相当する。）の情報をラベリングして一組のデータセットを生成する。このようなデータセットを、種々の緩衝器１のそれぞれにおいて刻印される異なる文字列において準備して、教師データとする。これらの教師データをコンピュータに学習させることで、学習済みモデル１０１が生成される。これにより、様々な文字列の特徴量を機械学習させることができる。

【0054】

また、本実施形態の検査装置１００は、緩衝器１に刻印された文字列を認識して検査するものである。緩衝器１に刻印された文字列は、緩衝器１のシリンダ２の外周面から窪んでいるため、撮像部２０による撮像角度や光の当たり方によって、縁取りされた文字に見えたり、文字部分の色（特に明度）が局所的に異なったりすることがある。よって、本実施形態のように、教師データである変更画像において、縁取りした縁取形状を含む形状変更画像と、文字の明度が部分的に異なる色変更画像と、の少なくとも一方が含まれるようにすることで、刻印に対する外観検査に固有の特徴を学習させることができ、検査装置１００における検査精度を向上させることができる。

【0055】

次に、本実施形態の変形例について説明する。以下のような変形例も本発明の範囲内であり、変形例に示す構成と上述の実施形態で説明した構成を組み合わせたり、以下の異なる変形例で説明する構成同士を組み合わせたりすることも可能である。

【0056】

上記実施形態では、学習済みモデル１０１が検査装置１００に用いられる場合を説明した。これに対し、学習済みモデル１０１は、検査装置１００に限定されず、その他の用途に利用されてもよい。

【0057】

また、検査装置１００は、緩衝器１に刻印される文字列を認識して検査するものである。これに対し、対象物は緩衝器１に限定されない。また、文字列は、刻印に限定されず、印刷であってもよいし、文字が印字されたステッカー等が貼付されるものでもよい。また、文字は、緩衝器１のシリンダ２の外周面から突出するように形成されたものでもよい。このように、検査装置１００は、種々の手法により対象物にプリント（印字）された文字認識に適用することができる。

【0058】

また、上記実施形態では、教師データに含まれる変更画像には、基準画像に含まれる文字の基準形状から形状変更した変形形状を表す形状変更画像と、基準画像に対して色を変更した色変更画像と、の両方が含まれる。これに対して、変更画像には、形状変更画像と色変更画像との一方のみが含まれるものであってもよい。

【0059】

また、上記実施形態では、教師データには、基準画像及び変更画像の両方が含まれる。これに対し、教師データは、基準画像が含まれず、変更画像のみによって構成されてもよい。

【0060】

また、上記実施形態では、設計図面に含まれる文字を抽出して基準画像が生成される。これに対し、なお、基準画像は、設計図面としての図面データから抽出するものに限定されず、例えば、記憶部３１に予め記憶されるテキストデータ（設計データ）から生成されてもよい。この場合、テキストデータは、実際に緩衝器１に刻印する文字（言い換えると、設計図面に含まれる文字）に用いられるフォント（オリジナルフォント）を表す文字群のデータである。このようなテキストデータに基づいて基準画像を生成することで、設計図面から文字を抽出して基準画像を作成する場合と同様の作用効果を奏する。さらに、この変形例によれば、実際に刻印される文字以外の文字を含んだ基準画像を生成できるため、実際に検査を行ったことがない文字を含む緩衝器１に対しても適用することができる。また、設計図面から抽出した文字又はオリジナルフォントのテキストデータから基準画像を生成することに加えて、オリジナルフォント以外のフォントのテキストデータから生成した画像を基準画像としても利用してよい。また、設計図面及びテキストデータ（設計データ）に基づいて基準画像を生成する構成は必須のものではない。

【0061】

また、テキストデータに基づいて基準画像を生成する場合には、例えば、異なる桁数の文字列をそれぞれ文字の重複を避けるようにして生成し、異なる桁数の文字列をそれぞれ基準画像として生成してもよい。このようにすることで、基準画像に含まれる文字列の種類がより多くなるため、学習済みモデルの学習効率が向上し、画像認識及び外観検査の精度をより一層向上させることができる。

【0062】

また、上記実施形態では、学習済みモデル１０１は、人工的に生成された変更画像のみを教師データとするものである。これに対し、学習済みモデル１０１は、対象物を撮像して得られる画像が教師データに含まれることを除外するものではない。教師データの一部に本実施形態の変更画像が含まれることで、教師データとして準備する対象物を撮像した画像の数を抑制できるため、教師データの準備に要する工数を削減することができる。

【0063】

また、変更画像における変更項目は、上記実施形態で記載したものに限定されず、対象物や文字のプリント方法などに応じて、任意に設定することができる。

【0064】

以下、本発明の実施形態の構成、作用、及び効果をまとめて説明する。

【0065】

緩衝器１にプリントされた文字を撮像した画像から文字を認識するようにコンピュータを機能させる学習済みモデル１０１は、文字と当該文字を表す人工的に生成された文字画像とを教師データとして機械学習されており、学習される文字画像には、文字の基準形状を表す基準画像と、基準形状から形状変更した文字の変形形状を表す形状変更画像及び基準画像に対して色を変更した色変更画像の少なくとも一方と、が含まれる。

【0066】

また、緩衝器１にプリントされた文字を撮像した画像から文字を認識するようにコンピュータを機能させる学習済みモデル１０１を生成する学習済みモデル生成方法は、文字と当該文字を表す人工的に生成された文字画像とを教師データとして機械学習させる工程を含み、学習される文字画像には、文字の基準形状を表す基準画像と、基準形状から形状を変更した文字の変形形状を表す形状変更画像及び基準画像に対して色を変更した色変更画像の少なくとも一方と、が含まれる。

【0067】

これらの構成では、教師データとなる画像は、文字を実際に撮像した画像ではなく、文字を表す画像であって人工的に生成された文字画像である。文字画像には、基準画像に加えて、基準画像から文字の形状を変更した形状変更画像及び画像の色を変更した色変更画像の少なくとも一方と、が含まれるため、教師データとして十分な量の学習データを用意することができる。このように、上記構成では、多様な教師データを人工的に生成するため、実際に文字を撮像して教師データとする場合と比較して、教師データの準備に要する工数を削減することができる。

【0068】

また、緩衝器１にプリントされた文字を認識して緩衝器１を検査する検査装置１００は、文字を含む判定画像を撮像する撮像部２０と、撮像部２０が撮像した判定画像を取得する処理部３０と、を備え、処理部３０は、緩衝器１に付されるべき適正文字が予め記憶される記憶部と、学習済みモデル１０１によって判定画像内に含まれる文字を認識する認識部３２と、認識部３２が認識した文字が緩衝器１にプリントされる文字と一致するかを判定する判定部３３と、を有し、学習済みモデル１０１は、緩衝器１にプリントされる文字と、文字を表す画像であって、緩衝器１に文字をプリントするための設計図面又は設計データに基づいて人工的に生成される文字画像と、を教師データとして機械学習され、学習される文字画像には、文字の基準形状を表す基準画像と、文字の基準形状に対して形状を変更した変形形状を表す形状変更画像及び基準画像に対して色を変更した色変更画像の少なくとも一方と、が含まれる。

【0069】

この構成では、教師データとなる画像は、文字を実際に撮像した画像ではなく、緩衝器１に文字をプリントするための設計図面に基づいて人工的に生成された文字画像である。文字画像には、基準画像に加えて、基準画像から文字の形状を変更した形状変更画像及び画像の色を変更した色変更画像の少なくとも一方と、が含まれるため、教師データとして十分な量の学習データを用意することができる。このように、この構成では、多様な教師データを人工的に生成するため、実際に文字を撮像して教師データとする場合と比較して、教師データの準備に要する工数を削減することができる。

【0070】

また、検査装置１００では、学習される文字画像には、文字の基準形状に対して文字太さの変更、縁取りする縁取化、縦横比の変更、大きさの変更、及び傾きの変更の少なくともいずれかを行った形状変更画像が含まれる。

【0071】

また、検査装置１００では、学習される文字画像には、基準画像に対して文字色の変更、背景色の変更、及びごま塩ノイズの付加の少なくともいずれかを行った色変更画像が含まれることを特徴とする。

【0072】

これらの構成によれば、多様な変更画像を教師データとすることができるため、検査精度を向上させることができる。

【0073】

また、検査装置１００では、文字は、刻印として緩衝器１にプリントされており、学習される文字画像には、文字の基準形状を縁取りした縁取形状を表す形状変更画像が含まれる。

【0074】

また、検査装置１００では、文字は、刻印として緩衝器１にプリントされており、学習される文字画像には、画像内に含まれる文字の明度が均一な基準画像と、画像内に含まれる文字の明度が部分的に異なる色変更画像と、が含まれる。

【0075】

これらの発明では、文字が刻印によってプリントされた場合の特徴を含む画像を教師データとするため、緩衝器１の刻印を認識する検査装置１００において、認識精度を向上させることができる。

【0076】

また、検査装置１００では、形状変更画像及び色変更画像は、それぞれ基準画像から変更される項目及び変更の程度がランダムに設定されている。

【0077】

この構成では、教師データの偏りを低減できるため、画像認識及び検査精度の向上を図ることができる。

【0078】

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

【符号の説明】

【0079】

１…緩衝器（対象物）、２０…撮像部、３０…処理部、３１…記憶部、３２…認識部、３３…判定部、１００…検査装置、１０１…学習済みモデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】