特許 7698507 刻印文字読み取りシステム及び刻印文字読み取り方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-06-17

(45)【発行日】2025-06-25

(54)【発明の名称】刻印文字読み取りシステム及び刻印文字読み取り方法

(51)【国際特許分類】

   G06V 30/148 20220101AFI20250618BHJP

【ＦＩ】

G06V30/148

【請求項の数】 2

(21)【出願番号】P 2021129477

(22)【出願日】2021-08-06

(65)【公開番号】P2023023706

(43)【公開日】2023-02-16

【審査請求日】2024-06-12

(73)【特許権者】

【識別番号】000157083

【氏名又は名称】トヨタ自動車東日本株式会社

(74)【代理人】

【識別番号】100131026

【弁理士】

【氏名又は名称】藤木 博

(74)【代理人】

【識別番号】100194124

【弁理士】

【氏名又は名称】吉川 まゆみ

(72)【発明者】

【氏名】箱石 一記

【審査官】岡本 俊威

(56)【参考文献】

【文献】小川陽子 他，エンドツーエンド深層学習による生産管理のための刻印シリアル番号認識，第２５回画像センシングシンポジウム ＳＳＩＩ２０１９，IS3-41，日本，画像センシング技術研究会，2019年06月12日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／００－３０／４２４

(57)【特許請求の範囲】

【請求項1】

読み取り対象の刻印文字が複数種の候補文字種のいずれであるかを読み取る刻印文字読み取りシステムであって、
前記刻印文字が設けられた刻印面を撮影する撮影手段と、
前記撮影手段により得られた撮影画像について、１字ごとに前記刻印文字の位置を特定する文字位置特定手段と、
前記撮影手段により得られた撮影画像のうち前記文字位置特定手段により特定した位置の１字ごとの刻印文字画像について、文字種が前記候補文字種のいずれであるかを判別する文字種判別手段とを備え、
前記文字位置特定手段は、機械学習により１字ごとに前記刻印文字が位置する領域の特徴を前記各候補文字種について学習させた位置学習モデルに基づいて特定し、
前記文字種判別手段は、機械学習により１字ごとに前記刻印文字の形状の特徴を前記各候補文字種について学習させた文字種学習モデルに基づいて判別し、
前記文字種学習モデルは、前記各候補文字種について前記刻印文字を設けた刻印面を撮影した撮影画像から１字ごとに前記刻印文字を囲んで指定した領域内の画像を文字種学習画像とし、前記候補文字種ごとに前記文字種学習画像の特徴量を抽出し、その特徴量を正解文字種の前記候補文字種と紐づけて、学習させることにより生成したものである
ことを特徴とする刻印文字読み取りシステム。

【請求項2】

読み取り対象の刻印文字が複数種の候補文字種のいずれであるかを読み取る刻印文字読み取り方法あって、
前記刻印文字が設けられた刻印面を撮影する撮影手順と、
前記撮影手段により得られた撮影画像について、１字ごとに前記刻印文字の位置を特定する文字位置特定手順と、
前記撮影手順により得られた撮影画像のうち前記文字位置特定手順により特定した位置の１字ごとの刻印文字画像について、文字種が前記候補文字種のいずれであるかを判別する文字種判別手順とを備え、
前記文字位置特定手順では、機械学習により１字ごとに前記刻印文字が位置する領域の特徴を前記各候補文字種について学習させた位置学習モデルを用いて特定し、
前記文字種判別手順では、機械学習により１字ごとに前記刻印文字の形状の特徴を前記各候補文字種について学習させた文字種学習モデルを用いて判別し、
前記文字種学習モデルは、前記各候補文字種について前記刻印文字を設けた刻印面を撮影した撮影画像から１字ごとに前記刻印文字を囲んで指定した領域内の画像を文字種学習画像とし、前記候補文字種ごとに前記文字種学習画像の特徴量を抽出し、その特徴量を正解文字種の前記候補文字種と紐づけて、学習させることにより生成したものである
ことを特徴とする刻印文字読み取り方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、刻印文字を読み取る刻印文字読み取りシステム及び刻印文字読み取り方法に関する。

【背景技術】

【0002】

車のエンジンの組付けラインでは、例えば、エンジンブロックに刻印されたメタル組付け指示の数字を読み取り、その数字によりメタル番号を選定している。数字の読み取りは、例えば、目視により行っているが、近年では、文字の自動読み取り技術が開発されている。例えば、特許文献１には、捺印数字列が印刷された印刷面からＣＣＤカメラにより数字画像を読み取って計算機に転送し、各捺印数字の幅よりも狭いスリットを移動させて数字画像からスリット画像を取り出し、ニューラルネットワークを用いて文字種を認識する文字認識装置が記載されている。また、特許文献２には、ＯＣＲ処理により読取画像から文字認識を行いテキストデータを生成する会計処理システムが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第２９７２０１１号公報

【文献】特許第６５２８１４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、これらの画像解析技術では、文字と背景とで色に差があるような印字や手書き文字の場合は文字を認識することができるが、文字と背景が同色である刻印文字の場合には、表面の光沢や汚れ等が画像解析時に悪影響を及ぼし、文字と認識しない場合があるという問題があった。特に、文字の二度打ちやずれがあると、例えば、図４に示したように、二値化処理により文字の輪郭を出そうとしても、光沢や汚れ又は肌の微小凹凸をノイズとして拾ってしまうので、判別率が低くなり、文字の認識が難しい。

【0005】

本発明は、このような問題に基づきなされたものであり、刻印文字を高い精度で読み取ることができる刻印文字読み取りシステム及び刻印文字読み取り方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の刻印文字読み取りシステムは、読み取り対象の刻印文字が複数種の候補文字種のいずれであるかを読み取るものであって、刻印文字が設けられた刻印面を撮影する撮影手段と、撮影手段により得られた撮影画像について、１字ごとに刻印文字の位置を特定する文字位置特定手段と、撮影手段により得られた撮影画像のうち文字位置特定手段により特定した位置の１字ごとの刻印文字画像について、文字種が候補文字種のいずれであるかを判別する文字種判別手段とを備え、文字位置特定手段は、機械学習により１字ごとに刻印文字が位置する領域の特徴を各候補文字種について学習させた位置学習モデルに基づいて特定し、文字種判別手段は、機械学習により１字ごとに刻印文字の形状の特徴を各候補文字種について学習させた文字種学習モデルに基づいて判別するものである。

【0007】

本発明の刻印文字読み取り方法は、読み取り対象の刻印文字が複数種の候補文字種のいずれであるかを読み取るものあって、刻印文字が設けられた刻印面を撮影する撮影手順と、撮影手段により得られた撮影画像について、１字ごとに刻印文字の位置を特定する文字位置特定手順と、撮影手順により得られた撮影画像のうち文字位置特定手順により特定した位置の１字ごとの刻印文字画像について、文字種が候補文字種のいずれであるかを判別する文字種判別手順とを備え、文字位置特定手順では、機械学習により１字ごとに刻印文字が位置する領域の特徴を各候補文字種について学習させた位置学習モデルを用いて特定し、文字種判別手順では、機械学習により１字ごとに刻印文字の形状の特徴を各候補文字種について学習させた文字種学習モデルを用いて判別するものである。

【発明の効果】

【0008】

本発明によれば、機械学習により１字ごとに刻印文字が位置する領域の特徴を各候補文字種について学習させた位置学習モデルを用い、１字ごとに刻印文字の位置を特定し、かつ、機械学習により１字ごとに刻印文字の形状の特徴を各候補文字種について学習させた文字種学習モデルを用い、特定した位置の刻印文字画像の文字種が候補文字種のいずれであるかを判別するようにしたので、表面の光沢や汚れも含めた特徴を検出して学習させることができ、刻印文字を高い精度で読み取ることができる。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施の形態に係る刻印文字読み取りシステムの構成を表す図である。

【図2】文字位置特定手段、及び、文字種判別手段のハードウェアの一構成例を表す図である。

【図3】本発明の一実施の形態に係る刻印文字読み取り方法の流れを表す図である。

【図4】刻印文字について二値化処理をした画像を表すものである。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

【0011】

図１は、本発明の一実施の形態に係る刻印文字読み取りシステム１の構成を表すものである。この刻印文字読み取りシステム１は、読み取り対象である刻印文字が複数種の候補文字種のいずれであるかを読み取るものである。刻印文字は、打刻により形成された打刻文字である。読み取り対象は、１字でもよく、複数字でもよい。なお、本実施の形態では、エンジンの組付けライン等の生産ラインにおいて、エンジンブロック等のワークＭに設けられた刻印文字を読み取る場合を例に挙げて説明する。

【0012】

刻印文字読み取りシステム１は、例えば、読み取り対象の刻印文字が設けられた刻印面を撮影する撮影手段１０と、撮影手段１０により得られた撮影画像について、１字ごとに刻印文字の位置を特定する文字位置特定手段２０と、撮影手段１０により得られた撮影画像のうち文字位置特定手段２０により特定した位置の１字ごとの刻印文字画像について、文字種が候補文字種のいずれであるかを判別する文字種判別手段３０とを備えている。

【0013】

撮影手段１０は、例えば、ＣＣＤカメラ等のカメラにより構成され、生産ラインを搬送されるワークＭの刻印文字を撮影するように固定して配設されている。撮影手段１０の撮影範囲は、例えば、読み取り対象が全て含まれるように設定することが好ましい。

【0014】

文字位置特定手段２０は、例えば、コンピュータにより構成することができ、プログラムを実行することにより、文字位置特定手段２０として機能するように構成されている。文字位置特定手段２０は、例えば、撮影手段１０に接続され、撮影手段１０により得られた撮影画像から１字ごとに刻印文字の位置を特定し、特定した位置の１字ごとの刻印文字画像を切り取って保存するように構成されていることが好ましい。刻印文字の位置の特定は、例えば、機械学習により１字ごとに刻印文字が位置する領域の特徴を各候補文字種について学習させた位置学習モデル２１に基づいて行うように構成されている。

【0015】

具体的には、文字位置特定手段２０は、例えば、機械学習により１字ごとに刻印文字が位置する領域の特徴を各候補文字種について学習させた位置学習モデル２１と、位置学習モデル２１を用いて撮影画像から刻印文字を１字ごとに検出し刻印文字画像として切り取る検出部２２と、検出部２２により切り取った刻印文字画像を位置情報と共に保存する保存部２３とを有している。また、文字位置特定手段２０は、例えば、位置学習モデル２１を生成する位置学習モデル生成手段２４を有していることが好ましい。

【0016】

位置学習モデル２１は、位置学習モデル生成手段２４により生成することができる。位置学習モデル生成手段２４は、例えば、複数種の候補文字種について刻印文字を設けた刻印面を撮影した撮影画像から１字ごとに刻印文字を枠等で囲んで指定した領域内の画像を位置学習画像とし、深層学習（ディープラーニング；Ｄｅｅｐ ｌｅａｒｎｉｎｇ）により位置学習画像の特徴量を抽出し、候補文字種のいずれか１字の刻印文字がある位置の特徴量として学習させるように構成されていることが好ましい。例えば、候補文字種が０から６までの７種の数字である場合には、０から６までの７種の刻印文字を設けた刻印面を撮影した撮影画像から、１字ごとに枠等で囲んで指定した領域内の画像を位置学習画像とし、いずれか１字の刻印文字がある位置として学習させることが好ましい。各候補文字種の刻印文字は、同一の刻印面に設けて撮影してもよく、異なる刻印面に設けて撮影してもよい。深層学習には、畳み込みニーラルネットワーク（ＣＮＮ；Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を用いることが好ましい。

【0017】

これにより、位置学習モデル２１は、刻印面の表面の光沢や汚れ等も含め、１字の刻印文字が位置する領域について、各候補文字種を合わせた特徴量を自ら検出し学習したものとなっている。すなわち、文字位置特定手段２０は、複数種の候補文字種の刻印文字について、１つの位置学習モデル２１により位置を特定することができるように構成されている。なお、位置学習画像としては、読み取り対象の刻印文字として可能性のある各種態様、特に該当する生産ラインで流動する部品のばらつきの範囲を鑑みた、例えば、二度打ちされた文字の画像、斜めや逆さなど向きが回転している文字の画像、明るさが異なる文字の画像を含めることが好ましい。

【0018】

文字判別手段３０は、例えば、コンピュータにより構成することができ、プログラムを実行することにより、文字判別手段３０として機能するように構成されている。文字判別手段３０は、例えば、文字位置特定手段２０に接続され、文字位置特定手段２０により特定した位置の刻印文字画像と、機械学習により１字ごとに刻印文字の形状の特徴を各候補文字種について学習させた文字種学習モデル３１とに基づいて、文字種を判別するように構成されている。

【0019】

具体的には、文字判別手段３０は、例えば、機械学習により１字ごとに刻印文字の形状の特徴を各候補文字種について学習させた文字種学習モデル３１と、文字種学習モデル３１に刻印文字画像を入力し、それにより得られる出力値に基づいて文字種が候補文字種のいずれであるかを判別する判定部３２と、判定部３２により判定した文字種を表示するディスプレイ等の表示部３３とを有している。また、文字判定手段３０は、例えば、位置種学習モデル３１を生成する文字種学習モデル生成手段３４を有していることが好ましい。

【0020】

文字種学習モデル３１は、文字種学習モデル生成手段３４により生成することができる。文字種学習モデル生成手段３４は、例えば、複数種の候補文字種について刻印文字を設けた刻印面を撮影した撮影画像から１字ごとに刻印文字を枠等で囲んで指定した領域内の画像を文字種学習画像とし、深層学習により候補文字種ごとに文字種学習画像の特徴量を抽出し、その特徴量を正解文字種の候補文字種と紐づけて、学習させるように構成されていることが好ましい。例えば、候補文字種が０から６までの７種の数字である場合には、０から６までの７種の刻印文字を設けた刻印面を撮影した撮影画像から、１字ごとに枠等で囲んで指定した領域内の画像を文字種学習画像とし、正確文字種の候補文字種と紐づけて学習させることが好ましい。文字種学習画像には、位置学習画像と同一の画像を用いることが好ましい。深層学習には、畳み込みニーラルネットワークを用いることが好ましい。

【0021】

これにより、文字種学習モデル３１は、刻印面の表面の光沢や汚れ等も含め、複数種の候補文字種についてそれぞれ刻印文字の形状の特徴量を自ら検出し学習したものとなっている。すなわち、文字判別手段３０は、１つの文字種学習モデル３１により、文字種が候補文字種のいずれであるかを判別できるように構成されている。なお、文字種学習画像は、位置学習画像と同様に、読み取り対象の刻印文字として可能性のある各種態様、特に該当する生産ラインで流動する部品のばらつきの範囲を鑑みた、例えば、二度打ちされた文字の画像、斜めや逆さなど向きが回転している文字の画像、明るさが異なる文字の画像を含むことが好ましい。

【0022】

判定部３２は、例えば、保存部２４、文字種学習モデル３１、及び、表示部３３にそれぞれ接続されている。判別部３２は、例えば、保存部２４に保存された刻印文字画像を文字種学習モデル３１に入力し、文字種学習モデル３１から得られる出力値、例えば、各候補文字種のスコア値に基づき、一致度が最も高い候補文字種であると判定するように構成されていることが好ましい。なお、一致度が高い候補文字種がない場合や、同程度の一致度の候補文字種が２以上ある場合には、文字種不明と判定するようにしてもよい。

【0023】

表示部３３は、例えば、判定部３２により判定された刻印文字画像の文字種と、刻印文字画像の位置情報とに基づき、刻印面の刻印文字を表示するように構成されていることが好ましい。

【0024】

図２は、文字位置特定手段２０、及び、文字種判別手段３０のハードウェア構成の一例を表すものである。文字位置特定手段２０、及び、文字種判別手段３０は、例えば、ＣＰＵ（Ｃｅｎｔｅｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４３と、ＨＤＤ（ハードディスクドライブ）４４と、操作インターフェース（操作Ｉ／Ｆ）４５とを有している。ＣＰＵ４１は、ＲＯＭ４２に記録されている各種プログラム、又は、ＨＤＤ４４からＲＡＭ４３にロードされた各種プログラムに従って各種の処理を実行するものである。ＲＡＭ４３には、ＣＰＵ４１が各種の処理を実行する上において必要なデータ等も適宜記憶されている。ＨＤＤ４４には、各種データが記憶されている。

【0025】

この刻印文字読み取りシステム１は、例えば、次のようにして用いられる。図３は刻印文字読み取りシステム１を用いた刻印文字読み取り方法の流れを表すものである。まず、準備手順として、位置学習モデル生成手段２４により位置学習モデル２１を生成すると共に、文字種学習モデル生成手段３４により文字種学習モデル３１を生成する（準備手順；ステップＳ１１０）。

【0026】

具体的には、例えば、複数種の候補文字種について刻印文字を設けた刻印面を撮影手段１０により撮影し、得られた撮影画像から１字ごとに刻印文字を枠などで囲んで指定した領域内の画像を位置学習画像として、深層学習により位置学習画像の特徴量を抽出し、補文字種のいずれか１字の刻印文字がある位置の特徴量として学習させた位置学習モデル２１を生成する。また、例えば、位置学習画像と同一の画像を文字種学習画像として、深層学習により候補文字種ごとに文字種学習画像の特徴量を抽出し、その特徴量を正解文字種の候補文字種と紐づけて学習させた文字種学習モデル３１を生成する。例えば、候補文字種が０から６までの７種の数字である場合には、０から６までの７種の刻印文字を設けた刻印面を撮影した撮影画像から、１字ごとに枠等で囲んで指定した領域内の画像を文字位置学習画像及び文字種学習画像として用意する。

【0027】

次いで、例えば、エンジンの組付けライン等の生産ラインにおいて、エンジンブロック等のワークＭに設けられた刻印文字を次のようにして読み取る。まず、撮影手段１０によりワークＭの刻印文字、例えば、「３２２３２」の数字が設けられた刻印面を撮影する（撮影手順；ステップＳ１２１）。次に、例えば、文字位置特定手段２０により、撮影手段１０により得られた撮影画像について、位置学習モデル２１を用い、１字ごとに刻印文字の位置を特性する（文字位置特定手順；ステップＳ１２２）。具体的には、例えば、検出部２２により、位置学習モデル２１を用いて撮影画像から刻印文字を１字ごとに検出し、刻印文字画像として切り取り、切り取った刻印文字画像を位置情報と共に保存部２３に保存する。

【0028】

続いて、例えば、文字判別手段３０により、文字位置特定手段２０により特定した位置の１字ごとの刻印文字画像について、文字種学習モデル３１を用い、候補文字種のいずれの文字種であるかを判別する（文字種判別手順；ステップＳ１２３）。具体的には、例えば、判定部３２により、文字種学習モデル３１に刻印文字画像を入力し、文字種学習モデル３１から得られる出力値に基づき、候補文字種のうち一致度が最も高い文字種であると判定し、表示部３３に表示する。例えば、文字種学習モデル３１から得られる各候補文字種のスコア値が、「０」については０％、「１」については０％、「２」については９８％、「３」については１％、「４」については０％、「５」については１％、「６」については０％であった場合には、最もスコア値の高い２の数字であると判定する。これを各刻印文字画像について行い、表示部３３には、判定された文字種が、各刻印文字画像の位置情報に基づいて、例えば「３２２３２」と表示がされる。

【0029】

なお、エンジンの組付けラインにおいて、エンジンブロックに設けられた刻印文字の読み取りを刻印文字読み取りシステム１とＯＣＲとで行ったところ、ＯＣＲによる読み取り率は９８％であったのに対し、刻印文字読み取りシステム１による読み取り率は１００％であった。

【0030】

このように本実施の形態によれば、機械学習により１字ごとに刻印文字が位置する領域の特徴を各候補文字種について学習させた位置学習モデル２１を用い、１字ごとに刻印文字の位置を特定し、かつ、機械学習により１字ごとに刻印文字の形状の特徴を各候補文字種について学習させた文字種学習モデル３１を用い、特定した位置の刻印文字画像の文字種が候補文字種のいずれであるかを判別するようにしたので、表面の光沢や汚れも含めた特徴を検出して学習させることができ、刻印文字を高い精度で読み取ることができる。

【0031】

以上、実施の形態を挙げて本発明を説明したが、本発明は上記実施の形態に限定されるものではなく、種々変形可能である。例えば、上記実施の形態では、各構成要素について具体的に説明したが、各構成要素の具体的な構造や形状は異なっていてもよく、また、上述した構成要素を全て備えていなくてもよく、他の構成要素を備えていてもよい。

【0032】

また、上記実施の形態では、エンジンの組付けラインにおいて、エンジンブロックに設けられた刻印文字を読み取る場合について具体的に説明したが、他の生産ラインにおいて刻印文字を読み取る場合についても適用することができる。更に、上記実施の形態では、候補文字種として数字の場合を具体的に説明したが、数字以外の文字種についても適用することができる。

【符号の説明】

【0033】

１…刻印文字読み取りシステム、１０…撮影手段、２０…文字位置特定手段、２１…位置学習モデル、２２…検出部、２３…保存部、２４…位置学習モデル生成手段、３０…文字種判別手段、３１…文字種学習モデル３１、３２…判定部、３３…表示部、３４…文字種学習モデル生成手段、４１…ＣＰＵ、４２…ＲＯＭ、４３…ＲＡＭ、４４…ＨＤＤ、４５…操作インターフェース

【図1】

【図2】

【図3】

【図4】