特開 2024-168802 文字認識方法、文字認識システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024168802

(43)【公開日】2024-12-05

(54)【発明の名称】文字認識方法、文字認識システム及びプログラム

(51)【国際特許分類】

   G06V 30/12 20220101AFI20241128BHJP

   G06V 30/14 20220101ALI20241128BHJP

【ＦＩ】

G06V30/12 Z

G06V30/14 340K

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023085754

(22)【出願日】2023-05-24

(71)【出願人】

【識別番号】000001258

【氏名又は名称】ＪＦＥスチール株式会社

(71)【出願人】

【識別番号】591057256

【氏名又は名称】株式会社エクサ

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100165696

【弁理士】

【氏名又は名称】川原 敬祐

(74)【代理人】

【識別番号】100186716

【弁理士】

【氏名又は名称】真能 清志

(72)【発明者】

【氏名】古屋 諒祐

(72)【発明者】

【氏名】西田 孝志

(72)【発明者】

【氏名】呉 耀慶

【テーマコード（参考）】

5B029

5B064

【Ｆターム（参考）】

5B029AA01

5B029BB02

5B029CC22

5B064AA05

5B064AB02

5B064AB13

5B064BA01

5B064DA04

5B064DA16

5B064EA18

(57)【要約】

【課題】手書き文字のような不定形な文字であっても精度よく認識することができる文字認識方法、文字認識システム及びプログラムを提供する。
【解決手段】本開示の文字認識方法は、識別対象物に付された表示を構成する文字を認識する文字認識方法であって、識別対象物に付された表示が所定の文字列規則を有する文字列であり、識別対象物に付された表示を撮像し、撮像画像データを取得する取得ステップと、撮像画像データから表示の文字領域２１を抽出する抽出ステップと、抽出した文字領域２１の文字を認識する文字認識ステップと、認識した文字から構成される文字列が、辞書に予め登録してある文字列規則を満足するか否かを判定する第１の判定ステップと、第１の判定ステップにおいて否と判定された文字列について、文字列規則を満足しない文字を抽出し、抽出した文字について文字列規則を満足するように文字を修正する文字修正ステップと、を有することを特徴とする。
【選択図】図２

【特許請求の範囲】

【請求項1】

識別対象物に付された表示を構成する文字を認識する文字認識方法であって、
前記識別対象物に付された表示が所定の文字列規則を有する文字列であり、
前記識別対象物に付された表示を撮像した撮像画像データを取得する取得ステップと、
前記撮像画像データから前記表示の文字領域を抽出する抽出ステップと、
抽出した前記文字領域の文字を認識する文字認識ステップと、
認識した文字から構成される文字列が、辞書に予め登録してある前記文字列規則を満足するか否かを判定する第１の判定ステップと、
前記第１の判定ステップにおいて否と判定された文字列について、前記文字列規則を満足しない文字を抽出し、抽出した文字について前記文字列規則を満足するように文字を修正する文字修正ステップと、
を有する文字認識方法。

【請求項2】

前記表示が対象物識別文字列であって、対象物識別文字列ごとに識別対象物情報が対応づけられてデータベースに蓄積されており、
前記第１の判定ステップで前記文字列規則を満足すると判定された文字列、若しくは前記第１の判定ステップで否と判定された文字列について前記文字修正ステップで修正された文字列と、前記データベースに蓄積された対象物識別文字列とを照合し、一致する対象物識別文字列が存在するか否かを判定する第２の判定ステップを更に有する、請求項１に記載の文字認識方法。

【請求項3】

前記第２の判定ステップで否と判定された文字列について、目視判定を行い、前記データベースから対象物識別文字列を選択する選択ステップを更に有する、請求項２に記載の文字認識方法。

【請求項4】

前記表示が不定形な文字から構成される文字列である、請求項１から３のいずれか一項に記載の文字認識方法。

【請求項5】

前記文字列規則は、前記識別対象物に付された文字列を構成する各文字の先頭からの順序を示す文字番号ごとに、文字種類を定めた規則である、請求項１から３のいずれか一項に記載の文字認識方法。

【請求項6】

前記文字領域の抽出は、前記識別対象物に付された文字列を構成する各文字の中心位置、及び文字間の中心位置を検出することによって行う、請求項１から３のいずれか一項に記載の文字認識方法。

【請求項7】

識別対象物に付された表示を構成する文字を認識する文字認識システムであって、
前記識別対象物に付された表示が所定の文字列規則を有する文字列であり、
前記識別対象物に付された表示を撮像した撮像画像データを取得する画像取得部と、
前記撮像画像データから前記表示の文字領域を抽出する文字領域抽出部と、
抽出した前記文字領域の文字を認識する文字認識部と、
認識した文字から構成される文字列が、予め登録された前記文字列規則を満足するか否かを判定する第１の判定部と、
前記第１の判定部において否と判定された文字列について、前記文字列規則を満足しない文字を抽出し、抽出した文字について文字列規則を満足するように文字を修正する文字修正部と、
を有する文字認識システム。

【請求項8】

前記表示が対象物識別文字列であって、対象物識別文字列ごとに識別対象物情報が対応づけられてデータベースに蓄積されており、
前記第１の判定部で前記文字列規則を満足すると判定された文字列、若しくは前記第１の判定部で否と判定された文字列について前記文字修正部で修正された文字列と、前記データベースに蓄積された対象物識別文字列とを照合し、一致する対象物識別文字列が存在するか否かを判定する第２の判定部を更に有する、請求項７に記載の文字認識システム。

【請求項9】

前記第２の判定部で否と判定された文字列について、目視判定を行いデータベースから対象物識別文字列を選択する選択部を更に有する、請求項８に記載の文字認識システム。

【請求項10】

前記表示が不定形な文字から構成される文字列である、請求項７から９のいずれか一項に記載の文字認識システム。

【請求項11】

コンピュータに、識別対象物に付された表示を構成する文字を認識する文字認識方法を実行させるプログラムあって、
前記識別対象物に付された表示が所定の文字列規則を有する文字列であり、
前記識別対象物に付された表示を撮像した撮像画像データを取得する取得ステップと、
前記撮像画像データから前記表示の文字領域を抽出する抽出ステップと、
抽出した前記文字領域の文字を認識する文字認識ステップと、
認識した文字から構成される文字列が、辞書に予め登録してある前記文字列規則を満足するか否かを判定する第１の判定ステップと、
前記第１の判定ステップにおいて否と判定された文字列について、前記文字列規則を満足しない文字を抽出し、抽出した文字について前記文字列規則を満足するように文字を修正する文字修正ステップと
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、文字認識方法、文字認識システム及びプログラムに関するものである。

【背景技術】

【0002】

従来、製造業においては、最終製品や中間製品などの識別対象物を識別し管理することを目的として、製造現場で識別対象物の識別番号等の識別文字列を手書き、刻印又は印字する等により付与していた。特に鉄鋼業においては、例えば、識別対象物の表面に識別対象物の識別番号を手書きで付与し、識別対象物に付与された識別番号を目視で読み取った後、読み取った識別番号と、識別番号ごとに識別対象物情報が蓄積されているデータベースとを目視で照合していた。そのため、オペレーターの作業負荷が大きかったり、識別異常が発生することがあったため、識別対象物の識別番号の読み取りから識別対象物情報の照合までをシステム化する方法の開発が行われてきた。

【0003】

例えば、特許文献１には、鉄鋼製品にマーキングされた製品表示を読み取って認識した製品表示の各表示項目の表記と、そのうちの製作番号の表記に基づいてデータベースから抽出した製品情報及び製造履歴情報とを照合する方法が開示されている。

【0004】

また、特許文献２には、実スラブにおける実スラブ番号のマーキング箇所を撮像し、撮像画像データから実スラブ番号を読み取り、複数のマーキング書体を内蔵させた辞書を使用して文字認識を行い、判明した実スラブ番号と次工程の圧延指示データのスラブ番号を照合するスラブ照合方法が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１０－ ６１５６１号公報

【特許文献2】特開２０１８－ ５８１１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、鉄鋼業における鉄鋼製品の製造工程においては、中間製品である識別対象物から次工程で用いる材料を採取する際に、採取位置が一定ではない場合がある。そのような場合には、識別対象物を識別するための表示（識別表示）を、オンライン吹付等により識別対象物に付与することができない。また、識別表示が記載されたラベルを識別対象物に貼り付ける方法も存在するが、鉄鋼製品の製造工程においてはラベルが剥がれてしまう場合があり、識別対象物に直接識別表示を手書きで付与しなければならない場合があった。

【0007】

特許文献１に記載の方法では、不定形の文字である手書き文字の場合には、文字間隔が均等ではない等の理由により識別表示を精度よく認識できないという問題があった。

【0008】

また、特許文献２に記載の方法では、複数のマーキング書体を内蔵させた辞書を使用しているため文字認識の精度は向上するものの、手書き文字に対してはやはり文字間隔が均等ではない等の理由により文字認識精度が十分ではない場合があった。

【0009】

本開示は、上記の問題に鑑みてなされたものであり、手書き文字のような不定形な文字であっても精度よく認識することができる文字認識方法、文字認識システム及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

上述の課題を解決するために、本開示の文字認識方法は、
［１］
識別対象物に付された表示を構成する文字を認識する文字認識方法であって、
前記識別対象物に付された表示が所定の文字列規則を有する文字列であり、
前記識別対象物に付された表示を撮像した撮像画像データを取得する取得ステップと、
前記撮像画像データから前記表示の文字領域を抽出する抽出ステップと、
抽出した前記文字領域の文字を認識する文字認識ステップと、
認識した文字から構成される文字列が、辞書に予め登録してある前記文字列規則を満足するか否かを判定する第１の判定ステップと、
前記第１の判定ステップにおいて否と判定された文字列について、前記文字列規則を満足しない文字を抽出し、抽出した文字について前記文字列規則を満足するように文字を修正する文字修正ステップと、
を有することを特徴とする。

【0011】

また、本開示の文字認識方法は、
［２］
上記［１］に記載の構成において、前記表示が対象物識別文字列であって、対象物識別文字列ごとに識別対象物情報が対応づけられてデータベースに蓄積されており、前記第１の判定ステップで前記文字列規則を満足すると判定された文字列、若しくは前記第１の判定ステップで否と判定された文字列について前記文字修正ステップで修正された文字列と、前記データベースに蓄積された対象物識別文字列とを照合し、一致する対象物識別文字列が存在するか否かを判定する第２の判定ステップを更に有することが好ましい。

【0012】

また、本開示の文字認識方法は、
［３］
上記［２］に記載の構成において、前記第２の判定ステップで否と判定された文字列について、目視判定を行い、前記データベースから対象物識別文字列を選択する選択ステップを更に有することが好ましい。

【0013】

また、本開示の文字認識方法は、
［４］
上記［１］から［３］のいずれかに記載の構成において、前記表示が不定形な文字から構成される文字列であることが好ましい。

【0014】

また、本開示の文字認識方法は、
［５］
上記［１］から［４］のいずれかに記載の構成において、前記文字列規則は、前記識別対象物に付された文字列を構成する各文字の先頭からの順序を示す文字番号ごとに、文字種類を定めた規則であることが好ましい。

【0015】

また、本開示の文字認識方法は、
［６］
上記［１］から［５］のいずれかに記載の構成において、前記文字領域の抽出は、前記識別対象物に付された文字列を構成する各文字の中心位置、及び文字間の中心位置を検出することによって行うことが好ましい。

【0016】

また、上述の課題を解決するために、本開示の文字認識システムは、
［７］
識別対象物に付された表示を構成する文字を認識する文字認識システムであって、
前記識別対象物に付された表示が所定の文字列規則を有する文字列であり、
前記識別対象物に付された表示を撮像した撮像画像データを取得する画像取得部と、
前記撮像画像データから前記表示の文字領域を抽出する文字領域抽出部と、
抽出した前記文字領域の文字を認識する文字認識部と、
認識した文字から構成される文字列が、予め登録された前記文字列規則を満足するか否かを判定する第１の判定部と、
前記第１の判定部において否と判定された文字列について、前記文字列規則を満足しない文字を抽出し、抽出した文字について文字列規則を満足するように文字を修正する文字修正部と、
を有することを特徴とする。

【0017】

また、本開示の文字認識システムは、
［８］
上記［７］に記載の構成において、前記表示が対象物識別文字列であって、対象物識別文字列ごとに識別対象物情報が対応づけられてデータベースに蓄積されており、前記第１の判定部で前記文字列規則を満足すると判定された文字列、若しくは前記第１の判定部で否と判定された文字列について前記文字修正部で修正された文字列と、前記データベースに蓄積された対象物識別文字列とを照合し、一致する対象物識別文字列が存在するか否かを判定する第２の判定部を更に有することが好ましい。

【0018】

また、本開示の文字認識システムは、
［９］
上記［８］に記載の構成において、前記第２の判定部で否と判定された文字列について、目視判定を行いデータベースから対象物識別文字列を選択する選択部を更に有することが好ましい。

【0019】

また、本開示の文字認識システムは、
［１０］
上記［７］から［９］のいずれかに記載の構成において、前記表示が不定形な文字から構成される文字列であることが好ましい。

【0020】

また、本開示のプログラムは、
［１１］
コンピュータに、識別対象物に付された表示を構成する文字を認識する文字認識方法を実行させるプログラムあって、
前記識別対象物に付された表示が所定の文字列規則を有する文字列であり、
前記識別対象物に付された表示を撮像した撮像画像データを取得する取得ステップと、
前記撮像画像データから前記表示の文字領域を抽出する抽出ステップと、
抽出した前記文字領域の文字を認識する文字認識ステップと、
認識した文字から構成される文字列が、辞書に予め登録してある前記文字列規則を満足するか否かを判定する第１の判定ステップと、
前記第１の判定ステップにおいて否と判定された文字列について、前記文字列規則を満足しない文字を抽出し、抽出した文字について前記文字列規則を満足するように文字を修正する文字修正ステップと
を実行させるプログラムであることを特徴とする。

【発明の効果】

【0021】

本開示によれば、手書き文字のような不定形な文字であっても精度よく認識することができる文字認識方法、文字認識システム及びプログラムを提供することができる。

【図面の簡単な説明】

【0022】

【図1】本開示の一実施形態に係る文字認識システムの構成を示すブロック図である。

【図2】本開示の一実施形態に係る文字認識方法の実施手順を示すフローチャートである。

【図3】（ａ）は識別対象物に記載された表示の例、（ｂ１）は表示から文字領域を抽出した例、（ｂ２）は表示から文字間領域を抽出した例、（ｃ）は抽出された文字列領域の例、を示す図である。

【図4】（ａ）は識別対象物に記載された表示の例、（ｂ）は表示を文字認識した結果の例、を示す図である。

【図5】（ａ）は、文字番号ごとの文字列規則及び文字認識結果の例、（ｂ）は、文字列規則に沿うように文字数を修正した例、（ｃ）は、文字列規則に応じた辞書を適用して文字認識結果を修正した例、を示す図である。

【発明を実施するための形態】

【0023】

以下、図１～図５を参照して、本開示の一実施形態に係る文字認識システム１００、及び文字認識方法について詳細に例示説明する。

【0024】

図１は、本実施形態に係る文字認識システム１００の構成を示すブロック図である。図１に示すように、文字認識システム１００は、識別対象物に付された表示を撮像し撮像画像データを取得する撮像装置３０（画像取得部）と、取得した撮像画像データから文字列を認識する文字認識装置１０と、対象物識別文字列及び識別対象物情報が格納されたデータベース４０とを備えている。

【0025】

文字認識装置１０は、撮像装置３０からの撮像画像データ及びデータベース４０からの資材情報等が入力される入力部１１と、認識された文字列データ等を出力する出力部１２と、文字認識等を行う演算部１３とを備えている。演算部１３は、文字領域抽出部１４と、文字認識部１５と、第１の判定部１６と、文字修正部１７と、第２の判定部１８とを備えている。

【0026】

（撮像装置）
撮像装置３０は、識別対象物に付された表示を撮像し、撮像画像データを作成する。撮像装置３０は、例えば、撮像機能を有するタブレット、スマートフォン又はデジタルカメラ等であるが、識別対象物に付された表示を撮像する機能を有する装置であれば、これらに限定されない。また、識別対象物上の表示を撮像する際には、撮像装置３０を固定して撮像することが好ましい。撮像装置３０を固定することにより、撮像時の手振れやピントずれが抑制され、撮像画像データの品質を向上させることができる。

【0027】

識別対象物に付された表示は、文字列規則を有する文字列であればよい。ここでいう文字列規則は、識別対象物に付された文字列を構成する各文字の先頭からの順序を示す文字番号ごとに、文字種類を定めた規則である。文字番号は、文字列の先頭（図４（ａ）の例では、左端の文字「Ｎ」）から何番目の文字であるかを示している。文字種類は、例えば数字、英字、記号等である。文字列は、例えば、識別対象物番号等、識別対象物を識別するための文字列である。文字列を構成する文字は、刻印、オンライン吹付、印刷、手書きで付与してもよいが、本開示は、手書き文字のような文字間隔が不均一であったり不定形な文字の認識に特に好適である。

【0028】

（入力部）
入力部１１は、演算部１３が撮像装置３０から撮像画像データを取得するための、文字認識装置１０の入力インターフェースである。本実施形態において、入力部１１は、識別対象物に付された表示を撮像した、撮像画像データを取得する（図２のステップＳ１０１）。撮像画像データの形式は、ＪＰＥＧ、ＴＩＦＦ、ＢＭＰ等の一般に使用されている画像のデータ形式であってよい。

【0029】

また、演算部１３は、入力部１１を通じて、データベース４０内の対象物識別文字列及び識別対象物情報を取得する。

【0030】

なお、図１において、演算部１３は、入力部１１を通じて、データベース４０から情報の取得のみを行うように構成しているが、この態様に限定されず、演算部１３がデータベース４０に対して情報の出力及び保存を行うように構成してもよい。データベース４０は、演算部１３等と同じＰＣ（Personal Computer）内に備えられていてもよいし、ＰＣに接続された外部記憶装置内に備えられていてもよい。また、データベース４０は、クラウドなど、ネットワーク経由で接続された記憶装置内に備えられていてもよい。

【0031】

（出力部）
出力部１２は、第１の判定部１６及び／若しくは第２の判定部１８で判定された合否と判定時の文字列データを出力する、文字認識装置１０の出力インターフェースである。出力部１２は、文字認識装置１０の出力ディスプレイであってもよいし、合否結果と判定時の文字列データを他の機器等にデータとして出力するものであってもよい。

【0032】

（演算部）
演算部１３は、識別対象物に付された表示を文字列として識別するための演算を行う。本実施形態において、演算部１３は、文字領域抽出部１４と、文字認識部１５と、第１の判定部１６と、文字修正部１７と、第２の判定部１８とを備えている。

【0033】

演算部１３の機能は、例えば、所定のプログラムをＣＰＵ(Central Processing Unit)やＤＳＰ(Digital Signal Processor)で実行させることによって、ソフトウエア処理として実現することができる。しかし、この態様には限定されず、演算部１３の機能は、例えばＡＳＩＣ(Application Specific Integrated Circuit)、ＰＬＤ(Programmable Logic Device)、又はＦＰＧＡ(Field Programmable Gate Array)等によってハードウェア処理として実現するように構成してもよい。上記所定のプログラムは、例えば、文字認識装置１０が有する記憶部や外部の記憶装置等に格納されてもよい。

【0034】

（文字領域抽出部）
文字領域抽出部１４は、撮像装置３０から取得した撮像画像データから、識別対象物に付された表示における文字列を構成する各文字の文字領域２１を抽出する（図２のステップＳ１０２）。文字領域２１の抽出には、定型の枠を用意せず、例えば、文字の中心と、文字と文字の間を認識することで検出する方法を用いることが好ましい。図３に文字領域２１の抽出の一例を示す。

【0035】

図３（ａ）には、撮像装置３０から取得した撮像画像データを示している。撮像画像データには、識別対象物に手書きで記入された「ＳＧ０９８－０２Ｔ」という文字列が記録されている。本実施形態では、撮像画像データにおいて文字列は白色で記入されており、識別対象物の色である黒色とは画像上明確に区別可能である。演算部１３の文字領域抽出部１４は、撮像画像データから、文字領域２１の中心位置、及び文字と文字の間の文字間領域２２の中心位置を画像処理により認識する。図３（ｂ１）において略円形の文字領域２１の中央部の黒色部分が、文字領域抽出部１４が文字の中心位置である確率が高いと判定した領域である。また、図３（ｂ２）において略円形の文字間領域２２の中央部の黒色部分が、文字領域抽出部１４が文字間領域２２の中心位置である確率が高いと判定した領域である。文字領域抽出部１４は、例えば、文字間領域２２の中心位置から文字と文字の区切り位置を認識し、更に各文字の大きさ、形状等を認識することによって各文字の文字領域２１を抽出する。なお、文字列及び識別対象物の色は、上述の組み合わせに限定されず、黄色と赤色、白色と青色、など白黒カメラでも区別し易い他の色の組み合わせであってもよい。

【0036】

以上のように文字領域抽出部１４は、文字の中心位置、及び文字間の中心位置を認識することで、文字列を構成する各文字が記載されている文字領域２１を認識する。文字領域抽出部１４は、更に認識された文字領域２１から文字列全体が記載されている文字列領域２３を認識する。図３（ｃ）には、文字領域抽出部１４が抽出した各文字の文字領域２１から、文字列全体が記載された文字列領域２３を抽出した例を示している。図３（ｃ）において文字列領域２３を四角で囲んで示している。

【0037】

文字領域抽出部１４の動作は、例えば演算部１３が実行するプログラム内の一部の処理として行われてもよいし、他のプロセッサに行わせたり、撮像画像データをクラウドに送信して文字領域２１の抽出処理を行わせてもよい。文字領域２１の抽出には、オープンソースである、CRAFT（Character Region Awareness For Text detection）等を適用することもできる。図３に示す文字の中心位置、及び文字と文字の間の位置を認識する方法を用いることにより、手書き文字のように文字と文字の間隔が不均一であったり、文字の形状、サイズが一様ではない不定形な文字であっても、各文字の文字領域２１を精度よく抽出して文字認識することが可能となる。

【0038】

なお、抽出した文字列領域２３の画像データに対して画像処理を適用することが好ましい（図２のステップＳ１０３）。画像処理の方法としては、ホワイトバランスの調整、サイズ調整、ノイズ除去などの任意の方法を適用することができる。画像処理は、いくつかの方法を組み合わせて実行してもよい。また、個々の文字の文字領域２１に対して個別に画像処理を適用してもよいし、文字領域２１を抽出する前の画像データに対して画像処理を行うようにしてもよい。

【0039】

（文字認識部）
文字認識部１５は、画像処理された文字列領域２３内の文字領域２１の画像データを用いて、文字認識を行う（図２のステップＳ１０４）。文字認識された各文字は、文字データに変換され、変換された文字からなる文字列データが作成される。文字認識部１５の機能は、例えば、演算部１３が実行するプログラム内の一部の処理として、ＯＣＲ（Optical Character Recognition/光学文字認識）を行わせてもよいし、ＯＣＲに、ＡＩ（人工知能）技術を融合した処理を行わせてもよい。また、クラウドに撮像画像データを送信し、クラウドサービスを利用することで上記処理を実現することもできる。文字認識に用いるＡＩは、例えば識別対象物上の文字画像と正しい文字認識結果の組み合わせを教示データとする学習済みモデルをあらかじめ作成しておき、この学習済みモデルに文字領域２１の画像データを読み込ませて、文字認識結果を出力させるように構成してもよい。

【0040】

文字認識部１５は、所定の文字列規則に合致する候補の中から文字認識結果を出力するようにしてもよい。例えば、本開示における文字列規則では、１文字目及び２文字目が英字であるため、文字領域２１抽出後に１文字目及び２文字目の文字認識を行う際に、英字の候補の中から文字領域２１の画像データに合致する可能性が最も高い文字を選択するようにしてもよい。これは、例えば英字のみの文字画像と正しい文字認識結果の組み合わせを教師データとして学習させた学習モデルを使用して文字認識を行うことによって実現することもできる。

【0041】

（第１の判定部）
第１の判定部１６は、文字認識部１５が認識し作成した文字列データが辞書に予め登録してある文字列規則を満足するか否かを判定する（図２のステップＳ１０５）。本実施形態では、識別対象物に書かれた文字列は、１から２及び９文字目が英字、３から５及び７から８文字目が数字、６文字目に記号であるハイフンが用いられるという文字列規則を有している（図５（ａ）の２行目参照）。

【0042】

このような文字列規則を有する識別対象物の表示「ＮＦ１８５－０１Ｂ」（図４の（ａ）参照）に対して文字領域抽出部１４が文字領域２１を抽出し、文字認識部１５が文字領域２１内の各文字から成る文字列を「ＮＦ１８５－０Ｉ８１」（図４の（ｂ）参照）と認識したと仮定する。図５（ａ）に示すように、文字列認識結果における１文字目から７文字目までは、所定の文字列規則を満たす認識結果になっているのに対して、８文字目から１０文字目までは、所定の文字列規則を満たさない認識結果となっている（文字列規則を満たさない認識結果を図５（ａ）の３行目に白抜き文字として表示している）。第１の判定部１６は、文字認識部１５が認識した文字列が文字列規則を満足しないと判定すると（図２のステップＳ１０５においてＮｏ）、文字修正部１７に文字修正を行う処理を行わせる。また、第１の判定部１６は、文字認識部１５が認識した文字列が文字列規則を満足すると判定すると（図２のステップＳ１０５においてＹｅｓ）、第２の判定部１８によるデータベース４０と認識された文字列との照合を行わせる（図２のステップＳ１０８）。

【0043】

（文字修正部）
文字修正部１７は、認識された文字列が、文字列規則を満足しない場合に、文字列データから文字列規則を満足しない８文字目から１０文字目（図５に白抜き文字として表示）までを抽出する（図２のステップＳ１０６）。次に文字修正部１７は、ステップＳ１０６で抽出した文字について、文字列規則を満足するように修正する。

【0044】

文字修正部１７は、文字認識部１５が認識した文字列が所定の文字列規則に定めた文字数となるように文字数を修正する（図２のステップＳ１０７）。図５に示す例では、文字列認識結果における文字列規則に定めた文字数を超えた１０文字目を削除するように修正している（修正後の文字列を図５（ｂ）に表示）。しかし、この態様には限定されず、文字列認識結果におけるなるべく多くの文字が文字列規則を満たすように文字列認識結果の各文字と文字列規則との対応付けを行った後、文字列規則を満たさない文字の中から削除する文字を選択するようにしてもよい。また、文字列認識結果とデータベース４０に格納された対象物識別文字列とを直接比較し、対象物識別文字列に無い文字を削除するようにしてもよい。また、識別対象物上の文字画像と正しい認識結果を教示データとする学習済みモデルをあらかじめ作成しておき、この学習済みモデルに文字領域２１の画像データを読み込ませて、文字である確率が最も小さい認識文字を削除するように構成してもよい。

【0045】

次に、文字修正部１７は、文字数を修正した文字列に対して文字列規則に応じた辞書を適用し、文字列が所定の文字列規則を満たすように修正する（図２のステップＳ１０７）。文字修正部１７は、例えば以下の表１に記載した辞書を適用することができる。

【0046】

【表1】

【0047】

表１において、「文字番号」は、撮像画像データから認識された文字列における左端から何文字目の文字であるかを示している。「変換対象文字」及び「変換後文字」は、撮像画像データから認識された文字列に「変換対象文字」が現れた場合に右隣の「変換後文字」へと変換することを意味している。表１においてチェックが入っている欄は、「変換対象文字」から「変換後文字」への変換は、チェックが入っている「文字番号」の文字のみに適用されることを示している。

【0048】

例えば、表１の３行目は、「文字番号：９」に「変換対象文字：Ｄ」が現れた場合に、これを「変換後文字：Ｂ」へと変換することを示している。本開示の識別対象物の識別文字列において「文字番号：９」は、文字「Ｄ」を使用していないため、「文字番号：９」が文字「Ｄ」であると認識された場合に、文字「Ｄ」と外形が近似している文字「Ｂ」へと変換する辞書を用意している。

【0049】

表１の３行目における「文字番号：３から８」については、図５（ａ）に示すように文字列規則が「数字」又は「記号（ハイフン）」となっているので、「変換後文字：Ｂ」となる変換は適用されず、グレー表示（文字列規則に沿っていないという意味）されている。また、「文字番号：１から２」は、文字列規則が「英字」となっている（図５（ａ）参照）ので、文字列規則上「変換後文字：Ｂ」となる変換は適用され得る。しかし、本開示の識別対象物の識別文字列における「文字番号：１から２」に文字「Ｂ」を使用していないため、この「変換対象文字：Ｄ」から「変換後文字：Ｂ」への変換は、「文字番号：１から２」には適用していない。そのため、表１においてチェックが入っていない白抜きの四角形（文字列規則に沿っているがこのような変換はしないという意味）で表示している。

【0050】

また、表１の５行目は、「文字番号：３から５及び７から８」に「変換対象文字：ｉ」が現れた場合に、これを「変換後文字：１」へと変換することを示している。本開示の識別対象物の識別文字列において「文字番号：３から５及び７から８」は、文字列規則上「数字」でなければならないため、「文字番号：３から５及び７から８」が「数字」ではない「ｉ」と認識された場合に、「ｉ」と外形が近似する「数字」の「１」へと変換する辞書を用意している。

【0051】

なお、表１は、本開示による文字列規則に沿っていない文字の修正を行うための辞書の一部を例示しているに過ぎず、表１に含まれていない他の変換対象とすべき文字についてもこの辞書に含まれているものと理解されたい。

【0052】

文字修正部１７は、文字列規則を満足しない図５（ａ）の文字番号８及び９について、表１の変換辞書を用いて修正する。表１には、「文字番号３から５，７から８」について、「変換対象文字：Ｉ」が現れた場合に、これを「変換後文字：１」へと変換する辞書が登録されている。文字修正部１７は、「文字番号：８」に対してこの「変換対象文字：Ｉ」から「変換後文字：１」への変換を適用する。また、表１には、「文字番号：９」について、「変換対象文字：８」が現れた場合に、これを「変換後文字：Ｂ」へと変換する辞書が登録されている。文字修正部１７は、「文字番号：９」に対してこの「変換対象文字：８」から「変換後文字：Ｂ」への変換を適用する。図５（ｃ）は、表１の辞書による変換後の文字列を示しており、図４（ａ）に示す識別対象物上の表示と一致していることが分かる。

【0053】

文字修正部１７において修正された文字から構成される文字列は、第２の判定部１８で判定される。

【0054】

（第２の判定部）
第２の判定部１８は、文字認識部１５で認識され第１の判定部１６で文字列規則を満足したと判定された文字列若しくは文字修正部１７で修正された文字から構成される文字列と、データベース４０に登録された対象物識別文字列とを照合する。第２の判定部１８は、認識された文字列若しくは修正された文字列がデータベース４０に対象物識別文字列として存在するか否かを判定する（図２のステップＳ１０８）。識別対象物から認識された文字列若しくは修正された文字列に対応する対象物識別文字列がデータベース４０に存在する場合は（ステップＳ１０８でＹｅｓ）、第２の判定部１８はデータベース４０に蓄積されている対象物識別文字列に対応する識別対象物情報を取得し、出力部１２から出力する。一方、データベース４０に認識された文字列若しくは修正された文字列に対応する対象物識別文字列が存在しない場合は、撮像画像データから文字列を認識する際のいずれかのステップで不具合が生じたと想定される。従って、演算部１３は、ステップＳ１０１に戻って再度撮像装置３０から撮像画像データを取得する。また、作業者が目視にて識別対象物に付された表示の文字列を認識し、データベース４０から対応する識別対象物情報を取得するようにしてもよい。

【0055】

対象物識別文字列は、識別対象物ごとに設定された固有の文字列であり、識別対象物番号であってもよく、識別対象物の型名を示す数字、英字、記号等の内の１又は複数の組み合わせであってもよい。また、識別対象物情報は、例えば、識別対象物が採取された製品名、規格、寸法に関する情報が含まれ、識別対象物の採取日や識別対象物の採取枚数に関する情報が含まれ、対象物識別文字列ごとに対応付けられてデータベース４０内に保存されている。

【0056】

本開示の文字認識システム１００は、複数の識別対象物に付された表示を同時に撮像し、文字を認識することも可能である。複数の識別対象物は同一の対象物識別文字列を有する識別対象物のみに限定してもよいし、異なる対象物識別文字列を有する複数の識別対象物を同時に撮像してもよい。

【0057】

以上述べたように、本実施形態に係る文字認識方法は、識別対象物に付された表示を構成する文字を認識する文字認識方法であって、識別対象物に付された表示が所定の文字列規則を有する文字列であり、識別対象物に付された表示を撮像し、撮像画像データを取得する取得ステップと、撮像画像データから表示の文字領域２１を抽出する抽出ステップと、抽出した文字領域２１の文字を認識する文字認識ステップと、認識した文字から構成される文字列が、辞書に予め登録してある文字列規則を満足するか否かを判定する第１の判定ステップと、第１の判定ステップにおいて否と判定された文字列について、文字列規則を満足しない文字を抽出し、抽出した文字について文字列規則を満足するように文字を修正する文字修正ステップと、を有するように構成した。このような構成の採用によって、識別対象物上の表示の撮像画像データから文字列を構成する各文字の文字領域２１を抽出して文字認識を行うようにしたので、手書き文字のような不定形な文字であっても精度よく認識することができる。また、所定の文字列規則を満足するように文字認識結果を修正することによって、文字認識の誤りを効率良く修正して文字認識の精度を向上させることができる。

【0058】

また、本実施形態では、表示が対象物識別文字列であって、対象物識別文字列ごとに識別対象物情報が対応づけられてデータベース４０に蓄積されており、第１の判定ステップで文字列規則を満足すると判定された文字列、若しくは第１の判定ステップで否と判定された文字列について文字修正ステップで修正された文字列と、データベース４０に蓄積された対象物識別文字列とを照合し、一致する対象物識別文字列が存在するか否かを判定する第２の判定ステップを更に有するように構成した。このような構成の採用によって、認識された対象物識別文字列から、データベース４０内の対象物識別文字列と関連付けられた識別対象物情報を効率よく取得することができる。

【0059】

また、本実施形態では、第２の判定ステップで否と判定された文字列について、目視判定を行い、データベース４０から対象物識別文字列を選択する選択ステップを更に有するように構成した。このような構成の採用によって、例外的に自動認識できなかった対象物識別文字列に対して、再撮影を行うことなく迅速に識別対象物情報を取得することができる。

【0060】

また、本実施形態では、表示が不定形な文字から構成される文字列であるように構成した。このような構成の採用によって、識別表示が記載されたラベルを識別対象物に貼り付けることによって鉄鋼製品の製造工程においてラベルが剥がれてしまうなどの不具合を、手書き文字の記載によって抑制することができる。

【0061】

また、本実施形態では、文字列規則は、識別対象物に付された文字列を構成する各文字の先頭からの順序を示す文字番号ごとに文字種類を定めた規則であるように構成した。このような構成の採用によって、認識された文字列の文字番号ごとに適用する修正用辞書を最適化することができるので、認識文字列を修正する精度を向上させることができる。

【0062】

また、本実施形態では、文字領域２１の抽出は、識別対象物に付された文字列を構成する各文字の中心位置、及び文字間の中心位置を検出することによって行うように構成した。このような構成の採用によって、文字間領域２２の中心位置から文字と文字の区切り位置を認識し、更に各文字の大きさ、形状等を認識することによって各文字の文字領域２１を正確に抽出することができる。

【0063】

また、本実施形態は、識別対象物に付された表示を構成する文字を認識する文字認識システム１００であって、識別対象物に付された表示が所定の文字列規則を有する文字列であり、識別対象物に付された表示を撮像し、撮像画像データを取得する画像取得部と、撮像画像データから表示の文字領域２１を抽出する文字領域抽出部１４と、抽出した文字領域２１の文字を認識する文字認識部１５と、認識した文字から構成される文字列が、予め登録された文字列規則を満足するか否かを判定する第１の判定部１６と、第１の判定部１６において否と判定された文字列について、文字列規則を満足しない文字を抽出し、抽出した文字について文字列規則を満足するように文字を修正する文字修正部１７と、を有するように構成した。このような構成の採用によって、識別対象物上の表示の撮像画像データから文字列を構成する各文字の文字領域２１を抽出して文字認識を行うようにしたので、手書き文字のような不定形な文字であっても精度よく認識することができる。また、所定の文字列規則を満足するように文字認識結果を修正することによって、文字認識の誤りを効率良く修正して文字認識の精度を向上させることができる。

【0064】

また、本実施形態は、コンピュータに、識別対象物に付された表示を構成する文字を認識する文字認識方法を実行させるプログラムあって、識別対象物に付された表示が所定の文字列規則を有する文字列であり、識別対象物に付された表示を撮像し、撮像画像データを取得する取得ステップと、撮像画像データから表示の文字領域２１を抽出する抽出ステップと、抽出した文字領域２１の文字を認識する文字認識ステップと、認識した文字から構成される文字列が、辞書に予め登録してある文字列規則を満足するか否かを判定する第１の判定ステップと、第１の判定ステップにおいて否と判定された文字列について、文字列規則を満足しない文字を抽出し、抽出した文字について文字列規則を満足するように文字を修正する文字修正ステップとを実行させるプログラムであるように構成した。このような構成の採用によって、識別対象物上の表示の撮像画像データから文字列を構成する各文字の文字領域２１を抽出して文字認識を行うようにしたので、手書き文字のような不定形な文字であっても精度よく認識することができる。また、所定の文字列規則を満足するように文字認識結果を修正することによって、文字認識の誤りを効率良く修正して文字認識の精度を向上させることができる。

【0065】

本開示を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部に含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部を１つに組み合わせたり、或いは分割したりすることが可能である。本発明の範囲にはこれらも包含されるものと理解されたい。

【0066】

例えば、本実施形態では、文字認識システム１００が識別対象物に付された表示を撮像するための撮像装置３０を含むものとして記載したが、この態様には限定されない。文字認識システム１００が撮像装置３０を含まず、文字認識システム１００外で撮像された撮像画像データを取得する画像取得部のみを備えていてもよい。その場合、図１の入力部１１が画像取得部となる。

【符号の説明】

【0067】

１０ 文字認識装置
１１ 入力部
１２ 出力部
１３ 演算部
１４ 文字領域抽出部
１５ 文字認識部
１６ 第１の判定部
１７ 文字修正部
１８ 第２の判定部
２１ 文字領域
２２ 文字間領域
２３ 文字列領域
３０ 撮像装置（画像取得部）
４０ データベース
１００ 文字認識システム

【図1】

【図2】

【図3】

【図4】

【図5】