特開 2024-61191 文字認識装置、文字認識方法、及び文字認識プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024061191

(43)【公開日】2024-05-07

(54)【発明の名称】文字認識装置、文字認識方法、及び文字認識プログラム

(51)【国際特許分類】

   G06V 30/14 20220101AFI20240425BHJP

   G06T 7/50 20170101ALI20240425BHJP

【ＦＩ】

G06V30/14 340A

G06T7/50

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022168968

(22)【出願日】2022-10-21

(71)【出願人】

【識別番号】000005234

【氏名又は名称】富士電機株式会社

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100138391

【弁理士】

【氏名又は名称】天田 昌行

(74)【代理人】

【識別番号】100132067

【弁理士】

【氏名又は名称】岡田 喜雅

(74)【代理人】

【識別番号】100157967

【弁理士】

【氏名又は名称】管田 洋明

(72)【発明者】

【氏名】田嶋 海南人

(72)【発明者】

【氏名】関段 友哉

(72)【発明者】

【氏名】石河 範明

【テーマコード（参考）】

5B029

5L096

【Ｆターム（参考）】

5B029AA05

5B029CC25

5L096FA02

5L096GA51

5L096KA04

(57)【要約】

【課題】物体の表面に立体的に形成された文字を効率的に認識する。
【解決手段】推定部は、学習対象画像と学習対象画像に写っている物体の深度とに基づく機械学習により生成された深度推定モデルを用いて、撮像装置により撮影された処理対象画像内の複数の画素それぞれの深度を推定する。特定部は、複数の画素それぞれの深度に基づいて、処理対象画像に写っている認識対象物体の表面に立体的に形成された文字が存在する、処理対象画像内の認識対象領域を特定する。認識部は、認識対象領域から文字を認識する。
【選択図】図１

【特許請求の範囲】

【請求項1】

学習対象画像と前記学習対象画像に写っている物体の深度とに基づく機械学習により生成された深度推定モデルを用いて、撮像装置により撮影された処理対象画像内の複数の画素それぞれの深度を推定する推定部と、
前記複数の画素それぞれの深度に基づいて、前記処理対象画像に写っている認識対象物体の表面に立体的に形成された文字が存在する、前記処理対象画像内の認識対象領域を特定する特定部と、
前記認識対象領域から前記文字を認識する認識部と、
を備えることを特徴とする文字認識装置。

【請求項2】

前記特定部は、前記認識対象物体の表面の深度と前記認識対象物体の背景の深度との間の深度に対応する第１閾値と、前記複数の画素それぞれの深度とを用いて、前記認識対象物体の表面が写っている、前記処理対象画像内の第１画像領域を特定し、前記第１画像領域から前記認識対象領域を特定することを特徴とする請求項１記載の文字認識装置。

【請求項3】

前記特定部は、前記文字の表面の深度と前記認識対象物体の表面の深度との間の深度に対応する第２閾値と、前記第１画像領域内の複数の画素それぞれの深度とを用いて、前記第１画像領域から第２画像領域を特定し、前記第２画像領域を前記認識対象領域として用いることを特徴とする請求項２記載の文字認識装置。

【請求項4】

前記認識対象物体の表面には複数の文字が立体的に形成されており、
前記特定部は、前記第２閾値と前記第１画像領域内の複数の画素それぞれの深度とを用いて、前記第１画像領域から複数の画像領域が特定された場合、前記複数の画像領域のうち１つ以上の画像領域を拡大することで、前記複数の画像領域を統合した統合領域を生成し、前記統合領域を前記第２画像領域に決定することを特徴とする請求項３記載の文字認識装置。

【請求項5】

前記認識対象物体は、鋳鉄管であり、
前記認識対象物体の表面は、前記鋳鉄管の端面であり、
前記認識対象物体の表面に立体的に形成された文字は、前記鋳鉄管の端面に形成された鋳出し文字であり、
前記第１閾値は、前記鋳鉄管の端面の深度よりも深く、かつ、前記鋳鉄管の背景の深度よりも浅い深度に対応し、
前記第２閾値は、前記鋳出し文字の表面の深度よりも深く、かつ、前記鋳鉄管の端面の深度よりも浅い深度に対応することを特徴とする請求項３又は４記載の文字認識装置。

【請求項6】

コンピュータが、
学習対象画像と前記学習対象画像に写っている物体の深度とに基づく機械学習により生成された深度推定モデルを用いて、撮像装置により撮影された処理対象画像内の複数の画素それぞれの深度を推定し、
前記複数の画素それぞれの深度に基づいて、前記処理対象画像に写っている認識対象物体の表面に立体的に形成された文字が存在する、前記処理対象画像内の認識対象領域を特定し、
前記認識対象領域から前記文字を認識する、
ことを特徴とする文字認識方法。

【請求項7】

学習対象画像と前記学習対象画像に写っている物体の深度とに基づく機械学習により生成された深度推定モデルを用いて、撮像装置により撮影された処理対象画像内の複数の画素それぞれの深度を推定し、
前記複数の画素それぞれの深度に基づいて、前記処理対象画像に写っている認識対象物体の表面に立体的に形成された文字が存在する、前記処理対象画像内の認識対象領域を特定し、
前記認識対象領域から前記文字を認識する、
処理をコンピュータに実行させるための文字認識プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、文字認識装置、文字認識方法、及び文字認識プログラムに関する。

【背景技術】

【0002】

鋳鉄管の端面に凸状に形成された鋳出し文字の認識に関連して、鋳型文字を高い信頼性をもって安定的に認識する鋳型文字種別認識装置が知られている（例えば、特許文献１を参照）。

【0003】

特許文献１の鋳型文字種別認識装置は、鋳型文字の測定形状に対応する多数の測定点の三次元位置情報を含む測定点データを入力し、鋳型文字の基準形状に対応する多数の基準点の位置情報を含む基準点データを格納する。鋳型文字種別認識装置は、対応する測定点と基準点との間の距離を逐次収束させる逐次収束処理に基づいて測定点と基準点とを位置合わせすることで、測定形状と基準形状との位置合わせを行う。鋳型文字種別認識装置は、位置合わせされた測定形状と基準形状との間の相違を示す差分量を算定し、差分量から測定形状が示す鋳型文字の文字種を特定する。

【0004】

円柱状である測定対象物を軸芯方向から見たときの表面において外周円に沿い表面に対する凹凸により形成された文字を読み取ることが可能な文字読み取り装置も知られている（例えば、特許文献２を参照）。

【0005】

特許文献２の文字読み取り装置は、円柱状である測定対象物を軸芯方向から見たときの表面において、外周円に沿うように表面に対する凹凸により形成された文字を光切断法により計測する。文字読み取り装置は、表面の高さデータを測定可能な位置に配置された測定対象物を軸芯周りに一定方向に回転させ、測定対象物の表面の外周側から中心側までの所定の区間を走査することにより、表面の外周側から中心側までの凹凸の高さを測定する。文字読み取り装置は、表面の中心側の点を中心点として一定微小変位角ごとに高さのプロファイルデータを取得し、プロファイルデータを画像濃淡データに変換する。

【0006】

鋳鉄管の自動管種判別を、簡易、スピーディ、かつ正確に行う管種判別装置も知られている（例えば、特許文献３を参照）。

【0007】

特許文献３の管種判別装置は、鋳鉄管のフランジ表面に設けられた管種表示用凹凸文字のフランジ径方向全長に亘ってレーザ光を照射し、レーザ光のフランジ面からの反射光を受けて、凹凸文字のフランジＦ径方向の凹凸状態を一次元情報として読み取る。管種判別装置は、一次元情報と凹凸文字の予め設定された基準情報とを比較して、鋳鉄管の種別を判別する。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２０１２－１２３５６５号公報

【特許文献2】特開２０１６－３３７９７号公報

【特許文献3】特開平１０－２６１０４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

特許文献１～特許文献３の装置によれば、鋳鉄管の端面に形成された鋳出し文字等を認識又は判別することができる。しかしながら、これらの装置では、レーザ光等を用いて鋳出し文字の３次元形状を計測する計測装置が用いられているため、ハードウェアコストが増大するとともに、計測装置の制御及び鋳出し文字の計測のための処理時間が増大する。

【0010】

なお、かかる問題は、鋳鉄管の端面に形成された鋳出し文字を認識する場合に限らず、様々な物体の表面に立体的に形成された文字を認識する場合において生ずるものである。

【0011】

１つの側面において、本発明は、物体の表面に立体的に形成された文字を効率的に認識することを目的とする。

【課題を解決するための手段】

【0012】

１つの実施形態によれば、文字認識装置は、推定部、特定部、及び認識部を含む。推定部は、学習対象画像と学習対象画像に写っている物体の深度とに基づく機械学習により生成された深度推定モデルを用いて、撮像装置により撮影された処理対象画像内の複数の画素それぞれの深度を推定する。

【0013】

特定部は、複数の画素それぞれの深度に基づいて、処理対象画像に写っている認識対象物体の表面に立体的に形成された文字が存在する、処理対象画像内の認識対象領域を特定する。認識部は、認識対象領域から文字を認識する。

【発明の効果】

【0014】

１つの側面において、物体の表面に立体的に形成された文字を効率的に認識することができる。

【図面の簡単な説明】

【0015】

【図1】実施形態の文字認識装置の機能的構成図である。

【図2】第１の文字認識処理のフローチャートである。

【図3】文字認識システムの構成図である。

【図4】ＯＣＲサーバの機能的構成図である。

【図5】前処理のフローチャートである。

【図6】深度マップを示す図である。

【図7】第２の文字認識処理のフローチャートである。

【図8】第１抽出処理のフローチャートである。

【図9】処理対象画像の深度マップを示す図である。

【図10】第１のマスキング結果を示す図である。

【図11】第２抽出処理のフローチャートである。

【図12】第２のマスキング結果を示す図である。

【図13】外接矩形を示す図である。

【図14】認識対象領域を示す図である。

【図15】複数の外接矩形を示す図である。

【図16】情報処理装置のハードウェア構成図である。

【発明を実施するための形態】

【0016】

以下、図面を参照しながら、実施形態を詳細に説明する。

【0017】

図１は、実施形態の文字認識装置の機能的構成例を示している。図１の文字認識装置１０１は、推定部１１１、特定部１１２、及び認識部１１３を含む。

【0018】

図２は、図１の文字認識装置１０１が行う第１の文字認識処理の例を示すフローチャートである。まず、推定部１１１は、学習対象画像と学習対象画像に写っている物体の深度とに基づく機械学習により生成された深度推定モデルを用いて、撮像装置により撮影された処理対象画像内の複数の画素それぞれの深度を推定する（ステップ２０１）。

【0019】

特定部１１２は、複数の画素それぞれの深度に基づいて、処理対象画像に写っている認識対象物体の表面に立体的に形成された文字が存在する、処理対象画像内の認識対象領域を特定する（ステップ２０２）。認識部１１３は、認識対象領域から文字を認識する（ステップ２０３）。

【0020】

図１の文字認識装置１０１によれば、物体の表面に立体的に形成された文字を効率的に認識することができる。

【0021】

図３は、図１の文字認識装置１０１を含む文字認識システムの構成例を示している。図３の文字認識システムは、ＣＣＤ（Charge-Coupled Device）カメラ３１１、コントローラ３１２、画像取得装置３１３、ＮＡＳ（Network-Attached Storage）３１４、及びＯＣＲ（Optical Character Recognition）サーバ３１５を含む。

【0022】

ＣＣＤカメラ３１１は、撮像装置に対応する。画像取得装置３１３及びＯＣＲサーバ３１５は、情報処理装置（コンピュータ）である。ＯＣＲサーバ３１５は、図１の文字認識装置１０１に対応する。

【0023】

鋳鉄管３２１の端面３２２には、１つ又は複数の鋳出し文字を含む鋳出し文字列３２３が形成されている。鋳鉄管３２１は、認識対象物体に対応し、端面３２２は、認識対象物体の表面に対応し、鋳出し文字列３２３は、認識対象物体の表面に立体的に形成された文字に対応する。

【0024】

ＣＣＤカメラ３１１は、鋳鉄管３２１の端面３２２を撮影し、撮影した画像をコントローラ３１２へ出力する。コントローラ３１２は、ＣＣＤカメラ３１１を制御し、ＣＣＤカメラ３１１から画像を受信する。画像取得装置３１３は、コントローラ３１２から画像を取得し、通信ネットワークを介して、取得した画像をＮＡＳ３１４へ送信する。ＮＡＳ３１４は、画像取得装置３１３から受信した画像を記憶する。

【0025】

ＯＣＲサーバ３１５は、通信ネットワークを介して、ＮＡＳ３１４から画像を取得し、単眼深度推定を行うことで、取得した画像に写っている物体の深度を推定する。

【0026】

物体の深度は、ＣＣＤカメラ３１１によって撮影された画像の奥行方向の距離を表し、ＣＣＤカメラ３１１から物体までの距離に対応する。例えば、鋳鉄管３２１の端面３２２は、画像の背景に写っている物体よりもＣＣＤカメラ３１１に近い位置に存在し、鋳出し文字列３２３の表面は、端面３２２よりもＣＣＤカメラ３１１に近い位置に存在する。したがって、端面３２２の深度は、背景の深度よりも浅く、鋳出し文字列３２３の表面の深度は、端面３２２の深度よりも浅い。

【0027】

ＣＣＤカメラ３１１から端面３２２までの距離は、鋳鉄管３２１のサイズによって変動するが、例えば、１ｍ～３ｍの程度である。

【0028】

ＣＣＤカメラ３１１から背景の物体までの距離は、物体の位置によって変動する。ＣＣＤカメラ３１１から最も近い背景の物体までの距離は、例えば、ＣＣＤカメラ３１１から端面３２２までの距離に０．３ｍを加算した程度である。

【0029】

ＣＣＤカメラ３１１から鋳出し文字列３２３の表面までの距離は、鋳鉄管３２１のサイズによって変動するが、例えば、ＣＣＤカメラ３１１から端面３２２までの距離から０．０１ｍを減算した程度である。

【0030】

ＯＣＲサーバ３１５は、推定された深度を利用して、画像内の認識対象領域を特定し、認識対象領域に対する文字認識を行うことで、鋳出し文字列３２３を認識する。

【0031】

図４は、図３のＯＣＲサーバ３１５の機能的構成例を示している。図４のＯＣＲサーバ３１５は、取得部４１１、前処理部４１２、推定部４１３、特定部４１４、認識部４１５、出力部４１６、及び記憶部４１７を含む。推定部４１３、特定部４１４、認識部４１５は、図１の推定部１１１、特定部１１２、及び認識部１１３にそれぞれ対応する。

【0032】

記憶部４１７は、単眼深度推定に用いられる深度推定モデル４２１を記憶する。深度推定モデル４２１は、訓練データを機械学習モデルに与えて機械学習を行うことで生成された学習済みモデルである。機械学習に用いられる訓練データは、複数の学習対象画像と、各学習対象画像に写っている物体の深度とを含む。深度推定モデル４２１は、入力された画像から、画像内の複数の画素それぞれが示す物体の深度を推定して出力する。

【0033】

文字認識処理の前処理において、ＣＣＤカメラ３１１は、鋳鉄管３２１の端面３２２を撮影し、取得部４１１は、撮影された画像をＮＡＳ３１４から取得する。

【0034】

前処理部４１２は、深度推定モデル４２１を用いて、取得された画像内の各画素が示す物体の深度を推定することで、取得された画像の深度マップを生成する。深度マップは、各画素の位置に対応付けられた深度を含む。そして、前処理部４１２は、深度マップに基づいて、深度に対する閾値ＴＨ１及び閾値ＴＨ２を設定し、閾値ＴＨ１、閾値ＴＨ２、及び拡大率を含む制御情報４２２を生成して、記憶部４１７に格納する。

【0035】

ＴＨ１は、鋳鉄管３２１の端面３２２の深度と鋳鉄管３２１の背景の深度との間の深度に対応する閾値である。ＴＨ１は、端面３２２の深度よりも深く、かつ、背景の深度よりも浅い深度に対応する。したがって、ＴＨ１を用いることで、撮影された画像に含まれる端面３２２を示す画素と、背景を示す画素とを分離することができる。ＴＨ１は、第１閾値の一例である。

【0036】

ＴＨ２は、鋳出し文字列３２３の表面の深度と鋳鉄管３２１の端面３２２の深度との間の深度に対応する閾値である。ＴＨ２は、鋳出し文字列３２３の表面の深度よりも深く、かつ、端面３２２の深度よりも浅い深度に対応する。したがって、ＴＨ２を用いることで、撮影された画像に含まれる鋳出し文字列３２３を示す画素と、端面３２２を示す画素とを分離することができる。ＴＨ２は、第２閾値の一例である。

【0037】

拡大率は、拡大前の画像領域のサイズに対する拡大後の画像領域のサイズの割合を表す。拡大率は、文字認識処理において撮影された処理対象画像４２３から、鋳出し文字列３２３が存在する画像領域として、複数の画像領域が特定された場合に、各画像領域を拡大するために用いられる。

【0038】

文字認識処理において、ＣＣＤカメラ３１１は、鋳鉄管３２１の端面３２２を撮影する。文字認識処理において撮影される鋳鉄管３２１は、前処理において撮影された鋳鉄管３２１と同じ鋳鉄管であってもよく、別の鋳鉄管であってもよい。取得部４１１は、撮影された画像をＮＡＳ３１４から取得し、処理対象画像４２３として記憶部４１７に格納する。

【0039】

推定部４１３は、深度推定モデル４２１を用いて、処理対象画像４２３内の各画素が示す物体の深度を推定することで、処理対象画像４２３の深度マップを生成する。

【0040】

特定部４１４は、処理対象画像４２３の深度マップが示す各画素の深度を、制御情報４２２に含まれるＴＨ１と比較し、処理対象画像４２３において、ＴＨ１以下の深度を有する画素の集合を含む画像領域Ｒ１を特定する。画像領域Ｒ１は、第１画像領域の一例である。

【0041】

次に、特定部４１４は、画像領域Ｒ１内の各画素の深度を、制御情報４２２に含まれるＴＨ２と比較し、画像領域Ｒ１において、ＴＨ２以下の深度を有する画素の集合を含む画像領域Ｒ２を特定する。画像領域Ｒ２は、第２画像領域の一例である。特定部４１４は、画像領域Ｒ２を認識対象領域として用いて、認識対象領域を示す領域情報を認識部４１５へ出力する。

【0042】

鋳出し文字列３２３が複数の鋳出し文字を含んでいる場合、画像領域Ｒ１から、ＴＨ２以下の深度を有する画素の集合を含む複数の画像領域が特定されることがある。この場合、特定部４１４は、それらの画像領域のうち１つ以上の画像領域を、制御情報４２２に含まれる拡大率を用いて拡大することで、複数の画像領域を統合した統合領域を生成し、統合領域を画像領域Ｒ２に決定する。

【0043】

認識部４１５は、特定部４１４から出力される領域情報が示す認識対象領域の文字認識を行うことで、鋳出し文字列３２３に含まれる各文字を認識し、認識された文字列を示す認識結果４２４を、記憶部４１７に格納する。出力部４１６は、認識結果４２４を出力する。

【0044】

図５は、図４のＯＣＲサーバ３１５が行う前処理の例を示すフローチャートである。まず、前処理部４１２は、深度推定モデル４２１を、文字認識システムに適した状態に調整する（ステップ５０１）。ステップ５０１における調整は、深度推定モデル４２１が受け付ける画像のサイズ又は明るさの調整であってもよい。

【0045】

次に、前処理部４１２は、深度推定モデル４２１を用いて、鋳鉄管３２１の端面３２２を撮影した画像内の各画素が示す物体の深度を推定することで、深度マップを生成する（ステップ５０２）。

【0046】

図６は、深度マップの例を示している。図６（ａ）は、鋳鉄管３２１の端面３２２を撮影した画像の例を示している。図６（ａ）の画像には、鋳出し文字列３２３を含む端面３２２が写っている。

【0047】

図６（ｂ）は、図６（ａ）の画像から生成された深度マップの例を示している。深度マップの領域６０１の深度は、鋳出し文字列３２３の表面の深度を表し、領域６０２の深度は、端面３２２の深度を表す。領域６０３及び領域６０４の深度は、鋳鉄管３２１の背景の深度を表す。

【0048】

次に、前処理部４１２は、深度マップに基づいて閾値ＴＨ１を設定する（ステップ５０３）。例えば、ユーザは、深度マップから、鋳鉄管３２１の端面３２２の深度と、ＣＣＤカメラ３１１から最も近い背景の物体の深度とを読み取り、それらの深度の中間の値をＴＨ１としてＯＣＲサーバ３１５に入力する。そして、前処理部４１２は、ユーザから入力された値をＴＨ１として設定する。図６（ｂ）の深度マップの場合、領域６０２の深度と、領域６０３及び領域６０４の深度との中間の値がＴＨ１として設定される。

【0049】

次に、前処理部４１２は、深度マップに基づいて閾値ＴＨ２を設定する（ステップ５０４）。例えば、ユーザは、深度マップから、鋳出し文字列３２３の表面の深度と、鋳鉄管３２１の端面３２２の深度とを読み取り、それらの深度の中間の値をＴＨ２としてＯＣＲサーバ３１５に入力する。そして、前処理部４１２は、ユーザから入力された値をＴＨ２として設定する。図６（ｂ）の深度マップの場合、領域６０１の深度と領域６０２の深度との中間の値がＴＨ２として設定される。

【0050】

次に、前処理部４１２は、拡大率を設定し、ＴＨ１、ＴＨ２、及び拡大率を含む制御情報４２２を生成する（ステップ５０５）。例えば、ユーザは、鋳出し文字列３２３のサイズに基づいて拡大率の値を決定し、ＯＣＲサーバ３１５に入力する。そして、前処理部４１２は、ユーザから入力された値を拡大率として設定する。

【0051】

図７は、図４のＯＣＲサーバ３１５が行う第２の文字認識処理の例を示すフローチャートである。まず、ＣＣＤカメラ３１１は、鋳鉄管３２１の端面３２２を撮影する（ステップ７０１）。

【0052】

次に、取得部４１１は、撮影された画像をＮＡＳ３１４から取得し、取得された画像に対する画像補正を行う（ステップ７０２）。そして、取得部４１１は、補正後の画像を、処理対象画像４２３として記憶部４１７に格納する。ステップ７０２における画像補正は、画像のサイズ又は明るさの補正であってもよい。

【0053】

次に、推定部４１３は、深度推定モデル４２１を用いて、処理対象画像４２３内の各画素が示す物体の深度を推定することで、処理対象画像４２３の深度マップを生成する（ステップ７０３）。

【0054】

次に、特定部４１４は、処理対象画像４２３の深度マップを用いて、第１抽出処理を行い（ステップ７０４）、第２抽出処理を行う（ステップ７０５）。特定部４１４は、第１抽出処理及び第２抽出処理を行うことで、処理対象画像４２３内の認識対象領域を特定し、認識対象領域を示す領域情報を認識部４１５へ出力する。

【0055】

次に、認識部４１５は、認識対象領域の文字認識を行うことで、鋳出し文字列３２３に含まれる各文字を認識し、認識された文字列を示す認識結果４２４を生成する（ステップ７０６）。そして、出力部４１６は、認識結果４２４を出力する。

【0056】

図８は、図７のステップ７０４における第１抽出処理の例を示すフローチャートである。まず、特定部４１４は、処理対象画像４２３の深度マップにおいて、制御情報４２２に含まれるＴＨ１よりも大きな深度を有する領域をマスキングすることで、鋳鉄管３２１の端面３２２に対応する領域を特定する（ステップ８０１）。

【0057】

図９は、処理対象画像４２３の深度マップの例を示している。図９（ａ）は、処理対象画像４２３の例を示している。図９（ａ）の処理対象画像４２３には、鋳出し文字列３２３を含む端面３２２、円９０１、及び円９０２が写っている。円９０１及び円９０２は、鋳鉄管３２１の背景に写り込んでいる円形の物体を表す。

【0058】

図９（ｂ）は、図９（ａ）の処理対象画像４２３から生成された深度マップの例を示している。深度マップの領域９１１の深度は、端面３２２の深度を表す。領域９１２及び領域９１３の深度は、鋳鉄管３２１の背景の深度を表す。

【0059】

図１０は、図９（ｂ）の深度マップに対する第１のマスキング結果の例を示している。図１０のマスキング結果では、ＴＨ１よりも大きな深度を有するマスキング領域が黒く塗りつぶされている。ＴＨ１以下の深度を有する非マスキング領域は、鋳鉄管３２１の端面３２２に対応している。

【0060】

次に、特定部４１４は、マスキング結果から２つの円を検出する（ステップ８０２）。特定部４１４は、例えば、所定の図形検出アルゴリズムを用いて、マスキング結果から各円の中心の座標及び半径を検出する。これにより、処理対象画像４２３において、非マスキング領域に対応する画像領域を特定して、その画像領域の座標を取得することができる。所定の図形検出アルゴリズムは、ハフ変換であってもよい。検出された２つの円は、端面３２２の外側の円と内側の円にそれぞれ対応している。

【0061】

次に、特定部４１４は、検出された２つの円のうち、大きい方の円を含む画像領域を、画像領域Ｒ１として処理対象画像４２３から抽出する（ステップ８０３）。例えば、図９（ａ）の処理対象画像４２３から抽出される画像領域Ｒ１は、図６（ａ）の画像と同様である。

【0062】

このように、ＴＨ１よりも大きな深度を有する領域をマスキングしてから円を検出することで、鋳鉄管３２１の背景に写り込んでいる円形の物体を、端面３２２として誤検出することを防止できる。

【0063】

図１１は、図７のステップ７０５における第２抽出処理の例を示すフローチャートである。まず、特定部４１４は、深度マップから画像領域Ｒ１に対応する領域を抽出する。そして、特定部４１４は、抽出された領域において、制御情報４２２に含まれるＴＨ２よりも大きな深度を有する領域をマスキングすることで、鋳出し文字列３２３の表面に対応する領域を特定する（ステップ１１０１）。例えば、図９（ｂ）の深度マップにおいて、画像領域Ｒ１に対応する領域は、図６（ｂ）の深度マップと同様である。

【0064】

図１２は、図６（ｂ）の深度マップに対する第２のマスキング結果の例を示している。図１２のマスキング結果では、ＴＨ２よりも大きな深度を有するマスキング領域が黒く塗りつぶされている。ＴＨ２以下の深度を有する非マスキング領域は、鋳出し文字列３２３の表面に対応している。

【0065】

次に、特定部４１４は、非マスキング領域の外接矩形を検出し（ステップ１１０２）、検出された外接矩形の個数をチェックする（ステップ１１０３）。非マスキング領域の外接矩形を検出することで、処理対象画像４２３において、非マスキング領域に対応する画像領域を特定して、その画像領域の座標を取得することができる。

【0066】

１つの外接矩形のみが検出された場合（ステップ１１０３，ＹＥＳ）、特定部４１４は、その外接矩形に対応する画像領域を、画像領域Ｒ２として処理対象画像４２３から抽出する（ステップ１１０４）。そして、特定部４１４は、画像領域Ｒ２を認識対象領域に決定する。

【0067】

図１３は、図１２のマスキング結果から検出された外接矩形の例を示している。図１３の外接矩形は、鋳出し文字列３２３に外接する単一の矩形を表している。

【0068】

図１４は、図１３の外接矩形に対応する認識対象領域の例を示している。図１４（ａ）は、図６（ａ）の画像領域Ｒ１において、図１３の外接矩形に対応する画像領域Ｒ２の例を示している。画像領域１４０１は、画像領域Ｒ２を表す。

【0069】

図１４（ｂ）は、図１４（ａ）の画像領域Ｒ１から抽出された画像領域１４０１の例を示している。図１４（ｂ）の画像領域１４０１には、鋳出し文字列３２３が写っている。

【0070】

ところで、ステップ１１０２では、鋳出し文字列３２３に含まれる文字の間隔が離れている等の原因により、複数の外接矩形が検出されることがある。

【0071】

複数の外接矩形が検出された場合（ステップ１１０３，ＮＯ）、特定部４１４は、それらの外接矩形のうち、１つ又は複数の外接矩形を、制御情報４２２に含まれる拡大率に従って拡大する（ステップ１１０５）。そして、特定部４１４は、各外接矩形の内部の深度を、非マスキング領域に対応する深度に変更して（ステップ１１０６）、ステップ１１０２以降の処理を繰り返す。これにより、複数の外接矩形それぞれに対応する画像領域が統合されて、統合領域が生成され、統合領域が画像領域Ｒ２として抽出される。

【0072】

図１５は、図１２のマスキング結果から検出された複数の外接矩形の例を示している。図１５（ａ）は、図１２のマスキング結果から検出された２つの外接矩形の例を示している。図１５（ｂ）は、図１５（ａ）の２つの外接矩形それぞれを拡大した結果の例を示している。

【0073】

図１５（ｃ）は、図１５（ｂ）の２つの外接矩形内の深度を変更した結果の例を示している。図１５（ｃ）では、２つの外接矩形内の領域が白く塗りつぶされている。図１５（ｃ）の深度マップから非マスキング領域の外接矩形を再度検出することで、図１３と同様に、単一の外接矩形を検出することができる。

【0074】

図７の文字認識処理によれば、深度マップを用いることで、処理対象画像４２３内の認識対象領域を容易に特定することができる。このため、処理対象画像４２３全体を走査しながら文字認識を行う必要がなく、鋳鉄管３２１の端面３２２に形成された鋳出し文字列３２３を効率的に認識することができる。

【0075】

図３の鋳鉄管３２１の端面３２２には鋳出し文字列３２３が形成されているが、鋳出し文字列３２３の代わりに、凹状の打刻文字列が形成されていてもよい。端面３２２に打刻文字列が形成されている場合、打刻文字列の表面は、鋳鉄管３２１の背景よりもＣＣＤカメラ３１１に近く、かつ、端面３２２よりもＣＣＤカメラ３１１から遠い位置に存在する。したがって、打刻文字列の表面の深度は、背景の深度よりも浅く、端面３２２の深度よりも深い。

【0076】

この場合、ＴＨ１としては、打刻文字列の表面の深度と鋳鉄管３２１の背景の深度との間の深度に対応する閾値が用いられ、ＴＨ２としては、端面３２２の深度と打刻文字列の表面の深度との間の深度に対応する閾値が用いられる。

【0077】

図８のステップ８０１では、深度マップにおいて、ＴＨ１よりも大きな深度を有する領域をマスキングすることで、端面３２２に対応する領域を特定することができる。一方、図１１のステップ１１０１では、画像領域Ｒ１に対応する領域において、ＴＨ２よりも小さな深度を有する領域をマスキングすることで、打刻文字列の表面に対応する領域を特定することができる。

【0078】

図１の文字認識装置１０１の構成は一例に過ぎず、文字認識装置１０１の用途又は条件に応じて、一部の構成要素を省略又は変更してもよい。

【0079】

図３の文字認識システムの構成は一例に過ぎず、文字認識システムの用途又は条件に応じて、一部の構成要素を省略又は変更してもよい。例えば、文字認識システムは、鋳鉄管３２１の端面３２２に形成された鋳出し文字列３２３の代わりに、他の物体の表面に立体的に形成された文字を認識してもよい。

【0080】

図４のＯＣＲサーバ３１５の構成は一例に過ぎず、文字認識システムの用途又は条件に応じて、一部の構成要素を省略又は変更してもよい。

【0081】

図２、図５、図７、図８、及び図１１に示したフローチャートは一例に過ぎず、文字認識装置１０１又は文字認識システムの構成又は条件に応じて、一部の処理を省略又は変更してもよい。例えば、図１１の第２抽出処理において複数の外接矩形が検出された場合、特定部４１４は、各外接矩形を拡大して深度を変更する代わりに、複数の外接矩形に外接する大きな外接矩形を検出してもよい。

【0082】

図６、図９、図１０、及び図１２～図１５に示した画像、深度マップ、又はマスキング結果は一例に過ぎず、画像、深度マップ、及びマスキング結果は、撮影される物体に応じて変化する。

【0083】

図１６は、図１の文字認識装置１０１及び図４のＯＣＲサーバ３１５として用いられる情報処理装置のハードウェア構成例を示している。図１６の情報処理装置は、ＣＰＵ１６０１、メモリ１６０２、入力装置１６０３、出力装置１６０４、補助記憶装置１６０５、媒体駆動装置１６０６、及びネットワーク接続装置１６０７を含む。これらの構成要素はハードウェアであり、バス１６０８により互いに接続されている。

【0084】

メモリ１６０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリであり、処理に用いられるプログラム及びデータを記憶する。メモリ１６０２は、図４の記憶部４１７として動作してもよい。

【0085】

ＣＰＵ１６０１（プロセッサ）は、例えば、メモリ１６０２を利用してプログラムを実行することにより、図１の推定部１１１、特定部１１２、及び認識部１１３として動作する。ＣＰＵ１６０１は、メモリ１６０２を利用してプログラムを実行することにより、図４の取得部４１１、前処理部４１２、推定部４１３、特定部４１４、及び認識部４１５としても動作する。

【0086】

入力装置１６０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置１６０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。出力装置１６０４は、図４の出力部４１６として動作してもよい。処理結果は、認識結果４２４であってもよい。

【0087】

補助記憶装置１６０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１６０５は、ハードディスクドライブであってもよい。情報処理装置は、補助記憶装置１６０５にプログラム及びデータを格納しておき、それらをメモリ１６０２にロードして使用することができる。補助記憶装置１６０５は、図４の記憶部４１７として動作してもよい。

【0088】

媒体駆動装置１６０６は、可搬型記録媒体１６０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１６０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１６０９は、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ等であってもよい。オペレータ又はユーザは、可搬型記録媒体１６０９にプログラム及びデータを格納しておき、それらをメモリ１６０２にロードして使用することができる。

【0089】

このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１６０２、補助記憶装置１６０５、又は可搬型記録媒体１６０９のような、物理的な（非一時的な）記録媒体である。

【0090】

ネットワーク接続装置１６０７は、通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、ネットワーク接続装置１６０７を介して、図３のＮＡＳ３１４から画像を取得することができる。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１６０７を介して受信し、それらをメモリ１６０２にロードして使用することもできる。ネットワーク接続装置１６０７は、図４の出力部４１６として動作してもよい。

【0091】

図３の画像取得装置３１３としては、図１６と同様の情報処理装置を用いることができる。

【0092】

なお、情報処理装置が図１６のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザとのインタフェースが不要な場合は、入力装置１６０３及び出力装置１６０４を省略してもよい。可搬型記録媒体１６０９を使用しない場合は、媒体駆動装置１６０６を省略してもよい。

【0093】

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

【符号の説明】

【0094】

１０１ 文字認識装置
１１１、４１３ 推定部
１１２、４１４ 特定部
１１３、４１５ 認識部
３１１ ＣＣＤカメラ
３１２ コントローラ
３１３ 画像取得装置
３１４ ＮＡＳ
３１５ ＯＣＲサーバ
３２１ 鋳鉄管
３２２ 端面
３２３ 鋳出し文字列
４１１ 取得部
４１２ 前処理部
４１６ 出力部
４１７ 記憶部
４２１ 深度推定モデル
４２２ 制御情報
４２３ 処理対象画像
４２４ 認識結果
６０１～６０４、９１１～９１３ 領域
９０１、９０２ 円
１４０１ 画像領域
１６０１ ＣＰＵ
１６０２ メモリ
１６０３ 入力装置
１６０４ 出力装置
１６０５ 補助記憶装置
１６０６ 媒体駆動装置
１６０７ ネットワーク接続装置
１６０８ バス
１６０９ 可搬型記録媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】