特許 7235995 文字認識装置、文字認識方法及び文字認識プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-01

(45)【発行日】2023-03-09

(54)【発明の名称】文字認識装置、文字認識方法及び文字認識プログラム

(51)【国際特許分類】

   G06V 30/24 20220101AFI20230302BHJP

   G06V 30/196 20220101ALI20230302BHJP

【ＦＩ】

G06V30/24 630A

G06V30/196 A

【請求項の数】 11

(21)【出願番号】P 2021109954

(22)【出願日】2021-07-01

(65)【公開番号】P2023007011

(43)【公開日】2023-01-18

【審査請求日】2022-06-09

(73)【特許権者】

【識別番号】000002853

【氏名又は名称】ダイキン工業株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】山上 悟史

(72)【発明者】

【氏名】柳本 聡

【審査官】笠田 和宏

(56)【参考文献】

【文献】特開２００１－０６０２５１（ＪＰ，Ａ）

【文献】特開２０１９－２２００６９（ＪＰ，Ａ）

【文献】特開２０２０－１８４２７５（ＪＰ，Ａ）

【文献】特開２００７－２３３９１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／２４

Ｇ０６Ｖ ３０／１９６

(57)【特許請求の範囲】

【請求項1】

撮影画像から、第１ライブラリを構成する英数字を用いて文字列を識別し、識別した文字列のうち、判断情報により規定された文字の構成を含む特定の文字列を抽出する抽出部と、
前記抽出された特定の文字列に対応するラベルが含まれるように、前記抽出された特定の文字列の位置に応じて、前記撮影画像の処理領域を決定する決定部と、
前記撮影画像のうち、決定された処理領域を対象に、前記第１ライブラリよりも文字種の多い第２ライブラリを用いて文字認識を行う認識部と
を有する文字認識装置。

【請求項2】

前記判断情報を保持する第１保持部を有し、
前記抽出部は、前記撮影画像を対象に前記第１ライブラリを用いて文字認識を行い、認識した文字から文字列を識別し、識別した文字列のうち前記判断情報により規定された文字の構成を含む文字列を判定することで、前記特定の文字列を抽出する、請求項１に記載の文字認識装置。

【請求項3】

前記判断情報は、前記文字の構成として、文字数、文字種、文字順序のいずれかを規定する、請求項２に記載の文字認識装置。

【請求項4】

前記決定部は、前記抽出された特定の文字列に対応するラベルが含まれるように、前記抽出部が前記特定の文字列を抽出する際に用いたバウンディングボックスを含む領域であって、前記バウンディングボックスの高さの所定倍の高さを有し、かつ、前記特定の文字列の位置から前記撮影画像の端部位置までの幅を有する領域を、前記処理領域として決定する、請求項３に記載の文字認識装置。

【請求項5】

認識情報リストを保持する第２保持部を有し、
前記認識部は、認識した文字が前記認識情報リストに含まれるいずれかのラベルに該当するかを判断する、請求項１に記載の文字認識装置。

【請求項6】

前記認識部により前記認識情報リストに含まれるいずれかのラベルに該当すると判断された場合、前記抽出された特定の文字列を、該当するラベルに対応するデータとして出力する出力部を有する、請求項５に記載の文字認識装置。

【請求項7】

複数の前記処理領域の一部が互いに重複することで、複数の前記処理領域に同じラベルが含まれる場合、前記出力部は、前記同じラベルの位置により近い特定の文字列を、前記同じラベルに対応するデータとして出力する、請求項６に記載の文字認識装置。

【請求項8】

前記認識情報リストに含まれるラベルは機器のラベルであり、少なくとも、機種名、製造番号、製造年月、冷媒種類、冷媒量、圧縮機能力のいずれか１つを含む、請求項５に記載の文字認識装置。

【請求項9】

前記撮影画像は、機器に付された銘板を撮影した画像である、請求項１に記載の文字認識装置。

【請求項10】

撮影画像から、第１ライブラリを構成する英数字を用いて文字列を識別し、識別した文字列のうち、判断情報により規定された文字の構成を含む特定の文字列を抽出する抽出工程と、
前記抽出された特定の文字列に対応するラベルが含まれるように、前記抽出された特定の文字列の位置に応じて、前記撮影画像の処理領域を決定する決定工程と、
前記撮影画像のうち、決定された処理領域を対象に、前記第１ライブラリよりも文字種の多い第２ライブラリを用いて文字認識を行う認識工程と
を有する文字認識方法。

【請求項11】

撮影画像から、第１ライブラリを構成する英数字を用いて文字列を識別し、識別した文字列のうち、判断情報により規定された文字の構成を含む特定の文字列を抽出する抽出工程と、
前記抽出された特定の文字列に対応するラベルが含まれるように、前記抽出された特定の文字列の位置に応じて、前記撮影画像の処理領域を決定する決定工程と、
前記撮影画像のうち、決定された処理領域を対象に、前記第１ライブラリよりも文字種の多い第２ライブラリを用いて文字認識を行う認識工程と
をコンピュータに実行させるための文字認識プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、文字認識装置、文字認識方法及び文字認識プログラムに関する。

【背景技術】

【0002】

現場に設置されている各種機器に付された機器銘板を、携帯端末等を用いて撮影し、文字認識処理により文字列を読み取る光学的文字認識技術が知られている。当該技術によれば、例えば、各種機器に付された機器銘板から機器データを読み取ることができる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１１９１９５号公報

【文献】特開２０１３－２０６１３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一方で、機器銘板には、アルファベットや数字、記号、漢字など、多くの文字種が含まれており、文字認識処理による文字列の読み取りには、一定程度の時間がかかる。

【0005】

本開示は、文字認識処理により文字列を読み取る際の読み取り時間を短縮する文字認識装置、文字認識方法及び文字認識プログラムを提供する。

【課題を解決するための手段】

【0006】

本開示の第１の態様は、文字認識装置であって、
撮影画像から、特定の文字列を抽出する抽出部と、
抽出された特定の文字列の位置に応じて、前記撮影画像の処理領域を決定する決定部と、
前記撮影画像のうち、決定された処理領域を対象に、文字認識を行う認識部とを有する。

【0007】

本開示の第１の態様によれば、文字認識処理により文字列を読み取る際の読み取り時間を短縮する文字認識装置を提供することができる。

【0008】

また、本開示の第２の態様は、第１の態様に記載の文字認識装置であって、
前記抽出部が前記特定の文字列を抽出する際の文字認識において用いる第１ライブラリの文字種は、前記認識部が文字認識を行う際に用いる第２ライブラリの文字種よりも少ない。

【0009】

また、本開示の第３の態様は、第２の態様に記載の文字認識装置であって、
前記特定の文字列に含まれる文字の構成を規定した判断情報を保持する第１保持部を有し、
前記抽出部は、前記撮影画像を対象に前記第１ライブラリを用いて文字認識を行い、認識した文字から文字列を識別し、識別した文字列のうち前記判断情報により規定された文字の構成を含む文字列を判定することで、前記特定の文字列を抽出する。

【0010】

また、本開示の第４の態様は、第３の態様に記載の文字認識装置であって、
前記判断情報は、前記文字の構成として、文字数、文字種、文字順序のいずれかを規定する。

【0011】

また、本開示の第５の態様は、第４の態様に記載の文字認識装置であって、
前記決定部は、前記抽出部が前記特定の文字列を抽出する際に用いたバウンディングボックスを含む領域であって、前記バウンディングボックスの高さの所定倍の高さを有し、かつ、前記特定の文字列の位置から前記撮影画像の端部位置までの幅を有する領域を、前記処理領域として決定する。

【0012】

また、本開示の第６の態様は、第１の態様に記載の文字認識装置であって、
認識情報リストを保持する第２保持部を有し、
前記認識部は、認識した文字が前記認識情報リストに含まれるいずれかの認識情報に該当するかを判断する。

【0013】

また、本開示の第７の態様は、第６の態様に記載の文字認識装置であって、
前記認識部により前記認識情報リストに含まれるいずれかの認識情報に該当すると判断された場合、前記抽出された特定の文字列を、該当する認識情報に対応するデータとして出力する出力部を有する。

【0014】

また、本開示の第８の態様は、第７の態様に記載の文字認識装置であって、
複数の前記処理領域の一部が互いに重複することで、複数の前記処理領域に同じ認識情報が含まれる場合、前記出力部は、前記同じ認識情報の位置により近い特定の文字列を、前記同じ認識情報に対応するデータとして出力する。

【0015】

また、本開示の第９の態様は、第６の態様に記載の文字認識装置であって、
前記認識情報リストに含まれる認識情報は機器のラベルであり、少なくとも、機種名、製造番号、製造年月、冷媒種類、冷媒量、圧縮機能力のいずれか１つを含む。

【0016】

また、本開示の第１０の態様は、第１の態様に記載の文字認識装置であって、
前記撮影画像は、機器に付された銘板を撮影した画像である。

【0017】

また、本開示の第１１の態様は、文字認識方法であって、
撮影画像から、特定の文字列を抽出する抽出工程と、
抽出された特定の文字列の位置に応じて、前記撮影画像の処理領域を決定する決定工程と、
前記撮影画像のうち、決定された処理領域を対象に文字認識を行う認識工程とを有する。

【0018】

本開示の第１１の態様によれば、文字認識処理により文字列を読み取る際の読み取り時間を短縮する文字認識方法を提供することができる。

【0019】

また、本開示の第１２の態様は、文字認識プログラムであって、
撮影画像から、特定の文字列を抽出する抽出工程と、
抽出された特定の文字列の位置に応じて、前記撮影画像の処理領域を決定する決定工程と、
前記撮影画像のうち、決定された処理領域を対象に文字認識を行う認識工程と
をコンピュータに実行させる。

【0020】

本開示の第１２の態様によれば、文字認識処理により文字列を読み取る際の読み取り時間を短縮する文字認識プログラムを提供することができる。

【図面の簡単な説明】

【0021】

【図1】文字認識装置の利用例を示す図である。

【図2】文字認識装置のハードウェア構成の一例を示す図である。

【図3】文字認識装置の機能構成の一例を示す図である。

【図4】抽出部の機能構成の詳細を示す図である。

【図5】抽出部の処理の具体例を示す図である。

【図6】決定部の機能構成の詳細を示す図である。

【図7】決定部の処理の具体例を示す図である。

【図8】認識部の機能構成の詳細を示す図である。

【図9】認識部の処理の具体例を示す図である。

【図10】文字認識処理の流れを示す第１のフローチャートである。

【図11】文字認識処理の流れを示す第２のフローチャートである。

【発明を実施するための形態】

【0022】

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

【0023】

［第１の実施形態］
＜文字認識装置の利用例＞
はじめに、第１の実施形態に係る文字認識装置の利用例について説明する。図１は、文字認識装置の利用例を示す図である。図１の左側に示すように、文字認識装置１２０は、例えば、現場機器１１０の側面等に付された機器銘板１１１から、機器データを読み取るシーン等において利用される。

【0024】

文字認識装置１２０によれば、例えば、保守作業者１３０が現場調査を行い、調査結果を不図示のサーバ装置等に登録する際、調査対象である現場機器１１０を特定するための機器データを、保守作業者１３０が手入力する手間を省くことができる。また、保守作業者１３０が機器データを誤入力するのを防止することができる。

【0025】

なお、本実施形態では、現場機器１１０が空調機器の室外機であり、文字認識装置１２０が携帯端末であるとして説明する。ただし、現場機器１１０は空調機器の室外機に限定されるものではなく、空調機器の室外機以外のユニットであってもよいし、空調機器以外の現場機器であってもよい。また、文字認識装置１２０は携帯端末に限定されず、光学的文字認識機能を有する端末であれば、携帯端末以外の端末であってもよい。

【0026】

図１の右側は、保守作業者１３０が機器銘板１１１を撮影したことで、文字認識装置１２０の表示画面に、撮影画像１２１が表示された様子を示している。図１の右側に示すように、撮影画像１２１には、機器銘板１１１に対応する画像領域１２２が含まれる。

【0027】

現場機器１１０が空調機器の室外機の場合、画像領域１２２に示すように、機器銘板１１１には、例えば、
・室外機であることを示す記載、
・冷房と暖房とを兼用する室外機であることを示す記載、
・機種についての記載（ラベル、機種コードデータ）、
・製造番号についての記載（ラベル、製造番号データ）、
・製品質量についての記載（ラベル、質量データ）、
・電源仕様についての記載（ラベル、相数データ、電圧データ、周波数データ）、
・圧縮機電動機の出力についての記載（ラベル、消費電力量データ）、
・管理番号についての記載（ラベル、管理コードデータ）、
・冷媒の量及び種類についての記載（ラベル、冷媒量データ、冷媒種コード）、
・設計圧力についての記載（ラベル、圧力データ）、
・ＪＩＳマークの記載、
・ＪＩＳについての記載（登録認証機関コードデータ、ＪＩＳコードデータ）、
等が含まれる。このように、機器銘板１１１の記載には、アルファベットや数字、記号、漢字（現場機器１１０が設置された国の言語）など、多くの文字種が含まれる。なお、図１の画像領域１２２には示されていないが、機器銘板１１１には、上記記載のほか、例えば、製造年月についての記載（ラベル、製造年月データ）が含まれていてもよい。

【0028】

＜文字認識装置のハードウェア構成＞
次に、文字認識装置１２０のハードウェア構成について説明する。図２は、文字認識装置のハードウェア構成の一例を示す図である。図２に示すように、文字認識装置１２０は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、ユーザインタフェース装置２０４、撮像装置２０５、通信装置２０６を有する。なお、文字認識装置１２０の各ハードウェアは、バス２０７を介して相互に接続されている。

【0029】

プロセッサ２０１は、ＣＰＵ（Central Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラム（例えば、後述する文字認識プログラム等）をメモリ２０２上に読み出して実行する。

【0030】

メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。

【0031】

補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種データ（例えば、後述する第１ライブラリ、機器データルール、第２ライブラリ、ラベルリスト等）を格納する。

【0032】

ユーザインタフェース装置２０４は、例えば、保守作業者１３０が各種操作を行うための操作機能と、文字認識装置１２０により実行される各種処理の処理結果を表示する表示機能とを有する。

【0033】

撮像装置２０５は、機器銘板１１１を撮影し、撮影画像１２１を生成する。通信装置２０６は、ネットワークを介して外部装置（例えば、不図示のサーバ装置）と通信を行うための通信デバイスである。

【0034】

なお、補助記憶装置２０３にインストールされる各種プログラムは、例えば、通信装置２０６を介してネットワークからダウンロードされることで、インストールされる。

【0035】

＜文字認識装置の機能構成＞
次に、文字認識装置１２０の機能構成について説明する。上述したように、文字認識装置１２０には、文字認識プログラムがインストールされており、当該プログラムが実行されることで、文字認識装置１２０は、
・抽出部３１０、
・決定部３２０、
・認識部３３０、
として機能する。

【0036】

抽出部３１０は、撮像装置２０５により撮影された撮影画像（例えば、撮影画像１２１）を取得する。また、抽出部３１０は、取得した撮影画像に対して、第１ライブラリ記憶部３４０に記憶された第１ライブラリを用いて文字認識を行い、認識した文字から文字列を識別する。

【0037】

また、抽出部３１０は、識別した文字列のうち、機器データルール保持部３５０（第１保持部の一例）に保持された機器データルール（判断情報）により規定された文字の構成を含む文字列を判定することで、機器データの候補（特定の文字列）を抽出する。

【0038】

また、抽出部３１０は、抽出した機器データの候補（特定の文字列）を認識部３３０に通知する。更に抽出部３１０は、機器データの候補（特定の文字列）を抽出する際に用いたバウンディングボックスの情報（高さ、幅、撮影画像内での位置）を決定部３２０に通知する。

【0039】

なお、第１ライブラリ記憶部３４０に記憶されている第１ライブラリは、例えば、英数字により構成されており、一般的な文字認識用のライブラリよりも文字種が少ないライブラリであるとする。ここでいう一般的な文字認識用のライブラリとは、英数字のほか、現場機器１１０が設置された国の言語を表す文字及び数字、機器銘板に用いられる文字（例えば、ギリシャ数字、ローマ字等）、各種記号、等を含むライブラリを指す。

【0040】

また、機器データルール保持部３５０に保持されている機器データルールは、本実施形態の場合、空調機器の室外機の機器データの文字の構成を規定した情報である。なお、空調機器の室外機の機器データには、例えば、
・機種コードデータ、
・製造番号データ、
・製造年月データ、
・冷媒種コード、
・冷媒量データ、
・圧縮機電動機の消費電力量データ、
等が含まれる。

【0041】

つまり、抽出部３１０は、第１ライブラリを構成する英数字を用いて、撮影画像１２１の画像領域１２２内の文字の領域を対象に文字認識を行う。また、抽出部３１０は、認識した英数字の文字列を識別し、識別した文字列のうち、機器データルールにより規定された文字の構成を含む文字列を判定する。これにより、抽出部３１０は、空調機器の室外機の機器データの候補を抽出し、認識部３３０に通知する。

【0042】

決定部３２０は、撮像装置２０５により撮影された撮影画像を取得するとともに、抽出部３１０から通知された、バウンディングボックスの情報（高さ、幅、撮影画像内での位置）を取得する。また、決定部３２０は、取得したバウンディングボックスの情報に基づいて、撮影画像の処理領域を決定し、認識部３３０に通知する。

【0043】

なお、決定部３２０が決定する処理領域は、認識部３３０が文字認識を行う対象領域であり、機器データの候補に対応する「ラベル」（認識情報の一例）を探索する対象領域である。

【0044】

認識部３３０は、決定部３２０が決定した処理領域を取得し、取得した処理領域を対象に、第２ライブラリ記憶部３６０に記憶された第２ライブラリを用いて文字認識を行い、認識した文字から文字列を識別する。

【0045】

なお、第２ライブラリ記憶部３６０に記憶されている第２ライブラリは、上述した一般的な文字認識用のライブラリである。

【0046】

また、認識部３３０は、ラベルリスト保持部３７０（第２保持部の一例）に保持されているラベルリスト（認識情報リストの一例）を参照し、処理領域において識別した文字列が、ラベルリストに含まれるいずれかのラベルに該当するかを判断する。また、認識部３３０は、ラベルリストに含まれるいずれかのラベルに該当すると判断した場合、機器データの候補を、該当するラベルの機器データとして、ラベルと対応付けて出力する。

【0047】

つまり、認識部３３０は、処理領域において識別した文字列の中から、機器データの候補に対応する「ラベル」を特定する。

【0048】

このように、文字認識装置１２０では、機器銘板１１１から、機器データを読み取る際、多くの文字種全てを文字認識する代わりに、
・文字種の少ない第１ライブラリを用いて文字認識を行うとともに、文字の構成を規定した機器ルールデータを用いて機器データの候補を抽出することで、処理領域を絞り込む。そして、絞り込んだ処理領域を対象に、文字種の多い第２ライブラリを用いて文字認識を行う。
・第２ライブラリを用いて文字認識を行うことで識別した文字列について、ラベルリストを用いてラベルに該当するかを判断し、該当すると判断した場合に、機器データの候補を、該当するラベルの機器データとして出力する。

【0049】

これにより、第１の実施形態によれば、文字認識処理により、機器銘板から機器データを読み取る際の読み取り時間を短縮することができる。また、第１の実施形態によれば、読み取り精度を向上させることができる。

【0050】

＜抽出部の機能構成の詳細＞
次に、抽出部３１０の機能構成の詳細について説明する。図４は、抽出部の機能構成の詳細を示す図である。図４に示すように、抽出部３１０は、文字列識別部４１０、特定文字列判定部４２０、バウンディングボックス判定部４３０を有する。

【0051】

文字列識別部４１０は、撮像装置２０５により撮影された撮影画像を取得し、第１ライブラリ記憶部３４０に記憶された第１ライブラリを用いて文字認識を行い、認識した英数字から文字列を識別する。

【0052】

特定文字列判定部４２０は、文字列識別部４１０により識別された文字列が、機器データルールにより規定された文字の構成を含む文字列であるか否かを判定することで、機器データの候補を抽出する。

【0053】

機器データルール４４０には、空調機器の室外機の機器データの文字の構成（文字数、文字種、文字順序等）が規定されている。機器データルール４４０によれば、「機種コードデータ」の文字の構成は、"６文字以上 かつ １１文字以下 かつ 英数字大文字１文字以上 かつ 数字２文字以上"と規定されている。したがって、特定文字列判定部４２０では、当該文字の構成を含む文字列を「機種コードデータ」の候補と判定して抽出する。

【0054】

また、機器データルール４４０によれば、「製造番号データ」の文字の構成は、「（６文字以上 かつ １２文字以下 かつ 一文字目が大文字英数字） または （６文字以上 かつ１２文字以下 かつ すべて数字）」と規定されている。したがって、特定文字列判定部４２０では、当該文字の構成を含む文字列を、「製造番号データ」と判定して抽出する。

【0055】

また、機器データルール４４０によれば、「製造年月データ」の文字の構成は、「"／"を含む かつ "／"の前後が２文字以上 かつ "／"の前後２文字以内は数字 かつ 製造月は１２以下の整数」と規定されている。したがって、特定文字列判定部４２０では、当該文字の構成を含む文字列を、「製造年月データ」の候補と判定して抽出する。

【0056】

また、機器データルール４４０によれば、「冷媒種コード」の文字の構成は、「５文字以下 かつ 一文字目が"Ｇ" かつ 数字２文字以上」と規定されている。したがって、特定文字列判定部４２０では、当該文字の構成を含む文字列を、「冷媒種コード」の候補と判定して抽出する。

【0057】

また、機器データルール４４０によれば、「冷媒量データ」の文字の構成は、「同じ高さに"ｋｇ"、"ｋｅ"、"ｋ"のいずれかを含む かつ 同じ高さに冷媒種類を含む かつ "．"と数字とを含む」と規定されている。したがって、特定文字列判定部４２０では、当該文字の構成を含む文字列を、「冷媒量データ」の候補と判定して抽出する。

【0058】

また、機器データルール４４０によれば、「圧縮機電動機の消費電力量データ」の文字の構成は、「同じ高さに"ｋｗ"、"ｋｍ"のいずれかを含む かつ "．"と数字とを含む」と規定されている。したがって、特定文字列判定部４２０では、当該文字の構成を含む文字列を、「圧縮機電動機の消費電力量データ」の候補と判定して抽出する。

【0059】

特定文字列判定部４２０は、判定した機器データの候補を、認識部３３０に通知する。具体的には、特定文字列判定部４２０は、機種コードデータの候補、製造番号データの候補、製造年月データの候補、冷媒種コードの候補、冷媒量データの候補、圧縮機電動機の消費電力量データの候補等を、認識部３３０に通知する。

【0060】

また、特定文字列判定部４２０は、判定した機器データの候補を抽出する際に用いたバウンディングボックスを、バウンディングボックス判定部４３０に通知する。

【0061】

バウンディングボックス判定部４３０は、取得したバウンディングボックスに基づいて高さ、幅、撮影画像内での位置を算出し、バウンディングボックスの情報（高さ、幅、撮影画像内での位置）を決定部３２０に通知する。

【0062】

＜抽出部の処理の具体例＞
次に、抽出部３１０の処理の具体例について説明する。図５は、抽出部の処理の具体例を示す図である。

【0063】

このうち、図５（ａ）は、文字列識別部４１０が取得した撮影画像１２１のうち、機器銘板１１１に対応する画像領域１２２を抜粋して示したものである。

【0064】

また、図５（ｂ）は、文字列識別部４１０が第１ライブラリを用いて文字認識を行い、認識した英数字の文字列（符号５０１～符号５１２）を識別した様子を示している。

【0065】

また、図５（ｃ）は、特定文字列判定部４２０が、識別された文字列のうち、機器データルールにより規定された文字の構成を含む文字列として、符号５０１、符号５０２、符号５０５～符号５０８、符号５１２に示す文字列を判定して抽出した様子を示している。

【0066】

なお、バウンディングボックス判定部４３０では、特定文字列判定部４２０により判定された文字列（符号５０１、符号５０２、符号５０５～符号５０８、符号５１２に示す文字列）を抽出する際に用いられたバウンディングボックスを取得する。

【0067】

＜決定部の機能構成の詳細＞
次に、決定部３２０の機能構成の詳細について説明する。図６は、決定部の機能構成の詳細を示す図である。図６に示すように、決定部３２０は、高さ情報算出部６１０、幅情報算出部６２０、処理領域決定部６３０を有する。

【0068】

高さ情報算出部６１０は、バウンディングボックス判定部４３０から通知された、バウンディングボックスの情報（高さ、幅、撮影画像内での位置）を取得し、取得したバウンディングボックスの高さ情報を所定倍することで、処理領域の高さ情報を算出する。これにより、高さ情報算出部６１０では、処理領域の下辺の位置と上辺の位置とを特定する。

【0069】

幅情報算出部６２０は、バウンディングボックス判定部４３０から通知された、バウンディングボックスの情報（高さ、幅、撮影画像内の位置）を取得し、取得したバウンディングボックスを幅方向の端部まで拡大することで、処理領域の幅情報を算出する。これにより、幅情報算出部６２０は、処理領域の右辺の位置と左辺の位置とを特定する。

【0070】

なお、幅方向の端部とは、撮影画像１２１の左端位置または右端位置を指し、幅情報算出部６２０が幅方向の左端位置まで拡大するか、右端位置まで拡大するかは、機器銘板１１１の記載方向による。例えば、機器銘板１１１の「ラベル」を記載する言語が、左から右へと記載する記載方向の言語である場合、幅情報算出部６２０では、バウンディングボックスを、撮影画像の左端位置まで拡大する。一方、機器銘板１１１の「ラベル」を記載する言語が、右から左へと記載する記載方向の言語である場合、幅情報算出部６２０では、バウンディングボックスを、撮影画像の右端位置まで拡大する。

【0071】

処理領域決定部６３０は、高さ情報算出部６１０により算出された高さ情報と、幅情報算出部６２０により算出された幅情報とに基づいて、処理領域を決定する。また、撮影画像１２１から、決定した処理領域を抽出し、抽出した処理領域を認識部３３０に通知する。

【0072】

＜決定部の処理の具体例＞
次に、決定部３２０の処理の具体例について説明する。図７は、決定部の処理の具体例を示す図である。

【0073】

このうち、図７（ａ）は、バウンディングボックス判定部４３０より通知された、撮影画像１２１の画像領域１２２内の、各バウンディングボックス（バウンディングボックス７０１～７０７）を示している。

【0074】

図７（ｂ）は、各バウンディングボックス７０１～７０７のうち、バウンディングボックス７０１、バウンディングボックス７０７について、処理領域を決定した様子を示している。

【0075】

このうち、処理領域７１０は、バウンディングボックス７０１を、高さ方向に所定倍し、撮影画像１２１の端部位置７００まで、幅方向に拡大することで決定された処理領域を示している。

【0076】

同様に、処理領域７２０は、バウンディングボックス７０７を、高さ方向に所定倍し、撮影画像１２１の端部位置７００まで、幅方向に拡大することで決定された処理領域を示している。

【0077】

＜認識部の機能構成の詳細＞
次に、認識部３３０の機能構成の詳細について説明する。図８は、認識部の機能構成の詳細を示す図である。図８に示すように、認識部３３０は、処理領域文字認識部８１０、判断部８２０を有する。

【0078】

処理領域文字認識部８１０は、処理領域決定部６３０から処理領域を取得し、第２ライブラリ記憶部３６０に記憶された第２ライブラリを用いて、処理領域内の文字の領域を対象に文字認識を行い、認識した文字の文字列を識別する。これにより、処理領域文字認識部８１０は、機器データの候補に対応する「ラベル」の候補を、判断部８２０に通知する。

【0079】

判断部８２０は出力部の一例であり、処理領域文字認識部８１０から通知された、機器データの候補に対応する「ラベル」の候補を取得する。また、判断部８２０は、ラベルリスト保持部３７０に保持されているラベルリストを参照し、処理領域において識別した文字列が、ラベルリストに含まれるいずれのラベルに該当するかを判断する。これにより、判断部８２０では、機器データの候補に対応する「ラベル」を特定する。

【0080】

なお、異なる処理領域の一部が重なることで、異なる領域それぞれから同じ「ラベル」の候補が取得された場合、判断部８２０は、より適切な機器データの候補を、該当するラベルに対応する機器データと判定する。より適切な機器データの候補とは、例えば、
・一方の機器データの候補と、「ラベル」の候補との間の距離と、
・他方の機器データの候補と、「ラベル」の候補との間の距離と、
を対比した際のより近い方の機器データの候補を指す。

【0081】

あるいは、より適切な機器データの候補とは、例えば、
・一方の機器データの候補と、「ラベル」の候補とが属する行と、
・他方の機器データの候補と、「ラベル」の候補とが属する行と、
を対比した際に同じ行またはより近い行に属する方の機器データの候補を指す。

【0082】

また、判断部８２０は、抽出部３１０から通知された機器データの候補のうち、特定したラベルに対応する機器データの候補を、機器データとして、特定したラベルとともに出力する。

【0083】

＜認識部の処理の具体例＞
次に、認識部３３０の処理の具体例について説明する。図９は、認識部の処理の具体例を示す図である。

【0084】

このうち、図９（ａ）は、バウンディングボックス７０１の情報に基づいて決定された処理領域７１０において、処理領域文字認識部８１０が、文字の領域を対象に文字認識を行った様子を示している。図９（ａ）によれば、機器データの候補に対応するラベルとして、「機種」（機種名）が特定され（符号９２１）、「機種：Ａ１２ＢＣＤ」が出力される。

【0085】

また、図９（ｂ）は、バウンディングボックス７０２の情報に基づいて決定された処理領域９１１において、処理領域文字認識部８１０が、文字の領域を対象に文字認識を行った様子を示している。図９（ｂ）によれば、機器データの候補に対応するラベルとして、「製造番号」が特定され（符号９２２）、「製造番号：ＥＦ３４５６７」が出力される。

【0086】

また、図９（ｃ）は、バウンディングボックス７０３の情報に基づいて決定された処理領域９１２において、処理領域文字認識部８１０が、文字の領域を対象に文字認識を行った様子を示している。図９（ｃ）によれば、機器データの候補に対応するラベルとして、「圧縮機電動機出力」（圧縮機能力）が特定され（符号９２３）、「圧縮機電動機出力：ｙｙ．ｙ ｋＷ」が出力される。

【0087】

また、図９（ｄ）は、バウンディングボックス７０４の情報に基づいて決定された処理領域９１３において、処理領域文字認識部８１０が、文字の領域を対象に文字認識を行った様子を示している。図９（ｄ）の場合、機器データの候補に対応するラベルが、特定されず、機器データは出力されない。

【0088】

より具体的には、図９（ｄ）は、処理領域９１３において文字認識された「圧縮機電動機出力」が、ラベルの候補となるが、「圧縮機電動機出力」については、処理領域９１２においても文字認識され、ラベルの候補となっている。更に、処理領域９１２におけるラベルの候補と機器データの候補とは、同じ行に位置しているのに対して、処理領域９１３におけるラベルの候補と機器データの候補とは、異なる行に位置している。したがって、「圧縮機電動機出力」については、処理領域９１２の機器データの候補に対応するラベルとして特定される。このため、判断部８２０では、処理領域９１３において、機器データの候補に対応するラベルが特定できなかったと判断する。この結果、処理領域９１３からは、機器データが出力されない。

【0089】

また、図９（ｅ）は、バウンディングボックス７０５の情報に基づいて決定された処理領域９１４において、処理領域文字認識部８１０が、文字の領域を対象に文字認識を行った様子を示している。図９（ｅ）によれば、機器データの候補に対応するラベルが特定され（符号９２４）、「冷媒量：ｚｚ．ｚ ｋｇ」が出力される。

【0090】

また、図９（ｆ）は、バウンディングボックス７０６の情報に基づいて決定された処理領域９１５において、処理領域文字認識部８１０が、文字の領域を対象に文字認識を行った様子を示している。図９（ｆ）によれば、機器データの候補に対応するラベルとして、「冷媒」が特定され（符号９２４）、「冷媒種類：Ｇ８９」が出力される。

【0091】

また、図９（ｇ）は、バウンディングボックス７０７の情報に基づいて決定された処理領域７２０において、処理領域文字認識部８１０が、文字の領域を対象に文字認識を行った様子を示している。図９（ｇ）によれば、機器データの候補に対応するラベルが特定されず、機器データは出力されない。

【0092】

より具体的には、図９（ｇ）は、処理領域７２０において文字認識された「低圧部」が、ラベルリストに含まれていない文字列であるため、判断部８２０では、機器データの候補に対応するラベルが特定できなかったと判断する。

【0093】

このように、認識部３３０は、
・機器データの候補に対応するバウンディングボックスに基づいて処理領域を決定し、
・決定した処理領域の文字の領域に対して文字認識を行うことでラベルを特定し、
・特定したラベルに対応する機器データの候補を機器データとして、特定したラベルと対応付けて出力する。

【0094】

この結果、機器銘板１１１から読み取った機器データとして、認識部３３０では、
・機種：Ａ１２ＢＣＤ、
・製造番号：ＥＦ３４５６７、
・圧縮機電動機出力：ｙｙ．ｙ ｋＷ、
・冷媒量：ｚｚ．ｚ ｋｇ、
・冷媒種類：Ｇ８９、
を出力する。

【0095】

＜文字認識装置による文字認識処理の流れ＞
次に、文字認識装置１２０による文字認識処理の流れについて説明する。図１０及び図１１は、文字認識処理の流れを示す第１及び第２のフローチャートである。

【0096】

ステップＳ１００１において、抽出部３１０は、撮像装置２０５により機器銘板１１１が撮影されることで生成された撮影画像を取得する。

【0097】

ステップＳ１００２において、抽出部３１０は、取得した撮影画像に含まれる文字の領域を抽出する。

【0098】

ステップＳ１００３において、抽出部３１０は、抽出した文字の領域について、第１ライブラリを用いて文字認識を行う。

【0099】

ステップＳ１００４において、抽出部３１０は、認識した文字から文字列を識別し、識別した文字列のうち、機器データルールにより規定された文字の構成を含む文字列を判定する。

【0100】

ステップＳ１００４において、機器データルールにより規定された文字の構成を含まない文字列であると判定した場合には（ステップＳ１００４においてＮＯの場合には）、ステップＳ１００６に進む。

【0101】

一方、ステップＳ１００４において、機器データルールにより規定された文字の構成を含む文字列であると判定した場合には（ステップＳ１００４においてＹＥＳの場合には）、ステップＳ１００５に進む。

【0102】

ステップＳ１００５において、抽出部３１０は、識別した文字列を、機器データの候補と判定する。

【0103】

ステップＳ１００６において、抽出部３１０は、ステップＳ１００２において抽出した文字の領域全てについて、文字認識を行ったか否かを判定する。

【0104】

ステップＳ１００６において、文字認識を行っていない文字の領域があると判定した場合には（ステップＳ１００６においてＮＯの場合には）、ステップＳ１００３に戻る。

【0105】

一方、ステップＳ１００６において、ステップＳ１００２において抽出した文字の領域全てについて、文字認識を行ったと判定した場合には（ステップＳ１００６においてＹＥＳの場合には）、ステップＳ１００７に進む。

【0106】

ステップＳ１００７において、決定部３２０は、機器データの候補を抽出する際に用いたバウンディングボックスに基づいて処理領域を決定する。

【0107】

図１１のステップＳ１１０１において、認識部３３０は、決定した処理領域から文字の領域を抽出する。

【0108】

ステップＳ１１０２において、認識部３３０は、抽出した文字の領域について、第２ライブラリを用いて文字認識を行う。

【0109】

ステップＳ１１０３において、認識部３３０は、ラベルリストを参照し、処理領域において識別した文字列が、ラベルリストに含まれるいずれかのラベルに該当するかを判断する。

【0110】

ステップＳ１１０３において、処理領域において識別した文字列が、ラベルリストに含まれるいずれのラベルにも該当しないと判断した場合には（ステップＳ１１０３においてＮＯの場合には）、ステップＳ１１０５に進む。

【0111】

一方、ステップＳ１１０３において、処理領域において識別した文字列が、ラベルリストに含まれるいずれかのラベルに該当すると判断した場合には（ステップＳ１１０３においてＹＥＳの場合には）、ステップＳ１１０４に進む。

【0112】

ステップＳ１１０４において、認識部３３０は、機器データの候補を、該当するラベルに対応する機器データと判定する。

【0113】

ステップＳ１１０５において、認識部３３０は、ステップＳ１１０１において抽出した文字の領域全てについて、文字認識を行ったか否かを判定する。

【0114】

ステップＳ１１０５において、文字認識を行っていない文字の領域があると判定した場合には（ステップＳ１１０５においてＮＯの場合には）、ステップＳ１１０３に戻る。

【0115】

一方、ステップＳ１１０５において、ステップＳ１１０１において抽出した文字の領域全てについて文字認識を行ったと判定した場合には（ステップＳ１１０５においてＹＥＳの場合には）、ステップＳ１１０６に進む。

【0116】

ステップＳ１１０６において、認識部３３０は、同じラベルに、機器データの候補が複数あるか否かを判定する。ステップＳ１１０６において、機器データの候補が複数ないと判定した場合には（ステップＳ１１０６においてＮＯの場合には）、ステップＳ１１０８に進む。

【0117】

一方、ステップＳ１１０６において、機器データの候補が複数あると判定した場合には（ステップＳ１１０６においてＹＥＳの場合には）、ステップＳ１１０７に進む。

【0118】

ステップＳ１１０７において、認識部３３０は、複数の機器データの候補の中から、より適切な機器データの候補を判定する。

【0119】

ステップＳ１１０７において、認識部３３０は、判定した機器データの候補を、該当するラベルに対応する機器データとして、該当するラベルと対応付けて出力した後、文字認識処理を終了する。

【0120】

＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係る文字認識装置１２０は、
・撮影画像から、第１ライブラリに基づいて機器データの候補を抽出する。
・機器データの候補を抽出する際に用いたバウンディングボックスの位置に応じて、撮影画像の処理領域を決定する。
・撮影画像のうち、決定した処理領域を対象に、文字認識を行う。

【0121】

これにより、第１の実施形態によれば、機器銘板を撮影した撮影画像に対して文字認識処理を行うことで機器データを読み取る際の読み取り時間を短縮することができる。

【0122】

［第２の実施形態］
上記第１の実施形態において決定部３２０は、抽出部３１０が機器データの候補を抽出する際のバウンディングボックスに基づいて、処理領域を決定するものとして説明した。しかしながら、決定部３２０は、バウンディングボックス以外の情報（機器データの候補となる文字列の高さ、幅、撮影画像内での位置を示す情報等）に基づいて処理領域を決定してもよい。

【0123】

また、上記第１の実施形態において決定部３２０は、バウンディングボックスの高さ情報を所定倍することで処理領域の高さ情報を算出し、バウンディングボックスを幅方向の端部まで拡大することで、処理領域の幅情報を算出するものとして説明した。しかしながら、決定部３２０が処理領域を決定する際の、高さ情報及び幅情報の算出方法はこれに限定されない。例えば、幅方向についても、バウンディングボックスの幅情報を所定倍することで処理領域の幅情報を算出してもよい。あるいは、撮影画像の幅方向の端部の代わりに、例えば、機器銘板１１１の画像領域１２２の端部まで拡大することで、処理領域の幅情報を算出してもよい。

【0124】

また、上記第１の実施形態では、同じラベルに複数の機器データ候補があると判定された際、より適切な機器データ候補を判定するにあたり、ラベルと機器データ候補との間の距離を対比するものとして説明した。あるいは、ラベル及び機器データ候補がそれぞれ属する行を対比するものとして説明した。しかしながら、より適切な機器データ候補の判定方法はこれらに限定されず、例えば、機器データの候補とラベルとの組み合わせルールを予め用意しておき、当該組み合わせルールに基づいて判定してもよい。

【0125】

また、上記第１の実施形態では、機器銘板から機器データを読み取る場合について説明したが、機器データを読み取る対象は、機器銘板に限定されない。あるいは、機器銘板から読み取る対象は、機器データに限定されない。更に、撮像装置が撮影する対象は機器銘板に限定されず、特定の文字列が含まれていればよい。

【0126】

また、上記第１の実施形態では、現場機器が空調機器の室外機である場合の機器データルールについて例示したが、現場機器が異なる場合には、異なる現場機器に応じた機器データルールが用いられるものとする。同様に、上記第１の実施形態では、現場機器が空調機器の室外機である場合のラベルリストについて例示したが、現場機器が異なる場合には、異なる現場機器に応じたラベルリストが用いられるものとする。

【0127】

以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。

【符号の説明】

【0128】

１１０ ：現場機器
１１１ ：機器銘板
１２０ ：文字認識装置
１２１ ：撮影画像
２０５ ：撮像装置
３１０ ：抽出部
３２０ ：決定部
３３０ ：認識部
４１０ ：文字列識別部
４２０ ：特定文字列判定部
４３０ ：バウンディングボックス判定部
４４０ ：機器データルール
６１０ ：高さ情報算出部
６２０ ：幅情報算出部
６３０ ：処理領域決定部
７０１～７０７ ：バウンディングボックス
７１０、７２０ ：処理領域
８１０ ：処理領域文字認識部
８２０ ：判断部
９１１～９１５ ：処理領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】