特許 7568945 情報端末、文字認識方法及び文字認識プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-08

(45)【発行日】2024-10-17

(54)【発明の名称】情報端末、文字認識方法及び文字認識プログラム

(51)【国際特許分類】

   G06V 30/12 20220101AFI20241009BHJP

【ＦＩ】

G06V30/12 C

G06V30/12 B

G06V30/12 J

【請求項の数】 11

(21)【出願番号】P 2022140707

(22)【出願日】2022-09-05

(65)【公開番号】P2024036017

(43)【公開日】2024-03-15

【審査請求日】2023-08-24

【前置審査】

(73)【特許権者】

【識別番号】000002853

【氏名又は名称】ダイキン工業株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】山上 悟史

(72)【発明者】

【氏名】柳本 聡

【審査官】菊池 伸郎

(56)【参考文献】

【文献】特開２０００－２０７４８７（ＪＰ，Ａ）

【文献】特開２０１７－０１６５４９（ＪＰ，Ａ）

【文献】特開２０２０－０８６９２２（ＪＰ，Ａ）

【文献】特開２０１３－１６１２７７（ＪＰ，Ａ）

【文献】特開２０１６－１１９０５９（ＪＰ，Ａ）

【文献】特開２０１２－２２１０９５（ＪＰ，Ａ）

【文献】特開２０１３－１９０９５２（ＪＰ，Ａ）

【文献】特開２０１８－１７３８１８（ＪＰ，Ａ）

【文献】特開２０２４－００２７４０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－７／９０

Ｇ０６Ｖ １０／００－４０／７０

(57)【特許請求の範囲】

【請求項1】

制御部を有する情報端末であって、
前記制御部は、
撮影されたフレーム画像を取得する処理と、前記フレーム画像を文字認識することで得られる文字認識結果であって、命名規則に則って記載されたと判定された文字列である文字認識結果を記憶部に記憶する処理とを繰り返し、
フレーム画像の撮影を終了させる、前記情報端末に対する所定の操作を受け付けた場合であって、前記所定の操作を受け付けた際のフレーム画像に基づく文字認識結果が前記記憶部に記憶されなかった場合に、前記所定の操作を受け付けた際のフレーム画像よりも前のフレーム画像に基づいて前記記憶部に記憶された文字列により、文字認識結果を確定する、
情報端末。

【請求項2】

前記撮影されたフレーム画像をリアルタイムに表示する際に、前記文字認識することで得られる文字認識結果を重畳して表示する、
請求項１に記載の情報端末。

【請求項3】

前記制御部は、
表示する前記フレーム画像を第１の時間間隔で更新し、
重畳して表示する文字認識結果を前記第１の時間間隔よりも長い第２の時間間隔で更新する、
請求項２に記載の情報端末。

【請求項4】

前記制御部は、
前記撮影されたフレーム画像に文字認識結果として記憶する項目が複数含まれる場合、前記文字認識することで得られる各項目の文字認識結果を、項目単位で記憶部に記憶し、
フレーム画像の撮影を終了させる、前記情報端末に対する所定の操作を受け付けた場合であって、前記所定の操作を受け付けた際のフレーム画像に基づく文字認識結果が前記記憶部に記憶されなかった場合に、前記所定の操作を受け付けた際のフレーム画像よりも前のフレーム画像に基づいて前記記憶部に記憶された文字列により、項目単位で文字認識結果を確定する、
請求項１に記載の情報端末。

【請求項5】

前記制御部は、
確定した前記文字認識結果を表示部に表示したことに応じて、表示した前記文字認識結果が修正された場合に、修正された前記文字認識結果を記憶部に記憶する、
請求項１に記載の情報端末。

【請求項6】

前記制御部は、
機器の銘板が撮影されたフレーム画像を文字認識することで、文字認識結果として、機種名及び製造番号を得る、
請求項１に記載の情報端末。

【請求項7】

前記制御部は、
前記文字認識することで得られる文字認識結果を第１記憶部に記憶し、
フレーム画像の撮影を終了させる、前記情報端末に対する所定の操作を受け付けたことで確定した文字認識結果を第２記憶部に記憶する、
請求項１に記載の情報端末。

【請求項8】

前記制御部は、
前記文字認識することで文字認識結果が得られるごとに、前記第１記憶部に記憶されている文字認識結果を更新する、
請求項７に記載の情報端末。

【請求項9】

前記制御部は、
前記第１記憶部に記憶された文字認識結果が得られたフレーム画像を、前記文字認識結果と関連付けて前記第１記憶部に記憶し、
前記第２記憶部に記憶された文字認識結果が得られたフレーム画像を、前記文字認識結果と関連付けて前記第２記憶部に記憶する、
請求項７に記載の情報端末。

【請求項10】

情報端末の制御部が、
撮影されたフレーム画像を取得する処理と、前記フレーム画像を文字認識することで得られる文字認識結果であって、命名規則に則って記載されたと判定された文字列である文字認識結果を記憶部に記憶する処理とを繰り返す工程と、
フレーム画像の撮影を終了させる、前記情報端末に対する所定の操作を受け付けた場合であって、前記所定の操作を受け付けた際のフレーム画像に基づく文字認識結果が前記記憶部に記憶されなかった場合に、前記所定の操作を受け付けた際のフレーム画像よりも前のフレーム画像に基づいて前記記憶部に記憶された文字列により、文字認識結果を確定する工程と
を実行する文字認識方法。

【請求項11】

情報端末の制御部に、
撮影されたフレーム画像を取得する処理と、前記フレーム画像を文字認識することで得られる文字認識結果であって、命名規則に則って記載されたと判定された文字列である文字認識結果を記憶部に記憶する処理とを繰り返す工程と、
フレーム画像の撮影を終了させる、前記情報端末に対する所定の操作を受け付けた場合であって、前記所定の操作を受け付けた際のフレーム画像に基づく文字認識結果が前記記憶部に記憶されなかった場合に、前記所定の操作を受け付けた際のフレーム画像よりも前のフレーム画像に基づいて前記記憶部に記憶された文字列により、文字認識結果を確定する工程と
を実行させるための文字認識プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報端末、文字認識方法及び文字認識プログラムに関する。

【背景技術】

【0002】

空調機器等の各種現場機器に付された機器銘板を、情報端末等を用いて撮影し、文字認識処理を行うことで、現場機器の機器データを取得する技術が知られている。当該技術によれば、例えば、保守作業者は、機器銘板を撮影するだけで、現場調査を行った現場機器の機器データを管理することができる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－０９１７４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一方で、現場で撮影する場合、撮影状況によっては、文字認識処理が適切に行われず、誤認識が発生することで、機器データの一部または全部について正しい機器データを取得することができないといった事態が生じ得る。このような場合、保守作業者は、撮影をやり直す必要があり、保守作業者にとっては作業負荷が高い。

【0005】

本開示は、撮影により現場機器の機器データを取得する際の作業者の作業負荷を低減させる。

【課題を解決するための手段】

【0006】

本開示の第１の態様は、制御部を有する情報端末であって、
前記制御部は、
撮影されたフレーム画像を取得する処理と、前記フレーム画像を文字認識することで得られる文字認識結果を記憶部に記憶する処理とを繰り返し、
前記情報端末に対する所定の操作を受け付けた場合に、文字認識結果を確定する。

【0007】

本開示の第１の態様によれば、撮影により現場機器の機器データを取得する際の作業者の作業負荷を低減させることができる。

【0008】

また、本開示の第２の態様は、第１の態様に記載の情報端末であって、
前記撮影されたフレーム画像をリアルタイムに表示する際に、前記文字認識することで得られる文字認識結果を重畳して表示する。

【0009】

また、本開示の第３の態様は、第２の態様に記載の情報端末であって、
前記制御部は、
表示する前記フレーム画像を第１の時間間隔で更新し、
重畳して表示する文字認識結果を前記第１の時間間隔よりも長い第２の時間間隔で更新する。

【0010】

また、本開示の第４の態様は、第１乃至第３のいずれかの態様に記載の情報端末であって、
前記制御部は、
前記撮影されたフレーム画像に文字認識結果として記憶する項目が複数含まれる場合、前記文字認識することで得られる各項目の文字認識結果を、項目単位で記憶部に記憶し、
前記情報端末に対する所定の操作を受け付けた場合に、項目単位で文字認識結果を確定する。

【0011】

また、本開示の第５の態様は、第１乃至第４のいずれかの態様に記載の情報端末であって、
前記制御部は、
確定した前記文字認識結果を表示部に表示したことに応じて、表示した前記文字認識結果が修正された場合に、修正された前記文字認識結果を記憶部に記憶する。

【0012】

また、本開示の第６の態様は、第１乃至第５のいずれかの態様に記載の情報端末であって、
前記制御部は、
機器の銘板が撮影されたフレーム画像を文字認識することで、文字認識結果として、機種名及び製造番号を得る。

【0013】

また、本開示の第７の態様は、第１乃至第６のいずれかの態様に記載の情報端末であって、
前記制御部は、
前記文字認識することで得られる文字認識結果を第１記憶部に記憶し、
前記情報端末に対する所定の操作を受け付けたことで確定した文字認識結果を第２記憶部に記憶する。

【0014】

また、本開示の第８の態様は、第７の態様に記載の情報端末であって、
前記制御部は、
前記文字認識することで文字認識結果が得られるごとに、前記第１記憶部に記憶されている文字認識結果を更新する。

【0015】

また、本開示の第９の態様は、第１乃至第８のいずれかの態様に記載の情報端末であって、
前記文字認識結果は、前記文字認識することで得られる結果のうち、前記制御部が保存条件を満たすと判定した結果である。

【0016】

また、本開示の第１０の態様は、第９の態様に記載の情報端末であって、
前記制御部は、
前記文字認識することで所定の項目について得られる結果が、予め定められた文字列であった場合に、前記保存条件を満たすと判定し、前記所定の項目について得られる結果を、前記所定の項目の文字認識結果として前記記憶部に記憶する。

【0017】

また、本開示の第１１の態様は、第７の態様に記載の情報端末であって、
前記制御部は、
前記第１記憶部に記憶された文字認識結果が得られたフレーム画像を、前記文字認識結果と関連付けて前記第１記憶部に記憶し、
前記第２記憶部に記憶された文字認識結果が得られたフレーム画像を、前記文字認識結果と関連付けて前記第２記憶部に記憶する。

【0018】

また、本開示の第１２の態様は、文字認識方法であって、
情報端末の制御部が、
撮影されたフレーム画像を取得する処理と、前記フレーム画像を文字認識することで得られる文字認識結果を記憶部に記憶する処理とを繰り返す工程と、
前記情報端末に対する所定の操作を受け付けた場合に、文字認識結果を確定する工程とを実行する。

【0019】

本開示の第１２の態様によれば、撮影により現場機器の機器データを取得する際の作業者の作業負荷を低減させることができる。

【0020】

また、本開示の第１３の態様は、文字認識プログラムであって、
情報端末の制御部に、
撮影されたフレーム画像を取得する処理と、前記フレーム画像を文字認識することで得られる文字認識結果を記憶部に記憶する処理とを繰り返す工程と、
前記情報端末に対する所定の操作を受け付けた場合に、文字認識結果を確定する工程とを実行させる。

【0021】

本開示の第１３の態様によれば、撮影により現場機器の機器データを取得する際の作業者の作業負荷を低減させることができる。

【図面の簡単な説明】

【0022】

【図1】情報端末の利用例を示す図である。

【図2】各フレーム画像に対して文字認識処理を行うことで得られた文字認識結果の一例を示す図である。

【図3】情報端末のハードウェア構成の一例を示す図である。

【図4】情報端末の機能構成の一例を示す第１の図である。

【図5】情報端末全体の動作例を示す図である。

【図6】認識部から抽出部までの処理の具体例を示す図である。

【図7】判定部の処理の具体例を示す図である。

【図8】第１記憶制御部の処理の流れを示すフローチャートである。

【図9】第２記憶制御部の処理の流れを示すフローチャートである。

【図10A】表示部により表示されるフレーム画像及びバウンディングボックスの表示例を示す第１の図である。

【図10B】表示部により表示されるフレーム画像及びバウンディングボックスの表示例を示す第２の図である。

【図11】情報端末による文字認識処理の流れを示すフローチャートである。

【図12】情報端末の機能構成の一例を示す第２の図である。

【発明を実施するための形態】

【0023】

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

【0024】

［第１の実施形態］
＜情報端末の利用例＞
はじめに、第１の実施形態に係る情報端末の利用例について説明する。図１は、情報端末の利用例を示す図である。図１の左側に示すように、情報端末１２０は、例えば、現場機器１１０の側面等に付された機器銘板１１１から、機器データを読み取るシーン等において利用される。

【0025】

情報端末１２０によれば、例えば、保守作業者１３０が現場調査を行い、調査結果を不図示のサーバ装置等に登録する際、調査対象である現場機器１１０を特定するための機器データを、保守作業者１３０が手入力する手間を省くことができる。また、保守作業者１３０が機器データを誤入力するのを防止することができる。

【0026】

なお、本実施形態では、現場機器１１０が空調機器の室外機であり、情報端末１２０が携帯端末であるとして説明する。ただし、現場機器１１０は空調機器の室外機に限定されるものではなく、空調機器の室外機以外のユニットであってもよいし、空調機器以外の現場機器であってもよい。また、情報端末１２０は携帯端末に限定されず、光学的文字認識機能を有する端末であれば、携帯端末以外の情報端末であってもよい。

【0027】

図１の右側は、保守作業者１３０が機器銘板１１１を撮影したことで、情報端末１２０の表示画面に、撮影画像１２１が表示された様子を示している。図１の右側に示すように、撮影画像１２１には、機器銘板１１１に対応する画像領域１２２が含まれる。

【0028】

現場機器１１０が空調機器の室外機の場合、画像領域１２２に表示される機器銘板１１１には、例えば、
・室外機であることを示す記載、
・冷房と暖房とを兼用する室外機であることを示す記載、
・機種についての記載（ラベル、機種コードデータ）、
・製造番号についての記載（ラベル、製造番号データ）、
・製品質量についての記載（ラベル、質量データ）、
・電源仕様についての記載（ラベル、相数データ、電圧データ、周波数データ）、
・圧縮機電動機の出力についての記載（ラベル、消費電力量データ）、
・管理番号についての記載（ラベル、管理コードデータ）、
・冷媒の量及び種類についての記載（ラベル、冷媒量データ、冷媒種コード）、
・設計圧力についての記載（ラベル、圧力データ）、
・製造年月についての記載（ラベル、製造年月データ）、
等が含まれる（図１では、「＊」として省略して示している）。また、実際の機器銘板１１１の記載には、アルファベットや数字、記号、漢字（現場機器１１０が設置された国の言語）など、多くの文字種が含まれる。

【0029】

なお、本実施形態では、情報端末１２０を用いて現場機器１１０を撮影する際、保守作業者１３０が撮影を開始してから、シャッタ操作を行うまでの間、動画像データとして撮影する。また、本実施形態では、動画像データに含まれる各フレーム画像に対して文字認識処理を行う。

【0030】

＜文字認識処理の一例＞
次に、保守作業者１３０が現場機器１１０を動画像データとして撮影し、情報端末１２０が各フレーム画像に対して文字認識処理を行った場合の文字認識結果について説明する。図２は、各フレーム画像に対して文字認識処理を行うことで得られた文字認識結果の一例を示す図である。

【0031】

図２において、縦軸２０１は時間軸を表しており、図２の例は、動画像データに含まれる各フレーム画像のうち、時刻＝Ｔ_１、Ｔ_２、Ｔ_３において撮影されたフレーム画像を示している（符号２１１～２１３）。

【0032】

また、図２の例は、動画像データに含まれる各フレーム画像に対して、文字認識処理を行うことで、現場機器１１０の機種名、製造番号、製造年月についての文字認識結果を、機器データとして取得した様子を示している（符号２２１～２２３）。

【0033】

具体的には、図２の例は、時刻＝Ｔ_１において撮影されたフレーム画像１の場合、機種名、製造番号については文字認識処理を行うことで文字認識結果が得られたことを示している。一方、製造年月については文字認識処理を行うことで文字認識結果が得られなかったことを示している。

【0034】

また、図２の例は、時刻＝Ｔ_２において撮影されたフレーム画像２の場合、機種名、製造番号、製造年月のいずれについても文字認識処理を行うことで文字認識結果が得られ、機器データが取得できたことを示している。

【0035】

更に、図２の例は、時刻＝Ｔ_３において撮影されたフレーム画像３の場合、製造番号については文字認識処理を行うことで文字認識結果が得られたことを示している。一方、機種名、製造年月については文字認識処理を行うことで、文字認識結果が得られなかったことを示している。

【0036】

このように、現場機器１１０を動画像データとして撮影した場合、保守作業者１３０が気付かないような撮影中のわずかな撮影状況の違いによって、文字認識結果が得られる場合と、得られない場合とがある。

【0037】

換言すると、シャッタ操作が行われたタイミングで、複数の対象項目（複数の認識対象の項目）全てについて文字認識結果が得られる可能性は高くはない。そこで、本実施形態に係る情報端末１２０では、シャッタ操作が行われるまでの間に撮影されたフレーム画像それぞれに対して文字認識処理を行う。そして、本実施形態に係る情報端末１２０では、いずれかのフレーム画像において全ての対象項目について文字認識結果が得られた場合に、機器データとして取得する。

【0038】

これにより、シャッタ操作が行われたタイミングで取得されたフレーム画像に対してのみ文字認識処理を行う場合と比較して、機器データを取得できる可能性を高めることができる。この結果、本実施形態に係る情報端末１２０によれば、撮影により現場機器の機器データを取得する際の保守作業者の作業負荷を低減させることができる。

【0039】

＜情報端末のハードウェア構成＞
次に、情報端末１２０のハードウェア構成について説明する。図３は、情報端末のハードウェア構成の一例を示す図である。図２に示すように、情報端末１２０は、プロセッサ３０１、メモリ３０２、補助記憶装置３０３、ユーザインタフェース装置３０４、撮像装置３０５、通信装置３０６を有する。なお、情報端末１２０の各ハードウェアは、バス３０７を介して相互に接続されている。

【0040】

プロセッサ３０１は、ＣＰＵ（Central Processing Unit）等の各種演算デバイスを有する。プロセッサ３０１は、各種プログラム（例えば、後述する文字認識プログラム等）をメモリ３０２上に読み出して実行する。

【0041】

メモリ３０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ３０１とメモリ３０２とは、いわゆるコンピュータを形成し、プロセッサ３０１が、メモリ３０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。

【0042】

補助記憶装置３０３は、各種プログラムや、各種プログラムがプロセッサ３０１によって実行される際に用いられる各種データ（例えば、後述するフレーム画像、ライブラリ、修正テーブル、機器データルール、文字認識結果等）を格納する。

【0043】

ユーザインタフェース装置３０４は、例えば、保守作業者１３０が各種操作を行うための操作機能と、情報端末１２０により実行される各種処理の処理結果を表示する表示機能とを有する。

【0044】

撮像装置３０５は、機器銘板１１１を撮影し、撮影画像１２１を生成する。通信装置３０６は、ネットワークを介して外部装置（例えば、不図示のサーバ装置）と通信を行うための通信デバイスである。

【0045】

なお、補助記憶装置３０３にインストールされる各種プログラムは、例えば、通信装置３０６を介してネットワークからダウンロードされることで、インストールされる。

【0046】

＜情報端末の機能構成＞
次に、情報端末１２０の機能構成について説明する。図４は、情報端末の機能構成の一例を示す第１の図である。上述したように、情報端末１２０には、文字認識プログラムがインストールされており、当該プログラムが実行されることで、情報端末１２０は、
・操作受付部４０１、
・取得部４０２、
・認識部４０３、
・修正部４０４、
・抽出部４０５、
・判定部４０６、
・バウンディングボックス生成部４０７、
・第１記憶制御部４０８、
・第２記憶制御部４０９、
・表示部４１０、
・手動修正部４１１、
として機能する。

【0047】

操作受付部４０１は、情報端末１２０に対する保守作業者１３０の各種操作のうち、撮影開始の操作と、シャッタ操作とを受け付ける。また、操作受付部４０１は、撮影開始の操作を受け付けた場合、取得部４０２に、撮影開始の指示を通知する。

【0048】

一方、操作受付部４０１は、シャッタ操作を受け付けた場合、取得部４０２に、撮影終了の指示を通知するとともに、第２記憶制御部４０９に、シャッタ操作があったことを通知する。

【0049】

取得部４０２は、操作受付部４０１より撮影開始の指示が通知されると、撮像装置３０５を動作させ、動画像として所定のフレーム周期（所定周期の一例）で撮影された撮影画像データの取得を開始する。取得部４０２は、取得した撮影画像データに含まれる各フレーム画像を表示部４１０に通知するとともに、各フレーム画像を間引いて、認識部４０３に通知する。更に、取得部４０２は、認識部４０３に通知した各フレーム画像を、フレーム画像記憶部４２１に記憶する。なお、取得部４０２によるこれらの処理は、操作受付部４０１から撮影終了の指示が通知されるまで、繰り返し実行される。

【0050】

認識部４０３は、取得部４０２より通知された各フレーム画像に対して、ライブラリ記憶部４２２を参照しながら文字認識処理を行い、認識した文字を修正部４０４に通知する。なお、ライブラリ記憶部４２２には、アルファベット、数字、記号を文字認識するためのライブラリが格納されているものとする。

【0051】

修正部４０４は、認識部４０３より通知された文字のうち、文字認識処理において誤認識された文字を、修正テーブル記憶部４２３を参照しながら特定し、特定した文字を、正しい文字に修正する。また、修正部４０４は、修正後の文字を抽出部４０５に通知する。なお、修正テーブル記憶部４２３には、機器銘板を撮影した撮影画像データに含まれるフレーム画像に対して文字認識処理を行った場合の、誤認識しやすい文字と、当該文字を正しく認識した場合の文字とが予め対応付けられた修正テーブルが記憶されている。

【0052】

抽出部４０５は、修正部４０４より通知された修正後の文字から、文字列を抽出し、抽出した文字列を、それぞれの位置及びサイズとともに判定部４０６に通知する。なお、抽出部４０５は、修正後の文字について、１行分を１つの文字列として抽出する。所定文字数分の空欄が含まれる場合、改行することで、１行を判定する。ただし、本実施形態において抽出部４０５は、数字の後に空欄がある場合には改行しない。

【0053】

判定部４０６は、抽出部４０５より通知された文字列が、それぞれ、対象項目（本実施形態では、機種名、製造番号、製造年月が認識対象の項目）の命名規則に則って記載されたか否か（保存条件を満たすか否か）を判定する。なお、機器データルール保持部４２４には、対象項目の文字列を構成する文字種、文字数、並び順を定めた命名規則が保持されており、判定部４０６は、機器データルール保持部４２４を参照することで、対象項目の命名規則に則って記載されたか否かを判定する。

【0054】

また、判定部４０６は、判定の結果、対象項目の命名規則に則って記載されたと判定した場合には、
・抽出部４０５より通知された文字列のうち、命名規則に則って記載されたと判定した文字列（文字認識結果）と、
・該文字列の位置及びサイズと、
を、バウンディングボックス生成部４０７に通知する。

【0055】

また、判定部４０６は、判定の結果、全ての対象項目が、対応する命名規則に則って記載されたと判定した場合には、対応する命名規則に則って記載された各文字列（各文字認識結果）を、各対象項目と関連付けて第１記憶制御部４０８に通知する。更に、判定部４０６は、抽出部４０５より通知された位置及びサイズを、各対象項目と関連付けて第１記憶制御部４０８に通知する。

【0056】

バウンディングボックス生成部４０７は、判定部４０６より通知された、文字列の位置及びサイズに基づいて、バウンディングボックス（文字列の位置及びサイズを示す情報）を生成する。また、バウンディングボックス生成部４０７は、生成したバウンディングボックスを、判定部４０６より通知された文字列（文字認識結果）とともに、表示部４１０に通知する。

【0057】

第１記憶制御部４０８は、判定部４０６より、全ての対象項目についての文字認識結果が通知されると、機器データとして、位置及びサイズとともに、対象項目と関連付けて第１記憶部４２５に記憶する。また、第１記憶制御部４０８は、判定部４０６より、全ての対象項目についての文字認識結果が通知されると、対応するフレーム画像を、フレーム画像記憶部４２１より読み出し、第１記憶部４２５に記憶する。

【0058】

なお、第１記憶制御部４０８は、第１記憶部４２５に、既に、対象項目についての文字認識結果が、対応する位置及びサイズ、フレーム画像とともに記憶されている場合には、上書きして記憶する。これにより、第１記憶部４２５には、撮影中に繰り返し通知される全ての対象項目についての文字認識結果のうち、最新の文字認識結果が、対応する位置及びサイズ、フレーム画像とともに記憶されることになる。

【0059】

第２記憶制御部４０９は、操作受付部４０１よりシャッタ操作があったことが通知されると、第１記憶部４２５から、最新の文字認識結果と、対応する位置及びサイズ、フレーム画像とを読み出し、第２記憶部４２６に記憶する。これにより、第２記憶制御部４０９は、確定した文字認識結果等を第２記憶部４２６に記憶することができる。換言すると、本実施形態において、シャッタ操作は、文字認識結果等を確定させるための操作ということができる。

【0060】

また、第２記憶制御部４０９は、確定した文字認識結果、位置及びサイズを、バウンディングボックス生成部４０７に通知する。また、第２記憶制御部４０９は、確定したフレーム画像を、表示部４１０に通知する。

【0061】

更に、第２記憶制御部４０９は、確定した文字認識結果、位置及びサイズ、フレーム画像を通知したことに応じて、手動修正部４１１より、文字認識結果が手動で修正されることで得られた修正後の文字列が通知された場合、これを受け取る。そして、第２記憶制御部４０９は、受け取った修正後の文字列を、第２記憶部４２６に上書きして記憶する。

【0062】

表示部４１０は、取得部４０２より、所定のフレーム周期で通知される各フレーム画像を、ユーザインタフェース装置３０４に表示する。なお、表示部４１０では、所定のフレーム周期で通知される各フレーム画像を表示する際、バウンディングボックス生成部４０７から通知されるバウンディングボックス及び文字認識結果を重畳する。表示部４１０が各フレーム画像に重畳するバウンディングボックス及び文字認識結果は、所定のフレーム周期よりも長い周期で更新される。上述したように、取得部４０２は、各フレーム画像を間引いて、認識部４０３に通知しているため、バウンディングボックスが生成される周期は、所定のフレーム周期より長くなるからである。

【0063】

また、表示部４１０は、シャッタ操作が行われたことで、第２記憶制御部４０９から通知されたフレーム画像に、バウンディングボックス生成部４０７から通知されたバウンディングボックス及び文字認識結果を重畳する。更に、表示部４１０は、バウンディングボックス及び文字認識結果を重畳したフレーム画像を、ユーザインタフェース装置３０４に表示する。

【0064】

つまり、表示部４１０は、
・撮影中、リアルタイムにフレーム画像を表示し、所定のフレーム周期より長い周期で、対象項目に重畳されたバウンディングボックス及び文字認識結果を更新し、
・シャッタ操作が行われた際には、確定したフレーム画像と、確定した位置及びサイズに基づき生成されたバウンディングボックスと、確定した文字認識結果とを表示する。

【0065】

手動修正部４１１は、シャッタ操作が行われたことで、表示部４１０により、確定した文字認識結果及び確定したフレーム画像が表示されたことに応じて、手動で修正指示が入力された場合に、これを受け付ける。また、手動修正部４１１は、手動で修正された修正後の文字列を、第２記憶制御部４０９に通知する。

【0066】

＜情報端末全体の動作例＞
次に、情報端末１２０全体の動作例について説明する。図５は、情報端末全体の動作例を示す図である。

【0067】

図５において、"フレーム画像１"～"フレーム画像５"は、取得部４０２により取得されたフレーム画像を示している。具体的には、撮影開始の指示が入力されることで"フレーム画像１"が取得され、"フレーム画像５"が撮影された直後に、シャッタ操作が行われた様子を示している。

【0068】

また、図５の例は、このうち、"フレーム画像１"、"フレーム画像３"、"フレーム画像５"が、フレーム画像記憶部４２１に記憶された様子を示している。

【0069】

なお、図５の例によれば、情報端末１２０のユーザインタフェース装置３０４に表示されるフレーム画像は、第１の時間間隔ａで更新される。また、情報端末１２０のユーザインタフェース装置３０４にフレーム画像に重畳して表示されるバウンディングボックス及び文字認識結果は、少なくとも第２の時間間隔ｂで更新される（ａ＜ｂ）。

【0070】

また、図５において、"認識結果１（ＮＧ）"は、"フレーム画像１"に対して、認識部４０３～判定部４０６の各部が処理を実行し、"フレーム画像１"に含まれる文字列のいずれかが、対象項目の命名規則に則って記載されていないと判定された様子を示している。この場合、第１記憶部４２５には、"認識結果１（ＮＧ）"及び"フレーム画像１"は記憶されない。

【0071】

一方、図５において、"認識結果３（ＯＫ）"は、"フレーム画像３"に対して、認識部４０３～判定部４０６の各部が処理を実行し、"フレーム画像３"に含まれる文字列が、対象項目の命名規則に則って記載されていると判定された様子を示している。この場合、第１記憶部４２５には、"認識結果３（ＯＫ）"（文字認識結果）及び"フレーム画像３"が記憶される（なお、図５の例では、位置及びサイズについては省略している）。

【0072】

また、図５において、"認識結果５（ＯＫ）"は、"フレーム画像５"に対して、認識部４０３～判定部４０６の各部が処理を実行し、"フレーム画像５"に含まれる文字列が、対象項目の命名規則に則って記載されていると判定された様子を示している。この場合、第１記憶部４２５には、"認識結果５（ＯＫ）" （文字認識結果）及び"フレーム画像５"が上書きして記憶される。

【0073】

また、図５の例は、シャッタ操作が行われた時点で、第１記憶部４２５に記憶されている"認識結果５（ＯＫ）" （文字認識結果）及び"フレーム画像５"が、第２記憶部４２６に記憶された様子を示している。

【0074】

＜情報端末の各機能部の処理の詳細＞
次に、情報端末の各機能部（ここでは、認識部４０３、修正部４０４、抽出部４０５、判定部４０６、第１記憶制御部４０８、第２記憶制御部４０９）の処理の詳細について説明する。

【0075】

（１）認識部４０３から抽出部４０５までの処理の詳細
はじめに、認識部４０３から抽出部４０５までの処理の詳細について説明する。図６は、認識部から抽出部までの処理の具体例を示す図である。

【0076】

上述したように、ライブラリ記憶部４２２には、アルファベット、数字、記号を文字認識するためのライブラリが格納されている。このため、認識部４０３は、フレーム画像に対して文字認識処理を行った際、フレーム画像内にアルファベット、数字、記号が含まれていた場合には、フレーム画像内のアルファベット、数字、記号を文字認識する。また、認識部４０３は、フレーム画像内にアルファベット、数字、記号以外の文字が含まれていた場合には、アルファベット、数字、記号のいずれかとして文字認識する。具体的には、認識部４０３は、フレーム画像内にアルファベット、数字、記号以外の文字が含まれていた場合には、当該文字と似ているアルファベット、数字、記号として文字認識する。

【0077】

図６において、符号６１０は、認識部４０３は、フレーム画像に対して文字認識処理を行うことで得られた文字を示している。

【0078】

続いて、修正部４０４は、符号６１０に示す文字の中から、誤認識された文字を判定する。具体的には、修正部４０４は、符号６１０に示す文字において、対象項目として使用されることのないアルファベット、数字、記号が含まれていた場合、それらのアルファベット、数字、記号は誤認識されたと判定して修正する。

【0079】

上述したように、修正部４０４は、修正テーブル記憶部４２３に記憶された修正テーブル（文字修正ルールの一例。例えば、修正テーブル６００）を参照しながら、誤認識されたと判定したアルファベット、数字、記号を修正する。なお、上述したように、修正テーブル６００には、誤認識しやすい文字（修正前の文字）と、当該文字を正しく認識した場合の文字（修正後文字）とが予め対応付けられている。図６において、符号６２０は、符号６１０に示す文字のうち、誤認識された文字が修正された修正後の文字を示している（なお、符号６２０は、紙面の都合上、更に、１行分を１つの文字列として抽出するために改行した状態を示している）。

【0080】

続いて、抽出部４０５は、符号６２０に示す文字について、１行分を１つの文字列として順次抽出し、判定部４０６に通知する。図６において、符号６３０は、符号６２０に示す文字の中から文字列として、"ＡＲＲ６３ＵＰ"が抽出された様子を示している。

【0081】

また、抽出部４０５は、抽出した文字列の改行前のフレーム画像内での位置及びサイズを順次算出し、抽出された文字列（符号６３０）とともに、判定部４０６に通知する。図６において、符号６３１は、抽出された文字列（符号６３０）の改行前のフレーム画像内での位置及びサイズが算出された様子を示している。

【0082】

（２）判定部４０６の処理の詳細
次に、判定部４０６の処理の詳細について説明する。図７は、判定部の処理の具体例を示す図である。

【0083】

上述したように、機器データルール保持部４２４には、対象項目の命名規則７００が保持されている。判定部４０６は、機器データルール保持部４２４に保持された命名規則７００を参照することで、抽出部４０５から順次通知された文字列（符号６３０参照）が、対象項目の命名規則に則って記載されたか否かを判定する。

【0084】

図７の例は、符号６３０に示す文字列が通知され、判定部４０６が、命名規則７００内の"機種コードデータ"の命名規則に基づいて定められた判定基準を参照した様子を示している。判定部４０６では、符号６３０に示す文字列である"ＡＲＲ６３ＵＰ"が判定基準に合致しているため、"機種コードデータ"の命名規則に則って記載されたと判定する。

【0085】

このため、判定部４０６は、"機種名"の文字列（文字認識結果）と、その位置及びサイズとを（符号７１０、７１１参照）、バウンディングボックス生成部４０７（図７において不図示）に通知する。

【0086】

なお、図７の例では、判定部４０６に順次通知された文字列の中に、
・命名規則７００内の"機種コードデータ"の命名規則に基づいて定められた判定基準に合致する文字列
はあったが、
・命名規則７００内の"製造番号データ"の命名規則に基づいて定められた判定基準に合致する文字列、及び、
・命名規則７００内の"製造年月データ"の命名規則に基づいて定められた判定基準に合致する文字列、
はなかったとする。このため、判定部４０６は、第１記憶制御部４０８に対して認識結果（ＮＧ）を通知する。

【0087】

一方、図７の例では示していないが、判定部４０６に順次通知された文字列の中に、
・命名規則７００内の"機種コードデータ"の命名規則に基づいて定められた判定基準に合致する文字列、
・命名規則７００内の"製造番号データ"の命名規則に基づいて定められた判定基準に合致する文字列、及び、
・命名規則７００内の"製造年月データ"の命名規則に基づいて定められた判定基準に合致する文字列、
がいずれもあったとする。この場合、判定部４０６は、
・全ての対象項目についての文字認識結果（認識結果（ＯＫ））、
・"機種名"の文字列（文字認識結果）、"製造番号"の文字列（文字認識結果）、"製造年月"の文字列（文字認識結果）それぞれの位置及びサイズ、
を第１記憶制御部４０８に通知する。

【0088】

（３）第１記憶制御部４０８の処理の詳細
次に、第１記憶制御部４０８の処理の詳細について説明する。図８は、第１記憶制御部の処理の流れを示すフローチャートである。

【0089】

図８に示すように、ステップＳ８０１において、第１記憶制御部４０８は、判定部４０６から文字認識結果（認識結果（ＯＫ））、位置及びサイズ、または認識結果（ＮＧ）を取得する。

【0090】

ステップＳ８０２において、第１記憶制御部４０８は、フレーム画像記憶部４２１を参照し、取得した文字認識結果に対応するフレーム画像を取得する。

【0091】

ステップＳ８０３において、第１記憶制御部４０８は、文字認識結果（認識結果（ＯＫ））、位置及びサイズを取得した場合には、取得した文字認識結果を対象項目と関連付けて、機器データとして、第１記憶部４２５に記憶する。また、第１記憶制御部４０８は、取得した位置及びサイズを、対象項目と関連付けて第１記憶部４２５に記憶する。更に、第１記憶制御部４０８は、取得したフレーム画像を、取得した文字認識結果と関連付けて第１記憶部４２５に記憶する。

【0092】

なお、既に、第１記憶部４２５に、文字認識結果、位置及びサイズ、フレーム画像が記憶されている場合、第１記憶制御部４０８は、上書きして記憶する。

【0093】

（４）第２記憶制御部４０９の処理の詳細
次に、第２記憶制御部４０９の処理の詳細について説明する。図９は、第２記憶制御部の処理の流れを示すフローチャートである。

【0094】

図９に示すように、ステップＳ９０１において、第２記憶制御部４０９は、第１記憶部４２５に機器データとして記憶されている最新の文字認識結果を特定する。

【0095】

ステップＳ９０２において、第２記憶制御部４０９は、特定した文字認識結果と、対応する位置及びサイズと、対応するフレーム画像とを第１記憶部４２５から読み出し、第２記憶部４２６に記憶することで、文字認識結果等を確定する。

【0096】

ステップＳ９０３において、第２記憶制御部４０９は、第２記憶部４２６に記憶された、確定したフレーム画像を、表示部４１０に通知する。

【0097】

ステップＳ９０４において、第２記憶制御部４０９は、第２記憶部４２６に記憶された、確定した文字認識結果、位置及びサイズを、バウンディングボックス生成部４０７に通知する。

【0098】

＜表示部の表示例＞
次に、表示部４１０に表示されるフレーム画像及びバウンディングボックスの表示例について説明する。図１０Ａ、図１０Ｂは、表示部により表示されるフレーム画像及びバウンディングボックスの表示例を示す第１及び第２の図である。

【0099】

図１０Ａの例は、保守作業者１３０が撮影開始の操作を行ったことで、時刻＝Ｔ_１で符号１０１１に示すフレーム画像１が表示された様子を示している。また、図１０Ａの例は、フレーム画像１に対する文字認識処理では、"機種名"、"製造番号"については文字認識結果が取得されたが、"製造年月"については文字認識結果が取得されなかったことを示している（符号１０２１参照）。このため、フレーム画像１には、"機種名"、"製造番号"の文字列にバウンディングボックスが表示されるとともに、文字認識結果が表示されることになる。

【0100】

また、図１０Ａの例は、時刻＝Ｔ_２で符号１０１２に示すフレーム画像２が表示された様子を示している。フレーム画像２に対しては文字認識処理が行われないため、フレーム画像１に対して文字認識処理が行われることで取得された文字認識結果がそのまま表示される。つまり、フレーム画像２には、"機種名"、"製造番号"の文字列にバウンディングボックスが表示されるとともに、文字認識結果が表示されることになる。

【0101】

また、図１０Ａの例は、時刻＝Ｔ_３で符号１０１３に示すフレーム画像３が表示された様子を示している。フレーム画像３に対する文字認識処理では、"機種名"、"製造番号"、"製造年月"について文字認識結果が取得されたことを示している（符号１０２３参照）。このため、フレーム画像３には、"機種名"、"製造番号"、"製造年月"の文字列にバウンディングボックスが表示されるとともに、文字認識結果が表示されることになる。

【0102】

続いて、図１０Ｂの例は、時刻＝Ｔ_４で符号１０１４に示すフレーム画像４が表示された様子を示している。フレーム画像４に対しては文字認識処理が行われないため、フレーム画像３に対して文字認識処理が行われることで取得された文字認識結果がそのまま表示される。つまり、フレーム画像４には、"機種名"、"製造番号"、"製造年月"の文字列にバウンディングボックスが表示されるとともに、文字認識結果が表示されることになる。

【0103】

また、図１０Ｂの例は、時刻＝Ｔ_５で符号１０１５に示すフレーム画像５が表示された様子を示している。フレーム画像５に対する文字認識処理では、"機種名"、"製造番号"、"製造年月"について文字認識結果が取得されたことを示している（符号１０２５参照）。このため、フレーム画像５には、"機種名"、"製造番号"、"製造年月"の文字列にバウンディングボックスが表示されるとともに、文字認識結果が表示されることになる。

【0104】

また、図１０Ｂの例は、時刻＝Ｔ_５の直後に、保守作業者１３０がシャッタ操作を行った様子を示している。この時点では、第１記憶部４２５に、最新の文字認識結果として、フレーム画像５に対して文字認識処理が行われることで取得された文字認識結果が記憶されており、対応するフレーム画像としてフレーム画像５が記憶されている。そして、当該最新の文字認識結果及び当該フレーム画像５が第２記憶部４２６に記憶されることになる。このため、シャッタ操作が行われた後には、時刻＝Ｔ_５で表示されたフレーム画像、バウンディングボックス、文字認識結果と同じフレーム画像、バウンディングボックス、文字認識結果が表示されることになる（符号１０１６）。

【0105】

＜文字認識処理＞
次に、情報端末１２０全体の文字認識処理の流れについて説明する。図１１は、情報端末による文字認識処理の流れを示すフローチャートである。

【0106】

ステップＳ１１０１において、情報端末１２０は、保守作業者１３０による撮影開始の操作を受け付ける。

【0107】

ステップＳ１１０２において、情報端末１２０は、動画像データの撮影を開始し、フレーム画像を取得するとともに、取得したフレーム画像を表示する。

【0108】

ステップＳ１１０３において、情報端末１２０は、取得したフレーム画像を間引いてフレーム画像記憶部４２１に記憶する。

【0109】

ステップＳ１１０４において、情報端末１２０は、取得したフレーム画像を間引いて文字認識処理を行う。

【0110】

ステップＳ１１０５において、情報端末１２０は、文字認識処理を行うことで認識した文字を修正する。

【0111】

ステップＳ１１０６において、情報端末１２０は、修正後の文字の中から文字列を抽出する。

【0112】

ステップＳ１１０７において、情報端末１２０は、抽出した文字列が、対象項目の命名規則に則って記載されたか否かを判定する。

【0113】

ステップＳ１１０８において、情報端末１２０は、命名規則に則って記載されていないと判定した場合には（ステップＳ１１０８においてＮＯの場合には）、ステップＳ１１１０に進む。

【0114】

一方、ステップＳ１１０８において、情報端末１２０は、命名規則に則って記載されていると判定した場合には（ステップＳ１１０８においてＹＥＳの場合には）、ステップＳ１１０９に進む。

【0115】

ステップＳ１１０９において、情報端末１２０は、命名規則に則って記載されていると判定した文字列（文字認識結果）を、バウンディングボックスとともに表示する。

【0116】

ステップＳ１１１０において、情報端末１２０は、第１記憶制御処理を行う。なお、第１記憶制御処理の詳細は、図８を用いて既に説明済みであるため、ここでは、説明を省略する。

【0117】

ステップＳ１１１１において、情報端末１２０は、シャッタ操作があったか否かを判定する。ステップＳ１１１１において、シャッタ操作がなかったと判定した場合には（ステップＳ１１１１においてＮＯの場合には）、ステップＳ１１０２に戻る。

【0118】

一方、ステップＳ１１１１において、シャッタ操作があったと判定した場合には（ステップＳ１１１１においてＹＥＳの場合には）、ステップＳ１１１２に進む。

【0119】

ステップＳ１１１２において、情報端末１２０は、第２記憶制御処理を行う。なお、第２記憶制御処理の詳細は、図９を用いて既に説明済みであるため、ここでは、説明を省略する。

【0120】

ステップＳ１１１３において、情報端末１２０は、確定した文字認識結果を、確定したフレーム画像に、バウンディングボックスとともに重畳して表示する。

【0121】

＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係る情報端末１２０は、
・撮影された動画像データに含まれる各フレーム画像を取得する処理と、フレーム画像に対して文字認識処理を行うことで取得される文字認識結果を第１記憶部に記憶する処理とを繰り返す。
・保守作業者によるシャッタ操作を受け付けた場合に、文字認識結果を確定する。

【0122】

このように、動画像データの撮影中に、各フレーム画像に対して文字認識処理を行い、シャッタ操作が行われた時点で、正しく取得した文字認識結果を確定する。これにより、第１の実施形態によれば、保守作業者は、機器データを取得するための撮影をやり直す必要がなくなる。

【0123】

この結果、第１の実施形態によれば、撮影により現場機器の機器データを取得する際の作業者の作業負荷を低減させることができる。

【0124】

［第２の実施形態］
上記第１の実施形態では、動画像データの撮影中に機器データが正しく取得できたか否かに関わらず、保守作業者は、シャッタ操作を行うことができたが、機器データが正しく取得できるまで、シャッタ操作を行うことができないように構成してもよい。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。

【0125】

＜情報端末の機能構成＞
図１２は、情報端末の機能構成の一例を示す第２の図である。図４を用いて説明した第１の実施形態に係る情報端末１２０の機能構成との相違点は、操作受付部１２０１の機能が、操作受付部４０１の機能とは異なる点である。

【0126】

第２の実施形態に係る情報端末１２０において、操作受付部１２０１は、保守作業者１３０による撮影開始の操作を受け付けて、取得部４０２に撮影開始の指示を通知するとともに、第１記憶部４２５の監視を開始する。

【0127】

具体的には、操作受付部１２０１は、第１記憶部４２５に、対象項目（機種名、製造番号、製造年月）についての文字認識結果が記憶されたか否かを監視する。そして、操作受付部１２０１は、文字認識結果が記憶されていないと判定した場合には、保守作業者１３０によるシャッタ操作を受け付けない。一方、操作受付部１２０１は、文字認識結果が記憶されたと判定した場合には、保守作業者１３０によるシャッタ操作を受け付け、第２記憶制御部４０９にシャッタ操作があったことを通知する。

【0128】

＜まとめ＞
以上の説明から明らかなように、第２の実施形態に係る情報端末１２０は、撮影開始の操作が行われた後、機器データが正しく取得できるまで、シャッタ操作を行うことができないように構成する。

【0129】

これにより、第２の実施形態によれば、保守作業者は、撮影のやり直しを確実になくすことができる。

【0130】

［その他の実施形態］
上記第１及び第２の実施形態では、文字認識結果を確定させるための操作として、シャッタ操作を割り当てる場合について説明したが、文字認識結果を確定させるための操作には、シャッタ操作以外の操作を割り当ててもよい。

【0131】

また、上記第１及び第２の実施形態では、シャッタ操作を行うことで、動画像データの撮影を終了し、文字認識結果を確定させることとした。しかしながら、動画像データの撮影終了及び文字認識結果の確定は、第１記憶部４２５に、対象項目についての文字認識結果が記憶されたことを条件に自動的に実行されるように構成してもよい。

【0132】

また、上記第１及び第２の実施形態では、全ての対象項目について文字認識結果が得られた場合に、第１記憶部４２５に記憶するものとして説明した。しかしながら、第１記憶部４２５に記憶する方法はこれに限定されない。例えば、上記第１及び第２の実施形態のように、対象項目が複数含まれ、かつ、対象項目のいずれかについて文字認識結果が取得された場合、当該取得された文字認識結果を、対応する対象項目の文字認識結果として上書きするように構成してもよい。つまり、対象項目単位で個別に文字認識結果を記憶するように構成してもよい。

【0133】

また、上記第１及び第２の実施形態では、機器銘板から機器データを読み取る場合について説明したが、機器データを読み取る対象は、機器銘板に限定されない。あるいは、機器銘板から読み取る対象は、機器データに限定されない。更に、撮像装置が撮影する対象は機器銘板に限定されず、特定の文字列が含まれていれば、機器銘板以外であってもよい。

【0134】

また、上記第１及び第２の実施形態では、現場機器が空調機器の室外機である場合の機器データルールについて例示したが、現場機器が異なる場合には、異なる現場機器に応じた機器データルールが用いられるものとする。同様に、上記第１及び第２の実施形態では、現場機器が空調機器の室外機である場合のラベルについて例示したが、現場機器が異なる場合には、異なる現場機器に応じたラベルが用いられるものとする。

【0135】

また、上記第１及び第２の実施形態では、説明の便宜上、表示されるフレーム画像に、当該フレーム画像から取得された文字認識結果を重畳表示するものとして説明した。しかしながら、文字認識結果を取得して重畳するまでには、一定の時間を要するため、文字認識結果が取得されたフレーム画像と、取得された文字認識結果が重畳されるフレーム画像とは、一致していなくてもよい。

【0136】

以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。

【符号の説明】

【0137】

１１０ ：現場機器
１１１ ：機器銘板
１２０ ：情報端末
１２１ ：撮影画像
３０５ ：撮像装置
４０１ ：操作受付部
４０２ ：取得部
４０３ ：認識部
４０４ ：修正部
４０５ ：抽出部
４０６ ：判定部
４０７ ：バウンディングボックス生成部
４０８ ：第１記憶制御部
４０９ ：第２記憶制御部
４１０ ：表示部
４１１ ：手動修正部
１２０１ ：操作受付部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12】