IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人 鹿児島大学の特許一覧 ▶ オーシャンソリューションテクノロジー株式会社の特許一覧 ▶ 株式会社リリーの特許一覧

<>
  • 特開-文字認識装置及び文字認識プログラム 図1
  • 特開-文字認識装置及び文字認識プログラム 図2
  • 特開-文字認識装置及び文字認識プログラム 図3
  • 特開-文字認識装置及び文字認識プログラム 図4
  • 特開-文字認識装置及び文字認識プログラム 図5
  • 特開-文字認識装置及び文字認識プログラム 図6
  • 特開-文字認識装置及び文字認識プログラム 図7
  • 特開-文字認識装置及び文字認識プログラム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023011289
(43)【公開日】2023-01-24
(54)【発明の名称】文字認識装置及び文字認識プログラム
(51)【国際特許分類】
   G06V 30/20 20220101AFI20230117BHJP
   G06V 30/164 20220101ALI20230117BHJP
   G06V 30/14 20220101ALI20230117BHJP
   G06V 30/146 20220101ALI20230117BHJP
   G06V 30/12 20220101ALI20230117BHJP
【FI】
G06K9/78
G06K9/40
G06K9/20 340J
G06K9/20 320J
G06K9/32
G06K9/03 C
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2021115059
(22)【出願日】2021-07-12
(71)【出願人】
【識別番号】504258527
【氏名又は名称】国立大学法人 鹿児島大学
(71)【出願人】
【識別番号】518128218
【氏名又は名称】オーシャンソリューションテクノロジー株式会社
(71)【出願人】
【識別番号】517414990
【氏名又は名称】株式会社リリー
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100162259
【弁理士】
【氏名又は名称】末富 孝典
(74)【代理人】
【識別番号】100168114
【弁理士】
【氏名又は名称】山中 生太
(74)【代理人】
【識別番号】100146916
【弁理士】
【氏名又は名称】廣石 雅紀
(72)【発明者】
【氏名】小田 謙太郎
【テーマコード(参考)】
5B029
5B064
【Fターム(参考)】
5B029AA01
5B029BB02
5B029BB17
5B029CC13
5B029CC27
5B029EE05
5B029EE12
5B029EE13
5B064AA03
5B064AB13
5B064BA01
5B064CA07
5B064CA08
5B064CA09
5B064DA03
5B064EA30
5B064FA05
5B064FA13
(57)【要約】
【課題】画質の良くない画像データが文字認識処理に供されにくい文字認識装置及び文字認識プログラムを提供する。
【解決手段】文字認識装置において、評価指標算出部143は、文字を表示している表示画面を繰り返し撮像することにより生成された、時系列に並ぶ複数のノイズ除去処理済データD3を取得し、取得したノイズ除去処理済データD3の各々について、画質の良さを表す評価指標を算出する。選出部144は、時系列に並ぶノイズ除去処理済データD3の間の時間間隔よりも長い文字認識周期分のノイズ除去処理済データD3よりなる画像データ群D4ごとに、その画像データ群D4において最も画質が良いことを表す評価指標が算出されたノイズ除去処理済データD3である良画質画像データD5を選出する。文字認識部146は、罫線除去処理が施された良画質画像データD5から文字を認識する文字認識処理を行う。
【選択図】図3
【特許請求の範囲】
【請求項1】
文字を表示している表示画面を繰り返し撮像することにより生成された、時系列に並ぶ複数の画像データを取得し、取得した前記画像データの各々について、その画像データの画質の良さを表す評価指標を算出する評価指標算出部と、
時系列に並ぶ前記画像データの間の時間間隔よりも長い時間間隔として予め定められた文字認識周期分の前記画像データよりなる画像データ群ごとに、その画像データ群において最も画質が良いことを表す前記評価指標が前記評価指標算出部によって算出された前記画像データである良画質画像データを選出する選出部と、
前記画像データ群ごとに前記選出部によって選出される前記良画質画像データの各々から前記文字を認識する文字認識処理を行う文字認識部と、
を備える、文字認識装置。
【請求項2】
時系列に並ぶ複数の前記画像データの元となる、時系列に並ぶ複数の元画像データを取得し、取得した前記元画像データの各々に対して、前記表示画面に映り込んだ外光を表すノイズ成分を除去するノイズ除去処理を施すノイズ除去部、
をさらに備え、
前記評価指標算出部によって前記評価指標の算出の対象とされる前記画像データが、前記ノイズ除去部によって前記元画像データに対して前記ノイズ除去処理が施されることにより得られたノイズ除去処理済データである、
請求項1に記載の文字認識装置。
【請求項3】
前記ノイズ除去処理が、
前記元画像データに対してぼかし処理を施したぼかし処理済データを作成する処理と、
前記元画像データから前記ぼかし処理済データを引き算する処理と、
を含む、請求項2に記載の文字認識装置。
【請求項4】
前記表示画面を繰り返し撮像する撮像装置から、時系列に並ぶ複数の生画像データを取得し、取得した前記生画像データの各々に対して、前記表示画面以外の周辺領域を除去する切り出し処理と、前記切り出し処理が施された前記生画像データを、前記表示画面を真正面から撮像した形態に近づけるホモグラフィー処理とを施す前処理部、
をさらに備え、
前記ノイズ除去部によって前記ノイズ除去処理の対象とされる前記元画像データが、前記前処理部によって前記生画像データに対して前記切り出し処理及び前記ホモグラフィー処理が施されることにより得られた前処理済データである、
請求項2又は3に記載の文字認識装置。
【請求項5】
前記表示画面に、前記文字と共に罫線が表示され、
前記良画質画像データの各々に対して、その良画質画像データから前記罫線を表す成分を除去する罫線除去処理を施す罫線除去部、
をさらに備え、
前記文字認識部が、前記罫線除去部によって前記罫線除去処理が施された前記良画質画像データを、前記文字認識処理の対象とする、
請求項1から4のいずれか1項に記載の文字認識装置。
【請求項6】
前記良画質画像データの各々に対する前記文字認識処理の結果を用いて、最も出現頻度の高い前記文字認識処理の結果が採用される条件で、最終的な前記文字の読み取り結果を特定し、特定した読み取り結果を表す読み取り結果文字データを出力する出力部、
をさらに備える、請求項1から5のいずれか1項に記載の文字認識装置。
【請求項7】
前記表示画面の前記撮像の際に、その撮像の内容の確認のために前記表示画面を含む撮像領域を表示する表示装置と、
前記出力部によって出力された前記読み取り結果文字データを、前記撮像領域に重ねて前記表示装置に表示させるオーバーレイ表示制御部と、
をさらに備える、請求項6に記載の文字認識装置。
【請求項8】
時系列に並ぶすべての前記画像データのうちで、最も画質が良いことを表す前記評価指標が前記評価指標算出部によって算出されたものを証拠用画像データとして特定し、特定した前記証拠用画像データを保存させる制御を行う証拠用画像データ特定部、
をさらに備える、請求項1から7のいずれか1項に記載の文字認識装置。
【請求項9】
コンピュータに、
文字を表示している表示画面を繰り返し撮像することにより生成された、時系列に並ぶ複数の画像データを取得し、取得した前記画像データの各々について、その画像データの画質の良さを表す評価指標を算出する評価指標算出機能と、
時系列に並ぶ前記画像データの間の時間間隔よりも長い時間間隔として予め定められた文字認識周期分の前記画像データよりなる画像データ群ごとに、その画像データ群において最も画質が良いことを表す前記評価指標が前記評価指標算出機能によって算出された前記画像データである良画質画像データを選出する選出機能と、
前記画像データ群ごとに前記選出機能によって選出される前記良画質画像データの各々から前記文字を認識する文字認識処理を行う文字認識機能と、
を実現させる、文字認識プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、文字認識装置及び文字認識プログラムに関する。
【背景技術】
【0002】
特許文献1に開示されているように、計測器の表示画面から計測結果を表す文字を読み取る文字認識装置が知られている。この文字認識装置は、計測器の表示画面を撮像する撮像装置と、その撮像装置による撮像で生成された画像データを用いて、計測結果を表す文字を認識する文字認識処理を行う文字認識部とを備える。
【0003】
なお、本明細書において、“文字”の概念には“数字”も含まれるものとする。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2015-197851号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
例えば、文字認識処理を複数回行い、結果の多数決を取ることで文字の認識の信頼性を高めたい場合がある。また、文字認識処理の結果を時系列で次々に外部に出力したい場合もある。そういった場合には、計測器の表示画面を複数回撮像して得た複数の画像データの各々に対して文字認識処理が行われる。
【0006】
しかし、それら複数の画像データの中には、撮像時の手振れ、ピンボケ、ノイズの映り込み等が原因して画質の良くないものが含まれ得る。そして、そのような画質の良くない画像データについて文字認識処理を行っても、その文字認識処理の結果は上記信頼性の向上に寄与するとは言い難い。また、その文字認識処理の結果を外部に出力しても、それが外部で有効に利用されるとは言い難い。
【0007】
このように、複数回の撮像で得たすべての画像データを文字認識処理に供する場合、画質の良くない画像データに対して文字認識処理が無駄に行われる事態が生じ得る。文字認識処理を無駄に行うことは、上記多数決の結果を得るまでの処理時間が長くなる要因となったり、プロセッサにかかる負担が増大する要因となったりする。
【0008】
また、撮像の繰り返し周期が文字認識処理の繰り返し周期よりも充分に短い場合には、画質の良くない画像データが文字認識処理に供されるのを抑制し、相対的に画質の良い画像データだけを選択的に文字認識処理に供したい場合がある。本発明は、以上説明した事情に鑑みてなされたものである。
【0009】
本発明の目的は、画質の良くない画像データが文字認識処理に供されにくい文字認識装置及び文字認識プログラムを提供することである。
【課題を解決するための手段】
【0010】
本発明に係る文字認識装置は、
文字を表示している表示画面を繰り返し撮像することにより生成された、時系列に並ぶ複数の画像データを取得し、取得した前記画像データの各々について、その画像データの画質の良さを表す評価指標を算出する評価指標算出部と、
時系列に並ぶ前記画像データの間の時間間隔よりも長い時間間隔として予め定められた文字認識周期分の前記画像データよりなる画像データ群ごとに、その画像データ群において最も画質が良いことを表す前記評価指標が前記評価指標算出部によって算出された前記画像データである良画質画像データを選出する選出部と、
前記画像データ群ごとに前記選出部によって選出される前記良画質画像データの各々から前記文字を認識する文字認識処理を行う文字認識部と、
を備える。
【0011】
時系列に並ぶ複数の前記画像データの元となる、時系列に並ぶ複数の元画像データを取得し、取得した前記元画像データの各々に対して、前記表示画面に映り込んだ外光を表すノイズ成分を除去するノイズ除去処理を施すノイズ除去部、
をさらに備え、
前記評価指標算出部によって前記評価指標の算出の対象とされる前記画像データが、前記ノイズ除去部によって前記元画像データに対して前記ノイズ除去処理が施されることにより得られたノイズ除去処理済データであってもよい。
【0012】
前記ノイズ除去処理が、
前記元画像データに対してぼかし処理を施したぼかし処理済データを作成する処理と、
前記元画像データから前記ぼかし処理済データを引き算する処理と、
を含んでもよい。
【0013】
前記表示画面を繰り返し撮像する撮像装置から、時系列に並ぶ複数の生画像データを取得し、取得した前記生画像データの各々に対して、前記表示画面以外の周辺領域を除去する切り出し処理と、前記切り出し処理が施された前記生画像データを、前記表示画面を真正面から撮像した形態に近づけるホモグラフィー処理とを施す前処理部、
をさらに備え、
前記ノイズ除去部によって前記ノイズ除去処理の対象とされる前記元画像データが、前記前処理部によって前記生画像データに対して前記切り出し処理及び前記ホモグラフィー処理が施されることにより得られた前処理済データであってもよい。
【0014】
前記表示画面に、前記文字と共に罫線が表示され、
前記良画質画像データの各々に対して、その良画質画像データから前記罫線を表す成分を除去する罫線除去処理を施す罫線除去部、
をさらに備え、
前記文字認識部が、前記罫線除去部によって前記罫線除去処理が施された前記良画質画像データを、前記文字認識処理の対象としてもよい。
【0015】
前記良画質画像データの各々に対する前記文字認識処理の結果を用いて、最も出現頻度の高い前記文字認識処理の結果が採用される条件で、最終的な前記文字の読み取り結果を特定し、特定した読み取り結果を表す読み取り結果文字データを出力する出力部、
をさらに備えてもよい。
【0016】
前記表示画面の前記撮像の際に、その撮像の内容の確認のために前記表示画面を含む撮像領域を表示する表示装置と、
前記出力部によって出力された前記読み取り結果文字データを、前記撮像領域に重ねて前記表示装置に表示させるオーバーレイ表示制御部と、
をさらに備えてもよい。
【0017】
時系列に並ぶすべての前記画像データのうちで、最も画質が良いことを表す前記評価指標が前記評価指標算出部によって算出されたものを証拠用画像データとして特定し、特定した前記証拠用画像データを保存させる制御を行う証拠用画像データ特定部、
をさらに備えてもよい。
【0018】
本発明に係る文字認識プログラムは、
コンピュータに、
文字を表示している表示画面を繰り返し撮像することにより生成された、時系列に並ぶ複数の画像データを取得し、取得した前記画像データの各々について、その画像データの画質の良さを表す評価指標を算出する評価指標算出機能と、
時系列に並ぶ前記画像データの間の時間間隔よりも長い時間間隔として予め定められた文字認識周期分の前記画像データよりなる画像データ群ごとに、その画像データ群において最も画質が良いことを表す前記評価指標が前記評価指標算出機能によって算出された前記画像データである良画質画像データを選出する選出機能と、
前記画像データ群ごとに前記選出機能によって選出される前記良画質画像データの各々から前記文字を認識する文字認識処理を行う文字認識機能と、
を実現させる。
【発明の効果】
【0019】
上記構成によれば、画像データ群のうち最も画質が良いことを表す評価指標が算出された良画質画像データが、文字認識処理に供される。このため、画質の良くない画像データが文字認識処理に供されにくい。
【図面の簡単な説明】
【0020】
図1】実施形態に係る漁業管理支援システムの構成を示す概念図。
図2】実施形態に係る文字認識装置の構成を示す概念図。
図3】実施形態に係る文字認識装置の機能を示す概念図。
図4】(A):実施形態に係る生画像データを示す概念図。(B):同生画像データから抽出した境界表示部材を示す概念図。(C):同生画像データに切り出し処理を施した結果を示す概念図。(D):同生画像データにホモグラフィー処理を施した結果を示す概念図。
図5】(A):実施形態に係る前処理済データを示す概念図。(B):実施形態に係るノイズ除去処理が施された前処理済データを示す概念図。
図6】(A):実施形態に係る良画質画像データを示す概念図。(B):実施形態に係る良画質画像データ中の罫線を表す成分を示す概念図。(C):実施形態に係る罫線除去処理済データを示す概念図。
図7】実施形態に係る読み取り結果文字データがオーバーレイ表示された表示装置の表示画面を示す概念図。
図8】実施形態に係る文字読み取り処理のフローチャート。
【発明を実施するための形態】
【0021】
以下、図面を参照し、実施形態に係る漁業管理支援システムについて説明する。図中、同一又は対応する部分に同一の符号を付す。
【0022】
図1に示すように、本実施形態に係る漁業管理支援システム300は、漁業を営むユーザが漁獲用の船舶FSにおいて操作する文字認識装置100と、通信回線NEを通じて文字認識装置100との間で通信が可能な管理サーバ200とを備える。
【0023】
船舶FSには、潮流の流速を計測する潮流計MAが搭載されている。潮流計MAは、計測結果を表示出力する表示画面DSを有する。なお、潮流計MAは、各種物理量を計測する計測器の一例である。
【0024】
文字認識装置100は、携行可能なコンピュータ、具体的には、スマートフォンによって構成されている。文字認識装置100は、船上でユーザに操作されることにより、潮流計MAの表示画面DSから計測結果を表す数字、記号等の文字を読み取る。
【0025】
そして、文字認識装置100は、表示画面DSから読み取った文字を表す読み取り結果文字データD8を、管理サーバ200との通信が確立されたタイミングで、管理サーバ200に送信する。管理サーバ200は、文字認識装置100から取得した読み取り結果文字データD8を用いて、船舶FSで行われた操業の内容、漁獲高等を表す報告書、日誌等の作成を行う。
【0026】
本実施形態に係る漁業管理支援システム300は、文字認識装置100の構成に最大の特徴を有する。そこで、以下、文字認識装置100について具体的に説明する。
【0027】
図2に示すように、文字認識装置100は、動画を撮像可能な撮像装置110と、撮像装置110によって撮像される内容を表示する表示装置120とを備える。撮像装置110は、図1に示した潮流計MAの表示画面DSの撮像に用いられる。表示装置120は、撮像装置110による撮像の際に、その撮像の内容をユーザが確認できるようにするために、その撮像の内容をリアルタイムに表示出力する。
【0028】
また、文字認識装置100は、文字認識プログラム131が格納された記憶装置130と、文字認識プログラム131を実行するプロセッサ140とを備える。
【0029】
文字認識プログラム131は、撮像装置110による撮像の結果を用いて、図1に示した潮流計MAの表示画面DSから計測結果を表す文字を読み取る文字読み取り処理の手順を規定したものである。
【0030】
また、記憶装置130には、文字読み取り処理で文字の認識に用いられるテンプレートデータ132が格納されている。また、記憶装置130には、文字読み取り処理で文字の認識の対象とした撮像結果を表す証拠用画像データ133が保存される。
【0031】
また、文字認識装置100は、図1に示した管理サーバ200との通信を行う通信装置150も備える。通信装置150は、文字認識プログラム131の規定に従ってプロセッサ140が文字を読み取った結果を、図1に示した読み取り結果文字データD8として管理サーバ200に送信する。
【0032】
以下、文字認識装置100の機能について具体的に説明する。
【0033】
図3に示すように、撮像装置110は、生画像データD1を生成し、出力する。生画像データD1は、図1に示した潮流計MAの表示画面DSを撮像した結果を表す。
【0034】
既述のように撮像装置110は、図1に示した潮流計MAの表示画面DSを、動画として撮像する。具体的には、撮像装置110は、静止画を繰り返し撮像する。つまり、生画像データD1は、動画を構成する1コマの静止画としてのフレームを表す。図3には、1コマの生画像データD1を代表して示すが、撮像装置110は、生画像データD1を時系列で次々に出力する。
【0035】
次に、プロセッサ140の機能について説明する。プロセッサ140は、図2に示した文字認識プログラム131を実行することにより、時系列に並ぶ複数の生画像データD1を撮像装置110から取得する前処理部141としての機能を発揮する。
【0036】
前処理部141は、撮像装置110から取得した生画像データD1の各々に対して、図1に示した表示画面DS以外の周辺領域を除去する切り出し処理と、その切り出し処理が施された生画像データD1を、図1に示した表示画面DSを真正面から撮像した形態に近づけるホモグラフィー(Homography)処理とを施す。以下、各処理について具体的に説明する。
【0037】
図4(A)に、撮像装置110から取得される生画像データD1を例示する。揺れる船上で表示画面DSの領域のみを撮像するのは困難であるため、生画像データD1においては、表示画面DSを取り巻く周辺領域PDも映り込んでいる。しかし、この周辺領域PDは、文字の読み取りに寄与しないので不要である。この周辺領域PDを除去する処理が、切り出し処理である。
【0038】
また、揺れる船上で表示画面DSを真正面から撮像するのは困難であるため、生画像データD1は、表示画面DSの法線に対して斜めの方向から撮像された結果を表している。このため、表示画面DSが、長方形ではなく平行四辺形状又は台形状に歪んでいる。この歪を補正する処理が、ホモグラフィー処理である。
【0039】
まず、切り出し処理について説明する。切り出し処理を実現するためには、前処理部141によって表示画面DSの領域が認識される必要がある。その認識を容易にするために、予め、潮流計MAに、表示画面DSの縁、即ち境界を表す境界表示部材CTが、貼り付けられている。
【0040】
境界表示部材CTは、表示画面DS内及び周辺領域PD内で出現しないか又は相対的に出現する確率が小さい色彩をもつ。なお、本実施形態では、境界表示部材CTはピンク色のマスキングテープによって構成される。前処理部141によって境界表示部材CTの領域が認識されれば、自ずと表示画面DSの領域も認識されたことになる。
【0041】
図4(B)に、前処理部141によって境界表示部材CTが認識された結果を示す。図4(B)では、境界表示部材CTが認識可能であることを明示するために便宜上、境界表示部材CTを白色で示し、境界表示部材CT以外の領域を黒色で示している。
【0042】
但し、図4(B)に示す画像データの作成は必須ではない。既述のとおり、境界表示部材CTが、表示画面DS内及び周辺領域PD内で出現しないか又は相対的に出現する確率が小さい色彩をもつため、前処理部141は、生画像データD1中で、色彩によって境界表示部材CTの領域を認識することができる。
【0043】
前処理部141は、生画像データD1中で表示画面DSを枠状に取り囲む境界表示部材CTの領域を認識することができれば、境界表示部材CTの領域の外側の領域を除去することにより、切り出し処理を達成することができる。
【0044】
図4(C)に、前処理部141によって切り出し処理が施された生画像データD1を示す。切り出し処理によって、図4(A)に示した周辺領域PDが除去された。
【0045】
但し、図4(C)に示す生画像データD1には、境界表示部材CTの領域がまだ残っている。また、既述のとおり、生画像データD1は表示画面DSを斜めから撮像した結果であるため、生画像データD1において表示画面DSが、長方形ではなく平行四辺形状又は台形状に歪んでいる。そこで、前処理部141は、境界表示部材CTの領域を除去し、かつ上記歪を補正するホモグラフィー処理をさらに行う。
【0046】
具体的には、まず、前処理部141は、境界表示部材CTと矩形の表示画面DSとの境界によって構成される4つの角部C1、C2、C3、C4を認識する。
【0047】
次に、前処理部141は、それら4つの角部C1-C4を直線でつないで構成される平行四辺形又は台形の領域、即ち、表示画面DSの領域のみを残す。
【0048】
次に、前処理部141は、その残された平行四辺形状又は台形状の表示画面DSの領域を、図1に示した表示画面DSを真正面から撮像した形態に近づけるホモグラフィー処理を行う。
【0049】
図4(D)に、ホモグラフィー処理が施された生画像データD1を示す。図4(C)に示す平行四辺形状又は台形状の表示画面DSの領域が、ホモグラフィー処理によって、図4(D)では長方形に近づけられている。
【0050】
以上説明した前処理、即ち、切り出し処理及びホモグラフィー処理が施された生画像データD1を、以下では、前処理済データD2と呼ぶことにする。
【0051】
図3に戻り、説明を続ける。前処理部141は、撮像装置110から時系列で次々に取得する生画像データD1の各々に対して、以上説明した前処理を順次施し、前処理済データD2を時系列で次々に出力する。
【0052】
プロセッサ140は、図2に示した文字認識プログラム131を実行することにより、前処理済データD2からノイズを除去するノイズ除去部142としての機能も発揮する。
【0053】
具体的には、ノイズ除去部142は、時系列に並ぶ複数の前処理済データD2を前処理部141から次々に取得し、取得した前処理済データD2の各々に対して、図1に示した表示画面DSに映り込んだ外光を表すノイズ成分を除去するノイズ除去処理を施す。以下、ノイズ除去処理について具体的に説明する。
【0054】
図5(A)に、前処理部141から取得される前処理済データD2を例示する。前処理済データD2においては、表示画面DSに外光が映り込んでいる。
【0055】
ここで“外光”とは、図2に示す撮像装置110によって表示画面DSを撮影する際に、外部から表示画面DSに入射したのち表示画面DSで反射することにより撮像装置110に入射した光を指す。外光によって、例えば、文字認識装置100、撮影者であるユーザ、ユーザの背後の景色等を表す、ぼやけた像が前処理済データD2に映り込む。
【0056】
表示画面DSに写り込んだ外光は、表示画面DSから文字を読み取る際に邪魔になる。そこで、ノイズ除去部142は、表示画面DSに映り込んだ外光を表すノイズ成分を除去するノイズ除去処理を施す。
【0057】
具体的には、ノイズ除去部142は、まず、前処理済データD2に対して、ぼかし処理を施したもの(以下、ぼかし処理済データという。)を作成する。ぼかし処理としては、ガウシアンぼかし(Gaussian Blur)が好ましい。
【0058】
外光を表すノイズ成分は元々ぼやけているため、表示画面DSに表示された文字を表す成分に比べると、ぼかし処理の影響を受けにくい。このため、ぼかし処理によってノイズ成分は殆どそのまま残される。
【0059】
次に、ノイズ除去部142は、元の前処理済データD2から上記ぼかし処理済データを引き算する。ここで“引き算”とは、対応する画素値の引き算を意味する。この引き算により、元の前処理済データD2からノイズ成分が除去される。一方、ノイズ成分が映り込んだ部分以外の部分における上記引き算は、鮮明さの度合いに殆ど影響しない。つまり、上記引き算によって、主にノイズ成分を選択的に除去できる。
【0060】
図5(B)に、以上説明したノイズ除去処理が施された前処理済データD2を示す。以下では、このようにノイズ除去処理が施された前処理済データD2を、ノイズ除去処理済データD3と呼ぶことにする。
【0061】
図3に戻り、説明を続ける。ノイズ除去部142は、前処理部141から時系列で次々に取得する前処理済データD2の各々に対して、以上説明したノイズ除去処理を順次施し、ノイズ除去処理済データD3を時系列で次々に出力する。
【0062】
プロセッサ140は、図2に示した文字認識プログラム131を実行することにより、ノイズ除去処理済データD3の各々に対して評価指標を算出する評価指標算出部143としての機能も発揮する。
【0063】
評価指標は、ノイズ除去処理済データD3の画質の良さを表す。具体的には、評価指標は、ノイズ除去処理済データD3の画質の鮮明さの度合いを表す。評価指標の算出には、画素値が相対的に大きく変化する箇所であるエッジを検出するラプラシアンフィルタ(Laplacian Filter)が用いられる。
【0064】
本実施形態では、評価指標算出部143は、空間的2次微分の値の大きなエッジが画像中に高いコントラストで多く散在するほど、画質の鮮明さの度合いが高いことを表す評価指標が得られる条件で、評価指標を算出する。
【0065】
具体的には、評価指標算出部143は、まず、ノイズ除去処理済データD3に対してラプラシアンフィルタを施したもの(以下、ラプラシアン画像データという。)を作成する。次に、評価指標算出部143は、ラプラシアン画像データにおける画素値の分散αと、ラプラシアン画像において最も輝度の高い画素値βとを算出する。
【0066】
このとき、評価指標は、αとβとの積に比例する値として定義される。一具体例として、評価指標の定義式は、α/2×βである。
【0067】
評価指標算出部143は、ノイズ除去部142から時系列で次々に取得するノイズ除去処理済データD3の各々について、以上説明した評価指標を算出する。また、評価指標算出部143は、ノイズ除去処理済データD3と、そのノイズ除去処理済データD3について算出した評価指標とを対応付けた形態で、時系列で次々に出力する。
【0068】
プロセッサ140は、図2に示した文字認識プログラム131を実行することにより、相対的に高い評価指標が算出されたノイズ除去処理済データD3を選出する選出部144としての機能も発揮する。
【0069】
選出部144は、時系列に並ぶノイズ除去処理済データD3の間の時間間隔よりも長い時間間隔として予め定められた文字認識周期分のコマ数のノイズ除去処理済データD3よりなる画像データ群D4ごとに、その画像データ群D4において最も画質が良いことを表す評価指標が評価指標算出部143によって算出されたノイズ除去処理済データD3(以下、良画質画像データD5と記す。)を選出し出力する。つまり、選出部144は、文字認識周期ごとに、良画質画像データD5を出力する。
【0070】
なお、評価指標算出部143から出力されるノイズ除去処理済データD3のフレームレートは、例えば30fps程度である。つまり、時系列に並ぶノイズ除去処理済データD3の間の時間間隔は、例えば、33.3ミリ秒程度である。また、上記文字認識周期は、例えば500ミリ秒程度である。
【0071】
また、プロセッサ140は、図2に示した文字認識プログラム131を実行することにより、良画質画像データD5の各々に対して、その良画質画像データD5から罫線を表す成分を除去する罫線除去処理を施す罫線除去部145としての機能も発揮する。以下、罫線除去処理について具体的に説明する。
【0072】
図6(A)に示すように、良画質画像データD5は、縦横に延在する罫線RLを表す成分を含む。つまり、図1に示した潮流計MAの表示画面DSには、計測結果を表す文字と共に罫線RLが表示される。しかし、罫線RLは、文字を認識する際に、文字そのもの、又は文字の一部を表すものと誤認される懸念がある。例えば、縦の罫線RLは、数字の“1”と誤認される懸念がある。
【0073】
そこで、罫線除去部145は、良画質画像データD5から罫線RLを表す成分を除去する罫線除去処理を行う。そのために、まず、良画質画像データD5からの、罫線RLを表す成分の抽出を行う。
【0074】
具体的には、縦方向への膨張及び収縮を行うモルフォロジー変換を良画質画像データD5に施すことで、縦方向に延在する線状の領域を抽出できる。さらに、その縦方向に延在する線状の領域のうち、文字の縦方向の寸法よりも長く連続して延在するものだけを残すことで、縦方向の罫線RLを抽出できる。
【0075】
同様に、横方向への膨張及び収縮を行うモルフォロジー変換を良画質画像データD5に施すことで、横方向に延在する線状の領域を抽出できる。さらに、その横方向に延在する線状の領域のうち、文字の横方向の寸法よりも長く連続して延在するものだけを残すことで、横方向の罫線RLを抽出できる。
【0076】
図6(B)に、良画質画像データD5から抽出された、罫線RLを表す成分を例示する。なお、図6(B)では、罫線RLを明示するために便宜上、罫線RLを表す成分を白黒反転させて示している。
【0077】
罫線除去部145は、図6(A)に示す良画質画像データD5から、図6(B)に示す罫線RLを表す成分を白黒反転させたものを引き算する。ここで“引き算”とは、対応する画素の値の引き算を意味する。これにより、良画質画像データD5から罫線RLを表す成分を除去する罫線除去処理が完了する。
【0078】
図6(C)に、以上説明した罫線除去処理が施された良画質画像データD5を示す。以下では、このように罫線除去処理が施された良画質画像データD5を、罫線除去処理済データD6と呼ぶことにする。
【0079】
図3に戻り、説明を続ける。プロセッサ140は、図2に示した文字認識プログラム131を実行することにより、上述した罫線除去処理済データD6から文字を認識する文字認識処理を行う文字認識部146としての機能も発揮する。ここでいう“文字”とは、図1に示した潮流計MAの表示画面DSに計測結果として表示された文字を指す。なお、文字認識処理のアルゴリズムとしては、公知のものを用いることができる。
【0080】
文字認識部146は、文字認識処理でテンプレートデータ132を用いる。テンプレートデータ132は、文字認識処理の対象である罫線除去処理済データD6において、認識すべき文字が配置される複数の箇所と、各々の箇所から読み取った文字の物理的意味及び単位とを対応付けたデータである。
【0081】
ここで“認識すべき文字が配置される箇所”とは、画像中の領域を意味し、その画像中の座標によって指定される。また、“物理的意味及び単位”の組み合わせとしては、例えば、流速及びノット、方位及び度、水温及び度等が例示される。
【0082】
文字認識部146は、テンプレートデータ132を用いることにより、罫線除去処理済データD6から、文字としての複数の数値を、各々の物理的意味及び単位と対応付けて認識することができる。
【0083】
文字認識部146は、罫線除去部145から罫線除去処理済データD6を取得し、その罫線除去処理済データD6を認識対象として文字認識処理を行うたびに、その文字認識処理で認識した文字を表す文字データD7を出力する。文字データD7には、罫線除去処理済データD6から認識された複数の数値と、それら複数の数値の各々の物理的意味及び単位との対応付けが含まれる。
【0084】
なお、文字認識部146は、既述の文字認識周期ごとに、罫線除去部145から罫線除去処理済データD6を取得する。このため、文字認識部146は、既述の文字認識周期で、文字認識処理を繰り返す。文字認識部146の待ち時間の発生を抑えて、文字認識部146を効率的に稼働させるために、文字認識周期は、文字認識部146が文字認識処理を1回行うのに要する期間にほぼ等しい期間として予め定められる。
【0085】
また、プロセッサ140は、図2に示した文字認識プログラム131を実行することにより、文字認識部146から出力されたすべての文字データD7を用いて、最終的な文字の読み取り結果を特定する出力部147としての機能も発揮する。
【0086】
出力部147は、文字認識部146から出力されたすべての文字データD7を用いて、最も出現頻度の高い文字認識処理の結果が採用される条件で、最終的な文字の読み取り結果を特定する多数決処理を行う。なお、この多数決処理は、上述したテンプレートデータ132が表す、認識すべき文字が配置される箇所ごとに行われる。
【0087】
そして、出力部147は、多数決処理で特定した読み取り結果を表す読み取り結果文字データD8を出力する。通信装置150は、出力部147から読み取り結果文字データD8を取得し、既述のとおり、図1に示した管理サーバ200との通信が確立されたタイミングで、管理サーバ200に読み取り結果文字データD8を送信する。
【0088】
また、プロセッサ140は、図2に示した文字認識プログラム131を実行することにより、出力部147によって出力された読み取り結果文字データD8を表示装置120に表示させるオーバーレイ表示制御部148としての機能も発揮する。
【0089】
既述のとおり、表示装置120は、図1に示した潮流計MAの表示画面DSの撮像の際に、撮像される内容の確認のために表示画面DSを含む撮像領域を表示する。オーバーレイ表示制御部148は、その撮像領域に重ねて、読み取り結果文字データD8を表示装置120に表示させる。
【0090】
図7に、読み取り結果文字データD8がオーバーレイ表示された表示装置120の表示画面を例示する。潮流計MAの表示画面DSを含む撮像領域に、その表示画面DSから読み取った文字を表す読み取り結果文字データD8がオーバーレイ表示される。このため、ユーザは、文字認識装置100による文字の読み取りが正しく行われたか否かを現場で容易に確認することができる。
【0091】
図3に戻り、説明を続ける。プロセッサ140は、図2に示した文字認識プログラム131を実行することにより、文字認識部146によって文字認識処理の対象とされた罫線除去処理済データD6の1つのサンプルとしての証拠用画像データ133を特定する証拠用画像データ特定部149としての機能も発揮する。
【0092】
証拠用画像データ特定部149は、時系列に並ぶすべてのノイズ除去処理済データD3のうちで、最も画質が良いことを表す評価指標が評価指標算出部143によって算出され、かつ罫線除去部145によって罫線除去処理が施されたものである罫線除去処理済データD6を証拠用画像データ133として特定する。そして、証拠用画像データ特定部149は、特定した証拠用画像データ133を記憶装置130に保存させる制御をう。
【0093】
図8を参照し、以下、文字認識装置100によって行われる文字読み取り処理について具体的に説明する。
【0094】
まず、ユーザは、船舶FSにおいて、文字認識装置100の撮像装置110を用いて、潮流計MAの表示画面DSの、動画としての撮像を開始する(ステップS1)。これにより、撮像装置110は、撮像結果としての生画像データD1の時系列での出力を開始する。
【0095】
次に、前処理部141が、撮像装置110から取得した生画像データD1の各々に対して前処理を施す(ステップS2)。前処理とは、既述のとおり、図4(A)に示す周辺領域PDを除去する切り出し処理と、切り出し処理が施された生画像データD1を、図1に示した表示画面DSを真正面から撮像した形態に近づけるホモグラフィー処理とを指す。
【0096】
次に、ノイズ除去部142が、前処理が施された生画像データD1である前処理済データD2に対し、図1に示した表示画面DSに映り込んだ外光を表すノイズ成分を除去するノイズ除去処理を施す(ステップS3)。
【0097】
次に、評価指標算出部143が、ノイズ除去処理が施された前処理済データD2であるノイズ除去処理済データD3の各々について、画質の良さの度合いを表す評価指標を算出する(ステップS4)。
【0098】
次に、選出部144は、文字認識周期分のコマ数のノイズ除去処理済データD3について評価指標の算出が完了したか否かを判定する(ステップS5)。文字認識周期分のノイズ除去処理済データD3について、評価指標の算出がまだ完了していないならば(ステップS5;NO)、再びステップS5に戻る。
【0099】
一方、選出部144は、文字認識周期分のノイズ除去処理済データD3について評価指標の算出が完了したならば(ステップS5;YES)、それら文字認識周期分のノイズ除去処理済データD3において最も画質が良いことを表す評価指標が算出されたノイズ除去処理済データD3である良画質画像データD5を確定させる(ステップS6)。
【0100】
次に、罫線除去部145が、確定した良画質画像データD5に対して、罫線RLを表す成分を除去する罫線除去処理を施す(ステップS7)。
【0101】
次に、文字認識部146が、罫線除去処理が施された良画質画像データD5である罫線除去処理済データD6から文字を認識する文字認識処理を行う(ステップS8)。文字認識部146は、テンプレートデータ132を用いて文字認識処理を行うことにより、罫線除去処理済データD6から、文字としての複数の数値を、各々の物理的意味及び単位と対応付けて認識する。認識の結果は、文字データD7として出力される。
【0102】
次に、選出部144は、一連の動画を表す、すべてのコマ数のノイズ除去処理済データD3について評価指標の算出が完了したか否かを判定する(ステップS9)。すべてのノイズ除去処理済データD3について評価指標の算出がまだ完了していないならば(ステップS9;NO)、再びステップS5に戻る。
【0103】
一方、すべてのノイズ除去処理済データD3について評価指標の算出が完了した場合(ステップS9;YES)、出力部147が、文字認識部146から出力されたすべての文字データD7を用いて、最終的な文字の読み取り結果を特定する多数決処理を行う(ステップS10)。多数決処理の結果は、最終的な文字の読み取り結果を表す読み取り結果文字データD8として出力される。
【0104】
次に、オーバーレイ表示制御部148が、出力部147によって出力された読み取り結果文字データD8を、表示装置120にオーバーレイ表示させる(ステップS11)。つまり、オーバーレイ表示制御部148は、撮像装置110によって撮像される内容を表す撮像領域に重ねて、読み取り結果文字データD8を表示装置120に表示させる。
【0105】
次に、証拠用画像データ特定部149が、文字認識部146によって文字認識処理の対象とされた罫線除去処理済データD6のサンプルとしての証拠用画像データ133を記憶装置130に保存させる(ステップS12)。既述のとおり、本実施形態では、最も画質が良いことを表す評価指標が評価指標算出部143によって算出された罫線除去処理済データD6を証拠用画像データ133とする。
【0106】
以上説明した本実施形態に係る文字認識装置100によれば、次の効果が得られる。
【0107】
ノイズ除去部142によってノイズ除去処理が施されたノイズ除去処理済データD3よりなる画像データ群D4のうち、最も画質が良いことを表す評価指標が算出された良画質画像データD5だけが、文字認識処理に供される。このため、相対的に画質の良くない画像データまでもが文字認識処理に供される事態を回避できる。つまり、相対的に画質の良くない画像データに対して文字認識処理が無駄に実行されることが回避される。
【0108】
さらに、1セットの画像データ群D4が揃う時間として定義される文字認識周期を、文字認識処理の繰り返し周期とほぼ同じか又は文字認識処理の繰り返し周期以下とすることにより、文字認識処理に待ち時間が発生しないか又は殆ど発生しないようにすることができる。従って、相対的に画質の良い良画質画像データD5の選出を行うにも関わらず、撮像の開始から最終的な読み取り結果文字データD8を得るのに要する処理時間が長くなりにくい。
【0109】
また、生画像データD1がそのまま文字認識処理に供されるのではなく、生画像データD1に対して、前処理、ノイズ除去処理、及び罫線除去処理が施された罫線除去処理済データD6が、文字認識処理に供される。このため、文字認識処理において文字認識の誤りの発生確率を低減でき、文字認識の信頼性が高められる。
【0110】
また、読み取り結果文字データD8が表示装置120にオーバーレイ表示されるので、ユーザは、図8に示した文字読み取り処理が正しく行われたか否かを現場で確認することができる。文字読み取り処理が正しく行われていない場合は、正しい読み取り結果が得られるように、文字読み取り処理やり直すこともできる。
【0111】
また、文字認識処理の対象とされた罫線除去処理済データD6のうち最も画質の良いものが証拠用画像データ133として自動的に記憶装置130に保存される。この証拠用画像データ133は、例えば、文字認識処理が正常に遂行されたか否かの検証や、文字認識処理のアルゴリズムの改善等に役立てることができる。
【0112】
以上、実施形態について説明した。以下に述べる変形も可能である。
【0113】
図1には、潮流計MAの表示画面DSから文字を読み取る構成を例示したが、文字認識装置100は、潮流計MA以外の計測器、コンピュータ、ディスプレイといった各種機器の表示画面から文字を読み取ることもできる。
【0114】
図2に示した文字認識プログラム131を、既存のスマートフォン、タブレット、その他のコンピュータにインストールすることで、そのコンピュータに文字認識装置100の機能を実現させることもできる。文字認識プログラム131は、通信回線を通じて配布することもできるし、記録媒体に格納して配布することもできる。
【符号の説明】
【0115】
100…文字認識装置、
110…撮像装置、
120…表示装置、
130…記憶装置、
131…文字認識プログラム、
132…テンプレートデータ、
133…証拠用画像データ、
140…プロセッサ、
141…前処理部、
142…ノイズ除去部、
143…評価指標算出部、
144…選出部、
145…罫線除去部、
146…文字認識部、
147…出力部、
148…オーバーレイ表示制御部、
149…証拠用画像データ特定部、
150…通信装置、
200…管理サーバ、
300…漁業管理支援システム、
CT…境界表示部材、
D1…生画像データ、
D2…前処理済データ(元画像データ)、
D3…ノイズ除去処理済データ(画像データ)、
D4…画像データ群、
D5…良画質画像データ、
D6…罫線除去処理済データ、
D7…文字データ、
D8…読み取り結果文字データ、
DS…表示画面、
FS…船舶、
MA…潮流計(計測器)、
NE…通信回線、
PD…周辺領域、
RL…罫線。
図1
図2
図3
図4
図5
図6
図7
図8