▶ オーシャンソリューションテクノロジー株式会社の特許一覧 ▶ 国立大学法人 鹿児島大学の特許一覧 ▶ 株式会社リリーの特許一覧
特許7553907文字認識装置、文字認識プログラム、漁業管理支援端末装置および漁業管理支援システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-10
(45)【発行日】2024-09-19
(54)【発明の名称】文字認識装置、文字認識プログラム、漁業管理支援端末装置および漁業管理支援システム
(51)【国際特許分類】
G06V 30/162 20220101AFI20240911BHJP
G06V 30/14 20220101ALI20240911BHJP
G06V 30/412 20220101ALI20240911BHJP
G06V 30/414 20220101ALI20240911BHJP
【ＦＩ】
G06V30/162 A
G06V30/14 340J
G06V30/14 340P
G06V30/412
G06V30/414
【請求項の数】
18
(21)【出願番号】P 2020105309
(22)【出願日】2020-06-18
(65)【公開番号】P2021197066
(43)【公開日】2021-12-27
【審査請求日】2023-04-28
(73)【特許権者】
【識別番号】518128218
【氏名又は名称】オーシャンソリューションテクノロジー株式会社
(73)【特許権者】
【識別番号】504258527
【氏名又は名称】国立大学法人 鹿児島大学
(73)【特許権者】
【識別番号】517414990
【氏名又は名称】株式会社リリー
(74)【代理人】
【識別番号】100197642
【弁理士】
【氏名又は名称】南瀬 透
(74)【代理人】
【識別番号】100099508
【弁理士】
【氏名又は名称】加藤 久
(74)【代理人】
【識別番号】100182567
【弁理士】
【氏名又は名称】遠坂 啓太
(72)【発明者】
【氏名】水上 陽介
(72)【発明者】
【氏名】島浦 昌平
(72)【発明者】
【氏名】小田 謙太郎
(72)【発明者】
【氏名】野崎 弘幸
(72)【発明者】
【氏名】塚田 裕輔
【審査官】小池 正彦
(56)【参考文献】
【文献】特開２００９－０７１６８９（ＪＰ，Ａ）
【文献】国際公開第２０１９／０９７６９０（ＷＯ，Ａ１）
【文献】特開平０５－３０７６３９（ＪＰ，Ａ）
【文献】特開２０１６－００４５５３（ＪＰ，Ａ）
【文献】特開２０１４－０５３６９３（ＪＰ，Ａ）
【文献】LIANG Chao, et al.，An automatic interpretation method for LCD images of digital measuring instruments，2011 4th International Congress on Image and Signal Processing，米国，IEEE，2011年10月15日，DOI: 10.1109/CISP.2011.6100623
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｖ ３０／１６２
Ｇ０６Ｖ ３０／１４
Ｇ０６Ｖ ３０／４１２
Ｇ０６Ｖ ３０／４１４
(57)【特許請求の範囲】
【請求項1】
文字が表示された表示画面を撮影した撮影画像から前記文字を光学的に認識する文字認識装置であって、前記撮影画像から前記文字の文字色を示す第１色データ以外の画素の色データを第２色データに置換した２値画像を生成する２値化手段と、
前記２値画像に含まれる前記第１色データにより示された文字を認識して文字情報として出力する認識手段と、
前記表示画面を撮影方向を変更しながら撮影し、前記表示画面を矩形状の表示画面へ射影変換した、複数枚の撮影画像または動画による撮影画像に基づいて、各画素から外れ値を除去して合成することで、前記文字への反射光および障害物の重畳が無い、または重畳が少ない撮影画像を生成する抽出手段とを備えた文字認識装置。
【請求項2】
文字が表示された表示画面を撮影した撮影画像から前記文字を光学的に認識する文字認識装置であって、前記撮影画像から前記文字の文字色を示す第１色データ以外の画素の色データを第２色データに置換した２値画像を生成する２値化手段と、
前記２値画像に含まれる前記第１色データにより示された文字を認識して文字情報として出力する認識手段と、
前記表示画面を撮影方向を変更しながら撮影した、複数枚の撮影画像または動画による撮影画像と、この撮影画像の画面領域を指定した領域指定済画像とにより、撮影方向に応じた撮影画像における画面領域を学習して構築した深層学習モデルに基づいて、撮影画像から前記表示画面の画面領域を推定し、この画面領域を射影変換により矩形状の画面領域に変換する画面領域検出手段とを備えた文字認識装置。
【請求項3】
文字が表示された表示画面を撮影した撮影画像から前記文字を光学的に認識する文字認識装置であって、前記撮影画像から前記文字の文字色を示す第１色データ以外の画素の色データを第２色データに置換した２値画像を生成する２値化手段と、
前記２値画像に含まれる前記第１色データにより示された文字を認識して文字情報として出力する認識手段と、
前記表示画面を撮影方向を変更しながら撮影した、複数枚の撮影画像または動画による撮影画像と、この撮影画像の画面領域を指定した領域指定済画像とにより、撮影方向に応じた撮影画像における画面領域を学習して構築した深層学習モデルに基づいて、撮影画像から前記表示画面の画面領域を推定し、この画面領域を射影変換により矩形状の画面領域に変換する画面領域検出手段と、
前記表示画面を撮影方向を変更しながら撮影し、前記表示画面を矩形状の表示画面へ射影変換した、複数枚の撮影画像または動画による撮影画像に基づいて、各画素から外れ値を除去して合成することで、前記文字への反射光および障害物の重畳が無い、または重畳が少ない撮影画像を生成する抽出手段とを備えた文字認識装置。
【請求項4】
前記表示画面の周囲の額縁に、前記表示画面の範囲を認識させるための認識用部材が設けられ、前記認識用部材から前記撮影画像における前記表示画面の周囲枠を認識して、前記表示画面の画面領域を検出する画面領域検出手段を備えた請求項１記載の文字認識装置。
【請求項5】
前記認識用部材は、再帰性反射材により形成された周囲枠であり、前記画面領域検出手段は、前記撮影画像における前記周囲枠からの反射光による仮想枠を検出して、前記仮想枠により囲まれた画面領域を通知する請求項４記載の文字認識装置。
【請求項6】
前記認識用部材は、色テープにより形成された周囲枠であり、前記画面領域検出手段は、前記撮影画像における前記周囲枠の色による仮想枠を検出して、前記仮想枠により囲まれた画面領域を通知する請求項４記載の文字認識装置。
【請求項7】
前記認識用部材は、前記額縁の４箇所の角部に設けられた二次元バーコードであり、前記画面領域検出手段は、前記撮影画像における前記二次元バーコードの位置を認識し、前記二次元バーコード同士の位置を結ぶ仮想枠を検出して、前記仮想枠により囲まれた画面領域を通知する請求項４記載の文字認識装置。
【請求項8】
前記表示画面に表示された認識対象の文字が含まれる領域が定義されたテンプレートが格納される記憶手段からテンプレートを読み出し、前記認識手段に指定するテンプレート指定手段を備えた請求項１から７のいずれかの項に記載の文字認識装置。
【請求項9】
前記記憶手段には、表示手段の長さ方向が上下方向に沿った姿勢で撮影された縦長の撮影画像に対応する縦長用のテンプレートと、前記表示手段の長さ方向が左右方向に沿った姿勢で撮影された撮影画像に対応する横長用のテンプレートとが格納され、前記テンプレート指定手段は、前記縦長用のテンプレートと前記横長用のテンプレートとを、撮影姿勢に応じて切り替える請求項８記載の文字認識装置。
【請求項10】
前記テンプレートが格納され、電気通信回線を介して接続された文字認識支援サーバから、前記テンプレートを取得し、前記記憶手段に格納するテンプレート取得手段を備えた請求項８または９記載の文字認識装置。
【請求項11】
前記テンプレート指定手段は、前記記憶手段に格納された複数のテンプレートの中から、入力手段により選択されたテンプレートを、前記認識手段に指定する請求項１０記載の文字認識装置。
【請求項12】
前記認識手段は、文字を認識したときの文字認識率を含む文字認識情報を生成する請求項１から１１のいずれかの項に記載の文字認識装置。
【請求項13】
前記文字認識情報には、テンプレートの使用日時を含む請求項１２記載の文字認識装置。
【請求項14】
前記文字認識情報を、電気通信回線を介して接続された文字認識支援サーバに通知する認識情報通知手段を備えた請求項１２または１３記載の文字認識装置。
【請求項15】
前記認識情報通知手段は、入力画面に入力手段により入力された文字情報を、前記文字認識情報に含めて通知する請求項１４記載の文字認識装置。
【請求項16】
コンピュータを、文字が表示された表示画面を撮影した撮影画像から前記文字を光学的に認識する文字認識装置として機能させるものであり、
前記撮影画像から前記文字の文字色を示す第１色データ以外の画素の色データを第２色データに置換した２値画像を生成する２値化手段、
前記２値画像に含まれる前記第１色データにより示された文字を認識して文字情報として出力する認識手段、
前記表示画面を撮影方向を変更しながら撮影し、前記表示画面を矩形状の表示画面へ射影変換した、複数枚の撮影画像または動画による撮影画像に基づいて、各画素から外れ値を除去して合成することで、前記文字への反射光および障害物の重畳が無い、または重畳が少ない撮影画像を生成する抽出手段として機能させる文字認識プログラム。
【請求項17】
漁業者が搭乗した漁船に備え付けられた潮流計の表示画面を撮影する撮影手段と、前記表示画面を撮影した撮影画像から文字を光学的に認識して潮流情報を読み取る請求項１から１５のいずれかの項に記載の文字認識装置と、
前記漁業者が操業した位置および日時を位置情報および日時情報として測位衛星からの信号に基づいて出力する測位手段と、
前記漁業者が操業して得た漁獲量が記載された仕切書であり、産地市場が発行する仕切書に基づいて入力用端末装置から入力された漁獲量を示す漁獲量情報と前記位置情報および前記日時情報と、前記潮流情報とに基づいて漁獲成績報告書または操業日誌のいずれか一方または両方を生成する漁業管理支援サーバと通信する通信手段と、
前記漁業管理支援サーバへ前記潮流情報、前記位置情報および前記日時情報を送信する情報送信手段とを備えた漁業管理支援端末装置。
【請求項18】
請求項１から１５のいずれかの項に記載の文字認識装置により、漁業者が搭乗した漁船に備え付けられた潮流計の表示画面を撮影した撮影画像から文字を光学的に認識して読み取った潮流情報を出力すると共に、前記漁業者が操業した位置および日時を位置情報および日時情報として、測位衛星からの信号に基づいて出力する漁業管理支援端末装置と、前記漁業者が操業して得た漁獲量が記載された仕切書であり、産地市場が発行する仕切書に基づいて漁獲量を漁獲量情報として入力するための入力用端末装置と、
前記漁業管理支援端末装置からの前記潮流情報、前記位置情報および前記日時情報と前記入力用端末装置からの漁獲量情報とに基づいて漁獲成績報告書または操業日誌のいずれか一方または両方を生成する漁業管理支援サーバとを備えた漁業管理支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、計測器に表示された文字を光学的に認識する文字認識装置および文字認識プログラムと、それを用いた漁業管理支援端末装置および漁業管理支援システムに関するものである。
【背景技術】
【0002】
文字認識装置は、媒体に表記された文字をデジタルカメラにより静止画または動画などで光学的に読み取り、文字に対応した文字データを出力する。
媒体は、文字が手書された紙やコンピュータから文字印刷された紙などの他に、文字が表示された表示画面とすることができる。
媒体は、文字が手書された紙やコンピュータから文字印刷された紙などの他に、文字が表示された表示画面とすることができる。
【0003】
例えば、特許文献１に記載の画像処理方法、画像処理用プログラムおよび情報管理システムは、測定器に表示される測定結果を撮影して得られた画像に含まれる７セグメントの数字画像に対して膨張処理及び収縮処理を施すことにより、複数のセグメント間の隙間を埋めることができることで、従来のＯＣＲソフトウェアを用いても、７セグメントの数字画像から構成される測定結果から測定値を高い精度で認識することができるというものである。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１５－１９７８５１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１に記載の従来の文字認識装置では、測定器として、土木施工において行われる土地に含まれる水分等を計測するＲＩ（radioisotope）測定器を想定しているが、測定器は、他の種類の測定器であってもよいと記載されており、測定器が、例えば、ガス検知器、粉塵計や照度計等の環境測定器、温湿度計や雨量計等の気象観測機器、ｐＨ計や濁度計等の水質・土壌測定器を始めとする任意の測定器であってよいことが記載されている。
また、特許文献１に記載の従来の文字認識装置では、撮影した画像となる測定器の表示画面にユーザが写り込まないように、測定器の表示画面に穴が開いた箱をかぶせて、携帯端末の撮影部を穴の位置に合わせた状態で、表示画面を撮影してもよいと記載されている。
しかし、これでは、文字認識させるために撮影する度に、箱を被せる必要があり、操作が煩雑である。
とはいえ、測定器の表示画面に箱を被せずに表示画面を撮影して文字認識させようとすると、屋外では太陽の日差しが強いため、撮影者が写り込むだけでなく、周囲の様々なものからの反射光が写り込むおそれがある。また夜間などでは照明による光が写り込むおそれがある。そのため、認識の精度が低下してしまう。
また、特許文献１に記載の従来の文字認識装置では、撮影した画像となる測定器の表示画面にユーザが写り込まないように、測定器の表示画面に穴が開いた箱をかぶせて、携帯端末の撮影部を穴の位置に合わせた状態で、表示画面を撮影してもよいと記載されている。
しかし、これでは、文字認識させるために撮影する度に、箱を被せる必要があり、操作が煩雑である。
とはいえ、測定器の表示画面に箱を被せずに表示画面を撮影して文字認識させようとすると、屋外では太陽の日差しが強いため、撮影者が写り込むだけでなく、周囲の様々なものからの反射光が写り込むおそれがある。また夜間などでは照明による光が写り込むおそれがある。そのため、認識の精度が低下してしまう。
【0006】
そこで本発明は、表示画面に反射光の写り込みが生じても、精度良く文字認識させることを可能とすることで、厳しい環境でも使用できる文字認識装置、文字認識プログラム、漁業管理支援端末装置および漁業管理支援システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の文字認識装置は、文字が表示された表示画面を撮影した撮影画像から前記文字を光学的に認識する文字認識装置であって、前記撮影画像から前記文字の文字色を示す第１色データ以外の画素の色データを第２色データに置換した２値画像を生成する２値化手段と、前記２値画像に含まれる前記第１色データにより示された文字を認識して文字情報として出力する認識手段とを備えたことを特徴としたものである。
【0008】
また、本発明の文字認識プログラムは、コンピュータを、文字が表示された表示画面を撮影した撮影画像から前記文字を光学的に認識する文字認識装置として機能させるものであり、前記撮影画像から前記文字の文字色を示す第１色データ以外の画素の色データを第２色データに置換した２値画像を生成する２値化手段、前記２値画像に含まれる前記第１色データにより示された文字を認識して文字情報として出力する認識手段として機能させることを特徴したものである。
【0009】
本発明によれば、２値化手段が、撮影画像から文字の文字色を示す第１色データ以外の画素の色データを第２色データに置換した２値画像を生成するため、表示画面に表示された文字は第１色データ、反射光はその他と同じ第２色データとなるので、反射光を除去することができる。
【0010】
前記表示画面を撮影方向を変更しながら撮影した、複数枚の撮影画像または動画による撮影画像に基づいて、各画素から外れ値を除去して合成することで、前記文字への反射光および障害物の重畳が無い、または重畳が少ない撮影画像を生成する抽出手段を備えたものとすることができる。
撮影画像を、撮影方向を変更しながら撮影したものとすることで、最初の撮影画像の文字に反射光や障害物が重畳していても、撮影方向を移動しているうちに反射光や障害物が認識対象となる文字から外れ、文字に重畳しないようにすることができる。従って、抽出手段が複数枚の撮影画像または動画から、各画素から外れ値を除去して合成することで、文字への反射光や障害物の重畳が無い、または重畳が少ない撮影画像を抽出するので、文字認識の精度を更に向上させることができる。
撮影画像を、撮影方向を変更しながら撮影したものとすることで、最初の撮影画像の文字に反射光や障害物が重畳していても、撮影方向を移動しているうちに反射光や障害物が認識対象となる文字から外れ、文字に重畳しないようにすることができる。従って、抽出手段が複数枚の撮影画像または動画から、各画素から外れ値を除去して合成することで、文字への反射光や障害物の重畳が無い、または重畳が少ない撮影画像を抽出するので、文字認識の精度を更に向上させることができる。
【0011】
前記表示画面を撮影方向を変更しながら撮影した、複数枚の撮影画像または動画による撮影画像と、この撮影画像の画面領域を指定した領域指定済画像とにより、撮影方向に応じた撮影画像における画面領域を学習して構築した深層学習モデルに基づいて、撮影画像から前記表示画面の画面領域を推定する画面領域検出手段を備えたものとすることができる。
撮影方向を変更しながら撮影した撮影画像と、撮影画像の画面領域を指定した領域指定済画像とにより、撮影方向に応じた撮影画像における画面領域を学習して深層学習モデルを構築する。そして、画面領域検出手段が、この深層学習モデルに基づいて、撮影画像から表示画面の画面領域を推定する。そのため、撮影方向が正面でなくても、正確に表示画面の範囲を把握することができる。
撮影方向を変更しながら撮影した撮影画像と、撮影画像の画面領域を指定した領域指定済画像とにより、撮影方向に応じた撮影画像における画面領域を学習して深層学習モデルを構築する。そして、画面領域検出手段が、この深層学習モデルに基づいて、撮影画像から表示画面の画面領域を推定する。そのため、撮影方向が正面でなくても、正確に表示画面の範囲を把握することができる。
【0012】
前記表示画面の周囲の額縁に、前記表示画面の範囲を認識させるための認識用部材が設けられ、前記認識用部材から前記撮影画像における前記表示画面の周囲枠を認識して、前記表示画面の画面領域を検出する画面領域検出手段を備えたものとすることができる。
画面領域検出手段が周囲枠を検出して、撮影画像から表示画面の画面領域を通知することで、表示画面を正面から撮影せずに、表示画面が歪んで撮影されたり、表示画面の周囲に背景が写り込んだりしていても、正確に表示画面の範囲を把握することができる。
画面領域検出手段が周囲枠を検出して、撮影画像から表示画面の画面領域を通知することで、表示画面を正面から撮影せずに、表示画面が歪んで撮影されたり、表示画面の周囲に背景が写り込んだりしていても、正確に表示画面の範囲を把握することができる。
【0013】
前記認識用部材は、再帰性反射材により形成された周囲枠であり、前記画面領域検出手段は、前記撮影画像における前記周囲枠からの反射光による仮想枠を検出して、前記仮想枠により囲まれた画面領域を通知するものとすることができる。
再帰性反射材により形成された周囲枠からの反射光により仮想枠を検出することで、仮想枠により囲まれた画面領域を検出することができる。
再帰性反射材により形成された周囲枠からの反射光により仮想枠を検出することで、仮想枠により囲まれた画面領域を検出することができる。
【0014】
前記認識用部材は、色テープにより形成された周囲枠であり、前記画面領域検出手段は、前記撮影画像における前記周囲枠の色による仮想枠を検出して、前記仮想枠により囲まれた画面領域を通知するものとすることができる。
色テープにより形成された周囲枠の色により仮想枠を検出することで、仮想枠により囲まれた画面領域を検出することができる。
色テープにより形成された周囲枠の色により仮想枠を検出することで、仮想枠により囲まれた画面領域を検出することができる。
【0015】
前記認識用部材は、前記額縁の４箇所の角部に設けられた二次元バーコードであり、前記画面領域検出手段は、前記撮影画像における前記二次元バーコードの位置を認識し、前記二次元バーコード同士の位置を結ぶ仮想枠を検出して、前記仮想枠により囲まれた画面領域を通知するものとすることができる。
額縁の４箇所の角部に設けられた二次元バーコード同士の位置を結ぶ仮想枠を検出することで、仮想枠により囲まれた画面領域を検出することができる。
額縁の４箇所の角部に設けられた二次元バーコード同士の位置を結ぶ仮想枠を検出することで、仮想枠により囲まれた画面領域を検出することができる。
【0016】
前記表示画面に表示された認識対象の文字が含まれる領域が定義されたテンプレートが格納される記憶手段からテンプレートを読み出し、前記認識手段に指定するテンプレート指定手段を備えたものとすることができる。テンプレート指定手段がテンプレートにより指定された領域の文字を認識するため、必要な範囲の文字のみを認識することができる。
【0017】
前記記憶手段には、表示手段の長さ方向が上下方向に沿った姿勢で撮影された縦長の撮影画像に対応する縦長用のテンプレートと、前記表示手段の長さ方向が左右方向に沿った姿勢で撮影された撮影画像に対応する横長用のテンプレートとが格納され、前記テンプレート指定手段は、前記縦長用のテンプレートと前記横長用のテンプレートとを、撮影姿勢に応じて切り替えるものとすることができる。そうすることで、撮影姿勢に好適なテンプレートを選択することができる。
【0018】
前記テンプレートが格納され、電気通信回線を介して接続された文字認識支援サーバから、前記テンプレートを取得し、前記記憶手段に格納するテンプレート取得手段を備えたものとすることができる。
テンプレート取得手段が、電気通信回線を介して接続された文字認識支援サーバから、テンプレートを取得するので、テンプレートを最新のテンプレートとしたり、文字認識率が高い他人のテンプレートとしたりすることができる。
テンプレート取得手段が、電気通信回線を介して接続された文字認識支援サーバから、テンプレートを取得するので、テンプレートを最新のテンプレートとしたり、文字認識率が高い他人のテンプレートとしたりすることができる。
【0019】
前記テンプレート指定手段は、前記記憶手段に格納された複数のテンプレートの中から、入力手段により選択されたテンプレートを、前記認識手段に指定するようにしたものとすることができる。そうすることで、操業者が考える文字認識に好適なテンプレートを選択することができる。
【0020】
前記認識手段は、文字を認識したときの文字認識率を含む文字認識情報を生成するものとすることができる。文字認識に使用したテンプレートの文字認識率を把握することができるので、テンプレートの改善に寄与する。
【0021】
前記文字認識情報には、テンプレートの使用日時を含むものとすることができる。使用日時によって、太陽光の影響や照明光の影響などが把握できるため、文字認識情報に、テンプレートの使用日時を含めれば、これらの影響に強いテンプレートを選択することができる。
【0022】
前記文字認識情報を、電気通信回線を介して接続された文字認識支援サーバに通知する認識情報通知手段を備えたものとすることができる。文字認識支援サーバにより文字認識情報の収集ができるので、利便性を向上させることができる。
【0023】
前記認識情報通知手段は、入力画面に入力手段により入力された文字情報を、前記文字認識情報に含めて通知するものとすることができる。機械的な文字認識率だけでなく、入力手段によりコメントを文字情報としてフィードバックさせることができる。
【0024】
本発明の漁業管理支援端末装置は、漁業者が搭乗した漁船に備え付けられた潮流計の表示画面を撮影する撮影手段と、前記表示画面を撮影した撮影画像から文字を光学的に認識して潮流情報を読み取る本発明の文字認識装置と、前記漁業者が操業した位置および日時を位置情報および日時情報として測位衛星からの信号に基づいて出力する測位手段と、前記漁業者が操業して得た漁獲量が記載された仕切書であり、産地市場が発行する仕切書に基づいて入力用端末装置から入力された漁獲量を示す漁獲量情報と前記位置情報および前記日時情報と、前記潮流情報とに基づいて漁獲成績報告書または操業日誌のいずれか一方または両方を生成する漁業管理支援サーバと通信する通信手段と、前記漁業管理支援サーバへ前記潮流情報、前記位置情報および前記日時情報を送信する情報送信手段とを備えたものとすることができる。
【0025】
本発明の漁業管理支援システムは、本発明の文字認識装置により、漁業者が搭乗した漁船に備え付けられた潮流計の表示画面を撮影した撮影画像から文字を光学的に認識して読み取った潮流情報を出力すると共に、前記漁業者が操業した位置および日時を位置情報および前記日時情報として、測位衛星からの信号に基づいて出力する漁業管理支援端末装置と、前記漁業者が操業して得た漁獲量が記載された仕切書であり、産地市場が発行する仕切書に基づいて漁獲量を漁獲量情報として入力するための入力用端末装置と、前記漁業管理支援端末装置からの前記潮流情報、前記位置情報および前記日時情報と前記入力用端末装置からの漁獲量情報とに基づいて漁獲成績報告書または操業日誌のいずれか一方または両方を生成する漁業管理支援サーバとを備えたものとすることができる。
【発明の効果】
【0026】
本発明によれば、２値化手段により反射光を除去することができるので、表示画面に反射光の写り込みが生じても、精度良く文字認識させることを可能とすることで、厳しい環境でも使用できる。
【図面の簡単な説明】
【0027】
【図1】本発明の実施の形態に係る漁業管理支援システムの構成を示す図である。
【図2】漁船に搭載された潮流計の表示画面の一例を示す図である。
【図10】潮流計の撮影画像の一例の図であり、（Ａ）～（Ｄ）は複数枚の撮影画像を示す図、（Ｅ）は（Ａ）～（Ｄ）を合成した合成画像を示す図である。
【図11】表示画面における額縁の４箇所の角部に、認識用部材として二次元バーコードを設けた状態を示す図である。
【図12】（Ａ）は、２値化して反射光を除去することを説明するための図であり、（Ｂ）は、テンプレートを説明するための図である。
【発明を実施するための形態】
【0028】
本発明の実施の形態に係る漁業管理支援システムを図面に基づいて説明する。なお、本明細書では、「文字」を字および記号などを含む意味合いで使用しており、一般的にＯＣＲ（Optical character recognition）と称される装置やソフトウェアが認識する対象と同じである。
図１に示す漁業管理支援システム１０は、漁業者による漁獲成績報告書や操業日誌の作成を支援するものである。
図１に示す漁業管理支援システム１０は、漁業者による漁獲成績報告書や操業日誌の作成を支援するものである。
【0029】
漁業管理支援システム１０は、漁業者が船上にて操作する漁業管理支援端末装置２０と、操業に関する情報を収集して漁獲成績報告書や操業日誌を作成する漁業管理支援サーバ３０と、漁獲量を入力するための入力用端末装置４０と、海洋気象情報提供サーバ５０と、文字認識支援サーバ６０と、作業用端末装置７０とを備えている。
漁業管理支援サーバ３０は、漁業管理支援端末装置２０と、入力用端末装置４０と、海洋気象情報提供サーバ５０と、文字認識支援サーバ６０と、作業用端末装置７０とに、電気通信回線の一例であるインターネットＷを介して通信可能に接続されている。
漁業管理支援サーバ３０は、漁業管理支援端末装置２０と、入力用端末装置４０と、海洋気象情報提供サーバ５０と、文字認識支援サーバ６０と、作業用端末装置７０とに、電気通信回線の一例であるインターネットＷを介して通信可能に接続されている。
【0030】
漁業管理支援サーバ３０および文字認識支援サーバ６０は、漁業管理支援システム１０を管理する管理会社が運営するサーバであり、管理会社に設置されたサーバであったり、レンタルサーバであったりすることができる。
海洋気象情報提供サーバ５０は、海洋気象情報を提供する気象データ提供会社が運営するサーバである。
海洋気象情報提供サーバ５０は、海洋気象情報を提供する気象データ提供会社が運営するサーバである。
【0031】
漁業者が登場する漁船には、操業の際の参考データとして、また、操業日誌および漁獲高成績報告書に測定値を記入するための計測器の一例である潮流計が搭載されている。図２に示す潮流計Ｔにおける表示画面Ｄの周囲の額縁には、認識用部材として再帰性反射材により形成された周囲枠Ｆが配置されている。
【0032】
次に、漁業管理支援端末装置２０の構成について、図３に基づいて説明する。
漁業管理支援端末装置２０は、漁業管理支援サーバ３０（図１参照）に、操業時情報を送信するコンピュータである。漁業管理支援端末装置２０は、持ち運びが容易で、漁業者が既に所有している、または調達が容易な、タブレット型コンピュータやスマートフォンである。
漁業管理支援端末装置２０には、漁業管理支援プログラムが動作する。この漁業管理支援端末装置２０に漁業管理支援プログラムが動作することで、コンピュータを次の各手段として機能させている。
漁業管理支援端末装置２０は、漁業管理支援サーバ３０（図１参照）に、操業時情報を送信するコンピュータである。漁業管理支援端末装置２０は、持ち運びが容易で、漁業者が既に所有している、または調達が容易な、タブレット型コンピュータやスマートフォンである。
漁業管理支援端末装置２０には、漁業管理支援プログラムが動作する。この漁業管理支援端末装置２０に漁業管理支援プログラムが動作することで、コンピュータを次の各手段として機能させている。
【0033】
漁業管理支援端末装置２０は、通信手段２１と、撮影手段２２と、画面制御手段２３と、文字認識手段２４と、測位手段２５と、情報送信手段２６と、入力手段２７と、表示手段２８と、記憶手段２９とを備えている。
【0034】
通信手段２１は、無線通信により、携帯電話会社の中継局（図示せず）と通信して、インターネットＷから受信したデータを、漁業管理支援端末装置２０の各手段に出力したり、各手段からのデータを入力してインターネットＷ（図１参照）に送信したりする。
通信手段２１は、例えば、携帯電話会社の中継局と通信する４Ｇや５Ｇなどの通信方式で通信するものとすることができる。また、通信手段２１は、通信先が近距離であれば、ＷｉＦｉ（登録商標）により通信することができる。
通信手段２１は、例えば、携帯電話会社の中継局と通信する４Ｇや５Ｇなどの通信方式で通信するものとすることができる。また、通信手段２１は、通信先が近距離であれば、ＷｉＦｉ（登録商標）により通信することができる。
【0035】
撮影手段２２は、計測器の一例である潮流計の表示画面を撮影して静止画または動画を記憶手段２９に格納する。
画面制御手段２３は、記憶手段２９から画面データを読み出し表示手段２８に表示する。
文字認識手段２４は、文字認識装置として機能するものである。文字認識手段２４は、図１に示す漁船に搭載された潮流計の文字が表示された表示画面を撮影した撮影画像から文字を光学的に認識して読み取った潮流情報を出力するものである。
画面制御手段２３は、記憶手段２９から画面データを読み出し表示手段２８に表示する。
文字認識手段２４は、文字認識装置として機能するものである。文字認識手段２４は、図１に示す漁船に搭載された潮流計の文字が表示された表示画面を撮影した撮影画像から文字を光学的に認識して読み取った潮流情報を出力するものである。
【0036】
測位手段２５は、測位衛星からの信号に基づいて現在地を位置情報として測位する機能を有する。位置情報は、経度および経度などで、高さも含めることができる。また、測位手段２５は、測位の際に取得した現時刻（年月日および時間）を日時情報として出力する機能も有する。測位衛星は、みちびきと称される準天頂衛星システム（ＱＺＳＳ：Quasi-Zenith Satellite System）やＧＰＳ（Global Positioning System）とすることができる。
【0037】
情報送信手段２６は、外部との通信が可能な状態になったことを通信手段２１が検知すると、記憶手段２９から操業時情報を読み出し、漁業管理支援サーバ３０へ送信する。
入力手段２７は、表示手段２８の前面に設けられたタッチパネルとすることができる。
表示手段２８は、ＬＣＤパネル、有機ＥＬパネル等とすることができる。
記憶手段２９は、高速に読み書きができ、不揮発であるフラッシュメモリとすることができる。記憶手段２９には、ＯＳやアプリケーションソフトなどのプログラムおよび各種のデータが記憶される。記憶手段２９には、操業時の潮流に関する潮流情報が格納される。操業場所を示す位置情報と操業開始日時を示す日時情報とが操業時情報として格納される。また、記憶手段２９には、画面データが格納される。更に、記憶手段２９には、認識対象の文字が表示された領域（以下、認識対象領域と称す。）が定義されたテンプレートが格納される。
テンプレートには、認識対象領域の他に、各領域の属性（流速、水温）、表示画面の背景色、文字色、認識後の文字を表示する領域などが定義されている。
入力手段２７は、表示手段２８の前面に設けられたタッチパネルとすることができる。
表示手段２８は、ＬＣＤパネル、有機ＥＬパネル等とすることができる。
記憶手段２９は、高速に読み書きができ、不揮発であるフラッシュメモリとすることができる。記憶手段２９には、ＯＳやアプリケーションソフトなどのプログラムおよび各種のデータが記憶される。記憶手段２９には、操業時の潮流に関する潮流情報が格納される。操業場所を示す位置情報と操業開始日時を示す日時情報とが操業時情報として格納される。また、記憶手段２９には、画面データが格納される。更に、記憶手段２９には、認識対象の文字が表示された領域（以下、認識対象領域と称す。）が定義されたテンプレートが格納される。
テンプレートには、認識対象領域の他に、各領域の属性（流速、水温）、表示画面の背景色、文字色、認識後の文字を表示する領域などが定義されている。
【0038】
ここで、文字認識手段２４について、図面に基づいて詳細に説明する。
文字認識手段２４は、潮流計の表示画面から潮速、潮向、潮温度を読み取り、潮速情報、潮向情報、潮温度情報を潮流情報として出力するものである。
図４に示すように、文字認識手段２４は、画面領域検出手段２４１と、抽出手段２４２と、２値化手段２４３と、テンプレート指定手段２４４と、認識手段２４５と、属性付与手段２４６とを備えている。
文字認識手段２４は、潮流計の表示画面から潮速、潮向、潮温度を読み取り、潮速情報、潮向情報、潮温度情報を潮流情報として出力するものである。
図４に示すように、文字認識手段２４は、画面領域検出手段２４１と、抽出手段２４２と、２値化手段２４３と、テンプレート指定手段２４４と、認識手段２４５と、属性付与手段２４６とを備えている。
【0039】
画面領域検出手段２４１は、表示画面における画面領域を通知するものである。
抽出手段２４２は、撮影方向を変更しながら潮流計の表示画面を撮影した複数枚の撮影画像または動画による撮影画像に基づいて、各画素から外れ値を除去して合成することで、文字への反射光や、撮影手段２２（図３参照）と表示画面Ｄ（図２参照）との間に位置する、例えば、舵輪やレバーなどの障害物の重畳が無い、または重畳が少ない撮影画像を生成する。
２値化手段２４３は、撮影画像から文字の文字色を示す第１色データ以外の画素の色データを第２色データに置換した２値画像を生成する。
抽出手段２４２は、撮影方向を変更しながら潮流計の表示画面を撮影した複数枚の撮影画像または動画による撮影画像に基づいて、各画素から外れ値を除去して合成することで、文字への反射光や、撮影手段２２（図３参照）と表示画面Ｄ（図２参照）との間に位置する、例えば、舵輪やレバーなどの障害物の重畳が無い、または重畳が少ない撮影画像を生成する。
２値化手段２４３は、撮影画像から文字の文字色を示す第１色データ以外の画素の色データを第２色データに置換した２値画像を生成する。
【0040】
テンプレート指定手段２４４は、表示画面から文字認識する箇所が指定されたテンプレートを、記憶手段２９から読み出し指定する。本実施の形態では、テンプレート指定手段２４４が記憶手段２９に格納されたテンプレートをオフラインにて使用しているが、文字認識する度に文字認識支援サーバ６０からテンプレートを取得してオンラインで使用するようにしてもよい。
また、テンプレート指定手段２４４は、表示手段２８に複数のテンプレートを表示して、この中から入力手段２７により指定されたテンプレートを選択することができる。
また、テンプレート指定手段２４４は、表示手段２８に複数のテンプレートを表示して、この中から入力手段２７により指定されたテンプレートを選択することができる。
【0041】
認識手段２４５は、テンプレートに含まれた第１色データにより示された文字を認識して文字情報として出力する。認識手段２４５は、文字を認識したときの文字認識率を含む文字認識情報を生成する。
属性付与手段２４６は、認識手段２４５により認識された文字に、テンプレート指定手段２４４により指定されたテンプレートに対応する属性を付与する。
属性付与手段２４６は、認識手段２４５により認識された文字に、テンプレート指定手段２４４により指定されたテンプレートに対応する属性を付与する。
【0042】
認識情報通知手段２４７は、文字認識率や使用時間（使用回数）など、認識の際の統計情報を文字認識情報として文字認識支援サーバ６０へ通知する。認識情報通知手段２４７は、操業者が入力手段２７を操作して、図示しない入力画面に入力した文字情報によるコメントを文字認識情報に含めることができる。
テンプレート取得手段２４８は、文字認識支援サーバ６０からテンプレートを取得する。また、テンプレート取得手段２４８は、文字認識率を向上させるための新しいテンプレートが設定されていれば、新しいテンプレートを取得して、テンプレート指定手段２４４が使用するテンプレートを更新する。
テンプレート取得手段２４８は、文字認識支援サーバ６０からテンプレートを取得する。また、テンプレート取得手段２４８は、文字認識率を向上させるための新しいテンプレートが設定されていれば、新しいテンプレートを取得して、テンプレート指定手段２４４が使用するテンプレートを更新する。
【0043】
次に、漁業管理支援サーバ３０の構成について図面に基づいて説明する。
図５に示すように、漁業管理支援サーバ３０は、通信手段３１と、海区解析手段３２と、海洋情報取得手段３３と、漁獲量登録手段３４と、報告書生成手段３５と、操業日誌生成手段３６と、記憶手段３７とを備えている。
図５に示すように、漁業管理支援サーバ３０は、通信手段３１と、海区解析手段３２と、海洋情報取得手段３３と、漁獲量登録手段３４と、報告書生成手段３５と、操業日誌生成手段３６と、記憶手段３７とを備えている。
【0044】
通信手段３１は、インターネットＷから受信したデータを、漁業管理支援サーバ３０の各手段に出力したり、各手段からのデータを入力してインターネットＷ（図１参照）に送信したりする。
【0045】
海区解析手段３２は、漁業管理支援端末装置２０（図１参照）からの緯度情報と経度情報である位置情報に基づいて操業場所である漁区（海区）を判定し、漁区に対応する漁区番号を出力する。
海洋情報取得手段３３は、漁業管理支援端末装置２０（図１参照）からの位置情報と日時情報とに基づいて海洋気象情報提供サーバ５０から海洋気象情報を取得する。
海洋気象情報は、水深深度別の水温を示す水温情報、潮流を示す潮流情報（海流の東西成分および南北成分）、海面の高度を示す海面高度情報、海水の塩分濃度を示す塩分濃度情報、波の高さを示す波浪情報、風向および風速を示す風情報、降水量を示す降水量情報、気圧を示す気圧情報など、気象に関する情報が含まれる。
海洋情報取得手段３３は、漁業管理支援端末装置２０（図１参照）からの位置情報と日時情報とに基づいて海洋気象情報提供サーバ５０から海洋気象情報を取得する。
海洋気象情報は、水深深度別の水温を示す水温情報、潮流を示す潮流情報（海流の東西成分および南北成分）、海面の高度を示す海面高度情報、海水の塩分濃度を示す塩分濃度情報、波の高さを示す波浪情報、風向および風速を示す風情報、降水量を示す降水量情報、気圧を示す気圧情報など、気象に関する情報が含まれる。
【0046】
本実施の形態では、海洋気象情報を、気象データ提供会社による海洋気象情報提供サーバ５０からインターネットＷを介してオンラインにより取得するようにしているが、過去の海洋気象情報は、例えば、ＣＤ－ＲＯＭやＤＶＤなどにより取得することもできる。この場合、気象業務支援センター提供の過去気象情報オフラインデータ「海況解析データ」が利用できる。
【0047】
漁獲量登録手段３４は、入力用端末装置４０から入力された漁獲成績報告書に掲載する漁獲量を漁獲量情報として記憶手段３７に登録する。
報告書生成手段３５は、操業に関する情報（操業時情報（潮流情報、位置情報、日時情報）、漁獲量情報）に基づいて漁獲成績報告書を生成する。漁獲成績報告書は、例えば、ＰＤＦ（Portable Document Format）などの形式とすることができる。
操業日誌生成手段３６は、操業に関する情報に基づいて、操業日誌を生成する。
記憶手段３７は、ＯＳやアプリケーションソフトなどのプログラムおよび各種のデータ（情報）を記憶するもので、例えば、ＳＳＤやハードディスクドライブとすることができる。
報告書生成手段３５は、操業に関する情報（操業時情報（潮流情報、位置情報、日時情報）、漁獲量情報）に基づいて漁獲成績報告書を生成する。漁獲成績報告書は、例えば、ＰＤＦ（Portable Document Format）などの形式とすることができる。
操業日誌生成手段３６は、操業に関する情報に基づいて、操業日誌を生成する。
記憶手段３７は、ＯＳやアプリケーションソフトなどのプログラムおよび各種のデータ（情報）を記憶するもので、例えば、ＳＳＤやハードディスクドライブとすることができる。
【0048】
図１に示す入力用端末装置４０は、漁業管理支援サーバ３０にアクセスして、漁業者が操業して得た漁獲量が記載された仕切書であり、産地市場が発行する仕切書に基づいて、漁獲量を入力するためのコンピュータである。
海洋気象情報提供サーバ５０は、位置情報および日時情報に基づいて、操業場所の操業開始日時における海洋気象に関する情報を提供する。
海洋気象情報提供サーバ５０は、位置情報および日時情報に基づいて、操業場所の操業開始日時における海洋気象に関する情報を提供する。
【0049】
文字認識支援サーバ６０は、漁業管理支援端末装置２０からの文字認識率などの文字認識情報を受信して、管理者（開発者）に提供する。また、文字認識支援サーバ６０は、漁業管理支援端末装置２０からの要求に応じて新しいテンプレートを提供する。
文字認識支援サーバ６０は、テンプレートに、漁業管理支援端末装置２０を識別する識別情報、漁業管理支援端末装置２０を操作する操業者に割り当てられたアカウント、および潮流計の機種を識別する型番情報、文字認識率などを含む文字認識情報が関連付けられ、図示しない記憶手段に格納され、管理されている。
文字認識支援サーバ６０は、テンプレートに、漁業管理支援端末装置２０を識別する識別情報、漁業管理支援端末装置２０を操作する操業者に割り当てられたアカウント、および潮流計の機種を識別する型番情報、文字認識率などを含む文字認識情報が関連付けられ、図示しない記憶手段に格納され、管理されている。
【0050】
文字認識支援サーバ６０は、操業者ごとのアカウントに課金することができる。例えば、新規のテンプレートを提供するごとに課金したり、漁業管理支援端末装置２０が文字認識する度に課金したりすることができる。課金を文字認識する度とするときには、テンプレート指定手段２４４が文字認識する前に新規のテンプレートの有無を確認することを契機に課金したり、文字認識後に、認識情報通知手段２４７が文字認識情報を通知したことを契機に課金したりすることができる。
【0051】
作業用端末装置７０は、テンプレートを作成したり、編集したりするための端末装置である。
【0052】
以上のように構成された本発明の実施の形態に係る漁業管理支援システム１０の動作および使用状態について、図面に基づいて説明する。
図６に示すように漁業者が漁場に到着する。そして、漁業者が、漁業管理支援端末装置２０を操作して漁業管理支援プログラムを起動する。そうすることで、図３に示す画面制御手段２３は、記憶手段２９から画面データを読み出し、図８に示す操作画面Ｐ１を表示手段２８に表示する。
図６に示すように漁業者が漁場に到着する。そして、漁業者が、漁業管理支援端末装置２０を操作して漁業管理支援プログラムを起動する。そうすることで、図３に示す画面制御手段２３は、記憶手段２９から画面データを読み出し、図８に示す操作画面Ｐ１を表示手段２８に表示する。
【0053】
操作画面Ｐ１には、操業日誌が表示されている。操作画面Ｐ１の中段には、潮流計の表示画面を撮影するために撮影手段２２を呼び出すために、「カメラからの入力」と表示された撮影起動のためのボタンＢ１１が表示されている。
また、操作画面Ｐ１には、潮流の速度を示す潮速情報が表示される潮速表示欄Ｒ１１と、潮流の向きを示す潮向情報が表示される潮向表示欄Ｒ１２と、潮流の水温を示す潮水温情報が表示される潮水温表示欄Ｒ１３とが配置されている。
また、操作画面Ｐ１には、潮流の速度を示す潮速情報が表示される潮速表示欄Ｒ１１と、潮流の向きを示す潮向情報が表示される潮向表示欄Ｒ１２と、潮流の水温を示す潮水温情報が表示される潮水温表示欄Ｒ１３とが配置されている。
【0054】
まず、漁業者は、操業前に、漁業管理支援端末装置２０を操作して、潮流計Ｔの表示画面を撮影手段２２により撮影方向を変更しながら撮影して、文字認識させることで、潮流情報を取得する（図６のステップＳ１０参照）。
ここで、文字認識手段２４による表示画面に表示された文字を認識して文字情報を出力する文字認識処理について図面に基づいて説明する。
ここで、文字認識手段２４による表示画面に表示された文字を認識して文字情報を出力する文字認識処理について図面に基づいて説明する。
【0055】
（テンプレートの取得）
図４に示すテンプレート指定手段２４４は、テンプレートについて、オフラインで使用するときは、記憶手段２９から読み込む。また、オンラインで使用するときには、図１に示す文字認識支援サーバ６０にアクセスしてテンプレートを取得する（ステップＳ１１参照）。
このとき、文字認識支援サーバ６０は、漁業管理支援端末装置２０からの要求に応じて、要求元の漁業管理支援端末装置２０に紐付いた、または操業者本人のアカウントに対応するテンプレートを返信したり、他の漁業管理支援端末装置２０に紐付いた、または他の操業者のアカウントに対応する文字認識率が高いテンプレートを返信したりすることができる。
このように、文字認識支援サーバ６０が、本人のテンプレートだけでなく、文字認識率が高い他人のテンプレートを提供するので、文字認識率の向上を図ることができる。
テンプレート指定手段２４４は、表示手段２８に表示された複数のテンプレートの中から入力手段２７により選択されたテンプレートを指定することができるので、操業者が考える文字認識に好適なテンプレートを選択することができる。
図４に示すテンプレート指定手段２４４は、テンプレートについて、オフラインで使用するときは、記憶手段２９から読み込む。また、オンラインで使用するときには、図１に示す文字認識支援サーバ６０にアクセスしてテンプレートを取得する（ステップＳ１１参照）。
このとき、文字認識支援サーバ６０は、漁業管理支援端末装置２０からの要求に応じて、要求元の漁業管理支援端末装置２０に紐付いた、または操業者本人のアカウントに対応するテンプレートを返信したり、他の漁業管理支援端末装置２０に紐付いた、または他の操業者のアカウントに対応する文字認識率が高いテンプレートを返信したりすることができる。
このように、文字認識支援サーバ６０が、本人のテンプレートだけでなく、文字認識率が高い他人のテンプレートを提供するので、文字認識率の向上を図ることができる。
テンプレート指定手段２４４は、表示手段２８に表示された複数のテンプレートの中から入力手段２７により選択されたテンプレートを指定することができるので、操業者が考える文字認識に好適なテンプレートを選択することができる。
【0056】
（表示画面の撮影）
図３に示す撮影手段２２が表示画面Ｄ（図２参照）を撮影すると、撮影画像が記憶手段２９に格納される。
このとき、撮影手段２２は、複数枚の静止画を撮影したり、動画により撮影したりすることができる。本実施の形態では、漁業者に動画により撮影させることで、漁業者は、撮影方向を変更しながら複数枚の静止画を撮影することの煩雑さを解消することができる（図７のステップＳ１２参照）。
図３に示す撮影手段２２が表示画面Ｄ（図２参照）を撮影すると、撮影画像が記憶手段２９に格納される。
このとき、撮影手段２２は、複数枚の静止画を撮影したり、動画により撮影したりすることができる。本実施の形態では、漁業者に動画により撮影させることで、漁業者は、撮影方向を変更しながら複数枚の静止画を撮影することの煩雑さを解消することができる（図７のステップＳ１２参照）。
【0057】
動画は、複数のフレームと称される静止画からなるものである。まず、画面領域検出手段２４１が、図１０（Ａ）から同図（Ｄ）に示すように、この複数の静止画である撮影画像Ｇ１～Ｇ４から、図２に示す周囲枠Ｆを見つける。
【0058】
（画面領域の検出）
ここで、画面領域検出手段２４１が表示画面を撮影した撮影画像から画面領域を検出する方法を説明する（ステップＳ１３参照）。
ここで、画面領域検出手段２４１が表示画面を撮影した撮影画像から画面領域を検出する方法を説明する（ステップＳ１３参照）。
【0059】
（１）まず、画面領域を深層学習により検出する方法を説明する。
最初に、深層学習モデルを構築する。深層学習モデルは、表示画面を撮影方向を変更しながら撮影した複数枚の撮影画像、または表示画面を撮影方向を変更しながら撮影した動画による撮影画像と、この撮影画像の画面領域を指定した領域指定済画像とにより、撮影方向に応じた撮影画像における画面領域を学習させることで構築される。
領域指定済画像は、画面領域を手動により塗り潰すことで指定してもよいし、画面領域を示す枠を表示画面に貼り付け、画面領域と枠とを一緒に撮影した撮影画像により、枠内を画面領域として自動的に塗り潰すことで指定してもよい。
この深層学習モデルは、記憶手段２９に格納される。
最初に、深層学習モデルを構築する。深層学習モデルは、表示画面を撮影方向を変更しながら撮影した複数枚の撮影画像、または表示画面を撮影方向を変更しながら撮影した動画による撮影画像と、この撮影画像の画面領域を指定した領域指定済画像とにより、撮影方向に応じた撮影画像における画面領域を学習させることで構築される。
領域指定済画像は、画面領域を手動により塗り潰すことで指定してもよいし、画面領域を示す枠を表示画面に貼り付け、画面領域と枠とを一緒に撮影した撮影画像により、枠内を画面領域として自動的に塗り潰すことで指定してもよい。
この深層学習モデルは、記憶手段２９に格納される。
【0060】
このようにして、撮影方向に応じた画面領域を学習した深層学習モデルが構築されると、画面領域検出手段２４１は、文字認識する際に、深層学習モデルに基づいて、撮影画像から表示画面の画面領域を推定する。
そして、画面領域検出手段２４１は、この画面領域を射影変換により矩形状の画面領域に変換して通知する。
そして、画面領域検出手段２４１は、この画面領域を射影変換により矩形状の画面領域に変換して通知する。
【0061】
（２）次に、図２に示す表示画面Ｄの周囲の額縁に設けられた再帰性反射材により形成された周囲枠Ｆからの反射光による仮想枠を検出して、撮影画像から仮想枠により囲まれた画面領域を検出する方法を説明する。
周囲枠Ｆは、認識用部材として再帰性反射材から形成されているため、漁業管理支援端末装置２０におけるフラッシュとして発光する発光手段（図示せず）からの光が、周囲枠Ｆに反射して真っ直ぐ漁業管理支援端末装置２０に戻る。
従って、撮影画像Ｇ１～Ｇ４には、周囲枠Ｆからの反射光が、仮想枠Ｖとして写り込む。
画面領域検出手段２４１は、この仮想枠Ｖを検出して、撮影画像から射影変換により仮想枠Ｖにより囲まれた矩形状の表示画面Ｄに変換して画面領域を通知する。
周囲枠Ｆは、認識用部材として再帰性反射材から形成されているため、漁業管理支援端末装置２０におけるフラッシュとして発光する発光手段（図示せず）からの光が、周囲枠Ｆに反射して真っ直ぐ漁業管理支援端末装置２０に戻る。
従って、撮影画像Ｇ１～Ｇ４には、周囲枠Ｆからの反射光が、仮想枠Ｖとして写り込む。
画面領域検出手段２４１は、この仮想枠Ｖを検出して、撮影画像から射影変換により仮想枠Ｖにより囲まれた矩形状の表示画面Ｄに変換して画面領域を通知する。
【0062】
（３）次に、周囲枠Ｆとする認識用部材として、再帰性反射材により形成する以外に、色テープにより形成した方法を説明する。
周囲枠Ｆが色テープにより形成されているときには、色テープの色、例えば黄色の周囲枠Ｆが撮影画像に写り込む。従って、画面領域検出手段２４１が、この黄色の周囲枠Ｆを検出して、撮影画像から周囲枠Ｆにより囲まれた表示画面の画面領域を通知することができる。
周囲枠Ｆが色テープにより形成されているときには、色テープの色、例えば黄色の周囲枠Ｆが撮影画像に写り込む。従って、画面領域検出手段２４１が、この黄色の周囲枠Ｆを検出して、撮影画像から周囲枠Ｆにより囲まれた表示画面の画面領域を通知することができる。
【0063】
（４）更に、認識用部材を、図１１に示すように、表示画面における額縁の４箇所の角部に設けられた二次元バーコードＢとした場合では、画面領域検出手段２４１は、二次元バーコードＢの位置を認識し、隣接する二次元バーコードＢ同士の位置を結ぶ４本の仮想線Ｌによる仮想枠Ｖを検出することで、撮影画像Ｇから仮想枠Ｖにより囲まれた画面領域を通知することができる。
本実施の形態では、二次元バーコードＢとして二次元マーカーの一種であるＡｒＵｃｏを使用しているが、ＱＲコード（登録商標）でも使用できる。
本実施の形態では、二次元バーコードＢとして二次元マーカーの一種であるＡｒＵｃｏを使用しているが、ＱＲコード（登録商標）でも使用できる。
【0064】
（１）～（４）によれば、漁業者が表示画面Ｄを正面から撮影せずに、矩形状の表示画面Ｄが台形状に歪んでいたり、表示画面Ｄの周囲に背景が写り込んだりしていても、正確に表示画面Ｄの範囲を把握することができる。
また、（１）の深層学習により画面領域を推定することで、画面領域を示す目印（例えば、再帰性反射材や色テープ、二次元バーコードなど）を表示画面に設けることなく、正確に表示画面の範囲を把握することができる。
また、（１）の深層学習により画面領域を推定することで、画面領域を示す目印（例えば、再帰性反射材や色テープ、二次元バーコードなど）を表示画面に設けることなく、正確に表示画面の範囲を把握することができる。
【0065】
（合成画面の生成）
次に、図４に示す抽出手段２４２が、各画素から外れ値を除去して合成することで、文字への反射光の重畳が無い、または重畳が少ない撮影画像として合成画像を生成する（ステップＳ１４参照）。
ここで、抽出手段２４２による撮影画像の生成方法について詳細に説明する。
例えば、図１０（Ａ）から同図（Ｄ）に示す連続して撮影された撮影画像Ｇ１～Ｇ４では、点状の反射光Ｒや面状の反射光Ｒが写り込んでいる。
次に、図４に示す抽出手段２４２が、各画素から外れ値を除去して合成することで、文字への反射光の重畳が無い、または重畳が少ない撮影画像として合成画像を生成する（ステップＳ１４参照）。
ここで、抽出手段２４２による撮影画像の生成方法について詳細に説明する。
例えば、図１０（Ａ）から同図（Ｄ）に示す連続して撮影された撮影画像Ｇ１～Ｇ４では、点状の反射光Ｒや面状の反射光Ｒが写り込んでいる。
【0066】
そこで、まず、Ｎ枚の画像におけるｉ番目の画像における各画素（ｘ，ｙ）のＲＧＢ値を、Ｒi(x,y),Ｇi(x,y),Ｂi(x,y)により表したときに、抽出手段２４２は、以下の式により各画素のＲＧＢ値の中間値を算出することで、１枚に合成した画像ＲＲを生成する。
ＲRR(x,y)＝median（Ｒ0(x,y)，Ｒ1(x,y)，Ｒ2(x,y)，・・・，ＲN-1(x,y)）
ＧRR(x,y)＝median（Ｇ0(x,y)，Ｇ1(x,y)，Ｇ2(x,y)，・・・，ＧN-1(x,y)）
ＢRR(x,y)＝median（Ｂ0(x,y)，Ｂ1(x,y)，Ｂ2(x,y)，・・・，ＢN-1(x,y)）
このように、抽出手段２４２が、各画素から外れ値を除去するために、各画素のＲＧＢ値の中間値とした合成画像ＲＲを複数枚の撮影画像から生成することで、明るく反射が写り込んだ画像の画素は、写り込んでいない他の画像の画素のＲＧＢ値により低く抑えることができる。
また、撮影画像Ｇ１～Ｇ４は、撮影方向を変更しながら撮影したものであるため、最初の撮影画像の文字に反射光Ｒが重畳していても、撮影方向を移動しているうちに反射光Ｒが文字から外れ、反射光Ｒが文字に重畳しないようにすることができるので、これらの撮影画像Ｇ１～Ｇ４を合成したときに、反射光Ｒを弱めたり、取り除いたりすることができる。
その結果の合成画像ＲＲを図１０（Ｅ）により示す。図１０（Ｅ）に示す合成画像ＲＲでは、反射光が無くなっているのがわかる。
ＲRR(x,y)＝median（Ｒ0(x,y)，Ｒ1(x,y)，Ｒ2(x,y)，・・・，ＲN-1(x,y)）
ＧRR(x,y)＝median（Ｇ0(x,y)，Ｇ1(x,y)，Ｇ2(x,y)，・・・，ＧN-1(x,y)）
ＢRR(x,y)＝median（Ｂ0(x,y)，Ｂ1(x,y)，Ｂ2(x,y)，・・・，ＢN-1(x,y)）
このように、抽出手段２４２が、各画素から外れ値を除去するために、各画素のＲＧＢ値の中間値とした合成画像ＲＲを複数枚の撮影画像から生成することで、明るく反射が写り込んだ画像の画素は、写り込んでいない他の画像の画素のＲＧＢ値により低く抑えることができる。
また、撮影画像Ｇ１～Ｇ４は、撮影方向を変更しながら撮影したものであるため、最初の撮影画像の文字に反射光Ｒが重畳していても、撮影方向を移動しているうちに反射光Ｒが文字から外れ、反射光Ｒが文字に重畳しないようにすることができるので、これらの撮影画像Ｇ１～Ｇ４を合成したときに、反射光Ｒを弱めたり、取り除いたりすることができる。
その結果の合成画像ＲＲを図１０（Ｅ）により示す。図１０（Ｅ）に示す合成画像ＲＲでは、反射光が無くなっているのがわかる。
【0067】
上記説明では、外れ値の除去するために、抽出手段２４２は、各画素の中間値を算出することで合成していたが、外れ値の除去は、標準偏差における平均値の２σから外れた値を外れ値とすることができ、外れ値を除去した平均値とすることができる。
【0068】
（２値画像の生成）
次に、図４に示す２値化手段２４３が、撮影画像から文字の文字色を示す第１色データ以外の画素の色データを第２色データに置換した２値画像を生成する（ステップＳ１５参照）。本実施の形態では、文字色を白色としている。つまり、第１色データは、赤色データが０，緑色データが０、青色データが０となる。また、第２色データを黒色としている。つまり、第１色データは、赤色データが２５５，緑色データが２５５、青色データが２５５となる。
例えば、図１２（Ａ）に示すように文字「１．０」に蛍光灯の反射光Ｒが重畳しているが、反射光Ｒは薄青い色を呈している。従って、白色以外を全て黒色とする２値化処理を行うことにより反射光Ｒを除去することができる。
このように２値化手段２４３が、２値画像を生成することで、抽出手段２４２でも取り除けなかった黒みがかった反射光が写り込んだ撮影画像から反射光を除去することができる。
次に、図４に示す２値化手段２４３が、撮影画像から文字の文字色を示す第１色データ以外の画素の色データを第２色データに置換した２値画像を生成する（ステップＳ１５参照）。本実施の形態では、文字色を白色としている。つまり、第１色データは、赤色データが０，緑色データが０、青色データが０となる。また、第２色データを黒色としている。つまり、第１色データは、赤色データが２５５，緑色データが２５５、青色データが２５５となる。
例えば、図１２（Ａ）に示すように文字「１．０」に蛍光灯の反射光Ｒが重畳しているが、反射光Ｒは薄青い色を呈している。従って、白色以外を全て黒色とする２値化処理を行うことにより反射光Ｒを除去することができる。
このように２値化手段２４３が、２値画像を生成することで、抽出手段２４２でも取り除けなかった黒みがかった反射光が写り込んだ撮影画像から反射光を除去することができる。
【0069】
従って、文字認識手段２４は、表示画面に反射光Ｒや障害物の写り込みが生じないように箱を被せる必要がないため煩雑な手間が不要である。また、文字認識手段２４は、表示画面に反射光の写り込みが生じても、精度良く文字認識させることを可能とすることで、海上のような厳しい環境でも使用できる。
【0070】
（文字認識）
次に、図４に示す認識手段２４５が、テンプレート指定手段２４４が指定したテンプレートの認識対象領域に含まれる２値画像の第１色データにより示された文字を認識して文字情報として出力する（ステップＳ１６参照）。
次に、図４に示す認識手段２４５が、テンプレート指定手段２４４が指定したテンプレートの認識対象領域に含まれる２値画像の第１色データにより示された文字を認識して文字情報として出力する（ステップＳ１６参照）。
【0071】
例えば、本実施の形態では、テンプレートにより定義された矩形状の認識対象領域として、図１２（Ｂ）に示すように、潮流の速度を示す潮速領域Ｓ１と、潮流の方向を示す潮向領域Ｓ２と、潮流の水温を示す潮温度領域Ｓ３とが定義されている。
テンプレート指定手段２４４がテンプレートによる認識対象領域の文字を認識するため、必要な範囲の文字のみを認識することができるので、文字認識の精度を高めることができる。
そして、属性付与手段２４６が、認識手段２４５により認識された文字に、テンプレート指定手段２４４により指定された認識対象領域（潮速領域Ｓ１，潮向領域Ｓ２，潮温度領域Ｓ３）に対応する属性を付与する（ステップＳ１７参照）。例えば潮速領域Ｓ１に含まれる文字は潮速情報、潮向領域Ｓ２に含まれる文字は潮向情報、潮温度領域Ｓ３に含まれる文字は潮温度情報となる。
テンプレート指定手段２４４がテンプレートによる認識対象領域の文字を認識するため、必要な範囲の文字のみを認識することができるので、文字認識の精度を高めることができる。
そして、属性付与手段２４６が、認識手段２４５により認識された文字に、テンプレート指定手段２４４により指定された認識対象領域（潮速領域Ｓ１，潮向領域Ｓ２，潮温度領域Ｓ３）に対応する属性を付与する（ステップＳ１７参照）。例えば潮速領域Ｓ１に含まれる文字は潮速情報、潮向領域Ｓ２に含まれる文字は潮向情報、潮温度領域Ｓ３に含まれる文字は潮温度情報となる。
【0072】
このように、文字認識手段２４は、潮速領域Ｓ１に対応する潮速情報、潮向領域Ｓ２に対応する潮向情報、潮温度領域Ｓ３に対応する潮温度情報を、表示画面から認識して、潮流情報として生成することができる。
【0073】
文字認識手段２４は、テンプレートを記憶手段２９により格納されたものを使用するオフラインのときには、認識結果について、記憶手段２９に文字認識情報を格納して次の処理に移行する。また、認識対象領域を文字認識支援サーバ６０から取得して使用するオンラインのときには、認識情報通知手段２４７が、文字認識情報を文字認識支援サーバ６０にアップロードしてから次の処理に移行する。
文字認識情報が文字認識支援サーバ６０にアップロードされるため、文字認識支援サーバ６０にて文字認識情報の収集ができ、テンプレートの定義による違いで文字認識率がどのように変化するかを把握することができる。また、文字認識情報にテンプレートの使用日時を含めることができる。
使用日時によって、周囲環境、特に、太陽光の影響や照明光の影響などが把握できるため、文字認識情報に、テンプレートの使用日時を含むものとすれば、これらの影響に強いテンプレートを選択することができる。更に、文字認識情報に含まれた操業者のコメントにより操業者の使い勝手をフィードバックさせることができる。
従って、文字認識率によりテンプレートを評価することができ、文字認識率の向上に寄与させることができ、利便性を高めることができる。
文字認識情報が文字認識支援サーバ６０にアップロードされるため、文字認識支援サーバ６０にて文字認識情報の収集ができ、テンプレートの定義による違いで文字認識率がどのように変化するかを把握することができる。また、文字認識情報にテンプレートの使用日時を含めることができる。
使用日時によって、周囲環境、特に、太陽光の影響や照明光の影響などが把握できるため、文字認識情報に、テンプレートの使用日時を含むものとすれば、これらの影響に強いテンプレートを選択することができる。更に、文字認識情報に含まれた操業者のコメントにより操業者の使い勝手をフィードバックさせることができる。
従って、文字認識率によりテンプレートを評価することができ、文字認識率の向上に寄与させることができ、利便性を高めることができる。
【0074】
文字認識手段２４により文字認識されると、図９に示す操作画面Ｐ１に配置された、潮速表示欄Ｒ１１に潮速情報が表示され、潮向表示欄Ｒ１２に潮向情報が表示され、潮水温表示欄Ｒ１３に潮水温情報が表示される。
図９に示す例では、潮速表示欄Ｒ１１に潮速情報として、２．５ノットが表示され、潮向表示欄Ｒ１２に潮向情報として、北北東が表示され、潮水温表示欄Ｒ１３に潮水温情報として１１度が表示される。
図９に示す例では、潮速表示欄Ｒ１１に潮速情報として、２．５ノットが表示され、潮向表示欄Ｒ１２に潮向情報として、北北東が表示され、潮水温表示欄Ｒ１３に潮水温情報として１１度が表示される。
【0075】
ここで、テンプレート指定手段２４４が指定したテンプレートの認識対象領域は、潮流計（計測器）のメーカーの機種によって表示画面のレイアウトが異なる。そのため、記憶手段２９には、メーカーの機種ごとにテンプレートが定義され、格納されている。このテンプレートは、設定により変更することができるため、様々な漁船に搭載された機種を指定することで、漁業管理支援端末装置２０を対応させることができる。
【0076】
図３に示す漁業管理支援端末装置２０は、測位手段２５が、測位衛星からの信号に基づいて測位することで、測位された位置情報と、測位の際に取得した日時情報と取得する。位置情報と日時情報とが取得されることで、図９に示す操作画面Ｐ１に緯度および軽度が表示される。
【0077】
操作画面Ｐ１には、操業日誌を新規で登録するために、「保存して新規登録」と表示され、操業開始時を示すボタンＢ１２が表示されている。漁業者は、操業を開始するときに、このボタンＢ１２を押下する。
ボタンＢ１２が押下されたことが、図３に示す入力手段２７から通知されると（図６のステップＳ３０参照）、情報送信手段２６は、操業時情報（潮流情報，位置情報，日時情報）を通知情報として、通信手段２１を介して漁業管理支援サーバ３０へ送信しようとする。
ボタンＢ１２が押下されたことが、図３に示す入力手段２７から通知されると（図６のステップＳ３０参照）、情報送信手段２６は、操業時情報（潮流情報，位置情報，日時情報）を通知情報として、通信手段２１を介して漁業管理支援サーバ３０へ送信しようとする。
【0078】
しかし、操業場所は沿岸より遠距離にあるため、通信手段２１が携帯電話会社の中継局と通信不可な状態である（ステップＳ４０参照）。従って、情報送信手段２６は、通知情報を記憶手段２９に格納して送信を待機する（ステップＳ５０参照）。
【0079】
そして、操業が終了して漁船が沿岸に近づくと、通信手段２１と中継局との通信が確立したことを契機に、情報送信手段２６は、通知情報を記憶手段２９から読み出して漁業管理支援サーバ３０へ送信する（ステップＳ６０参照）。
また、このとき、文字認識手段２４が、テンプレートをオフラインで使用したときに記憶手段２９に格納した、認識結果である文字認識情報も、沿岸に接近したときに文字認識支援サーバ６０へ送信するようにしてもよい。
また、このとき、文字認識手段２４が、テンプレートをオフラインで使用したときに記憶手段２９に格納した、認識結果である文字認識情報も、沿岸に接近したときに文字認識支援サーバ６０へ送信するようにしてもよい。
【0080】
漁業管理支援サーバ３０では、通信手段３１を介して漁業管理支援端末装置２０からの操業時情報（潮流情報、位置情報および日時情報）を受信すると、操業時情報が記憶手段３７に格納されると共に、海区解析手段３２が位置情報に基づいて操業場所が含まれる漁区（海区）を解析して漁区情報として記憶手段３７に格納する（ステップＳ７０参照）。
【0081】
また、海洋情報取得手段３３（図５参照）が、位置情報および日時情報を海洋気象情報提供サーバ５０に送信することで、位置情報が示す位置における日時情報が示す日時についての海洋気象に関する情報（海洋気象情報）を取得する（ステップＳ８０参照）。
更に、漁業協同組合の担当者が入力用端末装置４０を操作して、漁業管理支援サーバ３０にアクセスし、仕切書に基づいて各操業場所における魚種ごとの漁獲量を入力する（ステップＳ９０参照）。
更に、漁業協同組合の担当者が入力用端末装置４０を操作して、漁業管理支援サーバ３０にアクセスし、仕切書に基づいて各操業場所における魚種ごとの漁獲量を入力する（ステップＳ９０参照）。
【0082】
漁業管理支援サーバ３０では、入力用端末装置４０からの仕切書についての漁獲量情報に基づいて漁獲量登録手段３４が、記憶手段３７に登録する。
漁業協同組合の担当者は、全ての情報の入力が完了すると、漁獲成績報告書の出力を、入力用端末装置４０を操作して、漁業管理支援サーバ３０に指示する。
漁業協同組合の担当者は、全ての情報の入力が完了すると、漁獲成績報告書の出力を、入力用端末装置４０を操作して、漁業管理支援サーバ３０に指示する。
【0083】
漁業管理支援サーバ３０では、報告書生成手段３５が、記憶手段３７から操業に関する情報（位置情報、日時情報、潮流情報、漁獲量情報）を読み出し、所定フォーマットの漁獲成績報告書を生成して記憶手段３７に格納する（ステップＳ１００参照）。このとき、報告書生成手段３５は、日時情報から所定日時を加算した日時を、操業終了日時を示す終了日時情報として生成する。
入力用端末装置４０では、生成された漁獲成績報告書をダウンロードすることで、入力用端末装置４０にＵＳＢ等により直接、またはＬＡＮ等により間接的に接続された印刷装置（プリンタ等）に印刷することができる（ステップＳ１１０参照）。
入力用端末装置４０では、生成された漁獲成績報告書をダウンロードすることで、入力用端末装置４０にＵＳＢ等により直接、またはＬＡＮ等により間接的に接続された印刷装置（プリンタ等）に印刷することができる（ステップＳ１１０参照）。
【0084】
図１３に、報告書生成手段３５が生成した漁獲成績報告書の一例を示す。
図１３に示す漁獲成績報告書では、時間日時情報から月日欄Ｒ１と投網開始時刻欄Ｒ２とに記載される情報が生成される。位置情報から漁区欄Ｒ３に記載される情報が生成される。投網終了時刻欄Ｒ４に記載される情報は日時情報から自動生成される。潮温度情報（潮流情報）から水温欄Ｒ５に記載される情報が生成される。そして、仕切書に基づいて入力された漁獲量情報から魚種別漁獲量欄Ｒ６に記載される情報が生成される。
なお、図１３に示す漁獲成績報告書では、漁区欄Ｒ３に漁区番号が記載されているが、他に緯度と経度とを記載するフォーマットである場合には、位置情報から生成される。
図１３に示す漁獲成績報告書では、時間日時情報から月日欄Ｒ１と投網開始時刻欄Ｒ２とに記載される情報が生成される。位置情報から漁区欄Ｒ３に記載される情報が生成される。投網終了時刻欄Ｒ４に記載される情報は日時情報から自動生成される。潮温度情報（潮流情報）から水温欄Ｒ５に記載される情報が生成される。そして、仕切書に基づいて入力された漁獲量情報から魚種別漁獲量欄Ｒ６に記載される情報が生成される。
なお、図１３に示す漁獲成績報告書では、漁区欄Ｒ３に漁区番号が記載されているが、他に緯度と経度とを記載するフォーマットである場合には、位置情報から生成される。
【0085】
このように、漁業管理支援サーバ３０では、漁業者、漁業協同組合などからの各種の情報を収集することで漁獲成績報告書を自動生成することができる。
【0086】
そして、漁業管理支援サーバ３０では、操業日誌生成手段３６が、操業に関する情報（位置情報、日時情報、漁獲量情報）と海洋気象情報とに基づいて図１４に示す操業日誌を自動生成する。図１４に示す操業日誌は、漁業管理支援端末装置２０により漁業管理支援サーバ３０にアクセスすることで閲覧したものである。
【0087】
このように、漁業管理支援システム１０によれば、漁業管理支援端末装置２０が、携帯電話会社の中継局を介して漁業管理支援サーバ３０に送信できないときに、位置情報および日時情報を記憶手段２９に格納して待機する。そして、漁業管理支援端末装置２０が、中継局との通信が確立としたことを契機に、位置情報および日時情報を漁業管理支援サーバ３０へ送信する。そのため、漁業者が海上で操業していても、通信が回復したときに漁業管理支援サーバ３０に位置情報および日時情報を送信することができる。
【0088】
従って、漁業管理支援端末装置２０を、携帯電話会社と通信する機能を有するスマートフォンやタブレットとすることができる。また、漁業者は、位置情報および日時情報を取得するために図８および図９に示す操作画面を操作するだけである。
よって、図１に示す漁業管理支援システム１０は、漁獲成績報告書の作成を支援することで、小規模な漁業者であっても、簡便に作成することができる。
よって、図１に示す漁業管理支援システム１０は、漁獲成績報告書の作成を支援することで、小規模な漁業者であっても、簡便に作成することができる。
【0089】
また、漁業管理支援サーバ３０の報告書生成手段３５が、日時情報から所定日時を加算することで、操業終了日時を示す終了日時情報を生成することができるので、漁業者が、漁業管理支援端末装置２０を操作して、操業終了日時を入力する必要がない。
【0090】
更に、漁業管理支援サーバ３０の操業日誌生成手段３６が、位置情報および日時情報と、潮流情報とに基づいて、図１４に示すような操業日誌を生成することができる。
そうすることで、漁獲成績報告書だけでなく、操業日誌も同時に自動生成させることができる。
また、漁業管理支援システム１０は、漁獲成績報告書を自動生成したり、漁獲成績報告書と操業日誌との両方を自動生成するだけでなく、操業日誌のみ自動生成したりするようにしてもよい。
そうすることで、漁獲成績報告書だけでなく、操業日誌も同時に自動生成させることができる。
また、漁業管理支援システム１０は、漁獲成績報告書を自動生成したり、漁獲成績報告書と操業日誌との両方を自動生成するだけでなく、操業日誌のみ自動生成したりするようにしてもよい。
【0091】
次に、テンプレートの作成や編集について説明する。
作業者は、作業用端末装置７０を操作して文字認識支援サーバ６０にアクセスして、新規のテンプレートを作成したり、既存のテンプレートを編集したりすることができる。また、テンプレートを構成する複数の認識対象領域（パーツ）を組み合わせて合成することで、一つのテンプレートとすることができる。
このとき、作業用端末装置７０では、表示手段にＧＵＩ（Graphical User Interface）により表示されたテンプレートを、マウスやタッチパッド、タッチスクリーンなどの入力手段により定義することができる。例えば、入力手段を操作して、矩形状の認識対象領域を、拡げたり狭めたり、移動させたりして、作成や合成、削除して、テンプレートを作成、編集することができる。
作業者は、作業用端末装置７０を操作して文字認識支援サーバ６０にアクセスして、新規のテンプレートを作成したり、既存のテンプレートを編集したりすることができる。また、テンプレートを構成する複数の認識対象領域（パーツ）を組み合わせて合成することで、一つのテンプレートとすることができる。
このとき、作業用端末装置７０では、表示手段にＧＵＩ（Graphical User Interface）により表示されたテンプレートを、マウスやタッチパッド、タッチスクリーンなどの入力手段により定義することができる。例えば、入力手段を操作して、矩形状の認識対象領域を、拡げたり狭めたり、移動させたりして、作成や合成、削除して、テンプレートを作成、編集することができる。
【0092】
複数の認識対象領域から一つのテンプレートを合成するときに、個々の認識対象領域のスケール（縮尺度）が異なり、大きさが異なる場合には、それぞれの認識対象領域を定義する相対座標を用いることにより、スケールの差異を吸収することができる。
【0093】
また、作業用端末装置７０によりテンプレートを作成するときに、漁業管理支援端末装置２０の撮影姿勢に基づいて作成することができる。
例えば、漁業管理支援端末装置２０の表示手段２８の長さ方向が上下方向に沿った姿勢で撮影されると、縦画面（ポートレート）に合わせた縦長の撮影画像となり、表示手段２８の長さ方向が左右方向に沿った姿勢で撮影されると、横画面（ランドスケープ）に合わせた横長の撮影画像となり、漁業管理支援端末装置２０の撮影姿勢によって撮影画像の縦横の比率が変わる。
例えば、漁業管理支援端末装置２０の表示手段２８の長さ方向が上下方向に沿った姿勢で撮影されると、縦画面（ポートレート）に合わせた縦長の撮影画像となり、表示手段２８の長さ方向が左右方向に沿った姿勢で撮影されると、横画面（ランドスケープ）に合わせた横長の撮影画像となり、漁業管理支援端末装置２０の撮影姿勢によって撮影画像の縦横の比率が変わる。
【0094】
そのため、表示画面が横長の潮流計を撮影するときに、縦画面で撮影しようとすると、横画面で撮影するときより、潮流計から遠ざかって撮影することになる。そうなると、テンプレートの認識対象領域の大きさが変わる。また、認識後の文字を漁業管理支援端末装置２０の表示手段２８（図２参照）に表示するときに、縦画面と横画面とで表示位置が変わる。
従って、縦長の撮影画像に好適な縦長用のテンプレートと、横長の撮影画像に好適な横長用のテンプレートとを準備して、漁業管理支援端末装置２０の撮影姿勢に応じて、テンプレート指定手段２４４が縦長用または横長用のテンプレートを切り替える。そうすることで、撮影姿勢に好適なテンプレートを選択することができる。
従って、縦長の撮影画像に好適な縦長用のテンプレートと、横長の撮影画像に好適な横長用のテンプレートとを準備して、漁業管理支援端末装置２０の撮影姿勢に応じて、テンプレート指定手段２４４が縦長用または横長用のテンプレートを切り替える。そうすることで、撮影姿勢に好適なテンプレートを選択することができる。
【0095】
なお、本実施の形態では、計測器が漁業に使用される潮流計であったが、表示画面を有し、この表示画面に文字が表示されるものであれば、本発明の文字認識手段（文字認識装置）は適用可能である。
本実施の形態では、漁業管理支援サーバ３０、海洋気象情報提供サーバ５０、文字認識支援サーバ６０などが別々のサーバにより構成されているが、各サーバが組み合わせたり、全部一緒であったりしてもよい。
本実施の形態では、漁業管理支援サーバ３０、海洋気象情報提供サーバ５０、文字認識支援サーバ６０などが別々のサーバにより構成されているが、各サーバが組み合わせたり、全部一緒であったりしてもよい。
【産業上の利用可能性】
【0096】
本発明は、厳しい環境でも文字認識が可能であるため、屋内だけでなく屋外にて使用される計測器の表示画面を読み取る場合に好適である。また、本発明は、漁獲成績報告書や操業日誌の作成を容易とすることができるため、漁業に従事する者に好適である。
【符号の説明】
【0097】
１０ 漁業管理支援システム
２０ 漁業管理支援端末装置
２１ 通信手段
２２ 撮影手段
２３ 画面制御手段
２４ 文字認識手段
２４１ 画面領域検出手段
２４２ 抽出手段
２４３ ２値化手段
２４４ テンプレート指定手段
２４５ 認識手段
２４６ 属性付与手段
２４７ 認識情報通知手段
２４８ テンプレート取得手段
２５ 測位手段
２６ 情報送信手段
２７ 入力手段
２８ 表示手段
２９ 記憶手段
３０ 漁業管理支援サーバ
３１ 通信手段
３２ 海区解析手段
３３ 海洋情報取得手段
３４ 漁獲量登録手段
３５ 報告書生成手段
３６ 操業日誌生成手段
３７ 記憶手段
４０ 入力用端末装置
５０ 海洋気象情報提供サーバ
６０ 文字認識支援サーバ
７０ 作業用端末装置
Ｗ インターネット
Ｄ 表示画面
Ｔ 潮流計
Ｇ，Ｇ１～Ｇ４ 撮影画像
ＲＲ 合成画像
Ｆ 周囲枠
Ｖ 仮想枠
Ｌ 仮想線
Ｂ 二次元バーコード
Ｒ 反射光
Ｐ１ 操作画面
Ｂ１１，Ｂ１２ ボタン
Ｓ 測位衛星
Ｒ１１ 潮速表示欄
Ｒ１２ 潮向表示欄
Ｒ１３ 潮水温表示欄
Ｒ１ 月日欄
Ｒ２ 投網開始時刻欄
Ｒ３ 漁区欄
Ｒ４ 投網終了時刻欄
Ｒ５ 水温欄
Ｒ６ 魚種別漁獲量欄
Ｓ１ 潮速領域
Ｓ２ 潮向領域
Ｓ３ 潮温度領域
２０ 漁業管理支援端末装置
２１ 通信手段
２２ 撮影手段
２３ 画面制御手段
２４ 文字認識手段
２４１ 画面領域検出手段
２４２ 抽出手段
２４３ ２値化手段
２４４ テンプレート指定手段
２４５ 認識手段
２４６ 属性付与手段
２４７ 認識情報通知手段
２４８ テンプレート取得手段
２５ 測位手段
２６ 情報送信手段
２７ 入力手段
２８ 表示手段
２９ 記憶手段
３０ 漁業管理支援サーバ
３１ 通信手段
３２ 海区解析手段
３３ 海洋情報取得手段
３４ 漁獲量登録手段
３５ 報告書生成手段
３６ 操業日誌生成手段
３７ 記憶手段
４０ 入力用端末装置
５０ 海洋気象情報提供サーバ
６０ 文字認識支援サーバ
７０ 作業用端末装置
Ｗ インターネット
Ｄ 表示画面
Ｔ 潮流計
Ｇ，Ｇ１～Ｇ４ 撮影画像
ＲＲ 合成画像
Ｆ 周囲枠
Ｖ 仮想枠
Ｌ 仮想線
Ｂ 二次元バーコード
Ｒ 反射光
Ｐ１ 操作画面
Ｂ１１，Ｂ１２ ボタン
Ｓ 測位衛星
Ｒ１１ 潮速表示欄
Ｒ１２ 潮向表示欄
Ｒ１３ 潮水温表示欄
Ｒ１ 月日欄
Ｒ２ 投網開始時刻欄
Ｒ３ 漁区欄
Ｒ４ 投網終了時刻欄
Ｒ５ 水温欄
Ｒ６ 魚種別漁獲量欄
Ｓ１ 潮速領域
Ｓ２ 潮向領域
Ｓ３ 潮温度領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
