特許 7396568 帳票レイアウト解析装置、その解析プログラムおよびその解析方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-04

(45)【発行日】2023-12-12

(54)【発明の名称】帳票レイアウト解析装置、その解析プログラムおよびその解析方法

(51)【国際特許分類】

   G06V 30/412 20220101AFI20231205BHJP

   G06T 7/00 20170101ALI20231205BHJP

【ＦＩ】

G06V30/412

G06T7/00 350C

【請求項の数】 8

(21)【出願番号】P 2020551133

(86)(22)【出願日】2019-10-04

(86)【国際出願番号】 JP2019039412

(87)【国際公開番号】W WO2020071558

(87)【国際公開日】2020-04-09

【審査請求日】2022-09-29

(31)【優先権主張番号】P 2018190112

(32)【優先日】2018-10-05

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】517332845

【氏名又は名称】Ａｒｉｔｈｍｅｒ株式会社

(72)【発明者】

【氏名】佐々木 諒介

【審査官】新井 則和

(56)【参考文献】

【文献】特開平０９－２３１２９１（ＪＰ，Ａ）

【文献】特開２００９－２３０４９８（ＪＰ，Ａ）

【文献】特開２０１７－０１００６９（ＪＰ，Ａ）

【文献】陳 放歌 外，案内標識のリアルタイム検出および自動生成した学習データに基づく内容認識に関する研究，第２３回 画像センシングシンポジウム，2017年12月31日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／４１２

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

帳票のレイアウトを解析する帳票レイアウト解析装置において、
帳票上に活字で印刷された項目名を含む項目領域を抽出対象として、帳票画像中に含まれる項目領域を属性の分類付きで個別に抽出する項目抽出部と、
前記帳票画像上における項目領域の位置およびその属性に基づいて、帳票画像のレイアウトを解析するレイアウト解析部と、
を有し、
前記項目抽出部は、活字で表された項目名を含む項目画像と、当該項目画像の属性との対である教師データを用いた教師あり学習によって構築された学習モデルを参照して、前記項目領域の抽出と、その属性の分類とを行う
ことを特徴とする帳票レイアウト解析装置。

【請求項2】

帳票上に手書き文字で記入された文字列を含む手書き文字領域を帳票画像中から個別に抽出する手書き領域抽出部をさらに有し、
前記レイアウト解析部は、前記手書き領域抽出部によって抽出された手書き文字領域のそれぞれに対して、前記項目抽出部によって分類された属性のいずれかを割り当てる
ことを特徴とする請求項１に記載された帳票レイアウト解析装置。

【請求項3】

前記レイアウト解析部は、予め設定された対応規則にしたがって、前記項目領域と、その近傍に位置する前記手書き文字領域とを対応付けた上で、前記手書き文字領域に対して、これに対応付けられた前記項目領域の属性を割り当てる
ことを特徴とする請求項２に記載された帳票レイアウト解析装置。

【請求項4】

前記項目抽出部は、前記帳票画像を一つのニューラルネットワークに入力することで、前記項目領域の抽出と、その属性の分類とをまとめて行う
ことを特徴とする請求項１から３のいずれかに記載された帳票レイアウト解析装置。

【請求項5】

前記項目抽出部は、前記属性の分類確度を出力し、
前記分類確度が所定のしきい値よりも小さい前記属性をノイズとして除去するフィルタ処理部をさらに有する
ことを特徴とする請求項１から４のいずれかに記載された帳票レイアウト解析装置。

【請求項6】

前記レイアウト解析部は、帳票画像のレイアウトについて複数の解析結果が得られた場合、当該複数の解析結果をレイアウトの候補としてユーザに提示する
ことを特徴とする請求項１から３のいずれかに記載された帳票レイアウト解析装置。

【請求項7】

帳票のレイアウトを解析する帳票レイアウト解析プログラムにおいて、
帳票上に活字で印刷された項目名を含む項目領域を抽出対象として、帳票画像中に含まれる項目領域を属性の分類付きで個別に抽出する第１のステップと、
前記帳票画像上における項目領域の位置およびその属性に基づいて、帳票画像のレイアウトを解析する第２のステップと、
を有し、
前記第１のステップは、活字で表された項目名を含む項目画像と、当該項目画像の属性との対である教師データを用いた教師あり学習によって構築された学習モデルを参照して、前記項目領域の抽出と、その属性の分類とを行う
処理をコンピュータに実行させることを特徴とする帳票レイアウト解析プログラム。

【請求項8】

帳票のレイアウトを解析する帳票レイアウト解析方法において、
帳票上に活字で印刷された項目名を含む項目領域を抽出対象として、帳票画像中に含まれる項目領域を属性の分類付きで個別に抽出する第１のステップと、
前記帳票画像上における項目領域の位置およびその属性に基づいて、帳票画像のレイアウトを解析する第２のステップと、
を有し、
前記第１のステップは、活字で表された項目名を含む項目画像と、当該項目画像の属性との対である教師データを用いた教師あり学習によって構築された学習モデルを参照して、前記項目領域の抽出と、その属性の分類とを行う
ことを特徴とする帳票レイアウト解析方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、帳票のレイアウトを解析する帳票レイアウト解析装置、その解析プログラムおよびその解析方法に関する。

【背景技術】

【0002】

従来、帳票を画像データとして取り込んで、画像処理によって帳票のレイアウトを解析する手法が知られている。例えば、特許文献１には、文書のレイアウトを規定するテンプレートを用いて、文書画像中の文書構造を解析する文書編集出力装置が開示されている。また、特許文献２には、フィールドのデータ型を学習機能により半自動的に設定可能とすることで、より詳細なＯＣＲ制約条件を容易に課すことができ、これによって、文字認識の精度を向上させる情報処理装置が開示されている。具体的には、入力された帳票画像に対応するフォーマット情報および制約条件がフォーマットモデル記憶部から読み出され、このフォーマット情報によって特定されたフィールドにおける帳票画像の記入値がフィールドの制約条件の範囲内で文字認識される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平１１－２１９４４２号公報

【文献】特開２０１７－１００６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した特許文献１および特許文献２の解析手法は、帳票のテンプレートやフォーマットがシステムに予め登録されていることを前提とするため、システムに登録されていない未知の帳票には対応できない。

【0005】

そこで、本発明は、システムに登録されていない未知の帳票のレイアウト解析を可能にすることを目的とする。

【課題を解決するための手段】

【0006】

かかる課題を解決すべく、第１の発明は、項目抽出部と、レイアウト解析部とを有し、帳票のレイアウトを解析する帳票レイアウト解析装置を提供する。項目抽出部は、帳票上に活字で印刷された項目名を含む項目領域を抽出対象として、深層学習による物体検出アルゴリズムを用いて、帳票画像中に含まれる項目領域を属性の分類付きで個別に抽出する。レイアウト解析部は、帳票画像上における項目領域の位置およびその属性に基づいて、帳票画像のレイアウトを解析する。

【0007】

ここで、第１の発明において、帳票上に手書き文字で記入された文字列を含む手書き文字領域を帳票画像中から個別に抽出する手書き領域抽出部をさらに設けてもよい。この場合、レイアウト解析部は、手書き領域抽出部によって抽出された手書き文字領域のそれぞれに対して、項目抽出部によって分類された属性のいずれかを割り当てることが好ましい。また、レイアウト解析部は、予め設定された対応規則にしたがって、項目領域と、その近傍に位置する手書き文字領域とを対応付けた上で、手書き文字領域に対して、これに対応付けられた項目領域の属性を割り当ててもよい。

【0008】

第１の発明において、項目抽出部は、物体検出アルゴリズムとして、帳票画像を一つのニューラルネットワークに入力することで、回帰問題的なアプローチによって、項目領域の抽出と、その属性の分類とをまとめて行うことが好ましい。この場合、項目抽出部は、活字で表された項目名を含む項目画像と、当該項目画像の属性との対である教師データを用いた教師あり学習によって構築された学習モデルを参照して、項目領域の抽出と、その属性の分類とを行ってもよい。

【0009】

第１の発明において、項目抽出部は、属性の分類確度を出力してもよい。この場合、分類確度が所定のしきい値よりも小さい属性をノイズとして除去するフィルタ処理部をさらに設けることが好ましい。

【0010】

第１の発明において、レイアウト解析部は、帳票画像のレイアウトについて複数の解析結果が得られた場合、当該複数の解析結果をレイアウトの候補としてユーザに提示してもよい。

【0011】

第２の発明は、以下のステップを有する処理をコンピュータに実行させ、帳票のレイアウトを解析する帳票レイアウト解析プログラムを提供する。第１のステップでは、帳票上に活字で印刷された項目名を含む項目領域を抽出対象として、深層学習による物体検出アルゴリズムを用いて、帳票画像中に含まれる項目領域を属性の分類付きで個別に抽出する。第２のステップでは、帳票画像上における項目領域の位置およびその属性に基づいて、帳票画像のレイアウトを解析する。

【0012】

ここで、第２の発明において、帳票上に手書き文字で記入された文字列を含む手書き文字領域を帳票画像中から個別に抽出する第３のステップをさらに設けてもよい。この場合、第２のステップは、第３のステップで抽出された手書き文字領域のそれぞれに対して、第１のステップで分類された属性のいずれかを割り当てることが好ましい。また、第２のステップは、予め設定された対応規則にしたがって、項目領域と、その近傍に位置する手書き文字領域とを対応付けた上で、手書き文字領域に対して、これに対応付けられた項目領域の属性を割り当ててもよい。

【0013】

第２の発明において、第１のステップは、物体検出アルゴリズムとして、帳票画像を一つのニューラルネットワークに入力することで、回帰問題的なアプローチによって、項目領域の抽出と、その属性の分類とをまとめて行うことが好ましい。この場合、第１のステップは、活字で表された項目名を含む項目画像と、この項目画像の属性との対である教師データを用いた教師あり学習によって構築された学習モデルを参照して、項目領域の抽出と、その属性の分類とを行ってもよい。

【0014】

第２の発明において、第１のステップは、属性の分類確度を出力するステップを含んでいてもよい。この場合、分類確度が所定のしきい値よりも小さい属性をノイズとして除去する第４のステップをさらに設けることが好ましい。

【0015】

第２の発明において、第２のステップは、帳票画像のレイアウトについて複数の解析結果が得られた場合、複数の解析結果をレイアウトの候補としてユーザに提示するステップを含んでいてもよい。

【0016】

第３の発明は、以下のステップを有し、帳票のレイアウトを解析する帳票レイアウト解析方法を提供する。第１のステップでは、帳票上に活字で印刷された項目名を含む項目領域を抽出対象として、深層学習による物体検出アルゴリズムを用いて、帳票画像中に含まれる項目領域を属性の分類付きで個別に抽出する。第２のステップでは、帳票画像上における項目領域の位置およびその属性に基づいて、帳票画像のレイアウトを解析する。

【0017】

ここで、第３の発明において、帳票上に手書き文字で記入された文字列を含む手書き文字領域を帳票画像中から個別に抽出する第３のステップをさらに設けてもよい。この場合、第２のステップは、第３のステップで抽出された手書き文字領域のそれぞれに対して、第１のステップで分類された属性のいずれかを割り当てることが好ましい。また、第２のステップは、予め設定された対応規則にしたがって、項目領域と、その近傍に位置する手書き文字領域とを対応付けた上で、手書き文字領域に対して、これに対応付けられた項目領域の属性を割り当ててもよい。

【0018】

第３の発明において、第１のステップは、物体検出アルゴリズムとして、帳票画像を一つのニューラルネットワークに入力することで、回帰問題的なアプローチによって、項目領域の抽出と、その属性の分類とをまとめて行うことが好ましい。この場合、第１のステップは、活字で表された項目名を含む項目画像と、この項目画像の属性との対である教師データを用いた教師あり学習によって構築された学習モデルを参照して、項目領域の抽出と、その属性の分類とを行ってもよい。

【0019】

第３の発明において、第１のステップは、属性の分類確度を出力するステップを含んでいてもよい。この場合、分類確度が所定のしきい値よりも小さい属性をノイズとして除去する第４のステップをさらに設けることが好ましい。

【0020】

第３の発明において、第２のステップは、帳票画像のレイアウトについて複数の解析結果が得られた場合、複数の解析結果をレイアウトの候補としてユーザに提示するステップを含んでいてもよい。

【発明の効果】

【0021】

本発明によれば、深層学習による物体検出アルゴリズムを用いて、帳票画像中に含まれる項目領域と、その属性とが取得される。これらの情報から、帳票画像中のどの位置にどのような情報が記載されているのかを特定することができる。これにより、システムに登録されていない未知の帳票であっても、レイアウト解析を行うことが可能になる。

【図面の簡単な説明】

【0022】

【図1】本実施形態に係る帳票レイアウト解析装置のブロック図

【図2】物体検出アルゴリズムの説明図

【図3】ＹＯＬＯのネットワーク構成図

【図4】レイアウト解析のフローチャート

【図5】帳票画像の一例を示す図

【図6】帳票画像から抽出された項目領域を示す図

【図7】帳票画像から抽出された手書き文字領域を示す図

【図8】帳票画像のレイアウト解析結果を示す図

【図9】複数の属性抽出によるレイアウト候補の説明図

【図10】複数の項目領域の近接によるレイアウト候補の説明図

【発明を実施するための形態】

【0023】

図１は、本実施形態に係る帳票レイアウト解析装置のブロック図である。この帳票レイアウト解析装置１は、申請書や契約書などのような手書き文字列が記入された帳票について、そのレイアウトを解析し、帳票のどこに何が記載されているのかを特定する。解析対象となる帳票は未知なもの、すなわち、システムにレイアウトが登録されていない帳票であって、例えば、手書き帳票の光学的文字認識（ＯＣＲ）に先立つ前処理として行われる。帳票レイアウト解析装置１は、項目抽出部２と、手書き領域抽出部３と、フィルタ処理部４と、レイアウト解析部５と、学習処理部６と、学習モデル７と、対応規則テーブル８とを主体に構成されている。

【0024】

項目抽出部２は、帳票上に活字で印刷された項目名を含む項目領域を抽出対象として、帳票画像中に含まれる項目領域を属性の分類付きで個別に抽出する。例えば、帳票画像中に「氏名」や「住所」などの画像領域が存在する場合、それぞれの画像領域が項目領域として抽出されると共に、それぞれの項目領域に対して「name」や「address」といった属性が付加される。項目領域の抽出は、深層学習による物体検出アルゴリズムを用いて行われ、このアルゴリズムに基づき構築された学習モデル７を参照して、項目領域の抽出と、その属性の分類とが行われる。また、分類された属性については、その分類確度も算出・出力される。

【0025】

図２は、物体検出アルゴリズムの説明図である。同図（ａ）に示すように、顔検出などで用いられる従来の検出手法では、入力に対する処理として、領域探索、特徴量抽出、機械学習という３つの段階に別れている。すなわち、領域探索が行われ、検出する物体に合わせて特徴抽出が行われ、適切な機械学習手法が選択される。この検出手法では、物体検出を３つのアルゴリズムに別けて実現される。特徴量についても、基本的に、検出対象に応じた専用設計になるため特定の対象しか検出できない。そこで、かかる制約を解消すべく、同図（ｂ）および（ｃ）に示すような深層学習による物体検出アルゴリズムが提案された。同図（ｂ）に示すように、Ｒ－ＣＮＮ（Regions with Convolutional Neural Network）などでは、深層学習を用いることで特徴量抽出が自動で実現される。これによって、ネットワークの設計だけで、色々な物体に対する柔軟な分類が可能になる。しかしながら、領域探索については別処理として依然として残ることから、領域探索についても深層学習に含めたものが、ＹＯＬＯ（You Only Look Once）やＳＳＤ（Single Shot MultiBox Detector）に代表される同図（ｃ）の手法である。本手法では、入力（帳票画像）を一つのニューラルネットワークに入力することで、項目領域の抽出と、その属性の分類とがまとめて行われる。本手法の特徴として、第１に、回帰問題的なアプローチであることが挙げられる。回帰（Regression）とは、データの傾向から数値を直接予測するアプローチをいい、領域を決めてからそれが何かを分類するのではなく、物体の座標と大きさが直接予測される。第２に、一つのネットワークで処理が完結することである。データ入力した後は深層学習だけで最後（出力結果）までいってしまうという意味で、「End-to-End」の処理であるともいえる。本実施形態は、帳票上の項目抽出を深層学習による物体検出アルゴリズムを用いて行うことに特徴があり、特に、ＹＯＬＯやＳＳＤに代表される同図（ｃ）の手法を採用するものである。

【0026】

例えば、ＹＯＬＯの処理は、概ね以下のようになる。まず、入力画像がＳ*Ｓの領域に分割される。つぎに、それぞれの領域内における物体のクラス確率が導出される。そして、Ｂ個（ハイパーパラメータ）のバウンディングボックスのパラメータ（ｘ，ｙ，height，width）と信頼度（confidence）とが算出される。バウンディングボックスとは、物体領域の外接四角形であり、信頼度とは、予測と正解のバウンディングボックスの一致度である。物体検出には、物体のクラス確率と、各バウンディングボックスの信頼度との積が用いられる。図３は、ＹＯＬＯのネットワーク構成図である。ＹＯＬＯにおいて、帳票画像はＣＮＮ（Convolutional Neural Network）層に入力されると共に、複数段の全結合層を経て結果が出力される。出力は、Ｓ*Ｓ個に分割した画像領域と、信頼度（分類確度）を含むバウンディングボックス（ＢＢ）の５パラメータと、クラス数（項目の属性）とを含む。

【0027】

手書き領域抽出部３は、帳票上に手書き文字で記入された文字列を含む手書き文字領域を帳票画像中から個別に抽出する。手書き文字と活字との判別法としては、様々なものが提案されており、任意の手法を用いることができる。例えば、文字画像を実空間で解析する手法を用いてもよい。具体的には、文字の水平方向および垂直方向のヒストグラムを取ることで文字列を抽出し、その基線の直線度を評価することによって手書き文字列を抽出する手法や、文字を構成する線分の直線性と文字の対称性とを評価することによって手書き文字列を抽出する手法といった如くである。その際、文字列を構成する個々の手書き文字の大きさのバラツキや、手書き文字間の近接の度合いなどを考慮してもよい。実空間上の解析に代えて、文字画像を周波数空間で解析する手法を用いてもよい。また、手書き領域抽出部３においては、画素単位で「活字・印字」、「手書き」、「罫線」、「判子」、「背景」を識別するモデルを用いてもよい。その際、分類器として、Semantic Segmentationのような手法を用いてもよい。

【0028】

フィルタ処理部４は、項目抽出部２によって抽出された複数の属性のうち、信頼度（分類確度）が所定のしきい値よりも小さい属性については、ノイズとみなして除去する。フィルタ処理部４によってフィルタリングされた項目領域に関する情報は、レイアウト解析部５に出力される。

【0029】

レイアウト解析部５は、帳票画像上における項目領域の位置およびその属性に基づいて、帳票画像のレイアウトを解析し、どの属性に関する情報がどこに記入されているのかを特定する。具体的には、手書き領域抽出部３によって抽出された手書き文字領域のそれぞれに対して、項目抽出部２によって分類された属性のいずれかが割り当てられる。基本的に、帳票画像上において、ある項目領域と、ある手書き文字領域とが近接、すなわち、両者の距離が所定のしきい値以下である場合、両者の対応付けが行われ、この手書き文字領域に対して、この項目領域の属性が割り当てられる。例えば、「name」という属性を有する項目領域の近傍に手書き文字領域が存在する場合、この手書き文字領域に対して「name」という属性を割り当てるといった如くである。また、項目領域と手書き文字領域との具体的な対応規則については、対応規則テーブル８において予め設定・定義されている。この対応規則は、項目領域の右近傍に手書き文字領域が存在する場合に両者を対応付ける、あるいは、項目領域の下近傍に手書き文字領域が存在する場合に両者を対応付けるといった基本的なもの以外に、表中に存在する手書き文字領域の取り扱いなどについても定義している。

【0030】

学習処理部６は、活字で表された項目名を含む項目画像（部分画像）と、この項目画像の属性との対である教師データを用いた教師あり学習によって学習モデル７を構築する。項目抽出部２によって参照される学習モデル７は、教師データの増大等に伴い、事後的に再構築することができる。

【0031】

以下、以下、図５から図８を参照しつつ、帳票のレイアウト解析の流れについて詳述する。図４は、帳票レイアウト解析装置１によって実行されるレイアウト解析のフローチャートである。なお、この帳票レイアウト解析装置１は、コンピュータをブロック２～６として機能・動作させるコンピュータプログラム（帳票レイアウト解析プログラム）をコンピュータにインストールすることによって等価的に実現することも可能である。

【0032】

まず、ステップ１において、解析対象とする帳票画像が入力される。図５は、帳票画像の一例として「振込依頼書」を示す図である。この帳票は、「氏名」、「所属」、「金額」、「銀行名」等の項目名が帳票上に活字で印刷されている。また、それぞれの項目名の近傍に位置する空欄には、項目名に対応する事項が手書きで記入されている。

【0033】

つぎに、ステップ２において、項目抽出部２によって、帳票画像中に存在する項目領域が属性付きで個別に抽出される。図６に示すように、印字列「フリガナ」については、これを含む矩形領域が項目領域ａ１として抽出され、その属性「phonetic」と分類確率とが付与される。印字列「所属」については、これを含む矩形領域が項目領域ａ２として抽出され、その属性「department」と分類確率とが付与される。印字列「氏名」について、これを含む矩形領域が項目領域ａ３として抽出され、その属性「name」と分類確率とが付与される。印字列「金額」については、これを含む矩形領域が項目領域ａ４として抽出され、その属性「amount」と分類確率とが付与される。印字列「銀行目」については、これを含む矩形領域が項目領域ａ５として抽出され、その属性「bank」と分類確率とが付与される。印字列「支店名」について、これを含む矩形領域が項目領域ａ６として抽出され、その属性「branch」と分類確率とが付与される。印字列「預金種別」については、これを含む矩形領域が項目領域ａ７として抽出され、その属性「account type」と分類確率とが付与される。印字列「口座番号」については、これを含む矩形領域が項目領域ａ８として抽出され、その属性「account number」と分類確率とが付与される。

【0034】

つぎに、ステップ３において、手書き領域抽出部４によって、帳票画像中に存在する手書き文字領域が個別に抽出される。図７に示すように、手書き文字列「トッキョ イチロウ」については、これを含む矩形領域が手書き文字領域ｂ１として抽出される。手書き文字列「知的財産部」については、これを含む矩形領域が手書き文字領域ｂ２として抽出される。手書き文字列「特許 一郎」については、これを含む矩形領域が手書き文字領域ｂ３として抽出される。手書き文字列「６，５００」については、これを含む矩形領域が手書き文字領域ｂ４として抽出される。手書き文字列「三井住友」については、これを含む矩形領域が手書き文字領域ｂ５として抽出される。手書き文字列「銀座」については、これを含む矩形領域が手書き文字領域ｂ６として抽出される。手書き文字列「普通」については、これを含む矩形領域が手書き文字領域ｂ７として抽出される。手書き文字列「１９６２０１２３」については、これを含む矩形領域が手書き文字領域ｂ８として抽出される。

【0035】

つぎに、ステップ４において、フィルタ処理部４によって、項目抽出部２にて抽出された属性のフィルタリングが行われ、ノイズとみなされた属性が除去される。

【0036】

つぎに、ステップ５において、レイアウト解析部５によって、帳票画像のレイアウトが解析される。図８に示すように、手書き文字領域ｂ１については、項目領域ａ１の右近傍に位置しているため、項目領域ａ１の属性「phonetic」が割り当てられる。手書き文字領域ｂ２については、項目領域ａ２の右近傍に位置しているため、項目領域ａ２の属性「department」が割り当てられる。手書き文字領域ｂ３については、項目領域ａ３の右近傍に位置しているため、項目領域ａ３の属性「name」が割り当てられる。手書き文字領域ｂ４については、項目領域ａ４の右近傍に位置しているため、項目領域ａ４の属性「amount」が割り当てられる。手書き文字領域ｂ５については、項目領域ａ５の下近傍に位置しているため、項目領域ａ５の属性「bank」が割り当てられる。手書き文字領域ｂ６については、項目領域ａ６の下近傍に位置しているため、項目領域ａ６の属性「branch」が割り当てられる。手書き文字領域ｂ７については、項目領域ａ７の下近傍に位置しているため、項目領域ａ７の属性「account type」が割り当てられる。手書き文字領域ｂ８については、項目領域ａ８の下近傍に位置しているため、項目領域ａ８の属性「account number」が割り当てられる。

【0037】

最後に、ステップ６において、図８に示したような帳票画像のレイアウトの解析結果が出力され、これによって、一連の処理が終了する。なお、以上の処理において、ステップ２およびステップ３は、互いに独立しているので、その実行順序は逆であってもよく、また、同時並行的に実行してもよい。

【0038】

なお、ステップ５におけるレイアウトの解析によって複数の解析結果が得られた場合、その適格性をユーザの判断に委ねるために、これらの解析結果をレイアウトの候補としてユーザに提示してもよい。このようなケースとしては、以下の２つが考えられる。第１は、図９に示すように、帳票画像上の１つの項目領域ａに対して複数の属性１，２が割り当てられているケースである。この場合、この項目領域ａの近傍に位置する手書き領域ｂの属性として、属性１および属性２の双方が考えられるため、手書き文字領域ｂの属性の候補として、属性１および属性２の双方がユーザに提示される。第２は、図１０に示すように、ある手書き文字領域ｂに対して複数の項目領域ａ１，ａ２が近接しているケースである。この場合、手書き領域ｂの属性として、項目領域ａ１の属性３および項目領域ａ２の属性４の双方が考えられるため、手書き文字領域ｂの属性の候補として、属性３および属性４の双方がユーザに提示される。

【0039】

このように、本実施形態によれば、深層学習による物体検出アルゴリズムを用いて、帳票画像中に含まれる項目領域と、その属性とが取得される。これらの情報から、帳票画像中のどの位置にどのような情報が記載されているのかを特定することができる。これにより、システムに登録されていない未知の帳票であっても、レイアウト解析を行うことが可能になる。特に、深層学習による物体検出アルゴリズムとして、ＹＯＬＯやＳＳＤなどのような、帳票画像中の項目領域の抽出と、その属性の分類とを一つのニューラルネットワークでまとめて行う手法を用いることで、様々な対象を高速で検出することが可能となる。

【0040】

また、本実施形態によれば、帳票上に手書き文字で記入された文字列を含む手書き文字領域を帳票画像中から個別に抽出し、手書き文字領域のそれぞれに対して、項目抽出部２によって分類された属性のいずれかを割り当てる。これにより、手書き文字列が記入された帳票についても、レイアウト解析を行うことが可能になる。

【符号の説明】

【0041】

１ 帳票レイアウト解析装置
２ 項目抽出部
３ 手書き領域抽出部
４ フィルタ処理部
５ レイアウト解析部
６ 学習処理部
７ 学習モデル
８ 対応規則テーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】