知財求人 - 知財ポータルサイト「IP Force」
▶ コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2021-12-22
(45)【発行日】2022-01-18
(54)【発明の名称】マルチバイナリゼーション画像処理
(51)【国際特許分類】
G06T 7/11 20170101AFI20220111BHJP
G06V 30/162 20220101ALI20220111BHJP
G06V 30/148 20220101ALI20220111BHJP
H04N 1/40 20060101ALI20220111BHJP
【ＦＩ】
G06T7/11
G06K9/38 A
G06K9/34
H04N1/40 062
【請求項の数】
24
【外国語出願】
(21)【出願番号】P 2017242574
(22)【出願日】2017-12-19
(65)【公開番号】P2018136927
(43)【公開日】2018-08-30
【審査請求日】2020-11-18
(31)【優先権主張番号】15/396,116
(32)【優先日】2016-12-30
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】507031918
【氏名又は名称】コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド
(74)【代理人】
【識別番号】110001254
【氏名又は名称】特許業務法人光陽国際特許事務所
(72)【発明者】
【氏名】リ， ボ
(72)【発明者】
【氏名】ファン， ガン
【審査官】豊田 好一
(56)【参考文献】
【文献】特開２０１１－１５９２８３（ＪＰ，Ａ）
【文献】特開２０１４－０５７３０６（ＪＰ，Ａ）
【文献】特開２０１２－１９９９０１（ＪＰ，Ａ）
【文献】特表２００５－５２３５３０（ＪＰ，Ａ）
【文献】特開２００４－１２６６４８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／１１
Ｇ０６Ｋ ９／３８
Ｇ０６Ｋ ９／３４
Ｈ０４Ｎ １／４０
(57)【特許請求の範囲】
【請求項1】
文字情報が符号化された画像を作成する画像分析方法であって、入力画像をバイナライズして第一バイナリ画像を作成し、
前記第一バイナリ画像において第一複数連結成分を検出し、
前記入力画像を反転させて反転画像を作成し、
前記反転画像をバイナライズして第二バイナリ画像を作成し、
前記第二バイナリ画像において第二複数連結成分を検出し、
前記第一複数連結成分及び前記第二複数連結成分のラベルを含む合成ラベル画像を作成し、
前記合成ラベル画像を分析して前記第一複数連結成分と前記第二複数連結成分とをファミリーツリーとして構成し、前記ファミリーツリーは第一階層分類及び第二階層分類を有し、前記ファミリーツリーに含まれる連結成分の後続の世代は前記第一階層分類と前記第二階層分類との間で交互に属し、
少なくとも前記ファミリーツリーの一以上の前記連結成分が文字を定義するかに基づいて、プロセッサーが前記第一階層分類及び前記第二階層分類のいずれかのツリー階層分類を選択し、
前記合成ラベル画像から、前記選択されたツリー階層分類における前記連結成分の前記ラベルを除去して変形したラベル画像を作成する、画像分析方法。
【請求項2】
前記合成ラベル画像を分析することは、前記第一複数連結成分及び前記第二複数連結成分の前記連結成分の親子関係を識別し、
後続の世代の前記連結成分が前記第一階層分類と前記第二階層分類との間で交互に属するように前記連結成分が前記ファミリーツリーに構成される前記親子関係を構築することを含む、請求項１に記載の方法。
【請求項3】
前記ツリー階層分類を選択することは、前記ファミリーツリーのすべての前記連結成分が文字を定義するかを判断し、前記ファミリーツリーのすべての前記連結成分が文字を定義すると判断した場合は前記第二階層分類を選択することを含む、請求項１又は２のいずれか一項に記載の方法。
【請求項4】
前記ツリー階層分類を選択することは、文字を定義する前記連結成分が前記第一階層分類よりも前記第二階層分類に多く属するかを判断し、文字を定義する前記連結成分が前記第一階層分類よりも前記第二階層分類に多く属すると判断した場合、前記第一階層分類を選択することを含む、請求項１～３のいずれか一項に記載の方法。
【請求項5】
文字を定義する前記連結成分が前記第一階層分類よりも前記第二階層分類に多く属するかを判断することは、前記連結成分のそれぞれに文字条件を適用することを含み、前記連結成分のそれぞれがサイズを有し、前記連結成分の少なくとも一部がまとめてサイズ中央値を定義し、前記文字条件は前記連結成分のサイズを前記サイズ中央値と比較することを含む、請求項４に記載の方法。
【請求項6】
前記方法は、少なくとも前記第一バイナリ画像において検出された前記連結成分に基づくマスクを有する、前記入力画像のコピーをバイナライズして第三バイナリ画像を作り、
前記第三バイナリ画像の第三複数連結成分を検出することを含み、
前記合成ラベル画像は、前記第一複数連結成分、前記第二複数連結成分、前記第三複数連結成分のラベルを含む、請求項１～５のいずれか一項に記載の方法。
【請求項7】
前記マスクの周囲の画素のグレースケール値に基づいてグレースケール値で前記マスクが満たされる、請求項６に記載の方法。
【請求項8】
前記合成ラベル画像の作成の前に、前記方法は、前記第一バイナリ画像において検出された前記第一複数連結成分と、前記第二バイナリ画像において検出された前記第二複数連結成分との重なりを識別し、
前記第一バイナリ画像および前記第二バイナリ画像のうちのいずれかを変形することによって、識別された前記重なりを除去する、ことを含む請求項１～７のいずれか一項に記載の方法。
【請求項9】
文字情報が符号化された画像を作成する装置であって、プロセッサーと、
前記プロセッサーと通信し、命令を記憶する記憶装置と、
を備え、
前記プロセッサーは、記憶された前記命令に基づいて処理を実行することによって文字情報が符号化された画像を作成するように構成され、前記処理は、
入力画像をバイナライズして第一バイナリ画像を作成し、
前記第一バイナリ画像において第一複数連結成分を検出し、
前記入力画像を反転させて反転画像を作成し、
前記反転画像をバイナライズして第二バイナリ画像を作成し、
前記第二バイナリ画像において第二複数連結成分を検出し、
前記第一複数連結成分及び前記第二複数連結成分のラベルを含む合成ラベル画像を作成し、
前記合成ラベル画像を分析して前記第一複数連結成分と前記第二複数連結成分とをファミリーツリーとして構成し、前記ファミリーツリーは第一階層分類及び第二階層分類を有し、前記ファミリーツリーに含まれる連結成分の後続の世代は前記第一階層分類と前記第二階層分類との間で交互に属し、
少なくとも前記ファミリーツリーの一以上の前記連結成分が文字を定義するかに基づいて、前記第一階層分類及び前記第二階層分類のいずれかのツリー階層分類を選択し、
前記合成ラベル画像から、前記選択されたツリー階層分類における前記連結成分の前記ラベルを除去して変形したラベル画像を作成する、装置。
【請求項10】
前記合成ラベル画像を分析することは、前記第一複数連結成分及び前記第二複数連結成分の前記連結成分の親子関係を識別し、
後続の世代の前記連結成分が前記第一階層分類と前記第二階層分類との間で交互に属するように前記連結成分が前記ファミリーツリーに構成される前記親子関係を構築することを含む、請求項９に記載の装置。
【請求項11】
前記ツリー階層分類を選択することは、前記ファミリーツリーのすべての前記連結成分が文字を定義するかを判断し、前記ファミリーツリーのすべての前記連結成分が文字を定義すると判断した場合は前記第二階層分類を選択することを含む、請求項９又は１０のいずれか一項に記載の装置。
【請求項12】
前記ツリー階層分類を選択することは、文字を定義する前記連結成分が前記第一階層分類よりも前記第二階層分類に多く属するかを判断し、文字を定義する前記連結成分が前記第一階層分類よりも前記第二階層分類に多く属すると判断した場合、前記第一階層分類を選択することを含む、請求項９～１１のいずれか一項に記載の装置。
【請求項13】
文字を定義する前記連結成分が前記第一階層分類よりも前記第二階層分類に多く属するかを判断することは、前記連結成分のそれぞれに文字条件を適用することを含み、前記連結成分のそれぞれがサイズを有し、前記連結成分がまとめてサイズ中央値を定義し、前記文字条件は前記連結成分のサイズを前記サイズ中央値と比較することを含む、請求項１２に記載の装置。
【請求項14】
前記プロセッサーによって実行される前記処理は、少なくとも前記第一バイナリ画像において検出された前記連結成分に基づくマスクを有する、前記入力画像のコピーをバイナライズして第三バイナリ画像を作り、
前記第三バイナリ画像の第三複数連結成分を検出することを含み、
前記合成ラベル画像は、前記第一複数連結成分、前記第二複数連結成分、前記第三複数連結成分のラベルを含む、請求項９～１３のいずれか一項に記載の装置。
【請求項15】
前記マスクの周囲の画素のグレースケール値に基づいてグレースケール値で前記マスクが満たされる、請求項１４に記載の装置。
【請求項16】
前記プロセッサーによって実行される前記処理は、前記合成ラベル画像の作成の前に、
前記第一バイナリ画像において検出された前記第一複数連結成分と、前記第二バイナリ画像において検出された前記第二複数連結成分との重なりを識別し、
前記第一バイナリ画像および前記第二バイナリ画像のうちのいずれかを変形することによって、識別された前記重なりを除去する、ことを含む請求項９～１５のいずれか一項に記載の装置。
【請求項17】
文字情報が符号化された画像を作成する処理を装置に実行させる、前記装置のプロセッサーに実行されるコンピューター読取可能な命令を含むコンピュータープログラムであって、前記処理は、入力画像をバイナライズして第一バイナリ画像を作成し、
前記第一バイナリ画像において第一複数連結成分を検出し、
前記入力画像を反転させて反転画像を作成し、
前記反転画像をバイナライズして第二バイナリ画像を作成し、
前記第二バイナリ画像において第二複数連結成分を検出し、
前記第一複数連結成分及び前記第二複数連結成分のラベルを含む合成ラベル画像を作成し、
前記合成ラベル画像を分析して前記第一複数連結成分と前記第二複数連結成分とをファミリーツリーとして構成し、前記ファミリーツリーは第一階層分類及び第二階層分類を有し、前記ファミリーツリーに含まれる連結成分の後続の世代は前記第一階層分類と前記第二階層分類との間で交互に属し、
少なくとも前記ファミリーツリーの一以上の前記連結成分が文字を定義するかに基づいて、前記第一階層分類及び前記第二階層分類のいずれかのツリー階層分類を選択し、
前記合成ラベル画像から、前記選択されたツリー階層分類における前記連結成分の前記ラベルを除去して変形したラベル画像を作成する、コンピュータープログラム。
【請求項18】
前記合成ラベル画像を分析することは、前記第一複数連結成分及び前記第二複数連結成分の前記連結成分の親子関係を識別し、
後続の世代の前記連結成分が前記第一階層分類と前記第二階層分類との間で交互に属するように前記連結成分が前記ファミリーツリーに構成される前記親子関係を構築することを含む、請求項１７に記載のコンピュータープログラム。
【請求項19】
前記ツリー階層分類を選択することは、前記ファミリーツリーのすべての前記連結成分が文字を定義するかを判断し、前記ファミリーツリーのすべての前記連結成分が文字を定義すると判断した場合は前記第二階層分類を選択することを含む、請求項１７又は１８のいずれか一項に記載のコンピュータープログラム。
【請求項20】
前記ツリー階層分類を選択することは、文字を定義する前記連結成分が前記第一階層分類よりも前記第二階層分類に多く属するかを判断し、文字を定義する前記連結成分が前記第一階層分類よりも前記第二階層分類に多く属すると判断した場合、前記第一階層分類を選択することを含む、請求項１７～１９のいずれか一項に記載のコンピュータープログラム。
【請求項21】
文字を定義する前記連結成分が前記第一階層分類よりも前記第二階層分類に多く属するかを判断することは、前記連結成分のそれぞれに文字条件を適用することを含み、前記連結成分のそれぞれがサイズを有し、前記連結成分がまとめてサイズ中央値を定義し、前記文字条件は前記連結成分のサイズを前記サイズ中央値と比較することを含む、請求項２０に記載のコンピュータープログラム。
【請求項22】
前記装置によって実行される前記処理は、少なくとも前記第一バイナリ画像において検出された前記連結成分に基づくマスクを有する、前記入力画像のコピーをバイナライズして第三バイナリ画像を作り、
前記第三バイナリ画像の第三複数連結成分を検出することを含み、
前記合成ラベル画像は、前記第一複数連結成分、前記第二複数連結成分、前記第三複数連結成分のラベルを含む、請求項１７～２１のいずれか一項に記載のコンピュータープログラム。
【請求項23】
前記マスクの周囲の画素のグレースケール値に基づいてグレースケール値で前記マスクが満たされる、請求項２２に記載のコンピュータープログラム。
【請求項24】
前記装置によって実行される前記処理は、前記合成ラベル画像の作成の前に、
前記第一バイナリ画像において検出された前記第一複数連結成分と、前記第二バイナリ画像において検出された前記第二複数連結成分との重なりを識別し、
前記第一バイナリ画像および前記第二バイナリ画像のうちのいずれかを変形することによって、識別された前記重なりを除去する、ことを含む請求項１７～２３のいずれか一項に記載のコンピュータープログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は一般に画像処理に関する。具体的には、文字情報が符号化された画像を作成する画像分析に関する。
【背景技術】
【0002】
文書における画像内の文字、埋め込み画像、及びその他のオブジェクトを検出するため、文書処理ではバイナリゼーションに続き連結成分ラベリングが多くの場合実施される。バイナリゼーションの方法として、グローバルバイナリゼーションとローカルバイナリゼーションとが挙げられる。グローバルバイナリゼーションによると、連結成分ラベリングの際に文字が検出されない場合がある。これは画像における文字について、色、濃度、及び背景の違いによって見た目が異なることによる。また、ローカルバイナリゼーションを実行すれば、文字の検出は増加するが、効率が悪くなる場合がある。グローバルバイナリゼーションと比較するとローカルバイナリゼーションの方が著しく多くの演算のための資源及び時間を必要とする。入力画像における文字を検出するより的確で効率的な方法が従来から求められている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
端的な概略として、本発明は文字情報が符号化された画像を作成する、画像分析方法、装置及びコンピュータープログラムに向けられる。
【課題を解決するための手段】
【0004】
本発明によれば、文字情報が符号化された画像を作成する画像分析方法であって、入力画像をバイナライズして第一バイナリ画像を作成し、前記第一バイナリ画像において第一複数連結成分を検出し、前記入力画像を反転させて反転画像を作成し、前記反転画像をバイナライズして第二バイナリ画像を作成し、前記第二バイナリ画像において第二複数連結成分を検出し、前記第一複数連結成分及び前記第二複数連結成分のラベルを含む合成ラベル画像を作成し、前記合成ラベル画像を分析して前記第一複数連結成分と前記第二複数連結成分とをファミリーツリーとして構成し、前記ファミリーツリーは第一階層分類及び第二階層分類を有し、前記ファミリーツリーに含まれる連結成分の後続の世代は前記第一階層分類と前記第二階層分類との間で交互に属し、少なくとも前記ファミリーツリーの一以上の前記連結成分が文字を定義するかに基づいて、プロセッサーが前記第一階層分類及び前記第二階層分類のいずれかのツリー階層分類を選択し、前記合成ラベル画像から、前記選択されたツリー階層分類における前記連結成分の前記ラベルを除去して変形したラベル画像を作成する、画像分析方法。
【0005】
本発明によれば、文字情報が符号化された画像を作成する装置であって、プロセッサーと、前記プロセッサーと通信し、命令を記憶する記憶装置と、を備え、前記プロセッサーは、記憶された前記命令に基づいて処理を実行することによって文字情報が符号化された画像を作成するように構成され、前記処理は、入力画像をバイナライズして第一バイナリ画像を作成し、前記第一バイナリ画像において第一複数連結成分を検出し、前記入力画像を反転させて反転画像を作成し、前記反転画像をバイナライズして第二バイナリ画像を作成し、前記第二バイナリ画像において第二複数連結成分を検出し、前記第一複数連結成分及び前記第二複数連結成分のラベルを含む合成ラベル画像を作成し、前記合成ラベル画像を分析して前記第一複数連結成分と前記第二複数連結成分とをファミリーツリーとして構成し、前記ファミリーツリーは第一階層分類及び第二階層分類を有し、前記ファミリーツリーに含まれる連結成分の後続の世代は前記第一階層分類と前記第二階層分類との間で交互に属し、少なくとも前記ファミリーツリーの一以上の前記連結成分が文字を定義するかに基づいて、プロセッサーが前記第一階層分類及び前記第二階層分類のいずれかのツリー階層分類を選択し、前記合成ラベル画像から、前記選択されたツリー階層分類における前記連結成分の前記ラベルを除去して変形したラベル画像を作成する、装置。
【0006】
本発明によれば、文字情報が符号化された画像を作成する処理を装置に実行させる、前記装置のプロセッサーに実行されるコンピューター読取可能な命令を含むコンピュータープログラムであって、前記処理は、入力画像をバイナライズして第一バイナリ画像を作成し、前記第一バイナリ画像において第一複数連結成分を検出し、前記入力画像を反転させて反転画像を作成し、前記反転画像をバイナライズして第二バイナリ画像を作成し、前記第二バイナリ画像において第二複数連結成分を検出し、前記第一複数連結成分及び前記第二複数連結成分のラベルを含む合成ラベル画像を作成し、前記合成ラベル画像を分析して前記第一複数連結成分と前記第二複数連結成分とをファミリーツリーとして構成し、前記ファミリーツリーは第一階層分類及び第二階層分類を有し、前記ファミリーツリーに含まれる連結成分の後続の世代は前記第一階層分類と前記第二階層分類との間で交互に属し、少なくとも前記ファミリーツリーの一以上の前記連結成分が文字を定義するかに基づいて、プロセッサーが前記第一階層分類及び前記第二階層分類のいずれかのツリー階層分類を選択し、前記合成ラベル画像から、前記選択されたツリー階層分類における前記連結成分の前記ラベルを除去して変形したラベル画像を作成する、コンピュータープログラム。
【0007】
本発明の特徴及び長所は、下記の詳細な説明を添付の図面とともに読むことによって容易に理解されることと思われる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
本明細書において、「画像」という用語は写真、画像、イラスト、文字、及びその他のオブジェクトのうちの一つ又はこれらの組み合わせを含む。例えば、画像は本又は手書きの文書からあるページをスキャンしたものでありうる。
【0010】
本明細書において、「文字」とは英数字、音声を表す文字、意味を表す文字等が含まれる。この表現は数学的記号を含む。この表現は日本語の文字、中国語の文字、アラビア文字、その他書き言葉で用いられる文字が含まれる。
【0011】
本明細書において、「埋め込み画像」とは、イラストや写真等のものを含む。例えば、入力画像として、本又はその他の文書をスキャンしたページもしくはその一部を含み、入力画像はテキストや埋め込み画像の線を含みうる。埋め込み画像は入力画像の一部を構成するという意味で埋め込みといわれる。テキストにおける文字が埋め込み画像を囲みうる。また、入力画像は文字に囲まれていない埋め込み画像を含みうる。その他、埋め込み画像の例として自動車や道路標識を含む道路上の風景を撮った写真が挙げられるので、埋め込み画像は道路標識に記載される文字を示しうる。
【0012】
本明細書において、グレースケール画像は画像におけるすべての画素がそれぞれ、濃度情報を示すいくつかの数値のうちの一つを有する画像である。グレースケール画像は、例えば、画素が白、黒、又は白と黒との間に存在する様々なグレー濃淡の一つである画像でありうる。各画素はグレースケールの数値で表され、一般に、その最小値は黒を表し（低濃度）、その最高値は白を表す（高濃度）。最小値は０、最高値は１６、２５５、又はその他の数値でありうる。最小値と最高値との間の数値はグレーの様々な濃淡を表す。
【0013】
本明細書において、バイナリ画像は２値画像であって、画像の中のすべての画素がそれぞれ、利用可能な二つのみの数値のうちの一つを有する。例えば、バイナリ画像は白黒画像であって、各画素は利用可能な二つの数値のうちの一つを有し、具体的には、白に対応する数値と黒に対応する数値とを有する。
【0014】
本発明の様々な態様を示す目的で例示的な図面をより詳細に参照すれば、図１は画像を分析する方法１０の一例を図示する。なお、同様の符号は異なる図面にわたって対応するか同様の要素を示すものである。
【0015】
ブロックＳ１１０において、入力画像を取得する。入力画像はグレースケール画像又はカラー画像でありうる。例えば、カラー画像はＲＧＢ画像であり、各画素は赤、緑、及び青の組み合わせによって表され、それぞれの色はそれぞれの濃度を有する。入力画像がカラー画像である場合、ブロックＳ１１２においてカラー画像にカラーからグレースケールへの変換処理が適用され、カラー画像がグレースケール画像へ変換される。カラーからグレースケールへの変換処理はカラー画像の様々な色に重み付けをして、グレースケール画像で用いる対応するグレースケール値を取得する。適切なカラーからグレースケールへの変換アルゴリズムが当該技術分野において知られている。入力画像がグレースケール画像である場合、ブロックＳ１１２は省略しうる。グレースケール画像Ｇ１の一例が図２に示される。
【0016】
ブロックＳ１１４において、第一バイナリゼーション処理をグレースケール画像Ｇ１に適用して、第一バイナリ画像を形成する。Ｇ１は第一バイナリゼーション処理の入力画像とする。第一バイナリ画像Ｂ１の一例を図３に示す。第一バイナリゼーション処理にはバイナリゼーション閾値を選択し、グレースケール画像の各画素におけるグレースケールの数値をバイナリゼーション閾値と比較して、当該画素に割り当てるバイナリ数値（例えば黒又は白）を決定する。バイナリゼーション閾値を選択するためのアルゴリズムによって対象となる可能性が高い情報を保存する必要性と、背景ノイズ等の対象とされる可能性が低い情報を削除する必要性との間のバランスを取る最適値を識別することを試みる。
【0017】
本明細書において、「バイナリゼーション閾値（threshold value）」と「バイナリゼーション閾値（threshold）」は同意語として用いられる。
【0018】
例えば、グレースケール数値ＧＶは０～２５５の範囲にわたり、０は黒を示し、２５５は白を示す。例えば、バイナリゼーション閾値を１３９に設定し、１３９より少ないＧＶを有する画素には黒に対応するバイナリ値を割り当て、１３９以上のＧＶを有する画素には白に対応するバイナリ値を割り当てる。
【0019】
ブロックＳ１１４における第一バイナリゼーション処理はグローバルバイナリゼーション処理である。本明細書において、「グローバルバイナリゼーション処理」はバイナリゼーション閾値を選択するアルゴリズムが第一バイナリ画像Ｂ１を形成するためにグレースケール画像全体で用いられる単一のバイナリゼーション閾値Ｔを選択する。グレースケール画像のすべての部分にわたる画素のグレースケール数値は同じバイナリゼーション閾値Ｔと比較される。
【0020】
グローバルバイナリゼーション処理は画像が複数の部分に分けられるローカルバイナリゼーション処理と異なるものである。画像の各部分についてローカルバイナリゼーション閾値を決定し、画像のある部分のローカルバイナリゼーション閾値は画像の別の部分のローカルバイナリゼーション閾値と異なりうる。ローカルバイナリゼーション処理においては、例えば、第一画像部分に用いられるローカルバイナリゼーション閾値を選択し、第一画像部分よりも明るい又は暗い第二画像部分に用いられる別のローカルバイナリゼーション閾値を選択する。これにより、対象となりうる情報を的確に保存するローカルバイナリゼーション処理が実現する。
【0021】
グローバルバイナリゼーション処理において、バイナリゼーションアルゴリズムによってグレースケール画像のすべての部分で用いられる一つのバイナリゼーション閾値が選択される。従来のローカルバイナリゼーション処理と比較すると、一般に、グローバルバイナリゼーション処理に要する演算資源と時間は、著しく少なく済む。欠点となりうる問題は一つのグローバルバイナリゼーション処理では、対象となりうる情報の大部分又はすべてを保存することができない可能性がある。本明細書に記載されるように、連続して少なくとも二つのバイナリゼーション処理を実行することによって、従来のローカルバイナリゼーションで用いられるような多くの演算資源や時間を必要とせずに上述の問題を解決しうる。
【0022】
バイナリゼーション閾値Ｔを選択するのに適切なアルゴリズムとして、例えば大津式やニュートン式が公知の技術として挙げられる。また、グレースケール画像は異なる閾値を用いて複数回バイナリゼーションをすることができ、バイナリゼーションごとに有益な情報及びノイズに関する数値が計算される。数値はこれまで用いられた異なる閾値の中から最終的なＴを選択するのに用いられる。選択されたＴは第一バイナリ画像Ｂを形成するのに用いられる。
【0023】
再び図１を参照して、ブロックＳ１１６は連結成分ラベリング処理を第一バイナリ画像に実行する。連結成分ラベリング処理はバイナリ画像の連結画素を検出する。二つの画素が接しており同じバイナリ数値を有していれば連結しているとする。接するかは四方の接続（接する辺）又は八方の接続（接する辺又は角）によって決定しうる。互いに連結する画素のグループは連結成分（ＣＣ）と称される。ブロックＳ１１６における連結成分ラベリング処理によってバイナリ画像における複数の、数百の又は数千の連結成分を検出しうる。連結成分はバイナリ画像における、文字、埋め込み画像又はその他の種類のオブジェクトを定義しうる。連結成分ラベリング処理に適切とされる様々なアルゴリズムが公知となっている。
【0024】
図３は第一バイナリ画像Ｂ１において検出された連結成分の一例を示す。連結する白画素に対応する５つの連結成分、具体的にはＣ１～Ｃ５、が挙げられる。Ｃ１～Ｃ４はＡ、Ｂ、Ｃ、Ｄの文字における連結する白画素にそれぞれ対応する。Ｃ５は離れたマーク又はノイズにおける連結する白画素に対応する。この例示において、連結成分ラベリングアルゴリズムは連結する白（又は高濃度）の画素を識別する。代わりに、連結する黒（又は低濃度）の画素を識別する連結成分ラベリングアルゴリズムを用いることも可能である。
【0025】
連結成分ラベリング処理はそれぞれの画素に連結成分が割り当てられるラベル画像を生成して検出された連結成分の計算をし続ける。ラベル画像は連結成分ごとに固有のラベル又は数字が割り当てられ、割り当てられた数字が連結成分の画素値である。
【0026】
図４は第一バイナリ画像Ｂ１における文字Ａの下部にある領域１２に対応する第一ラベル画像Ｌ１の一例の拡大された部分を示す。図４において、説明の便宜上、文字Ａの下部にある画素１４はＣ１とラベリングするが、このようなラベルは連結成分Ｃ１に個別に割り当てられる任意の数字であればよい。
【0027】
ブロックＳ１１６における連結成分ラベリング処理及びその他の処理ブロックは、バイナリ画像において検出されたそれぞれの連結成分の境界ボックスと面積とを取得する処理を含みうる。
【0028】
連結成分の境界ボックスは連結成分を含む最小の矩形である。よって、境界ボックスは、それに含まれる連結成分の大きさの寸法を提供する。図３において、連結成分Ｃ３に関する境界ボックス１６の一例が示される。境界ボックス１６は連結成分Ｃ３の大きさを定義する。境界ボックスの大きさは連結成分の外縁に従う。ある連結成分についての境界ボックスの縦及び横の大きさは別の連結成分についての境界ボックスの縦及び横の大きさと異なりうる。
【0029】
連結成分の面積は当該連結成分の画素の合計である。例えば、連結成分Ｃ１の面積は第一ラベル画像Ｌ１においてＣ１とラベリングされた画素の合計である。
【0030】
再び図１を参照すれば、ブロックＳ１１８はグレースケール画像Ｇ１を反転させ、反転グレースケール画像を形成する。一般に、ブロックＳ１１８ではブロックＳ１１４の第一バイナリゼーションで用いられた入力が反転される。図５はＧ１を反転させた反転グレースケール画像Ｇ２の一例を示す。ブロックＳ１１８で実行する反転処理では、Ｇ１における白と黒の画素をＧ２においてそれぞれ黒と白の画素にする。Ｇ１において濃いグレーの画素はＧ２において淡いグレーの画素に対応する。結果として、Ｇ２はＧ１のネガとなる。公知の適切なアルゴリズムを用いて画像を反転させてネガを作成する。
【0031】
ブロックＳ１２０は反転グレースケール画像Ｇ２にバイナリゼーション処理を実行して第二バイナリ画像を作成する。前述のブロックＳ１１４で実行するバイナリゼーション処理と区別するため、当該処理は第二バイナリゼーション処理とする。図６は第二バイナリ画像Ｂ２の一例を示す。ブロックＳ１２０の第二バイナリゼーション処理は第一バイナリゼーション処理と同様の処理としうる。第一及び第二バイナリゼーション処理はいずれもグローバルバイナリゼーション処理である。
【0032】
ブロックＳ１２２において、重なり識別／除去処理を実行して、第一バイナリ画像Ｂ１の連結成分と重なる第二バイナリ画像Ｂ２の連結成分の部分を確認し、除去する。総じて、ブロック１２２においては、あるバイナリ画像で検出された連結成分と別のバイナリ画像で検出された連結成分との重なりを識別する。重なりの識別／除去処理において、Ｂ２の連結成分を識別し（ブロックＳ１２３）、重なる画素を識別するためにＢ２の連結成分の画素とＢ１の連結成分の画素とを比較し（ブロックＳ１２４）、重なる画素が識別されると、第一又は第二バイナリ画像を修正して重なりを除去する（ブロックＳ１２５）。
【0033】
図６はブロックＳ１２３で識別された第二バイナリ画像Ｂ２における連結成分を示す。Ｃ６～Ｃ１０の五つの連結成分が存在し、これらは背景の、文字を囲みもしくは文字に含まれる連結する白画素に対応する。ブロックＳ１１６の連結成分ラベリング処理と同様に、当該例示においては、連結成分ラベリングアルゴリズムが連結する白画素を識別する。
【0034】
【0035】
図８は第二バイナリ画像Ｂ２の連結成分の画素と第一バイナリ画像Ｂ１の連結成分の画素とを比較して重なる画素を識別する（ブロックＳ１２４）処理を図示する。図８は部分的な図示であり、Ｂ１の領域１２に対応する画素とＢ２の領域１２’に対応する画素のみを示す。図３及び図６における例の連結成分は連結白画素であることを参照されたい。重なる連結成分画素はＢ１及びＢ２の対応する場所を占める連結成分画素である。図８における点線で描かれた円は重なる連結成分画素を識別する。
【0036】
図９は第二バイナリ画像Ｂ２を修正して図８の重なりを除去する（ブロックＳ１２５）処理を示す。点線で描かれた円によって示される重なる連結成分画素はＢ２から除去される。ブロックＳ１２５においてすべての重なりがＢ２から除去されることを理解されたい。しかし、ブロックＳ１２４において重なりが識別されない場合、Ｂ２の修正は実行されない。
【0037】
再び図１を参照して、重なり識別／除去処理が終了すると、ブロックＳ１２６において第二バイナリ画像Ｂ２に連結成分ラベリング処理を実行し、図９に示すような第二ラベル画像Ｌ２を作成する。連結成分ラベリング処理によって、連結成分Ｃ６～Ｃ１０の境界ボックスと面積を決定する。文字Ａに含まれる連結成分Ｃ７に関する境界ボックス１６の一例を図６に示す。ブロックＳ１２５において重なりが除去された場合、連結成分ラベリング処理が修正された第二バイナリ画像に対して実行される。ブロックＳ１２５において重なりが除去されていない場合、連結成分ラベリング処理が元の第二バイナリ画像に対して実行される。
【0038】
ブロックＳ１２７において、第一バイナリ画像Ｂ１と第二バイナリ画像Ｂ２において検出されたすべての連結成分に付されたラベルを含む合成ラベル画像ＬＬを作成する。図１０は文字Ａの下部における領域１２及び１２’に対応する合成ラベル画像ＬＬの一部の一例を示す。
【0039】
【0040】
図１１は全体ストローク幅中央値を決定するためのブロックＳ１２８におけるサブプロセスの一例を示す。ブロックＳ１３０において、すべての連結成分（Ｃ１～Ｃ１０）について個別に縦及び横の寸法が決定される。縦及び横の寸法は連結成分の境界ボックスの縦及び横の寸法と同じと判断することができる。ブロックＳ１３２において、縦の中央値がブロックＳ１３０で決定されたすべての縦の寸法から計算され、横の中央値がブロックＳ１３０で決定されたすべての横の寸法から計算される。「中央値」という用語は順番に並べられた数値の中央の数値を意味する。例えば、順番に並べられた｛１、２、５、９９、２００｝についての中央値は５となる。
【0041】
ブロックＳ１３４において、それぞれの連結成分は縦及び横の寸法の中央値に対して評価される。ブロックＳ１３４において連結成分の縦及び横の寸法のいずれもが縦及び横の寸法の中央値より大幅に小さいか大幅に大きいかを判断する。本明細書において「大幅に小さい」とは評価される数値（連結成分の縦又は横のいずれかの寸法）が中央値（縦又は横の寸法の中央値）の低い閾値割合より低いことを意味する。低い閾値割合として例えば、２０％、１０％又はさらに低い割合が挙げられる。また、「大幅に大きい」とは評価される数値（連結成分の縦又は横のいずれかの寸法）が中央値（縦又は横の寸法の中央値）の高い閾値割合より高いことを意味する。高い閾値割合として例えば、１５０％、２００％又はさらに高い割合が挙げられる。
【0042】
ブロックＳ１３４の結果がＹＥＳの場合、処理はブロックＳ１３８へ移行し、それ以外の場合、処理はブロックＳ１３６へ移行する。ブロックＳ１３４の機能は埋め込み画像や完全に文字である可能性が低いその他のオブジェクトを定義する連結成分を識別し、これらを続くブロックＳ１４０における全体ストローク幅中央値の計算から除外することである。
【0043】
ブロックＳ１３６において、連結成分の様々なセグメントについてストローク幅が決定され、連結成分ストローク幅が決定される。連結成分の特定のセグメントについてのストローク幅は特定のセグメントに入る最大の直径として定義されうる。例えば、連結成分Ｃ１（図３の文字Ａ）の水平セグメントに入る最大の直径は連結成分Ｃ１の右側角のセグメントに入る最大の直径より小さい。連結成分ストローク幅は連結成分のさまざまなセグメントのストローク幅に基づく。例えば、連結成分ストローク幅は連結成分の様々なセグメントのストローク幅の中央値又は平均でありうる。適切なストローク幅を判断するためのアルゴリズムが知られている。
【0044】
ブロックＳ１３８において、ブロックＳ１３４によって評価すべき連結成分がまだ残っているか判断する。評価すべき連結成分がまだ残っている場合、サブプロセスはブロックＳ１３４に戻り、残る連結成分を評価し、それ以外の場合、サブプロセスはブロックＳ１４０へ移行する。
【0045】
ブロックＳ１４０において合成ラベル画像ＬＬでラベリングされた連結成分によって規定された全体ストローク幅中央値を決定する。全体ストローク幅中央値はブロックＳ１３６で決定されたすべての連結成分ストローク幅によって決定する。ブロックＳ１４０が終了するとブロックＳ１２８のサブプロセスの終了を意味する。
【0046】
再び図１を参照して、方法１０はブロックＳ２２０（第三バイナリゼーションを含むものとして後述）を省略して、ブロックＳ１２８からブロックＳ１５０へ移行しうる。ブロックＳ１５０において合成ラベル画像ＬＬが分析され、ＬＬにおける関連する連結成分のグループがファミリーツリーとして構成される。一方が他方を含めば、二つの連結成分は関連する。例えば、連結成分Ｃ１（図３の文字Ａ）は連結成分Ｃ７（文字Ａの背景の三角形）を含むので関連する。一般に、複数の関連連結成分のグループが存在し、各グループは別々のファミリーツリーに構成される。
【0047】
図１２は合成ラベル画像ＬＬにおいてラベリングされた関連連結成分の一つのグループを示すファミリーツリー１８の一例を示す。例えば、連結成分Ｃ１からＣ１０は関連連結成分の一つのグループを構成する。連結成分の一つ、具体的にはＣ６が他の連結成分すべてを含むからである。代わりに、仮にＣ６がＣ３～Ｃ５ではなくＣ１及びＣ２を含み、他の連結成分がＣ３～Ｃ５を含む場合は二つの異なるファミリーツリーが存在することになる。
【0048】
連結成分（具体的に連結成分の親子関係）は、ファミリーツリー１８として構成される。各連結成分はファミリーツリー１８において象徴的に示される。連結成分の形や画素はファミリーツリー構造に実際には置かれない。
【0049】
図１２において、Ｃ６はトップノードと称され、これは親を持たない連結成分である。親は子と称される別の連結成分を含む連結成分である。Ｃ６は他の連結成分に含まれていないため、親を持たない。
【0050】
ファミリーツリー１８は関連する連結成分の代々続く世代を含む。第一世代はトップノードである連結成分Ｃ６を含み、ツリー階層０に位置する。第二世代はツリー階層１に位置する。第二世代はＣ６の子を含み、Ｃ６にすべて含まれることからＣ１～Ｃ５を含む。第三世代はツリー階層２に位置する。第三世代は第二世代の子を含み、具体的には連結成分Ｃ７～Ｃ１０を含み、これらはＣ１、Ｃ２、及びＣ４に含まれる連結する白画素に対応する。
【0051】
図１２において、連結成分の代々続く世代は二つのツリー階層分類の間で、交互に属する。第一世代は偶数（階層０）であり、第二世代は奇数（階層１）であり、第三世代は偶数に戻る（階層２）。世代がさらに続くと、このような二つのツリー階層分類（偶数及び奇数）の間で代々続く世代が交互に配置され続ける。第四世代は奇数（階層３）であり、第五世代は偶数（階層４）であり、同様に続く。ファミリーツリー１８はその他の方法で整理しうる。図１３は別の例示的なファミリーツリー１８を示し、図１２と同様の親子関係を示す。
【0052】
下記に置いて、「ツリー階層分類」「階層分類」及び「分類」は同様の意味を有し、相互に同様に用いられる。
【0053】
図１３において、二つのツリー階層しか存在しない。続く世代は二つの分類の間で交互に属し、第一世代は偶数であり（階層０）、第二世代は奇数であり（階層１）、第三世代は偶数に戻る（階層０）。世代がさらに続くと、このような二つのツリー階層分類（偶数及び奇数）の間で代々続く世代が交互に配置され続ける。第四世代は奇数（階層１）であり、第五世代は偶数（階層０）であり、同様に続く。
【0054】
図１２及び図１３のファミリーツリー１８は、それぞれの連結成分が二つのみの分類のうちの一つに属し、トップノードから始めて、続く世代が二つの分類の間で交互に属するという点で同様である。上述の例の分類において用いられる用語は奇数対偶数である。その他の用語を用いることができ、例えば０対１、上対下、等が挙げられる。一般に、続く世代は第一分類と第二分類との間で交互に属する。
【0055】
下記に記載するように、選択されたツリー階層分類に基づいて合成階層画像ＬＬから連結成分のラベルが除去される。第一分類が選択される場合、第一、第三、第五等の世代のすべての連結成分に関するラベルが除去される。第二分類が選択される場合、第二、第四、第六等の世代のすべての連結成分に関するラベルが除去される。
【0056】
図１４は関連する連結成分に関するファミリーツリーを取得するブロックＳ１５０における例示的なサブプロセスを示す。ブロックＳ１５２からＳ１５８において、各連結成分を評価し、他の連結成分との親子関係を判断する。
【0057】
ブロックＳ１５２において、連結成分の隣接する画素を識別する。隣接する画素とは連結成分の少なくとも一つの画素に接する画素をいう。ブロックＳ１５６において評価される連結成分が存在し、これは一般的にＣＮと称される。ブロックＳ１５６において、ＣＮについて、他の連結成分に関するラベルを有する隣接する画素を有するかを判断する。これは合成ラベル画像ＬＬを参照することによってなしうる。ＣＮが他の連結成分に関するラベルを有する隣接する画素を有する場合（ブロックＳ１５６：ＹＥＳ）、サブプロセスはブロックＳ１５８に戻り、それ以外の場合、サブプロセスはブロックＳ１６０へ移行する。ブロックＳ１５８においては、他の連結成分に関するラベルを有する隣接する画素を有する連結成分ＣＮがあり、他の連結成分は一般にＣＸと称される。ブロックＳ１５８において、ＣＮ及びＣＸの境界ボックスに基づいて、連結成分ＣＮとＣＸとの間の親子関係について判断する。
【0058】
親子関係は、一方の境界ボックスが他方の境界ボックスに完全に含まれるかに基づいて判断しうる。ＣＮの境界ボックスが完全にＣＸの境界ボックスに含まれる場合、ＣＸが親でＣＮが子である。ＣＸの境界ボックスが完全にＣＮの境界ボックスに含まれる場合、ＣＮが親でＣＸが子である。
【0059】
また、親子関係は、境界ボックスの大きさに基づいて判断しうる。境界ボックスのサイズＳは、境界ボックスの縦Ｈと横Ｗに基づいて判断しうる。例えば、数式Ｓ＝Ｈ×Ｗ又はその他の数式を用いることができる。ＣＮの境界ボックスの大きさがＣＸの境界ボックスよりも大きい場合、ＣＮが親で、ＣＸが子である。ＣＸの境界ボックスの大きさがＣＮの境界ボックスの大きさより大きい場合、ＣＸが親で、ＣＮが子である。
【0060】
例えば、Ｃ１が評価される場合、ブロックＳ１５２においてＣ１の隣接する画素を識別する（図３における文字Ａを参照）。ブロックＳ１５６においてＣ６及びＣ７とラベリングされた隣接する画素が認識される（図６参照）。ブロックＳ１５８において、Ｃ１の境界ボックスが完全にＣ６の境界ボックスに含まれると判断され、Ｃ６が親でＣ１が子であるとされる。この親子関係はＣ６－Ｃ１とリストしうる。また、ブロックＳ１５８において、Ｃ７の境界ボックスが完全にＣ１の境界ボックスに含まれると判断され、Ｃ１が親でＣ７が子であるとされる。この親子関係はＣ１－Ｃ７とリストしうる。
【0061】
ブロックＳ１６０において、ブロックＳ１５２において評価すべき連結成分が残されているか判断される。評価されるべき連結成分が残されている場合、残された連結成分を評価するためにサブプロセスはブロックＳ１５２に戻り、それ以外の場合、サブプロセスはブロックＳ１６２へ移行する。
【0062】
評価されるべき連結成分が残されていない場合、サブプロセスはブロックＳ１６２に戻る。ブロックＳ１６２において各親子関係を構築し、連結成分をファミリーツリー１８として構成する。このような構築には、リストを合成して、合成リストを作成し、合成リストを統合してファミリーツリーを作成する。例えば、リストＣ６－Ｃ１はリストＣ１－Ｃ７と合成し、合成リストＣ６－Ｃ１－Ｃ７が作成される。図３及び図６の例からは、追加リスト及び合成リストとして、下記が挙げられる、Ｃ６－Ｃ２－Ｃ８、Ｃ６－Ｃ２－Ｃ９、Ｃ６－Ｃ３、Ｃ６－Ｃ４－Ｃ１０、及びＣ６－Ｃ５。図１２及び図１３に示すように、各連結成分がファミリーツリーに一度しか登場しないように、各リストは統合される。
【0063】
ブロックＳ１５０におけるサブプロセスに関する上記の説明により、合成ラベル画像（ブロックＳ１５２～Ｓ１５６）を分析し、それぞれの連結成分について（ブロックＳ１６０）親子関係を取得して（ブロックＳ１５８）、親子関係を構築して（ブロックＳ１６２）、ファミリーツリーを作成することによってファミリーツリー１８が得られることが理解できる。ブロックＳ１６２が完了すると、ブロックＳ１５０のサブプロセスが終了したことになる。
【0064】
再び図１を参照し、方法１０はブロックＳ１５０からＳ１７０へ移行する。ブロックＳ１７０において、第一分類と第二分類との間からツリー階層分類が選択される。実施例によっては、ブロックＳ１７０において、文字の背景等、対象外のオブジェクトを定義する連結成分を除去するフィルタリングの機能が実行されうる。連結成分が文字を定義するか判断するためにファミリーツリーを構成する少なくとも一つの連結成分を分析し、この分析に基づいてツリー階層分類が選択される。図１５に示すように、入力画像が文字、埋め込み画像、ノイズ等、前景オブジェクトの組み合わせである場合、選択は複雑となりうる。このような場合、連結成分が様々な前景オブジェクトと背景とを定義する。
【0065】
図１５において、例示的入力画像２０はグレースケール画像として表現されうるが、カラー画像とすることも可能である。入力画像２０は埋め込み画像２２と様々な文字２４及び２６を含む。文字は背景に対して異なる明暗や、異なるフォントや大きさを有しうる。
【0066】
図１６に示すように、第一グレースケールＧ１において文字が明るく見えるように、入力画像２０はブロックＳ１１４（図１）の前に反転しうる。Ｇ１はブロックＳ１１４における第一のバイナリゼーションのための入力画像とされる。ブロックＳ１２０における第二のバイナリゼーションはＧ１のネガであるＧ２を用いる。
【0067】
図１７はツリー階層分類を選択するためのブロックＳ１７０（図１）における例示的なサブプロセスを示す。ブロックＳ１７２において、連結成分の充填率又はストローク幅に基づいてトップノード連結成分が埋め込み画像を定義する（又は埋め込み画像を定義する可能性が高い）かについて判断する。トップノード連結成分は（ａ）境界ボックスに対してその面積が大きい場合、かつ（ｂ）全体ストローク幅中央値に対してストローク幅が大きい場合、埋め込み画像であると判断される。例えば、連結成分の面積が境界ボックスの少なくとも８０％を埋める場合、面積は境界ボックスに対して大きいとされる。その他の充填率を用いうる。例えば、連結成分ストローク幅が全体ストローク幅中央値に対して少なくとも５０％である場合、連結成分ストローク幅は、全体ストローク幅中央値に対して大きいとされる。その他のストローク幅の比率を用いることができる。上記の条件（ａ）又は（ｂ）のいずれかが満たされない場合、トップノード連結成分は埋め込み画像を定義しないと結論付けられる（Ｓ１７２：ＮＯ）。また、条件（ａ）又は（ｂ）のいずれかが満たされない場合、ブロックＳ１７２において条件を追加して、トップノード連結成分が埋め込み画像を定義するかを判断しうる。追加の条件として図１９のＳ２１３：ＹＥＳ及びＳ２１５：ＮＯに示されるいずれの条件を用いうる。
【0068】
ブロックＳ１７２の最終結果がＹＥＳである場合、除去されるのでツリー階層分類は選択されない（ブロックＳ１７４）。これは、トップノード連結成分が埋め込み画像を定義する可能性が高く、トップノードのすべての子である連結成分は埋め込み画像の一部を定義する可能性が高いからである。いずれの分類も選択されない場合、後段のブロックＳ２０４（図１）において合成ラベル画像ＬＬから連結成分ラベルは除去されない。ブロックＳ１７２の最終結果がＮＯである場合、処理はブロックＳ１７６へ移行する。
【0069】
ブロックＳ１７６において、ファミリーツリーのすべての連結成分が文字条件を満たすかが判断される。図１８と関連して下記で説明するように、文字条件は連結成分の大きさを中央値の大きさと比較することを含む。ブロックＳ１７６の結果がＹＥＳである場合、第二分類が選択される（ブロックＳ１７８）。よって、第二分類の連結成分のラベルはブロックＳ２０４において後に除去される（図１）。第一分類の連結成分のラベルは残される。第一分類の連結成分は背景ではなく文字を定義する可能性が高いからである。ブロックＳ１７６の結果がＮＯである場合、処理はブロックＳ１８０へ移行する。
【0070】
ブロックＳ１８０において、第一分類より第二分類の方がより大きな数の連結成分によって文字条件が満たされるかが判断される。ブロックＳ１８０がＹＥＳである場合、第一分類が選択される（ブロックＳ１８２）。よって、第一分類の連結成分のラベルはブロックＳ２０４において後に除去される（図１）。第二分類の連結成分のラベルは残される。第二分類の連結成分は背景ではなく文字、ノイズ又はその他のオブジェクトを定義する可能性が高いからである。ブロックＳ１８０の結果がＮＯである場合、第二分類が選択される（ブロックＳ１７８）。
【0071】
図１８は、図１７におけるブロックＳ１７６及びＳ１８０において文字条件が満たされるかを判断するためのサブプロセスの一例を示す。ブロックＳ１９０において、連結成分の大きさ（ＣＣサイズ）がファミリーツリーにおける連結成分の中央値の大きさより大幅に大きいかを判断する。あらゆる連結成分のサイズＳはその境界ボックスの縦Ｈと横Ｗとに基づく。例えば、数式Ｓ＝Ｈ×Ｗ又はその他の数式を用いうる。ブロックＳ１９０の結果がＹＥＳである場合、文字条件は満たされていない（ブロックＳ１９２）。ブロックＳ１９０の結果がＮＯである場合、サブプロセスはブロックＳ１９４へと進む。
【0072】
ブロックＳ１９４において連結成分サイズ（ＣＣサイズ）が中央値の大きさに近いかが判断される。本明細書において、「近い」とはＣＣサイズが中央値サイズの低閾値割合と高閾値割合との間に存在することを意味する。例えば、低閾値割合及び高閾値割合は０．８及び１．２に設定されると、ＣＣサイズが０．８×Ｍと１．２×Ｍとの間に存在する場合はＣＣサイズが中央値Ｍに近いと判断される。その他の閾値割合を用いうる。ブロックＳ１９４の結果がＹＥＳである場合、文字条件が満たされる（ブロックＳ１９６）。ブロックＳ１９４の結果がＮＯである場合、サブプロセスはブロックＳ１９８へ進む。
【0073】
ブロックＳ１９８において、連結成分のストローク幅比がそのサイズ比に近いか判断される。ブロックＳ１９８において、連結成分が大きいフォントサイズの文字を定義するかを確認する機能を実行する。連結成分のストローク幅（ＣＣストローク幅）を全体ストローク幅中央値と比較する。ストローク幅比Ｒ１はＣＣストローク幅／全体ストローク幅中央値である。サイズ比Ｒ２はＣＣサイズ／中央値サイズである。Ｒ１がＲ２の低閾値割合と高閾値割合との間に存在する場合、ストローク幅比Ｒ１はサイズ比Ｒ２に近い。例えば、低閾値割合と高閾値割合とが０．８及び１．２と設定されると、Ｒ１が０．８×Ｒ２と１．２×Ｒ２との間に存在する場合はＲ１はＲ２に近いと判断される。その他の閾値割合を用いうる。ブロックＳ１９８の結果がＹＥＳである場合、文字条件は満たされ（ブロックＳ１９６）、連結成分が大きいフォントサイズの文字を定義する（定義する可能性が高い）。ブロックＳ１９８の結果がＮＯである場合、文字条件は満たされない（ブロックＳ１９２）。
【0074】
【0075】
再び図１を参照して、ブロックＳ２００において、選択されたツリー階層分類から後に合成画像ラベルＬＬから除去する連結成分にタグを付ける。例えば、タグを付けることは連結成分の帰属をメモリーに保存することを含みうる。上述のように、選択されたツリー階層分類に基づいて、連結成分のラベルは合成階層画像ＬＬから除去される。ブロックＳ１７０において第一分類が選択された場合、ブロックＳ２０４において第一、第三、第五、．．．世代のすべての連結成分についてのラベルが除去される。ブロックＳ１７０において第二分類が選択された場合、ブロックＳ２０４において第二、第四、第六、．．．世代のすべての連結成分についてのラベルが除去される。
【0076】
ブロックＳ２０２において、ファミリーツリーとして構成される関連する連結成分の他のグループが存在するかを判断される。前述のように、合成ラベル画像ＬＬにおいてラベリングされた関連する連結成分について一つを超えるグループが存在する場合、各グループは異なるファミリーツリーを構成する。例えば、トップノードＣ６がＣ３からＣ５ではなくＣ１及びＣ２を含み、他のトップノードがＣ３からＣ５を含む場合、二つのファミリーツリーが存在する。ブロックＳ２０２の結果がＹＥＳの場合、方法１０はブロックＳ１５０に戻り、関連する連結成分の次のグループをファミリーツリーに構成しうる。ブロックＳ２０２の結果がＮＯである場合、方法１０はブロックＳ２０４に移行する。
【0077】
ブロックＳ２０４において、Ｓ２００でタグが付与された連結成分が合成ラベル画像ＬＬから除去される。図３及び図６の例において、Ｃ６は埋め込み画像ではないので第一ツリー階層分類が選択され（Ｓ１７２：ＮＯ）、すべての連結成分が文字条件を満たさず（Ｓ１７６：ＮＯ）、第一分類よりも第二分類の方が文字条件を満たす連結成分の数が多い（Ｓ１８０：ＹＥＳ）。図１２及び図１３は第一分類の連結成分Ｃ６からＣ１０を示し、Ｃ６からＣ１０は除去されるようにＳ２００でタグが付与される。ブロックＳ２０４において、合成ラベル画像ＬＬからラベルＣ６からＣ１０は除去され、合成ラベル画像ＬＬにラベルＣ１からＣ５が残される。残されたラベルはＬＬで符号化された文字情報を表す。
【0078】
ブロックＳ２０４の後、ブロックＳ２１０において合成ラベル画像ＬＬからノイズに対応する連結成分のラベルが除去される。連結成分Ｃ５（図３）はノイズと対応する。ノイズは点やその他の余分なアーティファクトの形でありうる。ノイズは紙の織り地、光学スキャン機器、又はその他の理由により起こりうる。適切なノイズ除去のアルゴリズムが当該技術分野では知られている。ノイズ除去アルゴリズムは形態学的オープニング及びクロージング処理を含み、これらは合成ラベル画像ＬＬに繰り返し実行される。埋め込み画像が変更されないように、埋め込み画像はノイズ除去アルゴリズムが実施される合成ラベル画像ＬＬの領域から除外される。
【0079】
ブロックＳ２１０において、埋め込み画像がノイズ除去処理にかけられないように、それぞれの連結成分の特徴が分析され、連結成分が埋め込み画像を定義するかが判断される。ブロックＳ２１０における例示的なサブプロセスは図１９に示される。
【0080】
図１９を参照して、ブロックＳ２１１において、連結成分の充填率又はストローク幅に基づいて、連結成分が埋め込み画像を定義するかを判断する。例えば、以下の場合は連結成分が埋め込み画像ではないと判断される（ブロックＳ２１１：ＹＥＳ）、（ａ）連結成分の境界ボックスの大きさに対して連結成分の面積が小さい、又は（ｂ）連結成分のストローク幅（ＣＣストローク幅）が全体ストローク幅中央値に対して小さい。例えば、連結成分の面積が境界ボックスの２０％よりも低い場合は連結成分の面積はその境界ボックスに対して低いと判断される。その他の充填率を用いうる。例えば、ＣＣストローク幅が全体ストローク幅中央値の３０％よりも低い場合はＣＣストローク幅が全体ストローク幅中央値に対して低いと判断される。他のストローク幅の割合を用いうる。
【0081】
ブロックＳ２１１の結果がＮＯである場合、ノイズ除去アルゴリズムから連結成分が除外される（ブロックＳ２１２）。連結成分が除外されるとは、連結成分境界ボックス内に含まれる合成ラベル画像ＬＬの画素に対してノイズ除去アルゴリズムが実施されないとのことである。ブロックＳ２１１の結果がＹＥＳである場合、サブプロセスはブロックＳ２１３へ移行する。
【0082】
ブロックＳ２１３において連結成分サイズ（ＣＣサイズ）が中央値サイズより著しく大きいか判断される。例えば、ＣＣサイズが中央値サイズの一定の割合より大きい場合にＣＣサイズが中央値サイズより著しく大きいと判断される。当該割合は２００％、４００％、又はそれよりも大きく設定しうる。ブロックＳ２１３の結果がＮＯである場合、連結成分は埋め込み画像ではなく、連結成分はノイズ除去アルゴリズムが実施される合成ラベル画像ＬＬの領域から除外されない（ブロックＳ２１４）。ブロックＳ２１３の結果がＹＥＳである場合、サブプロセスはブロックＳ２１５へ移行する。
【0083】
ブロックＳ２１５において、連結成分が大きいフォントサイズの文字を定義するかを判断する。このような判断は、ブロックＳ１９８で説明した処理と同様に、ストローク幅比及びサイズ比に基づいてなされる。ブロックＳ２１５の結果がＹＥＳである場合、連結成分はノイズ除去アルゴリズムが実施される合成ラベル画像ＬＬの領域を形成する（ブロックＳ２１４）。ブロックＳ２１５の結果がＮＯである場合、サブプロセスはブロックＳ２１６へ移行する。
【0084】
ブロックＳ２１６は連結成分が背景を定義するか判断する。例えば、以下の状況のうちの一つ又はその組み合わせを用いることができる、（ａ）連結成分に対応するＧ１又はＧ２のグレースケール値の少なくとも８０％（第一閾値割合）が互いに１０％（第一範囲割合）の範囲内に存在する、（ｂ）連結成分に対応する元の入力画像における色相の少なくとも８０％（第二閾値割合）が互いに１０％（第二範囲割合）の範囲内に存在する、（ｃ）連結成分のエッジの長さが連結成分サイズよりも大きい。その他の閾値割合や範囲割合を用いうる。連結成分のエッジの長さはキャニーエッジ検出アルゴリズム等の公知のアルゴリズムを用いて演算しうる。条件（ａ）は元の入力画像（グレースケールへの変換前）がカラー画像である場合に適用しうる。
【0085】
条件（ａ）、（ｂ）、（ｃ）のうちの一つ、二つ又はすべてを満たす場合に連結成分は背景を定義すると判断される。ブロックＳ２１６の結果がＹＥＳである場合、連結成分は除外されない（ブロックＳ２１４）。ブロックＳ２１６の結果がＮＯである場合、連結成分は除外される（ブロックＳ２１２）。
【0086】
次にブロックＳ２１７において、ブロックＳ２１１により評価すべき他の連結成分が合成ラベル画像ＬＬに残されているかが判断される。他の連結成分が残されている場合、サブプロセスはブロックＳ２１１に戻り、残る連結成分が評価される。ブロックＳ２１７の結果がＮＯである場合、サブプロセスはブロックＳ２１８へ移行する。
【0087】
ブロックＳ２１８において、ブロックＳ２１２で除外された連結成分の境界ボックス内の合成ラベル画像ＬＬの領域以外について合成ラベル画像ＬＬにノイズ除去アルゴリズムが適用される。図３の例において、連結成分Ｃ５は高い充填率を有し（Ｓ２１１：ＹＥＳ）、中央値より著しく大きいサイズを有しないので（ブロックＳ２１３：ＮＯ）、Ｃ５は除外されない。ブロックＳ２１８において、Ｃ５に対応するＬＬの領域に対してノイズ除去が実施される。ノイズ除去によりＬＬからＣ５のラベルのすべて又は一部が除去される。残るラベルはＬＬに符号化される文字情報を表す。
【0088】
他のグローバルバイナリゼーション処理を実行することにより、状況によっては、従来のローカルバイナリゼーション処理に関連する演算資源や時間を増加させることなく、より高い正確性を得ることができる。図１のブロックＳ２２０において第三のバイナリゼーション処理を実行しうる。ブロックＳ２２０における例示的なサブプロセスが図２０に示される。
【0089】
図２０のブロックＳ２２２において、第一グレースケール画像Ｇ１からマスクグレースケール画像が形成される。マスクグレースケール画像はＧ１のコピーであって、第一バイナリゼーションと第二バイナリゼーションにより取得された連結成分がすべて減算されて変形されている。減算の一例として、Ｇ１において、第一ラベル画像Ｌ１及び第二ラベル画像Ｌ２からの連結成分がすべて単一のグレースケール値に置き換えられるように変形される。様々な方法によってマスクグレースケール画像Ｇ３は形成される。
【0090】
図２１はブロックＳ２２２における処理の一例を示し、図２の第一グレースケール画像Ｇ１からまず始める。第一ラベル画像Ｌ１からの連結成分のマスクをＧ１に適用しうる（ブロックＳ２２４）。図２１は例示的なマスク１９を示す。次に、マスク１９は広げられ（ブロックＳ２２６）、連結成分の境界が拡大されて、グレースケール画像Ｇ１の対応するオブジェクトがすべて確実に覆われるようにする。次に、広げられたマスク２１は充填され（ブロックＳ２２８）、広げられたマスク２１のすべての画素が同じグレースケール値Ｙを有する。以上により、グレースケール値Ｙを有する充填マスク２３を含むマスクグレースケール画像Ｇ３が得られる。グレースケール値Ｙはマスクに隣接する画素の中央グレースケール値でありうる。図示の便宜上、数値Ｙは図２１において濃いグレーに対応する。背景が濃い場合、実際に数値Ｙは濃い背景に近いものとなることがあり、濃い背景からマスク２３を識別することができないことがある。また、中央グレースケール値の代わりに隣接する画素に基づく別のグレースケール値をＹとして用いうることを理解されたい。
【0091】
図２１は第一バイナリゼーションから得られた第一ラベル画像Ｌ１から得られた連結成分の減算を図示する。Ｇ３は、第一バイナリゼーションから得られた第一ラベル画像Ｌ１（図１、ブロックＳ１１４）及び第二バイナリ―ゼーションから得られた第二ラベル画像Ｌ２（図１、ブロックＳ１２０）からの連結成分の減算の結果である。よって、マスク２３は合成ラベル画像ＬＬ（第一ラベル画像Ｌ１と第二ラベル画像Ｌ２とを合成）からの連結成分を実際に包含する。
【0092】
状況によっては、マスクグレースケール画像Ｇ３により、第一グレースケール画像Ｇ１のグローバルバイナリゼーションで失われた連結成分を検出するという利点が得られる。以前検出された連結成分は単一グレースケール値を有するマスク２３によって置き換えられたことから、Ｇ３についてのバイナリゼーション閾値はＧ１についてのそれとは異なる可能性が高い。
【0093】
図１６において、高コントラスト文字２４と低コントラスト文字２６とが存在する。高コントラスト文字とは文字の中央グレースケール値ＭＧＶと周囲の背景のＭＧＶとの間の差が大きい文字である。例えば、差が５０％以上のものをいう。低コントラスト文字とは文字のＭＧＶと周囲の背景のＭＧＶとの間の差が小さい文字である。例えば、差が５０％未満のものをいう。
【0094】
低コントラスト文字２６は第一グレースケール画像Ｇ１のグローバルバイナリゼーションにおいて失われうる。高コントラスト文字２４及び埋め込み画像２２が第一グレースケール画像Ｇ１に存在することにより、Ｇ１のグローバルバイナリゼーションの結果、低コントラスト文字２６のグレースケール値より大きいバイナリゼーション閾値を選ぶことになりうる。よって、低コントラスト文字２６は第一バイナリ画像Ｂ１の黒い背景と置き換えられ、これにより、続けてＢ１に行われる連結成分ラベリング処理において低コントラスト文字２６は検出されない。異なるバイナリゼーション閾値を適用することによって低コントラスト文字２６が失われることを防ぎうる。第三グレースケール画像Ｇ３において、以前検出された連結成分（高コントラスト文字及び埋め込み画像）を単一のグレースケール値で置き換えることによって、Ｇ３の低コントラスト文字２６はグローバルバイナリゼーションアルゴリズムに対する影響を強め、異なるバイナリゼーション閾値が選択されうる。選択されたバイナリゼーション閾値は低コントラスト文字２６を保存するにはより適切なものとなりうる。
【0095】
図２２は、図１６の第一グレースケール画像Ｇ１から形成されたマスクグレースケール画像Ｇ３の一例を示す。この例では、ブロックＳ１１６（図１）の連結成分ラベリング処理においてＧ１（図１６）の低コントラスト文字２６は検出されなかった。高コントラスト文字２４及び埋め込み画像２２は以前検出されているので、その連結成分は合成ラベル画像ＬＬに存在する。マスクグレースケール画像Ｇ３（図２２）において、マスク２３の位置は合成ラベル画像ＬＬでラベリングされた連結成分に対応する。マスク２３は高コントラスト文字２４と埋め込み画像２２とを覆う。マスク２３は中央グレースケール値や隣接画素のグレースケール値に基づくその他の数値を含む、単一のグレースケール値で充填されうる。マスク２３は黒に近い単一グレースケール値（背景グレースケール値）で充填されるため、図２２ではマスク２３を識別できない可能性があり、これにより高コントラスト文字２４及び埋め込み画像２２がブロックＳ２３０におけるバイナリゼーション閾値の選択に与える影響を低下しうる（図２０）。マスクグレースケール画像Ｇ３において、低コントラスト文字２６は第一グレースケール画像Ｇ１と同様の状態で維持される（図１６）。
【0096】
再び図２０を参照し、ブロックＳ２３０において、マスクグレースケール画像Ｇ３から第三バイナリ画像が作成される。これはマスクグレースケール画像Ｇ３にグローバルバイナリゼーション処理を実施することによって得られる。このグローバルバイナリゼーション処理は第三バイナリゼーション処理と称して、ブロックＳ１１４及びＳ１２０における二つの以前のバイナリゼーション処理と区別する（図１）。例示的な第三バイナリ画像Ｂ３は図２３において示す。ブロックＳ２３０における第三バイナリゼーション処理は、ブロックＳ１１４における第一バイナリゼーション処理と同様の処理としうる。第一、第二、第三バイナリゼーション処理はグローバルバイナリゼーション処理である。
【0097】
一般に、ブロックＳ２３０は第一バイナリゼーションにおいて入力画像のコピーにバイナリゼーション処理を実施する（ブロックＳ１１４）。コピーには少なくとも第一バイナリ画像で検出された連結成分に基づくマスク２３が存在し、マスク２３は全体的に単一のグレースケール値を有する。
【0098】
図２３はブロックＳ２３０におけるバイナリゼーション閾値の選択に、マスクグレースケール画像Ｇ３の低コントラスト文字２６が大きく影響したことを示す一例である（図２２）。例えば、バイナリゼーション閾値は、Ｇ３の低コントラスト文字２６のグレースケール値よりも低い。その結果、Ｇ３の低コントラスト文字２６を構成するグレー画素はＢ３において白を割り当てられる。この例ではマスク２３及びＧ３のその他の部分のグレースケール値がバイナリゼーション閾値よりも低いため、マスク２３及びＧ３のその他の部分（図２２）が背景（黒）のグレースケール値を割り当てられる場合の結果がＢ３である。
【0099】
再び図２０を参照して、ブロックＳ２３２において重なり識別／除去処理を実行して、第三バイナリ画像Ｂ３の連結成分と重なる以前検出された連結成分が存在する部分を識別し、除去する。ここでの重なり識別／除去処理はブロックＳ１２２（図１）における処理に類似したものでありうる。一般に、ブロックＳ２３２において、一方のバイナリ画像で検出された連結成分と他方のバイナリ画像に検出された連結成分との重なりを識別し、続いていずれかのバイナリ画像を変形することによって識別された重なりを除去する。例えば、重なり識別／除去処理は連結成分ラベリング処理を実行して第三バイナリ画像の連結成分を識別し、Ｂ３の連結成分の画素をＢ１及びＢ２の連結成分の画素と比較して重なる画素を識別し、重なる画素を識別した場合、Ｂ１、Ｂ２、Ｂ３のいずれかを変形して重なりを除去する。
【0100】
重なりを識別するためにＢ３の画素をＢ１及びＢ２と比較する前に、Ｂ３の連結成分を不適格条件に照らして分析し、Ｂ３から連結成分を除去するべきか判断しうる。不適格条件の例として以下のようなものが挙げられる、（ａ）連結成分のサイズがサイズの下限を下回る、（ｂ）連結成分のローカルコントラストがコントラストの下限を下回る。サイズの下限は例えば、Ｂ１から以前識別された連結成分のサイズの中央値の２０％としうる。その他のサイズの下限を用いうる。コントラストの下限は例えば、Ｂ１から以前識別された連結成分のローカルコントラストの中央値の半分としうる。その他のコントラストの下限を用いうる。ローカルコントラストとは、連結成分に対応するＧ３の画素の中央グレースケール値と隣接する画素の中央グレースケール値との間の差である。ローカルコントラストの中央値とは、Ｂ１からの連結成分のローカルコントラストの中央値である。
【0101】
図２０のブロックＳ２３４において、第三バイナリ画像Ｂ３に連結成分ラベリング処理を実行して第三ラベル画像Ｌ３を作成する。第三ラベル画像Ｌ３はＢ３の残る連結成分のすべてのリストである。連結成分ラベリング処理においてＢ３の連結成分（図２３）の境界ボックスと面積とを判断する。例えば、ブロックＳ２３４における第三ラベル画像Ｌ３は低コントラスト文字２６（図２２）を定義するＢ３の連結成分（図２３）のリストである。
【0102】
ブロックＳ２３６において、Ｂ１、Ｂ２、及びＢ３からの連結成分のラベルが合成ラベル画像ＬＬにおいて合成される。これは、ブロックＳ２３２において重なりを除去するためにＢ１又はＢ２の連結成分に以前実行された変形を合成ラベル画像ＬＬに反映させる修正を行うことによって達成される。また、合成ラベル画像ＬＬにＢ３の連結成分のラベルが追加される。図２３の例において、（Ｇ３の低コントラスト文字２６に対応する）Ｂ３の連結成分（ＣＣ）が合成ラベル画像ＬＬに追加される。ブロックＳ２３６における処理が終わると、ブロックＳ２２０のサブプロセスも終わる（図１）。
【0103】
再び図１を参照して、方法１０はブロックＳ２２０からブロックＳ１５０へ移行する。ブロックＳ１５０以降は前述のように実行される。その後、合成ラベル画像ＬＬはネットワークを介してある装置から別の装置へ送信しうる。
【0104】
図２４は図１の方法１０を実行するように構成された例示的な装置２５０を図示する。装置２５０は例えば、サーバー、コンピューターワークステーション、パーソナルコンピューター、ラップトップコンピューター、タブレット、スマートフォン、ファクシミリ、プリンター、ＭＦＰ等、プリンターとスキャナーとの両方の機能を含む装置、又は一以上のコンピュータープロセッサー及びメモリーを有するその他の種類の装置が挙げられる。
【0105】
装置２５０は一以上のコンピュータープロセッサー２５２（ＣＰＵ）、一以上のコンピューターメモリー装置２５４、一以上の入力装置２５６、及び一以上の出力装置２５８を備える。一以上のコンピュータープロセッサー２５２はプロセッサー２５２と総称される。プロセッサー２５２は命令を実行するように構成される。プロセッサー２５２は命令を実行する集積回路を有しうる。命令は方法１０を実行する一以上のソフトウェアモジュールを含みうる。一以上のソフトウェアモジュールは画像分析プログラム２６０と総称される。
【0106】
一以上のコンピューターメモリー装置２５４はメモリー装置２５４と総称される。メモリー装置２５４は、ＲＡＭモジュール、ＲＯＭモジュール及びその他の電子機器のうちの一つ又はその組み合わせによって構成される。メモリー装置２５４として、光学ドライブ、磁気ドライブ、ソリッドステートフラッシュドライブ及びその他のデータ記憶装置等の大容量記憶装置が挙げられる。メモリー装置２５４として、画像分析プログラム２６０を保存する非一時的なコンピューター読取可能な記憶媒体が挙げられる。
【0107】
一以上の入力装置２５６は入力装置２５６と総称される。入力装置２５６を介してユーザーはデータを入力し、装置２５０とやりとりをする。入力装置２５６として、一以上のボタンを有するキーボード、タッチ感応画面、マウス、電子ペン及びその他の装置が挙げられる。入力装置２５６を用いて方法１０の入力画像を作成しうる。入力装置２５６はカメラ及び光源を有する光学スキャナーを備え、方法１０で用いられる入力画像を作成するための文書をスキャンするように構成される。
【0108】
一以上の出力装置２５８は出力装置２５８と総称される。出力装置２５８として液晶ディスプレイ、プロジェクター又はその他の種類の表示装置が挙げられる。出力装置２５８は方法１０で用いられた入力画像を表示するのに用いられる。出力装置２５８は紙に入力画像を印刷するのに構成される静電プリンターを含む。
【0109】
装置２５０は、ネットワークインターフェイス（Ｉ／Ｆ）２６２を備え、これを介して、ＬＡＮ、ＷＡＮ、インターネット及び電話通信キャリア等のネットワーク２６４を通じて装置２５０は他の装置と通信する。ネットワークＩ／Ｆ２６２はネットワーク２６４を通じてアナログ又はデジタル通信を可能とする回路を備えうる。例えば、ネットワークＩ／Ｆ２６２は方法１０で用いられる入力画像を受信するように構成されうる。ネットワークＩ／Ｆ２６２は合成ラベル画像ＬＬ等の、方法１０による結果を他の装置へ送信するように構成されうる。
【0110】
上述の装置２５０の各部は通信バス２６６を通じて相互に通信可能に接続される。
【0111】
本発明のいくつかの実施形態が、上記において説明されたが、本発明の範囲から逸脱することなく、本発明の実施形態を改良及び変形しうる。本明細書に開示された実施形態の特定の特徴や側面の組み合わせまたはサブコンビネーションを組み合わせたり、あるものを別のものと置き換えたりすることによって本発明の変形例を作成しうる。よって、本発明の範囲は添付されたクレーム以外によっては限定されない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】