特許 7417192 画像処理システムおよび画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-10

(45)【発行日】2024-01-18

(54)【発明の名称】画像処理システムおよび画像処理プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240111BHJP

   H04N 1/387 20060101ALI20240111BHJP

【ＦＩ】

G06T7/00 350C

H04N1/387 110

【請求項の数】 4

(21)【出願番号】P 2020022093

(22)【出願日】2020-02-13

(65)【公開番号】P2021128488

(43)【公開日】2021-09-02

【審査請求日】2023-01-30

(73)【特許権者】

【識別番号】000006150

【氏名又は名称】京セラドキュメントソリューションズ株式会社

(74)【代理人】

【識別番号】100140796

【弁理士】

【氏名又は名称】原口 貴志

(72)【発明者】

【氏名】西田 篤志

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２０２０－０１７２７４（ＪＰ，Ａ）

【文献】Paloma G. S. Silva 等，Speeding-up the Handwritten Signature Segmentation Process through an Optimized Fully Convolutional Neural Network，2019 International Conference on Document Analysis and Recognition (ICDAR)，米国，IEEE，2019年09月25日，第1417-1423頁，https://ieeexplore.ieee.org/document/8977965

【文献】山本 祐美 等，ホワイトボードからの文字抽出手法の検討，情報処理学会 研究報告 数理モデル化と問題解決（ＭＰＳ） ２０１９－ＭＰＳ－１２６，日本，情報処理学会，2019年12月04日，第1-4頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｔ １／００－ １／４０

Ｇ０６Ｔ ３／００－ ７／９０

Ｇ０６Ｖ １０／００－３０／４２４

Ｈ０４Ｎ １／３８－ １／３９３

(57)【特許請求の範囲】

【請求項1】

手書きである確率を画像の画素毎に判定する畳み込みニューラルネットワークと、
前記畳み込みニューラルネットワークによる判定結果に基づいてセグメンテーション画像を生成するセグメンテーション画像生成部と
を備え、
前記畳み込みニューラルネットワークは、
前記画像を特定のサイズに分割したタイル画像毎に前記タイル画像の情報を圧縮するエンコーダーと、
前記エンコーダーによって圧縮された前記タイル画像の情報を復元するデコーダーと、
前記タイル画像が特定の画像であるか否かを判定する特定画像判定部と
を備え、
前記セグメンテーション画像生成部は、
前記タイル画像が前記特定の画像であると前記特定画像判定部によって判定された場合に、前記セグメンテーション画像のうち、このタイル画像に対応する部分の画像として、前記特定の画像を使用し、
前記タイル画像が前記特定の画像ではないと前記特定画像判定部によって判定された場合に、前記セグメンテーション画像のうち、このタイル画像に対応する部分の画像として、前記デコーダーの出力画像を使用することを特徴とする画像処理システム。

【請求項2】

前記特定画像判定部は、前記エンコーダーの出力に基づいて前記タイル画像が前記特定の画像であるか否かを判定することを特徴とする請求項１に記載の画像処理システム。

【請求項3】

手書きの部分が除去された画像を生成する除去処理部と、
手書きの部分が強調された画像を生成する強調処理部と
を備え、
前記除去処理部は、前記確率が第１の閾値以上である画素の画像を除去し、
前記強調処理部は、前記確率が前記第１の閾値より小さい第２の閾値以上である画素の画像を強調することを特徴とする請求項１または請求項２に記載の画像処理システム。

【請求項4】

手書きである確率を画像の画素毎に判定する畳み込みニューラルネットワークと、
前記畳み込みニューラルネットワークによる判定結果に基づいてセグメンテーション画像を生成するセグメンテーション画像生成部と
をコンピューターに実現させ、
前記畳み込みニューラルネットワークは、
前記画像を特定のサイズに分割したタイル画像毎に前記タイル画像の情報を圧縮するエンコーダーと、
前記エンコーダーによって圧縮された前記タイル画像の情報を復元するデコーダーと、
前記タイル画像が特定の画像であるか否かを判定する特定画像判定部と
を備え、
前記セグメンテーション画像生成部は、
前記タイル画像が前記特定の画像であると前記特定画像判定部によって判定された場合に、前記セグメンテーション画像のうち、このタイル画像に対応する部分の画像として、前記特定の画像を使用し、
前記タイル画像が前記特定の画像ではないと前記特定画像判定部によって判定された場合に、前記セグメンテーション画像のうち、このタイル画像に対応する部分の画像として、前記デコーダーの出力画像を使用することを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像から手書きの部分を検出する画像処理システムおよび画像処理プログラムに関する。

【背景技術】

【0002】

従来、画像から手書きの部分を検出した後、検出した手書きの部分を除去した画像を生成する画像処理システムが知られている（例えば、特許文献１、２参照。）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００５－２７６１８８号公報

【文献】特開２０１９－０５７７７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の画像処理システムにおいては、画像から手書きの部分を高精度かつ高速に検出することができないという問題がある。

【0005】

そこで、本発明は、画像から手書きの部分を高精度かつ高速に検出することができる画像処理システムおよび画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の画像処理システムは、手書きである確率を画像の画素毎に判定する畳み込みニューラルネットワークと、前記畳み込みニューラルネットワークによる判定結果に基づいてセグメンテーション画像を生成するセグメンテーション画像生成部とを備え、前記畳み込みニューラルネットワークは、前記画像を特定のサイズに分割したタイル画像毎に前記タイル画像の情報を圧縮するエンコーダーと、前記エンコーダーによって圧縮された前記タイル画像の情報を復元するデコーダーと、前記タイル画像が特定の画像であるか否かを判定する特定画像判定部とを備え、前記セグメンテーション画像生成部は、前記タイル画像が前記特定の画像であると前記特定画像判定部によって判定された場合に、前記セグメンテーション画像のうち、このタイル画像に対応する部分の画像として、前記特定の画像を使用し、前記タイル画像が前記特定の画像ではないと前記特定画像判定部によって判定された場合に、前記セグメンテーション画像のうち、このタイル画像に対応する部分のデコーダーの出力画像を使用することを特徴とする。

【0007】

この構成により、本発明の画像処理システムは、畳み込みニューラルネットワークを使用して画像から手書きの部分を検出するので、画像から手書きの部分を高精度に検出することができる。また、本発明の画像処理システムは、特定の画像に対してデコーダーの処理を省略するので、画像から手書きの部分を高速に検出することができる。

【0008】

本発明の画像処理システムにおいて、前記特定画像判定部は、前記エンコーダーの出力に基づいて前記タイル画像が前記特定の画像であるか否かを判定しても良い。

【0009】

この構成により、本発明の画像処理システムは、エンコーダーによってサイズが圧縮された画像に基づいて特定の画像であるか否かを判定するので、特定の画像であるか否かを判定する速度を向上することができ、その結果、画像から手書きの部分を検出する速度を向上することができる。

【0010】

本発明の画像処理システムは、手書きの部分が除去された画像を生成する除去処理部と、手書きの部分が強調された画像を生成する強調処理部とを備え、前記除去処理部は、前記確率が第１の閾値以上である画素の画像を除去し、前記強調処理部は、前記確率が前記第１の閾値より小さい第２の閾値以上である画素の画像を強調しても良い。

【0011】

この構成により、本発明の画像処理システムは、手書きの部分を除去する場合には、手書きの部分を強調する場合より大きい閾値で手書きの部分を検出するので、手書き以外の部分が手書きとして誤検出される可能性を低減することができ、その結果、手書き以外の部分が誤って除去される可能性を低減することができる。一方、本発明の画像処理システムは、手書きの部分を強調する場合には、手書きの部分を除去する場合より小さい閾値で手書きの部分を検出するので、手書きの部分が検出される可能性を向上することができ、その結果、手書きの部分が強調されない可能性を低減することができる。

【0012】

本発明の画像処理プログラムは、手書きである確率を画像の画素毎に判定する畳み込みニューラルネットワークと、前記畳み込みニューラルネットワークによる判定結果に基づいてセグメンテーション画像を生成するセグメンテーション画像生成部とをコンピューターに実現させ、前記畳み込みニューラルネットワークは、前記画像を特定のサイズに分割したタイル画像毎に前記タイル画像の情報を圧縮するエンコーダーと、前記エンコーダーによって圧縮された前記タイル画像の情報を復元するデコーダーと、前記タイル画像が特定の画像であるか否かを判定する特定画像判定部とを備え、前記セグメンテーション画像生成部は、前記タイル画像が前記特定の画像であると前記特定画像判定部によって判定された場合に、前記セグメンテーション画像のうち、このタイル画像に対応する部分の画像として、前記特定の画像を使用し、前記タイル画像が前記特定の画像ではないと前記特定画像判定部によって判定された場合に、前記セグメンテーション画像のうち、このタイル画像に対応する部分の画像として、前記デコーダーの出力画像を使用することを特徴とする。

【0013】

この構成により、本発明の画像処理プログラムを実行するコンピューターは、畳み込みニューラルネットワークを使用して画像から手書きの部分を検出するので、画像から手書きの部分を高精度に検出することができる。また、本発明の画像処理プログラムを実行するコンピューターは、特定の画像に対してデコーダーの処理を省略するので、画像から手書きの部分を高速に検出することができる。

【発明の効果】

【0014】

本発明の画像処理システムおよび画像処理プログラムは、画像から手書きの部分を高精度かつ高速に検出することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施の形態に係る画像形成装置のブロック図である。

【図2】原稿の画像に対して手書きの部分が除去された画像を印刷する処理の実行が指示された場合の図１に示す画像形成装置の動作の流れを示す図である。

【図3】原稿の画像に対して手書きの部分が強調された画像を印刷する処理の実行が指示された場合の図１に示す画像形成装置の動作の流れを示す図である。

【図4】（ａ）図２または図３に示す入力画像の一例を示す図である。 （ｂ）図２に示す出力画像の一例を示す図である。 （ｃ）図３に示す出力画像の一例を示す図である。

【図5】図２または図３に示すセマンティックセグメンテーション部の動作の流れを示す図である。

【図6】図５に示すエンコーダーの動作の流れを示す図である。

【図7】図６に示す畳み込み層による畳み込み演算の一例を示す図である。

【図8】図６に示すプーリング層によるプーリング処理の一例を示す図である。

【図9】図５に示すデコーダー３１ｂの動作の流れを示す図である。

【発明を実施するための形態】

【0016】

以下、本発明の実施の形態について、図面を用いて説明する。

【0017】

まず、本発明の一実施の形態に係る画像処理システムとしての画像形成装置の構成について説明する。

【0018】

図１は、本実施の形態に係る画像形成装置１０のブロック図である。

【0019】

図１に示すように、画像形成装置１０は、種々の操作が入力される例えばボタンなどの操作デバイスである操作部１１と、種々の情報を表示する例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示デバイスである表示部１２と、用紙などの記録媒体に画像を印刷する印刷デバイスであるプリンター１３と、原稿から画像を読み取る読取デバイスであるスキャナー１４と、図示していない外部のファクシミリ装置と公衆電話回線などの通信回線経由でファックス通信を行うファックスデバイスであるファックス通信部１５と、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部１６と、各種の情報を記憶する例えば半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの不揮発性の記憶デバイスである記憶部１７と、画像形成装置１０全体を制御する制御部１８とを備えているＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）である。

【0020】

記憶部１７は、画像を処理するための画像処理プログラム１７ａを記憶している。画像処理プログラム１７ａは、例えば、画像形成装置１０の製造段階で画像形成装置１０にインストールされていても良いし、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリーなどの外部の記憶媒体から画像形成装置１０に追加でインストールされても良いし、ネットワーク上から画像形成装置１０に追加でインストールされても良い。

【0021】

記憶部１７は、手書きの部分を除去する除去処理のための閾値である第１の閾値１７ｂと、手書きの部分を強調する強調処理のための閾値である第２の閾値１７ｃとを記憶している。第２の閾値１７ｃは、第１の閾値１７ｂより小さい。

【0022】

記憶部１７は、特定の画像としての白紙の画像のデータである白紙データ１７ｄを記憶している。白紙データ１７ｄによって示される画像は、手書きである確率（以下「手書き確率」という。）が全ての画素について０である。

【0023】

制御部１８は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、プログラムおよび各種のデータを記憶しているＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、制御部１８のＣＰＵの作業領域として用いられるメモリーとしてのＲＢＭ（Ｒａｎｄｏｍ Ｂｃｃｅｓｓ Ｍｅｍｏｒｙ）とを備えている。制御部１８のＣＰＵは、記憶部１７または制御部１８のＲＯＭに記憶されているプログラムを実行する。すなわち、画像形成装置１０は、コンピューターである。

【0024】

制御部１８は、画像処理プログラム１７ａを実行することによって、スキャナー１４によって原稿を読み取ることによって原稿の画像（以下「入力画像」という。）を取得する入力画像取得部１８ａと、入力画像からセグメンテーション画像を生成するセマンティックセグメンテーション部１８ｂと、セグメンテーション画像を手書きの部分か否かによって２値化する２値化部１８ｃと、入力画像に対して手書きの部分が除去された出力画像を生成する除去処理部１８ｄと、入力画像に対して手書きの部分が強調された出力画像を生成する強調処理部１８ｅと、出力画像をプリンター１３によって印刷する画像印刷部１８ｆとを実現する。

【0025】

次に、画像形成装置１０の動作について説明する。

【0026】

まず、原稿の画像に対して手書きの部分が除去された画像を印刷する処理の実行が指示された場合の画像形成装置１０の動作について説明する。

【0027】

図２は、原稿の画像に対して手書きの部分が除去された画像を印刷する処理の実行が指示された場合の画像形成装置１０の動作の流れを示す図である。

【0028】

利用者は、スキャナー１４に原稿をセットした上で、原稿の画像に対して手書きの部分が除去された画像を印刷する処理の実行を操作部１１を介して指示することができる。

【0029】

原稿の画像に対して手書きの部分が除去された画像を印刷する処理の実行が指示されると、図２に示すように、入力画像取得部１８ａは、スキャナー１４によって原稿を読み取ることによって入力画像２１を取得する。

【0030】

次いで、セマンティックセグメンテーション部１８ｂは、入力画像２１からセグメンテーション画像２２を生成する。なお、セマンティックセグメンテーション部１８ｂは、入力画像２１の画素毎に手書き確率を判定し、判定した手書き確率をセグメンテーション画像２２の各画素に付与する。

【0031】

次いで、２値化部１８ｃは、セグメンテーション画像２２を第１の閾値１７ｂで２値化することによって、２値化済みのセグメンテーション画像２３Ａを生成する。すなわち、２値化部１８ｃは、セグメンテーション画像２２の各画素のうち、手書き確率が第１の閾値１７ｂ以上である画素を、手書きの部分の画素とするとともに、手書き確率が第１の閾値１７ｂ未満である画素を、手書き以外の部分の画素とする。

【0032】

次いで、除去処理部１８ｄは、入力画像２１に対して２値化済みのセグメンテーション画像２３Ａの手書きの部分を除去した出力画像２４Ａを生成する

【0033】

最後に、画像印刷部１８ｆは、出力画像２４Ａをプリンター１３によって印刷する。

【0034】

以上のようにして、画像形成装置１０は、原稿の画像に対して手書きの部分が除去された画像を印刷する。

【0035】

次に、原稿の画像に対して手書きの部分が強調された画像を印刷する処理の実行が指示された場合の画像形成装置１０の動作について説明する。

【0036】

図３は、原稿の画像に対して手書きの部分が強調された画像を印刷する処理の実行が指示された場合の画像形成装置１０の動作の流れを示す図である。

【0037】

利用者は、スキャナー１４に原稿をセットした上で、原稿の画像に対して手書きの部分が強調された画像を印刷する処理の実行を操作部１１を介して指示することができる。

【0038】

原稿の画像に対して手書きの部分が強調された画像を印刷する処理の実行が指示されると、図３に示すように、入力画像取得部１８ａは、スキャナー１４によって原稿を読み取ることによって入力画像２１を取得する。

【0039】

次いで、セマンティックセグメンテーション部１８ｂは、入力画像２１からセグメンテーション画像２２を生成する。なお、セマンティックセグメンテーション部１８ｂは、手書き確率を入力画像２１の画素毎に判定し、判定した手書き確率をセグメンテーション画像２２の各画素に付与する。

【0040】

次いで、２値化部１８ｃは、セグメンテーション画像２２を第２の閾値１７ｃで２値化することによって、２値化済みのセグメンテーション画像２３Ｂを生成する。すなわち、２値化部１８ｃは、セグメンテーション画像２２の各画素のうち、手書き確率が第２の閾値１７ｃ以上である画素を、手書きの部分の画素とするとともに、手書き確率が第２の閾値１７ｃ未満である画素を、手書き以外の部分の画素とする。

【0041】

次いで、強調処理部１８ｅは、入力画像２１に対して２値化済みのセグメンテーション画像２３Ｂの手書きの部分を強調した出力画像２４Ｂを生成する

【0042】

最後に、画像印刷部１８ｆは、出力画像２４Ｂをプリンター１３によって印刷する。

【0043】

以上のようにして、画像形成装置１０は、原稿の画像に対して手書きの部分が強調された画像を印刷する。

【0044】

図４（ａ）は、図２または図３に示す入力画像２１の一例を示す図である。図４（ｂ）は、図２に示す出力画像２４Ａの一例を示す図である。図４（ｃ）は、図３に示す出力画像２４Ｂの一例を示す図である。

【0045】

画像形成装置１０は、図２に示す動作によって、図４（ａ）に示す入力画像２１に対して手書きの部分が除去された、図４（ｂ）に示す出力画像２４Ａを印刷することができる。

【0046】

画像形成装置１０は、図３に示す動作によって、図４（ａ）に示す入力画像２１に対して手書きの部分が強調された、図４（ｃ）に示す出力画像２４Ｂを印刷することができる。

【0047】

次に、セマンティックセグメンテーション部１８ｂの動作について詳細に説明する。

【0048】

図５は、セマンティックセグメンテーション部１８ｂの動作の流れを示す図である。

【0049】

図５に示すように、セマンティックセグメンテーション部１８ｂは、入力画像２１の画素毎の手書き確率を判定する畳み込みニューラルネットワーク（ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ））３１と、ＣＮＮ３１による判定結果に基づいてセグメンテーション画像２２を生成するセグメンテーション画像生成部３２とを備えている。

【0050】

ＣＮＮ３１は、大きな画像に対して一度に処理を実行する場合、ＲＡＭの使用サイズが非常に大きくなる。したがって、ＣＮＮ３１は、ＲＡＭの使用サイズを抑えるために、入力画像２１に対して特定の小さなサイズのタイル単位の画像（以下「タイル画像」という。）毎に処理を実行する。ＣＮＮ３１は、画像の情報を圧縮するエンコーダー３１ａと、エンコーダー３１ａによって圧縮された画像の情報を復元するデコーダー３１ｂと、エンコーダー３１ａの出力に基づいてタイル画像が白紙の画像、すなわち、特定の画像であるか否かを判定する特定画像判定部としての白紙判定部３１ｃとを備えている。

【0051】

白紙判定部３１ｃは、タイル画像が白紙の画像であると判定すると、エンコーダー３１ａの出力をデコーダー３１ｂに入力することなく、白紙データ１７ｄへのポインターをセグメンテーション画像生成部３２に通知する。一方、白紙判定部３１ｃは、タイル画像が白紙の画像ではないと判定すると、エンコーダー３１ａの出力をデコーダー３１ｂに入力する。

【0052】

セグメンテーション画像生成部３２は、タイル画像に対して白紙データ１７ｄへのポインターが白紙判定部３１ｃから通知されると、セグメンテーション画像２２のうち、このタイル画像に対応する部分の画像として白紙データ１７ｄによって示される画像を使用する。一方、セグメンテーション画像生成部３２は、タイル画像に対してデコーダー３１ｂの出力画像を受けると、セグメンテーション画像２２のうち、このタイル画像に対応する部分の画像として、デコーダー３１ｂの出力画像を使用する。

【0053】

図６は、エンコーダー３１ａの動作の流れを示す図である。

【0054】

図６に示すように、エンコーダー３１ａは、畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）と、プーリング層（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）とを備えている。畳み込み層は、畳み込み演算が実行される層である。プーリング層は、プーリング処理が実行される層である。

【0055】

図７は、図６に示す畳み込み層による畳み込み演算の一例を示す図である。

【0056】

図７に示すように、畳み込み層は、例えば微分フィルターＦ１～Ｆ３などの複数のフィルターを画像データのＲＧＢの各データの全ての位置について畳み込んでエッジを抽出する。これにより、畳み込み層は、エッジ情報を含む特徴マップを表す畳み込みデータを生成することができる。

【0057】

微分フィルターの重みは、学習によって調整または決定することができる。学習は、手書きの画像と、手書きではない印刷画像とを教師（訓練）データとして使用することによって、例えば誤差逆伝播法で教師あり機械学習として実現することができる。

【0058】

図８は、図６に示すプーリング層によるプーリング処理の一例を示す図である。

【0059】

図８に示すように、プーリング層は、特徴マップのサイズを縮小し、すなわち位置的な情報を破棄して、大局的な処理を可能とする。ただし、プーリング層は、デコーダー３１ｂで使用するために位置的な情報である位置情報を別途保存する。

【0060】

このように、エンコーダー３１ａは、畳み込み層およびプーリング層で、局所的で低次な情報を合成して、より大局的で高次な情報を抽出することができる。すなわち、エンコーダー３１ａは、ピクセル情報からエッジ情報へ、エッジ情報から筆跡情報へと、画像データを順に変換していくことができる。

【0061】

図９は、デコーダー３１ｂの動作の流れを示す図である。

【0062】

図９に示すように、デコーダー３１ｂは、アンプーリング層と、畳み込み層と、出力層とを備えている。デコーダー３１ｂは、アンプーリング層および畳み込み層を使用して、手書き特徴量のアップサンプリングを実行し、画像データの各画素について手書き確率を特定する処理である。

【0063】

アンプーリング層は、プーリング処理で保存した位置情報を使用して正確な分類マップを再現する。分類マップは、手書き特徴量を格納するマップである。畳み込み層は、手書き特徴量を有するピクセル情報に変換して、画像データの各画素について手書き特徴量を特定することができる。

【0064】

出力層は、手書き特徴量を画素毎にソフトマックス関数で正規化し、手書き画像の分類確率である手書き確率を出力する。手書き確率は、０～１．０の数値によって表される。

【0065】

これにより、デコーダー３１ｂは、画像領域分類データを生成することができる。画像領域分類データは、画像データの各画素について手書き確率でラベル付けしたデータである。

【0066】

以上に説明したように、画像形成装置１０は、ＣＮＮ３１を使用して画像から手書きの部分を検出するので、画像から手書きの部分を高精度に検出することができる。また、画像形成装置１０は、白紙の画像に対してデコーダー３１ｂの処理を省略するので、画像から手書きの部分を高速に検出することができる。したがって、画像形成装置１０は、画像から手書きの部分を高精度かつ高速に検出することができる。

【0067】

画像形成装置１０は、タイル画像単位で処理するようになっており、タイル画像のサイズが小さいほど、タイル画像が白紙の画像である可能性が向上するので、デコーダー３１ｂの処理を省略する確率を向上することができ、その結果、画像から手書きの部分を検出する速度を向上することができる。

【0068】

画像形成装置１０は、エンコーダー３１ａによってサイズが圧縮された画像に基づいてタイル画像が白紙の画像であるか否かを判定するので、タイル画像が白紙の画像であるか否かを判定する速度を向上することができ、その結果、画像から手書きの部分を検出する速度を向上することができる。

【0069】

画像形成装置１０は、手書きの部分を除去する場合には、手書きの部分を強調する場合より大きい第１の閾値１７ｂで手書きの部分を検出するので、手書き以外の部分が手書きとして誤検出される可能性を低減することができ、その結果、手書き以外の部分が誤って除去される可能性を低減することができる。

【0070】

画像形成装置１０は、手書きの部分を強調する場合には、手書きの部分を除去する場合より小さい第２の閾値１７ｃで手書きの部分を検出するので、手書きの部分が検出される可能性を向上することができ、その結果、手書きの部分が強調されない可能性を低減することができる。

【0071】

本発明の画像処理システムは、本実施の形態において、１台のＭＦＰによって構成されている。しかしながら、本発明の画像処理システムは、例えばコピー専用機など、ＭＦＰ以外の画像形成装置によって構成されても良いし、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）など、画像形成装置以外の画像処理システムでも良い。また、本発明の画像処理システムは、複数台の装置によって実現されても良い。

【符号の説明】

【0072】

１０ 画像形成装置（画像処理システム、コンピューター）
１７ａ 画像処理プログラム
１７ｂ 第１の閾値
１７ｃ 第２の閾値
１７ｄ 白紙データ（特定の画像のデータ）
１８ｄ 除去処理部
１８ｅ 強調処理部
２２ セグメンテーション画像
３１ ＣＮＮ（畳み込みニューラルネットワーク）
３１ａ エンコーダー
３１ｂ デコーダー
３１ｃ 白紙判定部（特定画像判定部）
３２ セグメンテーション画像生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】