特許 7455607 画像処理装置、サーバ装置、制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-15

(45)【発行日】2024-03-26

(54)【発明の名称】画像処理装置、サーバ装置、制御方法およびプログラム

(51)【国際特許分類】

   H04N 1/00 20060101AFI20240318BHJP

   G06T 1/00 20060101ALI20240318BHJP

   G06T 5/70 20240101ALI20240318BHJP

   B41J 29/38 20060101ALI20240318BHJP

【ＦＩ】

H04N1/00 002A

H04N1/00 127A

G06T1/00 310A

G06T5/70

B41J29/38 303

【請求項の数】 10

(21)【出願番号】P 2020026475

(22)【出願日】2020-02-19

(65)【公開番号】P2021132294

(43)【公開日】2021-09-09

【審査請求日】2023-02-20

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】矢崎 弘翼

【審査官】橋爪 正樹

(56)【参考文献】

【文献】特開２０１７－１９１９７９（ＪＰ，Ａ）

【文献】特開２０１１－１３７７３６（ＪＰ，Ａ）

【文献】特開２０２０－００８７０１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １／００

Ｈ０４Ｎ １／０４－ １／２０７

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ５／００－ ５／９４

Ｂ４１Ｊ ２９／３８

(57)【特許請求の範囲】

【請求項1】

原稿を読み取る読取手段と、
前記読取手段によって前記原稿を読み取ることによって生成された画像データに含まれるスジを、前記スジを検出するためのパラメータを用いて検出する検出手段と、
少なくとも、前記画像データ、及び前記検出手段による検出結果を外部装置に送信する送信手段と、
前記検出結果と、前記外部装置に送信された前記画像データに含まれる前記スジの他の検出結果であって、前記外部装置によって学習モデルを用いて行われる検出処理によって得られる前記他の検出結果とに基づいて前記外部装置から送信される新たなパラメータを受信する受信手段と、
前記受信手段によって受信された前記新たなパラメータを用いて前記パラメータを変更する変更手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記検出手段によって前記画像データにスジが含まれることを検出した場合に、前記画像データに含まれる前記スジを補正する補正手段をさらに有することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記受信手段は、前記検出結果と、前記外部装置に送信された前記画像データに含まれる前記スジの他の検出結果の差分に基づいて前記外部装置から送信される新たなパラメータを受信することを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記送信手段は、前記検出手段によって前記画像データに含まれる前記スジを検出する前に、前記画像データを前記外部装置に送信することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。

【請求項5】

前記変更手段によって前記パラメータが変更された場合に、前記検出手段は、前記変更されたパラメータを用いて前記画像データに含まれるスジを検出する処理を実行することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

前記パラメータは、原稿の背景の輝度値とスジの輝度値との差分を含むことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。

【請求項7】

サーバ装置であって、
画像処理装置から、前記画像処理装置の読取手段によって原稿を読み取ることによって生成された画像データと、前記画像処理装置によってスジを検出するためのパラメータを用いたスジの検出結果とを受信する受信手段と、
前記受信手段によって受信した前記画像データに含まれる前記スジを検出する検出手段と、
前記受信手段によって受信した前記スジの検出結果と前記検出手段による他の検出結果に基づいて、前記画像処理装置に前記パラメータを新たなパラメータによって更新させるために、前記画像処理装置に前記新たなパラメータを送信する送信手段と、
を有することを特徴とするサーバ装置。

【請求項8】

前記検出手段は、学習モデルを用いて前記スジを検出することを特徴とする請求項７に記載のサーバ装置。

【請求項9】

画像処理装置の制御方法であって、
原稿を読み取る読取工程と、
前記読取工程において前記原稿を読み取ることによって生成された画像データに含まれるスジを、前記スジを検出するためのパラメータを用いて検出する検出工程と、
少なくとも、前記画像データ及び前記検出工程における検出結果を外部装置に送信する送信工程と、
前記検出結果と、前記外部装置に送信された前記画像データに含まれる前記スジの他の検出結果であって、前記外部装置によって学習モデルを用いて行われる検出処理によって得られる前記他の検出結果とに基づいて前記外部装置から送信される新たなパラメータを受信する受信工程と、
前記受信工程において受信した前記新たなパラメータを用いて前記パラメータを変更する変更工程と、
を有することを特徴とする制御方法。

【請求項10】

コンピュータを請求項１から６のいずれか１項に記載の画像処理装置として動作させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、原稿を読み取ることによって生成された画像データに含まれるスジを検出することのできる画像処理装置、サーバ装置、制御方法およびプログラムに関する。

【背景技術】

【0002】

従来のマルチファンクションプリンター（以後、ＭＦＰ）は、原稿トレイに載置された原稿をオートドキュメントフィーダー（以後、ＡＤＦ）によって１枚ずつ搬送する。そして、搬送している原稿が読取位置にある読取ガラスの上を通過した際に、光源により原稿を照射し、その反射光をミラーに反射させ、ＣＣＤなどの撮像素子に入光させることで原稿面を読み取る。

【0003】

ここで、原稿に付着した紙粉や、印刷に使用されたトナーなどのゴミが、原稿を搬送する際に剥がれ落ちることにより、原稿読取位置上にある読取ガラスに付着する場合がある。読取ガラス上に紙粉やトナー等のゴミが付着した状態でＭＦＰが原稿画像を読み取った場合、撮像素子に入光する光が遮られてしまうため、原稿画像データにはゴミの付着した位置に縦スジが発生する場合がある（特許文献１、２）。本明細書では、ゴミなどが付着して本来の原稿には含まれない縦スジが発生した原稿画像データをスジ画像と呼ぶ。

【0004】

特許文献１では、画像からスジ候補を検出し、スジ候補の副走査方向の連続性を判定し、所定条件を満たしていた場合にはスジと判定して補正を実行し、満たしていなかった場合にはスジではないと判定し、補正を実行しない方法が提案されている。

【0005】

また、特許文献２では検査システムにおいて異常画像の検知に用いられる閾値を人手で調整する方法について提案されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００９－２３９３５８号公報

【文献】特開２０１０－２８６５０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１のように画像処理アルゴリズムを用いてスジを検出する方法では、様々なパターンで発生するスジを適切に検出するためのパラメータを調整するのが難しい場合がある。パラメータを調整するには膨大な計算量が必要であるため、パラメータの調整が十分に行われない場合があった。不十分に調整されたパラメータを使用した場合、代表的なスジに対して十分な検出精度と許容できる誤検知率になるまでパラメータを微調整するため、スジの検出に失敗したり、原稿の画像をスジであると誤検出してしまう場合があった。

【0008】

また、特許文献２のように、パラメータを人力で調整する場合には専属の担当者が必要であり、また調整時間が必要なため生産性が落ちるという課題があった。

【0009】

本発明は上記課題を鑑みてなされたものであり、画像処理装置がスジを検出するために用いるパラメータを変更するための利便性を向上することを目的とする。

【課題を解決するための手段】

【0010】

上述のような課題を解決するため、本発明に係る画像処理装置の一態様は、原稿を読み取る読取手段と、前記読取手段によって前記原稿を読み取ることによって生成された画像データに含まれるスジを、前記スジを検出するためのパラメータを用いて検出する検出手段と、少なくとも、前記画像データ、及び前記検出手段による検出結果を外部装置に送信する送信手段と、前記検出結果と、前記外部装置に送信された前記画像データに含まれる前記スジの他の検出結果であって、前記外部装置によって学習モデルを用いて行われる検出処理によって得られる前記他の検出結果とに基づいて前記外部装置から送信される新たなパラメータを受信する受信手段と、前記受信手段によって受信された前記新たなパラメータを用いて前記パラメータを変更する変更手段と、を有することを特徴とする。

【発明の効果】

【0011】

本発明により、画像処理装置がスジを検出するために用いるパラメータを変更するための利便性を向上することができる。

【図面の簡単な説明】

【0012】

【図1】一実施形態に係るネットワークシステムの構成図。

【図2】一実施形態に係るＭＦＰの構成図。

【図3】一実施形態に係るリーダーユニットおよびＡＤＦの断面図。

【図4】スジ画像が発生する過程を示す図。

【図5】スジ画像の一例を示す図。

【図6】一実施形態に係るクラウドの構成図。

【図7】第１実施形態に係るＭＦＰとクラウドサーバが実行する処理の一例を示すフローチャート。

【図8】輝度差によるスジ検出アルゴリズムとそのパラメータ更新の例

【図9】一実施形態に係るクラウドサーバが実行するスジ検出パラメータ生成処理の一例を示すフローチャート。

【図10】第２実施形態に係るＭＦＰとクラウドサーバが実行する処理の一例を示すフローチャート。

【図11】一実施形態に係るＭＦＰとクラウドサーバの機能ブロック図。

【発明を実施するための形態】

【0013】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0014】

なお、特に断らない限り、本発明の機能が実行されるのであれば、単体の機器であっても、複数の機器からなるシステムであっても、本発明を適用できることは言うまでもない。

【0015】

＜実施形態１＞
図１は、本発明におけるネットワークシステム１００の全体図である。ネットワークシステム１００はオフィス１０１、１２０及び１３０と、クラウドサーバ１１０及び両者を接続するインターネット１５０から構成される。なお、図１では、オフィスが３箇所と図示されているが、任意の複数個所がインターネット１５０を介してクラウドサーバ１１０に接続されていても良い。以下、各オフィスの構成は１０１を用いて説明する。ここで、当然ながら各オフィス内の構成はそれぞれ異なるが、代表的な構成として説明し、本実施形態に直接関係ない構成については省略するものとする。

【0016】

オフィス１０１には、インターネット１５０との間にファイアウォール１０７が設置される。ファイアウォール１０７は、オフィス１０１内への不正アクセスを遮断するように管理する一方、必要なデータの受信の許可及び、オフィス１０１からインターネット１５０へのデータの送信管理も行う。ファイアウォール１０７はオフィス内部に対してはネットワーク１０４に接続され、オフィス内の各装置と接続されている。ネットワーク１０４には、マルチファンクショナルプリンタ（ＭＦＰ）１０２及び１０３、プリンタサーバ１０５、並びにクライアントＰＣ１０６が通信可能に接続される。

【0017】

ＭＦＰ１０２および１０３は、それぞれ原稿用紙を読み取り、ネットワーク１０４に送信したり、読み取られた原稿画像データを印刷したりする機能を有する印刷装置を含む情報処理装置である。クライアントＰＣ１０６は印刷データを、ネットワーク１０４を介して、プリンタサーバ１０５に送信し、ＭＦＰ１０２または１０３から印刷データをプリントアウトすることが可能である。また、クライアントＰＣ１０６は、ネットワーク１０４経由でファイアウォール１０７を通して、インターネット１５０にデータの送受信を行うことが可能である。

【0018】

クラウドサーバ１１０は、１台以上のコンピュータであり、ＭＦＰ１０２および１０３から画像データを受信し、スジ検出に使用するパラメータを指示するための信号をＭＦＰ１０２および１０３に送信するサーバ装置である。

【0019】

図２は、本実施形態に係るＭＦＰの構成図である。図２では、ＭＦＰはＭＦＰ１０２であるものとして説明するが、ＭＦＰ１０３もＭＦＰ１０２と同様の構成であるものとする。ＭＦＰ１０２は、システムコントローラ２００、操作部２０７、スキャナ２０９、およびプリンタ２１２を含む。

【0020】

システムコントローラ２００は、画像入力デバイス（読取部）であるスキャナ２０９や、画像出力デバイス（出力部）であるプリンタ２１２や操作部２０７や、ネットワーク１０４と接続される。また、システムコントローラ２００は、ＭＦＰ１０２全体の動作を制御するとともに、後述する画像情報やデバイス情報などの入出力制御を行う。システムコントローラ２００は、ＣＰＵ２０１、ＲＡＭ２０２、ネットワークインタフェース（Ｎ／Ｗ ＩＦ）２０３、ＲＯＭを含む。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。また、ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。また、システムコントローラ２００は、ＨＤＤ２０５、操作部ＩＦ２０８、スキャナＩＦ２１０、プリンタＩＦ２１３、スキャナ画像処理部２１１、およびプリンタ画像処理部２１４を含む。ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。なお、ＣＰＵ２０１と上記各構成要素とはシステムバス２０６を介して通信可能に接続される。

【0021】

ＣＰＵ２０１は、ＭＦＰ１０２全体を制御するプロセッサであり、ＲＯＭ２０４に格納された制御プログラム等に基づいて、システムコントローラ２００に接続された各種デバイスとのアクセスを制御する。さらに、ＣＰＵ２０１は、システムコントローラ２００内部で行われる各種処理についても制御する。

【0022】

ＲＡＭ２０２はシステムワークメモリであり、スキャナ２０９によって読み取られた画像データなどを一時記憶するための画像メモリとしても機能する。ＲＯＭ２０４はブートＲＯＭであり、システムコントローラ２００の起動時に実行されるブートプログラムを格納する。

【0023】

ＨＤＤ２０５は、主に、ＭＦＰを起動・動作させるために必要な情報（システムソフトウェア）や画像データを格納する。これらのデータは、ＨＤＤ２０５に限らず、電源が切れても記憶保持可能な記録媒体に格納してもよい。Ｎ／Ｗ ＩＦ２０３は、ネットワーク１０４に接続された場合に、システムコントローラ２００が、ネットワーク上の外部装置との間で画像データの入出力や、機器制御に関わる情報の入出力を行うことを可能にする。

【0024】

操作部ＩＦ２０８は、操作部２０７に表示する画像データを、システムバス２０６を介して、ＣＰＵ２０１から受信し、操作部２０７に送信する。また、操作部２０７からの操作情報などを受信し、ＣＰＵ２０１に送信する。

【0025】

スキャナＩＦ２１０は、スキャナ２０９で読み取られた原稿画像データを受信し、スキャナ画像処理部２１１に送信する。スキャナ画像処理部２１１では、スキャナ２０９によって読み取られた原稿画像データに対して、解像度変換や色味補正、スジ検出・スジ補正などの画像処理を行うことで、最適なスキャン画像データを生成する。また、スキャナ画像処理部２１１はシステムバス２０６に接続され、画像処理済みのスキャン画像データをＲＡＭ２０２などに送信する。さらに、スキャナ画像処理部２１１は、スジ検出アルゴリズムのパラメータを保持しており、クラウドサーバ１１０から新しいパラメータを受信した場合には保持しているパラメータを更新する。

【0026】

プリンタ画像処理部２１４は、システムバス２０６を介してＣＰＵ２０１から受信したプリント画像データをプリンタＩＦ２１３に送信する。プリンタ画像処理部２１４では受信したプリント画像データに対して、濃度変換などの画像処理を行うことで、最適なプリント画像データを生成する。プリンタＩＦ２１３は受信した画像処理済みのプリント画像データをプリンタ２１２に送信し、印刷動作が行われる。

【0027】

次に、図３を参照して、スキャナ２０９が含むリーダーユニット３０９及びＡＤＦ（Auto Document Feeder）３００の断面図を用いて、スキャナ２０９の動きを説明する。

【0028】

ＡＤＦ３００は、原稿束が原稿トレイ３０１に載置され、読み取りが指示された場合に、リーダーユニット３０９によって読み取り可能に、以下のように原稿を搬送する。まず、原稿束に含まれる原稿３０２はピックアップローラー３０３によって原稿トレイ３０１から分離部へ搬送される。分離部では、分離搬送ローラー３０４と分離搬送従動ローラー３０５により原稿束の最も上に位置する原稿３０２を１枚ずつ分離するように搬送する。分離された１枚の原稿は、レジストローラー３０６とレジスト従動ローラー３０７より斜め搬送を修正され、第１搬送ローラー３０８、第２搬送ローラー３１１、第３搬送ローラー３１２の順に搬送される。

【0029】

原稿が第２搬送ローラー３１１、第３搬送ローラー３１２によって搬送され、読取位置上を通過する際に、リーダーユニット３０９は原稿を読み取り、原稿の表面の画像情報を得る。また、スキャナヘッド３１４がレール３２４に沿って、左右に移動することができる。原稿は、第３搬送ローラー３１２を通過後、リード排出ローラー３２０、リード排出従動ローラー３２１、排紙ローラー３２２によって搬送され、原稿排紙トレイ３２３に排紙される。

【0030】

次に、リーダーユニット３０９での原稿読取動作について説明する。読取位置上に存在する白色対向部材３１３と読取ガラス３１０の間を原稿が通過中、読取位置の下部に存在するスキャナヘッド３１４では、光源３１５、３１６により原稿を照射し、その反射光を反射ミラー３１７により結像レンズ３１８に導く。結像レンズ３１８で収束された光はラインセンサ３１９により電気信号に変換される。

【0031】

この時読み取った原稿画像データにスジ状のデータが発生するメカニズムについて、図４を用いて説明する。

【0032】

図４に示すように、第２搬送ローラー３１１および第３搬送ローラー３１２によって原稿３０２が順次搬送されると、ゴミ４０１が原稿３０２に付着する。この付着したゴミ４０１は、搬送時に発生する紙の屑や原稿から剥離したトナーくずなど様々ものが存在する。付着したゴミ４０１は原稿３０２の搬送に伴い移動しうる。そして原稿３０２が、付着したゴミごと読取位置まで搬送されると、スキャナヘッド３１４は原稿３０２を読み取ると同時にゴミ４０１も読み取りうる。

【0033】

また、原稿３０２を読取ガラス３１０に密着させて読み取るために、読取位置付近は狭くなっているため、原稿３０２は搬送されて進むが、ゴミ４０１は読取位置付近の原稿３０２と読取ガラス３１０との間に滞留してしまいうる。その結果、スキャナヘッド３１４はゴミ４０１を読み取ってしまい、画素ではスジ状のデータが読み取った原稿画像データに発生してしまう。その例を図５に示す。また、このゴミ４０１は同じ場所にとどまっているものではないため、スジ状のデータの発生は断続的であったり、消えたりすることがある。

【0034】

次に、本実施形態に係るクラウドサーバ１１０の構成について図６を参照して説明する。ここで、本実施形態に係るクラウドサーバ１１０の処理に直接的に関係しない構成については省略するものとする。

【0035】

クラウドサーバ１１０は、ＣＰＵ５０１、Ｎ／Ｗ ＩＦ５０２、ＡＩ（Artificial Intelligence）処理部５０３、およびデータベース５０４を含み、各構成要素はシステムバス５０５を介して接続される。

【0036】

ＣＰＵ５０１はクラウドサーバ１１０全体の制御を行うプロセッサであり、不図示のＲＯＭに格納されている制御プログラムを実行する。Ｎ／Ｗ ＩＦ５０２はインターネット１５０に接続し、各オフィスから送信されてくる画像データを受信する。ＡＩ処理部５０３は、データベース５０４に保存されている学習済みのデータを用いて、画像データ内のスジを検出する。一例では、ＡＩ処理部５０３は、ＧＰＵ（Graphics Processing Unit）を備えてもよい。

【0037】

次に、本実施形態に係るＭＦＰ１０２およびクラウドサーバ１１０の機能ブロックについて図１１を参照して説明する。なお、各機能ブロックは、ＭＦＰ１０２のＣＰＵ２０１またはクラウドサーバ１１０のＣＰＵ５０１がコンピュータ可読記憶媒体に格納されたプログラムを実行することで実現される。

【0038】

図１１（Ａ）は、ＭＦＰ１０２の機能ブロック図である。ＭＦＰ１０２の機能は、画像取得部１１０１、画像送信部１１０２、スジ検出部１１０３、パラメータ受信部１１０４、パラメータ送信部１１０５、画像補正部１１０６、および検出結果送信部１１０７を含む。

【0039】

画像取得部１１０１は、スキャナＩＦ２１０を介してスキャナ２０９などの画像取得装置から画像を取得する制御処理を実行する。画像送信部１１０２は、Ｎ／Ｗ ＩＦ２０３を介してクラウドサーバ１１０にスキャナ２０９から取得した画像を送信する処理を実行する。スジ検出部１１０３は、スキャナ画像処理部２１１を制御し、スキャナ２０９から取得した画像に含まれるスジを検出する。パラメータ受信部１１０４は、クラウドサーバ１１０から、スジ検出部１１０３でのスジ検出処理に使用すべきパラメータを受信する。パラメータ送信部１１０５は、クラウドサーバ１１０に、スジ検出部１１０３が使用しているパラメータを指し示す情報をＮ／Ｗ ＩＦ２０３を介して送信する。画像補正部１１０６は、スジ検出部１１０３が検出したスジを補正してスジなしの補正画像データを生成する。検出結果送信部１１０７は、画像補正部１１０６が生成した補正画像データをＮ／Ｗ ＩＦ２０３を介してクラウドサーバ１１０に送信する。

【0040】

図１１（Ｂ）は、クラウドサーバ１１０の機能ブロック図である。クラウドサーバ１１０の機能は、画像受信部１１５１、スジ検出部１１５２、パラメータ判定部１１５３、パラメータ送信部１１５４、検出結果受信部１１５５、画像保存部１１５６、およびパラメータ受信部１１５７を含む。

【0041】

画像受信部１１５１は、ＭＦＰ１０２が原稿をスキャンして取得した画像データをＮ／Ｗ ＩＦ５０２を介して受信する。スジ検出部１１５２は、画像受信部１１５１で受信した画像データに含まれるスジを、学習済みモデルを使用して検出する。一例では、スジ検出部１１５２は、画像受信部１１５１が受信した画像に基づいて学習済みモデルの学習処理を実行する。パラメータ判定部１１５３は、スジ検出部１１５２で検出したスジに基づいて、ＭＦＰ１０２のスジ検出処理に使用すべきパラメータを判定する。パラメータ送信部１１５４は、パラメータ判定部１１５３が判定した、スジ検出に使用すべきパラメータをＮ／Ｗ ＩＦ５０２を介してＭＦＰ１０２に送信する。

【0042】

検出結果受信部１１５５は、ＭＦＰ１０２が実行したスジ検出処理の検出結果をＮ／Ｗ ＩＦ５０２を介して受信する。画像保存部１１５６は、画像受信部１１５１で受信した画像を保存する。パラメータ受信部１１５７は、Ｎ／Ｗ ＩＦ５０２を介して、ＭＦＰ１０２がスジ検出処理に使用しているパラメータを指し示す情報を受信する。

【0043】

読み取られた画像の扱いについて、図７のＭＦＰ１０２およびクラウドサーバ１１０のフローチャートを用いて詳細に説明する。図７のＭＦＰ１０２の処理は、特に説明がない限りＭＦＰ１０２のＣＰＵ２０１がＲＯＭ２０４に格納されたプログラムに沿って実行するものとする。また、図７のクラウドサーバ１１０の処理は、特に説明がない限りクラウドサーバ１１０のＣＰＵ５０１がＲＯＭ（不図示）に格納されたプログラムを実行することによって実現されるものとして説明する。

【0044】

まず、Ｓ７０１において、ＣＰＵ２０１は操作部２０７において、スキャンボタンが押下され、ＭＦＰにスキャン指示がされたかどうかを判定する。スキャン指示がされた場合（Ｓ７０１でＹｅｓ）、ＣＰＵ２０１は処理をＳ７０２に進める。次に、Ｓ７０２において、ＣＰＵ２０１はスキャン指示に基づき、スキャナ２０９で原稿を読み取り、処理をＳ７０３に進める。

【0045】

次に、Ｓ７０３において、ＣＰＵ２０１はＨＤＤ２０５に保存されているスジ検出パラメータを読出し、処理をＳ７０４へ進める。Ｓ７０４では、ＣＰＵ２０１は読み取った画像データ及びスジ検出パラメータの情報を、スキャナ画像処理部２１１に送信するとともに、Ｎ／Ｗ ＩＦ２０３を介してクラウドサーバ１１０へ送信する。

【0046】

Ｓ７０５では、スキャナ画像処理部２１１は、受け取ったスジ検出パラメータを使用してスキャナ画像処理部２１１で読み取った画像データのスジ検出・補正が行う。また、スキャナ画像処理部２１１で処理された画像データはＮ／Ｗ ＩＦ２０３を介してクラウドサーバ１１０へ送信されるとともにＲＡＭ２０２に格納される。ＲＡＭ２０２に格納された画像データはプリンタ２１２で紙へプリントしたり、クライアントＰＣ１０６へデジタルデータとして送信するために使用される。

【0047】

続いて、Ｓ７０６において、ＭＦＰ１０２はスジ検出・補正を行った画像データをＮ／Ｗ ＩＦ２０３を介してクラウドサーバ１１０へ送信し、処理をＳ７０７に進める。Ｓ７０７ではＣＰＵ２０１はスキャナ２０９で読み取る原稿が残っているかを確認し、全てのページの処理が完了していない場合（Ｓ７０７でＮｏ）には次の原稿を搬送し、Ｓ７０２に処理を進める。全てのページの処理が完了した場合（Ｓ７０７でＹｅｓ）は、ＭＦＰ１０２は処理をＳ７０８に進める。

【0048】

Ｓ７０８において、ＭＦＰ１０２はクラウドサーバ１１０からＮ／Ｗ ＩＦ２０３を介して新しいスジ検出パラメータを受信したかを判断し、新しいスジ検出パラメータを受信していない場合（Ｓ７０８でＮｏ）は図７の処理を終了する。一方、ＭＦＰ１０２がクラウドサーバ１１０から新しいスジ検出パラメータを受信した場合（Ｓ７０８でＹｅｓ）は処理をＳ７０９へ進め、ＣＰＵ２０１はＨＤＤ２０５に保存されているスジ検出パラメータを新しく受信したものに更新して図７の処理を終了する。一例では、ＭＦＰ１０２は、Ｓ７０８で新たなスジ検出パラメータを受信した場合には、新たなパラメータを使用してスジ検出処理を再実行してもよい。

【0049】

次に、同時に動作するクラウドサーバ１１０の処理の一例について、同様に図７を用いて説明する。クラウドサーバ１１０には、複数機種のＭＦＰが接続される場合は各機種に搭載される部品によって得られる画像の特性が違う可能性があるため、機種毎に画像データやスジ検出パラメータを保持することが望ましい。

【0050】

まず、Ｓ７５１において、ＣＰＵ５０１は、Ｓ７０４でＭＦＰ１０２より送信された画像データ及びスジ検出パラメータの情報を受信するまで待機する。画像データ及びスジ検出パラメータの情報を受信すると（Ｓ７５１でＹｅｓ）、Ｓ７５２へ処理を進める。

【0051】

Ｓ７５２では、ＣＰＵ５０１はデータベース５０４に保存されている学習済みのスジ検出データベースを用いて、受信した画像データに対してＡＩ処理部５０３でのスジを検出・補正し、処理をＳ７５３へ進める。なお、Ｓ７５２でクラウドサーバ１１０が実行するスジ検出処理は、ＭＦＰ１０２が実行するスジ検出処理とは異なってもよい。例えば、クラウドサーバ１１０は、ニューラルネットワークモデルを用いてスジ検出処理を実行してもよい。あるいは、クラウドサーバ１１０は、ＭＦＰ１０２が実行するスジ検出処理と同じアルゴリズムのスジ検出処理を行うが、複数のパラメータ値を試行するなどしてもよい。

【0052】

Ｓ７５３では、クラウドサーバ１１０は、ＭＦＰ１０２からスジ検出の検出結果を受信すると、ＭＦＰ１０２から受信した検出結果と、Ｓ７５２でＡＩ処理部５０３が処理した補正済みの画像データとの差分が所定の値以上であるか否かを判定する。なお、Ｓ７５３では、クラウドサーバ１１０はＭＦＰ１０２から検出結果を受信するまで待機してもよい。受信した補正済みの画像データと、ＡＩ処理部５０３が処理した補正済み画像データとの差分が閾値よりも大きい場合（Ｓ７５３でＹｅｓ）、クラウドサーバ１１０は処理をＳ７５４へ進め、ＭＦＰ１０２から受信した画像データをデータベース５０４へ保存する。データベース５０４に保存された画像データは、後述するスジ検出パラメータの生成に使用される。また、処理結果の差が所定の値より小さい場合（Ｓ７５３でＮｏ）、ＣＰＵ５０１は処理をＳ７５５に進める。

【0053】

Ｓ７５５では、ＣＰＵ５０１は、Ｓ７５１において受信したスジ検出パラメータの情報から、データベース５０４に保持しているスジ検出パラメータと比較を行い、ＭＦＰ１０２のスジ検出パラメータの更新が必要か否かを判断する。ＣＰＵ５０１は、更新が必要ではない場合（Ｓ７５５でＮｏ）は図７の処理を終了し、必要な場合（Ｓ７５５でＹｅｓ）は処理をＳ７５６に進める。クラウドサーバ１１０は、Ｓ７５６において新しいパラメータをＮ／Ｗ ＩＦ５０２を介してＭＦＰ１０２に送信し、図７の処理を終了する。

【0054】

Ｓ７５４において、データベース５０４へ保存された場合、画像データは、クラウドサーバ１１０によって所定のタイミングで解析され、新しいスジ検出パラメータを生成するために使用される。次に、スジ検出パラメータの生成を行う例を、図８を参照して説明する。この例では背景とスジ部分の輝度差に着目してスジを判別するアルゴリズムのパラメータを更新する例を示す。なお本例の処理は全てＣＰＵ５０１によって実行されるものとする。

【0055】

図８（Ａ）は、背景輝度が比較的低い画像の中に文字とスジがある画像データの例である。図８（Ｂ）は、図８（Ａ）の線８０１上の輝度の値を示すグラフである。図８（Ｃ）は、背景輝度が比較的高い画像の中に文字とスジがある画像データの例である。図８（Ｄ）は、図８（Ｃ）の線８０２上の輝度の値を示すグラフである。

【0056】

背景輝度の低い画像の中に文字とスジがある場合に、図８（Ｂ）のように背景の輝度とスジの輝度との差Δｄは文字部よりも小さな値になり、この輝度差Δｄよりも大きな部分は原稿の画像であると判別することができる。このため、ＭＦＰ１０２は、Δｄをパラメータとして、輝度が背景輝度より高く、背景輝度との輝度の差がΔｄ以下の部分をスジであると判定し、検出・補正処理を行うことができる。

【0057】

一方、背景が薄い画像の中に同様のスジが発生した場合、図８（Ｄ）のように背景輝度とスジの輝度との差がΔｄより大きいΔｄ’となる。このため、図８（Ｂ）と同じΔｄをスジ検出パラメータとして使用した場合、スキャナ画像処理部２１１ではスジを誤って文字であると判別してしまい、ＡＩ処理部５０３の検出結果と差がでてきてしまう。

【0058】

図８（Ｄ）のような輝度であってもスジが検出できるように、クラウドサーバ１１０がＭＦＰ１０２にスジ検出パラメータの輝度差をΔｄ’へ変更するよう信号を送信することで、スキャナ画像処理部２１１でもスジを検出できるようにすることができる。

【0059】

この更新されたスジ検出パラメータはデータベース５０４に保持されて、次回更新タイミングでＭＦＰ１０２へ送信されることになる。

【0060】

なお、本例では背景画像とスジの輝度差に注目したアルゴリズムの例を示したが、スジを検出するためのアルゴリズムは様々なものが知られており本例にとどまるものではない。

【0061】

また別のパラメータ生成の手法としては、スキャナ画像処理部２１１と同じ動きをするソフトウェアモデルを用いて、パラメータを自動生成しながらＡＩ処理部５０３とスジの検出結果の比較を行い、同等精度で検出できるパラメータを求める手法がある。この例を、図９を参照して説明する。なお本例の処理は全てＣＰＵ５０１で行っているものとする。

【0062】

まず初めにＳ９００でデータベース５０４に保存されたスキャナ画像処理部２１１とＡＩ処理部５０３でスジの検出結果に差が発生している画像をＡＩ処理部５０３で処理し、スジを検出させる。

【0063】

次にＳ９０１ではスジ検出パラメータを生成する。これはＣＰＵ５０１で乱数を用いたランダムなパラメータを生成してもよい。そして、Ｓ９０２ではデータベース５０４に保存されたスキャナ画像処理部２１１と同じ動きをするソフトウェアモデルを読出し、Ｓ９０１で生成したパラメータと画像データを処理してスジを検出させる。

【0064】

Ｓ９０３ではＳ９００の結果とＳ９０２の結果を比較して、各画素が同一のデータとなっているかを比較する。Ｓ９０４ではその比較結果をうけて、同一のスジ検出・補正結果となっている場合はＳ９０５へ遷移し、同一の結果となっていない場合はもう一度フローをやり直すように遷移する。

【0065】

ここで、完全に同一結果とならない場合を考慮して、画像データ中に一致しない画素の数が所定の閾値以下である場合には、ＭＦＰの使用するパラメータを更新しないと判定してもよい。Ｓ９０５ではこの新たに生成されたスジ検出パラメータをデータベース５０４に保持して、これは次回の更新タイミングでＭＦＰ１０２へ送信する。

【0066】

以上、説明したように、本実施形態のＭＦＰでは、リアルタイムにスジの検出・補正を行いながら、スジを検出できなかった原稿画像データに対してもスジ検出パラメータを更新する。スジ検出アルゴリズムの検出精度の向上を図ることが可能になる。

【0067】

＜第２実施形態＞
第１実施形態では、ＭＦＰはパラメータを使用したスジ検出を実行し、検出結果をクラウドサーバに送信し、クラウドサーバは、ＡＩによるスジ検出を実行し、ＭＦＰから受信した検出結果と、ＡＩによる検出結果とを比較して、パラメータの調整を行った。第２実施形態では、ＭＦＰから受信した画像データのみに基づいてＡＩによるスジ検出を行い、パラメータを調整したクラウドサーバから送信されたパラメータに基づいてスジ検出を行うＭＦＰについて説明する。なお、第１実施形態と同様の構成、処理、機能については説明を省略する。

【0068】

図１０は第２実施形態に係るＭＦＰ１０２およびクラウドサーバ１１０の処理を示すフローチャートである。図１０のＭＦＰ１０２の処理は、特に説明がない限りＭＦＰ１０２のＣＰＵ２０１がＲＯＭ２０４に格納されたプログラムに沿って実行するものとする。また、図１０のクラウドサーバ１１０の処理は、特に説明がない限りクラウドサーバ１１０のＣＰＵ５０１がＲＯＭ（不図示）に格納されたプログラムを実行することによって実現されるものとして説明する。

【0069】

Ｓ１００１、Ｓ１００２の処理は図７のＳ７０１、Ｓ７０２と同様のため、説明を省略する。続いて、ＭＦＰ１０２は処理をＳ１００３に進め、スキャンした画像データをクラウドサーバ１１０に送信する。そして、ＭＦＰ１０２は処理をＳ１００４に進め、スキャンした画像データに対応するスジ検出のためのパラメータをクラウドサーバ１１０から受信するまで待機する。パラメータを受信すると、ＭＦＰ１０２は処理をＳ１００５に進め、スジ検出・補正を実行し、図１０の処理を終了する。

【0070】

なお、ＭＦＰ１０２は、接続断などによって、インターネットを介してクラウドサーバ１１０からパラメータの受信に失敗する場合がある。このため、ＭＦＰ１０２は、一例ではパラメータをストレージ（ＲＯＭ２０４、ＨＤＤ２０５など）に格納し、所定の時間内にクラウドサーバ１１０からパラメータを受信しない場合には、ストレージに格納されたパラメータを用いてスジ検出を実行してもよい。

【0071】

次に、同時に動作するクラウドサーバ１１０の処理の一例について、同様に図１０を用いて説明する。

【0072】

Ｓ１０５１およびＳ１０５２の処理は、Ｓ７５１、Ｓ７５２と同様のため説明を省略する。続いて、クラウドサーバ１１０は処理をＳ１０５３に進め、スジ検出の結果に基づいてパラメータを調整する。一例では、パラメータは、図８（Ｂ）に示す、背景の輝度値、文字の輝度値、スジの輝度値、および背景の輝度値とスジの輝度値との差の少なくともいずれかであってもよい。別の例では、パラメータは、上述した背景、文字、およびスジの少なくともいずれかの輝度値の範囲であってもよい。続いて、クラウドサーバ１１０は処理をＳ１０５４に進め、調整したパラメータをＭＦＰ１０２に送信し、図１０の処理を終了する。

【0073】

＜その他の実施形態＞
本実施形態では、輝度値に基づいてスジの検出を行うものとして説明を行った。しかしながら、輝度値以外にも、明度やＲＧＢ値など、画像データの任意のパラメータに基づいてスジ検出を行ってもよい。

【0074】

本実施形態では、クラウドサーバ１１０は１台のコンピュータであるものとして説明を行ったが、複数のコンピュータによって、クラウドサーバ１１０の機能が実現されてもよい。この場合、複数のクラウドサーバ１１０は、インターネットを介して通信可能であればよく、少なくとも１つのクラウドサーバ１１０がオフィス１０１のネットワーク１０４上に位置してもよい。

【0075】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0076】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0077】

１０１：オフィス、１０２、１０３：ＭＦＰ、１１０：クラウドサーバ、２０１：ＣＰＵ、２０５：ＨＤＤ、２０９：スキャナ、５０３：ＡＩ処理部、５０４：データベース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】