特許 7418204 画像処理装置とその制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-11

(45)【発行日】2024-01-19

(54)【発明の名称】画像処理装置とその制御方法、及びプログラム

(51)【国際特許分類】

   H04N 1/00 20060101AFI20240112BHJP

   G03G 21/00 20060101ALI20240112BHJP

   B41J 29/42 20060101ALI20240112BHJP

   G06F 3/0488 20220101ALI20240112BHJP

   B41J 29/38 20060101ALN20240112BHJP

【ＦＩ】

H04N1/00 350

G03G21/00 386

B41J29/42 F

G06F3/0488

B41J29/38 202

【請求項の数】 18

(21)【出願番号】P 2019236969

(22)【出願日】2019-12-26

(65)【公開番号】P2021106329

(43)【公開日】2021-07-26

【審査請求日】2022-12-15

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】酒井 裕之

【審査官】橋爪 正樹

(56)【参考文献】

【文献】国際公開第２０１７／１５０１９４（ＷＯ，Ａ１）

【文献】特開２００９－２９６１４０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １／００

Ｂ４１Ｊ ２９／３８

Ｂ４１Ｊ ２９／４２

Ｇ０３Ｇ ２１／００

Ｇ０６Ｆ ３／０４８－ ３／０４８９５

(57)【特許請求の範囲】

【請求項1】

画像処理装置であって、
原稿のページの画像データの種類と、当該種類に対応する画像処理の設定項目とを関連付けて保持する保持手段と、
前記設定項目をユーザにより入力させる操作手段と、
入力した原稿のページの画像データに対して学習済みの学習モデルを適用して、当該原稿のページの画像データの種類を取得する取得手段と、
前記操作手段により入力された前記設定項目と、前記取得手段により取得した前記種類に対応する設定項目であって、前記保持手段に保持されている前記設定項目とに基づいて、前記ユーザに対して推奨する設定項目を提示する提示手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記提示手段は、前記操作手段により入力された前記設定項目と、前記原稿のページの画像データの種類に対応する前記保持手段に保持されている前記設定項目とが異なる場合に、前記保持手段に保持されている前記設定項目を推奨する設定項目を提示することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記提示手段による前記推奨する設定項目の提示に対して、前記ユーザが前記操作手段により入力された前記設定項目を選択した場合、前記操作手段により入力された前記設定項目で前記保持手段を更新する更新手段を、更に有することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記更新手段は、前記ユーザが前記操作手段により入力された前記設定項目を選択した回数が所定回数になったときに、前記操作手段により入力された前記設定項目で前記保持手段を更新することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記提示手段は更に、前記原稿のページの画像データの種類に対応する前記推奨する設定項目に基づいて前記原稿のページの画像データを処理した場合の画像を表示することを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。

【請求項6】

前記提示手段は、前記画像データが複数の原稿の複数のページの複数の種類の画像データを含む場合、前記取得手段により取得された各種類に対応する前記推奨する設定項目を提示することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。

【請求項7】

前記提示手段は、前記画像データが複数の原稿の複数のページの複数の種類の画像データを含む場合、前記取得手段により取得された種類が一致する画像のページを表示することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。

【請求項8】

前記提示手段は更に、前記推奨する設定項目を適用する画像のページを表示することを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記画像データは、紙文書をスキャナで読み取って得られたスキャン画像データであり、前記画像処理は前記スキャン画像データに対する処理を含むことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。

【請求項10】

前記画像データは、コピーのための画像データであり、前記画像処理は前記コピーで使用されるプリント画像データに対する処理を含むことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。

【請求項11】

原稿のページの画像データの種類と、当該種類に対応する画像処理の設定項目とを関連付けて保持する画像処理装置を制御する制御方法であって、
前記設定項目をユーザにより入力させる操作工程と、
入力した原稿のページの画像データに対して学習済みの学習モデルを適用して、当該原稿のページの画像データの種類を取得する取得工程と、
前記操作工程で入力された前記設定項目と、前記取得工程で取得した前記種類に対応する設定項目であって、保持されている前記設定項目とに基づいて、前記ユーザに対して推奨する設定項目を提示する提示工程と、
を有することを特徴とする制御方法。

【請求項12】

コンピュータに、請求項１１に記載の制御方法の各工程を実行させるためのプログラム。

【請求項13】

画像データに学習モデルを適用する適用手段と、
前記適用手段による適用結果に基づいて、前記画像データを処理する複数の推奨設定値をユーザに提示する提示手段と、
を有することを特徴とする情報処理装置。

【請求項14】

前記提示手段は、前記適用手段による適用結果に基づいて前記複数の推奨設定値を表示することによって、前記複数の推奨設定値をユーザに提示することを特徴とする請求項１３に記載の情報処理装置。

【請求項15】

前記複数の推奨設定値を使用するか否かの選択をユーザから受け付ける受付手段を、さらに有することを特徴とする請求項１３又は１４に記載の情報処理装置。

【請求項16】

前記画像データを処理するための設定値を入力する入力手段を、さらに有し、
前記受付手段は、前記複数の推奨設定値を使用するか、前記入力手段によって入力された設定値を使用するかの選択を受け付けることを特徴とする請求項１５に記載の情報処理装置。

【請求項17】

画像データに学習モデルを適用する適用工程と、
前記適用工程における適用結果に基づいて、前記画像データを処理する複数の推奨設定値をユーザに提示する提示工程と、
を有することを特徴とする情報処理装置の制御方法。

【請求項18】

コンピュータに、請求項１７に記載の情報処理装置の制御方法の各工程を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置とその制御方法、及びプログラムに関するものである。

【背景技術】

【0002】

従来、原稿の画像を読み取り、生成された画像データに基づく印刷や、生成された画像データを送信する多機能複合機（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ、以下、ＭＦＰ）がある。このようなＭＦＰで画像データを生成する際、ユーザは、そのＭＦＰに搭載されているユーザインタフェース（以下、ＵＩ）に表示されている設定項目を変更して、印刷や送信を行わせることができる。設定項目は、例えば、明るさや色調を変化させるような画像処理の設定項目である。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００８－２８２２０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、画像処理の対象となる画像データの解析結果に応じて選択された設定項目を変更するためのＵＩを表示させている。しかしながら、ユーザのＭＦＰの操作経験が乏しい場合、或いはユーザが画像処理の知識を持っていない場合、ＵＩに表示されている設定項目を適切なものにできないため、ユーザが望む画像データを得ることができないという課題があった。

【0005】

本発明の目的は、上記従来技術の課題の少なくとも一つを解決することにある。

【0006】

本発明の目的は、原稿ページの画像データに学習モデルを適用した結果に基づいて、ユーザによる設定の負荷を低減できる仕組みを提供することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するために本発明の一態様に係る画像処理装置は以下のような構成を備える。即ち、
画像処理装置であって、
原稿のページの画像データの種類と、当該種類に対応する画像処理の設定項目とを関連付けて保持する保持手段と、
前記設定項目をユーザにより入力させる操作手段と、
入力した原稿のページの画像データに対して学習済みの学習モデルを適用して、当該原稿のページの画像データの種類を取得する取得手段と、
前記操作手段により入力された前記設定項目と、前記取得手段により取得した前記種類に対応する設定項目であって、前記保持手段に保持されている前記設定項目とに基づいて、前記ユーザに対して推奨する設定項目を提示する提示手段と、を有することを特徴とする。

【発明の効果】

【0008】

本発明によれば、原稿ページの画像データに学習モデルを適用した結果に基づいて、ユーザによる設定の負荷を低減できるという効果がある。

【0009】

本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

【図面の簡単な説明】

【0010】

添付図面は明細書に含まれ、その一部を構成し、本発明の実施形態を示し、その記述と共に本発明の原理を説明するために用いられる。

【図1】本発明の実施形態１に係る画像処理システムの構成を示す概略図。

【図2】実施形態１に係るＭＦＰのハードウェア構成を説明するブロック図。

【図3】実施形態１に係るＭＦＰの操作部と、そこに表示されるホーム画面の一例を示す図。

【図4】実施形態１に係るＭＦＰの操作部で、ユーザが「スキャン」ボタンを押下することで操作部に表示されるスキャン操作画面の一例を示す図。

【図5】実施形態１に係るＭＦＰの操作部に表示される画面例を示す図。

【図6】実施形態１に係るＭＦＰにおいて、紙文書をスキャンしてスキャン画像データを取得するまでの処理を説明するフローチャート。

【図7】Ｓ６０５におけるスキャン画像データの分類処理を学習済モデルを用いて行う例を示す図。

【図8】学習済モデルによる画像分類部におけるニューラルネットワークの構成例を示す図。

【図9】実施形態１における学習画像及び正解データを説明する図。

【図10】実施形態１に係るＭＦＰにおける、スキャン画像データの種類と、それに応じたスキャン設定の変更項目を説明する図。

【図11】実施形態１に係るＭＦＰにおいて、Ｓ６０８でユーザに提示する提案画面の一例を示す図。

【図12】実施形態２に係るＭＦＰで表示される、コピー動作時の操作画面例を示す図。

【図13】実施形態２に係るＭＦＰにおいて、紙文書をスキャンしてプリント画像データを取得するまでの処理を説明するフローチャート。

【図14】実施形態２に係るＭＦＰにおける、スキャン画像データの種類と、それに応じたコピー設定の変更項目を説明する図。

【図15】実施形態２に係るＭＦＰにおいて、ユーザに提示する提案画面の一例を示す図。

【図16】実施形態３に係るＭＦＰにおいて、複数枚の紙文書をスキャンしてプリント画像データを取得するまでの処理を説明するフローチャート。

【図17】実施形態２に係るＭＦＰにおいて、ユーザに提示する提案画面の一例を示す図。

【図18】実施形態４に係るＭＦＰにおいて、複数枚の紙文書をスキャンしてスキャン画像データを取得する処理を説明するフローチャート。

【図19】実施形態４に係るＭＦＰにおいて、ユーザに提示する提案画面の一例を示す図。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これら複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一もしくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

以下に説明する実施形態では、ユーザがＭＦＰを利用して紙文書をスキャンした場合に、そのスキャンにより得られた画像データ（スキャン画像データ）を用いて電子文書を作成するＭＦＰを例に、本発明に係る画像処理装置の一例を説明する。

【0013】

［実施形態１］
図１は、本発明の実施形態１に係る画像処理システムの構成を示す概略図である。

【0014】

この画像処理システムでは、多機能複合機（以下、ＭＦＰ）１０１とコンピュータ（以下、ＰＣ）１０２が、ネットワーク１０３を介して接続されている。図において、点線１０４と１０５は処理の流れを示しており、点線１０４は、ユーザがＭＦＰ１０１のスキャナを用いて紙文書を読み込ませる処理を示す。その際、ユーザは、後述するＭＦＰ１０１の操作部（図２の２０３）を操作して、スキャン画像データを送信する宛先（例えば、ＰＣ１０２）と、スキャンや送信に関わる各種設定を行うことができる。その各種設定として、ユーザは、解像度、圧縮率、データ書式（例えば、ＪＰＥＧ、ＴＩＦＦ、ＰＤＦ、少数色圧縮、少数色圧縮（ＯＣＲ結果付き））などを指定できる。点線１０５は、指定された各種設定に基づいて、ＭＦＰ１０１のソフトウェア或いはハードウェア機能を利用して画像データを生成し、その画像データを指定された宛先に送信する処理を示す。ここで、ＰＣ１０２へ送信される画像データは、ＰＤＦなどのファイルフォーマットで送信されることになるので、ＰＣ１０２の有する汎用的なビューアで閲覧可能である。

【0015】

図２は、実施形態１に係るＭＦＰ１０１のハードウェア構成を説明するブロック図である。

【0016】

ＭＦＰ１０１は、画像入力デバイスであるスキャナ部２０１と画像出力デバイスであるプリンタ部２０２、メモリ等で構成される制御ユニット２０４、ユーザインタフェースである操作部２０３、機器を使用するユーザ認証を行うカードリーダ２２０等を有する。制御ユニット２０４は、スキャナ部２０１、プリンタ部２０２、操作部２０３と接続し、一方では、ＬＡＮ２０９と接続することで、画像情報やデバイス情報の入出力を行う制御部である。ＣＰＵ２０５はシステム全体を制御するプロセッサである。ＲＡＭ２０６はＣＰＵ２０５が動作するためのシステムワークメモリであり、画像データを一時記憶するための画像メモリでもある。ＲＯＭ２１０はブートＲＯＭであり、システムのブートプログラム等のプログラムが格納されている。記憶部２１１は、例えばハードディスクドライブ等で構成され、システム制御ソフトウェア、画像データ等を格納する。操作部Ｉ／Ｆ２０７は操作部（ＵＩ）２０３とのインターフェース部で、操作部２０３に表示するための画像データを操作部２０３に出力する。また操作部Ｉ／Ｆ２０７は、操作部２０３からユーザが入力した情報をＣＰＵ２０５に伝える役割をする。ネットワークＩ／Ｆ２０８は、ＭＦＰ１０１をＬＡＮ２０９に接続し、ＬＡＮ２０９を介してパケット形式の情報の入出力を行う。カードリーダＩ／Ｆ２２１は、カードリーダ２２０とのインターフェース部で、カードリーダ２２０が読み取った情報を認証情報管理部２２２に伝える役割をする。以上のデバイスがシステムバス２１６上に配置される。イメージバスインターフェース２１２は、システムバス２１６と画像データを高速で転送する画像バス２１７とを接続し、データ構造を変換するバスブリッジである。画像バス２１７は、例えば、ＰＣＩバスやＩＥＥＥ１３９４で構成される。

【0017】

画像バス２１７には以下のデバイスが配置される。ラスタイメージプロセッサ（ＲＩＰ）部２１３は、ＰＤＬ（ページ記述言語）コードを解析し、指定された解像度のビットマップイメージに展開する、いわゆるレンダリング処理を実現する。デバイスＩ／Ｆ２１４は、信号線２１８を介してスキャナ部２０１を接続し、信号線２１９を介してプリンタ部２０２を接続しており、画像データの同期系／非同期系の変換を行う。データ処理部２１５は、スキャン動作時、スキャナ部２０１より入力されるスキャンデータの画像処理及び、ＪＰＥＧ圧縮やＯＣＲなどの処理を行う。これによりスキャン画像データを生成する。またデータ処理部２１５は、プリント動作時、プリンタ部２０２へ出力するプリント画像データの画像処理を実施する。スキャン動作時に生成されたスキャン画像データは、ネットワークＩ／Ｆ２０８及びＬＡＮ２０９を介して、指定された宛先（例えば、クライアントＰＣ１０２）に送信される。またこのデータ処理部２１５は、ネットワークＩ／Ｆ２０８及びＬＡＮ２０９を介して受信した圧縮データの伸張を行うこともできる。伸張された画像データは、デバイスＩ／Ｆ２１４を介してプリンタ部２０２に送られて印刷される。対応表管理部２２３は、後述する図１０の学習済みモデル（学習モデル）の分類結果と、それに対応する推奨設定をとを関連付けて記憶する対応表１００１を管理する。尚、この管理は、認証されたユーザに対応して行ってもよい。

【0018】

図３は、実施形態１に係るＭＦＰ１０１の操作部２０３と、そこに表示されるホーム画面の一例を示す図である。

【0019】

ウインドウ３０１は、ユーザの指示に従い、適切な操作画面を呼び出すアプリケーション選択ボタンを表示している。図３では、コピー機能、ネットワークスキャン機能、ファクス機能、ボックス機能の操作画面を呼び出す「コピー」ボタン３０２、「スキャン」ボタン３０３、「ファクス」ボタン３０４、「ボックス」ボタン３０５が表示されている。また操作部２０３には、テンキー３０６、ジョブの開始を指示するスタートキー３０７が配置されている。更に、機器の設定・登録画面を呼び出す「設定・登録」ボタン３０８や、ジョブの履歴・状況画面を呼び出す「履歴・状況」ボタン３０９も配置されている。

【0020】

図４は、実施形態１に係るＭＦＰ１０１の操作部２０３で、ユーザが「スキャン」ボタン３０３を押下することで操作部２０３に表示されるスキャン操作画面の一例を示す図である。

【0021】

この図では、ユーザがエリア４０１の「アドレス帳」「ワンタッチ」「新規宛先」いずれかの宛先入力ボタンを押下することで、宛先を指定することができる。また、ユーザに紐づいたメールアドレスを設定する「自分へメール送信」ボタン４０２も表示されている。送信設定ボタン４０３は、スキャンデータの解像度、カラーモード、サイズ、ファイル指定等の送信設定を設定するのに使用される。応用機能４０４は、読み取り、送信時の様々な詳細設定を呼び出すボタンである。

【0022】

図５は、実施形態１に係るＭＦＰ１０１の操作部２０３に表示される画面例を示す図である。

【0023】

図５（Ａ）は、ユーザが「応用機能」ボタン４０４を押下することで操作部２０３に表示される応用機能画面の一例を示す。応用機能画面５０１には、実施形態１では「原稿の種類」ボタン５０２、「濃度調整」ボタン５０３、「シャープネス」ボタン５０４が表示されている。ここでユーザが「原稿の種類」ボタン５０２を押下すると、図５（Ｂ）の「原稿の種類」設定変更画面が操作部２０３に表示される。

【0024】

この「原稿の種類」設定変更画面には「文字」「写真」「文字／写真」ボタンが表示されている。実施形態１では、「文字」ボタン５０５が選択されると、画像全体の鮮鋭性が向上するようなフィルタ処理がスキャン画像データに適用される。また「写真」ボタンが選択されると、画像全体の鮮鋭性が低下するようなフィルタ処理がスキャン画像データに適用される。また「文字／写真」ボタンが選択された際には、画像全体の鮮鋭性をわずかに向上させるフィルタ処理がスキャン画像データに適用される。ユーザはいずれかのボタンを選択し、「ＯＫ」ボタン５０７を押下することで設定変更が適用される。また「キャンセル」ボタン５０６を押下することで、この画面による設定変更の取り消しが可能である。

【0025】

また図５（Ａ）の画面で、ユーザが「濃度調整」ボタン５０３を押下すると、図５（Ｃ）の「濃度調整／背景調整」設定変更画面が操作部２０３に表示される。

【0026】

この「濃度調整／背景調整」設定変更画面には、濃度調整スライダー５０８、背景調整スライダー５０９が表示されている。例えば、濃度調整スライダー５０８を左方向に移動させると画像処理後の画像が明るくなり、右方向に移動させると画像処理後の画像が暗くなる。また例えば、背景調整スライダー５０９を左方向に移動させると画像処理後の画像において、紙文書が持つ下地の色を強調し、右方向に移動させると画像処理後の画像において、紙文書が持つ下地の色をハイライト側に加工する。また「濃度調整／背景調整」設定変更画面に表示されている「キャンセル」ボタン５０６、「ＯＫ」ボタン５０７は、図５（Ｂ）の画面に表示されているボタンと同様の機能を持つ。

【0027】

また図５（Ａ）の画面で、ユーザが「シャープネス」ボタン５０４を押下すると、操作部２０３に図５（Ｄ）の「シャープネス」設定変更画面が表示される。

【0028】

「シャープネス」設定変更画面には、シャープネス調整スライダー５１０が表示されており、例えば、スライダー５１０を左方向に移動させると画像処理後の画像の鮮鋭性が低くなり、右方向に移動させると画像処理後の画像の鮮鋭性が高くなる。また「シャープネス」設定変更画面に表示されている「キャンセル」ボタン５０６、「ＯＫ」ボタン５０７は、図５（Ｂ）の画面に表示されているボタンと同様の機能を持つ。

【0029】

図６は、実施形態１に係るＭＦＰ１０１において、紙文書をスキャンしてスキャン画像データを取得するまでの処理を説明するフローチャートである。尚、このフローチャートで示す処理は、ＣＰＵ２０５が記憶部２１１に記憶されている制御プログラムをＲＡＭ２０６に展開して実行することにより実現される。

【0030】

この処理は図３の画面で「スキャン」ボタン３０３が押下されることにより開始される。まずＳ６０１でＣＰＵ２０５は、ユーザがカードリーダ２２０にユーザ認証用のカードをかざすか、或いは操作部２０３に表示されるユーザ認証画面でユーザ名、パスワードを入力することにより、認証情報管理部２２２を用いてユーザの認証を行う。尚、このユーザの認証は、認証情報管理部２２２を使用せずに、ＣＰＵ２０５がプログラムを実行して行ってもよい。次にＳ６０２に進みＣＰＵ２０５は、ユーザの認証に成功したかどうか判定する。ここで認証できたときはＳ６０３に進むが、そうでないときはこの処理を終了する。

【0031】

Ｓ６０３でＣＰＵ２０５は、例えば図４のスキャン操作画面を表示し、更に、図５の応用機能画面を介して入力されるスキャン設定、及び宛先の入力を受け付ける。そして操作部２０３に配置されているスタートキー３０７が押下されるとＣＰＵ２０５はスキャンのジョブを開始する。そしてＳ６０４に進みＣＰＵ２０５は、スキャンのジョブが開始されるとスキャナ部２０１を制御して紙文書をスキャンし、デバイスＩ／Ｆ２１４及び画像バス２１７を通してスキャン画像データがデータ処理部２１５に渡される。

【0032】

次にＳ６０５に進みＣＰＵ２０５は、データ処理部２１５を使用して、スキャン画像データに対して学習済みモデルを用いて分類を行う。

【0033】

図７は、Ｓ６０５におけるスキャン画像データの分類処理を学習済モデルを用いて行う例を示す図である。

【0034】

また以下で説明する各処理は、ＣＰＵ２０５がＲＡＭ２０６に展開したプログラムを実行することで実現するものとして説明する。スキャナ部２０１で取得したスキャン画像データ並びに各処理の中間生成データも適宜ＲＡＭ２０６にセーブ、ＲＡＭ２０６からロードを行いつつＣＰＵ２０５が演算処理を行うものとして説明する。

【0035】

図７（Ａ）の７０１は、スキャン画像データを用いた分類用画像生成部で、実施形態１では、スキャナ部２０１でスキャンされたＲＧＢで表現されるスキャン画像データを受け取る。次に、受け取った画像データを用いて、後述する学習済モデルによる画像分類部７０２に入力するための画像データを生成する。例えば、学習済モデルによる画像分類部７０２の入力画像サイズが２５６×２５６のＲＧＢ画像データである場合、スキャン画像データを入力画像サイズに合わせて縮小する。尚、縮小方法は公知の技術を用いる。

【0036】

以下、学習済モデルによる画像分類部７０２の構成について説明する。

【0037】

図８は、学習済モデルによる画像分類部７０２におけるニューラルネットワークの構成例を示す図である。以下では、実施形態１の動作を、図８に示すニューラルネットワークに基づき説明するが、本発明に係る技術はこれに限定されない。例えば、より層の深いニューラルネットワークであってもよいし、Ｕ－ｎｅｔの形式をとっていてもよい。また、実施形態１では、２５６×２５６のＲＧＢ画像データを入力とするが、本発明はこれに限定されない。

【0038】

まず、学習済モデルによる画像分類部７０２に入力された入力画像データは、Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ８０１において畳み込み演算が行われる。入力画像データの（ｘ，ｙ）位置の画素値をＩ（ｘ，ｙ）とすると、Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ８０１の出力画像データＩG1（ｘ，ｙ，ｐ）は、以下の式で算出される。

【0039】

ＩG1（ｘ，ｙ，ｐ）＝ΣΣΣＷstpz^（G1）Ｉ（ｘ＋ｓ，ｙ＋ｔ，ｚ） …式（１）
ここで、ｐは出力プレーン数であり、実施形態１ではｐ＝２とした。尚、この出力プレーン数はあくまでも一例であり、これに限定されるものではない。また上記式（１）において、最初のΣは、ｓ＝－１からｓ＝１までの総和を、二番目のΣはｔ＝－１からｔ＝１までの総和を、三番目のΣは、ｚ＝１からｚ＝３までの総和を示す。

【0040】

また、Ｗstpz^（G1）は、ニューラルネットワークが保持しているＣｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ８０１における重みであり、ｓ，ｔ，ｐの組み合わせごとに異なる値を有している。尚、上記式中のＩ（ｘ＋ｓ，ｙ＋ｔ）であるが、参照位置が入力画像データの有する画素位置外（例えば、Ｉ（－１，－１）など）の場合は、画素値を「０」として演算する。以上の演算により、Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ８０１の出力は、２５６ｘ２５６ｘ２の画像データとなる。

【0041】

次に、Ａｃｔｉｖａｔｉｏｎ Ｌａｙｅｒ８０２では、Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ８０１の出力画像データＩG1（ｘ，ｙ，ｐ）に対して、非線形関数を適用する。具体的には、Ａｃｔｉｖａｔｉｏｎ Ｌａｙｅｒ８０２の出力画像データＩG2（ｘ，ｙ，ｐ）は、ランプ関数を用いて以下の式（２）で計算される。

【0042】

ＩG2（ｘ，ｙ，ｐ）＝ｍａｘ（０，ＩG1（ｘ、ｙ、ｐ）） 式（２）
尚、当該処理で適用される非線形関数は、これに限定されない。例えば、双曲線正接関数（ｈｙｐｅｒｂｏｌｉｃ ｔａｎｇｅｎｔ）などを用いてもよい。以上の演算により、Ａｃｔｉｖａｔｉｏｎ Ｌａｙｅｒ８０２の出力画像データＩG2（ｘ，ｙ，ｐ）は、２５６×２５６×２の画像データ、即ち、２５６×２５６の画像データが２プレーンの画像データとなる。

【0043】

次に、Ｐｏｏｌｉｎｇ Ｌａｙｅｒ８０３にて、情報の圧縮が行われる。ここでは、２×２のｍａｘ ｐｏｏｌｉｎｇを行うことで、出力画像データＩG2（ｘ，ｙ，ｐ）の縮小を行う。具体的には、Ｐｏｏｌｉｎｇ Ｌａｙｅｒ ８０３の出力画像データＩG3（ｕ，ｖ，ｐ）は、以下の式（３）で計算される。

【0044】

ＩG3（ｕ，ｖ，ｐ）＝ｍａｘ（ＩG2（２ｕ，２ｖ，ｐ），ＩG2（２ｕ，２ｖ＋１，ｐ），ＩG2（２ｕ＋１，２ｖ，ｐ），ＩG2（２ｕ＋１，２ｖ＋１，ｐ）） …式（３）
尚、ｕ及びｖの範囲は、０≦ｕ≦１２７，０≦ｖ≦１２７である。以上の演算により、Ｐｏｏｌｉｎｇ Ｌａｙｅｒ８０３の出力画像データＩG3（ｕ，ｖ，ｐ）は、１２８×１２８×２の画像データとなる。

【0045】

次に、Ｆｕｌｌ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ８０４が、Ｐｏｏｌｉｎｇ Ｌａｙｅｒ８０３の出力画像データＩG3（ｕ，ｖ，ｐ）から１×８の行列Ａを算出する。Ｆｕｌｌ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ８０４が出力する行列Ａは、以下の式（４）で計算される。

【0046】

Ａ＝ΣΣΣＷuvp^(G4)ＩG3（ｕ，ｖ，ｐ） …式（４）
また上記式（４）において、最初のΣは、ｕ＝１からｕ＝１２７までの総和を、二番目のΣはｖ＝１からｖ＝１２７までの総和を、三番目のΣは、ｐ＝１からｐ＝２までの総和を示す。

【0047】

尚、ここで、Ｗuvp^(G4)は、当該ニューラルネットワークが保持している重みである。

【0048】

最後に、Ａｃｔｉｖａｔｉｏｎ Ｌａｙｅｒ８０５が、ａ値に非線形処理を施して判定結果を出力する。ここでは、ソフトマックス関数
Ｓ(Ai)＝ｅ^Ai／Σｅ^Ai …式（５）
を適用することで、行列Ａの各要素を値域［０，１］にし、各要素の合計が「１」になるような１×８行列Ｓ（８０６）を得ることが可能となる。

【0049】

また上記式（５）において、Σは、ｎ＝１からｎ＝８までの総和を示し、ｉは１～８の値をとり得る。

【0050】

次に、推定値行列８０６を用いて、画像の分類結果を得る手法について、図７（Ｂ）を参照して説明する。

【0051】

例えば、文書画像７０３のように、文書のみで構成されたスキャン画像データが図８の学習済モデルの入力画像として入力された結果、推定行列８０６の各要素の値が、７０４で示すような値として得られたとする。この場合、最も大きな値は１番目の配列７０５である。次に、配列と画像種類の対応テーブル７０６において、最も大きな値を持つ１番目の配列に対応する種類は「文書画像」７０７である。こうして、このスキャン画像データの分類結果は「文書画像」となる。

【0052】

以上で、図７（Ａ）の学習済みモデルによる画像分類部７０２の説明を終える。

【0053】

次に実施形態１に係る学習データ及び正解データについて図９を参照して説明する。実施形態１における学習データは、記録媒体（用紙等）に印刷された画像データから作成される。

【0054】

図９は、実施形態１における学習画像及び正解データを説明する図である。

【0055】

９０１は、予め目視にて任意の画像群を「文書画像」「写真」「再生紙原稿」「免許証」「図面」「プレゼン資料」「答案用紙」「レシート」の８種類に分類した結果、文書画像であると判断した画像群を示す。また、９０３，９０５，９０７，９０９，９１１，９１３，９１５も同様に分類した画像群を示す。そして、行列９０２，９０４，９０６，９０８，９１０，９１２．９１４．９１６はそれぞれ１×８の行列で構成されている。行列９０２では、１番目の配列の値が「１」で、その他の配列の値が「０」となっている。以下同様に、行列９０４は２番目、行列９０６は３番目、行列９０８は４番目、行列９１０は５番目、行列９１２は６番目、行列９１４は７番目、行列９１６は８番目の配列の値が「１」で、その他の配列の値は全て「０」となっている。

【0056】

ここで文書画像群９０１を学習データ、行列９０２を正解データとして、図８で示されるニューラルネットワークで学習させる。同様に、画像９０３と行列９０４、画像９０５と行列９０６、画像９０７と行列９０８、画像９０９と行列９１０、画像９１１と行列９１２、画像９１３と行列９１４、画像９１５と行列９１６についても学習させる。

【0057】

そして図６に戻りＳ６０６でＣＰＵ２０５は、分類されたスキャン画像データの種類と後述する推奨設定の対応表に基づき、ユーザが入力した設定項目が適切かどうか判定する。この判定方法は図１０を参照して説明する。

【0058】

図１０は、実施形態１に係るＭＦＰ１０１における、スキャン画像データの種類と、それに応じたスキャン設定項目を説明する図である。

【0059】

図１０（Ａ）は、学習済みモデルの分類結果と、それに対応する推奨設定を表した対応表１００１を示す。ここでは例えば、スキャン画像データが学習済みモデルによって「文書画像」に分類された場合、対応表１００１の「推奨設定」に記載されている設定項目は、「濃度調整＋１」、「文字モード」、「３００×３００ｄｐｉ」となっている。これらの設定項目は、図４のスキャン操作画面及び図５の応用機能画面を介して、ユーザの操作によって設定変更できる項目である。そしてＳ６０６でＣＰＵ２０５はこの推奨設定と、ユーザが操作部２０３を介して入力した設定項目とが一致しているかどうか判定する。ここで一致していると判定したときは、ユーザが入力した設定項目は適切であると判定してＳ６０７に進むが、そうでない場合はＳ６０８に進む。Ｓ６０７でＣＰＵ２０５は、操作部２０３にてユーザが入力した設定項目に基づいた画像処理をデータ処理部２１５で実行する。ここでの設定項目に基づいたスキャンデータの生成方法について、図１０（Ｂ）を参照して説明する。

【0060】

例えば、文書画像１００２像に対し、ユーザが図４の送信設定ボタン４０３で「３００×３００ｄｐｉ」を選択し、図５（Ｂ）で「文字」ボタン５０５を選択し、図５（Ｃ）の濃度調整スライダー５０８を右方向に１段階移動させたとする。その場合、例えば、まずスキャナ部２０１は、３００×３００ｄｐｉで紙文書をスキャンしてスキャン画像データを作成する。次に「文字」ボタン５０５が選択されているため、画像全体に鮮鋭性が向上するフィルタ処理が適用される。次に濃度調整スライダー５０８が右方向に１段階移動されているため、例えば、画像全体のＲＧＢ信号値を「１０」だけ低下させる。以上の処理によってスキャン画像データ１００３が生成される。

【0061】

一方、ユーザが入力した設定項目が適切でないときはＳ６０８に進む。Ｓ６０８でＣＰＵ２０５は、図１０（Ａ）に示す、学習済みモデルの分類結果と、それに対応する推奨設定を表した対応表１００１とに基づいた推奨設定で画像処理を実行するかどうかの提案を操作部２０３に提示する。

【0062】

図１１は、実施形態１に係るＭＦＰ１０１において、Ｓ６０８でユーザに提示する提案画面１１０１の一例を示す図である。

【0063】

１１０２は、推奨設定項目を示し、スキャン画像データを図８の学習済みモデルで分類した結果と、図１０（Ａ）の対応表１００１とに基づいて表示される。尚、提案画面１１０１はこれに限定されるものではなく、例えば、推奨設定で画像処理を実行したスキャン画像データの画像、或いは例えばサムネイル画像等を提案画面に表示してもよい。

【0064】

そしてＳ６０９に進みＣＰＵ２０５は、この提案画面１１０１で「推奨設定でファイル生成を行う」ボタン１１０３が押下されたかどうか判定する。ここで「推奨設定でファイル生成を行う」ボタン１１０３が押下されたと判定するとＳ６１０にみ、推奨設定項目に基づいた画像処理を実行する。例えば、スキャン画像を学習済みモデルで分類した結果が図１０（Ａ）の「文書画像」であった場合、それに対応する設定項目の組み合わせである「濃度調整＋１」、「文字」、「３００×３００ｄｐｉ」を適用したスキャンデータの生成が実行される。この処理の詳細に関してはＳ６０７で説明した処理と同様である。

【0065】

一方Ｓ６０９でＣＰＵ２０５は、「入力した設定でファイル生成を行う」ボタン１１０４が押下されたと判定した場合はＳ６１１に進む。Ｓ６１１でＣＰＵ２０５は、ユーザが入力した設定項目とスキャン画像データを学習済みモデルで分類した際の分類グループに基づいて、図１０（Ａ）の対応表１００１を更新する。

【0066】

具体例を図１０（Ｃ）を参照して説明する。例えば、スキャン画像データを学習済みモデルで分類した結果が図１０（Ａ）の「文書画像」であった場合、それに対応する推奨設定を１００４で示す。そして、この「文書画像」に対応する推奨設定１００４を、ユーザが入力した設定項目１００５に基づいて、推奨項目１００６のように更新する。こうして更新された対応表１００１は、ユーザごとに対応表管理部２２３で管理してもよい。尚、更新に関する処理はこの例に限らない。例えば、「入力した設定でファイル生成を行う」ボタン１１０４が押下された回数をユーザごとに管理し、対応表管理部２２３に保存しておき、その回数が予め定めた所定回数に達したときに初めて更新するようにしても良い。尚、対応表１００１は、認証情報管理部２２２からの情報に応じて、ユーザごとに切り替えてもよい。

【0067】

そしてＳ６１２に進みＣＰＵ２０５は、Ｓ６０７と同様、操作部２０３を介してユーザが入力した設定項目に基づいたスキャンデータの生成をデータ処理部２１５で実行する。ここでの設定項目に基づいたスキャンデータの生成の処理の詳細に関してはＳ６０７で説明した処理と同様である。

【0068】

以上説明したように実施形態１によれば、ユーザが、入力した画像データに対する画像処理の設定を変更するための負荷を低減できる。また、ユーザが画像処理の知識が乏しい場合であっても、ユーザが望む印刷物を提供できるようになる。

【0069】

［実施形態２］
次に実施形態２として、コピー動作時のプリント画像データを生成する構成について説明する。尚、実施形態２に係るＭＦＰ１０１のハードウェア構成等は前述の実施形態１と同様であるため、その説明を省略する。

【0070】

図１２は、実施形態２に係るＭＦＰ１０１で表示される、コピー動作時の操作画面例を示す図である。

【0071】

図１２（Ａ）は、図３のホーム画面で「コピー」ボタン３０２が押下されたときに操作部２０３に表示されるコピー操作画面の一例を示す。この図では、「カラー選択」ボタン１２０２は、プリント画像データをＲＧＢ画像又はグレースケール画像で生成するか選択する。「倍率」ボタン１２０３は、プリント画像データの拡大倍率、縮小倍率を変更する。「濃度調整」ボタン１２０４は、実施形態１の図５の「濃度調整」ボタン５０３と同等の機能を持ち、ユーザが押下すると、図１２（Ｄ）の「濃度調整」設定変更画面が表示される。図１２（Ｄ）の濃度調整スライダー１２１８は、図５（Ｃ）の濃度調整スライダー５０８と同様の機能を有する。また背景調整スライダー１２１９は、図５（Ｃ）の背景調整スライダー５０９と同様の処理を行う。また図１２（Ｃ）～（Ｅ）の「キャンセル」ボタン１２１６、「ＯＫ」ボタン１２１７は、図５（Ｂ）の「原稿の種類」設定変更画面に表示されているＯＫボタン５０７、キャンセルボタン５０６と同様の機能を持つ。

【0072】

「原稿の種類」ボタン１２０５は、実施形態１の図５（Ａ）の「原稿の種類」ボタン５０２と同等の機能を持つ。「原稿の種類」ボタン１２０５が押下されると図５（Ｅ）の「原稿の種類」設定変更画面が表示され、この画面には「文字」「写真」「文字／写真」ボタンが表示されている。またそれぞれのボタンが選択されたときにスキャン画像データに適用される画像処理は、図５で説明したのと同様である。また「応用機能」１２０６ボタンが押下されると、図１２（Ｂ）の応用機能画面１２０８が操作部２０３に表示される。この応用機能画面１２０８については後述する。また部数表示部１２０７は、図３の操作部２０３に配置されているテンキー３０６を用いてユーザが印刷物の印刷部数を入力した際、その部数が表示される。

【0073】

図１２（Ｂ）の応用機能画面１２０８には、「カラー調整」ボタン１２０９、「シャープネスボタン」１２１０が表示されている。ユーザが「カラー調整」ボタン１２０９を押下すると、操作部２０３に図１２（Ｃ）の「カラー調整」設定変更画面１２１１が表示される。「カラー調整」設定変更画面１２１１には、イエロー調整スライダー１２１２、マゼンタ調整スライダー１２１３、シアン調整スライダー１２１４、ブラック調整スライダー１２１５が表示されている。例えば、イエロー調整スライダー１２１２を左方向に移動させると画像処理後のイエロー成分が減少し、右方向に移動させると画像処理後のイエロー成分が増大する。マゼンタ調整スライダー１２１３、シアン調整スライダー１２１４、ブラック調整スライダー１２１５も同様の機能を持つ。

【0074】

図１３は、実施形態２に係るＭＦＰ１０１において、紙文書をスキャンしてプリント画像データを取得するまでの処理を説明するフローチャートである。尚、このフローチャートで示す処理は、ＣＰＵ２０５が記憶部２１１に記憶されている制御プログラムをＲＡＭ２０６に展開して実行することにより実現される。この処理は図３の画面で「コピー」ボタン３０２が押下されることにより開始される。尚、図１３において、前述の図６と共通の処理は同じ参照番号を付して、その説明を省略する。

【0075】

Ｓ１３０１でＣＰＵ２０５は、ユーザによって操作部２０３に表示された図１２のコピー操作画面から設定変更の入力が行われ、操作部２０３に配置されているスタートキー３０７が押下されるとＣＰＵ２０５はコピーのジョブを開始する。次にＳ１３０２に進みＣＰＵ２０５は、スキャナ部２０１を制御して紙文書をスキャンさせ、デバイスＩ／Ｆ２１４及び画像バス２１７を通してスキャン画像データをデータ処理部２１５に渡す。そしてＳ６０５でデータ処理部２１５は、そのスキャン画像データに対し、学習済みモデルを用いて分類を行う。この分類方法については実施形態１と同様の処理である。

【0076】

そしてＳ１３０３に進みＣＰＵ２０５は、分類されたスキャン画像データの種類と、後述する推奨設定の対応表１４０１（図１４）に基づき、ユーザが入力した設定項目が適切かどうかを判定する。この判定方法については図１４を参照して説明する。

【0077】

図１４は、実施形態２に係るＭＦＰ１０１における、スキャン画像データの種類と、それに応じたコピー設定の変更項目を説明する図である。

【0078】

図１４（Ａ）は、学習済みモデルの分類結果と、それに対応する推奨設定を表した対応表１４０１を示す。例えば、スキャン画像データが学習済みモデルによって「文書画像」に分類された場合、対応表１４０１の「推奨設定」に記載されている設定項目は「濃度調整＋１」、「文字」である。これらの設定項目は、図１２のコピー操作画面でユーザの操作によって設定変更可能な項目である。ＣＰＵ２０５はＳ１３０３で、この推奨設定と、ユーザが操作部２０３を介して入力した設定項目とが一致しているかどうか判定する。ここで一致していると判定した場合は、ユーザが入力した設定項目が適切であると判定しＳ１３０４に進み、ＣＰＵ２０５は、操作部２０３にてユーザが入力した設定項目に基づいた画像処理をデータ処理部２１５で実行する。

【0079】

ここでの設定項目に基づいたプリント画像データの生成方法について、図１４（Ｂ）を参照して説明する。

【0080】

例えば、文書画像１４０２に対し、ユーザが図１２（Ｅ）の「文字」ボタン１２２０を選択し、図１２（Ｄ）の濃度調整スライダー１２１８を右方向に１段階移動させたとする。その場合、例えば、まず「文字」ボタンが選択されているため、画像全体に鮮鋭性を向上させるフィルタ処理が適用される。次に濃度調整スライダー１２１８が右方向に１段階移動されているため、例えば、画像全体のＲＧＢ信号値を「１０」低下させる。以上の処理によってプリント画像データ１４０３が生成される。

【0081】

一方、Ｓ１３０３で、推奨設定と、ユーザが入力した設定項目とが一致していないと判定するとＳ１３０５に進む。Ｓ１３０５でＣＰＵ２０５は、図１４（Ａ）の学習済みモデルの分類結果と、それに対応する推奨設定を表した対応表１４０１に基づいた推奨設定で画像処理を実行するかどうかの提案を操作部２０３に表示する。

【0082】

図１５は、実施形態２に係るＭＦＰ１０１において、ユーザに提示する提案画面１５０１の一例を示す図である。

【0083】

推奨設定項目１５０２は、スキャン画像データを図８の学習済みモデルで分類した結果と、図１４（Ａ）の対応表１４０１に基づいて表示される。尚、提案画面はこれに限定されるものではなく、例えば、推奨設定で画像処理を実行したプリント画像データの画像、或いはサムネイル画像を提案画面に表示してもよい。

【0084】

次にＳ１３０６に進みＣＰＵ２０５は、提案画面１５０１で「推奨設定でコピーを行う」ボタン１５０３が押下されたかどうか判定する。ここで「推奨設定でコピーを行う」ボタン１５０３が押下されたときはＳ１３０７に進む。Ｓ１３０７でＣＰＵ２０５は、推奨設定項目に基づいた画像処理を実行する。例えば、スキャン画像を学習済みモデルで分類した結果が図１４（Ａ）の「文書画像」であった場合、それに対応する設定項目の組み合わせである「濃度調整＋１」、「文字」を適用したスキャン画像データを生成する。処理の詳細に関してはＳ１３０４で説明した処理と同様である。

【0085】

一方、提案画面１５０１で「入力した設定でコピーを行う」ボタン１５０４が押下されたときはＳ１３０８に進む。Ｓ１３０８でＣＰＵ２０５は、ユーザが入力した設定項目と、スキャン画像データを学習済みモデルで分類した際の分類グループに基づいて、図１４（Ａ）の対応表１４０１を更新する。この更新処理は、前述の実施形態１のＳ６１１と同様の処理であるため、その説明を省略する。

【0086】

次にＳ１３０９に進みＣＰＵ２０５は、Ｓ１３０４と同様に、操作部２０３を介してユーザが入力した設定項目に基づいたプリント画像データの生成をデータ処理部２１５に実行させる。ここでの設定項目に基づいたプリント画像データの生成の処理の詳細に関してはＳ１３０４で説明した処理と同様であるため、その説明を省略する。

【0087】

以上説明したように実施形態２によれば、ユーザが、入力した画像データに対する画像処理の設定を変更するための負荷を低減できる。また、ユーザに画像処理の知識が乏しい場合にもユーザの望む印刷物を提供できる。

【0088】

［実施形態３］
上述の実施形態１及び実施形態２では、単一の紙文書をスキャンした場合についての形態について説明したが、この実施形態３では、複数枚の紙文書をスキャンした場合の形態について説明する。尚、実施形態３では、スキャン画像データを生成する処理について説明するが、コピー動作時のプリント画像データを生成する場合にも同様の構成で実施可能である。尚、実施形態３に係るＭＦＰ１０１のハードウェア構成等は前述の実施形態１と同様であるため、その説明を省略する。

【0089】

図１６は、実施形態３に係るＭＦＰ１０１において、複数枚の紙文書をスキャンしてスキャン画像データを取得するまでの処理を説明するフローチャートである。尚、このフローチャートで示す処理は、ＣＰＵ２０５が記憶部２１１に記憶されている制御プログラムをＲＡＭ２０６に展開して実行することにより実現される。この処理は図３の画面で「スキャン」ボタン３０３が押下されることにより開始される。尚、図１６において、前述の図６と共通の処理は同じ参照番号を付して、その説明を省略する。

【0090】

Ｓ１６０１でＣＰＵ２０５は、スキャンのジョブが開始されるとスキャナ部２０１により複数枚の紙文書をスキャンして読み取らせ、デバイスＩ／Ｆ２１４及び画像バス２１７を通してスキャン画像データ群がデータ処理部２１５に渡される。次にＳ１６０２に進みＣＰＵ２０５は、データ処理部２１５により複数のスキャン画像データに対し、１枚ごとに学習済みモデルを用いて分類を行う。この分類方法は実施形態１のＳ６０５と同様の処理を行う。これにより、１枚分のスキャン画像データごとに分類結果が決定される。

【0091】

次にＳ１６０３に進みＣＰＵ２０５は、こうして分類されたスキャン画像データの種類と、図６のＳ６０６で説明した推奨設定の対応表１００１とに基づき、ユーザが入力した設定項目が適切かどうかの判定を各スキャン画像データに対して行う。ここで、全てのスキャン画像データにおいて、推奨設定とユーザが入力した設定項目とが一致していた場合はＳ１６０４に進み、そうでない場合はＳ１６０５に進む。例えば、複数枚の紙文書をスキャナ部２０１でスキャンしたスキャン画像データ群の全ての分類結果が「文書画像」であるとする。そこで、ユーザが入力した設定項目と、実施形態１のＳ６０６で説明した推奨設定の対応表１００１の「文書画像」の推奨設定が一致した場合、Ｓ１６０３の判定はＹｅｓとなってＳ１６０４に進む。Ｓ１６０４でＣＰＵ２０５は、データ処理部２１５により、各スキャン画像データに対し、ユーザが入力した設定項目に基づいたスキャン画像データの生成を実行させる。ここでの設定項目に基づいたスキャンデータの生成は、実施形態１のＳ６０７と同様である。

【0092】

一方、Ｓ１６０３でＣＰＵ２０５は、ユーザが入力した設定が適切でないと判定した場合はＳ１６０５に進む。Ｓ１６０５でＣＰＵ２０５は、図１０（Ａ）の学習済みモデルの分類結果と、それに対応する推奨設定を表した対応表１００１に基づいた推奨設定で画像処理を実行するかどうかの提案を操作部２０３に表示する。操作部２０３に表示する提案画面の一例を図１７に示す。

【0093】

図１７は、実施形態３に係るＭＦＰ１０１において、ユーザに提示する提案画面の一例を示す図である。

【0094】

例えば、１０枚の紙文書をスキャンして、Ｓ１６０２で１枚目から５枚目が文書画像、６枚目から１０枚目が写真であると分類されたとする。そしてユーザが入力した設定変更が「文字／写真」であった場合、Ｓ１６０５でＣＰＵ２０５は、操作部２０３に図１７（Ａ）の提案画面１７０１を表示する。ここで、１７０２はページ表示部であり、図８の学習済みモデルで分類した結果、同じ種類であると判断されたスキャン画像群が何枚目にあるかに応じて表示される。また推奨設定項目１７０３は、スキャン画像データを図８の学習済みモデルで分類した結果と、図１０（Ａ）の対応表１００１に基づいて表示される。

【0095】

次にＳ１６０６に進みＣＰＵ２０５は、図１７（Ａ）の画面で、ユーザによって「推奨設定でファイル生成を行う」ボタン１７０４が押下されたと判定するとＳ１６０７に進む。Ｓ１６０７でＣＰＵ２０５は、例えば、スキャン画像データ群の１枚目から５枚目のスキャン画像について、推奨設定項目に基づいて画像処理を実行してＳ１６１０に進む。この処理の詳細に関してはＳ６１０で説明した処理と同様である。

【0096】

一方、Ｓ１６０６でユーザが、「入力した設定でファイル生成を行う」ボタン１７０５が押下されたと判定したときはＳ１６０８に進む。Ｓ１６０８でＣＰＵ２０５は、ユーザが入力した設定項目と、スキャン画像データ群を学習済みモデルで分類した際の分類グループに基づいて、図１０（Ａ）の対応表１００１を更新する。例えば、図１７（Ａ）の提案画面１７０１にて、「入力した設定でファイル生成を行う」ボタン１７０５が押下された場合、対応表１００１の「文書画像」に対応する推奨設定項目を更新する。この更新の処理は、前述の実施形態１のＳ６１１と同様の処理を行う。

【0097】

次にＳ１６０９に進みＣＰＵ２０５は、Ｓ１６０４と同様に、操作部２０３を介してユーザが入力した設定項目に基づいたスキャン画像データの生成をデータ処理部２１５で実行させてＳ１６１０に進む。ここでは、スキャン画像データ群の１枚目から５枚目のスキャン画像データについて、ユーザが入力した設定項目に基づいてスキャン画像データの生成を実行する。この処理の詳細は、Ｓ１６０４で説明した処理と同様である。

【0098】

Ｓ１６１０でＣＰＵ２０５は、適切でないと判定された各スキャン画像データが分類された全ての種類に対して提案を行ったかどうかの判定を行う。ここでは、スキャン画像データ群の６枚目から１０枚目のスキャン画像データが分類されている「写真」に対して提案を行っていないためＳ１６０５に戻り、「写真」に対する推奨設定項目の提案を行う。このときの提案画面の一例を図１７（Ｂ）に示す。

【0099】

尚、これ以降の処理は、前述したＳ１６０６～Ｓ１６１０と同様であり、こうしてＣＰＵ２０５は全ての種類に対して提案を行うと、この処理を終了する。

【0100】

以上説明したように実施形態３によれば、複数枚の紙文書をスキャンした場合にも、入力した画像データに対する画像処理の設定を変更するための負荷を低減できる。また、ユーザに画像処理の知識が乏しい場合にもユーザの望む印刷物を提供できる。

【0101】

［実施形態４］
実施形態４では、複数枚の紙文書をスキャンした場合についての別の形態について説明する。尚、実施形態４ではスキャン画像データを生成する処理について説明するが、コピー動作時のプリント画像データを生成する場合にも同様の構成で実施可能である。尚、実施形態４に係るＭＦＰ１０１のハードウェア構成等は前述の実施形態１と同様であるため、その説明を省略する。

【0102】

図１８は、実施形態４に係るＭＦＰ１０１において、複数枚の紙文書をスキャンしてスキャン画像データを取得する処理を説明するフローチャートである。尚、このフローチャートで示す処理は、ＣＰＵ２０５が記憶部２１１に記憶されている制御プログラムをＲＡＭ２０６に展開して実行することにより実現される。尚、図１において、前述の図６及び図１６と共通の処理は同じ参照番号を付して、その説明を省略する。

【0103】

Ｓ１６０３でＣＰＵ２０５は、ユーザが入力した設定が適切でないと判定した場合はＳ１８０１に進む。Ｓ１８０１でＣＰＵ２０５は、図１０（Ａ）の学習済みモデルの分類結果と、それに対応する推奨設定を表した対応表１００１に基づいた推奨設定で画像処理を実行するかどうかの提案を操作部２０３に表示する。

【0104】

図１９は、実施形態４に係るＭＦＰ１０１において、ユーザに提示する提案画面１９０１の一例を示す図である。

【0105】

例えば、１０枚の紙文書をスキャンして、Ｓ１６０２で１枚目から５枚目が文書画像、６枚目から１０枚目が写真であると分類され、ユーザが入力した設定変更が「文字／写真」であった場合、Ｓ１８０１で操作部２０３は図１９の提案画面１９０１を表示する。

【0106】

ここで、１９０２及び１９０３は、ページ表示部であり、図８の学習済みモデルで分類した結果、同じ種類であると判断されたスキャン画像群が何枚目にあるかを、その種類ごとに表示する。実施形態４では、１枚目から５枚目、６枚目から１０枚目が同じ種類であるため、それぞれ１９０２，１９０３のように表示される。また推奨設定項目１９０４，１９０５は、スキャン画像データを図８の学習済みモデルで分類した結果と、図１０の対応表１００１に基づいて表示される。実施形態４では、１枚目から５枚目が「文書画像」、６枚目から１０枚目が「写真」に分類されたため、それぞれ推奨設定項目１９０４、推奨設定項目１９０５のように表示される。

【0107】

次にＳ１８０２に進みＣＰＵ２０５は、ユーザによって「推奨設定でファイル生成を行う」ボタン１９０６が押下されたかどうか判定し、そうであればＳ１８０３に進む。Ｓ１８０３でＣＰＵ２０５は、全てのスキャン画像データについて、推奨設定項目に基づいて画像処理を実行する。この処理の詳細には、前述のＳ６１０で説明した処理と同様であるため、その説明を省略する。

【0108】

一方、Ｓ１８０２でＣＰＵ２０５は、「入力した設定でファイル生成を行う」ボタン１９０７が押下されたと判定したときはＳ１８０４に進む。Ｓ１８０４でＣＰＵ２０５は、ユーザが入力した設定項目とスキャン画像群を学習済みモデルで分類した際の分類グループに基づいて、図１０（Ａ）の対応表１００１を更新する。例えば、前述した提案画面１９０１にて、「入力した設定でファイル生成を行う」ボタン１９０７が押下された場合、対応表１００１の「文書画像」に対応する推奨設定項目と、対応表１００１の「写真」に対応する推奨設定項目を更新する。この更新の処理は、実施形態１のＳ６１１と同様の処理であるため、その説明を省略する。

【0109】

次にＳ１８０５に進みＣＰＵ２０５は、Ｓ１６０４と同様に、操作部２０３にてユーザが入力した設定項目に基づいたスキャン画像データの生成をデータ処理部２１５により実行させる。実施形態４では、スキャン画像データ群の全てのスキャン画像データについて、ユーザが入力した設定項目に基づいてスキャン画像データの生成を実行する。この処理の詳細には、Ｓ１６０４で説明した処理と同様であるため、その説明を省略する。

【0110】

以上説明したように実施形態４によれば、複数枚の紙文書をスキャンした場合にも、入力した画像データに対する画像処理の設定を変更するための負荷を低減できる。即ち、実施形態１で想定されているような１枚の紙文書をスキャンした際と同等の操作回数で実施可能となり、ユーザの設定変更負荷の低減が可能となる。また、ユーザに画像処理の知識が乏しい場合にもユーザの望む印刷物を提供できる。

【0111】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0112】

本発明は上記実施形態に制限されるものではなく、本発明の精神及び範囲から逸脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

【符号の説明】

【0113】

１０１…ＭＦＰ，２０１…スキャナ部、２０２…プリンタ部、２０５…ＣＰＵ、２０６…ＲＡＭ、２１５…データ処理部、２２３…対応管理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】