(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-08
(45)【発行日】2022-11-16
(54)【発明の名称】画像形成装置
(51)【国際特許分類】
G03G 15/00 20060101AFI20221109BHJP
B41J 29/38 20060101ALI20221109BHJP
B41J 2/52 20060101ALI20221109BHJP
G03G 21/00 20060101ALI20221109BHJP
H04N 1/00 20060101ALI20221109BHJP
H04N 1/60 20060101ALI20221109BHJP
【FI】
G03G15/00 303
B41J29/38
B41J2/52
G03G21/00 396
H04N1/00 002A
H04N1/60
(21)【出願番号】P 2018245452
(22)【出願日】2018-12-27
【審査請求日】2021-11-30
(73)【特許権者】
【識別番号】000006150
【氏名又は名称】京セラドキュメントソリューションズ株式会社
(74)【代理人】
【識別番号】110001933
【氏名又は名称】弁理士法人 佐野特許事務所
(72)【発明者】
【氏名】山田 眞一郎
【審査官】市川 勝
(56)【参考文献】
【文献】特開平07-064383(JP,A)
【文献】特開平09-018716(JP,A)
【文献】特開平07-245702(JP,A)
【文献】特開平09-034188(JP,A)
【文献】特開平05-197270(JP,A)
【文献】特開平07-295312(JP,A)
【文献】特開平08-248749(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G03G 15/00
B41J 29/38
B41J 2/52
G03G 21/00
H04N 1/00
H04N 1/60
(57)【特許請求の範囲】
【請求項1】
画像データに基づく画像を用紙に印刷する印刷部と、
前記印刷部を制御するとともに、前記画像データの画素値を補正する濃度補正処理を行う制御部と、
環境情報に基づき濃度変化を予測するニューラルネットワークを構築するためのニューラルネットワークデータを記憶する記憶部と、を備え、
前記制御部は、前記画像データに基づく画像を複数枚の用紙に連続して印刷する連続印刷ジョブの実行中、前記環境情報に基づき入力データを生成し、前記入力データを前記ニューラルネットワークに入力することにより、前記印刷部によって用紙に印刷される印刷画像の濃度と目標濃度とのズレに関する情報である補正情報を求め、前記補正情報に基づき前記濃度補正処理を行
い、
前記制御部は、前記連続印刷ジョブの実行中、1ページ分の印刷ごとに、階調パターン画像を形成するパターン形成処理を前記印刷部に行わせ、前記階調パターン画像の濃度を測定し、当該測定した測定濃度を示す測定濃度情報と前記環境情報とを含む学習情報を前記記憶部に記憶させ、
前記制御部は、
前記学習情報の前記環境情報に基づき学習用入力データを生成し、
前記学習情報の前記測定濃度情報で示される前記測定濃度と前記目標濃度とのズレを判定するとともに、当該判定した結果に基づき教師データを生成し、
前記学習用入力データおよび前記教師データを含むトレーニングデータセットを生成し、
前記トレーニングデータセットに基づき前記ニューラルネットワークの学習を行うことを特徴とする画像形成装置。
【請求項2】
前記制御部は、前記補正情報として、前記印刷画像の濃度が前記目標濃度よりも濃くなる確率、前記印刷画像の濃度が前記目標濃度よりも薄くなる確率、および、前記印刷画像の濃度が前記目標濃度と同じになる確率のうち、最も高い確率を求め、
前記印刷画像の濃度が前記目標濃度よりも濃くなる確率が最も高い場合には、前記制御部は、前記濃度補正処理として、前記印刷画像の濃度が前記濃度補正処理前よりも薄くなるよう前記画像データの画素値を補正する処理を行い、
前記印刷画像の濃度が前記目標濃度よりも薄くなる確率が最も高い場合には、前記制御部は、前記濃度補正処理として、前記印刷画像の濃度が前記濃度補正処理前よりも濃くなるよう前記画像データの画素値を補正する処理を行い、
前記印刷画像の濃度が前記目標濃度と同じになる確率が最も高い場合には、前記制御部は、前記画像データの画素値を補正しないことを特徴とする請求項1に記載の画像形成装置。
【請求項3】
前記制御部は、前記連続印刷ジョブの実行中、1ページ分の印刷ごとに、前記環境情報を検知する環境検知処理を行い、
前記制御部は、前記環境検知処理の実行回数が所定回数に達すると、前記所定回数分の前記環境検知処理で検知した前記環境情報に基づき前記入力データを生成して前記補正情報を求め、当該求めた前記補正情報に基づき、次ページの印刷で用いる前記画像データを対象に前記濃度補正処理を行い、
前記制御部は、前記環境検知処理の実行回数が前記所定回数に達した後は、前記環境検知処理を行うごとに、直近の前記所定回数分の前記環境検知処理で検知した前記環境情報に基づき前記入力データを生成して前記補正情報を求め、当該求めた前記補正情報に基づき、次ページの印刷で用いる前記画像データを対象に前記濃度補正処理を行うことを特徴とする請求項1または2に記載の画像形成装置。
【請求項4】
前記環境情報は、画像形成装置の機内温度を含み、
前記機内温度を検知するための温度センサーを備え、
前記制御部は、前記温度センサーの出力に基づき前記機内温度を検知する処理を前記環境検知処理として行うことを特徴とする請求項3に記載の画像形成装置。
【請求項5】
前記環境情報は、画像形成装置の機内湿度を含み、
前記機内湿度を検知するための湿度センサーを備え、
前記制御部は、前記湿度センサーの出力に基づき前記機内湿度を検知する処理を前記環境検知処理として行うことを特徴とする請求項3または4に記載の画像形成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、印刷ジョブを実行する画像形成装置に関する。
【背景技術】
【0002】
従来の画像形成装置は、印刷ジョブの実行に際し、印刷ジョブの設定をユーザーから受け付ける。そして、画像形成装置は、ユーザーにより設定された設定内容で印刷ジョブを実行する。印刷ジョブの設定を事前に行うことにより、ユーザー所望の設定内容で印刷ジョブを実行させることができる。しかし、ユーザーによっては、印刷ジョブの設定を行うのが煩わしい場合がある。
【0003】
そこで、従来、ユーザーの好みに適した設定を自動的に行う画像形成装置が提案されている(たとえば、特許文献1参照)。特許文献1の画像形成装置は、過去の印刷履歴に基づき、ユーザーの好みに適した設定を判断する。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
複数枚の用紙に連続して印刷する連続印刷ジョブでは、ジョブの開始から完了までにかかる時間(ジョブ時間)が長くなる。ジョブ時間が長いほど、画像形成装置の内部環境(たとえば、温度や湿度)の変化が大きくなる。連続印刷ジョブの実行中に内部環境が大きく変化すると、ジョブで用いる画像データが同じであっても、連続印刷ジョブの開始時点付近で印刷された画像濃度と印刷ジョブの完了時点付近で印刷された画像濃度との差が大きくなることがある。場合によっては、ユーザーが認識できるほどの濃度差が生じる。その結果、ユーザーの不満につながる。
【0006】
このような不都合を解消する方法として、連続印刷ジョブを中断してキャリブレーションを行い、キャリブレーションの終了後、連続印刷ジョブを再開することが考えられる。しかし、連続印刷ジョブを中断してキャリブレーションを行うと、生産性が低下する。また、キャリブレーションを行うタイミングによっては、キャリブレーションの前後でユーザーが認識できるほどの濃度差が生じる恐れがある。
【0007】
本発明は、上記課題を解決するためになされたものであり、連続印刷ジョブの実行中に画像形成装置の内部環境が変化しても、印刷画像の濃度が変化するのを抑制することが可能な画像形成装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するため、本発明の画像形成装置は、画像データに基づく画像を用紙に印刷する印刷部と、印刷部を制御するとともに、画像データの画素値を補正する濃度補正処理を行う制御部と、環境情報に基づき濃度変化を予測するニューラルネットワークを構築するためのニューラルネットワークデータを記憶する記憶部と、を備える。制御部は、画像データに基づく画像を複数枚の用紙に連続して印刷する連続印刷ジョブの実行中、環境情報に基づき入力データを生成し、入力データをニューラルネットワークに入力することにより、印刷部によって用紙に印刷される印刷画像の濃度と目標濃度とのズレに関する情報である補正情報を求め、補正情報に基づき濃度補正処理を行う。
【発明の効果】
【0009】
本発明の構成では、連続印刷ジョブの実行中に画像形成装置の内部環境が変化しても、印刷画像の濃度が変化するのを抑制することができる。
【図面の簡単な説明】
【0010】
【
図1】本発明の一実施形態による画像形成装置の全体構成を示すブロック図
【
図2】本発明の一実施形態による画像形成装置の記憶部の記憶内容を示す図
【
図3】本発明の一実施形態による画像形成装置の印刷部の一部を示す図
【
図4】本発明の一実施形態による画像形成装置の制御部が用いるニューラルネットワークを示す図
【
図5】本発明の一実施形態による画像形成装置の記憶部に記憶されるジョブリスト(環境情報)を示す図
【
図6】本発明の一実施形態による画像形成装置の制御部が行う予測処理および濃度補正処理の流れを示すフローチャート
【
図7】本発明の一実施形態による画像形成装置の記憶部に記憶される目標濃度データについて説明するための図
【
図8】本発明の一実施形態による画像形成装置の印刷部が形成する階調パターン画像の形成位置を示す図
【
図9】本発明の一実施形態による画像形成装置の記憶部に記憶される濃度リスト(測定濃度情報)を示す図
【
図10】本発明の一実施形態による画像形成装置の記憶部に記憶される学習情報を示す図
【
図11】本発明の一実施形態による画像形成装置の制御部が行う処理(トレーニングデータセットを生成する処理)の流れを示すフローチャート
【
図12】本発明の一実施形態による画像形成装置の制御部が行う学習処理の流れを示すフローチャート
【発明を実施するための形態】
【0011】
<画像形成装置の構成>
図1に示すように、本実施形態の画像形成装置100は、制御部1を備える。制御部1は、制御回路11、画像処理回路12および演算処理装置13を含む。
【0012】
制御回路11は、画像形成装置100の全体制御(画像形成装置100の各部の制御)を行う。たとえば、制御回路11は、CPUである。画像処理回路12は、印刷ジョブで用いる画像データに対して画像処理を行う。
【0013】
演算処理装置13は、行列計算を高速で行うための回路を含む。演算処理装置13は、制御回路11よりも単精度浮動小数点演算を高速で行える。演算処理装置13として、GPU(Graphics Processing Unit)を用いることができる。
【0014】
演算処理装置13は、ニューラルネットワークNN(
図4参照)を用いて予測処理を行う。また、演算処理装置13は、ニューラルネットワークNNの学習のための学習処理を行う。ニューラルネットワークNNは、畳み込みニューラルネットワークである。ニューラルネットワークNNについては、後に詳細に説明する。
【0015】
また、画像形成装置100は、記憶部2を備える。記憶部2は、ROM、RAMおよびHDDを含む。記憶部2は、制御用のプログラムおよびデータを記憶する。記憶部2は、制御部1に接続される。制御部1は、記憶部2からの情報の読み出しおよび記憶部2への情報の書き込みを行う。
【0016】
ここで、記憶部2は、
図2に示すように、ニューラルネットワークNNを構築するためのニューラルネットワークデータNDを記憶する。また、記憶部2は、ニューラルネットワークNNに関する情報やデータを記憶する。
【0017】
図1に戻り、画像形成装置100は、画像読取部3を備える。画像読取部3は、原稿を読み取って読取データを生成する。画像読取部3は、図示しないが、光源およびイメージセンサーを含む。光源は、原稿に光を照射する。イメージセンサーは、原稿で反射された反射光を受光し光電変換する。画像読取部3は、制御部1に接続される。制御部1は、画像読取部3の読取動作を制御する。
【0018】
また、画像形成装置100は、印刷部4を備える。印刷部4は、印刷を行う。印刷部4は、制御部1に接続される。制御部1は、印刷部4の印刷動作を制御する。制御部1は、印刷ジョブで用いる画像データを生成し、当該生成した画像データに基づく画像の用紙への印刷を印刷部4に行わせる。印刷ジョブとしてのコピージョブでは、画像読取部3が生成した読取データに基づき印刷ジョブで用いる画像データが生成される。
【0019】
印刷部4は、印刷ジョブの実行時、用紙搬送路に沿って用紙を搬送するとともに、画像データに基づく画像を形成し、搬送中の用紙に画像を印刷する。印刷部4は、
図3に示すように、画像形成部41および定着部42を含む。
【0020】
画像形成部41は、ブラック(K)、イエロー(Y)、シアン(C)およびマゼンタ(M)の各色にそれぞれ対応する画像形成ユニット41K、41Y、41Cおよび41Mを含む。画像形成ユニット41K、41Y、41Cおよび41Mには、それぞれ、感光体ドラム411が設けられる。画像形成ユニット41K、41Y、41Cおよび41Mは、それぞれ、対応する色の画像を感光体ドラム411に形成する。
【0021】
また、画像形成部41は、中間転写ベルト412、1次転写ローラー413および2次転写ローラー414を含む。中間転写ベルト412は、駆動ローラー415および従動ローラー416によって張架される。駆動ローラー415が回転することにより、中間転写ベルト412が周回する。1次転写ローラー413は、感光体ドラム411との間で中間転写ベルト412を挟み込む。2次転写ローラー414は、中間転写ベルト412との間で転写ニップNPを形成する。搬送中の用紙は転写ニップNPに進入する。
【0022】
画像形成部41は、搬送中の用紙に画像を印刷するとき、感光体ドラム411に形成した画像を中間転写ベルト412に1次転写する。その後、画像形成部41は、中間転写ベルト412に転写された画像を用紙に2次転写する。画像が転写された用紙は定着部42向けて搬送される。
図3では、用紙の搬送経路を破線矢印で示す。
【0023】
定着部42は、定着ローラー対421を含む。定着ローラー対421は、加熱ローラーと加圧ローラーとによって構成される。加熱ローラーは、ヒーターを内蔵する。加圧ローラーは、加熱ローラーに圧接し、加熱ローラーとの間で定着ニップを形成する。定着部42は、定着ニップに進入した用紙を加熱および加圧することにより、用紙に画像を定着させる。
【0024】
図1に戻り、画像形成装置100は、通信部5を備える。通信部5は、画像形成装置100をLANなどの通信ネットワークCNに接続するためのインターフェースである。通信部5は、通信用回路、通信用メモリーおよび通信用コネクターを含む。
【0025】
通信部5は、制御部1に接続される。制御部1は、通信部5を用いて、通信ネットワークCNに接続されたユーザー端末200と通信する。ユーザー端末200は、画像形成装置100のユーザーにより使用される。ユーザー端末200は、たとえば、パーソナルコンピューターである。
【0026】
画像形成装置100がプリンターとして使用される場合、ユーザー端末200から画像形成装置100に対して、PDL(ページ記述言語)データなどのジョブデータが送信される。制御部1は、通信部5がジョブデータを受信すると、ユーザーから印刷ジョブの実行要求を受け付けたと判断する。すなわち、この場合には、通信部5が印刷ジョブの実行要求を受け付ける受付部となる。制御部1は、印刷ジョブの実行要求を受け付けたと判断すると、ジョブデータに基づき画像データを生成し、当該生成した画像データに基づく印刷を印刷部4に行わせる。
【0027】
また、画像形成装置100は、操作パネル6を備える。操作パネル6は、タッチスクリーンおよびハードウェアボタンを含む。タッチスクリーンは、ソフトウェアボタンやメッセージを配した画面を表示し、タッチ操作をユーザーから受け付ける。ハードウェアボタンは、操作パネル6に複数設けられる。ハードウェアボタンとしては、印刷ジョブの実行要求をユーザーから受け付けるためのスタートボタンなどがある。
【0028】
画像読取部3による原稿の読み取りを伴う印刷ジョブ(コピージョブ)では、操作パネル6が印刷ジョブの実行要求を受け付ける受付部となる。操作パネル6が印刷ジョブの実行要求を受け付けると(スタートボタンが操作されると)、制御部1は、画像読取部3に原稿の読み取りを行わせる。そして、制御部1は、画像読取部3による原稿の読み取りで得られた読取データに基づき画像データを生成し、当該生成した画像データに基づく印刷を印刷部4に行わせる。
【0029】
また、画像形成装置100は、画像形成装置100の内部の温度(以下、機内温度と称する)を検知するための温度センサー7を備える。さらに、画像形成装置100は、画像形成装置100の内部の湿度(以下、機内湿度と称する)を検知するための湿度センサー8を備える。温度センサー7と湿度センサー8とが一体化された温湿度センサーを画像形成装置100に設置してもよい。
【0030】
温度センサー7は、機内温度に応じた電圧を出力する。温度センサー7は、制御部1に接続される。制御部1は、温度センサー7の出力に基づき、機内温度を検知する。湿度センサー8は、機内湿度に応じた電圧を出力する。湿度センサー8は、制御部1に接続される。制御部1は、湿度センサー8の出力に基づき、機内湿度を検知する。
【0031】
また、画像形成装置100は、中間転写ベルト412に形成された画像(トナー像)の濃度を測定するための濃度センサー9を備える。濃度センサー9は、たとえば、反射型の光センサーであり、発光部および受光部を有する。発光部は、中間転写ベルト412に向けて光を発光する。受光部は、中間転写ベルト412に形成された画像で反射された光を受光する。濃度センサー9は、受光部の受光量(測定対象の画像の濃度)に応じた電圧を出力する。濃度センサー9は、制御部1に接続される。制御部1は、濃度センサー9の出力に基づき、中間転写ベルト412に形成された画像の濃度を測定する。
【0032】
<予測処理>
画像データに基づく画像を複数枚の用紙に連続して印刷する印刷ジョブ(以下、連続印刷ジョブと称する)では、連続印刷ジョブの開始から完了までの間に、機内温度や機内湿度が徐々に変化していく。機内温度については、定着部42が発熱することによって上昇していく。機内湿度については、用紙に含まれる水分が蒸発し水蒸気として滞留することによって上昇していく。
【0033】
連続印刷ジョブの実行中に機内温度や機内湿度が変化すると、連続印刷ジョブで用いる画像データが同じであっても、或るページの印刷画像の濃度と他のページの印刷画像の濃度との間に差が生じる。先頭ページの印刷画像と最終ページの印刷画像とを見比べると、ユーザーが認識できるほどの濃度差が生じる場合がある。その結果、ユーザーの不満につながる。
【0034】
このため、制御部1は、連続印刷ジョブの実行中、環境情報に基づき濃度変化を予測するニューラルネットワークNN(
図4参照)を用いて、連続印刷ジョブで用いる画像データ(CMYK形式に変換されたCMYデータ)のCMYの3色の画素値(濃度値、階調値)を補正する濃度補正処理を行う。なお、環境情報は、機内温度および機内湿度を含む。
【0035】
CMYデータが8ビット(0~255の256階調)である場合を例にとると、最も明るい画素の画素値(C,M、Y)は(0,0,0)となり、最も暗い画素の画素値(C,M,Y)は(255,255,255)となる。制御部1による濃度補正処理では、各画素のCMYの画素値が色ごとに補正される。
【0036】
ニューラルネットワークNNは、
図4に示すように、入力層N1、隠れ層N2および出力層N3を含む。隠れ層N2は複数ある。入力層N1、隠れ層N2および出力層N3は、それぞれ、複数のユニット(
図4では、丸印で示す)を含む。
図4において、ユニットとユニットとを繋ぐ破線は、前段のユニットから後段のユニットへの関数を示す。入力層N1の各ユニットには、入力データが入力される。入力データは制御部1が生成する。
【0037】
隠れ層N2は、畳み込み層を含む。隠れ層N2にプーリング層を含めてもよいし含めなくてもよい。制御部1は、フィルターによる畳み込み処理を行う。隠れ層N2の複数のユニットの各フィルターは互いに異なる。フィルターは所定サイズとされる。単一の隠れ層N2に十数~数十のフィルターを含めてもよい。制御部1は、畳み込み処理を行うことにより、特徴マップを生成する。
【0038】
制御部1は、入力データにフィルターを重ねる。入力データの各要素とフィルターの各要素との積の和が特徴マップの1つのセルの値となる。フィルターの位置を1つまたは複数ずらして、畳み込み処理が行われる。特徴マップの周りにゼロを付し、特徴マップのサイズを調整してもよい(ゼロパディング)。
【0039】
たとえば、ニューラルネットワークNNを構築するためのニューラルネットワークデータNDは、層数、各層(各ユニット)の入力サイズ、および、各層(各ユニット)の出力サイズを定義したデータを含む。また、ニューラルネットワークデータNDは、各ユニットの活性化関数、損失関数、重みの更新方法、および、学習係数などを定義したデータを含む。また、ニューラルネットワークデータNDは、各フィルターの重み(フィルター内の数値)を定義したデータを含む。各ユニットの演算結果に活性化関数を乗じた値がユニットの出力となる。活性化関数は適宜設定される。たとえば、ReLU関数、恒等写像、シグモイド関数およびtanh関数を活性化関数に用いることができる。また、出力層N3にはソフトマックス関数を用いることができる。
【0040】
以下に、制御部1により行われる予測処理(ニューラルネットワークNNを用いた濃度変化の予測)について具体的に説明する。
【0041】
制御部1は、連続印刷ジョブの実行中、1ページ分の印刷ごとに、環境情報を検知する環境検知処理を行う。制御部1は、温度センサー7の出力に基づき機内温度を検知する処理を環境検知処理として行う。さらに、制御部1は、湿度センサー8の出力に基づき機内湿度を検知する処理も環境検知処理として行う。すなわち、制御部1は、連続印刷ジョブの実行中、1ページ分の印刷ごとに、機内温度および機内湿度を検知する。
【0042】
制御部1は、連続印刷ジョブの実行中に検知した環境情報に対して、検知順にID(通し番号)を割り当てる。そして、制御部1は、
図5に示すようなジョブリスト20を生成し、記憶部2に記憶させる(
図2参照)。以下、環境情報に符号21を付して説明する。制御部1は、連続印刷ジョブの実行中、環境検知処理を行うごとに、新たに検知した環境情報21にIDを割り当て、ジョブリスト20に追加していく。
【0043】
制御部1は、連続印刷ジョブの開始からの環境検知処理の実行回数が所定回数(たとえば、数回~数十回)に達すると、ニューラルネットワークNNを用いた予測処理を行う。そして、制御部1は、予測処理の結果に基づき次ページの印刷で用いる画像データに対して濃度補正処理を行う。このときに制御部1が行う処理(予測処理および濃度補正処理)の流れについて、
図6に示すフローチャートに基づき説明する。
【0044】
図6に示すフローチャートは、連続印刷ジョブの開始からの環境検知処理の実行回数が所定回数に達したときにスタートする。
【0045】
ステップS1において、制御部1は、ニューラルネットワークNNに入力する入力データを生成する。そして、ステップS2において、制御部1は、ステップS1の処理で生成した入力データをニューラルネットワークNNに入力する。ニューラルネットワークNNに入力される入力データはマトリクス状のデータであり、マトリクスのサイズは予め定められている。
【0046】
ニューラルネットワークNNに入力する入力データを生成するとき、制御部1は、ジョブリスト20から、所定回数分の環境検知処理で検知した環境情報21を抽出する。そして、制御部1は、ジョブリスト20から抽出した環境情報21に基づき入力データを生成する。たとえば、所定回数が10回であれば、IDの通し番号が1番から10番までの環境情報21に基づき入力データが生成される。すなわち、ニューラルネットワークNNには、連続印刷ジョブの開始時点から現時点までの機内温度および機内湿度の各推移を示す温湿度推移データに基づき生成された入力データが入力される。
【0047】
ステップS3において、制御部1は、ニューラルネットワークNNを用いて、印刷部4によって用紙に印刷される印刷画像の濃度と目標濃度とのズレに関する情報である補正情報を求める。言い換えると、制御部1は、予測処理を行う。ここで、予測処理によって得られる補正情報について説明する。
【0048】
制御部1は、補正情報として、階調ごとおよび色ごとに、印刷画像の濃度が目標濃度よりも濃くなる確率、印刷画像の濃度が目標濃度よりも薄くなる確率、および、印刷画像の濃度が目標濃度と同じになる確率のうち、最も高くなる確率を求める。すなわち、ニューラルネットワークNNに入力データを入力することにより、階調ごとおよび色ごとに、最も高くなる確率を示すデータが補正情報として出力される。
【0049】
また、制御部1は、補正情報として、印刷画像の濃度と目標濃度とのズレ(以下、濃度差分と称する)を求める。すなわち、ニューラルネットワークNNに入力データを入力することにより、階調ごとおよび色ごとに、濃度差分を示すデータが補正情報として出力される。
【0050】
ここで、CMYの3色ごとに、画像データの画素値と目標濃度との対応関係を示す目標濃度データ10が予め準備される。目標濃度データ10は記憶部2に記憶される(
図2参照)。
【0051】
たとえば、ユーザーは所望濃度で印刷を行える画像形成装置から、CMYの3色分の階調パターン画像が印刷された用紙(ここでは、パターン印刷用紙と称する)を出力し、パターン印刷用紙を取得する。そして、ユーザーは画像形成装置100(画像読取部3)を用いて、パターン印刷用紙をスキャンする。
【0052】
制御部1は、画像読取部3によってパターン印刷用紙の読み取りが行われると、パターン印刷用紙の読み取りによって得られた読取データに基づき、3色分の階調パターン画像の濃度を測定する。そして、当該測定した結果に基づき、制御部1は、目標濃度データ10を生成する。或る色の目標濃度データ10の一例を
図7に示す。
【0053】
図7において、横軸は、画像データの画素値を示し、縦軸は、目標濃度を示す。CMYデータが8ビット(0~255の256階調)である場合のNは255となる。目標濃度は複数段階(0~100)の濃度レベルに分類される。
【0054】
たとえば、
図7に示す目標濃度データ10に対応する色の画素値3(ここでは、注目画素値と称する)の目標濃度はレベル5であるが、印刷画像の濃度がレベル7になると予測されたとする。この例では、注目画素値に対応する補正情報として、印刷画像の濃度が目標濃度よりも濃くなる確率が最も高いことを示す情報、および、濃度差分が「2」であることを示す情報がニューラルネットワークNNから出力される。
【0055】
なお、後に詳細に説明するが、ニューラルネットワークNNの学習は目標濃度データ10に基づき行われる。したがって、ニューラルネットワークNNを用いることにより、印刷画像の濃度と目標濃度とのズレを予測することができる。
【0056】
図6に戻り、ステップS3の処理後、ステップS4に移行する。ステップS4に移行すると、制御部1は、ステップS3の処理で求めた補正情報に基づき、次ページの印刷で用いる画像データ(次に中間転写ベルト412に形成する画像の基となる画像データ)の画素値を補正する。すなわち、制御部1は、濃度補正処理を行う。
【0057】
具体的には、制御部1は、印刷画像の濃度が目標濃度よりも濃くなると予測した色の画素値を認識するとともに、濃度差分を認識する。そして、制御部1は、印刷画像の濃度が目標濃度よりも濃くなると予測した色の画素値については、印刷画像の濃度が濃度補正処理前の濃度よりも濃度差分だけ薄くなるように補正する。すなわち、制御部1は、印刷画像の濃度が目標濃度よりも濃くなる確率が最も高い場合、濃度補正処理として、印刷画像の濃度が濃度補正処理前の濃度よりも濃度差分だけ薄くなるように画像データの画素値を補正する処理を行う。
【0058】
たとえば、或る色の或る画素値(ここでは、注目画素値と称する)の濃度変化を予測したところ、印刷画像の濃度が目標濃度よりも濃くなり、かつ、濃度差分が「2」であるという結果が得られたとする。この場合、注目画素値に対応する印刷画像の濃度レベルが2段階だけ薄くなるように注目画素値が補正される(注目画素値が小さくなる)。
【0059】
また、制御部1は、印刷画像の濃度が目標濃度よりも薄くなると予測した色の画素値を認識するとともに、濃度差分を認識する。そして、制御部1は、印刷画像の濃度が目標濃度よりも薄くなると予測した色の画素値については、印刷画像の濃度が濃度補正処理前の濃度よりも濃度差分だけ濃くなるように補正する。すなわち、制御部1は、印刷画像の濃度が目標濃度よりも薄くなる確率が最も高い場合、濃度補正処理として、印刷画像の濃度が濃度補正処理前の濃度よりも濃度差分だけ濃くなるように画像データの画素値を補正する処理を行う。
【0060】
また、制御部1は、印刷画像の濃度が目標濃度と同じになると予測した色の画素値を認識する。そして、制御部1は、印刷画像の濃度が目標濃度と同じになると予測した色の画素値については補正しない。
【0061】
制御部1は、
図6に示すフローチャートに沿った処理が終了すると、濃度補正処理後の画像データに基づく印刷を印刷部4に行わせる。印刷部4は、濃度補正処理後の画像データに基づく画像を中間転写ベルト412に形成する。これにより、濃度補正処理後の画像データに基づく画像が用紙に印刷される。
【0062】
以降も制御部1は、連続印刷ジョブが完了するまで、1ページ分の印刷ごとに、環境情報21を検知する環境検知処理を行う。制御部1は、環境検知処理を行うと、新たに検知した環境情報21にIDを割り当て、ジョブリスト20に追加していく。
【0063】
そして、制御部1は、環境検知処理を行うごとに、
図6に示すフローチャートに沿った処理を行う。すなわち、制御部1は、新たな入力データを生成してニューラルネットワークNNに入力することによって予測処理を行い、当該行った予測処理の結果に基づき次ページの印刷で用いる画像データを対象に濃度補正処理を行う、という一連の処理を繰り返す。その結果、1回目の濃度補正処理が行われた後は、1ページ分の画像の中間転写ベルト412への形成前に毎回、中間転写ベルト412に新たに形成する画像に対応する画像データの画素値の補正が行われる。
【0064】
制御部1は、新たな入力データを生成するとき、ジョブリスト20(
図5参照)から、直近の所定回数分の環境検知処理で検知した環境情報21を抽出する。そして、制御部1は、ジョブリスト20から今回抽出した環境情報21に基づき入力データを新たに生成する。
【0065】
たとえば、所定回数が10回であるとする。ここでは、便宜上、入力データを生成する処理をデータ生成処理と称する。所定回数が10回である場合、連続印刷ジョブの開始からの環境検知処理の実行回数が10回に達したとき、1回目のデータ生成処理が行われ、1回目のデータ生成処理で生成された入力データがニューラルネットワークNNに入力されることによって1回目の予測処理(1回目の濃度補正処理)が行われる。1回目のデータ生成処理では、ジョブリスト20から、IDの通し番号が1番から10番までの環境情報21が抽出され、当該抽出された10個の環境情報21に基づき入力データが生成される。
【0066】
その後、連続印刷ジョブの開始からの環境検知処理の実行回数が11回に達したとき、データ生成処理が再度行われ、新たな入力データが生成される。このとき、直近の10回分の環境検知処理で検知されたのはIDの通し番号が2番から11番までの環境情報21であるので、IDの通し番号が2番から11番までの環境情報21がジョブリスト20から抽出される。そして、当該抽出された10個の環境情報21に基づき入力データが生成される。続いて、連続印刷ジョブの開始からの環境検知処理の実行回数が12回に達したときに行われるデータ生成処理では、IDの通し番号が3番から12番までの環境情報21(直近の10回分の環境検知処理で検知された環境情報21)に基づき入力データが生成される。以降も同様に、環境検知処理が行われるごとに、直近の10回分の環境検知処理で検知された環境情報21に基づき入力データが生成される。
【0067】
これにより、ニューラルネットワークNNを用いた予測を行うときには、毎回、最新の温湿度推移データに基づき生成された入力データが入力されることになる。また、ニューラルネットワークNNに入力される入力データのサイズ(マトリクスのサイズ)は毎回同じになる。
【0068】
<学習処理>
ニューラルネットワークNNの学習を行うことにより、補正情報の正確性を高めることができる。このため、制御部1は、ニューラルネットワークNNの学習のための学習処理を行う。制御部1は、学習処理を行うことにより、ニューラルネットワークNNに含まれる各フィルターの重み(係数)を更新する。すなわち、制御部1による学習処理では、ニューラルネットワークデータNDが更新される。
【0069】
制御部1は、学習処理の実行に先立ち、トレーニングデータセットを生成する。制御部1は、トレーニングデータセットに基づき学習処理を行う。
【0070】
制御部1は、トレーニングデータセットを生成するため、連続印刷ジョブの実行中、1ページ分の印刷ごとに、階調パターン画像を形成するパターン形成処理を印刷部4に行わせる。階調パターン画像は、複数のパッチ画像を含む。たとえば、8ビット256階調(0~255)の階調パターン画像には、画素値1(下限値)~画素値255(上限値)にそれぞれ対応する複数のパッチ画像が階調パターン画像に含められる。
【0071】
印刷部4は、連続印刷ジョブの実行中、1ページ分の画像を中間転写ベルト412に形成するごとに、CMYの3色分の階調パターン画像を中間転写ベルト412に形成する。すなわち、印刷部4は、連続印刷ジョブの実行中、パターン形成処理を所定間隔で繰り返し行う。たとえば、
図8に示すように、印刷部4は、中間転写ベルト412のうち、用紙に印刷すべき画像の形成領域A1間の領域A2(紙間領域)に階調パターン画像を形成する。
【0072】
制御部1は、連続印刷ジョブの実行中、環境検知処理に加え、濃度センサー9の出力に基づき濃度測定処理を行う。濃度測定処理では、中間転写ベルト412に形成された階調パターン画像に含まれる複数のパッチ画像の各濃度(以下、パッチ濃度と称する)の測定が行われる。制御部1は、濃度測定処理で測定したパッチ濃度を複数段階(0~100)の濃度レベルに分類する。
【0073】
また、制御部1は、連続印刷ジョブの実行中に測定した階調パターン画像の測定濃度を示す測定濃度情報に対して、測定順にID(通し番号)を割り当てる。そして、制御部1は、
図9に示すような濃度リスト30を生成する。以下、測定濃度情報に符号31を付して説明する。制御部1は、連続印刷ジョブの実行中、濃度測定処理を行うごとに、新たに測定した測定濃度情報31にIDを割り当て、濃度リスト30に追加していく。
【0074】
制御部1は、ジョブリスト20(環境情報21)および濃度リスト30(測定濃度情報31)を含む学習情報40を記憶部2に記憶させる(
図2参照)。制御部1は、トレーニングデータセットを生成するとき、学習情報40を用いる。学習情報40の一例を
図10に示す。
図10に示す学習情報40は、
図5に示すジョブリスト20と
図9に示す濃度リスト30とを含む。
【0075】
なお、変形例として、連続印刷ジョブの実行中、階調パターン画像を用紙に印刷してもよい。この場合には、用紙に印刷された階調パターン画像を画像読取部3が読み取る。そして、制御部1は、画像読取部3による読み取りで得られた画像データに基づき、階調パターン画像の濃度を測定する。
【0076】
変形例において、階調パターン画像が印刷されたパターン印刷用紙を画像形成装置100(画像読取部3)でスキャンするには、ユーザー自身がパターン印刷用紙を画像読取部3の読取位置にセットする作業を行わなければならないので、ユーザーにとっては煩わしい。そこで、パターン印刷用紙が自動的に読取位置に搬送されるよう構成してもよい。
【0077】
制御部1は、連続印刷ジョブが完了して以降、予め定められた学習タイミングになったか否かを判断する。学習タイミングになったと判断したとき、制御部1は、トレーニングデータを生成する。たとえば、制御部1は、連続印刷ジョブが完了したとき、学習タイミングになったと判断する。あるいは、制御部1は、操作パネル6がユーザーから所定操作を受け付けたとき、学習タイミングになったと判断する。
【0078】
以下に、
図11に示すフローチャートを参照し、学習タイミングになって以降に制御部1が行う処理の流れについて説明する。
図11に示すフローチャートは、学習タイミングになったと制御部1が判断したときにスタートする。
【0079】
ステップS11において、制御部1は、学習用入力データを生成する。このとき、制御部1は、学習情報40のジョブリスト20から、所定回数分の環境検知処理で検知した環境情報21を抽出し、当該抽出した環境情報21に基づき学習用入力データを生成する。学習用入力データのサイズは、予測処理を行うときにニューラルネットワークNNに入力する入力データのサイズと同じである。
【0080】
たとえば、まず、制御部1は、学習情報40のジョブリスト20のうち、IDの通し番号が1番の環境情報21を対象に設定するとともに、対象の環境情報21から数えて前記所定回数に相当する個数分の環境情報21を抽出し、当該抽出した環境情報21に基づき学習用入力データを生成する。所定回数が10回であれば、IDの通し番号が1番から10番までの環境情報21に基づき学習用入力データが生成される。
【0081】
次に、制御部1は、学習情報40のジョブリスト20のうち、IDの通し番号が2番の環境情報21を対象に設定するとともに、対象の環境情報21から数えて前記所定回数に相当する個数分の環境情報21を抽出し、当該抽出した環境情報21に基づき学習用入力データを生成する。所定回数が10回であれば、IDの通し番号が2番から11番までの環境情報21に基づき学習用入力データが生成される。
【0082】
以降も同様に、制御部1は、対象を1つずつずらして学習用入力データを生成する。所定回数が10回であり、IDの最終の通し番号が20番であれば、合計10個の学習用入力データが生成される。10個目の学習用入力データは、IDの通し番号が10番から19番までの環境情報21に基づき生成される。IDの通し番号が11番から20番までの環境情報21に基づく学習用入力データは生成されない。
【0083】
ステップS11の処理後、ステップS12に移行する。ステップS12に移行すると、制御部1は、複数の学習用入力データにそれぞれ対応する複数の教師データを生成する。以下に、
図10に示した学習情報40のうち、IDの通し番号が1番から10番までの環境情報21に基づき生成された学習用入力データに着目して教師データの生成方法について説明する。
【0084】
制御部1は、階調ごとおよび色ごとに、教師データを生成する。或る色の或る画素値(ここでは、注目画素値と称する)の教師データを生成するとき、制御部1は、IDの通し番号が11番の測定濃度情報31のうち、注目画素値に対応する測定濃度の濃度レベルを認識する。
【0085】
また、制御部1は、目標濃度データ10に基づき、注目画素値に対応する目標濃度の濃度レベルを認識する。そして、制御部1は、それぞれが注目画素値に対応する測定濃度および目標濃度の各濃度レベルを比較する比較処理を行う。比較処理では、測定濃度と目標濃度とが同じであるか否かの判定が行われ、一方の濃度が他方の濃度よりも濃い場合(薄い場合)には濃度差分の判定が行われる。そして、制御部1は、比較処理の結果(判定結果)を教師データとして生成する。
【0086】
このように、IDの通し番号が或る番号までの環境情報21に基づく学習用入力データに対応する教師データは、当該番号の次の番号が割り当てられた測定濃度情報31に基づき生成される。これにより、IDの通し番号が11番から20番までの環境情報21に基づく学習用入力データに対応する教師データを生成することはできない。したがって、IDの通し番号が11番から20番までの環境情報21に基づく学習用入力データは生成されない。
【0087】
ステップS12の処理後、ステップS13に移行する。ステップS13に移行すると、制御部1は、トレーニングデータセットを生成する。或る学習用入力データと当該学習用入力データに対応する教師データとを1セットにしたものがトレーニングデータセットとなる。そして、ステップS14において、制御部1は、トレーニングデータセットを記憶部2に記憶させる(
図2参照)。以下、トレーニングデータセットに符号50を付して説明する。
【0088】
制御部1は、トレーニングデータセット50を記憶させた後、ニューラルネットワークNNの学習を行う(学習処理を行う)。以下に、
図12に示すフローチャートを参照し、制御部1が行う学習処理の流れについて説明する。
【0089】
ステップS21において、制御部1は、学習処理で未だ使用していないトレーニングデータセット50を読み出す。また、ステップS22において、制御部1は、未使用のトレーニングデータセット50のうち、学習用入力データをニューラルネットワークNNに入力する。そして、制御部1は、ニューラルネットワークNNに学習用入力データを入力することによって得られた補正情報を取得する。
【0090】
その後、ステップS24において、制御部1は、ステップS22の処理で用いた学習用入力データとステップS23の処理で取得した補正情報とに基づき、ニューラルネットワークNNの各フィルターの重みを更新する。言い換えると、制御部1は、ニューラルネットワークNNの各フィルターの係数を更新する。このとき、制御部1は、誤差逆伝搬法および確率的勾配降下法を用いる。
【0091】
誤差逆伝搬法では、出力層N3側から入力層N1側に向けて誤差を求めていく。言い換えると、逆向きに誤差を伝搬していく。このため、制御部1は、まず、補正情報と教師データとの誤差Eを求める。
【0092】
制御部1は、損失関数を用いて、誤差Eを求める。損失関数には二乗誤差を用いてもよい。1つのサンプルデータ(トレーニングデータセット50)の誤差Eは、以下の(式1)で求めることができる。
(式1) En=1/2(Yn-Tn)2
n:サンプル番号
Yn:出力データ(0~1)
Tn:教師データ(0または1)
【0093】
次に、制御部1は、重みwに対する誤差Eの勾配ΔE(誤差Eの重みwでの微分)を求める。勾配ΔEが正のとき、制御部1は、重みwを負の方向に更新する。勾配ΔEが負のとき、制御部1は、重みwを正の方向に更新する。制御部1は、繰り返し少しずつ重みwを更新する。重みwの更新式を(式2)に示す。
(式2) w ← w-εΔE
εは学習係数であり、1回の更新幅を抑えるための学習係数εを掛けている。学習係数εは、たとえば、0.1~0.001に設定される。
【0094】
誤差Eは、重み(関数)、活性化関数および損失関数に基づき求まる。したがって、勾配ΔEは、合成関数の微分により求められる。重みは行列で表現できるので、勾配ΔEも行列で求められる。制御部1は、出力層N3とその前段の隠れ層N2(n層目)の重みに対する勾配ΔEを求める。制御部1は、勾配ΔEと学習係数εを乗じた値をn層目の隠れ層N2の現在の重みに加えるまたは減じる。これにより、出力層N3の前段の隠れ層N2の重みの更新が完了する。
【0095】
次に、制御部1は、n-1番目の隠れ層N2とn番目の隠れ層N2との間の重みを更新する。制御部1は、n番目の隠れ層N2の正しい出力と、n番目の隠れ層N2の実際の出力との誤差Eを求める。このとき、n番目の隠れ層N2の重み更新の計算結果の一部を用いて、誤差Eを求めることができる。制御部1は、n-1番目の隠れ層N2の重みの勾配ΔEを求め、当該求めた勾配ΔEに基づき、n-1番目の隠れ層N2の重みを更新する。
【0096】
制御部1は、出力層N3に最も近い隠れ層N2から先頭(入力側)の隠れ層N2まで、勾配ΔEに基づく更新を繰り返す。すなわち、制御部1は、ニューラルネットワークデータNDのフィルターの係数の更新を繰り返す。これにより、ニューラルネットワークデータNDの更新が完了する。
【0097】
本実施形態の画像形成装置100は、上記のように、画像データに基づく画像を用紙に印刷する印刷部4と、印刷部4を制御するとともに、画像データの画素値を補正する濃度補正処理を行う制御部1と、環境情報21に基づき濃度変化を予測するニューラルネットワークNNを構築するためのニューラルネットワークデータNDを記憶する記憶部2と、を備える。制御部1は、画像データに基づく画像を複数枚の用紙に連続して印刷する連続印刷ジョブの実行中、環境情報21に基づき入力データを生成し、当該生成した入力データをニューラルネットワークNNに入力することにより、印刷部4によって用紙に印刷される印刷画像の濃度と目標濃度とのズレに関する情報である補正情報を求め、補正情報に基づき濃度補正処理を行う。
【0098】
本実施形態の構成では、連続印刷ジョブの実行中、環境情報21に基づき生成された入力データがニューラルネットワークNNに入力され、それによってニューラルネットワークNNから出力される補正情報に基づき濃度補正処理が行われる。ここで、連続印刷ジョブの実行中には画像形成装置100の内部環境(機内温度および機内湿度)が測定され、当該測定によって得られる機内温度および機内湿度の各推移(変化)を示す情報が環境情報21とされる。このため、ニューラルネットワークNNから出力される補正情報は連続印刷ジョブの実行中の機内温度および機内湿度の各推移に応じた情報となる。その結果、連続印刷ジョブの実行中に画像形成装置100の内部環境が変化しても、連続印刷ジョブの実行中の機内温度および機内湿度の各推移に応じた補正情報に基づき濃度補正処理が行われるので、印刷画像の濃度が変化するのを抑制することができる。
【0099】
なお、本実施形態の構成では、キャリブレーションを行うために連続印刷ジョブを中断する必要はない。濃度補正処理は連続印刷ジョブを中断せずに行われる。このため、生産性が低下するのを抑制することができる。また、連続印刷ジョブの実行中に濃度補正処理が自動的に行われるので、ユーザーの利便性が向上する(濃度補正処理の実行指示をユーザーが行わなくてもよい)。
【0100】
また、本実施形態では、上記のように、補正情報として、印刷画像の濃度が目標濃度よりも濃くなる確率、印刷画像の濃度が目標濃度よりも薄くなる確率、および、印刷画像の濃度が目標濃度と同じになる確率のうち、最も高くなる確率が求められる。さらに、補正情報として、印刷画像の濃度と目標濃度とのズレが求められる。これにより、容易に、画像データの画素値を薄くなる方向に補正すれば良いか濃くなる方向に補正すれば良いかを制御部1に認識させることができる。
【0101】
また、本実施形態では、上記のように、連続印刷ジョブが開始されてからの環境検知処理の実行回数が所定回数に達すると濃度補正処理が行われる。以降、環境検知処理が行われるごとに濃度補正処理が行われる。これにより、機内温度および機内湿度の各推移を細かく反映させることができる。
【0102】
また、本実施形態では、上記のように、制御部1は、連続印刷ジョブの実行中、1ページ分の印刷ごとに、階調パターン画像を形成する処理を印刷部4に行わせ、階調パターン画像の濃度を測定し、当該測定した測定濃度を示す測定濃度情報31と環境情報21とを含む学習情報40を記憶部2に記憶させる。それ以降、制御部1は、学習情報40の環境情報21に基づき学習用入力データを生成する。また、制御部1は、学習情報40の測定濃度情報31で示される測定濃度と目標濃度とのズレを判定するとともに、当該判定した結果に基づき教師データを生成する。さらに、制御部1は、学習用入力データおよび教師データを含むトレーニングデータセット50を生成する。そして、制御部1は、トレーニングデータセット50に基づきニューラルネットワークNNの学習を行う。このような学習を行うことにより、画像形成装置100の設置環境や経年劣化などを反映したニューラルネットワークNNを構築することができる。また、ニューラルネットワークNNの学習を行うことにより、補正情報の正確性を高めることができる。
【0103】
今回開示された実施形態は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記実施形態の説明ではなく特許請求の範囲によって示され、さらに、特許請求の範囲と均等の意味および範囲内+でのすべての変更が含まれる。
【符号の説明】
【0104】
1 制御部
2 記憶部
4 印刷部
7 温度センサー
8 湿度センサー
21 環境情報
31 測定濃度情報
40 学習情報
50 トレーニングデータセット
100 画像形成装置
NN ニューラルネットワーク
ND ニューラルネットワークデータ