IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 沖電気工業株式会社の特許一覧

特開2023-5298機械学習装置、データ処理システム、機械学習方法及びデータ処理方法
<>
  • 特開-機械学習装置、データ処理システム、機械学習方法及びデータ処理方法 図1
  • 特開-機械学習装置、データ処理システム、機械学習方法及びデータ処理方法 図2
  • 特開-機械学習装置、データ処理システム、機械学習方法及びデータ処理方法 図3
  • 特開-機械学習装置、データ処理システム、機械学習方法及びデータ処理方法 図4
  • 特開-機械学習装置、データ処理システム、機械学習方法及びデータ処理方法 図5
  • 特開-機械学習装置、データ処理システム、機械学習方法及びデータ処理方法 図6
  • 特開-機械学習装置、データ処理システム、機械学習方法及びデータ処理方法 図7
  • 特開-機械学習装置、データ処理システム、機械学習方法及びデータ処理方法 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023005298
(43)【公開日】2023-01-18
(54)【発明の名称】機械学習装置、データ処理システム、機械学習方法及びデータ処理方法
(51)【国際特許分類】
   G06N 3/08 20230101AFI20230111BHJP
   G03G 15/00 20060101ALI20230111BHJP
【FI】
G06N3/08
G03G15/00 303
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2021107098
(22)【出願日】2021-06-28
(71)【出願人】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100174104
【弁理士】
【氏名又は名称】奥田 康一
(72)【発明者】
【氏名】大塚 直希
【テーマコード(参考)】
2H270
【Fターム(参考)】
2H270LA07
2H270LA25
2H270LC03
2H270LC04
2H270LC05
2H270MA41
2H270MF09
2H270ZC03
2H270ZC04
(57)【要約】
【課題】印刷不良の少ない高品質の印刷結果を得ることができるようにする。
【解決手段】画像形成装置によって実際に印刷された実印刷物における特徴量情報と、前記実印刷物を印刷した際の制御情報である第1制御情報と、前記実印刷物に用いられた印刷媒体の媒体情報とのうち、前記特徴量情報と前記媒体情報を状態変数として取得する状態変数取得部と、前記特徴量情報を所定の閾値以内とする第2制御情報と前記実印刷物を印刷した際の前記第1制御情報との差分となる差分制御情報を教師データとして取得する教師データ取得部と、前記状態変数取得部で取得した前記状態変数と前記教師データ取得部で取得した前記教師データとに基づいて機械学習を行うことにより、学習済モデルを生成する学習済モデル生成部とを備える。
【選択図】図2

【特許請求の範囲】
【請求項1】
画像形成装置によって実際に印刷された実印刷物における特徴量情報と、前記実印刷物を印刷した際の制御情報である第1制御情報と、前記実印刷物に用いられた印刷媒体の媒体情報とのうち、前記特徴量情報と前記媒体情報を状態変数として取得する状態変数取得部と、
前記特徴量情報を所定の閾値以内とする第2制御情報と前記実印刷物を印刷した際の前記第1制御情報との差分となる差分制御情報を教師データとして取得する教師データ取得部と、
前記状態変数取得部で取得した前記状態変数と前記教師データ取得部で取得した前記教師データとに基づいて機械学習を行うことにより、学習済モデルを生成する学習済モデル生成部と
を備える機械学習装置。
【請求項2】
前記特徴量情報は、前記実印刷物における印刷不良の情報を含む
請求項1に記載の機械学習装置。
【請求項3】
前記媒体情報は、前記印刷媒体のコーティングの有無、素材、厚さ、重量及び密度のうちの少なくとも1つを含む
請求項1又は2に記載の機械学習装置。
【請求項4】
前記画像形成装置は、電子写真方式であり、
前記第1制御情報及び前記第2制御情報は、前記画像形成装置におけるトナー定着温度及び転写電圧のうちの少なくとも一方を含む
請求項1~3のいずれかに記載の機械学習装置。
【請求項5】
画像形成装置によって実際に印刷された実印刷物の特徴量情報と、前記実印刷物に用いられた印刷媒体の媒体情報とを取得する実印刷物情報取得部と、
前記実印刷物情報取得部により取得された前記特徴量情報及び前記媒体情報を、請求項1~4のいずれかに記載の機械学習装置によって生成された学習済モデルに入力し、当該学習済モデルが出力した前記差分制御情報に前記実印刷物を印刷した際の第1制御情報を加算して第3制御情報を生成するデータ処理部と、
前記第3制御情報を記憶する第3制御情報記憶部と
を備えるデータ処理システム。
【請求項6】
前記学習済モデルを第1学習済モデルとして当該第1学習済モデルと、当該第1学習済モデルとは異なる第2学習済モデルとを記憶する学習済モデル記憶部と、
前記学習済モデル記憶部に記憶されている前記第1学習済モデルと前記第2学習済モデルのうちの1つを選択する学習済モデル選択部とを備え、
前記第2学習済モデルは、
画像形成装置によって実際に印刷された実印刷物における特徴量情報と、前記実印刷物を印刷した際の第1制御情報と、前記実印刷物に用いられた印刷媒体の媒体情報とを状態変数とし、前記特徴量情報を所定の閾値以内とする第2制御情報を教師データとして、当該状態変数と当該教師データとに基づいて機械学習を行うことにより生成された学習済モデルであり、
前記データ処理部は、
前記学習済モデル選択部により前記第1学習済モデルが選択された場合、画像形成装置によって実際に印刷された実印刷物の特徴量情報と、前記実印刷物に用いられた印刷媒体の媒体情報とを前記第1学習済モデルに入力し、当該第1学習済モデルが出力した前記差分制御情報に前記実印刷物を印刷した際の第1制御情報を加算して前記第3制御情報を生成し、
前記学習済モデル選択部により前記第2学習済モデルが選択された場合、画像形成装置によって実際に印刷された実印刷物の特徴量情報と、前記実印刷物を印刷した際の第1制御情報と、前記実印刷物に用いられた印刷媒体の媒体情報とを前記第2学習済モデルに入力し、当該第2学習済モデルの出力を前記第3制御情報とする
請求項5に記載のデータ処理システム。
【請求項7】
前記学習済モデル選択部は、
画像形成装置における制御情報の初回調整時には、前記第2学習済モデルを選択し、当該画像形成装置における制御情報の再調整時には、前記第1学習済モデルを選択する
請求項6に記載のデータ処理システム。
【請求項8】
コンピュータを用いた機械学習方法であって、
画像形成装置によって実際に印刷された実印刷物における特徴量情報と、前記実印刷物を印刷した際の制御情報である第1制御情報と、前記実印刷物に用いられた印刷媒体の媒体情報とのうち、前記特徴量情報と前記媒体情報を状態変数として取得するステップと、
前記特徴量情報を所定の閾値以内とする第2制御情報と前記実印刷物を印刷した際の前記第1制御情報との差分となる差分制御情報を教師データとして取得するステップと、
取得した前記状態変数と前記教師データとに基づいて機械学習を行うことにより、学習済モデルを生成するステップと
を備える機械学習方法。
【請求項9】
コンピュータを用いて、画像形成装置によって実際に印刷された実印刷物の特徴量情報と、前記実印刷物に用いられた印刷媒体の媒体情報とを取得するステップと、
取得した前記特徴量情報及び前記媒体情報を、請求項8に記載の機械学習方法によって生成された学習済モデルに入力し、当該学習済モデルが出力した前記差分制御情報に前記実印刷物を印刷した際の第1制御情報を加算して第3制御情報を生成するステップと、
前記第3制御情報を記憶するステップと
を備えるデータ処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械学習装置、データ処理システム、機械学習方法及びデータ処理方法に関するものである。
【背景技術】
【0002】
従来、画像形成装置の制御情報と当該画像形成装置が出力した印刷物との間の相関関係を学習する機械学習装置と、当該機械学習装置によって得られた学習済モデルを利用するデータ処理システムがある(例えば特許文献1参照)。
【0003】
この種の機械学習装置は、画像形成装置によって実際に印刷媒体に印刷された実印刷物における特徴量情報(つまり実印刷物に生じている印刷不良に関する情報)と、前記実印刷物に用いられた印刷媒体の媒体情報と、前記実印刷物を印刷した際の制御パラメータである第1制御情報とを状態変数として取得する状態変数取得部と、前記特徴量情報を所定の閾値以内とする第2制御情報(つまり印刷不良の少ない高品質の印刷結果が得られる制御パラメータ)を教師データとして取得する教師データ取得部と、前記状態変数取得部で取得した前記状態変数と前記教師データ取得部で取得した前記教師データとに基づいて機械学習を行うことにより、学習済モデルを生成する学習済モデル生成部とを備えている。
【0004】
またこの種のデータ処理システムは、機械学習装置によって生成された学習済モデルを利用して、未学習の印刷媒体に印刷する際に実印刷物に印刷不良が生じないようにする制御パラメータである第3制御情報を出力するようになっている。
【0005】
そしてこのデータ処理システムから出力される第3制御情報を用いて画像形成装置で印刷を行うことにより、印刷不良の少ない高品質の印刷結果を得ることができるようになっていた。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2006-254386号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、従来技術では、画像形成装置の経時劣化により、データ処理システムから出力される第3制御情報を用いて印刷を行っても印刷不良の少ない高品質の印刷結果を得ることができない場合があるという問題を有していた。
【0008】
本発明は以上の点を考慮したものであり、印刷不良の少ない高品質の印刷結果を得ることができるようにする機械学習装置、データ処理システム、機械学習方法及びデータ処理方法を提案しようとするものである。
【課題を解決するための手段】
【0009】
本発明の機械学習装置は、画像形成装置によって実際に印刷された実印刷物における特徴量情報と、前記実印刷物を印刷した際の制御情報である第1制御情報と、前記実印刷物に用いられた印刷媒体の媒体情報とのうち、前記特徴量情報と前記媒体情報を状態変数として取得する状態変数取得部と、前記特徴量情報を所定の閾値以内とする第2制御情報と前記実印刷物を印刷した際の前記第1制御情報との差分となる差分制御情報を教師データとして取得する教師データ取得部と、前記状態変数取得部で取得した前記状態変数と前記教師データ取得部で取得した前記教師データとに基づいて機械学習を行うことにより、学習済モデルを生成する学習済モデル生成部とを備える。
【0010】
本発明のデータ処理システムは、画像形成装置によって実際に印刷された実印刷物の特徴量情報と、前記実印刷物に用いられた印刷媒体の媒体情報とを取得する実印刷物情報取得部と、前記実印刷物情報取得部により取得された前記特徴量情報及び前記媒体情報を、上述の機械学習装置によって生成された学習済モデルに入力し、当該学習済モデルが出力した前記差分制御情報に前記実印刷物を印刷した際の前記第1制御情報を加算して第3制御情報を生成するデータ処理部と、前記第3制御情報を記憶する第3制御情報記憶部とを備える。
【0011】
本発明の機械学習方法は、コンピュータを用いた機械学習方法であって、画像形成装置によって実際に印刷された実印刷物における特徴量情報と、前記実印刷物を印刷した際の制御情報である第1制御情報と、前記実印刷物に用いられた印刷媒体の媒体情報とのうち、前記特徴量情報と前記媒体情報を状態変数として取得するステップと、前記特徴量情報を所定の閾値以内とする第2制御情報と前記実印刷物を印刷した際の前記第1制御情報との差分となる差分制御情報を教師データとして取得するステップと、取得した前記状態変数と前記教師データとに基づいて機械学習を行うことにより、学習済モデルを生成するステップとを備える。
【0012】
本発明のデータ処理方法は、コンピュータを用いて、画像形成装置によって実際に印刷された実印刷物の特徴量情報と、前記実印刷物に用いられた印刷媒体の媒体情報とを取得するステップと、前記実印刷物情報取得部により取得された前記特徴量情報及び前記媒体情報を、上述の機械学習方法によって生成された学習済モデルに入力し、当該学習済モデルが出力した前記差分制御情報に前記実印刷物を印刷した際の前記第1制御情報を加算して第3制御情報を生成するステップと、前記第3制御情報を記憶するステップとを備える。
【0013】
このように、学習済モデルに用いる状態変数に第1制御情報を含まないようにして、学習済モデルから画像形成装置の制御情報が最適な制御情報からどの程度ずれているのかを示す差分制御情報を得、画像形成装置で実印刷物を印刷した際の第1制御情報に差分制御情報を加算することで第3制御情報を得るようにした。こうすることで、学習済モデルにおける実印刷物の特徴量情報の寄与度を上げることができ、画像形成装置の経時劣化により印刷不良の少ない高品質の印刷結果が得られる制御情報が変化する場合でも、最適な第3制御情報を得ることができる。
【発明の効果】
【0014】
本発明は、印刷不良の少ない高品質の印刷結果を得ることができるようにする機械学習装置、データ処理システム、機械学習方法及びデータ処理方法を実現できる。
【図面の簡単な説明】
【0015】
図1】第1の実施の形態に係る画像形成装置の機械的構造を示す図である。
図2】第1の実施の形態に係る機械学習装置の構成を示すブロック図である。
図3】第1の実施の形態に係る教師あり学習のためのニューラルネットワークモデルの例を示す図である。
図4】第1の実施の形態に係る画像形成装置に内蔵されたデータ処理システムの構成を示すブロック図である。
図5】第1の実施の形態に係る機械学習方法を示すフローチャートである。
図6】第1の実施の形態に係るデータ処理方法を示すフローチャートである。
図7】第1の実施の形態に係る画像品質評価の結果を示すグラフである。
図8】第2の実施の形態に係るサーバ装置に内蔵されたデータ処理システムの構成を示すブロック図である。
【発明を実施するための形態】
【0016】
以下、発明を実施するための形態(以下、これを実施の形態と呼ぶ)について、図面を用いて詳細に説明する。尚、以下では、本発明の目的を達成するために必要な部分を主に説明し、それ以外の公知技術の部分については適宜説明を省略する。
【0017】
まず、本実施の形態における機械学習装置及び機械学習方法の学習対象としての印刷出力を行う電子写真方式の画像形成装置の基本的な構成について説明する。
【0018】
[1.第1の実施の形態]
[1-1.画像形成装置の構成]
図1は、本発明の第1の実施の形態において用いられる画像形成装置の概略構造図である。ここで例示される画像形成装置10は、いわゆる中間転写方式のフルカラーLEDプリンタであり、図1に示すように、印刷媒体供給部20と、画像形成部30と、転写部40と、定着部50と、出力部60と、制御部70を備える。
【0019】
印刷媒体供給部20は、印刷媒体PMを画像形成装置10内に供給するためのものであり、用紙トレイ21と、手差しトレイ22と、複数個の給紙ローラ23とを有する。用紙トレイ21は、複数の印刷媒体PMが積層され収容されるものである。この用紙トレイ21内に収容される印刷媒体PMは、一般用紙(A4普通紙、B4普通紙等)であるのが一般的である。手差しトレイ22は、画像形成装置10本体側面に収納可能に設けられ、主に一般用紙とは異なる特殊な印刷媒体PMに印刷を行う場合に、当該特殊な印刷媒体PMを給紙するためのトレイである。よって、インダストリープリントを行う場合には、主にこの手差しトレイ22が使用される。尚、インダストリープリントとは、医療分野、製造業、あるいは流通業といった産業分野における特定の業種の特定の業務に特化した印刷のことである。複数個の給紙ローラ23は、用紙トレイ21内の、あるいは手差しトレイ22に載置された印刷媒体PMを搬送経路PLに搬送するために適所に配置されたローラである。
【0020】
画像形成部30は、トナー像を形成するためのものであり、並列配置された複数(本実施の形態においては5つ)の画像形成ユニット31C、31M、31Y、31K、31S(以下、これらをまとめて画像形成ユニット31ともいう。)を有する。これら複数の画像形成ユニット31C、31M、31Y、31K、31Sは、トナー色が異なるのみでその構成は基本的に同一のものであり、主に、感光体ドラムと、帯電ローラと、現像ローラと、LEDヘッドと、トナータンクとを備える。なお、これらの各構成による画像形成プロセスについては、周知のものと同様のプロセスを採用でき、ここでは詳細な説明を省略する。
【0021】
複数の画像形成ユニット31C、31M、31Y、31K、31Sは、それぞれシアン(Cyan)、マゼンダ(Magenda)、イエロー(Yellow)、ブラック(blacK)及び特殊色のトナー像を形成するためのユニットであり、これら複数の画像形成ユニット31を採用することにより、フルカラー印刷を可能としている。各画像形成ユニット31で形成されたトナー像は、後述する転写部40の中間転写ベルト41に転写される。尚、上記特殊色のトナーとしては、例えばホワイトトナー、クリアトナー、あるいは蛍光色(ネオンイエロー等)トナーを採用することができる。
【0022】
転写部40は、画像形成部30で形成されたトナー像を印刷媒体PMに転写するためのものであり、中間転写ベルト41と、複数の一次転写ローラ42C、42M、42Y、42K、42S(以下、これらをまとめて一次転写ローラ42ともいう。)と、バックアップローラ43と、二次転写ローラ44とを備える。中間転写ベルト41は、駆動用のローラ等を含む複数のローラに支持され主にゴム等の樹脂材料から構成された無端の弾性ベルトである。この中間転写ベルト41の表面には、画像形成ユニット31で形成された各色のトナー像が転写(一次転写)されて形成され、この形成されたトナー像は後に印刷媒体PMに転写(二次転写)される。複数の一次転写ローラ42C、42M、42Y、42K、42Sは、画像形成ユニット31で形成された各色のトナー像を中間転写ベルト41に転写するためのものであり、複数の画像形成ユニット31C、31M、31Y、31K、31Sそれぞれの感光体ドラムに対向配置され、且つ対向する各感光体ドラムとの間に中間転写ベルト41を挟持するように配置される。一次転写ローラ42には、所定の一次転写電圧が印加される。一次転写電圧は、後述する制御部70により制御される。
【0023】
バックアップローラ43は、中間転写ベルト41を支持する複数のローラのうちの1つであり、後述する二次転写ローラ44に中間転写ベルト41を間に介して対向する位置に配置される。二次転写ローラ44は、搬送経路PLの途中であって、バックアップローラ43に中間転写ベルト41を間に介して対向する位置に配置されており、この二次転写ローラ44と中間転写ベルト41との間に印刷媒体PMを通過させる際に、中間転写ベルト41に予め形成されたトナー像を転写するべく機能する。この二次転写ローラ44には、所定の二次転写電圧が印加される。二次転写電圧は、後述する制御部70により制御される。
【0024】
定着部50は、転写部40でトナー像が転写された印刷媒体PMに熱と圧力を付与することで、トナー像を印刷媒体PM上に定着させるためのものであり、定着ローラ51と加圧ローラ52とを備える。定着ローラ51は、その内部にヒータ(図示省略)が内蔵され、このヒータに供給される電流値により定着温度が制御されている。このヒータに供給される電流値は、後述する制御部70によって制御される。加圧ローラ52は、定着ローラ51に対して付勢力が付与されている。これにより、定着ローラ51と加圧ローラ52との間を通過する印刷媒体PMには所定の定着圧力が印加される。尚、本実施の形態においては、加圧ローラ52を定着ローラ51に対して付勢する構成を採用しているが、加圧ローラ52に代えて固定されたバックアップローラを採用し、定着ローラ51をバックアップローラに対して付勢するような構成を採用してもよい。
【0025】
出力部60は、定着部50によりトナー像が定着された印刷媒体PMを実印刷物として画像形成装置10外部に出力するものであり、排出トレイ61と、複数の搬送ローラ62とを備える。排出トレイ61は、画像形成装置10の上部に形成され、搬送経路PLを経て出力された実印刷物APが載置されるものである。複数の搬送ローラ62は、搬送経路PLの各所に設けられ、印刷媒体PMを排出トレイ61まで搬送するものである。また、出力部60のいずれかの位置に、トナー像を定着した際に生じた熱を除去するための冷却手段を任意で設けても良い、冷却手段としては、例えば搬送ローラ62の少なくとも一部に放熱機能を有するローラを採用する、あるいは冷却手段として周知のヒートパイプやヒートシンク、ファン等を出力部60の所定位置に配置する等の構成を採用できる。
【0026】
制御部70は、画像形成装置10の各部を制御するためのものであり、周知のCPUや記憶手段等からなる。この制御部70は、上述した通り、二次転写ローラ44に印加される二次転写電圧と、定着ローラ51内部のヒータに供給する電流とを制御する機能を有している。
【0027】
上述の通り、本実施の形態において利用される画像形成装置10として、中間転写方式のフルカラーLEDプリンタについて説明を行ったが、本発明が適用可能な画像形成装置はこれに限定されるものではない。この点について具体的に例示すれば、中間転写方式に代えて感光体ドラムから印刷媒体に直接転写するタンデム式やロータリー式のものを採用すること、フルカラーに代えてモノクロあるいは特殊色のトナーを有しないタイプのフルカラーを採用すること、露光手段としてのLEDヘッドに代えてレーザーヘッドを採用すること、及び、プリンタに代えて複写機、ファクシミリあるいはこれらの機能が組み合わされたデジタル複合機を採用すること等が可能である。
【0028】
上述した構成を備える画像形成装置10を用いて印刷を実行する場合、制御パラメータの調整を一旦行った後、経時劣化により最適な制御パラメータが変化してしまい、実印刷物に印刷不良が生じることがある。このように実印刷物に印刷不良が生じた場合、画像形成装置10の制御パラメータを再調整して、最適な制御パラメータを導き出すことで印刷不良の少ない高品質の印刷結果を得るといった作業を行う必要が出てくる。
【0029】
ここで、この一連の作業(つまり制御パラメータの再調整作業)に従来の学習済モデルを利用する場合を考える。まず従来の学習済モデルを生成する従来の機械学習装置(図示せず)と当該機械学習装置によって生成された従来の学習済モデルを利用する従来のデータ処理システム(図示せず)について簡単に説明する。従来の機械学習装置は、特開2006-254386号公報に記載されているように、画像形成装置10によって実際に印刷媒体に印刷された実印刷物における特徴量情報と、前記実印刷物に用いられた印刷媒体の媒体情報と、前記実印刷物を印刷した際の制御情報(制御パラメータ)である第1制御情報とを状態変数として取得する状態変数取得部と、前記特徴量情報を所定の閾値以内とする制御情報(制御パラメータ)である第2制御情報を教師データとして取得する教師データ取得部と、前記状態変数取得部で取得した前記状態変数と前記教師データ取得部で取得した前記教師データとに基づいて機械学習を行うことにより、学習済モデルを生成する学習済モデル生成部とを備えている。
【0030】
一方、従来のデータ処理システムは、特開2006-254386号公報に記載されているように、従来の学習装置によって生成された従来の学習済モデルを利用して、未学習の印刷媒体に印刷する際に実印刷物に印刷不良が生じないようにする制御情報(制御パラメータ)である第3制御情報を出力するようになっている。
【0031】
従来の機械学習装置によって生成される従来の学習済モデルは、上述したように状態変数に、画像形成装置10のリファレンス機の制御パラメータ(第1制御情報)が含まれていることから、この学習済モデルを利用して得られる制御パラメータ(第3制御情報)がリファレンス機の制御パラメータ(第1制御情報)に引きずられる傾向がある。このため、従来の学習済モデルを利用して得られる制御パラメータ(第3制御情報)が、各画像形成装置10で最適な制御パラメータからずれてしまい再調整がうまく行かない場合がある。
【0032】
別の言い方をすると、経時劣化により最適な制御パラメータが変化した画像形成装置10では、従来の学習済モデルを利用して制御パラメータの再調整を行ってもうまく行かない(つまり印刷不良の少ない高品質の印刷結果を得ることができない)場合がある。
【0033】
そこで、本実施の形態では、以下に記載する機械学習装置100及び機械学習方法により生成される学習済モデルを利用して、画像形成装置10の制御パラメータの再調整を行うようになっている。
【0034】
ところで、画像形成装置10を用いて印刷を実行する際には、最適な印刷結果を得るべく、様々な制御パラメータが調整される。これら様々な制御パラメータについて本発明者らが検証を行ったところ、当該種々の制御パラメータのうち、二次転写ローラ44に印加する二次転写電圧と定着ローラ51の定着温度(すなわち定着ローラ51内のヒータに供給される電流値)の2つが、特に印刷の質に直接影響する制御パラメータ、言い換えれば印刷面に発生する印刷不良との間に高い相関関係を有する制御パラメータであることが知得された。そして、これら2つの制御パラメータと印刷不良との関係についてさらに詳しく検証を行ったところ、二次転写電圧が高いと、主にチリ(白点が発生する印刷不良)の原因となり、反対に二次転写電圧が低いと、主にカスレ(色が薄くなる印刷不良)の原因となる。また、定着温度が高いと、主に斑点(斑点状の模様が発生する印刷不良)の原因となり、反対に定着温度が低いと、主に定着不良(トナー剥がれの印刷不良)や画ズレ(濃度の薄い部分が生じる印刷不良)の原因となることが知得された。
【0035】
そこで、以下に示す本発明の第1の実施の形態に係る機械学習装置100においては、その調整対象となる制御パラメータを、二次転写電圧及び定着温度とし、これら2つの制御パラメータの再調整に利用する学習済モデルを生成するための具体的な構成及び一連の機械学習方法について説示する。
【0036】
[1-2.機械学習装置の構成]
図2は、本発明の第1の実施の形態に係る機械学習装置100の概略ブロック図である。機械学習装置100は、状態変数取得部110と、教師データ取得部120と、学習済モデル生成部130と、記憶部140とを備えている。この機械学習装置100は、いわゆる教師あり学習により学習済モデルを生成する装置である。尚、図2においては、理解を容易にする目的で、機械学習装置100を画像形成装置10とは別体のコンピュータ(サーバ装置やPC等)に内蔵したものを例示しているが、機械学習装置100は画像形成装置10に内蔵されていても良い。
【0037】
状態変数取得部110は、画像形成装置10の制御パラメータを再調整することが可能な学習済モデルを生成するために必要な情報を状態変数として取得するものである。機械学習を行うに当たり、状態変数は生成される学習済モデルの精度を決定付ける最も重要な要素である。そして、状態変数として取得する情報の組み合わせが異なれば、生成される学習済モデルも当然異なることから、その組み合わせについても極めて重要な要素であることは本発明において特に留意すべき事項である。
【0038】
本実施の形態において、状態変数取得部110は、実印刷物APにおける特徴量情報、実印刷物APに用いられた印刷媒体PM(図1参照)の媒体情報の2つの情報を状態変数として取得するものである。さらに状態変数取得部110は、実印刷物APを出力した際の制御パラメータである第1制御情報も併せて取得する。このように、本実施の形態に係る機械学習装置100では、従来の機械学習装置のように、実印刷物APにおける特徴量情報と、実印刷物APに用いられた印刷媒体PMの媒体情報と、実印刷物APを出力した際の制御パラメータである第1制御情報の3つの情報を状態変数として取得するのではなく、これら3つの情報のうち、実印刷物APにおける特徴量情報と、実印刷物APに用いられた印刷媒体PMの媒体情報の2つの情報を状態変数として取得し、実印刷物APを出力した際の制御パラメータである第1制御情報については、状態変数とは別の情報として取得するようになっている。
【0039】
尚、状態変数及び第1制御情報を取得する方法については、機械学習装置100と画像形成装置10との接続状態等に合わせて任意に設定でき、ローカルな、あるいはインターネットを介した通信手段等を用いることや、任意の記憶媒体を介して取得される。そして、取得したこれら3つの情報は、1つのデータセットとして後述する記憶部140に記憶される。
【0040】
実印刷物APにおける特徴量情報とは、実印刷物APに生じている印刷不良に関する情報であり、より具体的には印刷不良の情報に関する情報を含むものである。印刷不良の情報とは、印刷不良の程度に関する情報である。ここで、実際に機械学習装置100に入力する特徴量情報としては、実印刷物APを周知のスキャナを用いて読み込んだ画像データの情報であればよく、実印刷物AP内の印刷不良の具体的な種類や程度を事前に特定しておく等の必要はない。これは、機械学習装置の学習手法が、印刷不良の種類や程度に関わらず、状態変数に対する好適な出力結果としての制御情報を学習するものであり、印刷不良の種類や程度までは判別する必要がないためである。とはいえ、例えば上記画像データの情報を、機械学習装置の入力層に入力するのに好適な情報に事前に調整する前処理プロセスを採用することももちろん可能である。具体的な前処理プロセスについては、画像認識の技術分野において通常用いられる手法が採用できることは当業者であれば容易に理解できるため、ここではその説明を省略する。
【0041】
印刷媒体PMの媒体情報とは、印刷媒体PMについての種々の情報であり、好適には印刷媒体PMのコーティングの有無、素材、厚さ、重量及び密度に関する情報である。上記5種類の媒体情報、すなわちコーティングの有無、素材、厚さ、重量及び密度は、印刷の質に特に影響のある媒体情報として本発明者が特定したものであり、これら5種類の媒体情報に基づいて機械学習を行うことで、効率的に高精度の学習済モデルを生成できるものである。尚、媒体情報としての素材は、印刷媒体PMに用いられている主要な素材を特定すれば足り、付加的に含まれる素材についての情報までをも要するものでは必ずしもない。また、媒体情報としての重量は、印刷媒体の重さに関連する特性を示すものであれば種々のものを利用可能であり、具体的には、例えば坪量や連量といった、画像形成装置の技術分野において一般に用いられるものを利用することができる。
【0042】
第1制御情報とは、実印刷物APを出力した際に実際に設定されていた制御パラメータであり、好適には、画像形成装置10における定着ローラ51のトナー定着温度、及び二次転写ローラ44に印加される二次転写電圧である。尚、上記画像形成装置10においては、印刷媒体PMに対し、中間転写ベルト41からトナー像が転写される形式のため、二次転写電圧を第1制御情報として採用しているが、中間転写ベルトを有しない、感光体ドラムから印刷媒体に直接転写するタンデム式の画像形成装置にあっては、トナー色の異なる複数の画像形成ユニットそれぞれが備える感光体ドラムから印刷媒体PMにトナー像を転写する際の転写電圧を第1制御情報として採用すればよい。
【0043】
教師データ取得部120は、印刷不良を含む実印刷物APにおいて、その印刷不良の情報である特徴量情報が所定の閾値以内となる制御パラメータである第2制御情報(つまり印刷不良を含まない印刷結果が得られるような改善された制御パラメータである第2制御情報)と第1制御情報との差分制御情報(以下、第4制御情報という)を、教師データとして取得するものである。この第2制御情報は、例えば技術者が実印刷物APの出力結果及びその際の制御情報(制御パラメータ)等に基づいて導き出した制御情報である。したがって、上記「所定の閾値」とは、特定の値を指すものである必要は必ずしもなく、技術者等から見て適切な出力結果が得られるような制御情報であれば、当該制御情報は「特徴量情報が所定の閾値以内」であるといえる。また、この第2制御情報は、技術者ENによって教師データ取得部に直接入力あるいは種々の通信手段や任意の記憶媒体を介して送信されることにより取得する。尚、この第2制御情報は、状態変数取得部110で取得されデータセットとして記憶部140に記憶された対応するデータセットに関連付けられて、記憶部140内に記憶される。
【0044】
学習済モデル生成部130は、状態変数取得部110で取得した状態変数としての2つの情報(特徴量情報と媒体情報)からなるデータセットと、教師データ取得部120で取得し対応するデータセットに関連付けられた教師データとに基づいて、機械学習を実行し、学習済モデルを生成するものである。ここで実施される機械学習の具体的な方法については、以下に詳述する。
【0045】
本実施の形態に係る機械学習装置100は、その学習手法としてニューラルネットワークモデルを用いた教師あり学習を採用している。
【0046】
図3は、本実施の形態に係る機械学習装置100において実施される教師あり学習のためのニューラルネットワークモデルの例を示す図である。図3に示すニューラルネットワークモデルにおけるニューラルネットワークは、入力層にあるl個のニューロン(x1~xl)、第1中間層にあるm個のニューロン(y11~y1m)、第2中間層にあるn個のニューロン(y21~y2n)、及び出力層にある2個のニューロン(z1、z2)から構成されている。第1中間層及び第2中間層は、隠れ層とも呼ばれており、ニューラルネットワークとしては、第1中間層及び第2中間層の他に、さらに複数の隠れ層を有するものであってもよく、あるいは第1中間層のみを隠れ層とするものであってもよい。
【0047】
また、入力層と第1中間層との間、第1中間層と第2中間層との間、第2中間層と出力層との間には、層間のニューロンを接続するノードが張られており、それぞれのノードには、重みwi(iは自然数)が対応づけられている。
【0048】
本実施の形態に係るニューラルネットワークモデルにおけるニューラルネットワークは、学習用データセットを用いて、画像形成装置の制御情報と画像形成装置が出力した印刷物との相関関係を学習する。具体的には、2つの状態変数(特徴量情報と媒体情報)のそれぞれについて入力層のニューロンを対応づけ、出力層にあるニューロンの値を、一般的なニューラルネットワークの出力値の算出方法、つまり、出力側のニューロンの値を、当該ニューロンに接続される入力側のニューロンの値と、出力側のニューロンと入力側のニューロンとを接続するノードに対応づけられた重みwiとの乗算値の数列の和として算出することを、入力層にあるニューロン以外の全てのニューロンに対して行う方法を用いることで、算出する。尚、状態変数を入力層のニューロンに対応付けるに際し、状態変数として取得した情報をどのような形式として対応付けるかは、生成される学習済モデルの精度等を考慮して適宜設定することができる。例えば、実印刷物APにおける特徴量情報としての実印刷物APの画像データを入力層に対応付けるに際しては、画像データを所定の領域に分割した上で、分割された各領域の色値(例えばRGB値)情報を入力層にそれぞれ対応付けることができる。
【0049】
そして、算出された出力層にある2つのニューロンz1、z2の値、すなわち本実施の形態においては定着ローラ51のトナー定着温度の差分値及び二次転写ローラ44に印加される二次転写電圧の差分値と、データセットに関連付けられた、同じく定着ローラ51のトナー定着温度の差分値及び二次転写ローラ44に印加される二次転写電圧の差分値からなる教師データt1、t2とを、それぞれ比較して誤差を求め、求められた誤差が小さくなるように、各ノードに対応づけられた重みwiを調整する(バックプロバケーション)ことを反復する。
【0050】
そして、上述した一連の工程を所定回数反復実施すること、あるいは前記誤差が許容値より小さくなること等の所定の条件が満たされた場合には、学習を終了して、そのニューラルネットワークモデル(のノードのそれぞれに対応づけられた全ての重みwi)を学習済モデルとして記憶部140に記憶する。
【0051】
記憶部140に記憶された学習済モデルは、要求に応じて、インターネット等の通信手段や記憶媒体を介して実システムへ適用される。実システム(データ処理システム)に対する学習済モデルの具体的な適用態様については、後に詳述する。
【0052】
[1-3.データ処理システムの構成]
次に、上述した機械学習装置100によって生成された学習済モデルの適用例を説示する。図4は、本実施の形態に係るデータ処理システムの概略ブロック図である。本実施の形態においては、データ処理システムとして、画像形成装置200内に、図3を用いて詳述した機械学習方法を経て生成された学習済モデルを適用した場合を例にとり、以下に説示する。
【0053】
本実施の形態に係る画像形成装置200は、フルカラーLEDプリンタであり、画像形成装置10と同様の機械的構造(図1参照)を有している。このため、画像形成装置200の機械的構造については説明を省略する。画像形成装置200は、画像形成装置10と同様の機械的構造に加えて、図4に示すシステム構成を有している。具体的には、この画像形成装置200は、システム構成として、表示・操作部210と、出力制御部220と、実印刷物情報取得部230と、記憶部250と、データ処理部260と、学習済モデル選択部270とを備える。
【0054】
表示・操作部210は、画像形成装置200の所定位置に設けられた液晶パネル等からなる表示手段及び操作ボタンあるいはタッチパネル等からなる操作手段を備え、画像形成装置200を利用するユーザに対して所定の通知を行ったり入力動作を可能としたりするための構成である。また、出力制御部220は、画像形成装置200による印刷出力を実現するための種々の構成を制御するための構成であり、CPUと、RAM及びROM等のメモリを少なくとも備えたものが例示される。出力制御部220による制御は、二次転写ローラ44に印加される二次転写電圧と、定着ローラ51の定着温度(詳しくは定着ローラ51内部のヒータに供給する電流)とを制御することを含んでいる。
【0055】
実印刷物情報取得部230は、印刷不良を含む実印刷物APに関連する情報を取得するための構成であり、特徴量情報取得部231と、媒体情報取得部232と、第1制御情報取得部233とを備える。この実印刷物情報取得部230によって取得された各種情報は、1つのデータセットとして互いに関連付けられ、後述するデータセット記憶部252に記憶される。
【0056】
特徴量情報取得部231は、特徴量情報として実印刷物APの画像データを取得するための構成である。この特徴量情報取得部231は、図4に示すように、入出力インターフェース(図示省略)を介して画像形成装置200外部のスキャナSCにローカルに接続されており、このスキャナSCにより読み込まれた実印刷物APの画像データを、特徴量情報として取得する。また、媒体情報取得部232は、印刷媒体PMの情報、詳しくは印刷媒体PMのコーティングの有無、素材、厚さ、重量及び密度に関する情報を取得するための構成である。これらの媒体情報は、例えば印刷媒体PMに予め付与された製品コードを表示・操作部210を介してユーザが入力することにより取得できる。尚、媒体情報としての密度は、厚さと重量(坪量)の値が特定できれば計算により特定することが可能な情報であるので、このような入力操作を必ずしも要しない。
【0057】
また、第1制御情報取得部233は、実印刷物APを出力した際の制御パラメータである第1制御情報、詳しくは二次転写ローラ44に印加される二次転写電圧と定着ローラ51の定着温度とを取得するための構成である。第1制御情報は、出力制御部220のメモリあるいは出力制御部220の制御パラメータが記憶される記憶部250内に記憶されている情報であるので、内部バスを介して取得すればよい。
【0058】
記憶部250は、画像形成装置200内の各種情報を記憶するための記憶領域を構成するものであり、学習済モデル記憶部251と、データセット記憶部252と、第3制御情報記憶部253とを含んでいる。学習済モデル記憶部251は、図3を用いて詳述した機械学習方法によって生成された学習済モデル、すなわち、特徴量情報と媒体情報の2つの情報を状態変数として機械学習が実施され、生成された学習済モデルが記憶されたものである。またこの学習済モデル記憶部251には、従来の学習済モデル、すなわち、特徴量情報と媒体情報と第1制御情報の3つの情報を状態変数として機械学習が実施され、生成された学習済モデルも記憶されている。尚、従来の学習済モデルに対して、図3を用いて詳述した機械学習方法によって生成された学習済モデルを、以下、新たな学習済モデルという。
【0059】
データセット記憶部252は、実印刷物情報取得部230によって取得された、共通する実印刷物APに係る特徴量情報、媒体情報及び第1制御情報が1つのデータセットとして記憶されたものである。第3制御情報記憶部253は、後述するデータ処理部260で出力された第3制御情報が記憶されたものである。
【0060】
データ処理部260は、データセット記憶部252に記憶された特定の実印刷物APに関するデータセットと、学習済モデル記憶部251に記憶された2つの学習済モデルのうち学習済モデル選択部270により選択された学習済モデルとを用い、選択された学習済モデルの入力層(の各ニューロン)にデータセットを構成する各種情報を入力する。
【0061】
具体的には、データ処理部260は、学習済モデル選択部270により従来の学習済モデルが選択された場合、この学習済モデルの入力層に、特徴量情報と媒体情報と第1制御情報の3つの情報を入力する。そして、データ処理部260は、この学習済モデルの出力層に二次転写ローラ44に印加される二次転写電圧と定着ローラ51の定着温度とを出力することで、第3制御情報を生成する。
【0062】
一方で、学習済モデル選択部270により新たな学習済モデルが選択された場合、データ処理部260は、この学習済モデルの入力層に、特徴量情報と媒体情報の2つの情報を入力する。そして、データ処理部260は、この学習済モデルの出力層に、第4制御情報としての二次転写ローラ44に印加される二次転写電圧の差分値と定着ローラ51の定着温度の差分値とを出力する。更に、データ処理部260は、この第4制御情報に、前記実印刷物APに関するデータセット内の第1制御情報を加算することで、第3制御情報(つまり二次転写電圧と定着温度)を生成する。
【0063】
尚、従来の学習済モデルと新たな学習済モデルのどちらを利用した場合でも、データ処理部260によって生成される第3制御情報は二次転写電圧と定着温度とで構成され、実印刷物APにおいて生じている印刷不良を改善することが可能な制御情報である。すなわち、この実印刷物APにおいて用いられた印刷媒体PMを用い、且つこの第3制御情報を制御パラメータとして画像形成装置200で印刷出力を行うことで、所望の印刷物を得ることができるようにデータ処理部260によって調整がなされた制御情報である。
【0064】
学習済モデル選択部270は、制御パラメータの調整回数を記憶管理するようになっている。そして、学習済モデル選択部270は、今回の制御パラメータの調整が1回目である場合(つまり初回の調整である場合)には、学習済モデル記憶部251に記憶された2つの学習済モデルのうち従来の学習済モデルを選択する。一方で、学習済モデル選択部270は、今回の制御パラメータの調整が2回目以降である場合(つまり再調整である場合)には、学習済モデル記憶部251に記憶された2つの学習済モデルのうち新たな学習済モデルを選択する。
【0065】
ここで、制御パラメータの初回調整時には従来の学習済モデルを利用し、再調整時には新たな学習済モデルを利用する理由について簡単に説明する。
【0066】
従来の学習済モデルは、上述したように、状態変数として、実印刷物APに係る特徴量情報、媒体情報、画像形成装置200のリファレンス機の制御パラメータ(第1制御情報)の3つの情報を用いて生成され、制御パラメータの絶対値(第3制御情報)を出力するようになっている。このためまだそれほど経時劣化してない画像形成装置200において制御パラメータを初めて調整する際には、従来の学習済モデルを利用して制御パラメータの調整を行った方が、制御パラメータが適切な値から大きく外れてしまうようなことなく適切に調整できる可能性が高い。
【0067】
このような理由から、制御パラメータの初回調整時には、従来の学習済モデルを利用するようになっている。
【0068】
また一方で、従来の学習済モデルは、状態変数にリファレンス機の制御パラメータ(第1制御情報)が含まれていることから、出力する制御パラメータ(第3制御情報)がリファレンス機の制御パラメータに引きずられる傾向がある。このため、経時劣化によって最適な制御パラメータがリファレンス機とずれてしまった画像形成装置200において、従来の学習済モデルを利用して制御パラメータの再調整を行うと、制御パラメータを適切に調整できず、印刷不良の少ない高品質の印刷結果を得ることができない場合がある。
【0069】
これに対して、新たな学習済モデルは、状態変数にリファレンス機の制御パラメータ(第1制御情報)を含まず、画像形成装置200の制御パラメータが最適な制御パラメータからどの程度ずれているのかを示す差分制御情報(第4制御情報)を出力するようになっている。こうすることで、新たな学習済モデルは、実印刷物APの特徴量情報の寄与度を上げて、画像形成装置200の制御パラメータ(第1制御情報)に差分制御情報(第4制御情報)を加算して得られる制御パラメータ(第3制御情報)がリファレンス機の制御パラメータ(第1制御情報)に引きずられてしまうことを回避することができる。このため、経時劣化によって最適な制御パラメータがリファレンス機とずれてしまった画像形成装置200において制御パラメータを再調整する際には、新たな学習済モデルを利用して制御パラメータの調整を行った方が、制御パラメータを適切に調整できる可能性が高い。
【0070】
このような理由から、制御パラメータの再調整には、新たな学習済モデルを利用するようになっている。
【0071】
このように、本実施の形態では、従来の学習済モデルを利用して画像形成装置200の制御パラメータを適切に調整した以降、新たな学習済モデルを利用して画像形成装置200の制御パラメータを適切に再調整することで、画像形成装置200が経時劣化しても、印刷不良の少ない高品質の印刷結果を得ることができるようになっている。
【0072】
[1-4.機械学習方法]
次に、図5に示すフローチャートを用いて、本実施の形態に係る機械学習方法の手順(つまり新たな学習済モデルを生成する手順)について説明する。この機械学習方法はコンピュータを用いることで実現されるものであるが、コンピュータとしては種々のものが適用可能であり、例えば画像形成装置10内の制御部70を構成するものや、画像形成装置10にローカルに接続されたPC、あるいはネットワーク上に配されたサーバ装置等を挙げることができる。
【0073】
本実施の形態に係る機械学習方法としての教師あり学習を実行する場合には、先ず、初期値の重みを備えた学習前モデルを準備する(ステップSP11)。次いで、画像形成装置10によって実際に印字がなされた実印刷物APにおける特徴量情報と、実印刷物APに用いられた印刷媒体PMの媒体情報とを状態変数として取得し、併せて第1制御情報も取得する(ステップSP12)。そして、ステップSP12で取得した状態変数に対応する教師データを取得する(ステップSP13)と共に、あるいはこれに前後して、ステップSP12で取得した状態変数を学習前モデルの入力層(図3参照)に対応付けることで、出力層(図3参照)を生成する(ステップSP14)。
【0074】
ステップSP14において生成された出力層を構成する制御情報は、学習前モデルによって生成されたものであるため、通常はユーザの要求を満たすような印刷結果が得られる制御情報ではない。そこで、次に、ステップSP13において取得された教師データを構成する第4制御情報とステップSP14において生成された出力層を構成する制御情報とを用いて、機械学習を実施する(ステップSP15)。ここで行う機械学習とは、教師データを構成する第4制御情報と出力層を構成する制御情報とを比較し、両者の誤差を検出し、この誤差が小さくなるような出力層が得られるよう、学習前モデル内の各ノードに対応付けられた重みを調整することによる機械学習を実施する。
【0075】
ステップSP15において機械学習が実施されると、さらに機械学習を実施する必要があるか否かを特定し(ステップSP16)、機械学習を継続する場合(ステップSP16でNo)にはステップSP12に戻り、機械学習を終了する場合(ステップSP16でYes)には、ステップSP17に移る。上記機械学習を継続する場合には、ステップSP12~SP15の工程を複数回実施することとなり、通常は、その回数に比例して、最終的に生成される学習済モデルの精度は高くなる。
【0076】
機械学習を終了する場合には、各ノードに対応付けられた重みが一連の工程によって調整され生成されたニューラルネットワークを学習済モデルとして記憶部140に記憶し(ステップSP17)、一連の学習プロセスを終了する。ここで記憶された学習済モデル(つまり新たな学習済モデル)を利用して制御パラメータである制御情報を調整するデータ処理方法の手順については後述する。尚、従来の学習済モデルを生成する手順については、特開2006-254386号公報に記載されている手順と同一のため、説明は省略する。
【0077】
[1-5.データ処理方法]
次に、図6に示すフローチャートを用いて、本実施の形態に係るデータ処理システムのデータ処理部260及び学習済モデル選択部270において実行されるデータ処理方法の手順(つまり学習済モデルを利用して制御パラメータを調整する手順)について説明する。
【0078】
図6に示すように、データ処理部260は印刷不良が発生していない場合(ステップSP31でNo)には待機状態を維持し、印刷不良が発生した場合(ステップSP31でYes)には以降のデータ処理を実行するものである。印刷不良が発生したか否かは、ユーザによる申告に基づいて判断され、具体的には印刷不良を改善したい旨の申告が、例えば画像形成装置200の表示・操作部210を介して、あるいは画像形成装置200を管理するカスタマーサービス等に対して行われることにより判断される。本実施の形態においては、印刷不良が画像形成装置200単体で解消できるよう各種構成を内蔵しているから、この画像形成装置200に、例えば印刷不良解消モードといった特定のモードを搭載しておくと利便性の面で好ましい。この場合には表示・操作部210を介して当該モードをユーザが選択することで、以下に示す印刷不良を解消するためのデータ処理が実行される。
【0079】
印刷不良が発生すると、画像形成装置200は、表示・操作部210等の所定のユーザインターフェースを介して、印刷不良を解消するために必要な実印刷物情報(すなわち実印刷物APの特徴量情報、媒体情報及び第1制御情報)をユーザに対して要求する。この要求に基づいてユーザから入力された実印刷物情報は、1つのデータセットとしてデータセット記憶部252に記憶され、データ処理部260は、このデータセット記憶部252を参照することにより、実印刷物情報を取得する(ステップSP32)。ユーザに対する実印刷物情報の要求としては、表示・操作部210に各種情報の取得方法を表示したり、あるいは図示しない音声出力手段を介してナビゲーション音声を出力したりすることでユーザに各種情報の入力作業を促すものである。
【0080】
ユーザにより必要な実印刷物情報が入力されると、データ処理部260は、今回の制御情報の調整に利用する学習済モデルを学習済モデル選択部270に選択させ、選択された学習済モデルを取得する(ステップSP33)。具体的には、学習済モデル選択部270は、今回の制御パラメータ(制御情報)の調整が初回の調整である場合には、学習済モデル記憶部251に記憶されている学習済モデルのうち、従来の学習済モデルを選択し、今回の制御パラメータの調整が初回の調整でない場合(つまり再調整の場合)には、新たな学習済モデルを選択する。
【0081】
そして、データ処理部260は、取得した学習済モデルが従来の学習済モデルの場合には、この学習済モデルの入力層にステップSP32で取得した実印刷物情報である実印刷物APの特徴量情報、媒体情報及び第1制御情報を入力し、この学習済モデルの出力を第3制御情報とする。一方で、取得した学習済モデルが新たな学習済モデルの場合には、データ処理部260は、この学習済モデルの入力層にステップSP32で取得した実印刷物情報のうちの実印刷物APの特徴量情報、媒体情報を入力し、この学習済モデルの出力を差分制御情報(第4制御情報)とし、更にステップSP32で取得した実印刷物情報である第1制御情報にこの差分制御情報(第4制御情報)を加算することで第3制御情報とする(ステップSP34)。
【0082】
データ処理部260は、この第3制御情報を一旦第3制御情報記憶部253に記憶し(ステップSP35)、ユーザによる再印刷指示を待つ(ステップSP36)。そして、例えばユーザによる表示・操作部210の操作により、再印刷指示があると、出力制御部220は、第1制御情報に代えて第3制御情報記憶部253内の第3制御情報に基づき、二次転写ローラ44に印加される二次転写電圧と定着ローラ51の定着温度とを調整した上で(つまり制御パラメータを調整した上で)、再度の印刷処理を実行する(ステップSP37)。
【0083】
[1-6.まとめと効果]
ここまで説明したように、第1の実施の形態では、機械学習装置100に、画像形成装置10によって実際に印刷された実印刷物APにおける特徴量情報と、前記実印刷物APを印刷した際の制御情報である第1制御情報と、前記実印刷物APに用いられた印刷媒体の媒体情報とのうち、前記特徴量情報と前記媒体情報を状態変数として取得する状態変数取得部110と、前記特徴量情報を所定の閾値以内とする第2制御情報と前記実印刷物APを印刷した際の前記第1制御情報との差分となる差分制御情報(第4制御情報)を教師データとして取得する教師データ取得部120と、前記状態変数取得部110で取得した前記状態変数と前記教師データ取得部120で取得した前記教師データとに基づいて機械学習を行うことにより、学習済モデルを生成する学習済モデル生成部130とを設けた。
【0084】
また本実施の形態では、機械学習装置100の適用例である画像形成装置200に、データ処理システムの機能として、画像形成装置200によって実際に印刷された実印刷物APの特徴量情報と、前記実印刷物APに用いられた印刷媒体の媒体情報とを取得する実印刷物情報取得部230と、前記実印刷物情報取得部230により取得された前記特徴量情報及び前記媒体情報を、機械学習装置100によって生成された新たな学習済モデルに入力し、前記学習済モデルが出力した前記差分制御情報(第4制御情報)に前記実印刷物APを印刷した際の前記第1制御情報を加算して第3制御情報を生成するデータ処理部260と、前記第3制御情報を記憶する第3制御情報記憶部253とを設けた。
【0085】
このように、本実施の形態では、学習済モデルに用いる状態変数に第1制御情報を含まないようにして、学習済モデルから画像形成装置200の制御情報が最適な制御情報からどの程度ずれているのかを示す差分制御情報(第4制御情報)を得、画像形成装置200で実印刷物APを印刷した際の第1制御情報に差分制御情報(第4制御情報)を加算することで第3制御情報を得るようにした。こうすることで、本実施の形態では、学習済モデルにおける実印刷物APの特徴量情報の寄与度を上げることができ、画像形成装置200の経時劣化により最適な制御情報が変化する場合でも、最適な第3制御情報を得ることができる。かくして、本実施の形態によれば、印刷不良の少ない高品質の印刷結果を得ることができる。
【0086】
また本実施の形態では、画像形成装置200に、データ処理システムの機能として、第1学習済モデルとしての新たな学習済モデルと第2学習済モデルとしての従来の学習済モデルの2つの学習済モデルを記憶する学習済モデル記憶部251と、学習済モデル記憶部251に記憶されている2つの学習済モデルのうちの1つを選択する学習済モデル選択部270とを設け、当該学習済モデル選択部270が、画像形成装置200における制御パラメータの初回調整時には、従来の学習済モデルを選択し、以降の再調整時には、新たな学習済モデルを選択するようにした。そしてデータ処理部260が、学習済モデル選択部270により選択された学習済モデルを利用して第3制御情報を出力し、当該第3制御情報に基づいて画像形成装置200の出力制御部220が制御パラメータ(二次転写電圧と定着温度)を調整するようにした。
【0087】
このように本実施の形態では、画像形成装置200による初回の制御パラメータ調整時、つまり画像形成装置200がそれほど経時劣化していないと想定される制御パラメータの初回調整時には、従来の学習済モデルを利用することで制御パラメータをより適切に調整することができ、制御パラメータの再調整時、つまり画像形成装置200が経時劣化している可能性がある制御パラメータの再調整時には、新たな学習済モデルを利用することで制御パラメータをより適切に調整することができる。
【0088】
ここで、画像形成装置200で印刷した実印刷物APの品質を評価する所定の画像品質評価を行った結果を図7のグラフに示す。このグラフは、複数種類(A~M)の印刷媒体のそれぞれにおける、制御パラメータ再調整前の実印刷物APの画像のPQ(劣化)レベルと、制御パラメータの再調整後のPQレベルとを示している。尚、制御パラメータの再調整には、新たな学習済モデルを利用している。またPQレベルは、数値が高いほど画像の劣化度合いが大きく、0.6以下であれば、実用レベルの品質(つまり高品質)であることを示している。
【0089】
尚、今回の画像品質評価では、MT(マハラノビス・タグチ)システムを利用して、PQレベルを求めた。具体的には、目視で印刷不良がないと判断できる(つまり画像品質が良好な)複数の実印刷物APの特徴量情報から単位空間を作成しておき、この単位空間を組み込んだMTシステムに、評価対象となる実印刷物APの特徴量情報を入力し、その結果(つまりMTシステムの出力)を、当該実印刷物APの画像のPQレベルとした。このように、あらかじめ画像品質が良好な複数の実印刷物APの特徴量情報から作成した単位空間を組み込んだMTシステムでは、入力した実印刷物APの特徴量情報が正常に近い場合(つまり入力した実印刷物APの画像品質が良好であれば)0~1程度の値を出力し、入力した実印刷物APの特徴量情報が不良である場合(つまり入力した実印刷物APの画像品質が良好でなければ)1より大きな値を出力する。尚、本実施の形態では、画像品質をより厳しく評価する為、MTシステムの出力値が0.6以下であれば、実用レベルの品質と評価するようにした。
【0090】
このグラフから、複数種類(A~M)の印刷媒体の全てにおいて、制御パラメータ再調整前よりも再調整後の方が、実印刷物APのPQレベルが下がっている(つまり実印刷物APの品質が上がっている)ことがわかる。さらに制御パラメータ調整前のPQレベルが0.6より大きく実印刷物APの品質が実用レベルに達していない印刷媒体(A~H)では、Bを除くA、C~Hで、制御パラメータ再調整後に、PQレベルが0.6以下となり実印刷物APの品質が実用レベルに達していることがわかる。
【0091】
尚、このグラフには示していないが、従来の学習済モデルを利用して制御パラメータの再調整を行った場合の画像品質評価では、再調整前と再調整後とで実印刷物APのPQレベルがほとんど変わらず品質向上が見られなかった。
【0092】
図7に示す画像品質評価から明らかなように、本実施の形態の新たな学習済モデルを利用して画像形成装置200の制御パラメータの再調整を行うことで、印刷不良の少ない高品質の印刷結果を得ることができる。
【0093】
[2.第2の実施の形態]
次に、本発明の第2の実施の形態について説明する。図8は、第2の実施の形態に係るデータ処理システムの概略ブロック図である。図8に示す通り、本実施の形態に係るデータ処理システムは、インターネットに接続されたサーバ装置300で構成されている。また、このサーバ装置300には、インターネットを介して複数の端末装置TD(例えば、スマートフォンやタブレット端末、PC等)及び画像形成装置10が接続されている。
【0094】
サーバ装置300は、送受信部310と、記憶部320と、データ処理部330と、学習済モデル修正部340とを備えている。送受信部310は、端末装置TD及び/又は画像形成装置10から送信される実印刷物情報及びフィードバック情報を取得すると共に、後述する第3制御情報を端末装置TD及び/又は画像形成装置10へ送信するためのものである。送受信部310への実印刷物情報の送信方法は、種々の方法が採用でき、例えば特徴量情報と媒体情報は、端末装置TDに予めインストールされたアプリケーションを介して送信され、第1制御情報は、端末装置TD内のアプリケーションの操作をトリガとして動作する画像形成装置10によって送信されるようにしても良い。また、送受信部310により送信される第3制御情報は、画像形成装置10に送信することで画像形成装置10が第3制御情報を反映するようにしても良いし、端末装置TDに送信し、ユーザがこの端末装置TDが受信した情報を画像形成装置10に入力することで画像形成装置10に第3制御情報を反映するようにしても良い。
【0095】
記憶部320は、サーバ装置300内の各種情報を記憶するための記憶領域を構成するものであり、学習済モデル記憶部321と、データセット記憶部322と、第3制御情報記憶部323とを含んでいる。学習済モデル記憶部321は、種々の実印刷物情報及び種々の画像形成装置に対応可能なように、複数の学習済モデルが記憶されている。尚、学習済モデル記憶部321に記憶されている複数の学習済モデルは、それぞれ第1の実施の形態における学習済モデルと同様、実印刷物APの特徴量情報と媒体情報とを入力して、差分制御情報(第4制御情報)を出力するものである。ここで、複数の学習済モデルは、印刷方式や機能等の異なる複数種類の画像処理装置に対応すべく、画像形成装置の種類に対応して準備することが好ましい。データセット記憶部322は、送受信部310で受信した、共通する実印刷物APに係る特徴量情報と媒体情報と第1制御情報とを1つのデータセットとして記憶したものである。第3制御情報記憶部323は、後述するデータ処理部330で出力された第3制御情報が記憶されたものである。
【0096】
データ処理部330は、送受信部310を介して送信されデータセット記憶部322に記憶された特定のデータセットと、学習済モデル記憶部321に記憶された複数の学習済モデルのうち、データセットの内容及び画像形成装置の種類等に基づいて特定される一の学習済モデルとを用い、この学習済モデルの入力層にデータセットを構成する各種情報を入力することで、差分制御情報としての二次転写電圧の差分値と定着温度の差分値を出力し、更に、この差分制御情報に前記第1制御情報を加算して得た第3制御情報としての二次転写電圧と定着温度とを出力するものである。
【0097】
学習済モデル修正部340は、送受信部310で受信したフィードバック情報に基づき、学習済モデル記憶部321内の対応する学習済モデルをより高精度とするべく修正するためのものである。フィードバック情報とは、データ処理部330によって出力された第3制御情報に基づいて再度印刷を行った結果、印刷不良が改善しなかった、あるいは別の印刷不良は発生した場合等に、端末装置TD及び/又は画像形成装置10から送信される情報である。学習済モデル修正部340では、このフィードバック情報を対応する学習済モデルに対する学習用のデータセットとして利用することで、一旦学習済モデル記憶部321に記憶された学習済モデルをも随時修正することを可能としている。
【0098】
本実施の形態に係るサーバ装置300によるデータ処理方法は、実印刷物情報の取得や第3制御情報の適用の際にインターネットを介した通信を利用すること以外は図6に示す方法と概ね同様であるので、ここでは説明を省略する。
【0099】
ここまで説明したように、第2の実施の形態では、サーバ装置300にデータ処理システムの機能を設けることにより、既存の画像形成装置に対しても本システムを容易に適用することが可能である。また、サーバ装置300に、学習済モデル修正部340を設けることにより、学習済モデルが随時更新可能となり、データ処理の精度が常に向上するため、常に最適なデータ処理の結果を提供することができる。
【0100】
[3.他の実施の形態]
[3-1.他の実施の形態1]
上述した第1の実施の形態では、機械学習装置100の適用形態として、画像形成装置10や通常のPCに内蔵されていても良いとした。これに限らず、機械学習に際し、特に入力パラメータが多数存在する場合には、その演算量は極めて多くなるため、通常の画像形成装置10に搭載されたCPUのみでは学習済モデルを生成するまでに長時間を要する可能性がある。したがって、機械学習装置100を画像形成装置10や通常のPCに内蔵する場合には、GPU等の高性能演算装置を追加する、あるいは機械学習時の演算をネットワークを介して接続された他のPCやサーバ装置の演算能力を活用する等、演算処理の時間を短縮するための処置を行うことが好ましい。
【0101】
[3-2.他の実施の形態2]
上述した第1の実施の形態における実印刷物情報取得部230の各構成における情報取得方法は、上記の方法に限定されない。具体的に例示すれば、特徴量情報取得部231は、スキャナ以外の撮像手段(例えば、スマートフォンに内蔵されたカメラ機能や、画像形成装置の排出口等に設置された画像読み取りセンサ)を用いて読み込まれた実印刷物APの画像データを、インターネット等を介して受信することで特徴量情報を取得しても良い。また、媒体情報取得部232は、印刷媒体PMの製品コードに代えて、表示・操作部210あるいは所定のアプリケーションを介して、ユーザが実測により取得した情報等をインタラクティブなプロセスを経て入力する、あるいは画像形成装置200側に印刷媒体PMの媒体情報を取得するための種々のセンサを採用することで、画像形成装置200内部で自動的に取得する等の方法により、媒体情報を取得しても良い。
【0102】
[3-3.他の実施の形態3]
上述した第1の実施の形態では、データ処理システムを構成する画像形成装置200を中間転写方式のフルカラーLEDプリンタとしたものについて例示を行ったが、プリンタに代えて、プリンタ以外の機能、例えばスキャナ機能やファクシミリ機能をさらに備えたデジタル複合機としてもよい。この場合は、デジタル複合機自体がスキャナ機能を備えていることから、特徴量情報の取得に際し、上述した外部のスキャナSCを利用する必要がない。したがって、この場合には完全なオフライン状態のデジタル複合機においても、第1の実施の形態に係るデータ処理システムを構成することができる。
【0103】
[3-4.他の実施の形態4]
上述した第2の実施の形態に係るデータ処理システムは、説明の便宜上、単一のサーバ装置300によって実現しているが、サーバ装置の数は限定されない。また、このデータ処理システムをクラウドサービスの形態で提供することも可能である。
【0104】
[3-5.他の実施の形態5]
上述した第1の実施の形態では、制御パラメータ(制御情報)の初回調整時に、従来の学習済モデルを利用し、以降の再調整時には、新たな学習済モデルを利用するようにした。これに限らず、例えば、制御パラメータの初回調整は、従来の学習済モデルを利用しない方法で行うようにしてもよい。具体的には、制御パラメータの初回調整はユーザに行わせるようにしてもよい。また制御パラメータの初回調整時に、従来の学習済モデルとは異なる既存の学習済モデルや、新たな学習済モデルを利用してもよい。
【0105】
また上述した第1の実施の形態では、学習済モデル選択部270が、制御パラメータの調整回数を記憶管理するようになっていて、1回目の制御パラメータ調整時には、従来の学習済モデルを選択し、2回目以降の制御パラメータ調整時には、新たな学習済モデルを選択するようにした。ここで例えば、学習済モデル選択部270が、画像形成装置200にこれから印刷する印刷媒体がセットされたタイミング(例えば今までセットされていた印刷媒体とは別の種類の印刷媒体がセットされたタイミング)で、制御パラメータの調整回数をリセットするようにしてもよい。この場合、学習済モデル選択部270は、画像形成装置200に印刷媒体がセットされた後、1回目の制御パラメータ調整時には、従来の学習済モデルを選択し、2回目以降の制御パラメータ調整時には、新たな学習済モデルを選択するようになる。
【0106】
またこれに限らず、表示・操作部210を介して、従来の学習済モデルを用いるようユーザに指示された場合に、学習済モデル選択部270が、従来の学習済モデルを選択し、新たな学習済モデルを用いるようユーザに指示された場合に、新たな学習済モデルを選択するようにしてもよい。
【0107】
[3-6.他の実施の形態6]
上述した第1の実施の形態では、状態変数に含まれる媒体情報に、印刷媒体のコーティングの有無、素材、厚さ、重量及び密度の5つの情報が含まれているとした。これに限らず、媒体情報には、これら5つの情報のうちの少なくとも1つが含まれていればよく、またこれら5つの情報以外の情報が含まれていてもよい。第2の実施の形態についても同様である。
【0108】
また上述した第1の実施の形態では、学習により調整される制御パラメータ(つまり学習済モデルに用いられる制御情報)が、二次転写ローラ44に印加する二次転写電圧と定着ローラ51の定着温度であるとした。これに限らず、二次転写電圧と定着温度のどちらか一方を調整するようにしてもよいし、二次転写電圧と定着温度以外の制御パラメータを一緒に調整するようにしてもよい。つまり、学習により調整される制御パラメータには、少なくとも二次転写電圧と定着温度のうちの1つが含まれていればよい。第2の実施の形態についても同様である。尚、画像形成装置10、200の転写方式が、感光体ドラムから印刷媒体に直接転写する方式の場合、学習により調整される制御パラメータは、二次転写電圧でなく、感光体ドラムから印刷媒体に直接転写する際の転写電圧となる。
【0109】
[3-7.他の実施の形態7]
さらに本発明は、上述した各実施の形態に限定されるものではない。すなわち本発明は、上述した各実施の形態の一部または全部を任意に組み合わせた実施の形態や、一部を抽出した実施の形態にもその適用範囲が及ぶものであり、本発明の主旨を逸脱しない範囲内で種々変更して実施することが可能である。そして、それらはすべて、本発明の技術思想に含まれるものである。
【産業上の利用可能性】
【0110】
本発明は、例えば、電子写真方式の画像形成装置などで広く利用することができる。
【符号の説明】
【0111】
10……画像形成装置、44……二次転写ローラ、51……定着ローラ、70……制御部、100……機械学習装置、110……状態変数取得部、120……教師データ取得部、130……学習済モデル生成部、140……記憶部、200……画像形成装置、220……出力制御部、230……実印刷物情報取得部、231……特徴量情報取得部、232……媒体情報取得部、233……第1の制御情報取得部、250……記憶部、251……学習済モデル記憶部、252……データセット記憶部、253……第3制御情報記憶部、260……データ処理部、270……学習済モデル選択部、300……サーバ装置、320……記憶部、330……データ処理部、340……学習済モデル修正部、AP……実印刷物、PM……印刷媒体。
図1
図2
図3
図4
図5
図6
図7
図8