特許 7529150 画像形成部の状態を推定する画像形成システム、画像形成方法、及び画像形成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-29

(45)【発行日】2024-08-06

(54)【発明の名称】画像形成部の状態を推定する画像形成システム、画像形成方法、及び画像形成プログラム

(51)【国際特許分類】

   G06N 3/088 20230101AFI20240730BHJP

   G06N 20/00 20190101ALI20240730BHJP

   G03G 21/00 20060101ALN20240730BHJP

【ＦＩ】

G06N3/088

G06N20/00 160

G03G21/00 512

【請求項の数】 9

(21)【出願番号】P 2023520896

(86)(22)【出願日】2022-03-24

(86)【国際出願番号】 JP2022014104

(87)【国際公開番号】W WO2022239516

(87)【国際公開日】2022-11-17

【審査請求日】2023-10-30

(31)【優先権主張番号】P 2021082550

(32)【優先日】2021-05-14

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000006150

【氏名又は名称】京セラドキュメントソリューションズ株式会社

(74)【代理人】

【識別番号】110003443

【氏名又は名称】弁理士法人ＴＮＫアジア国際特許事務所

(72)【発明者】

【氏名】宮地 直也

【審査官】大倉 崚吾

(56)【参考文献】

【文献】特開２０１１－０８６１３２（ＪＰ，Ａ）

【文献】特開平９－１７９４５８（ＪＰ，Ａ）

【文献】特開平８－００６３２４（ＪＰ，Ａ）

【文献】島田敦士 ほか，"自己組織化マップにおける追加学習の実現法"，九州大学大学院システム情報科学紀要 [online]，2007年，Vol. 12，No. 1，p. 49-54，［2024年06月17日検索］，インターネット＜ＵＲＬ：https://catalog.lib.kyushu-u.ac.jp/opac_detail_md/?lang=0&amode=MD100000&bibid=1517818＞

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０３Ｇ ２１／００

(57)【特許請求の範囲】

【請求項1】

画像を形成するための画像形成部と、
前記画像形成部の複数の状態量を計測する状態計測部と、
前記複数の状態量である学習データに基づいて、入力層と複数のノードを有する出力層とを有し、前記画像形成部を分類するための自己組織化マップを生成する学習処理部と、
前記自己組織化マップを使用して前記画像形成部を分類することによって、前記画像形成部の状態を推定する状態推定部と、
を備え、
前記学習処理部は、前記学習データのうちの時系列的に先に取得した第１の学習データと、時系列的に後に取得した第２の学習データとを用い、前記第１の学習データを使用するバッチ処理によって前記複数のノードのそれぞれのヒット数である第１のヒット数を取得するとともに第１の自己組織化マップを生成し、前記第１の自己組織化マップと前記第２の学習データとを使用するバッチ処理によって前記複数のノードのそれぞれのヒット数である第２のヒット数を取得するとともに前記第１の自己組織化マップを更新することによって第２の自己組織化マップを生成し、
前記更新では、前記複数のノード毎における前記第１の自己組織化マップと更新対象である自己組織化マップの間のユークリッド距離と前記第１のヒット数の積と、前記複数のノード毎における前記第２の学習データと前記更新対象である自己組織化マップの間のユークリッド距離と前記第２のヒット数の積とに基づいて更新量を調整する画像形成システム。

【請求項2】

前記学習処理部を有し、通信可能なサポート用コンピュータと、
前記画像形成部と、前記状態計測部と、前記サポート用コンピュータと通信可能な通信インターフェースとを有し、前記通信インターフェースを介して、前記サポート用コンピュータに前記複数の状態量である学習データを送信し、前記サポート用コンピュータから前記第２の自己組織化マップを受信する複数の画像形成装置と、
を備える、請求項１記載の画像形成システム。

【請求項3】

前記画像形成装置はそれぞれに、前記通信インターフェースを介した、前記サポート用コンピュータへの前記学習データの送信を、(i)予め定められた時間毎に、又は(ii)前記画像形成部が備える前記状態の推定の対象となる部品が交換された時、に行われる、請求項２記載の画像形成システム。

【請求項4】

前記サポート用コンピュータは、クラウドコンピューティングによって構成されている、請求項２記載の画像形成システム。

【請求項5】

前記学習処理部は、前記第１の自己組織化マップと更新対象である自己組織化マップの間のユークリッド距離と前記第１のヒット数の積と、前記第２の学習データと前記更新対象である自己組織化マップの間のユークリッド距離と前記第２のヒット数の積とを含む負の値を有する目的関数を最大化するように前記更新を実行する、請求項１に記載の画像形成システム。

【請求項6】

前記学習処理部は、前記第１の自己組織化マップの複数のノードのうちの一部のノードに対応する学習データを使用して前記第１の自己組織化マップよりも部分的に解像度が高い第１の高解像度自己組織化マップを生成し、前記第１の高解像度自己組織化マップに対して前記更新を実行することによって第２の高解像度自己組織化マップを生成する、請求項１に記載の画像形成システム。

【請求項7】

前記複数の状態量は、感光体ドラムの総走行距離と、露光量と、画像形成濃度と、画像形成量とを含み、
前記状態推定部は、前記感光体ドラムの状態を推定する、請求項１に記載の画像形成システム。

【請求項8】

画像を形成するための画像形成部の複数の状態量を計測する状態計測工程と、
前記複数の状態量である学習データに基づいて、入力層と複数のノードを有する出力層とを有し、前記画像形成部を分類するための自己組織化マップを生成する学習処理工程と、
前記自己組織化マップを使用して前記画像形成部を分類することによって、前記画像形成部の状態を推定する状態推定工程と、
を備え、
前記学習処理工程は、前記学習データのうちの時系列的に先に取得した第１の学習データと、時系列的に後に取得した第２の学習データとを用い、前記第１の学習データを使用するバッチ処理によって前記複数のノードのそれぞれのヒット数である第１のヒット数を取得するとともに第１の自己組織化マップを生成し、前記第１の自己組織化マップと前記第２の学習データとを使用するバッチ処理によって前記複数のノードのそれぞれのヒット数である第２のヒット数を取得するとともに前記第１の自己組織化マップを更新することによって第２の自己組織化マップを生成する工程を含み、
前記更新では、前記複数のノード毎における前記第１の自己組織化マップと更新対象である自己組織化マップの間のユークリッド距離と前記第１のヒット数の積と、前記複数のノード毎における前記第２の学習データと前記更新対象である自己組織化マップの間のユークリッド距離と前記第２のヒット数の積とに基づいて更新量を調整する画像形成方法。

【請求項9】

第１プログラム及び第２プログラムを備える画像形成プログラムであって、
前記第１プログラムは、サポート用コンピュータに備えられる第１プロセッサーを、画像を形成するための画像形成部の複数の状態量である学習データに基づいて、入力層と複数のノードを有する出力層とを有し、前記画像形成部を分類するための自己組織化マップを生成する学習処理部として機能させ、
更に、前記第２プログラムは、画像形成装置に備えられる第２プロセッサーを、前記自己組織化マップを使用して前記画像形成部を分類することによって、前記画像形成部の状態を推定する状態推定部として機能させ、
前記学習処理部は、前記学習データのうちの時系列的に先に取得した第１の学習データと、時系列的に後に取得した第２の学習データとを用い、前記第１の学習データを使用するバッチ処理によって前記複数のノードのそれぞれのヒット数である第１のヒット数を取得するとともに第１の自己組織化マップを生成し、前記第１の自己組織化マップと前記第２の学習データとを使用するバッチ処理によって前記複数のノードのそれぞれのヒット数である第２のヒット数を取得するとともに前記第１の自己組織化マップを更新することによって第２の自己組織化マップを生成し、
前記更新では、前記複数のノード毎における前記第１の自己組織化マップと更新対象である自己組織化マップの間のユークリッド距離と前記第１のヒット数の積と、前記複数のノード毎における前記第２の学習データと前記更新対象である自己組織化マップの間のユークリッド距離と前記第２のヒット数の積とに基づいて更新量を調整する。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像形成部の状態を推定する画像形成システム、画像形成方法、及び画像形成プログラムに関し、特に機械学習を利用する状態推定技術に関する。

【背景技術】

【0002】

画像形成装置（たとえばプリンター、多機能プリンター、又は複合機（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）のメインテナンスでは、その内部装置（たとえば感光体）の状態を正確に推定することが望まれる。このような問題に対し、特許文献１は、感光体ドラムの寿命を算出し、感光体ドラムの寿命を検知する寿命カウンタと、感光体ドラム１に当接する当接部材の装着の有無を検知する当接部材検知手段とを備え、当接部材検知手段の検知結果に基づき、感光体ドラムの寿命の算出方法を変更する技術を提案している。これにより、特許文献１は、市場のニーズに合わせて画像形成装置の部品が生産後に追加や変更された場合であっても、寿命カウンタにより適正な寿命の到来を検知することができるとしている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－５７４２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述の技術は、単一の状態量である寿命カウンタの値を使用して寿命の到来を予測して感光体の適切な交換を可能とするに留まり、感光体の状態に応じて画像形成装置自身で行う自己修復機能の利用可能性といった対策や感光体の状態に応じた適切な対応が求められるサービスマンに対する感光体の状態の提供が困難である。このような問題は、たとえば複数の状態量を使用して感光体の状態を推定可能な機械学習による対策も考えられる。ところが、機械学習にもさまざまな種類があり、画像形成装置の運用に対して適切な人工知能の種類の選択及び適用方法は十分に検討されていなかった。

【0005】

本発明は、このような状況に鑑みてなされたものであり、機械学習を利用して画像形成装置の内部状態の推定を効率的かつ効果的に実現するための技術を提供することを目的とする。

【0006】

本発明の一局面として、上記技術を更に改良した技術を提案する。
本発明の一局面に係る画像形成システムは、画像形成部と、状態計測部と、学習処理部と、状態推定部とを備える。前記画像形成部は、画像を形成する。前記状態計測部は、前記画像形成部の複数の状態量を計測する。前記学習処理部は、前記複数の状態量である学習データに基づいて、入力層と複数のノードを有する出力層とを有し、前記画像形成部を分類するための自己組織化マップを生成する。前記状態推定部は、前記自己組織化マップを使用して前記画像形成部を分類することによって、前記画像形成部の状態を推定する。更に、前記学習処理部は、前記学習データのうちの時系列的に先に取得した第１の学習データと、時系列的に後に取得した第２の学習データとを用い、前記第１の学習データを使用するバッチ処理によって前記複数のノードのそれぞれのヒット数である第１のヒット数を取得するとともに第１の自己組織化マップを生成し、前記第１の自己組織化マップと前記第２の学習データとを使用するバッチ処理によって前記複数のノードのそれぞれのヒット数である第２のヒット数を取得するとともに前記第１の自己組織化マップを更新することによって第２の自己組織化マップを生成する。前記更新では、前記複数のノード毎における前記第１の自己組織化マップと更新対象である自己組織化マップの間のユークリッド距離と前記第１のヒット数の積と、前記複数のノード毎における前記第２の学習データと前記更新対象である自己組織化マップの間のユークリッド距離と前記第２のヒット数の積とに基づいて更新量を調整する。

【0007】

本発明の一局面に係る画像形成方法は、画像を形成するための画像形成部の複数の状態量を計測する状態計測工程と、前記複数の状態量である学習データに基づいて、入力層と複数のノードを有する出力層とを有し、前記画像形成部を分類するための自己組織化マップを生成する学習処理工程と、前記自己組織化マップを使用して前記画像形成部を分類することによって、前記画像形成部の状態を推定する状態推定工程と、備え、前記学習処理工程は、前記学習データのうちの時系列的に先に取得した第１の学習データと、時系列的に後に取得した第２の学習データとを用い、前記第１の学習データを使用するバッチ処理によって前記複数のノードのそれぞれのヒット数である第１のヒット数を取得するとともに第１の自己組織化マップを生成し、前記第１の自己組織化マップと前記第２の学習データとを使用するバッチ処理によって前記複数のノードのそれぞれのヒット数である第２のヒット数を取得するとともに前記第１の自己組織化マップを更新することによって第２の自己組織化マップを生成する工程を含み、前記更新では、前記複数のノード毎における前記第１の自己組織化マップと更新対象である自己組織化マップの間のユークリッド距離と前記第１のヒット数の積と、前記複数のノード毎における前記第２の学習データと前記更新対象である自己組織化マップの間のユークリッド距離と前記第２のヒット数の積とに基づいて更新量を調整する画。

【0008】

本発明の一局面に係る画像形成プログラムは、第１プログラム及び第２プログラムを備える画像形成プログラムである。前記第１プログラムは、サポート用コンピュータに備えられる第１プロセッサーを、画像を形成するための画像形成部の複数の状態量である学習データに基づいて、入力層と複数のノードを有する出力層とを有し、前記画像形成部を分類するための自己組織化マップを生成する学習処理部として機能させる。更に、前記第２プログラムは、画像形成装置に備えられる第２プロセッサーを、前記自己組織化マップを使用して前記画像形成部を分類することによって、前記画像形成部の状態を推定する状態推定部として機能させる。前記学習処理部は、前記学習データのうちの時系列的に先に取得した第１の学習データと、時系列的に後に取得した第２の学習データとを用い、前記第１の学習データを使用するバッチ処理によって前記複数のノードのそれぞれのヒット数である第１のヒット数を取得するとともに第１の自己組織化マップを生成し、前記第１の自己組織化マップと前記第２の学習データとを使用するバッチ処理によって前記複数のノードのそれぞれのヒット数である第２のヒット数を取得するとともに前記第１の自己組織化マップを更新することによって第２の自己組織化マップを生成する。前記更新では、前記複数のノード毎における前記第１の自己組織化マップと更新対象である自己組織化マップの間のユークリッド距離と前記第１のヒット数の積と、前記複数のノード毎における前記第２の学習データと前記更新対象である自己組織化マップの間のユークリッド距離と前記第２のヒット数の積とに基づいて更新量を調整する。

【発明の効果】

【0009】

本発明によれば、機械学習を利用して画像形成装置の内部状態の推定を効率的かつ効果的に実現するための技術を提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１実施形態に係る画像形成システム１０の機能構成を示すブロックダイアグラムである。

【図2】第１実施形態に係る学習システムの構成を示す説明図である。

【図3】比較例に係る自己組織化マップ生成処理の内容を示すフローチャートである。

【図4】比較例に係る自己組織化マップ生成処理の構成を示す説明図である。

【図5】比較例に係る自己組織化マップ生成処理で使用される数式を示す説明図である。

【図6】比較例に係る自己組織化マップの内容を示す表である。

【図7】比較例で生成される自己組織化マップの概要を示す説明図である。

【図8】第１実施形態に係る追加学習の概要を示す説明図である。

【図9】第１実施形態に係るに係る追加学習処理を示すフローチャートである。

【図10】第１実施形態に係る追加学習処理の構成を示す説明図である。

【図11】第１実施形態に係る追加学習処理で使用される数式を示す説明図である。

【図12】第１実施形態で生成される自己組織化マップの概要を示す説明図である。

【図13】第２実施形態に係る自己組織化マップ生成処理の構成を示す説明図である。

【図14】第２実施形態に係る自己組織化マップ生成処理の内容を示すフローチャートである。

【図15】第２実施形態に係る高分解能学習処理及び状態推定処理を示す説明図である。

【図16】第２実施形態に係る自己組織化マップ生成処理の構成を示す説明図である。

【発明を実施するための形態】

【0011】

以下、本発明の一局面としての実施形態に係る画像形成部の状態を推定する画像形成システム、画像形成方法、及び画像形成プログラムについて図面を参照して説明する。

【0012】

以下、本発明を実施するための形態（以下、「実施形態」という）を、図面を参照して以下の順序で説明する。
Ａ．第１実施形態：
Ｂ．第２実施形態：
Ｃ．変形例：

【0013】

Ａ．第１実施形態：
図１は、本発明の第１実施形態に係る画像形成システム１０の機能構成を示すブロックダイアグラムである。画像形成システム１０は、複合機（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ：ＭＦＰ）としての画像形成装置１００と、複数のパーソナルコンピュータ（単にＰＣとも呼ばれる。）３００とを備えている。画像形成システム１０は、ローカルエリアネットワーク（単にネットワークとも呼ばれる。）ＬＡＮを構成するハブ５００及びルーター６００と、インターネットとを介してサポートサーバ７００に接続されている。サポートサーバ７００は、学習処理部７１０を有し、サポート用コンピュータとも呼ばれる。

【0014】

図２は、第１実施形態に係る学習システム１０の構成を示す説明図である。画像形成システム１０は、エッジコンピューティングを採用する学習システムとして機能し、ローカルとしてのエッジ（複数の画像形成装置１００）でセンサー情報を収集し、学習済みデータを使用して処理及び分析する分散コンピューティング環境をベースとしている。一方、サポートサーバ７００は、クラウドコンピューティングによって構成されている。

【0015】

サポートサーバ７００は、エッジ（多数の画像形成装置１００）で収集されたセンサー情報をビッグデータとして格納することが可能である。サポートサーバ７００の学習処理部７１０は、たとえば大規模並列化ソフトウェアで学習処理を実行して状態推定モデルとして自己組織化マップＭ（Ｓｅｌｆ Ｏｒｇａｎｉｚｉｎｇ Ｍａｐ：ＳＯＭ）を生成することができる。サポートサーバ７００は、エッジ（多数の画像形成装置１００）に学習済みデータとして状態推定モデルをダウンロード（多数の画像形成装置１００が受信）する。状態推定モデルは、自己組織化マップＭ（図６参照）としての学習済みデータである。

【0016】

サポートサーバ７００は、更に記憶部７３０を備える。記憶部７３０は、非一時的な記録媒体であるハードディスクドライブやフラッシュメモリー等からなる記憶装置で、第１制御ユニット７２０が実行する処理の制御プログラム（画像形成プログラムの一部を構成する第２プログラムを含む。）やデータを記憶する。

【0017】

サポートサーバ７００は、第１制御ユニット７２０を備えている。第１制御ユニット７２０は、ＲＡＭやＲＯＭ等の主記憶手段、及びＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や、第１プロセッサーの一例であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の制御手段を備えている。また、第１制御ユニット７１０は、各種Ｉ／Ｏ、ＵＳＢ（ユニバーサル・シリアル・バス）、バス、その他ハードウェア等のインターフェースに関連するコントローラ機能を備え、サポートサーバ７００全体を制御する。

【0018】

第１制御ユニット７２０は、上記学習処理部７１０を備える。例えば、第１制御ユニット７２０は、上記第１プロセッサーが上記第１プログラムに従って動作することで、学習処理部７１０として機能する。上記第１プログラム及び後述する第２プログラムが画像形成プログラムを構成する。

【0019】

画像形成装置１００は、制御ユニット１１０と、画像形成部１２０と、記憶部１４０と、画像読取部１５０と、通信インターフェース部１６０（通信Ｉ／Ｆとも呼ばれる。）とを備えている。画像読取部１５０は、原稿から画像を読み取ってデジタルデータである画像データＩＤを生成する。画像形成装置１００は、通信インターフェース部１６０とＬＡＮとを介して複数のパーソナルコンピュータ３００に接続されている。通信インターフェース部１６０は、サポートサーバ７００と通信可能に構成されている。

【0020】

パーソナルコンピュータ３００は、画像形成装置１００に対して印刷ジョブを送信し、画像形成装置１００に画像形成処理を実行させることができる。印刷ジョブは、たとえばページ記述言語（ＰＤＬ）で記述することができる。制御ユニット１１０は、ページ記述言語で記述された印刷ジョブを解析して、印刷ジョブに含まれるテキスト（文字）やイメージ、ベクターグラフィックスといったオブジェクトを抽出し、描画処理やフォント処理を実行する。印刷ジョブは、画像形成ジョブとも呼ばれる。

【0021】

画像形成部１２０は、色変換処理部１２１と、ハーフトーン処理部１２２と、露光部１２４と、アモルファスシリコン感光体である感光体ドラム（像担持体）１２３ｃ～１２３ｋと、現像部１２５ｃ～１２５ｋと、帯電部１２６ｃ～１２６ｋと、状態センサー１２７とを有している。色変換処理部１２１は、ＲＧＢ画像データである画像データＩＤや印刷ジョブ内のＲＧＢ画像データをＣＭＹＫデータに色変換する。ハーフトーン処理部１２２は、ＣＭＹＫデータにハーフトーン処理を実行してＣＭＹＫのハーフトーンデータとして印刷データＰＤを生成する。ハーフトーンデータは、ＣＭＹＫの各トナーによって形成されるドットの形成状態を表し、ドットデータとも呼ばれる。

【0022】

状態センサー１２７は、状態計測部として機能し、上述のセンサー情報として、画像形成装置１００の内部状態、すなわち、画像形成装置１００の内部の温度や湿度、画像形成部１２０の各感光体ドラム１２３ｃ～１２３ｋの総回転数（総走行距離の一例）ｘ１、露光部１２４の露光量ｘ２、及び画像形成部１２０によるパッチ濃度（画像形成濃度の一例）ｘ３及び印刷枚数（画像形成量の一例）ｘ４等を計測することができる。この例では、状態センサー１２７は、各感光体ドラム１２３は、入力データの空間であるデータ空間の状態量として、Ｎ次元（この例では４次元）の特徴ベクトルＸ（ｘ１、ｘ２、ｘ３、ｘ４）を取得することが可能である。すなわち、状態センサー１２７は、温度計と、湿度計と、感光体ドラム１２３ｃ～１２３ｋの総回転数を計測する光学センサーと、露光部１２４の露光量、画像形成部１２０によるパッチ濃度、及び印刷枚数を計測する制御ユニット１１０により構成される。

【0023】

記憶部１４０は、非一時的な記録媒体であるハードディスクドライブやフラッシュメモリー等からなる記憶装置で、制御ユニット１１０が実行する処理の制御プログラム（画像形成プログラムの一部を構成する第１プログラムを含む。）やデータを記憶する。記憶部１４０は、本実施形態では、さらにセンサー情報格納領域Ｒ１及び学習済みモデル格納領域Ｒ２を有している。

【0024】

制御ユニット（第２制御ユニット）１１０は、ＲＡＭやＲＯＭ等の主記憶手段、及びＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や、第２プロセッサーの一例であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の制御手段を備えている。また、制御ユニット１１０は、各種Ｉ／Ｏ、ＵＳＢ（ユニバーサル・シリアル・バス）、バス、その他ハードウェア等のインターフェースに関連するコントローラ機能を備え、画像形成装置１００全体を制御する。

【0025】

制御ユニット１１０は、学習データ処理部１１１と状態推定部１１２とを備える。例えば、制御ユニット１１０は、上記第２プロセッサーが上記第２プログラムに従って動作することで、学習データ処理部１１１と状態推定部１１２として機能する。学習データ処理部１１１は、状態センサー１２７から取得した特徴ベクトルＸ（ｘ１、ｘ２、ｘ３、ｘ４）をサポートサーバ７００にアップロードする。状態推定部１１２は、サポートサーバ７００からダウンロードした自己組織化マップＭを使用するクラスタリング処理を通じて、画像形成装置１００の内部状態の推定を実現することができる。自己組織化マップの生成機能は、サポートサーバ７００において、たとえばＰｙｔｈｏｎやＴｅｎｓｏｒｆｌｏｗといったツールやライブラリを使用して実装することができる。

【0026】

図３は、比較例に係る自己組織化マップ生成処理の内容を示すフローチャートである。図４は、比較例に係る自己組織化マップ生成処理の構成を示す説明図である。図５は、比較例に係る自己組織化マップの内容を示す表である。自己組織化マップ（Ｓｅｌｆ－Ｏｒｇａｎｉｚｉｎｇ Ｍａｐ：ＳＯＭ）は、コホネン（Ｔ．Ｋｏｈｏｎｅｎ）により提案された教師なしのニューラルネットワークアルゴリズムで、たとえば２次元平面上へ高次元データを非線形写像するデータ解析方法である。本アルゴリズムは、教師なしのニューラルネットワークアルゴリズムなので、教師を準備することなく簡易に実装可能であるという利点を有している。

【0027】

ステップＳ１１０ｃでは、画像形成システム１０は、入力データ蓄積処理を実行する。入力データ蓄積処理では、画像形成装置１００が有する制御ユニット１１０の学習データ処理部１１１は、所定の間隔としての第１の間隔（たとえば１週間）で状態センサー１２７を使用して特徴ベクトルＸ（ｘ１、ｘ２、ｘ３、ｘ４）を含む複数の状態量を取得し、記憶部１４０のセンサー情報格納領域Ｒ１に格納する。

【0028】

学習データ処理部１１１は、第１の間隔よりも長い所定の間隔としての第２の間隔（たとえば１か月）でセンサー情報格納領域Ｒ１から特徴ベクトルＸを含む複数の状態量を読み出して、サポートサーバ７００にアップロードする。学習処理部７１０は、予め設定されている量、すなわち自己組織化マップの生成のための学習に十分な量の学習データとしての特徴ベクトルＸを含む複数の状態量が複数の画像形成装置１００から集まったと判断した時点で、処理をステップＳ１２０ｃに進める。

【0029】

ステップＳ１２０ｃでは、サポートサーバ７００の学習処理部７１０は、入出力層設定処理を実行する。この例では、学習処理部７１０は、複数の状態量から特徴ベクトルＸを自己組織化マップの入力層に設定し、その写像対象空間であるマップ空間の各点を特定する１６個のノードを有する出力層を設定するものとする。この例では、学習処理部７１０は、マップ空間として４×４の２次元マップを設定する。

【0030】

自己組織化マップは、図４に示されるように、入力層と出力層とにより構成された２層のニューラルネットワークである。出力層の各ノードは、入力層におけるＮ次元（この例では４次元）の特徴ベクトルのすべての変数（ｘ１、ｘ２、ｘ３、ｘ４）とリンクしているＮ次元の重みベクトルＹ（ｙ１、ｙ２、ｙ３、ｙ４）を有している。

【0031】

ステップＳ１３０ｃでは、学習処理部７１０は、初期設定処理を実行する。初期設定処理では、学習処理部７１０は、たとえば乱数を使用して重みベクトルＹ（ｙ１、ｙ２、ｙ３、ｙ４）を設定する。この例では、乱数を使用して各リンクの重みＹの初期値が設定されているが、学習効率の観点から、たとえば過去の類似機種の学習済みデータや別の解析方法で設定されたデータを使用して各リンクの重みＹの初期値を設定するようにしてもよい。重みベクトルＹは、学習処理によって更新対象となるベクトルである。

【0032】

ステップＳ１４０では、学習処理部７１０は、勝者ノード決定処理を実行する。勝者ノード決定処理では、学習処理部７１０は、複数の画像形成装置１００から集められた学習データとしての特徴ベクトル（ｘ１、ｘ２、ｘ３、ｘ４）を入力データとして勝者ノードを決定する。勝者ノードは、入力データの特徴ベクトルＸ（ｘ１、ｘ２、ｘ３、ｘ４）にユークリッド距離が最も近い重みベクトルＹを有するノードとして選択される。

【0033】

ステップＳ１５０ｃでは、学習処理部７１０は、重みベクトル更新処理を実行する。重みベクトル更新処理では、学習処理部７１０は、予め設定されている所定の更新式を使用して勝者ノードの重みベクトルＹと、勝者ノードの近傍のノードである近傍ノードの重みベクトルＹとを全学習データを使用して所定の回数だけ繰り返して更新する。

【0034】

更新は、勝者ノードの重みベクトルＹと近傍ノードの重みベクトルＹとを入力データの特徴ベクトルＸ（ｘ１、ｘ２、ｘ３、ｘ４）に近づけるように行われる。更新量は、勝者ノードの重みベクトルＹの更新量が最も大きく、勝者ノードに近いノードほど、近傍ノードの重みベクトルＹの更新量が勝者ノードの重みベクトルＹの更新量に近づくように設定される。勝者ノード及び近傍ノードは、更新対象ノードとも呼ばれる。

【0035】

図５は、比較例に係る自己組織化マップ生成処理で使用される数式を示す説明図である。数式１ｃは、自己組織化マッピングのアルゴリズムで使用される目的関数Ｆｃである。自己組織化マッピングは、負の値を有する目的関数Ｆｃを最大化するように処理される。すなわち、自己組織化マッピングは、入力データの特徴ベクトルＸと更新対象ノードとの間のユークリッド距離が小さくなるように処理されることになる。

【0036】

数式２ｃは、数式１ｃを重みベクトルＹで偏微分することによって導出された偏微分方程式である。数式３ｃは、偏微分方程式（数式２ｃ）の解として導出される更新式である。更新式３ｃは、更新対象ノードの重みベクトルＹを入力データの特徴ベクトルＸに近づけるように更新する式である。このような勝者ノード決定処理（ステップＳ１４０）及び重みベクトル更新処理（ステップＳ１５０）は、バッチ処理で実行されるので、オンライン学習と比較してトータルの処理量を低減し、安定した状態推定を実現することができる。

【0037】

ステップＳ１６０では、学習処理部７１０は、状態推定モデルを出力する。状態推定モデルは、出力層の全ノード（この例では、１６個のノード）の重みベクトルＹとして構成される。サポートサーバ７００は、複数の画像形成装置１００に対して学習済みの状態推定モデルが利用可能であることを通知し、画像形成装置１００からの要求に応じて状態推定モデルをダウンロードする。複数の画像形成装置１００は、記憶部１４０の学習済みモデル格納領域Ｒ２に状態推定モデルを格納する。

【0038】

図６は、比較例に係る自己組織化マップの内容を示す表である。この例では、状態推定モデルＭ（自己組織化マップ）は、感光体ドラム１２３の複数の状態量（入力データ）と、感光体ドラム１２３の推定状態とを出力層のノード毎に示す表として構成されている。状態推定モデルＭにおいて、入力データの「小」や「普通」、「低い」といった記載は、説明を分かりやすくするための表現であり、現実には、正規化された０乃至１の値が入る。

【0039】

複数の画像形成装置１００の制御ユニット１１０が有する状態推定部１１２は、学習済みモデル格納領域Ｒ２に格納した状態推定モデルＭを使用し、状態センサー１２７を使用して取得した複数の状態量としての最新の特徴ベクトルＸ（ｘ１、ｘ２、ｘ３、ｘ４）、すなわち、総走行距離ｘ１、露光量ｘ２、印刷濃度ｘ３及び印刷枚数ｘ４に基づいて感光体ドラム１２３の状態を推定（診断）することができる。具体的には、状態推定部１１２は、たとえば走行距離ｘ１が多く、露光量ｘ２が小さく、印刷濃度ｘ３及び印刷枚数ｘ４が普通である場合には、ノード９に該当し、感光体ドラム１２３の状態が「普通」であることを特定することができる。

【0040】

図７は、比較例で生成される自己組織化マップの概要を示す説明図である。図７（ａ）は、比較例に係る学習結果としての自己組織化マップの様子を示している。図７（ａ）は、状態推定モデルＭを２次元のマップでイメージとして概念的に示している。この例では、学習処理部７１０によるクラスタリングは、状態推定モデルＭのノード１乃至８を状態Ａのクラスターに分類し、ノード９乃至１２を状態Ｂのクラスターに分類し、ノード１３及び１４を状態Ｃのクラスターに分類し、ノード１５を状態Ｄのクラスターに分類し、ノード１６を状態Ｅのクラスターに分類している。

【0041】

図７（ｂ）は、比較例に係る追加学習結果としての自己組織化マップの様子を示している。比較例に係る追加学習は、状態推定モデルＭを前回学習結果とし、重みベクトルＹの初期値として利用し、比較例に係るバッチ型学習処理（図３）のフローチャートによる学習処理である。図７（ｂ）のクラスタリング結果から分かるように、前回の学習結果から大きくクラスターの位相が変化し、クラスターの相互の位置関係が変化している。この理由は、追加学習時の重み更新式３ｃにおいて前回の学習結果が寄与しないからである。このような問題を解決するために、本願発明者は、以下のような新規な構成を創作した。

【0042】

図８は、第１実施形態に係る追加学習処理の概要を示す説明図である。図９は、第１実施形態に係るに係る追加学習処理を示すフローチャートである。図１０は、第１実施形態に係る追加学習処理の構成を示す説明図である。第１実施形態に係る追加学習処理は、各ノードが勝者となった数、すなわちノードヒット数を、学習量を表す指標と捉え、ノードヒット数に基づいて重みづけを行う追加学習処理を創作した。

【0043】

ステップＳ１１０では、学習処理部７１０は、状態推定モデルＭの生成に使用される第１の学習データ（時系列的に先に取得）よりも時系列に後に取得した第２の学習データとして、特徴ベクトルＸ（ｘ１、ｘ２、ｘ３、ｘ４）を含む複数の状態量を複数の画像形成装置１００から取得する。前回の学習処理で生成された状態推定モデルＭは、第１の自己組織化マップとも呼ばれる。

【0044】

ステップＳ１２０では、学習処理部７１０は、入出力層設定処理を実行する。入出力層設定処理では、原則として前回の学習と同一の構成を採用するものとする。ただし、感度分析の結果として、特徴ベクトルＸ（ｘ１、ｘ２、ｘ３、ｘ４）のうちの低感度の変数の削除や新たな変数の追加や入れ替えも可能である。

【0045】

ステップＳ１３０では、学習処理部７１０は、初期設定処理を実行する。初期設定処理では、学習処理部７１０は、原則として状態推定モデルＭを初期状態として設定する。ただし、学習処理部７１０は、変数の削除や追加、入れ替えといった変更に応じて初期設定の内容を変更することもできる。

【0046】

ステップＳ１４０では、学習処理部７１０は、勝者ノード決定処理を実行する。勝者ノード決定処理の内容は、比較例の処理と同一である。ステップＳ１４１では、学習処理部７１０は、比較例と相違し、ノードヒットカウント処理を実行する。ノードヒットカウント処理では、学習処理部７１０は、各ノードが勝者となった数をノード毎にバッチ処理中にカウントする。

【0047】

ステップＳ１５０では、学習処理部７１０は、重みベクトル更新処理を実行する。ただし、第１実施形態に係るベクトル更新処理（ステップＳ１５０）は、重み更新式が数式３ｃ（図７）から数式３（図１１）に変更されている点で比較例の重みベクトル更新処理（ステップＳ１５０ｃ）と相違している。

【0048】

図１１は、第１実施形態に係る追加学習処理で使用される数式を示す説明図である。数式１は、追加学習における自己組織化マッピングのアルゴリズムの目的関数Ｆである。目的関数Ｆの第１項Ｔ１は、追加学習分の目的関数、すなわち目的関数Ｆへの追加学習の寄与を表している。目的関数Ｆの第２項Ｔ２は、前回学習分の目的関数、すなわち目的関数Ｆへの前回学習の寄与を表している。

【0049】

目的関数Ｆの第１項Ｔ１は、更新対象の自己組織化マップのノード毎において、追加学習データ（第２の学習データ）のノードヒット数Ｓと、追加学習データと更新対象の自己組織化マップとの間のユークリッド距離との積を含んでいる。一方、目的関数Ｆの第２項Ｔ２は、更新対象の自己組織化マップのノード毎において、前回学習データ（第１の学習データ）のノードヒット数Ｒと、前回学習済みの自己組織化マップと更新対象の自己組織化マップとの間のユークリッド距離との積を含んでいる。

【0050】

前回学習データのノードヒット数Ｒは第１のヒット数とも呼ばれる。追加学習データのノードヒット数Ｓは第２のヒット数とも呼ばれる。したがって、更新対象ノードの重みベクトルＹの更新量は、第１のヒット数と第２のヒット数と前回学習データとによって調整されることになる。

【0051】

数式２は、数式１を重みベクトルＹで偏微分することによって導出された偏微分方程式である。数式３は、偏微分方程式（数式２）の解として導出される更新式である。更新式３は、ノード毎に追加学習データの学習量と前回学習データの学習量に基づく寄与率を考慮し、更新対象ノードの重みベクトルＹを入力データの特徴ベクトルＸに近づけるように更新する式である。

【0052】

数式３は以下のように解釈することもできる。すなわち、数式３によれば、ノードヒット数Ｓ，Ｒから重みベクトルＹに対する追加学習データＸと、学習済重みベクトルｗの寄与率を調整することが可能となる。具体的には、前回学習データのノードヒット数Ｒが０の場合、すなわち、前回学習を行っていない初回学習時の条件では、学習時のノードヒット数Ｓが相殺され、数式３は、比較例の数式３ｃの更新式と同一となることが分かる。

【0053】

一方、数式３によれば、追加学習時のノードヒット数が急激に増加した場合、前回学習時の重みベクトルｗの寄与率が低下し、自己組織化モデルの再構築となることを意味する。数式３によれば、追加学習ノードヒット数が一定数Ａで増加する場合、追加学習時の追加学習ノードヒット数Ｓと、前回学習時のノードヒット数Ｒの割合はＡ：Ａとなるので追加学習データの寄与率は、１／２（＝Ａ／２Ａ）となる。次の３回目は、Ａ：２Ａとなるので寄与率は、１／３（＝Ａ／３Ａ）となり、追加学習データへの寄与率は徐々に低下していくことになる。さらに、追加学習データＸに前回学習済データセットは含まれていないため、追加学習データのみのデータセットで追加学習が可能である。よって、学習データセットの肥大化、及び追加学習処理時間を抑制することができる。

【0054】

図１２は、第１実施形態で生成される自己組織化マップの概要を示す説明図である。この例では、学習処理部７１０によるクラスタリングは、状態推定モデルＭの各クラスターが相互に位相を維持しつつ学習し、それらの各領域を拡大している。これにより、追加学習による自己組織化マップの変化を容易に解析することができる。追加学習処理で生成された状態推定モデルＭａは、第２の自己組織化マップとも呼ばれる。

【0055】

このように、第１実施形態に係る画像形成装置１００は、各ノードが勝者となった数、すなわちノードヒット数を、学習量を表す指標の１つと捉え、ノードヒット数に基づいて重みづけを行う追加学習処理を実行するので、状態推定モデルＭの各クラスターが相互に位相を維持しつつ学習することができる。これにより、追加学習による自己組織化マップの変化を容易に解析することができる。

【0056】

さらに、第１実施形態に係る画像形成装置１００は、追加学習データのみのデータセットで追加学習が可能なので、最初から学習し直す方法と比較し、学習データセットの肥大化や過大な追加学習処理時間の発生を抑制することができる。加えて、第１実施形態に係る画像形成装置１００は、ノードの位相関係を維持した重みの更新が可能なので、学習データとしての多量の市場データを追加学習することで特徴量解析（ノードの重みパラメータ推移など）も効率的に行えることが可能となる。さらに、ノードの位相関係を維持するため、追加学習後のノードのラベル付けを再度行う必要もない。

【0057】

Ｂ．第２実施形態：
図１３は、第２実施形態に係る自己組織化マップ生成処理の構成を示す説明図である。第２実施形態に係る自己組織化マップ生成処理は、一般的な自己組織化マップ生成処理と相違し、低解像度状態推定モデルＬを生成するための低解像度クラスタリングと、高解像度状態推定モデルＨを生成するための高解像度クラスタリングとを含む複数段階のクラスタリングで複数（この例では２つ）の状態推定モデルを生成することができる。

【0058】

低解像度クラスタリングでは、学習処理部７１０は、第１実施形態に係る自己組織化マップ生成処理と同一の処理を実行する。これにより、学習処理部７１０は、目的関数Ｆｃを使用して低解像度状態推定モデルＬを生成することができる。低解像度状態推定モデルＬ（ｙ１～ｙ１６）は、比較例に係る自己組織化マップ生成処理で生成される状態推定モデルＭ（図６参照）と同一の学習モデルである。状態推定モデルＭでは、図６から分かるように、ノード１乃至１２が状態Ａ（良好）又は状態Ｂ（普通）と分類され、ノード１３至１６が異常（状態Ｃ乃至Ｅ）と分類されている。

【0059】

高解像度クラスタリングでは、学習処理部７１０は、異常に分類されたノード１３至１６に対応（すなわち勝者又はヒット）する複数の画像形成装置１００の入力データである特徴ベクトルＸ（ｘｉ、ｘｉ＋１、・・・ｘｊ）のみを抽出する。学習処理部７１０は、抽出された入力データを使用し、改めてマップ空間として４×４（計１６ノード）の２次元マップを使用してクラスタリングを実行する。これにより、学習処理部７１０は、目的関数Ｆｃを使用して４つに分類されたノード１３至１６の異常状態を高解像度で再分類し、高解像度状態推定モデルＨ（ｙ’１～ｙ’１６）を生成することができる。

【0060】

図１４は、第２実施形態に係る自己組織化マップ生成処理の内容を示すフローチャートである。図１５（ａ）は、第２実施形態に係る高分解能学習処を示す説明図である。第２実施形態に係る自己組織化マップ生成処理は、低解像度クラスタリングと、高解像度クラスタリングとを含む複数段階のクラスタリングで複数（この例では２つ）の状態推定モデルを生成する点で第１実施形態に係る自己組織化マップ生成処理と相違している。

【0061】

第２実施形態に係る自己組織化マップ生成処理において、ステップＳ１１０乃至Ｓ１３０及びステップＳ１４０乃至Ｓ１６０の１回目の処理は、第１実施形態に係る自己組織化マップ生成処理と同様の方法で低解像度（通常の解像度）の状態推定モデルＬ（ｙ１～ｙ１６：図１５（ａ）参照）を生成する。ステップＳ１４０乃至Ｓ１６０の２回目の処理では、学習処理部７１０は、予め学習データ抽出処理（ステップＳ１７０）を実行する。学習データ抽出処理では、学習処理部７１０は、予め設定されている基準（この例では、異常に分類）に合致するノードに対応する学習データと、そのノードの近傍のノードに対応する学習データとを抽出する。

【0062】

具体的には、学習処理部７１０は、低解像度状態推定モデルＬ（状態推定モデルＭと同一）において異常（ノード１３至１６）と分類されたノードの学習データと、その近傍のノード４，７，８，１０，１２の学習データとを抽出する。このように抽出された抽出学習データを使用し、学習処理部７１０は、４×４（計１６ノード）の２次元マップを使用し、低解像度状態推定モデルＬを初期値として第１実施形態に係る自己組織化マップ生成処理と同様の方法で高解像度状態推定モデルＨ（ｙ’１～ｙ’１６：図１５参照）を生成し、処理を終了する（ステップＳ１８０）。

【0063】

学習処理部７１０は、低解像度状態推定モデルＬ及び高解像度状態推定モデルＨの生成を複数の画像形成装置１００の全てに通知する。学習処理部７１０は、複数の画像形成装置１００からの要求に応じて、低解像度状態推定モデルＬ及び高解像度状態推定モデルＨをダウンロードする。高解像度状態推定モデルＨは、低解像度状態推定モデルＬの分類の一部のノードにおいて部分的に解像度が高くなるように構成されていることになる。なお、学習処理部７１０は、高解像度状態推定モデルＨの分類の一部のノードにおいて部分的に、さらに解像度が高くなるように構成された超高解像度状態推定モデルＵＨを生成できるように構成してもよい。

【0064】

図１５（ｂ）は、第２実施形態に係る状態推定処理を示す説明図である。ステップＳ２１０では、複数の画像形成装置１００のそれぞれが有する制御ユニット１１０の状態推定部１１２は、低解像度状態推定処理を実行する。低解像度状態推定処理では、状態推定部１１２は、ダウンロードして学習済みモデル格納領域Ｒ２に格納されている低解像度状態推定モデルＬを使用し、状態センサー１２７を使用して取得した最新の特徴ベクトルＸ（ｘ１、ｘ２、ｘ３、ｘ４）に基づいて感光体ドラム１２３の状態を推定する（１次診断）。

【0065】

ステップＳ２２０では、状態推定部１１２は、１次診断結果が正常（すなわち良好又は普通）に該当するか否かを判断する。正常であると判断された場合、すなわち状態推定モデルＭ（図６参照）でノード１～１２に該当すると判断された場合には、状態推定部１１２は、処理をステップＳ２３０に進めて、正常である旨をディスプレイ等（図示略）でユーザーに報告する。

【0066】

一方、正常でないと判断された場合、すなわち低解像度状態推定モデルＬでノード１～１２以外のノードであるノード１３～１６に該当すると判断された場合には、状態推定部１１２は、処理をステップＳ２４０に進める。

【0067】

ステップＳ２４０では、状態推定部１１２は、高解像度状態推定処理を実行する。高解像度状態推定処理では、状態推定部１１２は、ダウンロードして学習済みモデル格納領域Ｒ２に格納されている高解像度状態推定モデルＨを使用し、状態センサー１２７を使用して取得した最新の特徴ベクトルＸ（ｘ１、ｘ２、ｘ３、ｘ４）に基づいて感光体ドラム１２３の状態を推定する（２次診断）。これにより、状態推定部１１２は、異常モード、すなわち、より詳細な異常の状態（異常モード）を判定し（ステップＳ２５０）、その内容をディスプレイ等（図示略）でユーザーに報告することができる。高解像度状態推定モデルＨは、第１の高解像度自己組織化マップとも呼ばれる。

【0068】

図１６は、第２実施形態に係る自己組織化マップ生成処理の構成を示す説明図である。学習処理部７１０は、目的関数Ｆを使用し、追加学習データのノードヒット数Ｓと前回学習データのノードヒット数Ｒとを使用し、低解像度状態推定モデルＬと高解像度状態推定モデルＨとに対して、それぞれ第１実施形態と同様の方法で追加学習を実行することができる。高解像度状態推定モデルＨに対して追加学習を実行することによって生成されるモデルは、第２の高解像度自己組織化マップとも呼ばれる。

【0069】

なお、低解像度状態推定モデルＬを使用して高解像度状態推定モデルＨを生成する際には比較例の目的関数Ｆｃを使用するようにしてもよい。こうすれば、学習処理部７１０は、時系列的に後に取得した第２の学習データを有効活用し、運用年数の増加に起因して増加した異常状態の分類を促進することができるという利点がある。一方、低解像度状態推定モデルＬを使用して高解像度状態推定モデルＨを生成する際にも目的関数Ｆを使用するようにしてもよい。こうすれば、学習処理部７１０は、低解像度状態推定モデルＬによるクラスタリングからの高解像度状態推定モデルＨへの変化を簡単に解析することができるという利点がある。さらに、ノードヒット数の補正によって、両者の間の適切な位置に分類方法を調整することもできる。

【0070】

このように、第２実施形態に係る画像形成装置１００は、同一ノード数の学習モデルで、特定の分類で絞り込まれた抽出入力データを変更して複数回学習させることにより、共通の推論実行モデルで解像度が異なる複数種類のモデルを実装することが可能となる。これにより、第２実施形態に係る画像形成装置１００は、省リソースでの実装と広範かつ高精度な状態推定が可能となる。
Ｃ．変形例：本発明は、上記各実施形態だけでなく、以下のような変形例でも実施することができる。

【0071】

変形例１：上記実施形態では、学習データ処理部１１１は、状態センサー１２７から取得した学習データをサポートサーバ７００に特定の間隔（第１実施形態では、第２の間隔）でアップロードするが、たとえば感光体ドラムの交換のような部品交換に応じて部品交換前後に分けて学習データをアップロードするようにしてもよい。

【0072】

変形例２：上記実施形態では、画像形成システム１０は、感光体ドラムの状態推定を行っているが、感光体ドラムに限定されず、たとえば画像形成部１２０の他の部品や画像形成部１２０の全体の状態推定を含む少なくとも１つの状態推定を行うようにしてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】