特開 2025-141582 機械学習装置、機械学習方法、および、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025141582

(43)【公開日】2025-09-29

(54)【発明の名称】機械学習装置、機械学習方法、および、プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20250919BHJP

   H04L 43/04 20220101ALI20250919BHJP

   G06Q 10/20 20230101ALN20250919BHJP

【ＦＩ】

G06N20/00 130

H04L43/04

G06Q10/20

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2024041590

(22)【出願日】2024-03-15

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】栗林 賢司

【テーマコード（参考）】

5L010

【Ｆターム（参考）】

5L010AA20

(57)【要約】      （修正有）

【課題】機器の故障の種類から故障に対する処置を推定する学習モデルを学習させるために収集した学習データを機器構成情報に基づいて選択し、効率的に使用する機械学習装置、方法及びプログラムを提供する。
【解決手段】機械学習装置は、機器の種類毎の故障の種類と、故障の原因となった機器の構成部品と故障に対する処置内容とを故障処置データとして記憶する記憶手段と、機器の種類毎の故障処置データを学習データとして、機器の種類毎に故障の種類から処置内容を推定するための学習モデルの学習を行う学習手段と、を備え、学習手段は、第１の種類の機器の故障処置データと、当該処置データに含まれる機器の故障の原因となった故障部品と共通の構成部品を有する第１の種類の機器とは異なる種類の機器の共通の構成部品に関する故障処置データと、を学習データとして、第１の種類の機器について故障の種類から処置内容を推定するための学習モデルの学習を行う。
【選択図】図８

【特許請求の範囲】

【請求項1】

機器の種類ごとの故障の種類と、前記故障の原因となった前記機器の構成部品と、前記故障に対する処置内容を故障処置データとして記憶する記憶手段と、
前記機器の種類ごとの前記故障処置データを学習データとして、前記機器の種類ごとに故障の種類から処置内容を推定するための学習モデルの学習を行う学習手段と、
を備え、
前記学習手段は、第１の種類の機器の故障処置データと、前記第１の種類の機器の故障処置データに含まれる機器の故障の原因となった故障部品と共通の構成部品を有する前記第１の種類の機器とは異なる種類の機器の前記共通の構成部品に関する故障処置データとを学習データとして、前記第１の種類の機器について故障の種類から処置内容を推定するための学習モデルの学習を行う、
機械学習装置。

【請求項2】

前記学習モデルにより、機器の故障に対する処置内容を推定する推定手段と、
前記推定された処置内容の候補から、ユーザにより行われた処置内容を受け付け、故障処置データとして記憶手段に記憶させる受付手段と、
をさらに、備える、
請求項１に記載の機械学習装置。

【請求項3】

さらに、前記推定された処置内容の候補を情報入力端末に送信する手段を備え、
前記受付手段は、前記情報入力端末から、前記ユーザにより行われた処置内容を受け付ける、
請求項２に記載の機械学習装置。

【請求項4】

前記機器は、画像形成装置であり、
前記故障は、画像形成された画像データに含まれる画像異常である、
請求項１記載の機械学習装置。

【請求項5】

前記学習手段は、第１の種類の機器の故障処置データと、前記第１の種類の機器の故障処置データに含まれる機器の故障の原因となった故障部品と共通の構成部品を有する前記第１の種類の機器とは異なる種類の機器の前記共通の構成部品に関する故障処置データとを学習データとして、前記第１の種類の機器について故障の種類から処置内容を推定するための第１の学習モデルの学習を行い、および、前記第１の種類の機器の故障処置データを学習データとし、前記第１の種類の機器とは異なる種類の機器の前記共通の構成部品に関する故障処置データを用いずに、前記第１の種類の機器について故障の種類から処置内容を推定するための第２の学習モデルの学習を行い、
前記第１の学習モデルおよび前記第２の学習モデルを比較し、診断精度が高いモデルを選択する、
請求項１記載の機械学習装置。

【請求項6】

機器の種類ごとの故障の種類と、前記故障の原因となった前記機器の構成部品と、前記故障に対する処置内容を故障処置データとして記憶する記憶手段を備えた機械学習装置の機械学習方法であって、
学習手段は、前記機器の種類ごとの前記故障処置データを学習データとして、前記機器の種類ごとに故障の種類から処置内容を推定するための学習モデルの学習を行い、
前記学習手段は、第１の種類の機器の故障処置データと、前記第１の種類の機器の故障処置データに含まれる機器の故障の原因となった故障部品と共通の構成部品を有する前記第１の種類の機器とは異なる種類の機器の前記共通の構成部品に関する故障処置データとを学習データとして、前記第１の種類の機器について故障の種類から処置内容を推定するための学習モデルの学習を行う、
機械学習方法。

【請求項7】

機器の種類ごとの故障の種類と、前記故障の原因となった前記機器の構成部品と、前記故障に対する処置内容を故障処置データとして記憶する記憶手段を備えた機械学習装置のコンピュータを、
前記機器の種類ごとの前記故障処置データを学習データとして、前記機器の種類ごとに故障の種類から処置内容を推定するための学習モデルの学習を行う学習手段として、機能させ、
前記学習手段は、第１の種類の機器の故障処置データと、前記第１の種類の機器の故障処置データに含まれる機器の故障の原因となった故障部品と共通の構成部品を有する前記第１の種類の機器とは異なる種類の機器の前記共通の構成部品に関する故障処置データとを学習データとして、前記第１の種類の機器について故障の種類から処置内容を推定するための学習モデルの学習を行う、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習装置、機械学習方法、および、プログラムに関する。具体的には、人工知能を用いた学習モデルに入力する教師データの作成に関し、複数の機種で収集したデータを機器構成情報に基づいて教師データとして学習モデルを生成することに関する。

【背景技術】

【0002】

従来、機器のエラーや故障などの異常が発生した場合、異常の通報によりサービスマンなどの保守担当者が派遣される。保守担当者は、マニュアルを確認し部品交換などのメンテナンスを行う。

【0003】

また近年、クラウドコンピューティングの普及が進んでいる。クラウドコンピューティングは、多くのコンピューティングリソースを用いてデータ変換やデータ処理を分散して実行し、多くのクライアントからの要求を分散並列処理により並行して処理することが主な特徴である。システム開発者は、クラウドコンピューティングを利用することにより、必要なコンピューティングリソースを容易に調達でき、システム機能開発に注力することができる。

【0004】

クラウドコンピューティングとの親和性が高い要素の一つが、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）である。ＡＩを実現するコア技術の一つに機械学習がある。機械学習では大量データ（ビッグデータ）を学習アルゴリズムで解析することでデータの特徴（特性やパターン、傾向など）を抽出した学習モデルを作成することができる。こうした大量データを安全に保管・解析するためには多くのコンピューティングリソースが必要であるため、クラウドコンピューティング環境で導入される事例が多い。

【0005】

一般に機械学習では、学習用データを用いて学習モデルを訓練し、訓練が完了した学習モデルを学習済モデルとして本番運用していく。学習モデルを訓練するための学習用データは、学習済モデルの構築に不可欠であるが、実際には、不具合の種類によっては不具合情報の収集に膨大な時間がかかってしまうことも想定される。

【0006】

特許文献１では、家電機器が有する１つ以上のセンサ検出結果に基づいて、不具合の発生を予測する学習モデルが提案されている。特許文献１では、家電機器の基本形式の大分類ごとに生成された学習済モデルと、機種ごとの小分類ごとに生成された学習済モデルを有し、２つの学習済モデルを使って家電機器の故障診断を行う。これにより、機種ごとの小分類では十分な学習データが得られない場合でも、基本形式の大分類ごとではより多くの学習データを得られるため、予測精度を向上させることが可能なる。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０２１－１７７３１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら特許文献１のように、家電機器の基本形式が同一であっても、機器構成が異なってしまう場合に、生成した学習済モデルを適用できない場合が想定される。また、特定の不具合に関する情報の収集に膨大な時間がかかってしまい十分な学習データが得られない状況は改善されない。

【0009】

本発明は、上記課題に鑑みてなされたもので、収集された学習データを機器構成情報に基いて選択し、前記収集された学習データを効率的に使用する仕組みを提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明の機械学習装置は、機器の種類ごとの故障の種類と、前記故障の原因となった前記機器の構成部品と、前記故障に対する処置内容を故障処置データとして記憶する記憶手段と、前記機器の種類ごとの前記故障処置データを学習データとして、前記機器の種類ごとに故障の種類から処置内容を推定するための学習モデルの学習を行う学習手段と、を備え、前記学習手段は、第１の種類の機器の故障処置データと、前記第１の種類の機器の故障処置データに含まれる機器の故障の原因となった故障部品と共通の構成部品を有する前記第１の種類の機器とは異なる種類の機器の前記共通の構成部品に関する故障処置データとを学習データとして、前記第１の種類の機器について故障の種類から処置内容を推定するための学習モデルの学習を行う、ことを特徴とする。

【発明の効果】

【0011】

本発明は、第１の機器から収集した学習データに含まれる故障部品情報に含まれる構成部品が第２の機器の構成部品と共通部品である場合、第１の機器から収集した学習データおよび第２の機器から収集した学習データを第１の機器の学習データとして用いる。これにより、収集された学習データを機器構成情報に基づいて選択し、収集された学習データを効率的に使用する仕組みを提供できる。

【図面の簡単な説明】

【0012】

【図1】本発明に係る機械学習システムの構成図。

【図2】本発明に係る機械学習システムのハードウェア構成図。

【図3】一実施例における故障診断処理のシーケンス図。

【図4】一実施例における異常を含むスキャン画像の一例。

【図5】情報入力端末の画面の一例。

【図6】一実施例における故障診断結果通知サーバのソフトウェア構成図。

【図7】一実施例における故障診断結果通知サーバ、学習データ収集処理のフロー。

【図8】一実施例における機械学習処理のフローチャート。

【図9】一実施例における画像形成装置の断面図

【図10】一実施例における電気系統の構成を示すブロック図。

【図11】一実施例における機器構成部品リストと診断対象機種シリーズリスト例。

【図12】一実施例における機械学習処理のフローチャート。

【図13】一実施例における機器構成部品リスト。

【発明を実施するための形態】

【0013】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【実施例0014】

以下、機械学習モデルを生成するために本提案で生成するデータを学習データ、学習済モデルに入力し推定を行うデータを入力データと呼称する。また、作成済みの機械学習モデルを再学習させるためのデータも学習データといい、再学習のことを含めて学習という。学習モデルを学習データにより学習するという場合、学習データにより学習モデルを作成することと、学習データにより学習モデルを再学習することを含む。

【0015】

本実施形態の機械学習装置は、機器の不具合に対応する故障部品や修理内容を含む学習データを収集し、学習データを用いて機械学習モデルを作成し、作成された学習モデルを用いて、機器の不具合の通知を受けて、処置内容の推定を行う。
処置を行うユーザは、サービスを行う保守担当者でもよいし、機器のユーザが行ってもよい。消耗品の交換などは、保守担当者だけでなく、機器のユーザが行うこともある。

【0016】

本実施形態の機械学習装置は、故障診断結果通知サーバ１０４を含んで構成される。故障診断装置として、さらに、機器不具合情報収集サーバ１０２、および、交換部品情報収集サーバ１０５、稼働情報収集サーバ１０６を含んでもよい。機器不具合情報収集サーバ１０２、故障診断結果通知果通知サーバ１０４、交換部品情報収集サーバ１０５、稼働情報収集サーバ１０６の構成は任意のものであり、１台で構成してもよいし、分散して構成してもよい。故障診断結果通知サーバ１０４による故障の推定結果は、情報入力端末１０３のポータルサイトのＷｅｂ ＵＩ（Ｗｅｂ ｂａｓｅｄ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）に表示される。保守担当者などのユーザは、この推定結果を見て、保守作業内容の参考にする。

【0017】

＜システム構成＞
図１を参照して、本発明を実施するためのオンラインで故障診断サービスを提供する故障診断システムの構成を説明する。本発明の故障診断システムは、機器不具合情報収集サーバ１０２、情報入力端末１０３、故障師団結果通知サーバ１０４、交換部品情報収集サーバ１０５、稼働情報収集サーバ１０６、画像形成装置１１０、および、ネットワーク１０１を含む。

【0018】

複数の画像形成装置１１０は、例えば、デジタル複合機、ファクシミリ装置、レーザービームプリンタ、スキャナ装置などである。本実施形態では、画像形成装置１１０は、所定のイベントとして、当該画像形成装置１１０で不具合が生じた場合、その不具合が検出される検出対象となっている。なお、検出対象として適用される所定の装置は、画像形成装置１１０に限定されず、例えば、パーソナルコンピュータやモバイル端末などの他の情報処理装置であってもよい。また、所定のイベントとしては、不具合に限定されず、例えば、装置に対する命令などであってもよい。

【0019】

機器不具合情報収集サーバ１０２は、画像形成装置１１０から情報収集を行うサーバである。ネットワーク１０１を経由して複数の画像形成装置１１０からエラーや紙詰まりといった不具合履歴情報と、画像に含まれる画像異常に係る画像異常情報を収集、蓄積する。

【0020】

交換部品情報収集サーバ１０５は、ユーザが、保守作業により交換した交換部品の情報を格納するものである。交換部品の情報は、画像形成装置１１０から取得してもよいし、ユーザが入力してもよい。

【0021】

情報入力端末１０３は、ユーザが使用する情報入力端末である。ユーザは、情報入力端末１０３から、実際に行った対応内容の入力を行い、ネットワーク１０１を経由して、故障診断結果通知サーバ１０４に送信する。

【0022】

故障診断結果通知サーバ１０４は、不具合情報およびユーザの対応内容に基づいて、学習データを作成、蓄積し、診断を行うサーバである。故障診断結果通知サーバ１０４は、ネットワーク１０１を経由し、各種情報を受信する。各種情報は、情報入力端末１０３が送信したフィードバック情報、機器不具合情報収集サーバ１０２が保有する不具合履歴情報、交換部品情報収集サーバ１０５が保有する交換部品の情報を含む。受信した各種情報に基づいて、学習データを作成し、蓄積する。

【0023】

交換部品情報収集サーバ１０５は、ネットワーク１０１を経由して情報入力端末１０３が送信した交換部品情報を受信し、取得した情報を収集、蓄積する。交換部品情報は、画像形成装置１１０から取得するようにしてもよい。
稼働情報収集サーバ１０６は、複数の画像形成装置１１０が送信したセンサデータなどの画像形成装置１１０の稼働時の情報を、ネットワーク１０１を介して受信し、稼働情報として収集、蓄積する。

【0024】

以下では、例示として、機器不具合情報収集サーバ１０２、故障診断結果通知サーバ１０４、交換部品情報収集サーバ１０５、稼働情報集サーバ１０６は、別々のサーバとして説明する。サーバ１０２、１０４、１０５、１０６は、１台のサーバで構成してもよいし、サーバ１０２、１０４、１０５、１０６の機能を分散させて複数台のサーバで構成してもよい。サーバの構成は、図１の形態に限定されない。

【0025】

＜画像形成装置１１０のハードウェア構成＞
図２（Ａ）を参照して、本発明の実施形態に係る画像形成装置１１０のハードウェア構成を説明する。画像形成装置１１０は、ＣＰＵ２０１、ＲＯＭ２０３、ＲＡＭ２０４、ネットワークインタフェースカード２０５、外部メモリ２０６、操作パネル２０７、記憶装置２０８、機器インタフェース２０９、プリンタ２１０、および、スキャナ２０２を含む。それぞれの構成要素は、システムバス２００で接続されている。

【0026】

ＣＰＵ２０１は、システムバス２００に接続される各種デバイスとのアクセスを統括的に制御する。ＣＰＵ２０１は、ＲＯＭ２０３に記憶された制御プログラム等あるいはディスクコントローラ等を介して接続された外部メモリ２０６に記憶された制御プログラムやリソースデータ（資源情報）等をＲＡＭ２０４に読み出して実行することによりより、制御する。

【0027】

ＲＯＭ２０３は、基本Ｉ／Ｏプログラム等のプログラム、文書処理の際に使用するフォントデータ、テンプレート用データ等の各種データを記憶する。ＲＡＭ２０４は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能し、図示しない増設ポートに接続されるオプションＲＡＭによりメモリ容量を拡張することができるように構成されている。

【0028】

ネットワークインタフェースカード２０５は、外部装置とのインタフェースであり、画像形成装置１１０は、ネットワークインタフェースカード２０５を介して外部装置とのデータのやり取りを行う。操作パネル２０７は、画面の表示や、画面を介したユーザの操作指示を受け付ける。また、印刷装置の動作モード等の設定や印刷装置の動作状況の表示、コピー指定等の操作を行うためのボタンおよび液晶パネル等の表示部も配置される。

【0029】

記憶装置２０８は大容量メモリとして機能する外部記憶手段である。機器インタフェース２０９は、ＵＳＢ等で接続可能な外部機器との接続インタフェースである。プリンタ２１０は既知の印刷技術を利用するものであり、好適な実施系として例えば電子写真方式（レーザービーム方式）やインクジェット方式、昇華方(熱転写)方式等が挙げられる。プリンタ２１０は印刷データとしてＰＤＬ言語（Ｐａｇｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）・ＰＤＦ言語（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）などから変換された画像データを用紙に印刷する。

【0030】

スキャナ２０２は既知の画像読取技術を利用するものであり、透明な天板に置かれた紙原稿を光学的に走査し画像に変換する。また自動原稿送り装置（ＡＤＦ）に置かれた複数枚の紙原稿を連続して読み込み、画像に変換する。

【0031】

＜各サーバのハードウェア構成＞
図２（Ｂ）を参照して、本発明の実施形態に係る機器不具合情報収集サーバ１０２、故障診断結果通知サーバ１０４、および、交換部品情報収集サーバ１０５、稼働情報収集サーバ１０６のハードウェア構成を説明する。サーバ１０２、１０４、１０５、および１０６のハードウェア構成は、基本的に同じである。

【0032】

サーバ１０２、１０４、１０５は、ＣＰＵ２２１、ＧＰＵ２２２、ＲＯＭ２２３、ＲＡＭ２２４、ネットワークインタフェースカード２２５、外部メモリ２２６、入出力インタフェース２２７、記憶装置２２８、および、機器インタフェース２２９を含む。それぞれの構成要素は、システムバス２２０で接続されている。

【0033】

ＣＰＵ２２１は装置全体の制御を行い、システムバス２２０に接続される各種デバイスとのアクセスを統括的に制御する。ＣＰＵ２２１は、ＲＯＭ２２３に記憶された制御プログラム等あるいはディスクコントローラ等を介して接続された外部メモリ２２６に記憶された制御プログラムやリソースデータ(資源情報)等をＲＡＭ２２４に読み出して実行することにより制御する。ＧＰＵ２２２は、画像処理や機械学習などのベクトル演算に特化した演算装置である。

【0034】

ＲＯＭ２２３は記憶手段であり、基本Ｉ／Ｏプログラム等の各種データを記憶する。ＲＡＭ２２４は、ＣＰＵ２２１やＧＰＵ２２２の主メモリ、ワークエリア等として機能するＲＡＭで、図示しない増設ポートに接続されるオプションＲＡＭによりメモリ容量を拡張することができるように構成されている。
ネットワークインタフェースカード２２５は、外部装置とのインタフェースであり、サーバはネットワークインタフェースカード２２５を介して外部装置とのデータのやり取りを行う。

【0035】

入出力インタフェース２２７は、ディスプレイやキーボード、マウス、スマートフォン、タブレットなどの機器を介して、画面の表示や、ユーザの操作指示を受け付けることができる。
記憶装置２２８は大容量メモリとして機能する外部記憶手段である。
機器インタフェース２２９は、ＵＳＢ等で接続可能な外部機器との接続インタフェースである。

【0036】

＜画像形成装置１１０の断面図＞
図９（Ａ）は、本発明の実施形態に係る画像形成装置１１０の断面図である。図９（Ａ）を参照して、記録材Ｐに画像を形成する動作について説明する。画像形成装置１１０は電子写真方式で画像形成するとともに、所謂タンデム方式という方式をとっている。図１０は、本実施例における電気系統の構成を示すブロック図である。

【0037】

ドラムカートリッジとして、イエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、ブラック（Ｋ）の４色のトナー像を作像するドラムカートリッジが併設されている。以下の説明で、Ｙ、Ｍ、Ｃ、Ｋの符号を省略して、数字のみを示したものは、図９（Ａ）における４色のドラムカートリッジに共通な部分である。

【0038】

画像形成装置１１０は１つ以上の給紙カセット１０を有している。ピックローラ１１は給紙カセット１０に収容されている記録材Ｐをピックアップして搬送路へフィードする。分離ローラ１２は、複数枚の記録材Ｐが連れ出されたときに、一番上の記録材Ｐだけを分離してさらに下流側へ搬送する搬送ローラである。分離ローラ１２の下流側に設けられたレジ前ローラ１３は、記録材Ｐをさらに下流側へ搬送する搬送ローラである。レジとはレジストレーションの略称である。

【0039】

レジ前ローラ１３の下流側に設けられたレジローラ１４は、記録材Ｐをさらに下流側へ搬送する搬送ローラである。ピックローラ１１にはモータＭ１、分離ローラ１２にはモータＭ２、レジ前ローラ１３にはモータＭ３、レジローラ１４にはモータＭ４がそれぞれ接続されている。各ローラはそれぞれのモータによって駆動される。本実施例では、モータＭ１～Ｍ４はブラシレスＤＣモータである。
また、モータＭ２にはトルク検知部１６が接続されており、分離ローラ１２の駆動トルクを測定する。

【0040】

レジローラ１４の下流側に設けられたレジセンサ１５は、記録材Ｐの先端を検知してから後端を検知するまでの期間において、記録材Ｐが通過中であることを示す信号を出力する。なお、ピックローラ１１の駆動を指示してからレジセンサ１５が記録材Ｐの先端を検知するまでの搬送時間は搬送遅延やジャムを検知するために監視される。

【0041】

この画像形成装置１１０における画像形成は以下のようにして行われる。まず、感光体ドラム２１の表面が帯電器２２により均一に帯電される。この帯電された表面をレーザー２３によって露光することで、感光体ドラム２１上に静電潜像が形成される。このようにして得られた静電潜像に、現像器２４からトナーを付着させることによりトナー像として現像される。このトナー像は一次転写ローラ２５によって中間転写ベルト２６上に転写される。

【0042】

トナー像形成動作に並行して、記録材Ｐは、給紙カセット１０から１枚ずつ搬送路を通って、レジローラ１４へ搬送される。レジローラ１４は、記録材Ｐの斜行を補正する。斜行が補正された後、記録材Ｐはレジローラ１４によって二次転写部へ搬送される。中間転写ベルト２６上に重ねて転写された複数色のトナー像は、二次転写ローラ内３１と二次転写外ローラ３２とが当接する二次転写部において、搬送された記録材Ｐに転写される。この記録材Ｐ上のトナー像は、定着装置４により加熱、加圧されて定着された後、画像形成装置１１０外に排出される。

【0043】

＜二次転写部構成＞
二次転写部は、二次転写内ローラ３１と、二次転写外ローラ３２とを備えている。二次転写内ローラ３１は、中間転写ベルト２６を介して二次転写外ローラ３２に対向して配置されている。二次転写外ローラ３２には、二次転写電源３３が接続されている。二次転写電源３３には、出力電圧を検知する電圧検知センサ３３ａと、出力電流を検知する電流検知センサ３３ｂとが接続されている。

【0044】

二次転写電源３３は、二次転写外ローラ３２に二次転写電圧として直流電圧を印加する。二次転写外ローラ３２は、中間転写ベルト２６に当接して、中間転写ベルト２６との間で二次転写部を形成する。二次転写部にトナーと逆極性の二次転写電圧が印加されることにより、二次転写外ローラ３２は中間転写ベルト２６上のトナー像を、二次転写部へ供給された記録材Ｐに二次転写する。二次転写内ローラ３１の芯金は、接地電位に接続されている。

【0045】

＜定着装置４の構成＞
図９（Ｂ）に定着装置４の断面構成を示す。定着装置４は、加熱ヒータ４１を内部に配した定着フィルム４２と、加熱ヒータ４１と定着ニップを形成して定着フィルム４２に駆動を伝える加圧ローラ４３とを備える。加熱ヒータ４１は定着ニップ部において、定着フィルム４２を加熱する。
また定着装置４は、加熱ヒータ４１の温度を検知する温度検知手段としての第１のサーミスタ４４ａ、および第２のサーミスタ４４ｂを備える。

【0046】

＜学習データ収集＞
本実施形態では、画像形成装置１１０で不具合が生じた場合、ユーザにより行われた処置に基づいて、不具合の原因となった故障部品情報と、前記故障部品に対する処置内容を示す情報を関連付けたフィードバック情報を学習データとして収集する。
以下、不具合の例として画像データに含まれる画像異常について、前記画像異常に係る学習データ収集について示す。

【0047】

本実施形態においては、画像形成装置１１０のＣＰＵ２０１は、スキャナ２０２で読み取ったスキャン画像を、ネットワーク１０１を経由して機器不具合情報収集サーバ１０２に送信する。故障診断結果通知サーバ１０４のＣＰＵ２２１は、スキャン画像に含まれる画像異常の種類と位置情報と、画像異常の原因となった故障部品を示す故障部品候補と、故障部品に対する処置内容を示す処置内容候補を特定する画像診断処理の実行が可能である。故障部品に対する処置内容としては、故障部品の交換、清掃、調整、修理などがある。
以下、本実施形態で実行される画像診断処理の概要を説明する。図３は、本実施例に示す画像診断処理に関するシーケンス図である。以下では、シーケンス図に含まれる各処理のステップ番号を"Ｓ"で始まる番号で示す。

【0048】

最初に、Ｓ３０１において、ＣＰＵ２０１は、スキャナ２０２により、紙原稿の読取りを行う。スキャナ２０２は、画像形成装置１１０で画像が印刷された紙原稿上の実画像、または印刷されたテストチャートをスキャン画像４０１として出力する。例えば、操作パネル２０７は、画像異常のあるスキャン画像を受け付ける異常画像受付を行う。操作パネル２０７は、紙原稿をスキャナ２０２にセットしてからスタートボタンを操作するように促すメッセージを表示する。これにより、ユーザにより、スキャナ２０２に紙原稿がセットされ、操作パネル２０７のスタートボタンが操作される。なお、通常では、紙原稿に画像異常があるとき、異常画像受付が利用される。また、ユーザが画像形成装置１１０から、異常画像受付により画像異常のある紙原稿をスキャンすることが想定される。

【0049】

Ｓ３０２において、ＣＰＵ２０１は、紙原稿の読取りで得られたスキャン画像４０１を取得する。
Ｓ３０３において、ＣＰＵ２０１は、スキャン画像４０１と、タイムスタンプ（スキャン日時情報）を機器不具合情報収集サーバ１０２へ送信する。図４（Ａ）は、本実施形態に係る異常画像を説明するためのスキャン画像４０１の一例である。画像異常４０２と４０３は、スキャン画像４０１に含まれる画像異常である。
Ｓ３０４において、故障診断結果通知サーバ１０４のＣＰＵ２２１は、機器不具合情報収集サーバ１０２から診断対象のスキャン画像４０１を取得する。

【0050】

Ｓ３０５において、故障診断結果通知サーバ１０４のＣＰＵ２２１は、学習済の学習モデルを用いて、スキャン画像４０１に含まれる画像異常の位置情報と、画像異常の原因となった故障部品情報と、故障部品に対する処置内容を推定する。すなわち、画像形成装置１１０において、紙原稿の読取りを実行するだけで、画像異常の位置情報と故障部品、処置内容を推定することができる。ここで、機械学習は、深層学習その他の公知の物体検出アルゴリズム（物体検出モデル）を用いて実行すればよい。

【0051】

機械学習は、画像異常を含む画像を教師データとして学習させる。画像異常として送信されたスキャン画像４０１などの画像異常を含む画像を、保守担当者が目視し、異常箇所をポインティングデバイスなどで囲んで異常のある領域を特定する。そして、異常のある領域ごとに画像異常の種類を示す。画像異常の種類としては、例えば、円状異常（汚れ（点））、スジ状異常（汚れ（スジ））などがある。このようにして、画像から異常箇所を特定する学習モデルを作成することができる。

【0052】

異常箇所の特定は、画像認識処理によって行うこともできる。例えば、異常画像を正常に印刷された画像やＲＩＰ画像と比較することによって、異常箇所の特定を行うことができる。また、画像内に異常領域が１箇所である場合は、ユーザは、単に、画像異常の種類を指定すればよい。複数箇所ある場合は、ユーザが領域を選択して、それぞれの領域の異常の種類を特定する。

【0053】

図４（Ｂ）は、本実施形態に係る機械学習を実行した結果を説明するための診断画像４１１の一例である。画像診断結果通知サーバ１０４のＣＰＵ２２１は、画像異常４０２を示すバウンディングボックス４１２、画像異常種別「画像異常」、確信度を出力する。また、スキャン画像４０１には、複数の画像異常を含むため、画像異常４０３を示すバウンディングボックス４１３、画像異常種別「画像異常」、確信度を出力する。バウンディングボックス４１２、４１３は、検出すべき画像異常を示す領域を特定する領域情報を含んでいる。例えば、画像異常の位置情報と、前記画像異常の種類を示す領域情報を含んでいる。また確信度は、検出結果の確からしさであり、例えば、０～１００の数値で示される。

【0054】

ユーザは、診断画像に含まれるバウンディングボックス、画像異常種別が誤っている場合、訂正して、学習モデルをフィードバック学習させることもできる。また、正解である場合に正解であることをフィードバックすることにより、画像診断の確信度を上げていくことができる。

【0055】

異常画像に対応する処置内容は、画像異常の種類と保守担当者などのユーザが行った処置の内容とを対応づけたデータを教師データとする。ユーザは、異常画像に含まれるバウンディングボックスを選択して、処置の内容を入力する。異常画像に含まれる異常箇所が１箇所である場合は、バウンディングボックスの選択をする必要はない。異常画像と異常画像を解消するために行った処置とを対応づければ、異常種類が特定され、異常種類に対応した処置内容が特定される。

【0056】

図５を参照して、情報入力端末１０３の表示について説明する。
情報入力端末１０３の表示画面には、ポータルサイト５０１の画面が表示される。ポータルサイト５０１は、故障診断結果通知サーバ１０４に送信する情報を入力するポータル画面の一例である。ポータルサイト５０１は、対象の画像異常詳細情報表示部５１０、推奨処置内容表示部５１１、５１３、フィードバック入力部５１２、５１４、スキャン画像表示部５１５、および、画像異常位置情報表示部５１６、５１７を含む。

【0057】

情報入力端末１０３は、ユーザの使用する端末である。保守担当者が、画像形成装置１０６の保守を行うときに保持するタブレット端末やスマートフォンでもよい。ユーザは、保守対象の画像形成装置１１０において、異常画像受付により画像異常のある紙原稿をスキャンすることにより、タブレット端末である情報入力端末１０３により、画像異常とその推奨される処置内容を確認することができる。

【0058】

画像異常詳細情報表示部５１０は、製品名、機体番号、画像異常発生日時を表示する。製品名は画像形成装置１１０の製品種別である。機体番号は画像形成装置１１０の１台ごとに付されたユニークなＩＤである。画像異常発生日時は、当該画像異常が発生した日時である。

【0059】

推奨処置内容表示部５１１または５１３は、画像異常毎に故障診断結果通知サーバ１０４で画像異常の事象を解決する可能性が高いと推定された、故障部品候補と処置内容候補を表示する。１枚のスキャン画像４０１に画像異常が複数含まれる場合、すべての画像異常について故障部品候補と処置内容候補を表示する。推奨処置内容として、特定の部品の交換や清掃、修理等を含んでもよい。また、故障部品候補と処置内容候補の表示は、推定結果に基づき、処理が事象を解決する確からしさを表示してもよい。
推奨処置内容表示部５１１の例では、スキャン画像表示部５１５の画像異常位置情報表示部５１６に対して、部品Ａを交換することにより、異常が解決する確からしさは８０％、部品Ｂの交換では１５％、部品Ｃの清掃では５％となっている。

【0060】

フィードバック入力部５１２は、フィードバック情報を入力する画面である。実際に異常事象を解決した処置内容を、フィードバック情報として入力する。入力手段はチェックボックス等の選択形式や、文字での自由入力形式であってもよい。１枚のスキャン画像４０１に画像異常が複数存在する場合、すべての画像異常についてフィードバック情報を入力する。
フィードバック入力部５１２の例では、スキャン画像表示部５１５の画像異常部５１６に対して、推奨処置内容表示部５１１に表示された部品Ａを交換したこととなる。

【0061】

スキャン画像表示部５１５は、ユーザから送信されたスキャン画像４０１が表示される表示部であり、画像異常が存在する場合にはその異常領域を矩形で表示する。１枚のスキャン画像４０１に画像異常が複数存在する場合、すべての画像異常についてその領域に矩形を表示する。図５のスキャン画像表示部５１５の例では、スキャン画像表示部５１５に含まれる異常領域を矩形で表示した、バウンディングボックス５１６と５１７が存在していることを表している。

【0062】

図６を参照して、本発明の故障診断結果通知サーバ１０４のソフトウェア構成を説明する。故障診断結果通知サーバ１０４のプログラムは、ＲＡＭ２２４、記憶装置２２８、機器インタフェース２２９を介して接続された二次記憶装置などから読み込まれ、故障診断結果通知サーバ１０４のＣＰＵ２２１やＧＰＵ２２２が実行することによって実現する。機器不具合情報収集サーバ１０２、情報入力端末１０３等の外部へのアクセスは、ネットワークインタフェースカード２２５を介して行う。

【0063】

故障診断結果通知サーバ１０４は、データ格納部として、機器不具合情報格納部６０１、部品交換情報格納部６０２、および、フィードバック格納部６０３を有する。また、故障診断結果通知サーバ１０４は、ソフトウェアの機能部として、学習・入力データ管理部６０４、学習実行部６０５、機械学習モデル管理部６０６、推定実行部６０７、および、推定結果格納部６０８を有する。

【0064】

機器不具合情報格納部６０１は、故障診断結果通知サーバ１０４のＣＰＵ２２１が機器不具合情報収集サーバ１０２からネットワーク１０１を経由して受信した、画像形成装置１１０の画像異常情報などを格納する。
部品交換情報格納部６０２は、故障診断結果通知サーバ１０４のＣＰＵ２２１が交換部品情報収集サーバ１０５からネットワーク１０１を経由して受信した、交換部品情報を格納する。
フィードバック格納部６０３は、故障診断結果通知サーバ１０４のＣＰＵ２２１が情報入力端末１０３のフィードバック入力部５１２、５１４で入力されたフィードバック情報を、ネットワーク１０１を経由して受信し格納する。

【0065】

学習・入力データ管理部６０４は、故障診断結果通知サーバ１０４が格納する各要素情報に基づいて学習データおよび入力データを作成し、格納する。各要素情報は、以下の情報を含む。
・機器不具合情報格納部６０１が保有する故障情報
・部品交換情報格納部６０２が保有する交換部品情報
・フィードバック格納部６０３が保有するフィードバック情報
学習・入力データ管理部６０４は、故障診断結果通知サーバ１０４のＣＰＵ２２１が機械学習モデルの学習時においては学習データを、機械学習モデルを用いた推定時には入力データを作成、格納する。

【0066】

学習実行部６０５は、故障診断結果通知サーバ１０４のＣＰＵ２２１が、学習・入力データ管理部６０４から学習データを取得し、予め指定した機械学習アルゴリズムに基づいて学習を実行し、機械学習モデルを作成する。作成した機械学習モデルは、故障診断結果通知サーバ１０４のＣＰＵ２２１が機械学習モデル管理部６０６に格納する。なお、学習・入力データ管理部６０４が格納する学習データの変化に伴い、繰り返し学習を実行し、機械学習モデルを再作成（再学習）してもよい。

【0067】

機械学習モデル管理部６０６は、故障診断結果通知サーバ１０４のＣＰＵ２２１が、学習実行部６０５により作成した機械学習モデルを格納する。なお、学習実行部６０５からの機械学習モデルの受信や、機械学習モデル管理部６０６内での条件判断等をトリガとし、推定に用いる機械学習モデルを置換してもよい。例えば、新たな機械学習モデルの正答率が一定を上回ることにより、現行の機械学習モデルと置換するようにしてもよい。
推定実行部６０７は、故障診断結果通知サーバ１０４のＣＰＵ２２１が学習・入力データ管理部６０４から入力データを取得し、機械学習モデル管理部６０６に格納された機械学習モデルに入力することにより、推定を実行する。

【0068】

推定結果格納部６０８は、故障診断結果通知サーバ１０４のＣＰＵ２２１が、推定実行部６０７により実行された推定の結果を格納する。推定結果格納部６０８は、また、ネットワーク１０１を経由して、情報入力端末１０３に推定結果を送信する。または、情報入力端末１０３からの要求をネットワーク１０１経由で受信し、推定結果を返却するようにしてもよい。情報入力端末１０３は、推奨処置内容５１１、５１３、および、スキャン画像表示部５１５に示すように、推定結果をポータル画面上に表示する。スキャン画像表示部５１５のバウンディングボックス５１６と推奨処置内容５１１の例とすると、バウンディングボックス５１６の推奨処置内容は、部品Ａの確からしさが８０％、部品Ｂの確からしさが１５％、部品Ｃの確からしさが５％である。

【0069】

診断対象機種情報管理部６０９は、機械学習モデルを生成する故障診断対象の診断対象機種シリーズリスト１１１０を格納する。
機器構成情報管理部６１０は、機械学習モデルを生成する故障診断対象の各機種に係る機器構成部品リスト１１０１を格納する。
診断対象機種シリーズリスト１１１０および機器構成部品リスト１１０１については、図１１で後述する。

【0070】

図７、図８を参照して、本実施例に示す提案手法を説明する。
図７（Ａ）は、本実施例における故障診断結果通知サーバ１０４の全体フローチャートである。図７（Ａ）、図７（Ｂ）、図８の処理は、例えば、故障診断結果通知サーバ１０４のＣＰＵ２２１やＧＰＵ２２が、ＲＯＭ２２３や外部メモリ２２６に格納されたプログラムをＲＡＭ２２４に読み出して実行することにより実現される。以下では、フローチャートに含まれる各処理のステップ番号を"Ｓ"で始まる番号で示す。以降のフローチャートについても同様である。

【0071】

最初に、Ｓ７０１において、故障診断結果通知サーバ１０４のＣＰＵ２２１は、学習・入力データ管理部６０４により、学習データの収集を行う。次に、Ｓ７０２において、故障診断結果通知サーバ１０４のＣＰＵ２２１は、収集した学習データを用いて、学習実行部６０５により、機械学習モデルを作成する。最後に、Ｓ７０３において、故障診断結果通知サーバ１０４のＣＰＵ２２１は、作成した機械学習モデルを機械学習モデル管理部６０６に格納する。

【0072】

画像形成装置１１０において、画像異常が発生した場合、故障診断結果通知サーバ１０４は、画像形成装置１１０から通知を受信する。故障診断結果通知サーバ１０４のＣＰＵ２２１は、図７（Ａ）のフローにて作成した機械学習モデルを用いて、推定実行部６０７により処置内容の推定を行う。故障診断結果通知サーバ１０４のＣＰＵ２２１は、推定結果を情報入力端末１０３に送信する。情報入力端末１０３において、ポータルサイト５０１が表示され、ユーザはポータルサイト５０１を確認することができる。ユーザは、情報入力端末１０３上に表示されるポータルサイト５０１を介して、フィードバック情報を入力できる。例えば、ポータルサイト５０１により、バウンディングボックス５１６に対するフィードバック情報５１２、バウンディングボックス５１７に対するフィードバック情報５１４の入力を受け付ける。故障診断結果通知サーバ１０４のＣＰＵ２２１が、受け付けられたフィードバック情報５１２、５１４を、フィードバック格納部６０３に保存する。

【0073】

図７（Ｂ）は、図７（Ａ）のＳ７０１の本実施例における故障診断結果通知サーバ１０４の学習データ収集の詳細を記したフローチャートである。
Ｓ７５１において、故障診断結果通知サーバ１０４のＣＰＵ２２１が画像異常情報収集サーバ１０２から画像異常情報を取得し、画像異常情報格納部７０１に格納する。画像異常情報収集サーバ１０２で収集した画像異常情報の一例を表１に示す。製品名は画像形成装置１１０の製品種別である。機体番号は画像形成装置１１０の１台ごとを特定するユニークなＩＤである。スキャン画像送信日時は、ユーザがスキャン画像を送信した日時である。スキャン画像ＩＤは、送信されたスキャン画像ごとに付されたユニークなＩＤである。画像異常ＩＤは、送信されたスキャン画像に含まれる画像異常を認識するためのユニークな文字列コードである。

【0074】

例えば、表１の１行目は、「製品名PRO1001の機体番号DEV0001は、2022/02/01 10:00にスキャン画像ID SCA0001をユーザが送信した。画像異常IDはIMA1001である。」という意味を持つ。

【表1】

【0075】

また、画像異常に対するバウンディングボックス情報の例を表２に示す。スキャン画像ＩＤは、送信されたスキャン画像ごとに付されたユニークなＩＤである。画像異常ＩＤは、送信されたスキャン画像に含まれる画像異常を認識するためのユニークな文字列コードである。Ｘ座標とＹ座標はバウンディングボックス左上の頂点座標（ピクセル値）であり、高さと幅はバウンディングボックスの高さと幅（ピクセル値）である。表２の例では、スキャン画像ＩＤ「SCA0001」の画像データには、２つの画像異常があり、２つの画像異常に対応する２つのバウンディングボックス情報を有している。

【表2】

【0076】

次に、Ｓ７５２において、故障診断結果通知サーバ１０４のＣＰＵ２２１は、フィードバック格納部６０３から機体番号のフィードバック情報を取得する。フィードバック情報の例を表３に示す。
製品名は画像形成装置１１０の製品種別である。機体番号は画像形成装置１１０の１台ごとに付されたユニークなＩＤである。処置日時は、ユーザが処置した日時である。スキャン画像ＩＤは、送信されたスキャン画像ごとに付されたユニークなＩＤである。画像異常ＩＤは、送信されたスキャン画像に含まれる画像異常を認識するためのユニークな文字列コードである。処置内容は、ユーザが実際に行った処置内容の名称である。故障部品は、ユーザが実際に修理や交換した部品の名称である。

【0077】

例えば表３の１行目は、「製品名PRO1001の機体番号DEV0001は、2022/02/03 14:02にスキャン画像ＩＤ SCA0001上の画像異常ＩＤ IMA1001に対して部品Ａを交換された。」という意味を持つ。

【表3】

【0078】

Ｓ７５３において、故障診断結果通知サーバ１０４のＣＰＵ２２１がフィードバック格納部４０４のフィードバック情報からスキャン画像ＩＤおよび画像異常ＩＤと故障部品と処置内容を紐づける。フィードバック情報からスキャン画像ＩＤおよび画像異常ＩＤと故障部品と処置内容が紐づいた結果である故障処置データを表４に示す。

【0079】

表４の故障処置データにおける製品名は画像形成装置１１０の製品種別である。スキャン画像ＩＤは、送信されたスキャン画像ごとに付されたユニークなＩＤである。画像異常ＩＤは、送信されたスキャン画像の画像異常を認識するためのユニークな文字列コードである。Ｘ座標とＹ座標はバウンディングボックス左上の頂点座標（ピクセル値）であり、高さと幅はバウンディングボックスの高さと幅（ピクセル値）である。処置内容は、ユーザが実際に行った処置内容の名称である。故障部品は、ユーザが実際に修理や交換した部品の名称である。

【表4】

【0080】

表４により、画像形成装置１１０で発生した画像異常、および画像異常を解決するために行った処置内容および故障部品を紐付けることが可能となる。これにより、機器の故障の種類（画像形成装置の画像異常の種類）に対して、ユーザが行った処置の情報を含む故障処置データを学習データとして利用する仕組みを提供できる。
図８は、図７（Ａ）のＳ７０２に対応する、本実施例における故障診断結果通知サーバ１０４の機械学習モデルの作成ステップの一例を記したフローチャートである。

【0081】

Ｓ８０１において、故障診断結果通知サーバ１０４のＣＰＵ２２１は、診断対象機種情報管理部６０９に格納された診断対象機種シリーズリスト１１１０に基づいて、学習モデル作成対象の機種シリーズ一覧を取得する。図１１（Ｃ）は、診断対象機種シリーズリスト１１１０の例である。機種シリーズは、画像形成装置１１０の型番である。診断対象ＦＬＧは診断対象機種シリーズか否かを示している。診断対象ＦＬＧが「１」であれば、診断対象であり、「０」であれば診断非対象である。
Ｓ８０２において、故障診断結果通知サーバ１０４のＣＰＵ２２１は、機器構成情報管理部６１０に格納された学習モデル作成対象の機種について機器構成部品リスト１１０１を取得する。

【0082】

図１１（Ａ）は、機器構成部品リスト１１０１の例である。部品名は画像形成装置１１０を構成する機器構成部品である。機種シリーズは、画像形成装置１１０の型番である。例えば、機種シリーズＡの部品Ａに記載されているparts_A001は部品Ａの種類を表している。つまり、部品Ａはparts_A001、部品Ｆはparts_F001、部品Ｑはparts_Q002という種類の部品で構成されていることになる。ここで、部品Ａ、部品Ｆ、部品Ｑ、部品Ｙは、画像形成装置１１０を構成する部品に該当し、例えば図９（Ａ）で説明した感光体ドラム１４や中間転写ベルト２６、定着装置４などが該当する。

【0083】

また図１１（Ｂ）は、機器構成部品リスト１１０１の機種シリーズＡについて他の機種シリーズの構成部品との共通部品判定結果を共通部品１１１２で示したものである。例えば、機器構成部品リスト１１０１の部品Ａは、「機種シリーズＡはparts_A001、機種シリーズＢはparts_A002、機種シリーズＣはparts_A003という種類の部品で構成されている。」という意味を持つ。つまり、部品Ａは機種シリーズＡ、Ｂ、Ｃで共通部品ではない。部品Ｆは、「機種シリーズＡはparts_Ｆ001、機種シリーズＢはparts_F001、機種シリーズＣはparts_F002、機種シリーズＤはparts_F002、機種シリーズEはparts_F002という種類の部品で構成されている。」という意味を持つ。つまり、部品Ｆは機種シリーズＡ、Ｂ、Ｅで共通部品parts_F001であるが、機種シリーズC、Dとは共通部品ではない。一方、機種シリーズＣ、Ｄにおいては、部品Ｆが共通部品parts_F002である。

【0084】

Ｓ８０３～Ｓ８０５について、故障診断結果通知サーバ１０４のＣＰＵ２２１は、Ｓ８０１とＳ８０２で取得した情報に基づいて、機種ごとに、機器構成部品ごとに処理を行う。
Ｓ８０３において、故障診断結果通知サーバ１０４のＣＰＵ２２１は、機器構成部品リスト１１０１に基づいて、機種シリーズごとに各機器構成部品が共通か否かを判定する。

【0085】

例えば、Ｓ８０３において、第１の機種と第２の機種の機器構成部品が共通部品であると判定した場合（Ｙｅｓ）、Ｓ８０４に進む。そして、Ｓ８０４において、故障診断結果通知サーバ１０４のＣＰＵ２２１は、機器不具合情報格納部６０１が保有する第１の機種の機種構成部品に起因する故障情報および第２の機種の共通部品に起因する故障情報を、取得する。そして、取得した第１の機種の機種構成部品に起因する故障情報および第２の機種の共通部品に起因する故障情報を、第１の機種の学習データとする。このように、部品が共通する他の機種すべてについて、共通部品に起因する故障情報を第１の機種の機器構成部品の学習モデルの学習データとして取得する。学習データとしては、機器不具合情報格納部６０１が保有する故障情報と、部品交換情報格納部６０２が保有する交換部品情報と、表４由来の故障処置データとを取得する。交換部品情報と表４由来の故障処置データは、どちらか一方であってもよい。

【0086】

また、例えば、Ｓ８０３において、第１の機種と第２の機種の機器構成部品が共通部品でないと判定した場合（Ｎｏ）、Ｓ８０５に進む。そして、Ｓ８０５において、故障診断結果通知サーバ１０４のＣＰＵ２２１は、機器不具合情報格納部６０１が保有する第１の機種から収集した機器構成部品に起因する故障情報のみを第１の機種の学習モデルを学習するための学習データとして取得する。学習データとしては、機器不具合情報格納部６０１が保有する故障情報と、部品交換情報格納部６０２が保有する交換部品情報と、表４由来の故障処置データとを取得する。交換部品情報と表４由来の故障処置データは、どちらか一方であってもよい。第２の機種の共通でない機器構成部品に起因する故障情報は第１の機種の学習モデルの学習データとしては用いない。他の機種についても、第１の機種と共通部品を構成していない機種の機器構成部品の故障情報は第１の機種の学習モデルの学習データとしては用いない。

【0087】

Ｓ８０６～Ｓ８０８において、故障診断結果通知サーバ１０４のＣＰＵ２２１は、Ｓ８０３～Ｓ８０５で生成した学習データを用いて、機種シリーズごとの故障種類ごとに学習モデルの学習を行う。Ｓ８０６において、全機種シリーズ、全故障種類の学習モデルの学習が行われたかを判定する。全機種シリーズ、全故障種類の学習モデルの学習が終わっていない場合（Ｎｏ）、Ｓ８０７に進む。全機種シリーズ、全故障種類の学習モデルの学習が終わっている場合（Ｙｅｓ）、フローを終了する。全機種シリーズ、全故障種類の学習モデルの学習を終えるまで、Ｓ８０７、Ｓ８０８の学習モデルの学習が繰り返される。

【0088】

本実施例では機種シリーズごと、故障種類ごとに学習モデルの学習を行うが、機種シリーズごとに複数の故障種類をまとめて学習モデルの学習をしてもよい。また、機種シリーズごと、故障部品ごとの学習モデルを作成してもよい。また、本実施例では、第１の機種から収集した共通部品に起因する故障情報および他の（第２の）機種から収集した共通部品に起因する故障情報を第１の機種の学習モデルの学習データとして取得して、学習を行った。図８のフローを、第１の機種と第２の機種とで部品が共通部品であると判定された場合、第１の機種から収集した学習データを第１および他の（第２の）機種の学習モデルの学習データとして用いるように変更することも可能である。その場合、第１の機種の部品と他の（第２の）機種の部品が非共通部品である判定した場合、第１の機種の故障情報を第１の機種の学習モデルの学習データとしてのみ用い、他の（第２の）機種の学習モデルの学習データとしては用いない点は同様である。

【0089】

Ｓ８０７において、故障診断結果通知サーバ１０４のＣＰＵ２２１は、Ｓ８０４およびＳ８０５で生成した機種シリーズごとの故障種類（画像の異常種類）ごとの学習モデルを物体検出アルゴリズムを利用して学習する。物体検出アルゴリズムは、公知のＤＥＴＲ（ＤＥｔｅｃｔｉｏｎ ＴＲａｎｓｆｏｒｍｅｒ）と呼ばれるアルゴリズムを使うことができる。例えば、畳み込みニューラルネットワークを用いて、オブジェクトを含む枠であるバウンディングボックスを推定する。そして、バウンディングボックスがオブジェクトを含むことの確信度と、バウンディングボックスがオブジェクトを含む場合のオブジェクトの種類ごとの確率を予測する。学習では、学習データをランダムに解析データと検証データに分割する交差検証によって学習結果を評価する。これにより、図４（Ｂ）の診断画像４１１を推定する学習モデルを作成できる。

【0090】

ここで、機械学習アルゴリズムは様々な方式がある。注目対象物の画像（例えば画像異常）を示す矩形状の領域の検出には、種々のオブジェクト検出モデルを利用できる。例えば、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｅｒ）、Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ Ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）などがある。機械学習アルゴリズムのハイパーパラメータも機械学習アルゴリズムによって異なる。本実施例において、機械学習アルゴリズムや学習結果の評価手法、機械学習アルゴリズムのハイパーパラメータの最適化手法などは適宜変更可能である。

【0091】

また、画像形成装置を例にとると、機械学習では、診断画像の異常種類（機器の故障の種類）とその原因となった部品、異常を解消するために行った処置内容を対応付ける学習が行われる。上述では、表４由来の故障処置データを学習データとして用いる説明をした。しかしながら、表３のフィードバック情報が未蓄積の初期状態においては、ユーザが診断画像の異常種類（機器の故障の種類）とその原因となった部品、異常を解消するための処置内容を対応付けた故障処置データを作成する必要がある。そして、作成された故障処置データを学習データとする。

【0092】

ユーザによる故障処置データの作成について説明する。
ユーザは、異常を含むスキャン画像において、異常種類（機器の故障の種類）と異常箇所の特定を行い、異常種類に対する故障部品と処置内容を対応付ける。スキャン画像において、異常箇所が１箇所であれば、異常種類に対する故障部品および処置内容、または、交換部品情報を自動で対応付けることができる。

【0093】

スキャン画像において、異常箇所が複数箇所ある場合は、それぞれの異常種類が異なる場合がある。異常種類が異なることにより、その原因となる部品が異なる場合があり、１つのスキャン画像に対して複数の故障部品または交換部品が対応することがある。このような場合は、故障部品および処置内容、または交換部品情報を、ユーザがスキャン画像を確認しながらスキャン画像の異常画像の領域に対応付けて故障処置データを作成する。そして、作成された故障処置データを学習モデルの作成を行うための学習データとする。

【0094】

Ｓ８０８において、故障診断結果通知サーバ１０４のＣＰＵ２２１は、Ｓ８０７で学習した学習済モデルをファイルに保存し、機械学習モデル管理部６０６に登録する。
ここで学習済モデルを保存したファイルには、学習アルゴリズムの種類や学習アルゴリズムのハイパーパラメータの値が含まれる。

【0095】

以上、第１の機種から収集した学習データに含まれる故障部品情報に合致する構成部品が第２の機種の構成部品と共通部品と判定した場合、第１の機種および第２の機種から収集した学習データを第１の機種の学習データとして用いる。これにより、機器構成情報に基づいて収集された学習データを選択し、収集された学習データを効率的に使用する仕組みを提供できる。

【実施例0096】

実施例１において、第１の機種と共通部品を構成部品とする他の機種の故障情報を第１の機種の学習データとして用いて、学習済モデルを生成した。実施例１において生成した学習済モデルを学習済モデルＬＭ１とする。

【0097】

しかし、学習済モデルＬＭ１と、第１の画像形成装置のみの学習データを用いて学習済モデルを生成した学習済モデルＬＭ２の診断精度を比較すると、必ずしも学習済モデルＬＭ１の精度がよいとは限らない。実施例１において、学習済モデルＬＭ１は、より多くの機種から学習データを収集することを重視して生成した学習済モデルである。そのため、共通部品を使用していても、構造が異なる機種の故障情報も学習データとして用いるため、１機種のみの故障データで学習した学習済モデルＬＭ２よりも、学習済モデルＬＭ１の方の診断精度が低くなる場合がある。

【0098】

本実施例では、学習済モデルＬＭ１と学習済モデルＬＭ２の診断精度に着目する。
本実施例では、実施例１における学習済モデルＬＭ１と学習済モデルＬＭ２を比較して、診断精度の高い方の学習済モデルを選択して採用する。

【0099】

本実施例の、機械学習装置構成図（図１）、ハードウェア構成図（図２）、入力端末画面例図（図５）、ソフトウェア構成図（図６）、画像形成装置１１０の構成（図９（Ａ）（Ｂ））は、実施例１と同様のため、説明を割愛する。また、対応候補特定のフローチャート（図３）、学習データ収集処理フロー（図７）、機器構成部品リスト（図１１）についても、実施例１と同様のため説明を割愛する。

【0100】

図１２は、実施例２における故障診断結果通知サーバ１０４の学習データ収集処理Ｓ７０２の詳細を記したフローチャートである。
Ｓ８０１～Ｓ８０７は、図７（Ｂ）に示した内容と重複するため、説明を割愛する。

【0101】

Ｓ１２０１では、故障診断結果通知サーバ１０４のＣＰＵ２２１が、共通部品を考慮しないで、第１の機種の学習済モデルＬＭ２を、第１の機種のみの故障情報を学習データとして用いて生成する。学習済モデルＬＭ２では、第１の機種と共通部品を有する他の機種の故障情報は学習データとして用いない。図１３は、機器構成部品リスト１１０１の機種シリーズＡの学習済モデルＬＭ２を学習するために取得する学習データの取得対象１３０２を示したものである。学習済モデルＬＭ１は、機種シリーズＡについて、図１１（Ｂ）の１１１２を対象として取得した学習データを用いて学習して生成した学習済モデルである。

【0102】

Ｓ１２０２では、故障診断結果通知サーバ１０４のＣＰＵ２２１が、Ｓ８０７で生成した学習済モデルＬＭ１と、Ｓ１２０１で生成した学習済モデルＬＭ２の診断精度を比較する。図１２のフローでは、学習データをランダムに解析データと検証データに分割する交差検証によって学習結果を評価する。解析データにより学習済モデルＬＭ１、ＬＭ２を生成し、Ｓ１２０２では、検証データを用いて学習済モデルＬＭ１、ＬＭ２を検証し、正解が得られるかによって、検証を行う。

【0103】

Ｓ１２０３では、故障診断結果通知サーバ１０４のＣＰＵ２２１が、Ｓ１２０２で検証した診断精度が高い学習済モデルをファイルに保存し、機械学習モデル管理部６０６に登録する。Ｓ１２０３では、学習済モデルＬＭ１およびＬＭ２の両方を登録し、ＬＭ１およびＬＭ２のどちらのモデルを使うかを選択できるようにしてもよい。

【0104】

以上説明したように、学習済モデルＬＭ１と前記学習済モデルの診断精度を検証により比較し、検証結果の良い方を採用することにより、より精度の高い故障診断を行うことができる。また、学習済モデルＬＭ１とＬＭ２の両方を用いて、処置内容を推論し、検証結果の精度に応じて、確信度を決定してもよい。

【0105】

また、収集する学習データの数に閾値を設け、学習データの数が閾値より少ない場合は学習済モデルＬＭ１を用いて処置内容を推定し、学習データの数が閾値以上の場合は学習済モデルＬＭ２を用いて処置内容を推定するようにしてもよい。このようにすることにより、故障情報の少ないうちは、共通部品を使った機種から多くの学習データを収集し、故障情報が蓄積されてくると、該当機種の故障情報のみから学習データを取得して学習を行うことにより、精度の高い学習済モデルを生成できる。

【0106】

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0107】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【0108】

本明細書の開示は、以下の機械学習装置、機械学習方法、および、プログラムを含む。
（項目１）
機器の種類ごとの故障の種類と、前記故障の原因となった前記機器の構成部品と、前記故障に対する処置内容を故障処置データとして記憶する記憶手段と、
前記機器の種類ごとの前記故障処置データを学習データとして、前記機器の種類ごとに故障の種類から処置内容を推定するための学習モデルの学習を行う学習手段と、
を備え、
前記学習手段は、第１の種類の機器の故障処置データと、前記第１の種類の機器の故障処置データに含まれる機器の故障の原因となった故障部品と共通の構成部品を有する前記第１の種類の機器とは異なる種類の機器の前記共通の構成部品に関する故障処置データとを学習データとして、前記第１の種類の機器について故障の種類から処置内容を推定するための学習モデルの学習を行う、
機械学習装置。
（項目２）
前記学習モデルにより、機器の故障に対する処置内容を推定する推定手段と、
前記推定された処置内容の候補から、ユーザにより行われた処置内容を受け付け、故障処置データとして記憶手段に記憶させる受付手段と、
をさらに、備える、
項目１に記載の機械学習装置。
（項目３）
さらに、前記推定された処置内容の候補を情報入力端末に送信する手段を備え、
前記受付手段は、前記情報入力端末から、前記ユーザにより行われた処置内容を受け付ける、
項目２に記載の機械学習装置。
（項目４）
前記機器は、画像形成装置であり、
前記故障は、画像形成された画像データに含まれる画像異常である、
項目１～３のいずれか１に記載の機械学習装置。
（項目５）
前記学習手段は、第１の種類の機器の故障処置データと、前記第１の種類の機器の故障処置データに含まれる機器の故障の原因となった故障部品と共通の構成部品を有する前記第１の種類の機器とは異なる種類の機器の前記共通の構成部品に関する故障処置データとを学習データとして、前記第１の種類の機器について故障の種類から処置内容を推定するための第１の学習モデルの学習を行い、および、前記第１の種類の機器の故障処置データを学習データとし、前記第１の種類の機器とは異なる種類の機器の前記共通の構成部品に関する故障処置データを用いずに、前記第１の種類の機器について故障の種類から処置内容を推定するための第２の学習モデルの学習を行い、
前記第１の学習モデルおよび前記第２の学習モデルを比較し、診断精度が高いモデルを選択する、
項目１～４のいずれか１に記載の機械学習装置。
（項目６）
機器の種類ごとの故障の種類と、前記故障の原因となった前記機器の構成部品と、前記故障に対する処置内容を故障処置データとして記憶する記憶手段を備えた機械学習装置の機械学習方法であって、
学習手段は、前記機器の種類ごとの前記故障処置データを学習データとして、前記機器の種類ごとに故障の種類から処置内容を推定するための学習モデルの学習を行い、
前記学習手段は、第１の種類の機器の故障処置データと、前記第１の種類の機器の故障処置データに含まれる機器の故障の原因となった故障部品と共通の構成部品を有する前記第１の種類の機器とは異なる種類の機器の前記共通の構成部品に関する故障処置データとを学習データとして、前記第１の種類の機器について故障の種類から処置内容を推定するための学習モデルの学習を行う、
機械学習方法。
（項目７）
機器の種類ごとの故障の種類と、前記故障の原因となった前記機器の構成部品と、前記故障に対する処置内容を故障処置データとして記憶する記憶手段を備えた機械学習装置のコンピュータを、
前記機器の種類ごとの前記故障処置データを学習データとして、前記機器の種類ごとに故障の種類から処置内容を推定するための学習モデルの学習を行う学習手段として、機能させ、
前記学習手段は、第１の種類の機器の故障処置データと、前記第１の種類の機器の故障処置データに含まれる機器の故障の原因となった故障部品と共通の構成部品を有する前記第１の種類の機器とは異なる種類の機器の前記共通の構成部品に関する故障処置データとを学習データとして、前記第１の種類の機器について故障の種類から処置内容を推定するための学習モデルの学習を行う、
プログラム。