特開 2025-141581 画像診断装置、画像診断方法、および、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025141581

(43)【公開日】2025-09-29

(54)【発明の名称】画像診断装置、画像診断方法、および、プログラム

(51)【国際特許分類】

   G06F 3/12 20060101AFI20250919BHJP

   H04N 1/00 20060101ALI20250919BHJP

   G03G 21/00 20060101ALI20250919BHJP

【ＦＩ】

G06F3/12 334

H04N1/00 002A

H04N1/00 127A

G06F3/12 310

G03G21/00 510

G03G21/00 386

G03G21/00 396

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2024041589

(22)【出願日】2024-03-15

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】栗林 賢司

【テーマコード（参考）】

2H270

【Ｆターム（参考）】

2H270KA59

2H270KA61

2H270KA62

2H270MF09

2H270NC11

2H270NC20

2H270NC26

2H270ND23

2H270QB07

2H270RB03

2H270RB09

2H270RC03

2H270ZC03

2H270ZC04

(57)【要約】

【課題】画像異常に対してユーザにより実際に行われた処置を、処置内容を推定する学習モデルの学習に利用する画像診断装置を提供することを目的とする。
【解決手段】
本発明の画像診断装置は、画像異常に対してユーザにより行われた処置の情報を受け付ける受付手段と、前記画像異常と前記受け付けられた処置の情報を学習データとして、画像異常から処置内容を推定するための学習モデルの学習を行う学習手段と、を備えることを特徴とする。
【選択図】図７

【特許請求の範囲】

【請求項1】

画像異常に対してユーザにより行われた処置の情報を受け付ける受付手段と、
前記画像異常と前記受け付けられた処置の情報を学習データとして、画像異常から処置内容を推定するための学習モデルの学習を行う学習手段と、
を備える画像診断装置。

【請求項2】

前記学習モデルにより、画像異常に対する処置内容を推定する推定手段、
をさらに、備え、
前記受付手段は、前記推定された処置内容の候補から、ユーザにより行われた処置の情報を受け付ける、
請求項１に記載の画像診断装置。

【請求項3】

前記処置内容は、故障部品の情報を含む、
請求項１に記載の画像診断装置。

【請求項4】

前記処置内容は、故障部品の情報と処置内容の確信度を含む、
請求項２に記載の画像診断装置。

【請求項5】

さらに、前記推定された処置内容の候補を情報入力端末に送信する手段を備え、
前記受付手段は、前記情報入力端末から、前記ユーザにより行われた処置の情報を受け付ける、
請求項２に記載の画像診断装置。

【請求項6】

さらに、前記受け付けられた処置に含まれる交換部品の情報が、実際に交換された部品情報に存在するか否か判定する判定手段を有し、
前記判定手段により、存在しないと判定された場合、前記学習データとしては用いない、
請求項１に記載の画像診断装置。

【請求項7】

受付手段により、画像異常に対してユーザにより行われた処置の情報を受け付け、
学習手段により、前記画像異常と前記受け付けられた処置の情報を学習データとして、画像異常から処置内容を推定するための学習モデルの学習を行う、
画像診断方法。

【請求項8】

画像診断装置のコンピュータを、
画像異常に対してユーザにより行われた処置の情報を受け付ける受付手段と、
前記画像異常と前記受け付けられた処置の情報を学習データとして、画像異常から処置内容を推定するための学習モデルの学習を行う学習手段、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像形成装置の画像診断装置、画像診断方法、および、プログラムに関する。特に、画像形成装置の保守を行う場合の推論モデルの機械学習に利用する学習データの収集に関し、画像形成装置の出力画像における画像異常とユーザが行った処置内容を収集するものである。

【背景技術】

【0002】

複合機などの画像形成装置では、エラーや故障などの異常が発生した場合、異常の通報によりサービスマンなどの保守担当者が派遣される。保守担当者は、マニュアルを確認し部品交換などのメンテナンスを行う。

【0003】

また近年、クラウドコンピューティングの普及が進んでいる。クラウドコンピューティングは、多くのコンピューティングリソースを用いてデータ変換やデータ処理を分散して実行し、多くのクライアントからの要求を分散並列処理により並行して処理することが主な特徴である。システム開発者は、クラウドコンピューティングを利用することにより、必要なコンピューティングリソースを容易に調達でき、システム機能開発に注力することができる。

【0004】

クラウドコンピューティングとの親和性が高い要素の一つが、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）である。ＡＩを実現するコア技術の一つに機械学習がある。機械学習では大量データ（ビッグデータ）を学習アルゴリズムで解析することでデータの特徴（特性やパターン、傾向など）を抽出した学習モデルを作成することができる。こうした大量データを安全に保管・解析するためには多くのコンピューティングリソースが必要であるため、クラウドコンピューティング環境で導入される事例が多い。

【0005】

上述した画像形成装置のメンテナンスにおいても、複数の画像形成装置から収集したデータを学習し、得られた学習済みモデルを用いて、部品交換などのメンテナンス作業を支援する様々な方法が提案されている。

【0006】

例えば、特許文献1には、作業者に訪問先の装置を指定して交換作業を指示する訪問ルートを決定するメンテナンスシステムが提案されている。提案されたメンテナンスシステムでは、複数のＭＦＰなどの印刷装置からの部品の交換要求と、サービスマンなどの作業者が保有する部品の情報と作業状況に基づき、部品の交換作業を行う作業者を特定する。これにより、サービスマンなどの作業者が効率的に交換作業を行うことができる。また、特許文献２には、画像形成装置において、画像異常が発生した場合、異常画像の例を表示し、異常画像のユーザの選択を受け付け、選択された異常画像に基づいて、故障箇所を判断することが提案されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１９－２１１９４０号公報

【特許文献2】特開２０１９－１０２８４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、特許文献１では、画像異常から交換する部品を特定するものではないため、画像異常を解消するための部品の交換情報や修理内容情報を取得することができない。また、特許文献２では、画像異常を解消するための故障箇所を作業者に提供することができるが、画像異常と故障箇所や処置内容実績を紐づけて記録し、収集するものではない。そのため、画像異常に対応する故障箇所と処置内容実績に基づいて故障箇所や処理内容を推論する仕組みはなかった。

【0009】

本発明では、画像異常に対してユーザにより実際に行われた処置を、処置内容を推定する学習モデルの学習に利用する画像診断装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明の画像診断装置は、画像異常に対してユーザにより行われた処置の情報を受け付ける受付手段と、前記画像異常と前記受け付けられた処置の情報を学習データとして、画像異常から処置内容を推定するための学習モデルの学習を行う学習手段と、を備えることを特徴とする。

【発明の効果】

【0011】

本発明により、画像形成装置で発生した画像異常、および画像異常の原因となった故障部品および処置内容を紐付けることが可能となる。これにより、画像異常に対応する故障部品候補と処置内容候補から、保守担当者などのユーザにより行われた処置に対応した情報を選択し、前記画像異常と前記選択された情報を、故障部品候補と処置内容候補を特定するための学習データとして利用する仕組みを提供できる。

【図面の簡単な説明】

【0012】

【図1】本発明を実施するための画像診断システム構成図。

【図2】本発明に係る画像診断システムのハードウェア構成図。

【図3】一実施例における画像診断処理のシーケンス図。

【図4】一実施例における異常を含むスキャン画像の一例。

【図5】情報入力端末の画面の一例。

【図6】一実施例における画像診断結果通知サーバのソフトウェア構成図。

【図7】一実施例における画像診断結果通知サーバ、学習データ収集処理のフロー。

【図8】一実施例における機械学習処理のフローチャート。

【図9】一実施例における学習データ収集処理のフローチャート。

【発明を実施するための形態】

【0013】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0014】

以下、機械学習モデルを作成するために本提案で生成するデータを学習データ、および、作成済みの機械学習モデルに入力し推定を行うためのデータを入力データと呼称する。また、作成済みの機械学習モデルを再学習させるためのデータも学習データといい、再学習のことを含めて学習という。学習モデルを学習データにより学習するという場合、学習データにより学習モデルを作成することと、学習データにより学習モデルを再学習することを含む。

【0015】

本実施形態の画像診断装置は、画像異常に対応する故障部品や処置内容を含む学習データを収集し、学習データを用いて機械学習モデルを作成し、作成された学習モデルを用いて、画像形成装置の画像異常通知を受けて、処置内容の推定を行う。

【0016】

処置を行うユーザは、サービスを行う保守担当者でもよいし、画像形成装置のユーザが行ってもよい。消耗品の交換などは、保守担当者だけでなく、画像形成装置のユーザが行うこともある。

【0017】

本実施形態の画像診断装置は、画像診断結果通知サーバ１０４を含んで構成される。画像診断装置として、さらに、画像異常情報収集サーバ１０２、および、交換部品情報収集サーバ１０５を含んでもよい。画像異常情報収集サーバ１０２、画像診断結果通知サーバ１０４、および、交換部品情報収集サーバ１０５の構成は任意のものであり、１台で構成してもよいし、分散して構成してもよい。画像診断装置による処置内容の推定結果は、情報入力端末１０３のポータルサイトのＷｅｂ ＵＩ（Ｗｅｂ ｂａｓｅｄ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）に表示される。ユーザは、この推定結果を見て、実際に行う処置の参考にする。

【実施例0018】

図１を参照して、本発明を実施するためのオンラインで画像診断サービスを提供する画像診断システムの構成を説明する。本発明の画像診断システムは、画像異常情報収集サーバ１０２、情報入力端末１０３、画像診断結果通知サーバ１０４、交換部品情報収集サーバ１０５、画像形成装置１０６、および、ネットワーク１０１を含む。

【0019】

複数の画像形成装置１０６は、例えば、デジタル複合機、ファクシミリ装置、レーザービームプリンタ、スキャナ装置などである。
画像異常情報収集サーバ１０２は、画像形成装置１０６から情報収集を行うサーバである。ネットワーク１０１を経由して複数の画像形成装置１０６から画像異常情報を収集、蓄積する。交換部品情報収集サーバ１０５は、ユーザが、保守作業により交換した交換部品の情報を格納するものである。交換部品の情報は、画像形成装置１０６から取得してもよいし、ユーザが入力してもよい。情報入力端末１０３は、ユーザが使用する情報入力端末である。ユーザは、情報入力端末１０３から、実際に行った対応内容の入力を行い、ネットワーク１０１を経由して、画像診断結果通知サーバ１０４に送信する。

【0020】

画像診断結果通知サーバ１０４は、画像異常情報およびユーザの対応内容に基づいて、学習データを作成、蓄積し、診断を行うサーバである。画像診断結果通知サーバ１０４は、ネットワーク１０１を経由し、各種情報を受信する。各種情報は、情報入力端末１０３が送信したフィードバック情報、画像異常情報収集サーバ１０２が保有する前記画像異常情報、交換部品情報収集サーバ１０５が保有する交換部品の情報を含む。受信した各種情報に基づいて、学習データを作成し、蓄積する。

【0021】

以下では、例示として、画像異常情報収集サーバ１０２、画像診断結果通知サーバ１０４、交換部品情報収集サーバ１０５は、別々のサーバとして説明する。サーバ１０２、１０４、１０５の構成は、１台のサーバで構成してもよいし、サーバ１０２、１０４、１０５の機能を分散させて複数台のサーバで構成してもよい。サーバの構成は、図１の形態に限定されない。

【0022】

図２（Ａ）を参照して、本発明の実施形態に係る画像形成装置１０６のハードウェア構成を説明する。画像形成装置１０６は、ＣＰＵ２０１、ＲＯＭ２０３、ＲＡＭ２０４、ネットワークインタフェースカード２０５、外部メモリ２０６、操作パネル２０７、記憶装置２０８、機器インタフェース２０９、プリンタ２１０、および、スキャナ２０２を含む。それぞれの構成要素は、システムバス２００で接続されている。

【0023】

ＣＰＵ２０１は、システムバス２００に接続される各種デバイスとのアクセスを統括的に制御する。ＣＰＵ２０１は、ＲＯＭ２０３に記憶された制御プログラム等あるいはディスクコントローラ等を介して接続された外部メモリ２０６に記憶された制御プログラムやリソースデータ（資源情報）等をＲＡＭ２０４に読み出して実行することによりより、制御する。

【0024】

ＲＯＭ２０３は、基本Ｉ／Ｏプログラム等のプログラム、文書処理の際に使用するフォントデータ、テンプレート用データ等の各種データを記憶する。ＲＡＭ２０４は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能し、図示しない増設ポートに接続されるオプションＲＡＭによりメモリ容量を拡張することができるように構成されている。

【0025】

ネットワークインタフェースカード２０５は、外部装置とのインタフェースであり、画像形成装置１０６は、ネットワークインタフェースカード２０５を介して外部装置とのデータのやり取りを行う。操作パネル２０７は、画面の表示や、画面を介したユーザの操作指示を受け付ける。また、印刷装置の動作モード等の設定や印刷装置の動作状況の表示、コピー指定等の操作を行うためのボタンおよび液晶パネル等の表示部も配置される。

【0026】

記憶装置２０８は大容量メモリとして機能する外部記憶手段である。機器インタフェース２０９は、ＵＳＢ等で接続可能な外部機器との接続インタフェースである。プリンタ２１０は既知の印刷技術を利用するものであり、好適な実施系として例えば電子写真方式（レーザービーム方式）やインクジェット方式、昇華方(熱転写)方式等が挙げられる。プリンタ２１０は印刷データとしてＰＤＬ言語（Ｐａｇｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）・ＰＤＦ言語（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）などから変換された画像データを用紙に印刷する。

【0027】

スキャナ２０２は既知の画像読取技術を利用するものであり、透明な天板に置かれた紙原稿を光学的に走査し画像に変換する。また自動原稿送り装置（ＡＤＦ）に置かれた複数枚の紙原稿を連続して読み込み、画像に変換する。

【0028】

図２（Ｂ）を参照して、本発明の実施形態に係る画像異常情報収集サーバ１０２、画像診断結果通知サーバ１０４、および、交換部品情報収集サーバ１０５のハードウェア構成を説明する。サーバ１０２、１０４、および、１０５のハードウェア構成は、基本的に同じである。

【0029】

サーバ１０２、１０４、１０５は、ＣＰＵ２２１、ＧＰＵ２２２、ＲＯＭ２２３、ＲＡＭ２２４、ネットワークインタフェースカード２２５、外部メモリ２２６、入出力インタフェース２２７、記憶装置２２８、および、機器インタフェース２２９を含む。それぞれの構成要素は、システムバス２２０で接続されている。

【0030】

ＣＰＵ２２１は装置全体の制御を行い、システムバス２２０に接続される各種デバイスとのアクセスを統括的に制御する。ＣＰＵ２２１は、ＲＯＭ２２３に記憶された制御プログラム等あるいはディスクコントローラ等を介して接続された外部メモリ２２６に記憶された制御プログラムやリソースデータ(資源情報)等をＲＡＭ２２４に読み出して実行することにより制御する。ＧＰＵ２２２は、画像処理や機械学習などのベクトル演算に特化した演算装置である。

【0031】

ＲＯＭ２２３は記憶手段であり、基本Ｉ／Ｏプログラム等の各種データを記憶する。ＲＡＭ２２４は、ＣＰＵ２２１やＧＰＵ２２２の主メモリ、ワークエリア等として機能するＲＡＭで、図示しない増設ポートに接続されるオプションＲＡＭによりメモリ容量を拡張することができるように構成されている。

【0032】

ネットワークインタフェースカード２２５は、外部装置とのインタフェースであり、サーバはネットワークインタフェースカード２２５を介して外部装置とのデータのやり取りを行う。
入出力インタフェース２２７は、ディスプレイやキーボード、マウス、スマートフォン、タブレットなどの機器を介して、画面の表示や、ユーザの操作指示を受け付けることができる。
記憶装置２２８は大容量メモリとして機能する外部記憶手段 である。
機器インタフェース２２９は、ＵＳＢ等で接続可能な外部機器との接続インタフェースである。

【0033】

本実施形態においては、画像形成装置１０６のＣＰＵ２０１は、スキャナ２０２で読み取ったスキャン画像を、ネットワーク１０１を経由して画像異常情報収集サーバ１０２に送信する。画像診断結果通知サーバ１０４のＣＰＵ２２１は、スキャン画像に含まれる画像異常の種類と位置情報と、画像異常の原因となった故障部品を示す故障部品候補と、故障部品に対する処置内容を示す処置内容候補を特定する画像診断処理の実行が可能である。故障部品に対する処置内容としては、故障部品の交換、清掃、調整、修理などがある。

【0034】

以下、本実施形態で実行される画像診断処理の概要を説明する。図３は、本実施例に示す画像診断処理に関するシーケンス図である。以下では、シーケンス図に含まれる各処理のステップ番号を"Ｓ"で始まる番号で示す。

【0035】

最初に、Ｓ３０１において、ＣＰＵ２０１は、スキャナ２０２により、紙原稿の読取りを行う。スキャナ２０２は、画像形成装置１０６で画像が印刷された紙原稿上の実画像、または印刷されたテストチャートをスキャン画像４０１として出力する。例えば、操作パネル２０７は、画像異常のあるスキャン画像を受け付ける異常画像受付を行う。操作パネル２０７は、紙原稿をスキャナ２０２にセットしてからスタートボタンを操作するように促すメッセージを表示する。これにより、ユーザにより、スキャナ２０２に紙原稿がセットされ、操作パネル２０７のスタートボタンが操作される。なお、通常では、紙原稿に画像異常があるとき、異常画像受付が利用される。また、ユーザが画像形成装置１０６から、異常画像受付により画像異常のある紙原稿をスキャンすることが想定される。

【0036】

Ｓ３０２において、ＣＰＵ２０１は、紙原稿の読取りで得られたスキャン画像４０１を取得する。
Ｓ３０３において、ＣＰＵ２０１は、スキャン画像４０１と、タイムスタンプ（スキャン日時情報）を画像異常情報収集サーバ１０２へ送信する。図４（Ａ）は、本実施形態に係る異常画像を説明するためのスキャン画像４０１の一例である。画像異常４０２と４０３は、スキャン画像４０１に含まれる画像異常である。
Ｓ３０４において、画像診断結果通知サーバ１０４のＣＰＵ２２１は、画像異常情報収集サーバ１０２から診断対象のスキャン画像４０１を取得する。

【0037】

Ｓ３０５において、画像診断結果通知サーバ１０４のＣＰＵ２２１は、学習済の学習モデルを用いて、スキャン画像４０１に含まれる画像異常の位置情報と、画像異常の原因となった故障部品情報と、故障部品に対する処置内容を推定する。すなわち、画像形成装置１０６において、紙原稿の読取りを実行するだけで、画像異常の位置情報と故障部品、処置内容を推定することができる。ここで、機械学習は、深層学習その他の公知の物体検出アルゴリズム（物体検出モデル）を用いて実行すればよい。

【0038】

機械学習は、画像異常を含む画像を教師データとして学習させる。画像異常として送信されたスキャン画像４０１などの画像異常を含む画像を、保守担当者が目視し、異常箇所をポインティングデバイスなどで囲んで異常のある領域を特定する。そして、異常のある領域ごとに画像異常の種類を示す。画像異常の種類としては、例えば、円状異常（汚れ（点））、スジ状異常（汚れ（スジ））などがある。このようにして、画像から異常箇所を特定する学習モデルを作成することができる。

【0039】

異常箇所の特定は、画像認識処理によって行うこともできる。例えば、異常画像を正常に印刷された画像やＲＩＰ画像と比較することによって、異常箇所の特定を行うことができる。また、画像内に異常領域が１箇所である場合は、ユーザは、単に、画像異常の種類を指定すればよい。複数箇所ある場合は、ユーザが領域を選択して、それぞれの領域の異常の種類を特定する。

【0040】

図４（Ｂ）は、本実施形態に係る機械学習を実行した結果を説明するための診断画像４１１の一例である。画像診断結果通知サーバ１０４のＣＰＵ２２１は、画像異常４０２を示すバウンディングボックス４１２、画像異常種別「画像異常」、確信度を出力する。また、スキャン画像４０１には、複数の画像異常を含むため、画像異常４０３を示すバウンディングボックス４１３、画像異常種別「画像異常」、確信度を出力する。バウンディングボックス４１２、４１３は、検出すべき画像異常を示す領域を特定する領域情報を含んでいる。例えば、画像異常の位置情報と、前記画像異常の種類を示す領域情報を含んでいる。また確信度は、検出結果の確からしさであり、例えば、０～１００の数値で示される。

【0041】

ユーザは、診断画像に含まれるバウンディングボックス、画像異常種別が誤っている場合、訂正して、学習モデルをフィードバック学習させることもできる。また、正解である場合に正解であることをフィードバックすることにより、画像診断の確信度を上げていくことができる。

【0042】

異常画像に対応する処置内容は、画像異常の種類と保守担当者などのユーザが行った処置の内容とを対応づけたデータを教師データとする。ユーザは、異常画像に含まれるバウンディングボックスを選択して、処置の内容を入力する。異常画像に含まれる異常箇所が１箇所である場合は、バウンディングボックスの選択をする必要はない。異常画像と異常画像を解消するために行った処置とを対応づければ、異常種類が特定され、異常種類に対応した処置内容が特定される。

【0043】

図５を参照して、情報入力端末１０３の表示について説明する。
情報入力端末１０３の表示画面には、ポータルサイト５０１の画面が表示される。ポータルサイト５０１は、画像診断結果通知サーバ１０４に送信する情報を入力するポータル画面の一例である。ポータルサイト５０１は、対象の画像異常詳細情報表示部５１０、推奨処置内容表示部５１１、５１３、フィードバック入力部５１２、５１４、スキャン画像表示部５１５、および、画像異常位置情報表示部５１６、５１７を含む。

【0044】

情報入力端末１０３は、ユーザの使用する端末である。保守担当者が、画像形成装置１０６の保守を行うときに保持するタブレット端末やスマートフォンでもよい。ユーザは、保守対象の画像形成装置１０６において、異常画像受付により画像異常のある紙原稿をスキャンすることにより、タブレット端末である情報入力端末１０３により、画像異常とその推奨される処置内容を確認することができる。

【0045】

画像異常詳細情報表示部５１０は、製品名、機体番号、画像異常発生日時を表示する。製品名は画像形成装置１０６の製品種別である。機体番号は画像形成装置１０６の１台ごとに付されたユニークなＩＤである。画像異常発生日時は、当該画像異常が発生した日時である。

【0046】

推奨処置内容表示部５１１または５１３は、画像異常毎に画像診断結果通知サーバ１０４で画像異常の事象を解決する可能性が高いと推定された、故障部品候補と処置内容候補を表示する。１枚のスキャン画像４０１に画像異常が複数含まれる場合、すべての画像異常について故障部品候補と処置内容候補を表示する。推奨処置内容として、特定の部品の交換や清掃、修理等を含んでもよい。また、故障部品候補と処置内容候補の表示は、推定結果に基づき、処理が事象を解決する確からしさを表示してもよい。

【0047】

推奨処置内容表示部５１１の例では、スキャン画像表示部５１５の画像異常位置情報表示部５１６に対して、部品Ａを交換することにより、異常が解決する確からしさは８０％、部品Ｂの交換では１５％、部品Ｃの清掃では５％となっている。

【0048】

フィードバック入力部５１２は、フィードバック情報を入力する画面である。実際に異常事象を解決した処置内容を、フィードバック情報として入力する。入力手段はチェックボックス等の選択形式や、文字での自由入力形式であってもよい。１枚のスキャン画像４０１に画像異常が複数存在する場合、すべての画像異常についてフィードバック情報を入力する。

【0049】

フィードバック入力部５１２の例では、スキャン画像表示部５１５の画像異常部５１６に対して、推奨処置内容表示部５１１に表示された部品Ａを交換したこととなる。

【0050】

スキャン画像表示部５１５は、ユーザから送信されたスキャン画像４０１が表示される表示部であり、画像異常が存在する場合にはその異常領域を矩形で表示する。１枚のスキャン画像４０１に画像異常が複数存在する場合、すべての画像異常についてその領域に矩形を表示する。図５のスキャン画像表示部５１５の例では、スキャン画像表示部５１５に含まれる異常領域を矩形で表示した、バウンディングボックス５１６と５１７が存在していることを表している。

【0051】

図６を参照して、本発明の画像診断結果通知サーバ１０４のソフトウェア構成を説明する。画像診断結果通知サーバ１０４のプログラムは、ＲＡＭ２２４、記憶装置２２８、機器インタフェース２２９を介して接続された二次記憶装置などから読み込まれ、画像診断結果通知サーバ１０４のＣＰＵ２２１やＧＰＵ２２２が実行することによって実現する。画像異常情報収集サーバ１０２、情報入力端末１０３等の外部へのアクセスは、ネットワークインタフェースカード２２５を介して行う。

【0052】

画像診断結果通知サーバ１０４は、データ格納部として、画像異常情報格納部６０１、部品交換情報格納部６０２、および、フィードバック格納部６０３を有する。また、画像診断結果通知サーバ１０４は、ソフトウェアの機能部として、学習・入力データ管理部６０４、学習実行部６０５、機械学習モデル管理部６０６、推定実行部６０７、および、推定結果格納部６０８を有する。

【0053】

画像異常情報格納部６０１は、画像診断結果通知サーバ１０４のＣＰＵ２２１が画像異常情報収集サーバ１０２からネットワーク１０１を経由して受信した、画像形成装置１０６の画像異常情報などを格納する。

【0054】

部品交換情報格納部６０２は、画像診断結果通知サーバ１０４のＣＰＵ２２１が交換部品情報収集サーバ１０５からネットワーク１０１を経由して受信した、交換部品情報を格納する。
フィードバック格納部６０３は、画像診断結果通知サーバ１０４のＣＰＵ２２１が情報入力端末１０３のフィードバック入力部５１２、５１４で入力されたフィードバック情報を、ネットワーク１０１を経由して受信し格納する。

【0055】

学習・入力データ管理部６０４は、画像診断結果通知サーバ１０４が格納する各要素情報に基づいて学習データおよび入力データを作成し、格納する。各要素情報は、以下の情報を含む。
・画像異常情報格納部６０１が保有する画像異常情報
・部品交換情報格納部６０２が保有する交換部品情報
・フィードバック格納部６０３が保有するフィードバック情報
学習・入力データ管理部６０４は、画像診断結果通知サーバ１０４のＣＰＵ２２１が機械学習モデルの学習時においては学習データを、機械学習モデルを用いた推定時には入力データを作成、格納する。

【0056】

学習実行部６０５は、画像診断結果通知サーバ１０４のＣＰＵ２２１が、学習・入力データ管理部６０４から学習データを取得し、予め指定した機械学習アルゴリズムに基づいて学習を実行し、機械学習モデルを作成する。作成した機械学習モデルは、画像診断結果通知サーバ１０４のＣＰＵ２２１が機械学習モデル管理部６０６に格納する。なお、学習・入力データ管理部６０４が格納する学習データの変化に伴い、繰り返し学習を実行し、機械学習モデルを再作成（再学習）してもよい。

【0057】

機械学習モデル管理部６０６は、画像診断結果通知サーバ１０４のＣＰＵ２２１が、学習実行部６０５により作成した機械学習モデルを格納する。なお、学習実行部６０５からの機械学習モデルの受信や、機械学習モデル管理部６０６内での条件判断等をトリガとし、推定に用いる機械学習モデルを置換してもよい。例えば、新たな機械学習モデルの正答率が一定を上回ることにより、現行の機械学習モデルと置換するようにしてもよい。

【0058】

推定実行部６０７は、画像診断結果通知サーバ１０４のＣＰＵ２２１が学習・入力データ管理部６０４から入力データを取得し、機械学習モデル管理部６０６に格納された機械学習モデルに入力することにより、推定を実行する。
推定結果格納部６０８は、画像診断結果通知サーバ１０４のＣＰＵ２２１が、推定実行部６０７により実行された推定の結果を格納する。推定結果格納部６０８は、また、ネットワーク１０１を経由して、情報入力端末１０３に推定結果を送信する。または、情報入力端末１０３からの要求をネットワーク１０１経由で受信し、推定結果を返却するようにしてもよい。情報入力端末１０３は、推奨処置内容５１１、５１３、および、スキャン画像表示部５１５に示すように、推定結果をポータル画面上に表示する。スキャン画像表示部５１５のバウンディングボックス５１６と推奨処置内容５１１の例とすると、バウンディングボックス５１６の推奨処置内容は、部品Ａの確からしさが８０％、部品Ｂの確からしさが１５％、部品Ｃの確からしさが５％である。

【0059】

図７、図８を参照して、本実施例に示す提案手法を説明する。
図７（Ａ）は、本実施例における画像診断結果通知サーバ１０４の全体フローチャートである。図７（Ａ）、図７（Ｂ）、図８の処理は、例えば、画像診断結果通知サーバ１０４のＣＰＵ２２１やＧＰＵ２２が、ＲＯＭ２２３や外部メモリ２２６に格納されたプログラムをＲＡＭ２２４に読み出して実行することにより実現される。以下では、フローチャートに含まれる各処理のステップ番号を"Ｓ"で始まる番号で示す。以降のフローチャートについても同様である。

【0060】

最初に、Ｓ７０１において、画像診断結果通知サーバ１０４のＣＰＵ２２１は、学習・入力データ管理部６０４により、学習データの収集を行う。次に、Ｓ７０２において、画像診断結果通知サーバ１０４のＣＰＵ２２１は、収集した学習データを用いて、学習実行部６０５により、機械学習モデルを作成する。最後に、Ｓ７０３において、画像診断結果通知サーバ１０４のＣＰＵ２２１は、作成した機械学習モデルを機械学習モデル管理部６０６に格納する。

【0061】

画像形成装置１０６において、画像異常が発生した場合、画像診断結果通知サーバ１０４は、画像形成装置１０６から通知を受信する。画像診断結果通知サーバ１０４のＣＰＵ２２１は、図７（Ａ）のフローにて作成した機械学習モデルを用いて、推定実行部６０７により処置内容の推定を行う。画像診断結果通知サーバ１０４のＣＰＵ２２１は、推定結果を情報入力端末１０３に送信する。情報入力端末１０３において、ポータルサイト５０１が表示され、ユーザはポータルサイト５０１を確認することができる。ユーザは、情報入力端末１０３上に表示されるポータルサイト５０１を介して、フィードバック情報を入力できる。例えば、ポータルサイト５０１により、バウンディングボックス５１６に対するフィードバック情報５１２、バウンディングボックス５１７に対するフィードバック情報５１４の入力を受け付ける。画像診断結果通知サーバ１０４のＣＰＵ２２１が、受け付けられたフィードバック情報５１２、５１４を、フィードバック格納部６０３に保存する。

【0062】

図７（Ｂ）は、図７（Ａ）のＳ７０１の本実施例における画像診断結果通知サーバ１０４の学習データ収集の詳細を記したフローチャートである。

【0063】

Ｓ７５１において、画像診断結果通知サーバ１０４のＣＰＵ２２１が画像異常情報収集サーバ１０２から画像異常情報を取得し、画像異常情報格納部７０１に格納する。画像異常情報収集サーバ１０２で収集した画像異常情報の一例を表１に示す。製品名は画像形成装置１０６の製品種別である。機体番号は画像形成装置１０６の１台ごとを特定するユニークなＩＤである。スキャン画像送信日時は、ユーザがスキャン画像を送信した日時である。スキャン画像ＩＤは、送信されたスキャン画像ごとに付されたユニークなＩＤである。画像異常ＩＤは、送信されたスキャン画像に含まれる画像異常を認識するためのユニークな文字列コードである。

【0064】

例えば、表１の１行目は、「製品名PRO1001の機体番号DEV0001は、2022/02/01 10:00にスキャン画像ID SCA0001をユーザが送信した。画像異常IDはIMA1001である。」という意味を持つ。

【表1】

【0065】

また、画像異常に対するバウンディングボックス情報の例を表２に示す。スキャン画像ＩＤは、送信されたスキャン画像ごとに付されたユニークなＩＤである。画像異常ＩＤは、送信されたスキャン画像に含まれる画像異常を認識するためのユニークな文字列コードである。Ｘ座標とＹ座標はバウンディングボックス左上の頂点座標（ピクセル値）であり、高さと幅はバウンディングボックスの高さと幅（ピクセル値）である。表２の例では、スキャン画像ＩＤ「SCA0001」の画像データには、２つの画像異常があり、２つの画像異常に対応する２つのバウンディングボックス情報を有している。

【表2】

【0066】

次に、Ｓ７５２において、画像診断結果通知サーバ１０４のＣＰＵ２２１は、フィードバック格納部６０３から機体番号のフィードバック情報を取得する。フィードバック情報の例を表３に示す。
製品名は画像形成装置１０６の製品種別である。機体番号は画像形成装置１０６の１台ごとに付されたユニークなＩＤである。処置日時は、ユーザが処置した日時である。スキャン画像ＩＤは、送信されたスキャン画像ごとに付されたユニークなＩＤである。画像異常ＩＤは、送信されたスキャン画像に含まれる画像異常を認識するためのユニークな文字列コードである。処置内容は、ユーザが実際に行った処置内容の名称である。故障部品は、ユーザが実際に修理や交換した部品の名称である。

【0067】

例えば表３の１行目は、「製品名PRO1001の機体番号DEV0001は、2022/02/03 14:02にスキャン画像ＩＤ SCA0001上の画像異常ＩＤ IMA1001に対して部品Ａを交換された。」という意味を持つ。

【表3】

【0068】

Ｓ７５３において、画像診断結果通知サーバ１０４のＣＰＵ２２１がフィードバック格納部４０４のフィードバック情報からスキャン画像ＩＤおよび画像異常ＩＤと故障部品と処置内容を紐づける。フィードバック情報からスキャン画像ＩＤおよび画像異常ＩＤと故障部品と処置内容が紐づいた結果である故障処置データを表４に示す。
表４の故障処置データにおける製品名は画像形成装置１０６の製品種別である。スキャン画像ＩＤは、送信されたスキャン画像ごとに付されたユニークなＩＤである。画像異常ＩＤは、送信されたスキャン画像の画像異常を認識するためのユニークな文字列コードである。Ｘ座標とＹ座標はバウンディングボックス左上の頂点座標（ピクセル値）であり、高さと幅はバウンディングボックスの高さと幅（ピクセル値）である。処置内容は、ユーザが実際に行った処置内容の名称である。故障部品は、ユーザが実際に修理や交換した部品の名称である。

【表4】

【0069】

本発明により、画像形成装置１０６で発生した画像異常、および画像異常を解決するために行った処置内容および故障部品を紐付けることが可能となる。これにより、画像異常に対して、ユーザが行った処置の情報を含む故障処置データを学習データとして利用する仕組みを提供できる。

【0070】

図８は、図７（Ａ）のＳ７０２に対応する、本実施例における画像診断結果通知サーバ１０４の機械学習モデルの作成ステップの一例を記したフローチャートである。
Ｓ８０１において画像診断結果通知サーバ１０４のＣＰＵ２２１は、画像異常情報格納部６０１が保有するスキャン画像と、部品交換情報格納部６０２が保有する交換部品情報と、表４由来の故障処置データとを収集データとする。交換部品情報と表４由来の故障処置データは、どちらか一方であってもよい。

【0071】

Ｓ８０２において、画像診断結果通知サーバ１０４のＣＰＵ２２１は、Ｓ８０１で取得した収集データを製品ごとに分類する。
Ｓ８０３において、画像診断結果通知サーバ１０４のＣＰＵ２２１は、Ｓ８０２で製品ごとに分類した収集データを異常種類ごとに分類する。学習データは、スキャン画像、および、スキャン画像に含まれる異常の異常位置情報および異常種類である。また、学習データは、部品交換情報格納部６０２が保有する交換部品情報である。これにより、スキャン画像と交換部品を対応付けることができる。また、学習データは、表４由来の故障処置データである、スキャン画像の異常種類に対応付けられた処置内容と故障部品の故障情報である。

【0072】

Ｓ８０４～Ｓ８０６において、画像診断結果通知サーバ１０４のＣＰＵ２２１は、Ｓ８０３で生成した学習データを用いて、各製品の異常種類ごとに学習モデルの学習を行う。Ｓ８０４において、全異常種類の学習モデルの学習が行われたかを判定する。全異常種類の学習モデルの学習が終わっていない場合（Ｎｏ）、Ｓ８０５に進む。全異常種類の学習モデルの学習が終わっている場合（Ｙｅｓ）、フローを終了する。全異常種類の学習モデルの学習を終えるまで、Ｓ８０５、Ｓ８０６の学習が繰り返される。本実施例では各製品の異常種類ごとに学習モデルの学習を行うが、各製品の複数の異常種類をまとめて学習モデルの学習をしてもよい。

【0073】

Ｓ８０５において、画像診断結果通知サーバ１０４のＣＰＵ２２１は、Ｓ８０３で生成した各製品の画像異常種類ごとのスキャン画像に関する学習モデルを物体検出アルゴリズムを利用して学習する。物体検出アルゴリズムは、公知のＤＥＴＲ（ＤＥｔｅｃｔｉｏｎ ＴＲａｎｓｆｏｒｍｅｒ）と呼ばれるアルゴリズムを使うことができる。例えば、畳み込みニューラルネットワークを用いて、オブジェクトを含む枠であるバウンディングボックスを推定する。そして、バウンディングボックスがオブジェクトを含むことの確信度と、バウンディングボックスがオブジェクトを含む場合のオブジェクトの種類ごとの確率を予測する。学習では、学習データをランダムに解析データと検証データに分割する交差検証によって学習結果を評価する。これにより、図４（Ｂ）の診断画像４１１を推定する学習モデルを作成できる。

【0074】

ここで、機械学習アルゴリズムは様々な方式がある。注目対象物の画像（例えば画像異常）を示す矩形状の領域の検出には、種々のオブジェクト検出モデルを利用できる。例えば、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｅｒ）、Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ Ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）などがある。機械学習アルゴリズムのハイパーパラメータも機械学習アルゴリズムによって異なる。本実施例において、機械学習アルゴリズムや学習結果の評価手法、機械学習アルゴリズムのハイパーパラメータの最適化手法などは適宜変更可能である。

【0075】

また、機械学習では、診断画像の異常種類とその原因となった部品、異常を解消するために行った処置内容を対応付ける学習が行われる。上述では、表４由来の故障処置データを学習データとして用いる説明をした。しかしながら、表３のフィードバック情報が未蓄積の初期状態においては、ユーザが診断画像の異常種類とその原因となった部品、異常を解消するための処置内容を対応付けた故障処置データを作成する必要がある。そして、作成された故障処置データを学習データとする。

【0076】

ユーザによる学習データの作成について説明する。
ユーザは、異常を含むスキャン画像において、異常種類と異常箇所の特定を行い、異常種類に対する故障部品と処置内容を対応付ける。スキャン画像において、異常箇所が１箇所であれば、異常種類に対する故障部品および処置内容、または、交換部品情報を自動で対応付けることができる。

【0077】

スキャン画像において、異常箇所が複数箇所ある場合は、それぞれの異常種類が異なる場合がある。異常種類が異なることにより、その原因となる部品が異なる場合があり、１つのスキャン画像に対して複数の故障部品または交換部品が対応することがある。このような場合は、故障部品および処置内容、または交換部品情報を、ユーザがスキャン画像を確認しながらスキャン画像の異常画像の領域に対応付けて故障処置データを作成する。そして、作成された処置データを学習モデルの作成を行うための学習データとする。

【0078】

Ｓ８０６において、画像診断結果通知サーバ１０４のＣＰＵ２２１は、Ｓ８０５で学習した学習済みモデルをファイルに保存し、機械学習モデル管理部６０６に登録する。
ここで、学習済みモデルを保存したファイルには、学習アルゴリズムの種類や学習アルゴリズムのハイパーパラメータの値が含まれる。

【実施例0079】

実施例１において、画像異常に対して、ポータルサイトのＷｅｂ ＵＩでユーザがフィードバックを行うことを想定した。しかし、ユーザがフィードバックの記録を誤入力するケースが考えられる。実施例１においてフィードバック情報は最も重要視する情報であったため、誤入力されたフィードバック情報を利用すると、機械学習モデルの精度が下がる可能性がある。

【0080】

実施例２では、ユーザがフィードバック情報として全く関係のない部品を誤入力した場合、フィードバック情報が含む交換部品が、実際にユーザが交換した交換部品情報に含まれないことに着目する。例えば、表５のフィードバック情報、および表６の交換部品情報では、表５のフィードバック情報が含む交換部品（部品Ｆ）が、表６のユーザの交換部品情報の含む交換部品（部品Ａ、部品Ｄ）に含まれないことがわかる。

【表5】

【表6】

実施例２では、実施例１におけるフィードバック情報に含まれる交換部品が、交換部品情報に含まれない場合、フィードバック情報に含まれる交換部品の情報の信頼性が低いと判断し、フィードバック情報を機械学習には利用しない。

【0081】

実施例２のシステム構成図（図１）、ハードウェア構成図（図２）、入力端末画面例図（図５）、ソフトウェア構成図（図６）に関しては、実施例１と同様のため説明を割愛する。また、画像診断結果通知サーバ１０４の全体フローチャート（図7（Ａ））は実施例１と同様のため、説明を割愛する。

【0082】

図９は、実施例２における画像診断結果通知サーバ１０４の学習データ収集ステップＳ７０１の詳細を記したフローチャートである。図９の処理は、例えば、画像診断結果通知サーバ１０４のＣＰＵ２２１やＧＰＵ２２が、ＲＯＭ２２３や外部メモリ２２６に格納されたプログラムをＲＡＭ２２４に読み出して実行することにより実現される。

【0083】

図９のＳ７５１、Ｓ７５２は、図７（Ｂ）に示したＳ７５１、Ｓ７５２の処理と同様である。Ｓ９０１において、画像診断結果通知サーバ１０４のＣＰＵ２２１は、交換部品情報情報収集サーバ１０５から交換部品情報を取得し、部品交換情報格納部６０２に格納する。

【0084】

Ｓ９０２において、フィードバック情報に含まれる交換部品が交換部品情報に存在するか否かを判定する。フィードバック情報に含まれる交換部品が交換部品情報に存在する場合（Yｅｓ）、Ｓ７５３に進む。図９のＳ７５３の処理は、図７（Ｂ）に示したＳ７５３と同様である。Ｓ９０２において、フィードバック情報の含む交換部品が交換部品情報に存在しない場合（Ｎｏ）、ユーザのフィードバック情報に入力の誤りがあったと判断し、フィードバック情報を機械学習用データとしては利用しない。

【0085】

実施例２では、フィードバック情報および交換部品情報を照らし合わせることにより、画像形成装置で発生した画像異常、および画像異常を解決するための処置内容を適切に紐付けることが可能となる。ユーザが誤入力したによる誤った紐付けを抑止することができる。これにより、画像異常に対する適切な対応を含む学習データの収集を促進する仕組みを提供できる。

【0086】

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0087】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【0088】

本明細書の開示は、以下の画像診断装置、画像診断方法、および、プログラムを含む。
（項目１）
画像異常に対してユーザにより行われた処置の情報を受け付ける受付手段と、
前記画像異常と前記受け付けられた処置の情報を学習データとして、画像異常から処置内容を推定するための学習モデルの学習を行う学習手段と、
を備える画像診断装置。
（項目２）
前記学習モデルにより、画像異常に対する処置内容を推定する推定手段、
をさらに、備え、
前記受付手段は、前記推定された処置内容の候補から、ユーザにより行われた処置の情報を受け付ける、
項目１に記載の画像診断装置。
（項目３）
前記処置内容は、故障部品の情報を含む、
項目１又は２に記載の画像診断装置。
（項目４）
前記処置内容は、故障部品の情報と処置内容の確信度を含む、
項目２又は３に記載の画像診断装置。
（項目５）
さらに、前記推定された処置内容の候補を情報入力端末に送信する手段を備え、
前記受付手段は、前記情報入力端末から、前記ユーザにより行われた処置の情報を受け付ける、
項目２～４のいずれか１に記載の画像診断装置。
（項目６）
さらに、前記受け付けられた処置に含まれる交換部品の情報が、実際に交換された部品情報に存在するか否か判定する判定手段を有し、
前記判定手段により、存在しないと判定された場合、前記学習データとしては用いない、
項目１～５のいずれか１に記載の画像診断装置。
（項目７）
受付手段により、画像異常に対してユーザにより行われた処置の情報を受け付け、
学習手段により、前記画像異常と前記受け付けられた処置の情報を学習データとして、画像異常から処置内容を推定するための学習モデルの学習を行う、
画像診断方法。
（項目８）
画像診断装置のコンピュータを、
画像異常に対してユーザにより行われた処置の情報を受け付ける受付手段と、
前記画像異常と前記受け付けられた処置の情報を学習データとして、画像異常から処置内容を推定するための学習モデルの学習を行う学習手段、
として機能させるためのプログラム。