特許 7292170 部品状態判別システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-08

(45)【発行日】2023-06-16

(54)【発明の名称】部品状態判別システム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20230609BHJP

   G06N 20/00 20190101ALI20230609BHJP

   G06T 7/00 20170101ALI20230609BHJP

【ＦＩ】

G01N21/88 J

G06N20/00 130

G06T7/00 610

【請求項の数】 4

(21)【出願番号】P 2019186205

(22)【出願日】2019-10-09

(65)【公開番号】P2021060364

(43)【公開日】2021-04-15

【審査請求日】2022-05-18

(73)【特許権者】

【識別番号】000000284

【氏名又は名称】大阪瓦斯株式会社

(74)【代理人】

【識別番号】110001818

【氏名又は名称】弁理士法人Ｒ＆Ｃ

(72)【発明者】

【氏名】松本 明

(72)【発明者】

【氏名】桝本 幸嗣

【審査官】小野寺 麻美子

(56)【参考文献】

【文献】特開２０１９－１３３５２４（ＪＰ，Ａ）

【文献】特開２０１５－０２６２８７（ＪＰ，Ａ）

【文献】特開２０１９－０３９８７４（ＪＰ，Ａ）

【文献】特開２０１３－１４２５５８（ＪＰ，Ａ）

【文献】特開２０１９－１００７５３（ＪＰ，Ａ）

【文献】特開平０８－３２０２９６（ＪＰ，Ａ）

【文献】特開２０１４－１９６９２６（ＪＰ，Ａ）

【文献】特開２０１９－０７４３３９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０１８８８４０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

Ｇ０６Ｎ ３／００ － Ｇ０６Ｎ ９９／００

Ｇ０６Ｔ １／００ － Ｇ０６Ｔ １／４０

Ｇ０６Ｔ ３／００ － Ｇ０６Ｔ ９／４０

(57)【特許請求の範囲】

【請求項1】

使用済の回収部品の状態を判別する部品状態判別システムであって、
前記回収部品の回収撮影画像または前記回収部品の新品時の新品撮影画像あるいはその両方の撮影画像を学習データとして用いて、前記回収撮影画像から前記回収部品が正常であるか異常であるかを判別するように学習されたＡＩユニットと、
前記ＡＩユニットの判別結果を外部報知する判別結果報知部と、
前記判別結果報知部によって報知された判別結果に対する専門家の判定に基づいて、前記ＡＩユニットに対して再学習を指令する再学習指令部と、を備え、
前記ＡＩユニットには、入力データ生成ユニットと異常判別ユニットとが含まれ、
前記入力データ生成ユニットは、前記回収撮影画像に基づいて、前記異常判別ユニットのための入力画像データを生成し、
前記異常判別ユニットは、前記入力画像データに基づいて前記回収部品が正常であるか異常であるかを判別するように学習された畳み込みニューラルネットワークであり、
前記入力データ生成ユニットは、前記回収部品の経年色変化に注目して前記回収撮影画像から前記入力画像データを生成する第１画像処理モジュールと、前記回収部品の経年形状変化に注目して前記回収撮影画像から前記入力画像データを生成する第２画像処理モジュールと、前記回収部品の経年位置変化に注目して前記回収撮影画像から前記入力画像データを生成する第３画像処理モジュールとを有する部品状態判別システム。

【請求項2】

使用済の回収部品の状態を判別する部品状態判別システムであって、
前記回収部品の回収撮影画像または前記回収部品の新品時の新品撮影画像あるいはその両方の撮影画像を学習データとして用いて、前記回収撮影画像から前記回収部品が正常であるか異常であるかを判別するように学習されたＡＩユニットと、
前記ＡＩユニットの判別結果を外部報知する判別結果報知部と、
前記判別結果報知部によって報知された判別結果に対する専門家の判定に基づいて、前記ＡＩユニットに対して再学習を指令する再学習指令部と、を備え、
前記ＡＩユニットには、入力データ生成ユニットと異常判別ユニットとが含まれ、
前記入力データ生成ユニットは、前記回収撮影画像を入力して、前記新品撮影画像に類似する復元画像を出力するように構成された畳み込みニューラルネットワークであり、
前記異常判別ユニットは、前記復元画像と前記新品撮影画像との類似度に基づいて前記回収部品の正常または異常を判別する部品状態判別システム。

【請求項3】

前記入力データ生成ユニットは、前記回収部品の経年色変化に注目して前記復元画像を出力する第１復元モジュールと、前記回収部品の経年形状変化に注目して前記復元画像を出力する第２復元モジュールと、前記回収部品の経年位置変化に注目して前記復元画像を出力する第３復元モジュールとを有する請求項２に記載の部品状態判別システム。

【請求項4】

前記入力データ生成ユニットと前記異常判別ユニットとが一体化された畳み込みニューラルネットワークで構築されている請求項１～３の何れか一項に記載の部品状態判別システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、使用済の回収部品の状態を判別する部品状態判別システムに関する。

【背景技術】

【0002】

特許文献１には、搬送されてくる検査対象物の上側面の異常を検出する第１検査カメラと、反転された検査対象物の上側面の異常を検出する第２検査カメラとが備えられ、両検査カメラからの異常情報に基づいて検知された不良品を搬送レーンから排出する外観検査装置が開示されている。検査対象物の表面異常の有無は、画像処理によって求められた、異物、傷、汚れによる色の変化と明るさの変化、及び表面凹凸の変化が予め設定された判別基準と比較されることによって決定される。

【0003】

特許文献２には、複数の工程を通じて電子部品を実装した基板を製造する現場において、各工程を実行した後の基板を撮像して検査を行う検査装置と、各検査装置との通信が可能な情報処理装置とを備えた基板検査システムが開示されている。このシステムでは、最終形態の基板から検出された不良の原因を特定する処理のためのプログラムが複数格納されており、検査装置により検出された不良部品について、検査装置から受信した検査結果を用いて、発生した異常の種類および当該異常が生じた工程が認識される。さらに、その認識結果に適した分析用プログラムが実行されることにより、不良の原因が特定される。

【0004】

特許文献３には、カメラによって撮影されたパンのカラー画像を画像認識することにより、パンの種類を識別する識別装置が開示されている。識別装置は、パンのカラー画像からパンの内側領域と中間領域と外側領域のそれぞれの色空間での特徴量を求めるためのカラーデータ抽出部と、パンのカラー画像からパンの輪郭に関する特徴量を求めるための輪郭データ抽出部と、パンのカラー画像からパンのテクスチャーに関する特徴量を輝度成分を用いて求めるためのテクスチャーデータ抽出部と、各抽出部で求めた特徴量によりパンの種類を識別する識別部とを備えている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１１－１１７８６６号公報

【文献】特開２００６－３３９４４５号公報

【文献】特許５５１０９２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１及び特許文献２による装置は、製造工場における製造工程での製品の異常を、つまり新品の異常を検査する。このため、生じうる異常の形態は限定的であり、推定可能である。このことから、推定される異常に基づく判別基準や分析用プログラムを予め作成することができ、この判別基準や分析用プログラムを用いて製品の異常が判別可能となる。特許文献３での識別装置は、焼き上がったパンの種類をその撮影画像から識別するものであり、識別すべきパンの種類、つまり特徴量は予めわかっている。このため、予め確認されているパンの特徴量を識別基準として、撮影画像に写っているパンの種類を識別することが可能である。

【0007】

これに対して、使用済の回収部品の状態（正常または異常）を判別する判別装置では、判別対象となる回収部品が経年変化等によって種々の形態を示すことになるので、製造後の製品の異常判別の技法をそのまま流用しても、良好な結果が期待されない。

【0008】

このことから、本発明の課題は、使用済の回収部品が正常であるか異常であるかを、簡単かつ正確に判別することができる部品状態判別システムを提供することである。

【課題を解決するための手段】

【0010】

本発明による、使用済の回収部品の状態を判別する部品状態判別システムは、前記回収部品の回収撮影画像または前記回収部品の新品時の新品撮影画像あるいはその両方の撮影画像を学習データとして用いて、前記回収撮影画像から前記回収部品が正常であるか異常であるかを判別するように学習されたＡＩユニットと、前記ＡＩユニットの判別結果を外部報知する判別結果報知部と、前記判別結果報知部によって報知された判別結果に対する専門家の判定に基づいて、前記ＡＩユニットに対して再学習を指令する再学習指令部と、を備え、
前記ＡＩユニットには、入力データ生成ユニットと異常判別ユニットとが含まれ、
前記入力データ生成ユニットは、前記回収撮影画像に基づいて、前記異常判別ユニットのための入力画像データを生成し、
前記異常判別ユニットは、前記入力画像データに基づいて前記回収部品が正常であるか異常であるかを判別するように学習された畳み込みニューラルネットワークであり、
前記入力データ生成ユニットは、前記回収部品の経年色変化に注目して前記回収撮影画像から前記入力画像データを生成する第１画像処理モジュールと、前記回収部品の経年形状変化に注目して前記回収撮影画像から前記入力画像データを生成する第２画像処理モジュールと、前記回収部品の経年位置変化に注目して前記回収撮影画像から前記入力画像データを生成する第３画像処理モジュールとを有する。

【0011】

この構成では、回収部品の正常または異常を判別するように学習されたＡＩユニットが、その判別結果に対する専門家の判定に基づいて、再学習されるので、多くの回収部品に対して状態判別を行いながら、その判別機能は強化されていく。これにより、経年変化によって種々の形態に変化する回収部品であっても、部品状態判別システムは、使用済の回収部品が正常であるか異常であるかを、簡単かつ正確に判別するようになる。経年変化によって変化する形態には、色変化や形状変化などの経年変化や、突発的な熱衝撃や衝突衝撃などによる変形（物理的破損）が含まれる。

【0012】

更に、上記構成では、回収部品が正常であるか異常であるかを判別する畳み込みニューラルネットワークへの入力データは、回収撮影画像そのものではなく、入力データ生成ユニットによって回収撮影画像から生成された、回収部品の状態判別に適した入力画像データであるので、判別結果の精度が向上する。例えば、回収部品が経年変化によって生じる特定の現象により異常となる場合、その現象が強調されるような処理を用いて入力画像データが生成されると、好都合である。

【0013】

故障（破損）を含む経年変化が生じている回収部品の回収撮影画像は、回収部品の新品撮影画像に比べて、以下の３つの変化；（１）変色、（２）収縮や膨張による形状（サイズ）の変化、（３）剥がれやずれ動きによる取り付け位置の変化、の内の少なくとも１つを確認することができる。もちろん、これらの変化は、故障（破損）が生じておらず、単純な経年変化（劣化）だけでも生じうる。しかしながら、故障（破損）が生じている回収部品における変化の度合いは、一般的には、故障が生じていない回収部品に比べてはるかに大きなものとなる。このことから回収部品の状態判別には、（１）変色、（２）収縮や膨張による形状（サイズ）の変化、（３）剥がれやずれ動きによる取り付け位置の変化の少なくとも１つに焦点を当てることが重要である。
このことから、上記本発明では、前記入力データ生成ユニットは、前記回収部品の経年色変化に注目して前記回収撮影画像から前記入力画像データを生成する第１画像処理モジュールと、前記回収部品の経年形状変化に注目して前記回収撮影画像から前記入力画像データを生成する第２画像処理モジュールと、前記回収部品の経年位置変化に注目して前記回収撮影画像から前記入力画像データを生成する第３画像処理モジュールとを有する。
この構成では、第１画像処理モジュールと第２画像処理モジュールと第３画像処理モジュールの少なくとも１つを用いて生成された入力画像データを用いることで、判別結果の精度が向上する。

【0014】

本発明による、使用済の回収部品の状態を判別する部品状態判別システムは、前記回収部品の回収撮影画像または前記回収部品の新品時の新品撮影画像あるいはその両方の撮影画像を学習データとして用いて、前記回収撮影画像から前記回収部品が正常であるか異常であるかを判別するように学習されたＡＩユニットと、前記ＡＩユニットの判別結果を外部報知する判別結果報知部と、前記判別結果報知部によって報知された判別結果に対する専門家の判定に基づいて、前記ＡＩユニットに対して再学習を指令する再学習指令部と、を備え、前記ＡＩユニットには、入力データ生成ユニットと異常判別ユニットとが含まれ、前記入力データ生成ユニットは、前記回収撮影画像を入力して、前記新品撮影画像に類似する復元画像を出力するように構成された畳み込みニューラルネットワークであり、前記異常判別ユニットは、前記復元画像と前記新品撮影画像との類似度に基づいて前記回収部品の正常または異常を判別する。
この構成によれば入力データ生成ユニットは、回収撮影画像に基づいて、新品時の回収部品の新品撮影画像に類似する復元画像（偽物の新品撮影画像）を出力する画像復元アルゴリズムを有する。画像復元アルゴリズムの画像復元能力には限界があるので、経年変化が生じている回収撮影画像に対してこの画像復元アルゴリズムを実行すると、新品撮影画像に比べてやや差異をもつ復元画像を表す入力画像データが出力される。特に、経年変化及び故障（破損）が生じている回収部品の回収撮影画像に対してこの画像復元アルゴリズムを実行すると、新品部品の撮影画像に比べてより大きな差異をもつ復元画像を表す入力画像データが出力される。このことを利用すれば、異常判別ユニットは、復元画像（復元画像を表す入力画像データ）と新品撮影画像（新品撮影画像を表す入力画像データ）の類似度に基づいて回収部品の正常または異常を判別することができる。

【0015】

この構成においても、上述した、３つの種類の経年変化に照準をあてて、回収撮影画像から復元画像を生成することが好ましい。このことから、本発明の好適な実施形態の１つでは、前記入力データ生成ユニットは、前記回収部品の経年色変化に注目して前記復元画像を出力する第１復元モジュールと、前記回収部品の経年形状変化に注目して前記復元画像を出力する第２復元モジュールと、前記回収部品の経年位置変化に注目して前記復元画像を出力する第３復元モジュールとを有する。この構成では、第１復元モジュールと第２復元モジュールと第３復元モジュールの少なくとも１つを用いて生成された入力画像データを用いることで、異常判別ユニットは、より高い精度の判別結果を出力することができる。

【0016】

本発明の好適な実施形態の１つでは、ＡＩユニットを構成する、前記生成ユニットと異常判別ユニットとが一体化された畳み込みニューラルネットワークで構築されている。これにより、ＡＩユニットが簡単化され、結果的に簡単かつ正確に回収部品の状態を判別することができる部品状態判別システムが実現する。

【0017】

本発明のその他の特徴、作用及び効果は、以下の図面を用いた本発明の説明によって明らかにされる。

【図面の簡単な説明】

【0018】

【図1】部品状態判別システムの基本原理を説明する模式図である。

【図2】部品状態判別システムの第１実施形態の構成を説明する模式図である。

【図3】部品状態判別システムの第２実施形態の構成を説明する模式図である。

【図4】第２実施形態の部品状態判別システムにおける情報の流れを示す説明図である。

【図5】画像復元部を構成するニューラルネットワークを示す模式図である。

【発明を実施するための形態】

【0019】

図１を用いて、以下に、部品状態判別システムの基本原理を説明する。この部品状態判別システムによって、その状態を判別される使用済の回収部品は、家庭に配備されている燃料電池発電装置１に内装されている基板である。基板には、種々の電子部品やコネクタなどが実装されている。燃料電池発電装置１は、図１に模式的に示されているだけであるが、家屋内に電気エネルギーや熱エネルギーを供給する。燃料電池発電装置１は、定期的に、または各家庭からの要請に応じて、点検が行われ、必要に応じて、基板などの構成部品が新品と交換される。交換された基板等は、回収部品としてサービスセンタＣ１に搬入される。また、燃料電池発電装置１が破棄される場合でも、解体された燃料電池発電装置１から基板等が回収部品としてサービスセンタＣ１に送られてくる。受け入れた回収部品には、回収部品を特定するための識別コードが付与される。

【0020】

サービスセンタＣ１には、燃料電池発電装置１の部品を管理する部品管理コンピュータ１００が設置されている。部品管理コンピュータ１００は、使用済の回収部品の状態を判別する異常部品判別装置として機能することができる。部品管理コンピュータ１００は、部品状態判別システムとして機能し、通信部２１、撮影部２２、データ取得部３１、ＡＩユニット１０、判別結果報知部７、再学習指令部８を備えている。

【0021】

データ取得部３１は、カラーカメラシステムである撮影部２２によって作成された回収部品の撮影画像（回収撮影画像）を取得する。さらに、この回収部品の新品時の撮影画像（新品撮影画像）が部品製造会社Ｃ２で作成され、通信部２１を介してデータ取得部３１が取得する。もちろん、この新品撮影画像は撮影部２２によって作成することも可能である。データ取得部３１によって取得された回収撮影画像及び新品撮影画像は、部品識別コードで抽出可能に格納される。

【0022】

ＡＩユニット１０は、回収部品の回収撮影画像または回収部品の新品時の新品撮影画像あるいはその両方の撮影画像を学習データとして用いて、回収撮影画像から回収部品が正常であるか異常であるかを判別するように学習された機械学習モデルである。ＡＩユニット１０は、入力データ生成ユニット５と異常判別ユニット６とに分割して、構成してもよい。その際、入力データ生成ユニット５は、回収撮影画像に基づいて、異常判別ユニット６に対する入力データとして適切な入力画像データを生成する。異常判別ユニット６は、入力画像データに基づいて、回収部品が正常であるか異常であるかを示す判別結果を出力する。なお、最も基本的な異常判別ユニット６は、正常な新品部品の撮影画像（使用済の回収部品の撮影画像でもよいし、それら両方の撮影画像でもよい）を学習データ（教師データ）として、使用済の回収部品の撮影画像から前記回収部品の異常を判別するように学習させて生成された部品状態判別用機械学習モデルによって、構築可能である。この機械学習モデルに、回収部品の撮影画像（回収撮影画像）を入力することで、当該回収部品の異常か正常かの判別結果が出力される。

【0023】

判別結果報知部７は、ＡＩユニット１０が出力する判別結果を外部報知する。この外部報知により、例えば、人によって認知される、視覚的または聴覚的な報知が行われる。再学習指令部８は、報知された判別結果が専門家の知見に基づいて誤りであると判定された場合、そのような判別結果を出力したＡＩユニット１０を調節するための再学習を指令する。

【0024】

図２には、本発明による部品状態判別システムの第１実施形態が示されている。この第１実施形態では、ＡＩユニット１０は、入力データ生成ユニット５と異常判別ユニット６とからなる。入力データ生成ユニット５は、回収撮影画像に対して複数種類の画像処理を施し、異常判別ユニット６のための複数種類の入力画像データを生成することができる。このため、入力データ生成ユニット５は、画像処理部５１と画像処理モジュール選択部５２と画像処理モジュール格納部５３とを有する。画像処理部５１は、画像処理モジュール格納部５３に格納された画像処理モジュール群から画像処理モジュール選択部５２によって選択された画像処理モジュールを用いて、回収撮影画像を画像処理し、入力画像データを生成する。この実施形態では、画像処理モジュール群には、第１画像処理モジュール、第２画像処理モジュール、第３画像処理モジュールが含まれている。第１画像処理モジュールは、回収部品の経年色変化に注目して回収撮影画像から入力画像データを生成するためのモジュールである。第２画像処理モジュールは、回収部品の経年形状変化に注目して回収撮影画像から入力画像データを生成するためのモジュールである。第３画像処理モジュールは、回収部品の経年による位置変化に注目して回収撮影画像から入力画像データを生成するためのモジュールである。

【0025】

第１画像処理モジュールは、回収部品の変色（経年色変化）が強調される画像処理を回収撮影画像に施して入力画像データを生成する。この入力画像データに基づいて、異常判別ユニット６は、回収部品の状態（正常または異常）を判別する。この入力画像データに基づいて異常と判別された回収部品には、次のような症状が観察される；
（ａ）熱による焼け：茶褐色～黒になる、
（ｂ）構成部品の欠落：下地の色になる、
（ｃ）構成部品の膨張：収縮、変形：色バランスの変化がおこる。

【0026】

第２画像処理モジュールは、回収部品の大きさの変化（経年形状変化）が強調される画像処理を回収撮影画像に施して入力画像データを生成する。この入力画像データに基づいて、異常判別ユニット６は、回収部品の状態（正常または異常）を判別する。この入力画像データに基づいて異常と判別された回収部品には、次のような症状が観察される；
（ａ）熱による膨張：部品が大きくなる、
（ｂ）乾燥による収縮：部品が小さくなる、
（ｃ）構成部品の欠損：一部の寸法が小さくなる、
（ｄ）溶解、溶出：対象部品がなくなる（＝部品寸法がゼロになる）。

【0027】

第３画像処理モジュールは、回収部品の取り付け位置の変化（経年位置変化）が強調される画像処理を回収撮影画像に施して入力画像データを生成する。この入力画像データに基づいて、異常判別ユニット６は、回収部品の状態（正常または異常）を判別する。この入力画像データに基づいて異常と判別された回収部品には、次のような症状が観察される；
（ａ）接触による変形：取り付け位置がずれる、
（ｂ）部品の膨張：取り付け範囲を超える。

【0028】

異常判別ユニット６は、入力データ生成ユニット５によって生成された入力画像データを入力して、入力画像データに対応する回収部品が正常であるか異常であるかの判別結果を出力する。なお、入力データ生成ユニット５は、撮影画像に対して種々の処理を施す画像前処理機能を有し、この画像前処理機能を通じて入力画像データが生成される。そのような画像前処理機能には、ＲＧＢデータを濃淡データやＨＳＶデータなどに変換する機能や、画像縮小やエッジ検出などの画像処理フィルタを実行する機能が含まれている。異常判別ユニット６は、畳み込みニューラルネットワーク、好ましくはディープラーニングで構成されている。異常判別ユニット６の学習は、学習管理部３３によって実行される。この学習時に用いられる学習データは、判別結果を正常とする新品撮影画像、判別結果を正常とする回収撮影画像、判別結果を異常とする回収撮影画像であり、回収撮影画像の正常または異常の判定は人為的に行われる。さらには、回収部品の正面撮影画像を入力画像データとしてもよいし、回収部品の側面撮影画像を入力画像データとしてもよいし、回収部品の斜め方向からの撮影画像を入力画像データとしてもよい。さらにはそれぞれの入力画像データ別に異常判別ユニット６が用意されてもよい。

【0029】

判別結果報知部７は、報知デバイス（非図示）を通じて、ＡＩユニット１０が出力する判別結果を報知し、さらにその判別結果は回収部品の識別コードでリンクして、記録する。ＡＩユニット１０が出力する判別結果は、抜き打ち的に、熟練した専門家によってチェックされる。もし専門家チェックで、異常判別ユニット６が、正常な回収部品を異常と誤判別したことがわかると、この回収部品が正常と判別されるように、再学習指令部８に異常判別ユニット６の再学習が要請される。

【0030】

次に図３と図４とを用いて、本発明による部品状態判別システムの第２実施形態を説明する。図３は、部品状態判別システムの第２実施形態の構成を説明する模式図である。図４は、第２実施形態の部品状態判別システムにおける情報の流れを示す説明図である。

【0031】

この第２実施形態でも、ＡＩユニット１０は、入力データ生成ユニット５と異常判別ユニット６とからなる。この実施形態では、入力データ生成ユニット５は、データ取得部３１で取得された回収撮影画像及び新品撮影画像から、異常判別ユニット６に入力される入力画像データを生成する。入力データ生成ユニット５は、画像データの種々の前処理機能を有する。前処理機能には、ＲＧＢデータを濃淡データやＨＳＶデータなどに変換する機能や、画像縮小やエッジ検出などの画像処理フィルタを実行する機能が含まれている。異常判別ユニット６は、画像復元部６Ａと異常判別部６Ｂとからなる。画像復元部６Ａは畳み込みニューラルネットワーク、好ましくはディープラーニングで構成されており、以下に詳しく説明するように、画像を復元するように学習されている。図５に、そのようなディープラーニングが模式的に示されている。入力画像データは、その画素値からなるベクトルデータであり、図５では、Ｚ１、Ｚ２・・・で示されている。

【0032】

画像復元部６Ａは、回収部品の撮影画像（回収撮影画像）に基づいて生成された入力画像データを入力して、当該回収部品の新品時の新品撮影画像に類似する復元画像データを出力する。その際、故障や破損などの要因で回収部品の状態が悪いほど、復元画像は新品撮影画像と類似しなくなる。新品撮影画像に基づく入力画像データが入力されると、ほぼ１００％の類似度を示す復元画像データが出力され、故障や破損等で異常状態となっている回収部品の撮影画像に基づく入力画像データが入力されると、１００％より低い類似度を示す復元画像データが出力されるように、学習されている。したがって、異常判別部６Ｂは、回収部品の復元画像データと当該回収部品の新品時の新品撮影画像に基づく新品画像データとを比較して類似度を算出し、この類似度に基づいて回収部品の正常または異常を判別する。

【0033】

この実施形態では、経年変化による状態変化、及び故障（破損）による主な状態変化である、（１）変色、（２）収縮や膨張による形状（サイズ）の変化、（３）剥がれやずれ動きによる取り付け位置の変化、を個別にチェックして、回収部品の正常または異常を判別するために、この画像復元部６Ａは、上記（１）、（２）、（３）を個別に注目した、３つのディープラーニングモジュールを用意している。このため、画像復元部６Ａは、復元モジュール実行部６１、復元モジュール選択部６２、復元モジュール格納部６３を備えている。

【0034】

復元モジュール選択部６２によって復元モジュール格納部６３から選択され、復元モジュール実行部６１にロードされるディープラーニングモジュール（あるいは、重みやバイアスの設定値）は、第１復元モジュール、第２復元モジュール、第３復元モジュールである。

【0035】

第１復元モジュールは、変色（経年色変化）を有する回収部品の回収撮影画像を復元する画像復元機能を有する。この画像復元機能により復元された画像が新品復元画像に比べて明らかに差異がある場合には、異常判別部６Ｂは、その回収部品の変色が異常であり、その変色が部品故障に基づくものであると推定する。ここで想定される例としては、
（ａ）熱による焼け：茶褐色～黒になる、
（ｂ）構成部品の欠落：下地の色になる、
（ｃ）構成部品の膨張、収縮、変形：色バランスの変化がおこる、
が挙げられる。

【0036】

第２復元モジュールは、大きさの変化（経年形状変化）を有する回収部品の回収撮影画像を復元する画像復元機能を有する。この画像復元機能により復元された画像が新品復元画像に比べて明らかに差異がある場合には、異常判別部６Ｂは、その回収部品には大きさの異常な変化があり、その変化が部品故障に基づくものであると推定する。ここで想定される例としては、
（ａ）熱による膨張：部品が大きくなる、
（ｂ）乾燥による収縮：部品が小さくなる、
（ｃ）構成部品の欠損：一部の寸法が小さくなる、
（ｄ）溶解、溶出：対象部品がなくなる（＝部品寸法がゼロになる）、
が挙げられる。

【0037】

第３復元モジュールは、取り付け位置の変化（経年位置変化）を有する回収部品の回収撮影画像を復元する画像復元機能を有する。この画像復元機能により復元された画像が新品復元画像に比べて明らかに差異がある場合には、異常判別部６Ｂは、その回収部品には取り付け位置の異常な変化があり、その変化が部品故障に基づくものであると推定する。ここで想定される例としては、
（ａ）接触による変形：取り付け位置がずれる、
（ｂ）部品の膨張：取り付け範囲を超える、
が挙げられる。

【0038】

異常判別部６Ｂは、第１復元モジュール、第２復元モジュール、第３復元モジュールのそれぞれから出力された回収部品の復元画像である復元画像データと、新品の復元画像である新品復元データ（新品の撮影画像から直接生成することも可能）とを比較し、その類似度から当該回収部品が正常であるか異常であるかを判別する。その際、第１復元モジュール、第２復元モジュール、第３復元モジュールによる復元画像データを用いた類似度を組み合わせて、例えば、それらの加算値（重み付き加算値を含む）または平均値（重み付き平均値を含む）に基づいて判別してもよいし、いずれかいつの類似度が許容範囲を超えた場合に異常と判別してもよい。さらには、異常個所を指定して、基板に実装された個別部品の正常／異常判別を行うことも可能である。

【0039】

第１復元モジュール、第２復元モジュール、第３復元モジュールは、１つのディープラーニングモジュールに統合して、復元モジュール実行部６１に組み込んでおくことも可能である。その場合、復元モジュール選択部６２及び復元モジュール格納部６３は省略される。

【0040】

また、この実施形態では、複数の復元モジュールは、回収部品のそれぞれ異なる異常の要因に照準を定めて画像復元を行うように構成されたものであった。しかしながら、回収部品の異常を判別する場合に、回収部品を観察する方向が重要となる場合もある。このことから、復元モジュールとして、回収部品の正面撮影画像を入力画像データとするもの、回収部品の側面撮影画像を入力画像データとするもの、回収部品の斜め方向からの撮影画像を入力画像データとするものが用意されてもよい。

【0041】

この実施形態でも、異常判別ユニット６による判別結果は、抜き打ち的に、熟練した専門家によってチェックされる。もし専門家チェックで、異常判別ユニット６が、正常な回収部品を異常と誤判別したことがわかると、この回収部品が正常と判別されるように、再学習指令部８に画像復元部６Ａの再学習が要請される。同様に、専門家チェックで、異常判別ユニット６が、異常な回収部品を正常と誤判別したことがわかると、この回収部品が正常と判別されるように、再学習指令部８に画像復元部６Ａの再学習が要請される。

【0042】

上述したように、本発明による部品状態判別システムを用いて回収部品が正常か異常か、さらには、回収部品の特定箇所が正常か異常かを判別することができる。この回収部品の判別結果と、当該部品の使用態様（使用時間、使用負荷、使用環境など）とから、回収部品の寿命などを推定することができ、回収部品の改善点を見出すことができる。

【0043】

〔別実施の形態〕
（１）上述した実施形態では、画像復元部６Ａは、ディープラーニングを用いて構成されていたが、ディープラーニングのような学習型のニューラルネットワークに代えて、例えば、カルマン・フィルタを用いた画像復元技術のような画像処理モジュールを用いて構成することも可能である。

【0044】

（２）上述した実施形態では、画像復元部６Ａから出力される復元画像データに基づいて異常判別部６Ｂが回収部品の異常を判別していたが、画像復元部６Ａと異常判別部６Ｂとを統合し、入力画像データが入力されると、回収部品の正常／異常判別結果が出力されるように構成することができる。そのような統合された異常判別ユニット６は、例えば、敵対的生成ネットワークやオートエンコーダを用いて構成することができる。その際、敵対的生成ネットワークは、回収部品の撮影画像から、疑似新品撮影画像を生成し、その疑似新品撮影画像と真の新品撮影画像との差異、真贋度から回収部品の正常／異常が判別される。

【0045】

（３）ＡＩユニット１０は、カメラ付きタブレットコンピュータなどの携帯端末に構築することも可能である。そのような携帯端末を用いると、保守点検員が、各家庭を巡回しながら、取り外した回収部品の正常／異常判別を行うことができる。取り外した回収部品が正常である場合、その回収部品を元に戻すことも可能である。

【0046】

（４）上述した実施形態では、家庭に配備されている燃料電池発電装置１に内装されている基板が回収部品として取り扱われたが、これに代えて、その他の部品ユニット、さらには燃料電池発電装置１以外の家庭用機器、例えば、ホームセキュリティシステム機器、家電システム機器、調理システム機器、空調システム機器、など家庭生活を管理する種々のシステム機器に内装されている基板等の正常／異常判別を行うように構成することも可能である。

【0047】

（５）入力データ生成ユニット５と異常判別ユニット６とが一体化された畳み込みニューラルネットワークで構成すること、つまりＡＩユニット１０が１つの畳み込みニューラルネットワークで構成することも可能である。

【産業上の利用可能性】

【0048】

本発明は、種々の基板や部品ユニットを内装する機器の回収部品（交換部品）の正常／異常判別を行うシステムに適用可能である。

【符号の説明】

【0049】

１ ：燃料電池発電装置
５ ：入力データ生成ユニット
６ ：異常判別ユニット
６Ａ ：画像復元部
６Ｂ ：異常判別部
５１ ：画像処理部
６１ ：復元モジュール実行部
６２ ：復元モジュール選択部
６３ ：復元モジュール格納部
５２ ：画像処理モジュール選択部
５３ ：画像処理モジュール格納部
７ ：判別結果報知部
８ ：再学習指令部
１０ ：ＡＩユニット
２１ ：通信部
２２ ：撮影部
３１ ：データ取得部
３３ ：学習管理部

【図1】

【図2】

【図3】

【図4】

【図5】