特許 7583395 画像処理装置、画像処理方法、画像処理プログラム、および画像分類装置、ならびにこれにより生成された学習済みモデル

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-06

(45)【発行日】2024-11-14

(54)【発明の名称】画像処理装置、画像処理方法、画像処理プログラム、および画像分類装置、ならびにこれにより生成された学習済みモデル

(51)【国際特許分類】

   G06T 1/00 20060101AFI20241107BHJP

   G06V 10/82 20220101ALI20241107BHJP

   G06N 20/00 20190101ALN20241107BHJP

【ＦＩ】

G06T1/00 510

G06V10/82

G06N20/00

【請求項の数】 10

(21)【出願番号】P 2022075252

(22)【出願日】2022-04-28

(65)【公開番号】P2023163983

(43)【公開日】2023-11-10

【審査請求日】2024-05-08

【早期審査対象出願】

(73)【特許権者】

【識別番号】302019669

【氏名又は名称】株式会社フジテクノ

(73)【特許権者】

【識別番号】503361813

【氏名又は名称】学校法人 中村産業学園

(74)【代理人】

【識別番号】100197642

【弁理士】

【氏名又は名称】南瀬 透

(74)【代理人】

【識別番号】100099508

【弁理士】

【氏名又は名称】加藤 久

(74)【代理人】

【識別番号】100182567

【弁理士】

【氏名又は名称】遠坂 啓太

(74)【代理人】

【識別番号】100219483

【弁理士】

【氏名又は名称】宇野 智也

(72)【発明者】

【氏名】鶴田 和寛

(72)【発明者】

【氏名】藤井 健太郎

(72)【発明者】

【氏名】小代 哲也

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０２１－１６３１９０（ＪＰ，Ａ）

【文献】特開２０１８－２０１１５６（ＪＰ，Ａ）

【文献】特開２０２１－１５７６８２（ＪＰ，Ａ）

【文献】特開２００４－１９１１１２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

撮影画像を画素毎に複数の色情報へ数値変換し、当該数値変換されたそれぞれの色情報を結合させることによりデータを作成する第１の演算手段と、
前記第１の演算手段により作成された前記データを高速フーリエ変換することにより機械学習に用いられるデータを作成する第２の演算手段と、
を有し、
前記第２の演算手段により作成された前記データは、機械学習に用いられることで対象の異常の有無の検知および異常の種類の判別をし得る学習済みモデルを生成し得るものであり、
前記第１の演算手段は、前記撮影画像を行方向および列方向に走査して当該撮影画像の画素を複数の色情報へ数値変換し、行方向に走査して得られた前記複数の色情報と、列方向に走査して得られた前記複数の色情報とを結合させることにより前記データを作成する
画像処理装置。

【請求項2】

前記第１の演算手段は、三次元撮影画像である前記撮影画像を体積素毎に複数の色情報へ数値変換するものである請求項１に記載の画像処理装置。

【請求項3】

前記複数の色情報は、ＲＧＢ色モデルに基づく赤、緑、および青の情報、またはＨＳＶモデルに基づく色相、彩度、および明度の情報である請求項１または２に記載の画像処理装置。

【請求項4】

前記複数の色情報は、ＲＧＢ色モデルに基づく赤、緑、および青の情報であり、
前記第１の演算手段は、前記撮影画像をＲＧＢ色モデルに基づく赤、緑、および青の色調にそれぞれ画像変換して、当該変換された画像を前記複数の色情報へ数値変換するものである請求項１または２に記載の画像処理装置。

【請求項5】

撮影対象を照らす光源と、
前記光源に照らされた前記撮影対象を撮影する撮影手段と、
請求項３に記載の画像処理装置と、
を有する画像処理システム。

【請求項6】

前記撮影対象は機械部品であり、
前記光源は複数あって、複数の異なる方向から前記撮影対象を照らすものである
請求項５に記載の画像処理システム。

【請求項7】

請求項１に記載の画像処理装置により作成された教師データにより機械学習を行う学習手段を有する画像分類装置。

【請求項8】

前記学習手段はさらに、正常な状態を示す撮影対象が撮影された撮影画像に基づいて前記画像処理装置によって作成された正常データのみにより、機械学習を行うものである請求項７に記載の画像分類装置。

【請求項9】

第１の演算手段により、撮影画像を画素毎に複数の色情報へ数値変換し、当該数値変換されたそれぞれの色情報を結合させることによりデータを作成する工程と、
第２の演算手段により、前記第１の演算手段により作成された前記データを高速フーリエ変換することにより機械学習に用いられるデータを作成する工程と、
を有し、
前記第２の演算手段により作成された前記データは、機械学習に用いられることで対象の異常の有無の検知および異常の種類の判別をし得る学習済みモデルを生成し得るものであり、
前記第１の演算手段は、前記撮影画像を行方向および列方向に走査して当該撮影画像の画素を複数の色情報へ数値変換し、行方向に走査して得られた前記複数の色情報と、列方向に走査して得られた前記複数の色情報とを結合させることにより前記データを作成する画像処理方法。

【請求項10】

コンピュータを、
撮影画像を画素毎に複数の色情報へ数値変換し、当該数値変換されたそれぞれの色情報を結合させることによりデータを作成する第１の演算手段と、
前記第１の演算手段により作成された前記データを高速フーリエ変換することにより機械学習に用いられるデータを作成する第２の演算手段と、
を有し、
前記第２の演算手段により作成された前記データは、機械学習に用いられることで対象の異常の有無の検知および異常の種類の判別をし得る学習済みモデルを生成し得るものであり、
前記第１の演算手段は、前記撮影画像を行方向および列方向に走査して当該撮影画像の画素を複数の色情報へ数値変換し、行方向に走査して得られた前記複数の色情報と、列方向に走査して得られた前記複数の色情報とを結合させることにより前記データを作成する画像処理装置として動作させる画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影画像から取得した情報に基づいて機械学習に用いられるデータを作成する画像処理装置、画像処理方法、および画像処理プログラムに関する。また、これらの画像処理装置などから作成されたデータにより機械学習を行う画像分類装置、この画像分類装置により生成された学習済みモデルに関する。

【背景技術】

【0002】

従来、カメラなどで撮影された画像から、異常を検知する手法が知られている。例えば、キズの無い正常な部品が写っている画像と、キズの有る異常な部品が写っている画像とを教師データとしてディープラーニングにより学習させ、ある画像に写っている部品が正常（キズ無し）か異常（キズ有り）かを判別する学習済みモデルを生成する方法が知られている。

【0003】

そして、このような機械学習を用いた撮影画像に基づく検知手法（判定手法）は、判定精度の向上や軽量化、リアルタイム性などが求められている。特に、少ない教師データで高い判定精度を実現することは、現在のＡＩ技術において共通の課題として認識されている。

【0004】

特許文献１に記載の技術も、このような課題に対して考えられたものである。特許文献１には、改質段階分類モデルを用いて、搬送される土壌の改質要否を判定する装置が記載されている。また、この改質段階分類モデルは、土壌を改質段階のいずれかに分類するものであり、改質段階ごとに用意された各サンプル画像から切り出された複数の小領域画像を学習することによって作成されるものである。
なお、特許文献１には、この少領域画像を構成する画素の値（画素値）を用いて高速フーリエ変換を行い、振幅スペクトルを求めることが記載されている。そして、高速フーリエ変換後に得られる各画素の値は正規化され、変換後の小領域画像が学習用・検証用として機械学習に用いられる（特許文献１の明細書の段落００４０）。

【0005】

また、特許文献２には、車載のカメラからの信号入力の更新によりカメラの撮影画像が更新される度に、撮影画像の所定領域をフーリエ変換して得られるスペクトラムパターンに基づいて、横断歩道に応じた所定周期のゼブラパターンを所定領域から抽出する抽出手段を備える横断歩道検出装置が記載されている。
なお、特許文献２には、振幅スペクトルの平均値と強度閾値との比較に基づいて、エッジ処理された画像信号について、横断歩道に該当するゼブラパターンの候補が存在するか否かの判定を行うことが記載されている（特許文献２の明細書の段落００４２）。

【0006】

また、特許文献３には、画像中の検出対象を検出する際の検出率を向上させることを目的とした検出装置やプログラムが記載されている。特許文献３には、第１の判定部（第１の分類モデル）で検出されなかった物体（未検出物体）のみを第２の判定部（第２の分類モデル）で判定することで、高い精度を実現することができると記載されてる（特許文献３の明細書の段落００３９，００４０）。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０２０－０４１８０１号公報

【文献】特開２０１３－１１４６５２号公報

【文献】特開２０２１－１５７５５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかし、特許文献２に記載の技術は、そもそも機械学習に用いられるデータを作成するものではないため、特許文献２に記載の技術により得られたスペクトラムパターンは、効果的な学習結果をもたらすデータ足るものではない。
また、特許文献３に記載の技術は、いわば複数の分類モデルを作成し使用することで、判定精度の向上を図るものである。そのため、複数の分類モデルを作成するだけの（多くの）教師データや学習が必要となる。

【0009】

なお、特許文献１に記載の技術は、撮影された画像の変換を行うものではあるが、学習用データとして１の画像から複数の小領域画像を切り出すことにより効率的に大量の学習用データを取得するものである。そして、土壌のように、１の画像からどの部分を切り出しても似たような判定対象（土壌）が写っている場合はよいが、ネジやナットなどの機械部品、または人体といった撮影された画像から切り出された部分ごとに写っている対象が異なる場合は、有効な教師データを得ることはできない。

【0010】

よって、本発明は、少ないデータであっても安定した判定精度を実現するための、機械学習に用いられるデータを作成する画像処理装置や画像処理方法などを提供する。

【課題を解決するための手段】

【0011】

本発明の画像処理装置は、撮影画像を画素毎に複数の色情報へ数値変換し、当該数値変換されたそれぞれの色情報を結合させることによりデータを作成する第１の演算手段と、第１の演算手段により作成されたデータを高速フーリエ変換することにより機械学習に用いられるデータを作成する第２の演算手段と、を有する。
これにより、撮影画像に写っている撮影対象が複数の色情報へ数値変換されてから結合されることで統合データが作成され、その後さらに当該統合データが高速フーリエ変換される。

【0012】

また、第１の演算手段は、撮影画像を行方向および列方向に走査して当該撮影画像の画素を複数の色情報へ数値変換し、行方向に走査して得られた複数の色情報と、列方向に走査して得られた複数の色情報とを結合させることによりデータを作成するものであることが好ましい。
これにより、撮影画像に写っている撮影対象が行方向および列方向の複数方向から走査されることによって、より多くの複数の色情報が取得および結合される。

【0013】

また、第１の演算手段は、三次元撮影画像である撮影画像を体積素毎に複数の色情報へ数値変換するものであることが好ましい。
これにより、さらに多くの複数の色情報が取得および結合される。

【0014】

本発明の画像処理システムは、上述した画像処理装置と、撮影対象を照らす光源と、光源に照らされた撮影対象を撮影する撮影手段と、を有する。なお、撮影対象は機械部品であり、光源は複数あって、複数の異なる方向から撮影対象を照らすものであることが好ましい。
これにより、撮影対象は複数の光源により複数の異なる方向から照らされ、撮影手段により撮影対象が変わっても陰影のない均一な撮影画像が取得される。

【0015】

本発明の画像分類装置は、上述した画像処理装置により作成された教師データにより機械学習を行う学習手段を有する。
なお、学習手段はさらに、正常な状態を示す撮影対象が撮影された撮影画像に基づいて上述した画像処理装置によって作成された正常データのみにより、機械学習を行うものであることが好ましい。
これにより、撮影画像に写った撮影対象を分類し得る学習済みモデルが生成される。

【0016】

また、本発明の画像処理装置は、第１の演算手段により、撮影画像を画素毎に複数の色情報へ数値変換し、当該数値変換されたそれぞれの色情報を結合させることによりデータを作成する工程と、第２の演算手段により、第１の演算手段により作成されたデータを高速フーリエ変換することにより機械学習に用いられるデータを作成する工程と、を有する。

【0017】

また、本発明の画像処理プログラムは、コンピュータを、撮影画像を画素毎に複数の色情報へ数値変換し、当該数値変換されたそれぞれの色情報を結合させることによりデータを作成する第１の演算手段と、第１の演算手段により作成されたデータを高速フーリエ変換することにより機械学習に用いられるデータを作成する第２の演算手段と、を有する画像処理装置として動作させる。

【発明の効果】

【0018】

（１）本発明の画像処理装置は、撮影画像を画素毎に複数の色情報へ数値変換し、当該数値変換されたそれぞれの色情報を結合させることによりデータを作成する第１の演算手段と、第１の演算手段により作成されたデータを高速フーリエ変換することにより機械学習に用いられるデータを作成する第２の演算手段と、を有する構成により、撮影画像に写っている撮影対象が複数の色情報へ数値変換されてから結合されることで統合データが作成され、その後さらに当該統合データが高速フーリエ変換されるため、撮影対象に存在する異常個所の位置や形状の変化にとらわれない特徴量を明確に抽出することができ、機械学習に有効的に利用することができるデータを作成することができる。

【0019】

（２）また、第１の演算手段は、撮影画像を行方向および列方向に走査して当該撮影画像の画素を複数の色情報へ数値変換し、行方向に走査して得られた複数の色情報と、列方向に走査して得られた複数の色情報とを結合させることによりデータを作成するものである構成により、撮影画像に写っている撮影対象が行方向および列方向の複数方向から走査されることによって、より多くの複数の色情報が取得および結合されるため、より明確に撮影対象に存在する異常個所の位置や形状の変化にとらわれない特徴量を抽出することができる。

【0020】

（３）また、第１の演算手段は、三次元撮影画像である撮影画像を体積素毎に複数の色情報へ数値変換するものである構成により、さらに多くの複数の色情報が取得および結合されるため、さらに明確に撮影対象に存在する異常個所の位置や形状の変化にとらわれない特徴量を抽出することができる。

【0021】

（４）本発明の画像処理システムは、上述した画像処理装置と、撮影対象を照らす光源と、光源に照らされた撮影対象を撮影する撮影手段と、を有する構成であり、特に撮影対象は機械部品であり、光源は複数あって、複数の異なる方向から撮影対象を照らすものである構成により、撮影対象は複数の光源により複数の異なる方向から照らされ、撮影手段により撮影対象が変わっても陰影のない均一な撮影画像が取得されるため、ムラがなく安定して撮影対象の特徴量を抽出することができる。

【0022】

（５）本発明の画像分類装置は、上述した画像処理装置により作成された教師データにより機械学習を行う学習手段を有する構成であり、特に学習手段はさらに、正常な状態を示す撮影対象が撮影された撮影画像に基づいて上述した画像処理装置によって作成された正常データのみにより、機械学習を行うものである構成により、撮影画像に写った撮影対象を分類し得る学習済みモデルが生成されるため、当該学習済みモデルを用いて撮影画像に写った撮影対象の分類を行うことができる。

【0023】

なお、本発明の画像処理装置や画像処理プログラムによれば、本発明の画像処理装置と同等の作用効果を奏することができる。

【図面の簡単な説明】

【0024】

【図1】本発明の実施の形態に係る画像処理システムの概略構成図である。

【図2】本発明の実施の形態に係る画像処理方法を説明するためのフロー図である。

【図3】本発明の実施の形態に係る画像処理方法を説明するための図である。

【図4】撮影画像を説明するための図であり、（Ａ）は正常な部品が写った撮影画像、（Ｂ）は異常な部品（錆あり）が写った撮影画像、（Ｃ）は異常な部品（打痕）が写った撮影画像である。

【図5】図４に示す撮影画像に基づいて、本発明の実施の形態に係る画像処理方法により作成された変換画像を説明するための図であり、（Ａ）は正常な部品が写った撮影画像に基づいて作成された変換画像、（Ｂ）は異常な部品（錆あり）が写った撮影画像に基づいて作成された変換画像、（Ｃ）は異常な部品（打痕）が写った撮影画像に基づいて作成された変換画像である。

【図6】その他の画像に基づいて、本発明の実施の形態に係る画像処理方法により作成された変換画像を説明するための図である。

【図7】その他の画像に基づいて、本発明の実施の形態に係る画像処理方法により作成された変換画像を説明するための図である。

【図8】その他の画像に基づいて、本発明の実施の形態に係る画像処理方法により作成された変換画像を説明するための図である。

【図9】その他の画像に基づいて、本発明の実施の形態に係る画像処理方法により作成された変換画像を説明するための図である。

【図10】その他の画像に基づいて、本発明の実施の形態に係る画像処理方法により作成された変換画像を説明するための図である。

【発明を実施するための形態】

【0025】

以下に本発明の実施の形態を詳細に説明するが、以下に記載する構成要件の説明は、本発明の実施形態の一例（代表例）であり、本発明はその要旨を逸脱しない限り、以下の内容に限定されない。

【0026】

［画像処理システム］
図１は、本発明の実施の形態に係る画像処理システムの概略構成図である。図１に示すように、本発明の実施の形態に係る画像処理システム１は、画像処理装置１０、撮影手段２０、および光源３０を有する。

【0027】

光源３０は、撮影対象Ｏを照らすものであり、例えばＬＥＤライトやストロボなどである。

【0028】

また、撮影手段２０は、撮影対象Ｏを撮影するものであり、例えば二次元画像を撮影するカメラや、二次元（平面）に加えて深度（奥行）を含む三次元画像を撮影する深度センサ付きカメラ（３Ｄカメラ）などである。

【0029】

光源３０によって照らされ、撮影手段２０によって撮影された撮影対象Ｏの撮影画像データは、画像処理装置１０へ送られる。この際、撮影画像データは、有線通信または無線通信、もしくはＵＳＢや外付けハードディスクなどの記憶媒体を介して撮影手段２０から画像処理装置１０へ送ることができる。

【0030】

［画像処理装置］
画像処理装置１０は、撮影画像データを加工して、変換画像を作成するものである。この変換画像は教師データなど、機械学習に用いられるデータとして利用される。

【0031】

また、図１に示すように、画像処理装置１０は、入力手段１１０、第１の演算手段１２０、第２の演算手段１３０、表示手段１４０、記憶手段１５０、および出力手段１６０を有する。

【0032】

入力手段１１０は、撮影手段２０によって撮影された撮影画像の入力処理を行うものである。入力手段１１０は、上述したように有線通信または無線通信、もしくは記憶媒体を介して撮影手段２０から送られてきた撮影画像を受信し、記憶手段１５０に保存する。
また、入力手段１１０は、キーボードやマウス、タッチパネルなどを介して、画像処理装置１０の利用者からの各種入力操作を受け付けるものである。

【0033】

記憶手段１５０は、画像処理装置１０に必要な情報が記憶（保存）されるものであり、例えばメモリやデータベースなどである。記憶手段１５０には撮影画像の他、変換画像、変換途中の画像、または画像処理装置１０を動作させるためのプログラムなどが記憶される。

【0034】

第１の演算手段１２０は、撮影画像を画素毎に複数の色情報へ数値変換し、当該数値変換されたそれぞれの色情報を結合させることによりデータを作成するものである。
撮影画像が三次元撮影画像である場合、第１の演算手段１２０は当該撮影画像を体積素毎に複数の色情報へ数値変換し、当該数値変換されたそれぞれの色情報を結合させることによりデータを作成する。

【0035】

第２の演算手段１３０は、第１の演算手段１２０により作成されたデータを高速フーリエ変換し、変換画像を作成するものである。この変換画像が、機械学習に用いられるデータとして利用される。

【0036】

出力手段１６０は、第２の演算手段１３０によって作成された変換画像を、有線通信または無線通信、もしくは記憶媒体を介して外部装置などへ出力するものである。

【0037】

表示手段１４０は、利用者へ各種情報を表示させるものであり、例えばディスプレイなどである。

【0038】

画像処理装置１０は、例えばモバイルＰＣやデスクトップＰＣ、またはタブレットなどなどに、図１に示す上述したような機能を実現し得るプログラムを構築（実装）することにより、本発明の実施の形態に係る画像処理装置として用いることができる。

【0039】

［画像分類装置］
なお、図示しないが、本発明の実施の形態として、画像処理装置１０により作成された変換画像を教師データなどとして機械学習を行う学習手段を有する画像分類装置がある。教師データは、例えば図４（Ａ），（Ｂ），（Ｃ）に示されるように、機械部品（ネジ）が写った撮影画像に基づいて作成された変換画像が、教師データとして用いられる。

【0040】

また、画像分類装置は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）やＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＡｕｔｏＥｎｃｏｄｅｒなどのディープラーニング（深層学習）、または転移学習などといった学習手段により機械学習を行い、学習済みモデルを生成する。

【0041】

そして、画像分類装置は、当該学習済みモデルにより撮影画像の判定を行う。例えば、工場で製造されたネジが撮影された撮影画像について、当該学習済みモデルを用いて推論を行い、当該撮影画像に写っているネジが正常（錆や打痕なし）であるか、異常（錆や打痕あり）であるかを判定する。

【0042】

なお、画像処理装置１０がこの学習手段を有するようにして、上述したような判定機能を画像処理装置１０に持たせてもよい。この場合、学習手段は記憶手段１５０に保存された変換画像を教師データとして学習を行い、生成された学習済みモデルは記憶手段１５０に保存される。

【0043】

［画像処理方法］
図２は、本発明の実施の形態に係る画像処理方法を説明するためのフロー図である。
以下、各図面を参照して、本実施の形態に係る画像処理装置を用いた画像処理方法を説明する。なお、この説明において、本実施の形態に係る画像処理方法は利用者が行うものとする。

【0044】

まず、画像処理装置１０に、撮影手段２０によって撮影された撮影画像が入力される（ステップＳ１１０）。そうすると、入力手段１１０によって入力処理が行われ、撮影画像が記憶手段１５０に保存される。なお、この説明では、撮影画像は二次元画像として説明する。

【0045】

次に、第１の演算手段１２０によって、撮影画像が画素毎に複数の色情報へ数値変換される（ステップＳ１２０）。
図３は、本発明の実施の形態に係る画像処理方法を説明するための図である。分かりやすいようにある撮影画像の一部を拡大して説明すると、図３に示す例において、拡大された画像の一部の画素数は「８×８」である。

【0046】

そして、第１の演算手段１２０は、この８×８の画素毎に、複数の色情報を算出する。
例えば、複数の色情報がＲＧＢ色モデルに基づく赤、緑、および青の情報である場合、この８×８の画素毎の＜赤＞，＜緑＞，＜青＞の色情報は、それぞれ以下のように算出される。

【0047】

＜赤＞
２５５ １７５ ７２ ３２ ２１０ ２１６ ５３ ８
２０２ １５８ ９９ ６６ １９９ １９５ ４９ ２４
１１９ １１０ １２０ ９６ １５６ １３９ １０５ ９５
１００ １４１ １１４ １１２ １１４ ８６ ２１７ ２２４
６９ １１５ １０４ １１２ １４６ １１０ ２４４ ２４７
６２ ８５ １０３ １２９ １２２ １１６ ７３ ６６
１１２ ９４ ６３ １０８ １５４ １７５ ３５ ０
１４０ １０７ ３２ ７８ １８１ ２０８ ４３ ０

【0048】

＜緑＞
１ ３５ １５６ １６４ ２０９ ２０７ １５６ １６８
１８ ５２ １４９ １５４ ２１０ ２０７ １４５ １６１
７８ ７７ １０２ ９９ １８９ １９８ １８４ １８７
１４７ １５７ ６３ ６７ １４６ １４８ ２５５ ２５５
１５５ １５８ ６１ ５６ １４９ １３６ ２５５ ２５５
１２９ １３１ １０６ １０１ ７７ ７４ ５６ ６１
１０２ １１７ １５０ １５０ ４３ ３４ ０ ０
９３ １１９ １６１ １５５ ３７ １８ ０ ０

【0049】

＜青＞
１ １０ ８１ ４２ ４１ ４２ ４７ ８５
３０ ３９ ８８ ５４ ７９ ７９ ５６ ９１
１１２ ８８ ６６ ４２ １３２ １４４ １３６ １４０
１９９ １８３ ４４ ３４ １３５ １４３ ２５２ ２４８
２１６ １９３ ４５ ３１ １５８ １５３ ２５５ ２５２
１９７ １６７ ７９ ６４ ８４ ９６ ６６ ６５
１７３ １４８ ９９ ８４ ２６ ４２ ０ ４
１６５ １４５ ９７ ７３ １０ １８ ０ ５

【0050】

例えば左上の数字が、８×８の画素における左上の画素（図３に示す斜線部分）の色情報である。そのため、この例において、図３に示す斜線部分の画素の＜赤＞の色情報は２５５、＜緑＞の色情報は１、＜青＞の色情報は１である。

【0051】

そして、第１の演算手段１２０によって、数値変換されたそれぞれの色情報を結合させることにより、データが作成される（ステップＳ１３０）。なお、この説明においては、撮影画像の画素毎の＜赤＞の色情報の後ろに画素毎の＜緑＞の色情報が結合され、さらにその後ろに画素毎の＜青＞の色情報のが結合される。

【0052】

例えば、上記８×８の画素における色情報を例に挙げると、撮影画像を行方向（横方向）に走査する場合、この統合されたデータは、
「２５５，１７５，７２，………，２０８，４３，０，………，１，３５，１５６，………，１８，０，０，………，１，１０，８１，………，１８，０，５」
のような、６４×３＝１９２個の色情報が羅列されたデータとなる。

【0053】

それから、第２の演算手段１３０によって、第１の演算手段により作成されたデータが高速フーリエ変換され、変換画像が作成される（ステップＳ１４０）。

【0054】

最後に、出力手段１６０によって、変換画像が出力される（ステップＳ１５０）。
以上のような手順で得られた変換画像は、機械学習における教師データとして用いられる。

【0055】

［実施例１］
図４は、撮影画像を説明するための図である。図４（Ａ）～図４（Ｃ）に示されるように、撮影対象は機械部品（ネジ）である。ここで、図４（Ｂ）に示す撮影画像には錆（点線円の部分参照）のあるネジが写っており、図４（Ｃ）に示す撮影画像には打痕（点線円の部分参照）のあるネジが写っている。一方、図４（Ａ）に示す撮影画像には、このような錆や打痕の無い正常なネジが写っている。

【0056】

また、図５は、図４に示す撮影画像に基づいて、本実施の形態に係る画像処理方法により作成された変換画像を説明するための図である。ここで、図５（Ａ）は図４（Ａ）に示す撮影画像に基づいて作成された変換画像、図５（Ｂ）は図４（Ｂ）に示す撮影画像に基づいて作成された変換画像、図５（Ｃ）は図４（Ｃ）に示す撮影画像に基づいて作成された変換画像である。

【0057】

図５に示すように、作成された変換画像は、周波数成分が振幅（縦軸）として抽出された画像となっている。なお、色情報は時間軸（時間情報）を持たないため、第２の演算手段１３０は、任意の値（例えば、周期が１０ミリ秒の周波数１００Ｈｚ）を用いて高速フーリエ変換を行っている。

【0058】

ここで、図５（Ａ）と図５（Ｂ）とを比較すると、振幅の大きさが異なる部分があることが分かる（図５（Ｂ）の矢印部分参照）。また、図５（Ａ）と図５（Ｃ）とを比較しても、振幅の大きさが異なる部分があることが分かる（図５（Ｃ）の矢印部分参照）。なお、図５（Ｂ）と図５（Ｃ）とを比較しても、振幅の大きさは異なっていることが分かる。

【0059】

つまり、図５に示す変換画像は、錆有り、打痕有り、何も無しといった撮影画像に写っている撮影対象の特徴が抽出されていると言える。そのため、この変換画像は、機械学習における正常または異常を示す教師データとして有効であると言え、当該教師データを用いて機械学習を行うことにより、少ないデータであっても安定した判定精度を実現し得る学習済みモデルを生成することができると言える。

【0060】

［実施例２］
図６～図９は、その他の画像に基づいて、本実施の形態に係る画像処理方法により作成された変換画像を説明するための図である。図６～図９において、上が撮影画像と仮定する画像を示している。一方、下がその画像に基づいて、本実施の形態に係る画像処理方法により作成された変換画像を示している。

【0061】

［位置変更］
例えば、図６（Ａ）の上に示す画像は、異常（六芒星形のキズ有り）と仮定できるような六芒星の模様が映っている。そして、この画像から、図６（Ａ）の下に示すような変換画像が作成された。

【0062】

また、図６（Ｂ）の上に示す画像は、図６（Ａ）の上に示す画像に写っている六芒星の模様の位置（場所）のみを変えたものである。つまり、当該六芒星の模様の位置は変わっているが、大きさや色などは変わっていない。そして、この画像から、図６（Ｂ）の下に示すような変換画像が作成された。

【0063】

図６（Ａ），（Ｂ）の変換画像を比較してみると、振幅の大きさおよび形状は変わらないことが分かる。つまり、撮影画像に写っているキズや錆、打痕などがある位置が変わったとしても、正確にその情報（特徴）を抽出できていることが分かる。要するに、変換画像を機械学習における教師データとして用いる場合、異常部分のある位置の変化に対するロバスト性は高いと言える。

【0064】

［色変更］
図７（Ａ）は、図６（Ａ）に示した画像および変換画像と同じである。図７（Ｂ）と比較するために記載している。
一方、図７（Ｂ）は、図７（Ａ）の上に示す画像に写っている六芒星の模様の色を変えたものである。

【0065】

図７（Ａ），（Ｂ）の変換画像を比較してみると、振幅の大きさは変わるが、振幅の形状は変わらないことが分かる。つまり、変更画像で示される振幅を補正（例えば拡大、縮小）することにより、異常な部分があると判定し得る特徴を抽出できていることが分かる。
なお、振幅の形状は変わらないが、振幅の大きさは変わるため、赤錆や青錆など色のみが異なる異常についても区別できるような特徴を抽出できていることが分かる。

【0066】

［大きさ変更］
また、図８（Ａ）も、図６（Ａ）に示した画像および変換画像と同じである。図８（Ｂ），（Ｃ）と比較するために記載している。
一方、図８（Ｂ）は、図８（Ａ）の上に示す画像に写っている六芒星の模様の大きさを変えた（大きくした）ものであり、図８（Ｃ）は、逆に小さくしたものである。

【0067】

図８（Ａ）～図８（Ｃ）の変換画像を比較してみると、それぞれ振幅の大きさおよび形状が変わることが分かる。そのため、例えばキズの大きさなど「異常の程度」を区別できるような特徴を抽出できていることが分かる。

【0068】

［形状変更］
また、図９（Ａ）も、図６（Ａ）に示した画像および変換画像と同じである。図９（Ｂ），（Ｃ）と比較するために記載している。
一方、図９（Ｂ）は、模様の形状を六芒星形から六角形に変えたものであり、図９（Ｃ）は、六芒星形の模様を左に９０度回転させたものである。

【0069】

図９（Ａ）～図９（Ｃ）の変換画像を比較してみると、それぞれ振幅の大きさおよび形状が変わることが分かる。そのため、例えば擦りキズや凹みキズなど「異常の種類」を区別できるような特徴を抽出できていることが分かる。

【0070】

［実施例３］
図１０は、その他の画像に基づいて、本実施の形態に係る画像処理方法により作成された変換画像を説明するための図である。図１０においても、上が撮影画像と仮定する画像を、下がその画像に基づいて、本実施の形態に係る画像処理方法により作成された変換画像を示している。

【0071】

例えば、図１０（Ａ）の上に示す画像には、異常（横線状の擦りキズ）と仮定できるような横線の模様が映っている。また、図１０（Ｂ）の上に示す画像には、異常（縦線状の擦りキズ）と仮定できるような縦線の模様が、図１０（Ｃ）の上に示す画像には、異常（斜め線状の擦りキズ）と仮定できるような斜め線の模様が映っている。
そして、これらの画像から、図１０（Ａ）～図１０（Ｃ）の下に示すような変換画像が作成された。

【0072】

図１０（Ａ），（Ｂ）の変換画像を比較してみると、それぞれ振幅の大きさおよび形状が変わっていることが分かる。一方、図１０（Ｃ）の変換画像は、図１０（Ａ），（Ｂ）の変換画像に示される振幅を合わせたものであることが分かる。
つまり、上述したような撮影画像を行方向（横方向）に走査するだけでなく、列方向（縦方向）にも走査し、それぞれの走査で得られた色情報を結合させたデータを作成することで、異常部分が形状や異常部分が設けられた方向（例えば、横から設けられた擦りキズ、縦から設けられた擦りキズ、斜めから設けられた擦りキズなど）の変化に対するロバスト性は高いと言える。

【0073】

そのため、第１の演算手段１２０により撮影画像を行方向および列方向に走査して当該撮影画像の画素を複数の色情報へ数値変換し、行方向に走査して得られた複数の色情報と、列方向に走査して得られた複数の色情報とを結合させてデータを作成し、第２の演算手段１３０により当該データを高速フーリエ変換して変換画像を作成すると、図９（Ａ）の上に示す画像に基づく変換画像の振幅と、図９（Ｃ）の上に示す画像に基づく変換画像の振幅は、ほぼ同じ大きさおよび形状になると思われる。

【0074】

以上のように本発明の実施の形態を説明したが、説明した実施の形態はあくまで一例であり、本発明はその要旨を逸脱しない限り、この内容に限定されない。

【0075】

［教師なし学習］
例えば、画像処理装置１０により作成された変換画像を教師データとして機械学習を行う学習手段を有する画像分類装置を説明した。つまり、学習手段は、以下のような正常データと異常データの両方を含む教師データに基づいて機械学習を行うものとして説明した。
・正常データ：正常な状態を示す撮影対象（ネジ）が撮影された撮影画像（図４（Ａ））に基づいて作成された教師データ。
・異常データ：錆や打痕など以上な状態を示す撮影対象（ネジ）が撮影された撮影画像（図４（Ｂ），（Ｃ））に基づいて作成された教師データ。

【0076】

学習手段は、このような「正常」、「異常（錆）」、「異常（打痕）」などのラベルが付けられた教師データを用いた教師あり学習の他に、教師なし学習を行うこともできる。
例えば、学習手段は上記正常データのみにより機械学習を行うことができる。具体的には、学習手段は教師なし学習の１クラス分類に応用される手法であるＯｎｅ Ｃｌａｓｓ ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いて、正常データとして１つのクラスを学習して識別境界を決定し、当該識別境界を基準として外れ値（異常データ）を検出することができる。

【0077】

つまり、画像処理装置１０は、図５（Ａ）～図５（Ｃ）に示す変換画像からも明らかなように、正常データ（図５（Ａ））と異常データ（図５（Ｂ），（Ｃ））との間の識別境界を決定し得る特徴量を十分に抽出できている。そのため、学習手段は例えば図５（Ａ）に示すデータを基準としユークリッド距離やマハラノビス距離などに基づいて、振幅の大きさや形状などにより示される特徴量が識別境界内にあると判断されるものは正常データとして判定し、逆に識別境界外にあると判断されるものは異常データとして判定するような学習を行うことができる。

【0078】

現実的な問題として、正常データと異常データを含めた教師あり学習を行いたいが、この異常データの取得が困難な場合がある。例えば機械部品を製造している工場で、異常のある部品が製造される確率は１０万個～１００万個に１個など極めて低い。そのため、赤錆や青錆、打痕など、複数種類の異常データをそれぞれ十分に取得することが極めて困難な場合がある。
本発明の画像処理装置１０や画像分類装置によれば、このような場合でも、作成された変換画像により教師なし学習を行うことができるため、少ないデータであっても安定した判定精度を実現することができる。

【0079】

このように、画像処理装置１０により作成された変換画像は、教師あり学習に用いることができ、かつ教師なし学習に用いることもできる。

【0080】

［前処理］
また、撮影画像に対して前処理（画像処理）を行うこともできる。
例えば、第１の演算手段１２０は、撮影画像の色調（トーン）をＲＧＢ色モデルに基づく赤、緑、および青の色調にそれぞれ画像変換する。そうすると、赤の色調に変換された撮影画像、緑の色調に変換された撮影画像、青の色調に変換された撮影画像といった複数の画像が生成されるため、第１の演算手段１２０は、さらに当該生成（変換）された画像を複数の色情報へ数値変換する。

【0081】

ＲＧＢ色モデルに基づく色調の変換とは、例えばＲＧＢ値が０～２５５で指定されるとき、赤の色調に変換された撮影画像の場合は赤の値は２５５とし、緑および青の値は０となるように画像変換することである。

【0082】

そして、第１の演算手段１２０は、当該変換された画像を複数の色情報へ数値変換する。このとき、（１）第１の演算手段１２０は、赤の色調、緑の色調、青の色調にそれぞれ変換された撮影画像に基づく複数の色情報を結合させることによりデータを作成してもよい。また、（２）赤の色調に変換された撮影画像に基づく複数の色情報を結合させたデータ、緑の色調に変換された撮影画像に基づく複数の色情報を結合させたデータ、青の色調に変換された撮影画像に基づく複数の色情報を結合させたデータをそれぞれ作成してもよい。

【0083】

このような前処理を施すことで、撮影画像に写った異常箇所の特徴量をより明確に抽出することができる。つまり、撮影画像に写った異常箇所をより正確に特定することができる。なぜならば、異常箇所は赤錆や青錆など色に特徴を持つものもあるため、このような前処理を施すことで、その異常箇所の特徴をより際立たせることができる。
例えば、上記（２）のようにして、第１の演算手段１２０により赤の色調に変換された撮影画像に基づいて結合データが作成され、その後第２の演算手段１３０により機械学習に用いられる学習用データが作成された場合、当該学習用データが異常箇所の特徴量を明確に抽出できていなくても、緑または青の色調に変換された撮影画像に基づいて作成された学習用データが異常箇所の特徴量を明確に抽出できていることがある。

【0084】

そうすると、画像分類装置は、赤、緑、青の色調にそれぞれ変換された撮影画像に基づいて作成された学習用データにより機械学習を行い、学習済みモデルがそれぞれ生成されることとなる。そして、ある撮影画像について、それぞれ生成された複数の学習済みモデルを用いて推論を行ったとき、どれか１つでも異常と判定すれば、当該撮影画像に写った撮影対象には異常箇所があると判断することができる。
特に、機械学習を用いた撮影画像に基づく検知手法においては、正常を異常と判定することはある程度許容されるが、異常を正常と判定することは許されない。

【0085】

［三次元画像］
その他、上述した説明では主に撮影画像を二次元画像として説明したが、画像処理装置１０は、二次元（平面）に加えて深度（奥行）を含む三次元画像に基づいて変換画像を作成することもできる。この場合、第１の演算手段１２０は、第１の演算手段１２０は当該撮影画像を体積素毎に複数の色情報へ数値変換し、当該数値変換されたそれぞれの色情報を結合させることによりデータを作成する。そして、第２の演算手段１３０は、当該データを高速フーリエ変換することにより、変換画像を作成する。

【0086】

これにより、二次元の情報（ＸＹ）よりも情報量が多い三次元の情報（ＸＹＺ）に基づいて色情報が取得されるため、より錆や打痕、キズなど異常がある部分の特徴を抽出することができる。例えば、撮影対象に打痕がある場合、当該打痕の手前（浅いところ）よりも奥の方（深いところ）が暗くなっている、つまり色情報に違いがあるため、その特徴をより精度よく抽出することができる。

【0087】

さらに、撮影対象はネジやナットといった機械部品以外にも、胃の中や皮膚といった人体内外で悪性腫瘍などの異常が発生する部分であってもよい。

【0088】

また、複数の色情報は、ＲＧＢ色モデルに基づく赤、緑、および青の情報以外にも、ＨＳＶモデルに基づく色相、彩度、および明度の情報であってもよく、それ以外の色情報であってもよい。
色情報は例えば、撮影対象が明るい色をしているか、暗い色をしているか、または光沢のあるものかなど、撮影対象に応じて適宜設計変更することができる。

【産業上の利用可能性】

【0089】

本発明は、少ないデータであっても安定した判定精度を実現するための、機械学習に用いられるデータを作成する画像処理装置や画像処理方法などとして教師あり学習や教師なし学習などの分野において有効利用することができるため、産業上有用である。

【符号の説明】

【0090】

１ 画像処理システム
１０ 画像処理装置
１１０ 入力手段
１２０ 第１の演算手段
１３０ 第２の演算手段
１４０ 表示手段
１５０ 記憶手段
１６０ 出力手段
２０ 撮影手段
３０ 光源
Ｏ 撮影対象

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】