特開 2023-8090 特異部検知システム及び特異部検知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023008090

(43)【公開日】2023-01-19

(54)【発明の名称】特異部検知システム及び特異部検知方法

(51)【国際特許分類】

   G01N 21/892 20060101AFI20230112BHJP

   G06T 7/00 20170101ALI20230112BHJP

【ＦＩ】

G01N21/892 A

G06T7/00 610Z

G06T7/00 350B

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021111365

(22)【出願日】2021-07-05

(71)【出願人】

【識別番号】000002093

【氏名又は名称】住友化学株式会社

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100128381

【弁理士】

【氏名又は名称】清水 義憲

(74)【代理人】

【識別番号】100124062

【弁理士】

【氏名又は名称】三上 敬史

(74)【代理人】

【識別番号】100133064

【弁理士】

【氏名又は名称】大野 新

(72)【発明者】

【氏名】川畑 諒太

(72)【発明者】

【氏名】尾崎 麻耶

(72)【発明者】

【氏名】鈴木 孝志

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA32

2G051AA41

2G051AB01

2G051AB02

2G051BA20

2G051CA03

2G051CB01

2G051CB02

2G051DA15

2G051EA16

2G051EA17

2G051EB05

2G051EC01

2G051ED04

5L096CA02

5L096EA35

5L096EA39

5L096FA59

5L096FA64

5L096KA04

(57)【要約】

【課題】低解像度の撮像画像により特異部の検知精度を向上させる。
【解決手段】特異部検出部１１で、被対象物Ｏの撮像画像Ｉ_０から特異部Ｓが検出される。特異部画像切出部１２で、撮像画像Ｉ_０から特異部画像Ｉ_１が切り出される。被合成画像生成部１３で、特異部画像Ｉ_１に基づいて、被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３の大きさに対する被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３の中の特異部Ｓの大きさの比率がそれぞれ異なる複数の被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３が生成される。合成画像生成部１４で、複数の被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３が合成されて合成画像Ｉ_３が生成される。撮像画像Ｉ_０が低解像度でも、特異部Ｓの大きさの比率がそれぞれ異なる複数の被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３から生成された合成画像Ｉ_３により多くの情報が含まれる。識別部１５で特異部Ｓの種別が識別される。低解像度の撮像画像Ｉ_０により特異部Ｓの検知精度を向上できる。
【選択図】図４

【特許請求の範囲】

【請求項1】

被対象物を撮像する撮像部と、
前記撮像部で撮像された前記被対象物の撮像画像から、任意の特徴を持った特異部を検出する特異部検出部と、
前記特異部検出部で検出された前記特異部が特異部画像に含まれるように、前記撮像画像から任意の大きさの前記特異部画像を切り出す特異部画像切出部と、
前記特異部画像切出部により切り出された前記特異部画像に基づいて、チャンネルが異なる複数の被合成画像として、前記被合成画像の大きさに対する前記被合成画像の中の前記特異部の大きさの比率がそれぞれ異なる複数の前記被合成画像を生成する被合成画像生成部と、
前記被合成画像生成部により生成された複数の前記被合成画像を合成して合成画像を生成する合成画像生成部と、
前記合成画像生成部により生成された前記合成画像に含まれる前記特異部の種別の識別に関する機械学習の結果を蓄積したデータに基づいて前記特異部の種別を識別する識別部と、
を備えた特異部検知システム。

【請求項2】

前記被合成画像生成部は、前記被合成画像の大きさに対する前記被合成画像の中の前記特異部の大きさの比率がそれぞれ異なる複数の前記被合成画像に基づいて、さらにチャンネルが異なる複数の前記被合成画像を生成する、請求項１に記載の特異部検知システム。

【請求項3】

前記被合成画像生成部は、
異なる前記チャンネルのそれぞれについて、前記被合成画像の大きさに対する前記被合成画像の中の前記特異部の大きさの比率がそれぞれ異なる複数の前記被合成画像のそれぞれに重みを乗じつつ前記チャンネルに変換した複数の前記被合成画像を合成して、さらにチャンネルが異なる複数の前記被合成画像を生成する、請求項２に記載の特異部検知システム。

【請求項4】

被対象物を撮像する撮像工程と、
前記撮像工程で撮像された前記被対象物の撮像画像から、任意の特徴を持った特異部を検出する特異部検出工程と、
前記特異部検出工程で検出された前記特異部が特異部画像に含まれるように、前記撮像画像から任意の大きさの前記特異部画像を切り出す特異部画像切出工程と、
前記特異部画像切出工程により切り出された前記特異部画像に基づいて、チャンネルが異なる複数の被合成画像として、前記被合成画像の大きさに対する前記被合成画像の中の前記特異部の大きさの比率がそれぞれ異なる複数の前記被合成画像を生成する被合成画像生成工程と、
前記被合成画像生成工程により生成された複数の前記被合成画像を合成して合成画像を生成する合成画像生成工程と、
前記合成画像生成工程により生成された前記合成画像に含まれる前記特異部の種別の識別に関する機械学習の結果を蓄積したデータに基づいて前記特異部の種別を識別する識別工程と、
を備えた特異部検知方法。

【請求項5】

前記被合成画像生成工程では、前記被合成画像の大きさに対する前記被合成画像の中の前記特異部の大きさの比率がそれぞれ異なる複数の前記被合成画像に基づいて、さらにチャンネルが異なる複数の前記被合成画像を生成する、請求項４に記載の特異部検知方法。

【請求項6】

前記被合成画像生成工程では、
異なる前記チャンネルのそれぞれについて、前記被合成画像の大きさに対する前記被合成画像の中の前記特異部の大きさの比率がそれぞれ異なる複数の前記被合成画像のそれぞれに重みを乗じつつ前記チャンネルに変換した複数の前記被合成画像を合成して、さらにチャンネルが異なる複数の前記被合成画像を生成する、請求項５に記載の特異部検知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特異部検知システム及び特異部検知方法に関する。

【背景技術】

【0002】

被対象物の撮像画像に基づいて、欠陥等を含む、他の大部分の領域と異なる特徴を持った部位（以後、特異部）を検知する特異部検知システムが知られている。この種の特異部検知システムは、偏光フィルム及び位相差フィルム等の光学フィルム、並びに電池のセパレータに用いられる積層フィルム等のフィルムの異常を検知する。例えば、特許文献１には、搬送方向にフィルムを搬送し、フィルムの搬送方向に直交する方向に配列された複数のカメラによりフィルムの２次元画像を離散時間ごとに撮像し、撮像した２次元画像に基づいて特異部検知を行う特異部検知システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第４７２６９８３号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、欠陥等を含む、他の大部分の領域と異なる特徴を持った部位（以後、特異部）の検知精度を向上させるためには、被対象物を撮像するカメラを高解像度化することが考えられる。しかし、上記のような特異部検知システムでは、複数のカメラが配列されているため、当該カメラは低解像度の光学系が多い。そのため、カメラの高解像度化はコストを増大させる。

【0005】

そこで本発明は、低解像度の撮像画像によっても特異部の検知精度を向上できる特異部検知システム及び特異部検知方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、被対象物を撮像する撮像部と、撮像部で撮像された被対象物の撮像画像から、任意の特徴を持った特異部を検出する特異部検出部と、特異部検出部で検出された特異部が特異部画像に含まれるように、撮像画像から任意の大きさの特異部画像を切り出す特異部画像切出部と、特異部画像切出部により切り出された特異部画像に基づいて、チャンネルが異なる複数の被合成画像として、被合成画像の大きさに対する被合成画像の中の特異部の大きさの比率がそれぞれ異なる複数の被合成画像を生成する被合成画像生成部と、被合成画像生成部により生成された複数の被合成画像を合成して合成画像を生成する合成画像生成部と、合成画像生成部により生成された合成画像に含まれる特異部の種別の識別に関する機械学習の結果を蓄積したデータに基づいて特異部の種別を識別する識別部とを備えた特異部検知システムである。

【0007】

この構成によれば、特異部検出部により、撮像部で撮像された被対象物の撮像画像から任意の特徴を持った特異部が検出される。特異部画像切出部により、特異部検出部で検出された特異部が特異部画像に含まれるように撮像画像から任意の大きさの特異部画像が切り出される。被合成画像生成部により、特異部画像切出部により切り出された特異部画像に基づいて、チャンネルが異なる複数の被合成画像として、被合成画像の大きさに対する被合成画像の中の特異部の大きさの比率がそれぞれ異なる複数の被合成画像が生成される。合成画像生成部により、被合成画像生成部により生成された複数の被合成画像が合成されて合成画像が生成される。これにより、撮像画像が低解像度であっても、被合成画像の中の特異部の大きさの比率がそれぞれ異なる複数の被合成画像から生成された合成画像により多くの情報を含めることができる。したがって、識別部により、合成画像生成部により生成された合成画像に含まれる特異部の種別の識別に関する機械学習の結果を蓄積したデータに基づいて特異部の種別が識別されることにより、低解像度の撮像画像によっても特異部の検知精度を向上できる。

【0008】

この場合、被合成画像生成部は、被合成画像の大きさに対する被合成画像の中の特異部の大きさの比率がそれぞれ異なる複数の被合成画像に基づいて、さらにチャンネルが異なる複数の被合成画像を生成することが好適である。

【0009】

この構成によれば、被合成画像生成部により、被合成画像の大きさに対する被合成画像の中の特異部の大きさの比率がそれぞれ異なる複数の被合成画像に基づいて、さらにチャンネルが異なる複数の被合成画像が生成されるため、合成画像により多くの情報を含めることが容易となる。

【0010】

この場合、被合成画像生成部は、異なるチャンネルのそれぞれについて、被合成画像の大きさに対する被合成画像の中の特異部の大きさの比率がそれぞれ異なる複数の被合成画像のそれぞれに重みを乗じつつチャンネルに変換した複数の被合成画像を合成して、さらにチャンネルが異なる複数の被合成画像を生成することが好適である。

【0011】

この構成によれば、被合成画像生成部により、異なるチャンネルのそれぞれについて、被合成画像の大きさに対する被合成画像の中の特異部の大きさの比率がそれぞれ異なる複数の被合成画像のそれぞれに重みを乗じつつ当該チャンネルに変換した複数の被合成画像を合成して、さらにチャンネルが異なる複数の被合成画像が生成されるため、被合成画像にはさらに多くの情報を含めることができ、このような被合成画像が合成されて合成画像が生成されることにより、合成画像にされに多くの情報を含めることができる。

【0012】

また、本発明は、被対象物を撮像する撮像工程と、撮像工程で撮像された被対象物の撮像画像から、任意の特徴を持った特異部を検出する特異部検出工程と、特異部検出工程で検出された特異部が特異部画像に含まれるように、撮像画像から任意の大きさの特異部画像を切り出す特異部画像切出工程と、特異部画像切出工程により切り出された特異部画像に基づいて、チャンネルが異なる複数の被合成画像として、被合成画像の大きさに対する被合成画像の中の特異部の大きさの比率がそれぞれ異なる複数の被合成画像を生成する被合成画像生成工程と、被合成画像生成工程により生成された複数の被合成画像を合成して合成画像を生成する合成画像生成工程と、合成画像生成工程により生成された合成画像に含まれる特異部の種別の識別に関する機械学習の結果を蓄積したデータに基づいて特異部の種別を識別する識別工程とを備えた特異部検知方法である。

【0013】

この場合、被合成画像生成工程では、被合成画像の大きさに対する被合成画像の中の特異部の大きさの比率がそれぞれ異なる複数の被合成画像に基づいて、さらにチャンネルが異なる複数の被合成画像を生成することが好適である。

【0014】

この場合、被合成画像生成工程では、異なるチャンネルのそれぞれについて、被合成画像の大きさに対する被合成画像の中の特異部の大きさの比率がそれぞれ異なる複数の被合成画像のそれぞれに重みを乗じつつチャンネルに変換した複数の被合成画像を合成して、さらにチャンネルが異なる複数の被合成画像を生成することが好適である。

【発明の効果】

【0015】

本発明の特異部検知システム及び特異部検知方法によれば、低解像度の撮像画像によっても特異部の検知精度を向上できる。

【図面の簡単な説明】

【0016】

【図1】実施形態に係る特異部検知システムを示す斜視図である。

【図2】図１の画像処理エンジンの機能を示すブロック図である。

【図3】実施形態に係る特異部検知方法を示すフローチャートである。

【図4】撮像画像、特異部画像、被合成画像及び合成画像の一例を示す図である。

【図5】撮像画像、特異部画像、被合成画像及び合成画像の他の例を示す図である。

【図6】畳み込みニューラルネットワークを示す図である。

【図7】実施形態に係る特異部検知システムによる過剰率と見逃し率の関係を示すグラフである。

【発明を実施するための形態】

【0017】

以下、図面を参照して本発明の特異部検知システム及び特異部検知方法の実施形態について詳細に説明する。図１に示すように、本実施形態の特異部検知システム１は、搬送部２、光源３、撮像部４、画像処理部５、マーカ制御ユニット６及びマーカ７を備えている。本実施形態の特異部検知システム１は、偏光フィルム及び位相差フィルム等の光学フィルム、並びに電池のセパレータに用いられる積層フィルム等のフィルムを被対象物Ｏとする。本実施形態の特異部検知システム１は、被対象物Ｏの欠陥を特異部として検出する。被対象物Ｏに生じる欠陥とは、所望の状態とは異なる状態を指すものであり、例えば、異物、打痕、気泡（成形時に生じる物等）、異物気泡（異物の混入により生じる物等）、傷、クニック（折り目痕等により生じる物等）、及びスジ（厚さの違いにより生じる物等）が挙げられる。

【0018】

搬送部２は、光源３及び撮像部４に対して被対象物Ｏを図中の矢印の搬送方向に搬送する。搬送部２は、例えば、被対象物Ｏであるフィルムを搬送する送出ローラと受取ローラを備え、ロータリーエンコーダなどにより搬送距離を計測する。本実施形態では、搬送部２による被対象物Ｏの搬送速度は、２～１００ｍ／分程度に設定される。搬送部２における搬送速度は、画像処理部５によって設定及び制御される。

【0019】

光源３は、被対象物Ｏに光を照射する。光源３は、被対象物Ｏであるフィルムの搬送方向に対する幅方向に平行な線状な光を照射するように配置されている。光源３としては、メタルハライドランプ、ハロゲン伝送ライト、蛍光灯など、被対象物Ｏであるフィルムの組成および性質に影響を与えない光を照射するものであれば、特に限定されない。

【0020】

撮像部４は、被対象物Ｏを撮像する。撮像部４は、光源３から被対象物Ｏに照射されて被対象物Ｏを透過又は反射した光による２次元画像を一時的又は所定の離散時間ごとに撮像する。撮像部４は、被対象物Ｏであるフィルムの幅方向に配列された複数の光学部材と光電変換素子とを有している。光学部材は、光学レンズ、シャッター等から構成され、被対象物Ｏであるフィルムを透過した光を光電変換素子の表面に結像させる。光電変換素子は、２次元画像を撮像するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（ComplementaryMetal-Oxide Semiconductor）等の撮像素子で構成されるエリアセンサである。

【0021】

画像処理部５は、撮像部４により撮像された２次元画像の画像データを処理する。画像処理部５は、例えば、画像処理ソフトウェアがインストールされたＰＣ（パーソナルコンピュータ）、画像処理回路が記述されたＦＰＧＡ（Field Programmable Gate Array）を搭載する画像キャプチャボード等を適用することができる。

【0022】

マーカ制御ユニット６は、画像処理部５からの指令信号に基づいて、マーカ７の動作を制御する。マーカ７は、マーカ制御ユニット６からの指令信号に基づいて、画像処理部５により検知された特異部の種別に対応したマークＭを被対象物Ｏであるフィルムに塗布する。

【0023】

以下、画像処理部５の詳細について説明する。図２に示されるように、画像処理部５は、特異部検出部１１、特異部画像切出部１２、被合成画像生成部１３、合成画像生成部１４及び識別部１５を有する。特異部検出部１１は、撮像部４で撮像された被対象物Ｏの撮像画像から、任意の特徴を持った特異部を検出する。

【0024】

上述したように、特異部とは、被対象物において、欠陥等を含む、他の大部分の領域と異なる特徴を持った部位を意味する。後述するように、特異部検出部１１は、撮像画像から、例えば、輝度、色、大きさ及び形状からなる群より選ばれる少なくとも一つの特徴を持った特異部を検出する。輝度としては、明るさ、ヒストグラム、輝度勾配、鮮鋭度等が含まれ、色としては、波長やスペクトル、色度、色差等が含まれ、大きさとしては、幅、高さ、サイズ、面積、体積等が含まれ、形状としては、フェレ径、アスペクト比、エッジの形や方向、モーメント、真円度、複雑度等が含まれる。輝度、色、大きさ及び形状以外にも、特異部検出部１１は、予め人為的に定められた任意の特徴を持った特異部を検出することができる。つまり、特異部検出部１１は、機械学習がまだなされていない未学習の段階において、人為的に定められたルールベースの手法により特異部を検出する。

【0025】

特異部画像切出部１２は、特異部検出部１１で検出された特異部が特異部画像に含まれるように、撮像画像から任意の大きさの特異部画像を切り出す。特異部が特異部画像に含まれるとは、例えば、特異部の中心と特異部画像の中心とが一致する場合の他に、特異部のいずれかの部位と特異部画像の中心とが重なっている場合を含む。また、上記任意の大きさは、特異部を含んでおり、高速に識別可能な大きさであればよく、特異部の全体を含んでいる大きさの他に、特異部の一部を含む大きさを含む。特異部画像の形状は、正方形又は長方形に限定されず、円形、多角形等の任意の形状にすることができる。

【0026】

被合成画像生成部１３は、特異部画像切出部１２により切り出された特異部画像に基づいて、チャンネルが異なる複数の被合成画像として、被合成画像の大きさに対する被合成画像の中の特異部の大きさの比率（拡大率又は縮小率）がそれぞれ異なる複数の被合成画像を生成する。チャンネルとは、任意の情報を保存可能なグレースケール画像を意味する。

【0027】

チャンネルが異なるとは、例えば、被合成画像の大きさに対する被合成画像の中の特異部の大きさの比率のチャンネルが異なる場合の他に、被合成画像の色のチャンネルが異なる場合、被合成画像の回転角度のチャンネルが異なる場合及び被合成画像の何らかの変換の条件のチャンネルが異なる場合等が含まれる。本実施形態では、チャンネルが異なる複数の被合成画像として、被合成画像生成部１３は、被合成画像の大きさに対する被合成画像の中の特異部の大きさの比率のチャンネルがそれぞれ異なる複数の被合成画像に加えて、色のチャンネルが異なる複数の被合成画像を生成する。被合成画像生成部１３の動作の詳細については、後述する。

【0028】

合成画像生成部１４は、被合成画像生成部１３により生成された複数の被合成画像を合成して合成画像を生成する。合成画像生成部１４は、識別部１５による機械学習の対象となる合成画像を生成する。合成画像生成部１４の動作の詳細については、後述する。

【0029】

識別部１５は、合成画像生成部１４により生成された合成画像に含まれる特異部の種別の識別に関する機械学習の結果を蓄積したデータに基づいて特異部の種別を識別する。識別部１５は、合成画像に含まれる特異部の種別の識別に関する畳み込みニューラルネットワークの結果を蓄積したデータに基づいて特異部の種別を識別する。なお、機械学習の結果を蓄積したデータに基づいて特異部の種別を識別可能であれば、畳み込みニューラルネットワーク以外のニューラルネットワークやその他の手法を用いることも可能である。

【0030】

以下、本実施形態の特異部検知システムによる特異部検知方法について説明する。図１、図３及び図４に示されるように、特異部検知システム１の撮像部４により、被対象物Ｏを撮像する撮像工程が行われる（Ｓ１）。撮像工程では、例えば、図４に示されるように、光学フィルム、積層フィルム等のフィルムである被対象物Ｏの撮像画像Ｉ_０が撮像される。

【0031】

図１、図３及び図４に示されるように、特異部検知システム１の特異部検出部１１により、撮像工程で撮像された被対象物Ｏの撮像画像Ｉ_０から、任意の特徴を持った特異部Ｓを検出する特異部検出工程が行われる（Ｓ２）。図４の例では、フィルムである被対象物Ｏの撮像画像Ｉ_０において、台形状の特異部Ｓが検出される。特異部検出工程では、特異部検知システム１の特異部検出部１１により、撮像画像Ｉ_０から、輝度、色、大きさ及び形状のいずれかの特徴を持った特異部Ｓが検出される。特異部検出部１１は、例えば、撮像画像Ｉ_０の中で輝度及び大きさが所定の閾値を超える画素の集合を特異部Ｓとして検出することができる。

【0032】

図１、図３及び図４に示されるように、特異部検知システム１の特異部画像切出部１２により、特異部検出工程で検出された特異部Ｓが特異部画像Ｉ_１に含まれるように、撮像画像Ｉ_０から任意の大きさの特異部画像Ｉ_１を切り出す特異部画像切出工程が行われる（Ｓ３）。なお、図４の例では、特異部Ｓの中心と特異部画像Ｉ_１の中心とが一致しているが、上述したように、特異部Ｓのいずれかの部位と特異部画像Ｉ_１の中心とが重なっていればよい。本実施形態では、特異部画像Ｉ_１の大きさは、例えば、６４×６４ピクセル（pixel）である。

【0033】

図１、図３及び図４に示されるように、特異部検知システム１の被合成画像生成部１３により、特異部画像切出工程により切り出された特異部画像Ｉ_１に基づいて、チャンネルが異なる複数の被合成画像として、被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３の大きさに対する被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３の中の特異部Ｓの大きさの比率がそれぞれ異なる複数の被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３を生成する被合成画像生成工程が行われる（Ｓ４）。複数の被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３には、処理されていない特異部画像Ｉ_１が含まれていてもよく、含まれていなくてもよい。

【0034】

図４の例では、被合成画像Ｉ_２１は、処理されていない特異部画像Ｉ_１である。被合成画像Ｉ_２２は、特異部Ｓが中心に位置するように特異部画像Ｉ_１を３２×３２ピクセルにトリミングした画像を６４×６４ピクセルにリサイズしたものである。つまり、被合成画像Ｉ_２２は、特異部Ｓが中心に位置するように特異部画像Ｉ_１を拡大率２００％で拡大した画像である。被合成画像Ｉ_２３は、特異部Ｓが中心に位置するように特異部画像Ｉ_１を１６×１６ピクセルにトリミングした画像を６４×６４ピクセルにリサイズしたものである。つまり、被合成画像Ｉ_２３は、特異部Ｓが中心に位置するように特異部画像Ｉ_１を拡大率４００％で拡大した画像である。

【0035】

チャンネルが異なる複数の被合成画像として、特異部画像Ｉ_１に対して、２つの被合成画像が生成されてもよく、４つ以上の被合成画像が生成されてもよい。また、特異部画像Ｉ_１に対して、縮小された被合成画像が生成されてもよい。

【0036】

被合成画像生成工程では、被合成画像生成部１３は、被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３の大きさに対する被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３の中の特異部Ｓの大きさの比率がそれぞれ異なる複数の被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３に基づいて、さらにチャンネルが異なる複数の被合成画像を生成する。具体的には、例えば、被合成画像生成工程では、被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３に基づいて、異なるチャンネルとして、さらに色のチャンネルが異なる複数の被合成画像Ｉ_Ｂ，Ｉ_Ｒ，Ｉ_Ｇが生成される。図４の例では、被合成画像Ｉ_Ｂは、被合成画像_２１のＲＧＢカラーモデルにおけるＢ（青）を強調した画像であり、被合成画像Ｉ_Ｒは、被合成画像_２２のＲＧＢカラーモデルにおけるＲ（赤）を強調した画像であり、被合成画像Ｉ_Ｇは、被合成画像_２３のＲＧＢカラーモデルにおけるＧ（緑）を強調した画像である。

【0037】

なお、図４の例では、被合成画像Ｉ_Ｂ，Ｉ_Ｒ，Ｉ_Ｇは、それぞれＢ、Ｒ及びＧのチャンネルであるが、それぞれＲ、Ｇ及びＢ等の任意のチャンネルが割り当てられてもよい。また、後述する合成画像Ｉ_３において、拡大率又は縮小率が異なる特異部Ｓのそれぞれが認識可能であれば、被合成画像生成工程では、ＲＧＢカラーモデルのＲ、Ｇ及びＢ以外のチャンネルの単数又は複数の被合成画像が生成されてもよい。また、合成画像Ｉ_３において、拡大率又は縮小率が異なる特異部Ｓのそれぞれが認識可能であれば、被合成画像生成工程では、チャンネルが異なる複数の被合成画像として、色以外の要素が異なる複数の被合成画像が生成されてもよい。

【0038】

図１、図３及び図４に示されるように、特異部検知システム１の合成画像生成部１４により、被合成画像生成工程により生成された複数の被合成画像Ｉ_Ｂ，Ｉ_Ｒ，Ｉ_Ｇを合成して合成画像Ｉ_３を生成する合成画像生成工程が行われる（Ｓ５）。

【0039】

図４の例では、合成画像Ｉ_３は、６４×６４ピクセルの画像である。合成画像Ｉ_３において、最も小さい拡大率１００％の特異部Ｓの部位は、Ｂ、Ｒ及びＧのチャンネルを有する。合成画像Ｉ_３において、２番目の大きさの拡大率２００％の特異部Ｓの部位から拡大率１００％の特異部Ｓの部位を除いた部位は、Ｒ及びＧのチャンネルを有する。合成画像Ｉ_３において、最も大きい拡大率４００％の特異部Ｓの部位から拡大率２００％の特異部Ｓの部位を除いた部位は、Ｇのチャンネルを有する。以上のようにして、拡大率又は縮小率が異なる特異部Ｓのそれぞれが認識可能である合成画像Ｉ_３が生成される。

【0040】

また、図５に示されるように、被合成画像生成工程では、被合成画像生成部１３は、異なるチャンネルのそれぞれについて、被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３…Ｉ_２ｎの大きさに対する被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３…Ｉ_２ｎの中の特異部Ｓの大きさの比率がそれぞれ異なる複数の被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３…Ｉ_２ｎのそれぞれに重みＷ_２１Ｂ，Ｗ_２１Ｒ，Ｗ_２１Ｇ，Ｗ_２２Ｂ，Ｗ_２２Ｒ，Ｗ_２２Ｇ…Ｗ_２ｎＢ，Ｗ_２ｎＲ，Ｗ_２ｎＧを乗じつつ当該チャンネルに変換した複数の被合成画像を合成して、さらにチャンネルが異なる複数の被合成画像Ｉ_Ｂ，Ｉ_Ｒ，Ｉ_Ｇを生成してもよい。

【0041】

具体的には、例えば、被合成画像生成工程では、被合成画像生成部１３は、異なるチャンネルとして、異なるＢ、Ｒ及びＧのチャンネルのそれぞれについて、被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３…Ｉ_２ｎの大きさに対する被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３…Ｉ_２ｎの中の特異部Ｓの大きさの比率がそれぞれ異なる複数の被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３…Ｉ_２ｎのそれぞれにＢ、Ｒ及びＧの色の重みＷ_２１Ｂ，Ｗ_２１Ｒ，Ｗ_２１Ｇ，Ｗ_２２Ｂ，Ｗ_２２Ｒ，Ｗ_２２Ｇ…Ｗ_２ｎＢ，Ｗ_２ｎＲ，Ｗ_２ｎＧを乗じ、色の重みＷ_２１Ｂ，Ｗ_２１Ｒ，Ｗ_２１Ｇ，Ｗ_２２Ｂ，Ｗ_２２Ｒ，Ｗ_２２Ｇ…Ｗ_２ｎＢ，Ｗ_２ｎＲ，Ｗ_２ｎＧを乗じた複数の被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３…Ｉ_２ｎを合成して、チャンネルが異なる複数の被合成画像Ｉ_Ｂ，Ｉ_Ｒ，Ｉ_Ｇを生成してもよい。

【0042】

この場合、例えば、被合成画像生成部１３は、Ｂのチャンネルについて、被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３…Ｉ_２ｎのそれぞれをＲＧＢカラーモデルにおけるＢのみで表現した画像のそれぞれに互いに異なる任意の重みＷ_２１Ｂ，Ｗ_２２Ｂ…Ｗ_２ｎＢを乗じる。重みＷ_２１Ｂ，Ｗ_２２Ｂ…Ｗ_２ｎＢは、被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３…Ｉ_２ｎのそれぞれをＲＧＢカラーモデルにおけるＢのみで表現した画像のそれぞれに対する当該Ｂの輝度の割合を意味する。被合成画像生成部１３は、Ｂのチャンネルについて、被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３…Ｉ_２ｎのそれぞれをＲＧＢカラーモデルにおけるＢのみで表現した画像のそれぞれに任意の重みＷ_２１Ｂ，Ｗ_２２Ｂ…Ｗ_２ｎＢを乗じた画像を合成して、被合成画像Ｉ_Ｂを生成する。被合成画像Ｉ_Ｂは、被合成画像Ｉ_Ｂの大きさに対する被合成画像Ｉ_Ｂの中の大きさの比率が異なる特異部Ｓのそれぞれが、互いに異なるＢのチャンネルの輝度で表現された画像である。

【0043】

同様に、例えば、被合成画像生成部１３は、Ｒのチャンネルについて、被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３…Ｉ_２ｎのそれぞれをＲＧＢカラーモデルにおけるＲのみで表現した画像のそれぞれに互いに異なる任意の重みＷ_２１Ｒ，Ｗ_２２Ｒ…Ｗ_２ｎＲを乗じる。重みＷ_２１Ｒ，Ｗ_２２Ｒ…Ｗ_２ｎＲは、被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３…Ｉ_２ｎのそれぞれをＲＧＢカラーモデルにおけるＲのみで表現した画像のそれぞれに対する当該Ｒの輝度の割合を意味する。被合成画像生成部１３は、Ｒの色について、被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３…Ｉ_２ｎのそれぞれをＲＧＢカラーモデルにおけるＲのみで表現した画像のそれぞれに任意の重みＷ_２１Ｒ，Ｗ_２２Ｒ…Ｗ_２ｎＲを乗じた画像を合成して、被合成画像Ｉ_Ｒを生成する。被合成画像Ｉ_Ｒは、被合成画像Ｉ_Ｒの大きさに対する被合成画像Ｉ_Ｒの中の大きさの比率が異なる特異部Ｓのそれぞれが、互いに異なるＲのチャンネルの輝度で表現された画像である。

【0044】

同様に、例えば、被合成画像生成部１３は、Ｇのチャンネルについて、被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３…Ｉ_２ｎのそれぞれをＲＧＢカラーモデルにおけるＧのみで表現した画像のそれぞれに互いに異なる任意の重みＷ_２１Ｇ，Ｗ_２２Ｇ…Ｗ_２ｎＧを乗じる。重みＷ_２１Ｇ，Ｗ_２２Ｇ…Ｗ_２ｎＧは、被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３…Ｉ_２ｎのそれぞれをＲＧＢカラーモデルにおけるＧのみで表現した画像のそれぞれに対する当該Ｇの輝度の割合を意味する。被合成画像生成部１３は、Ｇのチャンネルについて、被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３…Ｉ_２ｎのそれぞれをＲＧＢカラーモデルにおけるＧのみで表現した画像のそれぞれに任意の重みＷ_２１Ｇ，Ｗ_２２Ｇ…Ｗ_２ｎＧを乗じた画像を合成して、被合成画像Ｉ_Ｇを生成する。被合成画像Ｉ_Ｇは、被合成画像Ｉ_Ｇの大きさに対する被合成画像Ｉ_Ｇの中の大きさの比率が異なる特異部Ｓのそれぞれが、互いに異なるＧのチャンネルの輝度で表現された画像である。

【0045】

この場合も、図１、図３及び図５に示されるように、特異部検知システム１の合成画像生成部１４により、被合成画像生成工程により生成された複数の被合成画像Ｉ_Ｂ，Ｉ_Ｒ，Ｉ_Ｇを合成して合成画像Ｉ_３を生成する合成画像生成工程が行われる（Ｓ５）。なお、合成画像Ｉ_３において、拡大率又は縮小率が異なる特異部Ｓのそれぞれが認識可能であれば、被合成画像生成工程では、被合成画像生成部１３は、色以外の回転角度及び何らかの変換の条件等が異なるチャンネルのそれぞれについて、被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３…Ｉ_２ｎの大きさに対する被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３…Ｉ_２ｎの中の特異部Ｓの大きさの比率がそれぞれ異なる複数の被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３…Ｉ_２ｎのそれぞれに重みを乗じつつ当該チャンネルに変換した複数の被合成画像を合成して、さらにチャンネルが異なる複数の被合成画像を生成してもよい。

【0046】

図１及び図３に示されるように、特異部検知システム１の識別部１５により、合成画像生成工程により生成された合成画像Ｉ_３に含まれる特異部Ｓの種別の識別に関する機械学習の結果を蓄積したデータに基づいて特異部Ｓの種別を識別する識別工程が行われる（Ｓ６）。機械学習は、例えば、畳み込みニューラルネットワークが行われる。

【0047】

図６に示すように、畳み込みニューラルネットワーク１００は、入力層１１０、隠れ層１２０及び出力層１３０を備えている。入力層１１０には、特異部検知システム１の合成画像生成部１４により、合成画像生成工程で生成された合成画像Ｉ_３が入力される。隠れ層１２０は、重みフィルタＦによる画像処理が行われる畳み込み層１２１，１２３と、畳み込み層１２１，１２３から出力された二次元配列を縦横に小さくして有効な値を残す処理を行うプーリング層１２２と、各層の重み係数Ｎが更新される全結合層１２４とを有する。出力層１３０では、機械学習による特異部Ｓの種別の識別結果が出力される。畳み込みニューラルネットワーク１００では、出力された識別結果と正解値との誤差を逆方向Ｄに逆伝播することによって各層の重みが学習される。

【0048】

例えば、識別部１５に予め複数の合成画像Ｉ_３を特異部Ｓの種別の識別の正解とともに入力して学習させておくことにより、新たに入力された合成画像Ｉ_３に含まれる特異部Ｓが特定の欠陥の種別であるかどうかが順次識別され、識別結果が順次出力される。順次出力された識別結果と正解との誤差は逆方向Ｄに逆伝播され、各層の重み係数Ｎが順次更新され、データとして蓄積される。各相の重みが順次更新された状態で、さらに新たに入力された合成画像Ｉ_３に含まれる特異部Ｓが特定の欠陥の種別であるかどうかが順次識別され、識別結果が順次出力され、順次出力された識別結果と正解との誤差に基づいて各層の重み係数Ｎが順次更新され、データとして蓄積されることが繰り返されることにより、識別結果と正解との誤差が小さくなり、欠陥の種別の識別の精度が向上する。

【0049】

本実施形態によれば、特異部検出部１１により、撮像部４で撮像された被対象物Ｏの撮像画像Ｉ_０から任意の特徴を持った特異部Ｓが検出される。特異部画像切出部１２により、特異部検出部１１で検出された特異部Ｓが特異部画像Ｉ_１に含まれるように撮像画像Ｉ_０から任意の大きさの特異部画像Ｉ_１が切り出される。

【0050】

被合成画像生成部１３により、特異部画像切出部１２により切り出された特異部画像Ｉ_１に基づいて、チャンネルが異なる複数の被合成画像として、被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３の大きさに対する被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３の中の特異部Ｓの大きさの比率がそれぞれ異なる複数の被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３が生成される。合成画像生成部１４により、被合成画像生成部１３により生成された複数の被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３が合成されて合成画像Ｉ_３が生成される。

【0051】

これにより、撮像画像Ｉ_０が低解像度であっても、被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３の中の特異部Ｓの大きさの比率がそれぞれ異なる複数の被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３から生成された合成画像Ｉ_３により多くの情報を含めることができる。例えば、特異部Ｓに含まれる欠陥には、拡大されない方が検知し易くなるもの及び拡大された方が検知し易くなるものが存在する。したがって、識別部１５により、合成画像生成部１４により生成された合成画像Ｉ_３に含まれる特異部Ｓの種別の識別に関する機械学習の結果を蓄積したデータに基づいて特異部Ｓの種別が識別されることにより、低解像度の撮像画像Ｉ_０によっても特異部Ｓの検知精度を向上できる。

【0052】

また、本実施形態によれば、被合成画像生成部１３により、被合成画像の大きさに対する被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３の中の特異部Ｓの大きさの比率がそれぞれ異なる複数の被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３に基づいて、さらにチャンネルが異なる複数の被合成画像Ｉ_Ｂ，Ｉ_Ｒ，Ｉ_Ｇが生成されるため、合成画像Ｉ_３により多くの情報を含めることが容易となる。

【0053】

また、本実施形態によれば、被合成画像生成部１３により、異なるチャンネルのそれぞれについて、被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３…Ｉ_２ｎの大きさに対する被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３…Ｉ_２ｎの中の特異部Ｓの大きさの比率がそれぞれ異なる複数の被合成画像Ｉ_２１，Ｉ_２２，Ｉ_２３…Ｉ_２ｎのそれぞれに重みＷ_２１Ｂ，Ｗ_２１Ｒ，Ｗ_２１Ｇ，Ｗ_２２Ｂ，Ｗ_２２Ｒ，Ｗ_２２Ｇ…Ｗ_２ｎＢ，Ｗ_２ｎＲ，Ｗ_２ｎＧを乗じつつ当該チャンネルに変換した複数の被合成画像を合成して、さらにチャンネルが異なる複数の被合成画像Ｉ_Ｂ，Ｉ_Ｒ，Ｉ_Ｇが生成されるため、被合成画像Ｉ_Ｂ，Ｉ_Ｒ，Ｉ_Ｇにはさらに多くの情報を含めることができ、このような被合成画像Ｉ_Ｂ，Ｉ_Ｒ，Ｉ_Ｇが合成されて合成画像Ｉ_３が生成されることにより、合成画像Ｉ_３にされに多くの情報を含めることができる。

【0054】

以下、本実施形態の実験例について説明する。上記本実施形態の特異部検知システム１及び従来のシステムにより、フィルムの特異部Ｓに含まれるフィルムの欠陥を検知した。図７に、実施形態に係る特異部検知システム１及び従来のシステムによる過剰率と見逃し率の関係を示す。なお、図７において、過剰率とは良品を不良品として判定する割合であり、見逃し率は不良品を良品判定する割合であり、両者はトレードオフの関係にある。図７に示されるように、本実施形態の特異部検知システム１による欠陥の検知の結果は、従来のシステムによるフィルムの欠陥の検知の結果よりも、同じ見逃し率に比べて過剰率が低いことが判る。

【0055】

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく様々な形態で実施される。例えば、本実施形態の特異部検知システム１及び特異部検知方法は、油水分離槽の分液界面を検知し、分液界面の特異部に含まれる異常を認識する場合にも適用できる。また、本実施形態の特異部検知システム１及び特異部検知方法は、煙突の発煙を検知し、発煙の特異部に含まれる異常を認識する場合にも適用できる。

【0056】

また、本実施形態の特異部検知システム１及び特異部検知方法は、生産ラインにおいて、容器に充填された液体の充填量検査に適用することができる。本実施形態の特異部検知システム１及び特異部検知方法により、画像内の各画素の輝度値を特徴空間へ射影したベクトルを特徴として、容器内のどの位置まで液体が到達しているかを検知することができる。

【0057】

また、本実施形態の特異部検知システム１及び特異部検知方法は、生産ラインにおいて、ガラス製品等の割れやキズ等の外観検査に適用することができる。ガラス製品に照明を当てて撮影すると、撮影画像内の一部に異常が有る場合には輝度が他の部位よりも高くなることを利用して特異部に含まれる欠陥を検出することができる。すなわち、本実施形態では、背景差分により得られる輝度値の差を特徴として、ガラス製品の特異部に含まれる異常を認識することができる。

【0058】

また、本実施形態の特異部検知システム１及び特異部検知方法は、工場における異常者の立ち入り及び異常な行動の管理にも適用することができる。また、本実施形態の特異部検知システム１及び特異部検知方法は、撮像部４を有人航空機、無人航空機及びドローン等に搭載し、撮像部４と特異部検出部１１とを無線通信により接続して、撮像部４が搭載されたドローン等を工場内で飛行させて、工場内の設備の画像を撮影することにより、画像内の輝度値を特徴として工場設備の異常状態を検知することができ、工場設備の点検等を遠隔で行うことができる。

【0059】

さらに、本実施形態の特異部検知システム１及び特異部検知方法は、撮像部４を有人航空機、無人航空機及びドローン等に搭載し、撮像部４と特異部検出部１１とを無線通信により接続して、撮像部４が搭載されたドローン等を農場の上空で飛行させて撮影することにより、画像内の輝度値を特徴として広域における農作物等の欠陥を検知することができる。

【符号の説明】

【0060】

１…特異部検知システム、２…搬送部、３…光源、４…撮像部、５…画像処理部、６…マーカ制御ユニット、７…マーカ、１１…特異部検出部、１２…特異部画像切出部、１３…被合成画像生成部、１４…合成画像生成部、１５…識別部、１００…畳み込みニューラルネットワーク、１１０…入力層、１２０…隠れ層、１２１，１２３…畳み込み層、１２２…プーリング層、１２４…全結合層、１３０…出力層、Ｉ_０…撮像画像、Ｉ_１…特異部画像、Ｉ_２1，Ｉ_２２，Ｉ_２３，I_２ｎ，Ｉ_Ｂ，Ｉ_Ｒ，Ｉ_Ｇ…被合成画像、Ｗ_２１Ｂ，Ｗ_２１Ｒ，Ｗ_２１Ｇ，Ｗ_２２Ｂ，Ｗ_２２Ｒ，Ｗ_２２Ｇ，Ｗ_２ｎＢ，Ｗ_２ｎＲ，Ｗ_２ｎＧ…重み、Ｉ_３…合成画像、Ｏ…被対象物、Ｍ…マーク、Ｓ…特異部、Ｆ…重みフィルタ、Ｎ…重み係数、Ｄ…逆方向。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】