特許 7557796 処理方法およびそれを利用した処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-19

(45)【発行日】2024-09-30

(54)【発明の名称】処理方法およびそれを利用した処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240920BHJP

   G06N 3/0464 20230101ALI20240920BHJP

   G06N 3/08 20230101ALI20240920BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 610

G06N3/0464

G06N3/08

【請求項の数】 5

(21)【出願番号】P 2022558850

(86)(22)【出願日】2021-06-25

(86)【国際出願番号】 JP2021024226

(87)【国際公開番号】W WO2022091478

(87)【国際公開日】2022-05-05

【審査請求日】2023-04-04

(31)【優先権主張番号】P 2020181068

(32)【優先日】2020-10-29

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100123102

【弁理士】

【氏名又は名称】宗田 悟志

(72)【発明者】

【氏名】家治 真也

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２０１９－０６７３６４（ＪＰ，Ａ）

【文献】特開２０１９－１３９７６２（ＪＰ，Ａ）

【文献】特開２０１９－１２５２０７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｎ ３／０４６４

Ｇ０６Ｎ ３／０８

(57)【特許請求の範囲】

【請求項1】

複数の要素を含む処理対象の画像を入力する入力部と、
前記入力部に入力した前記処理対象の画像に対して前記要素ごとにセグメンテーション
されたセグメンテーション画像を生成する第１処理部と、
前記第１処理部において生成した前記セグメンテーション画像に対してニューラルネッ
トワークの処理を実行することによって、クラス分類を実行する第２処理部と、
前記第２処理部におけるクラス分類の結果を出力する出力部と、を備え、
前記第１処理部は、前記入力部に入力した前記処理対象の画像に対して、全結合層が除
外され、かつ畳み込み層とプーリング層とを含むニューラルネットワークの処理を実行することによって前記セグメンテーション画像を生成し、
前記第２処理部は、全結合層を含む前記ニューラルネットワークの処理を実行する処理装置。

【請求項2】

複数の要素を含む処理対象の画像を入力する入力部と、
前記入力部に入力した前記処理対象の画像に対して前記要素ごとにセグメンテーション
されたセグメンテーション画像を生成する第１処理部と、
前記第１処理部において生成した前記セグメンテーション画像に対してニューラルネッ
トワークの処理を実行することによって、クラス分類を実行する第２処理部と、
前記第２処理部におけるクラス分類の結果を出力する出力部と、を備え、
前記第１処理部において生成した前記セグメンテーション画像から一部の領域を抽出す
る中間処理部をさらに備え、
前記第２処理部は、前記セグメンテーション画像として、前記中間処理部において抽出
した前記一部の領域に対して前記ニューラルネットワークの処理を実行する処理装置。

【請求項3】

複数の要素を含む処理対象の画像を入力する入力部と、
前記入力部に入力した前記処理対象の画像に対して前記要素ごとにセグメンテーション
されたセグメンテーション画像を生成する第１処理部と、
前記第１処理部において生成した前記セグメンテーション画像に対してニューラルネッ
トワークの処理を実行することによって、クラス分類を実行する第２処理部と、
前記第２処理部におけるクラス分類の結果を出力する出力部と、を備え、
前記第１処理部において生成した前記セグメンテーション画像は複数の中間画像を含み、前記複数の中間画像の組合せのうちの少なくとも１つを選択する中間処理部をさらに備え、
前記第２処理部は、前記セグメンテーション画像として、前記中間処理部において選択
した少なくとも１つの前記中間画像に対して前記ニューラルネットワークの処理を実行する処理装置。

【請求項4】

複数の要素を含む処理対象の画像を入力する入力部と、
前記入力部に入力した前記処理対象の画像に対して前記要素ごとにセグメンテーション
されたセグメンテーション画像を生成する第１処理部と、
前記第１処理部において生成した前記セグメンテーション画像に対してニューラルネッ
トワークの処理を実行することによって、クラス分類を実行する第２処理部と、
前記第２処理部におけるクラス分類の結果を出力する出力部と、を備え、
前記第１処理部において生成した前記セグメンテーション画像は複数の中間画像を含み、前記複数の中間画像のそれぞれに対する透過率を設定するとともに、前記透過率を使用しながら前記複数の中間画像を合成した合成画像を生成する中間処理部をさらに備え、
前記第２処理部は、前記セグメンテーション画像として、前記中間処理部において生成
した前記合成画像に対して前記ニューラルネットワークの処理を実行する処理装置。

【請求項5】

複数の要素を含む処理対象の画像を入力し、
入力した前記処理対象の画像に対して前記要素ごとにセグメンテーションされたセグメ
ンテーション画像を生成し、
生成した前記セグメンテーション画像に対してニューラルネットワークの処理を実行す
ることによって、クラス分類を実行し、
前記クラス分類によるクラス分類結果を出力し、
前記クラス分類の実行では、セグメンテーション画像の一の要素の位置関係を含む特徴を抽出し
前記クラス分類結果は、前記一の要素の位置関係を含む特徴より良品か不良品かである処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、処理技術、特に画像に対する処理を実行する処理方法およびそれを利用した処理装置に関する。

【背景技術】

【0002】

画像認識処理には、例えば、Ｄｅｅｐ Ｌｅａｒｎｉｎｇが使用される。Ｄｅｅｐ Ｌｅａｒｎｉｎｇは、多層のニューラルネットワークを使った機械学習の方法論として知られ、多層ニューラルネットワークには例えば畳み込みニューラルネットワークが使用される。畳み込みニューラルネットワークは、局所領域の畳み込み(Ｃｏｎｖｏｌｕｔｉｏｎ)とプーリング(Ｐｏｏｌｉｎｇ)とを繰り返す多層のニューラルネットワークによって形成される。さらに、畳み込みニューラルネットワークを構成する全結合層を畳み込み層にする完全畳み込みニューラルネットワークの構造が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第１９／１５９４１９号

【発明の概要】

【発明が解決しようとする課題】

【0004】

完全畳み込みニューラルネットワークは局所領域の処理の積み重ねである。このような完全畳み込みニューラルネットワークを使用して、部品をはんだ付けした基板の外観検査をする場合、部品を固定するためのはんだであるか、不良品となるはんだホールであるかの区別が困難になる場合がある。これらの区別を可能にするために、基板上の位置関係を利用することが望まれる。

【0005】

本開示はこうした状況に鑑みなされたものであり、その目的は、画像認識処理の処理精度の悪化を抑制する技術を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある態様の処理装置は、複数の要素を含む処理対象の画像を入力する入力部と、入力部に入力した処理対象の画像に対して要素ごとにセグメンテーションされたセグメンテーション画像を生成する第１処理部と、第１処理部において生成したセグメンテーション画像に対してニューラルネットワークの処理を実行することによって、クラス分類を実行する第２処理部と、第２処理部におけるクラス分類の結果を出力する出力部と、を備える。

【0007】

本発明の別の態様は、処理方法である。この方法は、複数の要素を含む処理対象の画像を入力し、入力した処理対象の画像に対して要素ごとにセグメンテーションされたセグメンテーション画像を生成し、生成したセグメンテーション画像に対してニューラルネットワークの処理を実行することによって、クラス分類を実行し、クラス分類によるクラス分類結果を出力する。

【0008】

なお、以上の構成要素の任意の組合せ、本開示の表現を方法、装置、システム、コンピュータプログラム、またはコンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本開示の態様として有効である。

【発明の効果】

【0009】

本開示によれば、画像認識処理の処理精度の悪化を抑制できる。

【図面の簡単な説明】

【0010】

【図1】実施例１に係る処理装置の構成を示す図である。

【図2】図１の第１処理部における処理の概要を示す図である。

【図3】図３（ａ）－（ｄ）は、図１の処理装置における処理の概要を示す図である。

【図4】図１の処理装置による処理手順を示すシーケンス図である。

【図5】図１の第２処理部による処理手順を示すフローチャートである。

【図6】図６（ａ）－（ｄ）は、実施例２に係る処理装置における処理の概要を示す図である。

【図7】図７（ａ）－（ｅ）は、実施例２に係る処理装置における別の処理の概要を示す図である。

【図8】図８（ａ）－（ｅ）は、実施例３に係る処理装置における処理の概要を示す図である。

【図9】図９（ａ）－（ｆ）は、実施例３に係る処理装置における別の処理の概要を示す図である。

【発明を実施するための形態】

【0011】

（実施例１）
本開示の実施例を具体的に説明する前に、本実施例の概要を説明する。実施例は、製品を撮像した画像に対して画像認識処理を実行することによって、製品の外観検査を実行する処理装置に関する。製品の一例は、部品をはんだ付けした基板であり、外観検査の一例は、基板上のはんだが良品であるか、あるいは不良品であるかの検査である。良品のはんだとは部品を固定するためのはんだであり、不良品のはんだとははんだホールである。

【0012】

外観検査のために、畳み込みニューラルネットワークの使用が有力である。畳み込みニューラルネットワークは、複数のフィルタによる畳み込み処理により特徴を抽出する畳み込み層と、一定領域の反応をまとめるプーリング処理により局所的なデータの不変性を獲得するプーリング層と、Ｓｏｆｔｍａｘ関数等による確率を用いて認識を行う全結合層とを含む。完全畳み込みニューラルネットワークでは、畳み込み層とプーリング層の処理が繰り返され、含まれる物体に対して色塗りによるセグメンテーションがなされた画像（以下、「セグメンテーション画像」という）が出力される。処理対象の画像のサイズが大きくなると、畳み込みニューラルネットワークの処理量が著しく増加するので、完全畳み込みニューラルネットワークを使用する方が好ましい。

【0013】

しかしながら、前述のごとく、完全畳み込みニューラルネットワークは局所領域の処理の積み重ねであるので、はんだを色塗りしたセグメンテーション画像を出力するが、はんだが良品であるか不良品であるかの区別が困難になる場合がある。これらの区別を可能にするために、基板上の位置関係を利用することが望まれる。

【0014】

本実施例に係る処理装置は、処理対象の画像に対して完全畳み込みニューラルネットワークによる処理を実行して、はんだを色塗りしたセグメンテーション画像を生成する。また、処理装置は、セグメンテーション画像に対して畳み込みニューラルネットワークによる処理を実行して、はんだが良品であるかあるいは不良であるかのクラス分類の結果を取得する。畳み込みニューラルネットワークを使用することによって、基板上の位置関係が利用される。また、処理対象の画像に対して畳み込みニューラルネットワークによる処理を実行するのではなく、完全畳み込みニューラルネットワークによりセグメンテーション画像を生成してから畳み込みニューラルネットワークによる処理を実行させるので、処理量の増加が抑制される。

【0015】

図１は、処理装置１００の構成を示す。処理装置１００は、入力部１１２、第１処理部１１４、中間処理部１１６、第２処理部１１８、出力部１２０を含む。本実施例では、（１）構成、（２）学習、（３）クラス分類の順に説明する。

【0016】

（１）構成
ここでは、第１処理部１１４と第２処理部１１８の構成を説明する。図２は、第１処理部１１４における処理の概要を示す。第１処理部１１４は、畳み込み層１４２と総称する第１畳み込み層１４２ａ、第２畳み込み層１４２ｂ、第３畳み込み層１４２ｃ、第４畳み込み層１４２ｄ、第５畳み込み層１４２ｅ、第６畳み込み層１４２ｆ、プーリング層１４４と総称する第１プーリング層１４４ａ、第２プーリング層１４４ｂ、第３プーリング層１４４ｃ、第４プーリング層１４４ｄ、第５プーリング層１４４ｅを含む。このような畳み込み層１４２、プーリング層１４４は、各処理を実行するブロックのイメージを示す。入力画像１４０は、処理対象となる画像である。第１処理部１１４におけるニューラルネットワークには、全結合層が含まれないので、入力画像１４０のサイズに対する制限が設けられない。入力画像１４０は、第１畳み込み層１４２ａに入力される。

【0017】

各畳み込み層１４２は、直六面体で示される。畳み込み層１４２の奥行き方向と高さ方向を有する正方形の面の大きさは、畳み込み層１４２において処理される画像の空間次元の大きさ、つまり画像のサイズを示す。畳み込み層１４２は、画像に対して、画像のサイズよりも小さいサイズの空間フィルタをずらしながら空間フィルタリングを実行する。空間フィルタリングは公知の技術であるので、ここでは説明を省略するが、この空間フィルタリングが畳み込み処理に相当し、畳み込み処理によって画像の特徴量が抽出される。畳み込み層１４２においてパディング等が実行されてもよい。さらに、畳み込み層１４２は、画像に対して、複数の空間フィルタを並列に使用して、複数の空間フィルタリングを並列して実行してもよい。このような複数の空間フィルタの並列使用によって、画像が増加する。畳み込み層１４２において並列に使用される空間フィルタの数は、チャンネル数と呼ばれ、これは畳み込み層１４２の左右方向の長さによって示される。

【0018】

各プーリング層１４４も畳み込み層１４２と同様に構成される。プーリング層１４４は、画像内の任意の領域に含まれた複数の画素を１つの画素にまとめることによって、画像のサイズを小さくする。ここで、複数の画素を１つの画素にまとめるために、平均プーリングあるいは最大プーリングが実行される。平均プーリングでは、領域内の複数の画素値の平均値が１つの画素に対して使用され、最大プーリングでは、領域内の複数の画素値のうちの最大値が１つの画素に対して使用される。プーリング処理は、着目領域における代表値あるいは平均値の並進移動に対してロバスト性を強化するためになされる。

【0019】

ここでは、第１畳み込み層１４２ａ、第１プーリング層１４４ａ、第２畳み込み層１４２ｂ、第２プーリング層１４４ｂ、第３畳み込み層１４２ｃ、第３プーリング層１４４ｃ、第４畳み込み層１４２ｄ、第４プーリング層１４４ｄ、第５畳み込み層１４２ｅ、第５プーリング層１４４ｅ、第６畳み込み層１４２ｆが順に配置される。つまり、畳み込み処理とプーリング処理とが繰り返し実行される。また、畳み込み処理とプーリング処理とが繰り返されることによって、画像のサイズが順に小さくされ、第６プーリング層１４４ｆは、１以上のチャンネル数を有するセグメンテーション画像を出力する。図１に戻る。

【0020】

第２処理部１１８は、前述の全結合層を含んだ畳み込みニューラルネットワークの構成を有する。第２処理部１１８は、畳み込み層とプーリング層とに加えて全結合層を含む。全結合層は、特徴量が抽出されている画像を中間処理部１１６から受けつける。特徴量が抽出されている画像の一例はセグメンテーション画像である。全結合層は、特徴量に基づいて、複数のクラスへの分類を実行することによって、画像を識別する。全結合層における処理には公知の技術が使用されればよいので、ここでは説明を省略するが、全結合層における分類結果が第２処理部１１８から出力部１２０に出力される。

【0021】

（２）学習
第１処理部１１４は、既知のセグメンテーション画像となる教師データを受けつけるとともに、受けつけた教師データに対応した学習用画像を受けつける。第１処理部１１４は、受けつけた教師データと、受けつけた学習用画像とをもとに、各畳み込み層１４２の空間フィルタの係数を学習させる。

【0022】

本実施例において、教師データのサイズは１×１の空間次元を有する。そのため、教師データは、学習用画像に含まれた物体の位置関係を有さず、１つのチャンネルに対する教師データは、セグメンテーション画像に含まれる物体の存在を示すだけである。例えば、「はんだ」のチャンネルの教師データははんだの存在を示すだけである。他のチャンネルについても同様である。つまり、１つのチャンネルに対する教師データは、１つの物体が存在するか否かだけを示せばよく、物体に対して色塗りによるセグメンテーションがなされた画像でなくてよい。

【0023】

一方、学習用画像は、画像認識処理が正確に実行された場合に教師データが出力されるような元の画像であり、そのサイズは教師データが１×１の空間次元となるように定められる。ここで、入力画像１４０のサイズに対する制限が設けられないので、学習用画像と入力画像１４０は異なったサイズでもよい。このような教師データと学習用画像を使用する状況下における空間フィルタの係数の学習自体には公知の技術が使用されればよいので、ここでは説明を省略する。

【0024】

第２処理部１１８は、既知の出力となる教師データと、当該教師データに対応した学習用画像を入力して、全結合層における係数、各畳み込み層の空間フィルタの係数を学習させる。学習用画像は、中間処理部１１６から入力される画像と同一のサイズを有しており、画像認識処理が正確に実行された場合に教師データが出力されるような元の画像である。このような学習処理には公知の技術が使用されればよい。

【0025】

（３）クラス分類
入力部１１２は、処理対象の画像を入力する。入力部１１２に入力される画像が前述の入力画像１４０に相当する。入力画像１４０の一例は、部品をはんだ付けした基板の画像であり、これは複数の要素を含む画像である。図３（ａ）－（ｄ）は、処理装置１００における処理の概要を示す。図３（ａ）は、入力画像１４０を示す。入力画像１４０には基板２００が示されるとともに、基板２００の上に、部品２０２と総称される第１部品２０２ａと第２部品２０２ｂが固定用はんだ２０４により取り付けられる。部品２０２は、例えば、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。また、基板２００の上にははんだホール２０６も配置される。固定用はんだ２０４は良品であり、はんだホール２０６は不良品である。図３（ｂ）－（ｄ）は後述し、図１に戻る。

【0026】

学習によって導出された空間フィルタの係数は、第１処理部１１４の畳み込み層１４２に設定される。第１処理部１１４は、入力部１１２に入力した入力画像１４０に対して、全結合層が除外され、かつ畳み込み層１４２とプーリング層１４４とを含む畳み込みニューラルネットワークの処理を実行することによって、要素ごとにセグメンテーションされたセグメンテーション画像を生成する。図３（ｂ）は、第１処理部１１４において生成されるセグメンテーション画像１５０を示す。ここで、第１処理部１１４における学習では、はんだ部分のみを抽出するようになされている。その結果、セグメンテーション画像１５０には、固定用はんだ２１４とはんだホール２１６が示される。固定用はんだ２１４は、固定用はんだ２０４を第１処理部１１４により抽出した結果であり、はんだホール２１６は、はんだホール２０６を第１処理部１１４により抽出した結果である。第１処理部１１４における処理では、固定用はんだ２１４とはんだホール２１６が良品であるかあるいは不良品であるかは分類されない。図３（ｃ）－（ｄ）は後述し、図１に戻る。

【0027】

中間処理部１１６は、第１処理部１１４と第２処理部１１８との間に配置され、第１処理部１１４と第２処理部１１８とのインターフェースとなる。中間処理部１１６は、第１処理部１１４からセグメンテーション画像を受けつける。例えば、中間処理部１１６は、受けつけたセグメンテーション画像をそのまま第２処理部１１８に出力する。

【0028】

第２処理部１１８は、中間処理部１１６から受けつけたセグメンテーション画像に対して、全結合層を含むニューラルネットワークの処理を実行することによって、クラス分類を実行する。図３（ｃ）は、良品と判定されるクラスの教師データを示し、４つの固定用はんだ２１４が矩形の頂点の位置に配置される。つまり、４つの固定用はんだ２１４の位置関係が良品のクラスとして第２処理部１１８に学習されている。図３（ｄ）は、不良品と判定されるクラスの教師データを示し、矩形の頂点の位置に配置される４つの固定用はんだ２１４に加えて、はんだホール２１６が示される。前述の位置関係の４つの固定用はんだ２１４とは異なるはんだホール２１６が存在することが不良品のクラスとして第２処理部１１８に学習されている。図１に戻る。第２処理部１１８は、固定用はんだ２１４の位置関係、固定用はんだ２１４とはんだホール２１６の位置関係により、良品のクラスあるいは不良品のクラスへのクラス分類を実行する。その結果、良品であるかあるいは不良品であるかの検査がなされる。出力部１２０は、第２処理部１１８における分類結果を出力する。

【0029】

これまで、中間処理部１１６は、第１処理部１１４から受けつけたセグメンテーション画像をそのまま第２処理部１１８に出力している。しかしながら、中間処理部１１６は、セグメンテーション画像に対して何らかの処理を実行し、処理を実行したセグメンテーション画像を第２処理部１１８に出力してもよい。ここでは、固定用はんだ２０４の近傍にはんだホール２０６が存在する場合を不良品とする検査を想定する。その場合、入力画像１４０のうち、固定用はんだ２０４から離れた部分は、第２処理部１１８での処理にとって不要な部分である。

【0030】

ユーザは、処理装置１００の操作部（図示せず）を操作して、入力画像１４０のうち検査すべき部分を選択する。検査すべき部分には、４つの固定用はんだ２０４が含まれる。処理装置１００は、入力画像１４０における座標と、セグメンテーション画像１５０における座標との対応関係を予め記憶しており、入力画像１４０のうち検査すべき部分の座標を、セグメンテーション画像１５０の座標に変換する。

【0031】

中間処理部１１６は、第１処理部１１４において生成したセグメンテーション画像１５０から、変換された座標で示される一部の領域を抽出する。中間処理部１１６は、セグメンテーション画像１５０の代わりに、抽出した一部の領域を第２処理部１１８に出力する。第２処理部１１８は、セグメンテーション画像として、中間処理部１１６において抽出した一部の領域に対してニューラルネットワークの処理を実行する。その際、第２処理部１１８での学習処理において使用される教師データのサイズは、一部の領域のサイズと同一である。

【0032】

本開示における装置、システム、または方法の主体は、コンピュータを備えている。このコンピュータがプログラムを実行することによって、本開示における装置、システム、または方法の主体の機能が実現される。コンピュータは、プログラムにしたがって動作するプロセッサを主なハードウェア構成として備える。プロセッサは、プログラムを実行することによって機能を実現することができれば、その種類は問わない。プロセッサは、半導体集積回路（ＩＣ）、またはＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路で構成される。複数の電子回路は、１つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは１つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。プログラムは、コンピュータが読み取り可能なＲＯＭ、光ディスク、ハードディスクドライブなどの非一時的記録媒体に記録される。プログラムは、記録媒体に予め格納されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。

【0033】

以上の構成による処理装置１００の動作を説明する。図４は、処理装置１００による処理手順を示すシーケンス図である。入力部１１２は画像を取得し（Ｓ１０）、画像を第１処理部１１４に出力する（Ｓ１２）。第１処理部１１４は画像に対してセグメンテーションを実行し（Ｓ１４）、セグメンテーション画像を第２処理部１１８に出力する（Ｓ１６）。第２処理部１１８は、セグメンテーション画像に対してクラス分類処理を実行し（Ｓ１８）、クラス分類結果を出力部１２０に出力する（Ｓ２０）。出力部１２０はクラス分類結果を出力する（Ｓ２２）。

【0034】

図５は、第２処理部１１８による処理手順を示すフローチャートである。第２処理部１１８は、セグメンテーション画像を取得する（Ｓ１００）。セグメンテーション画像におけるはんだホール２１６の位置関係が良品クラスである場合（Ｓ１０２のＹ）、第２処理部１１８はセグメンテーション画像を良品クラスに分類する（Ｓ１０４）。セグメンテーション画像におけるはんだホール２１６の位置関係が良品クラスでない場合（Ｓ１０２のＮ）、第２処理部１１８はセグメンテーション画像を不良品クラスに分類する（Ｓ１０６）。

【0035】

本実施例によれば、処理対象の画像からセグメンテーション画像を生成し、セグメンテーション画像に対してニューラルネットワークの処理を実行することによってクラス分類を実行するので、画像認識処理の処理量の増加を抑制しながら、処理精度の悪化を抑制できる。また、処理対象の画像に対して、全結合層が除外された畳み込みニューラルネットワークの処理を実行し、セグメンテーション画像に対して、全結合層を含むニューラルネットワークの処理を実行するので、画像認識処理の処理量の増加を抑制できる。また、処理対象の画像に対して、全結合層が除外された畳み込みニューラルネットワークの処理を実行し、セグメンテーション画像に対して、全結合層を含むニューラルネットワークの処理を実行するので、位置関係を含めた特徴を抽出できる。また、位置関係を含めた特徴が抽出されるので、処理精度の悪化を抑制できる。また、セグメンテーション画像から一部の領域を抽出し、抽出した一部の領域に対してニューラルネットワークの処理を実行するので、画像認識処理の処理量の増加を抑制できる。また、セグメンテーション画像から一部の領域を抽出し、抽出した一部の領域に対してニューラルネットワークの処理を実行するので、処理精度の悪化を抑制できる。

【0036】

本開示の一態様の概要は、次の通りである。本開示のある態様の処理装置（１００）は、複数の要素を含む処理対象の画像を入力する入力部（１１２）と、入力部（１１２）に入力した処理対象の画像に対して要素ごとにセグメンテーションされたセグメンテーション画像を生成する第１処理部（１１４）と、第１処理部（１１４）において生成したセグメンテーション画像に対してニューラルネットワークの処理を実行することによって、クラス分類を実行する第２処理部（１１８）と、第２処理部におけるクラス分類の結果を出力する出力部（１２０）と、を備える。

【0037】

第１処理部（１１４）は、入力部（１１２）に入力した処理対象の画像に対して、全結合層が除外され、かつ畳み込み層（１４２）とプーリング層（１４４）とを含むニューラルネットワークの処理を実行することによってセグメンテーション画像を生成し、第２処理部（１１８）は、全結合層を含むニューラルネットワークの処理を実行してもよい。

【0038】

第１処理部（１１４）において生成したセグメンテーション画像から一部の領域を抽出する中間処理部（１１６）をさらに備えてもよい。第２処理部（１１８）は、セグメンテーション画像として、中間処理部（１１６）において抽出した一部の領域に対してニューラルネットワークの処理を実行してもよい。

【0039】

本開示の別の態様は、処理方法である。この方法は、複数の要素を含む処理対象の画像を入力し、入力した処理対象の画像に対して要素ごとにセグメンテーションされたセグメンテーション画像を生成し、生成したセグメンテーション画像に対してニューラルネットワークの処理を実行することによって、クラス分類を実行し、クラス分類によるクラス分類結果を出力する。

【0040】

クラス分類の実行では、セグメンテーション画像の一の要素の位置関係を含む特徴を抽出しクラス分類結果は、一の要素の位置関係を含む特徴より良品か不良品かであってもよい。

【0041】

（実施例２）
次に、実施例２を説明する。実施例２は、実施例１と同様に、処理対象の画像に対して完全畳み込みニューラルネットワークによる処理を実行して、セグメンテーション画像を生成してから、セグメンテーション画像に対して畳み込みニューラルネットワークによる処理を実行する処理装置に関する。実施例２は、実施例１と比較して、第１処理部１１４と第２処理部１１８との間に配置される中間処理部１１６の処理が異なる。実施例２に係る処理装置１００は、図１と同一のタイプである。ここでは、実施例１との差異を中心に説明する。

【0042】

図１の入力部１１２は入力画像１４０を入力する。図６（ａ）－（ｄ）は、処理装置１００における処理の概要を示す。図６（ａ）は、入力画像１４０を示す。入力画像１４０は図３（ａ）と同一である。図６（ｂ）－（ｄ）は後述し、図１に戻る。

【0043】

第１処理部１１４には、前述のごとく、学習が予めなされる。実施例１では、「はんだ」に対する１つのチャンネルだけが含まれていたが、実施例２では、「基板」に対するチャンネル、「部品」に対するチャンネル、「はんだ」に対するチャンネルの３つのチャンネルが含まれる。チャンネルの数は「３」に限定されない。「基板」に対するチャンネルにおける教師データは基板の存在を示すだけであり、「部品」に対するチャンネルにおける教師データは部品の存在を示すだけであり、「はんだ」に対するチャンネルにおける教師データははんだの存在を示すだけである。このような学習がなされた第１処理部１１４は、入力画像１４０に対して、全結合層が除外され、かつ畳み込み層１４２とプーリング層１４４とを含む畳み込みニューラルネットワークの処理を実行する。

【0044】

第１処理部１１４は、各チャンネルに対応した中間画像を含むセグメンテーション画像を生成する。図６（ｂ）は、「基板」に対するチャンネルに対応した基板レイヤ中間画像１５２を示す。基板レイヤ中間画像１５２には基板２１０が示される。基板２１０は、基板２００を第１処理部１１４により抽出した結果である。図６（ｃ）は、「部品」に対するチャンネルに対応した部品レイヤ中間画像１５４を示す。部品レイヤ中間画像１５４には、部品２１２と総称される第１部品２１２ａ、第２部品２１２ｂが示される。第１部品２１２ａ、第２部品２１２ｂは、第１部品２０２ａ、第２部品２０２ｂを第１処理部１１４により抽出した結果である。図６（ｄ）は、「はんだ」に対するチャンネルに対応したはんだレイヤ中間画像１５６を示す。はんだレイヤ中間画像１５６は、図３（ｂ）と同一であるので、ここでは説明を省略する。基板レイヤ中間画像１５２、部品レイヤ中間画像１５４、はんだレイヤ中間画像１５６は中間画像と総称される。

【0045】

中間処理部１１６は、複数の中間画像の組合せのうちの少なくとも１つを選択する。例えば、部品レイヤ中間画像１５４とはんだレイヤ中間画像１５６とが選択される。中間処理部１１６は、選択した中間画像を第２処理部１１８に出力する。第２処理部１１８は、中間処理部１１６において選択された中間画像を入力し、選択された中間画像に対してニューラルネットワークの処理を実行する。２つ以上の中間画像が選択された場合、選択された２つ以上の中間画像は、互いに異なったチャンネルに含められて、ニューラルネットワークの処理がなされる。第２処理部１１８におけるクラス分類は実施例１と同一であればよいので、ここでは説明を省略する。

【0046】

以下では、入力画像１４０が、部品をはんだ付けした基板の画像でない例を説明する。図７（ａ）－（ｅ）は、処理装置１００における別の処理の概要を示す。図７（ａ）は、入力画像１４０を示す。入力画像１４０は、車両から前側方向を撮像した映像に含まれる画像であり、例えば、自動運転において使用される画像である。図７（ｂ）－（ｅ）は後述し、図１に戻る。

【0047】

第１処理部１１４には、前述のごとく、学習が予めなされる。ここでは、「空」に対するチャンネル、「コンクリート箇所」に対するチャンネル、「畑」に対するチャンネル、「白線」に対するチャンネルの４つのチャンネルが含まれる。チャンネルはこれらに限定されない。「空」に対するチャンネルにおける教師データは空の存在を示すだけであり、「コンクリート箇所」に対するチャンネルにおける教師データはコンクリート箇所の存在を示すだけである。また、「畑」に対するチャンネルにおける教師データは畑の存在を示すだけであり、「白線」に対するチャンネルにおける教師データは白線の存在を示すだけである。このような学習がなされた第１処理部１１４は、入力画像１４０に対して、全結合層が除外され、かつ畳み込み層１４２とプーリング層１４４とを含む畳み込みニューラルネットワークの処理を実行する。

【0048】

第１処理部１１４は、各チャンネルに対応した中間画像を含むセグメンテーション画像を生成する。図７（ｂ）は、「空」に対するチャンネルに対応した空レイヤ中間画像１６０であり、図７（ｃ）は、「コンクリート箇所」に対するチャンネルに対応したコンクリート箇所レイヤ中間画像１６２である。図７（ｄ）は、「畑」に対するチャンネルに対応した畑レイヤ中間画像１６４であり、図７（ｅ）は、「白線」に対するチャンネルに対応した白線レイヤ中間画像１６６である。空レイヤ中間画像１６０、コンクリート箇所レイヤ中間画像１６２、畑レイヤ中間画像１６４、白線レイヤ中間画像１６６は中間画像と総称される。

【0049】

中間処理部１１６は、複数の中間画像の組合せのうちの少なくとも１つを選択する。例えば、コンクリート箇所レイヤ中間画像１６２と白線レイヤ中間画像１６６とが選択される。中間処理部１１６は、選択した中間画像を第２処理部１１８に出力する。第２処理部１１８は、中間処理部１１６において選択された中間画像を入力し、選択された中間画像に対してニューラルネットワークの処理を実行する。２つ以上の中間画像が選択された場合、選択された２つ以上の中間画像は、互いに異なったチャンネルに含められて、ニューラルネットワークの処理がなされる。第２処理部１１８におけるクラス分類として、走行を続行しててもよいか否かが分類される。

【0050】

各要素の「位置関係」と、その結果から出力されるクラス分類は、例えば、今どこにいるかについてのクラス分離であってもよい。例えば、歩道レイヤと木のレイヤと店舗レイヤについて、それぞれが下端がほぼ同じ位置にあって隣接して並んでいる位置関係の場合、クラス分類はアーケード出力とされる。また、白線、ガードレールは検出されるが、信号レイヤがどの位置にもない場合、クラス分類は高速道路とされる。その他のクラス分離の例として、今どこにいるのか、ノイズ落とし（空レイヤの位置に白線が検出されているような場合は誤検出のノイズとして出力）、検出された歩行者の危険度が含まれてもよい。

【0051】

本実施例によれば、複数の中間画像の組合せのうちの少なくとも１つを選択し、選択した少なくとも１つの中間画像に対してニューラルネットワークの処理を実行するので、画像認識処理の処理量の増加を抑制できる。また、複数の中間画像の組合せのうちの少なくとも１つを選択し、選択した少なくとも１つの中間画像に対してニューラルネットワークの処理を実行するので、処理精度の悪化を抑制できる。

【0052】

本開示の一態様の概要は、次の通りである。第１処理部（１１４）において生成したセグメンテーション画像は複数の中間画像を含み、複数の中間画像の組合せのうちの少なくとも１つを選択する中間処理部（１１６）をさらに備えてもよい。第２処理部（１１８）は、セグメンテーション画像として、中間処理部（１１６）において選択した少なくとも１つの中間画像に対してニューラルネットワークの処理を実行してもよい。

【0053】

（実施例３）
次に、実施例３を説明する。実施例３は、これまでと同様に、処理対象の画像に対して完全畳み込みニューラルネットワークによる処理を実行して、セグメンテーション画像を生成してから、セグメンテーション画像に対して畳み込みニューラルネットワークによる処理を実行する処理装置に関する。実施例３は、実施例２と比較して、第１処理部１１４と第２処理部１１８との間に配置される中間処理部１１６の処理が異なる。実施例３に係る処理装置１００は、図１と同一のタイプである。ここでは、これまでとの差異を中心に説明する。

【0054】

図１の入力部１１２は入力画像１４０を入力する。図８（ａ）－（ｅ）は、処理装置１００における処理の概要を示す。図８（ａ）は、入力画像１４０を示す。入力画像１４０は図３（ａ）、図６（ａ）と同一である。図８（ｂ）－（ｅ）は後述し、図１に戻る。

【0055】

第１処理部１１４には、実施例２と同様に学習が予めなされる。学習がなされた第１処理部１１４は、入力画像１４０に対して、全結合層が除外され、かつ畳み込み層１４２とプーリング層１４４とを含む畳み込みニューラルネットワークの処理を実行する。第１処理部１１４は、各チャンネルに対応した中間画像を含むセグメンテーション画像を生成する。図８（ｂ）－（ｄ）は、図６（ｂ）－（ｄ）と同一である。

【0056】

中間処理部１１６は、複数の中間画像のそれぞれに対する透過率を設定する。透過率は、重み係数に相当し、予め設定されてる。中間処理部１１６は、透過率を使用しながら複数の中間画像を合成した合成画像を生成する。図８（ｅ）は、中間処理部１１６において生成される合成画像１５８を示す。合成画像１５８には、基板２１０、第１部品２１２ａ、第２部品２１２ｂ、固定用はんだ２１４、はんだホール２１６を含む。中間処理部１１６は、合成画像１５８を第２処理部１１８に出力する。第２処理部１１８は、中間処理部１１６において生成した合成画像１５８に対してニューラルネットワークの処理を実行する。第２処理部１１８におけるクラス分類は実施例１と同一であればよいので、ここでは説明を省略する。

【0057】

以下では、入力画像１４０が、部品をはんだ付けした基板の画像でない例を説明する。図９（ａ）－（ｆ）は、処理装置１００における別の処理の概要を示す。図９（ａ）は、入力画像１４０を示す。入力画像１４０は、人物を撮像した画像である。図９（ｂ）－（ｆ）は後述し、図１に戻る。

【0058】

第１処理部１１４には、前述のごとく、学習が予めなされる。ここでは、「髪」に対するチャンネル、「目」に対するチャンネル、「口」に対するチャンネル、「耳」に対するチャンネルの４つのチャンネルが含まれる。チャンネルはこれらに限定されない。「髪」に対するチャンネルにおける教師データは髪の存在を示すだけであり、「目」に対するチャンネルにおける教師データは目の存在を示すだけである。また、「口」に対するチャンネルにおける教師データは口の存在を示すだけであり、「耳」に対するチャンネルにおける教師データは耳の存在を示すだけである。このような学習がなされた第１処理部１１４は、入力画像１４０に対して、全結合層が除外され、かつ畳み込み層１４２とプーリング層１４４とを含む畳み込みニューラルネットワークの処理を実行する。

【0059】

第１処理部１１４は、各チャンネルに対応した中間画像を含むセグメンテーション画像を生成する。図９（ｂ）は、「髪」に対するチャンネルに対応した髪レイヤ中間画像１７０であり、図９（ｃ）は、「目」に対するチャンネルに対応した目レイヤ中間画像１７２である。図９（ｄ）は、「口」に対するチャンネルに対応した口レイヤ中間画像１７４であり、図９（ｅ）は、「耳」に対するチャンネルに対応した耳レイヤ中間画像１７６である。髪レイヤ中間画像１７０、目レイヤ中間画像１７２、口レイヤ中間画像１７４、耳レイヤ中間画像１７６は中間画像と総称される。

【0060】

中間処理部１１６は、複数の中間画像のそれぞれに対する透過率を設定する。中間処理部１１６は、透過率を使用しながら複数の中間画像を合成した合成画像を生成する。図９（ｆ）は、中間処理部１１６において生成される合成画像１７８を示す。合成画像１７８は誇張画像ともいえる。中間処理部１１６は、合成画像１７８を第２処理部１１８に出力する。第２処理部１１８は、中間処理部１１６において生成した合成画像１７８に対してニューラルネットワークの処理を実行する。第２処理部１１８におけるクラス分類として、人物の判別がなされる。その際、位置関係について、各パーツ（化粧の部分も含む）の左右対称性、各パーツの位置関係が使用されてもよい。また、クラス部類として、人の状態の判断（健康か否か、感情部類、チャンネルとして化粧の構成要素（口紅、チーク、マスカラ、アイシャドウ、眉の形状）を検出した上で、お化粧の美醜判断、人認識）が含まれてもよい。

【0061】

本実施例によれば、透過率を使用しながら複数の中間画像を合成した合成画像に対してニューラルネットワークの処理を実行するので、画像認識処理の処理量の増加を抑制できる。また、透過率を使用しながら複数の中間画像を合成した合成画像に対してニューラルネットワークの処理を実行するので、処理精度の悪化を抑制できる。

【0062】

本開示の一態様の概要は、次の通りである。第１処理部（１１４）において生成したセグメンテーション画像は複数の中間画像を含み、複数の中間画像のそれぞれに対する透過率を設定するとともに、透過率を使用しながら複数の中間画像を合成した合成画像を生成する中間処理部（１１６）をさらに備えてもよい。第２処理部（１１８）は、セグメンテーション画像として、中間処理部（１１６）において生成した合成画像に対してニューラルネットワークの処理を実行してもよい。

【0063】

以上、本開示を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

【0064】

実施例１から３における第１処理部１１４の構成は、複数の畳み込み層１４２と複数のプーリング層１４４とが交互に並んでいる。しかしながらこれに限らず例えば、第１処理部１１４は、ＧｏｏｇＬｅＮｅｔ系、ＤｅｎｓｅＮｅｔ系等の構成を有していてもよい。本変形例によれば、構成の自由度を向上できる。

【0065】

本実施例における第１処理部１１４は、全結合層が除外された畳み込みニューラルネットワーク、つまり完全畳み込みニューラルネットワークが使用される。しかしながらこれに限らず例えば、第１処理部１１４は、ユーザの操作を受けつけることによって、手動によりセグメンテーション画像を製造してもよい。また、第１処理部１１４は、ニューラルネットワーク以外の公知の画像処理によりセグメンテーション画像を製造してもよい。本変形例によれば、構成の自由度を向上できる。

【産業上の利用可能性】

【0066】

本開示によれば、画像認識処理の処理精度の悪化を抑制できる。

【符号の説明】

【0067】

１００ 処理装置、 １１２ 入力部、 １１４ 第１処理部、 １１６ 中間処理部、 １１８ 第２処理部、 １２０ 出力部、 １４０ 入力画像、 １４２ 畳み込み層、 １４４ プーリング層。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】