(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-26
(45)【発行日】2022-11-04
(54)【発明の名称】網目構造物の網目検査方法及び網目構造物の網目検査装置
(51)【国際特許分類】
G01N 21/88 20060101AFI20221027BHJP
G01N 21/85 20060101ALI20221027BHJP
【FI】
G01N21/88 J
G01N21/85 A
(21)【出願番号】P 2018203973
(22)【出願日】2018-10-30
【審査請求日】2021-10-06
(73)【特許権者】
【識別番号】500302552
【氏名又は名称】株式会社IHIエアロスペース
(73)【特許権者】
【識別番号】000000099
【氏名又は名称】株式会社IHI
(74)【代理人】
【識別番号】100090022
【氏名又は名称】長門 侃二
(72)【発明者】
【氏名】今井 済
(72)【発明者】
【氏名】木村 憲志
(72)【発明者】
【氏名】鈴木 一将
【審査官】嶋田 行志
(56)【参考文献】
【文献】特開平05-118824(JP,A)
【文献】特開平09-218158(JP,A)
【文献】特開2010-044010(JP,A)
【文献】特開2008-020347(JP,A)
【文献】メロンのネットパターン,農業機械学会誌,日本,農業機械学会,1995年04月13日,Vo. 58, No. 1,pp. 17-23,J-STAGE公開日2010/04/30,doi: 10.11357/jsam1937.58.17
【文献】点群分布パターン識別に基づく欠陥分類技術,電気学会論文誌C,日本,2007年04月01日,Vol. 127, No. 4,pp. 521-527
【文献】格子パターンを用いた3Dモデル構築システム,情報処理学会研究報告,日本,2003年02月14日,No. 15,pp. 13-18
【文献】温室メロンのネット発生と水分ストレス,農林水産技術研究ジャーナル,日本,社団法人 農林水産技術情報協会,2005年05月01日,第28巻、第5号,第19-24頁
【文献】画像解析ソフトImageJを用いたメロンのネット抽出法,園芸学研究 第17巻 別冊2,日本,一般社団法人園芸学会,2018年09月22日,第472頁,P105
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/84-G01N 21/958
JSTPlus/JST7580/JSTChina(JDreamIII)
AgriKnowledge
(57)【特許請求の範囲】
【請求項1】
網目を有する網目構造物の前記網目の不均一箇所を検出する網目構造物の網目検査方法であって、
前記網目構造物を撮像して得たデジタル画像から前記網目構造物の前記網目を識別して白黒画像を生成する網目識別工程と、
前記網目識別工程で生成した前記白黒画像の白色画素及び黒色画素の全画素一つ一つにおいて各々の周囲の白色画素をカウントする白色画素数カウント工程と、
前記白黒画像の全画素のうちの前記白色画素数カウント工程で得た白色画素数が黒色画素数を所定量上回るピークが周囲に複数ある画素を前記網目のクロス部として抽出するクロス部抽出工程と、
前記クロス部抽出工程で抽出される前記網目の複数のクロス部の一つ一つにおいて隣接するクロス部までの距離を半径とする円内の白色画素をカウントすることで白色画素数が多いピークの分布を得るピーク分布取得工程と、
前記網目における複数のクロス部のうちの前記ピーク分布取得工程で得た前記ピークの数が予め設定した数で且つ互いに隣り合う前記ピークの円周方向における角度差が所定の範囲内のクロス部以外のクロス部を前記網目の不均一箇所であるNG点とするNG点抽出工程と、を
有し、
前記NG点抽出工程において所定数以上の前記NG点を抽出した場合には、前記所定数以上のNG点を包括するNG領域を設定して、該NG領域内に存在する前記NG点の数及び前記NG点以外のOK点の数をカウントしてNG率を算出し、該NG率が予め設定した閾値を超える前記NG領域を不合格と判定する網目構造物の網目検査方法。
【請求項2】
網目を有する網目構造物の前記網目の不均一箇所を検出する網目構造物の網目検査装置であって、
前記網目構造物を撮像するデジタルカメラと、
前記デジタルカメラで前記網目構造物を撮像して得たデジタル画像から前記網目構造物の前記網目を識別して白黒画像を生成する画像処理部と、
前記画像処理部で生成した前記白黒画像の白色画素及び黒色画素の全画素一つ一つにおいて各々の周囲の白色画素をカウントして得た白色画素数が黒色画素数を所定量上回るピークが周囲に複数ある画素を前記網目のクロス部として抽出すると共に、該抽出された前記網目の複数のクロス部の一つ一つにおいて隣接するクロス部までの距離を半径とする円内の白色画素をカウントすることで白色画素数が多いピークの分布を得て、前記網目における複数のクロス部のうちの前記ピークの数が予め設定した数で且つ互いに隣り合う前記ピークの円周方向における角度差が所定の範囲内のクロス部以外のクロス部を前記網目の不均一箇所であるNG点と判定
し、所定数以上の前記NG点を抽出した場合には、前記所定数以上のNG点を包括するNG領域を設定して、該NG領域内に存在する前記NG点の数及び前記NG点以外のOK点の数をカウントしてNG率を算出し、該NG率が予め設定した閾値を超える前記NG領域を不合格と判定する演算部を備えている網目構造物の網目検査装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、網目を有する網目構造物の網目の不均一箇所を検出するのに用いられる網目構造物の網目検査方法及び網目構造物の網目検査装置に関するものである。
【背景技術】
【0002】
従来、上記した網目構造物の網目検査装置に類するものとして、例えば、特許文献1に記載されたメロンの外観評価装置がある。
【0003】
このメロンの外観評価装置では、画像入力部が撮影するメロンの画像を取り込んで、その取り込んだ画像からメロン表面の網目を抽出し、空間フィルタを通す処理を行って網目の中から所定幅以上の部分を抽出して、抽出した網目の幅評価を所定の手順で行うようにしている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところが、上記した従来におけるメロンの外観評価装置では、メロン表面の網目の大小(網目の粗密状態)を評価することができるものの、網目が局所的に不均一になっている箇所を検出することができず、結局、従来において、メロン表面にあるような網目の不均一箇所の検出は、検査員の目視による検査に頼っているのが現実であるという問題を有しており、この問題を解決することが従来の課題となっていた。
【0006】
本発明は、上記した従来の課題に着目してなされたもので、検査員の目視検査に頼ることなく、網目構造物の網目の不均一箇所を検出することができる網目構造物の網目検査方法及び網目構造物の網目検査装置を提供することを目的としている。
【課題を解決するための手段】
【0007】
本発明の第1の態様は、網目を有する網目構造物の前記網目の不均一箇所を検出する網目構造物の網目検査方法であって、前記網目構造物を撮像して得たデジタル画像から前記網目構造物の前記網目を識別して白黒画像を生成する網目識別工程と、前記網目識別工程で生成した前記白黒画像の白色画素及び黒色画素の全画素一つ一つにおいて各々の周囲の白色画素をカウントする白色画素数カウント工程と、前記白黒画像の全画素のうちの前記白色画素数カウント工程で得た白色画素数が黒色画素数を所定量上回るピークが周囲に複数ある画素を前記網目のクロス部(網目を構成する繊維状体が交差している点)として抽出するクロス部抽出工程と、前記クロス部抽出工程で抽出される前記網目の複数のクロス部の一つ一つにおいて隣接するクロス部までの距離を半径とする円内の白色画素をカウントすることで白色画素数が多いピークの分布を得るピーク分布取得工程と、前記網目における複数のクロス部のうちの前記ピーク分布取得工程で得た前記ピークの数が予め設定した数で且つ互いに隣り合う前記ピークの円周方向における角度差が所定の範囲内のクロス部以外のクロス部を前記網目の不均一箇所であるNG点(不合格点)とするNG点抽出工程と、を有し、前記NG点抽出工程において所定数以上の前記NG点を抽出した場合には、前記所定数以上のNG点を包括するNG領域を設定して、該NG領域内に存在する前記NG点の数及び前記NG点以外のOK点の数をカウントしてNG率を算出し、該NG率が予め設定した閾値を超える前記NG領域を不合格と判定する構成としている。
【0009】
また、本発明の第2の態様は、網目を有する網目構造物の前記網目の不均一箇所を検出する網目構造物の網目検査装置であって、前記網目構造物を撮像するデジタルカメラと、前記デジタルカメラで前記網目構造物を撮像して得たデジタル画像から前記網目構造物の前記網目を識別して白黒画像を生成する画像処理部と、前記画像処理部で生成した前記白黒画像の白色画素及び黒色画素の全画素一つ一つにおいて各々の周囲の白色画素をカウントして得た白色画素数が黒色画素数を所定量上回るピークが周囲に複数ある画素を前記網目のクロス部(網目を構成する繊維状体が交差している点)として抽出すると共に、該抽出された前記網目の複数のクロス部の一つ一つにおいて隣接するクロス部までの距離を半径とする円内の白色画素をカウントすることで白色画素数が多いピークの分布を得て、前記網目における複数のクロス部のうちの前記ピークの数が予め設定した数で且つ互いに隣り合う前記ピークの円周方向における角度差が所定の範囲内のクロス部以外のクロス部を前記網目の不均一箇所であるNG点(不合格点)と判定し、所定数以上の前記NG点を抽出した場合には、前記所定数以上のNG点を包括するNG領域を設定して、該NG領域内に存在する前記NG点の数及び前記NG点以外のOK点の数をカウントしてNG率を算出し、該NG率が予め設定した閾値を超える前記NG領域を不合格と判定する演算部を備えている構成としている。
【0010】
本発明の第1の態様に係る網目構造物の網目検査方法では、網目構造物のデジタル画像に基づいて生成した白黒画像における網目の複数のクロス部について、各々の周囲の白色画素数が多いピークの分布を取得することで、網目の不均一箇所を識別するので、検査員の目視に頼ることなく網目の不均一箇所を検出し得ることとなる。
【0011】
また、本発明の第1の態様に係る網目構造物の網目検査方法では、不均一箇所が連なっている場合において、連なる不均一箇所を包括するNG領域を設定すると共に、このNG領域内のNG率を算出して、NG率が予め設定した閾値を超えるNG領域を不合格と判定するようにしているので、網目の不均一箇所が広がりを持つ場合であったとしても、網目の不均一箇所を検出し得ることとなる。
【0012】
一方、本発明の第2の態様に係る網目構造物の網目検査装置では、演算部において、網目構造物のデジタル画像に基づいて画像処理部で生成した白黒画像における網目の複数のクロス部について、各々の周囲における白色画素の数が多いピークの分布を取得して、網目の不均一箇所を識別するようにしているので、網目の不均一箇所の検出を検査員の目視に頼ることなく自動的に行い得ることとなり、検査の信頼性向上及び検査時間の短縮が図られることとなる。
加えて、不均一箇所が連なっている場合において、連なる不均一箇所を包括するNG領域を設定すると共に、このNG領域内のNG率を算出して、NG率が予め設定した閾値を超えるNG領域を不合格と判定するようにしているので、網目の不均一箇所が広がりを持つ場合であったとしても、網目の不均一箇所を検出し得ることとなる。
【発明の効果】
【0013】
本発明に係る網目構造物の網目検査方法によれば、検査員の目視検査に頼ることなく、網目構造物の網目の不均一箇所を検出することが可能であるという非常に優れた効果がもたらされる。
【図面の簡単な説明】
【0014】
【
図1】本発明に係る網目構造物の網目検査装置の一実施例を示す構成ブロック図である。
【
図2】
図1における網目検査装置のデジタルカメラで網目構造物の網目が均一な部位を撮影した際のデジタル画像(a)及びそのデジタル画像を画像処理した後の白黒画像(b)である。
【
図3】
図1における網目検査装置のデジタルカメラで網目構造物の網目が不均一な部位を撮影した際のデジタル画像(a)及びそのデジタル画像を画像処理した後の白黒画像(b)である。
【
図4】デジタルカメラによるデジタル画像を画像処理した後の白黒画像の部分拡大画像(a),白黒画像の白色画素及び黒色画素の全画素のうちの白色画素数が黒色画素よりも多い明瞭なピークが周囲に複数(例えば4つ)ある画素を網目のクロス部として抽出した部分拡大画像(b)及び抽出した網目のクロス部の中心を着目点とした部分拡大画像(c)である。
【
図5】
図4(c)の部分拡大画像において網目のクロス部の隣接するクロス部までの距離を半径とする円内の白色画素をカウントする要領を示す部分拡大画像である。
【
図6】白色画素数が多いピークの円周方向における分布を示すグラフである。
【
図7】所定数以上のNG点を包括するNG領域を設定してNG率を算出する要領を示す網目が不均一な部位の画像処理後の白黒画像である。
【
図8】本発明に係る網目構造物の網目検査方法の一実施例を示す検査手順の処理フローチャートである。
【発明を実施するための形態】
【0015】
以下、本発明の実施例を図面に基づいて説明する。
図1~
図8は、本発明に係る網目構造物の網目検査方法及び網目検査装置の一実施例を示している。
【0016】
図1に示すように、網目構造物の網目検査装置1は、網目構造物Wの網目WAの不均一箇所を検出する装置であって、網目構造物Wを撮像するデジタルカメラ2と、このデジタルカメラ2で網目構造物Wを撮像して得たデジタル画像の画像処理を行う画像処理部4と、この画像処理部4で処理した画像に基づいて網目WAの不均一箇所を識別する演算部6を備えている。
【0017】
画像処理部4は、デジタルカメラ2で取得した
図2(a),
図3(a)に示すデジタル画像から、網目構造物Wの網目WAを識別して
図2(b),
図3(b)に示す白黒画像を生成する。この場合、
図2(a)は網目構造物Wの網目WAが均一な部位のデジタル画像であり、
図3(a)は網目構造物Wの網目WAが不均一な部位のデジタル画像である。また、
図2(b)は網目WAが均一な部位のデジタル画像の画像処理後の白黒画像であり、
図3(b)は網目WAが不均一な部位のデジタル画像の画像処理後の白黒画像である。
【0018】
演算部6では、
図4(a)に示すように、画像処理部4で生成した白黒画像の白色画素及び黒色画素の全ての画素Pi一つ一つにおいて各々の周囲(画素Piそれぞれを中心とする所定の大きさの円内)の白色画素Piwをカウントする。そして、これで得た白色画素Piwの数が黒色画素数を所定量上回る、例えば、白色画素Piwの数が黒色画素の数に対して20%以上多い明瞭な互いに独立したピークが周囲に複数ある画素Piを、
図4(b)に示すように、網目WAのクロス部Pxとして抽出し(この時点では、ピークが周囲に3つある画素Piやピークが周囲に5つ以上ある画素Piも含んでいる。)、
図4(c)に示すように、抽出した複数のクロス部Pxを保存して各々の中心を着目点Oと設定するようになっている。
【0019】
また、この演算部6では、
図5に示すように、抽出した網目WAの複数のクロス部Px一つ一つにおいて、着目点Oを中心にして隣接するクロス部Pxまでの距離Rを半径とする円内(
図5に破線で示す円内)の白色画素Piwをカウントすることで白色画素Piwの数が多いピークの分布を得るようになっている。
【0020】
具体的には、円周方向に沿って画素Piを1つずつ計測して、計測した画素Piが白色画素Piwであれば「1」をカウントし(計測した画素Piが白色画素Piwでなければカウントは「0」)、この計測を予め定めた角度θの計測範囲において着目点Oから半径方向の距離Rまで行って白色画素Piwの合計値を取得し、角度θの計測範囲を円周方向に360°の範囲内でシフトさせつつ上記と同様に計測を行って、
図6に示すように、円内の白色画素Piwの合計値が多いピークMの分布を得るようになっている。
【0021】
そして、演算部6では、網目WAにおける複数のクロス部PxのうちのピークMの数が予め設定した数(
図6の例では4つ)で且つ互いに隣り合うピークMの円周方向における角度差θdが、70°よりも大きく且つ110°よりも小さい範囲内のクロス部Px以外のクロス部Pxを網目WAの不均一箇所であるNG点と判定するようになっている。
【0022】
さらに、演算部6では、上記ピークMの分布により判定したNG点の周囲を探索して、複数のNG点が見つかった場合において、
図7に示すように、これらのNG点P
NGを順次繋いでラベリング(保存)し、所定数以上のNG点P
NGを包括するような楕円E(円を含む)でNG領域を設定して、このNG領域内に存在するNG点P
NGの数及びNG点P
NG以外のOK点P
OKの数をそれぞれカウントしてNG率を算出するようになっており、このNG率が予め設定される閾値、例えば、60%を超えるNG領域を不合格と判定するようになっている。
【0023】
そこで、上記した網目構造物の網目検査装置1を用いて網目構造物Wの網目WAの不均一箇所を検出する要領を説明する。
【0024】
まず、
図8の処理フローチャートに示すように、ステップS1において、デジタルカメラ2により網目構造物Wを撮像してデジタル画像を取得し、ステップS2において、デジタル画像から網目構造物Wの網目WAを識別して画像処理部4により白黒画像を生成する(網目識別工程)。
【0025】
次いで、ステップS3において、演算部6が上記網目識別工程で生成した白黒画像の白色画素及び黒色画素の全ての画素Pi一つ一つにおいて各々の周囲の白色画素Piwをカウントして(白色画素数カウント工程)、白黒画像の全ての画素Piのうちの周囲に白色画素Piwの数が黒色画素よりも格段に多い明瞭な互いに独立したピークが複数(例えば4つ)ある画素Piを網目WAのクロス部Pxとして抽出する(クロス部抽出工程)。
【0026】
次に、ステップS4において、抽出した複数のクロス部Pxを保存して各々の中心を着目点Oとして設定するのに続いて、抽出した網目WAの複数のクロス部Px一つ一つにおいて、着目点Oを中心にして隣接するクロス部Pxまでの距離Rを半径とする円内の白色画素Piwをカウントすることで白色画素Piwの数が多いピークMの分布を得る。
【0027】
このステップS4では、距離Rを半径とする円の円周方向に沿って画素Piを1つずつ計測して、計測した画素Piが白色画素Piwであれば「1」をカウントし(計測した画素Piが白色画素Piwでなければカウントは「0」)、この計測を予め定めた角度θの計測範囲において着目点Oから半径方向の距離Rまで行って白色画素Piwの合計値を取得し、角度θの計測範囲を円周方向に360°の範囲内でシフトさせつつ上記と同様に計測を行って、円内の白色画素Piwの合計値が多いピークMの分布を得る(ピーク分布取得工程)。
【0028】
この後、ステップS5において、網目WAにおける複数のクロス部PxのうちのピークMの数が予め設定した数(
図6の例では4つ)で且つ互いに隣り合うピークMの円周方向における角度差θdが、70°よりも大きく且つ110°よりも小さい範囲内のクロス部Px以外のクロス部Pxを網目WAの不均一箇所であるNG点として抽出する(NG点抽出工程)。
【0029】
次いで、ステップS6において、ステップS5で抽出したNG点の近傍を計測して、周囲に複数のNG点が存在する場合には、これらのNG点PNGを順次繋いでラベリング(保存)する。
【0030】
次に、ステップS7において、所定数、例えば、10点以上のNG点PNGを楕円E(円を含む)で包括することでNG領域を設定し、ステップS8において、この楕円E内のNG領域に存在するNG点PNGの数及びNG点PNG以外のOK点POKの数をそれぞれカウントしてNG率を算出する。
【0031】
そして、ステップS9において、このNG率が予め設定される閾値、例えば、60%を超えるか否かの判定を行い、NG率が閾値を超える(Yes)場合は、ステップS10において、このNG領域を不合格と判定してマーキングし、一方、NG率が閾値を超えない(No)場合は、ステップS11において、NG領域を合格として処理する。
【0032】
このように、本実施例による網目構造物の網目検査装置1を用いた網目検査方法では、網目構造物Wのデジタル画像に基づいて生成した白黒画像における網目WAの複数のクロス部Pxについて、各々の周囲の白色画素Piwの数が多いピークMの分布を取得することで、網目WAの不均一箇所を識別するようにしているので、検査員の目視に頼ることなく網目WAの不均一箇所を検出し得ることとなる。
【0033】
また、本実施例による網目構造物の網目検査装置1を用いた網目検査方法では、不均一箇所が連なっている場合において、連なる不均一箇所を楕円Eで包括してNG領域を設定すると共に、このNG領域内のNG率を算出して、NG率が予め設定した閾値を超えるNG領域を不合格と判定するようにしているので、網目WAの不均一箇所が広がりを持つ場合であったとしても、網目WAの不均一箇所を検出し得ることとなる。
【0034】
さらに、本実施例による網目構造物の網目検査装置1では、演算部6において、網目構造物Wのデジタル画像に基づいて画像処理部4で生成した白黒画像における網目WAの複数のクロス部Pxに対して、各々の周囲の白色画素Piwの数が多いピークMの分布を取得して、網目WAの不均一箇所を識別するようにしているので、網目WAの不均一箇所の検出を検査員の目視に頼ることなく自動的に行い得ることとなり、その結果、検査の信頼性の向上及び検査時間の短縮が図られることとなる。
【0035】
本実施例による網目構造物の網目検査装置1では、網目構造物Wをデジタルカメラ2で撮像しているが、例えば、網目構造物が表面に露出していない網目を有する場合において、網目構造物にX線を当てて、表面に露出していない網目を撮像する際には、デジタルカメラ2に代えてデータ検出器が採用される。
【0036】
本発明に係る網目構造物の網目検査方法及び網目構造物の網目検査装置の構成は、上記した実施例の構成に限定されるものではない。
【符号の説明】
【0037】
1 網目構造物の網目検査装置
2 デジタルカメラ
4 画像処理部
6 演算部
E NG点を包括する楕円
M 白色画素の合計値が多いピーク
O 着目点(クロス部の中心)
Pi 白黒画像の画素
Piw 白色画素
Px 網目のクロス部
POK OK点
PNG NG点
R 隣接するクロス部までの距離
W 網目構造物
WA 網目
θ 計測範囲の角度
θd ピークの円周方向における角度差