特許7520149靴外観検査システム、靴外観検査方法および靴外観検査プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-11
(45)【発行日】2024-07-22
(54)【発明の名称】靴外観検査システム、靴外観検査方法および靴外観検査プログラム
(51)【国際特許分類】
G01N 21/95 20060101AFI20240712BHJP
G06T 7/00 20170101ALI20240712BHJP
G06V 10/82 20220101ALI20240712BHJP
【ＦＩ】
G01N21/95 Z
G06T7/00 610A
G06T7/00 350C
G06V10/82
【請求項の数】
6
(21)【出願番号】P 2022570939
(86)(22)【出願日】2020-12-25
(86)【国際出願番号】 JP2020048681
(87)【国際公開番号】W WO2022137494
(87)【国際公開日】2022-06-30
【審査請求日】2023-11-06
(73)【特許権者】
【識別番号】000000310
【氏名又は名称】株式会社アシックス
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(74)【代理人】
【識別番号】100109047
【弁理士】
【氏名又は名称】村田 雄祐
(72)【発明者】
【氏名】平柴 淳也
(72)【発明者】
【氏名】小川 剛史
【審査官】横尾 雅一
(56)【参考文献】
【文献】米国特許出願公開第２０１８／０３２２６２３（ＵＳ，Ａ１）
【文献】国際公開第２０１９／０４４８７０（ＷＯ，Ａ１）
【文献】特開２０１９－０７４５２５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２０／０１７５６６９（ＵＳ，Ａ１）
【文献】中国特許出願公開第１０７１１４８６１（ＣＮ，Ａ）
【文献】中国特許出願公開第１１１３４００９８（ＣＮ，Ａ）
【文献】米国特許出願公開第２０１９／００９６１３５（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８
Ｇ０６Ｔ ７／００
Ｇ０６Ｖ １０／８２
Ａ４３Ｂ １／００ － Ａ４３Ｂ ２３／３０
Ａ４３Ｃ １／００ － Ａ４３Ｃ １９／００
Ａ４３Ｄ １／００ － Ａ４３Ｄ ９９９／００
Ｂ２９Ｄ ３５／００ － Ｂ２９Ｄ ３５／１４
Ｇ０６Ｔ １／００
Ｇ０６Ｎ ３／００ － Ｇ０６Ｎ ９９／００
Ｇ０１Ｂ ９／００ － Ｇ０１Ｂ ９／１０
Ｇ０１Ｂ １１／００ － Ｇ０１Ｂ １１／３０
(57)【特許請求の範囲】
【請求項1】
検査対象である靴の画像を取得する画像取得部と、前記検査対象である靴の画像における外観上の特徴点である基準点を、所定の基準点抽出方法により抽出する基準点抽出部と、
前記検査対象である靴の画像における外観上の特徴点である複数の要素点を、所定の要素点抽出方法により抽出する要素点抽出部と、
前記基準点と前記複数の要素点をそれぞれ結ぶ複数の仮想線を前記検査対象である靴の画像から抽出する仮想線抽出部と、
合格品である複数の靴の画像から抽出された前記仮想線を教師データとする機械学習により生成された学習モデルを記憶するモデル記憶部と、
前記検査対象である靴の画像から抽出された複数の仮想線を前記学習モデルに入力することにより前記検査対象の靴が合格品か否かを判定する合否判定部と、
を備えることを特徴とする靴外観検査システム。
【請求項2】
前記取得される靴の画像は、足型による吊り込みがされた状態の靴の画像であり、前記基準点抽出部は、前記画像において靴から露出する足型の外観上の特徴点を前記基準点として抽出することを特徴とする請求項１に記載の靴外観検査システム。
【請求項3】
前記取得される靴の画像は、複数通りの角度から撮影された複数の画像で構成され、前記モデル記憶部は、一つの靴につき複数の画像からそれぞれ抽出された仮想線を教師データとする機械学習により生成された学習モデルを記憶し、
前記合否判定部は、前記検査対象である靴につき複数の画像からそれぞれ抽出された仮想線を前記学習モデルに入力することにより前記検査対象の靴が合格品か否かを判定することを特徴とする請求項１または２に記載の靴外観検査システム。
【請求項4】
前記検査対象である靴の画像から前記靴の輪郭を抽出する輪郭抽出部をさらに備え、前記モデル記憶部は、合格品である複数の靴の画像から抽出された前記仮想線および前記輪郭を教師データとする機械学習により生成された学習モデルを記憶し、
前記合否判定部は、前記検査対象である靴の画像から抽出された複数の仮想線および輪郭を前記学習モデルに入力することにより前記検査対象の靴が合格品か否かを判定することを特徴とする請求項１から３のいずれかに記載の靴外観検査システム。
【請求項5】
検査対象である靴の画像を所定の画像取得手段により取得する過程と、前記検査対象である靴の画像における外観上の特徴点である基準点を、コンピュータによる所定の基準点抽出方法により抽出する過程と、
前記検査対象である靴の画像における外観上の特徴点である複数の要素点を、コンピュータによる所定の要素点抽出方法により抽出する過程と、
前記基準点と前記複数の要素点をそれぞれ結ぶ複数の仮想線を前記検査対象である靴の画像からコンピュータにより抽出する過程と、
合格品である複数の靴の画像から抽出された前記仮想線を教師データとする機械学習により生成された学習モデルを所定の記憶手段から読み出す過程と、
前記検査対象である靴の画像から抽出された複数の仮想線を前記学習モデルに入力することにより前記検査対象の靴が合格品か否かをコンピュータにより判定する過程と、
を備えることを特徴とする靴外観検査方法。
【請求項6】
検査対象である靴の画像を取得する機能と、前記検査対象である靴の画像における外観上の特徴点である基準点を、所定の基準点抽出方法により抽出する機能と、
前記検査対象である靴の画像における外観上の特徴点である複数の要素点を、所定の要素点抽出方法により抽出する機能と、
前記基準点と前記複数の要素点をそれぞれ結ぶ複数の仮想線を前記検査対象である靴の画像から抽出する機能と、
合格品である複数の靴の画像から抽出された前記仮想線を教師データとする機械学習により生成された学習モデルを記憶する機能と、
前記検査対象である靴の画像から抽出された複数の仮想線を前記学習モデルに入力することにより前記検査対象の靴が合格品か否かを判定する機能と、
をコンピュータに実現させることを特徴とする靴外観検査プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、靴の外観を検査する技術に関する。
【背景技術】
【0002】
従来、形状が一定のまま固定される金属製品などの定形製品は外観検査をセンサや画像処理によって実施することで検査効率と検査精度を高めることがある（例えば、特許文献１参照）。形状が大きく変化し得る不定形の製品の場合も、逆にまったく異なる形状同士の製品間で部分同士の対応関係と一致性を画像処理で判定する技術も知られている（例えば、非特許文献１参照）。特許文献１の技術も、非特許文献１の技術も、製品の同一性を判定することを特徴としている点では共通し、画像処理としては実質的に１００％一致するかしないかを判定内容としている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－０７６８１９号公報
【非特許文献】
【0004】
【文献】変形対応アングルフリー物体検索技術、［online］、２０１８年１１月２６日、日本電信電話株式会社、インターネット＜URL：https://www.ntt.co.jp/news2018/1811/181126b.html#b1＞
【発明の概要】
【発明が解決しようとする課題】
【0005】
靴製品の製造工程は、製品の品質を維持するため、検査工程を含む。ここで、靴製品は形状がある程度固定される性質の製品ではあるものの、特にアッパーの素材はメッシュ繊維素材や皮革素材であり、形状が完全には固定されず変形しやすいため、個体により、または状況により、僅かに形状に違いが生じ得る。また、ソールへのアッパーの貼り付けや接着剤の塗布等の製造工程は人間の手作業によるため、貼り付け位置や塗布位置に僅かなばらつきが生じ得る。こうした靴の性質から、従来、靴製品の外観検査は人間の目視によってなされている。しかし、目視検査では作業のばらつきや検査漏れの可能性を否定できず、検査の負荷も大きいため、検査効率および検査精度を向上させることができる技術の確立が望まれている。
【0006】
本発明はこうした課題に鑑みてなされたものであり、その目的は、検査効率や検査精度を高められる靴外観検査技術を提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明のある態様の靴外観検査システムは、検査対象である靴の画像を取得する画像取得部と、検査対象である靴の画像における外観上の特徴点である基準点を、所定の基準点抽出方法により抽出する基準点抽出部と、検査対象である靴の画像における外観上の特徴点である複数の要素点を、所定の要素点抽出方法により抽出する要素点抽出部と、基準点と複数の要素点をそれぞれ結ぶ複数の仮想線を検査対象である靴の画像から抽出する仮想線抽出部と、合格品である複数の靴の画像から抽出された仮想線を教師データとする機械学習により生成された学習モデルを記憶するモデル記憶部と、検査対象である靴の画像から抽出された複数の仮想線を学習モデルに入力することにより検査対象の靴が合格品か否かを判定する合否判定部と、を備える。
【0008】
取得される靴の画像は、足型による吊り込みがされた状態の靴の画像であり、基準点抽出部は、画像において靴から露出する足型の外観上の特徴点を基準点として抽出してもよい。
【0009】
取得される靴の画像は、複数通りの角度から撮影された複数の画像で構成され、モデル記憶部は、一つの靴につき複数の画像からそれぞれ抽出された仮想線を教師データとする機械学習により生成された学習モデルを記憶し、合否判定部は、検査対象である靴につき複数の画像からそれぞれ抽出された仮想線を学習モデルに入力することにより検査対象の靴が合格品か否かを判定してもよい。
【0010】
検査対象である靴の画像から靴の輪郭を抽出する輪郭抽出部をさらに備えてもよい。モデル記憶部は、合格品である複数の靴の画像から抽出された仮想線および輪郭を教師データとする機械学習により生成された学習モデルを記憶し、合否判定部は、検査対象である靴の画像から抽出された複数の仮想線および輪郭を学習モデルに入力することにより検査対象の靴が合格品か否かを判定してもよい。
【0011】
本発明の別の態様は、靴外観検査方法である。この方法は、検査対象である靴の画像を所定の画像取得手段により取得する過程と、検査対象である靴の画像における外観上の特徴点である基準点を、コンピュータによる所定の基準点抽出方法により抽出する過程と、検査対象である靴の画像における外観上の特徴点である複数の要素点を、コンピュータによる所定の要素点抽出方法により抽出する過程と、基準点と複数の要素点をそれぞれ結ぶ複数の仮想線を検査対象である靴の画像からコンピュータにより抽出する過程と、合格品である複数の靴の画像から抽出された仮想線を教師データとする機械学習により生成された学習モデルを所定の記憶手段から読み出す過程と、検査対象である靴の画像から抽出された複数の仮想線を学習モデルに入力することにより検査対象の靴が合格品か否かをコンピュータにより判定する過程と、を備える。
【0012】
なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を方法、装置、プログラム、プログラムを記憶した一時的なまたは一時的でない記憶媒体、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。
【発明の効果】
【0013】
本発明によれば、検査効率や検査精度を高められる靴外観検査技術を提供することができる。
【図面の簡単な説明】
【0014】
【図1】本実施の形態に係る靴外観検査システムの構成図である。
【図2】合格品のアッパー形状と不合格品のアッパー形状を靴製品の外甲側を側方から撮影した画像で比較する図である。
【図3】合格品における軸の傾きと不合格品における軸の傾きを後方画像で比較する図である。
【図4】ミッドソールにおける中足部高硬度素材の位置ズレを示す図である。
【図5】靴外観検査装置の基本構成を示す機能ブロック図である。
【図6】ラストありの靴製品の外甲側を側方から撮影した画像における基準点、要素点、仮想線の抽出方法を模式的に示す図である。
【図7】ラストなしの靴製品の外甲側を側方から撮影した画像における基準点、要素点、仮想線の抽出方法を模式的に示す図である。
【図8】ラストありの靴製品の後方画像における基準点、要素点、仮想線の抽出方法を模式的に示す図である。
【図9】ラストありの靴製品の外甲側を側方から撮影した画像における輪郭の抽出方法を模式的に示す図である。
【図10】靴外観検査学習装置の基本構成を示す機能ブロック図である。
【図11】靴製品の画像から複数の仮想線および輪郭を抽出して学習モデルに基づいて合格品か否かを推定する手順を示すフローチャートである。
【発明を実施するための形態】
【0015】
図１は、本実施の形態に係る靴外観検査システム１００の構成図である。靴外観検査システム１００は、靴外観検査装置１１０と靴外観検査学習装置１１２を含む。靴外観検査装置１１０および靴外観検査学習装置１１２は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置、通信装置等からなるコンピュータで構成されてよい。靴外観検査装置１１０および靴外観検査学習装置１１２は、それぞれ別個のコンピュータで構成されてもよいし、両者の機能を兼ね備えた１台のコンピュータで実現してもよい。本実施の形態では別個のコンピュータで実現する例を説明する。
【0016】
靴外観検査装置１１０は、複数の靴製品１０の画像を撮影する複数の撮影装置と通信接続される。靴製品１０は、作業者が手に持った状態では変形しやすく、正確な検査が困難であるため、例えば図のように台に置いた状態で撮影するが、靴製品１０の固定方法はこれに限定されない。複数の撮影装置は、靴製品１０を左側方から撮影する左側方撮影装置５０、右側方から撮影する右側方撮影装置５２、真上から撮影する上方撮影装置５４、前方から撮影する前方撮影装置５６、後方から撮影する後方撮影装置５８、下方から底面を撮影する下方撮影装置５９で構成される。左側方撮影装置５０は、左足用の靴製品１０の外甲側を撮影し、右足用の靴製品１０の内甲側を撮影する。右側方撮影装置５２は、左足用の靴製品１０の内甲側を撮影し、右足用の靴製品１０の外甲側を撮影する。左側方撮影装置５０、右側方撮影装置５２、上方撮影装置５４、前方撮影装置５６、後方撮影装置５８、下方撮影装置５９によって撮影された画像は靴外観検査装置１１０へ送信される。靴外観検査装置１１０は、受信した画像に基づいて靴製品１０の外観を検査する。靴外観検査学習装置１１２は、靴外観検査装置１１０と通信接続するとともに、靴製品１０の画像を機械学習して学習モデルを生成する。学習モデルは、靴外観検査装置１１０によって検査に用いられる。
【0017】
図２は、合格品のアッパー形状と不合格品のアッパー形状を靴製品の外甲側を側方から撮影した画像で比較する図である。図２（ａ）は合格品の例であり、図２（ｂ）は不合格品の例である。例示する靴製品１０は、底部から上部に向けて、アウトソール１２、下層ミッドソール１４、上層ミッドソール１６の順に貼り合わされる形でソールが構成される。靴製品１０は、上層ミッドソール１６に載せたラスト（足型）３０の甲部周辺にアッパー２０を張り合わせてソールに接着する、いわゆる吊り込みがされた状態で靴製品１０が構成される。ＥＶＡ（Ethylene-Vinyl Acetate、エチレン酢酸ビニル）等の樹脂で構成される下層ミッドソール１４、上層ミッドソール１６、アウトソール１２は製造上の成形ばらつきを除き、製造後は変形しにくく形状がほぼ固定されるのに対し、アッパー２０はメッシュ繊維素材や皮革など、形状が製造後も必ずしも固定されない素材で構成される。靴製品１０からラスト３０を抜き出すと、ソールの反発力により爪先の高さが少し下がるためアッパー２０が変形しやすく、個体ごとの形状のばらつきが生じやすいのに対し、ラスト３０により吊り込みがされた状態ではアッパー２０の形状を一定に保ちやすい。したがって、ラスト３０ありの状態の方が検査には適するが、ラスト３０なしの状態でも機械学習によって検査精度を高めている。
【0018】
吊り込みがされた状態でアッパーがソールに貼り付けられるが、その貼り付け過程は作業者によって手作業でなされるため、作業のばらつきが生じ、そのばらつきによって形状にもばらつきが生じる場合がある。図２（ａ）の合格品においては、アッパー形状２２ａは甲から爪先にかけて少し反り返るような湾曲形状を持つのに対し、図２（ｂ）の不合格品においては、アッパー形状２２ｂは甲から爪先にかけてほぼ直線に近い形状を持つ。これらの違いは、人間の目視では見落とす可能性があるほどの微差であり、また適切な方向から観察しなければ判別も困難である。靴全体においては特徴点の位置関係や長さのバランスが合格品と不合格品では明確な相違がある。そこで、画像処理と機械学習によって合格品との長さの比率の誤差範囲をモデル化し、その学習モデルによって誤差が許容範囲であると判定されれば合格品と推定し、許容範囲を超えれば不合格品と推定する。
【0019】
図３は、合格品における軸の傾きと不合格品における軸の傾きを後方画像で比較する図である。図３（ａ）は合格品の例であり、図３（ｂ）は不合格品の例である。図３（ａ）の合格品においては、横軸１８ａはほぼ水平であり、縦軸２４ａはほぼ垂直であるのに対し、図３（ｂ）の不合格品においては、横軸１８ｂは水平より僅かに左下がりで傾いており、縦軸２４ｂも垂直より僅かに左下がりで傾いている。これら傾きの違いは、人間の目視では見落とす可能性があるほど僅かであり、少なくとも水平台に適切に載置した状態でなければ判別も困難であるが、傾きに違いがある点で合格品と不合格品で明確な相違がある。そこで、画像処理と機械学習によって合格品との傾きの比率の範囲をモデル化し、その学習モデルによって誤差が許容範囲であると判定されれば合格品と推定し、許容範囲を超えれば不合格品と推定する。
【0020】
本実施の形態においては、靴製品１０としてランニングシューズを例示して説明し、ランニングシューズを含む各種スポーツシューズや革靴等、特にソールにアッパーを貼り付けて製造されるような様々な靴製品の他、アッパーのないサンダルやスリッパ等も含む履物に対する検査に用いることができる。
【0021】
アッパーだけでなく、ソールにおいても樹脂の成形工程において誤差が生じる場合がある。図４は、ミッドソールにおける中足部高硬度素材の位置ズレを示す。下層ミッドソール１４においては、足の中足部に対応する位置に剛性を担保するための高硬度素材を部分的に用いる場合があるが、ソールの成形工程でその高硬度素材が使われる位置に誤差が生じる可能性がある。しかし、高硬度素材が使われている部分は下層ミッドソール１４の外観には表れないため、作業者が目視でその誤差を発見することは難しい。図はソールの輪郭を示す。左上から右下の向きの斜線模様で示す中足部Ｍ１は合格品における高硬度素材部分を示す。右上から左下の向きの斜線模様で示す中足部Ｍ２は不合格品における高硬度素材部分を示す。図のように両者を対比すれば位置の違いが明確であるが、靴の内側（図の左側）から見ると中足部Ｍ１と中足部Ｍ２に位置の違いはなく、靴の外側（図の右側）から見たときだけ中足部Ｍ１と中足部Ｍ２の位置の違いがある。しかし、作業者が目視検査する場合、単体の靴を見るだけでこの中足部Ｍ１と中足部Ｍ２の位置の違いのような位置ズレを発見することは困難である。
【0022】
靴製品１０の内側においては、爪先側頂点にある基準点Ｒａから中足部Ｍ１，Ｍ２の開始点までの仮想線Ｌａ，Ｌａ’は同じ長さである。靴製品１０の外側においては、基準点Ｒａから中足部Ｍ１の開始点までの仮想線Ｌｂと、基準点Ｒａから中足部Ｍ２の開始点までの仮想線Ｌｂ’は、長さが異なる。中足部Ｍ１の幅Ｌｃと中足部Ｍ２の幅Ｌｃ’は、本図の例ではほぼ同じ長さである。この場合、合格品と不合格品の仮想線同士の長さの比率（Ｌｎ’／Ｌｎ）によって誤差の大きさを表すことができる。したがって、検査対象を複数の撮影方向から撮影した複数の画像を取得した上で、各画像から抽出する仮想線と合格品の画像から抽出された仮想線の長さの比率を算出し、その学習結果と比較すれば位置ズレの誤差の大きさが許容範囲であるか否かを判定することが理論上可能となる。
【0023】
図５は、靴外観検査装置１１０の基本構成を示す機能ブロック図である。本図では機能に着目した機能ブロックを描いており、これらの機能ブロックはハードウェア、ソフトウェア、またはそれらの組合せによっていろいろな形で実現することができる。靴外観検査装置１１０は、画像取得部１２０、画像記憶部１２２、基準点抽出部１２４、要素点抽出部１２６、仮想線抽出部１２８、輪郭抽出部１３０、抽出データ記憶部１３２、合否判定部１３４、モデル記憶部１３６を含む。
【0024】
画像取得部１２０は、検査対象である靴製品１０の画像を左側方撮影装置５０、右側方撮影装置５２、上方撮影装置５４、前方撮影装置５６、後方撮影装置５８のそれぞれから取得し、画像記憶部１２２に格納する。画像記憶部１２２には、検査対象である靴製品１０の製品モデル名、サイズ、左足用か右足用かの別、といった属性情報とともに分類されて格納される。
【0025】
基準点抽出部１２４は、検査対象である靴製品１０の画像における外観上の特徴点である基準点を、所定の基準点抽出方法により抽出する。要素点抽出部１２６は、検査対象である靴製品１０の画像における外観上の特徴点である複数の要素点を、所定の要素点抽出方法により抽出する。仮想線抽出部１２８は、基準点と複数の要素点をそれぞれ結ぶ複数の仮想線を検査対象である靴製品１０の画像から抽出する。輪郭抽出部１３０は、検査対象である靴製品１０の画像から靴製品１０の輪郭を抽出する。
【0026】
図６は、ラストありの靴製品の外甲側を側方から撮影した画像における基準点、要素点、仮想線の抽出方法を模式的に示す。本実施の形態においては、靴製品１０の画像から特徴点として基準点と要素点を抽出し、その基準点と要素点を結ぶ仮想線を抽出する。そのような仮想線を複数抽出し、これら複数の仮想線のデータを所定の機械学習モデルに入力し、各仮想線の位置、傾き、合格品との傾きの比率、長さ、合格品との長さの比率が許容される誤差の範囲であるかを判定することで、靴製品１０が合格品であるか否かを推定する。
【0027】
また、一つの靴製品１０を複数の撮影方向から撮影した複数の画像を検査することで、一方向からの画像だけで合格品であるか否かを推定するのではなく、靴全体において総合的に合格品か否かを推定する。一つの側からの画像内ではその画像から抽出される複数の仮想線の位置、傾き、合格品との傾きの比率、長さ、合格品との長さの比率が許容範囲であったとしても、複数方向から撮影された複数の画像から抽出される複数の仮想線同士の位置関係においては許容範囲を超える誤差が生じている場合もあるためである。
【0028】
さらに、靴製品１０の画像から輪郭を抽出し、その輪郭を所定の機械学習モデルに入力し、輪郭の形状や位置の全体バランスが許容される誤差の範囲であるかを判定することで、靴製品１０が合格品であるか否かを推定する。輪郭による検査においても、複数方向から撮影した複数の画像間で輪郭の位置関係やバランスに許容範囲を超える誤差が生じている場合にこれを判定することができる。
【0029】
基準点と要素点は、画像処理による所定の抽出方法に基づいて抽出し得る、形状が安定した外観上の特徴点である。基準点抽出部１２４は、靴製品１０の履き口から露出したラスト３０の一部分であって、ラスト３０に対する画像処理でエッジ検出される上縁において最も踵側の端点を第１基準点Ｒ１として抽出する。ラスト３０の上縁は製靴工程上で形状変化が少なく、他の製品モデルを検査する場合でも用いられるラスト３０は形状が共通するため、抽出しやすい基準点として好適である。また、一つの画像から抽出する基準点を一つとし、共通する基準点を起点として複数の要素点を１対多で結んで複数の仮想線を抽出するため、抽出すべき特徴点の数を無闇に増やすことがなく、処理負担の増大を回避できる。この点、互いに異なる複数の特徴点から複数の要素点をそれぞれ多対多で結んで複数の仮想線を抽出する手法より処理負荷の面で有利である。なお、変形例として、ラスト３０の一部に付された模様や文字を目印として抽出可能な特徴点を第１基準点Ｒ１として抽出してもよい。
【0030】
要素点抽出部１２６は、アウトソール１２に対する画像処理でエッジ検出されるアウトソール１２の爪先側の最先端を第１要素点Ｐ１として抽出する。第１要素点Ｐ１は、アウトソール１２の爪先側の円弧状輪郭において最も前方に張り出した頂点である。仮想線抽出部１２８は、第１基準点Ｒ１と第１要素点Ｐ１を結ぶ第１仮想線Ｌ１を抽出する。
【0031】
要素点抽出部１２６は、アウトソール１２に対する画像処理でエッジ検出される爪先側の巻き上げ部分の曲率が変化する点、すなわちアウトソール１２の接地平面から爪先方向へ巻き上げる開始点（「トースプリング開始点」ともいう）を第２要素点Ｐ２として抽出する。仮想線抽出部１２８は、第１基準点Ｒ１と第２要素点Ｐ２を結ぶ第２仮想線Ｌ２を抽出する。
【0032】
要素点抽出部１２６は、アウトソール１２に対する画像処理でエッジ検出される踵側の巻き上げ部分の曲率が変化する点、すなわちアウトソール１２の接地平面から踵方向へ巻き上げる開始点（「ヒールカット開始点」ともいう）を第３要素点Ｐ３として抽出する。仮想線抽出部１２８は、第１基準点Ｒ１と第３要素点Ｐ３を結ぶ第３仮想線Ｌ３を抽出する。
【0033】
要素点抽出部１２６は、ソールに対する画像処理でエッジ検出される踵側の最後端部を第４要素点Ｐ４として抽出する。第４要素点Ｐ４は、下層ミッドソール１４の踵側の円弧状輪郭において最も後方に張り出した頂点である。仮想線抽出部１２８は、第１基準点Ｒ１と第４要素点Ｐ４を結ぶ第４仮想線Ｌ４を抽出する。
【0034】
要素点抽出部１２６は、履き口に対する画像処理でエッジ検出される最上端部を第５要素点Ｐ５として抽出する。靴製品１０の履き口は外側も内側も波形状を呈しており、要素点抽出部１２６は、その波形状の円弧における頂点ないし最高点を第５要素点Ｐ５として抽出する。仮想線抽出部１２８は、第１基準点Ｒ１と第５要素点Ｐ５を結ぶ第５仮想線Ｌ５を抽出する。なお、検査対象である靴製品１０がブーツなど履き口の形状が波形状でない場合は、例えば履き口の最前端または最後端を第５要素点Ｐ５として抽出するようにしてもよい。
【0035】
図６の例では、５点の要素点を抽出し、５本の仮想線を抽出する例を説明したが、要素点や仮想線の数はこれに限定されず、靴の形状の安定性に応じて別の箇所を要素点としてもよい。
【0036】
図７は、ラストなしの靴製品の外甲側を側方から撮影した画像における基準点、要素点、仮想線の抽出方法を模式的に示す。本図の靴製品１０は、ラスト３０を抜いた後の状態を検査する場合の例である。ラスト３０ありの場合と異なり、靴製品１０の一部から基準点を抽出する。基準点抽出部１２４は、履き口に対する画像処理でエッジ検出される最下端部を第２基準点Ｒ２として抽出する。靴製品１０の履き口は外側も内側も波形状を呈しており、基準点抽出部１２４は、その波形状の円弧における最低部ないし最下点を第２基準点Ｒ２として抽出する。なお、検査対象である靴製品１０がブーツなど履き口の形状が波形状でない場合は、例えば履き口の最後端または最前端を基準点として抽出するようにしてもよい。変形例として、複数の要素点のいずれかを基準点に設定する仕様としてもよい。
【0037】
仮想線抽出部１２８は、第２基準点Ｒ２と第１要素点Ｐ１を結ぶ第１仮想線Ｌ１を抽出する。仮想線抽出部１２８は、第２基準点Ｒ２と第２要素点Ｐ２を結ぶ第２仮想線Ｌ２を抽出する。仮想線抽出部１２８は、第２基準点Ｒ２と第３要素点Ｐ３を結ぶ第３仮想線Ｌ３を抽出する。仮想線抽出部１２８は、第２基準点Ｒ２と第４要素点Ｐ４を結ぶ第４仮想線Ｌ４を抽出する。仮想線抽出部１２８は、第２基準点Ｒ２と第５要素点Ｐ５を結ぶ第５仮想線Ｌ５を抽出する。
【0038】
図８は、ラストありの靴製品の後方画像における基準点、要素点、仮想線の抽出方法を模式的に示す。基準点抽出部１２４は、ラスト３０に対する画像処理でエッジ検出される上縁における頂点ないし最高点を第３基準点Ｒ３として抽出する。なお、後方画像における第３基準点Ｒ３として、側方画像における第１基準点Ｒ１とは異なる点を基準点としているが、例えば側方画像においてもラスト３０に対する画像処理でエッジ検出される上縁における頂点ないし最高点を基準点とすることにより、共通する特徴点をそれぞれ基準点としてもよい。
【0039】
要素点抽出部１２６は、下層ミッドソール１４に対する画像処理でエッジ検出される最左端を第６要素点Ｐ６として抽出する。第６要素点Ｐ６は、下層ミッドソール１４の左側の円弧状輪郭において最も左方に張り出した頂点である。仮想線抽出部１２８は、第３基準点Ｒ３と第６要素点Ｐ６を結ぶ第６仮想線Ｌ６を抽出する。
【0040】
要素点抽出部１２６は、アウトソール１２に対する画像処理でエッジ検出される最下端を第７要素点Ｐ７として抽出する。第７要素点Ｐ７は、アウトソール１２円弧状輪郭における最低部ないし最下点である。仮想線抽出部１２８は、第３基準点Ｒ３と第７要素点Ｐ７を結ぶ第７仮想線Ｌ７を抽出する。
【0041】
要素点抽出部１２６は、下層ミッドソール１４に対する画像処理でエッジ検出される最右端を第８要素点Ｐ８として抽出する。第８要素点Ｐ８は、下層ミッドソール１４の右側の円弧状輪郭において最も右方に張り出した頂点である。仮想線抽出部１２８は、第３基準点Ｒ３と第８要素点Ｐ８を結ぶ第８仮想線Ｌ８を抽出する。
【0042】
【0043】
図９は、ラストありの靴製品の外甲側を側方から撮影した画像における輪郭の抽出方法を模式的に示す。輪郭抽出部１３０は、靴製品１０に対する画像処理で、靴製品１０全体の輪郭ＳＬをエッジ検出により抽出する。輪郭ＳＬは、靴製品１０の一つの画像から一つしか得られないため、検査可能な項目としては仮想線を用いた検査より少なく、また機械学習させる対象としても仮想線より少ない分、多数の教師データを学習できる仮想線よりも学習による検出精度を高めにくい側面がある。一方、輪郭ＳＬのエッジ検出は基準点や要素点の抽出と異なり形状の特徴を必要としないため、より容易に抽出できる。また、輪郭による検査は、完成品の検査だけでなく、製造過程に含まれる複数の工程のそれぞれにおける検査においても用いることができる。
【0044】
図９のように、靴製品１０の右側方、前方、後方、上方、下方の画像やラストなしの靴製品１０の画像からも輪郭を抽出する。
【0045】
再び図１を参照する。モデル記憶部１３６は、合格品である複数の靴製品の画像から抽出された複数の仮想線および輪郭を教師データとする機械学習によりあらかじめ生成されて学習済みの学習モデルを記憶する。モデル記憶部１３６は、一つの靴製品１０につき複数の画像からそれぞれ抽出された複数の仮想線および輪郭を教師データとする機械学習により生成された学習モデルを記憶する。この学習モデルには、多数の合格品における仮想線の位置、傾き、合格品との傾きの比率、長さ、合格品との長さの比率、輪郭の位置、バランスといったデータの誤差の許容範囲が形成されているため、検査対象の画像から抽出された仮想線の位置、傾き、合格品との傾きの比率、長さ、合格品との長さの比率、輪郭の位置、バランスと比較することで、誤差が許容範囲に収まるか、すなわち合格品であるか否かを推定することができる。学習モデルは、後述するように靴外観検査学習装置１１２によりあらかじめ生成されてモデル記憶部１３６に格納される。
【0046】
合否判定部１３４は、検査対象である靴製品１０の画像から抽出された複数の仮想線および輪郭を学習モデルに入力し、仮想線の位置、傾き、合格品との傾きの比率、長さ、合格品との長さの比率、輪郭の位置、バランスを比較することにより、誤差が許容範囲に収まるか、すなわち検査対象の靴製品１０が合格品であるか否かを推定することができる。合否判定部１３４は、検査対象である靴製品１０につき複数の画像からそれぞれ抽出された複数の仮想線および輪郭を学習モデルに入力し、仮想線の位置、傾き、合格品との傾きの比率、長さ、合格品との長さの比率、輪郭の位置、バランスを靴全体として総合的に比較し、検査対象の靴が合格品か否かを推定する。合否判定部１３４は、推定の結果を画面表示などの方法により出力するとともに、モデル記憶部１３６に記憶される学習モデルへ、合格品または不合格品のデータとしてフィードバックする。
【0047】
図１０は、靴外観検査学習装置１１２の基本構成を示す機能ブロック図である。画像取得部２２０、画像記憶部２２２、基準点抽出部２２４、要素点抽出部２２６、仮想線抽出部２２８、輪郭抽出部２３０、抽出データ記憶部２３２は、それぞれ画像取得部１２０、画像記憶部１２２、基準点抽出部１２４、要素点抽出部１２６、仮想線抽出部１２８、輪郭抽出部１３０、抽出データ記憶部１３２に対応し、それぞれが同じ機能を有する。
【0048】
機械学習部２３４は、抽出データ記憶部２３２に格納された複数の仮想線のデータと輪郭のデータとを教師データとして、仮想線と輪郭の誤差が許容範囲に収まるかどうかを判定する学習モデルを機械学習により生成し、モデル記憶部２３６に格納する。学習モデルは、靴外観検査装置１１０に送信され、靴製品１０の外観検査に用いられる。
【0049】
教師データには、図６から図９で示したような靴から抽出される複数の仮想線および輪郭の情報が含まれる。仮想線のデータは、多数の合格品の複数の画像から得られた仮想線の位置、傾き、合格品との傾きの比率、長さ、合格品との長さの比率である。輪郭のデータは、多数の合格品の複数の画像から得られた輪郭の位置、バランスである。仮想線および輪郭は、それぞれ位置、傾き、長さ、バランス等にばらつきがあるため、これらを機械学習することで、誤差として許容される範囲をモデル化する。靴製品１０は、複数種類の製品モデルがあり、一つの製品モデルにおいても複数のサイズがあり、また左足用と右足用に分かれる。機械学習部２３４は、製品モデル、サイズ、左足用と右足用、といった属性ごとに分けて複数の仮想線および輪郭を機械学習する。属性ごとに分けて機械学習することにより、判定精度をより高めることができる。
【0050】
本実施の形態においては、合格品の靴製品１０の画像のみを機械学習して学習モデルを生成する例を説明した。変形例においては、合格品の画像から抽出された仮想線および輪郭を学習して合格ラベルを付けるとともに、さらに不合格品の画像から抽出された仮想線および輪郭を学習して不合格ラベルを付けることとしてもよい。合格品のみを学習させる場合より教師データを多く必要とするが、その分、合格と不合格を分類する判定精度を高めることができる。また、別の変形例においては、輪郭の機械学習を用いずに仮想線の機械学習だけで学習モデルを生成してもよい。
【0051】
図１１は、靴製品の画像から複数の仮想線および輪郭を抽出して学習モデルに基づいて合格品か否かを推定する手順を示すフローチャートである。
【0052】
画像取得部１２０は、左側方撮影装置５０や右側方撮影装置５２等の複数の撮影装置により複数の撮影方向から靴製品１０の画像を撮影し（Ｓ１０）、画像取得部１２０が複数の画像を取得する（Ｓ１１）。基準点抽出部１２４および要素点抽出部１２６が基準点と複数の要素点を画像から抽出し（Ｓ１２）、仮想線抽出部１２８が基準点と複数の要素点に基づいて画像から複数の仮想線を抽出して抽出データ記憶部１３２に格納する（Ｓ１４）。合否判定部１３４は、モデル記憶部１３６に格納された学習モデルに仮想線のデータを入力し、仮想線の誤差が許容範囲内であるかを判定する（Ｓ１６）。輪郭抽出部１３０は、靴製品１０の画像から輪郭を抽出して抽出データ記憶部１３２に格納する（Ｓ１８）。合否判定部１３４は、モデル記憶部１３６に格納された学習モデルに輪郭のデータを入力し、輪郭の誤差が許容範囲内であるかを判定する（Ｓ１９）。合否判定部１３４は、仮想線の誤差が許容範囲内であるか、および、輪郭の誤差が許容範囲であるかを総合的に判定することにより、靴製品１０が合格品か否かを推定する（Ｓ２０）。
【0053】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【産業上の利用可能性】
【0054】
この発明は、検査効率や検査精度を高められる靴外観検査技術を提供することができる。
【符号の説明】
【0055】
Ｒ１ 第１基準点、 Ｐ１ 第１要素点、 Ｌ１ 第１仮想線、 Ｒ２ 第２基準点、 Ｐ２ 第２要素点、 Ｌ２ 第２仮想線、 Ｒ３ 第３基準点、 Ｐ３ 第３要素点、 Ｌ３ 第３仮想線、 Ｐ４ 第４要素点、 Ｌ４ 第４仮想線、 Ｐ５ 第５要素点、 Ｌ５ 第５仮想線、 Ｌ６ 第６仮想線、 Ｐ７ 第７要素点、 Ｌ８ 第８仮想線、 １２ アウトソール、 １４ 下層ミッドソール、 １６ 上層ミッドソール、 ２０ アッパー、 ３０ ラスト、 ＳＬ 輪郭、 １００ 靴外観検査システム、 １１０ 靴外観検査装置、 １１２ 靴外観検査学習装置、 １２０ 画像取得部、 １２４ 基準点抽出部、 １２６ 要素点抽出部、 １２８ 仮想線抽出部、 １３０ 輪郭抽出部、 １３４ 合否判定部、 １３６ モデル記憶部、 ２２０ 画像取得部、 ２２４ 基準点抽出部、 ２２６ 要素点抽出部、 ２２８ 仮想線抽出部、 ２３０ 輪郭抽出部、 ２３６ モデル記憶部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】