特開 2023-105634 靴識別装置、靴識別方法、および、コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023105634

(43)【公開日】2023-07-31

(54)【発明の名称】靴識別装置、靴識別方法、および、コンピュータプログラム

(51)【国際特許分類】

   G05B 19/418 20060101AFI20230724BHJP

   A43D 1/06 20060101ALI20230724BHJP

   G06T 7/00 20170101ALI20230724BHJP

【ＦＩ】

G05B19/418 Z

A43D1/06

G06T7/00 350B

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022006590

(22)【出願日】2022-01-19

(71)【出願人】

【識別番号】000000310

【氏名又は名称】株式会社アシックス

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(72)【発明者】

【氏名】渡邉 慎

(72)【発明者】

【氏名】岩下 直人

(72)【発明者】

【氏名】若杉 晋作

【テーマコード（参考）】

3C100

4F050

5L096

【Ｆターム（参考）】

3C100AA22

3C100AA29

3C100AA34

3C100AA57

3C100BB05

3C100BB34

3C100DD04

3C100DD22

3C100DD32

3C100DD33

3C100EE20

4F050KA00

4F050NA90

5L096AA06

5L096BA03

5L096CA05

5L096DA02

5L096FA64

5L096HA09

5L096HA11

5L096JA11

5L096JA18

5L096KA04

5L096KA15

(57)【要約】

【課題】靴の識別情報を容易に特定できる技術を提供する。
【解決手段】データ記憶部４０は、アッパーおよびソールを含む靴の画像から抽出される外観特徴量と識別情報とを教師データとしてあらかじめ機械学習させた予測モデルを記憶する。画像取得部は、検査対象である靴のアッパーおよびソールのうち少なくともいずれかの外観が含まれる検査対象画像を取得する。検査処理部３０は、検査対象画像からアッパーおよびソールのうち少なくともいずれかを含む靴の外観特徴量を抽出する。識別情報特定部５０は、予測モデルを用いることにより、検査処理部３０で抽出された外観特徴量から検査対象に対応する識別情報を特定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

アッパーおよびソールを含む靴の画像から抽出される外観特徴量と識別情報とを教師データとしてあらかじめ機械学習させた予測モデルを記憶するデータ記憶部と、
検査対象である靴のアッパーおよびソールのうち少なくともいずれかの外観が含まれる検査対象画像を取得する画像取得部と、
前記検査対象画像から前記アッパーおよび前記ソールのうち少なくともいずれかを含む靴の外観特徴量を抽出する検査処理部と、
前記予測モデルを用いることにより、前記検査処理部で抽出された外観特徴量から前記検査対象に対応する識別情報を特定する識別情報特定部と、
前記特定された識別情報を出力する識別情報出力部と、
を備える靴識別装置。

【請求項2】

前記データ記憶部は、前記予測モデルとして、靴に含まれるアッパーおよびソールのそれぞれを画像認識により分別して抽出される外観特徴量と識別情報とを教師データとしてあらかじめ機械学習させたモデルを記憶し、
前記検査処理部は、前記検査対象画像から前記アッパーおよび前記ソールのうち少なくともいずれかを画像認識により分別して外観特徴量を抽出する請求項１に記載の靴識別装置。

【請求項3】

前記画像取得部は、前記外観特徴量を抽出するための検査対象画像として、前記検査対象を側方から撮影した側面画像を取得する請求項１または２に記載の靴識別装置。

【請求項4】

前記データ記憶部は、前記識別情報として、靴の製品識別情報とその靴の寸法種別を示す寸法識別情報とを記憶し、
前記検査処理部は、検査対象を上方から観察して得られる情報に基づいて前記検査対象の寸法を推定し、
前記識別情報特定部は、前記側面画像から抽出された外観特徴量から前記検査対象に対応する製品識別情報を特定するとともに、前記推定される寸法および前記特定された製品識別情報に基づいて前記検査対象に対応する寸法識別情報を特定する請求項３に記載の靴識別装置。

【請求項5】

前記画像取得部は、前記検査対象画像として、検査対象を上方から撮影した上面画像をさらに取得し、
前記検査処理部は、前記上面画像から前記検査対象の輪郭に接する仮想的な包囲線として、長辺が最大値となるような位置に矩形状の境界ボックスを設定し、前記境界ボックスの長辺および短辺に基づいて前記検査対象の寸法を推定し、
前記識別情報特定部は、前記側面画像から抽出された外観特徴量から前記検査対象に対応する製品識別情報を特定するとともに、前記推定される寸法および前記特定された製品識別情報に基づいて前記検査対象に対応する寸法識別情報を特定する請求項３に記載の靴識別装置。

【請求項6】

前記データ記憶部は、靴の識別情報とその靴の高さ寸法との対応関係をさらに記憶し、
前記識別情報特定部は、前記側面画像から抽出された外観特徴量から前記検査対象に対応する製品識別情報を特定するとともにその製品識別情報に対応する高さ寸法をさらに特定し、
前記検査処理部は、前記特定された高さ寸法と前記上面画像の撮影高さに基づき、前記上面画像から推定された検査対象の寸法を補正する請求項５に記載の靴識別装置。

【請求項7】

前記検査処理部は、検査対象である靴に靴紐装着領域が含まれていた場合に前記検査対象画像から前記靴紐装着領域を画像認識により除外して外観特徴量を抽出する請求項１から６のいずれかに記載の靴識別装置。

【請求項8】

靴の製造工程における所定の駆動要素を前記出力された識別情報に基づいて制御する制御部をさらに備える請求項１から７のいずれかに記載の靴識別装置。

【請求項9】

検査対象である靴のアッパーおよびソールのうち少なくともいずれかの外観が含まれる検査対象画像を取得する過程と、
前記検査対象画像から前記アッパーおよび前記ソールのうち少なくともいずれかを含む靴の外観特徴量を抽出する過程と、
アッパーおよびソールを含む靴の画像から抽出される外観特徴量と識別情報とを教師データとしてあらかじめ機械学習させた予測モデルを読み出す過程と、
前記予測モデルを用いることにより、前記検査対象画像から抽出された外観特徴量から前記検査対象に対応する識別情報を特定する過程と、
前記特定された識別情報を出力する過程と、
を備える靴識別方法。

【請求項10】

アッパーおよびソールを含む靴の画像から抽出される外観特徴量と識別情報とを教師データとしてあらかじめ機械学習させた予測モデルを記憶する機能と、
検査対象である靴のアッパーおよびソールのうち少なくともいずれかの外観が含まれる検査対象画像を取得する機能と、
前記検査対象画像から前記アッパーおよび前記ソールのうち少なくともいずれかを含む靴の外観特徴量を抽出する機能と、
前記予測モデルを用いることにより、前記検査対象画像から抽出された外観特徴量から前記検査対象に対応する識別情報を特定する機能と、
前記特定された識別情報を出力する機能と、
をコンピュータに実現させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、靴識別装置に関する。特に、画像処理により靴を識別する装置に関する。

【背景技術】

【0002】

スポーツシューズ等の靴は、色や形状の種類が多岐にわたるうえに毎年のように変遷し得るため、靴の製造は多品種少量生産となりやすい。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平６－３３２９１３号公報

【特許文献2】特開２００２－２４３２２号公報

【特許文献3】特開２０２１－１０１２７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

靴の製造工程において靴の外観からその品番を特定するには作業者の正確な知識と識別能力が求められるが、経験や知識の乏しい非熟練者には正確な識別が容易ではなく、また、たとえ熟練者であってもヒューマンエラーにより誤認識し得る。

【0005】

ここで、多品種の製品を管理するための各種製品と品番を紐付けたシステムが知られている（例えば、特許文献１～３参照）。しかしながら、こうしたシステムは、多数の外観画像と品番のデータベースを構築するのに手間を要するだけでなく、最終製品と部品の関係を検索するにも、部品ごとにラベル等が付されていなければ検索が容易でなく、ラベル等の着脱も煩雑であった。

【0006】

本発明は、こうした状況に鑑みてなされたものであり、その目的は、靴の識別情報を容易に特定できる技術を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明のある態様の靴識別装置は、アッパーおよびソールを含む靴の画像から抽出される外観特徴量と識別情報とを教師データとしてあらかじめ機械学習させた予測モデルを記憶するデータ記憶部と、検査対象である靴のアッパーおよびソールのうち少なくともいずれかの外観が含まれる検査対象画像を取得する画像取得部と、検査対象画像からアッパーおよびソールのうち少なくともいずれかを含む靴の外観特徴量を抽出する検査処理部と、予測モデルを用いることにより、検査処理部で抽出された外観特徴量から検査対象に対応する識別情報を特定する識別情報特定部と、特定された識別情報を出力する識別情報出力部と、を備える。

【0008】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0009】

本発明によれば、靴の識別情報を容易に特定することができる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態における靴識別システムおよび靴識別装置の基本構成を示す機能ブロック図である。

【図2】検査対象の靴を側方から撮影した側面画像を例示する図である。

【図3】検査対象の靴を上方から撮影した上面画像を例示する図である。

【図4】靴の高さ寸法を示す図である。

【図5】靴品ごとの品番、色番、外観特徴量、高さ設計値等が定められた製品別データテーブルを模式的に示す図である。

【図6】靴品番ごとに寸法やその種別、対応する部品の品番が定められたサイズ別データテーブルを模式的に示す図である。

【図7】外観特徴量と識別情報の学習過程を示すフローチャートである。

【図8】製造工程において検査対象画像をもとに識別情報を特定する過程を示すフローチャートである。

【図9】第２実施形態における靴識別システムおよび靴識別装置の基本構成を示す機能ブロック図である。

【図10】第２実施形態の製造工程において検査対象画像をもとに識別情報を特定する過程を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明を好適な実施形態をもとに各図面を参照しながら説明する。実施形態、変形例では、同一または同等の構成要素には、同一の符号を付するものとし、適宜重複した説明は省略する。

【0012】

（第１実施形態）
スポーツシューズのように形状や色が多種にわたるアッパーやソール等の部品が組み合わされて構成される靴の製造工程においては、誤った部品の組み合わせや、誤った商品タグやラベルの貼付を防止する必要がある。そのため、製造現場の作業者には、部品の種類を正確に特定するための知識と識別能力が求められる。知識や経験の乏しい非熟練者にとっては作業が容易でないだけでなく、たとえ熟練者であってもヒューマンエラーによって誤認識してしまう可能性は排除できない。

【0013】

そこで、靴の外観画像と、いわゆる「品番」とも呼ばれる識別情報とを対応づけたデータベースをあらかじめ用意し、作業者がこれを用いて品番を検索できるようにすることが考えられる。しかし、そうした従来のデータベースでは、作業者が目視で検索対象の靴をデータベースから探して品番を特定するなどの作業が発生し、手間や時間がかかる上、作業者が画像を目視で選ぶといった人間の判断が介在する点でも作業者に負担がかかる。一方、作業者の負担を減らすために、部品ごとにあらかじめ二次元コードやラベルを貼付しておいて、誤った部品の組み合わせを排除することも考えられる。しかし、二次元コードやラベルの着脱に手間を要するため、作業効率が上げにくい。

【0014】

本実施形態においては、靴の外観とその靴の識別情報との対応関係を、畳み込みニューラルネットワーク（Convolutional Neural network）等の深層学習を用いた機械学習によって予測モデルを構築する。そのような識別情報の予測モデルやそのデータのテーブルに基づいて、製造工程で撮影する靴の完成品または部品の画像からその靴の識別情報を特定する。特定された識別情報により、正しい部品同士を組み合わせたり、正しい商品タグやラベルを貼付したりする。

【0015】

このように、事前に靴の外観における特徴と識別情報の対応関係を予測モデルやそのデータのテーブルとして記憶させておく。これにより、靴の製造過程において靴の識別情報の特定を要した場合に、対象となる靴またはその部品の画像を撮影するだけで、予測モデルやそのデータのテーブルに基づいて直ちに精度よく識別情報を特定することができる。

【0016】

図１は、第１実施形態における靴識別システム１００および靴識別装置１０の基本構成を示す機能ブロック図である。本実施形態においては、靴識別システム１００および靴識別装置１０が、事前に靴の外観と識別情報を紐付ける学習を実行する学習装置としての機能と、靴の製造工程において靴またはその部品の外観から靴の識別情報を特定する検索装置としての機能とを兼ね備えた場合を例示する。

【0017】

靴識別システム１００は、上面カメラ１２、側面カメラ１４、靴識別装置１０を含んで構成される。靴識別装置１０は、画像取得部２０、検査処理部３０、データ記憶部４０、識別情報特定部５０を有する。靴識別装置１０は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置、通信装置等からなるコンピュータと、そのコンピュータ上で動作するプログラムの組み合わせで実現されてよい。ただし図１では、画像取得部２０、検査処理部３０、データ記憶部４０、識別情報特定部５０に関して、それぞれ様々なハードウェア構成およびソフトウェア構成の連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

【0018】

上面カメラ１２によって靴１６の上面が撮影され、側面カメラ１４によって靴１６の側面が撮影され、それらの撮影画像をもとに靴識別装置１０が靴１６の品番等の識別情報を特定して外部へ出力する。なお、本図では上面カメラ１２、側面カメラ１４が靴識別装置１０に含まれない例を説明するが、変形例においては靴識別装置１０が上面カメラ１２、側面カメラ１４のうち少なくともいずれかを含む形で構成されてもよい。また、変形例においては、上面カメラ１２、側面カメラ１４の代わりに三次元スキャナー等のスキャナーを用いて靴１６を撮影してもよい。

【0019】

画像取得部２０は、検査対象である靴１６のアッパーおよびソールのうち少なくともいずれかの外観が含まれる検査対象画像を上面カメラ１２、側面カメラ１４から取得する。画像取得部２０は、上面画像取得部２２と側面画像取得部２４を有する。

【0020】

上面画像取得部２２は、外観特徴量を抽出するための検査対象画像として、検査対象を上方から撮影した上面画像を上面カメラ１２から取得する。側面画像取得部２４は、外観特徴量を抽出するための検査対象画像として、検査対象を側方から撮影した側面画像を側面カメラ１４から取得する。ここでいう撮影および画像取得は、靴の識別情報を特定するための予測モデルおよびそのデータのテーブルを構築するためにあらかじめ靴の外観を撮影する場合と、靴の製造工程において靴の識別情報を検索するために対象の靴またはその部品の外観を撮影する場合が含まれる。

【0021】

検査処理部３０は、検査対象画像からアッパーおよびソールのうち少なくともいずれかを含む靴の外観特徴量を抽出する。検査処理部３０は、分別処理部３２、特徴量抽出部３４、寸法推定部３６、寸法補正部３８を有する。検査処理部３０による処理は、靴の識別情報を特定するための予測モデルおよびそのデータのテーブルを構築するためにあらかじめ靴の外観特徴量を抽出する場合と、靴の製造工程において靴の識別情報を検索するために対象の靴またはその部品の外観特徴量を抽出する場合が含まれる。

【0022】

分別処理部３２は、検査対象画像である側面画像からアッパーおよびソールのうち少なくともいずれかを画像認識により分別する。例えば、側面画像に含まれるアッパーおよびソールのそれぞれの輪郭を既知のパターン認識等の技術によって検出し、アッパーおよびソールのそれぞれの領域を特定する。検査対象が完成品の靴であった場合、靴全体の側面画像からアッパーの部分とソールの部分をそれぞれ画像認識して分別する。検査対象が靴の部品段階でのアッパーであった場合、側面画像に基づいてアッパーのみの画像であることを認識する。検査対象が靴の部品段階でのソールであった場合、側面画像に基づいてソールのみの画像であることを認識する。

【0023】

特徴量抽出部３４は、検査対象画像から靴の外観特徴量を抽出するとともに、分別されたアッパーの外観特徴量とソールの外観特徴量とをそれぞれ抽出する。特徴量抽出部３４は、外観特徴量として、例えば形状特徴量と色特徴量を抽出する。形状特徴量としては、例えばＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speed-Upped Robust Feature）、ＡＫＡＺＥ（Accelerated-KAZE）といった既知の特徴量抽出技術を用いてアッパーの外観特徴量とソールの外観特徴量をそれぞれ抽出する。色特徴量としては、検査対象画像からＲＧＢ（Red、Green、Blue）とＨＳＶ（Hue、Satulation、Value）のカラーヒストグラムを取得して特徴量を抽出する。あるいは、特徴量抽出部３４は、畳み込みニューラルネットワークにより形状特徴量および色特徴量を含む外観特徴量を抽出してもよい。

【0024】

分別処理部３２は、検査対象である靴に靴紐装着領域が含まれていた場合に検査対象画像から靴紐装着領域を画像認識により除外する。特徴量抽出部３４は、靴紐装着領域を除外した領域から外観特徴量を抽出する。例えば、パターン認識等の画像認識によって靴の画像から靴紐およびその装着領域を認識し、それら靴紐装着領域以外の領域から外観特徴量を抽出することにより、製造工程における靴紐の装着有無による外観特徴量の抽出結果への影響を低減させる。

【0025】

寸法推定部３６は、検査対象を上方から観察して得られる情報に基づいて検査対象の寸法を推定する。寸法推定部３６は、上面画像から検査対象の輪郭に接する仮想的な包囲線として、長辺が最大値となるような位置に矩形状の境界ボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）を設定し、境界ボックスの長辺および短辺に基づいて検査対象の寸法を推定する。詳細については後述する。

【0026】

寸法補正部３８は、後述する寸法記憶部４６から読み出して特定された靴の高さ寸法と上面画像を撮影する上面カメラ１２の撮影高さに基づき、上面画像から推定された検査対象の寸法を補正する。詳細については後述する。

【0027】

データ記憶部４０は、アッパーおよびソールを含む靴の画像から抽出される外観特徴量と識別情報とを教師データとしてあらかじめ機械学習させた予測モデルのデータを記憶する。データ記憶部４０は、品番記憶部４２、特徴量記憶部４４、寸法記憶部４６を有する。

【0028】

外観特徴量から識別番号を特定するための予測モデルのデータとして、靴品番、色番、部品の品番等の識別情報が品番記憶部４２に記憶され、靴品番ごとの外観特徴量が特徴量記憶部４４に記憶される。靴品番は、完成品としての靴の製品モデルを特定する識別情報である。色番は、一つの靴品番に対して複数種類の色のモデルが用意される場合のその色モデルを特定するための識別情報である。部品の品番は、その靴を構成する部品ごとに定められた、その部品を特定するための識別情報であり、例えばアッパー品番やソール品番が含まれる。本実施形態では部品の品番としてアッパー品番とソール品番を例示するが、その他に靴紐やインソール等の品番がさらに定められていてもよい。

【0029】

特徴量記憶部４４に記憶される外観特徴量は、学習対象の靴画像から抽出され、対応する識別情報とともに教師データとしてあらかじめ機械学習させて予測モデルとして記憶させる外観特徴量である。この外観特徴量は、靴に含まれるアッパーおよびソールのそれぞれを画像認識により分別して抽出される。

【0030】

寸法記憶部４６は、識別情報として、靴の製品識別情報とその靴の寸法種別を示す寸法識別情報との対応関係を記憶する。寸法識別情報は、例えば足長方向の長さの規格であるサイズ寸法種別と、足幅方向の長さの規格である幅寸法種別と、を含む。寸法記憶部４６は、足長方向の長さの設計値およびその誤差範囲の数値（以下、「足長設計値」という）と、足幅方向の長さの設計値およびその誤差範囲の数値（以下、「足幅設計値」という）と、をさらに記憶する。通常、一つの靴品番の靴に対して複数のサイズ展開および複数の幅展開がなされているため、一つの靴品番に複数のサイズ寸法種別と複数の幅寸法種別が対応付けられている。

【0031】

寸法記憶部４６は、靴の識別情報とその靴の高さ寸法との対応関係をさらに記憶する。靴の高さ寸法は、例えば靴全体の高さの設計値（以下、「全体高さ設計値」という）、アッパー高さの設計値（以下、「アッパー高さ設計値」という）、ソール厚みの設計値（以下、「ソール厚み設計値」という）を含む。

【0032】

データ記憶部４０によって記憶される予測モデルのデータは、学習処理部９０によって生成される。学習処理部９０は、製造工程の前段階において、検査処理部３０によって抽出された靴の外観特徴量と、情報入力部８０によって入力されたその靴の識別情報とを教師データとして機械学習させて、靴の外観画像から識別情報を特定する予測モデルを生成する。機械学習としては、畳み込みニューラルネットワーク等の深層学習が用いられる。畳み込みニューラルネットワークにより、検査対象画像から例えばｎ次元（例えば２０４８次元）の特徴量を抽出し、抽出された形状特徴量および色特徴量からなる外観特徴量を表すｎ個（例えば２０４８個）の数値が決定される。学習処理部９０は、外観特徴量のデータと識別情報の対応関係を、靴の品番または色番ごとにテーブルとしてあらかじめ構築し、品番記憶部４２および特徴量記憶部４４に記憶させる。

【0033】

製造工程において検査対象の靴の画像から抽出された外観特徴量が予測モデルに入力されると、その外観特徴量に最も近似する外観特徴量をテーブルから決定し、決定した外観特徴量に対応する識別情報をテーブルから特定する。検査対象の外観特徴量とテーブル上の外観特徴量との照合は、例えば近似最近傍探索の手法を用いて最も近似する外観特徴量を決定するようにしてもよい。変形例においては、例えば総当たりマッチング等の他の手法を用いて外観特徴量同士を比較してもよい。

【0034】

識別情報特定部５０は、データ記憶部４０に記憶されるデータを読み出し、外観特徴量が入力されると識別情報が特定される予測モデルを用いることにより、検査処理部３０で抽出された外観特徴量から検査対象に対応する識別情報を特定する。識別情報特定部５０は、製品特定部５２、寸法特定部５４を有する。

【0035】

製品特定部５２は、品番記憶部４２および特徴量記憶部４４から予測モデルのデータを読み出し、側面画像から抽出された外観特徴量に最も近似する外観特徴量を予測モデルのデータから特定することにより、検査対象に対応する製品識別情報を特定する。製品特定部５２は、例えば近似最近傍探索の手法により、側面画像から抽出された外観特徴量に最も近似する外観特徴量を特徴量記憶部４４から探索する。すなわち製品特定部５２は、側面画像から抽出された外観特徴量と、特徴量記憶部４４に記憶される外観特徴量とを比較して、ベクトル間の距離が最も近い外観特徴量を特定する。製品特定部５２は、特定された外観特徴量に対応付けられた製品識別情報、すなわち靴品番、色番、部品の品番等を、品番記憶部４２から読み出したデータに基づいて特定する。

【0036】

検査対象がアッパー２０２のみ、またはソール２０４のみというように、一部の部品のみであった場合でも、製品特定部５２は、その部品の外観特徴量に最も近似する外観特徴量を特徴量記憶部４４から特定することで、最も近似する部品およびその完成品である靴全体の識別情報を特定することができる。

【0037】

なお、近似最近傍探索は、データ群から対象データに最も近いデータを探索する点で計算コストが比較的小さいが、変形例においては、近似最近傍探索に代えて総当たりマッチングの手法によって特徴量記憶部４４に記憶されるすべての外観特徴量と抽出された外観特徴量との距離計算をしてもよい。

【0038】

寸法特定部５４は、製品特定部５２によって特定された製品識別情報に対応する複数の寸法種別およびその設計値を寸法記憶部４６から読み出し、寸法推定部３６によって推定され、寸法補正部３８によって補正された検査対象の寸法が当てはまる寸法設計値に対応する寸法種別を、検査対象に対応する寸法識別情報として特定する。寸法特定部５４は、製品特定部５２によって特定された製品識別情報に対応する高さ寸法を寸法記憶部４６から読み出し、寸法補正部３８へ送る。寸法補正部３８は、特定された高さ寸法に基づいて、寸法推定部３６によって推定された検査対象の寸法を補正する。

【0039】

識別情報出力部６０は、識別情報特定部５０によって特定された製品識別情報および寸法識別情報を画面表示または音声出力の形で外部へ出力する。

【0040】

以上のように、図１に例示する靴識別装置１０は、靴の外観特徴量と識別情報の関係を学習する学習機能と、靴の外観から識別情報を特定する検索機能の両方を兼ね備えた装置として記載している。変形例においては、上記の学習機能と検索機能を別個の装置としてそれぞれ実現してもよい。その場合、学習機能としての靴識別装置１０では、識別情報特定部５０および識別情報出力部６０のうち少なくともいずれかを備えていなくてよく、検索機能としての靴識別装置１０では、情報入力部８０および学習処理部９０のうち少なくともいずれかを備えていなくてよい。

【0041】

図２は、検査対象の靴を側方から撮影した側面画像を例示する。側面カメラ１４は、検査対象の靴２００を外足側の側方から撮影し、図のような側面画像を画像取得部２０が取得する。靴の外足側とは、靴を上面視した場合に足長方向の中心線より小指側をいう。靴の外足側は、内足側や他の部分と比べて特に周囲から目視されやすい領域であって、品番や色番を特定するための外観的な特徴が多い部位であるため、外観特徴量を抽出する画像として外足側の側面画像が最も相応しい。ただし、内足側の側面画像であっても外観的な特徴が多いため、変形例として内足側の側面画像を用いることとしてもよいし、外足側と内足側の両方の側面画像を用いることとしてもよい。また、左右の靴のうちいずれの靴の画像を用いてもよい。なお、靴２００のサイズ寸法種別や幅寸法種別の特定、すなわち足長方向の長さや足幅方向の長さを側面画像から測定するには撮影角度や撮影位置による誤差が大きいと考えられるため、次図で説明するように靴２００の足長方向の長さや足幅方向の長さは上面画像から測定されるのが好ましい。

【0042】

分別処理部３２は、パターン認識等の画像認識により、靴２００の画像領域をアッパー２０２とソール２０４に分離させ、それぞれの画像領域を特定する。分別処理部３２は、側面画像から、例えばエッジ検出によって靴２００全体の輪郭を認識した上で、アッパー２０２とソール２０４の境界をパターン認識やエッジ検出によって認識し、認識した境界より上側をアッパー２０２と認識し、下側をソール２０４と認識してもよい。

【0043】

分別処理部３２は、パターン認識等の画像認識により、さらに靴紐装着領域２０６を特定し、アッパー２０２の画像領域を靴紐装着領域２０６とそれ以外の領域に分別する。分別処理部３２は、側面画像におけるアッパー２０２の画像領域から、例えば靴紐の部分をパターン認識やエッジ検出により認識し、さらに鳩目孔やその周辺の領域を含めて靴紐装着領域２０６として認識してもよい。分別処理部３２は、認識した靴紐装着領域２０６をアッパー２０２の画像領域から除外し、アッパー２０２の画像領域のうち靴紐装着領域２０６を除外した部分を外観特徴量の抽出対象とする。また、靴紐装着領域の除外方法として、例えば靴紐部分の画像を加工してアッパー２０２の画像領域から除去する手法を用いてもよい。なお、側面画像に含まれる靴紐の面積は、上面画像に含まれる靴紐の面積より小さいため、上面画像より側面画像の方が靴紐装着領域の除外がしやすい。このように、靴紐装着領域以外の領域から外観特徴量を抽出することにより、製造工程における靴紐の装着有無による外観特徴量の抽出結果への影響を低減させる。

【0044】

特徴量抽出部３４は、靴紐装着領域２０６を除外したアッパー２０２の画像領域と、ソール２０４の画像領域のそれぞれから別個に形状や色等の外観特徴量を抽出する。なお、変形例においては、分別処理部３２が靴紐装着領域２０６を除外しないアッパー２０２の画像領域から特徴量抽出部３４が外観特徴量を抽出する仕様としてもよい。別の変形例においては、分別処理部３２がアッパー２０２とソール２０４を分別せず、特徴量抽出部３４が靴２００全体の画像領域から外観特徴量を抽出する仕様としてもよい。

【0045】

図３は、検査対象の靴を上方から撮影した上面画像を例示する。上面カメラ１２は、検査対象の靴２００を上方から撮影し、図のような上面画像を画像取得部２０が取得する。寸法推定部３６は、上面画像から検査対象の靴２００の輪郭に接する仮想的な包囲線として、長辺が最大値となるような位置および角度で矩形状の境界ボックス２１０を設定する。寸法推定部３６は、境界ボックス２１０の長辺２１１および短辺２１３に基づいて検査対象の寸法として、足長方向の長さ２１２と足幅方向の長さ２１４を推定する。上面画像は、靴２００の足長方向の長さ２１２と足幅方向の長さ２１４の両方を一度に検出でき、これらの長さを一度に測定するのに適する。また、靴２００の位置に多少のばらつきがあって上面カメラ１２からの撮影角度が変わっても、上面画像から測定される長さに生じ得る誤差が小さい点も有利である。

【0046】

ただし、上面カメラ１２の高さが一定であっても、ソール２０４の厚みやアッパー２０２の高さが変われば上面カメラ１２から靴２００までの近さも変わるため、上面画像上における長さの尺度も変わって長さの測定に影響が出るおそれがある。そこで、寸法記憶部４６は、品番ごとにソール２０４の厚みやアッパー２０２の高さといった、靴２００の高さ寸法の情報を品番等の識別情報と対応させて記憶する。寸法補正部３８は、識別情報が特定された靴２００の高さ寸法の情報を寸法記憶部４６から読み出し、上面カメラ１２の高さと靴２００の高さ寸法の比に基づいて画像上の足長方向の長さ２１２および足幅方向の長さ２１４を補正する。画像上の長さを補正して靴２００の実物の寸法を求める方法は、例えば次式で示す。
Ａ＝Ｂ×ｐ×（Ｘ－Δｘ）÷Ｘ
Ａ：実物の寸法
Ｂ：境界ボックスの長辺または短辺のピクセル数
ｐ：距離Ｘにおける１ピクセルの寸法
Ｘ：上面カメラ１２と靴２００の設置面との距離
Δｘ：ソールの厚みおよびアッパーの高さ

【0047】

なお、変形例として、靴２００の高さ寸法の情報を用いた補正ではなく、上面カメラ１２の撮影位置をより高くして上面カメラ１２から靴２００までの距離を十分取ることによって、靴２００の高さ寸法の違いによる測定への影響を小さくする仕様でもよい。

【0048】

通常、一つの品番の靴に対して複数のサイズ展開および幅展開がなされているため、一つの靴品番に複数のサイズ寸法種別と、複数の幅寸法種別と、それぞれの長さの設計値およびその誤差範囲が対応付けられている。寸法特定部５４は、寸法推定部３６によって推定され、寸法補正部３８によって補正された足長方向および足幅方向の長さと、寸法記憶部４６に記憶される足長と足幅の長さの設計値およびその誤差範囲とを比較する。寸法特定部５４は、測定された足長と足幅の長さが、いずれの足長と足幅の設計値およびその誤差範囲に含まれるかを判定し、いずれのサイズ寸法種別といずれの幅寸法種別に該当するかを特定する。

【0049】

図４は、靴２００の高さ寸法を示す。矢印２２０で示す部分が、靴２００全体の高さであり、矢印２２２で示す部分がアッパー２０２の高さであり、矢印２２４で示す部分がソール２０４の厚みである。寸法記憶部４６には、靴の品番ごとの標準的な高さ寸法として、靴２００全体の高さ、アッパー２０２の高さ、ソール２０４の厚みのそれぞれが記憶される。検査対象が靴２００全体であった場合は全体の高さの情報がΔｘとして参照される。検査対象が部品であるアッパー２０２のみであった場合はアッパー２０２の高さの情報がΔｘとして参照される。検査対象が部品であるソール２０４のみであった場合はソール２０４の厚みの情報がΔｘとして参照される。

【0050】

図５は、靴品ごとの品番、色番、外観特徴量、高さ設計値等が定められた製品別データテーブルを模式的に示す。データ記憶部４０に記憶される製品別データテーブル３００において、第１欄３０２にはデータ番号が示され、第２欄３０４には靴品番が示され、第３欄３０６には色番が示される。第４欄３０８には、靴ごとに抽出された複数の外観特徴量が示される。第５欄３１０には全体高さ設計値が示され、第６欄３１２にはアッパー高さ設計値が示され、第７欄３１４にはソール厚み設計値が示される。

【0051】

例えば、第１欄３０２のデータ番号「１」～「３」のデータは、靴品番「１０１１Ａ００５」が製品識別情報として第２欄３０４に定められている。データ番号「１」の靴に対しては第３欄３０６の色番として「１００」が定められ、データ番号「２」の靴に対しては色番として「１５０」が定められ、データ番号「３」の靴に対しては色番として「２００」が定められている。

【0052】

第４欄３０８には、外観特徴量として、「特徴量００１」から「特徴量ｎ」までのｎ個の数値が定められる。特徴量は、例えば「１．０２２７」「－０．０４２８４９」といった個々の特徴量を示す数値で表される。なお、本図においては便宜上、一つの靴品番に対してｎ個の特徴量を１セット分だけ対応するように示しているが、一つの靴品番に対して複数の側面画像から抽出される複数セットの外観特徴量を対応付けておいてもよい。例えば、左右一対の靴のそれぞれに対して側面画像から外観特徴量を抽出してテーブルに定めてもよい。また、一つの靴品番に対して学習する側面画像の数を増やすほど、すなわち一つの靴品番に対応付けられる外観特徴量のセット数が多いほど、靴の特定精度も高めることができる。また、アッパー２０２の画像領域から抽出した外観特徴量とソール２０４の画像領域から抽出した外観特徴量を組み合わせることで、完成品である靴全体の外観特徴量として第４欄３０８に定めてもよい。あるいは、完成品である靴全体から抽出した外観特徴量と、アッパー２０２およびソール２０４の画像領域から抽出したそれぞれの外観特徴量とを区別して第４欄３０８に定めてもよい。

【0053】

第５欄３１０には全体高さ設計値として、靴全体の高さの設計値およびその誤差範囲の数値が定められる。第６欄３１２にはアッパー高さ設計値として、アッパー２０２の高さの設計値およびその誤差範囲の数値が定められる。第７欄３１４にはソール厚み設計値として、ソール２０４の厚みの設計値およびその誤差範囲の数値が定められる。

【0054】

寸法補正部３８は、製品特定部５２によって特定された靴品番に対応する全体高さ設計値、アッパー高さ設計値、ソール厚み設計値のうち少なくともいずれかを参照して、寸法推定部３６によって推定された検査対象の足長および足幅の長さを補正する。

【0055】

なお、製品別データテーブル３００には、靴品番ごとの仕上げ規格についてさらに定められていてもよい。また、本図の製品別データテーブル３００は、便宜上、一体的なテーブルの形で例示するが、例えば第４欄３０８の外観特徴量のデータを別個のテーブルで構成したり、第５欄３１０、第６欄３１２、第７欄３１４の高さ寸法のデータを別個のテーブルで構成したりする等、複数のテーブルの組み合わせの形で構成してもよい。

【0056】

図６は、靴品番ごとに寸法やその種別、対応する部品の品番が定められたサイズ別データテーブルを模式的に示す。本図では、図５に示す靴品番「１０１１Ａ００５」のサイズ展開および幅展開に対応する複数のサイズ寸法種別と複数の幅寸法種別等が示されるテーブルを例示している。データ記憶部４０に記憶されるサイズ別データテーブル３２０において、第１欄３２２にはデータ番号が示され、第２欄３２４には靴品番が示され、第３欄３２５には色番が示される。第４欄３２６にはサイズ寸法種別が示され、第５欄３２８には足長設計値が示され、第６欄３３０には幅寸法種別が示され、第７欄３３２には足幅設計値が示される。第８欄３３４にはアッパー品番が示され、第９欄３３６にはソール品番が示される。

【0057】

例えば、第１欄３２２のデータ番号「１」～「３」に対しては、靴品番「１０１１Ａ００５」が識別情報として第２欄３２４に定められ、色番「１００」が識別情報として第３欄３２５に定められている。データ番号「１」～「３」の靴に対しては第４欄３２６のサイズ寸法種別として２３．０ｃｍの規格を示す「２３０」が定められ、第５欄３２８の足長設計値としての足長の長さおよびその誤差範囲の数値が定められている。またデータ番号「１」～「３」に対してそれぞれ第６欄３３０の幅寸法種別として「Ｓｌｉｍ」「Ｍｉｄｄｌｅ」「Ｗｉｄｅ」の３種別が定められ、第７欄３３２の足幅設計値としてそれぞれの足幅の長さおよびその誤差範囲の数値が定められている。

【0058】

寸法特定部５４は、製品特定部５２によって特定された靴品番に対応する複数の寸法種別およびその設計値を参照して、寸法補正部３８によって補正された検査対象の寸法（すなわち足長および足幅の長さ）が当てはまる足長設計値および足幅設計値を特定し、特定した足長設計値および足幅設計値に対応するサイズ寸法種別および幅寸法種別を、検査対象に対応する寸法識別情報として特定する。

【0059】

データ番号「１」～「３」の靴に対してそれぞれ、アッパー品番として「１０１１Ａ００５Ｕ１１Ｓ」「１０１１Ａ００５Ｕ１１Ｍ」「１０１１Ａ００５Ｕ１１Ｗ」が定められている。アッパー品番は、例えば靴品番「１０１１Ａ００５」とアッパー部品であることを示す「Ｕ」の文字と、１番目の色番に対応することを示す「１」の数字と、１番目のサイズ寸法種別に対応することを示す「１」の数字と、「Ｓｌｉｍ」の幅寸法種別に対応することを示す「Ｓ」の文字とで構成される。これにより、アッパーの種類だけでなく、その完成品としての靴品番と色番、サイズ寸法種別、幅寸法種別を同時に特定することができる。

【0060】

データ番号「１」～「３」の靴に対してそれぞれ、ソール品番として「１０１１Ａ００５Ｓ１１Ｓ」「１０１１Ａ００５Ｓ１１Ｍ」「１０１１Ａ００５Ｓ１１Ｗ」が定められている。ソール品番は、例えば靴品番「１０１１Ａ００５」とソール部品であることを示す「Ｓ」の文字と、１番目の色番に対応することを示す「１」の数字と、１番目のサイズ寸法種別に対応することを示す「１」の数字と、「Ｓｌｉｍ」の幅寸法種別に対応することを示す「Ｓ」の文字とで構成される。これにより、ソールの種類だけでなく、その完成品としての靴品番と色番、サイズ寸法種別、幅寸法種別を同時に特定することができる。

【0061】

本実施形態のサイズ別データテーブル３２０では部品の品番としてアッパー品番とソール品番を例示するが、その他に靴紐やインソール等の部品の品番がさらに定められていてもよい。

【0062】

図７は、外観特徴量と識別情報の学習過程を示すフローチャートである。画像取得部２０が学習対象である靴２００の上面画像と側面画像を取得し（Ｓ１０）、分別処理部３２が靴２００の側面画像においてアッパー２０２とソール２０４を分別し（Ｓ１２）、分別処理部３２がソール２０４の画像領域から靴紐装着領域２０６を除外し（Ｓ１４）、特徴量抽出部３４がアッパー２０２の画像領域とソール２０４の画像領域から外観特徴量を抽出する（Ｓ１６）。作業者が情報入力部８０を介して学習対象である靴２００の識別情報や寸法等のデータを入力し（Ｓ１８）、学習処理部９０が靴２００の外観特徴量と識別情報を教師データとして学習して予測モデルのデータを生成し（Ｓ２０）、生成された予測モデルのデータがデータ記憶部４０に格納される（Ｓ２２）。

【0063】

図８は、製造工程において検査対象画像をもとに識別情報を特定する過程を示すフローチャートである。画像取得部２０が検査対象である靴２００の上面画像と側面画像を取得し（Ｓ４０）、分別処理部３２が靴２００の側面画像においてアッパー２０２とソール２０４を分別し（Ｓ４２）、分別処理部３２がソール２０４の画像領域から靴紐装着領域２０６を除外し（Ｓ４４）、特徴量抽出部３４がアッパー２０２の画像領域とソール２０４の画像領域から外観特徴量を抽出する（Ｓ４６）。抽出された外観特徴量と品番記憶部４２に記憶された多数の外観特徴量とのベクトル間距離を製品特定部５２が計算し（Ｓ４８）、距離が最小である外観特徴量に対応する品番を製品識別情報として特定し（Ｓ５０）、その品番に対応する高さ寸法を寸法記憶部４６から読み出す（Ｓ５２）。寸法推定部３６が上面画像に境界ボックスを設定し（Ｓ５４）、長辺と短辺の長さにより足長と足幅の長さを推定し（Ｓ５６）、品番に対応する高さ寸法に基づいて長さを補正する（Ｓ５８）。寸法特定部５４は、補正された足長と足幅の長さと品番に基づいて、寸法記憶部４６に記憶されたサイズ寸法種別と幅寸法種別を特定する（Ｓ６０）。識別情報出力部６０が品番、色番、サイズ寸法種別、幅寸法種別といった識別情報を画面表示し、音声で出力する（Ｓ６２）。

【0064】

本実施形態においては、靴識別装置１０によって出力される製品識別情報および寸法識別情報に基づき、靴の製造工程における作業者を支援する。作業者は、製造工程における靴の外観を撮影するだけで、その靴の品番や色番号、部品の品番といった識別情報や仕上げ規格等の情報を画面表示や音声出力によって容易に把握することができ、製造工程において部品種類や加工方法等の確認作業を軽減でき、また、製造工程上の誤認やミスを低減できる。

【0065】

（第２実施形態）
本実施形態においては、靴識別装置１０によって出力される識別情報に基づいて、製造工程における所定の駆動要素の動作を制御する点で、特定された識別情報を作業者へ視覚的または聴覚的な情報形式で出力する第１実施形態と相違する。以下、第１実施形態との相違点を中心に説明し、共通点の説明を省略する。

【0066】

本実施形態では、産業用ロボットによる靴の製造を前提とする。産業用ロボットによる加工等の動作は、靴製品の品番によって異なる。したがって、製造する靴の品番が変わればロボットの動作プログラムも切り替える必要がある。本実施形態によれば、外観から特定される品番等の識別情報に基づいて自動的に加工動作のためのロボットの動作プログラムを切り替える。加工動作の例としては、接着剤や処理剤の塗布動作、バフ動作、吊り込み、貼り合わせや圧着、縫製や刺繍、検査、搬送等があり、それぞれ対応する駆動要素の動作制御用ロボットの動作プログラムを切り替える。

【0067】

図９は、第２実施形態における靴識別システム１００および靴識別装置１０の基本構成を示す機能ブロック図である。本実施形態の靴識別システム１００は、制御部７０を含む。識別情報特定部５０によって特定された製品識別情報および寸法識別情報を識別情報出力部６０が制御部７０に出力する。制御部７０は、靴の製造工程における所定の駆動要素の動作を、制御部７０から出力された識別情報に基づいて制御する。制御部７０は、例えば駆動要素の動作を制御するためのＰＬＣ（Programable Logic Controller）である。

【0068】

図１０は、第２実施形態の製造工程において検査対象画像をもとに識別情報を特定する過程を示すフローチャートである。本図のＳ４０～Ｓ６０までは第１実施形態の図８におけるＳ４０～Ｓ６０と共通する。識別情報出力部６０が品番、色番、サイズ寸法種別、幅寸法種別といった識別情報を制御部７０へ出力し（Ｓ６２）、出力された識別情報に基づいて製造工程における駆動要素の動作が制御部７０により制御される（Ｓ６４）。

【0069】

なお、本実施形態においては、識別情報出力部６０が出力する識別情報に基づいて制御部７０が製造工程における駆動要素の動作を制御する例を説明した。変形例においては、品番に応じた動作プログラムまたはその設定パラメータを識別情報の代わりにデータ記憶部４０に記憶させておき、外観特徴量に応じて特定された動作プログラムまたはその設定値によって製造工程における駆動要素の動作が制御される仕様としてもよい。

【0070】

第１，２実施形態における靴識別システム１００ないし靴識別装置１０は、靴の製造工程だけでなく、靴の販売店員による使用や消費者による使用にも応用することができる。以下、そうした応用例を説明する。

【0071】

（第３実施形態）
本実施形態においては、靴識別装置１０によって出力される識別情報に基づいて、靴の販売店舗内での靴の品番等の検索に利用する点で、靴の製造工程で利用される第１，２実施形態と相違する。以下、第１，２実施形態との相違点を中心に説明し、共通点の説明を省略する。

【0072】

靴の販売店舗において、靴の試着等のために複数の靴箱から取り出した複数種類の靴をそれぞれ正しい靴箱に戻すには、靴の品番等を正しく把握する必要がある。品番等の正確な把握に手間取った場合、正しい靴箱へ戻す作業が停滞することが考えられる。そこで、靴識別装置１０を用いて靴の外観を撮影するだけで正しい品番等の識別情報を画面表示または音声出力によって店員に素早く教示することができる。

【0073】

本実施形態の場合、データ記憶部４０には、品番等の識別情報以外に、製品名や靴箱を特定するための識別情報をさらに記憶させてもよく、識別情報特定部５０によって特定した製品名や靴箱の識別情報を識別情報出力部６０が出力してもよい。

【0074】

以上の実施形態により具体化される発明を一般化すると、以下の技術的思想が導かれる。上述の課題を解決するために、本発明のある態様の靴識別装置は、アッパーおよびソールを含む靴の画像から抽出される外観特徴量と識別情報とを教師データとしてあらかじめ機械学習させた予測モデルを記憶するデータ記憶部と、検査対象である靴のアッパーおよびソールのうち少なくともいずれかの外観が含まれる検査対象画像を取得する画像取得部と、検査対象画像からアッパーおよびソールのうち少なくともいずれかを含む靴の外観特徴量を抽出する検査処理部と、予測モデルを用いることにより、検査処理部で抽出された外観特徴量から検査対象に対応する識別情報を特定する識別情報特定部と、特定された識別情報を出力する識別情報出力部と、を備える。

【0075】

この態様によると、靴のアッパーとソールの少なくともいずれかの外観特徴量を抽出するため、アッパーとソールの一方、すなわち一部の部品のみを検索対象とした場合でも精度よく完成品を識別することができる。

【0076】

データ記憶部は、予測モデルとして、靴に含まれるアッパーおよびソールのそれぞれを画像認識により分別して抽出される外観特徴量と識別情報とを教師データとしてあらかじめ機械学習させたモデルを記憶し、検査処理部は、検査対象画像からアッパーおよびソールのうち少なくともいずれかを画像認識により分別して外観特徴量を抽出してもよい。

【0077】

この態様によると、靴のアッパーとソールを画像認識により分別した上で外観特徴量を抽出するため、アッパーとソールの一方、すなわち一部の部品のみを検索対象とした場合でも精度よく完成品を識別することができる。

【0078】

画像取得部は、外観特徴量を抽出するための検査対象画像として、検査対象を側方から撮影した側面画像を取得してもよい。この態様によると、外観的な特徴が多く含まれる側面画像を撮影するだけで、容易に精度よく識別情報を特定することができる。

【0079】

データ記憶部は、識別情報として、靴の製品識別情報とその靴の寸法種別を示す寸法識別情報とを記憶し、検査処理部は、検査対象を上方から観察して得られる情報に基づいて検査対象の寸法を推定し、識別情報特定部は、側面画像から抽出された外観特徴量から検査対象に対応する製品識別情報を特定するとともに、推定される寸法および特定された製品識別情報に基づいて検査対象に対応する寸法識別情報を特定してもよい。この態様によると、足長方向と足幅方向の長さを一度に測定できる上面画像を撮影するだけで、容易に精度よくサイズや幅の情報を特定することができる。

【0080】

画像取得部は、検査対象画像として、検査対象を上方から撮影した上面画像をさらに取得し、検査処理部は、上面画像から検査対象の輪郭に接する仮想的な包囲線として、長辺が最大値となるような位置に矩形状の境界ボックスを設定し、境界ボックスの長辺および短辺に基づいて検査対象の寸法を推定し、識別情報特定部は、側面画像から抽出された外観特徴量から検査対象に対応する製品識別情報を特定するとともに、推定される寸法および特定された製品識別情報に基づいて検査対象に対応する寸法識別情報を特定してもよい。この態様によると、足長方向と足幅方向の長さを一度に測定できる上面画像を撮影するだけで、容易に精度よくサイズや幅の情報を特定することができる。

【0081】

データ記憶部は、靴の識別情報とその靴の高さ寸法との対応関係をさらに記憶し、識別情報特定部は、側面画像から抽出された外観特徴量から検査対象に対応する製品識別情報を特定するとともにその製品識別情報に対応する高さ寸法をさらに特定し、検査処理部は、特定された高さ寸法と上面画像の撮影高さに基づき、上面画像から推定された検査対象の寸法を補正してもよい。この態様によると、推定した寸法を靴の個体差に応じて容易に精度よく補正することができる。

【0082】

検査処理部は、検査対象である靴に靴紐装着領域が含まれていた場合に検査対象画像から靴紐装着領域を画像認識により除外して外観特徴量を抽出してもよい。靴紐の装着有無の違いによる特徴量抽出への影響を低減することができる。

【0083】

靴の製造工程における所定の駆動要素を出力された識別情報に基づいて制御する制御部をさらに備えてもよい。この態様によると、外観から識別情報を特定することで容易に製造工程の一部を自動制御でき、作業者の知識や能力に依存した工程を減らして製造ミスを低減できる。

【0084】

本発明の別の態様は、靴識別方法である。この方法は、検査対象である靴のアッパーおよびソールのうち少なくともいずれかの外観が含まれる検査対象画像を取得する過程と、検査対象画像からアッパーおよびソールのうち少なくともいずれかを含む靴の外観特徴量を抽出する過程と、アッパーおよびソールを含む靴の画像から抽出される外観特徴量と識別情報とを教師データとしてあらかじめ機械学習させた予測モデルを読み出す過程と、予測モデルを用いることにより、検査対象画像から抽出された外観特徴量から検査対象に対応する識別情報を特定する過程と、特定された識別情報を出力する過程と、を備える。

【0085】

この態様によると、靴のアッパーとソールの少なくともいずれかの外観特徴量を抽出するため、アッパーとソールの一方、すなわち一部の部品のみを検索対象とした場合でも精度よく完成品を識別することができる。

【符号の説明】

【0086】

１０ 靴識別装置、 １２ 上面カメラ、 １４ 側面カメラ、 １６ 靴、 ２０ 画像取得部、 ２２ 上面画像取得部、 ２４ 側面画像取得部、 ３０ 検査処理部、 ３２ 分別処理部、 ３４ 特徴量抽出部、 ３６ 寸法推定部、 ３８ 寸法補正部、 ４０ データ記憶部、 ４２ 品番記憶部、 ４４ 特徴量記憶部、 ４６ 寸法記憶部、 ５０ 識別情報特定部、 ５２ 製品特定部、 ５４ 寸法特定部、 ６０ 識別情報出力部、 ７０ 制御部、 ８０ 情報入力部、 ９０ 学習処理部、 １００ 靴識別システム、 ２００ 靴、 ２０２ アッパー、 ２０４ ソール、 ２０６ 靴紐装着領域、 ２１０ 境界ボックス。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】