特許 7607656 画像処理装置、機械学習装置、及び、推論装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-19

(45)【発行日】2024-12-27

(54)【発明の名称】画像処理装置、機械学習装置、及び、推論装置

(51)【国際特許分類】

   D04B 35/12 20060101AFI20241220BHJP

   B65H 63/08 20060101ALI20241220BHJP

【ＦＩ】

D04B35/12

B65H63/08 C

【請求項の数】 5

(21)【出願番号】P 2022528513

(86)(22)【出願日】2021-05-17

(86)【国際出願番号】 JP2021018531

(87)【国際公開番号】W WO2021246139

(87)【国際公開日】2021-12-09

【審査請求日】2024-02-08

(31)【優先権主張番号】P 2020096081

(32)【優先日】2020-06-02

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000151221

【氏名又は名称】株式会社島精機製作所

(74)【代理人】

【識別番号】100214248

【弁理士】

【氏名又は名称】青山 純

(74)【代理人】

【識別番号】100214260

【弁理士】

【氏名又は名称】相羽 昌孝

(72)【発明者】

【氏名】下山 恭生

【審査官】▲高▼辻 将人

(56)【参考文献】

【文献】特開平０８－２７７０６９（ＪＰ，Ａ）

【文献】中国特許出願公開第１０９１６２０１６（ＣＮ，Ａ）

【文献】特開２０００－０５３３２６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｄ０４Ｂ ３／００－１９／００

Ｄ０４Ｂ２３／００－３９／０８

Ｂ６５Ｈ５５／００－５５／０４

Ｂ６５Ｈ６１／００－６３／０８

(57)【特許請求の範囲】

【請求項1】

編機の上又は周辺に配置された任意数の糸コーンを含む撮像画像を取得する取得部と、
前記取得部により取得された前記撮像画像に対して画像処理を行うことにより、前記撮像画像に含まれる前記任意数の糸コーンの状態を検出する糸コーン状態検出部と、を備え、
前記糸コーン状態検出部は、
任意数の糸コーンを含む撮像画像と当該撮像画像に含まれる前記任意数の糸コーンの各々を囲む任意数の領域との相関関係を機械学習させた第１の学習済みモデルに、前記取得部により取得された前記撮像画像を入力することにより、当該撮像画像に含まれる前記任意数の糸コーンの各々を囲む任意数の領域を特定し、
１つの糸コーンを含む撮像画像と当該撮像画像に含まれる前記１つの糸コーンの糸残量との相関関係を機械学習させた第２の学習済みモデルに、前記取得部により取得された前記撮像画像のうち前記任意数の領域の各々で規定される、１つの糸コーンを含む撮像画像をそれぞれ入力することにより、当該撮像画像に含まれる前記１つの糸コーンの糸残量をそれぞれ検出する、
画像処理装置。

【請求項2】

編機の上又は周辺に配置された任意数の糸コーンを含む撮像画像を取得する取得部と、
前記取得部により取得された前記撮像画像に対して画像処理を行うことにより、前記撮像画像に含まれる前記任意数の糸コーンの状態を検出する糸コーン状態検出部と、を備え、
前記糸コーン状態検出部は、
前記画像処理を行うことにより、前記撮像画像に含まれる前記任意数の糸コーンと複数の張力付与装置との接続関係を検出する、
画像処理装置。

【請求項3】

前記糸コーン状態検出部は、
任意数の糸コーンを含む撮像画像と当該撮像画像に含まれる前記任意数の糸コーン及び複数の張力付与装置の接続関係との相関関係を機械学習させた学習済みモデルに、前記取得部により取得された前記撮像画像を入力することにより、当該撮像画像に含まれる前
記任意数の糸コーンと前記複数の張力付与装置との接続関係を検出する、
請求項２に記載の画像処理装置。

【請求項4】

編機の上又は周辺に配置された任意数の糸コーンと複数の張力付与装置との接続関係を検出するために用いられる機械学習装置であって、
任意数の糸コーンを含む撮像画像からなる入力データと、前記入力データに対応付けられ、当該撮像画像に含まれる前記任意数の糸コーン及び複数の張力付与装置の接続関係からなる出力データとで構成される学習用データセットを複数組記憶する学習用データセット記憶部と、
前記学習用データセットが複数組入力されることで、前記入力データと前記出力データとの相関関係を推論する学習モデルを学習する機械学習部と、
前記機械学習部により学習された前記学習モデルを記憶する学習済みモデル記憶部と、を備える、
機械学習装置。

【請求項5】

編機の上又は周辺に配置された任意数の糸コーンと複数の張力付与装置との接続関係を検出するために用いられる推論装置であって、
前記推論装置は、メモリと、少なくとも１つのプロセッサとを備え、
前記少なくとも１つのプロセッサは、
任意数の糸コーンを含む撮像画像が入力される処理と、
前記撮像画像が入力されると、当該撮像画像に含まれる前記任意数の糸コーンと複数の張力付与装置との接続関係を推論する処理と、を実行するように構成される、
推論装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、機械学習装置、及び、推論装置に関するものである。

【背景技術】

【0002】

編機では、編糸が巻回された複数の糸コーンが編機の上又は周辺に配置され、編地（例えば、ニット製品等）を編成する編成動作にて各種の糸コーンが使用される。編機の作業者は、編成する編地に応じて色や太さ等の種類が異なる編糸の糸コーンに交換し、糸コーンの編糸が無くなった場合には、編機の編成動作が停止し、生産性が低下するため、目視により糸コーンの糸残量を監視する必要があった。また、糸コーンから繰り出される編糸は、例えば、編機の装置上部に並設された複数の張力付与装置のいずれかに接続されて、その張力付与装置を経由して所定の張力が付与された状態で編針に供給される。編機の使用者は、所望の編地を編成するために、糸コーンから繰り出される編糸を所定の張力付与装置に正しく接続することが求められるが、編糸を介して糸コーンと張力付与装置とを接続する作業において作業ミスが発生することがあった。

【0003】

糸コーンの糸残量を検出する装置としては、各種の検出方式を採用した糸残量検出装置が提案されている。例えば、特許文献１には、糸コーンの側面に光を照射し、その反射光を受光して糸残量を検出する糸残量検出装置が開示されている。また、特許文献２には、糸コーンの底面に向けて照射した光が、糸コーンの糸径が小さくなった場合に糸コーンの側面を通過して、奥側の反射用ミラーに反射した反射光を受光センサで受光することで、糸残量を検出する糸残量検出装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平８－２７７０６９号公報

【文献】特許第２８７１３１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１及び特許文献２にそれぞれ開示された糸残量検出装置では、個々の糸コーンの近傍に、光学式センサや反射用ミラー等の光学系部品を配置する必要があるため、光学系部品の部品点数が多くなり、糸コーンが密集して配置される環境においては、光学系部品の配置スペースが限定され、組立時の光路調整も困難であった。また、糸残量を検出するには、光学系部品に対する糸コーンの相対的な配置関係が一意に決まっているため、作業者により糸コーンが任意の位置に配置された場合は当然ながら、糸コーンの配置が光学系部品の検出範囲から少しでも外れただけで糸残量を検出することができず、作業性が悪く汎用性に欠けていた。また、特許文献１及び特許文献２にそれぞれ開示された糸残量検出装置では、糸コーンから繰り出される編糸がいずれの張力付与装置に接続されているか、すなわち、糸コーンと張力付与装置との接続関係を検出することができなかった。

【0006】

本発明は、上述した課題に鑑み、編機の上又は周辺に配置された任意数の糸コーンについての糸残量や張力付与装置との接続関係、配置された位置といった糸コーンの状態を簡単な構成で検出可能であり、作業性及び汎用性が高い画像処理装置、機械学習装置、及び、推論装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明の第１の態様に係る画像処理装置（４Ａ、４Ｂ、４Ｃ）は、
編機の上又は周辺に配置された任意数の糸コーンを含む撮像画像を取得する取得部（４０）と、
前記取得部（４０）により取得された前記撮像画像に対して画像処理を行うことにより、前記撮像画像に含まれる前記任意数の糸コーンの状態を検出する糸コーン状態検出部（４１）と、を備える、

【0008】

また、上記目的を達成するために、本発明の第２の態様に係る機械学習装置（６Ａ）は、
編機の上又は周辺に配置された任意数の糸コーンの糸残量を検出するために用いられる機械学習装置（６Ａ）であって、
任意数の糸コーンを含む撮像画像からなる入力データと、前記入力データに対応付けられ、当該撮像画像に含まれる前記任意数の糸コーンの糸残量からなる出力データとで構成される学習用データセットを複数組記憶する学習用データセット記憶部（６１）と、
前記学習用データセットが複数組入力されることで、前記入力データと前記出力データとの相関関係を推論する学習モデルを学習する機械学習部と、
前記機械学習部により学習された前記学習モデルを記憶する学習済みモデル記憶部と、を備える。

【0009】

また、上記目的を達成するために、本発明の第３の態様に係る推論装置（５Ａ）は、
編機の上又は周辺に配置された任意数の糸コーンの糸残量を検出するために用いられる推論装置（５Ａ）であって、
前記推論装置は、メモリと、少なくとも１つのプロセッサとを備え、
前記少なくとも１つのプロセッサは、
任意数の糸コーンを含む撮像画像が入力される処理と、
前記撮像画像が入力されると、当該撮像画像に含まれる前記任意数の糸コーンの糸残量を推論する処理と、を実行するように構成される。

【0010】

また、上記目的を達成するために、本発明の第４の態様に係る機械学習装置（６Ｂ１）は、
編機の上又は周辺に配置された任意数の糸コーンの状態を検出するために用いられる機械学習装置（６Ｂ１）であって、
任意数の糸コーンを含む撮像画像からなる入力データと、前記入力データに対応付けられ、当該撮像画像に含まれる前記任意数の糸コーンの各々を囲む任意数の領域を規定する領域情報からなる出力データとで構成される学習用データセットを複数組記憶する学習用データセット記憶部（６１）と、
前記学習用データセットが複数組入力されることで、前記入力データと前記出力データとの相関関係を推論する学習モデルを学習する機械学習部（６２）と、
前記機械学習部（６２）により学習された前記学習モデルを記憶する学習済みモデル記憶部（６３）と、を備える。

【0011】

また、上記目的を達成するために、本発明の第５の態様に係る推論装置（５Ｂ１）は、
編機の上又は周辺に配置された任意数の糸コーンの状態を検出するために用いられる推論装置（５Ｂ１）であって、
前記推論装置は、メモリと、少なくとも１つのプロセッサとを備え、
前記少なくとも１つのプロセッサは、
任意数の糸コーンを含む撮像画像が入力される処理と、
前記撮像画像が入力されると、当該撮像画像に含まれる前記任意数の糸コーンの各々を囲む任意数の領域を規定する領域情報を推論する処理と、を実行するように構成される。

【0012】

また、上記目的を達成するために、本発明の第６の態様に係る機械学習装置（６Ｂ２）は、
編機の上又は周辺に配置された任意数の糸コーンの糸残量を検出するために用いられる機械学習装置（６Ｂ２）であって、
１つの糸コーンを含む撮像画像からなる入力データと、前記入力データに対応付けられ、当該撮像画像に含まれる前記１つの糸コーンの糸残量からなる出力データとで構成される学習用データセットを複数組記憶する学習用データセット記憶部（６１）と、
前記学習用データセットが複数組入力されることで、前記入力データと前記出力データとの相関関係を推論する学習モデルを学習する機械学習部（６２）と、
前記機械学習部（６２）により学習された前記学習モデルを記憶する学習済みモデル記憶部（６３）と、を備える。

【0013】

また、上記目的を達成するために、本発明の第７の態様に係る推論装置（５Ｂ２）は、
編機の上又は周辺に配置された任意数の糸コーンの糸残量を検出するために用いられる推論装置（５Ｂ２）であって、
前記推論装置は、メモリと、少なくとも１つのプロセッサとを備え、
前記少なくとも１つのプロセッサは、
１つの糸コーンを含む撮像画像が入力される処理と、
前記撮像画像が入力されると、当該撮像画像に含まれる前記１つの糸コーンの糸残量を推論する処理と、を実行するように構成される、
推論装置（５Ｂ２）。

【0014】

また、上記目的を達成するために、本発明の第８の態様に係る機械学習装置（６Ｃ）は、
編機の上又は周辺に配置された任意数の糸コーンと複数の張力付与装置との接続関係を検出するために用いられる機械学習装置（６Ｃ）であって、
任意数の糸コーンを含む撮像画像からなる入力データと、前記入力データに対応付けられ、当該撮像画像に含まれる前記任意数の糸コーン及び複数の張力付与装置の接続関係からなる出力データとで構成される学習用データセットを複数組記憶する学習用データセット記憶部（６１）と、
前記学習用データセットが複数組入力されることで、前記入力データと前記出力データとの相関関係を推論する学習モデルを学習する機械学習部（６２）と、
前記機械学習部（６２）により学習された前記学習モデルを記憶する学習済みモデル記憶部（６３）と、を備える。

【0015】

また、上記目的を達成するために、本発明の第９の態様に係る推論装置（５Ｃ）は、
編機の上又は周辺に配置された任意数の糸コーンと複数の張力付与装置との接続関係を検出するために用いられる推論装置（５Ｃ）であって、
前記推論装置は、メモリと、少なくとも１つのプロセッサとを備え、
前記少なくとも１つのプロセッサは、
任意数の糸コーンを含む撮像画像が入力される処理と、
前記撮像画像が入力されると、当該撮像画像に含まれる前記任意数の糸コーンと複数の張力付与装置との接続関係を推論する処理と、を実行するように構成される。

【発明の効果】

【0016】

本発明の画像処理装置（４Ａ～４Ｃ）及び推論装置（５Ａ、５Ｂ１、５Ｂ２、５Ｃ）によれば、撮像画像に含まれる任意数の糸コーンの状態（例えば、糸コーンの糸残量、糸コーンと張力付与装置との接続関係、糸コーンが配置された位置等）を検出することができる。そのため、個々の糸コーンに対して光学的部品を設置する必要がなく、また、糸コーンが編機の上又は周辺に配置されたときの糸コーンの数や位置等の条件に制約されることなく、糸コーンの状態を検出することができる。したがって、糸コーンの状態を簡単な構成で検出可能であり、作業性及び汎用性を向上させることができる。

【0017】

また、本発明の機械学習装置（６Ａ、６Ｂ１、６Ｂ２、６Ｃ）によれば、任意数の糸コーンを含むカメラ撮像画像から、当該カメラ撮像画像に含まれる任意数の糸コーンの状態（例えば、糸コーンの糸残量、糸コーンと張力付与装置との接続関係、糸コーンが配置された位置等）を的確に検出（推定）することが可能な学習済みモデル（５Ａ、５Ｂ１、５Ｂ２、５Ｃ）を生成することができる。

【図面の簡単な説明】

【0018】

【図1】第１の実施形態に係る横編機１の一例を示す斜視図である。

【図2】カメラ３により撮像されたカメラ撮像画像３０の一例を示す図である。

【図3】第１の実施形態に係る画像処理装置４Ａを備える横編機１の一例を示す概略ブロック図である。

【図4】第１の実施形態に係る画像処理装置４Ａによる画像処理方法の一例を示すフローチャートである。

【図5】第１の実施形態に係る機械学習装置６Ａの一例を示す概略ブロック図である。

【図6】第１の実施形態に係る機械学習装置６Ａにて用いられるＣＮＮに基づく推論モデル５０Ａの一例を示す図である。

【図7】第１の実施形態に係る機械学習方法の例を示すフローチャートである。

【図8】第２の実施形態に係る画像処理装置４Ｂを備える横編機１の一例を示す概略ブロック図である。

【図9】第２の実施形態に係る画像処理装置４Ｂによる画像処理方法の一例を示すフローチャートである。

【図10】第２の実施形態に係る第１の機械学習装置６Ｂ１の一例を示す概略ブロック図である。

【図11】第２の実施形態に係る第１の機械学習装置６Ｂ１にて用いられるＣＮＮに基づく第１の推論モデル５０Ｂ１の一例を示す図である。

【図12】第２の実施形態に係る第２の機械学習装置６Ｂ２の一例を示す概略ブロック図である。

【図13】第２の実施形態に係る第２の機械学習装置６Ｂ２にて用いられるＣＮＮに基づく第２の推論モデル５０Ｂ２の一例を示す図である。

【図14】第３の実施形態に係る画像処理装置４Ｃを備える横編機１の一例を示す概略ブロック図である。

【図15】第３の実施形態に係る画像処理装置４Ｃによる画像処理方法の一例を示すフローチャートである。

【図16】第３の実施形態に係る機械学習装置６Ｃの一例を示す概略ブロック図である。

【図17】第３の実施形態に係る機械学習装置６Ｃにて用いられるＣＮＮに基づく推論モデル５０Ｃの一例を示す図である。

【発明を実施するための形態】

【0019】

以下、図面を参照して本発明を実施するための各実施形態について説明する。なお、以下では本発明の目的を達成するための説明に必要な範囲を模式的に示し、本発明の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所については公知技術によるものとする。

【0020】

（第１の実施形態）
図１は、第１の実施形態に係る横編機１の一例を示す斜視図である。

【0021】

横編機１は、床面に設置される下部フレーム１１Ａと、複数の編針１２を進退可能に支持するともに、前後に対向させた状態で下部フレーム１１Ａ上に配置された一対のニードルベッド１３と、ニードルベッド１３に沿って移動し、編針１２を進退操作するキャリッジ１４と、ニードルベッド１３及びキャリッジ１４を収納し、任意数の糸コーン２が上面に載置される天板１５とを備える。また、横編機１は、その周辺に、任意の数の糸コーン２が載置されるクリールスタンドを備えていてもよい。

【0022】

また、横編機１は、天板１５に載置された任意数の糸コーン２から編針１２に編糸２０を供給する機構として、上部フレーム１１Ｂに取り付けられ、天板１５の上部に配置される複数の張力付与装置１６と、下部フレーム１１Ａの左右に設けられたサイドテンション部１７と、キャリッジ１４の移動時にキャリッジ１４に選択可能に連結される複数のヤーンフィーダ１８とを備える。糸コーン２からの編糸２０は、張力付与装置１６、サイドテンション部１７、ヤーンフィーダ１８、及び、編針１２の順に供給されることで、編地が編成される。

【0023】

さらに、横編機１は、天板１５に載置された任意数の糸コーン２の状態を検出するシステムとして、上部フレーム１１Ｂの左右に取り付けられた２台のカメラ３と、下部フレーム１１Ａ内に収納された画像処理装置４Ａとを備える。

【0024】

カメラ３は、ＣＭＯＳセンサやＣＣＤセンサ等のイメージセンサで構成されている。カメラ３は、天板１５の上方から天板１５を撮像し、天板１５に載置された糸コーン２がカメラ３の画角内に収まるように、位置や向きが調節されている。なお、カメラ３は、パン・チルト・ズームの機能を備えるものでもよい。また、カメラ３の台数は２台に限られず、１台でもよいし、３台以上でもよい。カメラ３の取付位置は適宜変更してもよく、例えば、横編機１の上方の天井に取り付けられていてもよい。

【0025】

図２は、カメラ３により撮像されたカメラ撮像画像３０の一例を示す図である。

【0026】

カメラ撮像画像３０には、天板１５に載置された任意数の糸コーン２が含まれている。図２の例では、５つの糸コーン２Ａ～２Ｅが含まれている。糸コーン２は、円錐台状の芯部２１に編糸２０が巻回されており、天板１５の上面の任意の位置に載置することが可能である。そのため、カメラ撮像画像３０に含まれる糸コーン２の数は、一定数ではなく、任意数である。なお、カメラ撮像画像３０には、天板１５に載置された糸コーン２のみならず、横編機１の周辺に備えられるクリールスタンド等に載置された、横編機１の周辺の任意数の糸コーン２が含まれていてもよい。

【0027】

また、カメラ撮像画像３０に含まれる糸コーン２の撮像状態（例えば、外形形状や外形サイズ）は、芯部２１の外径寸法、編糸２０の太さや巻数、編糸２０の使用状態に応じて異なるだけでなく、糸コーン２とカメラ３との相対的な位置関係に応じても異なる。さらに、カメラ撮像画像３０において、カメラ３から見て手前側の糸コーン２により奥側の糸コーン２の一部が隠れた状態で撮像されることもある。なお、カメラ撮像画像３０には、任意数の糸コーン２以外に、各糸コーン２から繰り出されて張力付与装置１６に接続された編糸２０が含まれており、さらに糸コーン２以外の物体が含まれていてもよく、例えば、張力付与装置１６が含まれていてもよい。

【0028】

図２に示すカメラ撮像画像３０に含まれる５つの糸コーン２Ａ～２Ｅにおいて、糸コーン２Ａは、天板１５に載置された直後の状態、すなわち、未使用状態である。そして、未使用状態から編糸２０が徐々に使用されることで、糸コーン２Ｂ、２Ｃのように、外径が小さくなるとともに、糸残量が少なくなる。そして、糸コーン２Ｄのように、編糸２０の隙間から芯部２１の一部が視認される状態となった後、最終的には、糸コーン２Ｅのように、「糸無し」の状態となり、芯部２１全体が表出する。なお、４つの糸コーン２Ａ～２Ｄは、「糸有り」の状態であり、さらに詳細な糸残量としては、例えば、「残り１００％」、「残り７０％」、「残り４０％」、「残り１０％」と表される。

【0029】

図３は、第１の実施形態に係る画像処理装置４Ａを備える横編機１の一例を示す概略ブロック図である。

【0030】

横編機１は、電気的な構成として、カメラ３及び画像処理装置４Ａの他に、マイクロコントローラ等で構成される制御盤１００と、タッチパネルやスイッチ等で構成される操作表示盤１０１とを備える。制御盤１００は、モータ等のアクチュエータやセンサ（いずれも不図示）に接続され、横編機１の各部を制御することで、横編機１による編成動作を制御する。操作表示盤１０１は、作業者の操作を受け付けるとともに、各種の情報を表示や音で出力する。

【0031】

（画像処理装置４Ａ）
画像処理装置４Ａは、汎用又は専用のコンピュータ等で構成されており、例えば、ＣＰＵ、ＧＰＵ等の演算手段と、ＲＯＭ、ＲＡＭ等で構成される記憶手段と、有線又は無線によりネットワークや他の機器と通信するための通信部と、これら各部を接続するバスとを備える。なお、画像処理装置４Ａは、制御盤１００の一部の機能として、制御盤１００に組み込まれていてもよい。また、画像処理装置４Ａは、それ単独で動作する装置として提供されるもののみならず、任意のプロセッサに、以下に説明する動作を実行させるためプログラム又は当該動作を実行させるための１乃至複数の命令を格納した非一時的なコンピュータ読取可能媒体の形式で提供されるものを含む。

【0032】

画像処理装置４Ａは、図３に示すように、取得部４０と、糸コーン状態検出部４１と、学習済みモデル記憶部４２と、出力処理部４３とを備える。取得部４０、糸コーン状態検出部４１及び出力処理部４３は上記演算手段により構成され、学習済みモデル記憶部４２は上記記憶手段により構成される。

【0033】

取得部４０は、カメラ３に接続されて、カメラ３で撮像された撮像画像を取得するためのインタフェースとして機能する。取得部４０は、カメラ３により撮像されたカメラ撮像画像３０として、横編機１の上又は周辺（本実施形態では、天板１５の上面）に配置された任意数の糸コーン２を含むカメラ撮像画像３０を取得する。なお、画像処理装置４Ａが取得部４０を介してカメラ３に接続される際の接続方式や通信方式は、任意の方式でよい。

【0034】

糸コーン状態検出部４１は、取得部４０により取得されたカメラ撮像画像３０に対して画像処理を行うことにより、カメラ撮像画像３０に含まれる任意数の糸コーン２の状態を検出する。糸コーン２の状態としては、例えば、糸コーン２の糸残量、糸コーン２の位置、外形形状、及び、外形サイズ、並びに、編糸２０の種類（色や太さ）、糸コーン２と張力付与装置１６との接続関係等が挙げられる。なお、糸コーン状態検出部４１は、上述した糸コーン２の各種の状態のうち、１つの状態を検出するものでもよいし、複数の状態を検出するものでもよい。

【0035】

本実施形態では、糸コーン状態検出部４１は、任意数の糸コーン２の状態として、糸コーン２の糸残量を検出する場合について説明する。また、糸コーン状態検出部４１は、カメラ撮像画像３０に対する画像処理として、カメラ撮像画像３０を入力データとして学習済みモデル５Ａに入力し、当該学習済みモデル５Ａを用いた推論処理により当該学習済みモデル５Ａから推論結果（糸コーン２の糸残量）を出力する一連の処理を行う場合について説明する。

【0036】

学習済みモデル５Ａは、後述する機械学習装置６Ａ及び機械学習方法を用いた機械学習により、任意数の糸コーンを含むカメラ撮像画像３０と当該カメラ撮像画像３０に含まれる任意数の糸コーン２の糸残量との相関関係を機械学習させたものである。

【0037】

なお、糸コーン状態検出部４１は、学習済みモデル５Ａを用いた推論処理を行う機能のみならず、推論処理の前処理として、取得部４０により取得された入力データとしてのカメラ撮像画像３０に所定の画像調整（例えば、画像フォーマット、画像サイズ、画像フィルタ、画像マスク等）を適用して学習済みモデル５Ａに入力する前処理機能や、推論処理の後処理として、学習済みモデル５Ａが出力した出力データ（推論結果）に、例えば、所定の演算式や論理式を適用することで、糸コーン２の糸残量を最終的に判断する後処理機能をも含んでいる。また、糸コーン状態検出部４１の推論結果は、図示しない記憶手段に記憶してもよく、記憶された過去の推論結果は、例えば、学習済みモデル記憶部４２内の学習済みモデル５Ａの推論精度の更なる向上のための、オンライン学習や再学習に用いられる学習用データセットとして利用してもよい。

【0038】

出力処理部４３は、糸コーン状態検出部４１により検出された検出結果、すなわち、糸コーン２の状態を出力するための処理である。具体的な出力の手段は、種々の手段を採用することが可能であり、例えば、検出結果を、操作表示盤１０１を介して表示や音で作業者に報知したり、横編機１の動作履歴として制御盤１００の記憶手段に記憶したり、横編機１の上位の生産管理システムに送信したりしてもよい。その際、出力処理部４３は、横編機１から必要なデータ（例えば、編成データ等）を取得してもよい。

【0039】

上記の構成を備える画像処理装置４Ａによる画像処理方法について、図４を参照して説明する。図４は、第１の実施形態に係る画像処理装置４Ａによる画像処理方法の一例を示すフローチャートである。なお、図４に示す一連の画像処理工程は、画像処理装置４Ａにより所定のタイミングにて繰り返し実行されるものである。所定のタイミングは、任意のタイミングでよく、例えば、所定の時間間隔毎や生産数毎でもよいし、所定の事象発生時（作業者の操作時、段取り時、停止時等）でもよい。以下では、画像処理工程が、横編機１が編成動作を行っている最中に実行される場合について説明する。

【0040】

横編機１による編成動作が行われると、それに伴って天板１５に載置された糸コーン２から編糸２０が供給され、編地が編成される。そして、上記の所定のタイミングになると、取得部４０は、カメラ３により天板１５上の糸コーン２が撮像されたカメラ撮像画像３０を取得する（ステップＳ１００）。

【0041】

次に、糸コーン状態検出部４１が、学習済みモデル記憶部４２に格納された学習済みモデル５Ａを参照し、当該学習済みモデル５Ａを用いた推論処理を行う（ステップＳ１１０）。その際、推論処理に用いられる学習済みモデル５Ａは、所定のプログラムや作業員の操作に基づいて事前に特定されていることが好ましい。

【0042】

具体的には、糸コーン状態検出部４１は、取得部４０により取得されたカメラ撮像画像３０に前処理を施して、学習済みモデル５Ａに入力するとともに、当該学習モデル済みモデル５Ａからの出力データに対して後処理を施すことにより、学習済みモデル５Ａの推論結果として、当該カメラ撮像画像３０に含まれる任意数の糸コーン２の糸残量を検出する。図４に例示したステップＳ１１０の推論結果は、カメラ撮像画像３０から５つの糸コーン領域Ａ～Ｅ（左下座標及び右上座標）に囲まれた５つの糸コーンがそれぞれ検出されるととともに、５つの糸コーン２の糸残量がそれぞれ多値で検出されたものである。具体的には、４つの糸コーン領域Ａ～Ｄの各々に囲まれた４つの糸コーン２の糸残量はそれぞれ「残り１００％」、「残り７０％」、「残り４０％」、「残り１０％」であり、糸コーン領域Ｅに囲まれた１つの糸コーン２の糸残量は「糸無し」である。

【0043】

次に、出力処理部４３は、ステップＳ１１０にて糸コーン状態検出部４１による推論処理が行われた結果に基づいて、いずれかの糸コーン２に対する糸残量の検出結果が「糸無し」を示すか否かを判定する（ステップＳ１２０）。そして、出力処理部４３が、ステップＳ１２０にて肯定的に判定した場合（ステップＳ１２０でＹｅｓ）には、推論結果が「糸無し」であること、すなわち、横編機１の編成動作が停止することを、例えば、操作表示盤１０１により作業者に報知する（ステップＳ１３０）。図４に例示した推論結果では、糸コーン領域Ｅで規定される位置に存在する糸コーン２について「糸無し」であることを報知する。その際、出力処理部４３は、検出結果が「糸無し」であることを制御盤１００に通知することで横編機１の編成動作を停止させるようにしてもよい。

【0044】

一方、全ての糸コーン２に対する糸残量の検出結果が「糸無し」でなく、出力処理部４３が、ステップＳ１２０にて否定的に判定した場合（ステップＳ１２０でＮｏ）、さらに、いずれかの糸コーン２に対する糸残量の検出結果が所定の糸残量予告値（例えば、１０％）以下を示すか否かを判定する（ステップＳ１４０）。そして、出力処理部４３が、ステップＳ１４０にて肯定的に判定した場合（ステップＳ１４０でＹｅｓ）には、推論結果が「糸無し予告」であること、すなわち、糸コーン２が間もなく「糸無し」となり、横編機１の編成動作が間もなく停止することを作業者に報知する（ステップＳ１５０）。その際、出力処理部４３は、検出結果が「糸無し予告」であることを制御盤１００に通知するようにしてもよい。

【0045】

一方、全ての糸コーン２に対する糸残量の検出結果が糸残量予告値以下でなく、出力処理部４３が、ステップＳ１４０にて否定的に判定した場合（ステップＳ１４０でＮｏ）、作業者に報知することなく、画像処理工程を終了する。なお、出力処理部４３は、検出結果が「糸無し」及び「糸無し予告」でないこと、すなわち、「糸有り」であることを出力してもよく、例えば、制御盤１００に通知するようにしてもよい。

【0046】

なお、出力処理部４３は、検出結果として「糸無し」及び「糸無し予告」を出力するようにしたが、いずれか一方を出力するようにしてもよく、その場合には、ステップＳ１２０、Ｓ１３０か、ステップＳ１４０、Ｓ１５０のいずれかが省略されてもよい。また、張力付与装置１６が、「糸無し」を検出する機能を有する場合には、張力付与装置１６にて「糸無し」を検出し、出力処理部４３は、検出結果として「糸無し予告」を出力するように、ステップＳ１２０、Ｓ１３０が省略されてもよい。さらに、糸残量が２値で検出されて、例えば、糸コーン領域Ａ～Ｄに囲まれた４つの糸コーン２の糸残量の検出結果が「糸有り」、糸コーン領域Ｅに囲まれた１つの糸コーン２の糸残量の検出結果が「糸無し」と検出される場合には、ステップＳ１４０、Ｓ１５０が省略されてもよい。

【0047】

以上のように、本実施形態に係る画像処理装置４Ａ及び画像処理方法によれば、カメラ撮像画像３０に含まれる任意数の糸コーン２の状態（本実施形態では糸残量を例に説明）を検出することができる。そのため、個々の糸コーン２に対して光学的部品を設置する必要がなく、また、糸コーン２が編機の上又は周辺に配置されたときの糸コーン２の数や位置等の条件に制約されることなく、糸コーン２の状態を検出することができる。したがって、糸コーン２の状態を簡単な構成で検出可能であり、作業性及び汎用性を向上させることができる。

【0048】

（機械学習装置６Ａ）
次に、横編機１の上又は周辺に配置された任意数の糸コーン２の糸残量を検出するために用いられる機械学習装置６Ａについて、図５を参照して説明する。図５は、第１の実施形態に係る機械学習装置６Ａの一例を示す概略ブロック図である。

【0049】

機械学習装置６Ａは、任意数の糸コーン２を含む任意数糸コーン撮像画像３１に基づいて糸コーン２の糸残量を検出（推定）することが可能な学習モデル（学習済みモデル５Ａ）を生成する。なお、機械学習装置６Ａにより生成された学習済みモデル５Ａは、画像処理装置４Ａに提供され、学習済みモデル記憶部４２に格納されることで、糸コーン状態検出部４１による推論処理に用いられる。なお、ここでは、画像処理装置４Ａと機械学習装置６Ａとを別々の装置として示しているが、画像処理装置４Ａと機械学習装置６Ａとは単一の装置として構成されていてもよい。

【0050】

機械学習装置６Ａは、汎用又は専用のコンピュータ等で構成されており、例えば、ＣＰＵ、ＧＰＵ等の演算手段と、ＲＯＭ、ＲＡＭ等で構成される記憶部と、有線又は無線によりネットワークや他の機器と通信するための通信部と、これら各部を接続するバスとを備える。なお、機械学習装置６Ａは、それ単独で動作する装置として提供されるもののみならず、任意のプロセッサに、以下に説明する動作を実行させるためプログラム又は当該動作を実行させるための１乃至複数の命令を格納した非一時的なコンピュータ読取可能媒体の形式で提供されるものを含む。

【0051】

機械学習装置６Ａは、図５に示すように、学習用データセット取得部６０と、学習用データセット記憶部６１と、機械学習部６２と、学習済みモデル記憶部６３とを備える。学習用データセット取得部６０及び機械学習部６２は、上記演算手段により構成され、学習用データセット記憶部６１及び学習済みモデル記憶部６３は上記記憶手段により構成される。

【0052】

学習用データセット取得部６０は、例えば、通信部を介して接続された各種機器から学習（トレーニング）用データセットを構成する複数のデータを取得するためのインタフェースユニットである。ここで、学習用データセット取得部６０に接続される各種機器としては、例えば、外部装置７や、作業者が使用する端末装置８等が挙げられる。なお、図５では、機械学習装置６Ａ、外部装置７及び端末装置８を別々の装置として示しているが、これらの装置は適宜組み合わせてもよく、例えば、外部装置７及び端末装置８が単一の装置で構成されていてもよいし、機械学習装置６Ａ、外部装置７及び端末装置８が単一の装置で構成されていてもよい。

【0053】

学習用データセット取得部６０は、任意数糸コーン撮像画像３１を入力データとして、例えば、外部装置７から取得するとともに、当該任意数糸コーン撮像画像３１に含まれる任意数の糸コーン２の糸残量を出力データとして、例えば、端末装置８から取得する。そして、これらの入力データと出力データとを対応付けることで、一の学習用データセットを構成する。

【0054】

任意数糸コーン撮像画像３１は、図２に示すように、任意数の糸コーン２を含む画像である。任意数糸コーン撮像画像３１は、カメラ３により横編機１の上又は周辺（本実施形態では、天板１５の上面）に配置された任意数の糸コーン２が撮像されたものでもよいし、例えば、データ作成用のカメラにより天板１５を模擬した模擬台に配置された任意数の糸コーン２が撮像されたものでもよい。

【0055】

糸コーン２の糸残量は、糸コーン２の芯部２１に巻回されている編糸２０の残量を示す情報であり、そのデータ形式としては種々のものを採用することができる。例えば、糸コーン２の糸残量は、「糸無し」及び「糸有り」のいずれかを表す情報で構成することができる。この場合、糸残量は、２値に分類され、例えば、「糸無し」であることを示す値を「０」とし、「糸有り」であることを示す値を「１」として、端末装置８を用いて作業者により入力データに対応付けた形で該当する値が入力されればよい。また、糸コーン２の糸残量は、段階的な情報で構成することができる。この場合、糸残量は、多値に分類され、例えば、１１段階で表す際には、「糸無し」であることを示す値を「０」とし、糸残量が「残り１０％」、「残り２０％」、…、「残り１００％」（未使用状態）であることを示す値を「０．１」、「０．２」、…、「１」として、端末装置８を用いて作業者により入力データに対応付けた形で該当する値が入力されればよい。

【0056】

学習用データセット記憶部６１は、学習用データセット取得部６０で取得した学習用データセットを格納するためのデータベースである。学習用データセット記憶部６１を構成するデータベースの具体的な構成については適宜変更してもよい。例えば、図５では、学習用データセット記憶部６１と、学習済みモデル記憶部６３とを別々の記憶部として示しているが、これらは単一の記憶部（データベース）で構成されていてもよい。

【0057】

機械学習部６２は、学習用データセット記憶部６１に記憶された複数の学習用データセットを用いて機械学習を実施することで、複数の学習用データセットに含まれる入力データと出力データとの相関関係を推論する学習モデル（学習済みモデル５Ａ）を生成する。なお、実施形態においては、機械学習の具体的な学習手法として、後述する畳み込みニューラルネットワーク（ＣＮＮ（Convolutional Neural Network））を採用している。

【0058】

学習済みモデル記憶部６３は、機械学習部６２により生成された学習済みモデル５Ａを格納するためのデータベースである。学習済みモデル記憶部６３に記憶された学習済みモデル５Ａは、要求に応じて、インターネットを含む通信回線や記憶媒体を介して実システム（画像処理装置４Ａ）に適用される。

【0059】

次に、上述のようにして取得された複数の学習用データセットを用いた、機械学習部６２における学習手法について、図６を参照して説明する。図６は、第１の実施形態に係る機械学習装置６Ａにて用いられるＣＮＮに基づく推論モデル５０Ａの一例を示す図である。

【0060】

推論モデル５０Ａは、入力層５１と、中間層５２と、出力層５３とを備える。推論モデル５０Ａは、画像に含まれる物体の検出（物体検出）と、その検出した物体の状態の検出（状態検出）とを行い、画像に複数の物体が含まれている場合には、各物体について物体検出と状態検出とを行う。

【0061】

入力層５１は、入力データとしての画像に対応する数のニューロンを有し、各ピクセルの画素値が各ニューロンにそれぞれ入力される。

【0062】

中間層５２は、畳み込み層５２０、プーリング層５２１及び全結合層５２２から構成されている。畳み込み層５２０及びプーリング層５２１は、例えば、交互に複数層設けられている。畳み込み層５２０及びプーリング層５２１は、入力層５１を介して入力された画像から特徴量を抽出する。全結合層５２２は、畳み込み層５２０及びプーリング層５２１により画像から抽出された特徴量を、例えば、活性化関数によって変換し、特徴ベクトルとして出力する。なお、全結合層５２２は、複数層設けられていてもよい。

【0063】

出力層５３は、全結合層５２２から出力された特徴ベクトルに基づいて、推論結果として、物体検出結果と状態検出結果とを含む出力データを出力する。物体検出結果は、例えば、検出した物体を囲む領域（例えば、矩形、円形等）を規定する情報であり、矩形の場合には、左下座標及び右上座標でもよいし、中心座標並びに幅及び高さでもよい。状態検出結果は、例えば、検出した物体の状態を示す情報であり、離散値でもよいし、連続値でもよい。また、出力データは、これらの他に、例えば、推定結果の確からしさを示すスコアを含むものでもよい。

【0064】

推論モデル５０Ａの各層の間には、層間のニューロンをそれぞれ接続するシナプスが張られており、中間層５２の畳み込み層５２０及び全結合層５２２の各シナプスには、重みが対応付けられている。

【0065】

本実施形態に係る機械学習部６２は、学習用データセットを推論モデル５０Ａに入力し、任意数糸コーン撮像画像３１と当該任意数糸コーン撮像画像３１に含まれる任意数の糸コーン２の糸残量との相関関係を学習する。具体的には、機械学習部６２は、学習用データセットを構成する任意数糸コーン撮像画像３１を入力データとして、推論モデル５０Ａの入力層５１に入力する。なお、機械学習部６２は、任意数糸コーン撮像画像３１を入力層５１に入力する際の前処理として、所定の画像調整（例えば、画像フォーマット、画像サイズ、画像フィルタ、画像マスク等）を任意数糸コーン撮像画像３１に施してもよい。

【0066】

そして、機械学習部６２は、出力層５３から推論結果として出力された出力データが示す糸残量（状態検出結果）と、当該学習用データセットを構成する糸残量（教師データ）とを比較する誤差関数を用いて、誤差関数の評価値が小さくなるように、各シナプスに対応付けられた重みを調整する（バックプロバケーション）ことを反復する。

【0067】

次に、機械学習部６２は、上述した一連の各ステップを所定の回数反復実施することや、誤差関数の評価値が許容値より小さくなること等の所定の学習終了条件が満たされたと判断した場合には、学習を終了し、その推論モデル５０Ａ（各シナプスのそれぞれに対応付けられた全ての重み）を、学習済みモデル５Ａとして学習済みモデル記憶部６３に格納する。

【0068】

（機械学習方法）
次に、上述した機械学習装置６Ａに関連して、機械学習方法について、図７を参照して説明する。図７は、第１の実施形態に係る機械学習方法の例を示すフローチャートである。

【0069】

以下に示す機械学習方法においては、上述した機械学習装置６Ａにより実行される場合について説明する。まず、機械学習を開始するための事前準備として、所望の数の学習用データセットを準備し、準備した複数個の学習用データセットを学習用データセット記憶部６１に記憶する（ステップＳ２００）。ここで準備する学習用データセットの数については、最終的に得られる学習済みモデル５Ａに求められる推論精度を考慮して設定するとよい。

【0070】

学習用データセットを準備する方法には、いくつかの方法を採用することができる。例えば、横編機１の編成動作時に、カメラ３を用いて様々な状態の糸コーン２を撮像し、その撮像した任意数糸コーン撮像画像３１に関連付ける形で作業者が、任意数糸コーン撮像画像３１に含まれる糸コーン２の糸残量を、端末装置８等を用いて特定・入力することで、学習データセットを構成する入力データと出力データとを準備する。そして、このような作業を繰り返すことで所望の数の学習用データセットを準備する方法を採用してもよい。また、このような方法以外にも、例えば、データ作成用のカメラにより天板１５を模擬した模擬台に配置された糸コーン２を撮像することで学習用データセットを取得する等、種々の方法を採用してもよい。その際、学習用データセットとしては、糸残量として、糸有り及び糸無しの様々な状態にある糸コーン２を含む任意数糸コーン撮像画像３１を準備するだけでなく、様々な位置に配置され、様々な外形形状、外形サイズを有する、様々な数の糸コーン２を含む任意数糸コーン撮像画像３１を準備することが好ましい。

【0071】

次に、機械学習部６２における学習を開始すべく、学習前の推論モデル５０Ａを準備する（Ｓ２１０）。ここで準備される学習前の推論モデル５０Ａは、その構造としては、例えば、図６に例示した構造を有し、且つ各シナプスの重みが初期値に設定されている。そして、学習用データセット記憶部６１に記憶された複数個の学習用データセットから、例えばランダムに一の学習用データセットを選択し（ステップＳ２２０）、当該一の学習用データセット中の入力データを、準備された学習前の推論モデル５０Ａに入力する（ステップＳ２３０）。図６に例示した学習用データセットでは、入力データは、５つの糸コーン領域Ａ～Ｅ（左下座標及び右上座標）の各々で規定される領域に５つの糸コーン２が含まれる任意数糸コーン撮像画像３１であり、出力データは、５つの糸コーン領域Ａ～Ｅの各々に囲まれた５つの糸コーン２の糸残量がそれぞれ「残り１００％」、「残り７０％」、「残り４０％」、「残り１０％」、「糸無し」であることを示す情報である。

【0072】

上記ステップＳ２３０の結果として出力層５３から推論結果として出力された糸残量（状態検出結果）は、学習前のニューラルネットワークモデルによって生成されたものであるため、ほとんどの場合望ましい結果とは異なる値、すなわち、正しい糸コーン２の糸残量とは異なる情報を示す。そこで、次に、ステップＳ２２０において取得された一の学習用データセット中の教師データとしての糸残量と、ステップＳ２３０において出力層５３から出力された糸残量（状態検出結果）とを用いて、機械学習を実施する（ステップＳ２４０）。

【0073】

ここでの機械学習とは、例えば、教師データを構成する糸残量と出力層５３から出力された糸残量（状態検出結果）とを比較し、好ましい推論モデル５０Ａが得られるよう、学習前の推論モデル５０Ａ内の各シナプスに対応付けられた重みを調整する処理（バックプロパゲーション）である。なお、学習前の推論モデル５０Ａの出力層５３から出力される出力データの形式は、学習対象としての学習用データセット中の教師データと同様の形式である。

【0074】

図６に例示した推論結果は、任意数糸コーン撮像画像３１から５つの糸コーン領域Ａ～Ｅ（左下座標及び右上座標）の各々に含まれる５つの糸コーン２がそれぞれ検出されるととともに、５つの糸コーン領域Ａ～Ｅの各々に囲まれた５つの糸コーン２の糸残量がそれぞれ「残り１００％」、「残り６０％」、「残り４０％」、「残り１０％」、「糸無し」であることを示す。そのため、糸コーン領域Ｂに囲まれた糸コーン２の糸残量について教師データとの間に誤差が生じていることから、当該誤差に基づいて推論モデル５０Ａの重みが調整される。

【0075】

ステップＳ２４０において機械学習が実施されると、さらに機械学習を継続する必要があるか否かを、例えば、学習用データセット記憶部６１内に記憶された未学習の学習用データセットの残数に基づいて特定する（ステップＳ２５０）。そして、学習終了条件が満たされておらず機械学習を継続する場合（ステップＳ２５０でＮｏ）には、ステップＳ２２０に戻り、学習終了条件が満たされて機械学習を終了する場合（ステップＳ２５０でＹｅｓ）には、ステップＳ２６０に移る。上記機械学習を継続する場合には、学習中の推論モデル５０Ａに対してステップＳ２２０～Ｓ２４０の工程を未学習の学習用データセットを用いて複数回実施する。最終的に生成される学習済みモデル５Ａの精度は、一般にこの回数に比例して高くなる。

【0076】

機械学習を終了する場合（ステップＳ２５０でＹｅｓ）には、各シナプスに対応付けられた重みが調整されることで生成された推論モデル５０Ａを学習済みモデル５Ａとして、学習済みモデル記憶部６３に記憶し（ステップＳ２６０）、一連の機械学習工程を終了する。

【0077】

上述した機械学習装置６Ａの学習手法及び機械学習方法においては、１つの学習済みモデル５Ａを生成するために、１つの（学習前の）推論モデル５０Ａに対して複数回の機械学習処理を繰り返し実行することでその精度を向上させ、画像処理装置４Ａに適用するに足る学習済みモデル５Ａを取得するものを説示している。しかし、本発明はこの取得方法に限定されない。例えば、所定回数の機械学習を実施した学習済みモデル５Ａを一候補として複数個の学習済みモデル記憶部６３に格納しておき、この複数個の学習済みモデル群に妥当性判断用のデータセットを入力して出力層（のニューロンの値）を生成し、出力層で特定された値の精度を比較検討して、画像処理装置４Ａに適用する最良の学習済みモデル５Ａを１つ選定するようにしてもよい。なお、妥当性判断用データセットは、学習に用いた学習用データセットと同様のデータセットで構成され、且つ学習に用いられていないものであればよい。

【0078】

以上のように、本実施形態に係る機械学習装置６Ａ及び機械学習方法によれば、任意数の糸コーン２を含むカメラ撮像画像３０から、当該カメラ撮像画像３０に含まれる任意数の糸コーン２の状態（本実施形態では糸残量を例に説明）を的確に検出（推定）することが可能な学習済みモデル５Ａを生成することができる。

【0079】

（第２の実施形態）
第１の実施形態では、機械学習装置６Ａが、１つの学習済みモデル５Ａを生成し、画像処理装置４Ａが、当該１つの学習済みモデル５Ａにカメラ撮像画像３０を入力することにより、当該カメラ撮像画像３０に含まれる糸コーン２の糸残量を検出するものである。これに対し、第２の実施形態では、第１及び第２の機械学習装置６Ｂ１、６Ｂ２が、第１及び第２の学習済みモデル５Ｂ１、５Ｂ２をそれぞれ生成し、画像処理装置４Ｂが、当該第１及び第２の学習済みモデル５Ｂ１、５Ｂ２を、第１の学習済みモデル５Ｂ１を前段、第２の学習済みモデル５Ｂ２を後段として直列的に接続したモデル構造を有しており、第１の学習済みモデル５Ｂ１にカメラ撮像画像３０を入力することにより、当該カメラ撮像画像３０に含まれる糸コーン２の糸残量を検出するものである。その他の基本的な構成及び動作は、第１の実施形態と同様のため、以下では第２の実施形態の特徴部分を中心に説明する。なお、以下では第１及び第２の機械学習装置６Ｂ１、６Ｂ２は、別々の装置として説明するが、第１及び第２の機械学習装置６Ｂ１、６Ｂ２は、単一の装置で構成されていてもよい。

【0080】

（画像処理装置４Ｂ）
図８は、第２の実施形態に係る画像処理装置４Ｂを備える横編機１の一例を示す概略ブロック図である。画像処理装置４Ｂの学習済みモデル記憶部４２には、第１の学習済みモデル５Ｂ１と、第２の学習済みモデル５Ｂ２とが格納されている。

【0081】

第１の学習済みモデル５Ｂ１は、後述する第１の機械学習装置６Ｂ１及び機械学習方法を用いた機械学習により、任意数の糸コーン２を含む任意数糸コーン撮像画像３１と、当該任意数糸コーン撮像画像３１に含まれる任意数の糸コーン２の各々を囲む任意数の領域との相関関係を機械学習させたものである。

【0082】

第２の学習済みモデル５Ｂ２は、後述する第２の機械学習装置６Ｂ２及び機械学習方法を用いた機械学習により、１つの糸コーン２を含む単一糸コーン撮像画像３３と当該単一糸コーン撮像画像３３に含まれる１つの糸コーン２の糸残量との相関関係を機械学習させたものである。

【0083】

図９は、第２の実施形態に係る画像処理装置４Ｂによる画像処理方法の一例を示すフローチャートである。

【0084】

所定のタイミングにおいて、取得部４０は、カメラ３により天板１５上の糸コーン２が撮像されたカメラ撮像画像３０を取得する（ステップＳ１００）。

【0085】

次に、糸コーン状態検出部４１は、学習済みモデル記憶部４２に格納された第１の学習済みモデル５Ｂ１を参照し、当該第１の学習済みモデル５Ｂ１を用いた推論処理を行う（ステップＳ１１１）。具体的には、糸コーン状態検出部４１は、第１の学習済みモデル５Ｂ１に、取得部４０により取得されたカメラ撮像画像３０を入力することにより、当該カメラ撮像画像３０に含まれる任意数の糸コーン２の各々を囲む任意数の領域を特定する。図９に例示したステップＳ１１１の推論結果は、カメラ撮像画像３０から５つの糸コーン２が検出され、５つの糸コーン２の各々を囲む糸コーン領域Ａ～Ｅが、左下座標及び右上座標の２点でそれぞれ特定されたものである。

【0086】

次に、糸コーン状態検出部４１は、学習済みモデル記憶部４２に格納された第２の学習済みモデル５Ｂ２を参照し、当該第２の学習済みモデル５Ｂ２を用いた推論処理を行う（ステップＳ１１２）。具体的には、糸コーン状態検出部４１は、第２の学習済みモデル５Ｂ２に、取得部４０により取得されたカメラ撮像画像３０のうち、任意数の領域の各々で規定される、１つの糸コーン２を含む領域画像３２をそれぞれ入力することにより、当該領域画像３２に含まれる１つの糸コーン２の糸残量をそれぞれ検出する。図９に例示したステップＳ１１２の推論結果は、５つの糸コーン領域Ａ～Ｅ（左下座標及び右上座標）の各々で特定された５つの領域画像３２から５つの糸コーンの糸残量がそれぞれ多値で検出されたものであり、糸コーン領域Ａ～Ｄ（左下座標及び右上座標）に囲まれた４つの糸コーン２の糸残量はそれぞれ「残り１００％」、「残り７０％」、「残り４０％」、「残り１０％」であり、糸コーン領域Ｅに囲まれた１つの糸コーン２の糸残量は「糸無し」である。

【0087】

次に、ステップＳ１１１、Ｓ１１２において、糸コーン状態検出部４１による推論処理が行われた結果、いずれかの糸コーン２に対する糸残量の検出結果が「糸無し」である場合（ステップＳ１２０でＹｅｓ）には、出力処理部４３は、「糸無し」を報知し（ステップＳ１３０）、いずれかの糸コーン２に対する糸残量の検出結果が糸残量予告値以下である場合（ステップＳ１４０でＹｅｓ）には、出力処理部４３は、「糸無し予告」を報知する（ステップＳ１５０）。一方、いずれの糸コーン２に対する糸残量の検出結果も「糸無し」及び「糸無し予告」を示さない、すなわち、全ての糸コーン２に対する糸残量の検出結果が「糸有り」を示す場合（ステップＳ１２０でＮｏ、かつ、ステップＳ１４０でＮｏ）には、そのまま画像処理工程を終了する。

【0088】

以上のように、本実施形態に係る画像処理装置４Ｂ及び画像処理方法によれば、第１の実施形態に係る画像処理装置４Ａ及び画像処理方法と同様に、カメラ撮像画像３０に含まれる任意数の糸コーン２の状態（本実施形態では糸残量を例に説明）を検出することができる。そのため、個々の糸コーン２に対して光学的部品を設置する必要がなく、また、糸コーン２が編機の上又は周辺に配置されたときの糸コーン２の数や位置等の条件に制約されることなく、糸コーン２の状態を検出することができる。したがって、糸コーン２の状態を簡単な構成で検出可能であり、作業性及び汎用性を向上させることができる。

【0089】

（第１の機械学習装置６Ｂ１）
次に、横編機１の上又は周辺に配置された任意数の糸コーン２の状態を検出するために用いられる第１の機械学習装置６Ｂ１について、図１０、図１１を参照して説明する。図１０は、第２の実施形態に係る第１の機械学習装置６Ｂ１の一例を示す概略ブロック図である。図１１は、第２の実施形態に係る第１の機械学習装置６Ｂ１にて用いられるＣＮＮに基づく第１の推論モデル５０Ｂ１の一例を示す図である。

【0090】

第１の機械学習装置６Ｂ１は、任意数の糸コーン２を含む任意数糸コーン撮像画像３１に基づいて、当該任意数糸コーン撮像画像３１に含まれる任意数の糸コーン２の各々を囲む任意数の領域を特定（推定）することが可能な学習モデル（第１の学習済みモデル５Ｂ１）を生成する。

【0091】

学習用データセット取得部６０は、任意数糸コーン撮像画像３１を入力データとして、例えば、外部装置７から取得するとともに、当該任意数糸コーン撮像画像３１に含まれる任意数の糸コーン２の各々を囲む任意数の領域を出力データとして、例えば、端末装置８から取得する。そして、これらの入力データと出力データとを対応付けることで、一の学習用データセットを構成し、学習用データセット記憶部６１に格納する。図１１に例示した学習用データセットでは、入力データは、５つの糸コーン領域Ａ～Ｅ（左下座標及び右上座標）の各々で規定される領域に５つの糸コーン２が含まれる任意数糸コーン撮像画像３１であり、出力データは、５つの糸コーン２の各々を囲む糸コーン領域Ａ～Ｅ（左下座標及び右上座標）を特定する情報である。なお、学習用データセットを構成する入力データは、その一部又は全てが１つの糸コーン２を含む単一糸コーン撮像画像であってもよい。

【0092】

機械学習部６２は、学習用データセット記憶部６１に記憶された複数の学習用データセットを用いて機械学習を実施することで、複数の学習用データセットに含まれる入力データと出力データとの相関関係を推論する学習モデル（第１の学習済みモデル５Ｂ１）を生成する。

【0093】

具体的には、機械学習部６２は、学習用データセットを構成する任意数糸コーン撮像画像３１を、図１１に示す第１の推論モデル５０Ｂ１の入力層５１に入力することで出力層５３から推論結果として出力された領域（物体検出結果）と、当該学習用データセットを構成する領域（教師データ）とを比較することにより、機械学習を実施する。図１１に例示した推論結果は、任意数糸コーン撮像画像３１から５つの糸コーン領域Ａ～Ｄ（左下座標及び右上座標）の各々に含まれる４つの糸コーン２がそれぞれ検出されるととともに、５つの糸コーン２の各々を囲む糸コーン領域Ａ～Ｄが、左下座標及び右上座標の２点でそれぞれ特定されたものである。糸コーン領域Ａ～Ｅについて推論結果と教師データとの間に誤差が生じている場合には、当該誤差に基づいて第１の推論モデル５０Ｂ１の重みが調整される。

【0094】

そして、学習終了条件が満たされて機械学習を終了すると、機械学習部６２は、その第１の推論モデル５０Ｂ１を第１の学習済みモデル５Ｂ１として学習済みモデル記憶部６３に格納する。

【0095】

（第２の機械学習装置６Ｂ２）
次に、横編機１の上又は周辺に配置された任意数の糸コーン２の糸残量を検出するために用いられる第２の機械学習装置６Ｂ２について、図１２、図１３を参照して説明する。図１２は、第２の実施形態に係る第２の機械学習装置６Ｂ２の一例を示す概略ブロック図である。図１３は、第２の実施形態に係る第２の機械学習装置６Ｂ２にて用いられるＣＮＮに基づく第２の推論モデル５０Ｂ２の一例を示す図である。

【0096】

第２の機械学習装置６Ｂ２は、１つの糸コーン２を含む単一糸コーン撮像画像３３に基づいて、当該単一糸コーン撮像画像３３に含まれる１つの糸コーン２の糸残量を検出（推定）することが可能な学習モデル（第２の学習済みモデル５Ｂ２）を生成する。

【0097】

学習用データセット取得部６０は、単一糸コーン撮像画像３３を入力データとして、例えば、外部装置７から取得するとともに、当該単一糸コーン撮像画像３３に含まれる１つの糸コーン２の糸残量を出力データとして、例えば、端末装置８から取得する。そして、これらの入力データと出力データとを対応付けることで、一の学習用データセットを構成し、学習用データセット記憶部６１に格納する。図１３に例示した学習用データセットでは、入力データは、１つの糸コーン２が含まれる単一糸コーン撮像画像３３であり、出力データは、１つの糸コーン２の糸残量が「残り７０％」であることを示す情報である。

【0098】

機械学習部６２は、学習用データセット記憶部６１に記憶された複数の学習用データセットを用いて機械学習を実施することで、複数の学習用データセットに含まれる入力データと出力データとの相関関係を推論する学習モデル（第２の学習済みモデル５Ｂ２）を生成する。

【0099】

具体的には、機械学習部６２は、学習用データセットを構成する単一糸コーン撮像画像３３を、図１２に示す第２の推論モデル５０Ｂ２の入力層５１に入力することで出力層５３から推論結果として出力された糸残量（状態検出結果）と、当該学習用データセットを構成する糸残量（教師データ）とを比較することにより、機械学習を実施する。図１３に例示した推論結果は、単一糸コーン撮像画像３３に含まれる１つの糸コーン２の糸残量が、「残り６０％」であることを示す。そのため、糸コーン２の糸残量について教師データとの間に誤差が生じていることから、当該誤差に基づいて第２の推論モデル５０Ｂ２の重みが調整される。

【0100】

そして、学習終了条件が満たされて機械学習を終了すると、機械学習部６２は、その第２の推論モデル５０Ｂ２を第２の学習済みモデル５Ｂ２として学習済みモデル記憶部６３に格納する。

【0101】

以上のように、本実施形態に係る第１及び第２の機械学習装置６Ｂ１、６Ｂ２及び機械学習方法によれば、第１の実施形態に係る機械学習装置６Ａ及び機械学習方法と同様に、任意数の糸コーン２を含むカメラ撮像画像３０から、当該カメラ撮像画像３０に含まれる任意数の糸コーン２の状態（本実施形態では糸残量を例に説明）を的確に検出（推定）することが可能な第１及び第２の学習済みモデル５Ｂ１、５Ｂ２を生成することができる。

【0102】

特に、第１の機械学習装置６Ｂ１は、カメラ撮像画像３０に含まれる任意数の糸コーン２の各々を囲む領域を特定する、糸コーン２の物体検出に特化した第１の学習済みモデル５Ｂ１を生成し、第２の機械学習装置６Ｂ２は、１つの糸コーン２の状態を検出する、糸コーン２の状態検出に特化した第２の学習済みモデル５Ｂ２を生成する。そのため、学習用データセットとして、様々な条件を組み合わせた多数の撮像画像を準備する必要がなく、第１及び第２の学習済みモデル５Ｂ１、５Ｂの各々に適した学習用データセットを用意すればよいため、学習用データセットを準備する手間が軽減されるとともに、第１及び第２の学習済みモデル５Ｂ１、５Ｂ２の推論精度を向上させることができる。

【0103】

（第３の実施形態）
第１の実施形態では、機械学習装置６Ａが、学習済みモデル５Ａを生成し、画像処理装置４Ａが、当該学習済みモデル５Ａにカメラ撮像画像３０を入力することにより、当該カメラ撮像画像３０に含まれる糸コーン２の糸残量を検出するものである。これに対し、第３の実施形態では、機械学習装置６Ｃが、学習済みモデル５Ｃを生成し、画像処理装置４Ｃが、当該学習済みモデル５Ｃにカメラ撮像画像３０を入力することにより、当該カメラ撮像画像３０に含まれる糸コーン２と張力付与装置１６との接続関係を検出するものである。その他の基本的な構成及び動作は、第１の実施形態と同様のため、以下では第３の実施形態の特徴部分を中心に説明する。

【0104】

（画像処理装置４Ｃ）
図１４は、第３の実施形態に係る画像処理装置４Ｃを備える横編機１の一例を示す概略ブロック図である。画像処理装置４Ｃの学習済みモデル記憶部４２には、学習済みモデル５Ｃが格納されている。

【0105】

学習済みモデル５Ｃは、後述する機械学習装置６Ｃ及び機械学習方法を用いた機械学習により、任意数の糸コーン２を含む任意数糸コーン撮像画像３１と当該任意数糸コーン撮像画像３１に含まれる任意数の糸コーン２及び複数の張力付与装置１６の接続関係との相関関係を機械学習させたものである。具体的には、任意数糸コーン撮像画像３１には、図２に示すように、任意数の糸コーン２と、各糸コーン２から繰り出されて張力付与装置１６に接続された編糸２０が含まれているため、学習済みモデル５Ｃは、任意数糸コーン撮像画像３１から、任意数の糸コーン２が配置された位置と、各糸コーン２から繰り出された編糸２０がそれぞれ延びる方向と、編糸２０がそれぞれ延びる方向に存在する各張力付与装置１６の位置との間における特徴量を抽出し、糸コーン２と張力付与装置１６との接続関係として機械学習させたものである。

【0106】

図１５は、第３の実施形態に係る画像処理装置４Ｃによる画像処理方法の一例を示すフローチャートである。以下では、複数の張力付与装置１６は、ｎ個からなり、例えば、装置左側から順番に「１，２，３，…，ｎ」と通し番号が振られているものとして説明する。

【0107】

所定のタイミングにおいて、取得部４０は、カメラ３により天板１５上の糸コーン２が撮像されたカメラ撮像画像３０を取得する（ステップＳ１００）。

【0108】

次に、糸コーン状態検出部４１は、学習済みモデル記憶部４２に格納された学習済みモデル５Ｃを参照し、当該学習済みモデル５Ｃを用いた推論処理を行う（ステップＳ１１３）。具体的には、糸コーン状態検出部４１は、学習済みモデル５Ｃに、取得部４０により取得されたカメラ撮像画像３０を入力することにより、任意数の糸コーン２が配置された位置と、各糸コーン２から繰り出された編糸２０がそれぞれ延びる方向と、編糸２０がそれぞれ延びる方向に存在する各張力付与装置１６の位置との間における特徴量が抽出されることで、当該カメラ撮像画像３０に含まれる任意数の糸コーン２及び複数の張力付与装置１６の接続関係を検出する。

【0109】

図１５に例示したステップＳ１１３の推論結果は、カメラ撮像画像３０から５つの糸コーン領域Ａ～Ｅ（左下座標及び右上座標）の各々に含まれる５つの糸コーン２がそれぞれ検出されるとともに、糸コーン領域Ａに囲まれた糸コーン２から延びる編糸２０が「１」番目の張力付与装置１６に接続され、糸コーン領域Ｃに囲まれた糸コーン２から延びる編糸２０が「４」番目の張力付与装置１６に接続され、糸コーン領域Ｄに囲まれた糸コーン２から延びる編糸２０が「１０」番目の張力付与装置１６に接続され、糸コーン領域Ｂに囲まれた糸コーン２から延びる編糸２０が「１７」番目の張力付与装置１６に接続され、その他の張力付与装置には糸コーン２が接続されていないことを示す。なお、糸コーン領域Ｅに囲まれた「糸無し」状態の糸コーン２は、張力付与装置１６に接続されていないものとして検出される。

【0110】

次に、出力処理部４３は、ステップＳ１１３にて糸コーン状態検出部４１により検出された糸コーン２と張力付与装置１６との接続関係が、横編機１の編成データで設定された接続関係と一致するか否かを判定し、両者の接続関係が一致しない場合（ステップＳ１２１でＹｅｓ）には、「作業ミス」が発生したことを作業者に報知する（ステップＳ１３１）。一方、出力処理部４３が、両者の接続関係が一致すると判定した場合（ステップＳ１２１でＮｏ）には、そのまま画像処理工程を終了する。

【0111】

以上のように、本実施形態に係る画像処理装置４Ｃ及び画像処理方法によれば、カメラ撮像画像３０に含まれる任意数の糸コーン２の状態、特に、本実施形態では、糸コーン２と張力付与装置１６との接続関係を検出することができる。そのため、個々の糸コーン２に対して光学的部品を設置する必要がなく、また、糸コーン２が編機の上又は周辺に配置されたときの糸コーン２の数や位置等の条件に制約されることなく、糸コーン２の状態を検出することができる。したがって、糸コーン２の状態を簡単な構成で検出可能であり、作業性及び汎用性を向上させることができる。

【0112】

（機械学習装置６Ｃ）
次に、横編機１の上又は周辺に配置された任意数の糸コーンと複数の張力付与装置との接続関係を検出するために用いられる機械学習装置６Ｃについて、図１６、図１７を参照して説明する。図１６は、第３の実施形態に係る機械学習装置６Ｃの一例を示す概略ブロック図である。図１７は、第３の実施形態に係る機械学習装置６Ｃにて用いられるＣＮＮに基づく推論モデル５０Ｃの一例を示す図である。

【0113】

機械学習装置６Ｃは、任意数の糸コーン２を含む任意数糸コーン撮像画像３１に基づいて、当該任意数糸コーン撮像画像３１に含まれる任意数の糸コーン２及び複数の張力付与装置１６の接続関係との相関関係を検出（推定）することが可能な学習モデル（学習済みモデル５Ｃ）を生成する。

【0114】

学習用データセット取得部６０は、任意数糸コーン撮像画像３１を入力データとして、例えば、外部装置７から取得するとともに、当該任意数糸コーン撮像画像３１に含まれる任意数の糸コーン２及び複数の張力付与装置１６の接続関係を出力データとして、例えば、端末装置８から取得する。そして、これらの入力データと出力データとを対応付けることで、一の学習用データセットを構成し、学習用データセット記憶部６１に格納する。図１７に例示した学習用データセットでは、入力データは、３つの糸コーン領域Ａ～Ｃ（左下座標及び右上座標）の各々で規定される領域に３つの糸コーン２が含まれる任意数糸コーン撮像画像３１であり、出力データは、糸コーン領域Ａに囲まれた糸コーン２が「２」番目の張力付与装置１６に接続され、糸コーン領域Ｂに囲まれた糸コーン２が「４」番目の張力付与装置１６に接続され、糸コーン領域Ｃに囲まれた糸コーン２が「１５」番目の張力付与装置１６に接続されていることを示す情報である。

【0115】

機械学習部６２は、学習用データセット記憶部６１に記憶された複数の学習用データセットを用いて機械学習を実施することで、複数の学習用データセットに含まれる入力データと出力データとの相関関係を推論する学習モデル（学習済みモデル５Ｃ）を生成する。

【0116】

具体的には、機械学習部６２は、学習用データセットを構成する任意数糸コーン撮像画像３１を、図１７に示す推論モデル５０Ｃの入力層５１に入力することで出力層５３から推論結果として出力された接続関係（状態検出結果）と、当該学習用データセットを構成する接続関係（教師データ）とを比較することにより、機械学習を実施する。図１７に例示した推論結果は、任意数糸コーン撮像画像３１から３つの糸コーン領域Ａ～Ｃ（左下座標及び右上座標）の各々に含まれる５つの糸コーン２がそれぞれ検出されるととともに、糸コーン領域Ｃに囲まれた糸コーン２が張力付与装置「２」に接続され、糸コーン領域Ｂに囲まれた糸コーン２が張力付与装置「３」に接続され、糸コーン領域Ａに囲まれた糸コーン２が張力付与装置「１５」に接続されていることを示す。そのため、糸コーン領域Ｂに囲まれたる糸コーン２の接続関係について教師データとの間に誤差が生じており、当該誤差に基づいて推論モデル５０Ｃの重みが調整される。

【0117】

そして、学習終了条件が満たされて機械学習を終了すると、機械学習部６２は、その推論モデル５０Ｃを学習済みモデル５Ｃとして学習済みモデル記憶部６３に格納する。

【0118】

なお、本実施形態では、推論モデル５０Ｃの出力層５３には、ｎ個の張力付与装置１６を対応させて、張力付与装置１６の通し番号（識別情報）と、各張力付与装置１６に接続された糸コーン２の領域とを組み合わせて割り当てたものとして説明した。これに対し、出力層５３には、任意数の糸コーン２の領域を対応させて、糸コーン２の領域と、各糸コーン２に接続された張力付与装置１６の通し番号とを組み合わせて割り当てられてもよい。その場合には、出力層５３のデータ形式に合わせて、学習用データセットを構成する出力データの形式を変更すればよい、

【0119】

以上のように、本実施形態に係る機械学習装置６Ｃ及び機械学習方法によれば、任意数の糸コーン２を含むカメラ撮像画像３０から、当該カメラ撮像画像３０に含まれる任意数の糸コーン２の状態、特に、本実施形態では、糸コーン２と張力付与装置１６との接続関係を的確に検出（推定）することが可能な学習済みモデル５Ｃを生成することができる。

【0120】

（他の実施形態）
本発明は上述した実施形態に制約されるものではなく、本発明の主旨を逸脱しない範囲内で種々変更して実施することが可能である。そして、それらはすべて、本発明の技術思想に含まれるものである。

【0121】

（推論装置）
例えば、本発明は、上述した画像処理装置４Ａ～４Ｃの態様によるもののみならず、推論を行うための推論装置５Ａ、５Ｂ１、５Ｂ２、５Ｃの態様で提供することもできる。その場合、推論装置５Ａ、５Ｂ１、５Ｂ２、５Ｃとしては、メモリと、少なくとも１つのプロセッサとを含み、このうちのプロセッサが、一連の処理を実行するものとすることができる。当該一連の処理とは、任意数の糸コーンを含むカメラ撮像画像３０が入力される処理と、カメラ撮像画像３０が入力されると、当該カメラ撮像画像３０に含まれる任意数の糸コーン２の状態（例えば、糸コーンの糸残量、糸コーンと張力付与装置との接続関係、糸コーンが配置された位置等）を推論する処理とを含む。本発明を上述した推論装置５Ａ、５Ｂ１、５Ｂ２、５Ｃの態様で提供することで、画像処理装置４Ａ～４Ｃを実装する場合に比して簡単に種々の装置への適用が可能となる。このとき、推論装置が糸コーン２の状態を推論する処理を行うに際しては、上述したように、本発明における機械学習装置６Ａ、６Ｂ１、６Ｂ２、６Ａ及び機械学習方法によって学習された学習済みモデル５Ａ、５Ｂ１、５Ｂ２、５Ｃを用い、画像処理装置４Ａ～４Ｃの糸コーン状態検出部４１が実施する推論手法を適用してもよいことは、当業者にとって当然に理解され得るものである。

【0122】

また、上記実施形態では、画像処理装置４Ａ～４Ｃは、横編機１Ａ～１Ｃに適用されたものとして説明した。これに対し、画像処理装置４Ａ～４Ｃは、例えば、丸編機、経編機等の任意の形式の編機に適用されてもよい。また、画像処理装置４Ａ～４Ｃは、例えば、編機の製造工場にて編機に取り付けられてもよいし、工場出荷後に編機に後付けされてもよいし、工場出荷後に画像処理装置４Ａ～４Ｃが備える各部の機能が編機の制御盤１００に追加されてもよい。

【0123】

また、上記実施形態では、画像処理装置４Ａ～４Ｃは、カメラ撮像画像３０に対する画像処理として、学習済みモデルを用いた推論処理を行うものとして説明した。これに代えて、画像処理装置４Ａ～４Ｃは、カメラ撮像画像３０に対して、糸コーン２の特徴を表す認識パラメータを用いたパターンマッチング等のパターン認識処理を行うようにしてもよい。

【0124】

また、上記実施形態では、機械学習の学習手法として、ＣＮＮに基づく推論モデル５０Ａ、５０Ｂ１、５０Ｂ２、５０Ｃを用いたものとして説明したが、これに限定されるものではなく、上記実施形態における入出力の相関関係を学習用データセットから学習することができるものであれば、他の学習手法を採用してもよい。例えば、ニューラルネットワーク、アンサンブル学習（ランダムフォレスト、ブースティング等）、ＣＮＮを応用したＲ－ＣＮＮ（Region-based Convolutional Neural Network）、Ｆａｓｔ－Ｒ－ＣＮＮ、及び、Ｆａｓｔｅｒ－Ｒ－ＣＮＮ、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot multibox Detector）等の学習手法が用いられてもよい。その際、入力層５１に対する入力データ及び出力層５３に対する出力データのデータ形式は適宜してもよい。

【符号の説明】

【0125】

１…横編機、２、２Ａ～２Ｅ…糸コーン、３…カメラ、４Ａ～４Ｃ…画像処理装置、５Ａ…学習済みモデル、５Ｂ１…第１の学習済みモデル、５Ｂ２…第２の学習済みモデル、５Ｃ…学習済みモデル、６Ａ…機械学習装置、６Ｂ１…第１の機械学習装置、６Ｂ２…第２の機械学習装置、６Ｃ…機械学習装置、７…外部装置、８…端末装置、１１Ａ…下部フレーム、１１Ｂ…上部フレーム、１２…編針、１３…ニードルベッド、１４…キャリッジ、１５…天板、１６…張力付与装置、１７…サイドテンション部、１８…ヤーンフィーダ、２０…編糸、２１…芯部、３０…カメラ撮像画像、３１…任意数糸コーン撮像画像、３３…単一糸コーン撮像画像、４０…取得部、４１…糸コーン状態検出部、４２…モデル記憶部、４３…出力処理部、５０Ａ…推論モデル、５０Ｂ１…第１の推論モデル、５０Ｂ２…第２の推論モデル、５０Ｃ…推論モデル、５１…入力層、５２…中間層、５３…出力層、６０…学習用データセット取得部、６１…学習用データセット記憶部、６２…機械学習部、６３…モデル記憶部、１００…制御盤、１０１…操作表示盤、５２０…畳み込み層、５２１…プーリング層、５２２…全結合層

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】