特開 2024-18146 表示プログラム、表示方法、及び表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024018146

(43)【公開日】2024-02-08

(54)【発明の名称】表示プログラム、表示方法、及び表示装置

(51)【国際特許分類】

   D05B 43/00 20060101AFI20240201BHJP

   D05B 19/02 20060101ALI20240201BHJP

【ＦＩ】

D05B43/00 B

D05B19/02

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022121274

(22)【出願日】2022-07-29

(71)【出願人】

【識別番号】000005267

【氏名又は名称】ブラザー工業株式会社

(74)【代理人】

【識別番号】100104178

【弁理士】

【氏名又は名称】山本 尚

(74)【代理人】

【識別番号】100143960

【弁理士】

【氏名又は名称】藤田 早百合

(72)【発明者】

【氏名】峰松 容浩

(72)【発明者】

【氏名】今泉 一崇

(72)【発明者】

【氏名】柴田 一樹

【テーマコード（参考）】

3B150

【Ｆターム（参考）】

3B150CB04

3B150CE09

3B150CE23

3B150FA03

3B150FA06

3B150GD05

3B150LA55

3B150QA06

3B150QA07

(57)【要約】

【課題】任意の場所に配置された複数の糸駒の中から、縫製に用いる予定の糸駒を検出し、検出結果を表示可能な表示プログラム、表示方法、及び表示装置を提供すること。
【解決手段】表示装置は、撮影部と、表示部と、制御部とを備える。制御部は、表示プログラムに従い以下の処理を実行する。制御部は、撮影部により撮影された、現実空間を表す撮影画像を取得する（Ｓ７）。制御部は、検出対象の糸駒を示す対象情報を取得する（Ｓ５、Ｓ６）。制御部は、撮影画像と、対象情報とに基づき、検出対象の糸駒について、撮影画像上の糸駒位置を検出する（Ｓ９からＳ１２）。制御部は、撮影画像に基づく表示画像であって、糸駒位置を表す表示画像の何れかを生成する（Ｓ１４）。制御部は、表示画像を表示部に表示する（Ｓ１５）。
【選択図】図７

【特許請求の範囲】

【請求項1】

撮影部と、表示部と、制御部とを備えた表示装置の前記制御部に、
前記撮影部により撮影された、現実空間を表す撮影画像を取得する画像取得処理と、
検出対象の糸駒を示す対象情報を取得する情報取得処理と、
前記撮影画像と、前記対象情報とに基づき、前記検出対象の前記糸駒について、前記撮影画像上の糸駒位置を検出する検出処理と、
前記撮影画像に基づく表示画像であって、前記糸駒位置を表す前記表示画像を生成する画像生成処理と、
前記表示画像を前記表示部に表示する表示制御処理と
を実行させることを特徴とする表示プログラム。

【請求項2】

前記検出処理は、前記撮影画像と、前記対象情報とに基づき、前記撮影画像上における前記検出対象の前記糸駒の二次元コードの位置を検出することにより、前記糸駒位置を検出することを特徴とする請求項１に記載の表示プログラム。

【請求項3】

前記画像生成処理は、前記撮影画像上の前記糸駒位置の周辺に、特定のオブジェクトを配置することにより、前記糸駒位置を表す前記表示画像を生成することを特徴とする請求項１に記載の表示プログラム。

【請求項4】

前記対象情報は、複数種類の前記糸駒を用いて縫製を行う場合の、縫製順序と前記複数種類の糸駒の各々との対応を示す縫製順データを含み、
前記検出処理は、前記撮影画像と、前記対象情報とに基づき、前記複数種類の糸駒の各々の少なくとも一部を前記検出対象として、前記糸駒位置を検出し、
前記画像生成処理は、前記検出対象の前記糸駒の各々について、前記撮影画像上における前記糸駒位置を表す前記表示画像を生成することを特徴とする請求項１に記載の表示プログラム。

【請求項5】

前記画像生成処理は、前記撮影画像上における前記糸駒位置各々の周辺に、前記検出対象の前記糸駒の各々に対応する前記縫製順序を表すオブジェクトを各々配置することにより、前記糸駒位置を表す前記表示画像を生成することを特徴とする請求項４に記載の表示プログラム。

【請求項6】

前記画像生成処理は、前記縫製順データに基づき、前記複数種類の糸駒の中のうち、複数の前記縫製順序が割り当てられた前記検出対象の前記糸駒について、前記検出対象の前記糸駒に割り当てられた前記複数の縫製順序における最先の前記縫製順序を表す前記オブジェクトを、前記撮影画像上における前記糸駒位置の周辺に配置することにより、前記糸駒位置を表す前記表示画像を生成することを特徴とする請求項５に記載の表示プログラム。

【請求項7】

前記対象情報は、複数の針棒を備える多針ミシンにおいて、複数種類の前記糸駒を用いて縫製を行う場合に、前記複数種類の前記糸駒の各々を前記複数の針棒の何れかに割り当てた針棒データを含み、
前記画像生成処理は、前記複数種類の前記糸駒の各々の少なくとも一部を前記検出対象として、前記撮影画像上における前記糸駒位置各々の周辺に、前記複数の針棒のうちの前記検出対象の前記糸駒の各々に対応する針棒を表すオブジェクトを各々配置することで、前記糸駒位置を表す前記表示画像を生成することを特徴とする請求項１に記載の表示プログラム。

【請求項8】

前記表示装置は、前記撮影部による撮影の開始指示及び停止指示を入力するための入力部を備え、
前記表示プログラムは、
前記入力部により前記開始指示が入力されてから、前記停止指示が入力されるまでの撮影期間において、前記画像取得処理、前記検出処理、前記画像生成処理、及び前記表示制御処理を繰り返し実行することを特徴とする請求項１に記載の表示プログラム。

【請求項9】

前記表示装置はミシンと通信するための通信部を更に備え、
前記検出対象の前記糸駒は、縫製において最初に使用される前記糸駒又は縫製において次に使用される予定の前記糸駒であり、
前記情報取得処理は、前記通信部を介して、前記ミシンから前記対象情報を取得することを特徴とする請求項１に記載の表示プログラム。

【請求項10】

前記検出処理は、前記撮影画像と、前記対象情報とに基づき、前記検出対象の前記糸駒の前記撮影画像上の前記糸駒位置と、前記糸駒の向きとを検出し、
前記画像生成処理は、前記撮影画像上の前記糸駒位置の周辺に、前記特定のオブジェクトを前記糸駒の向きに合わせて配置することにより、前記糸駒位置と前記糸駒の向きとを表す前記表示画像を生成することを特徴とする請求項３に記載の表示プログラム。

【請求項11】

撮影部と、表示部と、制御部とを備えた表示装置の前記制御部により実行される表示方法であって、
前記撮影部により撮影された、現実空間を表す撮影画像を取得する画像取得工程と、
検出対象の糸駒を示す対象情報を取得する情報取得工程と、
前記撮影画像と、前記対象情報とに基づき、前記検出対象の前記糸駒について、前記撮影画像上の糸駒位置を検出する検出工程と、
前記撮影画像に基づく表示画像であって、前記糸駒位置を表す前記表示画像を生成する画像生成工程と、
前記表示画像を前記表示部に表示する表示制御工程と
を含むことを特徴とする表示方法。

【請求項12】

撮影部と、
表示部と、
制御部とを備え、
前記制御部は、
前記撮影部により撮影された、現実空間を表す撮影画像を取得する画像取得処理と、
検出対象の糸駒を示す対象情報を取得する情報取得処理と、
前記撮影画像と、前記対象情報とに基づき、前記検出対象の前記糸駒について、前記撮影画像上の糸駒位置を検出する検出処理と、
前記撮影画像に基づく表示画像であって、前記糸駒位置を表す前記表示画像を生成する画像生成処理と、
前記表示画像を前記表示部に表示する表示制御処理と
を実行することを特徴とする表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示プログラム、表示方法、及び表示装置に関する。

【背景技術】

【0002】

従来のミシンシステムは、縫製中における糸交換時に、必要な糸駒を探す作業を容易にするために、ミシン、収容ケース、検出部、検出結果送信部、検出結果受信部、及び表示部を備える（例えば、特許文献１参照）。収容ケースは、ミシンと別体に形成される。収容ケースは、格子状に区分けされた複数の収容部を有する。検出部は、収容部に収容された糸駒の種類と、収容ケースにおける収容位置とを関連付けた形態で検出する。検出結果送信部は、検出部が検出した検出結果をミシンに送信する。検出結果受信部は、ミシンに設けられ、検出結果送信部から検出結果を受信する。表示部は、検出結果に基づき縫製実行中に必要となる糸駒の種類と、収容ケースにおける収容位置とを表示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－２２８８８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来のミシンシステムでは、糸駒の検出には、専用の収容ケース内に糸駒が収容されている必要がある。

【0005】

本発明の目的は、任意の場所に配置された複数の糸駒の中から、縫製に用いる予定の糸駒を検出し、検出結果を表示可能な表示プログラム、表示方法、及び表示装置を提供することである。

【課題を解決するための手段】

【0006】

本発明の第一態様に係る表示プログラムは、撮影部と、表示部と、制御部とを備えた表示装置の前記制御部に、前記撮影部により撮影された、現実空間を表す撮影画像を取得する画像取得処理と、検出対象の糸駒を示す対象情報を取得する情報取得処理と、前記撮影画像と、前記対象情報とに基づき、前記検出対象の前記糸駒について、前記撮影画像上の糸駒位置を検出する検出処理と、前記撮影画像に基づく表示画像であって、前記糸駒位置を表す前記表示画像を生成する画像生成処理と、前記表示画像を前記表示部に表示する表示制御処理とを実行させる。表示プログラムが表示装置の制御部によって実行された場合、表示装置は、現実空間を表す撮影画像に基づく、検出対象の糸駒の位置を表す表示画像を表示部に表示させる。したがって、表示プログラムは、ユーザが、検出対象の糸駒を探す際に、所持している糸駒群を表示装置の撮影部で撮影し、表示部に表示される表示画像を確認することにより、任意の場所に配置された複数の糸駒の中から検出対象の糸駒を容易に発見することに貢献する。

【0007】

本発明の第二態様に係る表示方法は、撮影部と、表示部と、制御部とを備えた表示装置の前記制御部により実行される表示方法であって、前記撮影部により撮影された、現実空間を表す撮影画像を取得する画像取得工程と、検出対象の糸駒を示す対象情報を取得する情報取得工程と、前記撮影画像と、前記対象情報とに基づき、前記検出対象の前記糸駒について、前記撮影画像上の糸駒位置を検出する検出工程と、前記撮影画像に基づく表示画像であって、前記糸駒位置を表す前記表示画像を生成する画像生成工程と、前記表示画像を前記表示部に表示する表示制御工程とを含む。表示方法が表示装置の制御部によって実行された場合、表示装置は、現実空間を表す撮影画像に基づく、検出対象の糸駒の位置を表す表示画像を表示部に表示させる。したがって、表示方法は、ユーザが、検出対象の糸駒を探す際に、所持している糸駒群を表示装置の撮影部で撮影し、表示部に表示される表示画像を確認することにより、任意の場所に配置された複数の糸駒の中から検出対象の糸駒を容易に発見することに貢献する。

【0008】

本発明の第三態様に係る表示装置は、撮影部と、表示部と、制御部とを備え、前記制御部は、前記撮影部により撮影された、現実空間を表す撮影画像を取得する画像取得処理と、検出対象の糸駒を示す対象情報を取得する情報取得処理と、前記撮影画像と、前記対象情報とに基づき、前記検出対象の前記糸駒について、前記撮影画像上の糸駒位置を検出する検出処理と、前記撮影画像に基づく表示画像であって、前記糸駒位置を表す前記表示画像を生成する画像生成処理と、前記表示画像を前記表示部に表示する表示制御処理とを実行する。表示装置は、現実空間を表す撮影画像に基づく、検出対象の糸駒の位置を表す表示画像を表示部に表示させる。したがって、表示装置は、ユーザが、検出対象の糸駒を探す際に、所持している糸駒群を表示装置の撮影部で撮影し、表示部に表示される表示画像を確認することにより、任意の場所に配置された複数の糸駒の中から検出対象の糸駒を容易に発見することに貢献する。

【図面の簡単な説明】

【0009】

【図1】端末装置１、刺繍ミシン２、及び多針ミシン５を備える表示システム４の説明図である。

【図2】端末装置１、刺繍ミシン２、及び多針ミシン５を備える表示システム４の電気的構成を示すブロック図である。

【図3】端末装置１、刺繍ミシン２、及び多針ミシン５の少なくとも何れかが記憶する糸色テーブルＴの説明図である。

【図4】刺繍ミシン２のＣＰＵ７又は多針ミシン５のＣＰＵ８により実行されるミシン処理のフローチャートである。

【図5】具体例の刺繍模様Ｅと、刺繍模様Ｅを縫製するための縫製データＤとの説明図である。

【図6】多針ミシン５の各針棒６７に設定された糸交換前の針棒番号と糸色との対応を記憶するテーブルＱＢと、縫製データＤに基づき設定される、糸交換後の針棒番号と糸色との対応を記憶するテーブルＱＡとの説明図である。

【図7】端末装置１のＣＰＵ６により実行されるメイン処理のフローチャートである。

【図8】撮影部１１が取得した撮影画像Ｇ１と、撮影画像Ｇ１に基づき生成した表示画像Ｇ２からＧ４との説明図である。

【図9】撮影部１１が取得した撮影画像Ｇ１と、撮影画像Ｇ１に基づき生成した表示画像Ｇ５、Ｇ６との説明図である。

【図10】変形例の糸駒Ｕ１からＵ４の糸駒位置を検出する処理の説明図である。

【発明を実施するための形態】

【0010】

本開示の実施形態を、図面を参照して説明する。図１に示すように、表示システム４（以下、「システム４」という。）は、端末装置１、刺繍ミシン２（以下、「ミシン２」という。）、及び多針ミシン５（以下、「ミシン５」という。）を備える。端末装置１、ミシン２、及びミシン５は各々、ネットワーク３を介して通信可能である。

【0011】

端末装置１は、撮影部１１、表示部１８、入力部１９、及びＣＰＵ６を備えた、タブレット型の携帯端末装置又はスマートフォンである。撮影部１１は、例えば、現実空間を撮影した画像データを生成するよう構成されている。表示部１８は、例えば、画像を表示するよう構成された液晶ディスプレイである。入力部１９は、各種指示を入力するよう構成されたタッチスクリーンである。ＣＰＵ６は端末装置１の制御を司る。ミシン２は、一本の針棒３７を備え、刺繍縫製が可能なミシンである。ミシン５は、針棒６７を複数備え、刺繍縫製が可能な多針ミシンである。システム４の端末装置１は、ミシン２、５の何れかから送信された縫製順データに基づき、端末装置１で撮影された画像の中から縫製に使用する予定の糸駒を検出し、検出結果を報知可能に構成されている。

【0012】

ミシン２は、一本の針棒３７を備える刺繍ミシンである。ミシン２は、ベッド部４６、脚柱部４７、アーム部４８、頭部４９、縫製部１０、及び移動機構４０を備える。ベッド部４６は、左右方向に延びるミシン２の土台部である。脚柱部４７は、ベッド部４６の右端部から上方へ立設される。脚柱部４７の前面には、表示部２８及び入力部２９が設けられる。表示部２８は、例えば、画像を表示するよう構成された液晶ディスプレイである。入力部２９は、各種指示を入力するよう構成されたタッチスクリーンである。アーム部４８は、ベッド部４６に対向して脚柱部４７の上端から左方へ延びる。頭部４９は、アーム部４８の左先端部に連結する部位である。縫製部１０は、頭部４９に、針棒３７、押え棒（図示略）、及び針棒駆動機構３６（図２参照）等を備え、針棒３７を上下動することで、被縫製物Ｃに縫目を形成する。針棒３７の下端には、縫針４４が着脱可能に装着される。縫製部１０は、ベッド部４６に、図示しない釜機構を備える。

【0013】

移動機構４０は、針棒３７に対して刺繍枠４５に保持された被縫製物Ｃを相対的に移動可能に構成される。移動機構４０は、本体ケース４１及びキャリッジ４２を備える。本体ケース４１は、図示しないＸ移動機構を収容する。キャリッジ４２は、図示しないＹ移動機構を収容する。刺繍縫製時には、ユーザは、キャリッジ４２に、大きさの異なる複数種類の刺繍枠４５から選択された１つの刺繍枠４５を装着する。刺繍枠４５は、Ｙ移動機構及びＸ移動機構によって、ミシン２に固有のＸＹ座標系（刺繍座標系）で示される針落ち点に移動される。ミシン２は、刺繍枠４５を移動するのと併せて、縫製部１０の針棒駆動機構３６及び釜機構が駆動することにより、刺繍枠４５に保持された被縫製物Ｃ上に刺繍模様を形成する。

【0014】

ミシン５は、複数の針棒６７を備える多針ミシンである。ミシン５は、本体部８１、針棒ケース８２、主軸モータ７３、針棒ケース用モータ６８、複数の針棒６７、針棒駆動機構６６、シリンダベッド８６、針板８７、移動機構８８、操作部７２、左右一対の糸駒台９９、及び糸道経路９２を備える。本体部８１は、針棒ケース８２を左右方向に移動可能に支持する。本体部８１の内部には、主軸モータ７３及び針棒ケース用モータ６８が収容される。針棒ケース用モータ６８は、針棒ケース８２を左右方向に移動可能である。針棒ケース８２の内部には、複数の針棒６７及び針棒駆動機構６６が設けられる。本例のミシン５は、十本の針棒６７を備える。十本の針棒６７は各々、上下方向に伸び、左右方向に等間隔で配置されている。各針棒６７の下端には、縫針８４が装着可能である。針棒駆動機構６６は、主軸モータ７３の回動に応じて、複数の針棒６７のうちの、後述する駆動針棒６７を上下方向に摺動するように構成されている。シリンダベッド８６は、針棒ケース８２の下方において、前後方向に筒状に延びる。シリンダベッド８６の先端部には、図示しない、釜、及び釜駆動機構が設けられる。釜駆動機構は、釜を回転駆動する。針板８７は、シリンダベッド８６の上面に設けられた、平面視矩形状の板であり、上下方向に貫通する針穴が形成されている。複数の針棒６７のうち、針板８７に形成された針穴の直上である駆動位置に配置された針棒６７が駆動針棒６７である。

【0015】

移動機構８８は、針棒ケース８２の下方に設けられる。移動機構８８は、ホルダ８９、Ｘモータ６９、及びＹモータ７０を備える。ホルダ８９は、刺繍枠７５を含む複数種類の刺繍枠のうちの一つを取り外し可能に支持する。刺繍枠７５は、被縫製物を取り外し可能に保持する。被縫製物は、例えば加工布である。移動機構８８は、Ｘモータ６９及びＹモータ７０を駆動源として、ホルダ８９に装着された刺繍枠７５を、固有のＸＹ座標系（刺繍座標系）で示される位置に移動可能である。刺繍座標系のＸ方向及びＹ方向は各々、ミシン５の左右方向及び前後方向に対応する。

【0016】

操作部７２は、本体部８１の右方に設けられる。操作部７２は、表示部５８、入力部５９、及びスタート／ストップスイッチ６０を備える。表示部５８は、例えば、画像を表示するよう構成された液晶ディスプレイである。入力部５９は、各種指示を入力するよう構成されたタッチスクリーンである。スタート／ストップスイッチ６０は、縫製の開始又は停止を指示する際に使用される。

【0017】

左右一対の糸駒台９９は、本体部８１の上面の背面側に設けられる。各糸駒台９９には、複数の糸立棒９０が設けられる。糸立棒９０は、糸駒Ｕ４を支持する。上糸９６は、糸駒台９９に設置された糸駒Ｕ４から供給される。上糸９６は、糸道経路９２を経由して、針棒６７の下端に装着された縫針８４の目孔に供給される。糸道経路９２は、糸案内９７と、糸調子器９４と、天秤９５とを含む。

【0018】

図２を参照して、端末装置１、ミシン２、５の電気的構成を説明する。端末装置１は、ＣＰＵ６、ＲＯＭ１２、ＲＡＭ１３、記憶部１４、通信部１５、及び入出力インターフェイス１７を備える。ＣＰＵ６は、端末装置１の制御を司る。ＣＰＵ６は、バス１６を介して、ＲＯＭ１２、ＲＡＭ１３、記憶部１４、通信部１５、及び入出力インターフェイス１７と電気的に接続する。ＲＯＭ１２には、ブートプログラム及びＢＩＯＳ等が記憶される。ＲＡＭ１３には、一時的なデータが記憶される。記憶部１４は、ＨＤＤ及びＳＳＤ等の不揮発性の記憶装置である。記憶部１４には、後述のメイン処理の実行に必要な各種設定値が記憶される。通信部１５は、端末装置１をネットワーク３に接続するためのインターフェイスである。ＣＰＵ６は、通信部１５を介して、ネットワーク３に接続する他の機器（例えば、ミシン２、５）とデータの送受信を実行できる。入出力インターフェイス１７には、表示部１８、入力部１９、及び撮影部１１が接続されている。撮影部１１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。

【0019】

ミシン２の制御部２０は、ＣＰＵ７、ＲＯＭ２２、ＲＡＭ２３、記憶部２４、入出力インターフェイス２６、及び通信部２７を備えている。ＣＰＵ７はバス２５を介して、ＲＯＭ２２、ＲＡＭ２３、記憶部２４、入出力インターフェイス２６、及び通信部２７と接続されている。入出力インターフェイス２６には、駆動回路３１から３４、入力部２９、及びスタート／ストップスイッチ３０が接続されている。記憶部２４は、不揮発性の記憶装置である。記憶部２４は、後述のミシン処理の実行に必要な各種設定値を記憶する。

【0020】

駆動回路３１には、主軸モータ３５が接続される。駆動回路３１は、ＣＰＵ７からの制御信号に従って、主軸モータ３５を駆動する。主軸モータ３５の駆動に伴い、ミシン２の主軸（図示略）を介して針棒駆動機構３６が駆動される。駆動回路３２には、Ｘモータ３８が接続される。駆動回路３３には、Ｙモータ３９が接続される。駆動回路３２及び３３は各々、ＣＰＵ７からの制御信号に従って、Ｘモータ３８及びＹモータ３９を駆動する。Ｘモータ３８及びＹモータ３９の駆動に伴い、制御信号に応じた移動量だけ、移動機構４０に装着された刺繍枠４５が左右方向（Ｘ方向）及び前後方向（Ｙ方向）に移動する。駆動回路３４は、ＣＰＵ７からの制御信号に従って、表示部２８に画像を表示する。通信部２７は、ミシン２をネットワーク３に接続する。ＣＰＵ７は、通信部２７を介して、ネットワーク３に接続する他の機器（例えば、端末装置１）とデータの送受信を実行できる。

【0021】

ミシン２の動作を簡単に説明する。ミシン２は、刺繍枠４５が移動機構４０によってＸ方向及びＹ方向に移動されるのと併せて、針棒駆動機構３６及び釜機構が駆動される。これにより、針棒３７に装着された縫針４４によって、刺繍枠４５に保持された被縫製物Ｃに対して刺繍模様が縫製される。

【0022】

ミシン５の制御部５０は、ＣＰＵ８、ＲＯＭ５２、ＲＡＭ５３、記憶部５４、入出力インターフェイス５６、及び通信部５７を備えている。ＣＰＵ８はバス５５を介して、ＲＯＭ５２、ＲＡＭ５３、記憶部５４、入出力インターフェイス５６、及び通信部５７と接続されている。入出力インターフェイス５６には、駆動回路６１から６５、入力部５９、及びスタート／ストップスイッチ６０が接続されている。記憶部５４は、不揮発性の記憶装置である。記憶部５４は、後述のミシン処理の実行に必要な各種設定値を記憶する。

【0023】

駆動回路６１には、主軸モータ７３が接続される。駆動回路６１は、ＣＰＵ８からの制御信号に従って、主軸モータ７３を駆動する。主軸モータ７３の駆動に伴い、ミシン５の主軸（図示略）を介して針棒駆動機構６６が駆動され、駆動針棒６７が上下動する。駆動回路６２には、針棒ケース用モータ６８が接続される。駆動回路６２は、ＣＰＵ８からの制御信号に従って、針棒ケース用モータ６８を駆動し、本体部８１に対し、針棒ケース８２を左右方向に移動させる。駆動回路６３には、Ｘモータ６９が接続される。駆動回路６４には、Ｙモータ７０が接続される。駆動回路６３及び６４は各々、ＣＰＵ８からの制御信号に従って、Ｘモータ６９及びＹモータ７０を駆動する。Ｘモータ６９及びＹモータ７０の駆動に伴い、制御信号に応じた移動量だけ、移動機構８８に装着された刺繍枠７５が左右方向（Ｘ方向）及び前後方向（Ｙ方向）に移動する。駆動回路６５は、ＣＰＵ８からの制御信号に従って、表示部５８に画像を表示する。通信部５７は、ミシン５をネットワーク３に接続する。ＣＰＵ８は、通信部５７を介して、ネットワーク３に接続する他の機器（例えば、端末装置１）とデータの送受信を実行できる。

【0024】

ミシン５の動作を簡単に説明する。針棒ケース８２が左右に移動することで、十本の針棒６７のうち一本が駆動針棒６７として選択される。ミシン５は、刺繍枠７５が移動機構８８によってＸ方向及びＹ方向に移動されるのと併せて、針棒駆動機構６６及び釜機構が駆動される。これにより、駆動針棒６７に装着された縫針４４によって、刺繍枠７５に保持された被縫製物に対して刺繍模様が縫製される。

【0025】

図３を参照して、記憶部１４、２４、５４の少なくとも何れかに記憶された、糸色テーブルＴを説明する。糸色テーブルＴは、ミシン２、５で刺繍模様Ｅを縫製する場合に用いられる糸の識別番号Ｔ１、色名Ｔ２、及びその他の情報Ｔ３を含む。識別番号Ｔ１は、例えば、三桁の数字で表される。その他の情報Ｔ３は、例えば、カラーコード、糸色固有の図形等の標識、及び識別番号Ｔ１又は色名Ｔ２に対応する二次元コードの画像等である。二次元コードは、ＱＲコード（登録商標）、ＶｅｒｉＣｏｄｅ（ベリコード）、ＣＰコード、ＡｚｔｅｃＣｏｄｅ（アズテックコード）、及びＰＤＦ４１７等から適宜選択されたものでよい。糸色テーブルＴが記憶部１４に記憶される場合、端末装置１は後述のメイン処理で糸色テーブルＴを参照する。糸色テーブルＴが記憶部２４、５４に記憶される場合、ミシン２、５は後述のミシン処理で糸色テーブルＴを参照する。

【0026】

図４から図６を参照して、システム４のミシン２のＣＰＵ７又はミシン５のＣＰＵ８が実行するミシン処理を説明する。以下、ステップをＳと略記する。一例として、図５の縫製データＤによって表される、刺繍模様Ｅを縫製する場合を説明する。ミシン２のＣＰＵ７は、電源がＯＮにされた後、ユーザから縫製対象の刺繍模様Ｅが選択された状態で、糸駒検出の開始指示を取得した場合に、記憶部２４に記憶されたプログラムをＲＡＭ２３に読み出す。ＣＰＵ７は、ＲＡＭ２３に読み出されたプログラムに含まれる指示に従って、以下のステップを有するミシン処理を実行する。同様にミシン５のＣＰＵ８は、糸駒検出の開始指示を取得した場合に、記憶部５４に記憶されたプログラムをＲＡＭ５３に読み出し、読み出されたプログラムに含まれる指示に従って、以下のステップを有するミシン処理を実行する。ミシン処理の過程で得られた各種データは、適宜ＲＡＭ２３、５３に記憶される。糸駒検出の開始指示は、端末装置１から受信してもよく、入力部２９、５９から入力されてもよい。ミシン２のＣＰＵ７によって実行されるミシン処理と、ミシン５のＣＰＵ８によって実行されるミシン処理とは互いに異なるタイミングで実行されるが、説明を簡単にするため、両者を並列に説明する。通常、ミシン２で用いられる糸駒Ｈ（図８参照）と、ミシン５で用いられる糸駒Ｕ４（図１、図１０参照）とは、形状及び大きさが互いに異なるが、以下では説明を簡単にするため、糸駒Ｈを用いて説明する。

【0027】

図４に示すように、ＣＰＵ７、８は、選択された刺繍模様Ｅの縫製データＤを取得する（Ｓ３１）。図５に示すように、刺繍模様Ｅは、「ＢＲＡＳＳ」、「ＬＡＶＥＮＤＥＲ」、「ＬＩＬＡＣ」、「ＳＡＬＭＯＮ ＰＩＮＫ」、「ＣＡＲＭＩＮＥ」、「ＬＩＭＥ ＧＲＥＥＮ」、及び「ＭＩＮＴ ＧＲＥＥＮ」の七種類の糸駒を使用して縫製される。刺繍模様Ｅは、使用される糸駒Ｈの色に応じた八つの部分模様を有する。「ＬＩＬＡＣ」の糸駒Ｈは、縫製順序が三番の部分模様の縫製と八番の部分模様の縫製との各々に用いられる。縫製データＤは、縫製順序Ｄ１、糸色Ｄ２、及び座標データＤ３を含む。縫製順序Ｄ１は１以上の整数で表される。糸色Ｄ２は、刺繍模様Ｅを構成する複数の部分模様の縫製に使用される糸の色を示す。糸色Ｄ２は、糸色テーブルＴに記憶された色名Ｔ２でもよいし、糸色の識別番号Ｔ１であってもよいし、その他の情報Ｔ３に含まれる、糸色固有の図形等の標識等であってもよい。座標データＤ３は、刺繍模様Ｅの部分模様毎に設定された縫目の形成位置、つまり、針落ち点の位置を刺繍座標系の座標で示すデータである。即ち座標データＤ３は、針落ち点毎の複数の座標を表すデータ群を含む。ミシン２のＣＰＵ７は、針棒３７の下端に装着された縫針４４に供給されている上糸の色、つまり現在の糸色を取得する（Ｓ３２）。縫針４４に供給されている上糸は、例えば、記憶部２４に記憶されている。ＣＰＵ７は、例えば「ＢＬＡＣＫ」を取得する。同様にミシン５のＣＰＵ８は、十本の針棒６７の各々について、縫針８４に供給されている上糸の色、つまり針棒６７毎の現在の糸色を取得する（Ｓ３２）。各縫針８４に供給されている上糸の色は、例えば、記憶部５４に記憶されている。ＣＰＵ８は、例えば図６の左側のテーブルＱＢを取得する。テーブルＱＢは、針棒番号Ｑ１と、針棒番号Ｑ１で表される針棒６７の下端に装着された縫針８４に供給された糸色Ｑ２との対応を記憶する。各針棒６７には、針棒番号Ｑ１として、右側から順に１から１０の数字が割り当てられる。テーブルＱＢでは、針棒番号Ｑ１が１から１０の針棒６７には各々、「ＢＬＡＣＫ」、「ＢＲＯＷＮ」、「ＷＨＩＴＥ」、「ＭＩＮＴ ＧＲＥＥＮ」、「ＧＲＥＥＮ」、「ＰＩＮＫ」、「ＹＥＬＬＯＷ」、「ＣＡＲＭＩＮＥ」、「ＬＩＭＥ ＧＲＥＥＮ」、及び「ＲＥＤ」の糸色Ｑ２が割り当てられている。

【0028】

ＣＰＵ７、８は、ミシン情報を送信する（Ｓ３３）。ミシン情報は、ミシン２、５の属性を示す情報を含む。ミシン情報は、針棒の数を表す情報を含む。つまり、ミシン２のミシン情報は、針棒３７の数を含み、ミシン５のミシン情報は、針棒６７の数を含む。ミシン情報は、現在縫製中の部分模様の縫製順序を含んでもよい。ミシン情報は、Ｓ３２で取得された現在の糸色が含まれてもよい。ＣＰＵ７、８は、対象情報をミシン２、５で設定するかを判断する（Ｓ３４）。対象情報は、端末装置１で撮影された画像の中から、刺繍模様Ｅの縫製に用いられる糸駒Ｈを検出する際に用いる情報であり、検出対象の糸駒Ｈを示す情報である。対象情報がミシン２、５で設定されない場合（Ｓ３４：ＮＯ）、ＣＰＵ７、８は、縫製データＤに基づき、縫製順序Ｄ１と、糸色Ｄ２とが対応付けられたデータＰを縫製順データとして端末装置１に送信する（Ｓ３６）。データＰは、縫製データＤから座標データＤ３を除いたデータである。

【0029】

対象情報がミシン２で設定される場合（Ｓ３４：ＹＥＳ）、ＣＰＵ７は、Ｓ３１で取得された縫製データＤと、Ｓ３２で取得された現在の糸色とに基づき、対象情報を設定する（Ｓ３５）。ＣＰＵ７は、Ｓ３１で取得された縫製データＤが示す糸色に、現在の糸色が含まれる場合、ＣＰＵ７は、当該現在の糸色を検出対象から除外した対象情報を設定する。ＣＰＵ７は、例えば、縫製順序Ｄ１及び糸色Ｄ２を含むデータＰを対象情報として設定する。ＣＰＵ７は、縫製順序が次の糸駒Ｈの糸色Ｒ３のみを対象情報に設定してもよい。ＣＰＵ７は、Ｓ３５で設定された対象情報であるデータＰを縫製順データとして端末装置１に送信する（Ｓ３６）。

【0030】

同様に、対象情報がミシン５で設定される場合（Ｓ３４：ＹＥＳ）、ＣＰＵ８は、Ｓ３１で取得された縫製データＤと、Ｓ３２で取得された現在の糸色とに基づき、対象情報を設定する（Ｓ３５）。ＣＰＵ８は、Ｓ３１で取得された縫製データＤが示す糸色に、現在の糸色が含まれる場合、ＣＰＵ８は、当該現在の糸色を検出対象から除外した対象情報を設定する。具体的には、図６の右側に示す糸交換後のテーブルＱＡは、針棒番号Ｑ１及び糸色Ｑ２を含む。テーブルＱＡのように、ＣＰＵ８は、縫製データＤが示す糸色のうち、現在の糸色に含まれない色を、現在の糸色に含まれない色が割り当てられた針棒６７に割り当てる。針棒番号４、８、９が、縫製データＤが示す糸色のうち、現在の糸色に含まれる糸色が割り当てられた針棒６７を表す。針棒番号２、３、５、６が、糸交換される針棒６７を表す。つまり本実施形態では、糸交換する糸駒Ｈの数が最小となるように、対象情報が設定される。テーブルＱＡでは、針棒番号Ｑ１が１から１０の針棒６７には各々、「ＢＬＡＣＫ」、「ＢＲＡＳＳ」、「ＬＡＶＥＮＤＥＲ」、「ＭＩＮＴ ＧＲＥＥＮ」、「ＬＩＬＡＣ」、「ＳＡＬＭＯＮ ＰＩＮＫ」、「ＣＡＲＭＩＮＥ」、「ＬＩＭＥ ＧＲＥＥＮ」、及び「ＲＥＤ」の糸色Ｑ２が割り当てられている。ＣＰＵ８は、例えば、図６に示すように、対象情報Ｒを設定する。対象情報Ｒは、糸交換される糸駒Ｈの縫製順序Ｒ１、針棒番号Ｒ２、及び糸交換後の糸色Ｒ３を含む。ＣＰＵ８は、Ｓ３５で設定された対象情報Ｒを縫製順データとして端末装置１に送信する（Ｓ３６）。

【0031】

ＣＰＵ７、８は縫製開始の指示を検出したかを判断する（Ｓ３７）。ユーザは、端末装置１で実行されるメイン処理により、刺繍模様Ｅの縫製に使用予定の糸駒Ｈを見つけ出し、ミシン２、５に装着後、スタートスイッチ／ストップスイッチ３０、６０を操作して、縫製開始の指示を入力する。縫製開始の指示が検出されていない場合（Ｓ３７：ＮＯ）、ＣＰＵ７、８は、縫製開始の指示を検出するまで待機する。縫製開始の指示が検出された場合（Ｓ３７：ＹＥＳ）、ＣＰＵ７、８は、現在の糸色を更新する（Ｓ３８）。ミシン２の場合、ＣＰＵ７は、記憶部２４に記憶される現在の糸色を、縫製データＤに基づき、次の縫製順序の糸色で上書きして、現在の糸色を更新する。ミシン５の場合、ＣＰＵ８は、記憶部５４に記憶される現在の糸色を、糸交換後のテーブルＱＡにより上書きして、現在の糸色を更新する。ＣＰＵ７、８は、Ｓ３１で取得された縫製データＤによって表される刺繍模様Ｅの縫製に際して、現在の糸色の部分模様の縫製が完了した後においても糸交換が再度必要かを判断する（Ｓ３９）。ＣＰＵ７は、縫製順序が一番目から七番目の何れかの部分模様の縫製を開始する指示を取得後のＳ３９では、次に縫製する部分模様が現在の糸色と違う糸色で縫製されるため、糸交換が必要と判断し（Ｓ３９：ＹＥＳ）、Ｓ３４と同様に、対象情報をミシン２で設定するかを判断する（Ｓ４０）。

【0032】

対象情報がミシン２で設定されない場合（Ｓ４０：ＮＯ）、ＣＰＵ７は、データＰと現在の縫製順序とを縫製順データとして端末装置１に送信する（Ｓ４２）。ミシン２で対象情報を設定する場合（Ｓ４０：ＹＥＳ）、ＣＰＵ７は、Ｓ３１で取得された縫製データＤと、Ｓ３８で更新された現在の糸色とに基づき、対象情報を設定する（Ｓ４１）。具体的には、ＣＰＵ７は、縫製順序が現在縫製中の部分模様の次以降の糸色のうち、現在縫製中の部分模様以前に使用されていない糸色を対象情報に設定する。Ｓ４１の処理をミシン５のＣＰＵ８が実行する場合、縫製順序が現在縫製中の部分模様の次以降の糸色のうち、現在縫製中の部分模様以前に使用されていない糸色、且つ、現在の糸色に含まれない糸色を対象情報に設定する。本例では、縫製順序が現在縫製中の部分模様の次以降の糸色のうち、現在縫製中の部分模様以前に使用された糸色は、メイン処理開始時点でミシン２、５に装着されていた、又は既に後述の端末装置１のメイン処理で検出済みである等の理由によりユーザの手元にあると想定されるため、対象情報から除外される。ＣＰＵ７、８は、Ｓ４１で設定された対象情報を縫製順データとして端末装置１に送信する（Ｓ４２）。ＣＰＵ７は、縫製順序が八番目の部分模様の縫製を開始する指示を取得後のＳ３９では、次に縫製する部分模様は存在しないため、糸交換が不要と判断し（Ｓ３９：ＮＯ）、後述のＳ４３の処理を行う。また、本具体例では例示がないが、次に縫製する部分模様が現在の糸色と同じ糸色で縫製される場合においても、糸交換が不要と判断される。

【0033】

ミシン２のＣＰＵ７は、縫製データＤに基づき、部分模様を縫製する（Ｓ４３）。具体例では、一回目のＳ４３では、ミシン２のＣＰＵ７は、縫製データＤに基づき、移動機構４０及び主軸モータ３５を駆動し、糸色が「ＢＲＡＳＳ」であり、縫製順序が一番目の部分模様を縫製する。一方ミシン５のＣＰＵ８は、縫製データＤに基づき、針棒６７毎の現在の糸色、つまり、現在装着されている複数の糸駒Ｈで縫製可能な一以上の部分模様を、順に縫製する（Ｓ４３）。具体例ではＣＰＵ８は、移動機構８８、主軸モータ７３、及び針棒ケース用モータ６８を駆動し、糸色が「ＢＲＡＳＳ」であり、縫製順序が一番目の部分模様から、糸色が「ＬＩＬＡＣ」であり、縫製順序が八番目の部分模様までを連続して縫製する。ＣＰＵ７、８は、Ｓ３１で取得された縫製データＤに基づき、全ての部分模様を縫製したかを判断する（Ｓ４４）。ミシン２で縫製順序が一番目から七番目の何れかの部分模様が縫製された後のＳ４４では（Ｓ４４：ＮＯ）、次に縫製する部分模様が存在するため、ＣＰＵ７は、処理をＳ３７に戻す。Ｓ３７ではミシン２のユーザは、縫製順序が次の部分模様の縫製に用いる糸駒Ｈに交換後、縫製開始の指示を入力する。ミシン２で縫製順序が八番目の部分模様が縫製された後のＳ４４では（Ｓ４４：ＹＥＳ）、次に縫製する部分模様は存在しないため、ＣＰＵ７は、以上でミシン処理を終了する。ミシン５で縫製順序が一番目から八番目の部分模様が順に縫製された後のＳ４４では（Ｓ４４：ＹＥＳ）、次に縫製する部分模様は存在しないため、ＣＰＵ８は、以上でミシン処理を終了する。

【0034】

図５から図８を参照して、システム４の端末装置１のＣＰＵ６が実行するメイン処理を説明する。以下、ステップをＳと略記する。端末装置１のＣＰＵ６は、電源がＯＮにされた後、アプリケーションが起動された状態で、表示部１８に表示された開始ボタンＢ１の選択を検出した場合に、記憶部１４に記憶された表示プログラムをＲＡＭ１３に読み出す。ＣＰＵ６は、ＲＡＭ１３に読み出された表示プログラムに含まれる指示に従って、以下のステップを有するメイン処理を実行する。一例として、図５の縫製データＤによって表される、刺繍模様Ｅを縫製する場合の縫製順データがミシン２又はミシン５から送信された場合を説明する。ミシン２から縫製順データが送信された場合のメイン処理と、ミシン５から縫製順データが送信された場合のメイン処理は、互いに異なるタイミングで実行されるが、以下では説明を簡単にするために並列に説明する。通常、ミシン２で用いられる糸駒Ｈ（図８参照）と、ミシン５で用いられる糸駒Ｕ４（図１、図１０参照）とは、形状及び大きさが互いに異なるが、以下では説明を簡単にするため、糸駒Ｈを用いて説明する。図８に示すように、糸駒Ｈは、本体部Ｈ１と、本体部Ｈ１の外周に巻回された糸Ｈ２とを有する。本体部Ｈ１は、貫通孔Ｈ３が形成された筒状であり、本体部Ｈ１の長手方向の両端部に鍔部Ｈ４、Ｈ５が形成されている。鍔部Ｈ４の表面には、二次元コードＨ７を含むラベルＨ６が貼付されている。二次元コードＨ７は、糸駒Ｈに巻回された糸Ｈ２の色を示す情報を表す。二次元コードＨ７は、製造番号等他の情報を含んでもよい。ミシン２では、糸駒Ｈは、アーム部４８の内部において、左右方向に延びる糸立棒（図示略）に挿通され、支持される。ミシン５では、糸駒Ｈは、糸駒台９９の糸立棒９０に挿通され、支持される。ユーザは、撮影部１１の撮影範囲内に、複数の糸駒Ｈを収めるように端末装置１の撮影部１１を複数の糸駒Ｈ側に向ける。

【0035】

図７に示すように、ＣＰＵ６は、ミシン処理のＳ３３で送信された、ミシン情報を取得する（Ｓ１）。ＣＰＵ６は、ミシン処理のＳ３６又はＳ４２で送信された縫製順データを取得する（Ｓ２）。ＣＰＵ６は、表示画像の生成に用いるオブジェクト条件を設定する（Ｓ３）。表示画像は、撮影部１１が撮影した撮影画像に基づき生成される画像であり、撮影画像中の検出対象の糸駒位置を表す画像である。オブジェクト条件は、検出対象の糸駒Ｈの撮影画像中の位置を表すオブジェクトの表示態様と、表示画像中のオブジェクトの表示数を規定する条件である。本例の端末装置１は、ミシン２から縫製順データを取得した場合、表示態様として、矢印で筒状の糸駒Ｈの貫通孔Ｈ３の位置を指し示す第一条件、及び糸駒Ｈの貫通孔Ｈ３の上方に、糸駒Ｈの向きに応じた姿勢の縫製順序を数字で示す第二条件の何れかを設定できる。端末装置１は、ミシン５から縫製順データを取得した場合、表示態様として、第一条件、第二条件、及び糸駒Ｈの貫通孔Ｈ３の上方に、糸駒Ｈの向きに応じた姿勢の針棒番号を数字で示す第三条件の何れかを設定できる。表示数は、オブジェクトの表示数を規定する。表示数は、例えば、１、所定数、及び未使用の糸駒Ｈの数の何れかを選択できる。未使用の糸駒Ｈの数は、縫製データＤが指定する糸駒Ｈのうち、縫製に用いられていない糸駒Ｈの数である。オブジェクト条件は、ユーザが選択可能であってもよいし、ミシン情報及び縫製順データ等に応じて、ＣＰＵ６が自動的に設定してもよい。

【0036】

ＣＰＵ６は、対象情報を端末装置１で設定するかを判断する（Ｓ４）。対象情報が端末装置１で設定される場合（Ｓ４：ＹＥＳ）、ＣＰＵ６は、Ｓ３５又はＳ４１と同様に対象情報を設定し、設定された対象情報を取得する（Ｓ５）。具体的には、ＣＰＵ６は、Ｓ１で取得されたミシン情報に含まれる糸色及び現在縫製中の部分模様の縫製順序と、Ｓ２で取得された縫製順データとに基づき、データＰで示される糸駒Ｈの内、縫製順序が現在の糸色の次以降の糸色で、Ｓ３で設定されたオブジェクト条件の表示数の糸駒Ｈを対象情報に設定する。表示数が１である場合のミシン２についての対象情報として、ＣＰＵ６は、例えば、縫製順序が一番目の糸駒Ｈを示す情報を対象情報として設定し、設定された対象情報を取得する。表示数が未使用の糸駒Ｈの数である場合のミシン５についての対象情報として、ＣＰＵ６は、例えば、対象情報Ｒを設定し、設定された対象情報Ｒを取得する。対象情報を端末装置１で設定しない場合（Ｓ４：ＮＯ）、ＣＰＵ６は、Ｓ２で取得された縫製順データを対象情報として取得する（Ｓ６）。ＣＰＵ６は、撮影部１１を駆動して、撮影部１１により撮影された現実空間を表す撮影画像Ｇ１を取得する（Ｓ７）。ユーザは、撮影部１１の撮影範囲内に、所有する複数の糸駒Ｈの少なくとも一部が収まるように、撮影部１１の向きを適宜調整する。

【0037】

ＣＰＵ６は、Ｓ７で取得された撮影画像Ｇ１を表示部１８に表示する、又は後述のＳ１５の処理で表示された表示画像の表示を継続する（Ｓ８）。ＣＰＵ６は、Ｓ７で取得された撮影画像Ｇ１を画像処理して、糸駒Ｈの貫通孔Ｈ３の位置を糸駒位置として検出する（Ｓ９）。ＣＰＵ６は、例えば二値化等の画像処理により、撮影画像Ｇ１を、背景とのコントラストを強調した画像に変換後、変換された撮影画像Ｇ１の中から糸駒ＨのラベルＨ６中の二次元コードＨ７を検出し、二次元コードＨ７の撮影画像Ｇ１中の位置に基づき糸駒位置を検出する。糸駒位置は、糸駒Ｈの撮影画像Ｇ１中の位置を表すものであればよく、二次元コードＨ７の代表点により示されてもよいし、二次元コードＨ７の位置、大きさ、及び向きに基づき特定される、糸駒Ｈの代表点により表されてもよい。本例のＣＰＵ６は、糸駒Ｈの貫通孔Ｈ３の中心を糸駒位置とする。二次元コードＨ７としてＱＲコード（登録商標）が使用された場合、ＣＰＵ６は、撮影画像Ｇ１内でＱＲコード（登録商標）の四隅のうち、三隅に配置される同一の切り出しシンボルのパターン検知を利用して、糸駒位置を検出する。具体的には、ＣＰＵ６は、撮影画像内から切り出しシンボルを複数個検出する処理を実行する。ＣＰＵ６は、画像内の複数の上記切り出しシンボルの組み合わせからＱＲコード（登録商標）を一以上検出する。ＣＰＵ６は、切り出しシンボルの位置により糸駒Ｈの向きを検出する。糸駒Ｈの向きの基準は適宜設定されればよい。

【0038】

ＣＰＵ６は、Ｓ９の処理で、一以上の糸駒位置が検出されたかを判断する（Ｓ１０）。一以上の糸駒位置が検出されていない場合（Ｓ１０：ＮＯ）、ＣＰＵ６は、処理をＳ７に戻す。ＣＰＵ７は、「カメラを糸駒に向けてください。」等のメッセージを表示してもよい。具体例の撮影画像Ｇ１では、二次元コードＨ７の数に応じた十六個の糸駒位置が検出され（Ｓ１０：ＹＥＳ）、ＣＰＵ６は、Ｓ９で検出された糸駒位置のうち、取得順序が次の糸駒位置を取得する（Ｓ１１）。撮影画像Ｇ１中の糸駒位置の取得順序は適宜設定されればよい。ＣＰＵ６は、例えば、撮影画像Ｇ１の左から右、上から下の順に、糸駒位置の取得順序を設定する。ＣＰＵ６は、Ｓ１１で取得された糸駒位置の二次元コードＨ７を復号し、復号された情報が示す糸駒Ｈの糸色が、Ｓ５又はＳ６で設定された対象情報が示す検出対象の糸色と同じかを判断する（Ｓ１２）。検出対象が複数ある場合、ＣＰＵ６は、復号された糸色と、検出対象の糸色とを縫製順に比較し、復号された糸色が、検出対象に含まれる一又は複数の糸駒のうちの何れかの糸色と同じかを判断する。復号された糸色が、検出対象の糸色ではない場合（Ｓ１２：ＮＯ）、ＣＰＵ６は、後述のＳ１６の処理を行う。

【0039】

復号された糸色が、検出対象の糸色である場合（Ｓ１２：ＹＥＳ）、ＣＰＵ６は、Ｓ１１で取得した糸駒位置にオブジェクトが表示済みかを判断する（Ｓ１３）。複数の部分模様からなる刺繍模様Ｅを縫製する場合、一つの糸色の糸駒Ｈが、互いに異なる縫製順序の部分模様の縫製に利用される場合がある。図５に示すように、刺繍模様Ｅの縫製データＤには、「ＬＩＬＡＣ」が、縫製順序が三番と八番の部分模様の縫製に用いられる糸色として含まれる。本例のＣＰＵ６は、複数の縫製順序が割り当てられた検出対象の糸駒Ｈについて、検出対象の糸駒Ｈに割り当てられた複数の縫製順序における最先の縫製順序を表すオブジェクトを、撮影画像Ｇ１上における糸駒位置の周辺に配置するため、Ｓ１３の処理を行う。ＣＰＵ６は、検出対象の糸色に対応する縫製順序よりも、先の縫製順序に、同じ糸色が割り当てられている場合に、表示済みと判断する。Ｓ１１で取得した糸駒位置にオブジェクトを表示済みである場合（Ｓ１３：ＹＥＳ）、ＣＰＵ６は、後述のＳ１６の処理を行う。Ｓ１１で取得した糸駒位置にオブジェクトを表示済みではない場合（Ｓ１３：ＮＯ）、ＣＰＵ６は撮影画像Ｇ１に基づく表示画像であって、Ｓ１１で取得した糸駒位置を表す表示画像を生成する（Ｓ１４）。ＣＰＵ６は、Ｓ７で取得された撮影画像Ｇ１のうちの検出対象の糸駒位置の周辺に、Ｓ３で設定された条件のオブジェクトを順に追加して表示画像を生成する。ＣＰＵ６は、オブジェクトを内包する最小矩形の下辺の中心が糸駒位置と重なる位置に、オブジェクトを配置する。ＣＰＵ６は、オブジェクト条件が第二条件及び第三条件の何れかである場合、撮影画像Ｇ１上の糸駒位置の周辺に、オブジェクト条件により指定されたオブジェクトを糸駒Ｈの向きに合わせて変形させて配置することにより、表示画像を生成する。ＣＰＵ６は、Ｓ１４で生成された表示画像を表示部１８に表示する（Ｓ１５）。

【0040】

ＣＰＵ６は、Ｓ５、又はＳ６で設定された全検出対象について、糸駒位置の周辺にオブジェクトを追加した表示画像を生成したかを判断する（Ｓ１６）。検出対象の全糸駒Ｈについて、糸駒位置の周辺にオブジェクトを追加した表示画像が生成された場合（Ｓ１６：ＹＥＳ）、ＣＰＵ６は後述のＳ１８の処理を行う。少なくとも一部の検出対象について、糸駒位置の周辺にオブジェクトを追加した表示画像が生成されていない場合（Ｓ１６：ＮＯ）、ＣＰＵ６は、Ｓ９で検出された全ての糸駒位置が、Ｓ１１で取得されたかを判断する（Ｓ１７）。一部の糸駒位置が、Ｓ１１で取得されていない場合（Ｓ１７：ＮＯ）、ＣＰＵ６は、処理をＳ１１に戻す。

【0041】

図８に示すように、ミシン５のオブジェクト条件について、表示数が未使用の糸駒Ｈの数であり、表示態様に第一条件が設定されている場合、ＣＰＵ６は、撮影画像Ｇ１の検出対象の糸駒位置にオブジェクトＣ１を表示した表示画像Ｇ２を表示部１８に表示部１８に表示する。オブジェクトＣ１は、筒状の糸駒Ｈの貫通孔Ｈ３の位置を指し示す矢印である。オブジェクト条件について、表示数が未使用の糸駒Ｈの数であり、表示態様に第二条件が設定されている場合、ＣＰＵ６は、撮影画像Ｇ１の検出対象の糸駒位置にオブジェクトＣ２を表示した表示画像Ｇ３を表示部１８に表示部１８に表示する。オブジェクトＣ２は、糸駒Ｈの貫通孔Ｈ３の上方に、糸駒Ｈの向きに応じた姿勢の縫製順序を表す数字である。オブジェクト条件について、表示数が未使用の糸駒Ｈの数であり、表示態様に第三条件が設定されている場合、ＣＰＵ６は、撮影画像Ｇ１の検出対象の糸駒位置にオブジェクトＣ３を表示した表示画像Ｇ４を表示部１８に表示部１８に表示する。オブジェクトＣ３は、糸駒Ｈの貫通孔Ｈ３の上方に、糸駒Ｈの向きに応じた姿勢の針棒番号を表す数字である。表示画像Ｇ２からＧ４は何れも、右上部に停止ボタンＢ２を含む。停止ボタンＢ２は、メイン処理を終了することを指示する。オブジェクトＣ１は、糸駒Ｈの向きに関わらず、一定の形状で表示される。オブジェクトＣ２、Ｃ３は、Ｓ９で検出された糸駒Ｈの向きに応じて、変形されている。ミシン２のオブジェクト条件について、表示数が所定数４であり、表示態様に第一条件が設定されている場合も、ＣＰＵ６は表示画像Ｇ２を生成し、表示画像Ｇ２を表示部１８に表示する。ミシン２のオブジェクト条件について、表示数が所定数４であり、表示態様に第二条件が設定されている場合も、ＣＰＵ６は表示画像Ｇ３を生成し、表示画像Ｇ３を表示部１８に表示する。

【0042】

図９に示すように、ミシン２のオブジェクト条件について、表示数が１であり、表示態様に第一条件が設定されている場合、ＣＰＵ６は、撮影画像Ｇ１の検出対象の糸駒位置にオブジェクトＣ１を表示した表示画像Ｇ５を表示部１８に表示部１８に表示する。オブジェクト条件について、表示数が１であり、表示態様に第二条件が設定されている場合、ＣＰＵ６は、撮影画像Ｇ１の検出対象の糸駒位置にオブジェクトＣ２を表示した表示画像Ｇ６を表示部１８に表示部１８に表示する。表示画像Ｇ５、Ｇ６は何れも、右上部に停止ボタンＢ２を含む。停止ボタンＢ２は、メイン処理を終了することを指示する。オブジェクトＣ１は、糸駒Ｈの向きに関わらず、一定の形状で表示される。オブジェクトＣ２は、糸駒Ｈの向きに応じて、変形されている。

【0043】

Ｓ９で検出された全部の糸駒位置が、Ｓ１１で取得された場合（Ｓ１７：ＹＥＳ）、ＣＰＵ６は、オブジェクトの表示を終了する指示が検出されたかを判断する（Ｓ１８）。ユーザは、オブジェクトの表示を終了する場合、停止ボタンＢ２を選択する。オブジェクトの表示を終了する指示を検出していない場合（Ｓ１８：ＹＥＳ）、ＣＰＵ６は、処理をＳ７に戻す。オブジェクトの表示を終了する指示を検出した場合（Ｓ１８：ＮＯ）、ＣＰＵ６は、以上でメイン処理を終了する。メイン処理終了後、表示部１８に表示されていた表示画像は静止画として表示部１８に表示されたままであってもよいし、表示部１８での表示が終了されてもよい。

【0044】

上記実施形態において、端末装置１、ＣＰＵ６、撮影部１１、通信部１５、表示部１８、入力部１９は各々、本発明の表示装置、制御部、撮影部、通信部、表示部、及び入力部の一例である。Ｓ２の処理は、本発明の画像取得処理、画像取得工程の一例である。Ｓ５、Ｓ６は、本発明の情報取得処理、情報取得工程の一例である。Ｓ９からＳ１２の処理は、本発明の検出処理、検出工程の一例である。Ｓ１４の処理は、本発明の画像生成処理、画像生成工程の一例である。Ｓ１５の処理は、表示制御処理、表示制御工程の一例である。

【0045】

上記実施形態のシステム４の端末装置１は、撮影部１１と、表示部１８と、ＣＰＵ６とを備える。ＣＰＵ６は、表示プログラムに従い以下の処理を実行する。ＣＰＵ６は、撮影部１１により撮影された、現実空間を表す撮影画像Ｇ１を取得する（Ｓ７）。一例として、ＣＰＵ６は、検出対象の糸駒Ｈを示す対象情報としてデータＰを取得する（Ｓ５、Ｓ６）。ＣＰＵ６は、撮影画像Ｇ１と、対象情報とに基づき、検出対象の糸駒Ｈについて、撮影画像Ｇ１上の糸駒位置を検出する（Ｓ９からＳ１２）。ＣＰＵ６は、撮影画像Ｇ１に基づく表示画像Ｇ２であって、糸駒位置を表す表示画像Ｇ２を生成する（Ｓ１４）。ＣＰＵ６は、表示画像Ｇ２を表示部１８に表示する（Ｓ１５）。端末装置１は、現実空間を表す撮影画像Ｇ１に基づいて生成された、検出対象の糸駒Ｈの位置を示す表示画像Ｇ２を表示部１８に表示させる。したがって、端末装置１は、ユーザが、検出対象の糸駒Ｈを探す際に、所持している糸駒Ｈ群を端末装置１の撮影部１１で撮影し、表示部１８に表示される表示画像Ｇ２を確認することにより、任意の場所に配置された複数の糸駒Ｈの中から検出対象の糸駒Ｈを容易に発見することに貢献する。

【0046】

Ｓ９からＳ１２の処理では、ＣＰＵ６は、撮影画像Ｇ１と、対象情報とに基づき、撮影画像Ｇ１上における検出対象の糸駒Ｈの二次元コードＨ７の位置を検出することにより、糸駒位置を検出する。端末装置１は、二次元コードＨ７を用いて検出処理を行うことにより、撮影画像Ｇ１の中から検出対象の糸駒Ｈの位置を検出する処理を比較的簡単にでき、検出精度を上げることに貢献する。

【0047】

Ｓ１４の処理では、ＣＰＵ６は、撮影画像Ｇ１上の糸駒位置の周辺に、特定のオブジェクトＣ１を配置することにより、検出対象の糸駒位置を表す表示画像Ｇ２を生成する。端末装置１は、撮影画像Ｇ１上の糸駒位置の周辺に特定のオブジェクトを配置するという比較的簡単な処理により、表示画像Ｇ２を生成できる。したがって、端末装置１は、ユーザが表示画像Ｇ２の特定のオブジェクトＣ１を参照することで、検出対象の糸駒Ｈの位置を容易に確認することに貢献する。

【0048】

対象情報は、複数種類の糸駒Ｈを用いて縫製を行う場合の、縫製順序と複数種類の糸駒Ｈの各々との対応を示す縫製順データを含む。Ｓ９からＳ１２の処理では、ＣＰＵ６は、撮影画像Ｇ１と、対象情報とに基づき、複数種類の糸駒Ｈの各々の少なくとも一部を検出対象として、糸駒位置を検出する。Ｓ１４の処理では、ＣＰＵ６は、複数種類の糸駒Ｈの各々について、撮影画像Ｇ１上における検出対象の糸駒位置を表す表示画像Ｇ２を生成する。端末装置１は、縫製に使用する複数種類の糸駒Ｈをまとめて検出することに貢献する。したがって、端末装置１は、ユーザが、複数種類の糸駒Ｈを用いて縫製する場合に、複数種類の糸駒Ｈを用意する作業を一度にまとめて行うことに貢献する。

【0049】

Ｓ１４の処理では、ＣＰＵ６は、撮影画像Ｇ１上における糸駒位置各々の周辺に、複数種類の糸駒Ｈの各々に対応する縫製順序を表すオブジェクトＣ２を各々配置することにより、検出対象の糸駒位置を表す表示画像Ｇ３を生成する。端末装置１は、検出対象の糸駒Ｈの周辺に、糸駒Ｈの縫製順序を表すオブジェクトＣ２表示するので、ユーザが縫製データＤに従って縫製する場合に必要な糸駒Ｈを、縫製順序に従って準備することに貢献する。したがって、端末装置１は、複数種類の糸駒Ｈを用いて縫製する場合にも、縫製順序が表示されない場合に比べ、縫製作業を効率化することに貢献する。

【0050】

Ｓ１４の処理では、ＣＰＵ６は、縫製順データに基づき、複数種類の糸駒Ｈの中の、複数の縫製順序が割り当てられた検出対象の糸駒Ｈについて、検出対象の糸駒Ｈに割り当てられた複数の縫製順序における最先の縫製順序を表すオブジェクトＣ２を、撮影画像Ｇ１上における糸駒位置の周辺に配置することにより、検出対象の糸駒位置を表す表示画像Ｇ３を生成する。端末装置１は、複数回同じ糸駒Ｈが使用される場合であっても、糸駒位置の周辺に最先の縫製順序を表すオブジェクトＣ２を配置することで、糸駒位置を分かりやすく表示することに貢献する。端末装置１は、一つの糸駒Ｈの糸駒位置に、縫製順序を示すオブジェクトＣ２が複数配置される場合に比べ、ユーザが必要な糸駒Ｈを特定する作業の効率を向上させることに貢献する。

【0051】

対象情報Ｒは、複数の針棒６７を備える多針ミシン５において、複数種類の糸駒Ｈを用いて縫製を行う場合に、複数種類の糸駒Ｈの各々を複数の針棒６７の何れかに割り当てた針棒データを含む。Ｓ１４の処理では、ＣＰＵ６は、複数種類の糸駒Ｈの各々を検出対象として、撮影画像Ｇ１上における糸駒位置各々の周辺に、複数の針棒６７のうちの複数種類の糸駒Ｈの各々に対応する針棒６７を表すオブジェクトＣ３を各々配置することで、検出対象の糸駒位置を表す表示画像Ｇ４を生成する。端末装置１は、複数の針棒６７を備える多針ミシン５において、複数種類の糸駒Ｈを用いて縫製を行う場合に、表示画像Ｇ４に表示された糸駒Ｈを複数の針棒６７のうちのどの針棒６７に装着するか表示することで、ユーザの縫製作業を容易にすることに貢献する。

【0052】

端末装置１は、撮影部１１による撮影の開始指示及び停止指示を入力する入力部１９を備える。ＣＰＵ６は、入力部１９により開始指示が入力されてから、停止指示が入力されるまでの撮影期間において、Ｓ７の処理、Ｓ９から１２の処理、Ｓ１４の処理、及びＳ１５の処理を繰り返し実行する（Ｓ１８：ＮＯ）。端末装置１は、撮影期間中はリアルタイムで表示画像を連続して更新し、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示するので、ユーザが端末装置１により撮影部１１の撮影範囲を変更しながら表示部１８を確認し、効率的に糸駒Ｈを発見することに貢献する。

【0053】

端末装置１はミシン２、５と通信するための通信部１５を備える。検出対象の糸駒Ｈは、縫製において最初に使用される予定の糸駒Ｈ又は縫製において次に使用される予定の糸駒Ｈである。Ｓ２の処理では、ＣＰＵ６は、通信部１５を介して、ミシン２、５から対象情報を取得する。端末装置１は、ミシン２、５と通信を行い、ミシン２、５から、縫製において最初に使用される予定の糸駒Ｈ又は次に使用する予定の糸駒Ｈの対象情報を取得することにより、ユーザが最初又は次に必要な糸駒Ｈを容易に準備することに貢献する。

【0054】

Ｓ９からＳ１２の処理では、ＣＰＵ６は、撮影画像Ｇ１と、対象情報とに基づき、検出対象の糸駒Ｈの撮影画像Ｇ１上の糸駒位置と、糸駒Ｈの向きとを検出する。Ｓ１４の処理では、ＣＰＵ６は、撮影画像Ｇ１上の糸駒位置の周辺に、特定のオブジェクトＣ２を糸駒Ｈの向きに合わせて配置することにより、検出対象の糸駒位置と糸駒Ｈの向きとを表す表示画像Ｇ３を生成する。端末装置１は、ユーザが、表示画像Ｇ３中の特定のオブジェクトＣ２の向きに基づいて、現実空間において、検出対象の糸駒Ｈがどの向きで配置されているかを把握することに貢献する。

【0055】

本発明の表示プログラム、表示方法、及び表示装置は、上記した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更が加えられてもよい。例えば、以下の変形が適宜加えられてもよい。

【0056】

本発明は種々の態様で実行可能であり、例えば、表示プログラムを記憶した非一時的コンピュータ可読媒体、並びに、表示装置及びミシンを備える表示システム等の形態で実現されてもよい。

【0057】

（Ａ）表示システム４は、ミシン２及びミシン５の何れかのみを備えてもよい。表示システム４が備えるミシンの種類、数は適宜変更されてよい。ミシン２、５と、端末装置１とは有線で接続されてもよい。ミシン２、５の構成は適宜変更してよい。ミシン５の針棒６７の本数は適宜変更されてよい。端末装置１の構成は、適宜変更されてよく、例えば、デジタルカメラ等でもよい。端末装置１の表示部１８は、画像を表示可能であればよく、例えば、有機ＥＬディスプレイ、プラズマディスプレイ、プラズマチューブアレイディスプレイ、電気泳動等を利用した電子ペーパーディスプレイ等でもよい。端末装置１の入力部１９は、タッチスクリーンの他、キーボード、マウス、及びジョイスティック等でもよい。

【0058】

（Ｂ）図７のメイン処理を実行させるための指令を含むプログラムは、端末装置１が有するＣＰＵ６が、プログラムを実行するまでに、記憶部１４に記憶されればよい。したがって、プログラムの取得方法、取得経路及びプログラムを記憶する機器の各々は、適宜変更してもよい。各装置が実行するプログラムは、ケーブル又は無線通信を介して、他の装置から受信し、記憶部等の記憶装置に記憶されてもよい。他の装置は、例えば、ＰＣ、及びネットワーク網を介して接続されるサーバを含む。同様に、図４のミシン処理を実行させるための指令を含むプログラムは、ミシン２が有するＣＰＵ７及びミシン５が有するＣＰＵ８の少なくとも何れかが、プログラムを実行するまでに、対応する記憶部２４、５４に記憶されればよい。したがって、プログラムの取得方法、取得経路及びプログラムを記憶する機器の各々は、適宜変更してもよい。各装置が実行するプログラムは、ケーブル又は無線通信を介して、他の装置から受信し、記憶部等の記憶装置に記憶されてもよい。

【0059】

（Ｃ）メイン処理の各ステップは、ＣＰＵ６によって実行される例に限定されず、一部又は全部が他の電子機器（例えば、ＡＳＩＣ）によって実行されてもよい。同様に、ミシン処理の各ステップは、ＣＰＵ７又はＣＰＵ８によって実行される例に限定されず、一部又は全部が他の電子機器によって実行されてもよい。メイン処理、ミシン処理の各ステップは、複数の電子機器（例えば、複数のＣＰＵ）によって分散処理されてもよい。メイン処理、ミシン処理の各ステップは、必要に応じて順序の変更、ステップの省略、及び追加が可能である。メイン処理、及びミシン処理に、以下の変更が適宜加えられてもよい。

【0060】

メイン処理は、ミシン２で刺繍模様が縫製される場合の処理のみを含んでよいし、ミシン５で刺繍模様が縫製される場合の処理のみが含まれてもよい。システム４は、対象情報をミシン２、５で設定するか、端末装置１で設定するかを選択できなくてもよく、予め対象情報がどの装置で設定されるか決定されていてもよい。

【0061】

糸駒位置は、糸駒Ｈの代表点を示す位置であればよい。糸駒Ｈの代表点は適宜変更されてよい。糸駒位置の周辺とは、糸駒位置の定義によって適宜設定されてよく、糸駒位置とオブジェクトが重なる位置であってもよいし、糸駒位置とオブジェクトとの距離が所定範囲となる位置であってもよい。所定範囲は、糸駒Ｈの形状及び大きさと、オブジェクトの形状、大きさ、及び配置とに応じて適宜設定されればよい。所定範囲は、例えば、糸駒Ｈの鍔部Ｈ４の半径で表される。オブジェクトは、オブジェクトの一部が糸駒Ｈと重なる位置に配置されてもよい。撮影画像Ｇ１中から検出対象の糸駒位置を検出する処理は適宜変更されてよい。ＣＰＵ６は、撮影画像Ｇ１に対して機械学習又は深層学習により生成された識別モデルを適用することで、糸駒Ｈの形状及び大きさと、糸駒Ｈの糸色とを識別して、検出対象の糸駒位置を検出してもよい。この場合、照明等の撮影条件に応じて、糸駒Ｈの色が異なるため、メイン処理が実行される撮影条件で、色見本を撮影した結果に基づき、撮影画像Ｇ１が補正されることが好ましい。ＣＰＵ６は、検出対象の二次元コードＨ７と、撮影画像Ｇ１とを比較して、撮影画像中から検出対象の二次元コードＨ７を検出することで、検出対象の糸駒位置を検出してもよい。この場合、検出対象の二次元コードＨ７の画像は、端末装置１で生成されてもよいし、ミシン２又はミシン５で生成され、端末装置１に送信されてもよい。

【0062】

糸駒Ｈは、図１０に示す変形例の糸駒Ｕ１からＵ４のように適宜変更されてよく、ＣＰＵ６は、糸駒Ｕ１からＵ４に応じて、検出方法を変更してもよい。図１０では、糸駒Ｈが有する構成と同じ構成には同じ符号を付与している。糸駒Ｕ１は、本体部Ｈ１の表面に添付された、ラベルＵ５に、糸駒Ｕ１の糸Ｈ２の色に応じた図形Ｊ１が配置されている。この場合、ＣＰＵ６は、撮影画像上における検出対象の糸駒Ｈの図形Ｊ１の位置を検出することにより、糸駒位置を検出してもよい。糸駒Ｕ２は、本体部Ｈ１の表面に添付された、ラベルＵ６に、糸駒Ｕ２の糸Ｈ２の色に応じた識別番号Ｊ２が配置されている。識別番号Ｊ２は、一例として、アラビア数字で表される。この場合、ＣＰＵ６は、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ／Ｒｅａｄｅｒ）処理を行い、撮影画像上における検出対象の糸駒Ｈの識別番号Ｊ２の位置を検出することにより、糸駒位置を検出してもよい。糸駒Ｕ３は、本体部Ｈ１の表面に添付された、ラベルＵ７に、糸駒Ｕ３の糸Ｈ２の色に応じた糸色Ｊ３が配置されている。糸色Ｊ３は、一例として、アルファベットの文字で表される。この場合、ＣＰＵ６は、ＯＣＲ処理を行い、撮影画像上における検出対象の糸駒Ｈの糸色Ｊ３の位置を検出することにより、糸駒位置を検出してもよい。糸駒Ｕ４は、ミシン５に装着される糸駒であり、鍔部Ｕ９と、筒状部Ｕ１０とを有する。筒状部Ｕ１０の外周には糸Ｕ８が巻回されている。糸駒Ｕ４は、筒状部Ｕ１０の上端部と、鍔部Ｕ９の外周縁部との各々に二次元コードＨ７を配置する。この場合、ＣＰＵ６は、撮影画像上における検出対象の糸駒Ｈの二次元コードＨ７の位置を検出することにより、糸駒位置を検出してもよい。糸駒Ｕ４において、二次元コードＨ７は、図形Ｊ１、識別番号Ｊ２、及び糸色Ｊ３の少なくとも何れかに置き換えられてもよい。

【0063】

対象情報は、縫製順序が次の部分模様の縫製に用いられる糸駒Ｈの色のみを含んでもよいし、縫製順序が次以降の所定個の部分模様の縫製に用いられる糸駒Ｈの色を含んでもよい。所定個は、ユーザが設定できてもよいし、端末装置１及びミシン２、５により自動で設定されてもよい。対象情報は、縫製順序が現在縫製中の部分模様の次以降の糸色のうち、現在縫製中の部分模様以前に使用された糸色の糸駒を対象情報に含めてもよい。ミシン２、５は、糸交換で取り外される糸駒Ｈが、縫製順序が現在縫製中の部分模様の次以降で使用される場合に、当該糸駒Ｈが再度使用される予定である旨を表示部２８、５８に表示して報知してもよい。オブジェクトＣ２、Ｃ３の少なくとも何れかは、糸駒Ｈの向きに応じて、変形されなくてもよい。オブジェクトＣ１は、糸駒Ｈの向きに応じて、変形されてもよい。

【0064】

オブジェクトは、矢印以外の図形であってもよいし、数字以外のアルファベット等の各種文字列であってもよい。オブジェクトは、ユーザが設定したお気に入りの図形、オリジナルアイコン等であってもよい。オブジェクトが文字列である場合、「ｆｉｒｓｔ」、「ｓｅｃｏｎｄ」等のアルファベット文字により、縫製順序又は針棒番号を表してもよいし、糸駒Ｈの糸色又は識別番号を表してもよい。縫製順序は、刺繍模様Ｅ全体の縫製順序であってもよいし、現在縫製中の部分模様の縫製順序を０、現在縫製中の部分模様の次に縫製される部分模様の縫製順序を１とする、順序を表してもよい。オブジェクトの色、大きさ、配置は、適宜変更されてよい。オブジェクトの色は、撮影画像中に目立つように、撮影画像中に検出されない色が優先して設定されてもよいし、黄色に、黒の縁取り等、コントラストの大きい、複数の色が設定されてもよい。オブジェクトの大きさは、撮影画像中の糸駒Ｈの大きさに応じて変更されてもよい。オブジェクトの配置は、検出対象の糸駒Ｈの周辺であればよく、検出対象の糸駒Ｈの左方、右方、下方、右斜め上方、左斜め上方、右斜め下方、及び左斜め下方の何れかであってもよい。オブジェクトの色、大きさ、配置は、ユーザが設定可能であってもよいし、端末装置１及びミシン２、５が自動で設定してもよい。

【0065】

表示画像の生成方法は適宜変更されてよい。糸駒位置は、オブジェクトにより示されなくてもよい。ＣＰＵ６は、例えば、撮影画像Ｇ１中の検出対象の糸駒Ｈの輪郭が所定の太さ、且つ所定の色の線により強調された表示画像を生成してもよい。ＣＰＵ６は、例えば、撮影画像Ｇ１中の検出対象の糸駒Ｈの色を変更する、又は検出対象の糸駒Ｈを点滅表示させる表示画像を生成してもよい。表示画像は、各種画像処理を経た撮影画像のうちの、検出対象の周辺にオブジェクトを配置することで生成されてもよい。各種画像処理は、例えば、モノクロ処理、グレースケール処理等を含む。表示画像の更新頻度は適宜変更されてよい。表示画像は静止画でもよい。ＣＰＵ６は、検出対象が複数の糸駒Ｈを含む場合、検出対象に含まれる複数の糸駒Ｈ毎に表示画像を生成してもよい。ＣＰＵ６は、検出対象が複数の糸駒Ｈを含む場合、検出対象に含まれる複数の糸駒Ｈの全てが検出されたか否かを示す情報を表示画像に含めてもよいし、表示画像とは別に表示してもよい。

【0066】

刺繍模様Ｅがミシン５で縫製される場合、糸駒Ｈを針棒６７に割り当てる処理は、ミシン５のみで実行可能であってもよいし、端末装置１のみで実行可能であってもよい。ユーザは、オブジェクト条件が互いに異なる表示画像Ｇ２からＧ６を切り替え可能であってもよい。二次元コードＨ７が、糸駒Ｈの製造番号を含む場合、且つ、撮影画像Ｇ１から同じ色の糸駒Ｈが複数検出された場合、ＣＰＵ６は、同じ色の複数の糸駒Ｈのうち、製造番号が一番小さい、つまり、製造時期が最も古い糸駒Ｈだけに、オブジェクトを表示してもよい。一つの糸駒Ｈが縫製順序の互いに異なる部分模様の縫製に用いられる場合、ＣＰＵ６は、最先の縫製順序だけでなく、二以上の縫製順序を表すオブジェクトを糸駒位置の周辺に配置した表示画像を生成してもよい。ＣＰＵ６は、最先の縫製順序のオブジェクトのみを糸駒位置の周辺に配置する場合、最先の縫製順序以外を対象情報から除外し、Ｓ１３の処理を省略してもよい。縫製順データ、ミシン情報の少なくとも何れかは、ミシン２、５から取得されなくてもよく、ユーザが入力部１９を介して手入力してもよい。その場合、端末装置１は、通信部１５を備えず、ミシン２、５と通信できなくてもよい。ミシン２、５の現在の糸色は、端末装置１の撮影画像に基づき検出されてもよい。

【0067】

二次元コードＨ７は、糸駒Ｈに巻回された糸Ｈ２の色を示す情報を表すが、糸駒Ｈを識別できればこの構成に限定されない。例えば、二次元コードＨ７は、識別番号Ｔ１等の情報であってもよい。上記変形例は矛盾の内範囲で適宜組み合わされてもよい。

【符号の説明】

【0068】

１：端末装置、２、５：ミシン、６：ＣＰＵ、１１：撮影部、１５：通信部、１８：表示部、１９：入力部、６７：針棒、Ｃ１からＣ３：オブジェクト、Ｇ１：撮影画像、Ｇ２からＧ５：表示画像、Ｈ、及びＵ１からＵ４：糸駒、Ｈ７：二次元コード

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】