特表 2024-514205 対話式拡張現実ミシン

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-28

(54)【発明の名称】対話式拡張現実ミシン

(51)【国際特許分類】

   D05B 19/02 20060101AFI20240321BHJP

   D05C 13/00 20060101ALI20240321BHJP

【ＦＩ】

D05B19/02

D05C13/00

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023563214

(86)(22)【出願日】2022-04-14

(85)【翻訳文提出日】2023-12-05

(86)【国際出願番号】 US2022024768

(87)【国際公開番号】W WO2022221503

(87)【国際公開日】2022-10-20

(31)【優先権主張番号】63/175,194

(32)【優先日】2021-04-15

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】522483105

【氏名又は名称】シンガー ソーシング リミテッド エルエルシー

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】クヴァルンストランド、ローラ

【テーマコード（参考）】

3B150

【Ｆターム（参考）】

3B150AA15

3B150CE09

3B150CE23

3B150CE27

3B150EB09

3B150GE29

3B150GG00

3B150GG04

3B150GG10

3B150LA63

3B150LB02

3B150NA59

3B150QA07

(57)【要約】

ソーイング行為の対話式ガイダンスのためのシステムおよび方法が、本明細書で説明される。媒体をスレッディングする、一般の機械メンテナンスを行う、およびパターンを使用して縫い付けるなどの、多くのソーイング行為は、困難であり得、正しく実行するために複数の段階を要求し得る。拡張現実（ＡＲ）の使用によって、本明細書に開示された技術は、１または複数のソーイング行為を実行するためにユーザに対話式ガイダンスを提供する。これらの行為の実行は、各行為に関連付けられた共通エラーを減少させ得るセンサフィードバックの使用をさらに向上させる。

【特許請求の範囲】

【請求項1】

カメラから画像データを受信する段階、前記画像データはミシンの少なくとも一部の参照画像を含む；
ユーザデバイスにおいて前記参照画像を表示する段階、前記ユーザデバイスはディスプレイを含む；
前記参照画像の上にガイダンス画像をオーバーレイする段階、前記ガイダンス画像は前記ミシンと関連付けられた行為の少なくとも１つの段階を図示する；
前記行為が開始された旨の指示に応答して、前記ミシンにおける少なくとも１つのセンサからセンサフィードバックを受信する段階、前記センサフィードバックは前記行為の実行に基づいて生成される；および、
前記センサフィードバックに応答して、前記ガイダンス画像を修正する段階、
を含む、対話式ミシンガイダンスのための方法。

【請求項2】

前記センサフィードバックは、ユーザが前記行為の前記少なくとも１つの段階を完全とした旨を表す、請求項１に記載の方法。

【請求項3】

前記ガイダンス画像を修正する段階は、行為の第２の段階を図示する段階を含む、請求項１に記載の方法。

【請求項4】

前記ガイダンス画像を修正する段階は、ユーザが前記行為を完全とするまで繰り返される、請求項１に記載の方法。

【請求項5】

前記行為の完全性は、前記ガイダンス画像および前記参照画像の比較に基づく、請求項１に記載の方法。

【請求項6】

前記センサフィードバックは、前記行為の少なくとも１つの段階が誤って実行された旨を表す、請求項１に記載の方法。

【請求項7】

前記センサフィードバックは、前記ユーザデバイスにおける振動のために動作可能な触覚フィードバックである、請求項６に記載の方法。

【請求項8】

前記行為は、前記ミシンをスレッディングする段階を含む、請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記行為は、サージャーをスレッディングする段階を含む、請求項１から７のいずれか一項に記載の方法。

【請求項10】

前記行為は、ワークピースを縫い付けることを含む、請求項１から７のいずれか一項に記載の方法。

【請求項11】

行為要求に応答して、ミシンにおいて行為を開始する段階、前記行為は前記ミシンを用いてワークピースを操作する段階を含む；
カメラから画像データを受信する段階、前記画像データは前記ワークピースの参照画像を含む；
前記ワークピース上にガイダンス画像を投影する段階、前記ガイダンス画像は前記参照画像に基づく；
前記ミシンの少なくとも１つのセンサからセンサフィードバックを受信する段階、前記センサフィードバックは前記ガイダンス画像および前記参照画像の比較に基づいて生成される；および、
前記センサフィードバックに基づいて前記行為の完全性を判断する段階、
を含む、対話式ミシンガイダンスのための方法。

【請求項12】

前記センサフィードバックに基づいて、前記ワークピースのエラーを検出する段階をさらに含む、請求項１１に記載の方法。

【請求項13】

前記行為は、前記ミシンをスレッディングする段階を含む、請求項１１に記載の方法。

【請求項14】

前記行為は、サージャーをスレッディングする段階を含む、請求項１１に記載の方法。

【請求項15】

前記行為の前記完全性に基づいて、前記ガイダンス画像を修正する段階をさらに含む、請求項１１に記載の方法。

【請求項16】

前記ワークピース上に前記ガイダンス画像を投影する段階がユーザデバイスによって実行される、請求項１１から１５のいずれか一項に記載の方法。

【請求項17】

前記ワークピース上に前記ガイダンス画像を投影する段階が前記ミシンによって実行される、請求項１１から１５のいずれか一項に記載の方法。

【請求項18】

ミシン、および
ユーザデバイス、前記ユーザデバイスは、
カメラから画像データを受信し、前記画像データは前記ミシンの少なくとも一部の参照画像を含む；
前記ユーザデバイスにおいて前記画像データを表示し、前記ユーザデバイスはディスプレイを含む；
前記ミシンの前記参照画像の上にガイダンス画像をオーバーレイし、前記ガイダンス画像は行為の少なくとも１つの段階を図示する；
前記ミシンにおける前記行為の開始に応答して、前記ミシンにおける少なくとも１つのセンサからセンサフィードバックを受信し、前記センサフィードバックは、前記行為の実行に基づいて生成される；および、
前記センサフィードバックに応答して、前記ガイダンス画像を修正する
よう構成されている、
を含む、対話式ミシンガイダンスのためのシステム。

【請求項19】

前記センサフィードバックは、ユーザが前記行為の前記少なくとも１つの段階を完全とした旨を表す、請求項１８に記載のシステム。

【請求項20】

前記ガイダンス画像を修正することは、行為の第２の段階を図示することを含む、請求項１８に記載のシステム。

【請求項21】

前記ガイダンス画像を修正することは、ユーザが行為を完全とするまで繰り返される、請求項１８に記載のシステム。

【請求項22】

前記行為の完全性が、前記ガイダンス画像および前記参照画像の比較に基づく、請求項１８から２１のいずれか一項に記載のシステム。

【請求項23】

行為要求に応答して、ミシンにおいて行為を開始する段階、前記行為は前記ミシンを用いてワークピースを操作する段階を含む；
カメラから画像データを受信する段階、前記画像データは前記ミシンの少なくとも一部の参照画像を含む；
ユーザデバイスにおいて参照画像を表示する段階、前記ユーザデバイスはディスプレイを含む；
前記参照画像の上に第１ガイダンス画像をオーバーレイする段階、前記第１ガイダンス画像は、前記ミシンに関連付けられた行為の少なくとも１つの段階を図示する；
前記行為が開始された旨の指示に応答して、前記ミシンにおいて少なくとも１つのセンサからセンサフィードバックを受信する段階、前記センサフィードバックは、前記行為の実行に基づいて生成され、前記センサフィードバックは物理的フィードバックを生成するように動作可能である；および
前記センサフィードバックに応答して、前記ユーザデバイスにおいて前記第１ガイダンス画像を修正する段階
を含む、対話式ミシンガイダンスのための方法。

【請求項24】

前記物理的フィードバックは、前記ユーザデバイスにおける振動である、請求項２３に記載の方法。

【請求項25】

前記物理的フィードバックは、前記ミシンにおける振動である、請求項２３に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本出願は、２０２１年４月１５日に出願された米国仮出願第６３／１７５，１９４号の優先権および任意の利益を主張し、その内容は、参照によってその全体が本明細書に組み込まれる。

【0002】

本開示は一般的に、対話式拡張現実（ＡＲ）特徴と共に使用されるよう構成されたミシンに関連する。

【背景技術】

【0003】

ミシンは、単一の材料に縫い目を形成するため、および様々な材料を一緒に縫い合わせるために使用され得る。特定のミシンは、ある形状を有するワークピースに縫い目を形成し、ワークピースのエッジを切断してエッジの上を縫い合わせ、装飾要素をワークピースに取り付け、ワークピースのエッジを切断してエッジを取り巻くように縫い、刺繍フレーム内に取り付けられたワークピース上に装飾を取り付けるか刺繍パターンを縫い付け、または、ソーイング動作の最中にワークピースを切断するように使用され得る。ミシンはまた、ソーイング手順に加えて、またはそれとは別個に、ワークピースを切断する、折り畳む、丸める、または別の方法で操作することができる。ワークピースは、生地に縫い目を形成することができるように針の下に移動される。ユーザは、各特定の応用のために、機械の様々なパラメータを調整することによって、および、機械に多様な異なる工具またはアクセサリを取り付けることによって、ワークピースおよびミシンを構成する。この手順は、ユーザがワークピースおよびミシンを構成することを要求し、多くの場合複雑であり、仮に誤って行われた場合、ワークピースおよび／またはミシンに損傷を与え得る。マニュアルまたは類似の印刷された命令に依存することは、ユーザにとって面倒であり得、依然として不正確な構成をもたらし得る。

【0004】

したがって、ワークピースおよびミシン構成に関する、改良されたガイダンスが必要とされることが、理解される。

【発明の概要】

【0005】

例示的な実施形態において、対話式ミシンガイダンスのための方法が提供される。本方法は、カメラから画像データを受信する段階、前記画像データはミシンの少なくとも一部の参照画像を含む；ユーザデバイスにおける前記参照画像を表示する段階、前記ユーザデバイスはディスプレイを含む；前記参照画像の上にガイダンス画像をオーバーレイする段階、前記ガイダンス画像は前記ミシンに関連付けられた行為の少なくとも１つの段階を図示する；前記行為が開始された旨の指示に応答する段階、前記ミシンにおいて少なくとも１つのセンサからセンサフィードバックを受信する段階、前記センサフィードバックは前記行為の実行に基づいて生成される；および、前記センサフィードバックに応答して、前記ガイダンス画像を修正する段階を備える。

【0006】

別の例示的な実施形態において、対話式ミシンガイダンスのための方法が提供される。本方法は、行為要求に応答して、ミシンにおける行為を開始する段階、前記行為は前記ミシンを用いてワークピースを操作する段階を含む；カメラから画像データを受信する段階、前記画像データは前記ワークピースの参照画像を含む；前記ワークピース上にガイダンス画像を投影する段階、前記ガイダンス画像は前記参照画像に基づく；前記ミシンにおける少なくとも１つのセンサからセンサフィードバックを受信する段階、前記センサフィードバックは前記ガイダンス画像および前記参照画像の比較に基づいて生成される；および、前記センサフィードバックに基づいて前記行為の完全性を判断する段階を含む。

【0007】

別の例示的な実施形態において、対話式ミシンガイダンスのための方法が提供される。本方法は、行為要求に応答して、ミシンにおいて行為を開始する段階、前記行為は前記ミシンを用いてワークピースを操作する段階を含む；カメラから画像データを受信する段階、前記画像データは前記ミシンの少なくとも一部の参照画像を含む；ユーザデバイスにおいて参照画像を表示する段階、前記ユーザデバイスはディスプレイを含む；前記参照画像の上に第１ガイダンス画像をオーバーレイする段階、前記ガイダンス画像は前記ミシンと関連付けられた行為の少なくとも１つの段階を図示する；前記行為が開始されたことの指示に応答して、前記ミシンにおいて少なくとも１つのセンサからセンサフィードバックを受信する段階、前記センサフィードバックは前記行為の実行に基づいて生成される、前記センサフィードバックは物理的フィードバックを生成するように動作可能である；および、前記センサフィードバックに応答して、前記ユーザデバイスにおいて前記ガイダンス画像を修正する段階を備える。

【0008】

さらに別の例示的な実施形態において、対話式ミシンガイダンスのためのシステムが提供される。システムは、ミシンおよびユーザデバイスを備え、前記ユーザデバイスは、カメラから画像データを受信する段階、前記画像データは前記ミシンの少なくとも一部の参照画像を含む、前記ユーザデバイスは前記ユーザデバイスにおいて前記画像データを表示する段階、前記ユーザデバイスはディスプレイを含む、前記ミシンの前記参照画像の上にガイダンス画像をオーバーレイする段階、前記ガイダンス画像は行為の少なくとも１つの段階を図示する、前記ミシンにおける前記行為の開始に応答して、前記ミシンにおいて少なくとも１つのセンサからセンサフィードバックを受信する段階、前記センサフィードバックは前記行為の実行に基づいて生成される、および前記センサフィードバックに応答して、前記ガイダンス画像を修正する段階を行うよう構成される。

【0009】

本開示の、これらのおよびその他の目的、特徴、および利点は、添付図面と関連して読まれるべき、例示的な実施形態の以下の詳細な説明から明らかになるであろう。

【図面の簡単な説明】

【0010】

本開示の、これらのおよびその他の特徴は、以下の説明および添付図面に関して、よりよく理解されることになるであろう。

【0011】

【図1】対話式ミシンガイダンスのための例示的なシステムを示す図である。

【0012】

【図2】ソーイング行為に関連するセンサフィードバックに関連する例示的なフローチャートを示す図である。

【0013】

【図3】ソーイング行為に関連するセンサフィードバックに関連する例示的なフローチャートを示す図である。

【0014】

【図4】サージャースレッディング行為の実行の例示的な方法に関連するフローチャートを示す図である。

【0015】

【図5】ボビン変更行為を実行する例示的な方法に関連するフローチャートを示す図である。

【0016】

【図6】刺繍フープ装着行為を実行する例示的な方法に関連するフローチャートを示す図である。

【0017】

【図7】ミシンガイダンスのための例示的な方法を図示するフローチャートを示す図である。

【0018】

【図8】例示的なコンピューティングデバイスを示す図である。

【発明を実施するための形態】

【0019】

本開示の態様および実装は、本開示の様々な態様および実装の、以下に与えられた詳細な説明および添付図面から、より完全に理解されるであろう。このことは、本開示を特定の態様または実装に限定するものと捉えるべきではなく、説明および理解のみととらえるべきである。

【0020】

図１は、本開示の様々な実施形態に従う対話式ミシンガイダンスのための例示的なシステム１００を示す。システム１００は、ミシン１０２およびユーザデバイス１１２を少なくとも含み得る。ミシン１０２およびユーザデバイス１１２は、例えばネットワーク１２０（例えばインターネット）を介して、データ通信を行い得る。特定の実施形態において、ミシン１０２およびユーザデバイス１１２は、１または複数のデータ通信プロトコル（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ、近距離無線通信など）を使用してデータ通信を行い得る。ミシン１０２およびユーザデバイス１１２の間のデータ通信は、リアルタイムまたはほぼリアルタイムであり得ることが、理解される。さらに、そのようなデータ通信は、ミシン１０２およびユーザデバイス１１２が、データをローカルおよび／またはリモートのメモリから読み出す、および／またはメモリへと書き込むことを可能にすることが、理解される。特定の実施形態において、ミシンおよびユーザデバイス１１２は、１または複数のリモートサーバ（例えばクラウド）に格納されるように、データをネットワーク１２０を介して送信するよう構成される。

【0021】

例示的なミシン（例えばミシン１０２）は、ソーイングベッドの上で水平に延在するアームを支持するように、一方の端部から上方に延在するピラーを有するソーイングベッドまたはベースを含み得る。ソーイングヘッドがアームの該端部に取り付けられ、ソーイングヘッドの下方のソーイングベッド上でワークピースを縫い付けるために針を上下に移動させるための１または複数の針棒を含み得る。ソーイングベッドは、ソーイングヘッドの下方に配置された針または縫製板を含み、ソーイングヘッドは、ワークピースに縫い目を作成または形成するときに通過させる１または複数の針のための開口を有する。いくつかのミシンでは、針板の下に配置されたボビンが縫い目形成を支援し、針によって上からワークピースを通って供給される上糸と一緒に縫い合わされる下糸を出す。例えばオーバーロックまたはサージャーマシンなどの他のミシンにおいて、下糸がルーパによって出される。

【0022】

本明細書において使用される場合、「ミシン」とは、往復する針およびある長さの縫い糸でワークピースに１または複数の縫い目を形成するデバイスを意味する。本明細書において使用される場合、「ミシン」は、特定の縫い目を形成するためのミシン（例えば、ロック縫い、鎖縫い、ボタン穴縫いを形成するよう構成されたミシン）、刺繍用機械、キルティング機械、オーバーロックまたはサージャーマシンなどを含むが、これらに限定されない。ミシンおよびアクセサリの様々な実施形態が本明細書に開示されており、具体的に除外されていない限り、これらのオプションの任意の組み合わせがなされ得ることに留意されたい。換言すれば、開示されるデバイスの個々の構成要素または一部は、相互に排他的でない限り、さもなければ物理的に不可能でない限り、組み合わされ得る。

【0023】

「縫い目」とは、１または複数の縫い糸で形成されたループを意味し、縫い糸のうちの少なくとも１つがワークピースに形成された穴を通過する。ミシンの機械的構成要素、例えば針、フック、ルーパ、糸張力デバイス、供給機構などは、ワークピースの１または複数のピースに縫い目を形成するように協働する。この複雑な機械の躍動の１回の反復により、ワークピースに１つの縫い目または縫い目のパターンが形成され得る。反復またはパターンの「縫い目の長さ」とは、反復が実行されたときにワークピースが移動される距離を指す。縫い目の長さの測定は、反復およびパターンの異なるタイプごとに異なり、ワークピースにおける１または複数の縫い目を包含し得る。

【0024】

押さえ金を有する押さえ棒もまた、ソーイングヘッドから下方に延びて、ソーイングベッドに対して、ならびに、ワークピースを移動するために後ろから前に、および任意選択的に左右に移動する送り歯に対してワークピースを押し付ける。送り歯は、押さえ金と協調して、かつ、固定であり得る、またはユーザによって、足踏みペダルなどで可変的に制御され得る速度でワークピースを移動する。多種多様な押さえ金および他のタイプのアクセサリ、例えばボタン穴押さえ金などが、ワークピースにある種類の縫い目または特徴を形成することを支援するために、押さえ棒に取り付けられ得る。アクセサリマウントもまた、ソーイングベッドの上または上方に特別なツールまたはアクセサリを保持するために、ソーイングヘッドの下方に延在し得る。例えば、図１に図示されるように、ミシン１０２は、Ｘユニット１２０およびＹユニット１２２を使用して、刺繍枠１１８に添付されたワークピースの操作を可能にするように動作可能な、操作可能刺繍枠１１８を含む。Ｙユニット１２２はまたＹスライド１２４を含む。

【0025】

針棒が上下に移動される速度または頻度は、上記のようにユーザによって制御される。針棒は一般的に、ワークピースに縫い目を形成するように循環的な動きで上下に移動するが、針棒はまた、ジグザグ縫い目またはテーパ状縫い目などの異なる縫い目を形成するように、または縫い目の幅を変えるように、左右にも移動し得る。機械によって実行される縫い目のタイプおよびピッチは、ボタン、ノブ、レバーなどを含む手動インタフェースを介して、ユーザによって選択され得る。いくつかの実施形態において、実行される縫い目のタイプおよびピッチ（または類似の設定）は、例えば、ユーザデバイス１１２のディスプレイ１１４、および／またはディスプレイ１０８において提供なユーザインタフェースなどの、ユーザインタフェースへの入力を介してユーザによって制御可能であり得る。他の実施形態において、設定は、音声制御インタフェースへの音声コマンド入力を介して制御可能であり得る。

【0026】

異なるタイプのミシンは、ソーイング処理中にワークピースに縫い目を形成する、または別の方法でワークピースを操作するための追加の構成要素を含み得る。例えば、ワークピースのエッジを形成するために使用され得るミシンのあるタイプであるサージャーでは、他の機能の中でも、ルーパと呼ばれる針がソーイングベッドの下で動作して、様々な縫い目を形成するために下糸を供給する。サージャーはまた、針板の上方に１、２、またはそれ以上の針を含み得、および、ワークピースのエッジを切断するためのナイフを含み得る。ミシンはまた、ソーイングベッド上に刺繍枠（例えば刺繍枠１１８）のためのホルダを含むことによって、ワークピースに刺繍パターンを生成するようにも使用され得る。刺繍枠ホルダは、ミシンのコントローラが刺繍フレームを移動させて、針がワークピース上に刺繍パターンをトレースし得るように、少なくとも２つの軸で作動され得る。サージャーは一般的に、複数の複雑なスレッディング経路を有する。筆記の、または口頭の命令の有効性は、多くの場合不十分であると見なされている。したがって、サージャーのスレッディングは、困難なタスクであるとユーザに一般的に見なされており、多くのユーザは、自身でそのタスクを実行する代わりに、技術者にお金を払い、時間およびコストがかかる作業である彼らの機械へのスレッディングをしてもらう。

【0027】

ソーイングの最中に使用される糸は、ミシン上のある位置、例えばボビン内部、または、ミシンのアームの部分であるか上方に延在するスプールホルダによって保持されるスプール上などに保持される。糸は、糸への損傷が可能な限り小さくなるように糸が滑らかに引き出されてワークピースに供給されるように糸の方向を変更するように配置されたミシンの様々な異なる要素を介して、縫い糸ソース（例えばボビンまたはスプール）からミシンの１または複数の針へと導かれる。縫い糸の張力はまた、縫い糸経路に沿って、または縫い糸ソース内に配置された様々な張力デバイスによって変更され得る。これらの張力デバイスは、所望の量の糸のみが出されること、および、ワークピースにおいて縫い目を形成する糸が適切に張られることを確実にする。緩い縫い糸は、縫い目がほどけることを可能にし得、きつい縫い糸は縫い目を誤って形成させ得る。上糸および下糸に対する縫い糸の張力はまた、ワークピースにおける所望のソーイング経路に沿って縫い目が適切に形成されるように上下の張力がバランスを取ることを確実にするために調整され得る。例示的なミシンの、前述の特徴および機能は、センサフィードバックを生成するように、１つまたは複数のセンサ（例えばセンサ１１０）に動作可能に接続され得ることが、理解される。例えば、縫い糸の張力は、張力センサによって記録され得る。糸が余りにも緩いか、または余りにも張っている場合、張力センサは、縫い糸の張力が許容可能な閾値の外にあることを表すセンサフィードバックを生成し得る。

【0028】

ミシン１０２はさらに、少なくとも１つのカメラ１０４、プロジェクタ１０６、ディスプレイ１０８、および／またはセンサ１１０を含み得る。以前に説明されたようなそのような特徴は、ミシン１０２とは別個のデバイス上で提供され得、ミシン上での使用のために適用でき得る。例えば、プロジェクタ、ディスプレイ、および、会話認識などの他のユーザインタフェースおよびそのハードウェア構成要素は、ミシンに、または、別個のユーザデバイス、例えば、スマートフォン、タブレット、ゴーグルまたは眼鏡に含まれ得る。ハードウェアは、マイクロフォン、スピーカ、圧電性触覚センサ、または類似のものを含み得る。特定の実施形態において、鏡はワークピース上に投影イメージを反射して向けるように使用され得る。カメラ１０４は、ワークピースおよび／またはミシン自体に関連付けられた画像データをキャプチャするよう構成され得る。特定の実施形態において、カメラ１０４は、ミシン１０２またはワークピースに関するステータス情報を生成するように、センサー１１０と併せて使用され得る。複数の特定の他の実施形態において、カメラ１０４は複数の画像、例えば、ワークピースの、ミシン１０２の１つまたは複数の構成要素の、および／またはユーザの画像をキャプチャし得る。特定の実施形態において、プロジェクタ１０６は、ワークピース上にガイダンス画像を投影するように使用され得る。複数の特定の他の実施形態において、プロジェクタ１０６は、メンテナンスおよび／または媒体スレッディング関連の行為を完全とすることを容易にするために、ミシン１０２の、および／またはそのすぐ近くの（例えば、ワークピース上の）ある一部上にガイダンス画像を投影するように使用され得る。ミシン１０２はさらに、その説明された構成要素、ユーザデバイス１１２、およびユーザの間の通信を容易にするように、１または複数のプロセッサおよびメモリを含み得ることが理解される。より具体的には、ミシン１０２は、少なくともプロセッサおよび命令を格納するメモリを有し、それはプロセッサによって実行されるとき、プロセッサに、（例えば、本明細書に詳細に説明されたような、ミシン１０２の様々な態様を制御する）命令によって述べられる機能を実行させる。処理はまた、個別に、またはミシンとは別の、例えばスマートフォンまたはクラウドコンピューティングを介したプロセッサと組み合わせて、生じ得る。

【0029】

いくつかの実施形態において、ミシン１０２に関連付けられたディスプレイ１０８は、ディスプレイに接触しているユーザの指の位置を検出するタッチ式オーバーレイを含むタッチスクリーンディスプレイを含む１または複数のディスプレイ（例えばディスプレイ１０８）を介して、ユーザに視覚的に提示され得る例示的なユーザインタフェースを利用するよう構成される。そうして、ユーザは、特定の位置で画面に直接接触することによって、または、接触、タッチアンドホールド、ピンチオアスプレッド（ｐｉｎｃｈ ｏｒ ｓｐｒｅａｄ）、およびタッチアンドムーブジェスチャなどのタッチジェスチャを実行することによって、ユーザインタフェースと対話し得る。ユーザの手、指、または目または顔の表情の存在、位置、および動作もまた、音、光、赤外線放射、または電磁場の擾乱を介した光学センサ（例えばカメラ１０６）または近距離センサからのデータの分析を介して検出され得る。グラフィカルユーザインタフェースもまた、ミシンの１または複数プロジェクタ（例えばプロジェクタ１０４）によって、ソーイングベッド、ワークピース、壁またはテーブルなどの隣接する表面、または任意の他の適切な表面上に、投影され得る。代替的に、ミシンは、ある音および／またはコンピュータ化された音声の形態で、音声コマンドおよび可聴フィードバックを介して、グラフィカルユーザインタフェースなしに動作し得る。触感フィードバックもまた、作動したときに、さもなければ、光触覚置換法則を介して、機械の様々な一部を振動させるアクチュエータを介して提供され、ここで、時間変調空間光を発し、光トランジスタおよびアクチュエータを取り付けられた指またはツールと結合された、デジタルマイクロミラーデバイスプロジェクタは、ワークピース、機械などの多種多様状態に応答して、特別な触感フィードバックを生成する。ミシンとの可聴インタラクションおよび触覚インタラクションは、視覚障害のあるユーザにとって特に有用である。

【0030】

例示的な実施形態において、ミシン１０２は、１つまたは複数のセンサ１１０を含む。センサは、ミシン１０２、ユーザデバイス１１２、および／またはユーザに関連付けられた、光、張力、圧力、聴覚、触覚、音響、音、振動、化学、バイトメトリクス、汗、呼吸、疲労検出、ガス、煙、網膜、指紋、流体速度、速度、温度、赤外線光、環境光、色、ＲＧＢ色（または、ＣＭＹＫまたはグレースケール色空間を使用するものなどの別の色空間センサ）を、接触、傾き、動き、金属検出、磁場、湿度、湿気、想像、光子、力密度、近接度、超音波、ロードセル、デジタル加速度計、動き、並進、摩擦、圧縮率、音声、マイクロフォン、電圧、気圧計、ジャイロスコープ、ホール効果、磁力計、電圧、気圧計、ＧＰＳ、電気抵抗、張力、歪み、および多くの他のものを含むがそれらに限定されない、様々な態様を測定し得る。

【0031】

特定の実施形態において、センサ１１０は、ユーザおよび／またはユーザデバイスに、例えば、触覚センサ／フィードバックによって、リアルタイムまたはほぼリアルタイムのフィードバックを提供し得、所望の行為に従った不正確な動作が、ユーザがその行為を誤って実行したことに即時に気づくように、ミシン１０２における触覚的応答のトリガとなり得ることが理解される。この即時的フィードバックは、投影イメージを介した、および／または否定的な確認を表す振動および音と併せてフィードバックを含み得る。肯定的な補強シナリオもまた、類似の方式で適用され得る。いくつかの実施形態において、センサフィードバックは、１または複数のユーザデバイスにおける応答のトリガとなり得る。例えば、パターンを使用してソーイング行為を実行する際に、パターンおよびワークピースのずれが、ユーザに関連付けられたスマートウォッチにおいて、センサフィードバック応答のトリガとなり得る。この即時的フィードバックは、ずれが所望されない出力をもたらす前に、ユーザに警告し得る。例において、ユーザの指が縫われるべき生地またはワークピース上に配置されている際に、振動による触覚フィードバックがユーザの指に発せられ、それにより、所望のソーイング結果を達成するためにユーザが生地を移動しなければならない適切な時点についてユーザに知らせる。この命令は、聴覚的命令、および、生地上に投影された命令の矢印を伴い得、またはそれの代わりになり得る。

【0032】

ユーザデバイス１１２は、スマートフォン、タブレットコンピュータなどのハンドヘルドコンピューティングデバイスであり得る。ユーザデバイス１１２は、少なくともディスプレイ１１４およびカメラ１１６を含む。限定するものではないが、スマートグラス、ヘッドアップディスプレイ（ＨＵＤ）、スマートウォッチなどを含む、類似の構成要素を有する追加のユーザデバイスが、説明されたシステムおよび方法と共に使用することを企図されていることが、理解される。特定の実施形態において、ユーザデバイス１１２が、例えばスマートフォンおよびスマートウォッチなどの複数のデバイスの態様と組み合わされ得ることが理解される。ユーザデバイス１１２が、ミシン１０２および／またはそれからのセンサフィードバックによるその相互作用に基づいて、ユーザデバイス１１２のユーザにフィードバックを与えるよう構成され得ることが理解される。カメラ１１６は、ミシン１０２に関連付けられた画像データおよび周囲環境をキャプチャするよう構成される。本明細書において使用されるとき、そのようなデータは基準画像データを指し得る。基準画像データは、ミシン１０２、または例えばワークピースを含むその周囲環境の、リアルタイムまたはほぼリアルタイムのキャプチャである。画像データは、カメラ１１６と関連付けられたフレームレートに従ってカメラ１１６によってキャプチャされた、画像または一連の画像を含むことが理解される。基準画像データは、ディスプレイ１１２を介してユーザに表示される。本明細書に開示された数多くの実施形態に従えば、参照画像は、対話式ミシンガイダンスを容易にするように、ガイダンス画像と併せて使用され得る。いくつかの実施形態において、ユーザデバイス１１２は、ミシン１０２に取り付けられ得、さもなければ動作可能に接続され得る。この構成は、ユーザが行為を実行するために両手を必要とするときに有用であり得る。

【0033】

図２は、本開示に従う例示的な対話式ミシンガイダンスのための方法２００を示す。本方法は、ユーザがミシン（例えばミシン１０２）に関連する行為に関する情報を要求する、段階２０２で開始する。行為は、ミシンで特徴を位置決めするための、またはオペレーションを実行するための動作であり得る。例示的な行為は、下にさらに詳細に説明される。いくつかの実施形態において、本明細書で説明される対話式ガイダンス方法論は、ミシン、例えば外部および／または内部構成要素の、参照画像上へのデジタル画像オーバーレイの表示による、行為のガイダンスを容易にする。例えば、ユーザデバイスは、行為を実行するためにミシンのいくつかの構成要素の動きをアニメーション化し得るデジタル画像（および／または一連の画像／ビデオ）を生成および表示し得る。画像は次に、現実のミシンの参照画像上にオーバーレイされる。特定の実施形態において、この参照画像は、ユーザデバイスに関連付けられたカメラによってキャプチャされる。画像オーバーレイ対話式ガイダンスを利用し得る例示的な行為は、スレッディング行為、例えば、ミシンまたはサージャーをスレッディングすることである。

【0034】

画像オーバーレイ対話式ガイダンスを利用し得るより例示的な行為は、ミシン構成要素および／またはアクセサリの位置決めおよび特定に関連付けられた行為である。さらなる例として、画像オーバーレイが、ミシンの重大な部分の位置および名前、ミシンに関連付けられたユーザインタフェースの位置および機能、および、ミシンのすべての他の構成要素の位置および機能を示すように使用され得る。画像オーバーレイはまた、未知の構成要素またはアクセサリを識別するようにも使用され得る。例えば、参照画像を使用して、ユーザデバイス１１２は、そのサイズ、形状、またはミシン上での位置に基づいて、構成要素またはアクセサリを認識し得る。別の例において、画像オーバーレイは、例えば限定されないが、針、押さえ金、縫製板、またはボビンなどの、アクセサリの変更の対話式ガイダンスを提供し得る。画像オーバーレイはまた、大きなアクセサリの使用および固定の対話式ガイダンスのために使用され得る。例えば、刺繍枠に生地を安定させる、ミシン上に刺繍枠を固定する。画像オーバーレイはさらに、いくつかの部分の清掃または潤滑（単純）、またはいくつかの構成要素の修復（複雑）などの、あるメンテナンスタスクの対話式ガイダンスを支援し得る。

【0035】

いくつかの実施形態において、本明細書に説明されたような対話式ガイダンス方法論は、ソーイングベッド上への画像の投影による、行為のガイダンスを容易にする。そのような行為は、（両手を要求する行為などの）ユーザデバイスと共に、あるいは、ソーイングベッド領域上のワークピースへの特別な注意を要求するそれらの行為と共に使用することが困難であり得る。１または複数の短焦点プロジェクタ（例えばプロジェクタ１０４）が、行為の実行をガイドするためにソーイングベッドに２Ｄまたは３Ｄ投影を生成し得る。いくつかの実施形態において、空中視覚的投影が投影またはホログラム技術を介して生成され得る。特定の実施形態において、スマートグラスなどの追加のアクセサリが、視覚的投影を解釈するために使用され得る。ソーイングベッド上への投影は、生地上の異なる縫い目および刺繍オプション、生地に関する異なる装飾オプション、または生地に適切な利用可能なソーイング技術の視認および選択を容易にし得る。投影はまた、いつおよびどのように生地を回転および／または並進するべきか、いつおよびどのようにテキスタイル装飾を追加するべきか、および、いつおよびどのように特別なソーイングアクセサリを使用するべきか、を理解するなどの、複雑な縫い目または刺繍行為を実行するように使用され得る。さらに依然として、投影は、例えば、いつおよびどのように針を変更するべきか、どのように１または複数の針に糸を通すべきか、どのようにアクセサリを取り付けるべきか、いつおよびどのように押さえ金を変更するべきか、および、いつおよびどのように押さえ金を持ち上げるべきかなどの、ソーイング領域における基本動作の実行を支援し得る。

【0036】

上で説明されたような例示的な行為は、例のためのみであることが理解され、各行為は、本開示の範囲内で画像オーバーレイおよび／または画像投影と共に使用するために適合され得ることが、さらに理解される。

【0037】

図２を参照すると、いくつかの実施形態において、対話式ミシンガイダンスのための方法２００は、行為がミシン１０２（例えば、ＡＩ、ニューラルネットワーク、および／またはセンサデータ入力トリガと結合されたアルゴリズムを介して）、またはユーザデバイス１１２（例えば、マッピング、トラッキング、および光学センサのデータと結合された認識アルゴリズムを介して）、またはユーザによって具体的に要求された他のものによって自動的に認識されるとき、段階２０２において開始され得る。特定の実施形態において、行為は、ミシン（例えばペダルの活性化、スレッディング構成要素との係合など）の動作フィードバックに基づいて、ミシン１０２および／またはユーザデバイス１１２によって自動的に認識され得、または、ミシン１０２に関連付けられたカメラ１０４からの、および／またはユーザデバイス１１２に関連付けられたカメラ１１６からの観測された光学データに基づいて認識され得る。

【0038】

行為が選択された後、対話式ガイダンスが、例えば拡張現実（ＡＲ）を使用して提供され得る。本明細書において使用されるように、ＡＲは、行為を完全とするようにユーザをガイドする目的の仮想画像オーバーレイを包含する。特定の実施形態において、ＡＲ画像オーバーレイは、ディスプレイ（例えばディスプレイ１１４および／またはディスプレイ１０８）において参照画像上にガイダンス画像を表示することによって達成され得る。例えば、ユーザデバイス１１２は、オーバーレイされたガイダンス画像によってミシン１０２の画像を表示するものであり得る。複数の特定の他の実施形態において、ガイダンス画像は、ソーイングベッドなどの表面上に、例えばプロジェクタ１０４によって、物理的に投影され得る。ガイダンス画像は、それらの選択された行為に関連付けられたあるタスクを、どのように実行すべきかをユーザに通知し得る。様々なタイプの画像オーバーレイが、本明細書において企図され、段階２０６ａ－ｅによって図示される。段階２０６ａにおいて、「マーカーレスＡＲ」は、参照画像上にオーバーレイされた仮想画像を含む。オーバーレイされた画像は、完全にまたは部分的に拡張され得、例えば、特定の実施形態において、オーバーレイされた画像は、参照画像自体を表示するよりむしろ、参照画像の態様を再構築し得ることを意味する。例えば、いくつかの実施形態において、置換されるべきボビンを指す矢印をオーバーレイする（例えば、部分的オーバーレイ）よりもむしろ、オーバーレイされたガイダンス画像が、ボビンのデジタルバージョンを生成し得、以前に矢印によって達成された行為の一部を示すためにボビンをアニメーション化し得る。別の例は、ユーザが、物体を配置してソーイング過程がどのように生じるべきかを示すことを補助するために、生地の上に縫われるべきボタンまたは装飾のデジタルバージョンであり得る。さらに別の例は、糸を保持して、人がどのようにサージャー上の様々な経路に糸を配置すべきかを示す、指のデジタルバージョンであり得る。このことは対話的な体験を容易にし、機械の正しいスレッディングを達成するために、ユーザ自身の手は仮想の手および糸のガイダンスに従うことを試みる。類似の様式で、他の行為が対話的な体験を容易にする。ガイダンス画像が表示されている間、それは、ミシン１０２および／またはユーザデバイス１１２からのフィードバックに基づいて修正され得ることが、さらに理解される。ユーザデバイスがフィードバックを提供する実施形態において、そのようなフィードバックデータは、追加のカメラデータ、加速度計データ、デジタルコンパスデータ、ＧＰＳ補助計算などを含み得る。例えば、ユーザがソーイングワークピースの上でアップリケの３Ｄオーバーレイされた画像を回転または並進するように選択し、ワークピース上のアップリケを縫い付けるのに不可能な位置を選択する場合、フィードバックベクトルはガイダンス画像を修正し得、ガイダンス画像は、ワークピース上に縫い付けるためのアップリケの容認できる位置決めをユーザにガイドするものとなるように、修正され得る。

【0039】

段階２０６ｂにおいて、「位置ベースのＡＲ」が選択され得る。「位置ベースのＡＲ」は、参照画像上に完全にまたは部分的にオーバーレイされたガイダンス画像を含む。いくつかの実施形態において、「位置ベースのＡＲ」は、正確な位置を計算し、画像オーバーレイを補助するように、ユーザデバイス１１２からのＧＰＳ、デジタルコンパス、速度計、または加速度計データを利用し得る。

【0040】

段階２０６ｃにおいて、「同時位置特定およびマッピング（ＳＬＡＭ）」が選択され得、それは、周囲に対してセンサを位置特定することによる同時位置特定およびマッピングのタスクを解決するよう構成されたアルゴリズムのセットに基づいて、参照画像の上にガイダンス画像をオーバーレイし、ガイダンス画像を修正することを含む。例えば、ユーザはソーイングの最中にワークピースの生地を回転し得、参照画像の同時位置特定およびマッピングが、生地のパターンまたはトポグラフィを識別するかまたは従い、生地上に新しく生じている縫い目に関して、任意の関連するオーバーレイされたガイダンス画像が、並進が生じるにつれて生地に正しく従うことを確実にする。

【0041】

特定の実施形態において、ミシン１０２は、改良されたガイダンス画像がユーザデバイスによって生成され得るように、ユーザデバイス１１２およびカメラ１１６がユーザデバイスの位置を較正することを可能にする、１または複数の識別特徴を有し得る。そのような特徴は段階２０６ｄにおいて用いられ得、そこでは「認識ベースＡＲ」が選択され得る。「認識ベースＡＲ」によって、カメラ１０６および／またはカメラ１１６からの画像データは、例えば、一意的な特徴、ＱＲ／２Ｄコード、自然的な特徴トラッキング（ＮＦＴ）マーカ、物体、方向などの視覚マーカを識別し、ガイダンス画像に影響を与えるために視覚マーカを使用するように使用され得る。

【0042】

段階２０６ｅにおいて、「投影ベースＡＲ」が選択され得、それは表面上に、および／またはミシン１０２を取り囲む環境上に投影された画像を含む。このタイプの画像ガイダンスによって、２Ｄおよび／または３Ｄの静的および／または動的な／アニメーション化された画像を含む視覚的マッピングが、光（例えば、プロジェクタ１０４）を使用して、行為の実行においてユーザを命令またはガイドする図形および形状で、ソーイングベッド領域または他の関連する領域上に投影され得る。特定の実施形態において、投影された光は、ユーザデバイス１１２または別の外部の光源から入来し得る。いくつかの実施形態において、「投影ベースＡＲ」は、線に沿って縫い付けを行う、サージャーをスレッディングする、または他の行為にユーザをガイドするようにワークピースに沿って輪郭を描くために使用され得る。

【0043】

段階２０６ａ－ｅを参照して論述される画像オーバーレイのタイプは、例示的な目的のみのために提示されるものであり、追加のタイプの画像オーバーレイが、本明細書の詳細な説明から明らかであり得ることが、理解される。加えて、例示的な画像オーバーレイのタイプが、例示的な対話式ミシンガイダンスの最中に一緒に組み合わされ得ることが、企図される。

【0044】

段階２０８において、フィードバックが収集され、上記の例示的なガイダンス画像タイプのうちの１又は複数を使用して生成されるガイダンス画像に影響を与え得る。特定の実施形態において、使用されるガイダンス画像のタイプは、フィードバックに基づいて変化し得る。フィードバックが考慮されるとき、方法２００は、フィードバックループ２１０を使用して段階２０４に戻る。フィードバックループ２１０は、無制限の回数利用され得、または、行為が完全となるまで利用され得る。フィードバックの継続的な収集およびフィードバックに従うガイダンス画像の継続的な修正によって、ユーザは、それらの行為の潜在的な問題、例えば、誤ってサージャーをスレッディングしたかどうかを、診断して訂正することが可能である。実在の機構によって、ユーザが誤ってミシンをスレッディングした場合、ソーイング関連行為が開始するまで問題は実感されないかもしれず、したがって、糸が破壊され、ミシンにおける詰まりが発生し、および、時間がかかるタスクである損傷したスレッドの除去および再スレッディングが正しく完全となるまで、正しいソーイングを不可能にする。さらに、向上したガイダンス画像がフィードバックに従って、行為が正しく実行されていない旨をユーザに通知する役目を果たし得ることは、現在説明された方法およびシステムの態様であることが理解される。

【0045】

図３は、ソーイング行為に関連して、センサフィードバックに関連する例示的な方法３００を示す。段階３０２において、ユーザは行為を選択する。段階３０４において、接続デバイスまたはミシンは、ミシンまたは関連環境の参照画像上にオーバーレイされたＡＲガイダンス画像を提示する。段階３０６において、ユーザはガイダンス画像によって提供されたガイダンスに従い、所望の行為の実行を進める。段階３０８ａにおいて、行為の実行に関連付けられたデータ収集（例えばカメラ１１６によって収集された画像データ）は、ユーザデバイスにおいて収集される。段階３０８ｂにおいて、行為の実行に関連付けられたデータ収集（例えば、光、張力、および圧力センサなどのセンサ１１０から収集されたデータ）は、ミシンにおいて収集される。段階３０８ｃにおいて、行為の実行に関連付けられたデータ収集は、ユーザデバイスおよびミシンにおいて収集される。段階３１０において、ローカルまたは外部データ処理が実行される。特定の実施形態において、データ処理がユーザデバイス１１２、ミシン１０２、および／または外部ソース（例えばクラウド）において実行され得る。段階３１２ａにおいて、データ（例えば、光、張力、および／または圧力データ）が分析され、測定可能なデータ属性が許容値を構成するかどうかが確認される。分析は、単純な入力画像を介して参照画像比較を生じさせ得、物体検出およびトラッキングセンサ（すなわち、光学センサ、容量性センサ、光電気センサ、レーザ、近接センサ、赤外線、光飛行時間センサ、機械式センサなど）と組み合わせられ得る。代替的に、分析は、データが１または複数のニューラルネットワークおよびマルチセンサデータ入力を介して処理される、より洗練された人工知能方法を介して実行され得る。例えば、データが受信され、ニューラルネットワーク層において分析され、物体、その位置、および運動が正しいか誤っているかの認識の予想が、状況およびユーザ動作を認識するように設計された、事前に訓練されたまたは訓練中のネットワークにおいて分析され得る。次に、応答が前述した段階に基づいてトリガされ得る。正確な予想はスコアリングシステムに基づき得る。例えば、あるパーセンテージまたは閾値よりも大きい、ユーザ動作が正しいか誤っているかの精度予想は、インデータ（ｉｎ－ｄａｔａ）で収集された最終的な形式に基づいて、許容可能であると考慮され得る。段階３１２ｂにおいて、データはニューラルネットワークにおける入力層に入り、出力層は行為の完全性の評価を与える。ミシンに利用可能なすべての形式のデータ、すなわち、センサからのデータ、ソフトウェアからのデータ、データストレージデバイスからのデータ、ソフトウェアからのユーザ入力からのデータ、および同様のものが、ニューラルネットワークを介して処理され得ることが、理解される。本明細書で説明された対話式ミシンガイダンステクノロジとの使用のための例示的なニューラルネットワークは、ミシンおよびその使用の方法という題名の米国特許出願第１７／３５２，０３５号にさらに詳細に説明され、その主題はその全体が参照により本明細書に組み込まれる。処理されるべき情報はまず、入力データの初期処理を実行し、入力層からの出力値を処理する１または複数の隠れ層に結果を出力する、ニューラルネットワークの入力層に直面する。隠れ層を通じて処理された情報は、例えば、画像における検出された物体の位置およびその物体の分類などの与えられた結果における信頼性の確率として出力層において提示される。ミシンのコンピュータのソフトウェアは、ニューラルネットワークの層の１つから情報を受信し、ミシンのパラメータを調整するように、および／または、ニューラルネットワーク処理の結果に基づいてユーザに通知するように、それに応じて動作をとり得る。

【0046】

ニューラルネットワークの訓練の最中に、ニューラルネットワークの各ノードに関するノードパラメータ（すなわち、入力パラメータ、機能パラメータ、および出力パラメータのうちの少なくとも１つ）は、ニューラルネットワークの出力が入力データのセットに関する所望の出力に対応するまで、逆伝搬アルゴリズムを介して調整される。ニューラルネットワーク処理の最中、ニューラルネットワークは、ランダム化され得るか現存するニューラルネットワークから転送され得るノードパラメータによって、訓練プロセスを開始する。次に、ニューラルネットワークには、処理するべきセンサからのデータが提示される。例えば、ニューラルネットワークに視覚データを提供するために光学センサに物体が提示され得る。データはニューラルネットワークによって処理され、ニューラルネットワークによって実行される検出および分類の信頼性確率が高めるためにニューラルネットワークの様々なノードのノードパラメータが更新され得るように、出力が試験される。例えば、ニューラルネットワークによる識別のために押さえ金が光学センサに示されると、ニューラルネットワークは、光学センサに示されている物体が画像の座標の範囲内に位置している、および特定の押さえ金として分類され得る信頼性確率を提示する。訓練プロセスが実行される間、特定の答えが正しいというニューラルネットワークの信頼性が高まるように、ニューラルネットワークのノードのノードパラメータは調整される。そうして、ニューラルネットワークは、特定の視覚データを提示されると、そのデータが以前に「見た」ものと正確に同じではなかった場合であっても、特定の答えが最も正しい答えであることを「理解」するようになる。

【0047】

ニューラルネットワークは、ネットワークによってなされた決定が所望のレベルの精度に達すると、「訓練された」と見なされる。訓練されたニューラルネットワークは、訓練プロセス中に調整されたノードパラメータの集合によって特徴づけられ得る。ノードパラメータの集合は、同じノード構造を有する他のニューラルネットワークに伝送され得、それにより、それらの他のニューラルネットワークは、最初に訓練されたネットワークと同じ方法でデータを処理する。そうして、特定のミシンのデータストレージデバイスに格納されたニューラルネットワークは、新しいノードパラメータをダウンロードすることによって更新され得る。ニューラルネットワークのノードパラメータ、例えば入力重みパラメータおよび閾値は、光学センサによって集められる画像または視覚データとの比較に使用される画像ライブラリよりも著しく少ないストレージ空間を占める傾向にあることに留意されたい。結果的に、ニューラルネットワークのファイルおよび他の重要なファイルは、ネットワークを介して迅速かつ効率的に更新され得る。例えば、ニューラルネットワークの構造、すなわち、ノード間の接続のマップおよび各ノードで計算された活性化関数もまたこのように更新され得る。

【0048】

ニューラルネットワークはまた、様々なデータソースから提供されるフィードバックに基づいてノードパラメータが定期的に更新されるように、継続的に訓練され得る。例えば、ローカルにまたは外部に格納されたニューラルネットワークのノードパラメータは、ニューラルネットワークの出力と一致するまたは一致しない、センサから集められたデータに基づいて定期的に更新され得る。これらの調整されたノードパラメータはまた、ミシンのすべてのニューラルネットワークが時間と共に改良されるように、クラウドベースのシステムへとアップロードされ得、他のミシンと共有され得る。

【0049】

特定の実施形態において、ミシンのセンサによって収集されたデータは、ミシンにおいてローカルに処理され得、または、クラウドベースのニューラルネットワークの外部プロセッサによって処理され得る。ローカルに格納されたニューラルネットワークは、予め訓練され得るか、または、継続的に更新するニューラルネットワークであり得る。ニューラルネットワークによって（ローカルに、またはリモートで）処理されたデータは、次に、機械および／またはユーザ相互作用をもたらす決定を行うように、ミシンのソフトウェアによって使用される。

【0050】

様々なタイプのフィードバック機構が本明細書において企図されることが、理解される。フィードバックは、ユーザデバイスおよび／またはミシンにおけるフィードバック応答のトリガとなり得ることが、理解される。例えば、フィードバック応答は、視覚的、可聴的、および触感的手段を介してユーザにリレーされ得る。例えば、通知音、例えばビープまたはコンピュータ化された音が、ミシンおよび／またはユーザデバイスにおけるスピーカを介してユーザに伝送される間、正しくない付属品が機械に設置されている旨の指示が、ミシンのディスプレイ上のユーザインタフェースを介してユーザに提示され得る。通知はまた、ユーザが接触している機械の一部の振動を介して、触覚または触感フィードバックを介してユーザに伝送され得る。すなわち、ソーイングベッドは、ユーザによって選択された特定のソーイング動作のために機械が適切に構成されていない旨の警報をユーザに提供するように、ミシンによって振動され得る。ユーザは、ワークピースおよびソーイングベッドと接触している自身の指の下で振動を感じ取り、それにより、ユーザがさらなる情報のためにディスプレイを見ることが促がされる。正しくない付属品が設置されているとき、追加の情報をディスプレイで見るようユーザを促すように、ミシンの照明光はまた、ユーザの注意を獲得するように機械上のある領域を照明すること、色またはフラッシュを変化させることなどによって、ユーザに警告するように制御され得る。上で説明されたニューラルネットワークは、センサデータに基づく与えられた行為の完全性および／または精度の予想的な評価を行うように容易に適合可能であることが、理解される。例示的なニューラルネットワークは、フィードバックデータ（例えば、ミシン１０２、ユーザデバイス１１２、および／または外部ソースからの）を分析、解釈、および利用するように、本明細書で説明された方法およびシステムを通じて使用され得ることが、さらに理解される。

【0051】

図３に戻ると、段階３１４において、（例えば、段階３１２ａおよび／または３１２ｂによって提供された測定基準を使用して）行為が完全であるかどうか判断する。行為が完全でないと判断された場合、方法３００は３０４に戻り、段階３１４で行為が完全であると判断されるまで、行為のすべてまたは一部を繰り返す。一回行為が完全であると判断されると、方法は段階３１８において終了する。特定の実施形態において、特定の検証手順が、行為の結果を評価するように実行され得、そのような実施形態において、行為が繰り返されること、または代替として、追加の行為が実行されることを要求し得る。

【0052】

図４は、サージャーのスレッディングのソーイング行為に関連して、センサフィードバックに関連する例示的な方法４００を示す。段階４０２において、ユーザはサージャーをスレッディングすることに関連する行為を選択する。段階４０４において、接続デバイスまたはミシンは、ユーザがどのようにサージャーをスレッディングするべきか命令する、ミシンまたは関連環境の参照画像上にオーバーレイされたＡＲガイダンス画像を提示する。段階４０６において、ユーザはガイダンス画像によって提供されたガイダンスに従い、所望の行為の実行を進める。段階４０８ａにおいて、行為の実行に関連付けられたデータ収集（例えばカメラ１１６によって収集された画像データ）は、ユーザデバイスにおいて収集される。段階４０８ｂにおいて、行為の実行に関連付けられたデータ収集（例えば、光、張力、および最終的な圧力センサなどのセンサ１１０から収集されたデータ）は、ミシンにおいて収集される。段階４０８ｃにおいて、行為の実行に関連付けられたデータ収集は、ユーザデバイスおよびミシンにおいて収集される。段階４１０において、ローカルまたは外部データ処理が実行される。特定の実施形態において、データ処理がユーザデバイス４１２、ミシン１０２、および／または外部ソース（例えばクラウド）において実行され得る。段階４１２ａにおいて、データが分析され、測定可能なデータ属性（例えば、光、張力、および／または圧力値）が許容値を構成するかどうかが確認される。段階４１２ｂにおいて、データはニューラルネットワークにおける入力層に入り、出力層は、行為の完全性の精度の予想的評価を与える。

【0053】

段階４１４において、サージャースレッディング行為が完全であるかどうかが（例えば、段階４１２ａおよび／または４１２ｂによって提供される測定基準を使用して）、判断される。行為が完全でないと判断された場合、方法４００は４０４に戻り、段階４１４において行為が完全であると判断されるまで、行為のすべてまたは一部を繰り返す。一回行為が完全であると判断されると、方法は段階４１８において終了する。特定の実施形態において、特定の検証手順が、行為の結果を評価するように実行され得、そのような実施形態において、行為が繰り返されること、または代替として、追加の行為が実行されることを要求し得る。例えば、サージャースレッディング行為において、複数の糸および糸の経路が、正しい糸および経路の順序付けられた検証を要求するサージャー上に存在し、それは行為が完全となった後に実行され得るであろう。

【0054】

図５は、ボビンを変更することに関連するソーイング行為に関連して、センサフィードバックに関連する例示的な方法５００を示す。段階５０２において、ユーザはボビンを変更することに関連する行為を選択する。段階５０４において、接続デバイスまたはミシンは、ミシンまたは関連環境の参照画像上にオーバーレイされたＡＲガイダンス画像を提示する。段階５０６において、ユーザはガイダンス画像によって提供されたガイダンスに従い、所望の行為の実行を進める。段階５０８ａにおいて、行為の実行に関連付けられたデータ収集（例えばカメラ１１６）によって収集された画像データ）は、ユーザデバイスにおいて収集される。段階５０８ｂにおいて、行為の実行に関連付けられたデータ収集（例えば、光、張力、および最終的な圧力センサなどのセンサ１１０から収集されたデータ）は、ミシンにおいて収集される。段階５０８ｃにおいて、行為の実行に関連付けられたデータ収集は、ユーザデバイスおよびミシンにおいて収集される。段階５１０において、ローカルまたは外部データ処理が実行される。特定の実施形態において、データ処理がユーザデバイス１１２、ミシン１０２、および／または外部ソース（例えばクラウド）において実行され得る。段階５１２ａにおいて、データ（例えば、光、張力、および／または圧力値）が分析され、測定可能なデータ属性が許容値を構成するかどうかが確認される。段階５１２ｂにおいて、データはニューラルネットワークにおける入力層に入り、出力層は、行為の完全性の評価を与える。段階５１４において、行為が完全であるかどうかが例えば、段階５１２ａおよび／または５１２ｂによって提供される測定基準を使用して）、判断される。行為が完全でないと判断された場合、方法５００は５０４に戻り、段階５１４において行為が完全であると判断されるまで、行為のすべてまたは一部を繰り返す。一回行為が完全であると判断されると、方法は段階５１８において終了する。特定の実施形態において、特定の検証手順が、行為の結果を評価するように実行され得、そのような実施形態において、行為が繰り返されること、または代替として、追加の行為が実行されることを要求し得る。例えば、上の例示的な行為において、ユーザは、ボビンから糸を正しい方向に確実に広げることが必要になるであろう、さもなければ、針は破損し得、または、糸の張力は不正確になるであろう。

【0055】

図６は、刺繍枠をどのように装着および接続すべきかのソーイング行為に関連して、センサフィードバックに関連する例示的な方法６００を示す。段階６０２において、ユーザは刺繍枠を装着および接続する行為を選択する。段階６０４において、接続デバイスまたはミシンは、ミシンまたは関連環境の参照画像上にオーバーレイされたＡＲガイダンス画像を提示する。段階６０６において、ユーザはガイダンス画像によって提供されたガイダンスに従い、所望の行為の実行を進める。段階６０８ａにおいて、行為の実行に関連付けられたデータ収集（例えばカメラ１１６）によって収集された画像データ）は、ユーザデバイスにおいて収集される。段階６０８ｂにおいて、行為の実行に関連付けられたデータ収集（例えば、光、張力、および最終的な圧力センサなどのセンサ１１０から収集されたデータ）は、ミシンにおいて収集される。段階６０８ｃにおいて、行為の実行に関連付けられたデータ収集は、ユーザデバイスおよびミシンにおいて収集される。段階６１０において、ローカルまたは外部データ処理が実行される。特定の実施形態において、データ処理がユーザデバイス１１２、ミシン１０２、および／または外部ソース（例えばクラウド）において実行され得る。段階６１２ａにおいて、データがアルゴリズムによって処理され、測定可能なデータ属性が許容値を構成するかどうかを確認する。例えば、光、張力、および／または圧力値である。段階６１２ｂにおいてデータはニューラルネットワークにおける入力層に入り、出力層は、行為の完全性の評価を与える。段階６１４において、行為が完全であるかどうかが（例えば、段階６１２ａおよび／または６１２ｂによって提供される測定基準を使用して）、判断される。行為が完全でないと判断された場合、方法６００は６０４に戻り、段階６１４において行為が完全であると判断されるまで、行為のすべてまたは一部を繰り返す。一回行為が完全であると判断されると、方法は段階６１８において終了する。特定の実施形態において、特定の検証手順が、行為の結果を評価するように実行され得、そのような実施形態において、行為が繰り返されること、または代替として、追加の行為が実行されることを要求し得る。

【0056】

図７は、対話式ミシンガイダンスのための例示的な方法のフローチャートを図示する。図示された方法および関連付けられた段階は、異なる順序で、図示された段階を省略して、付加的段階を追加して、または、並び替えられた、組み合わされた、省略された、または付加的段階の組み合わせによって実行され得ることが、理解されるであろう。

【0057】

方法は、参照画像が受信される段階７０２において開始される。ガイダンス画像は、段階７０４において参照画像の上にオーバーレイされる。段階７０６において、行為が開始される。本明細書で説明されるように、行為はミシンの動作および／またはメンテナンスに関連付けられた任意の行為であり得る。段階７０８において、行為フィードバックは、例えばユーザデバイス１１２によって分析される。特定の実施形態において、行為フィードバックはまた、ミシン１０２、外部ソース、および／または、ユーザデバイス１１２、ミシン１０２、および外部ソースの何らかの組み合わせによっても分析され得ることが理解される。段階７１０において、ガイダンス画像は、行為フィードバックに基づいて修正される。ガイダンス画像への修正は、行為を完全とすることを容易にすることに向けられ得ることが、理解される。例えば、例示的な修正は、ミシンに誤って糸を装着したユーザに警告することであり得る。

【0058】

さて、図８を参照すると、本明細書で開示されたシステムおよび方法論に従って使用され得る例としての、コンピューティングデバイス８００の高いレベルの図が、図示される。ユーザデバイス１１２は、コンピューティングデバイス８００の例示的な１つの実装であることが、理解される。ミシン１０２が、コンピューティングデバイス８００の要素をさらに含み得ることが、さらに理解される。コンピューティングデバイス８００は、対話式ミシンガイダンスのためのシステム（例えばシステム１００）において使用され得る。コンピューティングデバイス８００は、メモリ８０４に格納される命令を実行する少なくとも１つのプロセッサ８０２を含む。命令は、例えば、上で論述された１つまたは複数の構成要素によって実行されるものとして説明された機能を実装するための命令、または、上で説明された方法のうちの１又は複数を実装するための命令であり得る。プロセッサ８０２は、システムバス８０６によってメモリ８０４にアクセスし得る。

【0059】

コンピューティングデバイス８００は、加えて、システムバス８０６を介してプロセッサ８０２によってアクセス可能なデータ格納８０８を含む。データ格納８０８は、本明細書で開示されるシステムおよび方法の実行に関連する実行可能な命令を含み得る。コンピューティングデバイス８００はまた、外部デバイスがコンピューティングデバイス８００と通信することを可能にする入力インタフェース８１０を含む。例えば、入力インタフェース８１０は、コンピュータデバイスからの、ユーザからの、などの命令を受信するように使用され得る。コンピューティングデバイス８００はまた、コンピューティングデバイス８００を１または複数の外部デバイスとインタフェースする出力インタフェース８１２を含む。例えば、コンピューティングデバイス８００は、出力インタフェース８１２によって、テキスト、画像などを表示し得る。

【0060】

入力インタフェース８１０および出力インタフェース８１２を介してコンピューティングデバイス８００と通信する外部デバイスが、ユーザが対話し得る任意のタイプのユーザインタフェースを最終的に提供する環境に含まれることが、企図される。ユーザインタフェースタイプの例は、グラフィカルユーザインタフェース、ナチュラルユーザインタフェースなどを含む。例えば、グラフィカルユーザインタフェースは、キーボード、マウス、遠隔制御などの入力デバイスを使用したユーザからの入力を受容し得、ディスプレイなどの出力デバイス上に出力を提供し得る。さらに、ナチュラルユーザインタフェースは、キーボード、マウス、遠隔制御などの入力デバイスによって課せられる制約がない方式で、ユーザがコンピューティングデバイス８００と対話することを可能にし得る。むしろ、ナチュラルユーザインタフェースは、会話認識、接触、およびスタイラス認識、画面上および画面近接の両者におけるジェスチャ認識、空中のジェスチャ、頭及び目のトラッキング、音声および会話、ビジョン、接触、ジェスチャ、マシンインテリジェンスなどに依存し得る。

【0061】

加えて、単一のシステムとして図示されているが、コンピューティングデバイス８００は分散されたシステムであり得ることが、理解されるべきである。そうして、例えば、いくつかのデバイスが、ネットワーク接続を介して通信状態となり得、コンピューティングデバイス８００によって実行されるものとして説明されるタスクを、集合的に実行し得る。

【0062】

本明細書において説明される例示的なシステム（例えば、ミシン１０２、ユーザデバイス１１２など）は、ハードウェア、ソフトウェア、またはそれらの任意の組み合わせにおいて実装され得ることが、理解されるべきである。ソフトウェアに実装される場合、機能は、コンピュータ可読媒体上に格納され得るか、コンピュータ可読媒体上の１または複数の命令またはコードとして伝送され得る。コンピュータ可読媒体は、コンピュータ可読格納媒体を含む。コンピュータ可読格納媒体は、コンピュータによってアクセスされ得る任意の利用可能な格納媒体であり得る。例として、そして限定でなく、そのようなコンピュータ可読格納媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ、または他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、または、命令またはデータ構造の形式で所望のプログラムコードを保持または格納するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を、含み得る。本明細書において使用されるディスク（ｄｉｓｋ）およびディスク（ｄｉｓｃ）は、コンパクトディスク（ＣＤ）、レーザディスク、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、およびブルーレイディスク（ＢＤ）を含み、ここで、ディスク（ｄｉｓｋ）は通常、データを磁気的に再生し、ディスク（ｄｉｓｃ）は通常、データをレーザによって光学的に再生する。さらに、伝搬される信号は、コンピュータ可読格納媒体の範囲に含まれない。コンピュータ可読媒体はまた、コンピュータプログラムの１つの場所から別の場所への転送を容易にする任意の媒体を含む通信媒体を含む。接続は、例えば、通信媒体であり得る。例えば、ソフトウェアがウェブサイト、サーバ、または他の遠隔ソースから、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または、赤外線、無線、およびマイクロ波など無線技術を使用して伝送される場合、次に、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などの無線技術は、通信媒体の定義に含まれる。上記の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれるべきである。

【0063】

代替的に、または加えて、機能的に本明細書に説明されたことは、少なくとも部分的に、１または複数のハードウェアロジックコンポーネントによって実行され得る。例のために、および限定でなく、使用され得る図示的なタイプのハードウェアロジックコンポーネントは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラム専用集積回路（ＡＳＩＣ）、プログラム専用標準製品（ＡＳＳＰ）、システムオンチップシステム（ＳＯＣ）、結合プログラム可能論理デバイス（ＣＰＬＤ）などを含む。

【0064】

詳細な説明は、例示を意図したものであり、説明された実施形態を限定することを意図したものではないことが、理解されるべきである。他の実施形態は、上記説明を読んで理解したときに当業者には明らかになるであろう。加えて、いくつかの例において、一実施形態によって説明された要素は、他の実施形態による使用に容易に適合するものであり得る。したがって、本明細書に説明される方法およびシステムは、特定の詳細、例示的な実施形態、または、示されて説明された例示的な例に、限定されない。従って、本開示の一般的な態様の精神および範囲から逸脱することなく、そのような詳細からの逸脱が行われ得る。
（他の可能な項目）
（項目１）
カメラから画像データを受信する段階、前記画像データはミシンの少なくとも一部の参照画像を含む；
ユーザデバイスにおいて前記参照画像を表示する段階、前記ユーザデバイスはディスプレイを含む；
前記参照画像の上にガイダンス画像をオーバーレイする段階、前記ガイダンス画像は前記ミシンと関連付けられた行為の少なくとも１つの段階を図示する；
前記行為が開始された旨の指示に応答して、前記ミシンにおける少なくとも１つのセンサからセンサフィードバックを受信する段階、前記センサフィードバックは前記行為の実行に基づいて生成される；および、
前記センサフィードバックに応答して、前記ガイダンス画像を修正する段階、
を含む、対話式ミシンガイダンスのための方法。
（項目２）
前記センサフィードバックは、ユーザが前記行為の前記少なくとも１つの段階を完全とした旨を表す、項目１に記載の方法。
（項目３）
前記ガイダンス画像を修正する段階は、行為の第２の段階を図示する段階を含む、項目１または２に記載の方法。
（項目４）
前記ガイダンス画像を修正する段階は、ユーザが前記行為を完全とするまで繰り返される、項目１から３のいずれか一項に記載の方法。
（項目５）
前記行為の完全性は、前記ガイダンス画像および前記参照画像の比較に基づく、項目１から４のいずれか一項に記載の方法。
（項目６）
前記センサフィードバックは、前記行為の少なくとも１つの段階が誤って実行された旨を表す、項目１に記載の方法。
（項目７）
前記センサフィードバックは、前記ユーザデバイスにおける振動のために動作可能な触覚フィードバックである、項目６に記載の方法。
（項目８）
前記行為は、前記ミシンをスレッディングする段階を含む、項目１から７のいずれか一項に記載の方法。
（項目９）
前記行為は、サージャーをスレッディングする段階を含む、項目１から７のいずれか一項に記載の方法。
（項目１０）
前記行為は、ワークピースを縫い付けることを含む、項目１から７のいずれか一項に記載の方法。
（項目１１）
行為要求に応答して、ミシンにおいて行為を開始する段階、前記行為は前記ミシンを用いてワークピースを操作する段階を含む；
カメラから画像データを受信する段階、前記画像データは前記ワークピースの参照画像を含む；
前記ワークピース上にガイダンス画像を投影する段階、前記ガイダンス画像は前記参照画像に基づく；
前記ミシンの少なくとも１つのセンサからセンサフィードバックを受信する段階、前記センサフィードバックは前記ガイダンス画像および前記参照画像の比較に基づいて生成される；および、
前記センサフィードバックに基づいて前記行為の完全性を判断する段階、
を含む、対話式ミシンガイダンスのための方法。
（項目１２）
前記センサフィードバックに基づいて、前記ワークピースのエラーを検出する段階をさらに含む、項目１１に記載の方法。
（項目１３）
前記行為は、前記ミシンをスレッディングする段階を含む、項目１１または１２に記載の方法。
（項目１４）
前記行為は、サージャーをスレッディングする段階を含む、項目１１または１２に記載の方法。
（項目１５）
前記行為の前記完全性に基づいて、前記ガイダンス画像を修正する段階をさらに含む、項目１１から１４のいずれか一項に記載の方法。
（項目１６）
前記ワークピース上に前記ガイダンス画像を投影する段階がユーザデバイスによって実行される、項目１１から１５のいずれか一項に記載の方法。
（項目１７）
前記ワークピース上に前記ガイダンス画像を投影する段階が前記ミシンによって実行される、項目１１から１５のいずれか一項に記載の方法。
（項目１８）
ミシン、および
ユーザデバイス、前記ユーザデバイスは、
カメラから画像データを受信し、前記画像データは前記ミシンの少なくとも一部の参照画像を含む；
前記ユーザデバイスにおいて前記画像データを表示し、前記ユーザデバイスはディスプレイを含む；
前記ミシンの前記参照画像の上にガイダンス画像をオーバーレイし、前記ガイダンス画像は行為の少なくとも１つの段階を図示する；
前記ミシンにおける前記行為の開始に応答して、前記ミシンにおける少なくとも１つのセンサからセンサフィードバックを受信し、前記センサフィードバックは、前記行為の実行に基づいて生成される；および、
前記センサフィードバックに応答して、前記ガイダンス画像を修正する
よう構成されている、
を含む、対話式ミシンガイダンスのためのシステム。
（項目１９）
前記センサフィードバックは、ユーザが前記行為の前記少なくとも１つの段階を完全とした旨を表す、項目１８に記載のシステム。
（項目２０）
前記ガイダンス画像を修正することは、行為の第２の段階を図示することを含む、項目１８または１９に記載のシステム。
（項目２１）
前記ガイダンス画像を修正することは、ユーザが行為を完全とするまで繰り返される、項目１８から２０のいずれか一項に記載のシステム。
（項目２２）
前記行為の完全性が、前記ガイダンス画像および前記参照画像の比較に基づく、項目１８から２１のいずれか一項に記載のシステム。
（項目２３）
行為要求に応答して、ミシンにおいて行為を開始する段階、前記行為は前記ミシンを用いてワークピースを操作する段階を含む；
カメラから画像データを受信する段階、前記画像データは前記ミシンの少なくとも一部の参照画像を含む；
ユーザデバイスにおいて参照画像を表示する段階、前記ユーザデバイスはディスプレイを含む；
前記参照画像の上に第１ガイダンス画像をオーバーレイする段階、前記第１ガイダンス画像は、前記ミシンに関連付けられた行為の少なくとも１つの段階を図示する；
前記行為が開始された旨の指示に応答して、前記ミシンにおいて少なくとも１つのセンサからセンサフィードバックを受信する段階、前記センサフィードバックは、前記行為の実行に基づいて生成され、前記センサフィードバックは物理的フィードバックを生成するように動作可能である；および
前記センサフィードバックに応答して、前記ユーザデバイスにおいて前記第１ガイダンス画像を修正する段階
を含む、対話式ミシンガイダンスのための方法。
（項目２４）
前記物理的フィードバックは、前記ユーザデバイスにおける振動である、項目２３に記載の方法。
（項目２５）
前記物理的フィードバックは、前記ミシンにおける振動である、項目２３に記載の方法。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【国際調査報告】