特表 2024-507599 ラベルデータの検証のためのシステムおよびコンピュータにより実施される方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-21

(54)【発明の名称】ラベルデータの検証のためのシステムおよびコンピュータにより実施される方法

(51)【国際特許分類】

   G06F 18/40 20230101AFI20240214BHJP

   G06F 18/30 20230101ALI20240214BHJP

   G06F 18/24 20230101ALI20240214BHJP

【ＦＩ】

G06F18/40

G06F18/30

G06F18/24

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021577327

(86)(22)【出願日】2021-10-28

(85)【翻訳文提出日】2022-03-31

(86)【国際出願番号】 US2021056945

(87)【国際公開番号】W WO2022164491

(87)【国際公開日】2022-08-04

(31)【優先権主張番号】17/197,527

(32)【優先日】2021-03-10

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】202111003686

(32)【優先日】2021-01-27

(33)【優先権主張国・地域又は機関】IN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡＳＣＲＩＰＴ

２．ＺＩＧＢＥＥ

３．ＢＬＵＥＴＯＯＴＨ

４．ＰＹＴＨＯＮ

５．ＷＣＤＭＡ

(71)【出願人】

【識別番号】520262319

【氏名又は名称】ユーアイパス，インコーポレイテッド

【氏名又は名称原語表記】ＵｉＰａｔｈ，Ｉｎｃ．

【住所又は居所原語表記】１ Ｖａｎｄｅｒｂｉｌｔ Ａｖｅｎｕｅ， ６０ｔｈ Ｆｌｏｏｒ， Ｎｅｗ Ｙｏｒｋ， ＮＹ １００１７， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100180781

【弁理士】

【氏名又は名称】安達 友和

(74)【代理人】

【識別番号】100182903

【弁理士】

【氏名又は名称】福田 武慶

(72)【発明者】

【氏名】カーティク アイヤー

(72)【発明者】

【氏名】マーク ベニョフスキー

(72)【発明者】

【氏名】エシュワー ガネーシャン

(57)【要約】

ラベルデータを検証するためのシステムおよびコンピュータにより実施される方法は、ラベルデータを受信するステップと、第１の機械学習モデルを使用してラベルデータを１つまたは複数の部分にセグメント化するステップと、を含む。さらに、セグメント化されたラベルデータから、テキストおよび画像を含む第１の複数の属性が抽出される。本方法は、ラベルデータと関連するグラウンドトゥルースデータを受信するステップと、グラウンドトゥルースデータから第２の複数の属性を抽出するステップと、をさらに含む。次いで、第１および第２の複数の属性が、第２の機械学習モデルを使用して比較され、比較の結果が３ペインのユーザーインターフェースに表示される。さらに、表示された結果に基づいてラベルデータが検証される。

【特許請求の範囲】

【請求項1】

ラベルデータを検証するためのコンピュータにより実施される方法であって、
第１の機械学習モデルを使用して、セグメント化されたラベルデータを提供するために、受信したラベルデータを１つまたは複数の部分にセグメント化するステップと、
前記セグメント化されたラベルデータから第１の複数の属性を抽出するステップと、
前記ラベルデータと関連するグラウンドトゥルースデータを受信するステップと、
前記受信したグラウンドトゥルースデータから第２の複数の属性を抽出するステップと、
第２の機械学習モデルを使用して、前記セグメント化されたラベルデータに関連する前記第１の複数の属性を、前記グラウンドトゥルースデータに関連する前記第２の複数の属性と比較するステップと、
少なくとも３つの表示ペインを含むユーザーインターフェース（ＵＩ）上に、前記比較の結果を表示するステップと、
前記表示された比較の結果に基づいて前記ラベルデータを検証するステップと、を含む、コンピュータにより実施される方法。

【請求項2】

前記ラベルデータは、少なくとも１つのアートワークラベルに関連する画像データを含む、請求項１に記載のコンピュータにより実施される方法。

【請求項3】

前記少なくとも３つの表示ペインは、
前記比較の結果で識別された前記ラベルデータの１つまたは複数の誤りを表示する第１の表示ペインと、
前記ラベルデータを表示する第２の表示ペインと、
前記グラウンドトゥルースデータを表示する第３の表示ペインと、を含む、請求項１に記載のコンピュータにより実施される方法。

【請求項4】

前記第１の表示ペイン内で、前記ラベルデータ内の前記１つまたは複数の誤りに対する修正アクティビティを実行するためのユーザー入力を受信するステップと、
前記第１の表示ペイン内で、前記受信したユーザー入力に基づいて前記ラベルデータを更新するステップと、
前記更新に基づいて修正されたラベルデータを前記第２の表示ペインに表示するステップと、
前記修正されたラベルデータを検証するステップと、をさらに含み、
前記修正されたラベルデータを検証する前記ステップは、受け入れ確認応答を提供することによって前記修正されたラベルデータを受け入れるステップ、または拒否確認応答を提供することによって前記修正されたラベルを拒否するステップを含む、
請求項３に記載のコンピュータにより実施される方法。

【請求項5】

前記第１の機械学習モデルを使用して、前記受信したラベルデータを１つまたは複数の部分にセグメント化する前記ステップは、
前記第１の機械学習モデルを使用して、前記受信したラベルデータを分類するステップであって、前記第１の機械学習モデルは、訓練されたコンピュータビジョン（ＣＶ）ベースの機械学習モデルである、ステップと、
前記分類されたラベルデータを前記１つまたは複数の部分にセグメント化するステップと、をさらに含む、請求項１に記載の方法。

【請求項6】

前記分類に基づいて、前記セグメント化されたラベルデータの前記１つまたは複数の部分の各々について１つまたは複数のバウンディングボックスを生成するステップと、
前記１つまたは複数のバウンディングボックスを前記第１の複数の属性と関連付けるステップであって、前記第１の複数の属性は、テキスト属性、画像属性、またはそれらの組み合わせを含む、ステップと、
前記生成された１つまたは複数のバウンディングボックスを第２の表示ペインに表示するステップと、
をさらに含む、請求項５に記載のコンピュータにより実施される方法。

【請求項7】

前記１つまたは複数の生成されたバウンディングボックスの境界を調整するステップをさらに含む、請求項６に記載のコンピュータにより実施される方法。

【請求項8】

前記グラウンドトゥルースデータのための１つまたは複数の追加のバウンディングボックスを生成するステップと、
前記１つまたは複数の追加のバウンディングボックスを前記第２の複数の属性と関連付けるステップであって、前記第２の複数の属性は、テキスト属性、画像属性、またはそれらの組み合わせを含む、ステップと、
前記生成された１つまたは複数の追加のバウンディングボックスを第３の表示ペインに表示するステップであって、前記第３の表示ペイン内の前記１つまたは複数の追加のバウンディングボックスならびに前記第２の表示ペイン内の前記１つまたは複数のバウンディングボックスは、同じ表示色または同じ表示パターンのうちの１つまたは複数で表示される、ステップと、
をさらに含む、請求項６に記載のコンピュータにより実施される方法。

【請求項9】

前記セグメント化されたラベルデータの前記１つまたは複数のバウンディングボックスから前記第１の複数の属性を抽出するステップと、
前記グラウンドトゥルースデータの前記１つまたは複数の追加のバウンディングボックスから前記第２の複数の属性を抽出するステップと、
前記第２の機械学習モデルを使用して、前記セグメント化されたラベルデータからの前記第１の複数の属性を前記グラウンドトゥルースデータからの前記第２の複数の属性と比較するステップであって、前記第２の機械学習モデルは訓練された名称付きエンティティ認識（ＮＥＲ）モデルを含む、ステップと、
をさらに含む、請求項８に記載のコンピュータにより実施される方法。

【請求項10】

ラベルデータを検証するためのシステムであって、
１つまたは複数のコンピュータ実行可能命令を格納するように構成されたメモリと、
１つまたは複数のプロセッサと、を含み、前記１つまたは複数のプロセッサは、前記１つまたは複数の命令を遂行して、
第１の機械学習モデルを使用して、受信したラベルデータを１つまたは複数の部分にセグメント化して、セグメント化されたラベルデータを提供し、
前記セグメント化されたラベルデータから第１の複数の属性を抽出し、
前記ラベルデータと関連するグラウンドトゥルースデータを受信し、
前記受信したグラウンドトゥルースデータから第２の複数の属性を抽出し、
第２の機械学習モデルを使用して、前記セグメント化されたラベルデータに関連する前記第１の複数の属性を、前記グラウンドトゥルースデータに関連する前記第２の複数の属性と比較し、
少なくとも３つの表示ペインを含むユーザーインターフェース（ＵＩ）上に、前記比較の結果を表示し、
前記表示された比較の結果に基づいて前記ラベルデータを検証する、ように構成される、システム。

【請求項11】

前記ラベルデータは、少なくとも１つのアートワークラベルに関連する画像データを含む、請求項１０に記載のシステム。

【請求項12】

前記ＵＩの前記少なくとも３つの表示ペインは、
前記比較の結果で識別された前記ラベルデータの１つまたは複数の誤りを表示する第１の表示ペインと、
前記ラベルデータを表示する第２の表示ペインと、
前記グラウンドトゥルースデータを表示する第３の表示ペインと、を含む、請求項１０に記載のシステム。

【請求項13】

前記１つまたは複数のプロセッサは、前記１つまたは複数の命令を遂行して、
前記ラベルデータ内の前記１つまたは複数の誤りに対する修正アクティビティを実行するためのユーザー入力を受信し、
前記受信したユーザー入力に基づいて前記ラベルデータを更新し、
前記更新に基づいて修正されたラベルデータを前記第２の表示ペインに表示し、
前記修正されたラベルデータを検証し、検証することは、受け入れ確認応答を提供することによって前記修正されたラベルデータを受け入れること、または拒否確認応答を提供することによって前記修正されたラベルを拒否することのうちの少なくとも一方を含む、ようにさらに構成される、請求項１２に記載のシステム。

【請求項14】

前記第１の機械学習モデルを使用して、前記受信したラベルデータを１つまたは複数の部分にセグメント化するために、前記１つまたは複数のプロセッサは、前記１つまたは複数の命令を遂行して、
前記第１の機械学習モデルを使用して、前記受信したラベルデータを分類し、前記第１の機械学習モデルは、訓練されたコンピュータビジョン（ＣＶ）ベースの機械学習モデルであり、
前記分類されたラベルデータを前記１つまたは複数の部分にセグメント化する、ようにさらに構成される、請求項１０に記載のシステム。

【請求項15】

前記１つまたは複数のプロセッサは、前記１つまたは複数の命令を遂行して、
前記分類に基づいて、前記セグメント化されたラベルデータの前記１つまたは複数の部分の各々について１つまたは複数のバウンディングボックスを生成し、
前記１つまたは複数のバウンディングボックスを前記第１の複数の属性と関連付け、前記第１の複数の属性は、テキスト属性、画像属性、またはそれらの組み合わせを含み、
前記生成された１つまたは複数のバウンディングボックスを第２の表示ペインに表示する、ようにさらに構成される、請求項１４に記載のシステム。

【請求項16】

前記１つまたは複数のプロセッサは、前記１つまたは複数の生成されたバウンディングボックスの境界を調整するようにさらに構成される、請求項１５に記載のシステム。

【請求項17】

前記１つまたは複数のプロセッサは、前記１つまたは複数の命令を遂行して、
前記グラウンドトゥルースデータのための１つまたは複数の追加のバウンディングボックスを生成し、
前記１つまたは複数の追加のバウンディングボックスを前記第２の複数の属性と関連付け、前記第２の複数の属性は、テキスト属性、画像属性、またはそれらの組み合わせを含み、
前記生成された１つまたは複数の追加のバウンディングボックスを第３の表示ペインに表示し、前記第３の表示ペイン内の前記１つまたは複数の追加のバウンディングボックスならびに前記第２の表示ペイン内の前記１つまたは複数のバウンディングボックスは、同じ表示色または同じ表示パターンのうちの１つまたは複数で表示される、ようにさらに構成される、請求項１５に記載のシステム。

【請求項18】

前記１つまたは複数のプロセッサは、前記１つまたは複数の命令を遂行して、
前記セグメント化されたラベルデータの前記１つまたは複数のバウンディングボックスから前記第１の複数の属性を抽出し、
前記グラウンドトゥルースデータの前記１つまたは複数の追加のバウンディングボックスから前記第２の複数の属性を抽出し、
前記第２の機械学習モデルを使用して、前記セグメント化されたラベルデータからの前記第１の複数の属性を前記グラウンドトゥルースデータからの前記第２の複数の属性と比較し、前記第２の機械学習モデルは訓練された名称付きエンティティ認識（ＮＥＲ）モデルを含む、ようにさらに構成される、請求項１７に記載のシステム。

【請求項19】

非一時的コンピュータ可読媒体に格納されるコンピュータプログラムであって、前記コンピュータプログラムは、１つまたは複数のプロセッサに、
第１の機械学習モデルを使用して、受信したラベルデータを１つまたは複数の部分にセグメント化させて、セグメント化されたラベルデータを提供させ、
前記セグメント化されたラベルデータから第１の複数の属性を抽出させ、
前記ラベルデータと関連するグラウンドトゥルースデータを受信させ、
前記受信したグラウンドトゥルースデータから第２の複数の属性を抽出させ、
第２の機械学習モデルを使用して、前記セグメント化されたラベルデータに関連する前記第１の複数の属性を、前記グラウンドトゥルースデータに関連する前記第２の複数の属性と比較させ、
少なくとも３つの表示ペインを含むユーザーインターフェース（ＵＩ）上に、前記比較の結果を表示させ、
前記表示された比較の結果に基づいて前記ラベルデータを検証させる、ように構成される、コンピュータプログラム。

【請求項20】

前記少なくとも３つの表示ペインは、
前記比較の結果で識別された前記ラベルデータの１つまたは複数の誤りを表示する第１の表示ペインと、
前記ラベルデータを表示する第２の表示ペインと、
前記グラウンドトゥルースデータを表示する第３の表示ペインと、を含む、請求項１９に記載のコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、２０２１年３月１０日に出願された米国非仮特許出願第１７／１９７，５２７号の利益を主張し、上記出願は、２０２１年１月２７日に出願されたインド特許出願第２０２１１１００３６８６号の利益および優先権を主張する。これらの先願の主題は、その全体が参照により本明細書に組み込まれる。

【0002】

本発明は、一般に、ロボティックプロセスオートメーション（ＲＰＡ）に関し、より具体的には、ＲＰＡを使用したアートワークラベルの検証に関する。

【背景技術】

【0003】

ＲＰＡは、企業内に多数存在する比較的単純で反復可能なタスクを遂行するため、ソフトウェア自動化の普及を促進するために使用されてきた。ＲＰＡは、一般に、以前はコンピューティングシステムへの手動ユーザー入力を使用して行われていた単純なタスクの自動化を可能にし、現在はＲＰＡツールを使用してソフトウェアロボットによってますます実行されている。現在、ソフトウェア開発者が企業の単純なタスクおよび反復タスクを設計、遂行、展開、およびテストするのを助けることができるＲＰＡツールが利用可能である。例えば、これらのタスクは、デザイナツールを使用して設計され、デプロイメントツールを使用して展開され得る。タスクの一部は、特定の製品ベースのアプリケーション領域に関連してもよい。そのようなアプリケーション領域の１つは、ラベルの設計および検証である。ラベルは、製品ラベルなどのアートワークラベル、絵画のような芸術品のラベル、マーケティングパンフレットおよびパンフレットなどを含んでもよい。一般に、これらのアートワークラベルは、テキストと画像の組み合わせを含む。製品ラベルの場合など、大量印刷のためにアートワークラベルが使用されることがある。これらの場合、印刷前にラベルを正確かつ効率的に検証することが重要である。ラベルの検証のわずかな誤りであっても、誤ったラベルが大量生産されると、リソースの大幅な損失および製造コストの増加につながる可能性がある。

【0004】

アートワークラベルの検証のエラーのいくつかは、人間の品質管理担当者が人間の検証時に微小なエラーを識別できない場合など、ヒューマンエラーに起因する。その目的のために、ラベルの効率的かつ正確な検証のために、アートワークラベルの設計および検証のための自動ツールが必要とされている。

【発明の概要】

【0005】

本発明の特定の実施形態は、現在のＲＰＡ技術によってまだ完全に識別、認識、または解決されていない当技術分野の問題およびニーズに対するより良好で容易なソリューションを提供する。例えば、本発明のいくつかの実施形態は、アートワークラベルの検証のための効率的、正確かつ経済的な手順を提供するための、アートワークラベルなどのラベルデータの機械学習（ＭＬ）ベースの検証に関する。いくつかの実施形態は、ラベルデータの検証を実行するための少なくとも３つの表示ペインを含む直感的で容易にナビゲートするユーザーインターフェースを提供する。少なくとも３つの表示ペイン（または３つのペイン）は、ラベルデータ内の１つまたは複数の誤りを表示するように構成された少なくとも第１の表示ペインと、ラベルデータを表示するように構成された第２の表示ペインと、ラベルデータに関連するグラウンドトゥルースデータを表示するように構成された第３の表示ペインと、を含む。

【0006】

一実施形態では、コンピュータにより実施される方法が提供される。コンピュータにより実施される方法は、一連の操作を遂行するための少なくとも１つのハードウェアプロセッサを使用し、一連の操作はラベルデータの検証に使用される。一連の操作は、ラベルデータを受信することと、第１のＭＬモデルを使用して、受信したラベルデータを１つまたは複数の部分にセグメント化することと、を含む。したがって、出力はセグメント化されたラベルデータである。一連の操作は、セグメント化されたラベルデータから第１の複数の属性を抽出することをさらに含む。一連の操作はさらに、ラベルデータに関連するグラウンドトゥルースデータを受信することと、グラウンドトゥルースデータから第２の複数の属性を抽出することと、を含む。一連の操作は、第２のＭＬモデルを使用して、セグメント化されたラベルデータからの第１の複数の属性をグラウンドトゥルースデータからの第２の複数の属性と比較することと、少なくとも３つの表示ペインを含むユーザーインターフェース上に比較の結果を表示することと、をさらに含む。一連の操作は、表示された比較の結果に基づいてラベルデータを検証することをさらに含む。

【0007】

さらに別の実施形態では、システムが提供される。システムは、コンピュータ実行可能命令を格納するように構成されたメモリと、命令を遂行するように構成された１つまたは複数のプロセッサと、を含む。コンピュータ実行可能命令は、１つまたは複数のプロセッサにラベルデータを検証させるように構成される。コンピュータ実行可能命令は、１つまたは複数のプロセッサに、ラベルデータを受信させ、受信したラベルデータを第１の学習モデルを使用して１つまたは複数の部分にセグメント化させ、したがってセグメント化されたラベルデータを提供するようにさらに構成される。コンピュータ実行可能命令は、１つまたは複数のプロセッサに、セグメント化されたラベルデータから第１の複数の属性を抽出させるようにさらに構成される。コンピュータ実行可能命令は、１つまたは複数のプロセッサに、グラウンドトゥルースデータを受信させ、受信したグラウンドトゥルースデータから第２の複数の属性を抽出させるようにさらに構成される。コンピュータ実行可能命令は、１つまたは複数のプロセッサに、第２のＭＬモデルを使用して、セグメント化されたラベルデータからの第１の複数の属性をグラウンドトゥルースデータからの第２の複数の属性と比較させるようにさらに構成される。コンピュータ実行可能命令は、１つまたは複数のプロセッサに、少なくとも３つの表示ペインを含むユーザーインターフェース上に比較の結果を表示させるようにさらに構成される。さらに、コンピュータ実行可能命令は、１つまたは複数のプロセッサに、表示された比較の結果に基づいてラベルデータを検証させるように構成される。

【図面の簡単な説明】

【0008】

本発明の特定の実施形態の利点が容易に理解されるように、上記で簡単に説明した本発明のより具体的な説明は、添付の図面に示されている特定の実施形態を参照することによって提供される。これらの図面は、本発明の典型的な実施形態のみを示しており、したがってその範囲を限定するものと見なされるべきではないことを理解されたいが、本発明は、添付の図面を使用することによって追加の具体性および詳細を伴って説明および説明される。

【0009】

【図1】本発明の一実施形態による、ＲＰＡシステムを示すアーキテクチャ図である。

【0010】

【図2】本発明の一実施形態による、展開されたＲＰＡシステムを示すアーキテクチャ図である。

【0011】

【図3】本発明の一実施形態による、デザイナ、アクティビティ、およびドライバの間の関係を示すアーキテクチャ図である。

【0012】

【図4】本発明の一実施形態による、別のＲＰＡシステムを示すアーキテクチャ図である。

【0013】

【図5】本発明の一実施形態による、ラベルの検証のために構成されたコンピューティングシステムを示すアーキテクチャ図である。

【0014】

【図6A】本発明の一実施形態による、ラベルを検証するためのユーザーインターフェースを示すＧＵＩである。

【図6B】本発明の一実施形態による、ラベルを検証するためのユーザーインターフェースを示すＧＵＩである。

【図6C】本発明の一実施形態による、ラベルを検証するためのユーザーインターフェースを示すＧＵＩである。

【0015】

【図7】本発明の一実施形態による、ラベルデータを検証するための方法を示すフローチャートである。

【発明を実施するための形態】

【0016】

いくつかの実施形態は、アートワークラベル、製品ラベルなどのラベルを表示、比較、および検証する機能を提供するように構成されたシステム（以下、「コンピューティングシステム」と呼ばれる）に関する。ラベルを検証するために、新しく設計されたラベルなどのラベルに含まれるデータまたは情報は、そのようなラベルに関連するグラウンドトゥルースデータと比較（または検証）される。グラウンドトゥルースデータは、製品製造会社またはマーケティング会社によって製品設計会社に提供される以前のラベル、ラベルテンプレート、ラベル設計文書の形態などの、ラベルに関する以前に利用可能な情報を含む。グラウンドトゥルースデータは、本明細書に開示したシステムを使用してラベルデータを検証するための基礎として使用され得る。例えば、システムは、少なくとも３つの表示ペインを含むユーザーインターフェース（ＵＩ）を提供するように構成されているので、新しく設計されたラベルなどのラベルデータを以前に設計されたラベルなどのグラウンドトゥルースデータと比較することが容易であり、直感的であり、効率的であり、時間を節約する。

【0017】

ラベルデータをグラウンドトゥルースデータと比較する問題に対するいくつかの従来のソリューションでは、ユーザーは、表示タブの形態などで複数の表示アプリケーションを連続的に手動で切り替え、ラベルデータとグラウンドトゥルースデータとの間で各態様を手動で比較する必要があり、これは時間のかかるタスクである。これはまた、集中力の欠如、細部への注意の欠如、および単調に手動であることに起因してヒューマンエラーを起こしやすい反復プロセスである。ラベルをグラウンドトゥルース文書と比較する負担を軽減するために、いくつかの実施形態は、単一のＵＩ表示領域内に３つの表示ペインを有するＵＩを提供する。これにより、ユーザーは、ラベルデータとグラウンドトゥルースデータとの変化に容易に気づくことができ、ラベルデータに誤りが発生した領域をハイライトすることができる。

【0018】

さらに、いくつかの実施形態は、ＭＬおよびロボティックプロセスオートメーション（ＲＰＡ）のような計算効率の高い技術の使用を組み込んで、遂行時間の改善およびストレージ要件の低減を提供すると同時に、ユーザデバイスレベルでの複雑度を低減することによって、高度な計算効率を提供する。これは、「システム」が、本発明の範囲から逸脱することなく、サーバー、組込みコンピューティングシステム、パーソナルコンピュータ、コンソール、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、タブレットコンピューティングデバイス、量子コンピューティングシステム、または任意の他の適切なコンピューティングデバイス、またはデバイスの組み合わせとして具現化され得るからである。上記の機能を「システム」によって実行されるものとして提示することは、実施形態の範囲を決して限定することを意図するものではなく、多くの実施形態の一例を提供することを意図している。実際、いくつかの実施形態は、クラウドコンピューティングシステムを含むコンピューティング技術と一致する局所化された形態および分散された形態で実装されてもよい。これらおよび他のアーキテクチャ構成は、本発明の実施形態の範囲を限定することなく、以下の説明で論じられる。

【0019】

図１は、本発明の一実施形態による、ＲＰＡシステム１００を示すアーキテクチャ図である。ＲＰＡシステム１００は、開発者またはユーザーがワークフローを設計および実装することを可能にするデザイナ１１０を含む。デザイナ１１０は、アプリケーション統合、ならびに第三者アプリケーション、管理情報技術（ＩＴ）タスク、およびビジネスＩＴプロセスを自動化するためのソリューションを提供する。デザイナ１１０は、ビジネスプロセスのグラフィカル表現である自動化プロジェクトの開発をさらに容易にする。簡単に言えば、デザイナ１１０は、ワークフローおよびロボットの開発およびデプロイメントを容易にする。いくつかのワークフローは、ラベルデータと呼ばれる、アートワークラベル画像の検証などのためのラベルデータ検証パイプラインの自動化プロジェクトに関連する。自動化は、コンピュータビジョン（ＣＶ）および光学文字認識（ＯＣＲ）技術の組み合わせを使用すること、ラベルデータおよびグラウンドトゥルースデータからの複数のテキストおよび画像ベースの属性の抽出、ＭＬアルゴリズムを使用したラベルデータおよびグラウンドトゥルースデータに対するバウンディングボックスの実行、ＭＬを使用したラベルデータおよびグラウンドトゥルースデータにおけるバウンディングボックス内の類似の属性の比較、ラベルデータの相違、誤りおよび編集オプションの同時表示のための３つの表示ペインを含むＵＩ上の比較結果の表示、表示された比較結果に基づくラベルデータに対する適切な修正アクティビティの実行、ならびに修正アクティビティの確認および／またはラベルデータとグラウンドトゥルースデータとの間の任意のエラーおよび不一致の排除によるラベルの検証などによる、ラベルデータおよびグラウンドトゥルースデータ（文書で提供された以前のアートワークラベル画像またはテンプレートラベル画像など）の識別を含む。ＲＰＡの一部として、多次元の正方形、長方形、円、多角形、自由形状などの形状は、ラベルデータ検証のための自動化プロジェクトによるコンピュータビジョン（ＣＶ）動作またはＭＬモデルに関連してＵＩロボット開発および実行時に利用することができる。

【0020】

自動化プロジェクトは、本明細書で「アクティビティ」と定義される、ワークフローで開発されたステップのカスタムセット間の遂行順序および関係の制御を開発者に与えることによって、ルールベースのプロセスの自動化を可能にする。デザイナ１１０の一実施形態の一商用例は、ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）である。各アクティビティは、ボタンのクリック、ファイルの読み取り、ログパネルへの書き込みなどのアクションを含む。いくつかの実施形態では、ワークフローはネストまたは埋め込みされ得る。

【0021】

いくつかのタイプのワークフローは、シーケンス、フローチャート、有限状態機械（ＦＳＭ）、および／またはグローバル例外ハンドラを含むが、これらに限定されない。シーケンスは、ワークフローを乱すことなく１つのアクティビティから別のアクティビティへの流れを可能にする線形プロセスに特に適している。フローチャートは、より複雑なビジネスロジックに特に適しており、複数の分岐論理演算子を介してより多様な方法で決定の統合およびアクティビティの接続を可能にする。ＦＳＭは、大規模なワークフローに特に適している。ＦＳＭは、条件（すなわち、遷移）またはアクティビティによってトリガされ得る有限数の状態をそれらの遂行において使用することができる。グローバル例外ハンドラは、遂行エラーに遭遇したときのワークフローの挙動を判定し、プロセスをデバッグするのに特に適している。

【0022】

ワークフローがデザイナ１１０で開発されると、ビジネスプロセスの遂行は、デザイナ１１０で開発されたワークフローを遂行する１つまたは複数のロボット１３０を編成するコンダクタ１２０によって編成される。コンダクタ１２０の実施形態の一商用例は、ＵｉＰａｔｈオーケストレータ（商標）である。コンダクタ１２０は、環境内のリソースの作成、監視、およびデプロイメントの管理を容易にする。コンダクタ１２０は、第三者のソリューションおよびアプリケーションとの統合ポイントとして機能する。一実施形態では、コンダクタ１２０はウェブベースのユーザーインターフェースと統合される。

【0023】

コンダクタ１２０は、すべてのロボット１３０を管理して、集中ポイントからロボット１３０を接続し遂行する。管理されるロボット１３０のタイプは、これらに限定されないが、アテンディッドロボット１３２、アンアテンディッドロボット１３４、開発ロボット（アンアテンディッドロボット１３４と同様であるが、開発および試験の目的で使用される）、および非生産ロボット（アテンディッドロボット１３２と同様であるが、開発および試験の目的で使用される）を含む。アテンディッドロボット１３２は、ユーザーイベントによってトリガされ、同じコンピューティングシステム上で人間と一緒に動作する。アテンディッドロボット１３２は、集中プロセスデプロイメントおよび記録媒体のためのコンダクタ１２０と共に使用される。アテンディッドロボット１３２は、人間のユーザーが様々なタスクを達成するのを助け、ユーザーイベントによってトリガされる。いくつかの実施形態では、プロセスは、このタイプのロボットのコンダクタ１２０から開始されず、および／またはロックされた画面の下で実行されない。特定の実施形態では、アテンディッドロボット１３２は、ロボットトレイまたはコマンドプロンプトから起動される。いくつかの実施形態では、アテンディッドロボット１３２は人間の監督下で動作する。例えば、いくつかのアテンディッドロボット１３２は、画像の訓練データセットに基づいて画像を分類するように構成された第１のＭＬモデルの訓練データ生成のための人間の介入を必要とする教師付きＭＬ方法論に使用することができる。訓練データセットは、画像に関連するカテゴリまたはクラスを識別する目的で、ラベルまたはタグを画像に割り当てることによって生成することができる。例えば、画像は、ソフトドリンクの製品ラベルに関連していてもよく、画像が属するカテゴリは「飲料」であってもよく、したがって、訓練データセットにおいて、画像は、対応する「飲料」タグに関連付けられてもよい。このように、何千もの画像をタグ付けして、対応する第１のＭＬモデルの訓練データセットを形成することができる。アテンディッドロボット１３２は、訓練データ画像の教師付き分類を提供することによって訓練データセットの生成を容易にする。

【0024】

いくつかの実施形態では、アテンディッドロボット１３２は、ラベルデータが「飲料」産業に関連する場合、栄養成分表示表、成分、サムネイルなどのラベルデータ内の複数のセグメントを分類するように構成される。分類されたセグメントには、ラベルデータの識別されたセグメントのそれぞれについて、座標データ：（ｘ１ｙ１、ｘ２ｙ２、ｘ３ｙ３、ｘ４ｙ４）の形式で定義された１つまたは複数のバウンディングボックスがさらに設けられる。

【0025】

いくつかの実施形態では、アテンディッドロボット１３２はまた、ＭＬモデル（以前に開示したＭＬモデルと同じであってもよい）を使用して、訓練データセット内の画像、例えば、チップパケットまたはスナック、飲料、水筒などの複数のスーパーカテゴリのうちの１つを最初に生成するように構成される。次に、ＭＬモデルは、最初に、第１の分類器アルゴリズムを使用して、アートワークラベルをスーパーカテゴリ（飲料、スナックなど）に正しく分類し、次に、第２のレベルの分類を使用して、前述のようにラベルデータ内の１つまたは複数のセグメントを識別する。

【0026】

アンアテンディッドロボット１３４は、仮想環境で無人で動作し、多くのプロセスを自動化する。アンアテンディッドロボット１３４は、リモート遂行、監視、スケジューリング、および作業待ち行列のサポートの提供を担当する。いくつかの実施形態では、すべてのロボットタイプのデバッグを、デザイナ１１０で実行される。アテンディッドロボット１３２およびアンアテンディッドロボット１３４の両方は、メインフレーム、ウェブアプリケーション、仮想マシン（ＶＭ）、エンタープライズアプリケーション（例えば、ＳＡＰ（登録商標）、ＳａｌｅｓＦｏｒｃｅ（登録商標）、Ｏｒａｃｌｅ（登録商標）などによって製造されたもの）、およびコンピューティングシステムアプリケーション（例えば、デスクトップおよびラップトップアプリケーション、モバイルデバイスアプリケーション、ウェアラブルコンピュータアプリケーション、画像分類アプリケーションなど）を含むがこれらに限定されない様々なシステムおよびアプリケーションを自動化することができる。例えば、監督されたロボットまたはアテンディッドロボット１３２を使用して訓練データセットが生成されると、コンピューティングアプリケーションの結果に基づいて、（画像分類用の第１のＭＬモデルのような）ＭＬモデルの再訓練にアンアテンディッドロボット１３４を使用することができる。本明細書に開示するコンピューティングシステムを使用してラベルが検証される場合には、アンアテンディッドロボット１３４を使用して、ラベルが有効であるか無効であるか、および不一致が何であるかという検証の出力結果を取得し、これらの結果を自己学習のために第１の機械モデル（または本明細書に開示する他の同様のモデル）にフィードバックする。ロボット１３０は、アテンディッドロボット１３２であろうとアンアテンディッドロボット１３４であろうと、コンダクタ１２０によって準備され維持される。

【0027】

コンダクタ１２０は、プロビジョニング、デプロイメント、構成、キューイング、監視、ロギング、および／または相互接続性の提供を含むがこれらに限定されない様々な機能を有する。プロビジョニングは、ロボット１３０とコンダクタ１２０（例えば、ウェブアプリケーション）との間の接続の作成および保守を含む。デプロイメントは、遂行のために割り当てられたロボット１３０へのパッケージバージョンの正しい配信を保証することを含む。構成は、ロボット環境およびプロセス構成の維持および配信を含む。キューイングは、キューおよびキュー項目の管理を提供することを含む。監視は、ロボット識別データを追跡し、ユーザー権限を維持することを含む。ロギングは、データベース（例えば、ＳＱＬデータベース）および／または別のストレージ機構（例えば、大規模なデータセットを格納し、迅速にクエリする能力を提供するＥｌａｓｔｉｃＳｅａｒｃｈ（登録商標））へのログの格納およびインデックス付けを含む。コンダクタ１２０は、第三者のソリューションおよび／またはアプリケーションのための通信の集中ポイントとして作用することによって相互接続性を提供する。

【0028】

ロボット１３０は、デザイナ１１０に構築されたワークフローを実行する遂行エージェントであり得る。ロボット１３０のいくつかの実施形態の一商用例は、ＵｉＰａｔｈ Ｒｏｂｏｔｓ（商標）である。いくつかの実施形態では、ロボット１３０は、デフォルトでＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）Ｓｅｒｖｉｃｅ Ｃｏｎｔｒｏｌ Ｍａｎａｇｅｒ（ＳＣＭ）管理サービスをインストールする。結果として、ロボット１３０は、ローカルシステムアカウントの下でインタラクティブなＷｉｎｄｏｗｓ（登録商標）セッションを開き、Ｗｉｎｄｏｗｓ（登録商標）サービスの権利を有することができる。

【0029】

いくつかの実施形態では、ロボット１３０は、ユーザーモードで設置される。このようなロボット１３０の場合、これは、所与のロボット１３０が設置されているユーザーと同じ権利を有することを意味する。この特徴は、その最大の可能性で各機械の完全な利用を保証する高密度（ＨＤ）ロボットにも利用可能である。いくつかの実施形態では、任意のタイプのロボット１３０をＨＤ環境で構成することができる。

【0030】

いくつかの実施形態におけるロボット１３０は、各々が特定の自動化タスク専用であるいくつかのコンポーネントに分割される。いくつかの実施形態におけるロボットコンポーネントは、ＳＣＭ管理ロボットサービス、ユーザーモードロボットサービス、エグゼキュータ、エージェント、およびコマンドラインを含むが、これらに限定されない。ＳＣＭ管理ロボットサービスは、Ｗｉｎｄｏｗｓ（登録商標）セッションを管理および監視し、コンダクタ１２０と遂行ホスト（すなわち、ロボット１３０が遂行されるコンピューティングシステム）との間のプロキシとして機能する。これらのサービスは、ロボット１３０の資格情報で信頼され、管理する。コンソールアプリケーションは、ローカルシステムの下でＳＣＭによって起動される。

【0031】

いくつかの実施形態におけるユーザーモードロボットサービスは、Ｗｉｎｄｏｗｓ（登録商標）セッションを管理および監視し、コンダクタ１２０と遂行ホストとの間のプロキシとして機能する。ユーザーモードロボットサービスは、ロボット１３０のための資格情報を信頼し管理することができる。ＳＣＭ管理ロボットサービスがインストールされていない場合には、Ｗｉｎｄｏｗｓ（登録商標）アプリケーションが自動的に起動される。

【0032】

エグゼキュータは、Ｗｉｎｄｏｗｓ（登録商標）セッション下で所与のジョブを遂行する（すなわち、エグゼキュータはワークフローを遂行することができる）。エグゼキュータは、モニターごとのドット／インチ（ＤＰＩ）設定を認識する。エージェントは、システムトレイウィンドウに利用可能なジョブを表示するＷｉｎｄｏｗｓ（登録商標）Ｐｒｅｓｅｎｔａｔｉｏｎ Ｆｏｕｎｄａｔｉｏｎ（ＷＰＦ）アプリケーションであってもよい。エージェントは、サービスのクライアントであってもよい。エージェントは、ジョブの開始または停止および設定の変更を要求する。コマンドラインは、サービスのクライアントである。コマンドラインは、ジョブの開始を要求し、その出力を待つコンソールアプリケーションである。

【0033】

上記で説明したようにロボット１３０のコンポーネントを分割することは、開発者、サポートユーザー、およびコンピューティングシステムが各コンポーネントが実行しているものをより容易に実行、識別、および追跡するのに役立つ。このようにして、エグゼキュータおよびサービスに対して異なるファイアウォールルールを設定するなど、特別な挙動をコンポーネントごとに構成することができる。エグゼキュータは、いくつかの実施形態では、モニターごとにＤＰＩ設定を常に認識する。結果として、ワークフローは、それらが作成されたコンピューティングシステムの構成にかかわらず、任意のＤＰＩで遂行され得る。いくつかの実施形態では、デザイナ１１０からのプロジェクトは、ブラウザのズームレベルとは無関係であってもよい。ＤＰＩを認識していない、または意図的に認識していないとマークされたアプリケーションの場合、いくつかの実施形態ではＤＰＩが無効にされる。

【0034】

図２は、本発明の一実施形態による、展開されたＲＰＡシステム２００を示すアーキテクチャ図である。いくつかの実施形態では、ＲＰＡシステム２００は、図１のＲＰＡシステム１００であってもよいし、その一部でなくてもよい。クライアント側、サーバー側、またはその両方は、本発明の範囲から逸脱することなく、任意の所望の数のコンピューティングシステムを含むことができることに留意されたい。クライアント側では、ロボットアプリケーション２１０は、エグゼキュータ２１２と、エージェント２１４と、デザイナ２１６（例えば、デザイナ１１０）と、を含む。しかしながら、いくつかの実施形態では、デザイナ２１６はロボットアプリケーション２１０上で実行されていない。エグゼキュータ２１２は、実行中のプロセスである。図２に示すように、いくつかのビジネスプロジェクト（すなわち、エグゼキュータ２１２）が同時に実行される。エージェント２１４（例えば、Ｗｉｎｄｏｗｓ（登録商標）サービス）は、この実施形態ではすべてのエグゼキュータ２１２に対する単一の接続ポイントである。この実施形態におけるすべてのメッセージは、データベースサーバー２４０、インデクササーバー２５０、またはその両方を介してそれらをさらに処理するコンダクタ２３０にログされる。図１に関して上述したように、エグゼキュータ２１２はロボット構成要素である。

【0035】

いくつかの実施形態では、ロボットは、機械名とユーザー名との間の関連付けを表す。ロボットは、複数のエグゼキュータを同時に管理する。同時に実行される複数のインタラクティブなセッション（例えば、Ｗｉｎｄｏｗｓ（登録商標）Ｓｅｒｖｅｒ ２０１２）をサポートするコンピューティングシステムでは、複数のロボットが同時に実行され、それぞれが一意のユーザー名を使用して別々のＷｉｎｄｏｗｓ（登録商標）セッションで実行される。これは、上記ではＨＤロボットと呼ばれる。

【0036】

エージェント２１４はまた、ロボットのステータス（例えば、ロボットがまだ機能していることを示す「ハートビート」メッセージを定期的に送信する）を送信し、遂行されるパッケージの必要なバージョンをダウンロードする役割も担う。エージェント２１４とコンダクタ２３０との間の通信は、いくつかの実施形態では常にエージェント２１４によって開始される。通知シナリオでは、エージェント２１４は、ロボットにコマンド（例えば、始動、停止など）を送信するためにコンダクタ２３０によって後で使用されるＷｅｂＳｏｃｋｅｔチャネルを開く。

【0037】

サーバー側には、プレゼンテーション層（ウェブアプリケーション２３２、オープンデータプロトコル（ＯＤａｔａ）代表状態転送（ＲＥＳＴ）アプリケーション・プログラミング・インターフェース（ＡＰＩ）エンドポイント２３４、ならびに通知監視ＡＰＩ２３６）、サービス層（ＡＰＩ実装／ビジネスロジック２３８）、永続層（データベースサーバー２４０、インデクササーバー２５０）が含まれる。コンダクタ２３０は、ウェブアプリケーション２３２、ＯＤａｔａ ＲＥＳＴ ＡＰＩエンドポイント２３４、通知監視ＡＰＩ２３６、ならびにＡＰＩ実装／ビジネスロジック２３８を含む。いくつかの実施形態では、ユーザーがコンダクタ２３０のインターフェース内で（例えば、ブラウザ２２０を介して）実行するほとんどのアクションは、様々なＡＰＩを呼び出すことによって実行される。そのようなアクションは、本発明の範囲から逸脱することなく、ロボット上のジョブの開始、キュー内のデータの追加／削除、無人で実行するためのジョブのスケジューリングなどを含むが、これらに限定されない。ウェブアプリケーション２３２は、サーバープラットフォームのビジュアル層である。この実施形態では、ウェブアプリケーション２３２は、ハイパーテキストマークアップ言語（ＨＴＭＬ）およびＪａｖａＳｃｒｉｐｔ（ＪＳ）を使用する。しかしながら、本発明の範囲から逸脱することなく、任意の所望のマークアップ言語、スクリプト言語、または任意の他のフォーマットを使用することができる。ユーザーは、コンダクタ２３０を制御するための様々なアクションを実行するために、この実施形態ではブラウザ２２０を介してウェブアプリケーション２３２からのウェブページとインタラクトする。例えば、ユーザーは、ロボットグループを作成し、ロボットにパッケージを割り当て、ロボットごとおよび／またはプロセスごとにログを解析し、ロボットを起動および停止などする。

【0038】

ウェブアプリケーション２３２に加えて、コンダクタ２３０はまた、ＯＤａｔａ ＲＥＳＴ ＡＰＩエンドポイント２３４を公開するサービス層を含む。しかしながら、本発明の範囲から逸脱することなく、他のエンドポイントが含まれてもよい。ＲＥＳＴ ＡＰＩは、ウェブアプリケーション２３２とエージェント２１４の両方によって消費される。エージェント２１４は、この実施形態ではクライアントコンピュータ上の１つまたは複数のロボットの管理者である。

【0039】

この実施形態におけるＲＥＳＴ ＡＰＩは、構成、ロギング、監視、およびキューイング機能をカバーする。構成エンドポイントは、いくつかの実施形態では、アプリケーションユーザー、権限、ロボット、アセット、リリース、および環境を定義および構成するために使用される。ロギングＲＥＳＴエンドポイントは、例えば、エラー、ロボットによって送信された明示的なメッセージ、および他の環境固有の情報などの様々な情報をログに記録するために使用される。デプロイメントＲＥＳＴエンドポイントは、開始ジョブコマンドがコンダクタ２３０内で使用される場合に遂行されるべきパッケージバージョンをクエリするためにロボットによって使用される。キューイングＲＥＳＴエンドポイントは、キューにデータを追加すること、キューからトランザクションを取得すること、トランザクションの状態を設定することなど、キューおよびキュー項目管理を担当する。

【0040】

監視ＲＥＳＴエンドポイントは、ウェブアプリケーション２３２およびエージェント２１４を監視する。通知監視ＡＰＩ２３６は、エージェント２１４の登録、エージェント２１４への構成設定の配信、ならびにサーバーおよびエージェント２１４からの通知の送信／受信に使用されるＲＥＳＴエンドポイントであってもよい。通知監視ＡＰＩ２３６はまた、いくつかの実施形態では、ＷｅｂＳｏｃｋｅｔ通信を使用する。

【0041】

永続層は、この実施形態におけるサーバーのペア、すなわちデータベースサーバー２４０（例えば、ＳＱＬサーバー）およびインデクササーバー２５０を含む。この実施形態におけるデータベースサーバー２４０は、ロボット、ロボットグループ、関連するプロセス、ユーザー、役割、スケジュールなどの構成を格納する。この情報は、いくつかの実施形態ではウェブアプリケーション２３２を介して管理される。データベースサーバー２４０は、キューおよびキュー項目を管理する。いくつかの実施形態では、データベースサーバー２４０は、（インデクササーバー２５０に加えて、またはその代わりに）ロボットによって記録されたメッセージを格納する。

【0042】

インデクササーバー２５０は、いくつかの実施形態ではオプションであり、ロボットによって記録された情報を格納し、インデックス付けする。特定の実施形態では、インデクササーバー２５０は、構成設定を通じて無効にすることができる。いくつかの実施形態では、インデクササーバー２５０は、オープンソースプロジェクトのフルテキスト探索エンジンであるＥｌａｓｔｉｃＳｅａｒｃｈ（登録商標）を使用する。ロボット（例えば、ログメッセージまたは行書き込みのようなアクティビティを使用する）によってログされたメッセージは、ロギングＲＥＳＴエンドポイントを介してインデクササーバー２５０に送信され、そこでそれらは将来の利用のためにインデックス付けされる。

【0043】

図３は、本発明の一実施形態による、ユーザーインターフェース３１０、ユーザー定義のアクティビティ３２０、ユーザーインターフェース（ＵＩ）自動化アクティビティ３３０、およびドライバ３４０の間の関係３００を示すアーキテクチャ図である。上記により、ユーザーインターフェース３１０は、少なくとも３つの表示ペイン、すなわち、ラベルのグラウンドトゥルースデータと比較される受信されたラベルデータ内の１つまたは複数の誤りを表示するように構成された第１の表示ペイン、ラベルデータ自体を表示するように構成された第２の表示ペイン、およびグラウンドトゥルースデータを表示するように構成された第３の表示ペインを含む。このようにして具現化されたユーザーインターフェースが図６Ａに示されており、図６Ａの説明と共に詳細に説明される。

【0044】

いくつかの代替実施形態では、ユーザーインターフェース３１０は、統合開発環境（ＩＤＥ）の設計モジュールの一部であり、これにより、ユーザーまたはアートワークラベルのデザイナは、ラベルデータ検証のワークフローに関連する１つまたは複数の機能を実行することができる。機能には、ワークフローについて、ラベルデータをグラウンドトゥルースデータと比較すること、ラベルに注釈を付けること、変更を受け入れること、編集、保存、修正などが含まれる。さらに、いくつかの実施形態では、ユーザーインターフェース３１０は、ラベルデータ内の１つまたは複数の誤りに対する修正アクティビティを実行するためのユーザー入力を受信し、受信したユーザー入力に基づいてラベルデータを更新し、その更新に基づいて修正されたラベルデータを表示し、修正されたラベルについて第１の表示ペインに受け入れ確認応答を提供することによって修正されたラベルデータを受け入れ、第１の表示ペインに拒否確認応答を提供することによって修正されたラベルを拒否するなどのためのオプションをユーザーに提供するように構成される。

【0045】

いくつかの実施形態では、ワークフローは、ユーザー定義のアクティビティ３２０およびＵＩ自動化アクティビティ３３０を含む。いくつかの実施形態は、コンピュータビジョン（ＣＶ）アクティビティを使用して、アートワークラベルの画像であるラベルデータなどのワークフローに関連する画像内の非テキスト視覚コンポーネントを識別することができる。そのようなコンポーネントに関係するいくつかのＣＶアクティビティは、光学文字認識（ＯＣＲ）を使用したセグメント化されたラベルデータからのテキストの抽出、ファジーテキストマッチング、ＭＬを使用したセグメント化されたラベルデータのクロッピング、ラベルデータ内の抽出されたテキストとグラウンドトゥルースデータとの比較などを含むことができるが、これらに限定されない。いくつかの実施形態では、ユーザー定義のアクティビティ３２０のコンポーネントに実装され得る数百または数千のアクティビティが存在し得る。しかしながら、本発明の範囲から逸脱することなく、任意の数および／またはタイプのアクティビティが利用可能であり得る。

【0046】

ＵＩ自動化アクティビティ３３０は、下位レベルコード（例えば、ＣＶアクティビティ）に書き込まれ、画面とのインタラクションを容易にする特別な低レベルのアクティビティのサブセットである。いくつかの実施形態では、ＵＩ自動化アクティビティ３３０は、ラベル識別、ラベル検証、グラウンドトゥルースデータ収集、グラウンドトゥルースデータ分類、ラベルデータ分類、ラベルデータセグメント化、ラベルデータおよびグラウンドトゥルースデータからの複数の属性に関連するデータ抽出、バウンディングボックス生成、グラウンドトゥルースデータとのラベルデータ比較、ラベルデータのハイライト、注釈付け、着色などに関連するアクティビティを含む。ＵＩ自動化アクティビティ３３０は、ロボットが所望のソフトウェアとインタラクトすることを可能にするドライバ３４０を介したこれらのインタラクションを容易にする。例えば、ドライバ３４０は、オペレーティングシステム（ＯＳ）ドライバ３４２、ブラウザドライバ３４４、ＶＭドライバ３４６、エンタープライズアプリケーションドライバ３４８などを含む。

【0047】

ドライバ３４０は、フックを探し、キーを監視するなど、低レベルでＯＳドライバ３４２とインタラクトするように構成される。それらは、Ｃｈｒｏｍｅ（登録商標）、ＩＥ（登録商標）、Ｃｉｔｒｉｘ（登録商標）、ＳＡＰ（登録商標）などとの統合を容易にすることができる。例えば、「クリック」アクティビティは、ドライバ３４０を介してこれらの異なるアプリケーションで同じ役割を実行する。ドライバ３４０は、ＲＰＡシステムにおいてＲＰＡアプリケーションの遂行を可能にすることができる。ブラウザドライバ３４４は、ユーザーまたは開発者がインタラクトするためのウェブベースのユーザーインターフェースを含む。

【0048】

図４は、本発明の一実施形態による、ＲＰＡシステム４００を示すアーキテクチャ図である。いくつかの実施形態では、ＲＰＡシステム４００は、図１および／または図２のＲＰＡシステム１００および／または２００であり得るか、それらを含み得る。ＲＰＡシステム４００は、複数のクライアントコンピューティングシステム４１０（例えば、走行ロボット）を含む。いくつかの実施形態では、複数のクライアントコンピューティングシステム４１０は、複数のＲＰＡパッケージおよびＲＰＡワークフローを比較するように構成される。複数のクライアントコンピューティングシステム４１０は、その上で実行されるウェブアプリケーションを介してコンダクタコンピューティングシステム４２０と通信するようにさらに構成される。次に、コンダクタコンピューティングシステム４２０は、データベースサーバー４３０（例えば、データベースサーバー２４０は、）および任意選択のインデクササーバー４４０（例えば、オプションのインデクササーバー２５０）と通信するように構成される。

【0049】

図１および図３に関して、これらの実施形態ではウェブアプリケーションが使用されているが、本発明の範囲から逸脱することなく、任意の適切なクライアント／サーバーソフトウェアを使用できることに留意されたい。例えば、コンダクタは、クライアントコンピューティングシステム上の非ウェブベースのクライアントソフトウェアアプリケーションと通信するサーバー側アプリケーションを実行することができる。サーバーは、クラウドコンピューティングシステムを含むコンピューティング技術と一致する局所化された形態および分散された形態で実装されてもよい。

【0050】

図５は、本発明の一実施形態による、ラベルデータを検証するように構成されたコンピューティングシステム５００を示すアーキテクチャ図である。いくつかの実施形態では、コンピューティングシステム５００は、本明細書に図示および／または記載されたコンピューティングシステムのうちの１つまたは複数であってもよい。コンピューティングシステム５００は、情報を通信するためのバス５１０または他の通信機構と、情報を処理するためにバス５１０に結合されたプロセッサ５２０と、を含む。プロセッサ５２０は、中央プロセッシングユニット（ＣＰＵ）、特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィックスプロセッシングユニット（ＧＰＵ）、それらの複数のインスタンス、および／またはそれらの任意の組み合わせを含む、任意のタイプの汎用または専用プロセッサであってもよい。プロセッサ５２０はまた、複数の処理コアを有してもよく、コアの少なくともいくつかは、特定の機能を実行するように構成されてもよい。いくつかの実施形態では、複数並列処理が使用される。特定の実施形態では、プロセッサ５２０の少なくとも一方は、生体ニューロンを模倣する処理要素を含むニューロモーフィック回路であってもよい。いくつかの実施形態では、ニューロモーフィック回路は、フォン・ノイマン・コンピューティングアーキテクチャの典型的なコンポーネントを必要としない。

【0051】

コンピューティングシステム５００は、プロセッサ５２０によって遂行される情報および命令を格納するためのメモリ５３０をさらに含む。メモリ５３０は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、キャッシュ、磁気もしくは光ディスクなどの静的ストレージ、または任意の他のタイプの非一時的コンピュータ可読媒体、またはそれらの組み合わせの任意の組み合わせで構成することができる。非一時的コンピュータ可読媒体は、プロセッサ５２０によってアクセス可能な任意の利用可能な媒体であってもよく、揮発性媒体、不揮発性媒体、またはその両方を含んでもよい。媒体はまた、取り外し可能、取り外し不能、またはその両方であってもよい。

【0052】

さらに、コンピューティングシステム５００は、無線接続および／または有線接続を介して通信ネットワークへのアクセスを提供するためのトランシーバなどの通信デバイス５４０を含む。いくつかの実施形態では、通信デバイス５４０は、周波数分割多元接続（ＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ－ＦＤＭＡ）、時分割多元接続（ＴＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、直交周波数分割多重方式（ＯＦＤＭ）、直交周波数分割多元接続（ＯＦＤＭＡ）、移動体用グローバルシステム（ＧＳＭ）通信、汎用パケット無線サービス（ＧＰＲＳ）、ユニバーサル移動体通信システム（ＵＭＴＳ）、ｃｄｍａ２０００、広帯域ＣＤＭＡ（Ｗ－ＣＤＭＡ）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）、高速アップリンクパケットアクセス（ＨＳＵＰＡ）、高速パケットアクセス（ＨＳＰＡ）、ロングタームエボリューション（ＬＴＥ）、ＬＴＥアドバンスト（ＬＴＥ－Ａ）、８０２．１１ｘ、Ｗｉ－Ｆｉ、Ｚｉｇｂｅｅ、超広帯域無線（ＵＷＢ）、８０２．１６ｘ、８０２．１５、ホームノードＢ（ＨｎＢ）、Ｂｌｕｅｔｏｏｔｈ、無線周波数識別（ＲＦＩＤ）、赤外線データ協会（ＩｒＤＡ）、近距離通信（ＮＦＣ）、第５世代（５Ｇ）、新無線（ＮＲ）、それらの任意の組み合わせ、ならびに／あるいは本発明の範囲から逸脱することなく、任意の他の現在存在する、または将来実施される通信規格および／またはプロトコルを使用するように構成されてもよい。いくつかの実施形態では、通信デバイス５４０は、本発明の範囲から逸脱することなく、単一、アレイ、位相、切り替え、ビームフォーミング、ビームステア、それらの組み合わせ、および／または任意の他のアンテナ構成である１つまたは複数のアンテナを含む。

【0053】

プロセッサ５２０はさらに、バス５１０を介して、プラズマディスプレイ、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、電界放出ディスプレイ（ＦＥＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、フレキシブルＯＬＥＤディスプレイ、フレキシブル基板ディスプレイ、プロジェクションディスプレイ、４Ｋディスプレイ、高精細ディスプレイ、Ｒｅｔｉｎａ（登録商標）ディスプレイ、インプレーンスイッチング（ＩＰＳ）ディスプレイ、またはユーザーに情報を表示するための任意の他の適切なディスプレイなどのディスプレイ５５０にさらに結合される。ディスプレイ５５０は、抵抗性、容量性、表面弾性波（ＳＡＷ）容量性、赤外線、光学イメージング、分散信号技術、音響パルス認識、フラストレート全内部反射などを使用して、タッチ（触覚）ディスプレイ、３次元（３Ｄ）タッチディスプレイ、マルチ入力タッチディスプレイ、マルチタッチディスプレイなどとして構成される。本発明の範囲から逸脱することなく、任意の適切なディスプレイデバイスおよび触覚Ｉ／Ｏが使用され得る。

【0054】

キーボード５６０およびコンピュータマウス、タッチパッドなどのカーソル制御デバイス５７０は、ユーザーがコンピューティングシステムとインターフェースすることを可能にするためにバス５１０にさらに結合される。しかしながら、特定の実施形態では、物理的なキーボードおよびマウスが存在せず、ユーザーは、ディスプレイ５５０および／またはタッチパッド（図示せず）のみを介してデバイスとインタラクトする。入力デバイスの任意のタイプおよび組み合わせを、設計上の選択事項として使用することができる。特定の実施形態では、物理的入力デバイスおよび／またはディスプレイは存在しない。例えば、ユーザーは、それと通信する別のコンピューティングシステムを介してコンピューティングシステム５００と遠隔でインタラクトするか、またはコンピューティングシステム５００が自律的に動作する。

【0055】

メモリ５３０は、プロセッサ５２０によって遂行されると機能を提供するソフトウェアモジュールを格納する。モジュールは、コンピューティングシステム５００のためのオペレーティングシステム５３２を含む。モジュールは、ラベルデータの検証を提供し、少なくとも３つの表示ペインを含むユーザーインターフェース３１０などのユーザーインターフェース上で検証の結果を提供するために、本明細書に記載のプロセスまたはその派生物の全部または一部を実行するように構成された検証モジュール５３４をさらに含む。さらに、検証モジュール５３４は、遂行されると、ラベルデータを検証するための関連する機能を実行するように検証モジュールを構成する他の構成要素を含む。これらのモジュールは、第１のＭＬモデルおよび第２のＭＬモデルを格納するように構成されたＭＬモジュールを含んでもよい。これらのモジュールはまた、ラベルデータを１つまたは複数の部分にセグメント化し、グラウンドトゥルースデータをセグメント化するように構成されたセグメント化モジュールを含んでもよい。いくつかのさらなる実施形態では、これらのモジュールは、ラベルデータおよびグラウンドトゥルースデータに対してバウンディングボックスを実行するように構成されたバウンディングボックス生成モジュールと、ラベルデータおよびグラウンドトゥルースデータの各々から複数の属性を抽出するように構成された抽出モジュールと、ラベルデータおよびグラウンドトゥルースデータから複数の対応する属性（第１の複数の属性および第２の複数の属性など）を比較するように構成された比較モジュールと、検証されたラベルデータの１つまたは複数の修正アクティビティを提供するように構成された修正モジュールと、を含む。これらのモジュールは図５に明示的に示されていないが、これらのモジュールは、本発明の範囲から逸脱することなく、検証モジュール５３４内で、または別個に、１つまたは複数のモジュールの任意の組み合わせとして実装されてもよい。

【0056】

当業者は、コンピューティングシステム５００などの「システム」が、本発明の範囲から逸脱することなく、サーバー、組込みコンピューティングシステム、パーソナルコンピュータ、コンソール、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、タブレットコンピューティングデバイス、量子コンピューティングシステム、もしくは任意の他の適切なコンピューティングデバイス、またはデバイスの組み合わせとして具現化され得ることを理解するであろう。上記の機能を「システム」によって実行されるものとして提示することは、本発明の範囲を決して限定することを意図するものではなく、本発明の多くの実施形態の一例を提供することを意図している。実際、本明細書に開示する方法、システム、および装置は、クラウドコンピューティングシステムを含むコンピューティング技術と一致する局所化された形態および分散された形態で実装されてもよい。

【0057】

本明細書に記載されたシステム特徴のいくつかは、それらの実装の独立性をより具体的に強調するために、モジュールとして提示されていることに留意されたい。例えば、モジュールは、カスタムの超大規模集積（ＶＬＳＩ）回路またはゲートアレイ、ロジックチップ、トランジスタ、または他のディスクリートコンポーネントなどの既製の半導体を含むハードウェア回路として実装されてもよい。モジュールはまた、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジックデバイス、グラフィックスプロセッシングユニットなどのプログラマブルハードウェアデバイスに実装されてもよい。

【0058】

モジュールはまた、様々なタイプのプロセッサによって遂行するためのソフトウェアに少なくとも部分的に実装されてもよい。遂行可能コードの識別されたユニットは、例えば、オブジェクト、プロシージャ、または関数として編成されたコンピュータ命令の１つまたは複数の物理ブロックまたは論理ブロックを含む。それにもかかわらず、識別されたモジュールの遂行可能ファイルは、物理的に共に配置される必要はないが、論理的に共に結合されたときにモジュールを含み、モジュールの記載された目的を達成する異なる場所に格納された異なる命令を含むことができる。さらに、モジュールは、コンピュータ可読媒体に格納されてもよく、それは、例えば、ハードディスクドライブ、フラッシュデバイス、ＲＡＭ、テープ、および／または本発明の範囲から逸脱することなくデータを格納するために使用される任意の他のそのような非一時的コンピュータ可読媒体であってもよい。

【0059】

実際、遂行可能コードのモジュールは、単一の命令、または多くの命令であってもよく、いくつかの異なるコードセグメント、異なるプログラム、およびいくつかのメモリデバイスに分散されてもよい。同様に、操作データは、本明細書ではモジュール内で識別および図示されてもよく、任意の適切な形態で具現化され、任意の適切なタイプのデータ構造内に編成されてもよい。操作データは、単一のデータセットとして収集されてもよく、または異なるストレージデバイスを含む異なる場所に分散されてもよく、少なくとも部分的に、システムまたはネットワーク上の電子信号としてのみ存在してもよい。図６Ａ～図６Ｃは、本発明の様々な実施形態による、アクションのラベルデータ検証パイプラインのためのユーザーインターフェースの例示的な機能を示す。

【0060】

図６Ａは、本発明の例示的な実施形態による、ラベルデータ検証のためのスクリーンショットを示すＧＵＩ６００ａである。いくつかの実施形態では、ＧＵＩ６００ａは、３つの表示ペインを含む３つのペインラベル検証ＵＩ、すなわち、（１）第１の表示ペイン６１０ａ、（２）第２の表示ペイン６２０ａ、および（３）第３の表示ペイン６３０ａを示す。

【0061】

第１の表示ペイン６１０ａには、ラベルデータに関連する１つまたは複数の誤り、エラー、不一致、品質パラメータなどが表示される。誤りまたはエラーは、ラベルデータをグラウンドトゥルースデータと比較した後に識別される。第１の表示ペイン６１０ａはまた、ラベルデータをグラウンドトゥルースデータと比較することによって識別された様々なパラメータの視覚化を提供する。これらのパラメータには、１つまたは複数の誤り、ラベルまたはアートワークデザイナの一般的な助言情報、ラベルまたはアートワークデザイナのＯＣＲ助言情報などが含まれる。さらに、第１の表示ペイン６１０ａは、ラベルデータとグラウンドトゥルースデータとの類似情報を表形式で並べて比較する。グラウンドトゥルースデータとラベルデータとの間の同様の情報フィールドの比較を示す、成分表と栄養表の２つの表があり、コメント用の追加の列がある。これらの表およびそれらの関連情報の両方の詳細は、図６Ｃの説明と併せて説明される。

【0062】

第２の表示ペイン６２０ａは、ラベルデータを表示する。ラベルデータは、デザイナ１１０または任意の他の画像デザインアプリケーションを使用するなど、デザイナまたは開発者によってデザインされたアートワークまたは製品ラベルに対応する。第２の表示ペイン６２０ａはまた、デザイナ１１０または他の画像設計アプリケーションなどからラベルデータを受信し、受信したラベルデータをユーザーに表示する。ラベルデータは、１つまたは複数のバウンディングボックスで表示され、これは、ラベルデータの画像セグメント化を実行し、セグメント化されたラベルデータから第１の複数の属性を抽出してバウンディングボックスを実行する第１のＭＬモデルを使用して生成され得る。

【0063】

第３の表示ペイン６３０ａは、グラウンドトゥルースデータを表示する。グラウンドトゥルースデータは、ラベル情報文書（ＬＩＤ）の形態であってもよく、これは、ユーザーに表示するための第３の表示ペイン６３０ａによって、クライアント企業からのラベルのテンプレートとして受信されてもよく、クライアント企業のタイプに基づいて修正されたアートワークラベルの設計テンプレート文書、スキャンされた製品ラベル画像、格納された以前に設計されたラベル画像から選択されたアートワークラベルの画像、製品ラベルの写真（．ｊｐｅｇまたは．ｊｐｇファイルなど）などであってもよい。グラウンドトゥルースデータはまた、ラベルデータについて上述し、以下の説明でさらに説明するステップと同様の方法で、第１のＭＬモデルを使用して生成される１つまたは複数のバウンディングボックスと共に表示される。

【0064】

第１のＭＬモデルは、訓練されたＣＶベースのＭＬモデルである。ＭＬモデルは、既に設計された製品ラベル、ラベルテンプレート文書、ラベル写真などの何千もの画像を収容する画像の訓練データセットで訓練される。第１のＭＬモデルは、第１の表示ペイン６１０ａから受信したラベルデータを、以前に行われた訓練データセットのラベリングに基づいて識別され得る１つまたは複数の所定のカテゴリに分類し得る。さらに、第１のＭＬモデルは、分類されたラベルデータを１つまたは複数の部分にセグメント化してもよい。１つまたは複数の部分は、アートワーク画像の異なる部分など、ラベルデータ内の異なる領域であってもよく、第１のＭＬモデルおよびその関連アルゴリズムを使用してバウンディングボックスを提供することによってさらに定義される。バウンディングボックスによって識別される異なる部分は、ラベルデータの第１の複数の属性にさらに関連付けられる。これらの第１の複数の属性は、テキスト属性、画像属性、またはテキスト属性と画像属性との任意の適切な組み合わせを含む。例えば、第２の表示ペイン６２０ａでは、テキストＭｔｎ Ｄｅｗ Ｖｏｌｔａｇｅおよびその背景色およびシェーディング効果によって定義された部分が画像属性を形成することができる。同じラベルデータにおいて、栄養成分表示によって定義される部分およびその表は、テキスト属性を形成する。これらの部分の各々は、異なるバウンディングボックスによって画定される。ラベルデータおよびグラウンドトゥルースデータ内の同じ属性を表すバウンディングボックスは、識別および比較を容易にするために同じ色で提供されてもよい。例えば、第３の表示ペイン６３０ａは、グラウンドトゥルースデータの第２の複数の属性のために設けられた１つまたは複数の追加のバウンディングボックスを表示する。第２の複数の属性も、ラベルデータと同様に、テキスト属性と画像属性との組み合わせである。第２の表示ペイン６２０ａのバウンディングボックスおよび第３の表示ペイン６３０ａの追加バウンディングボックスは、第１の機械モデルを使用して生成され、その結果、セグメント化されたラベルデータおよびセグメント化されたグラウンドトゥルースデータが、それぞれ第２の表示ペイン６２０ａおよび第３の表示ペイン６３０ａに表示される。

【0065】

いくつかの実施形態では、第２の表示ペイン６２０ａのバウンディングボックスおよび第３の表示ペイン６３０ａの対応する追加のバウンディングボックスは、同じ色またはパターンで表示される。

【0066】

いくつかの実施形態では、ラベルデータおよびグラウンドトゥルースデータの各々の異なる部分の周りに定義された境界は調整可能であり、ユーザーの好みに基づいて変更または設定することができる。さらに、境界は、調整に基づいて第１のＭＬモデルによって自己学習され得、その結果、第１のＭＬモデルは、新しいまたは調整された境界情報で自己訓練され得る。これにより、コンピューティングシステム５００などのシステム全体がより効率的になり、エンドユーザーにとって実装が容易になり、ラベルデータ検証の各反復にも最新になる。

【0067】

ラベルデータおよびグラウンドトゥルースデータのためのバウンディングボックスが生成されると、第１の複数の属性および第２の複数の属性は、第２の表示ペイン６２０ａ内の１つまたは複数のバウンディングボックスおよび第３の表示ペイン６３０ａからの１つまたは複数の追加のバウンディングボックスから抽出される。第１の複数の属性および第２の複数の属性の抽出は、これらの属性に関連する情報の抽出と同義であり得る。

【0068】

抽出後に、システム５００は、第２のＭＬモデルを使用して、第１の複数の属性を第２の複数の属性と比較するための１つまたは複数の動作を実行し得る。第２のＭＬモデルは、訓練された名称付きエンティティ認識（ＮＥＲ）モデルを含み得る。いくつかの実施形態では、第２のＭＬモデルは、ラベルデータおよびグラウンドトゥルースデータ内の成分または栄養成分表示表などから、所与のテキスト片から１つまたは複数の指定されたエンティティを抽出する。このために、第２のＭＬモデルは、深層学習またはニューラルネットワーク人工知能技術を使用することができる。

【0069】

いくつかの実施形態では、第２のＭＬモデルは、画像またはＰＤＦ形式でアートワークラベルテンプレート文書などの文書を処理することによって、ＯＣＲエンジンから取得されたデータなどの非構造化文書からのデータ抽出を実行する。例えば、対応するバウンディングボックスによって境界付けられた第１の複数の属性および第２の複数の属性は、第２のＭＬモデルを使用したデータ抽出に使用される。

【0070】

いくつかの実施形態では、第１のＭＬモデルおよび第２のＭＬモデルは、コンピューティングシステム５００と統合されるか、またはクラウドコンポーネントとして遠隔で実装されるＡＩファブリック処理コンポーネントを使用して実装される。

【0071】

したがって、第１のＭＬモデルおよび第２のＭＬモデルのＭＬ能力を使用して、システム５００は、アートワークラベルおよびグラウンドトゥルースラベル内のデータの比較を提供し、比較の結果をＵＩ６００ａの第１の表示ペイン６１０ａに提供する。さらに、表示された比較結果に基づいて、アートワークラベルのラベルデータが検証される。

【0072】

図６Ｂは、本発明の例示的な実施形態による、第２の表示ペイン６１０ｂおよび第３の表示ペイン６２０ｂを含むスクリーンショットを示すＧＵＩ６００ｂである。第２の表示ペイン６１０ｂおよび第３の表示ペイン６２０ｂは、それぞれ、図６Ａに関連して示される第２の表示ペイン６２０ａおよび第３の表示ペイン６３０ａと表示および機能が類似している。

【0073】

第２の表示ペイン６１０ｂは、異なるバウンディングボックスによって境界付けられた第１の複数の属性を含むセグメント化されたラベルデータを示す。例えば、第２の表示ペイン６１０ｂのラベルデータは、「栄養成分表示」表を含む。第３の表示ペイン６２０ｂ内のグラウンドトゥルースデータはまた、「栄養成分表示」表を含み、これもまた、第２の表示ペイン６１０ｂ内の同じ表と同じ色／パターンのバウンディングボックスによって表示される。バウンディングボックスは、第１の学習モデルに基づいて両方の表示ペインに生成される。

【0074】

しかし、第２の表示ペイン６１０ｂに表示されている作成済みのアートワークラベルに存在するデータと、第３の表示ペイン６２０ｂに表示されているグラウンドトゥルースデータとが不一致となる可能性がある。例えば、図６Ｂでは、作成されたアートワークラベルは、第１の複数の属性にカロリー属性を含み、その表示値は１７０であり、グラウンドトゥルースデータでは、第２の複数の属性からのカロリー属性は７０の表示値を有する。これは不一致であり、表示された２つの属性値を比較すると、第２のＭＬモデルを使用して識別される。いくつかの実施形態では、各属性は、各属性に対して一意であるＩＤ情報によって識別される。このようなおよび他のそのような小さなおよび大きな変化は、システム５００によって識別され、開示されたＭＬモデルを使用してユーザーインターフェース６００ａ上にユーザーに表示される。

【0075】

さらに、いくつかの実施形態では、属性の周りに作成されたバウンディングボックスは、ユーザーがラベルの下のグラウンドトゥルースデータから対応する情報を見ることができるように、ラベル内で異なる色でハイライトされる。例えば、ユーザーインターフェース６００ａの部分６００ｂにおいて、第２のペイン６１０ｂ内のラベルデータ内の「栄養成分表示」表は、第３のペイン６２０ｂ内のグラウンドトゥルースデータから「栄養成分表示」表を使用して作成される。したがって、青色などのバウンディングボックスがラベルデータ内の「栄養成分表示」表に対して作成され得、グラウンドトゥルースデータ内の対応する「栄養成分表示」表もまた、第１のＭＬモデルを使用して同じ色（すなわち、青色）のバウンディングボックスでハイライトされる。

【0076】

また、いくつかの実施形態では、ユーザーは、第１のＭＬモデルによって抽出された情報がラベルデータに必要でない場合、バウンディングボックスを調整し、第１のＭＬモデルを再訓練する。したがって、システムは、将来のラベルにおける情報の抽出を停止する。

【0077】

さらに、第２のＭＬモデルを使用して、バウンディングボックスからのデータがラベルデータとグラウンドトゥルースデータの両方で抽出され、さらなるラベルデータ検証のために比較される。

【0078】

図６Ｃは、本発明の例示的な実施形態による、第１の表示ペイン６００ｃを含むスクリーンショットを示すＧＵＩである。

【0079】

図６Ｃの第１の表示ペイン６００ｃは、図６Ａの第１の表示ペイン６１０ａに類似している。第１の表示ペイン６００ｃには、第２のＭＬモデルによるラベルデータとグラウンドトゥルースデータとの比較結果の概要が表示される。比較の結果は、ラベルデータ内の１つまたは複数のエラー／誤りのリスト／表、一般的な助言命令のリスト／表、ＯＣＲ助言命令のリスト／表などを含む。さらに、第１の表示ペイン６００ｃはまた、表示された比較結果を保存／応答し、ラベルデータの検証のための１つまたは複数のアクションを取るオプションを含む。１つまたは複数のアクションは、ラベルデータの誤りを訂正するための修正アクティビティを実行すること、一般的なまたはＯＣＲ助言アクションに基づいてラベルデータを修正／編集すること、第１の表示ペイン６００ｃに受け入れ確認応答を提供することによって修正されたラベルデータを受け入れること、または第１の表示ペイン６００ｃに拒否確認応答を提供することによって修正されたラベルを拒否することのうちの少なくとも１つを含んでもよい。例えば、第１の表示ペイン６００ｃには、ラベルデータとグラウンドトゥルースデータとの比較結果の要約リスト６１０ｃが表示される。要約リスト６１０ｃは、ラベルデータとグラウンドトゥルースデータとの比較（第２の表示ペイン６１０ｂ内のアートワークラベルと第３の表示ペイン６２０ｂ内のグラウンドトゥルースデータとの比較など）に基づいて決定される５つの誤り、２つの一般的な助言および１つのＯＣＲ助言があることを示している。さらに、第１の表示ペイン６００ｃには、第１の列のグラウンドトゥルースデータ（ＬＩＤ）と第２の列のラベルデータ（アートワーク）との比較の要約を示す成分表６２０ｃと、コメントの追加の列と、が含まれている。比較では、誤り、一般的な助言およびＯＣＲ助言はすべて異なる色で示され、参照を容易にするために表の各行に「×」ボタンが先行している場合がある。成分表６２０ｃには、誤りを示す４つの行があり、各誤りの前に「×」ボタンが示されている。例えば、１行目は、グラウンドトゥルースデータ内のテキストコンテンツが「高フルクトースシロップ」であるが、ラベルデータ内では不一致でエラーである「高フルクトースコーンＳＹＰ ＡＴＵＲＡ ＦＡＯ ＣＩＣＡＣＩＤ」であるという誤りを示している。この誤りは、赤色などの特定の色でハイライトされてもよい。

【0080】

成分表６２０ｃはまた、一般的な助言を含み、例えば、ラベルデータで成分名「シトラガム・ナトリウム・パシフィック」を使用する代わりに、グラウンドトゥルースデータで観察されるように「クエン酸ナトリウム」という用語を使用することができる。ラベルデータ内の成分表（図６Ａの第２の表示ペイン６２０ａに示すような）およびグラウンドトゥルースデータ内の成分表（図６Ａの第３の表示ペイン６３０ａに示すような）は、例示目的のみのためのものであり、１つのアプリケーション産業に基づいていることが当業者によって理解されよう。これらと同様に、保険、小売などの任意の他の産業からの製品ラベルまたはアートワークラベルに関する特定の情報も、本発明の範囲から逸脱することなく解析することができる。

【0081】

図６Ｃはまた、解析することができ、ラベルデータおよびグラウンドトゥルースデータ内の情報を比較することができる「栄養表」６３０ｃを含み、比較の要約は、上述の成分表６２０ｃについて行われたのと同様の方法で第１の表示ペイン６００ａに表示される。

【0082】

例えば、栄養表６３０ｃは、１７０の代わりに７０などのデータエラーを含むラベルデータの誤りを含み、一般的な助言は１リットルを１Ｌに置き換えることを含み、ＯＣＲ助言はゼロを文字「Ｏ」と混同することを含む。これらのエラーはすべて、赤色の誤り、橙色の一般的な助言、および青色のＯＣＲ助言など、対応する色でハイライトすることができる。

【0083】

また、前述したように、テキストの抽出およびグラウンドトゥルースデータとラベルデータとの間のテキストの比較は、この場合にはＮＥＲモデルである第２のＭＬモデルを使用して行われる。比較は、ラベルデータから第１の複数の属性を抽出し、グラウンドトゥルースデータから第２の複数の属性と比較することによって実行される。第１の複数の属性および第２の複数の属性の両方は、テキスト属性と画像属性との組み合わせである。

【0084】

最後に、ユーザーは、ラベルデータを検証するために、誤りを精査し、各行のエラーの左側に表示されたχ´ボタンをクリックすることによって、表示されたエラーを閉じることができる。ユーザーはまた、ラベルデータを検証する前にラベルデータに対して修正アクティビティを実行することを選択してもよい。

【0085】

図６Ａ～図６Ｃに示すＧＵＩの１つまたは複数は、本明細書に記載の実施形態を説明するためだけに、特定のタイプの製品ラベルおよび製品産業、ここでは飲料産業に関連することが当業者によって理解され得る。これらの実施形態のシステムおよび方法はまた、本発明の範囲から逸脱することなく、保険産業、銀行産業、小売産業、製造産業、健康およびウェルネス産業、電子製品およびモバイルデバイス製造ユニット、学術および教育サービスなどの複数の他の産業で使用されてもよい。

【0086】

図７は、本発明の一実施形態による、ラベルデータ検証のための方法７００を示すフローチャートである。いくつかの実施形態では、方法７００は、ラベルデータを受信するステップ７１０で開始する。ラベルデータは、グラウンドトゥルースデータであるＬＩＤに基づいてターゲット製品用に設計された１つまたは複数のアートワークラベルの形態であってもよい。ラベルデータは、図６Ａ～図６Ｃに示すように、３ペインのユーザーインターフェースであり得るシステム３００（または同様にシステム５００）のユーザーインターフェース３１０によって受信され得る。ラベルデータは、ユーザーインターフェース６００ａの第２の表示ペイン６２０ａによって受信されてもよい。

【0087】

受信されると、ステップ７２０において、受信されたラベルデータは、第１のＭＬモデルを使用して１つまたは複数の部分にセグメント化され得る。前述したように、第１のＭＬモデルは、訓練されたＣＶベースのＭＬモデルであり得る。第１のＭＬモデルは、コンピューティングシステム５００の検証モジュール５３４によって実装され得る。第１のＭＬモデルは、複数のラベルデータ画像を含む訓練データセットで訓練することができる。第１のＭＬモデルは、訓練データセットに基づいて、アートワークラベル（画像）などの受信されたラベルデータを分類し、次いで、分類されたラベルデータを１つまたは複数の部分にセグメント化することができる。さらに、ラベルデータのセグメント化された１つまたは複数の部分は、第１のＭＬモデルによって（第２の表示ペイン６２０ａに示すように）１つまたは複数のバウンディングボックスに関連付けられてもよい。バウンディングボックスのサイズおよび／または境界は、ユーザー入力および好みに基づいて調整可能および再訓練可能であってもよい。

【0088】

ラベルデータがセグメント化され、１つまたは複数の部品の周りにバウンディングボックスが設けられると、ステップ７３０において、第１の複数の属性がセグメント化されたラベルデータから抽出される。第１の複数の属性は、テキスト属性と画像属性との組み合わせを含むことができ、各バウンディングボックスは、第１の複数の属性の少なくとも１つのタイプに関連付けられ得る。例えば、図６Ａでは、第２の表示ペイン６２０ａにおいて、第１の複数の属性は、その背景効果と共に、バウンディングボックスによって囲まれたラベル「ＭｔｎＤｅｗ ＶＯＬＴＡＧＥ」のピクチャの画像情報を含む。同様に、別のバウンディングボックスによって境界付けられた栄養成分表示表は、テキスト属性であるカロリーに関する情報を含む。

【0089】

ラベルデータと同様に、方法７００はまた、ステップ７４０において、グラウンドトゥルースデータを受信することを含む。グラウンドトゥルースデータは、図６Ａに示す第３の表示ペイン６３０ａで受信され得る。さらに、グラウンドトゥルースデータは、ＬＩＤ、以前に設計されたラベルの写真、テンプレートラベル文書などから取得されてもよい。グラウンドトゥルースデータはまた、ラベルデータについて上述したのと同様の方法で、第１のＭＬモデルによってグラウンドトゥルースデータ用の１つまたは複数の追加のバウンディングボックスのセグメント化および生成を受けることができる。

【0090】

ステップ７５０において、第２の複数の属性がグラウンドトゥルースデータ（これもまたテキスト属性と画像属性との組み合わせである）から抽出される。第２の複数の属性は、グラウンドトゥルースデータの１つまたは複数の追加のバウンディングボックスに基づいて抽出される。例えば、１つまたは複数の追加のバウンディングボックスは、第３の表示ペイン６３０ａに示され、第３の表示ペイン６３０ａの栄養成分表示表および成分表などの表に関連付けられる。さらに、既に前述したように、ラベルデータおよびグラウンドトゥルースデータ内の同じタイプの属性またはデータのバウンディングボックスは、同じ色で示されている。

【0091】

方法７００はまた、ステップ７６０において、第２のＭＬモデルを使用してラベルデータとグラウンドトゥルースデータとを比較することを含む。比較は、ラベルデータおよびグラウンドトゥルースデータのそれぞれにおける第１の複数の属性と第２の複数の属性との比較に基づく。さらに、既に説明したように、第２のＭＬモデルは訓練されたＮＥＲモデルである。

【0092】

さらに、ステップ７７０において、比較の結果を３ペインＵＩ６００ａ（またはＵＩ３１０）に表示する。ＧＵＩ６００ａは、ラベルデータとグラウンドトゥルースデータとの比較結果を示す第１の表示ペイン６１０ａを含む。前述のように、比較の結果は、誤り、エラー、一般的な助言およびＯＣＲ助言のうちの１つまたは複数を含む。

【0093】

ステップ７８０において、ラベルデータが検証される。図６Ａ～図６Ｃに関連して先に開示したように、第１の表示ペイン６１０ａは、ラベルデータ内の１つまたは複数の誤りに対する修正アクティビティを実行するためのユーザー入力を提供するためにユーザーによって使用され得る「×」ボタンを表示する。ユーザーは、「χ」ボタンを押し、ラベルデータを更新することを選択することによって、表示された誤りまたは問題を閉じることができる。さらに、ユーザーは、修正の結果、自身が更新した修正後のラベルデータを第２の表示ペイン６２０ａに表示してもよい。次いで、ユーザーは、修正されたラベルデータに記載されたすべてのステップを実行することによってラベルデータを検証することを再び選択することができる。最後に、ユーザーは、修正されたラベルデータを保存すること、またはラベルデータファイルを閉じてさらなる編集を停止することなどによって、受け入れ確認応答を提供することによって、修正されたラベルを受け入れることを選択することができる。あるいは、ユーザーは、修正されたラベルデータの変更を元に戻す、または反復プロセスで修正されたラベルデータを編集し続けるなど、拒否確認応答を提供することによって、修正されたラベルを拒否することを選択することができる。

【0094】

一実施形態では、図７の方法７００は、一連の操作を遂行するように構成されたハードウェアプロセッサに関連するコンピュータプログラムを構成するステップを含み、一連の操作は、方法７００に関連して説明したステップのすべてまたは一部を実行するために使用される。ハードウェアプロセッサは、例えば、ハードウェア実装論理機能を実行すること、格納された命令を遂行すること、または動作の各々を実行するためのアルゴリズムを実行することによって、方法７００に関連する一連の操作を遂行するように構成され得る。あるいは、装置は、上述した操作の各々を実行するための手段を含む。これに関して、一実施形態によれば、方法７００に関連する一連の操作を遂行するための例示的な手段は、システム５００および／または上述したように情報を処理するための命令を遂行するかもしくはアルゴリズムを実行するためのデバイスもしくは回路に実装されるプロセッサ５２０を含む。

【0095】

コンピュータプログラムは、ハードウェア、ソフトウェア、またはハイブリッド実装で実施することができる。コンピュータプログラムは、互いに動作可能に通信し、表示するために情報または命令を渡すように設計されたモジュールから構成することができる。コンピュータプログラムは、汎用コンピュータ、ＡＳＩＣ、または任意の他の適切なデバイス上で動作するように構成することができる。

【0096】

本明細書に開示する方法およびシステムは、既存のソリューションに勝る多数の技術的利点を提供するように構成される。これらの技術的利点のいくつかは、ラベルデータをアートワークラベルなどのラベルデータの検証のためのグラウンドトゥルースデータと比較するための簡単で直感的なユーザーインターフェースを提供することなどを含む。さらに、ラベルデータとグラウンドトゥルースデータとの間のナビゲーションにおけるアクセスを容易にすることによって、これらの両方を単一の３ペインのユーザーインターフェース上に比較結果と共に表示することによって達成され、ユーザーの多くの時間が節約される。さらに、ＭＬ、深層学習、ニューラルネットワークなどを含むがこれらに限定されない高度な処理および解析技術の使用、方法およびシステムは、ユーザーのラベル設計および検証の必要性のための正確かつ自動化されたソリューションを提供することができる。例えば、ＭＬモデルの訓練、ＭＬモデルの再訓練、ＭＬを使用した比較の実行など、本明細書で説明されるプロセスのいくつかは、図２に開示したＲＰＡアーキテクチャの自動化プロセスを使用して実施することができ、これは、バックグラウンド、システムトレイなどで実行されているアテンディッドロボット１３２に対して開始することができる。バックグラウンドで動作しているアテンディッドロボット１３２は、ロボットを起動またはトリガするために、Ｃｔｒｌ＋Ｓｈｉｆｔ＋Ｒなどのキー押下を待つことができる。自動化プロセスは、ＲＰＡ設計モジュール１１０のワークフローまたはワークフローアクティビティに関連する任意のプロセスであってもよい。さらに、検証アプリケーションまたはステーションは、アテンディッドロボット１３２のユーザーに、文書の作成、読み取り、更新、または削除（ＣＲＵＤ）などのリアルタイム動作を実行する能力を提供することができる。機能は、自動化プロセスに関連するラベルデータ分類、ラベルデータ抽出、人間データ検証などのためのものであってもよい。

【0097】

例えば、第１のＭＬモデルが誤ったスーパークラスを予測した場合、検証アプリケーションは、ユーザーがラベルデータの予測スーパークラス（例えば、飲料、医薬品、スナック、水など）を更新することを可能にする。

【0098】

いくつかの実施形態では、検証アプリケーションは、第１のＭＬモデルからのバウンディングボックスの予測および提供がわずかに逸脱または誤っている場合に、ユーザーがボックスを修正および調整する能力を提供する。あるいは、ユーザーは、ＭＬモデルが１つまたは複数のセグメントのバウンディングボックスを認識できない場合に、新しいバウンディングボックスを描画することができる。さらに、ユーザーが（ＬＩＤなどの）グラウンドトゥルースデータが現在のアートワークラベルに対して正しくないと感じた場合には、ユーザーは、検証アプリケーションを介してグラウンドトゥルースデータを正しいもので更新し、「再処理」などのボタンをクリックして、修正されたグラウンドトゥルースデータで再度検証プロセスを実行することができる。これらの機能のすべてはまた、ユーザーの好みに応じてこれらのタスクの各々または一部についてアテンディッドロボット１３２を開始することによって提供されてもよい。

【0099】

開始後に、アテンディッドロボット１３２は、ラベルデータ検証のために、深層学習、深層学習ニューラルネットワーク、ＴｅｎｓｏｒＦｌｏｗ（登録商標）深層学習、ＴｅｎｓｏｒＦｌｏｗ（登録商標）フレームワークモデルなどの段階を訓練または遂行することができる。ＴｅｎｓｏｒＦｌｏｗは、プログラミング言語のライブラリを介して構成または利用することができる。例えば、ＴｅｎｓｏｒＦｌｏｗ（登録商標）は、Ｐｙｔｈｏｎプログラミング言語に見られるライブラリであってもよい。訓練段階または遂行段階は、ラベルデータ検証を実行することによって付加的なまたは追加のセキュリティ層を提供することができる。本発明の様々な実施形態のコンポーネントは、本明細書の図に一般的に記載および図示するように、多種多様な異なる構成で配置および設計されてもよいことが容易に理解されよう。したがって、添付の図面に表される本発明の実施形態の詳細な説明は、特許請求される本発明の範囲を限定することを意図するものではなく、本発明の選択された実施形態を単に代表するものである。

【0100】

本明細書を通して説明される本発明の特徴、構造、または特性は、１つまたは複数の実施形態において任意の適切な方法で組み合わせることができる。例えば、本明細書全体を通して「特定の実施形態」、「いくつかの実施形態」、または同様の文言への言及は、実施形態に関連して説明される特定の特徴、構造、または特性が本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体を通して、「特定の実施形態では」、「いくつかの実施形態では」、「他の実施形態では」、または同様の文言の出現は、必ずしもすべてが同じ実施形態のグループを指すわけではなく、記載された特徴、構造、または特性は、１つまたは複数の実施形態において任意の適切な方法で組み合わせることができる。

【0101】

本明細書を通して特徴、利点、または同様の文言を参照することは、本発明で実現され得る特徴および利点のすべてが本発明の任意の単一の実施形態であるべきであること、または本発明の任意の単一の実施形態であることを意味するものではないことに留意されたい。むしろ、特徴および利点に言及する文言は、一実施形態に関連して説明される特定の特徴、利点、または特性が本発明の少なくとも１つの実施形態に含まれることを意味すると理解される。したがって、本明細書を通して、特徴および利点、ならびに同様の文言の説明は、必ずしもそうとは限らないが、同じ実施形態を参照することができる。

【0102】

さらに、本発明の記載された特徴、利点、および特性は、１つまたは複数の実施形態において任意の適切な方法で組み合わせることができる。当業者は、特定の実施形態の特定の特徴または利点の１つまたは複数なしで本発明を実施できることを認識するであろう。他の例では、本発明のすべての実施形態には存在しない可能性がある特定の実施形態において、追加の特徴および利点が認識され得る。

【0103】

当業者は、上述の本発明が、異なる順序のステップ、および／または開示されているものとは異なる構成のハードウェア要素を用いて実施され得ることを容易に理解するであろう。したがって、本発明をこれらの好ましい実施形態に基づいて説明してきたが、本発明の趣旨および範囲内に留まりながら、特定の修正、変形、および代替構築が明らかであることは、当業者には明らかであろう。したがって、本発明の範囲を決定するために、添付の特許請求の範囲を参照すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A-1】

【図6A-2】

【図6B】

【図6C】

【図7】

【国際調査報告】