特許 7594070 画像アノテーション品質保証のための方法及び非一時的なコンピュータ可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-25

(45)【発行日】2024-12-03

(54)【発明の名称】画像アノテーション品質保証のための方法及び非一時的なコンピュータ可読記憶媒体

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241126BHJP

【ＦＩ】

G06N20/00 130

【請求項の数】 20

【外国語出願】

(21)【出願番号】P 2023182539

(22)【出願日】2023-10-24

(65)【公開番号】P2024144034

(43)【公開日】2024-10-11

【審査請求日】2023-10-24

(31)【優先権主張番号】18/128,773

(32)【優先日】2023-03-30

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】521042770

【氏名又は名称】ウーブン・バイ・トヨタ株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】若槻 彰

【審査官】新井 則和

(56)【参考文献】

【文献】中国特許出願公開第１０８１９７６５８（ＣＮ，Ａ）

【文献】特開２０２２－０８５６７０（ＪＰ，Ａ）

【文献】中国特許出願公開第１０８１５４１９７（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

アノテーション付き画像データセットを取得するステップと、
前記アノテーション付き画像データセットのＸ％のサムネイル画像に対して第１の検査動作を実施するステップであって、該第１の検査動作がアノテーション検査の第１のカテゴリーのうちの少なくとも一つの検査の検査動作を含む、ステップと、
前記アノテーション付き画像データセットのサンプルに対して第２の検査動作を実施するステップであって、該第２の検査動作がアノテーション検査の前記第１のカテゴリーとは少なくとも部分的に異なる第２のカテゴリーのうちの少なくとも一つの検査の検査動作を含む、ステップと、
前記第１の検査動作及び前記第２の検査動作を用いて前記アノテーション付き画像データセットにおけるエラーを識別するステップと
を含む、プロセッサによって実行される方法。

【請求項2】

前記第１の検査動作は前記アノテーション付き画像データセットの１００％に対する検査動作を含み、
前記サンプルは前記アノテーション付き画像データセットの１００％未満である、請求項１に記載の方法。

【請求項3】

前記第２のカテゴリーのうちの前記少なくとも一つは、アノテーション検査の少なくとも一つの追加のカテゴリーに加えて前記第１のカテゴリーのうちの前記少なくとも一つを含む、請求項１又は２に記載の方法。

【請求項4】

前記第１のカテゴリーのうちの前記少なくとも一つは、ラベルのないオブジェクトについての検査、スパムアノテーションについての検査、及びラベルタイプの間違いについての検査のうちの少なくとも一つを含む、請求項３に記載の方法。

【請求項5】

前記第２のカテゴリーのうちの前記少なくとも一つは、ラベルのないオブジェクトについての検査、スパムアノテーションについての検査、ラベルタイプの間違いについての検査、ラベルの位置精度についての検査、及びラベル属性の検査のうちの少なくとも一つを含む、請求項３に記載の方法。

【請求項6】

前記第１の検査動作を実施するステップは、検査のための前記アノテーション付き画像データセットのＸ％のサムネイル画像をディスプレイによって出力することを含む、請求項１又は２に記載の方法。

【請求項7】

アノテーション付き画像における前記第１の検査動作によって識別されたエラーに基づいて、該アノテーション付き画像を前記第２の検査動作に入力するステップを更に含む、請求項１又は２に記載の方法。

【請求項8】

前記アノテーション付き画像データセットから前記サンプルをランダムに選択するステップと、
前記アノテーション付き画像データセットにおける画像が予め定められたオブジェクトを含むかを判定することによって前記サンプルを判定するステップと
の少なくとも一方を更に含む、請求項１又は２に記載の方法。

【請求項9】

命令を記憶する非一時的なコンピュータ可読記憶媒体であって、
前記命令は、実行されると、
アノテーション付き画像データセットを取得するステップと、
前記アノテーション付き画像データセットのＸ％のサムネイル画像に対して第１の検査動作を実施するステップであって、該第１の検査動作がアノテーション検査の第１のカテゴリーのうちの少なくとも一つの検査の検査動作を含む、ステップと、
前記アノテーション付き画像データセットのサンプルに対して第２の検査動作を実施するステップであって、該第２の検査動作がアノテーション検査の前記第１のカテゴリーとは少なくとも部分的に異なる第２のカテゴリーのうちの少なくとも一つの検査の検査動作を含む、ステップと、
前記第１の検査動作及び前記第２の検査動作を用いて前記アノテーション付き画像データセットにおけるエラーを識別するステップと
を含む方法をコンピュータに実行させる、非一時的なコンピュータ可読記憶媒体。

【請求項10】

前記第１の検査動作は前記アノテーション付き画像データセットの１００％に対する検査動作であり、
前記サンプルは前記アノテーション付き画像データセットの１００％未満である、請求項９に記載の非一時的なコンピュータ可読記憶媒体。

【請求項11】

前記第２のカテゴリーのうちの前記少なくとも一つは、アノテーション検査の少なくとも一つの追加のカテゴリーに加えて前記第１のカテゴリーのうちの前記少なくとも一つを含む、請求項９又は１０に記載の非一時的なコンピュータ可読記憶媒体。

【請求項12】

前記第１のカテゴリーのうちの前記少なくとも一つは、ラベルのないオブジェクトについての検査、スパムアノテーションについての検査、及びラベルタイプの間違いについての検査のうちの少なくとも一つを含む、請求項１１に記載の非一時的なコンピュータ可読記憶媒体。

【請求項13】

前記第２のカテゴリーのうちの前記少なくとも一つは、ラベルのないオブジェクトについての検査、スパムアノテーションについての検査、ラベルタイプの間違いについての検査、ラベルの位置精度についての検査、及びラベル属性の検査のうちの少なくとも一つを含む、請求項１１に記載の非一時的なコンピュータ可読記憶媒体。

【請求項14】

前記第１の検査動作を実施するステップは、検査のための前記アノテーション付き画像データセットのＸ％のサムネイル画像をディスプレイによって出力することを含む、請求項９又は１０に記載の非一時的なコンピュータ可読記憶媒体。

【請求項15】

前記方法は、アノテーション付き画像における前記第１の検査動作によって識別されたエラーに基づいて、該アノテーション付き画像を前記第２の検査動作に入力するステップを更に含む、請求項９又は１０に記載の非一時的なコンピュータ可読記憶媒体。

【請求項16】

前記方法は、
前記アノテーション付き画像データセットから前記サンプルをランダムに選択するステップと、
前記アノテーション付き画像データセットにおける画像が予め定められたオブジェクトを含むかを判定することによって前記サンプルを判定するステップと
の少なくとも一方を更に含む、請求項９又は１０に記載の非一時的なコンピュータ可読記憶媒体。

【請求項17】

前記識別されたエラーを用いてコンピュータビジョン人工知能モデルを訓練するステップを更に含む、請求項１又は２に記載の方法。

【請求項18】

前記識別されたエラーを用いてコンピュータビジョン人工知能モデルを評価するステップを更に含む、請求項１又は２に記載の方法。

【請求項19】

前記方法は、前記識別されたエラーを用いてコンピュータビジョン人工知能モデルを訓練するステップを更に含む、請求項９又は１０に記載の非一時的なコンピュータ可読記憶媒体。

【請求項20】

前記方法は、前記識別されたエラーを用いてコンピュータビジョン人工知能モデルを評価するステップを更に含む、請求項９又は１０に記載の非一時的なコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

一つ又は複数の例示的な実施形態の態様が、アノテーション付き画像データセットについてのハイブリッド品質保証プロセスを提供することに関する。ハイブリッド品質保証プロセスは、アノテーション付き画像データセットのより迅速な検査を含み、より重大なエラーが機械学習の訓練に著しい影響を与える可能性があるので、より重大なエラーをより適確に捕捉するためのより詳細な検査も含む。

【背景技術】

【0002】

人工知能（「ＡＩ」）は、特に、コンピュータの能力を利用して知的な振る舞いをシミュレートする、急速に発展している技術である。いくつかのＡＩ関連プロセスは、例えば、音声認識、コンピュータビジョン、（自然）言語間の翻訳、及び他のプロセスを含む。斯かるＡＩ関連プロセスの中で、コンピュータビジョンプロセスは、例えば、コンピュータがデジタル画像から意味のある情報を導き出すことを可能とする。

【0003】

ＡＩ技術を実装するとき、実行されるＡＩ処理の品質を保証することが重要である。ＡＩ処理について画像関連のＡＩ処理の品質を保証するための一つの方法は、アノテーション付き画像データセットを使用してコンピュータビジョンＡＩモデルを訓練することである。実際、アノテーション付き画像データセットは多様なＡＩ処理のために使用されている。例えば、アノテーション付き画像データセットは、コンピュータビジョンＡＩモデルを訓練するための訓練データセットとして使用され、又はＡＩモデルの性能を評価するための評価データセット等として使用される。

【0004】

画像アノテータ（例えばサードパーティのアノテーションベンダ）によって提供されるアノテーション付き画像データセットは、エンドユーザ又は顧客にリリースされる前にアノテーション品質保証プロセスを受ける場合がある。斯かるアノテーション品質保証プロセスは、特に、ユーザ又は顧客のＡＩモデルの訓練又は評価のために使用される。さらに、斯かるアノテーション品質保証プロセスは、特に、顧客又はエンドユーザの期待とベンダアノテータの理解との間の相違を突き止めることができる。さらに、斯かるアノテーション品質保証プロセスは、特に、貧弱又は杜撰なアノテーション、人的ミス等によるアノテーションエラーを識別することができる。

【0005】

詳細には、画像アノテーションの品質保証は、少なくとも二つの主な目的、すなわち（１）品質監視及び（２）品質改善のために行われる。

【0006】

用語「品質監視」は、特定のベンダから配信されるアノテーションの品質がサービスレベルアグリーメント（「ＳＬＡ」）に規定された品質要件を満たすことを確認し、アノテーションベンダの最終成果物が、予め合意されたエンドユーザ又は顧客の品質目標を満たすことを確認するために、アノテーションベンダのアノテーションの品質を監視することを意味する。斯かる品質監視は定期的に（例えば毎週等）実行され得る。

【0007】

一方、用語「品質改善」は、エンドユーザ／顧客に配信されるラベル／アノテーションの品質を改善することを意味する。例えば、品質保証プロセス（例えば、上述された品質監視）が品質問題の急増又は傾向を識別した場合、品質改善活動が実施される。斯かる品質改善活動は、例えば、アノテーションベンダにフィードバックを提供すること、プログラムリンターのような対策を実装すること、又はアノテーションベンダへの指示の説明を修正すること等を含む。

【0008】

しかしながら、品質保証プロセスは、典型的には、図１に示されるように、ベンダによって提供されるアノテーション付きデータセットの小さなサンプルサイズ（例えば２～３％）の詳細なレビューのみから成る。詳細には、動作１００において、アノテーション付きデータセットの配信がベンダから提供される。その後、動作１０１において、より詳細なレビュー／監査／検査ワークフローが実施される。より詳細なレビューは、明白なエラー（例えば、ラベルのないオブジェクト、スパム、基本的なルールの不理解）、レベルタイプの間違い（例えば間違ったクラスラベル）、ラベル位置の不正確さ（例えば、バウンディングボックスの結びつき（tightness）のような不適切なアノテーションジオメトリ）、及びラベル属性の欠落又は間違いを含む様々なカテゴリーのエラーを識別するために人間の監査人によって実行される手動プロセスである。最後に、動作１０２において、品質保証プロセスが完了した後、アノテーション付き画像データセットが顧客又はエンドユーザにリリースされる。

【0009】

関連技術のアノテーション品質保証プロセスは、典型的には、より詳細な検査に必要とされる時間及びコストにより、アノテーション付き画像データセットの小さなサンプルサイズのみを検査する。その結果、関連技術のアノテーション品質保証プロセスは、明白なアノテーションエラー（例えば、スパムアノテーション、ラベルのないオブジェクト、誤ったラベル付け等）を含む、データセット全体におけるアノテーションエラーを捕捉できない可能性がある。これら明白なアノテーションエラーは、ＡＩ機械学習の訓練、モデル評価等に深刻な影響を与える可能性が高いため、より重大なエラーとなる傾向にある。このため、データセットにおけるこれら明白なアノテーションエラーを捕捉できないことが、ＡＩモデルの性能に不均衡な悪影響を及ぼし、エンドユーザ/顧客からの信頼を失うことに寄与する可能性がある。

【発明の概要】

【0010】

一つ又は複数の例示的な実施形態によれば、アノテーション付き画像データセットについてのハイブリッド品質保証プロセスのための装置及び方法が提供される。特に、例示的な実施形態に係る装置及び方法は、アノテーション付き画像データセットのサンプル（例えば、２～３％、１０％等）のより詳細な検査ワークフローに加えて、アノテーション付き画像データセットのより迅速な検査ワークフローも包含する。

【0011】

一つ又は複数の例示的な実施形態の態様によれば、方法は、アノテーション付き画像データセットを取得するステップと、アノテーション付き画像データセットのＸ％の第１の検査を実施するステップであって、第１の検査がアノテーション検査の第１のカテゴリーのうちの少なくとも一つを含む、ステップと、アノテーション付き画像データセットのサンプルの第２の検査を実施するステップであって、第２の検査がアノテーション検査の第２のカテゴリーのうちの少なくとも一つを含む、ステップと、第１の検査及び第２の検査を用いてアノテーション付き画像データセットにおけるエラーを識別するステップとを含む。

【0012】

一つ又は複数の例示的な実施形態の態様によれば、非一時的なコンピュータ可読記憶媒体は命令を記憶し、この命令は、実行されると、アノテーション付き画像データセットを取得するステップと、アノテーション付き画像データセットのＸ％の第１の検査を実施するステップであって、第１の検査がアノテーション検査の第１のカテゴリーのうちの少なくとも一つを含む、ステップと、アノテーション付き画像データセットのサンプルの第２の検査を実施するステップであって、第２の検査がアノテーション検査の第２のカテゴリーのうちの少なくとも一つを含む、ステップと、第１の検査及び第２の検査を用いてアノテーション付き画像データセットにおけるエラーを識別するステップとを含む方法をコンピュータに実行させる。

【0013】

追加の態様が、以下の説明において部分的に記載され、部分的にはその説明から明らかとなり、又は本開示の提示された実施形態の実践によって実現され得る。

【図面の簡単な説明】

【0014】

【図1】図１は、関連技術のアノテーション品質保証プロセスを示すフロー図である。

【図2】図２は、例示的な実施形態に係る装置の例示的なコンポーネントの図である。

【図3】図３は、一つ又は複数の例示的な実施形態に係るハイブリッドアノテーション品質保証プロセスを示す図である。

【図4】図４は、一つ又は複数の例示的な実施形態に係るハイブリッドアノテーション付き画像品質保証プロセスを示すフローチャートである。

【発明を実施するための形態】

【0015】

本開示の特定の例示的な実施形態の特徴、態様及び利点が、同様の参照符号が同様の要素を示す添付図面を参照して以下に説明される。

【0016】

例示的な実施形態の以下の詳細な説明は添付図面を参照する。本開示は、例示及び説明を提供するが、網羅的であること、又は一つ又は複数の例示的な実施形態を開示された正確な形態に限定することを意図するものではない。修正及び変形は、本開示に照らして可能であり、又は一つ又は複数の例示的な実施形態の実践から得られる。さらに、一つの例示的な実施形態の一つ又は複数の特徴又はコンポーネントは、別の例示的な実施形態（又は別の例示的な実施形態の一つ又は複数の特徴）に組み込まれ、又は別の例示的な実施形態と組み合わされてもよい。加えて、本明細書において提供される動作のフローチャート及び説明において、一つ又は複数の動作が省略されてもよく、一つ又は複数の動作が追加されてもよく、一つ又は複数の動作が（少なくとも部分的に）同時に実行されてもよく、一つ又は複数の動作の順序が入れ替わってもよいことが理解される。

【0017】

本明細書において説明されるシステム及び／又は方法及び／又は非一時的なコンピュータ可読記憶媒体の例示的な実施形態が、異なる形態のハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組み合わせで実装され得ることが明らかであろう。これらシステム及び／又は方法を実装するために使用される実際の特殊な制御ハードウェア又はソフトウェアコードは、一つ又は複数の例示的な実施形態を限定するものではない。このため、システム及び／又は方法及び／又は非一時的なコンピュータ可読記憶媒体の動作及び挙動が、特定のソフトウェアコードを参照することなく本明細書において説明される。ソフトウェア及びハードウェアは、本明細書における説明に基づいて、システム及び／又は方法を実施するように設計され得ることが理解される。

【0018】

特徴の特定の組み合わせが特許請求の範囲に記載され且つ／又は明細書に開示されているとしても、これら組み合わせは、可能な例示的実施形態の開示を制限することを意図するものではない。実際、これら特徴の多くを、特許請求の範囲に具体的に記載されていない方法及び／又は明細書に開示されていない方法で組み合わせることができる。以下に列挙される各従属請求項が一つの請求項のみに直接従属する可能性があるが、可能な例示的実施形態の開示は、クレームセット内の他の全ての請求項と組み合わせた各従属請求項を含む。

【0019】

本明細書において使用される要素、行為又は指示が、そのように明示的に説明されない限り、重要又は必須と解釈されるべきではない。また、本明細書において使用されるとき、冠詞「ａ」及び「ａｎ」は、一つ又は複数の項目を含むことを意図しており、「一つ又は複数」と互換的に使用され得る。一つの項目のみが意図される場合、用語「一つ」又は類似の文言が使用される。また、本明細書において使用されるとき、用語「有する」、「含む」又は同様の用語は、オープンエンドの用語であることが意図される。さらに、語句「に基づく」は、明示的に反対の記載がない限り、「少なくとも部分的に基づく」を意味することが意図される。さらに、「［Ａ］及び［Ｂ］の少なくとも一つ」又は「［Ａ］又は［Ｂ］の少なくとも一つ」のような表現は、Ａのみ、Ｂのみ、又はＡ及びＢの両方を含むものとして理解されるべきである。

【0020】

図２は、画像アノテーション品質検査装置２００の例示的なコンポーネントの図である。図２に示されるように、画像アノテーション品質検査装置２００は、バス２１０、プロセッサ２２０、メモリ２３０、記憶コンポーネント２４０、入力コンポーネント２５０、出力コンポーネント２６０及び通信インターフェース２７０を含む。

【0021】

バス２１０は、画像アノテーション品質検査装置２００のコンポーネント間の通信を可能とするコンポーネントを含む。プロセッサ２２０は、ハードウェア、ファームウェア又はハードウェアとソフトウェアとの組み合わせで実装される。プロセッサ２２０は、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、加速処理装置（ＡＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は別のタイプの処理コンポーネントである。一つ又は複数の例示的な実施形態において、プロセッサ２２０は、機能を実行するようにプログラム可能な一つ又は複数のプロセッサを含む。メモリ２３０は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、及び／又はプロセッサ２２０によって使用される情報及び／又は命令を記憶する別のタイプの動的又は静的な記憶装置（例えば、フラッシュメモリ、磁気メモリ、及び／又は光学メモリ）を含む。

【0022】

記憶コンポーネント２４０は、画像アノテーション品質検査装置２００の動作及び使用に関連する情報及び／又はソフトウェアを記憶する。例えば、記憶コンポーネント２４０は、対応するドライブと共に、ハードディスク（例えば、磁気ディスク、光ディスク、光磁気ディスク、及び／又はソリッドステートディスク）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、カートリッジ、磁気テープ、及び／又は別のタイプの非一時的なコンピュータ可読媒体を含む。入力コンポーネント２５０は、例えばユーザ入力（例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、及び／又はマイクロフォン）を介して、画像アノテーション品質検査装置２００が情報を受信することを可能とするコンポーネントを含む。加えて又は代替的に、入力コンポーネント２５０は、情報を感知するためのセンサ（例えば、全地球測位システム（ＧＰＳ）コンポーネント、加速度計、ジャイロスコープ、及び／又はアクチュエータ）を含む。出力コンポーネント２６０は、画像アノテーション品質検査装置２００からの出力情報を提供するコンポーネント（例えば、ディスプレイ、スピーカ、及び／又は一つ又は複数の発光ダイオード（ＬＥＤ））を含む。

【0023】

通信インターフェース２７０は、画像アノテーション品質検査装置２００が、例えば、有線接続、無線接続、又は有線接続と無線接続との組み合わせを介して、他の装置と通信することを可能とする送受信機のようなコンポーネント（例えば送受信機及び／又は別個の受信機及び送信機）を含む。通信インターフェース２７０は、画像アノテーション品質検査装置２００が別の装置から情報を受信し且つ／又は別の装置に情報を提供することを可能とする。例えば、通信インターフェース２７０は、限定されるものではないが、イーサネットインターフェース、光インターフェース、同軸インターフェース、赤外線インターフェース、無線周波数（ＲＦ）インターフェース、ユニバーサルシリアルバス（ＵＳＢ）インターフェース、Ｗｉ－Ｆｉインターフェース、セルラーネットワークインターフェース又はこれらの均等物を含む。

【0024】

画像アノテーション品質検査装置２００は、本明細書において説明される一つ又は複数の例示的な処理を実行する。一つ又は複数の例示的な実施形態によれば、画像アノテーション品質検査装置２００は、メモリ２３０及び／又は記憶コンポーネント２４０のような非一時的なコンピュータ可読媒体によって記憶されたソフトウェア命令をプロセッサ２２０が実行することに応答して、これら処理を実行する。コンピュータ可読媒体は、本明細書では非一時的なメモリ装置として定義される。メモリ装置は、単一の物理的記憶装置内のメモリ空間、又は複数の物理的記憶装置にまたがるメモリ空間を含む。

【0025】

ソフトウェア命令は別のコンピュータ可読媒体から又は通信インターフェース２７０を介して別の装置からメモリ２３０及び／又は記憶コンポーネント２４０に読み込まれる。メモリ２３０及び／又は記憶コンポーネント２４０に記憶されたソフトウェア命令は、実行されると、プロセッサ２２０に、本明細書において説明される一つ又は複数の処理を実行させる。

【0026】

加えて又は代替的に、本明細書において説明される一つ又は複数の処理を実行するために、ソフトウェア命令の代わりに又はソフトウェア命令と組み合わせて、ハードワイヤ回路を使用することができる。このため、本明細書において説明される一つ又は複数の例示的な実施形態は、ハードウェア回路とソフトウェアとの特定の組み合わせに限定されない。

【0027】

図２に示される構成要素の数及び配置は一例として提供される。実際には、画像アノテーション品質検査装置２００は、追加のコンポーネント、より少ないコンポーネント、異なるコンポーネント、又は図２に示されたものとは異なる配置のコンポーネントを含んでもよい。加えて又は代替的に、画像アノテーション品質検査装置２００のコンポーネントのセット（例えば一つ又は複数のコンポーネント）は、画像アノテーション品質検査装置２００のコンポーネントの別のセットによって実行されるものとして説明された一つ又は複数の機能を実行することができる。

【0028】

一つ又は複数の実施形態はアノテーション付き画像データセットについてのハイブリッド品質保証プロセスを提供する。特に、一つ又は複数の例示的な実施形態は、アノテーション付き画像データセットのサンプル（例えば２～３％、１０％等）のより詳細な検査ワークフローに加えて、アノテーション付き画像データセットのより迅速な検査ワークフローも包含する。

【0029】

一つ又は複数の例示的な実施形態によれば、アノテーション付き画像データセットの全体（１００％）がより迅速な検査ワークフローに入力される。。より迅速な検査ワークフローは、図３に示される一つ又は複数の例示的な実施形態に従って示されるように、明白な又は重大なエラー（例えば、ラベルのないオブジェクト、スパムアノテーション、基本的なルールの不理解、ラベルタイプの間違い等のうちの少なくとも一つ）についての検査を提供する。

【0030】

図３は、一つ又は複数の例示的な実施形態に係るハイブリッドアノテーション品質保証プロセスを示す図である。図３に示されるように、ハイブリッドアノテーション品質保証プロセスは、より迅速な検査３００及びより詳細な検査３０１の両方を含むハイブリッド検査プロセスを含む。

【0031】

一つの非限定的な例として、より迅速な検査３００は、時間効率、コスト効率（例えば監査人のコスト）及び処理効率（例えば検査のためのコンピューティング装置の処理コスト／ハードウェア負荷）の高い検査を促進するために、データセットにおけるアノテーション付き画像のサムネイル（又は小型化された／縮小されたバージョン）に対して実行される。より迅速な検査３００は、特に、重大なエラーの顧客への流出を低減し又は防止しさえするように構成される。より迅速な検査３００は、限定されるものではないが、一目で分かる誤ったラベル付け等を含む明白なエラーを発見するように構成される。さらに、より迅速な検査３００はより迅速なフィードバックをアノテーションベンダに提供することができる。

【0032】

一方、より詳細な検査３０１は、特に、全ての検査カテゴリーを詳細にチェックしてベンダのルール及び期待品質の理解を確認するように構成される。表３１０に示されるように、斯かる検査カテゴリーは、限定されるものではないが、明白なエラーデータ（例えば、ラベルのないオブジェクト、スパム、基本的なルールの不理解等）、ラベルタイプの間違い、ラベル位置の正確さ、及び検査レベルが深い順に上から下に列挙されたラベル属性）を含む。

【0033】

矢印３２０によって示されるように、一つ又は複数の例示的な実施形態によれば、ハイブリッドアノテーション品質保証プロセスの検査レベルは浅い検査レベルから深い検査レベルまで様々である。例えば、図３に示されるように、サンプリング検査動作３３０は上記の検査カテゴリーの全てと重なる。さらに、図３に示されるように、サンプリング検査動作３３０は２％～３％の目標範囲のアノテーションデータのサブセットを使用して実行される。しかしながら、一つ又は複数の例示的な実施形態はこの特定の目標範囲に限定されない。

【0034】

サンプリング検査動作３３０と比較して、サムネイル検査動作３４０は、検査レベルスペクトルの浅い端部の近くに提供され、アノテーションデータの全てを対象とする。

【0035】

一つ又は複数の実施形態によれば、サムネイル検査動作３４０は第１の検査を含み、サンプリング検査動作３３０は第２の検査を含む。

【0036】

図４は、一つ又は複数の例示的な実施形態に係るハイブリッドアノテーション付き画像品質保証プロセス４００のフローチャートを示す。例示的な実施形態に従って、監査ツールが、以下に説明される各動作をそれぞれ促進及び／又は実施し、各動作のためのインターフェースを生成及び出力し、各動作又はワークフローに取り込まれる画像フレームを決定し、ユーザ入力を受信し、且つエラーの識別を処理する等のためのロジックを含む。

【0037】

図４を参照すると、動作４０１において、アノテーション付き画像データセットが受信される。例えば、アノテーション付き画像データセットはアノテータ又はアノテーションベンダから受信される。アノテーション付き画像データセットは、少なくとも一つのプロセッサによって実行されるコンピュータ可読命令として実装される監査ツール又は画像／アノテーション検査ツール（例えばソフトウェア）に受信又は入力される。

【0038】

動作４０２において、アノテーション付き画像データセットはより迅速な検査ワークフローに入力され又はより迅速な検査ワークフローによって取り込まれる。これに関して、アノテーション付き画像データセットの１００％をより迅速な検査ワークフローに入力することができる。例えば、一つ又は複数の例示的な実施形態に係る監査ツールは、監査人による検査のために、データセットにおける画像フレームのサムネイルを生成及び／又は出力する。サムネイルはＭ×Ｎビュー（例えば４×４、８×８等）で出力され、ここで、行及び列の数及び／又はサムネイルのサイズはユーザ（監査人）によって構成される。しかしながら、一つ又は複数の例示的な実施形態はこの構成に限定されない。

【0039】

動作４０３において、データセットにおける画像のいくつかが、より迅速な検査によって識別されたエラーを含むかが判定される。一つ又は複数の例示的な実施形態によれば、動作４０３においてデータセットの画像にエラーが発見された場合、その後、動作４０４が実行され、その画像が、追加のエラーを識別し且つ／又はエラーの詳細を割り当てるためのより詳細な検査に入力される。代替的に、より迅速な検査ワークフローにおいて、エラーの詳細が追加され又は監査人によって割り当てられてもよい。

【0040】

さらに、動作４０４において、アノテーション付き画像データセットのサンプル（例えば、２％、３％、１０％、予め定められた／予め構成されたパーセンテージ等）が詳細な検査のために取得される。これに関して、サンプルが、データセットから（例えば監査ツールによって）ランダムに取得され、且つ／又は一つ又は複数の予め定義されたルールに従って取得される（例えば一つ又は複数の予め定められ且つ／又は予め定義されたオブジェクト（例えばオートバイのような稀なオブジェクト）が選択される）。

【0041】

動作４０５において、取得されたサンプルがより詳細な検査ワークフローによって取り込まれ又はより詳細な検査ワークフローに入力される。より詳細な検査ワークフローは、より迅速な検査の検査カテゴリーの全て、並びに、限定されるものではないが、図３を参照して上述されたようなより深い検査カテゴリーを含む追加の検査カテゴリーを含む。より詳細な検査はフル解像度の画像フレーム（又はより迅速な検査のものよりも高い解像度又はサイズを有する画像フレーム）に対して行われる。例示的な実施形態に従って、監査ツールは、より詳細な検査のためのインターフェースを出力し且つより高い解像度を有する画像フレームを出力するためのロジックを含む。

【0042】

動作４０６において、より迅速な検査においてエラーが識別されたかが判定される。

【0043】

より迅速な検査及びより詳細な検査の両方が監査人によって（すなわち手動で）実行されてもよい。一例として、監査ツールは、ユーザによる検査のために且つユーザ（監査人）によるエラーの割り当て又は表記のために、サンプルの各アノテーション付き画像フレームを順次出力する。より詳細な検査は品質監視及び品質改善の両方に寄与することができる。さらに、より詳細な検査の間にユーザによって識別されたエラーに基づいて、品質メトリクスを（例えば監査ツールによって）算出することができる。また、より詳細な検査の間に発見された品質問題が、（例えば監査ツールによって）それらの原因に従ってグループ化され、深刻度、総件数及び／又は発生傾向に基づいて優先順位が付けられる。

【0044】

優先順位の高い問題については、対策（例えば、プログラム上のリンター、又はベンダへの指示の説明の修正等）が検討されて実施される。対策が実施されると、その対策が効果的であることを判定又は確認するために、特定の問題の発生傾向が監視される。加えて、主要なアノテーションの問題又は傾向が、（例えば、一つ又は複数の予め定義されたルール、閾値等に従って監査ツールによって）決定され、ひいては、改善／対策／フィードバックのために識別される。

【0045】

上述したように、より詳細な検査において識別されたエラーに基づいて品質メトリクスが算出され又は取得されてもよい。この目的のために、品質メトリクスは、より詳細な検査を受けた画像フレームの総数に対するエラー（又はエラーを有する画像）の比率を含むことができる。さらに、上述したように、より迅速な検査の間にデータセットの画像にエラーが発見された場合、その画像は、追加のエラーを識別し且つ／又はエラーの詳細を割り当てるためのより詳細な検査に入力される。この場合、より迅速な検査から入力された画像は、より詳細な検査から算出された全体的なメトリクス（例えば比率）を歪めないように、品質メトリクスの算出に加味されなくてもよい。

【0046】

一つ又は複数の実施形態によれば、より迅速な検査においてエラーが検出された画像フレーム及び／又はより詳細な検査においてエラーが検出された画像フレームが、動作４０７において、（例えばやり直しタスク又はリクエストと共に）アノテータ（ベンダ）に戻され且つ／又は報告される。

【0047】

図４を再び参照すると、動作４０８において、検査されたデータセットがリリースされ又はエンドユーザ（例えば顧客）へのリリースのために確認される。ここで、データセットは、より迅速な検査の間にエラーが発見されなかった場合、且つ／又はより詳細な検査の間にエラーが発見されなかった場合にのみリリースされてもよい。代替的に、エラーが発見されていない画像フレームのみがリリースされてもよい。

【0048】

一つ又は複数の例示的な実施形態において上述されたように、図４の一つ又は複数の動作が省略され、且つ又は一つ又は複数の追加的な又は代替的な動作が含まれてもよいことが理解される。さらに、図４の動作の順序は異なっていてもよいことが理解される。例えば、動作４０２は、動作４０４及び／又は動作４０５の前、後、これらと同時に、これらと重複して等で生じてもよいことが理解される。

【0049】

一つ又は複数の例示的な実施形態によれば、明白なエラーのためのデータセットの１００％のより迅速な検査を包含することによって、これら重大なエラーのエンドユーザ／顧客への流出が低減及び／又は防止され、データセットがより正確となり、ＡＩモデルのより正確な訓練／評価／性能がもたらされる。一つ又は複数の例示的な実施形態はＡＩ機械学習の訓練の技術を改善することができる。一つ又は複数の例示的な実施形態は、より重大なエラーが機械学習の訓練に顕著な影響を与える可能性があるので、より重大なエラーを適確に捕捉することによってコンピュータの機能を改善することができる。このため、一つ又は複数の例示的な実施形態はＡＩ機械学習の訓練の観点からコンピュータの能力を改善することができる。

【0050】

前述の開示は、例示及び説明を提供するが、網羅的であること、又は一つ又は複数の例示的な実施形態を開示された正確な形態に限定することを意図するものではない。修正及び変形は、本開示に照らして可能であり、又は一つ又は複数の例示的な実施形態の実践から得られる。

【0051】

一つ又は複数の例示的な実施形態は、任意の可能な技術的詳細レベルの統合におけるシステム、方法及び／又はコンピュータ可読媒体に関する。さらに、上述したコンポーネントの一つ以上は、コンピュータ可読媒体上に記憶され且つ少なくとも一つのプロセッサによって実行可能な命令として実装されてもよい（且つ／又は少なくとも一つのプロセッサを含んでもよい）。コンピュータ可読媒体は、プロセッサに動作を実行させるためのコンピュータ可読プログラム命令を有する非一時的なコンピュータ可読記憶媒体（又はメディア）を含む。

【0052】

コンピュータ可読記憶媒体を、命令実行装置によって使用される命令を保持及び記憶することができる有形装置とすることができる。コンピュータ可読記憶媒体は、例えば、限定されるものではないが、電子記憶装置、磁気記憶装置、光学記憶装置、電磁気記憶装置、半導体記憶装置、又はこれらの任意の適切な組み合わせである。コンピュータ可読記憶媒体のより具体例の非網羅的なリストは、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、その上に記録された命令を有するパンチカード又は溝内の隆起構造のような機械的に符号化された装置、及びこれらの任意の適切な組み合わせを含む。コンピュータ可読記憶媒体は、本明細書において使用されるとき、電波若しくは他の自由に伝播する電磁波、導波管若しくは他の伝送媒体（例えば、光ファイバーケーブルを通過する光パルス）を介して伝播する電磁波、又はワイヤを介して伝送される電気信号のような一時的な信号そのものであると解釈されるべきではない。

【0053】

本明細書において説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理装置にダウンロードされ、又はネットワーク、例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はワイヤレスネットワークを介して外部コンピュータ又は外部記憶装置にダウンロードされることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを含むことができる。各コンピューティング／処理装置内のネットワークアダプタカード又はネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理装置内のコンピュータ可読記憶媒体に記憶するためにコンピュータ可読プログラム命令を転送する。

【0054】

動作を実行するためのコンピュータ可読プログラムコード／命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用構成データ、又は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語若しくは同様のプログラミング言語のような手続き型プログラミング言語を含む一つ又は複数のプログラミング言語の任意の組み合わせで書かれたソースコード若しくはオブジェクトコードである。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で完全に実行され、スタンドアロンソフトウェアパッケージとしてユーザのコンピュータ上で部分的に実行され、ユーザのコンピュータ上で部分的に実行され、リモートコンピュータ上で部分的に実行され、又はリモートコンピュータ若しくはサーバ上で完全に実行される。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）若しくはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続され、又は接続が（例えば、インターネットサービスプロバイダを使用するインターネットを介して）外部のコンピュータ対してなされる。
一つ又は複数の例示的な実施形態において、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、態様（aspect）又は動作を実行するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路をパーソナライズすることによって、コンピュータ可読プログラム命令を実行することができる。

【0055】

これらコンピュータ可読プログラム命令は、コンピュータ若しくは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャート及び／又はブロック図のブロック若しくは複数のブロックにおいて特定された機能／行為を実施するための手段を生成するように、汎用コンピュータ、特殊用途コンピュータ若しくは他のプログラマブルデータ処理装置のプロセッサに提供されて機械を製造してもよい。これらコンピュータ可読プログラム命令は、記憶された命令を有するコンピュータ可読記憶媒体が、フローチャート及び／又はブロック図のブロック若しくは複数のブロックにおいて特定された機能／行為の態様を実施する命令を含む製造品を含むように、コンピュータ、プログラム可能なデータ処理装置、及び／又は他の装置に特定の態様で機能するように指示することができるコンピュータ可読記憶媒体に記憶されていてもよい。

【0056】

コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルなデータ処理装置、若しくは他の装置にロードされて、コンピュータ、他のプログラマブルな装置、若しくは他の装置上で実行される命令が、フローチャート及び／又はブロック図のブロック若しくは複数のブロックにおいて特定された機能／行為を実施するように、コンピュータ実装プロセスを生成するための一連の動作ステップをコンピュータ、他のプログラマブルな装置、若しくは他の装置上で実行させてもよい。

【0057】

図中のフローチャート及びブロック図は、一つ又は複数の例示的な実施形態に係るシステム、方法及びコンピュータ可読媒体の可能な例示的な実施形態のアーキテクチャ、機能性及び動作を示す。これに関して、フローチャート若しくはブロック図の各ブロックは、マイクロサービス、モジュール、セグメント、又は命令の一部を表し、命令の一部は、特定されたロジック機能を実施するための一つ又は複数の実行可能な命令を含む。方法、コンピュータシステム及びコンピュータ可読媒体は、追加のブロック、より少ないブロック、異なるブロック、又は図面に描かれたブロックとは異なる配置のブロックを含んでもよい。一つ又は複数の代替的な例示的実施形態では、ブロックに記された機能は、図に記された順序から外れて生じてもよい。例えば、連続して示された二つのブロックは、実際には、同時に若しくは実質的に同時に実行されてもよく、又はブロックは、関係する機能性に応じて、時には逆の順序で実行されてもよい。ブロック図及び／又はフローチャート図の各ブロック、並びにブロック図及び／又はフローチャート図のブロックの組み合わせを、特定された機能又は行為を実行する、又は特殊目的のハードウェア及びコンピュータ命令の組み合わせを実行する特殊目的のハードウェアベースのシステムによって実装できることにも留意されたい。

【0058】

本明細書において説明されるシステム及び／又は方法を、異なる形態のハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組み合わせで実装できることが明らかであろう。これらシステム及び／又は方法を実装するために使用される実際の特殊な制御ハードウェア又はソフトウェアコードは、一つ又は複数の例示的な実施形態を限定するものではない。このため、システム及び／又は方法の動作及び挙動が、特定のソフトウェアコードを参照することなく本明細書において説明されたが、ソフトウェア及びハードウェアが、本明細書の説明に基づいてシステム及び／又は方法を実装するように設計され得ることが理解される。

【図1】

【図2】

【図3】

【図4】