特許 7577814 画像検査品質を監査するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-25

(45)【発行日】2024-11-05

(54)【発明の名称】画像検査品質を監査するためのシステム及び方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241028BHJP

【ＦＩ】

G06N20/00 130

【請求項の数】 20

【外国語出願】

(21)【出願番号】P 2023180339

(22)【出願日】2023-10-19

(65)【公開番号】P2024144030

(43)【公開日】2024-10-11

【審査請求日】2023-10-19

(31)【優先権主張番号】18/192,794

(32)【優先日】2023-03-30

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】521042770

【氏名又は名称】ウーブン・バイ・トヨタ株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】若槻 彰

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０２３－４２５８２（ＪＰ，Ａ）

【文献】特開２０１９－２１５６９８（ＪＰ，Ａ）

【文献】中国特許出願公開第１１０９９１４８６（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

アノテーション付き画像データセットにおける画像アノテーション品質の検査を監査するための、画像アノテーション監査装置によって実行される方法であって、
アノテーション付き画像データセットを取得することと、
予め定められた信頼区間、予め定められた目標エラー率、及び予め定められた区間幅に基づいて、前記アノテーション付き画像データセットの検査の最小数を決定することと、
前記検査の最小数に基づいて、検査のために前記アノテーション付き画像データセットの複数のフレームを選択することと、
検査のために前記アノテーション付き画像データセットの前記選択された複数のフレームを出力することと
を含み、
前記信頼区間は、指定された確率でデータセット内のパラメータの値がその区間内に含まれる区間であり、前記区間幅は、分布における所与のクラスの上限と下限との間のサイズである、方法。

【請求項2】

検査のために前記選択された複数のフレームを出力することは、
検査の現在の数を前記検査の最小数と比較することと、
前記検査の現在の数が前記検査の最小数よりも少ないと判定したことに基づいて、
検査不足の表示を出力することと、
検査されたフレームの数が前記検査の最小数以上になるまで、前記選択された複数のフレームを出力し続けることと
を含む、請求項１に記載の方法。

【請求項3】

前記検査に基づいてエラーの数を決定することと、
前記エラーの数に基づいてサンプルのエラー率を算出することと
を更に含む、請求項１又は２に記載の方法。

【請求項4】

前記サンプルのエラー率に基づいて、該サンプルのエラー率が前記目標エラー率を超えているか否かを判定することと、
前記サンプルのエラー率が前記目標エラー率を超えているという判定に基づいて、品質不良の表示を出力することと
を更に含む、請求項３に記載の方法。

【請求項5】

前記品質不良の表示を出力することは、
品質を改善する必要があるというメッセージを作業者に提供することを更に含む、請求項４に記載の方法。

【請求項6】

前記予め定められた信頼区間は、９９％、９５％又は９０％のうちの一つである、請求項１又は２に記載の方法。

【請求項7】

前記予め定められた信頼区間はＦ分布又はＴ分布の一方に基づいている、請求項１又は２に記載の方法。

【請求項8】

アノテーション付き画像データセットにおける画像アノテーション品質の検査を監査するための装置であって、
コンピュータ可読命令を記憶する少なくとも一つのメモリと、
少なくとも一つのプロセッサと
を備え、
前記少なくとも一つのプロセッサは、前記コンピュータ可読命令を実行して、
アノテーション付き画像データセットを取得し、
予め定められた信頼区間、予め定められた目標エラー率、及び予め定められた区間幅に基づいて、前記アノテーション付き画像データセットの検査の最小数を決定し、
前記検査の最小数に基づいて、検査のために前記アノテーション付き画像データセットの複数のフレームを選択し、
検査のために前記アノテーション付き画像データセットの前記選択された複数のフレームを出力し、
前記信頼区間は、指定された確率でデータセット内のパラメータの値がその区間内に含まれる区間であり、前記区間幅は、分布における所与のクラスの上限と下限との間のサイズである、装置。

【請求項9】

前記少なくとも一つのプロセッサは、さらに、前記コンピュータ可読命令を実行して、
検査の現在の数を前記検査の最小数と比較し、
前記検査の現在の数が前記検査の最小数よりも少ないと判定したことに基づいて、
検査不足の表示を出力し、
検査されたフレームの数が前記検査の最小数以上になるまで、前記選択された複数のフレームを出力し続けること
によって、検査のために前記選択された複数のフレームを出力するように構成される、請求項８に記載の装置。

【請求項10】

前記少なくとも一つのプロセッサは、さらに、前記コンピュータ可読命令を実行して、
前記検査に基づいてエラーの数を決定し、
前記エラーの数に基づいてサンプルのエラー率を算出するように構成される、請求項８又は９に記載の装置。

【請求項11】

前記少なくとも一つのプロセッサは、さらに、前記コンピュータ可読命令を実行して、
前記サンプルのエラー率に基づいて、該サンプルのエラー率が前記目標エラー率を超えているか否かを判定し、
前記サンプルのエラー率が前記目標エラー率を超えているという判定に基づいて、品質不良の表示を出力するように構成される、請求項１０に記載の装置。

【請求項12】

前記少なくとも一つのプロセッサは、さらに、前記コンピュータ可読命令を実行して、
品質を改善する必要があるというメッセージを作業者に提供することによって、前記品質不良の表示を出力するように構成される、請求項１１に記載の装置。

【請求項13】

前記予め定められた信頼区間は、９９％、９５％又は９０％のうちの一つである、請求項８又は９に記載の装置。

【請求項14】

前記予め定められた信頼区間はＦ分布又はＴ分布の一方に基づいている、請求項８又は９に記載の装置。

【請求項15】

少なくとも一つのプロセッサによって実行可能な命令が記録された非一時的なコンピュータ可読記録媒体であって、
前記命令は、前記プロセッサに、
アノテーション付き画像データセットを取得することと、
予め定められた信頼区間、予め定められた目標エラー率、及び予め定められた区間幅に基づいて、前記アノテーション付き画像データセットの検査の最小数を決定することと、
前記検査の最小数に基づいて、検査のために前記アノテーション付き画像データセットの複数のフレームを選択することと、
検査のために前記アノテーション付き画像データセットの前記選択された複数のフレームを出力することと
を含む方法を実行させ、
前記信頼区間は、指定された確率でデータセット内のパラメータの値がその区間内に含まれる区間であり、前記区間幅は、分布における所与のクラスの上限と下限との間のサイズである、非一時的なコンピュータ可読記録媒体。

【請求項16】

検査のために前記選択された複数のフレームを出力することは、
検査の現在の数を前記検査の最小数と比較することと、
前記検査の現在の数が前記検査の最小数よりも少ないと判定したことに基づいて、
検査不足の表示を出力することと、
検査されたフレームの数が前記検査の最小数以上になるまで、前記選択された複数のフレームを出力し続けることと
を含む、請求項１５に記載の非一時的なコンピュータ可読記録媒体。

【請求項17】

前記方法は、
前記検査に基づいてエラーの数を決定することと、
前記エラーの数に基づいてサンプルのエラー率を算出することと
を更に含む、請求項１５又は１６に記載の非一時的なコンピュータ可読記録媒体。

【請求項18】

前記方法は、
前記サンプルのエラー率に基づいて、該サンプルのエラー率が前記目標エラー率を超えているか否かを判定することと、
前記サンプルのエラー率が前記目標エラー率を超えているという判定に基づいて、品質不良の表示を出力することと
を更に含む、請求項１７に記載の非一時的なコンピュータ可読記録媒体。

【請求項19】

前記品質不良の表示を出力することは、
品質を改善する必要があるというメッセージを作業者に提供することを更に含む、請求項１８に記載の非一時的なコンピュータ可読記録媒体。

【請求項20】

前記予め定められた信頼区間は、９９％、９５％又は９０％のうちの一つである、請求項１５又は１６に記載の非一時的なコンピュータ可読記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の例示的な実施形態と整合するシステム及び方法は、アノテーション付き画像データセットについての画像検査品質を監査するための方法を提供することに関する。

【背景技術】

【0002】

アノテーション付き画像データセットが、様々な人工知能（ＡＩ）プロセスのために、例えば、コンピュータビジョンＡＩモデルを訓練するための訓練データセット、ＡＩモデルの性能を評価するための評価データセット等として使用される。関連技術において、画像アノテータ（例えばサードパーティのアノテーションベンダ）によって提供されるアノテーション付き画像データセットは、（例えばユーザのＡＩモデルを訓練又は評価するために）エンドユーザ又は顧客にリリースされる前にアノテーション品質保証プロセスを受ける。アノテーション品質保証プロセスは、顧客又はエンドユーザの期待とベンダ／アノテータの理解との間の相違を突き止め、貧弱又は杜撰なアノテーション、人的ミス等によるアノテーションエラーを識別する。

【0003】

関連技術において、アノテーション付き画像データセットについての全体的な品質の一般的な測定基準／指標は、サンプリングされた母集団のエラー率である。この目的のために、ランダムに選択された（時間が異なる）サンプル画像が、選択され、可能な限り検査される。

【0004】

例えば、検査されるべき（各々異なる時点で撮影された）１００枚のフレームが存在する場合、１０枚のフレームがサンプル母集団としてランダムに選択される。サンプルフレームの２／１０がエラーを有することが発見された場合、アノテーション付き画像データセットの全体的な品質について、全体的なエラー率が２０％と判定される。

【0005】

しかしながら、エラー率のみを利用する関連技術の方法によって取得される統計データの程度が限定的である可能性がある。例えば、母集団の実際の品質は、単なるエラー率とは別に、データユーザに容易に示されず又は実証されない場合がある。特に、品質の信頼できる尺度を取得するために、検査されるべきアノテーションの量がどの程度であるべきかが明確ではない場合がある。さらに、斯かる方法では、どのようなオブジェクトが検査されるべきかが明確ではなく、この結果、希少なオブジェクトが検査から除外される場合がある。したがって、斯かる問題は、データセットの監査プロセスの間、データセットの実際の品質の誤解をもたらし、データセットが、エンドユーザ／顧客によって要求される予め指定された品質を下回る事例をもたらす可能性がある。このことは必然的にＡＩモデルの性能への悪影響とエンドユーザ／顧客からの信頼の喪失とを引き起こす。

【0006】

したがって、より正確なデータセットを確保し、このことによってＡＩモデルの訓練、評価及び性能を改善することができる方法が必要とされている。

【発明の概要】

【0007】

一つ又は複数の例示的な実施形態によれば、アノテーション付き画像データセットの画像検査品質を監査するための装置及び方法が提供される。特に、例示的な実施形態に係る装置及び方法は、エンドユーザ／顧客によって指定される程度まで検査品質を確認することができるように、信頼区間及び区間幅と共に、目標エラー率を満たすために必要な検査の最小数を算出する。したがって、データセットの正確さを保証することができ、このことによって、ＡＩモデルのより正確な訓練／評価／性能がもたらされる。

【0008】

実施形態によれば、アノテーション付き画像データセットにおける画像アノテーション品質の検査を監査するための方法が提供される。方法は、アノテーション付き画像データセットを取得することと、予め定められた信頼区間、予め定められた目標エラー率、及び予め定められた区間幅に基づいて、アノテーション付き画像データセットの検査の最小数を決定することと、検査の最小数に基づいて、検査のためにアノテーション付き画像データセットの複数のフレームを選択することと、検査のためにアノテーション付き画像データセットの選択された複数のフレームを出力することとを含む。

【0009】

実施形態によれば、検査のために、選択された複数のフレームを出力することは、検査の現在の数を検査の最小数と比較することと、検査の現在の数が検査の最小数よりも少ないと判定したことに基づいて、検査不足の表示を出力することと、検査されたフレームの数が検査の最小数以上になるまで、選択された複数のフレームを出力し続けることとを含む。

【0010】

実施形態によれば、方法は、検査に基づいてエラーの数を決定することと、エラーの数に基づいてサンプルのエラー率を算出することとを更に含む。方法は、サンプルのエラー率に基づいて、サンプルのエラー率が目標エラー率を超えているか否かを判定することと、サンプルのエラー率が目標エラー率を超えているという判定に基づいて、品質不良の表示を出力することとを更に含む。

【0011】

実施形態によれば、品質不良の表示を出力することは、品質を改善する必要があるというメッセージを作業者に提供することを更に含む。

【0012】

実施形態によれば、予め定められた信頼区間は、９９％、９５％又は９０％のうちの一つである。予め定められた信頼区間はＦ分布又はＴ分布の一方に基づいている。

【0013】

実施形態によれば、アノテーション付き画像データセットにおける画像アノテーション品質の検査を監査するための装置は、コンピュータ可読命令を記憶する少なくとも一つのメモリと、少なくとも一つのプロセッサとを含み、少なくとも一つのプロセッサは、コンピュータ可読命令を実行して、アノテーション付き画像データセットを取得し、予め定められた信頼区間、予め定められた目標エラー率、及び予め定められた区間幅に基づいて、アノテーション付き画像データセットの検査の最小数を決定し、検査の最小数に基づいて、検査のためにアノテーション付き画像データセットの複数のフレームを選択し、検査のためにアノテーション付き画像データセットの選択された複数のフレームを出力するように構成される。

【0014】

少なくとも一つのプロセッサは、さらに、コンピュータ可読命令を実行して、検査の現在の数を検査の最小数と比較し、検査の現在の数が検査の最小数よりも少ないと判定したことに基づいて、検査不足の表示を出力し、検査されたフレームの数が検査の最小数以上になるまで、選択された複数のフレームを出力し続けることによって、検査のために、選択された複数のフレームを出力するように構成される。

【0015】

少なくとも一つのプロセッサは、さらに、コンピュータ可読命令を実行して、検査に基づいてエラーの数を決定し、エラーの数に基づいてサンプルのエラー率を算出するように構成される。

【0016】

少なくとも一つのプロセッサは、さらに、コンピュータ可読命令を実行して、サンプルのエラー率に基づいて、サンプルのエラー率が目標エラー率を超えているか否かを判定し、サンプルのエラー率が目標エラー率を超えているという判定に基づいて、品質不良の表示を出力するように構成される。

【0017】

少なくとも一つのプロセッサは、さらに、コンピュータ可読命令を実行して、品質を改善する必要があるというメッセージを作業者に提供することによって、品質不良の表示を出力するように構成される。

【0018】

追加の態様が、以下の説明において部分的に記載され、部分的にはその説明から明らかとなり、又は本開示の提示された実施形態の実践によって実現され得る。

【図面の簡単な説明】

【0019】

【図1】図１は、例示的な実施形態に係る装置の例示的なコンポーネントの図である。

【図2】図２は、一つ又は複数の例示的な実施形態に係るアノテーション付き画像検査監査プロセスを示すフローチャートである。

【図3】図３は、一つ又は複数の例示的な実施形態に係るアノテーション付き画像検査結果評価プロセスを示すフローチャートである。

【発明を実施するための形態】

【0020】

本開示の特定の例示的な実施形態の特徴、態様及び利点が、同様の参照符号が同様の要素を示す添付図面を参照して以下に説明される。

【0021】

例示的な実施形態の以下の詳細な説明は添付図面を参照する。本開示は、例示及び説明を提供するが、網羅的であること、又は一つ又は複数の例示的な実施形態を開示された正確な形態に限定することを意図するものではない。修正及び変形は、本開示に照らして可能であり、又は一つ又は複数の例示的な実施形態の実践から得られる。さらに、一つの例示的な実施形態の一つ又は複数の特徴又はコンポーネントは、別の例示的な実施形態（又は別の例示的な実施形態の一つ又は複数の特徴）に組み込まれ、又は別の例示的な実施形態と組み合わされてもよい。加えて、本明細書において提供される動作のフローチャート及び説明において、一つ又は複数の動作が省略されてもよく、一つ又は複数の動作が追加されてもよく、一つ又は複数の動作が（少なくとも部分的に）同時に実行されてもよく、一つ又は複数の動作の順序が入れ替わってもよいことが理解される。

【0022】

本明細書において説明されるシステム及び／又は方法及び／又は非一時的なコンピュータ可読記憶媒体の例示的な実施形態が、異なる形態のハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組み合わせで実装され得ることが明らかであろう。これらシステム及び／又は方法を実装するために使用される実際の特殊な制御ハードウェア又はソフトウェアコードは、一つ又は複数の例示的な実施形態を限定するものではない。このため、システム及び／又は方法及び／又は非一時的なコンピュータ可読記憶媒体の動作及び挙動が、特定のソフトウェアコードを参照することなく本明細書において説明される。ソフトウェア及びハードウェアは、本明細書における説明に基づいて、システム及び／又は方法を実施するように設計され得ることが理解される。

【0023】

特徴の特定の組み合わせが特許請求の範囲に記載され且つ／又は明細書に開示されているとしても、これら組み合わせは、可能な例示的実施形態の開示を制限することを意図するものではない。実際、これら特徴の多くを、特許請求の範囲に具体的に記載されていない方法及び／又は明細書に開示されていない方法で組み合わせることができる。以下に列挙される各従属請求項が一つの請求項のみに直接従属する可能性があるが、可能な例示的実施形態の開示は、クレームセット内の他の全ての請求項と組み合わせた各従属請求項を含む。

【0024】

本明細書において使用される要素、行為又は指示が、そのように明示的に説明されない限り、重要又は必須と解釈されるべきではない。また、本明細書において使用されるとき、冠詞「ａ」及び「ａｎ」は、一つ又は複数の項目を含むことを意図しており、「一つ又は複数」と互換的に使用され得る。一つの項目のみが意図される場合、用語「一つ」又は類似の文言が使用される。また、本明細書において使用されるとき、用語「有する」、「含む」又は同様の用語は、オープンエンドの用語であることが意図される。さらに、語句「に基づく」は、明示的に反対の記載がない限り、「少なくとも部分的に基づく」を意味することが意図される。さらに、「［Ａ］及び［Ｂ］の少なくとも一つ」又は「［Ａ］又は［Ｂ］の少なくとも一つ」のような表現は、Ａのみ、Ｂのみ、又はＡ及びＢの両方を含むものとして理解されるべきである。

【0025】

図１は、画像アノテーション監査装置１００の例示的なコンポーネントの図である。図１に示されるように、画像アノテーション監査装置１００は、バス１１０、プロセッサ１２０、メモリ１３０、記憶コンポーネント１４０、入力コンポーネント１５０、出力コンポーネント１６０及び通信インターフェース１７０を含む。

【0026】

バス１１０は、画像アノテーション監査装置１００のコンポーネント間の通信を可能とするコンポーネントを含む。プロセッサ１２０は、ハードウェア、ファームウェア又はハードウェアとソフトウェアとの組み合わせで実装される。プロセッサ１２０は、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、加速処理装置（ＡＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は別のタイプの処理コンポーネントである。一つ又は複数の例示的な実施形態において、プロセッサ１２０は、機能を実行するようにプログラム可能な一つ又は複数のプロセッサを含む。メモリ１３０は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、及び／又はプロセッサ１２０によって使用される情報及び／又は命令を記憶する別のタイプの動的又は静的な記憶装置（例えば、フラッシュメモリ、磁気メモリ、及び／又は光学メモリ）を含む。

【0027】

記憶コンポーネント１４０は、画像アノテーション監査装置１００の動作及び使用に関連する情報及び／又はソフトウェアを記憶する。例えば、記憶コンポーネント１４０は、対応するドライブと共に、ハードディスク（例えば、磁気ディスク、光ディスク、光磁気ディスク、及び／又はソリッドステートディスク）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、カートリッジ、磁気テープ、及び／又は別のタイプの非一時的なコンピュータ可読媒体を含む。入力コンポーネント１５０は、例えばユーザ入力（例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、及び／又はマイクロフォン）を介して、画像アノテーション監査装置１００が情報を受信することを可能とするコンポーネントを含む。加えて又は代替的に、入力コンポーネント１５０は、情報を感知するためのセンサ（例えば、全地球測位システム（ＧＰＳ）コンポーネント、加速度計、ジャイロスコープ、及び／又はアクチュエータ）を含む。出力コンポーネント１６０は、画像アノテーション監査装置１００からの出力情報を提供するコンポーネント（例えば、ディスプレイ、スピーカ、及び／又は一つ又は複数の発光ダイオード（ＬＥＤ））を含む。

【0028】

通信インターフェース１７０は、画像アノテーション監査装置１００が、例えば、有線接続、無線接続、又は有線接続と無線接続との組み合わせを介して、他の装置と通信することを可能とする送受信機のようなコンポーネント（例えば送受信機及び／又は別個の受信機及び送信機）を含む。通信インターフェース１７０は、画像アノテーション監査装置１００が別の装置から情報を受信し且つ／又は別の装置に情報を提供することを可能とする。例えば、通信インターフェース１７０は、限定されるものではないが、イーサネットインターフェース、光インターフェース、同軸インターフェース、赤外線インターフェース、無線周波数（ＲＦ）インターフェース、ユニバーサルシリアルバス（ＵＳＢ）インターフェース、Ｗｉ－Ｆｉインターフェース、セルラーネットワークインターフェース又はこれらの均等物を含む。

【0029】

画像アノテーション監査装置１００は、本明細書において説明される一つ又は複数の例示的な処理を実行する。一つ又は複数の例示的な実施形態によれば、画像アノテーション監査装置１００は、メモリ１３０及び／又は記憶コンポーネント１４０のような非一時的なコンピュータ可読媒体によって記憶されたソフトウェア命令をプロセッサ１２０が実行することに応答して、これら処理を実行する。コンピュータ可読媒体は、本明細書では非一時的なメモリ装置として定義される。メモリ装置は、単一の物理的記憶装置内のメモリ空間、又は複数の物理的記憶装置にまたがるメモリ空間を含む。

【0030】

ソフトウェア命令は別のコンピュータ可読媒体から又は通信インターフェース１７０を介して別の装置からメモリ１３０及び／又は記憶コンポーネント１４０に読み込まれる。メモリ１３０及び／又は記憶コンポーネント１４０に記憶されたソフトウェア命令は、実行されると、プロセッサ１２０に、本明細書において説明される一つ又は複数の処理を実行させる。

【0031】

加えて又は代替的に、本明細書において説明される一つ又は複数の処理を実行するために、ソフトウェア命令の代わりに又はソフトウェア命令と組み合わせて、ハードワイヤ回路を使用することができる。このため、本明細書において説明される一つ又は複数の例示的な実施形態は、ハードウェア回路とソフトウェアとの特定の組み合わせに限定されない。

【0032】

図１に示される構成要素の数及び配置は一例として提供される。実際には、画像アノテーション監査装置１００は、追加のコンポーネント、より少ないコンポーネント、異なるコンポーネント、又は図１に示されたものとは異なる配置のコンポーネントを含んでもよい。加えて又は代替的に、画像アノテーション監査装置１００のコンポーネントのセット（例えば一つ又は複数のコンポーネント）は、画像アノテーション監査装置１００のコンポーネントの別のセットによって実行されるものとして説明された一つ又は複数の機能を実行することができる。

【0033】

図２は、一つ又は複数の例示的な実施形態に係るアノテーション付き画像検査品質監査プロセス２００を示す図である。

【0034】

図２を参照すると、動作Ｓ２１０において、アノテーション付き画像データセットが取得される。いくつかの実施形態によれば、アノテーション付き画像データセットは既に提供されていてもよいことに留意されたい。アノテーション付き画像データセットは、実施形態に係る任意の適切な方法を用いて取得される。

【0035】

動作Ｓ２２０において、動作Ｓ２１０において取得されたアノテーション付き画像データセットの検査の最小数が決定される。実施形態によれば、検査の最小数は、信頼区間、目標エラー率及び区間幅に基づいて決定される。

【0036】

実施形態によれば、信頼区間は検査の前に算出され／予め定められる。特に、信頼区間は、指定された確率でデータセット内のパラメータの値がその区間内に含まれる区間として理解されるべきである。いくつかの実施形態によれば、信頼区間は９５％であるが、実施形態に従って他の値（９９％、９０％等）が使用されてもよいことが理解されるべきである。

【0037】

上記の信頼区間が標準Ｔ分布又はＦ分布に基づくことができることが理解されるべきである。例えば、当業者は、より大きなサンプルサイズが存在する状況では標準Ｔ分布がより有用であり、より小さなサンプルサイズが存在する状況又は期待されるエラー率が知られていない状況ではＦ分布がより有用であることを理解することができる。

【0038】

所望の標準エラー率は、エンドユーザ（例えば顧客）によって要求される値であり、又はデフォルトによって設定されてもよい。これは、高い精度が必要とされない例では典型的に５％であり、高い精度が必要とされる例では１％であるが、これらは単なる参考値であり、任意の目標エラー率を指定できることが理解されるべきである。

【0039】

実施形態によれば、（信頼）区間幅は検査の前に算出され／予め定められる。特に、区間幅は、分布における所与のクラスの上限と下限との間のサイズとして定義される。これは典型的には不確かさのパーセンテージ値（例えば、±２．５％、±５％等）として与えられるが、区間幅を表すその他のフォーマットが与えられてもよいことが理解されるべきである。

【0040】

信頼区間、目標エラー率及び区間幅に基づいて、検査の最小数が容易に決定される。
特に、一つの実施形態によれば、Ｔ分布に基づく計算を使用することができる。

【0041】

Ｔ分布の場合において信頼区間を取得するために使用される計算の例が以下の式（１）に基づいて与えられる。

【0042】

【数1】

【0043】

ここで、φは目標エラー率であり、ｐは所与の母集団のエラー率（すなわち、データにエラーが存在することが期待される可能性）であり、ｎはサンプルの総数であり、αは有意水準（すなわち、エラーが統計的に有意か否かを示す値、典型的には５％）であり、ｇ（ｎ－１，１－α）はｎ－１から１－αまでの二項確率分布関数である。
Ｔ分布における信頼区間幅βを取得するために使用される計算の例が以下の式（２）によって与えられる。

【0044】

【数2】

【0045】

Ｔ分布におけるサンプルの総数ｎ’を取得するために使用される計算の例が以下の式（３）によって与えられる。

【0046】

【数3】

【0047】

それにもかかわらず、本実施形態に従って、信頼区間、信頼区間幅及びサンプルの目標数を計算するための任意の適切な方法を使用できることが理解されるべきである。

【0048】

上記の実施形態に基づいて、当業者は、信頼区間及び区間幅が、有意水準α及び所与の母集団のエラー率ｐのパラメータに基づいて決定され、その逆もまた同様であることも理解することができる。いずれにせよ、上記の実施形態は、検査されるべきサンプルの目標数／最小数（例えばｎ’）がＴ分布に基づく信頼区間幅及び信頼区間に基づいてどのように決定されるかを例示する。Ｆ分布又は他のタイプの度数分布を使用する場合において、同様の方法及び計算を使用できることが理解されるべきである。

【0049】

再び図２を参照すると、動作Ｓ２３０において、動作Ｓ２２０において決定された検査の最小数に基づいて、データセットの複数のフレームが検査のために選択される。一つの実施形態によれば、検査されるべきサンプルの目標数／最小数に基づいて元のデータセットからの母集団がセグメント化される。

【0050】

動作Ｓ２４０において、動作Ｓ２３０において選択されたフレームが検査のために出力される。実施形態によれば、検査は、検査されるべきサンプルの目標数／最小数に基づいて、選択された各フレームについてのエラーのために各フレームの検査に進む。一つの実施形態によれば、これはフレーム毎に行われる。検査は、サンプルの目標数／最小数に対して、実際に検査されたフレームの現在の数を追跡する。検査されたフレームのサンプルの数がサンプルの必要な目標数／最小数よりも少ないと判定された場合、プロセスは、検査が不十分であることの表示（例えば作業者／検査者へのメッセージ）を出力する。その後、検査されたフレームの数が検査の最小数以上になるまで、検査が続く（例えばフレームが出力され続ける）。

【0051】

図３は、一つ又は複数の例示的な実施形態に係るアノテーション付き画像検査結果評価プロセス３００を示す例示的なフローチャートを示す。アノテーション付き画像検査結果評価プロセス３００は、図２に示されるステップの後に実行され、又は図２に示されるステップとは別個に実行される。

【0052】

動作Ｓ３１０において、エラーの数が決定される。これは、図２の動作Ｓ２４０における検査からエラーの数を合計することに基づき、又はいくつかの実施形態に従っていくつかの他のプロセスを通して提供される。

【0053】

動作３２０において、エラーの数に基づいて、サンプルのエラー率が決定される。例えば、これは、エラーの数を検査されたサンプルの数と比較することによって取得される。

【0054】

動作Ｓ３３０において、サンプルのエラー率が目標エラー率（例えば上記図２に関する動作Ｓ２２０において使用された目標エラー率）を超えているか否かが判定される。サンプルのエラー率が目標エラー率よりも高い場合、このことは、データセットの品質がエンドユーザ／顧客の所望の目標エラー率を下回っていることを示す。

【0055】

動作Ｓ３４０において、動作Ｓ３３０の判定に基づいて、メッセージがユーザに出力される。例えば、メッセージは、データセットが低品質であることを示す場合がある。いくつかの実施形態によれば、メッセージは、さらに、作業者／検査者によって何らかの是正措置が取られるべきであることを示すことを含む。例えば、これは、少なくとも、画像アノテーションをやり直して後日再監査すべきであるというメッセージを作業者／検査者に送信することによって行われ、それにもかかわらず、任意の適切な是正措置を取ることができることが理解されるべきである。それにもかかわらず、表示は、必ずしもメッセージの形態である必要はなく、いくつかの単純な視覚的インジケータ（例えば色）であってもよいことが理解されるべきである。

【0056】

上記の実施形態に基づいて、信頼区間及び区間幅と共に、目標エラー率を満たすために必要な検査の最小数を算出することによって、エンドユーザ／顧客によって指定される程度まで検査品質を確認することができる。したがって、データセットの正確さを保証することができ、このことによって、ＡＩモデルのより正確な訓練／評価／性能がもたらされる。

【0057】

前述の開示は、例示及び説明を提供するが、網羅的であること、又は一つ又は複数の例示的な実施形態を開示された正確な形態に限定することを意図するものではない。修正及び変形は、本開示に照らして可能であり、又は一つ又は複数の例示的な実施形態の実践から得られる。

【0058】

一つ又は複数の例示的な実施形態は、任意の可能な技術的詳細レベルの統合におけるシステム、方法及び／又はコンピュータ可読媒体に関する。さらに、上述したコンポーネントの一つ以上は、コンピュータ可読媒体上に記憶され且つ少なくとも一つのプロセッサによって実行可能な命令として実装されてもよい（且つ／又は少なくとも一つのプロセッサを含んでもよい）。コンピュータ可読媒体は、プロセッサに動作を実行させるためのコンピュータ可読プログラム命令を有する非一時的なコンピュータ可読記憶媒体（又はメディア）を含む。

【0059】

コンピュータ可読記憶媒体を、命令実行装置によって使用される命令を保持及び記憶することができる有形装置とすることができる。コンピュータ可読記憶媒体は、例えば、限定されるものではないが、電子記憶装置、磁気記憶装置、光学記憶装置、電磁気記憶装置、半導体記憶装置、又はこれらの任意の適切な組み合わせである。コンピュータ可読記憶媒体のより具体例の非網羅的なリストは、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、その上に記録された命令を有するパンチカード又は溝内の隆起構造のような機械的に符号化された装置、及びこれらの任意の適切な組み合わせを含む。コンピュータ可読記憶媒体は、本明細書において使用されるとき、電波若しくは他の自由に伝播する電磁波、導波管若しくは他の伝送媒体（例えば、光ファイバーケーブルを通過する光パルス）を介して伝播する電磁波、又はワイヤを介して伝送される電気信号のような一時的な信号そのものであると解釈されるべきではない。

【0060】

本明細書において説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理装置にダウンロードされ、又はネットワーク、例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はワイヤレスネットワークを介して外部コンピュータ又は外部記憶装置にダウンロードされることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを含むことができる。各コンピューティング／処理装置内のネットワークアダプタカード又はネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理装置内のコンピュータ可読記憶媒体に記憶するためにコンピュータ可読プログラム命令を転送する。

【0061】

動作を実行するためのコンピュータ可読プログラムコード／命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用構成データ、又は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語若しくは同様のプログラミング言語のような手続き型プログラミング言語を含む一つ又は複数のプログラミング言語の任意の組み合わせで書かれたソースコード若しくはオブジェクトコードである。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で完全に実行され、スタンドアロンソフトウェアパッケージとしてユーザのコンピュータ上で部分的に実行され、ユーザのコンピュータ上で部分的に実行され、リモートコンピュータ上で部分的に実行され、又はリモートコンピュータ若しくはサーバ上で完全に実行される。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）若しくはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続され、又は接続が（例えば、インターネットサービスプロバイダを使用するインターネットを介して）外部のコンピュータ対してなされる。
一つ又は複数の例示的な実施形態において、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、態様（aspect）又は動作を実行するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路をパーソナライズすることによって、コンピュータ可読プログラム命令を実行することができる。

【0062】

これらコンピュータ可読プログラム命令は、コンピュータ若しくは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャート及び／又はブロック図のブロック若しくは複数のブロックにおいて指定された機能／行為を実施するための手段を生成するように、汎用コンピュータ、特殊用途コンピュータ若しくは他のプログラマブルデータ処理装置のプロセッサに提供されて機械を製造してもよい。これらコンピュータ可読プログラム命令は、記憶された命令を有するコンピュータ可読記憶媒体が、フローチャート及び／又はブロック図のブロック若しくは複数のブロックにおいて指定された機能／行為の態様を実施する命令を含む製造品を含むように、コンピュータ、プログラム可能なデータ処理装置、及び／又は他の装置に特定の態様で機能するように指示することができるコンピュータ可読記憶媒体に記憶されていてもよい。

【0063】

コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルなデータ処理装置、若しくは他の装置にロードされて、コンピュータ、他のプログラマブルな装置、若しくは他の装置上で実行される命令が、フローチャート及び／又はブロック図のブロック若しくは複数のブロックにおいて指定された機能／行為を実施するように、コンピュータ実装プロセスを生成するための一連の動作ステップをコンピュータ、他のプログラマブルな装置、若しくは他の装置上で実行させてもよい。

【0064】

図中のフローチャート及びブロック図は、一つ又は複数の例示的な実施形態に係るシステム、方法及びコンピュータ可読媒体の可能な例示的な実施形態のアーキテクチャ、機能性及び動作を示す。これに関して、フローチャート若しくはブロック図の各ブロックは、マイクロサービス、モジュール、セグメント、又は命令の一部を表し、命令の一部は、指定されたロジック機能を実施するための一つ又は複数の実行可能な命令を含む。方法、コンピュータシステム及びコンピュータ可読媒体は、追加のブロック、より少ないブロック、異なるブロック、又は図面に描かれたブロックとは異なる配置のブロックを含んでもよい。一つ又は複数の代替的な例示的実施形態では、ブロックに記された機能は、図に記された順序から外れて生じてもよい。例えば、連続して示された二つのブロックは、実際には、同時に若しくは実質的に同時に実行されてもよく、又はブロックは、関係する機能性に応じて、時には逆の順序で実行されてもよい。ブロック図及び／又はフローチャート図の各ブロック、並びにブロック図及び／又はフローチャート図のブロックの組み合わせを、指定された機能又は行為を実行する、又は特殊目的のハードウェア及びコンピュータ命令の組み合わせを実行する特殊目的のハードウェアベースのシステムによって実装できることにも留意されたい。

【0065】

本明細書において説明されるシステム及び／又は方法を、異なる形態のハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組み合わせで実装できることが明らかであろう。これらシステム及び／又は方法を実装するために使用される実際の特殊な制御ハードウェア又はソフトウェアコードは、一つ又は複数の例示的な実施形態を限定するものではない。このため、システム及び／又は方法の動作及び挙動が、特定のソフトウェアコードを参照することなく本明細書において説明されたが、ソフトウェア及びハードウェアが、本明細書の説明に基づいてシステム及び／又は方法を実装するように設計され得ることが理解される。

【図1】

【図2】

【図3】