特開 2022-77969 データ処理方法、装置、電子デバイスおよび記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022077969

(43)【公開日】2022-05-24

(54)【発明の名称】データ処理方法、装置、電子デバイスおよび記憶媒体

(51)【国際特許分類】

   G06Q 10/06 20120101AFI20220517BHJP

【ＦＩ】

G06Q10/06

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021168929

(22)【出願日】2021-10-14

(31)【優先権主張番号】202011262605.X

(32)【優先日】2020-11-12

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】▲楊▼ 雪

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049AA07

(57)【要約】

【課題】本願は、データ処理方法、装置、電子デバイスおよび記憶媒体を開示しており、人工知能技術分野に関し、具体的には、深層学習などの分野に関するものである。
【解決手段】本願発明を実現するための具体的な技術案は、データ注釈情報および注釈者情報のうちの少なくとも１項に基づき、注釈済みデータセットから監査待ちデータを選択することと、前記監査待ちデータに対して品質検査を行うことである。本願の技術によれば、データ品質を保証しながら、データ品質検査の効率を向上させ、人件費を削減し、データに対する品質検査に新しい構想を提供している。
【選択図】図１

【特許請求の範囲】

【請求項1】

データ注釈情報および注釈者情報のうちの少なくとも１項に基づき、注釈済みデータセットから監査待ちデータを選択することと、
前記監査待ちデータに対して品質検査を行うことと、を含む、データ処理方法。

【請求項2】

注釈者情報に基づき、注釈済みデータセットから監査待ちデータを選択することは、
注釈者情報における注釈従業期間及び／又は注釈正確率履歴に基づき、注釈者候補から監査待ちスタッフを選択することと、
前記注釈済みデータセットから前記監査待ちスタッフによって注釈されたデータを監査待ちデータとして選択することと、を含む、請求項１に記載のデータ処理方法。

【請求項3】

データ注釈情報に基づき、注釈済みデータセットから監査待ちデータを選択することは、
データ注釈情報における時間帯及び／又は要素数量に基づき、注釈済みデータセットから監査待ちデータを選択することを含む、請求項１に記載のデータ処理方法。

【請求項4】

データ注釈情報および注釈者情報のうちの少なくとも１項に基づき、注釈済みデータセットから監査待ちデータを選択することは、
データ注釈情報および注釈者情報のうちの少なくとも１項に基づき、注釈済みデータセットから第１監査待ちデータを選択することと、
ユーザのデータ注目度に基づき、注釈済みデータセットから第２監査待ちデータを選択することと、を含み、
前記第２監査待ちデータと、前記第１監査待ちデータとが異なっている、請求項１に記載のデータ処理方法。

【請求項5】

データ注釈情報および注釈者情報のうちの少なくとも１項に基づき、注釈済みデータセットから監査待ちデータを選択する前に、
注釈待ちデータセットに対してクレンジング処理を行うことと、
クレンジングされた注釈待ちデータセットに対して注釈を行い、注釈済みデータセットを得ることと、をさらに含む、請求項１に記載のデータ処理方法。

【請求項6】

注釈素材タイプおよび注釈シナリオに基づき、注釈待ちデータセットの注釈ルールを確定することは、
注釈待ちデータセットに対して注釈を行う過程において、前記注釈ルールに従って、注釈済みデータに対して品質検査を行い、注釈済みデータセットを得ることをさらに含む、請求項１に記載のデータ処理方法。

【請求項7】

前記注釈ルールに従って、注釈済みデータに対して品質検査を行うことは、
前フレームの注釈済みデータにおける物体のタイプに基づき、現フレームの注釈済みデータに対して品質検査を行うことと、及び／又は、
現フレームの注釈済みデータにおける物体の、履歴フレームの注釈済みデータにおいての変化状況に基づき、現フレームの注釈済みデータに対して品質検査を行うことと、をさらに含む、請求項６に記載のデータ処理方法。

【請求項8】

データ注釈情報および注釈者情報のうちの少なくとも１項に基づき、注釈済みデータセットから監査待ちデータを選択することに用いられるデータ選択モジュールと、
前記監査待ちデータに対して品質検査を行うことに用いられる品質検査モジュールと、を備える、データ処理装置。

【請求項9】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信的に接続されるメモリと、を備え、
前記メモリには、請求項１～７のいずれか１項に記載のデータ処理方法を前記少なくとも１つのプロセッサにより実行できるように、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されている、電子デバイス。

【請求項10】

請求項１～７のいずれか１項に記載のデータ処理方法をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は人工知能技術分野に関し、特に、深層学習及び自動運転技術に関し、具体的には、データ処理方法、装置、電子デバイスおよび記憶媒体に関するものである。

【背景技術】

【0002】

人工知能アルゴリズムの段階的な上陸に伴い、アルゴリズムの研究が現在のホットスポットとなった。アルゴリズムをトレーニングするための燃料として、データの品質はアルゴリズムの正確率に対して重要な役割を果たしている。しかしながら、産出データの品質を確保するためには、主に手動で全般データに対して品質検査を行っており、効率が低く、人件費が高いため、早急な改良が要求されている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示は、データ処理方法、装置、電子デバイスおよび記憶媒体を提供している。

【課題を解決するための手段】

【0004】

本開示の一態様によれば、
データ注釈情報および注釈者情報のうちの少なくとも１項に基づき、注釈済みデータセットから監査待ちデータを選択することと、
前記監査待ちデータに対して品質検査を行うことと、を含む、データ処理方法が提供されている。

【0005】

本開示の他の一態様によれば、
データ注釈情報および注釈者情報のうちの少なくとも１項に基づき、注釈済みデータセットから監査待ちデータを選択することに用いられるデータ選択モジュールと、
前記監査待ちデータに対して品質検査を行うことに用いられる品質検査モジュールと、を備える、データ処理装置が提供されている。

【0006】

本開示の他の一態様によれば、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信的に接続されるメモリと、を備え、
前記メモリには、本願のいずれかの実施例に記載のデータ処理方法を前記少なくとも１つのプロセッサにより実行できるように、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されている、電子デバイスが提供されている。

【0007】

本開示の他の一態様によれば、本願のいずれかの実施例に記載のデータ処理方法をコンピュータに実行させるためのコンピュータ命令が記憶されている、非瞬時性コンピュータ可読記憶媒体が提供されている。

【0008】

本願の技術によれば、データ品質を保証しながら、データ品質検査の効率を向上させ、人件費を削減し、データに対する品質検査に新しい構想を提供している。

【0009】

なお、この部分の説明内容は、本開示の実施例の鍵又は重要な構成を明示することを意図するものではなく、本開示の範囲を限定することを意図するものでもないことを理解すべきである。本開示の別の構成については、以下の明細書を通して容易に理解されるであろう。

【図面の簡単な説明】

【0010】

図面は、本技術案がよりよく理解されるように提供され、本願を限定するものではない。ここで、

【図1】本願の実施例によって提供されるデータ処理方法のフロー図である。

【図2】本願の実施例によって提供される別のデータ処理方法のフロー図である。

【図3】本願の実施例によって提供される更なるデータ処理方法のフロー図である。

【図4】本願の実施例によって提供される更なるデータ処理方法のフロー図である。

【図5】本願の実施例によって提供されるまた別のデータ処理方法のフロー図である。

【図6】本願の実施例によって提供されるまた別のデータ処理方法のフロー図である。

【図7】本願の実施例によって提供されるデータ処理装置の構造概略図である。

【図8】本願の実施例に係るデータ処理方法を実現するための電子デバイスのブロック図である。

【発明を実施するための形態】

【0011】

以下は、図面を参照しながら、本願の例示的な実施例について説明する。この内容には、理解を助けるための本願の実施例の様々な詳細が含まれているが、単なる例示的なものと見なされるべきである。したがって、当業者なら、本願の範囲および精神から逸脱することなく、本明細書に記載の実施例に対して様々な変更および修正を実行することができることを認識すべきである。同様に、はっきりとよくわかるように、以下の説明では公知の機能と構造についての説明を省略した。

【0012】

図１は、本願の実施例によって提供されるデータ処理方法のフロー図である。本願の実施例は、データ品質を保証しながら、データ品質検査の効率を向上させるために、データに対してどのように処理を行うかという状況に適用され、特に、データ注釈が必要なシナリオ、例えば、障害物識別シナリオ、目標（車両など）トラッキングシナリオ、人体のキーポイント（人顔など）識別シナリオ、命名のエンティティ識別シナリオなどにおいて、注釈済みデータに対してどのように品質検査を行うかという状況に適用される。当該実施例は、データ処理装置によって実行可能であり、当該装置は、ソフトウェア及び／又はハードウェアによって実現可能であり、サーバデバイスなどのデータ処理機能が搭載されている電子デバイスに集積可能である。図１に示すように、当該方法は、以下のことを含む。

【0013】

Ｓ１０１において、データ注釈情報および注釈者情報のうちの少なくとも１項に基づき、注釈済みデータセットから監査待ちデータを選択する。

【0014】

本実施例において、注釈済みデータセットは、注釈待ちデータセットに対して注釈を行うことで得られる注釈済みデータのセットであり、例えば、車両トラッキングシナリオにおいて、注釈待ちデータセットに連続する複数のフレームの写真が含まれており、注釈ニーズに応じて各フレームの写真に対して注釈することで、注釈済みデータセットが得られる。代替的に、注釈シナリオに応じてデータタイプが異なってもよい。代替的に、データタイプは、写真、音声、テキスト、ビデオおよびウェブページ等を含んでもよいが、これらに限定されるものではない。

【0015】

代替的に、今回のデータ注釈に参加するスタッフは、データ注釈を完了した後、注釈済みデータを所定のデータライブラリに提出してもよく、さらに、今回のデータ注釈タスクがすべて完了ということが検知されると、先ず、データ注釈情報および注釈者情報などの複数次元の情報を取得してもよく、そして、データ注釈情報および注釈者情報のうちの少なくとも１項に基づき、注釈済みデータセットから監査待ちデータを選択してもよい。

【0016】

ここで、データ注釈情報には、今回のデータ注釈に使用される要素の関連情報が含まれてもよく、例えば、要素タイプ及び要素数量などが含まれてもよく、要素タイプは、点、線、枠、および領域等を含んでもよいが、これらに限定されるものではない。データ注釈情報には、今回のデータ注釈を行う過程における関連情報がさらに含まれてもよく、例えば、時間帯及び注釈時間数等が含まれてもよく、ここで、時間帯は、例えば、午前８：００～１０：００、午後１０：００～１２：００等であってもよい。代替的に、注釈済みデータセットにおける各々の注釈済みデータは、番号などの唯一な識別子を有しており、異なる注釈済みデータのデータ注釈情報は同じでも異なってもよい。さらに、各々の注釈済みデータのデータ注釈情報は、当該注釈済みデータに関連する注釈待ちデータに対して注釈を行う過程において、注釈者によりリアルタイム且つ動的に記録されたものであり、且つ、当該注釈済みデータが注釈者により所定のデータライブラリに提出された後に自動的に生成されるものである。

【0017】

注釈者情報は、今回のデータ注釈に参加するスタッフの関連情報であり、氏名、身分ＩＤ（個人番号、社員番号など）、注釈従業期間、注釈得意分野、および注釈正確率履歴などを含んでもよいが、これに限定されるものではない。代替的に、事前に構築された注釈者情報ライブラリから今回のデータ注釈に参加するスタッフの関連情報、即ち、注釈者情報を取得してもよい。

【0018】

代替的に、本実施例は、データ注釈情報および注釈者情報のうちの少なくとも１次元のデータを組み合わせ、所定のサンプリング監査比率に従って、注釈済みデータセットから監査待ちデータを選択してもよい。ここで、監査待ちデータは、注釈済みデータセットから選択された注釈済みデータであり、さらに、監査待ちデータは、注釈済みデータセットのうちの他の注釈済みデータに比べて、リスクデータと呼ばれてもよく、即ち、注釈にエラー発生の確率が比較的に高い注釈済みデータである。

【0019】

例えば、データ注釈情報に基づき、所定のサンプリング監査比率に従って、注釈済みデータセットから監査待ちデータを選択してもよく、例えば、データ注釈情報のうちの注釈時間数に基づき、所定のサンプリング監査比率に従って、注釈済みデータセットから監査待ちデータを選択してもよい。具体的に、所定のサンプリング監査比率に従って、注釈済みデータセットから注釈時間数が所定時間数の上限値より大きい、及び／又は注釈時間数が所定時間数より小さい注釈済みデータを選択して監査待ちデータとしてもよい。

【0020】

又は、注釈者情報に基づき、所定のサンプリング監査比率に従って、注釈済みデータセットから監査待ちデータを選択してもよく、又は、データ注釈情報および注釈者情報に基づき、所定のサンプリング監査比率に従って、注釈済みデータセットから監査待ちデータを選択してもよい。実現可能な具体的形態については、後続の実施例において詳しく説明する。

【0021】

Ｓ１０２において、監査待ちデータに対して品質検査を行う。

【0022】

具体的に、監査待ちデータが得られると、監査待ちデータに対して品質検査を行ってもよい。代替的に、ユーザの注釈ニーズに応じて、監査待ち形態を確定し、そして、監査待ち形態によって、監査待ちデータに対して品質検査を行ってもよい。例えば、もしユーザの注釈ニーズが主観的把握の傾向であれば、監査待ち形態は多人数フィッティングによる回答様式であってもよく、具体的に、監査待ちデータに関連する注釈待ちデータに対して、プリセット値の品質検査スタッフを同時に注釈させることで、プリセット値のフィッティング注釈データを得てもよい。所定のポリシー、例えば、少数が多数に従う、注釈正確率履歴の高いスタッフの優先順位が注釈正確率履歴の低いスタッフの優先順位より高いというポリシーを使用して、プリセット値のフィッティング注釈データに基づき、最終的な結果を得てもよく、フィッティング結果と監査待ちデータを比較し、もし一致すれば、確定監査待ちデータの品質検査結果を通過として確定し、もしそうでなければ、品質検査結果を不通過として確定する。

【0023】

もし、ユーザの注釈ニーズが客観的把握の傾向であれば、監査待ち形態は、アルゴリズムによる品質検査、例えば、光学式文字認識（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ、ＯＣＲ）アルゴリズムによる品質検査であってもよい。具体的に、既存のＯＣＲアルゴリズムを呼び出し、自動的に監査待ちデータに対して品質検査を行ってもよく、さらに、品質検査において品質を保証するために、アルゴリズムによる品質検査で得られた品質検査結果のうち、信頼度が比較的低いものに対して、品質検査スタッフによる２次品質検査を再実行してもよい。

【0024】

なお、アルゴリズムの精度を保証するために、アルゴリズムのトレーニングに要求されるデータとしている注釈済みデータセットのデータ量が一般的に大きく、従来の手動で全般注釈済みデータに対して品質検査を行う形態によれば、人件費が高くて効率が低下している。また、現在、既存の全般注釈データから一部の注釈済みデータをランダムに抽出して品質検査を行う形態は、ランダム性を有し、データ品質を保証できない。本願は、データ注釈情報および注釈者情報などの多次元のデータを組み合わせることで総合的な分析を行い、注釈済みデータセットから監査待ちデータを選択し、品質検査を行い、即ち、注釈済みデータセットのうちのリスクデータに対して品質検査を行うことで、データ品質を保証しながら、データ品質検査の効率を向上させ、人件費を削減した。

【0025】

本願の実施例に係る技術案によれば、データ注釈情報および注釈者情報などの多次元のデータを組み合わせることで総合的な分析を行い、注釈済みデータセットから監査待ちデータを選択し、品質検査を行う。従来のデータ品質検査形態に比べて、本願は、データ品質を保証しながら、データ品質検査の効率を向上させ、人件費を削減し、データ品質検査を行うために新しい構想を提供している。

【0026】

データ品質を保証するために、本発明の実施例は、代替的な形態として、データ注釈情報および注釈者情報のうちの少なくとも１項に基づき、注釈済みデータセットから監査待ちデータを選択する前に、注釈待ちデータセットに対してクレンジング処理を行い、クレンジング済みの注釈待ちデータセットに対して注釈を行うことで、注釈済みデータセットを得ることをさらに含んでもよい。

【0027】

本実施例において、注釈待ちデータセットは、ユーザによって提供される注釈待ちデータのセットであってもよく、ユーザによって提供される注釈タスクに基づき収集された注釈待ちデータのセットであってもよい。

【0028】

代替的に、注釈素材のタイプに応じて、異なるクレンジング形態を採用してもよい。例えば、音声タイプの注釈素材に対して、深刻なノイズがあるか否か及び／又は時間数がニーズを満たしているか否かなどを判断することで、注釈待ちデータセットに対してクレンジングを行ってもよく、写真タイプの注釈素材に対して、写真がはっきりしているか否か及び／又は歪曲などが存在しているか否かを判断することで、注釈待ちデータセットに対してクレンジングを行ってもよく、テキストタイプの注釈素材に対して、重複現象等が存在しているか否かを判断することで、注釈待ちデータに対してクレンジングを行ってもよい。

【0029】

注釈待ちデータセットに対してクレンジングを行った後、クレンジング済みの注釈待ちデータセットに対して注釈し、注釈済みデータセットが得られるように、クレンジング済みの注釈待ちデータセットを注釈者（即ち、今回のデータ注釈に参加するスタッフ）に送信してもよい。

【0030】

なお、注釈済みデータに対して品質検査を行う必要があるシナリオにおいて、本実施例は、注釈待ちデータセットに対してクレンジング操作を行うことを追加することで、危険（又は低品質）データに対して早期に警戒し、補欠収集することができ、データ品質を保証するために、基礎を築いてくれるとともに、データ納品の効率を向上させた。

【0031】

図２は本願の実施例によって提供される別のデータ処理方法のフロー図である。本願の実施例は、上述した実施例を基礎として、今回のデータ注釈に参加するスタッフの人数が多数である場合に、注釈者情報に基づき、注釈済みデータセットから監査待ちデータを選択する形態を提供している。図２に示すように、当該方法は以下のことを含む。

【0032】

Ｓ２０１において、注釈者情報における注釈従業期間及び／又は注釈正確率履歴に基づき、注釈者候補から監査待ちスタッフを選択する。

【0033】

本実施例において、注釈者候補は、今回のデータ注釈に参加するスタッフである。代替的に、注釈者候補の数量は少なくとも２名である。ここで、各々の注釈者候補情報のうちの注釈従業期間は、当該注釈者候補がデータ注釈作業に従業している期間であってもよく、さらに、よりも正確に注釈済みデータから監査待ちデータを選択するために、注釈従業期間は、具体的に、データタイプが今回注釈するデータと同じであるデータに対する、当該注釈者候補の注釈従業期間に限定してもよい。代替的に、各々の注釈者候補に対して、当該注釈者候補の注釈データ品質検査状況履歴を統計することで、当該注釈者候補の注釈正確率履歴を得てもよい。注釈従業期間と同様に、注釈正確率履歴は、具体的に、データタイプが今回注釈するデータと同じであるデータに対する、当該注釈者候補の注釈正確率履歴に限定してもよい。

【0034】

監査待ちスタッフは、注釈者候補から選択された重点的に注目すべきである注釈者であり、即ち、注釈者候補のうちの他のスタッフに比べて、監査待ちスタッフによって注釈されるデータにエラーリスクが存在する確率が比較的に大きい。代替的に、監査待ちスタッフの人数は、１人又は複数人であってもよく、次いでサンプリング監査を受ける監査待ちデータの数量の合理性を保証するために、監査待ちスタッフの人数は、さらに、サンプリング監査比率、各注釈者候補により今回注釈するデータの数量、および各注釈者候補関連情報などの設定によって確定される。

【0035】

代替的に、注釈従業期間に基づき、注釈者候補に対して、例えば、昇順で順位付けを行い、そして、順位付けの結果に従って、注釈者候補から監査待ちスタッフを選択してもよく、例えば、順位が先立っている１人又は複数人の注釈者候補を監査待ちスタッフとしてよく、次いでサンプリング監査を受ける監査待ちデータの数量の合理性を保証するために、さらに、順位付けの結果に基づき、サンプリング監査比率および各注釈者候補により今回注釈するデータの数量などを設定することで、注釈者候補から監査待ちスタッフを選択してもよい。

【0036】

又は、注釈正確率履歴が所定の正確率値より小さい注釈者候補を監査待ちスタッフとしてもよく、注釈正確率履歴に基づき、注釈者候補に対して昇順で順位付けを行い、そして、順位が先立っている１人又は複数人の注釈者候補を監査待ちスタッフとしてもよく、次いでサンプリング監査を受ける監査待ちデータの数量の合理性を保証するために、さらに、順位付けの結果に基づき、サンプリング監査比率および各注釈者候補により今回注釈するデータの数量などを設定することで、注釈者候補から監査待ちスタッフを選択してもよい。

【0037】

又は、注釈従業期間が所定の期間値より小さく、且つ、注釈正確率履歴が所定の正確率値より小さい注釈者候補を監査待ちスタッフにしてもよく、注釈従業期間および注釈正確率履歴の２次元のデータに基づき、注釈者候補に対して順位付けを行い、そして順位付けの結果に従って、サンプリング監査比率および各注釈者候補により今回注釈するデータの数量などを設定することで、注釈者候補から監査待ちスタッフを選択してもよい。

【0038】

又は、先ず、注釈得意分野に基づき、注釈者候補から第１監査待ちスタッフを選択してもよく、例えば、注釈得意分野が今回注釈するデータの所属分野と異なる注釈者候補を第１監査待ちスタッフとしてよく、そして、注釈従業期間及び／又は注釈正確率履歴に基づき、残りの注釈者候補から第２監査待ちスタッフを選択してもよい。

【0039】

Ｓ２０２において、注釈済みデータセットから監査待ちスタッフによって注釈されたデータを監査待ちデータとして選択する。

【0040】

代替的に、注釈済みデータセットのうちの監査待ちスタッフによって注釈された一部または全部のデータを監査待ちデータとしてもよく、さらに、所定のサンプリング監査比率に従って、注釈済みデータセットから監査待ちスタッフによって注釈されたデータを選択して監査待ちデータとしてもよい。

【0041】

なお、本実施例は、注釈従業期間および注釈正確率履歴などのデータを導入することで、注釈者候補から重点的に注目すべきであるスタッフ、即ち、監査待ちスタッフをポジショニングし、さらに、監査待ちスタッフを橋渡し役として、注釈済みデータセットからリスクデータ、即ち、監査待ちデータをポジショニングし、注釈済みデータセットから監査待ちデータを選択するために構想を提供している。

【0042】

Ｓ２０３において、監査待ちデータに対して品質検査を行う。

【0043】

本願の実施例に係る技術案によれば、注釈従業期間および注釈正確率履歴を導入することで、注釈者候補から重点的に注目すべきであるスタッフ、即ち、監査待ちスタッフをポジショニングし、さらに、監査待ちスタッフを橋渡し役として、注釈済みデータセットから監査待ちデータを選択することができ、注釈済みデータセットから監査待ちデータを選択するために構想を提供するとともに、監査待ちデータに対して品質検査を行うことにより、データ品質を保証しながら、データ品質検査の効率を向上させ、人件費を削減した。

【0044】

図３は、本願の実施例によって提供される更なるデータ処理方法のフロー図である。本願の実施例は、上述した実施例を基礎として、データ注釈情報に基づき、注釈済みデータセットから監査待ちデータを選択する形態を提供している。図３に示すように、当該方法は以下のことを含む。

【0045】

Ｓ３０１において、データ注釈情報における時間帯及び／又は要素数量に基づき、注釈済みデータセットから監査待ちデータを選択する。

【0046】

本実施例において、各々の注釈済みデータに対して、時間帯は、当該注釈済みデータと関連する注釈待ちデータに対して注釈を行う時に位置する時間帯であり、例えば、午前８：００～１０：００であってもよく、要素数量は、当該注釈済みデータのうちの要素の数量、換言すれば、当該注釈済みデータを得ることに使用される要素の数量であり、例えば、障害物識別シナリオにおいて、いずれか１フレームの写真における障害物を枠で注釈してもよく、この場合、注釈されたフレーム写真（即ち、注釈済みデータ）における要素の数量は枠の数量である。

【0047】

代替的に、時間帯に基づき、注釈済みデータセットから監査待ちデータを選択してもよい。例えば、時間帯に基づき、注釈済みデータに対して順位付けを行い、そして、所定のサンプリング監査比率に従って、順位付けの結果に基づき、注釈済みデータセットから監査待ちデータを選択してもよい。例えば、注釈済みデータセットから時間帯が所定の時間帯（例えば、午後１０：００～１２：００、夜明け０：００～５：００）である注釈済みデータを選択して監査待ちデータとしてもよい。

【0048】

又は、要素数量に基づき、注釈済みデータセットから監査待ちデータを選択してもよい。例えば、注釈済みデータセットにおける要素の平均値を確定し、所定のサンプリング監査比率に従って、注釈済みデータセットから要素数量が要素平均値より大きい注釈済みデータを選択して監査待ちデータとしてもよい。

【0049】

又は、時間帯および要素数量に基づき、注釈済みデータセットから監査待ちデータを選択してもよい。例えば、時間帯および要素数量の２次元のデータに基づき、注釈済みデータに対して順位付けを行ってもよく、そして、順位付けの結果および所定のサンプリング監査比率に従って、注釈済みデータセットから監査待ちデータを選択してもよい。具体的に、注釈済みデータセットから時間帯が所定の時間帯であり、且つ、要素数量が要素平均値より大きい注釈済みデータを監査待ちデータとしてもよい。

【0050】

又は、注釈時間数、注釈時間帯および要素数量などに基づき、注釈済みデータセットから監査待ちデータを選択してもよい。

【0051】

又は、注釈者情報およびデータ注釈情報を組み合わせて、注釈済みデータセットから監査待ちデータを選択してもよい。例えば、注釈者情報のうちの注釈正確率履歴、並びにデータ注釈情報のうちの注釈時間数、注釈時間帯および要素数量などに基づき、注釈済みデータセットから監査待ちデータを選択してもよい。

【0052】

Ｓ３０２において、監査待ちデータに対して品質検査を行う。

【0053】

本願の実施例に係る技術案によれば、時間帯および要素数量に基づき、注釈済みデータセットから監査待ちデータを選択することにより、注釈済みデータセットから監査待ちデータを選択するための構想を提供するとともに、監査待ちデータに対して品質検査を行うことにより、データ品質を保証しながら、データ品質検査の効率を向上させ、人件費を削減した。

【0054】

図４は本願の実施例によって提供される更なるデータ処理方法のフロー図である。本願の実施例は、上述した実施例を基礎として、注釈済みデータセットから監査待ちデータを選択する形態をさらに提供する。図４に示すように、当該方法は以下のことを含む。

【0055】

Ｓ４０１において、データ注釈情報および注釈者情報のうちの少なくとも１項に基づき、注釈済みデータセットから第１監査待ちデータを選択する。

【0056】

具体的に、第１所定サンプリング監査比率に従って、データ注釈情報、注釈者情報および注釈過程情報のうちの少なくとも１項に基づき、注釈済みデータセットから一部の注釈済みデータを選択して第１監査待ちデータとしてもよい。

【0057】

Ｓ４０２において、データに対するユーザの注目度に基づき、注釈済みデータセットから第２監査待ちデータを選択する。

【0058】

本実施例において、ユーザは、今回の注釈タスクを提供する一方、換言すれば、今回データ注釈のニーズのある一方であり、データに対するユーザの注目度は、データに対するユーザの選好と呼ばれてもよく、データに対するユーザの注目程度を示すことができるものであり、さらに、データに対するユーザの注目度は、ユーザの注釈ニーズに応じて確定してもよい。例えば、ユーザの注釈ニーズによって番号が２００～３００である写真に注釈エラーが発生しやすいと指摘されると、番号が２００～３００である写真に対するユーザの注目度が他の写真より高いということをさらに確定することができる。

【0059】

代替的に、第２所定サンプリング監査比率に従って、データに対するユーザの注目度に基づき、注釈済みデータセットから第２監査待ちデータを選択してもよい。ここで、第１所定サンプリング監査比率と第２所定サンプリング監査比率とは同じでも異なってもよく、例えば、第１所定サンプリング監査比率が第２所定サンプリング監査比率より大きくてもよい。第２監査待ちデータと第１監査待ちデータとは異なっており、第２監査待ちデータは、注釈済みデータセットのうち、第１監査待ちデータを除いた一部の注釈済みデータであってもよく、第２監査待ちデータは、第１監査待ちデータの必要補充である。

【0060】

具体的に、第２所定サンプリング監査比率に従って、注釈済みデータセットのうちのデータ注目度の高い注釈済みデータを第２監査待ちデータとしてもよい。

【0061】

なお、データ注釈情報および注釈者情報などの多次元のデータを組み合わせて総合的な分析を行うことで、注釈済みデータセットから第１監査待ちデータを選択し、その上で、導入されたデータに対するユーザの注目度に基づき、注釈済みデータセットから第１監査待ちデータと異なっている第２監査待ちデータを選択することは、方案の柔軟性を向上させ、注釈済みデータセットから監査待ちデータを選択するために構想を提供している。

【0062】

Ｓ４０３において、第１監査待ちデータおよび第２監査待ちデータに対して品質検査を行う。

【0063】

本願の実施例に係る技術案によれば、データ注釈情報および注釈者情報などの多次元のデータを組み合わせて総合的な分析を行うことで、注釈済みデータセットから第１監査待ちデータを選択し、その上で、導入されたデータに対するユーザの注目度に基づき、注釈済みデータセットから第１監査待ちデータと異なっている第２監査待ちデータを選択し、第１監査待ちデータおよび第２監査待ちデータに対して品質検査を行うことにより、データ品質を保証しながら、データ品質検査の効率を向上させ、人件費を削減した。

【0064】

図５は本願の実施例によって提供されるまた別のデータ処理方法のフロー図である。本願の実施例は、上述した実施例を基礎として、注釈済みデータセットが得られる過程を追加した。図５に示すように、当該方法は、以下のことを含む。

【0065】

Ｓ５０１において、注釈素材タイプおよび注釈シナリオに基づき、注釈待ちデータセットの注釈ルールを確定する。

【0066】

データ品質を保証するために、注釈段階において自動品質検査ポリシーを導入してもよい。本発明の実施例は、代替的な形態として、注釈段階において、注釈素材タイプおよび注釈シナリオに基づき、注釈待ちデータセットの注釈ルールを確定する。本実施例において、注釈素材のタイプは、音声、写真およびテキストなどを含んでもよいが、これに限定されるものではない。注釈シナリオは、障害物識別シナリオ、目標（車両など）トラッキングシナリオ、人体のキーポイント（人顔など）識別シナリオ、命名のエンティティ識別シナリオを含んでもよい。代替的に、注釈シナリオには、注釈ニーズが含まれてもよく、注釈ニーズは、ユーザによって設置され、例えば、どんなコンテンツを注釈するか、どのようなタイプの要素を使用して注釈を行うか、注釈要素のサイズおよび注釈要素の属性などの注釈待ちデータセットに対して注釈を行う時に従わなければならない要件であってもよい。

【0067】

代替的に、異なる注釈素材タイプに対して、異なる注釈ルールを有してもよく、さらに、同じ注釈素材タイプに対して、異なる注釈シナリオにおいて、異なる注釈ルールを有してもよい。また、同じ注釈シナリオにおいて、異なる注釈ニーズに応じて、異なる注釈ルールを有してもよい。

【0068】

具体的に、注釈シナリオに基づき（具体的に、注釈シナリオにおける注釈ニーズに基づき）、今回の注釈タスクが個人化注釈タスクであるか否かを確定し、そうでなければ、注釈素材タイプおよび注釈シナリオに基づき、汎用ルールのライブラリから当該注釈素材タイプの当該注釈シナリオにおいて汎用される注釈ルールを取得して注釈待ちデータセットの注釈ルールとしてもよく、そうであれば、注釈シナリオおよび注釈素材タイプに基づき、今回の注釈タスクのために注釈ルールをカスタマイズし、カスタマイズされた注釈ルールと今回の注釈タスクを関連付けて、カスタマイズルールライブラリに追加してもよい。ここで、汎用ルールのライブラリに、各注釈素材タイプの各注釈シナリオにおける汎用注釈ルールが含まれてもよい。対応的に、カスタマイズルールのライブラリには、異なるユーザのカスタマイズタイプの注釈ルールが含まれてもよい。

【0069】

Ｓ５０２において、注釈待ちデータセットに対して注釈を行う過程において、注釈ルールに従って、注釈済みデータに対して品質検査を行い、注釈済みデータセットを得る。

【0070】

さらに、注釈待ちデータセットの注釈ルールを確定した後、注釈者により注釈待ちデータセットに対して注釈を行う過程において、注釈ルールに従って、注釈者により注釈済みのデータに対してリアルタイムで自動的に品質検査を行ってもよい。例えば、連続する複数フレームの画像シナリオにおいて、もし注釈ルールが汎用注釈ルールであれば、前フレームの注釈済みデータにおける物体タイプに基づき、現フレームの注釈済みデータに対して品質検査を行ってもよい。

【0071】

具体的に、車両トラッキングシナリオにおいて、汎用注釈ルールには、連続する複数フレームの画像に対して、同じ番号の物体タイプ（車タイプなど）を一致するものに注釈しなければならないということが含まれてもよい。さらに、注釈者により現フレーム画像のうち、前フレーム画像と同じタイプである車が異なる番号に注釈されたということが検知されると、ここに注釈エラーがあるということを注釈者に提示し、その原因などを注釈することを提案してもよい。

【0072】

別の例として、連続する複数フレーム画像シナリオにおいて、もし注釈ルールがカスタマイズされた注釈ルールであれば、現フレームの注釈済みデータにおける物体の、履歴フレームの注釈済みデータにおいての変化状況に基づき、現フレームの注釈済みデータに対して品質検査を行ってもよい。

【0073】

具体的に、車両トラッキングシナリオにおいて、カスタマイズされた注釈ルールには、連続する複数フレームの画像に対して、いずれか１台の車両の複数フレーム（５フレームなど）が消えたら、新しい物体と見なすべき、元の番号と一致するものに注釈してはいけないということが含まれてもよい。従って、第１～５フレームの画像において、いずれか１台の車両に対して、注釈者により番号１５の注釈が追加され、第６～１０フレームの画像において、当該車両が消えた場合、もし現フレーム画像（即ち、第１１フレームの画像）において、注釈者により番号１５の注釈が追加されたということが検知されると、ここに注釈エラーがあるということを注釈者に提示し、その原因などを注釈することを提案してもよい。

【0074】

データ品質を一層保証するために、注釈段階において自動的に品質検査を行うことは、注釈タスクが注釈者より完成し提出された場合、注釈ルールに基づき、注釈者により完成された注釈データに対して自動的に２次品質検査を行ってもよいということをさらに含んでもよい。さらに、２次品質検査を通過したデータが注釈済みデータとなり、そして、注釈済みデータに対してＳ５０３およびＳ５０４の操作を実行する。

【0075】

なお、本実施例は、注釈段階において品質検査過程を自動的に導入することで、データ品質を極めて向上させた。

【0076】

Ｓ５０３において、データ注釈情報および注釈者情報のうちの少なくとも１項に基づき、注釈済みデータセットから監査待ちデータを選択する。

【0077】

Ｓ５０４において、監査待ちデータに対して品質検査を行う。

【0078】

本願の実施例に係る技術案によれば、注釈段階において品質検査過程を自動的に導入することで、データ品質を極めて向上させ、そして、データ注釈情報および注釈者情報などの多次元のデータを組み合わせて総合的な分析を行い、注釈済みデータセットから監査待ちデータを選択し品質検査を行う。従来のデータ品質検査形態に比べて、本願は、データ品質を保証しながら、データ品質検査の効率を向上させ、人件費を削減し、データ品質検査を行うために新しい構想を提供している。

【0079】

図６は本願の実施例によって提供されるまた別のデータ処理方法のフロー図である。本願の実施例は、上述した実施例を基礎として、好ましい例を提供している。図６に示すように、当該方法は以下のことを含む。

【0080】

Ｓ６０１において、注釈待ちデータセットに対してクレンジング処理を行う。

【0081】

Ｓ６０２において、注釈素材タイプおよび注釈シナリオに基づき、クレンジング済みの注釈待ちデータセットの注釈ルールを確定する。

【0082】

Ｓ６０３において、注釈待ちデータセットに対して注釈を行う過程において、注釈ルールに従って、注釈済みデータに対して品質検査を行い、注釈済みデータセットを得る。

【0083】

Ｓ６０４において、データ注釈情報および注釈者情報のうちの少なくとも１項に基づき、注釈済みデータセットから監査待ちデータを選択する。

【0084】

Ｓ６０５において、監査待ちデータに対して品質検査を行う。

【0085】

なお、本実施例において、データの自動クレンジングから、データの注釈段階、監査待ちデータの選択および最終の品質検査に至る全般過程は、実質的に、データ注釈の全プロセスにわたる完全なセットの自動品質検査過程である。さらに、全般過程において３次品質検査に関し、先ず、データの自動クレンジングも、実質的には、品質検査手段であり、次に、データ注釈段階は、注釈ルールに基づき品質検査を自動的に行い、データ品質を極めて向上させ、最終的に、品質検査段階において、手動による品質検査形態と自動による品質検査形態を組み合わせてサンプリングした監査待ちデータに対して品質検査を行うことができる。３つの段階の品質検査を通じて、最終的に産出されるデータ品質を保証することができ、高品質のデータを取得するために、全プロセスにわたる自動品質検査形態を提供している。

【0086】

本願の実施例に係る技術案は、注釈済みデータに対して品質検査を行う必要があるシナリオにおいて、注釈待ちデータセットに対してクレンジング操作を追加することで、危険（又は低品質）データに対して早期に警戒し、補欠収集することができ、データ品質を保証するために基礎を築いてくれたとともに、データ納品の効率を向上させ、注釈段階において品質検査過程を自動的に導入することで、データ品質を極めて向上させ、そして、データ注釈情報および注釈者情報などの多次元のデータを組み合わせて総合的な分析を行い、注釈済みデータセットから監査待ちデータを選択し品質検査を行う。従来のデータ品質検査形態に比べて、本願は、データ品質を保証しながら、データ品質検査の効率を向上させ、人件費を削減し、データ品質検査を行うために新しい構想を提供している。

【0087】

図７は本願の実施例によって提供されるデータ処理装置の構造概略図である。本願の実施例は、データに対してどのように処理を行うかの状況に適用され、特に、データ注釈が必要なシナリオ、例えば、障害物識別シナリオ、目標（車両など）トラッキングシナリオ、人体のキーポイント（人顔など）識別シナリオ、命名のエンティティ識別シナリオなどにおいて、注釈済みデータに対してどのように品質検査を行って、データ品質を保証しながら、データ品質検査の効率を向上させるかの状況に適用される。当該装置は、本願のいずれの実施例に記載のデータ処理方法を実現可能であり、当該装置はデータ処理機能が搭載されている電子デバイスに集積可能である。

【0088】

当該データ処理装置７００は、具体的に、データ注釈情報および注釈者情報のうちの少なくとも１項に基づき、注釈済みデータセットから監査待ちデータを選択することに用いられるデータ選択モジュール７０１と、監査待ちデータに対して品質検査を行うことに用いられる品質検査モジュール７０２と、を備える。

【0089】

本願の実施例に係る技術案は、データ注釈情報および注釈者情報などの多次元のデータを組み合わせることで総合的な分析を行い、注釈済みデータセットから監査待ちデータを選択し品質検査を行う。従来のデータ品質検査形態に比べて、本願は、データ品質を保証しながら、データ品質検査の効率を向上させ、人件費を削減し、データ品質検査を行うための新しい構想を提供している。

【0090】

例示的に、データ選択モジュール７０１は、注釈者情報における注釈従業期間及び／又は注釈正確率履歴に基づき、注釈者候補から監査待ちスタッフを選択することに用いられるスタッフ選択ユニットと、注釈済みデータセットから監査待ちスタッフによって注釈されたデータを監査待ちデータとして選択することに用いられる第１データ選択ユニットと、を備える。

【0091】

例示的に、データ選択モジュール７０１は、データ注釈情報における時間帯及び／又は要素数量に基づき、注釈済みデータセットから監査待ちデータを選択することに用いられる第２データ選択ユニットをさらに備える。

【0092】

例示的に、データ選択モジュール７０１は、データ注釈情報および注釈者情報のうちの少なくとも１項に基づき、注釈済みデータセットから第１監査待ちデータを選択することに用いられる第３データ選択ユニットと、ユーザのデータ注目度に基づき、注釈済みデータセットから第２監査待ちデータを選択することに用いられる第４データ選択ユニットと、をさらに備え、第２監査待ちデータと、第１監査待ちデータとが異なっている。

【0093】

例示的に、上記装置は、注釈待ちデータセットに対してクレンジング処理を行うことに用いられるクレンジングモジュールと、クレンジング済みの注釈待ちデータセットに対して注釈を行い、注釈済みデータセットを得ることに用いられる注釈モジュールと、をさらに備える。

【0094】

例示的に、上記装置は、注釈素材タイプおよび注釈シナリオに基づき、注釈待ちデータセットの注釈ルールを確定することに用いられる注釈ルール確定モジュールと、注釈待ちデータセットに対して注釈を行う過程において、注釈ルールに従って、注釈済みデータに対して品質検査を行うことにさらに用いられる品質検査モジュール７０２と、をさらに備える。

【0095】

例示的に、品質検査モジュール７０２は、具体的に、前フレームの注釈済みデータにおける物体のタイプに基づき、現フレームの注釈済みデータに対して品質検査を行うことと、及び／又は、現フレームの注釈済みデータにおける物体の、履歴フレームの注釈済みデータにおいての変化状況に基づき、現フレームの注釈済みデータに対して品質検査を行うことと、に用いられる。

【0096】

本願の実施例によれば、本願は電子デバイスおよび可読記憶媒体をさらに提供している。

【0097】

図８に示すように、本願の実施例に係るデータ処理方法による電子デバイスのブロック図である。電子デバイスは、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータおよびその他の適切なコンピュータなど、様々な形態のデジタルコンピュータを表すことを意図している。電子デバイスは、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス及びその他の類似的なコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書に記載の構成要素、それらの接続及び関係、ならびにそれらの機能は、単に例示的なものであり、本明細書に記載及び／又は要求される本開示の実現を制限することを意図するものではない。

【0098】

図８に示すように、当該電子デバイスは、１つ又は複数のプロセッサ８０１と、メモリ８０２と、および高速インターフェースと低速インターフェースを含めて各構成要素の接続に用いられるインターフェースと、を備える。各構成要素は、異なるバスにより相互接続され、且つ、共通のマザーボードに設置または必要に応じてその他の形態で設置してもよい。プロセッサは、メモリに記憶される命令またはメモリにおけるインターフェースに結合される表示装置などの外部入力／出力装置にグラフィカルユーザインタフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、ＧＵＩ)のグラフィック情報を表示する命令を含めて電子デバイスで実行される命令に対して処理を行う。別の実施形態において、必要に応じて、複数のプロセッサ及び／又は複数のバスと、複数のメモリとを共に使用してもよい。同様に、例えば、サーバアレイ、ブレードサーバセット、又は多重プロセッサシステムとして、複数の電子デバイスを接続して各デバイスで必要となる一部の操作を提供してもよい。図８は、１つのプロセッサ８０１を例とする。

【0099】

メモリ８０２は、本願に提供される非瞬時性コンピュータ可読記憶媒体である。前記メモリには、本願に提供されるデータ処理方法が少なくとも１つのプロセッサにより実行されるように、前記少なくとも１つのプロセッサにより実行可能な命令が記憶されている。本願の非瞬時性コンピュータ可読記憶媒体には、本願に提供されるデータ処理方法がコンピュータより実行されるためのコンピュータ命令が記憶されている。

【0100】

メモリ８０２は、非瞬時性コンピュータ可読記憶媒体として、非瞬時性ソフトウェアプログラム、非瞬時性コンピュータにより実行可能なプログラムおよびモジュールに適用可能であり、例えば、図７に示すデータ選択モジュール７０１および品質検査モジュール７０２などの本願の実施例においてデータ処理方法に対応するプログラム命令／モジュールに適用可能である。プロセッサ８０１は、メモリ８０２に記憶されている非瞬時性ソフトウェアプログラム、命令およびモジュールを実行することで、サーバの様々な機能応用およびデータ処理を実行し、即ち、上記方法の実施例に係るデータ処理方法を実現する。

【0101】

メモリ８０２は、プログラム記憶エリアおよびデータ記憶エリアを含んでもよいが、ここで、プログラム記憶エリアにはオペレーティングシステム、少なくとも１つの機能に要求されるアプリケーションプログラムが記憶されてもよく、データ記憶エリアには、本発明の実施例に係るデータ処理方法による電子デバイスの使用によって生成されるデータなどが記憶されてもよい。また、メモリ８０２には、高速ランダムアクセスメモリが含まれてもよく、非瞬時性メモリ、例えば、少なくとも１つのディスク記憶装置、フラッシュ記憶装置またはその他の非瞬時性固体記憶装置が含まれてもよい。いくつかの実施例において、メモリ８０２は、代替的に、プロセッサ８０１に対して遠距離で設置されるメモリを含んでもよいが、これらの遠距離メモリは、ネットワークを介して本発明の実施例に係る自動運転のための速度計画方法を実現する電子デバイスに接続してもよい。上記のネットワークの例として、インターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワークとこれらの組み合わせを含んでもよいが、これらに限定されるものではない。

【0102】

データ処理方法による電子デバイスは、入力装置８０３および出力装置８０４をさらに備えてもよい。プロセッサ８０１、メモリ８０２、入力装置８０３および出力装置８０４は、バス又はその他の形態によって接続してもよく、図８では、バスによる接続を例とする。

【0103】

入力装置８０３は、入力されるデータ又は文字符号情報を受信可能、およびデータ処理方法による電子デバイスのユーザ設置および機能控制に関連するキー信号の入力を生成可能であり、例えば、タッチスクリーン、キーパッド、マウス、ポインティングスティック、タッチパッド、ポインティングスティック、１つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置が挙げられる。出力装置８０４には、表示装置、補助照明デバイス、例えば、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、ＬＥＤ）、及び触覚フィードバック装置、例えば、振動モータなどが含まれてもよい。当該表示装置には、液晶（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）ディスプレイ、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、ＬＥＤ）ディスプレイ及びプラズマディスプレイを含んでもよいが、これらに限定されるものではない。いくつかの実施形態において、表示装置はタッチスクリーンであってもよい。

【0104】

本明細書に記載の上記システムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせによって実現可能である。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施されることをふくんでもよく、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行及び／又は解釈可能であり、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置および少なくとも１つの出力装置からデータおよび命令を受信し、データおよび命令を当該記憶システム、当該少なくとも１つの入力装置、および当該少なくとも１つの出力装置に伝送可能である。

【0105】

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとも呼ばれる）には、プログラマブルプロセッサの機械命令が含まれており、高レベルプロセス及び／又はオブジエクト向けのプログラミング言語及び／又はアセンブラ言語／機械言語を通じてこれらのコンピューティングプログラムを実施可能である。本明細書で使用される用語「機械可読媒体」および「コンピュータ可読媒体」とは、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、デバイス、及び／又は装置、例えば、ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ、ＰＬＤ）を指し、機械可読信号となる機械命令を受信する機械可読媒体を含む。用語「機械可読信号」とは、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。

【0106】

ユーザとの相互作用を提供するために、本明細書に記載のシステム及び技術はコンピュータで実施されてもよく、当該コンピュータは、例えば、陰極線管（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、ＣＲＴ）又は液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）モニタなどのユーザに情報を表示するための表示装置と、キーボードと、例えば、マウス又はトラックボールなどのポインティングデバイス（Ｐｏｉｎｔｉｎｇ ｄｅｖｉｃｅ）と、を有しており、ユーザは、当該キーボード及び当該ポインティングデバイスを介してコンピュータに入力を提供してもよい。ユーザとの相互作用を提供するために、その他のタイプの装置を使用してもよく、例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックの任意の形態の感覚フィードバックであってもよく、音声入力又は触覚入力を含む任意の形態で接收来自ユーザからの入力を受信してもよい。

【0107】

本明細書に記載のシステムおよび技術は、バックエンド構成要素を含むコンピューティングシステム（例えば、データサーバとして）、又は、ミドルウェア構成要素を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又は、フロントエンド構成要素を含むコンピューティングシステム（例えば、グラフィックスユーザインターフェース、又は、ネットワークブラウザを有するユーザコンピュータ、ユーザは当該グラフィックスユーザインターフェース又は当該ネットワークブラウザを介して本明細書に記載のシステムおよび技術の実施形態と相互作用してもよい）、又は、これらのバックエンド構成要素、ミドルウェア構成要素、又は、フロントエンド構成要素の任意の組み合わせを含むコンピューティングシステムで実施されてもよい。システムの構成要素は、任意の形態又は媒体によるデジタルデータ通信（例えば、通信ネットワーク）によって相互接続されてもよい。通信ネットワークの例には、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）、ワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮ）、ブロックチェーンネットワーク（Ｂｌｏｃｋｃｈａｉｎ Ｎｅｔｗｏｒｋ）およびインターネットが含まれる。

【0108】

コンピュータシステムは、クライアントおよびサーバを含んでもよい。クライアントとサーバは、普通、互いに遠く離れており、通常、通信ネットワークを介して相互作用を実行する。それぞれのコンピュータで運転され、互いにクライアント‐サーバ関係を有するコンピュータプログラムによってクライアントとサーバの関係を生成する。サーバは、クラウドコンピューティングサーバ又はクラウドホストとも呼ばれるクラウドサーバでもよく、これはクラウドコンピューティングサービスシステムにおける１つのホスト製品として、従来の物理ホストとＶＰＳサービスに存在する、管理の難易度が高く、業務の拡張性が弱いという欠点を解決した。

【0109】

本願の実施例に係る技術案は、データ注釈情報および注釈者情報などの多次元のデータを組み合わせて総合的な分析を行い、注釈済みデータセットから監査待ちデータを選択し品質検査を行う。従来のデータ品質検査形態に比べて、本願はデータ品質を保証しながら、データ品質検査の効率を向上させ、人件費を削減し、データ品質検査を行うために新しい構想を提供している。

【0110】

本願は、人工知能技術分野に適用可能であり、人工知能は、学習、推論、思考、計画などの特定の人間の思考プロセスおよび知的行動をコンピュータにシミュレートさせることを研究する分野として、ハードウェアレベルの技術とソフトウェアレベルの技術の両方に関するものである。人工知能関連ハードウェア技術には、一般的に、センサ、特定用途向け人工知能チップ、クラウドコンピューティング、分散型メモリ、ビッグ データ処理などの技術が含まれる。人工知能関連ソフトウェア技術には、主にコンピュータビジョン技術、音声認識技術、自然言語処理技術、および機械学習／深層学習、ビッグデータ処理技術、ナレッジグラフ技術などのいくつかの大きな方向が含まれる。

【0111】

なお、上記の様々な形態のプロセスを使用して、ステップを並べ替え、追加又は削除できる。例えば、本発明の開示に記載の各ステップは、並行的に実行してもよく、順次的に実行してもよく、異なる順序で実行してもよく、本発明に開示の技術案で要望される結果が達成できる限り、本明細書において、これらに限定されるものではないことを理解すべきである。

【0112】

本発明は、上述した実施するための具体的な形態によって保護範囲が限定されるものではない。当業者なら、設計要件およびその他の要因に従って様々な修正、組み合わせ、下位組み合わせ及び代替を実行できることを認識すべきである。本発明の精神と原則の範囲内で行われるいわゆる修正、同等置換および改良等はすべて本発明の保護範囲に含まれるものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】