特表 2023-505122 クラウドソーシングされたオンデマンドＡＩデータの注釈、収集、処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-02-08

(54)【発明の名称】クラウドソーシングされたオンデマンドＡＩデータの注釈、収集、処理

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20230201BHJP

   G06T 7/00 20170101ALI20230201BHJP

   G06V 10/82 20220101ALI20230201BHJP

   G06V 20/56 20220101ALI20230201BHJP

   H04N 21/44 20110101ALI20230201BHJP

【ＦＩ】

G06Q50/10

G06T7/00 350C

G06V10/82

G06V20/56

G06T7/00 650Z

H04N21/44

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022532569

(86)(22)【出願日】2020-11-27

(85)【翻訳文提出日】2022-07-26

(86)【国際出願番号】 IB2020061226

(87)【国際公開番号】W WO2021105950

(87)【国際公開日】2021-06-03

(31)【優先権主張番号】16/699,408

(32)【優先日】2019-11-29

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】522213524

【氏名又は名称】ラッティー ジャヤント

【氏名又は名称原語表記】ＲＡＴＴＩ Ｊａｙａｎｔ

【住所又は居所原語表記】Ｌ－３ Ｇｒｏｕｎｄ Ｆｌｏｏｒ， Ｓｏｕｔｈ Ｅｘｔｅｎｓｉｏｎ ２， Ｎｅｗ Ｄｅｌｈｉ， Ｉｎｄｉａ

(74)【代理人】

【識別番号】100226861

【弁理士】

【氏名又は名称】池上 廣

(72)【発明者】

【氏名】ラッティー ジャヤント

(72)【発明者】

【氏名】ボーズ アビシェック

(72)【発明者】

【氏名】カシアップ プニート

【テーマコード（参考）】

5C164

5L049

5L096

【Ｆターム（参考）】

5C164SB29S

5C164UA42S

5C164UB01P

5C164UB26S

5C164UB41S

5L049CC11

5L096AA06

5L096BA04

5L096CA02

5L096CA22

5L096CA24

5L096DA02

5L096FA01

5L096HA11

5L096KA04

(57)【要約】

【要約】
本開示の一態様は多数のデータ取得情報源から取得した視覚データにより、交通違反検出、インフラ監視、交通流管理、作物監視などの作業を実行するために連携して働く人間とＡＩベースのシステムを含むネットワークに関する。このシステムはＡＩ機能を持つ電子モバイルデバイスのネットワークを含み、現実社会の事象や関心のある対象物を捉えるための高品質データの取得、ＡＩモデルの再学習、分散型または集中型の処理装置での大量データの処理、さらにＡＩモデルの出力検証のために使用される分散型ネットワークに接続されている。本システムでは、ＡＩトレーニングのためのクラウドソーシングによるＡＩデータラベリングについて、スマートフォンでの多くの注釈技術を述べる。

【選択図】 図１５

【特許請求の範囲】

【請求項1】

以下を含む電子モバイルデバイス:
１つまたは複数のＡＩベースの画像処理または推論を実行する１つまたは複数の手順をその中に具現化した１つまたは複数の記憶デバイスと、
前記１つまたは複数のストレージデバイスに結合され、前記１つまたは複数のモジュールを実行するように動作可能な１つまたは複数のプロセッサであって、前記１つまたは複数のモジュールは、以下を含む、１または複数のプロセッサ；
１つまたは複数のカメラから前記関心のある対象物及び／又は事象の少なくとも事前定義された組み合わせを推論又は識別する、１つまたは複数の画像処理技術を含む取得モジュールと、
前記計算の複雑さ及び前記電子モバイルデバイスの計算限界に基づいて、前記１つまたは複数の画像処理技術を選択する選択モジュールと、
前記所望の対象物及び／又は前記関心のある事象を含むビデオ又は１つまたは複数の一連の画像を格納するデータ記憶モジュールと、
前記１つまたは複数のプロセッサによって実行されるとき、得られた前記対象物の組み合わせ及び／又は前記得られた関心のある事象を１つまたは複数のサーバーに送信する送信モジュール、及び、
前記継続的に更新される対象物及び／又は前記関心のある事象をサーバーから遠隔で電子モバイルデバイス上に受信する受信モジュールであって、
前記電子モバイルデバイス上に具現化された１つ以上の手順は、前記受信し、更新された対象物及び／又事象に基づいて更新される。

【請求項2】

スマートフォン装置、車載カメラ、または少なくともカメラを備えた任意の他のコンピュータである、
前記請求項１に記載の電子モバイルデバイス。

【請求項3】

前記電子モバイルデバイスによって取得されたデータに対する対象物および事象の検出は、画像処理または人工知能または機械学習または深層学習技術を通じて行われることを特徴とする、
前記請求項２に記載の電子モバイルデバイス。

【請求項4】

ネットワーク学習のプロセスを実行する前記１つまたは複数の電子デバイス上の１つまたは複数の人工知能（ＡＩ）アルゴリズム及び／又は機械学習（ML）アルゴリズムは、自動的に学習し、１つまたは複数の電子デバイスから得られた関心のある対象物及び／又は事象の前記組み合わせに基づいて、前記関心のある新しい対象物及び／又は事象の認識を更新するように構成される、
前記請求項３に記載の電子モバイルデバイス。

【請求項5】

対象物及び／又は関心のある事象を取得するための経済的報酬を受け取る、
前記請求項４に記載の電子モバイルデバイスの前記ユーザー。

【請求項6】

１つまたは複数の画像処理アルゴリズム及び／又は人工知能（ＡＩ）アルゴリズム及び／又は機械学習（ML）アルゴリズムを含むネットワークシステムであって、拡張性のあるインフラを含む前記ネットワークシステムは、以下を含む；
１つまたは複数の記憶デバイス、そして、
１つまたは複数の前記記憶デバイスに結合され、前記１つまたは複数のモジュールを実行するように動作可能な１つまたは複数のプロセッサは、
前記モバイルデバイスの前記計算の複雑さおよび計算限界に基づいて、前記１人または複数のユーザーの電子モバイルデバイスを選択する選択モジュールと、
前記所望の対象物及び／又は関心のある事象を有するビデオまたは一連の１つまたは複数の画像を格納するデータ記憶モジュールと、
データパケットを作成し、データポイントをマーキングするための処理モジュールと、前記データパケットおよびマークされたデータポイントは、電子モバイルデバイスのＡＩベースの学習に使用され、
対象物及び／又は前記得られた関心のある事象の注釈及び検証のために、データパケット及びデータポイントをユーザーのネットワークに送信する送信モジュールと、
ユーザーまたは前記ユーザーのネットワークから遠隔の電子モバイルデバイスから注釈が付けられ、検証された対象物又は関心のある事象を受信する受信モジュール。

【請求項7】

前記１つまたは複数の電子モバイルデバイスが前記デバイス自体に対してＡＩ学習または推論を実行し、前記ネットワークシステムの負荷を軽減するために、前記コンピューターの一部をアウトソースまたは分散化できるように構成されたアプリを実行するように構成された、１つまたは複数の電子デバイスを含む分散型ネットワークを有する請求項６に記載のネットワークシステムであって、 これは、データパケット及び／又はデータポイントを処理するために、１つまたは複数のユーザーの電子モバイルデバイスの処理能力を利用するモジュールとであって、
前記計算の複雑さに基づいて前記１人または複数のユーザーの電子モバイルデバイスを選択する送受信モジュールと、
前記処理されたデータパケット及び／又は前記データポイントを、前記複数のユーザーの電子モバイルデバイスの１つから受信する。

【請求項8】

前記分散型ネットワーク内の前記電子機器の１人または複数のユーザーが、前記電子モバイルデバイスによって処理されたデータの量に基づいて経済的報酬を受け取ることを特徴とする請求項７に記載の前記ネットワークシステム。

【請求項9】

請求項６に記載のネットワークシステムであって、視覚的表示を有する電子モバイル装置上で実行するように構成された注釈モジュールをさらに備え、前記注釈モジュールは、
前記ＡＩモデルの学習、再学習、またはデータ検証を目的とした１つまたは複数のデータラベリング技術であって、
前記リモートサーバーから受信した１つまたは複数の対象物及び／又は関心のある事象に注釈を付け、描画し、ラベル付けし、分類することを含む１つまたは複数の操作を実行するための１つまたは複数のツールであって、
前記注釈付け、描画、ラベル付け、及び／又は分類された対象物、領域、及び／又は関心のある事象を、深層学習、再学習、およびその他のＡＩ推論改善操作のためにネットワークシステムに戻す送信機能。

【請求項10】

前記注釈モジュールは、スマートフォンやタブレット上で、またはポインティングデバイス及び／又はタッチスクリーンを備えたディスプレイを有するコンピュータデバイス上で実行される、前記請求項９に記載のネットワークシステム。

【請求項11】

前記注釈モジュールは、前記データに異なるタグを提供するために、１つまたは複数の方法、または１つまたは複数の指示でスワイプジェスチャーによる前記ＡＩによる前記推論の検証を可能にすることができ、前記スワイプジェスチャーは、「正しい」推論を確認するための前記スワイプの１つの指示における１つまたは複数のジェスチャーと、「誤った」推論を確認するための前記スワイプの別の指示におけるジェスチャーを含む、前記請求項９に記載のネットワークシステム。

【請求項12】

前記注釈モジュールは、キーボードまたはキーパッドを使用して英数字などのラベルを直接入力することによって、関心のある対象物にラベル付けするための入力モードを含む、前記請求項９に記載のネットワークシステム。

【請求項13】

前記注釈モジュールは、単一または複数の指のジェスチャーまたはポインティングデバイスを使用して、画像内の対象物または関心のある領域に複数のバウンディングボックスを描画するためのバウンディングボックスモードを含む、前記請求項９に記載のネットワークシステム。

【請求項14】

前記注釈モジュールは、画像内の対象物または関心のある領域を画定するために、ユーザーが複数の辺を有する複数のポリゴン形状を描くことを可能にするポリゴンモードを含む、前記請求項９に記載のネットワークシステム。

【請求項15】

前記注釈モジュールは、道路上の車線および境界、または前記１つまたは複数の対象物及び／又は関心のある事象において、画像上に直線ならびに円弧を描くための線ツールまたは曲線ツールを含む、前記請求項９に記載のネットワークシステム。

【請求項16】

前記注釈モジュールは、前記ユーザーが指またはポインティングデバイスを使用して、画像内の前記１つまたは複数の対象物及び／又は関心のある事象をペイント、陰影または着色することを可能にするペイントツールを含む、前記請求項９に記載のネットワークシステム。

【請求項17】

前記注釈モジュールは、前記ユーザーが画像内のセグメントを正確にマークアウトするために、フリーハンドまたは捕捉カット技術を使い、前記対象物の境界をマークすることによって、接続された対象物、一連の対象物、領域、セクションまたは関心のある事象を快適に画定することを可能にするセグメンテーションツールを含む、前記請求項９に記載のネットワークシステム。

【請求項18】

前記注釈モジュールは、前記対象物の異なる側面図が前記多面体の異なる表面によって表され、前記ユーザーが画像内の関心のある前記対象物の周囲に１つまたは複数の３Ｄ多面体形状を描くことを可能にする３Ｄバウンディングボックスツールを含む、前記請求項９に記載のネットワークシステム。

【請求項19】

前記注釈モジュールは、前記ユーザーがディスプレイ上に示された前記対象物または関心のある事象に最も近い前記ラベリングオプションを選び取れるように、前記小さなアイコンの形態で表示される１つまたは複数のオプションを選択することによって、前記ユーザーが前記対象物にラベルを付けることを可能にする分類モードを含む、前記請求項９に記載のネットワークシステム。

【請求項20】

前記注釈モジュールは、前記サーバー上で実行されているＡＩによる推論の検証を可能にすることができる、前記請求項９に記載のネットワークシステム。

【請求項21】

ユーザーの様々な電子モバイルデバイスから前記注釈および検証を受信し、前記データに対する多数決またはコンセンサスを用いて整合性について決定を行い、より多くのユーザーが同様の注釈または検証を提供することにより、前記データにより高い精度をもたらし、前記データはＡＩ／ＭＬ再学習アルゴリズムに供給され、検証されたデータまたはデータセットの組み合わせは、交通違反などのインシデントまたは事象に関する最終レポートを生成するために一緒に組み立てられる、前記請求項２０に記載のネットワークシステム。

【請求項22】

道路、パイプライン、建物、港湾、橋梁などのインフラを含む画像内の対象物、事象及び関心領域に注釈を付けるための様々な対象物または関心領域を可能にし、対象物、人及び／又は博物館、農地などの都市および農村環境の他の領域及び対象物の関心領域を含み、ユーザーによって視覚的に観察および識別することができることを可能にする、前記請求項１９に記載のネットワークシステム。

【請求項23】

前記ユーザーの電子デバイスの正答、または正確な注釈付け、またはラベリング、または推論のために前記ユーザーまたはユーザーのネットワークに経済的報酬を提供する、前記請求項２２に記載のネットワークシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、その全体が参照により本明細書に組み込まれる以下の同時係属特許出願の利益を主張する、2019年5月19日に出願された出願番号：16/416225「クラウドソーシングオンデマンド人工知能道路管理システム」、これは、2018年3月12日に出願された米国出願番号：15/919033「オンデマンド人工知能および道路管理システム」の連続部分的出願である、 2019年5月21日に発行されたUS10296794B2の特許を取得しており、これは2017年8月29日に出願された「オンデマンド道路管理システム」と題された米国出願番号15/689350の連続部分出願であり、2018年3月13日に発行されたUS9916755の特許を取得し、2016年12月20日に出願された暫定特許出願シリアル番号62/437007からの優先権を主張している。

【0002】

本開示は、人工知能(ＡＩ)及びニューラルネットワークに関する。より具体的には、自律的なクラウドソーシングされたオンデマンドＡＩ搭載管理ネットワークに関する。

【背景技術】

【0003】

背景説明は、本発明を理解する上で有用であろう情報を含む。本明細書に提供される情報のいずれかが先行技術であるか、または現在請求されている発明に関すること、または具体的または暗黙的に参照されている刊行物が先行技術であることを認めるものではない。

【0004】

移動違反とは、車両の移動中に運転者が犯した法律違反のことで、「モーション」という用語は、事務処理違反(自動車保険、登録および検査を含む違反を含む)、駐車違反、または機器違反などの他の自動車違反と区別される。移動違反は保険料を上昇させることが多い。

【0005】

さらに別の先行技術参考文献CN105608318Aは、正則化パラメータ、間隔距離ハイパーパラメータ、アノテーター投票重み、およびアノテーターが対応する推定値として現在の予測項目に注釈付けした回数と、アノテーターが現在の予測項目をサブカテゴリーとして注釈付けした回数との差などのいくつかのパラメータを利用する方法を提供する。特許で請求されているように、これらのパラメータは、良質で信頼性の高いデータがコンセンサスベースのネットワークから出ることを保証するために、多数決よりもはるかに優れている。この特許は、ＡＩモデル評価の観点および製品レベルの配信のためにデータを修正する観点から、パブリックコンセンサスベースのシステムを使用して、ＡＩモデルの出力を補完することについては言及していない。 また、モバイルデバイスで実行できるさまざまな種類の注釈アプローチや、モバイルエッジデバイスでのＡＩの実行についても言及していない。

【0006】

さらに別の先行技術参照CN108898225Aは、人との協同に基づいてラベリング処理する方法を提供する。この発明は、データを注釈付けする役割の専門家を訓練するためのドメイン専門家によってテンプレートデータを生成することについて述べている。この特許に記載されているテンプレートデータまたはゴールドデータは、専門家が作成する注釈データの品質を理解するために必要である。注釈付けデータの信頼性は、良質なデータのみが再学習のために当社のＡＩエンジンに移動することが不可欠であるため、非常に重要である。この特許は、さまざまな方法論を使用してクラウドソーシングデータを改善することについて述べているが、クラウドベースのコンセンサス技術を使用してＡＩモデルの出力を調査し、そのパフォーマンスを評価することについては言及していない。最終製品が常に正しいことを保証するため、ＡＩモデルによって生成された出力を改善するためのクラウドの調査について述べている私たちの特許とは異なり、この特許はクラウドソースの注釈付けデータの信頼性についてより詳しく述べている。

【0007】

米国特許出願US20150359458A1「反復可能で定量的な比色測定を得るためのスマートフォンベースの装置及び方法」は、使用中のスマートフォンプラットフォームに関係なく、一貫した比色測定及び分析法を得るための、スマートフォンベースの収集時診断システム、方法及び構成を記載している。この方法は、生体認証テストの分野にあり、ML/DLモデルの再学習のためのスマートフォンベースの視覚データの注釈の分野ではない。

【0008】

別の先行技術参考文献US7010751B2は、予め定義されてはいるが、拡張可能なリストからの注釈のドラッグアンドドロップを介して、図面、写真、ビデオなどの電子画像へ電子的に注釈付けするためのソフトウェアを提供する。注釈は、ユーザーが選択したX、Yの場所に配置され、検索可能なデータベースに格納される。したがって、所望の電子画像またはそのような画像のコレクションを取得、整理、グループ化、または表示するために、それらを検索することができる。注釈は、テキスト、画像、音声などがある。本発明は、このような作業を達成するための、柔軟で、学習しやすく、迅速で、低誤り率および満足のいくインターフェースを提供する。この特許は、機械学習モデルをトレーニングしたり、クラウドソーシングアプローチを使用して機械学習とＡＩモデルの出力を評価するための、高品質のクラウドソーシングした注釈付けデータの生成に焦点を当てていない画像の注釈について述べている。主なポイントは、情報の索引作業を容易にするための写真や画像の注釈であり、私たちの利権の方法と合致しない。

【0009】

別の先行技術参照RU2562437C2は、注釈付けした情報を返すことができる応答サービスに情報を転送することができるシステム及び方法を提供する。また、情報に注釈を付けて、注釈付きドキュメントを作成することができる。注釈付けしたドキュメントは、他のユーザーに転送できる。さらに、注釈付きドキュメントは情報を生成または取得したユーザーに関連付ける方法で格納することができる。情報を取得し、情報に注釈付けし、注釈付した情報を配布する能力は、ソーシャルネットワークメッセージまたはオンラインフォトアルバムなどのソーシャルメディアデータを生成することを可能にする。この特許は、主に検索への応答の形でデータに注釈付けすることについて述べている。この文献には、ＡＩ / MLモデルのパフォーマンスを測定する注釈付きデータの使用や、ＡＩモデルの再学習のための注釈付きデータの生成については何も述べていない。この特許は、切り離された出来事と見なされている世界規模のウェブ上での複数の連続した検索など、人々がインターネット上で行うさまざまな活動間の結びつきを創造することに焦点を当てている。

【0010】

別の先行技術参照W02018000269A1は、分散型問題解決方法であるクラウドソーシング技術を使用するための技術を提供する。この技術は、知恵と強さを使用して、解決が困難なコンピュータ作業、特にデータラベリング、対象物の認識などを解決する。これは人間にとって非常に簡単であるが、コンピュータの側面では非常に難しい作業である。テキスト、画像分類などの多くの作業は、インターネットから通常のユーザーによって示されたクラウドソーシングプラットフォームを介してインターネットに投稿することができる。通常の ユーザーは、作業を完了し、出版社から提供された経済的な報酬データを取得する。この特許は、ＡＩモデルを再学習するために、モバイルデバイス上のデータに注釈付けすることについては特に言及しておらず、コンセンサスベースのクラウドが確認したネットワークを使用して、ＡＩ / MLモデルの性能を評価することについても言及していない。また、この文献では、データ収集中の端末装置での予備的なＡＩ算出に関連するものには焦点を当てていない。

【0011】

「クラウドソーシングにおける作業分配のためのシステム及び方法」と題された米国特許出願US20160148168A1は、クラウドソーシングの作業を分配するための方法及びシステムを開示する。この方法は、クライアントデバイスからホストデバイスによって、少なくとも１つまたは複数の第１のクラウドソーシング作業にアクセスするための応答確認要求を受信することを含み、クライアントデバイスは散発的なインターネット接続を有する。その後、応答確認要求に応じて、ホストデバイスからクライアントデバイスにメッセージが送信される。このメッセージは、クラウドソーシングプラットフォームサーバーから受信した１つまたは複数の第２のクラウドソーシング作業に関連する少なくとも１つの情報を含む。さらに、１つまたは複数の第１のクラウドソーシング作業は、ホストデバイスからクライアントデバイスに送信される。この送信は、少なくとも、クライアントデバイスから受信された、１つまたは複数の第2のクラウドソーシング作業に関連する１つまたは複数の第2の応答の検証に基づく。この特許は、ＡＩを搭載したモバイルデバイスを分散型ネットワークで接続し、クラウドソーシングとクラウド上での確認技術の力を利用してＡＩモデルの性能を評価することについては言及しておらず。

【0012】

、さらに別の先行技術文献CN104573359Aは、次の2つの現象を含む方法を提供する；（１）比較的高い能力を持つアノテーターによって注釈が付けられた作業のほとんどの結果は、他のアノテーターの結果と同じ、（２）比較的難易度が低く、アノテーターによって注釈が付けられた作業の結果は一貫性が高い。当該方法によれば、タスクの難易度に対する新しい評価方法及びアノテーター能力の評価方法が提供される。クラウドソーシングされたデータの２つの方法に基づく統合方法が作成される。反復モードは、早期解決するために利用される。したがって、アノテーターの能力評価は客観的かつ正確である。さまざまなクラウドソーシング作業の難しさを効果的に評価することができる。一方、この方法は、2値と多値画像を含むが限定されない、画像、テキスト、ビデオ、その他の作業などさまざまなモデルのクラウドソーシングデータに適用できる。この文献では、注釈付きデータを生成するためのクラウドソースラベルの統合について説明し、難しい作業を実行するアノテーターの能力を評価することを検討する。コンセンサスベースネットワークを使用してＡＩモデルの結果を確認することについては何も指定していない。この特許はまた、初期評価と破棄のためにエッジデバイス（データ収集デバイス）上のソースでＡＩを実行することにも焦点を当てていない。

【0013】

したがって、上記からデータ分類をクラウドソーシングし、分散ネットワークが新しい区分を追加する方法、または非常に合理化された新しい区分のニューラルネットワークモデルを作成する方法に関する改良された技術を提供する必要性が存在することは理解され得る。データ注釈の従来の方法には、ニューラルネットワークを学習させるための理想的な一連のデータとして使用できる良質のデータを理解するために、大量のデータコレクションを調べるデータマイニング分野の専門家が含まれる。ニューラルネットワークは、学習中に高い信頼度スコアを与えるための大量のデータを必要とするため、ニューラルネットワークの性能を一貫して維持するために質の高いデータが必要になる。ニューラルネットワークへある点で不良データを供給すると、モデルの精度が妨げられる。

【0014】

先行技術では、ニューラルネットワークの学習、テスト及び再展開の循環全体を自動化する方法に関するいかなる技術的又は提案も提供していない。生産中の特定のモデルの精度を監視し、そして性能を向上させるために新しいモデルに置き換えるのは面倒な作業である。この作業を自動化するには、現在のアクティブな分類子からデータレビュー担当者まで、および再学習、精度テスト、本番への展開のためにニューラルネットワークに戻るというデータの流れを合理化する必要がある。従来の再展開モデルの方法には、データ収集と注釈の作業に関するクラウドソーシングの合意形成は含まれていない。従来の方法は、データ収集とモデルパラメータの監視は、データの専門家に多く依存していた。

【0015】

対象物の検出、分類及びセグメン化等の作業を実行するための機械学習及びＡＩ方法は、必ずしも100パーセント正確ではない。運用環境では、推論のためにシステムに供給されるデータが、完全な出力を提供しない分布に従う特定のケースが発生する場合がある。そのような場合、重要な間違った情報を提供することは決して許されることではない。運用環境では、車両違反情報の生成、道路のくぼみなどのインフラ状況の監視と通知、交通監視、地上管制など、非常に重要であり、さまざまな設定でもっともらしいエラーに直面する可能性がある。したがって、システムから流出するデータに誤りがないことを確認するために、評価ネットワークが存在することが非常に重要である。

【0016】

近代技術時代における人工知能の出現によって、環境内の視覚的な新しいオブジェクトの分類と検出は、特定のニューラルネットワークの学習に利用できるデータ量によってのみ制限されることになる。視覚的データに注釈を付ける手動の方法は、多くの人的資源と時間が必要であった。

【0017】

既存のシステムには確かに何も問題はないが、それにもかかわらず、さらなる注釈が実行される初期結果の設定の基礎となるニューラルネットワークの機能を組み込んだ、効率的で効果的かつ信頼性の高い自律型クラウドソーシングオンデマンドＡＩ搭載の管理ネットワークを提供する必要性が依然として存在する。

【0018】

本明細書の記載において使用され、およびそれに続く特許請求の範囲全体を通して、「a」、「an」および「the」の意味は、文脈が明確に別の指示をしない限り、複数の参照を含む。また、本明細書の記載において使用される場合、「in」の意味は、文脈が明確に別の指示をしない限り、「in」および「on」を含む。

【0019】

実施形態において、書面による説明及び添付の特許請求の範囲に記載された数値パラメータは、特定の実施形態によって得られようとする求めた特性に応じて変化し得る近似値である。実施形態では、数値パラメータは、報告された有効桁数に照らして、通常の丸め技術を適用することによって解釈されるべきである。本発明の実施形態の広い範囲を記載する数値範囲およびパラメータは近似値であるにもかかわらず、具体例に記載される数値は、正確で実行性がある。本発明の実施形態において提示される数値は、それぞれの試験測定値において見出される標準偏差から必然的に生じる信頼できる誤差を含んでもよい。

【0020】

本明細書における値の範囲の詳述は、単に、範囲内に入るそれぞれの別個の値を個々に参照する短縮形方法として役立つことを意図し、本明細書で特に断らない限り、個々の値は、あたかも本明細書に個々に列挙されているかのように本明細書に組み込まれる。本明細書に記載される全ての方法は、本明細書に別段の指示がない限り、または文脈によって明らかに矛盾しない限り、任意の適切な順序で実施することができる。本明細書の特定の実施形態に関して提供される任意およびすべての例、または例示的な言語（例えば 「など」）の使用は、単に本発明をよりよく照らすことを意図しており、そうでなければ請求される本発明の範囲に制限をもたらさない。本明細書中のいかなる文言も、本発明の実施に不可欠な任意の非クレーム要素を示すものと解釈されるべきではない。

【0021】

本明細書に開示される本発明の他の要素又は実施形態の組分けは、限定的に解釈されるべきではない。各グループメンバーは個々に、または本明細書で見出されるグループの他のメンバーまたは他の要素と任意の組み合わせで参照および請求することができる。グループの１つまたは複数のメンバーは、利便性および/または特許性の理由から、グループに含めるか、グループから削除することができる。そのような包含または削除のいずれかが生じた場合、本明細書では、添付の特許請求の範囲で使用されるすべてのグループの記述を満たすことから、変更されたグループを含むものとみなされる。

【発明の目的】

【0022】

本明細書の少なくとも１つの実施形態が満足する本開示のいくつかの目的は、本明細書で以下に列挙される通りである。

【0023】

本開示の一般的な目的は、さらなる注釈が実行されることに基づく結果の初期設定の基礎となるニューラルネットワークの能力を組み込んだ、交通違反を回避するための人工知能ベースのシステム及び方法を提供することである。

【0024】

本開示の別の目的は、ネットワーク端末またはモバイル装置自体が物体を検出するためのＡＩベースのシステムを提供することである。モバイルデバイスで計算された結果の初期設定は、高品質の出力を保証するためにさらに処理するために送信される。

【0025】

本開示の別の目的は、道路上の車両の向き、位置、動き、そして道路上の標識にも基づいて交通違反を検出するための人工知能ベースのシステムを提供することである。生成された出力は、正確で検証された出力が確実に出力するよう、人間ベースのコンセンサスネットワークを通過する。

【0026】

本開示の別の目的は、車両の向き及び交通の流れの方向に基づいて特定の空き駐車帯に違法に駐車された車両を検出するための人工知能ベースのシステムを提供することである。

【0027】

本開示の他の目的は、映像又は一連の画像の異なるフレームにおける前記対象物の位置と、前記データ収集装置を設置した車両の相対速度から、対象物検出信号を利用して前記対象物の速度を算出する人工知能ベースのシステムを提供することである。

【0028】

本開示の別の目的は、ＡＩ性能を評価し、新しいデータを生成し、さらにＡＩシステムが出力するあらゆる誤ったデータを修正するために機能する、人間のコンセンサスベースに基づく検証モデルを提供することである。

【0029】

本開示の別の目的は、全てのＡＩモデルの性能を評価する人間のコンセンサスベースに基づく検証モデルを提供することである。人間的なコンセンサスベースに基づく検証は、完璧でエラーのない出力を生成するために機能する。ＡＩモデルは、対象物検出、画像分類、画像セグメント化を含む様々なタイプのものである。

【0030】

本開示の別の目的は、インフラ監視のためのＡＩ及び人間的な検証システムを提供することである。インフラの監視には、道路のくぼみ、壊れた橋などが含まれる。

【0031】

本開示の別の目的は、交通管理のためのＡＩおよび人間的な検証システムを提供することである。リアルタイムの交通警報は、適切な視覚ベースの方法を使用して生成することができる。

【0032】

本開示の別の目的は、商業及び家庭の両環境におけるセキュリティ監視のためのＡＩ及び人間的な検証システムを提供することである。

【0033】

本開示の別の目的は、農場及び作物モニタリングのためのＡＩ及び人間的な検証システムを提供することにある。このような場面におけるデータ収集デバイスは、ドローンである場合がある。

【0034】

本開示の別の目的は、ＡＩモデルを学習させるための分散ネットワークを提供することである。モバイルデバイスを持っている人は、自分の携帯電話と演算機能を使用してＡＩモデルを訓練し、その見返りとして報酬を得ることができるようになる。

【0035】

本開示の別の目的は、ユーザーは関心のある対象物又は事象を取得し、それらに正しく注釈を付け、検証することによって報酬を受けることになる。

【発明の概要】

【発明が解決しようとする課題】

【0036】

この要約は、詳細な説明において以下でさらに説明するために、概念の一部を簡略化した形で紹介するために提供される。この要約は、請求される主題の重要な特徴または必須の特徴を特定することを意図しておらず、請求される主題の範囲を限定するために使用することを意図していない。

【0037】

本発明の目的は、上記の問題を克服し、顧客の期待に応えるために、さらなる注釈が実行されることに基づく結果の初期設定の基礎となる、ニューラルネットワークの能力を組み込んだ効率的で効果的かつ信頼性の高い自律的なクラウドソーシングオンデマンドＡＩ搭載管理ネットワークにある。

【0038】

本開示は、人工知能(ＡＩ)及びニューラルネットワークに関する。より具体的には、自律的なクラウドソーシングされたオンデマンドＡＩ搭載管理ネットワークに関連している。

【0039】

本開示の一態様は、人工知能(ＡＩ)に関する。特に、本開示は、交通違反を回避するための人工知能ベースのシステム及び方法に関係する。

【0040】

本開示の一態様は、1つまたは複数の人工知能(ＡＩ)アルゴリズム及び/又は機械学習(ML)アルゴリズムで構成された電子デバイスに関する。システムは、非一時的な記憶装置に結合され、1つまたは複数のモジュールを実行するように動作可能な1つまたは複数のプロセッサを含む。

【0041】

前記の1つまたは複数の手順は、取得モジュールを含み、これは、前記1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のＡＩおよび/またはMLアルゴリズムに基づいて、1つまたは複数の視覚センシングシステムから少なくとも関心のある対象物または事象の組み合わせを取得し、前記対象物または関心のある事象の組み合わせは、少なくとも1つまたは複数の識別可能な対象物の画像を含み、 送信モジュールは、１つまたは複数のプロセッサによって実行されると、対象物または取得された事象の得られた組み合わせを1つまたは複数のサーバーに通過させる。

【0042】

一態様は、１つまたは複数の画像処理アルゴリズムまたは人工知能(ＡＩ)アルゴリズムおよび/または機械学習(ML)アルゴリズムで構成された電子モバイルデバイスと、その中に1つまたは複数の手順を具体化した非一時記憶装置で、前記非一時的記憶装置に結合され、前記1つ以上のモジュールを実行するために動作可能な１つまたは複数のプロセッサを含み、ここで、前記1つまたは複数のモジュールは、１つまたは複数の画像処理技術を含み、１つまたは複数の画像センシングシステムから関心のある対象物または事象の少なくとも事前に定義された組み合わせを推論または識別するキャプチャモジュールと、所望の対象物、関心のある事象を有するビデオまたは一連の１つまたは複数の画像を記憶するデータ記憶モジュールと、1つまたは複数のプロセッサによって実行されると、得られた対象物の組み合わせまたは関心のある事象を1つまたは複数のサーバーに送信する送信モジュールと、電子モバイルデバイス上で継続的に更新されたオブジェクトまたは関心のある事象をサーバーからリモートで受信する受信モジュールとを備える。

【0043】

一態様では、１つまたは複数のサーバーが、少なくとも１つの出力を生成するために、対象物または取得された事象から得られた組み合わせを処理するよう構成される。

【0044】

一態様では、１つまたは複数のＡＩアルゴリズム及び/又はMLアルゴリズムが、自動的に学習し、対象物又は関心のある事象の前記組み合わせに基づいて更新するよう構成される。

【0045】

1つまたは複数の人工知能(ＡＩ)アルゴリズム及び/又は機械学習(ML)アルゴリズムで構成されたサーバシステムであって、前記サーバシステムは、拡張性のある機能を含み、これは、１つまたは複数の手順をその中に具現化した非一時記憶装置を含み、前記非一時的記憶装置に結合され、前記１つまたは複数のモジュールを実行するように動作可能な1つまたは複数のプロセッサを含み、前記１つ以上のモジュールは、所望の対象物、生データまたは検証されたデータの形式で関心のある事象を有するビデオまたは一連の1つまたは複数の画像を格納するデータ記憶モジュールを含み、より小さなパケットに処理し、データポイントにマーキングする送信モジュールにより生データとして格納されるデータパケットの着信ストリームを分解するための処理モジュールであり、送信モジュールは、１つまたは複数のプロセッサによって実行されると、１つまたは複数のサーバーから対象物または取得された関心のある事象の検証のために、より小さなデータパケットをユーザーのネットワークに送信すると、受信モジュールは、ユーザーまたはユーザーのネットワークからリモートで電子モバイルデバイスから関心のある検証された対象物または事象を受信し、データ記憶モジュールに格納する。

【0046】

一態様では、１つまたは複数のサーバーは、対象物の得られた組み合わせまたは関心のある得られた事象に対して一連のＡＩベースの推論を実行するように構成され、データポイントに分類される。

【0047】

一態様では、データポイントは、さらなる検証のために、１つまたは複数のユーザーに提供される。検証は、合意形成に基づいたモデルユーザーの人間の判断で、正しさを保証するために、ＡＩの出力に協力される。

【0048】

一態様では、処理の正確な結果は、１人または複数のユーザーからの合意に基づいて決定される。

【0049】

一態様では、処理の正確な結果は、１人または複数のユーザーからの多数決に基づいて決定される。

【0050】

一態様では、１人または複数のユーザーが様々なＡＩモデルからデータポイントを受け取り、１人または複数のユーザーがデータポイントを処理する。

【0051】

一態様では、１人または複数のユーザーは、分類及び手動注釈技術によってデータポイントを処理する。

【0052】

視覚ディスプレイを有する電子モバイル装置で実行するように構成された注釈モジュールは、ＡＩモデルの学習、または再学習を目的として、遠隔サーバーから受信した１つまたは複数の対象物または関心のある事象に注釈を付け、描画し、ラベル付けし、または分類するための１つまたは複数のツールを含み、注釈を付け、描画し、ラベル付けし、分類された対象物や関心のある領域または事象を、ディープラーニング、再学習、およびその他のＡＩ推論改善作業のためにＡＩ学習またはトレーニングサーバーに戻す送信機を含む。

【0053】

一態様では、１つまたは複数のＡＩアルゴリズム及び／又はMLアルゴリズムは、学習データのプールに注ぎ込まれるより多くの新しいデータで１つまたは複数のＡＩアルゴリズム及び／又はMLアルゴリズムを再学習することによって、手動注釈に基づいて学習し進化するよう構成される。

【0054】

一態様では、手動注釈技術は、レーン、様々な対象物の2D境界多角形、選択画像、番号入力、道路セグメント化、および検出される対象物の様々な側面の3D多面体形状のいずれかまたは組み合わせから選択される。

【0055】

一態様では、データポイントは、さらなる処理のために１つまたは複数の分散サーバーに提供される。この分散型ネットワークには、携帯電話、タブレット、ＡＩモデルの学習に必要な操作を実行できる他のネットワーク端末などのいくつかのコンピュータの節点が含まれる。

【0056】

一態様では、分散型コンピュータネットワークは、中央サーバーからの負荷を取り除き、中央サーバーを維持するコストを削減する。

【0057】

本開示の別の一態様は、１つの深いニューラルネットワークを用いて画像及びビデオ中の対象物を検出する方法に関する。この方法は、１つまたは複数のＡＩおよび/またはMLアルゴリズムに基づいて、１つまたは複数の視覚センシングシステムから少なくとも関心のある対象物または事象の組み合わせを取得するステップを含むことができ、ここで、前記関心のある対象物または事象の組み合わせは、１つまたは複数の識別可能な対象物を有する少なくとも１つの画像を含み、取得した対象物の組み合わせ、または取得した関心のある事象を １つまたは複数のサーバーに送信する。

【0058】

一態様では、１つまたは複数のサーバーは、対象物の得られた組み合わせ、または得られた事象に対して一連のＡＩベースの推論を実行するように構成され、そして、データポイントに分類され、データポイントは、さらなる処理のために１つまたは複数のユーザーに提供される。

【0059】

一態様では、処理の正確な結果は、１人または複数のユーザーからの合意又は多数決に基づいて決定される。

【0060】

一態様では、１人または複数のユーザーは、分類及び手動注釈技術によってデータポイントを処理する。

【0061】

一態様では、１人または複数のＡＩアルゴリズムおよび/またはMLアルゴリズムは、学習データのプールに注がれているより多くの新しいデータで１人または複数のＡＩアルゴリズムおよび/またはMLアルゴリズムを再訓練することによって、手動注釈に基づいて学習および進化するように構成される。

【0062】

一態様では、異なるソースから取得され、ＡＩを用いて処理され、人間的なコンセンサスネットワークを用いて検証されたデータポイントを、マップを生成するために累積的に使用することができる。これらのマップには、交通違反、インフラの状態などのシステムの出力が表示される。

【0063】

本開示の様々な目的、特徴、態様及び利点は、好ましい実施形態の以下の詳細な説明から、同様の数字が同様の特徴を表す添付の図面図と共に、より明らかになる。

【図面の簡単な説明】

【0064】

添付の図面は、本開示のさらなる理解を提供するために含まれ、本明細書に組み込まれ、本明細書の一部を構成する。図面は、本開示の例示的な実施形態を示し、説明とともに本開示の原理を説明するのに役立つ。

【0065】

図において、類似の要件及び/又は特徴は、同じ参照ラベルを有し得る。さらに、同種の要件は、類似の要素を区別する第2のラベルで参照ラベルに続くことによって区別することができる。第１の参照ラベルのみが明細書で使用される場合、 説明は、第2の参照ラベルに関係なく、同じ第1の参照ラベルを有する類似の要素のいずれか1つに適用可能である。

【0066】

図は例示のみのためであり、したがって本開示の限定ではなく、また、ここで、

【0067】

【図1】は、本開示の実施形態に従って、ビデオデータが異なるビデオソースから連続的に流れる様子を示す。

【0068】

【図2】は、本開示の実施形態に従って、複数のサーバーに分散されたＡＩエンジンによってビデオがどのように処理されるかを示す。

【0069】

【図3】は、本開示の実施形態に従って、コンセンサス及びキャンバスアプリから処理及び取り出される間、データがどのように管理され、異なるフォルダに格納されるかを示す。

【0070】

【図4】は、本開示の実施形態に従って、継続的なクラウドソーシング注釈プロセスを監視するため、人によって使用される管理アプリとして知られる中央アプリを示す。

【0071】

【図5】は、本開示の実施形態に従って、サーバー上で分類されるデータセットを示す。

【0072】

【図6】は、本開示の実施形態に従って、特定のデータセットがコンセンサス及びキャンバスアプリを通して、そしてどのモードを通じて伝播するかを決定するワークフローを示す。

【0073】

【図7】及び

【図7A】は、本開示の実施形態に従って、画像を入力/注釈付けする機能を提供するスワイピングモードを示す。

【0074】

【図8】は、本開示の実施形態に従って、画像を入力/注釈付けする機能を提供するインプットモードを示す。

【0075】

【図9】は、本開示の実施形態に従って、画像を分類する機能を提供するクラッシファイモードを示す。

【0076】

【図10】は、本開示の実施形態による、画像を切り取るための機能を提供するCROPモードを示す。

【0077】

【図11】は、本開示の実施形態に従って、不規則な辺を有する多角形を描画するために使用されるポリゴンモードを示す。

【0078】

【図12】は、本開示の実施形態に従って、線又は曲線によって表すことができる物体に注釈を付けるために使用されるラインモードを示す。

【0079】

【図13】は、本開示の実施形態に従って、すべての画像がキャンバスアプリにプッシュされることを含むサーバーを示す。

【0080】

【図14】は、本開示の実施形態によるキャンバスアプリの3D境界ボックスを示す。

【0081】

【図15】は、本開示の実施形態による分散型検証ネットワークのアーキテクチャを示す。

【0082】

【図16】は、本開示の実施形態によるキャンバスアプリのペイントツールを示す。

【0083】

【図17】は、本開示の実施形態による、キャンバスアプリのペイントツールのセグメントモードを示す。

【0084】

【図18】は、本開示の実施形態による分散型ネットワークの様々な構成要素を示す。

【0085】

【図19】は、本開示の実施形態による、画像処理技術及びインフラ計画の重要性を利用してユーザーの電話にから取得される様々な事象を示す。

【0086】

【図20】は、本開示の実施形態による、道路の事象の同時取得を示す。

【発明を実施するための形態】

【0087】

本明細書の全ての刊行物は、各個々の刊行物又は特許出願が参考文献により組み込まれることが具体的かつ個々に示された場合と同程度に参考文献により組み込まれる。組み込まれた参考文献における用語の定義または使用が、本明細書に提供されるその用語の定義と矛盾または相反する場合、本明細書に提供されるその用語の定義が適用され、参考文献におけるその用語の定義は適用されない。

【0088】

本明細書の記載およびそれに続く特許請求の範囲全体を通して使用されるように、「a」、「an」および「the」の意味は、文脈上明確に別段の指示をしない限り、複数個の参照を含む。また、本明細書の記載において使用される場合、「in」の意味は、文脈上明確に別段の指示がない限り、「in」および「on」を含む。

【0089】

以下は、添付の図面に描かれた本開示の実施形態の詳細な説明である。実施形態は、開示内容を明確に伝える詳細である。しかしながら、提供される詳細の量は、予想される実施形態の変化を制限することを意図するものではない。むしろ、その意図は、添付の特許請求の範囲によって定義される本開示の精神および範囲内に入るすべての変更、等価物、および選択肢を網羅する。

【0090】

添付の特許請求の範囲の各々は、別個の発明を定義し、これは、侵害目的のために、特許請求の範囲において指定された様々な要素又は制限に対する等価物を含むものとして認識される。文脈に応じて、「発明」に対する以下の全ての参照は、場合によっては特定の実施形態のみを参照し得る。他の場合において、「発明」の参照は、特許請求の範囲の1つまたは複数の列挙された主題を指すことが認識されるだろうが、必ずしも全てではない。

【0091】

本明細書に記載の全ての方法は、本明細書に別段の指示がない限り、又は文脈によって明らかに矛盾しない限り、任意の適切な順序で実行することができる。本明細書の特定の実施形態に関して提供される任意およびすべての例、または例示的な言語（例えば「など」）の使用は、単に本発明をよりよく照らすことを意図しており、そうでなければ請求される本発明の範囲に制限をもたらさない。明細書中のいかなる文言も、本発明の実施に不可欠な任意の非請求項の要素を示すものと解釈されるべきではない。

【0092】

様々な用語が本明細書で使用される。請求項に使用される用語が以下に定義されていない限り、出願時に印刷された刊行物および発行済み特許に反映されているように、関連する技術分野の人がその用語に与えた最も広い定義が与えられるべきである。

【0093】

以下の説明では、多数の詳細が記載されている。しかしながら、当事者には、本発明がこれらの特定の詳細なしに実施され得ることは明らかであろう。他の例では、周知の構造およびデバイスは、本発明を不明瞭にすることを避けるために、詳細よりむしろブロック図の形態で示される。

【0094】

本明細書全体を通して「１つの実施形態」又は「一実施形態」への言及は、実施形態に関連して記載される特定の特徴、構造、又は特性が、本発明の少なくとも一つの実施形態に含まれることを意味する。したがって、本明細書全体を通して様々な箇所における「１つの実施形態において」または「一実施形態において」という語句の出現は、必ずしも全てが同じ実施形態を指しているわけではない。さらに、特定の特徴、構造、または特性は、1つまたは複数の実施形態において任意の適切な様式で組み合わされる。

【0095】

以下の弁論を通して、サーバー、サービス、インターフェース、エンジン、モジュール、クライアント、ピア、ポータル、プラットフォーム、又はコンピュータデバイスから形成される他のシステムに関して、多数の参照がなされるであろう。このような用語の使用は、コンピュータが読み取り可能な有形の非一過性の媒体（例えば、ハードドライブ、SSD、RAM、フラッシュ、ROMなど）に格納されたソフトウェアの命令を実行するように構成された少なくとも一つのプロセッサ（例えば、ASIC、FPGA、DSP、x86、ARM、ColdFire、GPU、マルチコア・プロセッサなど）を有する一つまたは複数のコンピュータデバイスを表すものと見なされることは理解できるはずである。例えば、サーバーは、Webサーバー、データベースサーバー、または他のタイプのコンピューターサーバーとして動作し、説明した役割、責任、または機能を果たす1つまたは複数のコンピューターを含むことができる。開示されたコンピュータベースのアルゴリズム、プロセス、方法、または他のタイプの指令は、非一時的で有形のコンピュータで読み取り可能な媒体を含むコンピュータプログラム製品として具現化することができ、プロセッサに開示されたステップを実行させる命令を格納することをさらに理解できはずである。様々なサーバー、システム、データベース、またはインターフェースは、おそらくHTTP、HTTPS、AES、官民鍵交換、ウェブサービスAPI、既知の金融取引プロトコル、または他の電子情報交換方法に基づいて、標準化されたプロトコルまたはアルゴリズムを使用してデータを交換することができる。データ交換は、パケット交換網、回線交換網、インターネット、LAN、WAN、VPN、または他のタイプのネットワークを介して行うことができる。

【0096】

データ伝送又はデータ通信は、ポイントツーポイント又はポイントツーマルチポイント通信チャネルを介したデータの転送である。このようなチャネルの例は、銅線、光ファイバ、無線通信チャネル、記憶媒体およびコンピューターバスである。データは、電圧、電波、マイクロ波、赤外線信号などの電磁信号として表される」。

【0097】

ＡＩ及び人間的なコンセンサスに基づく検証ネットワークは、インタラクティブ表示装置を有する任意のデバイスが、アプリを使用して容易にそれに接続し、検証作業から開始することを可能にするような方法で設計されている。中央サーバーは、ＡＩシステムによって切り替えられたすべてのデータをホストし、ネットワークに接続された個々のデバイスに送信される。

【0098】

プロセッサの文脈における「構成される」及び「プログラムされた」という用語は、機能又は機能のセットを実行するために、一連のソフトウェア命令によってプログラムされることを指す。

【0099】

以下の弁論は、多くの実施形態の例を提供する。各実施形態は要件の単一の組み合わせを表すが、本開示は、開示された要件の組み合わせを意図する。したがって、例えば、1つの実施形態が成分A、B、およびCを含み、第2の実施形態が成分BおよびDを含む場合、A、B、C、またはDの他の残りの組み合わせは、明確に開示されていなくても、本開示に含まれる。

【0100】

本開示の実施形態は、非能率的かつ違法な駐車という重大かつ一般的な問題に対する技術的解決策を提供する。

【0101】

モデルの再展開の従来方法には、データ収集および注釈の作業に関するクラウドソーシングされたコンセンサスが含まれない。従来の方法では、データ収集とモデルパラメータの監視はデータ専門者に大きく依存していた。モデム技術時代の人工知能の出現により、環境内の新しい対象物を視覚的に分類および検出することは、特定のニューラルネットワークの学習に使用できるデータの量によってのみ制限される。視覚データに注釈を付ける手動の方法は、多くの人的資源と時間を必要とした。

【0102】

本発明は、さらなる注釈が実行される結果の最初の基礎となるニューラルネットワークの能力を組み込もうとするものである。

【0103】

本発明は、 ２つの要素を含む。

【0104】

構成要素 １：新しい対象物の検出器/分類子を最初から作成し、依存しないソースからのデータを使用して学習し、クラウドソーシングされたデータ注釈および性能評価アプローチを使用して実運用に展開する。

【0105】

ＡＩシステムが、検出又は分類パイプラインにおいて、新しい対象物を容易に保存するのに十分なほど堅牢であることが不可欠である。手動で行うには、最初に多くのデータを収集し、高い精度を得るために検出または注釈を付ける分類に従ってラベルを付ける必要がある。大規模なデータセットを手動で収集して、構築するために必要な人間の労力を減らすために、このモジュールでは作業を小さな要件に分割し、実現可能性と展開を容易にしている。

【0106】

最初のステップは、画像内のオブジェクトを適切な信頼度スコアで識別するための初期モデルを作成するために使用する理想的なセットを定義することに関する。ただし、このステップでは、非常に高い信頼度スコアは目指さない。

【0107】

初期データセットが準備されたら、ニューラルネットワークの構成を最初から学習させる。このモデルを取得し、学習した対象物をターゲットとする新しくセットした画像に対して推論を実行する。一定のしきい値以上の信頼度を持つすべての画像は、コンセンサスアプリと呼ばれるモバイルアプリに送信される。他の画像は、低い信頼度で破棄され、出力が著しく誤っている可能性があることを示している。このアプリは、左右のスワイプ操作で、特定の発言を主張したり、否定したりするインターフェースを持つ。このアプリは、2人以上のユーザーに作業させ、データの品質を選択するための指標として多数決を取ることで、初期モデルの精度を簡単に計算するために使用される。

【0108】

正とマークされた全てのデータは、良好なデータとみなされ、現在のモデルの精度を計算するためにも使用される。すべての誤のデータは、キャンバス アプリと呼ばれる別のモバイル アプリケーションに自動的に移動する。

【0109】

キャンバスアプリケーションは、電話機自体に複数のタイプの注釈を生成するために使用される。さまざまな注釈タイプは、入力タイプ (対象物を表示して特定のクラスに入力するために使用)、クロップタイプ (大きなフレーム内の関心のある対象物に外接枠を描画するために使用)、分類タイプ (マルチラベル分類に使用) 。

【0110】

データがキャンバスアプリ内に入ると、ユーザーは、上記のいずれかの入力タイプを使用して、データにラベル付けすることを選択できる。多数決スキームは、キャンバス アプリのすべての型に存在する。これにより、モデルの再学習に使用されるデータに、誤ってラベル付けされたデータ ポイントがないことが保証される。

【0111】

コンセンサスアプリとキャンバスアプリの両方から収集されたデータは、新たに学習されたモデルにフィードバックされ、再学習が開始される。データは、モデルのオンライン検証精度を計算するために、学習と検証のセットに分割される。すべてのチェックポイント重みファイルは、設定された再学習済みモデルを容易に追跡できる日付タイムスタンプを使用して保存される。

【0112】

ライブ検証精度が以前に計算された精度よりも高く、精度が特定のしきい値を超える場合、再学習されたモデルは、実稼働使用のために展開される。そうでない場合、そのモデルはコンセンサスとキャンバスのために上記のステップを繰り返すために使用される。

【0113】

要件２：特定のクラスについて既に展開されたML/ニューラルネットワークモデルの性能を改善する。

【0114】

要件２は、データ配信および再学習のための人間からの干渉を最小限に抑えながら、自動化された方法で既に展開されたＡＩモデルを再学習することに関する。

【0115】

要件１と同様に、既に存在するモデルは新しいデータでテストされる。85%以上の信頼度を持つすべての画像は、コンセンサスアプリと呼ばれるモバイルアプリに送信される。このアプリは、左右のスワイプ操作で、特定の発言を主張したり、否定したりするインターフェースを持つ。このアプリは、3人以上のユーザーにアプリで作業させ、データの品質を選択するための指標として多数決を取ることによって、初期モデルの精度を簡単に計算するために使用される。

【0116】

正としてマークされた全てのデータは、良好なデータとみなされ、現在のモデルの精度を計算するためにも使用される。すべての誤のデータは、キャンバス アプリと呼ばれる別のモバイル アプリケーションに自動的に移動する。

【0117】

データがキャンバスアプリ内に入ると、ユーザーは、上記の入力タイプのいずれかを使用して、データにラベルを付けることを選択できる。多数決スキームは、キャンバス アプリのすべての型に存在する。これにより、モデルの再学習に使用されるデータに、誤ってラベル付けされたデータ ポイントがないことが保証される。

【0118】

コンセンサスアプリとキャンバスアプリの両方から収集されたデータは、新たに学習されたモデルにフィードバックされ、再学習が開始される。データは、モデルのオンライン検証精度を計算するために、学習と検証のセットに分割される。すべてのチェックポイント重みファイルは、設定された再学習済みモデルを容易に追跡できる日付タイムスタンプを使用して保存される。

【0119】

ライブ検証精度が以前に計算された精度よりも高く、精度が特定のしきい値を超える場合、再学習されたモデルは、実稼働使用のために展開される。そうでない場合、そのモデルはコンセンサスとキャンバスのために上記のステップを繰り返すために使用される。

【0120】

データ検証及び注釈からなるこれらすべての動作は、モバイル上で実行される。携帯電話は低コンピュータデバイスであり、ほぼ全ての現代人がそれを備えているため、携帯電話を持っている人々へデータを分配することが実現可能になる。このデータの分配により、コンセンサスメカニズムが存在し、データの検証と注釈付けが容易になる。アンドロイド（登録商標）アプリケーションは、ＡＩシステムがそれを訓練し、自動的に展開できるように、サーバーから取得されてサーバーに送り返されるデータのプロセス全体を監視するためにも使用される。

【0121】

図１は、本開示の実施形態に従って、ビデオデータが異なるビデオソースから連続的に流れている様子を示す。図１に示すように、映像データは、エッジデバイス（携帯電話、カメラソース１）(1)、CCTVカメラ（カメラソース２）(1)、ドローンカム（カメラソース）(1)、車載カメラ（カメラソース４）(l)など、異なる映像ソースから連続的に流れている。ビデオデータは、カメラソースからデータに対して前処理を実行するコーディネータシステムに移動する。コーディネータシステムには、入ってくるビデオデータがメインサーバによるさらなる処理のために前方に移動されるために、コンテンツに関する特定の要件を満たしていることを確認するプログラムが存在する。コーディネーターがビデオの品質に満足すると、異なるサーバーで実行されているさまざまなＡＩエンジンに転送される。これらの ＡＩ エンジンは、ビデオに対して複数の操作を実行する。ＡＩ エンジンによって生成された出力データはパッケージ化され、警察、交通部門、自治体、その他のデータ アグリゲーターなどの関係する組織に転送される。その後、組織はこのデータを使用して、それぞれのドメインでさらに分析する。

【0122】

図２は、本開示の実施形態に従って、複数のサーバーにまたがって分散されたＡＩエンジンによってビデオがどのように処理されるかを示す。図２に示すように、異なるカメラソースによって取得されたビデオデータは、複数のオブジェクトを含むことができる。このデータを並列に処理するために、ビデオは最初に構成フレームに分割され、次に車両検出、車線検出、歩行者検出などの操作を実行するこれらの異なるＡＩエンジンに転送される。システムには複数のレベルのデータ処理がある。例えば、第1ステップで得られた車両検出データは、その後、テールライトやインジケータライト検出などのタスクを実行する別のエンジンに転送される。同様に、最初のステップでの歩行者検出の後には、「横断歩道検出」などの検出が続く。個々のエンジンは、操作共有データとして他のエンジンに転送されるデータを大量生成する。メタデータ、処理された画像、ビデオなどを含むＡＩエンジンの出力は、別々のストレージサーバーに保存され、処理された出力の記録はデータベースサーバーに保存される。

【0123】

図３は、本開示の実施形態に従って、コンセンサス及びキャンバスアプリから処理及び取得されながら、データが管理され、異なるフォルダに格納される様子を示す。ビデオデータは、ＡＩエンジンに継続的に流れ込んでいることが示され、ＡＩエンジンはデータを分解し、それらを処理して、異なる認識および検出パラダイムが並列に機能するように処理する。出力データは中央サーバーに送信され、中央サーバーは2つのアプリ、すなわちコンセンサスアプリとキャンバスアプリ間でデータを分配する。コンセンサスアプリは、主に検証の目的で使用される。コンセンサスアプリのユーザーは、ＡＩモデルの有効性と効率性を検証する簡単な質問に答える。一方、キャンバスアプリは、さまざまなＡＩモデルやMLモデルの生データに注釈を付けるためにさらに使用される。データ共有は、２つのアプリ間でも行われる。コンセンサスアプリは、ユーザーによって間違っているとマークされたキャンバスアプリにすべてのデータを送信する(2)。注釈付きのデータは、再学習のためにそれぞれのＡＩエンジンに送り返される。これにより、ＡＩの再学習のためのクラウドソーシングされた注釈を含む継続的な循環が保証される。

【0124】

図４は、本開示の実施形態に従って、継続的なクラウドソーシング注釈プロセスを監視するために人によって使用される管理アプリとして知られる中央アプリを示す。管理アプリでは、処理可能なデータセットと、コンセンサスアプリやキャンバスアプリで、ユーザーが現在処理中のデータセットのステータスを確認することができる。管理者は、管理アプリを使用して、検証、注釈付け、再学習の優先順位に基づいて特定のデータセットを割り当てることもできる。さらに管理アプリを使用して、ＡＩモデルの性能を、コンセンサスアプリやキャンバスアプリで発生するデータ検証率や注釈などの他の指標と共に表示することもできる。

【0125】

図５は、本開示の実施形態に従って、サーバー上で分類されるデータセットを示す。データセットは、メインカテゴリとサブコンポーネントを含む階層に基づいて分類される。例えば、道路は、車線、信号機、歩行者横断歩道などのサブコンポーネントを含む１つのメインカテゴリになる。もう１つの主なカテゴリは、車両、ナンバープレート、アルファベット、数字など、この作業を実行するために必要なすべての要件を含むナンバープレート認識になる。データセットは、コンセンサス ループとキャンバス ループに選択して進めることができる。

【0126】

図６は、本開示の実施形態に従って、特定のデータセットがコンセンサスアプリおよびキャンバスアプリを通じて、どのモードを通じて伝搬するかを決定するワークフローを示す図である。ワークフローは、特定のデータセットがコンセンサスアプリおよびキャンバスアプリをどのように伝搬し、どのモードを通じて伝搬するかを決定するステップである。すべてのデータセットは複数のサブコンポーネントで構成され、各サブコンポーネントはアプリで異なるモードを通過する可能性があるからである。モードには、クロップモード、検証モード、マルチクロップモード、入力モードなどがある。モードは、コンセンサスアプリとキャンバスアプリでデータに注釈を付ける方法を決定する。例えば、ロードデータセットに含まれるコンポーネント画像は、マルチクロップモードとポリゴンモードをキャンバスアプリに伝搬させる。ワークフローは管理アプリで事前設定でき、データセット全体のフローを自動化できる。

【0127】

コンセンサス及びキャンバス上のモードは、ＡＩシステムの出力を検証するために使用されるコンセンサスアプリ上の検証モードを含む。コンセンサスアプリの検証モードには、「これは車両ですか?」、「これは信号機ですか?」などの簡単な質問があり、ユーザーは左にスワイプするか右にスワイプするジェスチャーでYESまたはNOと答えるだけである。キャンバスアプリには複数のモードがあり、ユーザーがキーボードを使用してデータポイントの正しいラベルを入力する入力モードが含まれる。クロップモードやマルチクロップモードでは、ユーザーはアプリのタッチインターフェースを使って、特定のオブジェクトを囲む矩形のバウンディングボックスを画面上に描画することが可能となる。

【0128】

図７及び図７Ａは、本開示の実施形態に従って、画像を入力/注釈付けする機能を提供するスワイピングモードを示す。コンセンサスアプリには、スワイピングモードである入力モードの1つのタイプしかない。スワイピングモードでは、ユーザーは指(5)とモバイルアプリケーション画面上の簡単なスワイプジェスチャー(6)を使用して、特定の判断を非常に高速に検証できる。スワイプ画面上の質問(3)はランダムに表示されないが、代わりに特定のラベル情報に基づいてクラブに入れられます。ラベル(4)はＡＩモデルによって割り当てられ、ＡＩモデルは出力を検証するために質問で使用される。例えば、ＡＩモデルが対象物をトラックとして認識する場合、トラックとしてラベル付けされたすべての画像は、検証のために一緒にクラブ化される。スワイピングモードには、間違った答え（十字ボタン）(7)と正しい答え（チェックボタン）(8)を示す２つのボタンも付属している。

【0129】

キャンバスアプリは、特定のデータタイプに対する多種多様な注釈様式を容易にする。さまざまな種類のモードにより、アプリは深層学習アルゴリズムによって検出または認識する必要がある幅広いデータと対象物タイプをカバーできる。ユーザーがイメージに注釈を付けることができるさまざまなモードを以下に示す。

【0130】

入力モード：図８は、本開示の実施形態に従って、画像を入力/注釈付けする機能を提供する入力モードを示す。例えば、注釈が付けられるイメージがアルファベットまたは数字の画像(9)である場合などで、ユーザーは、キャンバスモバイルアプリのスクリーンキーボード(11)を使用してラベルを入力するだけである。アルファベットや数字などのケースではクラス数が多いため、テキストや数字を入力するキーボードなどの入力モードがこれらのケースに適している。ユーザーは、識別された文字が正しい場合はスキップしたり、キーボードを使用して入力領域に文字を入力した後に送信したりできる。ユーザーが指定した回答が回答タブに表示される。(10)

【0131】

分類モード：図９は、本開示の実施形態に従って、画像を分類する設備を提供する分類モードを示す。ユーザーが特定の画像(12)にラベル付け/分類できる分類モードは、元の画像と非常によく似たクラスの絵文字表現を使用して行われる。これらのラベルは、特定のクラスに属する小さなアイコン(13)または画像(13)にすることができる。このモードは、クラスの数が少ない場合や、ユーザーが存在し得るクラスに関する事前情報を持たない場合に便利である。例えば、ユーザーが犬の種類に注釈を付けたり、ラベルを付けたりする必要がある場合、ユーザーが犬の種類に関する事前の知識を持っていない可能性があるため、この場合、犬の種類を視覚的に表現すると便利である。

【0132】

クロップモード：図１０は、本開示の実施形態に従って、画像を切り抜きする機能を提供するクロップモードを示す。これらのモードにより、ユーザーは 画像(14)(15) の任意の部分を切り抜くことができ、注釈を付ける必要がある特定の対象物に一致していると感じる。これらのモードで尋ねられる質問は、「画像内のすべての信号機を見つける」という形式になる。この質問では、ユーザーは特定の画像に表示されるすべての交通信号を切り取る必要がある。識別される対象物の数(16)(17)は、画像ごとに異なる場合がある。

【0133】

ポリゴンモード：図１１は、本開示の実施形態に従って、不規則な辺を有する多角形を描画するために使用されるポリゴンモードを示す。ポリゴンモードは、注釈を付ける画像(18)が完全な長方形でない場合に非常に便利である。ポリゴンモードは、画面上の指(5)を使用して不規則な辺を持つ多角形(19)を描画するために使用できる。特定の角度で整列されたオブジェクトの場合、ポリゴンツールを使用して、画像内の対象物を効果的に特徴付けすることができる。

【0134】

ラインモード：図１２は、本開示の実施形態に従って、長方形でも他のいかなる不規則な形状でもないオブジェクトに注釈を付けるために使用されるラインモードを示す。ラインツールは、 長方形(23)(24)でも他の不規則な形状(23)(24)でもないオブジェクトに注釈を付けるために特に使用される。代わりに、これらは非常に狭い形状であり、特別な方法でマークすることによってのみ注釈を付けることができる。キャンバスアプリのラインツールを使用すると、線を描画したり、円弧 (22) や類似の図形 (22) を形成するために線を変更したりすることもできる。たとえば、ラインツールを使用する使用ケースの1つは、画像内のレーンマーカーに注釈を付けるときである。これらのレーンマーカーは、ユーザーが長方形ツールを使用することが困難な場合には、非常に狭くなることがある。カスタマイズ可能なライン(20)(21)(22)ツールを使用すると、ユーザーは描画するラインのピクセル幅を設定でき、指を使用してレーンの曲率に合わせて変更することもできる(5)。

【0135】

上記で定義した注釈スキームと同様に、他のカスタマイズ可能な注釈メソッドもキャンバスアプリに追加することができる。

【0136】

図１３は、本開示の実施形態に従って、キャンバスアプリに進む全ての画像を含むサーバーを示す。図13に示すように、すべての画像を含むサーバーがキャンバスアプリに進む。キャンバスアプリは、存在するユーザーの数(2)とラベル付けするデータの種類に基づいて、これらの画像をユーザーのプールに分配する。すべてのデータはコンセンサス/多数決システムを通過するため、同じデータが注釈とレビューのために2人以上の人(2)に送られる可能性がある。これにより、キャンバスアプリから出てくるデータの完全な証拠であり、エラーがないことが保証される。

【0137】

3Dバウンディングボックスモード：図１４は、3Dバウンディングボックスモードはユーザーが関心のある対象物(25)の周りに3Dバウンディングボックス(26)を描画することを可能にすることを示す。3Dバウンディングボックスは、すべての側面から画像内のオブジェクト全体を取り込み、ユーザーが2Dバウンディングボックスに欠けている側面、上部、前面および背面の視界を個別に具体的に理解することを可能にする。ユーザーは必要に応じて、指(5)と簡単なスライダーを使ってバウンディングボックスを配置できる。

【0138】

図１５は、データが分散型検証ネットワークにどのように分配されるかを示す(27)。ネットワークに接続されたすべてのデバイスの節点(28)であり、高品質のデータがネットワークを最終製品として出力され(29)、高品質の注釈付きデータが学習のためにＡＩモデルに送り返されるようにするために、何らかの形式の計算を実行する。

【0139】

図１６は、画像内の不規則な形状をマーキング(30)する際に便利なペイントツールを示す。ペイントツールは、指だけを使って画像内の対象物の大まかな近似値を提供するのに役立つ(18)(5)。

【0140】

図１７は、ペイントツールとポリゴンツールとの融合であるセグメントモードを示す。ユーザーは、複雑な構造^ 1)を画像(18)上で指(5)を使用してマークし、ペイントツールを使用してその部分をセグメント化(30)することができる。このような注釈は、意味的および実例セグメンテーションのタスクを実行するニューラルネットワークモデルに使用される。これは、様々な対象物が繋がったり、捉える対象物を簡単に制限させる捕捉カットの技術でも実現可能である。

【0141】

分散型コンピューティングネットワークは、図１８に説明される。データは、中央サーバ(36)から分散ネットワーク上の節点に移動する。これらの節点は、基本的には、検証アプリにアクセスしてインターネットに接続されたモバイルデバイス(32,34)または任意のデジタルデバイス(33,34,および35)である。リモートストレージデバイス(37,38)も、ストレージ負荷を分散するためにこのネットワークに接続することができる。中央サーバーで計算を実行するためのコンピタコストと間接費は、分散化されると多岐にわたり削減される。

【0142】

図１９は、インフラス計画に必要なデータを収集するために本発明をどのように使用できるかを示す。交通の円滑な流れ、支障のない交通手段などを維持するためには、適切なインフラの監視と計画が非常に重要である。モバイルアプリケーション(39)は、広告看板(40)、不必要な交通渋滞を引き起こす可能性のある交差点での信号機(42)、ゴミ(41)および適切に処分されていない廃棄物、道路上の窪み(43)およびその他多くのそのようなインフラの支障の適切な位置を監視するために使用することができる。

【0143】

モバイルアプリは、道路上で同時に起こっている複数の違反を捉えるために使用することができる。図２０に示すように、バスの前の車は、追い越しが許されないエリアでトラックを追い越そうとしている。車内のドライバーが携帯電話(45)を使用しているが、これも違反行為である。これらのイベントはすべて、バス内にあるモバイルデバイス(46)によって捉えている。モバイルデバイス上のアプリケーションは、車両(48)、その状態と動き(48)(49)、テールライト(44)とインジケータライト(44)、および異なる道路標識(47)を捉えて、車両が必要に応じて道路標識に従っているかどうかを把握する。

【0144】

上記で説明したクラウドソーシングによるデータ注釈方法は、3段階から構成される。最初の ２ つのステージでは、コンセンサス アプリでの ＡＩ モデル予測の検証と、キャンバス アプリケーションでのラベル付けまたは分類の再検証が含まれる。3番目のステップは、基本的に、これらのモバイルアプリケーションでレビューされているすべてのデータに適用される多数決または暗黙の合意ロジックである。この分散システムをモバイルプラットフォーム上に持つことの主な利点は、注釈プラットフォームが容易に利用可能で、安価で、容易に展開可能であることである。本発明によるシステム上の連続多数決スキームは、深層学習モデルを再学習するために、大量生産される適切な注釈付きデータを保証する。

【0145】

１つの実施形態では、提案された電子デバイスは、少なくとも１つのプロセッサ、入出力(I/O)インターフェース及びメモリを含み得る。

【0146】

プロセッサは、１つまたは複数のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理装置、状態機械、論理回路、および/または操作命令に基づいて信号を操作する任意のデバイスとして実装され得る。他の能力の中でも、少なくとも１つのプロセッサは、メモリに格納されたコンピュータが読み取り可能な命令を取得して実行するように構成される。

【0147】

I/Oインターフェースは、様々なソフトウェア及びハードウェアインターフェース、例えば、ウェブインターフェース、グラフィカルユーザーインターフェースなどを含むことができる。I/O インターフェースを使用すると、システムはユーザーと直接対話できる。I/O インターフェースは、有線ネットワーク (LAN、ケーブルなど) や、WLAN やセルラー、衛星などのワイヤレス ネットワークなど、さまざまなネットワークやプロトコル タイプ内で複数の通信を容易にすることができる。I/O インターフェースには、多数のデバイスを相互または別のサーバーに接続するための １ つまたは複数のポートを含めることができる。

【0148】

メモリは、例えば、静的ランダムアクセスメモリ(SRAM)および動的ランダムアクセスメモリ(DRAM)などの揮発性メモリ、及び/又は読み取り専用メモリ(ROM)、消去可能なプログラマブルROM、フラッシュメモリ、ハードディスク、光ディスク、および磁気テープなどの不揮発性メモリを含み、当技術分野で公知の任意のコンピュータが読み取り可能な媒体を含み得る。メモリは、モジュールおよびデータを含み得る。モジュールには、手順、プログラム、対象物、コンポーネント、データ構造などが含まれ、特定の作業を実行したり、特定の抽象データを実装したりする。

【0149】

画像処理技術は、デジタル画像に対して画像処理を実行するためのコンピュタアルゴリズムの使用である。デジタル信号処理のサブカテゴリーまたは分野として、デジタル画像処理はアナログ画像処理よりも多くの利点を有する。画像処理技術は、電子モバイルデバイスまたは他のコンピュータデバイスからカメラで受信した画像データを利用する。画像処理には、基本的に次の3つのステップが含まれる；画像取得ツールを使用して画像をインポートし、画像の分析と操作結果を変更することができる出力 画像または画像分析に基づくレポート。

【0150】

一態様では、提案された人工知能(ＡＩ)ベースのシステムによって実行される方法は、コンピュータ実行可能命令の一般的な文脈において説明され得る。一般に、コンピュータ実行可能命令は、手順、プログラム、対象物、要素、データ構造、手続き、モジュール、関数などの特定の機能を実行するか、または特定の抽象データ型を実装することができる。この方法はまた、通信ネットワークを介してリンクされたリモート処理装置によって機能が実行される分散コンピュータ環境において実施され得る。分散コンピュータ環境において、コンピュータ実行可能命令は、メモリ記憶装置を含むローカル及びリモートのコンピュータ記憶媒体の両方に配置され得る。

【0151】

記載されたような方法の順序は、限定として解釈されることを意図するものではなく、記載された方法ブロックの任意の数を、任意の順序で組み合わせて、方法又は選択肢を実施することができる。さらに、個々のブロックは、本明細書に記載される主題の精神および範囲から逸脱することなく、本方法から削除され得る。さらに、本方法は、任意の適切なハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせにおいて実施することができる。ただし、説明を容易にするため、以下に説明する各実施形態において、提案されたアクセスネットワーク選択方法は、上述した提案された電子機器において実現されるものと考えてもよい。

【0152】

本開示は、人工知能(ＡＩ)及びニューラルネットワークに関する。より具体的には、自律的なクラウドソーシングされたオンデマンドＡＩ搭載管理ネットワークに関する。

【0153】

本開示の一態様は、人工知能(ＡＩ)に関する。特に、本開示は、交通違反を回避するための人工知能ベースのシステム及び方法に関する。

【0154】

本開示の一態様では、１つまたは複数の人工知能(ＡＩ)アルゴリズム及び/又は機械学習(ML)アルゴリズムで構成された電子デバイスに関する。システムは、非一時記憶装置に結合され、１つまたは複数のモジュールを実行するように動作可能な１つ以上のプロセッサを含む。

【0155】

前記1つまたは複数のルーチンは、取得モジュールを含み、これは、前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のＡＩ及び/又はMLアルゴリズムに基づいて、１つまたは複数の視覚センシングシステムから関心のある対象物または事象の少なくとも組み合わせを取得し、ここで、前記対象物または関心のある事象の前記組み合わせは、１つまたは複数の識別可能な対象物を有する少なくとも画像を含み、送信モジュールは、１つまたは複数のプロセッサによって実行されると、対象物または取得された事象の得られた組み合わせを１つまたは複数のサーバーに通過させる。

【0156】

一態様では、対象は、電子デバイスに対して予め定義される。

【0157】

一態様では、対象は、電子デバイスにおいて予め構成されている。

【0158】

一態様では、対象は、リアルタイムで受信される。

【0159】

一態様では、１つまたは複数のサーバーは、少なくとも１つの出力を生成するために、得られた対象物の組み合わせ又は得られた関心のある事象を処理するように構成される。

【0160】

一態様では、１つまたは複数のＡＩアルゴリズムおよび/またはMLアルゴリズムは、自動的に学習し、関心のある対象または事象の前記組み合わせに基づいて更新するように構成される。

【0161】

一態様では、１つまたは複数のサーバーは、得られた対象物の組み合わせ又は得られた関心のある事象に対して一連のＡＩベースの推論を実行するように構成され、データポイントに分類される。

【0162】

一態様では、データポイントは、さらなる処理のために１人または複数のユーザーに提供される。

【0163】

一態様では、処理の正確な結果は、１人または複数のユーザーからのコンセンサスに基づいて決定される。

【0164】

一態様では、処理の正確な結果は、１人または複数のユーザーからの多数決に基づいて決定される。

【0165】

一態様では、１人または複数のユーザーが、様々なＡＩモデルからデータポイントを受け取り、１人または複数のユーザーがデータポイントを処理する。

【0166】

一態様では、１人または複数のユーザーは、分類及び手動注釈技術によってデータポイントを処理する。

【0167】

一態様では、１人または複数のＡＩアルゴリズム及び/又はMLアルゴリズムは、学習データのプールに注がれているより多くの新しいデータで１人または複数のＡＩアルゴリズムおよび/またはMLアルゴリズムを再訓練することによって、手動注釈に基づいて学習および進化するように構成される。

【0168】

一態様では、手動注釈技術は、レーン、様々な物体のための2D境界ポリゴン、選択画像、番号入力、道路セグメンテーション、及び、検出される物体の様々な辺のための3D多面体形状のいずれか又は組み合わせから選択される。

【0169】

一態様では、データポイントは、さらなる処理のために1つまたは複数の分散サーバーに提供される。この分散型ネットワークには、携帯電話、タブレット、ＡＩモデルのトレーニングに必要な操作を実行できる他の端末ネットワークデバイスなどのコンピュータ節点が含まれている。

【0170】

本開示の別の態様は、単一の深層ニューラルネットワークを用いて画像及びビデオ内の対象物を検出する方法に関する。この方法は、１つまたは複数のＡＩおよび/またはMLアルゴリズムに基づいて、１つまたは複数の視覚センシングシステムから関心のある対象物または事象の少なくとも組み合わせを取得するステップを含むことができ、ここで、前記関心のある対象物または事象の組み合わせは、１つまたは複数の識別可能な対象物を有する少なくとも画像を含み、取得した対象物の組み合わせ、または取得した関心のある事象を１つまたは複数のサーバーに送信する。

【0171】

一態様では、１つまたは複数のサーバーは、対象物または取得された事象の得られた組み合わせに対して一連のＡＩベースの推論を実行するように構成され、データポイントに分類され、データポイントは、さらなる処理のために１つまたは複数のユーザーに提供される。

【0172】

一態様では、処理の正確な結果は、１人または複数のユーザーからのコンセンサスまたは多数決に基づいて決定される。

【0173】

一態様では、１人または複数のユーザーは、分類及び手動注釈技術によってデータポイントを処理する。

【0174】

一態様では、１人または複数のＡＩアルゴリズムおよび/またはMLアルゴリズムは、学習データのプールに注がれているより多くの新しいデータで１人または複数のＡＩアルゴリズムおよび/またはMLアルゴリズムを再学習することによって、手動注釈に基づいて学習および進化するように構成される。

【0175】

一態様では、手動注釈技術は、レーン、様々な物体のための2D境界ポリゴン、選択画像、番号入力、道路セグメンテーション、及び、検出される物体の様々な辺のための3D多面体形のいずれか又は組み合わせから選択される。

【0176】

一態様では、データポイントは、さらなる処理のために１つまたは複数の分散サーバーに提供される。この分散型ネットワークには、携帯電話、タブレット、ＡＩモデルの学習に必要な操作を実行できる他の端末ネットワークデバイスなどのコンピュータ節点が含まれている。

【0177】

本発明の好ましい実施形態は開示の目的で記載されたが、発明の開示された実施形態ならびにその他の実施形態の修正は、当業者には生じ得る。したがって、添付の特許請求の範囲は、本発明の精神および範囲から逸脱しないすべての実施形態を網羅することを意図している。

【0178】

前記の目的、特徴及び利点は、当業者が本発明の自己技術的特徴を容易に行うことができるであろうが、それに応じて添付の図面を参照して詳細に後述する。以下の本発明の説明において、関連する公知技術の詳細な説明が、本発明の主題を不必要に不明瞭にすると判断される場合、その詳細な説明は行わない。以下において、本発明による好ましい実施形態について、例えば添付の図面を参照しながら詳細に説明する。なお、図面中の参照数字と同様に、同一または類似の要素を示すために使用する。

【0179】

本明細書の発明概念から逸脱することなく、既に記載したもの以外にさらに多くの改変が可能であることは、当業者には明らかである。したがって、本発明の主題は、添付の特許請求の範囲の精神によらない限り、制限されるべきではない。さらに、本明細書及び特許請求の範囲の両方を解釈する際には、すべての用語は、文脈と一致する可能な限り広い方法で解釈されるべきである。特に、「含む」および「成る」という用語は、非排他的な方法で要素、要件、又はステップに言及していると解釈すべきであり、言及された要素、構成要素、又はステップは、明示的に言及されていない他の要素、要件、又はステップと存在するか、利用されるか、又は組み合わされてもよいことを示している。本明細書の請求項が、A、B、C・・・およびNからなる群から選択されて、少なくとも１つに言及している場合、本文は、A＋N、またはB＋Nなどではなく、群から１つの要素のみを必要とすると解釈されるべきである。特定の実施形態の前述の説明は、本明細書における実施形態の一般的な性質を完全に明らかにするので、他の実施形態は、現在の知識を適用することによって、容易にそのような特定の実施形態を、一般的な概念から逸脱することなく、様々な用途のために修正及び/又は適合させ、よって、そのような適応および修正は、開示された実施形態の同様の意味および範囲内で解釈されるべきであり、また理解されるべきである。本明細書で使用される語句学または用語は、説明を目的とするものであり、限定的なものではないことを理解されたい。したがって、本明細書の実施形態は好ましい実施形態の観点から説明されてきたが、 当業者は、本明細書の実施形態が添付の特許請求の範囲の精神および範囲内で修正を加えて実施され得ることを認識するであろう。

【0180】

本開示の実施形態を例示し、説明してきたが、本開示がこれらの実施形態のみに限定されないことは明らかであろう。特許請求の範囲に記載されるように、本開示の精神および範囲から逸脱することなく、多数の修正、変更、変形、置換、および等価物が当業者には明らかであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図7A】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【国際調査報告】