特許 7542063 オブジェクトのアノテーションに数値を対応付けるためのコンピュータ実装方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-21

(45)【発行日】2024-08-29

(54)【発明の名称】オブジェクトのアノテーションに数値を対応付けるためのコンピュータ実装方法およびシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240822BHJP

【ＦＩ】

G06T7/00 650B

G06T7/00 U

【請求項の数】 13

(21)【出願番号】P 2022524061

(86)(22)【出願日】2020-10-12

(65)【公表番号】

(43)【公表日】2022-12-26

(86)【国際出願番号】 EP2020078538

(87)【国際公開番号】W WO2021078550

(87)【国際公開日】2021-04-29

【審査請求日】2023-05-12

(31)【優先権主張番号】19204989.8

(32)【優先日】2019-10-24

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】506012213

【氏名又は名称】ディスペース ゲー・エム・ベー・ハー

【氏名又は名称原語表記】ｄＳＰＡＣＥ ＧｍｂＨ

【住所又は居所原語表記】Ｒａｔｈｅｎａｕｓｔｒ．２６，Ｄ－３３１０２ Ｐａｄｅｒｂｏｒｎ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ダニエル レードラー

(72)【発明者】

【氏名】シュテファン リンケ

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】欧州特許出願公開第２６７２３９６（ＥＰ，Ａ１）

【文献】N.S.Manikandan, et al.，Deep Learning Based Automatic Video Annotation Tool for Self-Driving Car，arXiv，2019年04月19日，https://doi.org/10.48550/arXiv.1904.12618

【文献】Aleksa Corovic, et al.，The Real-Time Detection of Traffic Participants Using YOLO Algorithm，2018 26th Telecommunications Forum (TELFOR)，2018年，DOI:10.1109/TELFOR.2018.8611986

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

(57)【特許請求の範囲】

【請求項1】

画像データ、ビデオデータおよび／または点群データ（１２）において識別される少なくとも１つのオブジェクト（１４ａ，１４ｂ）のアノテーション（１０ａ，１０ｂ）に数値を対応付けるコンピュータ実装方法であって、前記コンピュータ実装方法は、
受け取った画像データ、ビデオデータおよび／または点群データ（１２）における少なくとも１つの前記オブジェクト（１４ａ，１４ｂ）の識別（Ｓ１）およびアノテーション（Ｓ２）のステップであって、前記識別（Ｓ１）および／または前記アノテーション（Ｓ２）を、少なくとも部分的に自動的に実行するステップと、
少なくとも１つの前記オブジェクト（１４ａ，１４ｂ）のアノテーション（１０ａ，１０ｂ）の前記数値の計算（Ｓ３）のステップであって、少なくとも１つの前記オブジェクト（１４ａ，１４ｂ）の寸法（３６ａ，３６ｂ）に対する、視覚的なアノテーション（１０ａ）の寸法（３４ａ，３４ｂ）の一致の度合い、および／または、少なくとも１つの前記オブジェクト（１４ａ，１４ｂ）の概念的なラベル（１０ｂ）と少なくとも１つの前記オブジェクト（１４ａ，１４ｂ）との一致の度合い、および／または、少なくとも１つの前記オブジェクト（１４ａ，１４ｂ）を検出する少なくとも１つのセンサ（１６ａ，１６ｂ）の概念的なラベル（１０ｃ）と少なくとも１つの前記センサ（１６ａ，１６ｂ）との一致の度合いに少なくとも部分的に応じて前記数値を計算するステップと、
少なくとも１つの前記オブジェクト（１４ａ，１４ｂ）への、計算された前記数値の対応付け（Ｓ４）のステップと、
を有し、
前記アノテーション（１０ａ，１０ｂ）の前記数値により、前記アノテーション（１０ａ，１０ｂ）の価格を形成し、価格設定プラン（４６）を使用し、評価モジュール（４４）により、前記アノテーション（１０ａ，１０ｂ）の前記数値の前記計算に必要な情報を有するトランザクションデータセット（３８）に含まれる、実行されたアクションに関連するそれぞれのエントリ（３８ａ，３８ｂ）を価格設定し、
前記評価モジュール（４４）により、少なくとも１つの、特に自動的に実行される前記アノテーション（１０ａ，１０ｂ）の少なくとも１つの前記エントリ（３８ａ）の前記数値から第１の総和（４８）を形成し、前記トランザクションデータセット（３８）が、ユーザによって実行された変更（４２ａ，４２ｂ）の少なくとも１つのエントリ（３８ｂ）を有する場合、前記評価モジュール（４４）により、前記ユーザによって実行された前記変更（４２ａ，４２ｂ）の少なくとも１つの前記エントリ（３８ｂ）の前記数値から第２の総和（５０）を形成し、前記アノテーション（１０ａ，１０ｂ）の前記数値、特に前記価格を計算するために前記第１の総和（４８）から前記第２の総和（５０）を減算する、
コンピュータ実装方法。

【請求項2】

少なくとも１つの前記オブジェクト（１４ａ，１４ｂ）の前記概念的なラベル（１０ｂ）は、前記オブジェクト（１４ａ，１４ｂ）の少なくとも１つの特性（１０ｂ１）を含み、少なくとも１つの前記オブジェクトを検出する少なくとも１つの前記センサ（１６ａ，１６ｂ）の前記概念的なラベル（１０ｃ）は、少なくとも１つの前記センサ（１６ａ，１６ｂ）の特性（１０ｂ２）を含む、
請求項１記載のコンピュータ実装方法。

【請求項3】

前記視覚的なアノテーション（１０ａ）は、前記オブジェクト（１４ａ，１４ｂ）を取り囲む境界要素（１８ａ，１８ｂ）の自動的な位置決めおよび描画を含み、前記境界要素（１８ａ，１８ｂ）は、２次元境界フレーム（１８ａ）によって、または、特にＬｉＤＡＲ画像および／またはレーダ画像では、３次元境界フレーム（１８ｂ）によって構成される、
請求項１または２記載のコンピュータ実装方法。

【請求項4】

前記オブジェクト（１４ａ，１４ｂ）に割り当てられる少なくとも１つの前記特性（１０ｂ１）は、少なくとも１つのオブジェクトクラスを有し、第１のオブジェクトクラス（２２ａ）は、自動車（２２ａ１）を有し、第１のオブジェクトサブクラス（２２ｂ）は、乗用車（２２ｂ１）、貨物自動車（２２ｂ２）、配達用自動車（２２ｂ３）、バス（２２ｂ４）、建設車両（２２ｂ５）、鉄道車両（２２ｂ６）および／または連結装置（２２ｂ７）を有し、第２のオブジェクトクラス（２４ａ）は、人間（２４ａ１）を有し、第２のオブジェクトサブクラス（２４ｂ）は、前記人間（２４ａ１）の性別（２４ｂ１）、大きさ（２４ｂ２）および／または年齢（２４ｂ３）を有する、
請求項２記載のコンピュータ実装方法。

【請求項5】

前記画像データ、ビデオデータおよび／または点群データ（１２）を検出する前記センサ（１６ａ，１６ｂ）に割り当てられる少なくとも１つの前記特性（１０ｂ１）は、少なくとも１つのセンサクラスを有し、第１のセンサクラス（２６ａ）は、画像センサ（１６ａ）を有し、第１のセンササブクラス（２６ｂ）は、支持装置における、特に検出車両（２８）における前記画像センサ（１６ａ）の位置および配向を有し、第２のセンサクラス（３０）は、ＬｉＤＡＲセンサ（１６ｂ）を有し、第３センサクラス（３１）は、レーダセンサ（１６ｃ）を有する、
請求項２または４記載のコンピュータ実装方法。

【請求項6】

前記第１のセンササブクラス（２６ｂ）は、前記支持装置において、特に前記検出車両（２８）において、前方中央に配置される広角カメラ（３２ａ）、前方中央に配置される狭角カメラ（３２ｂ）、前方左に配置されるカメラ（３２ｃ）、前方右に配置されるカメラ（３２ｄ）、後方左に配置されるカメラ（３２ｅ）、後方右に配置されるカメラ（３２ｆ）および／または後方中央に配置される広角カメラ（３２ｇ）を有する、
請求項５記載のコンピュータ実装方法。

【請求項7】

前記画像データ、ビデオデータおよび／または点群データ（１２）における少なくとも１つの前記オブジェクト（１４ａ，１４ｂ）の前記識別（Ｓ１）および前記視覚的なアノテーション（１０ａ，Ｓ２）を手動で、特にユーザによって行い、前記オブジェクト（１４ａ，１４ｂ）の少なくとも１つの前記特性（１０ｂ１）の割り当て、および／または、少なくとも１つの前記オブジェクト（１４ａ，１４ｂ）を検出する少なくとも１つの前記センサ（１６ａ，１６ｂ）の少なくとも１つの特性（１０ｂ２）の割り当てを自動的に実行する、
請求項２記載のコンピュータ実装方法。

【請求項8】

少なくとも１つの前記オブジェクト（１４ａ，１４ｂ）の前記寸法（３６ａ，３６ｂ）に対する、前記視覚的なアノテーション（１０ａ）の前記寸法（３４ａ，３４ｂ）の前記一致の度合い、および／または、少なくとも１つの前記オブジェクト（１４ａ，１４ｂ）の前記概念的なラベル（１０ｂ）と少なくとも１つの前記オブジェクト（１４ａ，１４ｂ）との前記一致の度合い、および／または、少なくとも１つの前記オブジェクトを検出する少なくとも１つの前記センサ（１６ａ，１６ｂ）の前記概念的なラベル（１０ｃ）と少なくとも１つの前記センサ（１６ａ，１６ｂ）との前記一致の度合いをユーザによってチェックする、
請求項１から７までのいずれか１項記載のコンピュータ実装方法。

【請求項9】

少なくとも１つの前記オブジェクト（１４ａ，１４ｂ）の前記寸法（３６ａ，３６ｂ）に対する、前記視覚的なアノテーション（１０ａ）の前記寸法（３４ａ，３４ｂ）の前記一致の度合い、および／または、少なくとも１つの前記オブジェクト（１４ａ，１４ｂ）の前記概念的なラベル（１０ｂ）と少なくとも１つの前記オブジェクト（１４ａ，１４ｂ）との前記一致の度合い、および／または、少なくとも１つの前記オブジェクトを検出する少なくとも１つの前記センサ（１６ａ，１６ｂ）の前記概念的なラベル（１０ｃ）と少なくとも１つの前記センサ（１６ａ，１６ｂ）との前記一致の度合いをユーザによってチェックし、
少なくとも１つの前記オブジェクト（１４ａ，１４ｂ）の前記寸法（３６ａ，３６ｂ）に対する、前記視覚的なアノテーション（１０ａ）の前記寸法（３４ａ，３４ｂ）の前記一致の度合いは、前記境界要素（１８ａ，１８ｂ）の前記寸法（３４ａ，３４ｂ）が、アノテーションされた前記オブジェクト（１４ａ，１４ｂ）の前記寸法（３６ａ，３６ｂ）、特に外形寸法に実質的に相当する場合に、十分であると評価する、
請求項３項記載のコンピュータ実装方法。

【請求項10】

少なくとも１つの前記視覚的なアノテーション（１０ａ）の実行の際に、および／または、前記オブジェクト（１４ａ，１４ｂ）の少なくとも１つの前記特性（１０ｂ１）および／または前記センサ（１６ａ，１６ｂ）の少なくとも１つの前記特性（１０ｂ２）の割り当ての際に、少なくとも１つの自動的に実行されるアクションの情報を有する前記トランザクションデータセット（３８）を作成して、トランザクションデータ記憶装置（４０）に記憶する、
請求項２、５、７のいずれか１項記載のコンピュータ実装方法。

【請求項11】

前記オブジェクト（１４ａ，１４ｂ）の前記アノテーション（１０ａ，１０ｂ）においてユーザによって実行される変更（４２ａ，４２ｂ）、特に、前記視覚的なアノテーション（１０ａ）の変更（４２ａ）、および／または、前記オブジェクト（１４ａ，１４ｂ）の少なくとも１つの前記特性、および／または、前記画像データ、ビデオデータおよび／または点群データ（１２）を検出する少なくとも１つの前記センサ（１６ａ，１６ｂ）の前記特性の変更（４２ｂ）を、前記オブジェクト（１４ａ，１４ｂ）の前記トランザクションデータセット（３８）に、または、前記オブジェクト（１４ａ，１４ｂ）の前記トランザクションデータセット（３８）に関連付けられるトランザクションデータセット（３８）に取り込んで、トランザクションデータ記憶装置（４０）に記憶する、
請求項１０記載のコンピュータ実装方法。

【請求項12】

画像データ、ビデオデータおよび／または点群データ（１２）において識別される少なくとも１つのオブジェクト（１４ａ，１４ｂ）のアノテーション（１０ａ，１０ｂ）に数値を対応付けるためのシステムであって、前記システムは、
受け取った画像データ、ビデオデータおよび／または点群データ（１２）における少なくとも１つの前記オブジェクト（１４ａ，１４ｂ）の識別およびアノテーションのための手段（５２，５４）であって、前記識別および／または前記アノテーションは、少なくとも部分的に自動的に実行可能である手段（５２，５４）と、
少なくとも１つの前記オブジェクト（１４ａ，１４ｂ）の前記アノテーション（１０ａ，１０ｂ）の前記数値の計算（Ｓ３）のための手段（５６）であって、前記数値は、少なくとも１つの前記オブジェクト（１４ａ，１４ｂ）の寸法（３６ａ，３６ｂ）に対する、視覚的なアノテーション（１０ａ）の寸法（３４ａ，３４ｂ）の一致の度合い、および／または、少なくとも１つの前記オブジェクト（１４ａ，１４ｂ）の概念的なラベル（１０ｂ）と少なくとも１つの前記オブジェクト（１４ａ，１４ｂ）との一致の度合い、および／または、少なくとも１つの前記オブジェクトを検出する少なくとも１つのセンサ（１６ａ，１６ｂ）の概念的なラベル（１０ｃ）と少なくとも１つのセンサ（１６ａ，１６ｂ）との一致の度合いに少なくとも部分的に応じて計算可能である手段（５６）と、
少なくとも１つの前記オブジェクト（１４ａ，１４ｂ）への、計算された前記数値の対応付け（Ｓ４）のための手段（５８）と、
を有し、
前記アノテーション（１０ａ，１０ｂ）の前記数値により、前記アノテーション（１０ａ，１０ｂ）の価格を形成し、価格設定プラン（４６）を使用し、評価モジュール（４４）により、前記アノテーション（１０ａ，１０ｂ）の前記数値の前記計算に必要な情報を有するトランザクションデータセット（３８）に含まれる、実行されたアクションに関連するそれぞれのエントリ（３８ａ，３８ｂ）を価格設定し、
前記評価モジュール（４４）により、少なくとも１つの、特に自動的に実行される前記アノテーション（１０ａ，１０ｂ）の少なくとも１つの前記エントリ（３８ａ）の前記数値から第１の総和（４８）を形成し、前記トランザクションデータセット（３８）が、ユーザによって実行された変更（４２ａ，４２ｂ）の少なくとも１つのエントリ（３８ｂ）を有する場合、前記評価モジュール（４４）により、前記ユーザによって実行された前記変更（４２ａ，４２ｂ）の少なくとも１つの前記エントリ（３８ｂ）の前記数値から第２の総和（５０）を形成し、前記アノテーション（１０ａ，１０ｂ）の前記数値、特に前記価格を計算するために前記第１の総和（４８）から前記第２の総和（５０）を減算する、
するシステム。

【請求項13】

コンピュータプログラムがコンピュータ上で実行される場合に、請求項１から１１までのいずれか１項記載の方法を実施するためのプログラムコードを有するコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像データ、ビデオデータおよび／または点群データにおいて識別される少なくとも１つのオブジェクトのアノテーションに数値を対応付けるコンピュータ実装方法に関する。

【0002】

本発明はさらに、画像データ、ビデオデータおよび／または点群データにおいて識別される少なくとも１つのオブジェクトのアノテーションに数値を対応付けるためのシステムに関する。

【0003】

本発明さらに、コンピュータプログラムに関する。

【背景技術】

【0004】

コンピュータビジョンモデル、すなわち、画像データ、ビデオデータおよび／または点群データにおけるオブジェクト識別のためのアルゴリズムは、トレーニングデータによって学習される。画像データ、ビデオデータおよび／または点群データにおけるオブジェクトを確実に識別できるようにするために、該当するオブジェクトは、従来、視覚的にかつ／または概念的にアノテーションがなされる。

【0005】

上で挙げたオブジェクトの分類は、従来、適切なソフトウェアツールを使用してアノテーターによって手動で行われる。自動運転用のコンピュータビジョンモデルの分野では、画像アノテーションは、通例、いわゆるバウンディングボックスによって行われる。これにより、例えば、車両、交通標識および別の周囲オブジェクトをマーキングもしくはアノテーションすることができる。

【0006】

"Interactive full image Segmentation by considering all regions jointly"という名称の、ＣＶＦ（Computer Vision Foundation）のＣＶＰＲ刊行物には、特定の画像オブジェクトの極点をアノテーションする際に、フル画像セグメント化、すなわち、フル画像をそこに含まれるオブジェクトに分類するための予測を可能にするソフトウェアアプリケーションが開示されている。

【0007】

このソフトウェアアプリケーションにはさらに、画像セグメンテーションの所定の領域の誤った予想の際に、アノテーターが、グラフィックなユーザツールを用いて、画像セグメント化における変更を行うことができ、この画像セグメント化は、引き続いてソフトウェアアプリケーションによって実行可能であるという特徴を有する。

【0008】

しかながら上で挙げた方法が、共通に有しているのは、つねに高いアノテーションコストを伴うことである。というのは、コンピュータビジョンモデルの効率的なトレーニングには、極めて大量のトレーニングデータおよびそれらのアノテーションが必要であり、このことは、多大な人的および価格的なコストに結果的に結び付くからである。

【0009】

したがって、画像データ、ビデオデータおよび／または点群データにおけるオブジェクトのアノテーションのための既存の方法およびシステムを改善して、特定のオブジェクトの簡単であり、より効率的でありかつよりコスト的に有利なアノテーションを可能にしたいという需要が存在するのである。したがって本発明の課題は、画像データ、ビデオデータおよび／または点群データにおける特定のオブジェクトの、簡単であり、より効率的でありかつよりコスト的に有利なアノテーションを可能にする、コンピュータ実装方法、システムおよびコンピュータプログラムを提供することである。

【発明の概要】

【課題を解決するための手段】

【0010】

この課題は、本発明により、請求項１に記載された、画像データ、ビデオデータおよび／または点群データにおいて識別される少なくとも１つのオブジェクトのアノテーションに数値を対応付けるコンピュータ実装方法と、請求項１４に記載された、画像データ、ビデオデータおよび／または点群データにおいて識別される少なくとも１つのオブジェクトのアノテーションに数値を対応付けるためのシステムと、請求項１５に記載されたコンピュータプログラムと、によって解決される。

【0011】

本発明は、画像データ、ビデオデータおよび／または点群データにおいて識別される少なくとも１つのオブジェクトのアノテーションに数値を対応付けるコンピュータ実装方法に関する。

【0012】

この方法には、受け取った画像データ、ビデオデータおよび／または点群データにおける少なくとも１つのオブジェクトの識別およびアノテーションが含まれており、識別および／またはアノテーションを少なくとも部分的に自動的に実行する。

【0013】

この方法にはさらに、少なくとも１つのオブジェクトのアノテーションの数値を計算するステップが含まれており、少なくとも１つのオブジェクトの寸法に対する、視覚的なアノテーションの寸法の一致の度合い、および／または、少なくとも１つのオブジェクトの概念的なラベルと少なくとも１つのオブジェクトとの一致の度合い、および／または、少なくとも１つのオブジェクトを検出する少なくとも１つのセンサの概念的なラベルと少なくとも１つのセンサとの一致の度合いに少なくとも部分的に応じて数値を計算する。

【0014】

この方法にはさらに、少なくとも１つのオブジェクトへの、計算した数値の対応付けが含まれている。

【0015】

本発明はさらに、画像データ、ビデオデータおよび／または点群データにおいて識別される少なくとも１つのオブジェクトのアノテーションに数値を対応付けるためのシステムに関する。

【0016】

このシステムには、受け取った画像データ、ビデオデータおよび／または点群データにおける少なくとも１つのオブジェクトの識別およびアノテーションのための手段が含まれており、識別および／またはアノテーションは、少なくとも部分的に自動的に実行可能である。

【0017】

このシステムにはさらに、少なくとも１つのオブジェクトのアノテーションの数値の計算のための手段が含まれており、数値は、少なくとも１つのオブジェクトの寸法に対する、視覚的なアノテーションの寸法の一致の度合い、および／または、少なくとも１つのオブジェクトの概念的なラベルと少なくとも１つのオブジェクトとの一致の度合い、および／または、少なくとも１つのオブジェクトを検出する少なくとも１つのセンサの概念的なラベルと少なくとも１つのセンサとの一致の度合いに少なくとも部分的に応じて計算可能である。

【0018】

このシステムにはさらに、少なくとも１つのオブジェクトへの、計算された数値の対応付けのための手段が含まれている。

【0019】

本発明はさらに、コンピュータプログラムがコンピュータ上で実行される場合に、本発明による方法を実施するためのプログラムコードを有するコンピュータプログラムに関する。

【0020】

本発明の着想は、第１に、画像データ、ビデオデータおよび／また点群データにおけるオブジェクトの、少なくとも部分的に自動的な識別およびアノテーションを可能にすることである。これにより、まさにコンピュータビジョンモデルの分野において、自動的な方法について従来、手動で実施されていた作業の多大な時間的コストおよび処理コストを節約することができる。

【0021】

本発明の着想は、第２に、クラウドコンピューティングの分野において一般的なペイパーユース（Pay-per-Use）決済モデルとは異なり、決済もしくは価格決定は、あらかじめ設定される技術的なパラメータに到達するのに応じて、すなわち視覚的なアノテーションの精度および／または少なくとも１つの概念的なアノテーションの正しい割り当てに応じて計算されることである。

【0022】

本発明の別の実施形態は、別の下位請求項および図を参照する以下の説明の対象である。

【0023】

本発明の１つの態様によると、上記の方法にさらに含まれるのは、少なくとも１つのオブジェクトの概念的なラベルが、オブジェクトの少なくとも１つの特性を含み、少なくとも１つのオブジェクトを検出する少なくとも１つのセンサの概念的なラベルが、少なくとも１つのセンサの特性を含むことである。

【0024】

これにより、視覚的なアノテーションに加えて、オブジェクトの１つまたは複数の特性の割り当て、および／または、センサの指示の枠内において、該当するオブジェクトのより正確な分類を可能にすることができる。

【0025】

本発明の別の態様によると、この方法にさらに含まれるのは、視覚的なアノテーションが、オブジェクトを取り囲む境界要素であって、２次元境界フレームによって、または特にＬｉＤＡＲ画像および／またはレーダ画像では、３次元境界フレームによって構成される境界要素の自動的な位置決めおよび描画を含むことである。

【0026】

該当するオブジェクトの周りの、対応する境界フレームの自動的な位置決めおよび描画により、画像データ、ビデオデータおよび／または点群データに含まれるオブジェクトの、正確かつ効率的な、すなわち処理時間を短縮するアノテーションを行うことができる。

【0027】

本発明の別の態様によると、この方法にさらに含まれるのは、オブジェクトに割り当てられる少なくとも１つの特性が、少なくとも１つのオブジェクトクラスを有することであり、第１のオブジェクトクラスは、自動車を有し、第１のオブジェクトサブクラスは、乗用車、貨物自動車、配達用自動車、バス、建設車両、鉄道車両および／または連結装置を有し、第２のオブジェクトクラスは、人間を有し、第２のオブジェクトサブクラスは、この人間の性別、大きさおよび／または年齢を有する。

【0028】

さらに、該当するコンピュータビジョンモデルに関連する別のオブジェクト、例えば、交通標識、建物なども同様に分類可能である。オブジェクトクラスおよびオブジェクトサブクラスにオブジェクトを分類することにより、一方では、該当するオブジェクトの正確な分類も、またオブジェクトの予想される挙動についての予想も行うことできる。

【0029】

本発明の別の態様によると、この方法はさらに、画像データ、ビデオデータおよび／または点群データを検出するセンサに割り当てられる少なくとも１つの特性が、少なくとも１つのセンサクラスを有するステップを有し、第１のセンサクラスは、画像センサを有し、第１のセンササブクラスは、支持装置における、特に検出車両における画像センサの位置および配向を有し、第２のセンサクラスは、ＬｉＤＡＲセンサを有し、第３センサクラスは、レーダセンサを有する。

【0030】

したがって、検出されるオブジェクトに対して相対的な画像センサの位置および配向がわかることにより、有利には、オブジェクトのより正確な分類を同様に可能にすることができる。

【0031】

本発明の別の態様によると、この方法にさらに含まれるのは、第１のセンササブクラスが、支持装置において、特に検出車両において、前方中央に配置される広角カメラ、前方中央に配置される狭角カメラ、前方左に配置されるカメラ、前方右に配置されるカメラ、後方左に配置されるカメラ、後方右に配置されるカメラおよび／または後方中央に配置される広角カメラを有することである。

【0032】

これにより、有利には、移動するまたは静止しているオブジェクトを含めた、周囲を取り囲む交通状況の３６０°検出が可能である。

【0033】

本発明の別の態様によると、この方法にさらに含まれるのは、画像データ、ビデオデータおよび／または点群データにおける少なくとも１つのオブジェクトの識別および視覚的なアノテーションを手動で、特にユーザによって行うことであり、オブジェクトの少なくとも１つの特性の割り当て、および／または、少なくとも１つのオブジェクトを検出する少なくとも１つのセンサの少なくとも１つの特性の割り当てを自動的に実行する。

【0034】

これにより、本発明による方法は、有利には、画像データ、ビデオデータおよび／または点群データにおける少なくとも１つのオブジェクトの識別および視覚的なアノテーションのステップが、ユーザによって手動で行われ、これに基づいて、オブジェクトへの特性の自動割り当て、および／または、画像データ、ビデオデータおよび／または点群データを検出するセンサの自動的な指示が行われる場合にも同様に使用可能である。

【0035】

本発明の別の態様によると、この方法に含まれるのはさらに、少なくとも１つのオブジェクトの寸法に対する、視覚的なアノテーションの寸法の一致の度合い、および／または、少なくとも１つのオブジェクトの概念的なラベルと少なくとも１つのオブジェクトとの一致の度合い、および／または、少なくとも１つのオブジェクトを検出する少なくとも１つのセンサの概念的なラベルと少なくとも１つのセンサとの一致の度合いを、ユーザによってチェックすることである。

【0036】

これにより、有利には、視覚的なアノテーションの可能な限り高い精度および／または概念的なアノテーションの正確さを可能にすることができる。したがって、自動的な視覚的および概念的なアノテーションのコンピュータ実装方法の高い効率性もしくは有効性を有しながらも、ユーザに後処理により、付加的なコストは比較的わずかになる。

【0037】

本発明の別の態様によると、この方法にさらに含まれるのは、少なくとも１つのオブジェクトの寸法に対する、視覚的なアノテーションの寸法の一致の度合いは、境界要素の寸法が、アノテーションされたオブジェクトの寸法、特に外形寸法に実質的に相当する場合に十分であると評価することである。

【0038】

これにより、有利には、視覚的なアノテーションの精度を特定するための客観的な評価基準を設けることができる。

【0039】

本発明の別の態様によると、この方法にさらに含まれるのは、少なくとも１つの視覚的なアノテーションの実行の際にかつ／またはオブジェクトの少なくとも１つの特性および／またはセンサの少なくとも１つの特性の割り当ての際に、アノテーションの数値の計算に必要な情報、特に、少なくとも１つの自動的に実行されるアクションの情報を有するトランザクションデータセットを作成して、トランザクションデータ記憶装置に記憶することである。

【0040】

これにより、トランザクションデータセットには有利には、個々に実行されるそれぞれのアクションが記憶され、すなわち、このアクションが、視覚的なアノテーションおよび／または概念的なアノテーションであるか否か、および概念的なアノテーションが、オブジェクト特性および／またはセンサ特性の割り当てを含むか否かが記憶される。

【0041】

本発明の別の態様によると、この方法にさらに含まれるのは、オブジェクトのアノテーションにおいてユーザによって実行される変更、特に、視覚的なアノテーションの変更、および／または、オブジェクトの少なくとも１つの特性、および／または、画像データ、ビデオデータおよび／または点群データを検出する少なくとも１つのセンサの特性の変更を、オブジェクトのトランザクションデータセットに、またはオブジェクトのトランザクションデータセットに関連付けられるトランザクションデータセットに取り込んで、トランザクションデータ記憶装置に記憶することである。

【0042】

これにより、コンピュータ実装方法によって自動的に実行されるアノテーションステップに加えて、トランザクションデータセットにおいて同様に記憶することができるのは、該当するオブジェクトのアノテーションにおいて変更が行われたか否かまたどの程度の変更が行われたかである。このようなトランザクションデータセットはさらに、実行されるアクションの価格設定のための基礎を形成する。

【0043】

本発明の別の態様によると、この方法にはさらに、アノテーションの数値により、アノテーションの価格を形成することが含まれ、ここでは、価格設定プランを使用し、評価モジュールにより、トランザクションデータセットに含まれる、実行されたアクションに関連するそれぞれのエントリを価格設定する。これにより、有利には、実行されたアクションの正確な価格設定を行うことができる。

【0044】

本発明の別の態様によると、この方法にはさらに、評価モジュールにより、少なくとも１つの、特に自動的に実行されるアノテーションの少なくとも１つのエントリの数値から第１の総和を形成し、トランザクションデータセットが、ユーザによって実行された変更の少なくとも１つのエントリを有する場合、評価モジュールにより、ユーザによって実行された変更の少なくとも１つのエントリの数値から第２の総和を形成し、アノテーションの数値、特に価格を計算するために第１の総和から第２の総和を減算する。

【0045】

したがって、本発明による方法により、該当するオブジェクトの実行されたアノテーションが、有利には、特定の技術的なパラメータ、すなわち視覚的なアノテーションの精度および該当するアノテーションの正しい割り当てに応じて価格設定され、これに対応する、得られた成果の、結果に関連する決済が可能になる。

【0046】

本明細書で説明した方法の特徴的構成は、コンピュータビジョンモデルとは異なる別のシナリオ、例えば、種々異なる周囲環境における人物識別などにも同様に適用可能である。

【0047】

本発明およびその利点をよりよく理解するために、所属の図面に関連した以下の説明を参照されたい。

【0048】

以下では、図面の概略図に示されている例示的な実施形態に基づいて本発明を詳しく説明する。

【図面の簡単な説明】

【0049】

【図1】本発明の好ましい実施形態にしたがい、画像データ、ビデオデータおよび／または点群データにおいて識別される少なくとも１つのオブジェクトのアノテーションに数値を対応付ける方法の流れ図である。

【図2】本発明の好ましい実施形態にしたがい、画像データ、ビデオデータおよび／または点群データにおけるオブジェクトの、実行されたアノテーションの概略図である。

【図3】本発明の好ましい実施形態にしたがい、画像データ、ビデオデータおよび／または点群データにおけるオブジェクトの、実行された別のアノテーションの概略図である。

【図4】本発明の好ましい実施形態にしたがい、複数のオブジェクト特性を示すブロック図である。

【図5】本発明の好ましい実施形態にしたがい、複数のセンサ特性を示すブロック図である。

【図6】本発明の好ましい実施形態にしたがい、画像データ、ビデオデータおよび／または点群データにおいて識別される少なくとも１つのオブジェクトのアノテーションに数値を対応付けるためのシステムを示す概略ブロック図である。

【発明を実施するための形態】

【0050】

特に断らない限り、同じ参照符号は、図面の同じ要素を示す。

【0051】

図１には、本発明の好ましい実施形態にしたがい、画像データ、ビデオデータおよび／または点群データにおいて識別される少なくとも１つのオブジェクトのアノテーションに数値を対応付ける方法の流れ図が示されている。

【0052】

この方法には、受け取った画像データ、ビデオデータおよび／または点群データ１２における少なくとも１つのオブジェクト１４ａ，１４ｂの識別Ｓ１およびアノテーションＳ２が含まれる。識別Ｓ１および／またはアノテーションＳ２は、ここでは少なくとも部分的に自動的に実行される。

【0053】

これとは択一的に、画像データ、ビデオデータおよび／または点群データにおける少なくとも１つのオブジェクト１４ａ，１４ｂの識別Ｓ１および視覚的なアノテーション１０ａ，Ｓ３を手動で、すなわちユーザによって実行する選択肢がある。

【0054】

この方法にはさらに、少なくとも１つのオブジェクト１４ａ，１４ｂのアノテーション１０ａ，１０ｂの数値の計算Ｓ３が含まれている。数値は、アノテーション１０ａ，１０ｂについて精算すべき価格に対応する。

【0055】

数値は、少なくとも１つのオブジェクト１４ａ，１４ｂの寸法３６ａ，３６ｂに対する、視覚的なアノテーション１０ａの寸法３４ａ，３４ｂの一致の度合い、および／または、少なくとも１つのオブジェクト１４ａ，１４ｂの概念的なラベル１０ｂと少なくとも１つのオブジェクト１４ａ，１４ｂとの一致の度合い、および／または、少なくとも１つのオブジェクト１４ａ，１４ｂを検出する少なくとも１つのセンサ１６ａ，１６ｂの概念的なラベル１０ｃと少なくとも１つのセンサ１６ａ，１６ｂとの一致の度合いに少なくとも部分的に応じて計算される。

【0056】

少なくとも１つのオブジェクトの寸法３６ａ，３６ｂに対する、視覚的なアノテーション１０ａの寸法３４ａ，３４ｂの一致の度合いとは、視覚的なアノテーション、例えば、境界フレームが、その大きさおよび位置において、オブジェクトに対して正しく算定されていることを意味する。

【0057】

したがって境界フレームは、オブジェクトに対して相対的に過度に小さくもなく過度に大きくなく、さらにオブジェクトに対して正確に位置決めおよび／配向されている。

【0058】

少なくとも１つのオブジェクト１４ａ，１４ｂの概念的なラベル１０ｂと少なくとも１つのオブジェクト１４ａ，１４ｂとの一致とは、画像コンテンツと概念的なコンテンツとが一致する、すなわち、例えば、画像データ、ビデオデータおよび／または点群データにおいて検出される乗用車が、概念的にも正しく乗用車として示されていることを意味する。

【0059】

少なくとも１つのオブジェクト１４ａ，１４ｂを検出する少なくとも１つのセンサ１６ａ，１６ｂの概念的なラベル１０ｃと少なくとも１つのセンサ１６ａ、１６ｂとの一致とは、画像データ、ビデオデータおよび／または点群データが得られた該当するセンサが、正しく指示されていることを意味する。

【0060】

したがって、画像データ、ビデオデータおよび／または点群データが、例えば、前方中央に配置された広角カメラ３２ａと前方左に配置されたカメラ３２ｃとを使用して得られた場合、これらのカメラは、正しく概念的に指示されているか、もしくは画像データ、ビデオデータおよび／または点群データに正しく割り当てられているはずである。

【0061】

さらにこの方法は、計算された数値の、少なくとも１つのオブジェクト１４ａ，１４ｂへの対応付けＳ４を有する。

【0062】

さらに、少なくとも１つのオブジェクトの識別Ｓ１およびアノテーションＳ２は、好ましくは機械学習のアルゴリズム、例えば人工ニューラルネットワークを使用して自動的に実行されるように構成されている。

【0063】

アノテーションＳ２には、視覚的なアノテーション１０ａ、少なくとも１つのオブジェクト１４ａ，１４ｂへのあらかじめ定められた個数の特性１０ｂ１の割り当て、および／または、画像データ、ビデオデータおよび／または点群データ１２を検出する少なくとも１つのセンサ１６ａ，１６ｂの、オブジェクト１４ａ，１４ｂへの指示１０ｂ２が含まれる。

【0064】

図２には、本発明の好ましい実施形態にしたがい、画像データ、ビデオデータおよび／または点群データにおけるオブジェクトの、実行されたアノテーションの概略図が示されている。

【0065】

視覚的なアノテーション１０ａには、オブジェクト１４ａ，１４ｂを取り囲む境界要素１８ａの自動的な位置決めおよび描画が含まれている。境界要素１８ａは、この図では２次元境界フレーム１８ａによって構成されている。

【0066】

視覚的なアノテーション１０ａの精度は、ユーザによってチェックされる。

【0067】

視覚的なアノテーション１０ａはここでは、視覚的なアノテーション１０ａが、大きさに関連する、ユーザ定義の要求を満たしている場合、特に、境界要素１８ａ，１８ｂの寸法３４ａ，３４ｂが、アノテーションされたオブジェクト１４ａ，１４ｂの外形寸法３６ａ，３６ｂに実質的に対応する場合、正しいと評価される。

【0068】

該当するオブジェクト１４ａ，１４ｂの周りに、対応する境界フレーム１８ａの自動的に位置決めして描画することの目的は、画像データ、ビデオデータおよび／または点群データ１２におけるオブジェクト１４ａ，１４ｂのアノテーションのプロセスを完全に自動化し、これにより、ユーザによる後処理が必要でないようにすることである。

【0069】

これにより、正確であり、効率的でありかつコストを削減する、画像データ、ビデオデータおよび／または点群データにおいて得られるオブジェクトのアノテーションを達成することができる。

【0070】

図３には、本発明の好ましい実施形態にしたがい、画像データ、ビデオデータおよび／または点群データにおけるオブジェクトの、実行されたアノテーションの別の概略図が示されている。

【0071】

視覚的なアノテーション１０ａには、オブジェクト１４ａ，１４ｂを取り囲む境界要素１８ｂの自動的な位置決めおよび描画が含まれている。

【0072】

境界要素１８ｂは、この実施例では３次元境界フレーム１８ｂによって構成されている。この図は、画像データおよび／またはビデオデータ１２である。３次元境界フレームはさらに、特にＬｉＤＡＲ画像データおよび／またはレーダ画像データにおいて、すなわち点群データにおいて適している。

【0073】

図４には、本発明の好ましい実施形態にしたがい、複数のオブジェクト特性のブロック図が示されている。

【0074】

（図４に示されていない）オブジェクトに割り当てられるあらかじめ決められた個数の特性１０ｂ１は、少なくとも１つのオブジェクトクラスを有する。

【0075】

第１のオブジェクトクラス２２ａは、自動車２２ａ１を有する。第１のオブジェクトサブクラス２２ｂは、乗用車２２ｂ１、貨物自動車２２ｂ２、配達用自動車２２ｂ３、バス２２ｂ４、建設車両２２ｂ５、鉄道車両２２ｂ６および／または連結装置２２ｂ７を有する。

【0076】

第２のオブジェクトクラス２４ａは、人間２４ａ１を有する。第２のオブジェクトサブクラス２４ｂは、人間２４ａ１の性別２４ｂ１、大きさ２４ｂ２および／または年齢２４ｂ３を有する。オブジェクトへの少なくとも１つの特性１０ｂ１の正しい割り当ては、ここではユーザによってチェックされる。

【0077】

図５には、本発明の好ましい実施形態にしたがい、複数のセンサ特性のブロック図が示されている。

【0078】

概念的なラベル１０ｃは、少なくとも１つのオブジェクトを検出する少なくとも１つのセンサ１６ａ，１６ｂに対する。

【0079】

画像データ、ビデオデータおよび／または点群データ１２を検出するセンサ１６ａ，１６ｂに割り当てられる、あらかじめ定められた個数の特性１０ｂ２は、少なくとも１つのセンサクラスを有する。第１のセンサクラス２６ａは、画像センサ１６ａを有する。

【0080】

第１のセンササブクラス２６ｂは、検出車両２８における画像センサ１６ａの位置および配向を有する。第２のセンサクラス３０は、ＬｉＤＡＲセンサを有し、第３センサクラス３１は、レーダセンサ１６ｃを有する。

【0081】

検出車両２８とは択一的に、センサ１６ａ，１６ｂは、例えば、静止している支持装置、例えば、建物および／または交通標識に配置されていてよい。

【0082】

さらに択一的には、センサ１６ａ，１６ｂは、例えば、鉄道車両および／または航空機に配置されていてよい。

【0083】

建物に、例えば駐車場ビルにセンサ１６ａ，１６ｂを配置する際にはセンサにより、駐車する、入庫するかつ／または出庫する自動車を検出することができる。

【0084】

交通標識に、例えば信号機および／または交通管制システムの表示板にセンサ１６ａ，１６ｂを配置する際には、センサにより、通過する自動車を検出することができる。

【0085】

第１のセンササブクラス２６ｂは、検出車両２８の前方中央に配置される広角カメラ３２ａ、前方中央に配置される狭角カメラ３２ｂ、前方左に配置されるカメラ３２ｃ、前方右に配置されるカメラ３２ｄ、後方左に配置されるカメラ３２ｅ、後方右に配置されるカメラ３２ｆおよび／または後方中央に配置される広角カメラ３２ｇを有する。

【0086】

本発明によるコンピュータ実装方法は択一的に、例えば、オーディオデータ、特に音声データ、および／または、構造化データにおいて識別される少なくとも１つのオブジェクトのアノテーションに数値を対応付けることができる。

【0087】

図６には、本発明の好ましい実施形態にしたがい、画像データ、ビデオデータおよび／または点群データにおいて識別される少なくとも１つのオブジェクトのアノテーションに数値を対応付けるためのシステムの概略ブロック図が示されている。

【0088】

このシステムには、受け取った画像データ、ビデオデータおよび／または点群データ１２における少なくとも１つのオブジェクト１４ａ，１４ｂの識別およびアノテーションの手段５２，５４が含まれており、識別および／またはアノテーションは、少なくとも部分的に自動的に実行可能である。

【0089】

このシステムにはさらに、少なくとも１つのオブジェクト１４ａ，１４ｂのアノテーション１０ａ，１０ｂの数値を計算する手段５６が含まれている。

【0090】

数値はここでは、少なくとも１つのオブジェクト１４ａ，１４ｂの寸法３６ａ，３６ｂに対する、視覚的なアノテーション１０ａの寸法３４ａ，３４ｂの一致の度合い、および／または、少なくとも１つのオブジェクト１４ａ，１４ｂの概念的なラベル１０ｂと少なくとも１つのオブジェクト１４ａ，１４ｂとの一致の度合い、および／または、少なくとも１つのオブジェクトを検出する少なくとも１つのセンサ１６ａ，１６ｂの概念的なラベル１０ｃと少なくとも１つのセンサ１６ａ，１６ｂとの一致の度合いに少なくとも部分的に応じて計算可能である。

【0091】

このシステムにはさらに、少なくとも１つのオブジェクト１４ａ，１４ｂへの、計算された数値の対応付けＳ４のための手段５８が含まれている。

【0092】

少なくとも１つの視覚的なアノテーション、および／または、オブジェクトの少なくとも１つの特性の割り当て、および／または、画像データ、ビデオデータおよび／または点群データを検出する少なくとも１つのセンサの指示を実行する際に、ここでは、アノテーションの価格の計算に必要な情報、特に、少なくとも１つの自動的に実行されるアクションの情報を有するトランザクションデータセット３８を作成して、トランザクションデータ記憶装置４０に記憶する。

【0093】

ここでは、オブジェクトを新たにアノテーションする毎に、対応するトランザクションデータセット３８を作成し、プッシュメッセージＰにより、トランザクションゲートウェイ３９に送信し、このトランザクションゲートウェイ３９により、トランザクションデータセット３８がトランザクションデータ記憶装置４０に転送されてこれに記憶される。

【0094】

オブジェクトのアノテーションにおいてユーザによって実行される変更４２ａ，４２ｂ、特に、視覚的なアノテーションの変更４２ａ、および／または、オブジェクトの少なくとも１つの特性の変更４２ｂ、および／または、画像データ、ビデオデータおよび／または点群データを検出する少なくとも１つのセンサの特性は、ここでは、オブジェクトのトランザクションデータセット３８に、または択一的には、オブジェクト１４ａ，１４ｂのトランザクションデータセット３８に関連付けられるトランザクションデータセット３８に取り込まれて、トランザクションデータ記憶装置４０に記憶される。

【0095】

トランザクションデータセット３８に含まれている、実行されたアクションに関連するそれぞれのエントリ３８ａ，３８ｂは、価格設定プラン４６を使用して評価モジュール４４によって価格設定される。評価モジュール４４により、自動的に実行される少なくとも１つのアノテーションの少なくとも１つのエントリ３８ａの価格から第１の総和４８が形成される。

【0096】

トランザクションデータセット３８が、ユーザによって実行された変更４２ａ，４２ｂの少なくとも１つのエントリ３８ｂを有する場合、評価モジュール４４により、ユーザによって実行された変更４２ａ，４２ｂの少なくとも１つのエントリ３８ｂの価格から第２の総和５０が形成される。第２の総和５０はさらに、アノテーションの価格計算のために第１の総和４８から減算される。

【0097】

エントリ３８ａおよびエントリ３８ｂは択一的には、互いに別々の２つのトランザクションデータセット３８に記憶可能であり、アノテーションの価格計算が、２つのトランザクションデータセット３８のエントリ３８ａ，３８ｂを使用して可能になるようにこれらのトランザクションデータセット３８が互いに関連付けられる。

【0098】

トランザクションデータセットの変更が行われない場合、第１の総和４８が、価格決定にとっての決定因子である。実行されたアクションの価格設定への別の影響因子は、該当する顧客について格納された条件、例えば価格設定プラン４６の割引を含む定期利用モジュール４５である。

【0099】

本明細書では特定の実施形態を記載して説明してきたが、多くの択一的かつ／または同等の実装形態が存在することが当業者には理解されよう。例示的な実施形態は、単なる実施例であり、範囲、適用可能性または構成をいかなる形でも制限するために使用されないことに顧慮すべきである。

【0100】

むしろ上述したまとめおよび詳細な説明は、少なくとも１つの例示的な実施形態を実装するために都合のよい指示を当業者に提供しているのであり、添付の特許請求の範囲およびその法的な同等物から逸脱することなく、要素の機能範囲および配置における種々の変更を行うことできるのは当然のことである。

【0101】

一般に、本願が意図しているのは、本明細書に示した実施形態の変更形態もしくは適合形態または変形形態を含むことである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】