特開 2024-35833 検出されたオブジェクトをアノテーションする方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024035833

(43)【公開日】2024-03-14

(54)【発明の名称】検出されたオブジェクトをアノテーションする方法及び装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240307BHJP

   G06V 10/70 20220101ALI20240307BHJP

   G06F 16/75 20190101ALI20240307BHJP

   G08G 1/16 20060101ALI20240307BHJP

【ＦＩ】

G06T7/00 350Z

G06V10/70

G06F16/75

G08G1/16 C

【審査請求】有

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023142365

(22)【出願日】2023-09-01

(31)【優先権主張番号】10-2022-0111491

(32)【優先日】2022-09-02

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0135629

(32)【優先日】2022-10-20

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0164963

(32)【優先日】2022-11-30

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0164964

(32)【優先日】2022-11-30

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】523045180

【氏名又は名称】４２ドット・インコーポレイテッド

【氏名又は名称原語表記】４２ｄｏｔ Ｉｎｃ．

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(72)【発明者】

【氏名】チョ，フンギョン

(72)【発明者】

【氏名】パク，ジョンピル

(72)【発明者】

【氏名】チョ，ミョンフン

【テーマコード（参考）】

5B175

5H181

5L096

【Ｆターム（参考）】

5B175DA04

5B175FA03

5B175FB02

5H181AA01

5H181BB04

5H181BB05

5H181BB13

5H181CC04

5H181FF04

5H181FF27

5H181LL01

5H181LL04

5H181LL09

5L096BA04

5L096CA02

5L096FA16

5L096FA18

5L096FA59

5L096FA69

5L096GA51

5L096JA22

5L096KA04

5L096KA13

5L096KA15

(57)【要約】      （修正有）

【課題】検出されたオブジェクトをアノテーションする方法及び装置を提供する。
【解決手段】検出されたオブジェクトをアノテーションする方法は、オブジェクトのクラスを分類するステップ６１０と、オブジェクトのクラスに基づいてオブジェクトに対して１つの辺を共有する第１四角形及び第２四角形を含むバウンディングボックスを生成するステップ６２０と、バウンディングボックス単位でオブジェクトに関するアノテーションを生成するステップ６３０と、を含む。
【選択図】図６

【特許請求の範囲】

【請求項1】

検出されたオブジェクトをアノテーションする方法として、
前記オブジェクトのクラスを分類するステップ、
前記オブジェクトのクラスに基づいて、前記オブジェクトに対して１つの辺を共有する第１四角形及び第２四角形を含むバウンディングボックスを生成するステップ、及び
前記バウンディングボックス単位で前記オブジェクトに関するアノテーションを生成するステップを含む、方法。

【請求項2】

前記方法は、
前記オブジェクトの属性（ａｔｔｒｉｂｕｔｅ）を決定するステップをさらに含み、
前記アノテーションを生成するステップは、
前記バウンディングボックス単位で前記オブジェクトのクラス及びオブジェクトの属性に関するアノテーションを生成するステップを含む、請求項１に記載の方法。

【請求項3】

前記オブジェクトのクラスは、
乗用車、乗合車、トラック、二輪車、歩行者、緊急車、またはその他のいずれかである、
請求項１に記載の方法。

【請求項4】

前記オブジェクトが貨物を運ぶように設計された自動車として他の車両を積載している場合、前記積載された他の車両はクラスを分類しない、請求項１に記載の方法。

【請求項5】

前記バウンディングボックスを生成するステップは、
前記分類されたオブジェクトのクラスに応じて異なる基準を適用してバウンディングボックスを生成することである、請求項１に記載の方法。

【請求項6】

前記第１四角形は長方形であり、
前記第２四角形は台形である、請求項１に記載の方法。

【請求項7】

前記第１四角形は前記オブジェクトの前面または後面に対応し、
前記第２四角形は、前記オブジェクトの左側面または右側面に対応する、請求項１に記載の方法。

【請求項8】

前記オブジェクトの上面が露出された場合、
前記第１四角形または前記第２四角形は前記オブジェクトの上面を含む、請求項７に記載の方法。

【請求項9】

前記オブジェクトが車輪を有する車両である場合、
前記第２四角形は、車輪が地面に接触する点（ｗｈｅｅｌ ｇｒｏｕｎｄ ｐｏｉｎｔ）を結ぶ線分を含む、請求項１に記載の方法。

【請求項10】

前記オブジェクトのクラスが二輪車または歩行者の場合、
前記第１四角形の幅は、前記オブジェクトに含まれる人の肩の幅と同じように生成される、請求項５に記載の方法。

【請求項11】

前記方法は、
前記検出されたオブジェクトが車両であり、映像データに見られる割合が前記オブジェクトの全体サイズの臨界比率未満である場合、前記バウンディングボックスを生成しないように決定するステップをさらに含む、請求項１に記載の方法。

【請求項12】

前記オブジェクトの属性は、
見える程度、移動状態、車線位置、主な状態、オブジェクトのサイズ、及びサブクラスを含む、請求項２に記載の方法。

【請求項13】

前記方法は、
前記生成されたアノテーションに基づいて、自車両を制御するステップをさらに含む、請求項１に記載の方法。

【請求項14】

検出されたオブジェクトをアノテーションする装置において、
少なくとも１つのプログラムが保存されたメモリ及び
前記少なくとも１つのプログラムを実行することによって動作するプロセッサを含み、
前記プロセッサは、
前記オブジェクトのクラスを分類し、
前記オブジェクトのクラスに基づいて、前記オブジェクトに対して１つの辺を共有する第１四角形及び第２四角形を含むバウンディングボックスを生成し、
前記バウンディングボックス単位で前記オブジェクトに関するアノテーションを生成する、装置。

【請求項15】

請求項１に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検出されたオブジェクトをアノテーションする方法及び装置に関する。

【背景技術】

【0002】

人工知能（ＡＩ）は、人間の学習能力、推論能力などを、コンピュータプログラムを用いて人工的に再現する技術を意味する。人工知能に関して、機械学習は、複数のパラメータからなるモデルを用いて所与のデータでパラメータを最適化する学習を意味する。

【0003】

人工知能の学習のために学習用データを設計することが必要である。学習用データ設計にはデータを加工することが必要であり、その中でもアノテーションとは、映像データの中に含まれるオブジェクトに対してバウンディングボックスを生成して必要な情報を入力することを意味する。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の目的は、検出されたオブジェクトをアノテーションする方法及び装置を提供することである。本開示が解決しようとする課題は、上記で言及した課題に限定されず、言及されていない本開示の他の課題及び利点は、以下の説明によって理解され得、本開示の実施形態によってより明確に理解されるであろう。さらに、本開示が解決しようとする課題及び利点は、特許請求の範囲に示された手段及びその組み合わせによって実現され得ることが理解されるであろう。

【課題を解決するための手段】

【0005】

前記技術的課題を解決するための第１実施形態は、オブジェクトのクラスを分類するステップ、前記オブジェクトのクラスに基づいて、前記オブジェクトに対して１つの辺を共有する第１四角形及び第２四角形を含むバウンディングボックスを生成するステップ、及び前記バウンディングボックス単位で前記オブジェクトに関するアノテーションを生成するステップを含む。

【0006】

前記方法は、前記オブジェクトの属性（ａｔｔｒｉｂｕｔｅ）を決定するステップをさらに含み、前記アノテーションを生成するステップは、前記バウンディングボックス単位で前記オブジェクトのクラス及びオブジェクトの属性に関するアノテーションを生成するステップを含むことができる。

【0007】

前記方法において、前記オブジェクトのクラスは、乗用車、乗合車、トラック、二輪車、歩行者、緊急車、またはその他のいずれかであり得る。

【0008】

前記方法において、前記オブジェクトが貨物を運ぶように設計された自動車として他の車両を積載している場合、前記積載された他の車両はクラスを分類しなくてもよい。

【0009】

前記方法において、前記バウンディングボックスを生成するステップは、前記分類されたオブジェクトのクラスに応じて異なる基準を適用してバウンディングボックスを生成することであり得る。

【0010】

前記方法において、前記第１四角形は長方形であり、前記第２四角形は台形であり得る。

【0011】

前記方法において、前記第１四角形は前記オブジェクトの前面または後面に対応し、前記第２四角形は前記オブジェクトの左側面または右側面に対応することができる。

【0012】

前記方法において、前記オブジェクトの上面が露出している場合、前記第１四角形または前記第２四角形は前記オブジェクトの上面を含むことができる。

【0013】

前記方法において、前記オブジェクトが車輪を有する車両である場合、前記第２四角形は、車輪が地面に接触する点（ｗｈｅｅｌ ｇｒｏｕｎｄ ｐｏｉｎｔ）を結ぶ線分を含むことができる。

【0014】

前記方法において、前記オブジェクトのクラスが二輪車または歩行者である場合、前記第１四角形の幅は、前記オブジェクトに含まれる人の肩の幅と同じように生成することができる。

【0015】

前記方法は、前記検出されたオブジェクトが車両であり映像データに見られる割合が前記オブジェクトの全体サイズの臨界比率未満である場合、前記バウンディングボックスを生成しないように決定するステップをさらに含むことができる。

【0016】

前記方法において、前記オブジェクトの属性は、見える程度、移動状態、車線位置、主な状態、オブジェクトのサイズ、及びサブクラスを含むことができる。

【0017】

前記方法は、前記生成されたアノテーションに基づいて自車両を制御するステップをさらに含むことができる。

【0018】

前記技術的課題を解決するための本発明の第２実施形態による装置は、少なくとも１つのプログラムが保存されたメモリ、及び前記少なくとも１つのプログラムを実行することによって動作するプロセッサを含み、前記プロセッサは、オブジェクトのクラスを分類し、前記オブジェクトのクラスに基づいて前記オブジェクトに対して１つの弁を共有する第１四角形及び第２四角形を含むバウンディングボックスを生成し、前記バウンディングボックス単位で前記オブジェクトに関するアノテーションを生成する検出されたオブジェクトをアノテーションするための装置を提供することができる。

【0019】

前記技術的課題を解決するための本発明の第３実施形態による方法は、走行中に取得された第１映像に含まれた少なくとも１つのオブジェクトを認識し、前記認識されたオブジェクトごとに第１外郭線を生成するステップ、前記生成された第１外郭線に基づいて前記第１映像から前記認識されたオブジェクトを抽出するステップ、前記抽出されたオブジェクトを第１学習モデルに入力した結果として、前記抽出されたオブジェクトの第２外郭線の第１座標値を取得するステップ、及び前記取得された第１座標値に基づいて前記第２外郭線が適用されたオブジェクトを前記第１映像にマージするステップを含む。

【0020】

前記方法において、前記第１映像における前記抽出されたオブジェクトの位置に対する第２座標値を算出し、前記第２座標値に基づいて前記第２外郭線の座標である第３座標値を算出するステップをさらに含み、前記第１映像にマージするステップは、前記取得された第３座標値をさらに考慮して、前記第２外郭線が適用されたブジェクトを前記第１映像にマージすることができる。

【0021】

前記方法において、前記第１座標値は７つの座標値で構成することができる。

【0022】

前記方法において、前記第１座標値は８つの座標値で構成することができる。

【0023】

前記方法において、前記第１外郭線は多角形の形態であり得る。

【0024】

前記方法において、前記第１外郭線は長方形の形態であり得る。

【0025】

前記方法において、前記第１外郭線は、前記第１映像を第２学習モデルに入力した結果として生成されてもよい。

【0026】

前記方法において、前記第２外郭線はキューボイド（ｃｕｂｏｉｄ）形態であり得る。

【0027】

前記方法において、前記第２外郭線は正方形の形態であり得る。

【0028】

前記方法において、前記第２外郭線は２つの多角形を含む形態であり得る。

【0029】

前記方法において、前記２つの多角形のうちの１つは前記オブジェクトの前面（ｆｒｏｎｔ）または後面（ｒｅａｒ）を表し、残りの１つは前記オブジェクトの側面を表すことができる。

【0030】

前記方法において、前記第２外郭線は、２つの多角形が少なくとも１つの共通の辺に基づいて結合された形態であり得る。

【0031】

前記方法において、前記第２外郭線は長方形及び台形を含む形態であり得る。

【0032】

前記方法において、前記第１外郭線の規格は、前記第２外郭線の規格を含むことができる。

【0033】

前記技術的課題を解決するための本発明の第４実施形態による装置は、少なくとも１つのプログラムが保存されたメモリ、及び前記少なくとも１つのプログラムを実行することによって演算を行うプロセッサを含み、前記プロセッサは、走行中に取得された第１映像に含まれた少なくとも１つのオブジェクトを認識し、前記認識されたオブジェクトごとに第１外郭線を生成し、前記生成された第１外郭線に基づいて前記第１映像から前記認識されたオブジェクトを抽出し、前記抽出されたオブジェクトを第１学習モデルに入力した結果として、前記抽出されたオブジェクトの第２外郭線に対する第１座標値を取得し、前記取得された第１座標値に基づいて前記第２外郭線が適用されたオブジェクトを前記第１映像にマージすることができる。

【0034】

前記技術的課題を解決するための本発明の第５実施形態による方法は、走行中に取得された第１映像に含まれる少なくとも１つのオブジェクトを認識し、前記認識されたオブジェクトごとに第１外郭線を生成するステップ、前記第１映像において前記生成された第１外郭線を構成する第１座標値を抽出するステップ、及び前記認識されたオブジェクト及び前記抽出された第１座標値に基づいて、前記認識されたオブジェクトのキューボイドの座標を取得するステップを含む。

【0035】

前記方法において、前記第１外郭線は、前記認識されたオブジェクトに対するバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）であり得る。

【0036】

前記方法において、前記キューボイドは、前記認識されたオブジェクトの高さ、幅、及び深さに関する情報を視覚的に表した標識であり得る。

【0037】

前記方法において、前記キューボイドは、前記認識されたオブジェクトの側面を表すサイドポイント（ｓｉｄｅ ｐｏｉｎｔ）を含むことができる。

【0038】

前記方法において、前記サイドポイントは、上下に配置された２つの点を含むことができる。

【0039】

前記方法において、前記キューボイドは、前記認識されたオブジェクトの後面を表す後面標識（ｒｅａｒ ｓｉｇｎ）を含むことができる。

【0040】

前記方法において、前記キューボイドは、前記認識されたオブジェクトの露出度を示す露出標識を含むことができる。

【0041】

前記方法において、前記キューボイドは、前記認識されたオブジェクトの側面を表すサイドポイント、前記認識されたオブジェクトの後面を表す後面標識、及び前記認識されたオブジェクトの露出度を表す露出標識のうちの少なくとも１つを含むことができる。

【0042】

前記方法において、前記取得されたキューボイドは、前記認識されたオブジェクトの後面を示す後面標識を含み、前記後面標識は、前記認識されたオブジェクトの方向が完全に前面（ｆｒｏｎｔ ｏｎｌｙ）方向であれば、前記認識されたオブジェクトの真ん中を分けて上下方向に延びる線（ｌｉｎｅ）であり得る。

【0043】

前記方法において、前記後面標識の長さは、前記第１外郭線の高さと一致し得る。

【0044】

前記方法において、前記取得されたキューボイドは、前記認識されたオブジェクトの後面を示す後面標識を含み、前記後面標識は、前記認識されたオブジェクトの方向が完全に後面（ｒｅａｒ ｏｎｌｙ）方向であれば、前記第１外郭線と一致し得る。

【0045】

前記方法において、前記取得されたキューボイドは、前記認識されたオブジェクトの側面を表すサイドポイント及び前記認識されたオブジェクトの後面を示す後面標識を含み、前記認識されたオブジェクトの方向が前記認識されたオブジェクトの前面及び側面のみが見える方向であれば、前記サイドポイントを結ぶ線の長さは第１外郭線の高さに等しく、前記後面標識は前記第１外郭線の左辺または右辺の少なくとも一部を共有する線に限定されてもよい。

【0046】

前記方法において、前記取得されたキューボイドは、前記認識されたオブジェクトの側面を表すサイドポイント及び前記認識されたオブジェクトの後面を示す後面標識を含み、前記認識されたオブジェクトの方向が前記認識されたオブジェクトの側面及び後面のみが見える方向であれば、前記サイドポイントを結ぶ線の長さは、前記第１外郭線の左辺または右辺の一部の長さに制限され、前記後面標識は、前記第１外郭線の右辺を共有する四角形で表され得る。

【0047】

前記方法において、第１項において、前記取得されたキューボイドは、前記認識されたオブジェクトの側面を表すサイドポイント及び前記認識されたオブジェクトの後面を示す後面標識を含み、前記認識されたオブジェクトの方向が前記認識されたオブジェクトの左側面または右側面のみが見える方向であれば、前記サイドポイントを結ぶ線の長さは第１外郭線の高さに等しく、前記後面標識は前記第１外郭線の左辺または右辺を共有する線に限定され得る。

【0048】

前記技術的課題を解決するための本発明の第６実施形態による装置は、少なくとも１つのプログラムが保存されたメモリ、及び前記少なくとも１つのプログラムを実行することによって、演算を行うプロセッサを含み、前記プロセッサは、走行中に取得された第１映像に含まれた少なくとも１つのオブジェクトを認識し、前記認識されたオブジェクトごとに第１外郭線を生成し、前記第１映像から前記生成された第１外郭線を構成する第１座標値を抽出し、前記認識されたオブジェクト及び前記抽出された第１座標値に基づいて、前記認識されたオブジェクトのキューボイドの座標を取得することができる。

【0049】

前記技術的課題を解決するための本発明の第７実施形態による方法は、走行中に取得された映像を学習モデルに入力し、前記映像から検出されたオブジェクトの位置及び方向に対する視覚標識を生成するステップ、前記生成された視覚標識の位置をオブジェクトの外郭線内部に移動させる第１補正を行うステップ、及び前記外郭線内部に移動した視覚標識の位置及び形状の少なくとも１つを前記視覚標識の特性に基づいて変更する第２補正を行うステップを含む。

【0050】

前記方法において、前記外郭線は、前記認識されたオブジェクトに対するバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）であり得る。

【0051】

前記方法において、前記視覚標識は、前記認識されたオブジェクトの高さ、幅、及び深さに対する情報を視覚的に表すキューボイド（ｃｕｂｏｉｄ）であり得る。

【0052】

前記方法において、前記視覚標識は、前記認識されたオブジェクトの側面を表すサイドポイント（ｓｉｄｅ ｐｏｉｎｔ）を含むことができる。

【0053】

前記方法において、前記視覚標識は、前記認識されたオブジェクトの後面を表す後面標識（ｒｅａｒ ｓｉｇｎ）を含むことができる。

【0054】

前記方法において、前記視覚標識は、前記認識されたオブジェクトの露出度を表す露出標識を含むことができる。

【0055】

前記方法において、前記第１補正を行うステップは、前記生成された視覚標識の位置を前記オブジェクトの外郭線内部に移動させ、前記認識されたオブジェクトの方向を把握し、前記第２補正を行うステップは、前記把握されたオブジェクトの方向をさらに考慮して、前記第２補正を行うことができる。

【0056】

前記方法において、前記第１補正を行うステップは、前記認識されたオブジェクトの方向を把握した後、前記生成された視覚標識の位置を前記オブジェクトの外郭線内部に移動させ、前記第２補正を行うステップは、前記把握されたオブジェクトの方向をさらに考慮して、前記第２補正を行うことができる。

【0057】

前記方法において、前記第１補正を行うステップは、前記生成された視覚標識のうち、前記外郭線の外部に位置する視覚標識を、前記外郭線内部に移動させることができる。

【0058】

前記方法において、前記第１補正を行うステップは、前記生成された視覚標識のうち、前記外郭線の外部に位置する視覚標識を、前記外郭線の境界に移動させることができる。

【0059】

前記方法において、前記第１補正を行うステップは、前記外郭線の外部に位置する視覚標識を、前記外郭線を構成する複数の点のうち最も近い点に移動させることができる。

【0060】

前記方法において、前記第２補正を行うステップは、前記視覚標識が後面標識である場合、前記認識されたオブジェクトの後面の広さに対応するボックスで前記視覚標識の位置及び形状を変更する、映像内のオブジェクトの視覚標識を補正する方法。

【0061】

前記方法において、前記第２補正を行うステップは、前記視覚標識が後面標識である場合、前記認識されたオブジェクトの後面の高さに対応する線で前記視覚標識の形状を変更することができる。

【0062】

前記技術的課題を解決するための本発明の第８実施形態による装置は、少なくとも１つのプログラムが保存されたメモリ、及び前記少なくとも１つのプログラムを実行することによって演算を行うプロセッサを含み、前記プロセッサは、走行中に取得された映像を学習モデルに入力し、前記映像から検出されたオブジェクトの位置及び方向に対する視覚標識を生成し、前記生成された視覚標識の位置をオブジェクトの外郭線内部に移動させる第１補正を行い、前記外郭線内部に移動された視覚標識の位置及び形状の少なくとも１つを前記視覚標識の特性に基づいて変更する第２補正を行う。

【0063】

本発明の一実施形態は、前記方法のうちの少なくとも１つを実行するためのプログラムを保存しているコンピュータで読み取り可能な記録媒体を提供することができる。

【発明の効果】

【0064】

本発明の一実施形態によれば、人工知能学習及び車両走行制御のための映像データに含まれるオブジェクトに対して効果的なアノテーションが可能である。特に、オブジェクトの種類に応じてバウンディングボックスを適切な方法で生成することができる。

【0065】

さらに、アノテーションが困難な可能性があるオブジェクトに対して特定の基準を提示することによって、特定のオブジェクトの抽出に対するエラーを最小限に抑えることができる。

【0066】

本発明によれば、複雑な道路環境でも映像内のオブジェクトの方向に関する３次元情報（キューボイド情報）を正確に収集することができ、安定した自動運転アルゴリズムを実現するための基礎情報を生成することができる。

【図面の簡単な説明】

【0067】

【図1】一実施形態による自動運転方式を説明するための図である。

【図2】一実施形態による自動運転方式を説明するための図である。

【図3】一実施形態による自動運転方式を説明するための図である。

【図4】本開示の一実施形態によるバウンディングボックスの構成を説明するための図である。

【図5A】本開示の一実施形態によるオブジェクトに対して生成されたバウンディングボックスの例を説明するための図である。

【図5B】本開示の一実施形態によるオブジェクトに対して生成されたバウンディングボックスの例を説明するための図である。

【図5C】本開示の一実施形態によるオブジェクトに対して生成されたバウンディングボックスの例を説明するための図である。

【図6】一実施形態による検出されたオブジェクトをアノテーションする方法のフローチャートである。

【図7】一実施形態による検出されたオブジェクトをアノテーションする装置のブロック図である。

【図8A】自動運転で動作する車両の外部を撮影するカメラに関連する図である。

【図8B】自動運転で動作する車両の外部を撮影するカメラに関連する図である。

【図9】一実施形態によるオブジェクト認識方法を説明する概略図である。

【図10】オブジェクト外郭線生成装置の動作のうち第１外郭線を生成する過程を説明するための図である。

【図11】オブジェクト外郭線生成装置が第１外郭線で囲まれたオブジェクトを抽出する過程を説明するための図である。

【図12A】オブジェクト外郭線生成装置が対象フレームに含まれるオブジェクトの第２外郭線を生成し、第２外郭線が生成された２つの異なるオブジェクトを１つにマージする過程を説明するための図である。

【図12B】オブジェクト外郭線生成装置が対象フレームに含まれるオブジェクトの第２外郭線を生成し、第２外郭線が生成された２つの異なるオブジェクトを１つにマージする過程を説明するための図である。

【図13】オブジェクトごとに第２外郭線が生成された後に元の映像にオブジェクトの数だけ繰り返しマージされた例を模式的に説明するための図である。

【図14】図１０～図１３で説明した実施形態によるオブジェクト外郭線生成方法をフローチャートで示す図である。

【図15】一実施形態によるオブジェクト外郭線生成装置のブロック図である。

【図16】走行中に取得された映像に、本発明による映像内のオブジェクトのキューボイド取得方法が適用されなかったときと適用されたときとの結果物をそれぞれ模式的に示す図である。

【図17】本発明によるキューボイド取得装置のキューボイド取得プロセスを説明するための概念図である。

【図18】キューボイド取得装置が取得した、前面左側方向のオブジェクトのキューボイドを説明するための一例を示す図である。

【図19】キューボイド取得装置が取得した、前面方向のオブジェクトのキューボイドを説明するための一例を示す図である。

【図20】キューボイド取得装置が取得した、前面右側方向のオブジェクトのキューボイドを説明するための一例を示す図である。

【図21】キューボイド取得装置が取得した、左側面のオブジェクトのキューボイドを説明するための一例を示す図である。

【図22】キューボイド取得装置が取得した、右側面のオブジェクトのキューボイドを説明するための一例を示す図である。

【図23】キューボイド取得装置が取得した、後面左側方向のオブジェクトのキューボイドを説明するための一例を示す図である。

【図24】キューボイド取得装置が取得した、後面右側方向のオブジェクトのキューボイドを説明するための一例を示す図である。

【図25】キューボイド取得装置が取得した、後面方向のオブジェクトのキューボイドを説明するための一例を示す図である。

【図26】本発明によるキューボイド取得装置によって、後面標識を補正するプロセスの一例を模式的に示す図である。

【図27】本発明によるキューボイド取得装置によって、後面標識を補正するプロセスの他の一例を模式的に示す図である。

【図28】本発明によるキューボイド取得装置によって、後面標識を補正するプロセスの他の一例を模式的に示す図である。

【図29】本発明によるキューボイド取得方法の一例をフローチャートで示す図である。

【図30】一実施形態によるキューボイド取得装置のブロック図である。

【図31】本発明による映像内のオブジェクトの視覚標識補正装置の動作プロセスを概念的に示す図である。

【図32】本発明による視覚標識補正装置によって処理される第１補正プロセスの一例を模式的に示す図である。

【図33】本発明による視覚標識補正装置によって処理される第２補正プロセスの一例を模式的に示す図である。

【図34】本発明による視覚標識補正装置によって処理される第２補正プロセスの他の一例を模式的に示す図である。

【図35】本発明による視覚標識補正装置によって処理される第２補正プロセスの他の一例を模式的に示す図である。

【図36】本発明による視覚標識補正方法の一例をフローチャートで示す図である。

【図37】一実施形態による視覚標識補正装置のブロック図である。

【発明を実施するための形態】

【0068】

本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に説明される実施形態を参照することによって明らかになるであろう。しかしながら、本発明は、以下に提示される実施形態に限定されるものではなく、互いに異なる様々な形態で実現することができ、本発明の精神及び技術範囲に含まれるすべての変換、均等物から代替物を含むことと理解すべきである。以下に提示される実施形態は、本発明の開示を完全にし、本発明が属する技術分野において通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものである。本発明の説明において、関連する公知技術の具体的な説明が本発明の要旨を不明瞭にすると判断される場合、その詳細な説明は省略する。

【0069】

本出願で使用される用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定することを意図していない。単数の表現は、文脈上明らかに他に意味がない限り、複数の表現を含む。本出願において、「含む」または「有する」などの用語は、本明細書に記載された特徴、数字、ステップ、動作、構成要素、部品、またはそれらの組み合わせたものが存在することを指定しようとすることであって、１つまたは複数の他の特徴、数字、ステップ、動作、構成要素、部品、またはそれらを組み合わせたものの存在または追加の可能性を予め排除しないことと理解されるべきである。

【0070】

本開示のいくつかの実施形態は、機能的なブロック構成及び様々な処理ステップで表すことができる。そのような機能ブロックの一部または全部は、特定の機能を実行する様々な数のハードウェア及び／またはソフトウェア構成で実装することができる。例えば、本開示の機能ブロックは、１つ以上のマイクロプロセッサによって実装されてもよく、または所定の機能のための回路構成によって実装されてもよい。また、例えば、本開示の機能ブロックは、様々なプログラミングまたはスクリプト言語で実装することができる。機能ブロックは、１つ以上のプロセッサで実行されるアルゴリズムで実装することができる。また、本開示は、電子的環境設定、信号処理、及び／またはデータ処理などのために従来技術を採用することができる。「機構」、「要素」、「手段」及び「構成」などの用語は広く使用され得、機械的で物理的な構成に限定されるものではない。

【0071】

さらに、図面に示されている構成要素間の接続線または接続部材は、機能的な接続及び／または物理的または回路的接続を例示的に示したものにすぎない。実際の装置では、交換可能または追加された様々な機能的接続、物理的接続、または回路接続によって構成要素間の接続を表すことができる。

【0072】

以下では、「車両」とは、自動車、バス、オートバイ、キックボード、またはトラックなどの機関を有する人または物を移動させるために使用されるあらゆる種類の輸送手段を意味することができる。

【0073】

以下、添付の図面を参照して本開示を詳細に説明する。

【0074】

図１を参照すると、本発明の一実施形態による自動運転装置は、車両に搭載されて自動運転車両１０を実現することができる。自動運転車両１０に搭載される自動運転装置は、周辺の状況情報を収集するための様々なセンサ（カメラを含む）を含むことができる。一例として、自動運転装置は、自動運転車両１０の前面に取り付けられたイメージセンサ及び／またはイベントセンサを介して、前方で走行中の先行車両２０の動きを感知することができる。自動運転装置は、自動運転車両１０の前面はもちろん、隣の車線で走行中の他の走行車両３０と、自動運転車両１０周辺の歩行者等を感知するためのセンサとをさらに含むことができる。

【0075】

自動運転車両周辺の状況情報を収集するためのセンサのうちの少なくとも１つは、図１に示すように、所定の画角（ＦｏＶ）を有することができる。一例として、自動運転車両１０の前面に搭載されたセンサが図１に示すような画角（ＦｏＶ）を有する場合、センサの中央で検出される情報が比較的高い重要度を有することができる。これは、センサの中央で検出される情報に、先行車両２０の動きに対応する情報がほとんど含まれているためであり得る。

【0076】

自動運転装置は、自動運転車両１０のセンサが収集した情報をリアルタイムで処理して自動運転車両１０の動きを制御する一方、センサが収集した情報のうち少なくとも一部はメモリ装置に保存することができる。

【0077】

図２を参照すると、自動運転装置４０は、センサ部４１、プロセッサ４６、メモリシステム４７、及び車体制御モジュール４８などを含むことができる。センサ部４１は、複数のセンサ（カメラを含む）４２～４５を含み、複数のセンサ４２～４５は、イメージセンサ、イベントセンサ、照度センサ、ＧＰＳ装置、加速度センサなどを含むことができる。

【0078】

センサ４２～４５によって収集されたデータはプロセッサ４６に転送されてもよい。プロセッサ４６は、センサ４２～４５が収集したデータをメモリシステム４７に保存し、センサ４２～４５が収集したデータに基づいて車体制御モジュール４８を制御して車両の動きを決めることができる。メモリシステム４７は、２つ以上のメモリデバイスと、メモリデバイスを制御するためのシステムコントローラとを含み得る。メモリデバイスのそれぞれは１つの半導体チップで提供されてもよい。

【0079】

メモリシステム４７のシステムコントローラに加えて、メモリシステム４７に含まれる各メモリデバイスはメモリコントローラを含み得、メモリコントローラはニューラルネットワークなどの人工知能（ＡＩ）演算回路を含むことができる。メモリコントローラは、センサ４２～４５またはプロセッサ４６から受信したデータに所定の重みを与えて演算データを生成し、演算データをメモリチップに保存することができる。

【0080】

図３は、自動運転装置が搭載された自動運転車両のセンサ（カメラを含む）が取得した映像データの一例を示す図である。図３を参照すると、映像データ５０は、自動運転車両の前面に搭載されたセンサが取得したデータであり得る。したがって、映像データ５０には、自動運転車両の前面部５１、自動運転車両と同じ車線の先行車両５２、自動運転車両周辺の走行車両５３、及び背景５４などが含まれ得る。

【0081】

図３に示す実施形態による映像データ５０において、自動運転車両の前面部５１と背景５４が現れる領域のデータは、自動運転車両の運行に影響を及ぼす可能性がほとんどないデータであり得る。言い換えれば、自動運転車両の前面部５１と背景５４は、比較的低い重要度を有するデータと見なすことができる。

【0082】

一方、先行車両５２との距離、及び走行車両５３の車線変更の動きなどは、自動運転車両の安全な運行において非常に重要な要素であり得る。したがって、映像データ５０において先行車両５２及び走行車両５３などが含まれる領域のデータは、自動運転車両の運行において比較的高い重要度を有することができる。

【0083】

自動運転装置のメモリデバイスは、センサから受信した映像データ５０の領域別に重みを異なるように付与して保存することができる。一例として、先行車両５２と走行車両５３等が含まれる領域のデータには高い重みを付与し、自動運転車両の前面部５１と背景５４が現れる領域のデータには低い重みを与えることができる。

【0084】

以下では、様々な実施形態による動作は、自動運転装置または自動運転装置に含まれるプロセッサによって行われることと理解され得る。

【0085】

本開示の様々な実施形態による検出されたオブジェクトに対するアノテーション装置は、自動運転装置と実質的に同一であるか、自動運転装置に含まれるか、または自動運転装置が行う機能の一部として実現される構成要素であり得る。

【0086】

本開示の検出されたオブジェクトをアノテーションする装置は、検出されたオブジェクトのクラスを分類することができる。本開示の検出されたオブジェクトをアノテーションする装置は、分類されたオブジェクトのクラスに基づいてオブジェクトに対してバウンディングボックスを生成することができる。本開示の検出されたオブジェクトをアノテーションする装置は、生成されたバウンディングボックス単位でオブジェクトに関するアノテーションを生成することができる。以下では、検出されたオブジェクトをアノテーションする装置が検出されたオブジェクトをアノテーションする方法について詳細に説明する。

【0087】

本開示の検出されたオブジェクトをアノテーションする装置は、検出されたオブジェクトのクラスを分類することができる。

【0088】

一実施形態では、オブジェクトのクラスを分類するために、検出されたオブジェクトをアノテーションする装置はデータの入力を受け取ることができる。例えば、入力されたデータは、カメラによって収集される映像データであり得るが、これらに限定されず、画像、テキスト、音声などの様々な種類のデータを含み得る。

【0089】

一実施形態では、検出されたオブジェクトをアノテーションする装置は分類器を含み得、分類器は入力されたデータが特定のクラスに分類される確率を計算することができる。分類器の確率計算を通じて、検出されたオブジェクトをアノテーションする装置は、入力されたデータに含まれたオブジェクトのクラスを分類することができる。一方、分類器は学習データによって学習することができ、分類器から出力された結果と実際の正解との間の誤差が減少する方向に学習することができる。

【0090】

本開示において、検出されたオブジェクトをアノテーションする装置は、検出されたオブジェクトを複数のクラスのいずれかに該当するものとして分類することができる。

【0091】

一実施形態では、複数のクラスは以下の表１を介して説明することができる。

【0092】

【表1】

【0093】

表１の複数のクラスのうち、乗用車は、少数の人々を輸送するように設計された自動車に対応することができる。例えば、セダン、ＳＵＶ、タクシーなどを乗用車に分類することができる。

【0094】

表１の複数のクラスのうち、乗合車は、多数の人々を輸送するように設計された自動車に対応することができる。例えば、１６人乗り以上の乗合車、バスなどを乗合車に分類することができる。

【0095】

表１の複数のクラスのうち、トラックは、貨物を運ぶように設計された自動車に対応することができる。貨物を運ぶように設計された自動車に重機車両を含む他の車両が積載されている場合、貨物を運ぶように設計された自動車と他の車両を１つの自動車として見なしてトラックに分類することができる。つまり、検出されたオブジェクトをアノテーションする装置は、貨物を運ぶように設計された自動車に積載された他の車両に対してはクラスを分類しない。

【0096】

表１の複数のクラスのうち、二輪車は二輪で走る機具及びこれに搭乗している人に対応することができる。例えば、オートバイ（ｍｏｔｏｒｃｙｃｌｅ）、キックボード（ｓｃｏｏｔｅｒ）、モペッド（ｍｏｐｅｄ）、自転車（ｂｉｃｙｃｌｅ）、セグウェイ（ｓｅｇｗａｙ）などを二輪車に分類することができる。ベビーカー（ｓｔｒｏｌｌｅｒ）、手押し車（ｈａｎｄ ｔｒｕｃｋ）も二輪車に分類することができる。

【0097】

表１の複数のクラスのうち、歩行者は徒歩で通行する人に対応することができる。

【0098】

表１の複数のクラスのうち、緊急車は、特殊の目的のために設計された車両として緊急の状況で使用される車両に対応することができる。例えば、警察車、消防車、レッカー車などのサイレンを搭載した車両を緊急車に分類することができる。例えば、覆面パトカーのように、他のクラスに分類することができる車両がサイレンを搭載する場合、サイレンが作動している場合にのみ緊急車に分類することができる。

【0099】

表１の複数のクラスのうち、その他は、残りのクラスに分類されていない車両に対応することができる。例えば、三輪車、フォークリフト、掘削機、人力車、除雪車、ブルドーザー、ロードローラーなどをその他に分類することができる。

【0100】

ただし、上記の表１は例として提供され、任意の適切な分類方式を適用することができる。

【0101】

本開示において、検出されたオブジェクトをアノテーションする装置は、オブジェクトのクラスに応じて異なるアノテーション方法を適用することができる。

【0102】

本開示の検出されたオブジェクトをアノテーションする装置は、オブジェクトのクラスに基づいて検出されたオブジェクトに対してバウンディングボックスを生成することができる。

【0103】

一実施形態では、バウンディングボックスは２つの四角形を含むことができる。具体的には、検出されたオブジェクトをアノテーションする装置は、オブジェクトのクラスに基づいて検出されたオブジェクトに対して１つの辺を共有する第１四角形と第２四角形とを含むバウンディングボックスを生成することができる。

【0104】

図４は、本開示の一実施形態によるバウンディングボックスの構成を説明するための図である。

【0105】

本開示の一実施形態によるバウンディングボックス４００は、第１四角形４１０及び第２四角形４２０を含むことができる。本実施形態による形態のバウンディングボックス４００を使用すると、二次元映像データに表示されるオブジェクトに対して前後面と側面を区別して特定できるという効果がある。

【0106】

一実施形態では、第１四角形４１０は長方形の形状を有することができる。すなわち、第１四角形４１０は、隣接する線分と垂直になる４つの辺を含むことができる。一実施形態では、第１四角形４１０の２つの辺は地面と水平であり、第１四角形４１０の残りの２つの辺は地面と垂直であり得る。

【0107】

一実施形態では、第２四角形４２０は台形の形状を有することができる。すなわち、第２四角形４２０の４つの辺のうちの２つの辺は互いに平行であり得る。

【0108】

一実施形態では、第１四角形４１０と第２四角形４２０は１つの辺を共有することができる。一実施形態では、第１四角形４１０と第２四角形４２０とが共有する辺は、地面に垂直な辺であり得る。

【0109】

一実施形態では、第１四角形４１０は車両の前面または後面に対応することができる。一実施形態では、第２四角形４２０は、車両の右側面または左側面に対応することができる。一方、車両の上面が露出している場合、第１四角形４１０または第２四角形４２０は、車両の上面まで含むように生成されてもよい。

【0110】

本開示において、第１四角形４１０及び第２四角形４２０を含むバウンディングボックスは、様々な状況に応じて適切に生成することができる。

【0111】

一実施形態では、第１四角形４１０は、車両のサイドミラーを除外するように生成されてもよい。

【0112】

一実施形態では、第２四角形４２０は、オブジェクトが車輪を有する車両である場合、車輪が地面に接触する点（ｗｈｅｅｌ ｇｒｏｕｎｄ ｐｏｉｎｔ）を結ぶ線分を含むように生成されてもよい。

【0113】

一実施形態では、第１四角形４１０は、車両の前面または後面よりも広く、すなわち車両の側面の一部を含むように生成され得るが、車輪が地面に接触する点を超えないように生成される。

【0114】

一実施形態では、バウンディングボックス４００は、車両のドアが開いているときにドアを含まないように生成することができる。

【0115】

一実施形態では、バウンディングボックス４００は、車両が梯子車またはクレーンである場合など、上部機器のサイズまたは長さが変わるか、または車両の一部が別々に動く場合、車両の本体に該当する部分のみを含むように生成されてもよい。

【0116】

一実施形態では、バウンディングボックス４００は、車両がカーゴトレーラー（ｃａｒｇｏ ｔｒａｉｌｅｒ）などの他の車輪を有する物体を牽引する場合、車両及び牽引される物体のそれぞれに対して生成することができる。例えば、牽引車両が他の車両を牽引する場合、牽引車両は緊急車のクラスに分類され、牽引される車両は乗用車のクラスに分類され、牽引車両及び他の車両のそれぞれに対してバウンディングボックス４００を生成することができる。

【0117】

図５Ａ～５Ｃは、本開示の一実施形態によるオブジェクトに対して生成されたバウンディングボックスの例を説明するための図である。

【0118】

図５Ａを参照すると、一般的なオブジェクトに対して生成されたバウンディングボックスの例が示されている。

【0119】

図５Ａでは、第１四角形は車両の後面に対応し、第１四角形の幅は車両の後面の幅に対応するように生成されてもよい。図５Ａでは、第２四角形は、車輪が地面に接触する点を結ぶ線分を含むように生成されてもよい。図５Ａでは、第１四角形及び第２四角形は、１つの地面に垂直な線分を共有し、検出されたオブジェクトの画像を含むように生成されてもよい。

【0120】

本開示において、検出されたオブジェクトをアノテーションする装置は、分類されたオブジェクトのクラスに応じて異なる基準を適用してバウンディングボックスを生成することができる。

【0121】

一実施形態では、オブジェクトのクラスがトラック、二輪車またはその他である場合、第１四角形の高さ（地面と垂直方向の長さ）及び第２四角形の幅（地面と水平方向の長さ）はオブジェクトが積載している物体（例えば、荷物、貨物）を含むように生成することができる。本実施形態では、第１四角形の幅（地面と水平方向の長さ）は、オブジェクトが積載している物体には関係なく生成することができる。

【0122】

図５Ｂを参照すると、トラックである車両に関して、第四角形と第２四角形とを含むバウンディングボックスが生成される。トラックの前面に対応する第１四角形の幅は、積載している物体に関係なく生成することができる。一方、第２四角形は、車輪が地面に接触する点を結ぶ線分を含むように生成され、第１四角形の高さと第２四角形の幅は、トラックが積載されている物体を含むように生成され得る。

【0123】

一実施形態では、オブジェクトのクラスが二輪車である場合、第１四角形の幅は、オブジェクトに含まれる人の身体の特定の寸法に対応して生成されてもよい。オブジェクトのクラスが二輪車である場合、前面または後面の幅を特定することが困難であるか、前面または後面の幅が非常に狭いためである。例えば、人の体の特定の寸法は肩の幅であり得る。具体的には、オブジェクトのクラスが二輪車である場合、第１四角形の幅は人の肩の幅と同じであり得、第１四角形の高さは乗り物と乗りものの上の人を含むオブジェクトの高さと同じであり得る。このとき、第２四角形は、第１四角形の右側または左側にオブジェクトの側面を含むように生成されてもよい。

【0124】

図５Ｃを参照すると、人が搭乗している自転車に関して、第１四角形と第２四角形を含むバウンディングボックスが生成される。自転車の後面に対応する第１四角形の幅は、搭乗している人の肩の幅と同じように生成されてもよい。さらに、第１四角形の高さは、自転車と人を含むオブジェクトの高さと同じように生成することができる。第２四角形は、第１四角形の左側にオブジェクトの側面を含むように生成することができる。

【0125】

一実施形態では、オブジェクトのクラスが歩行者である場合、第１四角形の幅は、オブジェクトに含まれる人の身体の特定の寸法に対応して生成されてもよい。オブジェクトのクラスが歩行者である場合、二輪車である場合と同様に、前面または後面の幅を特定することが困難であるか、前面または後面の幅が非常に狭いためである。例えば、人の体の特定の寸法は肩の幅であり得る。具体的には、オブジェクトのクラスが歩行者である場合、第１四角形の幅は人の肩の幅と同じであり得、第１四角形の高さは人の身長と同じであり得る。

【0126】

一方、一実施形態では、オブジェクトのクラスが二輪車であるが、搭乗している人がいない場合、第１四角形４１０の幅はハンドルバー（ｓｔｅｍ）またはフロントフォーク（ｆｏｒｋ）に基づいて生成することができる。

【0127】

一実施形態では、オブジェクトのクラスが歩行者である場合、人が所持している杖、ほうき、ハンドバッグ、傘などは、バウンディングボックスに含まれなくてもよい。

【0128】

本開示において、検出されたオブジェクトをアノテーションする装置は、映像データにオブジェクトの一部のみが含まれる場合、条件に従ってバウンディングボックスを生成するかどうかを決定することができる。

【0129】

一実施形態では、オブジェクトが映像データに見られる割合に基づいてバウンディングボックスを生成するかどうかを決定することができる。例えば、車両が映像データに見られる割合がオブジェクトの全体サイズの臨界比率（例えば、３０％）未満である場合、検出されたオブジェクトをアノテーションする装置は、バウンディングボックスを生成しないことを決定することができる。

【0130】

一実施形態では、オブジェクトの一部が映像データに現れる割合に基づいてバウンディングボックスを生成するかどうかを決定することができる。例えば、車両の車輪が映像データに現れる割合が車両の車輪サイズの５０％未満である場合、検出されたオブジェクトをアノテーションする装置は、バウンディングボックスを生成しないことを決定することができる。

【0131】

一実施形態では、特定のオブジェクトが映像データに占める面積に基づいてバウンディングボックスを生成するかどうかを決定することができる。例えば、乗合車、トラック、またはその他に分類されたオブジェクトが映像データで１５０ｐｘ以上を占める場合、検出されたオブジェクトをアノテーションする装置は、バウンディングボックスを生成するように決定することができる。

【0132】

本開示において、様々な条件に応じて、バウンディングボックス生成を決定するかどうか、バウンディングボックスの生成方法などを別に適用することによって、検出されたオブジェクトに対するアノテーション及びそれに基づいて安全で効果的な自車両の走行制御が行われ得る。

【0133】

本開示の検出されたオブジェクトをアノテーションする装置は、バウンディングボックス単位でオブジェクトに関するアノテーションを生成することができる。

【0134】

一実施形態では、検出されたオブジェクトをアノテーションする装置は、バウンディングボックス単位でオブジェクトの属性（ａｔｔｒｉｂｕｔｅ）を決定することができる。本開示において、オブジェクトの属性は、オブジェクトのクラスとは別に、自車両との関係におけるオブジェクトの性質を指すことができる。

【0135】

一実施形態では、決定され得るオブジェクトの属性は、以下の表２を介して説明することができる。

【0136】

【表2】

【0137】

一実施形態では、オブジェクトの属性は、オブジェクトの見える程度を含み得る。本開示において、見える程度は、オブジェクトの全体を基準に映像データにオブジェクトが見える部分の割合に関連する属性を指すことができる。

【0138】

映像データでオブジェクトが見える部分の割合に応じて見える程度を決定することができる。見える程度が決定されることに、任意の適切な方法による基準を適用することができる。たとえば、オブジェクトが見える割合が０％以上及び２０％未満の場合、見える程度は「１段階」、オブジェクトが見える割合が２０％以上及び４０％未満の場合、見える程度は「２段階」、オブジェクトが見える割合が４０％以上及び６０％未満の場合、見える程度は「３段階」、オブジェクトが見える割合が６０％以上及び８０％未満の場合、見える程度は「４段階」、オブジェクトが見える割合が８０％以上及び１００％未満の場合、見える程度は「５段階」、オブジェクトの全部が見える場合、見える程度は「６段階」と決定され得る。

【0139】

一実施形態では、オブジェクトの属性はオブジェクトの移動状態を含み得る。本開示において、移動状態は、オブジェクトの移動に関連する属性を指すことができる。

【0140】

オブジェクトが移動するかどうかによって移動状態が決定され得る。移動状態が決定されることに、任意の適切な方法による基準を適用することができる。たとえば、オブジェクトが動いている場合、移動状態は「移動中」、オブジェクトが停止しているが動くことができる場合、移動状態は「停止中」、オブジェクトが停止していて、動く意図がない場合、移動状態は「駐車中」と決定され得る。一実施形態では、あるオブジェクトが人を含んでいることが検出された場合、オブジェクトの移動状態は「駐車中」に決定されないように制限されてもよい。

【0141】

オブジェクトの移動状態に応じて、自車両は経路設定または走行制御を変えることができる。例えば、前方のオブジェクトの移動状態が「停止中」の場合、自車両は一定時間待機するように制御することができるが、前方のオブジェクトの移動状態が「駐車中」の場合、自車両は前方のオブジェクトを避けて移動するように制御することができる。

【0142】

一実施形態では、オブジェクトの属性は車線位置を含み得る。本開示において、車線位置は、自車両との位置関係に関する情報または属性を指すことができる。

【0143】

一実施形態では、車線位置は、車線を単位とした自車両との相対位置を基準に決定されてもよい。例えば、オブジェクトが自車両と同じ車線に属する場合、オブジェクトの車線位置は「０」であり得る。例えば、オブジェクトが自車両の前方を基準に右側車線のいずれかに属する場合、オブジェクトの車線位置は、自車両が属する車線と車線が離れることに対応して増加する正の整数であり得る。たとえば、オブジェクトが自車両の前方を基準に最初の右側車線（すなわち、右側車線のうち最も近い車線）に属する場合、オブジェクトの車線位置は「＋１」であり、２番目の右側車線に属する場合、車線位置は「＋２」であり、３番目の右側車線に属する場合、オブジェクトの車線位置は「＋３」であり得る。逆に、例えば、オブジェクトが自車両の前方を基準に最初の左側車線（すなわち、左側車線のうち最も近い車線）に属する場合、オブジェクトの車線位置は「－１」であり、２番目の左側車線に属する場合、オブジェクトの車線位置は「－２」であり、３番目の左側車線に属する場合、オブジェクトの車線位置は「－３」であり得る。

【0144】

一実施形態では、オブジェクトの属性はオブジェクトの主な状態を含み得る。本開示において、主な状態は、自車両の走行に影響を与えるかどうかに関する属性を指すことができる。

【0145】

例えば、自車両の直前にあるオブジェクトとして自車両の走行に直接影響を与える可能性がある場合、主な状態は「注意」であり得る。例えば、自車両の走行に全く影響を与えることができない場合、主な状態は「注意不要」であり得る。例えば、急激な車線変更などにより自車両の走行に影響を与える可能性がある場合、主な状態は「注意必要」であり得る。例えば、自車両が歩道に隣接する車線に属する場合、歩道上の歩行者の主な状態は「注意必要」であり得る。

【0146】

一方、オブジェクトの主な状態を決定する過程で、中央分離帯、視線誘導標などは考慮され得る。例えば、オブジェクトがすぐ隣の車線で並んで走行している車両であっても、そのオブジェクトの主な状態は「注意不要」であり得る。

【0147】

オブジェクトの主な状態を決定することによって、検出される１つ以上のオブジェクトに対する走行制御依存度に差別を入れることができる。例えば、主な状態が「注意不要」であるオブジェクトは、走行制御に何の影響も与えない可能性がある。例えば、主な状態が「注意必要」であるオブジェクトは、走行制御に影響を与えることができ、そのオブジェクトの走行（例えば、速度、車線移動）に敏感に反応するように自車両を制御することができる。

【0148】

一実施形態では、オブジェクトの属性はオブジェクトのサイズを含み得る。

【0149】

例えば、オブジェクトのサイズは、自車両との相対的なサイズを基準に決定することができる。例えば、オブジェクトのサイズは、所定の車種によるサイズ分類に基づいて決定されてもよい。例えば、オブジェクトのサイズは、「小」、「中」、または「大」のいずれかであり得る。

【0150】

一実施形態では、オブジェクトの属性はオブジェクトのサブクラスを含み得る。本開示において、オブジェクトのサブクラスは、オブジェクトのクラスに含まれるサブクラスであり、特定のクラスを細分化して区別するための属性を指すことができる。

【0151】

例えば、オブジェクトのクラスが二輪車である場合、サブクラスはＲｅａｒ＿ｃａｒ（リヤカー）、Ｅｌｅｃｔｒｉｃ＿ｃａｒｔ（電動カート）、Ｈａｎｄ＿ｔｒｕｃｋ（手押し車）、Ｔｈｒｅｅ＿ｗｈｅｅｌｓ（三輪車）などを含むことができる。例えば、オブジェクトのクラスが歩行者である場合、サブクラスは「立っている」、「荷物を運んでいる」、「動物と同行している」、「傘を持っている」などを含むことができる。

【0152】

本開示において、検出されたオブジェクトをアノテーションする装置は、バウンディングボックス単位でオブジェクトのクラス及びオブジェクトの属性を保存することによってアノテーションを生成することができる。

【0153】

本開示において、オブジェクトの属性を決定することによって、自車両との関係を基準とした危険度などを評価することができる。また、上記の表２は例として提供され、任意の適切なオブジェクトの属性が付与されてもよい。

【0154】

本開示の検出されたオブジェクトをアノテーションする装置によってアノテーションされたオブジェクトは、自車両の走行を制御するための基礎となり得、自動運転装置の学習に使用してもよい。

【0155】

図６は、一実施形態による検出されたオブジェクトをアノテーションする方法のフローチャートである。

【0156】

図６に示す動作は、上述の検出されたオブジェクトをアノテーションする装置によって実行することができる。具体的には、図６に示す動作は、上述の検出されたオブジェクトをアノテーションする装置に含まれるプロセッサによって実行することができる。

【0157】

ステップ６１０において、検出されたオブジェクトをアノテーションする装置は、オブジェクトのクラスを分類することができる。

【0158】

一実施形態では、オブジェクトのクラスは、乗用車、乗合車、トラック、二輪車、歩行者、緊急車、またはその他のいずれかであり得る。

【0159】

一実施形態では、検出されたオブジェクトをアノテーションする装置は、オブジェクトが貨物を運ぶように設計された自動車として他の車両を積載している場合、積載された他の車両はクラスを分類しなくてもよい。

【0160】

ステップ６２０において、検出されたオブジェクトをアノテーションする装置は、オブジェクトのクラスに基づいてオブジェクトに対して１つの辺を共有する第１四角形と第２四角形とを含むバウンディングボックスを生成することができる。

【0161】

一実施形態では、ステップ６２０は、分類されたオブジェクトのクラスに応じて異なる基準を適用して行うことができる。

【0162】

一実施形態では、第１四角形は長方形であり得る。

【0163】

一実施形態では、第１四角形はオブジェクトの前面または後面に対応し得る。

【0164】

一実施形態では、第２四角形は台形であり得る。

【0165】

一実施形態では、第２四角形はオブジェクトの左側面または右側面に対応し得る。

【0166】

一実施形態では、オブジェクトの上面が露出している場合、第１四角形または第２四角形はオブジェクトの上面を含むことができる。

【0167】

一実施形態では、オブジェクトが車輪を有する車両である場合、第２四角形は、車輪が地面に接触する点を結ぶ線分を含み得る。

【0168】

一実施形態では、オブジェクトのクラスが二輪車または歩行者である場合、第１四角形の幅は、オブジェクトに含まれる人の肩の幅と同じように生成されてもよい。

【0169】

ステップ６３０において、検出されたオブジェクトをアノテーションする装置は、バウンディングボックス単位でオブジェクトに対するアノテーションを生成することができる。

【0170】

一実施形態では、検出されたオブジェクトをアノテーションする装置は、オブジェクトの属性を決定し得、ステップ６３０は、バウンディングボックス単位でオブジェクトのクラス及びオブジェクトの属性に関するアノテーションを生成するステップを含み得る。

【0171】

一実施形態では、オブジェクトの属性は、見える程度、移動状態、車線位置、主な状態、オブジェクトのサイズ、及びサブクラスを含み得る。

【0172】

一実施形態では、検出されたオブジェクトをアノテーションする装置は、検出されたオブジェクトが車両であり、映像データに見られる割合がオブジェクトの全体サイズの臨界比率未満である場合、バウンディングボックスを生成しないように決定することができる。

【0173】

一実施形態では、検出されたオブジェクトをアノテーションする装置は、生成されたアノテーションに基づいて自車両を制御することができる。

【0174】

図７は、一実施形態による静止のターゲットの位置を取得する装置のブロック図である。

【0175】

図７を参照すると、検出されたオブジェクトをアノテーションする装置７００は、通信部７１０、プロセッサ７２０、及びＤＢ７３０を含むことができる。図７の検出されたオブジェクトをアノテーションする装置７００には、実施形態に関連する構成要素のみが示されている。したがって、図７に示す構成要素に加えて他の汎用構成要素をさらに含むことができるのは当技術分野の通常の技術者であれば理解することができる。

【0176】

通信部７１０は、外部サーバまたは外部装置との有線／無線通信を可能にする１つ以上の構成要素を含むことができる。例えば、通信部７１０は、近距離通信部（図示せず）、移動通信部（図示せず）及び放送受信部（図示せず）のうちの少なくとも１つを含むことができる。

【0177】

ＤＢ７３０は、検出されたオブジェクトをアノテーションする装置７００内で処理される各種データを保存するハードウェアであり、プロセッサ７２０の処理及び制御のためのプログラムを保存することができる。ＤＢ７３０は、決済情報、ユーザ情報などを保存することができる。

【0178】

ＤＢ７３０は、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）などのＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＣＤ－ＲＯＭ、ブルーレイまたは他の光ディスクストレージ、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、またはフラッシュメモリを含むことができる。

【0179】

プロセッサ７２０は、検出されたオブジェクトをアノテーションする装置７００の全体的な動作を制御する。例えば、プロセッサ７２０は、ＤＢ７３０に保存されたプログラムを実行することにより、入力部（図示せず）、ディスプレイ（図示せず）、通信部７１０、ＤＢ７３０などを全体的に制御することができる。プロセッサ７２０は、ＤＢ７３０に保存されたプログラムを実行することにより、検出されたオブジェクトをアノテーションする装置７００の動作を制御することができる。

【0180】

プロセッサ７２０は、図１～図６で上述した検出されたオブジェクトをアノテーションする装置７００の動作の少なくとも一部を制御することができる。

【0181】

プロセッサ７２０は、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、コントローラ（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラ（ｍｉｃｒｏ－ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、及び他の機能を行うための電気的なユニットのうちの少なくとも１つを用いて実装することができる。

【0182】

一実施形態では、検出されたオブジェクトをアノテーションする装置７００は、移動性を有する電子装置であり得る。例えば、検出されたオブジェクトをアノテーションする装置７００は、スマートフォン、タブレットＰＣ、ＰＣ、スマートテレビ、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ラップトップ、メディアプレーヤー、ナビゲーション、カメラを搭載したデバイス、及び他のモバイル電子機器として実装することができる。さらに、検出されたオブジェクトをアノテーションする装置７００は、通信機能及びデータ処理機能を備えた時計、眼鏡、ヘッドバンド、及びリングなどのウェアラブル装置として実現することができる。

【0183】

別の実施形態では、検出されたオブジェクトをアノテーションする装置７００は、車両内に組み込まれる電子装置であり得る。例えば、検出されたオブジェクトをアノテーションする装置７００は、製造工程の後にチューニング（ｔｕｎｉｎｇ）を通じて車両に挿入される電子装置であり得る。

【0184】

また、別の実施形態では、検出されたオブジェクトをアノテーションする装置７００は、車両の外部に位置するサーバであり得る。サーバは、ネットワークを介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供するコンピュータ装置または複数のコンピュータ装置で実装することができる。サーバは、車両に搭載された装置から車両の移動経路を決定するために必要なデータを受信し、受信したデータに基づいて車両の移動経路を決定することができる。

【0185】

また、別の実施形態では、検出されたオブジェクトをアノテーションする装置７００で行われるプロセスは、移動性を有する電子装置、車両内に組み込まれる電子装置、及び車両の外部に位置するサーバのうちの少なくとも一部によって行われ得る。

【0186】

図８Ａ及び図８Ｂは、自動運転で動作する車両の外部を撮影するカメラに関連する図である。

【0187】

カメラは車両に搭載され、車両の外部を撮影することができる。カメラは車両の前方、側方、後方などを撮影することができる。本発明によるオブジェクトの外郭線生成装置は、カメラで撮影された複数の映像を取得することができる。カメラで撮影された複数の映像は、複数のオブジェクトを含むことができる。

【0188】

オブジェクトに関する情報には、オブジェクトの種別情報及びオブジェクトの属性情報を含む。ここで、オブジェクトの種別情報は、オブジェクトの種別を示すインデックス情報であり、大きな範囲のグループと詳細な範囲のクラスとで構成される。そして、オブジェクトの属性情報は、オブジェクトの現在の状態に関する属性情報を示すものであり、動き情報、回転情報、交通情報、色情報、及び可視性情報などを含む。

【0189】

一実施形態では、オブジェクトの種別情報に含まれるグループ及びクラスは、以下の表３と同じであってもよいが、これに限定されない。

【0190】

【表3】

【0191】

動き情報は、オブジェクトの動き情報を表し、停車、駐車、移動などとして定義することができる。車両の場合、停車、駐車、移動はオブジェクトの属性情報で決定することができ、歩行者の場合は移動、停止、不明はオブジェクトの属性情報で決定することができ、信号機などの移動できないオブジェクトの場合はデフォルト値である停止でオブジェクトの属性情報が決定され得る。

【0192】

回転情報は、オブジェクトの回転情報を表し、前面、後面、水平（ｈｏｒｉｚｏｎｔａｌ）、垂直（ｖｅｒｔｉｃａｌ）、側面などとして定義することができる。車両の場合、前面、後面、側面にオブジェクトの属性情報が定められ得、横または縦方向の信号機はそれぞれ水平または垂直にオブジェクトの属性情報が定められ得る。

【0193】

交通情報は、オブジェクトの交通情報を意味し、交通標識の指示、警戒、規制、補助標識などとして定義することができる。色情報は、オブジェクトの色情報を意味し、オブジェクトの色、信号機、及び交通標識の色を表すことができる。

【0194】

図８Ａを参照すると、オブジェクト８１１は歩行者であり得る。画像８１０は所定のサイズを有することができる。複数の画像８１０には同じオブジェクト８１１が含まれることがあるが、車両が道路に沿って走行するにつれて車両とオブジェクト８１１との相対位置は変化し続け、またオブジェクト８１１も時間とともに移動するようになり、これにより、同じオブジェクト８１１であっても各画像内の位置が変わることになる。

【0195】

各画像で同じオブジェクトが何であるかを決定するために画像全体を用いると、データ転送量及び演算量がかなり大きくなる。これにより、車両に搭載された装置ではエッジコンピューティングによって処理が困難であり、リアルタイム分析も困難である。

【0196】

図８Ｂを参照すると、画像８２０に含まれるバウンディングボックス８２１が示されている。バウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）は、オブジェクト（ｏｂｊｅｃｔ）に対するメタデータであり、バウンディングボックス情報には、オブジェクトの種別情報（グループ、クラスなど）、画像８２０上の位置情報、サイズ情報などが含まれてもよい。

【0197】

図８Ｂを参照すると、バウンディングボックス情報は、該当オブジェクト８１１が歩行者クラスに該当するという情報と、オブジェクト８１１の左側上端の頂点が画像上の（ｘ、ｙ）に位置するという情報、オブジェクト８１１の幅及び高さ（ｗｉｄｔｈ ＆ ｈｅｉｇｈｔ）に関する情報、そしてオブジェクト８１１が移動中であるという現在の状態情報（すなわち、動き情報）を含むことができる。

【0198】

図９は、一実施形態によるオブジェクト認識方法を説明する概略図である。

【0199】

本発明によるオブジェクトの外郭線生成装置は、カメラから取得された動画をフレームごとに分離して複数のフレームを取得することができる。複数のフレームは、前のフレーム９１０及び現在のフレーム９２０を含むことができる。オブジェクトの外郭線生成装置は、一次的にフレームを分析してフレームに含まれているオブジェクトを認識し、二次的に図８Ａ及び図８Ｂで説明したように、認識されたオブジェクトに対応するバウンディングボックスを生成することができる。本発明において、バウンディングボックスは、オブジェクトの外郭に形成され、オブジェクトを囲んでいる線であり、文脈上の第１外郭線及び第２外郭線のいずれかと呼ばれてもよい。

【0200】

オブジェクトの外郭線生成装置は、前のフレーム９１０で第１歩行者オブジェクト９１１を認識することができる。

【0201】

一実施形態では、オブジェクトの外郭線生成装置は、フレームを同じサイズのグリッドに分割し、各グリッドに対してグリッドの中央を中心に所定の形態で指定された境界ボックスの数を予測し、それに基づいてオブジェクトの信頼度を計算することができる。オブジェクトの外郭線生成装置は、フレームにオブジェクトが含まれているのか、または背景のみが単独であるのかを決定し、高いオブジェクト信頼度を有する位置を選択してオブジェクトカテゴリを決定することにより、結果的にオブジェクトを認識することができる。ただし、本開示においてオブジェクトを認識する方法はこれに限定されない。

【0202】

オブジェクトの外郭線生成装置は、前のフレーム９１０で認識された第１歩行者オブジェクト９１１の第１位置情報を取得することができる。図８Ａ及び図８Ｂで上述したように、第１位置情報は、前のフレーム９１０上の第１歩行者オブジェクト９１１に対応するバウンディングボックスのいずれかの頂点（例えば、左側上端の頂点）座標情報及び横、縦の長さ情報を含むことができる。

【0203】

また、オブジェクトの外郭線生成装置は、現在フレーム９２０で認識された第２歩行者オブジェクト９２１の第２位置情報を取得することができる。

【0204】

オブジェクトの外郭線生成装置は、前のフレーム９１０で認識された第１歩行者オブジェクト９１１の第１位置情報と、現在フレーム９２０で認識された第２歩行者オブジェクト９２１の第２位置情報との類似度を算出することができる。

【0205】

図９を参照すると、第１位置情報及び第２位置情報を用いて、オブジェクトの外郭線生成装置は、第１歩行者オブジェクト９１１と第２歩行者オブジェクト９２１との間の積集合及び和集合を算出することができる。オブジェクトの外郭線生成装置は、和集合領域に比べて積集合領域の値を算出し、算出された値が閾値以上である場合、第１歩行者オブジェクト９１１及び第２歩行者オブジェクト９２１が同じ歩行者オブジェクトであると決定することができる。

【0206】

しかしながら、オブジェクト間の同一性を判別する方法は、上記の方法に限定されない。

【0207】

図１０は、オブジェクトの外郭線生成装置の動作のうち第１外郭線を生成する過程を説明するための図である。

【0208】

図１０（ａ）は、自動運転車が走行中に取得した映像を構成する複数のフレームのうちの１つのフレーム（以下、「対象フレーム」）を示すものであり、図１０（ａ）の対象フレームはカメラのレンズから近い位置にはオートバイが停車しており、停車したオートバイの後ろには乗用車が停車していることを示している。

【0209】

図１０（ｂ）は、対象フレーム（ｔａｒｇｅｔ ｆｒａｍｅ）にあるオートバイと乗用車に外郭線が生成されたことを模式的に示している。本発明によるオブジェクトの外郭線生成装置は、フレームを分析して少なくとも１つ以上のオブジェクトが認識されると、オブジェクトの形状、色、姿に関するデータを学習モデルの入力データとして、出力データとしてオブジェクトの外郭線が出力されるようにする。

【0210】

ここで、学習モデルはディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）に基づくモデルであってもよいが、これに限定されない。学習モデルは、画像を入力データとして受け取り、画像に含まれたオブジェクトの特定のポイントに基づいてオブジェクトを認識し、オブジェクト全体を囲む外郭線を生成するように学習されたモデルであり、自動運転車が撮影した映像の対象フレームが学習が完了した学習モデルのテストデータ（ｔｅｓｔ ｄａｔａ）として入力されることにより、結果的に対象フレームに含まれるオブジェクトに外郭線が生成され得る。

【0211】

一例として、オブジェクトの周りに生成される外郭線は多角形であり得る。別の例として、オブジェクトの周りに生成される外郭線は、図１０（ｂ）に示すように長方形であり得、外郭線は、１つのオブジェクトとして認識された全体を漏れなく含めるように形成され得る。

【0212】

外郭線を形成するための情報は、座標または座標値で表すことができる。図１０（ｂ）のような長方形の外郭線は、長方形の左上座標及び右下座標のみで形成することができる。たとえば、左上座標が（ｘ１、ｙ１）、右下座標が（ｘ２、ｙ２）であれば、長方形の形態的特徴によって、左下座標は（ｘ１、ｙ２）、右上座標は（ｘ２、ｙ１）であると確定することができる。すなわち、外郭線を生成するために確定すべき座標（ｃｏｏｒｄｉｎａｔｅ）は合計２つの座標となり、確定すべき座標値（ｃｏｏｒｄｉｎａｔｅ ｖａｌｕｅ）は合計４つ（ｘ１、ｘ２、ｙ１、ｙ２）となる。

【0213】

実施形態によれば、対象フレームで認識されたオブジェクトに対する外郭線は、ユーザの入力によって決定されてもよい。具体的には、オブジェクトの外郭線生成装置は、自動運転車が撮影した映像でオブジェクトが認識される対象フレームがあれば、対象フレームのみを選択的に抽出してユーザが使用するユーザ端末に出力させることができ、ユーザがオブジェクトを認識して外郭線を生成するための入力をすれば、ユーザの入力に基づいて外郭線が確定されるようにすることができる。

【0214】

以下では、第１外郭線は、図１０（ｂ）に示すように、対象フレームでオブジェクトが認識された直後にオブジェクトを抽出するためにオブジェクトの周りに生成される外郭線を呼ぶものと見なす。すなわち、図１０（ｂ）は、オートバイの第１外郭線１０１０及び乗用車の第１外郭線１０３０を併せて示していると言える。

【0215】

図１１は、オブジェクトの外郭線生成装置が第１外郭線で囲まれたオブジェクトを抽出する過程を説明するための図である。

【0216】

図１１は、図１０を参照して説明する。

【0217】

図１０のオートバイの第１外郭線１０１０及び乗用車の第１外郭線１０３０に基づいて、オブジェクトの外郭線生成装置は、オートバイと乗用車を対象フレームから抽出することができる。オブジェクトの外郭線生成装置が対象フレームからオートバイの第１外郭線１０１０及び乗用車の第１外郭線１０３０に基づいて抽出する過程は、クロッピング（ｃｒｏｐｐｉｎｇ）プロセスと呼ばれてもよい。

【0218】

抽出された第１オブジェクト１１１０及び抽出された第２オブジェクト１１３０は、対象フレームの全体解像度よりも低い解像度を有し、自動化されたプロセスでオブジェクトの特徴を認識する際に精度を低下させるダミー（ｄｕｍｍｙ）データを最小限に抑えることができる。抽出された第１オブジェクト１１１０及び抽出された第２オブジェクト１１３０は、第１オブジェクト及び第２オブジェクトの第２外郭線を結果データとして出力する学習モデルに入力され得る。第２外郭線は、前述した第１外郭線と区別される他の概念であり、第２外郭線については後述する。

【0219】

オートバイ及び乗用車が対象フレームから抽出される過程で、オブジェクトの外郭線生成装置は、オートバイ及び乗用車の第１外郭線の座標値に基づいて、オートバイ及び乗用車のサイズ（幅及び高さ）、絶対位置情報、対象フレームでの相対位置情報を把握して保存することができる。第１外郭線の座標値、オブジェクトのサイズ、オブジェクトの位置情報、対象フレームでの相対位置情報に対する活用例については後述する。

【0220】

図１２Ａ及び図１２Ｂは、オブジェクトの外郭線生成装置が対象フレームに含まれるオブジェクトに対する第２外郭線を生成し、第２外郭線が生成された互いに異なる２つのオブジェクトが１つにマージされる過程を説明するための図である。

【0221】

より具体的には、図１２Ａは、オブジェクトの外郭線生成装置が対象フレームに含まれるオブジェクトに対する第２外郭線をそれぞれ生成したことを模式的に示した図であり、図１２Ｂは、互いに異なる２つのオブジェクトに第２外郭線が生成された後で、１つにマージされた結果を示す図である。

【0222】

オブジェクトの外郭線生成装置は、抽出された第１オブジェクト１１１０及び抽出された第２オブジェクト１１３０を学習モデルに入力して、図１２Ａのようにオートバイ及び乗用車に対して第２外郭線が生成されるように制御することができる。以下では、第２外郭線が生成されたオートバイ及び第２外郭線が生成された乗用車は、それぞれ第２外郭線が生成された第１オブジェクト１１１０′及び第２外郭線が生成された第２オブジェクト１１３０′と称することにする。

【0223】

ここで、学習モデルは、上述の第１外郭線を生成する学習モデルとは異なるモデルであり、一例として、抽出されたオブジェクト画像を入力として受け取り、オブジェクトに対する第２外郭線を出力データとして出力するディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）モデルであり得る。実施形態によっては、第２外郭線を生成する学習モデルは、ディープラーニング方式ではなく他の機械学習技法を用いるモデルであってもよい。

【0224】

ここで、第２外郭線は、２次元で表されているオブジェクトが実際には３次元の情報で表現されることを考慮して、オブジェクトの３次元情報を圧縮的に表現したメタデータの一種を意味する。自動運転車は、第２外郭線で囲まれたオブジェクトを認知することによって、自動運転車を基準としたとき、自動運転車にますます近づくか、自動運転車からますます遠くなるオブジェクトに対する距離計算及び遠近感計算を行うことができる。本発明において第２外郭線は、上記のように自動運転車が様々なオブジェクトに対する距離計算と遠近感計算を行うための基準データとして機能することができる。第２外郭線も第１外郭線のようにオブジェクトを囲んでいるが、３次元情報を圧縮的に表現する特性によって、より多くの座標（または座標値）で構成される特徴を有する。

【0225】

以下では、第２外郭線の座標特性と第２外郭線の形状特性の様々な実施形態について説明する。

【0226】

一例として、第２外郭線の座標値は７つの座標値で構成されてもよい。図１２Ｂにおいて、オートバイの第２外郭線１２１０は、オートバイの前面（ｆｒｏｎｔ）を示す長方形とオートバイの側面を示す台形とが一つの共通の辺に基づいて結合された形態を有している。このとき、オートバイの第２外郭線１２１０を形成するための頂点座標は、左上端座標である（ｘ１、ｙ１）、中央上端座標である（ｘ２、ｙ１）、右上端座標である（ｘ３、ｙ３）、左下端座標である（ｘ１、ｙ２）、中央下端座標である（ｘ２、ｙ２）、右下端座標である（ｘ３、ｙ４）となり、オートバイの第２外郭線１２１０を形成するために必要な最小情報である座標値は合計７つ（ｘ１、ｘ２、ｘ３、ｙ１、ｙ２、ｙ３、ｙ４）となる。

【0227】

別の例として、第２外郭線の座標値は８つの座標値で構成されてもよい。図１２Ｂには示されていないが、オブジェクトの遠近感を生かすためにオブジェクトを直方体（ｃｕｂｏｉｄ）形態の第２外郭線で囲む場合、オブジェクトの第２外郭線を形成するために必要な座標は合計８つであり、必要な座標値は合計８つ（ｘ１、ｘ２、ｘ３、ｘ４、ｙ１、ｙ２、ｙ３、ｙ４）となる。

【0228】

第２外郭線の形態は、２つの多角形を含む形態であり得る。特に、本実施形態では、２つの多角形のうちの１つはオブジェクトの前面（ｆｒｏｎｔ）または後面（ｒｅａｒ）を表し、もう１つはオブジェクトの側面を表す多角形であり得る。

【0229】

【表4】

【0230】

表４は、第２外郭線の形態が横方向に２つの多角形が１つの共通の辺に基づいて結合された形態である場合のオブジェクト移動に対する解釈の一例を表に示すものである。学習モデルは、第１外郭線で囲まれたオブジェクトの画像を入力として受け取り、オブジェクトの前面（ｆｒｏｎｔ）及び後面（ｒｅａｒ）は長方形で表示するように、左側面（ｌｅｆｔ）及び右側面（ｒｉｇｈｔ）は平行な辺の長さが互いに異なる台形で表示するようにトレーニングデータによって学習されている。

【0231】

図１２Ｂを参照すると、オートバイの第２外郭線１２１０の上端にはオブジェクトのメタデータとしてＦｒｏｎｔ－ｌｅｆｔが記載されており、その下にオートバイの前面と左側面に対応する長方形と台形とが結合された形態の第２外郭線が位置することが分かり、上記のような方式で乗用車の第２外郭線１２３０も生成することができる。学習モデルは、オブジェクトに対する第２外郭線を生成しながら、第２外郭線を形成するための数値情報として、第２外郭線の座標値を算出することになり、算出された第２外郭線の座標値は、次のステップで第２外郭線が適用されたオブジェクトが元の映像にマージ（ｍｅｒｇｉｎｇ）されるときにオブジェクトの位置を決定するのに活用することができる。

【0232】

本発明の一実施形態として、第２外郭線の形態は、キューボイド（ｃｕｂｏｉｄ）の形態であってもよいし、この場合、必要な座標値は合計８つであると既に説明した。

【0233】

表４には記載されていないが、自動運転車に搭載されたカメラで撮影された映像で前面または後面のみが撮られたか、または側面のみが撮られ、前面／後面が両方とも撮られていない場合、第２外郭線は四角形の形態となってもよい。つまり、前面または後面のみが撮られたオブジェクトの第２外郭線は、長方形の形態、側面のみが撮られ、前面または後面が両方とも撮られていないオブジェクトの第２外郭線は、直角を含まない単純な四角形であり得る。

【0234】

また、第２外郭線は、２つの多角形が少なくとも１つの共通の辺に基づいて結合された形態であってもよいし、これについては、図１２Ｂのオートバイの第２外郭線１２１０及び乗用車の第２外郭線１２３０を介して模式的に説明した。

【0235】

第２外郭線の規格は、第１外郭線の規格に含まれてもよい。具体的には、学習モデルは、解像度が限定された画像に基づいて第１外郭線で第２外郭線を生成するように学習されるので、第２外郭線の規格は、第１外郭線の規格以下になるように自動的に調整することができる。

【0236】

オブジェクトの外郭線生成装置は、図１２Ｂに示すように抽出されたオブジェクトのそれぞれに対して第２外郭線を生成した後、第２外郭線が適用されたオブジェクト１２１０′、１２３０′を元の映像にマージ（ｍｅｒｇｉｎｇ）することができる。一例として、対象フレームに４つのオブジェクトがあった場合、第２外郭線が適用されたオブジェクトが元の映像にマージされる過程が４回繰り返し行われ、最終的な映像にはオブジェクトが表示されていない背景（ｂａｃｋｇｒｏｕｎｄ）とともに第２外郭線が適用された４つのオブジェクトが映像に一度に表示されることがある。言い換えれば、オブジェクトの数がｎ個である場合、第２外郭線が生成され、元の映像にマージされるプロセスもｎ回行われ得る。

【0237】

本発明において抽出されたオブジェクトの第２外郭線を形成するための座標値は第１座標値、抽出されたオブジェクトを参照するための元の映像におけるオブジェクトの中心座標に対する座標値は第２座標値、元の映像におけるオブジェクトの第２外郭線を形成するための座標値は、第３座標値と称することができる。オブジェクトの外郭線生成装置は、第２外郭線を形成するための第１座標値が決定された後に、元の映像からオブジェクトがどの位置に配置されているか第２座標値を通じて確認し、第２座標値を中心として元の映像に第２外郭線が生成されるように処理することによって、元の映像に第２外郭線が適用されたオブジェクトをマージする効果を発生させることができる。

【0238】

本発明によれば、１次的にオブジェクト別に第１外郭線を明確に設定した後、オブジェクトを抽出して個別に第２外郭線生成に対する学習を進行して最終マージするプロセスを通じて、オブジェクト別に正確なアノテーションが可能となる。すなわち、従来の対象フレーム全体を一度に３Ｄアノテーションする方法に比べて本発明によれば、アノテーション精度が格段に上げることができる。

【0239】

図１３は、オブジェクト別に第２外郭線が生成された後に元の映像にオブジェクトの数だけ繰り返しマージされた例を模式的に説明するための図である。

【0240】

図１３（ａ）及び図１３（ｂ）は、４つのオブジェクトが個別に４回の元の映像に繰り返しマージされる過程を経て算出された元の映像を示している。図１３（ａ）及び図１３（ｂ）では、オブジェクトの数は４つであるが、実施形態によっては、元の映像にマージされるオブジェクトの数は４つに限定されず、４つよりも多くてもよく、４つよりも少なくてもよい。

【0241】

図１３（ａ）は、オブジェクトの第２外郭線がキューボイド（ｃｕｂｏｉｄ）形態に入った後に元の映像にマージされた結果を模式的に示している。図１３（ａ）の第１オブジェクトの第２外郭線１３１０は、３次元キューボイドが適用されており、映像を撮影した自動運転車の右側から自動運転車と同じ方向に移動することを示している。

【0242】

また、図１３（ｂ）は、オブジェクトの第２外郭線が２つの多角形が結合された形態に入った後に元の映像にマージされた結果を模式的に示している。特に、２つの多角形は長方形と台形であってもよく、第２外郭線の左側上端にはＲｅａｒ－ＲｉｇｈｔまたはＲｅａｒ－Ｒｉｇｈｔとともにオブジェクトのクラス情報としてｃａｒ、ｂｕｓ、ｔｒｕｃｋが追加で併記されたことがわかる。図１３（ｂ）の第２オブジェクトの第２外郭線１３３０は、２つの多角形が結合された形態が適用されており、映像を撮影した自動運転車の左側から自動運転車と同じ方向に移動することを示している。

【0243】

図１４は、図１０～図１３で説明した実施形態によるオブジェクトの外郭線生成方法をフローチャートで示す図である。

【0244】

図１４による方法は、図１０～図１３で説明したオブジェクトの外郭線生成装置によって実現することができるので、以下では、図１０～図１３で説明した内容と重複する説明は省略する。

【0245】

まず、オブジェクトの外郭線生成装置は、第１映像でオブジェクトを認識し、オブジェクト別に第１外郭線が生成されるように学習モデルを介して処理することができる（Ｓ１４１０）。第１外郭線は多角形の形態であり得る。

【0246】

続いて、オブジェクトの外郭線生成装置は、第１外郭線に基づいて第１映像からオブジェクトを抽出することができる（Ｓ１４３０）。より具体的には、抽出されるオブジェクトは、第１外郭線を境界線として、第１外郭線のサイズ領域に限定された画像になり得る。

【0247】

オブジェクトの外郭線生成装置は、オブジェクトに対する第２外郭線の第１座標値を取得することができる（Ｓ１４５０）。第１座標値は、実施形態によっては、７つの座標値または８つの座標値から構成されてもよい。

【0248】

オブジェクトの外郭線生成装置は、第１座標値に基づいて第２外郭線が適用されたオブジェクトを第１映像にマージすることができる（Ｓ１４７０）。ステップＳ１４７０の選択的な一実施形態として、オブジェクトの外郭線生成装置は、元の映像（または、対象フレーム）における抽出されたオブジェクトの位置に対する第２座標値を算出し、第２座標値に基づいて第２外郭線の座標に対する値である第３座標値を算出することができ、第１座標値及び第３座標値の両方を考慮して、第２外郭線が適用されたオブジェクトを元の映像にマージする効果を実現することができる。

【0249】

図１５は、一実施形態によるオブジェクトの外郭線生成装置のブロック図である。

【0250】

図１５を参照すると、オブジェクトの外郭線生成装置１５００は、通信部１５１０、プロセッサ１５２０、及びＤＢ１５３０を含むことができる。図１５のオブジェクトの外郭線生成装置１５００には、実施形態に関連する構成要素のみが示されている。したがって、図１５に示す構成要素に加えて他の汎用構成要素をさらに含むことができるのは当技術分野の通常の技術者であれば理解することができる。

【0251】

通信部１５１０は、外部サーバまたは外部装置との有線／無線通信を可能にする１つ以上の構成要素を含むことができる。例えば、通信部１５１０は、近距離通信部（図示せず）、移動通信部（図示せず）及び放送受信部（図示せず）のうちの少なくとも１つを含むことができる。

【0252】

ＤＢ１５３０は、オブジェクトの外郭線生成装置１５００内で処理される各種データを保存するハードウェアであり、プロセッサ１５２０の処理及び制御のためのプログラムを保存することができる。

【0253】

ＤＢ１５３０は、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）などのＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＣＤ－ＲＯＭ、ブルーレイまたは他の光ディスクストレージ、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、またはフラッシュメモリを含むことができる。

【0254】

プロセッサ１５２０は、オブジェクトの外郭線生成装置１５００の全体的な動作を制御する。例えば、プロセッサ１５２０は、ＤＢ１５３０に保存されたプログラムを実行することにより、入力部（図示せず）、ディスプレイ（図示せず）、通信部１５１０、ＤＢ１５３０などを全体的に制御することができる。プロセッサ１５２０は、ＤＢ１５３０に保存されたプログラムを実行することにより、オブジェクトの外郭線生成装置１５００の動作を制御することができる。

【0255】

プロセッサ１５２０は、図１～図１５で上述したオブジェクトの外郭線生成装置１５００の動作の少なくとも一部を制御することができる。

【0256】

一例として、プロセッサ１５２０は、図１０～図１４で説明したように、走行中に取得された第１映像に含まれる少なくとも１つのオブジェクトを認識し、認識されたオブジェクト別に第１外郭線を生成し、生成された第１外郭線に基づいて第１映像で認識されたオブジェクトを抽出し、抽出されたオブジェクトを第１学習モデルに入力した結果として、抽出されたオブジェクトの第２外郭線に対する第１座標値を取得し、取得された第１座標値に基づいて第２外郭線が適用されたオブジェクトを第１映像にマージすることができる。実施形態によっては、第２外郭線が適用されたオブジェクトを第１映像にマージして生成された最終映像を第１映像と区別するために第２映像と呼ぶことができる。

【0257】

プロセッサ１５２０は、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、コントローラ（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラ（ｍｉｃｒｏ－ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、及び他の機能を行うための電気的なユニットのうちの少なくとも１つを用いて実装することができる。

【0258】

図１６は、走行中に取得された映像に、本発明による映像内のオブジェクトのキューボイド取得方法が適用されなかったときと適用されたときとの結果物をそれぞれ模式的に示す図である。

【0259】

以下では、本発明による映像内のオブジェクトのキューボイド取得方法は、キューボイド取得方法、本発明による映像内のオブジェクトのキューボイド取得装置は、キューボイド取得装置とそれぞれ称することにする。

【0260】

まず、図１６（ａ）は、キューボイド取得方法が適用されなかったときの結果を示す。より具体的には、図１６（ａ）は、走行中に取得された映像を学習モデルに入力データとして入力したときに取得されるオブジェクトのキューボイドを模式的に示している。本発明において、キューボイド（ｃｕｂｏｉｄ）は、従来の直方体という辞書的定義を拡張させた概念であり、映像でどのオブジェクトが認識されると、認識されたオブジェクトに対する高さ（ｈｅｉｇｈｔ）、幅（ｗｉｄｔｈ）、深さ（ｄｅｐｔｈ）に対する情報を視覚的に表した標識（または、映像内の座標で構成した情報）を意味する。すなわち、キューボイドは、２次元で表現されている映像においてオブジェクトの３次元情報を表す特徴がある。

【0261】

図１６（ａ）の映像で認識されたオブジェクトはコンテナボックスを載せて走行中のトラックであり、図１６（ａ）においてキューボイドは合計３つの図形を含んでいる。まず、サイドポイント１６１０Ａは、認識されたオブジェクトの側面を直感的に表すためのキューボイドの一例であり得る。さらに、露出標識１６３０Ａは、映像でオブジェクトが完全な形で露出された状態であるかどうかを示す指標の一例であり得る。また、後面標識１６５０Ａは、認識されたオブジェクトの後面の位置を直感的に表すためのキューボイドの一例であり得る。

【0262】

通常、学習モデルに映像が入力されると、映像に含まれるオブジェクトのキューボイド座標が図１６（ａ）のように取得され得る。学習モデルは、ディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）のような改善された形態のニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）であり、予め設定されている損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）に応じて入力映像の学習を行い、アノテーション（ａｎｎｏｔａｔｉｏｎ）に対する結果を出力するモデルであり得、実施形態によっては、ニューラルネットワークとは異なる機械学習アルゴリズムが適用されてもよい。このとき、取得されるサイドポイント１６１０Ａ、露出標識１６３０Ａ、及び後面標識１６５０Ａは、図１６（ａ）で認識されたオブジェクトの外郭線１６０５Ａに依存せず、独立して学習される特性を有しているため、外郭線１６０５Ａを構成する座標は、サイドポイント１６１０Ａ、露出標識１６３０Ａ、及び後面標識１６５０Ａの座標値に影響を与えない。

【0263】

一方、本発明によるキューボイド取得装置によれば、図１６（ｂ）のようなキューボイドを取得することができる。具体的には、学習モデルを介して取得されるキューボイド座標は、一次的にオブジェクトが認識された後にオブジェクトの外郭に生成される外郭線１６０５Ｂに依存（ｄｅｐｅｎｄａｎｔ）的な特性を有する。より具体的には、図１６（ｂ）のサイドポイント１６１０Ｂ、露出標識１６３０Ｂ、及び後面標識１６５０Ｂの座標は、いずれも図１６（ｂ）のオブジェクトの外郭に生成されている外郭線１６０５Ｂの座標と座標値（ｃｏｏｒｄｉｎａｔｅ ｖａｌｕｅ）を共有することになる。ここで、座標値を共有するということは、外郭線１６０５Ｂを形成する４つの辺のうち少なくとも一つの辺にサイドポイント１６１０Ｂ、露出標識１６３０Ｂ、及び後面標識１６５０Ｂが位置していることを意味する。

【0264】

以下で、本発明においてキューボイドに含まれるサイドポイント、露出標識及び後面標識の定義を具体的に説明する。

【0265】

サイドポイント（ｓｉｄｅ ｐｏｉｎｔ）は、映像で認識されたオブジェクトの前面と側面との境界を表すことができる。ここで、側面とは、映像を介して確認できるオブジェクトの側面を意味するので、オブジェクトの左側面または右側面のいずれかであり得る。サイドポイントは上下に配置された点と２つの点を結ぶ連結線（ｃｏｎｎｅｃｔｉｏｎ ｌｉｎｅ）で構成されており、上下に配置される点は同じｘ座標を有し、ｙ座標のみが異なる特性を有している。一例として、サイドポイントの２つの点の座標は、それぞれ（ｘ１、ｙ１）、（ｘ１、ｙ２）であり得る。サイドポイントを形成する２つの点が決定されると、連結線はすぐに決定することができる。サイドポイントがオブジェクトの前面と側面との境界を表すので、サイドポイントの連結線の長さはオブジェクトの前面の高さを表すことができる。

【0266】

露出標識（ｌａｔｅｒａｌ ｓｉｇｎ）は、映像で認識されたオブジェクトの露出度を表すことができ、図１６の（ａ）または（ｂ）に示すように、映像で１つの大きな点で表すことができる。露出標識は、映像でオブジェクトが完全な形態で露出された状態であるかどうかを示す指標である。一例として、露出標識は、映像でオブジェクトの全体像が完全に撮られていると、オブジェクトの外郭線の下端の正中央に位置するようになり、映像でオブジェクトの一部の姿のみが撮られていると、撮られていないオブジェクトの部分を考慮して、適切な位置に位置するようになる。別の例として、映像でオブジェクトの一部の姿のみが撮られていると、露出標識は最初から省略されてもよい。この場合、オブジェクトのキューボイドは、上述のサイドポイント及び後面標識のみを含むことになる。

【0267】

後面標識（ｒｅａｒ ｓｉｇｎ）は、映像内のオブジェクトの後面の位置を示す指標である。後面標識は、実施形態によっては、線（ｌｉｎｅ）の形態であってもよく、ボックス（ｂｏｘ）の形態であってもよい。後面標識の形態変化については、図１８～図２５を参照して後述する。

【0268】

図１７は、本発明によるキューボイド取得装置のキューボイド取得プロセスを説明するための概念図である。

【0269】

図１７を参照すると、本発明によるキューボイド取得装置１７００は、前処理部１７３０及びモデル学習部１７４０を含み、キューボイド取得装置１７００には、自動車が走行中に取得した映像データ１７１０が入力されることがわかる。

【0270】

まず、映像データ１７１０は、自動運転車両に設置されているカメラが車両の走行中に取得した映像のローデータ（ｒａｗ ｄａｔａ）であり、モデル学習部１７４０によって映像に含まれているオブジェクト（人、二輪車、四輪車、その他の移動体など）を認識され得る。本発明において映像でオブジェクトを認識する方法については特別な種類の方法に限定されないので、現時点で公知の方法だけでなく、近いうちに開発が完了するオブジェクト認識方法を使用してもよい。

【0271】

第１外郭線データ１７２１は、映像でオブジェクトとして認識されたオブジェクトごとに生成される外郭線に関する情報を意味する。具体的には、図１６（ａ）における外郭線１６０５Ａまたは図１６（ｂ）における外郭線１６０５Ｂに関する情報は、第１外郭線データ１７２１となり得る。本発明においてオブジェクトを囲む第１外郭線は、オブジェクトの突出部を考慮して、オブジェクトの縁にぴったり合った長方形の形態のバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）となり得る。第１外郭線データ１７２１もモデル学習部１７４０の学習モデルの学習過程で形成することができ、特に、第１外郭線を形成する点の座標は最終的にキューボイドの座標を決定するための参考情報となり得る。

【0272】

キューボイドデータ１７２２は、映像でオブジェクトとして認識されたオブジェクト別に取得されたキューボイドに関する情報を意味する。例えば、第１オブジェクトと第２オブジェクトが映像に含まれていると、キューボイドデータ１７２２は、第１オブジェクトのキューボイドの座標及び第２オブジェクトのキューボイドの座標とを含んでのよい。このとき、キューボイドは、上述のサイドポイント、後面標識、及び露出標識を含み得、第１外郭線データ１７２１を考慮せずにキューボイドが取得されたため、一部のキューボイドは不正確な特徴を有する。

【0273】

本発明では、学習モデルに前処理された映像データが入力されると、映像データでオブジェクトを認識し、オブジェクト別に一定の個数（例えば、１３個）の値を予測値として抽出した後、一部の予測値で第１外郭線データ１７２１を算出し、残りの予測値でキューボイドデータ１７２２を並列的に算出し、キューボイドデータ１７２２が第１外郭線データ１７２１の依存データに補正する。すなわち、第１外郭線データ１７２１は、キューボイドデータ１７２２が最終キューボイド座標に変換されるための一種のバウンダリ（ｂｏｕｎｄａｒｙ）として機能することができる。

【0274】

第１外郭線がバウンディングボックスである場合、第１外郭線を形成するための最小座標は合計４つの座標であり得る。例えば、第１外郭線の最小座標は、（ｘ１、ｙ１）、（ｘ１、ｙ５）、（ｘ４、ｙ１）、（ｘ４、ｙ５）とすることができる。上記のように、第１外郭線の座標が決定されると、第１外郭線を形成するための座標値（ｃｏｏｒｄｉｎａｔｅ ｖａｌｕｅ）はｘ１、ｙ１、ｘ５、ｙ５となり、第１外郭線の座標のｘ軸またはｙ軸座標のうち少なくとも１つが一致する座標はすべて、第１外郭線の座標と見なすことができます。一例として、（ｘ３、ｙ１）または（ｘ１、ｙ３）は、第１外郭線の座標と見なすことができる。映像で認識されたオブジェクトの数がｎ個であれば、第１外郭線の数もｎ個になり得る。

【0275】

前処理部１７３０は、映像データ１７１０を前処理（ｐｒｅ－ｐｒｏｃｅｓｓｉｎｇ）することができる。一例として、前処理部１７３０は、映像データ１７１０がモデル学習部１７４０の学習モデルにエラーなく入力され、学習できるようにエンベディング（ｅｍｂｅｄｄｉｎｇ）する機能を行ってもよく、映像データ１７１０の完全性をチェックする機能を行ってもよい。前処理部１７３０は、実施形態によっては、モデル学習部１７４０に組み込まれた形態で実装されてもよい。

【0276】

モデル学習部１７４０は、前処理部１７３０から前処理された映像データ１７１０を受け取り、映像に含まれたオブジェクトのキューボイドを取得するように学習を行うことができる。

【0277】

図１７に示すように、本発明によるキューボイド取得装置１７００は、映像データ１７１０のみでオブジェクトのキューボイドを直ちに取得するのではなく、オブジェクト別に生成されている第１外郭線に関する情報を学習に反映することによって、最終的に取得されるオブジェクト別キューボイドが正確なオブジェクトの３次元情報を含めるように制御することができる。

【0278】

特に、キューボイド取得装置１７００の学習モデルは、オブジェクトの第１外郭線の座標値を取得した後、オブジェクトに対するサイドポイント、露出標識及び後面標識の座標を取得すると、取得されたサイドポイント、露出標識及び後面標識の座標を第１外郭線の座標値を考慮して補正する方式でオブジェクトのキューボイド座標を取得することができる。

【0279】

例えば、キューボイド取得装置１７００は、サイドポイントを形成する上下方向の２つの点の座標を取得すると、第１外郭線の座標値を考慮して、サイドポイントを形成する上下方向の２つの点の座標のｙ座標値を補正することができる。より具体的には、キューボイド取得装置１７００は、認識されたオブジェクトの方向を決定した後、サイドポイントを形成する上下方向の２つの点の座標を取得した後、２つの点の座標のｙ座標値を第１外郭線の高さに合わせて補正することができる。

【0280】

認識されたオブジェクトの方向は、合計８つの方向のいずれかになり得る。例えば、認識されたオブジェクトの方向は、前面左側方向、前面方向、前面右側方向、完全左側方向、完全右側方向、後面左側方向、後面方向及び後面右側方向のうちの１つであり得る。キューボイド取得装置１７００は、映像で認識されたオブジェクトの方向が決定されると、オブジェクトのキューボイドで取得されたサイドポイント、露出標識及び後面標識の座標を決定された方向別に予め設定された式に従って補正し、正確なキューボイドが取得できるように制御することになる。オブジェクトの８つの方向別に異なって適用される補正方式については、図１８～図２５を参照して後述する。

【0281】

図１８は、キューボイド取得装置が取得した前面左側方向のオブジェクトのキューボイドを説明するための一例を示す図である。

【0282】

図１８において、オブジェクトは前面左側方向の自動車であり、その自動車は第１外郭線１８００で囲まれており、オブジェクトに対するキューボイドとして、サイドポイント１８１０及び後面標識１８３０が模式的に表現されている。

【0283】

キューボイド取得装置は、１次的にオブジェクトを分析して前面左側（ｆｒｏｎｔ－ｌｅｆｔ）方向であることを探知した後、２次的にオブジェクトに対するキューボイドとしてサイドポイント１８１０及び後面標識１８３０に対する座標を取得することができる。実施形態によっては、キューボイド取得装置は、１次的にオブジェクトに対するサイドポイント１８１０及び後面標識１８３０に対する座標を取得した後、２次的にオブジェクトの方向がどの方向であるかを探知してもよい。

【0284】

キューボイド取得装置は、オブジェクトの方向が前面左側（ｆｒｏｎｔ－ｌｅｆｔ）方向であることを探知した後、サイドポイント１８１０を構成する上下方向の２つの点のｙ座標を最も隣接する第１外郭線１８００のｙ座標に補正してもよい。例えば、第１外郭線１８００が（ｘ１、ｙ５）から（ｘ１０、ｙ５）まで形成された辺を含み、サイドポイント１８１０の上端点の座標が（ｘ４、ｙ４）である場合、キューボイド取得装置は、サイドポイント１８１０の上端点の座標を（ｘ４、ｙ５）に補正することができる。別の例として、第１外郭線１８００が（ｘ１、ｙ５）から（ｘ１０、ｙ５）まで形成された辺を含み、サイドポイント１８１０の上端点の座標が（ｘ４、ｙ７）である場合、キューボイド取得装置は、サイドポイント１８１０の上端点の座標を（ｘ４、ｙ５）に補正することができる。すなわち、本発明では、補正前の点の座標が第１外郭線１８００の外側にあるか内側にある場合、その点の座標を第１外郭線１８００を構成するための点の座標に補正することになる。このとき、第１外郭線１８００上の座標（ｘ１，ｙ５）と（ｘ１０，ｙ５）との間には（ｘ２，ｙ５），（ｘ３，ｙ５），（ｘ４，ｙ５）等のようにｙ座標が同一に維持されながら、ｘ座標のみｘ１からｘ１０の間の値が適用できることは、この分野の通常の技術者であれば理解できるであろう。

【0285】

また、別の例として、キューボイド取得装置は、オブジェクトの方向が前面左側方向であることを探知した後、後面標識１８３０を構成する上下方向の２つの点を結ぶ線が第１外郭線１８００の左辺あるいは、右辺の少なくとも一部を共有する線に限定されるように学習処理してもよい。具体的には、キューボイド取得装置は、第１外郭線１８００、認識されたオブジェクトの全体輪郭、探知されたオブジェクトの方向（前面左側）を全体的に考慮して、オブジェクトの後面の高さを算出し、その高さと同じである長さを後面標識１８３０の長さに設定することができる。このとき、前面左側方向においてオブジェクトの後面は観測されないので、後面標識１８３０は、第１外郭線の左辺または右辺の少なくとも一部を共有する線で表現することができる。図１８を参照すると、キューボイド取得装置は、後面標識１８３０を第１外郭線１８００の右辺を共有するように生成するが、認識されたオブジェクトの後面の高さ、後面の始点及び終点を考慮して、後面標識１８３０の長さが右辺の一部に制限されるようにしたことがわかる。

【0286】

図１９は、キューボイド取得装置が取得した前面方向のオブジェクトのキューボイドを説明するための一例を示す図である。

【0287】

図１９において、オブジェクトは前面方向の自動車であり、その自動車は第１外郭線１９００で囲まれており、オブジェクトに対するキューボイドとして、サイドポイント１９１０及び後面標識１９３０が模式的に表現されている。

【0288】

キューボイド取得装置は、１次的にオブジェクトを分析して完全に前面（ｆｒｏｎｔ ｏｎｌｙ）方向であることを探知した後、２次的にオブジェクトに対するキューボイドとしてサイドポイント１９１０及び後面標識１９３０に対する座標を取得することができる。実施形態によっては、キューボイド取得装置は、１次的にオブジェクトに対するサイドポイント１９１０及び後面標識１９３０に対する座標を取得した後、２次的にオブジェクトの方向がどの方向であるかを探知してもよい。

【0289】

キューボイド取得装置は、オブジェクトの方向が前面方向であることを探知した後、サイドポイント１９１０を構成する上下方向の２つの点を第１外郭線１９００の上下端の正中央に位置する点に設定することができる。その後、サイドポイント１９１０の連結線を自動的に設定することができる。

【0290】

また、キューボイド取得装置は、オブジェクトの向きが前面方向であることを探知した後、認識されたオブジェクトの正中央を分けて上下方向に延びた線（ｌｉｎｅ）を後面標識１９３０で取得することができる。後面標識１９３０は、オブジェクトの後面を示す標識であるので、オブジェクトが完全に前面方向である場合、上述の説明のように表示されてはならないが、本発明ではオブジェクトの側面及び後面の両方が観測されない状況で後面標識１９３０を図１９のようにオブジェクトの前面の中央に位置する線で示すことにより、結果的に後面標識１９３０がオブジェクトの３次元情報を迂回的に提供できるようにする。

【0291】

図１９を参照すると、オブジェクトが完全に前面方向であると探知されると、サイドポイント１９１０の連結線と後面標識１９３０が一致することが分かり、このとき、サイドポイント１９１０の連結線及び後面標識１９３０の長さは第１外郭線１９００の高さと同じである。

【0292】

図２０は、キューボイド取得装置が取得した前面右側方向のオブジェクトのキューボイドを説明するための一例を示す図である。

【0293】

図２０において、オブジェクトは前面右側方向の自動車であり、その自動車は第１外郭線２０００で囲まれており、オブジェクトに対するキューボイドとして、サイドポイント２０１０及び後面標識２０３０が模式的に表現されている。

【0294】

キューボイド取得装置は、１次的にオブジェクトを分析して前面右側（ｆｒｏｎｔ－ｒｉｇｈｔ）方向であることを探知した後、２次的にオブジェクトに対するキューボイドとしてサイドポイント２０１０及び後面標識２０３０に対する座標を取得することができる。実施形態によっては、キューボイド取得装置は、１次的にオブジェクトに対するサイドポイント２０１０及び後面標識２０３０に対する座標を取得した後、２次的にオブジェクトの方向がどの方向であるかを探知してもよい。

【0295】

キューボイド取得装置は、オブジェクトの方向が前面右側（ｆｒｏｎｔ－ｒｉｇｈｔ）方向であることを探知した後、サイドポイント２０１０を構成する上下方向の２つの点のｙ座標を最も隣接する第１外郭線２０００のｙ座標に補正してもよい。例えば、第１外郭線２０００が（ｘ１、ｙ５）から（ｘ１０、ｙ５）まで形成された辺を含み、サイドポイント２０１０の上端点の座標が（ｘ４、ｙ４）である場合、キューボイド取得装置は、サイドポイント２０１０の上端点の座標を（ｘ４、ｙ５）に補正することができる。別の例として、第１外郭線２０００が（ｘ１、ｙ５）から（ｘ１０、ｙ５）まで形成された辺を含み、サイドポイント２０１０の上端点の座標が（ｘ４、ｙ７）である場合、キューボイド取得装置は、サイドポイント２０１０の上端点の座標を（ｘ４、ｙ５）に補正することができる。すなわち、本発明では、補正される前の点の座標が第１外郭線２０００の外側にあるか内側にある場合、その点の座標を、第１外郭線２０００を構成するための点の座標に補正することになる。このとき、第１外郭線２０００上の座標（ｘ１、ｙ５）と（ｘ１０、ｙ５）との間には（ｘ２、ｙ５）、（ｘ３、ｙ５）、（ｘ４、ｙ５）等のようにｙ座標が同一に維持されながら、ｘ座標のみｘ１からｘ１０の間の値が適用できることは、この分野の通常の技術者であれば理解できるであろう。

【0296】

また、別の例として、キューボイド取得装置は、オブジェクトの方向が前面右側方向であることを探知した後、後面標識２０３０を構成する上下方向の２つの点を結ぶ線が第１外郭線２０００の左辺あるいは、右辺の少なくとも一部を共有する線に限定されるように学習処理してもよい。具体的には、キューボイド取得装置は、第１外郭線２０００、認識されたオブジェクトの全体輪郭、探知されたオブジェクトの方向（前面右側）を全体的に考慮して、オブジェクトの後面の高さを算出し、その高さと同じである長さを後面標識２０３０の長さに設定することができる。このとき、前面右側方向においてオブジェクトの後面は観測されないので、後面標識２０３０は、第１外郭線の左辺の少なくとも一部を共有する線で表現することができる。図２０を参照すると、キューボイド取得装置は、後面標識２０３０を第１外郭線２０００の左辺を共有するように生成するが、認識されたオブジェクトの後面の高さ、後面の始点及び終点を考慮して、後面標識２０３０の長さが左辺の一部に制限されるようにしたことがわかる。

【0297】

図２１は、キューボイド取得装置が取得した、左側面のオブジェクトのキューボイドを説明するための一例を示す図である。

【0298】

図２１において、オブジェクトは映像で左側面のみ観測された自動車であり、その自動車は第１外郭線２１００で囲まれており、オブジェクトに対するキューボイドとして、サイドポイント２１１０及び後面標識２１３０が模式的に表現されている。

【0299】

キューボイド取得装置は、１次的にオブジェクトを分析して左側面のみ（Ｌｅｆｔ ｏｎｌｙ）観測されたことを探知した後、２次的にオブジェクトに対するキューボイドとしてサイドポイント２１１０及び後面標識２１３０に対する座標を取得することができる。実施形態によっては、キューボイド取得装置は、１次的にオブジェクトに対するサイドポイント２１１０及び後面標識２１３０に対する座標を取得した後、２次的にオブジェクトの方向がどの方向であるかを探知してもよい。

【0300】

キューボイド取得装置は、オブジェクトが映像で左側面のみ観測されたことを探知した後、サイドポイント２１１０を構成する上下方向の２つの点のｙ座標を最も隣接する第１外郭線２１００のｙ座標に補正することができる。例えば、第１外郭線２１００が（ｘ１、ｙ５）から（ｘ１０、ｙ５）まで形成された辺を含み、サイドポイント２１１０の上端点の座標が（ｘ４、ｙ４）である場合、キューボイド取得装置は、サイドポイント２１１０の上端点の座標を（ｘ４、ｙ５）に補正することができる。別の例として、第１外郭線２１００が（ｘ１、ｙ５）から（ｘ１０、ｙ５）まで形成された辺を含み、サイドポイント２１１０の上端点の座標が（ｘ４、ｙ７）である場合、キューボイド取得装置は、サイドポイント２１１０の上端点の座標を（ｘ４、ｙ５）に補正することができる。すなわち、本発明では、補正前の点の座標が第１外郭線２１００の外側にあるか内側にある場合、その点の座標を、第１外郭線２１００を構成するための点の座標に補正することになる。

【0301】

また、別の例として、キューボイド取得装置は、オブジェクトの左側面のみが観察された場合、後面標識２１３０を構成する上下方向の２つの点を結ぶ線が第１外郭線２１００の左辺または右辺を共有する線に制限されるように学習処理することができる。具体的には、キューボイド取得装置は、第１外郭線２１００、認識されたオブジェクトの全体輪郭、観測されたオブジェクトの方向（左側面）を全体的に考慮して、オブジェクトの後面の高さを算出し、その高さと同じ長さを後面標識２１３０の長さに設定することができる。このとき、オブジェクトの左側面方向においてオブジェクトの後面は観測されないので、後面標識２１３０は、第１外郭線の左辺または右辺の少なくとも一部を共有する線として表現することができる。図２１を参照すると、キューボイド取得装置は、後面標識２１３０を第１外郭線２１００の右辺を共有するように生成したことが分かる。

【0302】

図２２は、キューボイド取得装置が取得した、右側面のオブジェクトのキューボイドを説明するための一例を示す図である。

【0303】

図２２において、オブジェクトは映像で右側面のみ観測された自動車であり、その自動車は第１外郭線２２００で囲まれており、オブジェクトに対するキューボイドとして、サイドポイント２２１０及び後面標識２２３０が模式的に表現されている。

【0304】

キューボイド取得装置は、１次的にオブジェクトを分析して右側面（Ｒｉｇｈｔ ｏｎｌｙ）のみ観測されたことを探知した後、２次的にオブジェクトに対するキューボイドとしてサイドポイント２２１０及び後面標識２２３０に対する座標を取得することができる。一実施形態によっては、キューボイド取得装置は、１次的にオブジェクトに対するサイドポイント２２１０及び後面標識２２３０に対する座標を取得した後、２次的にオブジェクトの方向がどの方向であるかを探知してもよい。

【0305】

キューボイド取得装置は、オブジェクトが映像で左側面のみ観測されたことを検出した後、サイドポイント２２１０を構成する上下方向の２つの点のｙ座標を最も隣接する第１外郭線２２００のｙ座標で補正することができる。例えば、第１外郭線２２００が（ｘ１、ｙ５）から（ｘ１０、ｙ５）まで形成された辺を含み、サイドポイント２２１０の上端点の座標が（ｘ４、ｙ４）である場合、キューボイド取得装置は、サイドポイント２２１０の上端点の座標を（ｘ４、ｙ５）に補正することができる。例えば、第１外郭線２２００が（ｘ１、ｙ５）から（ｘ１０、ｙ５）まで形成された辺を含み、サイドポイント２２１０の上端点の座標が（ｘ４、ｙ７）である場合、キューボイド取得装置は、サイドポイント２２１０の上端点の座標を（ｘ４、ｙ５）に補正することができる。すなわち、本発明では、補正前の点の座標が第１外郭線２２００の外側にあるか内側にある場合、その点の座標を、第１外郭線２２００を構成するための点の座標に補正することになる。

【0306】

また、別の例として、キューボイド取得装置は、オブジェクトの右側面のみが観察された場合、後面標識２２３０を構成する上下方向の２つの点を結ぶ線が第１外郭線２２００の左辺または右辺を共有する線に制限されるように学習処理することができる。具体的には、キューボイド取得装置は、第１外郭線２２００、認識されたオブジェクトの全体輪郭、観測されたオブジェクトの方向（左側面）を全体的に考慮して、オブジェクトの後面の高さを算出し、その高さと同じ長さを後面標識２２３０の長さに設定することができる。このとき、オブジェクトの右側面方向においてオブジェクトの後面は観測されないので、後面標識２２３０は、第１外郭線の左辺または右辺の少なくとも一部を共有する線として表現することができる。図２２を参照すると、キューボイド取得装置は、後面標識２２３０を第１外郭線２２００の左辺を共有するように生成したことが分かる。

【0307】

図２３は、キューボイド取得装置が取得した、後面左側方向のオブジェクトのキューボイドを説明するための一例を示す図である。

【0308】

図２３において、オブジェクトは後面左側方向の自動車であり、その自動車は第１外郭線２３００で囲まれており、オブジェクトに対するキューボイドとして、サイドポイント２３１０及び後面標識２３３０が模式的に表現されている。

【0309】

キューボイド取得装置は、１次的にオブジェクトを分析して後面左側（ｒｅａｒ－ｌｅｆｔ）方向であることを探知した後、２次的にオブジェクトに対するキューボイドとしてサイドポイント２３１０及び後面標識２３３０に対する座標を取得することができる。一実施形態によっては、キューボイド取得装置は、１次的にオブジェクトに対するサイドポイント２３１０及び後面標識２３３０に対する座標を取得した後、２次的にオブジェクトの方向がどの方向であるかを探知してもよい。

【0310】

キューボイド取得装置は、オブジェクトの方向が後面左側方向であることを探知した後、サイドポイント２３１０を構成する上下方向の２つの点のｙ座標を最も隣接する第１外郭線２３００のｙ座標で補正することができる。例えば、第１外郭線２３００が（ｘ１、ｙ５）から（ｘ１０、ｙ５）まで形成された辺を含み、サイドポイント２３１０の上端点の座標が（ｘ４、ｙ４）である場合、キューボイド取得装置は、サイドポイント２３１０の上端点の座標を（ｘ４、ｙ５）に補正することができる。別の例として、第１外郭線２３００が（ｘ１、ｙ５）から（ｘ１０、ｙ５）まで形成された辺を含み、サイドポイント２３１０の上端点の座標が（ｘ４、ｙ７）である場合、キューボイド取得装置は、サイドポイント２３１０の上端点の座標を（ｘ４、ｙ５）に補正することができる。

【0311】

一方、キューボイド取得装置は、サイドポイント２３１０の下端点の座標を、オブジェクトの方向、オブジェクトの前面の高さを決定する始点及び終点間の長さを用いて決定することができる。認識されたオブジェクトの方向が後面左方向ということは、オブジェクトの前面が観測されないことを意味するので、サイドポイント２３１０のｘ座標は、第１外郭線の左辺のｘ座標と一致するようになる。また、オブジェクトの方向が後面左側方向であることは、観測者から離れる方向にオブジェクトが移動していることを意味するので、オブジェクトの前面の高さを決定する始点は、第１外郭線の最上端の高さのｙ座標を有するようになり、オブジェクトの前面の高さを決定する終点は、オブジェクトの左前輪タイヤと地面が当たる部分のｙ座標を有するようになる。結局、図２３に示すように、第１外郭線２３００の上下端に配置されたサイドポイント２３１０を結ぶ線の長さは、第１外郭線２３００の左辺の一部の長さに制限され得る。

【0312】

また、別の例として、キューボイド取得装置は、オブジェクトの方向が後面左側方向であることを探知した後、後面標識２３３０が第１外郭線２３００の右辺を共有する四角形に制限されるように学習処理することができる。図２３を参照すると、後面標識２３３０は、第１外郭線２３００の右辺を共有しながら、第１外郭線２３００の上辺及び下辺の一部を同時に共有する四角形で表示されていることが分かる。図２３において、後面標識２３３０の幅はオブジェクトの後面の幅を意味し、後面標識２３３０の高さはオブジェクトの後面の高さを意味する。

【0313】

図２４は、キューボイド取得装置が取得した、後面右側方向のオブジェクトのキューボイドを説明するための一例を示す図である。

【0314】

図２４において、オブジェクトは後面右側方向の自動車であり、その自動車は第１外郭線２４００で囲まれており、オブジェクトに対するキューボイドとして、サイドポイント２４１０及び後面標識２４３０が模式的に表現されている。

【0315】

キューボイド取得装置は、１次的にオブジェクトを分析して後面右側（ｒｅａｒ－ｒｉｇｈｔ）方向であることを探知した後、２次的にオブジェクトに対するキューボイドとしてサイドポイント２４１０及び後面標識２４３０に対する座標を取得することができる。実施形態によっては、キューボイド取得装置は、１次的にオブジェクトに対するサイドポイント２４１０及び後面標識２４３０に対する座標を取得した後、２次的にオブジェクトの方向がどの方向であるかを探知してもよい。

【0316】

キューボイド取得装置は、オブジェクトの方向が後面右側方向であることを探知した後、サイドポイント２４１０を構成する上下方向の２つの点のｙ座標を最も隣接する第１外郭線２４００のｙ座標に補正することができる。例えば、第１外郭線２４００が（ｘ１、ｙ５）から（ｘ１０、ｙ５）まで形成された辺を含み、サイドポイント２４１０の上端点の座標が（ｘ４、ｙ４）である場合、キューボイド取得装置は、サイドポイント２４１０の上端点の座標を（ｘ４、ｙ５）に補正することができる。別の例として、第１外郭線２４００が（ｘ１、ｙ５）から（ｘ１０、ｙ５）まで形成された辺を含み、サイドポイント２４１０の上端点の座標が（ｘ４、ｙ７）である場合、キューボイド取得装置は、サイドポイント２４１０の上端点の座標を（ｘ４、ｙ５）に補正することができる。

【0317】

一方、キューボイド取得装置は、サイドポイント２４１０の下端点の座標を、オブジェクトの方向、オブジェクトの前面の高さを決定する始点及び終点間の長さを用いて決定することができる。認識されたオブジェクトの方向が後面右方向ということは、オブジェクトの前面が観測されないことを意味するので、サイドポイント２４１０のｘ座標は、第１外郭線２４００の右辺のｘ座標と一致するようになる。また、オブジェクトの方向が後面右側方向であることは、観測者から離れる方向にオブジェクトが移動していることを意味するので、オブジェクトの前面の高さを決定する始点は、第１外郭線２４００の最上端の高さのｙ座標を有するようになり、オブジェクトの前面の高さを決定する終点は、オブジェクトの右前輪タイヤと地面が当たる部分のｙ座標を有するようになる。結局、図２４に示すように、第１外郭線２４００の上下端に配置されたサイドポイント２４１０を結ぶ線の長さは、第１外郭線２４００の右辺の一部の長さに制限され得る。

【0318】

また、別の例として、キューボイド取得装置は、オブジェクトの方向が後面右側方向であることを探知した後、後面標識２４３０が第１外郭線２４００の左辺を共有する四角形に制限されるように学習処理することができる。図２４を参照すると、後面標識２４３０は、第１外郭線２４００の左辺を共有しながら、第１外郭線２４００の上辺及び下辺の一部を同時に共有する四角形で表示されていることが分かる。図２４において、後面標識２４３０の幅はオブジェクトの後面の幅を意味し、後面標識２４３０の高さはオブジェクトの後面の高さを意味する。

【0319】

図２５は、キューボイド取得装置が取得した、後面方向のオブジェクトのキューボイドを説明するための一例を示す図である。

【0320】

図２５において、オブジェクトは後面方向の自動車であり、その自動車は第１外郭線２５００で囲まれており、オブジェクトに対するキューボイドとして、サイドポイント２５１０及び後面標識２５３０が模式的に表現されている。

【0321】

映像で認識されたオブジェクトの方向が完全に後面（ｒｅａｒ ｏｎｌｙ）方向であれば、キューボイド取得装置は、図１９で説明したように、サイドポイント２５１０をオブジェクトの正中央の最上端及び最下端にそれぞれ配置された２つの点を連結する線で生成することができる。

【0322】

さらに、認識されたオブジェクトの方向が完全に後面方向であれば、図２５に示すように、キューボイド取得装置は後面標識２５３０を第１外郭線２５００と一致させることができる。

【0323】

本発明によるキューボイド取得装置は、図１８～図２５を参照して説明したように、サイドポイント、後面標識を含むキューボイドを生成するように学習モデルを学習させることができる。この過程で取得されたサイドポイント及び後面標識は非常に単純な形態であるが、オブジェクトの方向、位置、３次元情報等をそれぞれ示すことができ、自動運転アルゴリズムを実現する際に移動するオブジェクトを認識して判断するにあたり高い効率と精度を保証することができる。また、本発明によるキューボイド取得装置は、サイドポイント、後面標識のｘ座標及びｙ座標を第１外郭線に依存するように学習モデルを学習させることができ、正確なキューボイド情報を生成することができる。

【0324】

図２６は、本発明によるキューボイド取得装置によって、後面標識を補正するプロセスの一例を模式的に示す図である。

【0325】

図２６（ａ）を参照すると、乗用車ｃａｒの第１外郭線の内部の後面標識１１６１０Ａが示されていることが分かる。図２６（ａ）の乗用車は右側面のみ観測されたオブジェクトであり、乗用車の後面を観測することができないので、後面標識は図２６（ａ）のような第１外郭線の内部の四角形（ｓｑｕａｒｅ）ではなく、図２６（ｂ）のように、第１外郭線の左辺全体を共有する線（ｌｉｎｅ）でなければならない。本発明によるキューボイド取得装置は、図２６（ａ）のような結果ではなく、図２６（ｂ）のような結果が出力されるように、乗用車に対するキューボイド２６１０Ｂを取得することができる。

【0326】

図２７は、本発明によるキューボイド取得装置によって、後面標識を補正するプロセスの一例を模式的に示す図である。

【0327】

図２７（ａ）を参照すると、バス（ｂｕｓ）の後部にはバスの第１外郭線から外れた後面標識２７１０Ａが示されていることが分かる。図２７（ａ）のバスは前面左側方向のオブジェクトであり、バスの後面を観測することができないので、後面標識は図２７（ａ）のように第１外郭線から外れた四角形ではなく、図２７（ｂ）のように、第１外郭線の右辺の一部を共有する線２７１０Ｂでなければならない。本発明によるキューボイド取得装置は、図２７（ａ）のような結果ではなく、図２７（ｂ）のような結果が出力されるように、バスに対するキューボイドを取得することができる。

【0328】

図２８は、本発明によるキューボイド取得装置によって、後面標識を補正するプロセスの他の一例を模式的に示す図である。

【0329】

図２８（ａ）を参照すると、乗用車（ｃａｒ）の後部には、乗用車の後面の一部を囲む後面標識２８１０Ａが示されていることが分かる。図２８（ａ）の乗用車は後面左側方向のオブジェクトであり、乗用車の後面を全て観察することができるので、後面標識は図２８（ｂ）のように第１外郭線の右辺を共有する四角形２８１０Ｂでなければならない。本発明によるキューボイド取得装置は、図２８（ａ）のような結果ではなく、図２８（ｂ）のような結果が出力されるように、後面左側方向の乗用車に対するキューボイドを取得することができる。

【0330】

図２９は、本発明によるキューボイド取得方法の一例をフローチャートで示す図である。

【0331】

図２９による方法は、図１７で説明したキューボイド取得装置１７００によって実現することができるので、以下では、図１７～図２８で説明した内容と重複する説明は省略する。

【0332】

キューボイド取得装置１７００は、走行中に取得された第１映像に含まれる少なくとも１つのオブジェクトを認識し、認識されたオブジェクト別に第１外郭線を生成することができる（Ｓ２９１０）。

【0333】

キューボイド取得装置１７００は、第１映像で生成された第１外郭線を構成する第１座標値を抽出することができる（Ｓ２９３０）。

【0334】

キューボイド取得装置１７００は、認識されたオブジェクト及び抽出された第１座標値に基づいて、認識されたオブジェクトのキューボイドの座標を取得することができる（Ｓ２９５０）。

【0335】

図３０は、一実施形態によるキューボイド取得装置のブロック図である。

【0336】

図３０を参照すると、キューボイド取得装置３０００は、通信部３０１０、プロセッサ３０２０、及びＤＢ３０３０を含むことができる。図３０のキューボイド取得装置３０００には、実施形態に関連する構成要素のみが示されている。したがって、図３０に示す構成要素に加えて他の汎用構成要素をさらに含むことができるのは当技術分野の通常の技術者であれば理解することができる。

【0337】

通信部３０１０は、外部サーバまたは外部装置との有線／無線通信を可能にする１つ以上の構成要素を含むことができる。例えば、通信部３０１０は、近距離通信部（図示せず）、移動通信部（図示せず）及び放送受信部（図示せず）のうちの少なくとも１つを含むことができる。

【0338】

ＤＢ３０３０は、キューボイド取得装置３０００内で処理される各種データを保存するハードウェアであり、プロセッサ３０２０の処理及び制御のためのプログラムを保存することができる。

【0339】

ＤＢ３０３０は、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）などのＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＣＤ－ＲＯＭ、ブルーレイまたは他の光ディスクストレージ、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、またはフラッシュメモリを含むことができる。

【0340】

プロセッサ３０２０は、キューボイド取得装置３０００の全体的な動作を制御する。例えば、プロセッサ３０２０は、ＤＢ３０３０に保存されたプログラムを実行することにより、入力部（図示せず）、ディスプレイ（図示せず）、通信部３０１０、ＤＢ３０３０などを全体的に制御することができる。プロセッサ３０２０は、ＤＢ３０３０に保存されたプログラムを実行することによって、キューボイド取得装置３０００の動作を制御することができる。

【0341】

プロセッサ３０２０は、図１６～図２９で上述したキューボイド取得装置の動作の少なくとも一部を制御することができる。

【0342】

一例として、プロセッサ３０２０は、走行中に取得された第１映像に含まれる少なくとも１つのオブジェクトを認識し、認識されたオブジェクトごとに第１外郭線を生成し、第１映像で前記生成された第１外郭線を構成する第１座標値を抽出し、認識されたオブジェクト及び抽出された第１座標値に基づいて、認識されたオブジェクトのキューボイドの座標を取得することができる。

【0343】

プロセッサ３０２０は、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、コントローラ（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラ（ｍｉｃｒｏ－ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、及び他の機能を行うための電気的なユニットのうちの少なくとも１つを用いて実装することができる。

【0344】

図３１は、本発明による映像内のオブジェクトの視覚標識補正装置の動作プロセスを概念的に示す図である。

【0345】

より具体的には、図３１は、ローデータが映像内のオブジェクトの視覚標識補正装置３１００に入力され、最終的にラベリング（ｌａｂｅｌｌｉｎｇ）が完了されたデータに加工される過程を概念的に説明する図である。簡潔な説明のために、以下では、本発明による映像内のオブジェクトの視覚標識を補正する装置を「視覚標識補正装置」と称することにする。

【0346】

通常、自動運転車両に設置されたカメラは、自動運転車両が走行している途中で観測される風景を撮影することができ、カメラが撮影した映像は図３１のローデータ（ｒａｗ ｄａｔａ）になり得る。ローデータは、複数のフレーム（ｆｒａｍｅ）で構成された動画であり得、動画を構成する各フレームには複数のオブジェクトが写っている場合がある。ローデータは、ディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）モデルのような人工知能ベースの学習モデルに入力され、ラベリングされ得る。学習モデルが行うオートラベリング（ａｕｔｏ ｌａｂｅｌｌｉｎｇ）プロセスによって、映像内のオブジェクトが認識され、認識されたオブジェクトの特性情報を取得することができるが、ラベリング結果が完璧ではないので、１次ラベリングされたデータは検収者３１１０により検収され得る。検収プロセスで修正完了したデータは、学習モデルの学習データ（ｔｒａｉｎｉｎｇ ｄａｔａ）となるとともにラベリングが完了されたデータに分類することができ、検収プロセスで検収者３１１０により修正が不要と判断されたデータは、学習モデルの学習データにならずに、直ちにラベリングが完了したデータに分類することができる。

【0347】

本発明は、１次ラベリングされたデータを検収する検収者３１１０を人ではなく自動化された装置で実装することによって、走行中に取得された映像に含まれるオブジェクトに対するラベルリングの速度及び精度を向上させることができる方法を提案する。本発明による視覚標識補正装置３１００は、ローデータを受信してオートラベリングを１次的に行い、そのオートラベリングの結果に対する検収を行い、ラベリングが完全になされていない部分については補正（修正）し、ラベリングが完全に行われた場合、ラベリングが完了したデータに分類するプロセスを繰り返しながら、物理的または論理的に含まれた人工知能モデルを高度化させることができる。

【0348】

本発明による視覚標識補正装置は、図１８～図２５を参照して説明したように、サイドポイント、後面標識を含むキューボイドを生成するように学習モデルを学習させることができる。この過程で取得されたサイドポイント及び後面標識は非常に単純な形態であるが、オブジェクトの方向、位置、３次元情報等をそれぞれ示すことができ、自動運転アルゴリズムを実現する際に移動するオブジェクトを認識して判断するにあたり高い効率と精度を保証することができる。また、本発明による視覚標識補正装置は、サイドポイント、後面標識のｘ座標及びｙ座標を外郭線に依存するように学習モデルを学習させることができ、正確なキューボイド情報を生成することができる。

【0349】

図３２は、本発明による視覚標識補正装置によって処理される第１補正プロセスの一例を模式的に示す図である。

【0350】

図３２（ａ）は、オブジェクトを含む映像を学習モデルに入力し、オブジェクトに対するキューボイドとして、サイドポイント３２１０、３２１１及び後面標識３２３０が生成されたことを模式的に示している。図３２（ａ）のサイドポイント３２１０、３２１１の上端点３２１０及び下端点３２１１はいずれもオブジェクトの外郭線３２００の外部に位置している。また、図３２（ａ）の後面標識３２３０は、横よりも縦が長い長方形の形態であり、後面標識３２３０を構成する一部点の座標が外郭線３２００の外部に位置している。

【0351】

本発明による視覚標識補正装置は、図３２（ａ）のような１次ラベリングされたデータが生成されると、サイドポイント３２１０、３２１１の上端点３２１０及び下端点３２１１が外郭線３２００の外部に位置していることを探知して、サイドポイント３２１０、３２１１の上端点３２１０及び下端点３２１１を最も隣接する外郭線の点の方向に移動するように第１補正を行うことができる。図３２（ａ）には示されていないが、サイドポイントを構成する上端点及び下端点のいずれか一方のみが外郭線３２００の外部に位置している場合にも同様に第１補正を適用することができる。

【0352】

さらに、視覚標識補正装置は、四角形の後面標識３２３０の形態を感知し、外郭線３２００の外部に位置する部分を削除した後、外郭線３２００の上辺及び右辺の一部が後面標識３２３０を構成するように補正することができる。

【0353】

図３２（ｂ）を参照すると、図３２（ａ）において外郭線３２００の外部に位置しているサイドポイント３２１０、３２１１の上端点３２１０及び下端点３２１１はいずれも外郭線３２００を構成する点の位置にそれぞれ移動されたことがわかり、後面標識３２３０は、外郭線３２００の外部にある部分が削除され、四角形の後面標識３２３０の広さが縮小されたことがわかる。

【0354】

図３２（ａ）及び図３２（ｂ）において、後面標識３２３０は、外郭線３２００の外部に位置する部分のみを削除する方式で補正されたが、実施形態によっては、後面標識３２３０の外郭線３２００の外部に位置する部分を除去するために、視覚標識補正装置は、後面標識３２３０の広さをそのまま維持しながら、後面標識３２３０を外郭線３２００の内部に移動させることもできる。

【0355】

図３３は、本発明による視覚標識補正装置によって処理される第２補正プロセスの一例を模式的に示す図である。

【0356】

図３３（ａ）は、説明の便宜上、図３２（ｂ）と同じ図を配置したものである。図３３（ａ）において、サイドポイント３３１０、３３１１の上端点３３１０及び下端点３３１１は、外郭線３３００の内部に位置が変更された状態である。

【0357】

本発明による視覚標識補正装置は、図３３（ａ）のように第１補正が適用された状態でオブジェクトの方向がどの方向であるかを探知した後、探知された方向及びオブジェクトの後面の高さに基づいて、図３３（ａ）の後面標識３３３０を、図３３（ｂ）の後面標識３３３０のように変更することができる。具体的には、視覚標識補正装置は、オブジェクトの方向が前面左側（ｆｒｏｎｔ－ｌｅｆｔ）方向であると探知されると、オブジェクトの後面が観測されないことを模式的に示すために、図３３（ａ）の四角形状の後面標識３３３０を図３３（ｂ）の線状の後面標識３３３０に変更する第２補正を行うことができる。

【0358】

上記の第２補正プロセスにおいて、視覚標識補正装置は、露出標識３３５０の位置も外郭線３３００を形成する点に移動させることができる。露出標識３３５０は、映像でオブジェクトの一部が欠けておらず、全部分が撮影（露出）されたか否かを示すことができ、図３３（ｂ）においてオブジェクトは外郭線３３００によってオブジェクトの全てが囲まれているので、視覚標識補正装置は、露出標識３３５０のｙ座標を変更して、外郭線３３００の下端辺を構成する点の位置に移動させることができる。

【0359】

図３４は、本発明による視覚標識補正装置によって処理される第２補正プロセスの他の一例を模式的に示す図である。

【0360】

本発明による視覚標識補正装置は、図３４（ａ）のように第１補正が適用された状態でオブジェクトの方向がどの方向であるかを探知した後、探知された方向、オブジェクトの後面の高さに基づいて、図３４（ａ）のサイドポイント３４１０及び後面標識３４３０を図３４（ｂ）のサイドポイント３４１０及び後面標識３４３０のように補正することができる。

【0361】

具体的には、視覚標識補正装置は、オブジェクトの方向が完全な左側（ｌｅｆｔ ｏｎｌｙ）方向であると探知されると、オブジェクトの前面及び後面の両方が観測されないことを模式的に示すために、図３４（ａ）のサイドポイント３４１０を図３４（ｂ）のサイドポイント３４１０の位置に変更し、図３４（ａ）の四角形状の後面標識３４３０を図３４（ｂ）の線状の後面標識３４３０に変更する第２補正を行うことができる。第２補正まで完了すると、サイドポイント３４１０は外郭線３４００の左辺と一致することになり、後面標識３４３０は外郭線３４００の右辺と一致するようになる。

【0362】

図３５は、本発明による視覚標識補正装置によって処理される第２補正プロセスの他の一例を模式的に示す図である。

【0363】

本発明による視覚標識補正装置は、図３５（ａ）のように第１補正が適用された状態でオブジェクトの方向がどの方向であるかを探知した後、探知された方向、オブジェクトの後面の高さに基づいて、図３５（ａ）のサイドポイント３５１０及び後面標識３５３０を図３５（ｂ）のサイドポイント３５１０及び後面標識３５３０のように補正することができる。

【0364】

具体的には、視覚標識補正装置は、オブジェクトの方向が完全な後面（ｒｅａｒ ｏｎｌｙ）方向であると探知されると、オブジェクトの前面及び側面の両方が観測されないことを模式的に示すために、図３５（ａ）のサイドポイント３５１０を図３５（ｂ）のサイドポイント３５１０の位置に変更し、図３５（ａ）の四角形状の後面標識３５３０を図３５（ｂ）の線状の後面標識３５３０に変更する第２補正を行うことができる。第２補正まで完了すると、サイドポイント３５１０は、外郭線３５００の上端辺と下端辺の正中央を分ける２つの点及び連結線で表され、後面標識３５３０は外郭線３５００と一致するようになる。

【0365】

図３６は、本発明による視覚標識補正方法の一例をフローチャートで示す図である。

【0366】

図３６による方法は、図３１で説明した視覚標識補正装置３１００によって実現することができるので、以下では、図３１～図３５で説明した内容と重複する説明は省略する。

【0367】

視覚標識補正装置３１００は、走行中に取得された映像を学習モデルに入力し、前記映像から検出されたオブジェクトの位置及び方向に対する視覚標識を生成することができる（Ｓ３６１０）。あるいは、走行中に取得された映像に含まれるオブジェクトを認識し、前記認識されたオブジェクトを学習モデルに入力して、オブジェクトの位置及び方向に対する視覚標識を生成してもよい。

【0368】

視覚標識補正装置３１００は、ステップＳ３６１０で生成された視覚標識の位置をオブジェクトの外郭線内部に移動させる第１補正を行うことができる（Ｓ３６３０）。

【0369】

視覚標識補正装置３１００は、外郭線内部に移動された視覚標識の位置及び形状の少なくとも１つを視覚標識の特性に基づいて変更する第２補正を行うことができる（Ｓ３６５０）。

【0370】

図３７は、一実施形態による視覚標識補正装置のブロック図である。

【0371】

図３７を参照すると、視覚標識補正装置３７００は、通信部３７１０、プロセッサ３７２０、及びＤＢ３７３０を含むことができる。図３７の視覚標識補正装置３７００には、実施形態に関連する構成要素のみが示されている。したがって、図３７に示す構成要素に加えて他の汎用構成要素をさらに含むことができるのは当技術分野の通常の技術者であれば理解することができる。

【0372】

通信部３７１０は、外部サーバまたは外部装置との有線／無線通信を可能にする１つ以上の構成要素を含むことができる。例えば、通信部３７１０は、近距離通信部（図示せず）、移動通信部（図示せず）及び放送受信部（図示せず）のうちの少なくとも１つを含むことができる。

【0373】

ＤＢ３７３０は、視覚標識補正装置３７００内で処理される各種データを保存するハードウェアであり、プロセッサ３７２０の処理及び制御のためのプログラムを保存することができる。

【0374】

ＤＢ３７３０は、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）などのＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＣＤ－ＲＯＭ、ブルーレイまたは他の光ディスクストレージ、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、またはフラッシュメモリを含むことができる。

【0375】

プロセッサ３７２０は、視覚標識補正装置３７００の全体的な動作を制御する。例えば、プロセッサ３７２０は、ＤＢ３７３０に保存されたプログラムを実行することにより、入力部（図示せず）、ディスプレイ（図示せず）、通信部３７１０、ＤＢ３７３０などを全体的に制御することができる。プロセッサ３７２０は、ＤＢ３７３０に保存されたプログラムを実行することにより、視覚標識補正装置３７００の動作を制御することができる。

【0376】

プロセッサ３７２０は、図３１～図３６で上述した視覚標識補正装置の動作の少なくとも一部を制御することができる。

【0377】

一例として、プロセッサ３７２０は、走行中に取得された映像を学習モデルの入力として用いて、映像から検出されたオブジェクトの位置及び方向に対する視覚標識を生成し、生成された視覚標識の位置をオブジェクトの外郭線内部に移動させる第１補正を行い、外郭線内部に移動された視覚標識の位置及び形状の少なくとも１つを視覚標識の特性に基づいて変更する第２補正を行うことができる。

【0378】

プロセッサ３７２０は、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、コントローラ（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラ（ｍｉｃｒｏ－ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、及び他の機能を行うための電気的なユニットのうちの少なくとも１つを用いて実装することができる。

【0379】

本発明による実施形態は、コンピュータ上で様々な構成要素を介して実行可能なコンピュータプログラムの形態で実装することができ、そのようなコンピュータプログラムはコンピュータで読み取り可能な媒体に記録することができる。このとき、媒体は、ハードディスク、フロッピーディスク、及び磁気テープなどの磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤなどの光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）などの磁気光学媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、ＲＯＭ 、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含むことができる。

【0380】

一方、前記コンピュータプログラムは、本発明のために特別に設計され構成されたものであってもよく、コンピュータソフトウェアの分野の当業者に公知され利用可能なものであり得る。コンピュータプログラムの例には、コンパイラによって作成されるような機械語コードだけでなく、インタープリタなどを使用してコンピュータによって実行できる高級言語コードも含まれてもよい。

【0381】

一実施形態によれば、本開示の様々な実施形態による方法は、コンピュータプログラム製品（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ ｐｒｏｄｕｃｔ）に含まれて提供されてもよい。コンピュータプログラム製品は、商品として販売者と購入者との間で取引することができる。コンピュータプログラム製品は、機器で読み取り可能な記憶媒体（例えば、ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ（ＣＤ－ＲＯＭ））の形態で配布されるか、またはアプリケーションストア（例えば、プレイストア^ＴＭ）を介して、または２つのユーザ装置間で直接、オンラインで配布（例えば、ダウンロードまたはアップロード）することができる。オンライン配布の場合、コンピュータプログラム製品の少なくとも一部は、製造元のサーバ、アプリケーションストアのサーバ、または中継サーバのメモリのような機器で読み取る可能な記憶媒体に少なくとも一時的に保存するか、一時的に生成することができる。

【0382】

本発明による方法を構成するステップについて明らかに順序を記載または反する記載がない場合、前記ステップは適切な順序で行われてもよい。必ずしも前記ステップの記載順序によって本発明が限定されるわけではない。本発明においてすべての例または例示的な用語（例えば、等）の使用は、単に本発明を詳細に説明するためのものであり、特許請求の範囲によって限定されない限り、前記の例または例示的な用語によって本発明の範囲が限定されるわけではない。さらに、当業者は、様々な修正、組み合わせ、及び変更が追加された特許請求の範囲またはその均等物の範疇内で設計条件及び要因に従って構成され得ることが分かる。

【0383】

したがって、本発明の精神は、上述した実施形態に限定されてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等またはそれから等価的に変更された全ての範囲は、本発明の思想の範疇に属すると言えるであろう。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【外国語明細書】