特開 2024-12266 自動運転車のオブジェクト認識率の改善方法およびその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024012266

(43)【公開日】2024-01-30

(54)【発明の名称】自動運転車のオブジェクト認識率の改善方法およびその装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240123BHJP

   G06V 10/778 20220101ALI20240123BHJP

   G06V 20/56 20220101ALI20240123BHJP

   G08G 1/09 20060101ALI20240123BHJP

【ＦＩ】

G06T7/00 350B

G06V10/778

G06V20/56

G08G1/09 D

【審査請求】有

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2023114586

(22)【出願日】2023-07-12

(31)【優先権主張番号】10-2022-0088365

(32)【優先日】2022-07-18

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0125754

(32)【優先日】2022-09-30

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0125755

(32)【優先日】2022-09-30

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】523045180

【氏名又は名称】４２ドット・インコーポレイテッド

【氏名又は名称原語表記】４２ｄｏｔ Ｉｎｃ．

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(72)【発明者】

【氏名】チョ，ミョンフン

(72)【発明者】

【氏名】イ，ジェユン

(72)【発明者】

【氏名】グエン，フォック ティエン

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB13

5H181BB20

5H181CC04

5H181CC27

5H181EE02

5H181FF04

5H181FF27

5H181FF32

5H181LL09

5L096AA06

5L096BA04

5L096CA04

5L096DA02

5L096FA16

5L096FA67

5L096FA69

5L096GA34

5L096HA05

5L096JA03

5L096KA04

(57)【要約】

【課題】自動運転車のオブジェクト認識率を改善するための方法を提供すること。
【解決手段】本開示の一実施形態に係るオブジェクト認識率の改善方法は、走行中に取得された第１動画において第１オブジェクトを認識するステップと、前記第１動画において、前記認識された第１オブジェクトが所定期間消えてから再出現することを検知するステップと、前記第１オブジェクトが再出現することを検知すると、前記第１オブジェクトに関する学習データを算出するステップと、前記算出された学習データに基づく情報を用いて、動画に含まれるオブジェクトを認識する認識モデルが学習されるように制御するステップとを含む。
【選択図】図１１

【特許請求の範囲】

【請求項1】

走行中に取得された第１動画で第１オブジェクトを認識するステップと、
前記第１動画において、前記認識された第１オブジェクトが所定期間消えてから再出現することを検知するステップと、
前記第１オブジェクトが再出現することを検知すると、前記第１オブジェクトに関する学習データを算出するステップと、
前記算出された学習データに基づく情報を用いて、動画に含まれるオブジェクトを認識する認識モデルが学習されるように制御するステップとを含む、自動運転車のオブジェクト認識率の改善方法。

【請求項2】

走行中に取得された第２動画に含まれる第２オブジェクトを前記学習された認識モデルの認識技術で認識し、第２動画において第２オブジェクトをフレーム欠落なしに認識するステップをさらに含む、請求項１に記載の自動運転車のオブジェクト認識率の改善方法。

【請求項3】

前記第１動画は、少なくとも３つ以上のフレームを含み、
前記所定期間は、少なくとも１つ以上のフレームの時間範囲値である、請求項１に記載の自動運転車のオブジェクト認識率の改善方法。

【請求項4】

前記第１動画は、少なくとも３つ以上のフレームを含み、
前記所定期間は、１～３フレームの時間範囲値である、請求項１に記載の自動運転車のオブジェクト認識率の改善方法。

【請求項5】

前記学習データは、
前記第１オブジェクトの分類コード、および、前記第１オブジェクトが最初に認識された後に所定期間消えてから再出現した履歴に関する情報を含む、請求項１に記載の自動運転車のオブジェクト認識率の改善方法。

【請求項6】

前記学習データは、
前記第１オブジェクトの信頼度（ｃｏｎｆｉｄｅｎｃｅ）に関する情報をさらに含む、請求項５に記載の自動運転車のオブジェクト認識率の改善方法。

【請求項7】

前記算出された学習データを所定のフィルタ基準でフィルタリングして、前記算出された学習データに基づく情報を算出するステップをさらに含む、請求項１に記載の自動運転車のオブジェクト認識率の改善方法。

【請求項8】

前記第１動画は、
複数のフレームを含む動画であり、
前記所定のフィルタ基準は、
前記第１オブジェクトが第１フレームに認識された後に第２フレームで所定期間消えてから、第３フレームに再出現した時の一連のフレームの時間長に対するフィルタ基準であり、前記算出された学習データに基づく情報を算出するステップは、
前記第１フレームと第３フレームとの間の時間長が基準フレーム長よりも長い場合、前記学習データに基づく情報を算出し、
前記基準フレーム長は、前記第１動画のフレームレート、前記第１動画に含まれるオブジェクトの移動速度、前記第１動画を撮影したカメラの画角、前記第１動画を撮影したカメラの角度、前記第１動画を撮影したカメラのレンズの歪率の少なくとも１つによって決定される、請求項７に記載の自動運転車のオブジェクト認識率の改善方法。

【請求項9】

前記第１動画は、
複数のフレームを含む動画であり、
前記所定のフィルタ基準は、
第１フレームに認識された後に第２フレームで所定期間消えてから、第３フレームに再出現した前記第１オブジェクトの種類を区分するための区分基準であり、
前記算出された学習データに基づく情報を算出するステップは、
前記第１オブジェクトの種類が乗用車、トラック、バス、その他のもの（ｍｉｓｃ．）であれば、前記学習データに基づく情報を算出する、請求項７に記載の自動運転車のオブジェクト認識率の改善方法。

【請求項10】

前記第１動画は、
複数のフレームを含む動画であり、
前記所定のフィルタ基準は、
第１フレームに認識された後に第２フレームで所定期間消えてから、第３フレームに再出現した前記第１オブジェクトのサイズを区分するためのサイズ基準であり、
前記算出された学習データに基づく情報を算出するステップは、
前記第１オブジェクトの高さ（ｈｅｉｇｈｔ）が所定のピクセルを超えると、前記学習データに基づく情報を算出する、請求項７に記載の自動運転車のオブジェクト認識率の改善方法。

【請求項11】

前記第１動画は、
複数のフレームを含む動画であり、
前記所定のフィルタ基準は、
第１フレームに認識された後に第２フレームで所定期間消えてから、第３フレームに再出現した前記第１オブジェクトのサイズを区分するためのサイズ基準であり、
前記算出された学習データに基づく情報を算出するステップは、
前記第１オブジェクトの幅（ｗｉｄｔｈ）が所定のピクセルを超えると、前記学習データに基づく情報を算出する、請求項７に記載の自動運転車のオブジェクト認識率の改善方法。

【請求項12】

前記算出された学習データに基づく情報は、
前記算出された学習データに対して能動学習（ａｃｔｉｖｅ ｌｅａｒｎｉｎｇ）が適用された情報である、請求項１に記載の自動運転車のオブジェクト認識率の改善方法。

【請求項13】

前記算出された学習データに基づく情報は、
ユーザの入力を通じて前記学習データに含まれるオブジェクトの種類がラベリングされた（ｌａｂｅｌｅｄ）情報である、請求項１に記載の自動運転車のオブジェクト認識率の改善方法。

【請求項14】

請求項１に記載の方法を実現するためのプログラムを保存しているコンピュータで読み取り可能な記録媒体。

【請求項15】

自動運転車のオブジェクト認識率の改善装置において、
少なくとも１つのプログラムが保存されたメモリと、
前記少なくとも１つのプログラムを実行することにより、演算を実行するプロセッサを含み、
前記プロセッサは、
走行中に取得された第１動画で第１オブジェクトを認識し、
前記第１動画で前記認識された第１オブジェクトが所定期間消えてから再出現することを検知し、
前記第１オブジェクトが再出現することを検知すると、前記第１オブジェクトに関する学習データを算出し、
前記算出された学習データに基づく情報を用いて動画に含まれるオブジェクトを認識する認識モデルが学習されるように制御する装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動運転車のオブジェクト認識率の改善方法およびその装置に関し、より具体的には、オブジェクトを認識して自動で走行できる自動運転車が、走行中に道路上のオブジェクトを認識する性能を向上させるためのオブジェクト認識率の改善方法およびその装置に関する。

【背景技術】

【0002】

情報通信技術と車両産業の融合により急速に車両のスマート化が進んでいる。スマート化により、車両は単純な機械的装置からスマートカーに進化しており、特にスマートカーのコア技術として自動運転（ｓｅｌｆ－ｄｒｉｖｉｎｇ）が注目されている。自動運転とは、運転者がハンドルやアクセルペダル、ブレーキなどを操作しなくても車両に搭載された自動運転モジュールが車両の走行状態を能動的に制御することにより、車両自ら目的地まで移動する技術である。

【0003】

自動運転車の安全な自動運転のために、自動運転の過程で車両が歩行者や他の車両を正確に認識し、認識されたオブジェクトとの距離を算出する方法に関する研究が多様に行われているが、車両が走行中に道路上に出現可能なオブジェクトの特性は事実上無限に近く、自動運転車に搭載されるモジュールの処理能力に限界が存在し、道路上にあるオブジェクトを完全に認識できる方法は現在知られていない。

【0004】

カメラによるオブジェクト認識および距離推定の場合、実際の３次元世界のオブジェクトを２次元画像に投影したため、距離に関する情報が多く失われる。特に、歩行者位置の計算によく使用される特徴（歩行者の身長や地面に触れている点）のばらつきが大きいため、誤差が大きい。

【0005】

レーダー（ＲＡＤＡＲ）によるオブジェクト認識および距離推定の場合、レーダーが運用する電波特性上、オブジェクトを迅速に把握して分類する能力が劣るため、歩行者か車両であるかについての判断が難しく、特に、道路上の歩行者や二輪車（自転車やオートバイ）の場合、信号強度が小さいため、認識結果がより悪い傾向がある。

【0006】

近年、ライダー（ＬｉＤＡＲ）を用いたオブジェクト認識および距離推定技術が比較的高い精度を持っており脚光を浴びているが、高出力レーザーは危険性があり、ライダーは出力を下げたレーザーに基づいて動作するしかなく、レーダーが使用する電波とは異なってレーザーは周囲環境の影響を大きく受け、ライダーセンサーの過度に高いコストが限界点として指摘されている。

【0007】

上述した背景技術は、発明者が本発明の導出のために保有していたか、本発明の導出過程で習得した技術情報であり、必ずしも本発明の出願前に一般公衆に公開された公知技術とは限らない。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】大韓民国特許出願第１０－２４３８１１４号

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明が解決しようとする技術的課題は、自動運転車のオブジェクト認識率を改善するための方法を提供することにある。

【課題を解決するための手段】

【0010】

前記技術的課題を解決するための本発明の一実施形態による方法は、走行中に取得された第１動画において第１オブジェクトを認識するステップと、前記第１動画において、前記認識された第１オブジェクトが所定期間消えてから再出現することを検知するステップと、前記第１オブジェクトが再出現することを検知すると、前記第１オブジェクトに関する学習データを算出するステップと、前記算出された学習データに基づく情報を用いて、動画に含まれるオブジェクトを認識する認識モデルが学習されるように制御するステップとを含む。

【0011】

前記方法において、走行中に取得された第２動画に含まれる第２オブジェクトを、前記学習された認識モデルの認識技術で認識し、第２動画において第２オブジェクトをフレーム欠落なしに認識するステップをさらに含むことができる。

【0012】

前記方法において、前記第１動画は少なくとも３つ以上のフレームを含み、前記所定期間は、少なくとも１つ以上のフレームに関する時間範囲値であることができる。

【0013】

前記方法において、前記第１動画は少なくとも３つ以上のフレームを含み、前記所定期間は、１～３フレームに関する時間範囲値であることができる。

【0014】

前記方法において、前記学習データは、前記第１オブジェクトの分類コードおよび前記第１オブジェクトが最初に認識された後に、所定期間消えてから再出現した履歴に関する情報を含むことができる。

【0015】

前記方法において、前記学習データは、前記第１オブジェクトの信頼度（ｃｏｎｆｉｄｅｎｃｅ）に関する情報をさらに含むことができる。

【0016】

前記方法において、前記算出された学習データを所定のフィルタ基準でフィルタリングして、前記算出された学習データに基づく情報を算出するステップをさらに含むことができる。

【0017】

前記方法において、前記第１動画は、複数のフレームを含む動画であり、
前記所定のフィルタ基準は、前記第１オブジェクトが第１フレームに認識された後に、第２フレームで所定期間消えてから第３フレームに再出現したときの一連のフレームの時間長に対するフィルタ基準であり、前記算出された学習データに基づく情報を算出するステップは、前記第１フレームと第３フレームとの間の時間長が基準フレーム長よりも長い場合には、前記学習データに基づく情報を算出し、前記基準フレーム長は、前記第１動画のフレームレート、前記第１動画に含まれるオブジェクトの移動速度、前記第１動画を撮影したカメラの画角、前記第１動画を撮影したカメラの角度、前記第１動画を撮影したカメラのレンズの歪率のうち少なくとも１つによって決定することができる。

【0018】

前記方法において、前記第１動画は、複数のフレームを含む動画であり、前記所定のフィルタ基準は、第１フレームに認識された後に第２フレームで所定期間消えてから第３フレームに再出現した前記第１オブジェクトの種類を区分するための区分基準であり、前記算出された学習データに基づく情報を算出するステップは、前記第１オブジェクトの種類が乗用車、トラック、バス、その他のもの（ｍｉｓｃ．）であれば、前記学習データに基づく情報を算出することができる。

【0019】

前記方法において、前記第１動画は、複数のフレームを含む動画であり、前記所定のフィルタ基準は、第１フレームに認識された後に第２フレームで所定期間消えてから第３フレームに再出現した前記第１オブジェクトのサイズを区分するためのサイズ基準であり、前記算出された学習データに基づく情報を算出するステップは、前記第１オブジェクトの高さ（ｈｅｉｇｈｔ）が所定のピクセルを超えると、前記学習データに基づく情報を算出することができる。

【0020】

前記方法において、前記第１動画は、複数のフレームを含む動画であり、前記所定のフィルタ基準は、第１フレームに認識された後に第２フレームで所定期間消えてから第３フレームに再出現した前記第１オブジェクトのサイズを区分するためのサイズ基準であり、前記算出された学習データに基づく情報を算出するステップは、前記第１オブジェクトの幅（ｗｉｄｔｈ）が所定のピクセルを超えると、前記学習データに基づく情報を算出することができる。

【0021】

前記方法において、前記算出された学習データに基づく情報は、前記算出された学習データに対して能動学習（ａｃｔｉｖｅ ｌｅａｒｎｉｎｇ）が適用された情報であることができる。

【0022】

前記方法において、前記算出された学習データに基づく情報は、ユーザの入力を通じて前記学習データに含まれるオブジェクトの種類がラベリングされた情報であることができる。

【0023】

前記技術的課題を解決するための本発明の他の実施形態による装置は、自動運転車のオブジェクト認識率の改善装置において、少なくとも１つのプログラムが保存されたメモリと、前記少なくとも１つのプログラムを実行することによって演算を実行するプロセッサとを含み、前記プロセッサは、走行中に取得された第１動画で第１オブジェクトを認識し、前記第１動画で前記認識された第１オブジェクトが所定期間消えたから再出現することを検知し、前記第１オブジェクトが再出現することを検知すると、前記第１オブジェクトに関する学習データを算出し、前記算出された学習データに基づく情報を用いて動画に含まれるオブジェクトを認識する認識モデルが学習されるように制御する。

【0024】

本発明の一実施形態は、前記方法を実行するためのプログラムを保存しているコンピュータで読み取り可能な記録媒体を提供することができる。

【発明の効果】

【0025】

本発明によれば、カメラで走行中の動画を取得して道路上のオブジェクトを認識する方式で動作する自動運転車のオブジェクト認識率を大幅に改善することができる。

【図面の簡単な説明】

【0026】

【図1】図１は、一実施形態による自動運転方式を説明するための図である。

【図2】図２は、一実施形態による自動運転方式を説明するための図である。

【図3】図３は、一実施形態による自動運転方式を説明するための図である。

【図4A】図４Ａは、一実施形態による車両の外部を撮影するカメラに関する図である。

【図4B】図４Ｂは、一実施形態による車両の外部を撮影するカメラに関する図である。

【図5】図５は、一実施形態によるオブジェクト認識方法を説明するフローチャートである。

【図6】図６は、本発明の一実施形態により、自動運転車のオブジェクト認識率を改善する方法を概念的に説明するための図である。

【図7A】図７Ａは、本発明の一実施形態による、オブジェクト認識率の改善装置で行われるフィルタリングプロセスを説明するための図である。

【図7B】図７Ｂは、本発明の一実施形態による、オブジェクト認識率の改善装置で行われるフィルタリングプロセスを説明するための図である。

【図7C】図７Ｃは、本発明の一実施形態による、オブジェクト認識率の改善装置で行われるフィルタリングプロセスを説明するための図である。

【図8】図８は、本発明の他の実施形態により、自動運転車のオブジェクト認識率の改善のために能動学習が適用される過程を説明するための図である。

【図9】図９は、本発明によるオブジェクト認識率の改善方法の一例をフローチャートで示す図である。

【図10】図１０は、本発明の他の実施形態によるオブジェクト認識率の改善方法を説明するための図である。

【図11】図１１は、図１０で説明した実施形態によるオブジェクト認識率の改善方法をフローチャートで示す図である。

【図12】図１２は、一実施形態によるオブジェクト認識率の改善装置のブロック図である。

【発明を実施するための形態】

【0027】

本発明は、様々な変換を加えることができ、様々な実施形態を有することができるので、特定の実施形態を図面に例示し、詳細な説明に詳しく説明する。本発明の効果および特徴、そして、それらを達成する方法は、図面と共に詳細に後述される実施形態を参照することによって明らかになるであろう。しかしながら、本発明は、以下に開示される実施形態に限定されず、様々な形態で実現することができる。

【0028】

以下、添付の図面を参照して本発明の実施形態を詳細に説明するが、図面を参照して説明するとき、同一または対応する構成要素は同一の図面符号を付与し、これに対する重複する説明は省略する。

【0029】

以下の実施形態では、「第１」、「第２」などの用語は限定的な意味ではなく、ある構成要素を他の構成要素と区別する目的で使用されている。

【0030】

以下の実施形態では、単数の表現は、文脈上明らかに別段の意味を持たない限り、複数の表現を含む。

【0031】

以下の実施形態では、「含む」または「有する」などの用語は、明細書に記載された特徴、または構成要素が存在することを意味するものであり、１つ以上の他の特徴をまたは構成要素が加わる可能性を予め排除するものではない。

【0032】

ある実施形態の他の実現が可能な場合、特定のプロセス順序は、記載された順序とは異なる方法で実行され得る。例えば、連続して説明される２つのプロセスは実質的に同時に実行され得、記載された順序とは逆の順序で進むこともできる。

【0033】

図１～図３は、一実施形態による自動運転方式を説明するための図である。

【0034】

図１を参照すると、本発明の一実施形態による自動運転装置は、車両に搭載されて自動運転車１０を実現することができる。自動運転車１０に搭載される自動運転装置は、周辺の状況情報を収集するための様々なセンサを含むことができる。一例として、自動運転装置は、自動運転車１０の前面に取り付けられたイメージセンサおよび／またはイベントセンサを介して、前方で走行中の先行車両２０の動きを検知することができる。自動運転装置は、自動運転車１０の前面はもちろん、隣の車路で走行中の他の走行車両３０と、自動運転車１０周辺の歩行者などを検知するためのセンサをさらに含むことができる。

【0035】

自動運転車周辺の状況情報を収集するためのセンサのうちの少なくとも１つは、図１に示すように所定の画角（ＦｏＶ）を有することができる。一例として、自動運転車１０の前面に取り付けられたセンサが図１に示すような画角ＦｏＶを有する場合、センサの中央で検出される情報が比較的高い重要度を有することができる。これは、センサの中央で検出される情報に、先行車両２０の動きに対応する情報がほとんど含まれているためである。

【0036】

自動運転装置は、自動運転車１０のセンサが収集した情報をリアルタイムで処理して自動運転車１０の動きを制御する一方、センサが収集した情報のうち少なくとも一部はメモリ装置に保存することができる。

【0037】

図２を参照すると、自動運転装置４０は、センサ部４１、プロセッサ４６、メモリシステム４７、車体制御モジュール４８などを含むことができる。センサ部４１は複数のセンサ４２～４５を含み、複数のセンサ４２～４５はイメージセンサ、イベントセンサ、照度センサ、ＧＰＳ装置、加速度センサなどを含むことができる。

【0038】

センサ４２～４５が収集したデータはプロセッサ４６に伝達され得る。プロセッサ４６は、センサ４２～４５が収集したデータをメモリシステム４７に保存し、センサ４２～４５が収集したデータに基づいて車体制御モジュール４８を制御して車両の動きを決めることができる。メモリシステム４７は、２つ以上のメモリ装置と、メモリ装置を制御するためのシステムコントローラとを含むことができる。メモリ装置のそれぞれは、１つの半導体チップとして提供され得る。

【0039】

メモリシステム４７のシステムコントローラの他に、メモリシステム４７に含まれる各メモリ装置はメモリコントローラを含むことができ、メモリコントローラはニューラルネットワークなどの人工知能（ＡＩ）演算回路を含むことができる。メモリコントローラは、センサ４２～４５またはプロセッサ４６から受信したデータに所定の重みを付けて演算データを生成し、演算データをメモリチップに保存することができる。

【0040】

図３は、自動運転装置が搭載された自動運転車のセンサが取得した動画データの一例を示す図である。図３を参照すると、動画データ５０は、自動運転車の前面に取り付けられたセンサが取得したデータであり得る。したがって、動画データ５０には、自動運転車の前面部５１、自動運転車と同じ車路にある先行車両５２、自動運転車周辺の走行車両５３、非関心領域５４などが含まれ得る。

【0041】

図３に示す実施形態による動画データ５０において、自動運転車の前面部５１と非関心領域５４が現れる領域のデータは自動運転車の走行に影響を及ぼす可能性がほとんどないデータであり得る。言い換えれば、自動運転車の前面部５１と非関心領域５４は、比較的重要度の低いデータと見なされ得る。

【0042】

一方、先行車両５２との距離、および走行車両５３の車路変更の動きなどは、自動運転車の安全な走行において非常に重要な要素であり得る。したがって、動画データ５０で先行車両５２および走行車両５３などが含まれる領域のデータは、自動運転車の走行において比較的高い重要度を有することができる。

【0043】

自動運転装置のメモリ装置は、センサから受信した動画データ５０の領域ごとに異なる重みを付けて保存することができる。一例として、先行車両５２と走行車両５３などが含まれる領域のデータには高い重みを付け、自動運転車の前面部５１と非関心領域５４が現れる領域のデータには、低い重みを付けることができる。

【0044】

図４Ａおよび図４Ｂは、一実施形態による車両の外部を撮影するカメラに関する図である。

【0045】

カメラは車両に搭載され、車両の外部を撮影することができる。カメラは車両の前方、側方、後方などを撮影することができる。本発明によるオブジェクト認識率の改善装置は、カメラで撮影された複数の動画を取得することができる。カメラで撮影された複数の動画には、複数のオブジェクトが含まれ得る。

【0046】

オブジェクトに関する情報は、オブジェクト種類情報およびオブジェクト属性情報を含む。ここで、オブジェクト種類情報は、オブジェクトの種類を示すインデックス情報であり、大きな範囲のグループと細部範囲のクラスで構成される。そして、オブジェクト属性情報は、オブジェクトの現在の状態に関する属性情報を示し、動き情報、回転情報、交通情報、色情報、可視性情報を含む。

【0047】

一実施形態では、オブジェクト種類情報に含まれるグループおよびクラスは、以下の表１の通りであるが、これに限定されない。

【0048】

【表1】

【0049】

また、オブジェクト属性情報に含まれる情報には、動き、回転、交通情報、色、可視性情報を含むことができる。

【0050】

動き情報は、オブジェクトの動き情報を示し、停車、駐車、移動などとして定義することができる。車両の場合、停車、駐車、移動はオブジェクト属性情報として決定され得、歩行者の場合は移動、停止、不明はオブジェクト属性情報として決定され得、交通信号機などの動けないオブジェクトの場合はデフォルト値である停止がオブジェクト属性情報として決定され得る。

【0051】

回転情報は、オブジェクトの回転情報を表し、正面、背面、水平（ｈｏｒｉｚｏｎｔａｌ）、垂直（ｖｅｒｔｉｃａｌ）、側面などとして定義することができる。車両の場合、正面、背面、側面にオブジェクト属性情報を定めることができ、水平方向または垂直方向の交通信号機はそれぞれ水平または垂直にオブジェクト属性情報を決定することができる。

【0052】

交通情報は、オブジェクトの交通情報を意味し、道路標識の指示、注意、規制、補助標識などと定義することができる。色はオブジェクトの色情報を意味し、オブジェクトの色、交通信号機、道路標識の色を表すことができる。

【0053】

図４Ａを参照すると、オブジェクト４１１は歩行者であり得る。画像４１０は所定のサイズを有することができる。複数の画像４１０に同じオブジェクト４１１を含めることができるが、車両が道路に沿って走行するにつれて、車両とオブジェクト４１１との相対位置は変化し続け、また、オブジェクト４１１も時間が経過するにつれて移動することにより、同じオブジェクト４１１であっても各画像内での位置が異なるようになる。

【0054】

各画像で同じオブジェクトが何であるかを決定するために画像全体を使用する場合、データ転送量と演算量が大幅に増加する。従って、車両に搭載される装置でのエッジコンピューティングによる処理は困難であり、リアルタイム分析も困難である。

【0055】

図４Ｂを参照すると、画像４２０に含まれるバウンディングボックス４２１が示されている。バウンディングボックス（Ｂｏｕｎｄｉｎｇ ｂｏｘ）は、オブジェクト（ｏｂｊｅｃｔ）のメタデータであり、バウンディングボックス情報には、オブジェクト種類情報（グループ、クラスなど）、画像４２０上の位置情報、サイズ情報などが含まれ得る。

【0056】

図４Ｂを参照すると、バウンディングボックス情報は、当該オブジェクト４１１が歩行者クラスに対応するという情報と、オブジェクト４１１の左上の頂点が画像上の（ｘ，ｙ）に位置するという情報、オブジェクト４１１のサイズがｗ×ｈという情報、そしてオブジェクト４１１が移動中という現在の状態情報（すなわち、動き情報）を含むことができる。

【0057】

図５は、一実施形態によるオブジェクト認識方法を説明するフローチャートである。

【0058】

オブジェクト認識率の改善装置は、カメラから取得した動画をフレームごとに分離して複数のフレームを取得することができる。複数のフレームは、前のフレーム５１０および現在のフレーム５２０を含むことができる。

【0059】

オブジェクト認識率の改善装置は、前のフレーム５１０で第１歩行者オブジェクト５１１を認識することができる。

【0060】

一実施形態では、オブジェクト認識率の改善装置は、フレームを同じサイズのグリッドに分けて、各グリッドについて、グリッドの中央を中心に所定の形態で指定された境界ボックスの数を予測し、それに基づいて信頼度を計算することができる。オブジェクト認識率の改善装置は、フレームにオブジェクトが含まれているか、または、背景のみが存在するかを決定し、高いオブジェクト信頼度を有する位置を選択してオブジェクトカテゴリを決定することによって、結果的にオブジェクトを認識することができる。ただし、本開示におけるオブジェクトを認識する方法はこれに限定されない。

【0061】

オブジェクト認識率の改善装置は、前のフレーム５１０で認識された第１歩行者オブジェクト５１１の第１位置情報を取得することができる。図４Ａおよび図４Ｂで上述したように、第１位置情報は、前のフレーム５１０上の第１歩行者オブジェクト５１１に対応するバウンディングボックスのいずれかの頂点（例えば、左上の頂点）の座標情報、横長・縦長情報を含むことができる。

【0062】

また、オブジェクト認識率の改善装置は、現在のフレーム５２０で認識された第２歩行者オブジェクト５２１の第２位置情報を取得することができる。

【0063】

オブジェクト認識率の改善装置は、前のフレーム５１０で認識された第１歩行者オブジェクト５１１の第１位置情報と、現在のフレーム５２０で認識された第２歩行者オブジェクト５２１の第２位置情報との類似度を算出することができる。

【0064】

図５を参照すると、オブジェクト認識率の改善装置は、第１位置情報および第２位置情報を用いて、第１歩行者オブジェクト５１１と第２歩行者オブジェクト５２１との積集合および和集合を算出することができる。オブジェクト認識率の改善装置は、和集合領域に対する積集合領域の値を算出し、算出された値が閾値以上である場合、第１歩行者オブジェクト５１１と第２歩行者オブジェクト５２１が同じ歩行者オブジェクトであると決定することができる。

【0065】

しかしながら、オブジェクト間の同一性を判別する方法は、上述の方法に限定されない。

【0066】

図６は、本発明の一実施形態により、自動運転車のオブジェクト認識率を改善する方法を概念的に説明するための図である。

【0067】

図６を参照して本発明の一実施形態を要約すると、本発明の一実施形態は、生データ６１０を第１モデル６２０および第２モデル６３０を介して入力した時、各モデルで算出される結果データを偏差データ算出モジュール６４０が受信して処理することにより、偏差データ６４５が算出されるようにし、算出された偏差データ６４５をウィークポイント分析モジュール６５０が受信して分析するようにすることにより、ウィークポイントを把握することと理解され得る。

【0068】

より具体的には、本発明において生データ６１０は、自動運転車に搭載されたカメラモジュールが収集した動画を意味する。特に、生データ６１０は、カメラモジュールで生成された後に前処理（ｐｒｅ－ｐｒｏｃｅｓｓｉｎｇ）が行われていない動画（ｖｉｄｅｏ）データであり、複数のフレームで構成されており、フレームレートは１秒あたり６０フレームとすることができるが、これに限定されない。

【0069】

第１モデル６２０は、自動運転車に搭載されているモデルであり、生データ６１０を入力データとして受信し、生データ６１０に含まれるオブジェクトを認識した結果を出力データとして出力するモデルを意味する。

【0070】

第２モデル６３０は、自動運転車と通信可能なサーバに含まれるモデルであり、第１モデル６２０と同様に生データ６１０を入力データとして受信し、生データ６１０に含まれるオブジェクトを認識した結果を出力データとして出力するモデルを意味する。自動運転車のカメラモジュールは、通信モジュールを介して収集された生データ６１０が第１モデル６２０だけでなく第２モデル６３０にも送信されて処理されるように制御される。

【0071】

第１モデル６２０および第２モデル６３０から出力される出力データは、動画の各フレームに含まれる車両、歩行者などの相対位置、サイズ、方向に関する情報のうちの少なくとも１つに関する情報を含むことができる。

【0072】

本発明において、第１モデル６２０は、自動運転車に搭載された特性上、第２モデル６３０と比較したとき、比較的制限されたリソースを有し、制限された環境で動作することになる。上記のようなモデルスケール（ｓｃａｌｅ）の違いにより、生データ６１０を第２モデル６３０に入力した時に動画で認識されたオブジェクトの数と種類に関する情報は、生データ６１０を第１モデル６２０に入力した時に認識されたオブジェクトの数および種類に関する情報よりも改善された情報になることができる。

【0073】

【表2】

【0074】

【表3】

【0075】

表２および表３は、第１モデル６２０および第２モデル６３０の性能を数値化して示した一例である。より具体的に、表２は第１モデル６２０としてＹｏｌｏＶ４－ＣＳＰを採用した時のオブジェクト認識率を示し、表３は第２モデル６３０としてＹｏｌｏＶ４－Ｐ７を採用した時のオブジェクト認識率を示している。表２と表３を比較すると、生データ６１０に含まれるオブジェクトとして、乗用車（ｃａｒ）、歩行者（ｐｅｄｅｓｔｒｉａｎ）、トラック（ｔｒｕｃｋ）、バス（ｂｕｓ）、二輪車（ｔｗｏ ｗｈｅｅｌｅｒ）及びその他のもの（ｍｉｓｃ：ｍｉｓｃｅｌｌａｎｅｏｕｓ）の認識率において、ＹｏｌｏＶ４－ＣＳＰよりＹｏｌｏＶ４－Ｐ７の方が全体的に優れていることが分かる。

【0076】

表２と表３は、第１モデル６２０および第２モデル６３０の性能を数値化して例示的に示したものであるので、本発明における第１モデル６２０および第２モデル６３０は表２と表３に記載したＹｏｌｏＶ４－ＣＳＰ、ＹｏｌｏＶ４－Ｐ７にそれぞれ限定されない。

【0077】

偏差データ算出モジュール６４０は、第１モデル６２０および第２モデル６３０の出力データを分析して偏差データ６４５を算出することができる。偏差データ６４５は、生データ６１０を第１モデル６２０に入力した結果と生データ６１０を第２モデル６３０に入力した結果との偏差に関するデータを意味し、より具体的には、同じフレームごとに比較して算出され得る。例えば、生データ６１０が１０フレームで構成された動画データである場合、偏差データ６４５は、生データ６１０の第１フレームを第１モデル６２０に入力した結果および生データ６１０の第１フレームを第２モデル６３０に入力した結果を比較して偏差を算出した結果であり得る。

【0078】

偏差データ算出モジュール６４０は、生データ６１０を構成するフレームごとに、相互間のバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）のＩｏＵ値（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ Ｖａｌｕｅ）を計算して、最大のＩｏＵを有するバウンディングボックス同士をマッチングし、マッチングした結果、第２モデル６３０の出力データのみに検知されたバウンディングボックスを、ウィークポイント対象と判断してウィークポイント分析モジュールに伝達することができる。偏差データ算出モジュール６４０がＩｏＵ値を基準にフレーム間にバウンディングボックスをマッチングして偏差データを算出する方法は、図５で既に説明しているので省略する。

【0079】

以下では、生データ６１０を第１モデル６２０に入力して出力されたデータを第１認識結果、生データ６１０を第２モデル６３０に入力して出力されたデータを第２認識結果と呼ぶ。

【0080】

ウィークポイント分析モジュール６５０は、偏差データ算出モジュール６４０から偏差データを受信してウィークポイントを分析する。ここで、ウィークポイントは、自動運転車に装着されており、第２モデル６３０に比べて比較的低い演算量を有するしかない第１モデル６２０の限界性能によって、第２モデル６３０では検出されたオブジェクトが第１モデル６２０では検出されなかった場合、その検出されなかった情報に関するデータを意味する。例えば、第２モデル６３０が生データ６１０を受信して動画の中で乗用車１台、バス１台をオブジェクトとして認識し、第１モデル６２０が生データ６１０を受信して動画の中で乗用車１台をオブジェクトとして認識した場合、ウィークポイントは、第１モデル６２０が認識（検知）できなかったバス１台に関する情報となり得る。

【0081】

ウィークポイント分析モジュール６５０によって分析されたウィークポイントは、第１モデル６２０のオブジェクト認識性能を向上させるための学習データとして使用することができる。また、ウィークポイントは、第１モデル６２０の学習データとして使用されるために一連の前処理プロセス（または、フィルタリングプロセス）によって前処理され得、これについては後述する。

【0082】

図６において、第１モデル６２０、偏差データ算出モジュール６４０、ウィークポイント分析モジュール６５０は、本発明の一実施形態による自動運転車のオブジェクト認識率の改善装置に物理的または論理的に含まれる形態で実現できる。また、図６において、第１モデル６２０、第２モデル６３０、偏差データ算出モジュール６４０、ウィークポイント分析モジュール６５０は、本発明が実際に実現される場合には他の名称で呼ぶことができ、いずれかのモジュールが他方に統合される形態で実現することもできる。

【0083】

図７Ａ～図７Ｃは、本発明の一実施形態による、オブジェクト認識率の改善装置で行われるフィルタリングプロセスを説明するための図である。

【0084】

まず、図７Ａは、フィルタリングされる前の偏差データを示しており、図７Ａには、第１オブジェクト７１０ａ、第２オブジェクト７２０ａ、第３オブジェクト７３０ａ、第４オブジェクト７４０ａ、第５オブジェクト７５０ａがオブジェクトとして認識されたものが図式的に表現されている。より具体的には、図７Ａに示す５つのオブジェクトは、第１認識結果では認識されなかったが、第２認識結果では認識されて偏差データに加工され、ウィークポイント分析モジュール６５０に伝達されたものと理解することができ、ウィークポイント分析モジュール６５０は、所定のフィルタ基準でフィルタリングを行い、偏差データの中で意味のあるオブジェクト情報のみを残すことができる。

【0085】

一例として、所定のフィルタ基準は偏差データに含まれるバウンディングボックスのサイズに対するサイズ基準であり、ウィークポイント分析モジュール６５０は偏差データに基づく情報であり、サイズ基準よりも小さいサイズのバウンディングボックスを除去することができる。ここで、サイズ基準は、高さ（ｈｅｉｇｈｔ）が１２０ピクセル未満であるか、幅（ｗｉｄｔｈ）が１２０ピクセル未満であるバウンディングボックスを除去するための基準であることができるが、上述の値は例示的な値であるため、実施形態により高さまたは幅の基準値は異なる場合がある。

【0086】

他の一例として、所定のフィルタ基準は偏差データに含まれるバウンディングボックスのオブジェクトの種類を区分するための区分基準であり、ウィークポイント分析モジュール６５０は偏差データに基づく情報であり、区分基準に応じて特定種類のオブジェクトのバウンディングボックスを削除することができる。ここで、特定種類とは、バウンディングボックスの上段に記載されたクラス（ｃｌａｓｓ）を意味し、図７Ａの５つのバウンディングボックスには、合計４種類のクラス（乗用車、トラック、歩行者、二輪車）が示されている。

【0087】

ウィークポイント分析モジュール６５０に設定されているフィルタ基準として高さ（ｈｅｉｇｈｔ）が１２０ピクセル未満であるか、幅（ｗｉｄｔｈ）が１２０ピクセル未満のバウンディングボックスを除去するためのサイズ基準と、歩行者や二輪車に対するバウンディングボックスを除去のための区分基準が同時に設定されている場合、図７Ａにおいて、第２オブジェクト７２０ａ、第３オブジェクト７３０ａ、第４オブジェクト７４０ａは除去され、第１オブジェクト７１０ａおよび第５オブジェクト７５０ａだけが残る。

【0088】

図７Ｂは、図７Ａと同様にフィルタリングされる前の偏差データを示しており、図７Ｂには、第６オブジェクト７１０ｂがオブジェクトとして認識されたことが図式的に示されている。

【0089】

より具体的には、図７Ｂに示す第６オブジェクト７１０ｂは、第１認識結果では認識されなかったが、第２認識結果では認識されて偏差データに加工され、ウィークポイント分析モジュール６５０に伝達されたものと理解され得、ウィークポイント分析モジュール６５０は、所定のフィルタ基準でフィルタリングを行い、偏差データの中で意味のあるオブジェクト情報のみを残すことができる。

【0090】

ただし、図７Ｂにおいて、第６オブジェクト７１０ｂは、１つのオブジェクトではなく、第７オブジェクト７２０ｂおよび第８オブジェクト７３０ｂが偶然重なる過程で１つのオブジェクトと誤認識されたものであり、形態上の特性上、非常に低い信頼度（ｃｏｎｆｉｄｅｎｃｅ）である０．３３９６が記録されていることが分かる。

【0091】

一例として、図７Ｂで所定のフィルタ基準は偏差データに含まれるバウンディングボックスの信頼度に対する信頼度基準であり、ウィークポイント分析モジュール６５０は偏差データに基づく情報であり、信頼度基準よりも低い信頼度のバウンディングボックスを除去することができる。ここで、信頼度基準は０．６とすることができるが、実施形態によって変わってもよい。

【0092】

図７Ｂでは、ウィークポイント分析モジュール６５０は、信頼度基準に従って第６オブジェクト７１０ｂのバウンディングボックスを除去することができ、第６オブジェクト７１０ｂのバウンディングボックスが除去された後は、図７Ｂのフレームには残りのバウンディングボックスがないため、第１認識結果および第２認識結果は実質的に同じと見なすことができる。第１認識結果と第２認識結果が実質的に同じであるということは、第１モデル６２０が第６オブジェクト７１０ｂを学習する必要がないことを意味する。

【0093】

図７Ｃは、図７Ａおよび図７Ｂと同様にフィルタリングされる前の偏差データを示しており、図７Ｃには、第９オブジェクト７１０ｃ、第１０オブジェクト７２０ｃ、第１１オブジェクト７３０ｃがオブジェクトとして認識されたことが図式的に示されている。

【0094】

より具体的に、図７Ｃに示すオブジェクトのうち、第１０オブジェクト７２０ｃおよび第１１オブジェクト７３０ｃは、第１認識結果および第２認識結果の両方にオブジェクトとして認識された車両であり、バウンディングボックスが除去されているが、第９オブジェクト７１０ｃは、道路で走行中の自動運転車の走行に影響を及ぼす可能性がないオブジェクトであるにもかかわらず、トラック（ｔｒｕｃｋ）というクラスに分類されてバウンディングボックスが適用されていることが、図７Ｃに示されている。

【0095】

通常、より高い認識性能を有する第２モデル６３０が認識するオブジェクトの数が多いが、特定の場合、第１モデル６２０がオブジェクトではない対象をオブジェクトとして誤認識するか、第２モデル６３０が誤動作することによって、オブジェクトでないため第１モデル６２０に認識されていないオブジェクトを正常なオブジェクトと誤認識する場合が発生することがあり、ウィークポイント分析モジュール６５０は、所定のフィルタ基準に沿って、第９オブジェクト７１０ｃが、道路にのみ存在するオブジェクトが実際の道路ではない場所に存在すると判断して、当該バウンディングボックスを削除することができる。図７Ｃにおいて、第９オブジェクト７１０ｃのバウンディングボックスが除去されると、第１認識結果と第２認識結果との偏差が実質的になくなるので、第１モデル６２０が学習するデータも当然なくなる。

【0096】

図８は、本発明の他の実施形態により、自動運転車のオブジェクト認識率を改善させるために能動学習が適用される過程を説明するための図である。

【0097】

本発明によるオブジェクト認識率の改善装置は、図８に示す分類モジュール８２０、ラベリングデータ収集モジュール８４０、学習モデル８５０、予測モデル８６０を物理的または論理的な形態で含むことができる。図８において、学習モデル８５０は入力されるデータを介して学習されているモデル、予測モデル８６０は学習が完了して試験データが入力されると、それに応じた結果データを出力できる予測性モデル（ｐｒｅｄｉｃｔｉｖｅ ｍｏｄｅｌ）をそれぞれ意味するとみなされ、学習モデル８５０は学習を通じて認識率が改善されるモデルであるため、結局、自動運転車に搭載される第１モデル６２０を意味する。

【0098】

通常、機械学習を行うために生データを前処理する過程の必須過程であるデータのラベリング（ｌａｂｅｌｉｎｇ）は、データの特徴が正確に区分されないため人間（ｈｕｍａｎ）によって行われるが、本発明によるオブジェクト認識率の改善装置は、オートラベリング（ａｕｔｏ－ｌａｂｅｌｉｎｇ）を一部含む能動学習（ａｃｔｉｖｅ ｌｅａｒｎｉｎｇ）によるアクティブラベリング（ａｃｔｉｖｅ ｌｅａｒｎｉｎｇ）を行うことにより、学習モデル８５０が生データ８１０の特徴を迅速かつ効率的に学習できるように誘導することになる。

【0099】

図８において、生データ８１０は、図６と同様に、自動運転車が走行中にカメラで撮影して収集した動画を意味する。

【0100】

生データ８１０は、分類モジュール８２０によって自動的にラベリングされ得る。具体的には、生データ８１０が複数のフレームからなる動画である場合、分類モジュール８２０は、各フレームにオブジェクトを自動的に認識し、特定フレームのａオブジェクトはトラック、ｂオブジェクトは歩行者、ｃオブジェクトは二輪車などとオブジェクトのクラスを自動的に分類することができる。

【0101】

分類モジュール８２０は、生データ８１０を分析しながら、内部の分類アルゴリズムを通じて分類が難しいと判断したオブジェクトに対しては自動的にラベリングを行わず、ここで分類が難しいと判断されたオブジェクトは、図６～図７Ｃで説明したウィークポイントになることができる。すなわち、フィルタ基準によってフィルタリングされてからも、第１モデル６２０と第２モデル６３０の結果の差だと判断された図７Ａの第１オブジェクト７１０ａおよび第５オブジェクト７５０ａは、分類モジュール８２０によって分類が難しいと判断されたオブジェクトになり得る。分類が難しいと判断されたオブジェクトに関する情報は、分類モジュール８２０によって自動的に収集され、高度な分類基準を習得したユーザ８３０に伝達され、ユーザ８３０はデータのラベリングが完了した後、ラベリングデータ８３５をラベリングデータ収集モジュール８４０に伝達することになる。

【0102】

ラベリングデータ収集モジュール８４０は、分類モジュール８２０から自動的にラベリングされたデータとユーザ８３０から受動的でラベリングされたデータとを全て伝達され、学習モデル８５０がラベリングされたデータを学習するように制御する。学習モデル８５０において、不規則性によって学習されないデータは、再び分類モジュール８２０に伝達され、分類モジュール８２０またはユーザ８３０によってラベリングされて学習モデル８５０に再入力される過程を繰り返し、最終的に生データ８１０のオブジェクト認識の学習が完了したモデルは予測モデル８６０となり、新たに入力される生データ８１０に含まれるオブジェクトを正確に認識できるようになる。

【0103】

上記のように、選別された一部のデータに対してのみ高度な分類基準を習得したユーザ８３０からラベリングされ、残りのデータに対しては自動的にラベリングを行う能動学習を適用することにより、本発明による学習モデル８５０は、迅速かつ正確に学習データ（動画のオブジェクトに関する情報）を学習することができ、分類モジュール８２０においては、図７Ａ～図７Ｃで説明したフィルタリング基準が適用されることによって、ユーザ８３０が受動的に行うべきラベリングの作業量を大幅に減らすことができる。すなわち、本発明によれば、従来のラベリング作業によって発生する過剰なコスト（時間的コスト、金銭的コスト）を最小化することができる。

【0104】

図９は、本発明によるオブジェクト認識率の改善方法の一例をフローチャートで示す図である。

【0105】

図９による方法は、上述したオブジェクト認識率の改善装置によって実現することができるので、以下では、図６～図８を参照して説明するが、図６～図８で説明した内容と重複する説明は省略する。

【0106】

オブジェクト認識率の改善装置は、走行中に取得された第１動画に含まれるオブジェクトを第１認識技術で認識して第１認識結果を算出することができる（Ｓ９１０）。

【0107】

オブジェクト認識率の改善装置は、第２認識技術で第１動画に含まれるオブジェクトを認識した第２認識結果を受信することができる（Ｓ９３０）。

【0108】

オブジェクト認識率の改善装置は、第１認識結果と第２認識結果との偏差データを算出することができる（Ｓ９５０）。

【0109】

オブジェクト認識率の改善装置は、Ｓ９５０で算出した偏差データに基づく情報を用いて、第１認識技術で動画に含まれるオブジェクトを認識する第１モデルが学習されるように制御することができる（Ｓ９７０）。

【0110】

図１０は、本発明の他の実施形態によるオブジェクト認識率の改善方法を説明するための図である。

【0111】

本任意の一実施形態は、図６～図９で説明したオブジェクト認識率の改善方法と同じプロセスを一部共有する。走行中に取得された動画を分析してオブジェクトを認識する構成は同じであるが、同じ動画を異なる認識技術を適用してオブジェクトを認識して偏差データを算出した図６の方法と異なり、本実施形態では１つの認識技術で動画に含まれるオブジェクトを認識する。上述した第１モデル６２０、第２モデル６３０と区分するために、本実施形態において動画のオブジェクトを認識するモデルを認識モデルと呼ぶ。

【0112】

図１０を参照すると、合計４つのフレームが示されており、フレームごとに少なくとも１つ以上のオブジェクトがフレームの特定の位置に配置されている。より具体的には、図１０においてｉ番目のフレーム、ｉ＋１番目のフレーム、ｉ＋３番目のフレームには上段と下段にそれぞれオブジェクトが存在することが認識されたが、ｉ＋２番目のフレームでは下段のオブジェクトが一時的に消えて上段にのみオブジェクトが存在すると認識されていることが分かる。本実施形態によるオブジェクト認識率の改善装置は、図１０のように特定のオブジェクトに対してトラッキング（ｔｒａｃｋｉｎｇ）が行われている過程で、突然特定のフレームでオブジェクトの消失が発生してから、短時間内にオブジェクトが認識された場合をウィークポイントと見なして認識モデルを学習させる学習データに変換することができる。

【0113】

すなわち、本実施形態は、トラッキングが正常に行われたオブジェクトが特定フレームで消えてから再出現した場合、自動運転車のオブジェクト認識モジュールの性能限界が発生したものであり、オブジェクト認識モジュールに対する追加的な学習を通じてオブジェクト認識性能を向上のための実施形態として理解することができる。

【0114】

【表4】

【0115】

表４は、図６～図９を介して説明した実施形態と図１０で説明する実施形態との違いを記載した表である。表４を参照すると、本発明の両方の実施形態は、いずれも自動運転車に搭載されるオブジェクト認識モジュールの性能上の限界（ウィークポイント）が発生する点を把握し、その把握された性能上の限界を補完するための学習データを生成してオブジェクト認識モジュール（認識モデル）を迅速かつ効率的に学習するための目的は一致するが、それを実現するための構成上の違いがいくつか存在することが分かる。

【0116】

図１１は、図１０で説明した実施形態によるオブジェクト認識率の改善方法をフローチャートで示す図である。

【0117】

まず、オブジェクト認識率の改善装置は、走行中に取得された第１動画で第１オブジェクトを認識することができる（Ｓ１１１０）。ここで、オブジェクト認識率の改善装置が第１動画で第１オブジェクトを認識したということは、図１０に示すように、第１動画を構成するフレームの中から第１オブジェクトを認識して第１オブジェクトに対するサイズおよび種類（ｃｌａｓｓ）に関する情報を把握したことを意味する。

【0118】

そして、オブジェクト認識率の改善装置は、第１動画で第１オブジェクトが所定期間消えてから再出現するか否かを検知することができる（Ｓ１１３０）。

【0119】

ここで、所定期間は、少なくとも１つ以上のフレームの時間範囲値であってもよい。収集された第１動画フレームレートが３０フレーム／秒である場合、所定期間は０秒から１／３０秒に対応する時間範囲値であってもよい。

【0120】

他の例として、所定期間は１～３フレームの時間範囲値であってもよく、図１０で所定期間は、１フレームの時間範囲値であることが分かる。所定期間が３フレームの時間範囲値であれば、ｉ番目のフレームでトラッキングされていた第１オブジェクトがｉ＋１番目のフレームで消えてからｉ＋５番目のフレームで再出現すると、所定期間消えていたと見なすことができる。

【0121】

オブジェクト認識率の改善装置は、第１オブジェクトが再出現したことを検知したことをもとに、第１オブジェクトに関する学習データを算出することができる（Ｓ１１５０）。第１オブジェクトが消えてから再出現しないか、再出現しても所定期間が経過した後に再出現する場合には、オブジェクト認識率の改善装置は条件を満たしていないとみなし、第１オブジェクトに関する学習データを算出しない。特に、第１オブジェクトが消えてから所定期間より長い時間が経過した後に再出現した場合は、認識モデルが認識性能の限界によって第１オブジェクトを認識できなかったのではなく、他のオブジェクトによって第１オブジェクトが遮蔽され認識されなかった可能性が高いため、学習データを算出する条件が満たされたとはみなせない。

【0122】

Ｓ１１５０のステップで学習データは、第１オブジェクトのサイズ、位置、分類コード（ｃｌａｓｓ）、第１オブジェクトが最初に認識された後に所定期間消えてから再出現した履歴（ｈｉｓｔｏｒｙ）に関する情報、第１オブジェクトの信頼度（ｃｏｎｆｉｄｅｎｃｅ）に関する情報のうち少なくとも１つを含むことができる。

【0123】

オブジェクト認識率の改善装置は、Ｓ１１５０のステップで算出した学習データに基づく情報を用いて、走行中に取得された動画でオブジェクトを認識する自動運転車の認識モデルが学習されるように制御することができる（Ｓ１１７０）。

【0124】

Ｓ１１７０のステップで学習データに基づく情報とは、Ｓ１１５０のステップで算出された学習データを認識モデルに入力されるように少なくとも１回以上さらに加工した情報を意味し、一例として、学習データを所定のフィルタ基準でフィルタリングした情報あることができる。

【0125】

任意の一実施形態として、所定のフィルタ基準は、第１オブジェクトが第１フレームに認識された後に第２フレームで消えてから第３フレームに再出現した時の一連のフレームの時間長に対するフィルタ基準であってもよく、オブジェクト認識率の改善装置は、このフィルタ基準を介して、第１フレームと第３フレームとの間の時間長が１０フレームの長さよりも長い場合にのみ、学習データに基づく情報が算出されるようにすることができる。このフィルタ基準は、複数のフレームを介して十分に長くトラッキングされたオブジェクトのみを選択的に学習することを意味する。

【0126】

この任意の一実施形態では、１０フレームの長さは基準フレーム長と呼ぶことができ、可変値とすることができる。例えば、基準フレーム長は、第１動画のフレームレート、第１動画に含まれる第１オブジェクトの移動速度、第１動画を撮影したカメラの画角、第１動画を撮影したカメラの角度、第１動画を撮影したカメラのレンズの歪率のうち少なくとも１つによって決定される値であってもよい。すなわち、基準フレーム長は実施形態によって１０フレームより短くてもよく、長くてもよい。本発明は、第１オブジェクトの速度、カメラの物理的、論理的状態を考慮するので、従来よりも正確なオブジェクト認識ができる。

【0127】

他の任意の一実施形態として、所定のフィルタ基準は、第１フレームに認識された後に第２フレームで所定期間消えてから第３フレームに再出現した前記第１オブジェクトの種類を区分するための区分基準であってもよく、オブジェクト認識率の改善装置は、この区分基準を通じて、第１オブジェクトの種類（ｃｌａｓｓ）が乗用車、トラック、バス、その他のもの（ｍｉｓｃ．）である場合にのみ、学習データに基づく情報が算出されるようにすることができる。本フィルタ基準とは、自動運転において高い重要度を有するオブジェクトである乗用車、トラック、バス、その他のものを重点的に学習することを意味する。

【0128】

他の任意の一実施形態として、所定のフィルタ基準は、第１フレームに認識された後に第２フレームで所定期間消えてから、第３フレームに再出現した前記第１オブジェクトのサイズを区分するためのサイズ基準であってもよく、オブジェクト認識率の改善装置は、このサイズ基準を介して、第１オブジェクトの高さ（ｈｅｉｇｈｔ）または幅（ｗｉｄｔｈ）が所定のピクセルを超えると、学習データに基づく情報が算出されるようにすることができる。このフィルタ基準は、十分に大きいサイズの第１オブジェクトに対してのみ認識モデルを学習させることを意味する。

【0129】

表４で比較して説明したように、オブジェクトが消えてから再出現した時、オブジェクトが消えていた区間でオブジェクトが完全に消えなかったにもかかわらず認識モデルが認識できなかったのは、認識モデルの制限された性能によるものであるため、図８で説明した認識モデルのウィークポイントと分類することができ、同様に能動学習（ａｃｔｉｖｅ ｌｅａｒｎｉｎｇ）を適用することができる。

【0130】

すなわち、オブジェクトの分類基準を熟知したユーザの入力を通じて学習データに含まれるオブジェクトの種類が正確にラベリングされると、ラベリングされたデータは、学習データに基づく情報としてラベリングデータ収集モジュールを介して認識モデルに入力され得る。繰り返し学習によって学習が完了した認識モデルは、第２動画を新たな試験データとして入力された時、フレーム欠落なしに第２動画の第２オブジェクトを正確に認識することができるようになる。

【0131】

図１２は、一実施形態によるオブジェクト認識率の改善装置のブロック図である。

【0132】

図１２を参照すると、オブジェクト認識率の改善装置１２００は、通信部１２１０、プロセッサ１２２０、ＤＢ１２３０を含むことができる。図１２のオブジェクト認識率の改善装置１２００には、実施形態に関連する構成要素のみが示されている。したがって、図１２に示す構成要素に加えて他の汎用構成要素をさらに含むことができることが当技術分野の当業者であれば理解することができる。

【0133】

通信部１２１０は、外部サーバまたは外部装置との有線／無線通信を可能にする１つ以上の構成要素を含むことができる。例えば、通信部１２１０は、近距離通信部（図示せず）、移動通信部（図示せず）、放送受信部（図示せず）のうち少なくとも１つを含むことができる。

【0134】

ＤＢ１２３０は、オブジェクト認識率の改善装置１２００内で処理される各種データを保存するハードウェアであり、プロセッサ１２２０の処理および制御のためのプログラムを保存することができる。

【0135】

ＤＢ１２３０は、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）などのＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＣＤ－ＲＯＭ、ブルーレイまたは他の光ディスクストレージ、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、またはフラッシュメモリを含むことができる。

【0136】

プロセッサ１２２０は、オブジェクト認識率の改善装置１２００の全体的な動作を制御する。例えば、プロセッサ１２２０は、ＤＢ１２３０に保存されたプログラムを実行することにより、入力部（図示せず）、ディスプレイ（図示せず）、通信部１２１０、ＤＢ１２３０などを全体的に制御することができる。プロセッサ１２２０は、ＤＢ１２３０に保存されたプログラムを実行することにより、オブジェクト認識率の改善装置１２００の動作を制御することができる。

【0137】

プロセッサ１２２０は、図１～図１１で上述したオブジェクト認識率の改善装置１２００の動作のうち少なくとも一部を制御することができる。

【0138】

一例として、プロセッサ１２２０は、図６～図９で説明したように、自動車が走行中に取得された第１動画に含まれるオブジェクトを第１認識技術で認識して第１認識結果を算出し、第２認識技術で第１動画に含まれるオブジェクトを認識した第２認識結果を受信し、第１認識結果と前記第２認識結果との偏差データを算出し、算出された偏差データに基づく情報を用いて第１認識技術で動作する第１モデルが学習されるように制御することができる。

【0139】

他の例として、プロセッサ１２２０は、図１０～図１１で説明したように、走行中に取得された第１動画で第１オブジェクトを認識し、第１動画で第１オブジェクトが所定期間消えてから再出現することを検知し、第１オブジェクトが再出現することを検知すると、第１オブジェクトに関する学習データを算出し、算出された学習データに基づく情報を用いて動画に含まれるオブジェクトを認識する認識モデルが学習されるように制御することができる。

【0140】

プロセッサ１２２０は、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、コントローラ（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラ（ｍｉｃｒｏ－ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、その他の機能の実行のための電気ユニットの少なくとも１つを用いて実現することができる。

【0141】

オブジェクト認識率の改善装置１２００は、車両内に組み込まれる電子装置であってもよい。例えば、オブジェクト認識率の改善装置１２００は、製造過程後にチューニング（ｔｕｎｉｎｇ）により車両に挿入される電子装置であってもよい。

【0142】

上述した本発明による実施形態は、様々な構成要素を介してコンピュータ上で実行できるコンピュータプログラムの形態で実現することができ、そのようなコンピュータプログラムはコンピュータで読み取り可能な媒体に保存することができる。ここで、媒体には、ハードディスク、フロッピーディスク、磁気テープなどの磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤなどの光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）などの光磁気記録媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、ＲＯＭ、ＲＡＭ、フラッシュメモリなどのプログラム命令を記憶して実行するように特別に構成されたハードウェア装置が含まれ得る。

【0143】

一方、前記コンピュータプログラムは、本発明のために特別に設計および構成されたものであるか、コンピュータソフトウェア分野の当業者に公知されて使用可能なものであってもよい。コンピュータプログラムの例には、コンパイラにより生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータにより実行される高級言語コードも含まれ得る。

【0144】

本発明で説明する特定の実施は一実施形態であり、いかなる方法でも本発明の範囲を限定するものではない。明細書の簡潔さのために、従来の電子構成、制御システム、ソフトウェア、前記システムの他の機能的側面の説明は省略することができる。なお、図面に示す構成要素間の連結線または連結部材は、機能的連結および／または物理的連結もしくは回路接続を例示的に示すものであり、実際の装置では代替可能またはさらなる様々な機能的連結、物理的連結、または回路接続として示され得る。さらに、「必須的な」、「重要に」などのような具体的な言及がなければ、本発明を適用するために必ずしも必要な構成要素ではない可能性がある。

【0145】

本発明の明細書（特に、特許請求の範囲において）における「上記」の用語および同様の指示用語の使用は、単数および複数の両方に対応するものであることができる。また、本発明において範囲（ｒａｎｇｅ）を記載した場合、前記範囲に属する個別の値を適用した発明を含むものとして（これに反する記載がない場合）、発明の詳細な説明に前記範囲を構成する各個別の値を記載したものと同じである。最後に、本発明による方法を構成するステップについて明らかに順序を記載または反する記載がない場合、前記ステップは適切な順序で行うことができる。必ずしも前記ステップの記載順序により本発明が限定されるわけではない。本発明における全ての例または例示的な用語（「例えば」、「など」）の使用は、単に本発明を詳細に説明するためのものであり、特許請求の範囲により限定されない限り、前記例または例示的な用語により本発明の範囲が限定されるわけではない。また、当業者は、様々な修正、組み合わせおよび変更が加えられた特許請求の範囲またはその均等物の範疇内で設計条件および要因に応じて構成できることを理解するであろう。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図8】

【図9】

【図10】

【図11】

【図12】