(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-13
(45)【発行日】2024-08-21
(54)【発明の名称】自動運転車のオブジェクト認識率の改善方法およびその装置
(51)【国際特許分類】
G08G 1/09 20060101AFI20240814BHJP
G06T 7/00 20170101ALI20240814BHJP
G06V 10/778 20220101ALI20240814BHJP
【FI】
G08G1/09 D
G06T7/00 350B
G06T7/00 650B
G06V10/778
(21)【出願番号】P 2023114586
(22)【出願日】2023-07-12
【審査請求日】2023-07-12
(31)【優先権主張番号】10-2022-0088365
(32)【優先日】2022-07-18
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2022-0125754
(32)【優先日】2022-09-30
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2022-0125755
(32)【優先日】2022-09-30
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】523045180
【氏名又は名称】42ドット・インコーポレイテッド
【氏名又は名称原語表記】42dot Inc.
(74)【代理人】
【識別番号】100145403
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100135703
【氏名又は名称】岡部 英隆
(72)【発明者】
【氏名】チョ,ミョンフン
(72)【発明者】
【氏名】イ,ジェユン
(72)【発明者】
【氏名】グエン,フォック ティエン
【審査官】佐田 宏史
(56)【参考文献】
【文献】特開2017-168029(JP,A)
【文献】特開2020-191036(JP,A)
【文献】特表2017-523498(JP,A)
【文献】国際公開第2021/215740(WO,A1)
【文献】特開2022-020353(JP,A)
【文献】国際公開第2022/024803(WO,A1)
【文献】米国特許出願公開第2022/0027664(US,A1)
【文献】長谷川 修、金出 武雄,“一般道路映像中の移動物体の識別・色の推定と特定対象の検出”,情報処理学会論文誌,日本,社団法人情報処理学会,2003年07月15日,Vol.44, No.7,pp.1795-1807
【文献】加藤 直樹、外4名,“追跡軌跡の再同定を用いたオンライン複数物体追跡”,画像電子学会誌,日本,一般社団法人画像電子学会,2018年10月30日,Vol.47, No.4,pp.391-400
【文献】Reza Serajeh et al.,"Robust multiple human tracking using particle swarm optimization and the Kalman filter on full occlusion conditions",2013 First Iranian Conference on Pattern Recognition and Image Analysis (PRIA),米国,IEEE,2013年03月06日,pp.1-4
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/09
G06T 1/00,7/00-7/90
G06V 10/0-10/98
(57)【特許請求の範囲】
【請求項1】
少なくとも1つのプログラムが保存されたメモリと、
前記少なくとも1つのプログラムを実行することにより、演算を実行するプロセッサを含む自動運転車のオブジェクト認識率の改善装置により実現される自動運転車のオブジェクト認識率の改善方法において、
前記プロセッサが、走行中に取得された第1動画で第1オブジェクトを認識するステップと、
前記プロセッサが、前記第1動画において、前記認識された第1オブジェクトが所定期間消えてから再出現することを検知するステップと、
前記プロセッサが、前記第1オブジェクトが再出現することを検知すると、前記第1オブジェクトに関する学習データを算出するステップと、
前記プロセッサが、前記算出された学習データに基づく情報を用いて、動画に含まれるオブジェクトを認識する認識モデルが学習されるように制御するステップと
、
前記プロセッサが、前記算出された学習データを所定のフィルタ基準でフィルタリングして、前記算出された学習データに基づく情報を算出するステップを含
み、
前記第1動画は、
複数のフレームを含む動画であり、
前記所定のフィルタ基準は、
前記第1オブジェクトが第1フレームに認識された後に第2フレームで所定期間消えてから、第3フレームに再出現した時の一連のフレームの時間長に対するフィルタ基準であり、
前記算出された学習データに基づく情報を算出するステップは、
前記第1フレームと第3フレームとの間の時間長が基準フレーム長よりも長い場合、前記学習データに基づく情報を算出し、
前記基準フレーム長は、
前記第1動画のフレームレート、前記第1動画に含まれるオブジェクトの移動速度、前記第1動画を撮影したカメラの画角、前記第1動画を撮影したカメラの角度、前記第1動画を撮影したカメラのレンズの歪率の少なくとも1つによって決定される、自動運転車のオブジェクト認識率の改善方法。
【請求項2】
走行中に取得された第2動画に含まれる第2オブジェクトを前記学習された認識モデルの認識技術で認識し、第2動画において第2オブジェクトをフレーム欠落なしに認識するステップをさらに含む、請求項1に記載の自動運転車のオブジェクト認識率の改善方法。
【請求項3】
前記第1動画は、少なくとも3つ以上のフレームを含み、
前記所定期間は、少なくとも1つ以上のフレームの時間範囲値である、請求項1に記載の自動運転車のオブジェクト認識率の改善方法。
【請求項4】
前記第1動画は、少なくとも3つ以上のフレームを含み、
前記所定期間は、1~3フレームの時間範囲値である、請求項1に記載の自動運転車のオブジェクト認識率の改善方法。
【請求項5】
前記学習データは、
前記第1オブジェクトの信頼度(confidence)に関する情報をさらに含む、請求項
1に記載の自動運転車のオブジェクト認識率の改善方法。
【請求項6】
前記算出された学習データに基づく情報を算出するステップは、
前記第1オブジェクトの種類が乗用車、トラック、バス
のうちの1つであれば、前記学習データに基づく情報を算出する、請求項
1に記載の自動運転車のオブジェクト認識率の改善方法。
【請求項7】
前記算出された学習データに基づく情報を算出するステップは、
前記第1オブジェクトの高さ(height)が所定のピクセルを超えると、前記学習データに基づく情報を算出する、請求項
1に記載の自動運転車のオブジェクト認識率の改善方法。
【請求項8】
前記算出された学習データに基づく情報を算出するステップは、
前記第1オブジェクトの幅(width)が所定のピクセルを超えると、前記学習データに基づく情報を算出する、請求項
1に記載の自動運転車のオブジェクト認識率の改善方法。
【請求項9】
前記算出された学習データに基づく情報は、
前記算出された学習データに対して能動学習(active learning)が適用された情報である、請求項1に記載の自動運転車のオブジェクト認識率の改善方法。
【請求項10】
前記算出された学習データに基づく情報は、
ユーザの入力を通じて前記学習データに含まれるオブジェクトの種類がラベリングされた(labeled)情報である、請求項1に記載の自動運転車のオブジェクト認識率の改善方法。
【請求項11】
請求項1に記載の方法を実現するためのプログラムを保存しているコンピュータで読み取り可能な記録媒体。
【請求項12】
自動運転車のオブジェクト認識率の改善装置において、
少なくとも1つのプログラムが保存されたメモリと、
前記少なくとも1つのプログラムを実行することにより、演算を実行するプロセッサを含み、
前記プロセッサは、
走行中に取得された第1動画で第1オブジェクトを認識し、
前記第1動画で前記認識された第1オブジェクトが所定期間消えてから再出現することを検知し、
前記第1オブジェクトが再出現することを検知すると、前記第1オブジェクトに関する学習データを算出し、
前記算出された学習データに基づく情報を用いて動画に含まれるオブジェクトを認識する認識モデルが学習されるように制御
し、
前記算出された学習データを所定のフィルタ基準でフィルタリングして、前記算出された学習データに基づく情報を算出し、
前記第1動画は、
複数のフレームを含む動画であり、
前記所定のフィルタ基準は、
前記第1オブジェクトが第1フレームに認識された後に第2フレームで所定期間消えてから、第3フレームに再出現した時の一連のフレームの時間長に対するフィルタ基準であり、
前記プロセッサは、
前記第1フレームと第3フレームとの間の時間長が基準フレーム長よりも長い場合、前記学習データに基づく情報を算出し、
前記基準フレーム長は、
前記第1動画のフレームレート、前記第1動画に含まれるオブジェクトの移動速度、前記第1動画を撮影したカメラの画角、前記第1動画を撮影したカメラの角度、前記第1動画を撮影したカメラのレンズの歪率の少なくとも1つによって決定される、装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動運転車のオブジェクト認識率の改善方法およびその装置に関し、より具体的には、オブジェクトを認識して自動で走行できる自動運転車が、走行中に道路上のオブジェクトを認識する性能を向上させるためのオブジェクト認識率の改善方法およびその装置に関する。
【背景技術】
【0002】
情報通信技術と車両産業の融合により急速に車両のスマート化が進んでいる。スマート化により、車両は単純な機械的装置からスマートカーに進化しており、特にスマートカーのコア技術として自動運転(self-driving)が注目されている。自動運転とは、運転者がハンドルやアクセルペダル、ブレーキなどを操作しなくても車両に搭載された自動運転モジュールが車両の走行状態を能動的に制御することにより、車両自ら目的地まで移動する技術である。
【0003】
自動運転車の安全な自動運転のために、自動運転の過程で車両が歩行者や他の車両を正確に認識し、認識されたオブジェクトとの距離を算出する方法に関する研究が多様に行われているが、車両が走行中に道路上に出現可能なオブジェクトの特性は事実上無限に近く、自動運転車に搭載されるモジュールの処理能力に限界が存在し、道路上にあるオブジェクトを完全に認識できる方法は現在知られていない。
【0004】
カメラによるオブジェクト認識および距離推定の場合、実際の3次元世界のオブジェクトを2次元画像に投影したため、距離に関する情報が多く失われる。特に、歩行者位置の計算によく使用される特徴(歩行者の身長や地面に触れている点)のばらつきが大きいため、誤差が大きい。
【0005】
レーダー(RADAR)によるオブジェクト認識および距離推定の場合、レーダーが運用する電波特性上、オブジェクトを迅速に把握して分類する能力が劣るため、歩行者か車両であるかについての判断が難しく、特に、道路上の歩行者や二輪車(自転車やオートバイ)の場合、信号強度が小さいため、認識結果がより悪い傾向がある。
【0006】
近年、ライダー(LiDAR)を用いたオブジェクト認識および距離推定技術が比較的高い精度を持っており脚光を浴びているが、高出力レーザーは危険性があり、ライダーは出力を下げたレーザーに基づいて動作するしかなく、レーダーが使用する電波とは異なってレーザーは周囲環境の影響を大きく受け、ライダーセンサーの過度に高いコストが限界点として指摘されている。
【0007】
上述した背景技術は、発明者が本発明の導出のために保有していたか、本発明の導出過程で習得した技術情報であり、必ずしも本発明の出願前に一般公衆に公開された公知技術とは限らない。
【先行技術文献】
【特許文献】
【0008】
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明が解決しようとする技術的課題は、自動運転車のオブジェクト認識率を改善するための方法を提供することにある。
【課題を解決するための手段】
【0010】
前記技術的課題を解決するための本発明の一実施形態による方法は、走行中に取得された第1動画において第1オブジェクトを認識するステップと、前記第1動画において、前記認識された第1オブジェクトが所定期間消えてから再出現することを検知するステップと、前記第1オブジェクトが再出現することを検知すると、前記第1オブジェクトに関する学習データを算出するステップと、前記算出された学習データに基づく情報を用いて、動画に含まれるオブジェクトを認識する認識モデルが学習されるように制御するステップとを含む。
【0011】
前記方法において、走行中に取得された第2動画に含まれる第2オブジェクトを、前記学習された認識モデルの認識技術で認識し、第2動画において第2オブジェクトをフレーム欠落なしに認識するステップをさらに含むことができる。
【0012】
前記方法において、前記第1動画は少なくとも3つ以上のフレームを含み、前記所定期間は、少なくとも1つ以上のフレームに関する時間範囲値であることができる。
【0013】
前記方法において、前記第1動画は少なくとも3つ以上のフレームを含み、前記所定期間は、1~3フレームに関する時間範囲値であることができる。
【0014】
前記方法において、前記学習データは、前記第1オブジェクトの分類コードおよび前記第1オブジェクトが最初に認識された後に、所定期間消えてから再出現した履歴に関する情報を含むことができる。
【0015】
前記方法において、前記学習データは、前記第1オブジェクトの信頼度(confidence)に関する情報をさらに含むことができる。
【0016】
前記方法において、前記算出された学習データを所定のフィルタ基準でフィルタリングして、前記算出された学習データに基づく情報を算出するステップをさらに含むことができる。
【0017】
前記方法において、前記第1動画は、複数のフレームを含む動画であり、
前記所定のフィルタ基準は、前記第1オブジェクトが第1フレームに認識された後に、第2フレームで所定期間消えてから第3フレームに再出現したときの一連のフレームの時間長に対するフィルタ基準であり、前記算出された学習データに基づく情報を算出するステップは、前記第1フレームと第3フレームとの間の時間長が基準フレーム長よりも長い場合には、前記学習データに基づく情報を算出し、前記基準フレーム長は、前記第1動画のフレームレート、前記第1動画に含まれるオブジェクトの移動速度、前記第1動画を撮影したカメラの画角、前記第1動画を撮影したカメラの角度、前記第1動画を撮影したカメラのレンズの歪率のうち少なくとも1つによって決定することができる。
【0018】
前記方法において、前記第1動画は、複数のフレームを含む動画であり、前記所定のフィルタ基準は、第1フレームに認識された後に第2フレームで所定期間消えてから第3フレームに再出現した前記第1オブジェクトの種類を区分するための区分基準であり、前記算出された学習データに基づく情報を算出するステップは、前記第1オブジェクトの種類が乗用車、トラック、バス、その他のもの(misc.)であれば、前記学習データに基づく情報を算出することができる。
【0019】
前記方法において、前記第1動画は、複数のフレームを含む動画であり、前記所定のフィルタ基準は、第1フレームに認識された後に第2フレームで所定期間消えてから第3フレームに再出現した前記第1オブジェクトのサイズを区分するためのサイズ基準であり、前記算出された学習データに基づく情報を算出するステップは、前記第1オブジェクトの高さ(height)が所定のピクセルを超えると、前記学習データに基づく情報を算出することができる。
【0020】
前記方法において、前記第1動画は、複数のフレームを含む動画であり、前記所定のフィルタ基準は、第1フレームに認識された後に第2フレームで所定期間消えてから第3フレームに再出現した前記第1オブジェクトのサイズを区分するためのサイズ基準であり、前記算出された学習データに基づく情報を算出するステップは、前記第1オブジェクトの幅(width)が所定のピクセルを超えると、前記学習データに基づく情報を算出することができる。
【0021】
前記方法において、前記算出された学習データに基づく情報は、前記算出された学習データに対して能動学習(active learning)が適用された情報であることができる。
【0022】
前記方法において、前記算出された学習データに基づく情報は、ユーザの入力を通じて前記学習データに含まれるオブジェクトの種類がラベリングされた情報であることができる。
【0023】
前記技術的課題を解決するための本発明の他の実施形態による装置は、自動運転車のオブジェクト認識率の改善装置において、少なくとも1つのプログラムが保存されたメモリと、前記少なくとも1つのプログラムを実行することによって演算を実行するプロセッサとを含み、前記プロセッサは、走行中に取得された第1動画で第1オブジェクトを認識し、前記第1動画で前記認識された第1オブジェクトが所定期間消えたから再出現することを検知し、前記第1オブジェクトが再出現することを検知すると、前記第1オブジェクトに関する学習データを算出し、前記算出された学習データに基づく情報を用いて動画に含まれるオブジェクトを認識する認識モデルが学習されるように制御する。
【0024】
本発明の一実施形態は、前記方法を実行するためのプログラムを保存しているコンピュータで読み取り可能な記録媒体を提供することができる。
【発明の効果】
【0025】
本発明によれば、カメラで走行中の動画を取得して道路上のオブジェクトを認識する方式で動作する自動運転車のオブジェクト認識率を大幅に改善することができる。
【図面の簡単な説明】
【0026】
【
図1】
図1は、一実施形態による自動運転方式を説明するための図である。
【
図2】
図2は、一実施形態による自動運転方式を説明するための図である。
【
図3】
図3は、一実施形態による自動運転方式を説明するための図である。
【
図4A】
図4Aは、一実施形態による車両の外部を撮影するカメラに関する図である。
【
図4B】
図4Bは、一実施形態による車両の外部を撮影するカメラに関する図である。
【
図5】
図5は、一実施形態によるオブジェクト認識方法を説明するフローチャートである。
【
図6】
図6は、本発明の一実施形態により、自動運転車のオブジェクト認識率を改善する方法を概念的に説明するための図である。
【
図7A】
図7Aは、本発明の一実施形態による、オブジェクト認識率の改善装置で行われるフィルタリングプロセスを説明するための図である。
【
図7B】
図7Bは、本発明の一実施形態による、オブジェクト認識率の改善装置で行われるフィルタリングプロセスを説明するための図である。
【
図7C】
図7Cは、本発明の一実施形態による、オブジェクト認識率の改善装置で行われるフィルタリングプロセスを説明するための図である。
【
図8】
図8は、本発明の他の実施形態により、自動運転車のオブジェクト認識率の改善のために能動学習が適用される過程を説明するための図である。
【
図9】
図9は、本発明によるオブジェクト認識率の改善方法の一例をフローチャートで示す図である。
【
図10】
図10は、本発明の他の実施形態によるオブジェクト認識率の改善方法を説明するための図である。
【
図11】
図11は、
図10で説明した実施形態によるオブジェクト認識率の改善方法をフローチャートで示す図である。
【
図12】
図12は、一実施形態によるオブジェクト認識率の改善装置のブロック図である。
【発明を実施するための形態】
【0027】
本発明は、様々な変換を加えることができ、様々な実施形態を有することができるので、特定の実施形態を図面に例示し、詳細な説明に詳しく説明する。本発明の効果および特徴、そして、それらを達成する方法は、図面と共に詳細に後述される実施形態を参照することによって明らかになるであろう。しかしながら、本発明は、以下に開示される実施形態に限定されず、様々な形態で実現することができる。
【0028】
以下、添付の図面を参照して本発明の実施形態を詳細に説明するが、図面を参照して説明するとき、同一または対応する構成要素は同一の図面符号を付与し、これに対する重複する説明は省略する。
【0029】
以下の実施形態では、「第1」、「第2」などの用語は限定的な意味ではなく、ある構成要素を他の構成要素と区別する目的で使用されている。
【0030】
以下の実施形態では、単数の表現は、文脈上明らかに別段の意味を持たない限り、複数の表現を含む。
【0031】
以下の実施形態では、「含む」または「有する」などの用語は、明細書に記載された特徴、または構成要素が存在することを意味するものであり、1つ以上の他の特徴をまたは構成要素が加わる可能性を予め排除するものではない。
【0032】
ある実施形態の他の実現が可能な場合、特定のプロセス順序は、記載された順序とは異なる方法で実行され得る。例えば、連続して説明される2つのプロセスは実質的に同時に実行され得、記載された順序とは逆の順序で進むこともできる。
【0033】
図1~
図3は、一実施形態による自動運転方式を説明するための図である。
【0034】
図1を参照すると、本発明の一実施形態による自動運転装置は、車両に搭載されて自動運転車10を実現することができる。自動運転車10に搭載される自動運転装置は、周辺の状況情報を収集するための様々なセンサを含むことができる。一例として、自動運転装置は、自動運転車10の前面に取り付けられたイメージセンサおよび/またはイベントセンサを介して、前方で走行中の先行車両20の動きを検知することができる。自動運転装置は、自動運転車10の前面はもちろん、隣の車路で走行中の他の走行車両30と、自動運転車10周辺の歩行者などを検知するためのセンサをさらに含むことができる。
【0035】
自動運転車周辺の状況情報を収集するためのセンサのうちの少なくとも1つは、
図1に示すように所定の画角(FoV)を有することができる。一例として、自動運転車10の前面に取り付けられたセンサが
図1に示すような画角FoVを有する場合、センサの中央で検出される情報が比較的高い重要度を有することができる。これは、センサの中央で検出される情報に、先行車両20の動きに対応する情報がほとんど含まれているためである。
【0036】
自動運転装置は、自動運転車10のセンサが収集した情報をリアルタイムで処理して自動運転車10の動きを制御する一方、センサが収集した情報のうち少なくとも一部はメモリ装置に保存することができる。
【0037】
図2を参照すると、自動運転装置40は、センサ部41、プロセッサ46、メモリシステム47、車体制御モジュール48などを含むことができる。センサ部41は複数のセンサ42~45を含み、複数のセンサ42~45はイメージセンサ、イベントセンサ、照度センサ、GPS装置、加速度センサなどを含むことができる。
【0038】
センサ42~45が収集したデータはプロセッサ46に伝達され得る。プロセッサ46は、センサ42~45が収集したデータをメモリシステム47に保存し、センサ42~45が収集したデータに基づいて車体制御モジュール48を制御して車両の動きを決めることができる。メモリシステム47は、2つ以上のメモリ装置と、メモリ装置を制御するためのシステムコントローラとを含むことができる。メモリ装置のそれぞれは、1つの半導体チップとして提供され得る。
【0039】
メモリシステム47のシステムコントローラの他に、メモリシステム47に含まれる各メモリ装置はメモリコントローラを含むことができ、メモリコントローラはニューラルネットワークなどの人工知能(AI)演算回路を含むことができる。メモリコントローラは、センサ42~45またはプロセッサ46から受信したデータに所定の重みを付けて演算データを生成し、演算データをメモリチップに保存することができる。
【0040】
図3は、自動運転装置が搭載された自動運転車のセンサが取得した動画データの一例を示す図である。
図3を参照すると、動画データ50は、自動運転車の前面に取り付けられたセンサが取得したデータであり得る。したがって、動画データ50には、自動運転車の前面部51、自動運転車と同じ車路にある先行車両52、自動運転車周辺の走行車両53、非関心領域54などが含まれ得る。
【0041】
図3に示す実施形態による動画データ50において、自動運転車の前面部51と非関心領域54が現れる領域のデータは自動運転車の走行に影響を及ぼす可能性がほとんどないデータであり得る。言い換えれば、自動運転車の前面部51と非関心領域54は、比較的重要度の低いデータと見なされ得る。
【0042】
一方、先行車両52との距離、および走行車両53の車路変更の動きなどは、自動運転車の安全な走行において非常に重要な要素であり得る。したがって、動画データ50で先行車両52および走行車両53などが含まれる領域のデータは、自動運転車の走行において比較的高い重要度を有することができる。
【0043】
自動運転装置のメモリ装置は、センサから受信した動画データ50の領域ごとに異なる重みを付けて保存することができる。一例として、先行車両52と走行車両53などが含まれる領域のデータには高い重みを付け、自動運転車の前面部51と非関心領域54が現れる領域のデータには、低い重みを付けることができる。
【0044】
図4Aおよび
図4Bは、一実施形態による車両の外部を撮影するカメラに関する図である。
【0045】
カメラは車両に搭載され、車両の外部を撮影することができる。カメラは車両の前方、側方、後方などを撮影することができる。本発明によるオブジェクト認識率の改善装置は、カメラで撮影された複数の動画を取得することができる。カメラで撮影された複数の動画には、複数のオブジェクトが含まれ得る。
【0046】
オブジェクトに関する情報は、オブジェクト種類情報およびオブジェクト属性情報を含む。ここで、オブジェクト種類情報は、オブジェクトの種類を示すインデックス情報であり、大きな範囲のグループと細部範囲のクラスで構成される。そして、オブジェクト属性情報は、オブジェクトの現在の状態に関する属性情報を示し、動き情報、回転情報、交通情報、色情報、可視性情報を含む。
【0047】
一実施形態では、オブジェクト種類情報に含まれるグループおよびクラスは、以下の表1の通りであるが、これに限定されない。
【0048】
【0049】
また、オブジェクト属性情報に含まれる情報には、動き、回転、交通情報、色、可視性情報を含むことができる。
【0050】
動き情報は、オブジェクトの動き情報を示し、停車、駐車、移動などとして定義することができる。車両の場合、停車、駐車、移動はオブジェクト属性情報として決定され得、歩行者の場合は移動、停止、不明はオブジェクト属性情報として決定され得、交通信号機などの動けないオブジェクトの場合はデフォルト値である停止がオブジェクト属性情報として決定され得る。
【0051】
回転情報は、オブジェクトの回転情報を表し、正面、背面、水平(horizontal)、垂直(vertical)、側面などとして定義することができる。車両の場合、正面、背面、側面にオブジェクト属性情報を定めることができ、水平方向または垂直方向の交通信号機はそれぞれ水平または垂直にオブジェクト属性情報を決定することができる。
【0052】
交通情報は、オブジェクトの交通情報を意味し、道路標識の指示、注意、規制、補助標識などと定義することができる。色はオブジェクトの色情報を意味し、オブジェクトの色、交通信号機、道路標識の色を表すことができる。
【0053】
図4Aを参照すると、オブジェクト411は歩行者であり得る。画像410は所定のサイズを有することができる。複数の画像410に同じオブジェクト411を含めることができるが、車両が道路に沿って走行するにつれて、車両とオブジェクト411との相対位置は変化し続け、また、オブジェクト411も時間が経過するにつれて移動することにより、同じオブジェクト411であっても各画像内での位置が異なるようになる。
【0054】
各画像で同じオブジェクトが何であるかを決定するために画像全体を使用する場合、データ転送量と演算量が大幅に増加する。従って、車両に搭載される装置でのエッジコンピューティングによる処理は困難であり、リアルタイム分析も困難である。
【0055】
図4Bを参照すると、画像420に含まれるバウンディングボックス421が示されている。バウンディングボックス(Bounding box)は、オブジェクト(object)のメタデータであり、バウンディングボックス情報には、オブジェクト種類情報(グループ、クラスなど)、画像420上の位置情報、サイズ情報などが含まれ得る。
【0056】
図4Bを参照すると、バウンディングボックス情報は、当該オブジェクト411が歩行者クラスに対応するという情報と、オブジェクト411の左上の頂点が画像上の(x,y)に位置するという情報、オブジェクト411のサイズがw×hという情報、そしてオブジェクト411が移動中という現在の状態情報(すなわち、動き情報)を含むことができる。
【0057】
図5は、一実施形態によるオブジェクト認識方法を説明するフローチャートである。
【0058】
オブジェクト認識率の改善装置は、カメラから取得した動画をフレームごとに分離して複数のフレームを取得することができる。複数のフレームは、前のフレーム510および現在のフレーム520を含むことができる。
【0059】
オブジェクト認識率の改善装置は、前のフレーム510で第1歩行者オブジェクト511を認識することができる。
【0060】
一実施形態では、オブジェクト認識率の改善装置は、フレームを同じサイズのグリッドに分けて、各グリッドについて、グリッドの中央を中心に所定の形態で指定された境界ボックスの数を予測し、それに基づいて信頼度を計算することができる。オブジェクト認識率の改善装置は、フレームにオブジェクトが含まれているか、または、背景のみが存在するかを決定し、高いオブジェクト信頼度を有する位置を選択してオブジェクトカテゴリを決定することによって、結果的にオブジェクトを認識することができる。ただし、本開示におけるオブジェクトを認識する方法はこれに限定されない。
【0061】
オブジェクト認識率の改善装置は、前のフレーム510で認識された第1歩行者オブジェクト511の第1位置情報を取得することができる。
図4Aおよび
図4Bで上述したように、第1位置情報は、前のフレーム510上の第1歩行者オブジェクト511に対応するバウンディングボックスのいずれかの頂点(例えば、左上の頂点)の座標情報、横長・縦長情報を含むことができる。
【0062】
また、オブジェクト認識率の改善装置は、現在のフレーム520で認識された第2歩行者オブジェクト521の第2位置情報を取得することができる。
【0063】
オブジェクト認識率の改善装置は、前のフレーム510で認識された第1歩行者オブジェクト511の第1位置情報と、現在のフレーム520で認識された第2歩行者オブジェクト521の第2位置情報との類似度を算出することができる。
【0064】
図5を参照すると、オブジェクト認識率の改善装置は、第1位置情報および第2位置情報を用いて、第1歩行者オブジェクト511と第2歩行者オブジェクト521との積集合および和集合を算出することができる。オブジェクト認識率の改善装置は、和集合領域に対する積集合領域の値を算出し、算出された値が閾値以上である場合、第1歩行者オブジェクト511と第2歩行者オブジェクト521が同じ歩行者オブジェクトであると決定することができる。
【0065】
しかしながら、オブジェクト間の同一性を判別する方法は、上述の方法に限定されない。
【0066】
図6は、本発明の一実施形態により、自動運転車のオブジェクト認識率を改善する方法を概念的に説明するための図である。
【0067】
図6を参照して本発明の一実施形態を要約すると、本発明の一実施形態は、生データ610を第1モデル620および第2モデル630を介して入力した時、各モデルで算出される結果データを偏差データ算出モジュール640が受信して処理することにより、偏差データ645が算出されるようにし、算出された偏差データ645をウィークポイント分析モジュール650が受信して分析するようにすることにより、ウィークポイントを把握することと理解され得る。
【0068】
より具体的には、本発明において生データ610は、自動運転車に搭載されたカメラモジュールが収集した動画を意味する。特に、生データ610は、カメラモジュールで生成された後に前処理(pre-processing)が行われていない動画(video)データであり、複数のフレームで構成されており、フレームレートは1秒あたり60フレームとすることができるが、これに限定されない。
【0069】
第1モデル620は、自動運転車に搭載されているモデルであり、生データ610を入力データとして受信し、生データ610に含まれるオブジェクトを認識した結果を出力データとして出力するモデルを意味する。
【0070】
第2モデル630は、自動運転車と通信可能なサーバに含まれるモデルであり、第1モデル620と同様に生データ610を入力データとして受信し、生データ610に含まれるオブジェクトを認識した結果を出力データとして出力するモデルを意味する。自動運転車のカメラモジュールは、通信モジュールを介して収集された生データ610が第1モデル620だけでなく第2モデル630にも送信されて処理されるように制御される。
【0071】
第1モデル620および第2モデル630から出力される出力データは、動画の各フレームに含まれる車両、歩行者などの相対位置、サイズ、方向に関する情報のうちの少なくとも1つに関する情報を含むことができる。
【0072】
本発明において、第1モデル620は、自動運転車に搭載された特性上、第2モデル630と比較したとき、比較的制限されたリソースを有し、制限された環境で動作することになる。上記のようなモデルスケール(scale)の違いにより、生データ610を第2モデル630に入力した時に動画で認識されたオブジェクトの数と種類に関する情報は、生データ610を第1モデル620に入力した時に認識されたオブジェクトの数および種類に関する情報よりも改善された情報になることができる。
【0073】
【0074】
【0075】
表2および表3は、第1モデル620および第2モデル630の性能を数値化して示した一例である。より具体的に、表2は第1モデル620としてYoloV4-CSPを採用した時のオブジェクト認識率を示し、表3は第2モデル630としてYoloV4-P7を採用した時のオブジェクト認識率を示している。表2と表3を比較すると、生データ610に含まれるオブジェクトとして、乗用車(car)、歩行者(pedestrian)、トラック(truck)、バス(bus)、二輪車(two wheeler)及びその他のもの(misc:miscellaneous)の認識率において、YoloV4-CSPよりYoloV4-P7の方が全体的に優れていることが分かる。
【0076】
表2と表3は、第1モデル620および第2モデル630の性能を数値化して例示的に示したものであるので、本発明における第1モデル620および第2モデル630は表2と表3に記載したYoloV4-CSP、YoloV4-P7にそれぞれ限定されない。
【0077】
偏差データ算出モジュール640は、第1モデル620および第2モデル630の出力データを分析して偏差データ645を算出することができる。偏差データ645は、生データ610を第1モデル620に入力した結果と生データ610を第2モデル630に入力した結果との偏差に関するデータを意味し、より具体的には、同じフレームごとに比較して算出され得る。例えば、生データ610が10フレームで構成された動画データである場合、偏差データ645は、生データ610の第1フレームを第1モデル620に入力した結果および生データ610の第1フレームを第2モデル630に入力した結果を比較して偏差を算出した結果であり得る。
【0078】
偏差データ算出モジュール640は、生データ610を構成するフレームごとに、相互間のバウンディングボックス(bounding box)のIoU値(Intersection over Union Value)を計算して、最大のIoUを有するバウンディングボックス同士をマッチングし、マッチングした結果、第2モデル630の出力データのみに検知されたバウンディングボックスを、ウィークポイント対象と判断してウィークポイント分析モジュールに伝達することができる。偏差データ算出モジュール640がIoU値を基準にフレーム間にバウンディングボックスをマッチングして偏差データを算出する方法は、
図5で既に説明しているので省略する。
【0079】
以下では、生データ610を第1モデル620に入力して出力されたデータを第1認識結果、生データ610を第2モデル630に入力して出力されたデータを第2認識結果と呼ぶ。
【0080】
ウィークポイント分析モジュール650は、偏差データ算出モジュール640から偏差データを受信してウィークポイントを分析する。ここで、ウィークポイントは、自動運転車に装着されており、第2モデル630に比べて比較的低い演算量を有するしかない第1モデル620の限界性能によって、第2モデル630では検出されたオブジェクトが第1モデル620では検出されなかった場合、その検出されなかった情報に関するデータを意味する。例えば、第2モデル630が生データ610を受信して動画の中で乗用車1台、バス1台をオブジェクトとして認識し、第1モデル620が生データ610を受信して動画の中で乗用車1台をオブジェクトとして認識した場合、ウィークポイントは、第1モデル620が認識(検知)できなかったバス1台に関する情報となり得る。
【0081】
ウィークポイント分析モジュール650によって分析されたウィークポイントは、第1モデル620のオブジェクト認識性能を向上させるための学習データとして使用することができる。また、ウィークポイントは、第1モデル620の学習データとして使用されるために一連の前処理プロセス(または、フィルタリングプロセス)によって前処理され得、これについては後述する。
【0082】
図6において、第1モデル620、偏差データ算出モジュール640、ウィークポイント分析モジュール650は、本発明の一実施形態による自動運転車のオブジェクト認識率の改善装置に物理的または論理的に含まれる形態で実現できる。また、
図6において、第1モデル620、第2モデル630、偏差データ算出モジュール640、ウィークポイント分析モジュール650は、本発明が実際に実現される場合には他の名称で呼ぶことができ、いずれかのモジュールが他方に統合される形態で実現することもできる。
【0083】
図7A~
図7Cは、本発明の一実施形態による、オブジェクト認識率の改善装置で行われるフィルタリングプロセスを説明するための図である。
【0084】
まず、
図7Aは、フィルタリングされる前の偏差データを示しており、
図7Aには、第1オブジェクト710a、第2オブジェクト720a、第3オブジェクト730a、第4オブジェクト740a、第5オブジェクト750aがオブジェクトとして認識されたものが図式的に表現されている。より具体的には、
図7Aに示す5つのオブジェクトは、第1認識結果では認識されなかったが、第2認識結果では認識されて偏差データに加工され、ウィークポイント分析モジュール650に伝達されたものと理解することができ、ウィークポイント分析モジュール650は、所定のフィルタ基準でフィルタリングを行い、偏差データの中で意味のあるオブジェクト情報のみを残すことができる。
【0085】
一例として、所定のフィルタ基準は偏差データに含まれるバウンディングボックスのサイズに対するサイズ基準であり、ウィークポイント分析モジュール650は偏差データに基づく情報であり、サイズ基準よりも小さいサイズのバウンディングボックスを除去することができる。ここで、サイズ基準は、高さ(height)が120ピクセル未満であるか、幅(width)が120ピクセル未満であるバウンディングボックスを除去するための基準であることができるが、上述の値は例示的な値であるため、実施形態により高さまたは幅の基準値は異なる場合がある。
【0086】
他の一例として、所定のフィルタ基準は偏差データに含まれるバウンディングボックスのオブジェクトの種類を区分するための区分基準であり、ウィークポイント分析モジュール650は偏差データに基づく情報であり、区分基準に応じて特定種類のオブジェクトのバウンディングボックスを削除することができる。ここで、特定種類とは、バウンディングボックスの上段に記載されたクラス(class)を意味し、
図7Aの5つのバウンディングボックスには、合計4種類のクラス(乗用車、トラック、歩行者、二輪車)が示されている。
【0087】
ウィークポイント分析モジュール650に設定されているフィルタ基準として高さ(height)が120ピクセル未満であるか、幅(width)が120ピクセル未満のバウンディングボックスを除去するためのサイズ基準と、歩行者や二輪車に対するバウンディングボックスを除去のための区分基準が同時に設定されている場合、
図7Aにおいて、第2オブジェクト720a、第3オブジェクト730a、第4オブジェクト740aは除去され、第1オブジェクト710aおよび第5オブジェクト750aだけが残る。
【0088】
図7Bは、
図7Aと同様にフィルタリングされる前の偏差データを示しており、
図7Bには、第6オブジェクト710bがオブジェクトとして認識されたことが図式的に示されている。
【0089】
より具体的には、
図7Bに示す第6オブジェクト710bは、第1認識結果では認識されなかったが、第2認識結果では認識されて偏差データに加工され、ウィークポイント分析モジュール650に伝達されたものと理解され得、ウィークポイント分析モジュール650は、所定のフィルタ基準でフィルタリングを行い、偏差データの中で意味のあるオブジェクト情報のみを残すことができる。
【0090】
ただし、
図7Bにおいて、第6オブジェクト710bは、1つのオブジェクトではなく、第7オブジェクト720bおよび第8オブジェクト730bが偶然重なる過程で1つのオブジェクトと誤認識されたものであり、形態上の特性上、非常に低い信頼度(confidence)である0.3396が記録されていることが分かる。
【0091】
一例として、
図7Bで所定のフィルタ基準は偏差データに含まれるバウンディングボックスの信頼度に対する信頼度基準であり、ウィークポイント分析モジュール650は偏差データに基づく情報であり、信頼度基準よりも低い信頼度のバウンディングボックスを除去することができる。ここで、信頼度基準は0.6とすることができるが、実施形態によって変わってもよい。
【0092】
図7Bでは、ウィークポイント分析モジュール650は、信頼度基準に従って第6オブジェクト710bのバウンディングボックスを除去することができ、第6オブジェクト710bのバウンディングボックスが除去された後は、
図7Bのフレームには残りのバウンディングボックスがないため、第1認識結果および第2認識結果は実質的に同じと見なすことができる。第1認識結果と第2認識結果が実質的に同じであるということは、第1モデル620が第6オブジェクト710bを学習する必要がないことを意味する。
【0093】
図7Cは、
図7Aおよび
図7Bと同様にフィルタリングされる前の偏差データを示しており、
図7Cには、第9オブジェクト710c、第10オブジェクト720c、第11オブジェクト730cがオブジェクトとして認識されたことが図式的に示されている。
【0094】
より具体的に、
図7Cに示すオブジェクトのうち、第10オブジェクト720cおよび第11オブジェクト730cは、第1認識結果および第2認識結果の両方にオブジェクトとして認識された車両であり、バウンディングボックスが除去されているが、第9オブジェクト710cは、道路で走行中の自動運転車の走行に影響を及ぼす可能性がないオブジェクトであるにもかかわらず、トラック(truck)というクラスに分類されてバウンディングボックスが適用されていることが、
図7Cに示されている。
【0095】
通常、より高い認識性能を有する第2モデル630が認識するオブジェクトの数が多いが、特定の場合、第1モデル620がオブジェクトではない対象をオブジェクトとして誤認識するか、第2モデル630が誤動作することによって、オブジェクトでないため第1モデル620に認識されていないオブジェクトを正常なオブジェクトと誤認識する場合が発生することがあり、ウィークポイント分析モジュール650は、所定のフィルタ基準に沿って、第9オブジェクト710cが、道路にのみ存在するオブジェクトが実際の道路ではない場所に存在すると判断して、当該バウンディングボックスを削除することができる。
図7Cにおいて、第9オブジェクト710cのバウンディングボックスが除去されると、第1認識結果と第2認識結果との偏差が実質的になくなるので、第1モデル620が学習するデータも当然なくなる。
【0096】
図8は、本発明の他の実施形態により、自動運転車のオブジェクト認識率を改善させるために能動学習が適用される過程を説明するための図である。
【0097】
本発明によるオブジェクト認識率の改善装置は、
図8に示す分類モジュール820、ラベリングデータ収集モジュール840、学習モデル850、予測モデル860を物理的または論理的な形態で含むことができる。
図8において、学習モデル850は入力されるデータを介して学習されているモデル、予測モデル860は学習が完了して試験データが入力されると、それに応じた結果データを出力できる予測性モデル(predictive model)をそれぞれ意味するとみなされ、学習モデル850は学習を通じて認識率が改善されるモデルであるため、結局、自動運転車に搭載される第1モデル620を意味する。
【0098】
通常、機械学習を行うために生データを前処理する過程の必須過程であるデータのラベリング(labeling)は、データの特徴が正確に区分されないため人間(human)によって行われるが、本発明によるオブジェクト認識率の改善装置は、オートラベリング(auto-labeling)を一部含む能動学習(active learning)によるアクティブラベリング(active learning)を行うことにより、学習モデル850が生データ810の特徴を迅速かつ効率的に学習できるように誘導することになる。
【0099】
図8において、生データ810は、
図6と同様に、自動運転車が走行中にカメラで撮影して収集した動画を意味する。
【0100】
生データ810は、分類モジュール820によって自動的にラベリングされ得る。具体的には、生データ810が複数のフレームからなる動画である場合、分類モジュール820は、各フレームにオブジェクトを自動的に認識し、特定フレームのaオブジェクトはトラック、bオブジェクトは歩行者、cオブジェクトは二輪車などとオブジェクトのクラスを自動的に分類することができる。
【0101】
分類モジュール820は、生データ810を分析しながら、内部の分類アルゴリズムを通じて分類が難しいと判断したオブジェクトに対しては自動的にラベリングを行わず、ここで分類が難しいと判断されたオブジェクトは、
図6~
図7Cで説明したウィークポイントになることができる。すなわち、フィルタ基準によってフィルタリングされてからも、第1モデル620と第2モデル630の結果の差だと判断された
図7Aの第1オブジェクト710aおよび第5オブジェクト750aは、分類モジュール820によって分類が難しいと判断されたオブジェクトになり得る。分類が難しいと判断されたオブジェクトに関する情報は、分類モジュール820によって自動的に収集され、高度な分類基準を習得したユーザ830に伝達され、ユーザ830はデータのラベリングが完了した後、ラベリングデータ835をラベリングデータ収集モジュール840に伝達することになる。
【0102】
ラベリングデータ収集モジュール840は、分類モジュール820から自動的にラベリングされたデータとユーザ830から受動的でラベリングされたデータとを全て伝達され、学習モデル850がラベリングされたデータを学習するように制御する。学習モデル850において、不規則性によって学習されないデータは、再び分類モジュール820に伝達され、分類モジュール820またはユーザ830によってラベリングされて学習モデル850に再入力される過程を繰り返し、最終的に生データ810のオブジェクト認識の学習が完了したモデルは予測モデル860となり、新たに入力される生データ810に含まれるオブジェクトを正確に認識できるようになる。
【0103】
上記のように、選別された一部のデータに対してのみ高度な分類基準を習得したユーザ830からラベリングされ、残りのデータに対しては自動的にラベリングを行う能動学習を適用することにより、本発明による学習モデル850は、迅速かつ正確に学習データ(動画のオブジェクトに関する情報)を学習することができ、分類モジュール820においては、
図7A~
図7Cで説明したフィルタリング基準が適用されることによって、ユーザ830が受動的に行うべきラベリングの作業量を大幅に減らすことができる。すなわち、本発明によれば、従来のラベリング作業によって発生する過剰なコスト(時間的コスト、金銭的コスト)を最小化することができる。
【0104】
図9は、本発明によるオブジェクト認識率の改善方法の一例をフローチャートで示す図である。
【0105】
図9による方法は、上述したオブジェクト認識率の改善装置によって実現することができるので、以下では、
図6~
図8を参照して説明するが、
図6~
図8で説明した内容と重複する説明は省略する。
【0106】
オブジェクト認識率の改善装置は、走行中に取得された第1動画に含まれるオブジェクトを第1認識技術で認識して第1認識結果を算出することができる(S910)。
【0107】
オブジェクト認識率の改善装置は、第2認識技術で第1動画に含まれるオブジェクトを認識した第2認識結果を受信することができる(S930)。
【0108】
オブジェクト認識率の改善装置は、第1認識結果と第2認識結果との偏差データを算出することができる(S950)。
【0109】
オブジェクト認識率の改善装置は、S950で算出した偏差データに基づく情報を用いて、第1認識技術で動画に含まれるオブジェクトを認識する第1モデルが学習されるように制御することができる(S970)。
【0110】
図10は、本発明の他の実施形態によるオブジェクト認識率の改善方法を説明するための図である。
【0111】
本任意の一実施形態は、
図6~
図9で説明したオブジェクト認識率の改善方法と同じプロセスを一部共有する。走行中に取得された動画を分析してオブジェクトを認識する構成は同じであるが、同じ動画を異なる認識技術を適用してオブジェクトを認識して偏差データを算出した
図6の方法と異なり、本実施形態では1つの認識技術で動画に含まれるオブジェクトを認識する。上述した第1モデル620、第2モデル630と区分するために、本実施形態において動画のオブジェクトを認識するモデルを認識モデルと呼ぶ。
【0112】
図10を参照すると、合計4つのフレームが示されており、フレームごとに少なくとも1つ以上のオブジェクトがフレームの特定の位置に配置されている。より具体的には、
図10においてi番目のフレーム、i+1番目のフレーム、i+3番目のフレームには上段と下段にそれぞれオブジェクトが存在することが認識されたが、i+2番目のフレームでは下段のオブジェクトが一時的に消えて上段にのみオブジェクトが存在すると認識されていることが分かる。本実施形態によるオブジェクト認識率の改善装置は、
図10のように特定のオブジェクトに対してトラッキング(tracking)が行われている過程で、突然特定のフレームでオブジェクトの消失が発生してから、短時間内にオブジェクトが認識された場合をウィークポイントと見なして認識モデルを学習させる学習データに変換することができる。
【0113】
すなわち、本実施形態は、トラッキングが正常に行われたオブジェクトが特定フレームで消えてから再出現した場合、自動運転車のオブジェクト認識モジュールの性能限界が発生したものであり、オブジェクト認識モジュールに対する追加的な学習を通じてオブジェクト認識性能を向上のための実施形態として理解することができる。
【0114】
【0115】
表4は、
図6~
図9を介して説明した実施形態と
図10で説明する実施形態との違いを記載した表である。表4を参照すると、本発明の両方の実施形態は、いずれも自動運転車に搭載されるオブジェクト認識モジュールの性能上の限界(ウィークポイント)が発生する点を把握し、その把握された性能上の限界を補完するための学習データを生成してオブジェクト認識モジュール(認識モデル)を迅速かつ効率的に学習するための目的は一致するが、それを実現するための構成上の違いがいくつか存在することが分かる。
【0116】
図11は、
図10で説明した実施形態によるオブジェクト認識率の改善方法をフローチャートで示す図である。
【0117】
まず、オブジェクト認識率の改善装置は、走行中に取得された第1動画で第1オブジェクトを認識することができる(S1110)。ここで、オブジェクト認識率の改善装置が第1動画で第1オブジェクトを認識したということは、
図10に示すように、第1動画を構成するフレームの中から第1オブジェクトを認識して第1オブジェクトに対するサイズおよび種類(class)に関する情報を把握したことを意味する。
【0118】
そして、オブジェクト認識率の改善装置は、第1動画で第1オブジェクトが所定期間消えてから再出現するか否かを検知することができる(S1130)。
【0119】
ここで、所定期間は、少なくとも1つ以上のフレームの時間範囲値であってもよい。収集された第1動画フレームレートが30フレーム/秒である場合、所定期間は0秒から1/30秒に対応する時間範囲値であってもよい。
【0120】
他の例として、所定期間は1~3フレームの時間範囲値であってもよく、
図10で所定期間は、1フレームの時間範囲値であることが分かる。所定期間が3フレームの時間範囲値であれば、i番目のフレームでトラッキングされていた第1オブジェクトがi+1番目のフレームで消えてからi+5番目のフレームで再出現すると、所定期間消えていたと見なすことができる。
【0121】
オブジェクト認識率の改善装置は、第1オブジェクトが再出現したことを検知したことをもとに、第1オブジェクトに関する学習データを算出することができる(S1150)。第1オブジェクトが消えてから再出現しないか、再出現しても所定期間が経過した後に再出現する場合には、オブジェクト認識率の改善装置は条件を満たしていないとみなし、第1オブジェクトに関する学習データを算出しない。特に、第1オブジェクトが消えてから所定期間より長い時間が経過した後に再出現した場合は、認識モデルが認識性能の限界によって第1オブジェクトを認識できなかったのではなく、他のオブジェクトによって第1オブジェクトが遮蔽され認識されなかった可能性が高いため、学習データを算出する条件が満たされたとはみなせない。
【0122】
S1150のステップで学習データは、第1オブジェクトのサイズ、位置、分類コード(class)、第1オブジェクトが最初に認識された後に所定期間消えてから再出現した履歴(history)に関する情報、第1オブジェクトの信頼度(confidence)に関する情報のうち少なくとも1つを含むことができる。
【0123】
オブジェクト認識率の改善装置は、S1150のステップで算出した学習データに基づく情報を用いて、走行中に取得された動画でオブジェクトを認識する自動運転車の認識モデルが学習されるように制御することができる(S1170)。
【0124】
S1170のステップで学習データに基づく情報とは、S1150のステップで算出された学習データを認識モデルに入力されるように少なくとも1回以上さらに加工した情報を意味し、一例として、学習データを所定のフィルタ基準でフィルタリングした情報あることができる。
【0125】
任意の一実施形態として、所定のフィルタ基準は、第1オブジェクトが第1フレームに認識された後に第2フレームで消えてから第3フレームに再出現した時の一連のフレームの時間長に対するフィルタ基準であってもよく、オブジェクト認識率の改善装置は、このフィルタ基準を介して、第1フレームと第3フレームとの間の時間長が10フレームの長さよりも長い場合にのみ、学習データに基づく情報が算出されるようにすることができる。このフィルタ基準は、複数のフレームを介して十分に長くトラッキングされたオブジェクトのみを選択的に学習することを意味する。
【0126】
この任意の一実施形態では、10フレームの長さは基準フレーム長と呼ぶことができ、可変値とすることができる。例えば、基準フレーム長は、第1動画のフレームレート、第1動画に含まれる第1オブジェクトの移動速度、第1動画を撮影したカメラの画角、第1動画を撮影したカメラの角度、第1動画を撮影したカメラのレンズの歪率のうち少なくとも1つによって決定される値であってもよい。すなわち、基準フレーム長は実施形態によって10フレームより短くてもよく、長くてもよい。本発明は、第1オブジェクトの速度、カメラの物理的、論理的状態を考慮するので、従来よりも正確なオブジェクト認識ができる。
【0127】
他の任意の一実施形態として、所定のフィルタ基準は、第1フレームに認識された後に第2フレームで所定期間消えてから第3フレームに再出現した前記第1オブジェクトの種類を区分するための区分基準であってもよく、オブジェクト認識率の改善装置は、この区分基準を通じて、第1オブジェクトの種類(class)が乗用車、トラック、バス、その他のもの(misc.)である場合にのみ、学習データに基づく情報が算出されるようにすることができる。本フィルタ基準とは、自動運転において高い重要度を有するオブジェクトである乗用車、トラック、バス、その他のものを重点的に学習することを意味する。
【0128】
他の任意の一実施形態として、所定のフィルタ基準は、第1フレームに認識された後に第2フレームで所定期間消えてから、第3フレームに再出現した前記第1オブジェクトのサイズを区分するためのサイズ基準であってもよく、オブジェクト認識率の改善装置は、このサイズ基準を介して、第1オブジェクトの高さ(height)または幅(width)が所定のピクセルを超えると、学習データに基づく情報が算出されるようにすることができる。このフィルタ基準は、十分に大きいサイズの第1オブジェクトに対してのみ認識モデルを学習させることを意味する。
【0129】
表4で比較して説明したように、オブジェクトが消えてから再出現した時、オブジェクトが消えていた区間でオブジェクトが完全に消えなかったにもかかわらず認識モデルが認識できなかったのは、認識モデルの制限された性能によるものであるため、
図8で説明した認識モデルのウィークポイントと分類することができ、同様に能動学習(active learning)を適用することができる。
【0130】
すなわち、オブジェクトの分類基準を熟知したユーザの入力を通じて学習データに含まれるオブジェクトの種類が正確にラベリングされると、ラベリングされたデータは、学習データに基づく情報としてラベリングデータ収集モジュールを介して認識モデルに入力され得る。繰り返し学習によって学習が完了した認識モデルは、第2動画を新たな試験データとして入力された時、フレーム欠落なしに第2動画の第2オブジェクトを正確に認識することができるようになる。
【0131】
図12は、一実施形態によるオブジェクト認識率の改善装置のブロック図である。
【0132】
図12を参照すると、オブジェクト認識率の改善装置1200は、通信部1210、プロセッサ1220、DB1230を含むことができる。
図12のオブジェクト認識率の改善装置1200には、実施形態に関連する構成要素のみが示されている。したがって、
図12に示す構成要素に加えて他の汎用構成要素をさらに含むことができることが当技術分野の当業者であれば理解することができる。
【0133】
通信部1210は、外部サーバまたは外部装置との有線/無線通信を可能にする1つ以上の構成要素を含むことができる。例えば、通信部1210は、近距離通信部(図示せず)、移動通信部(図示せず)、放送受信部(図示せず)のうち少なくとも1つを含むことができる。
【0134】
DB1230は、オブジェクト認識率の改善装置1200内で処理される各種データを保存するハードウェアであり、プロセッサ1220の処理および制御のためのプログラムを保存することができる。
【0135】
DB1230は、DRAM(dynamic random access memory)、SRAM(static random access memory)などのRAM(random access memory)、ROM(read-only memory)、EEPROM(electrically erasable programmable read-only memory)、CD-ROM、ブルーレイまたは他の光ディスクストレージ、HDD(hard disk drive)、SSD(solid state drive)、またはフラッシュメモリを含むことができる。
【0136】
プロセッサ1220は、オブジェクト認識率の改善装置1200の全体的な動作を制御する。例えば、プロセッサ1220は、DB1230に保存されたプログラムを実行することにより、入力部(図示せず)、ディスプレイ(図示せず)、通信部1210、DB1230などを全体的に制御することができる。プロセッサ1220は、DB1230に保存されたプログラムを実行することにより、オブジェクト認識率の改善装置1200の動作を制御することができる。
【0137】
プロセッサ1220は、
図1~
図11で上述したオブジェクト認識率の改善装置1200の動作のうち少なくとも一部を制御することができる。
【0138】
一例として、プロセッサ1220は、
図6~
図9で説明したように、自動車が走行中に取得された第1動画に含まれるオブジェクトを第1認識技術で認識して第1認識結果を算出し、第2認識技術で第1動画に含まれるオブジェクトを認識した第2認識結果を受信し、第1認識結果と前記第2認識結果との偏差データを算出し、算出された偏差データに基づく情報を用いて第1認識技術で動作する第1モデルが学習されるように制御することができる。
【0139】
他の例として、プロセッサ1220は、
図10~
図11で説明したように、走行中に取得された第1動画で第1オブジェクトを認識し、第1動画で第1オブジェクトが所定期間消えてから再出現することを検知し、第1オブジェクトが再出現することを検知すると、第1オブジェクトに関する学習データを算出し、算出された学習データに基づく情報を用いて動画に含まれるオブジェクトを認識する認識モデルが学習されるように制御することができる。
【0140】
プロセッサ1220は、ASICs(application specific integrated circuits)、DSPs(digital signal processors)、DSPDs(digital signal processing devices)、PLDs(programmable logic devices)、FPGAs(field programmable gate arrays)、コントローラ(controllers)、マイクロコントローラ(micro-controllers)、マイクロプロセッサ(microprocessors)、その他の機能の実行のための電気ユニットの少なくとも1つを用いて実現することができる。
【0141】
オブジェクト認識率の改善装置1200は、車両内に組み込まれる電子装置であってもよい。例えば、オブジェクト認識率の改善装置1200は、製造過程後にチューニング(tuning)により車両に挿入される電子装置であってもよい。
【0142】
上述した本発明による実施形態は、様々な構成要素を介してコンピュータ上で実行できるコンピュータプログラムの形態で実現することができ、そのようなコンピュータプログラムはコンピュータで読み取り可能な媒体に保存することができる。ここで、媒体には、ハードディスク、フロッピーディスク、磁気テープなどの磁気媒体、CD-ROM、DVDなどの光記録媒体、フロプティカルディスク(floptical disk)などの光磁気記録媒体(magneto-optical medium)、ROM、RAM、フラッシュメモリなどのプログラム命令を記憶して実行するように特別に構成されたハードウェア装置が含まれ得る。
【0143】
一方、前記コンピュータプログラムは、本発明のために特別に設計および構成されたものであるか、コンピュータソフトウェア分野の当業者に公知されて使用可能なものであってもよい。コンピュータプログラムの例には、コンパイラにより生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータにより実行される高級言語コードも含まれ得る。
【0144】
本発明で説明する特定の実施は一実施形態であり、いかなる方法でも本発明の範囲を限定するものではない。明細書の簡潔さのために、従来の電子構成、制御システム、ソフトウェア、前記システムの他の機能的側面の説明は省略することができる。なお、図面に示す構成要素間の連結線または連結部材は、機能的連結および/または物理的連結もしくは回路接続を例示的に示すものであり、実際の装置では代替可能またはさらなる様々な機能的連結、物理的連結、または回路接続として示され得る。さらに、「必須的な」、「重要に」などのような具体的な言及がなければ、本発明を適用するために必ずしも必要な構成要素ではない可能性がある。
【0145】
本発明の明細書(特に、特許請求の範囲において)における「上記」の用語および同様の指示用語の使用は、単数および複数の両方に対応するものであることができる。また、本発明において範囲(range)を記載した場合、前記範囲に属する個別の値を適用した発明を含むものとして(これに反する記載がない場合)、発明の詳細な説明に前記範囲を構成する各個別の値を記載したものと同じである。最後に、本発明による方法を構成するステップについて明らかに順序を記載または反する記載がない場合、前記ステップは適切な順序で行うことができる。必ずしも前記ステップの記載順序により本発明が限定されるわけではない。本発明における全ての例または例示的な用語(「例えば」、「など」)の使用は、単に本発明を詳細に説明するためのものであり、特許請求の範囲により限定されない限り、前記例または例示的な用語により本発明の範囲が限定されるわけではない。また、当業者は、様々な修正、組み合わせおよび変更が加えられた特許請求の範囲またはその均等物の範疇内で設計条件および要因に応じて構成できることを理解するであろう。