ホーム > 特許ランキング > ４２ｄｏｔ Ｉｎｃ．
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024118457
(43)【公開日】2024-08-30
(54)【発明の名称】改善された学習データ映像を生成する方法及びその装置
(51)【国際特許分類】
G06V 10/82 20220101AFI20240823BHJP
G06T 7/00 20170101ALI20240823BHJP
【ＦＩ】
G06V10/82
G06T7/00 350C
【審査請求】有
【請求項の数】12
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024022949
(22)【出願日】2024-02-19
(31)【優先権主張番号】10-2023-0022242
(32)【優先日】2023-02-20
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2023-0036897
(32)【優先日】2023-03-21
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2023-0036898
(32)【優先日】2023-03-21
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】523045180
【氏名又は名称】４２ドット・インコーポレイテッド
【氏名又は名称原語表記】４２ｄｏｔ Ｉｎｃ．
(74)【代理人】
【識別番号】100145403
【弁理士】
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(74)【代理人】
【識別番号】100161883
【弁理士】
【氏名又は名称】北出 英敏
(74)【代理人】
【識別番号】100227927
【弁理士】
【氏名又は名称】中村 拓
(72)【発明者】
【氏名】チョ，ミョンフン
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA04
5L096HA11
5L096JA16
5L096KA04
(57)【要約】 （修正有）
【課題】改善された学習データ映像を生成する方法及び装置を提供する。
【解決手段】方法は、走行中に取得された第１映像に少なくとも２つ以上の認識技法を適用して、第１映像に含まれるオブジェクトを認識するステップＳ１４１０と、オブジェクトを認識した結果に少なくとも２つ以上の検出技法を適用して、適用された検出技法別にフレームを検出するステップＳ１４３０と、検出されたフレームを統合して複数のフレームを含むフレームセットを生成するステップＳ１４５０と、統合されたフレームセットをサンプリングして第２映像を生成するステップＳ１４７０と、を含む。
【選択図】図１４
【解決手段】方法は、走行中に取得された第１映像に少なくとも２つ以上の認識技法を適用して、第１映像に含まれるオブジェクトを認識するステップＳ１４１０と、オブジェクトを認識した結果に少なくとも２つ以上の検出技法を適用して、適用された検出技法別にフレームを検出するステップＳ１４３０と、検出されたフレームを統合して複数のフレームを含むフレームセットを生成するステップＳ１４５０と、統合されたフレームセットをサンプリングして第２映像を生成するステップＳ１４７０と、を含む。
【選択図】図１４
【特許請求の範囲】
【請求項1】
走行中に取得された第１映像に少なくとも２つ以上の認識技法を適用して、前記第１映像に含まれるオブジェクトを認識するステップと、
前記オブジェクトを認識した結果に少なくとも２つ以上の検出技法を適用して、前記適用された検出技法別にフレームを検出するステップと、
前記検出されたフレームを統合して複数のフレームを含むフレームセットを生成するステップと、
前記統合されたフレームセットをサンプリングして第２映像を生成するステップとを含む、改善された学習データ映像を生成する方法。
前記オブジェクトを認識した結果に少なくとも２つ以上の検出技法を適用して、前記適用された検出技法別にフレームを検出するステップと、
前記検出されたフレームを統合して複数のフレームを含むフレームセットを生成するステップと、
前記統合されたフレームセットをサンプリングして第２映像を生成するステップとを含む、改善された学習データ映像を生成する方法。
【請求項2】
前記第２映像を生成するステップは、
前記統合されたフレームセットに基づいて、少なくとも１つ以上のフレームを含み、互いに重複しないフレームを含むフレームグループを生成するステップと、
前記フレームグループ別にフレームを抽出して前記第２映像を生成するステップとを含む、請求項１に記載の改善された学習データ映像を生成する方法。
前記統合されたフレームセットに基づいて、少なくとも１つ以上のフレームを含み、互いに重複しないフレームを含むフレームグループを生成するステップと、
前記フレームグループ別にフレームを抽出して前記第２映像を生成するステップとを含む、請求項１に記載の改善された学習データ映像を生成する方法。
【請求項3】
前記第２映像を生成するステップは、
前記フレームグループ別に１つのフレームを抽出して前記第２映像を生成するステップを含む、請求項２に記載の改善された学習データ映像を生成する方法。
前記フレームグループ別に１つのフレームを抽出して前記第２映像を生成するステップを含む、請求項２に記載の改善された学習データ映像を生成する方法。
【請求項4】
前記第２映像を生成するステップは、
前記フレームグループ毎に設定された重みに対応する数のフレームを前記フレームグループ別に抽出して前記第２映像を生成するステップを含む、請求項２に記載の改善された学習データ映像を生成する方法。
前記フレームグループ毎に設定された重みに対応する数のフレームを前記フレームグループ別に抽出して前記第２映像を生成するステップを含む、請求項２に記載の改善された学習データ映像を生成する方法。
【請求項5】
前記フレームグループ毎に設定された重みは、
各フレームグループに含まれるフレームの数に基づいて決定された値である、請求項４に記載の改善された学習データ映像を生成する方法。
各フレームグループに含まれるフレームの数に基づいて決定された値である、請求項４に記載の改善された学習データ映像を生成する方法。
【請求項6】
前記第２映像を生成するステップにおいては、
前記統合されたフレームセットに含まれるフレームを予め設定された時間間隔に基づいてサンプリングして複数のフレームを抽出し、前記抽出されたフレームにより前記第２映像を生成する、請求項１に記載の改善された学習データ映像を生成する方法。
前記統合されたフレームセットに含まれるフレームを予め設定された時間間隔に基づいてサンプリングして複数のフレームを抽出し、前記抽出されたフレームにより前記第２映像を生成する、請求項１に記載の改善された学習データ映像を生成する方法。
【請求項7】
前記統合されたフレームセットを生成するステップにおいては、
前記検出技法別に検出されたフレームにおいて重複して検出されたフレームを把握し、
前記第２映像を生成するステップにおいては、
前記重複して検出されたフレームを必須に含めて前記第２映像を生成する、請求項１に記載の改善された学習データ映像を生成する方法。
前記検出技法別に検出されたフレームにおいて重複して検出されたフレームを把握し、
前記第２映像を生成するステップにおいては、
前記重複して検出されたフレームを必須に含めて前記第２映像を生成する、請求項１に記載の改善された学習データ映像を生成する方法。
【請求項8】
前記第１映像に含まれるオブジェクトを認識するステップにおいては、
第１認識技法及び第２認識技法を適用して、前記第１映像に含まれるオブジェクトを認識し、
前記第１認識技法は、
ＹｏｌｏＶ４－ＣＳＰをベースとして前記第１映像のオブジェクトを認識するアルゴリズムであり、
前記第２認識技法は、
ＹｏｌｏＶ４－Ｐ７をベースとして前記第１映像のオブジェクトを認識するアルゴリズムである、請求項１に記載の改善された学習データ映像を生成する方法。
第１認識技法及び第２認識技法を適用して、前記第１映像に含まれるオブジェクトを認識し、
前記第１認識技法は、
ＹｏｌｏＶ４－ＣＳＰをベースとして前記第１映像のオブジェクトを認識するアルゴリズムであり、
前記第２認識技法は、
ＹｏｌｏＶ４－Ｐ７をベースとして前記第１映像のオブジェクトを認識するアルゴリズムである、請求項１に記載の改善された学習データ映像を生成する方法。
【請求項9】
前記少なくとも２つ以上の認識技法は、
第１認識技法及び第２認識技法を含み、
前記少なくとも２つ以上の検出技法は、
前記第１認識技法及び前記第２認識技法でそれぞれ認識されたオブジェクトのフレームを互いに比較した結果に基づいてフレームを検出する検出技法を含む、請求項１に記載の改善された学習データ映像を生成する方法。
第１認識技法及び第２認識技法を含み、
前記少なくとも２つ以上の検出技法は、
前記第１認識技法及び前記第２認識技法でそれぞれ認識されたオブジェクトのフレームを互いに比較した結果に基づいてフレームを検出する検出技法を含む、請求項１に記載の改善された学習データ映像を生成する方法。
【請求項10】
前記少なくとも２つ以上の検出技法は、
前記第１映像から認識されたオブジェクトが所定期間消えてから再出現したことを検知した結果に基づいてフレームを検出する検出技法を含む、請求項１に記載の改善された学習データ映像を生成する方法。
前記第１映像から認識されたオブジェクトが所定期間消えてから再出現したことを検知した結果に基づいてフレームを検出する検出技法を含む、請求項１に記載の改善された学習データ映像を生成する方法。
【請求項11】
請求項１に記載の方法を実行するためのプログラムを格納したコンピュータ読み取り可能な記録媒体。
【請求項12】
少なくとも１つのプログラムが格納されたメモリと、
前記少なくとも１つのプログラムを実行することにより演算を行うプロセッサとを含み、
前記プロセッサは、
走行中に取得された第１映像に少なくとも２つ以上の認識技法を適用して、前記第１映像に含まれるオブジェクトを認識し、
前記オブジェクトを認識した結果に少なくとも２つ以上の検出技法を適用して、前記適用された検出技法別にフレームを検出し、
前記検出されたフレームを統合して複数のフレームを含むフレームセットを生成し、
前記統合されたフレームセットをサンプリングして第２映像を生成する、改善された学習データ映像を生成する装置。
前記少なくとも１つのプログラムを実行することにより演算を行うプロセッサとを含み、
前記プロセッサは、
走行中に取得された第１映像に少なくとも２つ以上の認識技法を適用して、前記第１映像に含まれるオブジェクトを認識し、
前記オブジェクトを認識した結果に少なくとも２つ以上の検出技法を適用して、前記適用された検出技法別にフレームを検出し、
前記検出されたフレームを統合して複数のフレームを含むフレームセットを生成し、
前記統合されたフレームセットをサンプリングして第２映像を生成する、改善された学習データ映像を生成する装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習データ映像を生成する方法に関し、より具体的には、オブジェクトを認識して自律運行を行うことのできる自律走行自動車が走行中に道路上のオブジェクトを認識する性能を向上させるための学習データをより改善された方法で生成する方法、及びその方法を実現するための装置に関する。
【背景技術】
【0002】
情報通信技術と車両産業との融合により、車両のスマート化が急速に進んでいる。スマート化により、車両は単純な機械的装置からスマートカーに進化しており、特に、スマートカーの中核技術として自律走行（ｓｅｌｆ－ｄｒｉｖｉｎｇ）が注目されている。自律走行とは、運転者がハンドル、加速ペダル、ブレーキなどを操作しなくても、車両に搭載された自律走行モジュールが車両の走行状態を能動的に制御することにより、車両が自ら目的地まで辿る技術である。
【0003】
自律走行自動車の安全な自律走行のために、自律走行過程で車両が歩行者や他の車両を正確に認識し、認識されたオブジェクトとの距離を算出する方法に関する研究が様々に行われているが、車両の走行中に道路上に出現可能なオブジェクトの特性は事実上無限に近く、自律走行自動車に搭載されるモジュールのプロセッシング能力に限界が存在し、道路上のオブジェクトを完璧に認識する方法は現在知られていない。
【0004】
カメラによるオブジェクト認識及び距離推定の場合、実際の３次元世界のオブジェクトを２次元画像に投影しているので、距離に関する情報の損失が多い。特に、歩行者位置の計算に多く用いられる特徴（歩行者の身長や地面に接している点）のばらつきが大きいため、誤差が大きい。
【0005】
レーダー（ＲＡＤＡＲ）によるオブジェクト認識及び距離推定の場合、レーダーが運用する電波の特性上、オブジェクトを迅速に把握及び分類する能力が劣るので、歩行者であるか又は車両であるかの判断が難しく、特に、道路上に存在する歩行者や二輪車（自転車やバイク）の場合、信号強度が弱いため、認識結果がさらによくない傾向がある。
【0006】
近年、ライダー（ＬｉＤＡＲ）を用いたオブジェクト認識及び距離推定技術が相対的に正確度が高いことから脚光を浴びているが、高出力レーザは危険性があるので、ライダーは出力を下げたレーザに基づいて動作せざるを得ず、レーダーが用いる電波とは異なり、レーザは周辺環境の影響を大きく受け、ライダーセンサのコストが高すぎることが限界点として指摘される。
【0007】
前述の背景技術は、発明者が本発明の導出のために保有していたか、又は本発明の導出過程で習得した技術情報であって、必ずしも本発明の出願前に一般公衆に公開された公知技術であるとはいえない。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】韓国登録特許第１０－２４３８１１４号公報（２０２２年８月２５日）
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明が解決しようとする技術的課題は、改善された学習データ映像を生成する方法を提供することにある。
【課題を解決するための手段】
【0010】
上記技術的課題を解決するための本発明の一実施形態による方法は、走行中に取得された第１映像に少なくとも２つ以上の認識技法を適用して、前記第１映像に含まれるオブジェクトを認識するステップと、前記オブジェクトを認識した結果に少なくとも２つ以上の検出技法を適用して、前記適用された検出技法別にフレームを検出するステップと、前記検出されたフレームを統合して複数のフレームを含むフレームセットを生成するステップと、前記統合されたフレームセットをサンプリングして第２映像を生成するステップとを含む。
【0011】
前記方法において、前記第２映像を生成するステップは、前記統合されたフレームセットに基づいて、少なくとも１つ以上のフレームを含み、互いに重複しないフレームを含むフレームグループを生成するステップと、前記フレームグループ別にフレームを抽出して前記第２映像を生成するステップとを含む。
【0012】
前記方法において、前記第２映像を生成するステップは、前記フレームグループ別に１つのフレームを抽出して前記第２映像を生成するステップを含む。
【0013】
前記方法において、前記第２映像を生成するステップは、前記フレームグループ毎に設定された重みに対応する数のフレームを前記フレームグループ別に抽出して前記第２映像を生成するステップを含む。
【0014】
前記方法において、前記フレームグループ毎に設定された重みは、各フレームグループに含まれるフレームの数に基づいて決定された値であってもよい。
【0015】
前記方法において、前記第２映像を生成するステップにおいては、前記統合されたフレームセットに含まれるフレームを予め設定された時間間隔に基づいてサンプリングして複数のフレームを抽出し、前記抽出されたフレームにより前記第２映像を生成することができる。
【0016】
前記方法において、前記統合されたフレームセットを生成するステップにおいては、前記検出技法別に検出されたフレームにおいて重複して検出されたフレームを把握し、前記第２映像を生成するステップにおいては、前記重複して検出されたフレームを必須に含めて前記第２映像を生成することができる。
【0017】
前記方法において、前記第１映像に含まれるオブジェクトを認識するステップにおいては、第１認識技法及び第２認識技法を適用して、前記第１映像に含まれるオブジェクトを認識し、前記第１認識技法は、ＹｏｌｏＶ４－ＣＳＰをベースとして前記第１映像のオブジェクトを認識するアルゴリズムであり、前記第２認識技法は、ＹｏｌｏＶ４－Ｐ７をベースとして前記第１映像のオブジェクトを認識するアルゴリズムであってもよい。
【0018】
前記方法において、前記少なくとも２つ以上の認識技法は、第１認識技法及び第２認識技法を含み、前記少なくとも２つ以上の検出技法は、前記第１認識技法及び前記第２認識技法でそれぞれ認識されたオブジェクトのフレームを互いに比較した結果に基づいてフレームを検出する検出技法を含んでもよい。
【0019】
前記方法において、前記少なくとも２つ以上の検出技法は、前記第１映像から認識されたオブジェクトが所定期間消えてから再出現したことを検知した結果に基づいてフレームを検出する検出技法を含んでもよい。
【0020】
上記技術的課題を解決するための本発明の他の一実施形態による装置は、少なくとも１つのプログラムが格納されたメモリと、前記少なくとも１つのプログラムを実行することにより演算を行うプロセッサとを含み、前記プロセッサは、走行中に取得された第１映像に少なくとも２つ以上の認識技法を適用して、前記第１映像に含まれるオブジェクトを認識し、前記オブジェクトを認識した結果に少なくとも２つ以上の検出技法を適用して、前記適用された検出技法別にフレームを検出し、前記検出されたフレームを統合して複数のフレームを含むフレームセットを生成し、前記統合されたフレームセットをサンプリングして第２映像を生成することができる。
【0021】
上記技術的課題を解決するための本発明の一実施形態による方法は、映像からオブジェクトを認識し、前記オブジェクトが認識されている第１フレーム及び前記オブジェクトが認識されていない第２フレームを特定するステップと、前記第１フレームにおいて前記オブジェクトの第１外郭線を生成し、前記第１外郭線を構成する第１座標値に基づいて前記オブジェクトの第１キューボイドの座標を取得するステップと、前記第２フレームにおいて前記オブジェクトが認識されていなければならないか否かを判断し、前記判断した結果に基づいて、前記第２フレームでの前記オブジェクトの第２外郭線を生成するステップと、前記第１外郭線を構成する第１座標値及び前記第２外郭線を構成する第２座標値間の変換関係値を算出するステップと、前記第１キューボイドの座標に前記変換関係値を適用して前記第２フレームでの前記オブジェクトの第２キューボイドの座標を算出するステップとを含む。
【0022】
上記技術的課題を解決するための本発明の他の一実施形態による装置は、少なくとも１つのプログラムが格納されたメモリと、前記少なくとも１つのプログラムを実行することにより演算を行うプロセッサとを含み、前記プロセッサは、映像からオブジェクトを認識し、前記オブジェクトが認識されている第１フレーム及び前記オブジェクトが認識されていない第２フレームを特定し、前記第１フレームにおいて前記オブジェクトの第１外郭線を生成し、前記第１外郭線を構成する第１座標値に基づいて前記オブジェクトの第１キューボイドの座標を取得し、前記第２フレームにおいて前記オブジェクトが認識されていなければならないか否かを判断し、前記判断した結果に基づいて、前記第２フレームでの前記オブジェクトの第２外郭線を生成し、前記第１外郭線を構成する第１座標値及び前記第２外郭線を構成する第２座標値間の変換関係値を算出し、前記第１キューボイドの座標に前記変換関係値を適用して前記第２フレームでの前記オブジェクトの第２キューボイドの座標を算出することができる。
【0023】
上記技術的課題を解決するための本発明の一実施形態による方法は、映像の各フレーム別にオブジェクトを認識する第１認識アルゴリズムで映像に含まれるオブジェクトを認識するステップと、前記映像に含まれる複数のフレームでトラック（ｔｒａｃｋ）を形成し、前記トラックに含まれるオブジェクトを認識する第２認識アルゴリズムでオブジェクトを認識するステップと、前記第１認識アルゴリズムでオブジェクトを認識した結果及び前記第２認識アルゴリズムでオブジェクトを認識した結果を比較するステップと、前記比較した結果に基づいて、前記第１認識アルゴリズム及び前記第２認識アルゴリズムで前記映像のオブジェクトを認識した結果を補正するステップとを含む。
【0024】
上記技術的課題を解決するための本発明の他の一実施形態による装置は、少なくとも１つのプログラムが格納されたメモリと、前記少なくとも１つのプログラムを実行することにより演算を行うプロセッサとを含み、前記プロセッサは、映像の各フレーム別にオブジェクトを認識する第１認識アルゴリズムで映像に含まれるオブジェクトを認識し、前記映像に含まれる複数のフレームでトラック（ｔｒａｃｋ）を形成し、前記トラックに含まれるオブジェクトを認識する第２認識アルゴリズムでオブジェクトを認識し、前記第１認識アルゴリズムでオブジェクトを認識した結果及び前記第２認識アルゴリズムでオブジェクトを認識した結果を比較し、前記比較した結果に基づいて、前記第１認識アルゴリズム及び前記第２認識アルゴリズムで前記映像のオブジェクトを認識した結果を補正することができる。
【0025】
本発明の一実施形態は、前記方法を実行するためのプログラムを格納したコンピュータ読み取り可能な記録媒体を提供することができる。
【発明の効果】
【0026】
本発明によれば、自律走行自動車に装着されたカメラで走行中の映像を取得し、自律走行自動車のオブジェクト認識率を向上させることのできる学習データを取得することができる。
【0027】
特に、本発明により生成された学習データは、既存の学習データと比較して、自律走行自動車のオブジェクト認識装置のオブジェクト認識率をよりさらに高い効率で学習させることができる。
【図面の簡単な説明】
【0028】
【図1】一実施形態による自律走行方式を説明するための図である。
【図2】一実施形態による自律走行方式を説明するための図である。
【図3】一実施形態による自律走行方式を説明するための図である。
【図4A】一実施形態による車両の外部を撮影するカメラに関する図である。
【図4B】一実施形態による車両の外部を撮影するカメラに関する図である。
【図5】一実施形態によるオブジェクト認識方法を説明する概略図である。
【図6】本発明の一実施形態による、自律走行自動車のオブジェクト認識率を改善する方法を概念的に説明するための図である。
【図7A】本発明の一実施形態による、オブジェクト認識率改善装置で行われるフィルタリングプロセスを説明するための図である。
【図7B】本発明の一実施形態による、オブジェクト認識率改善装置で行われるフィルタリングプロセスを説明するための図である。
【図7C】本発明の一実施形態による、オブジェクト認識率改善装置で行われるフィルタリングプロセスを説明するための図である。
【図8】本発明の他の一実施形態による、自律走行自動車のオブジェクト認識率の改善のために能動学習が適用される過程を説明するための図である。
【図9】本発明によるオブジェクト認識率改善方法の一例を示すフローチャートである。
【図10】本発明のさらに他の一実施形態によるオブジェクト認識率改善方法を説明するための図である。
【図12】本発明による改善された学習データ映像を生成する方法の一例を概念的に示す概念図である。
【図14】本発明による第２映像生成方法の一例を示すフローチャートである。
【図15】一実施形態による第２映像生成装置のブロック図である。
【図17】本発明による映像中のオブジェクトのキューボイドを説明するための図である。
【図18】本発明による映像中のオブジェクトのキューボイドを取得する方法を概略的に説明するための概略図である。
【図19】本発明によるキューボイド取得装置により行われる線形マッピング方法を説明するための図である。
【図20】本発明によるキューボイド取得装置により行われる線形マッピング方法の他の一例を説明するための図である。
【図21】本発明によるキューボイド取得方法の一例を示すフローチャートである。
【図22】一実施形態によるキューボイド取得装置のブロック図である。
【図23】本発明によるオブジェクト認識率向上方法を概略的に説明するための概略図である。
【図26】本発明によるオブジェクト認識率向上方法の一例を示すフローチャートである。
【図27】一実施形態によるオブジェクト認識率向上装置のブロック図である。
【発明を実施するための形態】
【0029】
本発明は、様々な変形を加えることができ、様々な実施形態を有するので、特定の実施形態を図面に例示し、詳細な説明に詳細に説明する。本発明の効果及び特徴、並びにそれらを達成する方法は、図面と共に詳細に後述する実施形態を参照することによって明らかになるであろう。しかし、本発明は、以下に開示される実施形態に限定されるものではなく、様々な形態で実現することができる。
【0030】
以下、添付図面を参照して本発明の実施形態を詳細に説明するが、図面を参照して説明するにあたり、同一又は対応する構成要素には同一の図面符号を付し、それについての重複する説明は省略する。
【0031】
以下の実施形態において、第１、第２などの用語は、限定的な意味ではなく、１つの構成要素を他の構成要素と区別する目的で用いられている。
【0032】
以下の実施形態において、単数の表現には、文脈上明らかに他の意味を表さない限り、複数の表現が含まれる。
【0033】
以下の実施形態において、「含む」や「有する」などの用語は、明細書に記載された特徴又は構成要素が存在することを意味するものであり、１つ以上の他の特徴又は構成要素が付加される可能性を予め排除するものではない。
【0034】
ある実施形態において異なる実現が可能な場合、特定の工程順序は説明される手順とは異なる手順で行われてもよい。例えば、連続して説明される２つの工程は、実質的に同時に行われてもよく、説明される手順とは逆の手順で行われてもよい。
【0035】
【0036】
図１を参照すると、本発明の一実施形態による自律走行装置は、車両に装着されて自律走行自動車１０を実現することができる。自律走行自動車１０に装着される自律走行装置は、周辺の状況情報を収集するための様々なセンサを含んでもよい。一例として、自律走行装置は、自律走行自動車１０の前面に装着されたイメージセンサ及び／又はイベントセンサにより、前方を運行中の先行車両２０の動きを検知することができる。自律走行装置は、自律走行自動車１０の前方はもとより、隣の車路を運行中の他の走行車両３０や、自律走行自動車１０周辺の歩行者などを検知するためのセンサをさらに含んでもよい。
【0037】
自律走行自動車周辺の状況情報を収集するためのセンサの少なくとも１つは、図１に示すように、所定の画角（ＦｏＶ）を有することができる。一例として、自律走行自動車１０の前面に装着されたセンサが図１に示すような画角（ＦｏＶ）を有する場合、センサの中央で検出される情報が相対的に高い重要度を有することができる。それは、センサの中央で検出される情報に、先行車両２０の動きに対応する情報のほとんどが含まれているからである。
【0038】
自律走行装置は、自律走行自動車１０のセンサが収集した情報をリアルタイムで処理して自律走行自動車１０の動きを制御する一方、センサが収集した情報の少なくとも一部はメモリ装置に保存することができる。
【0039】
図２を参照すると、自律走行装置４０は、センサ部４１、プロセッサ４６、メモリシステム４７、車体制御モジュール４８などを含んでもよい。センサ部４１は、複数のセンサ４２～４５を含み、複数のセンサ４２～４５は、イメージセンサ、イベントセンサ、照度センサ、ＧＰＳ装置、加速度センサなどを含んでもよい。
【0040】
センサ４２～４５が収集したデータは、プロセッサ４６に伝達されるようにしてもよい。プロセッサ４６は、センサ４２～４５が収集したデータをメモリシステム４７に保存し、センサ４２～４５が収集したデータに基づいて車体制御モジュール４８を制御して車両の動きを決定することができる。メモリシステム４７は、２つ以上のメモリ装置と、メモリ装置を制御するためのシステムコントローラとを含んでもよい。メモリ装置のそれぞれは、１つの半導体チップとして提供されるようにしてもよい。
【0041】
メモリシステム４７のシステムコントローラの他に、メモリシステム４７に含まれるメモリ装置のそれぞれは、メモリコントローラを含んでもよく、メモリコントローラは、ニューラルネットワークなどの人工知能（ＡＩ）演算回路を含んでもよい。メモリコントローラは、センサ４２～４５又はプロセッサ４６から受信したデータに所定の重みを与えて演算データを生成し、演算データをメモリチップに保存することができる。
【0042】
図３は自律走行装置が搭載された自律走行自動車のセンサが取得した映像データの一例を示す図である。図３を参照すると、映像データ５０は、自律走行自動車の前面に装着されたセンサが取得したデータであってもよい。よって、映像データ５０は、自律走行自動車の前面部５１、自律走行自動車と同じ車路の先行車両５２、自律走行自動車周辺の走行車両５３、非関心領域５４などを含むことができる。
【0043】
図３に示す実施形態による映像データ５０において、自律走行自動車の前面部５１及び非関心領域５４が表示される領域のデータは、自律走行自動車の運行に影響を及ぼす可能性がほとんどないデータであり得る。言い換えれば、自律走行自動車の前面部５１及び非関心領域５４は、相対的に低い重要度を有するデータとみなすことができる。
【0044】
それに対して、先行車両５２との距離、走行車両５３の車路変更の動きなどは、自律走行自動車の安全な運行において非常に重要な要素であり得る。よって、映像データ５０において、先行車両５２や走行車両５３などが含まれる領域のデータは、自律走行自動車の運行において相対的に高い重要度を有することができる。
【0045】
自律走行装置のメモリ装置は、センサから受信した映像データ５０の領域毎に異なる重みを与えて保存することができる。一例として、先行車両５２や走行車両５３などが含まれる領域のデータには高い重みを与え、自律走行自動車の前面部５１及び非関心領域５４が表示される領域のデータには低い重みを与えることができる。
【0046】
【0047】
カメラは、車両に搭載されて車両の外部を撮影することができる。カメラは、車両の前方、側方、後方などを撮影することができる。本発明によるオブジェクト認識率改善装置は、カメラで撮影された複数の映像を取得することができる。カメラで撮影された複数の映像には、複数のオブジェクトが含まれ得る。
【0048】
オブジェクトに関する情報は、オブジェクト種類情報及びオブジェクト属性情報を含む。ここで、オブジェクト種類情報は、オブジェクトの種類を示すインデックス情報であり、大きい範囲であるグループと、細かい範囲であるクラスとから構成される。また、オブジェクト属性情報は、オブジェクトの現在の状態に関する属性情報を示すものであり、動き情報、回転情報、交通情報、色情報、可視性情報などを含む。
【0049】
一実施形態において、オブジェクト種類情報に含まれるグループ及びクラスは、下記表１の通りであるが、それに限定されるものではない。
【表1】
【0050】
動き情報は、オブジェクトの動き情報を示し、停車、駐車、移動などと定義することができる。車両の場合、停車、駐車、移動をオブジェクト属性情報として決定することができ、歩行者の場合、移動、停止、不明をオブジェクト属性情報として決定することができ、信号機のように動きのないオブジェクトの場合、デフォルト値である静止をオブジェクト属性情報として決定することができる。
【0051】
回転情報は、オブジェクトの回転情報を示し、正面、後面、水平（ｈｏｒｉｚｏｎｔａｌ）、垂直（ｖｅｒｔｉｃａｌ）、側面などと定義することができる。車両の場合、正面、後面、側面をオブジェクト属性情報として決定することができ、横方向又は縦方向の信号機は、それぞれ水平又は垂直をオブジェクト属性情報として決定することができる。
【0052】
交通情報は、オブジェクトの交通情報を意味し、交通標識の指示、注意、規制、補助標識などと定義することができる。色情報は、オブジェクトの色情報を意味し、オブジェクトの色、信号機及び交通標識の色を示すことができる。
【0053】
図４Ａを参照すると、オブジェクト４１１は、歩行者であり得る。画像４１０は、所定のサイズを有し得る。複数の画像４１０には、同じオブジェクト４１１が含まれ得るが、車両が道路を走行することによって車両とオブジェクト４１１との相対的位置は変化し続け、また、オブジェクト４１１も時間に応じて移動するので、それにより同じオブジェクト４１１であっても各画像内での位置が変化する。
【0054】
各画像において同じオブジェクトが何であるかを決定するために画像全体を用いる場合、データ伝送量及び演算量が非常に大きくなる。それにより、車両に搭載される装置におけるエッジコンピューティングによる処理が難しく、リアルタイム分析も難しい。
【0055】
図４Ｂを参照すると、画像４２０に含まれるバウンディングボックス４２１が示される。バウンディングボックス（Ｂｏｕｎｄｉｎｇ ｂｏｘ）は、オブジェクト（ｏｂｊｅｃｔ）に関するメタデータであり、バウンディングボックス情報には、オブジェクト種類情報（グループ、クラスなど）、画像４２０上の位置情報、サイズ情報などが含まれ得る。
【0056】
図４Ｂを参照すると、バウンディングボックス情報は、当該オブジェクト４１１が歩行者クラスに該当するという情報、オブジェクト４１１の左側上端の頂点が画像上の（ｘ，ｙ）に位置するという情報、オブジェクト４１１のサイズがｗ×ｈであるという情報、及びオブジェクト４１１が移動中であるという現在状態情報（すなわち、動き情報）を含んでもよい。
【0057】
図５は一実施形態によるオブジェクト認識方法を説明する概略図である。
【0058】
オブジェクト認識率改善装置は、カメラから取得された動画をフレーム別に分離して複数のフレームを取得することができる。複数のフレームは、前のフレーム５１０及び現在のフレーム５２０を含んでもよい。
【0059】
オブジェクト認識率改善装置は、前のフレーム５１０で第１歩行者オブジェクト５１１を認識することができる。
【0060】
一実施形態において、オブジェクト認識率改善装置は、フレームを同じサイズのグリッドに分け、各グリッドに対してグリッドの中央を中心に予め定義された形態で指定された境界ボックスの数を予測し、それに基づいて信頼度を計算することができる。オブジェクト認識率改善装置は、フレームにオブジェクトが含まれるか否か、又は背景だけ単独であるか否かを決定し、高いオブジェクト信頼度を有する位置を選択してオブジェクトカテゴリーを決定することにより、結果的にオブジェクトを認識することができる。ただし、本開示において、オブジェクトを認識する方法はそれに限定されるものではない。
【0061】
オブジェクト認識率改善装置は、前のフレーム５１０で認識された第１歩行者オブジェクト５１１の第１位置情報を取得することができる。図４Ａ及び図４Ｂで上述したように、第１位置情報は、前のフレーム５１０上の第１歩行者オブジェクト５１１に対応するバウンディングボックスのいずれか１つの頂点（例えば、左側上端の頂点）座標情報及び縦横長さ情報を含んでもよい。
【0062】
また、オブジェクト認識率改善装置は、現在のフレーム５２０で認識された第２歩行者オブジェクト５２１の第２位置情報を取得することができる。
【0063】
オブジェクト認識率改善装置は、前のフレーム５１０で認識された第１歩行者オブジェクト５１１の第１位置情報、及び現在のフレーム５２０で認識された第２歩行者オブジェクト５２１の第２位置情報間の類似度を算出することができる。
【0064】
図５を参照すると、オブジェクト認識率改善装置は、第１位置情報及び第２位置情報を用いて、第１歩行者オブジェクト５１１と第２歩行者オブジェクト５２１の積集合及び和集合を算出することができる。オブジェクト認識率改善装置は、和集合領域に対する積集合領域の値を算出し、算出された値が閾値以上である場合、第１歩行者オブジェクト５１１と第２歩行者オブジェクト５２１が同じ歩行者オブジェクトであると決定することができる。
【0065】
しかし、オブジェクト間の同一性を判別する方法は、上述した方法に限定されるものではない。
【0066】
図６は本発明の一実施形態による、自律走行自動車のオブジェクト認識率を改善する方法を概念的に説明するための図である。
【0067】
図６を参照して本発明の一実施形態を要約すると、本発明の一実施形態は、ローデータ（ｒａｗ ｄａｔａ）６１０を第１モデル６２０及び第２モデル６３０に入力すると、それぞれのモデルで算出される結果データをばらつきデータ算出モジュール６４０が受信して処理することにより、ばらつきデータ６４５が算出されるようにし、算出されたばらつきデータ６４５をウィークネスポイント（Ｗｅａｋｎｅｓｓ Ｐｏｉｎｔ）分析モジュール６５０が受信して分析するようにすることにより、ウィークネスポイントを把握するものと理解することができる。
【0068】
より具体的には、本発明において、ローデータ６１０は、自律走行自動車に装着されたカメラモジュールが収集した映像を意味する。特に、ローデータ６１０は、カメラモジュールで生成された後に前処理（ｐｒｅ－ｐｒｏｃｅｓｓｉｎｇ）が行われていない動画（ｖｉｄｅｏ）データであって、複数のフレームで構成されており、フレームレートは１秒当たり３０フレーム又は６０フレームであってもよいが、それに限定されるものではない。
【0069】
第１モデル６２０とは、自律走行自動車に装着されたモデルであって、ローデータ６１０を入力データとして受信し、ローデータ６１０に含まれるオブジェクトを認識した結果を出力データとして出力するモデルを意味する。
【0070】
第２モデル６３０とは、サーバに含まれるモデルであって、第１モデル６２０と同様に、ローデータ６１０を入力データとして受信し、ローデータ６１０に含まれるオブジェクトを認識した結果を出力データとして出力するモデルを意味する。第２モデル６３０は、限られたリソースにより性能が高くない第１モデル６２０に比べて、大きなメモリをベースとして十分なリソースを使用できる高性能のモデルとなり得る。
【0071】
自律走行自動車のカメラモジュールは、通信モジュールを介して収集されたローデータ６１０が第１モデル６２０だけでなく第２モデル６３０にも送信されて処理されるように制御される。
【0072】
第１モデル６２０及び第２モデル６３０から出力される出力データは、映像の各フレーム毎に含まれる車両や歩行者などの相対的位置、サイズ、方向に関する情報のうちの少なくとも１つに関する情報を含んでもよい。
【0073】
本発明において、第１モデル６２０は、自律走行自動車に装着された特性上、第２モデル６３０に比べて相対的にリソースが限られており、限られた環境で動作する。上記のようなモデルのスケール（ｓｃａｌｅ）の違いにより、ローデータ６１０を第２モデル６３０に入力した場合に映像から認識されたオブジェクトの数と種類に関する情報は、ローデータ６１０を第１モデル６２０に入力した場合に映像から認識されたオブジェクトの数と種類に関する情報よりさらに改善された情報となり得る。
【0074】
【表2】
【表3】
【0075】
表２及び表３は、第１モデル６２０及び第２モデル６３０の性能を数値化して例示的に示すものであるので、本発明における第１モデル６２０及び第２モデル６３０は、表２及び表３で説明したＹｏｌｏＶ４－ＣＳＰ、ＹｏｌｏＶ４－Ｐ７にそれぞれ限定されるものではない。
【0076】
ばらつきデータ算出モジュール６４０は、第１モデル６２０及び第２モデル６３０の出力データを分析してばらつきデータ６４５を算出することができる。ばらつきデータ６４５は、ローデータ６１０を第１モデル６２０に入力した結果とローデータ６１０を第２モデル６３０に入力した結果間のばらつきに関するデータを意味するものであり、より詳細には、同じフレーム別に比較して算出することができる。例えば、ローデータ６１０が１０フレームで構成された動画データである場合、ばらつきデータ６４５は、ローデータ６１０の第１フレームを第１モデル６２０に入力した結果とローデータ６１０の第１フレームを第２モデル６３０に入力した結果とを比較してばらつきを算出した結果であってもよい。
【0077】
ばらつきデータ算出モジュール６４０は、ローデータ６１０を構成するフレーム別に相互間のバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）のＩｏＵ値（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ Ｖａｌｕｅ）を計算し、最大のＩｏＵを有するバウンディングボックス同士をマッチングし、マッチングした結果で第２モデル６３０の出力データにのみ探知されるバウンディングボックスをウィークネスポイント対象と判断し、ウィークネスポイント分析モジュールに伝達することができる。ばらつきデータ算出モジュール６４０がＩｏＵ値に基づいてフレーム間でバウンディングボックスをマッチングしてばらつきデータを算出する方法は、図５で既に説明したので省略する。
【0078】
以下、ローデータ６１０を第１モデル６２０に入力して出力されたデータを第１認識結果といい、ローデータ６１０を第２モデル６３０に入力して出力されたデータを第２認識結果と称する。
【0079】
ウィークネスポイント分析モジュール６５０は、ばらつきデータ算出モジュール６４０からばらつきデータを受信し、ウィークネスポイントを分析する。ここで、ウィークネスポイントは、自律走行自動車に装着されていて第２モデル６３０に比べて相対的に少ない演算量を有するしかない第１モデル６２０の限界性能により、第２モデル６３０では検出されているオブジェクトが第１モデル６２０では検出されていない場合、その検出されていない情報に関するデータを意味する。例えば、第２モデル６３０がローデータ６１０を受信して映像中で乗用車１台、バス１台をオブジェクトとして認識し、第１モデル６２０がローデータ６１０を受信して映像中で乗用車１台をオブジェクトとして認識した場合、ウィークネスポイントは、第１モデル６２０が認識（探知）していないバス１台に関する情報となり得る。
【0080】
ウィークネスポイント分析モジュール６５０が分析したウィークネスポイントは、第１モデル６２０のオブジェクト認識性能を向上させるための学習データとして用いることができる。また、ウィークネスポイントは、第１モデル６２０の学習データとして用いるために、一連の前処理プロセス（又は、フィルタリングプロセス）により前処理されてもよく、それについては後述する。
【0081】
図６において、第１モデル６２０、ばらつきデータ算出モジュール６４０及びウィークネスポイント分析モジュール６５０は、本発明の一実施形態による自律走行自動車のオブジェクト認識率改善装置に物理的又は論理的に含まれる形態で実現されてもよい。また、図６において、第１モデル６２０、第２モデル６３０、ばらつきデータ算出モジュール６４０及びウィークネスポイント分析モジュール６５０は、本発明が実際に実現される場合、他の名称で呼ばれてもよく、また、いずれか１つのモジュールが他の１つに統合される形態で実現されてもよい。
【0082】
【0083】
まず、図７Ａはフィルタリングされる前のばらつきデータを示すものであり、図７Ａには第１オブジェクト７１０ａ、第２オブジェクト７２０ａ、第３オブジェクト７３０ａ、第４オブジェクト７４０ａ及び第５オブジェクト７５０ａがオブジェクトとして認識されたことが図式的に示されている。より詳細には、図７Ａに示す５つのオブジェクトは、第１認識結果では認識されていないが、第２認識結果では認識されてばらつきデータとして加工されてウィークネスポイント分析モジュール６５０に伝達されたものと理解することができ、ウィークネスポイント分析モジュール６５０は、予め設定されたフィルタ基準でフィルタリングを行い、ばらつきデータにおいて意味のあるオブジェクト情報のみを残すことができる。
【0084】
一例として、予め設定されたフィルタ基準は、ばらつきデータに含まれるバウンディングボックスのサイズに関するサイズ基準であり、ウィークネスポイント分析モジュール６５０は、ばらつきデータをベースとする情報として、サイズ基準よりさらに小さいサイズのバウンディングボックスを除去することができる。ここで、サイズ基準は、高さ（ｈｅｉｇｈｔ）が１２０ピクセル未満であるか、幅（ｗｉｄｔｈ）が１２０ピクセル未満であるバウンディングボックスを除去するための基準となり得るが、上述した値は例示的な値であるので、実施形態によって、高さ又は幅の基準値は異なり得る。
【0085】
他の一例として、予め設定されたフィルタ基準は、ばらつきデータに含まれるバウンディングボックスのオブジェクトの種類を区分するための区分基準であり、ウィークネスポイント分析モジュール６５０は、ばらつきデータをベースとする情報として、区分基準に従って特定種類のオブジェクトのバウンディングボックスを除去することができる。ここで、特定種類とは、バウンディングボックスの上端に記載されたクラス（ｃｌａｓｓ）を意味し、図７Ａの５つのバウンディングボックスには計４種類のクラス（乗用車、トラック、歩行者、二輪車）が示されている。
【0086】
ウィークネスポイント分析モジュール６５０に設定されるフィルタ基準に高さ（ｈｅｉｇｈｔ）が１２０ピクセル未満であるか、幅（ｗｉｄｔｈ）が１２０ピクセル未満であるバウンディングボックスを除去するためのサイズ基準と、歩行者や二輪車のバウンディングボックスを除去するための区分基準が同時に設定されている場合、図７Ａにおいて、第２オブジェクト７２０ａ、第３オブジェクト７３０ａ及び第４オブジェクト７４０ａは除去され、第１オブジェクト７１０ａ及び第５オブジェクト７５０ａのみが残る。
【0087】
【0088】
より詳細には、図７Ｂに示す第６オブジェクト７１０ｂは、第１認識結果では認識されていないが、第２認識結果では認識されてばらつきデータとして加工されてウィークネスポイント分析モジュール６５０に伝達されたものと理解することができ、ウィークネスポイント分析モジュール６５０は、予め設定されたフィルタ基準でフィルタリングを行い、ばらつきデータにおいて意味のあるオブジェクト情報のみを残すことができる。
【0089】
ただし、図７Ｂにおいて、第６オブジェクト７１０ｂは、１つのオブジェクトではなく、第７オブジェクト７２０ｂと第８オブジェクト７３０ｂが偶然重なる過程で１つのオブジェクトとして誤認識されたものであり、形態上の特性上、非常に低い信頼度（ｃｏｎｆｉｄｅｎｃｅ）である０．３３９６が記録されていることが分かる。
【0090】
一例として、図７Ｂにおいて、予め設定されたフィルタ基準は、ばらつきデータに含まれるバウンディングボックスの信頼度に関する信頼度基準であり、ウィークネスポイント分析モジュール６５０は、ばらつきデータをベースとする情報として、信頼度基準よりさらに低い信頼度のバウンディングボックスを除去することができる。ここで、信頼度基準は、０．６となり得るが、実施形態によって異なり得る。
【0091】
図７Ｂにおいて、ウィークネスポイント分析モジュール６５０は、信頼度基準に従って第６オブジェクト７１０ｂのバウンディングボックスを除去することができ、第６オブジェクト７１０ｂのバウンディングボックスが除去された後、図７Ｂのフレームには残っているバウンディングボックスがないので、第１認識結果及び第２認識結果は事実上同じものとみなすことができる。第１認識結果及び第２認識結果が事実上同じであるとは、第１モデル６２０が第６オブジェクト７１０ｂを学習しなくてもよいことを意味する。
【0092】
図７Ｃは図７Ａ及び図７Ｂと同様にフィルタリングされる前のばらつきデータを示すものであり、図７Ｃには第９オブジェクト７１０ｃ、第１０オブジェクト７２０ｃ及び第１１オブジェクト７３０ｃがオブジェクトとして認識されたことが図式的に示されている。
【0093】
より具体的には、図７Ｃに示すオブジェクトのうち、第１０オブジェクト７２０ｃ及び第１１オブジェクト７３０ｃは、第１認識結果及び第２認識結果のどちらでもオブジェクトとして認識された車両であって、バウンディングボックスが除去されているが、第９オブジェクト７１０ｃは、道路を走行中の自律走行自動車の走行に影響を与える可能性のないオブジェクトであるにもかかわらず、トラック（ｔｒｕｃｋ）というクラスに分類されてバウンディングボックスが適用されていることが、図７Ｃに示されている。
【0094】
通常、より高い認識性能を有する第２モデル６３０の方が認識するオブジェクトの数が多いが、特定の場合、第１モデル６２０がオブジェクトでない対象をオブジェクトとして誤認識するか、第２モデル６３０が誤動作してオブジェクトでないため第１モデル６２０に認識されていないオブジェクトを正常なオブジェクトとして誤認識する場合が発生することがあり、ウィークネスポイント分析モジュール６５０は、予め設定されたフィルタ基準に従って、第９オブジェクト７１０ｃを実際の道路でない位置に道路にのみ存在するオブジェクトが存在するものと判断し、該当バウンディングボックスを除去することができる。図７Ｃにおいて、第９オブジェクト７１０ｃのバウンディングボックスが除去されると、第１認識結果及び第２認識結果のばらつきが実質的になくなるので、第１モデル６２０が学習するデータも当然なくなる。
【0095】
図８は本発明の他の一実施形態による、自律走行自動車のオブジェクト認識率の改善のために能動学習が適用される過程を説明するための図である。
【0096】
本発明によるオブジェクト認識率改善装置は、図８に示す分類モジュール８２０、ラベリングデータ収集モジュール８４０、学習モデル８５０及び予測モデル８６０を物理的又は論理的な形態で含んでもよい。図８において、学習モデル８５０は、入力されるデータにより学習されているモデルを、予測モデル８６０は、学習が完了して試験データが入力されるとそれによる結果データを出力できる予測性モデル（ｐｒｅｄｉｃｔｉｖｅ ｍｏｄｅｌ）をそれぞれ意味するものとみなし、学習モデル８５０は、学習により認識率が改善されるモデルであるので、結局、自律走行自動車に装着される第１モデル６２０を意味する。
【0097】
通常、マシンラーニングを行うためにローデータを前処理する過程の必須過程であるデータのラベリング（ｌａｂｅｌｉｎｇ）は、データの特徴が正確に区分されないので、人間（ｈｕｍａｎ）により行われるが、本発明によるオブジェクト認識率改善装置は、自動ラベリング（ａｕｔｏ－ｌａｂｅｌｉｎｇ）を一部含む能動学習（ａｃｔｉｖｅ ｌｅａｒｎｉｎｇ）による能動ラベリング（ａｃｔｉｖｅ ｌａｂｅｌｉｎｇ）を行うことにより、学習モデル８５０がローデータ８１０の特徴を迅速かつ効率的に学習できるように誘導する。
【0098】
【0099】
ローデータ８１０は、分類モジュール８２０により自動的にラベリングされてもよい。具体的には、ローデータ８１０が複数のフレームで構成された映像である場合、分類モジュール８２０は、各フレーム別にオブジェクトを自動で認識し、特定のフレームのａオブジェクトはトラック、ｂオブジェクトは歩行者、ｃオブジェクトは二輪車などのように、オブジェクトのクラスを自動で分類することができる。
【0100】
分類モジュール８２０は、ローデータ８１０を分析する上で、内部的な分類アルゴリズムにより分類しにくいと判断されたオブジェクトに対しては自動でラベリングを行わず、ここで、分類しにくいと判断されたオブジェクトは、図６～図７Ｃで説明したウィークネスポイントとなり得る。すなわち、フィルタ基準によりフィルタリングされてからも第１モデル６２０及び第２モデル６３０の結果の違いであると判断された図７Ａの第１オブジェクト７１０ａ及び第５オブジェクト７５０ａは、分類モジュール８２０により分類しにくいと判断されたオブジェクトとなり得る。分類しにくいと判断されたオブジェクトに関する情報は、分類モジュール８２０により自動で収集されて高度な分類基準を習得したユーザ８３０に伝達され、ユーザ８３０は、データのラベリングを完了し、その後ラベリングデータ８３５をラベリングデータ収集モジュール８４０に伝達する。
【0101】
ラベリングデータ収集モジュール８４０は、分類モジュール８２０からの自動でラベリングされたデータ及びユーザ８３０からの手動でラベリングされたデータの全ての伝達を受け、学習モデル８５０がラベリングされたデータを学習するように制御する。学習モデル８５０において、不規則性により学習されないデータは、再び分類モジュール８２０に伝達され、分類モジュール８２０又はユーザ８３０によりラベリングされ、学習モデル８５０に再入力される過程を繰り返し、最終的にローデータ８１０のオブジェクト認識に関する学習が完了したモデルは、予測モデル８６０となり、新たに入力されるローデータ８１０に含まれるオブジェクトを正確に認識できるようになる。
【0102】
上記のように、選別された一部のデータに対してのみ高度な分類基準を習得したユーザ８３０によりラベリングされ、他のデータに対しては自動でラベリングを行う能動学習を適用することにより、本発明による学習モデル８５０は、迅速かつ正確に学習データ（映像のオブジェクトに関する情報）を学習することができ、分類モジュール８２０では図７Ａ～図７Ｃで説明したフィルタ基準が適用されることによって、ユーザ８３０が手動で行わなければならないラベリングの作業量が大幅に減少することができる。すなわち、本発明によれば、既存のラベリング作業により発生する過度なコスト（時間的コスト、金銭的コスト）を最小限に抑えることができる。
【0103】
図９は本発明によるオブジェクト認識率改善方法の一例を示すフローチャートである。
【0104】
【0105】
オブジェクト認識率改善装置は、走行中に取得された第１映像に含まれるオブジェクトを第１認識技法で認識して、第１認識結果を算出することができる（Ｓ９１０）。
【0106】
オブジェクト認識率改善装置は、第２認識技法で第１映像に含まれるオブジェクトを認識した第２認識結果を受信することができる（Ｓ９３０）。
【0107】
オブジェクト認識率改善装置は、第１認識結果及び第２認識結果のばらつきデータを算出することができる（Ｓ９５０）。
【0108】
オブジェクト認識率改善装置は、ステップＳ９５０で算出されたばらつきデータをベースとする情報により第１認識技法で映像に含まれるオブジェクトを認識する第１モデルが学習されるように制御することができる（Ｓ９７０）。
【0109】
図１０は本発明のさらに他の一実施形態によるオブジェクト認識率改善方法を説明するための図である。
【0110】
本選択的一実施形態は、図６～図９で説明したオブジェクト認識率改善方法と同じプロセスを一部共有する。走行中に取得された映像を分析してオブジェクトを認識する構成は同様であるが、同じ映像に異なる認識技法を適用してオブジェクトを認識してばらつきデータを算出している図６の方法とは異なり、本実施形態においては、１つの認識技法により映像に含まれるオブジェクトを認識する。前述の第１モデル６２０、第２モデル６３０と区分するために、本実施形態で映像のオブジェクトを認識するモデルを認識モデルと称する。
【0111】
図１０を参照すると、計４つのフレームが示されており、各フレーム別に最小１つ以上のオブジェクトがフレームの特定位置に位置している。より具体的には、図１０において、ｉ番目のフレーム、ｉ＋１番目のフレーム、ｉ＋３番目のフレームでは上端と下端にそれぞれオブジェクトが存在することが認識されているが、ｉ＋２番目のフレームでは下端のオブジェクトが一時的に消失して上端にのみオブジェクトが存在することが認識されていることが分かる。本実施形態によるオブジェクト認識率改善装置は、図１０のように、特定のオブジェクトに対してトラッキング（ｔｒａｃｋｉｎｇ）が行われている過程で急に特定のフレームでオブジェクトの消失が発生してから短い時間内にオブジェクトが認識された場合をウィークネスポイントとみなし、認識モデルを学習させる学習データに変換することができる。
【0112】
すなわち、本実施形態は、トラッキングが正常に行われたオブジェクトが特定のフレームで消失してから再出現した場合、自律走行自動車のオブジェクト認識モジュールの性能の限界が生じたものであるので、オブジェクト認識モジュールに対する追加学習によりオブジェクト認識性能を向上させるための実施形態として理解することができる。
【0113】
【表4】
【0114】
【0115】
まず、オブジェクト認識率改善装置は、走行中に取得された第１映像から第１オブジェクトを認識することができる（Ｓ１１１０）。ここで、オブジェクト認識率改善装置が第１映像から第１オブジェクトを認識したとは、図１０に示すように、第１映像を構成するフレームの中から第１オブジェクトを認識して第１オブジェクトのサイズ及び種類（ｃｌａｓｓ）に関する情報を把握したことを意味する。
【0116】
次に、オブジェクト認識率改善装置は、第１映像で第１オブジェクトが所定期間消えてから再出現するか否かを検知することができる（Ｓ１１３０）。
【0117】
ここで、所定期間は、少なくとも１つ以上のフレームの時間範囲値であってもよい。収集された第１映像のフレームレートが３０フレーム／秒である場合、所定期間は、０秒～１／３０秒に該当する時間範囲値であってもよい。
【0118】
他の例として、所定期間は、１～３フレームの時間範囲値であってもよく、図１０において、所定期間は、１フレームの時間範囲値であることが分かる。所定期間が３フレームの時間範囲値である場合、ｉ番目のフレームにトラッキングされていた第１オブジェクトがｉ＋１番目のフレームで消失してからｉ＋５番目のフレームで再出現すると、所定期間消えたものとみなすことができる。
【0119】
オブジェクト認識率改善装置は、第１オブジェクトが再出現したことを検知したことに基づいて、第１オブジェクトに関する学習データを算出することができる（Ｓ１１５０）。第１オブジェクトが消えた後、再出現しないか、再出現したとしても所定期間が経過した後に再出現した場合、オブジェクト認識率改善装置は、条件を満たさないとみなし、第１オブジェクトに関する学習データを算出しない。特に、第１オブジェクトが消えた後、所定期間よりさらに長い時間が経過した後に再出現した場合は、認識モデルが認識性能の限界で第１オブジェクトを認識できていないのではなく、他のオブジェクトにより第１オブジェクトが遮蔽されて認識できていない可能性が高いため、学習データを算出する条件を満たすとみなすことができない。
【0120】
ステップＳ１１５０において、学習データは、第１オブジェクトのサイズ、位置、分類コード（ｃｌａｓｓ）、第１オブジェクトが最初に認識された後に所定期間消えてから再出現した履歴（ｈｉｓｔｏｒｙ）に関する情報、第１オブジェクトの信頼度（ｃｏｎｆｉｄｅｎｃｅ）に関する情報のうち少なくとも１つを含んでもよい。
【0121】
オブジェクト認識率改善装置は、ステップＳ１１５０で算出した学習データをベースとする情報により、走行中に取得された映像からオブジェクトを認識する自律走行自動車の認識モデルが学習されるように制御することができる（Ｓ１１７０）。
【0122】
ステップＳ１１７０において、学習データをベースとする情報は、ステップＳ１１５０で算出された学習データを認識モデルに入力できるように少なくとも１回以上さらに加工した情報を意味し、一例として、学習データを予め設定されたフィルタ基準でフィルタリングした情報であってもよい。
【0123】
選択的一実施形態として、予め設定されたフィルタ基準は、第１オブジェクトが第１フレームで認識された後に第２フレームで消えてから第３フレームで再出現する際の一連のフレームの時間の長さに関するフィルタ基準であってもよく、オブジェクト認識率改善装置は、そのフィルタ基準に基づいて、第１フレームと第３フレームとの間の時間の長さが１０フレームの長さよりさらに長い場合にのみ、学習データをベースとする情報が算出されるようにすることができる。前記フィルタ基準は、数個のフレームで十分に長くトラッキングされたオブジェクトのみを選択的に学習することを意味する。
【0124】
他の選択的一実施形態として、予め設定されたフィルタ基準は、第１フレームで認識された後に第２フレームで所定期間消えてから第３フレームで再出現した前記第１オブジェクトの種類を区分するための区分基準であってもよく、オブジェクト認識率改善装置は、その区分基準に基づいて、第１オブジェクトの種類（ｃｌａｓｓ）が乗用車、トラック、バス、不明体（ｍｉｓｃ．）である場合にのみ、学習データをベースとする情報が算出されるようにすることができる。前記フィルタ基準は、自律走行において高い重要度を有するオブジェクトである乗用車、トラック、バス、不明体を重点的に学習することを意味する。
【0125】
さらに他の選択的一実施形態として、予め設定されたフィルタ基準は、第１フレームで認識された後に第２フレームで所定期間消えてから第３フレームで再出現した前記第１オブジェクトのサイズを区分するためのサイズ基準であってもよく、オブジェクト認識率改善装置は、そのサイズ基準に基づいて、第１オブジェクトの高さ（ｈｅｉｇｈｔ）又は幅（ｗｉｄｔｈ）が予め設定されたピクセルを超えると、学習データをベースとする情報が算出されるようにすることができる。前記フィルタ基準は、十分に大きいサイズの第１オブジェクトに対してのみ認識モデルを学習させることを意味する。
【0126】
表４で比較して説明したように、オブジェクトが消失してから再出現した場合、オブジェクトが消失した区間でオブジェクトが完全に消えていないにもかかわらず、認識モデルがオブジェクトを認識できないことは、認識モデルの限られた性能によるものであるので、図８で説明した認識モデルのウィークネスポイントに分類することができ、同じ方式で能動学習（ａｃｔｉｖｅ ｌｅａｒｎｉｎｇ）を適用することができる。
【0127】
すなわち、オブジェクトの分類基準を熟知したユーザの入力により学習データに含まれるオブジェクトの種類が正確にラベリングされると、ラベリングされたデータは、学習データをベースとする情報として、ラベリングデータ収集モジュールを経て認識モデルに入力されるようにすることができる。繰り返し学習により学習が完了した認識モデルは、第２映像が新たな試験データとして入力されると、フレームの漏れなく第２映像の第２オブジェクトを正確に認識できるようになる。
【0128】
図１２は本発明による改善された学習データ映像を生成する方法の一例を概念的に示す概念図である。
【0129】
より具体的には、図１２は本発明により改善された学習データ映像を生成する方法の各ステップを行う主体別に分けて概念的に説明したものであり、映像を取得するステップ、映像からオブジェクトを認識して一部のフレームを検出するステップ、検出されたフレームを統合するステップ、統合されたフレームに対してサンプリングを行うステップを直観的に示している。以下、各ステップ別に行われるプロセスについて具体的に説明する。
【0130】
まず、ステップ１２１０においては、自律走行自動車に装着されたカメラにより、自律走行自動車の走行中に取得された映像を収集することができる。ステップ１２１０で収集される映像は、一定のフレームレート（ｆｒａｍｅｒａｔｅ）を有し、多数のフレームで構成された動画であってもよい。自律走行自動車に装着されたカメラにより撮影されて生成された映像は、有線又は無線を介して本発明による改善された学習データ映像を生成する装置に送信されるようにすることができる。自律走行自動車の走行中に取得された映像は、便宜上、第１映像と称し得る。
【0131】
本発明において、学習データ映像（ｔｒａｉｎｉｎｇ ｄａｔａ ｖｉｄｅｏ）は、映像を分析して映像中のオブジェクトを認識する認識モデルを学習させる目的を有する映像であり、認識モデルは、高い品質の学習データ映像で学習するほど、映像中に含まれるオブジェクトをより正確に認識することができ、低い品質の学習データ映像で学習するほど、映像中に含まれるオブジェクトの認識率が低くなる傾向がある。すなわち、本発明による改善された学習データ映像生成方法は、既知の学習データと比較して、相対的にさらに高い品質の学習データ映像を生成する方法論を提示することができる。
【0132】
次に、ステップ１２２０においては、収集された第１映像にＷＰＤ Ｌａｒｇｅ Ｍｏｄｅｌ（Ｗｅａｋｎｅｓｓ Ｐｏｉｎｔ Ｄｅｔｅｃｔｉｏｎ Ｌａｒｇｅ Ｍｏｄｅｌ）を適用して第１映像に含まれるオブジェクトを認識し、オブジェクトが認識された特定のフレームを検出することができる。ここで、ＷＰＤ Ｌａｒｇｅ Ｍｏｄｅｌは、固有の認識技法により映像中に含まれるオブジェクト（バス、乗用車、トラック、歩行者、二輪車など）を認識し、それらのうち、認識されなければならないが認識されていないオブジェクトがあるか、認識されてはならないがオブジェクトとして認識された場合を区分して処理することにより、その結果、映像中のオブジェクトの認識率を向上させるための学習データを生成する装置に含まれるモデルであってもよい。例えば、図１２のＷＰＤ Ｌａｒｇｅ Ｍｏｄｅｌは、図６の第１モデル６２０、第２モデル６３０、ばらつきデータ算出モジュール６４０及びウィークネスポイント分析モジュール６５０を含む概念となり得る。
【0133】
ステップ１２３０においては、収集された第１映像にＷＰＤ Ｔｒａｃｋｉｎｇを適用して、第１映像に含まれるオブジェクトを認識し、オブジェクトに関する特定のフレームを検出することができる。ここで、ＷＰＤ Ｔｒａｃｋｉｎｇは、前述のＷＰＤ Ｌａｒｇｅ Ｍｏｄｅｌと同様に、固有の認識技法により映像中に含まれるオブジェクトを認識し、その認識された結果を分析して特定のフレームを検出するモデルであってもよい。例えば、図１２のＷＰＤ Ｔｒａｃｋｉｎｇは、図１０及び図１１を用いて説明したトラッキングアルゴリズムを実現するモデルであってもよい。すなわち、第１映像で特定のオブジェクトが認識されてトラッキングが開始された状態で、トラッキングが開始されたオブジェクトが一時的（いくつかのフレームの間）に消失してから再出現した場合、図１２のＷＰＤ Ｔｒａｃｋｉｎｇは、トラッキングが行われていないフレームの番号を特定して結果値が算出し、当該フレームを合算して認識モデルのオブジェクト認識率を向上させるための学習データ映像（ｔｒａｉｎｉｎｇ ｄａｔａ ｖｉｄｅｏ）を生成することができる。
【0134】
以下、認識技法は、第１映像から自律走行自動車の自律走行に影響を与える可能性のある道路上のオブジェクト（乗用車、トラック、バス、二輪車、歩行者など）を認識するアルゴリズムを示すものとみなし、検出技法は、認識技法により映像中のオブジェクトが認識されると、その認識結果を分析した結果に基づいて、映像を構成する多数のフレームの中から特定のフレームを検出するアルゴリズムを示すものとみなす。例えば、図６の第１モデル６２０及び第２モデル６３０は、認識技法を行う認識モデルの一例となり得、図１２のＷＰＤ Ｌａｒｇｅ Ｍｏｄｅｌ及びＷＰＤ Ｔｒａｃｋｉｎｇは、検出技法を行うモデルの一例となり得る。
【0135】
次に、ステップ１２４０においては、ＷＰＤ Ｌａｒｇｅ Ｍｏｄｅｌ又はＷＰＤ Ｔｒａｃｋｉｎｇの処理結果として特定されたフレームを収集して統合するプロセスを行うことができる。ステップ１２２０及びステップ１２３０で行われた検出技法によってもオブジェクト認識率を向上させるための学習データを収集することができるが、ＷＰＤ Ｌａｒｇｅ Ｍｏｄｅｌベースの検出技法は、用いられる２つの認識モデルのいずれによってもオブジェクトとして認識されていない部分は継続して認識されないという限界があり、ＷＰＤ Ｔｒａｃｋｉｎｇベースの検出技法は、最初にオブジェクトとして認識されていない部分に対しては初めからトラッキングが除外されるという限界があるので、本発明においては、異なる検出技法の結果データを統合することにより、上記技術的限界を克服する方法を提案する。
【0136】
例えば、ＷＰＤ Ｌａｒｇｅ Ｍｏｄｅｌにより検出された第１映像のフレームの番号が１、５、１４、１６、３２、５０であり、ＷＰＤ Ｔｒａｃｋｉｎｇにより検出された第１映像のフレームの番号が１４、５２である場合、ステップ１２４０において、統合されたフレームの番号は、１、５、１４、１６、３２、５０、５２となり、以下では、統合されたフレームをフレームセット（ｆｒａｍｅ ｓｅｔ）と総称する。
【0137】
ステップ１２５０においては、統合されたフレームに対してサンプリング（ｓａｍｐｌｉｎｇ）プロセスを行うことができる。ステップ１２５０において、サンプリングを行うことは、同じ映像で検出技法のみを変えてフレームを選別したため、連続したフレーム間には非常に類似した情報が含まれるという点と、ステップ１２２０及びステップ１２３０で検出されるフレームの数が多すぎる場合、取得される「学習データ映像」に不要に多い情報が含まれるため、オブジェクト認識率の過剰適合（ｏｖｅｒｆｉｔｔｉｎｇ）が発生する可能性がある点を総合的に考慮したものである。
【0138】
本発明において、統合された多数のフレームに対してサンプリングを行う方法には様々な方法が含まれる。例えば、所定の時間間隔をおいて、時間間隔毎に含まれるフレームの中からランダム（ｒａｎｄｏｍｌｙ）にサンプリングを行う方法が挙げられる。フレームレートが一定の状態で、統合されたフレームの番号が１、５、１４、１６、３２、５０である場合、１０個のフレーム毎にサンプリングが行われると、サンプリングされた結果には、１と５のいずれか１つのフレーム、１４と１６の間のいずれか１つのフレームが３２番フレーム及び５０番フレームと共にサンプリングされることにより、計４つのフレームがサンプリングされるようにしてもよい。本発明による装置は、サンプリングされた４つのフレームを時系列順に結合して改善された学習データ映像を生成することができ、本発明による装置が第１映像で一連のプロセスを経て生成する学習データ映像は第２映像と別称し、以下、本発明による装置は第２映像生成装置と称する。また、第２映像生成装置は、図５～図１１を用いて説明したオブジェクト認識率改善装置を物理的又は論理的に含む形態で実現されてもよい。
【0139】
一実施形態として、ステップ１２５０において、フレームセットに含まれるフレームに対してサンプリングを行うために、フレームグループ（ｆｒａｍｅ ｇｒｏｕｐ）が用いられてもよい。より具体的には、第２映像生成装置は、ステップ１２４０で生成されるフレームセットに基づいて、少なくとも１つ以上のフレームを含み、互いに重複しないフレームを含むフレームグループを生成し、その後フレームグループ別にフレームを抽出し、抽出されたフレームを結合して第２映像を生成することができる。
【0140】
【表5】
【0141】
実施形態によって、第２映像生成装置は、フレームグループ別に１つのフレームを抽出して第２映像を生成することもでき、フレームグループ毎に設定された重み又はフレームグループに属するフレーム別に設定された重みによって、フレームグループ別に数個のフレームを抽出して第２映像を生成することもできる。
【0142】
一例として、フレームグループ毎に設定された重みは、各フレームグループに含まれるフレームの数に基づいて決定された値であってもよい。フレームグループＡに１０個のフレームが含まれ、フレームグループＢに５つのフレームが含まれる場合、第２映像生成装置は、フレームグループＡ、Ｂの重みの比率が２：１であることに基づいて、フレームグループＡで２つのフレームを選別し、フレームグループＢで１つのフレームを選別する方式でサンプリングを行うことができる。
【0143】
他の例として、第２映像生成装置は、フレームグループに属する特定のフレームに設定された重みを考慮して各フレームグループでフレームを抽出することもできる。表５において、第１検出技法及び第２検出技法のどちらでも検出されたフレームの番号は１４であり、第１映像の１４番フレームは他のフレームに比べてさらに高い重みを有する。すなわち、フレーム別にメタデータとして重みをそれぞれ設定することができ、様々な検出技法により重複して検出されるフレームであるほど、さらに高い重みを設定することができることを意味する。特に、図１２と表５は計２つの検出技法について説明しているが、後述する図１３のように検出技法が３つ以上に増えた場合、フレームセットに含まれるフレームは、それぞれ様々な大きさの重みを設定することができる。第２映像生成装置は、数個のフレームグループでフレームをサンプリングすることにより高い重みを有するフレームを必須に選択し、その結果、第２映像には高い重みを有するフレームが含まれることになる。
【0144】
さらに他の実施形態として、フレームグループに属する特定のフレームに設定された重みは、検出技法毎に個別に設定された重みに依存する値であってもよい。例えば、第１検出技法、第２検出技法、第３検出技法が存在し、第１検出技法の重みが１、第２検出技法の重みが２、第３検出技法の重みが３であると仮定すると、第１検出技法及び第２検出技法により重複して検出されたフレームの重みは、第１検出技法及び第３検出技法により重複して検出されたフレームの重みよりさらに低く、第１検出技法及び第３検出技法により重複して検出されたフレームの重みは、第２検出技法及び第３検出技法により重複して検出されたフレームの重みよりさらに低い。つまり、本発明において、フレームセットに含まれるフレームは、各フレームが属するフレームグループだけでなく、各フレームが検出された検出技法毎に設定された値により最終的に決定される重みという情報をメタデータとして有し、そのような重みは、第２映像生成装置が行うサンプリングプロセスにおいて有効に作用する要素となり得る。
【0145】
【0146】
図１３を図１２と比較すると、走行中に取得された第１映像が入力されて第２映像生成装置の入力データとなる点（ステップ１３１０）と、多数の検出技法により検出されたフレームがフレームセットに統合され（ステップ１３４０）、統合された後にサンプリングされる点（ステップ１３５０）は共通し、入力された第１映像にオブジェクト認識アルゴリズムが適用され、オブジェクトが認識されたフレームを検出するプロセス（１３２０Ａ～１３３０Ｂ）のみ差別化されることが分かる。
【0147】
特に、図１２においては、検出技法を行って第２映像の基礎となるフレームを検出する主体が２つ（ＷＰＤ Ｌａｒｇｅ Ｍｏｄｅｌ及びＷＰＤ Ｔｒａｃｋｉｎｇ）であるが、図１３においては、４つ以上になり得ることが図式的に示されている。
【0148】
図１３において、Ｌａｒｇｅ Ｍｏｄｅｌ １及びＬａｒｇｅ Ｍｏｄｅｌ ２は、前述のように、それぞれ固有の認識技法で第１映像に含まれるオブジェクトを認識する認識技法を処理するＷＰＤ Ｌａｒｇｅ Ｍｏｄｅｌに関する認識モデルを意味し、識別番号によって用いられる認識技法の組み合わせが異なるという特徴を有する。例えば、Ｌａｒｇｅ Ｍｏｄｅｌ １は、表２で説明したＹｏｌｏＶ４－ＣＳＰをベースとして第１映像のオブジェクトを認識するアルゴリズム及び表３で説明したＹｏｌｏＶ４－Ｐ７をベースとして第１映像のオブジェクトを認識するアルゴリズムを用いてフレームを検出する検出技法であってもよく、Ｌａｒｇｅ Ｍｏｄｅｌ ２は、ＹｏｌｏＶ４－Ｐ５をベースとして第１映像のオブジェクトを認識するアルゴリズム及び表３で説明したＹｏｌｏＶ４－Ｐ６をベースとして第１映像のオブジェクトを認識するアルゴリズムを用いてフレームを検出する検出技法であってもよい。
【0149】
また、図１３において、Ｔｒａｃｋｉｎｇ １及びＴｒａｃｋｉｎｇ ２は、図１０及び図１１で説明したＷＰＤ トラッキングアルゴリズムの異なるバージョンを意味する。特に、ＷＰＤ Ｔｒａｃｋｉｎｇの場合、一度認識されたオブジェクトが所定期間消失してから再出現する時間基準によって様々なバージョンがあり得、例えば、図１３において、Ｔｒａｃｋｉｎｇ １は、一度認識されたオブジェクトが３つのフレームの間消失してから再出現した場合、ウィークネスポイントとみなしてフレームを検出する検出技法であり、Ｔｒａｃｋｉｎｇ ２は、一度認識されたオブジェクトが２つのフレームの間消失してから再出現した場合、フレームを検出する検出技法であり得る。
【0150】
図１３にはＷＰＤ Ｌａｒｇｅ Ｍｏｄｅｌとトラッキングアルゴリズムのみ記述されているが、実施形態によって、ＳＯＲＴ（Ｓｉｍｐｌｅ Ｏｎｌｉｎｅ ａｎｄ Ｒｅａｌｔｉｍｅ Ｔｒａｃｋｉｎｇ）、Ｂｙｔｅｔｒａｃｋ、ＳｔｒｏｎｇＳＯＲＴなどの様々なオブジェクト認識アルゴリズムをさらに追加することができる。
【0151】
すなわち、図１３において、第１映像中でオブジェクトを認識して認識されたオブジェクトに対して様々な方式でフレームを検出する技法は、各検出技法が用いる基本検出アルゴリズム、学習データなどによってその数が限られていないので、図１３においては計４つの検出技法が示されているが、実施形態によって、４つよりさらに少ないか又はさらに多い検出技法を用いることもできる。また、図１２で説明したものと同様に、検出技法の数が４つ以上になっても、図１２で説明した様々な実施形態を全て適用することができる。
【0152】
図１４は本発明による第２映像生成方法の一例を示すフローチャートである。
【0153】
【0154】
第２映像生成装置は、走行中に取得された第１映像に少なくとも２つ以上の認識技法を適用して、前記第１映像に含まれるオブジェクトを認識することができる（Ｓ１４１０）。
【0155】
第２映像生成装置は、ステップＳ１４１０でオブジェクトを認識した結果に少なくとも２つ以上の検出技法を適用して、検出技法別にフレームを検出することができる（Ｓ１４３０）。
【0156】
第２映像生成装置は、ステップＳ１４３０で検出されたフレームを統合して複数のフレームを含むフレームセットを生成することができる（Ｓ１４５０）。
【0157】
第２映像生成装置は、統合されたフレームセットをサンプリングして第２映像を生成することができる（Ｓ１４７０）。
【0158】
ステップＳ１４７０で生成された第２映像は、検出技法を多様化して固有の特徴に応じてサンプリングする方法により、既存の方法で生成された学習データと比較して、オブジェクト認識率の向上にさらに役に立つ良質な学習データとなり得る。
【0159】
図１５は一実施形態による第２映像生成装置のブロック図である。
【0160】
図１５を参照すると、第２映像生成装置１５００は、通信部１５１０、プロセッサ１５２０及びＤＢ１５３０を含んでもよい。図１５の第２映像生成装置１５００には、実施形態に関連する構成要素のみ示されている。よって、図１５に示す構成要素に加えて他の汎用の構成要素をさらに含んでもよいことは、当該技術分野における通常の知識を有する者であれば理解するであろう。
【0161】
通信部１５１０は、外部サーバ又は外部装置との有線／無線通信を可能にする１つ以上の構成要素を含んでもよい。例えば、通信部１５１０は、近距離通信部（図示せず）、移動通信部（図示せず）及び放送受信部（図示せず）の少なくとも１つを含んでもよい。
【0162】
ＤＢ１５３０は、第２映像生成装置１５００内で処理される各種データを保存するハードウェアであって、プロセッサ１５２０の処理及び制御のためのプログラムを保存することができる。
【0163】
ＤＢ１５３０は、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）などのＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＣＤ－ＲＯＭ、ブルーレイ又は他の光ディスクストレージ、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、又はフラッシュメモリを含む。
【0164】
プロセッサ１５２０は、第２映像生成装置１５００の全般的な動作を制御する。例えば、プロセッサ１５２０は、ＤＢ１５３０に保存されたプログラムを実行することにより、入力部（図示せず）、ディスプレイ（図示せず）、通信部１５１０、ＤＢ１５３０などを全般的に制御することができる。プロセッサ１５２０は、ＤＢ１５３０に保存されたプログラムを実行することにより、第２映像生成装置１５００の動作を制御することができる。
【0165】
【0166】
一例として、プロセッサ１５２０は、図６～図９で説明したように、自動車が走行中に取得された第１映像に含まれるオブジェクトを第１認識技法で認識して第１認識結果を算出し、第２認識技法で第１映像に含まれるオブジェクトを認識した第２認識結果を受信し、第１認識結果及び前記第２認識結果のばらつきデータを算出し、算出されたばらつきデータをベースとする情報により第１認識技法で動作する第１モデルが学習されるように制御することができる。
【0167】
他の例として、プロセッサ１５２０は、図１０及び図１１で説明したように、走行中に取得された第１映像から第１オブジェクトを認識し、第１映像で第１オブジェクトが所定期間消えてから再出現することを検知し、第１オブジェクトが再出現することを検知すると、第１オブジェクトに関する学習データを算出し、算出された学習データをベースとする情報により、映像に含まれるオブジェクトを認識する認識モデルが学習されるように制御することができる。
【0168】
さらに他の例として、プロセッサ１５２０は、走行中に取得された第１映像に少なくとも２つ以上の認識技法を適用して、第１映像に含まれるオブジェクトを認識し、オブジェクトを認識した結果に少なくとも２つ以上の検出技法を適用して、検出技法別にフレームを検出し、検出されたフレームを統合して複数のフレームを含むフレームセットを生成し、統合されたフレームセットをサンプリングして第２映像を生成することができる。
【0169】
プロセッサ１５２０は、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、コントローラ（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラ（ｍｉｃｒｏ－ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、その他の機能の実行のための電気ユニットの少なくとも１つを用いて実現することができる。
【0170】
【0171】
まず、オブジェクト認識率改善装置は、走行中に取得された第１映像から第１オブジェクトを認識することができる（Ｓ１６１０）。ここで、オブジェクト認識率改善装置が第１映像から第１オブジェクトを認識したとは、図１６に示すように、第１映像を構成するフレームの中から第１オブジェクトを認識して第１オブジェクトのサイズ及び種類（ｃｌａｓｓ）に関する情報を把握したことを意味する。
【0172】
次に、オブジェクト認識率改善装置は、第１映像（第１フレーム）で第１オブジェクトが所定期間消えてから再出現するか否かを検知することができる（Ｓ１６３０）。
【0173】
ここで、所定期間は、少なくとも１つ以上のフレームの時間範囲値であってもよい。収集された第１映像のフレームレートが３０フレーム／秒である場合、所定期間は、０秒～１／３０秒に該当する時間範囲値であってもよい。
【0174】
他の例として、所定期間は、１～３フレームの時間範囲値であってもよく、図１６において、所定期間は、１フレームの時間範囲値であることが分かる。仮に、所定期間が３フレームの時間範囲値である場合、ｉ番目のフレームにトラッキングされていた第１オブジェクトがｉ＋１番目のフレームで消失してからｉ＋５番目のフレームで再出現すると、所定期間消えたものとみなすことができる。
【0175】
オブジェクト認識率改善装置は、第１オブジェクトが再出現したことを検知したことに基づいて、第１オブジェクトに関する学習データを算出することができる（Ｓ１６５０）。また、オブジェクト認識率改善装置は、第１オブジェクトが再出現したことを検知したことに基づいて、第１オブジェクトが所定期間消えて認識されていないと判断された前のフレームに第１オブジェクトが認識されているものとみなすことができる。
【0176】
例えば、図６において、ｉ番目のフレーム、ｉ＋１番目のフレームで第１オブジェクトが認識されており、ｉ＋２番目のフレームで第１オブジェクトが消えてから、ｉ＋３番目のフレームで第１オブジェクトが再び認識された場合、オブジェクト認識率改善装置に含まれるオブジェクト認識装置（オブジェクト認識モジュール）では依然としてｉ＋２番目のフレームの第１オブジェクトを認識することができないが、ｉ＋２番目のフレームにもｉ番目のフレーム、ｉ＋１番目のフレーム、ｉ＋３番目のフレームで認識された第１オブジェクトがあるものとみなされる。
【0177】
第１オブジェクトが消えた後、再出現しないか、再出現したとしても所定期間が経過した後に再出現した場合、オブジェクト認識率改善装置は、条件を満たさないとみなし、第１オブジェクトに関する学習データを算出しない。特に、第１オブジェクトが消えた後、所定期間よりさらに長い時間が経過した後に再出現した場合は、認識モデルが認識性能の限界で第１オブジェクトを認識できていないのではなく、他のオブジェクトにより第１オブジェクトが遮蔽されて認識できていない可能性が高いため、学習データを算出する条件を満たすとみなすことができない。
【0178】
ステップＳ１６５０において、学習データは、第１オブジェクトのサイズ、位置、分類コード（ｃｌａｓｓ）、第１オブジェクトが最初に認識された後に所定期間消えてから再出現した履歴（ｈｉｓｔｏｒｙ）に関する情報、第１オブジェクトの信頼度（ｃｏｎｆｉｄｅｎｃｅ）に関する情報のうち少なくとも１つを含んでもよい。
【0179】
オブジェクト認識率改善装置は、ステップＳ１６５０で算出した学習データをベースとする情報により、走行中に取得された映像からオブジェクトを認識する自律走行自動車の認識モデルが学習されるように制御することができる（Ｓ１６７０）。
【0180】
ステップＳ１６７０において、学習データをベースとする情報は、ステップＳ１６５０で算出された学習データを認識モデルに入力できるように少なくとも１回以上さらに加工した情報を意味し、一例として、学習データを予め設定されたフィルタ基準でフィルタリングした情報であってもよい。
【0181】
図１６で説明したトラッキングアルゴリズムは、カルマンフィルタ（Ｋａｌｍａｎ Ｆｉｌｔｅｒ）ベースのＳＯＲＴ（Ｓｉｍｐｌｅ Ｏｎｌｉｎｅ ａｎｄ Ｒｅａｌｔｉｍｅ Ｔｒａｃｋｉｎｇ）アルゴリズムで実現されてもよいが、それに限定されるものではない。特に、カルマンフィルタをベースとするトラッキングアルゴリズムは、２Ｄバウンディングボックスに対して正常に動作する特性を有し、トラッキングアルゴリズムを行った結果情報も２Ｄバウンディングボックスで提供する特性を有し、本発明で説明したトラッキングアルゴリズムも同じ特性を有することができる。
【0182】
選択的一実施形態として、予め設定されたフィルタ基準は、第１オブジェクトが第１フレームで認識された後に第２フレームで消えてから第３フレームで再出現する際の一連のフレームの時間の長さに関するフィルタ基準であってもよく、オブジェクト認識率改善装置は、そのフィルタ基準に基づいて、第１フレームと第３フレームとの間の時間の長さが１０フレームの長さよりさらに長い場合にのみ、学習データをベースとする情報が算出されるようにすることができる。前記フィルタ基準は、数個のフレームで十分に長くトラッキングされたオブジェクトのみを選択的に学習することを意味する。
【0183】
他の選択的一実施形態として、予め設定されたフィルタ基準は、第１フレームで認識された後に第２フレームで所定期間消えてから第３フレームで再出現した前記第１オブジェクトのサイズを区分するためのサイズ基準であってもよく、オブジェクト認識装置は、そのサイズ基準に基づいて、第１オブジェクトの高さ（ｈｅｉｇｈｔ）又は幅（ｗｉｄｔｈ）が予め設定されたピクセルを超えると、学習データをベースとする情報が算出されるようにすることができる。前記フィルタ基準は、十分に大きいサイズの第１オブジェクトに対してのみ認識モデルを学習させることを意味する。
【0184】
図１７は本発明による映像中のオブジェクトのキューボイドを説明するための図である。
【0185】
図１７を参照すると、オブジェクト認識率改善装置は、映像から２つのオブジェクトを認識してから、その認識の結果としてオブジェクト別に外郭線１７１０ａ、１７３０ａを生成したことが分かり、オブジェクト認識率改善装置は、生成された外郭線１７１０ａ、１７３０ａに基づいて、オブジェクト別にキューボイド（ｃｕｂｏｉｄ）を生成することができる。すなわち、バイク（ｔｗｏ ｗｈｅｅｌｅｒ）の外郭線１７１０ａは、バイクのキューボイド１７１０ｂを生成するための基礎情報となり得、乗用車（ｃａｒ）の外郭線１７３０ａは、乗用車のキューボイド１７３０ｂを生成するための基礎情報となり得る。
【0186】
本発明において、キューボイドは、２つの多角形が共通する辺を基にして結合した形態で生成されてもよく、２つの多角形のうち、１つはオブジェクトの前面（ｆｒｏｎｔ）又は背面（ｒｅａｒ）を示し、他の１つはオブジェクトの側面を示す多角形であってもよい。実施形態によって、キューボイドは、図１７に示すように、オブジェクトの前面（ｆｒｏｎｔ）及び背面（ｒｅａｒ）は長方形で表示され、左側面（ｌｅｆｔ）及び右側面（ｒｉｇｈｔ）は平行な辺の長さが異なる台形で表示されてもよい。
【0187】
【表6】
【0188】
他の例として、キューボイドは、８つの座標値で構成されてもよい。図１７に示されていないが、オブジェクトの遠近感を生かすためにオブジェクトを直方体形状の第２外郭線で取り囲む場合、オブジェクトのキューボイドを形成するために必要な座標は計８つであり、必要な座標値は計８つ（ｘ１、ｘ２、ｘ３、ｘ４、ｙ１、ｙ２、ｙ３、ｙ４）である。
【0189】
図１７に示すように、映像（又は、フレーム）から直ちに認識されたオブジェクトに対しては２Ｄバウンディングボックス形態の外郭線が生成され、その外郭線の座標を基にしてキューボイドが生成されてもよいが、図１０及び図１６で説明したトラッキングアルゴリズムによりフレームでオブジェクトが認識されていないが、トラッキングアルゴリズムを適用した結果として当該フレームにオブジェクトが認識されているものとみなされる場合、依然として、当該フレームにオブジェクトの外郭線が生成されているわけではない。すなわち、オブジェクト認識率改善装置（オブジェクト認識装置）のオブジェクト認識性能の限界によりオブジェクトが認識されていないが、元通りであればオブジェクトが認識されていなければならないフレームのオブジェクトに対してもキューボイドを取得する必要性があり、それに関する具体的な方法については、図１８及び図１９を用いて後述する。
【0190】
図１８は本発明による映像中のオブジェクトのキューボイドを取得する方法を概略的に説明するための概略図である。
【0191】
以下、本発明による映像中のオブジェクトのキューボイドを取得する方法を実現する装置は「キューボイド取得装置」と略称する。
【0192】
まず、キューボイド取得装置は、映像の入力を受ける（Ｓ１８１０）。ステップＳ１８１０でキューボイド取得装置に入力される（受信される）映像は、少なくとも２つ以上のフレームを含み、車両の走行中に車両に装着されたカメラで撮影された映像であってもよい。
【0193】
キューボイド取得装置は、ステップＳ１８１０で受信した映像に対してオブジェクト認識プロセスを適用してオブジェクトを認識することができる（Ｓ１８２０）。ここで、オブジェクト認識プロセスは、オブジェクト認識装置（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｏｒ）により行われてもよいことは既に説明した通りである。
【0194】
キューボイド取得装置は、ステップＳ１８１０で受信した映像に対してトラッキングアルゴリズムを適用してオブジェクトが認識されていないフレームでオブジェクトが認識されていなければならないか否かを判断することができる（Ｓ１８３０）。ここで、トラッキングアルゴリズムとしては、前述のカルマンフィルタベースのＳＯＲＴアルゴリズムが用いられてもよく、実施形態によって、ＳＯＲＴ以外の他のアルゴリズムが用いられてもよい。
【0195】
キューボイド取得装置は、ステップＳ１８２０及びＳ１８３０の結果を統合（ａｓｓｏｃｉａｔｉｏｎ）することができる（Ｓ１８４０）。ステップＳ１８４０でオブジェクト認識プロセス及びトラッキングアルゴリズムの結果を統合することは、オブジェクト認識プロセスでは検出（オブジェクトが認識）されていないが、トラッキングアルゴリズムによりオブジェクトが検出されている場合を判別するためである。ステップＳ１８４０の統合過程において、後述するステップＳ１８５０でオブジェクトの有無を判断する上で必要ないフレームを除外することができる。
【0196】
キューボイド取得装置は、ステップＳ１８２０及びＳ１８３０の結果を統合した状態で、オブジェクト認識プロセスにより直ちにオブジェクトが認識されていなければならないが認識されておらず、トラッキングアルゴリズムによってのみ認識されているオブジェクトの有無を判断することができる（Ｓ１８５０）。ステップＳ１８５０で判断されたオブジェクトは、消失したオブジェクト（ｍｉｓｓｅｄ ｏｂｊｅｃｔ）に分類されて別のメタデータが付与されてもよく、後述するステップＳ１８６０でキューボイド変換処理が行われる。一例として、ステップＳ１８５０においては、ハンガリアンアルゴリズム（Ｈｕｎｇａｒｉａｎ ａｌｇｏｒｉｔｈｍ）を適用することができる。
【0197】
ステップＳ１８５０で消失したオブジェクトがあると判断されると、キューボイド取得装置は、当該オブジェクトのキューボイドの座標を生成することができる（Ｓ１８６０）。ステップＳ１８５０で消失したオブジェクトがないと判断されると、別のキューボイドの変換を行わず、キューボイド取得装置の機能は終了することができる（Ｓ１８７０）。
【0198】
【表7】
【0199】
次に、表７は、第１フレームでオブジェクトが直ちに認識されており、第２フレームでトラッキング（ｔｒａｃｋｉｎｇ）アルゴリズムによりオブジェクトが認識されているとみなす結果を示している。前述の２つの結果を比較すると、表７の第２フレームでオブジェクトが認識されていなければならないが認識されておらず、トラッキングアルゴリズムによってのみ認識されていることが分かる。表７には記述されていないが、第２フレーム以降に位置する第３フレームが存在し、第３フレームではオブジェクトが認識されているのでトラッキングアルゴリズムが適用され、第２フレームでオブジェクトが認識とみなされることが分かる。
【0200】
表７において、オブジェクトが直ちに認識されている第１フレームでは、オブジェクトを取り囲む外郭線とキューボイドが本発明によるキューボイド取得装置により生成されてもよい。キューボイド取得装置は、オブジェクトを取り囲む外郭線（２Ｄバウンディングボックス）が生成されると、２Ｄバウンディングボックスの座標値を用いて、表６で説明したように、オブジェクト別にキューボイドを生成することができる。
【0201】
一方、表７において、オブジェクトが直ちに認識されておらず、認識とみなされる第２フレームでは、外郭線が直ちに生成されず、キューボイド取得装置は、第２フレームを基準として前後のフレーム（第１フレーム及び第３フレームなど）に生成されている外郭線の座標値を用いて、第２フレームで認識とみなされるオブジェクトの外郭線の座標を間接的に取得することになる。
【0202】
最後に、表７に記載されているように、第２フレームで認識とみなされるオブジェクトのキューボイドは、第２フレームに外郭線が生成されていないので取得することができず、本発明においては、第１フレームで認識されているオブジェクトの外郭線、第２フレームで認識とみなされるオブジェクトの外郭線、第１フレームで認識されているオブジェクトのキューボイドの座標を総合的に考慮して、第２フレームで認識とみなされるオブジェクトのキューボイドの座標を取得する方法を提案し、それについては図１９及び図２０を用いて後述する。
【0203】
図１９は本発明によるキューボイド取得装置により行われる線形マッピング方法を説明するための図である。
【0204】
以下、説明の便宜上、表７を参照して説明し、第１フレームにある外郭線及びキューボイドは第１外郭線及び第１キューボイドと称し、第２フレームにある外郭線及びキューボイドは第２外郭線及び第２キューボイドと称する。
【0205】
本発明によるキューボイド取得装置は、既に定められている第１外郭線及び第２外郭線の座標値を用いて、変換関係値（ｔｒａｎｓｆｏｒｍ ｖａｌｕｅ）を算出することができる。一例として、変換関係値は、アフィン変換行列（Ａｆｆｉｎｅ Ｔｒａｎｓｆｏｒｍ Ｍａｔｒｉｘ）であってもよい。図１９を参照すると、図１９の左側の３つの点の座標に対して、アフィン変換が適用されると、図１９の右側の３つの点の座標に変換されることが分かる。アフィン変換行列は、平行移動（ｔｒａｎｓｌａｔｉｏｎ）、スケーリング（ｓｃａｌｉｎｇ）、せん断（ｓｈｅａｒ）、回転（ｒｏｔａｔｉｏｎ）に関する行列で表すことができる。
【0206】
【数1】
【0207】
【数2】
【0208】
【数3】
【0209】
【数4】
【0210】
【数5】
【0211】
本発明によるキューボイド取得装置は、数式１～数式５により、第２フレームでの第２キューボイドを取得することができる。
【0212】
図２０は本発明によるキューボイド取得装置により行われる線形マッピング方法の他の一例を説明するための図である。
【0213】
図２０を参照すると、図２０の左側４つの点の座標に対して、パースペクティブ変換（ｐｅｒｓｐｅｃｔｉｖｅ ｔｒａｎｓｆｏｒｍ）が適用されると、図２０の右側４つの点の座標に変換されることが分かる。図１９及び図２０を参照すると、第１外郭線及び第２外郭線の座標値が少なくとも３つ以上与えられ、第１キューボイドの座標値が与えられると、本発明によるキューボイド取得装置により、第２キューボイドの座標値も取得できることが分かる。
【0214】
図２１は本発明によるキューボイド取得方法の一例を示すフローチャートである。
【0215】
【0216】
キューボイド取得装置は、映像からオブジェクトを認識し、オブジェクトが認識されている第１フレーム及びオブジェクトが認識されていない第２フレームを特定することができる（Ｓ２１１０）。
【0217】
キューボイド取得装置は、第１フレームでオブジェクトの第１外郭線を生成し、第１外郭線を構成する第１座標値に基づいてオブジェクトの第１キューボイドの座標を取得することができる（Ｓ２１３０）。
【0218】
キューボイド取得装置は、第２フレームでオブジェクトが認識されていなければならないか否かを判断し、判断した結果に基づいて、第２フレームでのオブジェクトの第２外郭線を生成することができる（Ｓ２１５０）。ステップＳ２１５０において、キューボイド取得装置は、第２フレームの周辺フレームで認識されているオブジェクト（又は、そのオブジェクトの外郭線）で把握できることは表３を用いて前述した。ここで、周辺フレームは、第１フレーム及び第３フレームのように、第２フレームの前後に配置されているフレームであり得る。また、周辺フレームの数やフレームの番号は、本発明で適用されるトラッキングアルゴリズムが、一度認識されたオブジェクトが所定期間消失してから再び再出現した場合、その所定期間をどのくらいの時間の長さに設定するかによって異なり得る。
【0219】
キューボイド取得装置は、第１外郭線を構成する第１座標値及び第２外郭線を構成する第２座標値間の変換関係値を算出することができる（Ｓ２１７０）。
【0220】
キューボイド取得装置は、第１キューボイドの座標に変換関係値を適用して第２フレームでのオブジェクトの第２キューボイドの座標を算出することができる（Ｓ２１９０）。
【0221】
図２２は一実施形態によるキューボイド取得装置のブロック図である。
【0222】
図２２を参照すると、キューボイド取得装置２２００は、通信部２２１０、プロセッサ２２２０及びＤＢ２２３０を含んでもよい。図２２のキューボイド取得装置２２００には、実施形態に関連する構成要素のみ示されている。よって、図２２に示す構成要素に加えて他の汎用の構成要素をさらに含んでもよいことは、当該技術分野における通常の知識を有する者であれば理解するであろう。
【0223】
通信部２２１０は、外部サーバ又は外部装置との有線／無線通信を可能にする１つ以上の構成要素を含んでもよい。例えば、通信部２２１０は、近距離通信部（図示せず）、移動通信部（図示せず）及び放送受信部（図示せず）の少なくとも１つを含んでもよい。
【0224】
ＤＢ２２３０は、キューボイド取得装置２２００内で処理される各種データを保存するハードウェアであって、プロセッサ２２２０の処理及び制御のためのプログラムを保存することができる。
【0225】
ＤＢ２２３０は、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）などのＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＣＤ－ＲＯＭ、ブルーレイ又は他の光ディスクストレージ、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、又はフラッシュメモリを含む。
【0226】
プロセッサ２２２０は、キューボイド取得装置２２００の全般的な動作を制御する。例えば、プロセッサ２２２０は、ＤＢ２２３０に保存されたプログラムを実行することにより、入力部（図示せず）、ディスプレイ（図示せず）、通信部２２１０、ＤＢ２２３０などを全般的に制御することができる。プロセッサ２２２０は、ＤＢ２２３０に保存されたプログラムを実行することにより、キューボイド取得装置２２００の動作を制御することができる。
【0227】
プロセッサ２２２０は、上述したキューボイド取得装置２２００の動作の少なくとも一部を制御することができる。
【0228】
一例として、プロセッサ２２２０は、図１７～図２１で説明したように、映像からオブジェクトを認識し、オブジェクトが認識されている第１フレーム及びオブジェクトが認識されていない第２フレームを特定し、第１フレームでオブジェクトの第１外郭線を生成し、第１外郭線を構成する第１座標値に基づいてオブジェクトの第１キューボイドの座標を取得し、第２フレームでオブジェクトが認識されていなければならないか否かを判断し、判断した結果に基づいて、第２フレームでのオブジェクトの第２外郭線を生成し、第１外郭線を構成する第１座標値及び第２外郭線を構成する第２座標値間の変換関係値を算出し、その後第１キューボイドの座標に変換関係値を適用して第２フレームでのオブジェクトの第２キューボイドの座標を算出することができる。
【0229】
プロセッサ２２２０は、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、コントローラ（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラ（ｍｉｃｒｏ－ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、その他の機能の実行のための電気ユニットの少なくとも１つを用いて実現することができる。
【0230】
図２３は本発明によるオブジェクト認識率向上方法を概略的に説明するための概略図である。
【0231】
以下、本発明による方法を実現する装置は「オブジェクト認識率向上装置」と略称する。
【0232】
まず、オブジェクト認識率向上装置は、映像の入力を受ける（Ｓ２３１０）。ステップＳ２３１０で装置に入力される（受信される）映像は、少なくとも２つ以上のフレームを含み、車両の走行中に車両に装着されたカメラで撮影された動画（ｖｉｄｅｏ）であってもよい。
【0233】
オブジェクト認識率向上装置は、ステップＳ２３１０で受信した映像に対してオブジェクト認識プロセスを適用してオブジェクトを認識することができる（Ｓ２３２０）。ここで、オブジェクト認識プロセスは、オブジェクト認識率向上装置に含まれるオブジェクト認識装置（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｏｒ）により行われてもよい。オブジェクト認識装置は、内部に設定されたオブジェクト認識アルゴリズムにより、映像のフレームに含まれる様々なオブジェクトのうち、車両の自律走行機能を実現するために必要な主なオブジェクト（乗用車、トラック、バス、二輪車、人間、不明体など）のみを選択的にオブジェクトとして認識することができる。図４及び図５で説明したように、オブジェクト認識装置のオブジェクト認識アルゴリズムは、映像中の様々なオブジェクトの中で必要とする一部のオブジェクトを即刻認識することができるという点では直観的で便利であるが、オブジェクト認識アルゴリズムの性能の限界によりオブジェクトとして認識しなければならないがオブジェクトとして認識できない場合がある。オブジェクト認識アルゴリズムの性能の限界によりオブジェクトとして認識しなければならないがオブジェクトとして認識できない場合は、図１０及び図１６で説明したトラッキングアルゴリズムにより一定以上補完することができる。
【0234】
オブジェクト認識率向上装置は、ステップＳ２３１０で受信した映像に対して図１０及び図１６で説明したトラッキングアルゴリズムを適用してオブジェクトが認識されていないフレームでオブジェクトが認識されていなければならないか否かを判断することができる（Ｓ２３３０）。ここで、トラッキングアルゴリズムとしては、前述のカルマンフィルタベースのＳＯＲＴアルゴリズムが用いられてもよく、実施形態によって、ＳＯＲＴ以外の他のアルゴリズムが用いられてもよい。
【0235】
オブジェクト認識率向上装置は、ステップＳ２３３０でトラッキングアルゴリズムを行いながら、トラッキング結果をヒストリ情報（ｈｉｓｔｏｒｙ ｉｎｆｏｒｍａｔｉｏｎ）に加工してヒストリデータベース（ｈｉｓｔｏｒｙ ｄａｔａｂａｓｅ）に保存することができる（Ｓ２３４０）。ヒストリデータベースには、トラッキング結果だけでなく、ステップＳ２３５０、Ｓ２３７０及びＳ２３８０で処理された結果を保存することができ、それについては後述する。
【0236】
オブジェクト認識率向上装置は、ステップＳ２３２０及びＳ２３３０の結果を統合（ａｓｓｏｃｉａｔｉｏｎ）することができる（Ｓ２３５０）。ステップＳ２３５０でオブジェクト認識プロセス及びトラッキングアルゴリズムの結果を統合することは、オブジェクト認識プロセスでは検出（オブジェクトが認識）されていないが、トラッキングアルゴリズムによってのみオブジェクトが検出されている場合を判別するためである。ステップＳ２３５０においては、ステップＳ２３２０のオブジェクト認識結果とステップＳ２３３０のトラッキング結果をハンガリアンアルゴリズム（Ｈｕｎｇａｒｉａｎ ａｌｇｏｒｉｔｈｍ）によりマッチング（ｍａｔｃｈｉｎｇ）することができる。具体的には、ステップＳ２３５０においては、ステップＳ２３２０のオブジェクト認識結果としてフレーム別に生成されたオブジェクトの外郭線（２Ｄバウンディングボックス）とステップＳ２３３０のトラッキング結果としてフレーム別に生成されたオブジェクトの外郭線（２Ｄバウンディングボックス）がマッチングされるかが判断され、フレーム別にマッチングされる外郭線は、マッチフラグ（ｍａｔｃｈ ｆｌａｇ）がトゥルー（ｔｒｕｅ）に指定され、図２３に示すように、ヒストリ情報としてヒストリデータベースに保存されるようにすることができる。ステップＳ２３５０の統合過程において、オブジェクトの有無を判断する上で必要ないフレーム（認識されたオブジェクトの外郭線が検出されていないフレーム）を除外することができる。
【0237】
オブジェクト認識率向上装置は、時系列的に連続したフレームでオブジェクトを検出できないと、当該オブジェクトのトラックを削除（トラッキングを中止）し、ここで、ヒストリデータベースに保存されたヒストリ情報を参照することができる（Ｓ２３６０）。ステップＳ２３６０でオブジェクト認識率向上装置は、ヒストリデータベースに保存されたヒストリ情報を逆順（ｒｅｖｅｒｓｅ）に確認し、当該オブジェクトの外郭線のマッチフラグ（ｍａｔｃｈ ｆｌａｇ）を確認し、連続してマッチフラグがフォールス（ｆａｌｓｅ）であるフレームを全トラックから削除（除外）することができる。ステップＳ２３６０については図２５を用いて説明する。
【0238】
次に、オブジェクト認識率向上装置は、ステップＳ２３５０でのマッチング作業の結果に基づいて、マッチングされていない外郭線があるか否かを確認することができる（Ｓ２３７０）。ステップＳ２３７０でマッチングされていない外郭線があるか否かを確認するとは、言い換えれば、ステップＳ２３３０でのトラッキングアルゴリズムによってのみ検出されているオブジェクトの外郭線があるか否かを判断することであり、当該外郭線がある場合、オブジェクト認識率向上装置は、ステップＳ２３６０と同様に、マッチフラグをフォールスにし、そのヒストリ情報をヒストリデータベースに保存することができる。
【0239】
オブジェクト認識率向上装置は、ステップＳ２３５０～Ｓ２３７０で判断した結果に基づいて、トラックが登録された後の処理を行うことができる（Ｓ２３８０）。オブジェクト認識率向上装置は、ステップＳ２３８０でヒストリデータベースに保存された情報を参照してデータ処理を行い、具体的には、ヒストリデータベースに保存されたオブジェクト別の外郭線のマッチフラグのトゥルー又はフォールスに関する情報を活用することができる。その他にも、オブジェクト認識率向上装置は、第１パラメータ及び第２パラメータの設定値である第１基準値及び第２基準値に関する情報を参照して、トラックが登録された後の処理を行うことができる。ステップＳ２３８０については図２４を用いて後述する。
【0240】
【0241】
まず、図２４の上部を参照すると、オブジェクト認識率向上装置が時系列的に配列されている８つのフレームに対してオブジェクト認識アルゴリズムを適用してオブジェクトを認識することにより、計５つのフレームでオブジェクトが認識されていることが分かる。オブジェクトが認識されているフレームは、ｔ３、ｔ４、ｔ６、ｔ７、ｔ８のフレームであり、他の３つのフレーム（ｔ１、ｔ２、ｔ５のフレーム）にもオブジェクトがあるが、照明、角度、距離、色などの問題でオブジェクト認識率向上装置のオブジェクト認識アルゴリズムでオブジェクトが認識されていないか、オブジェクト認識アルゴリズムの誤作動によりオブジェクトが認識されていないものとみなす。すなわち、図２４の上部は図２３でのステップＳ２３２０の結果を示し、オブジェクトが認識されているフレームのオブジェクトには２Ｄバウンディングボックス形態の外郭線が生成されている。
【0242】
次に、図２４の下部を参照すると、オブジェクト認識率向上装置がトラッキングアルゴリズムを行った結果により、ｔ８のフレームでオブジェクトが認識されていることが分かる。オブジェクト認識率向上装置に設定された第１基準値は３であり、ｔ６、ｔ７、ｔ８のフレームで連続してオブジェクトが検出されて第１基準値を満たすことにより、ｔ８のフレームで当該オブジェクトのトラックが登録されている。図１０及び図１６で説明したトラッキングアルゴリズムにより、ｔ８のフレームでオブジェクトのトラックが登録されているので、図２４に示されていないｔ９のフレームでオブジェクトが消失しても、第２基準値による数のフレームの間には当該オブジェクトに対するトラッキングは維持され続け得る。
【0243】
一方、図２４のオブジェクト認識率向上装置には第１基準値が３に設定されているので、図２４において、ｔ８のフレームで当該オブジェクトのトラックが登録されており、トラックの開始はｔ６のフレームであるが、本発明によるオブジェクト認識率向上装置は、第１パラメータ及び第２パラメータが異なる値に変更される際に生じる問題を最小限に抑えるためのプロセスを含むので、ヒストリデータベースに保存されたマッチフラグ（トゥルー又はフォールス）を活用して、トラックが登録される前の時点のフレームでも認識されていないオブジェクトがあるか否かを確認することができる。
【0244】
図２４を参照すると、本発明によるオブジェクト認識率向上装置は、ヒストリデータベースに保存された情報を参照して、トラックが開始されるｔ６のフレーム以前のフレームのオブジェクト認識結果及びトラッキング結果を確認し、ｔ４のフレーム及びｔ６のフレームでオブジェクトが認識されているが、ｔ５のフレームでは一時的にオブジェクトが認識されていないことを把握することができる。
【0245】
オブジェクト認識率向上装置の第１基準値は３であるので、ｔ３、ｔ４のフレームでオブジェクトが２回連続で認識されているだけではトラックが登録されないことが原則であるが、本発明によるオブジェクト認識率向上装置は、トラックが登録された後、前のフレームでのヒストリ情報を確認して、認識されていなければならないが第１基準値が３に上向することによって認識されていないオブジェクトがある場合、当該オブジェクトを認識結果に含ませる方向に動作することができる。すなわち、図２４において、オブジェクト認識率向上装置は、ｔ３、ｔ４、ｔ６、ｔ７フレームのオブジェクトを全てトラッキング結果に含ませ、トラッキングアルゴリズムでオブジェクトを認識したものと判断することができ、ｔ５のフレームでの外郭線のマッチング結果（フォールスのマッチフラグ）に該当するヒストリ情報がヒストリデータベースに保存されるように処理することができる。上記のようなプロセスは、前述のステップＳ２３８０で処理することができる。
【0246】
【0247】
まず、図２５の上部を参照すると、オブジェクト認識率向上装置が時系列的に配列されている４つのフレームに対してオブジェクト認識アルゴリズムを適用してオブジェクトを認識することにより、計１つのフレームでオブジェクトが認識されていることが分かる。オブジェクトが認識されているフレームは、ｔ１のフレームであり、他の３つのフレーム（ｔ２、ｔ３、ｔ４のフレーム）ではオブジェクトが認識されていない。図２５の上部において、オブジェクト認識アルゴリズムにより認識されているオブジェクトに対しては、２Ｄバウンディングボックス形態の第１外郭線２５１０Ａが生成されている。
【0248】
次に、図２５の下部を参照すると、オブジェクト認識率向上装置がトラッキングアルゴリズムを行った結果により、ｔ１、ｔ２、ｔ３のフレームで連続してオブジェクトが検出されていることが分かる。オブジェクトのトラックは既に登録されており、ｔ１ではオブジェクト認識結果とトラッキング結果が同じ外郭線を示しており、マッチフラグがトゥルー（ｔｒｕｅ）であるので、ｔ２のフレームでオブジェクトが消失しても、第２基準値による数のフレームの間には当該オブジェクトに対するトラッキングは維持され続け、オブジェクトに対応する外郭線２５３０、２５５０も図２５の下部のように検出され得る。
【0249】
図２５のオブジェクト認識率向上装置には第２基準値が２に設定されているので、図２５において、ｔ２のフレーム及びｔ３のフレームで依然としてオブジェクトの外郭線が検出されているが、本発明によるオブジェクト認識率向上装置は、第１パラメータ及び第２パラメータが異なる値に変更される際に生じる問題を最小限に抑えるためのプロセスを含むので、ヒストリデータベースに保存されたマッチフラグ（フォールス）を活用して、ｔ２のフレーム及びｔ３のフレームを全トラックから除外することができる。本発明によるオブジェクト認識率向上装置の結果も、ヒストリ情報として前述のヒストリデータベースに保存されるようにすることができる。
【0250】
図２６は本発明によるオブジェクト認識率向上方法の一例を示すフローチャートである。
【0251】
図２６による方法は、図１０、図１６、図２３、図２４、図２５で説明したオブジェクト認識率向上装置により実現することができるので、以下、図１０、図１６、図２３、図２４、図２５を参照して説明し、既に説明した内容と重複する説明は省略する。
【0252】
オブジェクト認識率向上装置は、映像の各フレーム別にオブジェクトを認識する第１認識アルゴリズムで映像に含まれるオブジェクトを認識することができる（Ｓ２６１０）。ステップＳ２６１０において、第１認識アルゴリズムとは、オブジェクト認識装置（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｏｒ）によるオブジェクト認識アルゴリズムを意味し、図２３におけるステップＳ２３２０に対応し得る。
【0253】
オブジェクト認識率向上装置は、映像に含まれる複数のフレームでトラック（ｔｒａｃｋ）を形成し、トラックに含まれるオブジェクトを認識する第２認識アルゴリズムでオブジェクトを認識することができる（Ｓ２６３０）。ステップＳ２６３０において、第２認識アルゴリズムとは、オブジェクト認識率向上装置によるトラッキングアルゴリズムを意味し、図２３におけるステップＳ２３３０に対応し得る。
【0254】
選択的一実施形態として、第２認識アルゴリズムは、第１基準値以上の連続したフレームでオブジェクトが認識された後に第２基準値以下のフレームの間消失してから再出現したオブジェクトを選択的に認識するアルゴリズムであってもよい。本選択的一実施形態については、第１パラメータ及び第２パラメータについての説明と共に既に前述した通りである。
【0255】
オブジェクト認識率向上装置は、第１認識アルゴリズムでオブジェクトを認識した結果及び第２認識アルゴリズムでオブジェクトを認識した結果を比較することができる（Ｓ２６５０）。ステップＳ２６５０は、オブジェクト認識率向上装置による比較処理過程（ｍａｔｃｈｉｎｇ）を包括的に示すものであって、図２３におけるステップＳ２３４０、Ｓ２３５０に対応し得る。
【0256】
一実施形態として、オブジェクト認識率向上装置は、第１基準値及び第２基準値に関する入力を受信し、受信した第１基準値又は第２基準値により予め設定されていた第１基準値及び第２基準値の少なくとも１つが変更されると、既に登録されたトラック前後のフレームに関するヒストリ情報を参照して、比較結果を更新することができる。例えば、オブジェクト認識率向上装置は、第１基準値が変更されると、トラックが生成される直前のフレームに関するヒストリ情報を参照して比較結果を更新することができ、それについては図２４を用いて既に説明した通りである。また、オブジェクト認識率向上装置は、第２基準値が変更されると、トラックが生成されてから削除された後のフレームに関するヒストリ情報を参照して比較結果を更新することができ、それについては図２５を用いて既に説明した通りである。
【0257】
オブジェクト認識率向上装置は、比較した結果に基づいて、前記第１認識アルゴリズム及び前記第２認識アルゴリズムで前記映像のオブジェクトを認識した結果を補正することができる（Ｓ２６７０）。ステップＳ２６７０は、オブジェクト認識率向上装置による後続処理過程を包括的に示すものであって、図２３におけるステップＳ２３６０、Ｓ２３７０、Ｓ２３８０に対応し得る。
【0258】
図２７は一実施形態によるオブジェクト認識率向上装置のブロック図である。
【0259】
図２７を参照すると、オブジェクト認識率向上装置２７００は、通信部２７１０、プロセッサ２７２０及びＤＢ２７３０を含んでもよい。図２７のオブジェクト認識率向上装置２７００には、実施形態に関連する構成要素のみ示されている。よって、図２７に示す構成要素に加えて他の汎用の構成要素をさらに含んでもよいことは、当該技術分野における通常の知識を有する者であれば理解するであろう。
【0260】
通信部２７１０は、外部サーバ又は外部装置との有線／無線通信を可能にする１つ以上の構成要素を含んでもよい。例えば、通信部２７１０は、近距離通信部（図示せず）、移動通信部（図示せず）及び放送受信部（図示せず）の少なくとも１つを含んでもよい。
【0261】
ＤＢ２７３０は、オブジェクト認識率向上装置２７００内で処理される各種データを保存するハードウェアであって、プロセッサ２７２０の処理及び制御のためのプログラムを保存することができる。
【0262】
ＤＢ２７３０は、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）などのＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＣＤ－ＲＯＭ、ブルーレイ又は他の光ディスクストレージ、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、又はフラッシュメモリを含む。
【0263】
プロセッサ２７２０は、オブジェクト認識率向上装置２７００の全般的な動作を制御する。例えば、プロセッサ２７２０は、ＤＢ２７３０に保存されたプログラムを実行することにより、入力部（図示せず）、ディスプレイ（図示せず）、通信部２７１０、ＤＢ２７３０などを全般的に制御することができる。プロセッサ２７２０は、ＤＢ２７３０に保存されたプログラムを実行することにより、オブジェクト認識率向上装置２７００の動作を制御することができる。
【0264】
プロセッサ２７２０は、上述したオブジェクト認識率向上装置２７００の動作の少なくとも一部を制御することができる。
【0265】
一例として、プロセッサ２７２０は、図２３～図２６を用いて説明したように、映像の各フレーム別にオブジェクトを認識する第１認識アルゴリズムで映像に含まれるオブジェクトを認識し、映像に含まれる複数のフレームでトラック（ｔｒａｃｋ）を形成し、トラックに含まれるオブジェクトを認識する第２認識アルゴリズムでオブジェクトを認識し、第１認識アルゴリズムでオブジェクトを認識した結果及び前記第２認識アルゴリズムでオブジェクトを認識した結果を比較し、比較した結果に基づいて、第１認識アルゴリズム及び第２認識アルゴリズムで映像のオブジェクトを認識した結果を補正することができる。
【0266】
プロセッサ２７２０は、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、コントローラ（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラ（ｍｉｃｒｏ－ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、その他の機能の実行のための電気ユニットの少なくとも１つを用いて実現することができる。
【0267】
以上説明した本発明による実施形態は、コンピュータ上で様々な構成要素により実行できるコンピュータプログラムの形態で実現することができ、このようなコンピュータプログラムは、コンピュータで読み取り可能な媒体に記録することができる。ここで、媒体には、ハードディスク、フロッピーディスク、磁気テープなどの磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤなどの光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）などの光磁気記録媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、ＲＯＭ、ＲＡＭ、フラッシュメモリなどのプログラム命令を記憶して実行するように特別に構成されたハードウェア装置が含まれる。
【0268】
一方、前記コンピュータプログラムは、本発明のために特別に設計及び構成されたものであってもよく、コンピュータソフトウェア分野の当業者に公知されて使用可能なものであってもよい。コンピュータプログラムの例には、コンパイラにより生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータにより実行される高級言語コードも含まれる。
【0269】
本発明で説明する特定の実行は、一実施形態であって、いかなる方法でも本発明の範囲を限定するものではない。明細書の簡潔さのために、従来の電子的な構成、制御システム、ソフトウェア、前記システムの他の機能的な面の記載は省略されることもある。また、図面に示される構成要素間の線の連結又は連結部材は、機能的な連結、及び／又は物理的もしくは回路的な連結を例示的に示すものであり、実際の装置では代替可能であり、さらなる様々な機能的な連結、物理的な連結、又は回路連結として実現可能である。さらに、「必須の」、「重要に」などのように具体的な言及がなければ、本発明の適用のために必ずしも必要な構成要素ではないこともある。
【0270】
本発明の明細書（特に、特許請求の範囲）において、「前記」という用語及びそれに類似した指示用語の使用は、単数及び複数のいずれにも該当するものであり得る。また、本発明において、範囲（ｒａｎｇｅ）を記載した場合、上記範囲に属する個別の値を適用した発明を含むものであり（それに反する記載がなければ）、発明の詳細な説明に上記範囲を構成する各個別の値を記載したものと同様である。最後に、本発明による方法を構成するステップに関して、明白な順序の記載又はそれに反する記載がなければ、上記ステップは適切な順序で行うことができる。本発明は、必ずしも上記ステップの記載順序に限定されるものではない。本発明における全ての例又は例示的な用語（例えば、など）の使用は、単に本発明を詳細に説明するためのものであり、特許請求の範囲により限定されない限り、上記例又は例示的な用語により本発明の範囲が限定されるわけではない。また、当業者は、様々な修正、組み合わせ及び変更が加えられた特許請求の範囲又はその均等物の範疇内で設計条件及び要因に応じて構成できることを理解するであろう。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【外国語明細書】