(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-04-05
(54)【発明の名称】自動車のカメラピッチをキャリブレーションする方法及び装置、並びにそのための消滅点推定モデルをコンティニュアルラーニングさせる方法
(51)【国際特許分類】
G06T 7/70 20170101AFI20230329BHJP
G06T 7/00 20170101ALI20230329BHJP
【FI】
G06T7/70 B
G06T7/00 650Z
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022548049
(86)(22)【出願日】2021-03-19
(85)【翻訳文提出日】2022-08-05
(86)【国際出願番号】 KR2021003404
(87)【国際公開番号】W WO2021215672
(87)【国際公開日】2021-10-28
(32)【優先日】2020-04-24
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2020-12-17
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】517038176
【氏名又は名称】株式会社ストラドビジョン
【氏名又は名称原語表記】STRADVISION,INC.
【住所又は居所原語表記】Suite 304-308,5th Venture-dong,394,Jigok-ro,Nam-gu,Pohang-si,Gyeongsangbuk-do 37668 Republic of Korea
(74)【代理人】
【識別番号】100121728
【氏名又は名称】井関 勝守
(74)【代理人】
【識別番号】100165803
【氏名又は名称】金子 修平
(74)【代理人】
【識別番号】100170900
【氏名又は名称】大西 渉
(72)【発明者】
【氏名】金鎔重
(72)【発明者】
【氏名】柳宇宙
(72)【発明者】
【氏名】康鳳男
(72)【発明者】
【氏名】權成顔
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096BA04
5L096CA02
5L096DA02
5L096FA09
5L096FA64
5L096FA67
5L096GA51
5L096HA08
5L096HA11
5L096KA04
(57)【要約】
自動車のカメラピッチのキャリブレーション装置は、(a)カメラからの走行イメージをオブジェクトディテクションネットワークに入力することでオブジェクトを検出してオブジェクト検出情報を生成し、車線ディテクションネットワークに入力することで車線を検出して車線検出情報を生成し、(b)オブジェクト検出情報をプロファイリングすることでオブジェクトプロファイリング情報を生成し、車線検出情報をプロファイリングすることで車線プロファイリング情報を生成し、オブジェクトプロファイリング情報をオブジェクト基盤ピッチ推定モジュールに入力することで第1及び第2ターゲットオブジェクトを選定して第1及び第2ピッチを生成し、消滅点検出情報と車線プロファイリング情報とを車線基盤ピッチ推定モジュールに入力することで第3及び第4ピッチを生成し、(c)第1乃至第4ピッチをピッチ決定モジュールに入力して決定ピッチを生成する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
自動車のカメラピッチをキャリブレーションする方法において、
(a)自動車の運行中にカメラからの走行イメージが獲得されると、キャリブレーション装置が、前記走行イメージをオブジェクトディテクションネットワークと車線ディテクションネットワークとにそれぞれ入力することで、前記オブジェクトディテクションネットワークによって前記走行イメージ上のオブジェクトを検出してオブジェクト検出情報を出力させ、前記車線ディテクションネットワークによって前記走行イメージ上の車線を検出して車線検出情報を出力させる段階と、
(b)前記キャリブレーション装置が、前記オブジェクト検出情報をプロファイリングすることによるオブジェクトのそれぞれに対応するオブジェクトプロファイリング情報と、前記車線検出情報をプロファイリングすることによる車線のそれぞれに対応する車線プロファイリング情報とを生成し、前記オブジェクトプロファイリング情報をオブジェクト基盤ピッチ推定モジュールに入力することで、前記オブジェクト基盤ピッチ推定モジュールによって(i)前記オブジェクトプロファイリング情報を参照することで、前記オブジェクトのうち第1ターゲットオブジェクトを選定し、前記第1ターゲットオブジェクトの第1高さを利用した第1ピッチ推定を通じて第1ピッチを生成させ、(ii)前記オブジェクトプロファイリング情報を参照することで、前記オブジェクトのうち第2ターゲットオブジェクトを選定させ、前記第2ターゲットオブジェクトの幅(width)を利用した第2ピッチ推定を通じて第2ピッチを生成させるプロセスと、前記走行イメージを分析して消滅点を検出する消滅点推定ネットワークの消滅点検出情報と前記車線プロファイリング情報とを車線基盤ピッチ推定モジュールに入力することで、前記車線基盤ピッチ推定モジュールによって、(i)前記車線プロファイリング情報を利用した第3ピッチ推定を通じて第3ピッチを生成させ、(ii)前記消滅点検出情報を利用した第4ピッチ推定を通じて第4ピッチを生成させるプロセスと、を遂行する段階と、
(c)前記キャリブレーション装置が、前記第1ピッチ乃至前記第4ピッチをピッチ決定モジュールに入力することで、前記ピッチ決定モジュールによって前記第1ピッチ乃至前記第4ピッチをアンサンブルすることで、前記走行イメージに対応する決定ピッチを出力させる段階と、
を含む方法。
【請求項2】
前記(c)の段階で、
前記キャリブレーション装置は、前記ピッチ決定モジュールによって、前記オブジェクトプロファイリング情報を参照することで、前記オブジェクトのうち第3ターゲットオブジェクトを選定し、前記第3ピッチを利用して前記第3ターゲットオブジェクトの第2高さを演算した後、前記第2高さが高さスレッショルド以内であるか否かを確認して前記第3ピッチを検証し、(i)前記第3ピッチが有効な場合には、前記第3ピッチを前記決定ピッチとして出力させ、(ii)前記第3ピッチが有効でない場合には、前記第1ピッチに対応する第1ターゲットオブジェクトと前記第2ピッチに対応する第2ターゲットオブジェクトとを比較し、前記第1ターゲットオブジェクトと前記第2ターゲットオブジェクトとが同一であれば、前記第1ピッチ及び前記第2ピッチのうちいずれか一つを前記決定ピッチとして出力させ、前記第1ターゲットオブジェクトと前記第2ターゲットオブジェクトとが同一でなければ、前記第1ターゲットオブジェクトと前記第2ターゲットオブジェクトとのうち前記自動車とのラテラルディスタンスが小さい特定のターゲットオブジェクトに対応する特定のピッチを前記決定ピッチとして出力させ、(iii)前記走行イメージから検出されたオブジェクト及び車線がない場合には、前記第4ピッチを前記決定ピッチとして出力させる、請求項1に記載の方法。
【請求項3】
前記キャリブレーション装置は、前記ピッチ決定モジュールによって、前記自動車とのラテラルディスタンスが第1ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複していない第1候補オブジェクトのうち前記ラテラルディスタンスが最も小さい第1特定のオブジェクトを前記第3ターゲットオブジェクトに選定させる、請求項2に記載の方法。
【請求項4】
前記(c)の段階で、
前記キャリブレーション装置は、前記ピッチ決定モジュールによって前記決定ピッチを以前フレームにおける以前ピッチ値とスムージング(smoothing)を適用して前記決定ピッチに対するピッチスムージングを遂行し、ピッチ変化スレッショルドを使用してフレーム間の最大ピッチ変化を制限するトレランス(tolerance)ハンドリングを遂行させる、請求項1に記載の方法。
【請求項5】
(d)前記キャリブレーション装置は、前記決定ピッチと前記第4ピッチとを参照することでピッチロスを獲得し、前記ピッチロスを利用して前記消滅点推定ネットワークをオン-ビークルコンティニュアルラーニングする段階
をさらに含む、請求項1に記載の方法。
【請求項6】
前記キャリブレーション装置は、(i)前記自動車の運行中に、前記ピッチロスを利用して前記消滅点推定ネットワークをインスタンス-ワイズインクリメンタルラーニング(instance-wise incremental learning)することで迅速な適応(fast adaptation)となるようにし、(ii)前記自動車の走行完了後、走行中にサンプリングされたデータを利用して前記消滅点推定ネットワークをバランス良く(balanced)コンティニュアルラーニングすることで前記迅速な適応により発生する可能性のあるカタストロフィックフォーゲッティング(catastrophic forgetting)現象を防止する、請求項5に記載の方法。
【請求項7】
前記キャリブレーション装置は、(i)前記自動車の運行中に、前記ピッチロスを利用して前記消滅点推定ネットワークをインスタンス-ワイズインクリメンタルラーニングすることで迅速な適応となるようにし、(ii)前記インスタンス-ワイズインクリメンタルラーニングに使用された、サンプリングされたデータをラーニングサーバに伝送することで、前記ラーニングサーバによって前記サンプリングされたデータを利用して前記消滅点推定ネットワークに対応するリファレンス(reference)消滅点推定ネットワークをサーバ-サイドコンティニュアルラーニングして、前記サーバ-サイドコンティニュアルラーニングによりアップデートされたパラメータを前記キャリブレーション装置に伝送させ、(iii)前記自動車の走行完了後、前記ラーニングサーバから受信された前記パラメータを利用して前記消滅点推定ネットワークをアップデートする、請求項5に記載の方法。
【請求項8】
(e)前記キャリブレーション装置は、(i)前記オン-デバイスラーニングされた学習済み消滅点推定ネットワークモデルをラーニングサーバに伝送することで、前記ラーニングサーバによって少なくとも一つの他の自動車から伝送された少なくとも一つの他の学習済み消滅点推定ネットワークモデルと前記学習済み消滅点推定ネットワークモデルとを評価してベスト消滅点推定ネットワークモデルを選定させ、前記ベスト消滅点推定ネットワークモデルを前記キャリブレーション装置に伝送させ、(ii)前記ラーニングサーバから伝送された前記ベスト消滅点推定ネットワークモデルを利用して前記消滅点推定ネットワークをアップデートする段階と、
をさらに含む、請求項5に記載の方法。
【請求項9】
前記(b)の段階で、
前記キャリブレーション装置は、前記オブジェクト基盤ピッチ推定モジュールによって、前記オブジェクトプロファイリング情報を参照することで、前記自動車とのラテラルディスタンスが第2ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複していない第2候補オブジェクトのうち前記ラテラルディスタンスが最も小さい第2特定のオブジェクトを前記第1ターゲットオブジェクトに選定し、前記第1ターゲットオブジェクトの検出ヒストリーを参照することで、前記第1ターゲットオブジェクトの平均高さを獲得し、前記平均高さが最小高さスレッショルド以上であり最大高さスレッショルド以下である場合には、前記平均高さを前記第1高さに決定させ、前記平均高さが前記最小高さスレッショルド未満であるか前記最大高さスレッショルドを超過する場合には、前記最小高さスレッショルドと前記最大高さスレッショルドとの平均値を前記第1高さに決定させる、請求項1に記載の方法。
【請求項10】
前記(b)の段階で、
前記キャリブレーション装置は、前記オブジェクト基盤ピッチ推定モジュールによって、前記オブジェクトプロファイリング情報を参照することで、前記自動車とのラテラルディスタンスが第3ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複しておらず、2Dバウンディングボックスと3Dバウンディングボックスとの差がボックス差スレッショルド以下であり、バウンディングボックスの縦横比が縦横比スレッショルド以上である第3候補オブジェクトのうち前記ラテラルディスタンスが最も小さい第3特定のオブジェクトを前記第2ターゲットオブジェクトに選定させる、請求項1に記載の方法。
【請求項11】
前記(b)の段階で、
前記キャリブレーション装置は、前記車線基盤推定モジュールによって、前記車線プロファイリング情報を参照することで、直線であり、長さスレッショルド以上であり、前記自動車の座標系上で互いに平行である第1車線と第2車線とを選択し、前記第1車線と前記第2車線とを利用してターゲット消滅点を検出し、前記ターゲット消滅点を利用して前記第3ピッチ推定を遂行させる、請求項1に記載の方法。
【請求項12】
自動車のカメラピッチをキャリブレーションするキャリブレーション装置において、
自動車のカメラピッチをキャリブレーションするためのインストラクションが格納されたメモリと、
前記メモリに格納された前記インストラクションによって自動車のカメラピッチをキャリブレーションするための動作を遂行するプロセッサと、
を含み、
前記プロセッサは、(I)自動車の運行中にカメラからの走行イメージが獲得されると、前記走行イメージをオブジェクトディテクションネットワークと車線ディテクションネットワークとにそれぞれ入力することで、前記オブジェクトディテクションネットワークによって前記走行イメージ上のオブジェクトを検出してオブジェクト検出情報を出力させ、前記車線ディテクションネットワークによって前記走行イメージ上の車線を検出して車線検出情報を出力させるステップと、(II)前記オブジェクト検出情報をプロファイリングすることによるオブジェクトのそれぞれに対応するオブジェクトプロファイリング情報と、前記車線検出情報をプロファイリングすることによる車線のそれぞれに対応する車線プロファイリング情報とを生成し、前記オブジェクトプロファイリング情報をオブジェクト基盤ピッチ推定モジュールに入力することで、前記オブジェクト基盤ピッチ推定モジュールによって(i)前記オブジェクトプロファイリング情報を参照することで、前記オブジェクトのうち第1ターゲットオブジェクトを選定し、前記第1ターゲットオブジェクトの第1高さを利用した第1ピッチ推定を通じて第1ピッチを生成させ、(ii)前記オブジェクトプロファイリング情報を参照することで、前記オブジェクトのうち第2ターゲットオブジェクトを選定し、前記第2ターゲットオブジェクトの幅(width)を利用した第2ピッチ推定を通じて第2ピッチを生成させるプロセスと、前記走行イメージを分析して消滅点を検出する消滅点推定ネットワークの消滅点検出情報と前記車線プロファイリング情報とを車線基盤ピッチ推定モジュールに入力することで、前記車線基盤ピッチ推定モジュールによって、(i)前記車線プロファイリング情報を利用した第3ピッチ推定を通じて第3ピッチを生成させ、(ii)前記消滅点検出情報を利用した第4ピッチ推定を通じて第4ピッチを生成させるプロセスと、を遂行するステップと、(III)前記第1ピッチ乃至前記第4ピッチをピッチ決定モジュールに入力することで、前記ピッチ決定モジュールによって前記第1ピッチ乃至前記第4ピッチをアンサンブルすることで、前記走行イメージに対応する決定ピッチを出力させるステップと、を遂行する、キャリブレーション装置。
【請求項13】
前記プロセッサは、前記(III)のステップで、前記ピッチ決定モジュールによって、前記オブジェクトプロファイリング情報を参照することで、前記オブジェクトのうち第3ターゲットオブジェクトを選定し、前記第3ピッチを利用して前記第3ターゲットオブジェクトの第2高さを演算した後、前記第2高さが高さスレッショルド以内であるか否かを確認して前記第3ピッチを検証し、(i)前記第3ピッチが有効な場合には、前記第3ピッチを前記決定ピッチとして出力させ、(ii)前記第3ピッチが有効でない場合には、前記第1ピッチに対応する第1ターゲットオブジェクトと前記第2ピッチに対応する第2ターゲットオブジェクトとを比較し、前記第1ターゲットオブジェクトと前記第2ターゲットオブジェクトとが同一であれば、前記第1ピッチ及び前記第2ピッチのうちいずれか一つを前記決定ピッチとして出力させ、前記第1ターゲットオブジェクトと前記第2ターゲットオブジェクトとが同一でなければ、前記第1ターゲットオブジェクトと前記第2ターゲットオブジェクトとのうち前記自動車とのラテラルディスタンスが小さい特定のターゲットオブジェクトに対応する特定のピッチを前記決定ピッチとして出力させ、(iii)前記走行イメージから検出されたオブジェクト及び車線がない場合には、前記第4ピッチを前記決定ピッチとして出力させる、請求項12に記載のキャリブレーション装置。
【請求項14】
前記プロセッサは、前記ピッチ決定モジュールによって、前記自動車とのラテラルディスタンスが第1ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複していない第1候補オブジェクトのうち前記ラテラルディスタンスが最も小さい第1特定のオブジェクトを前記第3ターゲットオブジェクトに選定させる、請求項13に記載のキャリブレーション装置。
【請求項15】
前記プロセッサは、前記(III)のステップで、前記ピッチ決定モジュールによって前記決定ピッチを以前フレームにおける以前ピッチ値とスムージング(smoothing)を適用して前記決定ピッチに対するピッチスムージングを遂行し、ピッチ変化スレッショルドを使用してフレーム間の最大ピッチ変化を制限するトレランス(tolerance)ハンドリングを遂行させる、請求項12に記載のキャリブレーション装置。
【請求項16】
前記プロセッサは、(IV)前記決定ピッチと前記第4ピッチとを参照することでピッチロスを獲得し、前記ピッチロスを利用して前記消滅点推定ネットワークをオン-ビークルコンティニュアルラーニングするステップをさらに遂行する、請求項12に記載のキャリブレーション装置。
【請求項17】
前記プロセッサは、(i)前記自動車の運行中に、前記ピッチロスを利用して前記消滅点推定ネットワークをインスタンス-ワイズインクリメンタルラーニング(instance-wise incremental learning)することで迅速な適応となるようにし、(ii)前記自動車の走行完了後、走行中にサンプリングされたデータを利用して前記消滅点推定ネットワークをバランス良く(balanced)コンティニュアルラーニングすることで前記迅速な適応により発生する可能性のあるカタストロフィックフォーゲッティング(catastrophic forgetting)現象を防止する、請求項16に記載のキャリブレーション装置。
【請求項18】
前記プロセッサは、(i)前記自動車の運行中に、前記ピッチロスを利用して前記消滅点推定ネットワークをインスタンス-ワイズインクリメンタルラーニングすることで迅速な適応となるようにし、(ii)前記インスタンス-ワイズインクリメンタルラーニングに使用された、サンプリングされたデータをラーニングサーバに伝送することで、前記ラーニングサーバによって前記サンプリングされたデータを利用して前記消滅点推定ネットワークに対応するリファレンス(reference)消滅点推定ネットワークをサーバ-サイドコンティニュアルラーニングして、前記サーバ-サイドコンティニュアルラーニングによりアップデートされたパラメータを前記キャリブレーション装置に伝送させ、(iii)前記自動車の走行完了後、前記ラーニングサーバから受信された前記パラメータを利用して前記消滅点推定ネットワークをアップデートする、請求項16に記載のキャリブレーション装置。
【請求項19】
前記プロセッサは、(V)(i)前記オン-デバイスラーニングされた学習済み消滅点推定ネットワークモデルをラーニングサーバに伝送することで、前記ラーニングサーバによって少なくとも一つの他の自動車から伝送された少なくとも一つの他の学習済み消滅点推定ネットワークモデルと前記学習済み消滅点推定ネットワークモデルとを評価してベスト消滅点推定ネットワークモデルを選定させ、前記ベスト消滅点推定ネットワークモデルを前記キャリブレーション装置に伝送させ、(ii)前記ラーニングサーバから伝送された前記ベスト消滅点推定ネットワークモデルを利用して前記消滅点推定ネットワークをアップデートするステップをさらに遂行する、請求項16に記載のキャリブレーション装置。
【請求項20】
前記プロセッサは、前記(II)のステップで、前記オブジェクト基盤ピッチ推定モジュールによって、前記オブジェクトプロファイリング情報を参照することで、前記自動車とのラテラルディスタンスが第2ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複していない第2候補オブジェクトのうち前記ラテラルディスタンスが最も小さい第2特定のオブジェクトを前記第1ターゲットオブジェクトに選定し、前記第1ターゲットオブジェクトの検出ヒストリーを参照することで、前記第1ターゲットオブジェクトの平均高さを獲得し、前記平均高さが最小高さスレッショルド以上であり最大高さスレッショルド以下である場合には、前記平均高さを前記第1高さに決定させ、前記平均高さが前記最小高さスレッショルド未満であるか前記最大高さスレッショルドを超過する場合には、前記最小高さスレッショルドと前記最大高さスレッショルドとの平均値を前記第1高さに決定させる、請求項12に記載のキャリブレーション装置。
【請求項21】
前記プロセッサは、前記(II)のステップで、前記オブジェクト基盤ピッチ推定モジュールによって、前記オブジェクトプロファイリング情報を参照することで、前記自動車とのラテラルディスタンスが第3ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複しておらず、2Dバウンディングボックスと3Dバウンディングボックスとの差がボックス差スレッショルド以下であり、バウンディングボックスの縦横比が縦横比スレッショルド以上である第3候補オブジェクトのうち前記ラテラルディスタンスが最も小さい第3特定のオブジェクトを前記第2ターゲットオブジェクトに選定させる、請求項12に記載のキャリブレーション装置。
【請求項22】
前記プロセッサは、前記(II)のステップで、前記車線基盤推定モジュールによって、前記車線プロファイリング情報を参照することで、直線であり、長さスレッショルド以上であり、前記自動車の座標系上で互いに平行である第1車線と第2車線とを選択し、前記第1車線と前記第2車線とを利用してターゲット消滅点を検出し、前記ターゲット消滅点を利用して前記第3ピッチ推定を遂行させる、請求項12に記載のキャリブレーション装置。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、2020年4月24日に米国特許庁に出願された米国特許出願第63/014,884号及び2020年12月17日に米国特許庁に出願された米国特許出願第17/125,087号に基づいて出願され、これに対して優先権を主張し、その全体の内容が参照として本明細書に含まれる。
【0002】
本発明は自動車のカメラピッチ(pitch)を消滅点(vanishing point)、オブジェクト、及び車線情報を利用してキャリブレーションする方法及び装置、並びにそのための消滅点推定(estimation)モデルをコンティニュアルラーニング(continual learning)させる方法に関する。
【背景技術】
【0003】
最近の自動車は、IT技術と結合して様々な機能を提供しており、自動車の走行安定性の向上及び使用者の便宜を確保するために、様々な運転者補助システム(Advanced Driver Assist System、ADAS)を装着する形態に発展している。
【0004】
この際、運転者補助システム(ADAS)は、先端感知装置と知能型映像装置とを利用して適応型前照灯、前方衝突回避、車線離脱防止、死角地帯監視、向上した後方監視などの機能を遂行する。
【0005】
このような運転者補助システムは、パーセプション(perception)モデルに基づいてカメラ、ライダーセンサ、レーダーセンサなどの映像イメージ検出装置から伝送される走行イメージを分析し、自動車の周辺環境情報を検出する。
【0006】
そして、このような走行イメージの分析において、走行イメージ内のオブジェクトと自動車との間の距離を測定しなければならず、このために、カメラのピッチを演算した後、演算されたピッチを利用して実際の走行環境で自動車からオブジェクトの位置までの距離を演算する。
【0007】
一方、自動車の運行中に、道路路面の凹溝などで自動車のローリングが発生するようになり、それに応じて自動車に固定設置されたカメラのピッチが変化するため、これを正確に推定しなければならない。
【0008】
そして、カメラのピッチを推定するために、従来は、走行イメージ内の消滅点を利用してピッチを推定するか、エゴモーション(ego-motion)、即ち、カメラのモーションを利用してピッチを推定している。
【0009】
走行イメージの消滅点を利用する方法は、走行イメージ内の消滅点を検出し、カメラの原点から消滅点と走行イメージの中央点とが成す角度を演算することによってピッチを推定する方法であり、ピッチ推定のための別途のポイントが必要なく、完全に自動的に遂行することができるという長所があるが、走行イメージ内で消滅点を検出することが走行環境によって困難であることもあり、それに応じてピッチ推定の正確性が落ちるという短所がある。
【0010】
そして、エゴモーションを利用する方法は、走行イメージの前後のフレームを利用してそれぞれのフレームにおけるオブジェクトの移動状態を演算することによってピッチを推定する方法であり、消滅点を利用する方法に比べて高い正確性を示すが、走行イメージの前後のフレームを分析しなければならないため、消滅点を利用する方法に比べてより多くの演算量を必要とし、それに応じてより多くのコンピューティングリソースを必要とするという短所がある。これに加えて、走行環境によって発生する不安定なフィーチャーや不規則的な照度変更によりモーションを正確に検出することができないという短所がある。
【発明の概要】
【発明が解決しようとする課題】
【0011】
本発明は、上述した問題点をすべて解決することをその目的とする。
本発明は、従来に比べて正確に自動車のカメラピッチを推定することができるようにすることを他の目的とする。
【0012】
本発明は、従来に比べて少ない演算量で自動車のカメラピッチを推定することができるようにすることをさらに他の目的とする。
【0013】
本発明は、消滅点を検出する消滅点推定モデルをコンティニュアルラーニングすることができるようにすることをさらに他の目的とする。
【課題を解決するための手段】
【0014】
本発明の一実施例によると、自動車のカメラピッチをキャリブレーションする方法において、(a)自動車の運行中にカメラからの走行イメージが獲得されると、キャリブレーション装置が、前記走行イメージをオブジェクトディテクションネットワークと車線ディテクションネットワークとにそれぞれ入力することで、前記オブジェクトディテクションネットワークによって前記走行イメージ上のオブジェクトを検出してオブジェクト検出情報を出力させ、前記車線ディテクションネットワークによって前記走行イメージ上の車線を検出して車線検出情報を出力させる段階と、(b)前記キャリブレーション装置が、前記オブジェクト検出情報をプロファイリングすることによるオブジェクトのそれぞれに対応するオブジェクトプロファイリング情報と、前記車線検出情報をプロファイリングすることによる車線のそれぞれに対応する車線プロファイリング情報とを生成し、前記オブジェクトプロファイリング情報をオブジェクト基盤ピッチ推定モジュールに入力することで、前記オブジェクト基盤ピッチ推定モジュールによって(i)前記オブジェクトプロファイリング情報を参照することで、前記オブジェクトのうち第1ターゲットオブジェクトを選定し、前記第1ターゲットオブジェクトの第1高さを利用した第1ピッチ推定を通じて第1ピッチを生成させ、(ii)前記オブジェクトプロファイリング情報を参照することで、前記オブジェクトのうち第2ターゲットオブジェクトを選定させ、前記第2ターゲットオブジェクトの幅(width)を利用した第2ピッチ推定を通じて第2ピッチを生成させるプロセスと、前記走行イメージを分析して消滅点を検出する消滅点推定ネットワークの消滅点検出情報と前記車線プロファイリング情報とを車線基盤ピッチ推定モジュールに入力することで、前記車線基盤ピッチ推定モジュールによって、(i)前記車線プロファイリング情報を利用した第3ピッチ推定を通じて第3ピッチを生成させ、(ii)前記消滅点検出情報を利用した第4ピッチ推定を通じて第4ピッチを生成させるプロセスと、を遂行する段階と、(c)前記キャリブレーション装置が、前記第1ピッチ乃至前記第4ピッチをピッチ決定モジュールに入力することで、前記ピッチ決定モジュールによって前記第1ピッチ乃至前記第4ピッチをアンサンブルすることで、前記走行イメージに対応する決定ピッチを出力させる段階と、を含む方法が提供される。
【0015】
前記(c)の段階で、前記キャリブレーション装置は、前記ピッチ決定モジュールによって、前記オブジェクトプロファイリング情報を参照することで、前記オブジェクトのうち第3ターゲットオブジェクトを選定し、前記第3ピッチを利用して前記第3ターゲットオブジェクトの第2高さを演算した後、前記第2高さが高さスレッショルド以内であるか否かを確認して前記第3ピッチを検証し、(i)前記第3ピッチが有効な場合には、前記第3ピッチを前記決定ピッチとして出力させ、(ii)前記第3ピッチが有効でない場合には、前記第1ピッチに対応する第1ターゲットオブジェクトと前記第2ピッチに対応する第2ターゲットオブジェクトとを比較し、前記第1ターゲットオブジェクトと前記第2ターゲットオブジェクトとが同一であれば、前記第1ピッチ及び前記第2ピッチのうちいずれか一つを前記決定ピッチとして出力させ、前記第1ターゲットオブジェクトと前記第2ターゲットオブジェクトとが同一でなければ、前記第1ターゲットオブジェクトと前記第2ターゲットオブジェクトとのうち前記自動車とのラテラルディスタンスが小さい特定のターゲットオブジェクトに対応する特定のピッチを前記決定ピッチとして出力させ、(iii)前記走行イメージから検出されたオブジェクト及び車線がない場合には、前記第4ピッチを前記決定ピッチとして出力させる。
【0016】
前記キャリブレーション装置は、前記ピッチ決定モジュールによって、前記自動車とのラテラルディスタンスが第1ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複していない第1候補オブジェクトのうち前記ラテラルディスタンスが最も小さい第1特定のオブジェクトを前記第3ターゲットオブジェクトに選定させる。
【0017】
前記(c)の段階で、前記キャリブレーション装置は、前記ピッチ決定モジュールによって前記決定ピッチを以前フレームにおける以前ピッチ値とスムージング(smoothing)を適用して前記決定ピッチに対するピッチスムージングを遂行し、ピッチ変化スレッショルドを使用してフレーム間の最大ピッチ変化を制限するトレランス(tolerance)ハンドリングを遂行させる。
【0018】
(d)前記キャリブレーション装置は、前記決定ピッチと前記第4ピッチとを参照することでピッチロスを獲得し、前記ピッチロスを利用して前記消滅点推定ネットワークをオン-ビークルコンティニュアルラーニングする段階をさらに含む。
【0019】
前記キャリブレーション装置は、(i)前記自動車の運行中に、前記ピッチロスを利用して前記消滅点推定ネットワークをインスタンス-ワイズインクリメンタルラーニング(instance-wise incremental learning)することで迅速な適応(fast adaptation)となるようにし、(ii)前記自動車の走行完了後、走行中にサンプリングされたデータを利用して前記消滅点推定ネットワークをバランス良く(balanced)コンティニュアルラーニングすることで前記迅速な適応により発生する可能性のあるカタストロフィックフォーゲッティング(catastrophic forgetting)現象を防止する。
【0020】
前記キャリブレーション装置は、(i)前記自動車の運行中に、前記ピッチロスを利用して前記消滅点推定ネットワークをインスタンス-ワイズインクリメンタルラーニングすることで迅速な適応となるようにし、(ii)前記インスタンス-ワイズインクリメンタルラーニングに使用された、サンプリングされたデータをラーニングサーバに伝送することで、前記ラーニングサーバによって前記サンプリングされたデータを利用して前記消滅点推定ネットワークに対応するリファレンス(reference)消滅点推定ネットワークをサーバ-サイドコンティニュアルラーニングして、前記サーバ-サイドコンティニュアルラーニングによりアップデートされたパラメータを前記キャリブレーション装置に伝送させ、(iii)前記自動車の走行完了後、前記ラーニングサーバから受信された前記パラメータを利用して前記消滅点推定ネットワークをアップデートする。
【0021】
(e)前記キャリブレーション装置は、(i)前記オン-デバイスラーニングされた学習済み消滅点推定ネットワークモデルをラーニングサーバに伝送することで、前記ラーニングサーバによって少なくとも一つの他の自動車から伝送された少なくとも一つの他の学習済み消滅点推定ネットワークモデルと前記学習済み消滅点推定ネットワークモデルとを評価してベスト消滅点推定ネットワークモデルを選定させ、前記ベスト消滅点推定ネットワークモデルを前記キャリブレーション装置に伝送させ、(ii)前記ラーニングサーバから伝送された前記ベスト消滅点推定ネットワークモデルを利用して前記消滅点推定ネットワークをアップデートする段階と、をさらに含む。
【0022】
前記(b)の段階で、前記キャリブレーション装置は、前記オブジェクト基盤ピッチ推定モジュールによって、前記オブジェクトプロファイリング情報を参照することで、前記自動車とのラテラルディスタンスが第2ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複していない第2候補オブジェクトのうち前記ラテラルディスタンスが最も小さい第2特定のオブジェクトを前記第1ターゲットオブジェクトに選定し、前記第1ターゲットオブジェクトの検出ヒストリーを参照することで、前記第1ターゲットオブジェクトの平均高さを獲得し、前記平均高さが最小高さスレッショルド以上であり最大高さスレッショルド以下である場合には、前記平均高さを前記第1高さに決定させ、前記平均高さが前記最小高さスレッショルド未満であるか前記最大高さスレッショルドを超過する場合には、前記最小高さスレッショルドと前記最大高さスレッショルドとの平均値を前記第1高さに決定させる。
【0023】
前記(b)の段階で、前記キャリブレーション装置は、前記オブジェクト基盤ピッチ推定モジュールによって、前記オブジェクトプロファイリング情報を参照することで、前記自動車とのラテラルディスタンスが第3ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複しておらず、2Dバウンディングボックスと3Dバウンディングボックスとの差がボックス差スレッショルド以下であり、バウンディングボックスの縦横比が縦横比スレッショルド以上である第3候補オブジェクトのうち前記ラテラルディスタンスが最も小さい第3特定のオブジェクトを前記第2ターゲットオブジェクトに選定させる。
【0024】
前記(b)の段階で、前記キャリブレーション装置は、前記車線基盤推定モジュールによって、前記車線プロファイリング情報を参照することで、直線であり、長さスレッショルド以上であり、前記自動車の座標系上で互いに平行である第1車線と第2車線とを選択し、前記第1車線と前記第2車線とを利用してターゲット消滅点を検出し、前記ターゲット消滅点を利用して前記第3ピッチ推定を遂行させる。
【0025】
また、本発明の他の実施例によると、自動車のカメラピッチをキャリブレーションするキャリブレーション装置において、自動車のカメラピッチをキャリブレーションするためのインストラクションが格納されたメモリと、前記メモリに格納された前記インストラクションによって自動車のカメラピッチをキャリブレーションするための動作を遂行するプロセッサと、を含み、前記プロセッサは、(I)自動車の運行中にカメラからの走行イメージが獲得されると、前記走行イメージをオブジェクトディテクションネットワークと車線ディテクションネットワークとにそれぞれ入力することで、前記オブジェクトディテクションネットワークによって前記走行イメージ上のオブジェクトを検出してオブジェクト検出情報を出力させ、前記車線ディテクションネットワークによって前記走行イメージ上の車線を検出して車線検出情報を出力させるステップと、(II)前記オブジェクト検出情報をプロファイリングすることによるオブジェクトのそれぞれに対応するオブジェクトプロファイリング情報と、前記車線検出情報をプロファイリングすることによる車線のそれぞれに対応する車線プロファイリング情報とを生成し、前記オブジェクトプロファイリング情報をオブジェクト基盤ピッチ推定モジュールに入力することで、前記オブジェクト基盤ピッチ推定モジュールによって(i)前記オブジェクトプロファイリング情報を参照することで、前記オブジェクトのうち第1ターゲットオブジェクトを選定し、前記第1ターゲットオブジェクトの第1高さを利用した第1ピッチ推定を通じて第1ピッチを生成させ、(ii)前記オブジェクトプロファイリング情報を参照することで、前記オブジェクトのうち第2ターゲットオブジェクトを選定し、前記第2ターゲットオブジェクトの幅(width)を利用した第2ピッチ推定を通じて第2ピッチを生成させるプロセスと、前記走行イメージを分析して消滅点を検出する消滅点推定ネットワークの消滅点検出情報と前記車線プロファイリング情報とを車線基盤ピッチ推定モジュールに入力することで、前記車線基盤ピッチ推定モジュールによって、(i)前記車線プロファイリング情報を利用した第3ピッチ推定を通じて第3ピッチを生成させ、(ii)前記消滅点検出情報を利用した第4ピッチ推定を通じて第4ピッチを生成させるプロセスを遂行するステップと、(III)前記第1ピッチ乃至前記第4ピッチをピッチ決定モジュールに入力することで、前記ピッチ決定モジュールによって前記第1ピッチ乃至前記第4ピッチをアンサンブルすることで、前記走行イメージに対応する決定ピッチを出力させるステップと、を遂行する、キャリブレーション装置が提供される。
【0026】
前記プロセッサは、前記(III)のステップで、前記ピッチ決定モジュールによって、前記オブジェクトプロファイリング情報を参照することで、前記オブジェクトのうち第3ターゲットオブジェクトを選定し、前記第3ピッチを利用して前記第3ターゲットオブジェクトの第2高さを演算した後、前記第2高さが高さスレッショルド以内であるか否かを確認して前記第3ピッチを検証し、(i)前記第3ピッチが有効な場合には、前記第3ピッチを前記決定ピッチとして出力させ、(ii)前記第3ピッチが有効でない場合には、前記第1ピッチに対応する第1ターゲットオブジェクトと前記第2ピッチに対応する第2ターゲットオブジェクトとを比較し、前記第1ターゲットオブジェクトと前記第2ターゲットオブジェクトとが同一であれば、前記第1ピッチ及び前記第2ピッチのうちいずれか一つを前記決定ピッチとして出力させ、前記第1ターゲットオブジェクトと前記第2ターゲットオブジェクトとが同一でなければ、前記第1ターゲットオブジェクトと前記第2ターゲットオブジェクトとのうち前記自動車とのラテラルディスタンスが小さい特定のターゲットオブジェクトに対応する特定のピッチを前記決定ピッチとして出力させ、(iii)前記走行イメージから検出されたオブジェクト及び車線がない場合には、前記第4ピッチを前記決定ピッチとして出力させる。
【0027】
前記プロセッサは、前記ピッチ決定モジュールによって、前記自動車とのラテラルディスタンスが第1ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複していない第1候補オブジェクトのうち前記ラテラルディスタンスが最も小さい第1特定のオブジェクトを前記第3ターゲットオブジェクトに選定させる。
【0028】
前記プロセッサは、前記(III)のステップで、前記ピッチ決定モジュールによって前記決定ピッチを以前フレームにおける以前ピッチ値とスムージング(smoothing)を適用して前記決定ピッチに対するピッチスムージングを遂行し、ピッチ変化スレッショルドを使用してフレーム間の最大ピッチ変化を制限するトレランス(tolerance)ハンドリングを遂行させる。
【0029】
前記プロセッサは、(IV)前記決定ピッチと前記第4ピッチとを参照することでピッチロスを獲得し、前記ピッチロスを利用して前記消滅点推定ネットワークをオン-ビークルコンティニュアルラーニングするステップをさらに遂行する。
【0030】
前記プロセッサは、(i)前記自動車の運行中に、前記ピッチロスを利用して前記消滅点推定ネットワークをインスタンス-ワイズインクリメンタルラーニング(instance-wise incremental learning)することで迅速な適応となるようにし、(ii)前記自動車の走行完了後、走行中にサンプリングされたデータを利用して前記消滅点推定ネットワークをバランス良く(balanced)コンティニュアルラーニングすることで前記迅速な適応により発生する可能性のあるカタストロフィックフォーゲッティング(catastrophic forgetting)現象を防止する。
【0031】
前記プロセッサは、(i)前記自動車の運行中に、前記ピッチロスを利用して前記消滅点推定ネットワークをインスタンス-ワイズインクリメンタルラーニングすることで迅速な適応となるようにし、(ii)前記インスタンス-ワイズインクリメンタルラーニングに使用された、サンプリングされたデータをラーニングサーバに伝送することで、前記ラーニングサーバによって前記サンプリングされたデータを利用して前記消滅点推定ネットワークに対応するリファレンス(reference)消滅点推定ネットワークをサーバ-サイドコンティニュアルラーニングして、前記サーバ-サイドコンティニュアルラーニングによりアップデートされたパラメータを前記キャリブレーション装置に伝送させ、(iii)前記自動車の走行完了後、前記ラーニングサーバから受信された前記パラメータを利用して前記消滅点推定ネットワークをアップデートする。
【0032】
前記プロセッサは、(V)(i)前記オン-デバイスラーニングされた学習済み消滅点推定ネットワークモデルをラーニングサーバに伝送することで、前記ラーニングサーバによって少なくとも一つの他の自動車から伝送された少なくとも一つの他の学習済み消滅点推定ネットワークモデルと前記学習済み消滅点推定ネットワークモデルとを評価してベスト消滅点推定ネットワークモデルを選定させ、前記ベスト消滅点推定ネットワークモデルを前記キャリブレーション装置に伝送させ、(ii)前記ラーニングサーバから伝送された前記ベスト消滅点推定ネットワークモデルを利用して前記消滅点推定ネットワークをアップデートするステップをさらに遂行する。
【0033】
前記プロセッサは、前記(II)のステップで、前記オブジェクト基盤ピッチ推定モジュールによって、前記オブジェクトプロファイリング情報を参照することで、前記自動車とのラテラルディスタンスが第2ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複していない第2候補オブジェクトのうち前記ラテラルディスタンスが最も小さい第2特定のオブジェクトを前記第1ターゲットオブジェクトに選定し、前記第1ターゲットオブジェクトの検出ヒストリーを参照することで、前記第1ターゲットオブジェクトの平均高さを獲得し、前記平均高さが最小高さスレッショルド以上であり最大高さスレッショルド以下である場合には、前記平均高さを前記第1高さに決定させ、前記平均高さが前記最小高さスレッショルド未満であるか前記最大高さスレッショルドを超過する場合には、前記最小高さスレッショルドと前記最大高さスレッショルドとの平均値を前記第1高さに決定させる。
【0034】
前記プロセッサは、前記(II)のステップで、前記オブジェクト基盤ピッチ推定モジュールによって、前記オブジェクトプロファイリング情報を参照することで、前記自動車とのラテラルディスタンスが第3ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複しておらず、2Dバウンディングボックスと3Dバウンディングボックスとの差がボックス差スレッショルド以下であり、バウンディングボックスの縦横比が縦横比スレッショルド以上である第3候補オブジェクトのうち前記ラテラルディスタンスが最も小さい第3特定のオブジェクトを前記第2ターゲットオブジェクトに選定させる。
【0035】
前記プロセッサは、前記(II)のステップで、前記車線基盤推定モジュールによって、前記車線プロファイリング情報を参照することで、直線であり、長さスレッショルド以上であり、前記自動車の座標系上で互いに平行である第1車線と第2車線とを選択し、前記第1車線と前記第2車線とを利用してターゲット消滅点を検出し、前記ターゲット消滅点を利用して前記第3ピッチ推定を遂行させる。
【発明の効果】
【0036】
本発明は、自動車の走行補助装置を構成するパーセプションモジュールの出力を利用することにより、従来に比べて正確に自動車のカメラピッチを推定することができる。
【0037】
本発明は、自動車の走行補助装置を構成するパーセプションモジュールの出力を利用することにより、従来に比べて少ない演算量で自動車のカメラピッチを推定することができる。
【0038】
本発明は、消滅点を検出する消滅点推定モデルをコンティニュアルラーニングすることにより、消滅点を正確に検出することができるようになり、それにより、自動車のカメラピッチをより正確に推定することができる。
【図面の簡単な説明】
【0039】
本発明の実施形態の説明に用いられるために添付された以下の図面は、本発明の実施形態のうち単に一部であるだけであり、本発明が属する技術分野で通常の知識を有する者(以下、「通常の技術者」)においては、発明的作業がなされることなく、これらの図面に基づいて他の図面が得られる。
【0040】
【
図1】
図1は、本発明の一実施例において、自動車のカメラピッチをキャリブレーションするキャリブレーション装置を簡略に示した図面である。
【
図2】
図2は、本発明の一実施例において、自動車のカメラピッチをキャリブレーションする方法を簡略に示した図面である。
【
図3a】
図3aは、本発明の一実施例において、自動車のカメラピッチをキャリブレーションする方法においてオブジェクトの高さを利用してピッチを推定する状態を簡略に示した図面である。
【
図3b】
図3bは、本発明の一実施例において、自動車のカメラピッチをキャリブレーションする方法においてオブジェクトの高さを利用してピッチを推定する状態を簡略に示した図面である。
【
図4a】
図4aは、本発明の一実施例において、自動車のカメラピッチをキャリブレーションする方法においてオブジェクトの幅を利用してピッチを推定する状態を簡略に示した図面である。
【
図4b】
図4bは、本発明の一実施例において、自動車のカメラピッチをキャリブレーションする方法においてオブジェクトの幅を利用してピッチを推定する状態を簡略に示した図面である。
【
図5】
図5は、本発明の一実施例において、自動車のカメラピッチをキャリブレーションする方法において走行イメージ上でエゴ車線を選択する過程を簡略に示した図面である。
【
図6】
図6は、本発明の一実施例において、自動車のカメラピッチをキャリブレーションする方法において消滅点推定ネットワークを簡略に示した図面である。
【
図7】
図7は、本発明の一実施例において、自動車のカメラピッチをキャリブレーションする方法において演算されたピッチのうち走行イメージのピッチを決定する過程を簡略に示した図面である。
【
図8】
図8乃至
図10は、本発明の一実施例において、自動車のカメラピッチをキャリブレーションする方法において消滅点推定ネットワークをコンティニュアルラーニングする状態をそれぞれ示した図面である。
【
図9】
図9は、本発明の一実施例において、自動車のカメラピッチをキャリブレーションする方法において消滅点推定ネットワークをコンティニュアルラーニングする状態をそれぞれ示した図面である。
【
図10】
図10は、本発明の一実施例において、自動車のカメラピッチをキャリブレーションする方法において消滅点推定ネットワークをコンティニュアルラーニングする状態をそれぞれ示した図面である。
【発明を実施するための形態】
【0041】
後述する本発明に対する詳細な説明は、本発明の目的、技術的解法及び長所を明らかにするために本発明が実施できる特定の実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施できるのに十分であるように詳細に説明される。
【0042】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴若しくは各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は、本明細書から、また一部は、本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【0043】
さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の様々な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取られるべきものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な態様にわたって同一であるか、又は類似の機能を指す。
【0044】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照することで詳細に説明することにする。
【0045】
図1は、本発明の一実施例において、自動車のカメラピッチをキャリブレーションするキャリブレーション装置を簡略に示した図面であり、
図1を参照すると、キャリブレーション装置1000は、自動車のカメラから獲得された走行イメージに対するオブジェクトディテクション情報と車線ディテクション情報とを利用して、カメラピッチを推定するためのインストラクションが格納されたメモリ1001と、メモリ1001に格納されたインストラクションによって自動車のカメラピッチを推定するための動作を遂行するプロセッサ1002とを含むことができる。
【0046】
具体的に、キャリブレーション装置1000は、典型的にコンピューティング装置(例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含むことができる装置;ルータ、スイッチなどのような電子通信装置;ネットワーク接続ストレージ(NAS)及びストレージ領域ネットワーク(SAN)のような電子情報ストレージシステム)及びコンピュータソフトウェア(即ち、コンピューティング装置によって特定の方式で機能させる各インストラクション)の組合せを利用して所望のシステム性能を達成するものであり得る。
【0047】
また、コンピューティング装置のプロセッサはMPU(Micro Processing Unit)またはCPU(Central Processing Unit)、キャッシュメモリ(Cache Memory)、データバス(Data Bus)などのハードウェア構成を含むことができる。また、コンピューティング装置はオペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むことができる。
【0048】
しかし、コンピューティング装置が本発明を実施するためのミディアム、プロセッサ及びメモリが統合された形態である統合プロセッサを含む場合を排除するわけではない。
【0049】
このように構成された本発明の一実施例において、キャリブレーション装置1000を利用して自動車のカメラピッチをキャリブレーションする方法について
図2を参照して説明すると以下の通りである。
【0050】
まず、自動車、一例として、自律走行自動車に設置されたカメラからの走行イメージが獲得されると、キャリブレーション装置1000は、走行イメージをオブジェクトディテクションネットワーク1100と車線ディテクションネットワーク1200とにそれぞれ入力することで、オブジェクトディテクションネットワーク1100によって走行イメージ上のオブジェクトを検出してオブジェクト検出情報を出力させ、車線ディテクションネットワーク1200によって走行イメージ上の車線を検出して車線検出情報を出力させることができる。
【0051】
この際、オブジェクトディテクションネットワーク1100は、ディープラーニング(deep learning)を使用するCNN(convolutional neural network)基盤のオブジェクトディテクションネットワークだけでなく、ビジュアルフィーチャー及びシャロウ(shallow)ラーニング基盤のクラシファイアで具現され得るが、これに限定されるわけではなく、走行イメージからオブジェクトを検出することができる様々なアルゴリズムが利用され得る。そして、オブジェクトディテクションネットワーク1100の出力は、2Dバウンディングボックスまたは3Dバウンディングボックスのようなオブジェクト領域情報と、バウンディングボックスのそれぞれに対応するオブジェクトのクラスを分析したオブジェクトクラス情報とを含むことができるが、本発明がこれに限定されるわけではなく、セダン、トラック、エスユーブイ(SUV)などのように自動車の種類に関する情報など、オブジェクトに関する様々な情報を含むことができる。
【0052】
また、車線ディテクションネットワーク1200は、ディープラーニングを使用するCNN基盤の車線ディテクションネットワークだけでなく、イメージプロセッシング及びコンピュータビジョンアルゴリズムで具現され得るが、これに限定されるわけではなく、走行イメージから車線を検出することができる様々なアルゴリズムが利用され得、車線ディテクションネットワーク1200の出力はn次数多項式方程式によって表される車線モデルであり得る。
【0053】
次に、キャリブレーション装置1000は、オブジェクトディテクション情報をプロファイリングすることで、オブジェクトのそれぞれに対応するオブジェクトプロファイリング情報と、車線検出情報をプロファイリングすることで、車線のそれぞれに対応する車線プロファイリング情報とを生成することができる。
【0054】
この際、オブジェクトプロファイリング情報は、オブジェクトのそれぞれに対する幅(width)及び高さ(height)を含むことができるが、本発明がこれに限定されるわけではなく、オブジェクトのそれぞれに対する様々な情報を含むことができる。
【0055】
また、車線プロファイリング情報は、車線のそれぞれに対する直進性(straightness)、長さ(length)、及び自動車座標における傾きを含むことができるが、本発明がこれに限定されるわけではなく、車線のそれぞれに対する様々な情報を含むことができる。
【0056】
次に、キャリブレーション装置1000は、走行イメージまたは車線検出情報を消滅点推定ネットワーク1210に入力することで、消滅点推定ネットワーク1210によってラーニング演算を通じて走行イメージ上における消滅点を検出し、消滅点をトラッキングさせることができる。
【0057】
次に、キャリブレーション装置1000は、オブジェクトプロファイリング情報をオブジェクト基盤ピッチ推定モジュール1110に入力することで、オブジェクト基盤ピッチ推定モジュール1100によってオブジェクトプロファイリング情報を参照することでオブジェクトのうち第1ターゲットオブジェクトを選定させ、第1ターゲットオブジェクトの第1高さを利用した第1ピッチ推定を通じて第1ピッチを生成させ、オブジェクトプロファイリング情報を参照することでオブジェクトのうち第2ターゲットオブジェクトを選定させ、第2ターゲットオブジェクトの幅を利用した第2ピッチ推定を通じて第2ピッチを生成させるプロセスを遂行することができる。
【0058】
また、キャリブレーション装置1000は、走行イメージまたは車線検出情報を分析して消滅点を検出する消滅点推定ネットワーク1210の消滅点検出情報と車線プロファイリング情報とを車線基盤ピッチ推定モジュール1220に入力することで、車線基盤ピッチ推定モジュール1220によって車線プロファイリング情報を利用した第3ピッチ推定を通じて第3ピッチを生成させ、消滅点検出情報を利用した第4ピッチ推定を通じて第4ピッチを生成させるプロセスを遂行することができる。
【0059】
オブジェクト基盤ピッチ推定モジュール1110が第1ピッチと第2ピッチとを生成し、車線基盤ピッチ推定モジュール1220が第3ピッチと第4ピッチとを生成する過程をより詳細に説明すると以下の通りである。
【0060】
第一に、オブジェクト基盤ピッチ推定モジュール1110は、オブジェクトプロファイリング情報を参照することで、走行イメージ上から検出されたオブジェクトのうち、自動車とのラテラルディスタンス(lateral distance)が第2ディスタンススレッショルド(threshold)以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複していない第2候補オブジェクトを選定し、選ばれた第2候補オブジェクトのうち、ラテラルディスタンスが最も小さい第2特定のオブジェクトを第1ターゲットオブジェクトに選定することができる。
【0061】
この際、ラテラルディスタンスは、自動車の車幅方向と垂直な方向における自動車とオブジェクトとの間の距離であり得、第2ディスタンススレッショルドは、一例として、10mであり得るが、本発明がこれに限定されるわけではなく、オブジェクトを容易に判別可能な任意のラテラルディスタンスを第2ディスタンススレッショルドとして設定することができる。そして、バウンディングボックスの切断のないオブジェクトは、バウンディングボックスが走行イメージのバウンダリにかかっていないオブジェクトであり得る。また、自動車クラスであるオブジェクトは、セダン、エスユーブイ、トラック、バスなどのように自動車の種類に対するクラスを有するオブジェクトであり得、重複していないオブジェクトは、バウンディングボックスが他のオブジェクトのバウンディングボックスと重複していないか、重複していてもバウンディングボックスのボトム(bottom)座標が走行イメージの下端により近いオブジェクトであり得る。
【0062】
以後、オブジェクト基盤ピッチ推定モジュール1100は、第1ターゲットオブジェクトの検出ヒストリーを参照することで第1ターゲットオブジェクトの平均高さを獲得し、平均高さが最小高さスレッショルド以上であり、最大高さスレッショルド以下である場合には、平均高さを第1高さに決定し、平均高さが最小高さスレッショルド未満であるか最大高さスレッショルドを超過する場合には、最小高さスレッショルドと最大高さスレッショルドとの平均値を第1高さに決定することができる。
【0063】
この際、最小高さスレッショルドと最大高さスレッショルドとは、自動車クラス別に設定され得る。一例として、自動車クラスがセダン、エスユーブイ、または類似した大きさの自動車に対しては、最小高さスレッショルドを1.4mに設定し、最大高さスレッショルドは1.8mに設定することができ、バス、トラックなどのような自動車に対しては、最小高さスレッショルドを2.5mに設定し、最大高さスレッショルドは4mに設定することができる。
【0064】
そして、オブジェクト基盤ピッチ推定モジュール1100は、第1ターゲットオブジェクトの第1高さを利用してバイナリサーチ(binary search)により第1ピッチを生成するか、直接演算を通じて第1ピッチを生成することができる。
【0065】
即ち、オブジェクト基盤ピッチ推定モジュール1100は、バイナリサーチにより現在ピッチ角度であるP、ピッチサーチレインジ(角度)であるα、第1ターゲットオブジェクトのバウンディングボックスであるB、第1ターゲットオブジェクトの第1高さであるHを入力として受信することで、新しく推定されたピッチ角度であるP’を出力する。
【0066】
この際、min_angleはP-α、max_angleはP+αで表され得、自動車座標系上で第1ターゲットオブジェクトのバウンディングボックスBの高さを計算する関数をVCS_H(B)とする場合、VCS_H(B)!=Hの状態で、P’=binary search(B,H,min_angle,max_angle)により推定され得、min_angleとmax_angleとはアップデートされ得る。一方、binary_search(B,H,min_angle,max_angle)は、第1ターゲットオブジェクトのバウンディングボックスBの高さが第1高さHとなるようにピッチを探索する関数であり得る。
【0067】
また、
図3a及び
図3bを参照すると、オブジェクト基盤ピッチ推定モジュール1100は、
図3aのようなピンホール(pinhole)カメラモデルの三角形類似比例式を利用して、焦点距離:バウンディングボックスの高さ=Z:ターゲットオブジェクトの高さ(第1高さ)により、ターゲットオブジェクトの距離であるZ=(焦点距離)×(ターゲットオブジェクトの高さ)/(バウンディングボックスの高さ)を通じて距離(Z)を計算し、
図3bのように、計算された距離(Z)を利用した次の数式により第1ピッチ(θ)を推定することができる。
【0068】
第二に、オブジェクト基盤ピッチ推定モジュール1100は、オブジェクトプロファイリング情報を参照することで自動車とのラテラルディスタンスが第3ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複しておらず、2Dバウンディングボックスと3Dバウンディングボックスとの差がボックス差スレッショルド以下であり、バウンディングボックスの縦横比が縦横比スレッショルド以下である第3候補オブジェクトのうちラテラルディスタンスが最も小さい第3特定のオブジェクトを第2ターゲットオブジェクトに選定することができる。
【0069】
この際、ラテラルディスタンスは自動車の車幅方向と垂直な方向における自動車とオブジェクトとの間の距離であり得、第3ディスタンススレッショルドは、一例として、3mであり得るが、本発明がこれに限定されるわけではなく、オブジェクトを容易に判別可能な任意のラテラルディスタンスを第3ディスタンススレッショルドとして設定することができる。そして、バウンディングボックスの切断のないオブジェクトは、バウンディングボックスが走行イメージのバウンダリにかかっていないオブジェクトであり得る。また、自動車クラスであるオブジェクトは、セダン、エスユーブイ、トラック、バスなどのように自動車の種類に対するクラスを有するオブジェクトであり得、重複していないオブジェクトは、バウンディングボックスが他のオブジェクトのバウンディングボックスと重複していないか、重複していてもバウンディングボックスのボトム座標が走行イメージの下端により近いオブジェクトであり得る。また、2Dバウンディングボックスと3Dバウンディングボックスとの差がボックス差スレッショルド以下であるオブジェクトは、自動車のほぼ正面にあるオブジェクトであり得、バウンディングボックスの縦横比が縦横比スレッショルド以上であるオブジェクトは、側面が正面から見えないオブジェクトであり得る。即ち、交差路などでは側面が自動車の正面に見える場合、該当オブジェクトのバウンディングボックスは、縦横比が小さいため、これを防止するためにバウンディングボックスの縦横比が縦横比スレッショルド未満であるオブジェクトを選択しないようにするためのものであり得る。
【0070】
以後、オブジェクト基盤ピッチ推定モジュール1100は、第2ターゲットオブジェクトの自動車クラスを参照することで第2ターゲットオブジェクトの幅を決定することができる。
【0071】
この際、第2ターゲットオブジェクトの幅は、第2ターゲットオブジェクトの自動車クラス別に設定された幅により決定され得る。一例として、自動車クラスがセダン、エスユーブイ、または類似した大きさの自動車に対しては1.8mに設定され得、バス、トラックなどのような自動車に対しては1.8mに設定され得るが、本発明がこれに限定されるわけではなく、自動車クラス別に特定の定数に設定され得る。これは、同一の自動車クラス内では車種による幅の差が大きくないため、同一の自動車クラスに対しては同一の幅を有するものと設定することができる。
【0072】
【0073】
第三に、車線基盤ピッチ推定モジュール1220は、車線プロファイリング情報を参照することで、直線であり、距離スレッショルド以上であり、自動車の座標系上で互いに平行である第1車線と第2車線とを選択し、第1車線と第2車線とを利用してターゲット消滅点を検出し、ターゲット消滅点を利用して第3ピッチを推定することができる。
【0074】
一例として、車線基盤ピッチ推定モジュール1220は、走行イメージ上から検出された車線が直線である程度を示す直進性(straightness)、走行イメージ上から検出された車線の長さ、自動車座標系上の車線の傾きを含む車線プロファイリング情報を参照することで、直線であり、車線の長さが距離スレッショルド以上であり、自動車座標系上で平行である条件を満足する第1車線と第2車線とを消滅点検出のための車線に選択することができる。この際、車線を走行イメージ座標系から自動車座標系に変換する際には以前フレームのカメラパラメータを使用することができる。
【0075】
そして、車線基盤ピッチ推定モジュール1220は選択された第1車線と第2車線との車線方程式を利用することで交点を計算して消滅点を検出し、検出された消滅点とカメラのセンターとを利用して第3ピッチを推定することができる。
【0076】
この際、n個の車線が検出された場合には、
図5のようなサーチツリー(search tree)を利用して二つの車線を選択することができる。
【0077】
即ち、車線のうち自動車に対応するエゴ車線を検出し、両側のエゴ車線が検出された場合には、直線であり特定の距離スレッショルド以上である有用性条件を満足するかを確認し、両側のエゴ車線が全て有用性条件を満足するのであれば、二つの車線が平行な傾き有効検証条件を満足するかを確認し、一つの車線のみが有用性条件を満足するのであれば、有用性条件を満足する代替車線を検出することで、傾き有効検証条件を満足するかを確認する。そして、左のエゴ車線または右のエゴ車線のみが検出された場合には、それぞれ有用性条件を満足する代替車線を検出することで、傾き検証条件を満足するかを確認する。これを通じて、有用性条件と傾き検証条件とを満足する二つの車線を選択することができる。
【0078】
第四に、車線基盤ピッチ推定モジュール1220は、消滅点推定ネットワーク1210の消滅点検出情報を利用して消滅点推定ネットワーク1210から検出される消滅点をトラッキングし、カメラの製作の際、デフォルト(default)に設定されたEOL(end of line)ピッチを参照することで、トラッキングされた消滅点を利用して第4ピッチを推定することができる。
【0079】
この際、
図6を参照すると、消滅点推定ネットワーク1210は、走行イメージから直接消滅点を検出するためにCNN(convolutional neural network)を利用するか、消滅点GNet(Guided Network for Lane and Road Marking Detection and Recognition)のようにマルチタスク(multi-task)CNN構造に車線と消滅点とを同時に検出するパーセプション基盤のネットワークを使用することができるが、本発明はこれに限定されるわけではなく、独立した消滅点検出ネットワークに具現され得る。
【0080】
次に、キャリブレーション装置1000は、第1ピッチ乃至第4ピッチをピッチ決定モジュール1300に入力することで、ピッチ決定モジュール1300によって第1ピッチ乃至第4ピッチをアンサンブル(ensemble)することで、走行イメージに対応する決定ピッチを出力させることができる。
【0081】
一方、第1ピッチ推定乃至第4ピッチ推定は、それぞれ次のような長所と短所を有している。
【0082】
第1ピッチ推定は、高さが維持されるようにピッチを調整するため、安定したピッチ推定が可能であり、オブジェクトの選択幅が広く、第2ピッチ推定よりも広い範囲で運用可能であるという長所があるが、歩行者のような人、二輪車などのように高さの範囲が過度に広いオブジェクトに対しては、ピッチ推定を適用し難いという短所がある。
【0083】
そして、第2ピッチ推定は、幅が維持されるようにピッチを調整するため、安定したピッチ推定が可能であり、高さは最小/最大区間があるが、幅は自動車間変化(variation)が小さく、定数に固定することができるため、第1ピッチ推定よりも正確度が高いという長所があるが、歩行者のような人、二輪車などに対しては動作が不可能であり、オブジェクト選択の制約のため、第1ピッチ推定よりも狭い可動範囲で運用しなければならないという短所がある。
【0084】
そして、第3ピッチ推定は、直線区間で正確であり、平らな道路でよく動作するという長所があるが、カーブ道で不正確であり、車線がある時にのみ動作可能であるという短所がある。
【0085】
そして、第4ピッチ推定は、オブジェクトと車線とに関係なくすべての状況で出力が出るという長所があるが、正確度の問題によってピッチ変動(variance)を低く維持し難いという短所がある。
【0086】
従って、キャリブレーション装置1000は、ピッチ決定モジュール1300によって第1ピッチ推定乃至第4ピッチ推定のそれぞれの長所を生かして短所を補完するように第1ピッチ乃至第4ピッチをアンサンブルすることで、走行イメージの毎フレームにおけるピッチを決定させることができる。
【0087】
一例として、
図7を参照すると、ピッチ決定モジュール1300は、オブジェクトプロファイリング情報を参照することでオブジェクトのうち第3ターゲットオブジェクトを選定し、第3ピッチを利用して第3ターゲットオブジェクトの第2高さを演算した後、第2高さが高さスレッショルド以内であるか否かを確認して第3ピッチを検証することができる。この際、ピッチ決定モジュール1300は自動車とのラテラルディスタンスが第1ディスタンススレッショルド以下であり、バウンディングボックスの切断がなく、オブジェクトクラスが自動車クラスであり、重複していない第1候補オブジェクトのうちラテラルディスタンスが最も小さい第1特定のオブジェクトを第3ターゲットオブジェクトに選定することができる。
【0088】
以後、ピッチ決定モジュール1300は、第3ピッチを検証した結果、第3ピッチが有効な場合には、第3ピッチを決定ピッチとして出力することができる。
【0089】
しかし、第3ピッチが有効でない場合には、ピッチ決定モジュール1300は、第1ピッチに対応する第1ターゲットオブジェクトと第2ピッチに対応する第2ターゲットオブジェクトとを比較して、第1ターゲットオブジェクトと第2ターゲットオブジェクトとが同一であれば、第1ピッチ及び第2ピッチのうちいずれか一つを決定ピッチとして出力し、第1ターゲットオブジェクトと第2ターゲットオブジェクトとが同一でなければ、第1ターゲットオブジェクトと第2ターゲットオブジェクトとのうち自動車とのラテラルディスタンスが小さい特定のターゲットオブジェクトに対応する特定のピッチを決定ピッチとして出力することができる。
【0090】
また、ピッチ決定モジュール1300は、走行イメージから検出されたオブジェクト及び車線がない場合には、第4ピッチを決定ピッチとして出力することができる。
【0091】
そして、ピッチ決定モジュール1300は、決定ピッチを以前フレームにおける以前ピッチ値とスムージング(smoothing)を適用して決定ピッチに対するピッチスムージングを遂行し、ピッチ変化スレッショルドを使用してフレーム間の最大ピッチ変化を制限するトレランスハンドリング(tolerance handing)を遂行することができる。
【0092】
即ち、ピッチ決定モジュール1300は、ピッチの突然な変化を防止するために、以前フレームにおけるピッチ値とスムージングを適用して決定ピッチに対するピッチスムージングを遂行し、トレランスハンドリングを通じてスレッショルドを使用してフレーム間の最大ピッチ変化を制限することができる。しかし、ピッチ決定モジュール1300は、存在していなかったオブジェクトが初めて登場する場合には、ピッチ変化に対する制限を解除することができる。また、オブジェクトが自動車、即ち、エゴ自動車と他の道路平面にいる場合には、トレランスハンドリングを遂行することができる。
【0093】
一方、消滅点推定ネットワーク1210は、コンティニュアルラーニングにより走行イメージから消滅点を検出するように学習され得る。
【0094】
この際、消滅点推定ネットワーク1210のコンティニュアルラーニングには、オン-デバイスコンティニュアルラーニング、協同(cooperative)コンティニュアルラーニング、サーバ-サイドコンティニュアルラーニングなどが利用され得る。
【0095】
まず、
図8を参照すると、オン-デバイスコンティニュアルラーニングは、キャリブレーション装置1000が、決定ピッチと第4ピッチとを参照することでピッチロスを獲得し、ピッチロスを利用して消滅点推定ネットワーク1210をオン-デバイスコンティニュアルラーニングすることができる。この際、キャリブレーション装置1000がオン-デバイスコンティニュアルラーニングを遂行したが、これとは異なり、別途の学習装置を通じててオン-デバイスコンティニュアルラーニングを遂行させることができる。
【0096】
この際、キャリブレーション装置1000は、前記自動車の運行中に、ピッチロスを利用して消滅点推定ネットワーク1210をインスタンス-ワイズインクリメンタルラーニング(instance-wise incremental learning)して迅速な適応(fast adaptation)となるようにし、自動車の走行完了後、走行中にサンプリングされたデータを利用して消滅点推定ネットワーク1210をバランス良く(balanced)コンティニュアルラーニングして迅速な適応により発生する可能性のあるカタストロフィックフォーゲッティング(catastrophic forgetting)現象を防止することができる。
【0097】
即ち、一般的に自動車の走行環境検出では、連続したイメージシーケンスが入力に使用されるため、特定のフレームにおいて消滅点を誤って推定した場合、その後のフレームでも誤った消滅点が維持される確率が高いため、走行中の際には、ピッチ決定モジュール1300から出力される決定ピッチと第4ピッチとを比較してピッチロスを獲得し、ピッチロスが閾値よりも大きい場合、迅速な適応のためのインスタンス-ワイズインクリメンタルラーニングを遂行し、走行完了後には、走行中に迅速な適応を通じて発生する可能性のあるカタストロフィックフォーゲッティング現象を防止するために、走行中にサンプリングされたデータを利用してバランスの良いコンティニュアルラーニングを遂行することができる。
【0098】
また、
図9を参照すると、協同(cooperative)コンティニュアルラーニングは、キャリブレーション装置1000がオン-ビークルラーニングされた学習済み消滅点推定ネットワークモデルをラーニングサーバに伝送することで、ラーニングサーバによって少なくとも一つの他の自動車から伝送された少なくとも一つの他の学習済み消滅点推定ネットワークモデルと学習済み消滅点推定ネットワークモデルとを評価してベスト消滅点推定ネットワークモデルを選定させ、ベスト消滅点推定ネットワークモデルをキャリブレーション装置1000に伝送させ、ラーニングサーバから伝送されたベスト消滅点推定ネットワークモデルを利用して消滅点推定ネットワーク1210をアップデートすることである。
【0099】
即ち、
図8を参照することで説明したオン-デバイスコンティニュアルラーニングにより、それぞれの自動車がコンティニュアルラーニングを遂行し、ラーニングサーバに学習済みモデルとデータとを伝送すると、ラーニングサーバは、それぞれの自動車のモデルを評価してベストモデルを選定した後、選ばれたベストモデルをそれぞれの自動車に伝送することによって、協同コンティニュアルラーニングを通じてそれぞれの自動車が消滅点推定ネットワークをアップデートすることができる。
【0100】
また、
図10を参照すると、サーバ-サイドコンティニュアルラーニングは、キャリブレーション装置1000が、自動車の運行中に、ピッチロスを利用して消滅点推定ネットワーク1210をインスタンス-ワイズインクリメンタルラーニングすることで迅速な適応となるようにし、インスタンス-ワイズインクリメンタルラーニングに使用された、サンプリングされたデータをラーニングサーバに伝送することで、ラーニングサーバによってサンプリングされたデータを利用して消滅点推定ネットワーク1210に対応するリファレンス(reference)消滅点推定ネットワークをサーバ-サイドコンティニュアルラーニングさせ、サーバ-サイドコンティニュアルラーニングによりアップデートされたパラメータをキャリブレーション装置1000に伝送させ、自動車の走行完了後、ラーニングサーバから受信されたパラメータを利用して消滅点推定ネットワーク1210をアップデートすることである。
【0101】
即ち、それぞれの自動車では、迅速な適応のみを遂行し、コンティニュアルラーニングは、ラーニングサーバで遂行した後、コンティニュアルラーニング消滅点推定ネットワークまたは該当パラメータをそれぞれの自動車に伝達してアップデートすることができる。
【0102】
また、以上にて説明された本発明による実施例は、様々なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、CD-ROM、DVDのような光記録媒体、フロプティカル・ディスク(Floptical Disk)のような磁気-光メディア(Magneto-Optical Media)、及びROM、RAM、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行される高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【0103】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは、本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から様々な修正及び変形が行われ得る。
【0104】
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【国際調査報告】