特開 2024-84136 精密道路地図基盤のＣＣＴＶカメラ姿勢および客体座標推定方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024084136

(43)【公開日】2024-06-24

(54)【発明の名称】精密道路地図基盤のＣＣＴＶカメラ姿勢および客体座標推定方法およびシステム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240617BHJP

   G06T 7/00 20170101ALI20240617BHJP

   G06V 20/58 20220101ALI20240617BHJP

【ＦＩ】

G06T7/70 Z

G06T7/00 650A

G06T7/00 350B

G06V20/58

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023207155

(22)【出願日】2023-12-07

(31)【優先権主張番号】10-2022-0172426

(32)【優先日】2022-12-12

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】523463030

【氏名又は名称】チェ、イン グ

(71)【出願人】

【識別番号】523459882

【氏名又は名称】キム、ソン ファン

(71)【出願人】

【識別番号】523459893

【氏名又は名称】パク、チョル ヒョン

(71)【出願人】

【識別番号】519406991

【氏名又は名称】ユーワンジーアイエス

(74)【代理人】

【識別番号】100130111

【弁理士】

【氏名又は名称】新保 斉

(72)【発明者】

【氏名】チェ、イン グ

(72)【発明者】

【氏名】キム、ソン ファン

(72)【発明者】

【氏名】パク、チョル ヒョン

(72)【発明者】

【氏名】キム、ギ チャン

(72)【発明者】

【氏名】キム、ドク ジュン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA04

5L096CA04

5L096EA03

5L096FA09

5L096FA67

5L096FA69

5L096GA51

(57)【要約】

【課題】肉眼による概略的な位置推定、グローバル座標推定の困難、推定するとしても正確度が顕著に低いという点などの問題点を解決するために、ＣＣＴＶカメラに撮影された映像内の客体や区域に対する自動化された位置座標推定技術とこれを利用した自動マッピングに関する技術を提供すること。
【解決手段】精密道路地図基盤のＣＣＴＶカメラ姿勢および客体座標推定方法は、（ａ）ＣＣＴＶカメラの撮影映像での路面客体と精密道路地図をマッチングさせてカメラ姿勢を推定する段階；（ｂ）撮影映像内でマッピング対象客体を選択する段階；（ｃ）推定されたカメラ姿勢に基づいて撮影映像内で選択されたマッピング対象客体の座標を推定する段階を含み、カメラ姿勢はＣＣＴＶカメラの位置（Ｘ、Ｙ、Ｚ）、パン（ｐａｎ）、チルト（ｔｉｌｔ）に対する情報を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

（ａ）ＣＣＴＶカメラの撮影映像での路面客体と精密道路地図をマッチングさせてカメラ姿勢を推定する段階；
（ｂ）前記撮影映像内でマッピング対象客体を選択する段階；および、
（ｃ）前記推定されたカメラ姿勢に基づいて前記撮影映像内で選択されたマッピング対象客体の座標を推定する段階を含むものの、
前記カメラ姿勢は前記ＣＣＴＶカメラの位置（Ｘ、Ｙ、Ｚ）、パン（ｐａｎ）、チルト（ｔｉｌｔ）に対する情報を含む
ことを特徴とする精密道路地図基盤のＣＣＴＶカメラ姿勢および客体座標推定方法。

【請求項2】

前記（ａ）段階は、
前記撮影映像で前記路面客体の特徴点のピクセル座標を抽出する段階；
前記路面客体を精密道路地図とマッチングさせて前記路面客体の特徴点の空間座標を抽出する段階；および、
前記抽出された路面客体の特徴点のピクセル座標と空間座標の関係からＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ）を利用して前記カメラ姿勢を推定する段階を含む
請求項１に記載の精密道路地図基盤のＣＣＴＶカメラ姿勢および客体座標推定方法。

【請求項3】

前記ＣＣＴＶカメラがＰＴＺカメラである場合、前記（ａ）段階は、前記推定されたカメラ姿勢のパン、チルト値と前記ＰＴＺカメラから提供されたファン、チルト値の差から前記ＰＴＺカメラから提供されたパンおよびチルト値を真北と垂直方向を基準とした絶対値に変換する段階；および、
前記ＰＴＺカメラから提供されたズーム値の逆数だけ前記撮影映像を縮小してズーム値が「０」である撮影映像に変換する段階をさらに含む
請求項２に記載の精密道路地図基盤のＣＣＴＶカメラ姿勢および客体座標推定方法。

【請求項4】

前記（ａ）段階は、
（ａ１）前記推定されたカメラ姿勢を利用して前記精密道路地図を前記撮影映像に投影したり、前記撮影映像の客体を前記推定されたカメラ姿勢を利用して前記精密道路地図に逆投影する段階；
（ａ２）互いに対応する前記撮影映像の客体および前記精密道路地図の客体の各特徴点のピクセル誤差を算出する段階；および、
（ａ３）前記算出されたピクセル誤差が臨界値以上である場合、前記推定されたカメラ姿勢を補正して前記算出されたピクセル誤差を臨界値未満に減らす段階をさらに含む
請求項１に記載の精密道路地図基盤のＣＣＴＶカメラ姿勢および客体座標推定方法。

【請求項5】

前記（ｂ）段階で、
前記マッピング対象客体は、前記撮影映像内で、ＡＩ（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）に基づいて予め設定された規則に沿って自動で認識されて抽出された区域や客体、または使用者によって前記撮影映像内で手動で選択された区域や客体である
請求項１に記載の精密道路地図基盤のＣＣＴＶカメラ姿勢および客体座標推定方法。

【請求項6】

前記（ｂ）段階は、
前記マッピング対象客体の各特徴点を前記推定されたカメラ姿勢により前記精密道路地図に逆投影する段階；および、
逆投影された前記マッピング対象客体の各特徴点の空間座標を前記精密道路地図から算出する段階を含む
請求項１に記載の精密道路地図基盤のＣＣＴＶカメラ姿勢および客体座標推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は精密道路地図基盤のＣＣＴＶカメラ姿勢および客体座標推定方法およびシステムに関する。

【背景技術】

【0002】

現在高速道路脇には交通状況をモニタリングするために数千個のＣＣＴＶが設置されており、都心部の場合にも多くの交差点でＣＣＴＶを設置して交通モニタリング用として活用しており、また、最近ではＡＩ技術の発展により、車両、人などに対する認識およびこれを利用した停止車両、歩行者、逆走車などに対する認識が可能な状況に発展している。

【0003】

しかし、このように危険状況が自動で認識された場合にも、オペレータによる肉眼判断を通じて位置を概略的に推定するか、緯度、経度、高度のグローバル座標系で位置を推定できない場合が大部分であり、辛うじて推定するとしても誤差が大きく現れるなどの問題で情報共有に困難があるのが現在の状況である。

【0004】

特に、現在まではほぼ殆どのＣＣＴＶでオペレータによる肉眼モニタリングを通じて危険状況を認知し、同様に肉眼判断によって概略的な位置を推定した後に情報を共有することによって、情報生成に所要する時間が過多であり、正確度が顕著に落ちるためマッピングを通じての共有が難しい限界がある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】韓国公開特許公報第１０－２０２１－００５０９９７号

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明では肉眼による概略的な位置推定、グローバル座標推定の困難、推定するとしても正確度が顕著に低いという点などの問題点を解決するために、ＣＣＴＶカメラに撮影された映像内の客体や区域に対する自動化された位置座標推定技術とこれを利用した自動マッピングに関する技術を提供しようとする。

【0007】

また、固定式カメラの他にも、随時回転するＰＴＺカメラに対しても適用が可能な技術を開発して適用範囲を最大化する。

【0008】

特に、最近主要道路を基準として、政府で構築中の精密道路地図（ＨＤ Ｍａｐ）を活用して容易にＣＣＴＶカメラのカメラ姿勢を自動で推定し、推定されたカメラ姿勢を利用した座標推定およびマッピング技術を提案し、特に座標推定結果に対する誤差を確認してその結果を利用して位置誤差とカメラ姿勢を自動で補正する方法を提供する。

【0009】

したがって、精密道路地図の構築が全国的に完了すれば、本発明を適用して、ＡＩによって認識された客体や危険区域などに対して自動で正確な位置を推定し、自動でマッピングして危険情報を共有することができる。

【課題を解決するための手段】

【0010】

前記課題を解決するための本発明の一実施例に係る精密道路地図基盤のＣＣＴＶカメラ姿勢および客体座標推定方法は、（ａ）ＣＣＴＶカメラの撮影映像での路面客体と精密道路地図をマッチングさせてカメラ姿勢を推定する段階；（ｂ）前記撮影映像内でマッピング対象客体を選択する段階；および（ｃ）前記推定されたカメラ姿勢に基づいて前記撮影映像内で選択されたマッピング対象客体の座標を推定する段階を含むものの、前記カメラ姿勢は前記ＣＣＴＶカメラの位置（Ｘ、Ｙ、Ｚ）、パン（ｐａｎ）、チルト（ｔｉｌｔ）に対する情報を含むことを特徴とする。

【0011】

前記（ａ）段階は、前記撮影映像で前記路面客体の特徴点のピクセル座標を抽出する段階；前記路面客体を精密道路地図とマッチングさせて前記路面客体の特徴点の空間座標を抽出する段階；および前記抽出された路面客体の特徴点のピクセル座標と空間座標の関係からＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ）を利用して前記カメラ姿勢を推定する段階を含むことができる。

【0012】

前記ＣＣＴＶカメラがＰＴＺカメラである場合、前記（ａ）段階は、前記推定されたカメラ姿勢のパン、チルト値と前記ＰＴＺカメラから提供されたパン、チルト値の差から前記ＰＴＺカメラから提供されたパンおよびチルト値を真北と垂直方向を基準とした絶対値に変換する段階；および前記ＰＴＺカメラから提供されたズーム値の逆数だけ前記撮影映像を縮小してズーム値が「０」である撮影映像に変換する段階をさらに含むことができる。

【0013】

前記（ａ）段階は、（ａ１）前記推定されたカメラ姿勢を利用して前記精密道路地図を前記撮影映像に投影するか、前記撮影映像の客体を前記推定されたカメラ姿勢を利用して前記精密道路地図に逆投影する段階；（ａ２）互いに対応する前記撮影映像の客体および前記精密道路地図の客体の各特徴点のピクセル誤差を算出する段階；および（ａ３）前記算出されたピクセル誤差が臨界値以上である場合、前記推定されたカメラ姿勢を補正して前記算出されたピクセル誤差を臨界値未満に減らす段階をさらに含むことができる。

【0014】

前記（ｂ）段階で、前記マッピング対象客体は、前記撮影映像内で、ＡＩ（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）に基づいて予め設定された規則に沿って自動で認識されて抽出された区域や客体、または使用者によって前記撮影映像内で手動で選択された区域や客体であり得る。

【0015】

前記（ｂ）段階は、前記マッピング対象客体の各特徴点を前記推定されたカメラ姿勢により前記精密道路地図に逆投影する段階；および逆投影された前記マッピング対象客体の各特徴点の空間座標を前記精密道路地図から算出する段階を含むことができる。

【発明の効果】

【0016】

したがって、本発明の一実施例に係るＣＣＴＶカメラ姿勢および客体座標推定方法およびシステムは、測量や基準点設定などの現場での作業なしに精密道路地図を利用する簡単な方法を通じてＣＣＴＶカメラ姿勢（Ｐｏｓｅ）を推定できる方法を提示することによって座標推定やマッピングを自動化することができ、また、既存の方法と比較して高い正確度と時間および費用削減などの効果を創り出すことができる。

【0017】

また、固定式ＣＣＴＶだけでなくＰＴＺカメラを利用する場合にも適用が可能であり、座標推定およびマッピング過程を自動化することができ、精密道路地図上で座標を推定することによって簡単で正確度を向上させることができ、ＡＩを利用して車線などの路面客体の認識が可能である場合だけでなくこのような機能がない場合にも適用が可能である。

【0018】

また、座標推定結果やカメラ姿勢に対する誤差を、すべて推定過程で確認して自動で補正することによって正確度の高い推定が可能であり、路面客体の認識が可能である場合、全過程を自動化して便利性を増大することができる。

【図面の簡単な説明】

【0019】

【図1】本発明の一実施例に係る精密道路地図基盤のＣＣＴＶカメラ姿勢および客体座標推定方法およびシステムのネットワーク構成図である。

【図2】図１に図示された情報処理サーバーの細部構成図である。

【図3】本発明の一実施例に係る精密道路地図基盤のＣＣＴＶカメラ姿勢および客体座標推定方法を説明したフローチャートである。

【図4】図３に図示されたカメラ姿勢推定段階の細部フローチャートである。

【図5】撮影映像に精密道路地図を投影した後、微細調整要領を説明するための例示図である。

【図6】図３に図示された座標推定段階乃至メッセージ生成配布段階を説明したフローチャートである。

【図7】危険区域に隣接した車線指定を通じての姿勢補正およびマッピング誤差補正の概念を説明するための例示図である。

【発明を実施するための形態】

【0020】

本発明に関する説明は構造的乃至機能的説明のための実施例に過ぎないので、本発明の権利範囲は本文に説明された実施例によって制限されるものと解釈されない。すなわち、実施例は多様な変更が可能であり多様な形態を有することができるため、本発明の権利範囲は技術的思想を具現できる均等物を含むものである。また、本発明で提示された目的または効果は、特定の実施例がこれをすべて含まなければならないとかそのような効果のみを含むべきであるという意味ではないので、本発明の権利範囲はこれによって制限されるものと理解されない。

【0021】

一方、本発明で叙述される用語の意味は次のように理解される。「第１」、「第２」などの用語は一つの構成要素を他の構成要素から区別するためのもので、これらの用語によって権利範囲が限定されてはならない。例えば、第１構成要素は第２構成要素と命名され得、同様に第２構成要素も第１構成要素と命名され得る。或る構成要素が他の構成要素に「連結されて」いると言及された時には、その他の構成要素に直接的に連結されてもよいが、中間に他の構成要素が存在してもよいと理解される。反面、或る構成要素が他の構成要素に「直接連結されて」いると言及された時には、中間に他の構成要素が存在しないものと理解される。一方、構成要素の間の関係を説明する他の表現、すなわち「～間に」と「すぐに～間に」または「～に隣り合う」と「～に直接隣り合う」なども同様に解釈される。単数の表現は文脈上明白に異なって意味しない限り複数の表現を含むものと理解されるべきであり、「含む」または「有する」などの用語は説示された特徴、数字、段階、動作、構成要素、部分品またはこれらを組み合わせたものが存在することを指定しようとするものであって、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部分品またはこれらを組み合わせたものなどの存在または付加の可能性を予め排除しないものと理解される。

【0022】

以下、添付された図面に基づいて本発明の一実施例に係る精密道路地図基盤の道路脇のＣＣＴＶ姿勢推定、ＡＩ認識客体座標推定および危険区域マッピング自動化システムおよび方法をより詳細に説明することにする。

【0023】

図１は、本発明の一実施例に係る精密道路地図基盤のＣＣＴＶカメラ姿勢および客体座標推定システムのネットワーク構成図である。図２は、図１に図示された情報処理サーバーの細部構成図である。

【0024】

まず、図１に図示された通り、本発明の一実施例に係る精密道路地図基盤のＣＣＴＶカメラ姿勢および客体座標推定システム１００はＣＣＴＶカメラ１０および情報処理サーバー２０を含み、追加にオペレータ端末３０をさらに含むことができる。

【0025】

各構成はネットワークで通信すれば、前記ネットワークは複数の端末およびサーバーのようなそれぞれのノード相互間に情報交換が可能な連結構造を意味するもので、このようなネットワークの一例にはＲＦ、３ＧＰＰ（登録商標）（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ ＰａｒｔｎｅｒｓｈｉｐＰｒｏｊｅｃｔ）ネットワーク、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）ネットワーク、５ＧＰＰ（５ｔｈ ＧｅｎｅｒａｔｉｏｎＰａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）ネットワーク、ＷＩＭＡＸ（Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ ＭｉｃｒｏｗａｖｅＡｃｃｅｓｓ）ネットワーク、インターネット（Ｉｎｔｅｒｎｅｔ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷｉｒｅｌｅｓｓＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＰＡＮ（Ｐｅｒｓｏｎａｌ ＡｒｅａＮｅｔｗｏｒｋ）、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ）ネットワーク、ＮＦＣネットワーク、衛星放送ネットワーク、アナログ放送ネットワーク、ＤＭＢ（Ｄｉｇｉｔａｌ Ｍｕｌｔｉｍｅｄｉａ Ｂｒｏａｄｃａｓｔｉｎｇ）ネットワークなどが含まれるがこれに限定されはしない。

【0026】

下記において、少なくとも一つのという用語は単数および複数を含む用語と定義され、少なくとも一つのという用語が存在しなくても各構成要素が単数または複数で存在することができ、単数または複数を意味することができることは自明であると言える。また各構成要素が単数または複数で備えられるのは実施例により変更可能であると言える。

【0027】

前記ＣＣＴＶカメラ１０はＰＴＺ（ｐａｎ ｔｉｌｔ ｚｏｏｍ）カメラまたは固定式カメラであり得、道路脇に設置されたカメラであり得る。ここで、ＣＣＴＶカメラがＰＴＺカメラである場合、カメラの位置（Ｘ、Ｙ、Ｚ）、Ｐａｎ、Ｔｉｌｔ、Ｚｏｏｍに対する情報を提供する装置であり得る。

【0028】

次に、情報処理サーバー２０はＣＣＴＶカメラ１０が撮影した撮影映像と精密道路地図（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍａｐ、ＨＤ Ｍａｐ）を利用してＣＣＴＶカメラのカメラ姿勢（ｐｏｓｅ：Ｘ、Ｙ、Ｚ、Ｐａｎ、Ｔｉｌｔ、Ｚｏｏｍ）を推定する。ＣＣＴＶカメラが固定式である場合、臨界値以上の誤差が発見される前まで推定されたカメラ姿勢が利用され得、ＣＣＴＶカメラがＰＴＺカメラである場合、パン、チルト、ズームが変更されるたびにカメラ姿勢が推定され得る。

【0029】

また、情報処理サーバー２０はＣＣＴＶカメラが撮影した撮像映像内でＡＩ（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）に基づいて予め設定された規則に沿って自動で認識されて抽出された客体や区域、または使用者によって撮影映像内で手動で選択された区域や客体をマッピング対象客体として設定する。

【0030】

マッピング対象客体はＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）基盤で規則に符合する移動客体や危険区域がマッピング対象客体として認識される場合もあれば、オペレータが肉眼で認識した客体や危険区域がマッピング対象客体として選択される場合もある。

【0031】

情報処理サーバー２０はＡＩで自動認識されるか、オペレータによって選択された移動客体や危険区域などのマッピング対象客体に対して精密道路地図を基盤としてマッピング対象客体の特徴点の座標を自動で推定するものの、その過程で精密道路地図を利用して予め推定した位置誤差およびカメラ姿勢を補正した後、危険の種類、走行不可領域に対する面単位情報などが含まれたメッセージを生成し、Ｖ２Ｘ、移動通信などを利用して配布する機能を遂行する構成であり得る。

【0032】

次に、オペレータ端末３０は精密道路地図内に危険区域を設定した設定情報を情報処理サーバー２０に提供する構成であり得る。

【0033】

より具体的には、前記情報処理サーバー２０はカメラ姿勢推定部２１、マッピング対象客体設定部２２、座標推定部２３、補正部２４およびメッセージ生成配布部２５のうち少なくとも一つを含むことができる。

【0034】

カメラ姿勢推定部２１は、ＣＣＴＶカメラの撮影映像での路面客体とそれに対応する精密道路地図での客体をマッチングさせてカメラ姿勢を推定する役割を遂行する。ここで、カメラ姿勢はＣＣＴＶカメラの位置（Ｘ、Ｙ、Ｚ）、パン（ｐａｎ）、チルト（ｔｉｌｔ）に対する情報を含み、追加にズーム（Ｚｏｏｍ）に対する情報をさらに含むことができる。

【0035】

カメラ姿勢推定部２１は、撮影映像で路面客体の特徴点のピクセル座標を抽出し、該当路面客体を精密道路地図とマッチングさせて該当路面客体の各特徴点の空間座標を抽出し、抽出された路面客体各特徴点のピクセル座標と空間座標の関係からＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ）を利用してカメラ姿勢を推定することができる。

【0036】

ＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ）とは、３個以上の３Ｄ点が２Ｄ平面に投影される点の位置関係からカメラ姿勢を推定する方式で、本発明で路面客体で３個以上の特徴点を抽出し、該当特徴点のピクセル座標と空間座標の関係からＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ）を利用してカメラ姿勢を推定することができる。

【0037】

一方、本発明でいう特徴点とは、映像内に存在する客体をそれぞれ区分できる特徴を示すことができる点を意味し、角点や色相または明度で周辺と区分される点であり得る。

【0038】

ＣＣＴＶカメラが固定である場合、カメラの位置（Ｘ、Ｙ、Ｚ）、パン（ｐａｎ）、チルト（ｔｉｌｔ）、ズーム（Ｚｏｏｍ）が変更されないので、初期に推定されたカメラ姿勢を引き続き利用することができる。もちろん固定カメラである場合にも、多様な理由でカメラが揺れたり初期推定されたカメラ姿勢に誤差があり得るので、後述した補正部２４が多様な過程を通じてカメラ姿勢に対する補正を遂行することになる。

【0039】

ＣＣＴＶカメラがＰＴＺカメラである場合、パン、チルトおよびズームが遂行されない限りその姿勢が維持され得るのであるため、初期推定されたカメラ姿勢が引き続き利用され得る．パン、チルト、ズームのうち少なくとも一つの動作が遂行されれば該当動作値が獲得され得るので、カメラ姿勢推定部２１は初期カメラ姿勢にカメラから提供されるＰＴＺ（ＰａｎＴｉｌｔ Ｚｏｏｍ）値を考慮して変更されたカメラ姿勢を獲得することができる。カメラの設置位置は固定されているので、補正が必要でない限りカメラの位置（Ｘ、Ｙ、Ｚ）は引き続き維持される。

【0040】

一方、ＣＣＴＶカメラがＰＴＺカメラである場合、カメラ姿勢推定部２１は、推定されたカメラ姿勢のパン、チルト値とＰＴＺカメラから提供されたパン、チルト値の差から、ＰＴＺカメラから提供されたパンおよびチルト値を真北と垂直方向を基準とした絶対値に変換する過程を通じて今後ＰＴ値を容易に獲得することができる。またＣＣＴＶカメラがＰＴＺカメラである場合、カメラ姿勢推定部２１は、ＰＴＺカメラから提供されたズーム値の逆数だけ前記撮影映像を縮小してズーム値が「０」である撮影映像に変換する過程を遂行できる。

【0041】

一方、補正部２４はカメラ姿勢に対する情報および／またはマッピング対象客体の座標に対する情報を補正することができる。

【0042】

補正部２４は精密道路地図を推定されたカメラ姿勢を利用して撮影映像に投影し、撮影映像の客体およびそれに対応する精密道路地図の客体の各特徴点のピクセル誤差を算出し、算出されたピクセル誤差が臨界値以上である場合、カメラ姿勢を補正し前記の過程を繰り返すことによってピクセル誤差を臨界値未満に軽減することができる。

【0043】

もちろん、補正部２４は前記過程を逆にする方法で姿勢を補正することもできるが、撮影映像の客体を推定されたカメラ姿勢を利用して精密道路地図に逆投影し、逆投影された撮影映像の客体およびそれに対応する精密道路地図の客体の各特徴点の位置誤差（座標誤差）を算出し、その算出された位置誤差が臨界値以上である場合、カメラ姿勢を補正し前記の過程を繰り返すことによってピクセル誤差を臨界値未満に軽減することができる。

【0044】

補正部２４はピクセル誤差および位置誤差（座標誤差）のうち少なくとも一つを算出し、カメラ姿勢を微細補正して該当誤差を臨界値未満に軽減する過程を繰り返すことによってカメラ姿勢と位置誤差を最小化することができる。

【0045】

本発明全体において補正部２４の補正過程は、ｉ）精密道路地図を推定されたカメラ姿勢を利用して撮影映像に投影した後、精密道路地図の客体とそれに対応する映像客体間のピクセル誤差を利用して補正する方式、およびｉｉ）撮影映像を推定されたカメラ姿勢を利用して精密道路地図に逆投影した後、精密道路地図の客体とそれに対応する映像客体間の座標誤差を利用して補正する方式のうちいずれか一つの方式が利用され得る。前記ｉ）とｉｉ）の補正する過程は逆の関係であり、その補正する方式と結果が同一であるので、二つのうちいずれか一つの方式を使うか二つの方式をすべて使ってもよい。

【0046】

マッピング対象客体設定部２２は撮影映像内でＡＩ（ａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅ）に基づいて予め設定された規則に沿って自動で認識されて抽出された客体や区域、または使用者（オペレータ）により撮影映像内で手動で選択された客体や区域をマッピング対象客体として設定する。

【0047】

マッピング対象客体設定部２２は車線などの路面客体以外に、ディープラーニングなどのＡＩ基盤で認識した車両や人などの客体の座標を精密道路地図を基盤として自動で推定するか、またはＡＩＤ（Ａｕｔｏｍａｔｉｃ Ｉｎｃｉｄｅｎｔ Ｄｅｔｅｃｔｉｏｎ）を利用して自動で認識した危険要素または該当危険要素が占める道路上の区域を自動でマッピング対象客体としてマッピングする構成であり得る。

【0048】

車両、人などの認識客体またはＡＩＤで認識した危険区域をマッピングする動作は次の通りである。

【0049】

車線などの路面客体の特徴点（特徴点３つ以上）のピクセル座標を抽出し、路面客体以外のマッピング対象客体（ＡＩＤ基盤危険区域を含む）を認識し、以後、マッピング対象客体と路面客体の特徴点を精密道路地図に逆投影するかまたは逆投影された路面客体とそれに対応する精密道路地図の同一客体間の位置誤差を算出し、前記精密道路地図を利用してマッピング対象の特徴点に対する空間座標を算出し、マッピング対象の特徴点に対する空間座標を補正する。以後、マッピング対象の特徴点をイメージに再投影した後、最初に設定された点を基準として再投影された特徴点別ピクセル誤差を算出し、前記ピクセル誤差が臨界値より小さければ、精密道路地図上にマッピング対象を表記（位置、属性）した後、メッセージを自動生成および表出する過程で動作される。

【0050】

ここで、ピクセル誤差が臨界値以上であれば、特徴点別位置誤差を利用して姿勢（Ｐａｎ、Ｔｉｌｔ）を補正することができる。

【0051】

また、マッピング対象客体設定部２２はオペレータが設定または指定した客体や危険区域をマッピング対象客体として設定することができる。このために、マッピング対象客体設定部２２は車線や矢印などの精密道路地図上の路面客体を認識し、認識された路面客体の特徴点（特徴点３つ以上）のピクセル座標を抽出する。

【0052】

オペレータから撮影映像内危険区域（特徴点３つ以上）の設定および属性が入力されると、後述する座標推定部２３は危険区域および路面客体の特徴点を精密道路地図に逆投影し、精密道路地図を利用して危険区域の特徴点の空間座標を算出することができる。

【0053】

一方、補正部２４は逆投影路面客体と精密道路地図の同一客体間の位置誤差を算出し、以後、位置誤差を反映した危険区域の特徴点の空間座標を補正し、危険区域の特徴点を撮影映像に再投影した後、最小設定された点を基準として再投影された特徴点別ピクセル誤差を算出する。算出が完了し、前記ピクセル誤差が臨界値より小さければ、メッセージ生成配布部２５は精密道路地図上に危険区域（位置、属性）を表記し、メッセージを自動生成および表出する構成であり得る。

【0054】

ここで、補正部２４はピクセル誤差が臨界値以上であれば、特徴点別位置誤差を利用して姿勢（Ｐａｎ、Ｔｉｌｔ）を補正することができる。

【0055】

座標推定部２３はマッピング対象客体（ＡＩで認識された客体、ＡＩＤで認識された危険区域、オペレータによって選択された客体や危険区域）に対して精密道路地図を基盤として特徴点の座標を自動で推定することができる。

【0056】

補正部２４は、カメラ姿勢推定過程やマッピング対象客体の座標推定過程で精密道路地図を利用して予め推定したピクセル誤差、位置誤差およびカメラ姿勢のうち少なくとも一つを補正する構成であり得る。

【0057】

前記補正部２４は車両、人、表示などのＡＩで認識された客体、ＡＩＤで認識された危険区域、またはオペレータによって設定された危険区域を推定したり決定する過程でカメラ姿勢と位置誤差を補正する構成であり得る。

【0058】

補正部２４は精密道路地図を撮影映像に投影した後、撮影映像内の車線などの路面客体と投影された精密道路地図上の路面客体間の位置誤差を基準として事前に設定された基準によって自動で補正の有無を決定する。この時、認識された路面客体を精密道路地図上に逆投影したり精密道路地図の同一客体を撮影映像に投影した後、位置比較（座標比較）を通じて自動でマッピング対象客体や危険区域の座標を補正し姿勢も補正する過程である。

【0059】

また、固定式の場合にも、時間の経過につれて変位による回転誤差が発生する可能性が高いので、マッピング時ごとに補正を通じて正確度を維持することができ、初期カメラ姿勢推定が完了した状態で位置（Ｘ、Ｙ、Ｚ）は変化の可能性がほとんどないので誤差がないと仮定し、誤差の種類をＰａｎとＴｉｌｔに区分することができる。

【0060】

左右の誤差はＰａｎ、上下の誤差はＴｉｌｔを微細調整して補正可能であり、誤差の大きさを算出して調整単位を決定した後に反対方向の誤差が発生するまで繰り返し、逆方向に最初の単位の１０分の１に微細調整した後、再び反対方向の誤差が発生するまで繰り返すことができる。各段階で臨界値（Ｔｈｒｅｓｈｏｌｄ）との比較を遂行して満足すれば終了処理する過程でなされ得る。

【0061】

一方、カメラから提供されたＰＴＺ値のみを利用してオペレータが指定したマッピング対象客体や危険区域を精密道路地図上に逆投影した後、精密道路地図上で座標を算出する時にＰＴ値に誤差がある場合、座標推定結果に誤差が大きく発生する可能性がある。

【0062】

このような誤差は、精密道路地図上で危険区域の座標を推定した後に周辺の路面客体と共に撮影映像に投影し、撮影映像に投影された精密道路地図の路面客体の位置を既存の撮影映像で対応する路面客体の位置とオペレータが肉眼で比較して誤差の大きさを確認することができる。オペレータが肉眼で確認した結果、誤差が大きく発生したと判断されれば、投影された路面客体と同じ撮影映像の路面客体の始終点のマーキングを通じて指定すれば、これを利用して自動でカメラ姿勢を補正することができ、これを利用して再び座標推定過程を遂行して該当誤差をさらに補正する。

【0063】

固定式の場合にも、時間の経過につれて変位による回転誤差が発生する可能性が高いので、マッピング時ごとの補正を通じて正確度を維持することができる。

【0064】

すなわち、初期カメラ姿勢推定が完了した状態で位置（Ｘ、Ｙ、Ｚ）は変化の可能性が殆どないので誤差がないと仮定し、誤差の種類をＰａｎとＴｉｌｔに区分することができる。

【0065】

左右の誤差はＰａｎ、上下の誤差はＴｉｌｔを微細調整して補正可能であり、補正手続きは誤差の大きさの算出後に調整単位の決定→反対方向の誤差が発生するまで繰り返し→逆方向に最初の単位の１０分の１に微細調整→再び反対方向の誤差が発生するまで繰り返す。各段階で臨界値（Ｔｈｒｅｓｈｏｌｄ）との比較を遂行して、満足すれば終了処理する過程でなされる。

【0066】

メッセージ生成および配布部２６は危険の種類、走行不可領域に対する面単位情報などが含まれたメッセージを生成し、Ｖ２Ｘ、移動通信などを利用して配布する構成であり得る。

【0067】

図３は本発明の一実施例に係る精密道路地図基盤のＣＣＴＶカメラ姿勢および客体座標推定方法を説明したフローチャートであり、図４は図３に図示されたカメラ姿勢推定段階の細部フローチャートであり、図５は撮影映像に精密道路地図を投影した後、微細調整要領を説明するための例示図であり、図６は図３に図示された座標推定段階乃至メッセージ生成配布段階を説明したフローチャートを示す。図７は、危険区域に隣接した車線指定を通じての姿勢補正およびマッピング誤差補正の概念を説明するための例示図である。

【0068】

まず、図３に図示された通り、本発明の一実施例に係る精密道路地図基盤のＣＣＴＶカメラ姿勢および客体座標推定方法（Ｓ７００）はカメラ姿勢推定段階（Ｓ７１０）、マッピング対象客体設定段階（Ｓ７２０）、座標推定段階（Ｓ７３０）、誤差補正段階（Ｓ７４０）およびメッセージ生成および配布段階（Ｓ７５０）のうち少なくとも一つを含む。

【0069】

カメラ姿勢推定段階（Ｓ７１０）はＣＣＴＶカメラのカメラ姿勢（Ｘ、Ｙ、Ｚ、Ｐａｎ、Ｔｉｌｔ）を推定し、ＰＴＺカメラの位置（Ｘ、Ｙ、Ｚ）確定および前記ＰＴＺカメラで提供するＰａｎ／Ｔｉｌｔ値を絶対値（真北方向、水平基準）に変換するための関係式（差分）を決定する段階であり得る。

【0070】

本願で言及するカメラ姿勢推定は、測量や基準点設定および表記などの現場での作業なしに精密道路地図を利用する簡単な過程を通じてＣＣＴＶカメラ姿勢を推定しようとする技術であって、後述する座標推定やマッピングを自動化できる土台を提供し、また、既存の方法と比較して高い正確度と時間および費用削減などの効果を提供する技術であり得る。したがって、ＰＴＺカメラである場合、装置では最初のセッティング位置を基準とした相対値を提供しているので、すぐにカメラ姿勢（Ｐｏｓｅ）に変換が不可能な点を考慮して初期カメラ姿勢（Ｐｏｓｅ）推定時に提供される値と真の値の差分を算出して反映することによって、以後提供されるＰＴＺ値を変換してカメラ姿勢（Ｐｏｓｅ）に活用する技術であり得る。

【0071】

次に、マッピング対象客体設定段階（Ｓ７２０）は、ＡＩ基盤のマッピング対象客体認識、ＡＩＤ（Ａｕｔｏｍａｔｉｃ Ｉｎｃｉｄｅｎｔ Ｄｅｔｅｃｔｉｏｎ）基盤の客体や危険区域認識およびオペレータが肉眼で危険状況であると認識した客体や区域を危険区域に指定する段階のうち少なくとも一つ以上を含むことができる。

【0072】

次に、座標推定段階（Ｓ７３０）は、マッピング対象客体（ＡＩで認識した客体や区域、ＡＩＤで認識した客体や危険区域、オペレータが手動で設定した客体や危険区域など）に対して精密道路地図に基づいて特徴点の座標を自動で推定しマッピングする段階であり得る。

【0073】

前記マッピング対象客体の座標推定は、固定式ＣＣＴＶだけでなくＰＴＺカメラを利用する場合にも適用が可能であり、座標推定およびマッピング過程を自動化できる方法であって、精密道路地図上で座標を推定することによって、簡単であり正確度を高めることができる。特に、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を利用して車線などの路面客体の認識が可能である場合だけでなく、このような機能がない場合にも適用することができる。

【0074】

次に、誤差補正段階（Ｓ７４０）は、カメラ姿勢推定段階（Ｓ７１０）やマッピング対象客体の座標推定段階（Ｓ７３０）で精密道路地図を利用して予め推定した位置やピクセル誤差およびカメラ姿勢を補正する段階であり得る。

【0075】

前記位置やピクセル誤差および／または姿勢補正段階は、座標推定結果やこの時に適用されたカメラ姿勢に対する誤差をすべての推定過程で確認して自動で補正することによって、正確度の高い推定を可能にした方法であって、特に、車線などの路面客体の認識が可能である場合、全過程を自動化することによって便利性を増大することができ、このような機能がない場合にもオペレータの簡単な操作だけで同じ効果を得ることができる技術であり得る。

【0076】

次に、メッセージ生成および配布段階（Ｓ７５０）は、危険関連メッセージを自動で生成し配布する段階であり得る。

【0077】

前述した過程に基づいて作成されたマッピング対象客体に対する情報を共有することにおいて、オペレータの追加手作業がないように自動でメッセージを生成し、その結果をオペレータが管理するモニタに表出して確認が可能であるようにしたし、配布も自動でなされるようにする技術であり得る。

【0078】

以下では、前述した各段階をより詳細に説明することにする。

【0079】

まず、図４を参照すると、初期カメラ姿勢推定段階（Ｓ７１０）はＣＣＴＶ撮影映像上の路面客体の特徴点のピクセル座標を抽出し、精密道路地図とマッチングさせて前記路面客体の特徴点の空間座標を抽出し、ＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ）を通じてカメラ姿勢を推定した後、推定されたカメラ姿勢を利用して精密道路地図を撮影映像に投影する。以後、前記特徴点別に映像内でのピクセル誤差を算出した後、前記ピクセル誤差と臨界値（Ｔｈｒｅｓｈｏｌｄ）を比較する。

【0080】

前述したように、ＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ）とは座標位置が知られている３次元の特徴点座標および該当特徴点座標が投影されたイメージ上の２次元の特徴点座標に基づいて３次元座標系に対してイメージを獲得したカメラの正確な位置および姿勢を獲得する技法を意味する。

【0081】

この時、前記誤差が臨界値より小さければ終了するものの、誤差が臨界値（Ｔｈｒｅｓｈｏｌｄ）以上であれば、誤差特性を考慮してカメラ姿勢を微細に補正し、補正されたカメラ姿勢を利用して精密道路地図を撮影映像に投影する。それから特徴点別に映像内でのピクセル誤差が臨界値未満となるまで前記過程を引き続き繰り返すことができる．．

【0082】

一方、前記カメラ姿勢推定段階（Ｓ７１０）は、ＰｎＰを通じて１次姿勢を推定する段階以後、次のように進行され得る。

【0083】

例えば、推定されたカメラ姿勢を基準として前記路面客体の特徴点を精密道路地図に逆投影し、逆投影された路面客体の特徴点の空間座標とそれに対応する精密道路地図上客体の空間座標の位置誤差を特徴点別に算出し、誤差が臨界値（Ｔｈｒｅｓｈｏｌｄ）より小さければ終了し、誤差が臨界値（Ｔｈｒｅｓｈｏｌｄ）以上である場合、誤差特性を考慮して推定されたカメラ姿勢を微細に補正した後、補正された姿勢を利用して精密道路地図に逆投影する過程を含むことができる。ここでも、特徴点別空間内での位置誤差が臨界値未満となるまで前記過程を引き続き繰り返すことができる。

【0084】

ここで、ＰｎＰ基盤の１次姿勢推定において、回転するＰＴＺカメラである場合、カメラを概略的に道路と直角方向にセッティングすることが効率的である。

【0085】

概略的に分かっているＣＣＴＶカメラの位置情報、路面または道路脇の客体（精密道路地図に明示された）の情報を基準として、精密道路地図と比較して車線などの路面に存在する路面客体をマッチングし、概略的な位置情報と周辺客体を利用して肉眼でイメージと精密道路地図上の客体に対するマッチング対を探し（周辺客体：信号灯、表示板、車線以外の路面表示、橋梁の始終点、防護施設の始終点など）、３個以上のマッチング対に対するピクセル座標と空間座標を抽出した後、ＰｎＰを遂行する過程であり得る。

【0086】

また、誤差特性を考慮して姿勢を微細補正する過程の場合、ＰｎＰ基盤で１次カメラ姿勢を推定した後、このカメラ姿勢を利用して精密道路地図を撮影映像に投影した後、客体特徴点間のピクセル誤差を算出して誤差の程度を確認し、誤差の特性を反映した微細調整を通じてカメラ姿勢を最終補正する過程であり得る。

【0087】

または、カメラ姿勢を利用して撮影映像の特定客体の特徴点を精密道路地図上に逆投影した後、該当客体の特徴点間の位置誤差に基づいてカメラ姿勢を補正できる方法であり得る。

【0088】

前記カメラ姿勢推定段階（Ｓ７１０）は、ＰＴＺカメラである場合、カメラキャリブレーションを遂行して真の値を決定した後、Ｐａｎ、Ｔｉｌｔ提供値と真の値の差を基準として絶対値に変換する。Ｚｏｏｍの場合、提供される値を利用して拡大比率を求めた後にこの逆数だけイメージを縮小すれば、Ｚｏｏｍ値が「０」であるイメージに変換されて、自動化されたマッピング過程で補正されたカメラ姿勢値を利用して持続的に差分を修正する過程を含むことができる。

【0089】

一方、マッピング対象客体設定段階（Ｓ７２０）は、ＡＩ基盤で認識された車両や人などの認識客体、ＡＩＤで認識された客体や危険区域、オペレータによって設定された客体や危険区域などを設定する方式により過程が異なり得る。

【0090】

まず、図６を参照すると、車線などの路面客体の特徴点のピクセル座標を抽出し、路面客体以外のマッピング対象客体（ＡＩＤ基盤危険区域を含む）を認識する。

【0091】

以後、マッピング対象客体と路面客体の特徴点を精密道路地図に逆投影してマッピング対象客体の特徴点に対する空間座標を算出し、逆投影された客体と精密道路地図の同一客体間の位置誤差を算出し、マッピング対象の特徴点に対する空間座標を補正する。以後、マッピング対象客体の特徴点をイメージに再投影した後、最初に設定された点を基準として再投影された特徴点別ピクセル誤差を算出し、前記ピクセル誤差が臨界値（Ｔｈｒｅｓｈｏｌｄ）より小さければ、精密道路地図上にマッピング対象を表記（位置、属性）した後、メッセージを自動生成および表出する過程を含むことができる。

【0092】

ここで、ピクセル誤差が臨界値以上であれば、特徴点別位置誤差を利用してカメラ姿勢（Ｐａｎ、Ｔｉｌｔ）を補正する過程をさらに含むことができる。

【0093】

車両、人、落下物、動物などの客体を認識した場合、該当客体の座標を自動で推定し、ＡＩＤ（Ａｕｔｏｍａｔｉｃ Ｉｎｃｉｄｅｎｔ Ｄｅｔｅｃｔｉｏｎ）により事故、逆走、停滞などの危険区域を自動で認識した場合、該当危険区域に対する座標を自動で推定してその結果を反映して自動でマッピングすることができる。

【0094】

ここで、ＡＩ基盤認識対象は座標推定が必要な客体、車両、人、動物などの移動客体、逆走車、落下物などの非定型障害物、停滞の後尾、カラーコーン（登録商標）、プレキャストバリアなどの工事関連客体などが含まれる。

【0095】

座標推定が必要な危険区域は、ＡＩＤで認識した事故区域、連続したカラーコーン（登録商標）やプレキャストバリアなどを基準として認識した工事区間などの面で認識された危険区域であり得る。

【0096】

また、誤差確認および姿勢補正のための路面客体は、車線、矢印、停止線などの精密道路地図に含まれた路面客体（必要に応じて表示板、信号灯を含む）であり得る。

【0097】

ここで、初期カメラ姿勢推定状態はＰＴＺカメラである場合、提供値と真の値の差分を分かっているので、回転時にもリアルタイムでＰａｎとＴｉｌｔの絶対値（真値）の推定が可能である状態であり得る。

【0098】

また、位置および姿勢誤差の補正は精密道路地図を撮影映像に投影した後、撮影映像の路面客体と投影された精密道路地図の路面客体間の位置誤差を基準として事前に設定された基準によって自動で補正の有無を決定する。この時、映像で認識された路面客体を精密道路地図上に逆投影したり精密道路地図の同じ客体を撮影映像に投影した後、対応する客体の位置比較を通じて自動でマッピング対象客体や危険区域の座標を補正し、姿勢も補正する機能を含む。

【0099】

また、固定式の場合にも、時間の経過につれて変位による回転誤差が発生する可能性が高いので、マッピング時ごとの補正を通じて正確度を維持することができる。初期カメラ姿勢推定が完了した状態では位置（Ｘ、Ｙ、Ｚ）変化の可能性がほとんどないので、誤差がないと仮定するものの、誤差の種類をＰａｎとＴｉｌｔに区分することができる。

【0100】

左右の誤差はＰａｎ、上下の誤差はＴｉｌｔを微細調整して補正が可能である。補正手続きは誤差の大きさを算出して調整単位を決定した後に反対方向の誤差が発生するまで繰り返し、逆方向に最初の単位の１０分の１に微細調整した後、再び反対方向の誤差が発生するまで繰り返す。各段階で臨界値（Ｔｈｒｅｓｈｏｌｄ）との比較を遂行して満足すれば終了する。

【0101】

車両、人、落下物、動物などの客体を認識した場合、該当客体の座標を自動で推定し、ＡＩＤ（Ａｕｔｏｍａｔｉｃ Ｉｎｃｉｄｅｎｔ Ｄｅｔｅｃｔｉｏｎ）により事故、逆走、停滞などの危険区域を自動で認識した場合、該当危険区域に対する座標を自動で推定してその結果を反映して自動でマッピングすることができる。

【0102】

ＡＩ基盤認識対象は座標推定が必要な客体であり、車両、人、動物などの移動客体（逆走車、落下物などの非定型障害物、停滞の後尾、カラーコーン（登録商標）、プレキャストバリアなどの工事関連客体がこれに該当し得る。

【0103】

また、座標推定が必要な危険区域は、ＡＩＤで認識した事故区域、連続したカラーコーン（登録商標）やプレキャストバリアなどを基準として認識した工事区間などの面で認識された危険区域であり得る。

【0104】

一方、カメラ姿勢推定過程でＰＴＺカメラである場合、提供値と真の値の差分を分かっているので、回転時にもリアルタイムでＰａｎとＴｉｌｔの絶対値（真値）の推定が可能となり得る。

【0105】

また、誤差補正過程で、提供されたＰＴＺ値のみを利用してオペレータが指定したマッピング対象客体や危険区域を精密道路地図上に逆投影した後、精密道路地図上で座標を算出する時、ＰＴ値に誤差がある場合、座標推定結果に誤差が大きく発生する可能性がある。

【0106】

このような誤差は精密道路地図上で危険区域の座標を推定した後、周辺の路面客体と共に推定されたカメラ姿勢を利用して撮影映像に再投影し、再投影された路面客体の映像での位置と既存の撮影映像で対応する同一の路面客体の位置をオペレータが肉眼で比較して誤差の大きさを確認することができる。オペレータが肉眼で確認した結果、誤差が大きいと判断されれば、再投影された路面客体に対応する撮影映像での路面客体の始終点をマーキングを通じて指定すれば、これを利用して自動でカメラ姿勢を補正することができ、これを利用して再び座標推定過程を遂行して座標推定誤差も補正することができる。

【0107】

固定式の場合にも、時間の経過につれて変位による回転誤差が発生する可能性が高いので、マッピング時ごとの補正を通じて正確度を維持することができる。

【0108】

すなわち、初期カメラ姿勢推定が完了した状態で位置（Ｘ、Ｙ、Ｚ）は変化の可能性が殆どないので、誤差がないと仮定し、誤差の種類をＰａｎとＴｉｌｔに区分することもできる。

【0109】

左右の誤差はＰａｎ、上下の誤差はＴｉｌｔを微細調整して補正可能であり、補正手続きは誤差の大きさを算出して調整単位を決定→反対方向の誤差が発生するまで繰り返し→逆方向に最初の単位の１０分の１に微細調整→再び反対方向の誤差が発生するまで繰り返す。各段階で臨界値（Ｔｈｒｅｓｈｏｌｄ）との比較を遂行して満足すれば終了処理する。

【0110】

一方、オペレータによって撮影映像内の危険区域（特徴点３個以上）が設定されたり属性（オペレータ）が入力され得る。このような場合、危険区域に隣接した隣接路面客体の始終点を設定し、危険区域および隣接路面客体の特徴点を精密道路地図に逆投影した後、前記精密道路地図を利用して危険区域および隣接路面客体の特徴点の空間座標を算出することができる。この時、逆投影された隣接路面客体と精密道路地図上でそれに対応する客体間の位置誤差を算出することもできる。以後、位置誤差を利用した危険区域の特徴点の空間座標を補正し、危険区域の特徴点を撮影映像に再投影する。最初に設定された点を基準として再投影された特徴点別ピクセル誤差を算出した後、前記誤差が臨界値より小さければ、精密道路地図上にマッピング対象者危険区域（位置、属性）を表記し、メッセージを自動生成および表出する過程に進行される。

【0111】

ここで、誤差が臨界値より大きければ、特徴点別位置誤差を利用したカメラ姿勢（Ｐａｎ、Ｔｉｌｔ）を補正する過程をさらに含むことができる。

【0112】

本発明の一実施例に係る精密道路地図基盤のＣＣＴＶカメラ姿勢および客体座標推定方法は、測量や基準点設定および表記などの現場での作業なしに精密道路地図を利用する簡単な方法を通じてＣＣＴＶカメラのカメラ姿勢を推定することができる方法を提示することによって、座標推定やマッピングを自動化できる土台を提供し、また、既存の方法と比較して高い正確度と時間および費用削減などの効果を創り出すことができるという利点がある。

【0113】

また、ＰＴＺカメラである場合、装置で最初のセッティング位置を基準とした相対値を提供しているので、すぐにカメラ姿勢に変換が不可能な点を考慮して初期姿勢推定時に提供される値と真の値の差分を算出して反映することによって、以後提供されるＰＴＺ値を変換してすぐにカメラ姿勢に活用できるという利点がある。

【0114】

また、固定式ＣＣＴＶだけでなくＰＴＺカメラを利用する場合にも適用が可能であり、座標推定およびマッピング過程を自動化できる方法を提示し、精密道路地図上で座標を推定することによって、簡単であり正確度を向上させることができ、特に、ＡＩを利用して車線などの路面客体の認識が可能である場合だけでなくこのような機能がない場合にも適用可能であるという利点がある。

【0115】

また、誤差および姿勢補正自動化が可能であるという利点、例えば、座標推定結果やこの時に適用されたカメラ姿勢に対する誤差をすべての推定過程で確認し自動で補正することによって、正確度の高い推定が可能であり、特に、車線などの路面客体の認識が可能である場合、全過程を自動化することによって便利性を増大することができる。このような機能がない場合にもオペレータの簡単な操作だけで同じ効果が得られるようにアルゴリズムの具現が可能であるという利点がある。

【0116】

また、メッセージ自動生成および配布が可能であるという利点、例えば、前記過程に基づいて作成されたマッピング情報を共有するにおいてオペレータの追加手作業がないように自動でメッセージを生成し、その結果をオペレータが管理するモニタに表出して確認が可能であるようにしたし、配布も自動でなされるという利点がある。

【0117】

一方、本発明に開示された構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行し応答できる他の何らかの装置とともに、一つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して具現され得る。処理装置は運営体制（ＯＳ）および前記運営体制上で遂行される一つ以上のソフトウェアアプリケーションを遂行できる。また、処理装置はソフトウェアの実行に応答して、データを接近、保存、操作、処理および生成することもできる。理解の便宜のために、処理装置は一つが使われるものとして説明された場合もあるが、該当技術分野で通常の知識を有する者は、処理装置が複数個の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）および／または複数類型の処理要素を含むことができることが分かる。例えば、処理装置は複数個のプロセッサまたは一つのプロセッサおよび一つのコントローラを含むことができる。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成（ｐｒｏｃｅｓｓｉｎｇ ｃｏｎｆｉｇｕｒａｔｉｏｎ）も可能である。

【0118】

ソフトウェアはコンピュータプログラム（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ）、コード（ｃｏｄｅ）、命令（ｉｎｓｔｒｕｃｔｉｏｎ）、またはこれらのうち一つ以上の組合を含むことができ、望む通りに動作するように処理装置を構成したり独立的にまたは結合的に（ｃｏｌｌｅｃｔｉｖｅｌｙ）処理装置を命令することができる。ソフトウェアおよび／またはデータは、処理装置によって解釈されたり処理装置に命令またはデータを提供するために、何らかの類型の機械、構成要素（ｃｏｍｐｏｎｅｎｔ）、物理的装置、仮想の装置（ｖｉｒｔｕａｌ ｅｑｕｉｐｍｅｎｔ）、コンピュータ保存媒体または装置、または伝送される信号波（ｓｉｇｎａｌ ｗａｖｅ）に永久的に、または一時的に具体化（ｅｍｂｏｄｙ）できる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散されて、分散された方法で保存されたり実行されることもできる。ソフトウェアおよびデータは一つ以上のコンピュータ読み取り可能記録媒体に保存され得る

【0119】

本発明の実施例に係る方法は多様なコンピュータ手段を通じて遂行され得るプログラム命令形態で具現されてコンピュータ読み取り可能媒体に記録され得る。前記コンピュータ読み取り可能媒体はプログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記媒体に記録されるプログラム命令は実施例のために特別に設計され構成されたものであるか、コンピュータソフトウェア当業者に公知の使用可能なものであってもよい。コンピュータ読み取り可能記録媒体の例にはハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、およびロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュメモリなどのようなプログラム命令を保存し遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例にはコンパイラによって作られるような機械語コードだけでなく、インタープリタなどを使ってコンピュータによって実行され得る高級言語コードを含む。前記ハードウェア装置は実施例の動作を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。

【0120】

以上、本発明は実施例を参照して詳細に説明されたが、本発明が属する技術分野で通常の知識を有する者であれば、前述された技術的思想を逸脱しない範囲内で多様な置換、付加および変形が可能であることは当然であり、このような変形された実施形態も下記の特許請求の範囲によって定められる本発明の保護範囲に属する。

【符号の説明】

【0121】

１００：システム
１０：ＣＣＴＶ
２０：情報処理サーバー
２１：カメラ姿勢推定部
２２：マッピング対象客体設定部
２３：座標推定部
２４：補正部
２５：メッセージ生成および配布部
３０：オペレータ端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】