知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024091462
(43)【公開日】2024-07-04
(54)【発明の名称】カメラ校正方法及びカメラ校正システム
(51)【国際特許分類】
G06T 7/80 20170101AFI20240627BHJP
H04N 23/60 20230101ALI20240627BHJP
【ＦＩ】
G06T7/80
H04N23/60
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023197035
(22)【出願日】2023-11-20
(31)【優先権主張番号】18/086,689
(32)【優先日】2022-12-22
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】390023582
【氏名又は名称】財團法人工業技術研究院
【氏名又は名称原語表記】ＩＮＤＵＳＴＲＩＡＬ ＴＥＣＨＮＯＬＯＧＹ ＲＥＳＥＡＲＣＨ ＩＮＳＴＩＴＵＴＥ
【住所又は居所原語表記】Ｎｏ．１９５，Ｓｅｃ．４，ＣｈｕｎｇＨｓｉｎｇＲｄ．，Ｃｈｕｔｕｎｇ，Ｈｓｉｎｃｈｕ，Ｔａｉｗａｎ ３１０４０
(74)【代理人】
【識別番号】100204490
【弁理士】
【氏名又は名称】三上 葉子
(72)【発明者】
【氏名】張 書馨
(72)【発明者】
【氏名】呂 坤憲
(72)【発明者】
【氏名】蘇 奕宇
(72)【発明者】
【氏名】孫 偉程
(72)【発明者】
【氏名】蕭 裕憲
【テーマコード（参考）】
5C122
5L096
【Ｆターム（参考）】
5C122EA55
5C122FH04
5C122FH11
5C122GE26
5C122GE27
5C122HB01
5L096CA02
5L096FA03
5L096FA10
5L096FA13
5L096FA66
5L096FA67
(57)【要約】 （修正有）
【課題】異なる位置の２つの垂直線分、基準方向及び基準点を通じてカメラを校正し、取得した内部パラメータ及び外部パラメータは画像座標系とワールド座標系との間の座標変換の計算に用いるカメラ校正方法及びカメラ校正システムを提供する。
【解決手段】方法は、カメラを空間に設置することと、空間中に２つの線分を確立又は選択することと、２つの線分を含む空間の画像を取得することと、２つの線分の上方及び下方端点の高さと画像座標を取得することと、２つの線分の情報に基づき、カメラの焦点距離と、第１回転角と、第２回転角と、並進ベクトルの第３要素とを算出することと、基準方向と、上記で取得したカメラ情報とに基づき、カメラの第３回転角を算出することと、基準点と、上記で取得したカメラ情報とに基づき、カメラの並進ベクトルの第１要素と第２要素とを算出することと、を含む。
【選択図】図４
【解決手段】方法は、カメラを空間に設置することと、空間中に２つの線分を確立又は選択することと、２つの線分を含む空間の画像を取得することと、２つの線分の上方及び下方端点の高さと画像座標を取得することと、２つの線分の情報に基づき、カメラの焦点距離と、第１回転角と、第２回転角と、並進ベクトルの第３要素とを算出することと、基準方向と、上記で取得したカメラ情報とに基づき、カメラの第３回転角を算出することと、基準点と、上記で取得したカメラ情報とに基づき、カメラの並進ベクトルの第１要素と第２要素とを算出することと、を含む。
【選択図】図４
【特許請求の範囲】
【請求項1】
カメラを空間に設置することと、
前記空間において第１垂直線分と第２垂直線分を選択又は確立することであって、前記第１垂直線分は第１端点と第２端点とを含み、前記第２垂直線分は第３端点と第４端点とを含むことと、
前記カメラにより前記空間中の前記第１垂直線分と前記第２垂直線分とを含む画像を撮像することと、
前記第１端点の第１端点高さと、前記第２端点の第２端点高さと、前記第３端点の第３端点高さと、前記第４端点の第４端点高さとを取得することと、
前記画像における前記第１端点に対応する第１端点画像座標と、前記第２端点に対応する第２端点画像座標とを取得することと、
前記画像における前記第３端点に対応する第３端点画像座標と、前記第４端点に対応する第４端点画像座標とを取得することと、
前記第１端点画像座標及び前記第１端点高さと、前記第２端点画像座標及び前記第２端点高さと、前記第３端点画像座標及び前記第３端点高さと、前記第４端点画像座標及び前記第４端点高さとに基づき、前記カメラの焦点距離と、第１回転角と、第２回転角と、並進ベクトルの第３並進ベクトル要素とを算出することと、
前記空間の基準方向と、前記カメラの前記焦点距離と、前記第１回転角と、前記第２回転角とに基づき、前記カメラの第３回転角を算出することと、
前記空間の基準点と、前記カメラの前記焦点距離と、前記第１回転角と、前記第２回転角と、前記第３回転角と、前記並進ベクトルの前記第３並進ベクトル要素とに基づき、前記カメラの前記並進ベクトルの第１並進ベクトル要素と第２並進ベクトル要素とを算出することと
を含む、
カメラ校正方法。
前記空間において第１垂直線分と第２垂直線分を選択又は確立することであって、前記第１垂直線分は第１端点と第２端点とを含み、前記第２垂直線分は第３端点と第４端点とを含むことと、
前記カメラにより前記空間中の前記第１垂直線分と前記第２垂直線分とを含む画像を撮像することと、
前記第１端点の第１端点高さと、前記第２端点の第２端点高さと、前記第３端点の第３端点高さと、前記第４端点の第４端点高さとを取得することと、
前記画像における前記第１端点に対応する第１端点画像座標と、前記第２端点に対応する第２端点画像座標とを取得することと、
前記画像における前記第３端点に対応する第３端点画像座標と、前記第４端点に対応する第４端点画像座標とを取得することと、
前記第１端点画像座標及び前記第１端点高さと、前記第２端点画像座標及び前記第２端点高さと、前記第３端点画像座標及び前記第３端点高さと、前記第４端点画像座標及び前記第４端点高さとに基づき、前記カメラの焦点距離と、第１回転角と、第２回転角と、並進ベクトルの第３並進ベクトル要素とを算出することと、
前記空間の基準方向と、前記カメラの前記焦点距離と、前記第１回転角と、前記第２回転角とに基づき、前記カメラの第３回転角を算出することと、
前記空間の基準点と、前記カメラの前記焦点距離と、前記第１回転角と、前記第２回転角と、前記第３回転角と、前記並進ベクトルの前記第３並進ベクトル要素とに基づき、前記カメラの前記並進ベクトルの第１並進ベクトル要素と第２並進ベクトル要素とを算出することと
を含む、
カメラ校正方法。
【請求項2】
前記第１端点画像座標及び前記第１端点高さと、前記第２端点画像座標及び前記第２端点高さと、前記第３端点画像座標及び前記第３端点高さと、前記第４端点画像座標及び前記第４端点高さとに基づき、前記カメラの前記焦点距離と、前記第１回転角と、前記第２回転角と、前記並進ベクトルの前記第３並進ベクトル要素とを算出することは、
前記第１垂直線分に対応する前記画像中の第１投影線分を延伸させることと、前記第２垂直線分に対応する前記画像中の第２投影線分を延伸させることとにより形成される交点の交点座標を算出することと、
前記交点座標に基づき、前記カメラの前記第１回転角を算出することと
を更に含む、
請求項１に記載のカメラ校正方法。
前記第１垂直線分に対応する前記画像中の第１投影線分を延伸させることと、前記第２垂直線分に対応する前記画像中の第２投影線分を延伸させることとにより形成される交点の交点座標を算出することと、
前記交点座標に基づき、前記カメラの前記第１回転角を算出することと
を更に含む、
請求項１に記載のカメラ校正方法。
【請求項3】
前記交点座標に基づき、前記交点と前記画像の画像原点との間の交点距離を算出すること
を更に含む、
請求項２に記載のカメラ校正方法。
を更に含む、
請求項２に記載のカメラ校正方法。
【請求項4】
前記交点距離と、前記カメラの前記第１回転角と、前記第１端点画像座標及び前記第１端点高さと、前記第２端点画像座標及び前記第２端点高さと、前記第３端点画像座標及び前記第３端点高さと、前記第４端点画像座標及び前記第４端点高さとに基づき、前記カメラの前記第２回転角を算出すること
を更に含む、
請求項３に記載のカメラ校正方法。
を更に含む、
請求項３に記載のカメラ校正方法。
【請求項5】
前記カメラの前記第２回転角と前記交点距離とに基づき、前記カメラの前記焦点距離を算出すること
を更に含む、
請求項３に記載のカメラ校正方法。
を更に含む、
請求項３に記載のカメラ校正方法。
【請求項6】
前記第１垂直線分に対応する前記第１端点高さと、前記第２端点高さと、前記第１端点画像座標と、前記第２端点画像座標と、前記カメラの前記第１回転角と、前記カメラの前記第２回転角と、前記交点距離とに基づき、前記並進ベクトルの前記第３並進ベクトル要素を算出すること
を更に含む、
請求項３に記載のカメラ校正方法。
を更に含む、
請求項３に記載のカメラ校正方法。
【請求項7】
前記空間の前記基準方向と、前記カメラの前記焦点距離と、前記第１回転角と、前記第２回転角とに基づき、前記カメラの前記第３回転角を算出することは、
前記基準方向の基準起点に対応する前記画像中の投影起点の投影起点座標と、前記基準方向の基準終点に対応する前記画像中の投影終点の投影終点座標と、前記カメラの前記焦点距離と、前記第１回転角と、前記第２回転角とに基づき、第２中間座標系における前記投影起点の投影起点中間座標と前記投影終点の投影終点中間座標とを算出すること
を更に含む、
請求項１に記載のカメラ校正方法。
前記基準方向の基準起点に対応する前記画像中の投影起点の投影起点座標と、前記基準方向の基準終点に対応する前記画像中の投影終点の投影終点座標と、前記カメラの前記焦点距離と、前記第１回転角と、前記第２回転角とに基づき、第２中間座標系における前記投影起点の投影起点中間座標と前記投影終点の投影終点中間座標とを算出すること
を更に含む、
請求項１に記載のカメラ校正方法。
【請求項8】
前記基準方向の水平成分に対する垂直成分の勾配と、前記投影起点中間座標と、前記投影終点中間座標とに基づき、第１距離乗数と第２距離乗数の第１比率を算出すること
を更に含み、
前記第１距離乗数は、前記カメラと前記基準終点との間の第１距離が前記カメラと前記投影終点との間の第２距離に対するものであり、
前記第２距離乗数は、前記カメラと前記基準起点との間の第３距離が前記カメラと前記投影起点との間の第４距離に対するものである、
請求項７に記載のカメラ校正方法。
を更に含み、
前記第１距離乗数は、前記カメラと前記基準終点との間の第１距離が前記カメラと前記投影終点との間の第２距離に対するものであり、
前記第２距離乗数は、前記カメラと前記基準起点との間の第３距離が前記カメラと前記投影起点との間の第４距離に対するものである、
請求項７に記載のカメラ校正方法。
【請求項9】
ワールド座標系における前記基準方向の第１基準方向要素及び第２基準方向要素と、前記投影起点中間座標と、前記投影終点中間座標と、前記第１比率とに基づき、前記カメラの前記第３回転角を算出すること
を更に含む、
請求項８に記載のカメラ校正方法。
を更に含む、
請求項８に記載のカメラ校正方法。
【請求項10】
前記空間の基準点と、前記カメラの前記焦点距離と、前記第１回転角と、前記第２回転角と、前記第３回転角と、前記並進ベクトルの前記第３並進ベクトル要素とに基づき、前記カメラの前記並進ベクトルの前記第１並進ベクトル要素と前記第２並進ベクトル要素とを算出することは、
前記空間中の前記基準点に対応する前記画像中の投影基準点の投影基準点座標と、前記カメラの前記焦点距離と、前記第１回転角と、前記第２回転角と、前記第３回転角とに基づき、前記投影基準点の第１中間座標系における投影基準点中間座標を算出すること
を更に含む、
請求項１に記載のカメラ校正方法。
前記空間中の前記基準点に対応する前記画像中の投影基準点の投影基準点座標と、前記カメラの前記焦点距離と、前記第１回転角と、前記第２回転角と、前記第３回転角とに基づき、前記投影基準点の第１中間座標系における投影基準点中間座標を算出すること
を更に含む、
請求項１に記載のカメラ校正方法。
【請求項11】
前記基準点の第３基準座標要素と、前記並進ベクトルの前記第３並進ベクトル要素と、前記投影基準点中間座標の第３投影基準点中間座標要素とに基づき、第５距離と第６距離の第２比率を算出すること
を更に含み、
前記第５距離は前記カメラと前記基準点との間の距離であり、
前記第６距離は前記カメラと前記投影基準点との間の距離である、
請求項１０に記載のカメラ校正方法。
を更に含み、
前記第５距離は前記カメラと前記基準点との間の距離であり、
前記第６距離は前記カメラと前記投影基準点との間の距離である、
請求項１０に記載のカメラ校正方法。
【請求項12】
前記基準点の第１基準座標要素と、前記基準点の第２基準座標要素と、前記投影基準点中間座標の第１投影基準点中間座標要素と、前記投影基準点中間座標の第２投影基準点中間座標要素と、前記第２比率とに基づき、前記並進ベクトルの前記第１並進ベクトル要素と前記第２並進ベクトル要素とを算出すること
を更に含む、
請求項１１に記載のカメラ校正方法。
を更に含む、
請求項１１に記載のカメラ校正方法。
【請求項13】
空間に設置され、第１垂直線分と第２垂直線分とが確立される前記空間の画像を撮像するカメラと、
記憶ユニットと、
前記カメラと前記記憶ユニットに接続される処理ユニットと
を含み、
前記第１垂直線分は第１端点と第２端点とを含み、前記第２垂直線分は第３端点と第４端点とを含み、
前記記憶ユニットは、前記第１端点の第１端点高さと、前記第２端点の第２端点高さと、前記第３端点の第３端点高さと、前記第４端点の第４端点高さと、前記画像中の前記第１端点に対応する第１端点画像座標と、前記画像中の前記第２端点に対応する第２端点画像座標と、前記画像中の前記第３端点に対応する第３端点画像座標と、前記画像中の前記第４端点に対応する第４端点画像座標とを格納し、
前記処理ユニットは、
前記第１端点画像座標及び前記第１端点高さと、前記第２端点画像座標及び前記第２端点高さと、前記第３端点画像座標及び前記第３端点高さと、前記第４端点画像座標及び前記第４端点高さとに基づき、前記カメラの焦点距離と、第１回転角と、第２回転角と、並進ベクトルの第３並進ベクトル要素とを算出するプロセスと、
前記空間の基準方向と、前記カメラの前記焦点距離と、前記第１回転角と、前記第２回転角とに基づき、前記カメラの第３回転角を算出するプロセスと、
前記空間の基準点と、前記カメラの前記焦点距離と、前記第１回転角と、前記第２回転角と、前記第３回転角と、前記並進ベクトルの前記第３並進ベクトル要素とに基づき、前記カメラの前記並進ベクトルの第１並進ベクトル要素と第２並進ベクトル要素とを算出するプロセスと
を実行するよう構成される、
カメラ校正システム。
記憶ユニットと、
前記カメラと前記記憶ユニットに接続される処理ユニットと
を含み、
前記第１垂直線分は第１端点と第２端点とを含み、前記第２垂直線分は第３端点と第４端点とを含み、
前記記憶ユニットは、前記第１端点の第１端点高さと、前記第２端点の第２端点高さと、前記第３端点の第３端点高さと、前記第４端点の第４端点高さと、前記画像中の前記第１端点に対応する第１端点画像座標と、前記画像中の前記第２端点に対応する第２端点画像座標と、前記画像中の前記第３端点に対応する第３端点画像座標と、前記画像中の前記第４端点に対応する第４端点画像座標とを格納し、
前記処理ユニットは、
前記第１端点画像座標及び前記第１端点高さと、前記第２端点画像座標及び前記第２端点高さと、前記第３端点画像座標及び前記第３端点高さと、前記第４端点画像座標及び前記第４端点高さとに基づき、前記カメラの焦点距離と、第１回転角と、第２回転角と、並進ベクトルの第３並進ベクトル要素とを算出するプロセスと、
前記空間の基準方向と、前記カメラの前記焦点距離と、前記第１回転角と、前記第２回転角とに基づき、前記カメラの第３回転角を算出するプロセスと、
前記空間の基準点と、前記カメラの前記焦点距離と、前記第１回転角と、前記第２回転角と、前記第３回転角と、前記並進ベクトルの前記第３並進ベクトル要素とに基づき、前記カメラの前記並進ベクトルの第１並進ベクトル要素と第２並進ベクトル要素とを算出するプロセスと
を実行するよう構成される、
カメラ校正システム。
【請求項14】
前記第１端点画像座標及び前記第１端点高さと、前記第２端点画像座標及び前記第２端点高さと、前記第３端点画像座標及び前記第３端点高さと、前記第４端点画像座標及び前記第４端点高さとに基づき、前記カメラの前記焦点距離と、前記第１回転角と、前記第２回転角と、前記並進ベクトルの前記第３並進ベクトル要素とを算出するプロセスにおいて、前記処理ユニットは、
前記第１垂直線分に対応する前記画像中の第１投影線分を延伸させることと、前記第２垂直線分に対応する前記画像中の第２投影線分を延伸させることとにより形成される交点の交点座標を算出する動作と、
前記交点座標に基づき、前記カメラの前記第１回転角を算出する動作と、
前記交点座標に基づき、前記交点と前記画像の画像原点との間の交点距離を算出する動作と
を実行するよう更に構成される、
請求項１３に記載のカメラ校正システム。
前記第１垂直線分に対応する前記画像中の第１投影線分を延伸させることと、前記第２垂直線分に対応する前記画像中の第２投影線分を延伸させることとにより形成される交点の交点座標を算出する動作と、
前記交点座標に基づき、前記カメラの前記第１回転角を算出する動作と、
前記交点座標に基づき、前記交点と前記画像の画像原点との間の交点距離を算出する動作と
を実行するよう更に構成される、
請求項１３に記載のカメラ校正システム。
【請求項15】
前記処理ユニットは、
前記交点距離と、前記カメラの前記第１回転角と、前記第１端点画像座標及び前記第１端点高さと、前記第２端点画像座標及び前記第２端点高さと、前記第３端点画像座標及び前記第３端点高さと、前記第４端点画像座標及び前記第４端点高さとに基づき、前記カメラの前記第２回転角を算出する動作と、
前記カメラの前記第２回転角と前記交点距離とに基づき、前記カメラの前記焦点距離を算出する動作と
を実行するよう更に構成される、
請求項１４に記載のカメラ校正システム。
前記交点距離と、前記カメラの前記第１回転角と、前記第１端点画像座標及び前記第１端点高さと、前記第２端点画像座標及び前記第２端点高さと、前記第３端点画像座標及び前記第３端点高さと、前記第４端点画像座標及び前記第４端点高さとに基づき、前記カメラの前記第２回転角を算出する動作と、
前記カメラの前記第２回転角と前記交点距離とに基づき、前記カメラの前記焦点距離を算出する動作と
を実行するよう更に構成される、
請求項１４に記載のカメラ校正システム。
【請求項16】
前記処理ユニットは、
前記第１垂直線分に対応する前記第１端点高さと、前記第２端点高さと、前記第１端点画像座標と、前記第２端点画像座標と、前記カメラの前記第１回転角と、前記カメラの前記第２回転角と、前記交点距離とに基づき、前記並進ベクトルの前記第３並進ベクトル要素を算出する動作
を実行するよう更に構成される、
請求項１４に記載のカメラ校正システム。
前記第１垂直線分に対応する前記第１端点高さと、前記第２端点高さと、前記第１端点画像座標と、前記第２端点画像座標と、前記カメラの前記第１回転角と、前記カメラの前記第２回転角と、前記交点距離とに基づき、前記並進ベクトルの前記第３並進ベクトル要素を算出する動作
を実行するよう更に構成される、
請求項１４に記載のカメラ校正システム。
【請求項17】
前記空間の前記基準方向と、前記カメラの前記焦点距離と、前記第１回転角と、前記第２回転角とに基づき、前記カメラの前記第３回転角を算出する動作において、前記処理ユニットは、
前記基準方向の基準起点に対応する前記画像中の投影起点の投影起点座標と、前記基準方向の基準終点に対応する前記画像中の投影終点の投影終点座標と、前記カメラの前記焦点距離と、前記第１回転角と、前記第２回転角とに基づき、第２中間座標系における前記投影起点の投影起点中間座標と前記投影終点の投影終点中間座標とを算出する動作
を実行するよう更に構成される、
請求項１３に記載のカメラ校正システム。
前記基準方向の基準起点に対応する前記画像中の投影起点の投影起点座標と、前記基準方向の基準終点に対応する前記画像中の投影終点の投影終点座標と、前記カメラの前記焦点距離と、前記第１回転角と、前記第２回転角とに基づき、第２中間座標系における前記投影起点の投影起点中間座標と前記投影終点の投影終点中間座標とを算出する動作
を実行するよう更に構成される、
請求項１３に記載のカメラ校正システム。
【請求項18】
前記処理ユニットは、
前記基準方向の水平成分に対する垂直成分の勾配と、前記投影起点中間座標と、前記投影終点中間座標とに基づき、第１距離乗数と第２距離乗数の第１比率を算出する動作と、
ワールド座標系における前記基準方向の第１基準方向要素及び第２基準方向要素と、前記投影起点中間座標と、前記投影終点中間座標と、前記第１比率とに基づき、前記カメラの前記第３回転角を算出する動作と
を実行するよう更に構成され、
前記第１距離乗数は、前記カメラと前記基準終点との間の第１距離が前記カメラと前記投影終点との間の第２距離に対するものであり、
前記第２距離乗数は、前記カメラと前記基準起点との間の第３距離が前記カメラと前記投影起点との間の第４距離に対するものである、
請求項１７に記載のカメラ校正システム。
前記基準方向の水平成分に対する垂直成分の勾配と、前記投影起点中間座標と、前記投影終点中間座標とに基づき、第１距離乗数と第２距離乗数の第１比率を算出する動作と、
ワールド座標系における前記基準方向の第１基準方向要素及び第２基準方向要素と、前記投影起点中間座標と、前記投影終点中間座標と、前記第１比率とに基づき、前記カメラの前記第３回転角を算出する動作と
を実行するよう更に構成され、
前記第１距離乗数は、前記カメラと前記基準終点との間の第１距離が前記カメラと前記投影終点との間の第２距離に対するものであり、
前記第２距離乗数は、前記カメラと前記基準起点との間の第３距離が前記カメラと前記投影起点との間の第４距離に対するものである、
請求項１７に記載のカメラ校正システム。
【請求項19】
前記空間の基準点と、前記カメラの前記焦点距離と、前記第１回転角と、前記第２回転角と、前記第３回転角と、前記並進ベクトルの前記第３並進ベクトル要素とに基づき、前記カメラの前記並進ベクトルの前記第１並進ベクトル要素と前記第２並進ベクトル要素とを算出する動作において、前記処理ユニットは、
前記空間中の前記基準点に対応する前記画像中の投影基準点の投影基準点座標と、前記カメラの前記焦点距離と、前記第１回転角と、前記第２回転角と、前記第３回転角とに基づき、前記投影基準点の第１中間座標系における投影基準点中間座標を算出する動作
を実行するよう更に構成される、
請求項１３に記載のカメラ校正システム。
前記空間中の前記基準点に対応する前記画像中の投影基準点の投影基準点座標と、前記カメラの前記焦点距離と、前記第１回転角と、前記第２回転角と、前記第３回転角とに基づき、前記投影基準点の第１中間座標系における投影基準点中間座標を算出する動作
を実行するよう更に構成される、
請求項１３に記載のカメラ校正システム。
【請求項20】
前記処理ユニットは、
前記基準点の第３基準座標要素と、前記並進ベクトルの前記第３並進ベクトル要素と、前記投影基準点中間座標の第３投影基準点中間座標要素とに基づき、第５距離と第６距離の第２比率を算出する動作と、
前記基準点の第１基準座標要素と、前記基準点の第２基準座標要素と、前記投影基準点中間座標の第１投影基準点中間座標要素と、前記投影基準点中間座標の第２投影基準点中間座標要素と、前記第２比率とに基づき、前記並進ベクトルの前記第１並進ベクトル要素と前記第２並進ベクトル要素とを算出する動作と
を実行するよう更に構成され、
前記第５距離は前記カメラと前記基準点との間の距離であり、
前記第６距離は前記カメラと前記投影基準点との間の距離である、
請求項１９に記載のカメラ校正システム。
前記基準点の第３基準座標要素と、前記並進ベクトルの前記第３並進ベクトル要素と、前記投影基準点中間座標の第３投影基準点中間座標要素とに基づき、第５距離と第６距離の第２比率を算出する動作と、
前記基準点の第１基準座標要素と、前記基準点の第２基準座標要素と、前記投影基準点中間座標の第１投影基準点中間座標要素と、前記投影基準点中間座標の第２投影基準点中間座標要素と、前記第２比率とに基づき、前記並進ベクトルの前記第１並進ベクトル要素と前記第２並進ベクトル要素とを算出する動作と
を実行するよう更に構成され、
前記第５距離は前記カメラと前記基準点との間の距離であり、
前記第６距離は前記カメラと前記投影基準点との間の距離である、
請求項１９に記載のカメラ校正システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラ校正方法及びカメラ校正システムに関するものである。
【背景技術】
【0002】
技術の進展に伴い、画像を取得するよう構成されたカメラの機能は既に画像の保存に限られず、カメラにおける物体の画像座標をワールド座標に更に変換可能であり、次いで、インテリジェントビデオ監視、ロボットビジョン、車両ビジョンといったコンピュータビジョンの分野に応用するため、物体を検出、追跡、位置決めする。
【0003】
ワールド座標系と画像座標との間で座標を正確に変換するため、コンピュータビジョン分野においてカメラ校正は重要な課題である。カメラ校正は、カメラの内部パラメータと外部パラメータを取得するために用いられる。
【0004】
消失点法といった一般的なカメラ校正方法は、三次元空間におけるＸＹＺ軸の平行線を校正パターンとして用いており、応用分野は四角い外観の建築物に限られる。加えて、例えば、チェスボード校正法は二次元チェスボードを校正ツールとして用い、入力パラメータにはチェスボードの各交点のワールド座標と画像座標を含む。また、例えば、直接線形変換（ＤＬＴ）校正法は、少なくとも６つの基準点のワールド座標と画像座標を要する。上記２つの方法のいずれも複数の基準点のワールド座標を取り込む必要がある。このため、空間測定はカメラ校正及び画像位置決めに関する応用を構築するための主要コストとなる。
【0005】
他のカメラ校正方法は、カメラの内部パラメータ及び外部パラメータを提供するために、正確な解析解ではなく数値解を用いる。これら方法は、例えば、水平面上に位置する複数の直立物体又は一次元物体を校正パターンとして用いる。ただし、数値法を用いるカメラパラメータの校正は、不適切な初期値設定のために誤った結果に収束してしまうことが多い。これに基づき、構築コスト、精度、多様な分野への応用性の間のバランスをどう取るかが当業者にとって課題である。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、カメラの内部パラメータ及び外部パラメータを取得するために空間中の２つの垂直線分を通じてカメラ校正を実行可能な、カメラ校正方法及びカメラ校正システムを提供する。
【課題を解決するための手段】
【0007】
本発明は下記を含むカメラ校正方法を提供する。カメラを空間に設置する。空間において第１垂直線分と第２垂直線分とを選択又は確立することであって、第１垂直線分は第１端点と第２端点とを含み、第２垂直線分は第３端点と第４端点とを含む。カメラにより空間中の第１垂直線分と第２垂直線分とを含む画像を撮像する。第１端点の第１端点高さと、第２端点の第２端点高さと、第３端点の第３端点高さと、第４端点の第４端点高さとを取得する。第１端点に対応する第１端点画像座標と、第２端点に対応する第２端点画像座標とを取得する。第３端点に対応する第３端点画像座標と、第４端点に対応する第４端点画像座標とを取得する。第１端点画像座標及び第１端点高さと、第２端点画像座標及び第２端点高さと、第３端点画像座標及び第３端点高さと、第４端点画像座標及び第４端点高さとに基づき、カメラの焦点距離と、第１回転角と、第２回転角と、並進ベクトルの第３並進ベクトル要素とを算出する。空間の基準方向と、カメラの焦点距離と、第１回転角と、第２回転角とに基づき、カメラの第３回転角を算出する。空間の基準点と、カメラの焦点距離と、第１回転角と、第２回転角と、第３回転角と、並進ベクトルの第３並進ベクトル要素とに基づき、カメラの並進ベクトルの第１並進ベクトル要素と第２並進ベクトル要素とを算出する。
【0008】
本発明は、カメラ校正システムを提供する。カメラ校正システムは、カメラと、記憶ユニットと、処理ユニットとを含む。カメラは空間の画像を撮像するために用いられ、第１垂直線分と第２垂直線分とが空間に確立され、第１垂直線分は第１端点と第２端点とを含み、第２垂直線分は第３端点と第４端点とを含む。記憶ユニットは、第１端点の第１端点高さと、第２端点の第２端点高さと、第３端点の第３端点高さと、第４端点の第４端点高さと、画像中の第１端点に対応する第１端点画像座標と、画像中の第２端点に対応する第２端点画像座標と、画像中の第３端点に対応する第３端点画像座標と、画像中の第４端点に対応する第４端点画像座標とを格納するために用いられる。処理ユニットはカメラ及び記憶ユニットに接続され、第１端点画像座標及び第１端点高さと、第２端点画像座標及び第２端点高さと、第３端点画像座標及び第３端点高さと、第４端点画像座標及び第４端点高さとに基づき、カメラの焦点距離と、第１回転角と、第２回転角と、並進ベクトルの第３並進ベクトル要素とを算出するために用いられる。加えて、処理ユニットは更に、空間の基準方向と、カメラの焦点距離と、第１回転角と、第２回転角とに基づき、カメラの第３回転角を算出するために用いられる。処理ユニットはまた、空間の基準点と、カメラの焦点距離と、第１回転角と、第２回転角と、第３回転角と、並進ベクトルの第３並進ベクトル要素とに基づき、並進ベクトルの第１並進ベクトル要素と第２並進ベクトル要素を算出するために用いられる。
【発明の効果】
【0009】
上記に基づき、本発明におけるカメラ校正方法及びカメラ校正システムは、異なる位置の２つの垂直線分、基準方向、及び基準点を通じてカメラを校正することができ、取得された内部パラメータ及び外部パラメータは画像座標系とワールド座標系との間の座標変換の計算に用いることができる。
【0010】
本発明を更に詳細に説明するため、いくつかの例示的な実施形態を図面と併せて以下に詳細に説明する。
【図面の簡単な説明】
【0011】
【図1】本発明の１つの例示的な実施形態によるカメラ校正システムのブロック図である。
【図2】本発明の１つの例示的な実施形態による座標系変換の概略図である。
【図3】本発明の１つの例示的な実施形態による座標系変換の概略図である。
【図4】本発明の１つの例示的な実施形態によるカメラ校正方法のフロー図である。
【図5】本発明の１つの例示的な実施形態による２つの垂直線分の情報の取得の概略図である。
【図6】本発明の１つの例示的な実施形態による第１段階カメラ校正の詳細なフロー図である。
【図7】本発明の１つの例示的な実施形態による交点の計算を表す概略図である。
【図8】本発明の１つの例示的な実施形態による第１回転角の計算の概略図である。
【図9】本発明の１つの例示的な実施形態による第２中間座標系とワールド座標系における２つの垂直線分の端点の間の高さの差の関係を示す概略図である。
【図10】本発明の１つの例示的な実施形態によるカメラの第２回転角と焦点距離との間の関係を示す概略図である。
【図11】本発明の１つの例示的な実施形態による上面視での２つの垂直線分の上方端点と下方端点の空間座標を表す概略図である。
【図12】本発明の１つの例示的な実施形態による第２段階カメラ校正のフロー図である。
【図13】本発明の１つの例示的な実施形態による第３回転角の計算の概略図である。
【図15】本発明の１つの例示的な実施形態による第３段階カメラ校正のフロー図である。
【図16】本発明の１つの例示的な実施形態による並進ベクトルの計算の概略図である。
【発明を実施するための形態】
【0012】
以下の実施形態の説明において、ワールド座標系及びカメラ座標系はいずれも三次元座標系である。三次元座標系は、原点と、互いに垂直なＸ軸、Ｙ軸、Ｚ軸から成る。三次元座標系は、Ｘ軸、Ｙ軸、Ｚ軸の方向の間の相対関係に基づいて、左手座標系と右手座標系に分けることができる。左手座標系は、左手親指がＺ軸の正の方向を指し、及び残りの４つの指が手のひらへ屈曲する方向がＸ軸の正の方向からＹ軸の正の方向である。右手座標系は、右手親指がＺ軸の正の方向を指し、残りの４つの指が手のひらへ屈曲する方向がＸ軸の正の方向からＹ軸の正の方向である。ワールド座標系及びカメラ座標系は、両方が左手座標系に属するか、両方が右手座標系に属することができる。本発明はこれに限定されない。
【0013】
ワールド座標系は、現実世界における物体の空間位置を標示するために用いられる座標系である。座標系のＺ軸の正の方向は、地球の中心からｚ＝０で示される地面を通って上向きの方向であり、ＸＹ面はＺ軸に垂直である。例えば、ワールド座標系は世界測地系（ＷＧＳ）を用いることにより実現可能である、又は、本発明の他の実施形態において、原点位置、Ｘ軸方向、Ｙ軸方向は全て観察により取得される。これは、観察者が物体の位置を記述するために用いることを予期する基準システムに依存する。本発明はこれに限定されない。
【0014】
カメラ座標系は、カメラレンズの中心点を原点として形成される三次元座標系である。カメラ座標系は、左手座標系又は右手座標系に対応する方式において三次元座標系の３軸方向を定義する。本発明の例示的な実施形態において、カメラ座標系はカメラレンズが直視する方向をｘ軸の正の方向とし、左手座標系では、カメラ画像の右方向に対応して空間におけるｘ軸に垂直な方向がカメラ座標系のｙ軸の正の方向として決定され、カメラ画像の上方向に対応してｘ軸に垂直な方向がカメラ座標系のｚ軸の正の方向として決定されるが、本発明はこれに限定されない。
【0015】
画像座標系は、カメラにより撮像された画像が属する座標系であり、即ち、画像座標形は実際には二次元座標系である。画像座標系は、画像原点、ｕ軸、ｖ軸から成る。本発明の例示的な実施形態において、画像座標系の原点は画像平面の中心に位置し、ｕ軸の方向は右へ平行であり、ｖ軸の方向は垂直に上向きであるが、本発明はこれに限定されない。画像座標系はカメラ座標系に関連する。具体的には、物体の座標が画像座標系とワールド座標系の間で変換される場合、中間カメラ座標系を通じて変換される。
【0016】
図１は、本発明の１つの例示的な実施形態によるカメラ校正システムのブロック図である。
【0017】
図１を参照し、カメラ校正システム１００は、カメラ１１０と、記憶ユニット１２０と、処理ユニット１３０とを含む。
【0018】
カメラ１１０は画像を撮像するために用いられ、カメラ１１０は対応する外部パラメータと内部パラメータとを有する。外部パラメータは、例えば回転情報と並進情報であるがこれらに限定されない、ワールド座標系とカメラ座標系との間の変換に対応する。内部パラメータは、例えばカメラ焦点距離と画像中心点であるがこれらに限定されない、カメラ座標系と画像座標系との間の変換に対応する。カメラ１１０は、任意のモデル及び任意のブランドの写真レンズと制御モジュールにより実現されてよく、本発明はこれに限定されない。
【0019】
記憶ユニット１２０は、カメラ校正システム１００が実行されるために必要な様々なコード及びデータを格納するために用いられる。具体的には、記憶ユニット１２０はカメラ校正プロセスの間に使用及び生成される値を格納するために用いられてよく、またカメラ校正プロセスの間に様々な座標変換テンプレートを格納してよい。記憶ユニット１２０は、例えば任意のタイプの静的又は動的ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、又は類似のコンポーネント、又は上記コンポーネントの組合せであるがこれらに限定されず、本発明はこれに限定されない。
【0020】
処理ユニット１３０はカメラ１１０と記憶ユニット１２０に接続され、カメラ校正システム１００により必要とされる様々な動作を完了するため、カメラ１１０からの画像、記憶ユニット１２０のアクセスコードとデータを受け取り、データ計算及び処理等を実行するために用いられる。具体的には、処理ユニット１３０は、画像座標系における画像座標とワールド座標系におけるワールド座標との間の変換を行うため、本発明のカメラ校正方法を実行するよう構成される。処理ユニット１３０は、例えば、中央処理装置（ＣＰＵ）、又は他のプログラム可能な汎用又は特定用途向けマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、プログラマブルコントローラ、特定用途向け集積回路（ＡＳＩＣ）、又は他の類似のコンポーネント、又は上記コンポーネントの組合せであるが、本発明はこれに限定されない。
【0021】
図２は、本発明の１つの例示的な実施形態による座標系変換の概略図である。
【0022】
図２に示すように、カメラ校正システム１００によるワールド座標系２１０を画像座標系２６０へ変換する連続したプロセスの間に、３つの中間座標系が定義される。先ず、ワールド座標系２１０の原点（０，０，０）及びＸＹＺ軸でカメラレンズ中心点Ｐ０の位置（Ｘ０，Ｙ０，Ｚ０）へ並進する操作２１１が実行されて、第１中間座標系２２０となる。ワールド座標系２１０に対して、第１中間座標系２２０のＸ’Ｙ’Ｚ’軸の方向はワールド座標系２１０のＸＹＺ軸の方向と同一に維持される。第２ステップにおいて、第１中間座標系２２０でＺ’軸を中心としてθｚ回転する操作２２１が実行され（図３の（１）に示したカメラの上面図を参照、θｚ３１０はヨー角とも呼ばれる）、Ｘ’’軸が第１中間座標系２２０のＸ’Ｙ’面上に投影されたカメラレンズ主軸と整列され、第２中間座標系２３０となる。第２中間座標系２３０のＺ’’軸は第１中間座標系２２０のＺ’軸と同一方向に維持されつつ、第１中間座標系２２０のＸ’軸とＹ’軸の方向に対して、第２中間座標系２３０のＸ’’軸とＹ’’軸はθｚ３１０回転される。第３ステップにおいて、第２中間座標系２３０でＹ’’軸を中心としてθｙ回転する操作２３１が実行され（図３の（２）に示したカメラの側面図を参照、θｙ３２０はピッチ角とも呼ばれる）、Ｘ’’’軸はカメラの主軸方向と整列され、第３中間座標系２４０となる。第３中間座標系２４０のＹ’’’軸は第２中間座標系２３０のＹ’’軸と同一の方向に維持されつつ、第２中間座標系２３０のＸ’’軸とＺ’’軸に対して、第３中間座標系２４０のＸ’’’軸とＺ’’’軸の方向はθｙ３２０回転される。第４ステップにおいて、第３中間座標系２４０でＸ’’’軸を中心としてθｘ回転する操作２４１が実行され（図３の（３）に示したカメラの正面図を参照、θｘ３３０はロール角とも呼ばれる）、ｙ軸及びｚ軸の方向はそれぞれ画像平面のｕ軸及びｖ軸と整列され、カメラ座標系２５０となる。カメラ座標系２５０のｘ軸の方向は、第３中間座標系２４０のＸ’’’軸の方向と同一に維持されつつ、ｙ軸及びｚ軸の方向は第３中間座標系２４０のＹ’’’軸及びＺ’’’軸の方向に対してθｘ３３０回転される。最後に、カメラ座標系２５０の空間中のｘ＝f面に対応する画像平面２６５上に画像座標系２６０が確立され、画像座標系２６０の原点ｐ０は、カメラ座標系２５０のｘ軸が該平面を通過する交点であり、画像座標系２６０のｕ軸及びｖ軸の方向はそれぞれカメラ座標系２５０のｙ軸及びｚ軸の方向と等しい。左手座標系に対応する方向関係に基づき、カメラ座標系２５０のカメラ座標（f，ｙ，ｚ）は画像座標系２６０の画像座標（ｕ，ｖ）に変換され、座標値マッピングはｕ＝ｙ、ｖ＝ｚである。同様に、右手座標系に対応する方向関係に基づき、カメラ座標系２５０のカメラ座標（f，ｙ，ｚ）は画像座標系２６０の画像座標（ｕ，ｖ）に変換され、座標値マッピングはｕ＝－ｙ、ｖ＝ｚであり、これはｘ軸次元削減２５１を意味する。
【0023】
上述した画像座標系２６０の原点ｐ０は、画像平面２６５上のカメラレンズ中心点Ｐ０の垂直投影点に等しい。この方法は簡略化したカメラ校正モデルに基づいており、画像座標系の原点ｐ０がカメラの出力画像フレームの中心点に位置すると仮定するものである。
【0024】
本発明のカメラ校正方法は、画像座標系２６０をワールド座標系２１０へ戻すこともできる。図２に示すように、画像座標系２６０からワールド座標系２１０へ逆に戻すプロセスは次のとおりである。先ず、画像座標系２６０において、画像平面２６５の原点ｐ０を垂直に通過する法線方向において、ｐ０からfの距離で間隔が空けられた点Ｐ０がカメラ座標系２５０の原点として定義され、Ｐ０からｐ０への方向はカメラ座標系２５０のｘ軸の方向として定義され、画像座標系２６０のｕ軸及びｖ軸の方向はそれぞれカメラ座標系２５０のｙ軸及びｚ軸の方向として定義される。左手座標系に対応する方向関係に基づき、画像座標系２６０の画像座標（ｕ，ｖ）は、ｘ＝f、ｙ＝ｕ、ｚ＝ｖに設定することによりカメラ座標系２５０のカメラ座標（ｘ，ｙ，ｚ）に変換される。同様に、右手座標系に対応する方向関係に基づき、画像座標系２６０の画像座標（ｕ，ｖ）は、ｘ＝f、ｙ＝－ｕ、ｚ＝ｖに設定することによりカメラ座標系２５０のカメラ座標（ｘ，ｙ，ｚ）に変換され、これはｘ軸次元追加２５２を意味し、カメラ座標系２５０が形成される。第２ステップにおいて、カメラ座標系２５０でｘ軸を中心として－θｘ回転する操作が実行され、第３中間座標系２４０となる。カメラ座標系２５０に対して、第３中間座標系２４０のＸ’’’軸はカメラ座標系２５０のｘ軸と同一方向に維持される。第３ステップにおいて、第３中間座標系２４０でＹ’’’軸を中心として－θｙ回転する操作２３２が実行され、第２中間座標系２３０となる。第３中間座標系２４０に対して、第２中間座標系２３０のＹ’’軸は第３中間座標系２４０のＹ’’’軸と同一方向に維持される。第４ステップにおいて、第２中間座標系２３０でＺ’’軸を中心として－θｚ回転する操作２２２が実行され、第１中間座標系２２０となる。第２中間座標系２３０に対して、第１中間座標系２２０のＺ’軸は第２中間座標系２３０でＺ’’軸と同一方向に維持される。最後に、第１中間座標系２２０の原点及びＸ’Ｙ’Ｚ’軸に（－Ｘ０，－Ｙ０，－Ｚ０）でワールド座標系２１０の原点（０，０，０）への逆並進の操作２１２が実行され、ワールド座標系２１０となる。第１中間座標系２２０に対して、ワールド座標系２１０のＸＹＺ軸は第１中間座標系２２０のＸ’Ｙ’Ｚ’軸と同一方向に維持される。
【0025】
上記の画像座標系２６０からワールド座標系２１０への変換プロセスに基づき、空間中の物体が画像平面上の投影点ｐ＊の画像座標（ｕｐ，ｖｐ）を有するとする。左手座標系を適用する場合、画像平面上の投影点ｐ＊はカメラ座標系２５０に基づき、対応する空間座標（ｘｐ，ｙｐ，ｚｐ）を（f，ｕｐ，ｖｐ）として有する。
【0026】
更に、投影点ｐ＊は第２中間座標系２３０に対応する空間座標を次として有する。
【数1】
【0027】
更に、投影点ｐ＊は第１中間座標系２２０に対応する空間座標を次として有する。
【数2】
【0028】
同様に、右手座標系を用いる場合、画像平面の投影点ｐ＊は、カメラ座標系２５０に基づいて空間座標（ｘｐ，ｙｐ，ｚｐ）は（f，－ｕｐ，ｖｐ）に対応する。このため、これに対応して式１と式２における係数ｕｐの符号が逆に調整される。
【0029】
実際、三次元座標系（ワールド座標系２１０、第１中間座標系２２０、第２中間座標系２３０、第３中間座標系２４０、カメラ座標系２５０を含む）から二次元座標系（画像座標系２６０）への変換は、次元削減を経ている。逆に、画像座標系２６０からカメラ座標系２５０、第３中間座標系２４０、第２中間座標系２３０、第１中間座標系２２０、そしてワールド座標系２１０へと変換する変換プロセスの間、投影点ｐ＊はカメラレンズ中心点Ｐ０から画像平面２６５上の投影点ｐ＊を通過して形成される直線となるよう次元追加され、空間中の所与の物体は直線上の一点に位置する。カメラ座標系２５０に基づき、直線の式はｓ（ｘｐ，ｙｐ，ｚｐ）であり、ｓ＞０である。同様に、第２中間座標系２３０及び第１中間座標系２２０に基づき、直線の式はそれぞれｓ（Ｘ’’ｐ，Ｙ’’ｐ，Ｚ’’ｐ）及びｓ（Ｘ’ｐ，Ｙ’ｐ，Ｚ’ｐ）である。更に、ワールド座標系２１０に基づき、投影点ｐ＊に対応する直線の式は次となる。
【数3】
【0030】
図４は、本発明の１つの例示的な実施形態によるカメラ校正方法のフロー図である。
【0031】
【数4】
【0032】
【数5】
【0033】
図４を参照し、ステップＳ４１０において、カメラを空間に設置し、第１垂直線分と第２垂直線分を空間中に選択又は確立し、第１垂直線分は第１端点と第２端点とを有し、第２垂直線分は第３端点と第４端点とを有する。カメラは、空間中の第１垂直線分及び第２垂直線分を含む画像を撮像し、ステップＳ４２０において、第１端点の第１端点高さ、第２端点の第２端点高さ、第３端点の第３端点高さ、第４端点の第４端点高さを取得する。第１端点に対応する第１端点画像座標及び第２端点に対応する第２端点画像座標を取得する。第３端点に対応する第３端点画像座標及び第４端点に対応する第４端点画像座標を取得する。
【0034】
図５は、本発明の１つの例示的な実施形態による２つの垂直線分の情報の取得の概略図である。
【0035】
【数6】
【0036】
次に、図４を再び参照し、ステップＳ４３０において、第１端点画像座標と第１端点高さ、第２端点画像座標と第２端点高さ、第３端点画像座標と第３端点高さ、第４端点画像座標と第４端点高さに基づいて、カメラの焦点距離、第１回転角、第２回転角、並進ベクトルの第３並進ベクトル要素を算出する。ここで、ステップＳ４３０はここで開示するカメラ校正方法の第１段階カメラ校正のステップである。
【0037】
図６は、本発明の１つの例示的な実施形態による第１段階カメラ校正の詳細なフロー図である。
【0038】
図６を参照し、ステップＳ４３１において、第１垂直線分に対応する画像中の第１投影線分を延伸し、第２垂直線分に対応する画像中の第２投影線分を延伸することにより形成された交点の交点座標を算出し、交点座標に基づいてカメラの第１回転角を算出する。
【0039】
図５と図７を参照し、処理ユニットは、カメラのＸ軸の回転角θｘを算出するため、画像平面２６５上のｐＡ１＝（ｕＡ１，ｖＡ１）、ｐＡ２＝（ｕＡ２，ｖＡ２）、ｐＢ１＝（ｕＢ１，ｖＢ１）、ｐＢ２＝（ｕＢ２，ｖＢ２）の情報を用いる。計算プロセスは画像座標系２６０に基づく。
【0040】
画像平面２６５上の２つの点ｐＡ１及びｐＡ２を通過する直線ＬＡ（ｕ，ｖ）の式は次のとおりである。
【数7】
【0041】
ここで、αＡ、ｂＡは次のとおりである。
【数8】
【0042】
同様に、２つの点ｐＢ１及びｐＢ２を通過する直線ＬＢ（ｕ，ｖ）の式は次のとおりである。
【数9】
【0043】
ここで、αＢ、ｂＢは次のとおりである。
【数10】
【0044】
直線ＬＡ（ｕ，ｖ）及びＬＢ（ｕ，ｖ）と交点ｐＣの座標は次のとおりである。
【数11】
【0045】
物理的意味において、ｐＣはＺ軸の消失点を表す。カメラが俯角で撮像するとき、空間中の無限に下向きに延伸する鉛直線は画像平面上の交点ｐＣで消失する。図５に示すように、ワールド座標系２１０において、画像平面２６５上のｐＣは画像平面２６５を通過するカメラレンズ中心点Ｐ０の直下の鉛直線の交点に対応する。同様に、カメラの仰角での視野で、上方へ無限に延伸する空間中の鉛直線は画像平面上のｐＣで消失する。ワールド座標系２１０において、画像平面２６５上のｐＣは、画像平面２６５を通過するカメラレンズ中心点Ｐ０直上の鉛直線の交点に対応する。
【0046】
【0047】
【数12】
【0048】
右手座標系を用いる場合、カメラのｘ軸を中心とした時計回り回転はθｘの増加に対応する。このため、右手座標系に基づき取得されるθｘは式（７）の反数である。
【0049】
図６を再び参照し、ステップＳ４３２において、交点と画像の画像原点との間の交点距離を交点座標に基づいて算出する。交点距離ｒは、画像平面２６５上の画像原点ｐ０と交点ｐＣとの間の距離として表される。式（６）における交点ｐＣの座標に基づき、交点距離ｒは次のように得られる。
【数13】
【0050】
【数14】
【0051】
画像平面上のｐＡ１、ｐＡ２、ｐＢ１、ｐＢ２の画像座標は、それぞれ第２中間座標系２３０の座標に変換される。左手座標系に基づき、式（１）によると、ｐＡ１、ｐＡ２、ｐＢ１、ｐＢ２の第２中間座標は次のとおりである。
【数15】
【0052】
右手座標系を用いる場合、ｕＡ１、ｕＡ２、ｕＢ１、ｕＢ２係数の符号は対応して反数に調整される。
【0053】
図２を再び参照し、第２中間座標系２３０のＺ’’軸はワールド座標系２１０のＺ軸と同一方向に維持され、第２中間座標系２３０における空間中の任意の２つの点の相対する高さの差はワールド座標系２１０におけるものと同一に維持される。
【0054】
図９は、本発明の１つの例示的な実施形態による第２中間座標系とワールド座標系における２つの垂直線分の端点の間の高さの差の関係を示す概略図である。
【0055】
【数16】
【数17】
【0056】
【数18】
【0057】
【数19】
【0058】
【数20】
【0059】
連立方程式（１０）～（１２）を解くプロセスにおいて、側面視及び上面視それぞれから得られた幾何学的相関関係に基づいて、解くべき未知の数の間の相関関係が設定される。
【0060】
図１０は、本発明の１つの例示的な実施形態によるカメラの第２回転角と焦点距離との間の関係を示す概略図である。
【0061】
図１０を参照し、図１０は側面図の観点からの図を示しており、カメラが俯角で撮像するときのワールド座標系２１０におけるカメラレンズ中心点Ｐ０と画像平面２６５との間の関係を示しており、次いでカメラのＹ軸の回転角θｙとカメラの焦点距離fが取得される。図１０に示すように、カメラが俯角で撮像するとき、三次元空間における画像平面上のｐＣはカメラレンズ中心点Ｐ０直下の鉛直線が画像平面２６５を通過する交点に対応する。同様に、カメラが仰角で撮像するとき、三次元空間における画像平面上のｐＣはカメラレンズ中心点Ｐ０直上の鉛直線が画像平面２６５を通過する交点に対応する。このため、下記式となる。
【数21】
【0062】
【数22】
【数23】
【0063】
カメラが仰角で撮像するとき、交点ｐＣのｖ座標値は０より大きく、式（６）と式（１４）に基づいてαＡ＜αＢが得られ、次いで式（８）に基づいてｒ＜０が得られ、式（１３）に基づいてθｙ＜０が得られる。同様に、カメラが俯角で撮像するとき、交点ｐＣのｖ座標値は０未満であり、式（６）と式（１４）に基づいてαＡ＞αＢが得られ、次いで式（８）に基づいてｒ＞０が得られ、式（１３）に基づいてθｙ＞０が得られる。
【0064】
式（１３）に基づき、fは次となる。
【数24】
【0065】
これを式（９）に代入し、第２中間座標系２３０におけるｐＡ１の座標は次のように得られる。
【数25】
【0066】
整理した後、式（１５）が得られる。
【数26】
【0067】
ここで、ＳＡ１は次となる。
【数27】
【0068】
同様に、式（９）において、第２中間座標系２３０における他の３つの点ｐＡ２、ｐＢ１、ｐＢ２の座標はそれぞれ次となる。
【数28】
【0069】
ここで、ＳＡ２、ＳＢ１、ＳＢ２はそれぞれ次となる。
【数29】
【0070】
右手座標系が用いられる場合、ｓＡ１、ｓＡ２、ｓＢ１、ｓＢ２に含まれるｕＡ１、ｕＡ２、ｕＢ１、ｕＢ２係数の符号は対応して反数に調整される。
【0071】
【数30】
【0072】
次に、上面図の観点から、第２中間座標系における同一線分の上方及び下方端点の投影点の座標関係が更に得られる。
【0073】
図１１は、本発明の１つの例示的な実施形態による上面視での２つの垂直線分の上方端点と下方端点の空間座標を表す概略図である。
【0074】
【数31】
【0075】
式（１５）及び式（１６）に基づき、次となる。
【数32】
【0076】
ｋＡが次であるとする。
【数33】
【0077】
右手座標系を用いる場合、ｋＡに含まれるｕＡ１及びｕＡ２係数の符号は対応して反数に調整される。
【0078】
ｋＡを式（１６）に代入し、式（１５）に基づいて次が得られる。
【数34】
【0079】
上記式を式（１０）に代入すると、次が得られる。
【数35】
【0080】
そして次が得られる。
【数36】
【0081】
同様に、ｋＢが次であるとする。
【数37】
【0082】
右手座標系を用いる場合、ｋＢに含まれるｕＢ１及びｕＢ２係数の符号は対応して反数に調整される。
【0083】
ｋＢを式（１８）に代入し、式（１７）に基づいて次が得られる。
【数38】
【0084】
上記式を式（１１）に代入すると次が得られる。
【数39】
【0085】
式（１９）と式（２０）を式（１２）に代入すると次が得られる。
【数40】
【0086】
式（１５）と式（１７）に基づき、次となる。
【数41】
【0087】
そして式（２１）に代入すると、次が得られる。
【数42】
【0088】
このため、次が得られる。
【数43】
【0089】
ここで、ｔＡ、ｔＢは次となる。
【数44】
【0090】
カメラが俯角で撮像するとき（θｙ＞０）、画像平面上の交点ｐＣに対応するｖ座標は０よりも小さい。逆に、カメラが仰角で撮像するとき（θｙ＜０）、画像平面上の交点ｐＣに対応するｖ座標は０よりも大きい。このため、式（６）、式（１４）、式（２２）を組み合わせて次が得られる。
【数45】
【0091】
ここで、θ＊
ｙは次である。
【数46】
【0092】
図６を再び参照し、ステップＳ４３４において、カメラの焦点距離をカメラの第２回転角と交点距離に基づいて算出する。換言すれば、Ｙ軸の回転角θｙと交点距離ｒに基づき、カメラ焦点距離fを算出する。式（１３）に基づき、次が得られる。
【数47】
【0093】
【数48】
【0094】
【数49】
【0095】
式（１９）、式（１５）、式（２５）に基づいて次が得られる。
【数50】
【0096】
カメラ校正方法の第１段階において、処理ユニットは、２つの垂直線分のそれぞれの端点と、それぞれの投影点の画像座標とを取得し、次いで、カメラの焦点距離、Ｘ軸の回転角（ロール角に等しい）、Ｙ軸の回転角（ピッチ角に等しい）、並進ベクトルのＺ軸値を算出する。
【0097】
図４を再び参照し、ステップＳ４４０において、カメラ校正方法の第２段階カメラ校正のステップを説明する。空間の基準方向、カメラの焦点距離、第１回転角、第２回転角、カメラの第３回転角を算出する。換言すれば、カメラ校正システム１００は、基準方向、及び上述したカメラ校正方法の第１段階において取得したカメラの焦点距離f、Ｘ軸の回転角θｘ、Ｙ軸の回転角θｙに基づいてカメラのＺ軸の回転角θｚを算出する。下記プロセスは第２中間座標系２３０に基づく。ここで、ステップＳ４４０はここで開示するカメラ校正方法の第２段階カメラ校正のステップである。
【0098】
図１２は、本発明の１つの例示的な実施形態による第２段階カメラ校正のフロー図である。
【0099】
図１２を参照し、ステップＳ４４１において、基準方向の基準起点に対応する投影起点の投影起点座標、基準方向の基準終点に対応する画像中の投影終点の投影終点座標、カメラの焦点距離、第１回転角、第２回転角に基づき、第２中間座標系における投影起点及び投影終点の投影起点中間座標と投影終点中間座標を算出する。
【0100】
図１３は、本発明の１つの例示的な実施形態による第３回転角の計算の概略図である。
【0101】
【数51】
【0102】
【数52】
【0103】
式（１）に基づき、画像平面上の投影起点ｐＳの画像座標を次の式のように第２中間座標系２３０の座標に変換する。
【数53】
【0104】
【数54】
【0105】
同様に、画像平面上の投影終点ｐＥの画像座標を次の式のように第２中間座標系２３０の座標に変換する。
【数55】
【0106】
【数56】
【0107】
右手座標系を用いる場合、ｕＳ及びｕＥ係数の符号は対応して反数に調整される。
【0108】
【数57】
【0109】
【数58】
【0110】
第１の状況において、ｅｚ＝０である。
【0111】
【数59】
【0112】
そして式（２８）が得られる。
【数60】
【0113】
第２の状況において、ｅｚ≠０である。
【0114】
【0115】
【数61】
【0116】
即ち、次のとおりである。
【数62】
【0117】
ここで、ｒｚは次となる。
【数63】
【0118】
ｋＱの二項式は次のように整理される。
【数64】
【0119】
そして式（３０）が得られる。
【数65】
【0120】
ここで、Ａは次となる。
【数66】
【0121】
式（２９）に基づいて余分な根を取り除くことにより正確なｋＱを得ることができる。
【0122】
【数67】
【0123】
最後に、ステップＳ４４３において、ワールド座標系における基準方向の第１基準方向要素及び第２基準方向要素、投影起点中間座標、投影終点中間座標、第１比率に基づいてカメラの第３回転角を算出する。換言すれば、ワールド座標系２１０における基準方向
のＸ及びＹ座標値、第２中間座標系２３０における投影起点ｐＳ及び投影終点ｐＥのＸ’’及びＹ’’座標値、及び比率ｋＱに基づいて、カメラのＺ軸の回転角θｚを算出する。
【0124】
【数68】
【0125】
【数69】
【0126】
【数70】
【0127】
よって式（３１）が得られる。
【数71】
【0128】
ここで、θ＊
ｚは次である。
【数72】
【0129】
【数73】
【0130】
ここで、θ＊
ｚは次となる。
【数74】
【0131】
【数75】
【0132】
図４を再び参照し、ステップＳ４５０において、空間の基準点、カメラの焦点距離、第１回転角、第２回転角、第３回転角、並進ベクトルの第３並進ベクトル要素に基づいて、並進ベクトルの第１並進ベクトル要素と第２並進ベクトル要素を算出する。ここで、ステップＳ４５０はここで開示するカメラ校正方法の第３段階カメラ校正のステップである。
【0133】
【0134】
図１５と図１６を参照し、基準点ＰＲ、カメラの焦点距離f、ＸＹＺ軸の回転角θｘ、θｙ、θｚ、並進ベクトルのＺ座標値ｔｚが与えられ、次いでカメラの並進ベクトルのＸ座標値ｔｘとＹ座標値ｔｙを算出する。該計算プロセスは、第１中間座標系２２０に基づく。ステップＳ４５１において、空間中の投影基準点、カメラの焦点距離、第１回転角、第２回転角、第３回転角、投影基準点の第１中間座標系における投影基準点中間座標を算出する。即ち、空間中に基準点ＰＲが与えられ、基準点ＰＲのワールド座標が（ＸＲ，ＹＲ，ＺＲ）であると仮定し、基準点ＰＲに対応する画像平面２６５上の投影基準点ｐＲの画像座標は（ｕＲ，ｖＲ）である。
【0135】
本段階において、先ず、準点ＰＲに対応する投影基準点ｐＲの画像座標（ｕＲ，ｖＲ）、カメラの焦点距離f、ＸＹＺ軸の回転角θｘ、θｙ、θｚに基づいて、第１中間座標系２２０における投影基準点ｐＲの座標値を算出する。
【0136】
式（２）に基づき、画像平面上の投影基準点ｐＲの画像座標（ｕＲ，ｖＲ）を下記式のように第１中間座標系２２０の座標に変換する。
【数76】
【0137】
右手座標系を用いる場合、ｕＲ係数の符号は対応して反数に調整される。
【0138】
このため、第１中間座標系２２０に基づき、ＰＲの座標は（ｋＲＸ’Ｒ，ｋＲＹ’Ｒ，ｋＲＺ’Ｒ）であり、ここでｋＲは基準点の距離乗数であり、ｋＲ＞０である。
【0139】
次に、ステップＳ４５２において、基準点の第３基準座標要素、並進ベクトルの第３並進ベクトル要素、投影基準点中間座標の第３投影基準点中間座標要素に基づき、第５距離と第６距離の比率を算出し、ここで第５距離はカメラと基準起点との間の距離であり、第６距離はカメラと投影基準点との間の距離である。換言すれば、基準点ＰＲのＺ座標値ＺＲ、カメラのＺ座標値ｔｚ、第１中間座標系２２０における投影基準点ｐＲのＺ座標値Ｚ’Ｒに基づき、カメラレンズ中心点Ｐ０と基準点ＰＲとの間の距離と、カメラレンズ中心点Ｐ０と投影基準点ｐＲとの間の距離との比率を算出する。
【0140】
【数77】
【0141】
第１中間座標系２２０におけるＰＲのＺ座標値の式に基づき、式（３３）が得られる。
【数78】
【0142】
最後に、ステップＳ４５３において、基準点の第１基準座標要素、基準点の第２基準座標要素、投影基準点中間座標の第１投影基準点中間座標要素、投影基準点中間座標の第２投影基準点中間座標要素、第２比率に基づいて、並進ベクトルの第１並進ベクトル要素と第２並進ベクトル要素を算出する。換言すれば、基準点ＰＲのＸ座標値ＸＲ及びＹ座標値ＹＲ、第１中間座標系２２０における投影基準点ｐＲのＸ座標値Ｘ’Ｒ及びＹ座標値Ｙ’Ｒ、比率ｋＲに基づいて、並進ベクトルのｔｘとｔｙを算出する。
【0143】
第１中間座標系２２０におけるＰＲのＸ座標値に基づき、式（３４）が得られる。
【数79】
【0144】
第１中間座標系２２０におけるＰＲのＹ座標値に基づき、式（３５）が得られる。
【数80】
【0145】
【数81】
【0146】
カメラ校正方法の第３段階において、基準点ＰＲ、カメラの焦点距離f、ＸＹＺ軸の回転角θｘ、θｙ、θｚ、並進ベクトルのＺ座標値ｔｚが与えられ、第１中間座標系２２０を通じてカメラの並進ベクトルのＸ座標値ｔｘとＹ座標値ｔｙを算出する。
【0147】
本発明の上記第３段階を通じて取得されるカメラ校正パラメータはカメラ画像に適用可能であり、カメラ画像の座標値はワールド座標系の座標値に変換される。
【0148】
まとめると、本発明は、ワールド座標系と画像座標系との間の各点の座標変換テンプレート（又は座標変換式）を、ワールド座標系における既知の情報を有する２つの異なる垂直線分、１つの基準方向、及び１つの基準点のみを通じて、垂直線分の位置の選択並びに空間環境のパターンを制限することなく取得可能である。このようにして、構築コスト及びカメラ校正の難易度を低減するために、オンサイト操作において単純且つ高速で、低い専門的スキルで、一般的な分野に応用可能な高精度のカメラ校正方法を提供する。
【0149】
当業者にとって、本発明の範囲又は精神から逸脱することなく、開示された実施形態の構造に対して様々な改変及び変形を行うことができることは明らかであろう。上記を考慮し、本発明は、下記の特許請求の範囲及びその均等物の範囲内にある限り、本発明の改変及び変形を包含することを意図している。
【産業上の利用可能性】
【0150】
本発明のカメラ校正方法及びカメラ校正システムは、インテリジェントビデオ監視、ロボットビジョン、車両ビジョンといったコンピュータビジョンの分野に応用することができる。
【符号の説明】
【0151】
１００：カメラ校正システム
１１０：カメラ
１２０：記憶ユニット
１３０：処理ユニット
２１０：ワールド座標系
２１１：並進
２１２：逆並進
２２０：第１中間座標系
２２１：回転角θｚ
２２２：回転角－θｚ
２３０：第２中間座標系
２３１：回転角θｙ
２３２：回転角－θｙ
２４０：第３中間座標系
２４１：回転角θｘ
２４２：回転角－θｘ
２５０：カメラ座標系
２５１：ｘ軸次元削減
２５２：ｘ軸次元回復
２６０：画像座標系
２６５：画像平面
３１０：θｚ
３２０：θｙ
３３０：θｘ
Ｓ４１０、Ｓ４２０、Ｓ４３０、Ｓ４４０、Ｓ４５０、Ｓ４３１、Ｓ４３２、Ｓ４３３、Ｓ４３４、Ｓ４３５、Ｓ４４１、Ｓ４４２、Ｓ４４３、Ｓ４５１、Ｓ４５２、Ｓ４５３：ステップ
Ｐ０：カメラレンズ中心点
PＡ１、PＡ２、PＢ１、PＢ２：端点
ＰＤ：交点
ｐ０：画像座標系の原点
ｐＣ：交点
ｒ：交点距離
ＬＡ（ｕ，ｖ）、ＬＢ（ｕ，ｖ）：直線の等式
ｈＡ１、ｈＡ２、ｈＢ１、ｈＢ２：垂直線分上の端点の高さ
ｌＡ、ｌＢ：垂直線分の長さ
ｐＡ１、ｐＡ２、ｐＢ１、ｐＢ２：投影端点
ｐ＊、ＰＧ：投影点
PＲ：基準点
ｐＲ：投影基準点
f：焦点距離
θｘ、θｙ、θｚ：回転角
PＥ：基準方向の終点
ｐＥ：投影終点
PＳ：基準方向の起点
ｐＳ：投影起点
１１０：カメラ
１２０：記憶ユニット
１３０：処理ユニット
２１０：ワールド座標系
２１１：並進
２１２：逆並進
２２０：第１中間座標系
２２１：回転角θｚ
２２２：回転角－θｚ
２３０：第２中間座標系
２３１：回転角θｙ
２３２：回転角－θｙ
２４０：第３中間座標系
２４１：回転角θｘ
２４２：回転角－θｘ
２５０：カメラ座標系
２５１：ｘ軸次元削減
２５２：ｘ軸次元回復
２６０：画像座標系
２６５：画像平面
３１０：θｚ
３２０：θｙ
３３０：θｘ
Ｓ４１０、Ｓ４２０、Ｓ４３０、Ｓ４４０、Ｓ４５０、Ｓ４３１、Ｓ４３２、Ｓ４３３、Ｓ４３４、Ｓ４３５、Ｓ４４１、Ｓ４４２、Ｓ４４３、Ｓ４５１、Ｓ４５２、Ｓ４５３：ステップ
Ｐ０：カメラレンズ中心点
PＡ１、PＡ２、PＢ１、PＢ２：端点
ＰＤ：交点
ｐ０：画像座標系の原点
ｐＣ：交点
ｒ：交点距離
ＬＡ（ｕ，ｖ）、ＬＢ（ｕ，ｖ）：直線の等式
ｈＡ１、ｈＡ２、ｈＢ１、ｈＢ２：垂直線分上の端点の高さ
ｌＡ、ｌＢ：垂直線分の長さ
ｐＡ１、ｐＡ２、ｐＢ１、ｐＢ２：投影端点
ｐ＊、ＰＧ：投影点
PＲ：基準点
ｐＲ：投影基準点
f：焦点距離
θｘ、θｙ、θｚ：回転角
PＥ：基準方向の終点
ｐＥ：投影終点
PＳ：基準方向の起点
ｐＳ：投影起点
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【外国語明細書】