特開2019-207456(P2019-207456A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電信電話株式会社の特許一覧
特開2019-207456幾何変換行列推定装置、幾何変換行列推定方法、及びプログラム
<>
  • 特開2019207456-幾何変換行列推定装置、幾何変換行列推定方法、及びプログラム 図000008
  • 特開2019207456-幾何変換行列推定装置、幾何変換行列推定方法、及びプログラム 図000009
  • 特開2019207456-幾何変換行列推定装置、幾何変換行列推定方法、及びプログラム 図000010
  • 特開2019207456-幾何変換行列推定装置、幾何変換行列推定方法、及びプログラム 図000011
  • 特開2019207456-幾何変換行列推定装置、幾何変換行列推定方法、及びプログラム 図000012
  • 特開2019207456-幾何変換行列推定装置、幾何変換行列推定方法、及びプログラム 図000013
  • 特開2019207456-幾何変換行列推定装置、幾何変換行列推定方法、及びプログラム 図000014
  • 特開2019207456-幾何変換行列推定装置、幾何変換行列推定方法、及びプログラム 図000015
  • 特開2019207456-幾何変換行列推定装置、幾何変換行列推定方法、及びプログラム 図000016
  • 特開2019207456-幾何変換行列推定装置、幾何変換行列推定方法、及びプログラム 図000017
  • 特開2019207456-幾何変換行列推定装置、幾何変換行列推定方法、及びプログラム 図000018
  • 特開2019207456-幾何変換行列推定装置、幾何変換行列推定方法、及びプログラム 図000019
  • 特開2019207456-幾何変換行列推定装置、幾何変換行列推定方法、及びプログラム 図000020
  • 特開2019207456-幾何変換行列推定装置、幾何変換行列推定方法、及びプログラム 図000021
  • 特開2019207456-幾何変換行列推定装置、幾何変換行列推定方法、及びプログラム 図000022
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-207456(P2019-207456A)
(43)【公開日】2019年12月5日
(54)【発明の名称】幾何変換行列推定装置、幾何変換行列推定方法、及びプログラム
(51)【国際特許分類】
   G06T 7/33 20170101AFI20191108BHJP
【FI】
   G06T7/33
【審査請求】未請求
【請求項の数】8
【出願形態】OL
【全頁数】20
(21)【出願番号】特願2018-101340(P2018-101340)
(22)【出願日】2018年5月28日
(71)【出願人】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】特許業務法人太陽国際特許事務所
(72)【発明者】
【氏名】島村 潤
(72)【発明者】
【氏名】田良島 周平
(72)【発明者】
【氏名】渡邉 之人
(72)【発明者】
【氏名】細野 峻司
(72)【発明者】
【氏名】杵渕 哲也
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA06
5L096FA24
5L096FA25
5L096FA26
5L096FA64
5L096FA67
5L096FA69
5L096GA51
(57)【要約】
【課題】参照画像との対応が得られないような場合でも、平面領域を表す参照画像との間の幾何変換行列を精度よく推定することができるようにする。
【解決手段】第1線分群抽出部120が、画像の線分群のうち、画像に含まれる長方形の辺に対する平行方向及び垂直方向の何れかに対応する線分を長方形内部から抽出して第1線分群とし、第1線分群とは異なる複数の線分を線分群から抽出し、端点検出部150が、当該異なる複数の線分を、第1線分群の画像の基準方向に対する角度を回転角とするアフィン変換行列を用いて変換した複数の線分から、長方形の辺に対する平行方向及び垂直方向の何れかに対応する線分を抽出した線分から選択される2つの線分と、画像端との4交点を検出し、ホモグラフィ行列推定部160が、当該4交点と参照画像の長方形の4頂点との対応から算出したホモグラフィ行列とアフィン変換行列とに基づいて幾何変換行列を算出する。
【選択図】図1
【特許請求の範囲】
【請求項1】
空間中に存在する平面領域を表す長方形を含む参照画像と、前記平面領域を撮影した入力画像との間の幾何変換を表す幾何変換行列を推定する幾何変換行列推定装置であって、
前記入力画像に前記長方形の一部の頂点が含まれていない場合に、前記入力画像に含まれる複数の線分を検出し、前記複数の線分を線分群とする線分検出部と、
前記線分群のうち、前記入力画像に含まれる前記長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を前記長方形の内部から複数抽出して、第1線分群とすると共に、前記第1線分群とは異なる複数の線分を、前記線分群から抽出する第1線分群抽出部と、
前記第1線分群抽出部により抽出された前記第1線分群の前記入力画像の基準方向に対する角度を回転角とするアフィン変換行列を算出するアフィン変換行列算出部と、
前記第1線分群抽出部により抽出された前記第1線分群とは異なる複数の線分を、前記アフィン変換行列を用いて変換した複数の線分から、前記入力画像に含まれる前記長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を複数抽出する第2線分群抽出部と、
前記第2線分群抽出部により抽出された複数の線分から選択される2つの線分と、前記入力画像の上下端及び左右端の何れか一方との4つの交点を検出する端点検出部と、
前記端点検出部により検出された前記4つの交点と、前記参照画像における前記長方形の4つの頂点との対応から、ホモグラフィ行列を算出し、前記ホモグラフィ行列と、前記アフィン変換行列とに基づいて前記幾何変換行列を算出するホモグラフィ行列推定部と、
を含む幾何変換行列推定装置。
【請求項2】
前記アフィン変換行列算出部は、
前記第1線分群抽出部により抽出された前記第1線分群の各線分の、前記入力画像の基準方向に対する角度の中央値を前記回転角として前記アフィン変換行列を算出する
請求項1記載の幾何変換行列推定装置。
【請求項3】
前記入力画像に前記長方形の水平方向の2辺が含まれ、
前記第1線分群抽出部は、前記線分群のうち、前記入力画像に含まれる前記長方形の水平方向の辺に対する平行方向に対応する線分を前記長方形の内部から複数抽出し、
前記第2線分群抽出部は、前記第1線分群抽出部により抽出された前記第1線分群とは異なる複数の線分を、前記アフィン変換行列を用いて変換した複数の線分から、前記入力画像に含まれる前記長方形の水平方向の辺に対する平行方向に対応する線分を複数抽出し、
前記端点検出部は、前記第2線分群抽出部により抽出された複数の線分から選択される2つの線分と、前記入力画像の左端及び右端との4つの交点を検出する
請求項1又は2記載の幾何変換行列推定装置。
【請求項4】
前記入力画像に前記長方形の鉛直方向の2辺が含まれ、
前記第1線分群抽出部は、前記線分群のうち、前記入力画像に含まれる前記長方形の鉛直方向の辺に対する平行方向に対応する線分を前記長方形の内部から複数抽出し、
前記第2線分群抽出部は、前記第1線分群抽出部により抽出された前記第1線分群とは異なる複数の線分を、前記アフィン変換行列を用いて変換した複数の線分から、前記入力画像に含まれる前記長方形の鉛直方向の辺に対する平行方向に対応する線分を複数抽出し、
前記端点検出部は、前記第2線分群抽出部により抽出された複数の線分から選択される2つの線分と、前記入力画像の上端及び下端との4つの交点を検出する
請求項1又は2記載の幾何変換行列推定装置。
【請求項5】
前記入力画像に前記長方形の水平方向の2辺が含まれ、
前記第1線分群抽出部は、前記線分群のうち、前記入力画像に含まれる前記長方形の水平方向の辺に対する垂直方向に対応する線分を前記長方形の内部から複数抽出し、
前記第2線分群抽出部は、前記第1線分群抽出部により抽出された前記第1線分群とは異なる複数の線分を、前記アフィン変換行列を用いて変換した複数の線分から、前記入力画像に含まれる前記長方形の水平方向の辺に対する平行方向に対応する線分を複数抽出し、
前記端点検出部は、前記第2線分群抽出部により抽出された複数の線分から選択される2つの線分と、前記入力画像の左端及び右端との4つの交点を検出する
請求項1又は2記載の幾何変換行列推定装置。
【請求項6】
前記入力画像に前記長方形の鉛直方向の2辺が含まれ、
前記第1線分群抽出部は、前記線分群のうち、前記入力画像に含まれる前記長方形の水平方向の辺に対する垂直方向に対応する線分を前記長方形の内部から複数抽出し、
前記第2線分群抽出部は、前記第1線分群抽出部により抽出された前記第1線分群とは異なる複数の線分を、前記アフィン変換行列を用いて変換した複数の線分から、前記入力画像に含まれる前記長方形の水平方向の辺に対する平行方向に対応する線分を複数抽出し、
前記端点検出部は、前記第2線分群抽出部により抽出された複数の線分から選択される2つの線分と、前記入力画像の上端及び下端との4つの交点を検出する
請求項1又は2記載の幾何変換行列推定装置。
【請求項7】
空間中に存在する平面領域を表す長方形を含む参照画像と、前記平面領域を撮影した入力画像との間の幾何変換を表す幾何変換行列を推定する幾何変換行列推定方法であって、
線分検出部が、前記入力画像に前記長方形の一部の頂点が含まれていない場合に、前記入力画像に含まれる複数の線分を検出し、前記複数の線分を線分群とし、
第1線分群抽出部が、前記線分群のうち、前記入力画像に含まれる前記長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を前記長方形の内部から複数抽出して、第1線分群とすると共に、前記第1線分群とは異なる複数の線分を、前記線分群から抽出し、
アフィン変換行列算出部が、前記第1線分群抽出部により抽出された前記第1線分群の前記入力画像の基準方向に対する角度を回転角とするアフィン変換行列を算出し、
第2線分群抽出部が、前記第1線分群抽出部により抽出された前記第1線分群とは異なる複数の線分を、前記アフィン変換行列を用いて変換した複数の線分から、前記入力画像に含まれる前記長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を複数抽出し、
端点検出部が、前記第2線分群抽出部により抽出された複数の線分から選択される2つの線分と、前記入力画像の上端及び下端との4つの交点を検出し、
ホモグラフィ行列推定部が、前記端点検出部により検出された前記4つの交点と、前記参照画像における前記長方形の4つの頂点との対応から、ホモグラフィ行列を算出し、前記ホモグラフィ行列と、前記アフィン変換行列とに基づいて前記幾何変換行列を算出する
幾何変換行列推定方法。
【請求項8】
コンピュータを、請求項1乃至6の何れか1項記載の幾何変換行列推定装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、幾何変換行列推定装置、幾何変換行列推定方法、及びプログラムに係り、特に、空間中の平面領域を表す長方形を含む参照画像と入力画像との間の幾何変換行列を推定する幾何変換行列推定装置、幾何変換行列推定方法、及びプログラムに関する。
【背景技術】
【0002】
従来より、空間中に存在する平面を撮影した1枚の画像から、画像中に写像された当該平面を別の平面に射影する幾何変換行列を推定し出力する技術があった(非特許文献1)。この技術は、例えば透視投影歪みの無い合成画像の生成や、複数画像の合成(スティッチング)などを可能としている。
【0003】
非特許文献1記載の方法では、透視投影歪みを伴って撮影された実空間中の長方形のフィールド領域から、その4隅を指定し、当該4隅をフィールド座標系で表現される参照画像の4隅と対応付けることによって幾何変換行列を推定し、真正面から観測した合成画像の生成を実現している。
【0004】
上述の幾何変換行列は、ホモグラフィと呼ばれ、3×3の行列で表現される。ホモグラフィは、入力画像内の認識対象と参照画像で、4つ以上の対応する点もしくは線があれば求められることが知られている(非特許文献2参照)。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】徳永 徹郎,外村 喜秀,島村 潤,"カーリング競技におけるストーン位置検出システムの構築と評価,"ITE年次大会, no. 14D-3, Aug. 2017.
【非特許文献2】R. Hartley and A. Zisserman, " Multiple View Geometry in Computer Vision Second Edition”, Cambridge University Press, March 2004.
【発明の概要】
【発明が解決しようとする課題】
【0006】
従来の方法では、4つ以上の対応点を用いて幾何変換行列であるホモグラフィの算出を実現している。
【0007】
しかしながら、入力画像と参照画像との間で4つ以上の対応点を特定できないケースが存在し、ホモグラフィを算出できない、という問題があった。
【0008】
例えば、図2に示すように、実空間に存在する長方形である平面(図2の(A))をカメラで撮影して入力画像(図2の(B))が得られたケースを用いて具体的に説明する。ここでは入力画像を参照画像(図2の(C))に対応するように幾何変換するホモグラフィを算出したいものとする。また、実空間中の平面はx’−y’−z’座標系で表現され、その4隅点は(x’1,y’1,0),(x’2,y’2,0),(x’3,y’3,0),(x’4,y’4,0)であるものとする。
【0009】
カメラを平面に近づけて撮影した場合や望遠撮影した場合、もしくは平面が大きいような場合では、図2のように、入力画像中で長方形の4隅点(x’1,y’1,0),(x’2,y’2,0),(x’3,y’3,0),(x’4,y’4,0)もしくは長方形を構成する4辺(x’1,y’1,0)−(x’2,y’2,0),(x’2,y’2,0)−(x’3,y’3,0),(x’3,y’3,0)−(x’4,y’4,0),(x’4,y’4,0)−(x’1,y’1,0)の全てが映らないことがある。
【0010】
このため、当該4隅を用いてホモグラフィを算出できないといった問題がある。
【0011】
なお、図2の例では、入力画像と参照画像との間で、平面内の模様上の特徴点について、少なくとも4点以上の対応点を求めて、これからホモグラフィを算出する方法も考えられる。
【0012】
しかしながら、入力画像内に存在する模様に対応するものが参照画像内に存在しない場合には、ホモグラフィを算出できない、といった問題があった。
【0013】
本発明は上記の点に鑑みてなされたものであり、参照画像との対応が得られないような場合でも、平面領域を表す参照画像との間の幾何変換行列を精度よく推定することができる幾何変換行列推定装置、幾何変換行列推定方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0014】
本発明に係る幾何変換行列推定装置は、空間中に存在する平面領域を表す長方形を含む参照画像と、前記平面領域を撮影した入力画像との間の幾何変換を表す幾何変換行列を推定する幾何変換行列推定装置であって、前記入力画像に前記長方形の一部の頂点が含まれていない場合に、前記入力画像に含まれる複数の線分を検出し、前記複数の線分を線分群とする線分検出部と、前記線分群のうち、前記入力画像に含まれる前記長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を前記長方形の内部から複数抽出して、第1線分群とすると共に、前記第1線分群とは異なる複数の線分を、前記線分群から抽出する第1線分群抽出部と、前記第1線分群抽出部により抽出された前記第1線分群の前記入力画像の基準方向に対する角度を回転角とするアフィン変換行列を算出するアフィン変換行列算出部と、前記第1線分群抽出部により抽出された前記第1線分群とは異なる複数の線分を、前記アフィン変換行列を用いて変換した複数の線分から、前記入力画像に含まれる前記長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を複数抽出する第2線分群抽出部と、前記第2線分群抽出部により抽出された複数の線分から選択される2つの線分と、前記入力画像の上下端及び左右端の何れか一方との4つの交点を検出する端点検出部と、前記端点検出部により検出された前記4つの交点と、前記参照画像における前記長方形の4つの頂点との対応から、ホモグラフィ行列を算出し、前記ホモグラフィ行列と、前記アフィン変換行列とに基づいて前記幾何変換行列を算出するホモグラフィ行列推定部と、を備えて構成される。
【0015】
また、本発明に係る幾何変換行列推定方法は、空間中に存在する平面領域を表す長方形を含む参照画像と、前記平面領域を撮影した入力画像との間の幾何変換を表す幾何変換行列を推定する幾何変換行列推定方法であって、線分検出部が、前記入力画像に前記長方形の一部の頂点が含まれていない場合に、前記入力画像に含まれる複数の線分を検出し、前記複数の線分を線分群とし、第1線分群抽出部が、前記線分群のうち、前記入力画像に含まれる前記長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を前記長方形の内部から複数抽出して、第1線分群とすると共に、前記第1線分群とは異なる複数の線分を、前記線分群から抽出し、アフィン変換行列算出部が、前記第1線分群抽出部により抽出された前記第1線分群の前記入力画像の基準方向に対する角度を回転角とするアフィン変換行列を算出し、第2線分群抽出部が、前記第1線分群抽出部により抽出された前記第1線分群とは異なる複数の線分を、前記アフィン変換行列を用いて変換した複数の線分から、前記入力画像に含まれる前記長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を複数抽出し、端点検出部が、前記第2線分群抽出部により抽出された複数の線分から選択される2つの線分と、前記入力画像の上端及び下端との4つの交点を検出し、ホモグラフィ行列推定部が、前記端点検出部により検出された前記4つの交点と、前記参照画像における前記長方形の4つの頂点との対応から、ホモグラフィ行列を算出し、前記ホモグラフィ行列と、前記アフィン変換行列とに基づいて前記幾何変換行列を算出する。
【0016】
本発明に係る幾何変換行列推定装置及び幾何変換行列推定方法によれば、線分検出部が、入力画像に長方形の一部の頂点が含まれていない場合に、入力画像に含まれる複数の線分を検出し、複数の線分を線分群とし、第1線分群抽出部が、当該線分群のうち、当該入力画像に含まれる長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を当該長方形の内部から複数抽出して、第1線分群とすると共に、当該第1線分群とは異なる複数の線分を、当該線分群から抽出し、アフィン変換行列算出部が、第1線分群抽出部により抽出された第1線分群の入力画像の基準方向に対する角度を回転角とするアフィン変換行列を算出する。
【0017】
そして、第2線分群抽出部が、第1線分群抽出部により抽出された第1線分群とは異なる複数の線分を、アフィン変換行列を用いて変換した複数の線分から、入力画像に含まれる長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を複数抽出し、端点検出部が、第2線分群抽出部により抽出された複数の線分から選択される2つの線分と、入力画像の上端及び下端との4つの交点を検出し、ホモグラフィ行列推定部が、端点検出部により検出された4つの交点と、参照画像における長方形の4つの頂点との対応から、ホモグラフィ行列を算出し、当該ホモグラフィ行列と、アフィン変換行列とに基づいて幾何変換行列を算出する。
【0018】
このように、入力画像に含まれる複数の線分を検出し、複数の線分を線分群とし、入力画像に含まれる長方形の辺に対する平行及び垂直方向に対応する線分の何れか一方を長方形の内部から抽出し、当該線分群から抽出された線分とは異なる複数の線分を、抽出した線分の入力画像の基準方向に対する角度を回転角とするアフィン変換行列を用いて変換した複数の線分から、入力画像に含まれる長方形の辺に対する平行及び垂直方向に対応する線分の何れか一方を複数抽出した複数の線分から選択される2つの線分と、入力画像の上端及び下端との4つの交点を検出し、当該4つの交点と、参照画像における長方形の4つの頂点との対応から算出したホモグラフィ行列と、アフィン変換行列とに基づいて幾何変換行列を算出することにより、参照画像との対応が得られないような場合でも、平面領域を表す参照画像との間の幾何変換行列を精度よく推定することができる。
【0019】
また、本発明に係る幾何変換行列推定装置の前記アフィン変換行列算出部は、前記第1線分群抽出部により抽出された前記第1線分群の各線分の、前記入力画像の基準方向に対する角度の中央値を前記回転角として前記アフィン変換行列を算出することができる。
【0020】
また、本発明に係る幾何変換行列推定装置の前記入力画像に前記長方形の水平方向の2辺が含まれ、前記第1線分群抽出部は、前記線分群のうち、前記入力画像に含まれる前記長方形の水平方向の辺に対する平行方向に対応する線分を前記長方形の内部から複数抽出し、前記第2線分群抽出部は、前記第1線分群抽出部により抽出された前記第1線分群とは異なる複数の線分を、前記アフィン変換行列を用いて変換した複数の線分から、前記入力画像に含まれる前記長方形の水平方向の辺に対する平行方向に対応する線分を複数抽出し、前記端点検出部は、前記第2線分群抽出部により抽出された複数の線分から選択される2つの線分と、前記入力画像の左端及び右端との4つの交点を検出することができる。
【0021】
また、本発明に係る幾何変換行列推定装置の前記入力画像に前記長方形の鉛直方向の2辺が含まれ、前記第1線分群抽出部は、前記線分群のうち、前記入力画像に含まれる前記長方形の鉛直方向の辺に対する平行方向に対応する線分を前記長方形の内部から複数抽出し、前記第2線分群抽出部は、前記第1線分群抽出部により抽出された前記第1線分群とは異なる複数の線分を、前記アフィン変換行列を用いて変換した複数の線分から、前記入力画像に含まれる前記長方形の鉛直方向の辺に対する平行方向に対応する線分を複数抽出し、前記端点検出部は、前記第2線分群抽出部により抽出された複数の線分から選択される2つの線分と、前記入力画像の上端及び下端との4つの交点を検出することができる。
【0022】
また、本発明に係る幾何変換行列推定装置の前記入力画像に前記長方形の水平方向の2辺が含まれ、前記第1線分群抽出部は、前記線分群のうち、前記入力画像に含まれる前記長方形の水平方向の辺に対する垂直方向に対応する線分を前記長方形の内部から複数抽出し、前記第2線分群抽出部は、前記第1線分群抽出部により抽出された前記第1線分群とは異なる複数の線分を、前記アフィン変換行列を用いて変換した複数の線分から、前記入力画像に含まれる前記長方形の水平方向の辺に対する平行方向に対応する線分を複数抽出し、前記端点検出部は、前記第2線分群抽出部により抽出された複数の線分から選択される2つの線分と、前記入力画像の左端及び右端との4つの交点を検出することができる。
【0023】
また、本発明に係る幾何変換行列推定装置の前記入力画像に前記長方形の鉛直方向の2辺が含まれ、前記第1線分群抽出部は、前記線分群のうち、前記入力画像に含まれる前記長方形の水平方向の辺に対する垂直方向に対応する線分を前記長方形の内部から複数抽出し、前記第2線分群抽出部は、前記第1線分群抽出部により抽出された前記第1線分群とは異なる複数の線分を、前記アフィン変換行列を用いて変換した複数の線分から、前記入力画像に含まれる前記長方形の水平方向の辺に対する平行方向に対応する線分を複数抽出し、前記端点検出部は、前記第2線分群抽出部により抽出された複数の線分から選択される2つの線分と、前記入力画像の上端及び下端との4つの交点を検出することができる。
【0024】
本発明に係るプログラムは、上記の幾何変換行列推定装置の各部として機能させるためのプログラムである。
【発明の効果】
【0025】
本発明の幾何変換行列推定装置、幾何変換行列推定方法、及びプログラムによれば、参照画像との対応が得られないような場合でも、平面領域を表す参照画像との間の幾何変換行列を精度よく推定することができる。
【図面の簡単な説明】
【0026】
図1】幾何変換行列推定装置の構成を示す概略ブロック図である。
図2】本発明の実施形態に係る入力画像と参照画像の一例を示す図である。
図3】本発明の実施形態に係る線分検出器によって抽出された複数の線分の一例を示す図である。
図4】本発明の実施形態に係る長い線分の一例を示す図である。
図5】本発明の実施形態に係る第1線分群と入力画像の基準方向に対する角度の一例を示す図である。
図6】本発明の実施形態に係る第1線分群が複数の場合の入力画像の基準方向に対する角度の一例を示す図である。
図7】発明の実施形態に係る入力画像をアフィン変換行列により回転させた例を示す図である。
図8】本発明の実施の形態に係る端点検出部により算出された4つの交点の一例を示す図である。
図9】本発明の実施の形態に係る入力画像をアフィン変換行列Aにより回転させた図形を、ホモグラフィ行列Htmpにより幾何変換した例を示す図である。
図10】本発明の実施の形態に係る幾何変換行列を算出する処理を表すイメージ図である。
図11】本発明の実施の形態に係る幾何変換行列推定装置の幾何変換行列推定処理ルーチンを示すフローチャートである。
図12】本発明の実施の形態に係る幾何変換行列推定装置の線分検出処理ルーチンを示すフローチャートである。
図13】本発明の実施の形態に係る幾何変換行列推定装置の第2線分群抽出処理ルーチンを示すフローチャートである。
図14】本発明の実施の形態に係る幾何変換行列推定装置の端点検出処理ルーチンを示すフローチャートである。
図15】本発明の実施の形態に係る入力画像のパターンを表す図である。
【発明を実施するための形態】
【0027】
以下、本発明の実施の形態について図面を用いて説明する。
【0028】
<本発明の実施の形態に係る幾何変換行列推定装置の構成>
図1を参照して、本発明の実施の形態に係る幾何変換行列推定装置10の構成について説明する。図1は、本発明の実施の形態に係る幾何変換行列推定装置10の構成を示すブロック図である。
【0029】
本実施形態に係る幾何変換行列推定装置10は、図2に示すような画像(図2の(B))を参照画像(図2の(C))に対応するように幾何変換する幾何変換行列(以下、ホモグラフィ)を算出したいものとする。
【0030】
幾何変換行列推定装置10は、CPUと、RAMと、後述する幾何変換行列推定処理ルーチン、第1線分群抽出処理ルーチン、第2線分群抽出処理ルーチン、及び端点検出処理ルーチンを実行するためのプログラムを記憶したROMとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
【0031】
図1に示すように、本実施形態に係る幾何変換行列推定装置10は、入力部100と、線分検出部110と、第1線分群抽出部120と、アフィン変換行列算出部130と、第2線分群抽出部140と、端点検出部150と、ホモグラフィ行列推定部160と、記憶部170と、出力部180とを備えて構成される。
【0032】
入力部100は、空間中に存在する長方形(正方形を含む)である平面を撮影した画像の入力を受け付ける。
【0033】
具体的には、入力部100は、図2に示すようなx’−y’−z’座標系からなる実空間中に存在する長方形である平面(図2の(A))領域を、z’軸と光軸が合致しないカメラで撮影して得られた画像(図2の(B))の入力を受け付ける。以下、入力部100が受け付けた画像を入力画像と呼ぶ。
【0034】
そして、入力部100は、入力画像を線分検出部110に渡す。
【0035】
線分検出部110は、入力画像に長方形の一部の頂点が含まれていない場合に、入力画像に含まれる複数の線分を検出し、当該複数の線分を線分群とする。
【0036】
具体的には、線分検出部110は、直線検出器(図示しない)を用いて、入力画像内に存在する線分を含む直線を検出する。直線検出器としては、確率的ハフ変換アルゴリズム(参考文献1)やLSD(参考文献2)等を用いることができる。
[参考文献1]J. Matas, C. Galambos, and J. Kittler, “Progressive Probabilistic Hough Transform,” BMVC, British Machine Vision Association, 1998.
[参考文献2]Rafael Grompone von Gioi, Jeremie Jakubowicz, Jean-Michel Morel, Gregory Randall, “LSD: a Line Segment Detector”, Image Processing On Line, vol.2, 2012, pp.35-55.
【0037】
入力画像に線分検出器を適用すると、入力画像中の複数の線分が検出され、当該複数の線分の各々について、当該線分の両端点情報が得られる。この両端点情報は、線分の始点、終点のペアであり、例えば線分l1が検出されたとすると、(x1l1,y1l1)と(x2l1,y2l1)等のように入力画像のxy座標系で表現される2点のペアである。なお、直線検出器では、入力画像中に曲線が存在する場合、当該曲線は複数の線分として検出される。
【0038】
線分検出部110は、直線検出器により検出された複数の線分を線分群とし、線分群の線分の各々について、当該線分の当該両端点情報を線分の情報として検出する。
【0039】
そして、線分検出部110は、線分群と、線分群に含まれる線分の情報とを記憶部170に格納する。
【0040】
本実施形態では、入力画像に線分検出器を適用することによって、図3に示す複数の線分が検出されたものとし、線分検出部110は、当該複数の線分を線分群とし、当該線分群に含まれる線分の情報を記憶部170に格納するものとする。
【0041】
第1線分群抽出部120は、線分群のうち、入力画像に含まれる長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を長方形の内部から複数抽出して、第1線分群とすると共に、第1線分群とは異なる複数の線分を、線分群から抽出する。
【0042】
本実施の形態では、入力画像に、長方形の鉛直方向の2辺が含まれ、第1線分群抽出部120が、鉛直方向の2辺に対する垂直方向に対応する線分、すなわち、水平線に対応する線分を長方形の内部から複数抽出する場合を例に説明する。
【0043】
具体的には、第1線分群抽出部120は、まず、記憶部170から線分群と、当該線分群に含まれる線分の情報を取得する。
【0044】
次に、第1線分群抽出部120は、線分群に含まれる線分の各々について、当該線分の情報から、当該線分の線分長及び基準方向(例えば、水平方向)に対する角度を算出する。例えば、両端点が(x,y),(x,y)から構成される線分の線分長Lは、下記式(1)により算出することができる。
【0045】
【数1】
【0046】
同様に、当該線分の角度θは、下記式(2)により算出することができる。
【0047】
【数2】
【0048】
第1線分群抽出部120は、線分群に含まれる線分のうち、所定の長さ以上の線分を『長い線分』として抽出する。この抽出処理は、例えば、線分長Lに対する閾値処理によって行う。具体的には、線分長Lが、予め定められた閾値Lth以上となる線分を長い線分とする。
【0049】
第1線分群抽出部120は、長い線分として抽出された線分のうち、平行方向に対応する線分、すなわち、水平線に近い線分を抽出する。
【0050】
この抽出処理は、例えば、線分の角度θに対する閾値処理によって行う。具体的には、長い線分として抽出された線分のうち、所定の閾値θHl及びθHhを用い、θHl<θ<θHhとなる線分を選択する。
【0051】
そして、第1線分群抽出部120は、選択された1以上の線分を第1線分群とし、第1線分群の線分の各々について、当該線分と、当該線分の角度とを対応付けて記憶部170に格納する。
【0052】
また、第1線分群抽出部120は、第1線分群以外の長い線分の各々についても、当該線分と、当該線分の角度とを対応付けて記憶部170に格納する。
【0053】
本実施例では、長い線分として図4に示す複数の線分が抽出されたものとし、そのうち、第1線分群として図5に示す線分が抽出され、当該線分を角度θと共に記憶部170に格納するものとする。併せて、第1線分群以外の2本の線分(図4内の縦線2本)についても、その角度と共に記憶部170に格納するものとする。
【0054】
アフィン変換行列算出部130は、第1線分群抽出部120により抽出された第1線分群の入力画像の基準方向に対する角度を回転角とするアフィン変換行列を算出する。
【0055】
具体的には、アフィン変換行列算出部130は、まず、記憶部170から第1線分群の角度を取得し、入力画像を回転させる回転角を算出する。
【0056】
図5の例では、第1線分群が1本の線分のみから構成されるので、その角度θを用いて、回転角を−θとする。
【0057】
また、第1線分群が複数の線分から構成される場合、アフィン変換行列算出部130は、第1線分群抽出部120により抽出された第1線分群の各線分の、入力画像の基準方向に対する角度の中央値を回転角として前記アフィン変換行列を算出する。
【0058】
具体的には、アフィン変換行列算出部130は、図6に示すように、第1線分群の各線分の角度である角度群(θ〜θ)から回転角の算出する際に、角度群の全ての角度の平均θaveを算出して、回転角を−θaveとしても良いし、角度群の全ての角度の中央値θmedを算出して、回転角を−θmedとしても良い。中央値を算出して回転角とした場合、外れ値に頑健となる、という効果がある。
【0059】
次に、アフィン変換行列算出部130は、算出した回転角からアフィン変換行列を算出する。アフィン変換行列は画像の線形変換(拡大や縮小,回転など)と平行移動を組み合わせた幾何変換を表現する2×3の行列であり、回転角を−θ、入力画像の中心座標をC,Cとした場合、アフィン変換行列Aは下記式(3)により算出することができる。
【0060】
【数3】
【0061】
このようにして算出されるアフィン変換行列Aは、図7に示すように、画像を回転角−θ分回転させることを表現する行列となる。
【0062】
そして、アフィン変換行列算出部130は、算出したアフィン変換行列Aを記憶部170に格納する。
【0063】
第2線分群抽出部140は、第1線分群抽出部120により抽出された第1線分群とは異なる複数の線分を、アフィン変換行列を用いて変換した複数の線分から、入力画像に含まれる長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を複数抽出する。本実施の形態では、入力画像に含まれる長方形の鉛直方向の2辺に対する平行方向に対応する線分、すなわち、鉛直方向に対応する線分を複数抽出する。
【0064】
具体的には、第2線分群抽出部140は、まず、記憶部170から第1線分群以外の長い線分の情報と、アフィン変換行列Aとを取得する。
【0065】
第2線分群抽出部140は、取得した全ての線分の各々について、当該線分がアフィン変換行列Aにより入力画像が回転されることを考慮した、当該線分の端点情報を算出して更新する。
【0066】
この更新処理は、端点(x,y)の更新後の座標(X,Y)を、下記式(4)及び式(5)を用いることにより算出することができる。
【0067】
【数4】
【0068】
ここで、Amnはアフィン変換行列Aのm行n列目の要素を意味する。
【0069】
第2線分群抽出部140は、更新した全ての線分の各々について、上記式(2)を用いて当該線分の入力画像の基準方向に対する角度を算出する。
【0070】
第2線分群抽出部140は、更新した全ての線分のうち、鉛直方向に対応する線分を抽出する。
【0071】
この抽出処理は、例えば、線分の角度θに対する閾値処理によって行う。具体的には、所定の閾値θVl及びθVhを用い、更新した全ての線分のうち、θVl<θ<θVhとなる線分を選択する。
【0072】
そして、第2線分群抽出部140は、選択された線分全てを第2線分群として、当該第2線分群を更新した端点座標及び角度と対応付けて記憶部170に格納する。
【0073】
例えば、第2線分群抽出部140は、長い線分として図7に示す縦線2本(水平線以外の線分)を、第2線分群として記憶部170に格納する。
【0074】
端点検出部150は、第2線分群抽出部140により抽出された複数の線分から選択される2つの線分と、入力画像の上下端及び左右端の何れか一方との4つの交点を検出する。本実施の形態では、第2線分群抽出部140により抽出された複数の線分から選択される2つの線分と、入力画像の上下端との4つの交点を検出する場合を例に説明する。
【0075】
具体的には、端点検出部150は、まず、第2線分群の情報を記憶部170から取得し、取得した第2線分群から、予め定められたルールに従って2本の線分を選択する。
【0076】
本実施形態では、記憶部170に格納された第2線分群が2本しか存在しないため、その2本が選択されることになる。
【0077】
なお、第2線分群が3本以上存在する場合、予め定められたルールに従う。当該ルールが、入力画像の横方向の両端に近い線分を選択するものである場合は、まず全ての線分について入力画像の中心から各線分への垂線の長さ(以下、垂線長)を求める。
【0078】
次に、当該垂線と線分との交点のx座標が画像中心のx座標より大きい場合は垂線長の符号としてプラスを、小さい場合はマイナスを付与する。そして、垂線長が最大の線分と最小の線分を選択することによって、画像の横方向の両端に近い線分2本を選択することができる。
【0079】
端点検出部150は、選択された2本の線分について入力画像の上端、下端と交差する4点の座標を算出する。まず、2本のうち一方の線分について直線方程式を算出し、次に画像の上端辺を示すy=0の直線との交点を算出することで上端と交差する点を、画像の下端辺を示すy=Heightの直線との交点を算出することで下端との交差する点をそれぞれ算出する。ここでHeightは入力画像の高さを示す。
【0080】
また、この処理を他方の線分についても行うことで、選択した2本の線分について画像上端、下端と交差する4つの交点の座標を算出することができる。
【0081】
そして、端点検出部150は、算出した4つの交点の座標を記憶部170に格納する。本実施形態では、図8の×印で示す4点が算出されたものとする。
【0082】
ホモグラフィ行列推定部160は、端点検出部150により検出された4つの交点と、参照画像における長方形の4つの頂点との対応から、ホモグラフィ行列を算出し、ホモグラフィ行列と、アフィン変換行列とに基づいて幾何変換行列を算出する。
【0083】
具体的には、ホモグラフィ行列推定部160は、端点検出部150により算出された4つの交点の座標を、記憶部170から取得する。
【0084】
ここで、この4つの交点の座標が(x,y),(x,y),(x,y),(x,y)であったものとする。また、対応する参照画像の4隅の座標は(x’,y’),(x’,y’),(x’,y’),(x’,y’)であったものとする。
【0085】
この対応から、ホモグラフィ行列推定部160は、ホモグラフィ行列Htmpを算出する。ホモグラフィ行列Htmpは、4点の対応点を用いて、例えば非特許文献2に記載の方法によって算出することができる。図9は、入力画像をアフィン変換行列Aにより回転させた図形を、ホモグラフィ行列Htmpにより幾何変換した例である。
【0086】
なお、端点検出部150により算出される端点は、鉛直方向に近い線分を延伸して画像の端と交わった点であり、空間中に存在する長方形を構成する4隅とは必ずしも一致しない。また、入力画像中に映っていないため長方形の4隅もしくは4辺の検出は困難である。そのため、本実施形態では、端点検出部150により算出された画像の端との交差点を4隅に対応する点とみなして、参照画像の4隅との対応からホモグラフィ行列を求める。
【0087】
このホモグラフィ行列は厳密には正確ではないため実寸計測などの用途に用いることはできないものの、透視投影歪みを軽減した可視化用途での合成画像の生成や、画像認識手段への入力としての合成画像生成といった用途等に利用することができる。
【0088】
次に、ホモグラフィ行列推定部160は、入力画像から参照画像への幾何変換行列Hを算出する。
【0089】
図10を参照して、幾何変換行列Hの算出する処理について説明する。アフィン変換行列算出部130で算出したアフィン変換行列Aは、入力画像から回転画像への幾何変換行列である。また、ホモグラフィ行列Htmpは、回転画像から参照画像への幾何変換行列である。
【0090】
したがって、入力画像から参照画像への幾何変換行列Hは、アフィン変換行列Aとホモグラフィ行列Htmpとを用いて、下記式(6)により算出することができる。
【0091】
【数5】
【0092】
このようにして求めた幾何変換行列Hは、アフィン変換行列Aとホモグラフィ行列Htmpとを結合したものであるため、入力画像から参照画像へのホモグラフィ行列と厳密には異なるものの、当該ホモグラフィ行列を近似したものとみなすことができる。
【0093】
特に、入力画像と参照画像との間で、空間中に存在する長方形を構成する4隅点もしくは4辺が入力画像中で映っていない場合や、それ以外の特徴点について参照画像との対応が得られないような場合でも、幾何変換行列Hを求めることができ、透視投影歪みを軽減した合成画像の生成や、画像認識手段への入力としての合成画像生成には有効なものである。
【0094】
そして、ホモグラフィ行列推定部160は、算出した幾何変換行列Hを記憶部170に格納する。
【0095】
記憶部170は、線分検出部110と、第1線分群抽出部120と、アフィン変換行列算出部130と、第2線分群抽出部140と、端点検出部150と、ホモグラフィ行列推定部160との各々により得られた、線分群などのデータを格納する。また、記憶部170は、第1線分群抽出部120と、アフィン変換行列算出部130と、第2線分群抽出部140と、端点検出部150と、ホモグラフィ行列推定部160と、出力部180とからの要求に応じたデータを、各部に渡す。
【0096】
出力部180は、記憶部170に格納された幾何変換行列を出力する。
【0097】
入力画像と参照画像との間で、空間中に存在する正方形もしくは長方形を構成する4隅点もしくは4辺が入力画像中で映っていない場合や、それ以外の特徴点について参照画像との対応が得られないような場合でも、幾何変換行列Hの算出が可能であるため、例えば透視投影歪みを軽減した合成画像の生成や、画像認識手段への入力としての合成画像生成を実現することできる。
【0098】
<本発明の実施の形態に係る幾何変換行列推定装置の作用>
図11は、本発明の実施の形態に係る幾何変換行列推定処理ルーチンを示すフローチャートである。
【0099】
入力部100に画像が入力されると、幾何変換行列推定装置10において、図11に示す幾何変換行列推定処理ルーチンが実行される。
【0100】
まず、ステップS100において、入力部100は、空間中に存在する長方形(正方形を含む)である平面を撮影した画像(入力画像)の入力を受け付ける。
【0101】
ステップS110において、線分検出部110は、入力画像に長方形の一部の頂点が含まれていない場合に、入力画像に含まれる複数の線分を検出し、当該複数の線分を線分群とする。
【0102】
ステップS120において、第1線分群抽出部120は、線分群のうち、入力画像に含まれる長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を長方形の内部から複数抽出して、第1線分群とすると共に、第1線分群とは異なる複数の線分を、線分群から抽出する。
【0103】
ステップS130において、アフィン変換行列算出部130は、上記ステップS120により抽出された第1線分群の入力画像の基準方向に対する角度を回転角とするアフィン変換行列を算出する。
【0104】
ステップS140において、第2線分群抽出部140は、上記ステップS120により抽出された第1線分群とは異なる複数の線分を、アフィン変換行列を用いて変換した複数の線分から、入力画像に含まれる長方形の辺に対する平行方向に対応する線分、及び垂直方向に対応する線分の何れか一方を複数抽出する。
【0105】
ステップS150において、端点検出部150は、上記ステップS140により抽出された複数の線分から選択される2つの線分と、入力画像の上下端及び左右端の何れか一方との4つの交点を検出する。
【0106】
ステップS160において、ホモグラフィ行列推定部160は、端点検出部150により検出された4つの交点と、参照画像における長方形の4つの頂点との対応から、ホモグラフィ行列を算出し、ホモグラフィ行列と、アフィン変換行列とに基づいて幾何変換行列を算出する。
【0107】
ステップS170において、出力部180は、記憶部170に格納された幾何変換行列を出力する。
【0108】
ここで、上記ステップS110における線分検出処理について説明する。図12は、線分検出処理ルーチンを示すフローチャートである。なお、入力画像に、長方形の鉛直方向の2辺が含まれ、鉛直方向の2辺に対する垂直方向に対応する線分を長方形の内部から複数抽出する場合を例に説明する。
【0109】
ステップS200において、第1線分群抽出部120は、記憶部170から線分群と、当該線分群に含まれる線分の情報を取得する。
【0110】
ステップS210において、第1線分群抽出部120は、線分群に含まれる線分の各々について、当該線分の情報から、当該線分の線分長及び基準方向(例えば、水平方向)に対する角度を算出する。
【0111】
ステップS220において、第1線分群抽出部120は、線分群に含まれる線分のうち、所定の長さ以上の線分を長い線分として抽出する。
【0112】
ステップS230において、第1線分群抽出部120は、長い線分として抽出された線分のうち、鉛直方向の2辺に対する垂直方向に対応する線分、すなわち、水平線に近い線分を抽出する。
【0113】
ステップS240において、第1線分群抽出部120は、抽出された1以上の線分を第1線分群とし、第1線分群の線分の各々について、当該線分と、当該線分の角度とを対応付けて記憶部170に格納する。
【0114】
ステップS250において、第1線分群抽出部120は、第1線分群以外の長い線分の各々についても、当該線分と、当該線分の角度とを対応付けて記憶部170に格納する。
【0115】
上記ステップS120における第2線分群抽出処理について説明する。図13は、第2線分群抽出処理ルーチンを示すフローチャートである。なお、入力画像に、長方形の鉛直方向の2辺が含まれ、鉛直方向に対応する線分を複数抽出する場合を例に説明する。
【0116】
ステップS300において、第2線分群抽出部140は、記憶部170から第1線分群以外の長い線分の情報と、アフィン変換行列とを取得する。
【0117】
ステップS310において、第2線分群抽出部140は、取得した全ての線分の各々について、当該線分がアフィン変換行列Aにより入力画像が回転されることを考慮した、当該線分の端点情報を算出して更新する。
【0118】
ステップS320において、第2線分群抽出部140は、更新した全ての線分の各々について、当該線分の入力画像の基準方向に対する角度を算出する。
【0119】
ステップS330において、第2線分群抽出部140は、更新した全ての線分のうち、鉛直方向に対応する線分を抽出する。
【0120】
ステップS340において、第2線分群抽出部140は、選択された線分全てを第2線分群として、当該第2線分群を更新した端点座標及び角度と対応付けて記憶部170に格納する。
【0121】
上記ステップS150における端点検出処理について説明する。図14は、端点検出処理ルーチンを示すフローチャートである。なお、第2線分群から選択された2つの線分と、入力画像の上下端との4つの交点を検出する場合を例に説明する。
【0122】
ステップS400において、端点検出部150は、第2線分群の情報を記憶部170から取得する。
【0123】
ステップS410において、端点検出部150は、第2線分群から、予め定められたルールに従って2本の線分を選択する。
【0124】
ステップS420において、端点検出部150は、選択された2本の線分について入力画像の上端、下端と交差する4点の座標を算出する。
【0125】
ステップS430において、端点検出部150は、算出した4つの交点の座標を記憶部170に格納する。
【0126】
以上説明したように、本発明の実施形態に係る幾何変換行列推定装置によれば、入力画像に含まれる複数の線分を検出し、複数の線分を線分群とし、入力画像に含まれる長方形の辺に対する平行及び垂直方向に対応する線分の何れか一方を長方形の内部から抽出し、当該線分群から抽出された線分とは異なる複数の線分を、抽出した線分の入力画像の基準方向に対する角度を回転角とするアフィン変換行列を用いて変換した複数の線分から、入力画像に含まれる長方形の辺に対する平行及び垂直方向に対応する線分の何れか一方を複数抽出した複数の線分から選択される2つの線分と、入力画像の左右端または上下端との4つの交点を検出し、当該4つの交点と、参照画像における長方形の4つの頂点との対応から算出したホモグラフィ行列と、アフィン変換行列とに基づいて幾何変換行列を算出することにより、参照画像との対応が得られないような場合でも、平面領域を表す参照画像との間の幾何変換行列を精度よく推定することができる。
【0127】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【0128】
上述の実施形態では図2(B)が入力画像である場合を例として説明したことにより、入力画像に、長方形の鉛直方向の2辺が含まれ、第1線分群抽出部120が、鉛直方向の2辺に対する垂直方向に対応する線分、すなわち、水平線に対応する線分を長方形の内部から複数抽出し、第2線分群抽出部140が、入力画像に含まれる長方形の鉛直方向の2辺に対する平行方向に対応する線分、すなわち、鉛直方向に対応する線分を複数抽出し、端点検出部150が、選択された2つの線分と、入力画像の上下端との4つの交点を検出する場合を例に説明した(図15のA−a参照)。しかし、これに限定されるものではない。
【0129】
例えば、図15のB−aのケースのように、入力画像に、長方形の水平方向の2辺が含まれ、長方形の内部に、鉛直方向に対応する線分が含まれていてもよい。この場合には、第1線分群抽出部120が、水平方向の2辺に対する垂直方向に対応する線分、すなわち、鉛直線に対応する線分を長方形の内部から複数抽出し、第2線分群抽出部140が、長方形の水平方向の辺に対する平行方向に対応する線分、すなわち、水平方向に対応する線分を複数抽出し、端点検出部150は、第2線分群抽出部140により抽出された複数の線分から選択される2つの線分と、入力画像の左右端との4つの交点を検出することにより、幾何変換行列を推定することができる。
【0130】
また、図15のA−bのケースのように、入力画像に、長方形の鉛直方向の2辺が含まれ、長方形の内部に、鉛直方向に対応する線分が含まれていてもよい。この場合には、第1線分群抽出部120が、鉛直方向の2辺に対する平行方向に対応する線分、すなわち、鉛直線に対応する線分を長方形の内部から複数抽出し、第2線分群抽出部140が、長方形の鉛直方向の辺に対する平行方向に対応する線分、すなわち、鉛直方向に対応する線分を複数抽出し、端点検出部150は、第2線分群抽出部140により抽出された複数の線分から選択される2つの線分と、入力画像の上下端との4つの交点を検出することにより、幾何変換行列を推定することができる。
【0131】
また、図15のB−bのケースのように、入力画像に、長方形の水平方向の2辺が含まれ、長方形の内部に、水平方向に対応する線分が含まれていてもよい。この場合には、第1線分群抽出部120が、水平方向の2辺に対する平行方向に対応する線分、すなわち、水平線に対応する線分を長方形の内部から複数抽出し、第2線分群抽出部140が、長方形の水平方向の辺に対する平行方向に対応する線分、すなわち、水平方向に対応する線分を複数抽出し、端点検出部150は、第2線分群抽出部140により抽出された複数の線分から選択される2つの線分と、入力画像の左右端との4つの交点を検出することにより、幾何変換行列を推定することができる。
【0132】
なお、入力画像が、上記図15のどのケースに該当するかは予め求められているものとする。あるいは、入力画像を分析して自動的にどのケースに該当するか判別するようにしてもよい。また、この場合、判別されたケースに応じた処理が適用されることとなる。
【0133】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【0134】
10 幾何変換行列推定装置
100 入力部
110 線分検出部
120 第1線分群抽出部
130 アフィン変換行列算出部
140 第2線分群抽出部
150 端点検出部
160 ホモグラフィ行列推定部
170 記憶部
180 出力部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15