特許 6749519 多角形検出装置、多角形検出方法、及び多角形検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6749519

(24)【登録日】2020年8月13日

(45)【発行日】2020年9月2日

(54)【発明の名称】多角形検出装置、多角形検出方法、及び多角形検出プログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20200824BHJP

【ＦＩ】

   G06T7/60 200D

【請求項の数】16

【全頁数】23

(21)【出願番号】特願2020-508415(P2020-508415)

(86)(22)【出願日】2019年4月10日

(86)【国際出願番号】JP2019015617

【審査請求日】2020年2月13日

【早期審査対象出願】

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天株式会社

(74)【代理人】

【識別番号】110000958

【氏名又は名称】特許業務法人 インテクト国際特許事務所

(74)【代理人】

【識別番号】100120189

【弁理士】

【氏名又は名称】奥 和幸

(74)【代理人】

【識別番号】100135518

【弁理士】

【氏名又は名称】青木 隆

(72)【発明者】

【氏名】蔡 永男

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２０１７−１６２２１８（ＪＰ，Ａ）

【文献】 特開２００８−１１７２２８（ＪＰ，Ａ）

【文献】 特開２０１０−０６２７２２（ＪＰ，Ａ）

【文献】 特開２０１２−１１４６６５（ＪＰ，Ａ）

【文献】 特開２０１２−２２１１１８（ＪＰ，Ａ）

【文献】 特開２０１６−０６２１２３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１８／０２１１１０７（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｋ ９／００ − ９／８２

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ９／４０

(57)【特許請求の範囲】

【請求項1】

所定対象の外観に含まれる基準多角形の辺の長さの比を取得する比取得手段と、
前記所定対象の写真画像を取得する画像取得手段と、
前記取得された写真画像から線分を検出する検出手段と、
前記検出された線分を基に少なくとも一の多角形を形成する形成手段であって、前記多角形の形成に用いられる線分を含む直線同士が交差する点を頂点として有する前記多角形を形成する形成手段と、
前記形成された多角形で囲まれる領域と、前記多角形の形成に用いられる線分の全てを含む多角形で囲まれる領域との重複度合いに基づいて、前記形成された多角形の辺の長さの比と、前記取得された基準多角形の辺の長さの比との間の類似度合いを示す値に重み付けし、該重み付けされた値に基づいて、前記形成された多角形から、前記基準多角形に対応する多角形を特定する特定手段と、
を備えることを特徴とする多角形検出装置。

【請求項2】

前記形成手段は、前記検出された線分のうち相対的に長い線分から、前記多角形の形成に用いる線分を特定することを特徴とする請求項１に記載の多角形検出装置。

【請求項3】

前記検出手段は、前記検出された線分のうち少なくとも幾つかの線分を、前記基準多角形を構成する辺間の関係に基づいて定められた複数のグループに分け、
前記形成手段は、前記複数のグループのそれぞれから前記多角形の形成に用いられる線分を特定することを特徴とする請求項１又は２に記載の多角形検出装置。

【請求項4】

前記検出手段は、前記検出された線分のうち少なくとも幾つかの線分を、該線分の角度に基づいて複数のグループに分け、
前記形成手段は、前記複数のグループのそれぞれから前記多角形の形成に用いられる線分を特定することを特徴とする請求項１乃至３の何れか一項に記載の多角形検出装置。

【請求項5】

前記基準多角形及び前記形成される多角形は四角形であり、
前記検出手段は、前記少なくとも幾つかの線分を、前記少なくとも幾つかの線分のうち所定線分との間の角度が所定値よりも大きい線分のグループと、前記所定線分との間の角度が前記所定値以下である線分のグループとに分けることを特徴とする請求項４に記載の
多角形検出装置。

【請求項6】

前記特定手段は、前記形成された多角形のうち、該多角形の構成要素が所定条件を満たす多角形から、前記対応する多角形を特定することを特徴とする請求項１乃至５の何れか一項に記載の多角形検出装置。

【請求項7】

前記所定条件は、前記多角形の全頂点が前記写真画像内に位置することを特徴とする請求項６に記載の多角形検出装置。

【請求項8】

前記所定条件は、前記多角形を構成する各辺のそれぞれの少なくとも一部が、該多角形の形成に用いられた線分のうち何れかの線分の少なくとも一部と重複することを特徴とする請求項６又は７に記載の多角形検出装置。

【請求項9】

前記特定手段は、前記形成された多角形の辺と、前記多角形の形成に用いられる線分との重複度合いに基づいて、前記値を重み付けすることを特徴とする請求項１乃至８の何れか一項に記載の多角形検出装置。

【請求項10】

前記写真画像内において、前記特定された多角形の辺で囲まれる領域の画像に対して所定処理を実行する処理手段を更に備えることを特徴とする請求項１乃至９の何れか一項に記載の多角形検出装置。

【請求項11】

前記処理手段は、前記特定された多角形の辺で囲まれる領域の画像を、該領域の形状が前記基準多角形と相似するように変換することを特徴とする請求項１０に記載の多角形検出装置。

【請求項12】

前記処理手段は、前記特定された多角形の辺で囲まれる領域の画像から、所定種類の情報を認識することを特徴とする請求項１０又は１１に記載の多角形検出装置。

【請求項13】

前記所定種類の情報は文字であることを特徴とする請求項１２に記載の多角形検出装置。

【請求項14】

コンピュータにより実行される多角形検出方法において、
所定対象の外観に含まれる基準多角形の辺の長さの比を取得する比取得ステップと、
前記所定対象の写真画像を取得する画像取得ステップと、
前記取得された写真画像から線分を検出する検出ステップと、
前記検出された線分を基に少なくとも一の多角形を形成する形成ステップであって、前記多角形の形成に用いられる線分を含む直線同士が交差する点を頂点として有する前記多角形を形成する形成ステップと、
前記形成された多角形で囲まれる領域と、前記多角形の形成に用いられる線分の全てを含む多角形で囲まれる領域との重複度合いに基づいて、前記形成された多角形の辺の長さの比と、前記取得された基準多角形の辺の長さの比との間の類似度合いを示す値に重み付けし、該重み付けされた値に基づいて、前記形成された多角形から、前記基準多角形に対応する多角形を特定する特定ステップと、
を含むことを特徴とする多角形検出方法。

【請求項15】

前記画像取得ステップは、前記写真画像をメモリにロードし、
前記検出ステップは、前記メモリにロードされた前記写真画像から線分を検出することを特徴とする請求項１４に記載の多角形検出方法。

【請求項16】

コンピュータを、
所定対象の外観に含まれる基準多角形の辺の長さの比を取得する比取得手段と、
前記所定対象の写真画像を取得する画像取得手段と、
前記取得された写真画像から線分を検出する検出手段と、
前記検出された線分を基に少なくとも一の多角形を形成する形成手段であって、前記多角形の形成に用いられる線分を含む直線同士が交差する点を頂点として有する前記多角形を形成する形成手段と、
前記形成された多角形で囲まれる領域と、前記多角形の形成に用いられる線分の全てを含む多角形で囲まれる領域との重複度合いに基づいて、前記形成された多角形の辺の長さの比と、前記取得された基準多角形の辺の長さの比との間の類似度合いを示す値に重み付けし、該重み付けされた値に基づいて、前記形成された多角形から、前記基準多角形に対応する多角形を特定する特定手段と、
として機能させることを特徴とする多角形検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、写真画像から所定の多角形を検出する方法に関する。

【背景技術】

【0002】

従来、画像から多角形等の図形を検出する技術が知られている。例えば、特許文献１には、画像中に含まれる矩形を検出する方法が開示されている。具体的に、この方法は、画像を複数の投影軸に投影し、それらの投影像から特徴点を検出し、特徴点から矩形の頂点の候補を抽出する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開昭６２−２８２３８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、所定の対象を撮影して得られた画像から、所定の対象又はその対象の所定箇所を特定したい場合がある。この場合においては、先ず、その対象又はその箇所の形状である基準の多角形に近い多角形を画像から検出することが考えられる。しかしながら、画像から特徴点を抽出する従来の方法では、似たような特徴点が画像中に存在する場合に、候補となる多角形の頂点の組み合わせが膨大となる。そのため、基準多角形に近い多角形を検出することが困難な場合がある。

【0005】

本発明は、以上の点に鑑みてなされたものであり、その課題の一例は、画像から基準の多角形に近い多角形を精度良く検出する多角形検出装置、多角形検出方法、及び多角形検出プログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明の一の態様は、 所定対象の外観に含まれる基準多角形の辺の長さの比を取得する比取得手段と、前記所定対象の写真画像を取得する画像取得手段と、前記取得された写真画像から線分を検出する検出手段と、前記検出された線分を基に少なくとも一の多角形を形成する形成手段であって、前記多角形の形成に用いられる線分を含む直線同士が交差する点を頂点として有する前記多角形を形成する形成手段と、前記形成された多角形で囲まれる領域と、前記多角形の形成に用いられる線分の全てを含む多角形で囲まれる領域との重複度合いに基づいて、前記形成された多角形の辺の長さの比と、前記取得された基準多角形の辺の長さの比との間の類似度合いを示す値に重み付けし、該重み付けされた値に基づいて、前記形成された多角形から、前記基準多角形に対応する多角形を特定する特定手段と、を備えることを特徴とする多角形検出装置である。

【0007】

この態様によれば、写真画像から検出された線分を基に形成された多角形を構成する全ての辺間における該辺の長さの比と、基準多角形を構成する全ての辺間における該辺の長さの比との類似度合いに基づいて、基準多角形に対応する多角形が特定される。形成された多角形の中で、基準の多角形に近い多角形は、基準の多角形との間で辺の長さの比の類似度合いが相対的に高い。従って、画像から基準の多角形に近い多角形を精度良く検出することができる。
また、辺の長さの比の類似度合いが重み付けされることによって、所定対象に対する撮影角度に応じて基準多角形に対応する多角形の辺の長さの比が変化しても、基準の多角形に対応する多角形の検出精度を高めることができる。
また、形成された多角形と、形成に用いられる線分の全てを含む多角形との重複度合いに基づいて、類似度合いを示す値が重み付けされる。この重複度合いが高いほど、形成された多角形が所定対象の外観において実存する蓋然性が高い。従って、実存する蓋然性が高い多角形の重みを大きくすることができる。

【0008】

本発明の別の態様は、前記形成手段は、前記検出された線分のうち相対的に長い線分から、前記多角形の形成に用いる線分を特定することを特徴とする多角形検出装置である。

【0009】

この態様によれば、写真画像内において、特定したい領域が或る程度以上大きく写っている場合に、基準の多角形に対応する多角形を構成する蓋然性が高い線分を用いて、多角形を形成することができる。

【0010】

本発明の更に別の態様は、前記検出手段は、前記検出された線分のうち少なくとも幾つかの線分を、前記基準多角形を構成する辺間の関係に基づいて定められた複数のグループに分け、前記形成手段は、前記複数のグループのそれぞれから前記多角形の形成に用いられる線分を特定することを特徴とする多角形検出装置である。

【0011】

この態様によれば、基準多角形を構成する辺間の関係に基づいて定められた複数のグループそれぞれに含まれる線分を用いて多角形が形成される。従って、基準多角形を構成する辺に対応する線分を用いて多角形を形成することができる。また、多角形の形成に用いられる線分の組み合わせの数を削減することができるので、対応する多角形の検出速度を向上させることができる。

【0012】

本発明の更に別の態様は、前記検出手段は、前記検出された線分のうち少なくとも幾つかの線分を、該線分の角度に基づいて複数のグループに分け、前記形成手段は、前記複数のグループのそれぞれから前記多角形の形成に用いられる線分を特定することを特徴とする多角形検出装置である。

【0013】

この態様によれば、基準多角形を構成する辺間の角度に基づいて複数のグループを定めることができる。従って、基準多角形を構成する辺に対応する線分を用いて多角形を形成することができる。

【0014】

本発明の更に別の態様は、前記基準多角形及び前記形成される多角形は四角形であり、前記検出手段は、前記少なくとも幾つかの線分を、前記少なくとも幾つかの線分のうち所定線分との間の角度が所定値よりも大きい線分のグループと、前記所定線分との間の角度が前記所定値以下である線分のグループとに分けることを特徴とする多角形検出装置である。

【0015】

この態様によれば、２個のグループそれぞれは、他方のグループの線分と比較して相対的に角度が近い線分を含む。四角形は２組の対辺を有し、各組の対辺の角度は、他方の組の対辺の角度と比較して相対的に近い。従って、適切な四角形を形成することができる。

【0016】

本発明の更に別の態様は、前記特定手段は、前記形成された多角形のうち、該多角形の構成要素が所定条件を満たす多角形から、前記対応する多角形を特定することを特徴とする多角形検出装置である。

【0017】

本発明の更に別の態様は、前記所定条件は、前記多角形の全頂点が前記写真画像内に位置することを特徴とする多角形検出装置である。

【0018】

この態様によれば、多角形の辺で囲まれる領域の全部が写真画像に含まれる多角形から、基準の多角形に対応する多角形が特定される。所定対象において基準の多角形の辺で囲まれる領域の全体が撮影範囲に含まれるように所定対象が撮影された場合、基準の多角形に対応する多角形の検出精度を高めることができる。

【0019】

本発明の更に別の態様は、前記所定条件は、前記多角形を構成する各辺のそれぞれの少なくとも一部が、該多角形の形成に用いられた線分のうち何れかの線分の少なくとも一部と重複することを特徴とする多角形検出装置である。

【0020】

この態様によれば、多角形の形成に用いられた各線分が、その多角形の何れかの辺の少なくとも一部を構成する多角形から、基準の多角形に対応する多角形が特定される。従って、所定対象の外観において実存する多角形に対応する蓋然性が高い多角形を、基準の多角形に対応する多角形として特定することができる。

【0025】

本発明の更に別の態様は、前記形成手段は、前記多角形の形成に用いられる線分を含む直線同士が交差する点を頂点として有する前記多角形を形成し、前記特定手段は、前記形成された多角形の辺と、前記多角形の形成に用いられる線分との重複度合いに基づいて、前記値を重み付けすることを特徴とする多角形検出装置である。

【0026】

この態様によれば、形成された多角形の辺と、多角形の形成に用いられる線分との重複度合いに基づいて、類似度合いを示す値が重み付けされる。この重複度合いが高いほど、形成された多角形を構成する辺が所定対象の外観において実存する蓋然性が高い。従って、実存する蓋然性が辺で構成される多角形の重みを大きくすることができる。

【0027】

本発明の更に別の態様は、前記写真画像内において、前記特定された多角形の辺で囲まれる領域の画像に対して所定処理を実行する処理手段を更に備えることを特徴とする多角形検出装置である。

【0028】

この態様によれば、所定対象において特定したい領域の画像に対して処理を施すことができる。

【0029】

本発明の更に別の態様は、前記処理手段は、前記特定された多角形の辺で囲まれる領域の画像を、該領域の形状が前記基準多角形と相似するように変換することを特徴とする多角形検出装置である。

【0030】

この態様によれば、所定対象において特定したい領域の画像の形状を、その領域の本来の形状に戻すことができる。

【0031】

本発明の更に別の態様は、前記処理手段は、前記特定された多角形の辺で囲まれる領域の画像から、所定種類の情報を認識することを特徴とする多角形検出装置である。

【0032】

この態様によれば、所定対象において特定したい領域内の情報を、写真画像から認識することができる。

【0033】

本発明の更に別の態様は、前記所定種類の情報は文字であることを特徴とする多角形検出装置である。

【0034】

この態様によれば、所定対象において特定したい領域内の文字を、写真画像から認識することができる。

【0035】

本発明の更に別の態様は、コンピュータにより実行される多角形検出方法において、所定対象の外観に含まれる基準多角形の辺の長さの比を取得する比取得ステップと、前記所定対象の写真画像を取得する画像取得ステップと、前記取得された写真画像から線分を検出する検出ステップと、前記検出された線分を基に少なくとも一の多角形を形成する形成ステップであって、前記多角形の形成に用いられる線分を含む直線同士が交差する点を頂点として有する前記多角形を形成する形成ステップと、前記形成された多角形で囲まれる領域と、前記多角形の形成に用いられる線分の全てを含む多角形で囲まれる領域との重複度合いに基づいて、前記形成された多角形の辺の長さの比と、前記取得された基準多角形の辺の長さの比との間の類似度合いを示す値に重み付けし、該重み付けされた値に基づいて、前記形成された多角形から、前記基準多角形に対応する多角形を特定する特定ステップと、を含むことを特徴とする。

【0036】

本発明の更に別の態様は、前記画像取得ステップは、前記写真画像をメモリにロードし、前記検出ステップは、前記メモリにロードされた前記写真画像から線分を検出することを特徴とする多角形検出方法である。

【0037】

本発明の更に別の態様は、コンピュータを、所定対象の外観に含まれる基準多角形の辺の長さの比を取得する比取得手段と、前記所定対象の写真画像を取得する画像取得手段と、前記取得された写真画像から線分を検出する検出手段と、前記検出された線分を基に少なくとも一の多角形を形成する形成手段であって、前記多角形の形成に用いられる線分を含む直線同士が交差する点を頂点として有する前記多角形を形成する形成手段と、前記形成された多角形で囲まれる領域と、前記多角形の形成に用いられる線分の全てを含む多角形で囲まれる領域との重複度合いに基づいて、前記形成された多角形の辺の長さの比と、前記取得された基準多角形の辺の長さの比との間の類似度合いを示す値に重み付けし、該重み付けされた値に基づいて、前記形成された多角形から、前記基準多角形に対応する多角形を特定する特定手段と、として機能させることを特徴とする多角形検出プログラムである。

【発明の効果】

【0038】

本発明によれば、画像から基準の多角形に近い多角形を精度良く検出することができる。

【図面の簡単な説明】

【0039】

【図1】一実施形態に係る多角形検出装置１の概要構成の一例を示すブロック図である。

【図2】一実施形態に係る多角形検出装置１のシステム制御部１１の機能ブロックの一例を示す図である。

【図3】運転免許証２００の裏面及び備考欄２１０の一例を示す図である。

【図4】写真画像の一例を示す図である。

【図5A】図４に示す写真画像から検出された線分の例を示す図である。

【図5B】図５Ａに示す線分のうち、相対的に長い線分の例を示す図である。

【図6】線分のグループ分けの例を示す図である。

【図7】線分の組み合わせの例を示す図である。

【図8】形成された仮定多角形の例を示す図である。

【図9】仮定多角形の頂点の判定例を示す図である。

【図10】仮定多角形の辺の判定例を示す図である。

【図11】仮定多角形の辺の長さの比の特定例を示す図である。

【図12】仮定多角形と全線分包含多角形との重複度合いの例を示す図である。

【図13】辺と線分との重複度合いの例を示す図である。

【図14】辺と線分との重複度合いの例を示す図である。

【図15】対応多角形の辺で囲まれる領域の画像の処理例を示す図である。

【図16】多角形検出装置１のシステム制御部１１による多角形検出処理の一例を示すフローチャートである。

【図17】一実施例に係るシステムＳの概要構成の一例を示す図である。

【発明を実施するための形態】

【0040】

以下、図面を参照して本発明の実施形態について詳細に説明する。以下に説明する実施形態においては、所定対象が写る写真画像から、所定対象の外観に含まれる基準多角形に形状が近い又は対応する多角形を検出する多角形検出装置に対して本発明を適用した場合の実施形態である。

【0041】

所定対象は、視覚を通じて認識可能な物体等である。所定対象の種類は特に限定されるものではない。所定対象の例として、各種カード、紙、モニタ等の電化製品、携帯電話機等の端末装置等、様々なものが挙げられる。

【0042】

所定対象の外観に含まれる基準多角形は、例えば、所定対象から視覚を通じて認識可能な形状であって、所定対象において、写真画像から特定したい領域の本来の形状である。特に凸多角形に対して効果が高い。特定したい領域の種類は特に限定されるものではない。また、基準多角形を構成する辺の数は特に限定されるものではない。基準多角形は、例えば、所定対象自体の形状であってもよいし、所定対象の一面の形状であってもよいし、所定対象の一面内の一部の領域の形状であってもよい。一部の領域の外枠は、例えば面上に印刷され、刻まれ、描かれ、又は記載されている。

【0043】

基準多角形に形状が近い又は対応する多角形を、対応多角形という。対応多角形は、本来は基準多角形である、写真画像から特定したい領域の画像上での形状である。所定対象を撮影することにより得られた写真画像には、基準多角形が対応多角形として含まれる。所定対象に対する撮影角度によって、写真画像内の対応多角形は、本来の基準多角形の形状から或る程度相違する場合がある。従って、対応多角形は基準多角形と相似したり相似しなかったりする。

【0044】

本実施形態においては、カード型の身分証明書上の特定領域の外枠を基準多角形とした場合について主として説明する。

【0045】

［１．多角形検出装置の構成］
先ず、多角形検出装置１の構成について、図１を用いて説明する。図１は、本実施形態に係る多角形検出装置１の概要構成の一例を示すブロック図である。図１に示すように、多角形検出装置１は、システム制御部１１と、システムバス１２と、入出力インターフェース１３と、記憶部１４と、通信部１５と、入力部１６と、表示部１７とを備えている。システム制御部１１と入出力インターフェース１３とは、システムバス１２を介して接続されている。多角形検出装置１は、例えばサーバ装置であってもよいし、パーソナルコンピュータであってもよい。

【0046】

システム制御部１１は、ＣＰＵ（Central Processing Unit）１１ａ、ＲＯＭ（Read Only Memory）１１ｂ、ＲＡＭ（Random Access Memory）１１ｃ等により構成されている。

【0047】

入出力インターフェース１３は、記憶部１４〜表示部１７とシステム制御部１１との間のインターフェース処理を行う。

【0048】

記憶部１４は、例えば、ハードディスクドライブ又はソリッドステートドライブ等により構成されている。記憶部１４には、例えば、所定対象や基準多角形に関する情報が記憶されている。この情報の例として、所定対象の画像がある。この画像は、基準多角形として、特定したい領域の形状を正確に把握することが可能な画像（例えばスキャナーによって得られた画像）である。また、記憶される情報の例として、基準多角形を構成する辺の長さの比等が挙げられる。記憶部１４には、更にオペレーティングシステム、多角形検出用のプログラム等が記憶されている。各種プログラムは、例えば、所定のコンピュータからネットワークを介して取得されるようにしてもよいし、光ディスク、メモリカード、磁気テープ等の記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。

【0049】

通信部１５は、例えばネットワークインターフェースコントローラ等により構成されている。通信部１５は、インターネット、ＬＡＮ（Local Area Network）等の所定のネットワークを介して他のコンピュータと接続し、そのコンピュータとの通信状態を制御する。

【0050】

入力部１６は、オペレータによる操作を受け付け、操作内容に対応する信号をシステム制御部１１に出力する。入力部１６の例として、キーボード、マウス、タッチパネル等が挙げられる。

【0051】

表示部１７は、例えば、グラフィックコントローラ及びディスプレイ等により構成されている。表示部１７は、システム制御部１１の制御により、画像、文字等の情報を表示する。ディスプレイのパネルの例として、液晶パネル、有機ＥＬ（Light Emitting）パネル等が挙げられる。

【0052】

［２．多角形検出装置のシステム制御部の機能概要］
次に、図２乃至図１４を用いて、システム制御部１１の機能概要について説明する。図２は、本実施形態に係る多角形検出装置１のシステム制御部１１の機能ブロックの一例を示す図である。システム制御部１１は、ＣＰＵ１１ａが、記憶部１４に記憶されているプログラムに含まれる各種コード等を読み出し実行することにより、図２に示すように、基準比率取得部１１１、写真画像取得部１１２、線分検出部１１３、多角形形成部１１４，対応多角形特定部１１５、画像処理部１１６等として機能する。

【0053】

基準比率取得部１１１は、所定対象の外観に含まれる基準多角形の辺の長さの比を取得する。例えば、基準比率取得部１１１は、記憶部１４に予め記憶された、辺の長さの比を示す情報を取得してもよい。或いは、オペレータが入力部１６を用いて辺の長さの比を入力してもよい。或いは、基準比率取得部１１１は、ネットワークを介して他のコンピュータから、辺の長さの比を示す情報を取得してもよい。或いは、基準比率取得部１１１は、基準多角形として、特定したい領域の形状を正確に把握可能な画像を解析して、所定対象から様々な領域を特定してもよい。基準比率取得部１１１は、特定された領域のうち、オペレータにより指定された領域の外枠を基準多角形として決定してもよい。基準比率取得部１１１は、決定した基準多角形から、自動的に辺の長さの比を計算してもよい。

【0054】

図３は、運転免許証２００の裏面及び備考欄２１０の一例を示す図である。運転免許証２００は、所定対象の一例である。運転免許証２００の裏面において、備考欄２１０の形状が基準多角形である。この基準多角形は矩形である。基準比率取得部１１１は、備考欄２１０の形状である基準多角形について、例えば長辺の長さＲＬ１と、短辺の長さＲＬ２と、長辺の長さＲＬ３と、及び短辺の長さＲＬ４との比を取得する。

【0055】

写真画像取得部１１２は、所定対象の写真画像を取得する。この写真画像には、検出したい対応多角形が含まれているものと推定される。写真画像取得部１１２は、例えばネットワークを介して他のコンピュータから写真画像を取得してもよい。或いは、多角形検出装置１はデジタルカメラを備え、写真画像取得部１１２は、このデジタルカメラから写真画像を取得してもよい。或いは、写真画像取得部１１２は、ドライブ装置を介して記録媒体から写真画像を取得してもよい。写真画像取得部１１２は、取得した写真画像を、ＲＡＭ１１ｃ等のメモリにロードする。

【0056】

図４は、写真画像の一例を示す図である。図４に示す写真画像は、例えば或るユーザの運転免許証２００を撮影して得られた画像である。この写真画像において、所定対象である運転免許証２００は、撮影ポイントから見て奥行き方向に傾いている。そのため、写真内における備考欄２１０の形状は、図３に示す備考欄２１０の形状とは厳密には相似しない。また、備考欄２１０には、ユーザの新しい住所が記されている。

【0057】

線分検出部１１３は、写真画像取得部１１２により取得された写真画像から線分を検出する。例えば、線分検出部１１３は、エッジ検出を用いて線分を検出してもよい。図５Ａは、図４に示す写真画像から検出された線分の例を示す図である。写真画像において、所定対象が大きく写っている場合も小さく写っている場合もある。そこで、線分検出部１１３は、太さに関係なく線分を検出する。それゆえ、写真画像から人間の視覚では厚みがあると認識される線分について、写真画像取得部１１２は二重線を検出する場合がある。また、人間の視覚では一本に見える線分について、写真画像取得部１１２は連なった複数の線分を検出する場合がある。これらの程度の検出誤差は特に問題はない。

【0058】

線分検出部１１３は、検出された線分のうち相対的に長い線分のみを、多角形の形成に用いられる線分の候補に決定してもよい。例えば、特定したい領域がはっきり見えるように所定対象が撮影した場合、写真画像内において、特定したい領域が或る程度以上大きく写る。従って、その領域の外枠は、写真画像内で相対的に長い線分で構成されている蓋然性が高い。また、文字を構成する線や細かい模様を構成する線を、多角形の形成に用いられる線分から除外することができる。相対的に短い線分を除外することによって、対応多角形の検出精度を高めることができる。また、多角形の形成元の候補の線分を削減することができるので、処理速度を向上させることができる。線分検出部１１３は、例えば、検出された線分のうち最長の線分を特定してもよい。そして、線分検出部１１３は、最長の線分の長さの所定割合未満の長さを有する線分を、多角形の形成に用いられる線分から除外してもよい。図５Ｂは、図５Ａに示す線分のうち、相対的に長い線分の例を示す図である。

【0059】

線分検出部１１３は、検出された線分のうち少なくとも幾つかの線分を、基準多角形を構成する辺間の関係に基づいて定められた複数のグループに分けてもよい。基準多角形を構成する各辺が、複数のグループのうち何れかのグループに分類されるように、複数のグループが定められる。基準多角形を構成する辺間の関係は、例えば辺間でなす角度であってもよい。そこで、線分検出部１１３は、検出された線分の角度に基づいて、検出された線分のうち少なくとも幾つかの線分を複数のグループに分けてもよい。

【0060】

例えば、基準多角形が四角形の場合、線分検出部１１３は、少なくとも幾つかの線分を、それらの線分のうち所定線分との間の角度が所定値よりも大きい線分のグループと、所定線分との間の角度が所定値以下である線分のグループとに分けてもよい。これにより、２個のグループそれぞれは、他方のグループの線分と比較して相対的に角度が近い線分を含む。四角形は２組の対辺を有し、各組の対辺の角度は、他方の組の対辺の角度と比較して相対的に近い。凸多角形はこの傾向が強い。特に矩形の場合、対辺の角度は同一であり、頂点で接続される辺間の角度は９０度である。そのため、角度と所定値との比較を用いることで、線分を適切に分類することができる。所定線分は、例えば最長の線分であってもよい。所定値は、例えば４５度であってもよい。図６は、線分のグループ分けの例を示す図である。図６において、グループ３１０は、図５Ａに示す線分のうち最長の線分との間でなす角度が４５度未満である線分のグループである。グループ３２０は、最長の線分との間でなす角度が４５度以上である線分のグループである。少なくとも幾つかの線分は、例えば、前述したように、検出された線分のうち相対的に長い線分である。

【0061】

多角形形成部１１４は、線分検出部１１３により検出された線分を基に少なくとも一の多角形を形成する。形成される多角形を、仮定多角形という。例えば、多角形形成部１１４は、検出された線分の中から、基準多角形の辺の数に相当する数の線分を特定して、特定された線分で構成される組み合わせを生成する。生成される組み合わせの数は特に限定されない。多角形形成部１１４は、例えばランダムに線分を特定して、所定数の組み合わせを生成してもよい。多角形形成部１１４は、線分検出部１１３により検出された線分のうち、相対的に長い線分から、仮定多角形の形成に用いられる線分を特定してもよい。

【0062】

線分検出部１１３により線分が複数のグループに分けられた場合、多角形形成部１１４は、それら複数のグループのそれぞれから仮定多角形の形成に用いられる線分を特定してもよい。これにより、基準多角形を構成する辺に対応する線分を用いて仮定多角形を形成することができる。また、複数のグループからそれぞれ線分を選択して多角形を形成することで、多角形の形成に用いられる線分の組み合わせの数が削減されるので、仮定多角形形成の処理速度を向上させることができる。例えば、基準多角形が四角形の場合、前述したように線分は２個のグループに分けられる。線分検出部１１３は、各グループから２個の線分を特定し、４個の線分で構成される組み合わせを生成する。図７は、線分の組み合わせの例を示す図である。例えば、図７に示すように、線分の組み合わせ４１０、４２０、４３０等が生成される。

【0063】

組み合わせを生成すると、多角形形成部１１４は、組み合わせから仮定多角形を生成する。例えば、多角形形成部１１４は、組み合わせを構成する各線分を包含する直線を計算する。多角形形成部１１４は、互いに異なるグループから特定された線分を包含する直線同士の交点の座標を、仮定多角形の頂点の座標として計算する。図８は、形成された仮定多角形の例を示す図である。例えば、線分の組み合わせ４１０、４２０及び４３０のそれぞれから、仮定多角形４１１、４２１及び４３１が形成される。

【0064】

多角形形成部１１４は、形成された仮定多角形のうち、その仮定多角形の構成要素が所定条件を満たす仮定多角形のみを、対応多角形の候補として決定してもよい。構成要素は、例えば頂点又は辺である。

【0065】

例えば、所定条件は、仮定多角形の全頂点が写真画像内に位置することであってもよい。すなわち、特定したい領域の全体が写真画像内にあることが条件である。特定したい領域全体が写るように所定対象が撮影された場合、写真画像はその領域全体を含む。そのため、この条件を用いることで、特定したい領域の形状ではない多角形を除外することができる。図９は、仮定多角形の頂点の判定例を示す図である。図９に示すように、仮定多角形４１１及び４２１それぞれの全頂点は写真画像内に位置する。仮定多角形４３１の頂点４３０は、写真画像外に位置する。従って、仮定多角形４３１は、対応多角形の候補から除外される。

【0066】

また例えば、所定条件は、仮定多角形を構成する各辺のそれぞれの少なくとも一部が、仮定多角形の形成に用いられた線分のうち何れかの線分の少なくとも一部と重複することであってもよい。何れの線分とも重複しない辺は、所定対象の外観において実存しない蓋然性がある。この条件を用いることで、実存しない辺で構成される仮定多角形を除外することができる。図１０は、仮定多角形の辺の判定例を示す図である。図１０に示すように、仮定多角形４１１及び４２１それぞれの各辺は、仮定多角形の形成に用いられた線分の何れかと重複する。仮定多角形４４１は、線分の組み合わせ４４０を用いて形成される。仮定多角形４４１において、辺４４２及び４４３は、組み合わせ４４０の何れの線分とも重複しない。従って、仮定多角形４４１は、対応多角形の候補から除外される。

【0067】

多角形形成部１１４は、上述した２個の条件全てを用いてもよいし、何れか一方の条件のみを用いてもよい。

【0068】

対応多角形特定部１１５は、仮定多角形の辺の長さの比と、基準比率取得部１１１により取得された基準多角形の辺の長さの比との類似度合いに基づいて、多角形形成部１１４により形成された仮定多角形から、基準多角形に対応する対応多角形を特定する。形成された仮定多角形の中で、基準多角形に近い仮定多角形は、基準多角形との間で辺の長さの比が一致するか又は辺の長さの比の類似度合いが相対的に高い蓋然性がある。対応多角形特定部１１５は、仮定多角形の各頂点の座標に基づいて各辺の長さを計算して、仮定多角形の辺の長さの比を計算する。図１１は、仮定多角形の辺の長さの比の特定例を示す図である。例えば、仮定多角形４１１、４２１等のそれぞれについて、長辺の長さＬ１と、短辺の長さＬ２と、長辺の長さＬ３と、短辺の長さＬ４との比を計算する。対応多角形特定部１１５は、各仮定多角形について、Ｌ１：Ｌ２：Ｌ３：Ｌ４とＲＬ１：ＲＬ２：ＲＬ３：ＲＬ４とを比較する。

【0069】

対応多角形特定部１１５は、仮定多角形の辺の長さの比と基準多角形の辺の長さの比との類似度合いを示すスコア等の値を計算してもよい。例えば、対応多角形特定部１１５は、辺の長さの比をベクトルとみなし、スコアとしてコサイン類似度等を計算してもよい。対応多角形特定部１１５は、このスコアを用いて、仮定多角形の中で類似度合いが最も高い仮定多角形を、対応多角形として特定してもよい。すなわち、対応多角形は、基準多角形との間で辺の長さの比が一致又は類似する。対応多角形特定部１１５は、類似度合いが最も高い仮定多角形について、その類似度合いが所定値未満である場合、対応多角形を特定しなくてもよい。対応多角形特定部１１５は、前述したように、構成要素が所定条件を満たす仮定多角形から対応多角形を特定してもよい。

【0070】

対応多角形特定部１１５は、類似度合いを示すスコアに重み付けし、重み付けされたスコアに基づいて、対応多角形を特定してもよい。所定対象に対する撮影角度等によって、写真内の多角形の辺の長さの比は変化する。従って、所定対象の外観において実存しない多角形等、基準多角形に本来対応しない仮定多角形の辺の長さの比が、基準多角形の辺の長さの比と類似する場合がある。このような状況で、対応多角形の検出精度を高めるために重み付けが行われる。

【0071】

例えば、対応多角形特定部１１５は、形成された仮定多角形と、その仮定多角形の形成に用いられる線分の全てを含む多角形との重複度合いに基づいて、類似度合いを示すスコアを重み付けしてもよい。仮定多角形の形成に用いられる線分の全てを含む多角形を、全線分包含多角形という。全線分包含多角形は、例えば、仮定多角形の形成に用いられた各線分全体が、その全線分包含多角形の何れかの辺の一部又は全体であるか、或いはその線分が全線分包含多角形内に位置する多角形である。これに加えて、全線分包含多角形は、例えば、その全線分包含多角形の各頂点が、仮定多角形の形成に用いられた線分の何れかの端点又は仮定多角形の何れかの頂点と一致する。仮定多角形と全線分包含多角形との重複度合いが高いほど、その仮定多角形が所定対象の外観において実存する蓋然性が高い。

【0072】

多角形の重複度合いに応じた重み付けに用いられるウェイトを、ＲＯＷ（Region Overlap Weight）という。対応多角形特定部１１５は、例えば、仮定多角形と全線分包含多角形とが重複する領域の面積と、仮定多角形及び全線分包含多角形の少なくとも何れか一方の辺で囲まれる領域の面積との比を、ＲＯＷとして計算してもよい。すなわち、仮定多角形と全線分包含多角形との共通部分と、仮定多角形と全線分包含多角形との論理和との比が計算される。対応多角形特定部１１５は、仮定多角形と全線分包含多角形との重複度合いが高いほど、類似度合いが高くなるように、スコアを重み付けしてもよい。

【0073】

図１２は、仮定多角形と全線分包含多角形との重複度合いの例を示す図である。図１２に示すように、線分の組み合わせ４１０について、全線分包含多角形４１２が形成される。仮定多角形４１１と全線分包含多角形４１２とが重複する領域の面積は、仮定多角形４１１及び全線分包含多角形４１２の少なくとも何れか一方の辺で囲まれる領域の面積の約半分である。一方、線分４２０の組み合わせについて形成された全線分包含多角形４２２は、仮定多角形４２１と略一致する。

【0074】

また例えば、対応多角形特定部１１５は、形成された仮定多角形の辺と、その仮定多角形の形成に用いられる線分との重複度合いに基づいて、類似度合いを示すスコアを重み付けしてもよい。辺と線分との重複度合いが高いほど、形成された仮定多角形を構成する辺が所定対象の外観において実存する蓋然性が高い。

【0075】

辺と線分の重複度合いに応じた重み付けに用いられるウェイトを、ＬＯＷ（Line Overlap Weight）という。対応多角形特定部１１５は、例えば、仮定多角形を構成する全ての辺のうち、何れかの線分と重複する線の長さを、重複長さとして計算する。また、対応多角形特定部１１５は、仮定多角形を構成する全ての辺の長さと、仮定多角形の形成に用いられる全線分のうち、仮定多角形を構成する何れの辺とも重複しない線の長さとの合計を計算してもよい。対応多角形特定部１１５は、重複長さと合計長さとの比を、ＬＯＷとして計算してもよい。すなわち、辺と線分との共通部分と、辺と線分との論理和との比が計算される。対応多角形特定部１１５は、辺と線分との重複度合いが高いほど類似度合いが高くなるように、スコアを重み付けしてもよい。

【0076】

図１３及び図１４は、辺と線分との重複度合いの例を示す図である。図１３に示すように、線分の組み合わせ４１０について、仮定多角形４１１の辺と組み合わせ４１０を構成する線分との共通部分５１１が特定される。また、仮定多角形４１１の辺と組み合わせ４１０を構成する線分との論理和５１２が特定される。図１４に示すように、線分の組み合わせ４２０について、仮定多角形４２１の辺と組み合わせ４２０を構成する線分との共通部分５２１が特定される。また、仮定多角形４２１の辺と組み合わせ４２０を構成する線分との論理和５２２が特定される。図１３及び図１４に示すように、仮定多角形４１１を構成する線分と組み合わせ４１０を構成する線分との重複度合いは、仮定多角形４２１を構成する線分と組み合わせ４２０を構成する線分との重複度合いよりも低い。

【0077】

対応多角形特定部１１５は、ＲＯＷ及びＬＯＷの両方を重み付けに用いてもよいし、何れか一方を重み付けに用いてもよい。図１２〜図１４に示す例では、仮定多角形４１１及び４２１のうち、仮定多角形４２１が対応多角形として特定される蓋然性が高い。

【0078】

画像処理部１１６は、写真画像取得部１１２により取得された写真画像において、対応多角形特定部１１５により特定された対応多角形の辺で囲まれる領域の画像に対して所定処理を実行する。

【0079】

例えば、画像処理部１１６は、対応多角形の辺で囲まれる領域の画像を、その画像の形状が基準多角形と相似するように変換してもよい。対応多角形の辺で囲まれる領域の画像の写真画像内での形状は対応多角形である。前述したように、所定対象に対する撮影角度等によっては、対応多角形は基準画像と相似するとは限らない。この変換により、対応多角形の辺で囲まれる領域の形状を本来の形状にすることができる。また、写真画像において対応多角形の辺で囲まれる領域内の情報の外観が、本来の外観となる。画像処理部１１６は、例えば、対応多角形の辺の長さの比、基準多角形の辺の長さの比、辺間のなす角度等に基づいて、対応多角形の辺で囲まれる領域の画像をアフィン変換する。画像処理部１１６は、対応多角形の辺で囲まれる領域の画像を回転させてもよい。例えば、水平線と基準多角形の所定辺とのなす角度が基準角度として予め取得される。画像処理部１１６は、対応多角形を構成する辺のうち、基準多角形の所定辺に対応する辺と水平線とのなす角度が、基準角度と一致するように画像を変換する。

【0080】

画像処理部１１６は、対応多角形の辺で囲まれる領域の画像から、所定種類の情報を認識してもよい。所定種類の情報の例として、文字、記号、マーク、模様、絵等が挙げられる。情報認識には、例えば文字認識、画像認識等のパターン認識が用いられてもよい。画像処理部１１６は、対応多角形の辺で囲まれる領域の画像に対して上述した変換を行い、変換された画像から情報を認識してもよい。これにより、情報の認識精度を高めることができる。

【0081】

画像処理部１１６は、変換された画像及び認識された情報の少なくとも何れか一方を出力する。例えば、画像処理部１１６は、画像又は情報を、ネットワークを介して他のコンピュータに送信してもよいし、表示部１７に表示させてもよいし、記憶部１４に記憶させてもよい。

【0082】

図１５は、対応多角形の辺で囲まれる領域の画像の処理例を示す図である。図１５に示すように、写真画像２２０について、多角形４２１が、領域２１０の外枠の形状として特定される。領域２１０の画像６１０は、画像６２０にアフィン変換される。画像６２０の形状は基準多角形と相似する。また、画像６２０の角度も調整されている。この画像６２０から、文字列６３０が認識される。なお、対応多角形の辺で囲まれる領域の画像に対する処理は、例えば多角形検出装置１以外の装置で行われてもよい。この場合、画像処理部１１６は不要である。

【0083】

［３．多角形検出装置の動作］
次に、多角形検出装置１の動作について、図１６を用いて説明する。図１６は、多角形検出装置１のシステム制御部１１による多角形検出処理の一例を示すフローチャートである。多角形検出用のプログラムに含まれるプログラムコードに従って、システム制御部１１は多角形検出処理を実行する。

【0084】

図１６に示すように、基準比率取得部１１１は、基準多角形の辺の長さの比を取得する（ステップＳ１）。次いで、写真画像取得部１１２は、対応多角形を検出する写真画像を取得して、ＲＡＭ１１ｃにロードする（ステップＳ２）。

【0085】

次いで、線分検出部１１３は、ＲＡＭ１１ｃにロードされた写真画像から線分を検出する（ステップＳ３）。線分検出部１１３は、検出された線分のうち、最長の線分を特定する（ステップＳ４）。線分検出部１１３は、検出された線分のうち、最長の線分の長さの所定割合未満である長さを有する線分を、仮定多角形の形成に用いられる線分から除外する（ステップＳ５）。線分検出部１１３は、最長の線分の長さの所定割合以上である長さを有する線分を、最長の線分との間でなす角度が所定値よりも大きい線分のグループと、所定値以下である線分のグループとに分ける（ステップＳ６）。

【0086】

次いで、多角形形成部１１４は、各グループから２個の線分を選択して、４個の線分を用いて仮定多角形を形成する（ステップＳ７）。多角形形成部１１４は、例えば所定数の仮定多角形を形成する。次いで、多角形形成部１１４は、形成された仮定多角形のうち、少なくとも一つの頂点が写真画像外に位置する仮定多角形を、対応多角形の候補から除外する（ステップＳ８）。また、多角形形成部１１４は、形成された仮定多角形のうち、少なくとも一つの辺が、仮定多角形の形成に用いられた何れの線分とも重複しない仮定多角形を、対応多角形の候補から除外する（ステップＳ９）。

【0087】

次いで、対応多角形特定部１１５は、対応多角形の候補として特定された各仮定多角形の辺の長さの比を計算する（ステップＳ１０）。対応多角形特定部１１５は、各仮定多角形について、基準多角形との間の辺の長さの比の類似度合いを示すスコアを計算する（ステップＳ１１）。次いで、対応多角形特定部１１５は、各仮定多角形について、全線分包含多角形を形成し、仮定多角形と全線分包含多角形との重複度合いを示すＲＯＷを計算する（ステップＳ１２）。また、対応多角形特定部１１５は、各仮定多角形について、仮定多角形の辺と、仮定多角形の形成に用いられた線分との重複度合いを示すＬＯＷを計算する（ステップＳ１３）。対応多角形特定部１１５は、ＲＯＷ及びＬＯＷを用いて、各仮定多角形のスコアを重み付けする（ステップＳ１４）。対応多角形特定部１１５は、仮定多角形のうち、重み付けされたスコアにより示される類似度合いが最も高い仮定多角形を、対応多角形として特定する（ステップＳ１５）。

【0088】

次いで、画像処理部１１６は、取得された写真画像について、対応多角形の辺で囲まれる領域の画像を、その画像の形状が基準多角形と相似するように変換するとともに、その画像を回転変換させる（ステップＳ１６）。画像処理部１１６は、変換された画像から情報を認識して、認識された情報を出力する（ステップＳ１７）。この処理を終えると、システム制御部１１は、多角形検出処理を終了させる。

【0089】

以上説明したように、本実施形態によれば、システム制御部１１が、所定対象の外観に含まれる基準多角形の辺の長さの比を取得する。また、システム制御部１１が、所定対象の写真画像を取得する。また、システム制御部１１が、取得された写真画像から線分を検出する。また、システム制御部１１が、検出された線分を基に少なくとも一の仮定多角形を形成する。また、システム制御部１１が、仮定多角形の辺の長さの比と、基準多角形の辺の長さの比との類似度合いに基づいて、仮定多角形から、基準多角形に対応する多角形を特定する。従って、画像から基準多角形に近い多角形を精度良く検出することができる。

【0090】

また、システム制御部１１が、検出された線分のうち相対的に長い線分から、仮定多角形の形成に用いる線分を特定してもよい。この場合、写真画像内において、特定したい領域が或る程度以上大きく写っている場合に、基準多角形に対応する仮定多角形を構成する蓋然性が高い線分を用いて、仮定多角形を形成することができる。

【0091】

また、システム制御部１１が、検出された線分のうち少なくとも幾つかの線分を、基準多角形を構成する辺間の関係に基づいて定められた複数のグループに分けてもよい。また、システム制御部１１が、複数のグループのそれぞれから仮定多角形の形成に用いられる線分を特定してもよい。この場合、基準多角形を構成する辺に対応する線分を用いて仮定多角形を形成することができる。また、仮定多角形の形成に用いられる線分の組み合わせの数を削減することができるので、対応多角形の検出速度を向上させることができる。

【0092】

また、システム制御部１１が、検出された線分のうち少なくとも幾つかの線分を、その線分の角度に基づいて複数のグループに分けてもよい。この場合、基準多角形を構成する辺間の角度に基づいて複数のグループを定めることができる。従って、基準多角形を構成する辺に対応する線分を用いて仮定多角形を形成することができる。

【0093】

また、基準多角形及び形成される仮定多角形は四角形であってもよい。また、システム制御部１１が、少なくとも幾つかの線分を、所定線分との間の角度が所定値よりも大きい線分のグループと、所定線分との間の角度が所定値以下である線分のグループとに分けてもよい。この場合、適切な四角形を形成することができる。

【0094】

また、システム制御部１１が、形成された仮定多角形のうち、その仮定多角形の構成要素が所定条件を満たす仮定多角形から、対応多角形を特定してもよい。ここで、所定条件は、仮定多角形の全頂点が写真画像内に位置することであってもよい。この場合、所定対象において基準多角形の辺で囲まれる領域の全体が撮影範囲に含まれるように所定対象が撮影された場合、基準多角形に対応する多角形の検出精度を高めることができる。

【0095】

また、所定条件は、仮定多角形を構成する各辺のそれぞれの少なくとも一部が、その仮定多角形の形成に用いられた線分のうち何れかの線分の少なくとも一部と重複することであってもよい。この場合、所定対象の外観において実存する多角形に対応する蓋然性が高い仮定多角形を、基準多角形に対応する多角形として特定することができる。

【0096】

また、システム制御部１１が、基準多角形の辺の長さの比と、形成された仮定多角形の辺の長さの比との間の類似度合いを示す値に重み付けし、重み付けされた値に基づいて、対応多角形を特定してもよい。この場合、辺の長さの比の類似度合いが重み付けされることによって、所定対象に対する撮影角度に応じて基準多角形に対応する多角形の辺の長さの比が変化しても、基準多角形に対応する多角形の検出精度を高めることができる。

【0097】

ここで、システム制御部１１が、仮定多角形の形成に用いられる線分を含む直線同士が交差する点を頂点として有する仮定多角形を形成してもよい。また、システム制御部１１が、形成された仮定多角形と、仮定多角形の形成に用いられる線分の全てを含む多角形との重複度合いに基づいて、値を重み付けしてもよい。この場合、実存する蓋然性が高い仮定多角形の重みを大きくすることができる。

【0098】

また、システム制御部１１が、形成された仮定多角形の辺と、仮定多角形の形成に用いられる線分との重複度合いに基づいて、値を重み付けしてもよい。この場合、実存する蓋然性が高い辺で構成される仮定多角形の重みを大きくすることができる。

【0099】

また、システム制御部１１が、写真画像内において、特定された対応多角形の辺で囲まれる領域の画像に対して所定処理を実行してもよい。この場合、所定対象において特定したい領域の画像に対して処理を施すことができる。

【0100】

ここで、システム制御部１１が、特定された対応多角形の辺で囲まれる領域の画像を、その領域の形状が基準多角形と相似するように変換してもよい。この場合、所定対象において特定したい領域の画像の形状を、その領域の本来の形状に戻すことができる。

【0101】

また、システム制御部１１が、特定された対応多角形の辺で囲まれる領域の画像から、所定種類の情報を認識してもよい。この場合、所定対象において特定したい領域内の情報を、写真画像から認識することができる。ここで、所定種類の情報は文字であってもよい。

【実施例】

【0102】

次に、図１７を用いて、上述した実施形態の一実施例について説明する。本実施例では、ユーザの本人確認を行うためのサーバ装置として、多角形検出装置１が用いられる。

【0103】

図１７は、本実施例に係るシステムＳの概要構成の一例を示す図である。図１７に示すように、システムＳは、サーバ２と、複数のユーザ端末３と、を含んで構成されている。サーバ２と各ユーザ端末３とは、ネットワークＮＷを介して、例えば、通信プロトコルにＴＣＰ／ＩＰ等を用いて相互にデータの送受信が可能になっている。なお、ネットワークＮＷは、例えばインターネットである。

【0104】

ユーザ端末３は、例えば所定のサービスに会員登録しようとするユーザに用いられる端末装置である。ユーザ端末３は、例えばデジタルカメラを備え、又はデジタルカメラと接続される。ユーザ端末３の例として、パーソナルコンピュータ、スマートフォン、タブレット式コンピュータ等の携帯情報端末、携帯電話機、ＰＤＡ（Personal Digital Assistant）等が挙げられる。ユーザは、会員登録のために、氏名、生年月日、住所等の個人情報を、ユーザ端末３に入力する。ユーザ端末３は、入力された情報をサーバ２へ送信する。また、ユーザは、身分証明書を撮影して、第１の写真画像をユーザ端末３からサーバ２へ送信する。ユーザは全ての個人情報が鮮明に写るように撮影を行う。従って、写真画像は、個人情報の各領域の全体を含む蓋然性があり、各領域は写真画像において或る程度以上の大きさを占める。身分証明書は、例えば運転免許証、パスポート等である。更にユーザは、ユーザ自身の顔写真を撮影して、第２の写真画像をユーザ端末３からサーバ２へ送信する。

【0105】

サーバ２は、多角形検出装置１の構成と同様の構成を有する。サーバ２の記憶部１４には、各種身分証明書について、個人情報が印刷され又は記載される１又は複数の領域それぞれについて、その領域の形状としての基準多角形の辺の長さの比を示す情報が記憶されている。また、記憶部１４には、各領域から文字列の情報を認識やすいように、その領域を構成する各行の座標を示す情報が記憶されている。更に記憶部１４には、各種身分証明書について、顔写真の領域の形状としての基準多角形の辺の長さの比を示す情報が記憶されている。

【0106】

サーバ２は、ユーザ端末３から受信した第１の写真画像から、基準多角形に対応する多角形を検出する。サーバ２は、第１の写真画像において、検出された対応多角形の辺で囲まれる領域の画像を、その画像の形状が基準多角形と相似するように変換する、更に、サーバ２は、その領域の画像を、基準画像の所定辺の角度と、その所定辺に対応する対応多角形の辺の角度とが一致するように回転させる。サーバ２は、個人情報が記載される領域について変換された画像から、氏名、生年月日、住所等の個人情報を認識する。サーバ２は、認識された個人情報と、ユーザにより入力された個人情報とが一致するか否かを判定する。また、サーバ２は、顔写真の領域について変換された画像から、身分証明書に写る人物の顔の特徴ベクトルを抽出する。サーバ２は、第２の写真画像からも顔の特徴ベクトルを抽出する。サーバ２は、顔の特徴ベクトルを比較することにより、身分証明書に写っている人物と、第２の写真画像に写っている人物とが同一であるか否かを判定する。

【符号の説明】

【0107】

１ 多角形検出装置
１１ システム制御部
１２ システムバス
１３ 入出力インターフェース
１４ 記憶部
１５ 通信部
１６ 入力部
１７ 表示部
１１１ 基準比率取得部
１１２ 写真画像取得部
１１３ 線分検出部
１１４ 多角形形成部
１１５ 対応多角形特定部
１１６ 画像処理部
２ サーバ
３ ユーザ端末

【要約】

画像から基準の多角形に近い多角形を精度良く検出する多角形検出装置、多角形検出方法、及び多角形検出プログラムを提供することを目的とする。
多角形検出装置は、所定対象の外観に含まれる基準多角形の辺の長さの比を取得する。多角形検出装置は、所定対象の写真画像を取得する。多角形検出装置は、取得された写真画像から線分を検出する。多角形検出装置は、検出された線分を基に少なくとも一の多角形を形成する。多角形検出装置は、形成された多角形から、形成された多角形の辺の長さの比と、取得された基準多角形の辺の長さの比との類似度合いに基づいて、形成された多角形から、基準多角形に対応する多角形を特定する。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】