特許 6797046 画像処理装置及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6797046

(24)【登録日】2020年11月19日

(45)【発行日】2020年12月9日

(54)【発明の名称】画像処理装置及び画像処理プログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20201130BHJP

   G06T 5/00 20060101ALI20201130BHJP

   G06T 7/194 20170101ALI20201130BHJP

   H04N 1/387 20060101ALI20201130BHJP

【ＦＩ】

   H04N5/232 290

   G06T5/00 725

   G06T7/194

   H04N1/387

【請求項の数】5

【全頁数】25

(21)【出願番号】特願2017-31321(P2017-31321)

(22)【出願日】2017年2月22日

(65)【公開番号】特開2018-137636(P2018-137636A)

(43)【公開日】2018年8月30日

【審査請求日】2020年1月9日

(73)【特許権者】

【識別番号】000233295

【氏名又は名称】株式会社日立情報通信エンジニアリング

(74)【代理人】

【識別番号】110002066

【氏名又は名称】特許業務法人筒井国際特許事務所

(72)【発明者】

【氏名】飛奈 広樹

(72)【発明者】

【氏名】鈴木 和美

(72)【発明者】

【氏名】中島 和樹

(72)【発明者】

【氏名】稲村 賢吾

【審査官】 大西 宏

(56)【参考文献】

【文献】 特開２０１２−１０８７２０（ＪＰ，Ａ）

【文献】 特開２０１１−００９９８６（ＪＰ，Ａ）

【文献】 特開２００５−１２３７０８（ＪＰ，Ａ）

【文献】 特開２００１−２３０９０９（ＪＰ，Ａ）

【文献】 特開２０１４−１６７７６２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００５／００７８２００（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ５／５０

Ｇ０６Ｔ ７／００ − ７／９０

Ｇ０６Ｔ ９／００ − ９／４０

Ｈ０４Ｎ １／３８ − １／３９３

(57)【特許請求の範囲】

【請求項1】

入力された本人確認証のカードの撮像画像データの画像に対し、画像補正処理を行って、カード表面を垂直方向から俯瞰した状態の補正後画像データを出力する、画像補正部を備え、
前記画像補正部は、前記画像補正処理で、前記画像から、カード領域と背景領域との色の差に基づいた色境界点を検出し、前記色境界点に基づいて、前記カード領域を検出し、前記カード領域の台形状の歪みが直角四角形になるように変換を行うことで、前記俯瞰した状態の補正後画像データを取得し、
前記画像補正部は、
前記画像内の一点と前記画像の枠線上の複数の各々の端点との間を結ぶ、複数の探索線を設定し、
前記複数の各々の探索線上で、前記色境界点を探索して、複数の色境界点を検出し、
前記複数の色境界点における前記色境界点同士を結ぶベクトルの類似性に基づいて、前記複数の色境界点を、４つのグループに分類し、
前記４つのグループの各々のグループ毎に、属する色境界点を用いて近似直線を引くことで、４つの近似直線を検出し、
前記４つの近似直線に基づいて、４つの交点を検出し、
前記４つの交点に基づいて、射影変換を行うことで、前記俯瞰した状態の補正後画像データを得る、
画像処理装置。

【請求項2】

請求項１記載の画像処理装置において、
前記画像補正部は、
前記探索線上に画素のブロックを設定し、
前記ブロック毎に代表色を計算し、
前記ブロック毎の代表色の変化度合いが大きいブロックを含む探索範囲を決定し、
前記背景領域の背景色を設定し、
前記カード領域のカード色を設定し、
前記探索範囲のブロックの前記探索線上で、画素毎に、前記背景色との第１色差、及び前記カード色との第２色差を計算し、
前記第１色差と前記第２色差との交点を、前記色境界点として決定する、
画像処理装置。

【請求項3】

請求項１記載の画像処理装置において、
前記画像補正部は、
前記複数の色境界点において、隣り合う色境界点同士、または、Ｎ個ずつ飛ばした色境界点同士を結ぶ前記ベクトルを計算し、
前記ベクトルの向きを表す角度のヒストグラムに基づいて、前記４つのグループに分類する、
画像処理装置。

【請求項4】

請求項３記載の画像処理装置において、
前記画像補正部は、
前記Ｎ個ずつ飛ばした色境界点同士を結ぶ前記ベクトルの中間点の画素を、新たな色境界点として置き換える、
画像処理装置。

【請求項5】

画像処理装置に画像処理を実行させる画像処理プログラムであって、
入力された本人確認証のカードの撮像画像データの画像に対し、画像補正処理を行って、カード表面を垂直方向から俯瞰した状態の補正後画像データを出力する、画像補正部を実現するプログラムを備え、
前記画像補正部は、前記画像補正処理で、前記画像から、カード領域と背景領域との色の差に基づいた色境界点を検出し、前記色境界点に基づいて、前記カード領域を検出し、前記カード領域の台形状の歪みが直角四角形になるように変換を行うことで、前記俯瞰した状態の補正後画像データを取得し、
前記画像補正部は、
前記画像内の一点と前記画像の枠線上の複数の各々の端点との間を結ぶ、複数の探索線を設定し、
前記複数の各々の探索線上で、前記色境界点を探索して、複数の色境界点を検出し、
前記複数の色境界点における前記色境界点同士を結ぶベクトルの類似性に基づいて、前記複数の色境界点を、４つのグループに分類し、
前記４つのグループの各々のグループ毎に、属する色境界点を用いて近似直線を引くことで、４つの近似直線を検出し、
前記４つの近似直線に基づいて、４つの交点を検出し、
前記４つの交点に基づいて、射影変換を行うことで、前記俯瞰した状態の補正後画像データを得る、
画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理技術に関し、特に、本人確認証等の画像データを補正する技術に関する。

【背景技術】

【0002】

利用者の運転免許証や健康保険証等の本人確認証のカードの画像データを本人確認等に用いる場合がある。例えば、ユーザがカメラ（デジタルカメラやタブレット端末やスマートフォンに搭載のカメラ等）によってカードの表面を撮像する。その撮像画像データが、ＯＣＲ（Optical Character Recognition；光学文字認識／光学文字読み取り）機能を備える装置に入力される。その装置は、専用のＯＣＲ装置、あるいはＯＣＲソフトウェアを備えるＰＣ等である。その装置は、その入力画像データに対する拡大／縮小等の補正処理を含む画像処理を行い、補正後画像データとして、カード表面の画像を得る。また、その装置は、その画像に対してＯＣＲ処理を行うことで、カード表面に記載の文字情報を得る。

【0003】

従来のＯＣＲ装置では、用紙からスキャナ等によって画像を取得し、その用紙領域の画像が、正立した状態（実物に対して像の上下左右等が同じ状態）の直角四角形の画像であることを前提に、予め設定された読み取り位置で、ＯＣＲ処理を行っている。その用紙領域の画像に歪みがある場合、ＯＣＲの精度が低下する。

【0004】

上記本人確認証等の画像処理に係わる先行技術例としては、特開２０１１−９９８６号公報（特許文献１）が挙げられる。特許文献１では、身分証明書撮影システム等として、身分証明書を撮影した画像の、あおり歪みを正確に補正できるようにする旨や、以下の旨が記載されている。そのシステムでは、撮像装置により得られた画像において、顔が検出された場合に、写真領域を検出し、得られた写真の大きさを用いて、あおり補正後の画像のアスペクト比を補正する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１１−９９８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記カメラによる本人確認証のカードの撮像画像データは、カード表面に記載の文字等の情報が、人や計算機によって認識できる、または認識しやすいことが望ましい。そのためには、基本的に、カード表面に対する垂直方向から俯瞰して撮影した画像（俯瞰画像と記載する場合がある）が使用されることが望ましい。その俯瞰画像では、理想的には、カード表面が直角四角形として写っている。

【0007】

しかしながら、ユーザによる撮像時には、カード表面に対する撮像方向に関して、垂直方向からの傾き角度のズレが生じ得る。そのズレがある場合、撮像画像において、カード表面は、直角四角形ではなく、台形状に歪んだ画像として写っている。このような歪みを持つ画像データの場合、文字等の情報が認識しにくくなっている。そのため、ＯＣＲ装置やＰＣ等の画像処理装置では、ＯＣＲ等の所定の処理に適した画像となるように、その撮像画像に対し、所定の補正処理を含む画像処理を行うことが望ましい。その補正処理では、例えば、撮像画像からカード表面の画像領域（カード領域と記載する場合がある）に対応する四角形が検出される。その補正処理では、その四角形に台形状の歪みがある場合、その台形状の歪みが、直角四角形になるように変換される。このような歪み補正処理によって、正確な俯瞰画像が得られる。

【0008】

従来の画像処理装置は、上記撮像画像データに対する補正処理を行う場合、以下のように、精度等の点で課題がある。補正処理の精度が低い場合、その画像では、人による文字等の情報の視認がしにくくなり、計算機によるＯＣＲの精度も低下してしまう。

【0009】

（１）撮像画像からカード領域の四角形を正確に推定して検出することが難しい場合がある。例えば、撮像時の撮像方向や照明状態等に応じて、画像の背景領域に対しカード領域の四角形の辺が不鮮明になっている場合がある。画像の背景領域とカード領域とで、明るさの差、即ち色の差が小さい場合、四角形の辺、即ち背景領域とカード領域との境界線が、明瞭には現れない。その画像からカード領域の四角形に対応する４つの辺や４つの角点を正確に検出することが難しい場合が多い。即ち、カード領域の検出精度が低い。カード領域を正確に検出できていない場合、台形状の歪みを補正する際の精度も低くなる。

【0010】

（２）また、例えば運転免許証等の場合、表面の規定のレイアウトとして、罫線、マーク、写真等の特徴情報が比較的多い。よって、その特徴情報を利用して補正処理を行うことができる。一方、例えば健康保険証等の特定の種類のカードの場合、表面の規定のレイアウトとして、罫線、マーク、写真等の特徴情報が比較的少ない。そのカードでは、記載項目（氏名等）は規定されているが、記載項目毎の文字の配置位置については、カード毎の個体差が比較的大きい。各利用者のカード表面内の同じ位置座標の画素をみても、異なる色（画素値）となっていることも多い。このようなカードの場合、補正処理の際に、特徴情報を利用しにくく、カード領域を検出しにくい。即ち、補正処理の精度が低くなる。

【0011】

なお、特許文献１では、カード内の顔写真を特徴として利用して検出しているが、顔写真が無いカードの場合や、顔写真の境界線が検出しにくい場合や、顔写真の配置位置の個体差が大きい場合等には、有効ではない。また、特許文献１では、カード領域の検出に輪郭抽出及びハフ変換を用いているが、背景領域とカード領域との色の差が少ない場合や、画像内の明るさにムラがある場合には、有効ではない。

【0012】

本発明の目的は、本人確認証のカード等の撮像画像データに関する画像処理技術に関して、カード領域に対する正確な俯瞰画像が得られるように高精度の補正処理ができる技術を提供することである。

【課題を解決するための手段】

【0013】

本発明のうち代表的な実施の形態は、画像処理装置であって、以下に示す構成を有することを特徴とする。

【0014】

一実施の形態の画像処理装置は、入力された本人確認証のカードの撮像画像データの画像に対し、画像補正処理を行って、カード表面を垂直方向から俯瞰した状態の補正後画像データを出力する、画像補正部を備え、前記画像補正部は、前記画像補正処理で、前記画像から、カード領域と背景領域との色の差に基づいた色境界点を検出し、前記色境界点に基づいて、前記カード領域を検出し、前記カード領域の台形状の歪みが直角四角形になるように変換を行うことで、前記俯瞰した状態の補正後画像データを得る。

【発明の効果】

【0015】

本発明のうち代表的な実施の形態によれば、本人確認証のカード等の撮像画像データに関する画像処理技術に関して、カード領域に対する正確な俯瞰画像が得られるように高精度の補正処理ができる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施の形態の画像処理装置を含むシステムの構成を示す図である。

【図2】実施の形態で、対象のカードの表面のレイアウトの構成例を示す図である。

【図3】実施の形態で、システムにおける利用概要を示す図である。

【図4】実施の形態で、ＯＣＲ装置における画像処理機能の各部の処理の概要を示す図である。

【図5】実施の形態で、ＯＣＲ装置における画像処理のフローを示す図である。

【図6】実施の形態で、入力画像データに対応する画像の例を示す図である。

【図7】実施の形態で、他の画像の例を示す図である。

【図8】実施の形態で、他の画像の例を示す図である。

【図9】実施の形態で、Ｓ２１に係わる画像の状態の第１例を示す図である。

【図10】実施の形態で、Ｓ２１に係わる画像の状態の第２例を示す図である。

【図11】実施の形態で、Ｓ２２の処理に係わる画像の状態を示す図である。

【図12】実施の形態で、Ｓ２３の処理に係わる画像の状態を示す図である。

【図13】実施の形態で、Ｓ２４の処理に係わる画像の状態を示す図である。

【図14】実施の形態で、Ｓ２５の処理、及びＳ２６の処理に係わる画像の状態を示す図である。

【図15】実施の形態で、Ｓ２７の処理に係わる画像の状態を示す図である。

【図16】実施の形態で、Ｓ２２の処理の詳細についての説明図である。

【図17】実施の形態で、Ｓ２２の色差をプロットしたグラフを示す図である。

【図18】実施の形態で、Ｓ２３の処理の詳細についての説明図である。

【図19】実施の形態で、Ｓ２３の第３処理例の詳細についての説明図である。

【図20】実施の形態で、Ｓ２４の処理の詳細についての説明図である。

【図21】実施の形態で、ノイズ低減処理についての説明図である。

【発明を実施するための形態】

【0017】

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において同一部には原則として同一符号を付し、その繰り返しの説明は省略する。

【0018】

（実施の形態）
図１〜図２１を用いて、本発明の実施の形態の画像処理装置について説明する。

【0019】

［画像処理装置（１）］
図１は、実施の形態の画像処理装置を含む、システムの構成を示す。実施の形態の画像処理装置は、ＯＣＲ装置１として構成されている。このシステムは、ＯＣＲ装置１、カメラ２を有する。ユーザは、ＯＣＲ装置１、カメラ２を使用する。ユーザは、健康保険証等の本人確認証のカード３を所持している。なお、ＯＣＲ装置１及びカメラ２の２つの装置を使用するユーザは、同一ユーザでも別ユーザでもよい。例えば、住民が自分のカード３をカメラ２で撮像し、行政機関の職員がその撮像画像データをＯＣＲ装置１に入力してもよい。

【0020】

ＯＣＲ装置１は、スキャナ機能やＯＣＲ機能を備える専用の装置であり、更に特有の画像処理機能を備える画像処理装置である。スキャナ機能やＯＣＲ機能については、公知技術が適用可能であり、説明を省略する。

【0021】

ユーザは、カード３の表面をカメラ２によって撮像する。カメラ２は、デジタルカメラでもよいし、タブレット端末やスマートフォン等に備えるカメラ機能を用いてもよい。カメラ２は、カード３の撮像画像データを取得し、記憶し、出力が可能である。ユーザは、カメラ２によって得たカード３の画像データ４Ａを、ＯＣＲ装置１に入力する。ＯＣＲ装置１は、その画像データ４Ａを、任意手段によって入力する。例えば、ＯＣＲ装置１は、カメラ２と通信接続され、カメラ２から通信で画像データ４Ａを入力してもよい。あるいは、ＯＣＲ装置１は、通信網を介してＰＣ等と接続され、カメラ２の画像データ４Ａが格納されたそのＰＣ等からその画像データ４Ａを入力してもよい。あるいは、ＯＣＲ装置１は、カメラ２の画像データ４Ａが格納されたメモリカードが接続され、そのメモリカードから画像データ４Ａを読み出して入力してもよい。

【0022】

ＯＣＲ装置１は、入力された画像データ４Ａ（記憶装置１０２の画像データ１２２）に対して、補正処理を含む画像処理を行う。この補正処理は、拡大／縮小、位置シフト、回転等の公知の処理の他に、特有の歪み補正処理を含む。この歪み補正処理は、画像内のカード領域の台形状の歪みを、直角四角形の俯瞰画像になるように変換する処理である。これにより、補正後画像データとして、ＯＣＲ処理や人の視認に適した画像データが得られる。ＯＣＲ装置１は、補正後画像データに対してＯＣＲ処理を行い、その結果の文字データ１２３を得る。

【0023】

ＯＣＲ装置１は、演算装置１０１、記憶装置１０２、スキャナ装置１０３、通信インタフェース装置１０４、入出力インタフェース装置１０５、入力装置１０６、表示装置１０７、外部記憶装置１０８等を有し、それらがバスを介して接続されている。

【0024】

演算装置１０１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、ＣＰＵ等によるソフトウェアプログラム処理に基づいて、画像処理機能を実現する。詳しくは、ＣＰＵは、記憶装置１０２内の画像処理プログラム１２１をメモリに読み出して、画像処理プログラム１２１に従って処理を実行する。これにより、画像処理機能を構成する画像読み取り部１１等の各部が実現される。演算装置１０１の画像処理機能は、各部として、画像読み取り部１１、画像データ入力部１２、画像補正部１３、光学文字認識部１４、文字データ出力部１５、画像データ出力部１６、設定部１７等を含む。

【0025】

記憶装置１０２には、画像処理プログラム１２１、画像データ１２２、文字データ１２３、設定情報１２４等が記憶されている。画像処理プログラム１２１は、予めＯＣＲ装置１内に格納、実装されていてもよいし、通信網上のサーバ等からダウンロードされてインストールされてもよい。画像データ１２２は、カメラ２によりカード３の表面が撮像された画像データ４Ａの入力に基づいた画像データであり、補正前後の各画像データを含む。文字データ１２３は、画像データ１２２に基づいてＯＣＲ処理によって抽出された文字情報を含むデータである。設定情報１２４は、画像処理機能に係わる設定情報である。

【0026】

画像読み取り部１１は、スキャナ装置１０３を制御して、用紙から画像を読み取る。スキャナ装置１０３は、公知の機構を有する。実施の形態では、用紙からの画像ではなく、カメラ３の画像データ４Ａを用いる。

【0027】

画像処理装置としては、上記専用のＯＣＲ装置１に限らずに可能である。変形例として、ＰＣとＯＣＲソフトウェアで構成される形態でもよい。そのＯＣＲソフトウェアは、前述のＯＣＲ機能及び画像処理機能を備える画像処理プログラムに相当する。ＰＣは、ＣＰＵ等によって、ストレージ等に格納されている画像処理プログラムを読み出して実行し、図１の画像補正部１３等を同様に実現する。

【0028】

［画像処理装置（２）］
実施の形態の画像処理装置は、カード３の画像データにおいて、背景領域とカード領域との間に色の差があることに着目する。画像処理装置は、背景領域とカード領域との境界線（四角形の４つの辺）を探索、推定することで、画像内のカード領域の位置を検出する。画像処理装置は、画像の枠の端点と中心点とを結ぶ探索線上で、色の差の境界点である色境界点を探索する。画像処理装置は、探索で得た複数の色境界点を集めてグループ化する。画像処理装置は、グループ毎に、カード領域の辺に対応付けられる近似直線を引く。画像処理装置は、４つの近似直線を用いて、カード領域の４つの角点を検出する。画像処理装置は、検出したカード領域の４つの角点に基づいて、公知の射影変換を行うことで、カード領域の台形状の歪みが直角四角形になるように変換する。これにより、高精度の俯瞰画像、即ちカード表面に対して垂直方向から撮像したような画像が得られる。

【0029】

画像処理装置は、その直角四角形を含む補正後画像から、必要に応じて、拡大／縮小、位置シフト、回転、切り出し等の公知の処理を行って、正立した状態のカード領域を含む、最終的な俯瞰画像を得る。例えば、画像処理装置は、補正後画像が、そのカードの規定の縦横比を持つ画像になるように、拡大／縮小を行う。最終的な俯瞰画像では、カード領域が、所定の好適なサイズ、比率、位置、向き等を持つ直角四角形として得られる。

【0030】

実施の形態の画像処理装置は、カード撮像画像における矩形枠の中心点と、枠線上の複数の各々の端点とを結ぶ、放射状に拡がる線を、探索線（放射線）として設定する。画像処理装置は、その探索線上で、背景領域の色とカード領域の色との境界点である色境界点を探索する。画像処理装置は、探索で得られた複数の色境界点について、色境界点同士のベクトルを計算する。画像処理装置は、そのベクトルの向きを表す角度の類似性に基づいて、複数の色境界点を、４つのグループに分ける。グループは、カード領域の辺に対応付けられる。画像処理装置は、グループ毎の色境界点を用いて近似直線を引くことで、カード領域の４つの辺を検出する。画像処理装置は、４つの辺における４つの交点として、カード領域の４つの角点を検出する。画像処理装置は、４つの角点に基づいて、台形状の歪みが直角四角形になるように射影変換を行う。

【0031】

実施の形態の画像処理装置は、健康保険証等のカード３のカメラ２による撮像画像データに関する画像処理によって、カード領域の検出精度を向上でき、正確な俯瞰画像を得ることができる。特に、カメラ２によるカード３の撮影時の方向や照明状態等が適切ではなく、台形状の歪みがある画像の場合でも、カード領域の検出精度、及び歪み補正の精度を高くできる。また、特に、レイアウトにおける特徴情報が少ない種類のカード３で、台形状の歪みがある画像の場合でも、カード領域の検出精度、及び歪み補正の精度を高くできる。

【0032】

［本人確認証カード］
図２は、対象のカード３の表面のレイアウトの構成例として、健康保険証の場合を示す。なお、図２では、レイアウトをモノクロで簡略化して示しているが、実際のカードでは、所定のカラーのデザインを有する。このカード３では、文字項目が多く、罫線、マーク、写真等の特徴情報が少ない。カード３は、表面において直角四角形であり、規定のサイズを有し、縦の長さＶ０、横の長さＨ０、厚さを有し、４つの角点はアール加工で丸くなっている。

【0033】

［画像処理装置（３）］
図３は、実施の形態の画像処理装置を含むシステムにおける利用概要を示す。図３の（Ａ）は、ユーザがカメラ２によってカード３を撮像する例を示す。カードとして、例えば運転免許証の場合、カード面内に、罫線等の特徴情報が多い。カード３として、例えば図２のように健康保険証の場合、カード３の表面内に、罫線等の特徴情報が少ない。実施の形態では、このような特徴情報が少ない種類のカード３の場合にも、有効な画像補正を実現する。

【0034】

図３の（Ｂ）は、画像データ入力の例を示す。入力の画像データ４Ａは、背景領域の上にカード領域を有する。この例では、カード領域に、台形状の歪みがある。これは、撮像時の撮像方向のズレによって生じている。また、この例では、背景領域とカード領域との間で、明るさの差、即ち色の差が小さく、カード領域の４つの辺の境界線が不鮮明になっている。

【0035】

図３の（Ｃ）は、画像補正により得られた補正後画像データの例を示す。この補正後画像データでは、カード領域が、正確な俯瞰画像として取得されている。正確な俯瞰画像とは、カード領域が直角四角形となっている画像である。この俯瞰画像では、カード面内の記載文字情報を人が視認することがしやすくなっている。また、この俯瞰画像では、ＯＣＲ処理によってカード面内の記載文字情報を認識しやすくなっている。なお、補正後画像データとしては、背景領域を切り落としてカード領域のみを切り出した画像としてもよい。補整後画像データ及びＯＣＲによる文字情報は、所定の用途に利用できる。例えば、行政機関等において提出する書類に利用できる。

【0036】

［画像処理装置（４）］
図４は、実施の形態の画像処理装置であるＯＣＲ装置１における画像処理機能の各部の処理の概要を示す。画像データ入力部１２は、ユーザ操作に基づいて、画像処理の対象となる画像データ４Ａを入力する。例えば、画像データ入力部１２は、カメラ２の画像データ４Ａを、通信インタフェース装置１０４や入出力インタフェース装置１０５を通じて入力し、記憶装置１０２に画像データ１２２、特に補正前画像データ４Ｂとして格納する。画像データ入力部１２は、記憶装置１０２の画像データ１２２から必要に応じて補正前画像データ４Ｂを読み出し、画像補正部１３に入力する。

【0037】

画像補正部１３は、入力画像データである補正前画像データ４Ｂに対し、所定の補正処理を含む画像処理を行う。画像補正部１３は、設定部１７による設定情報１２４に基づいて、画像処理を行う。画像補正部１３は、補正後画像データ４Ｃを出力し、記憶装置１０２内に格納する。

【0038】

光学文字認識部（ＯＣＲ部）１４は、入力画像データである補正後画像データ４Ｃに対し、公知の光学文字認識処理（ＯＣＲ処理）を行い、その結果である文字データ１２３を得る。光学文字認識部１４は、文字データ１２３を出力し、記憶装置１０２内に格納する。

【0039】

文字データ出力部１５は、ユーザ操作に基づいて、文字データ１２３をユーザや外部装置に対して出力する。例えば、文字データ出力部１５は、表示装置１０７の画面に文字データ１２３の内容を表示する。例えば、文字データ出力部１５は、文字データ１２３を、通信インタフェース装置１０４を通じて、外部装置に送信する。

【0040】

画像データ出力部１６は、ユーザ操作に基づいて、補正後画像データ４Ｃをユーザや外部装置に対して出力する。例えば、画像データ出力部１６は、表示装置１０７の画面に補正後画像データ４Ｃの内容を表示する。例えば、画像データ出力部１６は、補正後画像データ４Ｃを、通信インタフェース装置１０４を通じて、外部装置に送信する。

【0041】

設定部１７は、ユーザに対して設定画面を提供し、ユーザ操作に基づいて、画像処理機能に係わるユーザ設定を行う。設定部１７は、設定情報１２４を記憶装置１０２に保存する。

【0042】

［画像処理フロー］
図５は、ＯＣＲ装置１における画像処理のフローを示す。本フローは、画像補正処理後にＯＣＲ処理を行って文字データを出力する場合の流れを示す。図５は、ステップＳ１〜Ｓ５を有する。ステップＳ２は、ステップＳ２Ａ〜Ｓ２Ｃを含む。ステップＳ２Ａは、ステップＳ２１〜Ｓ２７を含む。以下、ステップの順に説明する。

【0043】

（Ｓ１） 図４のように、ＯＣＲ装置１の画像データ入力部１２は、カメラ２からの画像データ４Ａを補正前画像データ４Ｂとして入力する。

【0044】

（Ｓ２） ＯＣＲ装置１の画像補正部１３は、入力の補正前画像データ４Ｂに対して、画像補正処理を行い、補正後画像データ４Ｃを得る。Ｓ２の画像補正処理は、特有の歪み補正処理を行うステップＳ２Ａ、拡大／縮小等の処理を行うステップＳ２Ｂ、位置シフト、回転、切り出し等の処理を行うステップＳ２Ｃを含む。Ｓ２ＢやＳ２Ｃは、公知の処理である。

【0045】

（Ｓ２Ａ） 画像補正部１３は、Ｓ２Ａで、特有の歪み補正処理を行う。この歪み補正処理は、カード領域及び位置を検出し、カード領域の台形状の歪みを直角四角形になるように補正する処理である。

【0046】

（Ｓ２１） 画像補正部１３は、Ｓ２Ａの歪み補正処理の際、まず、Ｓ２１で、補正前画像データ４Ｂの画像における複数の端点を計算する。画像補正部１３は、画像の中心点と複数の各々の端点とを結ぶ各々の線を、探索線（放射線）として設定する。詳しくは、後述の図９等で示す。

【0047】

（Ｓ２２） 画像補正部１３は、Ｓ２１の探索線に基づいて、複数の各々の探索線上で、背景領域とカード領域との色の差の境界点である色境界点を探索する。画像補正部１３は、ある探索線から順に、同様にその処理を繰り返す。これにより、複数の色境界点が得られる。詳しくは、後述の図１１等で示す。

【0048】

（Ｓ２３） 画像補正部１３は、Ｓ２２の色境界点に基づいて、色境界点同士のベクトルを計算する。詳しくは、後述の図１２等で示す。

【0049】

（Ｓ２４） 画像補正部１３は、Ｓ２３のベクトルに基づいて、色境界点をグループ化する。グループは、カード領域の四角形の辺に対応付けられる。詳しくは、後述の図１３等で示す。

【0050】

（Ｓ２５） 画像補正部１３は、Ｓ２４のグループに基づいて、近似直線を計算する。近似直線は、カード領域の四角形の辺に対応付けられる。詳しくは、後述の図１４等で示す。

【0051】

（Ｓ２６） 画像補正部１３は、Ｓ２５の近似直線に基づいて、交点を計算することで、カード領域の四角形の４つの角点を計算する。詳しくは、後述の図１４等で示す。

【0052】

（Ｓ２７） 画像補正部１３は、Ｓ２６の４つの角点に基づいて、公知の射影変換処理により、カード領域の四角形の台形状の歪みが直角四角形になるように補正する。詳しくは、後述の図１５で示す。

【0053】

（Ｓ２Ｂ） 画像補正部１３は、Ｓ２Ａで得た射影変換後の画像及び４つの角点に基づいて、Ｓ２Ｂで、カード領域の四角形が、規定の縦横比を持ち好適なサイズの四角形となるように、画像の拡大／縮小処理等を行う。

【0054】

（Ｓ２Ｃ） 画像補正部１３は、Ｓ２Ｂで得た画像に基づいて、Ｓ２Ｃで、画像内のカード領域の四角形の位置が好適な位置となるように位置シフト処理を行う。また、画像補正部１３は、画像内のカード領域の向きが好適な向きとなるように、面内での回転処理を行う。また、画像補正部１３は、画像内からカード領域のみを切り出す場合には、そのカード領域を切り出す処理を行う。なお、Ｓ２Ｂ，Ｓ２Ｃの処理は、適宜省略可能である。

【0055】

（Ｓ３） ＯＣＲ部１４は、Ｓ２で得られた補正後画像データ４Ｃに基づいて、まず、ＯＣＲのための読み取り位置及び領域を検出する。この読み取り位置及び領域は、例えばユーザ設定によって設定される。例えば、入力画像の原点を、矩形の左上の点とする。所定の位置座標の点（ｘ１，ｙ１）が読み取り開始位置（読み取り領域の左上の点）として設定される。所定の位置座標の点（ｘ２，ｙ２）が読み取り終了位置（読み取り領域の右下の点）として設定される。

【0056】

（Ｓ４） ＯＣＲ部１４は、補正後画像データ４Ｃの読み取り領域に対し、ＯＣＲ処理を行って文字を抽出し、結果である文字データ１２３を得る。

【0057】

（Ｓ５） ＯＣＲ部１４は、Ｓ４で得た文字データ１２３に基づいて、ＯＣＲの後処理を行う。文字データ出力部１５は、結果である文字情報を表示装置１０７の画面に表示する。ユーザは、画面に表示された文字情報を確認、チェックし、問題がある場合には修正する。

【0058】

［入力画像例（１）］
図６は、Ｓ２１に係わる、入力の画像データ４Ａ（補正前画像データ４Ｂ）に対応する画像５の例を示す。画像５は、矩形を有し、左上の点を、位置座標の原点（０，０）とする。画像５内の画素の位置座標を（ｘ，ｙ）で表す。Ｘ方向は面内水平方向（横方向）、Ｙ方向は面内垂直方向（縦方向）である。画像の横の長さＸ１、縦の長さＹ１とする。右上の角点の位置座標が（Ｘ１，０）、左下の角点が（０，Ｙ１）、右下の角点が（Ｘ１，Ｙ１）である。画像５の中心点を点Ｇ０とし、位置座標が（Ｘ１／２，Ｙ１／２）である。また、説明上、画像５内でのカード領域７の中心点を点Ｃ０とする。画像５内には、背景領域６とカード領域７とがある。画像５は、説明のためモノクロで簡略化して示しているが、実際にはフルカラーであり、撮像時の照明等の状況に応じて、グラデーションやムラも有する。

【0059】

図６の例では、画像５は、撮像方向として、カード表面に対する垂直方向に対し、ある程度の傾き角度があることで、カード領域７が台形状に歪んでいる場合を示す。また、本例では、カード領域７の縦横比は、規定の縦横比とは異なっており、Ｘ方向がやや拡大されている場合を示す。また、本例では、画像５内のカード領域７の配置の位置が、画像５の中心点Ｇ０に対して少しずれて配置されている場合を示す。

【0060】

［入力画像例（２）］
図７は、他の画像５の例を示す。本例では、画像５内で、背景領域６とカード領域７との境界線、即ちカード３の表面の縁である４つの辺が、不鮮明になっている部分が多い場合を示す。例えば、カード領域７の上辺や下辺は、殆ど映っていない。このような画像の場合、従来技術では、カード領域７の正確な検出が難しい。

【0061】

［入力画像例（３）］
図８は、他の画像５の例を示す。本例では、画像５内で、カード領域７の台形状の歪みは小さいが、カード領域７が左上寄りの位置で、面内で斜めに回転した状態で配置されており、画像５のサイズに対してカード領域７のサイズが比較的小さい。このような画像５の場合、補正処理として、拡大、位置シフト、回転等の処理を行う必要がある。

【0062】

［画像処理（１）−Ｓ２１］
図９は、Ｓ２１の画像端点計算処理に係わる画像５の状態として、端点及び探索線を設定した状態を示す。画像補正部１３は、画像５の矩形枠の４つの枠線上に、所定の端点（画像端点ともいう）を設定する。端点をｐｉで表し、小さい四角で示す。本例では、座標系において、画像５の右辺中間点を端点ｐ１（位置座標としては（Ｘ１，Ｙ１／２））とし、その点から上に４つの辺上を反時計周りに進んで、各々の端点を設定してゆく。画像補正部１３は、各端点の位置座標を計算する。本例では、合計３２個の端点ｐ１〜ｐ３２が設定される場合を示すが、これに限らず可能である。例えば、原点（０，０）の付近に第１の端点ｐ１が設定されてもよい。

【0063】

画像５の右辺では、右上の角点（端点ｐ５）と右下の角点（端点ｐ２９）との間で、角点を含め、９個の端点｛ｐ１〜ｐ５，ｐ２９〜ｐ３２｝が等間隔（縦の長さＹ１の８分の１）で設定されている。上辺では、右上の角点（端点ｐ５）と左上の角点（端点ｐ１３）との間で、角点を含め、９個の端点｛ｐ５〜ｐ１３｝が等間隔（横の長さＸ１の８分の１）で設定されている。右辺の等間隔と上辺の等間隔とが異なる場合を示すが、これに限らず設定可能である。同様に、左辺に９個の端点｛ｐ１３〜ｐ２１｝が設定されており、下辺に９個の端点｛ｐ２１〜ｐ２９｝が設定されている。

【0064】

画像補正部１３は、探索線の設定にあたり、画像５の中心点Ｇ０を用いる。画像補正部１３は、中心点Ｇ０と、複数の各々の端点とを結ぶ線を、探索線（放射線）として設定する。中心点Ｇ０から周りに放射状に探索線が延びている。探索線（放射線）をＬｉで表し、破線で示す。本例では、探索線Ｌ１〜Ｌ３２が設定されている。探索線Ｌｉの一方端が中心点Ｇ０であり、他方端が端点ｐｉである。本例では、画像５の矩形枠の角点にも端点が設定されている。

【0065】

図１０は、画像５の端点及び探索線の他の設定例を示す。中心点Ｇ０の周りに、一定の角度α（例えば約１１度）の間隔で探索線を設定する場合を示す。これにより、画像５の矩形枠の枠線上において、複数の端点（合計３２個）が設定されている。本例では、画像５の矩形枠の角点には端点が設定されていない。

【0066】

［画像処理（２）−Ｓ２２］
図１１は、Ｓ２２の色境界点探索処理に係わる画像５の状態を示す。各々の探索線上で、端点から中心点Ｇ０への方向で、色境界点を探索する様子を示す。背景領域６とカード領域７との色境界点をｑｉで表し、小さい菱形で示す。中心点Ｇ０と端点ｐｉとの間の探索線Ｌｉ上における色境界点ｑｉとする。端点ｐ１の探索線Ｌ１から順に、反時計回りで端点ｐ３２の探索線Ｌ３２まで、探索が行われる。３２本の探索線Ｌ１〜Ｌ３２において、色境界点ｑ１〜ｑ３２が得られている。本例では、３２個の色境界点がうまく検出できた場合を示すが、一部の色境界点がうまく検出できない場合もあり得る。

【0067】

［画像処理（３）−Ｓ２３］
図１２は、Ｓ２３のベクトル計算処理に係わる画像５の状態として、ベクトル等を示す。複数の色境界点｛ｑ１〜ｑ３２｝における、位置が近い隣り合う色境界点同士の間が、ベクトルで接続されている。色境界点間のベクトルを、ベクトルｖ１〜ｖ３２で示す。本例では、３２個のベクトルがうまく検出できた場合を示す。例えば、ベクトルｖ１は、色境界点ｑ１を始点とし、色境界点ｑ２を終点とするベクトルであり、面内での角度の情報を持つ。

【0068】

本例では、３２個の色境界点の間で、隣り合う色境界点同士でベクトルを設定することで、色境界点と同じ数の３２個のベクトルが設定される場合である。これに限らず可能である。後述の変形例では、例えば１個ずつ色境界点を飛ばしてベクトルを設定することで、色境界点の数よりも少ない数のベクトルを設定することも可能である。

【0069】

［画像処理（４）−Ｓ２４］
図１３は、Ｓ２４のグループ化処理に係わる画像５の状態として、グループ等を示す。４つのグループをｇ１〜ｇ４で示す。本例では、カード領域７の右辺の付近において、６個の色境界点ｑ１〜ｑ４，ｑ３１，ｑ３２を有し、それらを結ぶ５個のベクトルｖ１〜ｖ３，ｖ３１，ｖ３２を有する。５個のベクトルｖ１〜ｖ３，ｖ３１，ｖ３２は、角度が類似である（言い換えると角度の差が所定値未満である）。そのため、それらに対応する６個の色境界点が、１つのグループｇ１としてグループ化されている。同様に、カード領域７の上辺の付近では、９個の色境界点ｑ５〜ｑ１３を有し、それらを結ぶ８個のベクトルｖ５〜ｖ１２を有し、それらの９個の色境界点が１つのグループｇ２としてグループ化されている。カード領域７の左辺の付近では、６個の色境界点ｑ１４〜ｑ１９を有し、それらを結ぶ５個のベクトルｖ１４〜ｖ１８を有し、それらの６個の色境界点が１つのグループｇ３としてグループ化されている。カード領域７の下辺の付近では、１０個の色境界点ｑ２０〜ｑ３０を有し、それらを結ぶ９個のベクトルｖ２０〜ｖ２９を有し、それらの１０個の色境界点が１つのグループｇ４としてグループ化されている。

【0070】

なお、カード領域７の角点の付近にあるベクトルｖ４，ｖ１３，ｖ１９，ｖ３０は、他のベクトルとは角度が非類似（言い換えると角度の差が所定値以上である）となっている。そのため、グループ化の際に、それらのベクトルに関する色境界点は、考慮から除外している。

【0071】

［画像処理（５）−Ｓ２５］
図１４は、Ｓ２５の近似直線計算処理、及びＳ２６の交点計算処理に係わる画像５の状態として、近似直線及び交点等を示す。画像補正部１３は、グループ毎の色境界点を用いて近似直線を引く。図１４では、画像５内で、グループｇ１の色境界点を用いて、近似直線Ｍ１が設定されている。同様に、グループｇ２の色境界点を用いて、近似直線Ｍ２が設定されている。グループｇ３の色境界点を用いて、近似直線Ｍ３が設定されている。グループｇ４の色境界点を用いて、近似直線Ｍ４が設定されている。近似直線は、例えば公知の最小二乗法（残差の二乗和を最小とする方法）を用いて計算できる。

【0072】

［画像処理（６）−Ｓ２６］
画像補正部１３は、近似直線の交点を計算する。図１４の画像５では、４つの近似直線Ｍ１〜Ｍ４を用いて、それらの４つの交点Ｑ１〜Ｑ４が計算されている。例えば、近似直線Ｍ１と近似直線Ｍ２との交点Ｑ１等である。交点を二重丸で示す。これらの４つの交点Ｑ１〜Ｑ４が、カード領域７の４つの角点として推定される点である。

【0073】

［画像処理（７）−Ｓ２７］
図１５は、Ｓ２７の射影変換に係わる画像５の状態を示す。画像補正部１３は、４つの交点Ｑ１〜Ｑ４を用いて、公知の射影変換を行う。変換前の４点で示される台形は、変換後の４点で示される直角四角形になる。図１５の（Ａ）は、射影変換前の画像５における４つの交点Ｑ１〜Ｑ４を示す。点Ｃ０ａは、変換前のカード領域７の交点Ｑ１〜Ｑ４に対する中心点を示す。

【0074】

図１５の（Ｂ）は、射影変換後の画像５における４つの交点Ｑ１ｂ〜Ｑ４ｂを示す。なお、点Ｃ０ｂは、変換後のカード領域７ｂの交点Ｑ１ｂ〜Ｑ４ｂに対する中心点を示す。カード領域７ｂは、変換後の交点Ｑ１ｂ〜Ｑ４ｂで規定される直角四角形内の領域を示す。背景領域６ｂは、カード領域７ｂ以外の領域を示す。

【0075】

その後、適宜、画像補正部１３は、前述のＳ２Ｂの拡大／縮小やＳ２Ｃの処理を行う。画像補正部１３は、補正後画像データ４Ｃとして、図１５の（Ｂ）の画像５、あるいはその中から切り出したカード領域７ｂの画像を出力する。

【0076】

［Ｓ２２−詳細］
各ステップの処理の詳細について説明する。

【0077】

図１６は、Ｓ２２の色境界点探索処理の詳細についての説明図である。画像５のうちの右上の一部領域を拡大で示す。Ｓ２２で、画像補正部１３は、画像５内のブロック単位で大まかに色の変化度合いが大きい箇所を特定し、その後、画素単位で詳しく色境界点を探索する。Ｓ２２の処理は、以下のようなステップＳ２２ａ〜Ｓ２２ｆを有する。

【0078】

（Ｓ２２ａ） 画像補正部１３は、前述の探索線（図１１）の上を通るブロックをつくる。図１６では、例として１つの探索線Ｌｉを示す。探索線Ｌｉに対応する端点ｐｉや色境界点ｑｉを示す。画像５の上辺で右上の角点の近くにある端点ｐｉの場合を示す。ブロックは、例えば所定のサイズの正方形の画素領域とする。ブロックの例をブロックｂ１〜ｂ６等で示す。例えば、ブロックｂ１は、端点ｐｉを対角点とする。ブロックｂ１の他方の対角点の付近で探索線Ｌｉが通る画素位置が、次のブロックｂ２の対角点（点ｒ１）である。ブロックｂ２の他方の対角点の付近で探索線Ｌｉが通る画素位置が、次のブロックｂ３の対角点（点ｒ２）である。同様に、順に、ブロックｂ４〜ｂ６等が設定されている。また、結果から見て、色境界点ｑｉを含んだブロックｂ３を、ｎ番目（＃ｎ）のブロックとして示す。このｎ番目のブロックに対し、ブロックｂ１はｎ−２番目（＃ｎ−２）、ブロックｂ２はｎ−１番目（＃ｎ−１）、ブロックｂ４はｎ＋１番目（＃ｎ＋１）、ブロックｂ５はｎ＋２番目（＃ｎ＋２）である。探索範囲１６０は、ブロックｂ２，ｂ３，ｂ４の部分を示し、ｎ番目のブロックｂ３の前後のブロックｂ２，ｂ４を含む部分である。

【0079】

ブロックは、上記構成に限らず可能であり、例えば斜めの状態（探索線の方向に対して直交する辺を持つ形状）としてもよいし、長方形や他の形状としてもよい。

【0080】

（Ｓ２２ｂ） 画像補正部１３は、探索線Ｌｉ上のブロック毎に順次に、ブロック内の画素値を用いて、ブロックの代表色（ｃｉとする）を計算する。代表色は、例えば、ブロック内の全画素値の統計値として、平均値、最頻値等を用いることができる。本例では、ブロックｂ１の代表色ｃ１等を示す。

【0081】

（Ｓ２２ｃ） 画像補正部１３は、探索線Ｌｉ上で順次に、ブロック間で代表色を比較し、注目したブロック（例えば＃ｎ，ｂ３）の代表色（ｃ３）が、１つ前のブロック（＃ｎ−１，ｂ２）の代表色（ｃ２）から大きく変化したかどうかを判断する。その判断では、例えば、所定の閾値を用いる。画像補正部１３は、前後のブロックの代表色の差分値が、その閾値以上かどうかを判断する。画像補正部１３は、注目したブロックの代表色が１つ前のブロックの代表色から大きく変化した場合、即ち差分値が閾値以上である場合、１つ前のブロック（＃ｎ−１，ｂ２）から１つ後のブロック（＃ｎ＋１，ｂ４）までを、次の探索範囲１６０として設定する。Ｓ２２ｃまでの処理は、探索線Ｌｉ上で色境界点ｑｉがありそうな箇所を大まかに特定している処理であり、おそらくｎ番目のブロック（＃ｎ）内であると推定される。推定したｎ番目のブロックに対して前後のブロックを含む範囲を探索範囲１６０として、次のＳ２２ｄ以降の処理で詳しく探索される。

【0082】

（Ｓ２２ｄ） 画像補正部１３は、探索範囲１６０のブロック（例えばｂ２，ｂ３，ｂ４）について、色境界点ｑｉを探索するため、以下の処理を行う。画像補正部１３は、まず、ｎ−１番目（あるいはｎ−２番目としてもよい）のブロック（＃ｎ−１，ｂ２）の代表色（ｃ２）を、背景色ＣＢ（背景領域６の代表色）として一時的に設定する。

【0083】

（Ｓ２２ｅ） 画像補正部１３は、ｎ＋１番目（あるいはｎ＋２番目としてもよい）のブロック（＃ｎ＋１，ｂ４）内で、画素値を用いて、背景色と文字成分の黒色（規定の色）とを除いた色を、カード色ＣＣ（カード領域７の代表色）として一時的に設定する。このカード色ＣＣは、実際のカード３の表面の基本色に対応している。ここで除く規定の色とは、カード３の表面において規定のレイアウトとして記載される文字情報、マーク、その他の項目に関するすべての色である。例えば、赤色のマークがある場合、その赤色も除かれる。

【0084】

（Ｓ２２ｆ） 画像補正部１３は、探索範囲１６０のブロック（ｂ２，ｂ３，ｂ４）を通る探索線Ｌｉ上の全画素について、探索開始点（点ｒ１）から探索終了点（点ｒ４）まで探索を行う。画像補正部１３は、探索範囲１６０内において、着目の画素の色と背景色ＣＢとの色差ＳＢ、及び着目の画素の色とカード色ＣＣとの色差ＳＣを計算し、それらのデータ値をメモリに一時的に保持する。

【0085】

図１７は、色差ＳＢ及び色差ＳＣのデータ値をプロットしたグラフを示す。横軸は探索範囲１６０内の放射線Ｌｉ上の画素（点ｒ１から点ｒ４まで）、縦軸は色差の値を示す。曲線１７１は背景色ＣＢとの色差ＳＢを示し、曲線１７２はカード色ＣＣとの色差ＳＣを示す。点１７３は、色差ＳＢの曲線１７１と色差ＳＣの曲線１７２との交点を示す。点１７３に対応する画素が、色境界点ｑｉとして決定される。点１７３は、背景色ＣＢから遠くなり、カード色ＣＣに近付いた点である。

【0086】

なお、Ｓ２２ｆの処理としては、基本的に、確実性を優先する場合、探索開始点（点ｒ１）から順に探索終了点（点ｒ４）まで画素値を調べるが、処理高速性を優先する場合、点１７３が得られた時点でその画素を色境界点ｑｉとして決定し、処理を終了としてもよい。

【0087】

画像補正部１３は、上記のような処理を、複数の各々の探索線について同様に繰り返す。なお、上記処理例では、端点ｐｉから中心点Ｇ０に向かって探索したが、変形例としては、同様に、中心点Ｇ０から端点ｐｉに向かって探索してもよい。また、複数の探索線の探索に関して、演算装置１０１の構成（例えば並列演算が可能な場合）によっては、順次ではなく、同時並列で探索処理を進めてもよい。

【0088】

補足説明として、色差（Ｓ２２の色差ＳＢ，ＳＣ）の定義は以下である。画素毎に、Ｒ（赤），Ｇ（緑），Ｂ（青）の各色の階調値（例えば２５６階調）を有する。前述の背景色ＣＢやカード色ＣＣも、それぞれ、Ｒ，Ｇ，Ｂの階調値を有する。前述の処理の際、注目画素値と背景色ＣＢの画素値との間で、色差ＳＢとして、ユークリッド距離が計算される。同様に、注目画素値とカード色ＣＣの画素値との間で、色差ＳＣとして、ユークリッド距離が計算される。例えば、色差ＳＢであるユークリッド距離は、以下の式で表すことができる。注目画素値を｛Ｋｒ，Ｋｇ，Ｋｂ｝で表す。Ｋｒ等は階調値を示す。背景色ＣＢの画素値を｛Ｋ１ｒ，Ｋ１ｇ，Ｋ１ｂ｝で表す。式として、√｛（Ｋｒ−Ｋ１ｒ）＾２＋（Ｋｇ−Ｋ１ｇ）＾２＋（Ｋｂ−Ｋ１ｂ）＾２｝である。なお、明るさは、例えば、画素のＲ，Ｇ，Ｂの階調値のうちの最大値を用いて規定される。

【0089】

［Ｓ２３−詳細］
図１８は、Ｓ２３のベクトル計算処理の詳細についての説明図である。以下では、変形例を含め、いくつかの可能な処理例を示す。

【0090】

図１８の（Ａ）は、第１処理例を示す。第１処理例は、図１２と同様の基本処理であるが、画像５内で一番近い位置にある隣り合う色境界点同士でベクトルを設定する処理である。本例では、図１２の画像５のうち上半分の領域を示す。カード領域７の上辺の付近に、９個の色境界点ｑ５〜ｑ１３が並んでいる。隣り合う色境界点ｑ５〜ｑ１３の間で、８個のベクトルｖ５〜ｖ１２が設定されている。例えば、図１１のように反時計周りに調べてゆく場合において、色境界点ｑ５に対し、左側にある一番近い色境界点は、色境界点ｑ６である。そのため、色境界点ｑ５から色境界点ｑ６へのベクトルｖ５が設定される。次に、色境界点ｑ６から、左側にある一番近い色境界点ｑ７へ、同様にベクトルｖ６が設定される。

【0091】

図１８の（Ｂ）は、変形例として、第２処理例を示す。第２処理例は、並んでいる複数の色境界点について、Ｎ個（例えば１個）ずつ飛ばす方式で、色境界点を選択して、選択した色境界点の間にベクトルを設定する処理である。この第２処理例によれば、計算する対象となる色境界点及びベクトルを削減して、処理時間を短縮できる。本例では、色境界点ｑ５から、１つ隣の色境界点ｑ６を飛ばして、次の色境界点ｑ７を選択し、色境界点ｑ５から色境界点ｑ７へのベクトルｖａ１が設定されている。次に、色境界点ｑ７から、１つ隣の色境界点ｑ８を飛ばして、次の色境界点ｑ９を選択し、色境界点ｑ７から色境界点ｑ９へのベクトルｖａ２が設定されている。同様に、ベクトルｖａ３，ｖａ４が設定されている。この場合、得られるベクトルは約半数となっている。

【0092】

図１８の（Ｃ）は、変形例として、第３処理例を示す。第３処理例は、並んでいる複数の色境界点について、順次に１個ずつ飛ばす方式で色境界点を選択し、選択した隣り合う色境界点の間にベクトルを設定する。更に、選択した隣り合う色境界点の中間点を、新たな色境界点として置き換えるように設定する。この処理の目的は、ベクトルに関する角度計算を平均化させて、色境界点が密の場合のベクトルのグループ化の精度を向上させることである。中間点である新色境界点を黒丸点で示す。本例では、まず、色境界点ｑ５の次の色境界点ｑ６に着目すると、その前後の色境界点ｑ５，ｑ７の間にベクトルｖｂ１が設定されると共に、色境界点ｑ５，ｑ７の間の中間点が、色境界点ｑ６に代わる新色境界点ｑ６ｂとして設定される（なお、重なるのでずらして図示している）。次に、色境界点ｑ６の次の色境界点ｑ７に着目すると、その前後の色境界点ｑ６，ｑ８の間にベクトルｖｂ２が設定されると共に、色境界点ｑ６，ｑ８の間の中間点が、色境界点ｑ７に代わる新色境界点ｑ７ｂとして設定される。同様に、各ベクトルｖｂ３〜ｖｂ７及び新色境界点ｑ８ｂ〜ｑ１２ｂが得られる。この場合、以降の処理では、新色境界点ｑ６ｂ〜ｑ１２ｂ等が使用される。

【0093】

図１９は、第３処理例の詳細を示す。図１９の（Ａ）は、前述の図１０の設定例に対応した画像５の下半分の領域を示す。領域１９１は、複数の色境界点が相対的に密に配置されている領域の例を示す。領域１９２は、複数の色境界点が相対的に疎に配置されている領域の例を示す。例えば、領域１９１は、カード領域７の下辺の中間付近であり、５個の色境界点が含まれている。それに対し、領域１９２は、領域１９１と同じような横幅で、カード領域７の下辺の右端付近であり、２個の色境界点が含まれている。図１１のように、中心点Ｇ０から放射状に探索を行うことから、このように画像５内で色境界点が密な領域と疎な領域とが生じる。

【0094】

図１９の（Ｂ）は、色境界点が密な領域の例に関して、画素レベルで拡大したマトリクスで示す。図１９の（Ｂ）は、第１処理例で、隣り合う色境界点同士でベクトルを計算する場合を示す。探索された色境界点に対応する画素を、画素ｐｘ１〜ｐｘ６で示す。色境界点の画素ｐｘ１〜ｐｘ６の間のベクトルを、ベクトルｖｃ１〜ｖｃ５で示す。本例では、複数の色境界点の画素の位置に関してＹ方向でずれがある。画素ｐｘ４は、他の画素に比べてＹ方向で上にずれている。画素ｐｘ１，ｐｘ２の間のベクトルｖｃ１は、その向きを表す角度が１８０である（ベクトルｖｃ２，ｖｃ５も同じ）。なお、ここでは、角度の基準として、面内のＸ軸の右を０度とし、反時計周りに３６０度まで角度をとるとする。一方、ずれがある色境界点の画素ｐｘ４に関して、ベクトルｖｃ３では角度が１５３度であり、ベクトルｖｃ４では角度が２０７度である。

【0095】

Ｓ２１で画像端点及び探索線の数を多く設定した場合、色境界点の数が多くなり、色境界点同士の距離がとても小さくなる場合がある。上記例のように、色境界点が密な領域では、色境界点の位置の１画素の差でも、ベクトルの角度が急激に変化する場合がある。この場合、Ｓ２４でベクトルをグループ化する際の判定の条件を、例えば角度差が１０度以内とした場合、１画素の差で、例えばベクトルｖｃ１とベクトルｖｃ３とが異なるグループに分類されることになる。これは、分類の精度が低くなるので望ましくない。

【0096】

そこで、第３処理例では、ベクトルのグループ化の精度を高める。図１９の（Ｃ）は、（Ｂ）と同様の色境界点が密な領域の例に関して、第３処理例を適用してベクトルを計算し、新色境界点を設定する場合を示す。新色境界点に対応する画素を、画素ｐｘ２ｂ〜ｐｘ５ｂで示す。１つ飛ばしで設定されるベクトルを、ベクトルｖｄ１〜ｖｄ４で示す。例えば、画素ｐｘ１から画素ｐｘ３へのベクトルｖｄ１は、角度が１８０度であり、画素ｐｘ２は、新色境界点の画素ｐｘ２ｂになっている。画素ｐｘ２から画素ｐｘ４へのベクトルｖｄ２は、角度が１７０度であり、画素ｐｘ３は、新色境界点の画素ｐｘ３ｂになっている。画素ｐｘ３から画素ｐｘ５へのベクトルｖｄ３は、角度が１８０度であり、画素ｐｘ４は、新色境界点の画素ｐｘ４ｂになっている。画素ｐｘ４から画素ｐｘ６へのベクトルｖｄ４は、角度が１９０度であり、画素ｐｘ５は、新色境界点の画素ｐｘ５ｂになっている。

【0097】

このように、色境界点が密な領域を考慮して、第３処理例を適用し、前後の色境界点を用いて色境界点同士の距離を確保する。これにより、（Ｂ）の第１処理例の場合よりも、ベクトルの角度の変化の差が小さくなっており、ベクトルｖｃ３のように角度が急に変化することを抑えられる。得られた複数の新色境界点においては、位置のずれが小さくなっている。

【0098】

第３処理例の計算方法は、画像５内のすべての色境界点について行ってもよいし、例えば、所定の閾値を用いて色境界点同士の距離が近いと判断した場合の該当する色境界点のみについて行ってもよい。第３処理例を適用する場合、より精度を高めることができる。

【0099】

［Ｓ２４−詳細］
図２０は、Ｓ２４のグループ化処理の詳細についての説明図である。画像補正部１３は、前述の図１３の例のように得られた複数のベクトルを用いて、ベクトルに対応付けられた色境界点を、ベクトルの角度の類似性に基づいて、グループに分類する。分類されたグループが、カード領域７の辺に対応付けられる。図２０では、ある画像の例（多数の色境界点を含む場合）におけるベクトルの角度のヒストグラムを示す。横軸はベクトルの角度（０〜３６０度）を示す。縦軸は頻度値を示す。破線円は、ベクトルの角度に関するグループとして、グループ２０１〜２０４を示す。グループ２０１は、角度が９０度付近であるベクトルを含むグループであり、図１３のカード領域７の右辺のグループｇ１に対応する。グループ２０２は、角度が１８０度付近であるベクトルを含むグループであり、上辺のグループｇ２に対応する。グループ２０３は、角度が２７０度付近であるベクトルを含むグループであり、左辺のグループｇ３に対応する。グループ２０４は、角度が３６０度（０度）付近であるベクトルを含むグループであり、下辺のグループｇ４に対応する。

【0100】

Ｓ２４の処理は、例えば以下のような処理を含む。（Ｓ２４ａ）画像補正部１３は、ベクトルの角度を用いて、図２０のようなヒストグラムを作成する。（Ｓ２４ｂ）画像補正部１３は、ヒストグラムから、角度及び頻度値に関する４つのピーク部分を探す。（Ｓ２４ｃ）画像補正部１３は、４つのピーク部分に対応付けられる４つのベクトルを、４つのグループｇ１〜ｇ４に分類する。（Ｓ２４ｄ）画像補正部１３は、それぞれのグループで、ピーク部分に対応するベクトルの付近にある複数のベクトルを、そのグループに属するものとして分類する。画像補正部１３は、グループ内のベクトルに対応付けられる色境界点を、そのグループに属するものとして分類する。

【0101】

カード領域７の一辺における複数の色境界点間の複数のベクトルは、角度が概ね類似となる。そのため、その類似性に基づいてグループに分けることができる。通常、処理がうまくいった場合、カード領域７の上下左右の４つの辺に対応して、４つのグループが検出できる。

【0102】

なお、Ｓ２４の処理に関する変形例としては、ベクトルの角度ではなく、色境界点の画素の位置座標を用いてグループ化を行う処理としてもよい。あるいは、ベクトルの角度と色境界点の画素の位置座標との両方を用いてグループ化を行う処理としてもよい。

【0103】

［ノイズ低減処理］
図２１は、更に、ノイズ低減のための処理例についての説明図を示す。実施の形態の画像処理装置は、この処理を行うことにより、画像５内のノイズを低減し、より精度を高めることができる。図２１の（Ａ）は、画像５の一部における明るさムラやノイズの例を示す。本例では、画像５内のＸ方向で明るさにムラがある場合を簡略的な表現で示す（カード領域７でのムラは省略する）。Ｘ方向右側の領域ほど明るく（即ち色が白に近い）、左側の領域ほど暗い（即ち色が黒に近い）。また、本例では、画像５内にノイズが含まれている。ノイズ箇所を白や黒の点で示す。

【0104】

図２１の（Ｂ）は、ノイズ低減のために画像５に適用するフィルタの例として、公知のぼかしフィルタを示す。画像補正部１３は、入力の画像５を処理する際に、画素毎に、ぼかしフィルタを適用する。左側は、ある画素（pix5）とその周辺の画素を含む９個の画素を示す。右側は、ぼかしフィルタであるガウシアンフィルタの構成を示す。画素毎にフィルタの係数を示す。例えば、中心の画素（pix5）については、その画素値の１６分の４の値を使用することを示す。上下左右にある画素（pix2,pix4,pix6,pix8）については、画素値の１６分の２の値を使用することを示す。斜めの角点にある画素（pix1,pix3,pix7,pix9）については、画素値の１６分の１の値を使用することを示す。各画素値に係数を乗算した値の総和値が、中心の画素（pix5）の新たな画素値として適用される。

【0105】

ぼかしフィルタの適用によって、画像５内のノイズが低減される。画像補正部１３は、その画像５を用いて、前述の色境界点の探索等の処理を行う。これにより、カード領域７の検出等の精度を高めることができる。

【0106】

実施の形態の画像処理の方式では、従来技術とは異なり、画像５内の背景領域６とカード領域７との色の差を用いて境界線を検出している。そのため、実施の形態の画像処理の方式は、画像５内の背景領域６の色とカード領域７の色との組み合わせのバリエーションに関して有効である。ただし、カメラ２による撮像画像は、上記例のように明るさムラやノイズを含む場合があり、画素レベルでみると、その画素の色が、背景領域６の色なのか、カード領域７の色なのか、ノイズその他なのか、判断が難しい場合がある。言い換えると、画素間の色の変化が、背景領域６からカード領域７への変化に対応するのか、それ以外の要因による変化に対応するのか、判断が難しい場合がある。

【0107】

そこで、実施の形態では、まず、前述のように、ブロック単位で色の変化を調べる処理を行うことで、明るさムラやノイズによる影響を少なくしている。更に、上記のようにフィルタを用いたノイズ低減の処理を適用することで、明るさムラやノイズによる影響を少なくしている。

【0108】

［効果等］
上記のように、実施の形態の画像処理装置によれば、本人確認証のカード３の撮像画像データに関する画像処理に関して、カード領域７に対する正確な俯瞰画像が得られるように高精度の補正処理ができる。特に、カメラ２によるカード３の撮像時の方向や照明状態等が適切ではなく、カード領域７に台形状の歪みがある画像の場合でも、カード領域７の検出精度を高くでき、歪み補正処理の精度を高くできる。特に、レイアウトにおける特徴情報が少ない種類のカード３の場合でも、カード領域７の検出精度及び歪み補正処理の精度を高くできる。実施の形態の画像処理装置によれば、カード３の表面のレイアウトや色、撮影時の背景の色等に関して、バリエーションが多い場合や、明るさにムラがある画像の場合でも、俯瞰画像への補正の精度を従来技術よりも高くすることができる。

【0109】

［比較例］
実施の形態の画像処理装置に対する比較例として、従来例の画像処理装置では、画像からカード領域の４つの辺を検出する場合、以下のような処理を行う。その画像処理装置は、入力画像であるフルカラー画像から、二値画像（画素値を白黒の二値に変換した画像）を生成する。その画像処理装置は、二値画像から、カード領域の４つの辺の直線部分を検出し、それらの直線の交点を、カード領域の４つの角点として検出する。その画像処理装置は、それらの４つの角点を用いて、射影変換を行うことで、カード領域の形状が直角四角形になるように補正する。しかしながら、二値画像においてカード領域の４つの辺が明瞭に写っていない場合、その補正ができない、または精度が低下する。例えば、カード領域と背景領域との明るさの差が小さい場合や明るさにムラがある場合、４つの辺の直線が写った二値画像が生成できない。

【0110】

また、特許文献１のような技術の場合には、カード領域内の顔写真領域を特徴として利用し、その顔写真領域の形状、大きさや比率を用いて、カード領域の形状、大きさや比率を補正することができる。しかしながら、顔写真領域をうまく検出できない場合、その補正ができない、または精度が低下する。

【0111】

［変形例］
実施の形態の画像処理装置の変形例として以下が挙げられる。図５のＳ２Ｂ，Ｓ２Ｃの公知の処理は、必要に応じて、Ｓ２Ａの処理よりも前に行ってもよい。

【0112】

実施の形態では、画像５の中心点Ｇ０から探索線を設定した。変形例として、画像５内のカード領域７に対応する台形状の領域の中心点（図６の点Ｃ０）を、概略位置座標でよいので任意の手法によって検出し設定する。そして、その台形状の領域の中心点Ｃ０から、同様に探索線Ｌｉ及び端点ｐｉが設定される。

【0113】

探索線Ｌｉ及び端点ｐｉの設定数は、任意でよく、精度と処理速度とのバランス等を考慮して適宜設定すればよい。各種の設定は、実装上の設計事項としてもよいし、ユーザ設定を可能としてもよい。設定部１７は、各種の設定の設定情報１２４を管理する。

【0114】

実施の形態では、Ｓ２２の色境界点ｑｉの探索の際、複数の各々の探索線Ｌｉについて、判定用の閾値として、一律に固定の設定値を用いた。これに限らず、変形例では、探索線Ｌｉ毎に、異なる閾値を適用してもよい。設定情報１２４にその閾値が含まれている。また、ある探索線Ｌｉ上で、ある閾値を用いて判定した結果、色境界点ｑｉが検出できなかったとする。その場合に、その閾値を他の値に変更し、その探索線Ｌｉ上での探索を再試行させてもよい。例えば、最初は一律に基準の閾値を適用する。再試行時には、基準の閾値から、正負の各方向に、所定値で増減させることで、変更後の閾値を決めて適用する。

【0115】

Ｓ２２の探索で、複数の探索線のうち一部の探索線で色境界点が検出できなくても、十分な数の色境界点が検出できた場合には、Ｓ２３以降の処理を成立とする。即ち、ある程度以上の精度で、Ｓ２５の４つの近似直線、Ｓ２６の４つの角点が得られる。精度を考慮し、この十分な数の色境界点に関する最低数が設定されてもよい。例えば、画像５の辺毎に、その最低数として２とする。辺で２つの色境界点が検出できた場合、その２点を結ぶ近似直線をひくことができる。

【0116】

また、Ｓ２２の探索で、端点及び探索線の全数のうち、辺に対応付けられるグループ毎に、所定率（％）の数以上で色境界点が検出できた場合には、成立と判定してもよい。成立の場合、それらの色境界点を用いて、４つの近似直線及び角点が計算される。また、辺のグループ毎に所定数以上の色境界点が検出できずに不成立となった場合に、閾値を変更して再試行を行うようにしてもよい。

【0117】

以上、本発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。

【符号の説明】

【0118】

１…ＯＣＲ装置、２…カメラ、３…カード、５…画像、６…背景領域、７…カード領域、１３…画像補正部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】