特許 6899097 画像処理装置、画像処理方法及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6899097

(24)【登録日】2021年6月16日

(45)【発行日】2021年7月7日

(54)【発明の名称】画像処理装置、画像処理方法及び画像処理プログラム

(51)【国際特許分類】

   G06T 3/40 20060101AFI20210628BHJP

   G06T 1/00 20060101ALI20210628BHJP

   G06T 7/70 20170101ALI20210628BHJP

【ＦＩ】

   G06T3/40 700

   G06T1/00 340A

   G06T7/70 B

【請求項の数】6

【全頁数】14

(21)【出願番号】特願2017-255191(P2017-255191)

(22)【出願日】2017年12月29日

(65)【公開番号】特開2019-121143(P2019-121143A)

(43)【公開日】2019年7月22日

【審査請求日】2019年12月23日

(73)【特許権者】

【識別番号】000006150

【氏名又は名称】京セラドキュメントソリューションズ株式会社

(74)【代理人】

【識別番号】100115831

【弁理士】

【氏名又は名称】藤岡 隆浩

(72)【発明者】

【氏名】宮永 祐香

【審査官】 山田 辰美

(56)【参考文献】

【文献】 特開２０１５−１１８６１７（ＪＰ，Ａ）

【文献】 特開２００８−２５０４０７（ＪＰ，Ａ）

【文献】 特開２０１０−００３２３２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ３／４０

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００−７／９０

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

対称な一対のレンズを有する眼鏡を着用している被写体の画像において、前記一対のレンズの双方の内部で顔の両側の輪郭が検出された場合には、前記検出された両側の輪郭の位置を使用して前記一対のレンズの双方の内部における変形をそれぞれ推定し、前記一対のレンズの一方の内部で顔の一方の輪郭が検出された場合には、前記検出された一方の輪郭の位置を使用して前記一対のレンズの双方の内部における変形を推定する変形推定部と、
前記推定された変形に基づいて前記一対のレンズの双方の内部における画像の補正率を算出し、前記算出された補正率を使用して前記一対のレンズ内の画像を補正する補正処理部と、
を備え、
前記変形推定部は、前記一対のレンズの双方の幅の比率であるレンズ幅比率を算出し、前記レンズ幅比率が予め設定されている閾値の範囲内に入っている場合に前記補正の可否を判断し、
前記補正処理部は、前記補正が可能と判断した場合に前記補正を実行する画像処理装置。

【請求項2】

対称な一対のレンズを有する眼鏡を着用している被写体の画像において、前記一対のレンズの双方の内部で顔の両側の輪郭が検出された場合には、前記検出された両側の輪郭の位置を使用して前記一対のレンズの双方の内部における変形をそれぞれ推定し、前記一対のレンズの一方の内部で顔の一方の輪郭が検出された場合には、前記検出された一方の輪郭の位置を使用して前記一対のレンズの双方の内部における変形を推定する変形推定部と、
前記推定された変形に基づいて前記一対のレンズの双方の内部における画像の補正率を算出し、前記算出された補正率を使用して前記一対のレンズ内の画像を補正する補正処理部と、
を備え、
前記変形推定部は、顔認識処理を実行し、前記顔認識処理を使用して前記顔の傾斜角度を推定し、前記傾斜角度に基づいて前記補正の可否を判断し、
前記補正処理部は、前記補正が可能と判断した場合に前記補正を実行する画像処理装置。

【請求項3】

対称な一対のレンズを有する眼鏡を着用している被写体の画像において、前記一対のレンズの双方の内部で顔の両側の輪郭が検出された場合には、前記検出された両側の輪郭の位置を使用して前記一対のレンズの双方の内部における変形をそれぞれ推定し、前記一対のレンズの一方の内部で顔の一方の輪郭が検出された場合には、前記検出された一方の輪郭の位置を使用して前記一対のレンズの双方の内部における変形を推定する変形推定工程と、
前記推定された変形に基づいて前記一対のレンズの双方の内部における画像の補正率を算出し、前記算出された補正率を使用して前記一対のレンズ内の画像を補正する補正処理工程と、
を備え、
前記変形推定工程は、前記一対のレンズの双方の幅の比率であるレンズ幅比率を算出し、前記レンズ幅比率が予め設定されている閾値の範囲内に入っている場合に前記補正の可否を判断し、
前記補正処理工程は、前記補正が可能と判断した場合に前記補正を実行する工程を含む画像処理方法。

【請求項4】

対称な一対のレンズを有する眼鏡を着用している被写体の画像において、前記一対のレンズの双方の内部で顔の両側の輪郭が検出された場合には、前記検出された両側の輪郭の位置を使用して前記一対のレンズの双方の内部における変形をそれぞれ推定し、前記一対のレンズの一方の内部で顔の一方の輪郭が検出された場合には、前記検出された一方の輪郭の位置を使用して前記一対のレンズの双方の内部における変形を推定する変形推定工程と、
前記推定された変形に基づいて前記一対のレンズの双方の内部における画像の補正率を算出し、前記算出された補正率を使用して前記一対のレンズ内の画像を補正する補正処理工程と、
を備え、
前記変形推定工程は、顔認識処理を実行し、前記顔認識処理を使用して前記顔の傾斜角度を推定し、前記傾斜角度に基づいて前記補正の可否を判断し、
前記補正処理工程は、前記補正が可能と判断した場合に前記補正を実行する工程を含む画像処理方法。

【請求項5】

対称な一対のレンズを有する眼鏡を着用している被写体の画像において、前記一対のレンズの双方の内部で顔の両側の輪郭が検出された場合には、前記検出された両側の輪郭の位置を使用して前記一対のレンズの双方の内部における変形をそれぞれ推定し、前記一対のレンズの一方の内部で顔の一方の輪郭が検出された場合には、前記検出された一方の輪郭の位置を使用して前記一対のレンズの双方の内部における変形を推定する変形推定部、及び
前記推定された変形に基づいて前記一対のレンズの双方の内部における画像の補正率を算出し、前記算出された補正率を使用して前記一対のレンズ内の画像を補正する補正処理部として画像処理装置を機能させ、
前記変形推定部は、前記一対のレンズの双方の幅の比率であるレンズ幅比率を算出し、前記レンズ幅比率が予め設定されている閾値の範囲内に入っている場合に前記補正の可否を判断し、
前記補正処理部は、前記補正が可能と判断した場合に前記補正を実行する画像処理プログラム。

【請求項6】

対称な一対のレンズを有する眼鏡を着用している被写体の画像において、前記一対のレンズの双方の内部で顔の両側の輪郭が検出された場合には、前記検出された両側の輪郭の位置を使用して前記一対のレンズの双方の内部における変形をそれぞれ推定し、前記一対のレンズの一方の内部で顔の一方の輪郭が検出された場合には、前記検出された一方の輪郭の位置を使用して前記一対のレンズの双方の内部における変形を推定する変形推定部、及び
前記推定された変形に基づいて前記一対のレンズの双方の内部における画像の補正率を算出し、前記算出された補正率を使用して前記一対のレンズ内の画像を補正する補正処理部として画像処理装置を機能させ、
前記変形推定部は、顔認識処理を実行し、前記顔認識処理を使用して前記顔の傾斜角度を推定し、前記傾斜角度に基づいて前記補正の可否を判断し、
前記補正処理部は、前記補正が可能と判断した場合に前記補正を実行するる画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関し、特に眼鏡を着用した人物の写真画像を処理する技術に関する。

【背景技術】

【0002】

眼鏡を着用した人物を撮影した画像では、眼鏡により着用者の顔の輪郭が歪むことがある。この現象は、眼鏡のレンズの影響で、目の周辺が縮小又は拡大されたことに起因するものである。このような問題に対して、特許文献１は、眼鏡による顔の影領域および集光領域を推定するとともに、これらの領域で画像の明るさを補正し、補正後の画像では眼鏡による影や、眼鏡による顔のてかりを緩和する技術を提案している。特許文献２は、眼鏡の周辺に写っている顔の輪郭である第１の輪郭情報と、眼鏡の中に写っている顔の輪郭である第２の輪郭情報とを算出し、算出した第１の輪郭情報と第２の輪郭情報との差異に応じて、眼鏡の中に写っている顔の輪郭と眼鏡の外に写っている顔の輪郭とがより近似する方向に、眼鏡の中に写っている顔の輪郭と被写体の目のサイズとを修正する技術を提案している。特許文献３は、画像内に眼鏡のレンズ部分があれば、当該眼鏡のレンズ部分内の画素がどれであるかを推定し、当該推定された眼鏡のレンズ部分内の画素を、当該眼鏡のレンズ部分内の他の位置の画素に写像する変換を行う技術を提案している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８−２５０４０７号公報

【特許文献2】特開２０１５−０６４７６８号公報

【特許文献3】特開２０１５−１１８６１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、従来技術は、いずれも眼鏡を着用した被写体がカメラに正対した場合を想定し、画像取得装置（たとえばカメラ）に対して顔が傾斜した場合までは検討されていなかった。

【0005】

本発明はこのような状況に鑑みてなされたものであり、眼鏡を着用した被写体が画像取得装置に対して傾斜した場合にも対応可能な画像処理を実現する技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の画像処理装置は、対称な一対のレンズを有する眼鏡を着用している被写体の画像において、前記一対のレンズの双方の内部で顔の両側の輪郭が検出された場合には、前記検出された両側の輪郭の位置を使用して前記一対のレンズの双方の内部における変形をそれぞれ推定し、前記一対のレンズの一方の内部で顔の一方の輪郭が検出された場合には、前記検出された一方の輪郭の位置を使用して前記一対のレンズの双方の内部における変形を推定する変形推定部と、前記推定された変形に基づいて前記一対のレンズの双方の内部における画像の補正率を算出し、前記算出された補正率を使用して前記一対のレンズ内の画像を補正する補正処理部とを備える。

【0007】

本発明の画像処理方法は、対称な一対のレンズを有する眼鏡を着用している被写体の画像において、前記一対のレンズの双方の内部で顔の両側の輪郭が検出された場合には、前記検出された両側の輪郭の位置を使用して前記一対のレンズの双方の内部における変形をそれぞれ推定し、前記一対のレンズの一方の内部で顔の一方の輪郭が検出された場合には、前記検出された一方の輪郭の位置を使用して前記一対のレンズの双方の内部における変形を推定する変形推定工程と、前記推定された変形に基づいて前記一対のレンズの双方の内部における画像の補正率を算出し、前記算出された補正率を使用して前記一対のレンズ内の画像を補正する補正処理工程とを備える。

【0008】

本発明の画像処理プログラムは、対称な一対のレンズを有する眼鏡を着用している被写体の画像において、前記一対のレンズの双方の内部で顔の両側の輪郭が検出された場合には、前記検出された両側の輪郭の位置を使用して前記一対のレンズの双方の内部における変形をそれぞれ推定し、前記一対のレンズの一方の内部で顔の一方の輪郭が検出された場合には、前記検出された一方の輪郭の位置を使用して前記一対のレンズの双方の内部における変形を推定する変形推定部、及び前記推定された変形に基づいて前記一対のレンズの双方の内部における画像の補正率を算出し、前記算出された補正率を使用して前記一対のレンズ内の画像を補正する補正処理部として画像処理装置を機能させる。

【発明の効果】

【0009】

本発明によれば、眼鏡を着用した被写体が画像取得装置に対して傾斜した場合にも対応可能な画像処理を実現する技術を提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態に係る画像形成システム１の機能構成を示すブロックダイアグラムである。

【図2】一実施形態に係る眼鏡画像補正処理の内容を示すフローチャートである。

【図3】一実施形態に係る眼鏡レンズのモデル化の様子を示す説明図である。

【図4】一実施形態に係るフレーム内変形推定処理の内容を示すフローチャートである。

【図5】一実施形態に係る比率演算処理の内容を示すフローチャートである。

【図6】一実施形態に係る輪郭比較処理の様子を示す説明図である。

【図7】一実施形態に係る輪郭比較処理の内容を示すフローチャートである。

【図8】一実施形態に係る比率演算処理の内容を示す説明図である。

【図9】一実施形態に係るフレーム内補正処理の内容を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明を実施するための形態（以下、「実施形態」という）を、図面を参照して説明する。

【0012】

図１は、本発明の一実施形態に係る画像読取システム１０の機能構成を示すブロックダイアグラムである。画像読取システム１０は、画像形成装置１００と、スマートフォン２００とを備えている。画像形成装置１００は、制御部１１０と、画像形成部１２０と、操作表示部１３０と、記憶部１４０と、通信インターフェース部（通信Ｉ／Ｆ部とも呼ばれる。）１５０と、自動原稿送り装置（ＡＤＦ）１６０とを備えている。

【0013】

スマートフォン２００は、制御部２１０と、操作表示部２３０と、記憶部２４０と、通信インターフェース部（通信Ｉ／Ｆ部とも呼ばれる。）２５０と、撮像部２６０とを備えている。スマートフォン２００は、通信インターフェース部１５０及び通信インターフェース部２５０を使用して画像形成装置１００と近距離無線通信で接続される。近距離無線通信は、本実施形態では、ＢＬＵＥＴＯＯＴＨ（登録商標）のＣＬＡＳＳ１を使用している。ＢＬＵＥＴＯＯＴＨ（登録商標）のＣＬＡＳＳ１は、出力１００ｍＷの通信であり、画像形成装置１００とスマートフォン２００との距離が１００ｍ以内程度での通信が可能な近距離無線通信である。

【0014】

画像形成装置１００の操作表示部１３０及びスマートフォン２００の操作表示部２３０は、タッチパネルとして機能し、様々なメニューを入力画面として表示し、顧客の操作入力を受け付ける。

【0015】

制御部１１０，２１０は、ＲＡＭやＲＯＭ等の主記憶手段、及びＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の制御手段を備えている。また、制御部１１０は、各種Ｉ／Ｏ、ＵＳＢ（ユニバーサル・シリアル・バス）、バス、その他ハードウェア等のインターフェースに関連するコントローラ機能を備えている。制御部１１０，２１０は、それぞれ画像形成装置１００及びスマートフォン２００の全体を制御する。

【0016】

記憶部１４０，２４０は、非一時的な記録媒体であるハードディスクドライブやフラッシュメモリー等からなる記憶装置で、それぞれ制御部１１０，２１０が実行する処理の制御プログラムやデータを記憶する。記憶部１４０には、スマートフォン２００にインストールするための原稿画像取得アプリケーションプログラム１４１（単にアプリケーションとも呼ばれる。）が記憶されている。制御部１１０は、変形推定部１１１と、補正処理部１１２とを備えている。変形推定部１１１及び補正処理部１１２の機能については後述する。

【0017】

本実施形態では、スマートフォン２００は、画像形成装置１００の記憶部１４０から原稿画像取得アプリケーションプログラム１４１をダウンロードして、記憶部２４０にインストールすることによって、画像形成装置１００と同様に眼鏡画像補正処理を実行することもできる。

【0018】

図２は、一実施形態に係る眼鏡画像補正処理の内容を示すフローチャートである。図３は、一実施形態に係る眼鏡レンズのモデル化の様子を示す説明図である。ステップＳ１００では、スマートフォン２００は、撮像部２６０を使用して画像データ取得処理を実行する。

【0019】

画像データ取得処理では、撮像部２６０は、眼鏡を着用した被写体（後述）を撮像してＲＡＷ画像データ（Ｒａｗ ｉｍａｇｅ ｆｏｒｍａｔ）を画像形成装置１００に送信する。ＲＡＷ画像データは、ＲＡＷ現像処理が実行される前の画像データである。ＲＡＷ画像データは、ＲＡＷ現像処理を行うことなく、パーソナルコンピュータ３００に送信される。

【0020】

ステップＳ２００では、変形推定部１１１は、眼鏡フレーム検出処理を実行する。眼鏡フレーム検出処理では、変形推定部１１１は、顔認識処理を実行し、顔画像の中からパターンマッチングその他の方法を使用して眼鏡フレームＦＲＭと一対の眼鏡レンズＬＬ，ＬＲとを検出する（図３（ａ）参照）。一対の眼鏡レンズＬＬ，ＬＲは、左右に対称な形状を有しているものとする。

【0021】

ステップＳ３００では、変形推定部１１１は、フレーム内代表色推定処理を実行する。フレーム内代表色推定処理では、変形推定部１１１は、一対の眼鏡レンズＬＬ，ＬＲの内部領域において、その内部領域の画像を構成する代表色を内部領域内の複数点で取得する。

【0022】

ステップＳ４００では、変形推定部１１１は、フレーム内代表色が被写体の顔の内部で検知されたか否かを判断する。フレーム内代表色が被写体の顔の内部で検知されなかった場合には、一対の眼鏡レンズＬＬ，ＬＲが反射して、一対の眼鏡レンズＬＬ，ＬＲの内部において被写体の眼や輪郭が見えない状態が想定されるので補正する必要がないからである。

【0023】

変形推定部１１１は、フレーム内代表色が被写体の顔の内部（フレーム外）で検知された場合には、処理をステップＳ５００に進め、フレーム内代表色が被写体の顔の内部（フレーム外）で検知されなかった場合には、処理をステップＳ７００に進める。ステップＳ５００では、変形推定部１１１は、フレーム内変形推定処理を実行する。

【0024】

図４は、一実施形態に係るフレーム内変形推定処理（ステップＳ５００）の内容を示すフローチャートである。ステップＳ５００では、変形推定部１１１は、一対の眼鏡レンズＬＬ，ＬＲが左右対称であることを利用して一対の眼鏡レンズＬＬ，ＬＲをモデル化して以下の処理を実行する。

【0025】

ステップＳ５１０では、変形推定部１１１は、レンズ最外殻点検出処理を実行する。レンズ最外殻点検出処理では、変形推定部１１１は、一対の眼鏡レンズＬＬ，ＬＲのそれぞれの４つの最外殻点（計８点）を特定する（図３（ｂ）参照）。

【0026】

ステップＳ５２０では、変形推定部１１１は、レンズ上下端検出処理を実行する。レンズ上下端検出処理では、変形推定部１１１は、計８つの最外殻点を使用して一対の眼鏡レンズＬＬ，ＬＲの上端を結ぶ線である上端接線ＬＴと、一対の眼鏡レンズＬＬ，ＬＲの下端を結ぶ線である下端接線ＬＢとを取得する。変形推定部１１１は、上端接線ＬＴと下端接線ＬＢとが眼鏡の対称形状に基づいて相互に平行な一対の線として定義可能であることを利用して、一対の眼鏡レンズＬＬ，ＬＲが撮像部２６０に正対した場合の画像を再現することができる（図３（ｃ）参照）。

【0027】

変形推定部１１１は、一対の眼鏡レンズＬＬ，ＬＲを有する眼鏡を着用した被写体の顔認識処理を利用して、撮像部２６０に対する被写体の顔の傾斜角度を推定し、一対の眼鏡レンズＬＬ，ＬＲが撮像部２６０に正対した場合の画像の再現に利用することもできる。これにより、変形推定部１１１は、一対の眼鏡レンズＬＬ，ＬＲが相互に角度（すなわち上から見てフレームＦＲＭが曲がっている。）を有していても撮像部２６０に正対したと仮定した場合の一対の眼鏡レンズＬＬ，ＬＲの画像を再現することができる。

【0028】

変形推定部１１１は、撮像部２６０に正対したと仮定した場合の一対の眼鏡レンズＬＬ，ＬＲの画像を使用して、左側眼鏡レンズＬＬの左端を通って上端接線ＬＴ及び下端接線ＬＢに垂直な線である外側左端接線ＬＬ１と、左側眼鏡レンズＬＬの右端を通って上端接線ＬＴ及び下端接線ＬＢに垂直な線である内側右端接線ＬＬ２と、右側眼鏡レンズＬＲの右端を通って上端接線ＬＴ及び下端接線ＬＢに垂直な線である外側右端接線ＬＲ１と、右側眼鏡レンズＬＲの左端を通って上端接線ＬＴ及び下端接線ＬＢに垂直な線である内側左端接線ＬＲ２とを相互に平行な４本の線として定義する。

【0029】

変形推定部１１１は、上端接線ＬＴと外側左端接線ＬＬ１の交点を第１対角交点ＰＬＴ１と、上端接線ＬＴと内側右端接線ＬＬ２の交点を内側第１交点ＰＬＴ２と、上端接線ＬＴと内側左端接線ＬＲ２の交点を内側第２交点ＰＲＴ２と、上端接線ＬＴと右側右端接線ＬＲ１の交点を第２対角交点ＰＲＴ１とを定義する。

【0030】

変形推定部１１１は、下端接線ＬＢと外側左端接線ＬＬ１の交点を第３対角交点ＰＬＢ１と、下端接線ＬＢと内側右端接線ＬＬ２の交点を内側第３交点ＰＬＢ２と、下端接線ＬＢと内側左端接線ＬＲ２の交点を内側第４交点ＰＲＢ２と、下端接線ＬＢと右側右端接線ＬＲ１の交点を第４対角交点ＰＲＢ１とを定義する。

【0031】

ステップＳ５３０では、変形推定部１１１は、レンズ幅比率算出処理を実行する。レンズ幅比率算出処理では、変形推定部１１１は、撮像部２６０から見たみかけの状態（図３（ｄ）参照）における左側眼鏡レンズＬＬの幅ＷＬと、右側眼鏡レンズＬＲの幅ＷＲとを算出する。次に、変形推定部１１１は、左側眼鏡レンズＬＬの幅ＷＬと、右側眼鏡レンズＬＲの幅ＷＲとの比としてレンズ幅比率ＷＲを算出する。なお、図３（ｄ）は、説明を分かりやすくするために傾斜を誇張して描いてある。

【0032】

ステップＳ５４０では、変形推定部１１１は、レンズ幅比率ＷＲが閾値Ｔｈの範囲内であるか否かを判断する。閾値Ｔｈは、顔の傾斜角度が本実施形態に係る方法で適切な補正可能な範囲内であるか否か（補正の可否）を判断するための値として設定されている。閾値Ｔｈは、たとえば０．９乃至１．１に設定することができる。

【0033】

変形推定部１１１は、レンズ幅比率ＷＲが閾値Ｔｈの範囲内であると判断された場合には、処理をステップＳ５５０に進め、レンズ幅比率ＷＲが閾値Ｔｈの範囲内であると判断されなかった場合には、処理をステップＳ７００に進める（図２参照）。ステップＳ５５０では、変形推定部１１１は、比率演算処理を実行する。

【0034】

図５は、一実施形態に係る比率演算処理（ステップＳ５５０）の内容を示すフローチャートである。図６は、一実施形態に係る輪郭比較処理の様子を示す説明図である。ステップＳ５５１では、変形推定部１１１は、顔輪郭抽出処理を実行する。顔輪郭抽出処理では、変形推定部１１１は、被写体の顔の輪郭線を抽出する。顔の輪郭線には、左側レンズＬＬの外側（外部）に見えるレンズ外輪郭線ＣＦＥ１と、左側レンズＬＬの内側に見えるレンズ内輪郭線ＣＦＬとがある（図６（ａ）参照）。ステップＳ５５２では、変形推定部１１１は、左右の輪郭比較処理を実行する。

【0035】

図７は、一実施形態に係る輪郭比較処理（ステップＳ５５２）の内容を示すフローチャートである。ステップＳ５５２１では、変形推定部１１１は、一対の眼鏡レンズＬＬ，ＬＲの少なくとも一方の内側に顔の輪郭が存在するか否かを判断する。変形推定部１１１は、双方のレンズの内側に顔の輪郭が存在しないと判断した場合には、処理をステップＳ５５２２に進め、少なくとも一方のレンズの内側に顔の輪郭が存在すると判断した場合には、処理をステップＳ５５２３に進める。少なくとも一方のレンズの内側に顔の輪郭が存在する場合とは、一対のレンズの双方の内部で顔の両側の輪郭が検出された場合と、一対のレンズの一方のみの内部で顔の一方の輪郭が検出された場合とを含んでいる。

【0036】

この例では、変形推定部１１１は、左側レンズＬＬの内側には、レンズ内輪郭線ＣＦＬが存在する一方、右側眼鏡レンズＬＲの内側には、レンズ内輪郭線が存在しない（図６（ａ）参照）。よって、変形推定部１１１は、左側レンズＬＬについては処理をステップＳ５５２３に進め、右側眼鏡レンズＬＲの内側については処理をステップＳ５５２２に進める。ステップＳ５５２２では、変形推定部１１１は、顔の輪郭の位置を使用して直接的に補正率を算出することができないので、暫定的に補正率を１に設定する。

【0037】

ステップＳ５５２３では、変形推定部１１１は、内外境界点算出処理を実行する。内外境界点算出処理では、変形推定部１１１は、下端接線ＬＢとレンズ外輪郭線ＣＦＥ１との交点としてレンズ外輪郭交点Ａ１を特定し、下端接線ＬＢとレンズ内輪郭線ＣＦＬ又はその延長線との交点としてレンズ内輪郭点Ａ２を特定する。延長線は、たとえばレンズ内輪郭線ＣＦＬの近似曲線を使用して生成することができる。

【0038】

なお、下端接線ＬＢとレンズ内輪郭線ＣＦＬの交点は、広い意味を有し、下端接線ＬＢとレンズ内輪郭線ＣＦＬの現実の交点だけでなく、下端接線ＬＢとレンズ内輪郭線ＣＦＬの延長線との交点を含む広い意味を有している。

【0039】

下端接線ＬＢとの交点を使用するのは、眼鏡の下端が顔の上下方向の中心の近傍に位置し、眼鏡の近傍なので顔の輪郭の歪が最も顕著に顕在化する上下方向の位置だからである。さらに、下端接線ＬＢは、一対の眼鏡レンズＬＬ，ＬＲの左右方向の対称性を利用して顔の水平方向を特定することもできる。ただし、下端接線ＬＢとの交点に限定されるものではなく、下端接線ＬＢの近傍（たとえば顔の上下方向の中心位置）に下端接線ＬＢに平行な線を設定してもよい。

【0040】

ステップＳ５５２４では、変形推定部１１１は、外側接線取得処理を実行する。外側接線取得処理では、変形推定部１１１は、レンズ外輪郭交点Ａ１を通って下端接線ＬＢに垂直な線を輪郭基準線Ｌ１として特定する。レンズ内輪郭交点Ａ２は、レンズＬＬによる屈折現象がなければ輪郭基準線Ｌ１上に配置される点である。

【0041】

ステップＳ５５２５では、変形推定部１１１は、内側境界点が一致するか否かを判断する。すなわち、変形推定部１１１は、レンズ外輪郭交点Ａ１とレンズ内輪郭交点Ａ２とが一致するか否かを判断する。変形推定部１１１は、両者が一致しないと判断した場合には、処理をステップＳ５５２６に進め、両者が一致すると判断した場合には、処理をステップＳ５５２２に進める。ステップＳ５５２２では、両者が一致しているので、変形推定部１１１は、レンズＬＬによる屈折現象が発生しておらず補正が不要であると判断して補正率を１に設定する。

【0042】

図８は、一実施形態に係る比率演算処理の内容を示す説明図である。ステップＳ５５２６では、変形推定部１１１は、焦点Ｆ取得処理を実行する。焦点Ｆ取得処理では、変形推定部１１１は、第１対角交点ＰＬＴ１と第４対角交点ＰＲＢ１とを結ぶ直線ＬＤ１と、第２対角交点ＰＲＴ１と第３対角交点ＰＬＢ１とを結ぶ直線ＬＤ２との交点Ｆを焦点Ｆとして取得する。

【0043】

ステップＳ５５２７では、変形推定部１１１は、基準点ＦＢ特定処理を実行する。基準点ＦＢ特定処理では、変形推定部１１１は、下端接線ＬＢに対して垂直な直線を交点Ｆから伸ばして下端接線Ｌに交わる点を基準点ＦＢとして取得する（図８（ａ）参照）。

【0044】

ステップＳ５５２８では、変形推定部１１１は、内外境界点距離算出処理を実行する。内外境界点距離算出処理では、変形推定部１１１は、基準点ＦＢからレンズ外輪郭交点Ａ１までのレンズ外輪郭距離Ｍ１と、基準点ＦＢからレンズ内輪郭交点Ａ２までのレンズ内輪郭距離Ｍ２とを取得する（図８（ｂ）参照）。

【0045】

ステップＳ５５２９では、変形推定部１１１は、補正前比率算出処理を実行する。内外補正前比率算出処理では、変形推定部１１１は、レンズ外輪郭距離Ｍ１に対するレンズ内輪郭距離Ｍ２の比として補正前比率ＲＬ（＝Ｍ２／Ｍ１）を算出する。補正前比率ＲＬは、レンズの屈折で画像が変形される程度を表す縮小比率である。

【0046】

補正前比率ＲＬは、一対の眼鏡レンズＬＬ，ＬＲの度数に応じて変化する。具体的には、近視用の眼鏡では、補正前比率ＲＬが１より小さく（レンズ内の領域が屈折で縮小）しているが、遠視用の眼鏡では、補正前比率ＲＬが１よも大きく（レンズ内の領域が屈折で拡大）なる。

【0047】

ステップＳ５５３（図５参照）では、変形推定部１１１は、左右の両方の補正前比率ＲＬが１であるか否かを判断する。変形推定部１１１は、両方の補正前比率ＲＬが１であると判断した場合には、補正が不要なので処理をステップＳ７００（図２参照）に進め、左右の少なくとも一方の補正前比率ＲＬが１でないと判断した場合には、処理をステップＳ５５４に進める。

【0048】

ステップＳ５５４では、変形推定部１１１は、一方の補正前比率ＲＬが１であるか否かを判断する。変形推定部１１１は、一方の補正前比率ＲＬが１であると判断した場合には、処理をステップＳ５５５に進め、左右の両方が１でないと判断した場合には、処理をステップＳ５５６に進める。

【0049】

ステップＳ５５５では、変形推定部１１１は、補正前比率ＲＬが１でない方で他方の補正前比率ＲＬ（値は「１」）を置換する。具体的には、変形推定部１１１は、図６（ａ）の例において、右側眼鏡レンズＬＲの暫定的な補正率１を左側レンズＬＬの補正率（補正前比率ＲＬの逆数）で置換する。

【0050】

ステップＳ５５６では、変形推定部１１１は、図６（ｂ）の例において、左側レンズＬＬの補正率と右側眼鏡レンズＬＲの補正率とをそれぞれ維持する。左側レンズＬＬ及び右側眼鏡レンズＬＲは、いずれも顔の輪郭ＣＦＥ２を使用して直接的に補正率を算出することができるので、それぞれ算出された補正率を使用することができる。

【0051】

ステップＳ６００（図２参照）では、変形推定部１１１は、フレーム内補正処理を実行する。フレーム内補正処理では、変形推定部１１１は、補正率を使用して一対の眼鏡レンズＬＬ，ＬＲのそれぞれの内側の画像を補正する。

【0052】

図９は、一実施形態に係るフレーム内補正処理（ステップＳ６００）の内容を示すフローチャートである。ステップＳ６１０では、補正処理部１１２は、フレーム内基準幅算出処理を実行する。フレーム内基準幅算出処理では、補正処理部１１２は、フレーム内基準幅ＮＬ１を算出する（図８（ｃ）参照）。フレーム内基準幅ＮＬ１は、焦点Ｆから外側左端接線ＬＬ１までの距離である。外側左端接線ＬＬ１は、左側眼鏡レンズＬＬの左端を通って上端接線ＬＴ及び下端接線ＬＢに垂直な線である。

【0053】

ステップＳ６２０では、補正処理部１１２は、フレーム内基準点特定処理を実行する。フレーム内基準点特定処理では、補正処理部１１２は、フレーム内基準点ＦＬを特定する。フレーム内基準点ＦＬは、焦点Ｆを通る下端接線ＬＢに並行な線上において、焦点Ｆからフレーム内基準幅ＮＬ１の半分の距離の点としてフレーム内基準点ＦＬを特定する。

【0054】

ステップＳ６３０では、補正処理部１１２は、拡大比率算出処理を実行する。拡大比率算出処理では、補正処理部１１２は、補正前比率ＲＬ（＝Ｍ２／Ｍ１）の逆数を拡大比率ＲＥとする。本実施形態では、拡大比率ＲＥは、補正率に相当する。

【0055】

ステップＳ６４０では、補正処理部１１２は、画像拡大処理を実行する。画像拡大処理では、補正処理部１１２は、フレーム内基準点ＦＬを中心として左側眼鏡レンズＬＬの内部領域の画像を拡大比率ＲＥで拡大して拡大画像を生成する。

【0056】

ステップＳ６５０では、補正処理部１１２は、拡大画像の各画素が左側眼鏡レンズＬＬの内部領域であるか否かを画素毎に判断する。変形推定部１１１は、拡大画像の各画素が左側眼鏡レンズＬＬの内部領域であると判断した場合には、処理をステップＳ６６０に進め拡大画像の各画素が左側眼鏡レンズＬＬの内部でないと判断した場合には、処理をステップＳ６７０に進める。

【0057】

ステップＳ６６０では、は、左側眼鏡レンズＬＬの内部領域で拡大前の元の画像を拡大画像に置換する。ステップＳ６７０では、補正処理部１１２は、左側眼鏡レンズＬＬの内部領域で拡大前の元の画像を維持する。

【0058】

ステップＳ７００（図２参照）では、制御部１１０は、画像データ出力処理を実行する。画像データ出力処理では、制御部１１０は、ＲＡＷ画像データに対してＲＡＷ現像処理を施すとともに、Ｊｐｅｇデータ等のデータサイズが小さな画像データに変換して出力する。画像形成装置１００は、画像形成部１２０を使用して印刷物として出力することもできる。

【0059】

このように、一実施形態に係る画像形成システム１によれば、眼鏡を着用した被写体が画像取得装置に対して傾斜した場合を想定した画像処理を実現することができる。さらに、本方法は、一対の眼鏡レンズＬＬ，ＬＲの外形の対称性を利用しているので、瞼を閉じていても支障なく補正することができるという利点を有している。

【0060】

Ｃ．変形例：
本発明は、上記各実施形態だけでなく、以下のような変形例でも実施することができる。

【0061】

上記各実施形態では、本発明は、画像形成装置に適用されているが、画像処理装置や撮像部を有する携帯機器（スマートフォンを含む。）に適用することもできる。

【符号の説明】

【0062】

１０ 画像読取システム
１００ 画像形成装置
１１０ 制御部
１１１ 変形推定部
１１２ 補正処理部
１２０ 画像形成部
１３０ 操作表示部
１４０，２４０ 記憶部
１５０，２５０ 通信インターフェース部
１６０ 自動原稿送り装置（ＡＤＦ）
２００ スマートフォン
２１０ 制御部
２３０ 操作表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】