特許 6953178 画像処理装置、画像処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6953178

(24)【登録日】2021年10月1日

(45)【発行日】2021年10月27日

(54)【発明の名称】画像処理装置、画像処理方法、プログラム

(51)【国際特許分類】

   H04N 1/60 20060101AFI20211018BHJP

   H04N 1/387 20060101ALI20211018BHJP

   G06T 1/00 20060101ALI20211018BHJP

【ＦＩ】

   H04N1/60

   H04N1/387

   G06T1/00 510

【請求項の数】9

【全頁数】14

(21)【出願番号】特願2017-101110(P2017-101110)

(22)【出願日】2017年5月22日

(65)【公開番号】特開2018-196096(P2018-196096A)

(43)【公開日】2018年12月6日

【審査請求日】2020年5月15日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】宮内 崇

【審査官】 野口 俊明

(56)【参考文献】

【文献】 特開２０００−０１３６１３（ＪＰ，Ａ）

【文献】 特開平０２−２２４５６９（ＪＰ，Ａ）

【文献】 特開２０１３−０５８９６６（ＪＰ，Ａ）

【文献】 特開２００４−０７８３２４（ＪＰ，Ａ）

【文献】 特開２０１５−１０３９１５（ＪＰ，Ａ）

【文献】 特開２０１５−１７９９９５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／４６−１／６２

Ｈ０４Ｎ １／４０−１／４０９

Ｈ０４Ｎ １／３８７

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

画像を取得する取得手段と、
第一のモードが設定された場合は、前記取得された画像に対して第一の画像処理を行い、第二のモードが設定された場合は、前記取得された画像に対して第二の画像処理を行う画像処理手段と、
前記第一のモードが設定された場合は、前記画像処理手段により前記第一の画像処理が行われた画像を出力先に出力し、前記第二のモードが設定された場合は、前記画像処理手段により前記第二の画像処理が行われた画像を出力先に出力する出力手段と、
を有する画像処理装置であって、
前記第一の画像処理は、前記取得された画像に対して照明ムラと明るさムラの少なくともいずれかを取り除く第一の除去処理と、前記第一の除去処理を実行した後の画像を先鋭化する先鋭化処理と、を含み、
前記第二の画像処理は、前記取得された画像に対して照明ムラと明るさムラの少なくともいずれかを取り除く第二の除去処理と、前記第二の除去処理を実行した後の画像における文字部を判定し、当該判定された文字部の色が、予め用意された複数の異なる置換色のうちのいずれか１色の範囲に該当する場合は、当該該当する１色を用いて当該文字部の色を単色化する一方、当該判定された文字部の色が、前記予め用意された複数の異なる置換色のいずれの範囲にも該当しない場合は、当該文字部の平均色を用いて当該文字部の色を単色化する単色化処理と、を含むことを特徴とする画像処理装置。

【請求項2】

ユーザの指示に基づいて、前記第一のモードと前記第二のモードのいずれかが設定されることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記単色化処理における前記文字部の判定では、前記取得された画像に対して二値化処理を行うことにより得られる２値画像に基づいて前景領域を特定し、当該特定した前景領域の属性判定を行うことによって、前記第二の除去処理を実行した後の画像における前記文字部を判定する、ことを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記予め用意された複数の異なる置換色は、ホワイトボードに描かれるマーカーに対応する色であることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。

【請求項5】

前記出力先はユーザによって指定された出力先であることを特徴とする請求項１に記載の画像処理装置。

【請求項6】

処理対象の画像に対して、該処理対象の画像中の一部の画像を矩形状に幾何補正する幾何補正手段をさらに有し、
前記取得手段で取得された画像は、前記幾何補正手段で幾何補正が行われた後の画像であることを特徴とする請求項１に記載の画像処理装置。

【請求項7】

前記画像処理装置は、被写体を撮影する撮影機能を備え、
前記取得される画像は、前記撮影機能による撮影に基づいて取得された画像であることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。

【請求項8】

画像を取得する取得工程と、
第一のモードが設定された場合は、前記取得された画像に対して第一の画像処理を行い、第二のモードが設定された場合は、前記取得された画像に対して第二の画像処理を行う画像処理工程と、
前記第一のモードが設定された場合は、前記画像処理工程で前記第一の画像処理が行われた画像を出力先に出力し、前記第二のモードが設定された場合は、前記画像処理工程で前記第二の画像処理が行われた画像を出力先に出力する出力工程と、を有する画像処理方法において、
前記第一の画像処理は、前記取得された画像に対して照明ムラと明るさムラの少なくともいずれかを取り除く第一の除去処理と、前記第一の除去処理を実行した後の画像を先鋭化する先鋭化処理と、を含み、
前記第二の画像処理は、前記取得された画像に対して照明ムラと明るさムラの少なくともいずれかを取り除く第二の除去処理と、前記第二の除去処理を実行した後の画像における文字部を判定し、当該判定された文字部の色が、予め用意された複数の異なる置換色のうちのいずれか１色の範囲に該当する場合は、当該該当する１色を用いて当該文字部の色を単色化する一方、当該判定された文字部の色が、前記予め用意された複数の異なる置換色のいずれの範囲にも該当しない場合は、当該文字部の平均色を用いて当該文字部の色を単色化する単色化処理と、を含むことを特徴とする画像処理方法。

【請求項9】

請求項１乃至７の何れか１項に記載の画像処理装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像に含まれる類似色部分を所定の色で単色化する技術に関する。

【背景技術】

【0002】

近年、スマートフォンやタブレットＰＣといった高度な情報処理機能を持つ携帯端末が普及してきている。これら携帯端末は、カメラを備え、撮影機能（カメラ機能）を有している。このような携帯端末のカメラ機能を用いて、文字が記載された紙面やホワイトボード面を撮影し、携帯端末のメモリ上に画像データとして保存することが行われるようになってきた。

【0003】

携帯端末のカメラ機能を用いた撮影は、ドキュメントフィーダーや原稿台を備えるスキャナによる原稿スキャンとは異なり、撮影方向や光源などの撮影時の環境は様々に変化する。そのため、斜め方向から撮影したために原稿の画像が幾何学的に歪んでしまう場合や、紙面やホワイトボード面以外の余計なものが写ってしまう場合がある。そこで従来、撮影された画像から紙面やホワイトボード面の領域を切り出し、歪み補正（台形補正と呼ばれる場合もある）を施すことで、幾何学的に歪んでいる原稿領域の画像を矩形形状に補正することが行われている。

【0004】

また、特許文献１は、撮影した画像内の影成分（環境光や影の映り込みなどの影響による明るさムラ）を推定し、その推定した影成分の情報にもとづき、撮影した画像から影成分を除去する方法を開示している。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１７−２２６２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１の方法は、撮影した画像から影成分を除去することができる。しかしながら、影成分の除去後の画像であっても、原稿上はもともと同じ色の前景同士の色が異なる場合がある。そこで本発明者は、所定の色範囲に収まる色（例えば赤っぽい色）を持つ前景部分を、所定の色（例えば赤成分のみを持つ色）で単色化することで、色が類似する前景部分の色を一色で統一して視認性を向上させることを考えた。しかし一方で、細かな色の違いを維持して原稿の原本性（原稿との見た目の類似性）を重視する場合には、前景部分の単色化は望ましくない、という課題を本発明者は発見した。

【0007】

本発明は、上記事情に鑑みてなされたものであり、ある画像について、所定の単色化処理を行った画像の出力先への出力も、所定の単色化処理を行わなかった画像のその出力先への出力も可能にすることを目的とする。

【課題を解決するための手段】

【0008】

本発明の画像処理装置は、画像を取得する取得手段と、第一のモードが設定された場合は、前記取得された画像に対して第一の画像処理を行い、前記第二のモードが設定された場合は、前記取得された画像に対して第二の画像処理を行う画像処理手段と、前記第一のモードが設定された場合は、前記画像処理手段により前記第一の画像処理が行われた画像を出力先に出力し、前記第二のモードが設定された場合は、前記画像処理手段により前記第二の画像処理が行われた画像を出力先に出力する出力手段と、を有する画像処理装置であって、前記第一の画像処理は、前記取得された画像に対して照明ムラと明るさムラの少なくともいずれかを取り除く第一の除去処理と、前記第一の除去処理を実行した後の画像を先鋭化する先鋭化処理と、を含み、前記第二の画像処理は、前記取得された画像に対して照明ムラと明るさムラの少なくともいずれかを取り除く第二の除去処理と、前記第二の除去処理を実行した後の画像における文字部を判定し、当該判定された文字部の色が、予め用意された複数の異なる置換色のうちのいずれか１色の範囲に該当する場合は、当該該当する１色を用いて当該文字部の色を単色化する一方、当該判定された文字部の色が、前記予め用意された複数の異なる置換色のいずれの範囲にも該当しない場合は、当該文字部の平均色を用いて当該文字部の色を単色化する単色化処理と、を含むことを特徴とする。

【発明の効果】

【0009】

本発明によれば、所定の単色化処理を行った画像の出力先への出力も、所定の単色化処理を行わなかった画像のその出力先への出力も可能にする。

【図面の簡単な説明】

【0010】

【図1】実施例１の携帯端末の概観図である。

【図2】実施例１の携帯端末の概略構成を示すブロック図である。

【図3】実施例１の処理手順のフローチャートである。

【図4】実施例１の枠検知処理、枠指定、歪み補正処理を表す図である。

【図5】実施例１の画像補正処理のフローチャートである。

【図6】実施例１の画像補正処理結果の例を示す図である。

【図7】実施例２の画像補正処理のフローチャートである。

【図8】実施例２の画像補正処理結果の例を示す図である。

【発明を実施するための形態】

【0011】

（実施例１）
以下に、本発明を実施するための形態について図面を用いて説明する。

【0012】

＜携帯端末の構成＞
図１に本実施例で利用する携帯端末（画像処理装置、情報処理装置）１０１の外観を示す。図１（ａ）は、携帯端末１０１を表側の外観図であり、表側には、タッチパネルディスプレイ１０２、操作ボタン１０３が含まれる。図１（ｂ）は、携帯端末１０１の裏側の外観図であり、裏側には、カメラ１０４が配置されている。また、カメラ１０４には図示しないオートフォーカス機構が搭載されており、これにより焦点距離や被写体距離を測定することもできる。

【0013】

なお、本実施例は撮影機能（カメラ機能）を備える携帯端末ならば利用が可能である。例えば、撮影機能（カメラ機能）を有するスマートフォン（携帯電話）やタブレット端末やパソコン（ＰＣ）のみならず、タッチパネルディスプレイを有するデジタルカメラでも構わない。また、有線または無線でカメラと接続されたＰＣ等でも実施可能である。また、カメラ等で撮影された画像が保存されている保存装置（メモリカード等）から、携帯端末やＰＣ等が画像を読み込んで本実施例の処理を行うことも可能である。

【0014】

図２に携帯端末１０１のハードウェア構成を示す。但し、この構成図は本実施例を実施するための構成の一例であり、この構成に限るものではない。

【0015】

図２において、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３がデータバス２０９を介してプログラムやデータを送受信する。データバス２０９には、記憶部２０４、データ送受信部２０５、撮像部２０６、表示部２０７、操作部２０８が接続される。さらに、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３も併せて、互いにプログラムやデータの送受信を行う。

【0016】

記憶部２０４は、フラッシュメモリであり、画像や後述する各フローチャートを実行するための各種プログラムを格納する。

【0017】

データ送受信部２０５は、無線ＬＡＮコントローラを有し、外部サーバや外部プリンタなどの外部装置とのデータの送受信を実現する。

【0018】

撮像部２０６は、カメラ１０４であり、ホワイトボードの撮影を行って撮影画像を取得する。取得された撮影画像のデータには、携帯端末のメーカー名やモデル名・画像解像度・絞り（Ｆ値）・焦点距離などのヘッダー情報が付与され、後述のように各部に送信される。

【0019】

表示部２０７は、タッチパネルディスプレイ１０２のディスプレイであり、カメラ機能を用いてホワイトボードを撮影する際にライブビュー映像が表示される。

【0020】

操作部２０８は、タッチパネルディスプレイ１０２のタッチパネルや操作ボタン１０３であり、ユーザからの操作を受け付けて各部へ該操作の情報を送信する。

【0021】

なお、ＣＰＵ２０１がＲＯＭ２０３または記憶部２０４で保持されているコンピュータプログラムを実行することで、これらの携帯端末１０１内の構成要素の制御を行う。

【0022】

＜フローチャートを用いた本実施例の詳細説明＞
図３は、本実施例における携帯端末１０１が実行する処理手順を説明するフローチャートである。図４は、被写体としてホワイトボード面を撮影した場合を例にして、撮影画像からホワイトボード面の領域を切り出す処理の流れを示した図である。なお、携帯端末１０１のＣＰＵ２０１（コンピュータ）が、ＲＯＭ２０３に格納されている処理プログラムをＲＡＭ２０２にロードして実行することにより、図３の各ステップの処理を実行する処理部として機能する。また、データ送受信部２０５を介して外部から取得した処理プログラムを記憶部２０４に格納し、ＲＡＭ２０２にロードして実行することで機能してもよい。本実施例では、ユーザが携帯端末１０１を用いて紙面やホワイトボード面を被写体として撮影し、撮影画像内から被写体の領域だけを切り出して補正し、ユーザが指定した出力先に補正後の画像を出力するアプリケーションを想定している。出力先の指定はユーザが事前に行ってもよいし、後述のＳ３０８で終了指示を受け付けた後にユーザがしているようにしてもよい。

【0023】

ステップＳ３０１において、ＣＰＵ２０１は、ユーザによって選択または撮影された画像を入力画像として取得する。入力画像が選択される場合には、ＣＰＵ２０１は、記憶部２０４やメモリカード等に格納されている画像の中から、操作部２０８によってユーザが選択した画像を、データバス２０９を経由して取得する。また、入力画像が撮影される場合には、ＣＰＵ２０１は、操作部２０８によってユーザが撮影指示を行って撮像部２０６がキャプチャーした画像を、データバス２０９を経由して取得する。図４（ａ）は、入力画像であり、画像内にホワイトボード面４０１を含む。

【0024】

ステップＳ３０２において、ＣＰＵ２０１は、ステップＳ３０１で取得した入力画像から、ホワイトボード面を表す四辺形領域を特定する領域特定処理を実行する。領域特定処理は、ホワイトボード面の各辺の候補となる候補線分群（候補辺群）を検出し、その候補線分群の組み合わせで構成される四辺形を評価することで実現する。なお、候補線分群の検出と、四辺形の評価方法は公知の方法でよい。たとえば、候補線分群は、入力画像から検出されたエッジ情報を、極座標上に投票して直線を検出するＨｏｕｇｈ変換アルゴリズムによって検出する。また、四辺形は、対辺の長さの比や内角の大きさ、アスペクト比などの幾何学的な情報に基づいて評価してもよいし、四辺形を構成する線分について、内側と外側の色味や分散を比較するなどの画像情報に基づいて評価してもよい。なお本実施例ではホワイトボード面の領域を特定するようにしているが、被写体が紙面の場合には紙面の領域を特定すればよい。

【0025】

ステップＳ３０３において、ＣＰＵ２０１は、ステップＳ３０２で検出された四辺形領域を前記入力画像に重ねて表示し、当該表示された四辺形領域の形状変更（修正）をユーザから受け付ける領域指定処理を実行する。図４（ｂ）は、入力画像上に特定された四辺形領域を重ねて表示した画像である。４０２、４０３、４０４、４０５が特定された領域の辺を示しており、ユーザから辺の位置の指示を受け付けるための辺ハンドラである。また、４０６、４０７、４０８、４０９は特定された領域の頂点を示しており、ユーザから頂点の位置の指示を受け付けるための頂点ハンドラである。ユーザが辺ハンドラおよび頂点ハンドラを、選択して操作することで四辺形領域の形状変更を可能にする。

【0026】

ステップＳ３０４において、ＣＰＵ２０１は、ステップＳ３０３で指定された四辺形領域にしたがって、入力画像のうち一部（この四辺形領域に含まれる画像）を抽出して矩形状の画像になるように歪みを補正する歪み補正処理（幾何補正処理）を実行する。歪み補正は、四辺形領域が台形以外の形状に歪んでいる場合も考慮し、射影変換を利用する。射影変換行列は、入力画像内の四辺形領域の頂点情報（頂点４０６、４０７、４０８、４０９）と、出力画像の四隅の座標情報（４１０、４１１、４１２、４１３）から公知の方法により算出することが可能である。なお、処理速度を優先する場合には、アフィン変換行列や単純な変倍率を変倍パラメータとして算出しても良い。歪み補正の結果画像を示したのが、図４（ｃ）である。

【0027】

ステップＳ３０５において、ＣＰＵ２０１は、ステップＳ３０４で得られた歪み補正後の画像に対して、画像補正処理を実行する。画像補正処理の詳細については、図５および図６を用いて後述する。

【0028】

ステップＳ３０６において、ＣＰＵ２０１は、ステップＳ３０５で得られた画像補正結果画像を表示部２０７に表示する。

【0029】

ステップＳ３０７において、ＣＰＵ２０１は、操作部２０８によって、ユーザから画像補正モード指示（画像補正の種類を選択する指示）または終了指示（画像補正の結果を確定する指示）を受け付ける。

【0030】

ステップＳ３０８において、ＣＰＵ２０１は、ステップＳ３０７で、画像補正モード指示を受け付けたか、終了指示を受け付けたか判断する。ステップＳ３０７で、画像補正モード指示を受け付けた場合には、ステップＳ３０５に処理を進め、再度、画像補正処理を実行する。ステップＳ３０７で、終了指示を受け付けた場合には、ＣＰＵ２０１は、画像補正処理後の画像をユーザが指定した出力先（記憶部２０４の指定フォルダや指定された外部サーバや指定された外部プリンタなど）に出力して処理を終了する。画像を外部装置へ画像を出力する場合にはＣＰＵ２０１はデータ送受信部２０５を介して画像を出力する。

【0031】

＜画像補正処理（Ｓ３０５）の詳細説明＞
画像補正処理の詳細について、図５を用いて説明する。本フローの処理対象である入力画像は、Ｓ３０５の歪み補正後の画像である。

【0032】

ステップＳ５０１において、ＣＰＵ２０１は、画像補正モードを取得して判断する。このステップＳ５０１が図３のステップＳ３０４の次に行われる場合には、ＣＰＵ２０１は、予め設定されている画像補正モード（例えば第一の画像補正モード）を取得する。なお、この場合には、予め設定された画像補正モードではなく、このアプリケーションの直近の実行において実行された画像補正モードを取得してもよい。一方、このステップＳ５０１が図３のステップＳ３０８の次に行われる場合には、ＣＰＵ２０１は、ステップＳ３０７で受け付けた画像補正モードを取得する。取得した画像補正モードが、第一の画像補正モードであった場合には、ステップＳ５０２に処理を進める。また、取得した画像補正モードが、第二の画像補正モードであった場合には、ステップＳ５０４に処理を進める。

【0033】

ステップＳ５０２、Ｓ５０３に示す処理が、第一の画像補正モードにおける補正処理であり、ステップＳ５０４〜Ｓ５０６に示す処理が、第二の画像補正モードにおける補正処理である。

【0034】

ステップＳ５０２において、ＣＰＵ２０１は、入力画像から照明ムラや影などの明るさのムラを取り除く影除去処理を実行する。影除去処理は、入力画像から照明ムラや影などの明るさムラを推定した影成分画像（入力画像面内の画素値補正情報）を生成し、入力画像と影成分画像との差分値に応じて入力画像を補正することで実現する。入力画像から影成分画像を生成するために、ＣＰＵ２０１は、入力画像をブロック分割し、ブロックごとに輝度値（明るさ情報）を解析する。そしてＣＰＵ２０１は、各ブロックからブロック内で最大輝度値を持つ画素のＲ（赤）Ｇ（緑）Ｂ（青）それぞれの成分の画素値を代表画素値として算出する。本実施例では、入力画像を３２×３２個のブロックに分割する。このとき、ブロック内に下地領域（例えば紙原稿やホワイトボードの白い領域）が含まれている場合には、正しく影成分を取得できる。一方、写真や図などの大きいオブジェクトの影響でブロック内に下地領域が無い場合には、正しい影成分を取得することが困難である。そこで、周辺ブロックと比較して極端に暗いブロックについては、周辺ブロックの代表値を利用して補正する。例えば、隣接ブロック内の画素の最大輝度値から自ブロック内の画素の最大輝度値を引いた値が所定値以上ある場合に、ＣＰＵ２０１は、その隣接ブロックの代表画素値を自ブロックの代表画素値とするように修正する。このようにして入力画像の各ブロックにつき、１つの代表画素値が求められる。こうして算出した各ブロックの代表画素値のみで構成される画像は、入力画像をブロック分割数で規定される画素数を持つ画像に縮小したものである。本実施例では、３２×３２個の各ブロックの代表画素値を有する３２×３２画素の画像が得られる。そこでＣＰＵ２０１は、この縮小画像を入力画像と同画素数となるように拡大処理することで、影成分画像を生成する。そして、ＣＰＵ２０１は、影成分画像と入力画像とに基づいて、入力画像の画素値を補正する。例えば、ＣＰＵ２０１は、入力画像の画素値を影成分画像の画素値で割った値に白色を示す画素値（輝度値）２５５を掛け合わせ、その結果を補正後の画素値とする。またあるいはＣＰＵ２０１は、影成分画像の画素値と入力画像の画素値との差分に基づいて求まる値で、入力画像の画素値を割って、その結果の値に２５５を掛けた値を補正後の画素値としてもよい。以上のとおり、影成分画像（画像面内の画素値補正情報）は、入力画像の面内の明るさ情報を解析することで得られ、この影成分画像に基づいて入力画像の各画素値が補正される。以上の内容は、特許文献１にて開示されている。

【0035】

ステップＳ５０３において、ＣＰＵ２０１は、ステップＳ５０２で得られた影除去後の画像に対して、先鋭化処理を実行する。なお、先鋭化処理は公知の手法でよい。例えば、下記のような係数（３×３行列）で実現される８近傍フィルタを、影除去後の画像の各画素に対して適用する。

【0036】

【数1】

【0037】

以上のように、本ステップにおいて得られる画像が、第一の補正モードの補正結果である。

【0038】

ステップＳ５０４において、ＣＰＵ２０１は、入力画像から照明ムラや影などの明るさのムラを取り除く影除去処理を実行する。なお、本ステップにおける影除去処理は、ステップＳ５０２と同様の処理でもよいが、本実施例においては、画像をより白色にしやすくする影除去処理を実施する。そこで本実施例では、ステップＳ５０２と同様の影除去処理手順において、入力画像をブロック分割する際のブロックサイズを、ステップＳ５０２と比べて小さくし、１２８×１２８個のブロックに分割する。これにより、急激に濃度が変わるような下地領域の影成分を推定しやすくする。さらに、上向きに凸型のトーンカーブを利用したトーンカーブ補正処理を施すことで、ステップＳ５０２で得られる影除去画像と比べて、影除去後の下地領域の輝度がより明るくなった影除去画像を取得する。

【0039】

ステップＳ５０５において、ＣＰＵ２０１は、入力画像から文字部などの前景領域を抽出する前景抽出処理を実行する。前景抽出処理は、入力画像をグレースケール変換した上で、入力画像の各画素に対する二値化閾値の配列を画像で表現した閾値マップ画像を利用した二値化処理によって実現する。閾値マップ画像には、ステップＳ５０４の影除去処理と同様に、入力画像から推定される影成分画像を利用する。ステップＳ５０４の影成分画像との違いは、影成分画像がＲＧＢ表現ではなく輝度表現であることである。なお、閾値マップの作成方法は、上記の方法に限るものではなく、公知の方法でよい。たとえば、大津の手法を用いて求めた画像全面に対する一律の閾値を閾値マップとしてもよい。説明のためにグレースケール画像、閾値マップともに各画素８ｂｉｔで表される画素値で構成され、画素値０が黒、画素値２５５が白であるとする。また出力される２値画像は各画素１ｂｉｔで表される画素値で構成され、画素値０は白、画素値１は黒とする。座標（ｘ、ｙ）におけるグレースケール画像の画素値をｇ（ｘ、ｙ）、閾値マップの画素値をｔ（ｘ、ｙ）、出力される２値画像の画素値をｂ（ｘ、ｙ）で表す。同座標でのグレースケール画像の画素値ｇ（ｘ、ｙ）と閾値マップの画素値ｔ（ｘ、ｙ）の大小を比較することで、下記のように２値画像の画素値ｂ（ｘ、ｙ）が０であるか１であるかを決定して２値画像を生成する。

【0040】

ｇ（ｘ、ｙ）≧ｔ（ｘ、ｙ）のとき、ｂ（ｘ、ｙ）＝０（白画素）
ｇ（ｘ、ｙ）＜ｔ（ｘ、ｙ）のとき、ｂ（ｘ、ｙ）＝１（黒画素）
こうして得られた２値画像の黒画素によって表される領域が、文字部や写真部などを表す前景領域である。

【0041】

ステップＳ５０６において、ＣＰＵ２０１は、ステップＳ５０５で抽出された前景のうち、文字部に対して単色化を行う前景補正処理を実行する。まずＣＰＵ２０１は、Ｓ５０６で得られた２値画像を利用して、Ｓ５０４の影除去処理後の画像中の文字部を特定する。具体的には前景領域として抽出された黒画素についてラベリング処理を行うことで、ＣＰＵ２０１は、隣接する黒画素群を、同じラベルを持つ１領域（ラベリング領域）として抽出する。次に、ＣＰＵ２０１は、各領域が文字部であるか、非文字部（例えば写真部）であるかという属性判定を行う。

【0042】

属性判定は、公知の手法でよい。例えば、ＣＰＵ２０１は、ラベリング領域に対応する、Ｓ５０４の影除去処理後の画像の領域内の画素のＹＵＶ色空間での色分散（例えばＵ値の分散値およびＶ値の分散値）を算出する。そしてＣＰＵ２０１は、その色分散値が閾値未満であれば（所定の色条件を満たせば）、そのラベリング領域（および対応する影除去処理後の画像部分）は文字部であると判定する。すなわち、ここでＣＰＵ２０１は、影除去処理後の画像中の、類似色が支配的な画像部分（類似色を比較的多く持つ画像部分）を特定している。また別の属性判定の方法として例えばＣＰＵ２０１は、ラベリング領域に対応する、影除去処理後画像の領域内の画素について、類似する色差値（差が閾値範囲内のＵ値およびＶ値）を持つ画素の数をカウントする。そしてＣＰＵ２０１はその画素数の、ラベリング領域内の全画素数に対する割合が閾値を超える（所定の色条件を満たす）場合にそのラベリング領域は文字部であると判定してもよい。

【0043】

そしてＣＰＵ２０１は、属性判定において文字部として判定されたラベリング領域を単色化する。すなわちここでＣＰＵ２０１は、影除去処理後の画像のうちの、類似色が支配的な部分を、複数の予め用意された置換色（所定の複数の異なる色）のうち１色で置き換える処理（単色化処理）を行う。本実施例では、複数の所定の色として、ホワイトボードマーカーの代表的な色である黒（Ｒ＝Ｇ＝Ｂ＝０）、赤（Ｒ＝２５５、Ｇ＝Ｂ＝０）、青（Ｂ＝２５５、Ｒ＝Ｇ＝０、）、緑（Ｇ＝２５５、Ｒ＝Ｂ＝０）の４色を用意する。なおこれらの４色に該当しない類似色領域についてはその領域の平均色で、その領域が単色化される。この置換色の決定には、各ラベリング領域に対応する影除去処理後の画像部分のＹＵＶ色空間での平均色を利用する。具体的には、予めＹＵＶ色空間における黒、赤、青、緑の範囲を定めておき、ＣＰＵ２０１は、各ラベリング領域に対応する影除去処理後の画像部分の平均色が、規定マーカー色の範囲に該当にすれば、４色のいずれか１色を置換色とする。一方、規定マーカー色の４色の範囲に該当しなければ、ＣＰＵ２０１は、その画像部分の平均色を置換色とする。ＣＰＵ２０１は、こうして決定した置換色で、ラベリング領域を単色化し、単色化されたラベリング領域を、ステップＳ５０４で得られる影除去処理後の画像に上書きする。つまり影除去処理後の画像のうち、ラベリング領域に対応する画像部分が単色化される。このようにすることで、文字部の色の区別がつきやすくなるとともに、本来同じ色で表現されている複数の文字それぞれの色を１色で統一することができる。なお、ＣＰＵ２０１は、文字部（単色化された部分）の輪郭部分についてのみスムージング処理を行うことで、第二の補正モードの補正結果として、影除去がされた上に文字部のみ単色化された画像を得ることができる。

【0044】

第一の画像補正モードと第二の画像補正モードによる画像補正処理の効果について、図６を用いて説明する。

【0045】

６０１および６０２は、図５のフローにおける入力画像（図３のステップＳ３０４で得られる歪み補正後画像）である。６０１は、被写体として帳票原稿を撮影した例を示しており、グラデーションで表現される企業ロゴ６０７や、白ではない下地領域６０８および６０９を含んでいる。６０２は、被写体としてホワイトボードを撮影した例を示しており、黒いマーカーで描かれた文字部６１６、赤いマーカーで描かれた文字部６１７、青いマーカーで描かれた文字部６１８を含んでいる。

【0046】

６０３および６０４は、図５のステップＳ５０３の処理結果として得られる第一の画像補正モードの出力画像であり、それぞれ６０１および６０２に対する出力結果を表している。また、６０５および６０６は、図５のステップＳ５０６の処理結果として得られる第二の画像補正モードの出力画像であり、それぞれ６０１および６０２に対する出力結果を表している。

【0047】

第一の画像補正モードでは、急激な濃度差を含む画像においては、６２２のように白に補正することができない下地領域が現れることがあるが、白ではない下地領域６１１および６１２の輝度を残しつつ、画像内に含まれる照明ムラを除去することができる。また、文字の単色化を行わないため、グラデーションで表現される企業ロゴ６１０の原稿との類似性および視認性を保持した補正処理を実施することができる。

【0048】

第二の画像補正モードでは、文字部を前景抽出して単色化を行うため、６１３に示ようにグラデーションで表現される領域を単色化してしまうので、画像６０３中のロゴ６１０に比べて原稿中のロゴ６０７との見た目が相違する。一方、それぞれ異なる色のマーカーで描かれた文字部６２３、６２４、６２５のそれぞれが、対応する１色に統一されるため、各文字部の視認性は６１９、６２０、６２１と比べて向上させることができる。また、下地領域の輝度を明るくするように影除去処理を行うことで、白ではない下地領域６１４、６１５まで白に補正してしまうことがあるものの、６２６に示すように、下地部分の急激な濃度差を含む画像においても適切に下地を補正することができる。

【0049】

以上、本実施例によれば、撮影画像の補正において、ユーザの指定に応じて前景部を単色化するかしないかを切り替えることができる。そのため、単色化された画像の出力先への出力も、単色化されない画像の出力先への出力も可能となる。

【0050】

なお、本実施例では、ユーザの指定に応じてどちらの画像（単色化された画像か単色化されなかった画像）を出力先に出力するのかが決まるが、どちらの画像も出力先に出力するようにしてもよい。この場合にはユーザは必要のないいずれかの画像を後で削除すればよい。重要なのは、本実施例の携帯端末がどちらの画像も出力先に出力が可能であるということである。

【0051】

（実施例２）
実施例１では、前景単色化を行う（ＯＮ）か行わない（ＯＦＦ）かを切り替えていた。本実施例では、前景単色化のＯＮ／ＯＦＦを切り替える処理に加え、単色化をＯＮにする場合に、前景領域の抽出方法を切り替える処理を実施する。以下では、実施例１と差分がある部分についてのみ説明する。

【0052】

＜実施例２における画像補正処理（Ｓ３０５）の詳細説明＞
図７は、本実施例において、図３のステップＳ３０５に示す画像補正処理として実行される処理手順を示すフローチャートである。

【0053】

ステップＳ７０１において、ＣＰＵ２０１は、画像補正モードを取得して判断する。取得した画像補正モードが、第一の画像補正モードであった場合には、ステップＳ７０２に処理を進める。また、取得した画像補正モードが、第二の画像補正モードあるいは第三の補正モードであった場合には、ステップＳ７０４に処理を進める。

【0054】

ステップＳ７０２乃至ステップＳ７０４は、図５のステップＳ５０２乃至ステップＳ５０４と同様の処理である。

【0055】

ステップＳ７０５において、ＣＰＵ２０１は、画像補正モードを取得して判断する。取得した画像補正モードが、第二の画像補正モードであった場合には、ステップＳ７０６に処理を進める。また、取得した画像補正モードが、第三の補正モードであった場合には、ステップＳ７０７に処理を進める。ここでは、ユーザによる前景単色化に関する指定が第１の指定であるのか第２の指定であるのかを判定している。

【0056】

ステップＳ７０６は、図５のステップＳ５０５と同様の処理である。

【0057】

ステップＳ７０７において、入力画像（歪み補正後の画像）から文字部などの前景領域を抽出する前景抽出処理を実行する。このステップＳ７０７での前景抽出処理とステップＳ７０６（ステップＳ５０５）での前景抽出処理との違いは、用いられる閾値マップである。このステップＳ７０７では、閾値マップの画素と近い値を持つかすれ文字を前景として抽出するために、ステップＳ７０６で用いられる閾値マップの各画素値を、一律で５ずつ上げたものを閾値マップとして利用する。これにより、ステップＳ７０６よりも、多くの領域を前景として抽出することができる。例えば、Ｓ７０６では抽出されないような、文字の掠れた部分なども前景として抽出される。なお、本ステップにおいて利用する閾値マップは、ステップＳ７０６の前景抽出結果と異なる前景抽出結果を得られれば良く、必ずしも閾値マップの画素値の一律で５ずつ上げる必要はない。ステップＳ７０６の前景抽出で利用する閾値マップの閾値を一律で下げてもよいし、ステップＳ７０６とは別のアルゴリズムで求めた閾値マップを利用してもよい。すなわち、ステップＳ７０６およびＳ７０７を備えることで本実施例の携帯装置は、前景抽出レベルを可変にする構成を有すればよい。

【0058】

ステップＳ７０８は、図５のステップＳ５０６と同様の処理である。

【0059】

なお、ステップＳ７０５乃至ステップＳ７０７で実現される前景抽出に利用する閾値マップの変更は、操作部２０８を通じてユーザからの指示によって変更されるものであれば、モードによる切り替えでなくてもよい。例えば、スライダーバーを利用して、基準値からの閾値の調整量の指定を受け付け、その指定量に応じて閾値マップを調整して前景抽出を行ってもよい。

【0060】

本実施例における第三の画像補正モードによる画像補正処理の効果について、図８を用いて説明する。

【0061】

８０１は、図３のステップＳ３０４で得られる歪み補正後画像であり、画像補正処理の入力画像である。被写体としてホワイトボードを撮影した例を示しており、かすれたマーカーで書かれた文字部８０５を含んでいる。８０２は、図７のステップＳ７０３の処理結果として得られる第一の画像補正モードの出力画像である。８０３、８０４はそれぞれ、図７のステップＳ７０５にて第二の画像補正モードと第三の画像補正モードを取得した場合の、ステップＳ７０８の処理結果として得られる出力画像である。

【0062】

８０６に示すように、第一の画像補正モードでは、下地領域と輝度の近いかすれた文字部は、影除去処理によって色が薄くなってしまう。また、８０７に示すように、第二の画像補正モードでは、二値化による前景抽出に失敗してしまう場合がある。しかしながら、第三の画像補正モードでは、前景抽出に利用する閾値マップの画素値を一律で上げることで、下地領域と輝度差の小さいかすれ文字部についても、前景として抽出することができる。

【0063】

以上、実施例２によれば、前景単色化のＯＮ／ＯＦＦを切り替えるだけでなく、ユーザの指定に応じて、前景抽出の二値化閾値パラメータを変更することによって、単色化する対象となる前景抽出の結果を変更可能になる。これにより、かすれたペンやマーカーで描かれた文字などの下地領域と輝度差の小さい前景についても、ユーザに視認性を向上させた画像を提供可能になる。

【0064】

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】