(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024035696
(43)【公開日】2024-03-14
(54)【発明の名称】画像処理装置及び画像処理プログラム
(51)【国際特許分類】
H04N 1/10 20060101AFI20240307BHJP
H04N 1/387 20060101ALI20240307BHJP
【FI】
H04N1/10
H04N1/387 110
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022140316
(22)【出願日】2022-09-02
(71)【出願人】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】110001210
【氏名又は名称】弁理士法人YKI国際特許事務所
(72)【発明者】
【氏名】山田 健二
(72)【発明者】
【氏名】佐藤 孝春
【テーマコード(参考)】
5C072
5C076
【Fターム(参考)】
5C072AA01
5C072BA13
5C072CA02
5C072CA09
5C072DA21
5C072EA05
5C072LA02
5C072RA03
5C072RA04
5C072UA13
5C072WA01
5C076AA13
5C076AA19
5C076BA06
5C076CA11
(57)【要約】
【課題】第1読取環境にて得られた第1読取画像から抽出された、読取対象物に対応する第1対象像と、第2読取環境にて得られた第2読取画像から抽出された、当該読取対象物に対応する第2対象像との姿勢が互いに異なる場合であっても、第1対象像の非光沢領域と第2対象像の光沢領域とが正しく合成された合成画像を得る。
【解決手段】対象像抽出部24は、第1読取環境で取得された第1読取画像SI1から第1対象像TI1を抽出し、第2読取環境で取得された第2読取画像SI1から第2対象像TI2を抽出する。位置合わせ処理部26は、第1対象像TI1と第2対象像TI2との位置合わせが可能である場合に、第1対象像TI1と第2対象像TI2との位置合わせを実行する。合成処理部28は、位置合わせされた第1対象像TI1の非光沢領域NGRと、位置合わせされた第2対象像TI2の光沢領域GRとを合成する合成処理を実行して合成画像CIを形成する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
プロセッサを備え、
前記プロセッサは、
光沢部分及び非光沢部分を有する読取対象物が第1読取環境にて光学的に読み取られて取得された第1読取画像から前記読取対象物に対応する第1対象像を抽出し、画像センサが取得する前記読取対象物からの正反射光の光量が前記第1読取環境に比して多い第2読取環境にて、前記読取対象物が光学的に読み取られて取得された第2読取画像から前記読取対象物に対応する第2対象像を抽出し、
前記第1対象像と前記第2対象像との位置が互いに一致していない場合であって、前記第1対象像又は前記第2対象像のうちの少なくとも1つを平行移動又は回転させることによって前記第1対象像と前記第2対象像との位置合わせが可能である場合に、前記位置合わせを実行し、
前記第1対象像から抽出した前記非光沢部分に対応する非光沢領域と、前記第2対象像から抽出した前記光沢部分に対応する光沢領域とを合成する合成処理を実行して合成画像を形成する、
ことを特徴とする画像処理装置。
【請求項2】
前記プロセッサは、
前記第1対象像及び前記第2対象像を同縮小率で縮小させた上で、前記位置合わせが可能であるか否かを判定する、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記プロセッサは、
前記合成画像を表示部に表示させ、
ユーザからの指示に応じて、前記合成画像の画像データファイルを生成する、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記プロセッサは、
前記位置合わせを実行せずに前記合成処理を実行して非位置合わせ合成画像を形成し、
前記合成画像及び前記非位置合わせ合成画像を前記表示部に表示させる、
ことを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記プロセッサは、
前記位置合わせが可能である場合は、前記位置合わせが可能であることをユーザに通知し、
前記位置合わせが不可能である場合は、前記位置合わせが不可能であることをユーザに通知する、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項6】
前記プロセッサは、
前記位置合わせが可能である場合は、前記合成画像を表示部に表示させ、
前記位置合わせが不可能である場合は、前記位置合わせを実行せずに前記合成処理を実行して形成した非位置合わせ合成画像を前記表示部に表示させる、
ことを特徴とする請求項5に記載の画像処理装置。
【請求項7】
前記プロセッサは、
前記合成画像の画像データファイルの生成に先立って、前記第1読取画像又は前記第2読取画像の少なくとも一方を再取得するか否かをユーザから受け付け、
前記ユーザから再取得する指示を受けた場合は、第1読取画像又は第2読取画像の少なくとも一方を再度取得する、
ことを特徴とする請求項5に記載の画像処理装置。
【請求項8】
前記プロセッサは、
前記位置合わせが可能である場合であって、前記ユーザから画像データファイルの生成指示を受けた場合は、前記合成画像の画像データファイルを生成する、
ことを特徴とする請求項7に記載の画像処理装置。
【請求項9】
前記プロセッサは、
前記位置合わせが不可能である場合であって、前記ユーザから画像データファイルの生成指示を受けた場合は、前記位置合わせを実行せずに前記合成処理を実行して形成された非位置合わせ合成画像の画像データファイルを生成する、
ことを特徴とする請求項7に記載の画像処理装置。
【請求項10】
前記第1読取環境における前記読取対象物を読み取る読取処理と、前記第2読取環境における前記読取対象物を読み取る読取処理との間に、前記読取対象物の姿勢が変更される、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項11】
コンピュータに、
光沢部分及び非光沢部分を有する読取対象物が第1読取環境にて光学的に読み取られて取得された第1読取画像から前記読取対象物に対応する第1対象像を抽出させ、画像センサが取得する前記読取対象物からの正反射光の光量が前記第1読取環境に比して多い第2読取環境にて、前記読取対象物が光学的に読み取られて取得された第2読取画像から前記読取対象物に対応する第2対象像を抽出させ、
前記第1対象像と前記第2対象像との位置が互いに一致していない場合であって、前記第1対象像又は前記第2対象像のうちの少なくとも1つを平行移動又は回転させることによって前記第1対象像と前記第2対象像との位置合わせが可能である場合に、前記位置合わせを実行させ、
前記第1対象像から抽出した前記非光沢部分に対応する非光沢領域と、前記第2対象像から抽出した前記光沢部分に対応する光沢領域とを合成する合成処理を実行して合成画像を形成させる、
ことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【0002】
従来、光源から読取対象物に対して光を照射し、読取対象物からの反射光を画像センサで受けて、当該読取対象物を表した読取画像を形成する画像読取装置(スキャナ)が知られている。
【0003】
読取対象物に対して光を照射した場合、読取対象物の表面特性(例えば光沢の有無など)に応じて、正反射光の光束が変動し得る。ここで、正反射光とは、反射角度が読取対象物への入射光の入射角度と同じとなる反射光である。また、光束とは、単位時間当たりの光量である。つまり、光量は光束の時間積分である。なお、光量は光のエネルギーと言い換えることができる。したがって、画像センサが正反射光を受けるように配置されている場合、読取対象物の表面特性に応じて、読取画像の画質(例えば明度など)が変動してしまうという問題が生じ得る。一方、正反射光以外の反射光である(種々の反射角度で反射する)拡散反射光の光束は、読取対象物の表面特性に応じてあまり変動しない。
【0004】
そこで、従来の画像読取装置においては、
図19に示すように、原稿台PLに載置された読取対象物Tの入射位置Pに対して垂直方向へ反射する反射光を受けるように画像センサSを配置させた上で、読取対象物T(具体的には入射位置P)への入射光Iの入射角が45°程度となるように光源Lが配置されているのが一般的となっている。これによれば、画像センサSは、正反射光Rはほぼ受けず、破線で示された拡散反射光Dを主に受けることになるため、読取対象物Tの表面特性の違いによる読取画像の画質の変動が抑制される。
【0005】
ところで、読取対象物には、光沢性の強い光沢部分が含まれている場合がある。光沢部分は、正反射率が所定反射率以上の部分であると定義することができる。正反射率とは、ある入射角で入射した光の光束に対する、当該入射角と同じ反射角で読取対象物表面から反射する光(すなわち正反射光)の光束の割合である。なお、正反射率は、鏡面反射率と呼ばれる場合もある。
【0006】
つまり、光沢部分からの反射光は、正反射光の光束が多く、拡散反射光の光束が少ないと言える。したがって、従来一般的である、主に拡散反射光に基づいて読取画像を形成する画像読取装置においては、光沢部分からは十分な量の拡散反射光を得ることができない。これにより、読取画像において、読取対象物の光沢部分に対応する光沢領域が暗くなってしまい、読取画像において読取対象物のような光沢感(人間が読取対象物の光沢部分を見たときに感じる質感に相当する質感)を表現することができないという問題があった。なお、本明細書では、上述のように、読取画像における、読取対象物の「光沢部分」に対応する部分(画素群)を「光沢領域」と記載する。また、読取対象物の光沢部分以外の部分を「非光沢部分」と記載し、読取画像における、読取対象物の「非光沢部分」に対応する部分(画素群)を「非光沢領域」と記載する。
【0007】
当該問題を解決するため、従来、光沢部分を有する読取対象物を読み取って得られた読取画像において、光沢部分に対応する光沢領域の光沢感を表現するための技術が提案されている。
【0008】
例えば特許文献1には、通常スキャンにより第1読取画像を得て、光を乱反射させる反射光制御部材を、光源と読取対象物の間に配置してスキャンを行うことにより第2読取画像(光沢領域の光沢感が表現されたもの)を得る画像読取装置が開示されている。当該画像読取装置においては、第1読取画像と第2読取画像に基づいて、読取対象物から光沢部分を検出した上で、読取画像の光沢領域内にある画素については第2読取画像を選択し、読取画像の非光沢領域内にある画素については第1読取画像から選択するという、第1読取画像と第2読取画像を合成する合成処理を行う。これにより、光沢領域の光沢感が表現された読取画像を形成している。
【先行技術文献】
【特許文献】
【0009】
【発明の概要】
【発明が解決しようとする課題】
【0010】
ところで、以下のようにして、光沢部分及び非光沢部分を有する読取対象物を光学的に読み取って、光沢部分に対応する光沢領域については光沢感が表現され、非光沢部分に対応する非光沢領域については画質の低下(白み)が抑制された読取画像(合成画像)を形成することを考える。
【0011】
まず、第1読取環境(例えば、画像センサが光の入射位置の真下にあり、画像センサのセンサ面が読取対象物の下側面(光源からの光が入射する面)と略平行であり、且つ、光源から照射される入射光の入射角が45°の環境)にて読取対象物が光学的に読み取られて取得された第1読取画像から、当該読取対象物に対応する第1対象像を抽出する。第1対象像は、非光沢領域の画質の低下が抑制されているが、光沢領域の光沢感がうまく表現されていない画像である。
【0012】
また、画像センサが取得する読取対象物からの正反射光の光量が第1読取環境に比して多い第2読取環境(例えば、画像センサが光の入射位置の真下にあり、画像センサのセンサ面が読取対象物の下側面と略平行であり、且つ、光源から照射される入射光の入射角が5°の環境)にて、当該読取対象物が光学的に読み取られて取得された第2読取画像から、当該読取対象物に対応する第2対象像を抽出する。第2対象像は、非光沢領域の画質は低下している(白んでいる)が、光沢領域の光沢感がうまく表現されている画像である。
【0013】
そして、第1対象像から抽出した非光沢部分に対応する非光沢領域と、第2対象像から抽出した光沢部分に対応する光沢領域とを合成する合成処理を実行して合成画像を形成する。
【0014】
ここで、上述の合成処理においては、第1対象像と第2対象像の姿勢が一致していることが前提となる。ここで、姿勢とは、原稿台上における読取対象物の位置又は向きの少なくとも一方を含む概念であり、向きとは、原稿台に平行な面における回転具合ということもできる。仮に、第1対象像と第2対象像の姿勢が互いに異なる場合、合成処理により正しい合成画像を得ることができない。
【0015】
本発明の目的は、第1読取環境にて得られた第1読取画像から抽出された、読取対象物に対応する第1対象像と、画像センサが取得する読取対象物からの正反射光の光量が第1読取環境に比して多い第2読取環境にて得られた第2読取画像から抽出された、当該読取対象物に対応する第2対象像との姿勢が互いに異なる場合であっても、第1対象像の非光沢領域と第2対象像の光沢領域とが正しく合成された合成画像を得ることにある。
【課題を解決するための手段】
【0016】
請求項1に係る発明は、プロセッサを備え、前記プロセッサは、光沢部分及び非光沢部分を有する読取対象物が第1読取環境にて光学的に読み取られて取得された第1読取画像から前記読取対象物に対応する第1対象像を抽出し、画像センサが取得する前記読取対象物からの正反射光の光量が前記第1読取環境に比して多い第2読取環境にて、前記読取対象物が光学的に読み取られて取得された第2読取画像から前記読取対象物に対応する第2対象像を抽出し、前記第1対象像と前記第2対象像との位置が互いに一致していない場合であって、前記第1対象像又は前記第2対象像のうちの少なくとも1つを平行移動又は回転させることによって前記第1対象像と前記第2対象像との位置合わせが可能である場合に、前記位置合わせを実行し、前記第1対象像から抽出した前記非光沢部分に対応する非光沢領域と、前記第2対象像から抽出した前記光沢部分に対応する光沢領域とを合成する合成処理を実行して合成画像を形成する、ことを特徴とする画像処理装置である。
請求項2に係る発明は、前記プロセッサは、前記第1対象像及び前記第2対象像を同縮小率で縮小させた上で、前記位置合わせが可能であるか否かを判定する、ことを特徴とする請求項1に記載の画像処理装置である。
請求項3に係る発明は、前記プロセッサは、前記合成画像を表示部に表示させ、ユーザからの指示に応じて、前記合成画像の画像データファイルを生成する、ことを特徴とする請求項1に記載の画像処理装置である。
請求項4に係る発明は、前記プロセッサは、前記位置合わせを実行せずに前記合成処理を実行して非位置合わせ合成画像を形成し、前記合成画像及び前記非位置合わせ合成画像を前記表示部に表示させる、ことを特徴とする請求項3に記載の画像処理装置である。
請求項5に係る発明は、前記プロセッサは、前記位置合わせが可能である場合は、前記位置合わせが可能であることをユーザに通知し、前記位置合わせが不可能である場合は、前記位置合わせが不可能であることをユーザに通知する、ことを特徴とする請求項1に記載の画像処理装置である。
請求項6に係る発明は、前記プロセッサは、前記位置合わせが可能である場合は、前記合成画像を表示部に表示させ、前記位置合わせが不可能である場合は、前記位置合わせを実行せずに前記合成処理を実行して形成した非位置合わせ合成画像を前記表示部に表示させる、ことを特徴とする請求項5に記載の画像処理装置である。
請求項7に係る発明は、前記プロセッサは、前記合成画像の画像データファイルの生成に先立って、前記第1読取画像又は前記第2読取画像の少なくとも一方を再取得するか否かをユーザから受け付け、前記ユーザから再取得する指示を受けた場合は、第1読取画像又は第2読取画像の少なくとも一方を再度取得する、ことを特徴とする請求項5に記載の画像処理装置である。
請求項8に係る発明は、前記プロセッサは、前記位置合わせが可能である場合であって、前記ユーザから画像データファイルの生成指示を受けた場合は、前記合成画像の画像データファイルを生成する、ことを特徴とする請求項7に記載の画像処理装置である。
請求項9に係る発明は、前記プロセッサは、前記位置合わせが不可能である場合であって、前記ユーザから画像データファイルの生成指示を受けた場合は、前記位置合わせを実行せずに前記合成処理を実行して形成された非位置合わせ合成画像の画像データファイルを生成する、ことを特徴とする請求項7に記載の画像処理装置である。
請求項10に係る発明は、前記第1読取環境における前記読取対象物を読み取る読取処理と、前記第2読取環境における前記読取対象物を読み取る読取処理との間に、前記読取対象物の姿勢が変更される、ことを特徴とする請求項1に記載の画像処理装置である。
請求項11に係る発明は、コンピュータに、光沢部分及び非光沢部分を有する読取対象物が第1読取環境にて光学的に読み取られて取得された第1読取画像から前記読取対象物に対応する第1対象像を抽出させ、画像センサが取得する前記読取対象物からの正反射光の光量が前記第1読取環境に比して多い第2読取環境にて、前記読取対象物が光学的に読み取られて取得された第2読取画像から前記読取対象物に対応する第2対象像を抽出させ、前記第1対象像と前記第2対象像との位置が互いに一致していない場合であって、前記第1対象像又は前記第2対象像のうちの少なくとも1つを平行移動又は回転させることによって前記第1対象像と前記第2対象像との位置合わせが可能である場合に、前記位置合わせを実行させ、前記第1対象像から抽出した前記非光沢部分に対応する非光沢領域と、前記第2対象像から抽出した前記光沢部分に対応する光沢領域とを合成する合成処理を実行して合成画像を形成させる、ことを特徴とする画像処理プログラムである。
【発明の効果】
【0017】
請求項1、10、又は11に係る発明によれば、第1読取環境にて得られた第1読取画像から抽出された、読取対象物に対応する第1対象像と、画像センサが取得する読取対象物からの正反射光の光量が第1読取環境に比して多い第2読取環境にて得られた第2読取画像から抽出された、当該読取対象物に対応する第2対象像との姿勢が互いに異なる場合であっても、第1対象像の非光沢領域と第2対象像の光沢領域とが正しく合成された合成画像を得ることができる。
請求項2に係る発明によれば、第1対象像及び第2対象像を縮小させなかった場合に比して、位置合わせ可能か否かの判定処理を高速化することができる。
請求項3に係る発明によれば、ユーザは、合成画像を確認した上で、当該合成画像の画像データファイルの生成を指示することができる。
請求項4に係る発明によれば、ユーザは、合成画像と非位置合わせ合成画像を比較することができる。
請求項5又は6に係る発明によれば、ユーザは、第1対象像と第2対象像との位置合わせが可能であるか否かを把握することができる。
請求項7に係る発明によれば、ユーザは、第1対象像と第2対象像との位置合わせの可否に応じて、第1読取画像又は第2読取画像の少なくとも一方の再取得を指示することができる。
請求項8に係る発明によれば、合成画像の画像データファイルを得ることができる。
請求項9に係る発明によれば、非位置合わせ合成画像の画像データファイルを得ることができる。
【図面の簡単な説明】
【0018】
【
図1】本実施形態に係る画像処理装置の構成概略図である。
【
図8】第1対象像及び第2対象像の重心を示す図である。
【
図9】第1対象像の重心と第2対象像の重心との位置を合わせる処理の様子を示す図である。
【
図10】第2対象像を回転させる処理の様子を示す図である。
【
図11】位置合わせが不可能である場合の第2読取画像の第1の例を示す図である。
【
図12】位置合わせが不可能である場合の第2読取画像の第2の例を示す図である。
【
図14】非位置合わせ合成画像の例を示す図である。
【
図15】位置合わせが可能である場合にディスプレイに表示される画面の第1の例を示す図である。
【
図16】位置合わせが可能である場合にディスプレイに表示される画面の第2の例を示す図である。
【
図17】位置合わせが不可能である場合にディスプレイに表示される画面の例を示す図である。
【
図18】本実施形態に係る画像処理装置の処理の流れを示すフローチャートである。
【
図19】従来の画像読取装置の構造を示す概念図である。
【発明を実施するための形態】
【0019】
図1は、本実施形態に係る画像処理装置10の構成概略図である。画像処理装置10は、読取対象物を光学的に読み取って、当該読取対象物に対応する像を含む読取画像を形成する画像読取装置である。画像読取装置は、例えば、スキャン機能を有する複合機やスキャナ装置である。
【0020】
読取対象物とは、例えば、紙などの印刷媒体やお菓子のパッケージなどであるが、これらに限られるものではない。
図2は、読取対象物Tの例を示す図である。読取対象物Tは、画像処理装置10によって読み取られる読取面において、光沢性の強い光沢部分Gと、光沢部分以外の非光沢部分NGを有している。なお、本明細書の図面において、読取対象物Tの光沢部分G、及び、読取画像上の光沢感が表現されている光沢領域を網掛けで表すこととする。上述の通り、光沢部分Gは、正反射率が所定反射率以上の部分である。一方、非光沢部分NGは、正反射率が所定反射率未満の部分である。
【0021】
詳しくは後述するが、画像処理装置10は、光沢部分G及び非光沢部分NGを有する読取対象物Tを光学的に読み取った上で、光沢部分Gの光沢が好適に表現され、且つ、非光沢部分NGの画質の劣化が抑制された読取画像を形成する。
【0022】
入力インターフェース12は、例えばボタンやタッチパネルなどから構成される。入力インターフェース12は、ユーザが種々の命令を画像処理装置10に入力するために用いられる。
【0023】
ディスプレイ14は、例えば液晶パネルや有機EL(Electro Luminescence)などから構成される。ディスプレイ14には、種々の画面が表示される。
【0024】
メモリ16は、例えばHDD(Hard Disk Drive)、SSD(Solid State Drive)、ROM(Read Only Memory)、あるいはRAM(Random Access Memory)などを含んで構成される。メモリ16は、後述のプロセッサ20とは別に設けられてもよいし、少なくとも一部がプロセッサ20の内部に設けられていてもよい。メモリ16には、画像処理装置10の各部を動作させるための画像処理プログラムが記憶される。なお、画像処理プログラムは、例えば、USB(Universal Serial Bus)メモリ又はCD-ROMなどのコンピュータ読み取り可能な非一時的な記憶媒体に格納することもできる。画像処理装置10は、そのような記憶媒体から画像処理プログラムを読み取って実行することができる。
【0025】
スキャナ18は、読取対象物Tを光学的に読み取って読取画像を形成するための機構である。スキャナ18は、互いに異なる読取環境である第1読取環境又は第2読取環境にて、読取対象物Tを読み取って読取画像を形成することができる。詳しくは、第1読取環境とは、従来の一般的な画像読取装置と同等の読取環境であり、第2読取環境は、スキャナ18の画像センサが取得する読取対象物Tからの正反射光の光量が第1読取環境に比して多い環境である。
【0026】
図3は、第1読取環境の例を示す図である。第1読取環境と第2読取環境との差異を説明する前に、スキャナ18の構造について説明する。スキャナ18は、原稿台40、第1光源42a、第2光源42b、及び画像センサ44を含んで構成される。
【0027】
原稿台40は、光透過性の物質、例えばガラスなどで形成され、水平面に延びるように配置された板状の部材である。原稿台40上には読取対象物Tが載置される。
【0028】
第1光源42a及び第2光源42bは、それぞれ、例えば白色蛍光ランプなどの発光素子が水平方向(
図3の例では紙面の奥行方向)に並んだ発光素子アレイで形成される。第1光源42a及び第2光源42bは、原稿台40の下部に設けられ、読取対象物Tの表読取面(すなわち下側面)に向けて光を照射する。
【0029】
画像センサ44は、例えばCCD(Charge-Coupled Device)イメージセンサなどの光を電子信号に変換する撮像素子が、水平方向、具体的には発光素子の並び方向と同じ方向(
図3の例では紙面の奥行方向)に並んだ撮像素子アレイで構成される。画像センサ44は、第1光源42a又は第2光源42bから読取対象物Tへ照射された光の、読取対象物Tの読取面からの反射光を受けるものである。画像センサ44も原稿台40の下部に設けられる。特に、本実施形態では、画像センサ44は、読取対象物Tの真下、特に、第1光源42a及び第2光源42bからの光が入射する入射位置Pの真下に配置される。また、画像センサ44は、その受光面が原稿台40(すなわち原稿台40に載置された読取対象物T)と平行になるように設けられる。これにより、画像センサ44は、読取対象物Tの入射位置Pから垂直方向へ進む反射光を受けるようになっている。
【0030】
第1光源42a、第2光源42b、及び画像センサ44は、読取対象物Tのスキャン処理にあたって、一体となって、発光素子及び撮像素子の並び方向と垂直な水平方向(
図3の例では左方向)に移動する。これにより、入射位置Pが走査され、画像センサ44は、読取対象物Tの各部分からの反射光を受けることとなる。スキャナ18は、画像センサ44が受けた反射光に基づいて、読取対象物Tを表す読取画像を形成する。
【0031】
スキャナ18の構造は以上の通りである。以下、第1読取環境及び第2読取環境について説明する。
【0032】
図3に示す第1読取環境では、第2光源42bは使用されず、第1光源42aが使用される。第1光源42aは、第1光源42aから照射される入射光Iの進行方向と、原稿台40に載置された読取対象物Tに対する垂直方向(
図3の一点鎖線で示される方向)とがなす角である入射角が45°となるように配置される。これにより、読取対象物Tの読取面(具体的には入射位置P)から反射した正反射光Rの反射角度(原稿台40に載置された読取対象物Tに対する垂直方向との成す角)も45°となる。したがって、読取対象物T上の入射光Iの入射位置Pから垂直方向へ進む反射光を受けるように配置されている画像センサ44は、第1光源42aからの光の正反射光Rをほぼ受けないようになっている。換言すれば、第1読取環境においては、画像センサ44が取得する読取対象物Tからの正反射光Rの光量が所定の正反射光量閾値未満であると言える。
【0033】
一方、
図3において破線で示されている、第1光源42aからの光の拡散反射光Dは、読取対象物T上の入射位置Pから種々の反射角度で反射する。したがって、画像センサ44は、第1光源42aからの光の拡散反射光Dを多く(少なくとも正反射光Rの光量よりも多い光量を)受けることになる。すなわち、第1読取環境においては、画像センサ44は、主に拡散反射光Dに基づいて読取画像を形成する。本明細書では、第1読取環境で形成された読取画像を第1読取画像と呼ぶ。
【0034】
図4は、第1読取画像SI1の例を示す図である。第1読取環境においては、主に拡散反射光Dに基づいて第1読取画像SI1が形成される。したがって、上述の通り、第1読取画像SI1においては、読取対象物Tの表面特性の違いによる第1読取画像SI1の画質の変動が抑制されると共に、読取対象物Tの非光沢部分NGに対応する非光沢領域NGRを高画質(例えば非光沢領域NGRの画素の輝度、明度、彩度が非光沢部分NGを表現するのに適した値)となっている。一方、読取対象物Tの光沢部分Gからの反射光は正反射光Rの光量が多く、拡散反射光Dの光量が少ないため、第1読取画像SI1においては、読取対象物Tの光沢部分Gからは十分な量の拡散反射光Dを得ることができない。したがって、読取対象物Tの光沢部分Gに対応する光沢領域GRが暗くなってしまい、光沢領域GRの光沢感が好適に表現されていない。特に、光沢領域GRの画素の明度がかなり低くなってしまう。
図4においては、光沢領域GRが黒で塗られていることでそれが表現されている。
【0035】
なお、本実施形態では、第1読取環境として、読取対象物Tの入射光Iの入射位置Pから垂直方向へ進む反射光を受けるように画像センサ44を配置した上で、第1光源42aからの入射光Iの入射角度を45°としていたが、画像センサ44が取得する読取対象物Tからの正反射光Rの光量が所定の正反射光量閾値未満となる限りにおいて、第1光源42aからの入射光Iの入射角度及び画像センサ44の配置位置は、それには限られない。
【0036】
一方、
図5に示す第2読取環境では、第1光源42aは使用されず、第2光源42bが使用される。第2光源42bは、第2光源42bから照射される入射光Iの進行方向と、原稿台40に載置された読取対象物Tに対する垂直方向(
図5の一点鎖線で示される方向)とがなす角である入射角が5°となるように配置される。これにより、読取対象物Tの読取面(具体的には入射位置P)から反射した正反射光Rの反射角度(原稿台40に載置された読取対象物Tに対する垂直方向との成す角)も5°となる。したがって、読取対象物T上の入射光Iの入射位置Pから垂直方向へ進む反射光を受けるように配置されている画像センサ44は、第1光源42aからの光の正反射光Rを受けることができるようになっている。換言すれば、第2読取環境においては、画像センサ44が取得する読取対象物Tからの正反射光Rの光量が所定の正反射光量閾値以上であると言える。少なくとも、第2読取環境においては、画像センサ44が取得する読取対象物Tからの正反射光Rの光量が、第1読取環境に比して多くなっている。
【0037】
第2読取環境においても、画像センサ44は拡散反射光Dを受ける。したがって、第2読取環境においては、画像センサ44は、正反射光R及び拡散反射光Dに基づいて読取画像を形成する。本明細書では、第2読取環境で形成された読取画像を第2読取画像と呼ぶ。
【0038】
図6は、第2読取画像SI2の例を示す図である。第2読取環境においては、正反射光Rを含む反射光に基づいて第2読取画像SI2が形成される。したがって、第2読取画像SI2においては、読取対象物Tの光沢部分Gに対応する光沢領域GRの光沢感が、少なくとも第1読取画像SI1よりも良く表現されている。すなわち、光沢部分Gからは大きな光量の正反射光Rが反射され、画像センサ44はそれを受けているから、光沢領域GRの画素の明度がかなり高くなる。これが光沢感が好適に表現される一因である。なお、光沢感が良く表現されるには、画素の明度のみならず、彩度や色相なども関連していると考えられる。いずれにしろ、光沢領域GRの光沢感が好適に表現される要因は、画像センサ44が、主に読取対象物Tからの正反射光Rに基づいて第2読取画像SI2を形成しているからである。一方、一般的に、拡散反射光Dに基づいて読取画像を形成したときに非光沢領域NGRの画質が適正となるようにスキャナ18が調整されているところ、第2読取画像SI2においては、拡散反射光Dのみならず正反射光Rに基づいて第2読取画像SI2を形成する。そのため、読取対象物Tの非光沢部分NGに対応する非光沢領域NGRが白んでしまい、非光沢領域NGRの画質が第1読取画像SI1よりも良くない(例えば非光沢領域NGRの画素の明度が高すぎるなど)ものとなっている。
【0039】
なお、本実施形態では、第2読取環境として、読取対象物Tの入射光Iの入射位置Pから垂直方向へ進む反射光を受けるように画像センサ44を配置した上で、第2光源42bからの入射光Iの入射角度を5°としていたが、画像センサ44が取得する読取対象物Tからの正反射光Rの光量が所定の正反射光量閾値以上となる限り、あるいは、画像センサ44が取得する読取対象物Tからの正反射光Rの光量が第1読取環境以上となる限りにおいて、第2光源42bからの入射光Iの入射角度及び画像センサ44の配置位置は、それには限られない。
【0040】
図1に戻り、プロセッサ20は、広義的な処理装置を指し、汎用的な処理装置(例えばCPU(Central Processing Unit)など)、及び、専用の処理装置(例えばGPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、あるいは、プログラマブル論理デバイスなど)の少なくとも1つを含んで構成される。プロセッサ20としては、1つの処理装置によるものではなく、物理的に離れた位置に存在する複数の処理装置の協働により構成されるものであってもよい。
図1に示す通り、プロセッサ20は、メモリ16に記憶された画像処理プログラムにより、読取処理部22、対象像抽出部24、位置合わせ処理部26、合成処理部28、及び表示制御部30としての機能を発揮する。
【0041】
読取処理部22は、原稿台40に読取対象物Tをセットしたユーザから受け付けた読取指示に応じて、読取対象物Tを光学的に読み取らせるようにスキャナ18を制御する。具体的には、読取処理部22は、第1読取環境にて(本実施形態では第1光源42aを用いて)読取対象物Tを読み取って第1読取画像SI1を取得し、次いで、第2読取環境にて(本実施形態では第2光源42bを用いて)読取対象物Tを読み取って第2読取画像SI2を取得するようにスキャナ18を制御する。なお、第1読取画像SI1と第2読取画像SI2の取得順は逆であってもよい。
【0042】
ここで、第1読取環境における読取処理と、第2読取環境における読取処理との間に、読取対象物Tの姿勢が変更される場合がある。例えば、ユーザが意図せず、読取対象物Tが動いてしまう、又は、読取対象物Tの向きが変わってしまう場合があり得る。上述の通り、本明細書では、姿勢とは、原稿台40上における読取対象物Tの位置又は向きの少なくとも一方を含む概念であり、向きとは、原稿台40に平行な面における回転具合ということもできる。
【0043】
また、ユーザが意図して読取対象物Tの姿勢を変更する場合もあり得る。例えば、読取面に凹凸がある読取対象物Tやホログラムが印刷された読取対象物Tなどにおいては、読取対象物Tに対して第1方向側(
図3又は
図5の例では右側)から光を当てたときと、第1方向側とは反対側の第2方向側(
図3又は
図5の例では左側)から光を当てたときとで、読取画像が互いに異なる(例えば影の出方が互いに違う、あるいは、互いに違う像が得られるなど)場合がある。また、スキャナ18における第1光源42a、第2光源42b、及び画像センサ44が、読み取り時においては一方向(例えば
図3又は
図5においては右から左のみ)にしか動かないとする。この場合、読取対象物Tへ光が当たる方向を変えるため、ユーザは、まず、読取対象物Tに対して第1方向側から光が当たるように読取対象物Tをセットして、第1読取環境にて1つ目の第1読取画像SI1を取得し、次いで、読取対象物Tに対して第2方向側から光が当たるように読取対象物Tの姿勢を変更して(例えば180度回転させて)、第1読取環境にて2つ目の第1読取画像SI1を取得する。その後、同様に、途中で読取対象物Tの姿勢を変更させて、第2読取環境においても、読取対象物Tに対して第1方向側から光を当てて1つ目の第2読取画像SI2を取得し、読取対象物Tに対して第2方向側から光を当てて2つ目の第2読取画像SI2を取得する。この場合、必然的に、第1読取環境における読取処理と、第2読取環境における読取処理との間に、読取対象物Tの姿勢が変更される。なお、この場合、1つ目の第1読取画像SI1と1つ目の第2読取画像SI2との合成画像が形成され、2つ目の第1読取画像SI1と2つ目の第2読取画像SI2との合成画像が形成される。合成画像の形成処理については後述する。
【0044】
対象像抽出部24は、スキャナ18によって取得された第1読取画像SI1(
図4参照)から、読取対象物Tに対応する像を抽出する。本明細書では、当該像を第1対象像TI1と呼ぶ。第1読取画像SI1から第1対象像TI1の抽出方法は、既知の技術(例えばエッジ抽出など)で可能であるため、その説明は省略する。また、対象像抽出部24は、スキャナ18によって取得された第2読取画像SI2(
図6参照)から、読取対象物Tに対応する像を抽出する。本明細書では、当該像を第2対象像TI2と呼ぶ。第1読取環境における読取処理と、第2読取環境における読取処理との間に、読取対象物Tの姿勢が変更されていると、第1対象像TI1の位置と、第2対象像TI2の位置とが互いに異なることになる。ここで、(第1及び第2)対象像の位置とは、読取画像における対象像が占める座標領域を意味する。
【0045】
位置合わせ処理部26は、第1対象像TI1の位置と第2対象像TI2との位置が互いに一致しているか否かを判定する。当該判定は、第1対象像TI1の位置(座標領域)と第2対象像TI2の位置を比較することで判定可能である。そして、一致しない場合には、第1対象像TI1又は第2対象像TI2のうちの少なくとも1つを平行移動又は回転させることによって、第1対象像TI1と第2対象像TI2との位置合わせが可能であるか否かを判定する。第1対象像TI1が
図4に示す位置であり、第2対象像TI2が
図7に示す位置である場合を例に、位置合わせ処理部26による判定処理を説明する。
【0046】
まず、位置合わせ処理部26は、第1対象像TI1の重心C1の位置を特定する。本実施形態では、
図8に示すように、位置合わせ処理部26は、第1対象像TI1の外接矩形Bをまず特定し、外接矩形Bの対角線の交点座標を重心C1の位置として特定する。同様に、位置合わせ処理部26は、第2対象像TI2の重心C2の位置を特定する。
【0047】
次いで、位置合わせ処理部26は、重心C1と重心C2とを位置合わせするように、第1対象像TI1又は第2対象像TI2の少なくとも一方を、読取画像の座標空間において平行移動させる。ここでは、
図9に示すように、位置合わせ処理部26は第2対象像TI2を平行移動させる。なお、重心C1と重心C2の位置が最初から同じ位置である場合には、位置合わせ処理部26は、第1対象像TI1又は第2対象像TI2の少なくとも一方を平行移動させる必要はない。
【0048】
次いで、位置合わせ処理部26は、重心C1と重心C2とを一致させた状態で、第1対象像TI1と第2対象像TI2との間でパターンマッチング処理を行う。パターンマッチング処理についても、既存の技術を用いて行うことができるため、個々では詳細な説明は省略する。パターンマッチング処理の結果、第1対象像TI1と第2対象像TI2のエッジ(外枠)が一致した場合、位置合わせ処理部26は、第1対象像TI1と第2対象像TI2との位置合わせが可能である、と判定する。
【0049】
重心C1と重心C2とを一致させた第1対象像TI1と第2対象像TI2のエッジが一致しない場合、位置合わせ処理部26は、第1対象像TI1又は第2対象像TI2の一方を、その重心C1又はC2を中心に微小角度回転させ、回転後において第1対象像TI1と第2対象像TI2のエッジが一致するか否かの判定をする。ここでは、
図10に示すように、位置合わせ処理部26は第2対象像TI2を重心C2を中心に回転させる。回転後において、第1対象像TI1と第2対象像TI2のエッジが一致した場合、位置合わせ処理部26は、第1対象像TI1と第2対象像TI2との位置合わせが可能である、と判定する。位置合わせ処理部26は、第1対象像TI1と第2対象像TI2のエッジが一致するまで、第1対象像TI1又は第2対象像TI2の一方の回転と、エッジが一致するか否かの判定を繰り返す。第1対象像TI1又は第2対象像TI2の一方が1回転する間に、第1対象像TI1と第2対象像TI2のエッジが一致しない場合は、位置合わせ処理部26は、第1対象像TI1と第2対象像TI2との位置合わせが不可能である、と判定する。
【0050】
なお、第1対象像TI1と第2対象像TI2との位置合わせが不可能である場合の例として、例えば、第1対象像TI1が
図4に示すものであった場合に、
図11に示すように、第2対象像TI2が歪んでしまっている場合が挙げられる。あるいは、第1対象像TI1が
図4に示すものであった場合に、
図12に示すように、そもそも第1対象像TI1が示す読取対象物Tと、第2対象像TI2が示す読取対象物Tとが異なる場合(第1読取環境における読取処理と、第2読取環境における読取処理との間に、読取対象物Tが交換されてしまった場合)などが挙げられる。
【0051】
位置合わせ処理部26は、第1対象像TI1と第2対象像TI2との位置合わせが可能である、と判定した場合、上述の処理(すなわち、重心C1と重心C2とを位置合わせするように第1対象像TI1又は第2対象像TI2の少なくとも一方を平行移動させ、必要なら第1対象像TI1又は第2対象像TI2の一方を回転させる処理)によって、第1対象像TI1と第2対象像TI2との位置合わせを実行する。一方、位置合わせ処理部26は、第1対象像TI1及び第2対象像TI2の位置合わせが不可能である、と判定した場合、第1対象像TI1と第2対象像TI2との位置合わせを実行しない。
【0052】
位置合わせ処理部26は、第1対象像TI1及び第2対象像TI2を同縮小率で縮小させた上で、第1対象像TI1と第2対象像TI2との位置合わせが可能であるか否かを判定するようにしてもよい。これにより、第1対象像TI1と第2対象像TI2との位置合わせが可能であるか否かを判定のための演算量を低減することができ、判定処理を高速化することができる。
【0053】
合成処理部28は、まず、第1対象像TI1において、光沢領域GRと非光沢領域NGRを識別する処理を実行する。当該識別処理は、種々の方法で行うことができる。例えば、上述の通り、第1対象像TI1においては、非光沢領域NGRの画素値と光沢領域GRの画素値がかなり異なる(非光沢領域NGRに比して、光沢領域GRの明度がかなり低い)。したがって、合成処理部28は、第1対象像TI1を構成する各画素の明度に基づいて、光沢領域GRと非光沢領域NGRを識別することができる。また、入力画像に基づいて、当該入力画像における光沢領域GRと非光沢領域NGRを識別するように学習器(例えばSegNetなど)を予め学習させておき、学習済みの学習器に第1対象像TI1を入力することで、光沢領域GRと非光沢領域NGRを識別することができる。あるいは、ユーザが第1対象像TI1において手動で光沢領域GRを特定し、合成処理部28は、ユーザによって特定された領域を光沢領域GR、それ以外の領域を非光沢領域NGRとするようにしてもよい。
【0054】
第1対象像TI1と第2対象像TI2とが位置合わせされている場合は、第1対象像TI1において識別した光沢領域GR及び非光沢領域NGRの座標領域を、第2対象像TI2における光沢領域GR及び非光沢領域NGRとすることができる。一方、後述のように、合成処理部28は、第1対象像TI1と第2対象像TI2とが位置合わせ不可能である場合にも、合成画像を形成する場合がある。その場合は、合成処理部28は、別途、第2対象像TI2においても、上述の処理と同様の処理によって、光沢領域GRと非光沢領域NGRを識別する処理を実行する。
【0055】
次いで、合成処理部28は、第1対象像TI1の非光沢領域NGRと、第2対象像TI2の光沢領域GRとを合成する合成処理を実行する。
【0056】
ここで、位置合わせ処理部26により、第1対象像TI1と第2対象像TI2との位置合わせが実行されているならば、合成処理によって、
図13に示すように、第1対象像TI1の光沢領域GRがあった部分に第2対象像TI2の光沢領域GRがちょうど収まった合成画像CIが形成される。
【0057】
合成画像CIは、読取対象物Tの光沢部分Gの光沢が好適に表現され、且つ、読取対象物Tの非光沢部分NGに対応する画素の画質の劣化が抑制された読取画像である。このように、本実施形態によれば、第1対象像TI1と第2対象像TI2の姿勢が互いに異なる場合であっても、適切な合成画像CIを形成することが可能となっている。
【0058】
一方、合成処理部28は、第1対象像TI1と第2対象像TI2との位置合わせが実行されていない場合にも、上述の合成処理を実行することができる。しかしながら、この場合は、合成処理によって、
図14に示すように、元の位置(すなわち位置合わせしていない位置)における第1対象像TI1の非光沢領域NGRと、元の位置における第2対象像TI2の光沢領域GRとが単に合成されることになる。本明細書では、このような合成処理によって得られた合成画像を、位置合わせ後の合成画像CIと区別して、非位置合わせ合成画像NCIと呼ぶ。
【0059】
非位置合わせ合成画像NCIは、第1対象像TI1と第2対象像TI2との位置合わせが不可能な場合のみならず、第1対象像TI1と第2対象像TI2との位置合わせが可能である場合にも形成されてよい。この場合、合成処理部28は、位置合わせ前の第1対象像TI1の非光沢領域NGRと、位置合わせ前の第2対象像TI2の光沢領域GRを合成して非位置合わせ合成画像NCIを形成する。後述するように、第1対象像TI1と第2対象像TI2との位置合わせが可能である場合には、合成画像CIと非位置合わせ合成画像NCIとの両方をユーザに提示して、両合成画像の差異を提示することができる。
【0060】
なお、位置合わせ前に、第1対象像TI1と第2対象像TI2との位置が一致している場合は、合成処理部28は、そのまま合成画像CIを生成すればよい。
【0061】
表示制御部30は、種々の画面をディスプレイ14に表示させる処理を実行する。特に、表示制御部30は、合成処理部28が形成した合成画像CIをディスプレイ14に表示させる。ユーザは、ディスプレイ14に表示された合成画像CIを確認した上で、当該合成画像CIの画像データファイル(例えばBMP(ビットマップ)ファイル、JPEGファイルなど)の生成指示を入力することができる。ユーザから生成指示を受けると、合成処理部28は、当該合成画像CIの画像データファイルを生成する。当該画像データファイルは、そのままユーザに提供されてもよいし、印刷処理のためプリンタに渡されてもよい。
【0062】
図15は、第1対象像TI1と第2対象像TI2との位置合わせが可能である場合にディスプレイ14に表示される画面の第1の例を示す図である。表示制御部30は、第1対象像TI1と第2対象像TI2との位置合わせが可能な場合に、合成画像CIをディスプレイ14に表示させる。
【0063】
また、
図16は、第1対象像TI1と第2対象像TI2との位置合わせが可能である場合にディスプレイ14に表示される画面の第2の例を示す図である。表示制御部30は、
図16に示すように、合成画像CIと共に、第1対象像TI1と第2対象像TI2とを位置合わせを実行する前に合成処理部28が合成処理を行うことで形成した非位置合わせ合成画像NCIをディスプレイに表示させてもよい。これにより、ユーザは、位置合わせの前後における合成画像(合成画像CIと非位置合わせ合成画像NCI)の差異を容易に把握することができる。
【0064】
また、単に合成画像CIがディスプレイ14に表示されただけでは、ユーザは、表示された画像が、合成画像CIなのか非位置合わせ合成画像NCIなのかを把握することができない場合がある。したがって、表示制御部30は、位置合わせ処理部26によって、第1対象像TI1と第2対象像TI2との位置合わせが可能である場合は、当該位置合わせが可能であることをユーザに通知するとよい。本実施形態では、
図15又は
図16に示すように、表示制御部30は、「自動で補正可能です。」などの文字をディスプレイ14に表示させることで、ユーザに位置合わせが可能であることを通知する。なお、当該通知は、別途の方法で行ってもよい。例えば、上記文字をディスプレイ14に表示することに代えてあるいは加えて、音声出力などによってユーザに通知するようにしてもよい。
【0065】
また、表示制御部30は、第1対象像TI1と第2対象像TI2との位置合わせが可能である場合にディスプレイ14に表示される画面において、合成画像CIと共に、Yesボタン及びNoボタンを表示させるとよい。Yesボタンには、画像データファイルの生成指示が関連付けられている。ユーザがYesボタンを操作すると、合成処理部28は、当該ユーザからの生成指示に応じて、合成画像CIの画像データファイルを生成する。このように、本実施形態では、合成処理部28は、第1対象像TI1と第2対象像TI2との位置合わせが可能である場合、合成画像CIを形成した後、ユーザからの指示を待って、当該合成画像CIの画像データファイルを生成する。
【0066】
本実施形態では、Noボタンには、第1対象像TI1又は第2対象像TI2の少なくとも一方を再取得する指示が関連付けられている。したがって、ユーザがNoボタンを操作すると、合成画像CIの画像データファイルの生成に先立って、第1対象像TI1又は第2対象像TI2の少なくとも一方を再取得する指示が入力される(換言すればプロセッサ20が当該指示を受け付ける)。これに基づいて、読取処理部22は、第1読取画像SI1又は第2読取画像SI2の少なくとも一方を再取得する。第1読取画像SI1又は第2読取画像SI2の少なくとも一方の再取得に先立って、表示制御部30は、ユーザに読取対象物Tの姿勢を確認するように通知するようにしてもよい。
【0067】
なお、第1対象像TI1と第2対象像TI2との位置合わせが可能である場合にも、ユーザが第1対象像TI1又は第2対象像TI2の少なくとも一方の再取得を望む場合があり得る。例えば、合成画像CIがユーザのイメージ通りの画像ではない場合である。また、位置合わせの精度を欠く場合が無いとは言えず、合成画像CIの精度が低い場合が生じる可能性がある。本実施形態では、そのようなことを鑑み、第1対象像TI1と第2対象像TI2との位置合わせが可能である場合にディスプレイ14に表示される画面においてもNoボタンを用意している。
【0068】
図17は、第1対象像TI1と第2対象像TI2との位置合わせが不可能である場合にディスプレイ14に表示される画面の例を示す図である。表示制御部30は、第1対象像TI1と第2対象像TI2との位置合わせが不可能な場合に、非位置合わせ合成画像NCIをディスプレイ14に表示させる。
【0069】
また、単に非位置合わせ合成画像NCIがディスプレイ14に表示されただけでは、ユーザは、表示された画像が、合成画像CIなのか非位置合わせ合成画像NCIなのかを把握することができない場合がある。したがって、表示制御部30は、位置合わせ処理部26によって、第1対象像TI1と第2対象像TI2との位置合わせが不可能である場合は、当該位置合わせが不可能であることをユーザに通知するとよい。本実施形態では、
図17に示すように、表示制御部30は、「自動で補正できません。」などの文字をディスプレイ14に表示させることで、ユーザに位置合わせが不可能であることを通知する。なお、当該通知は、別途の方法で行ってもよい。例えば、上記文字をディスプレイ14に表示することに代えてあるいは加えて、音声出力などによってユーザに通知するようにしてもよい。
【0070】
また、表示制御部30は、第1対象像TI1と第2対象像TI2との位置合わせが不可能である場合にディスプレイ14に表示される画面において、非位置合わせ合成画像NCIと共に、Yesボタン及びNoボタンを表示させるとよい。Yesボタンには、画像データファイルの生成指示が関連付けられている。ユーザがYesボタンを操作すると、合成処理部28は、当該ユーザからの生成指示に応じて、非位置合わせ合成画像NCIの画像データファイルを生成する。このように、本実施形態では、合成処理部28は、第1対象像TI1と第2対象像TI2との位置合わせが不可能である場合、非位置合わせ合成画像NCIを形成した後、ユーザからの指示を待って、当該非位置合わせ合成画像NCIの画像データファイルを生成する。
【0071】
なお、第1対象像TI1と第2対象像TI2との位置合わせが不可能である場合にも、ユーザが非位置合わせ合成画像NCIの画像データファイルの生成を望む場合があり得る。例えば、第1対象像TI1と第2対象像TI2との位置合わせが不可能であるが、第1対象像TI1と第2対象像TI2との姿勢の差がわずかであり、非位置合わせ合成画像NCIでも実質的に問題ない場合などである。本実施形態では、そのような場合に備え、第1対象像TI1と第2対象像TI2との位置合わせが不可能である場合にディスプレイ14に表示される画面においてもYesボタンを用意している。
【0072】
第1対象像TI1と第2対象像TI2との位置合わせが可能である場合にディスプレイ14に表示される画面に含まれるNoボタン同様、Noボタンには、第1対象像TI1又は第2対象像TI2の少なくとも一方を再取得する指示が関連付けられている。したがって、ユーザがNoボタンを操作すると、第1対象像TI1又は第2対象像TI2の少なくとも一方を再取得する指示が入力される(換言すればプロセッサ20が当該指示を受け付ける)ことになる。これに基づいて、読取処理部22は、第1読取画像SI1又は第2読取画像SI2の少なくとも一方を再取得する。第1読取画像SI1又は第2読取画像SI2の少なくとも一方の再取得に先立って、表示制御部30は、ユーザに読取対象物Tの姿勢を確認するように通知するようにしてもよい。
【0073】
本実施形態に係る画像処理装置10の概要は以上の通りである。以下、
図18に示すフローチャートに従って、画像処理装置10の処理の流れを説明する。
【0074】
ステップS10において、読取処理部22は、スキャナ18を制御して、第1読取画像SI1及び第2読取画像SI2を取得する。
【0075】
ステップS12において、対象像抽出部24は、ステップS10で取得された第1読取画像SI1から第1対象像TI1を抽出する。また、対象像抽出部24は、ステップS10で取得された第2読取画像SI2から第2対象像TI2を抽出する。
【0076】
ステップS14において、位置合わせ処理部26は、第1対象像TI1の位置と第2対象像TI2との位置が互いに一致しているか否かを判定する。ここで、一致していれば、位置合わせの必要はないため、以後、ステップS16で、合成処理部28が、第1対象像TI1の非光沢領域NGRと、第2対象像TI2の光沢領域GRとを合成する合成処理を実行して合成画像CIを形成し、ステップS18で、表示制御部30が、ステップS16で形成された合成画像CIをディスプレイ14に表示させればよい。ここでは、ステップS14にて、第1対象像TI1の位置と第2対象像TI2との位置が互いに一致していないと判定されたとし、ステップS20に進む。
【0077】
ステップS20において、位置合わせ処理部26は、第1対象像TI1又は第2対象像TI2のうちの少なくとも1つを平行移動又は回転させることによって、第1対象像TI1と第2対象像TI2との位置合わせが可能であるか否かを判定する。位置合わせ可能である場合はステップS22に進む。
【0078】
ステップS22において、位置合わせ処理部26は、第1対象像TI1と第2対象像TI2の位置合わせを行い、合成処理部28は、位置合わせされた第1対象像TI1の非光沢領域NGRと、位置合わせされた第2対象像TI2の光沢領域GRとを合成する合成処理を実行して合成画像CIを形成する。
【0079】
ステップS24において、表示制御部30は、第1対象像TI1と第2対象像TI2の位置合わせが可能であることをユーザに通知すると共に、合成画像CIをディスプレイ14に表示させる。
【0080】
一方、ステップS20において位置合わせが不可能であると判定した場合は、ステップS26に進む。
【0081】
ステップS26において、合成処理部28は、位置合わせされていない第1対象像TI1の非光沢領域NGRと、位置合わせされていない第2対象像TI2の光沢領域GRとを合成する合成処理を実行して非位置合わせ合成画像NCIを形成する。
【0082】
ステップS28において、表示制御部30は、第1対象像TI1と第2対象像TI2の位置合わせが不可能であることをユーザに通知すると共に、非位置合わせ合成画像NCIをディスプレイ14に表示させる。
【0083】
ステップS30において、合成処理部28は、ユーザからの指示を判定する。ユーザからの指示が、第1対象像TI1又は第2対象像TI2の少なくとも一方を再取得する指示である場合、ステップS10に戻る。再度のステップS10において、読取処理部22は、第1対象像TI1又は第2対象像TI2の少なくとも一方を再取得するようにスキャナ18を制御する。ユーザからの指示が、画像データファイルを生成する生成指示である場合、ステップS32に進む。
【0084】
ステップS32において、合成処理部28は、合成画像CI(ステップS18若しくはS24を経由した場合)、又は、非位置合わせ合成画像NCIの画像データファイルを生成する。
【0085】
以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。
【0086】
例えば、本実施形態では、読取処理部22、対象像抽出部24、位置合わせ処理部26、合成処理部28、及び表示制御部30の機能は、画像処理装置10のプロセッサ20が有していたが、これらの機能は、スキャナ18を有する画像読取装置以外の装置(例えばパーソナルコンピュータやサーバなど)のプロセッサが有していてもよい。その場合、上記の機能を有するプロセッサを備える装置は、第1読取画像SI1及び第2読取画像SI2が取得する画像読取装置から、第1読取画像SI1及び第2読取画像SI2を取得した上で、各種処理を実行する。
【0087】
(付記)
(((1)))
プロセッサを備え、
前記プロセッサは、
光沢部分及び非光沢部分を有する読取対象物が第1読取環境にて光学的に読み取られて取得された第1読取画像から前記読取対象物に対応する第1対象像を抽出し、画像センサが取得する前記読取対象物からの正反射光の光量が前記第1読取環境に比して多い第2読取環境にて、前記読取対象物が光学的に読み取られて取得された第2読取画像から前記読取対象物に対応する第2対象像を抽出し、
前記第1対象像と前記第2対象像との位置が互いに一致していない場合であって、前記第1対象像又は前記第2対象像のうちの少なくとも1つを平行移動又は回転させることによって前記第1対象像と前記第2対象像との位置合わせが可能である場合に、前記位置合わせを実行し、
前記第1対象像から抽出した前記非光沢部分に対応する非光沢領域と、前記第2対象像から抽出した前記光沢部分に対応する光沢領域とを合成する合成処理を実行して合成画像を形成する、
ことを特徴とする画像処理装置。
(((2)))
前記プロセッサは、
前記第1対象像及び前記第2対象像を同縮小率で縮小させた上で、前記位置合わせが可能であるか否かを判定する、
ことを特徴とする(((1)))に記載の画像処理装置。
(((3)))
前記プロセッサは、
前記合成画像を表示部に表示させ、
ユーザからの指示に応じて、前記合成画像の画像データファイルを生成する、
ことを特徴とする(((1)))に記載の画像処理装置。
(((4)))
前記プロセッサは、
前記位置合わせを実行せずに前記合成処理を実行して非位置合わせ合成画像を形成し、
前記合成画像及び前記非位置合わせ合成画像を前記表示部に表示させる、
ことを特徴とする(((3)))に記載の画像処理装置。
(((5)))
前記プロセッサは、
前記位置合わせが可能である場合は、前記位置合わせが可能であることをユーザに通知し、
前記位置合わせが不可能である場合は、前記位置合わせが不可能であることをユーザに通知する、
ことを特徴とする(((1)))に記載の画像処理装置。
(((6)))
前記プロセッサは、
前記位置合わせが可能である場合は、前記合成画像を表示部に表示させ、
前記位置合わせが不可能である場合は、前記位置合わせを実行せずに前記合成処理を実行して形成した非位置合わせ合成画像を前記表示部に表示させる、
ことを特徴とする(((5)))に記載の画像処理装置。
(((7)))
前記プロセッサは、
前記合成画像の画像データファイルの生成に先立って、前記第1読取画像又は前記第2読取画像の少なくとも一方を再取得するか否かをユーザから受け付け、
前記ユーザから再取得する指示を受けた場合は、第1読取画像又は第2読取画像の少なくとも一方を再度取得する、
ことを特徴とする(((5)))に記載の画像処理装置。
(((8)))
前記プロセッサは、
前記位置合わせが可能である場合であって、前記ユーザから画像データファイルの生成指示を受けた場合は、前記合成画像の画像データファイルを生成する、
ことを特徴とする(((7)))に記載の画像処理装置。
(((9)))
前記プロセッサは、
前記位置合わせが不可能である場合であって、前記ユーザから画像データファイルの生成指示を受けた場合は、前記位置合わせを実行せずに前記合成処理を実行して形成された非位置合わせ合成画像の画像データファイルを生成する、
ことを特徴とする(((7)))に記載の画像処理装置。
(((10)))
前記第1読取環境における前記読取対象物を読み取る読取処理と、前記第2読取環境における前記読取対象物を読み取る読取処理との間に、前記読取対象物の姿勢が変更される、
ことを特徴とする(((1)))に記載の画像処理装置。
(((11)))
コンピュータに、
光沢部分及び非光沢部分を有する読取対象物が第1読取環境にて光学的に読み取られて取得された第1読取画像から前記読取対象物に対応する第1対象像を抽出させ、画像センサが取得する前記読取対象物からの正反射光の光量が前記第1読取環境に比して多い第2読取環境にて、前記読取対象物が光学的に読み取られて取得された第2読取画像から前記読取対象物に対応する第2対象像を抽出させ、
前記第1対象像と前記第2対象像との位置が互いに一致していない場合であって、前記第1対象像又は前記第2対象像のうちの少なくとも1つを平行移動又は回転させることによって前記第1対象像と前記第2対象像との位置合わせが可能である場合に、前記位置合わせを実行させ、
前記第1対象像から抽出した前記非光沢部分に対応する非光沢領域と、前記第2対象像から抽出した前記光沢部分に対応する光沢領域とを合成する合成処理を実行して合成画像を形成させる、
ことを特徴とする画像処理プログラム。
【0088】
(((1)))、(((10)))、又は(((11)))に係る発明によれば、第1読取環境にて得られた第1読取画像から抽出された、読取対象物に対応する第1対象像と、画像センサが取得する読取対象物からの正反射光の光量が第1読取環境に比して多い第2読取環境にて得られた第2読取画像から抽出された、当該読取対象物に対応する第2対象像との姿勢が互いに異なる場合であっても、第1対象像の非光沢領域と第2対象像の光沢領域とが正しく合成された合成画像を得ることができる。
(((2)))に係る発明によれば、第1対象像及び第2対象像を縮小させなかった場合に比して、位置合わせ可能か否かの判定処理を高速化することができる。
(((3)))に係る発明によれば、ユーザは、合成画像を確認した上で、当該合成画像の画像データファイルの生成を指示することができる。
(((4)))に係る発明によれば、ユーザは、合成画像と非位置合わせ合成画像を比較することができる。
(((5)))又は(((6)))に係る発明によれば、ユーザは、第1対象像と第2対象像との位置合わせが可能であるか否かを把握することができる。
(((7)))に係る発明によれば、ユーザは、第1対象像と第2対象像との位置合わせの可否に応じて、第1読取画像又は第2読取画像の少なくとも一方の再取得を指示することができる。
(((8)))に係る発明によれば、合成画像の画像データファイルを得ることができる。
(((9)))に係る発明によれば、非位置合わせ合成画像の画像データファイルを得ることができる。
【符号の説明】
【0089】
10 画像処理装置、12 入力インターフェース、14 ディスプレイ、16 メモリ、18 スキャナ、20 プロセッサ、22 読取処理部、24 対象像抽出部、26 位置合わせ処理部、28 合成処理部、30 表示制御部、40 原稿台、42a 第1光源、42b 第2光源、44 画像センサ。