特許第6614500号(P6614500)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 京セラドキュメントソリューションズ株式会社の特許一覧
特許6614500画像読取装置、携帯端末、画像読取方法及び画像読取プログラム
<>
  • 特許6614500-画像読取装置、携帯端末、画像読取方法及び画像読取プログラム 図000002
  • 特許6614500-画像読取装置、携帯端末、画像読取方法及び画像読取プログラム 図000003
  • 特許6614500-画像読取装置、携帯端末、画像読取方法及び画像読取プログラム 図000004
  • 特許6614500-画像読取装置、携帯端末、画像読取方法及び画像読取プログラム 図000005
  • 特許6614500-画像読取装置、携帯端末、画像読取方法及び画像読取プログラム 図000006
  • 特許6614500-画像読取装置、携帯端末、画像読取方法及び画像読取プログラム 図000007
  • 特許6614500-画像読取装置、携帯端末、画像読取方法及び画像読取プログラム 図000008
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6614500
(24)【登録日】2019年11月15日
(45)【発行日】2019年12月4日
(54)【発明の名称】画像読取装置、携帯端末、画像読取方法及び画像読取プログラム
(51)【国際特許分類】
   H04N 1/04 20060101AFI20191125BHJP
   H04N 1/387 20060101ALI20191125BHJP
   G06T 1/00 20060101ALI20191125BHJP
【FI】
   H04N1/04 106Z
   H04N1/387
   G06T1/00 420P
【請求項の数】8
【全頁数】12
(21)【出願番号】特願2016-190451(P2016-190451)
(22)【出願日】2016年9月28日
(65)【公開番号】特開2018-56784(P2018-56784A)
(43)【公開日】2018年4月5日
【審査請求日】2018年7月31日
(73)【特許権者】
【識別番号】000006150
【氏名又は名称】京セラドキュメントソリューションズ株式会社
(74)【代理人】
【識別番号】100115831
【弁理士】
【氏名又は名称】藤岡 隆浩
(72)【発明者】
【氏名】里見 星輝
【審査官】 橋爪 正樹
(56)【参考文献】
【文献】 特開2004−104299(JP,A)
【文献】 特開2001−142382(JP,A)
【文献】 特開2016−022000(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 1/00
H04N 1/04− 1/207
H04N 1/38− 1/393
G06T 1/00
(57)【特許請求の範囲】
【請求項1】
携帯可能な画像読取装置であって、
原稿面に表された原稿画像を撮影する撮像部と、
前記撮像部の光軸と交差する方向への前記撮像部の並進移動に伴う連続撮像を行って相互に視差を有して共通する共通画像領域を有する複数の画像データを生成する撮像制御部と、
前記共通画像領域の画像を表す画像データを使用して前記原稿面の三次元形状を推定し、前記推定された三次元形状に基づいて前記共通画像領域の画像を表す画像の歪みを補正して前記原稿面が平面であると仮定した場合の前記共通画像領域の画像である平面画像を表す補正画像データを生成する画像解析部と、
前記複数の平面画像を合成して、前記原稿面が平面であると仮定した場合の前記原稿画像を表す画像データを生成する画像合成部と、
前記原稿画像のうちの一部の不鮮明な領域である不鮮明領域が前記画像解析部によって検出された場合には、前記原稿画像の全体を表示し、前記不鮮明領域を示すことによって注意を喚起し、前記不鮮明領域の再度の撮像を行うためのユーザー入力を受け付ける操作表示部と、
を備え
前記画像解析部は、既に取得されている不鮮明領域をカバーする領域の画像を表す画像データと前記再度の撮像で取得された画像データとを使用して前記補正画像データを新たに生成し、
前記画像合成部は、前記新たに生成された補正画像データを使用して前記原稿画像を表す画像データを生成する画像読取装置。
【請求項2】
請求項1記載の画像読取装置であって、
前記画像解析部は、前記原稿面の全体の撮影に応じて、前記画像読取装置を並進移動させつつ連続撮影すべき軌道を設定し、
前記操作表示部は、前記原稿面を表す画像に前記軌道を重畳させて表示し、
前記撮像制御部は、前記画像解析部による前記軌道の始端側の第1の輪郭の検知に応じて前記連続撮影を開始し、前記画像解析部による前記軌道の終端側の第2の輪郭の消失の検知に応じて前記連続撮影を自動的に停止する画像読取装置。
【請求項3】
請求項2に記載の画像読取装置であって、
前記画像解析部は、前記原稿面が矩形の輪郭形状を有している場合には、前記軌道として前記原稿面の長手方向に沿った軌道を設定する画像読取装置。
【請求項4】
請求項1乃至3のいずれか1項に記載の画像読取装置であって、
前記画像解析部は、コントラストに基づいて前記不鮮明領域を検出する画像読取装置。
【請求項5】
請求項1乃至4のいずれか1項に記載の画像読取装置であって、
前記画像解析部は、文字認識のエラーに基づいて前記不鮮明領域を検出する画像読取装置。
【請求項6】
携帯端末であって、
請求項1乃至5のいずれか1項に記載の画像読取装置と、
前記原稿画像を表す画像データを送信する通信インターフェース部と、
を備える携帯端末
【請求項7】
携帯可能な画像読取装置を使用する画像読取方法であって、
前記画像読取装置の撮像部を用いて原稿面に表された原稿画像を撮影する撮像工程と、
前記撮像部の光軸と交差する方向への前記撮像部の並進移動に伴う連続撮像を行って相互に視差を有して共通する共通画像領域を有する複数の画像データを生成する撮像制御工程と、
前記共通画像領域の画像を表す画像データを使用して前記原稿面の三次元形状を推定し、前記推定された三次元形状に基づいて前記共通画像領域の画像を表す画像の歪みを補正して前記原稿面が平面であると仮定した場合の前記共通画像領域の画像である平面画像を表す補正画像データを生成する画像解析工程と、
前記複数の平面画像を合成して、前記原稿面が平面であると仮定した場合の前記原稿画像を表す画像データを生成する画像合成工程と
前記原稿画像のうちの一部の不鮮明な領域である不鮮明領域が前記画像解析工程によって検出された場合には、前記原稿画像の全体を表示し、前記不鮮明領域を示すことによって注意を喚起し、前記不鮮明領域の再度の撮像を行うためのユーザー入力を受け付ける操作表示工程と、
を備え
前記画像解析工程は、既に取得されている不鮮明領域をカバーする領域の画像を表す画像データと前記再度の撮像で取得された画像データとを使用して前記補正画像データを新たに生成し、
前記画像合成工程は、前記新たに生成された補正画像データを使用して前記原稿画像を表す画像データを生成する画像読取方法。
【請求項8】
携帯可能な画像読取装置を制御するための画像読取プログラムであって、
原稿面に表された原稿画像を撮影する撮像部、
前記撮像部の光軸と交差する方向への前記撮像部の並進移動に伴う連続撮像を行って相互に視差を有して共通する共通画像領域を有する複数の画像データを生成する撮像制御部、
前記共通画像領域の画像を表す画像データを使用して前記原稿面の三次元形状を推定し、前記推定された三次元形状に基づいて前記共通画像領域の画像を表す画像の歪みを補正して前記原稿面が平面であると仮定した場合の前記共通画像領域の画像である平面画像を表す補正画像データを生成する画像解析部
記複数の平面画像を合成して、前記原稿面が平面であると仮定した場合の前記原稿画像を表す画像データを生成する画像合成部、及び
前記原稿画像のうちの一部の不鮮明な領域である不鮮明領域が前記画像解析部によって検出された場合には、前記原稿画像の全体を表示し、前記不鮮明領域を示すことによって注意を喚起し、前記不鮮明領域の再度の撮像を行うためのユーザー入力を受け付ける操作表示部として前記画像読取装置を機能させ
前記画像解析部は、既に取得されている不鮮明領域をカバーする領域の画像を表す画像データと前記再度の撮像で取得された画像データとを使用して前記補正画像データを新たに生成し、
前記画像合成部は、前記新たに生成された補正画像データを使用して前記原稿画像を表す画像データを生成する画像読取プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラで原稿を撮影して生成された複数の画像から1つの画像を生成する技術に関する。
【背景技術】
【0002】
原稿の画像は、スキャナーを使用して読み取ることが一般的である。スキャナーは、安定した光源で原稿を一様に照射し、ラインスキャナーを走査させることによって高解像で画像を取得することができる。一方、撮影機能を有するスマートフォンの普及によって、スマートフォンを使用して原稿の画像を読み取ることも望まれるようになってきた。このようなニーズに対して、特許文献1は、カメラ画像から用紙部分を切り取って台形補正を行うことで文書の直上からの撮影を行わずに長方形の撮影データを得る技術を提案している。特許文献2は、カメラで原稿を撮影して生成されたカメラ画像からブック原稿の歪みを補正する技術を提案している。特許文献3は、多点測距して測距データを取得し、測距データに基づいて湾曲歪を補正する技術を提案している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−77489号公報
【特許文献2】特許第4847592号公報
【特許文献3】特開2013−93704号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、本願発明者は、カメラ画像を使用する原稿読取には、以下の課題があることを新たに見いだした。すなわち、撮像解像度やModulation Transfer Function(MTF)、歪み補正等の画像処理に伴う解像度低下といった課題である。具体的には、600dpiでA4原稿の画像読取を行うためには、約7000×5000の非常に多数の画素数が必要となる。MTFの改善には、光学系の高コスト化や大型化が伴う。カメラ画像においては、歪み補正等の画像処理は回避が困難である。
【0005】
本発明は、このような状況に鑑みてなされたものであり、携帯可能な撮像装置によって高品質の画像を取得するための技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の画像読取装置は、原稿面に表された原稿画像を撮影する撮像部と、前記撮像部の光軸と交差する方向への前記撮像部の並進移動に伴う連続撮像を行って相互に視差を有して共通する共通画像領域を有する複数の画像データを生成する撮像制御部と、前記共通画像領域の画像を表す画像データを使用して前記原稿面の三次元形状を推定し、前記推定された三次元形状に基づいて前記共通画像領域の画像を表す画像の歪みを補正して前記原稿面が平面であると仮定した場合の前記共通画像領域の画像である平面画像を表す補正画像データを生成する画像解析部と、前記複数の平面画像を合成して、前記原稿面が平面であると仮定した場合の前記原稿画像を表す画像データを生成する画像合成部とを備える。
【0007】
本発明の画像読取方法は、撮像部を用いて原稿面に表された原稿画像を撮影する撮像工程と、前記撮像部の光軸と交差する方向への前記撮像部の並進移動に伴う連続撮像を行って相互に視差を有して共通する共通画像領域を有する複数の画像データを生成する撮像制御工程と、前記共通画像領域の画像を表す画像データを使用して前記原稿面の三次元形状を推定し、前記推定された三次元形状に基づいて前記共通画像領域の画像を表す画像の歪みを補正して前記原稿面が平面であると仮定した場合の前記共通画像領域の画像である平面画像を表す補正画像データを生成する画像データ解析工程と、前記複数の平面画像を合成して、前記原稿面が平面であると仮定した場合の前記原稿画像を表す画像データを生成する画像合成工程とを備える。
【0008】
本発明の画像読取プログラムは、画像読取装置を制御する。前記画像読取プログラムは、原稿面に表された原稿画像を撮影する撮像部、前記撮像部の光軸と交差する方向への前記撮像部の並進移動に伴う連続撮像を行って相互に視差を有して共通する共通画像領域を有する複数の画像データを生成する撮像制御部、前記共通画像領域の画像を表す画像データを使用して前記原稿面の三次元形状を推定し、前記推定された三次元形状に基づいて前記共通画像領域の画像を表す画像の歪みを補正して前記原稿面が平面であると仮定した場合の前記共通画像領域の画像である平面画像を表す補正画像データを生成する画像解析部、及び前記複数の平面画像を合成して、前記原稿面が平面であると仮定した場合の前記原稿画像を表す画像データを生成する画像合成部として前記画像読取装置を機能させる。
【発明の効果】
【0009】
本発明によれば、携帯可能な撮像装置によって高品質の画像を取得するための技術を提供する。
【図面の簡単な説明】
【0010】
図1】本発明の一実施形態に係る画像読取システム10の機能構成を示すブロックダイアグラムである。
図2】一実施形態に係る原稿画像生成処理の内容を示すフローチャートである。
図3】一実施形態に係るスマートフォン200による撮像開始の様子を示す説明図である。
図4】一実施形態に係るスマートフォン200による撮像の様子を示す説明図である。
図5】一実施形態に係るスマートフォン200によって撮像された複数の画像が合成されている様子を示す説明図である。
図6】一実施形態に係る原稿画像生成処理によって合成された画像の一部に不鮮明な部分が存在する状況が表示されている様子を示す説明図である。
図7】一実施形態に係る原稿画像生成処理によって合成された画像の確認を促す表示画面を示す説明図である。
【発明を実施するための形態】
【0011】
以下、本発明を実施するための形態(以下、「実施形態」という)を、図面を参照して説明する。
【0012】
図1は、本発明の一実施形態に係る画像読取システム10の機能構成を示すブロックダイアグラムである。画像読取システム10は、画像形成装置100と、スマートフォン200とを備えている。画像形成装置100は、制御部110と、画像形成部120と、操作表示部130と、記憶部140と、通信インターフェース部150と、自動原稿送り装置(ADF)160とを備えている。画像形成部120は、印刷媒体上に画像を形成する。画像形成部120は、原稿から画像を読み取って画像データを生成する画像読取部121と、画像解析部122と、画像合成部123とを備える。画像解析部122及び画像合成部123の機能については後述する。
【0013】
スマートフォン200は、制御部210と、操作表示部230と、記憶部240と、通信インターフェース部250と、撮像部260とを備えている。スマートフォン200は、通信インターフェース部250と通信インターフェース部150とを使用して近距離無線通信で画像形成装置100と接続される。近距離無線通信は、本実施形態では、BLUETOOTH(登録商標)のCLASS1を使用している。BLUETOOTH(登録商標)のCLASS1は、出力100mWの通信であり、画像形成装置100とスマートフォン200との距離が100m以内程度での通信が可能な近距離無線通信である。
【0014】
画像形成装置100の操作表示部130及びスマートフォン200の操作表示部230は、タッチパネルとして機能し、様々なメニューを入力画面として表示し、顧客の操作入力を受け付ける。
【0015】
制御部110,210及び画像形成部120は、RAMやROM等の主記憶手段、及びMPU(Micro Processing Unit)やCPU(Central Processing Unit)等の制御手段を備えている。また、制御部110,210は、各種I/O、USB(ユニバーサル・シリアル・バス)、バス、その他ハードウェア等のインターフェースに関連するコントローラ機能を備えている。制御部110,210は、それぞれ画像形成装置100及びスマートフォン200の全体を制御する。
【0016】
記憶部140,240は、非一時的な記録媒体であるハードディスクドライブやフラッシュメモリー等からなる記憶装置で、それぞれ制御部110,210が実行する処理の制御プログラムやデータを記憶する。記憶部140には、スマートフォン200にインストールするための原稿画像取得アプリケーションプログラム141(単にアプリケーションとも呼ばれる。)が記憶されている。
【0017】
この例では、スマートフォン200は、画像形成装置100の記憶部140から原稿画像取得アプリケーションプログラム141をダウンロードして、記憶部240にインストール済みであるものとする。
【0018】
図2は、一実施形態に係る原稿画像生成処理の内容を示すフローチャートである。ステップS10では、ユーザーは、操作表示部230を操作してスマートフォン200の作動モードを原稿撮影モードに設定する。原稿撮影モードは、原稿画像取得アプリケーションプログラム141によってサポートされている撮影モードである。この撮影モードは、スマートフォン200による原稿画像の取得用に構成された作動モードである。
【0019】
図3は、一実施形態に係るスマートフォン200による撮像開始の様子を示す説明図である。操作表示部230には、原稿を表す画像BPが表示されている。撮像対象である原稿D(図4参照)は、デスクその他の任意の場所に置くことができる。原稿Dは、見開き状態で配置されている本としての原稿(ブック原稿とも呼ばれる。)である。ブック原稿としての原稿Dは、三次元形状を有する原稿面に画像を表している。
【0020】
ステップS20では、ユーザーは、スマートフォン200で原稿Dの全体を撮影する。スマートフォン200は、画像の取得に応じて画像データを画像形成装置100に送信する。これにより、スマートフォン200は、原稿Dの輪郭形状を含む画像を取得することができる。画像データの送信は、上述の近距離無線通信を介して行われる。
【0021】
画像解析部122は、原稿Dの全体を撮影に応じて、スマートフォン200を並進移動させつつ連続撮影すべき軌道を設定する。この例では、アスペクト比(縦横比)に基づいて略矩形の輪郭形状を有する原稿Dの長手方向に沿った軌道SLIが設定される。操作表示部230は、軌道SLIを原稿Dの画像BPに重畳させて表示する。この際、制御部210は、原稿Dの原稿面の略正面に向かって原稿面の輪郭の全体を含む画像を撮像部260に取得させる。なお、制御部210は、撮像制御部とも呼ばれる。
【0022】
ステップS30では、ユーザーは、軌道SLに沿って原稿Dを連続撮影する。画像解析部122は、撮像部260によって撮像されている原稿Dと撮像部260との位置関係を計算し、軌道SL(図4参照)の始端の方向からの軌道SLに沿った並進移動に伴う連写を開始する。連続撮影は、並進移動に伴う原稿Dの軌道SLの始端側の輪郭(第1の輪郭とも呼ばれる。)の検知に応じて開始し、原稿Dの軌道SLの終端側(反対側)の輪郭(第2の輪郭とも呼ばれる。)の非検知(消失)に応じて自動的に停止するようにしてもよい。
【0023】
図4は、一実施形態に係るスマートフォン200による原稿Dの撮像の様子を示す説明図である。スマートフォン200の制御部210は、上述のように、撮像部260に撮影領域ST1の画像、撮影領域ST2の画像、撮影領域ST3の画像、撮影領域ST4の画像、撮影領域ST5の画像及び撮影領域ST6の画像を取得させることができる。
【0024】
図5は、一実施形態に係るスマートフォン200によって撮像された複数の画像が合成されている様子を示す説明図である。図5は、撮影領域ST1〜ST6の3つの画像のうち撮影領域ST1〜ST3の3つの画像が取得される様子と、撮影領域ST1〜ST3の3つの画像によって生成される平面画像BDの一部とを示している。
【0025】
ステップS40では、画像解析部122は、三次元形状推定処理を実行する。三次元形状推定処理では、画像解析部122は、撮影領域ST1の画像と撮影領域ST2の画像の共通画像領域である曲面画像領域ST12cの画像が表されている原稿面の三次元形状を推定する処理である。曲面画像領域ST12cの原稿面の三次元形状は、撮影領域ST1の画像と撮影領域ST2の画像の視差を利用して推定される。曲面画像領域ST23cの原稿面の三次元形状は、曲面画像領域ST12cと同様に、撮影領域ST2の画像と撮影領域ST3の画像の視差を利用して行われる。
【0026】
撮影領域ST1の画像と撮影領域ST2の画像は、2つのステレオ画像として取り扱われる。画像解析部122は、たとえばブロックマッチング法等の画像マッチング処理を用いて対応点を探索し、各対応点の距離や撮像部260からの距離を計算する。画像解析部122は、各対応点の距離等を使用して原稿面の三次元形状を特定することができる。画像マッチング処理においては、撮影領域ST1の画像と撮影領域ST2の画像は、原稿Dの輪郭の形状に合致するように変形・配置するようにしてもよい。なお、共通画像領域は、2つの撮影領域の画像に共通する領域に限られず、3つ以上の撮影領域の画像に共通する領域であってもよい。
【0027】
画像マッチング処理には、たとえばアフィン変換を使用することができる。画像解析部122は、曲面画像領域ST12cの画像と曲面画像領域ST23cの画像を表す複数の画像ST1〜ST3の画像データを、明るさを表す輝度値のデータである輝度データに変換する。輝度値は、たとえば所定の計算式(輝度値≒0.3R+0.6G+0.1B)を使用してRGBの各階調値から算出することができる。
【0028】
このアフィン変換は、たとえばアフィン不変な特徴量(すなわちアフィン変換に対して変動が抑制されている特徴量(たとえば輝度勾配方向ヒストグラム))を使用して原稿画像が所定の縦横比を有する矩形となるように行われる。具体的には、たとえば画像中の図形やテキストの角部に着目したHaar−like特徴量を使用してアフィン変換を行うようにしてもよい。あるいは、Scale−Invariant Feature Transform(SIFT)特徴量(たとえば輝度勾配方向ヒストグラム)を使用して、拡大縮小(スケール変換)と回転を使用して原稿画像の全体が相互に近づくように変換処理を行ってもよい。
【0029】
なお、SIFTの代わりに、たとえば処理速度が速いSURF(Speeded−Up Robust Features)をするようにしてもよい。これにより、対応点の探索や各対応点の距離や撮像部260からの距離の算出が可能となる。
【0030】
ステップS50では、画像解析部122は、歪み補正処理を実行する。歪み補正処理は、具体的には、原稿Dの表面の三次元形状の推定結果に基づいて、原稿Dの原稿面が平面であると仮定した場合の撮影領域ST1の画像と撮影領域ST2の画像の共通画像領域の画像である平面画像BDを表す補正画像データを生成する処理である。
【0031】
画像解析部122は、推定された曲面画像領域ST12cの三次元形状に基づいて平面画像領域ST12fの平面画像を表す補正画像データを生成するとともに、推定された曲面画像領域ST23cの三次元形状に基づいて平面画像領域ST23fの平面画像を表す補正画像データを生成する。
【0032】
ステップS60では、画像解析部122は、画像合成処理を実行する。画像合成処理では、画像解析部122は、平面画像領域ST12fの画像を表す画像データと平面画像領域ST23fの画像を表す画像データとを使用して、合成平面画像を生成する。この例では、平面画像領域ST12fの画像に対して、平面画像領域ST23fの画像が合成される。
【0033】
画像の合成は、たとえば平面画像領域ST12fの画像と平面画像領域ST23fの画像の画像マッチング処理を利用して行われる。画像解析部122は、さらに、撮影領域ST3〜ST6の画像も同様に処理して、平面画像BDを表す補正画像データを生成することができる。平面画像BDは、原稿Dの原稿面が平面であると仮定した場合における原稿Dの表面に表されている画像を再現する画像である。画像マッチング処理では、原稿Dの輪郭の形状に合致するように複数の画像を変形・配置するようにしてもよい。
【0034】
図6は、一実施形態に係る原稿画像生成処理によって合成された画像の一部に不鮮明な部分が存在する状況が表示されている様子を示す説明図である。スマートフォン200の操作表示部230は、平面画像BR1において不鮮明領域RSTが存在することを示している。この例では、スマートフォン200は、操作表示部230において、「楕円で囲まれた部分の画像が不鮮明です。」というユーザーの注意を喚起するメッセージとともに、合成画像の全体を表示する。不鮮明領域RSTの検出は、たとえばコントラストや文字認識のエラーに基づいて行うことができる。
【0035】
ステップS70では、ユーザーは、必要に応じてタッチパネルとして機能する操作表示部230を操作して、合成画像を拡大して確認することができる。ユーザーは、上述のメッセージも踏まえて、取得画像が満足できるものであった場合には、処理をステップS90に進め、取得画像が満足できるものでなかった場合には、処理をステップS80に進める。
【0036】
ステップS80では、ユーザーは、撮影再開アイコン232をタッチして、不鮮明領域RSTにおいて再度の撮像を行う。画像解析部122は、既に取得されている不鮮明領域RSTをカバーする領域(たとえば撮影領域ST3〜ST5)の画像と、新規に撮像された画像とを使用して、三次元形状推定処理(ステップS40)及び歪み補正処理(ステップS50)を実行する。
【0037】
これにより、画像解析部122は、不鮮明領域RSTにおける鮮明な平面画像を取得することができる。画像解析部122は、不鮮明領域RSTにおける鮮明な平面画像と、他の平面画像とを使用して、平面画像BR2を生成することができる(ステップS60)。
【0038】
図7は、一実施形態に係る原稿画像生成処理によって合成された画像の確認を促す表示画面を示す説明図である。ステップS90では、ユーザーは、保存アイコン231をタッチして保存処理を実行する。これにより、制御部110は、生成された平面画像BR2を記憶部140に記憶する。
【0039】
このように、本実施形態によれば、撮像部260を原稿Dに対して並進移動させつつ複数回撮像して相互に視差を有する複数の画像を取得することによって原稿Dの原稿画像面の三次元形状を推定し、この推定に基づいて歪みを補正し、合成して高解像度の画像を取得することができる。これにより、スマートフォン200の撮像部260のような小型のカメラを使用しつつも撮像解像度やMTFの問題を解決して高品質の画像の取得を実現している。
【0040】
なお、本実施形態は、連続して撮像された複数の画像間で共通する特徴点を探索し、合成する点でパノラマ合成に一見すると似ている技術である。しかしながら、パノラマ合成は、カメラを引いても画角に収まらない横長の風景等の撮影をカメラの光軸方向を回転させることによって実現しているのに対し、カメラを引けば十分に画角に収まる原稿Dの撮像をカメラとしての撮像部260の光軸に交差する方向に並進移動させて視差を発生させている点で本質的に相違する。
【0041】
本実施形態は、撮像部260の画角からはみ出るほどに原稿Dに撮像部260を近づけて、撮像時の解像度を高めているのである。上述の実施例では、原稿Dの画像取得に6回の撮像を行っているが、回数に制限はなく、たとえば6回より多くの撮像を行っても良いし、動画像を使用するようにしてもよい。
【0042】
本発明は、上記各実施形態だけでなく、以下のような変形例でも実施することができる。
【0043】
変形例1:上記実施形態では、本発明は、スマートフォン200と画像形成装置100とを有する画像読取システム(画像読取装置とも呼ばれる。)10として具現化されているが、必ずしも画像形成装置100は必要ではない。具体的には、たとえばスマートフォンが画像解析部や画像合成部を備え、スマートフォン単体で画像読取を完了するように構成してもよい。
【0044】
変形例2:上記実施形態では、図示しないジャイロセンサや加速度センサといったセンサ類は使用していないが、スマートフォン200にジャイロセンサや加速度センサが装備されている場合には、使用しても良い。これにより、撮像された複数の画像の相互の位置関係や方向を補正することもできる。
【0045】
スマートフォン200がジャイロセンサを装備する場合には、制御部210は、連続撮像で取得される複数の画像データと計測された撮像部260の方向とをそれぞれ紐づけて取得することができる。画像解析部122は、複数の画像データの画像のそれぞれの相対的な方向を複数の画像データのそれぞれに紐づけられている撮像部260の方向を使用して補正するようにしてもよい。こうすれば、三次元形状推定や画像合成処理の精度を向上させる事ができる。
【0046】
スマートフォン200が加速度センサを装備する場合には、制御部210は、連続撮像で取得される複数の画像データと計測された撮像部260の加速度を使用して算出された撮像部260の位置とをそれぞれ紐づけて取得することができる。画像解析部122は、複数の画像データの画像のそれぞれの相対的位置を複数の画像データのそれぞれに紐づけられている撮像部260の位置を使用して補正するようにしてもよい。こうすれば、三次元形状推定や画像合成処理の精度を向上させる事ができる。
【0047】
変形例3:上記実施形態では、原稿Dは、見開き状態で配置されている本として曲面を含む三次元形状を有しているが、たとえば原稿は、平面状であって、カメラに対して僅かに傾斜している場合も広く三次元形状と呼ばれる。
【0048】
変形例4:上記実施形態では、スマートフォンが使用されているが、本発明は、撮影が可能であればノートPCやタブレットといった携帯端末に適用可能である。なお、撮像部は、原稿画像を相互に相違する位置から複数回撮像して複数の画像データを生成することが可能となる携帯端末等として構成されていればよい。
【符号の説明】
【0049】
10 画像読取システム
100 画像形成装置
110 制御部
120 画像形成部
130 操作表示部
140,240 記憶部
150,250 通信インターフェース部
160 自動原稿送り装置(ADF)
200 スマートフォン
210 制御部
230 操作表示部

図1
図2
図3
図4
図5
図6
図7