(58)【調査した分野】(Int.Cl.,DB名)
【背景技術】
【0002】
画像入力装置に関連する技術としては、様々なものが知られている(例えば、特許文献1〜8参照。)。
【0003】
例えば、特許文献1には、時系列に沿った複数の画像を自動的に採取してディジタル画像とする画像撮像方法が記載されている。より具体的に説明すると、この画像撮像方法は、複数の画像において各々対応する画素の濃淡値を比較し、濃度が増加している画素数と濃度が減少している画素数とを取得する。そして、この画像撮像方法は、濃淡値が増加している画素数が濃淡値が減少している画素数より小さいときに画像が照合に適切であると決定する。このようにして、この画像撮像方法によっては、画像の濃淡分布のばらつき、又は隆線パターン太さのばらつきがあっても、入力装置から入力されている指紋画像から指紋照合に適切な画像を自動的に採取することができる。
【0004】
また、例えば、特許文献2には、設定された露光条件で被写体像を撮像し、撮像データをデジタル画像化するデジタルカメラが記載されている。より具体的に説明すると、このデジタルカメラは、露光条件を複数設定する。そして、このデジタルカメラは、設定した複数の露光条件に応じて撮像した複数の撮像データを取得する。そして、このデジタルカメラは、取得した複数の撮像データに基づき先鋭度を比較する。そして、このデジタルカメラは、比較結果に応じてカメラブレであるか、被写体ブレであるかを判断する。このようにして、このデジタルカメラによっては、静止画撮影時に、カメラブレ又は被写体ブレに応じて最適な露光条件を設定することができる。
【0005】
また、例えば、特許文献3には、画像処理方法が記載されている。より具体的に説明すると、この画像処理方法は、注目画素に対して周辺の画素から分配された量子化誤差を加算して得られる量子化誤差の総和値に係数を乗じて修正誤差値を算出するにあたり、注目画素及び周辺画素が形成する画像の周波数特性、又はノイズを反映する物理量に応じて係数を0、又は0よりも大きい値に設定する。そして、この画像処理方法は、修正誤差値と、注目画素を入力した際の入力画素値とを足し合わせ、修正入力値を算出する。そして、この画像処理方法は、修正入力値をしきい値と比較して出力画素値を決定する。このようにして、この画像処理方法によっては、画像の濃度変化に応じてディザ処理とディザしきい値誤差拡散処理とを使い分けたのと同等の画質を得ることができる。
【0006】
また、例えば、特許文献4には、被写体の画像を撮像する画像読取方法が記載されている。より具体的に説明すると、この画像読取方法は、被写体を撮像する。そして、この画像読取方法は、原稿台の所定位置に原稿が載置されたか否かを検出する。そして、この画像読取方法は、所定位置に原稿が載置されていないことを検出したときに、原稿台に載置される原稿が被写体として撮像されるように被写体を撮像し、原稿台に載置される原稿を表す動画像データを情報処理装置に出力する。そして、この画像読取方法は、所定位置に原稿が載置されたことを検出したときに、所定位置に載置された原稿が被写体として撮像されるように被写体を撮像し、所定位置に載置された原稿を表す静止画像データを情報処理装置に出力する。このようにして、この画像読取方法によっては、原稿を確実に処理することができる。
【0007】
また、例えば、特許文献5には、シャッタ速度を変更可能な撮像装置が記載されている。より具体的に説明すると、この撮像装置は、撮影動作開始直前の所定期間における撮影動作に伴うブレに基づく角速度データを、所定のサンプリング周期で検出する。そして、この撮像装置は、検出した撮影動作開始直前のブレ量に基づきカルマンフィルタを用いて撮影動作開始後のブレ量を予測する。そして、この撮像装置は、予測した予測ブレ量に基づき、予測ブレ量相当のブレを抑制し得る、シャッタ速度の目標値を算出する。このようにして、この撮像装置によっては、撮影動作開始後のブレ量を高精度に予測することができ、これに基づきシャッタ速度を設定することによって、より的確に画像のブレを抑制することができる。
【0008】
また、例えば、特許文献6には、動画撮影モードと静止画撮影モードを有する撮像方法が記載されている。より具体的に説明すると、この撮像方法は、撮像素子にて撮像された動画像から、被撮影者の映った画像を検出する。そして、この撮像方法は、検出された動画像に基づいて、被撮影者の所定の動きを検出する。そして、この撮像方法は、所定の動きが検出されたときに、静止画像撮影のためのシャッターを切る。このようにして、この撮像方法によっては、遠隔操作により被撮影者の望むタイミングで撮影を行うことができる。
【0009】
また、例えば、特許文献7には、被写体に対して撮像装置を移動させながら複数枚の撮像を行う撮像装置の表示方法が記載されている。より具体的に説明すると、この表示方法は、第1の時点に被写体を撮像して得た第1の画像データと、第1の時点よりも後の第2の時点に被写体を撮像して得た第2の画像データとから、第1の画像データに係る画像に表された被写体位置に対する、第2の画像データに係る画像に表された被写体位置の移動量を検出する。そして、この表示方法は、撮像により得られた画像データに係る画像と共に、撮像装置の移動する方向を認知可能な表示と、撮像装置を移動して撮像するときの現在の撮像位置に係る移動位置と、移動する方向を認知可能な表示と現在の撮像位置に係る移動位置とを所定の領域内に示す表示領域を表すゾーンとを表示する。このようにして、この表示方法によっては、パノラマ画像を構成する画像の撮影タイミングにユーザによるパンニング操作が適正な速度で、且つ、適正な方向へ行われるように支援することによって、使い勝手が良くなり、且つ、被写体ブレのないパノラマ画像を得ることができる。
【0010】
また、例えば、特許文献8には、2値化し難い濃淡画像について良好にパターンマッチングを行い、画像の位置合わせや特定パターンの抽出を可能にする画像処理方法が記載されている。より具体的に説明すると、この画像処理方法は、パターンマッチングの参照パターンにする参照画像を入力する。そして、この画像処理方法は、入力された参照画像から、濃度変化を強調した参照用のエッジ画像を生成する。そして、この画像処理方法は、生成された参照用のエッジ画像を2値化して、参照用の2値画像を生成する。そして、この画像処理方法は、パターンマッチングの対象となる原画像を入力する。そして、この画像処理方法は、入力された原画像から、濃度変化を強調したエッジ画像を生成する。そして、この画像処理方法は、生成されたエッジ画像を互いに異なるしきい値に基づいて2値化し、複数の2値画像を生成する。そして、この画像処理方法は、生成された複数の2値画像のそれぞれと、生成された参照用の2値画像との間で相関値を算出する。そして、この画像処理方法は、算出された複数の相関値の中から最も相関が高いことを示す相関値を選択する。そして、この画像処理方法は、選択された相関値の算出の基になった原画像を特定するデータを出力する。このようにして、この画像処理方法によっては、回路規模を小規模にでき、且つ、しきい値を変更することなく高速で良好に画像のパターンマッチングを行うことができる。
【発明を実施するための形態】
【0019】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0020】
図1は、第1の実施形態に係る画像入力装置100のブロック構成の一例を示す。画像入力装置100は、原稿Cを撮影する機械である。
【0021】
画像入力装置100は、原稿台110、スタンド120、画像入力部130及び信号処理部140を備える。
【0022】
原稿台110は、原稿Cが載置される台である。例えば、原稿台110の上面には、原稿Cを載置するための所定の領域が設けられる。
【0023】
スタンド120は、画像入力部130を、原稿台110から所定の高さに支持する部材である。例えば、スタンド120の下端部は、原稿台110に固定されている。
【0024】
画像入力部130は、原稿Cの所定の領域毎の画像を入力する装置である。画像入力部130は、レンズ131、イメージセンサ132、A/D(Analog/Digital)変換器13
4及びセンサ駆動回路13
3を有する。
【0025】
レンズ131は、カメラ用の写真レンズである。例えば、レンズ131は、原稿台110の原稿Cを載置するための所定の領域に光軸が向くように設けられている。
【0026】
イメージセンサ132は、半導体製造技術を用いて集積回路化された光電変換素子である。A/D変換器133は、イメージセンサ132から出力されるアナログ信号を、デジタル信号の画像データに変換して、信号処理部140へ出力する回路である。例えば、イメージセンサ132は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の高精細なビデオ画像を素早く取り込めるものである。
【0027】
センサ駆動回路134は、イメージセンサ132を駆動する回路である。例えば、センサ駆動回路134は、信号処理部140から出力される制御信号に基づいて、イメージセンサ132を駆動する。
【0028】
信号処理部140は、画像取得制御部141、演算部142及び蓄積部143を有する。
【0029】
画像取得制御部141は、画像入力部130のセンサ駆動回路133を制御する。例えば、画像取得制御部141は、イメージセンサ132を駆動する際の、明るさを制御するゲイン値や露光時間の数値を、センサ駆動回路134へ出力すると共に、画像取得の開始を制御する信号を、センサ駆動回路134へ出力することによって、センサ駆動回路133を制御する。
【0030】
演算部142は、画像入力部130が入力した画像に関する処理を行う。演算部142は、数値算出部142a及び比較部142bを有する。
【0031】
数値算出部142aは、画像入力部130が画像を入力する度に、画像入力部130が入力した画像の変化を表す数値を算出する。
【0032】
比較部142bは、数値算出部142aが数値を算出する度に、画像入力部130が入力した第1の画像について数値算出部142aが算出した数値と、画像入力部130が第1の画像の次に入力した第2の画像について数値算出部142aが算出した数値とを比較して、第1の画像と第2の画像との変化がしきい値よりも小さいか否かを判定する。
【0033】
蓄積部143は、画像蓄積部143a、143b及び計算結果記憶部143c、143dを有する。
【0034】
画像蓄積部143aには、画像入力部130が入力した第1の画像が格納される。画像蓄積部143bには、画像入力部130が第1の画像の次に入力した第2の画像が格納される。
【0035】
演算結果を蓄積部143の計算結果記憶部143c、143dに保存し、さらに画像を構成する電子データは画像蓄積部143a、143bに蓄積するように接続されている。
【0036】
比較部142bで、画像をさらに取得する必要がある場合には、再画像取得のための信号が画像取得制御部141へ接続される。
【0037】
これらの画像においてしきい値よりも大きい変化がなければ、その画像データを画像取得結果として、画像蓄積部143a、143bからコンピュータPの業務アプリケーションに渡すように接続されている。
【0038】
なお、原稿Cの画像には、画像入力装置100が置かれた場所の照明Lから光が照射される場合や、専用の照明Lが設けられ、そこからも光が照射される場合がある。
【0039】
数値算出部142aにおいて画像を比較し変化を確認する方法としては、画像入力部130がもつ視野範囲の画像濃度レベルを、それぞれ合算(和)していき、画像ごとに比較する方法が簡単である。しきい値としては、複数回の画像を入力する時間間隔や視野サイズさらには、画像入力装置100が設置された明るさの環境の変動にもよるが、±2〜3%程度を設定する。この場合、視野範囲は、例えば、想定する原稿Cの大きさより長短辺とも15mm大きめの範囲で、2枚の画像を入力する間隔は100mS、また明るさ環境の変動は1%以内とする。
【0040】
濃度の合計(和)値ではなく、高度な画像処理による変動検出を利用してもよいが、処理時間や処理回路のコスト、開発コストなどを鑑みて決定する。
【0041】
レンズ131によって原稿Cからの反射光をイメージセンサ132に原稿Cの画像を結像させイメージセンサ132によって光電変換し、画像に対応した信号はA/D変換器133を経てデジタル信号である電子データに変化され信号処理部140へおくられる。
【0042】
原稿Cに変動がなく使用者が原稿Cを取り去るなどのことをしない場合、
図2に示すように、連続して取得された画像I1、I2には、変化がない。一方、
図3にあるように使用者が原稿Cを取り去るなどの動作をした場合において、連続して取得された画像においては
図4にあるように正常な画像I3と斜めになった原稿Cの画像I4が取得される。
【0043】
斜めになった画像I4においては、それ自身、帳票の画像として用いる場合には利用することができない。さらにはその直前の一見正常そうに見られる画像においてもブレなどが発生している可能性が大きい。
【0044】
このため、2枚とも正常に取得された画像I1、I2は画像取得結果として採用し、後者の画像I3、I4については不適切な画像取得結果として破棄する。
【0045】
ここで、取得された画像I4を正常な画像I3と区別する手段として、画像の濃度レベルの総和によった場合、斜めであることは認識されないが、2つの画像I3、I4に変化があったことが認識される。なお、斜めに置いた状態で静止している場合、画像の濃度レベル総和による判断では区別がつかない。そこで、これは斜めの画像として画像取得結果を上位のアプリケーションに渡し、本当に斜めの画像を適切とするかどうか、つまり斜めに設計された原稿Cではないかどうかの判断をゆだねる。
【0046】
つまり、人の操作によって適切ではない画像となったか、もともとそのような斜めの画像であるのかの区別は可能である。
【0047】
図5は、第1の実施形態に係る画像入力装置100の動作フローの一例を示す。一枚目の画像取得を開始し保存(S101)、続けてもう一枚の画像取得を行い保存する(S102)。それぞれの画像取得の際には演算部142によって連続画像の変化を表す数値を算出し、計算結果記憶部143c、143dに保存しておく。
【0048】
一つ前すなわち一枚目の画像と続けて取得した画像との変化を計算結果記憶部143c、143dから数値を取り出して比較を行い(S103)、画像の変化がしきい値よりも小さいか否かの判断を行う(S104)。判断の結果、変化がしきい値よりも大きければ(S104:YES)、続けての画像取得を行う(S102)。そして、再度一つ前の画像との計算結果記憶部143c、143dからの数値比較を行い判断を行う(S103〜S104)。
【0049】
一方判断の結果、画像の変化がしきい値よりも小さければ(S104:NO)、予め設定した回数だけ変化がしきい値よりも小さいかどうかの判断を行う(S105)。所定回数以下であれば(S105:NO)、再度画像を取得し(S102)、画像の変化がしきい値よりも小さいかどうかの判断を行う(S103〜S104)。
【0050】
一方、予め設定した回数だけ、画像変化がしきい値よりも小さい場合においては(S105:YES)、それ以上画像取得は行わず、取得した画像を画像取得結果として採用する(S106)。採用された画像はそれを利用するコンピュータ上の別のアプリケーションに引き渡される。
【0051】
第2の実施形態についてその構成を
図6を用いて説明する。本実施形態では、イメージセンサ132が3フィールドで一枚の画像を合成する場合であり、信号処理部140の画像蓄積部143a、143bの代わりに複数のフィールド画像蓄積部143f、143g、143hがある場合の実施形態を示す。
【0052】
各フィールド画像蓄積部143f、143g、143hは、イメージセンサ132から出力されてくるフィールドに対応して画像入力部130からの電子データの一部を受け保存する。第1の実施形態と同様に演算部142に対しても画像入力部130からの電子データは送られ逐次演算が施され、結果がそれぞれの計算結果記憶部143c、143d、143eに保存される。
【0053】
図7は、光電変換を行う画素が2次元に配列されたイメージセンサ132の画素のうち、第2の実施形態では3つのフィールド単位で一枚の画像を構成するイメージセンサ132の様子を示す。
【0054】
図7に示すように、3つのフィールドで一枚の画像を構成するセンサの一部を拡大してみたところで、1,2、3、と交互に各フィールドに対応した画素が並ぶ。
【0055】
図7のような「A」と書かれた白地の用紙の画像を取得した場合、フィールド毎に光電変換されて画像が取得される。フィールド単位で露光を行い光電荷の転送をかけると、時刻1、2、3にしたがって、各フィールドのデータがメモリにとりこまれ、再び交互にフィールドに対応した配置に配慮してデータを並べてやれば、合成画像が得られる。
図7では時刻1、2、3において原稿Cに変化がなかったときで正常な合成画像が得られている。
【0056】
一方、
図8においては、時刻1、2、3と時間の経過とともに使用者によって原稿Cが原稿台110から取り除かれつつある場合に、画像を取得した様子を示している。それぞれの時刻で得られた各フィールドの画像は、少しずつ取り去られる様子の画像が取得されている。したがって、3つのフィールドを合成した一枚の画像には、交互にずれつつある画像データが入ったフィールドにより構成されてしまい、縞模様の入ったような不適切な画像となってしまう。
【0057】
各時刻において、フィールド単位での画像変化を比較した場合、例えば濃度値の総和を比較すると、
図7の場合にはほとんど変化はなく、それに比べて
図8の場合には濃度値の総和は変化が大きい。
【0058】
つまり、
図8の場合にはこれを画像取得結果として採用することはなく、一方
図7の方は画像取得結果として採用することで、正常な画像のみをアプリケーションに渡すことが可能である。
【0059】
本例では3フィールドで一枚を構成するイメージセンサ132の例を説明したが、複数のフィールドがあれば3つでなくともかまわない。
【0060】
図9は、4フィールドから一枚の画像を構成するイメージセンサ132の場合で、これまでの使用者によって原稿Cに変化が与えられるのではなく、照明Lの環境が変化した場合で特に対策を講じない場合の画像を照明Lの環境が変化しなかった場合と比較した様子を示す。照明Lの環境が時間の経過によって変化しない場合には、取得画像に特段に異常はないが、使用環境の照明Lが変化し少し暗めに変動した場合では、その合成画像である一枚の画像には縞模様が入ったような不適切な画像となってしまう。
【0061】
図10にはイメージセンサ132がフィールド単位で画像を出力される第2の実施形態の、結果画像をアプリケーションに採用するかどうかの判断に関わる内容についてのフローを示している。一つ目のフィールドの画像取得を開始し保存(S201)、続けて次のフィールドの画像取得を行い保存する(S202)。それぞれのフィールド取得の際には演算部142によって連続画像の変化を表す数値を算出し、計算結果記憶部143c、143d、143eに保存しておく。
【0062】
一つ前すなわち一つ目のフィールド画像と続けて取得したフィールド画像との変化を計算結果記憶部143c、143d、143eから数値を取り出して比較を行い(S203)、画像の変化がしきい値よりも小さいかどうかの判断を行う(S204)。判断の結果、変化がしきい値よりも大きければ(S204:YES)、続けての次のフィールド画像取得を行う(S203)。そして、再度一つ前のフィールド画像との計算結果記憶部143c、143d、143eからの数値比較を行い判断する(S203〜S24)。
【0063】
一方判断の結果、フィールド間での画像変化がしきい値よりも小さければ(S204:NO)、予め設定した回数だけ変化がしきい値よりも小さいかどうかの判断を行う(S205)。所定回数以下であれば(S205:NO)、再度次のフィールド画像を取得し(S202)、フィールド間の画像変化がしきい値よりも小さいかどうかの判断を行う(S203〜S204)。
【0064】
一方、予め設定した回数だけ、フィールド間の画像変化がしきい値よりも小さい場合においては(S205:YES)、それ以降のフィールド画像取得は行わず、取得したフィールド画像を合成して一枚の画像取得結果として採用する(S206)。採用された一枚の画像はそれを利用するコンピュータPの別のアプリケーションに引き渡される。
【0065】
図11には、フィールド間の画像の変化がしきい値よりも小さくない場合のやりなおしについては、一つ目のフィールドから取得しなおすフローによって、結果画像をアプリケーションに採用するかどうかの判断に関わる内容についてのフローを示す。
【0066】
一つ目のフィールド画像取得を開始し保存(S301)、続けて次のフィールドの画像取得を行い保存する(S302)。それぞれのフィールド取得の際には演算部142によって連続画像の変化を表す数値を算出し、計算結果記憶部143c、143d、143eに保存しておく。
【0067】
一つ前すなわち一つ目のフィールド画像と続けて取得したフィールド画像との変化を計算結果記憶部143c、143d、143eから数値を取り出して比較を行い(S303)、画像の変化がしきい値よりも小さいかどうかの判断を行う(S304)。判断の結果、変化がしきい値よりも大きければ(S304:YES)、一つ目のフィールドから画像取得をしなおす(S302)。
【0068】
一方、変化がしきい値よりも小さければ(S304:NO)、一つの画像を合成するのに必要なフィールドが揃ったかの判断を行い(S305)、揃っていなければ(S305:NO)、続けての次のフィールド画像取得を行う(S302)。
【0069】
そして、全てのフィールドが揃っていれば(S305:YES)、取得したフィールド画像を合成して一枚の画像取得結果として採用する(S306)。採用された一枚の画像はそれを利用するコンピュータPの別のアプリケーションに引き渡される。
【0070】
図12はイメージセンサ132が画素単位の色フィルターを備える場合を示している。べイヤー配列といわれる一般的な色フィルターを持つ場合を示し、「G」「R」「B」はそれぞれ緑、赤、青を優先的に透過する色フィルターが各画素の前にあることを示している。
【0071】
本例では、連続するフィールドでは色フィルターが異なる組み合わせとなるため、ひとつおきに、すなわち、1と3、2と4といったようなフィールド間で画像の変化を比較する。
【0072】
図13には、イメージセンサ132が画素単位の色フィルターを備えるイメージセンサ132の場合についてフィールド間の画像の変化による判断についてフローを示している。G,B画素からなる一つ目のフィールド画像取得を開始し保存(S401)、R,G画素からなる一つ目のフィールド画像取得を開始し保存する(S402)。続けて次のG,B画素からなるフィールドの画像取得を行い保存(S403)、次のR,G画素からなるフィールドの画像取得を行い保存する(S404)。それぞれのフィールド取得の際には演算部142によって連続画像の変化を表す数値を算出し、計算結果記憶部143c、143d、143eに保存しておく。
【0073】
直前のG,B画素からなるフィールド画像とひとつ前のG、B画素からなるフィールド画像との変化を計算結果記憶部143c、143d、143eから数値を取り出して比較を行い(S405)、画像の変化がしきい値よりも小さいか否かの判断を行う(S406)。判断の結果、変化がしきい値よりも大きければ(S406:YES)、一つ目のG,B画素からなるフィールドから画像取得をしなおす(S401)。
【0074】
変化がしきい値よりも小さければ(S406:NO)、直前のR,G画素からなるフィールド画像とひとつ前のR,G画素からなるフィールド画像との変化を計算結果記憶部143c、143d、143eから数値を取り出す。そして、これらのフィールド画像の比較を行い(S407)、画像の変化がしきい値よりも小さいかどうかの判断を行う(S407)。判断の結果、変化がしきい値よりも大きければ(S408:YES)、一つ目のR,G画素からなるフィールドから画像取得をしなおす(S402)。
【0075】
変化がしきい値よりも小さければ(S408:NO)、一つの画像を合成するのに必要なフィールドが揃ったかの判断を行い(S409)、揃っていなければ(S409:NO)、ふたたび続けてG,B画素からなるフィールド画像取得、R,G画素からなるフィールド画像の取得を行う(S403)。
【0076】
そして、全てのフィールドが揃っていれば(S409:YES)、取得したフィールド画像を合成して一枚の画像取得結果として採用する(S410)。採用された一枚の画像はそれを利用するコンピュータPの別のアプリケーションに引き渡される。
【0077】
以上、説明したように、画像入力装置100によっては、電子化の最中に取得した連続する画像に、しきい値よりも小さくない変化があった場合には、これらの画像を、適切な画像として採用しないようにすることができる。
【0078】
また、画像入力装置100において、明るさ環境が原稿Cの電子化を行っている最中に変動した場合においても、電子化最中の画像の変化が定められた以上の変化が合った場合には、画像として採用されないため、不適切な画像が採用されることがない。
【0079】
さらに、画像入力装置100において、明るさ環境の変動が周期的な変動でなくなった場合においても、決められた以上の変化があった場合には、明るさ変動を検出し画像として採用されないため、不適切な画像が採用されることがない。
【0080】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0081】
特許請求の範囲、明細書及び図面中において示したシステム、方法、装置、プログラム及び記録媒体における動作、手順、ステップ及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現し得ることに留意すべきである。特許請求の範囲、明細書及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。