特許 6191511 画像シーケンスをキャプチャする方法、システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6191511

(24)【登録日】2017年8月18日

(45)【発行日】2017年9月6日

(54)【発明の名称】画像シーケンスをキャプチャする方法、システム及びプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20170828BHJP

【ＦＩ】

   G06T1/00 440

【請求項の数】17

【全頁数】31

(21)【出願番号】特願2014-43235(P2014-43235)

(22)【出願日】2014年3月5日

(65)【公開番号】特開2014-182809(P2014-182809A)

(43)【公開日】2014年9月29日

【審査請求日】2016年7月22日

(31)【優先権主張番号】13/843,409

(32)【優先日】2013年3月15日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士ゼロックス株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】境田 裕志

(72)【発明者】

【氏名】デイビット エム．ヒルバート

(72)【発明者】

【氏名】フランシーン チェン

(72)【発明者】

【氏名】スコット カーター

(72)【発明者】

【氏名】ジョン アドコック

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開平１０−０６５８８１（ＪＰ，Ａ）

【文献】 特開２０１２−２１７１５９（ＪＰ，Ａ）

【文献】 特開２０１２−１３８７９６（ＪＰ，Ａ）

【文献】 特開２００９−１８１５９４（ＪＰ，Ａ）

【文献】 特開２０１２−１２９９８６（ＪＰ，Ａ）

【文献】 特開平０９−０７３５３０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／０２８５８７３（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

１つもしくは複数のプロセッサ、メモリ及びデジタル画像センサを有するデバイスによって実行される、複数ページの印刷ドキュメントの画像シーケンスをキャプチャする方法であって、
前記プロセッサが、
前記複数ページの印刷ドキュメントの第１の印刷ページのプレビュー画像を観察し、前記プレビュー画像は前記デジタル画像センサによって生成され、
画像をいつキャプチャするかを示すユーザ指示なしに、前記プレビュー画像の第１品質測定値が第１品質閾値を越えた場合に、前記第１の印刷ページの静止画像をキャプチャし、
ユーザから画像のキャプチャが完了したことを示す指示を受信するまで、前記複数ページの印刷ドキュメントのその他のページの観察及びキャプチャを繰り返し、
前記ユーザからの画像のキャプチャが完了したことを示す指示を受信した場合、
キャプチャした前記静止画像を単一のデジタルドキュメントに連結し、
前記単一のデジタルドキュメントを保存する、
方法。

【請求項2】

印刷ページの各々の画像をキャプチャすることは、前記静止画像をキャプチャした後、前記印刷ページをめくるように、前記ユーザに報知することをさらに含む、請求項１に記載の方法。

【請求項3】

印刷ページの各々の画像をキャプチャすることは、
前記静止画像をキャプチャした後、
第２品質測定値に応じて、最高解像度でキャプチャした前記静止画像の少なくとも部分を評価し、
前記第２品質測定値が第２品質閾値を下回る場合、前記印刷ページの各々のキャプチャが繰り返されることを前記ユーザに報知し、前記印刷ページの各々のプレビュー画像の観察を繰り返す、
ことをさらに含む、
請求項１または請求項２に記載の方法。

【請求項4】

印刷ページの各々の画像をキャプチャすることは、
前記静止画像をキャプチャした後、
第２品質測定値に応じて、最高解像度でキャプチャした前記静止画像の少なくとも部分を評価し、
前記第２品質測定値が第２品質閾値を下回る場合、前記印刷ページの各々のプレビュー画像の観察を繰り返し、
前記第２品質測定値が第２品質閾値以上である場合、前記静止画像がキャプチャされたことを前記ユーザに報知する、
ことをさらに含む、
請求項１または請求項２に記載の方法。

【請求項5】

キャプチャした前記静止画像の各々を評価し、キャプチャした前記静止画像の各々に第２品質スコアの各々を割り当て、
割り当てられた前記第２品質スコアによってキャプチャした前記静止画像をソートし、
ソートされた順序でキャプチャされた前記静止画像をレビューすることを前記ユーザに促し、前記ユーザによって選択された画像の観察及びキャプチャ動作を繰り返し、選択された、キャプチャされた前記静止画像をより高い品質を有するキャプチャ画像と置換する、
ことをさらに含む、請求項１〜４のいずれか１項に記載の方法。

【請求項6】

画像のキャプチャが完了したことを示す前記ユーザからの前記指示の受信に応じて、評価、ソート及び促すことを行う、
請求項５に記載の方法。

【請求項7】

キャプチャした前記静止画像の各々を評価し、キャプチャした前記静止画像の各々に第２品質スコアの各々を割り当て、
対応する第２品質スコアが第２品質閾値を下回るキャプチャされた静止画像のセットを識別し、
識別された前記セットのキャプチャされた前記静止画像の各々の観察及びキャプチャ動作を繰り返し、識別された前記セットのキャプチャされた静止画像をより高い品質を有するキャプチャ画像と置換する、
ことをさらに含む、請求項１〜４のいずれか１項に記載の方法。

【請求項8】

画像のキャプチャが完了したことを示す前記ユーザからの前記指示の受信に応じて、識別された前記セットのキャプチャされた前記静止画像の各々の評価、識別及び観察及びキャプチャ動作の繰り返しを行う、
請求項７に記載の方法。

【請求項9】

前記ユーザからの前記指示は、ハンドヘルドデバイスのユーザインターフェイスのボタン押下を含む、請求項１〜８のいずれか１項に記載の方法。

【請求項10】

前記ユーザからの前記指示は前記ユーザからの音声コマンドを含む、請求項１〜８のいずれか１項に記載の方法。

【請求項11】

前記複数ページの印刷ドキュメントの単一の印刷ページに対応する２以上のキャプチャされた静止画像を決定し、
前記単一の印刷ページに対応するキャプチャされた前記静止画像の１つを選択し、
選択された前記１つを除いて、前記単一の印刷ページに対応するキャプチャされた前記静止画像の全てを廃棄する、
請求項１〜１０のいずれか１項に記載の方法。

【請求項12】

画像のキャプチャが完了したことを示す前記ユーザからの指示の受信に応じて、判定、選択、廃棄を行う、請求項１１に記載の方法。

【請求項13】

前記複数ページの印刷ドキュメントが両面ドキュメントであることを示す前記ユーザからの指示を受信し、
前記複数ページの印刷ドキュメントのページの順序に対応しない順序で、前記複数ページの印刷ドキュメントの静止画像をキャプチャし、
キャプチャした前記静止画像を前記単一のデジタルドキュメントに連結することは、前記複数ページの印刷ドキュメントの前記ページの順序に対応して、キャプチャした前記静止画像を順序付けることを含む、
請求項１〜１２のいずれか１項に記載の方法。

【請求項14】

キャプチャした前記静止画像を前記単一のデジタルドキュメントに連結することは、前記静止画像がキャプチャされた順序に基づいてキャプチャした前記静止画像を順序付けることを含む、
請求項１〜１２のいずれか１項に記載の方法。

【請求項15】

前記プレビュー画像を観察することは、
第１のプレビュー画像の４つのドキュメントエッジラインを識別し、
前記４つのドキュメントエッジラインによって形成された矩形の内部の前記第１のプレビュー画像に変換ポイントがあるか否かを判定し、
前記矩形の内部に１つもしくは複数の変換ポイントがある場合、前記ユーザに画像侵入を報知する、
ことをさらに含む、
請求項１〜１４のいずれか１項に記載の方法。

【請求項16】

１つもしくは複数のプロセッサ、
メモリ及び
前記メモリに記憶されている１つもしくは複数のプログラム、
を含む、複数ページの印刷ドキュメントの画像のシーケンスをキャプチャするシステムであって、
１つもしくは複数の前記プログラムは、
前記複数ページの印刷ドキュメントの第１の印刷ページのプレビュー画像を観察し、前記プレビュー画像はデジタル画像センサによって生成され、
画像をいつキャプチャするかを示すユーザ指示なしに、前記プレビュー画像の第１品質測定値が第１品質閾値を越えた場合に、前記第１の印刷ページの静止画像をキャプチャし、
ユーザから画像のキャプチャが完了したことを示す指示を受信するまで、前記複数ページの印刷ドキュメントのその他のページの観察及びキャプチャを繰り返し、
前記ユーザからの画像のキャプチャが完了したことを示す指示を受信した場合、
キャプチャした前記静止画像を単一のデジタルドキュメントに連結し、
前記単一のデジタルドキュメントを保存する、
命令を含む、
システム。

【請求項17】

複数ページの印刷ドキュメントの第１の印刷ページのプレビュー画像を観察し、前記プレビュー画像はデジタル画像センサによって生成され、
画像をいつキャプチャするかを示すユーザ指示なしに、前記プレビュー画像の第１品質測定値が第１品質閾値を越えた場合に、前記第１の印刷ページの静止画像をキャプチャし、
ユーザから画像のキャプチャが完了したことを示す指示を受信するまで、前記複数ページの印刷ドキュメントのその他のページの観察及びキャプチャを繰り返し、
前記ユーザからの画像のキャプチャが完了したことを示す指示を受信した場合、
キャプチャした前記静止画像を単一のデジタルドキュメントに連結し、
前記単一のデジタルドキュメントを保存する、
ことをコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の実装はデジタル画像のキャプチャに関し、詳細には、ハンドヘルドデバイスを用いたデジタル画像のシーケンスのキャプチャに関する。

【背景技術】

【0002】

ハンドヘルドドキュメントスキャナとしてモバイルフォンを利用することを可能とするアプリケーションが存在する。一般的な処理は、適切にドキュメントを保持すること、モバイルフォン／デバイスを位置付けすること、プレビュー画像をレビューすること、及び、画像が明瞭で適切に位置付けられているとユーザが考える場合に、ボタンを押下すること、を同時にユーザに要求する。

【0003】

複数のページを含むドキュメントの高品質スキャンをハンドヘルドデバイスでスキャンすることは特に困難である。ユーザは、デバイスを（適切なフレーミングのために）位置付け、同時に、（鮮明度を最大にするために）デバイスを安定させながら、カメラのプレビューに注意を払わなければならない。ユーザは、手動でシャッターを切り、次のページに移る前にフォト（写真）の各々をレビューする。最後に、以前設定したカメラの位置及び安定性にページめくりが与える影響を最小にするよう試みながら、ユーザは認知的及び身体的リソースをページめくりに転じなければならない。この処理には時間がかかり、煩雑であり、エラーを生じやすい。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】米国特許出願公開第２０１０／０２０２０２６号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、ハンドヘルドデバイスを用いたユーザによる複数ページのドキュメントのスキャンに対する認識的及び身体的要求を低減する。ユーザの観点からは、デバイスが位置付けられ、安定させられると、ページをめくりながら、ドキュメントのビデオを撮影するのと同様の経験である。開示の実装は、高い品質のスキャンを保証するために必要なことを行う。これにより、ユーザは、片手でページをめくりながら、もう一方の片手でデバイスを安定的に保持する、という、よりシンプルなタスクに認識的及び身体的なリソースをフォーカスすることができる。

【課題を解決するための手段】

【0006】

実装のいくつかにおいて、キャプチャ処理の間、アプリケーションは、（ａ）自動撮影を可能とするためにプレビューフレームの画像品質を分析し、（ｂ）再撮影が必要であるかを判定するためにキャプチャ画像の画像品質を分析し、（ｃ）ユーザがページをめくってよい場合、ユーザに（例えば、音によって）伝達する。キャプチャの後、実装のいくつかは、ユーザの注意を、レビューが必要な画像だけに向けさせる、画像品質を高めるストリームラインユーザインターフェイスを提供する。これにより、全ての画像をレビューする必要を低減する。実装のいくつかは、（例えば、ページの各々の２以上のフォトをキャプチャし、次に、ページの各々のもっともよい１つのフォトを自動的に選択する）バーストモードキャプチャと、ストリームライン両面ドキュメントキャプチャ及びレビューと、をサポートする。

【0007】

以下に記述するように、ユーザは画像をキャプチャするためにボタンを押下する必要がない。代替的に、キャプチャは、画像品質が十分適切であるかを決定することをユーザに要求することなしに、実行される。開示の実装は、複数ページドキュメントの画像をキャプチャすることに対処し、いつキャプチャを行うかを判定し、乏しい品質（例えば、明瞭でない、もしくは、フレーミングが適切でない）の撮影をやり直し、キャプチャ画像を再度順序付ける方法を含む。加えて、実装のいくつかは、単一のページの複数回の撮影をサポートする。これにより、複数ページのキャプチャを実行する場合、保存済画像の品質を改善することができる。

【0008】

ページ全体の最適キャプチャをサポートするために、実装のいくつかは、コーナーがステープルで留められているドキュメントについて、自動的にページのエッジを識別し、指などの無関係なオブジェクトによってページの部分が覆われている画像のキャプチャを避けることができる。

【0009】

実装のいくつかによれば、複数ページの印刷ドキュメントの画像のシーケンスをキャプチャする方法は、スマートフォンなどのハンドヘルドデバイスによって実行される。デバイスは１つもしくは複数のプロセッサ、メモリ及びデジタル画像センサを有する。デバイスは、複数ページ印刷ドキュメントの最初の印刷ページのプレビュー画像を観察する。プレビュー画像はデジタル画像センサによって生成される。いつ画像をキャプチャするかを示すユーザの指示なしに、デバイスは、プレビュー画像の第１品質測定値が第１品質閾値を越えた場合に、最初の印刷ページの静止画像をキャプチャする。実装のいくつかにおいて、ユーザは画像キャプチャを報知され、これにより、ユーザは、印刷ドキュメントの次のページに移動すべきことを知る。デバイスは、画像のキャプチャが完了したことを示すユーザからの指示を受信するまで、その他のページを観察し、キャプチャする処理を繰り返す。指示は、能動的（例えば、明示的に「終了」ボタンを押下すること、もしくは、スキャンアプリケーションを閉じること）もしくは受動的（例えば、所定の期間、移動がない、もしくは、デバイスが動作していない）であってよい。画像のキャプチャが完了したことを示すユーザからの指示の受信に応じて、デバイスは、キャプチャされた静止画像を単一のデジタルドキュメントに連結し、単一のデジタルドキュメントを保存する。

【0010】

実装のいくつかによれば、印刷ページの各々の画像をキャプチャすることは、静止画像をキャプチャした後、第２品質測定値によって、最高解像度でキャプチャされた静止画像の少なくとも部分を評価し、第２品質測定値が第２品質閾値を下回る場合、キャプチャした静止画像を廃棄し、ユーザに廃棄画像を報知し、印刷ページの各々のプレビュー画像の観察を繰り返す、ことを含む。

【0011】

実装のいくつかによれば、印刷ページの各々の画像をキャプチャすることは、さらに、静止画像をキャプチャした後、第２品質測定値に応じて、最高解像度でキャプチャされた静止画像の少なくとも部分を評価し、その品質測定値を第２品質測定値と比較することを含む。第２品質測定値が第２品質閾値を下回る場合、印刷ページの各々のプレビュー画像の観察を繰り返し、第２品質測定値が第２品質閾値以上である場合、静止画像がキャプチャされたことをユーザに報知する。

【0012】

実装のいくつかによれば、画像のキャプチャが完了したことを示すユーザからの指示の受信に応じて、デバイスはその他の動作のいくつかを実行する。デバイスは、キャプチャされた静止画像の各々を評価し、第２品質スコアの各々をキャプチャした静止画像の各々に割り当てる。デバイスは、割り当てられた第２品質スコアに応じて、キャプチャした静止画像をソートする。次に、デバイスは、ソートされた順序でキャプチャされた静止画像をレビューするようにユーザに促し、ユーザによって選択された画像のための観察及びキャプチャ動作を繰り返す。このレビュー処理において、ユーザによって選択されたキャプチャされた静止画像はより高い品質を有するキャプチャ画像と置換される。

【0013】

本発明の第１の態様は、１つもしくは複数のプロセッサ、メモリ及びデジタル画像センサを有するデバイスによって実行される、複数ページの印刷ドキュメントの画像シーケンスをキャプチャする方法であって、前記プロセッサが、前記複数ページの印刷ドキュメントの第１の印刷ページのプレビュー画像を観察し、前記プレビュー画像は前記デジタル画像センサによって生成され、画像をいつキャプチャするかを示すユーザ指示なしに、前記プレビュー画像の第１品質測定値が第１品質閾値を越えた場合に、前記第１の印刷ページの静止画像をキャプチャし、前記ユーザから画像のキャプチャが完了したことを示す指示を受信するまで、前記複数ページの印刷ドキュメントのその他のページの観察及びキャプチャを繰り返し、前記ユーザからの画像のキャプチャが完了したことを示す指示を受信した場合、キャプチャした前記静止画像を単一のデジタルドキュメントに連結し、前記単一のデジタルドキュメントを保存する。

【0014】

本発明の第２の態様は、第１の態様の方法であって、前記印刷ページの各々の画像をキャプチャすることは、前記静止画像をキャプチャした後、前記印刷ページをめくるように、前記ユーザに報知することをさらに含む。

【0015】

本発明の第３の態様は、第１または第２の態様の方法であって、前記印刷ページの各々の画像をキャプチャすることは、前記静止画像をキャプチャした後、第２品質測定値に応じて、最高解像度でキャプチャした前記静止画像の少なくとも部分を評価し、前記第２品質測定値が第２品質閾値を下回る場合、前記印刷ページの各々のキャプチャが繰り返されることを前記ユーザに報知し、前記印刷ページの各々のプレビュー画像の観察を繰り返す、ことをさらに含む。

【0016】

本発明の第４の態様は、第１または第２の態様の方法であって、前記印刷ページの各々の画像をキャプチャすることは、前記静止画像をキャプチャした後、第２品質測定値に応じて、最高解像度でキャプチャした前記静止画像の少なくとも部分を評価し、前記第２品質測定値が第２品質閾値を下回る場合、前記印刷ページの各々のプレビュー画像の観察を繰り返し、前記第２品質測定値が第２品質閾値以上である場合、前記静止画像がキャプチャされたことを前記ユーザに報知する、ことをさらに含む。

【0017】

本発明の第５の態様は、第１〜第４のいずれかの態様の方法であって、キャプチャした前記静止画像の各々を評価し、キャプチャした前記静止画像の各々に第２品質スコアの各々を割り当て、割り当てられた前記第２品質スコアによってキャプチャした前記静止画像をソートし、ソートされた順序でキャプチャされた前記静止画像をレビューすることを前記ユーザに促し、前記ユーザによって選択された画像の観察及びキャプチャ動作を繰り返し、選択された、キャプチャされた前記静止画像をより高い品質を有するキャプチャ画像と置換する、ことをさらに含む。

【0018】

本発明の第６の態様は、第５の態様の方法であって、画像のキャプチャが完了したことを示す前記ユーザからの前記指示の受信に応じて、評価、ソート及び促すことを行う。

【0019】

本発明の第７の態様は、第１〜第４のいずれかの態様の方法であって、キャプチャした前記静止画像の各々を評価し、キャプチャした前記静止画像の各々に第２品質スコアの各々を割り当て、対応する第２品質スコアが第２品質閾値を下回るキャプチャされた静止画像のセットを識別し、識別された前記セットのキャプチャされた前記静止画像の各々の観察及びキャプチャ動作を繰り返し、識別された前記セットのキャプチャされた静止画像をより高い品質を有するキャプチャ画像と置換する。

【0020】

本発明の第８の態様は、第７の態様の方法であって、画像のキャプチャが完了したことを示す前記ユーザからの前記指示の受信に応じて、識別された前記セットのキャプチャされた前記静止画像の各々の評価、識別及び観察及びキャプチャ動作の繰り返しを行う。

【0021】

本発明の第９の態様は、第１〜第８のいずれかの態様の方法であって、前記ユーザからの前記指示は、前記ハンドヘルドデバイスのユーザインターフェイスのボタン押下を含む。

【0022】

本発明の第１０の態様は、第１〜第８のいずかの態様の方法であって、前記ユーザからの前記指示は前記ユーザからの音声コマンドを含む。

【0023】

本発明の第１１の態様は、第１〜第１０のいずれかの態様の方法であって、前記複数ページの印刷ドキュメントの単一の印刷ページに対応する２以上のキャプチャされた静止画像を決定し、前記単一の印刷ページに対応するキャプチャされた前記静止画像の１つを選択し、選択された前記１つを除いて、前記単一の印刷ページに対応するキャプチャされた前記静止画像の全てを廃棄する。

【0024】

本発明の第１２の態様は、第１１の態様の方法であって、画像のキャプチャが完了したことを示す前記ユーザからの指示の受信に応じて、判定、選択、廃棄を行う。

【0025】

本発明の第１３の態様は、第１〜第１１のいずれかの態様の方法であって、前記複数ページの印刷ドキュメントが両面ドキュメントであることを示す前記ユーザからの指示を受信し、前記複数ページの印刷ドキュメントのページの順序に対応しない順序で、前記複数ページの印刷ドキュメントの静止画像をキャプチャし、キャプチャした前記静止画像を前記単一のデジタルドキュメントに連結することは、前記複数ページの印刷ドキュメントの前記ページの順序に対応して、キャプチャした前記静止画像を順序付けることを含む。

【0026】

本発明の第１４の態様は、第１〜第１２のいずれかの態様の方法であって、キャプチャした前記静止画像を前記単一のデジタルドキュメントに連結することは、前記静止画像がキャプチャされた順序に基づいてキャプチャした前記静止画像を順序付けることを含む。

【0027】

本発明の第１５の態様は、第１〜第１４のいずれかの態様の方法であって、前記プレビュー画像を観察することは、第１のプレビュー画像の４つのドキュメントエッジラインを識別し、前記４つのドキュメントエッジラインによって形成された矩形の内部の前記第１のプレビュー画像に変換ポイントがあるか否かを判定し、前記矩形の内部に１つもしくは複数の変換ポイントがある場合、前記ユーザに画像侵入を報知する、ことをさらに含む。

【0028】

本発明の第１６の態様は、１つもしくは複数のプロセッサ、メモリ及び前記メモリに記憶されている１つもしくは複数のプログラム、を含む、複数ページの印刷ドキュメントの画像のシーケンスをキャプチャするシステムであって、１つもしくは複数の前記プログラムは、前記複数ページの印刷ドキュメントの第１の印刷ページのプレビュー画像を観察し、前記プレビュー画像はデジタル画像センサによって生成され、画像をいつキャプチャするかを示すユーザ指示なしに、前記プレビュー画像の第１品質測定値が第１品質閾値を越えた場合に、前記第１の印刷ページの静止画像をキャプチャし、前記ユーザから画像のキャプチャが完了したことを示す指示を受信するまで、前記複数ページの印刷ドキュメントのその他のページの観察及びキャプチャを繰り返し、前記ユーザからの画像のキャプチャが完了したことを示す指示を受信した場合、キャプチャした前記静止画像を単一のデジタルドキュメントに連結し、前記単一のデジタルドキュメントを保存する、命令を含む。

【0029】

本発明の第１７の態様はプログラムであって、複数ページの印刷ドキュメントの第１の印刷ページのプレビュー画像を観察し、前記プレビュー画像はデジタル画像センサによって生成され、画像をいつキャプチャするかを示すユーザ指示なしに、前記プレビュー画像の第１品質測定値が第１品質閾値を越えた場合に、前記第１の印刷ページの静止画像をキャプチャし、前記ユーザから画像のキャプチャが完了したことを示す指示を受信するまで、前記複数ページの印刷ドキュメントのその他のページの観察及びキャプチャを繰り返し、前記ユーザからの画像のキャプチャが完了したことを示す指示を受信した場合、キャプチャした前記静止画像を単一のデジタルドキュメントに連結し、前記単一のデジタルドキュメントを保存する、ことをコンピュータに実行させる。

【発明の効果】

【0030】

ハンドヘルドデバイスを用いたユーザによる複数ページのドキュメントのスキャンに対する認識的及び身体的要求を低減する。

【図面の簡単な説明】

【0031】

【図1】本発明の実装のいくつかが動作する状況を例示する。

【図2A】実装のいくつかによる、ハンドヘルドデバイスを例示するブロック図である。

【図2B】実装のいくつかによる、デジタル画像センサを有するハンドヘルドデバイスを例示する。

【図2C】実装のいくつかによる、デジタル画像センサを有するハンドヘルドデバイスを例示する。

【図3A】実装のいくつかによる、印刷ページのフォトを撮影するためのハンドヘルドデバイスの位置付けを例示する。

【図3B】実装のいくつかによる、印刷ページのフォトを撮影するためのハンドヘルドデバイスの位置付けを例示する。

【図3C】実装のいくつかによる、印刷ページのフォトを撮影するためのハンドヘルドデバイスの位置付けを例示する。

【図3D】実装のいくつかによる、印刷ページのフォトを撮影するためのハンドヘルドデバイスの位置付けを例示する。

【図4】実装のいくつかによる、複数ページ印刷ドキュメントの画像をキャプチャする処理フローを示す。

【図5】実装のいくつかによる、複数ページ印刷ドキュメントの画像をキャプチャする処理フローを示す。

【図6】実装のいくつかによる、複数ページ印刷ドキュメントの画像をキャプチャする処理フローを示す。

【図7】実装のいくつかによる、複数ページ印刷ドキュメントの画像をキャプチャする処理フローを示す。

【図8】実装のいくつかによる、複数ページ印刷ドキュメントの画像をキャプチャする処理フローを示す。

【図9A】実装のいくつかによる、キャプチャされた画像をレビューする例示的なユーザインターフェイスを示す。

【図9B】実装のいくつかによる、キャプチャされた画像をレビューする例示的なユーザインターフェイスを示す。

【図9C】実装のいくつかによる、キャプチャされた画像をレビューする例示的なユーザインターフェイスを示す。

【図10】実装のいくつかによる、両面の複数ページドキュメントのページをスキャンする順序を例示する。

【図11】実装のいくつかによる、印刷ページのエッジ輪郭の識別を例示する。

【図12】実装のいくつかによる、印刷ページのエッジ輪郭の識別を例示する。

【図13】実装のいくつかによる、画像のエッジ侵入の識別を例示する。

【図14】実装のいくつかによる、画像のエッジ侵入の識別を例示する。

【図15A】実装のいくつかによる、複数ページ印刷ドキュメントの画像シーケンスを自動的にキャプチャする処理を例示する。

【図15B】実装のいくつかによる、複数ページ印刷ドキュメントの画像シーケンスを自動的にキャプチャする処理を例示する。

【図15C】実装のいくつかによる、複数ページの印刷ドキュメントの画像シーケンスを自動的にキャプチャする処理を例示する。

【発明を実施するための形態】

【0032】

同様の参照符号は、図の対応する部分を参照する。

【0033】

図１は、本発明の実装のいくつかが実施される状況を示す。図１では、ページ１０６及び１０８の２ページを有する複数ページドキュメントが示されている。ページ１０６及び１０８はコーナー１１４で（例えば、ステープルによって）接続されている。図１において、ドキュメントは片面印刷されている。ページ１０８の表面は視認可能であり、ページ１０６の裏面（ブランク）も視認可能である。この例示において、ユーザの左手１１２は、適切にドキュメントを維持するためにページ１０６を押え付けている。

【0034】

ドキュメントの上方に、ユーザの右手１１０によって保持されているハンドヘルドデバイス１０２がある。ディスプレイスクリーン１０４は、ハンドヘルドデバイス１０２の反対側の面にあるデジタル画像センサ２５２からのプレビュー画像を表示する（図２Ｂ及び図２Ｃ）。ハンドヘルドデバイス１０２がページ１０８の上方に適切に位置付けされ、画像が十分に明瞭であれば、ハンドヘルドデバイス１０２のスキャンアプリケーション２２４はページ１０８のフォトを撮影し、次のページに移るためにページをめくるようユーザに指示する。実装のいくつかにおいて、ハンドヘルドデバイス１０２は次のページに移るようにユーザに報知するための可聴音を使用する。図４〜８にさらに詳細に記載するように、実装のいくつかは、ページの各々のフォトを複数回ユーザに撮影させる（後でもっともよいフォトを自動的に選択する）か、もしくは、キャプチャされたフォトの品質測定値を直接的に計算し、当該品質測定値が所定の品質閾値を下回るか否かをユーザに知らせる（品質測定値が所定の品質閾値を下回る場合には、キャプチャしたフォトは廃棄される）。

【0035】

図２Ａは実装のいくつかによるハンドヘルドデバイス１０２を例示するブロック図である。ハンドヘルドデバイス１０２は、スマートフォンもしくはデジタル画像センサ２５２を有するその他のモバイルデバイスであってよい。ハンドヘルドデバイス１０２は、一般的に、１つもしくは複数の処理ユニット（ＣＰＵ）２０２、１つもしくは複数のネットワークもしくはその他の通信インターフェイス２０４、メモリ２１４、及び、これらの構成要素を相互に接続するための１つもしくは複数の通信バス２１２を含む。通信バス２１２はシステムの構成要素の間の通信を相互に接続し制御する電気回路構成要素（チップセットと呼ばれることもある）を含んでいてもよい。ハンドヘルドデバイス１０２は、ディスプレイデバイス２０８（例えば、ディスプレイスクリーン１０４）及び入力デバイス／機構２１０（例えば、タッチスクリーン、物理的なボタン、音声による指示のためのマイクなど）を含むユーザインターフェイス２０６も含む。メモリ２１４は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、もしくはその他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。メモリ２１４は、１つもしくは複数の磁気ディスクストレージデバイス、光ディスクストレージデバイス、フラッシュメモリデバイス、もしくはその他の不揮発性ソリッドステートストレージデバイスなどの不揮発性メモリを含んでもよい。メモリ２１４は、ＣＰＵ２０２から離れた位置に配置される１つもしくは複数のストレージデバイスをオプションで含んでいてもよい。メモリ２１４、もしくは、メモリ２１４内の不揮発性メモリデバイスは、コンピュータ可読記憶媒体を含む。

【0036】

実装のいくつかにおいて、メモリ２１４は以下のプログラム、モジュール及びデータ構造、もしくは、プログラム、モジュール及びデータ構造のサブセットを記憶する。
●オペレーティングシステム２１６：オペレーティングシステム２１６は、様々な基本システムサービスを扱うためのプロシージャ及びハードウェア依存タスクを実行するためのプロシージャを含む。
●通信モジュール２１８：通信モジュール２１８は、１つもしくは複数の通信インターフェイス２０４（有線もしくは無線）及びインターネット、その他のワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの１つもしくは複数の通信ネットワークを介して、ハンドヘルドデバイス１０２をその他のコンピュータシステムに接続するために使用される。
●ユーザインターフェイスモジュール２２０：ユーザインターフェイスモジュール２２０は、入力デバイス２１０を介してユーザから指示を受信し、ディスプレイデバイス２０８にユーザインターフェイスオブジェクトを生成する。
●ウェブブラウザ２２２：ウェブブラウザ２２２は、通信ネットワークを介してリソース、ウェブページ、ウェブアプリケーションへのユーザのアクセスを可能とする。
●スキャンアプリケーション２２４：スキャンアプリケーション２２４は、以下で図３Ａ〜図１５Ｃによって説明するように、ユーザが、印刷された複数ページドキュメントのデジタル画像を効率的に作成することを可能とする。

【0037】

以下の様々なモジュール、パラメータ及びデータがスキャンアプリケーション２２４に含まれる。
○鮮明度計算モジュール２２６：鮮明度計算モジュール２２６は、米国特許出願第１３／５８６，７８４号に記述されているような技術を使用する。
○１つもしくは複数の鮮明度閾値２２８：鮮明度閾値２２８はいつキャプチャし、及び／または、いつキャプチャしたフォト（保存画像）２３６を廃棄するかを判断するために使用される。
○フォトフレーミングモジュール２３０：フォトフレーミングモジュール２３０は、（図３Ａ〜図３Ｃによって詳細に後述するように、）デジタル画像センサ２５２に対して、印刷されたページ１０８を適切にフレーミングするよう促す。
○画像侵入検出モジュール２３２：画像侵入検出モジュール２３２は、（図１３及び図１４によって詳細に後述するように、）（指などの）オブジェクトが印刷されたページ上に突出していることを検出し、ユーザに警告する。
○１つもしくは複数のプレビュー画像（もしくはプレビュー画像バッファ）２３４：プレビュー画像２３４は、いつフォトをキャプチャするかを判断するために、鮮明度計算モジュール２２６にデジタル画像センサ２５２によって提供される低解像度画像である。
○１つもしくは複数の保存（キャプチャ）画像２３６：保存画像２３６は、デジタル画像センサ２５２の最高解像度で撮影される。
○０もしくは複数のユーザプリファランス２３８：ユーザプリファランス２３８は、鮮明度閾値２２８、フォトをキャプチャした後プレビュー画像２３４を評価する前、次のページのためにどれぐらい待機するのか（例えば、０．５秒）、保存ドキュメントのデフォルトフォーマット（例えば、ＰＤＦ）、保存ドキュメントのためのデフォルトディレクトリ位置、ユーザインターフェイスのエレメントのレイアウトなどを特定することができる。

【0038】

●１つもしくは複数のデジタルドキュメント２４０：デジタルドキュメント２４０は、キャプチャ画像２３６を連結して、スキャンアプリケーション２２４によって構築される。

【0039】

上記識別された要素の各々は、前述した１つもしくは複数のメモリデバイスに記憶されてもよいし、上記機能を実行するための命令セットに対応していてもよい。命令セットは１つもしくは複数のプロセッサ（例えば、ＣＰＵ２０２）によって実行されてもよい。上記識別されたモジュールもしくはプログラム（すなわち、命令セット）は、別個のプログラム、プロシージャ、もしくはモジュールとして実装されなくてもよい。様々な実装において、これらのモジュールの様々なサブセットを組み合わせてもよいし、再構成してもよい。実装のいくつかにおいて、メモリ２１４は、上記識別されたモジュール及びデータ構造のサブセットを記憶していてもよい。さらに、メモリ２１４は、上記されていないモジュール及びデータ構造を記憶していてもよい。

【0040】

図２Ａはハンドヘルドデバイス１０２を示しているが、図２Ａは、ここで記述されている実装の構造的な概要よりも、ハンドヘルドデバイスにあってもよい様々な特徴の機能的な記述を行うことを意図している。実際には、当業者に認識されるように、別個に示されているアイテムは組み合わされてもよいし、アイテムのいくつかは分割されてもよい。

【0041】

ここで記述されている方法の各々は、コンピュータ可読記憶媒体に記憶され、ハンドヘルドデバイス１０２の１つもしくは複数のプロセッサによって実行される命令によって実行されてもよい。図（例えば、図４〜８）に示されている動作の各々は、コンピュータメモリもしくはコンピュータ可読記憶媒体に記憶されている命令に対応していてもよい。

【0042】

図２Ｂ及び図２Ｃはハンドヘルドデバイス１０２にあってもよい特徴を示す。図２Ｂは、ユーザインターフェイスを提供するディスプレイスクリーン１０４を有するハンドヘルドデバイス１０２の前面を示す。ハンドヘルドデバイスのいくつかは、様々な機能を実行するための１つもしくは複数の物理的なボタン２５０を含む。ハンドヘルドデバイス１０２の裏面（図２Ｃ）には、最高解像度デジタル画像及び低解像度プレビュー画像を生成することができるデジタル画像センサ２５２がある。ハンドヘルドデバイス１０２のいくつかは、画像品質をよりよくするためにオブジェクトに照射するために使用することができるフラッシュ／ライト２５４を含む。ハンドヘルドデバイス１０２のいくつかはラッチ２５８を有するバッテリ収納部２５６を有する。当業者であれば、デジタル画像センサを有するハンドヘルドデバイスが、スマートフォン、タブレットコンピュータ、ＰＤＡ (personal digital assistant)、デジタルカメラ、パーソナルメディアプレーヤなど、多くの異なる形態をとってよいことを認識することができる。ハンドヘルドデバイス１０２のいくつかは、ディスプレイスクリーン１０４と同じ面にデジタル画像センサ２５２を有していてもよい。

【0043】

図３Ａ〜図３Ｃは、実装のいくつかにおいてスキャンアプリケーション２２４によって提供されるユーザインターフェイスを例示する。ユーザインターフェイスは、ハンドヘルドデバイス１０２のディスプレイスクリーン１０４に表示される。これらの画像の各々において、スキャンアプリケーション２２４の制御の下、デジタル画像センサ２５２はドキュメントページ１０８のプレビュー画像を撮影している。実装のいくつかにおいて、スキャンアプリケーション２２４は適切なフレーミング及び／または画像品質のためにプレビュー画像を評価する。例示されている実装において、外側のプレビュー画像フレーム（３１４Ａ、３１４Ｂ及び３１４Ｃ）は単一の静的な形状及び色を有する。実装のいくつかは、外側のプレビュー画像フレーム（３１４Ａ、３１４Ｂ及び３１４Ｃ）を省略する。その他の実装において、プレビュー画像フレームの色もしくは他の特性（例えば、太さ）は、ページ１０８の適切なフレーミングを示すため及び／もしくはプレビュー画像の品質を示すために変更される。

【0044】

図３Ａに例示されている実装において、内側のプレビュー画像フレーム（フレーミング矩形）３０２Ａ／３０４Ａはプレビュー画像についてのフィードバックを提供する。暗色部分３０４Ａはページ１０８の右辺及び下辺がカットされないように位置付けされていることを示す。明色部分３０２Ａはページ１０８の左辺及び上辺がプレビュー画像においてカットされていることを示す。図３Ｂにおいて、ページ１０８に対してハンドヘルドデバイス１０２を（例えば、ハンドヘルドデバイス１０２を動かすことによって、）再位置付けした。したがって、ページ１０８の左辺はプレビュー画像においてカットされなくなっている。スキャンアプリケーション２２４は、左辺も含むようになった暗色部分３０４Ｂによるフィードバックを提供する。ページ１０８の上辺だけが、明色部分３０２Ｂによって示されるようにカットされている。最終的に、図３Ｃにおいて、いずれの辺もカットされないように、ユーザはページ１０８に対してハンドヘルドデバイス１０２を再位置付けする。スキャンアプリケーション２２４は、内側のプレビュー画像フレーム全てを暗色部分３０４Ｃに含めることによって、いずれの辺もカットされていないことを示す。実装のいくつかにおいて、ページ１０８の全ての辺が適切に位置付けされた場合、内側のプレビュー画像フレームを完全に異なる色もしくは形状に変更する。

【0045】

実装のいくつかにおいて、内側のプレビュー画像フレームによって提供されるものと同様のフィードバックが外側のプレビュー画像フレーム（３１４Ａ、３１４Ｂ、３１４Ｃ）に使用される。その他の実装において、内側のプレビュー画像フレームはまったく使用されず、フレーミングフィードバックは外側のプレビュー画像フレーム（３１４Ａ、３１４Ｂ、３１４Ｃ）によって提供される。

【0046】

実装のいくつかは、図３Ｄに例示されるように、異なるフィードバックを提供するために、内側及び外側のフレーミング矩形を使用する。図３Ｄに例示されている実装において、（図３Ａ〜図３Ｃにおいて内側のプレビュー画像フレーム３０２Ａ／３０４Ａ、３０２Ｂ／３０４Ｂ、３０４Ｃについて例示されているように、）外側のフレーミング矩形３１６Ｄ／３１８Ｄはプレビュー画像においてページ１０８のどの辺がカットされているかに関するフィードバックを提供する。ページ１０８の下辺はプレビュー画像においてカットされていない。したがって、外側のフレーミング矩形の対応する部分３１８Ｄは暗色で表示されている。実装のいくつかは色を利用し、下辺を青もしくはその他の暗色で表示する。図３Ｄにおいて、ページ１０８の上辺、左辺及び右辺はプレビュー画像においてカットされている。したがって、外側のフレーミング矩形の上辺、左辺及び右辺３１６Ｄは明色で表示されている。色を使用する場合、実装のいくつかは、上辺、左辺及び右辺を黄もしくは、暗色で表示される下辺３１８Ｄと容易に区別することが可能なその他の色で表示する。

【0047】

図３Ｄに例示されている実装において、内側のフレーミング矩形３２０Ｄ／３２２Ｄのセグメントは、当該セグメントがプレビュー画像のページ１０８上に全て含まれている否かを示すために色もしくは濃淡を付されている。上辺セグメント３２２Ｄはページ１０８上に全て含まれている。したがって、濃いパターンを付されるか、もしくは、暗色（例えば、青）が付される。下辺、左辺及び右辺セグメント３２０Ｄはページ１０８上に全て含まれていない。したがって、下辺、左辺及び右辺セグメント３２０Ｄには、淡いパターンが付されるか、もしくは明色（例えば、黄）が付される。この例示において、内側のフレーミング矩形の下辺セグメントは、ページ１０８のいずれの部分もカバーしていない。内側フレーミング矩形の左辺及び右辺セグメントはページ１０８上に部分的に含まれている。したがって、下辺、左辺及び右辺セグメント３２０Ｄには、淡いパターンが付されるか、もしくは明色（例えば、黄）が付される。その他の実装において、色もしくは濃淡は、セグメントがページ１０８をカバーする割合を示す。例えば、上辺セグメント３２２Ｄの暗い青は上辺セグメント３２２Ｄがページ１０８を完全にカバーしていることを示す。下辺セグメントの黄は下辺セグメントがページ１０８を全くカバーしていないことを示す。左辺及び右辺セグメントの中間色もしくは中間的な濃淡は左辺及び右辺セグメントがページ１０８を部分的にカバーしていることを示す。

【0048】

実装のいくつかは、フレーミングフィードバックがどのように提供されるかについてのユーザ設定可能オプション（ユーザプリファランス）２３８を提供する。例えば、実装のいくつかは、どのフレーミング矩形を表示するか、どの色もしくは濃淡パターンを使用するか、及び、フレーミング矩形の各々について色もしくは濃淡パターンが何を示すか、を決定するユーザプリファランスを有する。

【0049】

図３Ｃは、画像が（例えば、ステープリングによる）コーナー３０６を含んでもよいことを示している。図１１及び図１２について以下に説明するように、コーナー３０６は、スキャンアプリケーション２２４によるページ１０８の適切なフレーミングを妨げない。

【0050】

実装のいくつかはディスプレイスクリーン１０４の下部に１つもしくは複数の制御手段もしくは情報アイコンを含む。図３Ａ〜図３Ｃは、ドキュメントのスキャンが終了したことをユーザに示すためのボタン３０８を含む。実装のいくつかにおいて、ボタン３０８は、「Ｆｉｎ」、「Ｄｏｎｅ」、「終了」、「済み」もしくはスキャンの完了を伝えるのに適したその他のラベルを付されている。実装のいくつかにおいて、スキャンアプリケーション２２４は音声コマンドに応答し、ユーザは、例えば、「終了した」もしくは「終わった」などと言うことによって完了を伝えることができる。音声コマンドをサポートする実装のいくつかはインターフェイスにボタン３０８を含まない。

【0051】

実装のいくつかにおいて、スキャンアプリケーション２２４は、ディスプレイスクリーン１０４のユーザインターフェイスに視認可能なディスプレイインジケータ３１０及び３１２などのその他の情報を提供する。実装のいくつかにおいて、アイコン３１２はプレビュー画像の品質のための最小閾値を示し、バー３１０は現在のプレビュー画像の品質を示す（品質が高いほど、バーは右に伸びる）。

【0052】

図４は、実装のいくつかによるスキャンアプリケーション２２４の制御の下で複数ページ印刷ドキュメントの静止画像のシーケンスをキャプチャする基本操作を例示する。印刷ドキュメントは書籍、（上部もしくは下部でページが綴じられている）バインダ、（ステープルで綴じられている、もしくは、綴じられていない）ページのスタックなどであってよい。「印刷ドキュメント」は、電子的に保存されているデジタルドキュメントではない、物理的なページを有するハードコピードキュメントである。例えば、アート(art)のページもしくはノートの手描きのページのシーケンスは「印刷ドキュメント」である。

【0053】

ユーザが複数ページの印刷ドキュメントのスキャンを開始すると（４０２）、スキャンアプリケーション２２４は、プロセスが完了したことをユーザが示す（４０４）までページをスキャンするループ処理を開始する。スキャンアプリケーション２２４をオープンする、もしくは、スキャンアプリケーション２２４のユーザインターフェイスの特定のボタン（例えば、「スキャン開始」）をタップする、など、多くの方法で、ユーザがスキャンを開始する（４０２）ことができることを、当業者であれば認識する。ユーザが完了したことを示すと（４０４）、デジタルドキュメントの形態でキャプチャした画像を保存することによって、処理を終了する（４２２）。特定のボタン（例えば、「Ｆｉｎ」、「Ｆｉｎｉｓｈｅｄ」もしくは「完了」）をタップする、スキャンアプリケーション２２４をクローズする、ハンドヘルドデバイス１０２を置く（例えば、動きがないことを検出する）、所定のタイムアウト期間の間操作しない、など、多くの方法によって、ユーザはスキャンの完了を示す（４０４）ことができることを、当業者であれば認識する。図７及び図８は、実装のいくつかにおいて使用されるキャプチャ後のレビュー処理を例示する。

【0054】

ハンドヘルドデバイス１０２で実行されるスキャンアプリケーション２２４は、デジタル画像センサ２５２によって撮影されたプレビュー画像２３４を受信する（４０６）。一般的に、プレビュー画像は低解像度で撮影される。低解像度ではあるが、プレビュー画像は、ページ１０８が適切にフレーミングされているか否かを判断するためには十分であり、１つもしくは複数の画像品質測定値（例えば、画像がどの程度鮮明であるか）をスキャンアプリケーション２２４に計算させることができる（４０８）。複数の品質測定値を使用する実装のいくつかにおいて、複数の品質測定値を組み合わせて単一の品質値とする。プレビュー画像の個別の品質測定値もしくはプレビュー画像の組み合わされた品質測定値が所定の品質閾値を下回る場合（４１０）、スキャンアプリケーション２２４は品質についてのフィードバックをユーザに提供し（４１２）、再びプレビュー画像を取得する（４０６）。実装のいくつかにおいて、フィードバックはディスプレイスクリーン１０４において（例えば、バー３１０で）行われ、もしくは、可聴指標で行われる。品質が十分でない画像についてのフィードバックは、よりよいフォーカスを提供するために、ユーザがハンドヘルドデバイス１０２を安定させるまでの間及び／もしくはハンドヘルドデバイス１０２の向きを変更するまでの間、数秒間継続されてもよい。

【0055】

画像品質を計算する方法の１つは、米国特許出願番号第１３／２９３，８４５号に記載されている。実装のいくつかは、デバイスが移動しているか否か判定するために、加速度計の測定値も使用する。静止しているデバイスの鮮明度はよいが、動きがないことは画像が高品質であることを保証するためには十分ではない。例えば、記載されている実装は、フォーカス、フレーミング、回転、影、照明、及び深度（距離）の変動を考慮する。

【0056】

プレビュー画像２３４もしくはキャプチャ画像２３６の鮮明度を計算するために、実装のいくつかは、画像のエッジにおける画素間のグレースケール値の差を計算する。差は、エッジウィンドウにおける２つの画素間のグレースケールの傾きを含み、傾き、複数の傾き、もしくは傾きの差に基づいたエッジの鮮明度の推定を行うことができる。

【0057】

実装のいくつかにおいて、鮮明度計算モジュール２２６は画像（プレビュー画像２３４もしくはキャプチャ画像２３６）を撮影し、平滑化された（ｘ方向、ｙ方向、もしくはｘ方向及びｙ方向で平滑化された）画像のコピーを生成する。平滑化は、任意の平滑化技術もしくはメディアンフィルタなどのフィルタで行うことが可能である。鮮明度計算モジュール２２６は、次に、平滑化された画像のエッジ画素を囲む複数の第１画素を含む第１ウィンドウを識別し、第１ウィンドウに対応するオリジナル（平滑化されていない）画像の第２ウィンドウを識別する。第２ウィンドウはオリジナル画像のエッジ画素を囲む複数の第２画素を含み、複数の第２画素は複数の第１画素に対応する。実装のいくつかにおいて、ウィンドウの画素だけが平滑化されるように、オリジナル画像の識別されたウィンドウの画素について、即座に、平滑化画像が生成される。鮮明度計算モジュール２２６は、第１ウィンドウ及び第２ウィンドウのｘ軸方向及びｙ軸方向の少なくとも一方に亘って、第１ウィンドウの第１画素対及び第２ウィンドウの第２画素対の間のグレースケール値の決定された差に基づいてエッジ鮮明度を推定する。

【0058】

プレビュー画像の個別の品質測定値もしくはプレビュー画像の品質測定値の組み合わせが、上記品質閾値以上である場合（４１０）、スキャンアプリケーション２２４は最高解像度フォトの撮影に進む。これは、画像品質測定値が適切である、というフィードバックを提供し、ページ１０８の実用フォトをキャプチャすることを含む。十分な品質に関するフィードバックは、品質が十分でない画像に関するフィードバックを提供するために使用されるのと同様の視認可能手段（例えば、バー３１０）を含むことができるが、その他の視認可能な指標もしくは可聴指標を含んでもよい。図４の実装において、キャプチャフォトは保存される（４１８）。実装のいくつかにおいて、スキャンアプリケーション２２４は、可聴「クリック」音もしくは光の点滅（例えば、フラッシュ）など、フォトが撮影されたことを示すフィードバックを提供する（４２０）。フォトが撮影され保存されると、スキャンアプリケーション２２４は、印刷ドキュメントの次のページのフォトを撮影するための準備が整う。ユーザが完了の指標（指示）を提供する（例えば、「Ｆｉｎ」ボタン３０８をタップする）ことによって、ループ処理を終了してもよい。

【0059】

図５の処理フローは、図４の処理フローと同様であるが、フォトの各々についてキャプチャ後の評価を行う点が異なる。フォトがキャプチャされる（４１６）と、スキャンアプリケーション２２４はキャプチャフォトの１つもしくは複数の品質測定値を計算する（５０２）。一般的に、プレビュー画像について計算された品質測定値（４０８）と同様の品質測定値が計算されるが、最高解像度を有するキャプチャ画像は、品質測定値の評価をサポートするためのより詳細な情報を提供する。さらに、プレビュー画像が非常に鮮明だったとしても、フォトをキャプチャする際に、ユーザはハンドヘルドデバイス１０２を動かしてしまうかもしれず、その場合、不鮮明なキャプチャ画像が生成される。

【0060】

スキャンアプリケーション２２４は、鮮明度閾値２２８などのフォト品質閾値とフォトの品質測定値（複数の、もしくは、組み合わせることによって単一とされた品質測定値）とを比較する。品質測定値が適切でない場合（５０４）、スキャンアプリケーション２２４は品質測定値についてのフィードバックを提供し（４１２）、同じページ１０８について新しいプレビュー画像を取得する（４０６）。実装のいくつかにおいて、スキャンアプリケーション２２４は、印刷ドキュメントのページをめくらないようにユーザに報知するために、可聴フィードバック（「ビープ」など）を提供する。一方、フォトの品質測定値が適切である場合（５０４）、スキャンアプリケーション２２４は、フォトの保存（例えば、不揮発性記憶媒体への保存）に進む（４１８）。

【0061】

プレビュー画像を評価するために使用される品質測定値がキャプチャフォトを評価するために使用される品質測定値と同様である場合でも、閾値が異なっていてもよい。例えば、ユーザはキャプチャフォトのための品質閾値をより高く設定することができる。実装のいくつかにおいて、ユーザは品質閾値を任意に設定することが可能である。

【0062】

図６の処理フローは、図５の処理フローと同様であるが、印刷ページ１０８の各々について２つ以上のフォトをキャプチャする点で異なる。プレビュー画像の品質が適切であるとのフィードバックをユーザに提供した後（４１４）、スキャンアプリケーション２２４は印刷ページ１０８の２つ以上のフォトを撮影し（６０２）、その後、キャプチャフォトの各々についてフォト品質測定値を計算する（６０４）。少なくとも１つのキャプチャフォトについてのフォト品質測定値がフォト品質閾値を越えている場合（６０６）、スキャンアプリケーション２２４は、フォトの１つを選択し（６０８）、選択したフォトを保存する（４１８）。一般的に、選択されるフォトはもっとも高い品質測定値を有するフォトである。キャプチャフォトの全てについて品質測定値がフォト品質閾値を下回る場合、スキャンアプリケーション２２４は品質測定値についてのフィードバックを提供し（４１２）、その後、新しいプレビュー画像を取得する（４０６）。

【0063】

図７及び図８は、スキャンアプリケーション２２４の制御の下で実行される処理フローを例示する。当該処理フローは、印刷ドキュメントの画像が全てキャプチャされた後のレビュー処理を含む。スキャン処理の最後にバッチレビュー処理が行われる場合、多くの実装では、ページの各々を処理する間に行われる図５及び図６に例示されるレビュー処理が省略される。図７及び図８において、フローの上半分は、図４によって上記した画像キャプチャ処理を例示する。図７及び図８の下半分はバッチレビュー処理を例示する。当該バッチレビュー処理において、１つもしくは複数のキャプチャされ保存された画像を廃棄し、より高い品質を有する新しいキャプチャ画像と置換する。図７及び図８のレビュー処理が完了すると、スキャンアプリケーション２２４は、ＰＤＦなどのデジタルドキュメント２４０を生成するために、適切な順序で、キャプチャされ保存された画像（２３６）を連結し、生成したデジタルドキュメント２４０を保存する。

【0064】

図７において、スキャンアプリケーション２２４は置換が必要とされるキャプチャ画像を識別する。画像キャプチャが完了したことをユーザが伝えた後（４０４）、スキャンアプリケーション２２４はレビュー処理を実行する。スキャンアプリケーション２２４は、保存画像の各々についてフォト品質測定値を計算する（７０２）。上記したように、フォト品質測定値は、フォトの各々についての単一の測定値、複数の測定値、もしくは複数の測定値を組み合わせて形成された単一の品質スコアであってよい。スキャンアプリケーション２２４は、重複フォトを識別する（７０４）。重複フォトとは、同一の印刷ページについて２つ以上保存されているフォトである。重複フォトは意図的に生成されていてもよいし、意図的でなく（例えば、第１のフォトを撮影した後、印刷ページ１０８上にハンドヘルドデバイス１０２を留めていた場合などに）生成されていてもよい。重複フォトの各々のセットについて、スキャンアプリケーション２２４は残しておくために１つの保存フォト２３６を選択し、他のフォトは廃棄する（７０４）。一般的に、実装は、品質測定値に基づいて、残しておくためのフォトを選択する。

【0065】

スキャンアプリケーション２２４は、次に、フォト品質閾値を下回る品質測定値を有する全ての保存フォトのセットを識別する（７０６）。このセットに該当するフォトがなければ（７０８）、レビュー処理は完了する（７１２）。このセットに該当するフォトがあれば、スキャンアプリケーション２２４は再度撮影する必要があるフォトが存在することをユーザに報知し、ユーザが該当フォトの各々を再撮影するよう促す（７１０）。ディスプレイスクリーン１０４は、どのフォトを再撮影する必要があるか示す。フォトの再撮影には、画像キャプチャ処理において以前使用された処理と同一のキャプチャ処理を使用する。実装のいくつかにおいて、再撮影が完了した後にレビュー処理を再度行う。実装のいくつかにおいて、図５のステップ５０２〜ステップ５０４もしくは図６のステップ６０２〜６０８に例示するように、最初のバッチレビュー処理の後、個々のフォトが一つ一つ評価されてもよい。

【0066】

図７のレビュー処理と同様に、図８のレビュー処理は、保存フォトの各々のフォト品質測定値を計算するスキャンアプリケーション２２４によって開始される（８０２）。上記したように、フォト品質測定値は、フォトの各々についての単一の測定値、複数の測定値、もしくは複数の測定値を組み合わせて形成された単一の品質スコアであってよい。スキャンアプリケーション２２４は、重複フォトを識別する（８０４）。重複フォトは意図的に生成されていてもよいし、意図的でなく（例えば、第１のフォトを撮影した後、印刷ページ１０８上にハンドヘルドデバイス１０２を留めていた場合などに）生成されていてもよい。重複フォトのセットの各々について、スキャンアプリケーション２２４は残しておくために１つの保存フォト２３６を選択し、他のフォトは廃棄する（８０４）。一般的に、実装は、品質測定値に基づいて、残しておくためのフォトを選択する。

【0067】

図８の処理フローにおいて、（重複フォトを廃棄した後、）スキャンアプリケーション２２４は全てのフォトを提示する（８０６）。実装のいくつかにおいて、フォトはフォトの品質測定値に基づいて昇順に提示される（図９Ｂ参照）。この方法において、ユーザはもっとも不適切な画像から扱うことができ、ある時点で、残りの保存フォトが適切であると判断することができる。実装のいくつかにおいて、フォトは撮影された順序で提示される。この方法によれば、（印刷ドキュメントの必要なページを探し回ることなく、最初の）撮影と同様の順序で必要なフォトを再撮影することが容易となる（図９Ａ参照）。ユーザがフォトの再撮影を行わないことを選択した場合（８０８）、レビュー処理が完了する（８１２）。一方、ユーザが再撮影を行うことを決定したフォトがある場合（８０８）、スキャンアプリケーション２２４は選択されたフォトの各々のキャプチャ処理に戻る（８１０）。選択されたフォトは廃棄され、再撮影されたより品質の高いフォトと置換される。

【0068】

図９Ａ〜図９Ｃは、実装のいくつかにおいて、レビュー処理で使用されるグラフィカルユーザインターフェイスを例示する。実装のいくつかにおいて、レビューユーザインターフェイスが、スキャンアプリケーション２２４の制御の下で、ハンドヘルドデバイス１０２のディスプレイ１０４に提示される。図９Ａにおいて、「ｐａｇｅ（ページ）」（９０２）が選択されている場合、プリント画像がスキャンされた順序で、ページ画像がソートされる。ユーザインターフェイスは、最初のページ９０４などのキャプチャ画像のサムネイル画像を含む。より大きく表示されるキャプチャフォトは、（例えば、サムネイル画像を表示しているスクリーン１０４の部分をタッチすることにより、）ユーザがサムネイル画像を選択した場合に提示される。サムネイル画像に隣接して、キャプチャ画像についての補足情報９０６が提示される。この例示において、最初の画像は「Ｐａｇｅ １（ページ１）」として識別され、キャプチャ画像の品質スコアは６９（Ｓｃｏｒｅ ６９）である。実装のいくつかにおいて、品質スコアの範囲は０（例えば、ブランク画像）から１００（例えば、完璧な画像）である。実装のいくつかは、複数の品質測定値を計算し、複数の品質測定値を組み合わせて単一の合成スコアとする。

【0069】

例示するユーザインターフェイスは、同一ページのフォトのキャプチャを再度ユーザに行わせるための「Ｒｅｔｒｙ（リトライ）」ボタン９０８をキャプチャフォトの各々について含む。ボタンがタップされると、スキャンアプリケーション２２４は対応するページの現存するフォトを廃棄し、図７及び図８に例示されているフォトキャプチャ処理を開始する。実装のいくつかは、同一のページの再キャプチャを開始することなく、対応する保存フォトを単に廃棄する「Ｄｅｌ（削除）」ボタンを有する。

【0070】

実装のいくつかは、ユーザに追加画像をキャプチャさせる「Ａｄｄ（追加）」ボタン９１２を含む。例えば、印刷ドキュメントのオリジナルスキャンの間に不注意でページを抜かしてしまった場合、ユーザは抜かしたページのキャプチャを開始するために、「Ａｄｄ」ボタン９１２をタップしてもよい。実装のいくつかは、ドキュメントとして現在のキャプチャフォトを保存するためのボタン９１４を含む。図９Ａ〜図９Ｃにおいて、このボタンは「ＰＤＦ」というラベルが付されており、保存デジタルドキュメントはＰＤＦ形式で保存されることを示す。その他の実装は、ダイアログボックスを提示する「ｓａｖｅ（保存）」ボタン９１４を有する。当該ダイアログボックスはユーザにデジタルドキュメントの特性を特定させる。当該特性は、ファイルの名称、ファイルの位置、ファイルの保存形式（例えば、ＰＤＦ）を含む。

【0071】

図９Ｂは図９Ａと同様であるが、サムネイル画像が品質スコアに基づいてソートされており、もっとも低いスコアがもっとも上に提示されている点が異なる。ユーザインターフェイスにおいて、ユーザは「ｓｃｏｒｅ（スコア）」オプションボタン９１６を有する。

【0072】

図９Ｃは図９Ａ及び図９Ｂと同様であるが、ドキュメントが両面印刷で指定されている点が異なる。両面印刷ドキュメントについて、ユーザは表面だけ、裏面だけ、もしくは両面を見ることを所望するかもしれない。オプションボタン９１８はユーザがどの面を見ることを所望するかの選択を可能にする。

【0073】

図１０は、実装のいくつかにおいて、両面印刷ドキュメントのページを効率的にスキャンすることができる方法を例示している。この例示において、印刷用紙の枚数が４でページ数が８である。表面はページ１、３、５及び７であり、一方、裏面はページ２、４、６及び８である。スキャン処理を単純化するために、ユーザは、まず、昇順で表面をスキャンし、次に、降順で裏面をスキャンする。スキャン順序は、１、３、５、７、８、６、４、２である。

【0074】

図１１及び図１２は、スキャンアプリケーション２２４の実装のいくつかによるページフレーミングのための処理を例示する。処理は、図３Ａ〜図３Ｃによっても例示される。フレーミングのために、スキャンアプリケーション２２４は内側プレビュー画像フレーム１１０４及び外側プレビュー画像フレーム１１０２を識別する。これらのプレビュー画像フレームはフレーミング矩形としても参照される。スキャンの最適化のために、ページの各々のエッジは２つのフレーミング矩形の間に収まるべきである。

【0075】

プレビュー画像フレーム１１０２及び１１０４の間の領域はタイルに分割される。タイルには、コーナータイル１１０８及び非コーナータイル１１０６がある。図１１及び図１２において、コーナータイルは白であり、非コーナータイルは薄いグレーで示されている。図１１及び図１２のタイルは正方形であるが、正方形に限定することは要求されない。ハンドヘルドデバイス１０２がドキュメントページ１０８上に適切に位置付けされると、ドキュメントページの外側の輪郭はタイルに収まる。図１２に示されるように、４つのドキュメントエッジライン１２００−１、１２００−２、１２００−３及び１２００−４はタイルの中に収まっている。図１２は、２つの小さなエッジライン１２０２−１及び１２０２−２を有するコーナータイル１１０８を示す。当該コーナータイル１１０８は、ドキュメントの残りのページに印刷ページ１０８がステープルで留められているコーナーを示している可能性が高い。

【0076】

フレーミングの目的は、エッジを含むページ全体をキャプチャすることである。無関係な背景はその後除去される。実装のいくつかは、オープンソースコンピュータビジョンライブラリ（ＯｐｅｎＣＶ）の機能を使用し、キャニー（Canny）エッジ検出手段によるエッジの識別を行い、輪郭を検出し、輪郭の各々の境界ボックスを計算し、次に、ページのエッジの候補としてもっとも大きい輪郭から順に１つもしくは複数の輪郭を識別する。

【0077】

輪郭の各々は、次に、フレーミング矩形１１０２及び１１０４の間に収まっているか否かを判定するために、検討される。コーナータイルを除くタイルの各々は、最小数の（オプションで最大数の）輪郭ポイントを含むか否かについて検討される。例えば、実装のいくつかは、少なくともタイルの高さの０．８倍の輪郭ポイントをタイルの各々が含んでいる場合に、エッジを識別する。当該高さは画素数で計測される。これにより、キャプチャ画像において「ノイズ」によっていくつかのエッジポイントが失われても許容される。

【0078】

コーナータイル１１０８は含まれない。コーナータイル１１０８において、輪郭画素の数は、ページコーナーと内側のフレーミング矩形のコーナーとの近さによるからである（エッジがコーナータイルに適切に収まっていたとしても、非常に小さい数であり得る。）。さらに、ドキュメントがステープルで綴じられている場合、ステープルで留められているコーナーの輪郭は隣接するページを含む。これは、図１２の右上のコーナーに例示されている。

【0079】

実装のいくつかにおいて、画像の部分を覆う指もしくは他のオブジェクトなどの「ページへの侵入」を識別する。この技術は、一般的に、プレビュー画像に適用されるが、キャプチャ画像に適用されてもよい。図１３は、ページの右側から侵入しているオブジェクト１３０２（指）を含む画像を例示している。このような侵入があると、ページ輪郭１３１０（ページの外郭）を検証することによって、（非コーナー）エッジタイル１１０６の各々の内部で輪郭の方向に比較的大きい変化を識別することができる。（図１３においてページ輪郭１３１０の全ての部分にラベルを付してはいない。）実装のいくつかは、輪郭ポイントの２次微分の絶対値を計算し、最大許容値の閾値と照合する。２次微分は、ノイズ及び量子化の影響を最小化するために数個の画素（例えば、３個の画素）の差を用いて計算されるべきである。侵入がない場合、２次微分は比較的小さい。

【0080】

実装のいくつかは、非コーナータイル１１０６の内部の輪郭ポイントによって形成されたラインを（例えば、ハフ変換を用いて）識別し、次に、エッジタイル１１０６の１つもしくは複数において、輪郭ポイントと識別されたラインとの間の距離に、非常に大きな変動があるか否かを検討する。

【0081】

実装のいくつかにおいて、スキャンアプリケーション２２４は輪郭方向の変換ポイントを検出し、４つのドキュメントエッジラインを検出する。変換ポイントは、隣接する輪郭ポイントの各々の対の間のベクトルを計算し、所定の量より大きく（例えば、８０度）方向が変化するポイントを識別する。実装のいくつかは、より効率的な計算のために輪郭ポイントをサンプリングする。エッジラインは、ハフ変換などの標準的な技術を用いて計算することができる。ドキュメントエッジライン１３１０は、画像において歪曲しているかもしれないので、実装のいくつかは、（グレーで例示する）境界四辺形１３０６によってドキュメントエッジライン１３１０を近似する。実装のいくつかにおいて、境界四辺形１３０６は画像の辺に平行な軸を有する矩形として選択される。変換ポイントのいくつかが境界四辺形１３０６の内部にある場合、いくつかの無関係なオブジェクトが存在する。

【0082】

これは、図１３に例示されている。ページ輪郭１３１０はドキュメントエッジに沿っており、輪郭方向の変換ポイントは大きなドット１３０８で描画されている。境界四辺形１３０６は４つのドキュメントエッジラインを近似する。楕円１３０４の内部の変換ポイント１３０８は境界四辺形１３０６の内部にあり、ドキュメントが侵入オブジェクトを有することを示している。実装のいくつかは、ページ侵入として分類するために所定の量より多い（例えば、５画素より多い、もしくは２０画素より多い）突出を要求する。

【0083】

図１３において、ページの左辺は境界四辺形１３０６の内部で内側にたわんでいるが、当該ページの左辺はページ侵入とはみなされない。実装のいくつかは、変換ポイントがないため、非侵入としてページの左辺を認識する。上記したように、その他の実装は、輪郭１３１０の２次微分が小さいため、ページの左辺を非侵入として識別する。

【0084】

図１４のフローチャートには、ドキュメント侵入を識別するための処理が示されている。処理は、ページ輪郭１３１０を識別する（１４０４）ことによって開始される（１４０２）。図１３について上記されたように、処理は輪郭方向の変換点を検出する（１４０６）。識別された輪郭を用いて、処理は境界四辺形１３０６によってページ輪郭を近似する（１４０８）。図１３の左上コーナーに例示されるように、コーナーの小さいドキュメントエッジ部分は４つのドキュメントエッジラインに含まれない。次に、処理は、ページ輪郭１３１０によって形成される領域内部の変換ポイントのいずれかを識別する（１４１０）。図１３に例示されるように、一般的に、ページ輪郭１３１０は歪曲するかもしくは湾曲する。したがって、ページ輪郭１３１０を近似する四辺形１３０６（例えば、矩形）が代わりに使用される。境界四辺形１３０６（もしくはページ輪郭１３１０）内部に変換ポイントがある場合、処理はユーザに侵入があることを報知する（１４１２）。実装のいくつかは、侵入がある位置もユーザに報知する（１４１２）。報知の後、処理は終了する（１４１４）。

【0085】

図１５Ａ〜図１５Ｃは、実装のいくつかにおいて、複数ページ印刷ドキュメントのページの画像のシーケンスをキャプチャする（１５０２）ための処理（１５００）のフローダイアグラムである。処理は、１つもしくは複数のプロセッサ２０２、メモリ２１４、及びデジタル画像センサ２５２を有するハンドヘルドデバイス１０２によって実行される（１５０４）。いくつかの例において、ハンドヘルドデバイス１０２は、スキャンされる複数ページドキュメントが両面印刷ドキュメントであることを示す指標をユーザから受信する（１５０６）。実装のいくつかは、スキャンされるドキュメントが両面印刷であることを示すためにユーザが使用するボタンもしくはその他のユーザインターフェイスコントロールを含む。実装のいくつかにおいて、ユーザは音声コマンドを用いて両面印刷ドキュメントであることを示す。実装のいくつかにおいて、スキャンされるドキュメントが片面印刷であるか両面印刷であるかについて、ユーザが設定することが可能なデフォルトの設定が存在する。ユーザが設定することができるデフォルトの設定は、ユーザプリファランスの部分として保存される。

【0086】

ハンドヘルドデバイス１０２のスキャンアプリケーション２２４は、複数ページ印刷ドキュメントの最初の印刷ページ１０８のプレビュー画像２３４を観察する（１５０８）。プレビュー画像２３４はデジタル画像センサによって生成される（１５１０）。一般的に、プレビュー画像２３４は最高解像度を有さない。スキャンアプリケーション２２４は、フレーミング品質成分及び／もしくは鮮明度品質成分を含む第１品質値を計算する。第１の品質は、第１品質閾値（鮮明度閾値２２８及び／もしくはフレーミング品質閾値）と比較され、第１のページの第１品質値が第１品質閾値を越えた場合、スキャンアプリケーション２２４は第１の印刷ページの静止画像をキャプチャする（１５１２）。いつ画像をキャプチャするのかを示すユーザの指標（指示）なしに（すなわち、キャプチャの条件が整うと自動的に）キャプチャが行われる（１５１４）。実装のいくつかにおいて、スキャンアプリケーション２２４は、ドキュメントのページをめくるべきことをユーザが知るように、キャプチャをユーザに報知する（１５１６）。

【0087】

実装のいくつかにおいて、キャプチャ画像２３６が十分な品質を有することを確認するために、ドキュメントの次のページに移る前、当該ページのキャプチャ後すぐに、キャプチャ画像は評価される。これらの実施形態において、第２品質値によって、最高解像度のキャプチャ静止画像２３６の少なくとも部分が評価される（１５１８）。実装のいくつかにおいて、第２品質値が第２品質閾値を下回る場合、スキャンアプリケーション２２４は同一の印刷ページのプレビュー画像２３４の観察を繰り返す（１５２０）。実装のいくつかにおいて、スキャンアプリケーション２２４は第２品質値が第２品質閾値より下回るキャプチャ画像２３６を廃棄する。プレビュー画像２３４の観察処理、静止画像２３６のキャプチャ処理、キャプチャした静止画像２３６の評価処理は、ページの画像の第２品質値が第２品質閾値を下回り続ける場合、１頁について複数回行われてもよい。

【0088】

実装のいくつかにおいて、スキャンアプリケーション２２４は、キャプチャ画像の第２品質値が第２品質閾値以上の場合、静止画像がキャプチャされたことをユーザに報知する（１５２２）。これらの実装において、ユーザがドキュメントのページをめくらないように、評価処理の後にだけキャプチャをユーザに報知する。ハンドヘルドデバイス１０２はいくつかの（もしくは多くの）画像のキャプチャ及び評価を行うことができるが、画像がキャプチャされるまで、ユーザは、ページをめくらず、ハンドヘルドデバイス１０２を安定させ、動かさないように保たせるべきである。

【0089】

画像がキャプチャされたことをユーザに報知する代替的な実装では、スキャンアプリケーション２２４は、キャプチャした画像の品質が第２品質閾値を下回る場合、ユーザに再び報知する（１５２４）。これにより、キャプチャ処理を繰り返すように、ユーザに警告する。実装のいくつかにおいて、ユーザプリファランス２３８は、フォトキャプチャの品質及び速度をユーザに制御させる第１及び／もしくは第２品質閾値を含む。実装のいくつかは、画像キャプチャの報知を画像評価処理の前に行うか後に行うか指定するためのユーザプリファランス２３８も含む。以下でより詳細に記述するように、実装のいくつかは画像の全てがキャプチャされた後、バッチ画像評価処理を行う。

【0090】

キャプチャ後すぐにキャプチャ画像を評価することにはいくつか弱点がある。例えば、いくつかの印刷ページは、（例えば、「オリジナル」ドキュメントが不明瞭であるため、）たいへん高い品質でキャプチャすることは本質的に困難であるかもしれない。したがって、スキャンアプリケーション２２４が十分適切な画像をキャプチャすることは困難であるかもしれないし、不可能であるかもしれない。他の例においては、キャプチャ画像２３６は第２品質閾値を越えているかもしれず、したがって、次のページに移動するようユーザを促すかもしれない。しかしながら、これによれば、より適切な品質の画像がキャプチャされる可能性を見過ごすことになる。実装のいくつかは、画像キャプチャのバーストモードをサポートすることによってこれらの及びその他の問題に対処する。バーストモードにおいて、スキャンアプリケーション２２４は、バーストで同一の印刷ページの複数の画像をキャプチャし、ユーザにフィードバック（例えば、キャプチャの各々の後の「クリック」音もしくは所定の数（例えば、５もしくは１０）の画像がキャプチャされたことを示す音）を提供する。バーストモードが使用されると、重複画像がグループとして評価され、グループの各々の中でもっともよいフォトが選択される。ユーザが不注意で同一のページの画像を複数キャプチャする可能性があることに留意されたい。複数画像の意図的な及び意図的でないキャプチャは、双方とも、以下のように対処される。

【0091】

スキャンアプリケーション２２４は、画像キャプチャが完了したことを示すユーザの指標を受信するまで、観察及び複数ページの印刷ドキュメントの追加ページのキャプチャを繰り返す（１５２６）。いくつかの例において、ユーザからの指標は、ハンドヘルドデバイス１０２のユーザインターフェイスのボタン（例えば、「Ｄｏｎｅ」、「Ｆｉｎｉｓｈｅｄ］、「完了」など）のクリック（１５２８）、もしくはユーザからの音声コマンドの受信（１５３０）など、能動的である。

【0092】

その他の例では、ユーザからの指標は、所定期間不活性状態が継続する（１５３２）、もしくは、ハンドヘルドデバイス１０２の動きが所定期間検出されない（１５３４）、など受動的である。受動的な指標は、（不活性であり、動きもなく）一定の期間、ハンドヘルドデバイス１０２が置かれていること、もしくは、ハンドヘルドデバイス１０２がポケットに入れられていること、を含む。ポケットの中のデバイスは動くかもしれないが、ポケット内部のプレビュー画像２３４は第１品質閾値に適合しないため、キャプチャ画像は得られない（すなわち、不活性である）。一般的な実装は、画像のキャプチャが完了したことを示す能動的方法及び受動的方法の双方をサポートする。

【0093】

実装のいくつかは、複数ページ印刷ドキュメントのページの順序に対応しない順序で複数ページドキュメントの静止画像をキャプチャすることをサポートする（１５３６）。両面印刷ドキュメントについて、このような例を図１０によって説明した。さらに、実装のいくつかは、印刷ページのページ番号を（例えば、印刷ページの所定領域（上部マージンもしくは下部マージンなど）のＯＣＲを用いて、）識別する。これらの実装において、スキャンアプリケーション２２４は、ページ番号の順序に基づいてキャプチャ画像を後でソートすることができる。

【0094】

画像が全てキャプチャされ、ユーザがキャプチャ処理が完了したことを示した後、もしくは、画像キャプチャ処理と並行して実行されてもよい動作がいくつかある。実装のいくつかにおいて、双方の態様がサポートされ、十分な処理リソース（例えば、ＣＰＵ性能、メモリの空き）がある場合に、並行処理が行われる。実装のいくつかにおいて、上記観察及びキャプチャ動作１５０８、１５１２、１５２６と並行して、以下の動作の１つもしくは複数が処理される（１５３８）。
●キャプチャ生成画像２３６の各々を評価し、キャプチャ静止画像の各々に第２品質スコアを割り当てる（１５４０）。
●割り当てられた第２品質スコアによってキャプチャ静止画像２３６をソートする（１５４２）。
●対応する第２品質スコアが第２品質閾値を下回るキャプチャ静止画像２３６のセットを識別する（１５４４）。
及び／もしくは、
●２つ以上のキャプチャ静止画像２３６が複数ページ印刷ドキュメントの単一印刷ページに対応していることを判定する（１５４６）。
●判定が行われると、単一の印刷ページに対応するキャプチャ静止画像２３６の１つ（一般的には、もっとも高い品質スコアを有する１つ）を選択し（１５４８）、単一の印刷ページに対応するその他のキャプチャ静止画像２３６の全てを廃棄する（１５５０）（すなわち、選択した画像を残し、残りを廃棄する）。
実装のいくつかにおいて、廃棄する画像が不揮発性メモリ（例えば、ハードディスク）にある場合、それらは物理的に削除される。その他の実装において、廃棄される画像が揮発性メモリ（例えば、ＲＡＭ）にある場合、「廃棄」画像に割り当てられている物理的スペースは消去される必要がない、すなわちすぐに上書きされる。

【0095】

スキャンアプリケーション２２４が、画像のキャプチャが完了したことを示すユーザの指標を受信すると、スキャンアプリケーション２２４はいくつかの追加的な動作を実行する（１５５２）。レビュー処理については、図７及び図８を用いて上述した。実装のいくつかにおいて、スキャンアプリケーション２２４はキャプチャ静止画像２３６の各々を評価し、キャプチャ静止画像２３６に第２品質スコアの各々を割り当てる（１５５４）。実装のいくつかにおいて、第２品質スコアはキャプチャ画像の鮮明度もしくはキャプチャ画像のフレーミング品質を識別する単一の数値、もしくは、鮮明度及びフレーミングの双方を考慮した複合スコアである。その他の実装において、第２品質スコアは鮮明度スコア及びフレーミングスコアなどのサブスコアのセットを含む。（複数の値を含む）閾値と複数の値を有するスコアとを比較した場合、サブスコアの各々が複数の値を有する閾値の対応するサブ値を越えた場合だけ、スコアは閾値を越える。例えば、鮮明度を示すサブスコアは閾値の鮮明度の値を越えなければならず、フレーミングを示すサブスコアは閾値のフレーミングの値を越えなければならない。

【0096】

実装のいくつかにおいて、スキャンアプリケーション２２４は、割り当てられている第２品質スコアによって、キャプチャ静止画像２３６をソートする（１５５６）。実装のいくつかにおいて、スキャンアプリケーション２２４は、図９Ｂに例示されているように、ソートされた順序でキャプチャ静止画像をレビューするようにユーザに促す（１５５８）。スキャンアプリケーション２２４は、ユーザによって選択された画像の観察及びキャプチャオペレーション（１５０８、１５１２）を繰り返す。これにより、選択されたキャプチャ静止画像はより高い品質を有するキャプチャ画像と置き換えられる。

【0097】

その他の実装において、スキャンアプリケーション２２４は、対応する第２品質スコアが第２品質閾値を下回るキャプチャ静止画像２３６のセットを自動的に識別する（１５６０）。スキャンアプリケーション２２４は、次に、識別されたセットの中のキャプチャ静止画像の各々について観察及びキャプチャオペレーションを繰り返す（１５６２）。これにより、識別されたセットの中のキャプチャ静止画像はより高い品質のキャプチャ画像と置換される。

【0098】

実装のいくつかにおいて、第２品質閾値はユーザが設定することが可能なプリファランス２３８であり、ユーザはどの品質レベルで満足するかを決定することができる。実装のいくつかは、（一般的には、図９Ｂに例示するようにソートされている）キャプチャ画像２３６の手動レビューと第２品質スコアが第２品質閾値を下回るキャプチャ画像の自動識別との双方をサポートする。これらの実装において、アプリケーションは、使用するオプションをレビューする、ユーザが設定することが可能なプリファランスを含む。もちろん、実装のいくつかは、（最後に行う）バッチレビュー及び（画像の各々及び画像のまとまりがキャプチャされたときに行う）動的レビューの双方をサポートする。

【0099】

実装のいくつかにおいて、スキャンアプリケーション２２４は、２つ以上のキャプチャ静止画像２３６が複数ページ印刷ドキュメントの単一の印刷ページに対応することを判定する（１５６４）。この判定が行われると、スキャンアプリケーション２２４は単一の印刷ページに対応するキャプチャ静止画像２３６の１つ（一般的には、もっとも高い品質スコアを有する１つ）を選択し（１５６６）、単一の印刷ページに対応するその他のキャプチャ静止画像２３６の全てを廃棄する（すなわち、選択した１つを残し、残りを廃棄する）（１５６８）。実装のいくつかにおいて、廃棄する画像が不揮発性メモリ（例えば、ハードディスク）にある場合、それらは物理的に削除される。その他の実装において、廃棄される画像が揮発性メモリ（例えば、ＲＡＭ）にある場合、「廃棄」画像に割り当てられている物理的スペースは消去される必要がない、すなわちすぐに上書きされる。

【0100】

画像のキャプチャが完了したことを示すユーザからの指標の受信に応じてどのレビュー処理が行われるかに拘わらず、スキャンアプリケーションは、最後に、単一のデジタルドキュメント２４０にキャプチャ静止画像を連結する（１５７０）。実装のいくつかにおいて、キャプチャ静止画像は複数ページの印刷ドキュメントのページの順序に対応して順序付けられ（１５７２）、ページが印刷ドキュメントに対応するデジタルドキュメント２４０を生成する。いくつかの例において、図１０に例示されているような両面印刷ドキュメントについて、再度順序付けが行われる。さらに、実装のいくつかは、印刷ドキュメントのページ番号を識別し、キャプチャされた順序に拘わらず、当該ページ番号に基づいてキャプチャ画像を順序付ける。実装のいくつかは、上部マージンもしくは下部マージンなどの画像の指定された部分で光学文字認識（ＯＣＲ）を用いてページ番号を識別する。その他の実装は、静止画像がキャプチャされた順序に基づいて、キャプチャ静止画像を順序付ける（１５７４）。実装のいくつかは、デジタルドキュメント２４０にキャプチャ画像を保存する２つ以上のソート順をサポートし、ソート順オプションを選択するために１つもしくは複数のユーザプリファランスを含む。画像のソート（ソートは任意であるが、）及び連結後、スキャンアプリケーション２２４は単一のデジタルドキュメント２４０を保存する（１５７６）。

【0101】

説明を目的として、特定の実装を用いて上述した。しかしながら、例示的な上記説明は、本発明を網羅すること、もしくは、開示の特定の形態に本発明を限定することを意図していない。多くの修正及び変更が上記教示の観点から可能である。本発明の原理及び現実的な適用を説明するために最適な実装を選択し、説明した。これにより、当業者であれば、本発明及び特定の使用に適合する様々な変更を含む様々な実装をもっとも適切に活用することが可能である。

【0102】

本出願は、米国特許出願第１３／５８６，７８４号（２０１２年８月１５日出願、「スキャン画像品質評価に基づくスマートドキュメントキャプチャ」）に関連し、当該出願は、参照により、その全体がここに組み込まれる。

【符号の説明】

【0103】

１０２ ハンドヘルドデバイス
２０２ ＣＰＵ
２０６ ユーザインターフェイス
２０８ ディスプレイ
２１０ 入力デバイス
２１４ メモリ
２５２ デジタル画像センサ

【図1】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図3C】

【図3D】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15A】

【図15B】

【図15C】