特許第6201727号(P6201727)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ カシオ計算機株式会社の特許一覧 ▶ カシオ電子工業株式会社の特許一覧

特許6201727画像読み取り装置、画像読み取り方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6201727
(24)【登録日】2017年9月8日
(45)【発行日】2017年9月27日
(54)【発明の名称】画像読み取り装置、画像読み取り方法及びプログラム
(51)【国際特許分類】
   H04N 1/04 20060101AFI20170914BHJP
   H04N 1/387 20060101ALI20170914BHJP
   H04N 1/10 20060101ALI20170914BHJP
   H04N 1/107 20060101ALI20170914BHJP
   G06T 1/00 20060101ALI20170914BHJP
【FI】
   H04N1/04 106A
   H04N1/387
   H04N1/10
   G06T1/00 440
【請求項の数】10
【全頁数】21
(21)【出願番号】特願2013-263169(P2013-263169)
(22)【出願日】2013年12月20日
(65)【公開番号】特開2015-119430(P2015-119430A)
(43)【公開日】2015年6月25日
【審査請求日】2016年9月27日
(73)【特許権者】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(73)【特許権者】
【識別番号】000104124
【氏名又は名称】カシオ電子工業株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】特許業務法人光陽国際特許事務所
(72)【発明者】
【氏名】長谷川 浩一
【審査官】 花田 尚樹
(56)【参考文献】
【文献】 特開平10−210265(JP,A)
【文献】 特開平07−307860(JP,A)
【文献】 特開2002−027198(JP,A)
【文献】 特開平11−096338(JP,A)
【文献】 特開2001−069332(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 1/04 − 1/20
G06T 1/00
G06T 1/60
H04N 1/38 − 1/393
(57)【特許請求の範囲】
【請求項1】
頁毎にめくられた本の頁を撮像手段によって頁毎に撮像し、撮像された画像のうち所定領域を補正して取り込む画像読み取り装置であって、
前記頁めくり始める側の頁での前記所定領域に関する第一パラメータを指定する初期パラメータ指定手段と、
前記頁めくり終える側の頁での前記所定領域に関する第一パラメータを指定する終期パラメータ指定手段と、
前記初期パラメータ指定手段及び前記終期パラメータ指定手段により指定された前記第一パラメータに基づいて、任意の頁での前記第一パラメータを決定する決定手段と、
前記決定手段で決定された前記任意の頁の第一パラメータに基づいて、前記任意の頁の画像を補正する補正手段とを備え、
前記補正手段は、前記任意の頁の前記所定領域の少なくとも一部を、前記任意の頁の第一パラメータに基づいて削除する削除手段を含むことを特徴とする画像読み取り装置。
【請求項2】
請求項1記載の画像読み取り装置において、
前記削除手段は、前記所定領域内から削除対象色を指定する第一指定手段を含み、
前記削除手段は、前記第一指定手段によって指定された前記削除対象色を前記所定領域から削除することを特徴とする画像読み取り装置。
【請求項3】
請求項2記載の画像読み取り装置において、
前記削除手段は、前記所定領域内から背景色を指定する第二指定手段を含み、
前記削除手段は、前記第二指定手段によって指定された前記背景色で前記削除対象色を置き換えることを特徴とする画像読み取り装置。
【請求項4】
請求項1〜3のいずれか一項に記載の画像読み取り装置において、
前記初期パラメータ指定手段は、前記撮像された画像から切り出されるトリミング領域に関する第二パラメータを、前記頁めくり始める側の頁から指定し、
前記終期パラメータ指定手段は、前記第二パラメータを前記頁めくり終える側の頁から指定し、
前記決定手段は、前記初期パラメータ指定手段及び前記終期パラメータ指定手段により指定された前記第二パラメータに基づいて、任意の頁での前記第二パラメータを決定し、
前記補正手段は、前記撮像された画像から前記任意の頁の第二パラメータに基づいて前記トリミング領域をトリミング画像として切り出す切出手段を有することを特徴とする画像読み取り装置。
【請求項5】
請求項4記載の画像読み取り装置において、
前記補正手段は、前記削除手段による削除処理の後に前記切出手段による切出処理を実行することを特徴とする画像読み取り装置。
【請求項6】
請求項1〜5の何れか一項に記載の画像読み取り装置において、
前記決定手段は、
前記初期パラメータ指定手段で指定された前記第一パラメータと、前記終期パラメータ指定手段で指定された前記第一パラメータと、頁番号とを用いて線形補間を行うことで、前記任意の頁における前記第一パラメータを決定することを特徴とする画像読み取り装置。
【請求項7】
請求項1〜6のいずれか一項に記載の画像読み取り装置において、
前記本が載置される載置台を前記撮像手段の下方に備えることを特徴とする画像読み取り装置。
【請求項8】
請求項7記載の画像読み取り装置において、
前記載置台には、前記頁を押さえる手指の位置の基準となるマークが設けられていることを特徴とする画像読み取り装置。
【請求項9】
本を頁毎にめくり、当該本の頁を撮像手段によって頁毎に撮像し、撮像された画像のうち所定領域を補正して取り込む画像読み取り方法であって、
前記頁めくり始める側の頁での前記所定領域に関する第一パラメータを指定する初期パラメータ指定工程と、
前記頁めくり終える側の頁での前記所定領域に関する第一パラメータを指定する終期パラメータ指定工程と、
前記初期パラメータ指定工程及び前記終期パラメータ指定工程により指定された前記第一パラメータに基づいて、任意の頁での前記第一パラメータを決定する決定工程と、
前記決定工程で決定された前記任意の頁の第一パラメータに基づいて、前記任意の頁の画像を補正する補正工程とを含み、
前記補正工程は、前記任意の頁の前記所定領域の少なくとも一部を、前記任意の頁の第一パラメータに基づいて削除する削除工程を含むことを特徴とする画像読み取り方法。
【請求項10】
頁毎にめくられた本の頁を撮像手段によって頁毎に撮像し、撮像された画像のうち所定領域を補正して取り込むコンピュータを、
前記頁めくり始める側の頁での前記所定領域に関する第一パラメータを指定する初期パラメータ指定手段と、
前記頁めくり終える側の頁での前記所定領域に関する第一パラメータを指定する終期パラメータ指定手段と、
前記初期パラメータ指定手段及び前記終期パラメータ指定手段により指定された前記第一パラメータに基づいて、任意の頁での前記第一パラメータを決定する決定手段と、
前記決定手段で決定された前記任意の頁の第一パラメータに基づいて、前記任意の頁の画像を補正する補正手段として機能させ、
前記補正手段は、前記任意の頁の前記所定領域の少なくとも一部を、前記任意の頁の第一パラメータに基づいて削除する削除手段を含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像読み取り装置、画像読み取り方法及びプログラムに関する。
【背景技術】
【0002】
従来、例えば図27に示すように、見開いた状態の本Bの上方に撮像手段201を配置し、当該撮像手段201によって本Bの頁Pを一頁ずつ画像として読み取る画像読み取り装置200が知られている。ここで、本Bによってはサイズが異なるために、そのサイズに応じた読み取り処理を行うべく、画像読み取り装置200には図28に示すように撮像手段201で取得した画像G10から必要な領域だけを切り取るように、原稿サイズR10を指定できる機能が搭載されている(例えば特許文献1参照)。
そして、近年においては、撮影時に頁を押さえる手指が読み取り画像中に存在した場合、その手指部分を画像中から指定して削除する画像読み取り装置の開発も進んでいる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−114993号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、すでに周知となっている手指部分などの所定部分を画像中から削除する画像読み取り装置の場合、所定部分を画像毎に逐一指定しなければならず、ユーザーにとっては煩雑な作業となる。
そこで本発明の課題は、多数の読み取り画像における所定部分の削除処理の効率化を図ることである。
【課題を解決するための手段】
【0005】
以上の課題を解決するため、本発明の一の態様によれば、
の頁を撮像手段によって頁毎に撮像し、撮像された画像のうち所定領域を補正して取り込む画像読み取り装置であって、
前記頁めくり始める側の頁での前記所定領域に関する第一パラメータを指定する初期パラメータ指定手段と、
前記頁をめくり終える側の頁での前記所定領域に関する第一パラメータを指定する終期パラメータ指定手段と、
前記初期パラメータ指定手段及び前記終期パラメータ指定手段により指定された前記第一パラメータに基づいて、任意の頁での前記第一パラメータを決定する決定手段と、
前記決定手段で決定された前記任意の頁の第一パラメータに基づいて、前記任意の頁の画像を補正する補正手段とを備え、
前記補正手段は、前記任意の頁の前記所定領域の少なくとも一部を、前記任意の頁の第一パラメータに基づいて削除する削除手段を含むことを特徴とする画像読み取り装置が提供される。
【発明の効果】
【0006】
本発明によれば、多数の読み取り画像における所定部分の削除処理を効率化することができる。
【図面の簡単な説明】
【0007】
図1】本実施形態に係る書画カメラシステムの概略構成を示す斜視図である。
図2】本実施形態に係る載置台、本及びカメラの位置関係を示す説明図である。
図3】本実施形態に係る載置台及び本の上面視図である。
図4図3の載置台の変形例を示す説明図である。
図5図3の載置台の変形例を示す説明図である。
図6】本実施形態に係る書画カメラシステムの主制御構成を示すブロック図である。
図7】左右の手指によって本の頁を押さえた状態を示す説明図である。
図8】画像処理モードの処理の流れを示すフローチャートである。
図9】最初の基準画像を示す説明図である。
図10】最初の基準画像に対して指定された所定領域を示す説明図である。
図11】最初の基準画像に対して指定されたトリミング領域を示す説明図である。
図12】最後の基準画像を示す説明図である。
図13】最後の基準画像に対して指定された所定領域を示す説明図である。
図14】最後の基準画像に対して指定されたトリミング領域を示す説明図である。
図15】左側の最初の頁における所定領域を示す説明図である。
図16】左側のi番目の頁における所定領域を示す説明図である。
図17】左側の最後の頁における所定領域を示す説明図である。
図18】最初の頁におけるトリミング領域を示す説明図である。
図19】i番目の頁におけるトリミング領域を示す説明図である。
図20】最後の頁におけるトリミング領域を示す説明図である。
図21】削除処理の流れを示すフローチャートである。
図22】基準画像に対して所定領域が指定された状態を示す説明図である。
図23】所定領域内で検出された削除対象色の検出エリアを示す模式図である。
図24】所定領域内の手指部分を背景色に置換した後の基準画像を示す説明図である。
図25】切出処理の流れを示すフローチャートである。
図26】手指削除画像に対してトリミング領域が指定された状態を示す説明図である。
図27】従来の画像読み取り装置で最初の頁を撮像する際の状態を示す模式図である。
図28図27の画像読み取り装置で撮像された最初の頁の画像を示す説明図である。
【発明を実施するための形態】
【0008】
以下に、本発明を実施するための最良の形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、発明の範囲を以下の実施形態及び図示例に限定するものではない。
【0009】
図1は本発明に係る画像読み取り装置としての書画カメラシステムの概略構成を示す斜視図である。図1に示すように、書画カメラシステム1には、本Bの頁Pを撮像する撮像手段としての書画カメラ2と、本Bが載置される載置台3と、書画カメラ2に通信自在に接続されたパソコン4とを備えている。なお、本発明に係る本Bとしては一般的な本の他にも、綴じられた書類等も含むこととする。
【0010】
書画カメラ2には、スタンド部21と、スタンド部21の上端に取り付けられたカメラ22とが設けられている。スタンド部21は本Bとカメラ22との相対的な位置関係を調整できるように、前後方向、左右方向に傾倒自在であるとともに、上下方向に伸縮自在となっている。カメラ22は、その画角内に本Bが収まるようにレンズが下方を向いている。カメラ22とスタンド部21との接合部には位置調整機構が設けられており、これによってカメラ22のレンズが向く方向も調整できるようになっている。
【0011】
図2は、載置台3、本B及びカメラ22の位置関係を示す説明図であり、図3は載置台3及び本Bの上面視図である。
図2及び図3に示すように、載置台3は、図示しないヒンジにより折り畳み自在な左右一対の保持板31,32を備えている。これら一対の保持板31,32の上面で、開いた状態の本Bを保持する。一対の保持板31,32には、本Bの表紙及び裏表紙をそれぞれ保持するバンド状の保持部33が設けられている。また、保持板31,32の外側の縁部には、頁Pを押さえる手指の位置の基準となるマーク34が設けられている。
【0012】
ここで、開きやすい本Bの場合には、図2に示すように一対の保持板31,32を平坦に配置する。そして、カメラ22は左右両方の頁Pを撮像するように、左右両方の頁Pの綴じ目の上方に配置する。これにより、一回の撮影で2頁分の画像を取得することができる。
また、完全に開くことが容易でない本Bの場合には、図4に示すように、一対の保持板31,32をV字状となるように傾ける。そして、カメラ22は左右両方の頁Pを撮像するように、左右両方の頁Pの綴じ目の上方に配置する。これにより、一回の撮影で2頁分の画像を取得することができる。
また、大きく開くのが困難である本Bの場合には、図5に示すように、一方の頁Pのみを平坦とし、他方の頁Pは傾くように一対の保持板31,32を調整する。そして、カメラ22は、平坦な頁Pの上方に配置する。これにより、一回の撮影で1頁分の画像を取得することができる。以下の説明では、図2に示した場合を例示して説明する。
なお、いずれの場合においても、カメラ22が頁Pに正対しない場合があり、取得した各頁Pの画像に対して画像処理のどこかの段階で台形補正を施すことが好ましい。
【0013】
次に、本実施形態の書画カメラシステム1の主制御構成について説明する。図6は書画カメラシステム1の主制御構成を示すブロック図である。図6に示すように、パソコン4には、カメラ22で撮像された基準画像G(図9等参照)及び当該基準画像Gからトリミングして得られたトリミング画像等を記録する記録部41と、種々の操作指示がパソコン4自体に入力されるキーボード、タッチパネル、マウス等の操作手段42と、各種プログラムが記録されたROM43と、ROM43中のプログラムの実行時に当該プログラムが展開されるRAM44と、操作手段42からの指示に基づいてROM43中のプログラムをRAM44に展開し実行するCPU45とが備えられている。
パソコン4のCPU45にて画像読み取り用のプログラムが実行されると、操作手段42の所定のボタンが撮影ボタンとして対応付けされる。この撮影ボタンを操作することに連動してカメラ22が本Bの画像を撮影するようになっている。
【0014】
以下、書画カメラシステム1による画像読み取り方法について説明する。
まず、ユーザーは、操作手段42を操作して画像読み取り用のプログラムをパソコン4に実行させる。これにより、まずは画像撮影モードが実行される。画像撮影モードにおいては、まずユーザーは、本Bの最初の頁Pを開いて、マーク34に合わせて手指を置き、頁Pを押さえる。
図7は、左右の手指h1,h2によって頁Pを押さえた状態を示す説明図である。図7中、点線で囲まれた領域はカメラ22の撮影エリアPaである。
そして、この状態の左右の頁Pをカメラ22によって一画像として撮影されるようにする。具体的には、例えば撮影ボタンを操作してから所定時間(例えば3秒)後に撮像されるような設定(セルフタイマー設定)をしておき、撮影毎に撮影ボタンを操作し、その3秒の間に頁Pをめくり、頁Pを手で押さえるようにすればよい。あるいは、カメラ22でマーク34付近の領域を監視して、その領域に手指が存在し、静止したと判断される場合に静止画が取り込まれるようにしてもよい。
これを本Bの最後の頁Pまで繰り返すことにより、一冊の本Bの全ての頁Pの基準画像Gがパソコン4の記録部41に記録されることになる。
最後の頁Pの撮影が終了すると、ユーザーは操作手段42を操作して、画像撮影モードの終了をパソコン4に促す。パソコン4は、画像撮影モードの終了に伴って、画像処理モードに切り替える。
なお、以下の説明においては、左右の二頁分を含んだ一画像毎に頁番号を割り振っている。
【0015】
図8は画像処理モードの処理の流れを示すフローチャートである。
ステップS1ではCPU45は最初の頁Pにおける第一パラメータ及び第二パラメータを指定する。つまり、CPU45が本発明に係る初期パラメータ指定手段である。具体的には、まずCPU45は図9に示すように最初の基準画像Gを画面上に表示する。本実施形態の場合、左開きの本Bが撮影対象であるため、一頁目の基準画像G内においては、左側の頁Pが薄く、右側の頁Pが厚くなっている。つまり、左側の頁Pはカメラ22から遠いために比較的小さく撮影されており、右側の頁Pはカメラ22に近いため比較的大きく撮影されている。
【0016】
第一パラメータの指定時においては、ユーザーは操作手段42を操作して、図10に示すように、頁Pに対して重なった手指h1,h2を囲むように矩形状の所定領域K,Lを指定する。操作手段42がマウスである場合には所定領域K,Lを形成するようにドラッグすることで、CPU45が所定領域K,Lを特定する。この所定領域K,Lの各角部の座標値が、めくり始めでの第一パラメータとなる。
【0017】
他方、第二パラメータの指定時においては、ユーザーは操作手段42を操作して、図11に示すように、頁Pから切り出したい領域を囲むように矩形状のトリミング領域Q,Rを指定する。このトリミング領域Q,Rの各角部の座標値が、めくり始めでの第二パラメータとなる。
【0018】
ステップS2では、CPU45は最後の頁Pにおける第一パラメータ及び第二パラメータを指定する。つまり、CPU45が本発明に係る終期パラメータ指定手段である。具体的には、まずCPU45は図12に示すように最後の基準画像Gを画面上に表示する。本実施形態の場合、左開きの本Bが撮影対象であるため、最後の基準画像G内においては、左側の頁Pが厚く、右側の頁Pが薄くなっている。
【0019】
第一パラメータの指定時においては、ユーザーは操作手段42を操作して、図13に示すように、頁Pに対して重なった手指h1,h2を囲むように矩形状の所定領域K,Lを指定する。この所定領域K,Lの各角部の座標値が、めくり終わりでの第一パラメータとなる。
【0020】
他方、第二パラメータの指定時においては、ユーザーは操作手段42を操作して、図14に示すように、頁Pから切り出したい領域を囲むように矩形状のトリミング領域Q,Rを指定する。このトリミング領域Q,Rの各角部の座標値が、めくり終わりでの第二パラメータとなる。
【0021】
ステップS3では、CPU45は、所定領域K,L内から削除対象色及び背景色を指定する。つまり、CPU45が本発明に係る第一指定手段及び第二指定手段である。
削除対象色の指定においては、例えば所定領域K内の手指部分h1の所定箇所をユーザーが操作手段42で指定することで、その所定箇所の色をCPU45が削除対象色として設定する。なお、手指部分h1においても場所によって色が微妙に異なるために、削除対象色としては、ある程度の許容範囲を予め含んで設定されていることが好ましい。
また、削除対象色を逐一設定しなくとも、肌色と同程度の色を削除対象色として予め設定しておくことも可能である。なお、肌色と言っても白人、黒人、黄色人種等のように人種によって肌の色が異なる場合もあれば、個人差による違いもあり、さらには同一人物であっても季節によって肌の色が異なる。このため、これらを包含するように肌色として認識する許容範囲を予め設定していてもよいし、人種毎の許容範囲が個別に登録されていて、使用する人種によって該当する許容範囲を選択するようにしてもよい。
【0022】
また、背景色の指定においても、例えば基準画像Gにおける手指部分h1以外の所定箇所をユーザーが操作手段42で指定することで、その所定箇所の色をCPU45が背景色として設定する。
【0023】
ステップS4では、CPU45は、i=1と設定する。
ステップS5では、CPU45は、i頁目の基準画像Gに対する第一パラメータ及び第二パラメータを決定する。つまり、CPU45が本発明に係る決定手段である。
【0024】
まず、第一パラメータの決定方法について説明する。まず左側の頁Pにおける第一パラメータの決定方法を例示して説明する。
【0025】
図15は左側の最初の頁Pにおける所定領域K1を示す説明図であり、図16は左側のi番目の頁Pにおける所定領域Kiを示す説明図であり、図17は左側の最後(m番目)の頁Pにおける所定領域Kmを示す説明図である。
所定領域K1の各角部をKa(1),Kb(1),Kc(1),Kd(1)とし、所定領域Kmの各角部をKa(m),Kb(m),Kc(m),Kd(m)とし、i番目の頁Pにおける所定領域Kiの各角部をKa(i),Kb(i),Kc(i),Kd(i)とすると、i番目の頁Pにおける所定領域Kiの各角部の座標値は、所定領域K1の各角部の座標値と、所定領域Kmの各角部の座標値と、頁番号とを用いて線形補間する以下の式(1)〜(4)により求められる。
【0026】
Ka(i)=Ka(1)・{(m−i)/(m−1)}+Ka(m)・{i/(m−1)}…(1)
Kb(i)=Kb(1)・{(m−i)/(m−1)}+Kb(m)・{i/(m−1)}…(2)
Kc(i)=Kc(1)・{(m−i)/(m−1)}+Kc(m)・{i/(m−1)}…(3)
Kd(i)=Kd(1)・{(m−i)/(m−1)}+Kd(m)・{i/(m−1)}…(4)
【0027】
この式によって、各頁Pの第一パラメータ、つまり所定領域Kiの各角部の座標値が決定される。
また、右側の頁PにおけるLについても同様の式、
La(i)=La(1)・{(m−i)/(m−1)}+La(m)・{i/(m−1)}…(5)
Lb(i)=Lb(1)・{(m−i)/(m−1)}+Lb(m)・{i/(m−1)}…(6)
Lc(i)=Lc(1)・{(m−i)/(m−1)}+Lc(m)・{i/(m−1)}…(7)
Ld(i)=Ld(1)・{(m−i)/(m−1)}+Ld(m)・{i/(m−1)}…(8)
によって各頁Pの第一パラメータ、つまり所定領域Liの各角部の座標値が決定される。
なお、各角部の座標値は、X座標値、Y座標値ともに以下の式(1)〜(8)に個別に代入することにより求められる。
【0028】
次に、第二パラメータの決定方法について説明する。
【0029】
図18は最初の頁Pにおけるトリミング領域Q1,R1を示す説明図であり、図19はi番目の頁Pにおけるトリミング領域Qi,Riを示す説明図であり、図20は最後(m番目)の頁Pにおけるトリミング領域Qm,Rmを示す説明図である。
左側の頁Pのトリミング領域Q1の各角部をQa(1),Qb(1),Qc(1),Qd(1)とし、トリミング領域Qmの各角部をQa(m),Qb(m),Qc(m),Qd(m)とし、i番目の頁Pにおけるトリミング領域Qiの各角部をQa(i),Qb(i),Qc(i),Qd(i)とすると、i番目の頁Pにおけるトリミング領域Qiの各角部の座標値は、トリミング領域Q1の各角部の座標値と、トリミング領域Qmの各角部の座標値と、頁番号とを用いて線形補間する以下の式(9)〜(12)により求められる。
【0030】
Qa(i)=Qa(1)・{(m−i)/(m−1)}+Qa(m)・{i/(m−1)}…(9)
Qb(i)=Qb(1)・{(m−i)/(m−1)}+Qb(m)・{i/(m−1)}…(10)
Qc(i)=Qc(1)・{(m−i)/(m−1)}+Qc(m)・{i/(m−1)}…(11)
Qd(i)=Qd(1)・{(m−i)/(m−1)}+Qd(m)・{i/(m−1)}…(12)
【0031】
他方、右側の頁Pのトリミング領域R1の各角部をRa(1),Rb(1),Rc(1),Rd(1)とし、トリミング領域Rmの各角部をRa(m),Rb(m),Rc(m),Rd(m)とし、i番目の頁Pにおけるトリミング領域Riの各角部をRa(i),Rb(i),Rc(i),Rd(i)とすると、i番目の頁Pにおけるトリミング領域Riの各角部の座標値は、トリミング領域R1の各角部の座標値と、トリミング領域Rmの各角部の座標値と、頁番号とを用いて線形補間する以下の式(13)〜(16)により求められる。
【0032】
Ra(i)=Ra(1)・{(m−i)/(m−1)}+Ra(m)・{i/(m−1)}…(13)
Rb(i)=Rb(1)・{(m−i)/(m−1)}+Rb(m)・{i/(m−1)}…(14)
Rc(i)=Rc(1)・{(m−i)/(m−1)}+Rc(m)・{i/(m−1)}…(15)
Rd(i)=Rd(1)・{(m−i)/(m−1)}+Rd(m)・{i/(m−1)}…(16)
なお、各角部の座標値は、X座標値、Y座標値ともに上記の式(9)〜(16)に個別に代入することにより求められる。
【0033】
これらの式によって、各頁Pの第二パラメータ、つまりトリミング領域Qi,Riの各角部の座標値が決定する。
【0034】
ステップS6では、CPU45は削除処理を実行する。
図21は削除処理の流れを示すフローチャートである。
ステップS61では、CPU45はi頁目の基準画像Gを記録部41から読み出す。
ステップS62では、CPU45は、i頁目の基準画像Gの所定領域Ki,Liを上記の式(1)〜(8)により決定する。
図22は基準画像Gに対して所定領域Ki,Liが指定された状態を示す説明図である。
そして、CPU45は、ステップS3で指定した削除対象色を所定領域Ki,Liから検出する。
図23は、所定領域Ki内で検出された削除対象色(例えば肌色等)の検出エリアを示す模式図である。この図23の場合では、所定領域Ki内に二つの検出エリアU1,U2が存在しており、検出エリアU1の方が大きい面積となっている。
【0035】
ステップS63では、CPU45は、所定領域Ki,Li内における最も大きな削除対象色の塊(図23の場合では検出エリアU1)を手指部分として特定する。
ステップS64では、CPU45は、手指部分として特定した部分を、ステップS3で指定した背景色(頁の色、白に近い灰色、白に近いアイボリー色等)に置き換える。
図24は、所定領域Ki,Li内の手指部分を背景色に置換した後の基準画像Gを示す説明図である。
ステップS65では、CPU45は、置換後の基準画像Gを手指削除画像として記録部41に保存し、ステップS7に移行する。
このように削除処理では、CPU45が、第一パラメータに基づいて所定領域Ki,Li内の少なくとも一部を削除することで、基準画像Gを補正するようになっている。つまり、CPU45が本発明に係る補正手段及び削除手段である。
【0036】
図8に示すようにステップS7では、CPU45は切出処理を実行する。
図25は切出処理の流れを示すフローチャートである。
ステップS71では、CPU45はi頁目の手指削除画像G1(図26参照)を記録部41から読み出す。
ステップS72では、CPU45はi頁目の手指削除画像G1のトリミング領域Qi,Riを上記の式(9)〜(16)により決定する。
図26は手指削除画像G1に対してトリミング領域Qi,Riが指定された状態を示す説明図である。
そして、CPU45は、トリミング領域Qi,Riを手指削除画像G1から切り出す。つまり、CPU45が本発明に係る切出手段である。
【0037】
ステップS73では、CPU45は、切り出した二つの画像のうち、頁順の先の画像を2×i−1頁とし、後の画像を2×i頁としてナンバリングする。本実施形態の場合、左開きの本Bが撮影対象であるため、左側の画像(トリミング領域Qi)が頁順の先の画像となり、右側の画像(トリミング領域Ri)が頁順の後の画像となる。右開きの本が撮影対象である場合は逆となる。
【0038】
ステップS74では、CPU45は、ナンバリングされた頁番号と、切出画像とを対応付けして、トリミング画像として記録部41に保存し、ステップS8に移行する。
【0039】
図8に示すようにステップS8では、CPU45はi値が最後の頁番号(m)であるか否かを判断し、異なると判断した場合にはステップS5に移行し、同じと判断した場合には画像処理モードを終了する。
【0040】
以上のように、本実施形態によれば、めくり始めの頁Pでの所定領域K,Lに関する第一パラメータと、めくり終わりの頁Pでの所定領域K,Lに関する第一パラメータに基づいて、任意の頁Pでの第一パラメータが決定されているので、全ての頁Pに対する第一パラメータを手動で個別に設定しなくとも、全ての頁Pに対する第一パラメータが自動で設定されることとなる。このように第一パラメータに基づいて任意の頁Pの所定領域K,Lが設定されると、全ての頁Pに対して手指h1,h2を含んだ所定領域K,Lを自動で最適に設定することができる。そして、全ての頁Pにおける所定領域K,Lの少なくとも一部が自動で削除されるので、多数の読み取り画像における手指h1,h2(所定部分)の削除処理を効率化することができる。
【0041】
また、手指h1,h2に対応する削除対象色が予め指定されているので、その削除対象色を基準として削除する領域を決定することになる。したがって、削除領域の検出が容易となり、処理を軽く高速にすることができる。
【0042】
また、背景色が予め指定されているので、その背景色を単に削除された領域に置き換えるだけで処理後の画像の見栄えを良くすることができる。背景色が予め指定されていれば背景色の選別の容易となり、処理を軽く高速にすることができる。
【0043】
めくり始めの頁Pでのトリミング領域Q,Rに関する第二パラメータと、めくり終わりの頁Pでのトリミング領域Q,Rに関する第二パラメータに基づいて、任意の頁Pでの第二パラメータが決定されているので、全ての頁Pに対する第二パラメータを手動で個別に設定しなくとも、全ての頁Pに対する第二パラメータが自動で設定されることとなる。そして、全ての頁Pに対して、トリミング領域Q,Rに基づく切出処理が行われるため、頁P毎に揃った画像を取り込むことが可能となる。
【0044】
また、削除処理の前に切出処理を行う場合、切り出された画像内にある手指部分を囲むように所定領域を設定することになるが、すでに不要な部分のほとんどが取り除かれた状態であるために画像内に残存する手指部分は小さく、その位置や大きさも頁毎におおきくばらついてしまう。ばらつきが大きいと、上述した削除処理の確実性も不安定なものとなる。
しかしながら、上述したように削除処理の後に切出処理が実行されれば、手指h1,h2の頁毎のばらつきも抑えられるために、手指h1,h2に対する削除処理の確実性を高めることができる。
【0045】
また、第一パラメータ及び第二パラメータの補間方法として線形補間が用いられているので、簡単な計算で各頁Pの第一パラメータ及び第二パラメータを補間することができる。したがって、補間にかかるパソコン4の処理を軽減化することが可能である。なお、正確性を求めるのであればより高度な補間方法を用いることも可能である。
【0046】
また、本Bが載置される載置台3が設けられているので、安定して頁をめくることができるとともに、開いた頁Pを安定して保持することができる。
【0047】
また、頁を押さえる手指の位置の基準となるマーク34が載置台3に設けられているので、いずれの頁Pに対してもマーク34を基準とすることでほぼ同じ位置に手指をおくことが可能となる。このように手指の位置が安定すれば、削除処理の正確性も高まることになる。
【0048】
なお、本発明は上記実施形態に限らず適宜変更可能である。
例えば、本実施形態では、所定領域Ki,Li内における最も大きな削除対象色の塊を手指として特定し、当該部分を背景色に置換する場合を例示して説明したが、所定領域Ki,Li内の全ての削除対象色部分を背景色に置換することも可能である。
【0049】
また、上記実施形態では、ユーザーが操作手段42を操作することでトリミング領域Q1,R1,Qm,Rmを指定している場合を例示しているが、パソコン4によって最初の頁P及び最後の頁Pのそれぞれの基準画像Gに対して周知の画像処理を行うことで、文書領域と余白部分との境界を抽出し、その抽出結果からトリミング領域Q1,R1,Qm,Rmを特定することも可能である。パソコン4は、最初の頁Pの基準画像Gから特定されたトリミング領域Q1,R1から、頁Pのめくり始め時点での第二パラメータを指定する。他方、パソコン4は、最後の頁Pの基準画像Gから指定されたトリミング領域Qm,Rmから、頁Pのめくり終わり時点での第二パラメータを指定する。これにより、自動でパラメータを指定することが可能となる。
【0050】
なお、自動でパラメータの指定を行った場合、ユーザーにとっては好ましくない指定結果となる場合も考えられる。このため、パソコン4は、画像処理によるトリミング領域Q1,R1,Qm,Rmの特定が行われた後に、画面上にそのトリミング領域Q1,R1,Qm,Rmを表示させることで、当該トリミング領域Q1,R1,Qm,Rmの良否を判断するようにユーザーに問い合わせる。ユーザーは、操作手段42を操作することで良否を入力する。パソコン4は、操作手段42を介して入力されたユーザーの応答結果が「良」である場合には、画像処理によるトリミング領域Q1,R1,Qm,Rmに基づいて第二パラメータを指定する。他方、操作手段42を介して入力されたユーザーの応答結果が「否」である場合には、パソコン4は、画像処理によるトリミング領域Q1,R1,Qm,Rmを調整し、その調整後のトリミング領域Q1,R1,Qm,Rmに基づいて第二パラメータを指定する。
トリミング領域Q1,R1,Qm,Rmの調整方式としては、例えば、別の条件で画像処理を行って再度トリミング領域Q1,R1,Qm,Rmを特定する方式や、ユーザーが操作手段42を操作して画面上のトリミング領域Q1,R1,Qm,Rmを微調整する方式などが挙げられる。
【0051】
また、上記実施形態では、第一パラメータや第二パラメータを、頁Pのめくり始め時点及び頁Pのめくり終わり時点で決定している場合を例示して説明したが、この決定範囲としては多少の許容範囲を持たせてもよい。つまり、パソコン4は、頁Pのめくり始め近傍となる複数の頁Pからパラメータ決定に適した頁Pを選択し、当該選択された頁Pでの第一パラメータ及び第二パラメータを決定する。同様に、パソコン4は、頁Pのめくり終わり近傍となる複数の頁Pからパラメータ決定に適した頁Pを選択し、当該選択された頁Pでの第一パラメータ及び第二パラメータを決定する。これにより、パラメータ決定の正確性を高めることができる。
例えば、めくり始めやめくり終わりの頁には、トリミング領域Q1,R1,Qm,Rm内に文字や画像が含まれていない可能性もある。この場合、正確なパラメータの決定が行われない可能性が高い。しかしながら、上述したようにパラメータ決定用の頁Pが複数の頁Pから選択されていれば、トリミング領域Q1,R1,Qm,Rm内に文字が含まれている可能性も高くなり、パラメータ決定の正確性が高くなる。
具体的な処理としては、パソコン4は、パラメータ決定用の候補である各頁P内に文字を含む領域が存在しているか否かを判別し、存在している頁Pをパラメータ決定用の頁Pとして選択する。このとき、文字を含む領域がパラメータ決定用として最適な領域(範囲)に位置している頁Pを優先して選択する。これにより、パラメータ決定の正確性をより一層高めることが可能である。
そして、上述の補間式と同様の式を用い、めくり始め近傍の頁Pとのめくり終わり近傍の頁Pの間の頁Pだけでなくその外側の頁のパラメータを決定できることは言うまでもない。
【0052】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
【0053】
〔付記〕
<請求項1>
本を頁毎にめくり、当該本の頁を撮像手段によって頁毎に撮像し、撮像された画像のうち所定領域を補正して取り込む画像読み取り装置であって、
前記頁のめくり始め近傍の頁での前記所定領域に関する第一パラメータを指定する初期パラメータ指定手段と、
前記頁のめくり終わり近傍の頁での前記所定領域に関する第一パラメータを指定する終期パラメータ指定手段と、
前記初期パラメータ指定手段及び前記終期パラメータ指定手段により指定された前記第一パラメータに基づいて、任意の頁での前記第一パラメータを決定する決定手段と、
前記決定手段で決定された前記任意の頁の第一パラメータに基づいて、前記任意の頁の画像を補正する補正手段とを備え、
前記補正手段は、前記任意の頁の前記所定領域の少なくとも一部を、前記任意の頁の第一パラメータに基づいて削除する削除手段を含むことを特徴とする画像読み取り装置。
<請求項2>
請求項1記載の画像読み取り装置において、
前記削除手段は、前記所定領域内から削除対象色を指定する第一指定手段を含み、
前記削除手段は、前記第一指定手段によって指定された前記削除対象色を前記所定領域から削除することを特徴とする画像読み取り装置。
<請求項3>
請求項2記載の画像読み取り装置において、
前記削除手段は、前記所定領域内から背景色を指定する第二指定手段を含み、
前記削除手段は、前記第二指定手段によって指定された前記背景色で前記削除対象色を置き換えることを特徴とする画像読み取り装置。
<請求項4>
請求項1〜3のいずれか一項に記載の画像読み取り装置において、
前記初期パラメータ指定手段は、前記撮像された画像から切り出されるトリミング領域に関する第二パラメータを、前記頁のめくり始め近傍の頁から指定し、
前記終期パラメータ指定手段は、前記第二パラメータを前記頁のめくり終わり近傍の頁から指定し、
前記決定手段は、前記初期パラメータ指定手段及び前記終期パラメータ指定手段により指定された前記第二パラメータに基づいて、任意の頁での前記第二パラメータを決定し、
前記補正手段は、前記撮像された画像から前記任意の頁の第二パラメータに基づいて前記トリミング領域をトリミング画像として切り出す切出手段を有することを特徴とする画像読み取り装置。
<請求項5>
請求項4記載の画像読み取り装置において、
前記補正手段は、前記削除手段による削除処理の後に前記切出手段による切出処理を実行することを特徴とする画像読み取り装置。
<請求項6>
請求項1〜5の何れか一項に記載の画像読み取り装置において、
前記決定手段は、
前記初期パラメータ指定手段で指定された前記パラメータと、前記終期パラメータ指定手段で指定された前記パラメータと、頁番号とを用いて線形補間を行うことで、前記任意の頁における前記パラメータを決定することを特徴とする画像読み取り装置。
<請求項7>
請求項1〜6のいずれか一項に記載の画像読み取り装置において、
前記本が載置される載置台を前記撮像手段の下方に備えることを特徴とする画像読み取り装置。
<請求項8>
請求項7記載の画像読み取り装置において、
前記載置台には、前記頁を押さえる手指の位置の基準となるマークが設けられていることを特徴とする画像読み取り装置。
<請求項9>
本を頁毎にめくり、当該本の頁を撮像手段によって頁毎に撮像し、撮像された画像のうち所定領域を補正して取り込む画像読み取り方法であって、
前記頁のめくり始め近傍の頁での前記所定領域に関する第一パラメータを指定する初期パラメータ指定工程と、
前記頁のめくり終わり近傍の頁での前記所定領域に関する第一パラメータを指定する終期パラメータ指定工程と、
前記初期パラメータ指定工程及び前記終期パラメータ指定工程により指定された前記第一パラメータに基づいて、任意の頁での前記第一パラメータを決定する決定工程と、
前記決定工程で決定された前記任意の頁の第一パラメータに基づいて、前記任意の頁の画像を補正する補正工程とを含み、
前記補正工程は、前記任意の頁の前記所定領域の少なくとも一部を、前記任意の頁の第一パラメータに基づいて削除する削除工程を含むことを特徴とする画像読み取り方法。
<請求項10>
頁毎にめくられた本の頁を撮像手段によって頁毎に撮像し、撮像された画像のうち所定領域を補正して取り込むコンピュータを、
前記頁のめくり始め近傍の頁での前記所定領域に関する第一パラメータを指定する初期パラメータ指定手段と、
前記頁のめくり終わり近傍の頁での前記所定領域に関する第一パラメータを指定する終期パラメータ指定手段と、
前記初期パラメータ指定手段及び前記終期パラメータ指定手段により指定された前記第一パラメータに基づいて、任意の頁での前記第一パラメータを決定する決定手段と、
前記決定手段で決定された前記任意の頁の第一パラメータに基づいて、前記任意の頁の画像を補正する補正手段として機能させ、
前記補正手段は、前記任意の頁の前記所定領域の少なくとも一部を、前記任意の頁の第一パラメータに基づいて削除する削除手段を含むことを特徴とするプログラム。
【符号の説明】
【0054】
1 書画カメラシステム(画像読み取り装置)
2 書画カメラ(撮像手段)
3 載置台
4 パソコン
21 スタンド部
22 カメラ
31 保持板
32 保持板
33 保持部
34 マーク
41 記録部
42 操作手段
43 ROM
44 RAM
45 CPU(初期パラメータ指定手段、終期パラメータ指定手段、決定手段、補正手段、削除手段、第一指定手段、第二指定手段、切出手段)
B 本
G 基準画像
G1 手指削除画像
K,L 所定領域
P 頁
Q,R トリミング領域
U1,U2 検出エリア
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28