(58)【調査した分野】(Int.Cl.,DB名)
被写体を撮像した画像から、該被写体に対して指定された領域内に対応する画像を切り抜いて保存する切り抜き処理について、過去に実行された切り抜き処理における前記被写体の識別情報と前記領域とを対応付けた履歴情報に基づいて、今回の切り抜き処理の対象となる被写体上に、前記今回の切り抜き処理の対象となる被写体の識別情報に対応付けられている領域を特定する画像が表示されるように制御する制御部と、
前記領域を特定する画像により特定された領域が選択された場合に、選択された領域内から切り抜かれて保存されている画像を、今回の切り抜き処理により切り抜いた画像として処理する処理部と、
を含む書画カメラ装置。
前記制御部は、前記領域を特定する画像と共に、該領域を特定する画像により特定される領域から切り抜かれて保存されている画像のサムネイル画像が表示されるように制御する請求項1記載の書画カメラ装置。
前記処理部は、前記サムネイル画像が選択された場合に、選択されたサムネイル画像に対応する画像を、今回の切り抜き処理により切り抜いた画像として処理する請求項2記載の書画カメラ装置。
前記制御部は、前記領域を特定する画像と、該画像により特定される領域から切り抜かれて保存されている画像のサムネイル画像とを対応付ける対応情報が表示されるように制御する請求項2又は請求項3記載の書画カメラ装置。
前記制御部は、切り抜き処理を行ったユーザの識別情報がさらに対応付けられた履歴情報に基づいて、前記選択された領域に対応付けられたユーザの識別情報に対応付けられた他の領域が、前記被写体上で強調されるように制御する請求項1〜請求項4のいずれか1項記載の書画カメラ装置。
前記処理部は、前記撮像部により撮像された画像から、前記領域を特定する画像により特定される領域に対するユーザのタッチ操作を認識した場合に、該領域が選択されたと判定する請求項6記載の書画カメラ装置。
【発明を実施するための形態】
【0015】
以下、図面を参照して開示の技術に係る実施形態の一例を詳細に説明する。
【0016】
<第1実施形態>
図1に示すように、第1実施形態に係る書画カメラ装置100は、ヘッド部110と、制御部120とを含む。
【0017】
ヘッド部110は、2つの撮像部111A、111Bと、投影部112とを含む。撮像部111A、111Bは、例えば、Charge Coupled Device(CCD)カメラ、Complementary Metal Oxide Semiconductor Image Sensor(CMOS)カメラ等で実現することができる。投影部112は、例えば、Cathode Ray Tube(CRT)プロジェクタ、液晶プロジェクタ等で実現することができる。
【0018】
図2に示すように、撮像部111Aは、作業面10を含む所定の撮像範囲11Aを撮像する。撮像部111Bは、作業面10を含む所定の撮像範囲11Bを撮像する。投影部112は、作業面10上の所定の投影範囲12に画像を投影する。撮像範囲11Aと撮像範囲11Bとは、異なる範囲であってもよいし、同一の範囲であってもよいが、両範囲とも、少なくとも投影範囲12を含む範囲とする。
【0019】
制御部120は、パーソナルコンピュータ等の情報処理装置により実現することができる。
【0020】
図3に、書画カメラ装置100の機能ブロック図を示す。
図3に示すように、制御部120は、操作認識部121と、切り抜き処理部122と、投影制御部123とを含む。また、制御部120の所定の記憶領域には、記事データベース(DB)126と、レイアウトDB127とが記憶される。
【0021】
操作認識部121は、撮像部111A、及び撮像部111Bの各々で撮像された画像データを取得し、作業面10上で行われるユーザの操作を認識する。具体的には、操作認識部121は、撮像部111A及び撮像部111Bをステレオカメラとして用い、撮像部111A及び撮像部111Bの各々で撮像された画像データから、作業面10上の物体の3次元形状を計測する。また、操作認識部121は、手指の色、輪郭等の特徴を抽出して、3次元形状が計測された物体のうち、手指形状を認識する。さらに、操作認識部121は、実世界座標系と、撮像部111A及び撮像部111Bの撮像部座標系と、投影部112の投影部座標系との対応関係を調整した上で、認識した手指形状が示すユーザの操作を認識する。
【0022】
本実施形態では、ユーザの操作として、作業面10に投影像として投影されたコマンドボタンの選択、投影された画像の選択及び変更、並びに作業面10上又は作業面10上に配置された紙面上での領域の指定を含む。なお、投影された画像の変更とは、画像の表示位置の移動、画像のサイズの変更、書式の変更等である。
【0023】
操作認識部121は、上記のようなユーザの操作を、手指形状の所定箇所(例えば、指先)が示す位置、手指形状の動き等により認識する。例えば、操作認識部121は、投影されたコマンドボタンや画像の位置が指先でタッチされた場合に、コマンドボタンや画像が選択されたことを認識する。また、操作認識部121は、領域指定のコマンドボタンが選択された後に、作業面10に配置された紙面13上で、
図4内の矢印で示すような指先の動作を認識したとする。この場合、操作認識部121は、動作の開始位置(矢印の始点)と終了位置(矢印の終点)とを結ぶ直線を対角線とする矩形領域を、指定された領域14として認識する。
【0024】
なお、画像処理による手指形状及びユーザ操作の認識処理は、従来既知の手法を適用することができるため、ここでは詳細な説明は省略する。
【0025】
操作認識部121は、取得した画像データ、及び認識した操作情報を、切り抜き処理部122へ受け渡す。操作情報には、例えば、コマンドボタンの選択、記事の選択、領域の指定、記事のレイアウト等の操作の種別、及び操作が行われた画像データ上での座標位置の情報等が含まれる。
【0026】
切り抜き処理部122は、操作認識部121から受け渡された画像データ及び操作情報に基づいて、記事の切り抜き処理を実行する。具体的には、切り抜き処理部122は、操作認識部121から、領域14の指定を示す操作情報を受け渡されると、指定された領域14内の記事の切り抜きに関するデータ処理を行い、データ処理により得た情報を、記事DB126に登録する。なお、記事の切り抜きに関するデータ処理の詳細については後述する。
【0027】
図5に、記事DB126の一例を示す。
図5の例では、各行が、切り抜かれた1つの記事に関する記事情報に相当し、各記事情報は、「紙面ID」、「記事ID」、「記事位置」、「ユーザID」、及び「記事の内容」の項目を含む。「紙面ID」は、記事情報が示す記事を含む紙面13を一意に識別可能な情報である。「記事ID」は、紙面IDが示す紙面13上で、記事情報が示す記事を一意に識別可能な情報である。「記事位置」は、記事情報が示す記事の紙面13上での位置を特定するための情報である。「ユーザID」は、記事の切り抜き作業を行ったユーザを一意に識別可能な情報である。「記事の内容」は、記事情報が示す記事の画像データや、その画像データからOptical character recognition(OCR)処理により得たテキストデータ等の情報である。
【0028】
なお、
図5に示す記事DB126では、「紙面ID」及び「記事ID」の項目を各々設け、1つの紙面IDに複数の記事IDが紐付く構成としているが、記事ID中に紙面IDを含める構成としてもよい。
【0029】
ここで、本実施形態では、例えば、企業の各部署の担当者がそれぞれ切り抜き作業を行う場合であって、担当者のそれぞれが同一の記事の切り抜き作業を行うような重複した切り抜き作業が生じ得る場合を想定する。そこで、本実施形態では、切り抜き処理部122は、切り抜き対象の紙面13から、既に切り抜かれて保存されている記事を特定し、その記事の存在を投影制御部123及び投影部112によりユーザに提示させる。ユーザは、提示された記事が、自身が切り抜きたい記事の場合には、その記事を示す領域を指定することなく、提示された記事を選択する。この場合、切り抜き処理部122は、切り抜きに関するデータ処理を再度行うことなく、選択された記事を、今回切り抜かれた記事として流用する。なお、記事の流用処理の詳細については後述する。
【0030】
また、切り抜き処理部122は、紙面13から切り抜かれて記事DB126に保存された記事情報を使用したレイアウトに関する処理を実行し、レイアウトの情報をレイアウトDB127に登録する。なお、レイアウトに関する処理の詳細については後述する。
【0031】
図6に、レイアウトDB127の一例を示す。
図6の例では、1つのレイアウトIDに対応する各行が、1つのレイアウト情報に相当し、各レイアウト情報は、「レイアウトID」、「ユーザID」、「記事特定情報」、「位置/サイズ」、及び「書式」の項目を含む。「レイアウトID」は、レイアウト情報を一意に識別可能な情報である。「ユーザID」は、レイアウト情報が示すレイアウトを作成したユーザを一意に識別可能な情報である。
【0032】
「記事特定情報」、「位置/サイズ」、及び「書式」は、レイアウト情報が示すレイアウトに使用された記事に関する使用記事情報である。1つのレイアウト情報は、複数の使用記事情報を含むことができる。「記事特定情報」は、使用記事情報が示す記事を特定するための情報である。「位置/サイズ」は、使用記事情報が示す記事が、レイアウト内のどの位置にどのサイズで配置されたかを示す情報である。「書式」は、使用記事情報が示す記事に設定された書式を示す情報である。
【0033】
なお、記事DB126及びレイアウトDB127の各項目に登録する情報の取得方法については後述する。
【0034】
投影制御部123は、操作認識部121の認識結果、及び切り抜き処理部122の処理結果に基づく投影像が、作業面10上又は作業面10上に配置された紙面13上に投影されるように投影部112を制御する。投影される投影像の詳細については後述する。
【0035】
書画カメラ装置100は、例えば
図7に示すコンピュータ40で実現することができる。コンピュータ40はCPU41、一時記憶領域としてのメモリ42、及び不揮発性の記憶部43を備える。また、コンピュータ40は、キーボード、カードリーダ、ディスプレイ等の入出力装置、撮像部111A、111B、投影部112が接続される入出力インターフェース(I/F)44を備える。また、コンピュータ40は、記録媒体49に対するデータの読み込み及び書き込みを制御するread/write(R/W)部45と、インターネット等のネットワークに接続されるネットワークI/F46とを備える。CPU41、メモリ42、記憶部43、入出力I/F44、R/W部45、及びネットワークI/F46は、バス47を介して互いに接続される。
【0036】
記憶部43は、Hard Disk Drive(HDD)、solid state drive(SSD)、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部43には、コンピュータ40を書画カメラ装置100として機能させるための切り抜き支援プログラム50が記憶される。切り抜き支援プログラム50は、操作認識プロセス51と、切り抜き処理プロセス52と、投影制御プロセス53とを有する。また、記憶部43は、記事DB126及びレイアウトDB127の各々を構成する情報が記憶される情報記憶領域55を有する。
【0037】
CPU41は、切り抜き支援プログラム50を記憶部43から読み出してメモリ42に展開し、切り抜き支援プログラム50が有するプロセスを順次実行する。CPU41は、操作認識プロセス51を実行することで、
図3に示す操作認識部121として動作する。また、CPU41は、切り抜き処理プロセス52を実行することで、
図3に示す切り抜き処理部122として動作する。また、CPU41は、投影制御プロセス53を実行することで、
図3に示す投影制御部123として動作する。また、CPU41は、情報記憶領域55から各種情報を読み出して、記事DB126及びレイアウトDB127の各々としてメモリ42に展開する。これにより、切り抜き支援プログラム50を実行したコンピュータ40が、書画カメラ装置100として機能することになる。
【0038】
なお、切り抜き支援プログラム50により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit(ASIC)等で実現することも可能である。
【0039】
次に、第1実施形態に係る書画カメラ装置100の作用について説明する。書画カメラ装置100には、記事の切り抜きを実行する切り抜きモードと、切り抜いた記事のレイアウトを実行するレイアウトモードとが用意されている。書画カメラ装置100が起動され、ユーザにより切り抜きモードが選択されると、書画カメラ装置100は、
図8に示す切り抜き処理を実行する。また、ユーザによりレイアウトモードが選択されると、書画カメラ装置100は、
図13に示すレイアウト処理を実行する。以下、各処理について詳述する。
【0040】
まず、切り抜き処理について説明する。
【0041】
図8に示す切り抜き処理のステップS11で、操作認識部121が、撮像部111A、111Bの各々で撮像された画像データを取得し、作業面10に紙面13がセットされたか否かを判定する。例えば、操作認識部121は、紙面13がセットされていない状態の作業面10を撮像した画像データと、逐次入力される画像データとの差分に基づいて、紙面13がセットされたか否かを判定することができる。また、ユーザの操作により、紙面13がセットされたことを示すコマンドが入力されたか否かにより、紙面13がセットされたか否かを判定してもよい。紙面13がセットされた場合には、処理はステップS12へ移行し、紙面13がセットされていない場合には、本ステップの判定を繰り返す。
【0042】
ステップS12では、操作認識部121が、紙面13が撮像された画像データを切り抜き処理部122へ受け渡す。切り抜き処理部122は、受け渡された画像データから、紙面IDを取得する。例えば、切り抜き処理部122は、
図9に示すように、紙面13を撮像した画像データの予め定めた領域を、紙面13を識別可能な情報が記載された紙面情報領域15として特定する。切り抜き処理部122は、特定した紙面情報領域15内の画像データからOCR処理により得たテキストデータ(
図9の例では、「ABC12345」)を、その紙面13の紙面IDとして取得する。紙面情報領域15としては、例えば、紙面13が新聞の場合、「△年○月×日版 ○×新聞 □版 △面」等の情報が記載された領域を特定するようにすればよい。また、切り抜き処理部122は、ユーザにより入力された情報、紙面13の画像データ、画像データやOCRデータのハッシュ情報、これらの情報の組み合わせ等を紙面IDとして取得してもよい。
【0043】
次に、ステップS13で、切り抜き処理部122が、記事DB126を参照し、記事DB126において、「紙面ID」が、上記ステップS12で取得した紙面IDと同一の記事情報を特定する。特定された記事情報が示す記事は、作業面10上に配置された紙面13から既に切り抜かれて保存されている記事であることを意味する。切り抜き処理部122は、特定した記事情報の「記事位置」の情報を、投影制御部123へ受け渡す。
【0044】
次に、ステップS14で、投影制御部123が、切り抜き処理部122から受け渡された「記事位置」の情報に基づいて、既に切り抜かれた記事の領域を示す枠線の画像を生成し、枠線が紙面13上に投影されるように投影部112を制御する。
図10に、紙面13上に投影された枠線16の一例を示す。
図10の例では、枠線16Aで囲まれた記事、及び枠線16Bで囲まれた記事が、既に切り抜かれて保存されている記事であることを表している。
【0045】
ユーザは、自身が切り抜きたい記事が枠線16で囲まれた記事の場合には、該当の記事を示す枠線16内の領域をタッチすることなどにより、記事を選択する。一方、ユーザは、自身が切り抜きたい記事が枠線16で囲まれていない場合には、
図4を用いて説明したような操作により、切り抜きたい記事の領域14を指定する。
【0046】
次に、ステップS15で、切り抜き処理部122が、ユーザにより領域14が指定されたか否かを判定する。この判定は、操作認識部121から切り抜き処理部122に操作情報が受け渡され、その操作情報に含まれる操作の種別が、領域の指定であるか否かを判定することにより行うことができる。切り抜き処理部122が操作認識部121から受け渡された操作情報に含まれる操作の種別が領域の指定の場合には、処理はステップS16へ移行する。一方、切り抜き処理部122が操作認識部121から操作情報を受け渡されていない場合、又は、受け渡された操作情報に含まれる操作の種別が領域の指定ではない場合には、処理はステップS21へ移行する。ここでは、
図11に示すように、枠線16A、16Bで囲まれた記事以外の記事を示す領域14が指定されたものとする。
【0047】
ステップS16では、切り抜き処理部122が、ユーザにより指定された領域14内の記事の記事IDを生成する。例えば、切り抜き処理部122は、紙面13の左上を原点、右方向をx軸プラスの方向、下方向をy軸プラスの方向とするxy座標系における、指定された領域14内の記事の所定位置の座標を記事IDとすることができる。記事の所定位置としては、文章の記事の場合には、予め定めた行数、列数、文字数で特定される文字(例えば、記事の先頭文字)の中央の位置とすることができる。なお、特定される文字が共通し、かつ範囲が異なる複数の記事が存在する場合には、座標に追番を付与するなどして、記事を一意に識別可能な記事IDを生成する。また、写真やイラストなどの画像の記事の場合には、例えば、画像の右上、中央、予め定めた特徴を示す特徴点の位置等を、記事の所定位置とすることができる。また、記事IDは、上記のxy座標系を用いた所定位置の座標で表す場合に限定されず、所定位置を、紙面13上で予め定めた基準位置(例えば、右上、中央、特徴点の位置等)からの相対位置で表したものを用いてもよい。
【0048】
次に、ステップS17で、切り抜き処理部122が、ユーザにより指定された領域14内の記事の記事位置を取得する。例えば、切り抜き処理部122は、上述したxy座標系における、矩形の領域14の4つの角の座標の配列を記事位置として取得する。記事位置としては、操作認識部121から受け渡された操作情報に含まれる情報のうち、ユーザにより指定された領域14を示す位置座標を用いることができる。ただし、この場合、同じ記事を示す領域14が指定される場合であっても、ユーザ毎に指定する領域14に若干のズレが生じ、記事位置に誤差が生じ得る。そこで、記事位置としては、ユーザにより指定された領域14内の記事から一意に特定可能な位置情報を用いることが好ましい。例えば、ユーザにより指定された領域14内の文章やイラストなどに外接矩形を設定し、この外接矩形の上下左右の各々に所定のマージンを設けた領域の4つの角の座標の配列を記事位置とすることができる。また、記事に囲み線がある場合にはその囲み線の上下左右の各々に所定のマージンを設けた領域の4つの角の座標の配列を記事位置としてもよい。
【0049】
また、切り抜き処理部122は、領域14内の画像データ、及びその画像データからOCR処理で得られるテキストデータを、記事の内容として取得する。
【0050】
次に、ステップS18で、切り抜き処理部122は、上記ステップS17で取得した領域14内の画像データからサムネイル画像を作成し、そのサムネイル画像を投影制御部123へ受け渡す。投影制御部123は、
図11に示すように、作業面10の所定領域(例えば、紙面13の周辺領域)に、今回の切り抜き作業で切り抜いた記事のサムネイル画像を投影するためのサムネイル領域17を設定する。そして、投影制御部123は、サムネイル領域17に、切り抜き処理部122から受け渡されたサムネイル画像が投影されるように、投影部112を制御する。
【0051】
次に、ステップS19で、切り抜き処理部122が、切り抜き作業を行っているユーザのユーザIDを取得する。ユーザIDは、書画カメラ装置100の起動時等にユーザにより入力された情報を取得してもよいし、本ステップにおいて、ユーザにユーザIDの入力を指示して取得するようにしてもよい。そして、切り抜き処理部122は、上記ステップS12で取得した紙面ID、上記ステップS16で生成した記事ID、本ステップで取得したユーザID、並びに上記ステップS17で取得した記事位置及び記事の内容を、記事DB126に登録する。
【0052】
一方、上記ステップS15で否定判定され、処理がステップS21へ移行した場合には、ステップS21で、切り抜き処理部122が、ユーザにより枠線16で囲まれた記事のいずれかが選択されたか否かを判定する。この判定は、操作認識部121から切り抜き処理部122に操作情報が受け渡され、その操作情報に含まれる操作の種別が、記事の選択であるか否かを判定することにより行うことができる。切り抜き処理部122が操作認識部121から受け渡された操作情報に含まれる操作の種別が記事の選択の場合には、処理はステップS22へ移行する。一方、切り抜き処理部122が操作認識部121から操作情報を受け渡されていない場合、又は、受け渡された操作情報に含まれる操作の種別が記事の選択ではない場合には、処理はステップS24へ移行する。ここでは、
図12に示すように、枠線16Aで囲まれた記事が選択されたものとする。
【0053】
ステップS22では、切り抜き処理部122が、記事DB126において、選択された記事に対応する記事情報を、流用する記事情報として特定する。そして、切り抜き処理部122が、流用する記事情報の「記事の内容」に含まれる画像データからサムネイル画像を作成し、そのサムネイル画像を投影制御部123へ受け渡す。投影制御部123は、
図12に示すように、サムネイル領域17に、切り抜き処理部122から受け渡されたサムネイル画像が投影されるように、投影部112を制御する。
【0054】
次に、ステップS23で、切り抜き処理部122が、切り抜き作業を行っているユーザのユーザIDを取得する。そして、切り抜き処理部122は、流用する記事情報をコピーし、「ユーザID」の項目を、取得したユーザIDに変更して新たな記事情報とし、記事DB126に登録する。これにより、領域を指定することにより記事を切り抜く場合に行う上記ステップS16及びステップS17の処理を行うことなく、記事の切り抜き処理が行われたことになる。
【0055】
次に、ステップS24で、操作認識部121が、ユーザにより切り抜きモードの終了を示すコマンドが入力されたか否かを判定する。切り抜きモードの終了を示すコマンドが入力されていない場合には、処理はステップS15に戻り、切り抜きモードの終了を示すコマンドが入力された場合には、切り抜き処理は終了する。
【0056】
次に、レイアウト処理について説明する。
【0057】
図13に示すレイアウト処理のステップS31で、投影制御部123が、
図14に示すように、作業面10上にレイアウト枠18が投影されるように、投影部112を制御する。レイアウト枠18は、例えば、印刷用紙のA4サイズに相当するサイズなど、所定のサイズで作業面10上に投影されるようにする。
【0058】
次に、ステップS32で、切り抜き処理部122が、レイアウトを作成するユーザのユーザIDを取得する。そして、切り抜き処理部122が、記事DB126に保存された記事情報のうち、「ユーザID」が取得したユーザIDと同一の記事情報を抽出する。そして、切り抜き処理部122は、抽出した記事情報の各々の「記事の内容」に含まれる画像データからサムネイル画像の各々を作成し、そのサムネイル画像の各々を投影制御部123へ受け渡す。投影制御部123は、
図14に示すように、サムネイル領域17に、切り抜き処理部122から受け渡されたサムネイル画像の各々が投影されるように、投影部112を制御する。
【0059】
ユーザは、例えば、
図15に示すように、ドラッグ操作などにより、サムネイル画像をサムネイル領域17からレイアウト枠18内へ移動させることにより、レイアウト枠18内に所望の記事を配置する。また、ユーザは、レイアウト枠18内に配置された記事に対して、記事の位置、記事のサイズ、記事内の文字のサイズや色、縦書き又は横書き、記事内の画像の明るさやコントラスト等の書式を指定することができる。
【0060】
次に、ステップS33で、切り抜き処理部122が、ユーザにより記事がレイアウトされたか否かを判定する。この判定は、操作認識部121から切り抜き処理部122に操作情報が受け渡され、その操作情報に含まれる操作の種別が、記事のレイアウトであるか否かを判定することにより行うことができる。切り抜き処理部122が操作認識部121から受け渡された操作情報に含まれる操作の種別が記事のレイアウトの場合には、処理はステップS34へ移行する。一方、切り抜き処理部122が操作認識部121から操作情報を受け渡されていない場合、又は、受け渡された操作情報に含まれる操作の種別が記事のレイアウトではない場合には、処理はステップS35へ移行する。
【0061】
ステップS34では、切り抜き処理部122が、操作認識部121から受け渡された操作情報に基づいて、レイアウト枠18内に記事がレイアウトされるように、各記事を示す記事画像を作成して、投影制御部123へ受け渡す。具体的には、切り抜き処理部122は、ユーザによりサムネイル領域17から選択されたサムネイル画像に対応する記事情報を記事DB126から取得する。そして、記事情報の「記事の内容」に含まれる画像データ及びテキストデータを用いて、ユーザにより指定された書式が設定された記事画像を作成する。投影制御部123は、レイアウト枠18内に記事画像が投影されるように、投影部112を制御する。
【0062】
次に、ステップS35で、操作認識部121が、ユーザによりレイアウトモードの終了を示すコマンドが入力されたか否かを判定する。レイアウトモードの終了を示すコマンドが入力されていない場合には、処理はステップS33に戻り、レイアウトモードの終了を示すコマンドが入力された場合には、処理はステップS36へ移行する。
【0063】
ステップS36では、切り抜き処理部122が、レイアウト枠18内に配置された各記事画像について、記事DB126から対応する記事情報を取得する。そして、切り抜き処理部122は、取得した各記事情報の「紙面ID」と「記事ID」とを組み合わせて、レイアウトされた記事画像が示す記事を特定するための記事特定情報とする。また、切り抜き処理部122は、各記事画像の4つの角の座標の配列を、その記事画像の位置及びサイズとして取得する。また、切り抜き処理部122は、各記事画像に設定されている書式を取得する。さらに、切り抜き処理部122は、レイアウトを作成しているユーザのユーザIDを取得する。そして、切り抜き処理部122は、レイアウト枠18内に配置された記事の各々について、取得した記事特定情報と、位置及びサイズと、書式とをまとめて使用記事情報とする。切り抜き処理部122は、レイアウト枠18内の各記事についての使用記事情報の各々と、取得したユーザIDとを対応付け、対応付けた情報にレイアウトIDを付与してレイアウト情報とし、レイアウトDB127に登録する。そして、レイアウト処理は終了する。
【0064】
以上説明したように、第1実施形態に係る書画カメラ装置によれば、同一の紙面から既に切り抜かれて保存されている記事が存在する場合には、紙面上にその記事を示す枠線を投影する。ユーザは、自身が切り抜きたい記事が、枠線で囲まれた記事の場合には、領域を指定することなく、その記事を選択する。枠線で囲まれた記事が選択された場合には、再度切り抜きに関するデータ処理を行うことなく、記事DBに保存されている記事情報が示す記事を、今回切り抜かれた記事として流用する。これにより、ユーザにとっては、既に切り抜かれて保存されている記事については、領域を指定するという操作を重複して行う必要がないため、操作負担が軽減される。また、書画カメラ装置での処理については、記事IDの生成や指定された領域の画像データの取得などの切り抜きに関するデータ処理を重複して実行する必要がないため、処理負荷が軽減される。このように、第1実施形態に係る書画カメラ装置によれば、ユーザによる切り抜き領域の指定操作、及び切り抜きに関するデータ処理を軽減し、切り抜き作業を効率化することができる。
【0065】
<第2実施形態>
次に、第2実施形態について説明する。なお、第2実施形態に係る書画カメラ装置について、第1実施形態に係る書画カメラ装置100と同様の部分については、同一の符号を付して、詳細な説明を省略する。
【0066】
図1に示すように、第2実施形態に係る書画カメラ装置200は、ヘッド部110と、制御部220とを含む。
【0067】
制御部220は、
図3に示すように、機能部として、操作認識部121と、切り抜き処理部222と、投影制御部223とを含む。
【0068】
切り抜き処理部222は、第1実施形態における切り抜き処理部122と同様に、作業面10上に配置された紙面13と同一の紙面から既に切り抜かれて保存されている記事の記事位置を特定する。それに加え、第2実施形態における切り抜き処理部222は、既に切り抜かれて保存されている記事を示す記事情報の「記事の内容」に含まれる画像データからサムネイル画像を作成する。切り抜き処理部222は、同一の記事についての記事位置の情報とサムネイル画像とを対応付ける対応情報を、記事位置の情報及びサムネイル画像に付与し、対応情報を付与した記事位置の情報及びサムネイル画像を投影制御部223へ受け渡す。
【0069】
投影制御部223は、第1実施形態における投影制御部123と同様に、切り抜き処理部222から受け渡された記事位置の情報に基づいて、既に切り抜かれて保存されている記事を示す枠線16が紙面13上に投影されるように投影部112を制御する。さらに、投影制御部223は、
図16に示すように、記事位置の情報に付与されている対応情報(
図16の例では、丸数字の1及び2)が、枠線16上や、枠線16の周辺等の所定の位置に投影されるように投影部112を制御する。
【0070】
また、投影制御部223は、
図16に示すように、作業面10の所定領域(例えば、サムネイル領域17の下部)に、枠線16で囲まれた記事のサムネイル画像を投影するための参照サムネイル領域19を設定する。そして、投影制御部223は、参照サムネイル領域19に、切り抜き処理部222から受け渡された、既に切り抜かれて保存されている記事のサムネイル画像及び対応情報が投影されるように、投影部112を制御する。
【0071】
ユーザは、第1実施形態の場合と同様に、枠線16内をタッチすることにより、切り抜きたい記事を選択することもできるし、参照サムネイル領域19に投影されたサムネイル画像をタッチすることにより、切り抜きたい記事を選択することもできる。また、
図16に示すように、ユーザは、参照サムネイル領域19に投影されたサムネイル画像を、ドラッグ操作等により、参照サムネイル領域19からサムネイル領域17に移動させることで、切り抜きたい記事を選択してもよい。
【0072】
書画カメラ装置200は、例えば
図7に示すコンピュータ40で実現することができる。コンピュータ40の記憶部43には、コンピュータ40を書画カメラ装置200として機能させるための切り抜き支援プログラム250が記憶される。切り抜き支援プログラム250は、操作認識プロセス51と、切り抜き処理プロセス252と、投影制御プロセス253とを有する。
【0073】
CPU41は、切り抜き支援プログラム250を記憶部43から読み出してメモリ42に展開し、切り抜き支援プログラム250が有するプロセスを順次実行する。CPU41は、操作認識プロセス51を実行することで、
図3に示す操作認識部121として動作する。また、CPU41は、切り抜き処理プロセス252を実行することで、
図3に示す切り抜き処理部222として動作する。また、CPU41は、投影制御プロセス253を実行することで、
図3に示す投影制御部223として動作する。これにより、切り抜き支援プログラム250を実行したコンピュータ40が、書画カメラ装置200として機能することになる。
【0074】
なお、切り抜き支援プログラム250により実現される機能は、例えば半導体集積回路、より詳しくはASIC等で実現することも可能である。
【0075】
次に、第2実施形態に係る書画カメラ装置200の作用について説明する。第2実施形態では、切り抜き処理が、第1実施形態に係る書画カメラ装置100の作用と異なるため、
図17を参照して、第2実施形態における切り抜き処理について説明する。なお、第2実施形態における切り抜き処理について、第1実施形態における切り抜き処理と同様の処理については、同一符号を付して、詳細な説明を省略する。
【0076】
図17に示す切り抜き処理のステップS12の次のステップS201で、切り抜き処理部222が、記事DB126を参照し、記事DB126において、「紙面ID」が、上記ステップS12で取得した紙面IDと同一の記事情報を特定する。そして、切り抜き処理部222は、特定した記事情報の「記事位置」の情報、及び「記事の内容」に含まれる画像データを取得する。
【0077】
次に、ステップS202で、切り抜き処理部222が、上記ステップS201で取得した画像データからサムネイル画像を作成する。
【0078】
次に、ステップS203で、切り抜き処理部222が、同一の記事についての記事位置の情報とサムネイル画像とを対応付ける対応情報を、記事位置の情報及びサムネイル画像の各々に付与する。そして、切り抜き処理部222は、対応情報が付与された記事位置の情報及びサムネイル画像を、投影制御部223へ受け渡す。
【0079】
次に、ステップS204で、投影制御部223が、切り抜き処理部222から受け渡された情報に基づいて、既に切り抜かれた記事の領域を示す枠線16が紙面13上に投影されるように投影部112を制御する。また、投影制御部223は、参照サムネイル領域19に、枠線16で囲まれた記事のサムネイル画像が投影されるように投影部112を制御する。さらに、投影制御部223は、記事位置の情報及びサムネイル画像に付与されている対応情報が所定位置に投影されるように投影部112を制御する。
【0080】
以上説明したように、第2実施形態に係る書画カメラ装置によれば、既に切り抜かれて保存されている記事を枠線でユーザに提示するだけでなく、その記事のサムネイル画像も提示する。また、ユーザは、枠線で囲まれた記事を選択する場合だけでなく、サムネイル画像を選択することによっても、既に切り抜かれて保存されている記事を選択することができる。既に切り抜かれて保存されている記事の領域が重複しており、その重複部分がユーザによりタッチ等で選択された場合には、いずれの記事が選択されたのかを判断することができない。このような場合でも、第2実施形態の書画カメラ装置によれば、既に切り抜かれて保存されている各記事を示すサムネイル画像も提示され、サムネイル画像を選択することによっても記事を選択することができるため、選択された記事を適切に判断することができる。
【0081】
<第3実施形態>
次に、第3実施形態について説明する。なお、第3実施形態に係る書画カメラ装置について、第1実施形態に係る書画カメラ装置100と同様の部分については、同一の符号を付して、詳細な説明を省略する。
【0082】
図1に示すように、第3実施形態に係る書画カメラ装置300は、ヘッド部110と、制御部320とを含む。
【0083】
制御部320は、
図3に示すように、機能部として、操作認識部121と、切り抜き処理部322と、投影制御部323とを含む。
【0084】
切り抜き処理部322は、第1実施形態における切り抜き処理部122と同様に、作業面10上に配置された紙面13と同一の紙面から既に切り抜かれて保存されている記事の記事位置を特定する。それに加え、第3実施形態における切り抜き処理部322は、枠線16で囲まれた記事のいずれかがユーザにより選択された場合、選択された記事を過去に切り抜いたユーザにより切り抜かれた他の記事を特定する。具体的には、切り抜き処理部322は、選択された記事を示す記事情報を記事DB126から探索し、探索した記事情報と「紙面ID」及び「ユーザID」が同一の記事情報を特定する。切り抜き処理部322は、特定した記事情報の「記事位置」の情報を、投影制御部323へ受け渡す。
【0085】
投影制御部323は、切り抜き処理部322から受け渡された「記事位置」が示す枠線16で囲まれた記事がハイライトされるように、投影部112を制御する。例えば、
図12に示すように、枠線16A及び枠線16Bの各々により、既に切り抜かれて保存されている記事がユーザに提示されているとする。枠線16Aで囲まれた記事も、枠線16Bで囲まれた記事も、過去にユーザBにより切り抜かれた記事であるとする。この状態で、今回の切り抜き作業を行うユーザAが、枠線16Aの記事を選択したとする。この場合、
図18に示すように、枠線16Aの記事を切り抜いたユーザBにより切り抜かれた他の記事である枠線16Bの記事がハイライトされる。
【0086】
なお、
図18では、記事のハイライトを、対象の記事の編み掛けで表しているが、ハイライトの方法はこの例に限定されない。例えば、通常の枠線16よりハイライトされる記事を囲む枠線16を太くしたり、枠線16を点滅させたり、選択した記事を切り抜いたユーザにより切り抜かれた他の記事である旨のメッセージを表示したりしてもよい。
【0087】
書画カメラ装置300は、例えば
図7に示すコンピュータ40で実現することができる。コンピュータ40の記憶部43には、コンピュータ40を書画カメラ装置300として機能させるための切り抜き支援プログラム350が記憶される。切り抜き支援プログラム350は、操作認識プロセス51と、切り抜き処理プロセス352と、投影制御プロセス353とを有する。
【0088】
CPU41は、切り抜き支援プログラム350を記憶部43から読み出してメモリ42に展開し、切り抜き支援プログラム350が有するプロセスを順次実行する。CPU41は、操作認識プロセス51を実行することで、
図3に示す操作認識部121として動作する。また、CPU41は、切り抜き処理プロセス352を実行することで、
図3に示す切り抜き処理部322として動作する。また、CPU41は、投影制御プロセス353を実行することで、
図3に示す投影制御部323として動作する。これにより、切り抜き支援プログラム350を実行したコンピュータ40が、書画カメラ装置300として機能することになる。
【0089】
なお、切り抜き支援プログラム350により実現される機能は、例えば半導体集積回路、より詳しくはASIC等で実現することも可能である。
【0090】
次に、第3実施形態に係る書画カメラ装置300の作用について説明する。第3実施形態では、切り抜き処理が、第1実施形態に係る書画カメラ装置100の作用と異なるため、
図19を参照して、第3実施形態における切り抜き処理について説明する。なお、第3実施形態における切り抜き処理について、第1実施形態における切り抜き処理と同様の処理については、同一符号を付して、詳細な説明を省略する。
【0091】
図19に示す切り抜き処理のステップS23の次のステップS301で、切り抜き処理部322が、上記ステップS21で選択されたと判定された記事を示す記事情報を記事DB126から探索する。そして、切り抜き処理部322は、探索した記事情報と「紙面ID」及び「ユーザID」が同一の記事情報を特定し、特定した記事情報の「記事位置」の情報を、投影制御部323へ受け渡す。投影制御部323は、切り抜き処理部322から受け渡された「記事位置」が示す枠線16で囲まれた記事がハイライト表示されるように、投影部112を制御する。
【0092】
以上説明したように、第3実施形態に係る書画カメラ装置によれば、既に切り抜かれて保存されている記事をユーザに提示する際に、今回の切り抜き作業を行うユーザにより選択された記事を切り抜いたユーザにより切り抜かれた他の記事をハイライト表示する。これにより、今回の切り抜き作業を行うユーザに、記事を切り抜く際の他のユーザの傾向を提示することができ、切り抜き作業の効率化を支援することができる。
【0093】
なお、上記各実施形態では、記事DBに保存された記事情報は、その記事情報が示す記事の画像データも含む情報であり、過去の記事情報を流用する場合には、画像データも含めてコピーする場合について説明したが、これに限定されない。紙面ID及び記事IDと切り抜かれた記事の画像データとを対応付けて登録する別のデータベースを設け、記事DBには、紙面IDと記事IDとユーザIDとを対応付けた履歴情報を登録するようにしてもよい。この場合、記事情報を流用してコピーした場合でも、記事DB内に同一の画像データが重複して登録されることを回避することができるため、使用するメモリ領域を削減することができる。
【0094】
また、上記各実施形態では、1つのヘッド部と1つの制御部とを備えた構成について説明したが、これに限定されない。例えば、複数のヘッド部と1つの制御部とを備えた構成とし、制御部が複数のヘッド部の各々を制御するようにしてもよい。また、複数のヘッド部のそれぞれに対応して、各機能部のみを備えた制御部を設け、記事DB及びレイアウトDBのみ、複数の制御部の各々からアクセス可能な共用の記憶装置に記憶する構成としてもよい。
【0095】
また、上記各実施形態では、
図14に示すように、レイアウト処理の初期段階では、レイアウト枠18と、レイアウトを作成するユーザにより切り抜かれている記事のサムネイル画像とを投影する場合について説明したが、これに限定されない。
【0096】
例えば、レイアウトを作成するユーザにより切り抜かれている記事と同一の記事を切り抜いている他のユーザにより作成されているレイアウトが存在する場合には、
図20に示すように、そのレイアウトを流用することができるように、初期段階で投影してもよい。なお、レイアウトされた記事は、紙面から切り抜かれた状態からサイズや書式等が変更されている場合があるため、サムネイル画像と、レイアウト枠18内の記事との対応を示す対応情報(
図18の例では、丸数字の1、2、3、及び4)も合わせて投影するとよい。
【0097】
また、今回レイアウトを作成するユーザAと、流用するレイアウトを作成したユーザBとが切り抜いた記事が、完全に同一でない場合、例えば、同じ記事を切り抜いている数が所定個以上の場合でも、レイアウトを流用するようにしてもよい。この場合、ユーザA及びユーザB共に切り抜いた記事、ユーザAのみが切り抜いた記事、ユーザBのみが切り抜いた記事が識別可能なように、サムネイル画像を投影することが好ましい。
【0098】
なお、上記各実施形態では、切り抜き支援プログラムが記憶部43に予め記憶(インストール)されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、CD−ROM、DVD−ROM、USBメモリ等の記録媒体に記録された形態で提供することも可能である。
【0099】
以上の各実施形態に関し、更に以下の付記を開示する。
【0100】
(付記1)
被写体を撮像した画像から、該被写体に対して指定された領域内に対応する画像を切り抜いて保存する切り抜き処理について、過去に実行された切り抜き処理における前記被写体の識別情報と前記領域とを対応付けた履歴情報に基づいて、今回の切り抜き処理の対象となる被写体上に、前記今回の切り抜き処理の対象となる被写体の識別情報に対応付けられている領域を特定する画像が表示されるように制御する制御部と、
前記領域を特定する画像により特定された領域が選択された場合に、選択された領域内から切り抜かれて保存されている画像を、今回の切り抜き処理により切り抜いた画像として処理する処理部と、
を含む書画カメラ装置。
【0101】
(付記2)
前記制御部は、前記領域を特定する画像と共に、該領域を特定する画像により特定される領域から切り抜かれて保存されている画像のサムネイル画像が表示されるように制御する付記1記載の書画カメラ装置。
【0102】
(付記3)
前記処理部は、前記サムネイル画像が選択された場合に、選択されたサムネイル画像に対応する画像を、今回の切り抜き処理により切り抜いた画像として処理する付記2記載の書画カメラ装置。
【0103】
(付記4)
前記制御部は、前記領域を特定する画像と、該画像により特定される領域から切り抜かれて保存されている画像のサムネイル画像とを対応付ける対応情報が表示されるように制御する付記2又は付記3記載の書画カメラ装置。
【0104】
(付記5)
前記制御部は、切り抜き処理を行ったユーザの識別情報がさらに対応付けられた履歴情報に基づいて、前記選択された領域に対応付けられたユーザの識別情報に対応付けられた他の領域が、前記被写体上で強調されるように制御する付記1〜付記4のいずれか1項記載の書画カメラ装置。
【0105】
(付記6)
前記被写体を含む所定範囲を撮像する撮像部と、
前記被写体を含む所定範囲に画像を投影する投影部と、をさらに含み、
前記制御部は、前記投影部による画像の投影を制御する
付記1〜付記5のいずれか1項記載の書画カメラ装置。
【0106】
(付記7)
前記処理部は、前記撮像部により撮像された画像から、前記領域を特定する画像により特定される領域に対するユーザのタッチ操作を認識した場合に、該領域が選択されたと判定する付記6記載の書画カメラ装置。
【0107】
(付記8)
コンピュータに、
被写体を撮像した画像から、該被写体に対して指定された領域内に対応する画像を切り抜いて保存する切り抜き処理について、過去に実行された切り抜き処理における前記被写体の識別情報と前記領域とを対応付けた履歴情報に基づいて、今回の切り抜き処理の対象となる被写体上に、前記今回の切り抜き処理の対象となる被写体の識別情報に対応付けられている領域を特定する画像が表示されるように制御し、
前記領域を特定する画像により特定された領域が選択された場合に、選択された領域内から切り抜かれて保存されている画像を、今回の切り抜き処理により切り抜いた画像として処理する
ことを含む処理を実行させる切り抜き支援方法。
【0108】
(付記9)
前記領域を特定する画像と共に、該領域を特定する画像により特定される領域から切り抜かれて保存されている画像のサムネイル画像が表示されるように制御する付記8記載の切り抜き支援方法。
【0109】
(付記10)
前記サムネイル画像が選択された場合に、選択されたサムネイル画像に対応する画像を、今回の切り抜き処理により切り抜いた画像として処理する付記9記載の切り抜き支援方法。
【0110】
(付記11)
前記領域を特定する画像と、該画像により特定される領域から切り抜かれて保存されている画像のサムネイル画像とを対応付ける対応情報が表示されるように制御する付記9又は付記10記載の切り抜き支援方法。
【0111】
(付記12)
切り抜き処理を行ったユーザの識別情報がさらに対応付けられた履歴情報に基づいて、前記選択された領域に対応付けられたユーザの識別情報に対応付けられた他の領域が、前記被写体上で強調されるように制御する付記8〜付記11のいずれか1項記載の切り抜き支援方法。
【0112】
(付記13)
コンピュータに、
被写体を撮像した画像から、該被写体に対して指定された領域内に対応する画像を切り抜いて保存する切り抜き処理について、過去に実行された切り抜き処理における前記被写体の識別情報と前記領域とを対応付けた履歴情報に基づいて、今回の切り抜き処理の対象となる被写体上に、前記今回の切り抜き処理の対象となる被写体の識別情報に対応付けられている領域を特定する画像が表示されるように制御し、
前記領域を特定する画像により特定された領域が選択された場合に、選択された領域内から切り抜かれて保存されている画像を、今回の切り抜き処理により切り抜いた画像として処理する
ことを含む処理を実行させる切り抜き支援プログラム。
【0113】
(付記14)
前記領域を特定する画像と共に、該領域を特定する画像により特定される領域から切り抜かれて保存されている画像のサムネイル画像が表示されるように制御する付記13記載の切り抜き支援プログラム。
【0114】
(付記15)
前記サムネイル画像が選択された場合に、選択されたサムネイル画像に対応する画像を、今回の切り抜き処理により切り抜いた画像として処理する付記14記載の切り抜き支援プログラム。
【0115】
(付記16)
前記領域を特定する画像と、該画像により特定される領域から切り抜かれて保存されている画像のサムネイル画像とを対応付ける対応情報が表示されるように制御する付記14又は付記15記載の切り抜き支援プログラム。
【0116】
(付記17)
切り抜き処理を行ったユーザの識別情報がさらに対応付けられた履歴情報に基づいて、前記選択された領域に対応付けられたユーザの識別情報に対応付けられた他の領域が、前記被写体上で強調されるように制御する付記13〜付記16のいずれか1項記載の切り抜き支援プログラム。
【0117】
(付記18)
コンピュータに、
被写体を撮像した画像から、該被写体に対して指定された領域内に対応する画像を切り抜いて保存する切り抜き処理について、過去に実行された切り抜き処理における前記被写体の識別情報と前記領域とを対応付けた履歴情報に基づいて、今回の切り抜き処理の対象となる被写体上に、前記今回の切り抜き処理の対象となる被写体の識別情報に対応付けられている領域を特定する画像が表示されるように制御し、
前記領域を特定する画像により特定された領域が選択された場合に、選択された領域内から切り抜かれて保存されている画像を、今回の切り抜き処理により切り抜いた画像として処理する
ことを含む処理を実行させる切り抜き支援プログラムを記憶した記憶媒体。