(58)【調査した分野】(Int.Cl.,DB名)
前記判断手段によって、第2の記入対象情報が第1の記入対象情報に対応していないと判断された場合に、前記第2の読取手段によって読み取られた位置は、前記第1の読取手段によって読み取られた位置に対応していない旨の警告を発する警告手段
をさらに具備することを特徴とする請求項1又は3に記載の画像処理装置。
前記判断手段によって、第2の記入対象情報が第1の記入対象情報に対応していないと判断された場合に、前記筆記具による筆記を行わせないように制御する筆記具制御手段
をさらに具備することを特徴とする請求項1、3又は4のいずれか一項に記載の画像処理装置。
【発明を実施するための形態】
【0025】
以下、図面に基づき本発明を実現するにあたっての好適な各種の実施の形態の例を説明する。
図1は、本実施の形態(画像出力装置)の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
【0026】
本実施の形態である画像処理装置(画像出力装置)は、文書に情報画像を合成して出力するものであって、
図1の例に示すように、記入対象情報受付モジュール110、文書レイアウト受付モジュール120、文書受付モジュール130、情報画像生成モジュール140、情報画像合成モジュール150、出力モジュール160を有している。
なお、情報画像とは、機械可読な態様で電子データを表すために体系的に作られた画像コードをいい、具体的な例として、
図11を用いて後述する。
【0027】
文書受付モジュール130は、情報画像合成モジュール150と接続されている。文書受付モジュール130は、情報画像を合成する対象となる文書を受け付けて、その文書を情報画像合成モジュール150へ渡す。なお、文書とは、テキストデータ、場合によっては図形、画像等の電子データ、又はこれらの組み合わせであり、出力(主に印刷)、記憶、編集及び検索等の対象となり、システム又は利用者間で個別の単位として交換できるものをいい、これらに類似するものを含む。文書を受け付けるとは、例えば、文書作成アプリケーションによって作成された電子文書を受け付けること、スキャナ、カメラ等で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ハードディスク(画像処理装置に内蔵されているものの他に、ネットワークを介して接続されているもの等を含む)等に記憶されている電子文書を読み出すこと等が含まれる。文書の画像は、2値画像であってもよいし、多値画像(カラー画像を含む)であってもよい。受け付ける画像は、1ページであってもよいし、複数ページであってもよい。
【0028】
受け付ける文書は、複数の文書であってもよいし、1つの文書であってもよい。例えば、複数の文書として、そのうちの1つの文書Aは、記入対象を示す領域(以下、対象領域ともいう)を有する文書であり、記入対象に関する情報(第1の記入対象情報)が埋め込まれた情報画像を合成する文書であり(より具体的には、
図4、
図6(a)に例示する文書であり、後述する)、他方の文書Bは、その記入対象に対応する記入領域(以下、記入欄ともいう)を有する文書であり、その記入対象情報に対応している記入対象情報(第2の記入対象情報)が埋め込まれた情報画像を合成する文書である(より具体的には、
図5、
図6(b)に例示する文書であり、後述する)。1つの文書である場合は、前者の2つの情報画像(記入対象に関する情報が埋め込まれた情報画像、その記入対象情報に対応している記入対象情報が埋め込まれた情報画像)を合成する文書である。
【0029】
また、文書の内容として、複数の文書である場合は、問題用紙(文書A)とその回答用紙(文書B)、機器の管理番号等が記載された貼付シール(文書A)とその保守点検簿(文書B)等の組み合わせがある。文書A(問題用紙、貼付シール等)には、対象領域がある。文書B(回答用紙、保守点検簿等)は、利用者による手書きの書き込みが想定されている記入欄がある。1つの文書である場合は、問題と回答欄の両方が含まれている問題用紙、保守点検簿の内容が含まれている貼付シール等がある。なお、記入欄の形態は、一般的には、線で囲まれた矩形の領域であるが、括弧等によって囲まれた領域等であってもよい。これらに限定されず、明確な区切りではない空白領域であってもよい。この空白領域として、例えば、予め定められた面積以上の空白領域であってもよいし、ページ全体、複数ページである文書全体等であってもよい。また、記入欄に記入されるものは、後述するデジタルペン(筆記具)で筆記されるものであれば、文字、チェック等の記号、図等であってもよい。
なお、以下、複数の文書(文書Aと文書B)を主に例示して説明するが、1つの文書である場合は、その1つの文書内に文書Aと文書Bの両方があるとすればよい。
【0030】
文書レイアウト受付モジュール120は、情報画像生成モジュール140と接続されている。文書レイアウト受付モジュール120は、文書受付モジュール130によって受け付けられた文書のレイアウトに関する情報を受け付け、そのレイアウト情報を情報画像生成モジュール140へ渡す。ここでレイアウト情報とは、文書Aの場合は少なくとも記入対象が記載されている領域(対象領域)の位置、大きさを示す情報が含まれており、文書Bの場合は少なくとも記入欄の位置、大きさを示す情報が含まれている。また、記入対象が記載されている領域、記入欄以外の文書構成(タイトル、段落、図、表等)の位置、大きさを示す情報が含まれていてもよい。
【0031】
記入対象情報受付モジュール110は、情報画像生成モジュール140と接続されている。記入対象情報受付モジュール110は、文書の記入対象に関する情報である第1の記入対象情報を受け付ける。また、第2の記入対象情報を受け付けるようにしてもよいし、第1の記入対象情報を受け付けて、その第1の記入対象情報を用いて、第2の記入対象情報を生成するようにしてもよい。
ここでの第1の記入対象情報(文書Aに合成される情報画像に埋め込まれる記入対象情報)とは、筆記具で記入される場合において、その記入の対象(前述の例で示せば、回答欄に対応する問題、保守点検簿に対応する管理番号で示される機器である。つまり、記入するに際して、記入の内容はその記入対象についてのものとなる)に関する情報であればよく、例えば、
(A1)文書A内の記入対象を、後述する
図3に例示するシステムにおいて一意に識別する識別情報であってもよい。例えば、問題用紙の場合は問題番号、前述の貼付シールの場合は管理番号等が該当する。
(A2)文書A内の記入対象の属性(名前、作成日時、大きさ、位置等)を示す情報であってもよい。
(A3)文書Aを、後述する
図3に例示するシステムにおいて一意に識別する文書識別情報であってもよい。例えば、URI(Uniform Resource Identifier)、URL(Uniform Resource Locator)等の文書ID(IDentification)がある。
(A4)文書Aのページを、後述する
図3に例示するシステムにおいて一意に識別するページ識別情報であってもよい。例えば、文書ID(IDentification)とページ番号の組み合わせがある。
(A5)逆に、記入対象について記入すべき記入欄を、後述する
図3に例示するシステムにおいて一意に識別する識別情報であってもよい。記入欄の識別情報としては、記入欄を対象とした前述の(A1)〜(A4)の情報であってもよい。
(A6)第1の記入対象情報として、記入対象を指定しないことを示す予め定められた情報を含めてもよい。以下、この情報を“ANY”として例示して説明する。
(A7)また、第1の記入対象情報は、これらの組み合わせ(AND、OR、NOT等の論理的演算子を用いた組み合わせ)であってもよい。
また、第1の記入対象情報の指定については、利用者のマウス、キーボード、タッチパネル等を用いた指定を受け付けてもよいし、各欄に予め定められた第1の記入対象情報を受け取るようにしてもよい。
【0032】
また、第2の記入対象情報は、第1の記入対象情報に対応している情報であればよい。対応の形態として、例えば、
(B1)第2の記入対象情報は第1の記入対象情報そのものであってもよい。つまり、第1の記入対象情報と第2の記入対象情報が対応しているか否かを判断するとは、両者が同じ値であるか否かを判断することである。
(B2)第1の記入対象情報が階層構造を有している場合、第2の記入対象情報は、その第1の記入対象情報の下位又は同位にある記入対象情報である。つまり、第1の記入対象情報と第2の記入対象情報が対応しているか否かを判断するとは、その階層構造において、第1の記入対象情報が上位又は同位に位置し、第2の記入対象情報がその第1の記入対象情報の下位又は同位に位置しているか否かを判断することである。
(B3)第1の記入対象情報が集合である場合、第2の記入対象情報は、その第1の記入対象情報に含まれている記入対象情報である。つまり、第1の記入対象情報と第2の記入対象情報が対応しているか否かを判断するとは、第1の記入対象情報の集合内に第2の記入対象情報が含まれているか否かを判断することである。
(B4)第1の記入対象情報が“ANY”であり、第2の記入対象情報も“ANY”である場合は、前述の(B1)に示す対応の形態であればよい。第1の記入対象情報が“ANY”であり、第2の記入対象情報が無い場合は、第2の記入対象情報は、第1の記入対象情報に対応していると判断する。そして、第1の記入対象情報が“ANY”であり、第2の記入対象情報が“ANY”以外の情報(無い以外の情報、つまり、何かしらの第1の記入対象情報に対応する第2の記入対象情報)である場合は、第2の記入対象情報は、第1の記入対象情報に対応していないと判断する。この場合、「記入対象を指定しない」にもかかわらず、「記入対象が指定されている領域に記入しようとしている」という状況であるためである。
(B5)また、第1の記入対象情報と第2の記入対象情報との対応の形態は、これらの組み合わせ(AND、OR、NOT等の論理的演算子を用いた組み合わせ)であってもよい。
また、第2の記入対象情報の指定については、利用者のマウス、キーボード、タッチパネル等を用いた指定を受け付けてもよいし、各欄に予め定められた第2の記入対象情報を受け取るようにしてもよいし、第1の記入対象情報を用いて、第2の記入対象情報を生成するようにしてもよい。
【0033】
情報画像生成モジュール140は、記入対象情報受付モジュール110、文書レイアウト受付モジュール120、情報画像合成モジュール150と接続されている。情報画像生成モジュール140は、文書受付モジュール130によって受け付けられた文書内の位置を示す位置情報及び記入対象情報受付モジュール110によって受け付けられた第1の記入対象情報又は第2の記入対象情報に基づいて、情報を示す画像である情報画像を生成する。つまり、記入対象情報受付モジュール110によって受け付けられた第1の記入対象情報に基づいて、第1の情報画像を生成する。そして、文書内の位置を示す位置情報及び記入対象情報受付モジュール110によって受け付けられた第1の記入対象情報に対応している第2の記入対象情報に基づいて、情報を示す画像である第2の情報画像を生成する。
文書レイアウト受付モジュール120によって受け付けられたレイアウト情報(具体的には、対象領域又は記入欄の位置、大きさを示す情報)、第1の記入対象情報又は第2の記入対象情報を用いて、その対象領域又は記入欄内に合成する情報画像を生成する。ここで「基づいて」とは、少なくとも位置情報及び「第1の記入対象情報又は第2の記入対象情報」を含めた情報を、情報画像に埋め込むことをいう。つまり、その情報画像を解析した場合に、位置情報及び「第1の記入対象情報又は第2の記入対象情報」を読み出し得るようにすればよい。なお、前述の文書Aの場合は、位置情報は必ずしも必要なく、第1の記入対象情報のみであってもよい。情報画像内に埋め込む位置情報とは、デジタルペンでその位置情報が埋め込まれている情報画像を読み込んだ場合に、そのデジタルペンの筆跡を再現できるようにしている情報であり、例えば、その文書内におけるXY座標等が該当する。具体的には、位置情報として、対象領域又は記入欄の位置、大きさから定められる領域が示すその文書におけるXY座標の集合が該当する。
また、情報画像生成モジュール140は、さらに文書を示す文書情報に基づいて、情報画像を生成するようにしてもよい。文書情報として、例えば、文書ID、ページID等が該当する。なお、文書ID、ページID等については、
図3の例の説明で述べる。
【0034】
情報画像合成モジュール150は、文書受付モジュール130、情報画像生成モジュール140、出力モジュール160と接続されている。情報画像合成モジュール150は、情報画像生成モジュール140によって生成された情報画像を文書受付モジュール130によって受け付けられた文書A内の対象領域、文書B内の記入欄に合成する。つまり、情報画像生成モジュール140によって生成された第1の情報画像を文書(文書A又は文書Aと文書Bの両方がある文書)に合成する。そして、情報画像生成モジュール140によって生成された第2の情報画像を文書(文書B又は文書Aと文書Bの両方がある文書)に合成する。
もちろんのことながら、記入対象が記載されている領域以外の領域、記入欄以外の領域に情報画像を合成するようにしてもよい。記入対象が記載されている領域以外の領域、記入欄以外の領域に合成する情報画像には、“ANY”である第1の記入対象情報又は第2の記入対象情報を含めてもよい。なお、前述したように記入欄としては、ページ全体、文書全体という場合もあり得るので、その場合は第2の記入対象情報が含まれている情報画像がページ全体、文書全体に合成されることになる。
【0035】
出力モジュール160は、情報画像合成モジュール150と接続されている。出力モジュール160は、情報画像合成モジュール150によって情報画像が合成された文書を媒体に出力する。つまり、情報画像合成モジュール150によって第1の情報画像が合成された文書Aと情報画像合成モジュール150によって第2の情報画像が合成された文書Bをそれぞれの媒体(この場合、2枚の媒体(文書Aの媒体と文書Bの媒体))に出力する又は第1の情報画像及び第2の情報画像が合成された文書を媒体(この場合、1枚の媒体(文書Aと文書Bの両方がある文書の媒体))に出力する。文書を出力するとは、例えば、プリンタ等の印刷装置で印刷すること、ファックス等の画像送信装置で画像を送信すること等が該当する。また、ディスプレイ等の表示装置に表示すること、画像データベース等の画像記憶装置へ画像を書き込むこと、メモリーカード等の記憶媒体に記憶すること、他の情報処理装置へ渡すこと等を行ってもよいが、最終的にはデジタルペンで筆記し得るように紙、プラスチック等の媒体に出力する。
【0036】
図2は、本実施の形態(画像出力装置)による処理例を示すフローチャートである。ここでは、文書Bの出力例を示しているが、文書Aについては、記入欄を対象領域とすればよい。
ステップS202では、文書受付モジュール130が、対象となる文書を受け付ける。
ステップS204では、文書レイアウト受付モジュール120が、対象となる文書のレイアウト(少なくとも記入欄の位置と大きさ)を受け付ける。
ステップS206では、記入対象情報受付モジュール110が、対象となる文書内の記入欄に記入すべき対象を示す記入対象情報を受け付ける。
ステップS208では、情報画像生成モジュール140が、記入欄内の位置と記入対象情報を含む情報画像を生成する。
ステップS210では、情報画像合成モジュール150が、対象となる文書内の記入欄に情報画像を合成する。
ステップS212では、出力モジュール160が、情報画像が合成された文書を出力する。
【0037】
図3は、本実施の形態を実現するためのシステム構成例を示す説明図である。システムとして、文書作成用情報処理装置310、文書DB320、情報画像生成用画像処理装置330、デジタルペン350、書戻用情報処理装置360を含む例を示すが、デジタルペン350が読み取った情報画像内の第2の記入対象情報が、既に読み取られた情報画像内の第1の記入対象情報に対応しているか否かを判断するためには、デジタルペン350があればよい。デジタルペン350が読み取った情報画像内の第2の記入対象情報が、既に読み取られた情報画像内の第1の記入対象情報に対応しているか否かを判断することができるようにする文書を媒体に出力するためには、情報画像生成用画像処理装置330があればよい。
このシステムは、次のような処理を行うものである。電子文書に位置情報(座標情報)を含む情報画像を重畳して印刷し、それを情報画像生成用画像処理装置330で印刷する。それを小型のカメラを内蔵したデジタルペン350で読み取ることで、手書き情報がストローク情報としてデジタルペン内に蓄積される。デジタルペン350をUSBなどでPC等の書戻用情報処理装置360に接続すると、書戻用情報処理装置360内のストローク情報抽出モジュール362、書戻モジュール364がストローク情報をデジタルペン350から抽出し、文書IDから元の電子文書を特定し、その電子文書にストローク情報を書き戻す。また、デジタルペン350は無線通信によってストローク情報を書戻用情報処理装置360に送信してもよい。
【0038】
文書作成用情報処理装置310は、文書作成アプリケーション312、記入対象情報指定モジュール314を有しており、文書DB320、情報画像生成用画像処理装置330と接続されている。
文書作成アプリケーション312は、電子文書を作成し、情報画像生成用画像処理装置330に手書きによる追記の対象となる情報画像合成文書340を印刷させるアプリケーションプログラムである。
【0039】
記入対象情報指定モジュール314は、対象領域又は記入欄に対して第1の記入対象情報又は第2の記入対象情報を指定する。例えば、記入欄・記入対象情報テーブル700を情報画像生成用画像処理装置330へ渡す。そして、情報画像生成用画像処理装置330内の記入対象情報受付モジュール110は、記入欄・記入対象情報テーブル700を受け取る。
図7は、記入欄・記入対象情報テーブル700のデータ構造例を示す説明図である。記入欄・記入対象情報テーブル700は、記入欄ID欄710、記入対象情報欄720を有している。記入欄ID欄710は、
図3に例示するシステムにおいて対象領域又は記入欄を一意に識別するための情報である対象領域ID又は記入欄IDを記憶し、記入対象情報欄720は、その対象領域又は記入欄に対応する第1の記入対象情報又は第2の記入対象情報を記憶する。
【0040】
また、記入対象情報指定モジュール314は、記入欄・記入対象情報テーブル700の代わりに文書・ページ・記入対象情報テーブル800を情報画像生成用画像処理装置330に渡すようにしてもよい。つまり、対象領域又は記入欄としての役割がページ全体になる場合であり、そのページ全体に対して第1の記入対象情報又は第2の記入対象情報を指定していることになる。そして、情報画像生成用画像処理装置330内の記入対象情報受付モジュール110は、文書・ページ・記入対象情報テーブル800を受け取る。
図8は、文書・ページ・記入対象情報テーブル800のデータ構造例を示す説明図である。文書・ページ・記入対象情報テーブル800は、文書ID欄810、ページID欄820、記入対象情報欄830を有している。文書ID欄810は、
図3に例示するシステムにおいて文書を一意に識別するための情報である文書IDを記憶し、ページID欄820は、その文書においてページを一意に識別するための情報であるページIDを記憶し、記入対象情報欄830は、そのページに対応する第1の記入対象情報又は第2の記入対象情報を記憶する。
【0041】
また、記入対象情報指定モジュール314は、記入欄・記入対象情報テーブル700の代わりに文書・記入対象情報テーブル900を情報画像生成用画像処理装置330に渡すようにしてもよい。つまり、対象領域又は記入欄としての役割が文書全体(複数ページある場合はその複数ページ全体)になる場合であり、その文書全体に対して第1の記入対象情報又は第2の記入対象情報を指定していることになる。そして、情報画像生成用画像処理装置330内の記入対象情報受付モジュール110は、文書・記入対象情報テーブル900を受け取る。
図9は、文書・記入対象情報テーブル900のデータ構造例を示す説明図である。文書・記入対象情報テーブル900は、文書ID欄910、記入対象情報欄920を有している。文書ID欄910は、
図3に例示するシステムにおいて文書を一意に識別するための情報である文書IDを記憶し、記入対象情報欄920は、その文書に対応する第1の記入対象情報又は第2の記入対象情報を記憶する。
【0042】
文書作成アプリケーション312は、文書印刷時には、印刷するデバイス名(プリンタ名、情報画像生成用画像処理装置330の名称)を指定して、文書イメージを生成して文書IDと共に記入対象情報指定モジュール314によって指定された第1の記入対象情報又は第2の記入対象情報を情報画像生成用画像処理装置330に渡して、印刷指示を行う。印刷された情報画像には、対象領域又は記入欄毎に第1の記入対象情報又は第2の記入対象情報が埋め込まれている。そして、作成された電子文書を文書DB320に記憶させる。また、対象とする文書の対象領域又は記入欄のレイアウトに関する情報(例えば、文書レイアウトテーブル1000)も情報画像生成用画像処理装置330に渡す。そして、情報画像生成用画像処理装置330内の文書レイアウト受付モジュール120がレイアウトに関する情報を受け取る。
図10は、文書レイアウトテーブル1000のデータ構造例を示す説明図である。文書レイアウトテーブル1000は、記入欄ID欄1010、位置欄1020、高さ欄1030、幅欄1040を有している。記入欄ID欄1010は、対象領域ID又は記入欄IDを記憶する。位置欄1020は、その対象領域又は記入欄の例えば左上の位置を記憶する。高さ欄1030は、その対象領域又は記入欄の高さを記憶する。幅欄1040は、その対象領域又は記入欄の幅を記憶する。
【0043】
文書DB320は、文書作成用情報処理装置310、書戻用情報処理装置360と接続されている。文書DB320は、文書作成アプリケーション312によって作成された電子文書を記憶する。そして、その記憶されている電子文書に、書戻モジュール364によってデジタルペン350による筆記情報が合成される。
【0044】
情報画像生成用画像処理装置330は、文書作成用情報処理装置310と接続されており、
図1の例に示した画像処理装置(画像出力装置)であり、文書作成用情報処理装置310によって作成された電子文書を印刷し、情報画像が合成された情報画像合成文書340を出力する。情報画像合成文書340は、電子文書を印刷して生成される紙文書であって、位置情報が情報画像として重畳されて印刷された紙文書である。なお、情報画像内には、文書ID等が埋め込まれていてもよい。
【0045】
ここで、
図4を用いて、電子文書400と情報画像合成文書450の例を説明する。
図4(a)に例示する電子文書400は、文書作成アプリケーション312によって作成された文書であり、文書DB320に記憶されている。例えば、その内容として問題が記載されており、5個の対象領域である設問領域があり、それぞれの設問領域には、その設問領域に関する情報である第1の記入対象情報が指定されたとする。
図4(b)に例示する情報画像合成文書450は、情報画像生成用画像処理装置330によって印刷された紙文書であり、利用者によるデジタルペン350の操作によって読み込みが行われる。情報画像合成文書450の設問領域452、設問領域454、設問領域456、設問領域458、設問領域460内には、それぞれの第1の記入対象情報が埋め込まれている情報画像が合成されている。また、その情報画像内には、位置情報、文書ID等が埋め込まれていてもよい。そして、背景462には、“ANY”が埋め込まれている情報画像が合成されている。なお、背景462には、情報画像を合成しなくてもよい。
【0046】
ここで、
図5を用いて、電子文書500と情報画像合成文書550の例を説明する。
図5(a)に例示する電子文書500は、
図4(a)に例示した電子文書400に対応する回答が記載されるべき文書であり、文書作成アプリケーション312によって作成された文書であり、文書DB320に記憶されている。例えば、5個の記入領域である回答領域があり、回答欄領域502は設問領域402、回答欄領域504は設問領域404、回答欄領域506は設問領域406、回答欄領域508は設問領域408、回答欄領域510は設問領域410に対応しており、それぞれの設問に対応する回答を記載すべき記入領域である。それぞれの記入領域には、第2の記入対象情報が指定されたとする。
図5(b)に例示する情報画像合成文書550は、
図4(b)に例示した情報画像合成文書450に対応する回答が記載されるべき紙文書であり、情報画像生成用画像処理装置330によって印刷されたものであり、利用者によるデジタルペン350の操作によって書き込みが行われる。情報画像合成文書550の回答欄領域552、回答欄領域554、回答欄領域556、回答欄領域558、回答欄領域560内には、位置情報の他にそれぞれの第2の記入対象情報(もちろんのことながら、情報画像合成文書450内の各欄に合成されている情報画像に埋め込まれている第1の記入対象情報に対応している第2の記入対象情報)も埋め込まれている情報画像が合成されている。また、その情報画像内には、文書ID等が埋め込まれていてもよい。そして、背景562には、少なくとも位置情報が埋め込まれている情報画像が合成されている。なお、背景562に合成される情報画像には、位置情報の他に、“ANY”、文書ID等が埋め込まれている情報画像が合成されていてもよい。また、背景562には、情報画像を合成しなくてもよい。
【0047】
ここで、
図6を用いて、情報画像合成文書(貼付シール)600と情報画像合成文書(保守点検簿)650の例を説明する。
図6(a)に例示する情報画像合成文書(貼付シール)600は、管理すべき機器等に貼り付けられる紙文書であり、文書作成アプリケーション312によって作成され、情報画像生成用画像処理装置330によって印刷されたものである。利用者によるデジタルペン350の操作によって読み込みが行われる。
情報画像合成文書(貼付シール)600内には、第1の記入対象情報が埋め込まれている情報画像が合成されている。また、その情報画像内には、文書ID等が埋め込まれていてもよい。
図6(b)に例示する情報画像合成文書(保守点検簿)650は、
図6(a)に例示した情報画像合成文書(貼付シール)600に対応する点検結果が記載されるべき紙文書であり、文書作成アプリケーション312によって作成され、情報画像生成用画像処理装置330によって印刷されたものであり、その電子文書は文書DB320に記憶されている。利用者によるデジタルペン350の操作によって書き込みが行われる。
情報画像合成文書(保守点検簿)650の記入欄領域652、記入欄領域654、記入欄領域656、記入欄領域658、記入欄領域660内には、位置情報の他に第2の記入対象情報も埋め込まれている情報画像(もちろんのことながら、情報画像合成文書(貼付シール)600内に合成されている情報画像に埋め込まれている第1の記入対象情報に対応している第2の記入対象情報)が合成されている。なお、記入欄領域652〜660内の情報画像には、同じ値の第2の記入対象情報が埋め込まれていてもよいし、情報画像合成文書(貼付シール)600の情報画像に合成されている情報画像に埋め込まれている第1の記入対象情報に対応しているならば、各々の記入欄毎に異なる値の第2の記入対象情報であってもよい。そして、背景662には、少なくとも位置情報が埋め込まれている情報画像が合成されている。なお、背景662に合成される情報画像には、位置情報の他に、“ANY”、文書ID等が埋め込まれている情報画像が合成されていてもよい。また、背景662には、情報画像を合成しなくてもよい。
【0048】
図11は、情報画像の例を示す説明図である。
この例は、米国ゼロックス社のパロアルト研究所で開発された、角度の異なる斜線でデータを表現するグリフコード(例えば、特開平6−103390号公報、特開平6−75795号公報)を情報画像であるコードシンボルとして用いた2次元コードパターン画像である。
【0049】
この例では、単位領域1100は8シンボル×8シンボルの正方形領域である。各シンボルの値は、
図11(b)、
図11(c)に示すように斜線パターンで表現される。この例では、シンボル値0は垂直線に対して反時計回りに45度の角度をなす右下がりの斜線(
図11(b)の例のパターン0)で、シンボル値1は垂直線に対して時計回りに45度の角度をなす右上がりの斜線(
図11(c)の例のパターン1)で表現される。
【0050】
このうち、位置コード画像1102は、単位領域1100の左上隅の6シンボル×6シンボルの正方形の画像であり、識別コード画像1104は、単位領域1100からその6×6シンボルの正方形を引いた残りの逆L字領域の画像となる。
【0051】
また、この例では、単位領域1100の外周に沿って縦横の各方向に、同期コード1106の列及び行を設けている。この例では、同期コード1106は、右上がり(「1」)の斜線シンボルの連続であり、シンボルのサイズと配列ピッチは単位領域1100内のシンボルサイズ及びピッチと同じである。同期コード1106は、縦及び横に等間隔で設けられ、それら同期コード1106で囲まれる正方形領域に各単位領域1100が設けられる。同期コード1106は、各単位領域1100の区切りを示す。すなわち、2次元コードパターン画像を読み取った装置では、右上がりのシンボルが連続している行及び列を検出すると、それら行と列とで形成される格子の網目の内部を単位領域1100と認識することができ、その単位領域1100の左上隅の6×6のシンボルが位置コード画像1102と認識できる。
【0052】
なお、同期コード1106は、単位領域1100又は位置コード画像1102の場所を特定することができるものであれば、
図11に例示したようなものでなくてもよい。例えば、単位領域1100の四隅に斜線シンボルとは異なる特定形状のシンボルを配置したものを同期コード1106としてもよい。
図11の例では、同期コード1106のためにシンボル1つ分の幅の行及び列を使ったが、同期コード1106を構成するマークが十分に小さいものであれば、単位領域1100を隙間なく2次元配列し、隣接する単位領域1100の余白部分にそのマークを配置するようにしてもよい。
【0053】
図11の例では、1つの位置コード画像1102には合計36シンボル、すなわち36ビットのデータが格納されている。36ビットのうち、18ビットをx座標の符号化に、18ビットをy座標の符号化に使用することができる。各18ビットを全て位置の符号化に使用すると、2^18通り(約26万通り)の位置を符号化できる。各斜線パターンが、
図11(b)、
図11(c)の例に示したように8画素×8画素で構成されている場合、600dpi(ドット・パー・インチ)で印刷すると、600dpiの1ドットの縦横の長さは0.0423mmなので、縦横共に、
図11の2次元コード(同期コード1106を含む)の縦、横の長さは3mm程度(=1シンボル当たり8画素×9シンボル×0.0423mm)となる。3mm間隔で26万通りの位置を符号化した場合、約786mの長さを符号化できる。読取の精度がよければ18ビット全てを位置の符号化に使用することもできるが、読取エラーが問題となる場合は、誤り検出や誤り訂正のための冗長ビットを含めることが好適である。18ビットに占める冗長ビットの割合を増やすと誤り検出や誤り訂正の能力が増えるが、表現できる位置の範囲が小さくなる。
【0054】
また、
図11の例では、識別コード画像1104は、2ビット×8ビットの矩形領域及び2ビット×6ビットの矩形領域に配置されており、合計28ビットの識別情報等を格納できる。識別情報等として28ビットを使用した場合は、約2億7千万通り(2^28通り)の識別情報等を表現できるが、28ビットのうちのいくつかのビットを誤り検出や誤り訂正のための冗長ビットとすることで読取エラーに対処できるようにしてもよい。なお、識別情報等とは、本実施の形態では、少なくとも第1の記入対象情報又は第2の記入対象情報を含み、他に文書ID、ページID等を含めてもよい。例えば、用紙を一意的に識別する用紙識別番号等を含めてもよい。1つの用紙の記入欄内に印刷される単位領域1100内の識別コード画像1104は同じものとなる。もちろん、単位領域1100内の位置コード画像1102によって表される位置情報は、その用紙内における位置を示す情報であるので、それぞれの単位領域1100内の位置コード画像1102は異なったものとなる。
【0055】
以上の例では、互いに角度が90度異なる2つの斜線パターンをシンボルとして用いることで、1シンボルで1ビットのデータを表現したが、これは一例にすぎない。例えばシンボルに垂直線と水平線のパターンを追加すれば2ビットの情報を1シンボルで表現できる。このように、1シンボルの斜線パターンの角度種類を増やすことで、1シンボルが表現できるビット数を増加することも可能である。また、グリフコード以外の情報画像を用いてもよい。
【0056】
デジタルペン350(スキャナ付きペン、電子ペンとも言われる)は、利用者による情報画像合成文書340に対する筆記によって、情報画像を読み取り、筆跡をストローク情報として抽出し、書戻用情報処理装置360へ送信する。そして、第2の記入対象情報が第1の記入対象情報に対応しているか否かを判断し、対応していない場合は警告を発すること等を行う。デジタルペン350の構成、処理内容については、
図12以降の図面を用いて後述する。なお、ここでストローク情報とは、情報画像合成文書340に対してデジタルペン350で書き込みを行って得られた座標の系列として表現される情報である。
【0057】
書戻用情報処理装置360は、ストローク情報抽出モジュール362、書戻モジュール364を有しており、文書DB320、デジタルペン350と接続されている。
ストローク情報抽出モジュール362は、情報画像合成文書340に対して書き込まれた筆跡のストローク情報をデジタルペン350から取得する機能を持つ。ストローク情報には書き込まれた情報画像合成文書340の文書ID、ページ番号、ストローク列(位置情報の列)等が含まれる。
文書IDとは、前述したように
図3に例示するシステムにおいて文書を一意に識別するための情報であって、電子文書とそれを印刷した紙文書は同じ文書IDを持つ。手書きによる書き込みの対象となった紙文書を識別して、そのオリジナルの電子文書を特定するために必要とされるものである。なお、第2の記入対象情報が第1の記入対象情報に対応しているか否かを判断するためには、必須の構成ではない。また、電子文書と紙文書の対応関係が特定できれば、別の形態であってもよい。
【0058】
書戻モジュール364は、情報画像合成文書340に対して、デジタルペン350で書き込みが行われたストローク情報を元の電子文書に書き戻しを行うアプリケーションプログラムである。ストローク情報抽出モジュール362から受けたストローク情報を、文書ID、ページIDの情報を基にして電子文書上のストローク情報として反映させる処理を行う。
【0059】
図12は、本実施の形態(画像読取装置(1))の構成例についての概念的なモジュール構成図である。本実施の形態である画像処理装置(画像読取装置(1))は、情報画像が合成された文書を読み取るものであって、
図12の例に示すように、読取モジュール1210、情報画像解析モジュール1220、切替モジュール1215、判断制御モジュール1230、アラームモジュール1240、ストローク情報生成モジュール1250、送信モジュール1260を有している。これらは、
図3に例示したデジタルペン350に収納されている。
【0060】
読取モジュール1210は、情報画像解析モジュール1220と接続されている。読取モジュール1210は、紙等の媒体に出力されており、筆記具による筆記位置を抽出するための情報画像を読み取る。ここでの、紙等の媒体とは、第1の記入対象情報に基づいて生成された情報画像が合成された文書(例えば、
図4(b)に例示の情報画像合成文書450、
図6(a)に例示の情報画像合成文書(貼付シール)600)又は第2の記入対象情報とその文書内の位置を示す位置情報とに基づいて生成された情報画像が合成された文書(例えば、
図5(b)に例示の情報画像合成文書550、
図6(b)に例示の情報画像合成文書(保守点検簿)650)である。前述の例では、情報画像合成文書340における筆記位置の画像を読み取る。後述する
図14に例示の画像読取モジュール1452が該当する。
また、読取モジュール1210が読み取る情報画像には、さらに文書を示す文書情報が含まれていてもよい。
【0061】
切替モジュール1215は、情報画像解析モジュール1220と接続されている。なお、
図12に例示の本実施の形態(画像読取装置(1))では、読取モジュール1210は、同じ読取装置によって、第1の記入対象情報が埋め込まれている情報画像と第2の記入対象情報が埋め込まれている情報画像を読み取っている。そこで、切替モジュール1215は、操作者の操作に応じて、読取モジュール1210が読み取る情報画像を、第1の記入対象情報が埋め込まれている情報画像として読み取るように制御し、又は第2の記入対象情報が埋め込まれている情報画像として読み取るように制御する。例えば、後述する
図14に例示の切替ボタン1454が押されている場合は、読取モジュール1210が読み取る情報画像を、第1の記入対象情報が埋め込まれている情報画像として読み取るように制御し、切替ボタン1454が押されていない場合は、読取モジュール1210が読み取る情報画像を、第2の記入対象情報が埋め込まれている情報画像として読み取るように制御する。
【0062】
情報画像解析モジュール1220は、位置情報抽出モジュール1222、記入対象情報抽出モジュール1224、文書関連情報抽出モジュール1226を有しており、読取モジュール1210、切替モジュール1215、判断制御モジュール1230、ストローク情報生成モジュール1250と接続されている。
位置情報抽出モジュール1222は、読取モジュール1210によって読み取られた情報画像を解析して、位置情報を抽出する。つまり、筆記されている位置情報を抽出することになり、この位置情報を用いて筆記情報としてのストローク情報を生成し得ることとなる。
【0063】
記入対象情報抽出モジュール1224は、読取モジュール1210によって読み取られた情報画像を解析して、情報画像内の識別情報等から第1の記入対象情報又は第2の記入対象情報を抽出する。つまり、切替モジュール1215による制御によって、読取モジュール1210によって読み取られた情報画像を第1の記入対象情報が埋め込まれている情報画像として解析して、第1の記入対象情報を抽出し、読取モジュール1210によって読み取られた情報画像を第2の記入対象情報が埋め込まれている情報画像として解析して、第2の記入対象情報を抽出する。そして、抽出した第1の記入対象情報を判断制御モジュール1230の記入対象情報記憶モジュール1232に渡し、抽出した第2の記入対象情報を判断制御モジュール1230の判断モジュール1234に渡す。
文書関連情報抽出モジュール1226は、読取モジュール1210によって読み取られた情報画像を解析して、情報画像内の識別情報等から文書に関連する情報を抽出する。文書に関連する情報として、例えば、文書情報としての文書ID等がある。
【0064】
判断制御モジュール1230は、情報画像解析モジュール1220、アラームモジュール1240と接続されており、記入対象情報記憶モジュール1232、判断モジュール1234を有している。
記入対象情報記憶モジュール1232は、記入対象情報抽出モジュール1224、判断モジュール1234と接続されている。記入対象情報記憶モジュール1232は、記入対象情報抽出モジュール1224によって抽出された第1の記入対象情報を記憶する。具体的には、記入対象情報記憶モジュール1232は、例えば記入対象情報テーブル1600を記憶する。
図16は、記入対象情報テーブル1600のデータ構造例を示す説明図である。記入対象情報テーブル1600は、記入対象情報A欄1610を有している。記入対象情報A欄1610は、第1の記入対象情報を記憶する。
また、記入対象情報記憶モジュール1232が記憶する第1の記入対象情報は、複数であってもよい。
【0065】
判断モジュール1234は、記入対象情報抽出モジュール1224、記入対象情報記憶モジュール1232と接続されている。判断モジュール1234は、記入対象情報記憶モジュール1232に記憶されている第1の記入対象情報と記入対象情報抽出モジュール1224によって抽出された第2の記入対象情報を比較して、その第2の記入対象情報がその第1の記入対象情報に対応しているか否かを判断する。例えば、
図4(b)に例示の情報画像合成文書450、
図5(b)に例示の情報画像合成文書550を用いて説明すると、読取モジュール1210で情報画像合成文書450の設問領域452を読み取った後に、情報画像合成文書550の回答欄領域552を読み取ったならば、第2の記入対象情報は第1の記入対象情報に対応していると判断する。つまり、記入しようとしている位置又は記入した位置(回答欄領域552)は、その前に読み取った位置(設問領域452)に対応していると判断している。また、読取モジュール1210で情報画像合成文書450の設問領域452を読み取った後に、情報画像合成文書550の回答欄領域554を読み取ったならば、第2の記入対象情報は第1の記入対象情報に対応していないと判断する。つまり、記入しようとしている位置又は記入した位置(回答欄領域554)は、その前に読み取った位置(設問領域452)に対応していないと判断している。
【0066】
対応しているか否かの判断は、前述の(B1)〜(B5)の対応の形態に該当しているか否かを判断すればよい。
例えば、(B1)のように、第1の記入対象情報と第2の記入対象が一致していれば両者は対応していると判断し、異なっていれば両者は対応していないと判断する。
また、(B2)のように、第1の記入対象情報が階層構造を有している場合、第2の記入対象情報がその第1の記入対象情報の下位又は同位に位置していれば対応していると判断し、それ以外ならば両者は対応していないと判断する。
図24は、記入対象情報のデータ構造例を示す説明図である。
図24の例は、問題2400の下位には、問1:2410、問2:2420、問3:2430があり、問1:2410の下位には、問1(1):2411、問1(2):2412、問1(3):2413があり、問2:2420の下位には、問2(1):2421、問2(2):2422があり、問3:2430の下位には、問3(1):2431、問3(2):2432、問3(3):2433があることを示している。このような階層構造を全て記入対象情報記憶モジュール1232に記憶させておくことにより、第2の記入対象情報が第1の記入対象情報に対応しているか否かを判断に用いることができる。例えば、記入対象情報記憶モジュール1232が記憶している第1の記入対象情報が問2:2420であり、記入対象情報抽出モジュール1224が抽出した第2の記入対象情報が問2(1):2421である場合は、第2の記入対象情報が第1の記入対象情報に対応していると判断する。また、記入対象情報抽出モジュール1224が抽出した第2の記入対象情報が問1(3):2413である場合は、第2の記入対象情報が第1の記入対象情報に対応していないと判断する。また、階層構造のうち、階層の違いに関する情報を記入対象情報の一部に用いることにより、第2の記入対象情報が第1の記入対象情報に対応しているか否かの判断に用いることも可能である。
図24では、問題が第1層、問1〜問3が第2層、各問の下の(1)等が第3層の3層構造を有している。ここで、第1層をA、第2層をB、第3層をCと表し、これらの繋がりを記入対象情報として利用するようにしてもよい。この場合、問題のIDは「A」、各問のIDは「A−B」、(1)等のIDは「A−B−C」となる。このような構造の情報を示すIDを利用することによっても、記入対象情報の階層構造の上位・下位関係が明確になるため、第2の記入対象情報が第1の記入対象情報に対応しているか否かの判断に利用し得る。なお、前述のA、B、Cは、各問のIDを用いてもよい。
【0067】
アラームモジュール1240は、判断制御モジュール1230と接続されており、判断モジュール1234によって、第2の記入対象情報が第1の記入対象情報に対応していないと判断された場合に、読取モジュール1210によって読み取られた位置(第2の記入対象情報が埋め込まれている情報画像の位置、筆記しようとしている位置又は筆記した位置)は、その前に読取モジュール1210によって読み取られた位置(第1の記入対象情報が埋め込まれている情報画像の位置)に対応していない旨の警告を発する。例えば、スピーカー、光源、振動装置等が含まれていてもよい。発する警告の態様としては、音(警告音、音声による注意等)、光(光源の点滅、予め定められた色の出力等)、振動等であってもよい。
判断モジュール1234が行う判断及びアラームモジュール1240が警告を発するときは、実際に筆記が行われているか否かには関係しない。筆記を行う前に読取モジュール1210が情報画像を読み取った場合は、筆記が行われる前に警告を発することもあるし、筆記を行っている途中で読取モジュール1210が情報画像を読み取った場合は、筆記が行われているときに警告を発することとなる。
また、警告の終了は、警告を発してから予め定められた時間後であってもよいし、判断モジュール1234によって、読取モジュール1210によって読み取られた位置に対して第2の記入対象情報が第1の記入対象情報に対応していると判断するまでとしてもよいし、操作者によって警告を強制的に終了させる操作があるまでとしてもよい。
【0068】
また、アラームモジュール1240は、判断モジュール1234によって、第2の記入対象情報が第1の記入対象情報に対応していないと判断された場合に、そのデジタルペンによる筆記を行わせないよう制御するようにしてもよい。例えば、デジタルペンのペン先を収納する機構を有しており、デジタルペンが適していないと判断された場合は、ペン先を収納して筆記できないように制御してもよい。また、デジタルペンの筆記機構としてインクジェット式を採用した場合は、デジタルペンが適していないと判断された場合は、そのインクジェットによるインクの噴射を中止して筆記できないように制御してもよい。
【0069】
また、アラームモジュール1240は、判断モジュール1234によって、第2の記入対象情報が第1の記入対象情報に対応していないと判断された場合に、送信モジュール1260に位置情報抽出モジュール1222によって抽出された位置情報を出力しないよう制御するようにしてもよい。例えば、送信モジュール1260に位置情報を出力しないように制御するとは、位置情報抽出モジュール1222に位置情報を抽出させないようにしてもよいし、位置情報抽出モジュール1222によって抽出された位置情報を記憶させないようにしてもよいし、ストローク情報生成モジュール1250によるストローク情報を生成させないようにしてもよいし、送信モジュール1260による送信を行わせないようにしてもよい。
また、アラームモジュール1240は、警告、デジタルペンによる筆記を行わせないように制御すること、位置情報を出力しないように制御すること、いずれか2つ以上を組み合わせてもよい。
【0070】
ストローク情報生成モジュール1250は、情報画像解析モジュール1220、送信モジュール1260と接続されている。ストローク情報生成モジュール1250は、位置情報抽出モジュール1222によって抽出された位置情報、文書関連情報抽出モジュール1226によって抽出された文書関連情報に基づいて、ストローク情報を生成する。例えば、ストローク情報テーブル1500を生成するようにしてもよい。
図15は、ストローク情報テーブル1500のデータ構造例を示す説明図である。ストローク情報テーブル1500は、文書ID欄1510、X座標欄1520、Y座標欄1530を有している。文書ID欄1510は、文書関連情報抽出モジュール1526によって抽出された文書関連情報である文書IDを記憶する。X座標欄1520、Y座標欄1530は、位置情報抽出モジュール1522によって抽出された位置情報であるX座標、Y座標を記憶する。
【0071】
送信モジュール1260は、ストローク情報生成モジュール1250と接続されている。送信モジュール1260は、ストローク情報生成モジュール1250によって生成されたストローク情報を前述の書戻用情報処理装置360に送信する。なお、生成されたストローク情報は図示しないストローク情報記憶モジュールに蓄積され、画像読取装置(デジタルペン350)と書戻用情報処理装置360が接続された際に、送信モジュール1260が、ストローク情報記憶モジュールに蓄積されたストローク情報を書戻用情報処理装置360に送信する構成としてもよい。
【0072】
図13は、本実施の形態(画像読取装置(1))による処理例(1)を示すフローチャートである。
ステップS1302では、読取モジュール1210が、情報画像を読み取る。例えば、
図4(b)に例示の情報画像合成文書450内の設問領域452等に合成されている情報画像である。
ステップS1304では、記入対象情報抽出モジュール1224が、記入対象情報A(第1の記入対象情報)を抽出する。
ステップS1306では、情報画像解析モジュール1220が、切替モジュール1215による切り替えを検知したか否かを判断し、切り替えを検知した場合はステップS1308へ進み、それ以外の場合はステップS1302からの処理を行う。
ステップS1308では、読取モジュール1210が、情報画像を読み取る。例えば、
図5(b)に例示の情報画像合成文書550内の回答欄領域552等に合成されている情報画像である。
ステップS1310では、文書関連情報抽出モジュール1226が、文書ID等を抽出する。
ステップS1312では、記入対象情報抽出モジュール1224が、記入対象情報B(第2の記入対象情報)を抽出する。
【0073】
ステップS1314では、判断モジュール1234が、記入対象情報Aと記入対象情報Bは対応しているか否かを判断し、対応している場合はステップS1318へ進み、それ以外の場合はステップS1316へ進む。
ステップS1316では、アラームモジュール1240が、記入しようとしている欄は適切な欄ではないことを示すアラームを発生する。
ステップS1318では、位置情報抽出モジュール1222が、位置情報を抽出する。
ステップS1320では、ストローク情報生成モジュール1250が、ストローク情報を生成する。
ステップS1322では、送信モジュール1260が、ストローク情報を送信する。
【0074】
図14は、デジタルペン(1)の構造例を示す説明図である。デジタルペン350は、芯1451、画像読取モジュール1452、制御・送信モジュール1453、切替ボタン1454を有している。
図12に例示した読取モジュール1210は画像読取モジュール1452によって実現され、情報画像解析モジュール1220、判断制御モジュール1230、アラームモジュール1240、ストローク情報生成モジュール1250、送信モジュール1260は、制御・送信モジュール1453によって実現され、切替モジュール1215は、切替ボタン1454、制御・送信モジュール1453によって実現される。
【0075】
デジタルペン350の操作者の操作に応じて、芯1451によって情報画像合成文書340上に文字等が筆記される。そして、画像読取モジュール1452は、例えば数十〜百数十フレーム毎秒程度の比較的高速な連続撮像を行い、フレーム毎にスキャンしてから読取画像を制御・送信モジュール1453へ出力する。制御・送信モジュール1453は、画像読取モジュール1452が読み取った画像中から同期コード1106を検出する。
図11の例のようなコードパターン画像の場合、右上がりの斜線パターンが連続して現れる行及び列を同期コード1106の行、列として検出する。なお、同期コードとしては
図11に例示したもの以外にも従来から提案されている様々なものを用いることができ、その同期コードの種類に応じた従来からある検出方式で検出できる。
切替ボタン1454が操作者の操作によって押されている場合に、画像読取モジュール1452が読み込んだ情報画像には、第1の記入対象情報が埋め込まれているとして処理を行う。また、切替ボタン1454に対して何も操作がされていない場合に、画像読取モジュール1452が読み込んだ情報画像には、第2の記入対象情報が埋め込まれているとして処理を行う。
【0076】
読取画像から、位置コード画像1102と識別コード画像1104とが抽出される。制御・送信モジュール1453は、それら位置コード画像1102と識別コード画像1104に対してコード認識処理を施すことで、位置情報と識別情報等(第1の記入対象情報、第2の記入対象情報等が含まる)を再生する。ここで行われるコード認識処理は、大略的にいえば、情報画像の生成処理の逆の処理である。識別コード画像1104を代表として説明すると、制御・送信モジュール1453は、まず識別コード画像1104から各斜線シンボルを認識することで、各シンボルの値を求め、各シンボルの値を識別コード画像1104中での各シンボルの配列位置に合わせて配列した識別コード行列を求める。そして、この識別コード行列に対し、直列的(シリアル)な識別コードを求め、この識別コードに対し、符号化方式に対応した復号処理を施すことで、識別情報を復号する。位置コード画像1102についても、同等の処理により、位置情報を復号できる。1フレーム毎に前述の抽出及び認識の処理を行い、位置情報及び識別情報等を求める。
【0077】
このようにして各フレームの読取画像から求められた位置情報及び識別情報等は、これら情報を利用する書戻用情報処理装置360に提供され、利用される。例えば、情報画像が印刷された用紙に対し、操作者がデジタルペン350で書き込んだ筆記跡を電子情報として取り込む書戻用情報処理装置360の場合、識別情報からその用紙を特定してその用紙の原文書を取得し、連続して読み取られる各フレームから取得した位置情報から操作者の筆記の軌跡を求め、その軌跡を示す画像を原文書に重畳して記録するなどの処理を行う。
【0078】
図17は、本実施の形態(画像読取装置(1))による別の処理例(2)を示すフローチャートである。これは、アラームモジュール1240が、位置情報を記憶させないように制御し、警告を発する処理例を示している。
ステップS1702では、読取モジュール1210が、情報画像を読み取る。
ステップS1704では、記入対象情報抽出モジュール1224が、記入対象情報A(第1の記入対象情報)を抽出する。
ステップS1706では、情報画像解析モジュール1220が、切替モジュール1215による切り替えを検知したか否かを判断し、切り替えを検知した場合はステップS1708へ進み、それ以外の場合はステップS1702からの処理を行う。
ステップS1708では、読取モジュール1210が、情報画像を読み取る。
ステップS1710では、文書関連情報抽出モジュール1226が、文書ID等を抽出する。
ステップS1712では、位置情報抽出モジュール1222が、位置情報を抽出する。
【0079】
ステップS1714では、記入対象情報抽出モジュール1224が、記入対象情報B(第2の記入対象情報)を抽出する。
ステップS1716では、判断モジュール1234が、記入対象情報Aと記入対象情報Bは対応しているか否かを判断し、対応している場合はステップS1722へ進み、それ以外の場合はステップS1718へ進む。
ステップS1718では、アラームモジュール1240が、位置情報を記憶させない。
ステップS1720では、アラームモジュール1240が、記入しようとしている欄は適切な欄ではないことを示すアラームを発生する。
ステップS1722では、位置情報抽出モジュール1222が、位置情報を記憶する。
ステップS1724では、ストローク情報生成モジュール1250が、ストローク情報を生成する。
ステップS1726では、送信モジュール1260が、ストローク情報を送信する。
【0080】
図18は、本実施の形態(画像読取装置(1))による別の処理例(3)を示すフローチャートである。背景領域にある情報画像に、第1の記入対象情報として“ANY”が埋め込まれている場合の処理例を示すものであり、第1の記入対象情報が“ANY”であれば、第2の記入対象情報が第1の記入対象情報に対応しているか否かの判断をせずに、位置情報を読み込むものである。
図13に例示するフローチャートのステップS1312又は
図17に例示するフローチャートのステップS1714の次に位置する処理である。
ステップS1802では、判断モジュール1234が、記入対象情報A(第1の記入対象情報)は“ANY”であるか否かを判断し、“ANY”である場合は、
図13に例示のステップS1318又は
図17に例示のステップS1722へ進み、それ以外の場合は
図13に例示のステップS1314又は
図17に例示のステップS1716へ進む。
【0081】
図19は、本実施の形態(画像読取装置(1))による別の処理例(4)を示すフローチャートである。背景領域にある情報画像に、第1の記入対象情報として“ANY”が埋め込まれている場合の処理例を示すものであり、第1の記入対象情報が“ANY”であって、第2の記入対象情報が“ANY”又は無い場合は、第2の記入対象情報が第1の記入対象情報に対応しているか否かの判断をせずに、位置情報を読み込むものである。結局、第1の記入対象情報と第2の記入対象情報の両者が“ANY”である場合は、両者は対応していると判断していることになり、第2の記入対象情報が無い場合(情報画像が無い場合も含む)も、両者は対応していると判断していることになる。
図13に例示するフローチャートのステップS1312又は
図17に例示するフローチャートのステップS1714の次に位置する処理である。
ステップS1902では、判断モジュール1234が、記入対象情報A(第1の記入対象情報)は“ANY”であるか否かを判断し、“ANY”である場合は、ステップS1904へ進み、それ以外の場合は
図13に例示のステップS1314又は
図17に例示のステップS1716へ進む。
ステップS1904では、判断モジュール1234が、記入対象情報B(第2の記入対象情報)は“ANY”又は無いか否かを判断し、“ANY”又は無い場合は
図13に例示のステップS1318又は
図17に例示のステップS1722へ進み、それ以外の場合は
図13に例示のステップS1316又は
図17に例示のステップS1718へ進む。
【0082】
なお、前述の本実施の形態(画像読取装置(1))では、第1の記入対象情報が埋め込まれている情報画像及び第2の記入対象情報が埋め込まれている情報画像の両方を読取モジュール1210(画像読取モジュール1452)が読み取る。このため、現在デジタルペン350がいずれの情報画像を読み取るべき状態であるかを利用者に知らせるようにしてもよい。例えば、アラームモジュール1240が第1の記入対象情報が埋め込まれている情報画像を読み取るべき状態又は第2の記入対象情報が埋め込まれている情報画像を読み取るべき状態であることを音、光、振動等で提示するようにしてもよい。
また、前述の本実施の形態(画像読取装置(1))では、第1の記入対象情報が埋め込まれている情報画像又は第2の記入対象情報が埋め込まれている情報画像の両方を読取モジュール1210(画像読取モジュール1452)が読み取ることを前提としているが、記入対象情報による制御を行うモードと記入対象情報による制御が不要な読み取りを行うモード(通常の読み取りモード)の両方ができるようにしてもよい。そして、アラームモジュール1240がいずれのモードであるかを、音、光(例えば、LEDが前者のモードの場合は赤の点灯、後者のモードの場合は緑の点灯)、振動等で提示するようにしてもよい。この2つのモードの切替は、切替ボタン1454と同様の設定用のボタンをデジタルペン350に設けてもよいし、予め定められた情報が埋め込まれている情報画像を読み込んだ場合は、前者のモード又は後者のモードに切り替えるようにしてもよい。
【0083】
図20は、本実施の形態(画像読取装置(2))の構成例についての概念的なモジュール構成図である。
図12に例示の画像読取装置(1)と異なり、情報画像を読み取る読取モジュールが2つあり、切替モジュール1215を不要としたものである。一方の読取モジュールは第1の記入対象情報が埋め込まれている情報画像を読み取るものであり、他方の読取モジュールは第2の記入対象情報が埋め込まれている情報画像を読み取るものである。
本実施の形態である画像処理装置(画像読取装置(2))は、情報画像が合成された文書を読み取るものであって、
図20の例に示すように、読取Aモジュール2010A、読取Bモジュール2010B、情報画像解析モジュール2020、記入対象情報抽出Aモジュール2024A、判断制御モジュール2030、アラームモジュール2040、ストローク情報生成モジュール2050、送信モジュール2060を有している。これらは、後述する
図23に例示したデジタルペン350、読取装置2300に収納されている。
【0084】
読取Aモジュール2010Aは、記入対象情報抽出Aモジュール2024Aと接続されている。読取Aモジュール2010Aは、紙等の媒体に出力されている情報画像を読み取る。ここでの、紙等の媒体とは、第1の記入対象情報に基づいて生成された情報画像が合成された文書(例えば、
図4(b)に例示の情報画像合成文書450、
図6(a)に例示の情報画像合成文書(貼付シール)600)である。後述する
図23に例示の画像読取モジュール2310が該当する。
また、読取Aモジュール2010Aが読み取る情報画像には、さらに文書を示す文書情報が含まれていてもよい。
【0085】
記入対象情報抽出Aモジュール2024Aは、読取Aモジュール2010A、記入対象情報記憶モジュール2032と接続されている。記入対象情報抽出Aモジュール2024Aは、読取Aモジュール2010Aによって読み取られた情報画像を解析して、情報画像内の識別情報等から第1の記入対象情報を抽出する。そして、抽出した第1の記入対象情報を判断制御モジュール2030の記入対象情報記憶モジュール2032に渡す。
【0086】
読取Bモジュール2010Bは、情報画像解析モジュール2020と接続されている。読取Bモジュール2010Bは、紙等の媒体に出力されており、筆記具による筆記位置を抽出するための情報画像を読み取る。ここでの、紙等の媒体とは、第2の記入対象情報とその文書内の位置を示す位置情報とに基づいて生成された情報画像が合成された文書(例えば、
図5(b)に例示の情報画像合成文書550、
図6(b)に例示の情報画像合成文書(保守点検簿)650)である。前述の例では、情報画像合成文書340における筆記位置の画像を読み取る。後述する
図23に例示の画像読取モジュール1452が該当する。
また、読取Bモジュール2010Bが読み取る情報画像には、さらに文書を示す文書情報が含まれていてもよい。
また、読取Bモジュール2010Bが読み取る情報画像には、さらに文書を示す文書情報が含まれていてもよい。
【0087】
情報画像解析モジュール2020は、読取Bモジュール2010B、判断制御モジュール2030、ストローク情報生成モジュール2050と接続されており、位置情報抽出モジュール2022、記入対象情報抽出Bモジュール2024B、文書関連情報抽出モジュール2026を有している。
位置情報抽出モジュール2022は、読取Bモジュール2010Bによって読み取られた情報画像を解析して、位置情報を抽出する。つまり、筆記されている位置情報を抽出することになり、この位置情報を用いて筆記情報としてのストローク情報を生成し得ることとなる。
記入対象情報抽出Bモジュール2024Bは、判断モジュール2034と接続されている。記入対象情報抽出Bモジュール2024Bは、読取Bモジュール2010Bによって読み取られた情報画像を解析して、情報画像内の識別情報等から第2の記入対象情報を抽出する。そして、抽出した第2の記入対象情報を判断制御モジュール2030の判断モジュール2034に渡す。
文書関連情報抽出モジュール2026は、読取Bモジュール2010Bによって読み取られた情報画像を解析して、情報画像内の識別情報等から文書に関連する情報を抽出する。文書に関連する情報として、例えば、文書情報としての文書ID等がある。
【0088】
判断制御モジュール2030は、記入対象情報記憶モジュール2032、判断モジュール2034を有している。
記入対象情報記憶モジュール2032は、記入対象情報抽出Aモジュール2024A、判断モジュール2034と接続されている。記入対象情報記憶モジュール2032は、記入対象情報抽出Aモジュール2024Aによって抽出された第1の記入対象情報を記憶する。具体的には、記入対象情報記憶モジュール2032は、例えば記入対象情報テーブル1600を記憶する。
また、記入対象情報記憶モジュール2032が記憶する第1の記入対象情報は、複数であってもよい。
【0089】
判断モジュール2034は、記入対象情報抽出Bモジュール2024B、記入対象情報記憶モジュール2032、アラームモジュール2040と接続されている。判断モジュール2034は、記入対象情報記憶モジュール2032に記憶されている第1の記入対象情報と記入対象情報抽出Bモジュール2024Bによって抽出された第2の記入対象情報を比較して、その第2の記入対象情報がその第1の記入対象情報に対応しているか否かを判断する。前述の
図12に例示の判断モジュール1234と同等の処理を行う。
【0090】
アラームモジュール2040は、判断モジュール2034と接続されている。前述の
図12に例示のアラームモジュール1240と同等の処理を行う。
ストローク情報生成モジュール2050は、情報画像解析モジュール2020、送信モジュール2060と接続されている。前述の
図12に例示のストローク情報生成モジュール1250と同等の処理を行う。
送信モジュール2060は、ストローク情報生成モジュール2050と接続されている。前述の
図12に例示の送信モジュール1260と同等の処理を行う。
【0091】
図21は、本実施の形態(画像読取装置(2))の読取装置2300による処理例(1)を示すフローチャートである。
ステップS2102では、読取Aモジュール2010Aが、情報画像を読み取る。
ステップS2104では、記入対象情報抽出Aモジュール2024Aが、記入対象情報A(第1の記入対象情報)を抽出する。
ステップS2106では、記入対象情報抽出Aモジュール2024Aが、記入対象情報A(第1の記入対象情報)をデジタルペン350に送信する。
【0092】
図22は、本実施の形態(画像読取装置(3))のデジタルペン350による処理例(1)を示すフローチャートである。
ステップS2202では、判断制御モジュール2030が、記入対象情報A(第1の記入対象情報)を受信する。
ステップS2204では、記入対象情報記憶モジュール2032が、記入対象情報A(第1の記入対象情報)を記憶する。
ステップS2206では、読取Bモジュール2010Bが、情報画像を読み取る。
ステップS2208では、文書関連情報抽出モジュール2026が、文書ID等を抽出する。
ステップS2210では、記入対象情報抽出Bモジュール2024Bが、記入対象情報B(第2の記入対象情報)を抽出する。
【0093】
ステップS2212では、判断モジュール2034が、記入対象情報A(第1の記入対象情報)と記入対象情報B(第2の記入対象情報)は対応しているか否かを判断し、対応している場合はステップS2216へ進み、それ以外の場合はステップS2214へ進む。
ステップS2214では、アラームモジュール2040が、記入しようとしている欄は適切な欄ではないことを示すアラームを発生する。
ステップS2216では、位置情報抽出モジュール2022が、位置情報を抽出する。
ステップS2218では、ストローク情報生成モジュール2050が、ストローク情報を生成する。
ステップS2220では、送信モジュール2060が、ストローク情報を送信する。
【0094】
図23は、デジタルペン(2)の構造例を示す説明図である。読取装置2300は、画像読取モジュール2310、制御・送信モジュール2320を有しており、デジタルペン350は、芯1451、画像読取モジュール1452、制御・送信モジュール1453を有しており、読取装置2300とデジタルペン350は接続ケーブル2330によって接続されている。
図20に例示した読取Aモジュール2010Aは画像読取モジュール2310によって実現され、記入対象情報抽出Aモジュール2024Aは制御・送信モジュール2320によって実現され、読取Bモジュール2010Bは画像読取モジュール1452によって実現され、情報画像解析モジュール2020、判断制御モジュール2030、アラームモジュール2040、ストローク情報生成モジュール2050、送信モジュール2060は、制御・送信モジュール1453によって実現される。
図14に例示のデジタルペン350と比較すると、デジタルペン350には切替ボタン1454の構成が無い。画像読取モジュール1452、制御・送信モジュール1453は、
図14に例示のものと同等の処理を行う。
例えば、操作者は、左手に読取装置2300、右手にデジタルペン350を持ち、読取装置2300で情報画像合成文書2390(例えば、
図4(b)に例示の情報画像合成文書450)を読み取らせ、デジタルペン350で情報画像合成文書340(例えば、
図5(b)に例示の情報画像合成文書550)を読み取らせる。一般的には、読取装置2300で読み取った後に、デジタルペン350で読み取る操作を行うが、読取装置2300で読み取っている最中にデジタルペン350で読み取る操作を行ってもよい。
【0095】
画像読取モジュール2310は、制御・送信モジュール2320と接続されており、デジタルペン350の画像読取モジュール1452と同等の処理を行う。ただし、画像読取モジュール2310が読み込む情報画像合成文書2390に合成されている情報画像には第1の記入対象情報が埋め込まれている。
制御・送信モジュール2320は、画像読取モジュール2310が読み取った情報画像から第1の記入対象情報を抽出し、その第1の記入対象情報をデジタルペン350の制御・送信モジュール1453に送信する。
デジタルペン350の制御・送信モジュール1453と読取装置2300の制御・送信モジュール2320は、接続ケーブル2330により接続されている。画像読取モジュール1452が読み込む情報画像合成文書340に合成されている情報画像には第2の記入対象情報が埋め込まれている。制御・送信モジュール1453は、読取装置2300の制御・送信モジュール2320から第1の記入対象情報を受信する。
【0096】
図25を参照して、本実施の形態の画像処理装置(画像出力装置、文書作成用情報処理装置310、書戻用情報処理装置360、画像読取装置)のハードウェア構成例について説明する。
図25に示す構成は、例えばパーソナルコンピュータ(PC)などによって構成されるものであり、スキャナ等のデータ読み取り部2517と、プリンタなどのデータ出力部2518を備えたハードウェア構成例を示している。なお、画像読取装置としてのデジタルペン350は、
図25に例示している画像処理装置のサブセット、つまり、CPU2501、ROM(Read Only Memory)2502、RAM2503、データ読み取り部2517(画像読取モジュール1452に該当)、通信部2516(制御・送信モジュール1453の一部に該当)、これらを接続するバス等によって構成されている。
【0097】
CPU2501は、前述の実施の形態において説明した各種のモジュール、すなわち、記入対象情報受付モジュール110、文書レイアウト受付モジュール120、文書受付モジュール130、情報画像生成モジュール140、情報画像合成モジュール150、文書作成アプリケーション312、記入対象情報指定モジュール314、ストローク情報抽出モジュール362、書戻モジュール364等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。
【0098】
ROM2502は、CPU2501が使用するプログラムや演算パラメータ等を格納する。RAM(Random Access Memory)2503は、CPU2501の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはCPUバスなどから構成されるホストバス2504により相互に接続されている。
【0099】
ホストバス2504は、ブリッジ2505を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス2506に接続されている。
【0100】
キーボード2508、マウス等のポインティングデバイス2509は、操作者により操作される入力デバイスである。ディスプレイ2510は、液晶表示装置又はCRT(Cathode Ray Tube)などがあり、各種情報をテキストやイメージ情報として表示する。
【0101】
HDD(Hard Disk Drive)2511は、ハードディスクを内蔵し、ハードディスクを駆動し、CPU2501によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、受け付けた電子文書、情報画像、情報画像が合成された電子文書、文書IDなどが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
【0102】
ドライブ2512は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体2513に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース2507、外部バス2506、ブリッジ2505、及びホストバス2504を介して接続されているRAM2503に供給する。リムーバブル記録媒体2513も、ハードディスクと同様のデータ記録領域として利用可能である。
【0103】
接続ポート2514は、外部接続機器2515を接続するポートであり、USB、IEEE1394等の接続部を持つ。接続ポート2514は、インタフェース2507、及び外部バス2506、ブリッジ2505、ホストバス2504等を介してCPU2501等に接続されている。通信部2516は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部2517は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部2518は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
【0104】
なお、
図25に示す画像処理装置のハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、
図25に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えば特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに
図25に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)などに組み込まれていてもよい。
【0105】
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray Disc(登録商標))、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。