特許 5697148 マウススキャナシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5697148

(24)【登録日】2015年2月20日

(45)【発行日】2015年4月8日

(54)【発明の名称】マウススキャナシステム

(51)【国際特許分類】

   H04N 1/107 20060101AFI20150319BHJP

   G06K 9/22 20060101ALI20150319BHJP

   G06T 1/00 20060101ALI20150319BHJP

【ＦＩ】

   H04N1/04 A

   G06K9/22

   G06T1/00 420P

【請求項の数】9

【全頁数】15

(21)【出願番号】特願2011-93495(P2011-93495)

(22)【出願日】2011年4月19日

(65)【公開番号】特開2012-226547(P2012-226547A)

(43)【公開日】2012年11月15日

【審査請求日】2014年4月14日

【早期審査対象出願】

(73)【特許権者】

【識別番号】598149378

【氏名又は名称】中山 光雄

(74)【代理人】

【識別番号】100081961

【弁理士】

【氏名又は名称】木内 光春

(72)【発明者】

【氏名】曽根 清

(72)【発明者】

【氏名】遠山 洋一

(72)【発明者】

【氏名】中山 光雄

【審査官】 宮島 潤

(56)【参考文献】

【文献】 国際公開第００／２６８５１（ＷＯ，Ａ１）

【文献】 特開平１１−３４５０７４（ＪＰ，Ａ）

【文献】 特開平１１−１８７３６３（ＪＰ，Ａ）

【文献】 特開２００１−１０５７８６（ＪＰ，Ａ）

【文献】 特開平５−６４１７１（ＪＰ，Ａ）

【文献】 特開２００４−３３４８６１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／０４ − １／２０７

Ｇ０６Ｆ ３／０３３ − ３／０３９

Ｇ０６Ｋ ９／１８ − ９／４４

Ｇ０６Ｋ ９／５４ − ９／６０

Ｇ０６Ｔ １／００

Ｇ０６Ｆ ３／０３３ − ３／０３９

Ｈ０４Ｎ ７／００ − ７／０８８

(57)【特許請求の範囲】

【請求項1】

光学系により読み込んだ画像データに画像処理を施し、パーソナルコンピュータに送信することで画面上に表示させるスキャナ機能を、当該パーソナルコンピュータのポインティングデバイスに備えたマウススキャナと、当該マウススキャナの画像処理を制御する制御装置と、を有するマウススキャナシステムであって、
前記マウススキャナは、
任意の領域に存在する画像情報をスキャニングすることで画像データとして取り込むイメージセンサを備え、ピクセルクロックと同期信号を出力する撮像手段と、
前記画像情報の画像の位置情報を位置データとして取り込む位置センサと、
前記ピクセルクロック及び前記同期信号から検出される前記撮像手段のシャッタの動作を基準として前記位置センサにより取り込まれた前記位置データをラッチするラッチ回路と、
前記画像データ中で前記パーソナルコンピュータの画面上に表示されない画素に、前記ラッチ回路によりラッチされた前記位置データを書き込むデータ書込部と、
を有することを特徴とするマウススキャナシステム。

【請求項2】

前記制御装置は、
前記撮像手段からの同期信号及びピクセルクロックにより、シャッタが開くタイミングを検出するシャッタタイミング検出手段と、
前記シャッタタイミング検出手段により検出された前記撮像手段のシャッタが開くタイミングで、前記ラッチ回路に対して、前記位置データをラッチするよう指令を下すラッチ手段と、
前記データ書込部に対する接続を、前記画像データ中で前記パーソナルコンピュータの画面上に表示されない画素に対応する所定のタイミングで、前記イメージセンサ側から前記位置センサ側に切り替えるよう指令を下す切り替え手段と、を有し、
前記データ書込部は、前記切り換え手段により接続が前記位置センサ側に切り替えられると、前記画像データ中で前記パーソナルコンピュータの画面上に表示されない画素に、前記ラッチ回路によりラッチされた前記位置データを書き込むことを特徴とする請求項１に記載のマウススキャナシステム。

【請求項3】

光学系により読み込んだ画像データに画像処理を施し、パーソナルコンピュータに送信することで画面上に表示させるスキャナ機能を、当該パーソナルコンピュータのポインティングデバイスに備えたマウススキャナと、
当該マウススキャナの画像処理を制御する制御装置と、
を有するマウススキャナシステムであって、
前記マウススキャナは、
任意の領域に存在する画像情報をスキャニングすることで画像データとして取り込むイメージセンサと、
音声情報を音声データとして読み込む音声読取部と、
前記音声読取部により読み込まれた前記音声データをラッチするラッチ回路と、
前記画像データ中で前記パーソナルコンピュータの画面上に表示されない画素に、前記ラッチ回路によりラッチされた前記音声データを書き込むデータ書込部と、
を有し、
前記画像データは文字データを含み、
前記イメージセンサにより取り込まれた画像データから文字データを認識する文字認識処理部と、
前記ラッチ回路を介して前記音声読取部から読み取った音声データを文字データにテキスト変換するテキスト変換部と、
前記文字認識処理部により認識した文字データと前記テキスト変換部により変換された文字データとを照合し、一致する文字データを前記パーソナルコンピュータに出力する照合部と、
を有することを特徴とするマウススキャナシステム。

【請求項4】

前記制御装置は、
前記イメージセンサを備える撮像手段からの同期信号及びピクセルクロックにより、シャッタが開くタイミングを検出するシャッタタイミング検出手段と、
前記シャッタタイミング検出手段により検出された前記撮像手段のシャッタが開くタイミングで、前記ラッチ回路に対して、前記音声データをラッチするよう指令を下すラッチ手段と、
前記データ書込部に対する接続を、前記画像データ中で前記パーソナルコンピュータの画面上に表示されない画素に対応する所定のタイミングで、前記イメージセンサ側から前記音声読取部側に切り替えるよう指令を下す切り替え手段と、を有し、
前記データ書込部は、前記切り換え手段により接続が前記音声読取部側に切り替えられると、前記画像データ中で前記パーソナルコンピュータの画面上に表示されない画素に、前記ラッチ回路によりラッチされた前記音声データを書き込むことを特徴とする請求項３に記載のマウススキャナシステム。

【請求項5】

前記制御装置は、
前記文字認識処理部に対して文字認識指令を下す文字認識手段と、
前記テキスト変換部に対してテキスト変換指令を下すテキスト変換手段と、
前記文字認識処理部において文字認識処理が実行され、かつ、前記テキスト変換部においてテキスト変換処理が実行されると、前記照合部に対して文字データの照合指令を下す照合手段と、を有し、
前記照合部は、前記照合手段により照合指令が送られると、前記文字認識処理部により認識した文字データと前記テキスト変換部により変換された文字データとを照合することを特徴とする請求項３に記載のマウススキャナシステム。

【請求項6】

前記データ書込部は、前記画像データ中で前記パーソナルコンピュータの画面上に表示されない画素に、前記ラッチ回路によりラッチされた位置データ又は音声データを、明暗データ又は色データの形で書き込むことを特徴とする請求項１又は３に記載のマウススキャナシステム。

【請求項7】

前記データ書込部は、前記色データとした位置データを、対応する色データ数値に変換し、画像データに書き込むことを特徴とする請求項６に記載のマウススキャナシステム。

【請求項8】

前記画像データ中で前記パーソナルコンピュータの画面上に表示されない画素は、帰線区間、有効表示区間のうち画面に表示されない部分、表示画像が重畳されていない偶数フィールド又は奇数フィールドのいずれかであることを特徴とする請求項１〜７のいずれか１項に記載のマウススキャナシステム。

【請求項9】

前記パーソナルコンピュータは、前記制御装置を有することを特徴とする請求項１〜８のいずれか１項に記載のマウススキャナシステム。

【発明の詳細な説明】

【技術分野】

【0001】

取り込む画像データ内に当該画像の位置データ又は音声データを重畳することで、当該画像データと位置データ又は音声データを同期可能なマウススキャナシステムに関する。

【背景技術】

【0002】

近年、紙面等の画像情報を連続的に読み込み電子化することで、画面上に画像データとして出力するスキャナとして、撮像素子をマウスに取り込むことで、画像情報の読み込みと同時に、マウスの移動に伴う位置情報を認識するマウススキャナが開発されている。

【0003】

例えば、マウススキャナに搭載したセンサにより、読み込む画像情報と当該センサの位置情報をシリアルデータとしてインタフェース部に出力する発明が提案されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】ＷＯ００／２６８５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、マウススキャナでは、紙面等からの画像情報の取り込みと、マウスの位置情報と、が同時に認識される必要があり、認識時にズレが生じると、画面等に出力する合成データに誤差が生じ、走査精度に影響する。特に、画像情報と位置情報の処理速度が異なる場合には、出力する画像データと位置データの合成データにおいても、その速度差に応じた位置誤差が生じてしまう。マウススキャナにより高速スキャニングを行う際に、この誤差は顕著に表れる。

【0006】

なお、この誤差を抑制するために、画像情報及び位置情報の処理速度自体を高速にする方法が挙がるが、大容量の高度な画像処理を実行する場合にはスキャニングの高速化は期待できず、逆に当該マウススキャナの使用に際し支障が生じる。

【0007】

本発明は、上記のような課題を解消するために提案されたものであって、その目的は、スキャニングの対象となる画像情報と当該画像の位置情報とを同時に取得し、画像情報を読み込んだ画像データ内の所定の画素に、位置情報に対応する位置データを重畳し、１つの信号として配信することで画像情報と位置情報間の誤差を抑制可能なマウススキャナシステムを提供することにある。

【0008】

また、本発明は、画像データ内の所定の画素に、音声データを重畳することで１つの合成データとし、合成データ中の文字データと音声データから変換した文字データに基づく文字認識処理により、当該認識率の向上可能なマウススキャナシステムを提供することも目的とする。

【課題を解決するための手段】

【0009】

上記の目的を達成するため、本発明は、光学系により読み込んだ画像データに画像処理を施し、パーソナルコンピュータに送信することで画面上に表示させるスキャナ機能を、当該パーソナルコンピュータのポインティングデバイスに備えたマウススキャナと、当該マウススキャナの画像処理を制御する制御装置と、を有するマウススキャナシステムであって、前記マウススキャナは、任意の領域に存在する画像情報をスキャニングすることで画像データとして取り込むイメージセンサを備え、ピクセルクロックと同期信号を出力する撮像手段と、前記画像情報の画像の位置情報を位置データとして取り込む位置センサと、前記ピクセルクロック及び前記同期信号から検出される前記撮像手段のシャッタの動作を基準として前記位置センサにより取り込まれた前記位置データをラッチするラッチ回路と、前記画像データ中で前記パーソナルコンピュータの画面上に表示されない画素に、前記ラッチ回路によりラッチされた前記位置データを書き込むデータ書込部と、を有することを特徴とする。

【0010】

特に、本発明の前記制御装置は、前記撮像手段からの同期信号及びピクセルクロックにより、シャッタが開くタイミングを検出するシャッタタイミング検出手段と、前記シャッタタイミング検出手段により検出された前記撮像手段のシャッタが開くタイミングで、前記ラッチ回路に対して、前記位置データをラッチするよう指令を下すラッチ手段と、前記データ書込部に対する接続を、前記画像データ中で前記パーソナルコンピュータの画面上に表示されない画素に対応する所定のタイミングで、前記イメージセンサ側から前記位置センサ側に切り替えるよう指令を下す切り替え手段と、を有し、前記データ書込部は、前記切り換え手段により接続が前記位置センサ側に切り替えられると、前記画像データ中で前記パーソナルコンピュータの画面上に表示されない画素に、前記ラッチ回路によりラッチされた前記位置データを書き込むことを特徴とする。

【0011】

また、本発明は、光学系により読み込んだ画像データに画像処理を施し、パーソナルコンピュータに送信することで画面上に表示させるスキャナ機能を、当該パーソナルコンピュータのポインティングデバイスに備えたマウススキャナと、当該マウススキャナの画像処理を制御する制御装置と、を有するマウススキャナシステムであって、前記マウススキャナは、任意の領域に存在する画像情報をスキャニングすることで画像データとして取り込むイメージセンサと、音声情報を音声データとして読み込む音声読取部と、前記音声読取部により読み込まれた前記音声データをラッチするラッチ回路と、前記画像データ中で前記パーソナルコンピュータの画面上に表示されない画素に、前記ラッチ回路によりラッチされた前記音声データを書き込むデータ書込部と、を有し、前記画像データは文字データを含み、前記イメージセンサにより取り込まれた画像データから文字データを認識する文字認識処理部と、前記ラッチ回路を介して前記音声読取部から読み取った音声データを文字データにテキスト変換するテキスト変換部と、前記文字認識処理部により認識した文字データと前記テキスト変換部により変換された文字データとを照合し、一致する文字データを前記パーソナルコンピュータに出力する照合部と、を有することを特徴とする。

【0013】

なお、前記画像データ中で前記パーソナルコンピュータの画面上に表示されない画素は、帰線区間、有効表示区間のうち画面に表示されない部分、表示画像が重畳されていない偶数フィールド又は奇数フィールドのいずれかとする。

【0014】

以上のような態様によれば、読み込んだ位置データを、画像データ中の画面上に表示されない画素に対して書き込むことで、１対信号である画像データを合成データとして生成することができるので、復調までの間、画像データそのものとして処理することが可能となる。これにより、画像データと位置データを同期させて読み込むことができるので、両データ間のズレによる位置誤差を抑制することができる。

【0015】

また、画像処理に時間を有する場合であっても、読み込んだ画像データと位置データ相互にズレは生じていないので、合成データ生成後の画像のつなぎ処理には支障をきたさない。すなわち、画像データに、帰線区間等に位置データを書き込み、１つの画像データとすることができればそれ以後の処理速度に問題は生じない。

【発明の効果】

【0016】

以上のような本発明によれば、読み込んだ位置データを、画像データ中の画面上に表示されない所定の画素に対して書き込むことで、１対信号である画像データを合成データとして生成することができるので、復調までの間、画像データそのものとして処理することが可能となり、これにより、画像データと位置データの同期性を確保し、両データ間のズレによる位置誤差を抑制可能なマウススキャナシステムを提供することができる。

【0017】

また、画像データと同時に読み取った音声データを、画像データ中の上記と同様の所定の画素に対して書き込み、その上で画像データ中の文字データと音声データから変換された文字データとを照合することができるので、読み込んだ画像データと音声データの同期性を確保でき、文字データの認識を格段に向上させることが可能となる。

【図面の簡単な説明】

【0018】

【図1】本発明の第１の実施形態に係るマウススキャナシステムの全体構成例を示すブロック図

【図2】本発明の第１の実施形態に係る制御部の構成例を示すブロック図

【図3】本発明の第１の実施形態に係る本発明の実施形態に係るマウススキャナシステムの作用を示すフローチャート

【図4】本発明の第１の実施形態に係るマウススキャナシステムの、画像データ、位置データ、データ書込部の切り替えタイミング、合成データの関係を示す図

【図5】本発明の第２の実施形態に係るマウススキャナシステムの全体構成例を示すブロック図

【図6】本発明の第２の実施形態に係る制御部の構成例を示すブロック図

【図7】本発明の第２の実施形態に係る本発明の実施形態に係るマウススキャナシステムの作用を示すフローチャート

【発明を実施するための形態】

【0019】

［本実施形態］
［１．第１の実施形態］
次に、本発明を実施するための第１の実施の形態に係るマウススキャナシステムについて、図１〜４を参照して説明する。

【0020】

［１．１．構成］
［１．１．１．全体構成］
本実施形態に係るマウススキャナは、ポインティングデバイスとして機能するマウスに、画像情報及び当該画像の位置情報を光学系によりスキャンしてその画像データを出力するスキャナ機能が一体化された装置であり、当該マウススキャナの各種機能を制御する制御部の構成も踏まえたマウススキャナシステム全体の構成を、図１を参照して以下に説明する。

【0021】

図１に示すように、このマウススキャナシステムは、紙面等の画像情報を取り込む撮像素子１０と、当該画像情報の位置情報を検出する位置センサ２０と、位置センサ２０により検出された位置データを保持するラッチ部３０と、撮像素子１０により取り込まれた画像データにラッチ部３０を通じて保持された位置データを書き込み合成データを出力するデータ書込部４０と、各種機能を制御する制御部５０と、から構成されている。

【0022】

撮像素子１０には、一般的なマウススキャナと同様に、固定撮像素子であるＣＣＤ（ＣＨＡＲＧＥ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）カメラが用いられ、アナログ信号である画像データとピクセルクロックと同期信号を出力する。また、マウススキャナに内蔵される位置センサ２０は、ＣＣＤカメラにより撮影対象とする画像情報の位置情報をリアルタイムに検出し、例えば、３２ビットパラレル信号として位置データをラッチ部３０に出力する。

【0023】

ラッチ部３０は、制御部５０からのラッチ指令信号に基づいて、位置センサ２０により常時検出された位置データを保持するラッチ回路であり、当該位置データをアナログデータとして、画像データ内に取り込むためにデータ書込部４０に送信する。

【0024】

データ書込部４０は、撮像素子１０と、ラッチ部３０を通じて間接的に位置センサ２０と、が接続され、この接続元を撮像素子１０側と位置センサ２０側とで切り替えることで、撮像素子１０から取り込んだ画像データの所定の画素に、位置センサ２０で取り込んだ位置データを書き込む回路であり、マルチプレクサやミキサー等のアナログ切り替えスイッチが使用される。なお、このデータ書込部４０は、撮像素子１０、位置センサ２０により読み込んだデータに基づき生成する合成データを、画面を有するパーソナルコンピュータに出力する。

【0025】

ここで、画像データ中の、パーソナルコンピュータの画面上において表示されない部分に対応した所定の画素とは、帰線区間、画像を重畳していない偶数フィールド・奇数フィールド、有効表示区間のうち画面上に表示されない部分等が相当する。

【0026】

帰線区間とは、いわゆる水平、垂直帰線区間であり、ＮＴＳＣ信号等のアナログ信号の先頭に挿入される無画部である不使用期間である。ＮＴＳＣ信号の場合、走査線の１番目（１Ｈ，２６３Ｈ）から２１番目（２１Ｈ，２８４Ｈ）までが垂直帰線区間である。画像を重畳していない偶数フィールド・奇数フィールドとは、使用していない画像の１フレーム中の偶数又は奇数フィールドである不使用フィールドであり、その場合は使わないフィールド全部を位置データに置換することが可能となる。

【0027】

なお、例えば、画素の明るさとして位置データが書き込まれているのであれば、当該画素の明るさを位置データとして復元し、画素の色として書き込まれているのであれば、当該画素の色を位置データとして復元する。

【0028】

また、このデータ書込部４０では、画像データに対する位置データの所定の書き込みタイミングで接続元を撮像素子１０側から位置センサ２０側に切り替える。これにより、出力対象を撮像素子１０で読み込んだ画像データとするか、あるいは、当該画像データに位置センサ２０で読み込んだ位置データを書き込んだ合成データとするか、を切り替えている。

【0029】

なお、図示していないが、データ書込部４０から出力される合成データは、表示画面等を有するパーソナルコンピュータに送信され、復元されることで画面上に表示される。

【0030】

［１．１．２．制御部］
次に、制御部５０の具体的な構成について、図２を参照して説明する。
制御部５０は、図２に示す通り、まず、ＣＣＤカメラである撮像素子１０で読み込まれる画像データのピクセルクロックと同期信号を取得することで、当該撮像素子１０におけるシャッタが開くシャッタタイミングを検出するシャッタタイミング検出手段５１を有している。

【0031】

また、制御部５０は、シャッタタイミング検出手段５１により検出されたシャッタタイミングで、ラッチ部３０に対して位置センサ２０により検知された位置データをラッチするよう指令を下すラッチ指令手段５２を有している。具体的には、このラッチ指令手段５２は、シャッタタイミングにおけるラッチ指令信号及びピクセル信号をラッチ部３０に送信することで、ラッチ部３０において位置データをラッチするよう指令を下す。

【0032】

制御部５０は、また、データ書込部４０に対して、接続元を撮像素子１０側と位置センサ２０側との間で切り替えるよう指令を下す切り替え指令手段５３を有している。具体的には、画像データに対する位置データの所定の書き込みタイミングで、出力対象を撮像素子１０で読み込んだ画像データとするか、あるいは、当該画像データに、位置センサ２０で読み込んだ位置データを重畳した合成データとするかを切り替えるよう、データ書込部４０に対して指令を下す。なお、データ書込部４０における具体的な画像データへの位置データの具体的な書き込み処理については［１．２．作用］の項目で述べることとする。

【0033】

［１．２．作用効果］
次に、上記のような構成を有する第１の実施形態に係るマウススキャナシステムにおいて、紙面等の画像情報をスキャニングをする作用について、図３のフローチャートを参照して以下に説明する。

【0034】

まず、撮像素子１０では、光学系により紙面等の画像情報を読込み（Ｓ３０１）、読み込まれたアナログビデオ信号である画像データをデータ書込部４０に送信し、また、当該画像データのピクセルクロックと同期信号を制御部５０に送信する。同時に、位置センサ２０では、この画像の位置情報を検知し、位置データ（例えば、３２ビットのパラレル信号）として読み込む（Ｓ３０２）。

【0035】

ここで、制御部５０のシャッタタイミング検出手段５１は、撮像素子１０から送信される画像データのピクセルクロックと同期信号に基づいて、ＣＣＤカメラである当該撮像素子１０のシャッタが開くシャッタタイミングを検出する（Ｓ３０３）。そして、シャッタタイミング検出手段５１を通じてシャッタが開くシャッタタイミングが検出されると（Ｓ３０３のＹＥＳ）、制御部５０のラッチ指令手段５２により、ラッチ部３０に、シャッタタイミングのラッチ指令信号及び画像データ中の位置データに置換用の特定画素（上記画面上に表示されない所定の画素に対応。）のピクセル信号が送信されることで、当該ラッチ部３０では、シャッタタイミングにおける位置センサ２０を通じて取得した位置データをラッチする（Ｓ３０４）。

【0036】

また、制御部５０では、ラッチ指令手段５２によるラッチ部３０へのラッチ指令信号及びピクセル信号の送信と同時に、切り替え指令手段５３が、画像データに対する位置データの所定の書き込みタイミングで、データ書込部４０に対して、アナログ信号の接続元を、画像データが送られる撮像素子１０側から位置データが送られる位置センサ２０側に切り替えるように切り替え信号を送信する。この切り替え信号を受信することにより、当該データ書込部４０では、アナログ信号が送信される接続元を撮像素子１０側から位置センサ２０側のラッチ部３０に切り替える（Ｓ３０５）。

【0037】

ここで、位置データの画像データへの所定の書き込みタイミングとは、読み込まれた画像データのうち撮像素子１０から送られる同期信号からの時間に基づいて特定される帰線区間、画像を重畳していない偶数フィールド・奇数フィールド、有効表示区間のうち画面上に表示されない部分等である上述したパーソナルコンピュータの画面上において表示されない部分に相当する。そのため、制御部５０の切り替え指令手段５３は、撮像素子１０から受信した同期信号からクロックをカウントし、帰線区間や不使用のフィールド等に相当する特定画素のタイミングにおいて、接続元を撮像素子１０側から位置センサ２０側への切り替え信号をデータ書込部４０に送信する。

【0038】

これにより、データ書込部４０では、所定の書き込みタイミングで接続元を撮像素子１０側から位置センサ２０側に切り替えるので、画像データ中の画面上に表示されない特定画素に対して位置データを書き込む。なお、このような帰線区間等の特定画素に対して、位置データは明暗データや色データの形で書き込まれている。

【0039】

そして、データ書込部４０により接続元を位置センサ２０側に切り替えられることで、位置データが画像データの上記特定画素に書き込まれた１つの画像信号である合成データは、パーソナルコンピュータに送信され、復元されることで画面上に表示される（Ｓ３０６）。

【0040】

ここで、撮像素子１０により読み込んだ画像データがＮＴＳＣ画像信号である場合の、データ書込部４０による画像データへの位置データの書き込み例を説明する。すなわち、撮像素子１０により読み込んだ画像データの垂直同期信号と水平同期信号からの時間に基づいて、位置データを書き込む所定の画素を特定する必要があるので、何らかのクロックによりカウントすることにより当該所定の画素に対応する特定タイミングで、位置データを画像データに書き込む。

【0041】

例えば、位置データが８ビットで表され、画像の総画素数が３０万である場合に、帰線区間等に相当するとして特定された位置データを書き込む画素番号が、０, １００, ２００, ３００, ４００, ５００, ６００, ７００であるとすれば、制御部５０では、画像データの同期信号からクロックをカウントし始め、上記の各画素になると同時に、データ書込部４０を介して当該各画素に対応するビットを書き込む。なお、書き込み自体は、書き込むビットが０なら黒、１なら白に相当する電圧を予め用意しておき、書き込むべきタイミングに画像データを白黒相当電圧に切り替えて行われる。

【0042】

このような、紙面等の画像情報をスキャニングをするマウススキャナシステムにおける、撮像素子１０にて読み込んだ画像データと、ラッチ部３０を通じてラッチした位置データと、データ書込部４０における接続元の切り替えタイミングと、当該データ書込部４０により出力される合成データと、の関係は、図４に示す通りである。図４（ｃ)に示す通り、データ書込部４０において接続が撮像素子１０側から位置センサ２０側に切り替わると同時に、ラッチ部３０によりラッチされた位置データ（図４（ｂ）参照。）は、画像データ（図４（ａ）参照。）に書き込まれることで図４（ｄ）のような合成データが出力されている。

【0043】

また、実際は、上記クロックが画像と同期していないこともあり得るので、本発明は、画像データに位置データを書きこむ所定のタイミングである特定画素の前後のいくつかの画素に対しても、同じ位置データを書き込む実施形態を有している。これにより、位置データの書き込み箇所が多少ずれた場合であっても、当該位置データを分解する際に解読することが可能である。なお、図４の画像データ、位置データ、切り替えタイミング、合成データの関係図でも、位置データの書き込み箇所を、特定した画素の±１０画素程度まで範囲を広げている。

【0044】

以上のような第１の実施形態によれば、読み込んだ位置データを、画像データ中でパーソナルコンピュータの画面上に表示されない所定の画素等に書き込むことで、１対信号である画像データを合成データとして生成することができるので、復調までの間、画像データそのものとして処理することが可能となり、これにより、画像データと位置データの同期性を確保し、両データ間のズレによる位置誤差を抑制可能なマウススキャナシステムを提供することができる。

【0045】

［２．第２の実施形態］
［２．１．構成］
次に、本発明の第２の実施形態に係るマウススキャナシステムの構成について、図５及び図６を参照して以下に説明する。なお、図５は、第２の実施形態に係るマウススキャナシステムの全体構成例を示すブロック図であり、図６は、第２の実施形態に係る制御部の構成例を示すブロック図である。

【0046】

図５に示す通り、第２の実施形態に係るマウススキャナシステムでは、第１の実施形態に係る構成に加え、音声情報を読み取る音声読取部６０と、当該音声読取部６０で読み取った音声データを保持するラッチ部７０と、を備え、この音声読取部６０がラッチ部７０を介してデータ書込部４０に接続されている。

【0047】

また、第２の実施形態に係るデータ書込部４０では、撮像素子１０により取り込んだ画像データの前記所定の画素の部分に、音声読取部６０で読み取りラッチ部７０で保持していた音声データを書き込む機能を有している。すなわち、データ書込部４０は、画像データに対して、第１の実施形態において位置データを書き込んでいた領域に、音声読取部６０で読み取った音声データを書き込んでいる。

【0048】

さらに、第２の実施形態では、データ書込部４０による画像データと音声データの合成データから文字データを抽出し文字認識処理を行うＯＣＲ処理部８０と、当該データ書込部４０からの合成データから音声データを抽出し文字データに変換するテキスト変換部９０と、ＯＣＲ処理部８０により認識された文字データとテキスト変換部９０により変換された文字データを照合し一致するかを判定する文字データ照合部１００と、を備えている。

【0049】

音声読取部６０は、音声情報を読み取り音声データに変換することができるのであれば、構成を限定するものではなく、一般的にマイクロフォン等を使用する。また、ＯＣＲ処理部８０は、データ書込部４０による合成データから画像データの文字イメージを抽出し、当該文字イメージに対して、例えば予め設定された所定の文字パターンと照合するパターンマッチング等を実施することにより、類似性の高い１以上の文字データを認識する。

【0050】

テキスト変換部９０は、データ書込部４０による合成データから音声データを抽出し、当該音声データをテキストデータである文字データに変換する機能を有する。文字データ照合部１００は、ＯＣＲ処理部８０により文字認識処理が施された１以上の文字データの類似候補と、テキスト変換部９０により文字データに変換された１以上の類似候補とを照合することで一致する文字データを出力する。

【0051】

また、制御部５０の構成は、図６に示す通り、画像データに書き込む対象を位置データから音声データに置き換えてはいるが、第１の実施形態と同様に、シャッタタイミング検出手段５１、ラッチ指令手段５２、切り替え指令手段５３を備え、これに加え下記のような手段を有している。

【0052】

すなわち、制御部５０は、ＯＳＲ処理部８０に対して文字認識処理の実行指令を下す文字認識処理指令手段５４と、テキスト変換部９０に対してデータ書込部４０により生成された合成データ中の音声データをテキスト変換するよう指令を下すテキスト変換指令手段５５と、文字データ照合部１００に対してＯＣＲ処理部８０により認識処理した文字データとテキスト変換部９０によりテキスト変換された文字データとを照合するよう照合指令を下す照合指令手段５６と、を備えている。なお、詳細な説明は［２．２．作用］の項目で行い、ここでは省略する。

【0053】

［２．２．作用］
次に、上記のような構成を有する第２の実施形態に係るマウススキャナシステムにおいて、紙面等の画像情報から文字をスキャニングし、また、同時に音声情報を読み取り、両者を照合する作用について、図７のフローチャートを参照して以下に説明する。

【0054】

まず、撮像素子１０は、第１の実施形態と同様に、光学系により紙面等の文字情報を含む画像情報を読込み（Ｓ７０１）、読み込まれたアナログビデオ信号である画像データをデータ書込部４０に送信し、また、当該画像データのピクセルクロックと同期信号を制御部５０に送信する。同時に、音声読取部６０は、この画像中の文字情報に対応する読み上げられた音声情報を検知し、音声データとして読み込む（Ｓ７０２）。

【0055】

ここで、制御部５０のシャッタタイミング検出手段５１は、撮像素子１０から送信される画像データのピクセルクロックと同期信号に基づいて、ＣＣＤカメラである当該撮像素子１０のシャッタが開くシャッタタイミングを検出する（Ｓ７０３）。そして、シャッタタイミング検出手段５１を通じてシャッタが開くシャッタタイミングが検出されると（Ｓ７０３のＹＥＳ）、制御部５０のラッチ指令手段５２により、ラッチ部７０に、シャッタタイミングのラッチ信号、及び画像データ中の音声データを書込用の特定画素（上記画面上に表示されない所定の画素に対応。）のピクセル信号が送信されることで、当該ラッチ部７０では、シャッタタイミングにおける音声読取部６０を通じて取得した音声データをラッチする（Ｓ７０４）。

【0056】

また、制御部５０では、ラッチ指令手段５２によるラッチ部７０へのラッチ信号及びピクセル信号の送信と同時に、切り替え指令手段５３が、画像データに対する音声データの所定の書き込みタイミングで、データ書込部４０に対して、アナログ信号の接続元を、画像データが送られる撮像素子１０側から音声データが送られる音声読取部６０側に切り替えるように切り替え信号を送信する。この切り替え信号を受信することにより、当該データ書込部４０では、アナログ信号が送信される接続元を撮像素子１０側から音声読取部６０側のラッチ部７０に切り替える（Ｓ７０５）。つまり、データ書込部４０は、接続元を音声読取部６０側に切り替えられることで、音声データが画像データの帰線区間等の所定の画素に書き込まれた１つの画像信号である合成データを生成する。

【0057】

なお、音声データの画像データへの所定の書き込みタイミング及び書き込み態様は、第１の実施形態における位置データの書き込みタイミング及び書き込み態様と同様のであるため説明は省略する。

【0058】

そして、制御部５０の文字認識処理指令手段５４が、ＯＳＲ処理部８０に対して文字認識処理の実行指令を送信し（Ｓ７０６）、当該ＯＳＲ処理部８０では、データ書込部４０により生成された合成データから画像データの文字イメージを抽出し、当該文字イメージに対してパターンマッチングを実施することにより、類似性の高い１以上の文字データを認識する。

【0059】

また、制御部５０のテキスト変換指令手段５５は、テキスト変換部９０に対してデータ書込部４０により生成された合成データ中の音声データをテキスト変換するよう指令を下し（Ｓ７０７）、当該テキスト変換部９０では、データ書込部４０による合成データから音声データを抽出し、当該音声データをテキストデータである文字データに変換する。

【0060】

そして、制御部５０では、ＯＣＲ処理部８０からの文字認識処理完了の指令を受信し、かつ、テキスト変換部９０からテキスト変換完了の指令を受信した際に、照合指令手段５６が、文字データ照合部１００に対して当該ＯＣＲ処理部８０により認識処理した文字データとテキスト変換部９０によりテキスト変換された文字データとを照合するよう照合指令を送信する（Ｓ７０８）。

【0061】

これにより、文字データ照合部１００では、ＯＣＲ処理部８０により文字認識処理が施された１以上の文字データの類似候補と、テキスト変換部９０により文字データに変換された１以上の類似候補とを照合することで一致する文字データを検索する。そして、文字データ照合部１１０により一致すると判定された文字データがパーソナルコンピュータに出力され、復元されることで画面上に表示される（Ｓ７０９）。

【0062】

以上のような第２の実施形態では、画像データと同時に読み取った音声データを、画像データ中の上記と同様の所定の画素に対して書き込み、その上で画像データ中の文字データと音声データから変換された文字データとを照合することができるので、読み込んだ画像データと音声データの同期性を確保でき、読み込んだ文字データに対する認識処理のみ、あるいは、音声データからテキスト変換された文字データの認識処理のみに比して文字データの認識を格段に向上させることが可能となる。

【0063】

［３．他の実施形態］
なお、本発明は、上記のような、マウススキャナにおいて画像データに対して位置データ又は音声データを書き込むことで合成データを生成し、文字認識処理及び音声データのテキスト変換を実施する構成をに限定するものではなく、クラウドコンピューティングを用いて、例えば、マウススキャナ側では画像データ、位置データ、音声データを読み取るのみで、センタ側において、データの書込み等の処理を実行する実施形態を包含する。

【0064】

具体的には、マウススキャナには、画像データ、位置データ、音声データを読み取る機能のみを備え、センタ側において、無線又は有線による通信手段を介してこの読み取った画像データ等を受信することで、データ書込部４０による画像データへの位置データ又は音声データの書込み処理と、ＯＣＲ処理部８０による文字認識処理と、テキスト変換部９０による音声データのテキスト変換処理と、文字データ照合部１００による文字データの照合処理と、を実施する。その上で、センタ側からの文字データの照合結果に応じて出力データをマウススキャナ側に送信し、当該マウススキャナ側のパーソナルコンピュータの画面上に表示される。

【0065】

また、本発明は、上記のような画像データ中でパーソナルコンピュータの画面上に表示されない所定の画素に対して、位置データ又は音声データを明暗データや色データの形で書き込む実施形態に限定するものではなく、目立たなくするような変調で当該位置データを画像データに書き込む実施形態も包含する。目立たなくするような変調とは、具体的には以下の通りである。

【0066】

すなわち、使用する画像が割り当てられている偶数フィールド、奇数フィールドにおいて、インターレースされていれば、各フィールドの同じ画素位置は画面上では隣り合う。ここで、偶数フィールドに書いた明るさや色と逆の情報を奇数フィールドに書くと、隣り合ったときに見えにくくなるので、この目立たない部分に、位置データを書き込むことが目立たなくするような変調に相当する。

【0067】

また、より確実性を高めるために、偶数フィールドと奇数フィールドに割り当てる画像を全く同じとし、両者に違いを位置データを書き込む箇所のみとすることにより、出力された合成データを復元する際に、位置データを分解するに当たり、分解側においてカウンタを不要とすることが可能となる。

【符号の説明】

【0068】

１０…撮像素子
２０…位置センサ
３０…ラッチ部
４０…データ書込部
５０…制御部
５１…シャッタタイミング検出手段
５２…ラッチ指令手段
５３…切り替え指令手段
５４…文字認識処理指令手段
５５…テキスト変換指令手段
５６…照合指令手段
６０…音声読取部
７０…ラッチ部
８０…ＯＣＲ処理部
９０…テキスト変換部
１００…文字データ照合部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】