特開 2024-35310 画像処理装置、プログラム、情報端末及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024035310

(43)【公開日】2024-03-14

(54)【発明の名称】画像処理装置、プログラム、情報端末及び画像処理方法

(51)【国際特許分類】

   G09B 5/02 20060101AFI20240307BHJP

   G06F 3/0481 20220101ALI20240307BHJP

   G06T 19/00 20110101ALI20240307BHJP

   G06Q 50/20 20120101ALI20240307BHJP

【ＦＩ】

G09B5/02

G06F3/0481

G06T19/00 A

G06Q50/20

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022139690

(22)【出願日】2022-09-02

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１）令和４年１月３０日～令和４年９月２日、Ａｐｐ Ｓｔｏｒｅ「Ｃａｒｒｙ Ｃａｍｐｕｓ（キャリーキャンパス）ＫＯＫＵＹＯ ＣＯ．， ＬＴＤ．」にて公開［ｈｔｔｐｓ：／／ａｐｐｓ．ａｐｐｌｅ．ｃｏｍ／ｊｐ／ａｐｐ／ｃａｒｒｙ－ｃａｍｐｕｓ－％Ｅ３％８２％ＡＤ％Ｅ３％８３％Ａ３％Ｅ３％８３％ＡＡ％Ｅ３％８３％ＢＣ％Ｅ３％８２％ＡＤ％Ｅ３％８３％Ａ３％Ｅ３％８３％Ｂ３％Ｅ３％８３％９１％Ｅ３％８２％Ｂ９／ｉｄ１５７３６９１１８７］ （２）令和４年１月３１日～令和４年９月２日の間の複数日、Ｔｗｉｔｔｅｒ（キャリーキャンパス〔公式〕）にて公開［ｈｔｔｐｓ：／／ｔｗｉｔｔｅｒ．ｃｏｍ／ＣａｒｒｙＣａｍｐｕｓ＿Ａｐｐ／ｓｔａｔｕｓ／１５２７４５７８３６１４１５２２９４５？ｓ＝２０＆ｔ＝Ｄ－３９ＡＭ１ｓｋｊＯ５ＵｃＸＦｎｃｖＨＢｇ］ （３）令和４年４月２０日～令和４年９月２日の間の複数日、コクヨ株式会社 メールマガジン＜キャリキャンニュース＞にて公開

(71)【出願人】

【識別番号】000001351

【氏名又は名称】コクヨ株式会社

(74)【代理人】

【識別番号】100137486

【弁理士】

【氏名又は名称】大西 雅直

(72)【発明者】

【氏名】市原 玲菜

(72)【発明者】

【氏名】丹羽 海渡

(72)【発明者】

【氏名】久我 一成

(72)【発明者】

【氏名】三浦 洋介

【テーマコード（参考）】

2C028

5B050

5E555

5L049

【Ｆターム（参考）】

2C028AA11

2C028BB04

2C028BC05

2C028BD01

5B050AA10

5B050BA07

5B050BA18

5B050CA08

5B050CA09

5B050EA09

5B050FA02

5B050FA05

5B050FA09

5B050FA13

5E555AA22

5E555BA04

5E555BA82

5E555BA83

5E555BB04

5E555BC17

5E555CB12

5E555CC22

5E555DA01

5E555DB41

5E555DB53

5E555DC09

5E555DC11

5E555DC13

5E555DC32

5E555DC35

5E555DC75

5E555DC77

5E555EA12

5E555EA24

5E555FA00

5L049CC34

(57)【要約】      （修正有）

【課題】バーチャル上のシートの優位性を保ちつつ、視認不可としたい色付き画像中の色の範囲を広げても画像中の色情報の棄損を無くし、消し残しも生じにくくした、より使い勝手に優れた画像処理装置を実現する。
【解決手段】表示部４上のノート画像Ｎのうち視認不可とする処理を行う範囲に指定色シート８を重ねて処理対象を指定する処理対象指定部５と、視認不可とする対象色（指定色）を色相で範囲指定する色相指定部６と、これら記憶部２、表示部４、処理対象指定部５、色相指定部６を制御する制御手段７とを備え、制御手段７は、処理対象内にあるノート画像Ｎ中の色付き画像を認識する色付き画像認識部７１と、その色付き画像の色相が色相指定部６に指定されている色相範囲に属するか否かを判定する色相判定部７２と、色相範囲に属すると判定した場合に色付き画像を視認不可とする処理を行う画像処理部７３と、を含んで構成される。
【選択図】図２

【特許請求の範囲】

【請求項1】

文書画像を記憶する記憶部と、前記記憶部に記憶された文書画像を表示する表示部と、前記表示部上の文書画像のうち視認不可とする処理を行う範囲にシートを重ねて処理対象を指定する処理対象指定部と、視認不可とする対象色を色相で範囲指定する色相指定部と、前記記憶部、表示部、範囲指定部、色相指定部を制御する制御手段とを備え、
前記制御手段は、処理対象内にある前記文書画像中の色付き画像を認識する色付き画像認識部と、その色付き画像の色相が前記色相指定部に指定されている色相範囲に属するか否かを判定する色相判定部と、色相範囲に属すると判定した場合に当該色付き画像を視認不可とする処理を行う画像処理部と、を含んで構成されることを特徴とする画像処理装置。

【請求項2】

色情報を損なわずに色付き画像の表示／非表示を可能にするためには、制御部は、画像を視認不可とする処理を元画像の情報を保持したまま行い、シートの移動又は撤去によって処理対象から外れた色付き画像の元画像を再表示する、請求項１に記載の画像処理装置。

【請求項3】

前記色付き画像が色付き文字を含む場合に、前記制御部は、前記文字を構成する線を抽出して、その線をより太い線で置換し、若しくはその線の上に不透明でより太い線を配置することで色付き文字を視認不可とする、請求項２に記載の画像処理装置。

【請求項4】

前記色付き画像が明度の低い文字の上に付された色付きマーカーを含む場合に、前記制御部は、前記色付きマーカーを不透明な色で置換し、若しくは前記色付きマーカーの上に不透明な色であってマーカーと同一若しくはそれよりも大きいサイズの図形を配置することで文字及び色付きマーカーを視認不可とする、請求項２に記載の画像処理装置。

【請求項5】

前記置換又は配置する色には、文書画像の背景色と同一若しくは近似した色が使用される、請求項３又は４に記載の画像処理装置。

【請求項6】

前記シートは矩形、多角形、円又は楕円状であり、利用者の操作を通じて二次元方向に移動可能とされる、請求項１に記載の画像処理装置。

【請求項7】

コンピュータに読み込まれ、コンピュータを請求項１～４の何れかに記載の画像処理装置として機能させることを特徴とするプログラム。

【請求項8】

前記プログラムをインストールしていることを特徴とする情報端末。

【請求項9】

画面上に文書画像を表示させ、当該文書画像のうち視認不可とする対象範囲にシートが重ね合わされることによって、当該範囲において、予め指定された色相範囲に属する色付き画像を視認不可とする処理を行い、それ以外の色相の色付き画像に対して処理を行わないことを特徴とする、画像処理方法。

【請求項10】

前記処理は、処理対象内にある文書画像中の色付き画像を認識する色付き画像認識ステップと、その色付き画像の色相が色相指定部に指定されている色相範囲に属するか否かを判定する色相判定ステップと、色相範囲に属すると判定した場合に当該色付き画像を視認不可とする処理を行う画像処理ステップと、を備える請求項９に記載の画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特定の色で書かれた文字や特定の色のマーカーが引かれた箇所の視認状態を切り替える機能を備えた、画像処理装置、プログラム、情報端末及び画像処理方法に関するものである。

【背景技術】

【0002】

従来より、ノートや参考書等の文書を使って学習を行ううえで、いわゆる赤シートと称される暗記用のシートが一般に利用されている。

【0003】

この赤シートは、例えば歴史や英語などの学習に際して、文書中の暗記したい特定の文字列を赤ペンで記載し、その上から同色の赤シートで覆うことで、赤ペンの部分をシートの色に同化させて視認不可にし、空欄に文字列の当てはめを行った後に赤シートを外し再表示させることで、効率良く暗記学習を行うことができるものである。

【0004】

或いは、文字列の中の暗記したい特定の文字列に緑のマーカーを付しておき、その上から補色関係にある赤シートで覆うことで、マーカーの部分を黒色に塗りつぶして視認不可とする方法も利用されている。

【0005】

しかしながら、赤シートは濃いため、全体的に明度が落ち、文書全体が見づらくなるという難点がある。また、赤シートを外しても、マーカーの色が濃いため、その下にある文字列が読みづらくなるという難点がある。

【0006】

一方、このようなリアル（現実世界）で用いる赤シートの機能を、バーチャル（仮想空間）上で実現したアプリが提案されている（例えば非特許文献１）。

【0007】

このアプリは、画面上にノート画像を表示させ、当該ノート画像に赤シートに相当するシートを重ね合わせることで、その位置にある色付き画像の特定の色を白色に変換して視認不可とする機能や、画像内の文字抽出を行い、抽出した文字領域の中で特定の色を有する部分にマーカーを付与して、そのマーカーを不透明にすることでその下の文字を視認不可とする機能などを備えている。

【0008】

これによれば、補色関係を利用して文字を視認不可とする機能はないにしても、文字を視認不可とする点ではリアルの赤シートと実質的に同様の機能を実現できる上に、視認不可にしたい色付き画像の色とシートの色を連動させる必要がなく、下の文字が読みにくくなくなるほど濃い色のマーカーやシートを用いる必要がないため、リアルの赤シートに比べて色の選択性や視認性が向上する点などが利点として挙げられる。

【先行技術文献】

【特許文献】

【0009】

【非特許文献1】https://www.myfamily.place/ea-doc/doku.php?id=memorize_filtertype#%E8%B5%A4%E8%89%B2firutano%E7%A8%AE%E9%A1%9E

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、前者の機能は、画像全体をモノクロ画像に一括変換し、明度によって視認不可とする対象を特定して視認不可の処理をしているため、対象とならない周辺画像もモノクロ画像となり、画質が落ちて見づらくなるという課題がある。また、色付き文字を消す際は色付き文字を白文字に変更することで視認不可とする処理が行われているが、背景が白でなく例えば灰色である場合には、背景中に白の文字が浮き上がり、結局読めてしまうという不具合がある。

【0011】

一方、後者の機能は、色付き画像をモノクロ画像に変換するのではなく、色付き画像中の特定の色のみをピンポイントで視認不可の対象とすることで周辺の色情報を残す方法であるため、対象色が極めて限定的で狭く、例えば赤色を消したい場合に、僅かの色味の違いで不一致と判断されれば消し残しが生じるなど、精度に課題がある。

【0012】

本発明は、このような課題に着目し、リアルの赤シートに対して、バーチャル上のシートの優位性を保ちつつ、視認不可としたい色付き画像中の色の範囲を広げても画像中の色情報の棄損を無くし、消し残しも生じにくくした、より使い勝手に優れた画像処理装置、プログラム、情報端末及び画像処理方法を実現することを目的としている。

【課題を解決するための手段】

【0013】

本発明は、かかる目的を達成するために、次のような手段を講じたものである。

【0014】

すなわち、本発明に係る画像処理装置は、文書画像を記憶する記憶部と、記憶部に記憶された文書画像を表示する表示部と、表示部上の文書画像のうち視認不可とする処理を行う範囲にシートを重ねて処理対象を指定する処理対象指定部と、視認不可とする対象色を色相で範囲指定する色相指定部と、記憶部、表示部、範囲指定部、色相指定部を制御する制御手段とを備え、制御手段は、処理対象内にある文書画像中の色付き画像を認識する色付き画像認識部と、その色付き画像の色相が色相指定部に指定されている色相範囲に属するか否かを判定する色相判定部と、色相範囲に属すると判定した場合に当該色付き画像を視認不可とする処理を行う画像処理部と、を含んで構成されることを特徴とする。ここで文書画像とは、ノートや参考書等の文書（文字列を含む文書）を画像化したものを言う。

【0015】

このようにすれば、指定された色相範囲に属する色付き画像に対して画像処理を行う一方、指定された色相範囲に属しない色付き画像に対して画像処理を行わないので、元の色を損なわず、周辺の元画像の情報を保持することができる。しかも、予め暖色系、寒色系といった一定の色相を範囲指定すれば、僅かの色違いで消し残しが生じるといった不具合も解消することができる。

【0016】

色情報を損なわずに色付き画像の表示／非表示を可能にするためには、制御部は、画像を視認不可とする処理を元画像の情報を保持したまま行い、シートの移動又は撤去によって処理対象から外れた色付き画像の元画像を再表示することが好ましい。

【0017】

色付き画像が色付き文字を含む場合には、制御部は、文字を構成する線を抽出して、その線をより太い線で置換し、若しくはその線の上に不透明でより太い線を配置することで色付き文字を視認不可とすることが好ましい。

【0018】

色付き画像が明度の低い文字の上に付された色付きマーカーを含む場合には、制御部は、色付きマーカーを不透明な色で置換し、若しくは色付きマーカーの上に不透明な色であってマーカーと同一若しくはそれよりも大きいサイズの図形を配置することで文字及び色付きマーカーを視認不可とすることが好ましい。

【0019】

置換又は配置する色には、文書画像の背景色と同一若しくは近似した色を使用することで背景色により同化した状態を作り出すことが好ましい。

【0020】

シートを矩形、多角形、円又は楕円状とし、利用者の操作を通じて二次元方向に移動可能とすれば、リアルの赤シートと同様の操作感が得られ、使い勝手に極めて優れたものになる。

【0021】

上記画像処理装置は、コンピュータで読み込み可能なプログラムの形で提供することが望ましい。

【0022】

プログラムはスマートフォンやタブレットなどの情報端末にインストールして使用することが好適である。

【0023】

上記画像処理装置に相当する方法発明としては、画面上に文書画像を表示させ、当該文書画像のうち視認不可とする対象範囲を指定するためのシートが重ね合わされることによって、当該範囲において、予め指定された色相範囲に属する色付き画像を視認不可とする処理を行い、それ以外の色相の色付き画像に対して処理を行わない画像処理方法が挙げられる。

【0024】

その処理は、処理対象内にある文書画像中の色付き画像を認識する色付き画像認識ステップと、その色付き画像の色相が色相指定部に指定されている色相範囲に属するか否かを判定する色相判定ステップと、色相範囲に属すると判定した場合に当該色付き画像を視認不可とする処理を行う画像処理ステップと、を備えることが好適である。

【発明の効果】

【0025】

本発明は、以上説明した構成であるから、リアルの赤シートに対して、バーチャル上のシートの優位性を保ちつつ、視認不可としたい色付き画像中の色の範囲を広げても画像中の色情報の棄損を無くし、消し残しも生じにくくして、精度と画質を両立させた、より使い勝手に優れた画像処理装置、プログラム、情報端末及び画像処理方法を提供することができる。

【図面の簡単な説明】

【0026】

【図1】本発明の一実施形態に係る画像処理装置のハードリソースを示す図。

【図2】同画像処理装置の機能ブロック図。

【図3】同画像処理の画面を示す図。

【図4】同実施形態で指定される色相のＨＳＶ空間上の位置を示す図

【図5】同実施形態で制御手段が行う処理の概要を示すフローチャート。

【図6】同実施形態で文字やマーカーを視認不可とする処理手法を示す図。

【図7】同実施形態で文字やマーカーを視認不可とする処理の例を示す図。

【図8】同実施形態で文字やマーカーを視認不可とする処理の例を示す図。

【図9】同実施形態で文字やマーカーを視認不可とする処理の例を示す図。

【図10】従来の機能で文字やマーカーを視認不可とする処理の例を示す図。

【図11】従来の他の機能で文字やマーカーを視認不可とする処理の例を示す図。

【発明を実施するための形態】

【0027】

以下、本発明の一実施形態を、図面を参照して説明する。

【0028】

この実施形態の画像処理装置は、いわゆる赤シートを使った暗記用の学習環境をバーチャル上で提供するものであり、図１に示すように、ＣＰＵ１１、メモリ１２及びインターフェース１３からなるマイクロコンピュータユニット１を備えたスマートフォンやタブレット等の情報端末Ｓを用いて構成される。そしてその情報端末Ｓに、本発明に係る画像処理装置としての機能を含んだプログラム（アプリ）Ｐをインストールすることで、ＣＰＵ１１が逐次そのプログラムＰを読み出して実行し、周辺ハードリソースと協働して、情報端末Ｓを本発明の画像処理装置Ｘとして機能させる。

【0029】

この画像処理装置Ｘは図２（ａ）の機能ブロックに示されるように、記憶部２と、操作部３と、表示部４と、処理対象指定部５と、色相指定部６と、これらを制御する制御手段７とを含んで構成される。

【0030】

記憶部２は、文書画像であるノート画像Ｎを記憶する。ノート画像Ｎは、例えば利用者が自ら作成し図１のカメラ１４で撮影して取り込んだ画像であり、制御手段７は取り込んだノート画像Ｎを記憶部２に読み出し可能に記憶する。勿論、ノート画像Ｎは図１に示す他人の情報端末ＰＣからサーバＳＶにアップされ、Ｗebを介してダウンロードされたもの等であってもよい。

【0031】

ノート画像Ｎには、文字や線図、イラスト、図表、地図、写真など種々の記載が含まれる。特に、暗記用に作成されたノートは、リアルの暗記用シートと同様、暗記したい文字列が赤、緑、青などのペンで色分けして記載され、或いは黒などの相対的に明度の低いペンで記載した文字列の上に黄、ピンク、青等のマーカーが付されている。

【0032】

表示部４は、図３（a）に示すようにノート画像Ｎを表示する画面である。この画面はスマートフォンのタッチ画面等であって図２に示す操作部３としても機能する。制御手段７は、例えば操作部としてタッチ画面上に表示されたボタンＢ１を通じて利用者からの操作を受け付けると、画面を、記憶部２に記憶されている他のノート画像Ｎに切り替える。

【0033】

処理対象指定部５は、図３（ｂ）に示すように、リアルの赤シートに相当する半透明のシート８（以下、指定色を視認不可とするシートという意味で「指定色シート」と称する）をノート画像Ｎ上の所望の位置に重ねて表示し、視認不可とする処理対象の範囲の指定を受け付ける。制御手段７は、表示部４に操作部上に表示したボタンＢ２が操作されると、画面の指定色シート８を表示状態（図３（ｂ））と非表示状態（図３（ａ））に切り替える。

【0034】

この実施例に係る指定色シート８の色はリアルの赤シートのようにノート画像Ｎとの物理的な色の組み合わせで視認性を変化させるものではないため、指定色シート８の色とノート画像Ｎの視認不可としたい色との組み合わせは、プログラムＰ上で任意に定義することができる。

【0035】

ここでは、指定色シート８は薄い半透明の赤身を帯びた色であり、視認不可としたい色は暖色系である。指定色シート８はデフォルトで画面の上下左右の枠内に収まる矩形状をなす。指定色シート８に対して操作部であるタッチ画面を通じてデフォルト位置から二次元方向に移動操作がなされると、制御手段７は図３（ｃ）に示すように指定色シート８の表示位置を対応する方向に移動させる。制御手段７は、指定色シート８の大きさを変更する操作を受け付けて対応してもよい。

【0036】

図２に示す色相指定部６は、視認不可としたい色（指定色）を色相で範囲指定する箇所である。この色相範囲は、例えば図４に示すＨＶＳ空間のうちのＨｕｅ（色相）の値を使って指定するもので、この実施形態ではデフォルト値として、暖色系に属するピンクからオレンジまでの連続した範囲Ｈ１～Ｈ２（Ｈ１、Ｈ２は数値やコード）が指定色として指定されている。勿論、このデフォルト値は寒色系であってもよく、或いは暖色系と寒色系が選択可能であってもよく、暖色系から寒色系に亘る範囲であってもよい。更に、ユーザーが目的・用途に合わせて指定色（色相）の変更を要求し、制御部７がこれを受け付けて色相指定部６の指定色を書き換えてもよい。

【0037】

図２（ａ）の制御手段７は、図２（ｂ）に示すように、ノート画像Ｎ中の色付き画像の位置と色相を認識する色付き画像認識部７１と、色付き画像の色相が色相指定部６で指定された色の色相範囲に属するか否かを判定する色相判定部７２と、色相範囲に属すると判定した場合に当該色付き画像を視認不可とする処理を行う画像処理部７３と、を有する。

【0038】

図５は制御手段７の画像処理手順の概要を例示するものである。処理がスタートすると、処理対象指定部５の指定色シート８によって処理対象の範囲が指定されるのを待って（ステップＳ１）、色付き画像認識部７１は対象範囲にあるノート画像Ｎ中の色付き画像の形や色パターン、位置などを自動認識する（ステップＳ２：画像認識ステップ）。対象範囲にないノート画像Ｎ中の色付き画像については、画像処理をせずに（ステップＳ３）、終了する。色付き画像とは、例えば白と黒の間にある色相値を有する部位を称する。色付きの文字列であれば文字列の形や色パターン、位置を認識し、文字列の上にマーカーが付されていれば、文字列やマーカーの形や色パターン、位置を認識する。例えば、ノート画像中に、図６（ａ）に示すような、赤色の文字Ａとオレンジの文字Ｂと青色の文字Ｃからなる手書きの文字列「ＡＢＣ」と、黒系の手書きの文字列「ＤＥ」の上に付されたピンクのマーカーｍ１と、黒系の手書きの文字列「ＦＧ」の上に付された緑のマーカーｍ２があるときは、これらの手書き文字やマーカーの形や色パターン、位置などを認識し、記憶部２に記憶する。手書き文字やマーカー以外に、アンダーライン、イラスト、図表、地図、写真等があれば、これらも色付き画像として認識される。

【0039】

このような色付き画像の自動認識機能は情報端末Ｓに初期環境として、又はプログラムＰを通じて搭載されている。

【0040】

手書き文字はパターンマッチング等を通じて文字認識することもできるが、本実施形態では手書き文字を手書き文字のまま取り扱うため、文字認識は行わない。

【0041】

色相判定部７２は、色相指定部６に指定されている指定色の色相値（Ｈ１～Ｈ２）を取り出す一方、色付き画像認識部７１が認識した色付き画像の色相値Ｈ中に、その指定色すなわち色相範囲（Ｈ１～Ｈ２）に属するものが無いかどうかを探査する（ステップＳ４：色相判定ステップ）。そして、色相範囲に属すると判定した色相を有する色付き画像を抽出する。例えば、暖色系に属するのは図６（ａ）では赤、オレンジ、ピンクであるから、色付き文字列ＡＢと、文字列ＤＥの上にピンクで引かれたマーカーｍ１を抽出する。

【0042】

画像処理部７３は、色相判定部７２が抽出した色付き画像に対して、当該色付き画像を視認不可とする画像処理を行う（ステップＳ５：画像処理ステップ）。

【0043】

例えば、指定色文字ＡＢに対しては、図６（ｂ）に示すように、その文字ＡＢを構成する線の上に不透明でより太い線を配置することで文字ＡＢを視認不可とする。ここでは、文字ＡＢを構成する線に対して、その線を＋αｍｍだけ拡幅した太字の線の文字パターンからなる不透明の線（白色）を上からマッピングすることによってマスクＭ１を形成する。このような処理は、例えば色付き画像である文字をある程度広い線幅で自動輪郭トレースし、そのトレースした輪郭の内側に不透明な色を付けて文字の上に配置することによって実現することができる。線の白色には予め適宜の色相値（Ｈα）が割り当てられている。勿論、この色相値（Ｈα）は白以外であってもよく、利用者が選択できるものであってもよい。

【0044】

この実施形態で表示されているノート画像の背景色は白色である。上記のマッピングで白色を用いるのは背景色と同化させるためであるが、背景色と指定した白色の色相値Ｈαが異なる場合、白色Ｗ１が背景色から浮かび上がった状態になる。しかし、文字を構成する線をより太い線でマスクＭ１を形成するので、図６（ｂ）、（ｃ）に示すように文字「Ａ」、「Ｂ」が潰れ、また文字「Ａ」「Ｂ」を連ねたマスクＭＫ１では「Ａ」「Ｂ」の間がつながって解読不能な状態にすることができる。この意味においては、文字を構成する線をより太い線で置換するだけで線の色は背景色と異なっていても、文字が潰れることによって視認不可とする処理も可能である。

【0045】

制御手段７は、指定色シート８が撤去された場合に上記画像処理をキャンセルし、図６（ａ）のように元の色付き画像「ＡＢ」を再表示させる。

【0046】

また、図６（ａ）において指定色マーカーｍ１が付された部分「ＤＥ」については、当該マーカーｍ１及びその下の文字ＤＥを隠す位置に不透明な色であってマーカーｍ１と同一若しくはそれよりも大きいサイズの図形を配置することで、文字及びマーカーを視認不可とする処理を行う。ここでは図６（ｂ）に示すようにマーカーと同じ位置にマーカーよりも若干大きいサイズの図形からなる不透明なマーカー（白色）を上からマッピングすることでマスクＭＫ２を形成する。このような処理も、例えば色付き画像であるマーカーをある程度広い線幅で輪郭トレースし、そのトレースした輪郭の内側に不透明な色を付けてマーカーの上に配置することによって実現することができる。白色には適宜の色相値（Ｈβ）が割り当てられる。勿論、この色相値は白以外であってもよく、利用者が選択できるものであってもよい。

【0047】

ここでも制御手段７は、指定色シート８が撤去された場合は上記の画像処理をキャンセルし、図６（ａ）に示すように元の色付き画像「ＤＥ」を再表示させる。

【0048】

上記において、色相が指定範囲外の色付き画像に処理は入らないので、図６（ｃ）に示すように、寒色系の文字「Ｃ」、黒系の文字「ＦＧ」に引いた緑のマーカー部分ｍ２は、指定色シート８を重ねても色情報が残る。

【0049】

なお、図６（ａ）において、符号ｍ１、ｍ２に付された引き出し線が示す先にはハッチング領域を囲む実線の縁取り線があるが、これは説明の便宜上付したもので、実際にはこの位置にはハッチングで示すマーカーの色が存するのみである。同様に、図６（ｂ）、（ｃ）において、符号ＭＫ１、ＭＫ２、Ｍ１に付された引き出し線が示す先には破線の縁取り線があるが、これも説明の便宜上付したもので、実際にはこの線の位置にはハッチングで示すマッピングされたマスクの白が存するのみである（以下、同様）。

【0050】

リアルの赤シートであれば、赤シートを上から重ね合わせることによって、下にある色付き画像の色が赤シートによって影響を受けるが、バーチャル上では色付き画像の色とシートの色の関係に制約はない。このため、指定色シート８を重ねた際に各色付き画像が指定色シートの色８に影響を受けた表示にするか否かは任意である。

【0051】

図７は、他の使用例を示している。手書きのノート画像Ｎの上段には、「丸付き数字１」が黒字、「冬の陣」が赤字、「１６１４」、「⇒」、「和解」⇒「堀が埋められる」が黒字で書かれ、「和解」の文字列には緑のマーカーが付されている。隣には、城のイラストが３色以上のカラーで描かれている。また、ノート画像Ｎの中段には、「丸付き数字２」が黒字、「夏の陣」が赤字、「１６１５」、「⇒」、「豊臣家の滅亡」が黒字で書かれ、「豊臣家の滅亡」の文字列にはオレンジのマーカーが付されている。

【0052】

このノート画像Ｎの下半分に指定色シート８を被せると、図８に示すように「夏の陣」の赤文字の上に白の太字のマスクＭＫ１が形成されて視認不可となり、「豊臣家の滅亡」のオレンジのマーカー部分にマーカーの形に対応した白のマスクＭＫ２が形成されて視認不可となって、暗記学習状態になる。指定色シート８をこの位置から移動又は撤去させれば、これらを図７の元画像の状態で再表示させることができる。

【0053】

指定色シート８を更に図９に示すように上に移動させると、「冬の陣」は指定色に該当するため赤文字の上に白の太字のマスクＭＫ１が配置されて視認不可となり、「１６１４」「⇒」、⇒「堀が埋められる」は黒字で書かれているため表示は変わらず、「和解」の文字にマーカーが付された部分は指定色以外の緑色であるため表示は変わらない。城のイラストでは図７との差分は指定色に該当して視認不可となっているが、指定色以外の色は消えずに残っている。

【0054】

図１０は比較例として、図７のノート画像Ｎに対し、明度によるモノクロ化の機能を適用した例を示している。シートを重ねたときに、赤字の「冬の陣」が指定色に該当して視認不可となっているが、黒の文字列（１６１４）、⇒、「堀が埋められる」以外に、「和解」に引いたマーカーの緑や城のイラストもモノクロ化処理されて、全体が暗く見づらくなっている。これに対して、図９では「和解」のマーカーや城のイラストに色相が残り、色の棄損が抑えられるため、特に地図や写真等が表示されている場合などは、極力視認性を損なわない状態を維持することができる。

【0055】

また、図１１は他の比較例として、図７のノート画像Ｎに対し、特定の色（例えば赤）の文字を抽出して緑のマーカーを付し視認不可とする機能を適用した例を示している。シートを重ねたとき、「夏の陣」は赤文字がマーカーに変換されて視認不可になり、「和解」の文字に緑のマーカーを引いた箇所や、城のイラストのうち赤以外の色所法はそのまま残るが、「冬の陣」は赤文字であるにも拘わらず消し残しの状態となっている。これは、色の範囲が限定的であるために、色味が変わることで不一致と判定されたと考えられる。また、色ムラがあれば、「冬の陣」の一部が一致、一部が不一致と判定されて部分的に消し残しが生じることも考えられる。これに対して、図９では広い範囲で色相を指定するので、多少色味が違っても消し残しが生じることがない。

【0056】

以上のように、本実施形態の画像処理装置Ｘは、文書画像であるノート画像Ｎを記憶する記憶部２と、記憶部２に記憶されたノート画像Ｎを表示する表示部４と、表示部４上のノート画像Ｎのうち視認不可とする処理を行う範囲に指定色シート８を重ねて処理対象を指定する処理対象指定部５と、視認不可とする対象色（指定色）を色相で範囲指定する色相指定部６と、これら記憶部２、表示部４、処理対象指定部５、色相指定部６を制御する制御手段７とを備え、制御手段７は、処理対象内にあるノート画像Ｎ中の色付き画像を認識する色付き画像認識部７１と、その色付き画像の色相が色相指定部６に指定されている色相範囲に属するか否かを判定する色相判定部７２と、色相範囲に属すると判定した場合に色付き画像を視認不可とする処理を行う画像処理部７３と、を含んで構成される。

【0057】

このようにすれば、指定された色相範囲に属する色付き画像に対しては画像処理を行う一方、指定された色相範囲に属しない色付き画像に対して画像処理は行わないので、元の色を損なわず、周辺の画像の情報を保持することができる。しかも、予め暖色系、寒色系といった一定の色相を範囲指定すれば、僅かの色違いで消し残しが生じるといった不具合も解消することができる。よって、本実施形態によれば、精度と画質を有効に両立させることが可能となる。

【0058】

勿論、リアルの赤シートに対して、バーチャル上のシートの優位性、すなわち、視認不可にしたい色付き画像の色とシートの色を連動させる必要がなく、マーカーの色や画面上のシートの色も濃い色にする必要がないため、色の選択性や視認性が向上する利点が得られる。

【0059】

そして、本実施形態は手書きのノート画像中に当初から備わる色付き文字や色付きマーカーを主たる指定色シートの対象とするため、赤ペンや赤のマーカが引かれた箇所についてはリアルの赤シートと同じ使い方ができ、リアルの赤シートと併用した使い方が可能になる。

【0060】

また、制御部７は、画像を視認不可とする処理を元画像の情報を保持したまま行い、指定色シート８の移動又は撤去によって処理対象から外れた色付き画像の元画像を再表示するので、色情報を損なわずに随意に表示／非表示を繰り返すことができる。

【0061】

具体的に、色付き画像が色付き文字を含む場合には、制御部７は、文字を構成する線を抽出して、その線の上により太い線を配置することで色付き文字を視認不可とする処理を行うので、たとえ不透明でより太い線が背景色から浮かび上がっても、文字や文字間が潰れで不透明なマーカーを引いたに近い状態にし、視認不可状態の実効性を担保することができる。特に、本実施形態では、文字を構成する線を抽出するだけで文字を認識しているわけではないので、文字の認識率から影響を受けることがなく、文字が手書きであったり傾いたりしていても、消し残しに直接つながることはない。

【0062】

また、色付き画像が明度の低い文字の上に付された色付きマーカーを含む場合に、制御部７は、色付きマーカーの上に不透明な色を配置することで文字及び色付きマーカーを視認不可とする処理を行うので、色付きマーカーの指定色についても範囲を広げることができ、色付きマーカー自体に色ムラ等がある場合にも、部分的な消し残しを防ぐことができる。

【0063】

配置する色には、ノート画像Ｎの背景色と同一若しくはそれに近似した色が使用されるため、指定色の箇所を消して背景により同化した状態を作り出すことができる。

【0064】

そして、シートは矩形状であり、利用者の操作を通じて二次元方向に移動可能とされているため、リアルの赤シートと同様の操作感が得られ、使い勝手に極めて優れたものになる。

【0065】

以上、本発明の一実施形態について説明したが、視認性を損なわずに視認不可とするための手法などは、いかなるものであってもよい。

【0066】

例えば、上記実施形態の色文字や色付きマーカーを視認不可とする処理は、上からマスキングをする以外に、色文字を構成する線自体をより太い線で置換したり、色付きマーカー自体を不透明な色で置換しても、色付き画像を視認不可とすることができる。このような処理は、色の置き換え機能を幅広い色相範囲に亘って適用することによって実現することができる。

【0067】

背景色を認識してその背景色と同じ色相の色を使用できれば、その色で色付き文字の線やマーカーを置換してもよい。この場合は、色付き文字を構成する線よりも太い線に置換せずとも視認不可の状態を確実に作り出すことができる。

【0068】

また、上記装置を方法的に捉えた場合、画面上にノート画像を表示させ、当該ノート画像のうち視認不可とする対象範囲にシートが重ね合わされることによって、当該範囲において、予め指定された色相範囲に属する色付き画像を視認不可とする処理を行い、それ以外の色相の色付き画像に対して処理を行わない手法であれば、上記実施形態の画像処理装置Ｘと同等の作用効果が奏される。

【0069】

また、上記実施形態において指定色シートは矩形状としたが、利用者の操作を通じて二次元方向に移動可能であれば、多角形、円又は楕円状など、他の形状を用いることができる。

【0070】

また、上記実施形態では指定色シートに赤味を帯びた半透明のシートを用いたが、色味は他の色味であってもよく、また、枠のある透明なシートを用いても構わない。

【0071】

また、上記実施形態ではノート画像の指定色文字や指定色マーカーを視認不可とするものであったが、読み込んだ画像に対して文字やマーカーを追加できる環境にある場合には、上記に準じて追加された文字やマーカーについても指定色文字や指定色マーカーを視認不可とする処理対象とすることを妨げない。

【0072】

更に、文書画像はノート以外に参考書等の画像であってもよく、その他の構成も、本発明の趣旨を逸脱しない範囲で種々変形が可能である。

【符号の説明】

【0073】

２…記憶部
４…表示部
５…処理対象指定部
６…色相指定部
７…制御手段
８…指定色シート
７１…画像認識部
７２…色相判定部
７３…画像処理部
Ｎ…文書画像（ノート画像）
Ｓ…情報端末
Ｘ…画像処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】