特許 6990057 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-07

(45)【発行日】2022-01-12

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G06T 11/80 20060101AFI20220104BHJP

   G06F 3/03 20060101ALI20220104BHJP

   G06F 3/04883 20220101ALI20220104BHJP

   G06T 17/10 20060101ALI20220104BHJP

【ＦＩ】

G06T11/80 A

G06F3/03 400A

G06F3/0488 130

G06T17/10

【請求項の数】 12

(21)【出願番号】P 2017140523

(22)【出願日】2017-07-20

(65)【公開番号】P2018101396

(43)【公開日】2018-06-28

【審査請求日】2020-07-09

(31)【優先権主張番号】15/383,798

(32)【優先日】2016-12-19

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000139403

【氏名又は名称】株式会社ワコム

(74)【代理人】

【識別番号】100091546

【弁理士】

【氏名又は名称】佐藤 正美

(74)【代理人】

【識別番号】100206379

【弁理士】

【氏名又は名称】丸山 正

(72)【発明者】

【氏名】丸岡 勇夫

【審査官】片岡 利延

(56)【参考文献】

【文献】特開平１１－２９６６９６（ＪＰ，Ａ）

【文献】特開２００４－２９５４４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／８０

Ｇ０６Ｆ ３／０３

Ｇ０６Ｆ ３／０４８８

Ｇ０６Ｔ １７／１０

(57)【特許請求の範囲】

【請求項1】

指示体のセンサ上における指示位置を検出する位置検出部と、
前記位置検出部で検出された指示位置毎に、前記指示位置を内部の所定位置とした所定の立体形状の３次元データを生成する３次元データ生成部と、
前記３次元データ生成部で生成された前記３次元データにレンダリングを施すレンダリング処理部と、
を備え、
前記レンダリング処理部は、前記位置検出部で検出された前記指示体による指示位置に基づいて２次元面を設定し、前記所定の立体形状の前記３次元データのうち、設定された前記２次元面の一方の面側に対応する前記３次元データにレンダリングを施すとともに、前記２次元面の他方の面側に対応する前記３次元データにはレンダリングを施さない
ことを特徴とする画像処理装置。

【請求項2】

前記３次元データ生成部は、前記指示位置毎に生成する前記３次元データの前記所定の立体形状が、他の前記指示位置について生成した前記３次元データの前記所定の立体形状と重なる場合には、前記重なる部分は、時間的に後で検出された前記指示位置について生成された前記３次元データを残し、
前記レンダリング処理部は、前記残された前記３次元データにレンダリングを施す
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記画像処理装置は、前記位置検出部で検出された前記指示体による指示位置に基づいて設定された前記２次元面上に配置できるように、前記３次元データを修正可能に構成されており、
前記レンダリング処理部は、前記修正された３次元データを、前記２次元面の一方の面側に配置して、前記２次元面の前記一方の面側に存在する前記修正された前記３次元データに対してレンダリングを施す
ことを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記レンダリング処理部は、前記２次元面に対応した面で、前記３次元データ生成部で生成された前記３次元データを切断し、その切断面が前記２次元面に配置されるようにする
ことを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記３次元データ生成部は、前記位置検出部で前記指示位置が複数回検出された場合には、前記指示位置のそれぞれについて前記立体形状の前記３次元データを生成し、かつ、生成した前記指示位置のそれぞれ前記３次元データを合成することで、前記指示位置に対応する３次元データを生成する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項6】

前記位置検出部は、前記指示体に印加される筆圧を検出する機能を有し、
前記３次元データ生成部は、前記指示位置毎の前記所定の立体形状の大きさを、検出された前記筆圧に応じたものとして前記３次元データを生成する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項7】

前記２次元面の設定位置は、変更可能とされている
ことを特徴とする請求項１に記載の画像処理装置。

【請求項8】

前記２次元面は、前記位置検出部のセンサ平面に対応している
ことを特徴とする請求項１に記載の画像処理装置。

【請求項9】

前記指示体に対応する筆種を選択する選択部を備え、
前記筆種及び前記筆圧に応じて、前記３次元データが生される
ことを特徴とする請求項６に記載の画像処理装置。

【請求項10】

前記指示体に対応する筆種を選択する選択部を備え、
前記筆種に応じて前記３次元データが生成される
ことを特徴とする請求項１に記載の画像処理装置。

【請求項11】

前記所定の立体形状を複数個の異なる立体形状の中から選択する選択部を備える
ことを特徴とする請求項１に記載の画像処理装置。

【請求項12】

指示体のセンサ上における指示位置を検出する位置検出部を備える画像処理装置が備えるコンピュータを、
前記位置検出部で検出された指示位置毎に、前記指示位置を内部の所定位置とした所定の立体形状の３次元データを生成する３次元データ生成部、
前記３次元データ生成部で生成された前記３次元データにレンダリングを施すレンダリング処理部、
として機能させるためのプログラムであって、
前記レンダリング処理部は、前記位置検出部で検出された前記指示体による指示位置に基づいて２次元面を設定し、前記所定の立体形状の前記３次元データのうち、設定された前記２次元面の一方の面側に対応する前記３次元データにレンダリングを施すとともに、前記２次元面の他方の面側に対応する前記３次元データにはレンダリングを施さない
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、指や電子ペンなどの指示体により指示された位置の検出出力である座標データから、３Ｄ（立体）画像を、表示画面に表示することができるようにする画像処理装置に関する。

【背景技術】

【0002】

３次元（３Ｄ）の立体画像を生成して表示画面に表示するようにする技術がある。例えば、特許文献１（特表２００２－５１３４８０号公報）には、写真の２Ｄピクチャから、３Ｄモデル化オブジェクトに変換できると共に、３Ｄモデル化オブジェクトから、元の２Ｄピクチャに戻す変換ができるようにする技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２００２－５１３４８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

指や電子ペンなどの指示体により指示された位置の検出出力である座標データによる表示画面での表示画像としては、例えばユーザが電子ペンにより線を描くように指示入力した場合には、その描かれた線を表示画面に表示するのが一般的である。従来から、電子ペンを絵画用のブラシなどに対応付けることができるようにされたタブレットも知られているが、その場合にも、ユーザが電子ペンにより線を描くように指示入力した場合には、対応付けられたブラシの先端の幅に応じた線が、表示画面に表示されるようにされている。

【0005】

ところで、ブラシでキャンバスに絵の具で描いたときには、キャンパス上の絵の具には厚みが存在する。電子ペンや指などの指示体により、位置検出部のセンサ上で描画軌跡（ストローク）を描いたときのデジタルインクには厚みが存在しておらず、陰影を施して擬似的に厚みがあるかのような表現は可能だが、実際の絵の具のような質感を表すことは難しい。

【0006】

この発明は、以上の問題点に鑑み、比較的簡単な処理で、指示体による指示入力を、例えば油絵の具で描いたように厚み表すことが可能となる画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、
指示体のセンサ上における指示位置を検出する位置検出部と、
前記位置検出部で検出された指示位置毎に、前記指示位置を内部の所定位置とした所定の立体形状の３次元データを生成する３次元データ生成部と、
前記３次元データ生成部で生成された前記３次元データにレンダリングを施すレンダリング処理部と、
を備え、
前記レンダリング処理部は、前記位置検出部で検出された前記指示体による指示位置に基づいて２次元面を設定し、前記所定の立体形状の前記３次元データのうち、設定された前記２次元面の一方の面側に対応する前記３次元データにレンダリングを施すとともに、前記２次元面の他方の面側に対応する前記３次元データにはレンダリングを施さない
ことを特徴とする画像処理装置を提供する。

【0008】

上述の構成の画像処理装置においては、３次元データ生成部は、指示体のセンサ上における指示位置を検出する位置検出部で検出された指示位置を、その内部の所定位置とした所定の立体形状の３次元データを生成する。例えば、立体形状を球形状として、位置検出部で検出された指示位置を、当該球形状の中心位置として、当該球形状の３次元データを生成する。

【0009】

そして、レンダリング処理部は、位置検出部で検出された指示体による指示位置に基づいて、２次元面を設定する。そして、レンダリング処理部は、その２次元面の一方の面側に対応する３次元データについてレンダリングを施す。

【0010】

この画像情報による表示画面上での表示画像は、２次元画面上に、３Ｄの立体図形を表示したようなものとなる。したがって、上述の構成の請求項１の発明による画像処理装置によれば、簡単な処理で、指示体による指示入力を、例えば油絵の具で描いたように盛り上げて表示することが可能となる画像情報を生成することができる。

【発明の効果】

【0011】

この発明によれば、位置検出部で検出された指示体による指示入力を、例えば油絵の具で描いたように厚みを表すことが可能となる画像情報を生成することができるという効果を奏する。

【図面の簡単な説明】

【0012】

【図1】この発明による画像処理装置の実施形態の全体の概要を示す図である。

【図2】この発明による画像処理装置の実施形態に用いる位置検出部の構成例を説明するための図である。

【図3】この発明による画像処理装置の実施形態に用いる位置検出部の処理例を説明するための図である。

【図4】この発明による画像処理装置の実施形態における画像処理装置本体のハードウェア構成例を示す図である。

【図5】この発明による画像処理装置の実施形態の要部を説明するための図である。

【図6】この発明による画像処理装置の実施形態における画像処理装置本体の処理動作例を説明するためのフローチャートを示す図である。

【図7】この発明による画像処理装置の実施形態の変形例を説明するための図である。

【発明を実施するための形態】

【0013】

以下、この発明による画像処理装置の実施形態を、図を参照しながら説明する。

【0014】

図１は、この実施形態の画像処理装置の構成例を示す図で、この例では、画像処理装置本体１００と、表示機能付のタブレット端末２００とを備える。画像処理装置本体１００は、例えばコンピュータで構成される。そして、この例では、タブレット端末２００は、画像処理装置本体１００に対してケーブル３００を通じて接続されている。

【0015】

タブレット端末２００は、この例では、例えばＬＣＤ（Liquid Crystal Display；液晶ディスプレイ）パネルからなる表示部２０１を備えると共に、表示部２０１の裏側に、この例では、静電容量方式の位置検出部２０２を備えている。タブレット端末２００に対しては、指示体の一例としての電子ペン２０３が付随している。

【0016】

この例の電子ペン２０３は、信号発信回路を備え、位置検出用信号を、位置検出部２０２に送信するようにする。また、この例では、電子ペン２０３は、そのペン先に印加される筆圧を検出する筆圧検出部を備え、その筆圧検出部で検出した筆圧値の情報を、タブレット端末２００の位置検出部２０２に送信するように構成されている。

【0017】

位置検出部２０２は、この例では、表示部２０１の表示画面２０１Ｄとほぼ同じ大きさの位置検出センサを備え、この位置検出センサ上における電子ペン２０３による指示位置を、位置検出用信号を検出することで、２次元のＸＹ座標値として検出する。また、タブレット端末２００の位置検出部２０２は、電子ペン２０３からの筆圧値の情報を受信して、その受信した情報から筆圧値を検出するようにする。そして、タブレット端末２００は、この位置検出部２０２で検出した電子ペン２０３の指示位置のそれぞれ座標データと当該指示位置における筆圧値とを対の情報として画像処理装置本体１００に送信する。

【0018】

タブレット端末２００の表示画面２０１Ｄには、画像表示欄２０１Ｐｘの他、画像表示欄２０１Ｐｘの周囲の枠エリアに、画像生成のためのパラメータをユーザが選択設定するための制御指示メニューが表示されている。画像処理装置本体１００は、画像表示欄２０１Ｐｘの周囲の枠エリアの制御指示メニューの表示情報を生成して、それをタブレット端末２００に送り、表示画面２０１Ｄに表示させるようにする。

【0019】

ユーザは、画像表示欄２０１Ｐｘの周囲の枠エリアの制御指示メニューの内から、希望するパラメータや、制御指示項目を、電子ペン２０３により指示することにより選択する。画像処理装置本体１００は、画像表示欄２０１Ｐｘの周囲の枠エリアの制御指示メニューに表示されているパラメータや、制御指示項目ついては、その表示位置を認識しているので、電子ペン２０３による指示位置の座標情報から、いずれのパラメータや制御指示項目がユーザにより選択されたか否かを検知するようにする。

【0020】

図１の例では、画像表示欄２０１Ｐｘの上部の枠エリアには、画像表示欄２０１Ｐｘに、電子ペン２０３により２Ｄ画像を描画するのか、３Ｄ画像を描画するのかの選択を行うための２Ｄ／３Ｄ切替ボタン２０１ＳＷが表示されている。図１の枠エリアの表示例は、この２Ｄ／３Ｄ切替ボタン２０１ＳＷが、３Ｄ画像を表示するように切替選択されている場合の例を示している。この例では、画像表示欄２０１Ｐｘの上部の枠エリアには、複数の表示色からなるカラーパレット２０１ＣＰが表示され、その複数の表示色の中から、ユーザは任意の表示色を選択することで、電子ペン２０３により指示した座標位置の画像の表示色が選択可能となる。

【0021】

そして、この例では、画像表示欄２０１Ｐｘの左横には、指示体に対応する筆種を選択する筆種選択部２０１ＢＰが表示され、その複数種のブラシやペンの中から、ユーザは任意の筆種を選択することで、電子ペン２０３により指示した座標位置において、その選択した筆種で画像を描画するようにすることが可能となる。

【0022】

また、この例では、画像表示欄２０１Ｐｘの右横には、光源変更部２０１ＬＥと、明るさ調整部２０１ＢＲＴと、カラー調整部２０１ＣＣと、３Ｄ基準形状選択部２０１ＰＳとが表示されている。ユーザは、光源変更部２０１ＬＥを通じて、３Ｄ画像を生成するためのレンダリングの際の光源の位置及び種類の少なくとも一方を変更することができる。レンダリング処理部１１０は、光源変更部２０１ＬＥで変更された光源の位置及び種類の少なくとも一方に応じてレンダリング処理をリアルタイムで行うように調整されることができる。また、光源変更部２０１ＬＥは、３Ｄ画像を生成するためのレンダリングの際の光源の位置及び種類の少なくとも一方を自動的に変更してもよい。例えば、季節や時刻に対応した光源の位置と種類を予め設定し、光源の位置及び種類の少なくとも一方を自動的に変更しても良い。この場合も同様に、レンダリング処理部１１０は、光源変更部２０１ＬＥで変更された光源の位置及び種類の少なくとも一方に応じてレンダリング処理をリアルタイムで行うように調整されることができる。

【0023】

また、ユーザは、明るさ調整部２０１ＢＲＴを通じて、表示画面の３Ｄ画像の明るさを調整することができる。さらには、カラー調整部２０１ＣＣを通じて、表示画面の３Ｄ画像の色度調整をすることができる。

【0024】

３Ｄ基準形状選択部２０１ＰＳは、電子ペン２０３の指示位置の座標入力から３Ｄのボリュームデータを生成する際に３Ｄ基準形状を選択するために用いられる。図１の例では、この３Ｄ基準形状選択部２０１ＰＳにおいては、異なる形状が選択可能とされている。例えば、球形状、円錐台形状、円錐形状などが表示され、そのいずれかを選択可能とされている。なお、３Ｄ基準形状選択部２０１ＰＳで選択可能な３Ｄ基準形状は、これらの形状に限られるものではなく、円柱形状や、断面が４角形、５角形、６角形等の柱状体でもよく、更には、任意の断面形状の柱状体などであってもよい。

【0025】

画像処理装置本体１００は、タブレット端末２００の位置検出部２０２からの、電子ペン２０３による指示位置の座標データ及び筆圧情報を取得し、その取得した座標データ及び筆圧情報から、選択されたパラメータや制御指示を検出すると共に、その検出したパラメータや制御指示に従って、表示画像データを生成して、タブレット端末２００に送る。タブレット端末２００は、画像処理装置本体１００から受信した画像情報を表示部２０１の表示画面の画像表示欄２０１Ｐに表示する。

【0026】

［タブレット端末２００の位置検出部の構成例］
この実施形態の位置検出部２０２は、図２に示すように、センサ２０４と、このセンサ２０４に接続されるペン指示検出回路２０５とで構成されている。センサ２０４は、タブレット端末２００の表示画面２０１Ｄの大きさに対応した大きさのセンサ面（指示入力面）を備えており、光透過性を有する、第１の導体群２１１と第２の導体群２１２とによって形成されている。

【0027】

第１の導体群２１１は、例えば、横方向（Ｘ軸方向）に延在した複数の第１の導体２１１Ｙ_１、２１１Ｙ_２、…、２１１Ｙ_ｍ（ｍは１以上の整数）を互いに所定間隔離して並列に、Ｙ軸方向に配置したものである。また、第２の導体群２１２は、第１の導体２１１Ｙ_１、２１１Ｙ_２、…、２１１Ｙ_ｍの延在方向に対して交差する方向、この例では直交する縦方向（Ｙ軸方向）に延在した複数の第２の導体２１２Ｘ_１、２１２Ｘ_２、…、２１２Ｘ_ｎ（ｎは１以上の整数）を互いに所定間隔離して並列に、Ｘ軸方向に配置したものである。

【0028】

以下の説明において、第１の導体２１１Ｙ_１～２１１Ｙ_ｍ及び第２の導体２１２Ｘ_１～２１２Ｘ_ｎについて、それぞれの導体を区別する必要がないときには、その導体を、第１の導体２１１Ｙ及び第２の導体２１２Ｘと称することとする。

【0029】

ペン指示検出回路２０５は、センサ２０４との入出力インターフェースとされる選択回路２２１と、増幅回路２２２と、バンドパスフィルタ２２３と、検波回路２２４と、サンプルホールド回路２２５と、ＡＤ（Analog to Digital）変換回路２２６と、制御回路２２０とを備える。

【0030】

選択回路２２１は、制御回路２２０からの制御信号に基づいて、第１の導体群２１１および第２の導体群２１２の中からそれぞれ１本の導体を選択する。選択回路２２１により選択された導体は増幅回路２２２に接続され、電子ペン２０３からの信号が、選択された導体により検出されて増幅回路２２２により増幅される。この増幅回路２２２の出力はバンドパスフィルタ２２３に供給されて、電子ペン２０３から送信される信号の周波数の成分のみが抽出される。

【0031】

バンドパスフィルタ２２３の出力信号は検波回路２２４によって検波される。この検波回路２２４の出力信号はサンプルホールド回路２２５に供給されて、制御回路２２０からのサンプリング信号により、所定のタイミングでサンプルホールドされた後、ＡＤ変換回路２２６によってデジタル値に変換される。ＡＤ変換回路２２６からのデジタルデータは制御回路２２０によって読み取られ、処理される。

【0032】

制御回路２２０は、内部のＲＯＭに格納されたプログラムによって、サンプルホールド回路２２５、ＡＤ変換回路２２６、および選択回路２２１に、それぞれ制御信号を送出するように動作する。また、制御回路２２０は、ＡＤ変換回路２２６からのデジタルデータから、電子ペン２０３によって指示されたセンサ２０４上の位置座標を算出し、その位置座標のデータを、タブレット端末２００内の他の処理プロセッサ等に出力する。

【0033】

図３は、この位置検出部２０２のセンサ２０４で受信される、この実施形態の電子ペン２０３からの所定のパターンの信号を説明するためのタイミングチャートである。この実施形態の電子ペン２０３は、信号発信回路２０３Ｓ及び制御回路２０３ＣＴＬを備えており、制御回路２０３ＣＴＬからの制御信号により、信号発信回路２０３Ｓは、所定のパターンの信号を繰り返し出力するようにする。

【0034】

図３（Ａ）は、電子ペン２０３の信号発信回路２０３Ｓを制御する制御回路２０３ＣＴＬからの制御信号の例を示すもので、ハイレベルを維持する一定期間は、図３（Ｂ）に示すように、電子ペン２０３は、信号発信回路２０３Ｓからの発信信号（所定周波数の交流信号）をバースト信号として連続送信する（図３（Ｃ）の連続送信期間）。

【0035】

この連続送信期間の長さは、位置検出部２０２のペン指示検出回路２０５において、電子ペン２０３によるセンサ２０４上の指示位置を検出することが可能な時間長とされ、例えば第１の導体２１１Ｙ及び第２の導体２１２Ｘの全てを１回以上、好ましくは複数回以上スキャンすることができる時間長とされる。

【0036】

この連続送信期間中に、電子ペン２０３の制御回路２０３ＣＴＬは、ペン先側に印加される筆圧を検出し、その検出結果から、筆圧を例えば複数ビットの値（２進コード）として求める。筆圧検出部は、図示は省略するが、例えば特許文献：特開平５－２７５２８３号公報に記載されている周知の構成の筆圧検出手段や特開２０１１－１８６８０３号公報に記載されている周知の構成の筆圧検出手段を用いることできる。また、例えば、特開２０１３－１６１３０７号公報に開示されているような筆圧に応じて静電容量を可変とする半導体素子を用いた構成とすることもできる。

【0037】

そして、電子ペン２０３の制御回路２０３ＣＴＬは、図３（Ａ）に示すように、連続送信期間が終了すると、スタート信号を挟んで、送信データ期間とする。この送信データ期間においては、制御回路２０３ＣＴＬは、制御信号（図３（Ａ）参照）を所定の周期（Td）でハイレベルまたはローレベルに制御することにより、信号発信回路２０３Ｓからの発信信号をＡＳＫ変調する。ＡＳＫ変調に代えて信号発信回路２０３Ｓからの発信信号をＯＯＫ（On Off Keying）信号に変調するようにしてもよい。

【0038】

このとき、連続送信期間の後の所定の周期(Td)の初回は必ずハイレベルとし、それを図３（Ｃ）に示すようにスタート信号とする。このスタート信号は、以降のデータ送出タイミングを位置検出部２０２側で正確に判定することができるようにするためのタイミング信号である。なお、このスタート信号に代えて、連続送信期間のバースト信号をタイミング信号として利用することもできる。

【0039】

電子ペン２０３は、送信データ期間において、スタート信号に続いて、所定ビット数の送信データ（デジタルデータ）として筆圧データを順次送信する。この場合に、送信データ（２進コード）が「０」のときは制御信号をローレベルとして発信信号の送出はせず、送信データ（２進コード）が「１」のときは制御信号をハイレベルとして発信信号の送出するように制御する。電子ペン２０３は、以上のような連続送信期間及び送信データ期間からなるパターンの信号を、制御回路２０３ＣＴＬからの制御に基づいた周期で繰り返し送信するようにする。

【0040】

位置検出部２０２のペン指示検出回路２０５においては、制御回路２２０は、例えばまず第２の導体２１２Ｘ_１～２１２Ｘ_ｎを順次に選択する選択信号を選択回路２２１に供給し、第２の導体２１２Ｘ_１～２１２Ｘ_ｎのそれぞれの選択時に、ＡＤ変換回路２２６から出力されるデータを信号レベルとして読み取る。そして、第２の導体２１２Ｘ_１～２１２Ｘ_ｎの全ての信号レベルが所定値に達していなければ、制御回路２２０は、電子ペン２０３はセンサ２０４上に無いものと判断し、第２の導体２１２Ｘ_１～２１２Ｘ_ｎを順次に選択する制御を繰り返す。

【0041】

第２の導体２１２Ｘ_１～２１２Ｘ_ｎのいずれかから所定値以上のレベルの信号が検出された場合には、制御回路２２０は、最も高い信号レベルが検出された第２の導体２１２Ｘの番号とその周辺の複数個の第２の導体２１２Ｘを記憶する。そして、制御回路２２０は、選択回路２２１を制御して、第１の導体２１１Ｙ_１～２１１Ｙ_ｍを順次選択して、ＡＤ変換回路２２６からの信号レベルを読み取る。このとき制御回路２２０は、最も大きい信号レベルが検出された第１の導体２１１Ｙとその周辺の複数個の第１の導体２１１Ｙの番号を記憶する。

【0042】

そして、制御回路２２０は、以上のようにして記憶した、最も大きい信号レベルが検出された第２の導体２１２Ｘの番号及び第１の導体２１１Ｙの番号とその周辺の複数個の複数個の第２の導体２１２Ｘ及び第１の導体２１１Ｙから、電子ペン２０３により指示されたセンサ２０４上の位置を検出する。

【0043】

制御回路２２０は、選択回路２２１で最後の第１の導体２１１Ｙ_ｍを選択して信号レベルの検出を終了したら、電子ペン２０３からの連続送信期間の終了を待ち、連続送信期間の終了後のスタート信号を検出したら、筆圧データなどの送信データを読み取る動作を行い、読み取った筆圧などの送信データを、前述したように、ＡＳＫ信号やＯＯＫ（On Off Keying）信号として受信するようにする。そして、制御回路２２０は、少なくとも、検出した電子ペン２０３の指示位置の座標データと、筆圧情報とをペアとして、画像処理装置本体１００に送るようにする。

【0044】

［画像処理装置本体１００の構成例］
図４は、画像処理装置本体１００の構成例を示すブロック図である。前述もしたように、この例の画像処理装置本体１００はコンピュータにより構成されるものであり、ＣＰＵ（Central Processing Unit）で構成される制御部１０１に対して、システムバス１０２を介して、位置検出部インターフェース（インターフェースは、図ではＩ／Ｆと記す）１０３、表示コントローラ１０４、座標データ等解析部１０５、制御指示検出保持部１０６、２Ｄ画像データ生成部１０７、ボリュームデータ生成部１０８、表示画像情報生成部１０９、レンダリング処理部１１０、のそれぞれが接続されて構成されている。

【0045】

位置検出部インターフェース１０３には、タブレット端末２００の位置検出部２０２が接続されている。位置検出部インターフェース１０３は、位置検出部２０２からの座標データ及び筆圧情報を受信すると、その受信した座標データ及び筆圧情報を、座標データ等解析部１０５に送る。

【0046】

また、表示コントローラ１０４には、タブレット端末２００の表示部の表示部２０１が接続されており、後述するようにして表示画像情報生成部１０９で生成された表示画像情報が、この表示コントローラ１０４を通じてタブレット端末２００の表示部２０１に供給されて、その表示画面２０１Ｄに表示される。

【0047】

座標データ等解析部１０５は、受け取った座標データの座標値がタブレット端末２００の表示部２０１の画像表示欄２０１Ｐｘ内のものであるか、その周囲の枠エリアの座標値であるかを検出する。そして、座標データ等解析部１０５は、画像表示欄２０１Ｐｘの周囲の枠エリアの座標値は、制御指示検出保持部１０６に送る。

【0048】

制御指示検出保持部１０６は、座標データ等解析部１０５から受け取った座標データから、２Ｄ／３Ｄ切替ボタン２０１ＳＷ、カラーパレット２０１ＣＰ、筆種選択部２０１ＢＰ、光源変更部２０１ＬＥ、明るさ調整部２０１ＢＲＴ、カラー調整部２０１ＣＣまたは３Ｄ基準形状選択部２０１ＰＳのいずれにおける制御指示あるいは選択指示かを判別し、その判別した結果を、制御指示データとして保持しておくようにする。

【0049】

また、座標データ等解析部１０５は、座標データの座標値が、画像表示欄２０１Ｐｘ内の座標値であるときには、制御指示検出保持部１０６に保持されている２Ｄ／３Ｄ切替ボタン２０１ＳＷの切替状況を参照し、２Ｄに切り替えられているときには、座標データを、２Ｄ画像データ生成部１０７に供給し、また、３Ｄに切り替えられているときには、座標データを、ボリュームデータ生成部１０８に送るようにする。なお、この場合に、座標データ等解析部１０５は、座標データと筆圧情報とをペアとして送るようにするのは、前述した通りである。

【0050】

２Ｄ画像データ生成部１０７は、電子ペン２０３により指示された位置の連続としてのストロークに応じた線画の画像情報を生成する。この場合に、筆圧情報に応じて線の太さを変えるようにしている。また、筆種選択部２０１ＢＰで例えば幅広のブラシの筆が選択されているときには、そのブラシの幅に応じた幅の線からなる画像情報が生成される。２Ｄ画像データ生成部１０７は、生成した画像情報を、表示画像情報生成部１０９に供給する。

【0051】

表示画像情報生成部１０９は、受け取った画像情報を、表示部２０１の表示画面に表示するための表示画像情報に変換し、その変換後の表示画像情報を、表示コントローラ１０４を通じて表示部２０１に供給する。したがって、２Ｄ／３Ｄ切替ボタン２０１ＳＷが、２Ｄに切り替えられているときには、表示部２０１の表示画面には、電子ペン２０３により指示された位置の連続としてのストロークに応じた線画の画像が表示される。

【0052】

ボリュームデータ生成部１０８は、２Ｄ／３Ｄ切替ボタン２０１ＳＷが、３Ｄ画像を表示するように切替選択されている場合に、座標データ等解析部１０５からの座標データと筆圧情報とを受けて、３次元データであるボリュームデータを生成する。この場合に、この実施形態では、ボリュームデータ生成部１０８は、３Ｄ基準形状選択部２０１ＰＳで選択されている立体形状内のボリュームデータを生成する。その場合に、ボリュームデータ生成部１０８は、選択されている立体形状内の所定位置を、座標データ等解析部１０５からの座標データの位置に対応させると共に、筆圧情報の筆圧値に応じた大きさの立体形状としてボリュームデータを生成する。

【0053】

そして、この実施形態では、筆種選択部２０１ＢＰで選択されている筆種を判別し、その判別した筆種に応じて、筆圧情報の筆圧値に応じた立体形状を異ならせるようにする。すなわち、例えば、細筆よりも、太筆の場合の方が、同じ筆圧値であっても立体形状の大きさを大きくするようにしてボリュームデータを生成するようにしてもよい。

【0054】

３Ｄ基準形状選択部２０１ＰＳで選択されている立体形状が、例えば球形状である場合には、ボリュームデータ生成部１０８は、図５（Ｄ）に示すように、座標データ等解析部１０５から取得した座標値（Ｘｉ，Ｙｉ）を、球形状内の所定位置、例えば球形状の中心位置（重心位置）Ｏｓとし、筆圧情報の筆圧値に応じた半径ｒの球形状のボリュームデータを生成するようにする。この場合に、前述したように、半径ｒの大きさは、選択されている筆種に応じて異なる値とされている。なお、この半径ｒは、筆種によって全て異ならせる必要はなく、他と同じ半径ｒに設定されている筆種があってもよい。

【0055】

なお、ここで、電子ペン２０３のペン先が位置検出部２０２のセンサ２０４上の位置指示入力面（この例では、表示画面２０１Ｄの表面）に接触して、位置検出部２０２に対して位置指示入力がなされる状態では、Ｘ軸方向及びＹ軸方向に直交するＺ軸方向の座標値Ｚは、例えば、Ｚ＝０とすればよい。そして、電子ペン２０３には、それぞれの座標位置に応じた筆圧値が印加される状態となっている。

【0056】

なお、３Ｄ基準形状選択部２０１ＰＳで選択されている立体形状が、球形状以外の場合であっても、座標データ等解析部１０５から取得した座標値（Ｘｉ，Ｙｉ）を、それぞれの立体形状の中心位置（重心位置）とし、筆圧情報の筆圧値に応じ、かつ、選択されている筆種に応じた大きさのボリュームデータを生成するようにすることで、同様にしてボリュームデータの生成が可能である。

【0057】

なお、座標データ等解析部１０５から取得した座標値（Ｘｉ，Ｙｉ）を、それぞれの立体形状の中心位置（重心位置）とするのに限られず、立体形状内に設定した特定の位置に、座標データ等解析部１０５から取得した座標値（Ｘｉ，Ｙｉ）を対応付ければよい。

【0058】

このボリュームデータ生成部１０８で生成されたボリュームデータは、レンダリング処理部１１０に送られる。レンダリング処理部１１０は、座標データ等解析部１０５から取得した座標値に基づいて、２次元曲面（２次元平面を含む）を設定し、送られたボリュームデータの内、その設定した２次元曲面の一方の面側に存在しているボリュームデータにレンダリング処理を施す。設定される２次元曲面は、表示部２０１に配置されたセンサの表面（センサ平面）に位置する２次元表示画面２０１Ｄに対応する仮想面とすることができる。すなわち、設定された２次元曲面の一方の面側に存在しているボリュームデータは、表示画面２０１Ｄ上に盛られた部分に相当する。

【0059】

すなわち、この例では、レンダリング処理部１１０は、先ず、レンダリング対象データ生成部１１１で、座標データ等解析部１０５から取得した座標値（Ｘｉ，Ｙｉ，Ｚ＝０）に基づいて、センサ２０４の位置指示入力面である２次元曲面（この例ではＸ－Ｙ平面）に平行で、Ｚ＝０である円形平面ＰＬｏを、図５Ｄに示すように、受け取ったボリュームデータ内に設定する。そして、レンダリング対象データ生成部１１１は、設定した平面ＰＬｏの一方の面側、この例では、表面側に存在するボリュームデータ部分（図５（Ｄ）において、斜線を付して示す）をレンダリング対象のボリュームデータ部分とする。なお、この例の場合、レンダリング時の光源の位置は、平面ＰＬｏの表面側に設置する場合を想定している。したがって、レンダリング対象のボリュームデータ部分は、ボリュームデータの内、光源により光が当たる平面ＰＬｏの表面側に存在する部分となる。

【0060】

次に、レンダリング処理部１１０のレンダリング実行部１１２は、レンダリング対象データ生成部１１１で生成されたレンダリング対象のボリュームデータ部分に、この例では、サーフェスレンダリングを施す。そして、レンダリング処理部１１０は、レンダリングを施したボリュームデータ部分を、表示画像情報生成部１０９に送る。このサーフェスレンダリングにおいては、光源変更部２０１ＬＥで指定されている光源位置が参照されると共に、明るさ調整部２０１ＢＲＴでの調整値やカラー調整部２０１ＣＣでの調整値が用いられて、厚みのあるデジタルインクとして質感が表現された画像が得られるように調整される。

【0061】

以上の説明は、電子ペン２０３により位置指示された１点（一つの座標値）についてのボリュームデータ生成及びレンダリング処理についての説明であるが、ユーザにより電子ペン２０３によりなされる実際上の位置指示入力は、電子ペン２０３により指示された位置の連続としてのストロークとなる。

【0062】

例えば使用者が、電子ペン２０３のペン先を位置検出部２０２のセンサ２０４上の位置指示入力面に接触させた状態で、Ｘ軸方向に直線を描くような電子ペン２０３のペン先を移動させた場合を一例として説明する。

【0063】

この場合に、そのＸ軸方向の電子ペン２０３のペン先の移動時における各座標位置での筆圧の値が、図５（Ａ）に示すように変化したとする。すると、当該電子ペン２０３のペン先の移動時における各座標値と筆圧情報とが、座標データ等解析部１０５から、ボリュームデータ生成部１０８に供給される。

【0064】

ボリュームデータ生成部１０８では、座標データ等解析部１０５から連続的に送られてくる各座標値のそれぞれに対して、図５（Ｄ）に示したように、この例では球形状の中心位置（重心位置）Ｏｓとし、筆圧情報の筆圧値に応じた半径ｒの球形状のボリュームデータを生成する。この場合に、図５（Ｂ）に示すように、各座標値のそれぞれに対して生成されたボリュームデータは、一部が重なる状態となるが、その重なり部分については、後で生成されたボリュームデータ部分を残すようにする。その結果、ボリュームデータ生成部１０８では、電子ペン２０３によるストローク入力に対して、図５（Ｃ）に示すような立体形状に対応するボリュームデータが生成され、レンダリング処理部１１０に供給される。

【0065】

そして、レンダリング処理部１１０のレンダリング対象データ生成部１１１では、座標データ等解析部１０５から取得した各座標値のそれぞれに基づいて、それら各座標値を含み、センサ２０４の位置指示入力面である２次元曲面（この例ではＸ－Ｙ平面）に平行で、Ｚ＝０である平面ＰＬｃが、図５Ｃに示すように、ボリュームデータ内に設定される。そして、レンダリング対象データ生成部１１１は、設定した平面ＰＬｃの一方の面側、この例では、表面側に存在するボリュームデータ部分（図５（Ｃ）において、斜線を付して示す）をレンダリング対象のボリュームデータ部分とする。

【0066】

次に、レンダリング処理部１１０のレンダリング実行部１１２は、レンダリング対象データ生成部１１１で生成されたレンダリング対象のボリュームデータ部分に、この例では、サーフェスレンダリングする。そして、レンダリング処理部１１０は、レンダリングを施したボリュームデータ部分を、表示画像情報生成部１０９に送る。

【0067】

表示画像情報生成部１０９は、受け取った画像情報を、表示部２０１の表示画面に表示するための表示画像情報に変換し、その変換後の表示画像情報を、表示コントローラ１０４を通じて表示部２０１に供給する。したがって、２Ｄ／３Ｄ切替ボタン２０１ＳＷが、３Ｄに切り替えられているときには、表示部２０１の表示画面には、電子ペン２０３により指示された位置の連続としてのストロークに応じた、立体的に盛り上がったような画像が表示されることになる。

【0068】

なお、以上説明した図４の画像処理装置本体１００の構成において、表示コントローラ１０４、座標データ等解析部１０５、制御指示検出保持部１０６、２Ｄ画像データ生成部１０７、ボリュームデータ生成部１０８、表示画像情報生成部１０９、レンダリング処理部１１０、の各部は、制御部１０１が、記憶装置（不図示）上に記憶されたプログラムにより実行することができるソフトウェア機能部の構成とすることが可能である。

【0069】

［画像処理装置本体１００の処理動作の流れの例］
以上のように構成されている画像処理装置本体１００における処理動作の流れの例を、図６のフローチャートを参照しながら説明する。

【0070】

なお、以下の説明においては、この図６のフローチャートの各ステップの処理は、制御部１０１が、記憶装置（不図示）上に記憶されたプログラムにより、表示コントローラ１０４、座標データ等解析部１０５、制御指示検出保持部１０６、２Ｄ画像データ生成部１０７、ボリュームデータ生成部１０８、表示画像情報生成部１０９、レンダリング処理部１１０、の各部をソフトウェア機能部として実行する場合として説明する。

【0071】

制御部１０１は、位置検出部２０２からのデータを受信したか否か判別し（ステップＳ１０１）、受信してはいないと判別したときには、その他の処理を実行し（ステップＳ１０２）、その後、処理をステップＳ１０１に戻す。

【0072】

ステップＳ１０１で、位置検出部２０２からのデータを受信したと判別したときには、制御部１０１は、受信した座標データを解析し（ステップＳ１０３）、当該座標データが画像表示欄２０１Ｐｘにおける画像描画の指示入力か、あるいは、枠エリアの制御指示メニューの指示入力かを判別する（ステップＳ１０４）。

【0073】

ステップＳ１０４で、座標データが枠エリアの制御指示メニューの指示入力であると判別したときには、制御部１０１は、当該座標データから、制御指示メニューの、２Ｄ／３Ｄ切替ボタン２０１ＳＷ、カラーパレット２０１ＣＰ、筆種選択部２０１ＢＰ、光源変更部２０１ＬＥ、明るさ調整部２０１ＢＲＴ、カラー調整部２０１ＣＣ、３Ｄ基準形状選択部２０１ＰＳ、のいずれの制御指示の選択指示であるかを判別し、その判別した制御指示を保持するようにする（ステップＳ１０５）。そして、このステップＳ１０５の次には、制御部１０１は、処理をステップＳ１０１に戻し、このステップＳ１０１以降の処理を繰り返す。

【0074】

また、ステップＳ１０４で、座標データが画像表示欄２０１Ｐｘにおける画像描画の指示入力であると判別したときには、制御部１０１は、２Ｄ／３Ｄ切替ボタン２０１ＳＷの切り替え設定状況を参照して、２Ｄ画像を描画する状態か、３Ｄ画像を描画する状態かを判別する（ステップＳ１０５）。

【0075】

ステップＳ１０５で、２Ｄ画像を描画する状態であると判別したときには、制御部１０１は、従前と同様にして、２Ｄ画像を描画するための処理を行い（ステップＳ１０７）、その後、処理をステップＳ１０１に戻し、このステップＳ１０１以降の処理を繰り返す。

【0076】

また、ステップＳ１０５で、３Ｄ画像を描画する状態であると判別したときには、制御部１０１は、前述したようにして、座標データに基づいて、ボリュームデータを生成する（ステップＳ１０８）。このステップＳ１０８では、ボリュームデータの生成に先立ち、筆種選択部２０１ＢＰで選択されている筆種が認識され、また、３Ｄ基準形状選択部２０１ＰＳで選択されている３Ｄ基準形状が認識される。そして、その認識された３Ｄ基準形状についてのボリュームデータが、筆圧値に応じた大きさであって、認識された筆種に応じた大きさで、生成される。

【0077】

このステップＳ１０８の次には、制御部１０１は、生成したボリュームデータで形成される立体形状の内部に、前述したようにして、２次元曲面ＰＬｏを設定し、その設定した２次元曲面ＰＬｏの一方の面側に位置するボリュームデータ部分を、レンダリング対象データとして生成する（ステップＳ１０９）。

【0078】

次に、制御部１０１は、光源変更部２０１ＬＥで指定されている光源位置を認識すると共に、明るさ調整部２０１ＢＲＴでの調整値やカラー調整部２０１ＣＣでの調整値を認識し、それらの認識結果を用いながら、ステップＳ１０９で生成されたレンダリング対象のボリュームデータに対して、この例では、サーフェスレンダリングを施す（ステップＳ１１０）。そして、制御部１０１は、レンダリングを施した３Ｄ画像を、表示部２０１に送って、その表示画面に表示させるようにする（ステップＳ１１１）。

【0079】

［実施形態の効果］
以上説明したようにして、この実施形態の画像処理装置によれば、座標データに基づいて、所定の３Ｄ基準形状のボリュームデータを生成するようにするだけで、電子ペン２０３によるストローク状の指示入力を、油絵の具で描いたように厚みを表示することが可能となる。しかも、上述の実施形態では、電子ペン２０３に印加されている筆圧値に応じて、ボリュームデータを生成する基準となる３Ｄ基準形状の大きさを変更するので、使用者は、筆圧により、油絵の具の厚みを変化させるようにすることができ、使用者の実際の筆致に応じた絵画の描画表現をすることが可能である。

【0080】

そして、上述の実施形態では、電子ペン２０３に印加されている筆圧値だけでなく、使用者が選択する筆種に応じて、ボリュームデータを生成する基準となる３Ｄ基準形状の大きさを変更することができ、その点でも、使用者が所望する絵画の描画表現が可能となる。

【0081】

そして、上述の実施形態によれば、３Ｄ基準形状を使用者が選択することができるので、使用者は、油絵の具の厚みを選択することも可能となるという効果もある。

【0082】

なお、レンダリング処理部１１０におけるレンダリング対象データ生成部１１１の処理は、上述のような処理に限られるものではない。例えば、電子ペン２０３により指示された位置の座標データに基づいて、２次元曲面を設定し、その２次元曲面上に、ボリュームデータ生成部で生成したボリュームデータを配置することができるように、当該ボリュームデータを修正する。すなわち、典型的には、電子ペン２０３により指示された位置の座標データを含む２次元曲面で、ボリュームデータに基づいて生成される画像を分断し、その分断面を２次元曲面に置くようにして、レンダリング対象のボリュームデータを生成する。

【0083】

また、上述の実施形態では、電子ペン２０３により指示された位置の座標データに基づく２次元曲面として、当該座標データを含み、センサのＸ軸方向及びＹ軸方向に平行で、Ｚ＝０の２次元曲面に固定した。しかし、電子ペン２０３により指示された位置の座標データに基づく２次元曲面は、固定ではなく、使用者が変更設定可能とするようにしてもよい。例えば、図７（Ａ）に示すように、２次元曲面は、その法線方向（例えば、－Ｚ軸方向）に変更設定可能とするようにしてもよい。図７（Ａ）の例は、図５（Ｄ）に示した２次元曲面（一点鎖線３０１）を、法線方向（例えば、－Ｚ軸方向）にΔＺだけ下方に変更した２次元曲面（実線３０２）の場合の例である。この場合、２次元平面の下方に存在するレンダリング処理を施されていないボリュームデータが存在するため、そのボリュームデータを含めた２次元曲面の上方側のボリュームデータに再度レンダリング処理を行う。

【0084】

また、図７（Ｂ）に示すように、２次元曲面は、所定の傾き角θだけ傾けて変更設定することが可能としてもよい。図７（Ｂ）の例は、図５（Ｄ）に示した２次元曲面（一点鎖線３０１）を、電子ペン２０３により指示された位置の座標データ（Ｘｉ，Ｙｉ）を含むＹ軸方向に沿う直線位置を回転中心線として角度θだけ回転させた２次元曲面（実線３０３）の場合の例である。なお、２次元曲面を傾ける場合には、法線方向（Ｚ軸方向）への変更を伴ってもよい。また、２次元曲面を傾ける方向は、いずれの方向であってもよいことは言うまでもない。この場合も上述のように、２次元平面の下方に存在するレンダリング処理を施されていないボリュームデータが存在するため、そのボリュームデータを含めた２次元曲面の上方側のボリュームデータに再度レンダリング処理を行う。いずれの場合も、レンダリング処理部１１０は、変更設定された２次元曲面に対してリアルタイムでレンダリング処理を行うように調整されることができる。

【0085】

また、２Ｄ／３Ｄ切替ボタン２０１ＳＷの切り替えにより、３Ｄ画像と２Ｄ画像を混在させて、表示部２０１の表示画面に電子ペン２０３に描画するようにしてもよい。

【0086】

また、上述の実施形態では、レンダリング処理部１１０のレンダリング実行部１１２では、レンダリング対象のボリュームデータにサーフェスレンダリングを施すようにしたが、ボリュームレンダリングを施すようにしてもよい。

【0087】

また、上述の実施形態では、筆種と、３Ｄ基準形状とは、それぞれ独立して選択可能としたが、筆種のそれぞれに応じて、異なる３Ｄ基準形状を予め対応付けておくようにしてもよい。

【0088】

［その他の変形例］
上述の実施形態では、指示体は、電子ペンとしたが、指であってもよい。また、電子ペンにペンは、静電容量方式のものとしたが、電子ペンは、電磁誘導方式や、その他の方式のものでよく、その方式は問わない。

【0089】

画像処理装置は、画像処理装置本体１００とタブレット端末２００とからなる構成としたが、これに限られるものではなく、画像処理装置本体１００とタブレット端末２００とを一体化した装置の構成であっても勿論よい。すなわち、この発明の画像処理装置は、要は、画像処理装置本体１００の機能を備えると共に、タブレット端末２００の位置検出部２０２の機能を備える構成であれば、どのような構成であってもよい。

【符号の説明】

【0090】

１００…画像処理装置本体、２００…タブレット端末、２０１…表示部、２０２…位置検出部、２０３…電子ペン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】