特許 6315122 表示制御装置、表示制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6315122

(24)【登録日】2018年4月6日

(45)【発行日】2018年4月25日

(54)【発明の名称】表示制御装置、表示制御方法及びプログラム

(51)【国際特許分類】

   G06F 3/0484 20130101AFI20180416BHJP

   G06F 3/0488 20130101ALI20180416BHJP

   G06T 19/00 20110101ALI20180416BHJP

【ＦＩ】

   G06F3/0484 150

   G06F3/0488

   G06T19/00 A

【請求項の数】7

【全頁数】26

(21)【出願番号】特願2017-43709(P2017-43709)

(22)【出願日】2017年3月8日

(62)【分割の表示】特願2013-58001(P2013-58001)の分割

【原出願日】2013年3月21日

(65)【公開番号】特開2017-134851(P2017-134851A)

(43)【公開日】2017年8月3日

【審査請求日】2017年3月28日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(72)【発明者】

【氏名】菊間 建史

【審査官】 岩橋 龍太郎

(56)【参考文献】

【文献】 特開２０１０−２７７３３１（ＪＰ，Ａ）

【文献】 特開平０６−２３１２２１（ＪＰ，Ａ）

【文献】 特開平１１−２６５２５０（ＪＰ，Ａ）

【文献】 特開平０１−３２１５６９（ＪＰ，Ａ）

【文献】 特開２０１１−２４８４４３（ＪＰ，Ａ）

【文献】 特開平０８−０６３３２６（ＪＰ，Ａ）

【文献】 特表２００８−５０８６３０（ＪＰ，Ａ）

【文献】 特開２００８−２４２８９４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８− ３／０４８９

Ｇ０６Ｆ ３／１４− ３／１５３

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １１／６０−１３／８０

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １９／００−１９／２０

(57)【特許請求の範囲】

【請求項1】

第１物体画像と第２物体画像とを表示制御する表示制御手段と、
前記各物体画像を対象にしたユーザによる任意操作を検出する検出手段と、
前記第１物体画像に対応する第１物体に対して前記操作を行った場合のシミュレーション結果による第１シミュレーション画像と、前記第２物体画像に対応する第２物体に対して前記操作を行った場合のシミュレーション結果による第２シミュレーション画像と、を取得する取得手段と、
を具備し、
前記検出手段は、前記第１物体画像内の任意位置に対するユーザによる任意操作を検出し、
前記取得手段は、検出された前記第１物体画像内の位置に対応する前記第１物体の位置に対して操作された場合の第１シミュレーション画像と、前記第１物体画像内の位置に相当する前記第２物体画像内の位置に対して前記操作を行った場合の第２シミュレーション画像と、を取得し、
前記表示制御手段は、前記取得手段で取得した前記第１シミュレーション画像と前記第２シミュレーション画像とを表示制御する、
ことを特徴とする表示制御装置。

【請求項2】

前記第１物体画像は、ユーザにより任意に選択された第１物体の画像であり、
前記第２物体画像は、前記第１物体との比較用に特定された第２物体の画像である、
ことを特徴とする請求項１に記載の表示制御装置。

【請求項3】

前記取得手段は、前記各物体のそれぞれの材料特性に基づいて、その各物体がどのように変化するかをシミュレーションした結果のシミュレーション画像をそれぞれ取得する、
ことを特徴とする請求項１又は２に記載の表示制御装置。

【請求項4】

前記検出手段は、ユーザによる任意の圧力操作による圧力を検出し、
前記取得手段は、検出された前記圧力に応じて前記各物体がどのように変形するかをシミュレーションした結果のシミュレーション画像をそれぞれ取得する、
ことを特徴とする請求項１〜３何れかに記載の表示制御装置。

【請求項5】

前記表示制御手段は、前記各物体のシミュレーション画像を、その各物体の前記各物体画像に代えて表示制御する、
ことを特徴とする請求項１〜４何れかに記載の表示制御装置。

【請求項6】

第１物体画像と第２物体画像とを表示制御する表示ステップと、
前記各物体画像を対象にしたユーザによる任意操作を検出する検出ステップと、
前記第１物体画像に対応する第１物体に対して前記操作を行った場合のシミュレーション結果による第１シミュレーション画像と、前記第２物体画像に対応する第２物体に対して前記操作を行った場合のシミュレーション結果による第２シミュレーション画像と、を取得する取得ステップと、
を有し、
前記検出ステップは、前記第１物体画像内の任意位置に対するユーザによる任意操作を検出し、
前記取得ステップは、検出された前記第１物体画像内の位置に対応する前記第１物体の位置に対して操作された場合の第１シミュレーション画像と、前記第１物体画像内の位置に相当する前記第２物体画像内の位置に対して前記操作を行った場合の第２シミュレーション画像と、を取得し、
前記表示ステップは、前記取得ステップで取得した前記第１シミュレーション画像と前記第２シミュレーション画像とを表示制御する、
ことを特徴とする表示制御方法。

【請求項7】

表示制御装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
第１物体画像と第２物体画像とを表示制御する表示制御手段、
前記各物体画像を対象にしたユーザによる任意操作を検出する検出手段、
前記第１物体画像に対応する第１物体に対して前記操作を行った場合のシミュレーション結果による第１シミュレーション画像と、前記第２物体画像に対応する第２物体に対して前記操作を行った場合のシミュレーション結果による第２シミュレーション画像と、を取得する取得手段、
として機能させ、
前記検出手段は、前記第１物体画像内の任意位置に対するユーザによる任意操作を検出し、
前記取得手段は、検出された前記第１物体画像内の位置に対応する前記第１物体の位置に対して操作された場合の第１シミュレーション画像と、前記第１物体画像内の位置に相当する前記第２物体画像内の位置に対して前記操作を行った場合の第２シミュレーション画像と、を取得し、
前記表示制御手段は、前記取得手段で取得した前記第１シミュレーション画像と前記第２シミュレーション画像とを表示制御する、
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示制御装置、表示制御方法及びプログラムに関する。

【背景技術】

【0002】

近年、表示装置に表示されるオブジェクト（対象物体）に対し、圧力入力手段により加えられた圧力情報に基づいてオブジェクトを変形させる技術が開発されている。
例えば、特許文献１には、基本構造物の表面に感圧センサシートを張り付け、ユーザの手などによりその表面に加えられた圧力を検出し、その基本構造物のグラフィックス表現によるオブジェクトに加工・変形を加える３次元物体形状生成方法が開示されている。また、特許文献２には、感圧手段を有するコントローラに入力された操作圧力に応じて表示装置に表示されたオブジェクトを変形させる方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平６−２３１２２１号公報

【特許文献2】特表２００３−５１９５５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記した従来の技術では、加えられた圧力に対する画像中の対象物体の変形の程度は、その材料特性によらず、一律であったので、対象物体の材料特性を体感することができなかった。

【0005】

本発明の課題は、対象となる物体に対する任意操作により、その物体がどのように変化するかを確認できるようにすることにある。

【課題を解決するための手段】

【0006】

本発明に係る表示制御装置は、第１物体画像と第２物体画像とを表示制御する表示制御手段と、前記各物体画像を対象にしたユーザによる任意操作を検出する検出手段と、前記第１物体画像に対応する第１物体に対して前記操作を行った場合のシミュレーション結果による第１シミュレーション画像と、前記第２物体画像に対応する第２物体に対して前記操作を行った場合のシミュレーション結果による第２シミュレーション画像と、を取得する取得手段と、を具備し、前記検出手段は、前記第１物体画像内の任意位置に対するユーザによる任意操作を検出し、前記取得手段は、検出された前記第１物体画像内の位置に対応する前記第１物体の位置に対して操作された場合の第１シミュレーション画像と、前記第１物体画像内の位置に相当する前記第２物体画像内の位置に対して前記操作を行った場合の第２シミュレーション画像と、を取得し、前記表示制御手段は、前記取得手段で取得した前記第１シミュレーション画像と前記第２シミュレーション画像とを表示制御する、ことを特徴とする。
また、本発明に係る表示制御方法は、第１物体画像と第２物体画像とを表示制御する表示ステップと、前記各物体画像を対象にしたユーザによる任意操作を検出する検出ステップと、前記第１物体画像に対応する第１物体に対して前記操作を行った場合のシミュレーション結果による第１シミュレーション画像と、前記第２物体画像に対応する第２物体に対して前記操作を行った場合のシミュレーション結果による第２シミュレーション画像と、を取得する取得ステップと、を有し、前記検出ステップは、前記第１物体画像内の任意位置に対するユーザによる任意操作を検出し、前記取得ステップは、検出された前記第１物体画像内の位置に対応する前記第１物体の位置に対して操作された場合の第１シミュレーション画像と、前記第１物体画像内の位置に相当する前記第２物体画像内の位置に対して前記操作を行った場合の第２シミュレーション画像と、を取得し、前記表示ステップは、前記取得ステップで取得した前記第１シミュレーション画像と前記第２シミュレーション画像とを表示制御する、ことを特徴とする。
また、本発明に係るプログラムは、表示制御装置のコンピュータを制御するためのプログラムであって、前記コンピュータを、第１物体画像と第２物体画像とを表示制御する表示制御手段、前記各物体画像を対象にしたユーザによる任意操作を検出する検出手段、前記第１物体画像に対応する第１物体に対して前記操作を行った場合のシミュレーション結果による第１シミュレーション画像と、前記第２物体画像に対応する第２物体に対して前記操作を行った場合のシミュレーション結果による第２シミュレーション画像と、を取得する取得手段、として機能させ、前記検出手段は、前記第１物体画像内の任意位置に対するユーザによる任意操作を検出し、前記取得手段は、検出された前記第１物体画像内の位置に対応する前記第１物体の位置に対して操作された場合の第１シミュレーション画像と、前記第１物体画像内の位置に相当する前記第２物体画像内の位置に対して前記操作を行った場合の第２シミュレーション画像と、を取得し、前記表示制御手段は、前記取得手段で取得した前記第１シミュレーション画像と前記第２シミュレーション画像とを表示制御する、ことを特徴とする。

【発明の効果】

【0007】

本発明によれば、対象となる物体に対する任意操作により、その物体がどのように変化するかを確認することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の第１実施形態に係る情報処理システムの全体構成例を示す図である。

【図2】本発明の第１実施形態に係るサーバ装置の機能構成を示すブロック図である。

【図3】本発明の第１実施形態に係るクライアント端末の平面図である。

【図4】図３のＩＶ−ＩＶ線の概略断面図である。

【図5】第１実施形態に係るクライアント端末の機能構成を示すブロック図である。

【図6】材料特性テーブルの構成を示す図である。

【図7】第１実施形態に係る情報処理システムにおいて実行される画像変形処理のフローチャートである。

【図8】画像変形処理条件入力画面の構成例を示す図である。

【図9】シミュレーション画面を示す図である。

【図10】第２実施形態に係るクライアント端末の概略断面図である。

【図11】第２実施形態に係るクライアント端末の機能構成を示すブロック図である。

【図12】第２実施形態に係る情報処理システムにおいて実行される画像変形処理のフローチャートである。

【図13】画像変形処理条件入力画面の構成例を示す図である。

【図14】ひねり動作に係るシミュレーション画面を示す図である。

【図15】つまみ動作に係るシミュレーション画面を示す図である。

【図16】第３実施形態に係る情報処理装置の機能構成を示すブロック図である。

【図17】第３実施形態に係る情報処理装置において実行される画像変形処理のフローチャートである。

【図18】第４実施形態に係る情報処理装置の機能構成を示すブロック図である。

【図19】第４実施形態に係る情報処理装置において実行される画像変形処理のフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施の形態を図面に基づいて説明する。

【0010】

[第１実施形態]
情報処理システム１は、図１に示すように、サーバ装置１００と、クライアント端末２００とを備える。それらの機器は通信ネットワークＮを介して接続されている。通信ネットワークＮは、専用線や既存の一般公衆回線を利用して構築された通信ネットワークＮであり、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の様々な回線形態を適用することが可能である。また、通信ネットワークＮには、例えば、電話回線網、ＩＳＤＮ回線網、専用線、移動体通信、通信衛星回線、ＣＡＴＶ回線網等の各種通信ネットワーク網と、ＩＰネットワーク、ＶｏＩＰ（Voice over Internet Protocol）ゲートウェイ、インターネットサービスプロバイダ等が含まれる。

【0011】

先ず、図２を参照して、サーバ装置１００の機能構成を説明する。図２に示すように、サーバ装置１００は、機器の全体的な制御を行うＣＰＵ（Central Processing Unit）１１０と、複数の操作キーを有する入力部１２０と、ＣＰＵ１１０に作業用のメモリ空間を提供するＲＡＭ（Random Access Memory）１３０と、表示部１４０と、ＣＰＵ１１０が実行する制御プログラムや制御データを格納した記憶部１５０と、通信部１６０と、を備える。ＣＰＵ１１０、入力部１２０、ＲＡＭ１３０、表示部１４０、記憶部１５０、通信部１６０は、バス１７０を介して接続されている。

【0012】

ＣＰＵ１１０は、記憶部１５０に記憶されているシステムプログラムを読み出し、読み出したプログラムをＲＡＭ１３０のワークエリアに展開し、該システムプログラムに従って各部を制御する。また、ＣＰＵ１１０は、記憶部１５０のプログラム記憶部１５１に記憶されている各種処理プログラムを読み出してワークエリアに展開して処理を実行する。例えば、ＣＰＵ１１０は、後述する画像変形処理を実行することで、画像制御手段として機能する。

【0013】

入力部１２０は、カーソルキー、文字、数字入力キー及び各種機能キーなどを備えたキーボードを含む構成とし、操作者による各キーの押下入力を受け付けてその操作情報をＣＰＵ１１０に出力する。また、入力部１２０は、マウス等のポインティングデバイスを含み、位置入力を受け付けて操作情報としてＣＰＵ１１０に出力する。

【0014】

ＲＡＭ１３０は、揮発性のメモリである。また、ＲＡＭ１３０は、実行される各種プログラムやこれら各種プログラムに係るデータ等を格納するワークエリアを有する。

【0015】

表示部１４０は、ＬＣＤ（Liquid Crystal Display）等で構成され、ＣＰＵ１１０から入力される表示情報に応じて各種表示を行う。

【0016】

記憶部１５０は、磁気記録媒体を有するＨＤＤ（Hard Disk Drive）、不揮発性の半導体メモリ等により構成される。記憶部１５０には、図２に示すように、プログラム記憶部１５１、画像記憶部１５３、材料特性記憶部１５４等が設けられている。

【0017】

プログラム記憶部１５１には、ＣＰＵ１１０で実行されるシステムプログラムやサーバ処理プログラム１５２等の各種プログラムおよびこれらのプログラムの実行に必要なデータ等が記憶されている。
これらのプログラムは、コンピュータ読み取り可能なプログラムコードの形態でプログラム記憶部１５１に格納されている。ＣＰＵ１１０は、当該プログラムコードに従った動作を逐次実行する。

【0018】

サーバ処理プログラム１５２は、対象物体（以下、オブジェクトという。）の画像に加えられた圧力に基づいて対象物体の画像の変形をシミュレーションするプログラムである。

【0019】

画像記憶部１５３には、オブジェクトの画像データ、および、基準物体（以下、硬さ基準オブジェクトという。）の画像データが記憶されている。

【0020】

硬さ基準オブジェクトとは、材料特性の基準、言い換えると、硬さの比較のための基準となるオブジェクトである。

【0021】

材料特性記憶部１５４には、画像記憶部１５３に記憶されている画像データに対応した材料特性テーブルＴ１が記憶されている。
ここで、材料特性記憶部１５４は、対象物体の材料特性を記憶する記憶手段として機能する。

【0022】

材料特性テーブルＴ１は、図６に示すように、画像番号Ｔ１１と、画像名Ｔ１２と、材質Ｔ１３と、硬さデータＴ１４と、のフィールドを有する。材料特性テーブルＴ１には、オブジェクトおよび硬さ基準オブジェクトの材料特性データが格納されている。

【0023】

画像番号Ｔ１１は、画像データを識別する識別情報である。画像名Ｔ１２は、画像番号Ｔ１１の画像の名称である。材質Ｔ１３は、画像番号Ｔ１１の画像に係るオブジェクトの材質である。硬さデータＴ１４は、画像番号Ｔ１１の画像に係るオブジェクトの硬さデータであり、ビッカース硬度、ヤング率、剛性率、ポアソン比等である。

【0024】

サーバ側通信手段としての通信部１６０は、モデム、ルータ、ネットワークカード等により構成され、通信ネットワークＮに接続されて、通信ネットワークＮ上のクライアント端末２００との通信を行う。

【0025】

次に、図３〜図５を参照して、クライアント端末２００の機能構成を説明する。
クライアント端末２００は、機器の全体的な制御を行うＣＰＵ（Central Processing Unit）２１０と、入力部２２１と表示部２２５とを有するタッチパネル２２０と、タッチパネル２２０に加えられた圧力を検出する圧力センサ部２３０と、複数の操作キーを有するキーボード２６０と、ＣＰＵ２１０に作業用のメモリ空間を提供するＲＡＭ（Random Access Memory）２７０と、ＣＰＵ２１０が実行する制御プログラムや制御データ等を格納した記憶部２８０と、通信部２９５と、を備える。ＣＰＵ２１０、タッチパネル２２０、圧力センサ部２３０、キーボード２６０、ＲＡＭ２７０、記憶部２８０、通信部２９５は、バス２９６を介して接続されている。

【0026】

ＣＰＵ２１０は、記憶部２８０に記憶されているシステムプログラムを読み出し、ＲＡＭ２７０のワークエリアに展開し、該システムプログラムに従って各部を制御する。また、ＣＰＵ２１０は、記憶部２８０のプログラム記憶部２８１に記憶されている各種処理プログラムを読み出してワークエリアに展開して処理を実行する。
例えば、ＣＰＵ２１０は、後述する画像変形処理の内、クライアント端末２００側の処理を実行することで、表示制御手段として機能する。

【0027】

タッチパネル２２０は、入力部２２１と、表示部２２５とを備えて構成される。表示部２２５は、ＬＣＤ（Liquid Crystal Display）、ＥＬＤ（Electro Luminescent Display）等により構成され、ＣＰＵ２１０から入力される表示信号の指示に従って、文字入力画像等の表示画像を表示する。入力部２２１は、ユーザの指等の接触（押下）による表示部２２５に表示された画面上の位置入力を受け付け、その位置（座標）情報をＣＰＵ２１０に出力する。入力部２２１は、例えば、抵抗膜方式、静電容量方式である。

【0028】

圧力センサ部２３０は、印加された圧力を、歪ゲージ抵抗式、半導体ピエゾ抵抗式、静電容量式、シリコンレゾナント式などの方式の感圧素子で計測し、電気信号に変換し出力する。ここで、圧力センサ部２３０は、タッチパネル２２０に加えられた圧力を検出する圧力検出手段として機能する。

【0029】

キーボード２６０は、カーソルキー、文字、数字入力キー及び各種機能キーなどを備えた構成であり、ユーザによる各キーの押下入力を受け付けてその操作情報をＣＰＵ２１０に出力する。

【0030】

ＲＡＭ２７０は、揮発性のメモリである。また、ＲＡＭ２７０は、実行される各種プログラムやこれら各種プログラムに係るデータ等を格納するワークエリアを有する。

【0031】

記憶部２８０は、磁気記録媒体を有するＨＤＤ（Hard Disk Drive）、不揮発性の半導体メモリ等により構成される。記憶部２８０には、図５に示すように、プログラム記憶部２８１が設けられている。

【0032】

プログラム記憶部２８１には、ＣＰＵ１１０で実行されるシステムプログラムや第１の端末処理プログラム２８２等の各種プログラムおよびこれらのプログラムの実行に必要なデータ等が記憶されている。
これらのプログラムは、コンピュータ読み取り可能なプログラムコードの形態でプログラム記憶部２８１に格納されている。ＣＰＵ２１０は、当該プログラムコードに従った動作を逐次実行する。

【0033】

端末側通信手段としての通信部２９５は、モデム、ルータ、ネットワークカード等により構成され、通信ネットワークＮに接続されて、通信ネットワークＮ上のクライアント端末２００との通信を行う。

【0034】

次に、第１実施形態の情報処理システム１において実行される画像変形処理の動作について、図７を参照して説明する。
画像変形処理におけるクライアント端末２００側の処理は、ＣＰＵ２１０と記憶部２８０に記憶されている第１の端末処理プログラム２８２との協働により実行される。画像変形処理におけるサーバ装置１００側の処理は、ＣＰＵ１１０と記憶部１５０に記憶されているサーバ処理プログラム１５２との協働により実行される。

【0035】

先ず、クライアント端末２００のＣＰＵ２１０は、入力部２２１への入力指示により、通信部２９５を介してサーバ装置１００へのアクセスを行い、サーバ装置１００に対し、画像変形処理条件入力画面の生成およびその画面の送信を要求する（ステップＳ１）。

【0036】

サーバ装置１００のＣＰＵ１１０は、通信部１６０よりクライアント端末２００から画像変形処理条件入力画面の生成およびその画面返信の要求を受信すると、画像変形処理条件入力画面を生成し、その画面を通信部１６０により要求元のクライアント端末２００に送信する（ステップＳ２）。

【0037】

クライアント端末２００のＣＰＵ２１０は、通信部２９５によりサーバ装置１００からの送信を受信すると、クライアント端末の表示部２２５に画像変形処理条件入力画面２２５１を表示する（ステップＳ３）。

【0038】

画像変形処理条件入力画面２２５１には、図８に示すように、画像選択欄２２５１Ａと、圧力印加形状選択欄２２５１Ｂと、圧力印加位置選択欄２２５１Ｃと、硬さ基準オブジェクト選択欄２２５１Ｄと、実行ボタン２２５１Ｅとが表示されている。

【0039】

画像選択欄２２５１Ａは、変形処理を実行したいオブジェクトの画像を選択する欄である。画像選択欄２２５１Ａのプルダウンメニューによりオブジェクトの画像を選択する。圧力印加形状選択欄２２５１Ｂは、オブジェクトの画像に対して圧力を印加する場合の印加形状を選択する欄である。圧力印加形状選択欄２２５１Ｂのチェックボタンにより、欄中に表示された印加形状を選択する。デフォルト設定は標準設定である。圧力印加位置選択欄２２５１Ｃは、オブジェクトの画像のどの位置に圧力を印加するかを、チェックボタンにより選択する欄である。デフォルト設定は標準設定であり、例えば、画像の中心に設定されている。硬さ基準オブジェクト選択欄２２５１Ｄは、チェックボタンにより硬さ基準オブジェクトを選択する欄である。デフォルト設定は標準設定であり、予め定められた硬さ基準オブジェクトが設定されている。実行ボタン２２５１Ｅは、選択された条件で変形処理を実行するためのボタンである。

【0040】

ここで、硬さ基準オブジェクトは、ユーザの手元に保有して、硬さ基準オブジェクトを介してオブジェクトの硬さを擬似的に体感できるようにするためのものである。硬さ基準オブジェクトは、予め定められたものを標準に設定するが、オブジェクト画像との比較の観点から、複数種類用意してユーザ指定できるようにされている。具体的には、硬さ基準オブジェクトは、調達容易性等を考慮して、例えば、粘土、スポンジ等からユーザが指定できるようにされている。

【0041】

次に、クライアント端末２００のＣＰＵ２１０は、画像変形処理条件入力画面２２５１を介してユーザにより圧力印加形状、オブジェクトの画像等が選択されて実行ボタンが押下されると、圧力印加形状、オブジェクトの画像等を選択する（ステップＳ４）。ここで、ＣＰＵ２１０、圧力印加形状選択欄２２５１Ｂを表示する表示部２２５、入力部２２１は、圧力が加わる範囲の形状を示す圧力印加形状を選択する選択手段として機能する。

【0042】

次に、クライアント端末２００のＣＰＵ２１０は、通信部２９５を介してサーバ装置１００へのアクセスを行い、サーバ装置１００に対し、シミュレーション画面の生成およびその画面の返信を要求する（ステップＳ５）。

【0043】

サーバ装置１００のＣＰＵ１１０は、通信部１６０よりクライアント端末２００からシミュレーション画面の生成およびその画面返信の要求を受信すると、シミュレーション画面を生成し、その画面を通信部１６０により要求元のクライアント端末２００に送信する（ステップＳ６）。

【0044】

次に、クライアント端末２００のＣＰＵ２１０は、シミュレーション画面を表示させる（ステップＳ７）。
シミュレーション画面２２５２には、図９（Ａ）に示すように、選択されたオブジェクトの画像Ｐが表示される。また、硬さ基準オブジェクト表示欄２２５２Ａに硬さ基準オブジェクトの画像Ｓが表示される。

【0045】

次に、クライアント端末２００のＣＰＵ２１０は、タッチパネル２２０への接触が検出されたか否か判断する（ステップＳ８）。ＣＰＵ１１０は、タッチパネル２２０への接触が検出されないと判断すると（ステップ８４；ＮＯ）、接触検出を継続する。一方、図９（Ｂ）に示すように、ユーザの手Ｈの指にてタッチパネル２２０上のオブジェクトの画像Ｐに対して指などで圧力が加えられることにより、ＣＰＵ２１０が、タッチパネル２２０への接触を検出した場合（ステップＳ８；ＹＥＳ）、加えられた接触の位置データを取得して、通信部２９５を介してサーバ装置１００にその位置データを送信する（ステップＳ９）。圧力印加位置選択が標準設定である場合には、その旨のデータを送信する。また、その圧力データを取得して、通信部２９５を介してサーバ装置１００そのデータを送信する（ステップＳ１０）。

【0046】

サーバ装置１００のＣＰＵ１１０は、通信部１６０よりクライアント端末２００から位置データ、圧力データを受信すると、オブジェクトの画像に対するシミュレーションを実行して、その結果を通信部１６０により要求元のクライアント端末２００に送信する（ステップＳ１１）。また、サーバ装置１００のＣＰＵ１１０は、硬さ基準オブジェクトの画像Ｓに対するシミュレーションを実行して、その結果を通信部１６０により要求元のクライアント端末２００に送信する（ステップＳ１２）。

【0047】

選択されたオブジェクトの画像Ｐに対するシミュレーションは以下のように行われる。サーバ装置１００のＣＰＵ１１０は、先ず、材料特性テーブルＴ１を参照して、オブジェクトの画像Ｐと基準オブジェクトの画像Ｓに係る硬さデータを図６に示す材料特性テーブルＴ１から取得する。
次に、圧力データ、その位置データ、圧力印加形状に基づいてオブジェクトの画像Ｐに対する変形シミュレーションを実施する。材料特性としては、材質Ｔ１３または／および硬さデータＴ１４（例えばヤング率等の弾性率）を用いることができる。

【0048】

ここで、シミュレーションには、サーバ処理プログラム１５２に含まれるシミュレーションプログラムが用いられる。

【0049】

次に、クライアント端末２００のＣＰＵ２１０は、シミュレーション結果により、変形されたオブジェクトの画像ＰＡを表示する（ステップＳ１３）。

【0050】

次に、クライアント端末２００のＣＰＵ２１０は、シミュレーション結果により、変形された硬さ基準オブジェクトの画像ＳＡを表示する（ステップＳ１４）。

【0051】

具体的には、クライアント端末２００のＣＰＵ２１０は、図９（Ｃ）に示すように、オブジェクトの画像と、硬さ基準オブジェクトの画像の双方に対してシミュレーション結果に係る変形された画像ＰＡ、ＳＡを表示する。

【0052】

そして、次に、クライアント端末２００のＣＰＵ２１０は、ステップＳ１５において、画面に表示されたオブジェクトの画像に関してタッチパネル２２０上への接触を検出しないと（ステップＳ１５；ＮＯ）、本処理を終了する。一方、ステップＳ１５にて、接触を検出すると（ステップＳ１５；ＹＥＳ）、ステップＳ９に移行し、ステップＳ９以降の処理を行うことで、位置データと圧力データを取り込み、サーバ装置１００と通信しつつ、シミュレーションを継続する。このようにして、最初はユーザがオブジェクトの画像Ｐに対応してタッチパネル２２０上に指などで小さな圧力を加えると、サーバ装置１００のＣＰＵ１１０は変形シミュレーションを行い、クライアント端末２００の表示部２２５に変形画面が表示され、更に大きな圧力が加えられると、変形がさらに進行するように構成されている。

【0053】

以上のように、第１実施形態に係る情報処理システム１によれば、クライアント端末２００と、クライアント端末２００と通信ネットワークＮを介してデータ送受信可能に接続されるサーバ装置１００と、を備える情報処理システム１において、クライアント端末２００は、タッチ入力機能を有する入力部２２１と、入力部２２１の下面に配置された表示部２２５と、を有するタッチパネル２２０と、タッチパネル２２０に加えられた圧力を検出する圧力検出手段としての圧力センサ部２３０を備え、クライアント端末のＣＰＵ２１０は、対象物体の画像を表示部２２５に表示し、クライアント端末２００は、選択された対象物体に関する情報、および、タッチパネル２２０に加えられた圧力に関する情報をサーバ装置１００に送信する端末側通信手段としての通信部２９５、を備え、サーバ装置１００のＣＰＵ１１０は、画像制御手段として、圧力検出手段としての圧力センサ部２３０により検出された圧力に基づいて、表示部２２５に表示された対象物体の材料特性に応じた変形後の対象物体の画像を生成し、サーバ装置１００は、その生成された変形後の対象物体の画像をクライアント端末２００に送信するサーバ側通信手段としての通信部１６０を備え、クライアント端末２００のＣＰＵ２１０は、表示制御手段として、サーバ装置１００から送信された変形後の対象物体の画像を表示部２２５に表示する。
これにより、画像に係る対象物体に圧力を加えた場合に、その対象物体の材料特性に応じた変形を表現することができるので、ユーザは加えた圧力と対象物体の変形とを対応付けて認識することができることとなって、対象物体の材料特性を体感することができる。

【0054】

また、情報処理システム１によれば、表示制御手段としてのＣＰＵ２１０は、材料特性の基準を示す基準物体の画像を表示部２２５に表示し、画像制御手段としてのＣＰＵ１１０は、検出された圧力に基づいて、基準物体の材料特性に応じた変形後の前記基準物体の画像を生成し、表示制御手段としてのＣＰＵ２１０は、画像制御手段としてのＣＰＵ１１０により生成された変形後の基準物体の画像を表示部２２５に表示する。
これにより、対象物体の画像に加えられた圧力に基づいて、対象物体の画像が変形されると共に、基準物体の画像が変形されるので、基準物体を介して対象物体の硬さを擬似的に体感することができる。すなわち、基準物体に係る現物を手元で触って変形させ、シミュレーション結果と比較することで、対象物体の硬さを把握することができる。

【0055】

また、情報処理システム１によれば、サーバ装置１００は、対象物体の材料特性を記憶する記憶手段としての材料特性記憶部１５４を備え、画像制御手段としてのＣＰＵ１１０は、対象物体の材料特性を材料特性記憶部１５４から取得し、圧力センサ部２３０により検出された圧力に基づいて、取得した対象物体の材料特性に応じて対象物体の変形をシミュレーションし、シミュレーションした結果に基づいて変形後の対象物体の画像を生成する。
したがって、圧力に応じた対象物体の変形を連続的に表現できることとなって、対象物体の材料特性をより確実に実感することができる。

【0056】

また、情報処理システム１によれば、タッチパネル２２０の入力部２２１は、圧力が加えられた対象物体の画像上の位置を検出し、画像制御手段としてのＣＰＵ１１０は、入力部２２１により検出された対象物体の画像上の位置に基づいて、変形後の対象物体の画像を生成する。
これにより、対象物体の画像における変形位置を任意に設定できることとなって、対象物体の材料特性をより確実に実感することができる。

【0057】

また、情報処理システム１によれば、対象物体の画像に対して圧力を加える際に、圧力が加わる範囲の形状を示す圧力印加形状を選択する選択手段としての、ＣＰＵ２１０、圧力印加形状選択欄２２５１Ｂを表示する表示部２２５、入力部２２１を具備し、画像制御手段としてのＣＰＵ１１０は、その選択された圧力印加形状に基づいて、変形後の対象物体の画像を生成する。
これにより、圧力を加える際の形状を変更することができることとなって、対象物体の材料特性をより確実に実感することができる。

【0058】

［第２実施形態］
次に本発明の第２実施形態に係る情報処理システム２について説明する。
第２実施形態に係る情報処理システム２は、以下に詳細に説明する以外の点で上記実施形態１の情報処理システム１と略同様の構成をなしている。よって、共通する構成部には対応する符号を付し、詳細な説明は省略する。

【0059】

第２実施形態に係る情報処理システム２は、図示を省略するが、図１のサーバ１００と、クライアント端末３００とを備え、それらの機器は通信ネットワークを介して接続されている。クライアント端末３００は、その平面図は省略するが、図１０の概略断面図は、図４と同じ場所の断面図である。クライアント端末３００は、図１０に示すように、第１実施形態に係るクライアント端末２００と同様、筐体２９０の第１の面部２２８、すなわち、クライアント端末３００の表面側にタッチパネル２２０（入力部２２１および表示部２２５）および圧力センサ部２３０が設けられている。それに加えて、筐体２９０の第２の面部２３８、すなわち、装置の裏面側に第２入力部２４０および第２圧力センサ部２５０が設けられている。

【0060】

また、第２実施形態に係る情報処理システム２のクライアント端末３００は、図１１に示すように、第１実施形態の情報処理システム１のクライアント端末２００の構成に加え、第２入力部２４０と、第２入力部２４０に加えられた圧力を検出する第２圧力センサ部２５０と、を備える。また、プログラム記憶部２８１には、第２の端末処理プログラム２８３が記憶されている。ここで、第２圧力センサ部２５０は、前記第２入力部２４０に加えられた圧力を検出する第２圧力検出手段として機能する。

【0061】

次に、第２実施形態の情報処理システム２において実行される画像変形処理の動作について、図１２を参照して説明する。
第２実施形態における画像変形処理におけるクライアント端末２００側の処理は、ＣＰＵ２１０と記憶部２８０に記憶されている第２の端末処理プログラム２８３との協働により実行される。画像変形処理におけるサーバ装置１００側の処理は、ＣＰＵ１１０と記憶部１５０に記憶されているサーバ処理プログラム１５２との協働により実行される。

【0062】

情報処理システム２において実行される画像変形処理のフローチャートにおけるステップＳ２１〜ステップＳ３６は、情報処理システム１において実行される画像変形処理のフローチャートにおけるステップＳ１〜ステップＳ１５に対応している処理である。以下、異なる処理を中心に説明する。

【0063】

先ず、ステップ２３において表示される画像変形処理条件入力画面が、実施形態１におけるものと異なる。
画像変形処理条件入力画面２２５３には、図１３に示すように、画像選択欄２２５３Ａと、硬さ基準オブジェクト選択欄２２５３Ｂと、実行ボタン２２５３Ｃとが表示されている。

【0064】

ステップＳ２７では、クライアント端末３００のＣＰＵ２１０は、図１４（Ａ）、図１５（Ａ）に示すように、表示部２２５にシミュレーション画面２２５４を表示する。

【0065】

次に、ステップＳ２８にて、クライアント端末３００のＣＰＵ２１０は、表裏の入力部への接触が検出されたか否か判断する。表裏の入力部とは、筺体２９０の第１の面部に設けられている入力部２２１、および、第１の面部の反対側の第２の面部に設けられている第２入力部２４０である。
クライアント端末３００のＣＰＵ２１０は、表裏の入力部への接触が検出されないと判断すると（ステップＳ２８；ＮＯ）、接触検出を継続する。一方、図１４（Ｂ）、図１５（Ｂ）に示すように、オブジェクトの画像Ｐが表示されているタッチパネル２２０の部分および対応する第２入力部２４０の部分に指などで圧力が加えられることにより、クライアント端末３００のＣＰＵ２１０が、接触を検出したと判断した場合（ステップＳ２８；ＹＥＳ）、加えられた表裏の入力部における接触の位置データを取得するともに、表裏の入力部のいずれか一方においてなぞる操作（ドラッグ操作）を検出した場合には、表裏の入力部での画面上をなぞる操作（ドラッグ操作）の操作量を取得し、通信部２９５を介してサーバ装置１００にその位置データ等を送信する（ステップＳ２９）。また、その表裏の入力部での圧力データを取得し、通信部２９５を介してサーバ装置１００にその圧力データを送信する（ステップＳ３０）。

【0066】

次に、ステップＳ３１にて、ＣＰＵ２１０は、ユーザにより行われた入力動作を判定する。具体的には、ステップＳ２９にてなぞる操作（ドラッグ操作）の操作量が送信された場合には、ＣＰＵ２１０は、その動作をひねり動作であると判定する。ひねり動作は、ねじり動作ともいう。一方、ステップＳ２９にてなぞる操作（ドラッグ操作）の操作量が送信されなかった場合には、ＣＰＵ２１０は、その動作をつまみ動作と判定する。

【0067】

図１４は、シミュレーション画面２２５４において、ユーザが、ひねり動作を行う場合を示している。図１５は、シミュレーション画面２２５４において、ユーザが、つまみ動作を行う場合を示している。
図１４（Ｂ）、図１５（Ｂ）は、タッチパネル２２０上のオブジェクトの画像Ｐに対して表裏の入力部を介して、ユーザの手Ｈの２本の指により圧力を加えている様子を示している。図１５（Ｂ）の例ではオブジェクトの画像Ｐの近傍に矢印が表示され、表裏の入力部への接触が検出されると、オブジェクト画像Ｐに対して矢印の方向に圧力が加えられたと見なされる。

【0068】

次に、クライアント端末３００のＣＰＵ２１０は、サーバ装置１００から受信したシミュレーション結果により、図１４（Ｃ）、図１５（Ｃ）に示すように、変形されたオブジェクトの画像ＰＡおよび変形された硬さ基準オブジェクトの画像ＳＡを表示する（ステップＳ３４、ステップＳ３５）。

【0069】

そして、次に、クライアント端末３００のＣＰＵ２１０は、ステップＳ３６において、画面に表示されたオブジェクトの画像に関して表裏の入力部への接触を検出しないと（ステップＳ３６；ＮＯ）、本処理を終了する。一方、ステップＳ３６にて、接触を検出すると（ステップＳ３６；ＹＥＳ）、ステップＳ２９に移行し、ステップＳ２９以降の処理を行うことで、位置データ等と圧力データ等を取り込み、サーバ装置１００と通信しつつ、シミュレーションを継続する。

【0070】

以上のように、第２実施形態に係る情報処理システム２によれば、クライアント端末３００と、クライアント端末３００と通信ネットワークＮを介してデータ送受信可能に接続されるサーバ装置１００と、を備える情報処理システム２において、第１実施形態に係る情報処理システム１の構成に加え、タッチパネル２２０が第１の面部２２８に配置される筺体２９０において、その第１の面部２２８と反対側の第２の面部２３８に配置され、タッチ入力機能を有する第２の入力部２４０と第２の入力部２４０に加えられた圧力を検出する第２圧力検出手段である第２圧力センサ部２５０を備え、
サーバ装置１００の画像制御手段としてのＣＰＵ１１０は、圧力検出手段としての圧力センサ部２３０及び第２圧力検出手段としての第２圧力センサ部２５０により検出されたそれぞれの圧力に基づいて、変形後の対象物体の画像を生成する。
これにより、つまみ動作の入力が可能となり、その入力がされた場合に、その対象物体の材料特性に応じた変形を体感することができる。また、圧力データに加え位置データ、操作量を検出することで、ひねり動作（ねじり動作）の入力が可能となり、その入力がされた場合に、その対象物体の材料特性に応じた変形を体感することができる。

【0071】

［第３実施形態］
次に本発明の第３実施形態に係る情報処理装置４００について図１６を参照して説明する。

【0072】

第３実施形態に係る情報処理装置４００は、図１６に示すように、第１実施形態におけるサーバ装置１００の機能と、クライアント端末２００の機能を統合して構成されている。第３実施形態に係る情報処理装置４００は、第１実施形態におけるクライアント端末２００と略同様の構成をなしている。よって、情報処理装置４００の平面図、概略断面図は図３、図４を援用し、図１６において、図５と共通する構成部には対応する符号を付し、詳細な説明は省略する。

【0073】

ＣＰＵ２１０は、記憶部２８０に記憶されているシステムプログラムを読み出し、読み出したシステムプログラムをＲＡＭ２７０のワークエリアに展開し、該システムプログラムに従って各部を制御する。また、ＣＰＵ２１０は、記憶部２８０のプログラム記憶部２８１に記憶されている各種処理プログラムを読み出してワークエリアに展開して処理を実行する。
例えば、ＣＰＵ２１０は、後述する画像変形処理を実行することで、表示制御手段、画像制御手段として機能する。

【0074】

情報処理装置４００の記憶部２８０には、画像記憶部２８６、材料特性記憶部２８７が記憶されている。また、プログラム記憶部２８１には、第３の処理プログラム２８４が記憶されている。
ここで、材料特性記憶部２８７は、対象物体の材料特性を記憶する記憶手段として機能する。

【0075】

次に、第３実施形態の情報処理装置４００において実行される画像変形処理の動作について、図１７を参照して説明する。かかる画像変形処理は、ＣＰＵ２１０と記憶部２８０に記憶されている第３の処理プログラム２８４との協働により実行される。

【0076】

先ず、ＣＰＵ２１０は、画像変形処理が開始されると、表示部２２５に画像変形処理条件入力画面２２５１を表示する（ステップＳ４１）。
情報処理装置４００の表示部２２５に表示される画像変形処理条件入力画面は、第１の実施形態における図８の画像変形処理条件入力画面２２５１と同じである。

【0077】

次に、ＣＰＵ２１０は、画像変形処理条件入力画面２２５１を介してユーザにより圧力印加形状、オブジェクトの画像等が選択されて実行ボタンが押下されると、圧力印加形状、オブジェクトの画像等を選択する（ステップＳ４２）。ここで、ＣＰＵ２１０、圧力印加形状選択欄２２５１Ｂを表示する表示部２２５、入力部２２１は、圧力が加わる範囲の形状を示す圧力印加形状を選択する選択手段として機能する。

【0078】

次に、ＣＰＵ２１０は、シミュレーション画面を表示する（ステップＳ４３）。
ステップＳ４３において情報処理装置４００の表示部２２５に表示されるシミュレーション画面は図９に示すシミュレーション画面２２５２と同じである。

【0079】

次に、ＣＰＵ２１０は、タッチパネル２２０への接触が検出されたか否か判断する（ステップＳ４４）。ＣＰＵ２１０は、タッチパネル２２０への接触が検出されないと判断すると（ステップＳ４４；ＮＯ）、接触検出を継続する。一方、オブジェクトの画像Ｐが表示されているタッチパネル２２０上の部分に指などで圧力が加えられることにより、ＣＰＵ２１０が、タッチパネル２２０への接触を検出した場合（ステップＳ４４；ＹＥＳ）、加えられた接触の位置データを取得し（ステップＳ４５）、その圧力データを取得する（ステップＳ４６）。

【0080】

次に、ＣＰＵ２１０は、選択されたオブジェクトの画像Ｐに対するシミュレーションを実施する（ステップＳ４７）。

【0081】

次に、ＣＰＵ２１０は、オブジェクトの画像Ｐに対する条件と同じ条件で硬さ基準オブジェクトの画像Ｓに対するシミュレーションを実施する（ステップＳ４８）。

【0082】

次に、ＣＰＵ２１０は、シミュレーション結果により、変形されたオブジェクトの画像ＰＡを表示する（ステップＳ４９）。

【0083】

次に、ＣＰＵ２１０は、シミュレーション結果により、変形された硬さ基準オブジェクトの画像ＳＡを表示する（ステップＳ５０）。

【0084】

そして、ＣＰＵ２１０は、ステップＳ５１において、画面に表示されたオブジェクトの画像に関してタッチパネル２２０上への接触を検出しないと判断すると（ステップＳ５１；ＮＯ）、本処理を終了する。一方、ステップＳ５１にて、接触を検出したと判断すると（ステップＳ５１；ＹＥＳ）、ステップＳ４５に移行し、ステップＳ４５以降の処理を行うことで、位置データと圧力データを取り込みながらシミュレーションを継続する。

【0085】

以上のように、第３実施形態に係る情報処理装置４００は、タッチ入力機能を有する入力部２２１と、入力部２２１の下面に配置された表示部２２５と、を有するタッチパネル２２０と、タッチパネル２２０に加えられた圧力を検出する圧力検出手段としての圧力センサ部２３０、を備え、表示制御手段としてのＣＰＵ２１０は、対象物体の画像を表示部２２５に表示し、画像制御手段としてのＣＰＵ２１０は、検出された圧力に基づいて、表示部２２５に表示された対象物体の材料特性に応じた変形後の対象物体の画像を取得し、表示制御手段としてのＣＰＵ２１０は、その取得された変形後の対象物体の画像を表示部２２５に表示する。
これにより、画像に係る対象物体に圧力を加えた場合に、その対象物体の材料特性に応じた変形を表現することができるので、ユーザは加えた圧力と対象物体の変形とを対応付けて認識することができることとなって、対象物体の材料特性を体感することができる。

【0086】

また、表示制御手段としてのＣＰＵ２１０は、材料特性の基準を示す基準物体の画像を表示部２２５に表示し、画像制御手段としてのＣＰＵ２１０は、検出された圧力に基づいて、基準物体の材料特性に応じた変形後の基準物体の画像を取得し、表示制御手段としてのＣＰＵ２１０は、その取得された変形後の基準物体の画像を表示部２２５に表示する。
これにより、対象物体の画像に加えられた圧力に基づいて、対象物体の画像が変形されると共に、基準物体の画像が変形されるので、基準物体を介して対象物体の硬さを擬似的に体感することができる。すなわち、基準物体に係る現物を手元で触って変形させ、シミュレーション結果と比較することで、対象物体の硬さを把握することができる。

【0087】

また、情報処理装置４００は、対象物体の材料特性を記憶する記憶手段としての材料特性記憶部２８７を備え、画像処理手段としてのＣＰＵ２１０は、対象物体の材料特性を材料特性記憶部２８７から取得し、検出された圧力に基づいて、取得した対象物体の材料特性に応じて対象物体の変形をシミュレーションし、シミュレーションした結果に基づいて変形後の対象物体の画像を生成して取得する。
したがって、圧力に応じた対象物体の変形を連続的に表現できることとなって、対象物体の材料特性をより確実に実感することができる。

【0088】

また、タッチパネル２２０の入力部２２１は、圧力が加えられた対象物体の画像上の位置を検出し、画像処理手段としてのＣＰＵ２１０は、入力部２２１により検出された対象物体の画像上の位置に基づいて、変形後の対象物体の画像を生成して取得する。
これにより、対象物体の画像における変形位置を任意に設定できることとなって、対象物体の材料特性をより確実に実感することができる。

【0089】

また、情報処理装置４００は、対象物体の画像に対して圧力を加える際に、圧力が加わる範囲の形状を示す圧力印加形状を選択する選択手段としての、ＣＰＵ２１０、圧力印加形状選択欄２２５１Ｂを表示する表示部２２５、入力部２２１を具備し、画像処理手段としてのＣＰＵ２１０は、その選択された圧力印加形状に基づいて、変形後の対象物体の画像を生成して取得する。
これにより、圧力を加える際の形状を変更することができることとなって、対象物体の材料特性をより確実に実感することができる。

【0090】

［第４実施形態］
次に本発明の第４実施形態に係る情報処理装置５００について図１８を参照して説明する。

【0091】

第４実施形態に係る情報処理装置５００は、図１８に示すように、第２実施形態におけるサーバ装置１００の機能と、クライアント端末３００の機能を統合して構成されている。第４実施形態に係る情報処理装置５００は、第２実施形態のクライアント端末２００と略同様の構成をなしている。よって、情報処理装置５００の平面図、概略断面図は図３、図１０を援用し、図１８において、図１１と共通する構成部には対応する符号を付し、詳細な説明は省略する。

【0092】

ＣＰＵ２１０は、記憶部２８０に記憶されているシステムプログラムを読み出し、読み出したシステムプログラムをＲＡＭ２７０のワークエリアに展開し、該システムプログラムに従って各部を制御する。また、ＣＰＵ２１０は、記憶部２８０のプログラム記憶部２８１に記憶されている各種処理プログラムを読み出してワークエリアに展開して処理を実行する。
例えば、ＣＰＵ２１０は、後述する画像変形処理を実行することで、表示制御手段、画像制御手段として機能する。

【0093】

情報処理装置５００の記憶部２８０には、画像記憶部２８６、材料特性記憶部２８７が記憶されている。また、プログラム記憶部２８１には、第４の処理プログラム２８５が記憶されている。
ここで、材料特性記憶部２８７は、対象物体の材料特性を記憶する記憶手段として機能する。

【0094】

次に、第４実施形態の情報処理装置５００において実行される画像変形処理の動作について、図１９を参照して説明する。かかる、画像変形処理は、ＣＰＵ２１０と記憶部２８０に記憶されている第４の処理プログラム２８５との協働により実行される。

【0095】

情報処理装置５００において実行される画像変形処理のフローチャートにおけるステップＳ６１〜ステップＳ７２は、情報処理装置４００において実行される画像変形処理のフローチャートにおけるステップＳ４１〜ステップＳ５１に対応している処理である。以下、異なる処理を中心に説明する。

【0096】

先ず、ＣＰＵ２１０は、画像変形処理が開始されると、表示部２２５に画像変形処理条件入力画面を表示する（ステップＳ６１）。情報処理装置５００の表示部２２５に表示される画像変形処理条件入力画面は、第２の実施形態における図１３の画像変形処理条件入力画面２２５３と同じである。

【0097】

また、ステップＳ６３において情報処理装置５００の表示部２２５に表示されるシミュレーション画面は図１４、図１５に示すシミュレーション画面２２５４と同じである。

【0098】

ステップＳ６４にて、ＣＰＵ２１０は、表裏の入力部への接触が検出されたか否か判断する。表裏の入力部とは、筺体２９０の第１の面部に設けられている入力部２２１、および、第１の面部の反対側の第２の面部に設けられている第２入力部２４０である。
ＣＰＵ２１０は、表裏の入力部への接触が検出されないと判断すると（ステップＳ６４；ＮＯ）、接触検出を継続する。一方、オブジェクトの画像Ｐが表示されているタッチパネル２２０の部分および対応する第２入力部２４０の部分に指などで圧力が加えられることにより、ＣＰＵ２１０が、接触を検出したと判断すると（ステップＳ６４；ＹＥＳ）、加えられた表裏の入力部における接触の位置データを取得するともに、表裏の入力部のいずれか一方においてなぞる操作（ドラッグ操作）を検出した場合には、表裏の入力部での画面上をなぞる操作（ドラッグ操作）の操作量を取得する（ステップＳ６５）。また、その表裏の入力部での圧力データを取得する（ステップＳ６６）。

【0099】

次に、ステップＳ６７にて、ＣＰＵ２１０は、ユーザにより行われた入力動作を判定する。具体的には、ステップＳ６５にてなぞる操作（ドラッグ操作）の操作量が送信された場合には、ＣＰＵ２１０は、その動作をひねり動作であると判定する。ひねり動作は、ねじり動作ともいう。一方、ステップＳ６５にてなぞる操作（ドラッグ操作）の操作量が送信されなかった場合には、ＣＰＵ２１０は、その動作をつまみ動作と判定する。

【0100】

ステップＳ７０、Ｓ７１にてＣＰＵ２１０は、変形されたオブジェクトの画像ＰＡおよび変形された硬さ基準オブジェクトの画像ＳＡを表示する。

【0101】

そして、ＣＰＵ２１０は、ステップＳ７２において、画面に表示されたオブジェクトの画像に関して表裏の入力部への接触を検出しないと判断すると（ステップＳ７２；ＮＯ）、本処理を終了する。一方、ステップＳ７２にて、接触を検出したと判断すると（ステップＳ７２；ＹＥＳ）、ステップＳ６５に移行し、ステップＳ６５以降の処理を行うことで、位置データ等と圧力データを取り込み、シミュレーションを継続する。

【0102】

以上のように、第４実施形態に係る情報処理装置５００によれば、第３実施形態に係る情報処理装置４００の構成に加え、タッチパネル２２０が第１の面部２２８に配置される筺体２９０において、その第１の面部２２８と反対側の第２の面部２３８に配置され、タッチ入力機能を有する第２の入力部２４０と第２の入力部２４０に加えられた圧力を検出する第２圧力検出手段である第２圧力センサ部２５０を備え、画像制御手段としてのＣＰＵ２１０は、圧力検出手段としての圧力センサ部２３０及び第２圧力検出手段としての第２圧力センサ部２５０により検出されたそれぞれの圧力に基づいて変形後の対象物体の画像を生成する。
これにより、つまみ動作の入力が可能となり、その入力がされた場合に、その対象物体の材料特性に応じた変形を体感することができる。また、圧力データに加え位置データ、操作量を検出することで、ひねり動作（ねじり動作）の入力が可能となり、その入力がされた場合に、その対象物体の材料特性に応じた変形を体感することができる。

【0103】

なお、本発明は、上述の実施の形態に限られるものではなく、様々な変更が可能である。たとえば、本実施形態において、画像制御手段が変形された画像を生成する例として、所定の圧力印加条件に基づいて、その都度シミュレーションを行い変形後の対象物体の画像を生成する構成を示している。これに対して、複数の圧力印加条件に対応してあらかじめ段階的に変形された複数画像データを用意しておき、入力された圧力印加条件に近い画像を採用して変形された画像とするように構成することができる。具体的には、圧力印加形状、圧力印加位置、圧力等を変化させた複数の条件に対する変形されたオブジェクトの画像Ｐと硬さ基準オブジェクトの画像Ｓを予め用意しておく。そして、取得した圧力データ等に近い条件の画像を選択して、オブジェクトの画像Ｐおよび硬さ基準オブジェクトの変形された画像を表示することができる。このような画像の生成も、本願の請求項１、請求項７における画像の生成に含まれる。
これによって、応力印加条件に基づいて、その都度シミュレーションを行う場合に比べて簡易に処理することができ、処理時間も短くすることができる。
また、硬さ基準オブジェクトの選択は、ユーザが任意に指定できる構成としたが、複数の硬さ基準オブジェクトの中から対象物体の材料特性により近い硬さ基準オブジェクトを自動的に選択する構成であってもよい。このように構成することで、対象物体の材料特性をより確実に実感することができる。

【0104】

本発明の実施形態を説明したが、本発明の範囲は上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明とその均等の範囲に含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［付記］
＜請求項１＞
タッチ入力機能を有する入力部と、前記入力部の下面に配置された表示部と、を有するタッチパネルと、
対象物体の画像を前記表示部に表示する表示制御手段と、
前記タッチパネルに加えられた圧力を検出する圧力検出手段と、
前記圧力検出手段により検出された圧力に基づいて、前記表示部に表示された前記対象物体の材料特性に応じた変形後の前記対象物体の画像を生成する画像制御手段と、を備え、
前記表示制御手段は、前記画像制御手段により生成された変形後の前記対象物体の画像を前記表示部に表示することを特徴とする情報処理装置。
＜請求項２＞
前記表示制御手段は、材料特性の基準を示す基準物体の画像を前記表示部に表示し、
前記画像制御手段は、前記圧力検出手段により検出された圧力に基づいて、前記基準物体の材料特性に応じた変形後の前記基準物体の画像を生成し、
前記表示制御手段は、前記画像制御手段により生成された変形後の前記基準物体の画像を前記表示部に表示することを特徴とする請求項１記載の情報処理装置。
＜請求項３＞
対象物体の材料特性を記憶する記憶手段を備え、
前記画像制御手段は、
前記対象物体の材料特性を前記記憶手段から取得し、前記圧力検出手段により検出された圧力に基づいて、取得した前記対象物体の材料特性に応じて前記対象物体の変形をシミュレーションし、シミュレーションした結果に基づいて変形後の前記対象物体の画像を生成することを特徴とする請求項１又は２記載の情報処理装置。
＜請求項４＞
前記入力部は、圧力が加えられた対象物体の画像上の位置を検出し、
前記画像制御手段は、前記入力部により検出された対象物体の画像上の位置に基づいて、変形後の前記対象物体の画像を生成することを特徴とする請求項３に記載の情報処理装置。
＜請求項５＞
前記対象物体の画像に対して圧力を加える際に、圧力が加わる範囲の形状を示す圧力印加形状を選択する選択手段を具備し、
前記画像制御手段は、前記選択手段により選択された圧力印加形状に基づいて、変形後の前記対象物体の画像を生成することを特徴とする請求項３又は４に記載の情報処理装置。
＜請求項６＞
前記タッチパネルが第１の面部に配置される筺体と、
前記筺体の前記第１の面部と反対側の第２の面部に配置され、タッチ入力機能を有する第２の入力部と前記第２の入力部に加えられた圧力を検出する第２圧力検出手段と、を有し、
前記画像制御手段は、前記圧力検出手段及び前記第２圧力検出手段により検出されたそれぞれの圧力に基づく前記対象物体の変形後の画像を生成することを特徴とする請求項１又は２に記載の情報処理装置。
＜請求項７＞
クライアント端末と、前記クライアント端末と通信ネットワークを介してデータ送受信可能に接続されるサーバ装置と、を備える情報処理システムにおいて、
前記クライアント端末は、
タッチ入力機能を有する入力部と、前記入力部の下面に配置された表示部と、を有するタッチパネルと、
前記タッチパネルに加えられた圧力を検出する圧力検出手段と、
対象物体の画像を前記表示部に表示する表示制御手段と、
前記対象物体に関する情報、および、前記タッチパネルに加えられた圧力に関する情報を前記サーバ装置に送信する端末側通信手段と、を備え、
前記サーバ装置は、
前記圧力検出手段により検出された圧力に基づいて、前記表示部に表示された前記対象物体の材料特性に応じた変形後の前記対象物体の画像を生成する画像制御手段と、
前記画像制御手段により生成された変形後の前記対象物体の画像をクライアント端末に送信するサーバ側通信手段と、を備え、
前記クライアント端末の前記表示制御手段は、前記サーバ装置から送信された変形後の前記対象物体の画像を前記表示部に表示する、 ことを特徴とする情報処理システム。
＜請求項８＞
前記表示制御手段は、材料特性の基準を示す基準物体の画像を前記表示部に表示し、
前記画像制御手段は、前記圧力検出手段により検出された圧力に基づいて、前記基準物体の材料特性に応じた変形後の前記基準物体の画像を生成し、
前記表示制御手段は、前記画像制御手段により生成された変形後の前記基準物体の画像を前記表示部に表示することを特徴とする請求項７記載の情報処理システム。
＜請求項９＞
前記サーバ装置は、
対象物体の材料特性を記憶する記憶手段を備え、
前記画像制御手段は、
前記対象物体の材料特性を前記記憶手段から取得し、前記圧力検出手段により検出された圧力に基づいて、取得した前記対象物体の材料特性に応じて前記対象物体の変形をシミュレーションし、シミュレーションした結果に基づいて変形後の前記対象物体の画像を生成することを特徴とする請求項７又は８記載の情報処理システム。
＜請求項１０＞
前記入力部は、圧力が加えられた対象物体の画像上の位置を検出し、
前記画像制御手段は、前記入力部により検出された対象物体の画像上の位置に基づいて、変形後の前記対象物体の画像を生成することを特徴とする請求項９に記載の情報処理システム。
＜請求項１１＞
前記クライアント端末は、
前記対象物体の画像に対して圧力を加える際に、圧力が加わる範囲の形状を示す圧力印加形状を選択する選択手段を具備し、
前記画像制御手段は、前記選択手段により選択された圧力印加形状に基づいて、変形後の前記対象物体の画像を生成することを特徴とする請求項９又は１０に記載の情報処理システム。
＜請求項１２＞
前記クライアント端末は、
前記タッチパネルが第１の面部に配置される筺体と、
前記筺体の前記第１の面部と反対側の第２の面部に配置され、タッチ入力機能を有する第２の入力部と前記第２の入力部に加えられた圧力を検出する第２圧力検出手段と、を有し、
前記画像制御手段は、前記圧力検出手段及び前記第２圧力検出手段により検出されたそれぞれの圧力に基づいて、変形後の前記対象物体の画像を生成することを特徴とする請求項７または８に記載の情報処理システム。
＜請求項１３＞
タッチ入力機能を有する入力部と、前記入力部の下面に配置された表示部と、を有するタッチパネルと、
前記タッチパネルに加えられた圧力を検出する圧力検出手段と、
を備えた情報処理装置のコンピュータを、
対象物体の画像を前記表示部に表示する表示制御手段、
前記圧力検出手段により検出された圧力に基づいて、前記表示部に表示された前記対象物体の材料特性に応じた変形後の前記対象物体の画像を生成する画像制御手段、
として機能するためのプログラムであって、
前記表示制御手段は、前記画像制御手段により生成された変形後の前記対象物体の画像を前記表示部に表示するプログラム。

【符号の説明】

【0105】

１、２ 情報処理システム
１００ サーバ装置
１１０ ＣＰＵ（画像制御手段）
１２０ 入力部
１３０ ＲＡＭ
１４０ 表示部
１５０ 記憶部
１５１ プログラム記憶部
１５２ サーバ処理プログラム
１５３ 画像記憶部
１５４ 材料特性記憶部（記憶手段）
１６０ 通信部（サーバ側通信手段）
２００、３００ クライアント端末
２１０ ＣＰＵ（表示制御手段）
２２０ タッチパネル
２２１ 入力部
２２５ 表示部
２３０ 圧力センサ部
２４０ 第２入力部
２５０ 第２圧力センサ部
２６０ キーボード
２７０ ＲＡＭ
２８０ 記憶部
２８１ プログラム記憶部
２８２ 第１の端末処理プログラム
２８３ 第２の端末処理プログラム
２９０ 筐体
２９５ 通信部（端末側通信手段）
２９６ バス
４００、５００情報処理装置
２１０ ＣＰＵ（表示制御手段、画像制御手段）
２８４ 第３の処理プログラム
２８５ 第４の処理プログラム
２８６ 画像記憶部
２８７ 材料特性記憶部（記憶手段）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】