特許 6427297 化粧シミュレーションシステム、化粧シミュレーション方法、および化粧シミュレーションプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6427297

(24)【登録日】2018年11月2日

(45)【発行日】2018年11月21日

(54)【発明の名称】化粧シミュレーションシステム、化粧シミュレーション方法、および化粧シミュレーションプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20181112BHJP

【ＦＩ】

   G06T1/00 340A

【請求項の数】8

【全頁数】22

(21)【出願番号】特願2018-511805(P2018-511805)

(86)(22)【出願日】2016年4月12日

(86)【国際出願番号】JP2016061846

(87)【国際公開番号】WO2017179134

(87)【国際公開日】20171019

【審査請求日】2018年5月16日

【早期審査対象出願】

(73)【特許権者】

【識別番号】500521522

【氏名又は名称】株式会社オプティム

(74)【代理人】

【識別番号】100177220

【弁理士】

【氏名又は名称】小木 智彦

(72)【発明者】

【氏名】菅谷 俊二

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２００９−０５３９８１（ＪＰ，Ａ）

【文献】 特開２０１４−１１５８２１（ＪＰ，Ａ）

【文献】 特開２０１２−１１９７９８（ＪＰ，Ａ）

【文献】 特開２０１４−０５６５４６（ＪＰ，Ａ）

【文献】 特開２００３−０１６４７１（ＪＰ，Ａ）

【文献】 特開２００８−０５９１０８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

顔画像に化粧シミュレーションを行う化粧シミュレーションシステムであって、
顔の構成パーツの輪郭に影響を及ぼすと考えられる前記顔画像の人物の情報である属性情報の入力を受ける属性情報入力受付手段と、
前記顔画像の構成パーツの種類の指定を受ける構成パーツ種類指定受付手段と、
前記指定を受けた構成パーツの輪郭上に、複数の特徴点の指定をプロットにより受け付ける特徴点指定受付手段と、
前記プロットにより指定された複数の特徴点に基づいて、前記入力された属性情報を加味して、前記構成パーツの輪郭を描画する輪郭描画手段と、
を備えることを特徴とする化粧シミュレーションシステム。

【請求項2】

前記属性情報に、性別、年齢、人種、のいずれかを含むことを特徴とする請求項１に記載の化粧シミュレーションシステム。

【請求項3】

前記プロットにより指定させる特徴点として、前記構成パーツの最も上、最も下、最も左、最も右の４点を含むことを特徴とする請求項１または請求項２のいずれかに記載の化粧シミュレーションシステム。

【請求項4】

前記指定された構成パーツが目である場合、前記輪郭描画手段により描画した目の輪郭から、さらに、瞼の輪郭を予測して描画する瞼描画手段と、
を備えることを特徴とする請求項１から請求項３のいずれかに記載の化粧シミュレーションシステム。

【請求項5】

前記描画した輪郭と前記顔画像の構成パーツの輪郭との間にズレがある場合に、描画した輪郭の微調整を行わせる描画輪郭微調整手段と、
を備えることを特徴とする請求項１から請求項４のいずれかに記載の化粧シミュレーションシステム。

【請求項6】

ネットワークを介して接続された端末と画面を共有する画面共有手段と、
前記ネットワークを介して接続された端末から前記共有した画面に対して操作を行える遠隔操作手段と、
を備えることを特徴とする請求項１から請求項５のいずれかに記載の化粧シミュレーションシステム。

【請求項7】

顔画像に化粧シミュレーションを行う化粧シミュレーションシステムが実行する化粧シミュレーション方法であって、
顔の構成パーツの輪郭に影響を及ぼすと考えられる前記顔画像の人物の情報である属性情報の入力を受ける属性情報入力受付ステップと、
前記顔画像の構成パーツの種類の指定を受ける構成パーツ種類指定受付ステップと、
前記指定を受けた構成パーツの輪郭上に、複数の特徴点の指定をプロットにより受け付ける特徴点指定受付ステップと、
前記プロットにより指定された複数の特徴点に基づいて、前記入力された属性情報を加味して、前記構成パーツの輪郭を描画する輪郭描画ステップと、
を備えることを特徴とする化粧シミュレーション方法。

【請求項8】

顔画像に化粧シミュレーションを行う化粧シミュレーションシステムに、
顔の構成パーツの輪郭に影響を及ぼすと考えられる前記顔画像の人物の情報である属性情報の入力を受ける属性情報入力受付ステップ、
前記顔画像の構成パーツの種類の指定を受ける構成パーツ種類指定受付ステップ、
前記指定を受けた構成パーツの輪郭上に、複数の特徴点の指定をプロットにより受け付ける特徴点指定ステップ、
前記プロットにより指定された複数の特徴点に基づいて、前記入力された属性情報を加味して、前記構成パーツの輪郭を描画する輪郭描画ステップ、
を実行させるためのコンピュータ読み取り可能な化粧シミュレーションプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顔画像に化粧シミュレーションを行う化粧シミュレーションシステム、化粧シミュレーション方法、および化粧シミュレーションプログラムに関する。

【背景技術】

【0002】

従来、ユーザの化粧を支援する様々な技術が提案されている。例えば、特許文献１には、ユーザの撮像画像の表示内容を確認しながら、化粧を施したり、身だしなみを整えたりする場合の表示方法に関する技術が記載されている。また、特許文献２には、三次元計測手段を使用して取得した三次元情報を用いて、ユーザの化粧を支援する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−２２３００１号公報

【特許文献2】特開２０１５−１９７７１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の手法では、特定部位を認識する認識手段の性能により、撮影画像と比較対象画像をうまく重ね合わせが行えない恐れがある。特に、アイメイクのように目の形状に沿った化粧を施す必要がある場合には、個人個人の顔の構成パーツの輪郭にあわせ、化粧画像を重ねあわせることが重要である。

【0005】

また、特許文献２の手法では、三次元情報の使用により、特許文献１に比較して、顔の状態の認識がしやすくなると考えられるが、投光部により計測用パターンを投射する必要があるため、装置が高価になるという問題がある。

【0006】

化粧シミュレーションを行う場合、顔の構成パーツの輪郭が自動でうまく認識できない場合には、ユーザが手動で輪郭のラインを入力して、化粧を施す領域と、化粧を施さないマスク領域を指定することが必要となる。そのユーザによる手動入力の際に、ユーザの熟練度や器用さによって、ラインの精度がばらついてしまうという課題がある。

【0007】

さらに、特許文献１、特許文献２とも、ユーザが施した化粧は自分自身で画像を確認するという構成のみであるが、複数人で画面を共有し、画像の確認や、画像に対する操作を行えるようにすることが求められている。画面共有により、アドバイザやオペレータといった、専門家からの適切なフィードバックを得ることで、ユーザの満足度の高い化粧シミュレーションを行うことができると考えられる。

【0008】

そこで、本発明では、上記の課題に鑑みて、複数の特徴点の指定をプロットにより受け付けることで、顔画像に化粧シミュレーションを行う化粧シミュレーションシステム、化粧シミュレーション方法、化粧シミュレーションプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明では、以下のような解決手段を提供する。

【0010】

第１の特徴に係る発明は、
顔画像に化粧シミュレーションを行う化粧シミュレーションシステムであって、
前記顔画像の構成パーツの種類の指定を受ける構成パーツ種類指定受付手段と、
前記指定を受けた構成パーツの輪郭上に、複数の特徴点の指定をプロットにより受け付ける特徴点指定受付手段と、
前記プロットにより指定された複数の特徴点に基づいて、前記構成パーツの輪郭を描画する輪郭描画手段と、
を備えることを特徴とする化粧シミュレーションシステムを提供する。

【0011】

第１の特徴に係る発明によれば、顔画像に化粧シミュレーションを行う化粧シミュレーションシステムにおいて、前記顔画像の構成パーツの種類の指定を受ける構成パーツ種類指定受付手段と、前記指定を受けた構成パーツの輪郭上に、複数の特徴点の指定をプロットにより受け付ける特徴点指定受付手段と、前記プロットにより指定された複数の特徴点に基づいて、前記構成パーツの輪郭を描画する輪郭描画手段と、を備える。

【0012】

第１の特徴に係る発明は、化粧シミュレーションシステムのカテゴリであるが、化粧シミュレーション方法、および化粧シミュレーションプログラムであっても同様の作用、効果を奏する。

【0013】

第２の特徴に係る発明は、第１の特徴に係る発明である化粧シミュレーションシステムであって、
前記プロットにより指定させる特徴点として、前記構成パーツの最も上、最も下、最も左、最も右の４点を含むことを特徴とする化粧シミュレーションシステムを提供する。

【0014】

第２の特徴に係る発明によれば、第１の特徴に係る発明である化粧シミュレーションシステムは、前記プロットにより指定させる特徴点として、前記構成パーツの最も上、最も下、最も左、最も右の４点を含む。

【0015】

第３の特徴に係る発明は、第１または第２の特徴に係る発明である化粧シミュレーションシステムであって、
前記顔画像の属性情報の入力を受ける属性情報入力受付手段を備え、
前記輪郭描画手段は、前記入力された属性情報を加味して、前記構成パーツの輪郭を描画することを特徴とする化粧シミュレーションシステムを提供する。

【0016】

第３の特徴に係る発明によれば、第１または第２の特徴に係る発明である化粧シミュレーションシステムは、前記顔画像の属性情報の入力を受ける属性情報入力受付手段を備え、前記輪郭描画手段は、前記入力された属性情報を加味して、前記構成パーツの輪郭を描画する。

【0017】

第４の特徴に係る発明は、第１から第３のいずれかの特徴に係る発明である化粧シミュレーションシステムであって、
前記指定された構成パーツが目である場合、前記輪郭描画手段により描画した目の輪郭から、さらに、瞼の輪郭を予測して描画する瞼描画手段と、
を備えることを特徴とする化粧シミュレーションシステムを提供する。

【0018】

第４の特徴に係る発明によれば、第１から第３のいずれかの特徴に係る発明である化粧シミュレーションシステムは、前記指定された構成パーツが目である場合、前記輪郭描画手段により描画した目の輪郭から、さらに、瞼の輪郭を予測して描画する瞼描画手段と、を備える。

【0019】

第５の特徴に係る発明は、第１から第４のいずれかの特徴に係る発明である化粧シミュレーションシステムであって、
前記描画した輪郭と前記顔画像の構成パーツの輪郭との間にズレがある場合に、描画した輪郭の微調整を行わせる描画輪郭微調整手段と、
を備えることを特徴とする化粧シミュレーションシステムを提供する。

【0020】

第５の特徴に係る発明によれば、第１から第４のいずれかの特徴に係る発明である化粧シミュレーションシステムは、前記描画した輪郭と前記顔画像の構成パーツの輪郭との間にズレがある場合に、描画した輪郭の微調整を行わせる描画輪郭微調整手段と、を備える。

【0021】

第６の特徴に係る発明は、第１から第５のいずれかの特徴に係る発明である化粧シミュレーションシステムであって、
ネットワークを介して接続された端末と画面を共有する画面共有手段と、
前記ネットワークを介して接続された端末から前記共有した画面に対して操作を行える遠隔操作手段と、
を備えることを特徴とする化粧シミュレーションシステムを提供する。

【0022】

第６の特徴に係る発明によれば、第１から第５のいずれかの特徴に係る発明である化粧シミュレーションシステムは、ネットワークを介して接続された端末と画面を共有する画面共有手段と、前記ネットワークを介して接続された端末から前記共有した画面に対して操作を行える遠隔操作手段と、を備える。

【0023】

第７の特徴に係る発明は、顔画像に化粧シミュレーションを行う化粧シミュレーション方法であって、
前記顔画像の構成パーツの種類の指定を受ける構成パーツ種類指定受付ステップと、
前記指定を受けた構成パーツの輪郭上に、複数の特徴点の指定をプロットにより受け付ける特徴点指定受付ステップと、
前記プロットにより指定された複数の特徴点に基づいて、前記構成パーツの輪郭を描画する輪郭描画ステップと、
を備えることを特徴とする化粧シミュレーション方法を提供する。

【0024】

第８の特徴に係る発明は、顔画像に化粧シミュレーションを行う化粧シミュレーションシステムに、
前記顔画像の構成パーツの種類の指定を受ける構成パーツ種類指定受付ステップ、
前記指定を受けた構成パーツの輪郭上に、複数の特徴点の指定をプロットにより受け付ける特徴点指定ステップ、
前記プロットにより指定された複数の特徴点に基づいて、前記構成パーツの輪郭を描画する輪郭描画ステップ、
を実行させるための化粧シミュレーションプログラムを提供する。

【発明の効果】

【0025】

本発明によれば、複数の特徴点の指定をプロットにより受け付けることで、顔画像に化粧シミュレーションを行う化粧シミュレーションシステム、化粧シミュレーション方法、化粧シミュレーションプログラムを提供することが可能となる。

【図面の簡単な説明】

【0026】

【図1】図１は、本発明の好適な実施形態の概要図である。

【図2】図２は、端末１００の機能ブロックと各機能の関係を示す図である。

【図3】図３は、端末１００の化粧シミュレーション処理のフローチャート図である。

【図4】図４は、属性情報入力受付機能を備えた端末１００の機能ブロックと各機能の関係を示す図である。

【図5】図５は、属性情報入力受付機能を備えた端末１００の化粧シミュレーション処理のフローチャート図である。

【図6】図６は、瞼描画機能を備えた端末１００の機能ブロックと各機能の関係を示す図である。

【図7】図７は、瞼描画機能を備えた端末１００の化粧シミュレーション処理のフローチャート図である。

【図8】図８は、輪郭微調整機能を備えた端末１００の機能ブロックと各機能の関係を示す図である。

【図9】図９は、輪郭微調整機能を備えた端末１００の化粧シミュレーション処理のフローチャート図である。

【図10】図１０は、画面共有機能と遠隔操作機能を備えた接続元端末１００ａと接続先端末１００ｂの機能ブロックと各機能の関係を示す図である。

【図11】図１１は、画面共有機能と遠隔操作機能を備えた接続元端末１００ａと接続先端末１００ｂのフローチャート図である。

【図12】図１２は、サーバに輪郭データベースを備えた場合の端末１００とサーバ３００の機能ブロックと各機能の関係を示す図である。

【図13】図１３は、サーバに輪郭データベースを備えた場合の端末１００とサーバ３００のフローチャート図である。

【図14】図１４は、端末１００での顔画像取得画面の表示の一例である。

【図15】図１５は、端末１００での構成パーツ種類指定受付画面の表示の一例である。

【図16】図１６は、端末１００での特徴点指定受付画面の表示の一例である。

【図17】図１７は、端末１００での輪郭描画画面の表示の一例である。

【図18】図１８は、端末１００での化粧描画画面の表示の一例である。

【図19】図１９は、端末１００での属性情報入力受付画面の表示の一例である。

【図20】図２０は、端末１００での瞼の輪郭描画画面の表示の一例である。

【図21】図２１は、端末１００での輪郭微調整画面の表示の一例である。

【図22】図２２は、接続元端末１００ａと接続先端末１００ｂとの間で画面共有と遠隔操作を行う場合の表示の一例である。

【図23】図２３は、輪郭データベースのデータ構造の一例である。

【図24】図２４は、属性情報毎に分類した場合の輪郭データベースのデータ構造の一例である。

【発明を実施するための形態】

【0027】

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

【0028】

［化粧シミュレーションシステムのシステム概要］
本発明の概要について図１に基づいて、説明する。端末１００は、図２に示すように、カメラ部１１０、入力部１２０、出力部１３０、記憶部１４０、制御部１５０から構成される。入力部１２０は制御部１５０と協働して構成パーツ種類指定受付モジュール１２１、特徴点指定受付モジュール１２２を実現する。また、出力部１３０は制御部１５０と協働して輪郭描画モジュール１３１を実現する。

【0029】

化粧シミュレーションのための輪郭描画処理を行う場合、はじめに、端末１００は、顔画像の取得を行う（ステップＳ０１）。ここでは、カメラ部１１０による撮像を行うか、または端末１００内に保存してある画像を選択することにより、化粧シミュレーションを行うための顔画像を決定する。

【0030】

次に、端末１００の構成パーツ種類指定受付モジュール１２１は、ユーザから構成パーツの指定を受け付ける（ステップＳ０２）。ここで、化粧シミュレーションを行う顔の構成パーツの種類を、右目、左目、鼻、口、顔全体等の選択肢からユーザに選択させる。この、構成パーツの指定により、以降各パーツに合わせた適切な処理を行える。

【0031】

次に、特徴点指定受付モジュール１２２は、ユーザから特徴点の指定を受け付ける（ステップＳ０３）。特徴点とは、例えば、構成パーツの最も左、最も右、最も上、最も下、の４点等で、顔画像から輪郭を類推するための、手助けとなる複数の点のこととする。ここで、特徴点の指定は、顔画像上にユーザが点をプロットして行うものとする。

【0032】

最後に、輪郭描画モジュール１３１は、指定された複数の特徴点に基づき輪郭の類推を行い、顔画像に輪郭の描画を行う（ステップＳ０４）。ここでの構成パーツの輪郭の類推処理は、構成パーツの輪郭データを蓄えたデータベースを用意しておき、指定された輪郭の特徴点をデータベースに照合することで、特徴点にあった輪郭データを取得する。これにより、特別な装置を必要とせず、ユーザは特徴点のプロットを行うだけで、適切な輪郭が描画され、輪郭にあわせた適切な位置に化粧シミュレーションを行うことが可能となる。

【0033】

［各機能の説明］
図２は、端末１００の機能ブロックと各機能の関係を示す図である。カメラ部１１０、入力部１２０、出力部１３０、記憶部１４０、制御部１５０から構成される。入力部１２０は制御部１５０と協働して構成パーツ種類指定受付モジュール１２１、特徴点指定受付モジュール１２２を実現する。また、出力部１３０は制御部１５０と協働して輪郭描画モジュール１３１を実現する。

【0034】

端末１００は、ユーザがカメラによる撮像を行える一般的な情報端末であって良く、後述する機能を備える情報機器や電化製品である。携帯電話やスマートフォン、カメラ機能を備えた、または、ウェブカメラ等の外付けカメラを接続可能な、タブレットＰＣ、ノートＰＣ、ウェアラブルデバイス、またはディスプレイを備えたＰＣ等の一般的な情報家電やその他の電化製品であって良い。端末１００として図示しているスマートフォンはその一例にすぎない。

【0035】

端末１００は、カメラ部１１０にカメラを備える。カメラ部１１０は、撮影した画像をデジタルデータに変換して、記憶部１４０に保存する。また、撮影画像は静止画像であっても動画像であってもよく、動画像の場合には、制御部１５０の働きにより、動画像の一部を切り出して、静止画像として記憶部１４０に保存することも可能であるとする。また、撮影して得られる画像は、ユーザが必要なだけの情報量を持った精密な画像であるものとし、画素数や画質を指定可能であるものとする。

【0036】

入力部１２０は、制御部１５０と協働して構成パーツ種類指定受付モジュール１２１、特徴点指定受付モジュール１２２を実現する。また、カメラ部１１０による撮像の指定を行うために必要な機能を備えるものとする。例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。入力方法により、本発明は特に機能を限定されるものではない。

【0037】

出力部１３０は、制御部１５０と協働して輪郭描画モジュール１３１を実現する。また、撮像画像やシミュレーション画像の表示を行うために必要な機能を備えるものとする。例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクターへの投影等の形態が考えられる。出力方法により、本発明は特に機能を限定されるものではない。

【0038】

記憶部１４０として、ハードディスクや半導体メモリによる、データのストレージ部を備え、撮像した動画や静止画、輪郭類推処理に必要なデータ、化粧方法のデータ等を記憶する。また、必要に応じて輪郭データを蓄えた輪郭データベースを備える。

【0039】

また、制御部１５０として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。

【0040】

［化粧シミュレーション処理］
図３は、端末１００の化粧シミュレーション処理のフローチャート図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。

【0041】

はじめに、端末１００は、化粧シミュレーションを施したい顔画像の取得を行う（ステップＳ１０１）。ここでは、カメラ部１１０による撮像を行うか、または端末１００内に保存してある画像を選択することにより、化粧シミュレーションを行うための顔画像を決定する。

【0042】

図１４は、端末１００での顔画像取得画面の表示の一例である。図１４では、例えばカメラアイコン１４０１を選択することでカメラ部１１０による撮像を開始するものとする。撮影は、スマートフォンやタブレットのインカメラを使用して自分で行ってもよいし、背面側のカメラ（アウトカメラ）を使用して他の人に撮影してもらったり、鏡に映った自分を撮影したりしてもよい。または、写真アイコン１４０２を選択することで、端末１００のライブラリに保存してある画像を選択することも可能であるとする。決定ボタン１４０３を選択すると、化粧シミュレーションを行う画像を決定する。キャンセルボタン１４０４を選択すると、表示している画像を破棄して、再度画像の撮影、またはライブラリからの選択を行うものとする。

【0043】

次に、端末１００の構成パーツ種類指定受付モジュール１２１は、ユーザから構成パーツの指定を受け付ける（ステップＳ１０２）。ここで、化粧シミュレーションを行う顔の構成パーツの種類を、右目、左目、鼻、口、顔全体等の選択肢からユーザに選択させる。この、構成パーツの指定により、以降各パーツに合わせた適切な処理を行える。

【0044】

図１５は、端末１００での構成パーツ種類指定受付画面の表示の一例である。図１５では、ラジオボタン１５０１として、構成パーツを、目（両目）、右目、左目、鼻、口、頬、顔全体、からユーザに選択させる。ここで挙げた選択肢はあくまで一例であり、システムに応じて設定してよい。図１５では、右目がラジオボタンで選択された状態である。決定ボタン１５０２を選択すると、化粧シミュレーションを行う構成パーツを決定する。ラジオボタンでの選択が行われるまでは、決定ボタン１５０２をグレーアウトしてもよい。キャンセルボタン１５０３を選択すると、構成パーツの指定を破棄して、構成パーツの選択画面を終了する。この場合、再度ステップＳ１０１に戻って、顔画像の取得を行ってもよい。

【0045】

次に、端末１００の特徴点指定受付モジュール１２２は、ユーザから特徴点の指定を受け付ける（ステップＳ１０３）。特徴点とは、例えば、構成パーツの最も左、最も右、最も上、最も下、の４点等で、顔画像から輪郭を類推するための、手助けとなる複数の点のこととする。ここで、特徴点の指定は、顔画像上にユーザが点をプロットして行うものとする。

【0046】

図１６は、端末１００での特徴点指定受付画面の表示の一例である。図１６では、端末１００がスマートフォンであるとして、タッチパネルを使用して、特徴点をプロットさせる例を図示している。ステップＳ１０２で選択された構成パーツである右目を表示して、最も左、最も右、最も上、最も下、の４点の特徴点をユーザに入力させる。最も左の特徴点１６０１、最も右の特徴点１６０２、最も上の特徴点１６０３、最も下の特徴点１６０４をユーザがプロットする。特徴点は、１点ずつ順にユーザにプロットさせてもよいし、画像上に仮の特徴点を表示して、ユーザに調整を行わせてもよいものとする。決定ボタン１６０５を選択すると、特徴点を決定する。キャンセルボタン１６０６を選択すると、特徴点の入力を破棄して、特徴点の入力画面を終了する。この場合、再度ステップＳ１０２に戻って、構成パーツの選択を行ってもよい。

【0047】

次に、輪郭描画モジュール１３１は、指定された複数の特徴点に基づき輪郭の類推を行い、顔画像に輪郭の描画を行う（ステップＳ１０４）。ここでの構成パーツの輪郭の類推処理は、構成パーツの輪郭データを蓄えたデータベースを用意しておき、指定された輪郭の特徴点をデータベースに照合することで、特徴点にあった輪郭データを取得する。

【0048】

図２３は、輪郭データベースのデータ構造の一例である。右目、左目、鼻、口、顔全体、等の構成パーツ毎に、輪郭データを保存しておく。輪郭データには、顔画像とあわせて、構成パーツの輪郭を描画するために必要なデータを含むものとする。輪郭を描画するために必要なデータは、輪郭の画素位置のデータであってもよいし、ベクターデータであってもよい。輪郭描画モジュール１３１は、指定された特徴点を、各輪郭データと照合することで、ふさわしい輪郭データを取得し、それを基に端末１００の出力部１３０への描画を行う。輪郭データベースのデータ構造として、輪郭データとあわせて、性別、年齢、人種、等の属性情報を保存してもよい。属性情報の詳細については、後述する。

【0049】

図１７は、端末１００での輪郭描画画面の表示の一例である。入力された特徴点にあわせて、類推した輪郭データをもとに、表示欄１７０５の画像上に輪郭を描画する。決定ボタン１７０１を選択すると、輪郭データを決定する。キャンセルボタン１７０２を選択すると、輪郭データを破棄して、輪郭描画の確認画面を終了する。この場合、再度ステップＳ１０３に戻って、特徴点の入力を行ってもよい。変更ボタン１７０３を選択すると、再度輪郭データベースへの照合を行い、別の輪郭データを取得して表示を行う。または、ステップＳ１０４の段階で、輪郭データを、第一候補、第二候補、第三候補、と複数取得しておき、変更ボタン１７０３の選択により、次の候補の輪郭データの表示に切り替えてもよい。微調整ボタン１７０４を選択すると、ユーザに輪郭の微調整を行わせる。輪郭の微調整の詳細については、後述する。

【0050】

最後に、端末１００は出力部１３０に輪郭に沿った化粧画像の描画を行う（ステップＳ１０５）。ユーザに所望の化粧方法を選択させて、ステップＳ１０４で決定した輪郭にあわせた描画を行う。

【0051】

図１８は、端末１００での化粧描画画面の表示の一例である。輪郭にあわせて、ユーザが選択した化粧方法を描画する。図１８では、構成パーツとして右目が選択されているので、ユーザにアイメイクを選択させる。化粧方法表示欄１８０１からユーザが所望の化粧法を選択し、決定ボタン１８０２を選択すると、表示欄１８０４の画像に化粧方法を反映させる。キャンセルボタン１８０３を選択すると、選択した化粧方法を破棄して、化粧描画画面を終了する。この場合、再度ステップＳ１０４に戻って、輪郭の確認を行ってもよい。また、図１８では、表示欄１８０４に表示している画像は右目のみであるが、顔全体の画像に対して、化粧方法を描画してもよい。また、ステップＳ１０２からステップＳ１０５を繰り返すことで、構成パーツ毎に順番に化粧シミュレーションを行い、最終的に顔全体の化粧シミュレーションが完成するようにしてもよい。

【0052】

［属性情報入力受付処理］
図４は、属性情報入力受付機能を備えた端末１００の機能ブロックと各機能の関係を示す図である。図２で説明した機能に加えて、入力部１２０と制御部１５０とが協働して属性情報入力受付モジュール１２３を実現する。

【0053】

図５は、属性情報入力受付機能を備えた端末１００の化粧シミュレーション処理のフローチャート図である。図５の顔画像取得（ステップＳ２０１）、構成パーツ種類指定受付（ステップＳ２０３）、特徴点指定受付（ステップＳ２０４）、輪郭描画（ステップＳ２０５）、輪郭に沿った化粧描画（ステップＳ２０６）は、それぞれ図３の顔画像取得（ステップＳ１０１）、構成パーツ種類指定受付（ステップＳ１０２）、特徴点指定受付（ステップＳ１０３）、輪郭描画（ステップＳ１０４）、輪郭に沿った化粧描画（ステップＳ１０５）に相当する。そこで、ここでは主に、ステップＳ２０２の属性情報入力受付について説明する。

【0054】

属性情報入力受付処理を行う場合には、ステップＳ２０１の顔画像取得後に、属性情報入力受付モジュール１２３は、ユーザからの属性情報の入力を受け付ける（ステップＳ２０２）。

【0055】

図１９は、端末１００での属性情報入力受付画面の表示の一例である。ここでの属性情報とは、性別、年齢、人種、等の、顔の構成パーツの輪郭に影響を及ぼすと考えられる顔画像の人物の情報であるとする。図１９では、ラジオボタン１９０１により、性別が男性であるか女性であるかを選択させる。ラジオボタン１９０２により、年齢が１０代、２０代、３０代、４０代、５０代、６０代以上、のいずれであるかを選択させる。ラジオボタン１９０３により、人種が日本人であるかそれ以外であるかを選択させる。これらの選択肢については、必ずしも前述のものである必要はなく、システムに応じて適切に設定してよい。また、性別、年齢、人種、以外にも顔の構成パーツの輪郭に影響する要素があれば、属性情報として追加してよい。また、システムとして、必ずこの属性情報を入力する必要はなく、ユーザの任意入力としてもよい。ラジオボタン１９０１、ラジオボタン１９０２、ラジオボタン１９０３からユーザが属性情報を選択し、決定ボタン１９０４を選択すると、属性入力を受け付ける。キャンセルボタン１９０５を選択すると、選択した属性情報を破棄して、属性情報入力画面を終了する。この場合、再度ステップＳ２０１に戻って、顔画像を取得してもよいし、次のステップＳ２０３に進んでもよい。

【0056】

次のステップＳ２０３の構成パーツ種類指定受付とステップＳ２０４特徴点指定受付の処理については、図３のステップＳ１０２の構成パーツ種類指定受付とステップＳ１０３の特徴点指定受付の処理と同様である。

【0057】

ステップＳ２０５の輪郭描画を行う際に、輪郭描画モジュール１３１は、入力された属性情報に基づいた輪郭の描画を行う。図２４は、属性情報毎に分類した場合の輪郭データベースのデータ構造の一例である。図２３に示した輪郭データベースのデータを、属性情報毎に分類したものである。図２４では、１０代の日本人の右目の輪郭データを、それを男性か女性か性別不明かによって、分類したものである。ステップＳ２０２で入力された属性情報が、１０代の日本人男性であり、構成パーツの指定が右目であった場合には、図２４の一番上の「男性＋１０代＋日本人」の右目の輪郭データのデータベースにまず照会を行えばよい。そこで、適切なものが見つからなかった場合には、「性別不明＋１０代＋日本人」や、「男性＋２０代＋日本人」等、次に相応しいデータがあると考えられる右目の輪郭データのデータベースに照会を行うものとする。どのような順番で、属性情報別のデータベースに照会を行うかは、システム毎に設定可能であるものとする。また、適切な輪郭データを見つけることが出来なかった場合には、もっとも近いと思われる輪郭データを使用してもよい。このとき、候補となる輪郭データが複数存在する場合に、属性情報が似ているものを優先して選択するようにしてもよい。

【0058】

最後のステップＳ２０６の輪郭に沿った化粧描画の処理については、図３のステップＳ１０５の処理と同様である。

【0059】

このように、顔の構成パーツの輪郭に影響を及ぼすと考えられる顔画像の属性情報の入力を受け付け、輪郭の描画に使用することで、より精度の高い構成パーツの輪郭描画が可能となる。

【0060】

［瞼描画処理］
図６は、瞼描画機能を備えた端末１００の機能ブロックと各機能の関係を示す図である。図２で説明した機能に加えて、出力部１３０と制御部１５０とが協働して瞼描画モジュール１３２を実現する。

【0061】

図７は、瞼描画機能を備えた端末１００の化粧シミュレーション処理のフローチャート図である。図７の顔画像取得（ステップＳ３０１）、構成パーツ種類指定受付（ステップＳ３０２）、特徴点指定受付（ステップＳ３０３）、輪郭描画（ステップＳ３０４）、輪郭に沿った化粧描画（ステップＳ３０７）は、それぞれ図３の顔画像取得（ステップＳ１０１）、構成パーツ種類指定受付（ステップＳ１０２）、特徴点指定受付（ステップＳ１０３）、輪郭描画（ステップＳ１０４）、輪郭に沿った化粧描画（ステップＳ１０５）に相当する。そこで、ここでは、ステップＳ３０５とステップＳ３０６を中心に説明する。

【0062】

瞼描画処理を行う場合、ステップＳ３０４の輪郭描画後に、瞼描画モジュール１３２はステップＳ３０２で指定された構成パーツが目であるかどうかの確認を行う（ステップＳ３０５）。指定された構成パーツが目でない場合、ステップＳ３０７に進む。

【0063】

指定された構成パーツが目である場合、瞼描画モジュール１３２は瞼の輪郭描画を行う（ステップＳ３０６）。

【0064】

図２０は、端末１００での瞼の輪郭描画画面の表示の一例である。ここでは、構成パーツとして右目が指定された場合の例を示している。すでに描画された右目の輪郭にあわせて、瞼描画モジュール１３２は、右目の瞼の輪郭を類推し、表示欄２００５の画像上に瞼の輪郭を描画する。図２０では、瞼の輪郭を破線で描画した例を示している。決定ボタン２００１を選択すると、瞼の輪郭データを決定する。キャンセルボタン２００２を選択すると、瞼の輪郭データを破棄して、瞼の輪郭描画の確認画面を終了する。この場合、再度ステップＳ３０４に戻って、右目の輪郭描画を行ってもよい。変更ボタン２００３を選択すると、再度輪郭データベースへの照合を行い、別の瞼の輪郭データを取得して表示を行う。または、ステップＳ３０６の段階で、瞼の輪郭データを、第一候補、第二候補、第三候補、と複数取得しておき、変更ボタン２００３の選択により、次の候補の瞼の輪郭データの表示に切り替えてもよい。微調整ボタン２００４を選択すると、ユーザに瞼の輪郭の微調整を行わせる。瞼の輪郭の微調整の詳細については、後述する。

【0065】

ここでの、瞼描画モジュール１３２による瞼の輪郭類推処理は、目の輪郭を基に、瞼の厚みを予測して行ってもよいし、輪郭データベースの目のデータに、付属情報として瞼の輪郭データを登録しておき、そのデータを取得してもよい。

【0066】

最後に、描画した右目と瞼の輪郭に沿って、化粧画像の描画を行う（ステップＳ３０７）。ユーザに所望の化粧方法を選択させて、ステップＳ３０４とステップＳ３０６で決定した輪郭にあわせた描画を行う。

【0067】

このように、アイメイクに重要なパーツである瞼の描画を行うことで、よりユーザにとって有益な化粧シミュレーションシステムを提供することが可能となる。

【0068】

［輪郭微調整処理］
図８は、輪郭微調整機能を備えた端末１００の機能ブロックと各機能の関係を示す図である。図２で説明した機能に加えて、入力部１２０と制御部１５０とが協働して輪郭微調整モジュール１２４を実現する。

【0069】

図９は、輪郭微調整機能を備えた端末１００の化粧シミュレーション処理のフローチャート図である。図９の顔画像取得（ステップＳ４０１）、構成パーツ種類指定受付（ステップＳ４０２）、特徴点指定受付（ステップＳ４０３）、輪郭描画（ステップＳ４０４）、輪郭に沿った化粧描画（ステップＳ４０７）は、それぞれ図３の顔画像取得（ステップＳ１０１）、構成パーツ種類指定受付（ステップＳ１０２）、特徴点指定受付（ステップＳ１０３）、輪郭描画（ステップＳ１０４）、輪郭に沿った化粧描画（ステップＳ１０５）に相当する。そこで、ここでは、ステップＳ４０５とステップＳ４０６を中心に説明する。

【0070】

輪郭微調整処理を行う場合、ステップＳ４０４の輪郭描画後に、輪郭微調整モジュール１２４は輪郭の微調整を行うかどうかの確認を行う（ステップＳ４０５）。ここで、微調整を行うかどうかは、ユーザに選択させてもよいし、Ｓ４０４の描画した輪郭と実際の顔画像の構成パーツの輪郭との間にズレがあるかどうかを画像解析して、ズレがある場合に微調整を行うこととしてもよい。輪郭の微調整を行う場合には、ステップＳ４０６に進み、輪郭の微調整を行わない場合には、ステップＳ４０７に進む。

【0071】

輪郭微調整モジュール１２４は、ユーザからの入力をもとに、構成パーツの輪郭の微調整を行う（ステップＳ４０６）。図２１は、端末１００での輪郭微調整画面の表示の一例である。ここでは、構成パーツとして右目が指定された場合の例を示している。ユーザに、表示欄２１０３に描画した右目の輪郭上の点を指定して移動させることで、輪郭の微調整を行う。指定して移動させる点は、先に入力した特徴点である必要はなく、輪郭上のある点を指定して移動できるものとする。輪郭微調整モジュール１２４は、ユーザによりある点が移動された場合、移動後の点とその点の近傍にある元の輪郭上の点とを、滑らかに結んで輪郭を再描画するものとし、輪郭線が途切れないようにする。また、拡大ボタン２１０４や縮小ボタン２１０５を設けて、ユーザが自由に表示欄２１０３の画像を拡大縮小して、輪郭の微調整を行いやすくしてもよい。決定ボタン２１０１を選択すると、微調整を行った輪郭データを保存する。キャンセルボタン２１０２を選択すると、微調整した輪郭データを破棄して、輪郭の微調整画面を終了する。この場合、再度ステップＳ４０４に戻って、輪郭描画を行ってもよい。図２１には通常の輪郭微調整の例を示したが、瞼の輪郭微調整の処理を行う場合も、同様である。

【0072】

最後に、輪郭に沿って、ユーザが所望の化粧方法の化粧画像の描画を行う（ステップＳ４０７）。

【0073】

このように、輪郭の微調整処理を行ってから化粧画像の描画を行うことで、より精度の高い化粧シミュレーションシステムを提供することが可能となる。

【0074】

［画面共有による遠隔操作処理］
図１０は、画面共有機能と遠隔操作機能を備えた接続元端末１００ａと接続先端末１００ｂのブロックと各機能の関係を示す図である。接続元端末１００ａと接続先端末１００ｂは、それぞれ図２で説明した端末１００の機能に加えて、通信部１６０を備える。通信部１６０は、制御部１５０と協働して、画面共有モジュール１６１と遠隔操作モジュール１６２を実現する。端末間は、通信網２００を介して接続されているものとする。通信網２００は、公衆通信網でも専用通信網でも良い。ここでは、接続元端末１００ａを、通信網２００を介して、ネットワーク上にある接続先端末１００ｂに対して、画面共有依頼を実行する端末であるとする。

【0075】

通信部１６０には、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）対応デバイス又は第３世代、第４世代移動通信システム等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。

【0076】

図１１は、画面共有機能と遠隔操作機能を備えた接続元端末１００ａと接続先端末１００ｂのフローチャート図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。なお、ここでは接続元端末１００ａと接続先端末１００ｂが直接通信を行う記載としているが、システムに応じて、間にサーバを介する構成としてもよい。

【0077】

初めに、接続元端末１００ａの画面共有モジュール１６１は接続先端末１００ｂに対して、画面共有開始の通知を行う（ステップＳ５０１）。ここでは、フローの簡略化のため、接続元端末１００ａから接続先端末１００ｂに対する画面共有開始の通知のみを図示しているが、セキュリティ維持のための認証処理、接続先端末１００ｂ側の画面共有承認処理、接続先端末１００ｂから接続元端末１００ａへの応答処理等、通常の画面共有システムで必要な処理もあわせて行うものとする。接続先端末１００ｂから接続元端末１００ａへの応答処理は、接続先端末１００ｂの画面共有モジュール１６１が行う。

【0078】

次に、接続元端末１００ａの画面共有モジュール１６１は、画面共有を行うための共有データの作成を行う（ステップＳ５０２）。画面共有処理を開始してから、接続元端末１００ａで化粧シミュレーションシステムを行う場合、この共有データ作成処理では、図３、図５、図７、図９のそれぞれのフローチャートを実行しながら、適切な間隔で、接続元端末１００ａの画面データを共有データとして接続先端末１００ｂで表示するのに適切な形式に変換するものとする。

【0079】

次に、接続元端末１００ａの画面共有モジュール１６１は、作成した共有データを接続先端末１００ｂに送信する（ステップＳ５０３）。

【0080】

接続先端末１００ｂの画面共有モジュール１６１は、共有データを受信し（ステップＳ５０４）、受信した共有データをもとに、共有画面を表示する（ステップＳ５０５）。

【0081】

ここで、接続先端末１００ｂの遠隔操作モジュール１６２は、共有している画面に対して、操作を行うかどうかを確認する（ステップＳ５０６）。

【0082】

操作を行わない場合には、ステップＳ５０８へと進む。操作を行う場合には、接続先端末１００ｂの遠隔操作モジュール１６２は、ユーザからの操作入力を受け付ける（ステップＳ５０７）。ここでの接続先端末１００ｂに対する操作は、接続元端末１００ａの入力部１２０に対して可能な操作と同等であるとする。

【0083】

次に、接続先端末１００ｂの遠隔操作モジュール１６２は、操作データを接続元端末１００ａに送信する（ステップＳ５０８）。ステップＳ５０７の操作を行わなかった場合には、操作データを送信するのではなく、応答のみを送信してもよい。

【0084】

接続元端末１００ａの画面共有モジュール１６１は、接続先端末１００ｂから操作データを受信する（ステップＳ５０９）。

【0085】

そして、接続元端末１００ａの画面共有モジュール１６１は、受信した操作データをもとに、画面の表示を更新する（ステップＳ５１０）。たとえば、接続先端末１００ｂで輪郭の微調整が行われた場合には、微調整後の画面を接続元端末１００ａの出力部１３０に表示する。

【0086】

その後、接続元端末１００ａの画面共有モジュール１６１は、画面共有を終了するかどうかの確認を行う（ステップＳ５１１）。

【0087】

画面共有を終了しない場合には、ステップＳ５０２に戻り、処理を継続する。画面共有を終了する場合には、接続先端末１００ｂに対して、画面共有終了の通知を行い、画面共有処理を終了する（ステップＳ５１２）。

【0088】

ここでは、画面共有の終了を行うかどうか、接続元端末１００ａでのみ確認する例を示したが、接続先端末１００ｂでも、画面共通処理の終了を行うかどうかの確認を行ってもよい。また、システムやユーザの希望に応じて、接続元端末１００ａ側の画面を共有するのではなく、接続先端末１００ｂ側の画面を共有することとしてもよい。

【0089】

図２２は、接続元端末１００ａと接続先端末１００ｂとの間で画面共有と遠隔操作を行う場合の表示の一例である。接続元端末１００ａと接続先端末１００ｂは、通信網２００を介して画面共有中である。接続元端末１００ａのユーザ２２０１は、構成パーツとして右目を選択し、化粧シミュレーションを実行しようとしているが、輪郭描画がうまくいっておらず、前述の輪郭の微調整処理も思うようにできないものとする。このような場合には、接続先端末１００ｂのユーザ２２０２が、接続先端末１００ｂの画面上で、輪郭の微調整を行うことで、所望の輪郭にあわせた化粧シミュレーションを行うことが可能となる。ここで、ユーザ２２０２は、ユーザ２２０１の友人等であってもよいし、化粧シミュレーションシステムのヘルプデスクやオペレータであってもよいし、化粧シミュレーションに対してアドバイスを行うメイクアップアーティスト等の専門家であってもよい。

【0090】

このように、画面共有による遠隔操作処理を行うことで、よりユーザにとって利便性の高い化粧シミュレーションシステムを提供することが可能となる。

【0091】

［サーバに輪郭データベースを備えた化粧シミュレーションシステム］

【0092】

図１２は、サーバに輪郭データベースを備えた場合の端末１００とサーバ３００の機能ブロックと各機能の関係を示す図である。ここでは、端末１００に前述のモジュールすべてを備えた例を図示している。端末１００とサーバ３００との間は、通信網２００を介して接続されているものとする。通信網２００は、公衆通信網でも専用通信網でも良い。サーバ３００は、通信部３１０、制御部３２０、記憶部３３０を備えるものとする。通信部３１０は、有線または無線により、他のデバイスと通信可能とする。制御部３２０には、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。記憶部３３０には、ハードディスクや半導体メモリによる、データのストレージ部を備え、また、輪郭データベース３３１を備えるものとする。

【0093】

図１３は、サーバに輪郭データベースを備えた場合の端末１００とサーバ３００のフローチャート図である。図１３の顔画像取得（ステップＳ６０１）、属性情報入力受付（ステップＳ６０２）、構成パーツ種類指定受付（ステップＳ６０３）、特徴点指定受付（ステップＳ６０４）、輪郭描画（ステップＳ６１１）、輪郭に沿った化粧描画（ステップＳ６１２）は、それぞれ図３の顔画像取得（ステップＳ１０１）、図５の属性情報入力受付（ステップＳ２０２）、図３の構成パーツ種類指定受付（ステップＳ１０２）、特徴点指定受付（ステップＳ１０３）、輪郭描画（ステップＳ１０４）、輪郭に沿った化粧描画（ステップＳ１０５）に相当する。そのため、ここではステップＳ６０５からステップＳ６１０を中心に説明する。

【0094】

ステップＳ６０４の特徴点指定受付後、輪郭描画モジュール１３１は、構成パーツの種類と、指定された複数の特徴点のデータをサーバ３００に送信する（ステップＳ６０５）。属性情報が入力されている場合には、属性情報もあわせて送信する。また、構成パーツの輪郭の類推処理に、顔画像も使用する場合には、顔画像もあわせて送信してよい。

【0095】

サーバ３００は、輪郭の類推処理に必要なデータを端末１００から受信する（ステップＳ６０６）。

【0096】

次に、サーバ３００は、受信したデータをもとに輪郭データベース３３１を参照し、輪郭の類推処理を行う（ステップＳ６０７）。指定された輪郭の特徴点をデータベースに照合することで、特徴点にあった輪郭データを取得する。その際、属性情報が存在する場合には、図５の処理で前述した通り、属性情報に応じたデータベースから優先して輪郭データを取得する。

【0097】

サーバ３００は、類推した輪郭データをもとに、輪郭データの作成処理を行う（ステップＳ６０８）。化粧シミュレーションに使用する顔画像と、輪郭データベース３３１に登録されている画像は、実際の大きさが異なる場合もあるので、その場合には、顔画像の特徴点と輪郭データベース３３１の輪郭データとの比較は、変倍して行う必要がある。変倍して輪郭の類推処理を行った場合には、ここで、輪郭データを実際の顔画像のサイズに適した大きさにあわせて、変倍する。

【0098】

次に、サーバ３００は、作成した輪郭データを端末１００に送信する（ステップＳ６０９）。

【0099】

端末１００の輪郭描画モジュール１３１は、サーバ３００から輪郭データを受信する（ステップＳ６１０）。

【0100】

次に、輪郭描画モジュール１３１は、受信した輪郭データに基づき、顔画像に輪郭の描画を行う（ステップＳ６１１）。

【0101】

最後に、端末１００は出力部１３０に輪郭に沿った化粧画像の描画を行う（ステップＳ６１２）。

【0102】

このように、サーバ３００に輪郭データベースを備えることで、端末１００にデータベースを備える必要がなくなるため、端末１００の記憶部１４０の容量を圧迫することが無くなる。また、随時、サーバ３００のデータベースの輪郭データを増やすことができるため、より、精度の高い化粧シミュレーションシステムを提供することが可能となる。

【0103】

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）、コンパクトメモリ等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

【0104】

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

【符号の説明】

【0105】

１００ 端末、１００ａ 接続元端末、１００ｂ 接続先端末、２００ 通信網、３００ サーバ、

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】