特開 2023-102665 画像処理プログラム、記録媒体、画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023102665

(43)【公開日】2023-07-25

(54)【発明の名称】画像処理プログラム、記録媒体、画像処理方法

(51)【国際特許分類】

   G06T 11/80 20060101AFI20230718BHJP

   G06T 13/80 20110101ALI20230718BHJP

【ＦＩ】

G06T11/80 A

G06T11/80 D

G06T13/80 B

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022003312

(22)【出願日】2022-01-12

(71)【出願人】

【識別番号】595000427

【氏名又は名称】株式会社コーエーテクモゲームス

(74)【代理人】

【識別番号】110003096

【氏名又は名称】弁理士法人第一テクニカル国際特許事務所

(72)【発明者】

【氏名】田中 薫

(72)【発明者】

【氏名】増田 真吾

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050BA06

5B050BA12

5B050EA03

5B050EA06

5B050EA13

5B050EA15

5B050EA19

(57)【要約】

【課題】処理負荷を軽減することができる画像処理プログラム、記録媒体、画像処理方法を提供する。
【解決手段】画像処理プログラムは、情報処理装置３を、第１の画像２９と、第１の画像の所定の部位が変化した画像である第２の画像３１と、を取得する画像取得処理部１７、第２の画像３１の所定の部位の全部又は一部の領域を指定する領域指定処理部１９、指定された領域を第２の画像３１から抽出する領域抽出処理部２１、抽出された領域を第１の画像２９に合成する画像合成処理部２３、として機能させる。
【選択図】図２

【特許請求の範囲】

【請求項1】

情報処理装置を、
第１の画像と、前記第１の画像の所定の部位が変化した画像である第２の画像と、を取得する画像取得処理部、
前記第２の画像の前記所定の部位の全部又は一部の領域を指定する領域指定処理部、
指定された前記領域を前記第２の画像から抽出する領域抽出処理部、
抽出された前記領域を前記第１の画像に合成する画像合成処理部、
として機能させるための画像処理プログラム。

【請求項2】

前記領域指定処理部は、
前記第２の画像の前記所定の部位に対応した領域がグラデーションで構成されたマスクデータと、前記グラデーションの度合いを示す値と、に基づいて前記領域を指定する、
請求項１に記載の画像処理プログラム。

【請求項3】

前記情報処理装置を、
前記第２の画像から抽出された前記領域の周縁部の少なくとも一部に、所定の色を付加する色付加処理部、
としてさらに機能させるための請求項２に記載の画像処理プログラム。

【請求項4】

前記情報処理装置を、
前記領域の前記周縁部の少なくとも一部に付加した前記所定の色にぼかし処理を行うぼかし処理部、
としてさらに機能させるための請求項３に記載の画像処理プログラム。

【請求項5】

前記マスクデータは、
前記グラデーションの度合いを示す値が等しい部分を結んだ線が所定の形状となるように構成されている、
請求項２～４のいずれか１項に記載の画像処理プログラム。

【請求項6】

前記画像取得処理部は、
目を開いた人物の画像である前記第１の画像と、前記目を閉じた前記人物の画像である前記第２の画像と、を取得し、
前記領域指定処理部は、
前記第２の画像の瞼の全部又は一部の領域を指定し、
前記領域抽出処理部は、
前記瞼の指定された前記領域を前記第２の画像から抽出し、
前記画像合成処理部は、
抽出された前記瞼の前記領域を前記第１の画像に合成する、
請求項１～５のいずれか１項に記載の画像処理プログラム。

【請求項7】

請求項１乃至６のいずれか１項に記載の画像処理プログラムを記録した、情報処理装置が読み取り可能な記録媒体。

【請求項8】

情報処理装置によって実行される画像処理方法であって、
第１の画像と、前記第１の画像の所定の部位が変化した画像である第２の画像と、を取得するステップと、
前記第２の画像の前記所定の部位の全部又は一部の領域を指定するステップと、
指定された前記領域を前記第２の画像から抽出するステップと、
抽出された前記領域を前記第１の画像に合成するステップと、
を有する、画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理プログラム、当該画像処理プログラムが記録された記録媒体、及び画像処理方法に関する。

【背景技術】

【0002】

例えば特許文献１には、口およびその周辺に関する複数の基本形状を特定する基本形状データと、複数の基本形状を合成する際の重み付け係数の値を示す複数の重み付け係数データと、を用いて複数の基本形状を合成することにより、口およびその周辺形状を算出し、算出された口およびその周辺の形状が反映された画像を生成する画像処理装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００２－１３３４４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記従来技術では、複雑な演算処理を行う必要があるため、処理負荷が大きいという課題があった。

【0005】

本発明はこのような問題点に鑑みてなされたものであり、処理負荷を軽減することができる画像処理プログラム、記録媒体、画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明の画像処理プログラムは、情報処理装置を、第１の画像と、前記第１の画像の所定の部位が変化した画像である第２の画像と、を取得する画像取得処理部、前記第２の画像の前記所定の部位の全部又は一部の領域を指定する領域指定処理部、指定された前記領域を前記第２の画像から抽出する領域抽出処理部、抽出された前記領域を前記第１の画像に合成する画像合成処理部、として機能させる。

【0007】

また、上記目的を達成するために、本発明の記録媒体は、上記画像処理プログラムを記録した、情報処理装置が読み取り可能な記録媒体である。

【0008】

また、上記目的を達成するために、本発明の画像処理方法は、情報処理装置によって実行される画像処理方法であって、第１の画像と、前記第１の画像の所定の部位が変化した画像である第２の画像と、を取得するステップと、前記第２の画像の前記所定の部位の全部又は一部の領域を指定するステップと、指定された前記領域を前記第２の画像から抽出するステップと、抽出された前記領域を前記第１の画像に合成するステップと、を有する。

【発明の効果】

【0009】

本発明の画像処理プログラム等によれば、処理負荷を軽減することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係るゲームシステムの全体構成の一例を表す図である。

【図2】情報処理装置の機能的構成の一例を表すブロック図である。

【図3】第１の画像の一例であり、目を開いた男性キャラクタの画像である。

【図4】第２の画像の一例であり、目を閉じた男性キャラクタの画像である。

【図5】マスクデータの一例を表す図である。

【図6】マスクデータのグラデーション部分を抽出して拡大した図である。

【図7】色付加処理部による色付加処理の一例を説明するための、男性キャラクタの目元の拡大図である。

【図8】ぼかし処理部によるぼかし処理の一例を説明するための、男性キャラクタの目元の拡大図である。

【図9】情報処理装置が実行する処理手順の一例を表すフローチャートである。

【図10】マスクデータのグラデーション形状を調整する変形例における、マスクデータのグラデーション形状の一例を表す図である。

【図11】マスクデータのグラデーション形状を調整する変形例における、男性キャラクタの目元の拡大図である。

【図12】情報処理装置のハードウェア構成の一例を表すブロック図である。

【発明を実施するための形態】

【0011】

以下、本発明の一実施の形態について図面を参照しつつ説明する。なお、以下に説明する実施形態では、本発明をゲームに適用する場合、すなわち本発明の画像処理プログラム及び画像処理方法が情報処理装置によって実行されることによりゲームが提供される場合を一例として説明するが、本発明の適用対象をゲームに限定するものではない。

【0012】

＜１．ゲームシステムの全体構成＞
図１を用いて、実施形態に係るゲームシステム１の全体構成の一例について説明する。図１に示すように、ゲームシステム１は、情報処理装置３と、ゲームコントローラ５と、表示装置７とを有する。ゲームコントローラ５及び表示装置７は、情報処理装置３と有線又は無線により通信可能に接続されている。

【0013】

情報処理装置３は、例えば据え置き型のゲーム機である。但しこれに限定されるものではなく、例えば入力部や表示部等を一体に備えた携帯型のゲーム機でもよい。また、ゲーム機以外にも、例えば、サーバコンピュータ、デスクトップ型コンピュータ、ノート型コンピュータ、タブレット型コンピュータ等のコンピュータ機器や、スマートフォン、携帯電話、ファブレット等の電話機能を有する機器でもよい。

【0014】

プレイヤは、ゲームコントローラ５を用いて各種の操作入力を行う。図１に示す例では、ゲームコントローラ５は、例えば十字キー９、操作ボタン１１、ジョイスティック１３、タッチパッド１５等を有する。

【0015】

＜２．情報処理装置の機能的構成＞
次に、図２及び図３～図８を用いて、情報処理装置３の機能的構成の一例について説明する。

【0016】

図２に示すように、情報処理装置３は、画像取得処理部１７と、領域指定処理部１９と、領域抽出処理部２１と、画像合成処理部２３と、色付加処理部２５と、ぼかし処理部２７とを有する。

【0017】

画像取得処理部１７は、第１の画像と、第１の画像の所定の部位が変化した画像である第２の画像と、を取得する。なお、ここでいう「取得」には、記録媒体１２５、外部接続機器１２７、記録装置１１７、ＲＯＭ１０３又はＲＡＭ１０５等（後述の図１２参照）に記録された画像データを読み込むことや、ネットワークＮＷを介して画像データを外部から受信すること等が含まれる。「所定の部位」とは、画像の中で動いて変化する部位であり、例えば画像がゲームキャラクタの顔の画像である場合には、目（詳細には上瞼）等である。例えば、目の開閉動作（瞬き）を表現する場合には、第１の画像は目を開けた顔の画像、第２の画像は目を閉じた顔の画像である。

【0018】

図３及び図４に、画像取得処理部１７により取得される第１の画像と第２の画像の一例を示す。図３は第１の画像２９の一例であり、目を開いた男性キャラクタの画像である。図４は第２の画像３１の一例であり、第１の画像２９と同じ男性キャラクタが目を閉じたときの画像である。第２の画像３１は、第１の画像２９の目の部分に上瞼３３が付いた画像となっている。なお、第１の画像２９と第２の画像３１は、目以外の部分は同一である。

【0019】

図２に戻り、領域指定処理部１９は、第２の画像の所定の部位の全部又は一部の領域を指定する。「第２の画像の所定の部位」とは、第１の画像における所定の部位が変化した後の部位である。例えば目の瞬きを表現する場合、第１の画像の所定の部位は開いた状態の目であり、第２の画像の所定の部位は閉じた状態の目（瞼）である。つまり、領域指定処理部１９は、第２の画像における瞼の全部又は一部の領域を指定する。

【0020】

具体的には、領域指定処理部１９は、第２の画像の所定の部位に対応した領域がグラデーションで構成されたマスクデータと、グラデーションの度合いを示す値とに基づいて領域を指定する。

【0021】

図５及び図６に、マスクデータの一例を示す。なお、図６はマスクデータのグラデーション部分を抽出して拡大した図である。図５に示すように、マスクデータ３５は、例えば目に対応した形状の抽出領域３７と、当該抽出領域３７以外のマスク領域３９とを有する、画像データである。マスク領域３９は、例えば黒色に設定されており、画像の抽出が行われない領域である。一方、抽出領域３７は、抽出が行われる領域であり、図６に示すように、例えば上側から下側に向けて黒色から白色に段階的に変化するグラデーション（階調ともいう）として構成されている。抽出領域３７は、第２の画像３１の目（上瞼３３）に対応した領域に形成されている。

【0022】

グラデーションの度合いを示す値である階調値Ｇは、０～１の範囲で設定可能であり、０は黒色、１は白色、０と１の間の値は黒色と白色の中間色を示す。すなわち、階調値Ｇは黒色に対する白色の配合の割合を示す。図６に示す例では、グラデーションは、例えば階調値Ｇが等しい点を結んだ等階調線Ｌが横方向に直線状となるように構成されている。そして、例えば階調値Ｇが０．５である場合、階調値が０．５以下である領域（抽出領域３７の略上半分）が指定され、当該領域の上瞼３３が第２の画像３１から抽出されて第１の画像２９の目の部分に合成される。これにより、目の開閉度が約５０％（半目の状態）となる。また、例えば階調値Ｇが１である場合、階調値が１以下である領域（抽出領域３７の全部）が指定され、当該領域の上瞼３３が第２の画像３１から抽出されて第１の画像２９の目の部分に合成される。これにより、目の開閉度が約０％（目を閉じた状態）となる。また、例えば階調値Ｇが０である場合、階調値が０以下である領域が指定され、この場合には第２の画像３１から上瞼３３が抽出されない。これにより、目の開閉度が約１００％（目を開いた状態）となる。

【0023】

上記のようにして階調値Ｇを変更することにより、目の開閉度を段階的に変化させることができる。したがって、目の開閉度を１００％から０％に段階的に変化させると共に、０％から１００％に段階的に変化させることを、０コンマ何秒（例えば０．２秒）の間に行うことにより、瞬きを表現できる。

【0024】

図２に戻り、領域抽出処理部２１は、上記領域指定処理部１９により指定された領域を第２の画像３１から抽出する。例えば目の瞬きを表現する場合、領域抽出処理部２１は、上瞼３３の指定された領域を第２の画像３１から抽出する。

【0025】

画像合成処理部２３は、上記領域抽出処理部２１により抽出された領域を第１の画像２９に合成する。その際、画像合成処理部２３は、抽出した領域を第１の画像２９の対応する部位に合成する。例えば、第２の画像３１から上瞼３３の全部又は一部の領域を抽出した場合には、第１の画像２９の目の部位に合成する。

【0026】

色付加処理部２５は、第２の画像３１から抽出された領域の周縁部の少なくとも一部に、所定の色を付加する。例えば目の瞬きを表現する場合において、目を閉じた顔画像である第２の画像３１の上瞼３３の一部を抽出して目を開けた顔画像である第１の画像２９の目の部位に合成する場合、単に上瞼３３を合成するだけではまつ毛がないので眼力がなく、不自然な画像となる。そこで色付加処理部２５は、上瞼３３の下端の縁部に暗い色（例えば黒色や濃い茶色等）を付加する。これにより、まつ毛を表現することが可能となり、自然な瞬きを表現することができる。なお、色を付加する部位（上瞼３３の下端の縁部）は、前述のマスクデータ３５の階調値Ｇにより指定することが可能である。

【0027】

図７に、色付加処理部２５による色付加処理の一例を示す。図７に示す例では、例えば目の開閉度が約５０％（半目の状態）となっており、色付加処理部２５により、上瞼３３の下端の縁部に沿って黒色のまつ毛部４１が線状に付加されている。

【0028】

図２に戻り、ぼかし処理部２７は、上記色付加処理部２５により付加した所定の色にぼかし処理を行う。すなわち、単に色を付加しただけでは、付加した色が周囲から浮いてしまい、不自然な画像となる可能性がある。そこで、ぼかし処理部２７によりぼかし処理を行うことで、付加した色を周囲に馴染ませることが可能となり、より自然な画像とすることができる。

【0029】

図８に、ぼかし処理部２７によるぼかし処理の一例を示す。図８は、図７に対応している。図８に示すように、上瞼３３の下端に付加したまつ毛部４１をぼかすことにより、まつ毛らしく表現することが可能となり、瞬きをより自然に表現することができる。

【0030】

なお、以上説明した各処理部における処理等は、これらの処理の分担の例に限定されるものではなく、例えば、更に少ない数の処理部（例えば１つの処理部）で処理されてもよく、また、更に細分化された処理部により処理されてもよい。また、上述した各処理部の機能は、後述するＣＰＵ１０１（後述の図１２参照）が実行する画像処理プログラムにより実装されるものであるが、例えばその一部がＡＳＩＣやＦＰＧＡ等の専用集積回路、その他の電気回路等の実際の装置により実装されてもよい。

【0031】

＜３．情報処理装置が実行する処理手順＞
次に、図９を用いて、情報処理装置３によって実行される処理手順の一例について説明する。

【0032】

ステップＳ１０では、情報処理装置３は、画像取得処理部１７により、所定の部位が変化する前の第１の画像２９と、所定の部位が変化した後の第２の画像３１を取得する。

【0033】

ステップＳ２０では、情報処理装置３は、上記ステップＳ１０で取得した第１の画像２９を表示装置７に表示する。

【0034】

ステップＳ３０では、情報処理装置３は、領域指定処理部１９により、マスクデータ３５と階調値Ｇに基づいて、第２の画像３１から抽出する領域を指定する。

【0035】

ステップＳ４０では、情報処理装置３は、領域抽出処理部２１により、上記ステップＳ３０で指定した領域を第２の画像３１から抽出する。

【0036】

ステップＳ５０では、情報処理装置３は、画像合成処理部２３により、上記ステップＳ４０で抽出した領域を第１の画像２９の対応する部位に合成する。

【0037】

ステップＳ６０では、情報処理装置３は、色付加処理部２５により、上記ステップＳ４０で抽出した領域の周縁部の少なくとも一部に、所定の色を付加する。

【0038】

ステップＳ７０では、情報処理装置３は、ぼかし処理部２７により、上記ステップＳ６０で付加した所定の色にぼかし処理を行う。

【0039】

ステップＳ８０では、情報処理装置３は、上記ステップＳ５０で合成し、上記ステップＳ６０で色を付加し、上記ステップＳ７０でぼかし処理を行った画像を表示装置７に表示する。

【0040】

上記ステップＳ３０～ステップＳ８０を抽出領域を変更しつつ繰り返すことにより、第１の画像２９の所定の部位が変化する様子を表現できる。例えば、抽出する上瞼３３の領域を階調値Ｇで０から１に段階的に変化させると共に１から０に段階的に変化させて合成することを、０コンマ何秒（例えば０．２秒）の間に行うことにより、目の開閉動作（瞬き）を表現できる。以上により、本フローチャートを終了する。

【0041】

なお、上述した処理手順は一例であって、上記手順の少なくとも一部を削除又は変更してもよいし、上記以外の手順を追加してもよい。また、上記手順の少なくとも一部の順番を変更してもよいし、複数の手順が単一の手順にまとめられたり、並行して実行されてもよい。例えば、上記ステップＳ５０と、ステップＳ６０及びステップＳ７０とは、同時並行して実行されてもよい。

【0042】

＜４．実施形態の効果＞
以上説明したように、本実施形態の画像処理プログラムは、情報処理装置３を、第１の画像２９と、第１の画像２９の所定の部位が変化した画像である第２の画像３１と、を取得する画像取得処理部１７、第２の画像３１の所定の部位の全部又は一部の領域を指定する領域指定処理部１９、指定された領域を第２の画像３１から抽出する領域抽出処理部２１、抽出された領域を第１の画像２９に合成する画像合成処理部２３、として機能させる。

【0043】

一般に顔画像のパーツ（目や口等）を動かす場合、例えばＡＩを用いてパーツの特徴点を抽出し、３Ｄの顔モデルのメッシュに合わせるようにテクスチャとして貼り付け、パーツにモーションデータを適用することによって、瞬きや口パク等のアニメーションを実行する手法が知られている。しかしながら、このような手法を例えばゲーム等に実装するには処理負荷が大きくなり、高い精度で行うには専用のサーバへのアクセスが必要となる等、装置が大掛かりになると共にコストが増大するという課題がある。

【0044】

本実施形態では、第１の画像２９と、第１の画像の所定の部位が変化した画像である第２の画像３１とを取得し、第２の画像３１の所定の部位の全部又は一部の領域を指定し、指定した領域を第２の画像３１から抽出し、抽出した領域を第１の画像２９に合成する。このように、２種類の画像を用意して簡易な画像処理を行うだけで、画像における所定の部位の変化を表現することが可能となるので、ＡＩによる画像認識等の複雑な演算処理が不要となり、処理負荷を軽減することができる。軽い処理負荷で画像の所定の部位を変化させることができるので、例えば顔画像における目の動き等を、高速且つ高品質に表現することが可能となる。特に、２次元の静止画像（いわゆるスチル画像）に動きを与えて動画っぽく見せる場合に好適である。

【0045】

また本実施形態において、領域指定処理部１９は、第２の画像３１の所定の部位に対応した領域がグラデーションで構成されたマスクデータ３５と、グラデーションの度合いを示す階調値Ｇと、に基づいて領域を指定してもよい。

【0046】

例えばＡＩを用いて顔認識を行う手法では、誤認識をする可能性がある。例えば目が髪によって片方隠れていたり、横を向いていたりした場合には、認識を失敗する可能性が高くなる。本実施形態では、画像の所定の部位に対応した領域がグラデーションで構成されたマスクデータ３５を用いて、グラデーションの度合いを示す階調値Ｇにより領域を指定する。階調値Ｇによりグラデーションの中に境界を規定することができるので、当該境界により領域を指定できる。また、マスクデータ３５を人の手で作成することにより、所定の部位に対応した領域に対して確実に画像処理を施すことが可能となる。したがって、画像処理の信頼性を向上できる。

【0047】

また本実施形態において、画像処理プログラムは、情報処理装置３を、第２の画像３１から抽出された領域の周縁部の少なくとも一部に、所定の色を付加する色付加処理部２５、としてさらに機能させてもよい。

【0048】

第２の画像３１の所定の部位の全部又は一部の領域を抽出して第１の画像２９に合成する場合に、そのままでは不自然な画像となる場合がある。例えば、目を閉じた顔画像である第２の画像３１の上瞼３３の部分を抽出して目を開けた顔画像である第１の画像２９の目の部分に合成する場合、単に合成するだけではまつ毛がないので眼力がなく、不自然な画像となる。本実施形態では、第２の画像３１から抽出された領域の周縁部の少なくとも一部に、所定の色を付加することにより、自然な画像とすることが可能となる。例えば上記の例では、上瞼３３の下端に暗い色を付加することにより、まつ毛を表現することが可能となり、自然な瞬きを表現することができる。また、色を付加する場所は階調値Ｇにより指定できるので、当該場所を指定するための新たな処理は不要であり、処理負荷が増大することを抑制できる。

【0049】

また本実施形態において、画像処理プログラムは、情報処理装置３を、領域の周縁部の少なくとも一部に付加した所定の色にぼかし処理を行うぼかし処理部２７、としてさらに機能させてもよい。

【0050】

この場合、付加した色を周囲に馴染ませることができるので、より自然な画像とすることができる。例えば上記の例では、上瞼３３の下端に付加した暗い色をぼかすことにより、まつ毛らしく表現することが可能となり、瞬きをより自然に表現することができる。

【0051】

また本実施形態において、画像取得処理部１７は、目を開いた人物の画像である第１の画像２９と、目を閉じた人物の画像である第２の画像３１と、を取得し、領域指定処理部１９は、第２の画像３１の上瞼３３の全部又は一部の領域を指定し、領域抽出処理部２１は、上瞼３３の指定された領域を第２の画像３１から抽出し、画像合成処理部２３は、抽出された上瞼３３の領域を第１の画像２９に合成してもよい。

【0052】

この場合、顔画像において軽い処理負荷で上瞼３３を開閉させることができ、瞬きを高速且つ高品質に表現することができる。

【0053】

＜５．変形例等＞
なお、本発明は、上記の実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。

【0054】

（５－１．グラデーションの形状を所定の形状とする場合）
上記実施形態では、マスクデータ３５のグラデーションの形状（等階調線Ｌの形状）が、前述の図６に示すように例えば横方向に直線状である場合について説明したが、当該形状が所定の形状となるように、マスクデータ３５のグラデーションを構成してもよい。

【0055】

例えば、目を閉じた顔画像である第２の画像３１の上瞼３３の部分を抽出して目を開けた顔画像である第１の画像２９の目の部分に合成する場合において、瞬きを表現する場合には上瞼３３の開閉動作が一瞬で行われるため、プレイヤが開閉途中の上瞼３３の形状を気にする可能性は少ない。しかし、キャラクタの顔の表情やしぐさ等により、例えば半目の状態で上瞼３３が静止するような場合には、開閉途中の上瞼３３の形状が一直線状では不自然となる可能性がある。

【0056】

そこで本変形例では、マスクデータ３５のグラデーション部分を、階調値Ｇが等しい点を結んだ線（等階調線）が所定の形状となるように構成する。これにより、所定の部位が変化する途中の形状を調整することが可能となる。例えば図１０に示すように、抽出領域３７のグラデーションを、上側から下側に向けて黒色から白色に放射状に変化するように、言い換えると、等階調線Ｌが円弧状となるように、構成してもよい。この場合、図１１に示すように、半目状態の上瞼３３の形状を円弧状とすることが可能となり、キャラクタの表情をより自然に表現することができる。

【0057】

（５－２．口元を動かす動作を表現する場合）
上記実施形態では、キャラクタの目の開閉動作（瞬き）を表現する場合について説明したが、本発明の適用対象は上記に限定されるものではない。例えば、キャラクタの口元を動かす動作（いわゆる口パク）を表現する場合に適用してもよい。

【0058】

本変形例では、画像取得処理部１７により取得される第１の画像は例えば口を閉じた顔の画像、第２の画像は例えば口を開いた顔の画像とする。この場合、第１の画像の所定の部位は閉じた状態の口であり、第２の画像の所定の部位は開いた状態の口となる。つまり、領域指定処理部１９は、第２の画像における開いた口の全部又は一部の領域を指定する。領域の指定の手法は、前述の実施形態と同様である。領域抽出処理部２１は、開いた口の指定された領域を第２の画像から抽出する。そして、第２の画像から抽出した開いた口の全部又は一部の領域を、第１の画像の口の部分に合成する。

【0059】

なお、口の動きを表現する場合において、単に第２の画像の開いた口を抽出して第１の画像の口の部分に合成するだけでは、下唇がないので不自然な画像となる。そこで色付加処理部２５により、抽出した口の領域の下端の縁部に赤色又はピンク色等を付加し、ぼかし処理部２７によりぼかし処理を行ってもよい。あるいは、下唇を描画したテクスチャを作成しておき、抽出した口の領域の下端の縁部に貼り付けてもよい。これにより、下唇を表現することが可能となり、自然な口元の動きを表現することができる。

【0060】

（５－３．その他の適用例）
本発明の適用対象は、顔画像のパーツ（目や口等）の動作に限定されるものではない。すなわち、画像の中の所定の部位が変化するものであれば適用可能であり、特に所定の部位に動きがあるものに好適である。例えば、顔や身体の所定の部位に汗をかく場合、鼻血を出す場合、顔色が青ざめる場合（例えば複数の縦方向の直線が下方に伸びる表現等）、頬が紅潮する場合（赤みが頬の中心から周囲に広がる表現等）、顔や身体の所定の部位にタトゥや紋章が浮かび上がる場合、髪の毛の色が根本から毛先に向けて変化する場合等、多種多様な場合に適用可能である。

【0061】

（５－４．その他）
以上では、画像処理プログラムをゲームに適用する場合について説明したが、ゲーム以外にも、例えばＣＧアニメーション、コンピュータ・シミュレーション、ＣＡＤ等、多種多様な画像技術分野に適用可能である。

【0062】

また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。その他、一々例示はしないが、上記実施形態や各変形例は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。

【0063】

以上説明した実施形態や変形例等が解決しようとする課題や効果は、上述した内容に限定されるものではない。実施形態や変形例等によって、上述されていない課題を解決したり、上述されていない効果を奏することもでき、記載されている課題の一部のみを解決したり、記載されている効果の一部のみを奏することがある。

【0064】

＜６．情報処理装置のハードウェア構成＞
次に、図１２を用いて、上記で説明したＣＰＵ１０１等が実行するプログラムにより実装された各処理部を実現する情報処理装置３のハードウェア構成の一例について説明する。

【0065】

図１２に示すように、情報処理装置３は、例えば、ＣＰＵ１０１と、ＲＯＭ１０３と、ＲＡＭ１０５と、ＧＰＵ１０６と、例えばＡＳＩＣ又はＦＰＧＡ等の特定の用途向けに構築された専用集積回路１０７と、入力装置１１３と、出力装置１１５と、記録装置１１７と、ドライブ１１９と、接続ポート１２１と、通信装置１２３を有する。これらの構成は、バス１０９や入出力インターフェース１１１等を介し相互に信号を伝達可能に接続されている。

【0066】

画像処理プログラムは、例えば、ＲＯＭ１０３やＲＡＭ１０５、ハードディスク等の記録装置１１７等に記録しておくことができる。

【0067】

また、画像処理プログラムは、例えば、フレキシブルディスクなどの磁気ディスク、各種のＣＤ、ＭＯディスク、ＤＶＤ等の光ディスク、半導体メモリ等のリムーバブルな記録媒体１２５に、一時的又は永続的（非一時的）に記録しておくこともできる。このような記録媒体１２５は、いわゆるパッケージソフトウエアとして提供することもできる。この場合、これらの記録媒体１２５に記録された画像処理プログラムは、ドライブ１１９により読み出されて、入出力インターフェース１１１やバス１０９等を介し上記記録装置１１７に記録されてもよい。

【0068】

また、画像処理プログラムは、例えば、ダウンロードサイト、他のコンピュータ、他の記録装置等（図示せず）に記録しておくこともできる。この場合、画像処理プログラムは、ＬＡＮやインターネット等のネットワークＮＷを介し転送され、通信装置１２３がこのプログラムを受信する。そして、通信装置１２３が受信したプログラムは、入出力インターフェース１１１やバス１０９等を介し上記記録装置１１７に記録されてもよい。

【0069】

また、画像処理プログラムは、例えば、適宜の外部接続機器１２７に記録しておくこともできる。この場合、画像処理プログラムは、適宜の接続ポート１２１を介し転送され、入出力インターフェース１１１やバス１０９等を介し上記記録装置１１７に記録されてもよい。

【0070】

そして、ＣＰＵ１０１が、上記記録装置１１７に記録されたプログラムに従い各種の処理を実行することにより、前述の画像取得処理部１７、領域指定処理部１９、領域抽出処理部２１、画像合成処理部２３、色付加処理部２５、ぼかし処理部２７等による処理が実現される。この際、ＣＰＵ１０１は、例えば、上記記録装置１１７からプログラムを、直接読み出して実行してもよく、ＲＡＭ１０５に一旦ロードした上で実行してもよい。更にＣＰＵ１０１は、例えば、プログラムを通信装置１２３やドライブ１１９、接続ポート１２１を介し受信する場合、受信したプログラムを記録装置１１７に記録せずに直接実行してもよい。

【0071】

また、ＣＰＵ１０１は、必要に応じて、前述のゲームコントローラ５を含む、例えばマイク、マウス、キーボード等（図示せず）の入力装置１１３から入力する信号や情報に基づいて各種の処理を行ってもよい。

【0072】

ＧＰＵ１０６は、ＣＰＵ１０１からの指示に応じて例えばレンダリング処理などの画像表示のための処理を行う。

【0073】

そして、ＣＰＵ１０１及びＧＰＵ１０６は、上記の処理を実行した結果を、例えば前述の表示装置７を含む、出力装置１１５から出力する。さらにＣＰＵ１０１及びＧＰＵ１０６は、必要に応じてこの処理結果を通信装置１２３や接続ポート１２１を介し送信してもよく、上記記録装置１１７や記録媒体１２５に記録させてもよい。

【符号の説明】

【0074】

１ ゲームシステム
３ 情報処理装置
５ ゲームコントローラ
７ 表示装置
１７ 画像取得処理部
１９ 領域指定処理部
２１ 領域抽出処理部
２３ 画像合成処理部
２５ 色付加処理部
２７ ぼかし処理部
２９ 第１の画像
３１ 第２の画像
３３ 上瞼（所定の部位）
３５ マスクデータ
１２５ 記録媒体
Ｇ 階調値（グラデーションの度合いを示す値）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】