特許 6390210 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6390210

(24)【登録日】2018年8月31日

(45)【発行日】2018年9月19日

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 13/80 20110101AFI20180910BHJP

   G06T 1/00 20060101ALI20180910BHJP

【ＦＩ】

   G06T13/80 B

   G06T1/00 340A

【請求項の数】14

【全頁数】19

(21)【出願番号】特願2014-133831(P2014-133831)

(22)【出願日】2014年6月30日

(65)【公開番号】特開2016-12261(P2016-12261A)

(43)【公開日】2016年1月21日

【審査請求日】2017年6月7日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110001254

【氏名又は名称】特許業務法人光陽国際特許事務所

(72)【発明者】

【氏名】佐々木 雅昭

(72)【発明者】

【氏名】牧野 哲司

(72)【発明者】

【氏名】宮本 優一

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開２０１３−０８９１９９（ＪＰ，Ａ）

【文献】 特開２００８−０１５９４２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １３／００ − １３／８０

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

画像を取得する取得手段と、
前記取得手段により取得された画像内の顔画像を含まない領域から、顔の主要部の形状に相当する領域を検出する領域検出手段と、
前記領域検出手段により検出された領域を画像処理対象として設定する第１設定手段と、
を備えたことを特徴とする画像処理装置。

【請求項2】

前記第１設定手段は、前記領域検出手段により検出された領域を前記顔の主要部に関する画像処理対象として設定することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記領域検出手段は、更に、前記画像内の円形又は多角形をなす領域を前記主要部の形状に相当する領域として検出することを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記画像内で前記領域検出手段により検出された領域の位置を基準として、前記第１設定手段により設定された前記主要部以外の他の主要部に対応する領域を特定する特定手段と、
前記特定手段により特定された領域を前記他の主要部の画像処理対象として設定する第２設定手段と、を更に備えることを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。

【請求項5】

前記第１設定手段は、更に、前記画像内で前記領域検出手段により検出されたそれぞれ円形又は多角形をなす二つの領域に左右の両目を前記主要部として設定し、
前記特定手段は、前記画像内で前記領域検出手段により検出された前記二つの領域の位置を基準として、前記他の主要部としての口に対応する領域を特定することを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記第１設定手段は、更に、前記画像内で前記領域検出手段により検出された円形又は多角形をなす一の領域に口を前記主要部として設定し、
前記特定手段は、前記画像内で前記領域検出手段により検出された前記一の領域の位置を基準として、前記他の主要部としての目に対応する領域を特定することを特徴とする請求項４に記載の画像処理装置。

【請求項7】

前記第１設定手段は、更に、前記領域検出手段により検出された領域に前記主要部を表す画像を重畳させるように設定することを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。

【請求項8】

前記取得手段により取得された画像内で、前記第１設定手段により設定された前記主要部を表す画像を動作させる動作制御手段を更に備えることを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記第１設定手段は、更に、前記領域検出手段により検出された領域に前記主要部を表す画像を重畳させるように設定し、
前記第２設定手段は、前記特定手段により特定された領域に前記他の主要部を表す画像を重畳させるように設定することを特徴とする請求項４に記載の画像処理装置。

【請求項10】

前記取得手段により取得された画像内で、前記第１設定手段により設定された前記主要部を表す画像及び前記第２設定手段により設定された前記他の主要部を表す画像を動作させる動作制御手段を更に備えることを特徴とする請求項９に記載の画像処理装置。

【請求項11】

前記取得手段により取得された画像から顔を検出する顔検出手段を更に備え、
前記領域検出手段は、前記顔検出手段により顔が検出されなかった場合に、前記取得手段により取得された画像内で顔の主要部の形状に相当する領域を検出することを特徴とする請求項１〜１０の何れか一項に記載の画像処理装置。

【請求項12】

前記取得手段により取得された画像から顔の主要部を検出する主要部検出手段を更に備え、
前記領域検出手段は、前記主要部検出手段により前記主要部が検出されなかった場合に、前記取得手段により取得された画像内で顔の主要部の形状に相当する領域を検出することを特徴とする請求項１〜１１の何れか一項に記載の画像処理装置。

【請求項13】

画像処理装置を用いた画像処理方法であって、
画像を取得する処理と、
取得された画像内の顔画像を含まない領域から、顔の主要部の形状に相当する領域を検出する処理と、
検出された領域を画像処理対象として設定する処理と、
を含むことを特徴とする画像処理方法。

【請求項14】

画像処理装置のコンピュータを、
画像を取得する取得手段、
前記取得手段により取得された画像内の顔画像を含まない領域から、顔の主要部の形状に相当する領域を検出する領域検出手段、
前記領域検出手段により検出された領域を画像処理対象として設定する第１設定手段、
として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

近年、人型に成型された投影スクリーンに映像を投影する、所謂「バーチャルマネキン」が提案されている（例えば、特許文献１参照）。バーチャルマネキンは、あたかもそこに人間が立っているかのような存在感のある投影像が得られ、展示会等にて斬新で効果的な展示の演出を行うことができる。
このようなバーチャルマネキンの顔の表情を豊かにするために、写真やイラストや漫画などの画像中の顔を構成する主要部（例えば、目や口等）を変形させて動きを表現する技術が知られている。具体的には、被写体であるヒトの注視点に基づいて、そのヒトのコンピュータグラフィックスで表現される顔モデル中の眼球を動作させる手法（例えば、特許文献２参照）や、発音される言葉の母音や子音毎に口の形状を変えてリップシンクさせる手法（例えば、特許文献３参照）などがある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−１５０２２１号公報

【特許文献2】特開平０６−２８２６２７号公報

【特許文献3】特開２００３−５８９０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、顔の主要部を動作させる場合、処理対象となる画像には顔が含まれている必要がある。つまり、顔が含まれていない画像、顔検出や顔の主要部の検出精度が低い画像を処理対象とした場合には、顔の主要部を変形させて動きを表現することができないといった問題がある。

【0005】

本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、顔が含まれない画像に対しても顔の主要部を設定することができる画像処理装置、画像処理方法及びプログラムを提供することである。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明に係る画像処理装置は、
画像を取得する取得手段と、
前記取得手段により取得された画像内の顔画像を含まない領域から、顔の主要部の形状に相当する領域を検出する領域検出手段と、
前記領域検出手段により検出された領域を画像処理対象として設定する第１設定手段と、
を備えたことを特徴としている。

【発明の効果】

【0009】

本発明によれば、顔が含まれない画像に対しても顔の主要部を設定することができる。

【図面の簡単な説明】

【0010】

【図1】本発明を適用した一実施形態の画像処理装置の概略構成を示すブロック図である。

【図2】図１の画像処理装置による動作処理に係る動作の一例を示すフローチャートである。

【図3】図２の動作処理における主要部設定処理に係る動作の一例を示すフローチャートである。

【図4】図２の動作処理に係る画像を模式的に示す図である。

【図5】図２の動作処理に係る画像を模式的に示す図である。

【図6】図２の動作処理に係る画像を模式的に示す図である。

【図7】図２の動作処理に係る画像を模式的に示す図である。

【発明を実施するための形態】

【0011】

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の画像処理装置１００の概略構成を示すブロック図である。

【0012】

画像処理装置１００は、例えば、パーソナルコンピュータやワークステーションなどのコンピュータ等により構成され、図１に示すように、中央制御部１と、メモリ２と、記憶部３と、操作入力部４と、動作処理部５と、表示部６と、表示制御部７とを備えている。
また、中央制御部１、メモリ２、記憶部３、動作処理部５及び表示制御部７は、バスライン８を介して接続されている。

【0013】

中央制御部１は、画像処理装置１００の各部を制御する。
具体的には、中央制御部１は、画像処理装置１００の各部を制御するＣＰＵ（Central Processing Unit；図示略）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備え、画像処理装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

【0014】

メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１の他、当該画像処理装置１００の各部によって処理されるデータ等を一時的に記憶する。

【0015】

記憶部３は、例えば、不揮発性メモリ（フラッシュメモリ）、ハードディスクドライブ等により構成され、中央制御部１の動作に必要な各種プログラムやデータ（図示略）を記憶している。

【0016】

また、記憶部３は、画像データ３ａを記憶している。
画像データ３ａは、例えば、写真画像、漫画、イラスト等の二次元の画像Ｉ（図４（ａ）等参照）のデータである。また、画像データ３ａは、顔を含む画像の画像データであっても良いし、顔を含まない画像の画像データであっても良い。

【0017】

また、記憶部３は、基準動作データ３ｂを記憶している。
基準動作データ３ｂは、顔の各主要部（例えば、目、口等）の動きを表現する際の基準となる動きを示す情報を含んでいる。具体的には、基準動作データ３ｂは、各主要部毎に規定され、所定空間内における複数の制御点の動きを示す情報を含み、例えば、複数の制御点の所定空間での位置座標（x, y）を示す情報や変形ベクトル等が時間軸に沿って並べられている。
すなわち、例えば、目の基準動作データ３ｂは、上瞼や下瞼に対応する複数の制御点が設定され、これら制御点の変形ベクトルが規定されている。また、例えば、口の基準動作データ３ｂは、上唇や下唇や左右の口角に対応する複数の制御点が設定され、これら制御点の変形ベクトルが規定されている。

【0018】

また、記憶部３は、顔主要部画像データ３ｃを記憶している。
顔主要部画像データ３ｃは、例えば、左右各々の目、鼻、口、眉、顔輪郭等の顔の主要部毎に規定され、対応する主要部画像Ｐ（図７（ｂ）参照；後述）に係る画像データである。
主要部画像Ｐは、例えば、写真画像の顔から抽出された画像や主要部を模式的に表した画像など各種様々な形状や色のものが用意されている。また、主要部画像Ｐの所定位置には、基準動作データ３ｂの複数の制御点と対応付けられ、当該基準動作データ３ｂに基づいて主要部画像を動作させるための複数の制御点が設定されている。

【0019】

操作入力部４は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等の操作部（図示略）を備え、これらの操作部の操作に応じて所定の操作信号を中央制御部１に出力する。

【0020】

動作処理部５は、画像取得部５ａと、顔検出部５ｂと、顔主要部検出部５ｃと、領域検出部５ｄと、第１主要部設定部５ｅと、領域特定部５ｆと、第２主要部設定部５ｇと、動作生成部５ｈと、動作制御部５ｉとを具備している。
なお、動作処理部５の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

【0021】

画像取得部５ａは、画像データ３ａを取得する。
すなわち、画像取得部（取得手段）５ａは、動作処理の処理対象となる二次元の画像Ｉ（図４（ａ）等参照）の画像データ３ａを取得する。具体的には、画像取得部５ａは、例えば、記憶部３に記憶されている所定数の画像データ３ａの中で、ユーザによる操作入力部４の所定操作に基づいて指定されたユーザ所望の画像データ３ａを動作処理の処理対象として取得する。
なお、画像取得部５ａは、図示しない通信制御部を介して接続された外部機器（図示略）から画像データを取得しても良いし、図示しない撮像部により撮像されることで生成された画像データを取得しても良い。

【0022】

顔検出部５ｂは、処理対象の画像Ｉから顔領域を検出する。
すなわち、顔検出部５ｂは、画像取得部５ａにより取得された処理対象の画像Ｉの画像データから顔が含まれる顔領域を検出する。具体的には、顔検出部５ｂは、先ず、画像取得部５ａにより取得された画像Ｉの中で背景部分の画像との差分を取得して、物体領域を認識する。そして、顔検出部５ｂは、物体領域の中で顔に似た特徴を持つ領域、例えば、左右の両目及び口に相当する部分として、三つの円形又は多角形の形状部分Ｂ、…の各々の中心が三角形の頂点の位置に配置されている位置関係を有する領域を探索する。そして、顔検出部５ｂは、探索された領域について、各部分の大きさと中心間の距離や位置関係に基づいて所定の演算を行って評価値を算出し、算出された評価値が所定の閾値よりも高く、且つ、最も高い評価値の三つの円形又は多角形の形状部分Ｂ、…を有する領域をその物体の顔領域として検出する。
なお、上記した顔領域の検出処理は、一例であってこれに限られるものではなく、適宜任意に変更可能であり、顔検出部５ｂは、例えば、ＡＡＭ（Active Appearance Model）等を用いて顔検出処理を行うようにしても良い。

【0023】

顔主要部検出部５ｃは、画像Ｉから顔を構成する主要部を検出する。
すなわち、顔主要部検出部（検出手段）５ｂは、画像取得部５ａにより取得された画像データの画像Ｉから、例えば、左右各々の目、鼻、口、眉、顔輪郭等の主要部を検出する。具体的には、顔主要部検出部５ｃは、例えば、顔検出部５ｂによる顔領域の検出処理の結果を利用して、三つの円形又は多角形の形状部分Ｂ、…から顔の主要部を検出する。例えば、顔主要部検出部５ｃは、上記した顔領域の検出処理にて所定の閾値以上の評価値が算出された場合、三つの円形又は多角形の形状部分Ｂ、…をその物体の左右の両目及び口として検出する（図４（ｂ）参照）。
なお、上記した顔の主要部を検出する手法は、一例であってこれに限られるものではなく、例えば、ＡＡＭを用いた処理、エッジ抽出処理、非等方拡散処理、テンプレートマッチング等適宜任意に変更可能である。

【0024】

領域検出部５ｄは、画像Ｉ内で主要部相当領域Ａ１を検出する。
すなわち、領域検出部（領域検出手段）５ｄは、画像取得部５ａにより取得された画像データの画像Ｉ内で顔の主要部の形状に相当する領域（主要部相当領域Ａ１）を検出する。具体的には、領域検出部５ｄは、例えば、処理対象の画像Ｉの画像データに対して所定の画像処理（例えば、Hough変換処理等）を行って、画像Ｉ内の円形又は多角形をなす領域を主要部相当領域Ａ１として検出する。このとき、領域検出部５ｄは、顔検出部５ｂによる円形又は多角形の形状部分Ｂの検出結果を利用して、主要部相当領域Ａ１を検出しても良い。
また、領域検出部５ｄは、顔検出部５ｂにより顔が検出されなかった場合や、顔主要部検出部５ｃにより主要部が検出されなかった場合に、画像取得部５ａにより取得された画像Ｉ内で主要部相当領域Ａ１を検出しても良い。

【0025】

また、画像Ｉ内から円形又は多角形をなす主要部相当領域Ａ１が一つも検出されなかった場合には、領域検出部５ｄは、処理対象の画像Ｉの画像データに対して所定の画像処理（例えば、エッジ検出処理等）を行って、画像Ｉ内からエッジが存在しない最も広い領域（例えば、略円形状の領域等）を検出し、検出された領域を主要部（例えば、目や口等）が設定される顔領域Ｃとして検出しても良い（図７（ａ）参照）。このとき、領域検出部５ｄは、検出された領域（顔領域Ｃ）の大きさや例えば、左右の両目や口等の主要部の位置関係を考慮して、主要部が設定される位置を検出しても良い。

【0026】

なお、主要部相当領域Ａ１として、円形又は多角形をなす領域を検出するようにしたが、一例であってこれに限られるものではなく、例えば、線により完全に囲繞されていない領域（例えば、「Ｃ」や「Ｕ」字形状の領域等）であっても、領域検出部５ｄは、仮想的に端部どうしが結線された囲繞領域を推定して検出しても良い。

【0027】

第１主要部設定部（第１設定手段）５ｅは、領域検出部５ｄにより検出された領域を何れかの主要部の動作処理対象（画像処理対象）として設定する。
すなわち、第１主要部設定部５ｅは、領域検出部５ｄにより検出された主要部相当領域Ａ１に主要部（例えば、目や口等）を表す画像（第１主要部画像Ｐ１）を重畳させるように設定する。

【0028】

例えば、領域検出部５ｄにより画像Ｉ内から円形又は多角形をなす二つの主要部相当領域Ａ１、Ａ１が検出された場合には、第１主要部設定部５ｅは、検出された二つの主要部相当領域Ａ１、Ａ１を左右の両目（主要部）の動作処理対象として設定する（図５（ａ）参照）。具体的には、第１主要部設定部５ｅは、記憶部３から左右の両目に対応する顔主要部画像データ３ｃを読み出して取得し、左右の両目を表す各第１主要部画像Ｐ１が二つの主要部相当領域Ａ１、Ａ１内に収まり、且つ、各第１主要部画像Ｐ１の中心と二つの主要部相当領域Ａ１、Ａ１のそれぞれの中心とが重なるように当該第１主要部画像Ｐ１の大きさや位置を設定する（図５（ｂ）参照）。
また、例えば、領域検出部５ｄにより画像Ｉ内から円形又は多角形をなす一の主要部相当領域Ａ１が検出された場合には、第１主要部設定部５ｅは、検出された一の主要部相当領域Ａ１を口（主要部）の動作処理対象として設定する（図６（ａ）参照）。具体的には、第１主要部設定部５ｅは、記憶部３から口に対応する顔主要部画像データ３ｃを読み出して取得し、口を表す第１主要部画像Ｐ１が一の主要部相当領域Ａ１内に収まり、且つ、第１主要部画像Ｐ１の中心と一の主要部相当領域Ａ１の中心とが重なるように当該第１主要部画像Ｐ１の大きさや位置を設定する（図６（ｂ）参照）。

【0029】

なお、上記した二つの主要部相当領域Ａ１、Ａ１の向きや配置は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、画像Ｉ内で横向きの顔を表現する場合には、縦に並んだ二つの主要部相当領域Ａ１、Ａ１を利用して両目の動作処理対象を設定しても良い。また、領域検出部５ｄにより一の主要部相当領域Ａ１が検出された場合に、第１主要部設定部５ｅは、当該主要部相当領域Ａ１を左右の何れかの目の動作処理対象として設定しても良い。

【0030】

領域特定部５ｆは、画像Ｉ内で主要部対応領域Ａ２を特定する。
すなわち、領域特定部（特定手段）５ｆは、画像Ｉ内で領域検出部５ｄにより検出された主要部相当領域Ａ１の位置を基準として、第１主要部設定部５ｅにより設定された主要部以外の他の主要部に対応する領域（主要部対応領域Ａ２）を特定する。
例えば、領域特定部５ｆは、画像Ｉ内で領域検出部５ｄにより検出された二つの主要部相当領域Ａ１、Ａ１の位置を基準として、他の主要部としての口に対応する一の主要部対応領域Ａ２を特定する（図５（ａ）参照）。具体的には、第１主要部設定部５ｅにより画像Ｉ内の二つの主要部相当領域Ａ１、Ａ１には左右の両目が主要部として設定されるため、領域特定部５ｆは、これら二つの主要部相当領域Ａ１、Ａ１の画像Ｉ内での位置関係や大きさ等を基準として、画像Ｉ内で二つの主要部相当領域Ａ１、Ａ１の間で、且つ、下側に所定の距離離れた位置に口に対応する一の主要部対応領域Ａ２を特定する。
また、例えば、領域特定部５ｆは、画像Ｉ内で領域検出部５ｄにより検出された一の主要部相当領域Ａ１の位置を基準として、他の主要部としての左右の両目に対応する二つの主要部対応領域Ａ２、Ａ２を特定する（図６（ａ）参照）。具体的には、第１主要部設定部５ｅにより画像Ｉ内の一の主要部相当領域Ａ１には口が主要部として設定されるため、領域特定部５ｆは、この一の主要部相当領域Ａ１の画像Ｉ内での位置関係や大きさ等を基準として、画像Ｉ内で一の主要部相当領域Ａ１の上側に所定の距離離れた位置に左右の両目に対応する二つの主要部対応領域Ａ２、Ａ２を特定する。

【0031】

なお、上記した二つの主要部対応領域Ａ２、Ａ２の向きや配置は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、画像Ｉ内で横向きの顔を表現する場合には、二つの主要部対応領域Ａ２、Ａ２が縦に並ぶように特定しても良い。

【0032】

第２主要部設定部（第２設定手段）５ｇは、領域特定部５ｆにより特定された主要部対応領域Ａ２を他の主要部の動作処理対象として設定する。すなわち、第２主要部設定部５ｇは、領域特定部５ｆにより特定された主要部対応領域Ａ２に他の主要部を表す画像（第２主要部画像Ｐ２）を重畳させるように設定する。
例えば、領域特定部５ｆにより画像Ｉ内で一の主要部対応領域Ａ２が特定された場合には、第２主要部設定部５ｇは、特定された一の主要部対応領域Ａ２を口（他の主要部）の動作処理対象として設定する。具体的には、第２主要部設定部５ｇは、記憶部３から口に対応する顔主要部画像データ３ｃを読み出して取得し、口を表す第２主要部画像Ｐ２が一の主要部対応領域Ａ２内に収まり、且つ、第２主要部画像Ｐ２の中心と一の主要部対応領域Ａ２の中心とが重なるように当該第２主要部画像Ｐ２の大きさや位置を設定する（図５（ｂ）参照）。
また、例えば、領域特定部５ｆにより画像Ｉ内で二つの主要部対応領域Ａ２、Ａ２が特定された場合には、第２主要部設定部５ｇは、特定された二つの主要部対応領域Ａ２、Ａ２を左右の両目（他の主要部）の動作処理対象として設定する。具体的には、第２主要部設定部５ｇは、記憶部３から左右の両目に対応する顔主要部画像データ３ｃを読み出して取得し、左右の両目を表す各第２主要部画像Ｐ２が二つの主要部対応領域Ａ２、Ａ２内に収まり、且つ、各第２主要部画像Ｐ２の中心と二つの主要部対応領域Ａ２、Ａ２のそれぞれの中心とが重なるように当該第２主要部画像Ｐ２の大きさや位置を設定する（図６（ｂ）参照）。

【0033】

なお、第１主要部設定部５ｅや第２主要部設定部５ｇにより設定された内容は、所定の格納手段（例えば、メモリ２等）に出力されて一時的に格納されても良い。
さらに、主要部として目や口を例示したが、一例であってこれに限られるものではなく、例えば、鼻、眉、顔輪郭等の他の主要部であっても良い。

【0034】

動作生成部５ｈは、画像Ｉ内で主要部（例えば、左右の両目や口等）を動作させるための動作データを生成する。
具体的には、動作生成部５ｈは、例えば、第１主要部設定部５ｅにより設定された第１主要部画像Ｐ１に係る主要部や第２主要部設定部５ｇにより設定された第２主要部画像Ｐ２に係る他の主要部に対応する基準動作データ３ｂを記憶部３から読み出して取得する。そして、動作生成部５ｈは、第１主要部設定部５ｅや第２主要部設定部５ｇにより設定された処理対象となる画像Ｉ内での第１主要部画像Ｐ１や第２主要部画像Ｐ２の大きさや位置を示す情報と、基準動作データ３ｂに規定されている所定空間内における複数の制御点の動きを示す情報とを対応付けて当該第１主要部画像Ｐ１や第２主要部画像Ｐ２の動作データを生成する。
なお、動作生成部５ｈにより生成された動作データは、所定の格納手段（例えば、メモリ２等）に出力されて一時的に格納されても良い。

【0035】

動作制御部５ｉは、画像Ｉ内で主要部を動作させる。
すなわち、動作制御部（動作制御手段）５ｉは、画像取得部５ａにより取得された画像Ｉ内で、第１主要部設定部５ｅにより設定された主要部を表す画像（第１主要部画像Ｐ１）や第２主要部設定部５ｇにより設定された他の主要部を表す画像（第２主要部画像Ｐ２）を動作させる。具体的には、動作制御部５ｉは、動作生成部５ｈにより生成された処理対象となる主要部を表す第１主要部画像Ｐ１の動作データや他の主要部を表す第２主要部画像Ｐ２の動作データを取得して、取得された動作データに規定されている複数の制御点の動きを示す情報に基づいて複数の制御点を変位させることで、当該第１主要部画像Ｐ１や第２主要部画像Ｐ２を動作させる動作処理を行う。
なお、画像Ｉ内に第１主要部画像Ｐ１や第２主要部画像Ｐ２を重畳させて動作させる処理は、例えば、アルファブレンディング等を用いて行われるが、公知の技術であるので、ここでは詳細な説明を省略する。

【0036】

表示部６は、例えば、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等のディスプレイから構成され、表示制御部７の制御下にて各種情報を表示画面に表示する。

【0037】

表示制御部７は、表示用データを生成して表示部６の表示画面に表示させる制御を行う。
具体的には、表示制御部７は、例えば、ＧＰＵ（Graphics Processing Unit）やＶＲＡＭ（Video Random Access Memory）等を具備するビデオカード（図示略）を備えている。そして、表示制御部７は、中央制御部１からの表示指示に従って、動作処理にて主要部を動作させるための各種画面の表示用データをビデオカードによる描画処理によって生成し、表示部６に出力する。これにより、表示部６は、例えば、動作処理にて主要部（例えば、目や口等）を表す主要部画像Ｐを動作させるように変形させたコンテンツを表示する。

【0038】

＜動作処理＞
次に、動作処理について図２〜図７を参照して説明する。
図２は、動作処理に係る動作の一例を示すフローチャートである。

【0039】

図２に示すように、先ず、動作処理部５の画像取得部５ａは、例えば、記憶部３に記憶されている所定数の画像データ３ａの中で、ユーザによる操作入力部４の所定操作に基づいて指定されたユーザ所望の画像データ３ａを取得する（ステップＳ１）。
次に、動作処理部５は、画像取得部５ａにより取得された画像データの画像Ｉ内で顔の主要部を設定する主要部設定処理（図３参照）を行う（ステップＳ２）。

【0040】

＜主要部設定処理＞
以下に、主要部設定処理について図３を参照して詳細に説明する。
図３は、主要部設定処理に係る動作の一例を示すフローチャートである。

【0041】

図３に示すように、先ず、顔検出部５ｂは、画像取得部５ａにより取得された処理対象の画像Ｉの画像データから顔が含まれる顔領域を検出する処理を行う（ステップＳ１１）。具体的には、顔検出部５ｂは、例えば、画像Ｉ内で、左右の両目及び口に相当する部分として、三つの円形又は多角形の形状部分Ｂ、…の各々の中心が三角形の頂点の位置に配置されている位置関係を有する領域を探索し、探索された領域の評価値が所定の閾値よりも高く、且つ、最も高い評価値の三つの円形又は多角形の形状部分Ｂ、…を有する領域をその物体の顔領域として検出する。

【0042】

続けて、顔検出部５ｂは、顔領域を検出したか否かを判定する（ステップＳ１２）。
ここで、顔領域が検出されたと判定されると（ステップＳ１２；ＹＥＳ）、顔主要部検出部５ｃは、処理対象の画像Ｉから顔の主要部（例えば、左右の両目や口等）を検出する処理を行う（ステップＳ１３）。具体的には、顔主要部検出部５ｃは、例えば、顔検出部５ｂによる顔領域の検出処理にて所定の閾値以上の評価値が算出された場合、三つの円形又は多角形の形状部分Ｂ、…をその物体の左右の両目及び口として検出する（図４（ｂ）参照）。

【0043】

次に、顔主要部検出部５ｃは、顔の主要部を検出したか否かを判定する（ステップＳ１４）。
ここで、顔の主要部が検出されたと判定されると（ステップＳ１４；ＹＥＳ）、動作処理部５は、検出された顔の主要部を動作対象として利用することができ、例えば、所定の抽出処理（例えば、エッジ抽出処理等）を用いて主要部（例えば、左右の両目及び口等）を抽出して主要部抽出画像Ｑを生成する（ステップＳ１５）。
なお、上記のエッジ抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。

【0044】

一方、ステップＳ１４にて、顔の主要部が検出されていないと判定されると（ステップＳ１４；ＮＯ）、領域検出部５ｄは、画像Ｉ内で主要部相当領域Ａ１を検出する処理を行う（ステップＳ１６）。具体的には、領域検出部５ｄは、例えば、処理対象の画像Ｉの画像データに対して所定の画像処理（例えば、Hough変換処理等）を行って、画像Ｉ内の円形又は多角形をなす領域を主要部相当領域Ａ１として検出する。
また、ステップＳ１２にて、顔領域が検出されていないと判定（ステップＳ１２；ＮＯ）された場合にも、領域検出部５ｄは、処理をステップＳ１４に移行して、主要部相当領域Ａ１を検出する処理を行う。

【0045】

続けて、動作処理部５は、検出された主要部相当領域Ａ１の数に応じて処理を分岐する（ステップＳ１７）。すなわち、動作処理部５は、主要部相当領域Ａ１の検出数が二つの場合（ステップＳ１７；二つ）、処理をステップＳ１８１に移行し、主要部相当領域Ａ１の検出数が一つの場合（ステップＳ１７；一つ）、処理をステップＳ１９１に移行し、主要部相当領域Ａ１の検出数が０（ゼロ）の場合（ステップＳ１７；０）、処理をステップＳ２０１に移行する。

【0046】

＜検出数；二つ＞
領域検出部５ｄにより二つの主要部相当領域Ａ１、Ａ１が検出された場合（ステップＳ１７；二つ）、第１主要部設定部５ｅは、検出された二つの主要部相当領域Ａ１、Ａ１を左右の両目（主要部）の動作処理対象として設定する（ステップＳ１８１；図５（ａ）参照）。具体的には、第１主要部設定部５ｅは、記憶部３から左右の両目に対応する顔主要部画像データ３ｃを読み出して取得し、左右の両目を表す各第１主要部画像Ｐ１が二つの主要部相当領域Ａ１、Ａ１内に配置されるように当該第１主要部画像Ｐ１の大きさや位置を設定する（図５（ｂ）参照）。

【0047】

次に、領域特定部５ｆは、画像Ｉ内で口に対応する一の主要部対応領域Ａ２を特定する（ステップＳ１８２；図５（ａ）参照）。具体的には、領域特定部５ｆは、二つの主要部相当領域Ａ１、Ａ１の画像Ｉ内での位置関係や大きさ等を基準として、画像Ｉ内で口に対応する一の主要部対応領域Ａ２を特定する。
続けて、第２主要部設定部５ｇは、特定された一の主要部対応領域Ａ２を口（他の主要部）の動作処理対象として設定する（ステップＳ１８３）。具体的には、第２主要部設定部５ｇは、記憶部３から口に対応する顔主要部画像データ３ｃを読み出して取得し、口を表す第２主要部画像Ｐ２が一の主要部対応領域Ａ２内に配置されるように当該第２主要部画像Ｐ２の大きさや位置を設定する（図５（ｂ）参照）。

【0048】

なお、ステップＳ１６にて、三つ以上の主要部相当領域Ａ１、…が検出された場合には、第１主要部設定部５ｅは、検出された三つ以上の主要部相当領域Ａ１、…の大きさや画像Ｉ内での位置関係を考慮して、これらの主要部相当領域Ａ１、…の中から何れか二つの主要部相当領域Ａ１、Ａ１を自動的に指定しても良いし、ユーザによる操作入力部４の所定操作に基づいてユーザ所望の二つの主要部相当領域Ａ１、Ａ１を指定しても良い。

【0049】

＜検出数；一つ＞
領域検出部５ｄにより一の主要部相当領域Ａ１が検出された場合（ステップＳ１７；一つ）、第１主要部設定部５ｅは、検出された一の主要部相当領域Ａ１を口（主要部）の動作処理対象として設定する（ステップＳ１９１；図６（ａ）参照）。具体的には、第１主要部設定部５ｅは、記憶部３から口に対応する顔主要部画像データ３ｃを読み出して取得し、口を表す第１主要部画像Ｐ１が一の主要部相当領域Ａ１内に配置されるように当該第１主要部画像Ｐ１の大きさや位置を設定する（図６（ｂ）参照）。

【0050】

次に、領域特定部５ｆは、画像Ｉ内で左右の両目に対応する二つの主要部対応領域Ａ２、Ａ２を特定する（ステップＳ１９２；図６（ａ）参照）。具体的には、領域特定部５ｆは、一の主要部相当領域Ａ１の画像Ｉ内での位置関係や大きさ等を基準として、画像Ｉ内で左右の両目に対応する二つの主要部対応領域Ａ２、Ａ２を特定する。
続けて、第２主要部設定部５ｇは、特定された二つの主要部対応領域Ａ２、Ａ２を左右の両目（他の主要部）の動作処理対象として設定する（ステップＳ１９３）。具体的には、第２主要部設定部５ｇは、記憶部３から左右の両目に対応する顔主要部画像データ３ｃを読み出して取得し、左右の両目を表す各第２主要部画像Ｐ２が二つの主要部対応領域Ａ２、Ａ２内に配置されるように当該第２主要部画像Ｐ２の大きさや位置を設定する（図６（ｂ）参照）。

【0051】

＜検出数；０＞
領域検出部５ｄにより主要部相当領域Ａ１が一つも検出されなかった場合（ステップＳ１７；０）、領域検出部５ｄは、処理対象の画像Ｉの画像データに対して所定の画像処理（例えば、エッジ検出処理等）を行って、画像Ｉ内からエッジが存在しない最も広い領域を顔領域Ｃとして検出する（ステップＳ２０１；図７（ａ）参照）。
続けて、動作処理部５は、検出された顔領域Ｃ内で、当該顔領域Ｃの大きさや例えば、左右の両目や口等の主要部の位置関係を考慮して、左右の両目及び口等（主要部）の動作処理対象を設定する（ステップＳ２０２；図７（ｂ）参照）。具体的には、動作処理部５は、顔領域Ｃ内に、左右の両目や口を表す主要部画像Ｐが配置されるように当該主要部画像Ｐの大きさや位置を設定する。

【0052】

図２に戻り、動作生成部５ｈは、画像Ｉ内で主要部（例えば、左右の両目や口等）を動作させるための動作データを生成する（ステップＳ３）。
具体的には、例えば、主要部相当領域Ａ１の検出数が二つの場合（ステップＳ１７；二つ）、動作生成部５ｈは、第１主要部設定部５ｅにより設定された左右の両目に対応する基準動作データ３ｂを記憶部３から読み出して取得するとともに、第２主要部設定部５ｇにより設定された口に対応する基準動作データ３ｂを記憶部３から読み出して取得する。そして、動作生成部５ｈは、処理対象となる画像Ｉ内での左右の両目の第１主要部画像Ｐ１や口の第２主要部画像Ｐ２の大きさや位置を示す情報と、基準動作データ３ｂに規定されている所定空間内における複数の制御点の動きを示す情報とを対応付けて当該第１主要部画像Ｐ１や第２主要部画像Ｐ２の動作データを生成する。
また、例えば、主要部相当領域Ａ１の検出数が一つの場合（ステップＳ１７；一つ）、動作生成部５ｈは、第１主要部設定部５ｅにより設定された口に対応する基準動作データ３ｂを記憶部３から読み出して取得するとともに、第２主要部設定部５ｇにより設定された左右の両目に対応する基準動作データ３ｂを記憶部３から読み出して取得する。そして、動作生成部５ｈは、処理対象となる画像Ｉ内での口の第１主要部画像Ｐ１や左右の両目の第２主要部画像Ｐ２の大きさや位置を示す情報と、基準動作データ３ｂに規定されている所定空間内における複数の制御点の動きを示す情報とを対応付けて当該第１主要部画像Ｐ１や第２主要部画像Ｐ２の動作データを生成する。
また、例えば、主要部相当領域Ａ１の検出数が０（ゼロ）の場合（ステップＳ１７；０）、動作生成部５ｈは、顔領域Ｃ内に主要部画像Ｐが設定された左右の両目や口に対応する基準動作データ３ｂを記憶部３から読み出して取得する。そして、動作生成部５ｈは、処理対象となる画像Ｉ内での左右の両目や口の主要部画像Ｐの大きさや位置を示す情報と、基準動作データ３ｂに規定されている所定空間内における複数の制御点の動きを示す情報とを対応付けて当該主要部画像Ｐの動作データを生成する。

【0053】

なお、ステップＳ１４にて、顔の主要部が検出されたと判定（ステップＳ１４；ＹＥＳ）されて、主要部が抽出された場合には（ステップＳ１５）、動作生成部５ｈは、抽出された主要部に対応する基準動作データ３ｂを記憶部３から読み出して取得する。そして、動作生成部５ｈは、主要部抽出画像Ｑの所定位置に複数の制御点を設定するとともに、基準動作データ３ｂに規定されている所定空間内における複数の制御点の動きを示す情報と対応付けて当該主要部抽出画像Ｑの動作データを生成する。

【0054】

また、動作生成部５ｈにより生成された動作データは、所定の格納手段（例えば、メモリ２等）に出力されて一時的に格納されても良い。

【0055】

次に、動作制御部５ｉは、動作データに基づいて画像Ｉ内で主要部を動作させる処理を行う（ステップＳ４）。具体的には、動作制御部５ｉは、例えば、動作生成部５ｈにより生成された主要部や他の主要部を表す第１主要部画像Ｐ１や第２主要部画像Ｐ２の動作データの動作データを取得して、取得された動作データに規定されている複数の制御点の動きを示す情報に基づいて複数の制御点を変位させることで、当該第１主要部画像Ｐ１や第２主要部画像Ｐ２を動作させる動作処理を行う。
また、動作生成部５ｈにより主要部画像Ｐの動作データや主要部抽出画像Ｑの動作データが生成された場合も、動作制御部５ｉは、略同様に、取得された動作データに規定されている複数の制御点の動きを示す情報に基づいて複数の制御点を変位させることで、主要部画像Ｐや主要部抽出画像Ｑを動作させる動作処理を行う。

【0056】

以上のように、本実施形態の画像処理装置１００によれば、取得された画像Ｉ内で顔の主要部の形状に相当する主要部相当領域（例えば、画像Ｉ内の円形又は多角形をなす領域等）Ａ１を検出して、検出された主要部相当領域Ａ１を何れかの主要部の動作処理対象として設定するので、例えば、顔が含まれていない画像Ｉ、顔検出や顔の主要部の検出精度が低い画像Ｉを処理対象としても、処理対象の画像Ｉ内に主要部を設定することができ、当該主要部を動作させることができる。具体的には、主要部相当領域Ａ１に主要部を表す第１主要部画像Ｐ１を重畳させるように設定して、画像Ｉ内で第１主要部画像Ｐ１を変形動作させることで、動きを適正に表現することができる。
このように、顔が含まれない画像Ｉに対しても顔の主要部を設定することができる。

【0057】

また、画像Ｉ内で検出された主要部相当領域Ａ１の位置を基準として、他の主要部に対応する主要部対応領域Ａ２を特定し、特定された主要部対応領域Ａ２を他の主要部の動作処理対象として設定することができる。
具体的には、例えば、画像Ｉ内で主要部として検出された左右の両目に対応する二つの主要部相当領域Ａ１、Ａ１の位置を基準として、他の主要部としての口に対応する主要部対応領域Ａ２を特定するので、画像Ｉ内で左右の両目に対応する二つの主要部相当領域Ａ１、Ａ１のみが設定された場合であっても、口に対応する主要部対応領域Ａ２を特定することができ、特定された主要部対応領域Ａ２を口の動作処理対象として設定して口を動作させることができる。また、画像Ｉ内で主要部として検出された口に対応する一の主要部相当領域Ａ１の位置を基準として、他の主要部としての目に対応する主要部対応領域Ａ２を特定するので、画像Ｉ内で口に対応する主要部相当領域Ａ１のみが設定された場合であっても、目に対応する主要部対応領域Ａ２を特定することができ、特定された主要部対応領域Ａ２を目の動作処理対象として設定して目を動作させることができる。
このとき、主要部相当領域Ａ１に主要部を表す第１主要部画像Ｐ１を重畳させるように設定するとともに主要部対応領域Ａ２に他の主要部を表す第２主要部画像Ｐ２を重畳させるように設定して、画像Ｉ内で第１主要部画像Ｐ１及び第２主要部画像Ｐ２を変形動作させることで、動きを適正に表現することができる。

【0058】

また、処理対象の画像Ｉから顔が検出されなかった場合に、当該画像Ｉ内で顔の主要部の形状に相当する主要部相当領域Ａ１を検出するので、顔が含まれていない画像Ｉや顔検出の検出精度が低い画像Ｉを処理対象としても、顔の検出処理の結果に応じて処理対象の画像Ｉ内に主要部の動作処理対象を設定することができる。すなわち、画像Ｉから高い精度で顔が検出された場合には、当該顔を利用可能となる一方、画像Ｉから顔が検出されなかった場合や顔の検出精度が低い場合には、画像Ｉ内で主要部相当領域Ａ１を検出することで、検出された主要部相当領域Ａ１を主要部の動作処理対象として設定して当該主要部を動作させることができる。
同様に、処理対象の画像Ｉから顔の主要部が検出されなかった場合に、当該画像Ｉ内で顔の主要部の形状に相当する主要部相当領域Ａ１を検出するので、主要部の検出精度が低い画像Ｉを処理対象としても、主要部の検出処理の結果に応じて処理対象の画像Ｉ内に主要部の動作処理対象を設定することができる。すなわち、画像Ｉから高い精度で顔の主要部が検出された場合には、当該主要部を利用可能となる一方、主要部の検出精度が低い場合には、画像Ｉ内で主要部相当領域Ａ１を検出することで、検出された主要部相当領域Ａ１を主要部の動作処理対象として設定して当該主要部を動作させることができる。

【0059】

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
また、上記実施形態にあっては、画像処理装置１００単体から構成するようにしたが、一例であってこれに限られるものではなく、例えば、人物、キャラクタ、動物等の投影対象物が商品等の説明を行う映像コンテンツをスクリーンに投影する投影システム（図示略）に適用した構成であっても良い。

【0060】

さらに、上記実施形態にあっては、主要部や他の主要部を動作させるための動作データを生成するようにしたが、一例であってこれに限られるものではなく、必ずしも動作生成部５ｈを具備する必要はなく、例えば、第１主要部設定部５ｅや第２主要部設定部５ｇにより画像Ｉ内に設定された主要部や他の主要部の動作処理対象に係る情報を外部機器（図示略）に出力して、当該外部機器にて動作データを生成するようにしても良い。
また、主要部や他の主要部を動作させるようにしたが、一例であってこれに限られるものではなく、必ずしも動作制御部５ｉを具備する必要はなく、例えば、第１主要部設定部５ｅや第２主要部設定部５ｇにより画像Ｉ内に設定された主要部や他の主要部の動作処理対象に係る情報を外部機器（図示略）に出力して、当該外部機器にて制御条件に従って主要部や顔全体を動作させるようにしても良い。

【0061】

さらに、上記実施形態にあっては、処理対象の画像Ｉから顔の主要部が検出された場合には、検出された主要部を利用して動作させるようにしたが、一例であってこれに限られるものではなく、顔の主要部が検出された場合であっても、必ずしも当該主要部を利用する必要はない。
すなわち、例えば、検出された主要部を利用するか否かをユーザが操作入力部４の所定操作に基づいて選択可能な構成としても良い。さらに、予め、検出された主要部を利用して動作させるか、或いは、主要部相当領域Ａ１を検出して当該主要部相当領域Ａ１に主要部（第１主要部画像Ｐ１）を設定して動作させるかの何れかを決定しておいても良い。例えば、ユーザの嗜好が、画像Ｉ内の顔らしい部分を変形動作させたいか、或いは、画像Ｉ内のあまり顔らしくない部分を変形動作させたいかに応じて選択可能な構成としても良い。

【0062】

また、上記実施形態にあっては、画像Ｉ内で二つの主要部相当領域Ａ１、Ａ１と一の主要部対応領域Ａ２を一の組として、或いは、一の主要部相当領域Ａ１と二つの主要部対応領域Ａ２、Ａ２を一の組として、一の顔の動作を表現するようにしたが、一例であってこれに限られるものではなく、例えば、主要部相当領域Ａ１及び主要部対応領域Ａ２からなる組を複数用意して、画像Ｉ内にて複数の顔の動作を表現するようにしても良い。

【0063】

また、上記実施形態にあっては、三つの円形又は多角形の形状部分の各々の中心が三角形の頂点の位置に配置されている主要部相当領域Ａ１が検出された場合は左右の両目および口として、二つの主要部相当領域Ａ１、Ａ１が検出された場合は左右の両目として、一つの主要部相当領域Ａ１が検出された場合は口として設定するようにしたが、一例であってこれに限られるものではない。例えば、三つ以上の主要部相当領域Ａ１、…が検出された場合に、それらの全てを目のみに設定し、それらの各々に対応する主要部対応領域Ａ２としての口を設定したり、又は、全てを口のみに設定し、それらの各々に対応する主要部対応領域Ａ２としての目を設定するようにしてもよい。

【0064】

さらに、画像処理装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。例えば、画像処理装置１００は、音を出力するスピーカ（図示略）を備え、画像内で口を動作させる処理の際にリップシンクさせるようにスピーカから所定の音声を出力するような構成としても良い。このとき出力される音声のデータは、例えば、基準動作データ３ｂと対応付けられて記憶されていても良い。

【0065】

また、上記実施形態にあっては、画像処理として主要部や他の主要部を動作させる動作処理を例示して、画像Ｉ内の主要部相当領域Ａ１や主要部対応領域Ａ２を主要部や他の主要部の動作処理対象として設定するようにしたが、一例であってこれに限られるものではなく、他の画像処理等に適宜任意に変更可能である。例えば、主要部相当領域Ａ１や主要部対応領域Ａ２に主要部や他の主要部を表す画像を置換して単に静止表示のみさせるような置換処理の処理対象としても良い。

【0066】

加えて、上記実施形態にあっては、取得手段、領域検出手段、第１設定手段としての機能を、画像処理装置１００の中央制御部１の制御下にて、画像取得部５ａ、領域検出部５ｄ、第１主要部設定部５ｅが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
すなわち、プログラムを記憶するプログラムメモリに、取得処理ルーチン、領域検出処理ルーチン、設定処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１のＣＰＵを、画像Ｉを取得する手段として機能させるようにしても良い。また、領域検出処理ルーチンにより中央制御部１のＣＰＵを、取得された画像Ｉ内で顔の主要部の形状に相当する領域（主要部相当領域Ａ１）を検出する手段として機能させるようにしても良い。また、設定処理ルーチンにより中央制御部１のＣＰＵを、検出された領域を何れかの主要部の画像処理対象として設定する手段として機能させるようにしても良い。

【0067】

同様に、特定手段、第２設定手段、動作制御手段、顔検出手段、主要部検出手段についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

【0068】

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

【0069】

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
画像を取得する取得手段と、
前記取得手段により取得された画像内で顔の主要部の形状に相当する領域を検出する領域検出手段と、
前記領域検出手段により検出された領域を何れかの主要部の画像処理対象として設定する第１設定手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記領域検出手段は、更に、前記画像内の円形又は多角形をなす領域を前記主要部の形状に相当する領域として検出することを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記画像内で前記領域検出手段により検出された領域の位置を基準として、前記第１設定手段により設定された前記主要部以外の他の主要部に対応する領域を特定する特定手段と、
前記特定手段により特定された領域を前記他の主要部の画像処理対象として設定する第２設定手段と、を更に備えることを特徴とする請求項１又は２に記載の画像処理装置。
＜請求項４＞
前記第１設定手段は、更に、前記画像内で前記領域検出手段により検出されたそれぞれ円形又は多角形をなす二つの領域に左右の両目を前記主要部として設定し、
前記特定手段は、前記画像内で前記領域検出手段により検出された前記二つの領域の位置を基準として、前記他の主要部としての口に対応する領域を特定することを特徴とする請求項３に記載の画像処理装置。
＜請求項５＞
前記第１設定手段は、更に、前記画像内で前記領域検出手段により検出された円形又は多角形をなす一の領域に口を前記主要部として設定し、
前記特定手段は、前記画像内で前記領域検出手段により検出された前記一の領域の位置を基準として、前記他の主要部としての目に対応する領域を特定することを特徴とする請求項３に記載の画像処理装置。
＜請求項６＞
前記第１設定手段は、更に、前記領域検出手段により検出された領域に前記主要部を表す画像を重畳させるように設定することを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
＜請求項７＞
前記取得手段により取得された画像内で、前記第１設定手段により設定された前記主要部を表す画像を動作させる動作制御手段を更に備えることを特徴とする請求項６に記載の画像処理装置。
＜請求項８＞
前記第１設定手段は、更に、前記領域検出手段により検出された領域に前記主要部を表す画像を重畳させるように設定し、
前記第２設定手段は、前記特定手段により特定された領域に前記他の主要部を表す画像を重畳させるように設定することを特徴とする請求項３に記載の画像処理装置。
＜請求項９＞
前記取得手段により取得された画像内で、前記第１設定手段により設定された前記主要部を表す画像及び前記第２設定手段により設定された前記他の主要部を表す画像を動作させる動作制御手段を更に備えることを特徴とする請求項８に記載の画像処理装置。
＜請求項１０＞
前記取得手段により取得された画像から顔を検出する顔検出手段を更に備え、
前記領域検出手段は、前記顔検出手段により顔が検出されなかった場合に、前記取得手段により取得された画像内で顔の主要部の形状に相当する領域を検出することを特徴とする請求項１〜９の何れか一項に記載の画像処理装置。
＜請求項１１＞
前記取得手段により取得された画像から顔の主要部を検出する主要部検出手段を更に備え、
前記領域検出手段は、前記主要部検出手段により前記主要部が検出されなかった場合に、前記取得手段により取得された画像内で顔の主要部の形状に相当する領域を検出することを特徴とする請求項１〜１０の何れか一項に記載の画像処理装置。
＜請求項１２＞
画像処理装置を用いた画像処理方法であって、
画像を取得する処理と、
取得された画像内で顔の主要部の形状に相当する領域を検出する処理と、
検出された領域を何れかの主要部の画像処理対象として設定する処理と、
を含むことを特徴とする画像処理方法。
＜請求項１３＞
画像処理装置のコンピュータを、
画像を取得する取得手段、
前記取得手段により取得された画像内で顔の主要部の形状に相当する領域を検出する領域検出手段、
前記領域検出手段により検出された領域を何れかの主要部の画像処理対象として設定する第１設定手段、
として機能させることを特徴とするプログラム。

【符号の説明】

【0070】

１００ 画像処理装置
１ 中央制御部
５ 動作処理部
５ａ 画像取得部
５ｂ 顔検出部
５ｃ 顔主要部検出部
５ｄ 領域検出部
５ｅ 第１主要部設定部
５ｆ 領域特定部
５ｇ 第２主要部設定部
５ｈ 動作生成部
５ｉ 動作制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】