特許 7109585 画像処理方法及び装置、画像デバイス並びに記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-21

(45)【発行日】2022-07-29

(54)【発明の名称】画像処理方法及び装置、画像デバイス並びに記憶媒体

(51)【国際特許分類】

   G06T 1/00 20060101AFI20220722BHJP

   G06T 3/00 20060101ALI20220722BHJP

   G06T 7/00 20170101ALI20220722BHJP

【ＦＩ】

G06T1/00 340B

G06T3/00

G06T7/00 660B

【請求項の数】 15

(21)【出願番号】P 2020558530

(86)(22)【出願日】2019-12-31

(65)【公表番号】

(43)【公表日】2021-07-29

(86)【国際出願番号】 CN2019130970

(87)【国際公開番号】W WO2020181900

(87)【国際公開日】2020-09-17

【審査請求日】2020-10-20

(31)【優先権主張番号】201910191918.1

(32)【優先日】2019-03-14

(33)【優先権主張国・地域又は機関】CN

(31)【優先権主張番号】201910193649.2

(32)【優先日】2019-03-14

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】321006888

【氏名又は名称】ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド

(74)【代理人】

【識別番号】110001427

【氏名又は名称】特許業務法人前田特許事務所

(72)【発明者】

【氏名】リー トン

(72)【発明者】

【氏名】リウ ウェンタオ

(72)【発明者】

【氏名】チエン チェン

【審査官】笠田 和宏

(56)【参考文献】

【文献】特開２０１０－０６１６４６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ３／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

画像内の対象の基準領域のキーポイントを取得するステップと、
前記基準領域のキーポイントによって前記基準領域の向きを決定するステップと、
前記基準領域の向きに基づいて前記対象の被調整領域に対して変形処理を行うステップであって、前記被調整領域は前記基準領域と異なり、前記基準領域は前記被調整領域に最も近いキーポイントの領域である、ステップと、を含むことを特徴とする画像処理方法。

【請求項2】

前記基準領域のキーポイントによって前記基準領域の向きを決定する前記ステップは、
同一直線に存在しない前記基準領域内の少なくとも３つのキーポイントを取得するステップと、
前記少なくとも３つのキーポイントに基づいて目標ベクトルを決定するステップと、
前記目標ベクトルの方向を前記基準領域の向きとするステップと、を含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記少なくとも３つのキーポイントは第１キーポイント、第２キーポイント、第３キーポイントを含み、前記第１キーポイントと前記第３キーポイントが前記第２キーポイントに対して対称であり、
前記少なくとも３つのキーポイントに基づいて目標ベクトルを決定する前記ステップは、
前記第１キーポイントと前記第２キーポイントに基づいて第１ベクトルを構築するステップと、
前記第３キーポイントと前記第２キーポイントに基づいて第２ベクトルを構築するステップと、
前記第１ベクトルと前記第２ベクトルに基づいて前記目標ベクトルを決定するステップと、を含むことを特徴とする請求項２に記載の方法。

【請求項4】

前記第１ベクトルと前記第２ベクトルに基づいて前記目標ベクトルを決定する前記ステップは、
前記第１ベクトルと前記第２ベクトルの外積を計算して前記目標ベクトルを得るステップを含むことを特徴とする請求項３に記載の方法。

【請求項5】

前記基準領域の向きに基づいて前記対象の被調整領域に対して変形処理を行う前記ステップは、
前記基準領域の向きに基づいて被調整領域の向きを決定するステップと、
前記被調整領域の向きに基づいて前記対象の被調整領域に対して変形処理を行うステップと、を含むことを特徴とする請求項１～４のいずれか一項に記載の方法。

【請求項6】

前記基準領域の向きに基づいて被調整領域の向きを決定する前記ステップは、
前記被調整領域が臀部領域を含む第１種の領域に属する場合に、前記基準領域の向きが前記被調整領域の向きと反対であると決定するステップと、
前記被調整領域が顔部領域、肩部領域、股間部領域を含む第２種の領域に属する場合に、前記基準領域の向きが前記被調整領域の向きと同じであると決定するステップと、を含むことを特徴とする請求項５に記載の方法。

【請求項7】

前記基準領域の向きに基づいて前記対象の被調整領域に対して変形処理を行う前記ステップは、
前記目標ベクトル、第１基準ベクトル及び第２基準ベクトルによって前記被調整領域に対して変形処理を行うステップを含み、前記第１基準ベクトルの方向は前記画像の撮影方向に垂直であり、且つ前記第２基準ベクトルの方向と反対であることを特徴とする請求項２～４のいずれか一項に記載の方法。

【請求項8】

前記被調整領域は前記被調整領域の中心線に対して対称である第１サブ領域と第２サブ領域を含み、
前記目標ベクトル、第１基準ベクトル及び第２基準ベクトルによって前記被調整領域に対して変形処理を行う前記ステップは、
前記目標ベクトルの方向が前記第１基準ベクトルの方向と異なり、且つ前記第２基準ベクトルの方向と異なる場合に、前記目標ベクトルと前記第１基準ベクトルとの間の第１夾角、及び前記目標ベクトルと前記第２基準ベクトルとの間の第２夾角によって前記第１サブ領域の面積と前記第２サブ領域の面積を調整するステップを含むことを特徴とする請求項７に記載の方法。

【請求項9】

前記目標ベクトルの方向が前記第１基準ベクトルの方向と異なり、且つ前記第２基準ベクトルの方向と異なる場合に、前記目標ベクトルと前記第１基準ベクトルとの間の第１夾角、及び前記目標ベクトルと前記第２基準ベクトルとの間の第２夾角によって前記第１サブ領域の面積と前記第２サブ領域の面積を調整する前記ステップは、
前記第１夾角と前記第２夾角によって前記第１サブ領域の第１面積調整量と前記第２サブ領域の第２面積調整量を決定するステップと、
前記第１面積調整量に応じて前記第１サブ領域の面積を調整し、前記第２面積調整量に応じて前記第２サブ領域の面積を調整するステップと、を含むことを特徴とする請求項８に記載の方法。

【請求項10】

前記第１夾角と前記第２夾角によって前記第１サブ領域の第１面積調整量と前記第２サブ領域の第２面積調整量を決定する前記ステップは、
前記第１夾角が前記第２夾角より大きく、且つ前記第１サブ領域の面積が前記第２サブ領域の面積より大きい場合に、前記第１面積調整量と前記第２面積調整量の割合を第１割合とし、前記第１夾角と前記第２夾角の割合を第２割合とするステップと、
前記第１割合と前記第２割合が正の相関するように、前記第２割合によって前記第１面積調整量と前記第２面積調整量を決定するステップと、を含むことを特徴とする請求項９に記載の方法。

【請求項11】

前記第１夾角が前記第２夾角に等しい場合に、前記第１面積調整量が前記第２面積調整量と等しいと決定するステップを更に含むことを特徴とする請求項１０に記載の方法。

【請求項12】

画像内の対象の基準領域のキーポイントを取得するための取得ユニットと、
前記基準領域のキーポイントによって前記基準領域の向きを決定するための決定ユニットと、
前記基準領域の向きに基づいて前記対象の被調整領域に対して変形処理を行うための処理ユニットであって、前記被調整領域は前記基準領域と異なり、前記基準領域は前記被調整領域に最も近いキーポイントの領域である、処理ユニットと、を含むことを特徴とする画像処理装置。

【請求項13】

メモリと、
前記メモリに接続され、前記メモリに記憶されているコンピュータ実行可能コマンドを実行することで請求項１～１１のいずれか一項で提供された画像処理方法を実現可能であるプロセッサと、を含むことを特徴とする画像処理装置。

【請求項14】

コンピュータ実行可能コマンドが記憶されているコンピュータ記憶媒体であって、前記コンピュータ実行可能コマンドが請求項１～１１のいずれか一項で提供された画像処理方法を実現可能であるコンピュータ記憶媒体。

【請求項15】

コンピュータに、請求項１～１１のいずれか一項に記載の画像処理方法を実行させるように構成されるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０１９年３月１４日に中国特許局に提出された、出願番号２０１９１０１９１９１８．１の中国出願の優先権及び２０１９年３月１４日に中国特許局に提出された、出願番号２０１９１０１９３６４９．２の中国出願の優先権を主張する。

【0002】

本開示は、情報技術に関し、特に、画像処理方法、装置、デバイス及び記憶媒体に関する。

【背景技術】

【0003】

画像中の対象で覆われた領域を変形させる時に、ユーザの手動操作に基づいて変形することが一般であり、例えば、ｐｈｏｔｏｓｈｏｐ等の画像処理ソフトウェアを利用して処理し、この場合にユーザの操作スキルへの依存性が非常に高く、一般のユーザにとって操作しにくい。関連技術において、ユーザのワンクリック操作でこの画像を全面的に処理する別の画像処理ソフトウェアがあったが、この画像処理ソフトウェアが電子機器によって実行され操作され、機器処理の機械性（即ち、知能化程度が足りない）に制限されるので、処理された画像効果がおかしく見え、所期の画像処理効果を達成できない。

【発明の概要】

【0004】

以上に鑑みて、本開示の実施例は、画像処理方法、装置、デバイス及び記憶媒体を提供することを目的とする。

【0005】

第１態様において、
画像内の対象の基準領域のキーポイントを取得するステップと、
前記基準領域のキーポイントによって前記基準領域の向きを決定するステップと、
前記基準領域の向きに基づいて前記基準領域と同じか異なる前記対象の被調整領域に対して変形処理を行うステップと、を含む画像処理方法を提供する。

【0006】

本願のいずれか１つの実施形態によれば、前記基準領域のキーポイントによって前記基準領域の向きを決定する前記ステップは、
同一直線に存在しない前記基準領域内の少なくとも３つのキーポイントを取得するステップと、
前記少なくとも３つのキーポイントに基づいて目標ベクトルを決定するステップと、
前記目標ベクトルの方向を前記基準領域の向きとするステップと、を含む。

【0007】

本願のいずれか１つの実施形態によれば、前記少なくとも３つのキーポイントは第１キーポイント、第２キーポイント及び第３キーポイントを含み、前記第１キーポイントと前記第３キーポイントが前記第２キーポイントに対して対称であり、
前記少なくとも３つのキーポイントに基づいて目標ベクトルを決定する前記ステップは、
前記第１キーポイントと前記第２キーポイントに基づいて第１ベクトルを構築するステップと、
前記第３キーポイントと前記第２キーポイントに基づいて第２ベクトルを構築するステップと、
前記第１ベクトルと前記第２ベクトルに基づいて前記目標ベクトルを決定するステップと、を含む。

【0008】

本願のいずれか１つの実施形態によれば、前記第１ベクトルと前記第２ベクトルに基づいて前記目標ベクトルを決定する前記ステップは、
前記第１ベクトルと前記第２ベクトルの外積を計算して前記目標ベクトルを得るステップを含む。

【0009】

本願のいずれか１つの実施形態によれば、前記基準領域の向きに基づいて前記対象の被調整領域に対して変形処理を行う前記ステップは、
前記基準領域の向きに基づいて被調整領域の向きを決定するステップと、
前記被調整領域の向きに基づいて前記対象の被調整領域に対して変形処理を行うステップと、を含む。

【0010】

本願のいずれか１つの実施形態によれば、前記基準領域の向きに基づいて被調整領域の向きを決定する前記ステップは、
前記被調整領域が臀部領域を含む第１種の領域に属する場合に、前記基準領域の向きが前記被調整領域の向きと反対であると決定するステップと、
前記被調整領域が顔部領域、肩部領域、股間部領域を含む第２種の領域に属する場合に、前記基準領域の向きが前記被調整領域の向きと同じであると決定するステップと、を含む。

【0011】

本願のいずれか１つの実施形態によれば、前記基準領域の向きに基づいて前記対象の被調整領域に対して変形処理を行う前記ステップは、
前記目標ベクトル、第１基準ベクトル及び第２基準ベクトルによって前記被調整領域に対して変形処理を行うステップを含み、前記第１基準ベクトルの方向は前記画像の撮影方向に垂直であり、且つ前記第２基準ベクトルの方向と反対である。

【0012】

本願のいずれか１つの実施形態によれば、前記被調整領域は前記被調整領域の中心線に対して対称である第１サブ領域と第２サブ領域を含み、
前記目標ベクトル、第１基準ベクトル及び第２基準ベクトルによって前記被調整領域に対して変形処理を行う前記ステップは、
前記目標ベクトルの方向が前記第１基準ベクトルの方向と異なり、且つ前記第２基準ベクトルの方向と異なる場合に、前記目標ベクトルと前記第１基準ベクトルとの間の第１夾角、及び前記目標ベクトルと前記第２基準ベクトルとの間の第２夾角によって前記第１サブ領域の面積と前記第２サブ領域の面積を調整するステップを含む。

【0013】

本願のいずれか１つの実施形態によれば、前記目標ベクトルの方向が前記第１基準ベクトルの方向と異なり、且つ前記第２基準ベクトルの方向と異なる場合に、前記目標ベクトルと前記第１基準ベクトルとの間の第１夾角、及び前記目標ベクトルと前記第２基準ベクトルとの間の第２夾角によって前記第１サブ領域の面積と前記第２サブ領域の面積を調整する前記ステップは、
前記第１夾角と前記第２夾角によって前記第１サブ領域の第１面積調整量と前記第２サブ領域の第２面積調整量を決定するステップと、
前記第１面積調整量に応じて前記第１サブ領域の面積を調整し、前記第２面積調整量に応じて前記第２サブ領域の面積を調整するステップと、を含む。

【0014】

本願のいずれか１つの実施形態によれば、前記第１夾角と前記第２夾角によって前記第１サブ領域の第１面積調整量と前記第２サブ領域の第２面積調整量を決定する前記ステップは、
前記第１夾角が前記第２夾角より大きく、且つ前記第１サブ領域の面積が前記第２サブ領域の面積より大きい場合に、前記第１面積調整量と前記第２面積調整量の割合を第１割合とし、前記第１夾角と前記第２夾角の割合を第２割合とするステップと、
前記第１割合と前記第２割合が正の相関するように、前記第２割合によって前記第１面積調整量と前記第２面積調整量を決定するステップと、を含む。

【0015】

本願のいずれか１つの実施形態によれば、前記方法は、
前記第１夾角が前記第２夾角に等しく、且つ前記第１サブ領域の面積が前記第２サブ領域の面積に等しい場合に、前記第１面積調整量が前記第２面積調整量と等しいと決定するステップを更に含む。

【0016】

第２態様において、
画像内の対象の基準領域のキーポイントを取得するための取得ユニットと、
前記基準領域のキーポイントによって前記基準領域の向きを決定するための決定ユニットと、
前記基準領域の向きに基づいて前記基準領域と同じか異なる前記対象の被調整領域に対して変形処理を行うための処理ユニットと、を含む画像処理装置を提供する。

【0017】

本願のいずれか１つの実施形態によれば、前記決定ユニットは、
同一直線に存在しない前記基準領域内の少なくとも３つのキーポイントを取得するステップと、
前記少なくとも３つのキーポイントに基づいて目標ベクトルを決定するステップと、
前記目標ベクトルの方向を前記基準領域の向きとするステップと、に用いられる。

【0018】

本願のいずれか１つの実施形態によれば、前記少なくとも３つのキーポイントは第１キーポイント、第２キーポイント、第３キーポイントを含み、前記第１キーポイントと前記第３キーポイントが前記第２キーポイントに対して対称であり、
前記決定ユニットは、
前記第１キーポイントと前記第２キーポイントに基づいて第１ベクトルを構築するステップと、
前記第３キーポイントと前記第２キーポイントに基づいて第２ベクトルを構築するステップと、
前記第１ベクトルと前記第２ベクトルに基づいて前記目標ベクトルを決定するステップと、に用いられる。

【0019】

本願のいずれか１つの実施形態によれば、前記決定ユニットは、
前記第１ベクトルと前記第２ベクトルの外積を計算して前記目標ベクトルを得るために用いられる。

【0020】

本願のいずれか１つの実施形態によれば、前記処理ユニットは、
前記基準領域の向きに基づいて被調整領域の向きを決定するステップと、
前記被調整領域の向きに基づいて前記対象の被調整領域に対して変形処理を行うステップと、に用いられる。

【0021】

本願のいずれか１つの実施形態によれば、前記処理ユニットは、
前記被調整領域が臀部領域を含む第１種の領域に属する場合に、前記基準領域の向きが前記被調整領域の向きと反対であると決定するステップと、
前記被調整領域が顔部領域、肩部領域、股間部領域を含む第２種の領域に属する場合に、前記基準領域の向きが前記被調整領域の向きと同じであると決定するステップと、に用いられる。

【0022】

本願のいずれか１つの実施形態によれば、前記処理ユニットは、
前記目標ベクトル、第１基準ベクトル及び第２基準ベクトルによって前記被調整領域に対して変形処理を行うために用いられ、前記第１基準ベクトルの方向は前記画像の撮影方向に垂直であり、且つ前記第２基準ベクトルの方向と反対である。

【0023】

本願のいずれか１つの実施形態によれば、前記被調整領域は前記被調整領域の中心線に対して対称である第１サブ領域と第２サブ領域を含み、
前記処理ユニットは、
前記目標ベクトルの方向が前記第１基準ベクトルの方向と異なり、且つ前記第２基準ベクトルの方向と異なる場合に、前記目標ベクトルと前記第１基準ベクトルとの間の第１夾角、及び前記目標ベクトルと前記第２基準ベクトルとの間の第２夾角によって前記第１サブ領域の面積と前記第２サブ領域の面積を調整するために用いられる。

【0024】

本願のいずれか１つの実施形態によれば、前記処理ユニットは、
前記第１夾角と前記第２夾角によって前記第１サブ領域の第１面積調整量と前記第２サブ領域の第２面積調整量を決定するステップと、
前記第１面積調整量に応じて前記第１サブ領域の面積を調整し、前記第２面積調整量に応じて前記第２サブ領域の面積を調整するステップと、に用いられる。

【0025】

本願のいずれか１つの実施形態によれば、前記処理ユニットは、
前記第１夾角が前記第２夾角より大きく、且つ前記第１サブ領域の面積が前記第２サブ領域の面積より大きい場合に、前記第１面積調整量と前記第２面積調整量の割合を第１割合とし、前記第１夾角と前記第２夾角の割合を第２割合とするステップと、
前記第１割合と前記第２割合が正の相関するように、前記第２割合によって前記第１面積調整量と前記第２面積調整量を決定するステップと、に用いられる。

【0026】

本願のいずれか１つの実施形態によれば、前記処理ユニットは、更に、
前記第１夾角が前記第２夾角に等しい場合に、前記第１面積調整量が前記第２面積調整量と等しいと決定するために用いられる。

【0027】

第３態様において、
メモリと、
前記メモリに接続され、前記メモリに記憶されているコンピュータ実行可能コマンドを実行することで上記のいずれか１種の技術的解決手段で提供された画像処理方法を実現可能であるプロセッサと、を含む画像処理装置を提供する。

【0028】

第４態様において、コンピュータ実行可能コマンドが記憶されているコンピュータ記憶媒体であって、前記コンピュータ実行可能コマンドが上記のいずれか１種の技術的解決手段で提供された画像処理方法を実現可能であるコンピュータ記憶媒体を提供する。

【0029】

本開示の実施例で提供される技術的解決手段は、被調整領域を変形させる前に、基準領域の向きを取得し、基準領域の向きによって前記被調整領域を変形させることになり、そのようにして、前記基準領域の向きを無視して直接変形させることで発生する視覚的におかしく見える変形効果を減少し、それによって違和感のある変形の発生を減少し、変形後の画像効果を改善する。

【図面の簡単な説明】

【0030】

本願の実施例又は背景技術における技術的手段をより明瞭に説明するために、以下、本願の実施例又は背景技術に用いられる図面について説明する。

【0031】

ここの図面は明細書に組み込まれて本明細書の一部を構成し、これらの図面は本開示に合致する実施例を示し、明細書と共に本開示の技術的手段を説明するために用いられる。

【図1】本開示の実施例で提供される画素座標系の模式図である。

【図2】本開示の実施例で提供される画像処理方法のフローチャートである。

【図3】本開示の実施例で提供されるキーポイントの模式図である。

【図4】本開示の実施例で提供される別の画像処理方法のフローチャートである。

【図5】本開示の実施例で提供されるキーポイントで形成されたベクトルに基づいて向きを決定する模式図である。

【図6】本開示の実施例で提供される中心線の模式図である。

【図7】本開示の実施例で提供される変形処理の効果模式図である。

【図8】本開示の実施例で提供される別の変形処理の効果模式図である。

【図9】本開示の実施例で提供される更に別の変形処理の効果模式図である。

【図10】本開示の実施例で提供される画像処理装置の構造模式図である。

【図11】本開示の実施例で提供される画像デバイスの構造模式図である。

【発明を実施するための形態】

【0032】

以下、明細書の図面及び具体的な実施例を参照しながら、本開示の技術的解決手段を更に詳細に説明する。

【0033】

以下の説明を開始する前に、まず本開示の実施例における画素座標系を定義する。図１に示すように、人体画像Ａの左下角を画素座標系の原点ｏとし、人体画像Ａの行と平行である方向をｘ軸の方向とし、人体画像Ａの列と平行である方向をｙ軸の方向として、画素座標系ｘｏｙを構築する。画素座標系で、横座標は人体画像Ａにおける画素の人体画像Ａでの列数を表すために用いられ、縦座標は人体画像Ａにおける画素の顔画像Ａでの行数を表すために用いられ、横座標と縦座標の単位がいずれも画素であってもよい。例えば、図１における画素ａの座標を（１０，３０）とすれば、即ち画素ａの横座標が３０画素であり、画素ａの縦座標が２０画素であれば、画素ａが顔画像Ａにおける３０列目２０行目の画素である。

【0034】

図２に示すように、本実施例は、
画像内の対象の基準領域のキーポイントを取得するステップＳ２１０と、
前記基準領域のキーポイントによって前記基準領域の向きを決定するステップＳ２２０と、
前記向きに基づいて前記対象の被調整領域に対して変形処理を行うステップＳ２３０と、を含む画像処理方法を提供する。

【0035】

本実施例で提供される画像処理方法は、例えば、ユーザデバイスとする携帯電話、タブレット型コンピュータ又はウェアラブルデバイス等の画像を処理可能な様々の電子機器に利用可能である。

【0036】

画像の基準領域のキーポイントを取得するステップＳ２１０には、
ニューラルネットワーク等の深層学習モデルを用いて前記基準領域のキーポイントを検出するステップを含んでよい。例えば、前記基準領域が生体であることを例とすると、前記キーポイントは前記基準領域の骨格のキーポイントであってよい。

【0037】

前記キーポイントが検出された後、これらのキーポイントを連結すれば前記基準領域の骨格を形成できる。

【0038】

前記画像が２Ｄ画像であれば、前記キーポイントは２Ｄキーポイントであってよい。

【0039】

前記画像が３Ｄ画像であれば、前記キーポイントは３Ｄキーポイントであってよい。

【0040】

前記３Ｄ画像は、ＲＧＢ画像とＲＧＢ画像に対応する深度マップで構成されてもよく、ＹＵＶ画像と前記ＹＵＶ画像に対応する深度マップで構成されてもよい。

【0041】

前記深度マップの画素値は前記ＲＧＢ画像又はＹＵＶ画像を取得するカメラと画像取得対象との間の距離値となってよく、このような距離を表す画素値は深度値と呼んでもよい。例えば、深度カメラによって前記３Ｄ画像を取得でき、前記深度カメラはＲＧＢ画像又はＹＵＶ画像を取得する一般の２Ｄカメラに加えて、飛行時間（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ：ＴＯＦ）等の深度マップを取得する深度カメラを更に含む。

【0042】

前記２Ｄキーポイントが（ｘ，ｙ）であり、前記３Ｄキーポイントが（ｘ，ｙ，ｚ）であってよい。前記２Ｄキーポイントの座標が平面座標系の座標であり、前記３Ｄキーポイントの座標が３Ｄ座標系中の座標である。

【0043】

図３は人体の骨格を示す模式図である。図３に人体骨格における１７個の骨格キーポイントの模式図を示し、それぞれに０－１６のように番号が付けられ、ここで、番号が０となる骨格キーポイントが０番のキーポイント又は根ノードとも呼ばれる。キーポイント１１と１４はそれぞれ人体骨格の２つの肩部キーポイントに対応し、キーポイント１と４はそれぞれ股間部の２つのキーポイントに対応する。キーポイント７は胴体中心キーポイントに対応する。キーポイント８と９はそれぞれ頸部の２つの端点に対応し、キーポイント１０は頭部キーポイントである。

【0044】

本実施例では、画像内の対象で覆われた領域はキーポイント領域を含み、ここで、対象は人物、動物を含み、キーポイント領域はいずれもキーポイントを含み、キーポイント領域は顔部領域、肩部領域、股間部領域を含む。基準領域は被調整領域に最も近いキーポイント領域である。

【0045】

可能な一実施形態では、被調整領域の中心点（以下、第１中心点という）の座標とキーポイント領域の中心点（以下、第２中心点という）の座標によって、第１中心点と第２中心点との間の距離を決定して被調整領域とキーポイント領域との間の距離とする。

【0046】

別の可能な実施形態では、被調整領域とキーポイント領域との間の最も短い距離を被調整領域とキーポイント領域との間の距離とする。

【0047】

人体を例とすると、前記基準領域の向きは、
顔部領域の向き、
肩部領域の向き、
股間部領域の向き等の中の少なくとも一項を含む。

【0048】

選択可能に、股間部領域は腰腹部領域を含んでよい。

【0049】

被調整領域を変形させることは、視覚的変形効果を生じるために、前記被調整領域を含む画像領域に対して画素変換を行うことを含んでよい。

【0050】

いくつかの実施例では、前記画素変換は、
変形格子を用いて前記被調整領域の変形処理を補助するという方法で実行されてよい。前記変形格子における格子点が変形処理の制御点となり、この制御点の座標変化はこの制御点の所在する格子内の画素の画素座標の変換を直接決定する。

【0051】

本実施例では、ある制御点に対応する画素変換は変形補間アルゴリズムに基づいて決定されてよい。この変形補間アルゴリズムはスプライン曲線アルゴリズムであってよい。

【0052】

前記変形格子は縦横に交錯している格子であってよく、縦横に交錯している変形線の交差点は変形格子の制御点となり、制御点の座標写像によって、この制御点の所在する格子に含まれる画素の画素座標の写像を制御できる。前記制御点を調整する時に、少なくとも２つの方向の座標調整を行ってよく、そのようにして少なくとも前記被調整領域の拡大又は縮小を実現でき、被調整領域の拡大は視覚的な拡大効果を達成でき、被調整領域の縮小は被調整領域の視覚的な縮小効果を達成できる。本実施例では、基準領域の向きによって被調整領域の変形処理を行うので、基準領域の向きによって被調整領域の精確な変形処理を行うことができ、基準領域の向きを無視して直接変形処理する場合に比べて、基準領域の向きの無視によるおかしい変形処理を減少し、更に変形処理後の画像の品質を高める。

【0053】

本実施例では、変形処理後の画像の品質を高めるために、被調整領域の向きによって被調整領域を変形処理する。被調整領域にキーポイントを含まない可能性があるので、被調整領域によって被調整領域の向きを決定できないことがある。基準領域はいずれもキーポイントを含むので、基準領域の向きによって被調整領域の向きを決定することができる。

【0054】

可能な一実施形態では、基準領域の向きの反対方向を被調整領域の向きとしてよい。例えば、前記被調整領域が臀部領域であり、基準領域が股間部領域であるので、股間部領域の向きの反対方向を被調整領域の向きとしてよい。

【0055】

別の可能な実施形態では、基準領域の向きを被調整領域の向きとしてよい。例えば、前記被調整領域が胸部であり、基準領域が肩部領域であるので、肩部領域の向きを被調整領域の向きとしてよい。

【0056】

要するに、本実施例では、キーポイントによって前記基準領域の画像での向きを決定し、被調整領域を変形処理する時に、被調整領域の各部位に対して同じ変形処理を行うことでなく、向きによって被調整領域を異なる方向に変形処理する。

【0057】

いくつかの実施例では、図４に示すように、前記ステップＳ２２０は、
前記基準領域内の少なくとも３つのキーポイントを取得するステップＳ２２１と、
前記少なくとも３つのキーポイントに基づいて目標ベクトルを決定するステップＳ２２２と、を含んでよく、
上記の少なくとも３つのキーポイントが同一直線に存在しない。少なくとも３つのキーポイントに基づいて目標ベクトルを決定可能であり、目標ベクトルの方向を基準領域の向きとする。

【0058】

本開示では、向きによって被調整領域を第１種の領域と第２種の領域の少なくとも２種に分けてよく、ここで、第１種の領域の向きが顔部領域の向きと反対であり、第２種の領域の向きが顔部領域の向きと同様である。選択可能に、第１種の領域は臀部領域を含む。第２種の領域は顔部領域、肩部領域、股間部領域を含む。

【0059】

基準領域の向きがいずれも顔部領域の向きと同様であるので、基準領域の向きによって被調整領域の向きを決定するステップは、被調整領域が第１種の領域である場合に、基準領域の向きの反対方向を被調整領域の向きとするステップと、被調整領域が第２種の領域である場合に、基準領域の向きを被調整領域の向きとするステップと、を含んでよい。

【0060】

例えば、被調整領域が臀部領域であり、基準領域が股間部領域である。被調整領域が第１種の領域であるので、基準領域の向きの反対方向を被調整領域の方向としてよい。更に例えば、被調整領域が胸部領域であり、基準領域が肩部領域である場合に、被調整領域が第２種の領域であるので、基準領域の向きを被調整領域の方向としてよい。

【0061】

基準領域と被調整領域は同じであってもよく、異なっていてもよいことを理解すべきである。例えば、被調整領域が肩部領域であり、基準領域が肩部領域であってもよく、肩部領域における少なくとも３つのキーポイントに基づいて目標ベクトルを決定可能であり、更に目標ベクトルの向きによって被調整領域の向きを決定してよい。更に例えば、被調整領域が脚部領域であり、基準領域が股間部領域であってもよく、股間部領域における少なくとも３つのキーポイントに基づいて目標ベクトルを決定可能であり、目標ベクトルの方向を股間部領域の向きとし、股間部領域の向きによって脚部領域の向きを決定する。

【0062】

別の実施例では、前記ステップＳ２２０は、更に、
前記目標ベクトルの向きによって前記被調整領域の向きを決定するステップＳ２２３を含んでよい。この時に、前記ステップＳ２３０は、目標ベクトルの向きに基づいて前記被調整領域を変形処理するステップを含んでよい。

【0063】

本実施例では、被調整領域が第１種の領域である場合に、目標ベクトルの反対方向を被調整領域の向きとする。被調整領域が第２種の領域である場合に、目標ベクトルの方向を被調整領域の向きとする。

【0064】

本実施例では、被調整領域の向きを決定しにくい時に、基準領域の向きによって被調整領域の向きを決定して処理効率を高くすることができる。

【0065】

勿論、いくつかの実施例では、基準領域の向きを被調整領域の向きに写像せず、直接基準領域の向きによって被調整領域を変形処理してもよい。本実施例では、処理のステップを減少するために、基準領域の向きを用いて被調整領域を変形処理してよい。

【0066】

いくつかの実施例では、上記少なくとも３つのキーポイントは第１キーポイント、第２キーポイント、第３キーポイントを含み、ここで、第１キーポイントと第３キーポイントが第２キーポイントに対して対称である。前記ステップＳ２２０には、
前記基準領域における第１キーポイントと第２キーポイントに基づいて第１ベクトルを構築するステップと、
前記基準領域における第３キーポイントと第２キーポイントに基づいて第２ベクトルを構築するステップと、
前記第１ベクトルと前記第２ベクトルに基づいて前記目標ベクトルを決定するステップと、を含んでよい。

【0067】

前記第１キーポイント、第２キーポイント及び第３キーポイントは少なくとも２つのベクトルを構成可能であり、これらの少なくとも２つのベクトルが同一の直線に存在しないため、平面を形成できる。

【0068】

例えば、基準領域が人体の股間部領域であることを例とすると、前記第１キーポイント、第２キーポイント及び第３キーポイントについては、図３に示す左股間部のキーポイント１を第１キーポイントとし、図３に示す根ノード０又は胴体中心のキーポイント７を第２キーポイントとし、図３に示す右股間部のキーポイント４を第３キーポイントとするようにしてよい。図５に示すように、股間部の向きを決定する時に、前記第１ベクトル（キーポイント４からキーポイント７に向かうベクトル）と第２ベクトル（キーポイント１からキーポイント７に向かうベクトル）に基づいて前記目標ベクトルを取得する。

【0069】

図５に示すように、基準領域において前記第３キーポイントと第１キーポイントが前記第２キーポイントの両側に位置し、且つ前記第２キーポイントが前記第３キーポイントと第１キーポイントの中心対称の対称中心となる。例えば、人体を例とすると、左股間部と右股間部が腰部中心点に対して対称分布されており、そのため、対応する左股間部のキーポイントと右股間部のキーポイントが腰部中心点に対して対称分布されている。

【0070】

いくつかの実施例では、図５に示すように、基準領域が股間部であれば、前記第１ベクトルはキーポイント４からキーポイント７に向かうベクトルであってよく、第２ベクトルはキーポイント１からキーポイント７に向かうベクトルであってよく、第３ベクトルはキーポイント７がキーポイント１、キーポイント４及びキーポイント７の形成した平面に垂直であるベクトルであってよい。

【0071】

いくつかの実施例では、基準領域が股間部であれば、前記第１ベクトルはキーポイント４からキーポイント０に向かうベクトルであってよく、第２ベクトルはキーポイント１からキーポイント０に向かうベクトルであってよい。

【0072】

更に別の実施例では、前記基準領域が肩部であれば、前記第１ベクトルはキーポイント１１からキーポイント７に向かうベクトルであってよく、第２ベクトルはキーポイント１４からキーポイント７に向かうベクトルであってよい。

【0073】

本実施例では、生体の対称部位が例とされるため、基準領域のキーポイントを選択する時に、選択される第１キーポイントと前記第３キーポイントは基準領域において第２キーポイントに対して対称である。

【0074】

別の実施例では、前記第１ベクトルと前記第２ベクトルに基づいて平面を構築し、この平面の法線ベクトルは基準領域の向きとなってよい。

【0075】

例えば、前記第１ベクトルと前記第２ベクトルに基づいて前記基準領域の向きを決定する前記ステップは、
前記第１ベクトルと前記第２ベクトルの外積を計算して目標ベクトルを得るステップを含む。

【0076】

本実施例では、前記第１ベクトルと前記第２ベクトルの外積を計算して、前記第１ベクトルと第２ベクトルの構成した平面の法線ベクトルを得て目標ベクトルとしてよく、更に目標ベクトルの方向によって前記基準領域の向きを決定してよい。

【0077】

別の実施例では、前記ステップＳ２３０には、
前記目標ベクトル、第１基準ベクトル及び第２基準ベクトルによって前記被調整領域に対して変形処理を行うステップを含んでよく、ここで、前記第１基準ベクトルの方向は前記画像の撮影方向に垂直であり、且つ前記第２基準ベクトルの方向と反対である。

【0078】

上記撮影方向が上記画像を撮影する撮影デバイス（カメラ、監視カメラ、ビデオカメラを含む）の光軸の方向ベクトルの方向であってよい。

【0079】

本実施例では、被調整領域を変形処理することによって、被調整領域の形状を調整できる。ここで、被調整領域の形状の調整は、被調整領域の面積の拡大、被調整領域の面積の縮小、被調整領域の輪郭の調整の中の少なくとも一項を含む。

【0080】

例えば、体が痩せているユーザにとって、臀部を大きくする等を要求することがあり、そのようにこのユーザを含む画像を変形処理して画像における臀部領域を拡大してよい。更に例を挙げると、体がふくよかなユーザにとって、臀部を痩せさせる等を要求することがあり、そのようにこのユーザを含む画像を変形処理して画像における臀部領域を縮小してよい。

【0081】

例えば、体が痩せているユーザにとって、胸を大きくする等を要求することがあり、そのようにこのユーザを含む画像を変形処理して画像における胸部領域を拡大してよい。更に例を挙げると、体がふくよかなユーザにとって、胸を痩せさせる等を要求することがあり、そのようにこのユーザを含む画像を変形処理して画像における胸部領域を縮小してよい。

【0082】

被調整領域が対称領域であるので、被調整領域を第１サブ領域と第２サブ領域に分けてよい。図６に示すように、人体における被調整領域はいずれも中心線に対して対称であり、即ち、被調整領域は中心線に対して対称である。

【0083】

例えば、前記被調整領域が臀部であることを例とすると、前記第１サブ領域が左臀部であれば、第２サブ領域が右臀部であり、第１サブ領域が右臀部であれば、第２サブ領域が左臀部である。更に例を挙げると、前記被調整領域が胸部であることを例とすると、第１サブ領域が人体の右胸であれば、第２サブ領域が人体の左胸であり、第１サブ領域が人体の左胸であれば、第２サブ領域が人体の右胸である。ここの人体の左臀部、右臀部、左胸及び右胸がいずれも人体の左右部分として区別されることを注意すべきである。

【0084】

被調整領域の向きが撮影方向と同様であるか、被調整領域の向きが撮影方向と反対である場合に、第１サブ領域と第２サブ領域が同じであり、この時に第１サブ領域と第２サブ領域に対して同じ変形処理を行ってよい。被調整領域の向きが撮影方向と異なるか、被調整領域の向きが撮影方向の反対方向と異なる場合に、第１サブ領域と第２サブ領域が異なり（面積が異なる場合、輪郭が異なる場合を含む）、第１サブ領域と第２サブ領域に対して同じ変形処理を行えば、変形処理後の被調整領域が奇形的になる（例えば、変形処理後の被調整領域の割合に違和感がある）。従って、第１サブ領域の面積と第２サブ領域の面積に応じて第１サブ領域への変形処理と第２サブ領域への変形処理を決定してよく、それによって変形処理後の被調整領域が奇形的になる確率を低減する。

【0085】

可能な一実施形態では、目標ベクトルと第１基準ベクトルとの間の夾角（以下、第１夾角という）、目標ベクトルと第２基準ベクトルとの間の夾角（以下、第２夾角という）によって第１サブ領域の面積と第２サブ領域の面積との大小関係（以下、面積関係という）を決定可能であり、更に面積関係によって第１サブ領域の変形処理と第２サブ領域の変形処理を決定可能である。

【0086】

本開示の実施例では、変形処理は被調整領域の面積の調整を含み、即ち、第１サブ領域の面積の調整と第２サブ領域の面積の調整を含む。第１サブ領域の面積と第２サブ領域の面積との間の割合（以下、第１面積割合という）によって第１サブ領域の面積調整量と第２サブ領域の面積調整量の割合（以下、第２面積割合という）を決定する。第２面積割合と第１面積割合を正の相関関係にすることによって、変形処理後の第１サブ領域と変形処理後の第２サブ領域の割合（変形処理後の第１サブ領域の面積と変形処理後の第２サブ領域の面積の割合を含む）を一層違和感のないようにし、更に変形処理後の被調整領域が奇形的になる確率を低減し、変形処理の効果をより自然にすることができる。

【0087】

可能な一実施形態では、第１夾角と第２夾角によって第１サブ領域の面積調整量（以下、第１面積調整量という）と第２サブ領域の面積調整量（以下、第２面積調整量という）を決定可能である。第１面積調整量に応じて第１サブ領域の面積を調整し、第２面積調整量に応じて前記第２サブ領域の面積を調整して、被調整領域の変形処理を達成する。

【0088】

第１夾角と第２夾角が同じである場合に、目標ベクトルが第１基準ベクトルに垂直であり且つ目標ベクトルが第２基準ベクトルに垂直であることを示し、即ち第１サブ領域の面積と第２サブ領域の面積が同じである。従って、第１面積調整量と第２面積調整量を同じにしてよい。例えば、股間部領域の向きが撮影方向と同じであれば、第１夾角と第２夾角が同じであり、その時に第１面積調整量と第２面積調整量が同じであり、そのようにして、左臀部領域を外へ拡大すれば、右臀部領域をも外へ拡大し、左臀部領域を内へ縮小すれば、右臀部領域をも内へ縮小する。

【0089】

目標ベクトルの方向が第１基準ベクトルの方向と同様であるか、目標ベクトルの方向が第２基準ベクトルの方向と同様である場合に、画像に第１サブ領域と第２サブ領域の一方しかを含まないことを示し、この時に、第１サブ領域又は第２サブ領域を調整すればよい。例えば、臀部を例とすると、画像に右臀部領域しかを含まない場合に、右臀部領域（即ち、第１サブ領域と第２サブ領域の一方）のみを調整すればよく、画像に左臀部領域しかを含まない場合に、左臀部領域のみを調整すればよい。

【0090】

第１夾角と第２夾角が同じでなく、目標ベクトルの方向が第１基準ベクトルの方向と異なり、且つ目標ベクトルの方向が第２基準ベクトルの方向と異なる場合に、第１サブ領域の面積と第２サブ領域の面積が同じでないことを示す。第１夾角と第２夾角との間の差が大きいほど、第１サブ領域の面積と第２サブ領域の面積との間の差が大きい。変形処理後の被調整領域の割合を一層違和感のないようにするために、第１夾角と第２夾角との間の差（以下、夾角差という）によって第１面積調整量と第２面積調整量を決定してよい。可能な一実施形態では、第１夾角と第２夾角の割合を第２割合とし、そのように第２割合が夾角差に対して正の相関関係にあるので、第２割合によって第１面積調整量と第２面積調整量を決定できる。第１面積調整量と第２面積調整量の割合を第１割合とする。第２割合に基づいて、第１割合と第２割合を正の相関関係にするように、第１面積調整量と第２面積調整量を決定できる。例えば、第１割合＝第２割合×ｃであり、ただし、ｃが正数である。別の可能な実施形態では、第１サブ領域と第２サブ領域のうち、面積が大きいサブ領域を大きいサブ領域とし、第１サブ領域と第２サブ領域のうち、面積が小さいサブ領域を小さいサブ領域とし、そのように夾角差の絶対値が大きいサブ領域の面積に対して正の相関関係にあり、夾角差の絶対値が小さいサブ領域の面積に対して負の相関関係にある。従って、夾角差の絶対値に基づいて、大きいサブ領域の面積調整量が夾角差の絶対値に対して正の相関関係にあり、且つ小さいサブ領域の面積調整量が夾角差の絶対値に対して負の相関関係にあるように、大きいサブ領域の面積調整量と小さいサブ領域の面積調整量（即ち、第１面積調整量と第２面積調整量）を決定できる。例えば、大きい領域の面積調整量＝夾角差の絶対値×ｄであり、ただし、ｄが正数であり、小さい領域の面積調整量＝１／夾角差の絶対値である。

【0091】

被調整領域が胸部領域であることを例とし、左胸領域を第１サブ領域とし、右胸領域を第２サブ領域とする。左胸領域の面積が右胸領域の面積より大きい場合に、第１面積調整量が第２面積調整量より大きく、左胸領域の面積が右胸領域の面積より小さい場合に、第１面積調整量が第２面積調整量より小さい。

【0092】

被調整領域が臀部領域であることを例とし、左臀部領域を第１サブ領域とし、右臀部領域を第２サブ領域とする。左臀部領域の面積が右臀部領域の面積より大きい場合に、第１面積調整量が第２面積調整量より大きく、左臀部領域の面積が右臀部領域の面積より小さい場合に、第１面積調整量が第２面積調整量より小さい。

【0093】

以上、被調整領域が胸部又は臀部であることを例として説明したが、具体的に実施する時に、前記被調整領域は臀部と胸部に限定されなく、例えば、更に、肩部領域、脚部領域又は背中領域等を含んでもよい。

【0094】

本実施例では、被調整領域の面積を調整する実施形態は、被調整領域の輪郭の形状を変化させず、被調整領域の面積を調整するもの、被調整領域の輪郭を調整することによって被調整領域の面積を調整するものの中の少なくとも１種を含むことを理解すべきである。

【0095】

要するに、前記第１サブ領域の面積が前記第２サブ領域の面積より大きい場合に、第１面積調整量を前記第２面積調整量より大きくし、前記第１サブ領域の面積が前記第２サブ領域の面積より小さい場合に、前記第１面積調整量を前記第２面積調整量より小さくすることで、変形処理後の被調整領域の割合をより調和することができる。

【0096】

本開示の図７～図９は臀部を大きくする変形の効果模式図である。

【0097】

図７において人体の股間部領域が左に向かっており、より左の臀部領域が画像において隠れているので、人体のより右の臀部領域のみに対して臀部を大きくする処理を行えばよく、図７に示すように、臀部を大きくする処理（即ち、上記変形処理）を行った後、図７の右図において右臀部領域が明らかにより高く盛り上がっている。

【0098】

図８において人体の股間部領域が右に向かっており、人体のより右の臀部領域が画像において隠れているので、人体のより左の臀部領域のみに対して臀部を大きくする処理を行えばよく、図８に示すように、臀部を大きくする処理を行った後、図８の右図において左臀部領域が明らかにより高く盛り上がっている。

【0099】

図９に示す基準領域（即ち、臀部領域）の向きが第１基準ベクトルと異なり、且つ基準領域の向きが第２基準ベクトルの方向と異なり、臀部領域が臀部を大きくする処理によって奇形的になることを回避するために、第１夾角（基準領域の向きと第１基準ベクトルとの間の夾角）と第２夾角（基準領域と第２基準ベクトルとの間の夾角）によって左臀部領域の面積と右臀部領域の面積との間の大小関係を決定して、臀部を大きくする処理を実現するようにしてよい。図９において、左臀部領域の面積が右臀部領域の面積より小さいので、左臀部領域の面積調整量が右臀部領域の面積調整量より小さい。

【0100】

図１０に示すように、本実施例は、
画像内の対象の基準領域のキーポイントを取得するための取得ユニット１１と、
前記基準領域のキーポイントによって前記基準領域の向きを決定するための決定ユニット１２と、
前記基準領域の向きに基づいて前記基準領域と同じか異なる前記対象の被調整領域に対して変形処理を行うための処理ユニット１３と、を含む画像処理装置を提供する。

【0101】

本願のいずれか１つの実施形態によれば、前記決定ユニット１２は、
同一直線に存在しない前記基準領域内の少なくとも３つのキーポイントを取得するステップと、
前記少なくとも３つのキーポイントに基づいて目標ベクトルを決定するステップと、
前記目標ベクトルの方向を前記基準領域の向きとするステップと、に用いられる。

【0102】

本願のいずれか１つの実施形態によれば、前記少なくとも３つのキーポイントは第１キーポイント、第２キーポイント、第３キーポイントを含み、前記第１キーポイントと前記第３キーポイントが前記第２キーポイントに対して対称であり、
前記決定ユニット１２は、
前記第１キーポイントと前記第２キーポイントに基づいて第１ベクトルを構築するステップと、
前記第３キーポイントと前記第２キーポイントに基づいて第２ベクトルを構築するステップと、
前記第１ベクトルと前記第２ベクトルに基づいて前記目標ベクトルを決定するステップと、に用いられる。

【0103】

本願のいずれか１つの実施形態によれば、前記決定ユニット１２は、
前記第１ベクトルと前記第２ベクトルの外積を計算して前記目標ベクトルを得るために用いられる。

【0104】

本願のいずれか１つの実施形態によれば、前記処理ユニット１３は、
前記基準領域の向きに基づいて被調整領域の向きを決定するステップと、
前記被調整領域の向きに基づいて前記対象の被調整領域に対して変形処理を行うステップと、に用いられる。

【0105】

本願のいずれか１つの実施形態によれば、前記処理ユニット１３は、
前記被調整領域が臀部領域を含む第１種の領域に属する場合に、前記基準領域の向きが前記被調整領域の向きと反対であると決定するステップと、
前記被調整領域が顔部領域、肩部領域、股間部領域を含む第２種の領域に属する場合に、前記基準領域の向きが前記被調整領域の向きと同じであると決定するステップと、に用いられる。

【0106】

本願のいずれか１つの実施形態によれば、前記処理ユニット１３は、
前記目標ベクトル、第１基準ベクトル及び第２基準ベクトルによって前記被調整領域に対して変形処理を行うために用いられ、前記第１基準ベクトルの方向は前記画像の撮影方向に垂直であり、且つ前記第２基準ベクトルの方向と反対である。

【0107】

本願のいずれか１つの実施形態によれば、前記被調整領域は前記被調整領域の中心線に対して対称である第１サブ領域と第２サブ領域を含み、
前記処理ユニット１３は、
前記目標ベクトルの方向が前記第１基準ベクトルの方向と異なり、且つ前記第２基準ベクトルの方向と異なる場合に、前記目標ベクトルと前記第１基準ベクトルとの間の第１夾角、及び前記目標ベクトルと前記第２基準ベクトルとの間の第２夾角によって前記第１サブ領域の面積と前記第２サブ領域の面積を調整するために用いられる。

【0108】

本願のいずれか１つの実施形態によれば、前記処理ユニット１３は、
前記第１夾角と前記第２夾角によって前記第１サブ領域の第１面積調整量と前記第２サブ領域の第２面積調整量を決定するステップと、
前記第１面積調整量に応じて前記第１サブ領域の面積を調整し、前記第２面積調整量に応じて前記第２サブ領域の面積を調整するステップと、に用いられる。

【0109】

本願のいずれか１つの実施形態によれば、前記処理ユニット１３は、
前記第１夾角が前記第２夾角より大きく、且つ前記第１サブ領域の面積が前記第２サブ領域の面積より大きい場合に、前記第１面積調整量と前記第２面積調整量の割合を第１割合とし、前記第１夾角と前記第２夾角の割合を第２割合とするステップと、
前記第１割合と前記第２割合が正の相関するように、前記第２割合によって前記第１面積調整量と前記第２面積調整量を決定するステップと、に用いられる。

【0110】

本願のいずれか１つの実施形態によれば、前記処理ユニット１３は、更に、
前記第１夾角が前記第２夾角に等しい場合に、前記第１面積調整量が前記第２面積調整量と等しいと決定するために用いられる。

【0111】

図１１に示すように、本実施例は、
メモリと、
前記メモリに接続され、前記メモリに記憶されているコンピュータ実行可能コマンドを実行することで前記１つ又は複数の実施例で提供された画像処理方法、例えば、図２、及び図４に示す画像処理方法の中の１種又は複数種の方法を実現できるプロセッサと、を含む画像デバイスを提供する。

【0112】

このメモリは、ランダムアクセスメモリ、読み出し専用メモリ、フラッシュメモリ等のような様々なメモリであってよい。前記メモリは、例えば、コンピュータ実行可能コマンド等の情報を記憶するために用いてよい。前記コンピュータ実行可能コマンドは、例えば、目標プログラムコマンド及び／又はソースプログラムコマンド等のような様々なプログラムコマンドであってよい。

【0113】

前記プロセッサは、例えば、中央処理装置、マイクロプロセッサ、デジタル信号プロセッサ、プログラマブルアレイ、デジタル信号プロセッサ、特定用途向け集積回路又は画像プロセッサ等の様々なプロセッサであってよい。

【0114】

前記プロセッサはバスを介して前記メモリに接続されてよい。前記バスは、集積回路バス等であってよい。

【0115】

ある実施例では、前記画像デバイスは、更に、ネットワークインターフェイス、例えば、ローカルネットワークインターフェース、送受信アンテナ等を含む通信インターフェイスを含んでよい。前記通信インターフェイスは同様に前記プロセッサに接続され、情報送受信を実行可能である。

【0116】

ある実施例では、前記電子機器は、例えば、キーボード、タッチパネル等の各種の入出力装置を含んでよいマンマシンインターフェイスを更に含む。

【0117】

本実施例は、コンピュータ実行可能コマンドが記憶されているコンピュータ記憶媒体であって、前記コンピュータ実行可能コマンドが実行されると、前記１つ又は複数の実施例で提供された画像処理方法、例えば、図２及び図４に示す画像処理方法の中の１種又は複数種の方法を実現可能であるコンピュータ記憶媒体を提供する。

【0118】

前記コンピュータ記憶媒体は、例えば、ＣＤ、フロッピーディスク、ハードディスク、磁気テープ、光ディスク、ＵＳＢメモリ又はモバイルハードディスク等のような記録機能を有する各種記録媒体であってよい。前記コンピュータ記憶媒体は非一時的記憶媒体であってもよく、プロセッサがそれを読み取ることができ、それによってコンピュータ記憶媒体に記憶されているコンピュータ実行可能コマンドがプロセッサにより取得され実行されると、前述したいずれか１つの技術的解決手段で提供された情報処理方法を実現可能であり、例えば、端末装置に用いられる情報処理方法又はサーバに用いられる情報処理方法を実行可能である。

【0119】

本実施例は、コンピュータ実行可能コマンドを含むコンピュータプログラム製品であって、前記コンピュータ実行可能コマンドが実行されると、前記１つ又は複数の実施例で提供された画像処理方法、例えば、図２及び図４に示す画像処理方法の中の１種又は複数種の方法を実現可能であるコンピュータプログラム製品を更に提供する。

【0120】

前記コンピュータプログラム製品は、コンピュータ記憶媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願の実施例により提供される方法のステップを対応して実行する対応のコマンドを含んでよい。

【0121】

なお、本願が提供するいくつかの実施例では、開示した機器および方法は、他の形態で実現することができることを理解すべきである。以上に記載の機器の実施例は例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際に実現する場合に別の形態で分割してもよく、例えば、複数のユニットまたはコンポーネントは組み合わせてもよく、または別のシステムに統合してもよく、または一部の特徴を省略もしくは実行しなくてもよい。また、図示または説明した各構成要素の結合、または直接結合、または通信接続は、いくつかのインターフェイス、機器またはユニットを介した間接結合または通信接続であり得、電気的、機械的または他の形態であり得る。

【0122】

別々の部材として前述したユニットは物理的に分離されてもされなくてもよく、ユニットとして示された部材は物理的ユニットであってもなくてもよく、一箇所にあっても複数のネットワークユニットに分散してもよく、本実施例の解決手段の目的を達成するには、実際の必要に応じて一部または全てのユニットを選択することができる。

【0123】

また、本開示の各実施例における各機能ユニットは全て一つの処理モジュールに統合されてもよく、一つのユニットとして別々に使用されてもよく、二つ以上で一つのユニットに統合されてもよく、上記統合されたユニットはハードウェアの形で、またはハードウェアとソフトウェアを組み合わせた機能ユニットの形で実現され得る。

【0124】

当業者であれば、上記各方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完了できることを理解でき、前記プログラムは、携帯型記憶装置、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記各方法の実施例を含むステップを実行する。

【0125】

以上で説明したのは本開示の具体的な実施形態に過ぎず、本開示の保護範囲がそれに限定されるものでなく、本開示に記載された技術範囲内に当業者に容易に想到される変化又は取り替えは、全て本開示の保護範囲に含まれる。従って、本開示の保護範囲は請求項の保護範囲に準ずるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】