特表 2023-540272 ピクチャ処理方法、装置、デバイス及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-09-22

(54)【発明の名称】ピクチャ処理方法、装置、デバイス及び記憶媒体

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230914BHJP

   G06T 3/00 20060101ALI20230914BHJP

   G03B 15/00 20210101ALI20230914BHJP

   H04N 23/611 20230101ALI20230914BHJP

   H04N 23/63 20230101ALI20230914BHJP

   G06T 1/00 20060101ALI20230914BHJP

【ＦＩ】

H04N23/60 100

G06T3/00 775

G03B15/00 Q

H04N23/611

H04N23/60 500

H04N23/63 110

H04N23/63 300

G06T1/00 340B

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023513988

(86)(22)【出願日】2021-08-27

(85)【翻訳文提出日】2023-03-06

(86)【国際出願番号】 CN2021114880

(87)【国際公開番号】W WO2022042669

(87)【国際公開日】2022-03-03

(31)【優先権主張番号】202010900860.6

(32)【優先日】2020-08-31

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】520476341

【氏名又は名称】北京字節跳動網絡技術有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂｙｔｅｄａｎｃｅ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ Ｂ－００３５， ２／Ｆ， Ｎｏ．３ Ｂｕｉｌｄｉｎｇ， Ｎｏ．３０， Ｓｈｉｘｉｎｇ Ｒｏａｄ， Ｓｈｉｊｉｎｇｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｂｅｉｊｉｎｇ １０００４１ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ジ，ジンユイ

(72)【発明者】

【氏名】シュイ，イティエン

(72)【発明者】

【氏名】シュイ，ワン

【テーマコード（参考）】

5B057

5C122

【Ｆターム（参考）】

5B057BA02

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CD03

5B057CE09

5B057DA07

5B057DA08

5B057DB02

5B057DB09

5B057DC08

5B057DC40

5C122EA42

5C122EA61

5C122FA01

5C122FH04

5C122FH11

5C122FH14

5C122FK28

5C122FK34

5C122FK37

5C122FK41

5C122FL08

5C122HB01

5C122HB05

(57)【要約】

本開示はピクチャ処理方法、装置、デバイス及び記憶媒体を提供する。前記方法は、まず、第１のピクチャに対して顔検出を行い、第１のピクチャにおける各顔の位置情報を取得するステップと、その後、第１のピクチャにおける各顔の位置情報に基づいて、第１のピクチャが複数人物構図ルールに合致するか否かを決定するステップと、第１のピクチャが複数人物構図ルールに合致していない場合、第１のピクチャにおける各顔の位置情報に基づいて、第１のピクチャに対してトリミング補正を行い、処理済みのピクチャを得るステップとを含む。本開示の実施形態では、ピクチャの全体的な効果の観点からピクチャの構図を補正することによって、ピクチャの画質を向上させる。

【特許請求の範囲】

【請求項1】

ピクチャ処理方法であって、
第１のピクチャに対して顔検出を行い、前記第１のピクチャにおける各顔の位置情報を取得するステップと、
前記第１のピクチャにおける各顔の位置情報に基づいて、前記第１のピクチャが複数人物構図ルールに合致するか否かを決定するステップと、
前記第１のピクチャが前記複数人物構図ルールに合致していない場合、前記第１のピクチャにおける各顔の位置情報に基づいて、前記第１のピクチャに対してトリミング補正を行い、処理済みのピクチャを得るステップと、
を含む、ことを特徴とする方法。

【請求項2】

第１のピクチャに対して顔検出を行う前記ステップの前に、さらに、
第２のピクチャにおけるターゲットオブジェクトが垂直状態にあるか否かを検出することによって、前記第２のピクチャがシーン水平状態にあるか否かを決定するステップと、
前記第２のピクチャが前記シーン水平状態にない場合、前記第２のピクチャに対して回転補正を行い、前記第１のピクチャを得るステップと、を含む、ことを特徴とする請求項１に記載の方法。

【請求項3】

前記ターゲットオブジェクトは、複数のサブオブジェクトを含み、第２のピクチャにおけるターゲットオブジェクトが垂直状態にあるか否かを検出することによって、前記第２のピクチャがシーン水平状態にあるか否かを決定する前記ステップは、
第２のピクチャにおける各サブオブジェクトが垂直状態にあるか否かを検出することによって、前記第２のピクチャがシーン水平状態にあるか否かを決定するステップを含む、ことを特徴とする請求項２に記載の方法。

【請求項4】

前記ターゲットオブジェクトは人間の身体部位及び顔部位を含み、
第２のピクチャにおけるターゲットオブジェクトが垂直状態にあるか否かを検出することによって、前記第２のピクチャがシーン水平状態にあるか否かを決定する前記ステップは、
第２のピクチャにおける同一人物の前記身体部位及び前記顔部位がいずれも垂直状態にあるか否かを検出することによって、前記第２のピクチャがシーン水平状態にあるか否かを決定するステップを含む、ことを特徴とする請求項２に記載の方法。

【請求項5】

処理対象となる前記ピクチャに対して回転補正を行い、第１のピクチャを得る前記ステップの前に、さらに、
前記第２のピクチャが前記シーン水平状態にない場合、前記第２のピクチャにおける前記ターゲットオブジェクトの垂直方向のオフセット角度を取得するステップを含み、
前記第２のピクチャに対して回転補正を行い、第１のピクチャを得る前記ステップは、
前記オフセット角度に基づいて、前記第２のピクチャに対して回転補正を行い、前記第１のピクチャを得るステップを含む、ことを特徴とする請求項２に記載の方法。

【請求項6】

前記第１のピクチャまたは前記処理済みのピクチャが補正条件を満たしていない場合、構図提示を表示するステップをさらに含む、ことを特徴とする請求項１から５のいずれか１項に記載の方法。

【請求項7】

前記第１のピクチャまたは前記処理済みのピクチャが補正条件を満たしていない場合、構図提示を表示する前記ステップは、
前記第１のピクチャに被写体の部分欠落があった場合、構図提示を表示するステップ、
または、前記処理済みのピクチャが拡大された後の画素値が予め設定された画素値よりも低い場合、構図提示を表示するステップを含む、ことを特徴とする請求項１から６のいずれか１項に記載の方法。

【請求項8】

前記第１のピクチャはカメラプレビューウィンドウに表示されている現在のプレビューピクチャであり、前記方法はさらに、
前記カメラプレビューウィンドウに前記処理済みのピクチャを表示するステップを含む、ことを特徴とする請求項１から５のいずれか１項に記載の方法。

【請求項9】

前記カメラプレビューウィンドウに前記処理済みのピクチャを表示する前記ステップは、
前記カメラプレビューウィンドウに、前記処理済みのピクチャをピクチャインピクチャの形式で表示するステップを含む、ことを特徴とする請求項８に記載の方法。

【請求項10】

第１のピクチャに対して顔検出を行い、前記第１のピクチャにおける各顔の位置情報を取得するための第１の決定モジュールと、
前記第１のピクチャにおける各顔の位置情報に基づいて、前記第１のピクチャが複数人物構図ルールに合致するか否かを決定するための第２の決定モジュールと、
前記第１のピクチャが前記複数人物構図ルールに合致していない場合、前記第１のピクチャにおける各顔の位置情報に基づいて、前記第１のピクチャに対してトリミング補正を行い、処理済みのピクチャを得るためのトリミング補正モジュールと、
を備える、ことを特徴とするピクチャ処理装置。

【請求項11】

コマンドが記憶されているコンピュータ読取可能な記憶媒体であって、前記コマンドが端末装置で実行されるとき、前記端末装置に請求項１から９のいずれか１項に記載の方法を実現させる、ことを特徴とする、コンピュータ読取可能な記憶媒体。

【請求項12】

デバイスであって、メモリと、プロセッサと、前記メモリに記憶され且つ前記プロセッサ上で実行可能なコンピュータプログラムとを含み、前記プロセッサは前記コンピュータプログラムを実行するとき、請求項１から９のいずれか１項に記載の方法を実現させる、ことを特徴とする、デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願への相互参照］
本出願は、２０２０年０８月３１日に中国国家知識産権局に提出された、出願番号が２０２０１０９００８６０.６であって、出願の名称が「ピクチャ処理方法、装置、デバイス及び記憶媒体」である中国特許出願に基づく優先権を主張するものであり、その内容全体が援用により本明細書に組み込まれる。

【0002】

［技術分野］
本開示は、ピクチャデータ処理の分野に関し、特に、ピクチャ処理方法、装置、デバイス及び記憶媒体に関する。

【背景技術】

【0003】

ピクチャ処理方式の多様的な発展に伴い、人々のピクチャの画質に対する要求は、ますます高まっている。ここで、ピクチャの画質をピクチャの局所的なディーテル及び全体からそれぞれ測定することができる。

【0004】

現在、ピクチャ処理に対する要求は、ディーテル効果への処理のみに拘束されなくなり、ピクチャの全体的な効果が人々の審美的な習慣に適合するかどうかなども、人々から注目を受けるようになってきた。

【0005】

そこで、ピクチャの全体的な効果を向上させる観点から、如何にピクチャの画質を向上させるかは、解決を迫られている技術的課題となっている。

【発明の概要】

【課題を解決するための手段】

【0006】

上記の技術的課題を解決するか、または上記の技術的課題を少なくとも部分的に解決するために、本開示は、ピクチャ処理の効率を高めることができるピクチャ処理方法、装置、デバイス及び記憶媒体を提供する。

【0007】

第１の局面によれば、本開示は、ピクチャ処理方法を提供し、前記方法は、
第１のピクチャに対して顔検出を行い、前記第１のピクチャにおける各顔の位置情報を取得するステップと、
前記第１のピクチャにおける各顔の位置情報に基づいて、前記第１のピクチャが複数人物構図ルールに合致するか否かを決定するステップと、
前記第１のピクチャが前記複数人物構図ルールに合致していない場合、前記第１のピクチャにおける各顔の位置情報に基づいて、前記第１のピクチャに対してトリミング補正を行い、処理済みのピクチャを得るステップとを含む。

【0008】

一つの実施可能な形態では、第１のピクチャに対して顔検出を行う前記ステップの前に、さらに、
第２のピクチャにおけるターゲットオブジェクトが垂直状態にあるか否かを検出することによって、前記第２のピクチャがシーン水平状態にあるか否かを決定するステップと、
前記第２のピクチャが前記シーン水平状態にない場合、前記第２のピクチャに対して回転補正を行い、第１のピクチャを得るステップとを含む。

【0009】

一つの実施可能な形態では、前記ターゲットオブジェクトは複数のサブオブジェクトを含み、第２のピクチャにおけるターゲットオブジェクトが垂直状態にあるか否かを検出することによって、前記第２のピクチャがシーン水平状態にあるか否かを決定する前記ステップは、
第２のピクチャにおける各サブオブジェクトが垂直状態にあるか否かを検出することによって、前記第２のピクチャがシーン水平状態にあるか否かを決定するステップを含む。

【0010】

一つの実施可能な形態では、前記ターゲットオブジェクトは、人間の身体部位及び顔部位を含み、
第２のピクチャにおけるターゲットオブジェクトが垂直状態にあるか否かを検出することによって、前記第２のピクチャがシーン水平状態にあるか否かを決定する前記ステップは、
第２のピクチャにおける同一人物の前記身体部位及び前記顔部位がいずれも垂直状態にあるか否かを検出することによって、前記第２のピクチャがシーン水平状態にあるか否かを決定するステップを含む。

【0011】

一つの実施可能な形態では、処理対象となる前記ピクチャに対して回転補正を行い、第１のピクチャを得る前記ステップの前に、さらに、
前記第２のピクチャが前記シーン水平状態にない場合、前記第２のピクチャにおける前記ターゲットオブジェクトの垂直方向でのオフセット角度を取得するステップを含み、
前記第２のピクチャに対して回転補正を行い、第１のピクチャを得る前記ステップは、
前記オフセット角度に基づいて、前記第２のピクチャに対して回転補正を行い、第１のピクチャを得るステップを含む。

【0012】

一つの実施可能な形態では、前記方法は、さらに、
前記第１のピクチャまたは前記処理済みのピクチャが補正条件を満たしていない場合、構図提示を表示するステップを含む。

【0013】

一つの実施可能な形態では、前記第１のピクチャまたは前記処理済みのピクチャが補正条件を満たしていない場合、構図提示を表示する前記ステップは、
前記第１のピクチャに被写体の部分欠落があった場合、構図提示を表示するステップ、
または、前記処理済みのピクチャが拡大された後の画素値が予め設定された画素値よりも低い場合、構図提示を表示するステップを含む。

【0014】

一つの実施可能な形態では、前記第１のピクチャは、カメラのプレビューウィンドウに表示されている現在のプレビューピクチャであり、前記方法は、さらに、
前記カメラプレビューウィンドウに前記処理済みのピクチャを表示するステップを含む。

【0015】

一つの実施可能な形態では、前記カメラプレビューウィンドウに前記処理済みのピクチャを表示する前記ステップは、
前記カメラプレビューウィンドウに、前記処理済みのピクチャをピクチャインピクチャの形式で表示するステップを含む。

【0016】

第２の局面によれば、本開示はピクチャ処理装置を提供し、前記装置は、
第１のピクチャに対して顔検出を行い、前記第１のピクチャにおける各顔の位置情報を取得するための第１の決定モジュールと、
前記第１のピクチャにおける各顔の位置情報に基づいて、前記第１のピクチャが複数人物構図ルールに合致するか否かを決定するための第２の決定モジュールと、
前記第１のピクチャが前記複数人物構図ルールに合致していない場合、前記第１のピクチャにおける各顔の位置情報に基づいて、前記第１のピクチャに対してトリミング補正を行い、処理済みのピクチャを得るためのトリミング補正モジュールとを含む。

【0017】

第３の局面によれば、本開示は、コマンドが記憶されており、前記コマンドが端末装置で実行されるとき、前記端末装置に上述の方法を実現させるコンピュータ読取可能な記憶媒体を提供する。

【0018】

第４の局面によれば、本開示は、メモリ、プロセッサ、及び前記メモリに記憶され且つ前記プロセッサ上で実行可能なコンピュータプログラムを含み、前記プロセッサが、前記コンピュータプログラムを実行するとき、上述の方法を実現させるデバイスを提供する。

【発明の効果】

【0019】

本開示の実施形態によって提供される技術案は、従来の技術と比べて以下の利点がある。即ち、
本開示の実施形態はピクチャ処理方法を提供する。まず、第１のピクチャに対して顔検出を行い、第１のピクチャにおける各顔の位置情報を取得する。その後、第１のピクチャにおける各顔の位置情報に基づいて、第１のピクチャが複数人物構図ルールに合致するか否かを決定する。第１のピクチャが複数人物構図ルールに合致していないと決定した場合、第１のピクチャにおける各顔の位置情報に基づいて、第１のピクチャに対してトリミング補正を行い、処理済みのピクチャを得る。本開示の実施形態では、ピクチャの全体的な効果の観点からピクチャの構図を補正することによって、ピクチャの画質を向上させることができる。

【図面の簡単な説明】

【0020】

本明細書に組み込まれ、その一部を構成する添付の図面は、本開示の実施形態を示しながら、明細書とともに本開示の原理を説明するものである。

【0021】

本開示の実施形態または従来の技術に係る技術案をより明確に説明するために、以下で、実施形態または従来の技術を説明するために使用される図面について簡単に紹介する。明らかに、当業者は、進歩性に値する労働を付することなく、これらの図面から他の図面を得ることもできる。

【図1】本開示の実施形態に係るピクチャ処理方法のフローチャートである。

【図2】本開示の実施形態に係る被写体の部分欠落があったピクチャの概略図である。

【図3】本開示の実施形態に係る別のピクチャ処理方法のフローチャートである。

【図4】本開示の実施形態に係るピクチャ処理装置の構成ブロック図である。

【図5】本開示の実施形態に係るピクチャ処理デバイスの構成ブロック図である。

【発明を実施するための形態】

【0022】

本開示の上記の目的、特徴及び利点をより明確に理解するために、以下で、本開示の技術案についてさらに説明する。なお、矛盾しない限り、本開示の実施形態及び実施形態における特徴は、互いに組み合わせることができる。

【0023】

本開示を十分に理解しやすくするために、以下の説明において、多くの詳細内容が記載されているが、本開示は、本明細書に記載されているものとは異なる他の形態で実施されることもできる。明らかに、本明細書の実施形態は、本開示の実施形態の全てではなく、そのうちの一部に過ぎない。

【0024】

現在、人々のピクチャ画質に対する要求はますます高まっており、ピクチャの全体的な効果が人々の審美的な習慣に適合するかどうかなども、人々から注目を受けるようになってきた。そこで、ピクチャの全体的な効果を向上させる観点から、如何にピクチャの画質を向上させるかは、解決を迫られている技術的課題となっている。

【0025】

これを鑑みて、本開示の実施形態はピクチャ処理方法を提供する。まず、第１のピクチャに対して顔検出を行い、第１のピクチャにおける各顔の位置情報を取得する。その後、第１のピクチャにおける各顔の位置情報に基づいて、第１のピクチャが複数人物構図ルールに合致するか否かを決定する。第１のピクチャが複数人物構図ルールに合致していない場合、第１のピクチャにおける各顔の位置情報に基づいて、第１のピクチャに対してトリミング補正を行い、処理済みのピクチャを得る。本開示の実施形態では、ピクチャの全体的な効果の観点からピクチャの構図を補正することによって、ピクチャの画質を向上させることができる。

【0026】

これに基づいて、本開示の実施形態はピクチャ処理方法を提供する。図１を参照すると、本開示の実施形態に係るピクチャ処理方法のフローチャートである。前記方法は、以下のステップを含む。

【0027】

ステップＳ１０１：第１のピクチャに対して顔検出を行い、前記第１のピクチャにおける各顔の位置情報を決定する。

【0028】

本開示の実施形態では、第１のピクチャは、複数の顔を含む任意のピクチャであってもよい。例えば、複数人集合写真が撮影されたときにカメラのプレビューウィンドウ内に表示されている現在のプレビューイメージであってもよく、カメラのシャッターボタンが押された後に撮影された複数人集合写真であってもよい。

【0029】

本開示の実施形態では、第１のピクチャが特定された後、第１のピクチャに対して顔検出を行うことによって、第１のピクチャにおける各顔の位置情報を決定する。ここで、顔の位置情報は、顔の中心点の２次元座標情報であってもよく、２次元座標情報は、第１のピクチャの左上隅を原点とする座標系における座標情報であってもよい。

【0030】

実際の適用では、機械学習モデルを利用して第１のピクチャにおける顔を検出することができるため、ここでは説明を省略する。

【0031】

一つの実施可能な形態では、被写体の一部が欠落しているピクチャは通常、回転やトリミングなどの基本的な補正操作によって構図補正を実現できないため、本開示の実施形態では、第１のピクチャに対して顔検出を行う前に、まず、第１のピクチャ内の被写体の一部が欠落しているか否か、例えば、第１のピクチャにおける顔や身体などに撮影方法に起因した欠如があるか否かなどを検出する必要がある。第１のピクチャ内の被写体の一部が欠落していると判断された場合に、第１のピクチャの全体的な効果への処理は、後続の補正操作で実現できないため、このとき、第１のピクチャの構図提示をユーザに表示することができ、これによって、ユーザは構図提示に基づいて、第１のピクチャを再撮影して第１のピクチャよりも全体的な効果が高い撮影ピクチャを得ることができる。

【0032】

図２に示すように、本開示の実施形態に係る被写体の部分欠落があったピクチャの概略図である。ここで、ピクチャの右側部分で人物像の一部が欠落している。したがって、本開示の実施形態は、例えば図２に示す右矢印のような構図提示を表示することによって、より効果的なピクチャを再撮影するためにカメラの位置・姿勢を動かすようにユーザに促すことができる。ここで、右矢印は、カメラを右に動かすようにユーザに促すものである。また、構図提示は、図２に示すように左に移動させるなど、ピクチャに写されている人物の位置・姿勢を動かすように促すこともできる。

【0033】

また、第１のピクチャには被写体の部分欠落が存在しないと決定した場合、第１のピクチャに対して顔検出を行い、その後、顔検出結果に基づいて第１のピクチャを補正することができる。

【0034】

ステップＳ１０２：前記第１のピクチャにおける各顔の位置情報に基づいて、前記第１のピクチャが複数人物構図ルールに合致するか否かを決定する。前記第１のピクチャが前記複数人物構図ルールに合致していない場合、ステップＳ１０３に移行する。

【0035】

本開示の実施形態では、第１のピクチャにおける各顔の位置情報を取得した後、各顔の位置情報に基づいて、第１のピクチャが複数人物構図ルールに合致するか否かを決定する。

【0036】

実際の適用では、複数人物構図ルールには、三分割法、中心対称などの複数種類の構図ルールが含まれている。各顔の位置情報に基づいて、第１のピクチャが複数人物構図ルールに合致するか否かを決定する。ＹＥＳであれば、第１のピクチャが複数人物構図ルールに合致すると決定し、さもなければ、第１のピクチャが複数人物構図ルールに合致せず、構図補正処理が必要であると決定する。

【0037】

一つの実施可能な形態では、第１のピクチャにおける各顔の位置情報を複数人物構図ルールモデルに入力し、複数人物構図ルールモデルにおける各ルールと照合することによって、第１のピクチャが少なくとも１つの複数人物構図ルールに合致するか否かを決定することができる。

【0038】

ステップＳ１０３：前記第１のピクチャにおける各顔の位置情報に基づいて、前記第１のピクチャに対してトリミング補正を行い、処理済みのピクチャを得る。

【0039】

本開示の実施形態では、第１のピクチャが複数人物構図ルールに合致していないと決定した場合、第１のピクチャに対してトリミング補正を行う。具体的には、第１のピクチャにおける各顔の位置情報に基づいて、第１のピクチャに対してトリミング補正を行うことができる。例えば、各顔の位置情報は、各顔がいずれも第１のピクチャの右側部分にあり、第１のピクチャの左側部分のほとんどに顔がないことを示す場合、得られた処理済みのピクチャの全体効果を向上させるために、第１のピクチャの左側部分に対してトリミング補正を行うことができる。

【0040】

一つの実施可能な形態では、トリミング補正がなされた処理済みのピクチャについて、さらに複数人物構図ルールに合致しているか否かを判断することができる。具体的には、第１のピクチャに対するトリミング補正に基づいて、第１のピクチャにおける各顔の位置情報を更新し、その後、複数人物構図ルールに合致する処理済みのピクチャが得られるまで、更新された各顔の位置情報に基づいて、１回のトリミング補正がなされた第１のピクチャが複数人物構図ルールに合致しているか否かを改めて決定することができる。具体的な特定方法については、上記の理解を参照すればよいので、ここでは説明を省略する。

【0041】

別の実施可能な形態では、第１のピクチャに対してトリミング補正を行った後、処理済みのピクチャが得られる。処理済みのピクチャをユーザにチェックさせやすくするために、処理済みのピクチャを拡大表示することができる。拡大表示された処理済みのピクチャがぼやけていると検出された場合、具体的には、処理済みのピクチャが拡大された後の画素値が予め設定された画素値よりも低くなった場合、第１のピクチャをトリミング補正することでピクチャの画質を向上させることができないことが分かる。そこで、本開示の実施形態では、第１のピクチャに対して構図提示が表示されるため、ユーザは構図提示に従って第１のピクチャを再撮影することができる。

【0042】

本開示の実施形態によって提供されるピクチャ処理方法では、まず、第１のピクチャに対して顔検出を行い、第１のピクチャにおける各顔の位置情報を取得する。その後、第１のピクチャにおける各顔の位置情報に基づいて、第１のピクチャが複数人物構図ルールに合致するか否かを決定する。第１のピクチャが複数人物構図ルールに合致していないと決定した場合、第１のピクチャにおける各顔の位置情報に基づいて、第１のピクチャに対してトリミング補正を行い、処理済みのピクチャを得る。本開示の実施形態では、ピクチャの全体的な効果の観点からピクチャの構図を補正することによって、ピクチャの画質を向上させることができる。

【0043】

ピクチャの画質をさらに向上させるために、上記の実施形態に加えて、本開示の実施形態は、さらにピクチャ処理方法を提供する。図３を参照すると、本開示の実施形態に係る別のピクチャ処理方法のフローチャートである。前記方法は以下のステップを含む。

【0044】

ステップＳ３０１：第２のピクチャにおけるターゲットオブジェクトが垂直状態にあるか否かを検出することによって、前記第２のピクチャがシーン水平状態にあるか否かを決定する。前記第２のピクチャがシーン水平状態にない場合、ステップＳ３０２に移行する。

【0045】

本開示の実施形態では、第２のピクチャは、複数の顔を含む任意のピクチャであってもよい。例えば、複数人集合写真が撮影されたときにカメラのプレビューウィンドウ内に表示されている現在のプレビューイメージであってもよいし、カメラのシャッターボタンが押された後に撮影された複数人集合写真であってもよい。

【0046】

本開示の実施形態では、第２のピクチャが特定された後、第２のピクチャにおけるターゲットオブジェクトが垂直状態にあるか否かを検出し、ターゲットオブジェクトが垂直状態にあるか否かによって、第２のピクチャがシーン水平状態にあるか否かを決定する。ここで、シーン水平状態とは、ピクチャ内のシーンが傾いた状態でないことを指す。例えば、ビーチで複数人集合写真を撮影した場合、複数人集合写真に写されている海面が水平である場合、この複数人集合写真がシーン水平状態にあるといえる。

【0047】

一つの実施可能な形態では、ターゲットオブジェクトは、予め特定された第２のピクチャに写されている特定の建物などであり得る。特定の建物が垂直状態にあるか否かを検出することによって、第２のピクチャがシーン水平状態にあるか否かを決定する。

【0048】

別の実施可能な形態では、ターゲットオブジェクトは、第２のピクチャに写されている人間の身体部位であってもよい。人間の身体部位が垂直状態にあるか否かを検出することによって、第２のピクチャがシーン水平状態にあるか否かを決定する。具体的には、人間の身体部位が垂直状態にあるか否かは、人の頭部と足部とが同一の垂直線上にあるか否かによって決定することができる。

【0049】

別の実施可能な形態では、ターゲットオブジェクトは、第２のピクチャに写されている顔部分であってもよい。人間の顔部分が垂直状態にあるか否かを検出することによって、第２のピクチャがシーン水平状態にあるか否かを決定する。具体的には、人間の顔部分が垂直状態にあるか否かは、顔部位上の五感位置に基づいて決定することができる。

【0050】

別の実施可能な形態では、シーン水平状態検出の精度をさらに向上させるために、本開示の実施形態では、ターゲットオブジェクトを人間の身体部位及び顔部分に設定することができる。同一人物の身体部位及び顔部分の垂直状態を検出することによって、第２のピクチャがシーン水平状態にあるか否かを決定する。

【0051】

具体的には、第２のピクチャに写されている同一人物の前記身体部位及び顔部分がいずれも垂直状態にあるか否かを検出することによって、第２のピクチャがシーン水平状態にあるか否かを決定する。

【0052】

１つの適用シナリオでは、第２のピクチャにおけるターゲットオブジェクトは、複数のサブオブジェクトを含む。本開示の実施形態では、各サブオブジェクトの垂直状態を検出することによって、第２のピクチャがシーン水平状態にあるか否かを決定することができる。具体的には、第２のピクチャに写されている各サブオブジェクトが垂直状態にあるか否かを検出することによって、第２のピクチャがシーン水平状態にあるか否かを決定する。

【0053】

一つの実施可能な形態では、第２のピクチャに写されている各サブオブジェクトが垂直状態にあるか否かを検出し、サブオブジェクトの総数に対する垂直状態のサブオブジェクト数の比率が予め設定された比率閾値よりも大きい場合、第２のピクチャがシーン水平状態にあると判断される。それ以外の場合、第２のピクチャがシーン水平状態にないと判断される。

【0054】

ここで、第２のピクチャに含まれている複数のサブオブジェクトは、第２のピクチャに写されている複数の人物の顔部分であってもよい。すなわち、顔の総数に対する垂直状態の顔数の比率が予め設定された比率閾値よりも大きい場合、第２のピクチャがシーン水平状態にあると判断される。それ以外の場合、第２のピクチャがシーン水平状態にないと判断される。

【0055】

一つの実施可能な形態では、第２のピクチャが特定された後、第２のピクチャに被写体の部分欠落があったか否かを先に検出してもよい。あった場合、ユーザが再撮影するように、第２のピクチャに対して構図提示を表示することもできる。

【0056】

ステップＳ３０２：前記第２のピクチャに対して回転補正を行い、第１のピクチャを得る。

【0057】

本開示の実施形態では、第２のピクチャがシーン水平状態にないと決定した後、第２のピクチャの全体的な効果を良好にするように、第２のピクチャに対して回転補正を行う。

【0058】

一つの実施可能な形態では、第２のピクチャがシーン水平状態にないと決定した場合、第２のピクチャにおけるターゲットオブジェクトの垂直方向でのオフセット角度を取得する。その後、当該オフセット角度に基づいて、第２のピクチャに対して回転補正を行い、第１のピクチャを得る。

【0059】

一つの実施可能な形態では、ターゲットオブジェクトに複数のサブオブジェクトが含まれている場合、各サブオブジェクトの垂直方向でのオフセット角度を取得し、その後、各オフセット角度の平均値を計算し、さらに、この平均値に基づいて第２のピクチャに対して回転補正を行い、第１のピクチャを得る。

【0060】

一つの実施可能な形態では、回転補正がなされた第１のピクチャには被写体の部分欠落などの問題が存在し、ピクチャの画質が低くなった場合、第２のピクチャを補正することでピクチャの画質を向上させることができないことが分かる。そこで、本開示の実施形態では、ユーザが構図提示に従って再撮影できるように、第２のピクチャに対して構図提示を表示することができる。

【0061】

ステップＳ３０３：第１のピクチャに対して顔検出を行い、前記第１のピクチャにおける各顔の位置情報を決定する。

【0062】

ステップＳ３０４：前記第１のピクチャにおける各顔の位置情報に基づいて、前記第１のピクチャが複数人物構図ルールに合致するか否かを決定する。前記第１のピクチャが複数人物構図ルールに合致していない場合、ステップＳ３０２に移行する。

【0063】

ステップＳ３０５：前記第１のピクチャにおける各顔の位置情報に基づいて、前記第１のピクチャに対してトリミング補正を行い、処理済みのピクチャを得る。

【0064】

本開示の実施形態におけるＳ３０３からＳ３０５は、上述の実施形態におけるＳ１０１からＳ１０３の説明を参照して理解することができるので、ここでは説明を省略する。

【0065】

１つの適用シナリオでは、上述の実施形態における第１のピクチャと、本実施形態における第２のピクチャとの両方は、カメラのプレビューウィンドウ内に表示されている現在のプレビューピクチャであってよく、本開示に係るピクチャ処理方法によって処理を施して得られた処理済みのピクチャは、カメラのプレビューウィンドウ内に表示されることができる。このとき、ユーザがシャッターボタンを押すことで撮影されるピクチャは、カメラのプレビューウィンドウ内に表示される処理済みのピクチャとなる。

【0066】

一つの実施可能な形態では、カメラプレビューウィンドウに、処理済みのピクチャをピクチャインピクチャの形式で表示することができる。

【0067】

また、カメラのプレビューウィンドウに表示されている現在のプレビューピクチャが補正条件を満たしていないと判断した場合、例えば、被写体が欠落したり、補正後の被写体が欠落したりぼやけたりするなどの問題があった場合、カメラのプレビューウィンドウ内には、図２に示すように、カメラの位置・姿勢を右に移動させるようにユーザに指示するための構図提示が表示される。

【0068】

本開示の実施形態はさらに、上記の方法実施形態と同じ発明構造に属するピクチャ処理装置を提供する。図４を参照すると、本開示の実施形態に係るピクチャ処理装置の構成概略図である。前記装置は、
第１のピクチャに対して顔検出を行い、前記第１のピクチャにおける各顔の位置情報を取得するための第１の決定モジュール４０１と、
前記第１のピクチャにおける各顔の位置情報に基づいて、前記第１のピクチャが複数人物構図ルールに合致するか否かを決定するための第２の決定モジュール４０２と、
前記第１のピクチャが前記複数人物構図ルールに合致していない場合、前記第１のピクチャにおける各顔の位置情報に基づいて、前記第１のピクチャに対してトリミング補正を行い、処理済みのピクチャを得るためのトリミング補正モジュール４０３と、を含む。

【0069】

一つの実施可能な形態では、前記装置は、さらに、
第２のピクチャにおけるターゲットオブジェクトが垂直状態にあるか否かを検出することによって、前記第２のピクチャがシーン水平状態にあるか否かを決定するための第３の決定モジュールと、
前記第２のピクチャが前記シーン水平状態にない場合、前記第２のピクチャに対して回転補正を行い、第１のピクチャを得るための回転補正モジュールと、を含む。

【0070】

一つの実施可能な形態では、前記ターゲットオブジェクトは、複数のサブオブジェクトを含み、前記第３の決定モジュールは、具体的に、
第２のピクチャにおける各サブオブジェクトが垂直状態にあるか否かを検出することによって、前記第２のピクチャがシーン水平状態にあるか否かを決定するように構成される。

【0071】

一つの実施可能な形態では、前記ターゲットオブジェクトは、人間の身体部位及び顔部位を含み、
前記第３の決定モジュールは、具体的に、
第２のピクチャにおける同一人物の前記身体部位及び前記顔部位がいずれも垂直状態にあるか否かを検出することによって、前記第２のピクチャがシーン水平状態にあるか否かを決定するように構成される。

【0072】

一つの実施可能な形態では、前記装置は、さらに、
前記第２のピクチャが前記シーン水平状態にない場合、前記第２のピクチャにおける前記ターゲットオブジェクトの垂直方向でのオフセット角度を取得するための取得モジュールを含み、
それに応じて、前記回転補正モジュールは、具体的に、
前記オフセット角度に基づいて、前記第２のピクチャに対して回転補正を行い、第１のピクチャを得るように構成される。

【0073】

一つの実施可能な形態では、前記装置は、さらに、
前記第１のピクチャまたは前記処理済みのピクチャが補正条件を満たしていない場合、構図提示を表示するための第１の表示モジュールを含む。

【0074】

一つの実施可能な形態では、前記第１の表示モジュールは、
前記第１のピクチャに被写体の部分欠落があった場合、構図提示を表示するための第１の表示サブモジュール、
または、前記処理済みのピクチャが拡大された後の画素値が予め設定された画素値よりも低い場合、構図提示を表示するための第２の表示サブモジュールを含む。

【0075】

一つの実施可能な形態では、前記第１のピクチャは、カメラのプレビューウィンドウに表示されている現在のプレビューピクチャであり、前記装置は、さらに、
前記カメラプレビューウィンドウに前記処理済みのピクチャを表示するための第２の表示モジュールを含む。

【0076】

一つの実施可能な形態では、前記第２の表示モジュールは、具体的に、
前記カメラプレビューウィンドウに、前記処理済みのピクチャをピクチャインピクチャの形式で表示するように構成される。

【0077】

本開示の実施形態によって提供されるピクチャ処理装置は、まず、第１のピクチャに対して顔検出を行い、第１のピクチャにおける各顔の位置情報を取得する。その後、第１のピクチャにおける各顔の位置情報に基づいて、第１のピクチャが複数人物構図ルールに合致するか否かを決定する。第１のピクチャが複数人物構図ルールに合致していないと決定した場合、第１のピクチャにおける各顔の位置情報に基づいて、第１のピクチャに対してトリミング補正を行い、処理済みのピクチャを得る。本開示の実施形態では、ピクチャの全体的な効果の観点からピクチャの構図を補正することによって、ピクチャの画質を向上させることができる。

【0078】

上記の方法及び装置に加えて、本開示の実施形態はさらに、コマンドが記憶されているコンピュータ読取可能な記憶媒体であって、前記コマンドが端末装置で実行されるとき、前記端末装置に本開示の実施形態に記載のピクチャ処理方法を実現させるコンピュータ読取可能な記憶媒体を提供する。

【0079】

また、本開示の実施形態はさらに、ピクチャ処理デバイスを提供する。図５に示すように、
プロセッサ５０１、メモリ５０２、入力装置５０３、及び出力装置５０４を含むことができる。ピクチャ処理デバイスにおけるプロセッサ５０１の数は１つでも複数でもよく、図５では１つのプロセッサを例に挙げる。本開示のいくつかの実施形態では、プロセッサ５０１、メモリ５０２、入力装置５０３、及び出力装置５０４は、バスまたは他の方式を介して接続されている。図５では、バスを介して接続されることを例として取り上げられる。

【0080】

メモリ５０２は、ソフトウェアプログラム及びモジュールを格納するために使用され、プロセッサ５０１は、メモリ５０２に格納されたソフトウェアプログラム及びモジュールを実行することによって、ピクチャ処理デバイスの様々な機能アプリケーション及びデータ処理を実行することができる。メモリ５０２は主にプログラム格納領域とデータ格納領域とを含み、そのうち、プログラム格納領域はオペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムなどを格納することができる。さらに、メモリ５０２は、高速ランダムアクセスメモリを含むことができ、さらに、不揮発性メモリ、例えば、少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、または他の揮発性固体記憶デバイスも含むことができる。入力装置５０３は、入力された数値またはテキスト情報を受信したり、ピクチャ処理デバイスのユーザ設定及び機能制御に関連する信号入力を生成したりするものである。

【0081】

具体的に、本実施形態では、プロセッサ５０１は以下のコマンドに従って、１つまたは複数のアプリケーションプログラムのプロセスに対応する実行可能ファイルをメモリ５０２にロードして、メモリ５０２に格納されたアプリケーションプログラムをプロセッサ５０１によって実行することで、前記ピクチャ処理デバイスの様々な機能を実現する。

【0082】

なお、本明細書では、「第１」や「第２」などの関係用語は、１つのエンティティまたは操作を別のエンティティまたは操作と区別するためにのみ使用され、必ずしもこれらのエンティティまたは操作間に如何なる実際の関係または順序が存在していることを要求または暗示するものではない。さらに、「含む」や「包含」という用語、またはそれらの任意の他の変形は、非排他的な包含をカバーすることを意図するため、一連の要素を含むプロセスや方法、物品または装置は、それらの要素を含むだけでなく、明示されない他の要素をも含み、またはそのようなプロセス、方法、物品または装置のために固有の他の要素をも含む。また、さらなる制限がない場合に、「一の…を含む」という文によって限定される要素は、前記要素を含むプロセス、方法、物品または装置には別の同じ要素がさらに存在することを排除しない。

【0083】

上記の記述は、本開示を当業者に理解させたり実施させたりすることを可能にする本開示の具体的な実施形態に過ぎない。これらの実施形態に対する様々な補正は、当業者にとって容易かつ明らかであろう。本明細書で定義される一般原理は、本開示の精神または範囲から逸脱しない限り、他の実施形態でも実施できる。したがって、本開示は、本明細書に示される実施形態に限定されるものではなく、本明細書で開示される原理及び新規の特徴に矛盾しない最大の範囲を与えられるものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】