IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 北京字跳▲網▼絡技▲術▼有限公司の特許一覧

特表2023-504803画像合成方法、装置、およびストレージ媒体
<>
  • 特表-画像合成方法、装置、およびストレージ媒体 図1
  • 特表-画像合成方法、装置、およびストレージ媒体 図2
  • 特表-画像合成方法、装置、およびストレージ媒体 図3
  • 特表-画像合成方法、装置、およびストレージ媒体 図4
  • 特表-画像合成方法、装置、およびストレージ媒体 図5
  • 特表-画像合成方法、装置、およびストレージ媒体 図6
  • 特表-画像合成方法、装置、およびストレージ媒体 図7
  • 特表-画像合成方法、装置、およびストレージ媒体 図8
  • 特表-画像合成方法、装置、およびストレージ媒体 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-02-07
(54)【発明の名称】画像合成方法、装置、およびストレージ媒体
(51)【国際特許分類】
   G06T 13/80 20110101AFI20230131BHJP
   G06T 7/12 20170101ALI20230131BHJP
【FI】
G06T13/80 A
G06T7/12
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022531598
(86)(22)【出願日】2021-08-30
(85)【翻訳文提出日】2022-05-27
(86)【国際出願番号】 SG2021050520
(87)【国際公開番号】W WO2022093112
(87)【国際公開日】2022-05-05
(31)【優先権主張番号】202011198004.7
(32)【優先日】2020-10-30
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.JAVA
2.SMALLTALK
(71)【出願人】
【識別番号】521431088
【氏名又は名称】北京字跳▲網▼絡技▲術▼有限公司
【氏名又は名称原語表記】Beijing Zitiao Network Technology Co., Ltd.
【住所又は居所原語表記】0207, 2/F, Building 4, Zijin Digital Park, Haidian District, Beijing,P. R. China
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】チェン,ジリ
(72)【発明者】
【氏名】ジャン,ウェンハオ
【テーマコード(参考)】
5B050
5L096
【Fターム(参考)】
5B050AA03
5B050BA06
5B050BA08
5B050BA09
5B050BA13
5B050CA07
5B050CA08
5B050DA04
5B050EA06
5B050EA19
5B050EA24
5B050EA26
5B050FA02
5L096EA03
5L096FA05
5L096FA06
5L096FA12
(57)【要約】
画像合成方法と装置、および記憶媒体である。第1境界ボックスラインは、処理される画像内のターゲットオブジェクト画像に対して凸包抽出を実行することによって獲得される。第1バウンディングボックスラインは中央に向かって狭くなり、第2バウンディングボックスラインが獲得される。第1プリセット材料とターゲットオブジェクト画像が合成されるときに少なくとも1つの接続点が位置するターゲット光線は、ターゲットオブジェクト画像に従って決定される。第1プリセット材料とターゲットオブジェクト画像との間の少なくとも1つの接続点は、第1境界ボックス線、第2境界ボックス線、ターゲットオブジェクト画像の輪郭、および少なくとも1つのターゲット光線に従って決定される。そして、第1プリセット素材とターゲットオブジェクト画像が接続ポイントに従って合成され、合成結果が表示される。接続点の許容範囲は、獲得された第1境界ボックス線、第2境界ボックス線、およびターゲットオブジェクト画像の輪郭に基づいて定義される。接続点の適切な位置は、第1プリセット素材が合成結果に適切に配置されるように範囲内で決定でき、ユーザが意図した画像合成効果が達成され得る。
【特許請求の範囲】
【請求項1】
画像合成のための方法であって、
第1境界フレームラインを獲得するために、処理される画像内のターゲットオブジェクト画像について、凸包抽出を実行するステップと、
第2境界フレームラインを獲得するために、プリセット比率に応じて、前記第1境界フレームラインの中心に向かって前記第1境界フレームラインをズームアウトするステップと、
前記ターゲットオブジェクト画像に応じて、前記ターゲットオブジェクト画像を用いて第1プリセット材料を合成する際に、少なくとも1つの接続点が配置される、少なくとも1つのターゲット光線を決定するステップと、
前記第1境界フレームライン、前記第2境界フレームライン、前記ターゲットオブジェクト画像の輪郭、および、前記少なくとも1つのターゲット光線に応じて、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の少なくとも1つの接続点を決定するステップと、
前記少なくとも1つの接続点に応じて、前記第1プリセット材料と前記ターゲットオブジェクト画像とを合成するステップと、
合成結果を表示するステップと、
を含む、方法。
【請求項2】
前記第1境界フレームライン、前記第2境界フレームライン、前記ターゲットオブジェクト画像の輪郭、および、前記少なくとも1つのターゲット光線に応じて、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の少なくとも1つの接続点を決定する前記ステップは、
前記少なくとも1つのターゲット光線のうち任意の1つのターゲット光線について、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の1つの接続点として、第1交点または第2交点を決定するステップであり、
前記第1交点は、前記任意の1つのターゲット光線と前記第2境界フレームラインとの間の交点であり、かつ、前記第2交点は、前記任意の1つのターゲット光線と前記ターゲットオブジェクト画像の輪郭との間の交点である、ステップ、
を含む、請求項1に記載の方法。
【請求項3】
前記少なくとも1つのターゲット光線のうち任意の1つのターゲット光線について、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の1つの接続点として、第1交点または第2交点を決定する前記ステップは、
前記任意の1つのターゲット光線について、前記任意の1つのターゲット光線と前記第1境界フレームラインとの間の第3交点を獲得するステップと、
開始点として前記第3交点を用いて、前記ターゲットオブジェクト画像の内部に向かって前記任意の1つのターゲット光線の方向に沿って、前記任意の1つのターゲット光線上で最初に現われる交点を探索するステップであり、
前記最初に現われる交点を、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の1つの接続点としてとらえる、ステップと、
を含み、
前記最初に現われる交点は、前記任意の1つのターゲット光線と前記第2境界フレームラインとの間の前記第1交点であるか、または、前記任意の1つのターゲット光線と前記ターゲットオブジェクト画像の輪郭との間の前記第2交点である、
請求項2に記載の方法。
【請求項4】
前記少なくとも1つのターゲット光線のうち任意の1つのターゲット光線について、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の1つの接続点として、第1交点または第2交点を決定する前記ステップは、
前記任意の1つのターゲット光線について、前記任意の1つのターゲット光線と前記第2境界フレームラインとの間の前記第1交点、および、前記任意の1つのターゲット光線と前記ターゲットオブジェクト画像の輪郭との間の前記第2交点を獲得するステップと、
前記第1交点および前記第2交点から、前記第1境界フレームラインに対して、より近い交点を決定するステップと、
前記第1境界フレームラインに対して、より近い前記交点を、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の1つの接続点として、決定するステップと、
を含む、請求項2に記載の方法。
【請求項5】
前記ターゲットオブジェクト画像に応じて、前記ターゲットオブジェクト画像を用いて第1プリセット材料を合成する際に、少なくとも1つの接続点が配置される、少なくとも1つのターゲット光線を決定する前記ステップは、
前記第1プリセット材料のタイプに応じて、前記ターゲットオブジェクト画像において軸抽出を実行する際に軸のカウントを決定するステップと、
前記軸のカウントに応じて、前記ターゲットオブジェクト画像において軸抽出を実行するステップと、
前記軸に応じて、前記少なくとも1つのターゲット光線、および、プリセット包含角度をそれぞれに形成する、前記少なくとも1つのターゲット光線と前記軸を、対応して決定するステップと、
を含む、請求項1乃至4いずれか一項に記載の方法。
【請求項6】
前記軸のカウントは、2であり、かつ、
前記ターゲットオブジェクト画像において軸抽出を実行する前記ステップは、
前記ターゲットオブジェクト画像の第1軸および第2軸を抽出するために、主成分分析アルゴリズムによって、前記ターゲットオブジェクト画像について主成分分析を実行するステップ、を含む、
請求項5に記載の方法。
【請求項7】
前記軸に応じて、前記少なくとも1つのターゲット光線を、対応して決定する前記ステップは、
前記少なくとも1つのターゲット光線の開始端点として、第1軸と第2軸との間の交点をとるステップと、
前記開始端点から始まり、かつ、前記第1軸または前記第2軸との対応するプリセット包含角度を形成する、少なくとも1つのターゲット光線を作成するステップと、
を含む、請求項6に記載の方法。
【請求項8】
前記方法は、さらに、
ターゲットオブジェクト画像の長さと幅の比率がプリセット閾値を超えた場合に、前記ターゲットオブジェクト画像の長さと幅の比率に応じて、
前記第1軸または前記第2軸を平行移動すること、
前記プリセット包含角度を調整すること、
のうち少なくとも1つを実行するステップ、
を含む、請求項6に記載の方法。
【請求項9】
前記方法は、さらに、
第2プリセット材料の獲得するステップと、
前記少なくとも1つの接続点に応じて、前記ターゲットオブジェクト画像の内側の第2プリセット材料の配置位置、および、前記第2プリセット材料のターゲットサイズを決定するステップと、
前記第2プリセット材料を前記ターゲットサイズに調整し、かつ、前記配置位置に応じて、調整された第2プリセット材料と前記ターゲットオブジェクト画像を合成するステップと、
を含む、請求項1乃至8いずれか一項に記載の方法。
【請求項10】
前記少なくとも1つの接続点に応じて、前記ターゲットオブジェクト画像の内側の第2プリセット材料の配置位置、および、前記第2プリセット材料のターゲットサイズを決定する前記ステップは、
前記少なくとも1つの接続点に置応じて、座標軸を確立するための原点を決定し、かつ、前記原点に基づいて、前記座標軸を確立するステップと、
前記座標軸に応じて、前記ターゲットオブジェクト画像の内側の前記第2プリセット材料の配置位置、および、前記第2プリセット材料のターゲットサイズを決定するステップと、
を含む、請求項9に記載の方法。
【請求項11】
処理される画像内のターゲットオブジェクト画像について、凸包抽出を実行する前記ステップの前に、前記方法は、さらに、
前記ターゲットオブジェクト画像を獲得するために、処理される画像内のターゲットオブジェクトについてオブジェクトセグメンテーションを実行するステップ、を含む、
請求項1乃至10いずれか一項に記載の方法。
【請求項12】
前記第1プリセット材料は、アニメーション材料であり、かつ、
合成結果を表示する前記ステップは、
前記合成結果を動的に表示するために、前記アニメーション材料を再生するステップ、を含む、
請求項1乃至11いずれか一項に記載の方法。
【請求項13】
前記合成結果を動的に表示するために、前記アニメーション材料を再生する前記ステップは、
前記合成結果について3次元処理し、前記3次元処理を受けた合成結果を動的に表示するステップ、を含む、
請求項12に記載の方法。
【請求項14】
画像合成のための装置であって、
第1境界フレームラインを獲得するために、処理される画像内のターゲットオブジェクト画像について、凸包抽出を実行し、かつ、第2境界フレームラインを獲得するために、プリセット比率に応じて、前記第1境界フレームラインの中心に向かって前記第1境界フレームラインをズームアウトする、ように構成されている境界抽出部と、
前記ターゲットオブジェクト画像に応じて、前記ターゲットオブジェクト画像を用いて第1プリセット材料を合成する際に、少なくとも1つの接続点が配置される、少なくとも1つのターゲット光線を決定する、ように構成されている光線構築部と、
前記第1境界フレームライン、前記第2境界フレームライン、前記ターゲットオブジェクト画像の輪郭、および、前記少なくとも1つのターゲット光線に応じて、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の少なくとも1つの接続点を決定する、ように構成されている接続点決定部と、
前記少なくとも1つの接続点に応じて、前記第1プリセット材料と前記ターゲットオブジェクト画像とを合成し、かつ、合成結果を表示する、ように構成されている画像合成部と、
を含む、装置。
【請求項15】
電子機器であって、
少なくとも1つのプロセッサと、
メモリと、を含み、
前記メモリは、コンピュータ実行命令を保管しており、前記少なくとも1つのプロセッサは、前記メモリに保管されている前記コンピュータ実行命令を実行して、前記電子機器に、請求項1乃至13いずれか一項に記載の画像合成のための方法を実施させる、
電子機器。
【請求項16】
コンピュータで読取り可能な記憶媒体であって、
前記コンピュータで読取り可能な記憶媒体は、コンピュータ実行命令を保管しており、かつ、プロセッサが前記コンピュータ実行命令を実行すると、請求項1乃至13いずれか一項に記載の画像合成のための方法が実施される、
コンピュータで読取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の実施形態は、画像合成のための方法、画像合成のための装置、およびストレージ媒体に関する。
【0002】
本出願は、2020年10月30日に出願された中国特許出願第202011198004.7号について優先権を主張するものであり、中国特許出願によって開示された内容全体が、参照により、本出願の一部としてここにおいて組み込まれている。
【背景技術】
【0003】
画像処理技術の分野では、たいてい、画像(image)とプリセット材料(preset material)が合成されている。プリセット材料が画像に追加され、そして、例えば、画像内のターゲットオブジェクトが認識された後で、肢体(limb)及び/又は表現材料(expression material)がターゲットオブジェクトに追加され、そして、肢体及び/又は表現動作(expression motion)も、また、制御され得る。この技術を拡張現実(Augmented Reality)(ARと略す)技術、または、画像特殊効果の編集および表示に対して適用され得る。そうして、画像表示への関心が、ユーザの多様なニーズを満たすように改善される。
【0004】
既知の技術において、プリセット材料とターゲットオブジェクトが合成すされる場合には、合成結果が、しばしば、不合理になり、かつ、ユーザが期待する画像合成効果を達成することができず、それによって、画像表示効果およびユーザ体験に影響を与えている。
【発明の概要】
【0005】
本開示の実施形態は、画像処理プロセス中に、プリセット材料とターゲットオブジェクト画像との間の接続点(connection point)の位置を正確かつ合理的に決定するように、画像合成のための方法、デバイス、およびストレージ媒体を提供する。その結果、プリセット材料およびターゲットオブジェクトが、より合理的に組み合わせることができ、そして、ユーザが期待する画像合成効果を達成すえることができる。が得られるように、画像合成方法、デバイスおよびストレージ媒体を提供する。
【0006】
第1態様において、本開示の1つの実施形態は、画像合成のための方法を提供する。本方法は、
第1境界フレームラインを獲得するために、処理される画像内のターゲットオブジェクト画像について、凸包抽出を実行するステップと、
第2境界フレームラインを獲得するために、プリセット比率に応じて、前記第1境界フレームラインの中心に向かって前記第1境界フレームラインをズームアウトするステップと、
前記ターゲットオブジェクト画像に応じて、前記ターゲットオブジェクト画像を用いて第1プリセット材料を合成する際に、少なくとも1つの接続点が配置される、少なくとも1つのターゲット光線を決定するステップと、
前記第1境界フレームライン、前記第2境界フレームライン、前記ターゲットオブジェクト画像の輪郭、および、前記少なくとも1つのターゲット光線に応じて、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の少なくとも1つの接続点を決定するステップと、
前記少なくとも1つの接続点に応じて、前記第1プリセット材料と前記ターゲットオブジェクト画像とを合成するステップと、
合成結果を表示するステップと、を含む。
【0007】
第2態様において、本開示の1つの実施形態は、画像合成のための装置を提供する。本装置は、
第1境界フレームラインを獲得するために、処理される画像内のターゲットオブジェクト画像について、凸包抽出を実行し、かつ、第2境界フレームラインを獲得するために、プリセット比率に応じて、前記第1境界フレームラインの中心に向かって前記第1境界フレームラインをズームアウトする、ように構成されている境界抽出部と、
前記ターゲットオブジェクト画像に応じて、前記ターゲットオブジェクト画像を用いて第1プリセット材料を合成する際に、少なくとも1つの接続点が配置される、少なくとも1つのターゲット光線を決定する、ように構成されている光線構築部と、
前記第1境界フレームライン、前記第2境界フレームライン、前記ターゲットオブジェクト画像の輪郭、および、前記少なくとも1つのターゲット光線に応じて、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の少なくとも1つの接続点を決定する、ように構成されている接続点決定部と、
前記少なくとも1つの接続点に応じて、前記第1プリセット材料と前記ターゲットオブジェクト画像とを合成し、かつ、合成結果を表示する、ように構成されている画像合成部と、を含む。
【0008】
第3態様において、本開示の1つの実施形態は、電子機器を提供する。本電子機器は、
少なくとも1つのプロセッサと、
メモリと、を含み、
前記メモリは、コンピュータ実行命令を保管しており、前記少なくとも1つのプロセッサは、前記メモリに保管されている前記コンピュータ実行命令を実行して、前記電子機器に、第1態様および第1態様に係る種々の可能な設計において説明された画像合成のための方法を実施させる。
【0009】
第4態様において、本開示の1つの実施形態は、コンピュータで読取り可能な記憶媒体を提供する。本コンピュータで読取り可能な記憶媒体は、コンピュータ実行命令を保管しており、かつ、プロセッサが前記コンピュータ実行命令を実行すると、第1態様および第1態様に係る種々の可能な設計において説明された画像合成のための方法が実施される。
【0010】
本開示の一つの実施形態は、画像合成のための方法、画像合成のための装置、およびストレージ媒体を提供する。本方法は、第1境界フレームラインを獲得するために、処理される画像内のターゲットオブジェクト画像について、凸包抽出を実行するステップと、第2境界フレームラインを獲得するために、プリセット比率に応じて、前記第1境界フレームラインの中心に向かって前記第1境界フレームラインをズームアウトするステップと、前記ターゲットオブジェクト画像に応じて、前記ターゲットオブジェクト画像を用いて第1プリセット材料を合成する際に、少なくとも1つの接続点が配置される、少なくとも1つのターゲット光線を決定するステップと、前記第1境界フレームライン、前記第2境界フレームライン、前記ターゲットオブジェクト画像の輪郭、および、前記少なくとも1つのターゲット光線に応じて、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の少なくとも1つの接続点を決定するステップと、前記少なくとも1つの接続点に応じて、前記第1プリセット材料と前記ターゲットオブジェクト画像とを合成するステップと、合成結果を表示するステップと、を含む。
本開示の実施形態において、獲得された第1境界フレームライン、第2境界フレームライン、およびターゲットオブジェクト画像の輪郭に基づいて、接続点の許容範囲が定義され、そして、本範囲は、ターゲットオブジェクト画像と大きなギャップを持たず、また、ターゲットオブジェクト画像の中に過度に入ることもない。第1プリセット材料とターゲットオブジェクト画像との間の接続点は、範囲内のターゲット光線によって決定され、その結果、接続点の位置は合理的であり、そして、画像合成を受ける合成結果における第1プリセット材料の位置は比較的合理的であり、ユーザが期待する画像合成効果が得られ、画像表示効果とユーザ体験が向上する。
【図面の簡単な説明】
【0011】
本開示の実施形態または既知の技術における技術的ソリューションをより明確に説明するため、以下に、実施形態または既知の技術の説明において必要とされる添付の図面を簡単に紹介する。明らかに、以下の説明における添付の図面は、本開示のいくつかの実施形態である。当業者であれば、いかなる創造的な努力をすることなく、これらの図面に基づいて、他の図面も、また、獲得することができる。
図1図1は、本開示の一つの実施形態において提供される画像合成方法に係るアプリケーションシナリオの概略図である。
図2図2は、本開示の一つの実施形態において提供される画像合成方法に係るフローチャートである。
図3図3は、本開示の別の実施形態において提供される画像合成方法に係るフローチャートである。
図4図4は、本開示の一つの実施形態において提供される画像合成方法による接続点の決定に係る特定的な概略図である。
図5図5は、本開示のさらに別の実施形態に提供される画像合成方法に係るフローチャートである。
図6図6は、本開示のさらに別の実施形態において提供される画像合成方法に係るフローチャートである。
図7図7は、本開示のさらに別の実施形態において提供される画像合成方法に係るフローチャートである。
図8図8は、本開示の一つの実施形態において提供される画像合成装置に係る構造ブロック図である。
図9図9は、本開示の一つの実施形態において提供される電子機器に係るハードウェア構造の概略図である。
【発明を実施するための形態】
【0012】
本開示の実施形態の目的、技術的ソリューション、および利点をより明確にするために、本開示の実施形態における技術的ソリューションが、本開示の実施形態における添付図面を参照して、以下に明確かつ完全に説明される。明らかに、説明される実施形態は、本開示に係るいくつかの実施形態であるが、全てではない。本開示の実施形態に基づいて、創造的努力なしに当業者によって獲得される他の全ての実施形態は、本開示の保護範囲に含まれるものである。
【0013】
既知の技術における技術的問題を解決するために、本開示の実施形態は、画像合成のための方法を提供する。本方法では、第1境界フレームラインを獲得するために、処理される画像内のターゲットオブジェクト画像について、凸包(convex hull)抽出を実行すること、第2境界フレームラインを獲得するために、プリセット比率に応じて、第1境界フレームラインの中心に向かって第1境界フレームラインをズームアウトすること、前記ターゲットオブジェクト画像上で軸抽出を行い、軸に応じて少なくとも1つのターゲット光線(target ray)を決定し、かつ、少なくとも1つのターゲット光線および軸がプリセット包含角度(included angle)をそれぞれに形成すること、第1境界フレームライン、第2境界フレームライン、ターゲットオブジェクト画像の輪郭(contour)、および少なくとも1つのターゲット光線に応じて、第1プリセット材料とターゲットオブジェクト画像との間の少なくとも1つの接続点を決定すること、を行う。第1境界フレームラインは、ターゲットオブジェクト画像の外側に配置され、かつ、第2境界フレームラインは、第1境界フレームラインをズームアウトすることによって獲得された境界フレームラインであるため、第2境界フレームラインは、ターゲットオブジェクト画像の輪郭と交差し得る。従って、獲得された第1境界フレームライン、第2境界フレームライン、およびターゲットオブジェクト画像の輪郭に基づいて、接続点の許容範囲を定義することができ、そして、その範囲は、ターゲットオブジェクト画像と大きなギャップを持たず、ターゲットオブジェクト画像の中に過度に入ることもない。さらに、第1境界フレームライン、第2境界フレームライン、およびターゲットオブジェクト画像の輪郭の全てと交点を有するターゲット光線に基づいて、交点からの適切な交点が決定され、そして、第1プリセット材料とターゲットオブジェクト画像との間の接続点として、適切な交点が使用され得る。そうして、ターゲットオブジェクト画像ランダムな形状の場合に、決定された接続点は適切な位置にあり、そして、ターゲットオブジェクト画像と大きなギャップが存在せず、また、ターゲットオブジェクト画像の中に多すぎない。さらに、ターゲットオブジェクト画像の合成結果を獲得するために、少なくとも1つの接続点に応じて、第1プリセット材料およびターゲットオブジェクト画像を合成すること、そして、合成結果を表示すること、を行う。従って、ターゲットオブジェクト画像の合成結果における第1プリセット材料の位置は比較的合理的であり、ユーザが期待する画像合成効果を達成し、画像表示効果およびユーザ体験を改善することができる。
【0014】
本開示の実施形態において提供される画像合成の方法は、図1に示されるアプリケーションシナリオに対して適用可能である。画像は、処理される画像として、移動電話、タブレットコンピュータ、等といった端末装置によって収集され得る。本開示に係る画像合成方法は、端末装置によって実施され得る。第1プリセット材料は、例えば、図1に示されるように、ターゲットオブジェクト画像の合成結果を獲得するために、プリセット肢体材料がウォーターボトルに追加され、そして、最終的に、合成結果が保管され、かつ/あるいは、表示される。
【0015】
処理される画像は、静止画像であってよく、または、リアルタイムに収集された画像であってよく、例えば、リアルタイムに収集された画像が拡張現実のフィールドに適用され得る。加えて、画像合成結果は、また、動的に表示することもでき、そして、例えば、図1のウォーターボトルに対して肢体を追加した後で、ダンス、ジャンプ、等といった特定の動作を行うことができる。
【0016】
もちろん、本開示の実施形態に係る画像合成方法は、また、端末装置が画像を収集し、そして、処理される画像としてサーバに対してその画像を送信するシーンについても適用可能である。サーバは、本開示の画像合成方法を実装し、そして、合成結果を端末装置に送信し、その合成結果が端末装置において表示される。そして、代替的に、サーバは、処理される画像を他の方法で獲得し、そして、サーバは、本開示の画像合成方法を実装し、そして、最終的に合成結果を保管する。そして、他の装置からの閲覧要求(viewing request)を受信した場合には、合成結果が装置に対して送信され、そして、装置上に表示される。
【0017】
上記アプリケーションシナリオでは、第1プリセット材料とターゲットオブジェクト画像との間の接続点を決定する際に、第1境界フレームラインを獲得するために、処理される画像内のターゲットオブジェクト画像について、凸包抽出を実行すること、第2境界フレームラインを獲得するために、プリセット比率に応じて、第1境界フレームラインの中心に向かって第1境界フレームラインをズームアウトすること、ターゲットオブジェクト画像に応じて、ターゲットオブジェクト画像を用いて第1プリセット材料を合成する際に、少なくとも1つの接続点が配置される、少なくとも1つのターゲット光線を決定すること、第1境界フレームライン、第2境界フレームライン、ターゲットオブジェクト画像の輪郭、および、少なくとも1つのターゲット光線に応じて、第1プリセット材料とターゲットオブジェクトとの間の少なくとも1つの接続点を決定すること、少なくとも1つの接続点に応じて、第1プリセット材料とターゲットオブジェクト画像とを合成すること、並びに、合成結果を表示すること、が行われる。獲得した第1境界フレームライン、第2境界フレームライン、およびターゲットオブジェクト画像の輪郭に基づいて、接続点の許容範囲が確定される。ターゲットオブジェクト画像との大きなギャップを有することなく、また、ターゲットオブジェクト画像内に過剰に落ちることもない。第1プリセット材料とターゲットオブジェクト画像との接続点は、範囲内のターゲット光線によって決定される。その結果、画像合成を受ける合成結果における第1プリセット材料の位置は比較的に合理的であり、そして、ユーザが期待する画像合成効果が得られ、かつ、画像表示効果とユーザ体験を改善することができる。
【0018】
図2を参照すると、図2は、本開示の一つの実施形態において提供される画像合成方法に係るフローチャートである。本実施形態の方法は、端末機器やサーバ等の電子機器に適用することができ、画像合成のための本方法は、以下を含む。
【0019】
S201:第1境界フレームラインを獲得するために、処理される画像内のターゲットオブジェクト画像について、凸包抽出を実行する。
【0020】
本実施形態において、第1プリセット材料は、処理される画像内のターゲットオブジェクトのエッジに追加される必要のあるプリセット材料である。第1プリセット材料およびターゲットオブジェクト画像を合成する必要がある場合に、電子機器は、最初に、凸包アルゴリズム(Convex Hull algorithm)によって、ターゲットオブジェクト画像の凸包を第1境界フレームラインとして抽出することができる。図4に示されるように、第1境界フレームライン42は、ターゲットオブジェクト画像について凸包抽出を実行することによって獲得される。本実施形態において、グラハム走査(Graham scanning)アルゴリズム、ジャービス(Jarvis)ステップバイステップ法、等といった任意の種類の凸包アルゴリズムを使用することができ、実施形態においてはこれに限定されない。
【0021】
任意的に、本実施形態においては、処理される画像内のターゲットオブジェクトの画像上で凸包抽出を行う前に、電子装置は、ターゲットオブジェクトの画像を獲得するために、最初に、処理される画像内のターゲットオブジェクトについてオブジェクトのセグメンテーションを実行することができる。電子装置は、処理される画像内のターゲットオブジェクトについてオブジェクトセグメンテーションを実行するために、プリロードされたオブジェクトセグメンテーションアルゴリズムを実行することができる。一つの実施形態において、オブジェクトセグメンテーションアルゴリズムは、突出した(salient)オブジェクトセグメンテーションアルゴリズムを含み得る。セグメンテーションアルゴリズムでは、セグメンテーションの最中に、セグメンテーション中に処理される画像内の突出したオブジェクトをターゲットオブジェクトしてとり、そして、ターゲットオブジェクト画像をセグメント化することができる。そして、突出したオブジェクトは、背景色とは著しく異なるリアルタイムのシーン画像内のオブジェクトであってよく、そして、また、リアルタイムのシーン画像における中央領域内のオブジェクト、もしくは、リアルタイムのシーン画像内の最も大きな領域を有するオブジェクトであってもよい。もちろん、本実施形態におけるターゲットオブジェクトは、また、処理される画像内でユーザによって指定されたオブジェクトであってもよく、本実施形態においてこれに限定されない。加えて、実施形態におけるオブジェクトセグメンテーションアルゴリズムは、また、他の画像セグメンテーションアルゴリズムであってもよく、ここでは繰り返されない。
【0022】
S202:第2境界フレームラインを獲得するために、プリセット比率に応じて、第1境界フレームラインの中心に向かって第1境界フレームラインをズームアウトする。
【0023】
本実施形態においては、第1境界フレームラインを獲得した後で、第1境界フレームラインを第1境界フレームラインの中心に向かってズームアウトする。すなわち、第2境界フレームラインとしてとられる境界フレームラインを獲得するために、第1境界フレームラインの中心をベンチマークとして、第1境界フレームラインをベンチマークに向かってズームアウトする。図4に示されるように、第2境界フレームライン43を獲得するために、第1境界フレーム42を第1境界フレームラインの中心に向かってズームアウトする。本実施形態において、実施形態におけるズームアウト比は、80%といった、プリセット比率であり、そして、プリセット比率は、実際のニーズに応じて設定することができる。
【0024】
S203:ターゲットオブジェクト画像に応じて、ターゲットオブジェクト画像を用いて第1プリセット材料を合成する際に、少なくとも1つの接続点が配置される、少なくとも1つのターゲット光線を決定する。
【0025】
本実施形態においては、ターゲットオブジェクト画像内に少なくとも1つのターゲット光線を構築することができ、そして、少なくとも1つの接続点は、ターゲットオブジェクト画像を用いて第1プリセット材料を合成するときに、少なくとも1つのターゲット光線上に配置される。その結果、接続点は、図4に示されるように、ターゲット光線451、452、453、および454といった、ターゲット光線に基づいて決定され得る。
【0026】
少なくとも1つのターゲット光線は、ターゲットオブジェクト画像の軸に従って決定されてよい。一つの実施形態において、ターゲットオブジェクト画像上で軸抽出を実行する。ターゲットオブジェクト画像の軸を抽出する場合、ターゲットオブジェクト画像は対称である必要はなく、そして、次いで、軸に従う少なくとも1つのターゲット光線を決定する。少なくとも1つのターゲット光線は、軸に対応するプリセット包含角度を有する。
【0027】
S204:第1境界フレームライン、第2境界フレームライン、ターゲットオブジェクト画像の輪郭、および少なくとも1つのターゲット光線に応じて、第1プリセット材料とターゲットオブジェクト画像との間の少なくとも1つの接続点を決定する。
【0028】
本実施形態においては、第1境界フレームライン、第2境界フレームライン、およびターゲットオブジェクト画像の輪郭に基づいて、接続点の許容範囲を定義することができ、そして、その範囲はターゲットオブジェクト画像と大きなギャップを持たず、ターゲットオブジェクト画像の中に過度に入ることもない。少なくとも1つのターゲット光線は、第1境界フレームライン、第2境界フレームライン、およびターゲットオブジェクト画像の輪郭の全てと交点を有する。その結果、第1プリセット材料とターゲットオブジェクト画像との間の少なくとも1つの接続点を決定する場合、これら上記の交点から適切な交点を接続点として選択することができる。例えば、ターゲットオブジェクト画像の輪郭といった情報に応じて、上記の交点から適切な交点を接続点として選択する。その結果、選択された接続点は、ターゲットオブジェクト画像と大きなギャップを持たず、ターゲットオブジェクト画像の中に過度に入ることもなく、接続点とターゲットオブジェクト画像との間の相対的な位置は、より合理的である。それによって、その後に合成されたターゲットオブジェクト画像の合成結果において第1プリセット材料が配置される位置をより合理的にすることを可能にする。例えば、ターゲットオブジェクト画像の輪郭が凹面(concave)過ぎる場合、ターゲット光線と第2境界フレームラインとの交点を接続点として使用することができる。このとき、接続点は、ターゲットオブジェクト画像の中に過度に入ることがなく、また、ターゲットオブジェクト画像と大きなギャップも持たない。図4に示されるように、ターゲットオブジェクト画像41の輪郭の中央部は凹面過ぎており、実施形態によって決定された接続点461および接続点462は、ターゲットオブジェクト画像の中に過度に入ることがなく、また、ターゲットオブジェクト画像と大きなギャップも持たない。第2境界フレームラインがターゲット画像の輪郭内に配置される場合、ターゲット画像の輪郭とターゲット光線との交点を接続点としてとってよい。このとき、接続点はターゲットオブジェクト画像の輪郭上に配置され、そして、ターゲットオブジェクト画像の輪郭には入らない。図4のターゲットオブジェクト画像41の輪郭の下半分に示されるように、第2境界フレームライン43は、ターゲットオブジェクト画像41の輪郭の内側に配置されており、そして、実施例によって決定された接続点463および接続点464は、ターゲットオブジェクト画像41の輪郭上に配置され、そして、ターゲットオブジェクト画像の中には入らない。本実施形態における第1境界フレームラインは、接続点を決定する際に基準ベンチマークとしてとることができ、そして、接続点は、一般的に、第1境界フレームラインを越えており、そうでなければ、接続点とターゲットオブジェクト画像の輪郭との間の距離が大き過ぎて、接続点の位置が不適切であること、を説明する必要がある。図4からは、また、いくつかの箇所で第1境界フレームライン42とターゲットオブジェクト画像41の輪郭との距離が長すぎることも分かり、これらの箇所に近い接続点が第1境界フレームライン42の外側にある場合に、ターゲットオブジェクト画像41の輪郭と接続点との間の距離が長すぎであり、そして、接続点の位置が不適切である。
【0029】
S205:少なくとも1つの接続点に応じて、第1プリセット材料およびターゲットオブジェクト画像を合成する。そして、合成結果を表示する。
【0030】
本実施形態においては、画像合成を実現するために、上記決定された接続ポイントで、第1プリセット材料をターゲットオブジェクト画像と接続され、そうして、合成結果を表示することができる。
【0031】
任意的に、実施形態の第1プリセット材料はアニメーション材料であってよい。例えば、ターゲットオブジェクトに肢体を追加するシーンにおいて、第1プリセット材料は、所定の動きを伴う肢体のアニメーション材料である。肢体のアニメーション材料が少なくとも1つの接続点でターゲットオブジェクト画像に接続された後で、獲得された合成結果を動的に表示するように、アニメーション材料を再生することができる。すなわち、ターゲットオブジェクト画像において成長し、かつ、手振り、ダンス、等といった特定の動作を実行する肢体を表示し、これによって、ユーザ体験を向上させることができる。加えて、任意的に、2次元画像の形式における合成結果を3次元画像へと変換するために、合成結果に対して3次元処理が行われ得る。その結果、3次元処理後の合成結果を動的に表示することができ、そして、例えば、3次元処理後に、成長する肢体を伴うターゲット画像が、回転、等といった、3次元空間における特定の動作を実行することができ、それは、拡張現実(AR)技術といった分野に適用することができる。
【0032】
本実施形態で提供される画像合成方法では、第1境界フレームラインを獲得するために、処理される画像内のターゲットオブジェクト画像について、凸包抽出を実行すること、第2境界フレームラインを獲得するために、プリセット比率に応じて、第1境界フレームラインの中心に向かって第1境界フレームラインをズームアウトすること、ターゲットオブジェクト画像に応じて、ターゲットオブジェクト画像を用いて第1プリセット材料を合成する際に、少なくとも1つの接続点が配置される、少なくとも1つのターゲット光線を決定すること、第1境界フレームライン、第2境界フレームライン、ターゲットオブジェクト画像の輪郭、および、少なくとも1つのターゲット光線に応じて、第1プリセット材料とターゲットオブジェクトとの間の少なくとも1つの接続点を決定すること、少なくとも1つの接続点に応じて、第1プリセット材料とターゲットオブジェクト画像とを合成すること、並びに、合成結果を表示すること、が行われる。本開示の実施形態において、獲得された第1境界フレームライン、第2境界フレームライン、およびターゲットオブジェクト画像の輪郭に基づいて、接続点の許容範囲が定義され、その範囲は、ターゲットオブジェクト画像と大きなギャップを持たず、また、ターゲットオブジェクト画像の中に過度に入ることもない。第1プリセット材料とターゲットオブジェクト画像との間の接続点は、範囲内のターゲット光線によって決定されるので、接続点の位置は合理的であり、画像合成を受ける合成結果における第1プリセット材料の位置は比較的合理的であり、ユーザが期待する画像合成効果が得られ、画像表示効果とユーザ体験が向上する。
【0033】
上記実施形態のいずれかに基づいて、図3に示されるように、ステップS203で説明された、第1プリセット材料をターゲットオブジェクト画像と合成する際に、ターゲットオブジェクト画像に従って、少なくとも1つの接続点が配置される少なくとも1つのターゲット光線を決定する場合、少なくとも1つの軸を獲得するために、ターゲットオブジェクト画像について軸抽出(axis extraction)が実行され、そして、次いで、ベンチマークとして少なくとも1つの軸を用いて、少なくとも1つのターゲット光線が決定される。本プロセスは、特定てきに、以下を含むことができる。
【0034】
S301:第1プリセット材料のタイプに従って、ターゲットオブジェクト画像について軸抽出を実行する際の軸のカウントを決定する。
【0035】
S302:少なくとも1つの軸を獲得するために、軸のカウントに従って、ターゲットオブジェクト画像について軸抽出を実行する。
【0036】
S303:それに応じて、少なくとも1つの軸に従って、少なくとも1つのターゲット光線を決定し、そして、少なくとも1つのターゲット光線および少なくとも1つの軸が、それぞれに、プリセット包含角度を形成する。
【0037】
実施形態において、第1プリセット材料は、処理される画像内のターゲットオブジェクトのエッジに追加される必要のあるプリセット材料であり、第1プリセット材料は、肢体材料に限定されず、そして、実際の必要性に応じて、第1プリセット材料は、翼、ホイール、アンテナ、ツール、武器、レース、カプレット(couplet)、デコレーション、などを含んでよい。異なるタイプの第1プリセット材料が異なる数の接続点を必要とすし得るものであり、かつ、これらの接続点も、また、異なる位置を有し得ることを考慮すると、その結果、必要とされるターゲット光線も、また、材料タイプによって変動し得る。さらに、ターゲット光線を構成するためのベンチマークとしての軸の必要数も、また、異なっていてよく、そして、すなわち、軸の数、接続点の数、およびターゲット光線の数は、第1プリセット材料のタイプと特定的な対応する関係を有している。例えば、上肢および下肢を含む肢体材料については、4個の対応する接続点が存在してよく、そして、対応する4個のターゲット光線が存在する。図4に示されるように、2つの軸441、442を抽出することができ、軸441および軸442に基づいて、4個のターゲット光線451、452、453、および454が構成され、そして、4個のターゲット光線451、452、453、および454が、それぞれにターゲットオブジェクト画像41または第2境界フレームライン43の輪郭と交差し、4個の対応する接続点461、462、463、および464が獲得される。そして、プリセット比率に従って、第1境界フレームライン42の中心に向かってズームアウトすることによって、第2境界フレームライン43が獲得される。翼またはホイール材料については、水平軸が抽出され、そして、水平軸に基づいて、2つのターゲット光線が構成され、2つの対応する接続点を獲得することができる。第1プリセット材料の他のタイプについては、ここにおいて1つずつ例示されない。
【0038】
従って、本実施形態においては、第1プリセット材料の種類に応じて、ターゲットオブジェクト画像の軸抽出を行う際の軸数が、最初に、決定され得る。そして、次いで、軸数に応じて、ターゲットオブジェクト画像の軸抽出が実行され得る。その結果、抽出された軸に基づいて、少なくとも1つのターゲット光線が構成される。
【0039】
もちろん、一つの任意的な実施形態においては、全てのタイプの第1プリセット材料について固定数の軸を抽出し、そして、次いで、ターゲット光線を構成するための基準として、固定数の軸から所望の軸を選択することも可能である。そして、事前決定された数の軸は、2つの軸であってよく、または、複数の軸であってもよい。
【0040】
上記の実施形態に基づいて、ターゲットオブジェクト画像について軸抽出を実行する場合、ターゲットオブジェクト画像の軸を獲得するために、主成分分析(Principle Component Analysis、PCA)アルゴリズムによって、ターゲットオブジェクト画像領域に対して主成分分析が実行され得る。具体的には、最初に、ターゲット画像領域内の画素(pixel)の画素座標を求め、画素座標に従って座標行列を構成し、座標行列に従って固有値に対応する複数の固有値および固有ベクトルを獲得し、次に、1つ以上の最大固有値を選択するために固有値を順序付けし、1つ以上の最大固有値に対応する固有ベクトルに応じて軸を決定する。主成分分析アルゴリズムを通じたターゲットオブジェクト画像の軸を抽出するプロセスは、従来の抽出プロセスを使用することができるが、ここにおいて詳細に説明されない。
【0041】
一つの例として、軸数が2つである場合には、主成分分析アルゴリズムによってターゲットオブジェクト画像上の主成分分析を実行することは、2つの軸をターゲットオブジェクト画像の第1軸および第2軸として決定するために、2つの最大の固有値に対応する固有ベクトルを選択すること、を含み得る。
【0042】
上記の実施形態に基づいて、軸に応じて少なくとも1つのターゲット光線を決定する場合、少なくとも1つのターゲット光線の開始端点として第1軸と第2軸との間の交点をとり、そして、開始端点から始まり、かつ、第1軸または第2軸との対応するプリセット包含角度を形成する、少なくとも1つのターゲット光線を生成する。具体的には、図4に示されるように、ターゲット光線451、452、453、および454は全て、開始端点として軸441と軸442との交点をとり、そして、ターゲット光線451と軸442との間のプリセット角度は反時計回りに15度であり、ターゲット光線452と軸442との間のプリセット角度は時計回りに15度であり、ターゲット光線453と軸441との間のプリセット角度は時計回りに15度であり、かつ、ターゲット光線454と軸441との間のプリセット角度は反時計回りに15度である。
【0043】
上記の実施形態の任意の1つに基づいて、第1境界フレームライン、第2境界フレームライン、ターゲットオブジェクト画像の輪郭、および少なくとも1つのターゲット光線に応じて、第1プリセット材料とターゲットオブジェクト画像との間の少なくとも1つの接続点を決定する、ステップS204は、具体的に、以下を含み得る。
【0044】
少なくとも1つのターゲット光線の任意の1つのターゲット光線に対して、第1プリセット材料とターゲットオブジェクト画像との間の1つの接続点として、第1交点または第2交点を決定すること。そして、第1交点は、任意の1つのターゲット光線と第2境界フレームラインとの間の交点であり、かつ、第2交点は、任意の1つのターゲット光線とターゲットオブジェクト画像の輪郭との間の交点である。例えば、図4に示されるように、ターゲット光線451においては、ターゲット光線451と第2境界フレームライン43との間の交点461が第1交点であり、かつ、ターゲット光線451とターゲットオブジェクト画像41の輪郭との間の交点471が第2交点である。
【0045】
本実施形態においては、任意の1つのターゲット光線に対して、ターゲット光線と第2境界フレームラインとの間の交点が第1交点としてマーク付けされ、そして、ターゲット光線とターゲットオブジェクト画像の輪郭との間の交点が第2交点としてマーク付けされている。実際のニーズに応じて、第1交点と第2交点のうち1つが、プリセットストラテジによって、第1プリセット材料とターゲットオブジェクト画像との間の接続点として選択されてよく、その結果、選択された接続点は、ターゲットオブジェクト画像と大きなギャップを持たず、また、ターゲットオブジェクト画像の中に過度に入ることもない。
【0046】
一つの可能な実施形態においては、図5に示されるように、少なくとも1つのターゲット光線の任意の1つのターゲット光線について、第1プリセット材料とターゲットオブジェクト画像との間の1つの接続点として、第1交点または第2交点を決定することは、具体的に以下を含み得る。
【0047】
S501:任意の1つのターゲット光線について、任意の1つのターゲット光線と第1境界フレームラインとの間の第3交点を獲得すること。
【0048】
S502:開始点として第3交点を用いて、ターゲットオブジェクト画像の内部に向かって任意の1つのターゲット光線の方向に沿って、任意の1つのターゲット光線上で最初に現われる交点を探索し、最初に現われる交点を、第1プリセット材料とターゲットオブジェクト画像との間の1つの接続点としてとらえること。
【0049】
ここで、最初に現れる交点は、任意の1つのターゲット光線と第2境界フレームラインとの間の第1交点、または、任意の1つのターゲット光線とターゲットオブジェクト画像の輪郭との間の第2交点である。
【0050】
本実施形態においては、所定のターゲット光線上の接続点を決定する際に、ターゲット光線と第1境界フレームラインとの間の交点を獲得し、交点は第3交点として記録される。そして、次いで、第3交点を開始点としてとり、ターゲットオブジェクト画像の内部に向かって任意の1つのターゲット光線の方向に沿って、任意の1つのターゲット光線上で最初に現われる交点(すなわち、その方向に沿ったターゲット光線上の第1交点)を探索する。最初に現われる交点が、ターゲット光線と第2境界ボックス線との交点(すなわち、第1交点)である場合には、第1プリセット材料とターゲットオブジェクト画像との間の1つの接続点として、第1交点をとる。この時点では、ターゲット光線上で2番目に現われる交点を探索し続ける必要はない。最初に現われる交点が、ターゲット光線とターゲットオブジェクト画像の輪郭との交点(すなわち、第2交点)である場合には、第1プリセット材料とターゲットオブジェクト画像との間の1つの接続点として、第2交点をとらえ、そして、この時点では、ターゲット光線上で2番目に現われる交点を探索し続ける必要はない。
【0051】
図4では、例えば、ターゲット光線451について、ターゲット光線451と第1境界線42との交点が第3交点471としてマーク付けされており、開始点として第3交点471を用いて、ターゲットオブジェクト画像の内部に向かってターゲット光線451の方向に沿ってターゲット光線451上で最初に現れる交点を探索し、そして、最初に現われる交点が、ターゲット光線451と第2境界線43との間の交点461であると決定し、その結果、交点461が、ターゲット光線451に対応する接続点としてとられる。ターゲット光線454については、ターゲット光線454と第1境界フレームライン42との交点が第3交点473としてマーク付けされており、開始点として第3交点473を用いて、ターゲットオブジェクト画像の内部に向かってターゲット光線454の方向に沿ってターゲット光線454上で最初に現れる交点を探索し、そして、最初に現われる交点が、ターゲット光線454とターゲットオブジェクト画像41の輪郭との交点464であると決定し、その結果、交点464が、ターゲット光線454に対応する接続点としてとられる。
【0052】
別の可能な実施においては、図6に示されるように、少なくとも1つのターゲット光線のうち任意の1つのターゲット光線について、第1プリセット材料とターゲットオブジェクト画像との間の1つの接続点として、第1交点または第2交点を決定することは、以下を含む。
【0053】
S601:任意の1つのターゲット光線について、任意の1つのターゲット光線と第2境界フレームラインとの間の第1交点、および、任意の1つのターゲット光線とターゲットオブジェクト画像の輪郭との間の第2交点を獲得すること。
【0054】
S602:第1交点および第2交点から、第1境界フレームラインに対して、より近い交点を決定すること。
【0055】
S603:第1境界フレームラインに対して、より近い交点を、第1プリセット材料とターゲットオブジェクト画像との間の1つの接続点として、決定すること。
【0056】
この実施形態においては、所定のターゲット光線上の接続点を決定する際に、ターゲット光線と第2境界フレームラインとの間の第1交点、および、ターゲット光線とターゲットオブジェクト画像の輪郭との間の第2交点が、最初に、獲得され得る。そして、次いで、第1交点および第2交点から、第1境界フレームラインに対して、より近い交点を決定する。第1交点が第1境界フレームラインに近い場合には、第1プリセット材料とターゲットオブジェクト画像との間の接続点として、第1交点を決定する。第2交点が第1境界フレームラインに近い場合には、第1プリセット材料とターゲットオブジェクト画像との間の接続点として、第2交点を決定する。
【0057】
任意的に、第1交点および第2交点から、第1境界フレームラインに対して、より近い交点を決定する場合には、ターゲット光線と第1境界フレームラインとの間の第3交点を、最初に、獲得し、次いで、第1交点と第3交点との間の距離、および、第2交点と第3交点との間の距離を獲得し、そして、2つの距離に基づいて、第1境界フレームラインに対して、どちらの交点が、より近いかを決定する。
【0058】
例えば、図4では、ターゲット光線451について、ターゲット光線451と第2境界線43との間の交点を第1交点461として決定し、ターゲット光線451とターゲットオブジェクト画像41との間の交点を第2交点472として決定し、そして、ターゲット光線451と第1境界線42との間の交点を第3交点471として決定する。そして、次いで、第1交点461と第3交点471との間の距離、第2交点472と第3交点471との間の距離を獲得する。2つの距離を比較することによって、第1交点461と第3交点471との間の距離は、第2交点472と第3交点471との間の距離よりも小さいことが分かる。その結果、第1交点461が第1境界フレームライン42に対して、より近く、つまり、ターゲット光線451と第2境界フレームライン43との交点461が、ターゲット光線451に対応する接続点としてとられる。
【0059】
上記の図5および図6で説明したストラテジは、接続点を決定する際に同じ結果を獲得することができるが、これは単なる例示である。異なる要件に従って、異なるストラテジが選択されてよく、それらは本開示の実施形態において限定されない。
【0060】
上記実施形態の任意の1つに基づいて、ターゲットオブジェクト画像の長さと幅の比率(length-width ratio)がプリセット閾値を超える場合、ターゲットオブジェクト画像の長さと幅の比率に応じて、以下のステップのうちの少なくとも1つを実行する。
第1軸または第2軸を平行移動(translating)すること。
プリセット包含角度を調整すること。
【0061】
本実施形態において、いくつかのターゲットオブジェクト画像の長さと幅の比率が比較的大きいことが可能であることを考慮して、決定された接続点の位置がより合理的であるように、より大きな長さと幅の比率に適合するように、軸及び/又はプリセット包含角度を調整する必要がある。例えば、肢体材料のターゲットへの追加を例にとると、ターゲットの画像の長さと幅の比率が比較的に大きい場合、画像合成の効果を良好にするためには、追加後の合成結果が身体構造の自然な形状を満たすように、上肢の接続点の位置を上げる必要がある。従って、対応する接続点の位置は、軸を平行移動させること、かつ/あるいは、ターゲット光線のプリセット包含角度を調整することによって調整され得る。
【0062】
上記実施形態の任意の1つに基づいて、実施形態においては、画像合成の最中に、第1プリセット材料をターゲットオブジェクト画像のエッジに追加することに加えて、表現材料、等といった、第2プリセット材料がターゲットオブジェクト画像の内側に追加されてよい。
【0063】
さらに、上記の実施形態に基づいて、図7に示されるように、本方法は、さらに、以下を含み得る。
【0064】
S701:第2プリセット材料を獲得すること。
【0065】
S702:少なくとも1つの接続点に応じて、ターゲットオブジェクト画像の内側の第2プリセット材料の配置位置、および、第2プリセット材料のターゲットサイズを決定すること。
【0066】
S703:第2プリセット材料をターゲットサイズに調整すること。そして、配置位置に応じて、調整された第2プリセット材料とターゲットオブジェクト画像を合成すること。
【0067】
本実施形態においては、第2プリセット材料を獲得した後で、少なくとも1つの決定された接続点に従って、ターゲットオブジェクト画像の内側の第2プリセット材料の配置位置および第2プリセット材料のターゲットサイズを決定する。例えば、少なくとも1つの決定された接続点に基づいて、座標軸を確立するための原点(origin)を決定し、そして、原点に基づいて座標軸を確立する。次に、座標軸に応じて、ターゲットオブジェクト画像の内側の第2プリセット材料の配置位置および第2プリセット材料のターゲットサイズを決定する。
【0068】
例えば、2つの接続点をとると、本実施形態において、2つの接続点は、接続ラインによって接続されてよく、座標軸を確立するための原点として接続ラインの特定の位置をとっている。例えば、座標軸を確立するための原点として接続ラインの中心を用い、そして、1つの座標軸として接続ラインを用いて、座標系を形成するために、別の座標軸を確立する。第2プリセット材料の配置位置が、座標系において決定され、そして、第2プリセット材料のターゲットサイズも、また、接続ラインの長さに応じて決定される。そして、次いで、第2プリセット材料をターゲットサイズに調整した後で、第2プリセット材料を決定された配置位置に配置し、第2プリセット材料とターゲットオブジェクト画像の合成を実現する。合成結果における第2プリセット材料のサイズおよび位置は、比較的に合理的であり、そして、ユーザが期待する画像合成効果を達成することができる。
【0069】
第2プリセット材料も、また、アニメーション材料を含み得ることを説明する必要がある。例えば、第2プリセット材料は、所定の動作(motion)を伴う表現(expression)アニメーション材料である。表現アニメーション材料とターゲットオブジェクト画像の合成の後で、獲得された合成結果は、動的に表示され得る。すなわち、表現がターゲットオブジェクト画像上に表示され、微笑、瞬き、等といった、特定の動作を行うことができる。さらに、第1プリセット材料と第2プリセット材料がターゲットオブジェクト画像上で合成された後で、合成結果を表示することができる。すなわち、第1プリセット材料と第2プリセット材料とが、同時に又は交互に動作を行うことができる。つまり、第1プリセット材料と第2プリセット材料のアニメーションが、同時に又は交互に再生され、その結果、合成結果が動的に表示され得る。さらに、任意的に、合成結果に対して3次元処理を行うことも、また、可能であり、合成結果を2次元画像から3次元画像の形式に変換して、3次元処理の後で合成結果を動的に表示する。例えば、ターゲットオブジェクト画像の3次元処理の後で、第1プリセット材料及び/又は第2プリセット材料は、3次元空間において特定の動作を実行することができ、これは、拡張現実(AR)技術といった分野に適用することができる。
【0070】
上記実施形態の画像合成方法に対応して、図8は、本開示の一つの実施形態によって提供される画像合成装置の構造ブロック図である。説明の便宜のため、本開示の実施形態に関連する部分だけが図8に示されている。図8を参照すると、画像合成装置80は、境界抽出部801、光線構築部802、接続点決定部803、および画像合成部804を含んでいる。
【0071】
境界抽出部801は、処理される画像内のターゲットオブジェクト画像に対して、第1境界フレームラインを獲得するために凸包抽出を実行し、そして、第2境界フレームラインを獲得するために、プリセット比率に応じて、第1境界フレームラインを第1境界フレームラインの中心に向かってズームアウトする、ように構成されている。
【0072】
光線構築部802は、ターゲットオブジェクト画像に応じて、第1プリセット材料をターゲットオブジェクト画像と合成する際に、少なくとも1つの接続点が配置されている少なくとも1つのターゲット光線を決定する、ように構成されている。
【0073】
接続点決定部803は、第1境界フレームライン、第2境界フレームライン、ターゲットオブジェクト画像の輪郭、および、少なくとも1つのターゲット光線に応じて、第1プリセット材料とターゲットオブジェクト画像との間の少なくとも1つの接続点を決定する、ように構成されている。
【0074】
画像合成部804は、少なくとも1つの接続点に応じて、第1プリセット材料とターゲットオブジェクト画像を合成し、そして、合成結果を表示する、ように構成されている。
【0075】
本開示の1つ以上の実施形態に従って、第1境界フレームライン、第2境界フレームライン、ターゲットオブジェクト画像の輪郭、および少なくとも1つのターゲット光線に応じて、第1プリセット材料とターゲットオブジェクト画像との間の少なくとも1つの接続点を決定する際に、接続点決定部803は、以下のように構成される。
【0076】
少なくとも1つのターゲット光線の任意の1つのターゲット光線について、第1プリセット材料とターゲットオブジェクト画像との間の1つの接続点として、第1交点または第2交点を決定する。ここで、第1交点は、任意の1つのターゲット光線と第2境界フレームラインとの間の交点であり、そして、第2交点は、任意の1つのターゲット光線とターゲットオブジェクト画像の輪郭との間の交点である。
【0077】
本開示の1つ以上の実施形態に従って、少なくとも1つのターゲット光線の任意の1つのターゲット光線について、第1プリセット材料とターゲットオブジェクト画像との1つの接続点として、第1交点または第2交点を決定する場合、接続点決定部803は、以下のように構成される。
【0078】
任意の1つのターゲット光線について、任意の1つのターゲット光線と第1境界フレームラインとの間の第3交点を獲得する。
【0079】
開始点として第3交点を用いて、ターゲットオブジェクト画像の内部に向かって任意の1つのターゲット光線の方向に沿って、任意の1つのターゲット光線上で最初に現われる交点を探索し、最初に現われる交点を、第1プリセット材料とターゲットオブジェクト画像との間の1つの接続点としてとらえる。ここで、最初に現われる交点は、任意の1つのターゲット光線と第2境界フレームラインとの間の第1交点であるか、または、任意の1つのターゲット光線とターゲットオブジェクト画像の輪郭との間の第2交点である。
【0080】
本開示の1つ以上の実施形態に従って、少なくとも1つのターゲット光線のうち任意の1つのターゲット光線について、第1プリセット材料とターゲットオブジェクト画像との間の1つの接続点として、第1交点または第2交点を決定する場合、接続点決定部803は、以下のように構成される。
【0081】
任意の1つのターゲット光線について、任意の1つのターゲット光線と第2境界フレームラインとの間の第1交点、および、任意の1つのターゲット光線とターゲットオブジェクト画像の輪郭との間の第2交点を獲得する。
【0082】
第1交点および第2交点から、第1境界フレームラインに対して、より近い交点を決定する。
【0083】
第1境界フレームラインに対して、より近い交点を、第1プリセット材料とターゲットオブジェクト画像との間の1つの接続点として、決定する。
【0084】
本開示の1つ以上の実施形態に従って、ターゲットオブジェクト画像に応じて、前記ターゲットオブジェクト画像を用いて第1プリセット材料を合成する際に、少なくとも1つの接続点が配置される、少なくとも1つのターゲット光線を決定する場合、光線構築部802は、以下のように構成される。
【0085】
第1プリセット材料のタイプに応じて、ターゲットオブジェクト画像において軸抽出を実行する際に軸のカウントを決定する。
【0086】
軸のカウントに応じて、ターゲットオブジェクト画像において軸抽出を実行し、少なくとも1つの軸を獲得する。
【0087】
軸に応じて、少なくとも1つのターゲット光線、および、プリセット包含角度をそれぞれに形成する、少なくとも1つのターゲット光線と軸を、対応して決定する。
【0088】
本開示の1つ以上の実施形態に従って、軸のカウントは、2であり、かつ、ターゲットオブジェクト画像において軸抽出を実行する場合、光線構築部802は、以下のように構成される。
【0089】
ターゲットオブジェクト画像の第1軸および第2軸を抽出するために、主成分分析アルゴリズムによって、ターゲットオブジェクト画像について主成分分析を実行する。
【0090】
本開示の1つ以上の実施形態に従って、軸に応じて、少なくとも1つのターゲット光線を対応して決定する場合、光線構築部802は、以下のように構成される。
【0091】
少なくとも1つのターゲット光線の開始端点として、第1軸と第2軸との間の交点をとる。
【0092】
開始端点から始まり、かつ、第1軸または第2軸との対応するプリセット包含角度を形成する、少なくとも1つのターゲット光線を作成する。
【0093】
本開示の1つ以上の実施形態に従って、軸に応じて、少なくとも1つのターゲット光線を対応して決定する場合、接続点決定部803は、さらに、以下のように構成される。
【0094】
ターゲットオブジェクト画像の長さと幅の比率がプリセット閾値を超えた場合に、前記ターゲットオブジェクト画像の長さと幅の比率に応じて、以下のうち少なくとも1つを実行する。
【0095】
前記第1軸または前記第2軸を平行移動すること。
【0096】
前記プリセット包含角度を調整すること。
【0097】
本開示の1つ以上の実施形態に従って、画像合成部804は、さらに、以下のように構成される。
【0098】
第2プリセット材料を獲得する。
【0099】
少なくとも1つの接続点に応じて、ターゲットオブジェクト画像の内側の第2プリセット材料の配置位置、および、第2プリセット材料のターゲットサイズを決定する。
【0100】
第2プリセット材料をターゲットサイズに調整し、かつ、配置位置に応じて、調整された第2プリセット材料とターゲットオブジェクト画像を合成する。
【0101】
本開示の1つ以上の実施形態に従って、少なくとも1つの接続点に応じて、ターゲットオブジェクト画像の内側の第2プリセット材料の配置位置、および、第2プリセット材料のターゲットサイズを決定する場合、画像合成部804は、以下のように構成される。
【0102】
少なくとも1つの接続点に置応じて、座標軸を確立するための原点を決定し、かつ、原点に基づいて、座標軸を確立する。
【0103】
座標軸に応じて、ターゲットオブジェクト画像の内側の第2プリセット材料の配置位置、および、第2プリセット材料のターゲットサイズを決定する。
【0104】
本開示の1つ以上の実施形態に従って、境界抽出部801が、処理される画像内のターゲットオブジェクト画像について、凸包抽出を実行する前に、境界抽出部801は、さらに、以下のように構成される。
【0105】
ターゲットオブジェクト画像を獲得するために、処理される画像内のターゲットオブジェクトについてオブジェクトセグメンテーションを実行する。
【0106】
本開示の1つ以上の実施形態に従って、第1プリセット材料は、アニメーション材料であり、かつ、合成結果を表示するとき、画像合成部804は、さらに、合成結果を動的に表示するために、アニメーション材料を再生するように構成される。
【0107】
本実施形態によって提供される画像合成装置は、上述の画像合成方法の技術的スキームを実装するために使用されてよく、そして、装置と方法について実装原理および技術的効果は類似しているので、この実施形態は、ここにおいて繰り返されない。
【0108】
図9を参照すると、図9は、本開示の実施形態を実施するために適した電子機器900の概略構造図を示している。機器900は、端末装置またはサーバであってよい。端末装置は、携帯電話、ノートブックコンピュータ、デジタル放送受信機、パーソナルデジタルアシスタント(略してPDA)、ポータブルアンドロイド(登録商標)デバイス(略してPAD)、ポータブルメディアプレーヤ(PMP)、車載端末(例えば、車載ナビゲーション端末)、およびウェアラブル電子機器、並びに、デジタルテレビといった固定端末、デスクトップコンピュータ、およびスマートホームデバイスを含み得るが、これらに限定されない。図9に示す電子機器は単なる一つの例であり、本開示の実施形態の機能および使用範囲に制限を課すものではない。
【0109】
図9に示されるように、電子機器900は、処理装置901(例えば、中央処理装置、グラフィックスプロセッサ、等)を含み得る。処理装置901は、リードオンリーメモリ(略してROM)902に保管されたプログラム、または、ストレージ装置908からランダムアクセスメモリ903にロードされたプログラムに従って、種々の適切な動作および処理を実行することができる。RAM 903には、また、電子機器900の動作に必要な種々のプログラムおよびデータも保管されている。処理装置901、ROM 902、およびRAM 903は、バス904を介して相互に接続されており、バスには、また、入力/出力(I/O)インターフェイス905も接続されている。
【0110】
一般的に、以下の装置は、I/Oインターフェイス905に接続され得る。例えば、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロホン、加速度計、ジャイロスコープ、などを含む入力装置906であり、例えば、液晶ディスプレイ(略してLCD)、スピーカ、バイブレータ、などを含む出力装置907であり、例えば、磁気テープ、ハードディスク、などを含むストレージ装置908であり、そして、通信装置909である。通信装置909は、電子装置900が、データを交換するために有線または無線の方法で、他の装置と通信することを可能にする。図9は、種々の装置を備えた電子機器900を示しているが、図示された全ての装置を実装または提供する必要はなく、そして、代替的に、より多い又は少ない装置が、実装され又は提供され得ることが理解されるべきである。
【0111】
特に、本開示の実施形態に従って、フローチャートを参照して上述したプロセスは、コンピュータソフトウェアプログラムとして実施され得る。例えば、本開示の実施形態は、コンピュータで読取り可能な媒体で搬送されるコンピュータプログラムを備えるコンピュータプログラム製品を含み、コンピュータで読取り可能な媒体は、フローチャートに示された方法を実行するためのプログラムコードを含み、本開示の実施形態で説明される画像合成のための方法および機能を実現する。そうした実施形態において、コンピュータプログラムは、通信装置909を介してネットワークからダウンロードされ、かつ、インストールされてよく、ストレージ装置908からインストールされてよく、または、ROM 902からインストールされてもよい。コンピュータプログラムが処理装置901によって実行されると、本開示の実施形態における方法で定義された上記の機能が実行される。
【0112】
本開示における上記のコンピュータで読取り可能な媒体は、コンピュータで読取り可能な信号媒体、コンピュータで読取り可能な記憶媒体、または、それらの任意の組み合わせであり得ることを説明する必要がある。コンピュータで読取り可能な記憶媒体は、例えば、電気、磁気、光、電磁気、赤外線、または半導体システム、装置もしくは装置、または、それらの任意の組合せであり得るが、これらに限定されない。コンピュータで読取り可能な記憶媒体のより具体的な例は、1つ以上のワイヤ、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能プログラマブル・リードオンリーメモリ(EPROMまたはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク・リードオンリーメモリ(CD-ROM)、光ストレージ装置、磁気ストレージ装置、または、それらの任意の適切な組み合わせ、との電気的接続であり得るが、これらに限定されない。本開示において、コンピュータで読取り可能な記憶媒体は、命令実行システム、装置、または機器により、または、それらと組み合わせて使用され得る、プログラムを収容し、または、保管する任意の有形な媒体であってよい。しかしながら、本開示においては、コンピュータで読取り可能な信号媒体は、ベースバンド内で伝搬されたデータ信号または搬送波の一部として伝搬されたデータ信号を含んでよく、そして、コンピュータで読取り可能なプログラムコードは、データ信号において搬送される。この伝搬されたデータ信号は、種々の形態をとることができ、電磁信号、光信号、または、それらの任意の適切な組み合わせを含むが、これらに限定されない。コンピュータで読取り可能な信号媒体は、また、命令実行システム、装置、または機器によって、または、それらと組み合わせて使用されるプログラムを送信、伝搬、または伝達することができる、コンピュータで読取り可能な記憶媒体以外の、任意のコンピュータで読取り可能な媒体であってもよい。コンピュータで読取り可能な媒体上に含まれるプログラムコードは、ワイヤ、光ケーブル、無線(Radio Frequencies、RF)等、または、これらの任意の適切な組み合わせを含む、任意の適切な媒体で搬送することができるが、これらに限定されない。
【0113】
上記のコンピュータで読取り可能な媒体は、上記の電子機器内に収容されてよく、または、電子機器内に組み込まれることなく、単独で存在し得る。
【0114】
上記のコンピュータで読取り可能な媒体は、1つ以上のプログラムを搬送する。電子機器によって上記の1つ以上のプログラムが実行されると、電子機器は、上記の実施形態に示される方法を実行させる。
【0115】
本開示において動作を実行するためのコンピュータプログラムコードは、Java、Smalltalk、およびC++といった、オブジェクト指向プログラムデザイン言語、および、C言語または類似のプログラムデザイン言語といった、従来の手続き型(procedural)プログラムデザイン言語を含む、1つ以上のプログラムデザイン言語、または、それらの組み合わせで書くことができる。プログラムコードは、スタンドアロンソフトウェアパッケージとして、完全にユーザコンピュータ上、部分的にユーザコンピュータ上で、部分的にユーザコンピュータ上および部分的にリモートコンピュータ上で、もしくは、完全にリモートコンピュータまたはサーバ上で、実行することができる。リモートコンピュータの場合、リモートコンピュータは、ローカルエリアネットワーク(略してLAN)またはワイドエリアネットワーク(略してWAN)を含む、任意の種類のネットワークを介してユーザコンピュータに接続されてよく、または、外部コンピュータに(例えば、インターネットサービスプロバイダによるインターネットを介して)接続されてもよい。
【0116】
図面におけるフローチャートおよびブロック図は、本開示の種々の実施形態に従って、システム、方法、およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能、および動作を示している。これに関して、フローチャートまたはブロック図の各ブロックは、特定の論理機能を実現するための1つ以上の実行可能な命令を含む、モジュール、プログラムセグメント、またはコードの一部を表すことができる。また、いくつかの代替的な実装において、ブロックにおいてマーク付けされた機能は、図面においてマーク付けされたものとは異なる順序で発生し得ることにも留意すべきである。例えば、連続して示される2つのブロックは、実際には、実質的に並行して実行されてよく、または、関係する機能に依存して、逆の順序で実行されてもよい。また、ブロック図及び/又はフローチャートにおける各ブロック、または、それらの組み合わせは、指定された機能または動作を実行する専用のハードウェアベースのシステムによって、もしくは、専用のハードウェアおよびコンピュータ命令の組み合わせによって、実装され得ることにも留意すべきである。
【0117】
本開示の実施形態で説明される関与するユニットは、ソフトウェア方式で実施することができ、そして、また、ハードウェア方式で実施することもできる。ユニットの名前は、場合によっては、ユニット自体の制限を構成しない。そして、例えば、第1獲得ユニットは、また、「少なくとも2つのインターネットプロトコルアドレスを獲得することができるユニット」としても記述され得る。
【0118】
本明細書で説明される機能は、少なくとも部分的に、1つ以上のハードウェア論理コンポーネントによって実行することができる。例えば、これらに限定されなることなく、使用され得るハードウェア論理コンポーネントの例示的なタイプは、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップ(SOC)、コンプレックス・プログラマブルロジカルデバイス(CPLD)、等を含む。
【0119】
本開示のコンテキストにおいて、マシンで読取り可能な媒体は、命令実行システム、装置、または機器によって、または、それらと組み合わせて使用される、プログラムを含み、または、保管することができる有形媒体であってよい。マシンで読取り可能な媒体は、マシンで読取り可能な信号媒体またはマシンで読取り可能な記憶媒体であってよい。マシンで読取り可能な媒体は、電子、磁気、光、電磁気、赤外線、または半導体システム、装置もしくは機器、または、それらの任意の適切な組み合わせを含み得るが、これらに限定されない。マシンで読取り可能な記憶媒体のより具体的な例は、1つ以上のワイヤ、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能プログラマブル・リードオンリーメモリ(EPROMまたはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク・リードオンリーメモリ(CD-ROM)、光ストレージ装置、磁気ストレージ装置、または、それらの任意の適切な組み合わせ、に基づく電気的接続を含む。
【0120】
第1態様においては、本開示の1つ以上の実施形態に従って、画像合成のための方法が提供される。本方法は、
第1境界フレームラインを獲得するために、処理される画像内のターゲットオブジェクト画像について、凸包抽出を実行するステップと、
第2境界フレームラインを獲得するために、プリセット比率に応じて、前記第1境界フレームラインの中心に向かって前記第1境界フレームラインをズームアウトするステップと、
前記ターゲットオブジェクト画像に応じて、前記ターゲットオブジェクト画像を用いて第1プリセット材料を合成する際に、少なくとも1つの接続点が配置される、少なくとも1つのターゲット光線を決定するステップと、
前記第1境界フレームライン、前記第2境界フレームライン、前記ターゲットオブジェクト画像の輪郭、および、前記少なくとも1つのターゲット光線に応じて、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の少なくとも1つの接続点を決定するステップと、
前記少なくとも1つの接続点に応じて、前記第1プリセット材料と前記ターゲットオブジェクト画像とを合成するステップと、
合成結果を表示するステップと、を含む。
【0121】
本開示の1つ以上の実施形態に従って、前記第1境界フレームライン、前記第2境界フレームライン、前記ターゲットオブジェクト画像の輪郭、および、前記少なくとも1つのターゲット光線に応じて、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の少なくとも1つの接続点を決定する前記ステップは、
前記少なくとも1つのターゲット光線のうち任意の1つのターゲット光線について、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の1つの接続点として、第1交点または第2交点を決定するステップであり、前記第1交点は、前記任意の1つのターゲット光線と前記第2境界フレームラインとの間の交点であり、かつ、前記第2交点は、前記任意の1つのターゲット光線と前記ターゲットオブジェクト画像の輪郭との間の交点であるステップ、を含む。
【0122】
本開示の1つ以上の実施形態に従って、
前記少なくとも1つのターゲット光線のうち任意の1つのターゲット光線について、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の1つの接続点として、第1交点または第2交点を決定する前記ステップは、
前記任意の1つのターゲット光線について、前記任意の1つのターゲット光線と前記第1境界フレームラインとの間の第3交点を獲得するステップと、
開始点として前記第3交点を用いて、前記ターゲットオブジェクト画像の内部に向かって前記任意の1つのターゲット光線の方向に沿って、前記任意の1つのターゲット光線上で最初に現われる交点を探索するステップであり、前記最初に現われる交点を、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の1つの接続点としてとらえるステップ、を含み、前記最初に現われる交点は、前記任意の1つのターゲット光線と前記第2境界フレームラインとの間の前記第1交点であるか、または、前記任意の1つのターゲット光線と前記ターゲットオブジェクト画像の輪郭との間の前記第2交点である。
【0123】
本開示の1つ以上の実施形態に従って、前記少なくとも1つのターゲット光線のうち任意の1つのターゲット光線について、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の1つの接続点として、第1交点または第2交点を決定する前記ステップは、
前記任意の1つのターゲット光線について、前記任意の1つのターゲット光線と前記第2境界フレームラインとの間の前記第1交点、および、前記任意の1つのターゲット光線と前記ターゲットオブジェクト画像の輪郭との間の前記第2交点を獲得するステップと、
前記第1交点および前記第2交点から、前記第1境界フレームラインに対して、より近い交点を決定するステップと、
前記第1境界フレームラインに対して、より近い前記交点を、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の1つの接続点として、決定するステップと、を含む。
【0124】
本開示の1つ以上の実施形態に従って、前記ターゲットオブジェクト画像に応じて、前記ターゲットオブジェクト画像を用いて第1プリセット材料を合成する際に、少なくとも1つの接続点が配置される、少なくとも1つのターゲット光線を決定する前記ステップは、
前記第1プリセット材料のタイプに応じて、前記ターゲットオブジェクト画像において軸抽出を実行する際に軸のカウントを決定するステップと、
前記軸のカウントに応じて、前記ターゲットオブジェクト画像において軸抽出を実行するステップと、
前記軸に応じて、前記少なくとも1つのターゲット光線、および、プリセット包含角度をそれぞれに形成する、前記少なくとも1つのターゲット光線と前記軸を、対応して決定するステップと、を含む。
【0125】
本開示の1つ以上の実施形態に従って、前記軸のカウントは、2であり、かつ、前記ターゲットオブジェクト画像において軸抽出を実行する前記ステップは、
前記ターゲットオブジェクト画像の第1軸および第2軸を抽出するために、主成分分析アルゴリズムによって、前記ターゲットオブジェクト画像について主成分分析を実行するステップ、を含む。
【0126】
本開示の1つ以上の実施形態に従って、前記軸に応じて、前記少なくとも1つのターゲット光線を、対応して決定する前記ステップは、
前記少なくとも1つのターゲット光線の開始端点として、第1軸と第2軸との間の交点をとるステップと、
前記開始端点から始まり、かつ、前記第1軸または前記第2軸との対応するプリセット包含角度を形成する、少なくとも1つのターゲット光線を作成するステップと、を含む。
【0127】
本開示の1つ以上の実施形態に従って、前記方法は、さらに、
ターゲットオブジェクト画像の長さと幅の比率がプリセット閾値を超えた場合に、前記ターゲットオブジェクト画像の長さと幅の比率に応じて、
前記第1軸または前記第2軸を平行移動すること、
前記プリセット包含角度を調整すること、
のうち少なくとも1つを実行するステップ、を含む。
【0128】
本開示の1つ以上の実施形態に従って、前記方法は、さらに、
第2プリセット材料の獲得するステップと、
前記少なくとも1つの接続点に応じて、前記ターゲットオブジェクト画像の内側の第2プリセット材料の配置位置、および、前記第2プリセット材料のターゲットサイズを決定するステップと、
前記第2プリセット材料を前記ターゲットサイズに調整し、かつ、前記配置位置に応じて、調整された第2プリセット材料と前記ターゲットオブジェクト画像を合成するステップと、を含む。
【0129】
本開示の1つ以上の実施形態に従って、前記少なくとも1つの接続点に応じて、前記ターゲットオブジェクト画像の内側の第2プリセット材料の配置位置、および、前記第2プリセット材料のターゲットサイズを決定する前記ステップは、
前記少なくとも1つの接続点に置応じて、座標軸を確立するための原点を決定し、かつ、前記原点に基づいて、前記座標軸を確立するステップと、
前記座標軸に応じて、前記ターゲットオブジェクト画像の内側の前記第2プリセット材料の配置位置、および、前記第2プリセット材料のターゲットサイズを決定するステップと、を含む。
【0130】
本開示の1つ以上の実施形態に従って、処理される画像内のターゲットオブジェクト画像について、凸包抽出を実行する前記ステップの前に、前記方法は、さらに、
前記ターゲットオブジェクト画像を獲得するために、処理される画像内のターゲットオブジェクトについてオブジェクトセグメンテーションを実行するステップ、を含む。
【0131】
本開示の1つ以上の実施形態に従って、前記第1プリセット材料は、アニメーション材料であり、かつ、合成結果を表示する前記ステップは、
前記合成結果を動的に表示するために、前記アニメーション材料を再生するステップ、を含む。
【0132】
第2態様においては、本開示の1つ以上の実施形態に従って、画像合成のための装置が提供される。画像合成のための本装置は、
第1境界フレームラインを獲得するために、処理される画像内のターゲットオブジェクト画像について、凸包抽出を実行し、かつ、第2境界フレームラインを獲得するために、プリセット比率に応じて、前記第1境界フレームラインの中心に向かって前記第1境界フレームラインをズームアウトする、ように構成されている境界抽出部と、
前記ターゲットオブジェクト画像に応じて、前記ターゲットオブジェクト画像を用いて第1プリセット材料を合成する際に、少なくとも1つの接続点が配置される、少なくとも1つのターゲット光線を決定する、ように構成されている光線構築部と、
前記第1境界フレームライン、前記第2境界フレームライン、前記ターゲットオブジェクト画像の輪郭、および、前記少なくとも1つのターゲット光線に応じて、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の少なくとも1つの接続点を決定する、ように構成されている接続点決定部と、
前記少なくとも1つの接続点に応じて、前記第1プリセット材料と前記ターゲットオブジェクト画像とを合成し、かつ、合成結果を表示する、ように構成されている画像合成部と、を含む。
【0133】
本開示の1つ以上の実施形態に従って、前記第1境界フレームライン、前記第2境界フレームライン、前記ターゲットオブジェクト画像の輪郭、および、前記少なくとも1つのターゲット光線に応じて、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の少なくとも1つの接続点を決定する場合に、前記接続点決定部は、
前記少なくとも1つのターゲット光線のうち任意の1つのターゲット光線について、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の1つの接続点として、第1交点または第2交点を決定する、ように構成されており、前記第1交点は、前記任意の1つのターゲット光線と前記第2境界フレームラインとの間の交点であり、かつ、前記第2交点は、前記任意の1つのターゲット光線と前記ターゲットオブジェクト画像の輪郭との間の交点である。
【0134】
本開示の1つ以上の実施形態に従って、前記少なくとも1つのターゲット光線のうち任意の1つのターゲット光線について、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の1つの接続点として、第1交点または第2交点を決定する場合に、前記接続点決定部は、
前記任意の1つのターゲット光線について、前記任意の1つのターゲット光線と前記第1境界フレームラインとの間の第3交点を獲得し、
開始点として前記第3交点を用いて、前記ターゲットオブジェクト画像の内部に向かって前記任意の1つのターゲット光線の方向に沿って、前記任意の1つのターゲット光線上で最初に現われる交点を探索して、前記最初に現われる交点を、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の1つの接続点としてとらえるように構成されており、前記最初に現われる交点は、前記任意の1つのターゲット光線と前記第2境界フレームラインとの間の前記第1交点であるか、または、前記任意の1つのターゲット光線と前記ターゲットオブジェクト画像の輪郭との間の前記第2交点である。
【0135】
本開示の1つ以上の実施形態に従って、前記少なくとも1つのターゲット光線のうち任意の1つのターゲット光線について、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の1つの接続点として、第1交点または第2交点を決定する場合に、前記接続点決定部は、
前記任意の1つのターゲット光線について、前記任意の1つのターゲット光線と前記第2境界フレームラインとの間の前記第1交点、および、前記任意の1つのターゲット光線と前記ターゲットオブジェクト画像の輪郭との間の前記第2交点を獲得し、
前記第1交点および前記第2交点から、前記第1境界フレームラインに対して、より近い交点を決定し、かつ、
前記第1境界フレームラインに対して、より近い前記交点を、前記第1プリセット材料と前記ターゲットオブジェクト画像との間の1つの接続点として、決定する、ように構成されている。
【0136】
本開示の1つ以上の実施形態に従って、前記ターゲットオブジェクト画像に応じて、前記ターゲットオブジェクト画像を用いて第1プリセット材料を合成する際に、少なくとも1つの接続点が配置される、少なくとも1つのターゲット光線を決定する場合に、前記光線構築部は、
前記第1プリセット材料のタイプに応じて、前記ターゲットオブジェクト画像において軸抽出を実行する際に軸のカウントを決定し、
前記軸のカウントに応じて、前記ターゲットオブジェクト画像において軸抽出を実行し、かつ、
前記軸に応じて、前記少なくとも1つのターゲット光線、および、プリセット包含角度をそれぞれに形成する、前記少なくとも1つのターゲット光線と前記軸を、対応して決定する、ように構成されている。
【0137】
本開示の1つ以上の実施形態に従って、前記軸のカウントは、2であり、かつ、前記ターゲットオブジェクト画像において軸抽出を実行する場合に、前記光線構築部は、
前記ターゲットオブジェクト画像の第1軸および第2軸を抽出するために、主成分分析アルゴリズムによって、前記ターゲットオブジェクト画像について主成分分析を実行する、ように構成されている。
【0138】
本開示の1つ以上の実施形態に従って、前記軸に応じて、前記少なくとも1つのターゲット光線を、対応して決定する場合に、前記光線構築部は、
前記少なくとも1つのターゲット光線の開始端点として、第1軸と第2軸との間の交点をとり、かつ、
前記開始端点から始まり、かつ、前記第1軸または前記第2軸との対応するプリセット包含角度を形成する、少なくとも1つのターゲット光線を作成する、ように構成されている。
【0139】
本開示の1つ以上の実施形態に従って、前記軸に応じて少なくとも1つのターゲット光線を対応して決定する場合に、前記接続点決定部は、さらに、
ターゲットオブジェクト画像の長さと幅の比率がプリセット閾値を超えた場合に、前記ターゲットオブジェクト画像の長さと幅の比率に応じて、
前記第1軸または前記第2軸を平行移動すること、
前記プリセット包含角度を調整すること、のうち少なくとも1つを実行する、ように構成されている。
【0140】
本開示の1つ以上の実施形態に従って、前記画像合成部は、さらに、
第2プリセット材料の獲得し、
前記少なくとも1つの接続点に応じて、前記ターゲットオブジェクト画像の内側の第2プリセット材料の配置位置、および、前記第2プリセット材料のターゲットサイズを決定し、かつ、
前記第2プリセット材料を前記ターゲットサイズに調整し、かつ、前記配置位置に応じて、調整された第2プリセット材料と前記ターゲットオブジェクト画像を合成する、ように構成されている。
【0141】
本開示の1つ以上の実施形態に従って、前記少なくとも1つの接続点に応じて、前記ターゲットオブジェクト画像の内側の第2プリセット材料の配置位置、および、前記第2プリセット材料のターゲットサイズを決定する場合に、前記画像合成部は、
前記少なくとも1つの接続点に置応じて、座標軸を確立するための原点を決定し、かつ、前記原点に基づいて、前記座標軸を確立し、
前記座標軸に応じて、前記ターゲットオブジェクト画像の内側の前記第2プリセット材料の配置位置、および、前記第2プリセット材料のターゲットサイズを決定する、ように構成されている。
【0142】
本開示の1つ以上の実施形態に従って、処理される画像内のターゲットオブジェクト画像について、前記境界抽出部が、凸包抽出を実行する前に、前記境界抽出部は、さらに、
前記ターゲットオブジェクト画像を獲得するために、処理される画像内のターゲットオブジェクトについてオブジェクトセグメンテーションを実行する、ように構成されている。
【0143】
本開示の1つ以上の実施形態に従って、前記第1プリセット材料は、アニメーション材料であり、かつ、合成結果を表示する場合に、前記画像合成部804は、さらに、前記合成結果を動的に表示する、ように構成されている。
【0144】
第3態様においては、本開示の1つ以上の実施形態に従って、電子機器が提供される。本電子機器は、
少なくとも1つのプロセッサと、
メモリと、を含み、
前記メモリは、コンピュータ実行命令を保管しており、前記少なくとも1つのプロセッサは、前記メモリに保管されている前記コンピュータ実行命令を実行して、前記電子機器に、第1態様および第1態様に係る種々の可能な設計において説明された画像合成のための方法を実施させる。
【0145】
第4態様においては、本開示の1つ以上の実施形態に従って、コンピュータで読取り可能な記憶媒体が提供される。本コンピュータで読取り可能な記憶媒体は、コンピュータ実行命令を保管しており、かつ、プロセッサが前記コンピュータ実行命令を実行すると、第1態様および第1態様に係る種々の可能な設計において説明された画像合成のための方法が実施される。
【0146】
上記の説明は、単なる、本開示に係る任意の実施形態、および、採用される技術的な原理の説明である。当業者であれば、本開示に含まれる開示の範囲が、上記の技術的特徴の特定の組み合わせによって形成される技術的ソリューションに限定されるものではなく、そして、また、上記に開示された概念から逸脱することなく、上記の技術的特徴によって形成される技術的ソリューション、または、その均等な特徴の任意の組み合わせによって形成される他の技術的ソリューションをカバーすることも理解すべきである。例えば、技術的ソリューションは、本開示に開示される技術的特徴を伴う上記の特徴を、同様の機能(これに限定されるものではない)と置き換えることによって形成される。
【0147】
さらに、動作は特定の順序で描かれているが、これは、動作が、示された特定の順序で、または、一連の順序で実行されることを要求しているものと解釈されるべきではない。所定の環境下では、マルチタスクおよび並列処理が有利であり得る。同様に、上記の説明は、いくつかの実装特有の詳細を含んでいるが、これらは、本開示の範囲に対する限定として解釈されるべきではない。別個の実施形態のコンテキストにおいて説明される所定の特徴は、また、単一の実施形態において組み合わせて実施することもできる。逆に、単一の実施形態のコンテキストにおいて説明される種々の特徴は、また、実施形態において別々に、もしくは、任意の適切な組み合わせで実施されてもよい。
【0148】
技術的事項(subject matter)が、構造的特徴、及び/又は、方法の論理的行為について特有の言語で説明されてきたが、添付の請求項において定義される技術的事項は、必ずしも上記の特定の特徴または行為に限定されるものではないことが理解される。むしろ、上記の特定の特徴および行為は、請求項を実施するための単なる例示的な形態である。
図1
図2
図3
図4
図5
図6
図7
図8
図9
【国際調査報告】