知財求人 - 知財ポータルサイト「IP Force」
▶ ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022185096
(43)【公開日】2022-12-13
(54)【発明の名称】仮想アイドルの生成方法、装置及び電子機器
(51)【国際特許分類】
G06T 7/00 20170101AFI20221206BHJP
G06V 10/44 20220101ALI20221206BHJP
G06V 20/30 20220101ALI20221206BHJP
G06F 16/532 20190101ALI20221206BHJP
G06F 16/732 20190101ALI20221206BHJP
【ＦＩ】
G06T7/00 300F
G06T7/00 660A
G06V10/44
G06V20/30
G06F16/532
G06F16/732
【審査請求】有
【請求項の数】21
【出願形態】ＯＬ
【外国語出願】
【公開請求】
(21)【出願番号】P 2022162287
(22)【出願日】2022-10-07
(31)【優先権主張番号】202111279831.3
(32)【優先日】2021-10-29
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】514322098
【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【弁理士】
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100196508
【弁理士】
【氏名又は名称】松尾 淳一
(74)【代理人】
【識別番号】100138759
【弁理士】
【氏名又は名称】大房 直樹
(72)【発明者】
【氏名】ヘナン・ジャーン
(72)【発明者】
【氏名】ジアミーン・リウ
(72)【発明者】
【氏名】ユンハオ・リー
(72)【発明者】
【氏名】ハオ・スン
(57)【要約】 （修正有）
【課題】仮想アイドルによってターゲットオブジェクトをエンドースメントすることができる仮想アイドルの生成方法、装置及び電子機器を提供する。
【解決手段】方法は、仮想アイドルを取得する時に、先ず、ターゲットオブジェクトの特徴情報を取得し、該ターゲットオブジェクトの特徴情報を仮想アイドルの生成根拠として、対象を絞って、予め設定された顔素材ライブラリから、特徴情報にマッチングするターゲット仮想顔を確定し、予め設定された動作ビデオライブラリから、特徴情報にマッチングするターゲット動作ビデオを確定する。方法はさらに、仮想顔と動作ビデオにおける顔画像を融合して、後続に仮想アイドルによってターゲットオブジェクトをエンドースメントすることができるように、ターゲットオブジェクトのエンドースメントシーンにおける仮想アイドルを、対象を絞って生成する。
【選択図】図１
【解決手段】方法は、仮想アイドルを取得する時に、先ず、ターゲットオブジェクトの特徴情報を取得し、該ターゲットオブジェクトの特徴情報を仮想アイドルの生成根拠として、対象を絞って、予め設定された顔素材ライブラリから、特徴情報にマッチングするターゲット仮想顔を確定し、予め設定された動作ビデオライブラリから、特徴情報にマッチングするターゲット動作ビデオを確定する。方法はさらに、仮想顔と動作ビデオにおける顔画像を融合して、後続に仮想アイドルによってターゲットオブジェクトをエンドースメントすることができるように、ターゲットオブジェクトのエンドースメントシーンにおける仮想アイドルを、対象を絞って生成する。
【選択図】図１
【特許請求の範囲】
【請求項1】
仮想アイドルの生成方法であって、
ターゲットオブジェクトの特徴情報を取得することと、
予め設定された顔素材ライブラリから、前記特徴情報にマッチングするターゲット仮想顔を確定し、予め設定された動作ビデオライブラリから、前記特徴情報にマッチングするターゲット動作ビデオを確定することと、
前記ターゲット仮想顔と前記ターゲット動作ビデオにおける顔画像を融合し、前記ターゲットオブジェクトに対応する仮想アイドルを生成することとを含む、方法。
ターゲットオブジェクトの特徴情報を取得することと、
予め設定された顔素材ライブラリから、前記特徴情報にマッチングするターゲット仮想顔を確定し、予め設定された動作ビデオライブラリから、前記特徴情報にマッチングするターゲット動作ビデオを確定することと、
前記ターゲット仮想顔と前記ターゲット動作ビデオにおける顔画像を融合し、前記ターゲットオブジェクトに対応する仮想アイドルを生成することとを含む、方法。
【請求項2】
前記の、前記ターゲット仮想顔と前記ターゲット動作ビデオにおける顔画像を融合し、前記ターゲットオブジェクトに対応する仮想アイドルを生成することは、
前記ターゲット仮想顔と前記顔画像を融合し、ターゲット融合画像を得ることと、
前記ターゲット融合画像を用いて前記ターゲット動作ビデオにおける顔画像を替えることで、新しい動作ビデオを得ることと、
前記新しい動作ビデオに基づいて前記仮想アイドルを生成することとを含む、請求項１に記載の方法。
前記ターゲット仮想顔と前記顔画像を融合し、ターゲット融合画像を得ることと、
前記ターゲット融合画像を用いて前記ターゲット動作ビデオにおける顔画像を替えることで、新しい動作ビデオを得ることと、
前記新しい動作ビデオに基づいて前記仮想アイドルを生成することとを含む、請求項１に記載の方法。
【請求項3】
前記の、前記新しい動作ビデオに基づいて前記仮想アイドルを生成することは、
キーポイント検出技術を採用して、前記新しい動作ビデオにおけるキーポイントを抽出し、前記キーポイントは、顔部キーポイント、手部キーポイント及び肢体キーポイントを含むことと、
前記顔部キーポイント、手部キーポイント及び肢体キーポイントに基づいて、前記仮想アイドルを作成することとを含む、請求項２に記載の方法。
キーポイント検出技術を採用して、前記新しい動作ビデオにおけるキーポイントを抽出し、前記キーポイントは、顔部キーポイント、手部キーポイント及び肢体キーポイントを含むことと、
前記顔部キーポイント、手部キーポイント及び肢体キーポイントに基づいて、前記仮想アイドルを作成することとを含む、請求項２に記載の方法。
【請求項4】
前記の、前記ターゲット仮想顔と前記顔画像を融合し、ターゲット融合画像を得ることは、
顔融合ネットワークモデルを取得することと、
前記ターゲット仮想顔と前記顔画像を前記顔融合ネットワークモデルに入力し、前記ターゲット融合画像を得ることとを含む、請求項２に記載の方法。
顔融合ネットワークモデルを取得することと、
前記ターゲット仮想顔と前記顔画像を前記顔融合ネットワークモデルに入力し、前記ターゲット融合画像を得ることとを含む、請求項２に記載の方法。
【請求項5】
前記方法は、
撮像機器によって、ユーザが前記ターゲットオブジェクトをエンドースメントする時に実行したターゲット動作を撮影することと、
前記仮想アイドルが前記ターゲット動作を実行するように駆動することとをさらに含む、請求項１～４のいずれか一項に記載の方法。
撮像機器によって、ユーザが前記ターゲットオブジェクトをエンドースメントする時に実行したターゲット動作を撮影することと、
前記仮想アイドルが前記ターゲット動作を実行するように駆動することとをさらに含む、請求項１～４のいずれか一項に記載の方法。
【請求項6】
前記の、予め設定された顔素材ライブラリから、前記特徴情報にマッチングするターゲット仮想顔を確定することは、
前記特徴情報に対応するターゲット仮想顔タイプを確定することと、
前記ターゲット仮想顔タイプに基づいて、前記予め設定された顔素材ライブラリから前記ターゲット仮想顔を確定することとを含む、請求項１～５のいずれか一項に記載の方法。
前記特徴情報に対応するターゲット仮想顔タイプを確定することと、
前記ターゲット仮想顔タイプに基づいて、前記予め設定された顔素材ライブラリから前記ターゲット仮想顔を確定することとを含む、請求項１～５のいずれか一項に記載の方法。
【請求項7】
前記顔素材ライブラリには複数の仮想顔が含まれ、且つ各仮想顔に仮想顔タイプがラベリングされ、
前記の、前記ターゲット仮想顔タイプに基づいて、前記予め設定された顔素材ライブラリから前記ターゲット仮想顔を確定することは、
前記予め設定された顔素材ライブラリから、前記ターゲット仮想顔タイプに対応する複数の仮想顔を確定し表示することと、
前記複数の仮想顔における選択命令に応答し、前記複数の仮想顔から前記ターゲット仮想顔を確定することとを含む、請求項６に記載の方法。
前記の、前記ターゲット仮想顔タイプに基づいて、前記予め設定された顔素材ライブラリから前記ターゲット仮想顔を確定することは、
前記予め設定された顔素材ライブラリから、前記ターゲット仮想顔タイプに対応する複数の仮想顔を確定し表示することと、
前記複数の仮想顔における選択命令に応答し、前記複数の仮想顔から前記ターゲット仮想顔を確定することとを含む、請求項６に記載の方法。
【請求項8】
前記の、予め設定された動作ビデオライブラリから、前記特徴情報にマッチングするターゲット動作ビデオを確定することは、
前記特徴情報に対応するターゲット服飾タイプを確定することと、
前記ターゲット服飾タイプに基づいて、前記予め設定された動作ビデオライブラリから前記ターゲット動作ビデオを確定することとを含む、請求項１～７のいずれか一項に記載の方法。
前記特徴情報に対応するターゲット服飾タイプを確定することと、
前記ターゲット服飾タイプに基づいて、前記予め設定された動作ビデオライブラリから前記ターゲット動作ビデオを確定することとを含む、請求項１～７のいずれか一項に記載の方法。
【請求項9】
前記動作ビデオライブラリには複数の動作ビデオが含まれ、各動作ビデオの服飾に服飾タイプがラベリングされ、
前記ターゲット服飾タイプに基づいて、前記予め設定された動作ビデオライブラリから前記ターゲット動作ビデオを確定することは、
前記予め設定された動作ビデオライブラリから、前記ターゲット服飾タイプに対応する複数の動作ビデオを確定し表示することと、
前記複数の動作ビデオにおける選択命令に応答し、前記複数の動作ビデオから、前記ターゲット動作ビデオを確定することとを含む、請求項８に記載の方法。
前記ターゲット服飾タイプに基づいて、前記予め設定された動作ビデオライブラリから前記ターゲット動作ビデオを確定することは、
前記予め設定された動作ビデオライブラリから、前記ターゲット服飾タイプに対応する複数の動作ビデオを確定し表示することと、
前記複数の動作ビデオにおける選択命令に応答し、前記複数の動作ビデオから、前記ターゲット動作ビデオを確定することとを含む、請求項８に記載の方法。
【請求項10】
仮想アイドルの生成装置であって、
ターゲットオブジェクトの特徴情報を取得するための取得ユニットと、
予め設定された顔素材ライブラリから、前記特徴情報にマッチングするターゲット仮想顔を確定し、予め設定された動作ビデオライブラリから、前記特徴情報にマッチングするターゲット動作ビデオを確定するための確定ユニットと、
前記ターゲット仮想顔と前記ターゲット動作ビデオにおける顔画像を融合し、前記ターゲットオブジェクトに対応する仮想アイドルを生成するための融合ユニットとを含む、装置。
ターゲットオブジェクトの特徴情報を取得するための取得ユニットと、
予め設定された顔素材ライブラリから、前記特徴情報にマッチングするターゲット仮想顔を確定し、予め設定された動作ビデオライブラリから、前記特徴情報にマッチングするターゲット動作ビデオを確定するための確定ユニットと、
前記ターゲット仮想顔と前記ターゲット動作ビデオにおける顔画像を融合し、前記ターゲットオブジェクトに対応する仮想アイドルを生成するための融合ユニットとを含む、装置。
【請求項11】
前記融合ユニットは、第１の融合モジュール、第２の融合モジュール及び第３の融合モジュールを含み、
前記第１の融合モジュールは、前記ターゲット仮想顔と前記顔画像を融合し、ターゲット融合画像を得るために用いられ、
前記第２の融合モジュールは、前記ターゲット融合画像を用いて前記ターゲット動作ビデオにおける顔画像を替えることで、新しい動作ビデオを得るために用いられ、
前記第３の融合モジュールは、前記新しい動作ビデオに基づいて前記仮想アイドルを生成するために用いられる、請求項１０に記載の装置。
前記第１の融合モジュールは、前記ターゲット仮想顔と前記顔画像を融合し、ターゲット融合画像を得るために用いられ、
前記第２の融合モジュールは、前記ターゲット融合画像を用いて前記ターゲット動作ビデオにおける顔画像を替えることで、新しい動作ビデオを得るために用いられ、
前記第３の融合モジュールは、前記新しい動作ビデオに基づいて前記仮想アイドルを生成するために用いられる、請求項１０に記載の装置。
【請求項12】
前記第３の融合モジュールは、第１の融合サブモジュールと第２の融合サブモジュールを含み、
前記第１の融合サブモジュールは、キーポイント検出技術を採用して、前記新しい動作ビデオにおけるキーポイントを抽出するために用いられ、前記キーポイントは、顔部キーポイント、手部キーポイント及び肢体キーポイントを含み、
前記第２の融合サブモジュールは、前記顔部キーポイント、手部キーポイント及び肢体キーポイントに基づいて、前記仮想アイドルを作成するために用いられる、請求項１１に記載の装置。
前記第１の融合サブモジュールは、キーポイント検出技術を採用して、前記新しい動作ビデオにおけるキーポイントを抽出するために用いられ、前記キーポイントは、顔部キーポイント、手部キーポイント及び肢体キーポイントを含み、
前記第２の融合サブモジュールは、前記顔部キーポイント、手部キーポイント及び肢体キーポイントに基づいて、前記仮想アイドルを作成するために用いられる、請求項１１に記載の装置。
【請求項13】
前記第１の融合モジュールは、第３の融合サブモジュールと第４の融合サブモジュールを含み、
前記第３の融合サブモジュールは、顔融合ネットワークモデルを取得するために用いられ、
前記第４の融合サブモジュールは、前記ターゲット仮想顔と前記顔画像を前記顔融合ネットワークモデルに入力し、前記ターゲット融合画像を得るために用いられる、請求項１１に記載の装置。
前記第３の融合サブモジュールは、顔融合ネットワークモデルを取得するために用いられ、
前記第４の融合サブモジュールは、前記ターゲット仮想顔と前記顔画像を前記顔融合ネットワークモデルに入力し、前記ターゲット融合画像を得るために用いられる、請求項１１に記載の装置。
【請求項14】
前記装置は、撮影ユニットと駆動ユニットをさらに含み、
前記撮影ユニットは、撮像機器によって、ユーザが前記ターゲットオブジェクトをエンドースメントする時に実行したターゲット動作を撮影するために用いられ、
前記駆動ユニットは、前記仮想アイドルが前記ターゲット動作を実行するように駆動するために用いられる、請求項１０～１３のいずれか一項に記載の装置。
前記撮影ユニットは、撮像機器によって、ユーザが前記ターゲットオブジェクトをエンドースメントする時に実行したターゲット動作を撮影するために用いられ、
前記駆動ユニットは、前記仮想アイドルが前記ターゲット動作を実行するように駆動するために用いられる、請求項１０～１３のいずれか一項に記載の装置。
【請求項15】
前記確定ユニットは、第１の確定モジュールと第２の確定モジュールを含み、
前記第１の確定モジュールは、前記特徴情報に対応するターゲット仮想顔タイプを確定するために用いられ、
前記第２の確定モジュールは、前記ターゲット仮想顔タイプに基づいて、前記予め設定された顔素材ライブラリから、前記ターゲット仮想顔を確定するために用いられる、請求項１０～１４のいずれか一項に記載の装置。
前記第１の確定モジュールは、前記特徴情報に対応するターゲット仮想顔タイプを確定するために用いられ、
前記第２の確定モジュールは、前記ターゲット仮想顔タイプに基づいて、前記予め設定された顔素材ライブラリから、前記ターゲット仮想顔を確定するために用いられる、請求項１０～１４のいずれか一項に記載の装置。
【請求項16】
前記顔素材ライブラリには複数の仮想顔が含まれ、且つ各仮想顔に仮想顔タイプがラベリングされ、前記第２の確定モジュールは、第１の確定サブモジュールと第２の確定サブモジュールを含み、
前記第１の確定サブモジュールは、前記予め設定された顔素材ライブラリから、前記ターゲット仮想顔タイプに対応する複数の仮想顔を確定し表示するために用いられ、
前記第２の確定サブモジュールは、前記複数の仮想顔における選択命令に応答し、前記複数の仮想顔から前記ターゲット仮想顔を確定するために用いられる、請求項１５に記載の装置。
前記第１の確定サブモジュールは、前記予め設定された顔素材ライブラリから、前記ターゲット仮想顔タイプに対応する複数の仮想顔を確定し表示するために用いられ、
前記第２の確定サブモジュールは、前記複数の仮想顔における選択命令に応答し、前記複数の仮想顔から前記ターゲット仮想顔を確定するために用いられる、請求項１５に記載の装置。
【請求項17】
前記確定ユニットは、第３の確定モジュールと第４の確定モジュールをさらに含み、
前記第３の確定モジュールは、前記特徴情報に対応するターゲット服飾タイプを確定するために用いられ、
前記第４の確定モジュールは、前記ターゲット服飾タイプに基づいて、前記予め設定された動作ビデオライブラリから前記ターゲット動作ビデオを確定するために用いられる、請求項１０～１６のいずれか一項に記載の装置。
前記第３の確定モジュールは、前記特徴情報に対応するターゲット服飾タイプを確定するために用いられ、
前記第４の確定モジュールは、前記ターゲット服飾タイプに基づいて、前記予め設定された動作ビデオライブラリから前記ターゲット動作ビデオを確定するために用いられる、請求項１０～１６のいずれか一項に記載の装置。
【請求項18】
前記動作ビデオライブラリには複数の動作ビデオが含まれ、各動作ビデオの服飾に服飾タイプがラベリングされ、前記第４の確定モジュールは、第３の確定サブモジュールと第４の確定サブモジュールを含み、
前記第３の確定サブモジュールは、前記予め設定された動作ビデオライブラリから、前記ターゲット服飾タイプに対応する複数の動作ビデオを確定し表示するために用いられ、
前記第４の確定サブモジュールは、前記複数の動作ビデオにおける選択命令に応答し、前記複数の動作ビデオから前記ターゲット動作ビデオを確定するために用いられる、請求項１７に記載の装置。
前記第３の確定サブモジュールは、前記予め設定された動作ビデオライブラリから、前記ターゲット服飾タイプに対応する複数の動作ビデオを確定し表示するために用いられ、
前記第４の確定サブモジュールは、前記複数の動作ビデオにおける選択命令に応答し、前記複数の動作ビデオから前記ターゲット動作ビデオを確定するために用いられる、請求項１７に記載の装置。
【請求項19】
電子機器であって、
少なくとも１つのプロセッサ、及び
前記少なくとも一つのプロセッサに通信接続されたメモリを含み、
前記メモリに、前記少なくとも一つのプロセッサによって実行可能な命令が記憶され、前記少なくとも一つのプロセッサが請求項１～９のいずれか一項に記載の仮想アイドルの生成方法を実行できるように、前記命令が前記少なくとも一つのプロセッサによって実行される、電子機器。
少なくとも１つのプロセッサ、及び
前記少なくとも一つのプロセッサに通信接続されたメモリを含み、
前記メモリに、前記少なくとも一つのプロセッサによって実行可能な命令が記憶され、前記少なくとも一つのプロセッサが請求項１～９のいずれか一項に記載の仮想アイドルの生成方法を実行できるように、前記命令が前記少なくとも一つのプロセッサによって実行される、電子機器。
【請求項20】
コンピュータに請求項１～９のいずれか一項に記載の仮想アイドルの生成方法を実行させるためのコンピュータ命令が記憶された非一時的なコンピュータ可読記憶媒体。
【請求項21】
プロセッサによって実行される時に請求項１～９のいずれか一項に記載の仮想アイドルの生成方法のステップを実現するコンピュータプログラムを含むコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２１年１０月２９日に出願された中国特許出願２０２１１１２７９８３１．３の優先権を主張しており、その内容の全てが参照によって本出願に組み込まれる。
本出願は、２０２１年１０月２９日に出願された中国特許出願２０２１１１２７９８３１．３の優先権を主張しており、その内容の全てが参照によって本出願に組み込まれる。
【0002】
本開示は、画像処理技術分野に関し、特にコンピュータ視覚及び深層学習などの人工知能技術分野に関し、具体的に、仮想アイドルに対する生成方法、装置及び電子機器に関する。
【背景技術】
【0003】
仮想アイドルは、描画、アニメーションなどの形で作成され、インタネットなどの仮想のシーン又は現実のシーンで活動するが、その自体が実体の形で存在しないキャラクタイメージである。
【0004】
人間の代わりに仮想アイドルによって活動する場合、製品のエンドースメントシーンを例として、どのように該製品のエンドースメントシーンにおける仮想アイドルを生成し、人間の代わりに仮想アイドルによって製品のエンドースメントを行うかは、当業者にとって早急に解決すべき問題である。
【発明の概要】
【0005】
本開示は、ターゲットオブジェクトのエンドースメントシーンにおける仮想アイドルを、対象を絞って生成することができ、このようにして、後続に仮想アイドルによってターゲットオブジェクトをエンドースメントすることができる仮想アイドルの生成方法、装置及び電子機器を提供する。
【0006】
本開示の第１の態様によれば、仮想アイドルの生成方法であって、
ターゲットオブジェクトの特徴情報を取得することと、
予め設定された顔素材ライブラリから、前記特徴情報にマッチングするターゲット仮想顔を確定し、予め設定された動作ビデオライブラリから、前記特徴情報にマッチングするターゲット動作ビデオを確定することと、
前記ターゲット仮想顔と前記ターゲット動作ビデオにおける顔画像を融合し、前記ターゲットオブジェクトに対応する仮想アイドルを生成することとを含んでもよい、仮想アイドルの生成方法を提供する。
ターゲットオブジェクトの特徴情報を取得することと、
予め設定された顔素材ライブラリから、前記特徴情報にマッチングするターゲット仮想顔を確定し、予め設定された動作ビデオライブラリから、前記特徴情報にマッチングするターゲット動作ビデオを確定することと、
前記ターゲット仮想顔と前記ターゲット動作ビデオにおける顔画像を融合し、前記ターゲットオブジェクトに対応する仮想アイドルを生成することとを含んでもよい、仮想アイドルの生成方法を提供する。
【0007】
本開示の第２の態様によれば、仮想アイドルの生成装置であって、
ターゲットオブジェクトの特徴情報を取得するための取得ユニットと、
予め設定された顔素材ライブラリから、前記特徴情報にマッチングするターゲット仮想顔を確定し、予め設定された動作ビデオライブラリから、前記特徴情報にマッチングするターゲット動作ビデオを確定するための確定ユニットと、
前記ターゲット仮想顔と前記ターゲット動作ビデオにおける顔画像を融合し、前記ターゲットオブジェクトに対応する仮想アイドルを生成するための融合ユニットとを含んでもよい、仮想アイドルの生成装置を提供する。
ターゲットオブジェクトの特徴情報を取得するための取得ユニットと、
予め設定された顔素材ライブラリから、前記特徴情報にマッチングするターゲット仮想顔を確定し、予め設定された動作ビデオライブラリから、前記特徴情報にマッチングするターゲット動作ビデオを確定するための確定ユニットと、
前記ターゲット仮想顔と前記ターゲット動作ビデオにおける顔画像を融合し、前記ターゲットオブジェクトに対応する仮想アイドルを生成するための融合ユニットとを含んでもよい、仮想アイドルの生成装置を提供する。
【0008】
本開示の第３の態様によれば、電子機器であって、
少なくとも一つのプロセッサ、及び
前記少なくとも一つのプロセッサに通信接続されたメモリを含み、
前記メモリに、前記少なくとも一つのプロセッサによって実行可能な命令が記憶され、前記少なくとも一つのプロセッサが上記第１の態様に記載の仮想アイドルの生成方法を実行できるように、前記命令が前記少なくとも一つのプロセッサによって実行されてもよい、電子機器を提供する。
少なくとも一つのプロセッサ、及び
前記少なくとも一つのプロセッサに通信接続されたメモリを含み、
前記メモリに、前記少なくとも一つのプロセッサによって実行可能な命令が記憶され、前記少なくとも一つのプロセッサが上記第１の態様に記載の仮想アイドルの生成方法を実行できるように、前記命令が前記少なくとも一つのプロセッサによって実行されてもよい、電子機器を提供する。
【0009】
本開示の第４の態様によれば、コンピュータに上記第１の態様に記載の仮想アイドルの生成方法を実行させるためのコンピュータ命令が記憶された非一時的なコンピュータ可読記憶媒体を提供する。
【0010】
本開示の第５の態様によれば、コンピュータプログラム製品であって、コンピュータプログラムを含み、前記コンピュータプログラムは可読記憶媒体に記憶され、電子機器の少なくとも一つのプロセッサは、前記可読記憶媒体から前記コンピュータプログラムを読み出すことができ、電子機器が第１の態様に記載の仮想アイドルの生成方法を実行するように、前記少なくとも一つのプロセッサによって前記コンピュータプログラムが実行されるコンピュータプログラム製品を提供する。
【0011】
本開示の技術案によれば、ターゲットオブジェクトのエンドースメントシーンにおける仮想アイドルを、対象を絞って生成することができ、このようにして、後続に仮想アイドルによってターゲットオブジェクトをエンドースメントすることができる。
【0012】
ここで説明される内容は、本開示の実施例の要点または重要な特徴を識別することを目的とせず、本開示の範囲を限定するためのものでもないことは理解すべきである。本開示の他の特徴は、以下の明細書によって理解しやすくなる。
【図面の簡単な説明】
【0013】
図面は、本案をより良く理解するためのものであり、本開示に対する限定を構成しない。ここでは、
【図1】本開示の第１の実施例による仮想アイドルの生成方法のフロー概略図である。
【図2】本開示の実施例による実のアイドル気質を有する複数の仮想顔の概略図である。
【図3】本開示の第３の実施例によるターゲットオブジェクトに対応する仮想アイドルを生成する方法のフロー概略図である。
【図4】本開示の実施例による顔融合ネットワークモデルの概略図である。
【図5】本開示の実施例によるターゲット融合画像の概略図である。
【図6】本開示の第４の実施例による仮想アイドルの生成装置６０の構造概略図である。
【図7】本開示の実施例による電子機器の概略的ブロック図である。
【発明を実施するための形態】
【0014】
以下は、図面と合わせて本開示の例示的な実施例を説明し、理解の便のために、本開示の実施例の各種の詳細が含まれ、それらは単なる例示的なものであると考えられるべきである。従って、本開示の範囲と趣旨を逸脱することなく、ここで説明された実施例に対して各種の変更及び訂正を行うことができることは、本分野の平均的な当業者にとって認識すべきである。同様に、明瞭と簡潔のために、以下の説明では公知の機能及び構造に対する説明を省略している。
【0015】
本開示の実施例では、「少なくとも一つ」とは、一つ又は複数を指し、「複数」とは、二つ以上を指す。「及び／又は」は、関連対象のアクセス関係を説明し、三つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａが個別に存在すること、ＡとＢが同時に存在すること、Ｂが個別に存在することという三つのケースを示すことができ、ここでは、Ａ、Ｂは単数又は複数であってもよい。本開示の言葉の説明において、文字“／”は、一般的に、前後の関連対象が「又は」という関係であることを示す。また、本開示の実施例では、「第１」、「第２」、「第３」、「第４」、「第５」及び「第６」は、単に異なる対象の内容を区別するためのものに過ぎず、他の特別な意味を有しない。
【0016】
本開示の実施例による技術案は、製品のエンドースメント、製品のライブ、ひいては映画出演などのシーンに適用することができる。製品のエンドースメントシーンに適用する場合を例として、仮想アイドルによって製品のエンドースメントを行う時に、先ず、仮想アイドルを生成する必要がある。ここでは、仮想アイドルは、描画、アニメーションなどの形で作成され、インタネットなどの仮想のシーン又は現実のシーンで活動するが、その自体が物理の形で存在しないキャラクタイメージである。
【0017】
従来技術において、仮想アイドルを生成する時に、通常、先ず、３Ｄモデル化技術を採用して、３Ｄアバターを設計し、専門の動作捕捉機器を用いて、人間の動作及び顔つきを光学的に捕捉し、光学的に捕捉した動作及び顔つきを３Ｄアバターにマッピングすることによって、仮想アイドルによって製品のエンドースメントを行うように仮想アイドルを駆動する。
【0018】
しかし、従来の仮想アイドルの生成方法を採用する場合、３Ｄモデル化技術を採用して３Ｄアバターを設計する時に、その設計が比較的に複雑で、擬人性が悪く、また、人間の動作及び顔つきを光学的に捕捉する時に、慣性捕捉の精度が悪く、地磁気に干渉されやすい。
【0019】
仮想アイドルをよく生成できるために、エンドースメントする必要があるターゲットオブジェクトの特徴情報に基づいて、特徴情報にマッチングする仮想顔、及び特徴情報にマッチングする動作ビデオを、対象を絞って選択し、顔融合技術を採用して、仮想顔と動作ビデオにおける顔画像を融合することが考えられ、このようにして、後続に仮想アイドルによってターゲットオブジェクトをエンドースメントすることができるように、ターゲットオブジェクトのエンドースメントシーンにおける仮想アイドルを、対象を絞って生成することができ、また、仮想アイドルによってターゲットオブジェクトをエンドースメントする時に、顔融合技術を採用して仮想アイドルを生成することは、従来技術における仮想アイドルの生成の際に存在する３Ｄアバターの設計が比較的に複雑で、擬人性が悪く、慣性捕捉の精度が悪く、且つ地磁気に干渉されやすいという問題を効果的に解決することもできる。
【0020】
上述した技術思想に基づいて、本開示の実施例は仮想アイドルの生成方法を提供し、以下は、具体的な実施例によって、本開示による仮想アイドルの生成方法を詳細に説明する。以下の幾つかの具体的な実施例は、互いに組み合わせることが可能であり、同様又は類似の概念又はプロセスについて、ある実施例において説明を省略する可能性があることが理解できる。
【0021】
実施例１：
図１は、本開示の第１の実施例による仮想アイドルの生成方法のフロー概略図であり、該仮想アイドルの生成方法は、ソフトウェア及び／又はハードウェア装置によって実行されてもよく、例えば、該ハードウェア装置は、端末又はサーバであってもよい。例示的に、図１に示すように、該仮想アイドルの生成方法は、以下のＳ１０１～Ｓ１０３を含んでもよい。
図１は、本開示の第１の実施例による仮想アイドルの生成方法のフロー概略図であり、該仮想アイドルの生成方法は、ソフトウェア及び／又はハードウェア装置によって実行されてもよく、例えば、該ハードウェア装置は、端末又はサーバであってもよい。例示的に、図１に示すように、該仮想アイドルの生成方法は、以下のＳ１０１～Ｓ１０３を含んでもよい。
【0022】
Ｓ１０１では、ターゲットオブジェクトの特徴情報を取得する。
例示的に、特徴情報には、ターゲットオブジェクトの適応群集、ターゲットオブジェクトのタイプなどの情報が含まれてもよく、具体的には、実際の需要に応じて設定されてもよい。例えば、ターゲットオブジェクトが子供用スポーツシューズである場合、特徴情報には、適応群集が子供であり、タイプがスポーツタイプであるなどのことが含まれる。ターゲットオブジェクトが高齢者向け製品である場合、特徴情報には、適応群集が高齢者であり、タイプが保健タイプであるなどのことが含まれてもよい。
例示的に、特徴情報には、ターゲットオブジェクトの適応群集、ターゲットオブジェクトのタイプなどの情報が含まれてもよく、具体的には、実際の需要に応じて設定されてもよい。例えば、ターゲットオブジェクトが子供用スポーツシューズである場合、特徴情報には、適応群集が子供であり、タイプがスポーツタイプであるなどのことが含まれる。ターゲットオブジェクトが高齢者向け製品である場合、特徴情報には、適応群集が高齢者であり、タイプが保健タイプであるなどのことが含まれてもよい。
【0023】
例示的に、ターゲットオブジェクトの特徴情報を取得する時に、ユーザによって入力されたターゲットオブジェクトの特徴情報を直接に受信してもよく、他の電子機器から送信されたターゲットオブジェクトの特徴情報を受信してもよく、ローカルメモリからターゲットオブジェクトの特徴情報を取得してもよく、他の方法でターゲットオブジェクトの特徴情報を取得してもよく、具体的には、実際の需要に応じて設定されてもよく、ここで、本開示の実施例は、単に上述した三つの方法を例として説明するが、本開示の実施例がこれに限定されることを意味するものではない。
【0024】
ターゲットオブジェクトの特徴情報を取得した後、ターゲットオブジェクトのエンドースメントシーンにおける仮想アイドルを、対象を絞って生成するために、該ターゲットオブジェクトの特徴情報を生成根拠として、予め設定された顔素材ライブラリから、特徴情報にマッチングするターゲット仮想顔を確定し、予め設定された動作ビデオライブラリから、特徴情報にマッチングするターゲット動作ビデオを確定することによって、ターゲット仮想顔とターゲット動作ビデオに基づいてターゲットオブジェクトのエンドースメントシーンにおける仮想アイドルを生成し、即ち、次のＳ１０２とＳ１０３を実行することができる。
【0025】
Ｓ１０２では、予め設定された顔素材ライブラリから、特徴情報にマッチングするターゲット仮想顔を確定し、予め設定された動作ビデオライブラリから、特徴情報にマッチングするターゲット動作ビデオを確定する。
【0026】
ここでは、顔素材ライブラリには複数の仮想顔が含まれる。
予め設定された顔素材ライブラリから、特徴情報にマッチングするターゲット仮想顔を確定する前に、予め設定された顔素材ライブラリを予め構築する必要があることが理解できる。例示的に、顔素材ライブラリを予め構築する時に、顔生成ネットワークモデルによって実のアイドル気質を有する複数の仮想顔を作成し、実のアイドル気質を有する該複数の仮想顔に基づいて予め設定された顔素材ライブラリを構築してよい。なお、新しい仮想顔を取得した時に、該新しい仮想顔を用いて予め設定された顔素材ライブラリを更新することもできる。
予め設定された顔素材ライブラリから、特徴情報にマッチングするターゲット仮想顔を確定する前に、予め設定された顔素材ライブラリを予め構築する必要があることが理解できる。例示的に、顔素材ライブラリを予め構築する時に、顔生成ネットワークモデルによって実のアイドル気質を有する複数の仮想顔を作成し、実のアイドル気質を有する該複数の仮想顔に基づいて予め設定された顔素材ライブラリを構築してよい。なお、新しい仮想顔を取得した時に、該新しい仮想顔を用いて予め設定された顔素材ライブラリを更新することもできる。
【0027】
例示的に、顔生成ネットワークモデルはｓｔｙｌｅｇａｎ２モデルを用いてもよく、類似の機能を有する他のネットワークモデルを用いてもよく、具体的には、実際の需要に応じて設定されてもよく、本開示の実施例は、単に顔生成ネットワークモデルがｓｔｙｌｅｇａｎ２モデルであることを例として説明するが、本開示の実施例がこれに限定されることを意味するものではない。
【0028】
顔生成ネットワークモデルがｓｔｙｌｅｇａｎ２モデルであることを例として、ｓｔｙｌｅｇａｎ２モデルによって複数の綺麗な仮想顔を作成する時に、先ず、大量の実のアイドル画像を収集し、該大量の実のアイドル画像を用いて初期ｓｔｙｌｅｇａｎ２モデルをトレーニングし、最適化されたｓｔｙｌｅｇａｎ２モデルが得られ、それによって、最適化されたｓｔｙｌｅｇａｎ２モデルによって実のアイドル気質を有する複数の仮想顔を生成することができ、例示的に、図２に示すように、図２は、本開示の実施例による実のアイドル気質を有する複数の仮想顔の概略図であり、実のアイドル気質を有する複数の仮想顔を取得した後、実のアイドル気質を有する該複数の仮想顔を顔素材ライブラリにおける仮想顔とすることによって、予め設定された顔素材ライブラリを構築してもよい。
【0029】
ここでは、動作ビデオライブラリには複数の動作ビデオが含まれ、該動作ビデオとは、ユーザの肢体動作ビデオを指す。
予め設定された動作ビデオライブラリから、特徴情報にマッチングするターゲット動作ビデオを確定する前に、予め設定された動作ビデオライブラリを予め構築する必要があることが理解できる。例示的に、予め設定された動作ビデオライブラリを予め構築する時に、撮像機器、例えばカメラなどを用いて大量のユーザの動作ビデオを録画し、該録画された大量のユーザの肢体動作に基づいて、予め設定された動作ビデオライブラリを構築してもよい。なお、新しい動作ビデオを取得した時に、該新しい動作ビデオを用いて予め設定された動作ビデオライブラリを更新することもできる。
予め設定された動作ビデオライブラリから、特徴情報にマッチングするターゲット動作ビデオを確定する前に、予め設定された動作ビデオライブラリを予め構築する必要があることが理解できる。例示的に、予め設定された動作ビデオライブラリを予め構築する時に、撮像機器、例えばカメラなどを用いて大量のユーザの動作ビデオを録画し、該録画された大量のユーザの肢体動作に基づいて、予め設定された動作ビデオライブラリを構築してもよい。なお、新しい動作ビデオを取得した時に、該新しい動作ビデオを用いて予め設定された動作ビデオライブラリを更新することもできる。
【0030】
ターゲットオブジェクトの特徴情報を生成根拠として、予め設定された顔素材ライブラリから、特徴情報にマッチングするターゲット仮想顔を確定し、予め設定された動作ビデオライブラリから、特徴情報にマッチングするターゲット動作ビデオを確定した後、次のＳ１０３を実行することができる。
【0031】
Ｓ１０３では、ターゲット仮想顔とターゲット動作ビデオにおける顔画像を融合し、ターゲットオブジェクトに対応する仮想アイドルを生成する。
ここでは、ターゲット動作ビデオにおける顔画像は、実の顔画像、即ち、ターゲット動作ビデオにおけるユーザの顔画像として捉えられてもよい。
ここでは、ターゲット動作ビデオにおける顔画像は、実の顔画像、即ち、ターゲット動作ビデオにおけるユーザの顔画像として捉えられてもよい。
【0032】
例示的に、ターゲット仮想顔とターゲット動作ビデオにおける顔画像を融合する時に、顔融合技術を採用して、ターゲット仮想顔とターゲット動作ビデオにおける顔画像を融合することによって、仮想アイドルを生成してもよい。
【0033】
本開示の実施例では、仮想アイドルを取得する時に、先ず、ターゲットオブジェクトの特徴情報を取得し、該ターゲットオブジェクトの特徴情報を仮想アイドルの生成根拠として、対象を絞って、予め設定された顔素材ライブラリから、特徴情報にマッチングするターゲット仮想顔を確定し、予め設定された動作ビデオライブラリから、特徴情報にマッチングするターゲット動作ビデオを確定し、続いて、仮想顔と動作ビデオにおける顔画像を融合することができ、このようにして、後続に仮想アイドルによってターゲットオブジェクトをエンドースメントすることができるように、ターゲットオブジェクトのエンドースメントシーンにおける仮想アイドルを、対象を絞って生成可能であることが明らかである。
【0034】
上述した図１に示す実施例に基づいて、上述した実施例一に示すＳ１０２において、どのように予め設定された顔素材ライブラリから、特徴情報にマッチングするターゲット仮想顔を確定し、予め設定された動作ビデオライブラリから、特徴情報にマッチングするターゲット動作ビデオを確定するかを理解しやすくするために、以下は、次の実施例２によって詳細に説明する。
【0035】
実施例２：
予め設定された顔素材ライブラリから、特徴情報にマッチングするターゲット仮想顔を確定する時に、例示的に、先ず、特徴情報に対応するターゲット仮想顔タイプを確定し、ターゲット仮想顔タイプに基づいて、予め設定された顔素材ライブラリからターゲット仮想顔を確定してもよい。
予め設定された顔素材ライブラリから、特徴情報にマッチングするターゲット仮想顔を確定する時に、例示的に、先ず、特徴情報に対応するターゲット仮想顔タイプを確定し、ターゲット仮想顔タイプに基づいて、予め設定された顔素材ライブラリからターゲット仮想顔を確定してもよい。
【0036】
例示的に、仮想顔タイプは、若々しいタイプ、活発タイプ、おおらかタイプ、厳粛タイプ、美人タイプ、ハンサムタイプ、サンシャインタイプなどであってもよく、具体的には、実際の需要に応じて設定されてもよく、ここで、本開示の実施例は単にこれらのタイプを例として説明するが、本開示の実施例がこれに限定されることを意味するものではない。
【0037】
例示的に、ターゲットオブジェクトが子供用スポーツシューズであり、特徴情報には、適応群集が子供であり、タイプがスポーツタイプであることが含まれる場合、対応するターゲット仮想顔タイプは、若々しいタイプ及び／又は活発タイプなどであってもよく、ターゲットオブジェクトが高齢者向け製品であり、特徴情報には、適応群集が高齢者であり、タイプが保健タイプであることが含まれる場合、対応するターゲット仮想顔タイプは、おおらかタイプ及び／又は厳粛タイプなどであってもよい。
【0038】
特徴情報に対応するターゲット仮想顔タイプを確定した後、ターゲット仮想顔タイプに基づいて、予め設定された顔素材ライブラリから、ターゲット仮想顔を確定することができる。例示的に、顔素材ライブラリには、複数の仮想顔に加えて、各仮想顔に対応する仮想顔タイプが含まれてもよく、且つ各仮想顔タイプは、対応する仮想顔にラベリングされてもよい。
【0039】
例示的に、ターゲット仮想顔タイプに基づいて、予め設定された顔素材ライブラリからターゲット仮想顔を確定する時に、一つの場合であって、ターゲット仮想顔タイプに基づいて、予め設定された顔素材ライブラリから、ターゲット仮想顔タイプに対応する仮想顔を確定し、且つ仮想顔の数が一つである時、該仮想顔をターゲット仮想顔として直接に確定することができる場合と、
別の場合であって、ターゲット仮想顔タイプに基づいて、予め設定された顔素材ライブラリから、ターゲット仮想顔タイプに対応する仮想顔を確定し、且つ仮想顔の数が複数であり、即ち、ターゲット仮想顔タイプに基づいて複数の仮想顔を確定した場合、さらに、ターゲット仮想顔タイプに対応する複数の仮想顔から一つの仮想顔を選択し、それをターゲット仮想顔として確定する必要がある場合の二つの場合を含んでもよい。
別の場合であって、ターゲット仮想顔タイプに基づいて、予め設定された顔素材ライブラリから、ターゲット仮想顔タイプに対応する仮想顔を確定し、且つ仮想顔の数が複数であり、即ち、ターゲット仮想顔タイプに基づいて複数の仮想顔を確定した場合、さらに、ターゲット仮想顔タイプに対応する複数の仮想顔から一つの仮想顔を選択し、それをターゲット仮想顔として確定する必要がある場合の二つの場合を含んでもよい。
【0040】
例示的に、ターゲット仮想顔タイプに対応する複数の仮想顔からターゲット仮想顔を確定する時に、次の少なくとも三つの可能な実現形態を含んでもよい。
一つの可能な実現形態では、ターゲット仮想顔タイプに対応する複数の仮想顔から、一つの仮想顔をランダムに選択し、それをターゲット仮想顔として確定することができる。
一つの可能な実現形態では、ターゲット仮想顔タイプに対応する複数の仮想顔から、一つの仮想顔をランダムに選択し、それをターゲット仮想顔として確定することができる。
【0041】
別の可能な実現形態では、仮想顔の履歴被選択頻度に基づいて、ターゲット仮想顔タイプに対応する複数の仮想顔から、履歴選択頻度が最も高い仮想顔を確定し、それをターゲット仮想顔として確定することができる。
【0042】
さらに別の可能な実現形態では、ターゲット仮想顔タイプに対応する複数の仮想顔からターゲット仮想顔を確定する時に、ユーザに該ターゲット仮想顔タイプに対応する複数の仮想顔を表示し、ユーザは需要に応じて、表示された複数の仮想顔から、必要な仮想顔を選択することができるようにし、複数の仮想顔におけるユーザの選択命令に応答し、複数の仮想顔からターゲット仮想顔を確定することができる。
【0043】
前者の二つの可能な実現形態に比べて、ユーザに複数の仮想顔を表示し、複数の仮想顔における選択命令に応答することにより、複数の仮想顔からターゲット仮想顔を確定する実現形態は、ユーザの需要を十分に考慮し、選択されたターゲット仮想顔をユーザの需要により一致させることが明らかである。
【0044】
なお、本開示の実施例では、ターゲット仮想顔タイプに対応する複数の仮想顔から、ターゲット仮想顔を確定する時、単に上述した三つの可能な実現形態を例として説明したが、具体的には、実際の需要に応じて設定されてもよい。
【0045】
本開示の実施例では、予め設定された顔素材ライブラリから特徴情報にマッチングするターゲット仮想顔を確定する時に、先ず、特徴情報に対応するターゲット仮想顔タイプを確定し、ターゲット仮想顔タイプに基づいて、予め設定された顔素材ライブラリからターゲット仮想顔を、対象を絞って確定することができ、このように確定されたターゲット仮想顔はターゲットオブジェクトの特徴情報により一致し、後続に仮想アイドルによってターゲットオブジェクトをエンドースメントすることができるように、後続にターゲット仮想顔に基づいてターゲットオブジェクトのエンドースメントシーンにおける仮想アイドルを、対象を絞って生成可能であることが明らかである。
【0046】
仮想アイドルを生成する時に、上述した予め設定された顔素材ライブラリから、特徴情報にマッチングするターゲット仮想顔を確定する必要がある以外、予め設定された動作ビデオライブラリから、特徴情報にマッチングするターゲット動作ビデオを確定する必要がある。以下は、どのように予め設定された動作ビデオライブラリから、特徴情報にマッチングするターゲット動作ビデオを確定するかを詳細に説明する。
【0047】
予め設定された動作ビデオライブラリから、特徴情報にマッチングするターゲット動作ビデオを確定する時に、例示的に、先ず、特徴情報に対応するターゲット服飾タイプを確定し、ターゲット服飾タイプに基づいて、予め設定された動作ビデオライブラリからターゲット動作ビデオを確定してもよい。
【0048】
例示的に、服飾タイプは、スポーツウェアタイプ、カジュアルウェアタイプ、フォーマルウェアタイプなどであってもよく、具体的には、実際の需要に応じて設定されてもよく、ここで、本開示の実施例は単にこれらのタイプを例として説明するが、本開示の実施例がこれに限定されることを意味するものではない。
【0049】
例示的に、ターゲットオブジェクトが子供用スポーツシューズであり、特徴情報には、適応群集が子供であり、タイプがスポーツタイプであることが含まれる場合、対応するターゲット服飾タイプはスポーツウェアタイプであってもよく、ターゲットオブジェクトが高齢者向け製品である時、特徴情報には、適応群集が高齢者であり、タイプが保健タイプであることが含まれる場合、対応するターゲット服飾タイプはカジュアルウェアタイプであってもよい。
【0050】
特徴情報に対応するターゲット服飾タイプを確定した後、ターゲット服飾タイプに基づいて、予め設定された動作ビデオライブラリからターゲット動作ビデオを確定することができる。例示的に、動作ビデオライブラリには、複数の動作ビデオに加えて、各動作ビデオに対応する服飾タイプが含まれてもよく、且つ各服飾タイプは対応する動作ビデオにラベリングされてもよい。
【0051】
例示的に、ターゲット服飾タイプに基づいて、予め設定された動作ビデオライブラリからターゲット動作ビデオを確定する時に、一つの場合であって、ターゲット服飾タイプに基づいて、予め設定された動作ビデオライブラリから、ターゲット服飾タイプに対応する動作ビデオを確定し、且つ動作ビデオの数が一つである時、該動作ビデオをターゲット動作ビデオとして直接に確定することができる場合と、
別の場合であって、ターゲット服飾タイプに基づいて、予め設定された動作ビデオライブラリから、ターゲット動作ビデオタイプに対応する動作ビデオを確定し、且つ動作ビデオの数が複数であり、即ち、ターゲット服飾タイプに基づいて、複数の動作ビデオを確定した場合、さらに、ターゲット動作ビデオタイプに対応する複数の動作ビデオから一つの動作ビデオを選択し、それをターゲット動作ビデオとして確定する必要がある場合の二つの場合を含んでもよい。
別の場合であって、ターゲット服飾タイプに基づいて、予め設定された動作ビデオライブラリから、ターゲット動作ビデオタイプに対応する動作ビデオを確定し、且つ動作ビデオの数が複数であり、即ち、ターゲット服飾タイプに基づいて、複数の動作ビデオを確定した場合、さらに、ターゲット動作ビデオタイプに対応する複数の動作ビデオから一つの動作ビデオを選択し、それをターゲット動作ビデオとして確定する必要がある場合の二つの場合を含んでもよい。
【0052】
例示的に、ターゲット動作ビデオタイプに対応する複数の動作ビデオから、ターゲット動作ビデオを確定する時に、次の少なくとも三つの可能な実現形態を含んでもよい。
一つの可能な実現形態では、ターゲット動作ビデオタイプに対応する複数の動作ビデオから、一つの動作ビデオをランダムに選択し、それをターゲット動作ビデオとして確定することができる。
一つの可能な実現形態では、ターゲット動作ビデオタイプに対応する複数の動作ビデオから、一つの動作ビデオをランダムに選択し、それをターゲット動作ビデオとして確定することができる。
【0053】
別の可能な実現形態では、動作ビデオの履歴被選択頻度に基づいて、ターゲット動作ビデオタイプに対応する複数の動作ビデオから、履歴選択頻度が最も高い動作ビデオを確定し、それをターゲット動作ビデオとして確定することができる。
【0054】
さらに別の可能な実現形態では、ターゲット動作ビデオタイプに対応する複数の動作ビデオからターゲット動作ビデオを確定する時に、ユーザに該ターゲット動作ビデオタイプに対応する複数の動作ビデオを表示し、ユーザは需要に応じて、表示された複数の動作ビデオから、必要な動作ビデオを選択することができるようにし、複数の動作ビデオにおけるユーザの選択命令に応答し、複数の動作ビデオからターゲット動作ビデオを確定することができる。
【0055】
前者の二つの可能な実現形態に比べて、ユーザに複数の動作ビデオを表示し、複数の動作ビデオにおける選択命令に応答することにより、複数の動作ビデオからターゲット動作ビデオを確定する実現形態は、ユーザの需要を十分に考慮し、選択されたターゲット動作ビデオをユーザの需要により一致させることが明らかである。
【0056】
なお、本開示の実施例では、ターゲット動作ビデオタイプに対応する複数の動作ビデオからターゲット動作ビデオを確定する時、上述した三つの可能な実現形態を例として説明したが、具体的には、実際の需要に応じて設定されてもよい。
【0057】
本開示の実施例では、予め設定された動作ビデオライブラリから特徴情報にマッチングするターゲット動作ビデオを確定する時に、先ず、特徴情報に対応するターゲット動作ビデオタイプを確定し、ターゲット動作ビデオタイプに基づいて、予め設定された動作ビデオライブラリからターゲット動作ビデオを、対象を絞って確定することができ、このように確定されたターゲット動作ビデオはターゲットオブジェクトの特徴情報により一致し、後続に仮想アイドルによってターゲットオブジェクトをエンドースメントすることができるように、後続にターゲット動作ビデオに基づいて、ターゲットオブジェクトのエンドースメントシーンにおける仮想アイドルを、対象を絞って生成可能であることが明らかである。
【0058】
上述したいずれか一つの実施例に基づいて、予め設定された顔素材ライブラリから、特徴情報にマッチングするターゲット仮想顔を確定し、予め設定された動作ビデオライブラリから、特徴情報にマッチングするターゲット動作ビデオを確定した後、ターゲット仮想顔とターゲット動作ビデオにおける顔画像を融合し、ターゲットオブジェクトに対応する仮想アイドルを生成することができる。本開示の実施例において、どのようにターゲット仮想顔とターゲット動作ビデオにおける顔画像を融合し、ターゲットオブジェクトに対応する仮想アイドを生成するかを理解しやすくするために、以下は、次の図３に示す実施例３によって詳細に説明する。
【0059】
実施例３：
図３は、本開示の第３の実施例によるターゲットオブジェクトに対応する仮想アイドルを生成する方法のフロー概略図であり、ターゲットオブジェクトに対応する仮想アイドルを生成する当該方法は、同様にソフトウェア及び／又はハードウェア装置によって実行されることができる。例示的に、図３に示すように、ターゲットオブジェクトに対応する仮想アイドルを生成する当該方法は、以下のＳ３０１～Ｓ３０３を含んでもよい。
図３は、本開示の第３の実施例によるターゲットオブジェクトに対応する仮想アイドルを生成する方法のフロー概略図であり、ターゲットオブジェクトに対応する仮想アイドルを生成する当該方法は、同様にソフトウェア及び／又はハードウェア装置によって実行されることができる。例示的に、図３に示すように、ターゲットオブジェクトに対応する仮想アイドルを生成する当該方法は、以下のＳ３０１～Ｓ３０３を含んでもよい。
【0060】
Ｓ３０１では、ターゲット仮想顔と顔画像を融合し、ターゲット融合画像を得る。
例示的に、ターゲット仮想顔と顔画像を融合する時に、顔融合ネットワークモデルを取得し、ターゲット仮想顔と顔画像を顔融合ネットワークモデルに入力し、顔融合ネットワークモデルによってターゲット仮想顔と顔画像を融合することにより、ターゲット融合画像が得られてもよい。
例示的に、ターゲット仮想顔と顔画像を融合する時に、顔融合ネットワークモデルを取得し、ターゲット仮想顔と顔画像を顔融合ネットワークモデルに入力し、顔融合ネットワークモデルによってターゲット仮想顔と顔画像を融合することにより、ターゲット融合画像が得られてもよい。
【0061】
例示的に、顔融合ネットワークモデルによってターゲット仮想顔と顔画像を融合する時に、図４に示すように、図４は、本開示の実施例による顔融合ネットワークモデルの概略図であり、ターゲット仮想顔と顔画像を顔融合ネットワークモデルに入力し、顔融合ネットワークモデルによってターゲット仮想顔と顔画像の各々の特徴ベクトルをそれぞれ抽出し、ここでは、ターゲット仮想顔の特徴ベクトルをＸｔと表記することができ、ターゲット融合画像に必要な背景情報及び顔つき情報を提供するために用いられ、顔画像の特徴ベクトルをＸｓと表記することができ、ターゲット融合画像に必要な身分情報を提供するために用いられ、さらに、顔融合ネットワークモデルにおけるＡＡＤ生成器によって、ターゲット仮想顔の特徴ベクトルＸｔと顔画像の特徴ベクトルＸｓを融合し、融合されたターゲット融合画像が得られてもよい。
【0062】
例示的に、図５に示すように、図５は、本開示の実施例によるターゲット融合画像の概略図であり、顔融合ネットワークモデルを用いてターゲット仮想顔と顔画像を融合することにより得られたターゲット融合画像は、ターゲット仮想顔と顔画像に対して、良好な高い類似度、高い明瞭度及び時系列の安定度を有することが明らかである。
【0063】
ターゲット仮想顔と顔画像を融合し、ターゲット融合画像を得た後、ターゲット融合画像を用いてターゲット動作ビデオにおける顔画像を替えることで、新しい動作ビデオが得られ、即ち、次のＳ３０２を実行することができる。
【0064】
Ｓ３０２では、ターゲット融合画像を用いてターゲット動作ビデオにおける顔画像を替えることで、新しい動作ビデオを得る。
ここでは、新しい動作ビデオにおける顔画像は融合によって得られたターゲット融合画像であり、動作は依然としてターゲット動作ビデオにおける動作である。
ここでは、新しい動作ビデオにおける顔画像は融合によって得られたターゲット融合画像であり、動作は依然としてターゲット動作ビデオにおける動作である。
【0065】
Ｓ３０３では、新しい動作ビデオに基づいて仮想アイドルを生成する。
例示的に、新しい動作ビデオに基づいて仮想アイドルを生成する時に、キーポイント検出技術を採用して、新しい動作ビデオにおけるキーポイントを抽出し、ここでは、キーポイントは、顔部キーポイント、手部キーポイント及び肢体キーポイントを含み、顔部キーポイント、手部キーポイント及び肢体キーポイントに基づいて、仮想アイドルを作成してもよく、このように作成された仮想アイドルは、該新しい動作ビデオを実行可能な一つの動的仮想アイドルである。
例示的に、新しい動作ビデオに基づいて仮想アイドルを生成する時に、キーポイント検出技術を採用して、新しい動作ビデオにおけるキーポイントを抽出し、ここでは、キーポイントは、顔部キーポイント、手部キーポイント及び肢体キーポイントを含み、顔部キーポイント、手部キーポイント及び肢体キーポイントに基づいて、仮想アイドルを作成してもよく、このように作成された仮想アイドルは、該新しい動作ビデオを実行可能な一つの動的仮想アイドルである。
【0066】
本開示の実施例では、ターゲット仮想顔とターゲット動作ビデオにおける顔画像を融合し、ターゲットオブジェクトに対応する仮想アイドルを生成する時に、先ず、ターゲット仮想顔と顔画像を融合し、ターゲット融合画像を得て、ターゲット融合画像を用いてターゲット動作ビデオにおける顔画像を替えることで、新しい動作ビデオを得て、さらに、新しい動作ビデオに基づいて動的仮想アイドルを生成することができ、このように、ターゲット仮想顔とターゲット動作ビデオに基づく場合、後続に仮想アイドルによってターゲットオブジェクトをエンドースメントすることができるように、ターゲットオブジェクトのエンドースメントシーンにおける仮想アイドルを、対象を絞って生成可能であることが明らかである。
【0067】
上述したいずれか一つの実施例に基づいて、ターゲットオブジェクトのエンドースメントシーンにおける仮想アイドルを生成した後、該仮想アイドルがターゲットオブジェクトのエンドースメント行うことができるようにするために、さらに、撮像機器によって、ユーザがターゲットオブジェクトをエンドースメントする時に実行したターゲット動作を撮影し、仮想アイドルがターゲット動作を実行するように駆動することによって、該仮想アイドルが該ターゲット動作を実行することができるようにし、該仮想アイドルによるターゲットオブジェクトに対するエンドースメントを実現することもできる。
【0068】
実施例４：
図６は、本開示の第４の実施例による仮想アイドルの生成装置６０の構造概略図であり、例示的に、図６に示すように、該仮想アイドルの生成装置６０は、
ターゲットオブジェクトの特徴情報を取得するための取得ユニット６０１と、
予め設定された顔素材ライブラリから、特徴情報にマッチングするターゲット仮想顔を確定し、予め設定された動作ビデオライブラリから、特徴情報にマッチングするターゲット動作ビデオを確定するための確定ユニット６０２と、
ターゲット仮想顔とターゲット動作ビデオにおける顔画像を融合し、ターゲットオブジェクトに対応する仮想アイドルを生成するための融合ユニット６０３とを含んでもよい。
図６は、本開示の第４の実施例による仮想アイドルの生成装置６０の構造概略図であり、例示的に、図６に示すように、該仮想アイドルの生成装置６０は、
ターゲットオブジェクトの特徴情報を取得するための取得ユニット６０１と、
予め設定された顔素材ライブラリから、特徴情報にマッチングするターゲット仮想顔を確定し、予め設定された動作ビデオライブラリから、特徴情報にマッチングするターゲット動作ビデオを確定するための確定ユニット６０２と、
ターゲット仮想顔とターゲット動作ビデオにおける顔画像を融合し、ターゲットオブジェクトに対応する仮想アイドルを生成するための融合ユニット６０３とを含んでもよい。
【0069】
選択的に、融合ユニット６０３は、第１の融合モジュール、第２の融合モジュール及び第３の融合モジュールを含む。
第１の融合モジュールは、ターゲット仮想顔と顔画像を融合し、ターゲット融合画像を得るために用いられる。
第１の融合モジュールは、ターゲット仮想顔と顔画像を融合し、ターゲット融合画像を得るために用いられる。
【0070】
第２の融合モジュールは、ターゲット融合画像を用いてターゲット動作ビデオにおける顔画像を替えることで、新しい動作ビデオを得るために用いられる。
第３の融合モジュールは、新しい動作ビデオに基づいて仮想アイドルを生成するために用いられる。
第３の融合モジュールは、新しい動作ビデオに基づいて仮想アイドルを生成するために用いられる。
【0071】
選択的に、第３の融合モジュールは、第１の融合サブモジュール及び第２の融合サブモジュールを含む。
第１の融合サブモジュールは、キーポイント検出技術を採用して、新しい動作ビデオにおけるキーポイントを抽出するために用いられ、ここでは、キーポイントは、顔部キーポイント、手部キーポイント及び肢体キーポイントを含む。
第１の融合サブモジュールは、キーポイント検出技術を採用して、新しい動作ビデオにおけるキーポイントを抽出するために用いられ、ここでは、キーポイントは、顔部キーポイント、手部キーポイント及び肢体キーポイントを含む。
【0072】
第２の融合サブモジュールは、顔部キーポイント、手部キーポイント及び肢体キーポイントに基づいて、仮想アイドルを作成するために用いられる。
選択的に、第１の融合モジュールは、第３の融合サブモジュール及び第４の融合サブモジュールを含む。
選択的に、第１の融合モジュールは、第３の融合サブモジュール及び第４の融合サブモジュールを含む。
【0073】
第３の融合サブモジュールは、顔融合ネットワークモデルを取得するために用いられる。
第４の融合サブモジュールは、ターゲット仮想顔と顔画像を顔融合ネットワークモデルに入力し、ターゲット融合画像を得るために用いられる。
第４の融合サブモジュールは、ターゲット仮想顔と顔画像を顔融合ネットワークモデルに入力し、ターゲット融合画像を得るために用いられる。
【0074】
選択的に、該仮想アイドルの生成装置６０は、撮影ユニット及び駆動ユニットをさらに含む。
撮影ユニットは、撮像機器によって、ユーザがターゲットオブジェクトをエンドースメントする時に実行したターゲット動作を撮影するために用いられる。
撮影ユニットは、撮像機器によって、ユーザがターゲットオブジェクトをエンドースメントする時に実行したターゲット動作を撮影するために用いられる。
【0075】
駆動ユニットは、仮想アイドルがターゲット動作を実行するように駆動するために用いられる。
選択的に、確定ユニット６０２は、第１の確定モジュール及び第２の確定モジュールを含む。
選択的に、確定ユニット６０２は、第１の確定モジュール及び第２の確定モジュールを含む。
【0076】
第１の確定モジュールは、特徴情報に対応するターゲット仮想顔タイプを確定するために用いられる。
第２の確定モジュールは、ターゲット仮想顔タイプに基づいて、予め設定された顔素材ライブラリからターゲット仮想顔を確定するために用いられる。
第２の確定モジュールは、ターゲット仮想顔タイプに基づいて、予め設定された顔素材ライブラリからターゲット仮想顔を確定するために用いられる。
【0077】
選択的に、顔素材ライブラリには複数の仮想顔が含まれ、且つ各仮想顔に仮想顔タイプがラベリングされ、第２の確定モジュールは、第１の確定サブモジュール及び第２の確定サブモジュールを含む。
【0078】
第１の確定サブモジュールは、予め設定された顔素材ライブラリから、ターゲット仮想顔タイプに対応する複数の仮想顔を確定し表示するために用いられる。
第２の確定サブモジュールは、複数の仮想顔における選択命令に応答し、複数の仮想顔からターゲット仮想顔を確定するために用いられる。
第２の確定サブモジュールは、複数の仮想顔における選択命令に応答し、複数の仮想顔からターゲット仮想顔を確定するために用いられる。
【0079】
選択的に、確定ユニット６０２は、第３の確定モジュール及び第４の確定モジュールをさらに含む。
第３の確定モジュールは、特徴情報に対応するターゲット服飾タイプを確定するために用いられる。
第３の確定モジュールは、特徴情報に対応するターゲット服飾タイプを確定するために用いられる。
【0080】
第４の確定モジュールは、ターゲット服飾タイプに基づいて、予め設定された動作ビデオライブラリからターゲット動作ビデオを確定するために用いられる。
選択的に、動作ビデオライブラリには複数の動作ビデオが含まれ、各動作ビデオの服飾に服飾タイプがラベリングされ、第４の確定モジュールは、第３の確定サブモジュール及び第４の確定サブモジュールを含む。
選択的に、動作ビデオライブラリには複数の動作ビデオが含まれ、各動作ビデオの服飾に服飾タイプがラベリングされ、第４の確定モジュールは、第３の確定サブモジュール及び第４の確定サブモジュールを含む。
【0081】
第３の確定サブモジュールは、予め設定された動作ビデオライブラリから、ターゲット服飾タイプに対応する複数の動作ビデオを確定し表示するために用いられる。
第４の確定サブモジュールは、複数の動作ビデオにおける選択命令に応答し、複数の動作ビデオからターゲット動作ビデオを確定するために用いられる。
第４の確定サブモジュールは、複数の動作ビデオにおける選択命令に応答し、複数の動作ビデオからターゲット動作ビデオを確定するために用いられる。
【0082】
本開示の実施例による仮想アイドルの生成装置６０は、上述したいずれか一つの実施例に示す仮想アイドルの生成方法の技術案を実行することができ、その実現原理及び有益な効果は、仮想アイドルの生成方法の実現原理及び有益な効果に類似し、仮想アイドルの生成方法の実現原理及び有益な効果を参照することができ、ここでは説明を省略する。
【0083】
本開示の実施例によれば、本開示は、電子機器、可読記憶媒体及びコンピュータプログラム製品をさらに提供する。
本開示の実施例によれば、本開示は、コンピュータプログラム製品であって、コンピュータプログラムを含み、コンピュータプログラムは可読記憶媒体に記憶され、電子機器の少なくとも一つのプロセッサは可読記憶媒体からコンピュータプログラムを読み出すことができ、電子機器が上述したいずれか一つの実施例による技術案を実行するように、少なくとも一つのプロセッサによってコンピュータプログラムが実行されるコンピュータプログラム製品を、さらに提供する。
本開示の実施例によれば、本開示は、コンピュータプログラム製品であって、コンピュータプログラムを含み、コンピュータプログラムは可読記憶媒体に記憶され、電子機器の少なくとも一つのプロセッサは可読記憶媒体からコンピュータプログラムを読み出すことができ、電子機器が上述したいずれか一つの実施例による技術案を実行するように、少なくとも一つのプロセッサによってコンピュータプログラムが実行されるコンピュータプログラム製品を、さらに提供する。
【0084】
図７は、本開示の実施例による電子機器７０の概略的ブロック図である。電子機器は、例えば、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ワークステーション、パーソナルディジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータのような各種の形式のデジタルコンピュータを示すことを目的とする。電子機器は、さらに、例えば、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブルデバイス及び他の類似の計算装置のような各種の形式の移動装置を示してもよい。本明細書に示される部品、それらの接続及び関係、並びにそれらの機能は、単に例示的なものに過ぎず、そして、本明細書に説明及び／又は請求された本開示の実現を限定することを意図しない。
【0085】
図７に示すように、機器７０は、リードオンリーメモリ（ＲＯＭ）７０２に記憶されたコンピュータプログラム、又は記憶ユニット７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたコンピュータプログラムに基づいて、各種の適切な動作及び処理を実行することができる計算ユニット７０１を含む。ＲＡＭ７０３には、機器７０の操作に必要な各種のプログラムとデータも記憶されてもよい。計算ユニット７０１、ＲＯＭ７０２及びＲＡＭ７０３は、バス７０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース７０５も、バス７０４に接続される。
【0086】
機器７０における複数の部品は、Ｉ／Ｏインターフェース７０５に接続され、例えばキーボード、マウスなどの入力ユニット７０６と、例えば各種のタイプのディスプレイ、スピーカーなどの出力ユニット７０７と、例えば磁気ディスク、光ディスクなどの記憶ユニット７０８と、例えばネットワークカード、モデム、無線通信送受信機などの通信ユニット７０９とを含む。通信ユニット７０９は、機器７０が例えばインタネットのようなコンピュータネットワーク及び／又は各種の電気通信ネットワークを介して他の機器と情報・データをやり取りすることを可能にする。
【0087】
計算ユニット７０１は、処理及び計算能力を有する各種の汎用及び／又は専用の処理コンポーネントであってもよい。計算ユニット７０１の幾つかの例として、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、各種の専用の人工知能（ＡＩ）計算チップ、各種の機械学習モデルアルゴリズムを運転する計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどが含まれるが、これらに限定されない。計算ユニット７０１は、前文で説明された各方法及び処理、例えば仮想アイドルの生成方法を実行する。例えば、幾つかの実施例では、仮想アイドルの生成方法は、機器可読媒体、例えば記憶ユニット７０８に有形的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。幾つかの実施例では、コンピュータプログラムの一部又は全ては、ＲＯＭ７０２及び／又は通信ユニット７０９を介して、機器７０にロード及び／又はインストールされてもよい。コンピュータプログラムがＲＡＭ７０３にロードされて計算ユニット７０１によって実行される場合、前文で説明された仮想アイドルの生成方法の一つ又は複数のステップを実行してもよい。代替的に、他の実施例では、計算ユニット７０１は、他の任意の適切な方式で（例えば、ファームウェアによって）、仮想アイドルの生成方法を実行するように配置されてもよい。
【0088】
本明細書に以上に説明されたシステム及び技術の各種の実施形態は、デジタル電子回路システム、集積回路システム、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現されてもよい。これらの各種の実施形態は、一つ又は複数のコンピュータプログラムにおいて実施され、該一つ又は複数のコンピュータプログラムは、少なくとも一つのプログラマブルプロセッサを含むプログラマブルシステムで実行及び／又は解釈されることができ、該プログラマブルプロセッサは専用又は汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及び命令を受信し、そして、データ及び命令を該記憶システム、該少なくとも一つの入力装置、該少なくとも一つの出力装置に伝送可能であることを含んでもよい。
【0089】
本開示の方法を実施するためのプログラムコードは、一つ又は複数のプログラミング言語の任意の組み合わせで書かれてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよく、プログラムコードがプロセッサ又はコントローラによって実行される時に、フローチャート及び／又はブロック図に規定された機能・操作が実施される。プログラムコードは完全に機器で実行されてもよく、部分的に機器で実行されてもよく、独立したソフトウェアパッケージとして部分的に機器で実行され、且つ部分的に遠隔機器又はサーバで実行されるか、又は完全に遠隔機器又はサーバで実行されてもよい。
【0090】
本開示のコンテキストにおいて、機器可読媒体は、有形の媒体であってもよく、命令実行システム、装置又は機器に使用されるか、又は命令実行システム、装置又は機器と組み合わせて使用されるプログラムを含むか又は記憶してもよい。機器可読媒体は、機器可読信号媒体又は機器可読記憶媒体であってもよい。機器可読媒体は、電子的なもの、磁気的なもの、光学的なもの、電磁的なもの、赤外線のもの、又は半導体システム、装置又は機器、又は上記内容の任意の適切な組み合わせを含んでもよいが、これらに限定されない。機器可読記憶媒体のより具体的な例は、一つ又は複数の線による電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、、携帯式コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶機器、磁気記憶機器、又は上記内容の任意の適切な組み合わせを含む。
【0091】
ユーザとのインタラクションを提供するために、コンピュータにおいて、ここで説明されたシステム及び技術を実施させてもよく、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティング装置（例えば、マウス又はトラックボール）とを備え、ユーザは該キーボード及び該ポインティング装置を介してコンピュータに入力を提供することができる。他の種類の装置は、さらに、ユーザとのインタラクションを提供するために用いられてもよく、例えば、ユーザに提供されたフードバンクは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、そして、任意の形式（音声入力、語言入力又は触覚入力を含む）でユーザからの入力を受信してもよい。
【0092】
ここで説明されたシステム及び技術は、バックグラウンド部品を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア部品を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド部品を含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、該グラフィカルユーザインタフェース又はウェブブラウザを介してここで説明されたシステム及び技術の実施形態とインタラクション可能である）、又はそれらのバックグラウンド部品、ミドルウェア部品、或いはフロントエンド部品の任意の組み合わせを含むコンピューティングシステムにおいて実施されてもよい。システムの部品は、任意の形式や媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されてもよい。通信ネットワークの一例として、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）及びインターネットを含む。
【0093】
コンピュータシステムは、クライアント及びサーバを含んでもよい。クライアント及びサーバは、一般的に相互に離れるとともに、通常、通信ネットワークを介してインタラクションを行う。該当するコンピュータ上で運転されるとともに相互にクライアント－サーバという関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が形成される。サーバは、クラウドコンピューティングサーバ又はクラウドホストとも呼ばれるクラウドサーバであってもよく、クラウドコンピューティングサービスシステムにおける一つのホスト製品であり、従来の物理ホストとＶＰＳサービス（「Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ」、または「ＶＰＳ」と略称する）に存在する管理の難易度が高く、業務の拡張性が弱いという欠陥を解決した。サーバは、分散型システムのサーバ、またはブロックチェーンを結合したサーバであってもよい。
【0094】
上述した各種の形式のフローを用いて、ステップを並べ替え、増加又は削除可能であることは理解すべきである。例えば、本開示に記載された各ステップは、並行に実行されてもよいし、順次に実行されてもよいし、異なる順次で実行されてもよく、本開示に開示された技術案で要望される結果を実現できる限り、本明細書はここで限定しない。
【0095】
上述した具体的な実施形態は、本開示の保護範囲に対する限定を構成するものではない。当業者であれば、設計要求及び他の要因に応じて、各種の修正、組み合わせ、サブ組み合わせ及び代替を行うことができると理解すべきである。本開示の趣旨及び原則内になされた任意の修正、同等置換及び改良などは、いずれも本開示の保護範囲に含まれるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【外国語明細書】