特許 7613388 情報処理装置、情報処理方法、及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-06

(45)【発行日】2025-01-15

(54)【発明の名称】情報処理装置、情報処理方法、及び情報処理プログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20250107BHJP

   G06T 15/04 20110101ALI20250107BHJP

【ＦＩ】

G06T19/00 A

G06T15/04

【請求項の数】 6

(21)【出願番号】P 2022009692

(22)【出願日】2022-01-25

(65)【公開番号】P2023108528

(43)【公開日】2023-08-04

【審査請求日】2023-11-24

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100187078

【弁理士】

【氏名又は名称】甲原 秀俊

(74)【代理人】

【識別番号】100195534

【弁理士】

【氏名又は名称】内海 一成

(72)【発明者】

【氏名】堀 達朗

【審査官】鈴木 明

(56)【参考文献】

【文献】特開２０１９－１９７５１９（ＪＰ，Ａ）

【文献】特開２０１４－１４９７１２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ １５／０４

(57)【特許請求の範囲】

【請求項1】

ユーザを撮影したユーザ画像を３次元オブジェクトの外面に描画することによって前記ユーザのアバターを生成する制御部を備え、
前記制御部は、
前記ユーザを撮影した新たな画像を取得し、
前記新たな画像から一部を除外した除外画像を生成し、
前記除外画像を前記ユーザ画像の少なくとも一部に重ねて前記３次元オブジェクトの外面に描画することによって前記ユーザのアバターを更新する、情報処理装置。

【請求項2】

前記制御部は、前記新たな画像から除外する部分を指定する入力を前記ユーザから受け付け、前記ユーザから受け付けた入力に基づいて前記除外画像を生成する、請求項１に記載の情報処理装置。

【請求項3】

前記制御部は、前記ユーザを複数の方向から撮影した複数の部分画像を取得し、前記各部分画像をつなぐことによって前記ユーザ画像を生成する、請求項１又は２に記載の情報処理装置。

【請求項4】

前記制御部は、前記ユーザ画像及び前記新たな画像に共通に含まれる前記ユーザの特徴を検出し、前記ユーザの特徴に基づいて前記除外画像を生成し、前記ユーザの特徴が前記ユーザ画像と前記除外画像とで重なるように前記除外画像を前記ユーザ画像の少なくとも一部に重ねて描画する、請求項１から３までのいずれか一項に記載の情報処理装置。

【請求項5】

ユーザを撮影したユーザ画像を３次元オブジェクトの外面に描画することによって前記ユーザのアバターを生成する情報処理方法であって、
前記ユーザを撮影した新たな画像を取得することと、
前記新たな画像から一部を除外した除外画像を生成することと、
前記除外画像を前記ユーザ画像の少なくとも一部に重ねて前記３次元オブジェクトの外面に描画することによって前記ユーザのアバターを更新することと
を含む情報処理方法。

【請求項6】

情報処理装置に、ユーザを撮影したユーザ画像を３次元オブジェクトの外面に描画することによって前記ユーザのアバターを生成させる情報処理プログラムであって、
前記情報処理装置に、前記ユーザを撮影した新たな画像を取得させることと、
前記情報処理装置に、前記新たな画像から一部を除外した除外画像を生成させることと、
前記情報処理装置に、前記除外画像を前記ユーザ画像の少なくとも一部に重ねて前記３次元オブジェクトの外面に描画することによって前記ユーザのアバターを更新させることと
を含む情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。

【背景技術】

【0002】

ユーザの画像を使ってアバターを生成する方法が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１１９１５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ユーザの画像に基づいてアバターを生成する場合に、アバターに反映させたくない情報が画像に含まれることがある。不要な情報が反映されないようにアバターを生成することが求められる。

【0005】

かかる事情に鑑みてなされた本開示の目的は、不要な情報が反映されないようにアバターを生成することにある。

【課題を解決するための手段】

【0006】

本開示の一実施形態に係る情報処理装置は、ユーザを撮影したユーザ画像に基づいて、前記ユーザのアバターを３次元オブジェクトとして生成する制御部を備える。前記制御部は、前記ユーザを撮影した新たな画像を取得し、前記新たな画像から一部を除外した除外画像を生成し、前記除外画像を前記ユーザ画像の少なくとも一部に重ねて描画することによって前記ユーザのアバターを更新する。

【0007】

本開示の一実施形態に係る情報処理方法は、ユーザを撮影したユーザ画像に基づいて、前記ユーザのアバターを３次元オブジェクトとして生成することを含む。前記情報処理方法は、前記ユーザを撮影した新たな画像を取得することを含む。前記情報処理方法は、前記新たな画像から一部を除外した除外画像を生成することを含む。前記情報処理方法は、前記除外画像を前記ユーザ画像の少なくとも一部に重ねて描画することによって前記ユーザのアバターを更新することを含む。

【0008】

本開示の一実施形態に係る情報処理プログラムは、情報処理装置に、ユーザを撮影したユーザ画像に基づいて、前記ユーザのアバターを３次元オブジェクトとして生成させる。前記情報処理プログラムは、前記情報処理装置に、前記ユーザを撮影した新たな画像を取得させる。前記情報処理プログラムは、前記情報処理装置に、前記新たな画像から一部を除外した除外画像を生成させる。前記情報処理プログラムは、前記情報処理装置に、前記除外画像を前記ユーザ画像の少なくとも一部に重ねて描画することによって前記ユーザのアバターを更新させる。

【発明の効果】

【0009】

本開示の一実施形態に係る情報処理装置、情報処理方法、及び情報処理プログラムによれば、不要な情報が反映されないようにアバターが生成され得る。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係る情報処理システムの構成例を示すブロック図である。

【図2】正面及び左右側面のユーザ画像の一例を示す図である。

【図3】図２のユーザ画像を合成した画像の一例を示す図である。

【図4】図３の合成画像を表面に貼り付けた３次元オブジェクトの例を示す図である。

【図5】新たなユーザ画像の一例を示す図である。

【図6】図５の新たなユーザ画像を図３の合成画像に重ねた例を示す図である。

【図7】新たなユーザ画像の一部を除外した除外画像の一例を示す図である。

【図8】図７の除外画像を図３の合成画像に重ねた例を示す図である。

【図9】一実施形態に係る情報処理方法の手順例を示すフローチャートである。

【発明を実施するための形態】

【0011】

（情報処理システム１の構成例）
図１に示されるように、一実施形態に係る情報処理システム１は、サーバ１０と、端末装置２０とを備える。端末装置２０は、ユーザによって所持されているとする。端末装置２０は、第１端末装置２０Ａを含むとする。第１端末装置２０Ａは、第１ユーザによって所持されているとする。端末装置２０は、必須ではないが第２端末装置２０Ｂを更に含んでもよい。第２端末装置２０Ｂは、第２ユーザによって所持されているとする。サーバ１０と端末装置２０とは、ネットワーク３０を介して互いに有線又は無線で通信可能に接続されるとする。サーバ１０と端末装置２０とは、ネットワーク３０を介さない有線又は無線の通信によって互いに通信可能に接続されてもよい。

【0012】

情報処理システム１は、ユーザを撮影した画像に基づいてユーザのアバターを生成するように構成される。ユーザを撮影した画像は、ユーザ画像とも称される。ユーザ画像は、ＲＧＢ画像を含んでよいし、ユーザのデプス画像を含んでもよい。以下、情報処理システム１の構成が説明される。

【0013】

＜サーバ１０＞
サーバ１０は、サーバ制御部１２と、サーバインタフェース１４とを備える。サーバインタフェース１４は、サーバＩ／Ｆ１４とも称される。

【0014】

サーバ制御部１２は、サーバ１０の少なくとも１つの構成部を制御する。サーバ制御部１２は、１つ以上のプロセッサを含んで構成されてよい。本実施形態において「プロセッサ」は、汎用のプロセッサ、特定の処理に特化した専用のプロセッサ等であるが、これらに限られない。サーバ制御部１２は、１つ以上の専用回路を含んで構成されてもよい。専用回路は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit）を含んでよい。サーバ制御部１２は、プロセッサの代わりに専用回路を含んで構成されてもよいし、プロセッサとともに専用回路を含んで構成されてもよい。

【0015】

サーバ１０は、記憶部を更に備えてよい。記憶部は、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。記憶部は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部は、磁気ディスク等の電磁記憶媒体を含んでよい。記憶部は、非一時的なコンピュータ読み取り可能な媒体を含んでよい。記憶部は、サーバ１０の動作に用いられる任意の情報を格納する。例えば、記憶部は、システムプログラム、又はアプリケーションプログラム等を格納してもよい。記憶部は、サーバ制御部１２に含まれてもよい。

【0016】

サーバＩ／Ｆ１４は、サーバ制御部１２から情報又はデータ等を出力したり、サーバ制御部１２に情報又はデータ等を入力したりする。サーバＩ／Ｆ１４は、ネットワーク３０を介して端末装置２０等の他の機器と通信可能に構成される通信モジュールを含んでよい。通信モジュールは、例えば４Ｇ（4th Generation）又は５Ｇ（5th Generation）等の移動体通信規格に対応してよい。通信モジュールは、ＬＡＮ（Local Area Network）等の通信規格に対応してもよい。通信モジュールは、有線又は無線の通信規格に対応してもよい。通信モジュールは、これらに限られず、種々の通信規格に対応してよい。サーバＩ／Ｆ１４は、通信モジュールに接続可能に構成されてもよい。

【0017】

サーバＩ／Ｆ１４は、ユーザから情報又はデータ等の入力を受け付ける入力デバイスを含んで構成されてよい。入力デバイスは、例えば、タッチパネル若しくはタッチセンサ、又はマウス等のポインティングデバイスを含んで構成されてよい。入力デバイスは、物理キーを含んで構成されてもよい。入力デバイスは、マイク等の音声入力デバイスを含んで構成されてもよい。

【0018】

サーバＩ／Ｆ１４は、ユーザに対して情報又はデータ等を出力する出力デバイスを含んで構成されてよい。出力デバイスは、例えば、画像又は文字若しくは図形等の視覚情報を出力する表示デバイスを含んでよい。表示デバイスは、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro-Luminescence）ディスプレイ若しくは無機ＥＬディスプレイ、又は、ＰＤＰ（Plasma Display Panel）等を含んで構成されてよい。表示デバイスは、これらのディスプレイに限られず、他の種々の方式のディスプレイを含んで構成されてよい。表示デバイスは、ＬＥＤ（Light Emission Diode）又はＬＤ（Laser Diode）等の発光デバイスを含んで構成されてよい。表示デバイスは、他の種々のデバイスを含んで構成されてよい。出力デバイスは、例えば、音声等の聴覚情報を出力するスピーカ等の音声出力デバイスを含んでよい。出力デバイスは、これらの例に限られず、他の種々のデバイスを含んでよい。

【0019】

サーバ１０は、１つ又は互いに通信可能な複数のサーバ装置を含んでよい。

【0020】

＜端末装置２０＞
端末装置２０は、端末制御部２２と、端末Ｉ／Ｆ２４とを備える。端末制御部２２は、１つ以上のプロセッサ又は１つ以上の専用回路を含んで構成されてよい。端末装置２０は、記憶部を更に含んで構成されてよい。端末装置２０の記憶部は、サーバ１０の記憶部と同一又は類似に構成されてよい。

【0021】

端末Ｉ／Ｆ２４は、通信モジュールを含んで構成されてよい。端末Ｉ／Ｆ２４は、サーバＩ／Ｆ１４と同一又は類似に構成されてよい。

【0022】

端末Ｉ／Ｆ２４は、ユーザから情報又はデータ等の入力を受け付ける入力デバイスを含んで構成されてよい。入力デバイスは、サーバＩ／Ｆ１４として説明された種々のデバイスを含んで構成されてよい。

【0023】

端末装置２０は、必須ではないが撮影部２６を更に備えてよい。撮影部２６は、ＲＧＢ画像を撮影するカメラ等の撮影デバイスを含んでよい。撮影部２６は、デプス画像を取得するデプスセンサ又はステレオカメラ等の測距デバイスを含んでよい。端末装置２０は、外部の撮影デバイス又は測距デバイスから、端末Ｉ／Ｆ２４によってユーザ画像を取得してもよい。端末装置Ｉ／Ｆ２４が撮影デバイス又は測距デバイスの機能を含んでもよい。

【0024】

端末装置２０は、必須ではないが表示部２８を更に備えてよい。表示部２８は、ユーザのアバターを含む仮想３次元空間を表示可能に構成されてよい。表示部２８は、サーバＩ／Ｆ１４の構成として例示したＬＣＤ等の種々の表示デバイスを含んで構成されてよい。端末Ｉ／Ｆ２４が表示部２８の機能を含んでもよい。

【0025】

情報処理システム１が備える端末装置２０の数は、１つに限られず、２つ以上であってよい。端末装置２０は、スマートフォン若しくはタブレット等の携帯端末、又は、ノートＰＣ（Personal Computer）若しくはタブレットＰＣ等のＰＣを含んで構成されてよい。端末装置２０は、これらの例に限られず、種々の機器を含んで構成されてよい。

【0026】

（情報処理システム１の動作例）
本実施形態に係る情報処理システム１において、サーバ１０又は端末装置２０の少なくとも一方がユーザのアバターを生成したり更新したりしてよい。ユーザのアバターを生成するサーバ１０又は端末装置２０は、情報処理装置とも総称される。以下、サーバ１０のサーバ制御部１２又は端末装置２０の端末制御部２２は、単に制御部と称される。サーバ１０のサーバＩ／Ｆ１４又は端末装置２０の端末Ｉ／Ｆ２４は、単にＩ／Ｆと称される。以下、情報処理装置がアバターを生成及び更新する動作例が説明される。

【0027】

＜アバターの生成＞
制御部は、ユーザを撮影した画像をユーザ画像として取得する。制御部は、ユーザを少なくとも２方向から撮影した画像をユーザ画像として取得してもよい。図２に例示されるように、制御部は、ユーザを左側面から撮影した部分画像５０Ｌと、ユーザを正面から撮影した部分画像５０Ｃと、ユーザを右側面から撮影した部分画像５０Ｒとをユーザ画像として取得してよい。本実施形態において、制御部は、ユーザ画像としてユーザのＲＧＢ画像及びデプス画像を両方とも取得する。図２に例示される画像は、ＲＧＢ画像であってよいし、デプス画像であってもよい。制御部は、ユーザ画像としてＲＧＢ画像だけを取得してもよい。制御部は、ユーザが所持する端末装置２０の端末Ｉ／Ｆ２４又は表示部２８によって、端末装置２０の撮影部２６を操作してユーザ自身を少なくとも２方向から撮影させる指示をユーザに対して出力してよい。制御部は、外部装置のカメラ又は測距センサ等によってユーザを少なくとも２方向から撮影させるように、カメラ又は測距センサに対するユーザの向きを調整するためにユーザに動いてもらう指示をユーザに対して出力してもよい。

【0028】

部分画像５０Ｌと部分画像５０Ｃとは、両方とも、ユーザの外観の特徴を表す第１ランドマーク５２を含むとする。部分画像５０Ｃと部分画像５０Ｒとは、両方とも、ユーザの外観の特徴を表す第２ランドマーク５４を含むとする。第１ランドマーク５２及び第２ランドマーク５４は、例えば、ユーザの目、鼻、口又は耳等のユーザの顔の特徴点に対応づけられてよい。第１ランドマーク５２及び第２ランドマーク５４は、例えば、ユーザの手、足、頭、首又は胴体等のユーザの身体の特徴点に対応づけられてもよい。第１ランドマーク５２及び第２ランドマーク５４は、単にランドマークとも称される。ユーザ画像においてユーザの外観の特徴とみなされない部分は、通常点５６と称される。制御部は、ユーザ画像とともに、第１ランドマーク５２及び第２ランドマーク５４等のユーザの外観の特徴に関する情報を取得してよい。制御部は、ユーザ画像から、第１ランドマーク５２及び第２ランドマーク５４等のユーザの外観の特徴を検出してもよい。

【0029】

制御部は、第１ランドマーク５２の位置に基づいて部分画像５０Ｌと部分画像５０Ｃとを合成し、第２ランドマーク５４の位置に基づいて部分画像５０Ｃと部分画像５０Ｒとを合成することによって、図３に例示される合成画像６０を生成できる。合成画像６０は、部分画像５０Ｌと部分画像５０Ｃと部分画像５０Ｒとを合成した画像である。合成画像６０は、ユーザのアバターを生成するために用いられる。合成画像６０は、ユーザのＲＧＢ画像を合成した画像を含んでよいし、ユーザのデプス画像を合成した画像を含んでもよい。合成画像６０は、ユーザのＲＧＢ画像とデプス画像とを合成した画像として生成されてもよい。

【0030】

ユーザ画像において第１ランドマーク５２及び第２ランドマーク５４等のユーザの特徴が検出される位置がユーザ画像の端に近いほど、２枚のユーザ画像が合成される場合に重複する領域の面積が小さくなる。重複する領域の面積が小さいほど、合成画像６０の面積が広げられ得る。制御部は、第１ランドマーク５２及び第２ランドマーク５４等のユーザの特徴がユーザ画像の端に近い位置で検出されるようにユーザ画像を取得してよい。例えば、制御部は、ユーザ画像を取得する際に、ユーザの特徴がユーザ画像の端に近い位置に写るようにユーザに動いてもらう指示をユーザに対して出力してもよい。また、制御部は、２枚以上のユーザ画像を取得する際に、少なくとも２枚のユーザ画像それぞれに共通の特徴が写るようにユーザに動いてもらう指示をユーザに対して出力してもよい。

【0031】

制御部は、図４に例示されるように、３次元オブジェクト４０の外面に合成画像６０を描画する（貼り付ける）ことによって、ユーザのアバターを３次元オブジェクト４０として生成してよい。図４に例示される３次元オブジェクト４０は、正面４２と側面４４とを有する。正面４２と側面４４とは、曲面で接続されているとする。制御部は、３次元オブジェクト４０の側面４４に合成画像６０のうち左側面の部分画像５０Ｌの部分を描画する。制御部は、３次元オブジェクト４０の正面４２に合成画像６０のうち正面の部分画像５０Ｃの部分を描画する。この場合、合成画像６０において部分画像５０Ｌと部分画像５０Ｃとが重なる部分は、３次元オブジェクト４０の正面４２と側面４４との間をつなぐ曲面に描画される。

【0032】

図４の例において、３次元オブジェクト４０の外面に沿って合成画像６０が描画されている。合成画像６０がデプス画像を含む場合、制御部は、デプス画像によって特定される凹凸を３次元オブジェクト４０の外面の形状に反映させてよい。

【0033】

ユーザ画像としてユーザを１方向から撮影した１枚の画像が取得された場合、制御部は、その１枚の画像を３次元オブジェクト４０の外面に沿って描画することによってアバターを生成してよい。

【0034】

３次元オブジェクト４０の外面の形状は、図４に例示したように角がＲ面取り形状になっている角柱形状に限られず、種々の平面又は曲面によって表される種々の形状であってよい。３次元オブジェクト４０の外面の形状は、例えば楕円面を含む形状であってもよいし、複数の立体を組み合わせた形状であってもよい。

【0035】

図３及び図４に例示されている合成画像６０において、第１ランドマーク５２、第２ランドマーク５４及び通常点５６は、間隔を空けて配置されている。合成画像６０は、第１ランドマーク５２、第２ランドマーク５４及び通常点５６がつながるように構成されてよい。制御部は、３次元オブジェクト４０の外面に合成画像６０を描画する際に、第１ランドマーク５２、第２ランドマーク５４及び通常点５６がつながるように描画してよい。制御部は、第１ランドマーク５２、第２ランドマーク５４及び通常点５６の間の部分を、あらかじめ設定されているユーザの肌の色等に基づいて描画してもよい。

【0036】

以上述べてきたように、情報処理システム１において、ユーザ画像に基づいてユーザのアバターが生成され得る。サーバ１０は、端末装置２０で取得されたユーザ画像に基づいてアバターを生成してよいし、外部装置で取得されたユーザ画像に基づいてアバターを生成してもよい。第１端末装置２０Ａは、第２端末装置２０Ｂで取得されたユーザ画像に基づいてアバターを生成してよいし、第１端末装置２０Ａ自身で取得したユーザ画像に基づいてアバターを生成してもよい。逆に、第２端末装置２０Ｂは、第１端末装置２０Ａで取得されたユーザ画像に基づいてアバターを生成してよいし、第２端末装置２０Ｂ自身で取得したユーザ画像に基づいてアバターを生成してもよい。

【0037】

＜アバターの表示＞
サーバ１０がアバターを生成した場合、サーバ１０は、端末装置２０にアバターの情報を出力して端末装置２０の表示部２８にアバターを表示させてよい。端末装置２０がアバターを生成した場合、端末装置２０は、端末装置２０自身の表示部２８でアバターを表示してもよいし、他の端末装置２０にアバターの情報を出力して他の端末装置２０の表示部２８にアバターを表示させてもよい。

【0038】

端末装置２０の端末制御部２２は、アバターを仮想３次元空間内に表示してよい。アバターは、仮想３次元空間内で回転自在に表示され得るオブジェクトとして構成されてよい。

【0039】

アバターは、端末装置２０に限られず、外部の表示装置に表示されてもよい。

【0040】

＜アバターの更新＞
制御部は、図５に例示されるように、新たなユーザ画像７０を取得する。新たなユーザ画像７０は、アバターを生成する際に用いられた部分画像５０Ｌ、５０Ｃ又は５０Ｒ等と同じ方向から撮影された画像を含んでよいし、異なる方向から撮影された画像を含んでもよい。制御部は、新たなユーザ画像７０に含まれる第１ランドマーク５２又は第２ランドマーク５４等のユーザの外観の特徴に関する情報を取得する。図５において、新たなユーザ画像７０は、第１ランドマーク５２を含むとする。制御部は、新たなユーザ画像７０とともに、新たなユーザ画像７０に含まれるユーザの外観の特徴に関する情報を取得してもよい。制御部は、新たなユーザ画像７０から、ユーザの外観の特徴を検出してもよい。新たなユーザ画像７０においてユーザの外観の特徴とみなされない部分は、通常点７６と称される。

【0041】

既にアバターで用いられている合成画像６０に含まれる第１ランドマーク５２又は第２ランドマーク５４等のユーザの外観の特徴が新たなユーザ画像７０にも含まれる場合、制御部は、その特徴の位置に基づいて合成画像６０を更新してよい。具体的に、制御部は、合成画像６０に含まれる特徴と新たなユーザ画像７０に含まれる特徴とが重なるように、合成画像６０に新たなユーザ画像７０を重ねて描画する（上書きする）ことによって、合成画像６０を更新してよい。

【0042】

制御部は、例えば図６に示されるように、合成画像６０に含まれる第１ランドマーク５２の位置と新たなユーザ画像７０に含まれる第１ランドマーク５２の位置とが合うように、合成画像６０に対して新たなユーザ画像７０を重ねて描画してよい。この場合、新たなユーザ画像７０は、合成画像６０よりも下にはみ出して描画される。制御部は、元の合成画像６０からはみ出した部分を拡張した画像として合成画像６０を更新してよい。合成画像６０は、元の合成画像６０からはみ出した部分を削除した画像として合成画像６０を更新してもよい。

【0043】

ユーザは、新たなユーザ画像７０に写っている情報の一部をアバターに反映させたくないことがある。ユーザは、例えば、髪型の変更、又は、服装等の首よりも下の部分の変更をアバターに反映させたくないことがある。制御部は、新たなユーザ画像７０において、アバターに反映させない部分を除外した画像によって合成画像６０を更新してよい。

【0044】

制御部は、例えば図７に示されるように、新たなユーザ画像７０のうち、ユーザがアバターに反映させたくない部分を除外範囲８２として認識する。除外範囲８２に含まれる点は、除外点７８と称される。制御部は、新たなユーザ画像７０から除外範囲８２を除外した画像を除外画像８０として生成する。図７のユーザ画像７０において、第１ランドマーク５２は、ユーザの首であるとする。この場合、首より下の部分の変更をアバターに反映させたくないというユーザの意向が除外範囲８２に反映されている。

【0045】

制御部は、例えば図８に示されるように、除外画像８０を用いて合成画像６０を更新してよい。制御部は、除外画像８０に含まれる第１ランドマーク５２の位置と合成画像６０に含まれる第１ランドマーク５２の位置とが合うように、合成画像６０に対して除外画像８０を重ねて描画してよい。このようにすることで、ユーザがアバターに反映させたくなかった部分について、合成画像６０が更新されない。

【0046】

制御部は、ユーザが指定した情報に基づいて除外範囲８２を特定してよい。制御部は、ユーザが指定した身体の部位に基づいて除外範囲８２を特定してよい。また、制御部は、ユーザの特徴に基づいて除外範囲８２を特定してよい。具体的に、制御部は、除外範囲８２を特定するための基準になるユーザの特徴を指定する入力を受け付けてよい。制御部は、例えばユーザの首を基準として首よりも下の部分（服装等）を除外範囲８２にするように指定する情報の入力を受け付けてよい。また、制御部は、ユーザから、例えばユーザの目を基準として目よりも上の部分（髪型等）を除外範囲８２にするように指定する情報の入力を受け付けてよい。制御部は、ユーザが指定した色に基づいて除外範囲８２を特定してもよい。制御部は、ユーザ画像からユーザの骨格を検出し、骨格の検出結果に基づいて除外範囲８２を特定してしてもよい。

【0047】

以上述べてきたように、情報処理システム１において、新たなユーザ画像７０に基づいてユーザのアバターが更新され得る。サーバ１０は、端末装置２０で取得されたユーザ画像７０に基づいてアバターを更新してよいし、外部装置で取得されたユーザ画像７０に基づいてアバターを更新してもよい。第１端末装置２０Ａは、第２端末装置２０Ｂで取得されたユーザ画像７０に基づいてアバターを更新してよいし、第１端末装置２０Ａ自身で取得したユーザ画像７０に基づいてアバターを更新してもよい。逆に、第２端末装置２０Ｂは、第１端末装置２０Ａで取得されたユーザ画像７０に基づいてアバターを更新してよいし、第２端末装置２０Ｂ自身で取得したユーザ画像７０に基づいてアバターを更新してもよい。

【0048】

また、アバターの更新は、最初にアバターを生成した装置と同じ装置によって実行されてもよいし、異なる装置によって実行されてもよい。例えば、サーバ１０によって最初に生成されたアバターは、サーバ１０によって更新されてもよいし、端末装置２０によって更新されてもよい。第１端末装置２０Ａによって最初に生成されたアバターは、第１端末装置２０Ａによって更新されてもよいし、サーバ１０又は第２端末装置２０Ｂによって更新されてもよい。

【0049】

更新されたアバターは、最初に生成されたときと同一又は類似の態様で端末装置２０の表示部２８に表示されてよいし、外部の表示装置に表示されてよい。

【0050】

＜情報処理方法の手順例＞
以上述べてきたように、本実施形態に係る情報処理システム１において、サーバ１０又は端末装置２０を含む情報処理装置は、ユーザ画像に基づいてユーザのアバターを３次元オブジェクト４０として生成する。情報処理装置の制御部は、例えば図９に例示されるフローチャートの手順を含む情報処理方法を実行してよい。情報処理方法は、情報処理装置の制御部に実行させる情報処理プログラムとして実現されてもよい。

【0051】

制御部は、ユーザ画像を取得する（ステップＳ１）。制御部は、合成画像６０及び３次元オブジェクト４０としてのアバターを生成する（ステップＳ２）。制御部は、新たなユーザ画像７０を取得する（ステップＳ３）。

【0052】

制御部は、新たなユーザ画像７０からランドマークを検出できるか判定する（ステップＳ４）。言い換えれば、制御部は、新たなユーザ画像７０にランドマークが含まれるか判定する。制御部は、新たなユーザ画像７０からランドマークを検出できない場合（ステップＳ４：ＮＯ）、新たなユーザ画像７０によって合成画像６０を更新せずに図９のフローチャートの手順を終了する。

【0053】

制御部は、新たなユーザ画像７０からランドマークを検出できる場合（ステップＳ４：ＹＥＳ）、新たなユーザ画像７０において除外範囲８２が設定されているか判定する（ステップＳ５）。具体的に、制御部は、ユーザからアバターに反映させたくない部分を指定する入力を受け付けた場合又は除外範囲８２を設定する情報を取得した場合に除外範囲８２が設定されていると判定してよい。逆に、制御部は、ユーザからアバターに反映させたくない部分を指定する入力を受け付けておらず、かつ、除外範囲８２を設定する情報を取得していない場合に除外範囲８２が設定されていないと判定してよい。

【0054】

制御部は、除外範囲８２が設定されていない場合（ステップＳ５：ＮＯ）、ステップＳ７の手順に進む。制御部は、除外範囲８２が設定されている場合（ステップＳ５：ＹＥＳ）、新たなユーザ画像７０から除外範囲８２を除外した画像を除外画像８０として生成する（ステップＳ６）。制御部は、新たなユーザ画像７０又は除外画像８０に基づいて、合成画像６０及びアバターを更新する（ステップＳ７）。具体的に、制御部は、除外画像８０を生成した場合、除外画像８０によって合成画像６０を更新し、更新した合成画像６０によって３次元オブジェクト４０の外面を描画することによってアバターを更新する。また、制御部は、除外画像８０を生成しなかった場合、新たなユーザ画像７０によって合成画像６０を更新し、更新した合成画像６０によって３次元オブジェクト４０の外面を描画することによってアバターを更新する。制御部は、ステップＳ７の手順の実行後、図９のフローチャートの手順を終了する。

【0055】

＜小括＞
以上述べてきたように本実施形態に係る情報処理システム１、サーバ１０及び端末装置２０、並びに情報処理方法によれば、ユーザ画像に基づいてアバターが生成される。また、新たなユーザ画像７０に基づいてアバターを更新する際に、アバターに反映させる情報から、ユーザによって指定された情報が除外される。このようにすることで、不要な情報が反映されないようにアバターが生成される。その結果、ユーザの要望がかなえられる。

【0056】

（他の実施形態）
情報処理装置の制御部は、アバターを表示させる複数のアプリケーションが存在する場合、各アプリケーションと連携して各アプリケーションで用いられる態様のアバターを別々に生成してよい。制御部は、端末装置２０で各アプリケーションにログインしたユーザのアバターを生成するために必要なユーザ画像を特定してよい。例えば、制御部は、ユーザの側面又は背面から撮影した画像が必要か決定してよい。制御部は、ユーザの顔を撮影した画像が必要か決定してよい。制御部は、ユーザの全身を撮影した画像が必要か決定してよい。

【0057】

制御部は、必要なユーザ画像を端末装置２０で取得できるように、ユーザによる端末装置２０の操作を誘導してよい。例えば、制御部は、端末装置２０でユーザをどの方向から撮影するかを指定してよい。制御部は、端末装置２０でユーザを撮影する範囲を指定してもよい。制御部は、端末装置２０でユーザの身体のどの部位を撮影するかを指定してもよい。制御部は、ランドマークとなり得る部位が撮影されるようにユーザの操作を誘導してもよい。

【0058】

端末装置２０の端末制御部２２は、ユーザ画像を取得するためのアプリケーションソフトウェアを実行してもよい。ユーザ画像を取得するためのアプリケーションソフトウェアは、撮影アプリケーションとも称される。撮影アプリケーションは、アバターを表示させるアプリケーションと連携されてもよい。

【0059】

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び改変を行うことが可能であることに注意されたい。したがって、これらの変形及び改変は本開示の範囲に含まれることに留意されたい。例えば、各手段又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

【符号の説明】

【0060】

１ 情報処理システム
１０ サーバ（１２：サーバ制御部、１４：サーバＩ／Ｆ）
２０ 端末装置（２０Ａ：第１端末装置、２０Ｂ：第２端末装置、２２：端末制御部、２４：端末Ｉ／Ｆ、２６：撮影部、２８：表示部）
３０ ネットワーク
４０ ３次元オブジェクト（４２：正面、４４：側面）
５０Ｌ、５０Ｃ、５０Ｒ 左側面、正面、右側面のユーザ画像
５２、５４ 第１ランドマーク、第２ランドマーク
５６ 通常点
６０ 合成画像
７０ 新たな画像（７６：通常点、７８：除外対象点）
８０ 除外画像（８２：除外範囲）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】