特開 2022-37891 ３次元ポーズデータ生成システム、方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022037891

(43)【公開日】2022-03-09

(54)【発明の名称】３次元ポーズデータ生成システム、方法、プログラム

(51)【国際特許分類】

   G06T 13/40 20110101AFI20220302BHJP

   G06T 1/00 20060101ALI20220302BHJP

   G06F 16/55 20190101ALI20220302BHJP

   G06F 16/58 20190101ALI20220302BHJP

【ＦＩ】

G06T13/40

G06T1/00 200E

G06F16/55

G06F16/58

【審査請求】有

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021114830

(22)【出願日】2021-07-12

(31)【優先権主張番号】P 2020141330

(32)【優先日】2020-08-25

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】596021562

【氏名又は名称】株式会社セルシス

(74)【代理人】

【識別番号】100131451

【弁理士】

【氏名又は名称】津田 理

(74)【代理人】

【識別番号】100167933

【弁理士】

【氏名又は名称】松野 知紘

(74)【代理人】

【識別番号】100174137

【弁理士】

【氏名又は名称】酒谷 誠一

(74)【代理人】

【識別番号】100184181

【弁理士】

【氏名又は名称】野本 裕史

(72)【発明者】

【氏名】片岡 猛

(72)【発明者】

【氏名】山口 兼太郎

【テーマコード（参考）】

5B050

5B175

【Ｆターム（参考）】

5B050BA09

5B050BA12

5B050CA06

5B050CA07

5B050FA10

5B050FA19

5B050GA08

5B175DA02

5B175FA03

5B175FB02

5B175FB03

(57)【要約】

【課題】 所望のポーズに関連するフリーワードが入力された場合に、その所望のポーズに近い３次元ポーズデータを新たに生成することのできる３次元ポーズデータ生成システムを提供する。
【解決手段】 ３次元ポーズデータ生成システム１は、所望のポーズに関連するフリーワードが入力された場合に、入力されたフリーワードを検索キーとして、フリーワードに関連する１つまたは複数の動物画像を検索するための処理を行い、検索により得られた１つまたは複数の動物画像に基づいて３次元ポーズデータを生成することにより、所望のポーズに近い３次元ポーズデータを得る。
【選択図】 図１

【特許請求の範囲】

【請求項1】

３次元キャラクタに適用可能な３次元ポーズデータを生成する３次元ポーズデータ生成システムであって、
所望のポーズに関連するフリーワードがテキストで入力されると、前記入力されたフリーワードを検索キーとして、前記フリーワードに関連する１つまたは複数の動物画像を検索するための処理を行う画像検索部と、
前記検索により得られた１つまたは複数の動物画像に基づいて３次元ポーズデータを生成することにより、前記所望のポーズに近い３次元ポーズデータを得るポーズデータ生成部と、
を備える、３次元ポーズデータ生成システム。

【請求項2】

請求項１に記載の３次元ポーズデータ生成システムであって、
前記画像検索部は、インターネットを含むネットワークを介して、前記フリーワードに関連する１つまたは複数の動物画像を取得する、
３次元ポーズデータ生成システム。

【請求項3】

請求項１または２に記載の３次元ポーズデータ生成システムであって、
前記ポーズデータ生成部が複数の３次元ポーズデータを生成した場合に、前記複数の３次元ポーズデータの分布が、Ｎ個のクラスタを構成するか否かを判定するクラスタ判定部と、
Ｎ個のクラスタを構成すると判定された場合に、各クラスタの３次元ポーズデータの平均の３次元ポーズデータを算出する平均算出部と、
を更に備える、３次元ポーズデータ生成システム。

【請求項4】

請求項１または２に記載の３次元ポーズデータ生成システムであって、
前記ポーズデータ生成部が複数の３次元ポーズデータを生成した場合に、前記複数の３次元ポーズデータの分布が、Ｎ個のクラスタを構成するか否かを判定するクラスタ判定部と、
Ｎ個のクラスタを構成すると判定された場合に、前記複数の３次元ポーズデータのなかに、前記クラスタから乖離した３次元ポーズデータが存在するか否かを判定する乖離判定部と、
前記乖離した３次元ポーズデータを除外するポーズ除外部と、
を更に備える、３次元ポーズデータ生成システム。

【請求項5】

請求項１ないし４のいずれか１項に記載の３次元ポーズデータ生成システムであって、
前記所望のポーズに関連するフリーワードが音声で入力される場合に、前記入力された音声をテキストに変換する音声変換部、
を更に備え、
前記音声から変換されたテキストは、前記画像検索部に、前記所望のポーズに関連するフリーワードのテキストとして入力される、３次元ポーズデータ生成システム。

【請求項6】

請求項１ないし５のいずれか１項に記載の３次元ポーズデータ生成システムであって、
前記ポーズデータ生成部で生成された前記３次元ポーズデータに基づく３次元ポーズデータを３次元キャラクタに適用することにより、前記３次元キャラクタに前記所望のポーズに近いポーズを付与するポーズ付与部、
を更に備える、３次元ポーズデータ生成システム。

【請求項7】

請求項１ないし６のいずれか１項に記載の３次元ポーズデータ生成システムであって、
前記所望のポーズに関連する検索用画像が入力され、前記検索用画像に関連するフリーワードを生成することにより前記所望のポーズに関連するフリーワードのテキストを得るフリーワード生成部、
を更に備える、３次元ポーズデータ生成システム。

【請求項8】

３次元キャラクタに適用可能な３次元ポーズデータを生成する３次元ポーズデータ生成方法であって、
所望のポーズに関連するフリーワードがテキストで入力されると、前記入力されたフリーワードを検索キーとして、前記フリーワードに関連する１つまたは複数の動物画像を検索するための処理を行うステップと、
前記検索により得られた１つまたは複数の動物画像に基づいて３次元ポーズデータを生成することにより、前記所望のポーズに近い３次元ポーズデータを得るステップと、
を含む、３次元ポーズデータ生成方法。

【請求項9】

請求項８に記載の３次元ポーズデータ生成方法であって、
前記動物画像を検索するステップでは、
インターネットを含むネットワークを介して、前記フリーワードに関連する１つまたは複数の動物画像を取得する、
３次元ポーズデータ生成方法。

【請求項10】

請求項８または９に記載の３次元ポーズデータ生成方法であって、
前記３次元ポーズデータを得るステップにおいて、複数の３次元ポーズデータが生成された場合に、前記複数の３次元ポーズデータの分布が、Ｎ個のクラスタを構成するか否かを判定するステップと、
Ｎ個のクラスタを構成すると判定された場合に、各クラスタの３次元ポーズデータの平均の３次元ポーズデータを算出するステップと、
を更に含む、３次元ポーズデータ生成方法。

【請求項11】

請求項８または９に記載の３次元ポーズデータ生成方法であって、
前記３次元ポーズデータを得るステップにおいて、複数の３次元ポーズデータが生成された場合に、前記複数の３次元ポーズデータの分布が、Ｎ個のクラスタを構成するか否かを判定するステップと、
Ｎ個のクラスタを構成すると判定された場合に、前記複数の３次元ポーズデータのなかに、前記クラスタから乖離した３次元ポーズデータが存在するか否かを判定するステップと、
前記乖離した３次元ポーズデータを除外するステップと、
を更に含む、３次元ポーズデータ生成方法。

【請求項12】

請求項８ないし１１のいずれか１項に記載の３次元ポーズデータ生成方法であって、
前記所望のポーズに関連するフリーワードが音声で入力される場合に、前記入力された音声をテキストに変換するステップを更に含み、
前記音声から変換されたテキストは、前記検索するための処理を行うステップにおいて、前記所望のポーズに関連するフリーワードのテキストとして入力される、３次元ポーズデータ生成方法。

【請求項13】

請求項８ないし１２のいずれか１項に記載の３次元ポーズデータ生成方法であって、
前記３次元ポーズデータを得るステップで生成された前記３次元ポーズデータに基づく３次元ポーズデータを３次元キャラクタに適用することにより、前記３次元キャラクタに前記所望のポーズに近いポーズを付与するステップ、
を更に含む、３次元ポーズデータ生成方法。

【請求項14】

請求項８ないし１３のいずれか１項に記載の３次元ポーズデータ生成方法であって、
前記所望のポーズに関連する検索用画像が入力され、前記検索用画像に関連するフリーワードを生成することにより前記所望のポーズに関連するフリーワードのテキストを得るステップ、
を更に含む、３次元ポーズデータ生成方法。

【請求項15】

３次元キャラクタに適用可能な３次元ポーズデータを生成するプログラムであって、
前記プログラムは、コンピュータに、
所望のポーズに関連するフリーワードがテキストで入力されると、前記入力されたフリーワードを検索キーとして、前記フリーワードに関連する１つまたは複数の動物画像を検索するための処理と、
前記検索により得られた１つまたは複数の動物画像に基づいて３次元ポーズデータを生成することにより、前記所望のポーズに近い３次元ポーズデータを得る処理と、
を実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元キャラクタに適用可能な３次元ポーズデータを生成するシステム、方法、プログラムに関する。

【背景技術】

【0002】

コンピュータグラフィックスにおける３次元キャラクタにポーズ（姿勢）を付ける際、ユーザは自ら該キャラクタの各部位を手作業で動かしてポーズを付け、所望のポーズを取らせていた。この手法は手作業で行われるため、ユーザは該作業に非常に手間と時間を取られていた。

【0003】

従来、姿勢をとる人体または動物体を、順運動学（Forward Kinematics：FK）または逆運動学（Inverse Kinematics：IK）によりシミュレートするための方法が提案されている（例えば、特許文献１参照）。しかしながら、この従来の方法においては、人体又は動物体に対するポーズの抽出・付与について、何ら言及されていない。

【0004】

また、あらかじめ用意されたポーズ集の中からユーザが任意のポーズを選択して、３次元キャラクタに該ポーズを付与するようにすれば、簡単にポーズを付与することができ、便利であるが、所望のポーズをユーザの目視で探すのに手間と時間が要される。

【0005】

そこで、ポーズデータごとに簡潔なキーワードをタグとして付加しておき、キーワードによってポーズデータの検索を可能とする方法が考えられる。また、ポーズデータごとに一意の名前（テキスト）などを付けておき、名前によってポーズデータを選択する方法が考えられる（例えば、特許文献２参照）。また、事前に特徴的なポーズデータをテンプレート化しておき、音声やテキストを入力として、該当するテンプレートを選択する方法が考えられる（例えば、特許文献３）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１８－０９２６２３号公報

【特許文献2】特開２００４－０１３４８６号公報

【特許文献3】特開２０１９－０９１１３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、ポーズごとに簡潔なキーワードをタグとして付加する方法では、ポーズライブラリを作成するには多くの工数を必要とするうえ、付加したキーワード以外のテキストでは、所望のポーズを検索することができない。また、この方法では、あらかじめ用意されたポーズ集の中からしかポーズを選択することができず、所望のポーズに関連するフリーワードが入力された場合に、その所望のポーズに対応するポーズデータを新たに生成することができない。

【0008】

同様に、ポーズごとに付与した一意の名前（テキスト）によってポーズデータを選択する方法や、音声やテキストによって該当するテンプレートを選択する方法においても、予め用意されたポーズデータやテンプレートの中からしかポーズを選択することができず、所望のポーズに関連するフリーワードが入力された場合に、その所望のポーズに対応するポーズデータを新たに生成することができない。

【0009】

本発明は、上記の課題に鑑みてなされたもので、所望のポーズに関連するフリーワードが入力された場合であっても、その所望のポーズに近い３次元ポーズデータを新たに生成することのできる３次元ポーズデータ生成システムを提供することを目的とする。なお、本明細書における「動物」は人物を含む。また、本明細書における「動物」には、擬人化したキャラクタも含まれる。また、「人物画像」を「動物画像」と上位概念化することができる。すなわち、「動物画像」には「人物画像」が含まれる。

【課題を解決するための手段】

【0010】

本発明の３次元ポーズデータ生成システムは、３次元キャラクタに適用可能な３次元ポーズデータを生成する３次元ポーズデータ生成システムであって、所望のポーズに関連するフリーワードがテキストで入力されると、前記入力されたフリーワードを検索キーとして、前記フリーワードに関連する１つまたは複数の動物画像を検索するための処理を行う画像検索部と、前記検索により得られた１つまたは複数の動物画像に基づいて３次元ポーズデータを生成することにより、前記所望のポーズに近い３次元ポーズデータを得るポーズデータ生成部と、を備えている。

【0011】

これにより、所望のポーズを表す文言がフリーワードで入力されると、そのフリーワードに関連する動物画像が検索され、その動物画像に基づいて、所望のポーズを３次元キャラクタにポーズを適用するための３次元ポーズデータが生成される。このようにして、所望のポーズに近い３次元ポーズデータを新たに生成することができる。より詳細には、画像検索で得られた動物画像の多くは、そのフリーワードで表現されるポーズの動物の画像となる。得られた動物画像に基づいて、その画像に写っている動物のポーズに近い３次元ポーズデータを生成する。結果として、所望のポーズに近い３次元ポーズデータが得られる。

【0012】

また、本発明の３次元ポーズデータ生成システムでは、前記画像検索部は、インターネットを含むネットワークを介して、前記フリーワードに関連する１つまたは複数の動物画像を取得してもよい。

【0013】

これにより、画像検索のソースとしてネットワーク回線に繋がったリソースが含まれ、大量のデータから多様な動物画像を取得することが可能になる。

【0014】

また、本発明の３次元ポーズデータ生成システムは、前記ポーズデータ生成部が複数の３次元ポーズデータを生成した場合に、前記複数の３次元ポーズデータの分布が、Ｎ個のクラスタを構成するか否かを判定するクラスタ判定部と、Ｎ個のクラスタを構成すると判定された場合に、各クラスタの３次元ポーズデータの平均の３次元ポーズデータを算出する平均算出部と、を更に備えてもよい。

【0015】

これにより、個々のポーズが得られるのではなく、クラスタの平均のポーズが得られる。したがって、ユーザはより効率的に、入力されたフリーワードに近いポーズを選択することができる。また、全体の平均が得られるのではなく、クラスタ毎の平均が得られるので、好ましくないポーズが得られるのを防ぐことができる。

【0016】

また、本発明の３次元ポーズデータ生成システムは、前記ポーズデータ生成部が複数の３次元ポーズデータを生成した場合に、前記複数の３次元ポーズデータの分布が、Ｎ個のクラスタを構成するか否かを判定するクラスタ判定部と、Ｎ個のクラスタを構成すると判定された場合に、前記複数の３次元ポーズデータのなかに、前記クラスタから乖離した３次元ポーズデータが存在するか否かを判定する乖離判定部と、前記乖離した３次元ポーズデータを除外するポーズ除外部と、を更に備えてもよい。

【0017】

画像検索結果にユーザの所望しない動物画像が混入している場合には、当該動物画像から好ましくない３次元ポーズデータが得られるが、上記のシステムにより、クラスタから乖離した３次元ポーズデータが排除され、そのような好ましくない３次元ポーズデータを除去することが可能となる。

【0018】

また、本発明の３次元ポーズデータ生成システムは、前記所望のポーズに関連するフリーワードが音声で入力される場合に、前記入力された音声をテキストに変換する音声変換部、を更に備え、前記音声から変換されたテキストは、前記画像検索部に、前記所望のポーズに関連するフリーワードのテキストとして入力されてもよい。

【0019】

これにより、テキスト入力を伴わずして、所望のポーズに関連するフリーワードを容易に入力することができる。

【0020】

また、本発明の３次元ポーズデータ生成システムは、前記ポーズデータ生成部で生成された前記３次元ポーズデータに基づく３次元ポーズデータを３次元キャラクタに適用することにより、前記３次元キャラクタに前記所望のポーズに近いポーズを付与するポーズ付与部、を更に備えてもよい。

【0021】

これにより、ポーズライブラリを作成することなく、３次元キャラクタに対し、入力されたフリーワードによってポーズ付与を実現することができる。

【0022】

また、本発明の３次元ポーズデータ生成システムは、前記所望のポーズに関連する検索用画像が入力され、前記検索用画像に関連するフリーワードを生成することにより前記所望のポーズに関連するフリーワードのテキストを得るフリーワード生成部、を更に備えてもよい。

【0023】

これにより、検索用画像を入力することにより、所望のポーズに関連するフリーワードを取得したのちに画像検索部に入力することができる。

【0024】

本発明の３次元ポーズデータ生成方法は、３次元キャラクタに付与可能な３次元ポーズデータを生成する３次元ポーズデータ生成方法であって、所望のポーズに関連するフリーワードがテキストで入力されると、前記入力されたフリーワードを検索キーとして、前記フリーワードに関連する１つまたは複数の動物画像を検索するための処理を行うステップと、前記検索により得られた１つまたは複数の動物画像に基づいて３次元ポーズデータを生成することにより、前記所望のポーズに近い３次元ポーズデータを得るステップと、を含んでいる。

【0025】

この方法によっても、上記のシステムと同様、所望のポーズに近い３次元ポーズデータを新たに生成することができる。画像検索で得られた動物画像の多くは、そのフリーワードで表現されるポーズの動物の画像となる。得られた動物画像に基づいて、その画像に写っている動物のポーズに近い３次元ポーズデータを生成する。結果として、所望のポーズに近い３次元ポーズデータが得られる。

【0026】

また、本発明の３次元ポーズデータ生成方法では、前記動物画像を検索するための処理を行うステップで、インターネットを含むネットワークを介して、前記フリーワードに関連する１つまたは複数の動物画像を取得してもよい。

【0027】

これにより、画像検索のソースとしてネットワーク回線に繋がったリソースが含まれ、大量のデータから多様な動物画像を取得することが可能になる。

【0028】

また、本発明の３次元ポーズデータ生成方法は、前記３次元ポーズデータを得るステップにおいて、複数の３次元ポーズデータが生成された場合に、前記複数の３次元ポーズデータの分布が、Ｎ個のクラスタを構成するか否かを判定するステップと、Ｎ個のクラスタを構成すると判定された場合に、各クラスタの３次元ポーズデータの平均の３次元ポーズデータを算出するステップと、を更に含んでもよい。

【0029】

これにより、個々のポーズが得られるのではなく、クラスタの平均のポーズが得られる。したがって、ユーザはより効率的に、入力されたフリーワードに近いポーズを選択することができる。また、全体の平均が得られるのではなく、クラスタ毎の平均が得られるので、好ましくないポーズが得られるのを防ぐことができる。

【0030】

また、本発明の３次元ポーズデータ生成方法は、前記３次元ポーズデータを得るステップにおいて、複数の３次元ポーズデータが生成された場合に、前記複数の３次元ポーズデータの分布が、Ｎ個のクラスタを構成するか否かを判定するステップと、Ｎ個のクラスタを構成すると判定された場合に、前記複数の３次元ポーズデータのなかに、前記クラスタから乖離した３次元ポーズデータが存在するか否かを判定するステップと、前記乖離した３次元ポーズデータを除外するステップと、を更に含んでもよい。

【0031】

画像検索結果にユーザの所望しない動物画像が混入している場合には、当該動物画像から好ましくない３次元ポーズデータが得られるが、上記の方法により、クラスタから乖離した３次元ポーズデータが排除され、そのような好ましくない３次元ポーズデータを除去することが可能となる。

【0032】

また、本発明の３次元ポーズデータ生成方法は、前記所望のポーズに関連するフリーワードが音声で入力される場合に、前記入力された音声をテキストに変換するステップを更に含み、前記音声から変換されたテキストは、前記検索するための処理を行うステップにおいて、前記所望のポーズに関連するフリーワードのテキストとして入力されてもよい。

【0033】

これにより、テキスト入力を伴わずして、所望のポーズに関連するフリーワードを容易に入力することができる。

【0034】

また、本発明の３次元ポーズデータ生成方法は、前記３次元ポーズデータを得るステップで生成された前記３次元ポーズデータに基づく３次元ポーズデータを３次元キャラクタに適用することにより、前記３次元キャラクタに前記所望のポーズに近いポーズを付与するステップ、を更に含んでもよい。

【0035】

これにより、ポーズライブラリを作成することなく、３次元キャラクタに対し、入力されたフリーワードによってポーズ付与を実現することができる。

【0036】

また、本発明の３次元ポーズデータ生成方法は、前記所望のポーズに関連する検索用画像が入力され、前記検索用画像に関連するフリーワードを生成することにより前記所望のポーズに関連するフリーワードのテキストを得るステップ、を更に含んでもよい。

【0037】

これにより、検索用画像を入力することにより、所望のポーズに関連するフリーワードを取得し、取得されたフリーワードを検索キーとして動物画像を検索することができる。

【0038】

本発明のプログラムは、３次元キャラクタに適用可能な３次元ポーズデータを生成するプログラムであって、前記プログラムは、コンピュータに、所望のポーズに関連するフリーワードがテキストで入力されると、前記入力されたフリーワードを検索キーとして、前記フリーワードに関連する１つまたは複数の動物画像を検索するための処理と、前記検索により得られた１つまたは複数の動物画像に基づいて３次元ポーズデータを生成することにより、前記所望のポーズに近い３次元ポーズデータを得る処理と、を実行させる。

【0039】

このプログラムによっても、上記のシステムや方法と同様、所望のポーズに近い３次元ポーズデータを新たに生成することができる。画像検索で得られた動物画像の多くは、そのフリーワードで表現されるポーズの動物の画像となる。得られた動物画像に基づいて、その画像に写っている動物のポーズに近い３次元ポーズデータを生成する。結果として、所望のポーズに近い３次元ポーズデータが得られる。

【発明の効果】

【0040】

本発明によれば、所望のポーズに関連するフリーワードが入力された場合に、その所望のポーズに近い３次元ポーズデータを新たに生成することができる。

【図面の簡単な説明】

【0041】

【図1】本発明の実施の形態における３次元ポーズデータ生成システムの構成を示す図である。

【図2】ポーズを表す文言（ガッツポーズ）に関連する動物画像の例を示す図である。

【図3】動物画像から生成された３次元ポーズデータの分布の例を示す図である。

【図4】ポーズを表す文言（腕ひしぎ十字固め）に関連する動物画像の例を示す図である。

【図5】動物画像から生成された３次元ポーズデータの分布の例を示す図である。

【図6】３次元キャラクタに適用可能な３次元ポーズデータを生成するときの処理の流れ（出力として、ポーズデータが出力される場合）を示すフロー図である。

【図7】３次元ポーズデータの一例を示す説明図である。

【図8】３次元キャラクタに適用可能な３次元ポーズデータを生成するときの処理の流れ（出力として、ポーズを付与した３次元キャラクタが出力される場合）を示すフロー図である。

【発明を実施するための形態】

【0042】

以下、本発明の実施の形態の３次元ポーズデータ生成システムについて、図面を用いて説明する。本実施の形態では、コンピュータグラフィックスの３次元キャラクタに適用可能な３次元ポーズデータを生成するシステムの場合を例示する。以下で説明する３次元ポーズデータ生成システムの各種の機能は、システムのコンピュータにインストールされたプログラムによって実現することができる。３次元ポーズデータ生成システムの機能の一部または全部は、ユーザ端末で実行されてもよい。

【0043】

本発明の実施の形態の３次元ポーズデータ生成システムの構成を、図面を参照して説明する。図１は、本実施の形態の３次元ポーズデータ生成システムを示すブロック図である。図１に示すように、３次元ポーズデータ生成システム１は、例えばクラウドサーバ装置として構成され、ネットワーク２を介してユーザ端末３および外部の検索システム４と接続されている。ネットワーク２は、例えばインターネットなどを含む情報通信網である。ユーザ端末３は、ユーザが操作する端末装置であり、例えばパーソナルコンピュータなどが含まれる。検索システム４は、動物画像を検索する機能を備えており、例えば、外部の画像検索エンジンなどで構成される。

【0044】

図１に示すように、３次元ポーズデータ生成システム１は、入力部５と、出力部６と、記憶部７と、制御部８を備えている。入力部５は、ユーザ端末３からの入力が行われる入力インターフェースである。出力部６は、ユーザ端末３への出力が行われる出力インターフェースである。記憶部７は、大容量メモリ等で構成され、検索により得られた動物画像などのデータが保存されている。制御部８は、ＭＰＵやＣＰＵなどのプロセッサで構成され、３次元ポーズデータ生成システム１の有する各種の機能を実現するために必要な処理などが実行される。

【0045】

入力部５には、ユーザ端末３で入力された所望のポーズを表す文言（フリーワード）が、テキストデータまたは音声データのかたちで入力される。フリーワードとは、システム側で予め設定された文言（決められた文言）ではなく、ユーザが任意に入力した文言（自由に入力した文言）である。例えば、ユーザ端末３で、「ガッツポーズ」や「腕ひしぎ十字固め」などの所望のポーズを表す文言（フリーワード）がテキストデータで入力された場合、入力部５には、そのテキストデータが入力される。なお、本発明におけるフリーワードは、１個の単語に限られない。複数個の単語であってもよく、文であってもよい。さらに、単語および／または文の論理演算（ＡＮＤ、ＯＲ、ＮＯＴ）として、所望のポーズを表したものであってもよい。

【0046】

ユーザ端末３で、所望のポーズを表す文言（フリーワード）が音声で入力された場合には、入力部５に音声データが入力され、後述する音声変換部８０により音声データがテキストデータに変換される。この場合、音声データから変換されたテキストデータが、後述する画像検索部８１に入力される。

【0047】

また、ユーザ端末３で、所望のポーズに関連する検索用画像が入力された場合、入力部５には、その検索用画像の画像データが入力される。後述するフリーワード生成部８８により、検索用画像の画像データから、フリーワードのテキストデータが生成される。この場合、検索用画像から生成されたテキストデータが、後述する画像検索部８１に入力される。

【0048】

また、ユーザ端末３で、所望のポーズを表す文言（フリーワード）が音声で入力されるとともに、所望のポーズを表す検索用画像が入力された場合、入力部５には、音声データと画像データの両方が入力される。後述する音声変換部８０により音声データがテキストデータに変換される。後述するフリーワード生成部８８により、検索用画像の画像データから、フリーワードのテキストデータが生成される。この場合、音声データから変換されたテキストデータと、検索用画像から生成されたテキストデータと、をマージしたテキストデータが、後述する画像検索部８１に入力される。

【0049】

検索用画像には、動物の全身が写っていてもよいし、動物の一部分のみが写っていてもよい。例えば、ユーザ端末から、検索用画像としてＶサインの手のアップ画像が入力されたとする。フリーワード生成部８８により「Ｖサイン」「ピースサイン」などのフリーワードのテキストが生成される。更に、ユーザ端末から「両手」というテキストが入力されたとする。すると、両者のテキストがマージされて、「Ｖサイン ピースサイン 両手」というテキストが生成され、このテキストが画像検索部８１に入力される。

【0050】

この例のように、検索用画像には所望のポーズを取っている動物の全身が写っている必要はない。この例では、所望のポーズは「両手でＶサイン」しているポーズであるが、検索用画像は片手のＶサインのみが写っている画像であってもよい。

【0051】

更に言えば、検索用画像には、必ずしも動物が写っていなくてもよい。例えば検索用画像として、平和運動のシンボルマーク（Peace symbols）をフリーワード生成部８８に入力し、「ピースサイン」というフリーワードを生成させてもよい。

【0052】

出力部６からは、生成された３次元ポーズデータがユーザ端末３に出力される。ポーズデータは、３次元キャラクタのポーズを表すデータである。ユーザ端末３では、３次元キャラクタに３次元ポーズデータを適用することにより、その３次元キャラクタにポーズを付与することができる。３次元ポーズデータは、例えば、３次元キャラクタの各関節の角度データの集合や、各関節の位置を示す３次元座標データの集合などである。３次元ポーズデータは、更に３次元空間におけるキャラクタの向きを表す情報を含んでいてもよい。また、後述するポーズ付与部８７でポーズの付与が行われる場合には、ポーズが付与された３次元キャラクタが、出力部６からユーザ端末３に出力される。

【0053】

図７は、３次元ポーズデータの一例を示す説明図である。図７には、ポーズデータが、１９個の関節の角度データの集合（１９個で１組の関節の角度データ）である場合の例が示されている。図７において、関節（合計で９つの関節）が黒丸印で示されており、図中の数字はその関節の自由度（すなわち、その関節の曲げ状態を表すのに必要な角度値の個数）を表している。図７の例では、５つの関節が３つの自由度を持ち、４つの関節が１つの自由度を持っているため、合計で１９個（＝５×３＋４×１）の角度値を有している。３次元ポーズデータが、更に３次元空間におけるキャラクタの向きを表す情報を含む場合には、３次元空間における向きを表す３個の角度値が追加されて、３次元ポーズデータは合計で２２個の角度値を有する。

【0054】

制御部８は、音声変換部８０と、画像検索部８１と、ポーズデータ生成部８２と、クラスタ判定部８３と、平均算出部８４と、乖離判定部８５と、ポーズ除外部８６と、ポーズ付与部８７と、フリーワード生成部８８を備えている。

【0055】

音声変換部８０は、ユーザ端末３で、所望のポーズを表す文言（フリーワード）が音声で入力された場合に、その音声データをテキストデータに変換する機能を備えている。音声からテキストへの変換には、公知の技術を利用することができる。また、フリーワード生成部８８は、所望のポーズに関連する検索用画像が入力されると、検索用画像に関連するフリーワードを生成することにより所望のポーズに関連するフリーワードのテキストを得る機能を備えている。

【0056】

画像検索部８１は、入力部５に入力されたフリーワードに関連する１つまたは複数の動物画像（画像データ）を検索するための処理を行う機能を備えている。例えば、画像検索部８１は、外部の検索システム４を用いて動物画像の検索を行うことができる。画像検索部８１は、入力されたフリーワードを検索キー（キーワード）として検索システム４に送信し、検索システム４から検索結果として動物画像を受信する。検索によって得られた画像の多くには、フリーワードで表現されたポーズの動物が写っている。

【0057】

また、画像検索部８１は、入力されたフリーワードを検索キー（キーワード）として動物画像を検索する機能を自ら備えていてもよい。画像検索には、公知の技術を利用することができる。例えば、画像検索部８１は、ネットワーク２を介して、大量の動物画像の画像データが保存されている外部の画像データベース（図示せず）から画像データを取得してもよい。また、動物画像の画像データが記憶部７に予め記憶されている場合、画像検索部８１は、記憶部７から画像データを取得してもよい。記憶部７は、スタンドアローン状態（ネットワークに接続していない状態）で、画像データベースとして機能することができる。

【0058】

ポーズデータ生成部８２は、画像検索部８１により得られた１つまたは複数の動物画像に基づいて、その画像に写っている動物のポーズに近い３次元ポーズデータを生成する。結果として、所望のポーズに近い３次元ポーズデータが得られる。画像に写っている動物のポーズに近い３次元ポーズデータを生成する手法として、３次元ポーズ推定（3D Pose Estimation）が存在する。例えば、http://gvv.mpi-inf.mpg.de/projects/VNect/content/VNect#SIGGRAPH2017.pdfなどに、３次元ポーズ推定の公知の手法が開示されている（以下、「公知の手法Ａ」と呼ぶ）。

【0059】

また、ポーズデータ生成部８２は、複数個の３次元ポーズデータを生成することもできる。例えば、異なるパラメータ、あるいは異なる手法を用いることにより、１枚の画像内の１体の動物から、異なる複数の３次元ポーズデータを生成することができる。パラメータの例としては、入力画像中の人物の大きさ（画像の拡縮によって変動する）や、入力画像の画質調整（明度調整、彩度調整、ノイズ除去など）のパラメータなどが挙げられる。

【0060】

ポーズデータ生成部８２は、入力された動物画像から複数の３次元ポーズデータを出力する場合がある。画像検索部によって取得される動物画像の枚数は、１枚の場合もあれば、複数枚の場合もある。１枚の動物画像に写っている動物の数は、１体の場合もあれば、複数体の場合もある。また、取得された動物画像に動物が写っていない場合もある。また、動物の写り方によっては（例えば動物の身体の一部のみが写っているなど）、その画像から３次元ポーズデータを生成できない場合もある。更に、前述のように、パラメータ調整などにより、１枚の画像内の１体の動物から複数の３次元ポーズデータが得られる場合もある。したがって、画像検索によって得られた動物画像の枚数と、その画像から得られる３次元ポーズデータの個数とは、等しいとは限らない。

【0061】

例えば、図２には、ポーズを表す文言として「ガッツポーズ」が入力された場合に、画像検索部８１で取得された動物画像（ガッツポーズをとっている人物が写っている画像）の例が示される。なお、図２では、例として１３枚の動物画像が図示されているが、動物画像の数がこれに限定されないことは言うまでもない。例えば、ポーズデータ生成部８２に、図２の動物画像（ガッツポーズをとっている人物の１３枚の動物画像）が入力されると、各動物画像に基づいてそれぞれ０個以上の３次元ポーズデータが生成される。すなわち、３次元ポーズデータが生成されない場合もあれば、１個生成される場合や複数個生成される場合もある。

【0062】

また、図４には、ポーズを表す文言として「腕ひしぎ十字固め」が入力された場合に、画像検索部８１で取得された動物画像（腕ひしぎ十字固めのポーズをとっている人物が写っている画像）の例が示される。腕ひしぎ十字固めのポーズの場合、技をかける人物がとるポーズ（両足で相手の腕をからめとるポーズ）と、技をうける人物がとるポーズ（相手に腕をからめとられているポーズ）が存在し、１枚の動物画像にそれぞれのポーズをとる２人の人物の両方が一緒に写っていることが多い。例えば、ポーズデータ生成部８２に、図４の動物画像（腕ひしぎ十字固めのポーズをとっている場面の１２枚の動物画像）が入力されると、各動物画像のそれぞれについて、０個以上の「技をかけるポーズの３次元ポーズデータ」と、０個以上の「技を受けるポーズの３次元ポーズデータ」とが生成される。すなわち、それぞれについて、３次元ポーズデータが生成されない場合もあれば、１個生成される場合や複数個生成される場合もある。

【0063】

特許文献３には「姿勢推定」が登場するが、特許文献３の姿勢推定(ポーズ推定)の手法は２次元のポーズ推定である。一方、本発明において、３次元ポーズデータを生成する手法として利用可能な既存手法は、３次元ポーズ推定（例えば、上述の公知の手法Ａ）である。３次元ポーズ推定と２次元ポーズ推定とは、本質的に相違する。３次元ポーズ推定では、１枚の動物画像を入力として、その動物画像に写っている動物の３次元のポーズを推定し、３次元ポーズデータを生成するが、入力が１枚の動物画像であるため奥行き情報が失われており、そのため元の３次元ポーズを正確に復元することは不可能である。３次元ポーズ推定は、本質的に悪条件問題（ill-condition problem）であり、一意の解が存在しない。しかし、機械学習を用いる手法（例えば、上述の公知の手法Ａ）によって、ある程度妥当な３次元ポーズデータを生成することは可能である。一方、２次元ポーズ推定は、動物が写った画像上のキーポイントの位置を特定する手法である。キーポイントとは、動物の関節点（肩、肘、手首、腰、膝、足首など）や特徴点（目、鼻、口、耳など）のことである。２次元ポーズ推定は、一部の例外（身体の部分が隠れていて見えない等）を除けば、良条件問題（well-condition problem）であり、一意の解が存在する。このように、２次元ポーズ推定と３次元ポーズ推定とは、技術的に大きく異なるものである。

【0064】

また、３次元ポーズ推定とポーズ検索とは、当然に相違する。ポーズ検索では、候補となるポーズデータが予め用意されており、それらの候補の中から検索条件に一致するポーズデータが見つけ出される（既存のものから選ばれる）ため、ポーズデータが新たに生成されない。これに対し、３次元ポーズ推定では、予め候補となるポーズデータなどは用意されておらず、動物画像が入力されると、その動物画像に写っている動物のポーズに近い３次元ポーズデータが新たに生成される。

【0065】

クラスタ判定部８３は、ポーズデータ生成部８２によって複数の３次元ポーズデータが生成された場合に、複数の３次元ポーズデータの分布が、Ｎ個のクラスタを構成するか否かを判定する機能を備えている。例えば、クラスタ判定部８３は、各３次元ポーズデータについて、例えば１９次元空間における互いの距離に基づいてクラスタ分け（クラスタリング）を行う。クラスタ分けには、最短距離法、k-means法などの既存手法を使うことができる。

【0066】

最短距離法の特性として、閾値となる距離の設定によってクラスタ分けの結果が変わる。閾値を大きい値に設定すると、それぞれのクラスタに含まれるデータの個数が増え、クラスタの個数は減る。逆に、閾値を小さい値に設定すると、それぞれのクラスタに含まれるデータの個数が減り、クラスタの個数は増える。これを利用して、閾値を適切に設定することにより、３次元ポーズデータの望ましいクラスタ分けを得るようにしてもよい。更に、クラスタに含まれる３次元ポーズデータの個数が少ない（例えば１個）の場合には、そのクラスタをクラスタ個数Ｎに含めず、後述の乖離データとして扱ってもよい。例えば、２０個の３次元ポーズデータが４個のクラスタＡ、Ｂ、Ｃ、Ｄに分けられ、それぞれのクラスタに含まれる３次元ポーズデータの個数が順に８個、１０個、１個、１個の場合、クラスタの個数Ｎを２個(ＡおよびＢ）とし、ＣおよびＤに含まれるそれぞれ１個の３次元ポーズデータは、クラスタから乖離した３次元ポーズデータとして扱ってもよい。

【0067】

k-means法の特性として、予めクラスタの個数ｋを設定して処理を開始し、処理の結果は必ずｋ個のクラスタにクラスタ分けされる。そのため、３次元ポーズデータのクラスタの個数が前もって予想できる場合にはk-means法を使ってもよい。例えば後述の「腕ひしぎ十字固め」のポーズは、技を掛けるポーズのクラスタと、技を受けるポーズのクラスタとの２つのクラスタに分かれることが、前もって予想されるのでｋ＝２としてもよい。また、得られたクラスタ分けが適切かどうかの判定処理を更に行ってもよい。例えば得られたクラスタどうしの距離が所定の値よりも小さい場合には、クラスタ分けに失敗したと判定してもよい。

【0068】

図３は、図２のようなガッツポーズをとっている人物の動物画像から生成された３次元ポーズデータの分布の例を示す図である。図３では、１つの３次元ポーズデータが１つの白丸印で示されている。なお、図３では、説明の便宜上、１９個の角度値で表される３次元ポーズデータ（１９次元のデータ）が、２次元（平面）で模式的に示されている。また、図３では、例として１８個の３次元ポーズデータ（白丸）が図示されているが、３次元ポーズデータの数がこれに限定されないことは言うまでもない。図３の例では、図の中央部分に、クラスタＣ（多数の３次元ポーズデータが集中している領域）が１つ形成されている。この場合、クラスタ判定部８３は、３次元ポーズデータの分布の中に１個のクラスタが存在する、すなわち、３次元ポーズデータの分布が１個のクラスタを構成する（クラスタ数Ｎ＝１）と判定する。

【0069】

図５は、図４のような腕ひしぎ十字固めのポーズをとっている場面の動物画像から生成された３次元ポーズデータの分布の例を示す図である。図５の例では、図の右上部分に、１つのクラスタＣ１（多数の３次元ポーズデータが集中している領域、例えば、技をかけるポーズのクラスタ）が形成されており、図の左下部分に、別の１つのクラスタＣ２（多数の３次元ポーズデータが集中している領域、例えば、技をうけるポーズのクラスタ）が形成されている。この場合、クラスタ判定部８３は、３次元ポーズデータの分布の中に２個のクラスタが存在する、すなわち、３次元ポーズデータの分布が２個のクラスタを構成する（クラスタ数Ｎ＝２）と判定する。

【0070】

平均算出部８４は、Ｎ個のクラスタを構成すると判定された場合、各クラスタに含まれる３次元ポーズデータの平均を算出する機能を備えている。例えば、図３の例の場合、平均算出部８４は、１個のクラスタＣに含まれる３次元ポーズデータの平均の３次元ポーズデータＡ（黒丸印で図示されている）を算出する。また、図５の例の場合、平均算出部８４は、２個のクラスタのそれぞれの平均（右上のクラスタＣ１に含まれる３次元ポーズデータの平均の３次元ポーズデータＡ１と、左下のクラスタＣ２に含まれる３次元ポーズデータの平均の３次元ポーズデータＡ２）を算出する。クラスタ毎の平均をとる理由は、仮に全体の平均をとると、好ましくないポーズ（図５の例では、技をかける人物のポーズと技を受ける人物のポーズを平均したポーズ）の３次元ポーズデータになってしまうためである。ポーズデータがクラスタを形成している場合には、このように平均算出部８４で算出された各クラスタに含まれる３次元ポーズデータの平均の３次元ポーズデータが生成されてもよい。なお、平均算出には、算術平均を用いてもよい。

【0071】

乖離判定部８５は、３次元ポーズデータがクラスタを形成している場合に、生成された３次元ポーズデータのなかに、クラスタから乖離した３次元ポーズデータが存在するか否かを判定する機能を備えている。例えば、乖離判定部８５は、クラスタに属していない３次元ポーズデータを、クラスタから乖離したポーズデータであると判定する（図３、図５参照）。

【0072】

ポーズ除外部８６は、乖離した３次元ポーズデータを、生成された３次元ポーズデータから除外する機能を備えている。例えば、図３や図５で、クラスタから離れた位置に存在しているポーズデータが、乖離判定部８５により、クラスタから乖離したポーズデータであると判定されると、これらのポーズデータは、ポーズ除外部８６により、生成された３次元ポーズデータから除外される。なお、乖離判定やポーズ除外には、公知の技術を利用することができる（例えば、「角田雅照（他４名），類似性に基づくソフトウェア開発工数見積りにおける外れ値除外の比較，電子情報通信学会論文誌，２０１２年４月，Vol. J95-D，No.4，pp.895-908」など）。

【0073】

ポーズ付与部８７は、上記のようにして生成された３次元ポーズデータに基づく３次元ポーズデータを３次元キャラクタに適用することにより、所望のポーズに近いポーズを３次元キャラクタに付与する機能を備えている。ここで「生成された３次元ポーズデータに基づく３次元ポーズデータ」は、ポーズデータ生成部８２で生成された３次元ポーズデータそのものであってもよく、ポーズデータ生成部８２で生成された３次元ポーズデータに加工を施したものであってもよい。なお、３次元ポーズデータの加工の例としては，予め定められた関節角度制限を適用する例が挙げられる。関節角度制限を適用する手法の例は、例えば、特開２０１２－１６４１６２などに開示されている。また、ポーズ付与は、ユーザ端末３で実行されてもよい。例えば、３次元ポーズデータ生成システム１からユーザ端末３にポーズデータが送信され、ユーザ端末３でポーズデータが選択されると、所望のポーズが３次元キャラクタに付与されてもよい。

【0074】

以上のように構成された３次元ポーズデータ生成システム１について、図６のフロー図を参照してその動作を説明する。

【0075】

本実施の形態の３次元ポーズデータ生成システム１を用いて３次元キャラクタにポーズを付与する場合には、まず、ユーザ端末３から所望のポーズを表す文言（例えば「ガッツポーズ」や「腕ひしぎ十字固め」など）をテキストまたは音声で入力する（Ｓ１）。ユーザ端末３からポーズを表す文言（フリーワード）が入力されると、その文言がテキストデータで入力されたか否かによって分岐し（Ｓ２）、テキストデータではなく音声データで入力された場合には、入力された音声データがテキストデータに変換される（Ｓ３）。

【0076】

次に、入力されたフリーワード（入力されたテキストデータ、あるいは、入力された音声データから変換されたテキストデータ）を検索キー（キーワード）として画像検索が行われ、そのテキストに関連する動物画像（図２、図４参照）が取得される（Ｓ４）。取得された動物画像の多くは、そのフリーワードで表現されるポーズの動物の画像となる。取得された動物画像に基づいて、その動物画像に写っている動物のポーズに近い３次元ポーズデータを生成する（Ｓ５）。結果として、所望のポーズに近い３次元ポーズデータが得られる。

【0077】

複数の３次元ポーズデータが生成された場合には、それら複数の３次元ポーズデータの分布が、Ｎ個のクラスタに分けられか否かが判定される（Ｓ６）。そして、Ｎ個のクラスタを構成すると判定された場合には、各クラスタに含まれる３次元ポーズデータの平均の３次元ポーズデータ（図３、図５参照）が算出される（Ｓ７）。

【0078】

さらに、生成された３次元ポーズデータのなかに、クラスタから乖離した３次元ポーズデータが存在するか否かが判定される（Ｓ８）。そして、乖離した３次元ポーズデータが存在すると判定された場合には、乖離した３次元ポーズデータが、出力される３次元ポーズデータから除外される（Ｓ９）。このようにして得られた３次元ポーズデータが、３次元ポーズデータ生成システム１からユーザ端末３に出力される（Ｓ１０）。なお、図８に示すように、３次元ポーズデータ生成システム１で３次元キャラクタにポーズの付与（Ｓ２０）が行われる場合には、上記のステップＳ１０で３次元ポーズデータが出力される代わりに、ポーズが付与された３次元キャラクタが出力されてもよい（Ｓ２１）。

【0079】

このような本実施の形態の３次元ポーズデータ生成システム１によれば、所望のポーズを表す文言がフリーワードで入力されると、そのフリーワードに関連する動物画像が検索され、その動物画像に基づいて、３次元ポーズデータが生成される。このようにして、所望のポーズに近い３次元ポーズデータを新たに生成することができる。生成された３次元ポーズデータを３次元キャラクタに適用することにより、所望のポーズに近いポーズを３次元キャラクタに付与することができる。

【0080】

また、本実施の形態では、ネットワーク２を介して、外部の画像検索サービスを利用してもよい。これにより、検索システムを内部に用意することなく、動物画像を取得することができる。また、本実施の形態では、画像検索時に、インターネットを含むネットワーク２を介して動物画像を取得してもよい。これにより、画像検索のソースとしてネットワーク回線に繋がったリソースを利用できるので、大量のデータから多様な動物画像を取得することが可能になる。

【0081】

また、本実施の形態では、複数の３次元ポーズデータがクラスタを形成する場合において、３次元ポーズデータの分布が、Ｎ個のクラスタを構成すると判定された場合には、各クラスタに含まれる３次元ポーズデータの平均の３次元ポーズデータが算出される。このように、個々の３次元ポーズデータではなく、クラスタの平均の３次元ポーズデータが得られるので、ユーザはより効率的に、所望のポーズに近いポーズを選択することができる。また、全ての３次元ポーズデータの平均ではなく、前記クラスタ毎にそのクラスタに含まれる３次元ポーズデータだけの平均を算出するので、全体のポーズが平均されたような好ましくない３次元ポーズデータが得られるのを防ぐことができる。

【0082】

また、本実施の形態では、複数の３次元ポーズデータがクラスタを形成する場合において、クラスタから乖離した３次元ポーズデータが存在する場合には、乖離した３次元ポーズデータは除外される。画像検索結果にユーザの所望しない動物画像が混入している場合には、当該動物画像から好ましくない３次元ポーズデータが得られるが、このように、クラスタから乖離した３次元ポーズデータが排除されるので、そのような好ましくない３次元ポーズデータを除去することが可能となる。

【0083】

また、本実施の形態では、所望のポーズに関連するフリーワードが音声で入力された場合には、その音声（音声データ）がテキスト（テキストデータ）に変換される。したがって、テキスト入力を伴わずして、フリーワードを容易に入力することができる。

【0084】

また、本実施の形態では、ポーズライブラリを作成することなく、３次元キャラクタに対し、入力されたフリーワードによってポーズ付与を実現することができる。

【0085】

また、本実施の形態では、ユーザの所望のポーズに関連する検索用画像が入力された場合には、検索用画像に関連するフリーワードのテキストを生成することができ、当該テキストが画像検索部に入力される。

【0086】

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。

【産業上の利用可能性】

【0087】

以上のように、本発明にかかる３次元ポーズデータ生成システムは、所望のポーズに関連するフリーワードを入力することにより、その所望のポーズに近い３次元ポーズデータを新たに生成することができるという効果を有し、コンピュータグラフィックスの３次元キャラクタに適用可能な３次元ポーズデータを生成するシステム等として有用である。

【符号の説明】

【0088】

１ ３次元ポーズデータ生成システム
２ ネットワーク
３ ユーザ端末
４ 検索システム
５ 入力部
６ 出力部
７ 記憶部
８ 制御部
８０ 音声変換部
８１ 画像検索部
８２ ポーズデータ生成部
８３ クラスタ判定部
８４ 平均算出部
８５ 乖離判定部
８６ ポーズ除外部
８７ ポーズ付与部
８８ フリーワード生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】