(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024097399
(43)【公開日】2024-07-19
(54)【発明の名称】情報処理方法、情報処理装置、および情報処理システム
(51)【国際特許分類】
G06T 19/00 20110101AFI20240711BHJP
【FI】
G06T19/00 A
【審査請求】未請求
【請求項の数】17
【出願形態】OL
(21)【出願番号】P 2023000827
(22)【出願日】2023-01-06
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】富士 晃成
【テーマコード(参考)】
5B050
【Fターム(参考)】
5B050BA09
5B050BA13
5B050CA07
5B050CA08
5B050DA10
5B050EA05
5B050EA07
5B050EA18
5B050EA28
5B050FA02
5B050FA09
5B050FA13
5B050GA08
(57)【要約】
【課題】3Dモデリングを容易に行う。
【解決手段】本技術の情報処理方法は、ユーザにより入力された、モデリング対象を示すテキストを取得し、テキストに基づく第1のパラメータを生成し、第1のパラメータを用いてモデリング対象の3Dモデルを取得する。本技術は、例えば、街並みを3Dモデリングの対象とする情報処理システムに適用することができる。
【選択図】
図2
【特許請求の範囲】
【請求項1】
ユーザにより入力された、モデリング対象を示すテキストを取得し、
前記テキストに基づく第1のパラメータを生成し、
前記第1のパラメータを用いて前記モデリング対象の3Dモデルを取得する
情報処理方法。
【請求項2】
前記テキストに基づいて、前記第1のパラメータを含むパラメータ分布を生成し、
前記第1のパラメータを前記パラメータ分布からサンプリングすることで生成する
請求項1に記載の情報処理方法。
【請求項3】
前記パラメータ分布から前記第1のパラメータをサンプリングするためのシード値を取得し、
前記シード値に応じてサンプリングされた前記第1のパラメータを用いて前記モデリング対象の3Dモデルを取得する
請求項2に記載の情報処理方法。
【請求項4】
前記シード値は、前記ユーザにより入力される
請求項3に記載の情報処理方法。
【請求項5】
前記ユーザにより前記シード値が入力されなかった場合、前記シード値はランダムに生成される
請求項4に記載の情報処理方法。
【請求項6】
前記パラメータ分布は、前記テキストを入力とし、前記パラメータ分布を出力とする学習モデルが用いられて生成される
請求項2に記載の情報処理方法。
【請求項7】
前記第1のパラメータは、前記モデリング対象となる環境と可動物体の少なくともいずれかに関する
請求項1に記載の情報処理方法。
【請求項8】
前記テキストは、文字と音声の少なくともいずれかを用いて入力される
請求項1に記載の情報処理方法。
【請求項9】
前記テキストを解析し、
前記テキストの解析結果に基づいて前記第1のパラメータを生成する
請求項1に記載の情報処理方法。
【請求項10】
前記テキストから前記モデリング対象の3Dモデルに関する要素を抽出し、前記要素と前記モデリング対象の3Dモデルの特徴量とのマッチングを行うことで、前記テキストを解析する
請求項9に記載の情報処理方法。
【請求項11】
前記第1のパラメータを用いて前記モデリング対象の3Dモデルを生成することで取得する
請求項1に記載の情報処理方法。
【請求項12】
あらかじめ生成された複数の3Dモデルの中から、前記第1のパラメータを用いて生成された前記モデリング対象の3Dモデルを選択することで取得する
請求項1に記載の情報処理方法。
【請求項13】
前記第1のパラメータとともに、あらかじめ計算された第2のパラメータを用いて前記モデリング対象の3Dモデルを取得する
請求項1に記載の情報処理方法。
【請求項14】
前記テキストは、前記モデリング対象の様子を示す第1のテキストを含む
請求項1に記載の情報処理方法。
【請求項15】
前記テキストは、前記モデリング対象を指定する第2のテキストを含む
請求項1に記載の情報処理方法。
【請求項16】
ユーザにより入力された、モデリング対象を示すテキストを取得する入力取得部と、
前記テキストに基づくパラメータを生成する生成部と、
前記パラメータを用いて前記モデリング対象の3Dモデルを取得する3Dモデル取得部と
を備える情報処理装置。
【請求項17】
ユーザによる、モデリング対象を示すテキストの入力を受け付ける入力部と、
前記テキストに基づくパラメータを用いて前記モデリング対象の3Dモデルを取得する3Dモデル取得部と
を備える端末と、
前記端末において入力された前記テキストに基づく前記パラメータを生成する生成部
を備えるサーバ装置と
を有する情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、情報処理方法、情報処理装置、および情報処理システムに関し、特に、3Dモデリングを容易に行うことができるようにした情報処理方法、情報処理装置、および情報処理システムに関する。
【背景技術】
【0002】
3次元形状を有する物体の3Dモデルを生成する3Dモデリングが一般的に行われている。
【0003】
例えば、眉の位置、眉と目の距離、眉同士の距離などのいくつかのパラメータを調整することで、人の顔の3Dモデリングを行うことが可能なツールがある。また、例えば、特許文献1には、建物群を示す点群データや画像が入力されると、点群データや画像に基づいて建物群の特徴パラメータを推定し、点群データや画像で示される建物群に似た建物群の3Dモデルを生成する技術が記載されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
3Dモデリングのツールによって3Dモデリングの難易度は低くなったが、所望の3Dモデルを作成するためには、ユーザがツールの操作方法を理解し、ツールの操作に習熟することが求められる。また、特許文献1に記載の技術においては、点群データを入力として準備することは、専門的な知識がないユーザにとってはハードルが高い。
【0006】
本技術はこのような状況に鑑みてなされたものであり、3Dモデリングを容易に行うことができるようにするものである。
【課題を解決するための手段】
【0007】
本技術の第1の側面の情報処理方法は、ユーザにより入力された、モデリング対象を示すテキストを取得し、前記テキストに基づく第1のパラメータを生成し、前記第1のパラメータを用いて前記モデリング対象の3Dモデルを取得する。
【0008】
本技術の第1の側面の情報処理装置は、ユーザにより入力された、モデリング対象を示すテキストを取得する入力取得部と、前記テキストに基づくパラメータを生成する生成部と、前記パラメータを用いて前記モデリング対象の3Dモデルを取得する3Dモデル取得部とを備える。
【0009】
本技術の第2の側面の情報処理システムは、ユーザによる、モデリング対象を示すテキストの入力を受け付ける入力部と、前記テキストに基づくパラメータを用いて前記モデリング対象の3Dモデルを取得する3Dモデル取得部とを備える端末と、前記端末において入力された前記テキストに基づく前記パラメータを生成する生成部を備えるサーバ装置とを有する。
【0010】
本技術の第1の側面においては、ユーザにより入力された、モデリング対象を示すテキストが取得され、前記テキストに基づく第1のパラメータが生成され、前記第1のパラメータを用いて前記モデリング対象の3Dモデルが取得される。
【0011】
本技術の第2の側面においては、端末により、ユーザによる、モデリング対象を示すテキストの入力が受け付けられ、前記テキストに基づくパラメータを用いて前記モデリング対象の3Dモデルが取得され、サーバ装置により、前記端末において入力された前記テキストに基づく前記パラメータが生成される。
【図面の簡単な説明】
【0012】
【
図1】本技術の一実施形態に係る情報処理システムの構成例を示す図である。
【
図2】本技術の情報処理システムによる3Dモデリングの流れの例を示す図である。
【
図4】ユーザ端末とサーバの機能構成例を示すブロック図である。
【
図5】情報処理システムが行う処理について説明するフローチャートである。
【
図7】テキスト内の3Dモデルに関する各要素と3Dモデルの特徴量とのマッチングの例を示す図である。
【
図8】パラメータ分布からサンプリングされるパラメータの例を示す図である。
【
図9】サーバの他の機能構成例を示すブロック図である。
【
図10】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【0013】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.情報処理システムの概要
2.各機器の構成と動作
3.変形例
【0014】
<1.情報処理システムの概要>
図1は、本技術の一実施形態に係る情報処理システムの構成例を示す図である。
【0015】
図1の情報処理システムは、3次元形状を有する物体の3Dモデルを生成する3Dモデリングを実現するシステムである。
図1に示すように、情報処理システムは、ユーザ端末1とサーバ2が有線や無線の通信を介して接続されることにより構成される。
【0016】
ユーザ端末1は、スマートフォン、タブレット端末、PCなどの情報処理装置により構成される。ユーザ端末1は、自然言語で記述されたテキストの入力を受け付け、入力されたテキストをサーバ2に送信する。また、ユーザ端末1は、サーバ2により生成されたパラメータを用いて3Dモデルを取得し、ディスプレイなどに表示する。
【0017】
サーバ2は、例えば、webサーバやクラウド上のサーバ装置(情報処理装置)により構成される。サーバ2は、ユーザ端末1において入力されたテキストを取得し、当該テキストに基づいて、3Dモデリングに用いられるパラメータを生成する。サーバ2は、生成したパラメータをユーザ端末1に送信する。
【0018】
図2は、本技術の情報処理システムによる3Dモデリングの流れの例を示す図である。
【0019】
はじめに、情報処理システムは、
図2の#1で示すように、ユーザによるテキストの入力を受け付ける。また、情報処理システムは、パラメータの生成に用いられるシード値の入力を、テキストの入力ととともに受け付ける。テキストとシード値の入力は、例えば、ユーザが、ユーザ端末1のディスプレイに表示されるテキスト入力画面上で文字を入力したり、ユーザ端末1に設けられたマイクロフォンを用いて音声を入力したりすることで行われる。
【0020】
【0021】
図3に示すように、テキスト入力画面の左下部分には、例えば、テキストを入力するためのテキストボックスB1が配置される。テキストボックスB1の右側には、3Dモデルを生成させるためのボタンB2が配置される。
【0022】
テキスト入力画面の右下部分には、シード値を入力するためのテキストボックスB3が配置される。テキストボックスB3の右側には、シード値をランダムに生成する機能のオン/オフを切り替えるためのトグルボタンB4が配置される。
【0023】
情報処理システムが例えば街並みを3Dモデリングの対象としている場合、ユーザは、所望の街並みの様子を示すテキストをテキストボックスB1に入力し、シード値としての例えば整数をテキストボックスB3に入力する。テキストとシード値の入力が完了した後にボタンB2が押下されると、テキストの内容が反映された街並みの3Dモデルが生成され、当該3Dモデルが、例えばテキスト入力画面の上側に表示される。なお、街並みの3Dモデルは、例えば、建物、人、車、道路などの3Dオブジェクトが組み合わされて構成される。
【0024】
シード値をランダムに生成する機能がオンになっている場合に、シード値が入力されていない状態でボタンB2が押下されたとき、例えばサーバ2は、シード値をランダムに生成する。ランダムに生成されたシード値は、例えばテキストボックスB3上に表示される。なお、ユーザ端末1が、シード値をランダムに生成するようにしてもよい。
【0025】
図2に戻り、次に、情報処理システムは、
図2の#2で示すように、ユーザにより入力されたテキストに基づいてパラメータ分布を生成する。パラメータ分布は、例えば、3Dモデルがテキストの内容に沿ったモデルとなるような範囲で一様分布に従ってランダムに選出された複数のパラメータを含む。
【0026】
次に、情報処理システムは、
図2の#3で示すように、パラメータ分布とシード値に基づいて3Dモデルを生成する。具体的には、情報処理システムは、パラメータ分布に含まれる複数のパラメータの中からパラメータをサンプリングし、そのパラメータを用いて3Dモデルを生成する。シード値は、パラメータ分布からパラメータをサンプリングするために用いられる。
【0027】
なお、3Dモデルが生成されるのではなく、異なるパラメータを用いてあらかじめ生成された複数の3Dモデルの中から、1つの3Dモデルを選択するようにして、3Dモデルが取得されてもよい。この場合、複数の3Dモデルの中から、#2において生成されたパラメータ分布に含まれるパラメータと同じ値のパラメータを用いて生成された1つの3Dモデルが選択される。
【0028】
最後に、情報処理システムは、
図2の#4で示すように、生成された3Dモデルをディスプレイなどに表示してユーザに提示する。
【0029】
以上のように、本技術の情報処理システムにおいては、ユーザにより入力された、3Dモデリングの対象を示すテキストが取得され、テキストに基づくパラメータが生成され、パラメータを用いて3Dモデリングの対象の3Dモデルが取得される。
【0030】
従来から、例えば、眉の位置、眉と目の距離、眉同士の距離などのいくつかのパラメータを調整することで、人の顔の3Dモデリングを行うことが可能なツールがあった。また、例えば、特許文献1には、建物群を示す点群データや画像が入力されると、点群データや画像に基づいて建物群の特徴パラメータを推定し、点群データや画像で示される建物群に似た建物群の3Dモデルを生成する技術が記載されている。
【0031】
3Dモデリングのツールによって3Dモデリングの難易度は低くなったが、所望の3Dモデルを作成するためには、ユーザがツールの操作方法を理解し、ツールの操作に習熟することが求められる。また、特許文献1に記載の技術においては、点群データを入力として準備することは、専門的な知識がないユーザにとってはハードルが高い。
【0032】
本技術の情報処理システムにおいては、自然言語で記述されたテキストを入力することで3Dモデリングを行うことができるため、3Dモデリングに関する知識や技術がないユーザであっても所望の3Dモデルを容易に作成することが可能となる。
【0033】
<2.各機器の構成と動作>
図4は、ユーザ端末1とサーバ2の機能構成例を示すブロック図である。
【0034】
図4に示すように、ユーザ端末1は、ユーザ入力部11、入力送信部12、出力受信部13、および3Dモデル表示制御部14により構成される。
【0035】
ユーザ入力部11は、ユーザによるテキストとシード値の入力を受け付け、入力されたテキストとシード値を入力送信部12に供給する。シード値がユーザにより入力されなかった場合、ユーザ入力部11は、テキストだけを入力送信部12に供給する。
【0036】
入力送信部12は、ユーザ入力部11から供給されたテキストとシード値をサーバ2に送信する。
【0037】
出力受信部13は、サーバ2から送信されてきたパラメータを受信し、3Dモデル表示制御部14に供給する。
【0038】
3Dモデル表示制御部14は、ユーザ端末1にインストールされたゲームエンジンや3Dソフトウェア(例えばUnreal Engine(登録商標)など)を実行し、出力受信部13から供給されたパラメータを用いて3Dモデルを取得する3Dモデル取得部として機能する。3Dモデル表示制御部14は、取得した3Dモデルをディスプレイ(不図示)などに表示する。
【0039】
サーバ2は、入力受信部31、入力解析部32、学習モデル記憶部33、パラメータ分布生成部34、パラメータ生成部35、および出力送信部36により構成される。
【0040】
入力受信部31は、ユーザ端末1から送信されてきたテキストとシード値を受信し、入力解析部32に供給する。入力受信部31は、ユーザにより入力されたテキストとシード値を取得する入力取得部として機能する。
【0041】
入力解析部32は、入力受信部31から供給されたテキストの解析を行う。具体的には、入力解析部32は、テキストから3Dモデルに関する要素を抽出し、テキストから抽出した各要素と、3Dモデルの特徴量とを対応付けるマッチングを行う。また、ユーザ端末1においてシード値が入力されなかった場合、入力解析部32は、シード値をランダムに生成する。入力解析部32は、テキストの解析結果とシード値をパラメータ分布生成部34に供給する。
【0042】
学習モデル記憶部33には、例えば、テキスト(3Dモデルに関する要素)を入力とし、所定の種類の特徴量についてのパラメータ分布であって、テキストの内容に沿ったパラメータを含むパラメータ分布を出力とする学習モデルが記憶される。
【0043】
パラメータ分布生成部34は、テキスト内の3Dモデルに関する要素に対応する特徴量についてのパラメータ分布を出力する学習モデルを取得し、3Dモデルに関する要素を当該学習モデルに入力することで、パラメータ分布を生成する。なお、テキスト内の3Dモデルに関する全ての要素を1つの学習モデルに入力することで、3Dモデルに関する各要素にそれぞれ対応する特徴量についてのパラメータ分布が一括で生成されるようにしてもよい。パラメータ分布生成部34は、シード値と、生成したパラメータ分布とをパラメータ生成部35に供給する。
【0044】
パラメータ生成部35は、パラメータ分布生成部34から供給されたパラメータ分布に含まれる複数のパラメータの中から、シード値に応じたパラメータをサンプリングすることで、パラメータを生成する。生成されるパラメータは、3Dモデリングの対象となる物体の3Dモデルの特徴量の値を示すパラメータであり、言い換えると、当該物体に関するパラメータである。パラメータ生成部35は、生成したパラメータを出力送信部36に供給する。
【0045】
出力送信部36は、パラメータ生成部35から供給されたパラメータをユーザ端末1に送信する。
【0046】
次に、
図5のフローチャートを参照して、以上のような構成を有する情報処理システムが行う処理について説明する。
【0047】
ステップS1において、ユーザ端末1のユーザ入力部11は、ユーザによるテキストとシード値の入力を受け付ける。ユーザ端末1の入力送信部12は、ユーザにより入力されたテキストとシード値をサーバ2に送信する。
【0048】
ステップS2において、サーバ2の入力解析部32は、ユーザによりシード値が入力されたか否かを判定する。例えば、入力解析部32は、シード値がユーザ端末1から送信されてこなかった場合、シード値が入力されていないと判定する。
【0049】
シード値が入力されていないとステップS2において判定された場合、ステップS3において、サーバ2の入力解析部32は、シード値をランダムに生成し、処理はステップS4に進む。
【0050】
一方、シード値が入力されたとステップS2において判定された場合、ステップS3の処理はスキップされ、処理はステップS4に進む。
【0051】
ステップS4において、サーバ2の入力解析部32は、ユーザ端末1から送信されてきたテキストから3Dモデルに関する要素を抽出する。
【0052】
ステップS5において、サーバ2の入力解析部32は、テキスト内の3Dモデルに関する各要素と3Dモデルの特徴量とのマッチングを行う。
【0053】
図6は、3Dモデルの特徴量の例を示す図である。
図6においては、街並みの3Dモデルについての各種の特徴量が示される。
【0054】
図6に示すように、街並みの3Dモデルの特徴量として、例えば、地形の形状や起伏、建物および道路配置(土地利用図のような2D Map)、建物の高さや形状、建物のテクスチャやマテリアル、木などの自然物や公園の割合および植生、天候状態(太陽位置(方向)、天気、季節など)、インフラ網(鉄塔、電柱、電線など)の状態、並びに、車や人の状態が挙げられる。
【0055】
図7は、テキスト内の3Dモデルに関する各要素と3Dモデルの特徴量とのマッチングの例を示す図である。
【0056】
図7の上側に示すように、ユーザにより入力されたテキストから、3Dモデルに関する要素として、「京都風」、「灰色」、および「夕方」のテキストが抽出されたとする。
【0057】
この場合、「京都風」のテキストは、建物および道路配置、建物の高さ、並びに、建物のテクスチャに関するテキストであると判定され、これらの特徴量に対応付けられる。「灰色」のテキストは、建物のテクスチャに関するテキストであると判定され、建物のテクスチャに対応付けられる。「夕方」のテキストは、太陽方向に関するテキストであると判定され、太陽方向に対応付けられる。
【0058】
図5に戻り、ステップS6において、サーバ2のパラメータ分布生成部34は、テキストの解析結果に基づいてパラメータ分布を生成する。テキストの解析には、テキストから3Dモデルに関する要素の抽出することや、当該要素と3Dモデルの特徴量とのマッチングの行うことが含まれる。
【0059】
テキスト内の3Dモデルに関する各要素が対応付けられた特徴量についてのパラメータ分布を生成する場合、パラメータ分布生成部34は、当該パラメータ分布を出力する学習モデルに、テキスト内の3Dモデルに関する各要素を入力して、パラメータ分布を生成する。
【0060】
図7を参照して説明したように、「京都風」、「灰色」、「夕方」のテキストが各特徴量に対応付けられた場合、建物および道路配置についてのパラメータ分布には、例えば、建物や道路が碁盤状に配置されるようなパラメータが含まれる。また、建物の高さについてのパラメータ分布には、例えば、所定の閾値よりも低い値のパラメータが含まれる。建物のテクスチャについてのパラメータ分布には、例えば、建物のテクスチャが和風になるようなパラメータが含まれる。太陽方向についてのパラメータ分布には、例えば、太陽の方向が西方向になるようなパラメータが含まれる。
【0061】
テキスト内の3Dモデルに関する要素が対応付けられていない特徴量についてのパラメータ分布を生成する場合、パラメータ分布生成部34は、平均的なパラメータまたはランダムなパラメータを含むパラメータ分布を生成する。
【0062】
ステップS7において、サーバ2のパラメータ生成部35は、パラメータ分布に含まれる複数のパラメータの中から、3Dモデルを構成する各3Dオブジェクトのパラメータをサンプリングして生成する。ここでは、パラメータ分布に含まれる複数のパラメータのうち、シード値に応じたパラメータがサンプリングされる。
【0063】
図8は、パラメータ分布からサンプリングされるパラメータの例を示す図である。
【0064】
図8の上側に示すように、建物の高さについてのパラメータ分布には、例えば、5m乃至15mの範囲で一様分布に従ってランダムに選出された複数のパラメータが含まれるとする。
【0065】
この場合、パラメータ生成部35は、矢印の先に示すように、3Dモデルを構成する各建物の高さについてのパラメータとして、例えば7m、12m、14m、13m、6m、および10mの値のパラメータ群を、シード値に応じてパラメータ分布からサンプリングする。なお、本技術の情報処理システムにおいては、入力されたシード値が同じであれば、1つのパラメータ分布から同じ組み合わせのパラメータ群がサンプリングされる。したがって、テキストやシード値を入力するタイミングなどに関わらず、同一のテキストと同一のシード値が入力されれば、同一のパラメータが生成されることになる。
【0066】
図5に戻り、ステップS7においてパラメータが生成された後、サーバ2の出力送信部36は、各3Dオブジェクトのパラメータをユーザ端末1に送信する。
【0067】
ステップS8において、ユーザ端末1の3Dモデル表示制御部14は、サーバ2から送信されてきたパラメータを用いて3Dモデルを取得し、ディスプレイに表示する。
【0068】
以上のように、本技術の情報処理システムにおいては、3Dモデリングに関する知識や技術がないユーザであっても、自然言語で記述されたテキストを入力することで所望の3Dモデルを容易に作成することが可能となる。
【0069】
入力されたテキストに基づくパラメータ分布から、シード値に応じてパラメータをサンプリングするため、本技術の情報処理システムは、同一のテキストが入力されたとしてもシード値が異なれば、異なる3Dモデルを取得することができる。したがって、取得される3Dモデルの多様性を担保することが可能となる。また、同一のテキストと同一のシード値が入力された場合、本技術の情報処理システムは、同一のパラメータをパラメータ分布からサンプリングし、同一の3Dモデルを取得することができる。したがって、取得される3Dモデルの再現性を担保することが可能となる。
【0070】
<3.変形例>
パラメータ分布からサンプリングすることでパラメータが取得されるとともに、あらかじめ計算されたパラメータを参照することでパラメータが取得されるようにしてもよい。
【0071】
図9は、サーバ2の他の機能構成例を示すブロック図である。
図9において、
図4の構成と同じ構成には同一の符号を付してある。重複する説明については適宜省略する。
【0072】
図9のサーバ2は、パラメータ取得部101とパラメータ記憶部102が設けられる点で、
図4のサーバ2と異なる。
【0073】
パラメータ取得部101には、入力解析部32によるテキストの解析結果が供給される。パラメータ取得部101は、テキスト内の3Dモデルに関する各要素に対応する特徴量についてのパラメータであって、テキストの内容に沿ったパラメータをパラメータ記憶部102から取得し、出力送信部36に供給する。パラメータ取得部101が、テキスト内の3Dモデルに関する各要素に対応付けられていない特徴量についてのパラメータをパラメータ記憶部102から取得することも可能である。
【0074】
パラメータ記憶部102には、あらかじめ計算されて取得された各種のパラメータが記憶される。
【0075】
以上のように、全てのパラメータがパラメータ分布からサンプリングされて取得されるのではなく、いくつかのパラメータは、あらかじめ計算されたパラメータの中から参照されて取得されてもよい。
【0076】
以上では、街並みの3Dモデリングを行う例について説明したが、本技術の情報処理システムは、街並み、建物、自然地形などを含む環境や、人(例えば、全身や顔)、動物、車両、飛行体、船舶などを含む、動く物体である可動物体を3Dモデリングの対象とすることが可能である。本技術の情報処理システムにおいては、3Dモデリングの対象となる環境や可動物体などの3Dモデリングに必要な特徴量(パラメータ)があらかじめ想定され、当該特徴量についてのパラメータが生成されるように設定が行われる。
【0077】
なお、ユーザが3Dモデリングの対象を指定するテキストを、3Dモデリングの対象の様子を示すテキストとともに入力することも可能である。この場合、ユーザにより入力されたテキストに基づいて、情報処理システムによる3Dモデリングの対象が決定される。このように、3Dモデリングの対象を示すテキストには、3Dモデリングの対象の様子を示すテキストや、3Dモデリングの対象を指定するテキストが含まれる。
【0078】
ユーザ端末1の機能のうちの一部の機能がサーバ2に設けられるようにしてもよく、サーバ2の機能のうちの全部または一部の機能がユーザ端末1に設けられるようにしてもよい。例えば、サーバ2が、生成したパラメータを用いて3Dモデルを取得したり、ユーザ端末1が、パラメータ分布やパラメータを生成したりすることが可能である。
【0079】
・コンピュータについて
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【0080】
図10は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【0081】
CPU(Central Processing Unit)501,ROM(Read Only Memory)502,RAM(Random Access Memory)503は、バス504により相互に接続されている。
【0082】
バス504には、さらに、入出力インタフェース505が接続される。入出力インタフェース505には、キーボード、マウスなどよりなる入力部506、ディスプレイ、スピーカなどよりなる出力部507が接続される。また、入出力インタフェース505には、ハードディスクや不揮発性のメモリなどよりなる記憶部508、ネットワークインタフェースなどよりなる通信部509、リムーバブルメディア511を駆動するドライブ510が接続される。
【0083】
以上のように構成されるコンピュータでは、CPU501が、例えば、記憶部508に記憶されているプログラムを入出力インタフェース505及びバス504を介してRAM503にロードして実行することにより、上述した一連の処理が行われる。
【0084】
CPU501が実行するプログラムは、例えばリムーバブルメディア511に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部508にインストールされる。
【0085】
コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0086】
なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
【0087】
本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【0088】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0089】
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0090】
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0091】
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0092】
<構成の組み合わせ例>
本技術は、以下のような構成をとることもできる。
【0093】
(1)
ユーザにより入力された、モデリング対象を示すテキストを取得し、
前記テキストに基づく第1のパラメータを生成し、
前記第1のパラメータを用いて前記モデリング対象の3Dモデルを取得する
情報処理方法。
(2)
前記テキストに基づいて、前記第1のパラメータを含むパラメータ分布を生成し、
前記第1のパラメータを前記パラメータ分布からサンプリングすることで生成する
前記(1)に記載の情報処理方法。
(3)
前記パラメータ分布から前記第1のパラメータをサンプリングするためのシード値を取得し、
前記シード値に応じてサンプリングされた前記第1のパラメータを用いて前記モデリング対象の3Dモデルを取得する
前記(2)に記載の情報処理方法。
(4)
前記シード値は、前記ユーザにより入力される
前記(3)に記載の情報処理方法。
(5)
前記ユーザにより前記シード値が入力されなかった場合、前記シード値はランダムに生成される
前記(4)に記載の情報処理方法。
(6)
前記パラメータ分布は、前記テキストを入力とし、前記パラメータ分布を出力とする学習モデルが用いられて生成される
前記(2)に記載の情報処理方法。
(7)
前記第1のパラメータは、前記モデリング対象となる環境と可動物体の少なくともいずれかに関する
前記(1)乃至(6)の少なくともいずれかに記載の情報処理方法。
(8)
前記テキストは、文字と音声の少なくともいずれかを用いて入力される
前記(1)乃至(7)のいずれかに記載の情報処理方法。
(9)
前記テキストを解析し、
前記テキストの解析結果に基づいて前記第1のパラメータを生成する
前記(1)乃至(8)のいずれかに記載の情報処理方法。
(10)
前記テキストから前記モデリング対象の3Dモデルに関する要素を抽出し、前記要素と前記モデリング対象の3Dモデルの特徴量とのマッチングを行うことで、前記テキストを解析する
前記(9)に記載の情報処理方法。
(11)
前記第1のパラメータを用いて前記モデリング対象の3Dモデルを生成することで取得する
前記(1)乃至(10)のいずれかに記載の情報処理方法。
(12)
あらかじめ生成された複数の3Dモデルの中から、前記第1のパラメータを用いて生成された前記モデリング対象の3Dモデルを選択することで取得する
前記(1)乃至(10)のいずれかに記載の情報処理方法。
(13)
前記第1のパラメータとともに、あらかじめ計算された第2のパラメータを用いて前記モデリング対象の3Dモデルを取得する
前記(1)乃至(12)のいずれかに記載の情報処理方法。
(14)
前記テキストは、前記モデリング対象の様子を示す第1のテキストを含む
前記(1)乃至(13)のいずれかに記載の情報処理方法。
(15)
前記テキストは、前記モデリング対象を指定する第2のテキストを含む
前記(1)乃至(14)のいずれかに記載の情報処理方法。
(16)
ユーザにより入力された、モデリング対象を示すテキストを取得する入力取得部と、
前記テキストに基づくパラメータを生成する生成部と、
前記パラメータを用いて前記モデリング対象の3Dモデルを取得する3Dモデル取得部と
を備える情報処理装置。
(17)
ユーザによる、モデリング対象を示すテキストの入力を受け付ける入力部と、
前記テキストに基づくパラメータを用いて前記モデリング対象の3Dモデルを取得する3Dモデル取得部と
を備える端末と、
前記端末において入力された前記テキストに基づく前記パラメータを生成する生成部
を備えるサーバ装置と
を有する情報処理システム。
【符号の説明】
【0094】
1 ユーザ端末, 2 サーバ, 11 ユーザ入力部, 12 入力送信部, 13 出力受信部, 14 3Dモデル表示制御部, 31 入力受信部, 32 入力解析部, 33 学習モデル記憶部, 34 パラメータ分布生成部, 35 パラメータ生成部, 36 出力送信部 101 パラメータ取得部, 102 パラメータ記憶部