特開 2022-131971 ３Ｄモデルの生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022131971

(43)【公開日】2022-09-07

(54)【発明の名称】３Ｄモデルの生成方法

(51)【国際特許分類】

   G06T 19/20 20110101AFI20220831BHJP

   G06T 17/00 20060101ALI20220831BHJP

   G06T 7/00 20170101ALI20220831BHJP

   G06T 7/55 20170101ALI20220831BHJP

【ＦＩ】

G06T19/20

G06T17/00

G06T7/00 350C

G06T7/55

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2021031256

(22)【出願日】2021-02-26

(71)【出願人】

【識別番号】515130201

【氏名又は名称】株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】松元 叡一

(72)【発明者】

【氏名】橋本 泰輔

(72)【発明者】

【氏名】藤田 康博

【テーマコード（参考）】

5B050

5B080

5L096

【Ｆターム（参考）】

5B050BA08

5B050BA09

5B050BA12

5B050CA07

5B050DA07

5B050EA07

5B050EA13

5B050EA18

5B050EA19

5B050EA27

5B050EA28

5B050FA02

5B050FA09

5B050GA08

5B080AA19

5B080BA02

5B080CA01

5B080DA06

5B080FA02

5B080GA22

5L096AA09

5L096CA05

5L096GA19

5L096HA02

5L096HA11

5L096KA04

(57)【要約】

【課題】新規な動体３Ｄモデルの生成方法を提供する。
【解決手段】スキャン対象物の３Ｄモデルおよび時間変形を、ニューラルネットワークを用いて、基準となる３Ｄメッシュからの頂点変異で行う、３Ｄモデルの生成方法。
【選択図】図１

【特許請求の範囲】

【請求項1】

スキャン対象物の３Ｄモデルおよび時間変形を、ニューラルネットワークモデルを用いて、基準となる３Ｄメッシュからの頂点変異で行う、３Ｄモデルの生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３Ｄモデルの生成方法に関する。

【発明の概要】

【発明が解決しようとする課題】

【0002】

新規な動体３Ｄモデルの生成方法を提供する。

【課題を解決するための手段】

【0003】

本発明の一実施形態は、スキャン対象物の３Ｄモデルおよび時間変形を、ニューラルネットワークモデルを用いて、基準となる３Ｄメッシュからの頂点変異で行う、３Ｄモデルの生成方法である。

【図面の簡単な説明】

【0004】

【図1】一実施形態の方法を示す図である。

【図2】一実施形態の画像を取得するための装置を示す図である。

【図3】一実施形態の装置のシステムとフローを示す図である。

【図4】一実施形態のハードウェア構成を示す図である。

【図5】一実施形態の３Ｄモデルの生成について説明するための図である。

【図6】一実施形態の３Ｄモデルの生成について説明するための図である。

【図7】一実施形態の３Ｄモデルの生成について説明するための図である。

【図8】一実施形態の３Ｄモデルの生成について説明するための図である。

【図9】一実施形態の３Ｄモデルの生成について説明するための図である。

【図10】一実施形態の３Ｄモデルの生成について説明するための図である。

【図11】一実施形態の３Ｄモデルの生成について説明するための図である。

【図12】一実施形態の３Ｄモデルの生成について説明するための図である。

【図13】一実施形態の３Ｄモデルの生成について説明するための図である。

【図14】一実施形態の３Ｄモデルの生成について説明するための図である。

【図15】一実施形態の３Ｄモデルの生成について説明するための図である。

【図16】一実施形態の３Ｄモデルの生成について説明するための図である。

【図17】一実施形態の３Ｄモデルの生成について説明するための図である。

【図18】一実施形態の３Ｄモデルの生成について説明するための図である。

【図19】一実施形態の３Ｄモデルの生成について説明するための図である。

【図20】一実施形態の３Ｄモデルの生成について説明するための図である。

【図21】一実施形態の３Ｄモデルの生成について説明するための図である。

【図22】一実施形態の３Ｄモデルの生成について説明するための図である。

【図23】一実施形態の３Ｄモデルの生成について説明するための図である。

【図24】一実施形態の３Ｄモデルの生成について説明するための図である。

【図25】一実施形態の機械学習モデルについて説明する図である。

【図26】一実施形態の機械学習モデルについて説明する図である。

【図27】一実施形態の機械学習モデルについて説明する図である。

【図28】一実施形態の機械学習モデルについて説明する図である。

【図29】一実施形態の機械学習モデルについて説明する図である。

【図30】一実施形態の機械学習モデルについて説明する図である。

【図31】一実施形態の機械学習モデルについて説明する図である。

【図32】一実施形態の機械学習モデルについて説明する図である。

【図33】一実施形態の機械学習モデルについて説明する図である。

【図34】一実施形態の機械学習モデルについて説明する図である。

【図35】一実施形態の機械学習モデルについて説明する図である。

【図36】一実施形態の機械学習モデルについて説明する図である。

【図37】一実施形態の機械学習モデルについて説明する図である。

【図38】一実施形態の機械学習モデルについて説明する図である。

【図39】一実施形態の機械学習モデルについて説明する図である。

【図40】一実施形態の機械学習モデルについて説明する図である。

【図41】一実施形態のデータアセットシステムについて説明するための図である。

【図42】一実施形態のデータアセットシステムについて説明するための図である。

【図43】一実施形態のデータアセットシステムについて説明するための図である。

【図44】一実施形態のデータアセットシステムについて説明するための図である。

【図45】一実施形態のデータアセットシステムについて説明するための図である。

【図46】一実施形態のデータアセットシステムについて説明するための図である。

【図47】一実施形態のデータアセットシステムについて説明するための図である。

【図48】一実施形態のデータアセットシステムについて説明するための図である。

【図49】一実施形態のデータアセットシステムについて説明するための図である。

【図50】一実施形態のデータアセットシステムについて説明するための図である。

【図51】一実施形態のデータアセットシステムについて説明するための図である。

【発明を実施するための形態】

【0005】

本発明の一実施形態は、多数のカメラで空間を複数方向から動画で撮影し、そのデータを統合することで、ダンスをする人間などの動く対象物の、３Ｄモデルおよびその時間変形を取得する時系列３Ｄスキャン (以下動体スキャン)装置で用いられる復元アルゴリズムを有する方法である。

【0006】

本発明の一実施形態では、まず、スキャン対象物の３Ｄモデルおよび時間変形を、基準となる３Ｄメッシュからの頂点変異で表し、その変位量はニューラルネットワークモデル（第１モデル）を用いて初期位置、時刻を入力とした関数で表現する。

【0007】

次に、ある時刻、あるカメラから得られた３Ｄモデル化したい対象物を撮影した画像と、復元中の３Ｄモデルをその時刻・カメラ位置からニューラルネットワークを用いた微分可能レンダラを用いてレンダリングした画像（対象物の３Ｄモデルを撮影した画像）との誤差を最小化するように、確率勾配降下法で前記ニューラルネットワークモデル（第１モデル） (およびテクスチャ画像、各カメラの位置姿勢等)を最適化する。これにより、複数視点からの映像と辻褄の合うような３Ｄモデルおよびその時間変形が復元できる。

【0008】

このようなニューラルネットワークモデル及び微分可能レンダラ等は、適切な画像、動画、データ等を用いて訓練することができる。

【0009】

このように、ニューラルネットワークモデルを用いて形状と変形をモデル化することにより、時間的にトポロジー(メッシュの頂点間の接続関係)やテクスチャマッピングの保たれた復元結果を得ることができる。この性質によって、同一のトポロジーとテクスチャ画像を複数時刻にわたって再利用できるため、対象物を効率よくモデリングできる。特に、人体のようなトポロジー変化やテクスチャの変化が少ない (撮影中にパーツが増減、分離等しない、色が突然変わらないようなもの）対象物を効率よくモデリング出来る。これは、ゲームなどの計算コストを抑える必要があるアプリケーションで重要である。また、一部のテクスチャやメッシュに対する編集が、全時間にわたって反映されるため、服の色やテクスチャを変えるといった撮影後の事後編集を容易に行うことができる。

【0010】

また、一般的な３Ｄ復元を1フレームごと独立に行う手法の場合、メッシュやテクスチャがフレームの数分できるため、容量が膨大になる場合がある。また、例えばモデルを修正したい場合、例えば３Ｄモデルの人物が着ている服のロゴ等を撮影後に修正する場合、全てのフレームに対し別々に編集作業を行う必要がある。

【0011】

一方、本実施形態のように、微分可能レンダラによる３Ｄ復元では、指定した種メッシュ（第１のメッシュ）の頂点座標が目標に合うよう最適化を行うという性質上、全てのフレームで同じ構造のメッシュを使うことができる。同様にテクスチャも複数のフレーム、好ましくは全フレームにおいて共有することで、1枚またはフレーム数より少ない画像を使用できる。これにより、容量の削減や復元後の編集性などで利点があると考える。

【0012】

図３に本発明の一実施形態のシステムとフローを示す。

【0013】

まず、被写体を装置の中央に配置し、制御用PCを操作し、複数のカメラ（撮像装置）からの録画を行う。なお、後述の処理のため、被写体がいない状態を撮影しておいても良い。また、映像だけでなく音声を録画してもよい。各カメラからの録画データはネットワークなどを介して三次元復元を行うための計算機に集められる。

【0014】

次に、各カメラの三次元位置、姿勢(角度)を求める。一つの方法としては、撮影装置内の各カメラから映る位置にマーカーを複数設置して、既存のソフトウェアによりマーカー検出を行い、マーカー位置姿勢とカメラ位置姿勢の同時最適化(bundle adjustment)を行う方法がある。

【0015】

次に、録画した映像の各フレームが撮影された時刻を求める。一つの方法としては、カメラの機種によっては複数台の録画タイミングを精密に同期することができるので、その情報を使うことができる。そういった機能のないカメラを用いるときは、映像と同時に録音した音声情報を用いて、時刻を求めることもできる。

【0016】

次に、微分可能レンダラによる最適化を行う際の初期値となるbase mesh (種メッシュ)を用意する。これは例えば特定時刻の複数カメラからの画像を元に、既存の三次元復元ソフトウェアにより再構成した、その時刻での3Dモデルを用いることができる。あるいは、適当な人手でモデリングされた人体モデルのポーズを大まかに被写体と合わせて、base meshとして用いることもできる。

【0017】

次に、上述の方法により、動作の再構成を行う。

【0018】

次に、ここまでのフローで得られた情報を適切な形で取得し、出力する。例えば、テクスチャ付きの３Ｄメッシュ、およびその頂点座標の変化の時系列データの情報を取得し、外部記憶装置等に出力する。

【0019】

本発明の一実施形態は、動体３Ｄモデル生成に適用可能である。また、Volumetric ViDeoと呼ばれる、一般の３Ｄ復元がある瞬間の３Ｄ情報を扱うのに対し時系列の３Ｄ情報(=4D情報)を扱う、現実の人や空間を動きも含めデジタルデータとして取得・再生する、またその空間で起きたことのアーカイブや人のパフォーマンスを任意視点から鑑賞することなどが可能な技術に好適に適用可能である。

【0020】

前述した実施形態における方法を実現する各装置（３Ｄモデル復元装置、３Ｄモデル生成装置、訓練装置）の一部又は全部は、ハードウェアで構成されていてもよいし、ＣＰＵ（Central Processing Unit）、又はＧＰＵ（Graphics Processing Unit）等が実行するソフトウェア（プログラム）の情報処理で構成されてもよい。ソフトウェアの情報処理で構成される場合には、前述した実施形態における各装置の少なくとも一部の機能を実現するソフトウェアを、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory）、又はＵＳＢ（Universal Serial Bus）メモリ等の非一時的な記憶媒体（非一時的なコンピュータ可読媒体）に収納し、コンピュータに読み込ませることにより、ソフトウェアの情報処理を実行してもよい。また、通信ネットワークを介して当該ソフトウェアがダウンロードされてもよい。さらに、ソフトウェアがＡＳＩＣ（Application Specific Integrated Circuit）、又はＦＰＧＡ（Field Programmable Gate Array）等の回路に実装されることにより、情報処理がハードウェアにより実行されてもよい。

【0021】

ソフトウェアを収納する記憶媒体の種類は限定されるものではない。記憶媒体は、磁気ディスク、又は光ディスク等の着脱可能なものに限定されず、ハードディスク、又はメモリ等の固定型の記憶媒体であってもよい。また、記憶媒体は、コンピュータ内部に備えられてもよいし、コンピュータ外部に備えられてもよい。

【0022】

図４は、前述した実施形態における各装置（３Ｄ復元装置、又は訓練装置）のハードウェア構成の一例を示すブロック図である。各装置は、一例として、プロセッサ７１と、主記憶装置７２（メモリ）と、補助記憶装置７３（メモリ）と、ネットワークインタフェース７４と、デバイスインタフェース７５と、を備え、これらがバス７６を介して接続されたコンピュータ７として実現されてもよい。

【0023】

図４のコンピュータ７は、各構成要素を一つ備えているが、同じ構成要素を複数備えていてもよい。また、図４では、１台のコンピュータ７が示されているが、ソフトウェアが複数台のコンピュータにインストールされて、当該複数台のコンピュータそれぞれがソフトウェアの同一の又は異なる一部の処理を実行してもよい。この場合、コンピュータそれぞれがネットワークインタフェース７４等を介して通信して処理を実行する分散コンピューティングの形態であってもよい。つまり、前述した実施形態における各装置（３Ｄモデル復元装置、３Ｄモデル生成装置、又は訓練装置）は、１又は複数の記憶装置に記憶された命令を１台又は複数台のコンピュータが実行することで機能を実現するシステムとして構成されてもよい。また、端末から送信された情報をクラウド上に設けられた１台又は複数台のコンピュータで処理し、この処理結果を端末に送信するような構成であってもよい。

【0024】

前述した実施形態における各装置（３Ｄモデル復元装置、３Ｄモデル生成装置、又は訓練装置）の各種演算は、１又は複数のプロセッサを用いて、又は、ネットワークを介した複数台のコンピュータを用いて、並列処理で実行されてもよい。また、各種演算が、プロセッサ内に複数ある演算コアに振り分けられて、並列処理で実行されてもよい。また、本開示の処理、手段等の一部又は全部は、ネットワークを介してコンピュータ７と通信可能なクラウド上に設けられたプロセッサ及び記憶装置の少なくとも一方により実行されてもよい。このように、前述した実施形態における各装置は、１台又は複数台のコンピュータによる並列コンピューティングの形態であってもよい。

【0025】

プロセッサ７１は、コンピュータの制御装置及び演算装置を含む電子回路（処理回路、Processing circuit、Processing circuitry、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、又はＡＳＩＣ等）であってもよい。また、プロセッサ７１は、汎用プロセッサではなく特定の演算を実行するために設計された専用の処理回路を含む半導体装置等であってもよく、汎用プロセッサと専用の処理回路との両方を含む半導体装置等であってもよい。プロセッサ７１は、電子論理素子を用いた電子回路に限定されるものではなく、光論理素子を用いた光回路により実現されてもよい。また、プロセッサ７１は、量子コンピューティングに基づく演算機能を含むものであってもよい。

【0026】

プロセッサ７１は、コンピュータ７の内部構成の各装置等から入力されたデータやソフトウェア（プログラム）に基づいて演算処理を行ってもよく、演算結果や制御信号を各装置等に出力してもよい。プロセッサ７１は、コンピュータ７のＯＳ（Operating System）や、アプリケーション等を実行することにより、コンピュータ７を構成する各構成要素を制御してもよい。

【0027】

前述した実施形態における各装置（３Ｄモデル復元装置、３Ｄモデル生成装置及、又は訓練装置）は、１又は複数のプロセッサ７１により実現されてもよい。ここで、プロセッサ７１は、１チップ上に配置された１又は複数の電子回路を指してもよいし、２つ以上のチップあるいは２つ以上のデバイス上に配置された１又は複数の電子回路を指してもよい。複数の電子回路を用いる場合、各電子回路は有線又は無線により通信してもよい。

【0028】

主記憶装置７２は、プロセッサ７１が実行する命令及び各種データ等を記憶してもよく、主記憶装置７２に記憶された情報がプロセッサ７１により読み出されてもよい。補助記憶装置７３は、主記憶装置７２以外の記憶装置である。なお、これらの記憶装置は、電子情報を格納可能な任意の電子部品を意味するものとし、半導体のメモリでもよい。半導体のメモリは、揮発性メモリ、不揮発性メモリのいずれでもよい。前述した実施形態における各装置（３Ｄモデル復元装置、３Ｄモデル生成装置、又は訓練装置）において各種データを保存するための記憶装置は、主記憶装置７２又は補助記憶装置７３により実現されてもよく、プロセッサ７１に内蔵される内蔵メモリにより実現されてもよい。例えば、前述した実施形態における記憶部１０２は、主記憶装置７２又は補助記憶装置７３により実現されてもよい。

【0029】

前述した実施形態における各装置（３Ｄモデル復元装置、３Ｄモデル生成装置、又は訓練装置）が、少なくとも１つの記憶装置（メモリ）とこの少なくとも１つの記憶装置（メモリ）に接続（結合）される複数のプロセッサで構成される場合、記憶装置（メモリ）１つに対して、複数のプロセッサが接続（結合）されてもよいし、１つのプロセッサが接続されてもよい。また、プロセッサ１つに対して、複数の記憶装置（メモリ）が接続（結合）されてもよし、１つの記憶装置（メモリ）が接続（結合）されてもよい。また、複数のプロセッサのうち少なくとも１つのプロセッサが、少なくとも１つの記憶装置（メモリ）に接続（結合）される構成を含んでもよい。また、複数台のコンピュータに含まれる記憶装置（メモリ））とプロセッサによって、この構成が実現されてもよい。さらに、記憶装置（メモリ）がプロセッサと一体になっている構成（例えば、Ｌ１キャッシュ、Ｌ２キャッシュを含むキャッシュメモリ）を含んでもよい。

【0030】

ネットワークインタフェース７４は、無線又は有線により、通信ネットワーク８に接続するためのインタフェースである。ネットワークインタフェース７４は、既存の通信規格に適合したもの等、適切なインタフェースを用いればよい。ネットワークインタフェース７４により、通信ネットワーク８を介して接続された外部装置９Ａと情報のやり取りが行われてもよい。なお、通信ネットワーク８は、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、ＰＡＮ（Personal Area Network）等の何れか、又は、それらの組み合わせであってよく、コンピュータ７と外部装置９Ａとの間で情報のやり取りが行われるものであればよい。ＷＡＮの一例としてインターネット等があり、ＬＡＮの一例としてＩＥＥＥ８０２．１１やイーサネット（登録商標）等があり、ＰＡＮの一例としてＢｌｕｅｔｏｏｔｈ（登録商標）やＮＦＣ（Near Field Communication）等がある。

【0031】

デバイスインタフェース７５は、外部装置９Ｂと直接接続するＵＳＢ等のインタフェースである。

【0032】

外部装置９Ａはコンピュータ７とネットワークを介して接続されている装置である。外部装置９Ｂはコンピュータ７と直接接続されている装置である。

【0033】

外部装置９Ａ又は外部装置９Ｂは、一例として、入力装置であってもよい。入力装置は、例えば、カメラ、マイクロフォン、モーションキャプチャ、各種センサ、キーボード、マウス、又はタッチパネル等のデバイスであり、取得した情報をコンピュータ７に与える。また、パーソナルコンピュータ、タブレット端末、又はスマートフォン等の入力部とメモリとプロセッサを備えるデバイスであってもよい。

【0034】

また、外部装置９Ａ又は外部装置Ｂは、一例として、出力装置でもよい。出力装置は、例えば、ＬＣD（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）、ＰDＰ（Plasma Display Panel）、又は有機ＥＬ（Electro Luminescence）パネル等の表示装置であってもよいし、音声等を出力するスピーカ等であってもよい。また、パーソナルコンピュータ、タブレット端末、又はスマートフォン等の出力部とメモリとプロセッサを備えるデバイスであってもよい。

【0035】

また、外部装置９Ａまた外部装置９Ｂは、記憶装置（メモリ）であってもよい。例えば、外部装置９Ａはネットワークストレージ等であってもよく、外部装置９ＢはＨＤＤ等のストレージであってもよい。

【0036】

また、外部装置９Ａ又は外部装置９Ｂは、前述した実施形態における各装置（３Ｄモデル復元装置、３Ｄモデル生成装置、又は訓練装置）の構成要素の一部の機能を有する装置でもよい。つまり、コンピュータ７は、外部装置９Ａ又は外部装置９Ｂの処理結果の一部又は全部を送信又は受信してもよい。

【0037】

本明細書（請求項を含む）において、「a、b及びcの少なくとも1つ（一方）」又は「a、b又はcの少なくとも1つ（一方）」の表現（同様な表現を含む）が用いられる場合は、a、b、c、a-b、a-c、b-c、又はa-b-cのいずれかを含む。また、a-a、a-b-b、a-a-b-b-c-c等のように、いずれかの要素について複数のインスタンスを含んでもよい。さらに、a-b-c-dのようにDを有する等、列挙された要素（a、b及びc）以外の他の要素を加えることも含む。

【0038】

本明細書（請求項を含む）において、「データを入力として／を用いて／データに基づいて／に従って／に応じて」等の表現（同様な表現を含む）が用いられる場合は、特に断りがない場合、各種データそのものを入力として用いる場合や、各種データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、データから抽出した特徴量、各種データの中間表現等）を入力として用いる場合を含む。また「データを入力として／を用いて／データに基づいて／に従って／に応じて」何らかの結果が得られる旨が記載されている場合（同様な表現を含む）、当該データのみに基づいて当該結果が得られる場合を含むとともに、当該データ以外の他のデータ、要因、条件、及び／又は状態等にも影響を受けて当該結果が得られる場合をも含み得る。また、「データを出力する」旨が記載されている場合（同様な表現を含む）、特に断りがない場合、各種データそのものを出力として用いる場合や、各種データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、データから抽出した特徴量、各種データの中間表現等）を出力とする場合も含む。

【0039】

本明細書（請求項を含む）において、「接続される（connected）」及び「結合される（coupled）」との用語が用いられる場合は、直接的な接続／結合、間接的な接続／結合、電気的（electrically）な接続／結合、通信的（communicatively）な接続／結合、機能的（operatively）な接続／結合、物理的（physically）な接続／結合等のいずれをも含む非限定的な用語として意図される。当該用語は、当該用語が用いられた文脈に応じて適宜解釈されるべきであるが、意図的に或いは当然に排除されるのではない接続／結合形態は、当該用語に含まれるものして非限定的に解釈されるべきである。

【0040】

本明細書（請求項を含む）において、「ＡがＢするよう構成される（A configured to B）」との表現が用いられる場合は、要素Ａの物理的構造が、動作Ｂを実行可能な構成を有するとともに、要素Ａの恒常的（permanent）又は一時的（temporary）な設定（setting/configuration）が、動作Ｂを実際に実行するように設定（configured/set）されていることを含んでよい。例えば、要素Ａが汎用プロセッサである場合、当該プロセッサが動作Ｂを実行可能なハードウェア構成を有するとともに、恒常的（permanent）又は一時的（temporary）なプログラム（命令）の設定により、動作Ｂを実際に実行するように設定（configured）されていればよい。また、要素Ａが専用プロセッサ又は専用演算回路等である場合、制御用命令及びデータが実際に付属しているか否かとは無関係に、当該プロセッサの回路的構造等が動作Ｂを実際に実行するように構築（implemented）されていればよい。

【0041】

本明細書（請求項を含む）において、含有又は所有を意味する用語（例えば、「含む（comprising/including）」及び「有する（having）」等）が用いられる場合は、当該用語の目的語により示される対象物以外の物を含有又は所有する場合を含む、open-endedな用語として意図される。これらの含有又は所有を意味する用語の目的語が数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）である場合は、当該表現は特定の数に限定されないものとして解釈されるべきである。

【0042】

本明細書（請求項を含む）において、ある箇所において「１つ又は複数（one or more）」又は「少なくとも１つ（at least one）」等の表現が用いられ、他の箇所において数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）が用いられているとしても、後者の表現が「１つ」を意味することを意図しない。一般に、数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）は、必ずしも特定の数に限定されないものとして解釈されるべきである。

【0043】

本明細書において、ある実施例の有する特定の構成について特定の効果（advantage/result）が得られる旨が記載されている場合、別段の理由がない限り、当該構成を有する他の１つ又は複数の実施例についても当該効果が得られると理解されるべきである。但し当該効果の有無は、一般に種々の要因、条件、及び／又は状態等に依存し、当該構成により必ず当該効果が得られるものではないと理解されるべきである。当該効果は、種々の要因、条件、及び／又は状態等が満たされたときに実施例に記載の当該構成により得られるものに過ぎず、当該構成又は類似の構成を規定したクレームに係る発明において、当該効果が必ずしも得られるものではない。

【0044】

本明細書（請求項を含む）において、「最大化（maximize）」等の用語が用いられる場合は、グローバルな最大値を求めること、グローバルな最大値の近似値を求めること、ローカルな最大値を求めること、及びローカルな最大値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最大値の近似値を確率的又はヒューリスティックに求めることを含む。同様に、「最小化（minimize）」等の用語が用いられる場合は、グローバルな最小値を求めること、グローバルな最小値の近似値を求めること、ローカルな最小値を求めること、及びローカルな最小値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最小値の近似値を確率的又はヒューリスティックに求めることを含む。同様に、「最適化（optimize）」等の用語が用いられる場合は、グローバルな最適値を求めること、グローバルな最適値の近似値を求めること、ローカルな最適値を求めること、及びローカルな最適値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最適値の近似値を確率的又はヒューリスティックに求めることを含む。

【0045】

本明細書（請求項を含む）において、複数のハードウェアが所定の処理を行う場合、各ハードウェアが協働して所定の処理を行ってもよいし、一部のハードウェアが所定の処理の全てを行ってもよい。また、一部のハードウェアが所定の処理の一部を行い、別のハードウェアが所定の処理の残りを行ってもよい。本明細書（請求項を含む）において、「１又は複数のハードウェアが第１の処理を行い、前記１又は複数のハードウェアが第２の処理を行う」等の表現が用いられている場合、第１の処理を行うハードウェアと第２の処理を行うハードウェアは同じものであってもよいし、異なるものであってもよい。つまり、第１の処理を行うハードウェア及び第２の処理を行うハードウェアが、前記１又は複数のハードウェアに含まれていればよい。なお、ハードウェアは、電子回路、又は電子回路を含む装置等を含んでよい。

【0046】

本明細書（請求項を含む）において、複数の記憶装置（メモリ）がデータの記憶を行う場合、複数の記憶装置（メモリ）のうち個々の記憶装置（メモリ）は、データの一部のみを記憶してもよいし、データの全体を記憶してもよい。また、複数の記憶装置（メモリ）のうち一部の記憶装置（メモリ）がデータを記憶する構成を含んでもよい。

【0047】

以上、本開示の実施形態について詳述したが、本開示は上記した個々の実施形態に限定されるものではない。特許請求の範囲に規定された内容及びその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲において種々の追加、変更、置き換え及び部分的削除等が可能である。例えば、前述した全ての実施形態において、数値又は数式を説明に用いている場合は、一例として示したものであり、これらに限られるものではない。また、実施形態における各動作の順序は、一例として示したものであり、これらに限られるものではない。

【符号の説明】

【0048】

７ コンピュータ
７１ プロセッサ
７２ 主記憶装置
７３ 補助記憶装置
７４ ネットワークインタフェース
７５ デバイスインタフェース
８ 通信ネットワーク
９Ａ 外部装置
９Ｂ 外部装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】

【図46】

【図47】

【図48】

【図49】

【図50】

【図51】