特開 2023-134320 建物の画像から建物情報をパラメータ化するための機械学習システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023134320

(43)【公開日】2023-09-27

(54)【発明の名称】建物の画像から建物情報をパラメータ化するための機械学習システム

(51)【国際特許分類】

   G06F 30/13 20200101AFI20230920BHJP

   G06T 7/00 20170101ALI20230920BHJP

   G06T 3/00 20060101ALI20230920BHJP

   G06F 30/27 20200101ALI20230920BHJP

   G06Q 50/08 20120101ALI20230920BHJP

【ＦＩ】

G06F30/13

G06T7/00 350B

G06T3/00 720

G06F30/27

G06Q50/08

【審査請求】未請求

【請求項の数】21

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022086062

(22)【出願日】2022-05-26

(31)【優先権主張番号】17/654,737

(32)【優先日】2022-03-14

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＺＩＧＢＥＥ

(71)【出願人】

【識別番号】501228071

【氏名又は名称】エスアールアイ インターナショナル

【氏名又は名称原語表記】ＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ

【住所又は居所原語表記】３３３ Ｒａｖｅｎｓｗｏｏｄ Ａｖｅｎｕｅ， Ｍｅｎｌｏ Ｐａｒｋ， Ｃａｌｉｆｏｒｎｉａ ９４０２５， Ｕ．Ｓ．Ａ．

(71)【出願人】

【識別番号】000000549

【氏名又は名称】株式会社大林組

(71)【出願人】

【識別番号】522209837

【氏名又は名称】ハイパー インコーポレイテッド

【氏名又は名称原語表記】ＨＹＰＡＲ ＩＮＣ．

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】アニルバン ロイ

(72)【発明者】

【氏名】ジーホア ファン

(72)【発明者】

【氏名】スジョン キム

(72)【発明者】

【氏名】ミン イン

(72)【発明者】

【氏名】チー－フン イエ

(72)【発明者】

【氏名】中林 拓馬

(72)【発明者】

【氏名】辻 芳人

(72)【発明者】

【氏名】イアン キーオ

(72)【発明者】

【氏名】マシュー キャンベル

【テーマコード（参考）】

5B057

5B146

5L049

5L096

【Ｆターム（参考）】

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CD20

5B146AA04

5B146DC03

5B146EA02

5L049CC07

5L096AA06

5L096DA01

5L096DA02

5L096EA07

5L096EA15

5L096EA16

5L096FA67

5L096FA69

5L096HA11

5L096JA22

5L096KA04

(57)【要約】      （修正有）

【課題】画像を用いて建物情報をパラメータ化する機械学習システム、方法及びコンピュータ可読媒体を提供する。
【解決手段】機械学習システムによる方法は、建物の画像を受信することと、建物の画像と該建物の対応する建物パラメータとを用いて学習を行った機械学習モデルを、受信した建物の画像に適用して、新たな建物について、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データ生成システムへ入力される新たな建物パラメータを生成することと、新たな建物に対する新たな建物パラメータを出力することと、を含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

建物の画像に対する建物パラメータを予測するための機械学習システムであって、
建物の画像を含む入力を受信するように構成されている入力装置と、
前記機械学習システムを実行するための処理回路およびメモリと、
出力装置と、を備え、
前記機械学習システムは、建物の画像と該建物の対応する建物パラメータとを用いて学習を行った機械学習モデルを、受信した建物の画像に適用して、新たな建物について、ＢＩＭ（building information modeling）データ生成システムへ入力される新たな建物パラメータを生成するように構成されており、
前記出力装置は、前記新たな建物に対する前記新たな建物パラメータを出力するように構成されている、機械学習システム。

【請求項2】

前記機械学習モデルは、画像処理モデルおよびＢＩＭデータモデルを含み、
受信した建物の画像に前記機械学習モデルを適用するために、前記機械学習システムは、
受信した前記画像に前記画像処理モデルを適用して、前記建物の正面の画像を生成し、
生成した前記建物の正面の画像に前記ＢＩＭデータモデルを適用して、前記新たな建物に対する前記新たな建物パラメータを生成するように構成されている、請求項１に記載の機械学習システム。

【請求項3】

前記画像処理モデルの学習は、受信した前記建物の画像の向きを補正して前記建物の正面の画像を生成するように行われている、請求項２に記載の機械学習システム。

【請求項4】

前記ＢＩＭデータモデルは、それぞれの建物タイプに対する複数のＢＩＭデータモデルを含み、
受信した建物の画像に前記機械学習モデルを適用するために、前記機械学習システムは、
生成した前記建物の正面の画像に前記画像処理モデルを適用して、前記建物の建物タイプを識別し、
前記複数のＢＩＭデータモデルのうち、識別された前記建物タイプの対応するＢＩＭデータモデルを、生成した前記正面の画像に適用して、識別された前記建物タイプを有する建物に対する新たな建物パラメータを生成するように構成されている、請求項２に記載の機械学習システム。

【請求項5】

前記機械学習モデルは、それぞれの建物タイプに対する複数のＢＩＭデータモデルを含み、
受信した建物の画像に前記機械学習モデルを適用するために、前記機械学習システムは、
受信した前記建物の画像に前記機械学習モデルを適用して、前記建物の建物タイプを識別し、
前記複数のＢＩＭデータモデルのうち、識別された前記建物タイプの対応するＢＩＭデータモデルを、受信した前記画像に適用して、識別された前記建物タイプを有する建物に対する新たな建物パラメータを生成するように構成されている、請求項１に記載の機械学習システム。

【請求項6】

前記機械学習システムは、前記建物の建物タイプを受信するようにさらに構成されており、
前記機械学習モデルは、それぞれの建物タイプに対する複数のＢＩＭデータモデルを含み、
受信した建物の画像に前記機械学習モデルを適用するために、前記機械学習システムは、前記複数のＢＩＭデータモデルのうち、前記建物の前記建物タイプの対応するＢＩＭデータモデルを、受信した前記画像に適用して、前記建物の前記建物タイプを有する建物に対する新たな建物パラメータを生成するように構成されている、請求項１に記載の機械学習システム。

【請求項7】

前記機械学習システムは、建物の前記画像と前記建物の対応する建物パラメータとを処理して、前記機械学習モデルの学習を行うように構成されている、請求項１に記載の機械学習システム。

【請求項8】

前記建物の画像は建物の合成画像であり、
前記建物の合成画像の各々は、前記建物パラメータの各々について様々な値をプログラムに入力して、前記プログラムに前記建物パラメータの値の各組み合わせに対する建物の合成画像を生成させることによって生成される、請求項７に記載の機械学習システム。

【請求項9】

前記機械学習モデルは、それぞれの建物タイプに対する複数のＢＩＭデータモデルを含み、
建物の前記画像の各画像は、前記建物のタイプを識別するラベルを有し、
建物の前記画像と前記建物の対応する建物パラメータとを処理して前記機械学習モデルの学習を行うために、前記機械学習システムは、
建物の前記画像の各画像について、前記複数のＢＩＭデータモデルのうち、前記建物の前記タイプを識別する前記ラベルに対応するＢＩＭデータモデルを選択し、
前記画像および前記建物の対応する建物パラメータを処理して、選択された前記ＢＩＭデータモデルの学習を行うように構成されている、請求項７に記載の機械学習システム。

【請求項10】

建物の画像を受信することと、
機械学習システムが、建物の画像と該建物の対応する建物パラメータとを用いて学習を行った機械学習モデルを、受信した建物の画像に適用して、新たな建物について、ＢＩＭ（building information modeling）データ生成システムへ入力される新たな建物パラメータを生成することと、
前記機械学習システムが、前記新たな建物に対する前記新たな建物パラメータを出力することと、を備える方法。

【請求項11】

前記機械学習モデルは、画像処理モデルおよびＢＩＭデータモデルを含み、
受信した建物の画像に前記機械学習モデルを適用して前記新たな建物の前記ＢＩＭデータを生成することは、
前記機械学習システムが、受信した前記画像に前記画像処理モデルを適用して、前記建物の正面の画像を生成することと、
生成した前記建物の正面の画像に前記ＢＩＭデータモデルを適用して、前記新たな建物に対する前記新たな建物パラメータを生成することと、を含む、請求項１０に記載の方法。

【請求項12】

前記画像処理モデルの学習は、受信した前記建物の画像の向きを補正して前記建物の正面の画像を生成するように行われている、請求項１１に記載の方法。

【請求項13】

前記ＢＩＭデータモデルは、それぞれの建物タイプに対する複数のＢＩＭデータモデルを含み、
受信した建物の画像に前記機械学習モデルを適用して前記新たな建物の前記ＢＩＭデータを生成することは、
生成した前記建物の正面の画像に前記画像処理モデルを適用して、前記建物の建物タイプを識別することと、
前記複数のＢＩＭデータモデルのうち、識別された前記建物タイプの対応するＢＩＭデータモデルを、生成した前記正面の画像に適用して、識別された前記建物タイプを有する建物に対する新たな建物パラメータを生成することと、を含む、請求項１１に記載の方法。

【請求項14】

前記機械学習モデルは、それぞれの建物タイプに対する複数のＢＩＭデータモデルを含み、
受信した建物の画像に前記機械学習モデルを適用して前記新たな建物の前記ＢＩＭデータを生成することは、
受信した前記建物の画像に前記機械学習モデルを適用して、前記建物の建物タイプを識別することと、
前記複数のＢＩＭデータモデルのうち、識別された前記建物タイプの対応するＢＩＭデータモデルを、受信した前記画像に適用して、識別された前記建物タイプを有する建物に対する新たな建物パラメータを生成することと、を含む、請求項１０に記載の方法。

【請求項15】

前記機械学習システムが、前記建物の建物タイプを受信することをさらに備え、前記機械学習モデルは、それぞれの建物タイプに対する複数のＢＩＭデータモデルを含み、
受信した建物の画像に前記機械学習モデルを適用して前記新たな建物の前記ＢＩＭデータを生成することは、
前記複数のＢＩＭデータモデルのうち、前記建物の前記建物タイプの対応するＢＩＭデータモデルを、受信した前記画像に適用して、前記建物の前記建物タイプを有する建物に対する新たな建物パラメータを生成することを含む、請求項１０に記載の方法。

【請求項16】

前記機械学習システムが、建物の前記画像と前記建物の対応する建物パラメータとを処理して、前記機械学習モデルの学習を行うこと、をさらに備える請求項１０に記載の方法。

【請求項17】

前記建物の画像は建物の合成画像であり、前記建物の合成画像の各々は、前記建物パラメータの各々について様々な値をプログラムに入力して、前記建物パラメータの値の各組み合わせに対する建物の合成画像を生成することによって生成される、請求項１６に記載の方法。

【請求項18】

前記機械学習モデルは、それぞれの建物タイプに対する複数のＢＩＭデータモデルを含み、
建物の前記画像の各画像は、前記建物のタイプを識別するラベルを有し、
前記処理は、建物の前記画像の各画像について、
前記機械学習システムが、前記複数のＢＩＭデータモデルのうち、前記建物の前記タイプを識別する前記ラベルに対応するＢＩＭデータモデルを選択することと、
前記機械学習システムが、前記画像および前記建物の対応する建物パラメータを処理して、選択された前記ＢＩＭデータモデルの学習を行うことと、を含む、請求項１６に記載の方法。

【請求項19】

前記ＢＩＭデータ生成システムが、前記新たな建物に対する前記新たな建物パラメータを用いて、前記新たな建物のＢＩＭデータを生成することをさらに備える、請求項１０に記載の方法。

【請求項20】

前記新たな建物パラメータは、建物寸法、階数、階高、窓の位置、および寸法のうちの１つ以上を含む、請求項１０に記載の方法。

【請求項21】

処理回路に動作を実行させるための機械可読命令を含む非一時的なコンピュータ可読媒体であって、前記動作は、
建物の画像を受信することと、
建物の画像と該建物の対応する建物パラメータとを用いて学習を行った機械学習モデルを、受信した前記建物の画像に適用して、新たな建物について、ＢＩＭ（building information modeling）データ生成システムへ入力される新たな建物パラメータを生成することと、
前記新たな建物に対する前記新たな建物パラメータを出力することと、を含む、非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は機械学習システムに関し、より詳細には建物設計用の機械学習システムに関する。

【背景技術】

【0002】

機械学習（ＭＬ）は、通常、トレーニング・データで機械学習モデルの学習を行い、トレーニング・データと同様のパターンに基づきデータの特性を一般化可能な学習済みモデルを生成することを含む。モデルの学習では、多くの場合、目的関数を最適化すること、したがって、与えられたモデルにトレーニング・データが観察される尤度を最適化することによって、モデルのパラメータを学習する。一部の用途では、学習済みモデルは、目的関数の最小化に加え、そのドメインに重要である追加の特性を満たす必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

一般に、本開示は、画像を用いて建物情報をパラメータ化するための技術を記載するものである。例えば、機械学習システムは、建物の画像と、その建物の建物寸法、階数、窓の位置および寸法、階高、インテリアレイアウトなど、建物の１つ以上の建物パラメータについての対応する既知の記述データとを含むトレーニング・データにより、機械学習モデルの学習を行うことができる。推論モードでは、機械学習システムは、建物の画像に学習済みモデルを適用して、その建物の建物パラメータの値を予測することができる。それら建物パラメータの予測値は、新たな建物を設計する際に用いられるように出力されたり、新たな建物についてＢＩＭ（building information modeling）データを生成するためにＢＩＭデータ生成システムへ入力されたりすることができる。ＢＩＭデータ生成システムは、生成された建物パラメータを用いて、例えば、三次元（３Ｄ）建築モデルにおける建物のエクステリア・ファサードや建築様式を再現することができる。

【0004】

本開示の技術では、１つ以上の実際の用途を実現する１つ以上の技術的な利点が提供される。現在の建築実務では、建築家は、所望の建物を生成するために手作業で建物パラメータを決めたり、コンピュータ利用設計（ＣＡＤ）プログラムなどの設計プログラムにおいて各建築要素を手動でレイアウトしたりする。そのため、時間が掛かったり、そのプログラムの専門知識、技能が求められたりする場合がある。本開示の技術では、建築家が画像を所有する既存の建物について、その建物と同様の建物パラメータを有する３Ｄ建築モデルを建築家が速やかに生成することが可能となり、それによって、建物設計が単純化される。次いで、建築家は、既存の建物の機械学習モデルから予測された建物パラメータを修正して、建築プロジェクトの要件その他の建築意図に適う新たな候補建物へとより速やかに到達することができる。ＢＩＭデータ生成システムは、生成された建物パラメータを用いて新たな候補建物に到達すると、その建物パラメータを処理して、その新たな候補建物のＢＩＭデータを出力することが可能である。そうした要件は、例えば、構造工学、環境計画、および法的な計画の要件に適うものや、そうした要件を満たすのに有用であるものであってよい。

【課題を解決するための手段】

【0005】

一例では、建物の画像に対する建物パラメータを予測するための機械学習システムは、建物の画像を含む入力を受信するように構成されている入力装置と、前記機械学習システムを実行するための処理回路およびメモリと、を備える。前記機械学習システムは、建物の画像と該建物の対応する建物パラメータとを用いて学習を行った機械学習モデルを、受信した前記建物の画像に適用して、新たな建物について、ＢＩＭデータ生成システムへ入力される新たな建物パラメータを生成するように構成されている。前記出力装置は、前記新たな建物に対する前記新たな建物パラメータを出力するように構成されている。

【0006】

一例では、方法は、建物の画像を受信することと、機械学習システムが、建物の画像と該建物の対応する建物パラメータとを用いて学習を行った機械学習モデルを、受信した前記建物の画像に適用して、新たな建物について、ＢＩＭデータ生成システムへ入力される新たな建物パラメータを生成することと、前記機械学習システムが、前記新たな建物に対する前記新たな建物パラメータを出力することと、を備える。

【0007】

一例では、非一時的なコンピュータ可読媒体は、処理回路に動作を実行させるための機械可読命令を含む。前記動作は、建物の画像を受信することと、建物の画像と該建物の対応する建物パラメータとを用いて学習を行った機械学習モデルを、受信した前記建物の画像に適用して、新たな建物について、ＢＩＭデータ生成システムへ入力される新たな建物パラメータを生成することと、前記新たな建物に対する前記新たな建物パラメータを出力することと、を備える。

【0008】

本開示の技術の１つ以上の例の詳細について、添付の図面および以下の記載により示す。本開示の技術における他の特徴、目的、および利点は、係る記載および図面、ならびに特許請求の範囲から明らかとなる。

【図面の簡単な説明】

【0009】

【図1】本開示の技術によるシステム例を示すブロック図である。

【図2】本開示の技術によるコンピューティング・システムの一例である。

【図3】本開示に記載の技術による、機械学習システムの動作のモードの一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

同様の参照符号は図面及び明細書を通じて同様の要素を指す。

【0011】

図１は、本開示の技術による一例のシステム１００を示すブロック図である。示すように、システム１００は、ユーザ装置１０８、コンピューティング・システム１０１、およびＢＩＭデータ生成システム１３０を備える。

【0012】

コンピューティング・システム１０１は、機械学習システム１０２を実行する。機械学習システム１０２は、ソフトウェアとして実装され得るが、いくつかの例では、ハードウェア、ファームウェア、およびソフトウェアの任意の組み合わせを含んでよい。機械学習システム１０２は、機械学習モデル１０３の学習を行う。機械学習モデル１０３は、この例では、画像処理モデル１０６と、１つ以上のＢＩＭデータモデル１２２Ａ～１２２Ｎ（まとめて「ＢＩＭデータモデル１２２」）を備える。画像処理モデル１０６およびＢＩＭデータモデル１２２の各々は、機械学習システム１０２によって実装され機械学習モデル１０３全体を形成するように結合される様々な機械学習モデルであってよい。

【0013】

コンピューティング・システム１０１は、１つ以上のサーバコンピュータ、ワークステーション、ラップトップ、メインフレーム、アプライアンス（専用機器）、クラウド・コンピューティング・システム、スマートフォン、タブレット・コンピュータ、および／または本開示の１つ以上の態様にしたがって記載される動作および／または機能を実行可能な他のコンピューティング・システムなど、任意の適切なコンピューティング・システムとして実装されてよい。いくつかの例では、コンピューティング・システム１０１は、クライアント装置や他の装置またはシステムにサービスを提供する、クラウド・コンピューティング・システム、サーバ・ファーム、および／またはサーバ・クラスタ（またはそれらの一部）である。他の例では、コンピューティング・システム１０１は、データ・センタ、クラウド・コンピューティング・システム、サーバ・ファーム、および／またはサーバ・クラスタにおける１つ以上の仮想化コンピュータ・インスタンス（例えば、仮想マシン、コンテナなど）であるか、それらによって実装される。

【0014】

ユーザ装置１０８は、ユーザによって操作されることができる。ユーザ装置１０８は、モバイル、非モバイル、ウェアラブル、および／または非ウェアラブルのコンピューティングデバイスなど、任意の適切なクライアント・コンピューティング・システムとして実装されてよい。ユーザ装置１０８は、スマートフォン、タブレット・コンピュータ、スマートウォッチ、携帯情報端末、バーチャル・アシスタント、ゲーミング・システム、メディア・プレイヤ、電子書籍リーダ、テレビまたはテレビ・プラットフォーム、ラップトップまたはノート・コンピュータ、デスクトップ・コンピュータ、カメラ、または本開示の１つ以上の態様による動作を実行できる任意の他の種類のウェアラブル、非ウェアラブル、モバイル、または非モバイルのコンピューティングデバイスであってよい。

【0015】

建築家や設計者などのユーザは、建物を設計するためにＢＩＭデータ生成システム１３０と対話することができる。ＢＩＭデータ生成システム１３０は、建物パラメータ１２４またはユーザ入力など、建物設計の態様をパラメータ化した入力データを受け取り、該入力データを用いてＢＩＭデータ１３２を生成することができる。ＢＩＭデータ１３２は、建物寸法、階数、窓の位置および寸法、階高など建物の構造的特徴の記述データ；間取り図；インテリアおよびエクステリアの構造的情報；建物の２Ｄ／３Ｄモデルまたはそのアスペクト；建物の土木、電気、鉛管、照明、またはランドスケープデータ；などを含んでよい。ＢＩＭデータ生成システム１３０は、建物設計の作成、修正、解析、または最適化を支援するためのコンピュータ支援設計（ＣＡＤ）ソフトウェアを含んでよい。

【0016】

新たな建物に対する建物パラメータ１２４は、ＢＩＭデータ生成システム１３０によって処理されるように具体的に生成されることができるが、ＢＩＭデータ生成システム１３０は、クロスプラットフォームであってもよい、すなわち、多くの異なる設計システム間で交換可能であり、またそれらのシステムによって利用可能であってよい。ＢＩＭデータ生成システム１３０は、入力パラメータの特定のセットを有するプロプライエタリ・システムであってもよい。新たな建物の建物パラメータ１２４は、ＢＩＭデータ生成システム１３０用の入力パラメータのセットに従うように生成されてもよい。

【0017】

ＢＩＭデータ生成システム１３０は、１つ以上のサーバコンピュータ、ワークステーション、ラップトップ、メインフレーム、アプライアンス（専用機器）、クラウド・コンピューティング・システム、スマートフォン、タブレット・コンピュータ、および／または本開示の１つ以上の態様にしたがって記載される動作および／または機能を実行可能な他のコンピューティング・システムなど、任意の適切なコンピューティング・システムとして実装されてよい。いくつかの例では、ＢＩＭデータ生成システム１３０は、クライアント装置や他の装置またはシステムにサービスを提供する、クラウド・コンピューティング・システム、サーバ・ファーム、および／またはサーバ・クラスタ（またはそれらの一部）である。他の例では、ＢＩＭデータ生成システム１３０は、データ・センタ、クラウド・コンピューティング・システム、サーバ・ファーム、および／またはサーバ・クラスタにおける１つ以上の仮想化コンピュータ・インスタンス（例えば、仮想マシン、コンテナなど）であるか、それらによって実装される。

【0018】

コンピューティング・システム１０１およびユーザ装置１０８は、同じ１つのコンピューティング・システムであってもよく、ネットワークによって接続されている異なる複数のシステムであってもよい。ＢＩＭデータ生成システム１３０およびユーザ装置１０８は、同じ１つのコンピューティング・システムであってもよく、ネットワークによって接続されている異なる複数のシステムであってもよい。コンピューティング・システム１０１、ＢＩＭデータ生成システム１３０、およびユーザ装置１０８は、同じ１つのコンピューティング・システムであってもよく、ネットワークによって接続されている異なる複数のシステムであってもよい。システム１００のシステムのうちのいずれかを接続する１つ以上のネットワークは、インターネットであってもよく、任意のパブリック通信ネットワークまたはプライベート通信ネットワークその他のネットワークであってもよく、そうしたネットワークを含んでもよく、そうしたネットワークの一部であってもよい。例えば、ネットワークは各々、セルラーネットワーク、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ、Ｂｌｕｅｔｏｏｔｈ（登録商標）（または他のパーソナル・エリア・ネットワーク（ＰＡＮ））、近距離無線通信（ＮＦＣ）、ウルトラワイドバンド、衛星、企業、サービス・プロバイダ、および／またはネットワークコンピューティング・システム、サーバ、およびコンピューティングデバイスの間におけるデータ転送を可能とする他の種類のネットワークであってよい。クライアント装置、サーバ装置、および他の装置のうちの１つ以上は、任意の適切な通信技術を用い、ネットワークを通じてデータ、コマンド、制御信号、および／または他の情報の送受信を行ってよい。

【0019】

本開示の技術では、機械学習システム１０２は、既存の建物の描写を含む建物画像１１４から新たな建物に対する建物パラメータを生成する。ユーザ装置１０８のユーザは、処理用にコンピューティング・システム１０１に建物画像１１４を提供してもよい。建物画像１１４は、既存の建物の写真であってよい。しかしながら、いくつかの場合には、建物画像１１４は、合成された画像、シミュレートされた画像、スケッチ、ワイヤフレーム、３Ｄモデルの画像、または建物を示す他の画像であってよい。

【0020】

推論モードでは、機械学習システム１０２は、建物画像１１４により示される建物の建物パラメータ１２４の値を予測するために、建物画像１１４に対し、学習済みの機械学習モデル１０３を適用してもよい。建物パラメータ１２４は、建物寸法、階数、窓の位置および寸法、階高など、建物の構造的な特徴の記述データを含んでもよい。

【0021】

機械学習モデル１０３は、１つ以上のパラメータ化された層を有するニューラルネットワークから各々構成されている１つ以上のニューラルネットワークモデルを含んでもよい。ニューラルネットワークの例には、畳込ニューラルネットワーク（ＣＮＮ）、ディープニューラルネットワーク（ＤＮＮ）、回帰型（すなわち「再帰型の」）ニューラルネットワーク（ＲＮＮ）、またはそれらの組み合わせが含まれる。ＲＮＮは長・短期記憶セルに基づいてもよい。他の種類の機械学習モデルが用いられてもよい。

【0022】

機械学習モデル１０３が複数の層を含む例では、各層は、人工ニューロンの異なるセットを含んでもよい。層は、入力層、出力層、および１つ以上の隠れ層（中間層とも呼ばれる）を含んでよい。層は、全結合層、畳込層、プーリング層、および／または他の種類の層を含んでよい。全結合（すなわち、「デンス」）層では、前の層の各ニューロンの出力が全結合層の各ニューロンの入力を形成する。畳込層では、畳込層の各ニューロンが、そのニューロンの受容野に関連付けられているニューロンからの入力を処理する。プーリング層は、１つの層のニューロン・クラスタの出力を次の層の１つのニューロンの中へ結合する。各層における各人工ニューロンの各入力は、対応する重みに関連付けられてよい。また、人工ニューロンは各々、正規化線形ユニット（ＲｅＬＵ）、ハイパボリックタンジェント（ＴａｎＨ）、シグモイドなど、本技術分野において公知の活性化関数を適用してもよい。

【0023】

上述の通り、図１の例では、機械学習モデル１０３は、建物画像１１４から建物パラメータ１２４を予測するように結合される複数のサブモデル（すなわち、画像処理モデル１０６および１つ以上のＢＩＭデータモデル１２２）を含む。画像処理モデル１０６は、建物画像１１４に対する画像処理演算を実行するように学習済みのＣＮＮまたは他のニューラルネットワークを含んでよい。画像処理演算は、例えば、建物画像１１４に示されている建物の平行移動、回転、傾き／歪み補正（デスキュー）、台形補正（台形処理）、あるいは縮尺変更など、建物画像１１４の変換を含んでよい。また、画像処理演算は、建物の１つ以上のファサード（すなわち、外面）を検知することを含んでよく、さらに、１つ以上の検知されたファサードから主要なファサードを識別することを含んでもよい。「主要なファサード」は、通常、正面玄関を含む建物の主前面であるか、大きな通りまたは他の公道に面しているか、建築上の観点からより重要なものとして与えられている。変換演算は、ファサードの中心に位置するファサードに垂直な線上から見た、建物のファサードの画像を生成することを含んでもよい。いくつかの場合には、変換演算は、建物の正面像（上記のファサードの生成された画像の一例）を生成するために、建物の画像の向きを変換することを含んでもよい。画像処理モデル１０６は、図１に示されるように、変換された建物画像１１６を建物の予測される像として出力してもよい。

【0024】

また、画像処理演算は、建物画像１１４に示される建物の建物タイプを識別することを含んでもよい。建物タイプは、建物の建築様式または目的など、建物のカテゴリを含んでもよい。建築様式の例には、近代、ゴシック、ブルータリズム、アール・デコ、新古典主義、ランチ様式、クラフツマン様式などが含まれる。建物の目的の例には、講堂、共同住宅、１世帯住宅、体育館、礼拝所、オフィスビルなどが含まれる。建物画像は、１つ以上の建物タイプを有してよい。例えば、建物画像は、近代建築様式の団地を示してもよい。

【0025】

画像処理モデル１０６は、建物画像１１４に示される建物の建物タイプについての予測結果を建物タイプ１１５として出力してもよい。いくつかの例では、機械学習システム１０２は、建物画像１１４に関連して建物画像１１４に示された建物の建物タイプを受信してもよい。ユーザは、建物画像１１４に関連付ける建物タイプを示すユーザ入力を提供するために、ユーザ装置１０８と対話してもよい。コンピューティング・システム１０１は、例えば、ストレージ装置から、またはネットワークを介してユーザ装置１０８から、建物画像１１４または建物タイプ１１５を取得してもよい。

【0026】

機械学習システム１０２は、建物画像により示される建物の建物パラメータ１２４の生成および出力を行うために、１つ以上のＢＩＭデータモデル１２２のうちの１つを建物画像に適用する。すなわち、この１つ以上のＢＩＭデータモデル１２２が、建物の建物パラメータに対する値を生成し、その値が機械学習システム１０２によって出力される。建物パラメータ１２４はＢＩＭデータとして出力されてもよく、新たな建物をパラメータ化するＢＩＭデータを生成するために用いられてもよい。例えば、建物パラメータ１２４が手動でまたは自動的にＢＩＭデータ生成システム１３０に対し入力され、ＢＩＭデータ生成システム１３０が建物パラメータ１２４に従う新たな建物に対するＢＩＭデータ１３２を生成してもよい。建物画像から自動的に生成された建物パラメータ１２４によって新たな建物に対するＢＩＭデータ１３２のパラメータ化が行われるので、効率的である。ＢＩＭデータ１３２は、３Ｄモデル、ワイヤフレームモデル、２Ｄモデル、新たな建物画像、または他の種類のモデルであってよい。ＢＩＭデータ１３２は、いくつかの場合、新たな建物の部分モデルであってよい。このようにして、ユーザまたはコンピューティング・システムが、予測された建物パラメータ１２４を用いて、例えば、ＢＩＭデータ１３２における建物画像１１４の建物のエクステリア・ファサードや建築様式を再現することができる。他の種類のＢＩＭデータについては本明細書の別の箇所に記載する。

【0027】

様々な例では、ＢＩＭデータモデル１２２のうちの１つが適用される建物画像は、受信された建物画像１１４であってもよく、変換された建物画像１１６であってもよい。

【0028】

いくつかの例では、ＢＩＭデータモデル１２２は、特定の建物タイプまたは建物タイプの組み合わせにしたがって建物パラメータ１２４を予測するように学習が行われる。例えば、ＢＩＭデータモデル１２２Ａが近代建築の建物の建物パラメータ１２４を予測し、ＢＩＭデータモデル１２２Ｂがアール・デコ建築の建物パラメータ１２４を予測し、ＢＩＭデータモデル１２２Ｃが近代建築様式の団地（すなわち、複数の建物タイプ）の建物パラメータ１２４を予測する、などであってもよい。そのような例では、画像処理モデル１０６の適用後、機械学習システム１０２は、建物画像１１４に示された建物の１つ以上の建物タイプに対応するＢＩＭデータモデル１２２を選択する。この場合もやはり、建物タイプは画像処理モデル１０６によって予測されてもよく、建物画像１１４に関連して機械学習システム１０２によって受信されてもよい。上記の例に戻ると、機械学習システム１０２は、近代建築様式の団地である建物画像に適用するためにＢＩＭデータモデル１２２Ｃを選択してもよい。機械学習システム１０２は、建物画像により示される建物の建物パラメータ１２４の生成および出力を行うために、建物画像に１つ以上のＢＩＭデータモデル１２２のうちの選択した１つを適用する。この場合もやはり、ＢＩＭデータモデルが適用される建物画像は、受信された建物画像１１４であってもよく、変換された建物画像１１６であってもよい。

【0029】

機械学習システム１０２は、トレーニング・データ１０４で機械学習モデル１０３の学習を行ってもよい。トレーニング・データ１０４は、建物の画像と、その建物の建物寸法、階数、窓の位置および寸法、階高、インテリアレイアウトなど、建物の１つ以上の建物パラメータについての対応する既知の記述データとを含んでよい。建物の画像は、写真、合成された画像、シミュレートされた画像、スケッチ、建物のワイヤフレーム、３Ｄモデルの画像、または建物を示す他の画像であってよい。トレーニング・データ１０４は、表面の仕上げ材の材料や、壁、バルコニー、階段、建具などのエクステリア、インテリア、またはその両方の建築要素を説明するデータを含んでよい。トレーニング・データ１０４は、建物画像に含まれない構造であっても、建物画像から想定可能な任意の構造を説明するデータを含んでよい。

【0030】

機械学習は、教師あり学習であっても、半教師あり学習や弱教師あり学習であっても、教師なし学習であってもよい。半教師あり学習では、データセットはラベル付きのデータおよびラベルなしデータを含む。データの一部（ラベル付きのデータ）でＡＩモデルの学習が行われる。次いで、ＡＩモデルは、ラベルなしデータについての結果を予測する。予測結果のうち、確信度の十分なものだけがラベルとして対応するデータに関連付けられる。この処理が、すべてのデータにラベルが付与されるまで繰り返される。最終的に、得られたデータを用いて教師あり学習を行う。弱教師あり学習では、アプリケーション上で予測結果に対して善し悪しのフィードバックを得る。そして、予測とフィードバックとを繰り返しながら、学習を行う。教師なし学習では、kMeans等のクラスタリング手法により代表ベクトル（プロトタイプ）を取得する。そして、そのそれぞれに対して建物パラメータを設定する。本開示の技術では、新たに建物画像１１４が入力された際、機械学習システム１０２が機械学習モデル１０３を適用して、最も近いプロトタイプを判定し、対応する建物パラメータを得る。

【0031】

トレーニング・データ１０４における建物画像に関連した建物パラメータのセットは、キーと値のペアのセット、リスト、テーブルなどのデータ構造、または建物パラメータ（例えば「階数」）を値（例えば「３」）に関連付けられる他の連想データ構造で提供されてよい。機械学習モデル１０３の学習がトレーニング・データ１０４で行われると、機械学習システム１０２は機械学習モデル１０３を適用して、建物画像１１４から建物パラメータ１２４の値を予測することができる。

【0032】

いくつかの例では、トレーニング・データ１０４における建物画像のうちの少なくとも一部は、それらの画像における対応する建物の１つ以上の建物タイプでラベル付けされてもよい。したがって、画像処理モデル１０６は、推論モード中に、入力された建物画像１１４により示される建物の１つ以上の建物タイプを予測するように学習が行われてもよい。そのような例では、機械学習システム１０２は、その１つ以上の建物タイプについて、ＢＩＭデータモデル１２２のうちの対応する１つだけの学習を行ってもよい。機械学習システム１０２は、ＢＩＭデータモデル１２２のいずれかの学習を特定の建物タイプに対するトレーニング・データ１０４で行うことによって、その特定の建物タイプに対するＢＩＭデータモデル１２２の学習を行うことができる。上記の例に戻ると、「団地」および「近代建築様式」とラベルが付けられたトレーニング・データ１０４における建物画像について、機械学習システム１０２は、その建物タイプの特定の組み合わせについて学習が行われるＢＩＭデータモデル１２２Ｃの学習を行ってもよい。入力された建物画像１１４に関して、建物タイプを表すラベル（画像特徴）を特徴空間に埋め込むために、視覚的セマンティック埋め込み（visual semantic embedding）を用いてもよい。この場合には、特徴空間毎に、ＢＩＭデータモデル１２２のうち対応する建物タイプに最も近いものを適用することによって、建物パラメータを予測する。

【0033】

いくつかの例では、トレーニング・データ１０４における建物画像のうちの少なくとも一部は、合成画像である。プログラム（ＢＩＭデータ生成システム１３０によって実装されるものなど）は、建物の１組の建物パラメータのそれぞれの値を含む、１組の入力を受け取ってよい。次いで、プログラムは、この１組の建物パラメータの値に従う建物の合成画像を生成してよい。トレーニング・データ１０４は、この１組の建物パラメータの値に関連する、生成した合成画像を含んでもよい。ユーザまたは別のプログラムは、建物の複数の合成画像を生成するために、複数の寸法の範囲内で建物パラメータである入力値を修正し、１組の建物パラメータについて様々な値の組を入力してよい。そのような生成された合成画像の各々は、その合成画像を生成するために用いられた関連する１組の建物パラメータの値とともに、トレーニング・データ１０４の一部となってよい。

【0034】

単純な一例として、建物パラメータは、階数［１：３］、階高［１５フィート：１８フィート］など、２つの数を含んでもよい。この場合、可能な階数の範囲が［１：３］であり、階高は１５フィート（約４．５７ｍ）または１８フィート（約５．４９ｍ）のいずれかである。（階数、階高）の可能な組み合わせの値を操作することによって、トレーニング・データ１０４は、合成画像を生成するために用いられる建物パラメータの値に各々関連する６つの異なる合成画像（すなわち、（１，１５フィート）、（２，１５フィート）、（３，１５フィート）、（１，１８フィート）、（２，１８フィート）、（３，１８フィート））を含むことができる。建物パラメータは１つ以上のタイプの建物を含んでもよく、その値は対応する生成された合成画像のラベルとなってもよい。上記の例における階高［１５フィート：１８フィート］のパラメータに関して、２つの数は必ずしも階高として可能な値を示すものではなく、階高の可能な範囲、すなわち、最小値と最大値とを示すことも可能である。したがって、「階高［１５フィート：１８フィート］」のパラメータは、１５フィート以上１８フィート以下の任意の階高を含むことが可能である。

【0035】

図２は、本開示の技術によるコンピューティング・システムの一例である。コンピューティング・システム２２０は、機械学習システム２２４の実行のために構成された１つ以上のコンピューティングデバイスを表す。機械学習システム２２４は、図１の機械学習システム１０２など、本開示における任意の機械学習システムの一例であり得る。

【0036】

メモリ２４２は、計算エンジン２２２の動作中、処理のための情報を記憶してもよい。いくつかの例では、メモリ２４２は一時メモリを含む。「一時メモリ」とは、その１つ以上のストレージ装置の主目的が長期記憶ではないことを意味する。メモリ２４２は、揮発性メモリとして情報の短期記憶用に構成され、したがって記憶された内容を非作動時に保持しなくてもよい。揮発性メモリの例には、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、および本技術分野において公知の他の形態の揮発性メモリが含まれる。また、メモリ２４２は、いくつかの例では、１つ以上のコンピュータ可読記憶媒体を含む。メモリ２４２は、揮発性メモリよりも多くの情報量を記憶するように構成されてもよい。メモリ２４２は、さらに不揮発性のメモリ空間として情報の長期記憶用に構成され、作動／停止のサイクルの後に情報を保持してもよい。不揮発性のメモリの例には、磁気ハードディスク、光ディスク、フロッピー（登録商標）ディスク、フラッシュメモリ、またはＥＰＲＯＭまたはＥＥＰＲＯＭが含まれる。メモリ２４２は、本開示の１つ以上の態様にしたがって記述されるモジュールの１つ以上に関連するプログラム命令および／またはデータを記憶してよい。メモリ２４２は、機械学習モデル１０３のパラメータの重みを記憶してもよい。この例では、機械学習モデル１０３は、画像処理モデル１０６およびＢＩＭデータモデル１２２を含む。

【0037】

処理回路２４３およびメモリ２４２は、計算エンジン２２２の動作環境またはプラットフォームを提供してもよい。計算エンジン２２２は、ソフトウェアとして実装され得るが、いくつかの例では、ハードウェア、ファームウェア、およびソフトウェアの任意の組み合わせを含んでよい。処理回路２４３は命令を実行してよく、メモリ２４２は１つ以上のモジュールの命令および／またはデータを記憶してよい。処理回路２４３およびメモリ２４２の組み合わせは、１つ以上のアプリケーション、モジュール、またはソフトウェアの命令および／またはデータの取出、記憶、および／または実行を行ってよい。また、処理回路２４３およびメモリ２４２は、１つ以上の他のソフトウェアおよび／またはハードウェアコンポーネント（図２に示すコンポーネントのうちの１つ以上を含むがそれらに限定されない）に動作可能に結合されていてもよい。

【0038】

計算エンジン２２２は、コンピューティング・システム２２０に存在するかコンピューティング・システム２２０を実行するソフトウェア、ハードウェア、ファームウェア、またはハードウェア、ソフトウェア、およびファームウェアの組み合わせを用いて記述される演算を実行してよい。計算エンジン２２２は、機械学習システム２２４、または複数のプロセッサまたは複数の装置を有する他のプログラムおよびモジュールを実行してもよい。計算エンジン２２２は、機械学習システム２２４または他のプログラムおよびモジュールを、基盤ハードウェア上で実行中のバーチャル・マシンまたはコンテナとして実行してもよい。そのようなモジュールのうちの１つ以上は、オペレーティングシステムまたはコンピューティングプラットフォームの１つ以上のサービスとして実行してもよい。そのようなモジュールのうちの１つ以上は、コンピューティングプラットフォームのアプリケーション層における１つ以上の実行可能プログラムとして実行してもよい。

【0039】

コンピューティング・システム２２０の１つ以上の入力装置２４４は、入力の生成、受取、または処理を行うことができる。そのような入力は、キーボード、ポインティングデバイス、音声応答システム、ビデオカメラ、生体検出／応答システム、ボタン、センサ、モバイルデバイス、コントロールパッド、マイクロホン、プレゼンス感知スクリーン、ネットワーク、または人間またはマシンからの入力を検出するための任意の他の種類の装置からの入力を含んでよい。

【0040】

１つ以上の出力装置２４６は、出力の生成、送信、または処理を行うことができる。出力の例は、触覚、聴覚、視覚、および／またはビデオ出力である。出力装置２４６は、ディスプレイ、サウンドカード、ビデオグラフィックアダプタカード、スピーカ、プレゼンス感知スクリーン、１つ以上のＵＳＢインタフェース、ビデオおよび／またはオーディオ出力インタフェース、または触覚、オーディオ、ビデオ、または他の出力を生成可能な任意の他の種類の装置が含まれる。出力装置２４６は、液晶ディスプレイ（ＬＣＤ）、量子ドットディスプレイ、ドットマトリクスディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、陰極線管（ＣＲＴ）ディスプレイ、電子インク、または、モノクロ、カラー、または触覚、聴覚、および／または視覚出力を生成可能な任意の他の種類のディスプレイを含む技術を用いて出力装置として機能し得るディスプレイ装置を含んでよい。いくつかの例では、コンピューティング・システム２２０には、１つ以上の入力装置２４４および１つ以上の出力装置２４６の両方として動作するユーザインタフェースデバイスとして機能するプレゼンス感知ディスプレイが含まれる。

【0041】

コンピューティング・システム２２０の１つ以上の通信ユニット２４５は、データの送信および／または受信を行うことによって、コンピューティング・システム２２０の外部の装置と（またはコンピューティング・システム２２０の個々のコンピューティングデバイス間で）通信を行ってよく、いくつかの例では、入力装置および出力装置の両方として動作してもよい。いくつかの例では、通信ユニット２４５はネットワークを通じて他の装置と通信してもよい。他の例では、通信ユニット２４５は、セルラー無線ネットワークなどの無線ネットワーク上で無線信号の送信および／または受信を行ってもよい。通信ユニット２４５の例には、ネットワーク・インタフェース・カード（例えば、イーサネット（登録商標）カードなど）、光トランシーバ、無線周波数トランシーバ、ＧＰＳレシーバ、または情報の送信および／または受信が可能な他の種類の装置が含まれる。通信ユニット２４５の他の例には、モバイルデバイスに見られるＢｌｕｅｔｏｏｔｈ（登録商標）、ＧＰＳ、３Ｇ、４Ｇ、およびＷｉ－Ｆｉ（登録商標）無線や、ユニバーサルシリアルバス（ＵＳＢ）コントローラなどが含まれる。

【0042】

入力装置２４４または通信ユニット２４５は、建物画像１１４を受信する。機械学習モデル１０３は、予測される出力を生成するために用いられてもよい。計算エンジン２２２は、予測される出力を建物パラメータ１２４の形態で生成するために、機械学習システム２２４を実行し建物画像１１４に適用する。出力装置２４６または通信ユニット２４５は、新たな建物の設計のために用いられる建物パラメータ１２４を出力してもよい。いくつかの例では、入力装置２４４は、建物画像１１４を建物の写真として生成するために、カメラなど、画像取込装置を含んでもよい。コンピューティング・システム２２０によって実行される機械学習システム２２４は、そうした例では、一体化されたまたは別個の画像取込装置から建物画像１１４を受信する。

【0043】

図２の例ではニューラルネットワークを用いて実装されるように記載したが、機械学習システム２２４は、これに加えてまたはこれに代えて、１つ以上のモデルの学習を行うために他の種類の機械学習を適用してもよい。例えば、機械学習システム２２４は、最近傍探索、ナイーブベイズ、決定木、線形回帰、サポートベクターマシン、ニューラルネットワーク、ｋ平均法、Ｑ学習、ＴＤ学習、ディープ敵対的ネットワーク、または予測のために１つ以上のモデルの学習を行うための他の教師あり、教師なし、半教師あり、または強化学習アルゴリズムのうちの１つ以上を適用することができる。

【0044】

図３は、本開示に記載の技術による、機械学習システムの動作のモードの一例を示すフローチャートである。機械学習システム２２４を実行する計算エンジン２２２を有する図２のコンピューティング・システム２２０に関連して記載したが、動作モード３００は、本明細書に記載の機械学習システムの他の例に関連する計算システムによって実行されてもよい。

【0045】

動作モード３００において、計算エンジン２２２は機械学習システム１０２を実行する。機械学習システム１０２は、建物を示す建物画像１１４を受信する（３０２）。機械学習システム１０２は、随意で（３０３のＹＥＳの分岐）建物画像１１４を変換し、示された建物の正面像の画像を生成して建物画像１１６を形成する（３０４）。建物画像１１４および建物画像１１６を以下の動作モード３００の記載では「画像」と呼ぶ。

【0046】

次いで、機械学習システム１０２は、随意で、建物の建物タイプを識別するために画像を処理する（３０６）。ボックス３０６は、この動作が随意であることを示すために点線で示されている。次いで、機械学習システム１０２は、ＢＩＭデータモデル１２２を選択して画像（１１４または１１６）に適用し、ＢＩＭデータ生成システムに対し入力される、新たな建物の新たな建物パラメータを生成する（３０８）。ステップ３０８では、建物タイプが識別される場合、機械学習システム１０２は、ＢＩＭデータモデル１２２のうち、識別された建物タイプに従う建物の建物画像に関して学習されているものを適用してよい。

【0047】

次いで、機械学習システムは、新たな建物の新たな建物パラメータを出力する（３１２）。

【0048】

本開示に記載の技術は、少なくとも一部が、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせにより実装されてよい。例えば、記載の技術の様々な態様が、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、ＦＰＧＡ、または任意の他の均等の集積または個別（ディスクリート）論理回路やそうした部品の任意の組み合わせを含む、１つ以上のプロセッサ内に実装されてもよい。用語「プロセッサ」または「処理回路」は、一般に、上記の論理回路のうちのいずれか、そうした論理回路と他の論理回路との組み合わせ、または任意の他の均等の回路を指す。また、ハードウェアを含む制御装置が、本開示の技術のうちの１つ以上を実行してもよい。

【0049】

そうしたハードウェア、ソフトウェア、およびファームウェアは、本開示に記載の様々な動作および機能をサポートするべく、同じ装置内に実装されてもよく、別個の装置内に実装されてもよい。加えて、記載のユニット、モジュール、またはコンポーネントのうちのいずれも、一体に実装されてもよく、相互運用可能な個別の論理回路として実装されてもよい。モジュールまたはユニットとしての様々な特徴の描写は、様々な機能的態様を分かりやすく示すことを意図したものであり、そうしたモジュールまたはユニットが別個のハードウェアまたはソフトウェア・コンポーネントによって実現されることを必ずしも意味するものではない。むしろ、１つ以上のモジュールまたはユニットに関連する機能は、別個のハードウェアまたはソフトウェア・コンポーネントによって実行されてもよく、同じまたは別個のハードウェアまたはソフトウェア・コンポーネント内に統合されてもよい。

【0050】

また、本開示に記載の技術は、コンピュータ可読記憶媒体など、命令を格納するコンピュータ可読媒体により具体化または符号化されてもよい。コンピュータ可読記憶媒体に埋め込まれるまたは符号化される命令は、その実行時において、プログラム可能なプロセッサまたは他のプロセッサに方法を実行させてよい。コンピュータ可読記憶媒体には、ランダムアクセスメモリ（ＲＡＭ）、読出専用メモリ（ＲＯＭ）、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ハードディスク、ＣＤ－ＲＯＭ、フロッピーディスク、カセット、磁気媒体、光学媒体、または他のコンピュータ可読媒体が含まれる。

【図1】

【図2】

【図3】

【外国語明細書】