特許 7598672 ３次元仮想モデルの生成のための前処理方法及びそのためのコンピューティング装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-04

(45)【発行日】2024-12-12

(54)【発明の名称】３次元仮想モデルの生成のための前処理方法及びそのためのコンピューティング装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241205BHJP

   G06V 10/22 20220101ALI20241205BHJP

   G06T 17/20 20060101ALI20241205BHJP

【ＦＩ】

G06T7/00 350C

G06V10/22

G06T17/20

【請求項の数】 15

(21)【出願番号】P 2023196278

(22)【出願日】2023-11-17

(65)【公開番号】P2024095984

(43)【公開日】2024-07-11

【審査請求日】2023-11-17

(31)【優先権主張番号】10-2022-0190107

(32)【優先日】2022-12-30

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】519025987

【氏名又は名称】スリーアイ インコーポレーテッド

【氏名又は名称原語表記】３Ｉ ＩＮＣ．

(74)【代理人】

【識別番号】100130111

【弁理士】

【氏名又は名称】新保 斉

(72)【発明者】

【氏名】キム、ケン

(72)【発明者】

【氏名】ジョン、ジ ウク

(72)【発明者】

【氏名】フダイベルガノブ、パルホド ルスタム ウクリ

(72)【発明者】

【氏名】イ、ミハイル

【審査官】松永 隆志

(56)【参考文献】

【文献】米国特許出願公開第２０２１／０１４２４９７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２１／００２７５３９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－１９／２０

Ｇ０６Ｖ １０／２２

(57)【特許請求の範囲】

【請求項1】

室内空間の複数の撮影地点に対する複数のデータセット－前記データセットは、画像データを含む－に基づいて前記室内空間に対する３次元仮想空間を生成するコンピューティング装置において行われる方法であって、
第１のニューラルネットワークを用いて前記画像データ内に削除対象オブジェクトが存在するか否かを判断するステップと、
前記画像データ内に前記削除対象オブジェクトが存在すれば、前記画像データから削除対象オブジェクトに対応する領域のデータを削除するステップと、
前記削除対象オブジェクトに対応する領域のデータが削除されて生成された穴領域を第２のニューラルネットワークを用いて穴埋めするステップと、
を含み、
前記穴埋めするステップは、
原学習画像とそれに対する穴生成学習画像に基づいて学習されて、前記少なくとも一つの穴に対応する領域に関する色相データを満たすように学習された第２のニューラルネットワークを用意するステップと、
を含み、
前記第２のニューラルネットワークは、
前記原学習画像と前記穴生成学習画像に前記第２のニューラルネットワークが穴埋めを行った穴埋め画像をそれぞれ球状変換し、球状変換された原学習画像と球状変換された穴埋め画像との間のロスに基づいて学習されたものである、
３次元仮想モデルの生成のための前処理方法。

【請求項2】

前記画像データは、
前記複数の撮影地点のうちのいずれか一つの撮影地点に関する３６０°画像データを表示するパノラミック画像データである、請求項１に記載の３次元仮想モデルの生成のための前処理方法。

【請求項3】

前記画像データ内に削除対象オブジェクトが存在するか否かを判断するステップは、
オブジェクトを識別する第１のニューラルネットワークを用いて前記画像データ内に存在する少なくとも一つのオブジェクトを探知するステップと、
識別された少なくとも一つのオブジェクトが前記削除対象オブジェクトであるか否かを識別するステップと、
を含む、請求項２に記載の３次元仮想モデルの生成のための前処理方法。

【請求項4】

前記第１のニューラルネットワークは、
学習画像として色相パノラミック画像を用いて学習されて、パノラミック画像それ自体に基づいてオブジェクトを識別する、請求項３に記載の３次元仮想モデルの生成のための前処理方法。

【請求項5】

前記第１のニューラルネットワークを用いて前記画像データ内に存在する少なくとも一つのオブジェクトを探知するステップは、
パノラミック画像データを平面変換して平面変換画像データを生成するステップと、
平面画像データに基づいて学習された前記第１のニューラルネットワークを用いて、前記平面変換画像データ内に存在する少なくとも一つのオブジェクトを探知するステップと、
を含む、請求項３に記載の３次元仮想モデルの生成のための前処理方法。

【請求項6】

前記穴生成学習画像は、前記原学習画像の任意の位置に前記削除対象オブジェクトに対応する少なくとも一つの穴を生成して作られた画像であり、
前記穴埋めするステップは、
前記第２のニューラルネットワークを用いて前記穴領域に対して色相データを満たすように前記穴埋めを行うステップと、
をさらに含む、請求項２に記載の３次元仮想モデルの生成のための前処理方法。

【請求項7】

前記原学習画像及び前記穴生成学習画像は、３６０°画像データを表示するパノラミック画像データである、請求項６に記載の３次元仮想モデルの生成のための前処理方法。

【請求項8】

コンピューティング装置であって、
一つ以上のインストラクションを記憶するメモリーと、
前記メモリーに記憶された前記一つ以上のインストラクションを実行するプロセッサーと、
を備え、
前記プロセッサーは、前記一つ以上のインストラクションを実行することにより、
室内空間の複数の撮影地点に対する複数のデータセット－前記データセットは、画像データを含む－を用意し、
第１のニューラルネットワークを用いて前記画像データ内に削除対象オブジェクトが存在するか否かを判断し、
前記画像データ内に前記削除対象オブジェクトが存在すれば、前記画像データから削除対象オブジェクトに対応する領域のデータを削除し、
前記削除対象オブジェクトに対応する領域のデータが削除されて生成された穴領域を、第２のニューラルネットワークを用いて穴埋めし、
前記穴埋めすることは、
原学習画像とそれに対する穴生成学習画像に基づいて学習されて、前記少なくとも一つの穴に対応する領域に関する色相データを満たすように学習された第２のニューラルネットワークを用意し、
前記第２のニューラルネットワークは、
前記原学習画像と前記穴生成学習画像に前記第２のニューラルネットワークが穴埋めを行った穴埋め画像をそれぞれ球状変換し、球状変換された原学習画像と球状変換された穴埋め画像との間のロスに基づいて学習されたものである、
コンピューティング装置。

【請求項9】

前記画像データは、
前記複数の撮影地点のうちのいずれか一つの撮影地点に関する３６０°画像データを表示するパノラミック画像データである、請求項８に記載のコンピューティング装置。

【請求項10】

前記画像データ内に削除対象オブジェクトが存在するか否かを判断するに際して、前記プロセッサーは、
オブジェクトを識別する第１のニューラルネットワークを用いて前記画像データ内に存在する少なくとも一つのオブジェクトを探知し、
識別された少なくとも一つのオブジェクトが前記削除対象オブジェクトであるか否かを識別する、請求項９に記載のコンピューティング装置。

【請求項11】

前記第１のニューラルネットワークは、
学習画像として３６０°色相パノラミック画像を用いて学習されて、パノラミック画像それ自体に基づいてオブジェクトを識別する、請求項１０に記載のコンピューティング装置。

【請求項12】

前記第１のニューラルネットワークを用いて前記画像データ内に存在する少なくとも一つのオブジェクトを探知するに際して、前記プロセッサーは、
パノラミック画像データを平面変換して平面変換画像データを生成し、
平面画像データに基づいて学習された前記第１のニューラルネットワークを用いて、前記平面変換画像データ内に存在する少なくとも一つのオブジェクトを探知する、請求項１０に記載のコンピューティング装置。

【請求項13】

前記穴生成学習画像は、前記原学習画像の任意の位置に前記削除対象オブジェクトに対応する少なくとも一つの穴を生成して作られた画像であり、
前記穴埋めするに際して、前記プロセッサーは、
前記第２のニューラルネットワークを用いて前記穴領域に対して色相データを満たすように前記穴埋めを行う、請求項９に記載のコンピューティング装置。

【請求項14】

前記原学習画像及び前記穴生成学習画像は、３６０°画像データを表示するパノラミック画像データである、請求項１３に記載のコンピューティング装置。

【請求項15】

コンピューターにて読み取り可能なインストラクション（ｉｎｓｔｒｕｃｔｉｏｎｓ）を記憶している記憶媒体において、
前記インストラクションは、コンピューティング装置により実行されるとき、前記コンピューティング装置をして、
第１のニューラルネットワークを用いて画像データ内に削除対象オブジェクトが存在するか否かを判断する動作と、
前記画像データ内に前記削除対象オブジェクトが存在すれば、前記画像データから削除対象オブジェクトに対応する領域のデータを削除する動作と、
前記削除対象オブジェクトに対応する領域のデータが削除されて生成された穴領域を、第２のニューラルネットワークを用いて穴埋めする動作と、
を行わしめ、
前記穴埋めする動作は、
原学習画像とそれに対する穴生成学習画像に基づいて学習されて、前記少なくとも一つの穴に対応する領域に関する色相データを満たすように学習された第２のニューラルネットワークを用意する動作と、
を含み、
前記第２のニューラルネットワークは、
前記原学習画像と前記穴生成学習画像に前記第２のニューラルネットワークが穴埋めを行った穴埋め画像をそれぞれ球状変換し、球状変換された原学習画像と球状変換された穴埋め画像との間のロスに基づいて学習されたものである、
記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、室内空間に対する３次元仮想モデルの生成のための前処理方法及びそのためのコンピューティング装置に関する。

【背景技術】

【0002】

近頃では、実際の空間に対応するオンライン上の仮想空間の提供を受けることにより、ユーザーが自ら実際の空間に訪問せずともあたかも実際の空間にいるかのような体験をすることが可能な仮想空間の実現技術の開発への取り組みが盛んに進められている。このような現実の空間に基づく仮想技術は、デジタルツインの実現のための技術であって、多種多様な開発が行われている。

【0003】

現実の空間に基づいて仮想空間を実現するためには、実現しようとする実際の現実の空間を対象として撮影された画像を取得し、これに基づいて立体的な仮想画像、すなわち、３次元仮想モデルを生成して仮想空間を提供することが必要である。

【0004】

すなわち、このような３次元仮想モデルは、実際の現実の空間の色々な地点から撮影されたデータに基づいて生成される。一例として、３次元仮想モデルを構成するために、実際の現実の空間の色々な地点から３６０°にて取得されたデータを収集し、これに基づいて３次元仮想モデルを生成することができる。

【0005】

但し、このような実際の現実の空間に関するデータを収集するに際して、不所望のオブジェクトが反映されてしまうという問題がある。例えば、工場の施設の内部に対してデータを収集するとき、通り過ぎる通行人が撮影される場合、このような通り過ぎる通行人に対する画像及び距離値が３次元仮想モデルに反映されてしまうという問題がある。

【先行技術文献】

【特許文献】

【0006】

【文献】米国登録特許公報第１０，２９０，０８５号

【発明の概要】

【発明が解決しようとする課題】

【0007】

本出願の一つの技術的な側面は、上述した問題を解消するために案出されたものであって、本出願に開示される一実施形態によれば、３次元仮想モデルを構成するのに用いられる画像データから人間などの非撮影オブジェクトを識別し、このような非撮影オブジェクトを削除して非撮影オブジェクトに対するノイズを取り除く前処理を提供することを目的とする。

【0008】

本出願に開示される一実施形態によれば、ディープラーニング（深層学習）に基づく人工知能モデルを用いて非撮影オブジェクトの削除によって生じた穴を埋めるようにすることで、非撮影オブジェクトによるノイズデータをより一層正確に満たすことを目的とする。

【0009】

本出願の課題は、上述した課題に何ら制限されるものではなく、言及されていない他の課題は、下記の記載から当業者にとって明らかに理解できる筈である。

【課題を解決するための手段】

【0010】

本出願の一つの技術的な側面は、３次元仮想モデルの生成のための前処理方法を提案する。前記３次元仮想モデルの生成のための前処理方法は、室内空間の複数の撮影地点に対する複数のデータセット－前記データセットは、画像データを含む－に基づいて前記室内空間に対する３次元仮想空間を生成するコンピューティング装置において行われる方法であって、前記画像データ内に削除対象オブジェクトが存在するか否かを判断するステップと、前記画像データ内に前記削除対象オブジェクトが存在すれば、前記画像データから削除対象オブジェクトに対応する領域のデータを削除するステップと、前記削除対象オブジェクトに対応する領域のデータが削除されて生成された穴領域をニューラルネットワークを用いて穴埋めするステップと、を含んでいてもよい。

【0011】

本出願の他の一つの技術的な側面は、コンピューティング装置を提案する。前記コンピューティング装置は、一つ以上のインストラクションを記憶するメモリー及び前記メモリーに記憶された前記一つ以上のインストラクションを実行するプロセッサーを備え、前記プロセッサーは、前記一つ以上のインストラクションを実行することにより、室内空間の複数の撮影地点に対する複数のデータセット－前記データセットは、画像データを含む－を用意し、前記画像データ内に削除対象オブジェクトが存在するか否かを判断し、前記画像データ内に前記削除対象オブジェクトが存在すれば、前記画像データから削除対象オブジェクトに対応する領域のデータを削除し、前記削除対象オブジェクトに対応する領域のデータが削除されて生成された穴領域を、ニューラルネットワークを用いて穴埋めしてもよい。

【0012】

本出願のさらに他の一つの技術的な側面は、記憶媒体を提案する。前記記憶媒体は、コンピューターにて読み取り可能なインストラクション（ｉｎｓｔｒｕｃｔｉｏｎｓ）を記憶している記憶媒体である。前記インストラクションは、コンピューティング装置により実行されるとき、前記コンピューティング装置をして、原学習画像とそれに対する穴生成学習画像－前記穴生成学習画像は、前記原学習画像に基づいて少なくとも一つの穴が生成された画像である－を取得する動作と、ニューラルネットワークを用いて前記穴生成学習画像に対して穴埋めを行って穴埋め学習画像を生成する動作と、それぞれの前記穴埋め学習画像と前記原学習画像に対して球状変換を行う動作、及び球状変換された穴埋め学習画像と球状変換された原学習画像との間の差に基づいて前記ニューラルネットワークをトレーニングする動作を行わしめてもよい。

【0013】

上述した技術的な課題を達成するための技術的な手段として開示された、コンピューターにて読み取り可能な記録媒体は、開示された方法の実施形態のうちの少なくとも一つをコンピューターに実行させるためのプログラムが記憶されたものであってもよい。

【0014】

上記の課題の解決手段は、本出願の特徴をいずれも列挙したものではない。本出願の課題の解決のための多種多様な手段は、以下の詳細な説明の欄の具体的な実施形態を参照してより一層詳しく理解することができる筈である。

【発明の効果】

【0015】

本出願によれば、下記のような効果が一つもしくはそれ以上得られる。

【0016】

本出願に開示される一実施形態によれば、３次元仮想モデルを構成するのに用いられるパノラミック画像それ自体に対して穴埋めを提供することができるという効果がある。

【0017】

本出願に開示される一実施形態によれば、３次元仮想モデルを構成するのに用いられる画像データから人間などの非撮影オブジェクトを識別し、このような非撮影オブジェクトを削除して非撮影オブジェクトに対するノイズを取り除くことができるという効果がある。

【0018】

本出願に開示される一実施形態によれば、実際に存在する室内空間に対する３次元仮想モデルを構成するに際して、人間など不要なオブジェクトを削除した場合であっても、それによって生じた穴を効率よく、かつ正確に埋めることができるという効果がある。

【0019】

本出願の効果は上述した効果に何ら制限されるものではなく、言及されていない他の効果は特許請求の記載から当業者にとって明確に理解できるものであろう。

【図面の簡単な説明】

【0020】

【図1】本出願に開示される一実施形態に係る３次元仮想モデルの提供のための穴埋め方法を提供するシステムを説明するための一つの例示図である。

【図2】本出願に開示される一実施形態に係るコンピューティング装置を説明するブロック構成図である。

【図3】本出願に開示される一実施形態に係るコンピューティング装置の構成を説明する図である。

【図4】本出願に開示される一実施形態に係る３次元仮想モデルの生成のための前処理過程を説明する手順図である。

【図5】本出願に開示される一実施形態に係るオブジェクトの判断過程を説明する図である。

【図6】本出願に開示される一実施形態に係る３次元仮想モデルの生成のための前処理過程を説明する手順図である。

【図7】本出願に開示される一実施形態に係る穴埋め過程を説明する図である。

【図8】本出願に開示される一実施形態に係る穴埋め過程を説明する手順図である。

【図9】本出願に開示される一実施形態に係るパノラミック画像を入力対象とするニューラルネットワークの学習方法を説明する図である。

【図10】図９に示されるニューラルネットワークの学習方法を説明する手順図である。

【図11】本出願に開示される一実施形態に係るオブジェクトの削除及び穴埋め過程を例示する図である。

【図12】本出願に開示される一実施形態に係るオブジェクトの削除及び穴埋め過程を例示する図である。

【図13】本出願に開示される一実施形態に係るオブジェクトの削除及び穴埋め過程を例示する図である。

【発明を実施するための形態】

【0021】

以下、添付図面に基づいて、本出願の好適な実施形態について説明する。

【0022】

しかしながら、これらは特定の実施形態に対して範囲を限定しようとするものではなく、この開示の実施形態の多種多様な変更（ｍｏｄｉｆｉｃａｔｉｏｎｓ）、均等物（ｅｑｕｉｖａｌｅｎｔｓ）、及び／又は代替物（ａｌｔｅｒｎａｔｉｖｅｓ）を含むものと理解されるべきである。

【0023】

この開示を説明するに当たって、関連する公知の機能もしくは構成についての具体的な説明がこの開示の要旨を余計に曖昧にする虞があると認められる場合、その詳細な説明は省略する。この開示において用いた用語は、単に特定の実施形態を説明するために用いられたものであり、本発明の権利範囲を限定しようとする意図はない。単数の表現は、文脈からみて明らかに他の意味を有さない限り、複数の言い回しを含む。

【0024】

この開示において、「有する」、「有していてもよい」、「含む」、「含んでいてもよい」、「備える」、「備えていてもよい」などの言い回しは、当該特徴（例えば、数字、機能、動作、もしくは部品などの構成要素）の存在を示し、さらなる特徴の存在を排除しない。

【0025】

図面の説明と関連して、類似のもしくは関連する構成要素に対しては類似の参照符号が付されることができる。アイテムに対応する名詞の単数型は、本明細書中で特に指摘したり、明らかに文脈と矛盾したりしない限り、前記アイテムの一つ又は複数を含むことができる。本出願において、「Ａ又はＢ」、「Ａ及びＢのうちの少なくとも一方」、「Ａ又はＢのうちの少なくとも一方」、「Ａ、Ｂ又はＣ」、「Ａ、Ｂ及びＣのうちの少なくとも一つ」及び「Ａ、Ｂ、又はＣのうちの少なくとも一つ」のような語句のそれぞれは、それらの語句のうちの相当する語句に一緒に書き並べられた項目のうちのいずれか一つ、又はそれらのあらゆる可能な組み合わせを網羅することができる。

【0026】

「第１の」、「第２の」、又は「第１番目の」、「第２番目の」などの言い回しは、単に当該構成要素を他の構成要素と互いに区別するために用いられるものに過ぎず、それらの言い回しにより当該構成要素の他の側面（例えば、重要性又は順番または順序）などが限定されることはない。

【0027】

ある（例えば、第１の）構成要素が他の（例えば、第２の）構成要素に、「機能的に」又は「通信的に」という用語とともに、又はこれらの用語なしに、「結合された」とか、「接続された」とか、「連結された」とか、と言及された場合、それは、前記ある構成要素が前記他の構成要素に直接的に、又は第３の構成要素を挟んで結合、接続又は連結されることができるということを意味する。

【0028】

この開示において用いられた言い回しの「～するように構成された（又は、設定された）（ｃｏｎｆｉｇｕｒｅｄ ｔｏ）」は、場面や状況に応じて、例えば、「～に適した（ｓｕｉｔａｂｌｅ ｆｏｒ）」、「～する能力を有する（ｈａｖｉｎｇ ｔｈｅ ｃａｐａｃｉｔｙ ｔｏ）」、「～するように設計された（ｄｅｓｉｇｎｅｄ ｔｏ）」、「～するように変更された（ａｄａｐｔｅｄ ｔｏ）」、「～するように作られた（ｍａｄｅ ｔｏ）」、又は「～をすることができる（ｃａｐａｂｌｅ ｏｆ）」に書き替えられてもよい。言い回しの「～するように構成された（又は、設定された）」は、必ずしもハードウェア的に「特別に設計された（ｓｐｅｃｉｆｉｃａｌｌｙ ｄｅｓｉｇｎｅｄ ｔｏ）」もののみを意味するとは限らない。

【0029】

その代わりに、ある状況では、「～するように構成された装置」という言い回しは、その装置が他の装置又は部品とともに「～することができる」ということを意味することがある。例えば、語句「Ａ、Ｂ、及びＣを行うように構成された（又は、設定された）プロセッサー」は、当該動作を行うための専用プロセッサー（例：埋め込みプロセッサー）、又はメモリー装置に記憶された一つ以上のソフトウェアプログラムを実行することにより、当該動作を行うことが可能な汎用プロセッサー（ｇｅｎｅｒｉｃ－ｐｕｒｐｏｓｅ ｐｒｏｃｅｓｓｏｒ）（例：ＣＰＵ又はアプリケーションプロセッサ―）を意味することがある。

【0030】

実施形態において、「モジュール」もしくは「部」は、少なくとも一つの機能や動作を行い、ハードウェア又はソフトウェアにより実現されてもよいし、ハードウェアとソフトウェアとの組合せにより具現されてもよい。また、複数の「モジュール」もしくは複数の「部」は、特定のハードウェアにより実現される必要がある「モジュール」もしくは「部」を除いては、少なくとも一つのモジュールとして一体化されて少なくとも一つのプロセッサーにより実現されてもよい。

【0031】

本出願の多種多様な実施形態は、機器（ｍａｃｈｉｎｅ）－例えば、ユーザー端末５００やコンピューティング装置３００－により読み取り可能な記憶媒体（ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）に記憶された一つ以上のコマンドを含むソフトウェア（例えば、プログラム）として実現されてもよい。例えば、プロセッサー３０３は、記憶媒体から記憶された一つ以上のコマンドのうちの少なくとも一つのコマンドを呼び出し、それを実行することができる。これは、装置が前記呼び出された少なくとも一つのコマンドに従って少なくとも一つの機能を行うように運営されることを可能にする。前記一つ以上のコマンドは、コンパイラーにより生成されたコード又はインタープリーターにより実行可能なコードを含んでいてもよい。機器にて読み取り可能な記憶媒体は、非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体の形態で提供されてもよい。ここで、「非一時的」は、記憶媒体が有形の（ｔａｎｇｉｂｌｅ）装置であり、信号（ｓｉｇｎａｌ）（例えば、電磁気波）を含まないということを意味するものに過ぎず、この言い回しは、データが記憶媒体に半永久的に記憶される場合と一時的に記憶される場合とを区別しない。

【0032】

本出願の実施形態を説明するために多種多様な手順図が開示されているが、これは、各ステップ又は動作の説明のしやすさのためのものであって、必ずしも手順図に描かれている順序に従って各ステップが行われるとは限らない。すなわち、手順図における各ステップは、互いに同時に行われてもよいし、手順図に描かれている順序の通りに行われてもよいし、又は手順図における順序とは逆の順序に従って行われてもよい。

【0033】

図１は、本出願に開示される一実施形態に係る３次元仮想モデルの生成のためのシステムを説明するための一つの例示図である。

【0034】

図１を参照すると、システムは、画像取得装置１００と、コンピューティング装置３００及びユーザー端末５００を備えていてもよい。

【0035】

画像取得装置１００は、３次元仮想モデルを生成するのに用いられる色相画像データ及び深度マップ（デプスマップ）データを生成することができる。以下、画像データを画像データと略称する。

【0036】

一実施形態において、画像取得装置１００は、３次元仮想モデルを生成するのに用いられる画像データを生成することができる。コンピューティング装置３００は、このような色相画像データに基づいて深度マップデータを生成することができる。

【0037】

図示の例において、画像取得装置１００は、距離の測定を行って深度マップデータを生成する深度スキャナーと、画像データを生成するカメラと、を備えていてもよい。

【0038】

カメラは、撮影機能を提供する機器であって、被写領域（撮像領域）に対して色相にて表現される画像データを生成する。

【0039】

この出願明細書において、画像データは、色相により表現される画像をいずれも包括するものであって、特定の表現方式に制限されるものではない。したがって、画像データは、赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）、青（Ｂｌｕｅ）により表現されるＲＦＧ画像データのみならず、Ｃｙａｎ（シアン）、Ｍａｇｅｎｔａ（マゼンタ）、Ｙｅｌｌｏｗ（イエロー）、Ｋｅｙ Ｐｌａｔｅ（ブラック）により表現されるＣＭＹＫ画像データなど多種多様な標準に適用可能である。

【0040】

一例として、カメラは、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、個人用デジタル情報端末（ＰＤＡ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブル撮影デバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、メガネ型ウェアラブル端末であるスマートグラス（ｓｍａｒｔ ｇｌａｓｓ））などが用いられてもよい。

【0041】

深度スキャナーは、被写領域に対して深度情報を生成して深度マップデータを生成することが可能な装置である。

【0042】

この出願明細書において、深度マップデータは、被写空間に対して深度情報を含むデータである。例えば、深度マップデータに含まれているそれぞれのピクセルは、撮像地点から撮影された被写空間の各地点－各ピクセルに対応する地点－までの距離情報であってもよい。

【0043】

深度スキャナーは、距離の測定のための所定のセンサー、例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ（光による検知と測距））センサー、赤外線センサー、超音波センサーなどを備えていてもよい。あるいは、深度スキャナーは、センサーに取って代わって距離情報を測定することが可能なステレオカメラ（ｓｔｅｒｅｏ ｃａｍｅｒａ）、ステレオスコピック（立体視）カメラ（ｓｔｅｒｅｏ ｓｃｏｐｉｃ ｃａｍｅｒａ）、３Ｄ深度カメラ（３Ｄ ｄｅｐｔｈ ｃａｍｅｒａ）などを備えていてもよい。

【0044】

カメラは画像データを生成し、深度スキャナーは深度マップ（Ｄｅｐｔｈ ｍａｐ）データを生成する。カメラによって生成された画像データと深度スキャナーによって生成された深度マップデータは、同一の被写領域に対して同一の条件（例えば、解像度など）を対象として生成されることができ、互いに１：１にてマッチングされる。

【0045】

深度スキャナーとカメラは、実際に存在する室内空間に対して３６０°パノラミック画像の形態、すなわち、それぞれ３６０°深度マップパノラミック画像と３６０°色相パノラミック画像を生成することができ、これをコンピューティング装置３００に与えることができる。

【0046】

深度スキャナーは、このような３６０°の撮影が行われた室内の色々な地点のそれぞれに関する距離情報を生成することができる。このような距離情報は、相対的な距離情報であってもよい。例えば、深度スキャナーは、室内空間に対する平面図を備え、ユーザーの入力に応じて平面図内における最初の開始の室内地点の入力を受けることができる。次いで、深度スキャナーは、画像解析及び／又は移動感知センサー－例えば、３軸加速度センサー及び／又はジャイロセンサーなど－に基づいて相対的な距離移動情報を生成することができる。例えば、開始の室内地点からの相対的な距離移動情報に基づいて第２の室内地点に関する情報を生成し、第２の室内地点からの相対的な距離移動情報に基づいて第３の室内地点に関する情報を生成することができる。このような距離情報の生成は、カメラによって行われてもよい。

【0047】

一実施形態において、深度スキャナーとカメラは、一台の画像取得装置として実現されることが可能である。例えば、画像取得装置１００は、画像の取得のためのカメラと距離の測定のためのＬｉＤＡＲセンサーを備えるスマートフォンであってもよい。

【0048】

深度スキャナー又はカメラは、撮影の高さに関する情報を記憶してコンピューティング装置３００に与えることができる。このような撮影高さ情報は、コンピューティング装置３００において３次元仮想モデルを生成するのに用いられてもよい。

【0049】

深度マップデータと画像データは、互いに対応する領域をカバーする３６０°パノラミック画像であってもよい。このような深度マップデータと画像データは、３６０°画像を与えるための好適な形態のパノラミック画像、例えば、正距円筒図法によるパノラミック画像であってもよい。

【0050】

ユーザー端末５００は、ユーザーがコンピューティング装置３００に接続して室内空間に対応する仮想の３Ｄモデルを体験することが可能な電子機器であって、例えば、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、個人用デジタル情報端末（ＰＤＡ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ポータブルマルチメディアプレーヤー（ＰＭＰ：ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、パソコン（ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ヘッドマウントディスプレイ（ＨＭＤ：ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））などを網羅する。しかしながら、これらの他にも、ユーザー端末５００は、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）に用いられる電子機器を備えていてもよい。

【0051】

コンピューティング装置３００は、３次元仮想モデルに基づいてサービスを提供するためのコンピューティング装置である。コンピューティング装置３００は、サーバーであってもよいし、スマートフォン、タブレットＰＣなどのユーザー端末であってもよい。すなわち、この開示により３次元仮想モデルの生成のための前処理を行うコンピューティング装置であれば、その種類を問わずに、この開示のコンピューティング装置に相当するといえる。

【0052】

コンピューティング装置３００は、室内の色々な地点においてそれぞれ生成された画像データと深度マップデータを用いて、室内空間に対応する３次元仮想空間である３次元仮想モデルを生成することができる。

【0053】

コンピューティング装置３００は、現実の空間に対応する仮想空間であって、室内の複数の撮影地点において生成された画像データ及び深度画像に基づいて３Ｄモデルを生成することができる。３Ｄモデルは、深度情報が反映された仮想モデルであって、実際のものと同等の立体的な空間を提供することができる。

【0054】

コンピューティング装置３００は、このような３次元仮想モデルを生成するための一つの機能として、画像データから仮想モデルを生成するのに必要ではないオブジェクト－以下、これを削除対象オブジェクトと称する－を識別して削除することができる。画像データから削除対象オブジェクトに対応する領域のデータを削除するとなると、穴領域が生じてしまう。コンピューティング装置３００は、ディープラーニング（深層学習）されたニューラルネットワークを用いてこのような穴領域を埋めることができ、以下では、このような穴領域を埋めることを穴埋め（ｈｏｌｅ ｆｉｌｌｉｎｇ、ホールフィリング）と称する。すなわち、コンピューティング装置３００は、３次元仮想モデルを生成するための前処理として、画像データから削除対象オブジェクトを識別して削除し、それによって生じた穴領域に対してニューラルネットワークを用いて穴埋めを行うようにする。これにより、３次元仮想において不要なオブジェクト－例えば、通り過ぎる通行人など－が反映されないようにすることができ、かつ、学習されたニューラルネットワークを用いて穴埋めを行うことから、さらに正確なデータ復元を行うことが可能である。

【0055】

一実施形態において、コンピューティング装置３００は、画像データに対応する深度マップデータに対しても同等に削除対象オブジェクトの削除及び穴埋め過程を行うことができる。

【0056】

他の一実施形態において、コンピューティング装置３００は、画像データに対して削除対象オブジェクトの削除及び穴埋め過程を行って前処理を行い、前処理の行われた画像データに基づいて深度マップデータを生成することができる。

【0057】

コンピューティング装置３００は、このようにして前処理の行われたデータに基づいて３次元仮想モデルを生成することができる。

【0058】

一例として、コンピューティング装置３００は、室内空間の複数の撮影地点にそれぞれ対応する複数のデータセット－前記データセットは、画像データ、深度マップデータ及び各地点の位置情報を含む－に基づいて、３次元の上に複数のポイントクラウドを生成し、このようなポイントクラウドを３次元空間の上に並べて３Ｄメッシュモデルを生成することができる。３Ｄメッシュモデルは、ポイントクラウドに基づいて選定された複数のバーテックスに基づいて、複数のフェイスを設定して作られるメッシュモデルであってもよい。一例として、隣り合う３つのバーテックス（ｖｅｒｔｅｘ）を基準として一つのフェイスを生成することができ、それぞれのフェイスは、３つの頂点として設定される平らな三角形であってもよい。３Ｄメッシュモデルにおいてそれぞれのフェイスが決定されれば、コンピューティング装置３００は、それぞれのフェイスと関連付けられた画像データに基づいてそれぞれのフェイスの色相値を設定することができる。フェイスと関連付けられた画像データは、フェイスに垂直な方向ベクトルを基準として設定されることができる。コンピューティング装置３００は、それぞれのフェイスの色相値を設定するために一つの画像データを選択することができ、このために、それぞれの画像データに対して複数の重み付け値要素を算出した後、これに基づいて重み付け値を算定することができる。コンピューティング装置３００は、重み付け値に基づいていずれか一つの画像データを選択することができる。

【0059】

以下において、図２から図１５を参照して、このようなコンピューティング装置３００によって行われる前処理方法についてさらに詳しく説明する。

【0060】

図２は、本出願に開示される一実施形態に係るコンピューティング装置を説明するブロック構成図であって、図２に示されるように、この開示の一実施形態に係るコンピューティング装置３００は、通信モジュール３０１と、メモリー３０２及びプロセッサー３０３を備えていてもよい。しかしながら、このような構成は単なる例示的なものに過ぎず、この開示を実施するに際して、このような構成要素に加えて、新たな構成要素が追加されてもよいし、一部の構成要素が省略されてもよいということはいうまでもない。

【0061】

通信モジュール３０１は回路を備え、外部装置（ユーザー端末を含む）との通信を行うことができる。具体的には、プロセッサー３０３は、通信モジュール３０１を介して結ばれた外部装置から各種のデータ又は情報を受信することもできれば、外部装置に各種のデータ又は情報を伝送することもできる。

【0062】

通信モジュール３０１は、ＷｉＦｉモジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、無線通信モジュール、及び近距離無線通信（ＮＦＣ）モジュールのうちの少なくとも一つを備えていてもよく、ＩＥＥＥ、Ｚｉｇｂｅｅ（登録商標）、第三世代（３Ｇ：３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）、第三世代パートナーシップ・プロジェクト（３ＧＰＰ（登録商標）：３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）、ロングターム・エボリューション（ＬＴＥ：Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、第五世代（５Ｇ：５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）などといったように、多種多様な通信規格に従って通信を行うことができる。

【0063】

メモリー３０２には、電子装置３００に関する少なくとも一つの指令が記憶されてもよい。メモリー３０２には、電子装置３００を駆動するためのオペレーティングシステム（Ｏ／Ｓ：Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）が記憶されてもよい。また、メモリー３０２には、この開示の多種多様な実施形態に従いコンピューティング装置３００が動作するための各種のソフトウェアプログラムやアプリケーションが記憶されてもよい。そして、メモリー３０２は、フラッシュメモリー（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの半導体メモリーやハードディスク（Ｈａｒｄ Ｄｉｓｋ）などの磁気記憶媒体などを備えていてもよい。

【0064】

具体的には、メモリー３０２には、この開示の多種多様な実施形態に従いコンピューティング装置３００が動作するための各種のソフトウェアモジュールが記憶されてもよく、プロセッサー３０３は、メモリー３０２に記憶された各種のソフトウェアモジュールを実行してコンピューティング装置３００の動作を制御することができる。すなわち、メモリー３０２は、プロセッサー３０３によりアクセスされ、プロセッサー３０３によるデータの読み取り／記録／修正／削除／更新などが行われてもよい。

【0065】

この開示に係る様々な実施形態において、メモリー３０２には、この開示に係るニューラルネットワークモデルが記憶されてもよい。

【0066】

その他にも、この開示の目的を達成するための範囲内において必要となる多種多様な情報がメモリー３０２に記憶されてもよく、メモリー３０２に記憶された情報は、外部装置から受信されたり、ユーザーにより入力されたりすることにより更新されてもよい。

【0067】

プロセッサー３０３は、コンピューティング装置３００の全般的な動作を制御する。具体的には、プロセッサー３０３は、上述したような通信モジュール３０１及びメモリー３０２を備えるコンピューティング装置３００の構成と接続され、上述したようなメモリー３０２に記憶された少なくとも一つの指令を実行してコンピューティング装置３００の動作を全般的に制御することができる。

【0068】

プロセッサー３０３は、多種多様な方式により実現されることが可能である。例えば、プロセッサー３０３は、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、埋め込みプロセッサー、マイクロプロセッサー、ハードウェアコントロールロジック、ハードウェア有限状態機械（ＦＳＭ：ｈａｒｄｗａｒｅ Ｆｉｎｉｔｅ Ｓｔａｔｅ Ｍａｃｈｉｎｅ）、デジタルシグナルプロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）のうちの少なくとも一つにより実現されてもよい。一方、この開示において、プロセッサー３０３という用語は、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックス処理装置（ＧＰＵ：Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及び主処理装置（ＭＰＵ：Ｍａｉｎ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを網羅する意味として使用可能である。

【0069】

プロセッサー３０３の制御に基づくこの開示に係る様々な実施形態については、図３から図１５を参照して後述する。

【0070】

この開示に係るニューラルネットワークに関わる機能は、プロセッサー３０３とメモリー３０２を介して動作される。プロセッサー３０３は、一つ又は複数のプロセッサー３０３から構成されてもよい。このとき、一つ又は複数のプロセッサー３０３は、ＣＰＵ、アプリケーションプロセッサー（ＡＰ：Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ）、デジタルシグナルプロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などの汎用プロセッサー、ＧＰＵ、ビジョン処理ユニット（ＶＰＵ：Ｖｉｓｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのグラフィックス専用プロセッサー又はニューラルネットワーク処理ユニット（ＮＰＵ：Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの人工知能専用プロセッサーであってもよい。一つ又は複数のプロセッサー３０３は、メモリー３０２に記憶されている既に定義された動作規則又はニューラルネットワークモデルに基づいて、入力データを処理するように制御する。あるいは、一つ又は複数のプロセッサー３０３が人工知能専用プロセッサーである場合、人工知能専用プロセッサーは、特定のニューラルネットワークモデルの処理に特化したハードウェア構造に設計されてもよい。

【0071】

既に定義された動作規則又はニューラルネットワークモデルは、学習を通じて作られたことを特徴とする。ここで、学習を通じて作られるということは、基本ニューラルネットワークモデルが学習アルゴリズムによって多数の学習データを用いて学習されることにより、所望の特性（あるいは、目的）を行うように設定された既に定義された動作規則又はニューラルネットワークモデルが作られることを意味する。このような学習は、この開示に係る人工知能が行われる機器それ自体において行われてもよいし、別途のサーバー及び／又はシステムを介して行われてもよい。学習アルゴリズムの例としては、教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、半教師あり学習（ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）又は強化学習（ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）が挙げられるが、前述した例に何ら限定されない。

【0072】

ニューラルネットワークモデルは、複数のニューラルネットワークレイヤーから構成されてもよい。複数のニューラルネットワークレイヤーレイヤーのそれぞれは、複数の重み付け値（ｗｅｉｇｈｔ ｖａｌｕｅｓ）を有しており、以前の（ｐｒｅｖｉｏｕｓ）レイヤーの演算結果と複数の重み付け値とを演算することにより、ニューラルネットワーク演算を行うことができる。複数のニューラルネットワークレイヤーレイヤーが有している複数の重み付け値は、ニューラルネットワークモデルの学習結果により最適化されることができる。例えば、学習過程の間にニューラルネットワークモデルから取得したロス（ｌｏｓｓ）値又はコスト（ｃｏｓｔ）値が減少又は最小化されるように複数の重み付け値が更新されてもよい。ニューラルネットワークは、ディープニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）レイヤーを備えていてもよく、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ディープニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、回帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、制限付きボルツマンマシン（ＲＢＭ：Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ）、深層信念ネットワーク（ＤＢＮ：Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ）、双方向の回帰型ディープニューラルネットワーク（ＢＲＤＮＮ：Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｃｕｒｒｅｎｔ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）又は深層Ｑ－ネットワーク（Ｄｅｅｐ Ｑ－Ｎｅｔｗｏｒｋｓ）などが挙げられるが、前述した例に何ら限定されない。

【0073】

図３は、本出願に開示される一実施形態に係るコンピューティング装置の構成を説明する図である。図３に示される各部は、プロセッサー３０３によって実現される機能に相当し、これは、ソフトウェアにより実現されることができるが、これに何ら限定されない。以下では、各部を機能の遂行の主体として述べるが、これは、同様に、プロセッサー３０３が遂行の主体として記述されることもある。

【0074】

図４は、本出願に開示される一実施形態に係る３次元仮想モデルの生成のための前処理過程を説明する手順図である。

【0075】

図３及び図４を参照して、本出願に開示される一実施形態に係る３次元仮想モデルの生成のための前処理過程について説明する。

【0076】

室内空間の複数の撮影地点に対応する複数のデータセットが用意される。一例として、複数のデータセットは、画像取得装置１００によって室内空間の複数の撮影地点から撮影された画像データを含んでいてもよい（Ｓ４１０）。

【0077】

一実施形態において、画像データは、複数の撮影地点のうちのいずれか一つの撮影地点に対する３６０°色相画像を表示するパノラミック画像データであってもよく、これを球状変換又はキューブ変換してユーザーに各撮影地点における３６０°の全方位にて画像を表示することができる。一例として、画像データは、正距円筒図法によるパノラミック画像であってもよいが、これに何ら制限されるものではない。

【0078】

オブジェクト判断部３１０は、画像データの入力を受け、画像データ内に削除対象オブジェクトが存在するか否かを判断する（Ｓ４２０）。一例として、オブジェクト判断部３１０は、ニューラルネットワークを用いて画像データ内に存在するオブジェクトを識別することができる。

【0079】

削除対象オブジェクトは、室内空間に対する３次元仮想モデルを生成するのに必要ではないオブジェクトであって、例えば、人間オブジェクトであってもよいが、これに何ら限定されるものではない。

【0080】

オブジェクト判断部３１０は、画像データ内に削除対象オブジェクトが存在する場合、削除対象オブジェクトに関する情報を生成して穴生成部３２０に与える。図１１は、このような例を示しており、画像内において立っている人間オブジェクトＨ０が識別されたことを例示している。

【0081】

穴生成部３２０は、画像データから削除対象オブジェクトに対応する領域のデータを削除する（Ｓ４３０）。図１２は、このような例を示しており、画像内において立っている人間オブジェクトＨ０に対応する領域が削除されたことを例示している。以下では、このように画像データから削除対象オブジェクトに対応する領域のデータが削除されて生成された領域を「穴領域」と称する。

【0082】

一例として、穴生成部３２０は、オブジェクト判断部３１０から削除対象オブジェクトに関する情報の提供を受け、削除対象オブジェクトの領域を識別し、当該領域のデータを削除処理することができる。

【0083】

一例として、穴生成部３２０は、削除対象オブジェクトに対応する領域のピクセル値を色相値ではなく、特定の値（又は、Ｎｕｌｌ値）に設定することができる。

【0084】

穴埋め部３３０は、穴領域にニューラルネットワークを用いて色相データを満たすことができる（Ｓ４４０）。図１３は、このような例を示しており、学習画像に基づいて穴領域を埋めた例を示している。以下では、ニューラルネットワークを用いて色相データを満たすことを「穴埋め」と称する

【0085】

図５は、本出願に開示される一実施形態に係るオブジェクトの判断過程を説明する図であって、オブジェクト判断部３１０の一実施形態が示されている。

【0086】

オブジェクト判断部３１０は、オブジェクトを識別する第１のニューラルネットワーク５１０を用いて、画像データ内に存在する少なくとも一つのオブジェクトを探知することができる。

【0087】

第１のニューラルネットワーク５１０は、画像内に存在するオブジェクトを探知するようにディープラーニングされたニューラルネットワークであって、画像データ内に存在する少なくとも一つのオブジェクトを探知することができる。

【0088】

一例として、第１のニューラルネットワーク５１０は、学習過程及び推論過程を行うに際して活性化関数を用いることができるが、これに何ら制限されるものではない。具体的には、活性化関数は、以前のレイヤーからの入力値を次のレイヤーに受け渡すか否か、そして、受け渡すとすれば、どのような出力値に変換して受け渡すべきであるかを決める役割を果たすことができ、活性化関数のグラジエントは、それぞれのレイヤーの重み付け値（パラメーター）をアップデートするのに用いられることができる。

【0089】

第１のニューラルネットワーク５１０は、探知されたすべてのオブジェクトに関する探知情報－例えば、探知情報は、オブジェクトの中心点の位置、オブジェクトの幅情報、オブジェクトの高さ情報を含む－を生成してオブジェクト識別モジュール５２０に与えることができる。

【0090】

オブジェクト識別モジュール５２０は、削除対象オブジェクトに関する情報を有しており、識別されたオブジェクトが削除対象オブジェクトであるか否かを判断することができる。

【0091】

一例として、探知情報として識別されたオブジェクトに関する分類情報が含まれていてもよい。すなわち、第１のニューラルネットワーク５１０は、探知されたオブジェクトがどのような種類－例えば、人間の種類、施設物の種類、看板の種類など－であるかに関する分類情報を生成することができ、オブジェクト識別モジュール５２０は、探知されたオブジェクトのうち、削除対象オブジェクト－例えば、人間オブジェクト－を確認し、探知されたオブジェクトのうち削除の対象となるオブジェクトを識別することができる。オブジェクト識別モジュール５２０は、削除対象オブジェクトに関する情報を穴生成部３２０に与えることができる。

【0092】

一実施形態において、第１のニューラルネットワーク５１０は、学習画像として３６０°色相パノラミック画像を用いて学習されて、パノラミック画像それ自体に基づいてオブジェクトを識別することができる。パノラミック画像の場合、その投影方法に応じて、たとえ同一のオブジェクトであるとしても、画像内の位置に応じて形状が異なるように設定される可能性がある。したがって、同一のオブジェクト－例えば、人間オブジェクト－が画像内において互いに異なる位置に存在する複数のパノラミック学習画像組を用意し、第１のニューラルネットワーク５１０は、このような複数のパノラミック学習画像組に基づいて学習されることができる。このための学習方法については図９を参照して後述する。

【0093】

他の一実施形態において、第１及び第２のニューラルネットワークは、平面画像に基づいて学習され、ニューラルネットワークの入力の前にパノラミック画像を平面変換し、ニューラルネットワークの出力の後に再びパノラミック画像に逆変換する過程を経ることができる。図６は、このような一実施形態を示しており、図６を参照して説明する。図６を参照すると、プロセッサー３０３は、パノラミック画像データを平面変換して平面変換画像データを生成し（Ｓ６１０）、平面変換画像データに対して第１のニューラルネットワークにてオブジェクトを探知することができる（Ｓ６２０）。プロセッサー３０３は、探知されたオブジェクトのうちから削除対象オブジェクトを識別し、それに対応する領域の色相データを削除して穴領域を生成することができる（Ｓ６３０）。プロセッサー３０３は、穴領域を第２のニューラルネットワークにて穴埋めして、穴埋めされた平面変換画像データを生成し（Ｓ６４０）、これをパノラミック画像に逆変換することができる（Ｓ６５０）。このような実施形態においては、第１のニューラルネットワーク及び第２のニューラルネットワークが平面画像に基づいて学習されても適用することが可能であるという点で有利である。

【0094】

図７は、本出願に開示される一実施形態に係る穴埋め過程を説明する図であって、図７を参照して穴埋めのための第２のニューラルネットワークモジュールの学習構造について説明する。

【0095】

図７を参照すると、穴埋め部３３０は、第２のニューラルネットワークモジュール７２０を備え、第２のニューラルネットワークモジュール７２０を学習するための学習データ生成モジュール７１０及びトレーニングモジュール７３０をさらに備えていてもよい。

【0096】

一例として、第２のニューラルネットワークモジュール７２０も、学習過程及び推論過程を行うに際して活性化関数を用いることができる。活性化関数は、以前のレイヤーからの入力値を次のレイヤーに受け渡すか否か、そして、受け渡すとすれば、どのような出力値に変換して受け渡すべきであるかを決める役割を果たすことができ、活性化関数のグラジエントは、第２のニューラルネットワークモジュール７２０に含まれているそれぞれのレイヤーの重み付け値（パラメーター）をアップデートするのに用いられることができる。

【0097】

トレーニングモジュール７３０は、第２のニューラルネットワークモジュール７２０の学習性能に関わる評価情報を取得するモジュールである。

【0098】

例えば、トレーニングモジュール７３０は、第２のニューラルネットワークモジュール７２０の学習が何エポック（ｅｐｏｃｈ）だけ進められたか、すなわち、学習データの全体を何回学習したかに関する情報を取得することができる。なお、トレーニングモジュール７３０は、学習過程が進められる間の損失（ｌｏｓｓ）に関する情報を取得することができる。

【0099】

学習データ生成モジュール７１０は、穴埋め学習を行うための学習データを生成するモジュールである。学習データ生成モジュール７１０は、原学習画像の入力を受け、原学習画像に任意の穴を生成することができる。

【0100】

図７は、トレーニング過程を例示しており、学習データ生成モジュール７１０は、原学習画像の入力を受け、そこに任意の穴を生成して穴生成学習画像を生成することができる。

【0101】

一実施形態において、学習データ生成モジュール７１０は、削除対象オブジェクトの形状に関する多数の情報を含み、削除対象オブジェクトの形状を反映して穴を生成することができる。一例として、削除対象オブジェクトが人間オブジェクトである場合、学習データ生成モジュール７１０は、人間の様々な動作に関するシルエット情報を有しており、これを用いて穴を生成することができる。

【0102】

学習データ生成モジュール７１０は、生成した穴生成学習画像を第２のニューラルネットワークモジュール７２０に与えることができ、第２のニューラルネットワークモジュール７２０は、入力を受けた穴生成学習画像に対して、学習された内容に基づいて穴埋め処理を施して穴埋め画像を生成することができる。トレーニングモジュール７３０は、第２のニューラルネットワークモジュール７２０において生成した穴埋め画像と原学習画像とを比較し、両画像間の差に基づいて、第２のニューラルネットワークモジュール７２０の重み付け値を変更するようにすることで、第２のニューラルネットワークモジュール７２０を学習させることができる。

【0103】

このような例において、最初の動作において、第２のニューラルネットワークモジュール７２０は、学習された内容がないため、ニューラルネットワークの各ノードにおいてランダムな値に基づいて穴埋め学習画像を生成することができる。第２のニューラルネットワークモジュール７２０は、穴埋め学習画像と原学習画像との間の差によるフィードバックトレーニングを繰り返し行って穴埋め処理の正確度を向上させることができる。

【0104】

一方、以上においては、色相画像データを対象として穴埋めを行うことについて説明したが、深度マップデータに対しても同等に穴埋めを適用することができる。このような場合、色相画像データに対して穴埋めする第２のニューラルネットワークモジュールと深度マップデータに対して穴埋めする第２のニューラルネットワークモジュールは、それぞれ個別的に実現され、かつ個別的に学習されることができる。これは、入力される画像の種類に応じて穴埋めを行わなければならない値が異なるからであり、入力される画像の種類ごとにそれぞれ第２のニューラルネットワークモジュールを備え、かつトレーニングすることができる。

【0105】

一実施形態において、第１のニューラルネットワーク及び第２のニューラルネットワークは、パノラミック画像を対象として学習されてもよい。例えば、オブジェクトの判断の対象となる図３に示される画像データ、図７に示される原学習画像及び穴生成学習画像は、３６０°色相画像を表示するパノラミック画像データであってもよい。このような実施形態について図８に示されている。図８を参照すると、プロセッサー３０３は、パノラミック画像データに対して第１のニューラルネットワークを用いてオブジェクトを探知することができる（Ｓ８１０）。プロセッサー３０３は、パノラミック画像データからの削除対象オブジェクトを識別し、それに関する色相データを除去して穴領域を生成し（Ｓ８２０）、第２のニューラルネットワークを用いて穴領域を穴埋めして、穴の埋められたパノラミック画像データを生成することができる（Ｓ８３０）。このような一実施形態においては、第１のニューラルネットワーク及び第２のニューラルネットワークの学習データにもパノラミック画像が用いられる。

【0106】

一実施形態において、第１のニューラルネットワーク及び第２のニューラルネットワークは、パノラミック画像を対象として学習された場合、トレーニングモジュール７３０におけるロスの算出に際して、球状変換過程が反映されてもよい。すなわち、入力された原学習画像と第２のニューラルネットワークモジュール７２０から出力された穴埋め画像をそれぞれ球状変換した後、トレーニングモジュール７３０は、球状変換された原学習画像と球状変換された穴埋め画像との間のロスに基づいて第２のニューラルネットワークを学習することができる。これは、パノラミック画像は、球状変換（又は、キューブ変換）に用いられるための形態であって、各位置に応じて、たとえ同一のオブジェクトであっても、その形状が異なるように設定されるからである。すなわち、パノラミック画像は、球状変換されて用いられるため、球状変換状態における結果に基づいてニューラルネットワークを学習させることにより、パノラミック画像を入力及び出力の対象とするニューラルネットワークの品質を向上させることができる。

【0107】

また、パノラミック画像の特徴に基づいて学習データを生成することが可能であり、これについて、図９から図１０を参照して説明する。

【0108】

図９は、本出願に開示される一実施形態に係るパノラミック画像を入力の対象とするニューラルネットワークの学習方法を説明する図であり、図１０は、図９に示されるニューラルネットワークの学習方法を説明する手順図である。

【0109】

図９に示される例には、学習データ生成部９１０とそれに基づいて学習する第１のニューラルネットワーク９２０が開示されている。学習の対象となるニューラルネットワークは、第２のニューラルネットワークに変更して適用することも可能である。

【0110】

学習データ生成部９１０は、一枚のパノラミック原学習画像を用いて複数枚のパノラミック学習画像を生成することができる。球状変換モジュール９１１は、一枚のパノラミック原学習画像の入力を受け、これを球状変換することができる（Ｓ１０１０）。

【0111】

一例として、球状変換モジュール９１０は、以下の数式１を用いて、球状変換を行うことができるが、これに何ら限定されるものではない。

【0112】

【数1】

【0113】

回転変換モジュール９１２は、球状変換された球状画像に対して、回転設定を変更して回転変換することができる。例えば、回転変換モジュール９１２は、球状画像に対して回転軸、回転方向及び回転角度のうちの少なくとも一つを変更して回転変換を行うことができる（Ｓ１０２０）。

【0114】

パノラミック変換モジュール９１３は、回転変換された複数枚の球状画像をパノラミック画像に逆変換することができ、これをニューラルネットワークの学習画像として与えることができる（Ｓ１０３０、Ｓ１０４０）。

【0115】

第１のニューラルネットワーク９２０は、削除対象オブジェクト－例えば、人間オブジェクト－を識別する学習を行い、このようにして球状変換を行った後、パノラミック画像に逆変換する場合、同一の人間オブジェクトに対してパノラミック画像における人間オブジェクトの形状が非常に様々に表現される。これは、パノラミック投影に際して各位置に応じた膨張比率が異なるからであり、これにより、一枚の画像を球状変換した後、種々に回転変更することにより、非常に多い数の学習データを生成することができ、一つのオブジェクトの様々な投影様子をカバーすることができるので、第１のニューラルネットワークの探索機能を向上させることができる。

【0116】

このような学習方法は、第２のニューラルネットワークに対しても適用することが可能である。

【0117】

一方、上述した実施形態に係るコンピューティング装置３００において行われる制御方法は、プログラムにより実現されてコンピューティング装置３００に提供され得る。特に、コンピューティング装置３００の制御方法を含むプログラムは、非一時的なコンピューターにて読み取り可能な媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）に記憶されて提供され得る。

【0118】

以上において、コンピューティング装置３００の制御方法、そしてコンピューティング装置３００の制御方法を実行するプログラムを含むコンピューターにて読み取り可能な記録媒体について簡略に説明したが、これは、重複する説明を省略するためのものに過ぎず、電子装置１００についての様々な実施形態は、コンピューティング装置３００の制御方法、そしてコンピューティング装置３００の制御方法を実行するプログラムを含むコンピューターにて読み取り可能な記録媒体に対しても適用されることが可能であるということはいうまでもない。

【0119】

一方、機器にて読み取り可能な記憶媒体は、非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体の形態で提供され得る。ここで、「非一時的」は、記憶媒体が有形の（ｔａｎｇｉｂｌｅ）装置であり、信号（ｓｉｇｎａｌ）（例えば、電磁気波）を含まないということを意味するものに過ぎず、この言い回しは、データが記憶媒体に半永久的に記憶される場合と一時的に記憶される場合とを区別しない。例えば、「非一時的な記憶媒体」は、データが一時的に記憶されるバッファーを備えていてもよい。

【0120】

以上において説明した本出願は、前述した実施形態及び添付図面により何ら限定されるものではなく、特許請求の範囲により限定され、本出願の構成は、本出願の技術的な思想を逸脱しない範囲内においてその構成を種々に変更及び改造することができるということを本出願が属する技術分野において通常の知識を有する者は容易に理解できる筈である。

【符号の説明】

【0121】

１００：画像取得装置
３００：コンピューティング装置
５００：ユーザー端末
３０１：通信モジュール
３０２：メモリー
３０３：プロセッサー

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】