特許 7143924 画像マッチング方法、装置及びコンピュータ読み取り可能な記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-20

(45)【発行日】2022-09-29

(54)【発明の名称】画像マッチング方法、装置及びコンピュータ読み取り可能な記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220921BHJP

   G06V 10/74 20220101ALI20220921BHJP

   G06V 20/64 20220101ALI20220921BHJP

【ＦＩ】

G06T7/00 300D

G06T7/00 C

G06V10/74

G06V20/64

【請求項の数】 12

(21)【出願番号】P 2021120853

(22)【出願日】2021-07-21

(65)【公開番号】P2022022190

(43)【公開日】2022-02-03

【審査請求日】2021-07-27

(31)【優先権主張番号】202010723161.9

(32)【優先日】2020-07-24

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】ハイジン ジィア

(72)【発明者】

【氏名】ホォン イ

(72)【発明者】

【氏名】リイェヌ リィウ

(72)【発明者】

【氏名】ウェイ ワン

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０２０－０３８６５７（ＪＰ，Ａ）

【文献】特開２０１７－０４６１０６（ＪＰ，Ａ）

【文献】Chongyang Luo et al.，Indoor Scene Reconstruction: From Panorama Images to CAD Models，2019 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct)，IEEE，2019年10月10日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8951976

【文献】Cheng Sun et al.，HorizonNet: Learning Room Layout With 1D Representation and Pano Stretch Data Augmentation，2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)，IEEE，2019年06月15日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8953792

【文献】古川 泰隆，不動産画像データセットを利用したディープ多形態画像対応学習，人工知能 第３２巻 第４号，2017年07月01日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｖ １０／００－２０／９０

(57)【特許請求の範囲】

【請求項1】

少なくとも1つのサブ空間で構成される三次元空間から、少なくとも1つのサブ空間のパノラマ画像、及び前記三次元空間の二次元画像を取得し、かつ前記三次元空間が複数のサブ空間で構成される場合は、各サブ空間が互いに重ならないステップと、
前記三次元空間の二次元画像に基づいて、前記三次元空間における少なくとも1つのサブ空間の二次元画像を取得するステップと、
前記少なくとも一つのサブ空間のパノラマ画像に対して三次元再構成を行い、かつ前記少なくとも一つのサブ空間のパノラマ画像にそれぞれ対応する投影画像を取得するステップと、
前記少なくとも一つのサブ空間の投影画像と前記少なくとも一つのサブ空間の二次元画像とに基づいて、前記少なくとも一つのサブ空間のパノラマ画像と前記少なくとも一つのサブ空間の二次元画像とのマッチング関係を取得し、かつマッチング関係が生じたサブ空間のパノラマ画像とサブ空間の二次元画像との間に関連関係を確立するステップと、を含む、ことを特徴とする画像マッチング方法。

【請求項2】

前記方法はさらに、
前記少なくとも1つのサブ空間のパノラマ画像にそれぞれ対応する第一ラベル情報を取得することと、前記三次元空間における少なくとも1つのサブ空間の二次元画像にそれぞれ対応する第二ラベル情報を取得することと、前記第一ラベル情報及び第二ラベル情報に基づき、前記少なくとも1つのサブ空間のパノラマ画像と前記少なくとも1つのサブ空間の二次元画像とのマッチング関係を取得することと、を含み、及び
前記少なくとも一つのサブ空間のパノラマ画像に対して三次元再構成を行い、かつ前記少なくとも一つのサブ空間のパノラマ画像にそれぞれ対応する投影画像を取得する前記ステップは、
前記第一ラベル情報及び第二ラベル情報により、少なくとも一つのサブ空間のパノラマ画像と少なくとも一つのサブ空間の二次元画像とのマッチング関係を取得できない場合、マッチング関係を生成できなかったサブ空間のパノラマ画像に基づいて三次元再構成を行い、かつ対応する投影画像を取得することことと、を含む、ことを特徴とする請求項１に記載の方法。

【請求項3】

三次元空間から少なくとも1つのサブ空間のパノラマ画像を取得することは、
パノラマカメラにより前記少なくとも1つのサブ空間における各サブ空間のパノラマ画像を取得すること、又は
前記少なくとも1つのサブ空間における各サブ空間の複数の透視画像により、前記各サブ空間のパノラマ画像を取得すること、を含む、ことを特徴とする請求項１に記載の方法。

【請求項4】

前記三次元空間の二次元画像により、前記三次元空間における少なくとも1つのサブ空間の二次元画像を取得することは、
前記三次元空間の二次元画像の各画素点に対してセマンティック認識を行うことと、
セマンティック認識の結果に基づき、前記三次元空間の二次元画像を分割して、少なくとも1つのサブ空間の二次元画像を得ることと、を含む、ことを特徴とする請求項１に記載の方法。

【請求項5】

前記少なくとも一つのサブ空間のパノラマ画像に対して三次元再構成を行うことは、
前記サブ空間のパノラマ画像に基づいて、前記サブ空間を形成する少なくとも1つの対象の空間特徴を取得し、かつ取得された少なくとも1つの対象の空間特徴に基づき三次元再構成を行うこと、を含む、ことを特徴とする請求項１に記載の方法。

【請求項6】

前記少なくとも1つのサブ空間のパノラマ画像にそれぞれ対応する投影画像を取得することは、
前記サブ空間のパノラマ画像におけるターゲットを検出と位置決めすることと、
前記サブ空間のパノラマ画像の三次元再構成結果及びパノラマ画像中のターゲットに対する検出と位置決めの結果に基づいて、前記サブ空間の前記三次元空間の二次元画像が所在する平面における投影画像を取得すること、を含む、ことを特徴とする請求項５に記載の方法。

【請求項7】

前記少なくとも一つのサブ空間の投影画像と前記少なくとも一つのサブ空間の二次元画像とに基づいて、前記少なくとも一つのサブ空間のパノラマ画像と前記少なくとも一つのサブ空間の二次元画像とのマッチング関係を取得する前記ステップは、
前記少なくとも1つのサブ空間の投影画像及び前記少なくとも1つのサブ空間の二次元画像における対象と/或いはターゲットのレイアウトに基づいて、前記少なくとも1つのサブ空間の投影画像と前記少なくとも1つのサブ空間の二次元画像とのマッチング関係を取得することと、
前記少なくとも一つのサブ空間の投影画像と前記少なくとも一つのサブ空間の二次元画像とのマッチング関係に基づき、対応する前記少なくとも一つのサブ空間のパノラマ画像と前記少なくとも一つのサブ空間の二次元画像とのマッチング関係を取得すること、を含む、ことを特徴とする請求項６に記載の方法。

【請求項8】

前記少なくとも一つのサブ空間の投影画像と前記少なくとも一つのサブ空間の二次元画像とに基づいて、前記少なくとも一つのサブ空間のパノラマ画像と前記少なくとも一つのサブ空間の二次元画像とのマッチング関係を取得する前記ステップは、
前記少なくとも一つのサブ空間の投影画像と前記少なくとも一つのサブ空間の二次元画像とを形状マッチングして、マッチング結果に基づいて前記少なくとも一つのサブ空間の投影画像と前記少なくとも一つのサブ空間の二次元画像とのマッチング関係を確立することと、
前記少なくとも一つのサブ空間の投影画像と前記少なくとも一つのサブ空間の二次元画像とのマッチング関係に基づき、対応する前記少なくとも一つのサブ空間のパノラマ画像と前記少なくとも一つのサブ空間の二次元画像とのマッチング関係を取得すること、を含む、ことを特徴とする請求項１に記載の方法。

【請求項9】

少なくとも1つのサブ空間で構成される三次元空間から、少なくとも1つのサブ空間のパノラマ画像、及び前記三次元空間の二次元画像を取得し、かつ前記三次元空間が複数のサブ空間で構成される場合は、各サブ空間が互いに重ならない画像マッチングユニットと、
前記三次元空間の二次元画像に基づいて、前記三次元空間における少なくとも1つのサブ空間の二次元画像を取得するサブ空間取得ユニットと、
前記少なくとも一つのサブ空間のパノラマ画像に対して三次元再構成を行い、かつ前記少なくとも一つのサブ空間のパノラマ画像にそれぞれ対応する投影画像を取得する再構成ユニットと、
前記少なくとも一つのサブ空間の投影画像及び前記少なくとも一つのサブ空間の二次元画像に基づいて、前記少なくとも一つのサブ空間のパノラマ画像及び前記少なくとも一つのサブ空間の二次元画像のマッチング関係を取得し、かつマッチング関係が生じたサブ空間のパノラマ画像とサブ空間の二次元画像との間に関連関係を確立するマッチングユニットと、を含む、ことを特徴とする画像マッチング装置。

【請求項10】

プロセッサーと、
前記プロセッサーに接続され、かつコンピュータプログラムコマンドが格納されているメモリと、を含み、
前記コンピュータプログラムコマンドは、前記プロセッサーにより実行される時に、前記プロセッサーに、請求項１乃至８のうちの何れか1項に記載の画像マッチング方法を実行させる、画像マッチング装置

【請求項11】

コンピュータに、請求項１乃至８のうちの何れか1項に記載の画像マッチング方法を実行させるためのプログラム。

【請求項12】

請求項１１に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理分野に関し、特に画像マッチング方法、装置及びコンピュータ読み取り可能な記憶媒体に関する。

【背景技術】

【0002】

仮想ローミングは、仮想現実(Virtual Reality、VR)技術の重要なブランチであって、建築、旅行、ゲーム、航空宇宙、医療など様々な業界に係る。仮想シーン構築技術と仮想ローミング技術との組み合わせによって、ユーザは建物、都市又はゲームシーン等の三次元シーンにおいて自律ローミングを行うことができることで、上記ローミングシーンに対して直感的な体験を生成する。

【0003】

仮想ローミングのインタラクションプロセスにおいて、ユーザがローミングする三次元シーンと三次元シーン構造を記述する二次元画像との間に、サブ空間に対するマッチング関係を確立する必要があり、それによってローミングしたいサブ空間領域を自主的に制御するようにユーザを案内する。しかし、一般では、手動によって三次元シーン及び二次元画像に対してサブ空間マッチングを行うことで、三次元シーン及び二次元画像における各サブ空間の間の関連関係を確立することができ、例えば、手動でナビゲーションポイントを構築する方法によって三次元シーンと二次元画像とのサブ空間領域の間の相互マッチング及び相互ジャンプを実現することができる。

【0004】

以上、上記三次元シーン及び二次元画像におけるサブ空間の間のマッチングを手動で実現する方法は時間がかかるほか労力も必要である。したがって、三次元シーンおよび二次元画像のサブ空間領域を自動的にマッチングすることができる方法および装置を構築することが望ましい。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の目的は、少なくとも、画像マッチング精度を保証した上でコストを節約し、画像マッチング効率を効果的に向上させることができる画像マッチング方法及び装置を提供することにある。

【課題を解決するための手段】

【0006】

画像マッチング方法は、三次元空間から少なくとも1つのサブ空間のパノラマ画像、及び前記三次元空間の画像を取得することと、少なくとも1つのサブ空間で構成される前記三次元空間の二次元画像に基づいて、前記三次元空間における少なくとも1つのサブ空間の二次元画像を取得し、かつ前記三次元空間が複数のサブ空間で構成される場合は、各サブ空間同士が重ならないことと、前記少なくとも一つのサブ空間のパノラマ画像に対して三次元再構成を行い、且つ前記少なくとも一つのサブ空間のパノラマ画像にそれぞれ対応する投影画像を取得することと、前記少なくとも一つのサブ空間の投影画像及び前記少なくとも一つのサブ空間の二次元画像に基づいて、前記少なくとも一つのサブ空間のパノラマ画像及び前記少なくとも一つのサブ空間の二次元画像のマッチング関係を取得し、且つマッチング関係が生じたサブ空間のパノラマ画像とサブ空間の二次元画像との間に関連関係を確立することと、を含む。

【0007】

本発明のもうひとつに提供された画像マッチング装置は、少なくとも1つのサブ空間で構成される三次元空間から、少なくとも1つのサブ空間のパノラマ画像、及び前記三次元空間の二次元画像を取得し、かつ前記三次元空間が複数のサブ空間で構成される場合は、各サブ空間が互いに重ならない画像マッチングユニットと、前記三次元空間の二次元画像に基づいて、前記三次元空間における少なくとも1つのサブ空間の二次元画像を取得するサブ空間取得ユニットと、前記少なくとも一つのサブ空間のパノラマ画像に対して三次元再構成を行い、且つ前記少なくとも一つのサブ空間のパノラマ画像にそれぞれ対応する投影画像を取得する再構成ユニットと、前記少なくとも一つのサブ空間の投影画像及び前記少なくとも一つのサブ空間の二次元画像に基づいて、前記少なくとも一つのサブ空間のパノラマ画像及び前記少なくとも一つのサブ空間の二次元画像のマッチング関係を取得し、且つマッチング関係が生じたサブ空間のパノラマ画像とサブ空間の二次元画像との間に関連関係を確立するマッチングユニットと、を含む。

【0008】

本発明のもうひとつに提供された画像マッチング装置は、プロセッサーと、コンピュータプログラムコマンドが格納されるメモリと、を含み、前記コンピュータプログラムコマンドが前記プロセッサーにより実行される時に、前記プロセッサーに、少なくとも1つのサブ空間で構成される三次元空間から、少なくとも1つのサブ空間のパノラマ画像、及び前記三次元空間の画像を取得し、かつ前記三次元空間が複数のサブ空間で構成される場合は、各サブ空間同士が重ならないことと、前記三次元空間の二次元画像に基づいて、前記三次元空間における少なくとも1つのサブ空間の二次元画像を取得することと、前記少なくとも一つのサブ空間のパノラマ画像に対して三次元再構成を行い、且つ前記少なくとも一つのサブ空間のパノラマ画像にそれぞれ対応する投影画像を取得することと、前記少なくとも一つのサブ空間の投影画像及び前記少なくとも一つのサブ空間の二次元画像に基づいて、前記少なくとも一つのサブ空間のパノラマ画像及び前記少なくとも一つのサブ空間の二次元画像のマッチング関係を取得し、且つマッチング関係が生じたサブ空間のパノラマ画像とサブ空間の二次元画像との間に関連関係を確立することと、を含む。

【0009】

本発明のまたのひとつはコンピュータプログラムが格納されるコンピュータ読み取り可能な記憶媒体を提供して、前記コンピュータプログラムはプロセッサーによって実行させる時、少なくとも1つのサブ空間で構成される三次元空間から、少なくとも1つのサブ空間のパノラマ画像、及び前記三次元空間の画像を取得し、かつ前記三次元空間が複数のサブ空間で構成される場合は、各サブ空間同士が重ならないことと、前記三次元空間の二次元画像に基づいて、前記三次元空間における少なくとも1つのサブ空間の二次元画像を取得することと、前記少なくとも一つのサブ空間のパノラマ画像に対して三次元再構成を行い、且つ前記少なくとも一つのサブ空間のパノラマ画像にそれぞれ対応する投影画像を取得することと、前記少なくとも一つのサブ空間の投影画像及び前記少なくとも一つのサブ空間の二次元画像に基づいて、前記少なくとも一つのサブ空間のパノラマ画像及び前記少なくとも一つのサブ空間の二次元画像のマッチング関係を取得し、且つマッチング関係が生じたサブ空間のパノラマ画像とサブ空間の二次元画像との間に関連関係を確立することと、が実現される。

【発明の効果】

【0010】

本発明の上記画像マッチング方法、装置及びコンピュータで読み取り可能な記憶媒体に基づき、三次元空間のサブ空間のパノラマ画像を投影して得た投影画像を、サブ空間の二次元画像とマッチングすることにより、サブ空間のパノラマ画像とサブ空間の二次元画像との間のマッチング関係を取得し、且つそれに基づいて関連関係を構築することができる。このように画像マッチングを自動的に行う方法、装置及びコンピュータ読み取り可能な記憶媒体は画像マッチング精度を保証した上でコストを節約し、画像マッチング効率を効果的に向上させることができる。

【図面の簡単な説明】

【0011】

図示とあわせて本発明の実施例をより詳しく説明することによって、本発明の上記内容および目的、特徴、そして長所がより明白になる。

【図1】本発明の一実施例に係る画像マッチング方法のフローチャートである。

【図2】三次元空間における複数の部屋にそれぞれ対応するパノラマ画像を示す図である。

【図3】三次元空間の二次元間取り図である。

【図4】異なる第一ラベル情報を有する各部屋のパノラマ画像の分類イメージ図である。

【図5】二次元間取り図における各画素点の異なるセマンティックタイプの認識結果を示す図である。

【図6】二次元間取り図を分割して得られた各部屋の二次元画像及び各部屋の二次元画像に対応する各部屋タイプを示す図である。

【図7】マッチングが成功しなかった寝室のパノラマ画像を示す図である。

【図8】図7のパノラマ画像を三次元再構成するイメージ図である。

【図9】図7のパノラマ画像にターゲット検出及び位置決めを行うイメージ図である。

【図10】図7のパノラマ画像を投影して投影画像を得るイメージ図である。

【図11】本発明の一実施例に係る画像マッチング装置を示すブロック図である。

【図12】本発明の一実施例に係る画像マッチング装置を示すブロック図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して本発明の実施例に係わる画像マッチング方法、装置とコンピュータ読み取り可能な記憶媒体を説明する。図面には、同じ番号は同じ要素を終始に示す。ここで記述された実施例は説明のみに用いられて、本発明の範囲を制限するものではないことが自明である。

【0013】

以下、図1を参照して本発明の実施例に係る画像マッチング方法について説明する。図1は、当該画像マッチング方法100のフローチャートを示す。

【0014】

図1に示すように、ステップS101において、少なくとも1つのサブ空間で構成される三次元空間から、少なくとも1つのサブ空間のパノラマ画像、及び三次元空間の二次元画像を取得し、かつ前記三次元空間が複数のサブ空間で構成される場合は、各サブ空間同士が重ならない。

【0015】

本ステップにおいて、様々な方法で、三次元空間における少なくとも1つのサブ空間のパノラマ画像を取得することができる。例えば、パノラマカメラ(例えば、魚眼カメラ、両眼カメラなど)を用いて、前記少なくとも1つのサブ空間における各サブ空間のパノラマ画像を取得することができる(例えば、正距円筒図法)。また例えば、普通のカメラによって前記少なくとも1つのサブ空間における各サブ空間の複数の透視画像を取得し、且つ該複数の透視画像をつなぎ合わせて、前記サブ空間毎のパノラマ画像をそれぞれ取得することもできる。ここで、前記三次元空間は一つ又は複数のサブ空間で構成されることができ、これらのサブ空間は三次元空間において様々な方法によって分割された空間であってもよく、且つ前記三次元空間が複数のサブ空間で構成される場合、各サブ空間の間に互いに重ならなく、入れ子にならないことができる。例えば、前記三次元空間が建物室内空間である場合、建物室内空間の壁、ドア又は窓等の物体によって建物室内空間を互いに独立した複数の部屋に仕切りして、サブ空間とすることができる。

【0016】

また、本ステップにおいて、さらに、三次元空間の二次元画像を取得することもできる。前記三次元空間の二次元画像は、三次元空間の各サブ空間の平面レイアウトを説明するためのものである。例えば、前記三次元空間が建物室内空間である場合、前記二次元画像は建物室内の各部屋の平面レイアウト図、例えば、二次元間取り図を説明することができる。

【0017】

ステップS102において、前記三次元空間の二次元画像に基づいて、前記三次元空間における少なくとも1つのサブ空間の二次元画像を取得する。

【0018】

本ステップにおいて、三次元空間の二次元画像を分割して、三次元空間中の各サブ空間の二次元画像を得ることができる。一例示において、事前トレーニングされたサブ空間二次元画像認識モデルを使用して、三次元空間の二次元画像の各画素点にセマンティック認識を行って、各画素点のセマンティック情報を得ることができる。その後、上記二次元画像における各画素点のセマンティック情報に基づいて、三次元空間の二次元画像を分割して、各サブ空間の二次元画像を得ることができる。また、画素点セマンティック情報を認識する用のサブ空間二次元画像認識モデルは、ディープニューラルネットワークモデルであってもよい。例えば、前記二次元画像が前記二次元間取り図である場合、DeepFloorplanディープニューラルネットワークモデルによって二次元間取り図に対してセマンティック認識を行うことができ、例えば二次元間取り図の壁、窓、ドア、部屋タイプ(例えば寝室、台所、トイレ)等の各画素点のセマンティック情報を認識することで、これらのセマンティック情報に基づいて二次元間取り図を分割して、各サブ空間(即ち各部屋)の二次元間取り図を得ることができる。分割プロセスにおいて、また、セマンティック情報が同じであることに基づき、セマンティック情報が異なる画素点(例えばセマンティック情報が壁、ドア又は窓の画素点である)に遭遇するまでに画素点(例えばセマンティック情報があるタイプの部屋の画素点である)に対して周囲へ拡張させ、且つ拡張して得た画像をサブ空間の二次元間取り図とすることができる。この例示において、DeepFloorplanディープニューラルネットワークは、二次元間取り図のグラフィックスセットと間取り図セマンティックラベルを使用して事前トレーニングすることができる。

【0019】

ステップS103において、前記少なくとも一つのサブ空間のパノラマ画像に対して三次元再構成を行い、且つ前記少なくとも一つのサブ空間のパノラマ画像にそれぞれ対応する投影画像を取得する。

【0020】

本ステップにおいて、前記サブ空間のパノラマ画像に基づいて、前記サブ空間を形成する少なくとも1つの対象の空間特徴を取得し、かつ取得された少なくとも1つの対象の空間特徴に基づき三次元再構成を行うことができる。また、サブ空間を形成する少なくとも1つの対象の空間特徴は、当該対象の幾何形状、空間的位置座標、各対象の間の相対的な幾何関係などを含むことができる。前記少なくとも1つの対象の空間特徴を取得した後、前記サブ空間のパノラマ画像に対して三次元再構成を行うことができる。また、三次元再構成用のモデルは、ディープニューラルネットワークモデルであってもよい。一例示において、三次元空間は建物室内空間である場合、三次元空間のサブ空間が部屋であり、サブ空間を形成する少なくとも1つの対象が該部屋を形成する壁、地面、天井等であることができ、その空間特徴は該部屋を形成する壁、地面、天井の空間位置座標を含むことができ、壁-壁、壁-地面、壁-天井の間に垂直又は平行な幾何関係及び境界におけるエッジ位置等。上記空間特徴を取得した後、該部屋に対して三次元再構成を行って、部屋の三次元再構成モデルを得ることができる。この例示において、HorizonNetディープニューラルネットワークモデルによって三次元再構成を行うことができ、また、部屋のパノラマグラフィックスセットおよび部屋レイアウトラベルを用いて、このディープニューラルネットワークモデルをトレーニングすることができる。

【0021】

次に、三次元再構成の後に、前記サブ空間のパノラマ画像中のターゲットに検出と位置決めを行い、前記サブ空間のパノラマ画像の三次元再構成結果及びパノラマ画像中のターゲットに対する検出と位置決めの結果に基づいて、前記サブ空間が前記三次元空間の二次元画像が所在する平面における投影画像を取得することができる。また、サブ空間のパノラマ画像中のターゲットに対する検出と位置決めの結果は、当該ターゲットの幾何形状、空間位置座標等を含むことができる。上記三次元再構成結果及びターゲットの検出と位置決めの結果を取得した後、サブ空間のパノラマ画像の三次元再構成モデルを投影することができ、その投影平面は三次元空間の二次元画像が所在する平面、又はこの平面に平行な平面であることができる。そして、投影画像において、検出されたターゲットが投影画像における形状、位置などの情報を表示することもできる。また、ターゲット検出用のモデルは、ディープニューラルネットワークモデルであってもよい。一例示において、三次元空間は建物室内空間である場合、三次元空間のサブ空間が部屋であり、サブ空間のパノラマ画像中のターゲットが該部屋内のドア、窓、タンス等の物体であることで、部屋中のドア、窓、タンス等の物体に対する検出に基づき、これらのターゲットの幾何形状、空間位置座標等の検出及び位置決め結果を得ることができる。上記結果を取得した後、当該部屋のパノラマ画像の三次元再構成モデルを、例えば地面上に投影して、部屋の投影画像を取得、かつ当該部屋のドア、窓、タンスなどの物体の位置を投影画像に表示することができ。この例示において、YOLOv3ディープニューラルネットワークモデルによってターゲット検出を行うことができ、また、部屋のパノラマグラフィックスセットおよび部屋ターゲット検出ラベルを用いて、このディープニューラルネットワークモデルをトレーニングすることができる。

【0022】

ステップS104において、前記少なくとも一つのサブ空間の投影画像及び前記少なくとも一つのサブ空間の二次元画像に基づいて、前記少なくとも一つのサブ空間のパノラマ画像及び前記少なくとも一つのサブ空間の二次元画像のマッチング関係を取得し、且つマッチング関係が生じたサブ空間のパノラマ画像とサブ空間の二次元画像との間に関連関係を確立する。

【0023】

また、前記少なくとも1つのサブ空間の投影画像及び前記少なくとも1つのサブ空間の二次元画像における対象と/或いはターゲットのレイアウトに基づいて、前記少なくとも1つのサブ空間の投影画像と前記少なくとも1つのサブ空間の二次元画像とのマッチング関係を取得することができる。その後、前記少なくとも一つのサブ空間の投影画像と前記少なくとも一つのサブ空間の二次元画像とのマッチング関係に基づき、対応する前記少なくとも一つのサブ空間のパノラマ画像と前記少なくとも一つのサブ空間の二次元画像とのマッチング関係を取得する。例えば、サブ空間が部屋である場合、部屋中の壁、地面、天井等に基づいて該部屋の対象の形状、数、位置、幾何関係等各要素を形成することで、サブ空間のパノラマ画像と二次元画像とのマッチング関係を判断することができる。さらに例えば、部屋中のドア、窓、タンス等のターゲットの形状、数、位置、幾何関係等に基づいてサブ空間のパノラマ画像と二次元画像とのマッチング関係を判断することもできる。

【0024】

また、さらに前記少なくとも一つのサブ空間の投影画像と前記少なくとも一つのサブ空間の二次元画像とを形状マッチングして、マッチング結果に基づいて前記少なくとも一つのサブ空間の投影画像と前記少なくとも一つのサブ空間の二次元画像とのマッチング関係を確立することもできる。その後、前記少なくとも一つのサブ空間の投影画像と前記少なくとも一つのサブ空間の二次元画像とのマッチング関係に基づき、対応する前記少なくとも一つのサブ空間のパノラマ画像と前記少なくとも一つのサブ空間の二次元画像とのマッチング関係を取得する。

【0025】

サブ空間のパノラマ画像とサブ空間の二次元画像とのマッチング関係を取得した後、サブ空間のパノラマ画像とサブ空間の二次元画像との間にリンクを構築することで、サブ空間のパノラマ画像とサブ空間の二次元画像との間に関連関係を確立して、ユーザがクリック、タッチなど様々な方法によってサブ空間のパノラマ画像と対応するサブ空間の二次元画像との間のジャンプ表示を実行することができるようにすることが可能である。

【0026】

本実施例において、さらに、三次元空間における少なくとも1つのサブ空間のパノラマ画像、および前記三次元空間の二次元画像を取得した後に、前記方法はさらに、前記少なくとも一つのサブ空間のパノラマ画像にそれぞれ対応する第一ラベル情報を取得するステップと、前記三次元空間における少なくとも1つのサブ空間の二次元画像にそれぞれ対応する第二ラベル情報を取得するステップと、を含むことができる。

【0027】

また、三次元空間における少なくとも1つのサブ空間のパノラマ画像を分類し、且つ分類結果に基づいて少なくとも1つのサブ空間のパノラマ画像にそれぞれ対応する第一ラベル情報を取得することができる。例えば、ディープニューラルネットワークモデルを使用して少なくとも1つのサブ空間のパノラマ画像を分類することができ、ここのディープニューラルネットワークモデルはVGG16ディープネットワークモデルであってもよい。サブ空間が部屋である場合、異なる部屋タイプのパノラマ画像及び部屋タイプラベルを利用して各部屋のパノラマ画像を分類し、且つ分類結果を取得することができる。

【0028】

それに、また、さらに三次元空間における少なくとも1つのサブ空間の二次元画像を分類し、且つ分類結果に基づいて三次元空間における少なくとも1つのサブ空間の二次元画像に対応する第二ラベル情報を取得することができる。例えば、前述した三次元空間における二次元画像の各画素点のセマンティック認識結果と合わせて、少なくとも1つのサブ空間の二次元画像に対応する第二ラベル情報を取得することができる。

【0029】

続いて、上記第一ラベル情報及び第二ラベル情報を取得した後、前記第一ラベル情報及び第二ラベル情報に基づいて、前記少なくとも一つのサブ空間のパノラマ画像と前記少なくとも一つのサブ空間の二次元画像とのマッチング関係を取得することができる。例えば、第一ラベル情報と第二ラベル情報とを比較することによって、あるサブ空間のパノラマ画像と二次元画像とがマッチしているか否かを判断することができる。また、第一ラベル情報と第二ラベル情報とが同じである場合に、あるサブ空間のパノラマ画像とサブ空間の二次元画像とがマッチしている(以下、簡単に粗略マッチングと称する)と認定することができる。また、第一ラベル情報と第二ラベル情報とが類似し、あるいは同じカテゴリに属する時にも、当該サブ空間のパノラマ画像とサブ空間の二次元画像とがマッチしていると認定することができる。上記第一ラベル情報及び第二ラベル情報に対する比較方法は例示に過ぎず、実際の応用において、具体的なシーンに基づいていかなる比較方法を採用することができ、ここでは限定されない。

【0030】

少なくとも1つのサブ空間のパノラマ画像及び前記少なくとも1つのサブ空間の二次元画像に対して粗略マッチングを行った後に、粗略マッチング結果に基づき、ステップS103-S104を実行か否かを判断することができる。例えば、粗略マッチング結果に基づき、特定のサブ空間のパノラマ画像と少なくとも1つのサブ空間の二次元画像との間にマッチング関係の発生ができないことが示されると、当該マッチング関係を生成することができなかった特定のサブ空間のパノラマ画像に対して三次元再構成を行い、かつ対応する投影画像を取得する。その後、マッチング関係を生成できないサブ空間のパノラマ画像の投影画像及び少なくとも1つのサブ空間のパノラマ画像とマッチング関係を生成することができない少なくとも1つのサブ空間の二次元画像に対して、ステップS104を実行することができる。一例示において、特定のサブ空間のパノラマ画像又はその二次元画像にそれぞれ対応する第一ラベル情報と/或いは第二ラベル情報にエラーがある場合は、ラベル情報エラーに起因してマッチングができないサブ空間のパノラマ画像及びサブ空間の二次元画像に対して、ステップS103-S104を実行することが可能である。もうひとつの例示において、第一ラベル情報と第二ラベル情報との間にマッチング関係が確立できるが、第一ラベル情報及び第二ラベル情報のうちの少なくとも一つがサブ空間の複数のパノラマ画像/二次元画像に対応する場合にも、サブ空間のパノラマ画像とサブ空間の二次元画像との間に一対一対応ができないことによってマッチング関係を構築できないことで、続けてステップS103-S104を実行することも可能である。

【0031】

第一ラベル情報及び第二ラベル情報をまず比較するマッチング方法によって、本発明の実施例における後続の三次元再構成及び投影プロセスにおけるリソースの占有を減少させて、画像マッチング時間を節約、画像マッチングの効率を向上させることができる。また、サブ空間のパノラマ画像とサブ空間の二次元画像とが一対一対応できずに、後続のステップS104を実行する場合において、サブ空間の投影画像とサブ空間の二次元画像とのマッチング過程に対して、まず同一、類似または同じカテゴリに属してマッチング関係を構築できる第一ラベル情報と第二ラベル情報にそれぞれ対応するサブ空間の投影画像とサブ空間の二次元画像とを同じグループに分け、かつ演算量をさら減らすように、同一グループにおいて、粗略マッチングにマッチング関係を生じなかったサブ空間に対して投影画像とサブ空間の二次元画像とのマッチング関係を構築することで、画像マッチング効率をさらに向上、画像マッチング精度を改善することができる。

【0032】

本発明の実施例に係る画像マッチング方法に対する上記説明は例示に過ぎない。本発明の具体的な実施過程において、上記画像マッチング方法における各ステップは任意の方法で配列することができ、又はそのうちのいずれか二つ又はそれ以上のステップが同時に行うこともでき、ここでは限定しない。また、本発明の実施例に係る上記のサブ空間のパノラマ画像とサブ空間の二次元画像に対するラベル情報の取得及びマッチング方法は独立して行われることもでき、或いは三次元再構成及び投影によって画像マッチングを行う方法が終了した後に行われてもよい。例えば、本発明の実施例に係る画像マッチング方法は、少なくとも1つのサブ空間で構成される三次元空間から、少なくとも1つのサブ空間のパノラマ画像、及び前記三次元空間の二次元画像を取得し、かつ前記三次元空間が複数のサブ空間で構成される場合は、各サブ空間同士が重ならないことと、前記少なくとも1つのサブ空間のパノラマ画像にそれぞれ対応する第一ラベル情報を取得することと、前記三次元空間における少なくとも1つのサブ空間の二次元画像にそれぞれ対応する第二ラベル情報を取得することと、前記第一ラベル情報及び第二ラベル情報に基づき、前記少なくとも1つのサブ空間のパノラマ画像と前記少なくとも1つのサブ空間の二次元画像とのマッチング関係を取得することと、のみを含むことができる。勿論、上記本発明の実施例の方法ステップに対する全ての変形、修正及び最適化はいずれも本発明の実施例の限定範囲内に含まれる。

【0033】

本発明の実施例に係る上記画像マッチング方法に基づき、三次元空間のサブ空間のパノラマ画像を投影して得た投影画像を、サブ空間の二次元画像とマッチングすることにより、サブ空間のパノラマ画像とサブ空間の二次元画像との間のマッチング関係を取得し、且つそれに基づいて関連関係を構築することができる。このように画像マッチングを自動的に行う方法は画像マッチング精度を保証した上でコストを節約し、画像マッチング効率を効果的に向上させることができる。

【0034】

以下、本発明の実施例に係る画像マッチング方法の一例を示す。本例示において、三次元空間が建物室内空間であって、三次元空間のサブ空間は建物室内空間の各部屋であり、三次元空間の二次元画像が建物の各部屋の二次元間取り図であることができる。

【0035】

当該例示において、まず、三次元空間のうち、少なくとも1つの部屋のパノラマ画像を取得することができる。図2は、三次元空間における複数の部屋にそれぞれ対応するパノラマ画像を示すが。これらのパノラマ画像はパノラマカメラによって各部屋をそれぞれ撮影して取得することができる。図2に示すように、取得された各部屋のパノラマ画像はリビングルーム、台所、トイレ、複数の寝室等の異なる部屋タイプにそれぞれ対応するパノラマ画像を含むことができる。次はさらに、この三次元空間の平面レイアウトを示す二次元間取り図を取得することもできる。図3は、当該三次元空間の二次元間取り図を示し、三次元空間における各部屋の幾何形状、配置状況及び位置関係などを示す。

【0036】

三次元空間の各部屋のパノラマ画像及び三次元空間の二次元間取り図を取得した後、各部屋のパノラマ画像にそれぞれ対応する第一ラベル情報と各部屋の二次元間取り図にそれぞれ対応する第二ラベル情報とをそれぞれ取得することができる。具体的には、各部屋のパノラマ画像を取得した後、VGG16ディープネットワークモデルを利用してこれらのパノラマ画像を分類して、異なる部屋タイプにそれぞれ対応するパノラマ画像を得ることができる。ここでの部屋タイプは各パノラマ画像に対応する第一ラベル情報であってもよい。図4は異なる第一ラベル情報を有する各部屋のパノラマ画像の分類イメージ図である。

【0037】

また、図3に示す二次元間取り図を取得した後、予めトレーニングされたDeepFloorplanディープニューラルネットワークモデルを利用して該二次元間取り図にセマンティック認識を行い、且つ二次元間取り図の各画素点のセマンティック情報を取得することができる。図5は二次元間取り図における各画素点の異なるセマンティックタイプの認識結果を示す図である。図5に示すように、二次元間取り図から各タイプを有する部屋(異なる階調で表示)、壁、ドア、窓のそれぞれのセマンティック情報を認識でき、且つこれらのセマンティック情報に基づいて対応する各画素点を分類して、少なくとも1つの部屋の二次元画像を取得することができる。これをもとに、各部屋の二次元画像に対応する部屋タイプをさらに取得することができる。図6は二次元間取り図を分割して得られた各部屋の二次元画像を示し、かつ各部屋の二次元画像が各自の部屋タイプ、即ち第二ラベル情報、例えばリビングルーム、寝室、ベランダ、トイレ等に対応する。

【0038】

図4に示される各部屋のパノラマ画像及びそれぞれ対応する第一ラベル情報、及び図6に示される各部屋の二次元間取り図及びそれぞれ対応する第二ラベル情報を得た後、各自の第一ラベル情報及び第二ラベル情報に基づいて各部屋のパノラマ画像と各部屋の二次元間取り図とをマッチングさせることができる。また、第一ラベル情報と第二ラベル情報とが同じである場合、すなわちある部屋のパノラマ画像とある部屋の二次元間取り図に対応する部屋タイプとが同じである場合に、該部屋のパノラマ画像と該部屋の二次元間取り図との間にマッチング関係を有すると認定することができる。現在のステップでは、対応する第一ラベル情報と第二ラベル情報とが同一であり且つ1つのみのパノラマ画像及び二次元間取り図のみをマッチングすることができる。例えば、第一ラベル情報と第二ラベル情報とがリビングであり且つ共に一つのみを有する場合のみにおいて、両者にそれぞれ対応するリビングルームのパノラマ画像とリビングルームの二次元間取り図との間にマッチング関係を確立することができる。同様に、この時、トイレ、台所、ベランダ等に対してもマッチングを行うことができるが、図6に示されたように、第二ラベル情報が寝室であり且つ三つを有する場合は、現段階ではマッチングをしなくても良い。

【0039】

第一ラベル情報及び第二ラベル情報によってマッチングを行う上記ステップが終了後、第一ラベル情報及び第二ラベル情報により、少なくとも一つの部屋のパノラマ画像と少なくとも一つの部屋の二次元画像とのマッチング関係を取得できない場合、マッチング関係を生成できない部屋のパノラマ画像に基づいて三次元再構成を行い、且つ対応する投影画像を取得することができる。例えば、部屋タイプ、即ち第一ラベル情報が寝室であるパノラマ画像に対して三次元再構成及びターゲット検出と位置決めを行うことができる。一例示において、図7はマッチングが成功しなかった寝室のパノラマ画像を示す図である。図8は図7に示すパノラマ画像を三次元再構成するイメージ図であって、HorizonNetディープニューラルネットワークモデルによって三次元再構成を行って、寝室中の壁-壁、壁-地面、壁-天井の境界において、例えば白線で示されるエッジ位置を取得することができる。勿論、三次元再構成プロセスでは、寝室を形成するこれらの対象の他の幾何学的空間特徴も得ることができる。また、図9は、図7のパノラマ画像にターゲット検出及び位置決めを行うイメージ図である。ここで、YOLOv3ディープニューラルネットワークモデルによって図7における寝室のパノラマ画像に対してドア窓検出を行うことで、黒枠に示されるドア及び窓の幾何形状と位置を得る。

【0040】

上記三次元再構成とターゲット検出位置決めのステップを完了した後に、得られた結果に基づいて該寝室のパノラマ画像を地面に投影して、図10に示す投影画像を得ることができる。図10によると、当該寝室のパノラマ画像に対応する部屋の幾何形状および寸法が示され、かつ当該寝室中のドアおよび窓の具体的な位置を太い黒い線でさらに示している。

【0041】

最後に、前に得られた各部屋の投影画像及び各部屋の二次元間取り図に基づき、対象、ターゲットのレイアウトの間の比較と/或いは形状認識の方法によって、各部屋の投影画像と各部屋の二次元間取り図との間のマッチング関係を構築し、且つ各部屋のパノラマ画像と各部屋の二次元間取りとの間のマッチング関係をさらに構築することができる。また、この時は各部屋のパノラマ画像と各部屋の二次元間取り図にそれぞれ対応する第一ラベル情報及び第二ラベル情報とを結合して、これらの画像を分類し、且つ分類を元にマッチング関係を構築することができる。例えば、第一ラベル情報及び第二ラベル情報がともに寝室であるパノラマ画像及びともに寝室である二次元間取り図を同じ類に分類し、且つこの類において寝室のパノラマ画像と寝室の二次元間取り図とのマッチングを行うことができる。また、マッチング関係を有する各部屋のパノラマ画像と各部屋の二次元画像との間にリンクを構築することで、ユーザがクリック、タッチなど様々な方法によって各部屋のパノラマ画像と対応する各部屋の二次元画像との間の相互ジャンプ表示を行うことができるようにすることも可能である。

【0042】

以下、図11を参照して本発明の実施例に係る画像マッチング装置について説明する。図11は、本発明の実施例に係る画像マッチング装置1100のブロック図を示す。図11に示すように、画像マッチング装置1100は画像取得ユニット1110、サブ空間取得ユニット1120、再構成ユニット1130およびマッチングユニット1140を含む。これらのユニットのほか、画像マッチング装置1100はさらにほかの部材も含むことができるが、これらの部材は本発明の実施例の内容と関係がないため、ここでその図示および記述を省略する。それに、本発明の実施例に係わる画像マッチング装置1100によって行う下記操作の具体的な細部が上記図1-図10に記載された細部と同じであるため、重複を回避するために、同じ細部に対する重複した記述を省略する。

【0043】

図11に示す画像マッチング装置1100の画像取得ユニット1110は、少なくとも1つのサブ空間で構成される三次元空間から、少なくとも1つのサブ空間のパノラマ画像、及び前記三次元空間の二次元画像を取得し、かつ前記三次元空間が複数のサブ空間で構成される場合は、各サブ空間同士が重ならない。

【0044】

画像取得ユニット1110は、様々な方法で、三次元空間における少なくとも1つのサブ空間のパノラマ画像を取得することができる。例えば、パノラマカメラ(例えば、魚眼カメラ、両眼カメラなど)を用いて、前記少なくとも1つのサブ空間における各サブ空間のパノラマ画像を取得することができる(例えば、正距円筒図法)。また例えば、普通のカメラによって前記少なくとも1つのサブ空間における各サブ空間の複数の透視画像を取得し、且つ該複数の透視画像をつなぎ合わせて、前記サブ空間毎のパノラマ画像をそれぞれ取得することもできる。ここで、前記三次元空間は一つ又は複数のサブ空間で構成されることができ、これらのサブ空間は三次元空間において様々な方法によって分割された空間であってもよく、且つ前記三次元空間が複数のサブ空間で構成される場合、各サブ空間の間に互いに重ならなく、入れ子にならないことができる。例えば、前記三次元空間が建物室内空間である場合、建物室内空間の壁、ドア又は窓等の物体によって建物室内空間を互いに独立した複数の部屋に仕切りして、サブ空間とすることができる。

【0045】

また、画像取得ユニット1110はさらに、三次元空間の二次元画像を取得することもできる。前記三次元空間の二次元画像は、三次元空間の各サブ空間の平面レイアウトを説明するためのものである。例えば、前記三次元空間が建物室内空間である場合、前記二次元画像は建物室内の各部屋の平面レイアウト図、例えば、二次元間取り図を説明することができる。

【0046】

サブ空間取得ユニット1120は前記三次元空間の二次元画像に基づいて、前記三次元空間における少なくとも1つのサブ空間の二次元画像を取得する。

【0047】

サブ空間取得ユニット1120は、三次元空間の二次元画像を分割して、三次元空間中の各サブ空間の二次元画像を得ることができる。一例示において、事前トレーニングされたサブ空間二次元画像認識モデルを使用して、三次元空間の二次元画像の各画素点にセマンティック認識を行って、各画素点のセマンティック情報を得ることができる。その後、上記二次元画像における各画素点のセマンティック情報に基づいて、三次元空間の二次元画像を分割して、各サブ空間の二次元画像を得ることができる。また、画素点セマンティック情報を認識する用のサブ空間二次元画像認識モデルは、ディープニューラルネットワークモデルであってもよい。例えば、前記二次元画像が前記二次元間取り図である場合、DeepFloorplanディープニューラルネットワークモデルによって二次元間取り図に対してセマンティック認識を行うことができ、例えば二次元間取り図の壁、窓、ドア、部屋タイプ(例えば寝室、台所、トイレ)等の各画素点のセマンティック情報を認識することで、これらのセマンティック情報に基づいて二次元間取り図を分割して、各サブ空間(即ち各部屋)の二次元間取り図を得ることができる。分割プロセスにおいて、また、セマンティック情報が同じであることに基づき、セマンティック情報が異なる画素点(例えばセマンティック情報が壁、ドア又は窓の画素点である)に遭遇するまでに画素点(例えばセマンティック情報があるタイプの部屋の画素点である)に対して周囲へ拡張させ、且つ拡張して得た画像をサブ空間の二次元間取り図とすることができる。この例示において、DeepFloorplanディープニューラルネットワークは、二次元間取り図のグラフィックスセットと間取り図セマンティックラベルを使用して事前トレーニングすることができる。

【0048】

再構成ユニット1130は前記少なくとも一つのサブ空間のパノラマ画像に対して三次元再構成を行い、且つ前記少なくとも一つのサブ空間のパノラマ画像にそれぞれ対応する投影画像を取得する。

【0049】

再構成ユニット1130は、前記サブ空間のパノラマ画像に基づいて、前記サブ空間を形成する少なくとも1つの対象の空間特徴を取得し、かつ取得された少なくとも1つの対象の空間特徴に基づき三次元再構成を行うことができる。また、サブ空間を形成する少なくとも1つの対象の空間特徴は、当該対象の幾何形状、空間的位置座標、各対象の間の相対的な幾何関係などを含むことができる。前記少なくとも1つの対象の空間特徴を取得した後、前記サブ空間のパノラマ画像に対して三次元再構成を行うことができる。また、三次元再構成用のモデルは、ディープニューラルネットワークモデルであってもよい。一例示において、三次元空間は建物室内空間である場合、三次元空間のサブ空間が部屋であり、サブ空間を形成する少なくとも1つの対象が該部屋を形成する壁、地面、天井等であることができ、その空間特徴は該部屋を形成する壁、地面、天井の空間位置座標を含むことができ、壁-壁、壁-地面、壁-天井の間に垂直又は平行な幾何関係及び境界におけるエッジ位置等。上記空間特徴を取得した後、該部屋に対して三次元再構成を行って、部屋の三次元再構成モデルを得ることができる。この例示において、HorizonNetディープニューラルネットワークモデルによって三次元再構成を行うことができ、また、部屋のパノラマグラフィックスセットおよび部屋レイアウトラベルを用いて、このディープニューラルネットワークモデルをトレーニングすることができる。

【0050】

次に、三次元再構成の後に、前記サブ空間のパノラマ画像中のターゲットに検出と位置決めを行い、前記サブ空間のパノラマ画像の三次元再構成結果及びパノラマ画像中のターゲットに対する検出と位置決めの結果に基づいて、前記サブ空間が前記三次元空間の二次元画像が所在する平面における投影画像を取得することができる。また、サブ空間のパノラマ画像中のターゲットに対する検出と位置決めの結果は、当該ターゲットの幾何形状、空間位置座標等を含むことができる。上記三次元再構成結果及びターゲットの検出と位置決めの結果を取得した後、サブ空間のパノラマ画像の三次元再構成モデルを投影することができ、その投影平面は三次元空間の二次元画像が所在する平面、又はこの平面に平行な平面であることができる。そして、投影画像において、検出されたターゲットが投影画像における形状、位置などの情報を表示することもできる。また、ターゲット検出用のモデルは、ディープニューラルネットワークモデルであってもよい。一例示において、三次元空間は建物室内空間である場合、三次元空間のサブ空間が部屋であり、サブ空間のパノラマ画像中のターゲットが該部屋内のドア、窓、タンス等の物体であることで、部屋中のドア、窓、タンス等の物体に対する検出に基づき、これらのターゲットの幾何形状、空間位置座標等の検出及び位置決め結果を得ることができる。上記結果を取得した後、当該部屋のパノラマ画像の三次元再構成モデルを、例えば地面上に投影して、部屋の投影画像を取得、かつ当該部屋のドア、窓、タンスなどの物体の位置を投影画像に表示することができ。この例示において、YOLOv3ディープニューラルネットワークモデルによってターゲット検出を行うことができ、また、部屋のパノラマグラフィックスセットおよび部屋ターゲット検出ラベルを用いて、このディープニューラルネットワークモデルをトレーニングすることができる。

【0051】

マッチングユニット1140は前記少なくとも一つのサブ空間の投影画像及び前記少なくとも一つのサブ空間の二次元画像に基づいて、前記少なくとも一つのサブ空間のパノラマ画像及び前記少なくとも一つのサブ空間の二次元画像のマッチング関係を取得し、且つマッチング関係が生じたサブ空間のパノラマ画像とサブ空間の二次元画像との間に関連関係を確立する。

【0052】

また、マッチングユニット1140は、前記少なくとも1つのサブ空間の投影画像及び前記少なくとも1つのサブ空間の二次元画像における対象と/或いはターゲットのレイアウトに基づいて、前記少なくとも1つのサブ空間の投影画像と前記少なくとも1つのサブ空間の二次元画像とのマッチング関係を取得してもよい。その後、前記少なくとも一つのサブ空間の投影画像と前記少なくとも一つのサブ空間の二次元画像とのマッチング関係に基づき、対応する前記少なくとも一つのサブ空間のパノラマ画像と前記少なくとも一つのサブ空間の二次元画像とのマッチング関係を取得する。例えば、サブ空間が部屋である場合、部屋中の壁、地面、天井等に基づいて該部屋の対象の形状、数、位置、幾何関係等各要素を形成することで、サブ空間のパノラマ画像と二次元画像とのマッチング関係を判断することができる。さらに例えば、部屋中のドア、窓、タンス等のターゲットの形状、数、位置、幾何関係等に基づいてサブ空間のパノラマ画像と二次元画像とのマッチング関係を判断することもできる。

【0053】

また、マッチングユニット1140はさらに前記少なくとも一つのサブ空間の投影画像と前記少なくとも一つのサブ空間の二次元画像とを形状マッチングして、マッチング結果に基づいて前記少なくとも一つのサブ空間の投影画像と前記少なくとも一つのサブ空間の二次元画像とのマッチング関係を確立することもできる。その後、前記少なくとも一つのサブ空間の投影画像と前記少なくとも一つのサブ空間の二次元画像とのマッチング関係に基づき、対応する前記少なくとも一つのサブ空間のパノラマ画像と前記少なくとも一つのサブ空間の二次元画像とのマッチング関係を取得する。

【0054】

サブ空間のパノラマ画像とサブ空間の二次元画像とのマッチング関係を取得した後、マッチングユニット1140は、サブ空間のパノラマ画像とサブ空間の二次元画像との間にリンクを構築することで、サブ空間のパノラマ画像とサブ空間の二次元画像との間に関連関係を確立して、ユーザがクリック、タッチなど様々な方法によってサブ空間のパノラマ画像と対応するサブ空間の二次元画像との間のジャンプ表示を実行することができるようにすることが可能である。

【0055】

本実施例において、さらに、三次元空間における少なくとも1つのサブ空間のパノラマ画像、および前記三次元空間の二次元画像を取得した後に、前記装置はさらに、前記少なくとも一つのサブ空間のパノラマ画像にそれぞれ対応する第一ラベル情報を取得するように配置される粗略マッチングユニット(図示せず)を含むこともでき、前記三次元空間における少なくとも1つのサブ空間の二次元画像にそれぞれ対応する第二ラベル情報を取得する。

【0056】

また、粗略マッチングユニットは三次元空間における少なくとも1つのサブ空間のパノラマ画像を分類し、且つ分類結果に基づいて少なくとも1つのサブ空間のパノラマ画像にそれぞれ対応する第一ラベル情報を取得することができる。例えば、ディープニューラルネットワークモデルを使用して少なくとも1つのサブ空間のパノラマ画像を分類することができ、ここのディープニューラルネットワークモデルはVGG16ディープネットワークモデルであってもよい。サブ空間が部屋である場合、異なる部屋タイプのパノラマ画像及び部屋タイプラベルを利用して各部屋のパノラマ画像を分類し、且つ分類結果を取得することができる。

【0057】

それに、また、粗略マッチングユニットはさらに三次元空間における少なくとも1つのサブ空間の二次元画像を分類し、且つ分類結果に基づいて三次元空間における少なくとも1つのサブ空間の二次元画像に対応する第二ラベル情報を取得することができる。例えば、前述した三次元空間における二次元画像の各画素点のセマンティック認識結果と合わせて、少なくとも1つのサブ空間の二次元画像に対応する第二ラベル情報を取得することができる。

【0058】

続いて、上記第一ラベル情報及び第二ラベル情報を取得した後、粗略マッチングユニットは前記第一ラベル情報及び第二ラベル情報に基づいて、前記少なくとも一つのサブ空間のパノラマ画像と前記少なくとも一つのサブ空間の二次元画像とのマッチング関係を取得することができる。例えば、第一ラベル情報と第二ラベル情報とを比較することによって、あるサブ空間のパノラマ画像と二次元画像とがマッチしているか否かを判断することができる。また、第一ラベル情報と第二ラベル情報とが同じである場合に、あるサブ空間のパノラマ画像とサブ空間の二次元画像とがマッチしている(以下、簡単に粗略マッチングと称する)と認定することができる。また、第一ラベル情報と第二ラベル情報とが類似し、あるいは同じカテゴリに属する時にも、当該サブ空間のパノラマ画像とサブ空間の二次元画像とがマッチしていると認定することができる。上記第一ラベル情報及び第二ラベル情報に対する比較方法は例示に過ぎず、実際の応用において、具体的なシーンに基づいていかなる比較方法を採用することができ、ここでは限定されない。

【0059】

粗略マッチングユニットは少なくとも1つのサブ空間のパノラマ画像及び前記少なくとも1つのサブ空間の二次元画像に対して粗略マッチングを行った後に、粗略マッチング結果に基づき、再構成ユニット及びマッチングユニットに入って更なるマッチングを行うか否かを判断することができる。例えば、粗略マッチング結果に基づき、特定のサブ空間のパノラマ画像と少なくとも1つのサブ空間の二次元画像との間にマッチング関係の発生ができないことが示されると、当該マッチング関係を生成することができなかった特定のサブ空間のパノラマ画像に対して三次元再構成を行い、かつ対応する投影画像を取得する。その後、マッチング関係を生成できないサブ空間のパノラマ画像の投影画像及び少なくとも1つのサブ空間のパノラマ画像とマッチング関係を生成することができない少なくとも1つのサブ空間の二次元画像を、再構成ユニット及びマッチングユニットに入ってさらなるマッチングを行なわせることができる。一例示において、特定のサブ空間のパノラマ画像又はその二次元画像にそれぞれ対応する第一ラベル情報と/或いは第二ラベル情報にエラーがある場合は、ラベル情報エラーに起因してマッチングができないサブ空間のパノラマ画像及びサブ空間の二次元画像を再構成ユニット及びマッチングユニットに入ってさらなるマッチングを行なわせることが可能である。もうひとつの例示において、第一ラベル情報と第二ラベル情報との間にマッチング関係が確立できるが、第一ラベル情報及び第二ラベル情報のうちの少なくとも一つがサブ空間の複数のパノラマ画像/二次元画像に対応する場合にも、サブ空間のパノラマ画像とサブ空間の二次元画像との間に一対一対応ができないことによってマッチング関係を構築できないことで、続けて再構成ユニット及びマッチングユニットに入ってさらなるマッチングを行うことも可能である。

【0060】

第一ラベル情報及び第二ラベル情報をまず比較する操作によって、本発明の実施例における後続の三次元再構成及び投影プロセスにおけるリソースの占有を減少して、画像マッチング時間を節約、画像マッチングの効率を向上させることができる。また、サブ空間のパノラマ画像とサブ空間の二次元画像とが一対一対応できずに、再構成ユニットとマッチングユニットとをさらにマッチさせる場合において、サブ空間の投影画像とサブ空間の二次元画像とのマッチング過程に対して、まず同一、類似または同じカテゴリに属してマッチング関係を構築できる第一ラベル情報と第二ラベル情報にそれぞれ対応するサブ空間の投影画像とサブ空間の二次元画像とを同じグループに分け、かつ演算量をさら減らすように、同一グループにおいて、粗略マッチングにマッチング関係を生じなかったサブ空間に対して投影画像とサブ空間の二次元画像とのマッチング関係を構築することで、画像マッチング効率をさらに向上、画像マッチング精度を改善することができる。

【0061】

本発明の実施例に係る画像マッチング装置に対する上記説明は例示に過ぎない。本発明の具体的な実施過程において、上記画像マッチング装置における各ユニットは任意の方法で配列することができ、又はそのうちのいずれか二つ又はそれ以上のユニットが並列して行うこともでき、ここでは限定しない。また、本発明の実施例に係る上記のサブ空間のパノラマ画像とサブ空間の二次元画像に対するラベル情報の取得及びマッチングの粗略マッチングユニットは独立して行われることもでき、或いは再構成ユニットとマッチングユニットに入って三次元再構成及び投影によって画像マッチングを行った後に行われてもよい。例えば、本発明の実施例の画像マッチング装置は粗略マッチングユニットのみを含んで、少なくとも1つのサブ空間で構成される三次元空間から、少なくとも1つのサブ空間のパノラマ画像、及び前記三次元空間の二次元画像を取得し、かつ前記三次元空間が複数のサブ空間で構成される場合は、各サブ空間同士が重ならないことと、前記少なくとも1つのサブ空間のパノラマ画像にそれぞれ対応する第一ラベル情報を取得することと、前記三次元空間における少なくとも1つのサブ空間の二次元画像にそれぞれ対応する第二ラベル情報を取得することと、前記第一ラベル情報及び第二ラベル情報に基づき、前記少なくとも1つのサブ空間のパノラマ画像と前記少なくとも1つのサブ空間の二次元画像とのマッチング関係を取得することと、を含むように配置されることができる。勿論、上記本発明の実施例の装置に対する全ての変形、修正及び最適化はいずれも本発明の実施例の限定範囲内に含まれる。

【0062】

本発明の実施例に係る上記画像マッチング装置に基づき、三次元空間のサブ空間のパノラマ画像を投影して得た投影画像を、サブ空間の二次元画像とマッチングすることにより、サブ空間のパノラマ画像とサブ空間の二次元画像との間のマッチング関係を取得し、且つそれに基づいて関連関係を構築することができる。このように画像マッチングを自動的に行う装置は画像マッチング精度を保証した上でコストを節約し、画像マッチング効率を効果的に向上させることができる。

【0063】

以下、図12を参照して本発明の実施例に係る画像マッチング装置について説明する。図12は、本発明の実施例に係る画像マッチング装置1200のブロック図を示す。図12に示すように、当該装置1200はコンピュータまたはサーバであることが可能である。

【0064】

図12に示すように、画像マッチング装置1200は、1つまたは複数のプロセッサー1210とメモリ1220とを備えているが、これらに加えて、画像マッチング装置1200は、バスシステムおよび/または他の形式の接続機構を介して相互接続することができる入力装置、出力装置(図示せず)などを含むことができる。なお、図12に示した画像マッチング装置1200のコンポーネントや構成は例示的のみであって、制限されるものではなく、必要に応じて、画像マッチング装置1200は他のコンポーネントや構成を有することもできる。

【0065】

プロセッサー1210は中央プロセスユニット（CPU）またはデータ処理能力と/またはコマンド執行能力を有するほかの形式のプロセスユニットであってもよく、かつメモリ1220内に記憶されたコンピュータプログラムコマンドを用いて所望の機能を実行できるが、少なくとも1つのサブ空間で構成される三次元空間から、少なくとも1つのサブ空間のパノラマ画像、及び前記三次元空間の画像を取得し、かつ前記三次元空間が複数のサブ空間で構成される場合は、各サブ空間同士が重ならないことと、前記三次元空間の二次元画像に基づいて、前記三次元空間における少なくとも1つのサブ空間の二次元画像を取得することと、前記少なくとも一つのサブ空間のパノラマ画像に対して三次元再構成を行い、且つ前記少なくとも一つのサブ空間のパノラマ画像にそれぞれ対応する投影画像を取得することと、前記少なくとも一つのサブ空間の投影画像及び前記少なくとも一つのサブ空間の二次元画像に基づいて、前記少なくとも一つのサブ空間のパノラマ画像及び前記少なくとも一つのサブ空間の二次元画像のマッチング関係を取得し、且つマッチング関係が生じたサブ空間のパノラマ画像とサブ空間の二次元画像との間に関連関係を確立することと、を含む。

【0066】

メモリ1220は、1つまたは複数のコンピュータプログラムプロダクトを含むことができ、前記コンピュータプログラムプロダクトは、例えば、揮発性メモリおよび/または不揮発性メモリのような各種形式のコンピュータ読み出し可能な記録媒体を含むことができる。前記コンピュータ読み出し可能な記録媒体において一つまたは複数のコンピュータプログラムコマンドをメモリでき、プロセッサー1210は前記プログラムコマンドを実行することで、上記本発明の実施例の画像マッチング装置の機能及び／又ほかの所望の機能、かつ／または、本発明の実施例の画像マッチング方法を実行できる。前記コンピュータ読み出し可能な記録媒体において各種アプリケーションプログラムと各種データを格納することも可能である。

【0067】

以下、本発明の実施例に係りコンピュータプログラムが格納されるコンピュータ読み取り可能な記憶媒体を説明して、前記コンピュータプログラムはプロセッサーによって、三次元空間から少なくとも1つのサブ空間のパノラマ画像、及び前記三次元空間の画像を取得することと、少なくとも1つのサブ空間で構成される前記三次元空間の二次元画像に基づいて、前記三次元空間における少なくとも1つのサブ空間の二次元画像を取得し、かつ前記三次元空間が複数のサブ空間で構成される場合は、各サブ空間同士が重ならないことと、前記少なくとも一つのサブ空間のパノラマ画像に対して三次元再構成を行い、且つ前記少なくとも一つのサブ空間のパノラマ画像にそれぞれ対応する投影画像を取得することと、前記少なくとも一つのサブ空間の投影画像及び前記少なくとも一つのサブ空間の二次元画像に基づいて、前記少なくとも一つのサブ空間のパノラマ画像及び前記少なくとも一つのサブ空間の二次元画像のマッチング関係を取得し、且つマッチング関係が生じたサブ空間のパノラマ画像とサブ空間の二次元画像との間に関連関係を確立することと、を実現できる。

【0068】

勿論、上記具体的な実施例は例示のみであり、制限されたものではなく、かつ、当業者は本発明の思想に基づき上記分けて記述された各実施例から一部のステップと装置を合併および組み合わせて本発明の効果を実施できる。この種の合併と組合せによる実施例も本発明に含まれ、ここでは一々記述しない。

【0069】

本発明に言及された優位点、メリット、効果などは例示的なもののみで、制限されたものではなく、これらの優位点、メリット、効果は本発明の各実施例に必須であることではない。また、上記より公開発明された具体的な細部は例示の作用と理解しやすいためのみであり、制限されたものではない。上記の細部は以下を制限するものではない。つまり、本発明を実現するために、上記の具体的な細部を用いることは必須である。

【0070】

本発明に係る部材、装置、設備、システムのブロック図は例示的なものに過ぎなく、かつ必ずブロック図に示す方法で接続、レイアウト、配置するように要求または示唆しない。当業者に自明のように、任意の方法でこれらの部材、装置、設備、システムを接続、レイアウト、配置することが可能である。「包括」、「含む」、「具有」などの字句は開放的な単語であり、「含むが限定されない」を指し、かつ交換して使用することが可能である。ここで使用した単語の「或いは」と「と」は単語の「と/或いは」を指し、前後文に明確指示されないかぎり、交換して使用することが可能である。ここで使用した単語の「例えば」は、「例えが限定されない」を指し、かつ交換して使用することが可能である。

【0071】

本発明におけるステップフローチャートおよび上記説明は例示的なものに過ぎなく、かつ必ず示された順番で各実施例のステップを行うように要求または示唆を意図しない。当業者に認知されたように、上記実施例内のステップの順番を任意の順序で行うことが可能である。「その後」、「以後」、「その次」などの単語はステップの順序を意図的に限定するものではない。これらの単語は読者にこれらの方法の説明を読むことにガイドさせるもののみである。それに、「一個」、「一」または「当該」を用いて単数の要素に対するいかなる引用は当該要素を単数に制限するものではない。

【0072】

また、本明細書の各実施例におけるステップと装置はある実施例での実行に限られず、実際では、本発明の思想に基づき本明細書の各実施例の関係する一部のステップと装置と結合して新しい実施例を構築することができ、そして、これらの新しい実施例も本発明の範囲内に含まれる。

【0073】

上記記述された方法における各操作は対応する機能を実行できるいかなる適切な手段によって実施することが可能である。当該手段は各種のハードウェアと/或いはソフトウェアコンポーネントと/或いはモジュールを含み、回路、特定用途向け集積回路（ASIC）またはプロセッサーを含むが、限られるではない。

【0074】

ここで記述された機能を行うために設計された汎用プロセッサー、デジタル信号プロセッサー（DSP）、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）或いはほかのプログラマブル論理デバイス（PLD）、離散ゲートまたはトランジスタ論理、離散ハードウェアコンポーネント、または、それらの任意の組み合わせを用いて、各例示の論理ブロック、モジュール、回路などを実施または述べることができる。汎用プロセッサーはマイクロプロセッサーでもよいが、代替としては、当該プロセッサーがいかなるビジネスにおいて取得できるプロセッサー、コントローラ、マイクロコントローラまたは状態機械でもよい。プロセッサーはさらに計算装置の組合せとして実施できる。例えば、DSPとマイクロプロセッサーとの組合せ、複数のマイクロプロセッサー、DSPコアーと提携するひとつまたは複数のマイクロプロセッサー或いはいかなるこのようなほかの配置でも良い。

【0075】

本発明に記述された方法またはアルゴリズムを結合したステップは直接的にハードウェアに、プロセッサーにより実行されるソフトウェアモジュールまたはこの二種の組合せに嵌め込むことが可能である。ソフトウェアモジュールはいかなう形式の有形記録媒体に格納することができる。使用可能な記録媒体は、例えば、ランダムアクセスメモリ（RAM）、読み出し専用メモリ（ROM）、快速フラッシュメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、移動可能なディスク、CD-ROMなどを含む。記録媒体は、プロセッサーが当該記録媒体から情報と読み取り、および当該記録媒体に情報を記入するように、プロセッサーにカップリングされる。代替形態では、記録媒体がプロセッサーと一体になる。ソフトウェアモジュールはシングルコマンドまたは多数コマンドでもよく、かついくつかの異なるコード
セグメント上、異なるプログラムの間および複数の記録媒体を跨って分布することが可能である。

【0076】

ここで発明された方法は述べた方法を実現するためのひとつまたは複数の動作を含む。方法と/或いは動作は請求項から離脱せずに互いに互換できる。言い換えれば、動作の具体的な順序を指定した場合を除き、請求項から離脱せずに具体的な動作の順序と/或いは実行を変更することが可能である。

【0077】

前記機能はハードウェア、ソフトウェア、ファームウェアまたはその任意の組合せによって実施できる。ソフトウェアによって実施する場合、機能はひとつ或いは複数のコマンドとしてコンピュータの読取り可能媒体に格納できる。記録媒体はコンピュータにアクセスされることのできるいかなる使用可能な媒体でも良い。以下の例は制限されたものではない。このようなコンピュータ読取り可能媒体はＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭまたはほかの光ディスク格納、磁気ディスク格納またはほかの磁気メモリあるいはコマンドまたはデータ構造形式の所望のプログラムコードを携帯または格納し、かつコンピュータにアクセスできるいかならほかの確実な媒体を含むことができる。ここで使用されたディスク（disc）は、コンパクトディスク（CD）、レーザーディスク(登録商標)、光ディスク、デジタル汎用ディスク（DVD）、ソフト磁気ディスクとブルーレイディスクを含む。

【0078】

このため、コンピュータプログラムプロダクトはここで記述された操作を実行できる。例えば、このようなコンピュータプログラムプロダクトはその上に有形に格納（と/或いはエンコード）されるコマンドを有するコンピュータに読み取り可能な有形媒体であり、当該コマンドはここで記述された操作を行うようにひとつまたは複数のプロセッサーによって実行される。コンピュータプログラムプロダクトはパッケージ材を含むことが可能である。

【0079】

ソフトウェアまたはコマンドは伝送媒体によって伝送されることも可能である。例えば、同軸ケーブル、光ファイバー、ツイストペアケーブル、デジタル加入者線（ＤＳＬ）または赤外、無線あるいはマイクロ波の無線技術の伝送媒体によってウェブサイト、サーバまたはほかのリモートソースからソフトウェアを伝送することが可能である。

【0080】

この他、ここで記述された方法と技術を行うためのモジュールと/或いはほかの適切な手段は適切なときに、ユーザ端末と/或いはベースステーションによりダウンロードと/或いはほかの方法で得ることが可能である。例えば、このようなデバイスはサーバにカップリングすることで記述された方法を行うための手段の伝送を促す。または、ここで記述された各種方法はユーザ端末と/或いはベースステーションが当該デバイスにカップリングされ、または当該デバイスに記憶部材を提供する時に各種方法を取得するように、記憶部材（例えば、ＲＡＭ、ＲＯＭ、ＣＤ或いはソフト磁気ディスクなどの物理記録媒体）により提供されることが可能である。この他、ここで記述された方法と技術をデバイスに提供するためのいかなるほかの適切な技術を利用することも可能である。

【0081】

ほかの例と実施方法は本発明と請求項および主旨内にある。例えば、ソフトウェアの性質により、以上記述された機能はプロセッサー、ハードウェア、ファームウェア、ハード・ワイヤードまたはこれらの任意の組合せによって実行されるソフトウェアを用いて実施できる。機能を実施する特徴も物理的に各位置に配置することが可能で、機能の部分が異なる物理的な位置において実施されるように分配されることも含む。しかも、ここで使用され、かつ請求項に使用されるのを含み、「少なくともひとつ」をはじめとした列挙に使われた「或いは」は分離の列挙を意味する。即ち、「Ａ、Ｂ或いはＣの少なくともひとつ」のような列挙はＡ或いはＢ或いはＣ、またはＡＢ或いはＡＣ或いはＢＣ、またはＡＢＣ（即ちＡとＢとＣ）を意味する。それに、「例示的」の用語は記述された例が最適またはほかの例よりも良いことを意味していない。

【0082】

請求項に教示された技術を離脱せずに、ここで記述された技術を各種変更、取替えおよび修正を行うことができる。それに、本発明の請求項は上記の処理、機器、製造、イベントの構成、手段、方法および動作の具体的な内容に限られない。ここで記述された内容とほご同じ機能を実行またはほぼ同じ結果を実施して既存または開発される処理、機器、製造、イベントの構成、手段、方法または動作を利用することができる。したがって、請求項はその範囲内にあるこのような処理、機器、製造、イベントの構成、手段、方法または動作を含む。

【0083】

提供された上記の発明内容は当業者に本発明を作成または使用させることができる。これらの方案の各種の補正は当業者にとって自明であり、かつここで定義した一般原理は本発明の範囲を逸脱せずにほかに応用されることも可能である。したがって、本発明はここで示した方案に限定されることが望ましくなく、ここで発明された原理と新規の特徴と一致する最も広い範囲に従うものである。

【0084】

上記の記述は例示および記述のためになされたものである。そして、この記述は本発明の実施例をここで発明された形式に制限することが望ましくない。上記、複数の例示と実施例を検討したが、当業者にとって、それのある変形、補正、修正、追加とサブ組合せのことが自明である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】