特開 2024-127872 画像処理方法、装置およびコンピュータ読み取り可能記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024127872

(43)【公開日】2024-09-20

(54)【発明の名称】画像処理方法、装置およびコンピュータ読み取り可能記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240912BHJP

   G06T 19/00 20110101ALI20240912BHJP

   G06F 3/04815 20220101ALI20240912BHJP

【ＦＩ】

G06T7/00 350C

G06T19/00 600

G06F3/04815

【審査請求】有

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2024035397

(22)【出願日】2024-03-07

(31)【優先権主張番号】202310257616.6

(32)【優先日】2023-03-09

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】ホォン イ

(72)【発明者】

【氏名】ジィア ハイジン

(72)【発明者】

【氏名】ホンジ ジャン

(72)【発明者】

【氏名】リイェヌ リィウ

(72)【発明者】

【氏名】ウエイタオ ゴォン

【テーマコード（参考）】

5B050

5E555

5L096

【Ｆターム（参考）】

5B050AA03

5B050BA06

5B050BA11

5B050BA13

5B050BA17

5B050CA00

5B050DA04

5B050EA19

5B050FA02

5B050FA05

5E555AA26

5E555BA02

5E555BB02

5E555BC08

5E555BE17

5E555DB51

5E555DB53

5E555DC43

5E555EA19

5E555FA00

5L096AA06

5L096CA02

5L096DA01

5L096DA02

5L096FA19

5L096FA66

5L096FA69

5L096HA11

5L096KA04

(57)【要約】

【課題】本発明は、パノラマ画像を処理する画像処理方法を提供する。
【解決手段】かかる方法は、部屋に関するパノラマ画像を取得し；前記パノラマ画像に対してドア検出を行うことにより、前記部屋中の少なくとも一つのドアに関する第１の情報を特定し；及び、前記第１の情報に基づいて、前記パノラマ画像において、前記少なくとも一つのドアについて、ドア毎に少なくともドア輪郭、ドアタイプ及び開け方を示すパノラマ標識を表示することを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

コンピュータが実行する画像処理方法であって、
部屋に関するパノラマ画像を取得し；
前記パノラマ画像に対してドア検出を行うことにより、前記部屋中の少なくとも一つのドアに関する第１の情報を特定し；及び
前記第１の情報に基づいて、前記パノラマ画像において、前記少なくとも一つのドアについて、ドア毎に少なくともドア輪郭、ドアタイプ及び開け方を示すパノラマ標識を表示する、
ことを含む画像処理方法。

【請求項2】

前記パノラマ画像に対して構造検出を行うことにより、前記部屋の構造面に関する第２の情報を特定し；
前記第２の情報に基づいて、前記部屋の二次元平面図を生成し；及び
前記第１の情報と前記第２の情報に基づいて、前記二次元平面図において、前記少なくとも一つのドアについて、ドア毎に少なくとも二次元ドア表示、ドアタイプ及び開け方を示す平面標識を表示する、
ことをさらに含む請求項１に記載の画像処理方法。

【請求項3】

前記部屋の二次元平面図を生成することは、
前記第２の情報に基づいて、三次元空間座標系において前記部屋の三次元表示を生成し；及び
前記三次元表示を二次元平面座標系に変換して、前記部屋の二次元平面図を生成する、
ことを含む請求項２に記載の画像処理方法。

【請求項4】

前記二次元平面図において、前記少なくとも一つのドアについて、ドア毎に平面標識を表示することは、
前記第１の情報と前記第２の情報に基づいて、前記ドア毎に、二次元ドア表示を前記部屋の二次元平面図において相応する構造面に対応する辺に垂直に投影して、代替二次元表示を生成し；及び
前記代替二次元表示を二次元ドア表示として、前記ドア毎に前記二次元平面図に表示する、
ことを含む請求項３に記載の画像処理方法。

【請求項5】

前記パノラマ画像において、前記少なくとも１つのドアについて、ドア毎にパノラマ標識または平面標識を表示する前に、
前記第１の情報と前記第２の情報に基づいて、前記少なくとも一つのドアのそれぞれの代表点から相応する構造面までの距離を特定し；及び
前記少なくとも一つのドアから前記距離がしきい値範囲に合致しないドアを取り除く、
ことを更に含む請求項２に記載の画像処理方法。

【請求項6】

前記少なくとも１つのドアのそれぞれのパノラマ標識または平面標識は前記ドアの両側の部屋のタイプをさらに示す、
請求項１に記載の画像処理方法。

【請求項7】

前記ドア検出と前記構造検出はディープラーニングに基づくニューラルネットワークを用いて行われる、
請求項２に記載の画像処理方法。

【請求項8】

請求項７に記載のディープラーニングに基づくニューラルネットワークのトレーニングに用いるニューラルネットワークトレーニング方法であって、
前記パノラマ画像に対して空間変換を行うことにより、前記パノラマ画像と異なる視点を有する複数のサンプルパノラマ画像を生成し；及び
前記複数のサンプルパノラマ画像を使用して前記ニューラルネットワークをトレーニングする、
ことを含むニューラルネットワークトレーニング方法。

【請求項9】

建物中の所定の部屋に関する複数のパノラマ画像を取得し；
前記複数のパノラマ画像に対して、パノラマ画像毎にドア検出を行うことにより、前記所定の部屋における少なくとも一つのドアに関する第１の情報を特定し；
前記複数のパノラマ画像に対して、パノラマ画像毎に構造検出を行うことにより、前記所定の部屋の構造面に関連する第２の情報を特定し；
前記第１の情報と前記第２の情報に基づいて、所定の部屋中の前記少なくとも一つのドアのドア表示、ドアタイプ、開け方及び前記ドアの両側の部屋のタイプ中の少なくとも一つを示す標識を含み、前記建物中の部屋に関する複数の部屋平面図を生成し；及び
前記複数の部屋平面図のそれぞれに基づいて、複数の部屋間のドアに対してマッチングを行い、マッチングドア候補を決定する、
ことを含む画像処理方法。

【請求項10】

前記マッチングドア候補に基づいて、前記複数の部屋平面図を繋ぎ合わせて、前記建物の建築平面図を生成する、
ことをさらに含む請求項９に記載の画像処理方法。

【請求項11】

部屋に関するパノラマ画像を取得する取得手段；
前記パノラマ画像に対してドア検出を行うことにより、前記部屋中の少なくとも一つのドアに関する第１の情報を特定する検出手段；及び
前記第１の情報に基づいて、前記パノラマ画像において、前記少なくとも一つのドアについて、ドア毎に少なくともドアの輪郭、ドアのタイプ及び開け方を示すパノラマ標識を表示する表示手段、
を含む画像処理装置。

【請求項12】

プロセッサと、コンピュータプログラムが記憶されているメモリとを備え、
前記コンピュータプログラムが前記プロセッサに実行されることにより、
部屋に関するパノラマ画像を取得し；
前記パノラマ画像に対してドア検出を行うことにより、前記部屋中の少なくとも一つのドアに関する第１の情報を特定し；及び
前記第１の情報に基づいて、前記パノラマ画像において、前記少なくとも一つのドアについて、ドア毎に少なくともドア輪郭、ドアタイプ及び開け方を示すパノラマ標識を表示する、
スッテプが実現される画像処理装置。

【請求項13】

コンピュータ読み取り可能な記憶媒体であって、
コンピュータプログラムが記憶されており、前記コンピュータプログラムが実行されることにより、
部屋に関するパノラマ画像を取得し；
前記パノラマ画像に対してドア検出を行うことにより、前記部屋中の少なくとも一つのドアに関する第１の情報を特定し；及び
前記第１の情報に基づいて、前記パノラマ画像において、前記少なくとも一つのドアについて、ドア毎に少なくともドア輪郭、ドアタイプ及び開け方を示すパノラマ標識を表示する、
ステップが実現される記憶媒体。

【請求項14】

コンピュータに、請求項１乃至７のうちの何れか１項に記載の画像処理方法、或いは、請求項８に記載のニューラルネットワークトレーニング方法、或いは、請求項９又は１０に記載の画像処理方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理分野に関し、特にパノラマ画像を処理する画像処理方法、装置およびコンピュータ読み取り可能な記憶媒体に関する。更に具体的には、本発明にかかる画像処理方法は、パノラマ画像にドアに関する標識の表示と複数の部屋の間にマッチングドア候補を特定する方法、及びディープランニングに基づくニューラルネットワークを訓練するサンプルを生成する方法に関する。

【背景技術】

【0002】

バーチャルローミングはバーチャルリアリティー（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、 ＶＲ）の技術一つ重要な部分であり、建築、旅行、ゲーム、航空宇宙、医学などの多数の業界に及ぶ。バーチャルシーン構築技術とバーチャルローミング技術の組み合わせにより、ユーザは、建物、都市またはゲームシーンなどの三次元シーンで自律的にローミングし、シーンに直観的に感じられる。また、近年、オンライン不動産やデジタルインテリア・デザインなどの事業が大きく成長し、バーチャルローミング技術が関連分野で広く利用されるようになった。この技術を利用することにより、建物や部屋のバーチャルナビゲーションが可能になり、更に、顧客がオンラインで建物全体や特定の室内空間を簡単に閲覧できるように、相応の間取り図を生成することもできる。

【0003】

しかしながら、既存のバーチャルローミングを利用して顧客に提供される情報は依然として限られており、場合によっては不正確である可能性があるため、顧客は実地調査を必要とすることが多く、平面図の生成にも悪影響を与える。

【0004】

そのため、パノラマ画像を処理する画像処理方法および装置を改善する必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、上記事情を鑑みて、従来技術中の少なくとも上記問題を解決または改善するために、以下の画像処理方法、装置とコンピュータ読み取り可能な記憶媒体を提供する。

【課題を解決するための手段】

【0006】

本発明の一つの側面は、部屋に関するパノラマ画像を取得し；パノラマ画像に対してドア検出を行うことにより、部屋中の少なくとも一つのドアに関する第１の情報を特定し；第１の情報に基づいて、パノラマ画像において、少なくとも一つのドアについて、ドア毎にドア輪郭、ドアタイプ及び開け方を少なくとも示すパノラマ標識を表示する、ことを含む画像処理方法を提供する。

【0007】

本発明の実施例によれば、パノラマ画像に対して構造検出を行うことにより、部屋の構造面に関する第２の情報を特定し；第２の情報に基づいて、部屋の二次元平面図を生成し；第１の情報と第２の情報に基づいて、二次元平面図において、少なくとも一つのドアについて、ドア毎に二次元ドア表示、ドアタイプ及び開け方を少なくとも示す平面標識を表示する、ことをさらに含む。

【0008】

本発明の実施例によれば、二次元平面図を生成することは、第２の情報に基づいて、三次元空間座標系において部屋の三次元表示を生成し；三次元表示を二次元平面座標系に変換して、部屋の二次元平面図を生成する、ことを含む。

【0009】

本発明の実施例によれば、二次元平面図において、少なくとも一つのドアについて、ドア毎に平面標識を示すことは、第１の情報と第２の情報に基づいて、ドア毎に、二次元ドア表示を部屋の二次元平面図において相応の構造面に対応する辺に垂直に投影して、代替二次元表示を生成し；代替二次元表示を二次元ドア表示として、ドア毎に二次元平面図に表示する、ことを含む。

【0010】

本発明の実施例によれば、パノラマ画像において少なくとも１つのドアについて、ドア毎にパノラマ標識または平面標識を表示する前に、第１の情報と第２の情報に基づいて、少なくとも一つのドアのそれぞれの代表点と相応構造面との距離を特定し；少なくとも一つのドアから距離がしきい値範囲に合致しないドアを除去する、ことを更に含む
本発明の実施例によれば、少なくとも１つのドアのそれぞれのパノラマ標識または平面標識は前記ドアの両側の部屋のタイプをさらに示す。

【0011】

本発明の実施例によれば、ドア検出と構造検出はディープラーニングに基づくニューラルネットワークを用いて行われる。

【0012】

本発明の別の側面は、上記画像処理方法のためのニューラルネットワークのトレーニングに用いる方法であって、パノラマ画像に対して空間変換を行うことにより、パノラマ画像と異なる角度を有する複数のサンプルパノラマ画像を生成し；複数のサンプルパノラマ画像を使用して前記ニューラルネットワークをトレーニングする、ことを含む方法提供する。

【0013】

本発明の更に別の側面は、建物中の所定の部屋に関する複数のパノラマ画像を取得し；複数のパノラマ画像に対して、パノラマ画像毎にドア検出を行うことにより、所定の部屋における少なくとも一つのドアに関する第１の情報を特定し；複数のパノラマ画像に対して、パノラマ画像毎に構造検出を行うことにより、前記所定の部屋の構造面に関する第２の情報を特定し；第１の情報と第２の情報に基づいて、前記所定の部屋中の前記少なくとも一つのドアのそれぞれのドア表示、ドアタイプ、開け方及び前記ドアの両側の部屋のタイプ中の少なくとも一つを示す標識を含み、建物中の部屋に関連付けられる複数の部屋平面図を生成し；複数の部屋平面図のそれぞれに基づいて、複数の部屋の間ドアに対してマッチングを行い、マッチングドア候補を決定する、ことを含む画像処理方法を提供する。

【0014】

本発明の実施例によれば、前記マッチングドア候補に基づいて、前記複数の部屋平面図を繋ぎ合わせて、前記建物の建築平面図を生成することを、さらに含む。

【0015】

本発明の更に別の側面は、部屋に関するパノラマ画像を取得する取得手段と；パノラマ画像に対してドア検出を行い、部屋中の少なくとも一つのドアに関する第１の情報を確定する検出手段と；第１の情報に基づいて、パノラマ画像において、少なくとも一つのドアについて、ドア毎に少なくともドアの輪郭、ドアのタイプ及び開け方を示すパノラマ標識を表示する表示手段と、を含む画像処理装置を提供する。

【0016】

本発明の更に別の側面は、プロセッサと、コンピュータプログラム指令が記憶されるメモリとを備え、コンピュータプログラムが前記プロセッサに実行されることにより、部屋に関するパノラマ画像を取得し；前記パノラマ画像に対してドア検出を行うことにより、前記部屋中の少なくとも一つのドアに関する第１の情報を特定し；前記第１の情報に基づいて、前記パノラマ画像において、前記少なくとも一つのドアについて、ドア毎に少なくともドア輪郭、ドアタイプ及び開け方を示すパノラマ標識を表示する、スッテプが実現される画像処理装置を提供する。

【0017】

本発明の更に別の側面は、コンピュータ読み取り可能な記憶媒体であって、コンピュータプログラムが記憶されており、コンピュータプログラムが実行されることにより、部屋に関するパノラマ画像を取得し；前記パノラマ画像に対してドア検出を行うことにより、前記部屋中の少なくとも一つのドアに関する第１の情報を特定し；前記第１の情報に基づいて、前記パノラマ画像において、前記少なくとも一つのドアについて、ドア毎に少なくともドア輪郭、ドアタイプ及び開け方を示すパノラマ標識を表示する、ステップが実現される記憶媒体を提供する。

【発明の効果】

【0018】

本発明にかかる前記の画像処理方法、画像処理装置及びコンピュータ読取可能記憶媒体は、ドア検出を行うことにより特定された情報に基づいてパノラマ画像中に部屋中の各ドアを識別することにより、ユーザに一層豊富で且つ正確な情報を提供することができる。また、本発明の方法は、情報を提供すると共に、平面図を生成するためのドア候補を特定する。これにより、建物全体の平面図がより正確に生成され、画像処理の効率と正確性が著しく向上される。更に、本発明は、上記方法を実行するためのニューラルネットワークをトレーニングする方法を提供する。これにより、画像処理方法の正確性が更に向上される。

【図面の簡単な説明】

【0019】

以下に図面を参考して本発明の実施例を詳しく説明することにより、本発明の前記及びその他の目的、特徴、長所がより明確になる。これらの図面は本発明の実施例をより良く理解するために用いられ、且つ明細書の一部を構成して実施例と共に本発明を説明するために用いられるが、本発明を限定するものではない。なお、図面において、同じ符号は同じ部品またはステップを表示する。

【図1】図１は、本発明の実施例にかかる画像処理方法の一例を示すフローチャートである。

【図2】図２は、本発明の実施例にかかる部屋に関連付けられるパノラマ画像を示す図である。

【図3】図３は、本発明の実施例にかかるパノラマ画像にパノラマ標識を表示することを示す見取り図である。

【図4】図４は、本発明の実施例にかかる画像処理方法の他の例を示すフローチャートである。

【図5】図５は、本発明の実施例にかかる二次元平面図に平面標識を表示することを示す図である。

【図6】図６は、本発明の実施例にかかるパノラマ画像中の誤検出されたドアを示す図である。

【図7】図７は、本発明の実施例にかかる複数のサンプルパノラマ画像の生成を示す図である。

【図8】図８は、本発明の実施例にかかる画像処理方法の他の例を示すフローチャートである。

【図9】図９は、本発明の実施例にかかるマッチングゲート候補に基づいて継ぎ合わせられる平面図を示す図である。

【図10】図１０は、本発明の実施例にかかる画像処理装置の一例を示すブロック図である。

【図11】図１１は、本発明の実施例にかかる画像処理装置の他の例を示すブロック図である。

【発明を実施するための形態】

【0020】

以下、図面を参照して本発明にかかる画像処理方法、画像処理装置及びコンピュータ読み取り可能な記録媒体の実施例を説明する。

【0021】

当業者が本発明に記載された実施例に基づいて容易に想到する他のすべての実施例は、本発明の保護範囲に含まれる。また、本発明に記載された実施例は、本発明の例示的な実施例の一部に過ぎず、すべてではない。これらの実施例は単なる例示に過ぎず、本発明の範囲を限定するものではない。なお、説明を簡潔で分かりやすくするため、当技術分野でよく知られている機能や構造について詳しい説明は省略し、また、ステップや部材について重複する説明も省略する。

【0022】

まず、図１に参照して、本発明の実施例にかかる画像処理方法の基本的な流れを詳しく説明する。図１に示すように、画像処理方法は、部屋に関連付けられるパノラマ画像を取得するステップＳ１０１を含む。

【0023】

本発明の実施例によれば、このステップで、有線または無線の方式を経由してサーバのような外部ソースまたはローカルストレージのような内部ソースからパノラマ画像を取得し、または、カメラのような画像キャプチャ装置で撮影してパノラマ画像を取得することができるが、これに限らない。なお、本発明でいう「パノラマ画像」とは、パノラマカメラや広角カメラのような装置で撮影された画像や、合成により広い画角範囲（例えば１２０度以上の画角範囲）を有する画像を指し、標準レンズで撮影された通常の画像や透視マッピング方式で撮影された透視画像と区別される。また、このステップで取得するパノラマ画像はグレースケールまたはカラーの画像の原始画像であってもよく、または原始画像に裁断、拡大縮小、校正或は変形などの各種画像前処理を施した画像であってもよいが、これらに限らない。

【0024】

また、本発明の実施例において、部屋に関するパノラマ画像は当該部屋シーンを示すパノラマ画像を指す。例えば、部屋の中（例えば、部屋の中心）で当該部屋を撮影した部屋の３６０度画角範囲のシーンを表示できるパノラマ画像である。

【0025】

なお、説明の便宜のために、実施例では居住家屋及びその部屋を例として説明するが、本発明で使用される「部屋」という用語はより広い意味を有する。家屋内の空間を指すことに限定されず、具体的な応用に応じて、任意の建物及び場所（例えば、オフィスビル又はデパート）の室内空間又は遮断領域を含む。

【0026】

部屋に関するパノラマ画像を取得した後、ステップＳ１０２に進み、パノラマ画像に対してドア検出を行って、部屋中の少なくとも一つのドアに関する第１の情報を特定する。

【0027】

本発明の実施例によれば、このステップで取得されたパノラマ画像に対してドア検出を行う。具体的に、部屋に関するパノラマ画像に複数のドアを含む。例えば、図２は本発明の実施例にかかる部屋に関するパノラマ画像の見取り図を示す。図２に示すように、現在の部屋に６つのドアが映っている。各ドアはそれぞれの位置、サイズ（たとえば、幅、高さ、厚さなど）、ドアのタイプ（例えば、蝶番ドア、引き戸、アコーディオンドア、またはロなど）、開き方（たとえば、左／右から内／外へ回転して開く、左／右に押すく、上／下／左／右に折りたたむ、またはより簡単に、左／右に開くまたは内／外に開くなど）がある。また、ドアの各側は特定のタイプの部屋に繋がる（たとえば、ドアの内の部屋は居間であり、ドアの外の部屋は台所である）。本発明の実施例に、パノラマ画像に対してドア検出に基づく画像処理方法を行うことにより、パノラマ画像中の各部屋のドアに関する上記情報または少なくとも上記情報を含む情報集合が特定される。なお、以上の説明は例示に過ぎず、限定的なものではない。本発明の別の実施例において、ドアのタイプはドアの開状態（例えば、閉状態、微開状態、半開状態、ほぼ全開状態と開状態など）、またはドアの材質（例えば、木またはガラスなど）、若しくは用途（例えば、防火または断熱など）など他のタイプを含んでもよい。本発明において、部屋中のドアに関する前記各種情報を第１の情報と称する。

【0028】

例えば、本発明の実施例において、ドア検出はドア毎にコーナ座標（例えばドア枠の隅に位置する角点の座標）の検出を含んでもよい。これによってドアの位置と寸法が特定される；また、開閉時にドアが異なる状態にあることを考慮する場合、ドアの特徴は同一でもドアの状態に応じて一定の差異を示し、且つその差異は通常にドアのタイプと密に関係し、かつドアのタイプに特有である。そのため、ドア検出は部屋ドア毎に例えば、部屋ドア扉または特定部品の形状、位置、寸法などに関連する特徴要素を識別することを含むことにより、部屋のドアのタイプと開く方式およびスイッチ状態が特定される；更に、ドア内外のシーン画像に対して抽出と識別を行うことによって、各部屋のドアの各側に繋がる部屋のタイプが特定される。なお、本発明の実施例によれば、ニューラルネットワークに基づく分類型によりドアの画像に対して識別且つ分類を行うことにより、当該ドアの開く状態、開く方向などの情報が特定される。実際の応用では、具体的なシーンに応じて任意の既知またはこれからのドア検出方法を適用して第１の情報を特定してよく、ここで限定しない。

【0029】

なお、便宜のため、実施例においてドアを例として「ゲート」を説明したが、本発明に記載される「ゲート」は部屋のドアに限定されず、より広い意味を有する。実際の応用に応じて、部屋の窓、キャビネット扉、峠など、並びに所定のサイズと形状に一致する任意の部屋要素を含む。

【0030】

部屋中のドアに関連付けられる第１の情報を特定した後、ステップＳ１０３に進み、特定された第１の情報に基づいて、パノラマ画像においてドアにパノラマ標識を表示する。表示されるパノラマ標識は少なくとも当該ドアのドア輪郭、ドアタイプ及び開け方を示す。

【0031】

本発明の実施例によれば、このステップでドアに関する第１の情報に基づいてパノラマ画像においてドア毎にドア輪郭、ドアタイプ及び開け方を示すパノラマ標識を表示する。例えば、上述したように、パノラマ画像に対してドア検出を行うことによりドアの位置と寸法を特定することができる。また、例えば、ドア枠／ドア板のコーナを検出することにより、パノラマ画像においてドアに対応する領域の輪郭、例えばドア枠の輪郭、ドア板輪郭またはそれらの組合せ若しくは少なくとも一部分（即ちドアの輪郭）を取り出すことができる。

【0032】

また、本発明の実施例によれば、広角レンズによってパノラマ画像に歪みが生じ、且つ画像の周辺域（例えば、パノラマ画像中の天井や床付近の両極領域）に歪みの程度がよりひどいことを考慮し、簡単にコーナ座標に基づいてドアが位置する区域を特定するよりも、ドアの輪郭の表示にパノラマ画像の歪みを取り入れることができる。言い換えれば、パノラマ画像の歪み要素を導入することにより、パノラマ画像の歪み程度に応じて歪みが生じた方向にドアの輪郭のラインを湾曲させることができる。例えば、図２に示すように、ドアを示す輪郭線（即ち、湾曲する多角形の辺）をパノラマ画像中の変形したドアに適合させるように、パノラマ画像においてドアの輪郭を湾曲する多角形で表示する。この方式により、ユーザはパノラマ画像から各ドアの形状と面積をより正確に見ることができ、情報の重複表示を生じさせない。

【0033】

また、本発明の実施例によれば、パノラマ標識にもっと多くの情報を整合させるために、異なる色付けの輪郭線を使用して相応するドアタイプを表示することができる。また、ドアの軸線上の角点からドアを開ける方向（内向きまたは外向き）に向けてドアの底辺またはドア枠の底辺に垂直して伸びる線に沿って開け方を表示することができる。更に、ドアを境界にドアの両側の部屋タイプをそれぞれ異なる記号を使用して表示することができる。ついでに、パノラマ標識による前記情報の表示はドアの隣接区域（例えば、ドアが位置する区域内或はドア枠に沿って）に記号或は文字で表示する。以上の説明は例示に過ぎず、限定するものではない。別の実施例では、上記情報の一部を表示してもよく、より多くのドアに関する情報を表示してもよい。また、色でドアの開け方を表示すると共に文字でドアタイプを表示し、またはこれらの組み合わせで表示してもよい。

【0034】

例えば図２に示すように、パノラマ画像中の最も左側のドアを例として、パノラマ標識中に特定の線種で示すドア輪郭２０１を含み、例えば、破線で当該ドアがヒンジドアで示す。また、異なる色でドアタイプを示す。また、内向きに伸びる線２０２でドアの開き方向を示す。更に、オプションとして、ドアを境界線として両側に異なる階調／色の垂直線（例えば、図２中の線分２０３）でドア両側の部屋タイプを示す。例えば、この例では、ドア内の濃い色の線でドア内の部屋タイプが居間であることを示し、ドア外の薄い色の線でドア外の部屋タイプが台所であることを示す。また、異なる線種で所定の部屋タイプを示してもよい。なお、図２の例において、ドア輪郭の近傍に文字（例えば、図２中のテキスト枠２０４）を表示することでドアの状態またはその他の情報を表示することにより、線２０２が表示するドアの開き方向と共に、ユーザにより具体的なドアの開け方式を示す。

【0035】

上記方法により、パノラマ画像に表示されるパノラマ標識はドアに関する各種情報をまとめて表示することにより、ユーザに一層豊富で直観的な情報を提供することができる。

【0036】

図３の（ａ）と（ｂ）は、本発明の実施例にかかるパノラマ画像中のパノラマ標識を示す図であり、複数のパノラマ標識例を示す。図３の（ａ）に示すように、パノラマ標識であるドア輪郭でパノラマ画像の左側の窓と右側の２つのドアが部屋における位置をそれぞれ示し、湾曲する多角形でドア輪郭として該当する窓とドアの形状を示し、ドア輪郭の色で該当する窓やドアのドアタイプがそれぞれ窓かヒンジドアであることを示す。また、パノラマ標識の線３０１と線３０２でドアの開け方向が右内側へ開けることを示す。オプションとして、パノラマ標識である線３０３と３０４で前記二つのドアそれぞれの両側にある部屋タイプを示す。これら二つのドアは同一部屋にあるため、ドア内の部屋は相同タイプである。なお、本発明の実施例において、パノラマ標識が示すドアタイプが窓またはキャビネットドアなどの外側が部屋に繋がらないドアタイプである場合に、ドアの両側（或は少なくとも片側）の部屋タイプの表示を省略してもよい。

【0037】

また、一部のシーンでは、ドアが完全に閉じている場合やわずかに開いている場合があるため、ドアの開閉タイプはドアの特徴的な要素（ヒンジやレールなど）を識別することによって判断できない場合がある。この場合、前述のように、ドアタイプを含む別のタイプにより表示してよい。例えば、図３の（ｂ）に示すように、各ドアがドアタイプがそれぞれ引き戸、閉じた状態のドア、わずかに開いた状態のドア、閉じた状態のドアであることをパノラマ標識で左側から右側まで順次に表示する。また、この例では、ドアが完全に閉じられた時に予想される場所を点線で示すことで、ドアが閉じられた時の予測位置をユーザに提供する。

【0038】

以上の実施例は図１～３に参照してとパノラマ画像においてドアに対するパノラマ標識を表示する処理を説明した。上記した実施例によれば、ユーザに対してパノラマ画像において豊富で正確な情報を直観的に提供することができる。

【0039】

なお、ユーザがパノラマ画像と平面図（例えば、俯瞰角平面図或は間取り図）を切り替えて対比できるよう、ユーザに提供される部屋に関する情報をより充実させるため、本発明の最適な実施例にかかる画像処理方法は二次元平面図においてドアについて平面標識を表示する処理を更に含む。この処理の基本的な流れを、図４を参照して詳細に説明する。

【0040】

図４に示すように、画像処理方法は、ステップＳ４０１で、パノラマ画像に対して構造検出を行うことにより、部屋の構造面に関する第２の情報を特定する処理を含む。

【0041】

本発明の実施例は、このステップで、ステップＳ１０１で取得されたパノラマ画像に対して構造検知を行う。具体的に、部屋の三次元空間は通常に当該部屋の各構造面（例えば、壁面、地面、天井を含む）により形成される。その空間の特徴は部屋を構成する壁面、地面、天井の空間位置座標；壁面－壁面、壁面－地面、壁面－天井の間に垂直または平行の幾何関係及び境界の辺縁位置などを含む。部屋の二次元平面図を生成するために、構造検出を行うことでこれらの情報を特定する。本発明は、部屋の構造面に関する上記各種情報を第２の情報という。なお、実際の応用で、具体的なシーンに応じて任意の既知または将来の構造検出方法を用いて第２の情報を特定するが、本発明はこれに限定されない。

【0042】

なお、説明の便宜のため、本発明の実施例において、「壁面、地面、天井」を構造面の例として説明しているが、「構造面」という用語はより広い意味を有し、分割可能な特性を有する部屋中のその他の任意の平面または壁を指すこともできる。

【0043】

部屋中のドアに関する第１の情報を特定した後、処理はステップＳ４０２に進み、特定された第２の情報に基づいて、部屋の二次元平面図を生成する。

【0044】

本発明の実施例において、部屋の二次元平面図を生成することは、部屋の構造面に関する第２の情報に基づいて、三次元空間座標系において前記部屋の三次元表示を生成し、また、前記三次元表示を二次元平面座標系に変換することを含む。それで前記部屋の二次元平面図を生成する。具体的に、図５の（ａ）～（ｄ）は本発明の実施例で生成される部屋の二次元平面図を示す図である。部屋の構造面に関する第２の情報を特定した後、例えばＨｏｒｉｚｏｎ Ｎｅｔディープ神経ネットワークモデルを用いて三次元再建を行うことにより部屋の三次元表示を構築し、図５中の（ａ）に示すように、部屋中の各構造面の側縁にある境界線を得る。更に、得られた部屋の三次元表示を地面に平行する二次元平面座標系に投影することにより、当該部屋の平面図が得られる。図５の（ｂ）に示すように、二次元平面図はパノラマ画像に対応する部屋の幾何形状及び寸法を俯瞰して示す平面図である。

【0045】

部屋の二次元平面図を生成した後、ステップＳ４０３に進む。そのステップで、ドア検出によって特定される第１の情報と構造検出によって特定される第２の情報に基づいて、生成された二次元平面図において部屋中のドア毎に平面標識を表示する。ここで、平面標識は二次元ドア表示、ドアタイプ、開け方を少なくとも示す。

【0046】

具体的に、ステップＳ１０２で特定された部屋中のドアに関する第１の情報に基づいて、部屋の二次元平面図において対応する位置に各ドアの二次元ドア表示を特定する。例えば、上記したステップ中の類似する方法により、パノラマ画像で検出されたドアの三次元表示を当該部屋の平面図の二次元平面座標系に変換することで、生成された二次元平面図にドアの二次元ドア表示が示される。これによってドアが二次元平面図における位置と寸法を示すことができる。この加え、特定された第１の情報に基づいて、各ドアのドアタイプ、開け方、ドア両側の部屋タイプなどの情報を更に表示することができる。上記したように、パノラマ標識と類似か対応する方式で対応するドアの平面標識を用いて表示してもよい。図５の（ｃ）に示すように、二次元平面図に各ドアの平面標識を更に表示する。平面標識として、各ドアの二次元ドア表示、ドアタイプ、開け方、並びにオプションとして、ドアの両側の部屋のタイプを示して良い。これにより、ユーザに部屋の平面図を生成して提供し、ドア検出処理で特定された情報を繰り返し利用して、生成された二次元平面図にドアに関する各種情報を表示することにより、ユーザがパノラマと二次元平面図を切り替えて対比しやすく、部屋に関する情報が一層完全に表示される。

【0047】

また、図５の（ｃ）に示すように、コーナ座標の誤差や座標変換の誤差などにより、二次元平面図に表示される二次元ドア表示が部屋の辺縁にフィットしない場合がある。これにより、表示されたドアの位置や開け方などの情報が不正確になる。

【0048】

本発明の優先実施例は、ドアの二次元ドア表示を最適化するために、部屋の二次元平面図に平面標識を表示することは、特定された第１の情報と第２の情報に基づいて、ドア毎に二次元ドア表示を部屋の二次元平面図において相応する構造面に対応する辺に垂直に投影して、代替二次元表示を生成することを含む。具体的には、第１の情報と第ニ情報に基づいてドアの角点と部屋の形状（すなわち壁面の表示）の二次元座標系における座標値を決定する。これにより、平面座標の演算によって二次元ドア表示を相応する壁面に対応する辺に投影して、図５の（ｄ）に示すように、投影によって生成された代替二次元表示を部屋の壁面の表示に重ね合わせられる。これを踏まえて、生成された代替二次元表示を部屋中の各ドアの二次元ドア表示として二次元平面図に表示することで、ドアの位置および開け方が補正される。本実施例において、二次元平面図中の「相応する構造面」はドアが実際に位置する壁面を指す。例えば、ドア（ドア枠）と壁面が成す角度および／または壁面との距離などの規則を設定することによってドア毎に相応する構造面が特定される。

【0049】

また、本発明の実施例において、ドアの寸法が投影処理に与えられないことを確保するため、第１の情報に基づいてドアの幅を特定し、投影処理後に特定されたドアの幅に基づいて生成された代替二次元表示を調整する。例えば、水平方向においてドアの角点間の距離を計算し、パノラマ画像の歪みまたは画像の深度情報に基づいて、またはドアの角点からカメラまでの距離を計算し、三角関数関係に基づいて、実際のドアの幅を確定する。この方法により、二次元平面表示が最適化されると共に、ドアの二次元平面図における寸法に対して投影処理により不利な影響が与えられることが避けられる。

【0050】

また、ドアを誤検出する場合がある。図６は本発明の実施例において誤検出されたドアを示す図である。図６に示すように、パノラマ画像において左右の辺縁領域に誤ったパノラマ標識６０１と６０２が表示されている。これらの領域には本発明で説明したドアが存在しないため、ドアは誤検出されたことになる。

【0051】

本発明の実施例にかかる画像処理方法は、パノラマ画像から誤検出されたドアを取り除き、間違ったパノラマ標識を生成表示しないように、各ドアに対するパノラマ標識または平面標識を表示する前に、前記パノラマ画像において、前記少なくとも１つのドアについて、ドア毎にパノラマ標識または平面標識を表示する前に、第１の情報と第２の情報に基づいて、部屋中の各ドアの代表点から相応する構造面までの距離を特定し、特定された距離がしきい値より大きいドア（すなわちご検知されたドア）を検出されたドアから取り除くことをさらに含む。具体的に、前記のように、第１の情報と第２の情報からドアに関する各画素の座標、およびそのドアの相応する構造面の座標を特定する。座標値に基づいて各ドアの代表点から相応する構造面までの距離を算出する。好ましくは、ドアの中央点を代表点として相応する構造面までの距離を算出する。そして、算出された距離を予め設定された閾値と比較して誤検知されたドアであるかを判断する。特定された距離が閾値より大きいまたは閾値範囲から外れる場合、前記ドアが誤検知されたドアであることを判断し、誤検知されたドアを取り除く。これにより、誤検知されたドアに標識を表示することが避けられる。また、別の実施例として、ドアの代表点から当該ドアに隣接する地面または天井まで距離を算出してもよい。この場合、ドア枠の上辺または下辺の中央点を代表点として、ドアに隣接する地面または天井までの距離を算出し、距離が閾値範囲に合致しないドアを取り除く。なお、実際の応用に応じて、異なるシーンの適する閾値または範囲領域を設定してよい。これにより、画像処理と情報表示の正確性が更に向上し、且つ処理効率が改善される。

【0052】

また、本発明の実施例にかかるドア検出と構造検出またはそれらの一部分はディープランニングに基づくニューラルネットワークを用いって行う。例えば、前記のように、ニューラルネットワークに基づく分類器を使用してドアの開く状態と開く方向などの情報を特定する。本発明は本文に記載される画像処理方法を実行するためのニューラルネットワークをトレーニングする方法を提供する。具体的に以下の方法を使用して前記ニューラルネットワークを訓練するサンプルを生成してニューラルネットワークを構築することを含む。

【0053】

具体的に、本発明で説明した各種の方法を実行するために、ディープラーニングに基づくニューラルネットワークをトレーニングする方法は、パノラマ画像（例えば、ステップＳ１０１で取得したパノラマ画像）に対して空間変換を行うことにより、異なる視点を有する複数のサンプルパノラマ画像を生成する。オリジナルのパノラマ画像に対して空間変換を行うことにより、カメラの運動をシミュレートする（即ち、異なる位置、異なる角度で撮影するカメラをシミュレートする）ことができる。これにより、生成されたサンプルのターゲットパノラマ画像は、オリジナルパノラマ画像とは異なる視点を持つことになる。このようにすることで、トレーニングサンプル集が拡張され、例えば、拡張された画像特徴でサンプルをトレーニングしてマルチビュー比較学習を行うことができる。これにより、ディープラーニングに基づくニューラルネットワークに追加情報が提供され、機械学習モデルが後続の処理（またはダウンストリームタスクという）においてより良い効果を達成することを可能にする。

【0054】

具体的に、本発明の実施例において、パノラマ画像に対する空間変換は、オリジナルのパノラマ画像における画素に対して所定のマッピング方式により別の空間座標系に変換することを含む。これにより、オリジナルパノラマ画像の画素から変換された別の座標系の画素により構成される画像が得られる。例えば、三次元表面マッピング変換により、オリジナルパノラマ画像を三次元立体形状の表面に投影して三次元表面画像に変換することにより、後続する処理で当該三次元表面画像を平行移動、回転、またはそれらの組み合わせを行い、更にパノラマ画像における所定の領域を回転させることが可能になる。このような三次元立体形状は、三次元空間で形成される球体、立方体、またはその他の立体形状である。これに相応して、三次元表面マッピング変換は、球面マッピング変換、立方体マッピング変換、または二次元パノラマ画像を三次元立体形状表面にマッピングする任意のマッピング変換などを含む。

【0055】

また、本発明の実施例において、空間変換パラメータを設定してパノラマ画像に対する変換を調整する。例えば、歪みが大きい画像の場合、三次元球面の平行移動／回転の変換の量を適宜に増やして、オリジナルのパノラマ画像において歪みの大きい領域（例えば、パノラマ画像において、例えば天井または床付近の２極領域）を歪みの小さい領域（例えば、パノラマ画像における赤道付近領域）に変換して、または逆にしても良い。これにより、オリジナルのパノラマ画像対して同一領域に異なる歪みを有するパノラマ画像が生成される。これにより、後続する画像処理の結果を合致させることができる。

【0056】

図７は本発明の実施例にかかる複数のサンプルパノラマ画像の生成を示す図である。図７に示すように、パノラマ画像に対して様々な空間変換を行うことにより、カメラの運動により異なる視点で撮影されたパノラマ画像をシミュレートすることができる。言い換えれば、生成されたサンプルパノラマ画像はオリジナルパノラマ画像と異なる視点を有し、かつ同一領域に対応する画面が歪みの大きさが異なる。これにより、豊富な画像情報を提供することできるため、生成されたサンプルパノラマ画像でディープラーニングに基づくニューラルネットワークをトレーニングすることで、本発明にかかる方法を実行するための改良モデルを構築することができ、より良い検出、識別などの画像処理が実現される。

【0057】

以上、図１～７に参照してパノラマ画像においてドアに関する標識を表示する実施例を説明した。

【0058】

上記各実施例によれば、パノラマ画像において部屋中のドアにより多くの情報を含む標識を行い、かつ確定された各種情報を用いて標識を含む平面図を生成することができる。これにより、情報の正確性を向上させると同時に、画像処理の効率が改善される。また、カメラ運動をシミュレートすることにより、画像処理に用いるニューラルネットワークのトレーニングサンプルを拡張することができる。これにより、改良されたドア検出と構造検出のモデルが改良され、確定する情報の正確さが更に向上される。

【0059】

以下、図８～９に参照して、本発明の実施例にかかる画像処理方法を実行するフローの別の例を示す。

【0060】

まず、図８に示すように、画像処理方法は、ステップＳ８０１で、建物中の所定の部屋に関する複数のパノラマ画像を取得することを含む。

【0061】

本発明の実施例は、このステップで、ステップＳ１０１で用いた方法に類似する方法で複数のパノラマ画像を取得する。また、本発明の実施例は、建物中の所定の部屋に関するパノラマ画像は建物中のある部屋のパノラマ画像を指す、例えば、建物中のすべての部屋または一部の部屋に対してパノラマ画像を撮影して、この建物の所定の部屋に関する複数のパノラマ画像を取得する。

【0062】

前記パノラマ画像を取得した後、ステップＳ８０２に進む。ステップＳ８０２で、複数のパノラマ画像のそれぞれに対してドア検出を行うことにより、所定の部屋における少なくとも一つのドアに関連する第１の情報を特定し；ステップＳ８０３で、複数のパノラマ画像のそれぞれに対して構造検出を行うことにより、所定の部屋の構造面に関する第２の情報を特定する。

【0063】

本発明の実施例において、前記二つのステップで、パノラマ画像毎にドア検出と構造検出を行うことにより、所定の部屋中の少なくとも一つのドアに関する第１の情報、及び所定の部屋の構造面に関する第２の情報を特定する。また、ステップＳ８０２とＳ８０３で、上記ステップで記載されたドア検出と構造検出の方法と同様の方法を適用して第１の情報と第２の情報を特定するが、図８に示す順序に実行してもよく、同時に実行するか、Ｓ８０３を実行してからＳ８０２を実行してもよい。

【0064】

第１の情報と第２の情報が特定された後、ステップＳ８０４に進む。特定された第１の情報と第２の情報に基づいて、建物中の複数の部屋に関連する部屋平面図を生成し、前記部屋平面図は所定の部屋中の各ドアに対するドア表示、ドアタイプ、開け方およびドアの両側の部屋のタイプ中の少なくとも１つを示す標識を含む。

【0065】

本発明の実施例において、上記ステップで、図４で説明した方法と同様の方法で複数の部屋平面図を生成する。部屋平面図に標識を表示する。ここでの「部屋平面図」は建物中の一つの部屋の二次元平面図を指す。また、上記した平面標識の表示方法と同様の方法で「標識」を表示して、ドアに関する情報（例えば、ドア表示、ドアタイプ、開け方およびドアの両側の部屋のタイプなど）の少なくとも１つを示す。

【0066】

複数の部屋平面図を生成して且つ標識を表示した後、ステップＳ８０５に進む。各部屋平面図の標識に基づいて、複数の部屋の間のドアにマッチングを行、マッチングドア候補を決定する。

【0067】

本発明の実施例において、このステップで部屋中のドアの標識が対応する情報に基づいて複数の部屋のドアに対してマッチングを行う。具体的には、まず、ドアの両側の部屋のタイプに基づいて、同じタイプの部屋に挟まれるドアを特定。例えば、図９の（ａ）に示すように、居間の平面図において、線９０１は１つのドアの両側に居間と台所があることを示す。また、台所の平面図においては、線９０２は１つのドアの両側にも居間と台所があることを示す。このため、この２つの部屋の間のドアが同一のものであることを判断し、図９の（ａ）に破線で囲まれて示したように、当該ドアをマッチングドア候補として決定する。これにより、複数の部屋の間の同一のドアをマッチングドア候補として初歩的に特定することで、ユーザに複数の部屋を有する建物の全体構造を理解するのに有用な情報を提供すると共に、部屋間の関係の特定や建築平面図を生成するなどの後続処理にも役立つ。

【0068】

また、本発明の実施例によれば、ドアの寸法、位置、ドアタイプ、開け方またはこれらの組合せに基づいて部屋同士の間のドアがマッチングするかを判断して、マッチングの確実性を更に向上することができる。例えば、２つの寝室が同一の居間に隣接する場合、この２つの寝室のドアの両側に隣接される部屋が同じ部屋タイプであることを踏まえて、ドアの開き方及び位置に基づいてマッチングドア候補を決定することができる。

【0069】

また、本発明の実施例によれば、前記画像処理方法はステップＳ８０６で、マッチングドア候補に基づいて、複数の部屋平面図を繋ぎ合わせて、建物の建築平面図を生成することを含む。

【0070】

本発明はマッチングドア候補が実際に部屋同士を連結する点に当たるため、複数の部屋はドアによって連結されて建物の全体構造を形成する。このため、上記方法で部屋間のマッチングドア候補が決定された後、部屋間の連結関係を特定することができる。本発明の実施例には、このステップで同じマッチングドア候補を有する部屋の平面図をつなぎ合わせて、建物全体の建築平面図を生成する。例えば、図９の（ｂ）に示すように、決定されたマッチングドア候補を対応する２つの部屋の連結点として、２つの部屋の平面をつなぎ合わせて、キッチンとリビングを合わせた平面図を形成する。このように、複数の部屋の平面図をすべて繋ぎ合わせることで、部屋全体の平面図が生成される。

【0071】

ここまで、本発明の実施例にかかる画像処理方法によれば、前記ステップによって、複数の部屋がある建物について、情報を提示すると共に平面図を生成するドア候補を特定することができる。このため、より正確な方法で建物全体の平面図を生成し、画像処理の効率と正確性が向上される。

【0072】

次に、図１０を参照して、本発明にかかる画像処理装置の一例を説明する。

【0073】

図１０は、本発明の実施例にかかる画像処理装置１０００の構成を示すブロック図である。図１０に示すように、画像処理装置１０００は、取得手段１０１０、検出手段１０２０及び表示手段１０３０を含む。図示された構造は例示に過ぎず、限定するものではない。これらの手段の他に、画像処理装置１０００はまた他の部品を含むことができるが、本発明の実施例と関係がないため、図示と説明を省略する。

【0074】

なお、本発明の実施例にかかる画像処理装置１０００が実行する以下の操作の詳細は前記の図１～９を参照して説明したこととほぼ同じであるためので、簡潔のため、同じ部分について説明を省略する。以下では、画像処理装置１０００が有する各手段または部品について逐一に説明する。

【0075】

取得手段１０１０はオリジナルパノラマ画像を取得する。取得手段１０１０により行われる具体的な処理は、図１に参照して説明したステップＳ１０１の内容に対応する。

【0076】

具体的に、本発明の実施例において、取得手段１０１０は例えば携帯電話、カメラ、ビデオカメラなどの画像キャプチャ装置またはこのような装置に備える画像キャプチャ手段であってよく、更に、画像キャプチャ装置または手段からキャプチャされた画像取得する機器である。取得手段１０１０は画像処理装置１１００中の他のモジュールと物理的に分離してもよく、有線または無線に経由して取得された画像を画像処理装置１１００における別のモジュールに伝送する。代わりに、取得手段１０１０は画像処理装置１１００の他のモジュールと一体化し、または同一システム内に設置される。画像処理装置１１００の他のモジュールまたは部材は内部バスを経由して取得された画像を取得手段１０１０から受信する。

【0077】

検出手段１０２０は、パノラマ画像に対してドア検出を行い、部屋中の少なくとも一つのドアと関する第１の情報を特定する。検出手段１０２０が実行する具体的な処理は図１に示すステップＳ１０２の内容に対応する。また、本発明の実施例にかかる検出手段１０２０はパノラマ画像に対して構造検出を行う。ここで、ドア検出と構造検出はディープランニングに基づくニューラルネットワークを用いて行われる。

【0078】

表示手段１０３０は、第１の情報に基づいて、パノラマ画像においてドア毎にパノラマ標識を表示する。パノラマ標識は少なくともドア輪郭、ドアタイプ、開け方の少なくとも１つを示し、オプションとして、ドアの両側の部屋のタイプを示してもよい。また、本発明の実施例にかかる表示手段０３０は、部屋の二次元平面図を生成し、生成された二次元平面図にドア毎に平面標識を表示する。さらに、本発明の実施例にかかる表示手段１０３０は、誤検出されたドアを除去し、ドアについて二次元ドア表示を最適化させる。

【0079】

次に、図１１を参照して、本発明の画像処理装置の別の例を説明する。

【0080】

図１１は本発明の実施例にかかる画像処理装置１１００の構成を示すブロック図である。図１１に示すように、画像処理装置１１００はプロセッサ１１１０とメモリ１１２０を含む。画像処理装置１１００はコンピュータまたはサーバであってよい。図示された構成は例示に過ぎず、限定されたものではない。また、画像処理装置１１００はこれらの手段に加え、他の部品を含んでもよいが、これらの部品は本発明の実施例と関係がないため、図示と説明を省略する。

【0081】

なお、本発明の実施例にかかる画像処理装置１１００が実行する詳細な操作は図１～９を参照して説明したこととほぼ同じであり、簡潔のために、詳細の説明を省略する。以下では、画像処理装置１１００における各モジュールや部品について説明する。

【0082】

プロセッサ１１１０は、中央処理ユニット（ＣＰＵ）またはデータ処理能力及び／又は指令実行能力を有する他の形式の処理ユニットであり、且つメモリ１１２０に記憶されるコンピュータプログラム指令を実行して所定の機能を実現できる。コンピュータプログラム指令を処理器１１１０が実行すると、部屋に関するパノラマ画像を取得し；前記パノラマ画像に対してドア検出を行うことにより、前記部屋中の少なくとも一つのドアに関する第１の情報を特定し；前記第１の情報に基づいて、前記パノラマ画像において、前記少なくとも一つのドアについて、ドア毎に少なくともドア輪郭、ドアタイプ及び開け方を示すパノラマ標識を表示する、スッテプが実現される。

【0083】

メモリ１１２０は、一つ或は複数のコンピュータプログラム製品を含む。コンピュータプログラム製品は例えば、揮発性メモリ及び／又は非揮発性メモリ等各種のコンピュータ読み取り可能記憶媒体に含まれる。コンピュータ読取可能な記憶媒体に１つまたは複数のコンピュータプログラム指令が記憶され、プロセッサ１１１０にこのプログラム指令を実行させることにより、本発明の実施例にかかる画像処理装置の機能および／またはその他の所望の機能が実現され、かつ／または本発明の実施例にかかる画像処理方法が実現される。コンピュータ読み取り可能な記憶媒体にはまた各種のアプリケーションプログラムや各種のデータを記憶することができる。

【0084】

次に、本発明の実施例にかかるコンピュータ読み取り可能な記憶媒体を説明する。

【0085】

本発明は、また、コンピュータ読取可能記憶媒体であって、コンピュータプログラム指令が記憶されており、前記コンピュータプログラム指令がプロセッサに実行されることにより、部屋に関するパノラマ画像を取得し；前記パノラマ画像に対してドア検出を行うことにより、前記部屋中の少なくとも一つのドアに関する第１の情報を特定し；前記第１の情報に基づいて、前記パノラマ画像において、前記少なくとも一つのドアについて、ドア毎に少なくともドア輪郭、ドアタイプ及び開け方を示すパノラマ標識を表示する、スッテプが実現される記憶媒体を提供する。

【0086】

本発明の実施例においてプロセッサによって実行されるステップは、図１～９に参照して説明した上記の各実施の内容に対応する。なお、上述した画像処理装置における各部材やモジュールは、すべてハードウェアで実現してもよく、ソフトウェアで実現してもよい。また、ハードウェアとソフトウェアの組み合わせで実現しもよい。

【0087】

前記各実施例は例示に過ぎず、限定するものではない。且つ、当業者は本発明に基づいて上記説明した各実施例の中から一部のステップと装置を併合しまたは組み合わせて本発明の効果を奏することができる。このような合併と組み合わせの実施例も本発明に含まれ、ここでは逐一説明しない。又、本発明で言及した利点、メリット、効果などは単なる例示であって限定するものではなく、本発明の実施例が備えるべきものと見なすべきではない。なお、上記した本発明の細部は例示に過ぎず、理解に助かるためであって、限定するものではない。なお、これらの細部は本発明に適用されることを限定しない。

【0088】

本発明に言及したモジュール、装置、設備、システムのブロック図は、説明のための例に過ぎない。ブロック図に示される連結、配置、構成を適用する要求または暗示することはない。当業者はこれらのモジュール、装置、設備、システムを任意の方式で接続、配置、構成することができる。また、「含む」、「包含する」、「有する」などの用語は、「含むがそれに限定されない」を意味する包括的な用語であり、互換することができる。またここで使用される「または」、「および」という用語は、文脈がそうでないことを明示さない限り、「および／または」を意味し、互換することができる。ま他、本明細書で使用される「など」という用語は、「などであるがそれに限定されない」を意味し、互換できる。

【0089】

本発明のフロー図及び以上の方法の説明は説明のための例に過ぎず、各実施例のステップに示された順序で行われなければならないことを要求又は暗示することを意図しない。上記の実施例に示されたステップは任意の順序で実行することができる。又、「その後に」、「そして」、「次に」などの用語は、ステップの順序を限定することを意図しておらず、本発明を正しく理解するのに導くために使用される。さらに、例えば、冠詞「一つの」、「一」または「当該」、「前記」を使用した単数の要素へのいかなる言及も、その要素を単数に限定すると解釈されない。

【0090】

なお、明細書中の各実施例に記載されたステップと装置は特定の実施例で実行されると限定されない。本発明の趣旨に基づいて各実施例中に関連するステップまたは装置の一部を組み合わせて新しい実施例を構想することができる、これらの新しい実施例も本発明の範囲内に含む。また、本発明にかかる方法と機能は前記方法を実現するための一つ或は複数の動作を含む。方法および／または動作は、特許請求の範囲から逸脱しない限り交換することができる。言い換えると、特別に指定されていない限り、動作の順序および／または使用は、請求範囲から逸脱することなく修正することができる。

【0091】

以上に記載された方法の各操作は対応する機能を備える任意の適宜な手段によって行われる。この手段は、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサを含むがそれに限定されない、様々なハードウェアおよび／またはソフトウェアコンポーネントおよび／またはモジュールを含むことができる。ここで述べた機能を実行するように設計された汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブルロジックデバイス（ＰＬＤ）、ディスクリートゲートまたはトランジスタロジック、ディスクリートハードウェアコンポーネントまたはそれらの任意の組み合わせを利用して前記の各例示の論理ブロック、モジュールおよび回路を実現または実行することができる。汎用プロセッサはマイクロプロセッサでもよいが、その代わりに、プロセッサは任意の市販のプロセッサ、コントローラ、マイクロコントローラ、または状態マシンでもよい。プロセッサはまた計算設備の組合せ、例えばＤＳＰとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと協力する一つ或は複数のマイクロプロセッサまたは任意の他のこのような構成として実現できる。

【0092】

本発明にかかる方法またはアルゴリズムのステップは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、またはこの２つの組み合わせに直接組み込まれることができる。ソフトウェアモジュールは、任意の形式の有形の記憶媒体に記憶される。使用できる記憶媒体は、例として、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭなどを含む。記憶媒体はプロセッサにカップリングされることによって前記プロセッサは前記記憶媒体から情報を読み取り、また、前記記憶媒体に情報を書き込むことができる。あるいは、記憶媒体とプロセッサを一体化していてもよい。ソフトウェアモジュールは、単一の指令または複数の指令のいずれかであり、いくつかの異なるコードセグメント上、異なるプログラム間、および複数の記憶媒体にわたって分散させることができる。

【0093】

このため、コンピュータプログラム製品は、ここで記載された操作を実行することができる。例えば、このようなコンピュータプログラム製品は、有形に記憶された（および／またはエンコードされた）指令を有するコンピュータ読み取り可能な有形媒体である。前記指令は１つまたは複数のプロセッサによって実行されて、上記記載された動作を実現する。コンピュータプログラム製品はパッケージに含まれてもよい。ソフトウェアまたは指令は伝送媒体を介して伝送される。例えば、ソフトウェアは、同軸ケーブル、光ファイバケーブル、より線、ＤＳＬ（Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）、または赤外線、無線、マイクロ波などのワイヤレス技術などの伝送媒体を使用して、ウェブサイト、サーバ、または他のリモートソースから伝送される。

【0094】

上記した方法と技術を行うモジュールおよび／または他の適当な手段は適宜にユーザ端末および／または基地局よりダウンロードおよび／または他の方式で取得される。例えば、このような設備をサーバに接続して上記説明した方法を行う手段の伝送に提供する。または、上記記載された各種方法は記憶手段（例えばＲＡＭ、ＲＯＭ、ＣＤまたはフロッピーなどの物理記憶媒体）を経由して提供し、ユーザ端末および／または基地局は前記設備にカップリングするまたは前記設備に記憶手段を提供する時に各種方法を取得する。更に、上記説明した方法と技術を設備に提供するのに用いる他の適当な技術を利用してもよい。

【0095】

他の例および実現方法は、本発明および権利請求の範囲の範囲内にあり本発明の主旨範囲内にある。例えば、ソフトウェアの性質上のため、上述した機能はプロセッサ、ハードウェア、ファームウェア、ハードワイヤ、またはこれらの任意の組み合わせによって実行されるソフトウェアにより実現される。機能を実現する特徴は、物理的にさまざまな場所に配置されてもよい。これには、機能の一部が異なる物理的な場所で実装されるように配布される機能も含まれる。ここで使用し、請求範囲に使用し、“少なくとも一つ”で始まる項目で列挙に使用する“または”は分離の列挙を指示する、例えば“Ａ、ＢまたはＣの少なくとも一つ”の列挙はＡまたはＢまたはＣ、またはＡＢまたはＡＣまたはＢＣ、またはＡＢＣ（即ちＡとＢとＣ）を意味する。さらに、「例示的」とは、記載された例が好ましく、または他の例よりも好ましいことを意味するものではない。

【0096】

上記した技術に対する種々の変化、置換および変更は請求項の限定から離脱しない限り行ってもよい。また、本発明の請求範囲は、上記した処理、機械、製造、イベントの組み合わせ、手段、方法、および動作の具体的な場合に限定されない。ここで記載されたことと実質的に同じ機能を実行し、または実質的に同じ結果を達成する既成または後に開発される処理、機械、製造、イベントの組み合わせ、手段、方法、および動作を利用しても良い。そのため、請求の範囲はその範囲内にある処理、機械、製造、イベントの組み合わせ、手段、方法又は行為を含む。

【0097】

以上に説明されたことは、当業者が使用または実現可能にするために提供される。これらの記載に対する種々の変更は当業者には明らかであり、ここに定義される一般原理は他に適用できて、本発明の範囲を逸脱しない。

【0098】

そのため、本発明は上記記載に限定されず、発明の構想と新規な特徴に合致する最も広い範囲に従う。

【0099】

上記した説明は、例示と説明を目的としたが、本発明を限定するものではない。上記した複数の実施例の変形、追加、変更およびサブ組み合わせは当業者に想到されるものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】