特許 7540671 三次元モデル生成装置及び三次元モデル生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-19

(45)【発行日】2024-08-27

(54)【発明の名称】三次元モデル生成装置及び三次元モデル生成プログラム

(51)【国際特許分類】

   G06T 7/543 20170101AFI20240820BHJP

   G06Q 50/16 20240101ALI20240820BHJP

   G06T 7/11 20170101ALI20240820BHJP

   G06T 17/00 20060101ALI20240820BHJP

   G06T 19/00 20110101ALI20240820BHJP

   G06V 20/64 20220101ALI20240820BHJP

【ＦＩ】

G06T7/543

G06Q50/16

G06T7/11

G06T17/00

G06T19/00 A

G06V20/64

【請求項の数】 7

(21)【出願番号】P 2022074334

(22)【出願日】2022-04-28

(65)【公開番号】P2023163420

(43)【公開日】2023-11-10

【審査請求日】2023-03-24

【審判番号】

【審判請求日】2023-09-04

【新規性喪失の例外の表示】特許法第３０条第２項適用 開催日 令和３年１１月３０日 集会名、ウェブサイトのアドレス Ｓｐａｃｅｌｙ Ｃｏｎｎｅｃｔ ２０２１～ＤＸ 人材不足の課題解決に向けて～ （オンライン開催） ｈｔｔｐｓ：／／ｉｎｆｏ．ｓｐａｃｅｌｙ．ｃｏ．ｊｐ／５ｔｈ＿ａｎｎｉｖｅｒｓａｒｙ／

【新規性喪失の例外の表示】特許法第３０条第２項適用 開催日 令和３年１１月３０日 集会名、ウェブサイトのアドレス Ｓｐａｃｅｌｙ Ｃｏｎｎｅｃｔ ２０２１～ＤＸ人材不足の課題解決に向けて～（オンライン開催） ｈｔｔｐｓ：／／ｉｎｆｏ．ｓｐａｃｅｌｙ．ｃｏ．ｊｐ／５ｔｈ＿ａｎｎｉｖｅｒｓａｒｙ／

【早期審査対象出願】

(73)【特許権者】

【識別番号】517158083

【氏名又は名称】株式会社スペースリー

(74)【代理人】

【識別番号】230122390

【弁護士】

【氏名又は名称】石原 一樹

(74)【復代理人】

【識別番号】100147142

【弁理士】

【氏名又は名称】石森 昭慶

(72)【発明者】

【氏名】長谷川 顯之

【合議体】

【審判長】廣川 浩

【審判官】本郷 彰

【審判官】中木 努

(56)【参考文献】

【文献】特開２０２２－０２２１９０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／００６４２１６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２０／０２１１２８４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２１／０２２５０８１（ＵＳ，Ａ１）

【文献】特開２０２０－０３０６０９（ＪＰ，Ａ）

【文献】特開２０２１－１２５００７（ＪＰ，Ａ）

【文献】国際公開第２０２２／０２４８０３（ＷＯ，Ａ１）

【文献】特開２０２０－０３８６５７（ＪＰ，Ａ）

【文献】特開２０２１－１４０４３５（ＪＰ，Ａ）

【文献】特開２０２０－１３５６７９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T1/00,7/00-7/90,19/00

G06V 10/00-10/98

G06Q 50/16

(57)【特許請求の範囲】

【請求項1】

部屋を有する不動産物件の前記部屋の室内を撮像した室内画像の入力を受け付ける室内画像入力受付部と、
前記室内画像入力受付部により入力を受け付けられた前記室内画像に対してセグメンテーションを行うセグメンテーション部と、
前記セグメンテーション部により前記室内画像に対して行われたセグメンテーションの結果に基づいて、前記室内の構造である室内構造を推定する室内構造推定部と、
前記室内構造推定部より推定された前記室内構造に基づいて、前記不動産物件の三次元モデルを生成する三次元モデル生成部と、を備え、
前記セグメンテーション部は、前記室内画像に対して少なくともセマンティックセグメンテーション及びインスタンスセグメンテーションを行い、
前記インスタンスセグメンテーションによって、前記室内画像に含まれる前記部屋の境目について判別がなされる、三次元モデル生成装置。

【請求項2】

前記室内画像は、前記室内の全天球画像と、前記室内の全天球画像の一部である二次元画像と、を含み、
前記全天球画像において前記室内を上方から見た画像であるトップビュー画像に対して補正を行うトップビュー画像補正部を備え、
前記トップ画像補正部が、前記トップ画像における部位の位置を補正し、
前記トップビュー画像における前記部位の位置を補正することに伴って、前記二次元画像が補正され、前記補正された二次元画像に対するセグメンテーション結果に基づいて前記室内画像が補正されて、推定される、請求項１に記載の三次元モデル生成装置。

【請求項3】

前記室内画像は、前記室内の全天球画像の一部である二次元画像を含み、
前記二次元画像の一端と前記一端とは反対側の他端とを互いに結合する結合部を備え、
前記セグメンテーション部は、前記結合部により前記一端と前記他端とが互いに結合された前記二次元画像に対してセグメンテーションを行う、請求項１に記載の三次元モデル生成装置。

【請求項4】

前記不動産物件の間取りを示す間取図画像の入力を受け付ける間取図画像入力受付部と、
前記間取図画像入力受付部により入力を受け付けられた前記間取図画像に基づいて、前記不動産物件の構造である物件構造を推定する物件構造推定部と、
前記室内構造推定部により推定された前記室内構造と前記物件構造推定部により推定された前記物件構造とのマッチングを行うマッチング部と、を備え、
前記三次元モデル生成部は、前記マッチング部により行われた前記室内構造と前記物件構造とのマッチングの結果に基づいて、前記不動産物件の前記三次元モデルを生成する、請求項１に記載の三次元モデル生成装置。

【請求項5】

前記不動産物件の部屋タイプに関する部屋タイプ情報を取得する部屋タイプ情報取得部を備え、
前記三次元モデル生成部は、前記マッチング部により行われた前記室内構造と前記物件構造とのマッチングの結果、及び、前記部屋タイプ情報取得部により取得された前記部屋タイプ情報に基づいて、前記不動産物件の前記三次元モデルを生成する、請求項４に記載の三次元モデル生成装置。

【請求項6】

前記室内画像入力受付部は、前記不動産物件に対して複数の前記室内画像の入力を受付可能であり、
前記マッチング部により行われた前記室内構造と前記物件構造とのマッチングの結果に基づいて、複数の前記室内画像どうしの接続関係及び位置関係の少なくともいずれかを推定する関係推定部を備える、請求項４に記載の三次元モデル生成装置。

【請求項7】

コンピュータを、
部屋を有する不動産物件の前記部屋の室内を撮像した室内画像の入力を受け付ける室内画像入力受付部と、
前記室内画像入力受付部により入力を受け付けられた前記室内画像に対してセグメンテーションを行うセグメンテーション部と、
前記セグメンテーション部により前記室内画像に対して行われたセグメンテーションの結果に基づいて、前記室内の構造である室内構造を推定する室内構造推定部と、
前記室内構造推定部により推定された前記室内構造に基づいて、前記不動産物件の三次元モデルを生成する三次元モデル生成部と、として機能させ、
前記セグメンテーション部は、前記室内画像に対して少なくともセマンティックセグメンテーション及びインスタンスセグメンテーションを行い、
前記インスタンスセグメンテーションによって、前記室内画像に含まれる前記部屋の境目について判別がなされる、三次元モデル生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、三次元モデル生成装置及び三次元モデル生成プログラムに関する。

【背景技術】

【0002】

不動産物件における室内の情報を第三者に知得させるために当該不動産物件を三次元モデル化する技術が知られている。このような技術により不動産物件が三次元モデル化されると、通常のディスプレイのほか、ＶＲ（Virtual Reality：仮想現実）の技術を用いたＶＲゴーグル等に三次元モデルを表示させることで、当該不動産物件の室内の詳細な情報を第三者に知得させることが可能となる。例えば特許文献１には、不動産物件の間取図を解析して部屋領域等を特定することで所望の三次元モデルを生成する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－８１５４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した技術では、単に間取図に基づいて部屋領域等を特定することで三次元モデルを生成している。一方で、個々の不動産物件で室内の状況は多様であり、間取図には表されない詳細な情報をも第三者に知得させたいというニーズが存在する。

【0005】

そこで、本開示に係る三次元モデル生成装置及び三次元モデル生成プログラムは、より詳細な情報を含む不動産物件の三次元モデルを生成可能とすることを目的とする。

【課題を解決するための手段】

【0006】

本開示の一態様に係る三次元モデル生成装置（１）は、不動産物件の室内を撮像した室内画像（ＲＧ）の入力を受け付ける室内画像入力受付部（１０）と、室内画像入力受付部（１０）により入力を受け付けられた室内画像（ＲＧ）に対してセグメンテーションを行うセグメンテーション部（１２）と、セグメンテーション部（１２）により室内画像（ＲＧ）に対して行われたセグメンテーションの結果に基づいて、室内の構造である室内構造を推定する室内構造推定部（１３）と、室内構造推定部（１３）により推定された室内構造に基づいて、不動産物件の三次元モデルを生成する三次元モデル生成部（２０）と、を備える。

【0007】

本開示の一態様に係る三次元モデル生成プログラム（Ｐ）は、コンピュータ（Ｃ）を、不動産物件の室内を撮像した室内画像（ＲＧ）の入力を受け付ける室内画像入力受付部（１０）と、室内画像入力受付部（１０）により入力を受け付けられた室内画像（ＲＧ）に対してセグメンテーションを行うセグメンテーション部（１２）と、セグメンテーション部（１２）により室内画像（ＲＧ）に対して行われたセグメンテーションの結果に基づいて、室内の構造である室内構造を推定する室内構造推定部（１３）と、室内構造推定部（１３）により推定された室内構造に基づいて、不動産物件の三次元モデルを生成する三次元モデル生成部（２０）と、として機能させる。

【0008】

これらの三次元モデル生成装置（１）及び三次元モデル生成プログラム（Ｐ）の少なくともいずれかによれば、不動産物件の室内を撮像した室内画像（ＲＧ）に対してセグメンテーションを行うことにより室内画像（ＲＧ）に含まれる各部位の属性が把握され、把握された各部位の属性に基づいて室内構造が推定される。そして、このようにして推定された室内構造に基づいて不動産物件の三次元モデルが生成される。したがって、例えば単に間取図等から推定される室内構造に基づいて三次元モデルを生成する場合と比較して、室内の状況を詳細に反映した三次元モデルが生成される。よって、より詳細な情報を含む不動産物件の三次元モデルを生成可能となる。

【0009】

本開示の一態様に係る三次元モデル生成装置（１）では、セグメンテーション部（１２）は、室内画像（ＲＧ）に対して少なくとも２種類のセグメンテーションを行ってもよい。これによれば、例えば特定の種類のセグメンテーションでは判別しにくい物体についても別のセグメンテーションを行うことにより好適に判別可能となる。

【0010】

本開示の一態様に係る三次元モデル生成装置（１）では、セグメンテーション部（１２）は、室内画像（ＲＧ）に対して少なくともセマンティックセグメンテーション及びインスタンスセグメンテーションを行ってもよい。これによれば、例えばセマンティックセグメンテーションでは判別しにくい部屋の境目等についてもインスタンスセグメンテーションを行うことにより好適に判別可能となる。

【0011】

本開示の一態様に係る三次元モデル生成装置（１）では、室内画像（ＲＧ）は、室内の全天球画像を含み、全天球画像において室内を上方から見た画像であるトップビュー画像（ＴＧ）に対して補正を行うトップビュー画像補正部（１４）を備えてもよい。これによれば、推定された室内構造の壁又はコーナー等の位置を補正することができるため、より精度の高い三次元モデルを生成することができる。しかも、室内構造をトップビュー画像（ＴＧ）から補正することができるため、より直感的な操作が可能となり利便性が向上する。

【0012】

本開示の一態様に係る三次元モデル生成装置（１）では、室内画像（ＲＧ）は、室内の全天球画像の一部である二次元画像（ＰＧ）を含み、二次元画像（ＰＧ）の一端（ＰＧａ）と一端（ＰＧａ）とは反対側の他端（ＰＧｂ）とを互いに結合する結合部（１１）を備え、セグメンテーション部（１２）は、結合部（１１）により一端（ＰＧａ）と他端（ＰＧｂ）とが互いに結合された二次元画像（ＰＧ）に対してセグメンテーションを行ってもよい。室内画像（ＲＧ）に含まれる二次元画像（ＰＧ）は、室内の全天球画像の一部を構成している。例えば、二次元画像（ＰＧ）は、水平方向に３６０度にわたって撮像されたパノラマ画像であってもよい。このような二次元画像（ＰＧ）は、水平方向におけるいずれか一端（ＰＧａ）を基端として、当該一端（ＰＧａ）から３６０度の位置である他端（ＰＧｂ）を末端とした帯状の画像である。このとき、帯状の二次元画像（ＰＧ）における一端（ＰＧａ）と他端（ＰＧｂ）とでは室内の同一箇所（例えば、上下方向に延在する直線上の箇所）が撮像されている。ここで、二次元画像（ＰＧ）の一端（ＰＧａ）、すなわち他端（ＰＧｂ）の部分に重なるように存在する物体は、二次元画像（ＰＧ）上において、一端（ＰＧａ）側と他端（ＰＧｂ）側とに二分割されて表示されることとなる。そうすると、セグメンテーション部（１２）は、一端（ＰＧａ）側と他端（ＰＧｂ）側とに二分割されて表示された物体に対して適切にセグメンテーションを行うことが難しくなる。その結果、二次元画像（ＰＧ）上において当該物体が表示された部位の属性が正しく把握されにくくなり、ひいては室内構造が正しく推定されにくくなる。そこで、上述した三次元モデル生成装置（１）では、帯状の二次元画像（ＰＧ）の一端（ＰＧａ）と他端（ＰＧｂ）とを互いに結合してリング状にすることで、二次元画像（ＰＧ）の一端（ＰＧａ）、すなわち他端（ＰＧｂ）の部分に重なるように存在する物体が二分割された状態ではなくなり、当該物体に対しても適切にセグメンテーションを行いやすくなる。その結果、二次元画像（ＰＧ）上において当該物体が表示された部位の属性が正しく把握されやすくなり、ひいては室内構造が正しく推定されやすくなる。このように、一端（ＰＧａ）と他端（ＰＧｂ）とが互いに結合された二次元画像（ＰＧ）に対してセグメンテーションを行うことで、二次元画像（ＰＧ）が切れることによって画像認識の精度が低下しやすい部分についても好適にセグメンテーションを行うことが可能となる。なお、ここでは二次元画像（ＰＧ）の一例として水平方向に３６０度にわたって撮像されたパノラマ画像を例示したが、二次元画像（ＰＧ）は必ずしもこのような態様の画像でなくてもよく、例えば水平方向に対して交差する方向に３６０度にわたって撮像されたパノラマ画像等であってもよい。

【0013】

本開示の一態様に係る三次元モデル生成装置（１）は、不動産物件の間取りを示す間取図画像（ＦＧ）の入力を受け付ける間取図画像入力受付部（１５）と、間取図画像入力受付部（１５）により入力を受け付けられた間取図画像（ＦＧ）に基づいて、不動産物件の構造である物件構造を推定する物件構造推定部（１６）と、室内構造推定部（１３）により推定された室内構造と物件構造推定部（１６）により推定された物件構造とのマッチングを行うマッチング部（１７）と、を備え、三次元モデル生成部（２０）は、マッチング部（１７）により行われた室内構造と物件構造とのマッチングの結果に基づいて、不動産物件の三次元モデルを生成してもよい。これによれば、室内画像（ＲＧ）に基づいて推定された室内構造だけでなく、間取図画像（ＦＧ）に基づいて推定された物件構造にも基づいて、不動産物件の三次元モデルが生成される。このため、室内構造だけでは不明確になりやすい不動産物件の全体的な構造に関する情報を物件構造に基づいて補完することができる。よって、不動産物件の三次元モデルを精度良く生成することが可能となる。

【0014】

本開示の一態様に係る三次元モデル生成装置（１）は、不動産物件の部屋タイプに関する部屋タイプ情報を取得する部屋タイプ情報取得部（１９）を備え、三次元モデル生成部（２０）は、マッチング部（１７）により行われた室内構造と物件構造とのマッチングの結果、及び、部屋タイプ情報取得部（１９）により取得された部屋タイプ情報に基づいて、不動産物件の三次元モデルを生成してもよい。これによれば、不動産物件の有する部屋の種類や数に関する情報である部屋タイプ情報にも基づいて不動産物件の三次元モデルが生成される。よって、不動産物件の三次元モデルを精度良く生成することが可能となる。

【0015】

本開示の一態様に係る三次元モデル生成装置（１）では、室内画像入力受付部（１０）は、不動産物件に対して複数の室内画像（ＲＧ）の入力を受付可能であり、マッチング部（１７）により行われた室内構造と物件構造とのマッチングの結果に基づいて、複数の室内画像（ＲＧ）どうしの接続関係及び位置関係の少なくともいずれかを推定する関係推定部（１８）を備えてもよい。これによれば、不動産物件の複数の室内画像（ＲＧ）どうしの接続関係及び位置関係の少なくともいずれかが、室内構造推定部（１３）により推定された室内構造と物件構造推定部（１６）により推定された物件構造とのマッチングの結果に基づいて高精度に推定される。よって、不動産物件の三次元モデルを精度良く生成することが可能となる。

【0016】

なお、上記の括弧内の符号は、後述する実施形態における構成要素の符号を本開示の一例として示したものであって、本開示を実施形態の態様に限定するものではない。

【発明の効果】

【0017】

このように、本開示に係る三次元モデル生成装置及び三次元モデル生成プログラムは、より詳細な情報を含む不動産物件の三次元モデルを生成可能とすることができる。

【図面の簡単な説明】

【0018】

【図1】図１は、本実施形態に係る三次元モデル生成装置を示すブロック図である。

【図2】図２は、不動産物件の室内画像に含まれる二次元画像の一例を示す図である。

【図3】図３は、不動産物件の室内画像に対応したトップビュー画像の一例を示す図である。

【図4】図４は、不動産物件の間取図画像を示す図である。

【図5】図５は、三次元モデル生成装置により実行される三次元モデル生成処理の流れを示すフローチャートである。

【図6】図６は、三次元モデル生成プログラムを示すブロック図である。

【発明を実施するための形態】

【0019】

以下、図面を参照して例示的な実施形態について説明する。なお、各図における同一又は相当部分には同一符号を付し、重複する説明を省略する。

【0020】

［全体構成］
図１は、本実施形態に係る三次元モデル生成装置１を示すブロック図である。図１に示される三次元モデル生成装置１は、不動産物件における室内の情報を顧客等の第三者に知得させるために当該不動産物件を三次元モデル化する装置である。

【0021】

「不動産物件」とは、少なくとも室内と室外とを隔てる壁等の構造物を有する建築物であり、例えばマンション、アパート、戸建て住宅、事務所、店舗、又は倉庫等であってもよい。不動産物件は、１又は複数の部屋を有している。以下の説明では、不動産物件として部屋タイプが１ＬＤＫのマンションを例示する。「部屋タイプ」とは、部屋の種類及び数等に基づく不動産物件の分類である。例えば、１ＬＤＫとは、１部屋の居室（ルーム）に加えて、リビングダイニング及びキッチンを含む部屋タイプを表している。なお、部屋タイプは特に限定されず、例えばワンルーム、１Ｋ、１ＤＫ、１ＬＤＫ、２Ｋ、２ＤＫ、又は２ＬＤＫ等の任意の形態であってよい。

【0022】

「三次元モデル」とは、仮想的な三次元空間上に構築され、各種のアプリケーションを用いてコンピュータ上で閲覧及び操作可能な構造モデルである。三次元モデルは、ディスプレイに表示可能である。例えば、三次元モデルは、通常のディスプレイのほか、仮想現実技術を用いたＶＲゴーグル等にも表示可能であってもよい。ここでは、所定のアプリケーションを用いることにより、三次元モデル内の所望の視点からの視界をディスプレイ上に表示させることができる。また、恰も不動産物件内を移動するかのように、この視点を自由に（あるいは、一定の制限の範囲内で）移動させることができる。特に、不動産物件が複数の部屋を有している場合には、適切な経路（例えばドア等）を通って隣の部屋に視点を移動させることができる。三次元モデルは、不動産物件の各部屋に対して個別に生成される個別三次元モデル（換言すると、一空間の三次元モデル）と、複数の個別三次元モデルが最終的に組み合わされて不動産物件全体に対して生成される全体三次元モデル（換言すると、各空間が配置され接続された三次元モデル）とを含んでいてもよい。なお、全体三次元モデルは、ドールハウスとも称される。

【0023】

三次元モデル生成装置１の物理的な構成について説明する。三次元モデル生成装置１は、物理的には、ネットワークを介してユーザ端末２と通信可能なコンピュータＣ（サーバ）として構成されている。三次元モデル生成装置１は、制御演算装置、記憶装置、及び入出力装置を備えている。制御演算装置は、例えばＣＰＵ（Central Processing Unit）等のコントローラにより構成されており、演算処理を実行するとともに記憶装置及び入出力装置の制御を行う。記憶装置は、例えば主記憶装置及び補助記憶装置を有している。主記憶装置は、例えばＲＡＭ（Random Access Memory）により構成されている。また、補助記憶装置は、例えばＲＯＭ（Read Only Memory）により構成されている。入出力装置は、例えば外部からデータを入力されて記憶装置に送信する入力装置、及び、例えば制御演算装置により演算されて記憶装置に記憶された演算結果を外部に出力する出力装置を有している。また、入出力装置は、外部機器に対して情報の送信及び受信を行う通信装置を有している。

【0024】

三次元モデル生成装置１は、例えば、ＲＯＭに記憶されているプログラムをＲＡＭに読み込み、ＲＡＭに読み込まれたプログラムをＣＰＵにより実行することにより、所定の処理を実行する。具体的には、三次元モデル生成装置１は、ＲＯＭに記憶されている三次元モデル生成プログラムＰをＲＡＭに読み込み、ＲＡＭに読み込まれた三次元モデル生成プログラムＰをＣＰＵにより実行することにより、後述する三次元モデル生成処理を実行する。なお、三次元モデル生成装置１は、物理的に、上述した構成とは異なる構成を備えていてもよい。

【0025】

まず、ユーザ端末２について説明する。ユーザ端末２は、ユーザにより使用される端末である。ユーザ端末２は、ネットワークを介して三次元モデル生成装置１と通信可能なコンピュータとして構成されている。ユーザ端末２は、例えばデスクトップパソコン、ノートパソコン、タブレット、又はスマートフォン等であってもよく、ここではデスクトップパソコンを例示する。ユーザ端末２は、制御演算装置、記憶装置、及び入出力装置を備えている。ユーザ端末２では、三次元モデル生成装置１と協働して三次元モデルを作成したり、作成した三次元モデルをディスプレイに表示させたりするためのアプリケーションが使用可能な状態とされている。

【0026】

次に、三次元モデル生成装置１の機能的な構成について説明する。三次元モデル生成装置１は、機能的には、室内画像入力受付部１０、結合部１１、セグメンテーション部１２、室内構造推定部１３、トップビュー画像補正部１４、間取図画像入力受付部１５、物件構造推定部１６、マッチング部１７、関係推定部１８、部屋タイプ情報取得部１９、三次元モデル生成部２０、及び関係補正部２１を備えている。

【0027】

室内画像入力受付部１０は、室内画像ＲＧの入力を受け付ける。「室内画像」とは、不動産物件の室内を撮像した画像である。ここでは部屋タイプが１ＬＤＫのマンションを不動産物件として例示していることから、室内画像入力受付部１０は、例えば、居室の室内画像ＲＧ、リビングダイニングの室内画像ＲＧ、及びキッチンの室内画像ＲＧのように、部屋ごとの室内画像ＲＧの入力を受け付ける。つまり、換言すると、室内画像入力受付部１０は、不動産物件に対して複数の室内画像ＲＧの入力を受付可能である。なお、室内画像入力受付部１０は、例えばユーザ端末２から室内画像ＲＧの入力を受け付ける。

【0028】

室内画像ＲＧは、室内の全天球画像を含んでいる。「全天球画像」とは、視点の位置から見え得る全方位を含む画像である。特に、室内画像ＲＧは、二次元画像ＰＧを含んでいる。「二次元画像」とは、室内の全天球画像の一部である。図２は、不動産物件の室内画像ＲＧに含まれる二次元画像ＰＧの一例を示す図である。図２に示されるように、ここでは、二次元画像ＰＧは、水平方向に３６０度にわたって撮像されたパノラマ画像である。二次元画像ＰＧは、水平方向における一端ＰＧａを基端として、当該一端ＰＧａから３６０度の位置である他端ＰＧｂを末端とした帯状の画像である。このとき、帯状の二次元画像ＰＧにおける一端ＰＧａと他端ＰＧｂとでは室内の同一箇所（上下方向に延在する直線上の箇所）が撮像されている。ここで、二次元画像ＰＧの一端ＰＧａ（他端ＰＧｂ）の部分に重なるように存在する物体（オブジェクト）は、二次元画像ＰＧ上において、一端ＰＧａ側と他端ＰＧｂ側とに二分割されて表示される。図２においては、二次元画像ＰＧの両端部に位置する壁が、一端ＰＧａ側と他端ＰＧｂ側とに二分割されて表示されている。

【0029】

二次元画像ＰＧが一端ＰＧａ及び他端ＰＧｂにおいて切断された帯状の画像であることは、一般的な全天球画像のフォーマットに起因している。全天球画像は、例えば複数の方向（上下左右等）を撮像した画像片を組み合わせて（すなわち、スティッチングされて）生成される。なお、このスティッチングの処理は所定のアプリケーションを利用することで自動化可能であり、その場合、例えば１：２の縦横比の二次元画像ＰＧが生成される。ただし、アプリケーションにより、又は、アプリケーションの設定により、縦横比は１：２に限定されない。このようなフォーマットは、例えば「Equirectangular Image」とも称される。

【0030】

結合部１１は、二次元画像ＰＧに対して結合処理を実行する。「結合処理」とは、二次元画像ＰＧの一端ＰＧａと一端ＰＧａとは反対側の他端ＰＧｂとを互いに結合する処理である。図２に示される例では、壁が一端ＰＧａ側と他端ＰＧｂ側とに二分割されて表示されていたため、結合処理によって二分割された壁が連続した一体の物体として認識されることとなる。これにより、後述するセグメンテーションにおいて、この壁を好適に認識可能となる。

【0031】

セグメンテーション部１２は、室内画像入力受付部１０により入力を受け付けられた室内画像ＲＧに対してセグメンテーションを行う。例えば、セグメンテーション部１２は、室内画像ＲＧに含まれる二次元画像ＰＧに対してセグメンテーションを行ってもよい。換言すると、セグメンテーション部１２は、全天球画像から切り抜かれた一部の画像に対してセグメンテーションを行ってもよい。また、結合処理が実行された二次元画像ＰＧに対してセグメンテーションを行ってもよい。「セグメンテーション」とは、画像中において認識される各物体（部位）について、当該物体の属性（意味）を識別する処理である。例えば、セグメンテーションにより、室内画像ＲＧに含まれる天井、床、壁、窓、ドア、又はキッチン等を識別可能である。

【0032】

セグメンテーション部１２は、セグメンテーションとして、公知の手法を採用可能である。例えば、セグメンテーション部１２は、セマンティックセグメンテーション（Semantic Segmentation）、インスタンスセグメンテーション（Instance Segmentation）、又はパノプティックセグメンテーション（Panoptic Segmentation）等を採用してもよい。ここで、セグメンテーション部１２は、室内画像ＲＧに対して少なくとも２種類のセグメンテーションを行ってもよい。具体的には、セグメンテーション部１２は、室内画像ＲＧに対して少なくともセマンティックセグメンテーション及びインスタンスセグメンテーションを行ってもよい。これにより、セグメンテーションの種類ごとの得手不得手を互いに補うことができる。例えば、セマンティックセグメンテーションでは区別しにくい部屋同士の境目等をインスタンスセグメンテーションにより区別することができる場合がある。

【0033】

また、セグメンテーション部１２、結合部１１により一端ＰＧａと他端ＰＧｂとが互いに結合された二次元画像ＰＧ（すなわち、結合処理を実行された二次元画像ＰＧ）に対してセグメンテーションを行ってもよい。図２に示される例では、一端ＰＧａ側と他端ＰＧｂ側とに二分割されて表示されていた壁が結合処理によって一体の物体として認識されるため、セグメンテーション部１２は、この壁を好適に認識可能である。

【0034】

また、セグメンテーション部１２は、後述する間取図画像ＦＧに対してもセグメンテーションを行ってもよい。この場合、セグメンテーション部１２は、間取図画像ＦＧにおける各部屋等の属性（意味）を識別する。

【0035】

室内構造推定部１３は、不動産物件の室内構造を推定する。「室内構造」とは、室内の構造である。例えば、室内構造としては、壁、コーナー、ドア、又は窓等の位置関係が含まれてもよい。より詳細には、室内構造推定部１３は、セグメンテーション部１２により室内画像ＲＧに対して行われたセグメンテーションの結果に基づいて、室内の構造である室内構造を推定する。なお、室内構造推定部１３は、室内画像ＲＧに基づいて当該不動産物件の部屋タイプを更に推定してもよい。

【0036】

また、室内構造推定部１３は、室内画像ＲＧに対する画像処理を行う。そして、室内構造推定部１３は、セグメンテーションの結果に加えて画像処理の結果にも基づいて室内構造を推定してもよい。

【0037】

室内画像ＲＧに対して行われる画像処理としては、例えば消失点補正処理が例示される。「消失点補正処理」とは、室内画像ＲＧ中の消失点を検出し、検出した消失点を利用して画像の傾き（歪み）を補正する処理である。具体的には、消失点補正処理では、現実の物において互いに平行に構成されている複数の線（直線群）を特定するとともに、それらの直線群が室内画像ＲＧ中で平行となるように補正する処理である。例えば、直線群としては、壁と床とを区切る複数の境界線等が挙げられる。消失点補正処理が行われる前の室内画像ＲＧにおいては、一般に、本来平行に構成されるべき直線群が傾いて消失点が構成されている。室内画像ＲＧ中において、１点又は複数点の消失点が構成され得る。そこで、室内構造推定部１３は、任意のアルゴリズムを用いて消失点を検出するとともに、画像変換処理を行って画像の傾き（歪み）を補正する。なお、消失点を検出するアルゴリズムとしては公知の手法を採用可能であり、一例としてロバスト推定のアルゴリズムであるＲＡＮＳＡＣ（Random Sample Consensus）等が採用されてもよい。また、画像変換処理としても公知の手法を採用可能であり、一例としてホモグラフィ変換等が採用されてもよい。

【0038】

トップビュー画像補正部１４は、室内構造推定部１３により推定された室内構造を補正するものであり、特に、トップビュー画像ＴＧに対して補正を行うことにより室内構造を補正する。例えば、トップビュー画像補正部１４は、不動産物件の部屋ごとに室内構造を補正する。「トップビュー画像」とは、室内画像ＲＧに含まれる室内の全天球画像において、室内を上方から見た画像である。図３は、不動産物件の室内画像ＲＧに対応したトップビュー画像ＴＧの一例を示す図である。図３に示されるように、トップビュー画像ＴＧでは、室内を見下ろした平面図を室内画像ＲＧから生成した画像である。トップビュー画像補正部１４は、自動で、又は、ユーザによる手動で、トップビュー画像ＴＧにおける各部位の位置を補正する。例えば、トップビュー画像補正部１４は、トップビュー画像ＴＧにおける壁又はコーナー等の位置を補正する。

【0039】

トップビュー画像補正部１４によりトップビュー画像ＴＧが補正されると、それに伴って室内画像ＲＧが補正される。そして、補正された室内画像ＲＧに対するセグメンテーションの結果に基づいて室内構造が推定される。したがって、トップビュー画像ＴＧが補正されることで、推定される室内構造が補正されることとなる。

【0040】

間取図画像入力受付部１５は、間取図画像ＦＧの入力を受け付ける。「間取図画像」とは、不動産物件の間取りを示す図である。図４は、不動産物件の間取図画像ＦＧを示す図である。図４に示されるように、間取図画像ＦＧは、例えば不動産物件の全体を模式的に示した平面図である。ここでは、部屋タイプが１ＬＤＫであり、さらに廊下（玄関）、風呂（脱衣室）、トイレ、及びバルコニーを有する不動産物件の間取図画像ＦＧが示されている。間取図画像ＦＧに係る不動産物件は、室内画像ＲＧに係る不動産物件と同一のものである。なお、間取図画像入力受付部１５は、例えばユーザ端末２から間取図画像ＦＧの入力を受け付ける。

【0041】

物件構造推定部１６は、間取図画像入力受付部１５により入力を受け付けられた間取図画像ＦＧに基づいて、物件構造を推定する。「物件構造」とは、不動産物件の構造である。具体的には、物件構造とは、間取図画像ＦＧから推定可能な不動産物件の全体的な構造である。なお、物件構造推定部１６は、間取図画像ＦＧに基づいて当該不動産物件の部屋タイプを更に推定してもよい。

【0042】

マッチング部１７は、室内構造推定部１３により推定された室内構造と物件構造推定部１６により推定された物件構造とのマッチングを行う。すなわち、マッチング部１７は、室内構造推定部１３により推定された室内構造と物件構造推定部１６により推定された物件構造とを照合することにより、不動産物件の天井、床、壁、窓、ドア、又はキッチン等の形状、向き、及び関係性等を推定する。例えば、マッチング部１７は、室内構造と物件構造とのマッチングを行うことにより、部屋どうし（ドアどうし）の繋がりを推定する。これにより、情報の曖昧性が低減され、生成される三次元モデルの精度が向上する。なお、部屋タイプ情報取得部１９により部屋タイプ情報が取得されている場合には、マッチング部１７は、部屋タイプ情報を入力情報に付加することにより、より高精度なマッチングを行うことが可能となる。

【0043】

関係推定部１８は、マッチング部１７により行われた室内構造と物件構造とのマッチングの結果に基づいて、複数の室内画像ＲＧどうしの関係を推定する。複数の室内画像ＲＧどうしの関係とは、複数の室内画像ＲＧどうしの接続関係及び位置関係の少なくともいずれかであってもよい。すなわち、関係推定部１８は、室内画像入力受付部１０により複数の室内画像ＲＧの入力が受け付けられている場合に、これらの複数の室内画像ＲＧどうしの接続関係（どの室内画像ＲＧとどの室内画像ＲＧとが、どのドア等により接続されているか等）を推定してもよい。また、関係推定部１８は、室内画像入力受付部１０により複数の室内画像ＲＧの入力が受け付けられている場合に、これらの複数の室内画像ＲＧどうしの位置関係（ある室内画像ＲＧと別の室内画像ＲＧとが、どのような位置関係となっているか等）を推定してもよい。なお、関係推定部１８は、複数の室内画像ＲＧどうしの接続関係及び位置関係の両方を同時に推定することが特に好ましい。

【0044】

部屋タイプ情報取得部１９は、部屋タイプ情報を取得する。「部屋タイプ情報」とは、不動産物件の部屋タイプに関する情報であり、換言すると、その不動産物件の部屋タイプが何であるかを示す情報である。部屋タイプ情報取得部１９は、室内構造推定部１３により部屋タイプが推定されている場合には、室内構造推定部１３から部屋タイプ情報を取得してもよい。また、部屋タイプ情報取得部１９は、物件構造推定部１６により部屋タイプが推定されている場合には、物件構造推定部１６から部屋タイプ情報を取得してもよい。また、部屋タイプ情報取得部１９は、例えばユーザ端末２から部屋タイプ情報の入力を受け付けることにより、部屋タイプ情報を取得してもよい。

【0045】

三次元モデル生成部２０は、不動産物件の三次元モデルを生成する。上述したように、三次元モデルとは、仮想的な三次元空間上に構築され、ディスプレイに表示可能な構造モデルである。三次元モデル生成部２０は、不動産物件に関する各種情報に基づいて、当該不動産物件を仮想的な三次元空間上に再現した三次元モデルを生成可能である。

【0046】

例えば、三次元モデル生成部２０は、室内構造推定部１３により推定された室内構造に基づいて、不動産物件の三次元モデルを生成してもよい。つまり、三次元モデル生成部２０は、室内画像ＲＧから推定される室内構造から、当該不動産物件を仮想的な三次元空間上に再現した三次元モデルを生成してもよい。

【0047】

また、三次元モデル生成部２０は、マッチング部１７により行われた室内構造と物件構造とのマッチングの結果に基づいて、不動産物件の三次元モデルを生成してもよい。つまり、三次元モデル生成部２０は、室内画像ＲＧから推定される室内構造に加えて、間取図画像ＦＧから推定される物件構造から、当該不動産物件を仮想的な三次元空間上に再現した三次元モデルを生成してもよい。

【0048】

また、三次元モデル生成部２０は、マッチング部１７により行われた室内構造と物件構造とのマッチングの結果、及び、部屋タイプ情報取得部１９により取得された部屋タイプ情報に基づいて、不動産物件の三次元モデルを生成してもよい。つまり、三次元モデル生成部２０は、室内画像ＲＧから推定される室内構造、及び、間取図画像ＦＧから推定される物件構造に加えて、不動産物件の部屋タイプ情報から、当該不動産物件を仮想的な三次元空間上に再現した三次元モデルを生成してもよい。

【0049】

また、三次元モデル生成部２０は、不動産物件に対して複数の室内画像ＲＧが受け付けられている場合において、関係推定部１８により複数の室内画像ＲＧどうしの関係（複数の室内画像ＲＧどうしの接続関係及び位置関係の少なくともいずれか）が推定されているときには、マッチング部１７により行われた室内構造と物件構造とのマッチングの結果、及び、関係推定部１８により推定された複数の室内画像ＲＧどうしの関係（複数の室内画像ＲＧどうしの接続関係及び位置関係の少なくともいずれか）に基づいて、不動産物件の三次元モデルを生成してもよい。つまり、三次元モデル生成部２０は、室内画像ＲＧから推定される室内構造に加えて、間取図画像ＦＧから推定される物件構造から、当該不動産物件を仮想的な三次元空間上に再現した三次元モデルを生成してもよい。さらに、このときには、三次元モデル生成部２０は、マッチング部１７により行われた室内構造と物件構造とのマッチングの結果、関係推定部１８により推定された複数の室内画像ＲＧどうしの関係（複数の室内画像ＲＧどうしの接続関係及び位置関係の少なくともいずれか）、及び部屋タイプ情報取得部１９により取得された部屋タイプ情報に基づいて、不動産物件の三次元モデルを生成してもよい。

【0050】

関係補正部２１は、不動産物件の部屋ごとの室内構造を組み合わせた全体に対して、その構造を補正する。例えば、関係補正部２１は、複数の室内画像ＲＧどうしの接続関係及び位置関係の少なくともいずれかを補正してもよい。関係補正部２１は、例えば複数の部屋（全部又は一部の部屋）のトップビュー画像ＴＧを一括して表示させた一括トップビュー画像に対して補正を行うことにより室内構造を補正してもよい。あるいは、関係補正部２１は、トップビュー画像ＴＧ以外の画像に対して補正を行ってもよい。関係補正部２１は、手動による補正を受け付けることで、不動産物件全体の構造を補正してもよい。

【0051】

［三次元モデル生成処理］
図５は、三次元モデル生成装置１により実行される三次元モデル生成処理の流れを示すフローチャートである。図５に示される三次元モデル生成処理は、例えば三次元モデル生成装置１のコンピュータＣにより三次元モデル生成プログラムＰが実行されることによって開始される。

【0052】

ステップＳ１０において、三次元モデル生成装置１の室内画像入力受付部１０は、室内画像ＲＧの入力を受け付ける。ここでは、室内画像入力受付部１０は、不動産物件に対して複数の室内画像ＲＧの入力を受け付けるものとする。室内画像入力受付部１０は、例えばユーザ端末２から室内画像ＲＧの入力を受け付ける。その後、三次元モデル生成処理はステップＳ１２に移行する。

【0053】

ステップＳ１２において、三次元モデル生成装置１の結合部１１は、二次元画像ＰＧに対して結合処理を実行する。ここでは、壁が一端ＰＧａ側と他端ＰＧｂ側とに二分割されて表示されていたため（図２）、結合処理によって二分割された壁が連続した一体の物体として認識される。その後、三次元モデル生成処理はステップＳ１４に移行する。

【0054】

ステップＳ１４において、三次元モデル生成装置１のセグメンテーション部１２は、室内画像ＲＧに対してセグメンテーションを行う。ここでは、セグメンテーション部１２は、室内画像ＲＧのうち、結合処理が実行された二次元画像ＰＧに対してセグメンテーションを行う。また、ここでは、セグメンテーション部１２は、室内画像ＲＧに対してセマンティックセグメンテーション及びインスタンスセグメンテーションを行う。その後、三次元モデル生成処理はステップＳ１６に移行する。

【0055】

ステップＳ１６において、三次元モデル生成装置１の室内構造推定部１３は、不動産物件の室内構造を推定する。より詳細には、室内構造推定部１３は、セグメンテーション部１２により室内画像ＲＧに対して行われたセグメンテーションの結果に基づいて、室内の構造である室内構造を推定する。なお、室内構造推定部１３は、室内画像ＲＧに対する画像処理を行い、セグメンテーションの結果に加えて画像処理の結果にも基づいて室内構造を推定してもよい。また、室内構造推定部１３は、室内画像ＲＧに基づいて当該不動産物件の部屋タイプを更に推定してもよい。その後、三次元モデル生成処理はステップＳ１８に移行する。

【0056】

ステップＳ１８において、三次元モデル生成装置１のトップビュー画像補正部１４は、トップビュー画像ＴＧに対して補正を行う。トップビュー画像補正部１４は、自動で、又は、ユーザによる手動で、トップビュー画像ＴＧにおける各部位の位置を補正する。トップビュー画像補正部１４によりトップビュー画像ＴＧが補正されると、それに伴って室内画像ＲＧが補正される。そして、補正された室内画像ＲＧに対するセグメンテーションの結果に基づいて室内構造が推定される。したがって、トップビュー画像ＴＧが補正されることで、推定される室内構造が補正されることとなる。その後、三次元モデル生成処理はステップＳ２０に移行する。

【0057】

ステップＳ２０において、三次元モデル生成装置１の間取図画像入力受付部１５は、間取図画像ＦＧの入力を受け付ける。ここでは、間取図画像入力受付部１５は、部屋タイプが１ＬＤＫであり、さらに廊下（玄関）、風呂（脱衣室）、トイレ、及びバルコニーを有する不動産物件の間取図画像ＦＧの入力を受け付ける。間取図画像ＦＧに係る不動産物件は、室内画像ＲＧに係る不動産物件と同一のものである。間取図画像入力受付部１５は、例えばユーザ端末２から間取図画像ＦＧの入力を受け付ける。その後、三次元モデル生成処理はステップＳ２２に移行する。

【0058】

ステップＳ２２において、三次元モデル生成装置１の物件構造推定部１６は、間取図画像入力受付部１５により入力を受け付けられた間取図画像ＦＧに基づいて、物件構造を推定する。「物件構造」とは、不動産物件の構造である。具体的には、物件構造とは、間取図画像ＦＧから推定可能な不動産物件の全体的な構造である。なお、物件構造推定部１６は、間取図画像ＦＧに基づいて当該不動産物件の部屋タイプを更に推定してもよい。その後、三次元モデル生成処理はステップＳ２４に移行する。

【0059】

ステップＳ２４において、三次元モデル生成装置１の部屋タイプ情報取得部１９は、部屋タイプ情報を取得する。部屋タイプ情報取得部１９は、室内構造推定部１３により部屋タイプが推定されている場合には、室内構造推定部１３から部屋タイプ情報を取得してもよい。また、部屋タイプ情報取得部１９は、物件構造推定部１６により部屋タイプが推定されている場合には、物件構造推定部１６から部屋タイプ情報を取得してもよい。また、部屋タイプ情報取得部１９は、例えばユーザ端末２から部屋タイプ情報の入力を受け付けることにより、部屋タイプ情報を取得してもよい。その後、三次元モデル生成処理はステップＳ２６に移行する。

【0060】

ステップＳ２６において、三次元モデル生成装置１のマッチング部１７は、室内構造推定部１３により推定された室内構造と物件構造推定部１６により推定された物件構造とのマッチングを行う。なお、ここで、三次元モデル生成装置１の関係補正部２１は、不動産物件の部屋ごとの室内構造を組み合わせた全体に対して、その構造を補正してもよい。その後、三次元モデル生成処理はステップＳ２８に移行する。

【0061】

ステップＳ２８において、三次元モデル生成装置１の関係推定部１８は、マッチング部１７により行われた室内構造と物件構造とのマッチングの結果に基づいて、複数の室内画像ＲＧどうしの接続関係及び位置関係を推定する。なお、関係推定部１８は、複数の室内画像ＲＧどうしの接続関係又は位置関係のいずれか一方のみを推定してもよい。その後、三次元モデル生成処理はステップＳ３０に移行する。

【0062】

ステップＳ３０において、三次元モデル生成装置１の三次元モデル生成部２０は、不動産物件の三次元モデルを生成する。ここでは、三次元モデル生成部２０は、マッチング部１７により行われた室内構造と物件構造とのマッチングの結果、関係推定部１８により推定された複数の室内画像ＲＧどうしの関係（複数の室内画像ＲＧどうしの接続関係及び位置関係の少なくともいずれか）、及び部屋タイプ情報取得部１９により取得された部屋タイプ情報に基づいて、不動産物件の三次元モデルを生成する。つまり、三次元モデル生成部２０は、室内画像ＲＧから推定される室内構造、及び、間取図画像ＦＧから推定される物件構造に加えて、不動産物件の部屋タイプ情報から、当該不動産物件を仮想的な三次元空間上に再現した三次元モデルを生成する。その後、三次元モデル生成処理はステップＳ３２に移行する。

【0063】

ステップＳ３２において、三次元モデル生成装置１の関係補正部２１は、不動産物件の部屋ごとの室内構造を組み合わせた全体に対して、その構造を補正する。例えば、関係補正部２１は、複数の室内画像ＲＧどうしの接続関係及び位置関係の少なくともいずれかを補正する。以上により、三次元モデル生成処理は終了する。

【0064】

［三次元モデル生成プログラム］
図６は、三次元モデル生成プログラムＰを示すブロック図である。図６に示される三次元モデル生成プログラムＰは、コンピュータＣを三次元モデル生成装置１として機能させるためのプログラムである。

【0065】

三次元モデル生成プログラムＰは、メインモジュールＭＭ、室内画像入力受付モジュールＭ１０、結合モジュールＭ１１、セグメンテーションモジュールＭ１２、室内構造推定モジュールＭ１３、トップビュー画像補正モジュールＭ１４、間取図画像入力受付モジュールＭ１５、物件構造推定モジュールＭ１６、マッチングモジュールＭ１７、関係推定モジュールＭ１８、部屋タイプ情報取得モジュールＭ１９、三次元モデル生成モジュールＭ２０、及び関係補正モジュールＭ２１を備えている。メインモジュールＭＭは、コンピュータＣを統括的に制御する部分である。室内画像入力受付モジュールＭ１０、結合モジュールＭ１１、セグメンテーションモジュールＭ１２、室内構造推定モジュールＭ１３、トップビュー画像補正モジュールＭ１４、間取図画像入力受付モジュールＭ１５、物件構造推定モジュールＭ１６、マッチングモジュールＭ１７、関係推定モジュールＭ１８、部屋タイプ情報取得モジュールＭ１９、三次元モデル生成モジュールＭ２０、及び関係補正モジュールＭ２１のそれぞれを実行することにより実現される機能は、上述した室内画像入力受付部１０、結合部１１、セグメンテーション部１２、室内構造推定部１３、トップビュー画像補正部１４、間取図画像入力受付部１５、物件構造推定部１６、マッチング部１７、関係推定部１８、部屋タイプ情報取得部１９、三次元モデル生成部２０、及び関係補正部２１のそれぞれが有する機能と同一である。

【0066】

なお、三次元モデル生成プログラムＰは、室内画像入力受付モジュールＭ１０、セグメンテーションモジュールＭ１２、室内構造推定モジュールＭ１３、及び三次元モデル生成モジュールＭ２０以外の少なくともいずれかのモジュールを備えていなくてもよい。

【0067】

［作用及び効果］
以上説明したように、三次元モデル生成装置１は、不動産物件の室内を撮像した室内画像ＲＧの入力を受け付ける室内画像入力受付部１０と、室内画像入力受付部１０により入力を受け付けられた室内画像ＲＧに対してセグメンテーションを行うセグメンテーション部１２と、セグメンテーション部１２により室内画像ＲＧに対して行われたセグメンテーションの結果に基づいて、室内の構造である室内構造を推定する室内構造推定部１３と、室内構造推定部１３により推定された室内構造に基づいて、不動産物件の三次元モデルを生成する三次元モデル生成部２０と、を備える。

【0068】

三次元モデル生成プログラムＰは、コンピュータＣを、不動産物件の室内を撮像した室内画像ＲＧの入力を受け付ける室内画像入力受付部１０と、室内画像入力受付部１０により入力を受け付けられた室内画像ＲＧに対してセグメンテーションを行うセグメンテーション部１２と、セグメンテーション部１２により室内画像ＲＧに対して行われたセグメンテーションの結果に基づいて、室内の構造である室内構造を推定する室内構造推定部１３と、室内構造推定部１３により推定された室内構造に基づいて、不動産物件の三次元モデルを生成する三次元モデル生成部２０と、として機能させる。

【0069】

三次元モデル生成装置１及び三次元モデル生成プログラムＰの少なくともいずれかによれば、不動産物件の室内を撮像した室内画像ＲＧに対してセグメンテーションを行うことにより室内画像ＲＧに含まれる各部位の属性が把握され、把握された各部位の属性に基づいて室内構造が推定される。そして、このようにして推定された室内構造に基づいて不動産物件の三次元モデルが生成される。したがって、例えば単に間取図等から推定される室内構造に基づいて三次元モデルを生成する場合と比較して、室内の状況を詳細に反映した三次元モデルが生成される。よって、より詳細な情報を含む不動産物件の三次元モデルを生成可能となる。

【0070】

三次元モデル生成装置１では、セグメンテーション部１２は、室内画像ＲＧに対して少なくとも２種類のセグメンテーションを行う。これによれば、例えば特定の種類のセグメンテーションでは判別しにくい物体についても別のセグメンテーションを行うことにより好適に判別可能となる。

【0071】

三次元モデル生成装置１では、セグメンテーション部１２は、室内画像ＲＧに対して少なくともセマンティックセグメンテーション及びインスタンスセグメンテーションを行う。これによれば、例えばセマンティックセグメンテーションでは判別しにくい部屋の境目等についてもインスタンスセグメンテーションを行うことにより好適に判別可能となる。

【0072】

三次元モデル生成装置１では、室内画像ＲＧは、室内の全天球画像を含み、全天球画像において室内を上方から見た画像であるトップビュー画像ＴＧに対して補正を行うトップビュー画像補正部１４を備えている。これによれば、推定された室内構造の壁又はコーナー等の位置を補正することができるため、より精度の高い三次元モデルを生成することができる。しかも、室内構造をトップビュー画像ＴＧから補正することができるため、より直感的な操作が可能となり利便性が向上する。

【0073】

三次元モデル生成装置１では、室内画像ＲＧは、室内の全天球画像の一部である二次元画像ＰＧを含み、二次元画像ＰＧの一端ＰＧａと一端ＰＧａとは反対側の他端ＰＧｂとを互いに結合する結合部１１を備え、セグメンテーション部１２は、結合部１１により一端ＰＧａと他端ＰＧｂとが互いに結合された二次元画像ＰＧに対してセグメンテーションを行う。室内画像ＲＧに含まれる二次元画像ＰＧは、室内の全天球画像の一部を構成している。例えば、二次元画像ＰＧは、水平方向に３６０度にわたって撮像されたパノラマ画像であってもよい。このような二次元画像ＰＧは、水平方向におけるいずれか一端ＰＧａを基端として、当該一端ＰＧａから３６０度の位置である他端ＰＧｂを末端とした帯状の画像である。このとき、帯状の二次元画像ＰＧにおける一端ＰＧａと他端ＰＧｂとでは室内の同一箇所例えば、上下方向に延在する直線上の箇所が撮像されている。ここで、二次元画像ＰＧの一端ＰＧａ、すなわち他端ＰＧｂの部分に重なるように存在する物体は、二次元画像ＰＧ上において、一端ＰＧａ側と他端ＰＧｂ側とに二分割されて表示されることとなる。そうすると、セグメンテーション部１２は、一端ＰＧａ側と他端ＰＧｂ側とに二分割されて表示された物体に対して適切にセグメンテーションを行うことが難しくなる。その結果、二次元画像ＰＧ上において当該物体が表示された部位の属性が正しく把握されにくくなり、ひいては室内構造が正しく推定されにくくなる。そこで、上述した三次元モデル生成装置１では、帯状の二次元画像ＰＧの一端ＰＧａと他端ＰＧｂとを互いに結合してリング状にすることで、二次元画像ＰＧの一端ＰＧａ、すなわち他端ＰＧｂの部分に重なるように存在する物体が二分割された状態ではなくなり、当該物体に対しても適切にセグメンテーションを行いやすくなる。その結果、二次元画像ＰＧ上において当該物体が表示された部位の属性が正しく把握されやすくなり、ひいては室内構造が正しく推定されやすくなる。このように、一端ＰＧａと他端ＰＧｂとが互いに結合された二次元画像ＰＧに対してセグメンテーションを行うことで、二次元画像ＰＧが切れることによって画像認識の精度が低下しやすい部分についても好適にセグメンテーションを行うことが可能となる。なお、ここでは二次元画像ＰＧの一例として水平方向に３６０度にわたって撮像されたパノラマ画像を例示したが、二次元画像ＰＧは必ずしもこのような態様の画像でなくてもよく、例えば水平方向に対して交差する方向に３６０度にわたって撮像されたパノラマ画像等であってもよい。

【0074】

三次元モデル生成装置１は、不動産物件の間取りを示す間取図画像ＦＧの入力を受け付ける間取図画像入力受付部１５と、間取図画像入力受付部１５により入力を受け付けられた間取図画像ＦＧに基づいて、不動産物件の構造である物件構造を推定する物件構造推定部１６と、室内構造推定部１３により推定された室内構造と物件構造推定部１６により推定された物件構造とのマッチングを行うマッチング部１７と、を備え、三次元モデル生成部２０は、マッチング部１７により行われた室内構造と物件構造とのマッチングの結果に基づいて、不動産物件の三次元モデルを生成する。これによれば、室内画像ＲＧに基づいて推定された室内構造だけでなく、間取図画像ＦＧに基づいて推定された物件構造にも基づいて、不動産物件の三次元モデルが生成される。このため、室内構造だけでは不明確になりやすい不動産物件の全体的な構造に関する情報を物件構造に基づいて補完することができる。よって、不動産物件の三次元モデルを精度良く生成することが可能となる。

【0075】

三次元モデル生成装置１は、不動産物件の部屋タイプに関する部屋タイプ情報を取得する部屋タイプ情報取得部１９を備え、三次元モデル生成部２０は、マッチング部１７により行われた室内構造と物件構造とのマッチングの結果、及び、部屋タイプ情報取得部１９により取得された部屋タイプ情報に基づいて、不動産物件の三次元モデルを生成する。これによれば、不動産物件の有する部屋の種類や数に関する情報である部屋タイプ情報にも基づいて不動産物件の三次元モデルが生成される。よって、不動産物件の三次元モデルを精度良く生成することが可能となる。

【0076】

三次元モデル生成装置１では、室内画像入力受付部１０は、不動産物件に対して複数の室内画像ＲＧの入力を受付可能であり、マッチング部１７により行われた室内構造と物件構造とのマッチングの結果に基づいて、複数の室内画像ＲＧどうしの接続関係及び位置関係の少なくともいずれかを推定する関係推定部１８を備えている。これによれば、不動産物件の複数の室内画像ＲＧどうしの接続関係及び位置関係の少なくともいずれかが、室内構造推定部１３により推定された室内構造と物件構造推定部１６により推定された物件構造とのマッチングの結果に基づいて高精度に推定される。よって、不動産物件の三次元モデルを精度良く生成することが可能となる。

【0077】

［変形形態］
上述した実施形態は、当業者の知識に基づいて変更又は改良が施された様々な形態により実施可能である。

【0078】

例えば、上述した実施形態において、二次元画像ＰＧは、水平方向に３６０度にわたって撮像されたパノラマ画像である。しかし、二次元画像ＰＧは、水平方向に３６０度にわたって撮像されていなくてもよく、例えば水平方向に２７０度にわたって撮像されたパノラマ画像であってもよく、水平方向に１８０度にわたって撮像されたパノラマ画像であってもよく、水平方向に９０度にわたって撮像されたパノラマ画像であってもよく、水平方向に上記以外の角度にわたって撮像されたパノラマ画像であってもよい。また、二次元画像ＰＧは、水平方向に広角となるように撮像されていなくてもよく、例えば水平方向に対して交差する方向に広角となるように撮像されたパノラマ画像であってもよい。一例として、二次元画像ＰＧは、垂直方向に広角となるように撮像されたパノラマ画像であってもよい。

【符号の説明】

【0079】

１ 三次元モデル生成装置
１０ 室内画像入力受付部
１１ 結合部
１２ セグメンテーション部
１３ 室内構造推定部
１４ トップビュー画像補正部
１５ 間取図画像入力受付部
１６ 物件構造推定部
１７ マッチング部
１８ 関係推定部
１９ 部屋タイプ情報取得部
２０ 三次元モデル生成部
２１ 関係補正部
Ｃ コンピュータ
ＦＧ 間取図画像
Ｐ 三次元モデル生成プログラム
ＰＧ 二次元画像
ＰＧａ 一端
ＰＧｂ 他端
ＲＧ 室内画像
ＴＧ トップビュー画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】