ホーム > 特許ランキング > ＡＳＡＴＥＣ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-08-26
(45)【発行日】2022-09-05
(54)【発明の名称】建築予定建物確認システム
(51)【国際特許分類】
G06Q 50/16 20120101AFI20220829BHJP
【ＦＩ】
G06Q50/16
【請求項の数】
6
(21)【出願番号】P 2021196793
(22)【出願日】2021-12-03
【審査請求日】2021-12-03
【早期審査対象出願】
(73)【特許権者】
【識別番号】518044859
【氏名又は名称】ＡＳＡＴＥＣ株式会社
(74)【代理人】
【識別番号】110000925
【氏名又は名称】特許業務法人信友国際特許事務所
(72)【発明者】
【氏名】朝日 恵太
【審査官】阿部 潤
(56)【参考文献】
【文献】特開２０１７－０３３１５４（ＪＰ，Ａ）
【文献】特開２００３－３２９４４８（ＪＰ，Ａ）
【文献】特開２０１４－１１５９５７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００ － ９９／００
Ｇ１６Ｈ １０／００ － ８０／００
(57)【特許請求の範囲】
【請求項1】
建築予定の１つ又は複数の建物を、建築予定の敷地で、サーバと前記サーバにアクセス可能な情報処理端末を使って確認する建築予定建物確認システムであり、前記サーバは、
前記敷地又は前記敷地に隣接した箇所を撮影した敷地登録用画像から、前記敷地の三次元空間を生成する三次元空間生成部と、
予め決められた条件を満たす画像変化がある箇所である 特徴点を前記敷地登録用画像から抽出し、抽出した特徴点のデータに、前記三次元空間内の座標位置のデータを付加する特徴点抽出部と、
前記特徴点のデータと、前記三次元空間に配置される前記建物の三次元建物データを蓄積すると共に、前記敷地に紐づけられたコードを蓄積する記憶部と、を備え、
前記情報処理端末は、
カメラと、表示部と、前記カメラで撮影したユーザ撮影画像から予め決められた条件を満たす画像変化がある箇所である特徴点を抽出する特徴点抽出部と、を備え、
前記情報処理端末で 前記サーバにアクセスして、入力された前記コードを前記サーバに送信することで、前記コードに紐づいた前記敷地の前記三次元建物データと前記特徴点のデータを取得し、
前記情報処理端末の特徴点抽出部が前記ユーザ撮影画像から抽出した特徴点と、前記サーバから受信した特徴点との 照合により、前記三次元空間内の撮影位置と撮影方向を特定し、特定した撮影位置と撮影方向から見た前記三次元建物データによる仮想建物を描画して合成して、前記表示部に表示する
建築予定建物確認システム。
【請求項2】
前記敷地に隣接した箇所は、前記敷地に隣接した別の敷地に存在する建物である
請求項１に記載の建築予定建物確認システム。
【請求項3】
前記コードは、前記敷地または該当する物件を宣伝する媒体に所定の形式のコードで掲示するようにし、前記情報処理端末は、掲示された前記コードを前記カメラで撮影して入力する
請求項１に記載の建築予定建物確認システム。
【請求項4】
前記三次元建物データは、建物内部のデータを有し、前記情報処理端末により得た前記撮影位置が、前記建物内部の位置であるとき、前記仮想建物の内部を表示する
請求項１～３のいずれか１項に記載の建築予定建物確認システム。
【請求項5】
前記仮想建物の内部を表示する際に、前記仮想建物に存在する窓に、前記カメラで撮影したユーザ撮影画像の該当する画角の範囲を表示する請求項４に記載の建築予定建物確認システム。
【請求項6】
前記三次元建物データは、複数の階床を有する建物であり、前記仮想建物の内部を表示する際に、前記情報処理端末は、前記表示部に階床を選択するボタンを表示し、前記ボタンの操作に基づいて前記表示部が表示する前記仮想建物の内部の階床を切り替える
請求項４に記載の建築予定建物確認システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば不動産業者が未建築の住宅を販売する場合に適用して好適な建築予定建物確認システムに関する。
【背景技術】
【0002】
従来、不動産業者が建売住宅を販売する際に、販売する建物が敷地に未建築の更地である場合、該当する敷地に、建築予定の建物の間取り図面や、建築予定の建物の完成予定図などを掲示して、販売するのが一般的であった。
したがって、購入予定者は、敷地（更地）に掲示された建物の図面や完成予定図から、どのような建物が建築されるのかをイメージしていた。
したがって、購入予定者は、敷地（更地）に掲示された建物の図面や完成予定図から、どのような建物が建築されるのかをイメージしていた。
【0003】
これに対して、近年、ＡＲ（Augmented Reality）技術やＶＲ（Virtual Reality）の進展に伴って、完成予定の建物を、不動産業者が所持したタブレット端末やコンピュータ端末の画面上に３Ｄ表示させて、購入予定者に建物の完成状況をイメージさせることが行われている。
【0004】
特許文献１には、任意の地点で、スマートフォンを使って撮影を行うことで、撮影した画面上に、仮想空間画像を合成して表示する技術の例が記載されている。この特許文献１には、浸水予想を行うために浸水状況を仮想空間画像として表示する技術が記載されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１３－６９１７７号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１に記載された技術は、撮影した画像から空間のメッシュ情報を取得して、どの位置の画像であるかを端末内で判断し、判断した位置に対応した仮想空間画像を合成している。
ここで、特許文献１に記載される仮想空間画像は、背景技術の欄で述べた建築予定建物であり、特許文献１に記載の技術では、建築予定の敷地を撮影した画像上に、建築予定建物を合成して表示することが可能になる。
ここで、特許文献１に記載される仮想空間画像は、背景技術の欄で述べた建築予定建物であり、特許文献１に記載の技術では、建築予定の敷地を撮影した画像上に、建築予定建物を合成して表示することが可能になる。
【0007】
しかしながら、空間のメッシュ情報を取得するためには、特殊な解析処理が必要であり、メッシュ情報の解析処理が可能な高度な処理能力を備えた端末でしか合成表示を行うことができない。したがって、一般に普及したスマートフォンなどの端末を使って、建築予定建物を合成表示することは困難であり、建売住宅を購入予定の一般ユーザが所持した端末で、簡単に建築予定建物を３Ｄ表示させることは困難であった。
また、メッシュ情報で合成した場合、メッシュ情報のデータが面のデータのため、データ容量が非常に大きく、情報を扱う際の処理に非常に大きな処理能力が必要になるという問題がある。そのためメッシュ情報ではデータが重たく、5m範囲以内であれば指定の位置に表示できるが、使用者が5m以上歩いた場合、１m以上の差異が生じ、指定の場所からずれてしまう。特許文献１に記載される例のように洪水時の水面を合成表示する場合には、数ｍ程度のずれがあってもそれほど問題がないが、建築物を合成表示する用途には使用できない。
また、メッシュ情報で合成した場合、メッシュ情報のデータが面のデータのため、データ容量が非常に大きく、情報を扱う際の処理に非常に大きな処理能力が必要になるという問題がある。そのためメッシュ情報ではデータが重たく、5m範囲以内であれば指定の位置に表示できるが、使用者が5m以上歩いた場合、１m以上の差異が生じ、指定の場所からずれてしまう。特許文献１に記載される例のように洪水時の水面を合成表示する場合には、数ｍ程度のずれがあってもそれほど問題がないが、建築物を合成表示する用途には使用できない。
【0008】
本発明は、住宅を購入予定のユーザが、簡単に建築予定地で建築予定建物を確認することができる建築予定建物確認システムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の建築予定建物確認システムは、建築予定の建物を、建築予定の敷地で、情報処理端末を使って確認する建築予定建物確認システムであり、サーバと、サーバにアクセス可能な情報処理端末とで構成される。
サーバは、敷地又は敷地に隣接した箇所について撮影した敷地登録用画像から、敷地の三次元空間を生成する三次元空間生成部と、予め決められた条件を満たす画像変化がある箇所である特徴点を敷地登録用画像から抽出し、抽出した特徴点のデータに、三次元空間内の座標位置のデータを付加する特徴点抽出部と、特徴点のデータと、三次元空間に配置される建物の三次元建物データを蓄積すると共に、敷地に紐づけられたコードを蓄積する記憶部を備える。
サーバにアクセス可能な情報処理端末は、カメラと、表示部と、カメラで撮影したユーザ撮影画像から予め決められた条件を満たす画像変化がある箇所である特徴点を抽出する特徴点抽出部と、を備える。
そして、情報処理端末でサーバにアクセスして、入力されたコードをサーバに送信することで、コードに紐づいた敷地の三次元建物データと特徴点のデータを取得し、情報処理端末の特徴点抽出部がユーザ撮影画像から抽出した特徴点と、サーバから受信した特徴点との照合により、三次元空間内の撮影位置と撮影方向を特定し、特定した撮影位置と撮影方向から見た三次元建物データによる仮想建物を描画して合成して、表示部に表示させる。
サーバは、敷地又は敷地に隣接した箇所について撮影した敷地登録用画像から、敷地の三次元空間を生成する三次元空間生成部と、予め決められた条件を満たす画像変化がある箇所である特徴点を敷地登録用画像から抽出し、抽出した特徴点のデータに、三次元空間内の座標位置のデータを付加する特徴点抽出部と、特徴点のデータと、三次元空間に配置される建物の三次元建物データを蓄積すると共に、敷地に紐づけられたコードを蓄積する記憶部を備える。
サーバにアクセス可能な情報処理端末は、カメラと、表示部と、カメラで撮影したユーザ撮影画像から予め決められた条件を満たす画像変化がある箇所である特徴点を抽出する特徴点抽出部と、を備える。
そして、情報処理端末でサーバにアクセスして、入力されたコードをサーバに送信することで、コードに紐づいた敷地の三次元建物データと特徴点のデータを取得し、情報処理端末の特徴点抽出部がユーザ撮影画像から抽出した特徴点と、サーバから受信した特徴点との照合により、三次元空間内の撮影位置と撮影方向を特定し、特定した撮影位置と撮影方向から見た三次元建物データによる仮想建物を描画して合成して、表示部に表示させる。
【発明の効果】
【0010】
本発明によれば、情報処理端末でサーバにアクセスして、特徴点のデータと三次元建物データとを取得することで、敷地を撮影した画像上に、仮想建物を合成して表示することができる。この場合、例えば敷地内を動き回って情報処理端末で撮影を行うことで、様々な角度から仮想建物が表示されるようになり、建築予定の建物を敷地内で良好に確認することが可能になる。
また、メッシュ情報で合成した場合には、メッシュ情報のデータが面のデータのためデータ容量が重たいと共に、精度がよくなく、例えば５ｍ移動すると表示される建設物の位置がずれてしまうという問題があるが、本発明では、特徴点で処理を行うことで点群データのためデータが軽く、広範囲のエリアで移動しても表示されている建造物はずれない。そのため、家の中にも入り、裏側からの外観も見ることができる。
また、メッシュ情報で合成した場合には、メッシュ情報のデータが面のデータのためデータ容量が重たいと共に、精度がよくなく、例えば５ｍ移動すると表示される建設物の位置がずれてしまうという問題があるが、本発明では、特徴点で処理を行うことで点群データのためデータが軽く、広範囲のエリアで移動しても表示されている建造物はずれない。そのため、家の中にも入り、裏側からの外観も見ることができる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施の形態例によるシステム構成例を示す図である。
【図2】本発明の一実施の形態例によるサーバ及びユーザ端末のハードウェア構成例を示すブロック図である。
【図3】本発明の一実施の形態例によるサーバでの処理例を示すフローチャートである。
【図4】本発明の一実施の形態例による敷地の画像と、仮想建物の画像の例を示す図である。
【図5】本発明の一実施の形態例による看板の例を示す図である。
【図6】本発明の一実施の形態例によるユーザ端末での処理例を示すフローチャートである。
【図7】本発明の一実施の形態例によるユーザ端末での表示画面の例（その１）を示す図である。
【図8】本発明の一実施の形態例によるユーザ端末での表示画面の例（その２）を示す図である。
【図9】本発明の一実施の形態例による仮想建物の画像の例（外側から建物内部をみた状態）を示す図である。
【図10】本発明の一実施の形態例による仮想建物の画像の例（建物内部の状態）を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の一実施の形態例（以下、「本例」と称する）の建築予定建物確認システムを、添付図面を参照して説明する。
【0013】
［システム全体の構成と概要］
図１は、本例の建築予定建物確認システムの全体の概要を示す図である。
本例の建築予定建物確認システムは、不動産業者が建売住宅または注文住宅を販売する際に適用されるシステムであり、ここで販売する敷地は、建物は、建物が未建築で更地である。但し、更地であるのは一例であり、敷地に別の建物が存在する場合や、建物の建築が進行している場合でもよい。
図１は、本例の建築予定建物確認システムの全体の概要を示す図である。
本例の建築予定建物確認システムは、不動産業者が建売住宅または注文住宅を販売する際に適用されるシステムであり、ここで販売する敷地は、建物は、建物が未建築で更地である。但し、更地であるのは一例であり、敷地に別の建物が存在する場合や、建物の建築が進行している場合でもよい。
【0014】
図１に示すシステム構成について説明すると、不動産業者は、建物データを作成する建物データ作成端末１０を備え、敷地（更地）８０に建築予定の建物の三次元建物データ８１を作成する。ここで、三次元建物データ８１は、建物の形状だけでなく、外壁、屋根、窓、ドアなどが実際に完成した状態での建物を三次元で描画するためのデータである。また、建物の内部の各部屋の様子についても、三次元建物データ８１で示すことができる。この場合、三次元建物データ８１で示される建物の内部の様子には、キッチン設備や家具などの配置も含まれる。
【0015】
建物データ作成端末１０で作成される三次元建物データ８１は、ネットワークＮに接続されたサーバ３０に送られて、保存される。
また、不動産業者は、敷地登録端末２０で、現地の敷地８０を撮影し、撮影した敷地８０の画像を敷地登録用画像としてサーバ３０に送って、保存させる。この場合の敷地登録用画像は、敷地８０を様々な方向から撮影した複数枚の画像であることが好ましい。敷地登録端末２０は、ネットワークＮに接続可能で、かつ画像を撮影できる端末であれば、どのような端末でよい。
また、不動産業者は、敷地登録端末２０で、現地の敷地８０を撮影し、撮影した敷地８０の画像を敷地登録用画像としてサーバ３０に送って、保存させる。この場合の敷地登録用画像は、敷地８０を様々な方向から撮影した複数枚の画像であることが好ましい。敷地登録端末２０は、ネットワークＮに接続可能で、かつ画像を撮影できる端末であれば、どのような端末でよい。
【0016】
ネットワークＮに接続されたサーバ３０は、建物データ作成端末１０で作成された三次元建物データを保存する。そして、サーバ３０は、敷地登録端末２０から送付された複数枚の敷地登録用画像から、敷地の三次元空間を生成する。さらに、サーバ３０は、敷地の三次元空間内の特徴点を抽出して、抽出した特徴点のデータに、３次元空間内の座標位置のデータを付加して保存する。
特徴点は、例えば画像内の角となる輝度変化が大きい箇所など、予め決められた条件を満たす箇所である。
また、サーバ３０は、敷地８０ごとに、その敷地８０を特定するための二次元バーコードを発行する。サーバ３０が行う処理の詳細は、図３のフローチャートの説明で後述する。
特徴点は、例えば画像内の角となる輝度変化が大きい箇所など、予め決められた条件を満たす箇所である。
また、サーバ３０は、敷地８０ごとに、その敷地８０を特定するための二次元バーコードを発行する。サーバ３０が行う処理の詳細は、図３のフローチャートの説明で後述する。
【0017】
そして、不動産業者は、敷地８０に、建売住宅または注文住宅を販売することを案内する看板９０を設置し、看板９０にサーバ３０が提供するアプリケーション名と、サーバ３０が発行した二次元バーコード９１を記載する。
【0018】
この看板９０に記載された情報から、建売住宅あるいは注文住宅に興味を持ったユーザＵは、ユーザＵが所持したスマートフォンなどのユーザ端末（情報処理端末）４０で、サーバ３０が提供するアプリケーションプログラムをダウンロードし、サーバ３０にアクセスする。そして、ユーザＵは、ユーザ端末４０で看板９０に掲示された二次元バーコード９１を読み取って、二次元バーコード９１によるコードをユーザ端末４０からサーバ３０に送る。
【0019】
これにより、サーバ３０では、ユーザＵがいる敷地８０についての三次元建物データと、特徴点のデータをユーザ端末４０に送付する。
さらに、ユーザＵは、三次元建物データと特徴点のデータを取得したユーザ端末４０のカメラ機能で、敷地８０を撮影する。
ユーザ端末４０では、敷地８０を撮影したユーザＵの撮影画像から、特徴点が抽出され、この抽出した特徴点の配置関係が、サーバ３０から送信された特徴点の配置関係と比較される。
そして、ユーザＵは、サーバ３０から送信された特徴点の配置関係の中から、ユーザの抽出した特徴点の配置関係と一致するものを探索する。
さらに、ユーザＵは、三次元建物データと特徴点のデータを取得したユーザ端末４０のカメラ機能で、敷地８０を撮影する。
ユーザ端末４０では、敷地８０を撮影したユーザＵの撮影画像から、特徴点が抽出され、この抽出した特徴点の配置関係が、サーバ３０から送信された特徴点の配置関係と比較される。
そして、ユーザＵは、サーバ３０から送信された特徴点の配置関係の中から、ユーザの抽出した特徴点の配置関係と一致するものを探索する。
【0020】
この探索で、ユーザ端末４０は、ユーザＵの撮影画像が敷地８０をどの方向から撮影したものかを判断し、判断したユーザ撮影画像内の敷地８０に、サーバ３０から送信される三次元建物データによる建物８１を描画して合成する。これにより、ユーザ端末４０の表示部に、建物８１が合成された撮影画像が表示される。したがって、ユーザＵは、敷地８０に建築予定の建物を確認することが可能になる。
なお、ユーザＵは、敷地８０内を撮影しながら歩き回ることで、建物８１を様々な角度から見ることができる。この場合、ユーザＵが撮影する画像は動画になる場合もある。ユーザＵが撮影する画像が動画である場合、また、敷地８０の建物８１が建築される内部に立って撮影する場合には、建築予定の建物８１の内部の様子を見ることもできる。
なお、ユーザＵは、敷地８０内を撮影しながら歩き回ることで、建物８１を様々な角度から見ることができる。この場合、ユーザＵが撮影する画像は動画になる場合もある。ユーザＵが撮影する画像が動画である場合、また、敷地８０の建物８１が建築される内部に立って撮影する場合には、建築予定の建物８１の内部の様子を見ることもできる。
【0021】
［サーバ及びユーザ端末の構成］
図２（ａ）は、サーバ３０をコンピュータ装置で構成した場合のハードウェア構成例を示す。
サーバ３０を構成するコンピュータ装置は、バスにそれぞれ接続されたＣＰＵ（Central Processing Unit：中央処理ユニット）３１、グラフィック処理部３２、主記憶部３３、不揮発性ストレージ３４、及びネットワークインタフェース３５を備える。
図２（ａ）は、サーバ３０をコンピュータ装置で構成した場合のハードウェア構成例を示す。
サーバ３０を構成するコンピュータ装置は、バスにそれぞれ接続されたＣＰＵ（Central Processing Unit：中央処理ユニット）３１、グラフィック処理部３２、主記憶部３３、不揮発性ストレージ３４、及びネットワークインタフェース３５を備える。
【0022】
ＣＰＵ３１は、建築予定建物確認システム用のサーバ３０としての処理を実行するソフトウェアのプログラムコードを主記憶部３３または不揮発性ストレージ３４から読み出して実行する演算処理部である。主記憶部３３には、建築予定建物確認システム用のサーバとしての処理を実行するプログラムが記録される。
また、主記憶部３３には、ＣＰＵ３１の制御でプログラムを実行することで、各情報処理部が構成される。例えば、主記憶部３３には、図２（ａ）に示すように、三次元空間生成部３６や特徴点抽出部３７が構成される。
また、主記憶部３３には、ＣＰＵ３１の制御でプログラムを実行することで、各情報処理部が構成される。例えば、主記憶部３３には、図２（ａ）に示すように、三次元空間生成部３６や特徴点抽出部３７が構成される。
【0023】
不揮発性ストレージ３４は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの大容量情報記憶部である。不揮発性ストレージ３４には、プログラムのデータの他に、敷地８０についての特徴点のデータ、三次元建物データ８１、及び二次元バーコードのデータが保存される。
ネットワークインタフェース３５は、ネットワークＮを介して接続された、建物データ作成端末１０、敷地登録端末２０、及びユーザ端末４０とデータの伝送処理を行う。
ネットワークインタフェース３５は、ネットワークＮを介して接続された、建物データ作成端末１０、敷地登録端末２０、及びユーザ端末４０とデータの伝送処理を行う。
【0024】
図２（ｂ）は、スマートフォンなどの情報処理端末で構成されるユーザ端末４０のハードウェア構成例を示す。
ユーザ端末４０は、バスにそれぞれ接続されたＣＰＵ４１、主記憶部４２、不揮発性ストレージ４３、カメラ４４、通信部４５、及び表示部４６を備える。
ユーザ端末４０は、バスにそれぞれ接続されたＣＰＵ４１、主記憶部４２、不揮発性ストレージ４３、カメラ４４、通信部４５、及び表示部４６を備える。
【0025】
ＣＰＵ４１は、ユーザ端末４０としての処理を実行するソフトウェアのプログラムコードを主記憶部４２または不揮発性ストレージ４３から読み出して実行する演算処理部である。本例のシステムとして実行する場合には、主記憶部４２に、建築予定建物確認システム用のユーザ端末４０としての処理を実行するプログラムが記録される。
また、主記憶部４２には、ＣＰＵ４１の制御でプログラムを実行することで、各情報処理部が構成される。例えば、主記憶部４２には、図２（ｂ）に示すように、三次元空間生成部４７や特徴点抽出部４８が構成される。ユーザ端末４０の特徴点抽出部４８では、撮影画像から特徴点を抽出する処理の他、抽出した特徴点と、サーバ３０からダウンロードした特徴点との照合処理についても行われる。また、三次元空間生成部４７では、特徴点抽出部４８が複数の特徴点の一致を検出した場合に、その一致を検出した複数の特徴点について、撮影画像から得た特徴点と、サーバ３０から取得した特徴点との歪み状況から、ユーザ端末４０で撮影を行っている位置と撮影方向（姿勢）を算出し、撮影画像に合成するのに適切な建物８１の形状を得、該当する形状の建物８１を撮影画像に合成する。
また、主記憶部４２には、ＣＰＵ４１の制御でプログラムを実行することで、各情報処理部が構成される。例えば、主記憶部４２には、図２（ｂ）に示すように、三次元空間生成部４７や特徴点抽出部４８が構成される。ユーザ端末４０の特徴点抽出部４８では、撮影画像から特徴点を抽出する処理の他、抽出した特徴点と、サーバ３０からダウンロードした特徴点との照合処理についても行われる。また、三次元空間生成部４７では、特徴点抽出部４８が複数の特徴点の一致を検出した場合に、その一致を検出した複数の特徴点について、撮影画像から得た特徴点と、サーバ３０から取得した特徴点との歪み状況から、ユーザ端末４０で撮影を行っている位置と撮影方向（姿勢）を算出し、撮影画像に合成するのに適切な建物８１の形状を得、該当する形状の建物８１を撮影画像に合成する。
【0026】
不揮発性ストレージ４３は、例えば、半導体メモリなどの大容量情報記憶部である。不揮発性ストレージ４３には、サーバ３０からダウンロードしたプログラムのデータの他に、サーバ３０からダウンロードした敷地８０についての特徴点のデータ、三次元建物データ８１が保存される。
通信部４５は、無線伝送回線を経由してネットワークＮと接続して、サーバ３０などとデータの伝送処理を行う。
表示部４６は、各種情報の表示処理や、カメラ４４が撮影した画像の表示処理を行う。本例のシステムで行われる建物８１を描画して合成して表示する処理についても、表示部４６で行われる。また、表示部４６はタッチパネルが組み込まれ、ユーザによる操作を受付ける機能を有する。
通信部４５は、無線伝送回線を経由してネットワークＮと接続して、サーバ３０などとデータの伝送処理を行う。
表示部４６は、各種情報の表示処理や、カメラ４４が撮影した画像の表示処理を行う。本例のシステムで行われる建物８１を描画して合成して表示する処理についても、表示部４６で行われる。また、表示部４６はタッチパネルが組み込まれ、ユーザによる操作を受付ける機能を有する。
【0027】
［データの登録処理の流れ］
図３は、サーバ３０が三次元建物データ８１を保存するまでの処理の流れを示すフローチャートである。
まず、建売住宅を販売する業者は、敷地登録端末２０で、敷地８０内を複数の角度から撮影した複数枚の敷地登録用画像を得る（ステップＳ１１）。
そして、敷地登録端末２０は、撮影した敷地登録用画像を、サーバ３０にアップロードし、サーバ３０に敷地登録用画像を保存させる（ステップＳ１２）。
図３は、サーバ３０が三次元建物データ８１を保存するまでの処理の流れを示すフローチャートである。
まず、建売住宅を販売する業者は、敷地登録端末２０で、敷地８０内を複数の角度から撮影した複数枚の敷地登録用画像を得る（ステップＳ１１）。
そして、敷地登録端末２０は、撮影した敷地登録用画像を、サーバ３０にアップロードし、サーバ３０に敷地登録用画像を保存させる（ステップＳ１２）。
【0028】
サーバ３０の三次元空間生成部３６（図２）は、ステップＳ１２で保存した敷地登録用画像から、敷地８０の三次元空間を生成する（ステップＳ１３）。さらに、サーバ３０の特徴点抽出部３７（図２）は、敷地８０の三次元空間に存在する特徴点を、敷地登録用画像から抽出する（ステップＳ１４）。ここでの特徴点は、例えば画像内の角となるような輝度変化がしきい値以上に大きい箇所など、予め決められた条件を満たす箇所である。また、特徴点抽出部３７は、抽出した特徴点のそれぞれについて、三次元空間内の座標位置のデータを付加し、特徴点のデータと、特徴点の座標位置のデータとをサーバ３０に保存する。
なお、特徴点は、敷地８０の外の空間でもよい。例えば、敷地８０に隣接した別の敷地に存在する建物の外壁などでもよい。
なお、特徴点は、敷地８０の外の空間でもよい。例えば、敷地８０に隣接した別の敷地に存在する建物の外壁などでもよい。
【0029】
そして、サーバ３０は、建物データ作成端末１０で作成された、敷地８０（三次元空間）に配置する建物データを、建物データ作成端末１０からアップロードする（ステップＳ１５）。さらに、サーバ３０は、敷地８０を特定するための二次元バーコード、又は二次元バーコードの元になるコードを発行し、保存する（ステップＳ１６）。
なお、図３に示す３次元空間の生成や特徴点の抽出などの処理は、建物データ作成端末１０などのサーバ３０以外の端末が行って、サーバ３０は、作成されたデータの保存だけを行うようにしてもよい。
なお、図３に示す３次元空間の生成や特徴点の抽出などの処理は、建物データ作成端末１０などのサーバ３０以外の端末が行って、サーバ３０は、作成されたデータの保存だけを行うようにしてもよい。
【0030】
［敷地での掲示例及び建物表示例］
図４は、敷地８０に看板９０を設置した場合の例と、建物８１の表示例を示す。
図４（ａ）は、更地である敷地８０に、看板９０を設置した状態を示す。図４（ａ）の例では、手前側の道路の近傍の敷地８０内に、販売価格や敷地面積などの情報を表示した看板９０が設置されている。
図４は、敷地８０に看板９０を設置した場合の例と、建物８１の表示例を示す。
図４（ａ）は、更地である敷地８０に、看板９０を設置した状態を示す。図４（ａ）の例では、手前側の道路の近傍の敷地８０内に、販売価格や敷地面積などの情報を表示した看板９０が設置されている。
【0031】
図４（ｂ）は、この敷地８０を撮影した画像から、特徴点を抽出した状態を示す。図４（ｂ）で画像内に示されるそれぞれの黒い点８２が、特徴点である。図４（ｂ）の例では、少なくとも数百個の特徴点が抽出されている。
【0032】
【0033】
図５は、敷地８０に設置される看板９０の例を示す。
看板９０には、不動産業者の名称、電話番号、敷地の面積、販売価格などの販売情報９２が表示されると共に、建物８１の画像９３も表示される。
また、看板９０には、この敷地８０に割り当てられた二次元バーコード９１が表示される。さらに、看板９０には、建物８１を端末上に表示させるためのアプリようケーションプログラムのダウンロード手順９５と、該当するアプリケーションプログラムで実行される機能説明９６も表示される。機能説明９６には、空き地（敷地）に販売予定の家（建物８１）が出現することが示される。
看板９０には、不動産業者の名称、電話番号、敷地の面積、販売価格などの販売情報９２が表示されると共に、建物８１の画像９３も表示される。
また、看板９０には、この敷地８０に割り当てられた二次元バーコード９１が表示される。さらに、看板９０には、建物８１を端末上に表示させるためのアプリようケーションプログラムのダウンロード手順９５と、該当するアプリケーションプログラムで実行される機能説明９６も表示される。機能説明９６には、空き地（敷地）に販売予定の家（建物８１）が出現することが示される。
【0034】
［ユーザ端末で行う処理］
図６は、ユーザ端末４０で行う処理の流れを示すフローチャートである。
まず、敷地８０の看板９０の前にいるユーザＵは、看板９０のダウンロード手順９５（図５）を見て、サーバ３０が提供しているアプリケーションプログラムをユーザ端末４０にダウンロードする（ステップＳ２１）。
図６は、ユーザ端末４０で行う処理の流れを示すフローチャートである。
まず、敷地８０の看板９０の前にいるユーザＵは、看板９０のダウンロード手順９５（図５）を見て、サーバ３０が提供しているアプリケーションプログラムをユーザ端末４０にダウンロードする（ステップＳ２１）。
【0035】
そして、ユーザＵは、ユーザ端末４０でダウンロードしたアプリケーションプログラムを起動し、そのアプリケーションプログラムの実行画面の指示に従って、看板９０に掲示された二次元バーコード９１を撮影して、二次元バーコード９１を読み取らせる（ステップＳ２２）。
【0036】
ユーザ端末４０で二次元バーコード９１を読み取ることで、敷地８０に建物を表示するためのイベントが立ち上がる（ステップＳ２３）。このイベントの立ち上がりで、読み取った二次元バーコード９１によるコードがユーザ端末４０からサーバ３０に送信される。すると、サーバ３０は、そのコードに割り当てられた三次元建物データと特徴点データとを、ユーザ端末４０に送信する。
【0037】
その後、アプリケーションプログラムの実行により、ユーザ端末４０の表示部に、各種ユーザ情報を入力するためのアンケート入力画面が表示され、ユーザＵに各種ユーザ情報の入力を促す（ステップＳ２４）。アンケートの例は、図８（ｅ）に示す。
そして、ユーザ端末４０は、アンケートの入力が完了したか否かを判断する（ステップＳ２５）。このステップＳ２５で、アンケートの入力が完了しない場合（ステップＳ２５のＮＯ）、完了するまで待機する。
ステップＳ２５で、アンケートの入力が完了した場合（ステップＳ２５のＹＥＳ）、ユーザ端末４０は、入力されたデータをサーバ３０に送信すると共に、カメラ機能を起動し、表示部に撮影画像を表示する（ステップＳ２６）。このとき、表示部は、敷地（土地）を撮影するためのガイド表示を行う。
そして、ユーザ端末４０は、アンケートの入力が完了したか否かを判断する（ステップＳ２５）。このステップＳ２５で、アンケートの入力が完了しない場合（ステップＳ２５のＮＯ）、完了するまで待機する。
ステップＳ２５で、アンケートの入力が完了した場合（ステップＳ２５のＹＥＳ）、ユーザ端末４０は、入力されたデータをサーバ３０に送信すると共に、カメラ機能を起動し、表示部に撮影画像を表示する（ステップＳ２６）。このとき、表示部は、敷地（土地）を撮影するためのガイド表示を行う。
【0038】
ステップＳ２６でユーザ端末４０による撮影が開始した後、ユーザ端末４０は、撮影されたユーザ画像から特徴点を抽出する処理を行う（ステップＳ２７）。ここで特徴点を抽出する処理は、サーバ３０側で敷地登録画像から特徴点を抽出する処理と同じであり、画像内で予め決められた条件に合致した輝度変化などがある箇所（画像内の角などの特徴がある箇所）を抽出する。
そして、サーバ３０から受信した特徴点のデータと、ユーザ端末４０で得た撮影画像から抽出した特徴点のデータとを照合する（ステップＳ２８）。この照合で輝度変化などの特徴状態がほぼ一致する特徴点を探し出し、一致する範囲があるか否かを判断する（ステップＳ２９）。
そして、サーバ３０から受信した特徴点のデータと、ユーザ端末４０で得た撮影画像から抽出した特徴点のデータとを照合する（ステップＳ２８）。この照合で輝度変化などの特徴状態がほぼ一致する特徴点を探し出し、一致する範囲があるか否かを判断する（ステップＳ２９）。
【0039】
ここで一致する範囲がある場合には、一致した複数の特徴点（サーバ３０側の特徴点）による三次元空間内の本来の座標位置を、三次元空間生成部４７（図２（ｂ））で判断する。さらに、三次元空間生成部４７は、判断した複数の特徴点の本来の座標位置と、実際の撮影画像内の特徴点の位置との対応状況（歪み状況）から、ユーザ端末４０で撮影を行っている位置と撮影方向（姿勢）を得る。すなわち、ユーザ端末４０のカメラ４４で撮影した画像は、広角レンズなどの一般的な撮影用レンズで撮影を行った場合、敷地８０をある程度台形に歪めて撮影した画像であり、その歪み状況から、撮影を行っている位置と撮影方向（姿勢）を算出することができる。
【0040】
ステップＳ２９で一致する範囲がない場合（ステップＳ２９のＮＯ）、ユーザ端末４０は、ステップＳ２７での撮影画像からの特徴点の抽出処理に戻る。
また、ステップＳ２９で一致する範囲がある場合（ステップＳ２９のＹＥＳ）、ユーザ端末４０は、一致した複数の特徴点から得た撮影位置と撮影方向（姿勢）から見た建物８１を三次元建物データで描画する。そして、描画した建物８１を敷地８０の上に合成し、ユーザ端末４０の表示部４６に表示させる（ステップＳ３０）。そして、ステップＳ３０で表示を行った後、ステップＳ２７での撮影画像からの特徴点の抽出処理に戻る。
また、ステップＳ２９で一致する範囲がある場合（ステップＳ２９のＹＥＳ）、ユーザ端末４０は、一致した複数の特徴点から得た撮影位置と撮影方向（姿勢）から見た建物８１を三次元建物データで描画する。そして、描画した建物８１を敷地８０の上に合成し、ユーザ端末４０の表示部４６に表示させる（ステップＳ３０）。そして、ステップＳ３０で表示を行った後、ステップＳ２７での撮影画像からの特徴点の抽出処理に戻る。
【0041】
ステップＳ２７での撮影画像からの特徴点の抽出処理から、ステップＳ３０での建物８１の合成までの処理は、ユーザ端末４０での１フレームの撮影ごとに行われ、ユーザＵがカメラ機能で撮影する敷地８０の範囲を変化させることで、合成される建物８１の位置も対応してリアルタイムに変化する。したがって、ユーザ端末４０で表示される画像から、あたかも実際に建築された建物８１を見て回るようなことができる。
【0042】
また、ステップＳ２９で判断した撮影位置（ユーザ端末４０を持ったユーザＵが立っている位置）が、建物８１が配置される位置の内部である場合には、該当する位置から見た建物８１の内部の部屋なども表示される。このとき、建物８１の部屋などに窓（開口部）が配置されている場合、該当する窓などの開口部の部分には、ユーザ端末４０で得た撮影画像を嵌め込み、窓（開口部）から外の景色が見えるようにする。
【0043】
さらに、建物８１の内部を表示した状態で、該当する建物８１が複数の階床を有する場合、ユーザ端末４０の表示部は、階床選択ボタンを表示する。この階床選択ボタンがユーザＵによりタッチされると、ユーザ端末４０の表示部は、表示する建物８１の内部の階床を切り替える。
この階床を切り替える処理を行った場合で、１階以外の階床（２階、３階など）を表示した際に、窓の箇所にはめ込む画像は、撮影画像とは別に、予め用意した画像としてもよい。この予め用意した画像は、例えば小型の飛行物体（ドローン）に搭載したカメラで、２階や３階に相当する高さで撮影した画像から得ることもできる。
この階床を切り替える処理を行った場合で、１階以外の階床（２階、３階など）を表示した際に、窓の箇所にはめ込む画像は、撮影画像とは別に、予め用意した画像としてもよい。この予め用意した画像は、例えば小型の飛行物体（ドローン）に搭載したカメラで、２階や３階に相当する高さで撮影した画像から得ることもできる。
【0044】
［ユーザ端末での表示例］
図７及び図８は、ユーザ端末４０が図６のフローチャートの流れで敷地８０に建物８１を表示させる場合の、各ステップでのユーザ端末４０の表示部４６での表示例を示す。
図７（ａ）は、ステップＳ２２で二次元バーコードを読み取る画面の例を示す。ユーザＵは、この図７（ａ）に示す画面内の「ダウンロードする」と表示されたボタンをタッチすることで、ユーザ端末４０のカメラ機能が起動し、二次元バーコードを読み取る処理が開始される。
図７及び図８は、ユーザ端末４０が図６のフローチャートの流れで敷地８０に建物８１を表示させる場合の、各ステップでのユーザ端末４０の表示部４６での表示例を示す。
図７（ａ）は、ステップＳ２２で二次元バーコードを読み取る画面の例を示す。ユーザＵは、この図７（ａ）に示す画面内の「ダウンロードする」と表示されたボタンをタッチすることで、ユーザ端末４０のカメラ機能が起動し、二次元バーコードを読み取る処理が開始される。
【0045】
図７（ｂ）及び（ｃ）は、二次元バーコードを読み取る処理が開始された後に、看板９０に掲載された二次元バーコードを読み取る際の実際の表示例を示す。二次元バーコードが間近に表示されていない図７（ｂ）の状態では、ユーザ端末４０の表示部には、「バーコードをかざしてください。」という案内文字が表示される。そして、図７（ｃ）に示すように、カメラ画像内に二次元バーコードが大きく表示されたとき、ユーザ端末４０は、撮影して表示された二次元バーコードによるコードを認識し、認識したコードをサーバ３０に送信する。
【0046】
図７（ｄ）は、二次元バーコードを認識した後に表示されるイベント立ち上げ時の画面の例を示す。このイベント立ち上げ時の画面では、ダウンロードする建物８１が縮小表示され、「ダウンロードする」のボタンがユーザによりタッチされることで、該当する三次元建物データや特徴点のデータがユーザ端末４０にダウンロードされる。
【0047】
図８（ｅ）は、ステップＳ２４でユーザ端末４０の表示部がアンケートを表示した例を示す。図８（ｅ）に示すアンケート画面では、名前、性別、年齢、メールアドレス、電話番号、住所などの個人情報の入力箇所と、利用規約及びプライバシーポリシーに同意する欄と、アンケートデータの送信ボタンとが用意されている。
【0048】
図８（ｆ）は、ステップＳ２６でカメラ機能が起動した際の画面の例を示す。この画面の下側には、「土地をかざしてください。」と撮影を案内する文字が表示される。
【0049】
図８（ｇ）は、ユーザ端末４０で撮影した敷地８０に、三次元建物データによる建物８１を描画して合成した例を示す。この図８（ｇ）の例は、外側の道路側から敷地８０を撮影しているので、建物８１の外観形状が描画されて合成されている。
【0050】
なお、建物８１が建築される場所に近づいたときには、建物の内部のデータに基づいて、窓を通して見える建物内についても表示される。
図９は、この場合の表示例を示す。図９に示す例では、建物８１の窓８３の内側に、テーブルなどの家具８４が配置された状況や、部屋の壁などが表示されている。
図９は、この場合の表示例を示す。図９に示す例では、建物８１の窓８３の内側に、テーブルなどの家具８４が配置された状況や、部屋の壁などが表示されている。
【0051】
また、ユーザ端末４０を所持したユーザＵが、建物８１内に入った場合、ユーザ端末４０の表示部は、建物８１内の部屋を表示する。
図１０は、この場合の表示例を示す。図１０に示す例では、ユーザＵが立っている敷地８０の位置から見える建物８１の室内８１ｉが表示される。この場合にも、家具８４が配置された状況が表示される。また、窓８３の外側には、ユーザ端末４０のカメラが撮影した画像の該当範囲である、隣接した敷地の建物の外壁８５が、窓８３の外の景色として表示されている。
図１０は、この場合の表示例を示す。図１０に示す例では、ユーザＵが立っている敷地８０の位置から見える建物８１の室内８１ｉが表示される。この場合にも、家具８４が配置された状況が表示される。また、窓８３の外側には、ユーザ端末４０のカメラが撮影した画像の該当範囲である、隣接した敷地の建物の外壁８５が、窓８３の外の景色として表示されている。
【0052】
さらに、このときの建物８１が２階建であるとき、表示部の画面の下側には、１階と２階の階床を選択するボタンが表示され、この表示されたボタンをタッチすることで、表示する室内を１階と２階の間で切り替えることができる。既に説明したように、２階を表示した際には、窓にはめ込む画像（景色）も切り替えるのが好ましい。あるいは、２階を表示した際には、窓には何も画像をはめ込まないようにしてもよい。
【0053】
なお、図１０では、１階と２階を切り替えるようにしたが、例えば、建物８１として、間取りやデザインが異なる複数の建物の三次元建物データを用意して、その複数の建物のデータを、図１０の例のような画面中のボタン操作で、切り替えるようにしてもよい。複数の建物のデータとしては、間取りやデザインが異なる建物の他に、メーカーが異なる複数の建物を用意して切り替えるようにしてもよい。
【0054】
以上説明したように、本例の建築予定建物確認システムによると、建売住宅の建築予定地である敷地８０にいるユーザＵは、ユーザ端末４０を操作するだけで、その敷地８０に建築予定の建物８１を見ることができる。この場合、ユーザ端末４０は、カメラ機能で撮影したユーザ画像から特徴点を抽出して、抽出した特徴点をダウンロードした特徴点と照合するだけで、撮影画像が敷地８０のどの箇所であるかを判断することができる。したがって、従来のメッシュデータやＧＰＳなどを使った位置判断をする必要がないので、簡単な処理で位置を特定することができる。
【0055】
また、図９に示すように、建物の内部を表示できるため、ユーザＵは、敷地８０内を歩き回ることで、建物８１の内部の詳細を確認することもできる。さらに、図１０に示すように、ユーザＵは、建物８１の窓８３の外の景色も確認することが可能になる。さらに、ユーザＵは、２階などの別の階床の内部の様子も確認できるようになる。間取り、デザイン、メーカーなどが異なる複数の建物のデータを用意した場合には、複数のモデルの確認も行え、どのような建物を建てるのがよいかを検討でき、住宅メーカーや住宅のタイプの選定も行えるようになる。
【0056】
［変形例］
なお、ここまで説明した実施の形態例は、本発明を分かりやすく説明するために詳細に説明したものであり、説明した例に限定されるものではない。例えば、上述した実施の形態例では、情報処理端末であるユーザ端末は、スマートフォンとした例を説明したが、ユーザの頭部に装着する、いわゆるヘッドマウントディスプレイをユーザ端末として利用することもできる。そして、ユーザＵは、そのヘッドマウントディスプレイを装着した状態で、ユーザＵ自身の動きに合わせて、表示される建物を変化させることもできる。ここでのヘッドマウントディスプレイは、カメラを内蔵したものが使用される。
なお、ここまで説明した実施の形態例は、本発明を分かりやすく説明するために詳細に説明したものであり、説明した例に限定されるものではない。例えば、上述した実施の形態例では、情報処理端末であるユーザ端末は、スマートフォンとした例を説明したが、ユーザの頭部に装着する、いわゆるヘッドマウントディスプレイをユーザ端末として利用することもできる。そして、ユーザＵは、そのヘッドマウントディスプレイを装着した状態で、ユーザＵ自身の動きに合わせて、表示される建物を変化させることもできる。ここでのヘッドマウントディスプレイは、カメラを内蔵したものが使用される。
【0057】
また、上述した実施の形態例では、サーバ３０が三次元空間生成機能と特徴点抽出機能を備えるようにしたが、これらの三次元空間生成機能と特徴点抽出機能は、建物データ作成端末１０や敷地登録端末２０が備えるようにして、サーバ３０では建物データや特徴点データの保持だけを行うようにしてもよい。
【0058】
さらに、上述した実施の形態例では、１つの敷地に対して１つの建物の三次元データを用意したが、１つの敷地に対して複数の建物のデータを用意して、表示する建物を切り替えるようにしてもよい。
また、上述した実施の形態例では、二次元バーコードは、敷地に設置した看板に記載したが、その他の箇所に二次元バーコードなどのコード、またはアクセスする数字などを記載してもよい。例えば、宣伝用のパンフレットなどの該当する物件を宣伝する媒体に、所定の形式のコードを掲示してもよい。ここでの媒体には、印刷物の他に、インターネットで接続して閲覧されるホームページも含まれる。
また、上述した実施の形態例では、二次元バーコードは、敷地に設置した看板に記載したが、その他の箇所に二次元バーコードなどのコード、またはアクセスする数字などを記載してもよい。例えば、宣伝用のパンフレットなどの該当する物件を宣伝する媒体に、所定の形式のコードを掲示してもよい。ここでの媒体には、印刷物の他に、インターネットで接続して閲覧されるホームページも含まれる。
【符号の説明】
【0059】
１０…建物データ作成端末、２０…敷地登録端末、３０…サーバ、３１…ＣＰＵ、３２…グラフィック処理部、３３…主記憶部、３４…不揮発性ストレージ、３５…ネットワークインタフェース、３６…三次元空間生成部、３７…特徴点抽出部、４０…ユーザ端末、４１…ＣＰＵ、４２…主記憶部、４３…不揮発性ストレージ、４４…カメラ、４５…通信部、４６…表示部、４７…三次元空間生成部、４８…特徴点抽出部、８０…敷地、８１…建物、８１ｉ…室内、８３…窓、８４…家具、８５…外壁、９０…看板、９１…二次元バーコード
【要約】
【課題】住宅を購入予定のユーザが、簡単に建築予定地で建築予定建物を確認できるようにする。
【解決手段】サーバと、サーバにアクセス可能な端末とで構成される。サーバは、敷地について撮影した画像から、敷地の三次元空間を生成し、三次元空間内の特徴点を抽出し、抽出した特徴点のデータに、三次元空間内の座標位置のデータを付加し、特徴点のデータと、三次元空間に配置される建物の三次元建物データを蓄積する。端末は、サーバにアクセスして三次元建物データと特徴点のデータを取得し、カメラで敷地を撮影したユーザ撮影画像から特徴点を抽出し、受信した特徴点と端末で抽出した特徴点との照合により、三次元空間内の撮影位置と撮影方向を特定し、特定した撮影位置と姿勢から見た三次元建物データによる仮想建物を合成して、表示部に表示させる。
【選択図】図１
【解決手段】サーバと、サーバにアクセス可能な端末とで構成される。サーバは、敷地について撮影した画像から、敷地の三次元空間を生成し、三次元空間内の特徴点を抽出し、抽出した特徴点のデータに、三次元空間内の座標位置のデータを付加し、特徴点のデータと、三次元空間に配置される建物の三次元建物データを蓄積する。端末は、サーバにアクセスして三次元建物データと特徴点のデータを取得し、カメラで敷地を撮影したユーザ撮影画像から特徴点を抽出し、受信した特徴点と端末で抽出した特徴点との照合により、三次元空間内の撮影位置と撮影方向を特定し、特定した撮影位置と姿勢から見た三次元建物データによる仮想建物を合成して、表示部に表示させる。
【選択図】図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】