(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024050063
(43)【公開日】2024-04-10
(54)【発明の名称】見取り図生成支援装置、見取り図生成支援方法、プログラム及び記録媒体
(51)【国際特許分類】
G06T 7/33 20170101AFI20240403BHJP
【FI】
G06T7/33
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022156655
(22)【出願日】2022-09-29
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.JAVASCRIPT
(71)【出願人】
【識別番号】000232092
【氏名又は名称】NECソリューションイノベータ株式会社
(74)【代理人】
【識別番号】100115255
【弁理士】
【氏名又は名称】辻丸 光一郎
(74)【代理人】
【識別番号】100201732
【弁理士】
【氏名又は名称】松縄 正登
(74)【代理人】
【識別番号】100154081
【弁理士】
【氏名又は名称】伊佐治 創
(74)【代理人】
【識別番号】100227019
【弁理士】
【氏名又は名称】安 修央
(72)【発明者】
【氏名】石田 州裕
(72)【発明者】
【氏名】山上 辰典
(72)【発明者】
【氏名】片山 紘希
(72)【発明者】
【氏名】山地 智
(72)【発明者】
【氏名】足立 浩基
(72)【発明者】
【氏名】外村 彰英
(72)【発明者】
【氏名】高橋 昌也
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096CA04
5L096CA18
5L096FA19
5L096FA26
5L096FA66
5L096FA67
5L096FA69
5L096MA03
(57)【要約】 (修正有)
【課題】簡便に見取り図を生成可能な見取り図生成支援装置、見取り図生成支援方法、プログラム及び記録媒体を提供する。
【解決手段】見取り図生成支援装置10は、画像情報取得部、マーカ検出部、距離推定部、座標推定部及び見取り図生成部を含む。画像情報取得部は、画像及び撮像方向情報を含む画像情報を取得する。マーカ検出部は、前記画像に含まれるマーカを検出する。距離推定部は、前記画像中のマーカの大きさと、マーカの寸法情報とに基づいて、前記画像を撮像した撮像装置からマーカまでの距離を推定する。座標推定部は、撮像方向及びマーカまでの距離に基づいて、撮像装置を基準点とするマーカの座標を推定する。見取り図生成部は、マーカの座標に基づいて見取り図を生成する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
画像情報取得部、マーカ検出部、距離推定部、座標推定部、及び見取り図生成部を含み、
前記画像情報取得部は、画像情報を取得し、
前記画像情報は、画像、及び、撮像方向情報を含み、
前記マーカ検出部は、前記画像に含まれるマーカを検出し、
前記距離推定部は、前記画像中のマーカの大きさと、マーカの寸法情報とに基づいて、前記画像を撮像した撮像装置から前記マーカまでの距離を推定し、
前記座標推定部は、前記撮像方向、及び前記距離に基づいて、前記撮像装置を基準点とするマーカの座標を推定し、
前記見取り図生成部は、前記マーカの座標に基づいて見取り図を生成する、見取り図生成支援装置。
【請求項2】
前記見取り図生成部は、各マーカの座標、及び、前記撮像装置と各マーカとの距離に基づいて、マーカ間の距離を推定する、請求項1記載の見取り図生成支援装置。
【請求項3】
合成部を含み、
前記画像情報は、複数の画像を含み、
前記マーカ検出部は、さらに、マーカの識別情報を検出し、
前記座標推定部は、前記複数の画像毎に、各画像の撮像装置を基準点とするマーカの座標を推定し、
前記合成部は、前記マーカの識別情報に基づいて、前記画像毎に推定した座標を合成した合成座標情報を生成し、
前記見取り図生成部は、前記合成座標情報に基づいて見取り図を生成する、請求項1又は2記載の見取り図生成支援装置。
【請求項4】
画像変換部を含み、
前記画像が、全天球画像であり、
前記画像変換部は、前記撮像方向情報に基づいて、前記全天球画像を第1展開画像に変換し、
前記マーカ検出部は、前記第1展開画像に含まれるマーカを検出する、請求項1又は2記載の見取り図生成支援装置。
【請求項5】
前記画像変換部は、さらに、前記全天球画像を、その撮像方向を変更した第2展開画像に変換し、
前記マーカ検出部は、前記第1展開画像及び前記第2展開画像の少なくとも一方に含まれるマーカを検出する、請求項4記載の見取り図生成支援装置。
【請求項6】
画像情報取得工程、マーカ検出工程、距離推定工程、座標推定工程、及び見取り図生成工程を含み、
前記画像情報取得工程は、画像情報を取得し、
前記画像情報は、画像、及び、撮像方向情報を含み、
前記マーカ検出工程は、前記画像に含まれるマーカを検出し、
前記距離推定工程は、前記画像中のマーカの大きさと、マーカの寸法情報とに基づいて、前記撮像方法から前記マーカまでの距離を推定し、
前記座標推定工程は、前記撮像方向、及び前記距離に基づいて、前記撮像方法を基準点とするマーカの座標を推定し、
前記見取り図生成工程は、前記マーカの座標に基づいて見取り図を生成する、見取り図生成支援方法。
【請求項7】
前記見取り図生成工程は、各マーカの座標、及び、前記撮像方法と各マーカとの距離に基づいて、マーカ間の距離を推定する、請求項6記載の見取り図生成支援方法。
【請求項8】
合成工程を含み、
前記画像情報は、複数の画像を含み、
前記マーカ検出工程は、さらに、マーカの識別情報を検出し、
前記座標推定工程は、前記複数の画像毎に、各画像の撮像方法を基準点とするマーカの座標を推定し、
前記合成工程は、前記マーカの識別情報に基づいて、前記画像毎に推定した座標を合成した合成座標情報を生成し、
前記見取り図生成工程は、前記合成座標情報に基づいて見取り図を生成する、請求項6又は7記載の見取り図生成支援方法。
【請求項9】
画像情報取得手順、マーカ検出手順、距離推定手順、座標推定手順、及び見取り図生成手順を含み、
前記画像情報取得手順は、画像情報を取得し、
前記画像情報は、画像、及び、撮像方向情報を含み、
前記マーカ検出手順は、前記画像に含まれるマーカを検出し、
前記距離推定手順は、前記画像中のマーカの大きさと、マーカの寸法情報とに基づいて、前記撮像方法から前記マーカまでの距離を推定し、
前記座標推定手順は、前記撮像方向、及び前記距離に基づいて、前記撮像方法を基準点とするマーカの座標を推定し、
前記見取り図生成手順は、前記マーカの座標に基づいて見取り図を生成し、
前記各手順をコンピュータに実行させるためのプログラム。
【請求項10】
画像情報取得手順、マーカ検出手順、距離推定手順、座標推定手順、及び見取り図生成手順を含み、
前記画像情報取得手順は、画像情報を取得し、
前記画像情報は、画像、及び、撮像方向情報を含み、
前記マーカ検出手順は、前記画像に含まれるマーカを検出し、
前記距離推定手順は、前記画像中のマーカの大きさと、マーカの寸法情報とに基づいて、前記撮像方法から前記マーカまでの距離を推定し、
前記座標推定手順は、前記撮像方向、及び前記距離に基づいて、前記撮像方法を基準点とするマーカの座標を推定し、
前記見取り図生成手順は、前記マーカの座標に基づいて見取り図を生成し、
前記各手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、見取り図生成支援装置、見取り図生成支援方法、プログラム及び記録媒体に関する。
【背景技術】
【0002】
不動産物件等において、物件の内見を支援するため、ICTシステムを利用して物件の画像等を表示するシステムが知られている(特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、物件情報である見取り図の作成には、人手と手間がかかるという課題がある。
【0005】
そこで本発明は、簡便に見取り図を生成可能な見取り図生成支援装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
前記目的を達成するために、本発明の見取り図生成支援装置は、
画像情報取得部、マーカ検出部、距離推定部、座標推定部、及び見取り図生成部を含み、
前記画像情報取得部は、画像情報を取得し、
前記画像情報は、画像、及び、撮像方向情報を含み、
前記マーカ検出部は、前記画像に含まれるマーカを検出し、
前記距離推定部は、前記画像中のマーカの大きさと、マーカの寸法情報とに基づいて、前記画像を撮像した撮像装置から前記マーカまでの距離を推定し、
前記座標推定部は、前記撮像方向、及び前記距離に基づいて、前記撮像装置を基準点とするマーカの座標を推定し、
前記見取り図生成部は、前記マーカの座標に基づいて見取り図を生成する。
【0007】
本発明の見取り図生成支援方法は、
画像情報取得工程、マーカ検出工程、距離推定工程、座標推定工程、及び見取り図生成工程を含み、
前記画像情報取得工程は、画像情報を取得し、
前記画像情報は、画像、及び、撮像方向情報を含み、
前記マーカ検出工程は、前記画像に含まれるマーカを検出し、
前記距離推定工程は、前記画像中のマーカの大きさと、マーカの寸法情報とに基づいて、前記撮像方法から前記マーカまでの距離を推定し、
前記座標推定工程は、前記撮像方向、及び前記距離に基づいて、前記撮像方法を基準点とするマーカの座標を推定し、
前記見取り図生成工程は、前記マーカの座標に基づいて見取り図を生成する。
【0008】
本発明のプログラムは、画像情報取得手順、マーカ検出手順、距離推定手順、座標推定手順、及び見取り図生成手順を含み、
前記画像情報取得手順は、画像情報を取得し、
前記画像情報は、画像、及び、撮像方向情報を含み、
前記マーカ検出手順は、前記画像に含まれるマーカを検出し、
前記距離推定手順は、前記画像中のマーカの大きさと、マーカの寸法情報とに基づいて、前記撮像方法から前記マーカまでの距離を推定し、
前記座標推定手順は、前記撮像方向、及び前記距離に基づいて、前記撮像方法を基準点とするマーカの座標を推定し、
前記見取り図生成手順は、前記マーカの座標に基づいて見取り図を生成し、
前記各手順をコンピュータに実行させるためのプログラムである。
【0009】
本発明の記録媒体は、
画像情報取得手順、マーカ検出手順、距離推定手順、座標推定手順、及び見取り図生成手順を含み、
前記画像情報取得手順は、画像情報を取得し、
前記画像情報は、画像、及び、撮像方向情報を含み、
前記マーカ検出手順は、前記画像に含まれるマーカを検出し、
前記距離推定手順は、前記画像中のマーカの大きさと、マーカの寸法情報とに基づいて、前記撮像方法から前記マーカまでの距離を推定し、
前記座標推定手順は、前記撮像方向、及び前記距離に基づいて、前記撮像方法を基準点とするマーカの座標を推定し、
前記見取り図生成手順は、前記マーカの座標に基づいて見取り図を生成し、
前記各手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【0010】
本発明によれば、簡便に見取り図を生成可能となる。
【図面の簡単な説明】
【0011】
【
図1】
図1は、実施形態1の見取り図生成支援装置の一例の構成を示すブロック図である。
【
図2】
図2は、実施形態1の見取り図生成支援装置のハードウェア構成の一例を示すブロック図である。
【
図3】
図3は、実施形態1の見取り図生成支援装置における処理の一例を示すフローチャートである。
【
図4】
図4は、実施形態1の見取り図生成支援装置の利用の例を説明する模式図である。
【
図5】
図5は、実施形態2の見取り図生成支援装置の一例の構成を示すブロック図である。
【
図6】
図6は、実施形態2の見取り図生成支援装置の利用の例を説明する模式図である。
【
図7】
図7は、実施形態3の見取り図生成支援装置の一例の構成を示すブロック図である。
【
図8】
図8は、実施形態3の見取り図生成支援装置が含む画像補正部による処理を説明するための模式図である。
【発明を実施するための形態】
【0012】
本発明において、「見取り図」とは、例えば、建物、地勢、配置等を描いた図であり、二次元でも三次元でもよい。
【0013】
次に、本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。
【0014】
[実施形態1]
本実施形態の見取り図生成支援装置について、
図1を用いて説明する。
図1は、本実施形態の見取り図生成支援装置10の一例の構成を示すブロック図である。
図1に示すように、見取り図生成支援装置10(以下、「本装置10」ともいう)は、画像情報取得部11、マーカ検出部12、距離推定部13、座標推定部14、及び、見取り図生成部15を含む。また、図示していないが、本装置10は、例えば、記憶部を含んでもよい。
【0015】
本装置10は、例えば、前記各部を含む1つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、本装置10は、通信回線網を介して、後述する外部装置と接続可能である。通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。通信回線網は、例えば、インターネット回線、WWW(World Wide Web)、電話回線、LAN(Local Area Network)、SAN(Storage Area Network)、DTN(Delay Tolerant Networking)、LPWA(Low Power Wide Area)、L5G(ローカル5G)、等があげられる。無線通信としては、例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)、ローカル5G、LPWA等が挙げられる。前記無線通信としては、各装置が直接通信する形態(Ad Hoc通信)、インフラストラクチャ(infrastructure通信)、アクセスポイントを介した間接通信等であってもよい。本装置10は、例えば、システムとしてサーバに組み込まれていてもよい。また、本装置10は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ(PC、例えば、デスクトップ型、ノート型)、スマートフォン、タブレット端末等であってもよい。さらに、本装置10は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。
【0016】
図2に、本装置10のハードウェア構成のブロック図を例示する。本装置10は、例えば、中央処理装置(CPU、GPU等)101、メモリ102、バス103、記憶装置104、入力装置105、出力装置106、通信デバイス107等を含む。本装置10の各部は、それぞれのインタフェース(I/F)により、バス103を介して相互に接続されている。
【0017】
中央処理装置101は、コントローラ(システムコントローラ、I/Oコントローラ等)等により、他の構成と連携動作し、本装置10の全体の制御を担う。本装置10において、中央処理装置101により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、中央処理装置101が、見取り図生成支援装置10(以下、「本装置10」ともいう)は、画像情報取得部11、マーカ検出部12、距離推定部13、座標推定部14、及び、見取り図生成部15として機能する。本装置10は、演算装置として、CPU、GPU(Graphics Processing Unit)、APU(Accelerated Processing Unit)等の他の演算装置を備えてもよいし、これらの組合せを備えてもよい。
【0018】
バス103は、例えば、外部装置とも接続できる。前記外部装置は、例えば、外部記憶装置(外部データベース等)、プリンタ、外部入力装置、外部表示装置、スピーカ等の音声出力装置、カメラ等の外部撮像装置、および加速度センサ、地磁気センサ、方向センサ等の各種センサ等があげられる。本装置1は、例えば、バス103に接続された通信デバイス107により、外部ネットワーク(前記通信回線網)に接続でき、外部ネットワークを介して、ユーザの端末等の他の装置と接続することもできる。
【0019】
メモリ102は、例えば、メインメモリ(主記憶装置)が挙げられる。中央処理装置101が処理を行う際には、例えば、後述する記憶装置104に記憶されている本発明のプログラム等の種々の動作プログラムを、メモリ102が読み込み、中央処理装置101は、メモリ102からデータを受け取って、プログラムを実行する。前記メインメモリは、例えば、RAM(ランダムアクセスメモリ)である。また、メモリ102は、例えば、ROM(読み出し専用メモリ)であってもよい。
【0020】
記憶装置104は、例えば、前記メインメモリ(主記憶装置)に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置104には、本発明のプログラムを含む動作プログラムが格納されている。記憶装置104は、例えば、記録媒体と、記録媒体に読み書きするドライブとの組合せであってもよい。前記記録媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、HD(ハードディスク)、CD-ROM、CD-R、CD-RW、MO、DVD、フラッシュメモリー、メモリーカード等が挙げられる。記憶装置104は、例えば、記録媒体とドライブとが一体化されたハードディスクドライブ(HDD)、及びソリッドステートドライブ(SSD)であってもよい。本装置10が前記記憶部を含む場合、例えば、記憶装置104は、前記記憶部として機能する。
【0021】
本装置10において、メモリ102及び記憶装置104は、ログ情報、外部データベース(図示せず)や外部の装置から取得した情報、本装置10によって生成した情報、本装置10が処理を実行する際に用いる情報等の種々の情報を記憶することも可能である。この場合、メモリ102及び記憶装置104は、例えば、前述の本装置のユーザの情報等を記憶していてもよい。なお、少なくとも一部の情報は、例えば、メモリ102及び記憶装置104以外の外部サーバに記憶されていてもよいし、複数の端末にブロックチェーン技術等を用いて分散して記憶されていてもよい。
【0022】
本装置10は、例えば、さらに、入力装置105、出力装置106を備える。入力装置105は、例えば、タッチパネル、トラックパッド、マウス等のポインティングデバイス;キーボード;カメラ、スキャナ等の撮像手段;ICカードリーダ、磁気カードリーダ等のカードリーダ;マイク等の音声入力手段;等があげられる。出力装置106は、例えば、LEDディスプレイ、液晶ディスプレイ等の表示装置;スピーカ等の音声出力装置;プリンタ;等があげられる。本実施形態において、入力装置105と出力装置106とは、別個に構成されているが、入力装置105と出力装置106とは、タッチパネルディスプレイのように、一体として構成されてもよい。
【0023】
つぎに、本実施形態の見取り図生成支援方法の一例を、
図3のフローチャートに基づき説明する。本実施形態の見取り図生成支援方法は、例えば、
図1または
図2に示す見取り図生成支援装置10を用いて、次のように実施できる。なお、本実施形態の見取り図生成支援方法は、
図1または
図2の見取り図生成支援装置10の使用には限定されない。
【0024】
まず、画像情報取得部11により、画像情報を取得する(S1、画像情報取得工程)。前記画像情報は、画像情報は、画像、及び、撮像方向情報を含む。前記撮像方向情報は、例えば、撮像装置の方向センサ又は地磁気センサの情報があげられる。前記画像は、例えば、所定の領域を撮像した画像であり、前記領域に設置されたマーカを含む画像である。前記所定の領域は、特に制限されず、例えば、屋内でもよいし、屋外でもよい。前記所定の領域の具体例としては、オフィスビル、家屋、マンション等の建物内部;工事現場;公園;イベント会場;観光スポット;等があげられる。前記画像に含まれるマーカは、例えば、1つでもよいし、2以上の複数でもよい。前記マーカは、特に制限されず、例えば、互いに識別可能であり、後述するマーカ検出部12により検出が可能であればよい。マーカの具体例としては、例えば、バーコード等の一次元コード、QRコード(登録商標)等の二次元コード、マーカとして区別可能な所定の物品等があげられる。また、前記マーカの形態としては、例えば、シール、シート等の平面でもよいし、立体物でもよい。前記マーカを互いに識別する方法は、特に制限されず、形状、色彩などの外観であってもよいし、識別番号等の識別情報であってもよい。前記マーカが前記一次元コード又は二次元コードのような情報を格納可能なマーカである場合、例えば、前記一次元コード又は二次元コードに前記識別情報等の情報を格納してもよい。また、前記マーカは、例えば、後述する見取り図の生成における線分の接続を示す情報、前記所定の領域における属性情報が格納されていてもよい。前記線分の接続を示す情報は、例えば、前記マーカ識別情報(マーカの番号等)と、互いに接続する識別情報とが紐づけられた情報が挙げられる。前記属性情報は、例えば、前記領域における区画の属性を示す情報であり、例えば、入口、扉、窓、その他構造物、及び/又は設置物を示す情報等が挙げられる。様々な撮影角度から検出可能とする観点から、前記マーカは、円柱状の物体の側面にバーコード又はQRコード(登録商標)等を付した形態であることが好ましい。前記画像は、例えば、静止画でもよいし、動画でもよく、動画から切り出した静止画でもよい。前記画像は、例えば、1つでもよいし、2以上の複数であってもよい。前記画像が複数である場合、例えば、同一の撮像位置から異なる方向を撮像した画像であることが好ましい。また、前記画像は、例えば、360°カメラで撮像した全天球画像であってもよい。なお、全天球画像を用いる場合の処理については、実施形態3で後述する。前記画像は、例えば、前記所定の領域において、前記マーカの配置位置から撮像された画像であり、前記画像と、前記撮像位置に配置されたマーカとを互いに紐づけることで前記画像情報を生成できる。画像情報取得部11は、例えば、本装置10のユーザが、入力装置105である撮像装置が撮像した画像と、前記マーカ識別情報を入力することにより、直接前記画像情報を取得してもよいし、前記通信回線網を介して前記画像情報を記録した外部のデータベース又はサーバから前記画像情報を取得してもよい。
【0025】
前記画像情報は、例えば、撮像位置情報、及び撮像時間情報を含んでもよい。前記撮像位置情報は、例えば、前記所定の領域を示す位置情報(例えば、前記所定の領域の名称、住所、GPS:Global Positioning System情報等)である。前記撮像時間情報は、前記画像を撮像した日時の情報である。前記撮像位置情報、前記撮像方向情報、及び前記撮像日時情報の少なくとも一つは、例えば、前記画像にメタデータとして付与されている情報であってもよいし、前記画像とは別途取得した情報であってもよい。
【0026】
つぎに、マーカ検出部12により、前記画像情報が含む画像から、マーカを検出する(S2、マーカ検出工程)。マーカ検出部12によるマーカの検出は、例えば、前記マーカの種類に応じた適切な画像解析手法により実行できる。マーカ検出部12は、例えば、さらに、検出したマーカが格納している各種情報を読み取ってもよい。また、マーカ検出部12は、例えば、前記画像において、検出したマーカをバウンディングボックス等で境界を指定してもよい。
【0027】
つぎに、距離推定部13は、前記画像中のマーカの大きさと、マーカの寸法情報とに基づいて、前記画像を撮像した撮像装置から前記マーカまでの距離を推定する(S3、距離推定工程)。前記画像中のマーカの大きさは、例えば、前記画像における検出したマーカが占める領域の情報であり、前記領域のピクセル数があげられる。前記領域は、例えば、前述のバウンディングボックスであってもよい。前記寸法情報は、例えば、マーカの実際の大きさを示す情報であり、前記マーカの種類と紐づけられた情報である。前記寸法情報は、例えば、本装置10のメモリ102又は記憶装置104に記憶されていてもよいし、本装置10外の外部データベースに記憶されていてもよい。距離推定部13は、例えば、前記検出したマーカの種類に対応する寸法情報を取得し、前記画像におけるマーカの大きさとして、前記検出したマーカのバウンディングボックスのピクセル数(画素数)を取得し、下記式(1)に従って前記撮像装置からマーカまでの距離を推定できる。
(マーカまでの距離)=(寸法情報)×焦点距離/(画像中のマーカの大きさ(ピクセル数)……(1)
【0028】
座標推定部14は、前記撮像方向、及び前記距離に基づいて、前記撮像装置を基準点とするマーカの座標を推定する(S4、座標推定工程)。座標推定部14は、例えば、前記撮像方向に基づいて、撮像装置からマーカの存在する角度を推定でき、前記推定した角度に対する前記距離をプロットすることで前記撮像装置を基準点としたマーカの座標を推定できる。
【0029】
そして、見取り図生成部15は、前記マーカの座標に基づいて見取り図を生成する(S5、見取り図生成支援工程)。見取り図生成部15は、例えば、推定した前記マーカの座標に基づき、各座標を結ぶ線分を作成することで見取り図を生成できる。見取り図生成部15は、例えば、推定した座標に基づいて、隣接するマーカ同士を前記線分で結ぶことで前記見取り図を生成できる。また、これには限定されず、例えば、マーカ検出部12が読み取ったマーカが格納する情報がある場合、前記情報を参照して見取り図を生成してもよい。具体的に、例えば、前記マーカが前記線分の接続を示す情報を格納している場合、前記情報に従って線分を接続して見取り図を生成できる。また、前記マーカが、前記所定の領域の属性情報を格納している場合、前記属性情報にしたがって、見取り図に付加情報を付してもよい。具体例として、例えば、ドアを示すマーカに囲まれた線分について、ドアであることを示す付加情報を付与できる。また、見取り図生成部15は、例えば、各マーカの座標、及び、前記撮像装置と各マーカとの距離に基づいて、マーカ間の距離を推定し、推定したマーカ間の距離の情報を見取り図に付与してもよい。本装置10は、例えば、見取り図生成部15が生成した見取り図を、本装置10のメモリ102又は記憶装置104に記憶してもよいし、本装置10外の外部データベースに記憶してもよい。また、本装置10は、生成した見取り図を閲覧可能に出力してもよい。
【0030】
図4を用いて、見取り図生成支援装置10の利用の具体例を説明するが、本発明は以下の例示に何ら制限されない。以下の説明においては、前記所定の領域が、家屋の一室であり、前記マーカが、円柱状の物体にバーコードが付与された物である場合を例に挙げて説明するが、本発明は以下の説明には何ら制限されない。
【0031】
まず、本装置10Aの利用に先立ち、所定の領域である家屋の一室において、見取り図を作るために必要となる地点、例えば、各部屋の角、ドアの位置、柱の位置等にマーカ20を設置する。この際、
図4(A)に示すように、各マーカ20は、同じ高さとなるように設置することにより、撮像装置から各マーカ20までの距離をより精度よく推定できる。つぎに、マーカ20を含むように画像を撮像する。その後、
図4(B)に示すように、本装置10は、撮像した画像からマーカ20を検出し、撮像装置30から各マーカ20までの距離を推定し、撮像装置30を基準点としたマーカ20の座標21を推定する。そして、本装置10は、
図4(C)に示すように、各マーカ20の座標21を線分でつなぎ、見取り図を生成する。
【0032】
本実施形態の見取り図生成支援装置によれば、見取り図の生成を希望する所定エリアにマーカを配置し、配置したマーカの画像を撮像するだけで簡便に見取り図を生成することができる。
【0033】
[実施形態2]
実施形態2は、本発明の見取り図生成支援装置の他の例である。
【0034】
本実施形態の見取り図生成支援装置は、実施形態1の見取り図生成支援装置10の構成に加えて、合成部を含むこと以外は前記実施形態1の見取り図生成支援装置10と同様であり、その説明を援用できる。本実施形態の見取り図生成支援装置10Aは、例えば、合成部を含み、前記画像情報は、複数の画像を含み、前記マーカ検出部は、さらに、マーカの識別情報を検出し、前記座標推定部は、前記複数の画像毎に、各画像の撮像装置を基準点とするマーカの座標を推定し、前記合成部は、前記マーカの識別情報に基づいて、前記画像毎に推定した座標を合成した合成座標情報を生成し、前記見取り図生成部は、前記合成座標情報に基づいて見取り図を生成する。
【0035】
図5は、本実施形態の見取り図生成支援装置10Aの一例の構成を示すブロック図である。
図5に示すように、見取り図生成支援装置10Aは、実施形態1の見取り図生成支援装置10の構成に加えて、合成部16を備える。見取り図生成支援装置10Aのハードウェア構成は、
図2の見取り図生成支援装置10のハードウェア構成において、CPU101が、
図1の見取り図生成支援装置10の構成に代えて、
図5の見取り図生成支援装置10Aの構成を備える以外は同様である。以下、合成部16の処理を説明する。合成部16の処理は、例えば、前記実施形態1で説明した
図3のフローチャートにおける任意の位置に適宜挿入できる。
【0036】
本実施形態において、前記画像情報は、例えば、前記所定エリアを複数の撮像位置から撮像した複数の画像を含む。前記複数の画像は、例えば、前記所定エリアを複数の撮像位置から撮像した複数の画像である。マーカ検出部12は、さらに、マーカの識別情報を検出し、座標推定部14は、前記複数の画像毎に、各画像の撮像装置を基準点とするマーカの座標を推定する。そして、合成部16は、前記マーカの識別情報に基づいて、前記画像毎に推定した座標を合成した合成座標情報を生成し、見取り図生成部15は、前記合成座標情報に基づいて見取り図を生成する。
【0037】
図6を用いて、見取り図生成支援装置10Aの利用の具体例を説明する。
図6(A)に示すように、所定の領域は、コの字型の部屋であり、
図6(A)の直線は、部屋の壁の位置を示す。前記所定の領域が
図6(A)に示す形状である場合、地点C、D、E、Fからなる壁の存在により、部屋の全域を収めた画像を撮像することは困難である。そこで、まず、地点A、B、C、D、E、F、G、及びHのそれぞれに、マーカ識別情報により互いに識別可能なマーカA、B、C、D、E、F、G、及びHを配置する。そして、
図6(B)に示すように、撮像装置30Aにより、マーカA、B、C、D、E、及びHを含む第1画像と、マーカA、D、E、F、G、及びHを含む第2画像とを撮像する。本装置10Aは、
図6(C)に示すように、前記第1画像からマーカA、B、C、D、E、及びHを検出し、撮像装置30Aを基準点とするマーカA、B、C、D、E、及びHの座標を推定する。また、本装置10Aは、
図6(D)に示すように、前記第2画像からマーカA、D、E、F、G、及びHを検出し、撮像装置30Bを基準点とするマーカA、D、E、F、G、及びHの座標を推定する。そして、本装置10Aは、マーカ識別情報を用いて、第1画像及び第2画像から検出された各マーカを照合する。そして、本装置10Aは、
図6(E)に示すように、第1画像から推定した各マーカの座標と、第2画像から推定した各マーカの座標とにおいて、共通するマーカの座標を重ね合わせ、互いに共通しないマーカの座標を追加した合成座標情報を生成する。そして、本装置10Aは、
図6(F)に示すように、前記合成座標情報に基づいて、部屋の見取り図を生成する。
【0038】
本実施形態の見取り図生成支援装置によれば、合成部により、複数の画像に含まれるマーカの座標を合成した合成座標情報を生成できるため、複数の画像に基づいて見取り図を生成できる。このため、所定エリアの形状や遮蔽物等の影響により、撮像装置にすべてのマーカをとらえきれないような場合であっても、簡便に見取り図を生成できる。
【0039】
[実施形態3]
実施形態3は、本発明の見取り図生成支援装置の他の例である。
【0040】
本実施形態の見取り図生成支援装置は、実施形態1の見取り図生成支援装置10の構成に加えて、画像変換部を含むこと以外は前記実施形態1の見取り図生成支援装置10と同様であり、その説明を援用できる。本実施形態の見取り図生成支援装置10Bは、例えば、画像変換部を含み、前記画像が、全天球画像であり、前記データセットが、撮像方向情報を含み、前記画像変換部は、撮像方向情報に基づいて、前記全天球画像を第1展開画像に変換し、前記マーカ検出部は、前記第1展開画像に含まれるマーカを検出する。
【0041】
図7は、本実施形態の見取り図生成支援装置10Bの一例の構成を示すブロック図である。
図7に示すように、見取り図生成支援装置10Bは、実施形態1の見取り図生成支援装置10の構成に加えて、画像変換部17を備える。見取り図生成支援装置10Bのハードウェア構成は、
図2の見取り図生成支援装置10のハードウェア構成において、CPU101が、
図1の見取り図生成支援装置10の構成に代えて、
図7の見取り図生成支援装置10Bの構成を備える以外は同様である。以下、画像変換部17の処理を説明する。画像変換部17の処理は、例えば、前記実施形態1で説明した
図3のフローチャートにおける任意の位置に適宜挿入できる。
【0042】
本実施形態において、前記画像は、全天球画像である。前記全天球画像は、例えば、360°カメラで撮像した画像であり、その撮像方向についての情報(例えば、撮像装置の前方、右方向、左方向、後ろ方向、上方向、及び下方向)が紐づけられている。前記全天球画像の形式は、特に制限されない。画像変換部17は、例えば、前記撮像方向情報に基づいて、前記全天球画像を第1展開画像に変換する(画像変換工程)。
図8を用いて、画像変換部17の処理について説明する。
図8上部に示すように、全天球画像171は、例えば、撮像装置の前方(Front)、左方向(Left)、右方向(Rigtht)、後方(Back)を含む。画像変換部17は、全天球画像171を
図8下部に示す第1展開画像172に変換する。第1展開画像172は、
図8に示すように、全天球画像171について、前記撮像方向毎に、画像を6枚に分割し、上下の歪みを補正した展開図面である。具体的に、画像変換部17は、例えば、Open GL等の公知のグラフィックスライブラリ、又はJavascriptで構築可能なWeb GL等を用いて、前記全天球画像をCUBE変換することにより、前記第1展開画像に変換できる。そして、マーカ検出部12は、前記第1展開画像に含まれるマーカを検出できる。全天球画像は、その特性上、画像の歪みが大きいため、画像変換部17により第1展開画像に変換することにより、精度よくマーカを検出できる。
【0043】
また、画像変換部17は、例えば、さらに、前記全天球画像を、その撮像方向を変更した第2展開画像に変換してもよい。この場合、例えば、画像変換部17は、前記全天球画像の撮像方向を所定角度変更すること以外は同様にして、前記第2展開画像に変換できる。前記所定角度は、特に制限されず、例えば、30°、60°、90°、120°、150°等があげられるが、90°変換することが好ましい。そして、マーカ検出部12は、例えば前記第1展開画像及び前記第2展開画像の少なくとも一方に含まれるマーカを検出できる。このような態様によれば、例えば、前記第1展開画像の各撮像方向の画像と画像との間に存在するマーカを検出可能となるため、より精度よくマーカを検出できる。
【0044】
本実施形態の見取り図生成支援装置は、例えば、画像変換部により全天球画像を展開画像(第1展開画像及び第2展開画像)に変換できる。このため、本実施形態の見取り図生成支援装置は、全天球画像を用いてマーカを検出でき、これにより、全天球画像を用いて容易に見取り図を生成することができる。
【0045】
[実施形態4]
本実施形態のプログラムは、前述の見取り図生成支援方法の各工程を、コンピュータに実行させるためのプログラムである。具体的に、本実施形態のプログラムは、コンピュータに、画像情報取得手順、マーカ検出手順、距離推定手順、座標推定手順、及び見取り図生成手順を実行させるためのプログラムである。
【0046】
前記画像情報取得手順は、画像情報を取得し、
前記画像情報は、画像、及び、撮像方向情報を含み、
前記マーカ検出手順は、前記画像に含まれるマーカを検出し、
前記距離推定手順は、前記画像中のマーカの大きさと、マーカの寸法情報とに基づいて、前記撮像方法から前記マーカまでの距離を推定し、
前記座標推定手順は、前記撮像方向、及び前記距離に基づいて、前記撮像方法を基準点とするマーカの座標を推定し、
前記見取り図生成手順は、前記マーカの座標に基づいて見取り図を生成する。
【0047】
また、本実施形態のプログラムは、コンピュータを、画像情報取得手順、マーカ検出手順、距離推定手順、座標推定手順、及び見取り図生成手順として機能させるプログラムということもできる。
【0048】
本実施形態のプログラムは、前記本発明の見取り図生成支援装置および見取り図生成支援方法における記載を援用できる。前記各手順は、例えば、「手順」を「処理」と読み替え可能である。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体(non-transitory computer-readable storage medium)である。前記記録媒体は、特に制限されず、例えば、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、ハードディスク(HD)、光ディスク、フロッピー(登録商標)ディスク(FD)等があげられる。
【0049】
以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。
【0050】
<付記>
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
(付記1)
画像情報取得部、マーカ検出部、距離推定部、座標推定部、及び見取り図生成部を含み、
前記画像情報取得部は、画像情報を取得し、
前記画像情報は、画像、及び、撮像方向情報を含み、
前記マーカ検出部は、前記画像に含まれるマーカを検出し、
前記距離推定部は、前記画像中のマーカの大きさと、マーカの寸法情報とに基づいて、前記画像を撮像した撮像装置から前記マーカまでの距離を推定し、
前記座標推定部は、前記撮像方向、及び前記距離に基づいて、前記撮像装置を基準点とするマーカの座標を推定し、
前記見取り図生成部は、前記マーカの座標に基づいて見取り図を生成する、見取り図生成支援装置。
(付記2)
前記見取り図生成部は、各マーカの座標、及び、前記撮像装置と各マーカとの距離に基づいて、マーカ間の距離を推定する、付記1記載の見取り図生成支援装置。
(付記3)
合成部を含み、
前記画像情報は、複数の画像を含み、
前記マーカ検出部は、さらに、マーカの識別情報を検出し、
前記座標推定部は、前記複数の画像毎に、各画像の撮像装置を基準点とするマーカの座標を推定し、
前記合成部は、前記マーカの識別情報に基づいて、前記画像毎に推定した座標を合成した合成座標情報を生成し、
前記見取り図生成部は、前記合成座標情報に基づいて見取り図を生成する、付記1又は2記載の見取り図生成支援装置。
(付記4)
画像変換部を含み、
前記画像が、全天球画像であり、
前記画像変換部は、前記撮像方向情報に基づいて、前記全天球画像を第1展開画像に変換し、
前記マーカ検出部は、前記第1展開画像に含まれるマーカを検出する、付記1から3のいずれかに記載の見取り図生成支援装置。
(付記5)
前記画像変換部は、さらに、前記全天球画像を、その撮像方向を変更した第2展開画像に変換し、
前記マーカ検出部は、前記第1展開画像及び前記第2展開画像の少なくとも一方に含まれるマーカを検出する、付記4記載の見取り図生成支援装置。
(付記6)
画像情報取得工程、マーカ検出工程、距離推定工程、座標推定工程、及び見取り図生成工程を含み、
前記画像情報取得工程は、画像情報を取得し、
前記画像情報は、画像、及び、撮像方向情報を含み、
前記マーカ検出工程は、前記画像に含まれるマーカを検出し、
前記距離推定工程は、前記画像中のマーカの大きさと、マーカの寸法情報とに基づいて、前記撮像方法から前記マーカまでの距離を推定し、
前記座標推定工程は、前記撮像方向、及び前記距離に基づいて、前記撮像方法を基準点とするマーカの座標を推定し、
前記見取り図生成工程は、前記マーカの座標に基づいて見取り図を生成する、見取り図生成支援方法。
(付記7)
前記見取り図生成工程は、各マーカの座標、及び、前記撮像方法と各マーカとの距離に基づいて、マーカ間の距離を推定する、付記6記載の見取り図生成支援方法。
(付記8)
合成工程を含み、
前記画像情報は、複数の画像を含み、
前記マーカ検出工程は、さらに、マーカの識別情報を検出し、
前記座標推定工程は、前記複数の画像毎に、各画像の撮像方法を基準点とするマーカの座標を推定し、
前記合成工程は、前記マーカの識別情報に基づいて、前記画像毎に推定した座標を合成した合成座標情報を生成し、
前記見取り図生成工程は、前記合成座標情報に基づいて見取り図を生成する、付記6又は7記載の見取り図生成支援方法。
(付記9)
画像変換工程を含み、
前記画像が、全天球画像であり、
前記画像変換工程は、前記撮像方向情報に基づいて、前記全天球画像を第1展開画像に変換し、
前記マーカ検出工程は、前記第1展開画像に含まれるマーカを検出する、付記6から8のいずれかに記載の見取り図生成支援方法。
(付記10)
前記画像変換工程は、さらに、前記全天球画像を、その撮像方向を変更した第2展開画像に変換し、
前記マーカ検出工程は、前記第1展開画像及び前記第2展開画像の少なくとも一方に含まれるマーカを検出する、付記9記載の見取り図生成支援方法。
(付記11)
画像情報取得手順、マーカ検出手順、距離推定手順、座標推定手順、及び見取り図生成手順を含み、
前記画像情報取得手順は、画像情報を取得し、
前記画像情報は、画像、及び、撮像方向情報を含み、
前記マーカ検出手順は、前記画像に含まれるマーカを検出し、
前記距離推定手順は、前記画像中のマーカの大きさと、マーカの寸法情報とに基づいて、前記撮像方法から前記マーカまでの距離を推定し、
前記座標推定手順は、前記撮像方向、及び前記距離に基づいて、前記撮像方法を基準点とするマーカの座標を推定し、
前記見取り図生成手順は、前記マーカの座標に基づいて見取り図を生成し、
前記各手順をコンピュータに実行させるためのプログラム。
(付記12)
前記見取り図生成手順は、各マーカの座標、及び、前記撮像方法と各マーカとの距離に基づいて、マーカ間の距離を推定する、付記11記載のプログラム。
(付記13)
合成手順を含み、
前記画像情報は、複数の画像を含み、
前記マーカ検出手順は、さらに、マーカの識別情報を検出し、
前記座標推定手順は、前記複数の画像毎に、各画像の撮像方法を基準点とするマーカの座標を推定し、
前記合成手順は、前記マーカの識別情報に基づいて、前記画像毎に推定した座標を合成した合成座標情報を生成し、
前記見取り図生成手順は、前記合成座標情報に基づいて見取り図を生成する、付記11又は12記載のプログラム。
(付記14)
画像変換手順を含み、
前記画像が、全天球画像であり、
前記画像変換手順は、前記撮像方向情報に基づいて、前記全天球画像を第1展開画像に変換し、
前記マーカ検出手順は、前記第1展開画像に含まれるマーカを検出する、付記11から13のいずれかに記載のプログラム。
(付記15)
前記画像変換手順は、さらに、前記全天球画像を、その撮像方向を変更した第2展開画像に変換し、
前記マーカ検出手順は、前記第1展開画像及び前記第2展開画像の少なくとも一方に含まれるマーカを検出する、付記14記載のプログラム。
(付記16)
画像情報取得手順、マーカ検出手順、距離推定手順、座標推定手順、及び見取り図生成手順を含み、
前記画像情報取得手順は、画像情報を取得し、
前記画像情報は、画像、及び、撮像方向情報を含み、
前記マーカ検出手順は、前記画像に含まれるマーカを検出し、
前記距離推定手順は、前記画像中のマーカの大きさと、マーカの寸法情報とに基づいて、前記撮像方法から前記マーカまでの距離を推定し、
前記座標推定手順は、前記撮像方向、及び前記距離に基づいて、前記撮像方法を基準点とするマーカの座標を推定し、
前記見取り図生成手順は、前記マーカの座標に基づいて見取り図を生成し、
前記各手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
(付記17)
前記見取り図生成手順は、各マーカの座標、及び、前記撮像方法と各マーカとの距離に基づいて、マーカ間の距離を推定する、付記16記載の記録媒体。
(付記18)
合成手順を含み、
前記画像情報は、複数の画像を含み、
前記マーカ検出手順は、さらに、マーカの識別情報を検出し、
前記座標推定手順は、前記複数の画像毎に、各画像の撮像方法を基準点とするマーカの座標を推定し、
前記合成手順は、前記マーカの識別情報に基づいて、前記画像毎に推定した座標を合成した合成座標情報を生成し、
前記見取り図生成手順は、前記合成座標情報に基づいて見取り図を生成する、付記16又は17記載の記録媒体。
(付記19)
画像変換手順を含み、
前記画像が、全天球画像であり、
前記画像変換手順は、前記撮像方向情報に基づいて、前記全天球画像を第1展開画像に変換し、
前記マーカ検出手順は、前記第1展開画像に含まれるマーカを検出する、付記16から18のいずれかに記載の記録媒体。
(付記20)
前記画像変換手順は、さらに、前記全天球画像を、その撮像方向を変更した第2展開画像に変換し、
前記マーカ検出手順は、前記第1展開画像及び前記第2展開画像の少なくとも一方に含まれるマーカを検出する、付記19記載の記録媒体。
【産業上の利用可能性】
【0051】
本発明によれば、移動体が撮像した画像からマーカを検出し、検出した対象物の座標を推定し、対象物、対象物の座標、及び撮像時間情報を紐づけて記録できる。このため、本実施形態の見取り図生成支援装置によれば、移動体が撮像した画像から検出可能な様々な対象物の位置と時間とを記録できる。本実施形態の見取り図生成支援装置により記録された情報は、例えば、対象物の捜索、道路情報の推定、盗難車の探索、探し人の探知、警察等による捜査等、様々な用途に利用することができる。
【符号の説明】
【0052】
10、10A、10B 見取り図生成支援装置
11 画像情報取得部
12 マーカ検出部
13 距離推定部
14 座標推定部
15 見取り図生成部
16 合成部
17 画像補正部
101 中央処理装置
102 メモリ
103 バス
104 記憶装置
105 入力装置
106 出力装置
107 通信デバイス