(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-28
(45)【発行日】2024-04-05
(54)【発明の名称】3次元モデル作成装置、及び3次元モデル作成方法
(51)【国際特許分類】
G06T 19/00 20110101AFI20240329BHJP
G06T 17/00 20060101ALI20240329BHJP
G01B 11/25 20060101ALI20240329BHJP
【FI】
G06T19/00 A
G06T17/00
G01B11/25 H
(21)【出願番号】P 2020038503
(22)【出願日】2020-03-06
【審査請求日】2023-02-03
(73)【特許権者】
【識別番号】390023249
【氏名又は名称】国際航業株式会社
(74)【代理人】
【識別番号】110001335
【氏名又は名称】弁理士法人 武政国際特許商標事務所
(72)【発明者】
【氏名】村木 広和
(72)【発明者】
【氏名】山下 祐介
【審査官】岡本 俊威
(56)【参考文献】
【文献】特表2016-507670(JP,A)
【文献】国際公開第2018/047687(WO,A1)
【文献】中国特許出願公開第107305702(CN,A)
【文献】米国特許出願公開第2017/0249783(US,A1)
【文献】米国特許出願公開第2012/0281087(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 17/00 - 19/20
G01B 11/24 - 11/25
G06T 15/20
G06T 7/593
(57)【特許請求の範囲】
【請求項1】
表面に複数の文字が表示された対象物を撮影した文字表示画像に基づいて、該対象物の3次元モデルを作成する装置であって、
前記文字表示画像を撮影する画像取得手段と、
前記対象物の表面に複数の文字を映写する映写手段と、
前記文字表示画像を記憶する画像記憶手段と、
異なる方向から撮影された複数の前記文字表示画像を前記画像記憶手段から読み出すとともに、該文字表示画像を用いた空間演算処理を行うことによって前記対象物の3次元モデルを作成するモデル作成手段と、を備え、
前記モデル作成手段が用いる複数の前記文字表示画像のうちのいずれかには、寸法が既知であるスケールが収められ、
前記モデル作成手段が用いる前記文字表示画像は、前記映写手段によって複数の文字が映写された前記対象物を、前記画像取得手段で取得した画像であり、
前記モデル作成手段は、前記文字表示画像に収められた文字を特徴点として空間演算処理を行う、
ことを特徴とする3次元モデル作成装置。
【請求項2】
表面に複数の文字が表示された対象物を撮影した文字表示画像に基づいて、該対象物の3次元モデルを作成する方法であって、
前記対象物の表面に複数の文字を映写する映写工程と、
前記映写工程で複数の文字が映写された状態の前記対象物を、異なる方向から撮影することによって複数の
前記文字表示画像を取得する撮影工程と、
前記撮影工程で取得された前記文字表示画像を用いた空間演算を行うことによって、前記対象物の3次元モデルを作成するモデル作成工程と、を備え、
前記撮影工程では、取得する複数の前記文字表示画像のうちいずれかに、寸法が既知であるスケールが収められるように撮影し、
前記モデル作成工程では、前記文字表示画像に収められた文字を特徴点として空間演算を行う、
ことを特徴とする3次元モデル作成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本願発明は、複数の画像から対象物の3次元モデルを作成する技術であり、より具体的には、複数の文字が表示された対象物を撮影した画像を利用することによってその対象物の3次元モデルを作成する3次元モデル作成装置と、これを用いた3次元モデル作成方法に関するものである。
【背景技術】
【0002】
モデルは、実物を模式的に表したものであり、一般的には実物の代用品として利用される。モデルルームや模型(プラモデルなど)などは、典型的な「モデル」といえる。このモデルは、6面図など2次元で表現されることもあるが、やはり3次元で表されるモデル(3次元モデル)の方が多用されている。
【0003】
3次元モデルは、通常、平面位置と高さからなる3次元座標を基礎とし、すなわち直交3軸(例えば、X軸―Y軸―Z軸)で構成される座標系の中で表現され、換言すれば3次元座標を有する点や線、面で構成されるものである。そのため3次元モデルを作成するには、対象となる実物(以下、単に「対象物」という。)を形成する点や線、面の3次元座標が必要となる。
【0004】
対象物の3次元座標を取得するには、設計図等があればこれを利用することができるが、このような直接的な情報がない場合は実際に計測することとなる。例えば、特許文献1では空中写真測量によって取得した3次元座標に基づいて地形の3次元モデル(数値表層モデル)を作成する技術について提案しており、特許文献2ではレーザー計測によって取得した3次元座標に基づいて移動体(列車や自動車など)の3次元モデルを作成する技術について提案している。
【先行技術文献】
【特許文献】
【0005】
【文献】特許第6238101号公報
【文献】特許第6168380号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1でも開示される写真測量は、同一箇所を写した異なる2枚の写真を一組とするステレオペア写真を用意し、双方の写真に写された同一対象物を同定するとともに、その対象物の写真上の位置の相違(視差)を利用して対象物の座標を求める手法である。写真に写された対象物の座標は、カメラ中心点(主点)を基準とする前方交会法によって求められることから、ステレオペア写真それぞれを撮影した時のカメラ主点座標と撮影方向、カメラの焦点距離や、主点位置のずれ、各種ひずみ(放射性ひずみ、非対称性ひずみ等)といったカメラ諸元(標定要素)を把握する必要がある。なお、写真撮影時のカメラ主点座標と撮影方向は「外部標定要素」と呼ばれ、またカメラの焦点距離や、主点位置のずれ、各種ひずみ等は「内部標定要素」と呼ばれており、そして外部標定要素と内部標定要素の総称が「標定要素」である。
【0007】
写真測量においては標定要素を把握する必要があると説明したが、この標定要素(特に外部標定要素)があらかじめ既知となっているとは限らない。そこで外部標定要素が未知の場合は、全球測位衛星システム(GNSS:Global Navigation Satellite System)やIMU(Inertia Measurement Unit)などの計測結果を用いたPOS(Position and Orientation System) 解析を行って外部標定要素を求めることがある。あるいは、このような計測機器を用いることなく空中三角測量の技術によって外部標定要素を求めることもある。空中三角測量は、地上座標が既知である対空標識を写した複数枚の空中写真を用い、バンドル調整法といった調整計算を行うことで外部標定要素を求める手法である。
【0008】
さらに近年では、SfM(Structure from Motion)という手法が用いられることもある。このSfMは、対象物を撮影した複数枚の写真を用いていわば対象物の形状を復元する(つまり、3次元モデルを作成する)手法である。様々な方向から撮影された写真内に収められた対象物の特徴点(例えば、建物の角など)は、当然ながらそれぞれ写真ごとに特徴点の画像内位置は異なるものの、実際には同じ位置(座標)にあるという条件を利用し、すべての写真に対してバンドル調整法などの調整計算を行うことによって外部標定要素を求めるとともに特徴点の3次元座標を求める。すなわちSfMは、GNSSやIMUといった高価な計測機器を使用することなく、しかも空中三角測量のように対空標識を設置することなく、写真測量によって3次元モデルを作成することができるわけである。
【0009】
ところで、SfMを利用して3次元モデルを作成する場合、異なる写真に収められた特徴点をいかにして同定(マッチング)するかが、3次元モデルの精度(いわば再現性)に大きく影響する。換言すれば、写真に収められた特徴点の特徴度合によって、3次元モデルの完成度は大きく異なる。例えば異なる写真に似て非なる特徴点が収められているケースでは、誤った特徴点のマッチング処理が行われる結果、その3次元モデルの精度が劣ることとなり、あるいは対象物に明確な特徴点が求められないケースでは、正しい特徴点のマッチング処理が行われない結果、完成度の低い3次元モデルが作成されることとなる。
【0010】
すなわち、明確な特徴点を持たない対象物の3次元モデルを作成する場合、従来のSfMによる手法では高精度の要求を満たすことができない。しかしながら、高精度の3次元モデルを作成するため、特許文献2に示すレーザー計測器や、GNSS、IMUといった計測機器を使用するのでは、その作成にコストがかかるため手軽に対象物の3次元モデルを作成することはできない。
【0011】
本願発明の課題は、従来の問題を解決することであり、すなわち、明確な特徴点を持たない対象物に対しても、高価な計測機器を用いることなく写真測量によって容易に3次元モデルを作成することができる3次元モデル作成装置と、これを用いた3次元モデル作成方法を提供することである。
【課題を解決するための手段】
【0012】
本願発明は、表面に複数の文字が表示された対象物を撮影した文字表示画像を用い、文字を特徴点とする写真測量技術によって3次元モデルを作成する、という点に着目したものであり、従来にはなかった発想に基づいてなされた発明である。
【0013】
本願発明の3次元モデル作成装置は、対象物の画像に基づいて3次元モデルを作成する装置であり、画像記憶手段とモデル作成手段を備えたものである。このうち画像記憶手段は、文字表示画像(表面に複数の文字が表示された対象物を撮影した画像)を記憶する手段であり、モデル作成手段は、異なる方向から撮影した複数の文字表示画像を画像記憶手段から読み出すとともにこれらの文字表示画像を用いた空間演算処理を行うことによって対象物の3次元モデルを作成する手段である。なお、モデル作成手段が用いる複数の文字表示画像のうちのいずれかには、寸法が既知であるスケールが収められる。またモデル作成手段は、文字表示画像に収められた文字を特徴点として空間演算処理を行う。
【0014】
本願発明の3次元モデル作成装置は、画像取得手段と映写手段をさらに備えたものとすることもできる。この画像取得手段は、文字表示画像を撮影する手段であり、映写手段は、対象物の表面に複数の文字を映写する手段である。この場合、モデル作成手段が用いる文字表示画像は、映写手段によって複数の文字が映写された対象物を画像取得手段で取得した画像とされる。
【0015】
本願発明の3次元モデル作成装置は、印字シート(複数の文字が表示されたシート状のもの)が表面に密着した状態の対象物を撮影した文字表示画像を用いて、空間演算処理を行うものとすることもできる。
【0016】
本願発明の3次元モデル作成方法は、対象物の画像に基づいて3次元モデルを作成する方法であり、撮影工程とモデル作成工程を備えている。このうち撮影工程では、表面に複数の文字が表示された対象物を、異なる方向から撮影することによって複数の文字表示画像を取得し、モデル作成工程では、撮影工程で取得された文字表示画像を用いた空間演算を行うことによって対象物の3次元モデルを作成する。なお画像取得工程では、取得する複数の文字表示画像のうちいずれかに、寸法が既知であるスケールが収められるように撮影する。またモデル作成工程では、文字表示画像に収められた文字を特徴点として空間演算を行う。
【0017】
本願発明の3次元モデル作成方法は、対象物の表面に複数の文字を映写する映写工程をさらに備えた方法とすることもできる。この場合、撮影工程では、映写工程で複数の文字が映写された状態の対象物を撮影する。
【0018】
本願発明の3次元モデル作成方法は、対象物の表面に印字シートを密着させる密着工程をさらに備えた方法とすることもできる。この場合、撮影工程では、密着工程で印字シートが密着された状態の対象物を撮影する。
【発明の効果】
【0019】
本願発明の3次元モデル作成装置、及び3次元モデル作成方法には、次のような効果がある。
(1)明確な特徴点を持たない対象物を含め様々な対象物に対して、写真測量によって容易に3次元モデルを作成することができる。
(2)GNSSやIMU、レーザー計測器といった高価な計測機器を使用することなく、いわば手軽に対象物の3次元モデルを作成することができる。
(3)文字表示画像に収められた文字を特徴点として利用することから、従来に比して高い精度で3次元モデルを作成することができる。
【図面の簡単な説明】
【0020】
【
図1】本願発明の3次元モデル作成装置の主な構成を示すブロック図。
【
図2】本願発明の3次元モデル作成装置の主な処理の流れを示すフロー図。
【
図3】多数の文字が記載された英字新聞を示す写真図。
【
図4】(a)は頭部を文字表示対象物とするための帽子型の印字シートを示す写真図、(b)は帽子型の印字シートを被った頭部を示す写真図。
【
図5】(a)はスケールを含む文字表示画像を示す写真図、(b)はスケールの一例を示すモデル図。
【
図6】不十分なラップで撮影しようとするときに警告を出力する仕様の手順を説明するフロー図。
【
図7】水平撮影方向と方向較差の関係を模式的に示すモデル図。
【
図8】本願発明の3次元モデル作成方法の主な工程を示すフロー図。
【発明を実施するための形態】
【0021】
本願発明の3次元モデル作成装置、及び3次元モデル作成方法の一例を、図に基づいて説明する。
【0022】
1.全体概要
本願発明は、表面に複数の文字が付された対象物(以下、「文字表示対象物」という。)を、スマートフォンなどの画像取得手段で撮影した画像(以下、「文字表示画像」という。)に基づいて、その対象物の3次元モデル(以下、「対象物3Dモデル」という。)を作成することをひとつの特徴としている。なお文字表示画像は、3次元モデルを作成するため、隣接する画像どうしが一部重複(ラップ)するように複数方向から撮影されたもの、つまり複数の文字表示画像が用いられる。
【0023】
2.3次元モデル作成装置
本願発明の3次元モデル作成装置について、図を参照しながら詳しく説明する。なお、本願発明の3次元モデル作成方法は、本願発明の3次元モデル作成装置を用いて対象物3Dモデルを作成する方法であり、したがってまずは本願発明の3次元モデル作成装置について説明し、その後に本願発明の3次元モデル作成方法について説明することとする。
【0024】
図1は、本願発明の3次元モデル作成装置100の主な構成を示すブロック図である。この図に示すように3次元モデル作成装置100は、モデル作成手段101と画像記憶手段107を含んで構成され、さらに画像取得手段102や映写手段103、姿勢計測手段104、警告手段105、ディスプレイやプリンタといった出力手段106などを含んで構成することもできる。
【0025】
3次元モデル作成装置100を構成する画像取得手段102と警告手段105は、専用のものとして製造することもできるし、汎用的なコンピュータ装置を利用することもできる。このコンピュータ装置は、パーソナルコンピュータ(PC)や、iPad(登録商標)といったタブレット型コンピュータ、スマートフォンを含む携帯端末などによって構成することができる。コンピュータ装置は、CPU等のプロセッサ、ROMやRAMといったメモリを具備しており、さらにマウスやキーボード等の入力手段や液晶ディスプレイ(出力手段106)を含むものもある。画像取得手段102は、デジタルカメラやデジタルビデオカメラなどを利用することができ、特にスマートフォンやタブレット型コンピュータなどに搭載されたカメラ等を利用するとよい。また、姿勢計測手段104は、画像取得手段102の撮影姿勢を計測するセンサであり、角速度センサや地磁気センサなどを利用することができる。なお、スマートフォンやタブレット型コンピュータなどを利用すれば、3次元モデル作成装置100を構成するモデル作成手段101と画像取得手段102、姿勢計測手段104、警告手段105、出力手段106、画像記憶手段107を1つの機器(スマートフォン等)に備えることができて好適となる。もちろん、スマートフォン等には画像取得手段102と姿勢計測手段104、警告手段105、出力手段106を備え、モデル作成手段101と画像記憶手段107はそれぞれ別のコンピュータ装置に備えるなど、種々の構成で設計することができる。
【0026】
画像記憶手段107は、汎用的コンピュータ(例えば、パーソナルコンピュータ)の記憶装置を利用することもできるし、データベースサーバに構築することもできる。データベースサーバに構築する場合、ローカルなネットワーク(LAN:Local Area Network)に置くこともできるし、インターネット経由(つまり無線通信)で保存するクラウドサーバとすることもできる。
【0027】
以下、
図2を参照しながら3次元モデル作成装置100の主な処理について詳しく説明する。
図2は、本願発明の3次元モデル作成装置100の主な処理の流れを示すフロー図である。なおこれらのフロー図では、中央の列に実施する行為を示し、左列にはその行為に必要なものを、右列にはその行為から生ずるものを示している。
【0028】
3次元モデル作成装置100は、既述したとおり「文字表示対象物」を撮影した「文字表示画像」を用いて「対象物3Dモデル」を作成する。文字表示対象物は、対象物の表面に多数の文字が表示されたものが望ましく、例えば
図3に示すような新聞紙面NPに記載された程度の文字が表示されるとよい。もちろん表示される文字は、
図3に示す英字新聞のようなアルファベットに限らず、漢字や仮名、数字などあらゆる種類の文字を選択することができる。
【0029】
例えば、その表面に複数の文字が印字されていたり、刻まれていたり、ペイントされているような対象物は、そのまま文字表示対象物として利用できる。一方、その表面に文字が表示されていない対象物に対しては、複数の文字を映写するか(
図2のStep110)、印字シートを密着させる(
図2のStep120)とよい。複数の文字を映写するケースでは、映写機やプロジェクタなどを用いて対象物の表面に複数の文字を映写することで文字表示対象物とすることができる。
【0030】
また印字シートを密着させるケースでは、対象物の表面に印字シートを密着させることで文字表示対象物とすることができる。ここで印字シート200とは、表面に多数の文字(例えば、新聞紙面NPや雑誌記事など)が印字されたシート状のものであり、タオルや紙に印字したものを印字シート200として利用したり、テープや包帯に印字したものを印字シート200として利用したりすることができる。そして対象物の表面に印字シート200を密着させて文字表示対象物とするわけである。このとき、少なくとも対象物3Dモデルを作成したい領域を網羅するように、印字シート200を密着させる。
【0031】
図4(a)は、頭部(この場合の対象物)を文字表示対象物とするための印字シート200を例示している。この図に示す印字シート200は、頭部に密着させるために帽子を利用している。なお帽子を利用する場合、密着性を高めるためいわゆるニット帽やメッシュ帽のように弾力性かつ伸縮性を有するものを利用するとよい。
図4(b)では、実際に
図4(a)に示す印字シート200を被っており、印字シート200が頭部に密着され、すなわち頭部が文字表示対象物とされていることが分かる。
【0032】
対象物3Dモデルを作成するために用いられる複数の文字表示画像の中には、
図5(b)に示すようにスケール300が収められた(撮影された)文字表示画像を含める必要がある。このスケール300は、あらかじめ主要な寸法が既知とされているものであり、たとえば
図5(b)に示すように四隅にそれぞれ異なるマークを配置したカード状のものを利用することができる。この図に示すスケール300の場合、長辺の長さと短辺の長さ(あるいはいずれか一方)や、対角線の長さなどを既知とするとよい。
【0033】
複数の文字を映写したり印字シートを密着させたりするなど文字表示対象物が用意でき、適当な位置にスケール300が配置されると、画像取得手段102で文字表示対象物を撮影して文字表示画像を取得する(
図2のStep200)。このとき、少なくとも対象物3Dモデルを作成したい領域を網羅するように、しかも隣接する文字表示画像どうしが一部重複(ラップ)するように、撮影角度を変えながら撮影していく。そして、必要な領域を網羅するように撮影できると(
図2のStep300のYes)次のステップに進み、そうでない場合は撮影角度を変えて再度撮影する(
図2のStep300のNo)。ここで取得された文字表示画像は、画像記憶手段107に記憶される。
【0034】
ところで、後述するようにモデル作成手段101が対象物3Dモデルを作成するためには、特徴点(つまり、複数の文字)を手掛かりとしながら文字表示画像を接続していく。そのためには、隣接する文字表示画像どうしがある程度重複(ラップ)している必要があるが、適切にラップしながら撮影することは撮影者にとってそれほど容易なことではない。そこで、姿勢計測手段104で画像取得手段102の姿勢を計測しながら撮影し、不十分なラップで撮影しようとするときに警告を出力する仕様(以下、便宜上「撮影ガイド仕様」という。)にするとよい。
【0035】
図6は、撮影ガイド仕様の手順を説明するフロー図である。この図に示すように、文字表示対象物とスケール300の用意ができると、撮影者が撮影のために画像取得手段102を配置した(構えた)ときの姿勢を姿勢計測手段104が計測し、「水平撮影方向」を求める(
図6のStep201)。ここで水平撮影方向とは、画像取得手段102の撮影方向(光軸方向)を水平面に投影した方向である。そして、前回撮影時の水平撮影方向と今回撮影時の水平撮影方向との差、すなわち連続する2回の撮影時の水平撮影方向の挟角である「方向較差」を求める。
図7は、水平撮影方向と方向較差の関係を模式的に示すモデル図である。この方向較差があらかじめ定めた「角度閾値」を上回るとき(
図6のStep203のYes)、隣接する文字表示画像と適切にラップしていないとして警告手段105が文字や音等によって警告を通知する。つまり、撮影者に適切な水平撮影方向に修正するよう促すわけである。なお、角度閾値の大きさは、例えば15°や22.5°など状況に応じて適宜設定することができる。
【0036】
文字表示対象物の必要領域の文字表示画像が取得できると、モデル作成手段101が対象物3Dモデルを作成する(
図2のStep400)。具体的には、モデル作成手段101が画像記憶手段107から必要な文字表示画像を読み出し、写真測量技術を利用したバンドル調整やSfMといった空間演算処理を実行することによって対象物3Dモデルを作成する。このとき、適当な方向較差を保ちつつ撮影したことから隣接する文字表示画像どうしは適切にラップしており、そしてそのラップ部分に表示された「文字(あるいは文字群)」が特徴点として好適に利用されながら文字表示画像を接続していく。その結果、対象物表面の点群座標が得られ、文字表示画像の色情報と合わせて、モデル作成手段101が対象物3Dモデルを作成する。
【0037】
対象者の対象物3Dモデルが作成されると、ディスプレイやプリンタといった出力手段106によって対象物3Dモデルが出力される。
【0038】
3.3次元モデル作成方法
次に、本願発明の3次元モデル作成方法ついて図を参照しながら説明する。なお、本願発明の3次元モデル作成方法は、ここまで説明した3次元モデル作成装置100を使用して対象物3Dモデルを作成する方法であり、したがって3次元モデル作成装置100で説明した内容と重複する説明は避け、本願発明の3次元モデル作成方法に特有の内容のみ説明することとする。すなわち、ここに記載されていない内容は、「2.3次元モデル作成装置」で説明したものと同様である。
【0039】
図8は、本願発明の3次元モデル作成方法の主な工程を示すフロー図である。この図に示すように、まず複数の文字を映写するか(
図8のStep11)、印字シートを密着させる(
図8のStep12)ことによって、文字表示対象物を用意する。もちろん、その表面に複数の文字が印字されていたり、刻まれていたり、ペイントされているような対象物は、Step11やStep12は省略することができる。
【0040】
文字表示対象物が用意でき、適当な位置にスケール300を配置すると、画像取得手段102で文字表示対象物を撮影して文字表示画像を取得していく(
図8のStep20)。そして、モデル作成手段101を用い、画像記憶手段107から読み出した必要な文字表示画像に基づいて対象物3Dモデルを作成する(
図8のStep30)。
【産業上の利用可能性】
【0041】
本願発明の3次元モデル作成装置、及び3次元モデル作成方法は、橋梁やオフィスビルといった大型構造物や、自動車や航空機、あるいは人体や動物など、様々な物を対象として利用することができる。
【符号の説明】
【0042】
100 本願発明の3次元モデル作成装置
101 (3次元モデル作成装置の)モデル作成手段
102 (3次元モデル作成装置の)画像取得手段
103 (3次元モデル作成装置の)映写手段
104 (3次元モデル作成装置の)姿勢計測手段
105 (3次元モデル作成装置の)警告手段
106 (3次元モデル作成装置の)出力手段
107 (3次元モデル作成装置の)画像記憶手段
NP 新聞紙面