特開 2022-55619 三次元計測装置、三次元計測方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022055619

(43)【公開日】2022-04-08

(54)【発明の名称】三次元計測装置、三次元計測方法、プログラム

(51)【国際特許分類】

   G01B 11/245 20060101AFI20220401BHJP

【ＦＩ】

G01B11/245 H

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2020163142

(22)【出願日】2020-09-29

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】899000079

【氏名又は名称】学校法人慶應義塾

(74)【代理人】

【識別番号】100121706

【弁理士】

【氏名又は名称】中尾 直樹

(74)【代理人】

【識別番号】100128705

【弁理士】

【氏名又は名称】中村 幸雄

(74)【代理人】

【識別番号】100147773

【弁理士】

【氏名又は名称】義村 宗洋

(72)【発明者】

【氏名】三上 弾

(72)【発明者】

【氏名】草地 良規

(72)【発明者】

【氏名】稲生 健太郎

(72)【発明者】

【氏名】斎藤 英雄

【テーマコード（参考）】

2F065

【Ｆターム（参考）】

2F065AA53

2F065CC14

2F065DD04

2F065FF05

2F065JJ03

2F065JJ05

2F065JJ08

2F065JJ26

2F065QQ21

2F065QQ24

2F065QQ28

2F065QQ31

(57)【要約】

【課題】カメラと被写体の双方が動いている状況でも三次元計測を行うことができる三次元計測装置を提供する。
【解決手段】カメラ群に属する少なくとも１台のカメラが撮影した画像群に基づいて、対象となる空間の三次元モデル（以下、空間三次元モデルと呼称する）を作成する空間三次元モデル作成部と、空間三次元モデルに基づいて、カメラ群に含まれる複数台の各カメラの位置姿勢を求めるカメラ群位置姿勢推定部と、カメラ群の位置姿勢と画像間で共通に存在する対応点とに基づいて、三角測量の原理により被写体を三次元計測する三次元計測部を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

カメラ群に属する少なくとも１台のカメラが撮影した画像群に基づいて、対象となる空間の三次元モデル（以下、空間三次元モデルと呼称する）を作成する空間三次元モデル作成部と、
前記空間三次元モデルに基づいて、前記カメラ群に含まれる複数台の各カメラの位置姿勢を求めるカメラ群位置姿勢推定部と、
前記カメラ群の前記位置姿勢と画像間で共通に存在する対応点とに基づいて、三角測量の原理により被写体を三次元計測する三次元計測部
を含む三次元計測装置。

【請求項2】

請求項１に記載の三次元計測装置であって、
入力画像の任意の領域に対して、その領域が可動性または可搬性が高い被写体（以下、可動被写体と呼称する）に該当するか否かを判定し、前記可動被写体であると判定された領域については、マスク処理を実行する可動被写体判定部
を含む三次元計測装置。

【請求項3】

請求項１または２に記載の三次元計測装置であって、
前記カメラ群および前記被写体は各々移動する
三次元計測装置。

【請求項4】

カメラ群に属する少なくとも１台のカメラが撮影した画像群に基づいて、対象となる空間の三次元モデル（以下、空間三次元モデルと呼称する）を作成するステップと、
前記空間三次元モデルに基づいて、前記カメラ群に含まれる複数台の各カメラの位置姿勢を求めるステップと、
前記カメラ群の前記位置姿勢と画像間で共通に存在する対応点とに基づいて、三角測量の原理により被写体を三次元計測するステップ
を含む三次元計測方法。

【請求項5】

コンピュータを請求項１から３の何れかに記載の三次元計測装置として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数カメラにより撮影された対象（被写体）を三次元計測する三次元計測装置、三次元計測方法、プログラムである。

【背景技術】

【0002】

従来、複数のカメラで対象（被写体）を撮影し、三角測量の原理により対象（被写体）の三次元形状を計測することが行われてきた。この計測では、複数のカメラが校正されていることが前提となる。そのため、多くの場合、カメラは固定されている必要があった。

【0003】

しかしながらマラソンや駅伝の撮影のように、被写体（競技者）が広い範囲を動く場合、固定カメラで撮影することは困難であり、手持ちカメラによる追従が必要となる。この場合、カメラ校正が難しく、その結果、三次元形状計測ができないという課題があった。

【0004】

一方、高橋らは、カメラ校正を明に行わない手法（非特許文献１）を提案している。これは、人物の関節点を対応点とすることで、カメラ校正と姿勢推定を同時に行う手法である。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】Kosuke Takahashi, Dan Mikami, Mariko Isogawa, Hideaki Kimata,"Human Pose as Calibration Pattern; 3D Human Pose Estimation with Multiple Unsynchronized and Uncalibrated Cameras", IEEE, CVSports (CVPRW), June, 2018

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、高橋らの手法では、１フレームにおいて得られる対応点が高々１５程度であり、また人物の領域と画像全体の比率から考えると、対応点が偏在してしまうことから、精度を確保するために固定カメラを使用する必要があり、手持ちカメラへの適用は難しいという課題があった。

【0007】

そこで本発明では、カメラと被写体の双方が動いている状況でも三次元計測を行うことができる三次元計測装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の三次元計測装置は、空間三次元モデル作成部と、カメラ群位置姿勢推定部と、三次元計測部を含む。

【0009】

空間三次元モデル作成部は、カメラ群に属する少なくとも１台のカメラが撮影した画像群に基づいて、対象となる空間の三次元モデル（以下、空間三次元モデルと呼称する）を作成する。

【0010】

カメラ群位置姿勢推定部は、空間三次元モデルに基づいて、カメラ群に含まれる複数台の各カメラの位置姿勢を求める。

【0011】

三次元計測部は、カメラ群の位置姿勢と画像間で共通に存在する対応点とに基づいて三角測量の原理により被写体を三次元計測する。

【発明の効果】

【0012】

本発明の三次元計測装置によれば、カメラと被写体の双方が動いている状況でも三次元計測を行うことができる。

【図面の簡単な説明】

【0013】

【図1】実施例１の三次元計測装置の構成を示すブロック図。

【図2】実施例１の三次元計測装置の動作を示すフローチャート。

【図3】市街地を移動する人物をカメラにより追従して撮影する例を示す図。

【図4】カメラ位置姿勢を推定した例を示す図。

【図5】実施例２の三次元計測装置の構成を示すブロック図。

【図6】実施例２の三次元計測装置の動作を示すフローチャート。

【図7】カメラ群位置姿勢推定に用いる画像を例示する図。

【図8】可動被写体判定部が実行するマスク処理の例を示す図。

【図9】コンピュータの機能構成例を示す図。

【発明を実施するための形態】

【0014】

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

【0015】

以下の実施例（実施例１、２）の三次元計測装置は、カメラも被写体も全てが動いている状況、例えば、マラソン、駅伝、パルクール、スケートボードストリートなどの競技者を追従して撮影する複数台の移動するカメラの映像を基に被写体を三次元計測する装置である。

【実施例0016】

以下、実施例１の三次元計測装置について説明する。本実施例の三次元計測装置は、カメラで撮影した画像群から空間の三次元モデル（以下、空間三次元モデル）をＳｆＭ（Structure from Motion）の技術を用いて予め作成し、当該空間三次元モデルと各カメラの撮影した画像とを照らし合わせることにより、カメラ位置姿勢を推定する。続いて、推定されたカメラ位置姿勢の情報と各カメラで撮影した画像から、三点測量の原理を用いることで三次元計測を実行する。これにより、被写体を追従する手持ちカメラ群においてもカメラキャリブレーションが可能となり、被写体の三次元計測が実現する。カメラ群は、移動を伴う撮影を想定し、例えばドローンや自動車等に搭載したカメラであってもよい。

【0017】

以下、図１を参照して本実施例の三次元計測装置の構成を説明する。同図に示すように本実施例の三次元計測装置１は、空間三次元モデル作成部１１と、カメラ群１２と、カメラ群位置姿勢推定部１３と、三次元計測部１４を含む構成である。以下、図２を参照して各構成要件の動作を説明する。

【0018】

＜空間三次元モデル作成部１１＞
空間三次元モデル作成部１１は、カメラ群１２が撮影した画像群に基づいて、例えばＳｆＭ（Structure from Motion）を実行することにより、対象となる空間の三次元モデルを作成する（Ｓ１１）。なお、三次元モデル作成に用いるカメラは、１台のみであってもよい。空間三次元モデル作成部１１は、カメラ群１２に属する少なくとも１台のカメラが撮影した画像群に基づいて、対象となる空間の三次元モデルを作成することができる。

【0019】

空間三次元モデル作成部１１は、例えば、複数台の移動するカメラの動画を入力データとし、ＳｆＭのオープンソフトウェアであるＣＯＬＭＡＰ、Pix4Dmapper、Metashape、TerraMapper等を使うことにより、対象となる空間の三次元モデルを作成することができる。

【0020】

＜カメラ群１２＞
カメラ群１２を構成する各カメラは、いずれも固定されていないカメラであり、計測対象である被写体を追従する（Ｓ１２）。カメラ群１２を構成するカメラは２台以上とする。

【0021】

市街地を移動する人物を、カメラによって追従して撮影する例を図３に示す。同図の例において、実線の円で囲んだ位置に被写体の人物が存在し、この人物は画面下方向から画面上方向に向かって移動している。その様子を被写体の人物を取り囲む４台のカメラにより撮影しており、各々のカメラは被写体の移動に合わせ、画面下方向から画面上方向に向かって移動している。このような撮影により、マラソンなど非常に広範囲を移動する被写体であっても継続的に撮影することが可能となる。

【0022】

＜カメラ群位置姿勢推定部１３＞
カメラ群位置姿勢推定部１３は、空間三次元モデル作成部１１により作成された空間三次元モデルに基づいて、カメラ群１２に含まれる各カメラの位置姿勢を求める（Ｓ１３）。カメラ群位置姿勢推定には、例えば空間三次元モデル作成部１１と同様にＳｆＭを利用してもよい。

【0023】

カメラの位置姿勢を推定する方法には、例えば、以下の二つがある。

【0024】

（１）作成された三次元モデルと撮影画像を照合して推定する方法。

【0025】

（２）三次元モデル作成時の入力データとして位置姿勢を推定するカメラの画像も使い、三次元モデル構成とカメラ位置姿勢の推定を同時に行う方法。
（１）および（２）の三次元モデルは、例えば、ＣＯＬＭＡＰなどのＳｆＭソフトウェアを用いて作成してもよい。

【0026】

カメラ位置姿勢を推定した例を図４に示す。

【0027】

また、ステップＳ１３は、カメラ位置から被写体の位置を一つ一つ計測する方法でも実現可能であるが、特に被写体以外に動く被写体がある場合などは、ＣＯＬＭＡＰにＳＩＦＴやＹＯＬＯというツールを使いて、画像に写る被写体を人・自動車などの可動被写体や建物などの不可動被写体に分類してから計測を行うこともできる。例えば被写体（単体）が人物の場合は、非特許文献１では、人の関節位置などを用いて被写体の位置を推定したが、本実施例ではＳＩＦＴと動画を用いてオブジェクトの角のような構造的特徴（この特徴は関節に限定する必要がなく、自転車等にも適用できる）を抽出し、動画上でその構造的特徴が滑らかに移動するようにマッチングを行うことで、動画での移動という動作を含めて被写体を分類することができる。

【0028】

ステップＳ１３において、被写体を三点測量で計測する際に、測量の基準に頻繁に動く通行人・自転車等を誤って設定すると、正しい計測結果を得ることができない。そこで、特に移動が激しい被写体は測量の目印にならないよう、ＹＯＬＯ（You Only Look Once）等の手法を用いて一般物体を抽出し、ステップＳ１３で用いる際には図８のようなマスクを作成して測量の基準から除外すれば好適である（実施例２で詳述）。例えば、マラソンコースを撮影した際には、動画に写る歩行者や自動車等を上記方法でマスクすればよい。

【0029】

＜三次元計測部１４＞
三次元計測部１４は、カメラ群１２に含まれる各カメラの位置姿勢とそれらカメラ間で共通して得られる対応点とに基づいて、三角測量の原理により被写体を三次元計測する（Ｓ１４）。

【0030】

本実施例の三次元計測装置１によれば、まず、対象となる空間の三次元モデルを作成し、これに基づいて、各カメラの位置姿勢を推定し、推定された各カメラの位置姿勢に基づいて、三角測量の原理により被写体を三次元計測するため、カメラと被写体の双方が動いている状況でも三次元計測を行うことができる。

【実施例0031】

カメラ群位置姿勢推定に用いる画像の例を図７に示す。図７は４台のカメラで撮影した映像から対応する１フレームの画像をそれぞれ抜き出したものである。中央に写る人物が被写体である。しかしながら、空間三次元モデル作成時には当該人物は含まれないようにする必要がある。

【0032】

このことから、空間三次元モデル作成およびカメラ群位置姿勢推定において、可動性・可搬性が高い領域を推定し、ＳｆＭ処理において除外することで、静的に存在するオブジェクトやテクスチャのみに基づいたＳｆＭが可能となり精度が向上する。

【0033】

以下、図５を参照して、上述の領域除外処理を加えた、実施例２の三次元計測装置の構成を説明する。同図に示すように本実施例の三次元計測装置２は、空間三次元モデル作成部１１と、カメラ群１２と、カメラ群位置姿勢推定部１３と、三次元計測部１４と、可動被写体判定部２５を含む構成であって、可動被写体判定部２５以外の構成については、実施例１と同じである。以下、図６を参照して可動被写体判定部２５の動作を説明する。

【0034】

＜可動被写体判定部２５＞
可動被写体判定部２５は、入力画像の任意の領域に対して、その領域が可動性、または可搬性が高い被写体（以下、可動被写体と呼称する）に該当するか否かを判定し、可動被写体であると判定された領域については、マスク処理を実行する（Ｓ２５）。

【0035】

可動被写体判定部２５が実行するマスク処理の例を図８に示す。図８では、可動被写体抽出の例として、人物抽出を行っている。すなわち可動被写体判定部２５は、入力画像に対して、可動被写体である人物をマスクし、当該データをカメラ群位置姿勢推定部１３に送信する。

【0036】

ここでは可動被写体判定の例として人物抽出を利用したが、参考非特許文献１に挙げるような一般物体認識器を用いて、人物、車、バイクを可動被写体として除外することも考えられる。

【0037】

（参考非特許文献１：Girshick, Ross, et al. "Rich feature hierarchies for accurate object detection and semantic segmentation." Proceedings of the IEEE conference on computer vision and pattern recognition.）
本実施例の三次元計測装置２によれば、実施例１の効果に加え、可動性・可搬性が高い領域をＳｆＭ処理において除外することで、静的に存在するオブジェクトやテクスチャのみに基づいたＳｆＭが可能となり、精度が向上する。

【0038】

＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。

【0039】

ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。

【0040】

ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。

【0041】

本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

【0042】

既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。

【0043】

上述の各種の処理は、図９に示すコンピュータの記録部１００２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部１００１０、入力部１００３０、出力部１００４０などに動作させることで実施できる。

【0044】

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ（Random Access Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ－ＲＯＭ（Electrically Erasable and Programmable-Read Only Memory）等を用いることができる。

【0045】

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

【0046】

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

【0047】

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。