特開 2022-178000 撮像装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022178000

(43)【公開日】2022-12-02

(54)【発明の名称】撮像装置および方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20221125BHJP

【ＦＩ】

G06T19/00 A

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021084477

(22)【出願日】2021-05-19

(71)【出願人】

【識別番号】519250327

【氏名又は名称】株式会社ＸＭＡＴ

(71)【出願人】

【識別番号】504157024

【氏名又は名称】国立大学法人東北大学

(74)【代理人】

【識別番号】100098394

【弁理士】

【氏名又は名称】山川 茂樹

(72)【発明者】

【氏名】面 政也

(72)【発明者】

【氏名】井上 憲司

(72)【発明者】

【氏名】吉川 彰

(72)【発明者】

【氏名】大橋 雄二

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050BA09

5B050BA10

5B050DA07

5B050EA05

5B050EA07

5B050EA18

5B050FA02

(57)【要約】

【課題】撮影した２次元画像から３次元画像がより容易に生成できるようにする。
【解決手段】特徴点抽出部１０３は、デジタルカメラ１０１による対象物１５１の撮像によって記憶部１０２に記憶されている前回画像、および対象物１５１をデジタルカメラ１０１が撮像している今回画像の各々の特徴点を抽出する。比較処理部１０４は、特徴点抽出部１０３が抽出した各々特徴点の比較により、前回画像と今回画像との一致の状態を求める。表示部１０５は、比較処理部１０４が求めた一致の状態を表示する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

デジタルカメラと、
前記デジタルカメラが撮像した画像を記憶する記憶部と、
前記デジタルカメラによる対象物の撮像によって前記記憶部に記憶されている前回画像、および前記対象物を前記デジタルカメラが撮像している今回画像の各々の特徴点を抽出する特徴点抽出部と、
前記特徴点抽出部が抽出した各々特徴点の比較により、前記前回画像と前記今回画像との一致の状態を求める比較処理部と、
前記比較処理部が求めた一致の状態を表示する表示部と
を備える撮像装置。

【請求項2】

請求項１記載の撮像装置において、
前記デジタルカメラは、深度センサを備え、前記デジタルカメラが撮像した画像は、深度情報を備えることを特徴とする撮像装置。

【請求項3】

請求項１または２記載の撮像装置において、
前記比較処理部は、各々の特徴点の記述子を比較することで一致の状態を求めることを特徴とする撮像装置。

【請求項4】

請求項１～３のいずれか１項に記載の撮像装置において、
前記比較処理部が求めた一致の状態が設定されている基準を超える場合に、前記今回画像を前記記憶部に記憶する記憶処理部をさらに備えることを特徴とする撮像装置。

【請求項5】

請求項１～４のいずれか１項に記載の撮像装置において、
前記対象物を前記デジタルカメラで撮像することで前記記憶部に記憶された複数の画像から前記対象物の３次元画像を生成する画像生成部を備えることを特徴とする撮像装置。

【請求項6】

対象物をデジタルカメラで撮像した画像を記憶部に記憶する第１ステップと、
前記記憶部に記憶されている前回画像、および前記対象物を前記デジタルカメラが撮像している今回画像の各々の特徴点を抽出する第２ステップと、
前記第２ステップで抽出した各々特徴点の比較により、前記前回画像と前記今回画像との一致の状態を求める第３ステップと、
前記第３ステップで求めた一致の状態を表示する第４ステップと
を備える撮像方法。

【請求項7】

請求項６記載の撮像方法において、
前記デジタルカメラが撮像した画像は、深度情報を備え、前記第３ステップは、各々の特徴点の記述子を比較することで一致の状態を求めることを特徴とする撮像方法。

【請求項8】

請求項６または７記載の撮像方法において、
前記第３ステップで求めた一致の状態が、設定されている基準を超える場合に、前記今回画像を前記記憶部に記憶する第５ステップをさらに備えることを特徴とする撮像方法。

【請求項9】

請求項６～８のいずれか１項に記載の撮像方法において、
前記対象物を前記デジタルカメラで撮像することで前記記憶部に記憶された複数の画像から前記対象物の３次元画像を生成する第６ステップを備えることを特徴とする撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元画像を得るための撮像装置および方法に関する。

【背景技術】

【0002】

近年、デジタルトランスフォーメーション（Digital Transformation：ＤＸ）推進の観点から、各種構造物や空間情報をデジタル情報として取得し、仮想空間内に実物を再現した空間・物体を生成し、疑似的に現実世界を認知・知覚する仮想現実（Virtual Reality：ＶＲ）技術や、現実空間内に実物を再現した空間・物体を重ね合わせて視覚情報を拡張する拡張現実（Augmented Reality：ＡＲ）技術を用いて各種サービスや生産現場における生産性や品質向上に活用する動きが広がっている。

【0003】

例えば、国が推進しているＢＩＭ (Building Information Modeling）やＣＩＭ（Construction Information Modeling/Managements）による生産性向上においては、現況地形・構造物・施設（屋外・屋内）等の３次元計測は欠かすことができない。これらを実現するにあたって、対象物の精緻な３次元形状並びに位置情報（対象物間の相対的な位置関係を含む）の取得が重要となっている。

【0004】

簡易的には、単眼カメラやステレオカメラを用いて複数視点で撮像することで得られた２次元画像を用意し、各画像の特徴点を抽出し、他の画像における類似した特徴点を結びつけることで、３次元情報（３次元画像）を合成する技術がある（特許文献１）。また、上述した前記２次元画像に深度センサと呼ばれる視点と物体との距離を測定するセンサの情報を付加し、３次元情報の精度を向上させる技術が知られている（特許文献２）。

【0005】

上述した２次元画像の撮影機材としては、深度センサを搭載したデプスカメラによるものや、レーザによる距離測定センサ（Light Detection and Ranging、Laser Imaging Detection and Ranging：Ｌｉｄａｒ）を用いた撮影機材などが知られている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２０－１５９９６５号公報

【特許文献2】特開２０２０－１３５６７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上述した技術において、対象物を複数の箇所から撮影し、撮影された画像データ（２次元画像）の画像処理を行い、これらを再構成することで３次元画像を得ている。撮影された画像情報を３次元画像に再構成するにあたって、精緻な３次元情報を得ようとすればするほど膨大な計算処理量となることが一般的であり、空間の撮像から３次元画像として活用できるデータ状態となるまで一定の処理時間が必要となっている。

【0008】

このようにして再構築した３次元情報に、撮影異常による空間情報の乱れや欠損が判明した場合、上述した処理を再度実施することになり、手間がかかるという問題があった。特に、作業者が撮像機材を手にもって撮影を行う場合、撮影異常による再撮影が多くなる傾向があり、上述した問題が顕著となる。このように、従来、撮影した２次元画像から３次元画像を生成することが容易ではないという問題があった。

【0009】

本発明は、以上のような問題点を解消するためになされたものであり、撮影した２次元画像から３次元画像がより容易に生成できるようにすることを目的とする。

【課題を解決するための手段】

【0010】

本発明に係る撮像装置は、デジタルカメラと、デジタルカメラが撮像した画像を記憶する記憶部と、デジタルカメラによる対象物の撮像によって記憶部に記憶されている前回画像、および対象物をデジタルカメラが撮像している今回画像の各々の特徴点を抽出する特徴点抽出部と、特徴点抽出部が抽出した各々特徴点の比較により、前回画像と今回画像との一致の状態を求める比較処理部と、比較処理部が求めた一致の状態を表示する表示部とを備える。

【0011】

請求項１上記撮像装置の一構成例において、デジタルカメラは、深度センサを備え、デジタルカメラが撮像した画像は、深度情報を備える。

【0012】

上記撮像装置の一構成例において、比較処理部は、各々の特徴点の記述子を比較することで一致の状態を求める。

【0013】

上記撮像装置の一構成例において、比較処理部が求めた一致の状態が設定されている基準を超える場合に、今回画像を記憶部に記憶する記憶処理部をさらに備える。

【0014】

上記撮像装置の一構成例において、対象物をデジタルカメラで撮像することで記憶部に記憶された複数の画像から対象物の３次元画像を生成する画像生成部を備える。

【0015】

また、本発明に係る撮像方法は、対象物をデジタルカメラで撮像した画像を記憶部に記憶する第１ステップと、記憶部に記憶されている前回画像、および対象物をデジタルカメラが撮像している今回画像の各々の特徴点を抽出する第２ステップと、第２ステップで抽出した各々特徴点の比較により、前回画像と今回画像との一致の状態を求める第３ステップと、第３ステップで求めた一致の状態を表示する第４ステップとを備える。

【0016】

上記撮像方法の一構成例において、デジタルカメラが撮像した画像は、深度情報を備え、第３ステップは、各々の特徴点の記述子を比較することで一致の状態を求める。

【0017】

上記撮像方法の一構成例において、第３ステップで求めた一致の状態が、設定されている基準を超える場合に、今回画像を記憶部に記憶する第５ステップをさらに備える。
上記撮像方法の一構成例において、対象物をデジタルカメラで撮像することで記憶部に記憶された複数の画像から対象物の３次元画像を生成する第６ステップを備える。

【発明の効果】

【0018】

以上説明したように、本発明によれば、前回画像と今回画像の各々において、抽出した各々特徴点を比較して前回画像と今回画像との一致の状態を求めるので、撮像した２次元画像から３次元画像がより容易に生成できる。

【図面の簡単な説明】

【0019】

【図1】図１は、本発明の実施の形態に係る撮像装置の構成を示す構成図である。

【図2】図２は、本発明の実施の形態に係る撮像方法を説明するフローチャートである。

【図3】図３は、画像から特徴点を抽出した状態を説明するための説明図である。

【図4】図４は、画像間の対応する特徴点の比較を説明するための説明図である。

【図5】図５は、本発明の実施の形態に係る撮像装置のハードウエア構成を示す構成図である。

【発明を実施するための形態】

【0020】

以下、本発明の実施の形態に係る撮像装置について図１を参照して説明する。この撮像装置は、デジタルカメラ１０１、記憶部１０２、特徴点抽出部１０３、比較処理部１０４、表示部１０５を備える。

【0021】

デジタルカメラ１０１は、例えば、深度センサ付きステレオカメラとすることができる。深度センサは、赤外公式、レーザ式などの深度情報が得られるセンサとすることができる。デジタルカメラ１０１は単眼でもよいが、ステレオカメラが望ましい。深度センサを備えるデジタルカメラ１０１が撮像した画像は、深度情報を備えるものとなる。

【0022】

記憶部１０２は、デジタルカメラ１０１が撮像（撮影）した画像を記憶する。例えば、まず、起動しているデジタルカメラ１０１のレンズを対象物１５１に向け、デジタルカメラ１０１の液晶モニタなどを用いて対象物１５１が撮像範囲となる状態とする。液晶モニタには、デジタルカメラ１０１の撮像素子で受像している被写体の画像が表示されている。この状態で、デジタルカメラ１０１のシャッタボタンを押下することで、液晶モニタに表示されていた画像が、記憶部１０２に記憶される。

【0023】

特徴点抽出部１０３は、デジタルカメラ１０１による対象物１５１の撮像によって記憶部１０２に記憶されている前回画像、および対象物１５１をデジタルカメラ１０１が撮像している今回画像の各々の特徴点を抽出する。特徴点の抽出では、抽出した各々の特徴点の記述子を取得する。

【0024】

比較処理部１０４は、特徴点抽出部１０３が抽出した各々特徴点の比較により、前回画像と今回画像との一致の状態を求める。比較処理部１０４は、各々の特徴点の記述子を比較することで一致の状態を求める。表示部１０５は、比較処理部１０４が求めた一致の状態を表示する。

【0025】

また、この撮像装置は、比較処理部１０４が求めた一致の状態が設定されている基準を超える場合に、今回画像を記憶部１０２に記憶する記憶処理部１０６を備える。また、この撮像装置は、対象物１５１をデジタルカメラ１０１で撮像することで記憶部１０２に記憶された複数の画像から、対象物１５１の３次元画像を生成する画像生成部１０７を備える。

【0026】

次に、本発明の実施の形態に係る撮像方法について、図２を参照して説明する。まず、ステップＳ１０１で、対象物１５１をデジタルカメラ１０１で撮像した画像（前回画像）を記憶部１０２に記憶する（第１ステップ）。前述したように、デジタルカメラ１０１のレンズを対象物１５１に向け、デジタルカメラ１０１の液晶モニタなどを用いて対象物１５１が撮像範囲となる状態とし、デジタルカメラ１０１のシャッタボタンを押下し、液晶モニタに表示されていた画像を記憶部１０２に記憶する。

【0027】

次に、ステップＳ１０２で、今回画像の撮像を行う。前回画像の撮像とは異なる方向でデジタルカメラ１０１のレンズを対象物１５１に向け、デジタルカメラ１０１の液晶モニタなどを用いて対象物１５１が撮像範囲となる状態とする。

【0028】

次に、ステップＳ１０３で、特徴点抽出部１０３が、記憶部１０２に記憶されている前回画像、および対象物１５１をデジタルカメラ１０１が撮像している今回画像の各々の特徴点を抽出する（第２ステップ）。

【0029】

次に、ステップＳ１０４で、比較処理部１０４が、特徴点抽出部１０３が抽出した各々特徴点の比較により、前回画像と今回画像との一致の状態を求める（第３ステップ）。デジタルカメラ１０１が撮像した画像は、深度情報を備え、ここでは、各々の特徴点の記述子を比較することで一致の状態を求める。各画像における特徴点の検出および特徴量は、ＳＩＦＴ（Scale Invariant Feature Transform）特徴やＳＵＲＦ（Speeded Up Robust Features）特徴などの画像特徴を利用することができる。また、これらに限定されるものではなく、各特徴点の特徴量の記述子に基づいて、総当たり式に一致探索を実施することもできる。例えばBrute-Force matchが知られている。

【0030】

次に、ステップＳ１０５で、求めた一致の状態（結果）を、表示部１０５に表示する（第４ステップ）。

【0031】

例えば、図３に示すように、前回画像（ａ）と今回画像（ｂ）の各々において、抽出した特徴点の記述子を比較し、一致する（視野は異なるが、同じ箇所である可能性が高い）候補を複数選択する。図３において、一致する候補を丸で囲んで示している。

【0032】

一致の状態の表示として、今回画像について、一致する対応点それぞれについて視差とカメラの焦点距離から算出される相対的な位置関係を反映した枠を、前回画像に重ねるように表示する（図４）。図４では、実線の枠内に前回画像を示し、今回画像については、上述したように点線の枠のみで示している。

【0033】

図３に示した、丸で示す特徴点が一致する候補の各々について、点線で示す枠を生成し、各々の点線枠の特徴点と、前回画像の対応する特徴点とを重ねる。複数の特徴点の各々の位置がおおよそ一致していれば、図４の（ａ）に示すように、複数の点線枠が、ほぼ重なって表示される。一方、複数の特徴点の各々の位置が一致していない場合、図４の（ｂ）に示すように、複数の点線枠が、重なることなく、各々異なる位置に表示される。

【0034】

このような表示により、複数の点線枠がほぼ重なって表示されれば、今回画像が前回画像に対して、特徴点の対応点の数が一定以上ある（一致度が高い）ことが判断できる。一方、複数の点線枠が、重なることなく、各々異なる位置に表示されれば、今回画像が前回画像に対して、特徴点の対応点の数があまりない（一致度が低い）ことが判断できる。

【0035】

また、重なって表示される複数の点線枠が、実線の枠で示される前回画像の位置よりずれていれば、前回画像と現在画像が一定の距離離れていることがわかる。前回画像と今回画像とが上述した関係となっていれば、これらは、３次元画像として活用できるデータ状態であることが判断できる。ここで、各撮像ごとのカメラの移動量が、デジタルカメラ１０１の視野の１／１０程度を超えると、上述した一致度の高い状態を得ることができないことが判明している。

【0036】

なお、対応点の一致度合いに対応して、点線枠の色を変えることができる。例えば、一致度合いが一定数以上であれば青で表示し、一定数に満たない場合は赤で表示することができる。また、このとき、デジタルカメラ１０１が備える手ぶれ補正機能により手ぶれの状態を測定し、この測定結果として、手ぶれが基準以上発生していないことを、表示部１０５に表示することもできる。

【0037】

次に、ステップＳ１０６で、記憶処理部１０６が、上述した一致の状態が、設定されている基準を超える場合に（ステップＳ１０６のｙｅｓ）、ステップＳ１０７で、今回画像を記憶部１０２に記憶する（第５ステップ）。一致の状態として、上述した、手ぶれが基準以上発生していないことを条件とすることもできる。

【0038】

上述したステップＳ１０２～ステップＳ１０７を、記憶部１０２に記憶される画像の数が、設定した画像数になるまで実施したら（ステップＳ１０８のｙｅｓ）、ステップＳ１０９で、画像生成部１０７が、対象物１５１をデジタルカメラ１０１で撮像することで記憶部１０２に記憶された複数の画像から対象物１５１の３次元画像を生成する（第６ステップ）。このように生成された３次元画像は、前述したことにより、各画像間の一致度合いが保証されているため、精緻な３次元空間情報が得られる確率が大幅に向上する。

【0039】

また、撮像時は２次元画像情報による相対的な一致対応点探索を実施し、撮像後の３次元空間再構成時には、深さ情報（距離情報）を加味することもできる。

【0040】

なお、上述した実施の形態に係る撮像装置の記憶部、特徴点抽出部、比較処理部、表示部は、図５に示すように、ＣＰＵ（Central Processing Unit；中央演算処理装置）３０１と主記憶装置３０２と外部記憶装置３０３とネットワーク接続装置３０４となどを備えたコンピュータ機器とし、主記憶装置３０２に展開されたプログラムによりＣＰＵ３０１が動作する（プログラムを実行する）ことで、上述した各機能（撮像方法）が実現されるようにすることもできる。上記プログラムは、上述した実施の形態で示した撮像方法をコンピュータが実行するためのプログラムである。ネットワーク接続装置３０４は、ネットワーク３０５に接続する。また、各機能は、複数のコンピュータ機器に分散させることもできる。

【0041】

以上に説明したように、本発明によれば、前回画像と今回画像の各々において、抽出した各々特徴点を比較して前回画像と今回画像との一致の状態を求めるので、撮像した２次元画像から３次元画像がより容易に生成できるようになる。

【0042】

本発明によれば、撮像時に、前回画像と今回画像との間で、特徴点マッチングを実施するので、撮像後の３次元情報の再構成時に問題が発覚する可能性を大幅に減ずることができるため、再撮像などの無駄な作業を減らすことが可能となる。また、撮像品質が一定のレベルを超えた撮像を実現することにより、高価な据え置き型撮像装置を用いずとも精緻な３次元情報の取得を可能にする。

【0043】

なお、本発明は以上に説明した実施の形態に限定されるものではなく、本発明の技術的思想内で、当分野において通常の知識を有する者により、多くの変形および組み合わせが実施可能であることは明白である。

【符号の説明】

【0044】

１０１…デジタルカメラ、１０２…記憶部、１０３…特徴点抽出部、１０４…比較処理部、１０５…表示部、１０６…記憶処理部、１０７…画像生成部、１５１…対象物。

【図1】

【図2】

【図3】

【図4】

【図5】