特開 2024-58581 撮像システム、撮像装置および撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024058581

(43)【公開日】2024-04-25

(54)【発明の名称】撮像システム、撮像装置および撮像方法

(51)【国際特許分類】

   G01S 7/4914 20200101AFI20240418BHJP

   G01S 17/894 20200101ALI20240418BHJP

   H04N 25/705 20230101ALI20240418BHJP

【ＦＩ】

G01S7/4914

G01S17/894

H04N25/705

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023134288

(22)【出願日】2023-08-21

(31)【優先権主張番号】P 2022164992

(32)【優先日】2022-10-13

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】関口 洋義

【テーマコード（参考）】

5C024

5J084

【Ｆターム（参考）】

5C024CY17

5C024EX12

5C024GY31

5J084AA05

5J084AD01

5J084AD02

5J084BA01

5J084BA36

5J084BA40

5J084CA07

5J084CA10

5J084CA20

5J084DA08

5J084EA04

5J084EA11

(57)【要約】

【課題】距離の算出精度の低下を抑制するための複数の位相画像に対する処理を実現することができる撮像システム、撮像装置および撮像方法を提供する。
【解決手段】入力された複数の位相画像に対し、同じ位相の複数の位相画像同士の加算処理を行って加算位相画像を生成する加算部を有し、入力された複数の位相画像は、第１の条件で撮像された複数の第１の位相画像と、第１の条件と異なる第２の条件で撮像された１以上の第２の位相画像と、を含み、第１の位相画像の数は、第２の位相画像の数よりも多く、加算部は、少なくとも複数の第１の位相画像について、同じ位相の複数の第１の位相画像間の動き量を導出し、動き量に基づいて、同じ位相の複数の第１の位相画像に対して補正を行い、加算処理により複数の位相毎に加算位相画像を生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

入力された複数の位相画像に対し、同じ位相の複数の前記位相画像同士の加算処理を行って加算位相画像を生成する加算部を有し、
前記入力された複数の位相画像は、第１の条件で撮像された複数の第１の位相画像と、前記第１の条件と異なる第２の条件で撮像された１以上の第２の位相画像と、を含み、
前記第１の位相画像の数は、前記第２の位相画像の数よりも多く、
前記加算部は、少なくとも前記複数の第１の位相画像について、同じ位相の複数の前記第１の位相画像間の動き量を導出し、前記動き量に基づいて、該同じ位相の複数の第１の位相画像に対して補正を行い、前記加算処理により複数の位相毎に前記加算位相画像を生成する撮像システム。

【請求項2】

前記複数の第１の位相画像は、第１の期間に撮像され、
前記１以上の第２の位相画像は、前記第１の期間とは異なる第２の期間で撮像され、
前記加算部は、前記第１の期間に撮像された前記複数の第１の位相画像のうち、該第１の期間の中央よりも前記第２の期間に近い期間に撮像された前記第１の位相画像を第１の基準位相画像として選択し、前記第１の基準位相画像を用いて前記動き量を導出する請求項１に記載の撮像システム。

【請求項3】

前記第１の期間は、時間的に離間した複数の期間を含む請求項２に記載の撮像システム。

【請求項4】

前記入力された複数の位相画像は、前記第１の期間および前記第２の期間と異なる第３の期間に、前記第１の条件および前記第２の条件と異なる第３の条件で撮像された複数の第３の位相画像と、をさらに含み、
前記第２の期間は、前記第１の期間と前記第３の期間との間であり、
前記加算部は、前記第３の期間に撮像された前記複数の第３の位相画像のうち、前記第３の期間の中央よりも前記第２の期間に近い期間に撮像された前記第３の位相画像を第２の基準位相画像として選択し、前記第２の基準位相画像を用いて前記動き量を導出する請求項２に記載の撮像システム。

【請求項5】

照射光を照射する光源と、前記照射光が対象物で反射した反射光を受光し受光信号を出力する受光センサと、を備える撮像部と、
前記複数の位相で前記複数の位相画像を撮像するように前記撮像部を制御する撮像制御部と、
をさらに有する請求項１～４のいずれか一項に記載の撮像システム。

【請求項6】

外部からの入力を受け付ける入力部を、さらに備え、
前記加算部は、前記入力部による入力に基づいて前記複数の第１の位相画像から選択された基準位相画像を用いて、前記動き量を導出する請求項１～４のいずれか一項に記載の撮像システム。

【請求項7】

前記複数の位相毎の前記加算位相画像に基づいて、対象物までの距離を算出する距離計測部を、さらに備えた請求項１～４のいずれか一項に記載の撮像システム。

【請求項8】

前記距離計測部は、前記複数の位相毎の前記加算位相画像に基づいて、前記対象物までの距離を示す距離画像を生成し、
前記距離画像を表示装置に表示させる表示制御部を、さらに備えた請求項７に記載の撮像システム。

【請求項9】

前記加算部は、前記補正をせずに前記加算処理により前記加算位相画像をさらに生成し、
前記距離計測部は、前記補正をせずに前記加算処理により生成された前記加算位相画像に基づいて第１の距離画像を生成し、前記補正後における前記加算処理により生成された前記加算位相画像に基づいて第２の距離画像を生成し、
前記表示制御部は、前記第１の距離画像および前記第２の距離画像を前記表示装置に表示させる請求項８に記載の撮像システム。

【請求項10】

光源から照射された照射光が対象物で反射した反射光を受光して撮像する撮像部と、
前記反射光を受光して複数の位相毎に複数の位相画像を撮像するように前記撮像部を制御する撮像制御部と、
前記撮像部により撮像された複数の位相画像に対し、同じ位相の複数の前記位相画像同士の加算処理を行って加算位相画像を生成する加算部と、
を備え、
前記撮像された複数の位相画像は、第１の条件で撮像された複数の第１の位相画像と、前記第１の条件と異なる第２の条件で撮像された１以上の第２の位相画像と、を含み、
前記第１の位相画像の数は、前記第２の位相画像の数よりも多く、
前記加算部は、少なくとも前記複数の第１の位相画像について、同じ位相の複数の前記第１の位相画像間の動き量を導出し、前記動き量に基づいて、該同じ位相の複数の第１の位相画像に対して補正を行い、前記加算処理により複数の位相毎に前記加算位相画像を生成する撮像装置。

【請求項11】

撮像部が、光源から照射された照射光が対象物で反射した反射光を受光して撮像する撮像ステップと、
撮像制御部が、前記反射光を受光して複数の位相毎に複数の位相画像を撮像するように前記撮像部を制御する撮像制御ステップと、
加算部が、前記撮像部により撮像された複数の位相画像に対し、同じ位相の複数の前記位相画像同士の加算処理を行って加算位相画像を生成する加算ステップと、
を有し、
前記撮像された複数の位相画像は、第１の条件で撮像された複数の第１の位相画像と、前記第１の条件と異なる第２の条件で撮像された１以上の第２の位相画像と、を含み、
前記第１の位相画像の数は、前記第２の位相画像の数よりも多く、
前記加算ステップで、前記加算部は、少なくとも前記複数の第１の位相画像について、同じ位相の複数の前記第１の位相画像間の動き量を導出し、前記動き量に基づいて、該同じ位相の複数の第１の位相画像に対して補正を行い、前記加算処理により複数の位相毎に前記加算位相画像を生成する撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像システム、撮像装置および撮像方法に関する。

【背景技術】

【0002】

対象物との距離を計測するために、強度変調した参照光を照射し、対象物で反射して受光することにより、距離取得用の４種類の位相をずらした位相画像を取得して、１つの距離画像を換算して生成する間接ＴＯＦ（Ｔｉｍｅ оｆ Ｆｌｉｇｈｔ）方式が知られている。例えば、主に建設現場または屋内空間をデータ取得しておき、クラウド等の後段処理で３Ｄ空間の復元データとして点群再現をすることができる。この場合、三脚等を使用すると、データを取得するだけで機材が嵩張ったり、撮影に時間を要したり、天井裏等の狭い空間では適用しにくい等の課題がある。そのため、ハンディで手軽にデータ取得できることが顧客価値である。

【0003】

このような距離計測装置として、光源部を発光させて撮像部で位相信号を取得し、取得した位相信号の格納部への格納を複数回繰り返し、複数回の位相信号から距離データを算出し距離画像を生成する距離計測装置が開示されている（例えば特許文献１）。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の技術では、手ぶれまたは被写体ぶれによって複数の位相画像にずれが生じる結果、その複数の位相画像に基づいて生成される距離画像の品質が落ちてしまうという問題があった。

【0005】

本発明は、上記に鑑みてなされたものであって、距離の算出精度の低下を抑制するための複数の位相画像に対する処理を実現することができる撮像システム、撮像装置および撮像方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明は、入力された複数の位相画像に対し、同じ位相の複数の前記位相画像同士の加算処理を行って加算位相画像を生成する加算部を有し、前記入力された複数の位相画像は、第１の条件で撮像された複数の第１の位相画像と、前記第１の条件と異なる第２の条件で撮像された１以上の第２の位相画像と、を含み、前記第１の位相画像の数は、前記第２の位相画像の数よりも多く、前記加算部は、少なくとも前記複数の第１の位相画像について、同じ位相の複数の前記第１の位相画像間の動き量を導出し、前記動き量に基づいて、該同じ位相の複数の第１の位相画像に対して補正を行い、前記加算処理により複数の位相毎に前記加算位相画像を生成することを特徴とする。

【発明の効果】

【0007】

本発明によれば、距離の算出精度の低下を抑制するための複数の位相画像に対する処理を実現することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る撮像システムの概略構成の一例を示す図である。

【図2】図２は、実施形態に係る受光センサ内の画素の構成の一例を示す図である。

【図3】図３は、実施形態に係る撮像システムにおいて照射光と反射光との遅延を説明する図である。

【図4】図４は、実施形態に係る撮像システムの変調信号、照射光、反射光および転送信号の関係の一例を示す図である。

【図5】図５は、正弦波変調方式の測距原理を示す図である。

【図6】図６は、パルス変調方式の測距原理を示す図である。

【図7】図７は、実施形態に係る撮像システムにおける各位相画像の撮像タイミングの一例を示す図である。

【図8】図８は、実施形態に係る撮像システムにおける各位相画像の撮像タイミングの別の例を示す図である。

【図9】図９は、実施形態に係る撮像システムにおける各位相画像の撮像タイミングの別の例を示す図である。

【図10】図１０は、実施形態に係る撮像システムで撮像された位相画像のうち基準位相画像の選択の一例を示す図である。

【図11】図１１は、実施形態に係る撮像システムで撮像された位相画像のうち基準位相画像の選択の別の例を示す図である。

【図12】図１２は、実施形態に係る撮像システムで撮像された位相画像のうち基準位相画像の選択の別の例を示す図である。

【図13】図１３は、実施形態に係る撮像システムで撮像された位相画像のうち基準位相画像の選択の別の例を示す図である。

【図14】図１４は、実施形態に係る撮像システムのブレ補正前後の位相画像の一例を示す図である。

【図15】図１５は、実施形態に係る撮像システムのブレ補正前後の距離画像の表示例を示す図である。

【図16】図１６は、変形例に係る撮像システムの概略構成の一例を示す図である。

【発明を実施するための形態】

【0009】

以下に、図面を参照しながら、本発明に係る撮像システム、撮像装置および撮像方法の実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

【0010】

また、コンピュータソフトウェアとは、コンピュータの動作に関するプログラム、その他コンピュータによる処理の用に供する情報であってプログラムに準ずるものをいう（以下、コンピュータソフトウェアは、ソフトウェアという）。アプリケーションソフトとは、ソフトウェアの分類のうち、特定の作業を行うために使用されるソフトウェアの総称である。一方、オペレーティングシステム（ＯＳ）とは、コンピュータを制御し、アプリケーションソフト等がコンピュータ資源を利用可能にするためのソフトウェアのことである。オペレーティングシステムは、入出力の制御、メモリやハードディスク等のハードウェアの管理、プロセスの管理といった、コンピュータの基本的な管理・制御を行っている。アプリケーションソフトウェアは、オペレーティングシステムが提供する機能を利用して動作する。プログラムとは、コンピュータに対する指令であって、一の結果を得ることができるように組み合わせたものをいう。また、プログラムに準ずるものとは、コンピュータに対する直接の指令ではないためプログラムとは呼べないが、コンピュータの処理を規定するという点でプログラムに類似する性質を有するものをいう。例えば、データ構造（データ要素間の相互関係で表される、データの有する論理的構造）がプログラムに準ずるものに該当する。

【0011】

（撮像システムの概略構成）
図１は、実施形態に係る撮像システムの概略構成の一例を示す図である。図２は、実施形態に係る受光センサ内の画素の構成の一例を示す図である。図３は、実施形態に係る撮像システムにおいて照射光と反射光との遅延を説明する図である。図４は、実施形態に係る撮像システムの変調信号、照射光、反射光および転送信号の関係の一例を示す図である。図１～図４を参照しながら、本実施形態に係る撮像システム１の概略構成および概略動作について説明する。

【0012】

図１（ａ）および図１（ｂ）に示す撮像システム１は、ＴＯＦ方式を用いて、被写体である測定対象物３までの距離を測定するシステムである。撮像システム１は、図１（ａ）に示すように、位相画像撮像装置５と、画像処理装置６と、を含む。位相画像撮像装置５は、投光部１０と、受光センサ１１（撮像部）と、撮像制御部１２と、を備えている。画像処理装置６は、加算・補正部１３（加算部）と、距離演算部１４（距離計測部）と、表示制御部１５と、を備えている。なお、撮像システム１の構成は、図１に示した構成に限定されるものではなく、例えば、画像処理装置６の処理部の一部が位相画像撮像装置５に含まれるものとしてもよく、位相画像撮像装置５の処理部の一部が画像処理装置６に含まれるものとしてもよい。また、撮像システム１は、位相画像撮像装置５および画像処理装置６に含まれる処理部が、３つ以上の装置に振り分けられた構成であってもよい。また、撮像システム１が１つの装置（撮像装置）として構成されるものとしてもよい。また、画像処理装置６は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理装置、またはクラウド上のシステムであってもよい。また、画像処理装置６は、画像処理用のハードウェア要素を有する画像処理用途向けのＩＣであるＦＰＧＡやＡＳＩＣ等を有する。

【0013】

投光部１０は、測定対象物３に向けてパルス光（照射光Ｌｅ）を発光する装置である。投光部１０は、光源２１と、駆動回路２２と、を備えている。

【0014】

光源２１は、測定対象物３に向けてパルス光を発光する光源である。

【0015】

駆動回路２２は、光源２１を駆動する回路である。駆動回路２２は、撮像制御部１２から変調信号を入力すると、当該変調信号に応じた電流を光源２１に流す。これによって、変調されたパルス光が光源２１から測定対象物３に向けて照射される。

【0016】

受光センサ１１は、投光部１０から照射された照射光Ｌｅが測定対象物３で反射された反射光Ｌｒを受光するセンサである。図３に照射光Ｌｅをサイン波として表される場合の、反射光Ｌｒの状態の一例を示している。図３に示すように、照射光Ｌｅの周期をＴｐとすると、照射光Ｌｅが測定対象物３で反射した反射光Ｌｒは、照射光Ｌｅよりも遅延時間Ｔｄだけ遅延した周期Ｔｐの光として受光センサ１１により受光される。

【0017】

また、受光センサ１１は、反射光Ｌｒを受光する複数の画素を有する。複数の画素は、例えば、二次元に配列されたエリアセンサであってもよい。各画素は、例えば、図２に示すように、ＰＤ（Ｐｈｏｔｏｄｉｏｄｅ）１０３と、変調スイッチ１０４ａ、１０４ｂと、蓄電部１０５ａ、１０５ｂと、を有する。

【0018】

ＰＤ１０３は、光を検出（受光）すると電流が一定方向に流すダイオード部品である。

【0019】

変調スイッチ１０４ａ、１０４ｂは、例えばＭＯＳ（Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）トランジスタまたはトランスファゲート等のＭＯＳ型のデバイス、またはＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）構造のデバイス等で構成されるスイッチング素子である。変調スイッチ１０４ａ、１０４ｂは、撮像制御部１２からの転送信号によりオンオフ動作を行う。

【0020】

蓄電部１０５ａ、１０５ｂは、例えばＭＯＳ、ＣＣＤ、ＭＩＭ（Ｍｅｔａｌ Ｉｎｓｕｌａｔｏｒ Ｍｅｔａｌ）等の容量素子、配線、ＰＮ接合の寄生容量等の蓄電素子である。蓄積部１０５ａ、１０５ｂは、互いに独立して電荷蓄積動作を行うように構成されている。蓄積部１０５ａ、１０５ｂは、それぞれ、ＰＤ１０３により受光された光に応じて光電変換で発生した電荷を蓄積する。

【0021】

受光センサ１１は、画素ごとに、電荷を２箇所（蓄電部１０５ａ、１０５ｂ）に振り分ける画素構造になっている。この画素構造は、例えば１度の受光期間に、０°の位相成分と１８０°の位相成分とに信号を振り分けることを可能にする。原理的には、画素ごとに、３箇所以上に振り分ける画素構造にして、１度の受光で３以上の位相成分に振り分けることも可能である。各画素は、測定対象物３から反射された反射光Ｌｒを受光する。各画素は、撮像制御部１２からの転送信号（後述する図４に示す転送信号ＴＲＡ、ＴＲＢ）に従って、電荷蓄積動作を行う。

【0022】

買体的には、受光センサ１１は、後述する図４に示す転送信号ＴＲＡがアクティブレベル（例えばＨレベル）の期間において、各画素の変調スイッチ１０４ａを導通させることにより蓄電部１０５ａに電荷を蓄積させる。また、受光センサ１１は、後述する図４に示す転送信号ＴＲＢがアクティブレベル（例えばＨレベル）の期間において、各画素の変調スイッチ１０４ｂを導通させることにより蓄電部１０５ｂに電荷を蓄積させる。

【0023】

また、受光センサ１１は、撮像制御部１２から受光データ出力指示信号を受信すると、各画素の蓄電部１０５ａ、１０５ｂに蓄積された蓄積電荷量Ａ、Ｂを電圧に変換した信号をそれぞれＡ／Ｄ変換して、受光データＬＲＡ、ＬＲＢを生成し、加算・補正部１３へ出力する。

【0024】

撮像制御部１２は、変調信号のパルスを繰り返し生成して投光部１０へ出力して照射光Ｌｅの照射動作を制御し、それと共に、転送信号のパルスを繰り返し生成して、受光センサ１１による反射光Ｌｒの受光動作を制御する制御回路である。具体的には、撮像制御部１２は、転送信号ＴＲＡのパルスを繰り返し生成して、受光センサ１１の変調スイッチ１０４ａにオンオフ動作させ、蓄電部１０５ａに電荷を蓄積させる。また、撮像制御部１２は、転送信号ＴＲＢのパルスを繰り返し生成して、受光センサ１１の変調スイッチ１０４ｂにオンオフ動作させ、蓄電部１０５ｂに電荷を蓄積させる。そして、所定の回数（所定のパルス数）の蓄電部１０５ａ、１０５ｂへの各電荷蓄積動作が繰り返された後、撮像制御部１２は、変調信号、転送信号ＴＲＡおよび転送信号ＴＲＢの出力を停止させ、受光データ出力指示信号を受光センサ１１へ出力し、受光センサ１１から加算・補正部１３へ受光データＬＲＡ、ＬＲＢを出力させる。または、撮像制御部１２は、位相画像撮像装置５のＲＡＭ等の記憶部に受光センサ１１からの受光データＬＲＡ、ＬＲＢを保存し、記憶部から加算・補正部１３へ受光データＬＲＡ、ＬＲＢを出力させてもよい。また、図１（ｂ）に示すように、位相画像撮像装置５は、撮像システム１とは別のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理装置７に受光データＬＲＡ、ＬＲＢを出力し、加算・補正部１３は、情報処理装置７から受光データＬＲＡ、ＬＲＢを受信してもよい。

【0025】

加算・補正部１３は、位相画像撮像装置５または情報処理装置７から出力された受光データＬＲＡ、ＬＲＢを位相信号として入力し、当該位相信号が受光センサ１１の画素ごとに対応して構成された二次元の各位相の複数の位相画像について、手ぶれまたは被写体ぶれに対する補正（ブレ補正）を行い、同じ位相の複数の位相画像同士を加算処理して加算位相画像を生成する処理部である。加算・補正部１３は、集積回路等のハードウェアによって実現されてもよく、または、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算装置によりプログラムが実行されることによって実現されるものとしてもよい。

【0026】

距離演算部１４は、加算・補正部１３により生成された加算位相画像に基づいて、測定対象物３等までの距離を示す距離画像を生成する処理部である。すなわち、距離演算部１４は、距離画像を生成することにより測定対象物３等の距離を算出する。距離演算部１４は、集積回路等のハードウェアによって実現されてもよく、または、ＣＰＵ等の演算装置によりプログラムが実行されることによって実現されるものとしてもよい。なお、距離演算部１４は、生成した距離画像から三次元空間の点群データを生成するものとしてもよい。また、距離演算部１４は、生成した距離画像を表示制御部１５へ出力する他、ネットワークＩ／Ｆ等を介して外部へ出力可能であるものとしてもよい。

【0027】

表示制御部１５は、距離演算部１４により生成された距離画像等を、図１に示す表示装置２に表示させる制御回路である。

【0028】

表示装置２は、表示制御部１５による制御に従って、距離演算部１４により生成された距離画像等を表示するディスプレイである。表示装置２は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）等によって実現される。

【0029】

なお、図１（ａ）に示す構成では、撮像システム１において、受光センサ１１および撮像制御部１２による撮像機能、加算・補正部１３による補正・加算処理機能、距離演算部１４による距離画像の生成処理機能、および表示制御部１５による表示装置２への表示機能が実現されているがこれに限定されるものではない。例えば、図１（ｂ）に示すように、撮像システム１とは別に情報処理装置７によって、撮像システム１の機能のうち一部の機能が実現されるものとしてもよい。例えば、上述の機能のうち、情報処理装置７により距離画像の生成処理機能が実現されてもよく、距離画像の生成処理機能および表示装置２への表示機能が実現されてもよく、または、表示装置２への表示機能のみが実現されてもよい。また、撮像システム１の機能のうち一部の機能が省略されてもよい。例えば、距離演算部１４により生成された距離画像等を表示装置２に表示させる必要がない場合は、図１（ｂ）に示すように、表示制御部１５を備えなくてもよい。

【0030】

次に、図４を参照しながら、撮像システム１の動作の一例を説明する。図４に示すように、撮像制御部１２は、パルス時間幅Ｔｗの変調信号を投光部１０へ出力すると、投光部１０は、当該変調信号に同期した照射光Ｌｅのパルスを測定対象物３へ向けて照射する。図４では、照射光Ｌｅの光波形の位相は、変調信号の位相からの遅れはないものとして示している。

【0031】

照射光Ｌｅが測定対象物３で反射されると、反射光Ｌｒが受光センサ１１で受光される。図４に示す反射光Ｌｒの波形は、照射光Ｌｅの波形とほぼ同じ形状であり、各波形の周期およびデューティ比が略均等である。デューティ比は、例えば、略５０％である。反射光Ｌｒの波形は、照射光Ｌｅの波形より位相が遅延時間Ｔｄだけ遅れた波形になっている。反射光Ｌｒの波形は、照射光Ｌｅの照射タイミングから遅延時間Ｔｄだけ遅れて受光センサ１１に反射光Ｌｒが入射されることを示している。遅延時間Ｔｄは、照射光Ｌｅが投光部１０から照射され、測定対象物３で反射して受光センサ１１に戻ってくるまでの時間であり、測定対象物３までの距離によって変わる。つまり、遅延時間Ｔｄが分かれば、光速ｃを用いて以下の式（１）によって測定対象物３までの距離Ｄを求めることができる。

【0032】

Ｄ＝Ｔｄ×ｃ／２ ・・・（１）

【0033】

このとき、撮像制御部１２から出力される転送信号ＴＲＡがＨレベルの期間にの受光センサ１１の各画素の変調スイッチ１０４ａがオン動作（導通）することにより蓄電部１０５ａに電荷が蓄積される。また、撮像制御部１２から出力される転送信号ＴＲＢがＨレベルの期間にの受光センサ１１の各画素の変調スイッチ１０４ｂがオン動作（導通）することにより蓄電部１０５ｂに電荷が蓄積される。転送信号ＴＲＡは、照射光Ｌｅとほぼ同じタイミングでＨレベルを維持し、パルス時間幅Ｔｗ後にＨレベルからＬレベルに遷移する。転送信号ＴＲＢは、転送信号ＴＲＡがＬレベルになるのとほぼ同時にＬレベルからＨレベルに遷移し、その遷移のタイミングからパルス時間幅Ｔｗ経過後にＨレベルからＬレベルに遷移する。

【0034】

転送信号ＴＲＡがＨレベルを維持する期間が蓄電部１０５ａでの電荷の蓄積期間なので、図４にハッチングで示す期間に蓄電部１０５ａにおいて、反射光Ｌｒに応じた蓄積電荷量Ａの電荷が蓄積される。同様に、転送信号ＴＲＢがＨレベルを維持する期間が蓄電部１０５ｂでの電荷の蓄積期間なので、図４にハッチングで示す期間に蓄電部１０５ｂにおいて、反射光Ｌｒに応じた蓄積電荷量Ｂの電荷が蓄積される。ここで、遅延時間Ｔｄが０≦Ｔｄ≦Ｔｗの範囲であれば、以下の式（２）に示す関係が成り立つ。

【0035】

Ｔｄ／Ｔｗ＝Ｂ／（Ａ＋Ｂ） ・・・（２）

【0036】

上述の式（１）および式（２）により、測定対象物３までの距離Ｄは、蓄電部１０５ａにおける反射光Ｌｒの蓄積電荷量Ａ、および蓄電部１０５ｂにおける反射光Ｌｒの蓄積電荷量Ｂから、以下の式（３）によって求めることができる。

【0037】

Ｄ＝Ｂ／（Ａ＋Ｂ）×Ｔｗ×ｃ／２ ・・・（３）

【0038】

（ＴＯＦ方式の測距原理）
図５は、正弦波変調方式の測距原理を示す図である。図６は、パルス変調方式の測距原理を示す図である。図５および図６を参照しながら、ＴＯＦ方式による測距原理のうち、正弦波変調方式およびパルス変調方式について説明する。

【0039】

正弦波変調方式とは、受信光（反射光）を３つ以上に時間的に分割して検出した各信号を用いて、反射光の遅延時間Ｔｄを位相差角の演算で取得する方法である。例として、４位相式の正弦波変調方式について図５を用いて説明する。

【0040】

図５に示すように、正弦波変調方式のための１フレーム期間のうち、前半のサブフレーム期間が、０°および１８０°の位相信号を取得するためのフレーム期間であり、後半のサブフレーム期間が、９０°および２７０°の位相信号を取得するためのフレーム期間である。

【0041】

リセット信号による各画素のリセットが完了した後、照射光が測定対象物に向けて周期的に照射され反射光が周期的に返ってくる。このとき、前半のサブフレーム期間では、画素の変調スイッチ１０４ａ、１０４ｂを転送信号ＴＲＡ（０°）とそれから１８０°だけ位相がずれた転送信号ＴＲＢ（１８０°）とで交互に所定回数オン動作させる。その後、読み出し信号により、時間的に０°、１８０°の位相に対応して蓄積された電荷量に応じた位相信号Ｐ０、Ｐ１８０が読み出されて取得される。

【0042】

続いて、後半のサブフレーム期間では、画素の変調スイッチ１０４ａ、１０４ｂを転送信号ＴＲＡ（９０°）とそれから１８０°だけ位相がずれた転送信号ＴＲＢ（２７０°）とで交互に所定回数オン動作させる。その後、読み出し信号により、時間的に９０°、２７０°の位相に対応し蓄積された電荷量に応じた信号信号Ｐ９０、Ｐ２７０が読み出されて取得される。

【0043】

時間的に０°、９０°、１８０°、２７０°の４つの位相に分割された位相信号Ｐ０、Ｐ９０、Ｐ１８０、Ｐ２７０が取得されると、下記の式（４）を用いて位相差角Φが求められる。

【0044】

Φ＝Ａｒｃｔａｎ｛（Ｐ９０－Ｐ２７０）／（Ｐ０－Ｐ１８０）｝ ・・・（４）

【0045】

式（４）の位相差角Φを使って、照射光に対する反射光の遅延時間Ｔｄが、以下の式（５）から求められる。

【0046】

Ｔｄ＝Φ／２π×Ｔ ・・・（５）

【0047】

式（５）において、照射光のパルス時間幅をＴｗとし、周期をＴとすると、Ｔ＝２Ｔｗである。

【0048】

位相差角Φの演算方法から、正弦波変調方式において測距性能を高める理想的な照射光の波形はサイン波形である。図２に示した受光センサ１１の画素の構成のように、各画素に対し２箇所の電荷振分け先（蓄電部１０５ａ、１０５ｂ）を持つ場合、最低２回の露光が必要になる。

【0049】

なお、上述の例では、各画素に対し２箇所の電荷振分け先を有するものとしたが、例えば４箇所で振り分ける画素構造、すなわち、変調スイッチおよび蓄電部の組み合わせが４組を有する構造であってもよい。この場合、４組の変調スイッチおよび蓄電部の組み合わせは、それぞれ位相０°、９０°、１８０°、２７０°に対応し、１度の露光で遅延時間Ｔｄおよび測定対象物までの距離Ｄの算出が可能となる。また、位相信号として読み出す位相は上述の４つの位相に限定されるものではなく、異なる数の位相の位相信号を読み出すものとしてもよい。

【0050】

パルス変調方式とは、受信光（反射光）を２つ以上に時間的に分割して検出した各信号を用いて、反射光の遅延時間Ｔｄを求める方法である。例として、２位相式のパルス変調方式について図６を用いて説明する。

【0051】

図６に示すように、パルス変調方式のための１フレーム期間は、０°および１８０°の位相信号を取得するためのフレーム期間である。

【0052】

リセット信号による各画素のリセットが完了した後、照射光が測定対象物に向けて周期的に照射され反射光が周期的に返ってくる。このとき、１フレーム期間では、画素の変調スイッチ１０４ａ、１０４ｂを転送信号ＴＲＡ（０°）とそれから１８０°ずれた転送信号ＴＲＢ（１８０°）とで交互に所定回数オン動作させる。その後、読み出し信号により、時間的に０°、１８０°の位相に対応し蓄積された電荷量に応じた位相信号Ｐ０、Ｐ１８０が読み出されて取得される。

【0053】

時間的に０°、１８０°の２つの位相に分割された位相信号Ｐ０、Ｐ１８０が取得されると、以下の式（６）を用いて、照射光に対する反射光の遅延時間Ｔｄを求めることができる。

【0054】

Ｔｄ＝｛Ｐ１８０／（Ｐ０＋Ｐ１８０）｝×Ｔｗ ・・・（６）

【0055】

遅延時間Ｔｄの演算方法から、パルス変調方式において測距性能を高める理想的な照射光の波形は矩形波形である。

【0056】

（各位相画像の撮像タイミング）
図７は、実施形態に係る撮像システムにおける各位相画像の撮像タイミングの一例を示す図である。図８は、実施形態に係る撮像システムにおける各位相画像の撮像タイミングの別の例を示す図である。図９は、実施形態に係る撮像システムにおける各位相画像の撮像タイミングの別の例を示す図である。図７～図９を参照しながら、本実施形態に係る撮像システム１における各位相画像の撮像タイミングについて説明する。なお、上述の図２では、変調スイッチおよび蓄電部の組み合わせが２組であるものとｈして説明したが、上述のように、変調スイッチおよび蓄電部の組み合わせが４組を有する構造であるものとし、１フレーム期間で、０°、９０°、１８０°、２７０°の４種の位相信号が取得できるものとし、例えば上述の正弦波変調方式により遅延時間Ｔｄおよび距離Ｄを算出するものとする。また、この場合、各変調スイッチをオン動作させる撮像制御部１２からの転送信号を総称して「転送信号ＴＲ」と称する。ここで、受光センサ１１による位相信号の取得は、受光センサ１１の画素ごとに対応して構成された二次元の「位相画像の撮像」と称する場合がある。

【0057】

撮像制御部１２は、投光部１０から照射される照射光（投光部１０に出力する変調信号）に対して、０°、９０°、１８０°、２７０°の各位相における転送信号ＴＲを、対応する変調スイッチに次々に出力してオン動作させることにより、それぞれ対応する蓄電部に電荷が蓄積され、受光センサ１１は、１フレーム期間で０°、９０°、１８０°、２７０°の各位相の位相信号を取得することができる。この場合、測定対象物が長距離にある場合には、照射光に対する反射光の光量が近距離よりも小さくなるため、図７に示すように、投光部１０は、長距離用の位相画像の取得のために照射光の露光時間を長くし、受光センサ１１は、各位相において複数回の位相信号を取得する（位相画像を撮像する）。そして、加算・補正部１３は、各位相での複数の位相画像を加算処理して、各位相の加算位相画像を生成する。そして、距離演算部１４は、加算・補正部１３により生成された加算位相画像に基づいて、測定対象物３等までの距離を示す距離画像を生成する。このように、測定対象距離が遠距離である場合、すなわち、受光センサ１１で受光する反射光の光量が小さい場合、各位相において複数回の位相画像を撮像し、各位相でこれらの複数の位相画像を加算処理して得られた加算位相画像を用いることによって、距離画像として算出される距離の精度を向上させることができる。

【0058】

続いて、図７に示すように、投光部１０は、中距離用の位相画像の取得のために露光時間で照射し、受光センサ１１は、各位相において複数回の位相信号を取得する（位相画像を撮像する）。続いて、図７に示すように、投光部１０は、近距離用の位相画像の取得のために露光時間で照射し、受光センサ１１は、各位相において複数回の位相信号を取得する（位相画像を撮像する）。

【0059】

なお、図７では、説明を簡便にするため、長距離用の位相画像のみ複数回取得し、中距離用および近距離用では１回取得するように図示しているが、これに限定されるものではなく、例えば、近距離、中距離、遠距離の順で、露光時間を長くし、取得する（撮像する）位相画像の数を多くするものとしてもよい。そして、近距離、中距離および遠距離にそれぞれにおいて、各位相での複数の位相画像を加算処理して加算位相画像を生成するものとしてもよい。

【0060】

また、加算位相画像を生成するための対象となる各位相の複数の位相画像は、図７に示すように、１つの期間（露光時間）で取得された複数の位相画像に限定されるものではなく、図８に示すように、複数の期間で取得された複数の位相画像について加算処理を行い、加算位相画像を生成するものとしてもよい。例えば、図８に示すように、１回目の長距離用の露光時間で撮像された各位相の複数の位相画像だけでなく、中距離用および近距離用の露光時間の照射光の照射動作を挟んで、次に長距離用の露光時間で撮像された各位相の複数の位相画像についても加算処理に含めて、加算位相画像を生成するものとしてもよい。なお、図８では、複数の期間として長距離用の露光時間を対象としたが、中距離用、近距離用についても同様の処理を行ってもよい。また、図８では、複数の期間として２つの期間の場合を示したが、これに限定されるものではなく、３つ以上の期間を対象としてもよい。

【0061】

また、図７に示す例では、長距離、中距離、近距離の順で、位相画像を撮像する動作について説明したが、図９に示すように、例えば近距離、中距離、長距離の順で、位相画像を撮像する動作であってもよい。

【0062】

（ブレ補正の動作）
図１０は、実施形態に係る撮像システムで撮像された位相画像のうち基準位相画像の選択の一例を示す図である。図１１は、実施形態に係る撮像システムで撮像された位相画像のうち基準位相画像の選択の別の例を示す図である。図１２は、実施形態に係る撮像システムで撮像された位相画像のうち基準位相画像の選択の別の例を示す図である。図１３は、実施形態に係る撮像システムで撮像された位相画像のうち基準位相画像の選択の別の例を示す図である。図１４は、実施形態に係る撮像システムのブレ補正前後の位相画像の一例を示す図である。まず、図１０～図１４を参照しながら、加算・補正部１３によるブレ補正を行うために用いる位相画像である基準位相画像の選択方法について説明する。

【0063】

上述のように、各位相の複数の位相画像を加算処理して得られた加算位相画像を用いることによって、距離画像として算出される距離の精度を向上するものとしても、位相画像撮像装置５を把持するユーザの手ぶれまたは被写体ぶれによって、複数の位相画像間でずれが生じる場合がある。そして、位相画像間でずれが発生した状態で加算処理を行って加算位相画像を生成したとしても、当該ずれにより距離の精度が低下してしまう可能性がある。そこで、本実施形態に係る撮像システム１では、加算・補正部１３において、手ぶれまたは被写体ぶれにより複数の位相画像間で生じたずれを補正するためのブレ補正を行う。

【0064】

まず、加算・補正部１３は、受光センサ１１から各距離用の露光時間で得られた各位相の位相画像のうち、各位相の位相画像の数が多い距離用のものに着目する。図１０に示す例では、長距離用の露光時間（第１の条件の一例、第１の期間の一例）で得られた各位相の位相画像（第１の位相画像の一例）の数の方が、中距離用および近距離用の露光時間（第２の条件の一例、第２の期間の一例）で得られた各位相の位相画像（第２の位相画像の一例）の数よりも多い。したがって、加算・補正部１３は、各位相の位相画像が多い長距離用の位相画像に着目し、長距離用の露光時間で得られた各位相の位相画像から、ブレ補正に用いる位相画像を基準位相画像として選択する。次に、加算・補正部１３は、選択した基準位相画像を用いて、手ぶれまたは被写体ぶれにより複数の位相画像間で生じた動き量（ずれ量）を導出する。そして、加算・補正部１３は、導出した動き量を用いて、長距離用の各位相の複数の位相画像について補正（ブレ補正）を行い、各位相の補正後の位相画像を加算処理して、各位相の加算位相画像を生成する。また、加算・補正部１３は、長距離用の基準位相画像から導出した動き量を用いて、中距離用および近距離用の位相画像に対しても同様のブレ補正を行う。

【0065】

具体的には、加算・補正部１３は、図１０に示すように、長距離用の露光時間で得られた位相０°の位相画像のうち、時間的に当該露光時間の中央の時刻に対応する位相画像ではなく、異なる露光時間（図１０の例では中距離用の露光時間）寄りの位相画像ＰＧ０＿１、ＰＧ０＿２、ＰＧ０＿３からブレ補正に用いる基準位相画像を選択する。次に、加算・補正部１３は、選択した基準位相画像を用いて、手ぶれまたは被写体ぶれにより複数の位相画像間で生じた動き量（ずれ量）を導出する。そして、加算・補正部１３は、導出した動き量を用いて、長距離用の位相０°の複数の位相画像について補正（ブレ補正）を行い、補正後の位相画像を加算処理して、位相０°の加算位相画像を生成する。同様に、加算・補正部１３は、長距離用の露光時間で得られた位相９０°の位相画像のうち、異なる露光時間（図１０の例では中距離用の露光時間）寄りの位相画像ＰＧ９０＿１、ＰＧ９０＿２、ＰＧ９０＿３からブレ補正に用いる基準位相画像を選択し、動き量を導出してブレ補正を行い、位相９０°の加算位相画像を生成する。また、加算・補正部１３は、長距離用の露光時間で得られた位相１８０°の位相画像のうち、異なる露光時間（図１０の例では中距離用の露光時間）寄りの位相画像ＰＧ１８０＿１、ＰＧ１８０＿２、ＰＧ１８０＿３からブレ補正に用いる基準位相画像を選択し、動き量を導出してブレ補正を行い、位相１８０°の加算位相画像を生成する。また、加算・補正部１３は、長距離用の露光時間で得られた位相２７０°の位相画像のうち、異なる露光時間（図１０の例では中距離用の露光時間）寄りの位相画像ＰＧ２７０＿１、ＰＧ２７０＿２、ＰＧ２７０＿３からブレ補正に用いる基準位相画像を選択し、動き量を導出してブレ補正を行い、位相２７０°の加算位相画像を生成する。基本的には、異なる露光時間の位相画像の撮像タイミングに最も近い位相画像ＰＧ０＿１、ＰＧ９０＿１、ＰＧ１８０＿１、ＰＧ２７０＿１を基準位相画像として選択することによって、異なる露光時間の位相画像とのブレの小さい加算位相画像を生成することができるが、位相画像の状況に応じて適宜変更してもよい。

【0066】

このように、長距離用の露光時間で得られた位相画像のうち、異なる露光時間寄りの位相画像を基準位相画像として動き量（ずれ量）を導出することにより、当該異なる露光時間（中距離用、近距離用）で得られた位相画像に対して当該動き量を用いてブレ補正を行う場合に、当該異なる露光時間（中距離用、近距離用）で得られた位相画像と撮像時刻が近い基準位相画像で導出された動き量で補正されるため、補正の精度を向上させることができる。

【0067】

なお、加算・補正部１３が、選択した基準位相画像を用いて、手ぶれまたは被写体ぶれにより複数の位相画像間で生じた動き量（ずれ量）を導出する方法として、例えば、基準位相画像から測定対象物の特徴点として当該測定対象物のエッジを抽出し、抽出した当該測定対象物の各エッジの特徴点を比較して、基準位相画像の位置合わせを実行することによって動き量を導出する公知技術を用いることができる。

【0068】

また、加算・補正部１３が、選択した基準位相画像を用いて、手ぶれまたは被写体ぶれにより複数の位相画像間で生じた動き量（ずれ量）を導出する別の方法として、例えば、ある基準位相画像と別の位相画像との時間Ｎｔの間の動き量ΔＸ、ΔＹを、一般的なオプティカルフローを求める処理、または、以下の参考論文で開示されている機械学習の手法で導出することもできる。

【0069】

論文名
Tackling 3D ToF Artifacts Through Learning and the FLAT Dataset
著者
Qi Guo (SEAS, Harvard University)、
Iuri Frosio
Orazio Gallo
Todd Zickler(SEAS, Harvard University)
Jan Kautz
公開日
Monday,September 10, 2018
公開元
ECCV（ European Conference on Computer Vision） 2018
Ｕ Ｒ Ｌ （ Uniform Resource Locator）
https://research.nvidia.com/publication/2018-09_Tackling-3D-ToF

【0070】

また、手ぶれによる機体振動モデルまたは加速度センサ等を導入して、その情報と長距離用の露光時間で得られた複数の位相画像の動き量情報とから動きを予測することも可能である。

【0071】

また、上述した図８に示すように、複数の期間で取得された複数の位相画像について加算処理を行う場合、すなわち、具体的には、１回目の長距離用の露光時間で撮像された各位相の複数の位相画像だけでなく、中距離用および近距離用の露光時間の照射光の照射動作を挟んで、次に長距離用の露光時間で撮像された各位相の複数の位相画像についても加算処理に含める場合には、図１１に示すように、基準位相画像を選択することができる。

【0072】

具体的には、加算・補正部１３は、図１１に示すように、時間的に離間した長距離用の複数の露光時間で得られた位相０°の位相画像のうち、異なる露光時間（図１１の例では中距離用および近距離用の露光時間）寄りの位相画像ＰＧ０＿１、ＰＧ０＿１’をブレ補正に用いる基準位相画像として選択する。次に、加算・補正部１３は、選択した基準位相画像を用いて、手ぶれまたは被写体ぶれにより複数の位相画像間で生じた動き量（ずれ量）を導出する。そして、加算・補正部１３は、導出した動き量を用いて、長距離用の位相０°の複数の位相画像について補正（ブレ補正）を行い、補正後の位相画像を加算処理して、位相０°の加算位相画像を生成する。同様に、加算・補正部１３は、時間的に離間した長距離用の複数の露光時間で得られた位相９０°の位相画像のうち、異なる露光時間（図１１の例では中距離用および近距離用の露光時間）寄りの位相画像ＰＧ９０＿１、ＰＧ９０＿１’をブレ補正に用いる基準位相画像として選択し、動き量を導出してブレ補正を行い、位相９０°の加算位相画像を生成する。また、加算・補正部１３は、時間的に離間した長距離用の複数の露光時間で得られた位相１８０°の位相画像のうち、異なる露光時間（図１１の例では中距離用および近距離用の露光時間）寄りの位相画像ＰＧ１８０＿１、ＰＧ１８０＿１’をブレ補正に用いる基準位相画像として選択し、動き量を導出してブレ補正を行い、位相１８０°の加算位相画像を生成する。また、加算・補正部１３は、時間的に離間した長距離用の複数の露光時間で得られた位相２７０°の位相画像のうち、異なる露光時間（図１１の例では中距離用および近距離用の露光時間）寄りの位相画像ＰＧ２７０＿１、ＰＧ２７０＿１’をブレ補正に用いる基準位相画像として選択し、動き量を導出してブレ補正を行い、位相２７０°の加算位相画像を生成する。

【0073】

また、上述した図９に示すように、近距離、中距離、長距離の順で、位相画像が撮像された場合に長距離用の露光時間で取得された複数の位相画像について加算処理を行う場合には、図１２に示すように、基準位相画像を選択することができる。

【0074】

具体的には、加算・補正部１３は、図１２に示すように、長距離用の露光時間で得られた位相０°の位相画像のうち、時間的に当該露光時間の中央の時刻に対応する位相画像ではなく、異なる露光時間（図１２の例では中距離用の露光時間）寄りの位相画像ＰＧ０＿１’、ＰＧ０＿２’をブレ補正に用いる基準位相画像として選択する。次に、加算・補正部１３は、選択した基準位相画像を用いて、手ぶれまたは被写体ぶれにより複数の位相画像間で生じた動き量（ずれ量）を導出する。そして、加算・補正部１３は、導出した動き量を用いて、長距離用の位相０°の複数の位相画像について補正（ブレ補正）を行い、補正後の位相画像を加算処理して、位相０°の加算位相画像を生成する。同様に、加算・補正部１３は、長距離用の露光時間で得られた位相９０°の位相画像のうち、異なる露光時間（図１２の例では中距離用の露光時間）寄りの位相画像ＰＧ９０＿１’、ＰＧ９０＿２’をブレ補正に用いる基準位相画像として選択し、動き量を導出してブレ補正を行い、位相９０°の加算位相画像を生成する。また、加算・補正部１３は、長距離用の露光時間で得られた位相１８０°の位相画像のうち、異なる露光時間（図１２の例では中距離用の露光時間）寄りの位相画像ＰＧ１８０＿１’、ＰＧ１８０＿２’をブレ補正に用いる基準位相画像として選択し、動き量を導出してブレ補正を行い、位相１８０°の加算位相画像を生成する。また、加算・補正部１３は、長距離用の露光時間で得られた位相２７０°の位相画像のうち、異なる露光時間（図１２の例では中距離用の露光時間）寄りの位相画像ＰＧ２７０＿１’、ＰＧ２７０＿２’をブレ補正に用いる基準位相画像として選択し、動き量を導出してブレ補正を行い、位相２７０°の加算位相画像を生成する。

【0075】

このように、図１１および図１２に示した場合においても、長距離用の露光時間で得られた位相画像のうち、異なる露光時間寄りの位相画像（基準位相画像）を用いて動き量（ずれ量）を導出することにより、当該動き量を当該異なる露光時間（中距離用、近距離用）で得られた位相画像に対して当該動き量を用いてブレ補正を行う場合に、当該異なる露光時間（中距離用、近距離用）で得られた位相画像と撮像時刻が近い基準位相画像を基準に導出された動き量で補正されるため、補正の精度を向上させることができる。

【0076】

また、図１３に示すように、加算・補正部１３は、長距離用の露光時間で取得された複数の位相画像について加算処理を行うと共に、中距離用の露光時間で取得された複数の位相画像について加算処理を行ってもよい。この場合、例えば、撮像制御部１２は、長距離、近距離、中距離の順で位相画像を撮像するように受光センサ１１を制御することによって、加算・補正部１３は、長距離用の露光時間で得られた位相画像のうち異なる露光時間（近距離用）寄りの位相画像（ＰＧ０＿１、ＰＧ９０＿１、ＰＧ１８０＿１、ＰＧ２７０＿１）を基準位相画像として選択すると共に、中距離用の露光時間で得られた位相画像のうち異なる露光時間（近距離用）寄りの位相画像（ＰＧ０＿１´、ＰＧ９０＿１´、ＰＧ１８０＿１´、ＰＧ２７０＿１´）を基準位相画像として選択することができ、補正の精度を向上させることができる。

【0077】

なお、図１０～図１３では、いずれも各位相の露光時間が同一である期間（例えば、長距離用の露光時間）の複数の位相画像から基準位相画像を選択するものとしたが、これに限定されるものではなく、異なる露光時間の位相画像に跨って動き量を導出するための基準位相画像を選択するものとしてもよい。例えば、図１０に示す位相画像の撮像タイミングである場合、長距離用の複数の位相画像のうち中距離用の位相画像に隣接する位相画像（例えば、位相０°の場合の位相画像ＰＧ０＿１）と、中距離用の位相画像のうち長距離用の位相画像に隣接する位相画像と、を基準位相画像として選択してもよい。

【0078】

次に、撮像システム１が測定対象物３ａに対して撮像を行う場合に、各位相の位相画像に対して、上述のブレ補正を行う前に加算処理した加算位相画像と、ブレ補正を行った後に加算処理した加算位相画像の状態の一例を、図１４に示す。図１４（ａ）には、位相０°、９０°、１８０°、２７０°の位相画像についてブレ補正を行っていない場合の加算位相画像示されている。図１４（ａ）に示すように、手ぶれまたは被写体ぶれにより生じた複数の位相画像で生じたずれが原因で、加算処理により得られた加算位相画像において、測定対象物３ａのエッジ部分がぼやけていることが把握される。一方、図１４（ｂ）には、位相０°、９０°、１８０°、２７０°の位相画像についてブレ補正を行った場合の加算位相画像示されている。図１４（ｂ）に示すように、手ぶれまたは被写体ぶれにより生じた複数の位相画像で生じたずれが動き量として導出され補正されることにより、加算処理により得られた加算位相画像において、測定対象物３ａのエッジ部分が明確になっていることが把握される。

【0079】

（距離画像の表示動作）
図１５は、実施形態に係る撮像システムのブレ補正前後の距離画像の表示例を示す図である。図１５を参照しながら、本実施形態に係る撮像システム１による距離画像の表示動作について説明する。

【0080】

図１５に示す表示画像１０００は、撮像システム１の画像処理装置６の表示制御部１５により表示装置２に表示された、距離演算部１４により生成された距離画像を表示する画面である。表示画像１０００は、図１５に示すように、距離画像ＤＩＧ１と、距離画像ＤＩＧ２と、を含む。

【0081】

距離画像ＤＩＧ１は、加算・補正部１３によるブレ補正が行われない場合の加算位相画像に基づいて距離演算部１４により生成された距離画像（第１の距離画像の一例）である。

【0082】

距離画像ＤＩＧ２は、加算・補正部１３によるブレ補正が行われた場合の加算位相画像に基づいて距離演算部１４により生成された距離画像（第２の距離画像の一例）である。

【0083】

このように、ブレ補正がない場合の距離画像と、ブレ補正がある場合の距離画像とを、並べて表示することによって、ブレ補正の効果を明示することができる。

【0084】

なお、例えば、手ぶれの量が大きすぎて補正しきれないような場合、または、測定対象物側での動きが生じたことにより画像の一部にブレが含まれたり、画像の一部に正しい距離が算出できない部分があったりする場合に、ブレの含まれる領域を画像上に表示したり、距離画像の再生成をユーザに勧める表示を行ったりしてもよい。これによって、ユーザは撮影した位相画像に手ぶれまたは被写体ぶれが存在することを知ることができ、これらのぶれが発生しないように、再度の処理を行うことができる。

【0085】

以上のように、本実施形態に係る撮像システム１では、受光センサ１１は、光源２１から照射された照射光が測定対象物３で反射した反射光を受光して撮像し、撮像制御部１２は、反射光を受光して複数の位相毎に複数の位相画像を撮像するように受光センサ１１を制御し、加算・補正部１３は、受光センサ１１により撮像された同じ位相の複数の位相画像同士の加算処理を行って加算位相画像を生成し、それぞれの位相における複数の位相画像は、第１の条件（例えば長距離用の露光時間）で撮像された複数の第１の位相画像（例えば長距離用の位相画像）と、第１の条件と異なる第２の条件（例えば中距離用、近距離用の露光時間）で撮像された１以上の第２の位相画像（例えば中距離用、近距離用の位相画像）と、を含み、加算・補正部１３は、第２の位相画像の数よりも大きい数の第１の位相画像について、同じ位相の第１の位相画像間の動き量を導出し、動き量に基づいて、該同じ位相の第１の位相画像に対して補正を行い、加算処理により複数の位相毎に加算位相画像を生成するものとしている。このように、手ぶれまたは被写体ぶれに対する補正（ブレ補正）が行われることにより、距離の算出精度の低下を抑制するための複数の位相画像に対する処理を実現することができる。

【0086】

また、本実施形態に係る撮像システム１では、距離演算部１４は、複数の位相毎の加算位相画像に基づいて、測定対象物３までの距離を算出する。さらに、距離演算部１４は、複数の位相毎の前記加算位相画像に基づいて、測定対象物３等までの距離を示す距離画像を生成し、表示制御部１５は、距離画像を表示装置２に表示させるものとしている。これによって、測定対象物３等までの距離を視覚的に確認することができる。

【0087】

また、本実施形態に係る撮像システム１では、加算・補正部１３は、補正をせずに加算処理により加算位相画像をさらに生成し、距離演算部１４は、補正をせずに加算処理により生成された加算位相画像に基づいて第１の距離画像（例えば距離画像ＤＩＧ１）を生成し、補正後における加算処理により生成された加算位相画像に基づいて第２の距離画像（例えば距離画像ＤＩＧ２）を生成し、表示制御部１５は、第１の距離画像および第２の距離画像を表示装置２に表示させるものとしている。補正がない場合の距離画像と、補正がある場合の距離画像とを、表示することによって、補正（ブレ補正）の効果を明示することができる。

【0088】

（変形例）
変形例に係る撮像システムについて、上述の実施形態に係る撮像システム１と相違する点を中心に説明する。上述の実施形態では、受光センサ１１により撮像された位相画像から、加算・補正部１３により、動き量を導出するための基準位相画像を自動で選択するものとしていた。本変形例では、ユーザにより手動で基準位相画像を選択する動作について説明する。

【0089】

図１６は、変形例に係る撮像システムの概略構成の一例を示す図である。図１６を参照しながら、本実施形態に係る撮像システム１ａの概略構成および概略動作について説明する。

【0090】

撮像システム１ａは、図１６に示すように、位相画像撮像装置５と、画像処理装置６と、入力部１６と、を含む。位相画像撮像装置５は、投光部１０と、受光センサ１１（撮像部）と、撮像制御部１２と、を備えている。画像処理装置６は、加算・補正部１３（加算部）と、距離演算部１４（距離計測部）と、表示制御部１５と、を備えている。なお、このうち、投光部１０、受光センサ１１、撮像制御部１２、距離演算部１４および表示制御部１５の動作は、上述の実施形態に係る撮像システム１と同様である。また、撮像システム１ａの構成は、図１６に示した構成に限定されるものではなく、例えば、画像処理装置６の処理部の一部が位相画像撮像装置５に含まれるものとしてもよく、位相画像撮像装置５の処理部の一部が画像処理装置６に含まれるものとしてもよい。また、撮像システム１ａは、位相画像撮像装置５および画像処理装置６に含まれる処理部が、３つ以上の装置に振り分けられた構成であってもよい。また、撮像システム１ａが１つの装置（撮像装置）として構成されるものとしてもよい。

【0091】

加算・補正部１３は、受光センサ１１から出力された受光データＬＲＡ、ＬＲＢを位相信号として入力し、当該位相信号が受光センサ１１の画素ごとに対応して構成された二次元の各位相の複数の位相画像について、手ぶれまたは被写体ぶれに対する補正（ブレ補正）を行い、同じ位相の複数の位相画像同士を加算処理して加算位相画像を生成する。具体的には、加算・補正部１３は、ユーザによる入力部１６を介して入力された操作により選択された位相画像を基準位相画像として、手ぶれまたは被写体ぶれにより複数の位相画像間で生じた動き量（ずれ量）を導出する。そして、加算・補正部１３は、導出した動き量を用いて、長距離用の各位相の複数の位相画像について補正（ブレ補正）を行い、各位相の補正後の位相画像を加算処理して、各位相の加算位相画像を生成する。また、加算・補正部１３は、長距離用の基準位相画像から導出した動き量を用いて、中距離用および近距離用の位相画像に対しても同様のブレ補正を行う。

【0092】

入力部１６は、例えば、撮像システム１ａに含まれる、ユーザの操作を受け付けるタッチパネルまたは操作パネル等の入力装置である。なお、入力部１６は、外部の情報処理装置等に入力されたユーザの操作信号を受信する入力インターフェース回路等であってもよい。いずれに場合においても、ユーザは、入力部１６を介して画像処理装置６に対して操作入力を行うことができ、上述のように、各位相の位相画像のうち基準位相画像の選択操作を行うことができる。

【0093】

なお、ユーザによる入力部１６を介した基準位相画像の選択のために、例えば、表示制御部１５は、図７～図９に示すような、位相画像、および当該位相画像の撮像タイミング等を示すような情報を表示装置２に表示させるものとしてもよい。また、表示装置２は、入力部１６を有するＰＣまたはタブレット端末等のディスプレイであってもよい。

【0094】

また、ユーザは、入力部１６を介して基準位相画像を選択することのほか、加算・補正部１３による加算処理の対象外とする位相画像の選択、基準位相画像以外の位相画像の選択等が行えるものとしてもよい。

【0095】

以上のように、本変形例に係る撮像システム１ａでは、入力部１６は、外部からの入力を受け付け、加算・補正部１３は、入力部１６による入力に基づいて複数の第１の位相画像から選択された基準位相画像を用いて、動き量を導出するものとしている。これによって、ユーザの意図に沿った基準位相画像を用いて補正を行うことが可能となる。

【0096】

なお、上述の実施形態および変形例において、撮像システム１、１ａの機能の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上述の実施形態および変形例において、撮像システム１、１ａで実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅｃｏｒｄａｂｌｅ）、またはＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施形態および変形例において、撮像システム１、１ａで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態および変形例において、撮像システム１、１ａで実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施形態および変形例において、撮像システム１、１ａで実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上述の記憶装置からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置上にロードされて生成されるようになっている。

【0097】

本発明の態様は、以下の通りである。
＜１＞入力された複数の位相画像に対し、同じ位相の複数の前記位相画像同士の加算処理を行って加算位相画像を生成する加算部を有し、
前記入力された複数の位相画像は、第１の条件で撮像された複数の第１の位相画像と、前記第１の条件と異なる第２の条件で撮像された１以上の第２の位相画像と、を含み、
前記第１の位相画像の数は、前記第２の位相画像の数よりも多く、
前記加算部は、少なくとも前記複数の第１の位相画像について、同じ位相の複数の前記第１の位相画像間の動き量を導出し、前記動き量に基づいて、該同じ位相の複数の第１の位相画像に対して補正を行い、前記加算処理により複数の位相毎に前記加算位相画像を生成する撮像システムである。
＜２＞前記複数の第１の位相画像は、第１の期間に撮像され、
前記１以上の第２の位相画像は、前記第１の期間とは異なる第２の期間で撮像され、
前記加算部は、前記第１の期間に撮像された前記複数の第１の位相画像のうち、該第１の期間の中央よりも前記第２の期間に近い期間に撮像された前記第１の位相画像を第１の基準位相画像として選択し、前記第１の基準位相画像を用いて前記動き量を導出する前記＜１＞に記載の撮像システムである。
＜３＞前記第１の期間は、時間的に離間した複数の期間を含む前記＜２＞に記載の撮像システムである。
＜４＞前記入力された複数の位相画像は、前記第１の期間および前記第２の期間と異なる第３の期間に、前記第１の条件および前記第２の条件と異なる第３の条件で撮像された複数の第３の位相画像と、をさらに含み、
前記第２の期間は、前記第１の期間と前記第３の期間との間であり、
前記加算部は、前記第３の期間に撮像された前記複数の第３の位相画像のうち、前記第３の期間の中央よりも前記第２の期間に近い期間に撮像された前記第３の位相画像を第２の基準位相画像として選択し、前記第２の基準位相画像を用いて前記動き量を導出する前記＜２＞に記載の撮像システムである。
＜５＞照射光を照射する光源と、前記照射光が対象物で反射した反射光を受光し受光信号を出力する受光センサと、を備える撮像部と、
前記複数の位相で前記複数の位相画像を撮像するように前記撮像部を制御する撮像制御部と、
をさらに有する前記＜１＞～＜４＞のいずれか一項に記載の撮像システムである。
＜６＞外部からの入力を受け付ける入力部を、さらに備え、
前記加算部は、前記入力部による入力に基づいて前記複数の第１の位相画像から選択された基準位相画像を用いて、前記動き量を導出する前記＜１＞～＜５＞のいずれか一項に記載の撮像システムである。
＜７＞前記複数の位相毎の前記加算位相画像に基づいて、対象物までの距離を算出する距離計測部を、さらに備えた前記＜１＞～＜６＞のいずれか一項に記載の撮像システムである。
＜８＞前記距離計測部は、前記複数の位相毎の前記加算位相画像に基づいて、前記対象物までの距離を示す距離画像を生成し、
前記距離画像を表示装置に表示させる表示制御部を、さらに備えた前記＜７＞に記載の撮像システムである。
＜９＞前記加算部は、前記補正をせずに前記加算処理により前記加算位相画像をさらに生成し、
前記距離計測部は、前記補正をせずに前記加算処理により生成された前記加算位相画像に基づいて第１の距離画像を生成し、前記補正後における前記加算処理により生成された前記加算位相画像に基づいて第２の距離画像を生成し、
前記表示制御部は、前記第１の距離画像および前記第２の距離画像を前記表示装置に表示させる前記＜８＞に記載の撮像システムである。
＜１０＞光源から照射された照射光が対象物で反射した反射光を受光して撮像する撮像部と、
前記反射光を受光して複数の位相毎に複数の位相画像を撮像するように前記撮像部を制御する撮像制御部と、
前記撮像部により撮像された複数の位相画像に対し、同じ位相の複数の前記位相画像同士の加算処理を行って加算位相画像を生成する加算部と、
を備え、
前記撮像された複数の位相画像は、第１の条件で撮像された複数の第１の位相画像と、前記第１の条件と異なる第２の条件で撮像された１以上の第２の位相画像と、を含み、
前記第１の位相画像の数は、前記第２の位相画像の数よりも多く、
前記加算部は、少なくとも前記複数の第１の位相画像について、同じ位相の複数の前記第１の位相画像間の動き量を導出し、前記動き量に基づいて、該同じ位相の複数の第１の位相画像に対して補正を行い、前記加算処理により複数の位相毎に前記加算位相画像を生成する撮像装置である。
＜１１＞撮像部が、光源から照射された照射光が対象物で反射した反射光を受光して撮像する撮像ステップと、
撮像制御部が、前記反射光を受光して複数の位相毎に複数の位相画像を撮像するように前記撮像部を制御する撮像制御ステップと、
加算部が、前記撮像部により撮像された複数の位相画像に対し、同じ位相の複数の前記位相画像同士の加算処理を行って加算位相画像を生成する加算ステップと、
を有し、
前記撮像された複数の位相画像は、第１の条件で撮像された複数の第１の位相画像と、前記第１の条件と異なる第２の条件で撮像された１以上の第２の位相画像と、を含み、
前記第１の位相画像の数は、前記第２の位相画像の数よりも多く、
前記加算ステップで、前記加算部は、少なくとも前記複数の第１の位相画像について、同じ位相の複数の前記第１の位相画像間の動き量を導出し、前記動き量に基づいて、該同じ位相の複数の第１の位相画像に対して補正を行い、前記加算処理により複数の位相毎に前記加算位相画像を生成する撮像方法である。

【符号の説明】

【0098】

１、１ａ 撮像システム
２ 表示装置
３、３ａ 測定対象物
５ 位相画像撮像装置
６ 画像処理装置
７ 情報処理装置
１０ 投光部
１１ 受光センサ
１２ 撮像制御部
１３ 加算・補正部
１４ 距離演算部
１５ 表示制御部
１６ 入力部
２１ 光源
２２ 駆動回路
１０３ ＰＤ
１０４ａ、１０４ｂ 変調スイッチ
１０５ａ、１０５ｂ 蓄電部
１０００ 表示画面
Ａ、Ｂ 蓄積電荷量
ＤＩＧ１、ＤＩＧ２ 距離画像
Ｌｅ 照射光
Ｌｒ 反射光
ＬＲＡ、ＬＲＢ 受光データ
Ｐ０、Ｐ９０、Ｐ１８０、Ｐ２７０ 位相信号
ＰＧ０＿１、ＰＧ０＿１’、ＰＧ０＿２、ＰＧ０＿２’、ＰＧ０＿３ 位相画像
ＰＧ９０＿１、ＰＧ９０＿１’、ＰＧ９０＿２、ＰＧ９０＿２’、ＰＧ９０＿３ 位相画像
ＰＧ１８０＿１、ＰＧ１８０＿１’、ＰＧ１８０＿２、ＰＧ１８０＿２’、ＰＧ１８０＿３ 位相画像
ＰＧ２７０＿１、ＰＧ２７０＿１’、ＰＧ２７０＿２、ＰＧ２７０＿２’、ＰＧ２７０＿３ 位相画像
Ｔ 周期
Ｔｄ 遅延時間
Ｔｐ 周期
ＴＲ、ＴＲＡ、ＴＲＢ 転送信号
Ｔｗ パルス時間幅

【先行技術文献】

【特許文献】

【0099】

【特許文献1】特開２０２１－１４８７４５号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】