特許 7557845 撮像装置およびその撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-19

(45)【発行日】2024-09-30

(54)【発明の名称】撮像装置およびその撮像方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240920BHJP

   H04N 25/70 20230101ALI20240920BHJP

   G06T 5/90 20240101ALI20240920BHJP

【ＦＩ】

H04N23/60

H04N25/70

G06T5/90

【請求項の数】 11

(21)【出願番号】P 2020027261

(22)【出願日】2020-02-20

(65)【公開番号】P2021132330

(43)【公開日】2021-09-09

【審査請求日】2023-02-17

(73)【特許権者】

【識別番号】504133110

【氏名又は名称】国立大学法人電気通信大学

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100152272

【弁理士】

【氏名又は名称】川越 雄一郎

(74)【代理人】

【識別番号】100181722

【弁理士】

【氏名又は名称】春田 洋孝

(72)【発明者】

【氏名】渡邉 恵理子

(72)【発明者】

【氏名】斎藤 圭佑

(72)【発明者】

【氏名】本多 康伸

(72)【発明者】

【氏名】永田 門

【審査官】吉田 千裕

(56)【参考文献】

【文献】国際公開第２０１７／１４１９９７（ＷＯ，Ａ１）

【文献】特開２０１０－００３３５８（ＪＰ，Ａ）

【文献】特開２０１８－１２１２７３（ＪＰ，Ａ）

【文献】特開２０１９－０４６５２０（ＪＰ，Ａ）

【文献】Ren, Xu, and Lam，"End-to-end deep learning framework for digital holographic reconstruction"，Advanced Photonics，2019年01月28日，1(1)，016004

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２５／７０

Ｇ０６Ｔ ５／９０

(57)【特許請求の範囲】

【請求項1】

対象物体を撮影する撮像装置において、
複数の空間的な分布パターンが光学的に記録された記録媒体を有する記録部と、
前記対象物体からの観測光と前記分布パターンとの照合を行い、前記対象物体と前記分布パターンとの相関度に応じた光相関信号を生成する相関部と、
前記光相関信号を受光し、前記対象物体と前記分布パターンとの相関度を算出する相関度算出部と、
前記相関度から前記対象物体の情報を復元する復元部と、
を備え、
前記記録媒体はホログラフィックディスクであり、
前記相関部は前記観測光と前記分布パターンとの照合を行う際に、前記ホログラフィックディスクを高速回転させ、前記対象物体からの反射光又は透過光を前記ホログラフィックディスクに入射させ、前記光相関信号として前記ホログラフィックディスクからの回折光を発生させ、
前記復元部は前記対象物体の情報を復元する際に、前記相関度に応じた光強度に関する情報を光相関シングルピクセルカメラ用再構成ネットワークに入力することによって前記対象物体の再構成像を取得する、
撮像装置。

【請求項2】

対象物体を撮影する撮像装置において、
複素振幅パターンが光学的に記録された記録媒体を有する記録部と、
前記対象物体からの観測光と前記複素振幅パターンとの干渉を行い、前記対象物体と前記複素振幅パターンとの干渉度に応じた光干渉信号を生成する干渉部と、
前記光干渉信号を受光し、前記対象物体と前記複素振幅パターンとの干渉度を算出する干渉度算出部と、
前記干渉度から前記対象物体の情報を復元する復元部と、
を備え、
前記記録媒体はホログラム媒体であり、
前記復元部は前記対象物体の情報を復元する際に、前記干渉度に応じた光強度に関する情報を光相関シングルピクセルカメラ用再構成ネットワークに入力することによって前記対象物体の再構成像を取得する、
撮像装置。

【請求項3】

対象物体を撮影する撮像装置において、
複素振幅パターンが光学的に記録された記録媒体を有する記録部と、
前記記録媒体に参照光を照射することで複素振幅パターンを生成する再生部と、
前記対象物体と再生部から生成された前記複素振幅パターンとの干渉信号を生成する干渉部と、
前記干渉信号を受光し、前記対象物体と前記複素振幅パターンとの干渉度を算出する干渉度算出部と、
前記干渉度から前記対象物体の情報を復元する復元部と、
を備え、
前記記録媒体はホログラム媒体であり、
前記復元部は前記対象物体の情報を復元する際に、前記干渉度に応じた光強度に関する情報を光相関シングルピクセルカメラ用再構成ネットワークに入力することによって前記対象物体の再構成像を取得する、
撮像装置。

【請求項4】

前記復元部は、
前記ホログラフィックディスクからの回折光の強度を電気信号のレベルに変換する単一画素検出器であるディテクタと、
前記ディテクタからの前記電気信号のレベルの時間軸変化を計測及び画像処理して前記対象物体の映像を作成する撮像処理部と、
を有し、
前記撮像処理部は、前記対象物体について前記照合にて取得される光強度が入力されたときに、前記対象物体と同じ光強度の値が出力されるように学習された学習処理部を含む、
請求項１に記載の撮像装置。

【請求項5】

前記学習処理部は逆畳み込み層及び深層畳み込み層を含み、
前記学習処理部の学習では、学習用データとしての画像データに前記照合においてノイズが付与された場合の光強度を入力したときに、前記画像データと同じ光強度の値が出力されるように学習する、
請求項４に記載の撮像装置。

【請求項6】

前記記録媒体に前記分布パターンが光学的に記録されていることによって、対象物体にて変調される光の振幅、位相、波長、偏光情報の変化をとらえて、前記対象物体の情報を復元する、
請求項１、請求項４、及び、請求項５の何れか一項に記載の撮像装置。

【請求項7】

前記記録媒体に前記複素振幅パターンが光学的に記録されていることによって、対象物体にて変調される光の振幅、位相、波長、偏光情報の変化をとらえて、前記対象物体の情報を復元する、
請求項２又は請求項３に記載の撮像装置。

【請求項8】

前記複数の空間的な分布パターンは、空間的な分布パターンを参照光とともに前記ホログラフィックディスクに入力し、干渉縞がホログラムとしてシフト多重記録されることで生成されている、
請求項５に記載の撮像装置。

【請求項9】

対象物体を撮影する撮像方法において、複数の空間的な分布パターンを光学的に記録媒体に記録し、対象物体からの観測光と前記分布パターンとの照合を行い、前記対象物体と前記分布パターンとの相関度に応じた光相関信号を生成し、前記光相関信号を受光し、前記光相関信号の強度から前記対象物体と前記分布パターンとの相関度を算出し、前記相関度から前記対象物体の情報を復元し、
前記記録媒体としてホログラフィックディスクを用い、
前記観測光と前記分布パターンとの照合を行う際に、前記ホログラフィックディスクを高速回転させ、前記対象物体からの反射光又は透過光を前記ホログラフィックディスクに入射させ、前記光相関信号として前記ホログラフィックディスクからの回折光を発生させ、
前記対象物体の情報を復元する際に、前記相関度に応じた光強度に関する情報を光相関シングルピクセルカメラ用再構成ネットワークに入力することによって前記対象物体の再構成像を取得する、
撮像方法。

【請求項10】

対象物体を撮影する撮像方法において、複素振幅パターンを光学的に記録媒体に記録し、対象物体からの観測光と前記複素振幅パターンとを干渉させ、前記対象物体と前記複素振幅パターンとの干渉度に応じた光干渉信号を生成し、前記光干渉信号を受光し、前記光干渉信号の強度から前記対象物体と前記複素振幅パターンとの干渉度を算出し、前記干渉度から前記対象物体の情報を復元し、
前記記録媒体としてホログラム媒体を用い、
前記対象物体の情報を復元する際に、前記干渉度に応じた光強度に関する情報を光相関シングルピクセルカメラ用再構成ネットワークに入力することによって前記対象物体の再構成像を取得する、
撮像方法。

【請求項11】

対象物体を撮影する撮像方法において、複素振幅パターンを光学的に記録媒体に記録し、記録媒体に参照光を照射することで複素振幅パターンを生成し、前記対象物体と再生部から生成された前記複素振幅パターンとの干渉信号を生成して前記干渉信号を受光し、前記干渉信号の強度から前記対象物体と前記複素振幅パターンとの干渉度を算出し、前記干渉度から前記対象物体の情報を復元し、
前記記録媒体としてホログラム媒体を用い、
前記対象物体の情報を復元する際に、前記干渉度に応じた光強度に関する情報を光相関シングルピクセルカメラ用再構成ネットワークに入力することによって前記対象物体の再構成像を取得する、
撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置及び画像処理方法に係り、特に、ノイズ環境下において、高ダイナミックレンジの撮影装置や光学限界を超える高精度・高解像度の撮像装置および撮像方法に関する。

【背景技術】

【0002】

単一画素検出器を用いたイメージング手法の歴史的背景として、統計光学的な観点から発展してきたコンピューテーショナルゴーストイメージング（Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｇｈｏｓｔ Ｉｍａｇｉｎｇ：ＣＧＩ）と、スペクトル計測手法から発展してきたシングルピクセルイメージング（Ｓｉｎｇｌｅ－Ｐｉｘｅｌ Ｉｍａｇｉｎｇ：ＳＰＩ）の二つに大別される。ＳＰＩやＣＧＩと呼ばれる単一画素検出器を用いたイメージング技術としては非特許文献１に開示されたものが知られている。ＳＰＩやＣＧＩは物体を空間的な分布パターンでフィルタリングする。フィルタリングされた光強度を単一画素検出器で取得する。パターンを次々と変化させていき、各パターンでの光強度をそれぞれ記録する。ＣＧＩでは空間的な分布パターンパターンにランダムなパターンを用い、パターンと得られた光強度の相関を計算することによる対象物体の２次元構造の列ベクトルｘの情報を復元する手法である。また、ＳＰＩは空間的な分布パターンにアダマール行列等の直交行列から生成される基底パターンを用いることで、得られた光強度の時系列をベクトルｙとし、各パターンが各行に相当する行列をＨとすると、ベクトルｙとベクトルｘ及び行列Ｈとの関係は（１）式によって表される。

【数1】

これに対して、ベクトルｙについて逆問題を解くことで対象物体のベクトルｘの情報が復元されるというものである。これらの手法は多数のパターンの照合回数を必要とするものの、測定と関係ないノイズ成分を平均化することができるため、高いダイナミックレンジを持つ観測が可能となる。

【0003】

また、複数のシングルシングルピクセルカメラを用いた圧縮センシング方式の撮像装置および撮像方法について、固定値のフィルタを用いた場合でも各シングルピクセルカメラの観測範囲の補正を可能とすることが特許文献１に記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１２１２７３号公報

【非特許文献】

【0005】

【文献】M. F. Duarte, et al, IEEE Signal Proc. Mag. 25, 83 (2008).

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述のようにSPIやCGIと呼ばれる単一画素検出器を用いたイメージング技術が注目されている。SPIやCGIは物体とパターンとの内積値を光強度として単一画素検出器で取得し、デジタル再構成処理により物体の情報を再構成する手法である。SPIやCGIは光学系の単純化、可視域以外での波長帯でのイメージングが可能であること、耐ノイズ性がある等といった利点がある。また単一の画素検出器を使用できることから高いダイナミックレンジを確保することが出来た。しかし、パターンとの照合に時間がかかるため、リアルタイムでの観測は困難であった。そのため、イメージング方式としては単純であり小型化も可能であるがリアルタイム性が乏しいので通常の撮像装置としては使えなかった。さらに高精度化も難しかった。

【0007】

本発明は上記の実情に鑑みてなされたもので有り、その目的は高速に画像のマッチングが可能な光相関技術と、光強度を高感度に検出する単一画素検出機を使うことにより、高ダイナミックレンジの高速カメラを提供することである。さらにホログラムによる複素振幅分布を記録できることを利用し、光の振幅、位相、波長、偏光情報の変化をとらえることもできる。そのため、通常のカメラでは取得できない、複素振幅分布の変化を可視化することが出来、従来の撮像法に用いられる振幅情報では変化のないような回折限界を超える微小なサンプルでも、その複素振幅情報の変化をとらえて再構成することで、撮像光学系の性能を超えるイメージングが実現できる。

【0008】

本発明は上記の実情に鑑みてなされたもので有り、その目的は高速に画像のマッチングが可能な光相関技術と、光強度を高感度に検出する単一画素検出機を使うことにより、高ダイナミックレンジの高速イメージングや、揺らぎや散乱などを除去するイメージング、撮像光学系の性能を超える顕微イメージングを使った撮像装置とその撮像方法を提供することである。

【課題を解決するための手段】

【0009】

前記課題を解決するための手段として、特許請求の範囲に記載の技術を用いる。
そこで、高速に画像のマッチングが可能な光相関技術と、光強度を高感度に検出する単一画素検出機を使うことにより、高Dレンジの高速カメラを提供できる。

【0010】

例えば、現在AI技術を使い車の自動運転を開発しているが、その目となるカメラに関しては高Dレンジが必須となっている。理由はトンネルを抜けた後の太陽光がカメラに入力したとしても十分撮影できることや、対向車のヘッドライトにも対応できる高ダイナミックレンジのカメラにする必要がある。しかしながら従来技術では十分な高Dレンジカメラがないため、カメラで対応できない光強度の変化に対してはカメラと赤外線センサーの組み合わせ等で対応を考えていた。よって高Dレンジカメラが安価で提供できればその経済効果は高い。

【0011】

また、光相関技術を使うために、ホログラフィックディスクにマッチング用のパターンを記録しておき、更にAIにより新たなデータを記録することでより精度を高くすることができる。さらにホログラフィックディスクも大きなサイズは必要ではなく、せいぜい１インチ程度の大きさのディスクを使い単一画素検出器を使えば良いので小型化も可能である。

【0012】

すなわちCCDカメラではピクセル数を多く必要なため、１個当たりのピクセルに相当するセンサーは感度に制限がある。これに対し単画素検出器では一個の検出器の大きさをCCDの１ピクセルあたりの大きさの1,000倍に大きくすることも簡単である。1,000倍に出来れば感度は単純に60dB改善でき、例えばトンネルと太陽光の差も十分補正でき、イメージを形成できる。確認できる。

【0013】

さらに、ホログラムには複素振幅分布を記録できるため、光の振幅、位相、波長、偏光情報の変化をとらえることもできる。そのため、通常のカメラでは取得できない、光の振幅、位相、波長、偏光の変化を可視化することができる。振幅情報では変化のないような回折限界を超える微小なサンプルでも、その複素振幅分布の変化をとらえて再構成することで、撮像光学系の性能を超えるイメージングが実現できる。

【発明の効果】

【0014】

本発明によれば、高速に画像のマッチングが可能な光相関技術と、光強度を高感度に検出する単一画素検出器を使うことにより、高Dレンジの高速カメラを提供できる。さらに通常のカメラでは撮影できない霧や蜃気楼、熱揺らぎ、等、イメージングを邪魔する空間の揺らぎや散乱等を除去してクリヤーな画像を形成ですることが出来るので、高精細のカメラを提供できる。また、測定したい対象に隔たる散乱体、例えば皮膚や想定対象までを隠す要素となる散乱体という影響を除去できるので、高精細な顕微鏡を提供できる。さらに、撮像光学系の性能を超える顕微イメージングを実現できるので、超解像顕微鏡や、微細な構造欠陥等を検査する様な装置を提供できる。

【図面の簡単な説明】

【0015】

【図1】実施例に係る撮像装置を含む全体システム構成の一例を示す図。

【図2】実施例に係る撮像装置のブロック図。

【図3】実施例に係る撮像装置のソフトウェア構成図。

【図4】実施例におけるディスクにマッチング用パターンを記録する方法の一例を示す図。

【図5】実施例における相関プロセスを行う方法の一例を示す図。

【図6】実施例における再構成プロセスを行う方法の一例を示す図。

【図7】本発明で構築したネットワーク評価における学習方法の概要を示す図。

【図8】本発明による再構成プロセスの有効性を示す図。

【発明を実施するための形態】

【0016】

以下、本発明の実施形態について、図面を用いて説明する。全図を通じて同一の構成には同一の符号を付けてその重複説明は省略する。以下の実施形態においては、本発明に係る撮像装置を例に挙げて説明する。

【0017】

図１は本発明の実施形態の撮像装置１を含む全体構成の一例を示した図である。図では本発明の撮像装置１を車載カメラとして利用したケースを示している。説明を容易にするため撮像装置１を車載カメラとして使っているがこれに限ることはない。図１（a）において自動車２０が例えばトンネル２１内で走行していた場合、車載用のカメラとして使われている通常のカメラ、例えばCCDを使った車載カメラの場合には周りの輝度が低いので感度を上げる、或いは増幅して記録する。従って車載カメラの映像は図１（a）に示す様にトンネル内を映し出すことが可能となる。その後、自動車２０がトンネル２１を抜けた瞬間、車載カメラとしての感度は非常に上がっているため例えば太陽２２からの太陽光が直接車載カメラに入射した時には図１（b）に示す様にハレーションを起こして正しい撮影を行うことができない。これに対し、本発明の撮像装置１を使った場合には車載カメラに入る光強度に対して非常に高いダイナミックレンジを確保しているため、ハレーションを起こすことなく連続的な撮影ができる。ハレーションなく撮影可能な理由は下記に示す光相関技術とシングルイメージセンサー技術を使うことで達成されるが詳しくは後述する。

【0018】

図２は上記撮像装置１の全体ブロックを示した図である。撮像装置１には対象物体Aからの反射または透過光を取得するために照射するレーザー２、対象物体Aにレーザー光を照射、その照射したレーザー光の対象物体Aからの反射光を透過または反射するハーフミラーA４、後述する予めマッチング用のパターンを記録してあるホログラフィックディスク８、対象物体Aからの反射光をホログラフィックディスク８に集光するためのレンズ３、ホログラフィックディスクにより回折された光を反射するハーフミラーB５、回折された光の強度を電気信号のレベルに変換して撮像処理部に送る単一画素検出器であるディテクタ６、ディテクタ６からなる光学系と、前記ディテクタ６からの電気信号のレベルを時間軸変換してそのレベルの時間軸変化を計測＆画像処理して元の対象物体Aの映像を作成する撮像処理部７、前記ホログラフィックディスク８を高速回転し、且つホログラフィックディスク８に記録されているマッチング用のパターンと入射された対象物体Aからの光を精度良くマッチング用のパターンと合致させて精度良く回折光を形成するための制御を施すサーボ処理部９と、対象物の映像を表示する表示部１４と、これら全体を制御し、指示を行うコントローラ１１、ＲＯＭ１０、ＲＡＭ１２、映像や画像データを保存する外部メモリ１３、システムバス１６からなる。

【0019】

さらに上記対象物Aの映像を自動運転のためのデータとして自動制御処理部１５に送っても良い。前記撮像処理部７には入力された光強度の時間変化を元の対象物画像に復元するための処理部として後述する学習処理部７a、復元処理部７b、ホログラフィックメモリに記録されているマッチング用のパターンを一時的に記憶し、上記学習処理部７a、復元処理部７bに送るメモリ７c等からなる。

【0020】

図３は本実施例の撮像装置１のソフトウェア構成図であり、コントローラ１１、ＲＯＭ１０、ＲＡＭ１２、及び外部メモリ１３、システムバス１６からなる。
コントローラ１１は、所定のプログラムに従って撮像装置１全体を制御するマイクロプロセッサユニットである。システムバス１６はコントローラ１１と撮像装置１内の各部との間でデータ送受信を行うためのデータ通信路である。

【0021】

ＲＯＭ（Read Only Memory）１０は、オペレーティングシステムなどの基本動作プログラムやその他のアプリケーションプログラムが格納されたメモリであり、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）やフラッシュＲＯＭのような書き換え可能なＲＯＭが用いられ、ＲＯＭ１０に格納されたプログラムを更新することにより、基本動作プログラムやその他のアプリケーションプログラムのバージョンアップや機能拡張が可能である。

【0022】

ＲＡＭ（Random Access Memory）１２は基本動作プログラムやその他のアプリケーションプログラム実行時のワークエリアとなる。具体的には、例えばＲＯＭ１０に格納された基本動作プログラム１０ａはＲＡＭ１２に展開され、更にコントローラ１１が前記展開された基本動作プログラムを実行することにより、基本動作実行部１２ａを構成する。

【0023】

以下では、説明を簡単にするために、コントローラ１１がＲＯＭ１０に格納された基本動作プログラム１０ａをＲＡＭ１２に展開して実行することにより各部の制御を行う処理を、基本動作実行部１２ａが各部の制御を行うものとして記述する。なお、その他のアプリケーションプログラムに関しても同様の記述を行うものとする。
撮影映像処理実行部１２ｂは撮影映像処理部７に対し撮影の指示、停止、学習処理部７a、復元処理部７bへの指示、メモリ７cのデータ化、画像改善等の処理指示を行う。

【0024】

学習処理実行部１２ｃは図１において対象物体Aの反射光とホログラフィックディスク８とで出来る回析光の光強度をディテクタ６で検出し、電気信号として撮像処理部７に入力した時にその時間軸での変化を数値化し、２次元化した後に特徴量抽出して後述する各種学習処理を行うソフトウェアである。復元処理実行１２dは図1において学習処理部７aで学習処理されたデータを画像データに復元処理を行うソフトウェアである。具体的な手法の例については後述する。サーボ処理実行部１２eはホログラフィックディスク８の回転制御、位置制御をフィードバック、或いはフィードフォアードで制御するアルゴリズムを含むソフトウェアである。表示実行部１２fは前記復元された画像データを表示するためのソフトウェアである。但し、前記ソフトウェアは全てがソフトウェアではなくても良く、例えば高速化するために一部をハードウェア化されていても良い。

【0025】

コントローラ１１は撮像装置１全体の制御を行うアルゴリズムが組み込まれている。
本実施例の撮像装置１の動作は、図２に示したように、主として外部メモリ１３に記憶された撮像処理プログラム１３ｂと、学習処理プログラム１３ｃと、復元処理プログラム１３ｄと、サーボ処理プログラム１３eがＲＡＭ１２に展開され、コントローラ１１により実行される撮影映像処理実行部１２ｂと、学習処理実行部１２ｃと、復元処理実行部１２ｄ、サーボ処理実行部１２e、表示実行部１２fによって制御されるものとする。前述の撮影映像処理実行部１２ｂと、学習処理実行部１２ｃと、復元処理実行部１２ｄ、サーボ処理実行部１２e、表示実行部１２fはその一部または全部の動作をハードウェアで実現する各ハードウェアブロックで行っても良い。

【0026】

ＲＯＭ１０及びＲＡＭ１２はコントローラ１１と一体構成であっても良い。また、ＲＯＭ１０は、図２に示したような独立構成とはせず、外部メモリ１３内の一部記憶領域を使用しても良い。また、ＲＡＭ１２は、各種アプリケーションプログラム実行時に、必要に応じてデータを一時的に保持する一時記憶領域を備えるものとする。

【0027】

外部メモリ１３は撮影映像処理部７で撮影されている画像や映像を一時的に蓄えても良い。また、撮像装置１の各動作設定値や撮像装置１の位置情報や各種情報、撮像装置１が撮影した画像や映像情報等の一部または全部のデータ、その他プログラムを格納している。

【0028】

外部メモリ１３の一部領域を以ってＲＯＭ１０の機能の全部または一部を代替しても良い。また、外部メモリ１３は、撮像装置１に電源が供給されていない状態であっても記憶している情報を保持する必要がある。したがって、例えばフラッシュＲＯＭやＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disc Drive）等のデバイスが用いられる。

【0029】

次に上述のマッチング用のパターンをホログラフィックディスク８に記録する方法について図４を用いて説明する。光相関システムはコアキシャルホログラフィックメモリを応用したシステムでホログラフィックディスク上に記録した大容量のデータと入力データとの高速照合が可能なデバイスである。光相関シングルピクセルカメラにおいてホログラフィックディスクに記録するデータは基底パターンに、入力データは対象物体にそれぞれ対応する。光相関シングルピクセルカメラは観測した物体とパターンとの照合を行う相関プロセスと相関プロセスで取得した光強度を基に物体情報を再構成する再構成プロセスからなる。相関プロセスは光相関システム上で、再構成プロセスは計算機上でそれぞれ行われる。

【0030】

図４はホログラフィックディスクにマッチング用のパターンを記録する方法について説明した図である。これを以下記録プロセスとする。記録プロセスでは，記録するデータを参照光と共にページデータとして未記録のホログラフィックディスク８に入力し，その干渉縞をホログラムとしてシフト多重記録することでデータベースとなるマッチング用のパターンを作成する．図４（a）において、ホログラフィックディスク８に記録する記録プロセスでは、空間的な分布パターンをリング状に配置した参照光と共に空間光変調器１７に表示し、レーザーを用いてホログラフィックディスク８に光情報として入力し，その干渉縞をホログラムとしてシフト多重記録する。この図ではハーフミラーB５ではなくてビームスプリッタ１８を使っているが、ハーフミラーB５でも良い。シフト多重としては図４（b）に示すように少しずつ回転させてホログラフィックディスク上に記録していく。この記録プロセスではホログラフィックディスクの材料により感度等が異なるため、記録のスピードは十分記録でき且つ情報が定着させるために低速でも構わない。また、一つの記録パターンの大きさは数百ミクロン程度の大きさで構わない。例えば直径2インチ（5.08cm）程度のディスクに100ミクロン四方のデータを一重記録したとしてもその容量は２５.４mm x ２５.４mm x π/0.1mm2 = 約20万個のデータを記録できる。実際は数十多重できるので、数百万個のデータを記録できる。従ってマッチング用のパターンとしては十分な個数を記録できる。また図４のホログラフィックディスクに記録する装置に関しては例えば工場の製造ラインに１台あり、各撮像装置１に配置されるマッチング用のパターンを記録されたホログラフィックディスクを複数枚作成すれば良い。

【0031】

図５は図４で作成されたホログラフィックディスク８を使って実際の対象物Ａをイメージ化する方法について説明した図である。この場合にはホログラフィックディスク８には既に図４で示したマッチング用のパターンが記録されており、各撮像装置１に挿入された状態を示している。図５の工程をここでは相関プロセスと称する。この相関プロセスでは、対象物体Ａにレーザー２を照射させ、ビームスプリッタ１８を通過してその光情報をホログラフィックディスク８に入射させる。ホログラフィックディスク８から参照光方向に回折する光（回折光）の強度をディテクタ６により検出する。図５では透過光のノイズ除去のために透過光カットマスク１９が配置されているが、低コスト化のために入れる必要がなければ配置しなくても良い。また、図５ではビームスプリッタ１８を使用しているが、同様機能を有するハーフミラー５でも良い。検出には単一検出した光強度は記録したパターンと対象物体との内積値に対応しているため、光相関システムの高速性から、ＳＰＩのさらなる高速化が期待できる。ここで、光相関システムのパターン照合速度Ｖは（２）式で示される。

【0032】

【数2】

【0033】

なお、Ｒはディスクの回転速度、ｒはディスクの記録する半径、ｄはシフト多重記録間隔である。例えばホログラフィックディスク８の回転速度を９００ｒｐｍ、ホログラフィックディスクの記録する半径を２ｃｍ、シフト多重記録の間隔を１０μｍとすると、Ｖは（３）式で示される。

【0034】

【数3】

【0035】

従って、後述する高精度化のための深層学習を行うとしても十分すぎる個数のデータを照合できるので通常の動画映像で必要な60フレーム/秒の同画像を再生できる。この後図６に示す元の対象物体Aの画像に戻す再構成プロセスになる。この時、図にも示している通り、光強度の時間軸変化の値には様々なノイズも含まれている。

【0036】

次に光相関技術での対象物体の画像を再構成する再構成プロセスについて説明する。光相関シングルピクセルカメラにおける再構成プロセスを説明する前に従来のシングルピクセルイメージングにおける再構成プロセスについて説明する。シングルピクセルイメージングは空間的な分布パターンにアダマールパターンや離散ｃｏｓパターンといった基底パターンを用いて物体情報を解析的に再構成する手法である。ベクトルｘを観測したい物体、行列Ｈを観測行列、ベクトルｙを取得する光強度としたとき相関プロセスは（１）式で示される。

【0037】

【数4】

【0038】

取得した光強度を基に物体情報を再構成させる際は、光強度に観測行列の逆行列を作用させ、（４）式に示すように物体情報を再構成する。

【0039】

【数5】

【0040】

ここでアダマールパターン等の基底パターンからなる直交行列を観測行列として採用することで（５）式が得られるため、ノイズがない状況下では物体情報を解析的に再構成することが可能となる。シングルピクセルイメージングにおいてアダマールパターンの照合枚数を増やすことで高解像な再構成像を取得していた。また、パターンの照合によりノイズが平均化されるため、耐ノイズ性に優れるといった利点もある。しかし、欠点として高解像な物体の再構成像を得るために多くのパターン照合が必要であるため、観測に時間がかかるといった課題があった。このため今回の発明にある様なリアルタイムの差撮像機器には不向きな手法である。図６の従来例がこれにあたる。

【数6】

【0041】

上記従来技術の欠点を補うために光相関シングルピクセルカメラを使い、高速且つ高精度な手法を提案する。光相関シングルピクセルカメラの高精度化に向けて再構成プロセスに深層学習を用いたネットワークを利用する。これが図６の本発明の再構成プロセスである。本発明の光相関シングルピクセルカメラ用再構成ネットワークは深層学習を用いたネットワークであり数４に示す再構成計算の代わりに使用する。ネットワークには逆畳み込み層及び深層畳み込み層からなり、既知の物体において相関プロセスにて取得された光強度を入力したときに、物体情報と同じ値が出力されるように学習させる。本発明を用いることで、従来手法では再構成像が取得できないノイズレベルにおいても鮮明な再構成像を取得することが可能となる。さらに、光相関システムの要素技術からなる誤差要因が生じる場合においても高精細な物体再構成が期待できる。これに対する実験的な評価を次に示す。

【0042】

図７に構築したネットワーク評価における学習方法の概要を示す。時間変動する空間ノイズと時間変動のない空間ノイズを加え、図６で示した従来手法での光相関シングルピクセルカメラによる再構成像と、構築したネットワークを用いて再構成した像の精度を比較した。ここで時間変動しない固定の空間ノイズは光相関システム由来の誤差要因を想定している。これは例えばディスクの欠陥による固定ノイズやレンズ系等の収差によるノイズなどである。本評価では、相関プロセスにて32×32 pixelのアダマールパターン1024枚を使用した。また、学習用データには機械学習で使われる画像データセットであるMNISTの一部を使用した。MNISTは28×28 pixelの０から９までの数字からなるデータセットで、合計7万枚である。このうち１０２４枚をアダマールパターンの大きさに合うように外枠を0埋めすることで、学習用データとした。ネットワークの学習時には、学習用データが相関プロセスにおいてノイズが付与された場合のシミュレーション光強度を入力し、学習用データと同じ値が出力されるように学習させた。また検証データには学習データに使用していないMNISTデータを使用した。図８に相関プロセスにノイズが含まれている場合の検証データにおける各再構成結果の比較を示す。比較の一例として用いたCGIはパターンにランダムパターンを用いた再構成手法であり、SPIに比べて再構成精度は悪くなるもののパターンの照射枚数を増やすことで耐ノイズ性に優れる。時間変動するノイズにおいて、提案した再構成ネットワークは従来手法であるCGI・SPIにおいて再構成が不可能なレベルでノイズ付与されている状況においても物体の再構成が可能であることを確認した。また観測ごとに変化せず、時間変動しないノイズが付与されている場合における各再構成ではCGIのようにパターン数を増やすことで物体の再構成精度は改善せず、従来手法では除去不可能な再構成誤差要因である。しかしながら、提案手法では物体を再構成することが可能であり、光相関システムの誤差要因をも取り除くことが可能であることから構築したネットワークの有効性を確認した。

【0043】

上述ではアダマールパターン１０２４枚を使用した例を示したが、式（１）の計算例で示した様に１秒間に約１８．８万回の照合ができるため十分な速度を得ることは可能となり、リアルタイムでのノイズ除去、映像化が可能である。

【0044】

上述の実施例では光相関シングルピクセルカメラ を使い、高ダイナミックカメラについての実施例について記載しているがこれに限ることはない。測定対象物体に対し、再構成不可能なレベルで付加されるノイズとは、霧や蜃気楼、熱揺らぎ、等、測定対象物体のイメージングを邪魔する空間の揺らぎや散乱等と考えることもできる。この撮像方法では、測定対象物体と、光検出器の間に生じるゆらぎなどのノイズ対象を除去してクリヤーな画像を形成ですることが出来る。従って、高感度であり且つ高精細のカメラを提供できる。また、顕微鏡においては、測定したい対象に隔たる散乱体、例えば皮膚や想定対象までを隠す要素となる散乱体という影響を上述した技術により除去できる。さらに、本発明ではホログラム技術を使っているため、複素振幅分布を記録できる。従って、光の振幅、位相、波長、偏光情報の変化をとらえることも可能となる。そのため、通常のカメラでは取得できない、光の複素振幅情報の変化を可視化することができる。すなわち、振幅情報では変化のないような回折限界を超える微小なサンプルでも、その複素振幅情報の変化をとらえて再構成することで、撮像光学系の性能を超えるイメージングが実現できる。そのため、超解像顕微鏡や、微細な構造欠陥等を検査する様な装置を提供できる。上記に関しても図２、図３のブロック構成やソフトウェア構成で実現できる。

【0045】

本発明では相関演算の場合を記載しているが、これに限る事はない。ホログラム媒体に参照光を入射させ再生された再生光を高速複素振幅パターン照射器(ホログラム再生機)として利用し、その再生光を対象物体に照射することで得られる再生光と測定対象物体により変調された光との干渉信号を利用して、撮像してもよい。この場合、記録媒体には参照光を照射することで複数の複素振幅パターンを高速に再生（生成）する再生部機能となる。

【符号の説明】

【0046】

Ａ：対象物体、
１：撮像装置、
２：レーザー、
３：レンズ、
４：ハーフミラーA、
５：ハーフミラーB、
６：ディテクタ、
７：撮像処理部、
７a：学習処理部、
７b：復元処理部、
７c：メモリ、
８：ホログラフィックディスク、
９：サーボ処理部、
１０：ＲＯＭ、
１１：コントローラ、
１２：ＲＡＭ、
１３：外部メモリ、
１４：表示部、
１５：自動制御処理部、
１６：システムバス、
１７：空間光変調器、
１８：ビームスプリッタ、
１９：透過光カットマスク、
２０：自動車、
２１：トンネル、
２２：太陽

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】