特開 2024-104011 形状推定システム、形状推定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024104011

(43)【公開日】2024-08-02

(54)【発明の名称】形状推定システム、形状推定方法及びプログラム

(51)【国際特許分類】

   G01S 17/894 20200101AFI20240726BHJP

【ＦＩ】

G01S17/894

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023008001

(22)【出願日】2023-01-23

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】504143441

【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】柴田 剛志

(72)【発明者】

【氏名】木村 昭悟

(72)【発明者】

【氏名】五十川 麻理子

(72)【発明者】

【氏名】向川 康博

(72)【発明者】

【氏名】舩冨 卓哉

(72)【発明者】

【氏名】藤村 友貴

(72)【発明者】

【氏名】櫛田 貴弘

(72)【発明者】

【氏名】田中 賢一郎

【テーマコード（参考）】

5J084

【Ｆターム（参考）】

5J084AA04

5J084AA05

5J084AA10

5J084CA65

(57)【要約】

【課題】形状の推定の精度を向上させること。
【解決手段】環境中に一つ以上の物体が存在した場合における前記環境を光学系を用いて計測した観測データを所定の時間分解能以上の時間分解能を持つ時系列データとして取得するデータ入力部と、前記観測系のパラメタと時空間畳み込み関数の積分核と変換関数モデルとを観測モデルとして取得する観測モデル入力部と、前記時系列データを正規化処理により変換する前処理部と、前記前処理部の変換した時系列データに基づき得られる観測データ制約項と、推定される物体形状が空間的に滑らかであるという条件を表現する形状制約項とからなる最適化関数、が最小となるように前記物体の密度場を最適化する最適化部と、最適化関数を最小にすることで、観測系のパラメタと時空間畳み込み関数の積分核と変換関数モデルとを推定する観測モデル推定部と、を備える形状推定システム。
【選択図】図１

【特許請求の範囲】

【請求項1】

環境中に一つ以上の物体が存在した場合における前記環境を光学系を用いて計測した観測データを所定の時間分解能以上の時間分解能を持つ時系列データとして取得するデータ入力部と、
前記データ入力部の得た観測データを得る観測系のパラメタと時空間畳み込み関数の積分核と変換関数モデルとを観測モデルとして取得する観測モデル入力部と、
前記データ入力部の得た時系列データを正規化処理により変換する前処理部と、
前記前処理部の変換した時系列データに基づき得られる項であり、前記観測モデルと前記時系列データとの差分が所定の値より小さいという条件を表現する項である観測データ制約項と、推定される物体形状が空間的に滑らかであるという条件を表現する形状制約項とからなる所定の関数である最適化関数、が最小となるように前記物体の密度場を最適化する最適化部と、
前記観測モデル入力部の得た前記観測系のパラメタと前記時空間畳み込み関数の積分核と前記変換関数モデルとを初期値として、前記最適化関数を最小にすることで、前記観測系のパラメタと前記時空間畳み込み関数の積分核と前記変換関数モデルとを推定する観測モデル推定部と、
前記最適化部の最適化の結果を出力するモデル出力部と、
を備える形状推定システム。

【請求項2】

観測環境のみを計測した時系列データを背景データとして取得する背景データ入力部と、
前記前処理部にて前処理がされた二次元時系列データを、前記背景データと各前記物体のそれぞれに対応する観測値とに分離する観測データ分離部と、
を備え、
前記観測データ制約項は、前記観測データ分離部が取得した物体ごとに分離された観測データと前記時系列データとの差分が所定の値より小さいという条件を表現する、
請求項１に記載の形状推定システム。

【請求項3】

前記データ入力部の取得する時系列データは、単一光子計測によって得られたデータである、
請求項１に記載の形状推定システム。

【請求項4】

前記観測モデル入力部は、前記光学系のパラメタとして空間方向及び時間方向の解像度と、形状の推定対象の物体までの大まかなスケールと、時間方向及び空間方向の積分核の概形と、を取得する、
請求項１に記載の形状推定システム。

【請求項5】

環境中に一つ以上の物体が存在した場合における前記環境を光学系を用いて計測した観測データを所定の時間分解能以上の時間分解能を持つ時系列データとして取得するデータ入力ステップと、
前記データ入力ステップの得た観測データを得る観測系のパラメタと時空間畳み込み関数の積分核と変換関数モデルとを観測モデルとして取得する観測モデル入力ステップと、
前記データ入力ステップの得た時系列データを正規化処理により変換する前処理ステップと、
前記前処理ステップの変換した時系列データに基づき得られる項であり、前記観測モデルと前記時系列データとの差分が所定の値より小さいという条件を表現する項である観測データ制約項と、推定される物体形状が空間的に滑らかであるという条件を表現する形状制約項とからなる所定の関数である最適化関数、が最小となるように前記物体の密度場を最適化する最適化ステップと、
前記観測モデル入力ステップの得た前記観測系のパラメタと前記時空間畳み込み関数の積分核と前記変換関数モデルとを初期値として、前記最適化関数を最小にすることで、前記観測系のパラメタと前記時空間畳み込み関数の積分核と前記変換関数モデルとを推定する観測モデル推定ステップと、
前記最適化ステップの最適化の結果を出力するモデル出力ステップと、
を有する形状推定方法。

【請求項6】

請求項１～４のいずれか一項に記載の形状推定システムとしてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、形状推定システム、形状推定方法及びプログラムに関する。

【背景技術】

【0002】

劣悪な環境下での物体や環境の三次元形状の推定は、マシンビジョンとその応用において未だに重要な課題である。例えば、三次元の形状を推定することで、より高い精度で画像中の物体の種別・属性や、空間構造の把握が可能となる。例えば、複数の可視画像から形状を推定する方法が開示されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Ｏ’Ｔｏｏｌｅ， Ｍａｔｔｈｅｗ， Ｄａｖｉｄ Ｂ． Ｌｉｎｄｅｌｌ， ａｎｄ Ｇｏｒｄｏｎ Ｗｅｔｚｓｔｅｉｎ． “Ｃｏｎｆｏｃａｌ ｎｏｎ－ｌｉｎｅ－ｏｆ－ｓｉｇｈｔ ｉｍａｇｉｎｇ ｂａｓｅｄ ｏｎ ｔｈｅ ｌｉｇｈｔ－ｃｏｎｅ ｔｒａｎｓｆｏｒｍ．” Ｎａｔｕｒｅ ５５５．７６９６ （２０１８）： ３３８－３４１．

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、例えば，照明条件が悪い場合，霧などにより視認性が悪い、遮蔽物があるなど、可視画像で高精細画像の取得不可能な状況で、形状推定精度が著しく低下する。特に、半透明な物体や壁面など、計測対象のオブジェクトがセンサーから遮蔽されているという状況下での、形状の推定は、既存の可視画像を用いた場合に非常に困難である。

【0005】

近年、ＮＬＯＳ（Ｎｏｎ－Ｌｉｎｅ－ｏｆ－Ｓｉｇｈｔ Ｌａｕｎｃｈ Ｓｙｓｔｅｍ）イメージングとして知られている、パルスレーザー光とＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅ）センサー（以下、単一光子計測と呼ぶこともある）によるアクティブ計測および、その計測結果を用いた形状推定方法により、中継壁面上の反射・散乱光から壁の向こう側にある物体の形状を推定する方法が、非特許文献２に開示されている。

【0006】

しかしながら、これらの方法は、例えば、半透明物体越しの物体など、より一般的な撮像環境下での形状推定に適用することができない。

【0007】

上記事情に鑑み、本発明は、形状の推定の精度を向上させる技術を提供することを目的としている。

【課題を解決するための手段】

【0008】

本発明の一態様は、環境中に一つ以上の物体が存在した場合における前記環境を光学系を用いて計測した観測データを所定の時間分解能以上の時間分解能を持つ時系列データとして取得するデータ入力部と、前記データ入力部の得た観測データを得る観測系のパラメタと時空間畳み込み関数の積分核と変換関数モデルとを観測モデルとして取得する観測モデル入力部と、前記データ入力部の得た時系列データを正規化処理により変換する前処理部と、前記前処理部の変換した時系列データに基づき得られる項であり、前記観測モデルと前記時系列データとの差分が所定の値より小さいという条件を表現する項である観測データ制約項と、推定される物体形状が空間的に滑らかであるという条件を表現する形状制約項とからなる所定の関数である最適化関数、が最小となるように前記物体の密度場を最適化する最適化部と、前記観測モデル入力部の得た前記観測系のパラメタと前記時空間畳み込み関数の積分核と前記変換関数モデルとを初期値として、前記最適化関数を最小にすることで、前記観測系のパラメタと前記時空間畳み込み関数の積分核と前記変換関数モデルとを推定する観測モデル推定部と、前記最適化部の最適化の結果を出力するモデル出力部と、を備える形状推定システムである。

【0009】

本発明の一態様は、環境中に一つ以上の物体が存在した場合における前記環境を光学系を用いて計測した観測データを所定の時間分解能以上の時間分解能を持つ時系列データとして取得するデータ入力ステップと、前記データ入力ステップの得た観測データを得る観測系のパラメタと時空間畳み込み関数の積分核と変換関数モデルとを観測モデルとして取得する観測モデル入力ステップと、前記データ入力ステップの得た時系列データを正規化処理により変換する前処理ステップと、前記前処理ステップの変換した時系列データに基づき得られる項であり、前記観測モデルと前記時系列データとの差分が所定の値より小さいという条件を表現する項である観測データ制約項と、推定される物体形状が空間的に滑らかであるという条件を表現する形状制約項とからなる所定の関数である最適化関数、が最小となるように前記物体の密度場を最適化する最適化ステップと、前記観測モデル入力ステップの得た前記観測系のパラメタと前記時空間畳み込み関数の積分核と前記変換関数モデルとを初期値として、前記最適化関数を最小にすることで、前記観測系のパラメタと前記時空間畳み込み関数の積分核と前記変換関数モデルとを推定する観測モデル推定ステップと、前記最適化ステップの最適化の結果を出力するモデル出力ステップと、を有する形状推定方法である。

【0010】

本発明の一態様は、上記の形状推定システムとしてコンピュータを機能させるためのプログラムである。

【発明の効果】

【0011】

本発明によれば、形状の推定の精度を向上させることができる。

【図面の簡単な説明】

【0012】

【図1】第１実施形態の形状推定システムの概要を説明する説明図。

【図2】第１実施形態における学習装置の備える制御部の構成の一例を示す図。

【図3】第１実施形態におけるモデル化の第１の例を示す図。

【図4】第１実施形態におけるモデル化の第２の例を示す図。

【図5】第１実施形態における光路の第１の例を示す図である。

【図6】第１実施形態における光路の第２の例を示す図である。

【図7】第１実施形態における光路の第３の例を示す図である。

【図8】第１実施形態における形状推定装置の備える制御部の構成の一例を示す図。

【図9】第１実施形態の学習装置の備える制御部が実行する処理の流れの一例を示すフローチャート。

【図10】第１実施形態の形状推定装置の備える制御部が実行する処理の流れの一例を示すフローチャート。

【図11】第１実施形態の学習装置のハードウェア構成の一例を示す図。

【図12】第１実施形態の形状推定装置のハードウェア構成の一例を示す図。

【図13】第２実施形態の形状推定システムの概要を説明する説明図。

【図14】第２実施形態における形状推定装置の備える制御部の構成の一例を示す図。

【図15】第２実施形態における形状推定装置の備える制御部が実行する処理の流れの一例を示すフローチャート。

【図16】第２実施形態における形状推定装置のハードウェア構成の一例を示す図。

【図17】第１実施形態及び第２実施形態における環境を計測した観測データを得る光学系の一例を示す図。

【発明を実施するための形態】

【0013】

（第１実施形態）
図１は、第１実施形態の形状推定システム１００の概要を説明する説明図である。形状推定システム１００は、学習装置１と形状推定装置２とを備える。

【0014】

学習装置１は、学習処理を実行する。学習処理は、深層学習等の機械学習の方法によって形状推定モデルの学習を行う処理である。形状推定モデルは、入力されたデータに基づいて推定対象の形状を推定する数理モデルである。推定対象の形状は、例えば推定対象の密度場である。

【0015】

形状推定モデルに入力されるデータは、推定対象の存在する環境下で光学系を用いて得られた時系列データ（以下「入力時系列データ」という。）である。推定対象の存在する環境下で得られた時系列データは、例えば、推定対象の存在する環境下で実行された単一光子計測により得られた時系列データである。

【0016】

機械学習の分野では学習済みという言葉がある。そこでこの表現を用いれば、学習の終了に関する所定の条件である学習終了条件が満たされた時点の形状推定モデルは、学習済みの形状推定モデルである。学習終了条件は、例えば、形状推定モデルの学習が所定の回数行われた、という条件であってもよいし、学習による形状推定モデルの変化が所定の変化よりも小さい、という条件であってもよい。

【0017】

学習済みの形状推定モデルは、形状推定装置２によって用いられる。形状推定装置２は、学習済みの形状推定モデルを用いて推定対象の形状の推定を行う。

【0018】

＜学習装置１について＞
学習装置１は、バスで接続されたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ９１とメモリ９２とを備える制御部１１を備え、プログラムを実行する。図２は、第１実施形態における学習装置１の備える制御部１１の構成の一例を示す図である。

【0019】

制御部１１は、データ入力部１０１、観測モデル入力部１０２、前処理部２０１、観測モデル推定部２０２、観測データ制約部２０３、形状制約部２０４、最適化部２０５及びモデル出力部３００を備える。以下、下付き文字については、アンダーバーを用いて表現する場合もある。アンダーバーを用いた表現は、例えばＡ＿Ｂであれば、Ａ_Ｂを意味する。

【0020】

データ入力部１０１は、入力時系列データを取得する。具体的には、データ入力部１０１は、環境中に一つ以上の物体が存在した状態にて、これらの環境を計測した観測データを高い時間分解能を持つ時系列データとして取得することを特徴とする。したがって、入力時系列データは、二次元時系列データである。

【0021】

なお、データ入力部１０１は、より具体的には、例えば、単一光子計測などにて、観測環境中に一つ以上の物体が存在した状態にて、これらの環境を計測した観測データ（各空間座標上における光子カウント数の時系列データ）を入力することを特徴とする。あるいは、ここで言う時系列データとは、ＴｏＦセンサー（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）などのセンサーを用いて得られた時系列データであってもよい。以下では例えば、時系列データをＩ＿ｒａｗと表す。例えば、Ｉ＿ｒａｗは引数として、座標ｘ、ｙおよびｔの三つの引数を含めればよい。すなわちＩ＿ｒａｗ （ｘ，ｙ，ｔ）は、座標（ｘ、ｙ）における観測時刻ｔにおける信号の強さであり、単一光子計測の場合、これは光子の数であればよい。

【0022】

観測モデル入力部１０２は、光学系のパラメタと、時間方向および空間方向の畳み込みカーネルと、を取得する。なお、「時間方向および空間方向の畳み込みカーネル」との用語は、当業者には周知の用語である。観測モデル入力部１０２は、具体的には、観測系のパラメタと時空間畳み込み関数の積分核と変換関数モデルとを観測モデルとして取得することを特徴とする。より具体的には、観測モデル入力部１０２は、光学系のパラメタと、時間方向及び空間方向の畳み込みカーネル（以下では積分核と呼ぶこともある）を取得することを特徴とする。

【0023】

なお光学系のパラメタとは、入力時系列データの取得に用いられた光学系を示すパラメタを意味する。パラメタは、例えば、光学系のＸＹ座標軸及び時間軸の解像度であってもよいし、物体までの大まかなスケールであってもよい。物体までの大まかなスケールが、どこから物体までの大まかなスケールであるかは、周知である。なお、大まかの程度は周知である。

【0024】

例えば積分核としては、矩形関数、指数関数、ガウス関数などを用いればよく、以下ではこれらをＷ（ｔ－ｔ´）と表すこととする。例えば、矩形関数の場合には、以下のようにあらわせばよい。

【0025】

【数1】

【0026】

【数2】

【0027】

【数3】

【0028】

ここで、Δｔは、時間スケールの大きさを調整するためのパラメタであり、τあるいはηは、利用者によりあらかじめ定められた値である。さらに、観測モデル入力部１０２は、観測系のパラメタを取得してもよい。より具体的には、光学中心の位置、座標系の原点、光の速度、焦点の位置（共焦点であるかなど）を取得すればよい。

【0029】

さらに、観測モデル入力部１０２は、三次元座標（ｘ、ｙ、ｚ）から対象となる物体の密度場σ（ｘ、ｙ、ｚ）および反射率あるいはアルベドρ（ｘ、ｙ、ｚ）を出力する関数を入力してもよい。ここでいう関数（以下ではモデルとも言う）とは、ある座標値を入力したときに、その座標値における密度場と物体の反射率を出力する関数をいう。例えば、この関数は、最適化されたフィッティングパラメタを含む関数として与えてもよいし、より複雑な入れ子構造の関数として与えてもよい。

【0030】

あるいはニューラルネットワークによりこの関数を表現してもよいし、より具体的にはニューラル・ラディアンス・フィールドのような方法でこの関数を表現してもよい。より具体的には、図３又は図４に示すように、空間を周期関数でコード化するポジショナルエンコーディングＰＥと複数の関数の入れ子構造となる関数でモデル化すればよい。図３は、第１実施形態におけるモデル化の第１の例を示す図である。図４は、第１実施形態におけるモデル化の第２の例を示す図である。より具体的には、以下のような関数を入力すればよい。そして、例えば、Ｆ，Ｈ，Ｇなどの関数に含まれるパラメタ（ｗ＿Ｆ、ｗ＿Ｇ，ｗ＿Ｈ）を後述する最適化部２０５などで最適化すればよい。

【0031】

【数4】

【0032】

【数5】

【0033】

このように、観測モデル入力部１０２は、例えば、光学系のパラメタとして空間方向及び時間方向の解像度と、形状の推定対象の物体までの大まかなスケールと、時間方向及び空間方向の積分核の概形と、を取得する。なお、上述のＷ（ｔ－ｔ´）で表現される矩形関数、指数関数、ガウス関数はいずれも時間方向及び空間方向の積分核の概形の一例である。なお、観測モデル入力部１０２による観測モデルの取得は、例えば予め取得対象の情報を記憶する記憶部からの読み出しである。

【0034】

前処理部２０１は、データ入力部１０１にて取得された二次元時系列データを変換することを特徴とする。具体的には、正規化処理などにより値を変換することを特徴とする。例えば、データ入力部１０１にて取得された時系列データをＩ＿ｒａｗ （ｘ，ｙ，ｔ）と表し、Ｉ＿ｒａｗ （ｘ，ｙ，ｔ）は引数として、座標ｘ，ｙおよびｔの三つの引数を含んでいる場合、前処理部２０１は、時間方向の平均＜Ｉ＿ｒａｗ （ｘ，ｙ，ｔ）＞＿ｔ、空間方向の平均＜Ｉ＿ｒａｗ （ｘ，ｙ，ｔ）＞＿（ｘ，ｙ）、あるいは全引数での平均＜Ｉ＿ｒａｗ （ｘ，ｙ，ｔ）＞＿（ｘ，ｙ，ｔ）により、正規化をすればよい。より具体的には、下記のような式により平均化をすればよい。

【0035】

【数6】

【0036】

【数7】

【0037】

【数8】

【0038】

観測モデル推定部２０２は、観測モデル入力部１０２にて取得された時間方向および空間方向の畳み込みカーネルを初期値とし、最適化部２０５にて定義される最適化関数が最小になるように観測モデルのパラメタ（時間方向および空間方向の畳み込みカーネルおよび光学系のパラメタ）を再推定することを特徴とする。すなわち、式（１）～（３）における、時間スケールΔｔ、あるいはＷの中に含まれるτあるいはηなどのパラメタを再推定すればよい。なお、最適化部２０５にて定義される最適化関数は、後述する観測データ制約項と形状制約項とからなる周知の所定の関数である。

【0039】

観測データ制約部２０３は、前処理部２０１にて前処理がされた時系列データと、観測モデル推定部２０２にて推定された観測モデルのパラメタ（時間方向および空間方向の畳み込みカーネルおよび光学系のパラメタ）とから、観測モデルと時系列データとの差分が小さくなるように最適化部２０５にて定義される観測データ制約項を構成すること特徴とする。より具体的には、まず図５～図７ように光路をすべて直線的な経路であると仮定する場合には、下記に、物体から反射される光、あるいは遮蔽版および遮蔽版を経由して物体から反射される光をモデル化し、センサー面に届く光の強さ（単一光子の数）を以下のようなＩ＿１ （ｘ，ｙ，ｔ）あるいはＩ＿２ （ｘ，ｙ，ｔ）として表せばよい。

【0040】

なお、図５は、第１実施形態における光路の第１の例を示す図である。図６は、第１実施形態における光路の第２の例を示す図である。図７は、第１実施形態における光路の第３の例を示す図である。

【0041】

【数9】

【0042】

【数10】

【0043】

なお、Γ＿０はパラメタ、Ｉ＿０は遮蔽物から反射される光の強さ、δ（・）はディラックのデルタ関数である。あるいは、遮蔽版を経由する光が放射状に拡散する（遮蔽板が拡散反射する）ことを想定する場合には、下記式のようにセンサー面に届く光の強さ（単一光子の数）を算出してもよい。

【0044】

【数11】

【0045】

あるいは、遮蔽版を経由する光が放射状に拡散する（遮蔽板が拡散反射する）光と、直接通過する光の混合であることを想定する場合には、下記式のようにセンサー面に届く光の強さ（単一光子の数）を算出してもよい。

【0046】

【数12】

【0047】

そして、観測データ制約部２０３にて与えられる観測データ制約項は、このように算出したセンサー面に届く光の強さ（単一光子の数）と、前処理部２０１により得られた正規化後の観測値Ｉ（ｘ，ｙ，ｔ）との差分が大きいほど、値が大きくなる関数として定義すればよい。より具体的には、下記式（１３）～（１６）のようにＬ２ノルムとして与えればよい。

【0048】

【数13】

【0049】

【数14】

【0050】

【数15】

【0051】

【数16】

【0052】

形状制約部２０４は、密度場（あるいは密度場に加えて反射率）が、空間的に滑らかになるように推定されること、最適化部２０５にて定義される最適化関数に制約項として加え、この最適化関数を最小させることで制約することを特徴とする。より具体的には、例えば、密度σ（ｘ，ｙ，ｚ）あるいは反射率あるいはアルベドρ（ｘ，ｙ，ｚ）が空間的に滑らかであることを制約として設ければよい。より具体的には、下記式に示すように、密度あるいは反射率あるいはアルベドの空間微分の大きさのＬｐノルムが小さくなることを制約として設ければよい。

【0053】

【数17】

【0054】

【数18】

【0055】

あるいは、例えば、密度σ（ｘ，ｙ，ｚ）あるいは反射率あるいはアルベドρ（ｘ，ｙ，ｚ）が空間的に疎（スパース）であることを制約として設ければよい。より具体的には、下記式に示すように、密度あるいは反射率あるいはアルベドの大きさ（絶対値）のＬｐノルムが小さくなることを制約として設ければよい。

【0056】

【数19】

【0057】

【数20】

【0058】

最適化部２０５は、観測データ制約部２０３にて定義された観測モデルと二次元時系列データとの差分が小さくなることを特徴とする観測データ制約項と、形状制約部２０４にて定義される形状制約項とからなる最適化関数が最小となるように、推定対象の物体の密度場（あるいは密度場に加えて反射率）を最適化することを特徴とする。具体的には、例えば以下式で定義されるエネルギー関数が最小化されるように関数を最小させるように、式（４）及び（５）で表されるＦ，Ｇ，Ｈなどの関数に含まれるパラメタ（ｗ＿Ｆ、ｗ＿Ｇ、ｗ＿Ｈ）を最小化させればよい。

【0059】

【数21】

【0060】

ここで、ａあるいはｂは式（２１）の各項の大きさを調整するためのパラメタであり、利用者により事前に与えればよい。また、式（２１）の最適化関数を、最小化をさせる方法としては、例えば勾配法などを用いればよい。

【0061】

モデル出力部３００は、最適化部２０５にて最適化されたモデルを出力することを特徴とする。なお、最適化部２０５による最適化の対象が形状推定モデルであり、最適化部２０５にて最適化されたモデルが、学習済みの形状推定モデルである。

【0062】

モデル出力部３００における出力形態は、例えば表示部にリアルタイムで出力してもよいし、画像データとして半導体メモリやＨＤＤ（Ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）などの記憶部に保存してもよい。この記憶部は、形状復元装置内に設けてもよいし、外部記憶装置を使用してもよい。

【0063】

＜形状推定装置２について＞
形状推定装置２は、複数の入力データ群を受け付けて、算出した識別結果を所要に出力する。出力形態は、例えば表示部にリアルタイムで出力してもよいし、画像データとして半導体メモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの記憶部に保存してもよい。この記憶部は、形状推定装置２内に設けてもよいし、外部記憶装置を使用してもよい。

【0064】

形状推定装置２は、バスで接続されたＣＰＵ等のプロセッサ９３とメモリ９４とを備える制御部２１を備え、プログラムを実行する。図８は、第１実施形態における形状推定装置２の備える制御部２１の構成の一例を示す図である。

【0065】

制御部２１は、モデル入力部１０３、復元座標入力部１０４、推論部２０６及び出力部３０１を備える。

【0066】

モデル入力部１０３は、モデル出力部３００にて出力されたモデルを、推論を行うために取得することを特徴とする。より具体的には、式（４）及び（５）で表されるＦ，Ｇ，Ｈなどの関数と最適化部２０５にて最適化したパラメタ（ｗ＿Ｆ、ｗ＿Ｇ、ｗ＿Ｈ）を取得すればよい。

【0067】

復元座標入力部１０４は、モデル入力部１０３にて取得されたモデルから、推論するために必要な入力値として、推定対象の位置する座標を取得することを特徴とする。復元座標入力部１０４は、より具体的には、算出したい密度場およびアルベド（あるいは反射率）の空間座標（ｘ、ｙ、ｚ）と入射角度（θ、Φ）を取得すればよい。

【0068】

推論部２０６は、モデル入力部１０３にて取得されたモデルと、復元座標入力部１０４で取得された座標から、物体の形状（例えば密度場あるいは物体の反射率やアルベド）を算出することを特徴とする。より具体的には、式（４）及び（５）および最適化部２０５にて最適化したパラメタ（ｗ＿Ｆ、ｗ＿Ｇ、ｗ＿Ｈ）および、復元座標入力部１０４にて入力した空間座標（ｘ、ｙ、ｚ）と入射角度（θ、Φ）から、密度場σ（ｘ、ｙ、ｚ）とアルベドρ（ｘ、ｙ、ｚ、θ、Φ）を算出すればよい。

【0069】

出力部３０１は、推論部２０６にて算出された物体の形状を出力することを特徴とする。より具体的には、推論部２０６にて算出した密度場σ（ｘ、ｙ、ｚ）とアルベドρ（ｘ、ｙ、ｚ、θ、Φ）を出力すればよい。

【0070】

図９は、第１実施形態の学習装置１の備える制御部１１が実行する処理の流れの一例を示すフローチャートである。データ入力部１０１が、観測データを取得する（ステップＳ１０１）。次に、観測モデル入力部１０２が、観測モデルを取得する（ステップＳ１０２）。次に、前処理部２０１が、データ入力部の取得したデータを前処理する（ステップＳ１０３）。次に、観測モデル推定部２０２が、観測モデル入力部１０２の取得した観測モデルから、観測モデルのパラメタを推定する（ステップＳ１０４）。次に、観測データ制約部２０３が、観測データ制約項を構成する（ステップＳ１０５）。

【0071】

次に、形状制約部２０４が形状制約項を構成する（ステップＳ１０６）。次に、最適化部２０５が、前処理部２０１にて前処理がされた二次元時系列データと観測モデル推定部２０２にて推定された観測モデルのパラメタ（時間方向および空間方向の畳み込みカーネルおよび光学系のパラメタ）とに基づき、観測モデルと二次元時系列データとの差分が小さくなるように、推定対象の各物体の密度場（あるいは密度場に加えて反射率）を最適化する（ステップＳ１０７）。なお、観測モデルと二次元時系列データとの差分が小さくなることは、観測データ制約項と形状制約項とからなる最適化関数が最小となることである。

【0072】

次に、制御部１１が収束判定を行い、最適化関数の最適値が一定以下、あるいは繰り返し回数が一定以上である場合、最適化を終了する。より具体的には、制御部１１が収束判定を行う（ステップＳ１０８）。収束した場合（ステップＳ１０８：ＹＥＳ）、最適化を終了する。一方、収束していない場合（ステップＳ１０８：ＮＯ）、ステップＳ１０４の処理に戻る。なお、収束するとは、上述したように、最適化関数の最適値が一定以下、あるいは繰り返し回数が一定以上であること、を意味する。収束した場合、次に、モデル出力部３００にて、最適化により得られた各物体の密度場を出力する（ステップＳ１０９）。

【0073】

図１０は、第１実施形態の形状推定装置２の備える制御部２１が実行する処理の流れの一例を示すフローチャートである。モデル入力部１０３が、モデル出力部３００の出力したモデルを、推論を行うために取得する（ステップＳ２０１）。次に、復元座標入力部１０４が、モデル入力部１０３が取得したモデルから、推論するために必要な入力値として、推定する座標を取得する（ステップＳ２０２）。次に推論部２０６が、モデル入力部１０３が取得したモデルと、復元座標入力部１０４が取得した座標とから、物体の形状（例えば密度場）を算出する（ステップＳ２０３）。次に出力部３０１が、推論部２０６が算出した物体の形状を出力する（ステップＳ２０４）。

【0074】

図１１は、第１実施形態の学習装置１のハードウェア構成の一例を示す図である。学習装置１は、上述したように、バスで接続されたＣＰＵ等のプロセッサ９１とメモリ９２とを備える制御部１１を備え、プログラムを実行する。学習装置１は、プログラムの実行によって制御部１１、入力部１２、通信部１３、記憶部１４及び出力部１５を備える装置として機能する。

【0075】

より具体的には、プロセッサ９１が記憶部１４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９２に記憶させる。プロセッサ９１が、メモリ９２に記憶させたプログラムを実行することによって、学習装置１は、制御部１１、入力部１２、通信部１３、記憶部１４及び出力部１５を備える装置として機能する。

【0076】

制御部１１は、学習装置１が備える各種機能部の動作を制御する。

【0077】

入力部１２は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部１２は、これらの入力装置を学習装置１に接続するインタフェースとして構成されてもよい。入力部１２は、学習装置１に対する各種情報の入力を受け付ける。

【0078】

通信部１３は、学習装置１を外部装置に接続するための通信インタフェースを含んで構成される。通信部１３は、有線又は無線を介して外部装置と通信する。外部装置は例えば形状推定装置２である。通信部１３は、形状推定装置２との通信によって、例えばモデル出力部３００の出力したモデルを形状推定装置２に送信する。

【0079】

なおデータ入力部１０１の得た観測データは、例えば入力部１２又は通信部１３に入力された情報である。

【0080】

記憶部１４は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｒｅｃｏｒｄｉｎｇ ｍｅｄｉｕｍ）を用いて構成される。記憶部１４は学習装置１に関する各種情報を記憶する。記憶部１４は、例えば入力部１２又は通信部１３を介して入力された情報を記憶する。記憶部１４は、例えば制御部１１の実行する処理で生じた各種情報を記憶する。記憶部１４は、例えば、予めパラメタと時空間畳み込み関数の積分核と変換関数モデルを記憶する。

【0081】

出力部１５は、各種情報を出力する。出力部１５は、例えばＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイや液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示装置を含んで構成される。出力部１５は、これらの表示装置を学習装置１に接続するインタフェースとして構成されてもよい。出力部１５は、例えば入力部１２又は通信部１３に入力された情報を出力する。出力部１５は、例えばモデル出力部３００の出力した情報を出力してもよい。

【0082】

図１２は、第１実施形態の形状推定装置２のハードウェア構成の一例を示す図である。形状推定装置２は、上述したように、バスで接続されたＣＰＵ等のプロセッサ９３とメモリ９４とを備える制御部２１を備え、プログラムを実行する。形状推定装置２は、プログラムの実行によって制御部２１、入力部２２、通信部２３、記憶部２４及び出力部２５を備える装置として機能する。

【0083】

より具体的には、プロセッサ９３が記憶部２４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９４に記憶させる。プロセッサ９３が、メモリ９４に記憶させたプログラムを実行することによって、形状推定装置２は、制御部２１、入力部２２、通信部２３、記憶部２４及び出力部２５を備える装置として機能する。

【0084】

制御部２１は、形状推定装置２が備える各種機能部の動作を制御する。

【0085】

入力部２２は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部２２は、これらの入力装置を形状推定装置２に接続するインタフェースとして構成されてもよい。入力部２２は、形状推定装置２に対する各種情報の入力を受け付ける。

【0086】

通信部２３は、形状推定装置２を外部装置に接続するための通信インタフェースを含んで構成される。通信部２３は、有線又は無線を介して外部装置と通信する。外部装置は例えば学習装置１である。通信部２３は、学習装置１との通信によって、例えばモデル出力部３００の出力したモデル取得する。

【0087】

なおモデル入力部１０３の得たモデルと、復元座標入力部１０４の得た入力値とは、例えば入力部２２又は通信部２３に入力された情報である。

【0088】

記憶部２４は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｒｅｃｏｒｄｉｎｇ ｍｅｄｉｕｍ）を用いて構成される。記憶部２４は形状推定装置２に関する各種情報を記憶する。記憶部２４は、例えば入力部２２又は通信部２３を介して入力された情報を記憶する。記憶部２４は、例えば制御部２１の実行する処理で生じた各種情報を記憶する。

【0089】

出力部２５は、各種情報を出力する。出力部２５は、例えばＣＲＴディスプレイや液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置を含んで構成される。出力部２５は、これらの表示装置を形状推定装置２に接続するインタフェースとして構成されてもよい。出力部２５は、例えば入力部２２又は通信部２３に入力された情報を出力する。出力部２５は、例えば出力部３０１の出力した情報を出力してもよい。

【0090】

このように、形状推定システム１００は、
環境中に一つ以上の物体が存在した場合におけるその環境を光学系を用いて計測した観測データを所定の時間分解能以上の時間分解能を持つ時系列データとして取得するデータ入力部１０１と、
データ入力部１０１の得た観測データを得る観測系のパラメタと時空間畳み込み関数の積分核と変換関数モデルとを観測モデルとして取得する観測モデル入力部１０２と、
データ入力部１０１の得た時系列データを正規化処理により変換する前処理部２０１と、
前処理部２０１の変換した時系列データに基づき得られる項であり、観測モデルと時系列データとの差分が所定の値より小さいという条件を表現する項である観測データ制約項と、推定される物体形状が空間的に滑らかであるという条件を表現する形状制約項とからなる所定の関数である最適化関数、が最小となるように物体の密度場を最適化する最適化部２０５と、
観測モデル入力部１０２の得た観測系のパラメタと時空間畳み込み関数の積分核と変換関数モデルとを初期値として、最適化関数を最小にすることで、観測系のパラメタと時空間畳み込み関数の積分核と変換関数モデルとを推定する観測モデル推定部２０２と、
最適化部２０５の最適化の結果を出力するモデル出力部３００と、
を備える。

【0091】

そのため、このように構成された形状推定システム１００は、形状を推定する数理モデルの最適化を行うことができる。したがって、形状推定システム１００は、形状の推定の精度を向上させることができる。

【0092】

（第２実施形態）
図１３は、第２実施形態の形状推定システム１００ａの概要を説明する説明図である。形状推定システム１００ａは、形状推定装置２ａを備える。

【0093】

形状推定装置２ａは、複数の入力データ群として受け付けて、算出した識別結果を所要に出力する。出力形態は、例えば表示部にリアルタイムで出力してもよいし、画像データとして半導体メモリやＨＤＤなどの記憶部に保存してもよい。この記憶部は、形状推定システム１００内に設けてもよいし、外部記憶装置を使用してもよい。

【0094】

形状推定装置２ａは、バスで接続されたＣＰＵ等のプロセッサ９３ａとメモリ９４ａとを備える制御部２１ａを備え、プログラムを実行する。図１４は、第２実施形態における形状推定装置２ａの備える制御部２１ａの構成の一例を示す図である。

【0095】

以下、形状推定システム１００の備える機能と同様の機能を有するものについては、図１～図１２と同じ符号を付すことで説明を省略する。

【0096】

制御部２１ａは、データ入力部１０１、観測モデル入力部１０２、背景データ入力部１０５と、前処理部２０１と、観測モデル推定部２０２と、観測データ制約部２０３ａと、形状制約部２０４と、最適化部２０５ａと、観測データ分離部２０７と、を備える。

【0097】

背景データ入力部１０５は、背景データ入力部１０５は単一光子計測にて、観測環境（例えば前景の半透明物体など）を計測した二次元時系列データ（各ｘｙ座標上における光子カウント数の時系列データ）を背景データとして取得することを特徴とする。より具体的には、式（１０）～（１２）において与えられているＩ＿０（ｘ、ｙ、ｔ）を、背景データとして取得すればよい。なお観測環境の定義は周知である。背景データの定義は周知である。

【0098】

観測データ制約部２０３ａは、観測モデルにおいて、観測データ分離部２０７の得た物体ごとに分離された観測データと二次元時系列データとの差分が小さくなることを特徴とする観測データ制約項を構成することを特徴とする。なお、ここでいう観測モデルは、第１実施形態の観測データ制約部２０３にて定義された観測モデルを意味する。このように、観測データ制約部２０３ａの構成する観測データ制約項は、観測データ制約部２０３の構成する観測データ制約項のより具体的な形式の項である。

【0099】

最適化部２０５ａは、前処理部２０１にて前処理がされた二次元時系列データと観測モデル推定部２０２にて推定された観測モデルのパラメタ（時間方向および空間方向の畳み込みカーネルおよび光学系のパラメタ）とに基づき、観測モデルと二次元時系列データとの差分が小さくなるように、推定対象の各物体の密度場（あるいは密度場に加えて反射率）を最適化することを特徴とする。観測モデルと二次元時系列データとの差分が小さくなることは、観測データ制約項と形状制約項とからなる最適化関数が最小となることである。

【0100】

観測データ分離部２０７は、前処理部２０１にて前処理がされた二次元時系列データを、背景データ入力部１０５の取得した背景データと推定対象の各物体のそれぞれに対応する観測値と、に分離することを特徴とする。より具体的には、式（１０）～（１２）において与えられるＩ＿２（ｘ，ｙ，ｔ）、Ｉ＿３（ｘ，ｙ，ｔ）、Ｉ＿４（ｘ，ｙ，ｔ）からＩ＿０（ｘ，ｙ，ｔ）を除算すればよい。

【0101】

図１５は、第２実施形態における形状推定装置２ａの備える制御部２１ａが実行する処理の流れの一例を示すフローチャートである。なお、図１５が示す処理の流れは学習時の処理の流れの一例である。推論時の処理の流れは、第１実施形態における形状推定装置２が実行する処理の流れと同様であるため、説明を省略する。

【0102】

データ入力部１０１が、観測データを取得する（ステップＳ３０１）。次に、観測モデル入力部１０２が、観測モデルを取得する（ステップＳ３０２）。次に、背景データ入力部１０５が、背景データを取得する（ステップＳ３０３）。次に、前処理部２０１が、データ入力部１０１の取得したデータを前処理する（ステップＳ３０４）。次に、観測モデル推定部２０２が、観測モデル入力部１０２の取得した観測モデルから、観測モデルのパラメタを推定する（ステップＳ３０５）。次に、観測データ分離部２０７が、前処理部２０１にて前処理がされた二次元時系列データを、背景データ入力部１０５の取得した背景データと各物体のそれぞれに対応する観測値とに分離する（ステップＳ３０６）。

【0103】

次に、観測データ制約部２０３aが、観測データ制約項を構成する（ステップＳ３０７）。次に、形状制約部２０４が形状制約項を構成する（ステップＳ３０８）。

【0104】

次に、最適化部２０５aが、前処理部２０１にて前処理がされた二次元時系列データと観測モデル推定部２０２aにて推定された観測モデルのパラメタ（時間方向および空間方向の畳み込みカーネルおよび光学系のパラメタ）とに基づき、観測モデルと二次元時系列データとの差分が小さくなるように、各物体の密度場（あるいは密度場に加えて反射率）を最適化する（ステップＳ３０９）。

【0105】

次に制御部２１ａが収束判定を行い、最適化関数の最適値が一定以下、あるいは繰り返し回数が一定以上である場合、最適化を終了する。より具体的には、制御部２１ａが収束判定を行う（ステップＳ３１０）。収束した場合（ステップＳ３１０：ＹＥＳ）、最適化を終了する。一方、収束していない場合（ステップＳ３１０：ＮＯ）、ステップＳ３０５の処理に戻る。なお、収束するとは、上述したように、最適化関数の最適値が一定以下、あるいは繰り返し回数が一定以上であること、を意味する。次にモデル出力部３００が、最適化により得られた各物体の密度場を出力する（ステップＳ３１１）。

【0106】

図１６は、第２実施形態における形状推定装置２ａのハードウェア構成の一例を示す図である。形状推定装置２ａは、上述したように、バスで接続されたＣＰＵ等のプロセッサ９３ａとメモリ９４ａとを備える制御部２１ａを備え、プログラムを実行する。形状推定装置２ａは、プログラムの実行によって制御部２１ａ、入力部２２、通信部２３、記憶部２４及び出力部２５を備える装置として機能する。

【0107】

より具体的には、プロセッサ９３ａが記憶部２４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９４ａに記憶させる。プロセッサ９３ａが、メモリ９４ａに記憶させたプログラムを実行することによって、形状推定装置２ａは、制御部２１ａ、入力部２２、通信部２３、記憶部２４及び出力部２５を備える装置として機能する。制御部２１ａは、形状推定装置２ａが備える各種機能部の動作を制御する。

【0108】

このように、形状推定システム１００ａは、
環境中に一つ以上の物体が存在した場合における前記環境を光学系を用いて計測した観測データを所定の時間分解能以上の時間分解能を持つ時系列データとして取得するデータ入力部１０１と、
前記データ入力部１０１の得た観測データを得る観測系のパラメタと時空間畳み込み関数の積分核と変換関数モデルとを観測モデルとして取得する観測モデル入力部１０２と、
前記データ入力部１０１の得た時系列データを正規化処理により変換する前処理部２０１と、
前記前処理部２０１の変換した時系列データに基づき得られる項であり、前記観測モデルと前記時系列データとの差分が所定の値より小さいという条件を表現する項である観測データ制約項と、推定される物体形状が空間的に滑らかであるという条件を表現する形状制約項とからなる所定の関数である最適化関数、が最小となるように前記物体の密度場を最適化する最適化部２０５ａと、
前記観測モデル入力部１０２の得た前記観測系のパラメタと前記時空間畳み込み関数の積分核と前記変換関数モデルとを初期値として、前記最適化関数を最小にすることで、前記観測系のパラメタと前記時空間畳み込み関数の積分核と前記変換関数モデルとを推定する観測モデル推定部２０２と、
前記最適化部２０５ａの最適化の結果を出力するモデル出力部３００と、
観測環境のみを計測した時系列データを背景データとして取得する背景データ入力部１０５と、
前記前処理部２０１にて前処理がされた二次元時系列データを、前記背景データと各前記物体のそれぞれに対応する観測値とに分離する観測データ分離部２０７と、
を備え、
前記観測データ制約項は、前記観測データ分離部が取得した物体ごとに分離された観測データと前記時系列データとの差分が所定の値より小さいという条件を表現する。

【0109】

このように構成された第２実施形態の形状推定システム１００ａは、形状を推定する数理モデルの最適化を行うことができる。したがって、形状推定システム１００ａは、形状の推定の精度を向上させることができる。

【0110】

（第１実施形態及び第２実施形態における環境を計測した観測データを得る光学系の一例）
図１７は、第１実施形態及び第２実施形態における環境を計測した観測データを得る光学系の一例を示す図である。図１７の“２５０”は、１センチメートル等の所定の単位長さの２５０倍の距離を意味する。図１７の“７５”は、“２５０”と同じ単位における単位長さの７５倍の距離を意味する。

【0111】

（変形例）
なお、学習装置１、形状推定装置２及び形状推定装置２ａのそれぞれは、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、学習装置１、形状推定装置２及び形状推定装置２ａのそれぞれが備える各機能部は、複数の情報処理装置に分散して実装されてもよい。

【0112】

学習装置１、形状推定装置２及び形状推定装置２ａの各機能の全て又は一部は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

【0113】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0114】

１００、１００ａ…形状推定システム、 １…学習装置、 ２、２ａ…形状推定装置、 １１…制御部、 １２…入力部、 １３…通信部、 １４…記憶部、 １５…出力部、 ２１、２１ａ…制御部、 ２２…入力部、 ２３…通信部、 ２４…記憶部、 ２５…出力部、 ９１、９３、９３ａ…プロセッサ、 ９２、９４、９４ａ…メモリ、 １０１…データ入力部、 １０２…観測モデル入力部、 ２０１…前処理部、 ２０２…観測モデル推定部、 ２０３、２０３ａ…観測データ制約部、 ２０４…形状制約部、 ２０５、２０５ａ…最適化部、 ３００…モデル出力部、 １０３…モデル入力部、 １０４…復元座標入力部、 ２０６…推論部、 ３０１…出力部、 １０５…背景データ入力部、 ２０７…観測データ分離部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】