特開 2024-57164 演算システム、学習方法、及び、学習プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024057164

(43)【公開日】2024-04-24

(54)【発明の名称】演算システム、学習方法、及び、学習プログラム

(51)【国際特許分類】

   G01S 17/89 20200101AFI20240417BHJP

【ＦＩ】

G01S17/89

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022163698

(22)【出願日】2022-10-12

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＥＮＳＯＲＦＬＯＷ

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】中村 翼

(72)【発明者】

【氏名】安倍 次朗

【テーマコード（参考）】

5J084

【Ｆターム（参考）】

5J084AA05

5J084AA10

5J084AD01

5J084CA03

5J084CA65

(57)【要約】

【課題】効率的な空間学習を実現する演算システム、学習方法、及び、学習プログラムを提供する。
【解決手段】演算システム３において評価部３２Ｃは、教師信号と推定信号との差分量を算出する。この教師信号は、対象空間（つまり、教師空間）において放射波の経路上の空間構造について放射波を用いて観測された空間分布信号である。また、この推定信号は、教師信号と比較するための信号であり、推定された空間分布信号である。この推定信号は、サンプリング部３２Ａが上記の経路の上の複数のサンプル点のそれぞれの位置に関する情報を空間推定モデル４１に入力することにより、空間推定モデル４１から得た、各サンプル点に対応する推定密度に基づいて、形成される。更新部３２Ｄは、差分量に基づいて空間推定モデルを更新する。
【選択図】図２

【特許請求の範囲】

【請求項1】

放射波の経路上の空間構造について前記放射波を用いてセンサによって観測された空間分布信号を教師信号として取得する取得部と、
前記経路上の複数のサンプル点のそれぞれの位置に関する情報を空間推定モデルに入力し、前記空間推定モデルから、前記複数のサンプル点から前記放射波を放射する物体が存在する確率に関連する推定密度を取得するサンプリング部と、
前記複数のサンプル点のそれぞれの位置に関する情報と前記複数のサンプル点のそれぞれの推定密度とに基づいて、前記教師信号と比較するための推定信号を形成する形成部と、
前記教師信号と前記推定信号との差分量を算出する評価部と、
前記差分量に基づいて、前記空間推定モデルを更新する更新部と、
を具備する演算システム。

【請求項2】

前記空間分布信号は、前記経路上に放射された放射波に基づいて得られる、基準点から前記経路上の各地点までの距離に対する、各地点における放射波の強度を表す信号である、
請求項１記載の演算システム。

【請求項3】

前記空間分布信号は、ＬｉＤＡＲ（Light Detection and Ranging）によって観測された信号である、
請求項１又は２に記載の演算システム。

【請求項4】

前記放射波は、前記基準点に向かって基準方位から放射され、
前記複数のサンプル点は、前記基準点から前記基準方位に伸びる直線の上の複数の主サンプル点と、前記直線と直交する方向に広がる放射波領域内にあり且つ前記直線の上から外れた複数の副サンプル点とを含む、
請求項２記載の演算システム。

【請求項5】

前記形成部は、前記複数のサンプル点のそれぞれの位置に関する情報と前記複数のサンプル点のそれぞれの推定密度との関係を空間分布の形式に変換する、
請求項１又は２に記載の演算システム。

【請求項6】

前記センサが分離可能な受信方位の刻みは、前記放射波の有効領域の径よりも小さい、
請求項１又は２に記載の演算システム。

【請求項7】

演算システムによって実行される学習方法であって、
放射波の経路上の空間構造について前記放射波を用いてセンサによって観測された空間分布信号を教師信号として取得することと、
前記経路上の複数のサンプル点のそれぞれの位置に関する情報を空間推定モデルに入力し、前記空間推定モデルから、前記複数のサンプル点から前記放射波を放射する物体が存在する確率に関連する推定密度を取得することと、
前記複数のサンプル点のそれぞれの位置に関する情報と前記複数のサンプル点のそれぞれの推定密度とに基づいて、前記教師信号と比較するための推定信号を形成することと、
前記教師信号と前記推定信号との差分量を算出することと、
前記差分量に基づいて、前記空間推定モデルを更新することと、
を含む、学習方法。

【請求項8】

前記空間分布信号は、前記経路上に放射された放射波に基づいて得られる、基準点から前記経路上の各地点までの距離に対する、各地点における放射波の強度を表す信号である、
請求項７記載の学習方法。

【請求項9】

放射波の経路上の空間構造について前記放射波を用いてセンサによって観測された空間分布信号を教師信号として取得することと、
前記経路上の複数のサンプル点のそれぞれの位置に関する情報を空間推定モデルに入力し、前記空間推定モデルから、前記複数のサンプル点から前記放射波を放射する物体が存在する確率に関連する推定密度を取得することと、
前記複数のサンプル点のそれぞれの位置に関する情報と前記複数のサンプル点のそれぞれの推定密度とに基づいて、前記教師信号と比較するための推定信号を形成することと、
前記教師信号と前記推定信号との差分量を算出することと、
前記差分量に基づいて、前記空間推定モデルを更新することと、
を含む処理を、演算システムに実行させる学習プログラム。

【請求項10】

前記空間分布信号は、前記経路上に放射された放射波に基づいて得られる、基準点から前記経路上の各地点までの距離に対する、各地点における放射波の強度を表す信号である、
請求項９記載の学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、演算システム、学習方法、及び、学習プログラムに関する。

【背景技術】

【0002】

３次元の深さ情報を得ることのできる光学的な観測システムとして、ＬｉＤＡＲ（Light Detection and Ranging）が知られている。現在一般に、ＬｉＤＡＲは、被写体に向かって光線（光ビーム）を当て、被写体から反射した光線（反射光）の往復時間又は光信号の位相差などの情報を利用することによって、距離情報を得ることができる。被写体から反射した光は空間に広く拡散される。このため、被写体が存在する方位（水平方向及び垂直方向）の決定には、例えば、スキャナを駆動させるか、又は、光学系を用いた角度分解が行われる。これにより、被写体の方位情報が得られる。これらの組み合わせにより、ＬｉＤＡＲは、３次元情報を得ることができる。

【0003】

また、３次元の空間を推定する空間推定システムが提案されている（例えば、非特許文献１，２）。非特許文献１には、「微分可能レンダリング」の一種であり、且つ、深層学習のフレームワークを利用して空間内の物体密度分布関数を学習する、「ＮｅＲＦ（Representing Scenes as Neural Radiance Fields for View Synthesis）」と呼ばれる技術が開示されている。この技術によれば、多視点から撮影された画像を教師として用いることにより、学習モデルは、被写体の３次元構造を学習することができる。学習後のモデルは、新しい視点情報が入力されると、その視点の像を生成できる。

【0004】

また、非特許文献１の“ＮｅＲＦ”と呼ばれる手法とＬｉＤＡＲとを組み合わせた手法が、非特許文献２に開示されている。非特許文献２に開示の技術によれば、ＬｉＤＡＲから得られる被写体の深度情報を非特許文献１と同様の学習フレームワークに適用することが可能になり、これにより、空間構造（空間分布）を学習できる。

【0005】

ここで、“ＮｅＲＦ”の学習方法および学習モデルは、“微分可能レンダリング”と呼ばれるより広い枠組みの手法のうちの一つに分類されている。“ＮｅＲＦ”は非特許文献１内での呼称であるが、近年この技術の派生技術が多数発表報告されている。その中には、ニューラルネットワーク層を用いず、深層学習のフレームワークのみを活用した、学習モデルが含まれており、この学習モデルも“ＮｅＲＦ”と同様の機能を実現している。このため、本開示では、これらの学習モデルを含むより抽象度の高い表現として、“Ｒａｄｉａｎｃｅ Ｆｉｅｌｄ（以降「ＲＦ」で記載）”を用いることがある。すなわち、本開示では、学習モデルは、ＮｅＲＦで採用されていたMLP（Ｍｕｌｔｉ Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）に限定されない。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】Ｂｅｎ Ｍｉｌｄｅｎｈａｌｌ， Ｐｒａｔｕｌ Ｐ． Ｓｒｉｎｉｖａｓａｎ， Ｍａｔｔｈｅｗ Ｔａｎｃｉｋ， Ｊｏｎａｔｈａｎ Ｔ． Ｂａｒｒｏｎ， Ｒａｖｉ Ｒａｍａｍｏｏｒｔｈｉ， Ｒｅｎ Ｎｇ, “ＮｅＲＦ： Ｒｅｐｒｅｓｅｎｔｉｎｇ Ｓｃｅｎｅｓ ａｓ Ｎｅｕｒａｌ Ｒａｄｉａｎｃｅ Ｆｉｅｌｄｓ ｆｏｒ Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ” ，ＥＣＣＶ ２０２０（Ｏｒａｌ）,［2022年10月7日検索］，インターネット ＜URL：https://arxiv.org/pdf/2003.08934.pdf＞

【非特許文献2】Ｋｏｎｓｔａｎｔｉｎｏｓ Ｒｅｍａｔａｓ， Ａｎｄｒｅｗ Ｌｉｕ， Ｐｒａｔｕｌ Ｐ． Ｓｒｉｎｉｖａｓａｎ， Ｊｏｎａｔｈａｎ Ｔ． Ｂａｒｒｏｎ， Ａｎｄｒｅａ Ｔａｇｌｉａｓａｃｃｈｉ， Ｔｈｏｍａｓ Ｆｕｎｋｈｏｕｓｅｒ， Ｖｉｔｔｏｒｉｏ Ｆｅｒｒａｒｉ, “Ｕｒｂａｎ Ｒａｄｉａｎｃｅ Ｆｉｅｌｄｓ”， ＣＶＰＲ ２０２２,［2022年10月7日検索］，インターネット ＜URL：https://arxiv.org/pdf/2111.14643.pdf＞

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明者は、非特許文献１および非特許文献２に開示されている技術では、空間学習が効率的に行われていない可能性があることを見いだした。例えば、非特許文献１および非特許文献２の技術では、あるピクセルの「レンダリング」の過程において、光線の経路上の密度分布を線積分する操作がある。そして、この操作の際に、距離方向の情報が１点の情報（換言すれば、０次元の情報）に圧縮されてしまう。このため、元の距離方向に分布する豊富な情報を有効に活用できていない。すなわち、非特許文献１および非特許文献２の技術は、１つにセンサ（カメラ、ＬｉＤＡＲ）が得ている情報を充分活用できていない。

【0008】

本明細書に開示される実施形態が達成しようとする目的の１つは、上述された課題を含む複数の課題のうち少なくとも１つを解決することに寄与する、演算システム、学習方法、及び、学習プログラムを提供することにある。なお、この目的は、本明細書に開示される複数の実施形態が達成しようとする複数の目的の１つに過ぎないことに留意されるべきである。その他の目的又は課題と新規な特徴は、本明細書の記述又は添付図面から明らかにされる。

【課題を解決するための手段】

【0009】

１つの態様では、演算システムは、放射波の経路上の空間構造について前記放射波を用いてセンサによって観測された空間分布信号を教師信号として取得する取得部と、
前記経路上の複数のサンプル点のそれぞれの位置に関する情報を空間推定モデルに入力し、前記空間推定モデルから、前記複数のサンプル点から前記放射波を放射する物体が存在する確率に関連する推定密度を取得するサンプリング部と、
前記複数のサンプル点のそれぞれの位置に関する情報と前記複数のサンプル点のそれぞれの推定密度とに基づいて、前記教師信号と比較するための推定信号を形成する形成部と、
前記教師信号と前記推定信号との差分量を算出する評価部と、
前記差分量に基づいて、前記空間推定モデルを更新する更新部と、
を具備する。

【0010】

他の態様では、学習方法は、演算システムによって実行される学習方法であって、
放射波の経路上の空間構造について前記放射波を用いてセンサによって観測された空間分布信号を教師信号として取得することと、
前記経路上の複数のサンプル点のそれぞれの位置に関する情報を空間推定モデルに入力し、前記空間推定モデルから、前記複数のサンプル点から前記放射波を放射する物体が存在する確率に関連する推定密度を取得することと、
前記複数のサンプル点のそれぞれの位置に関する情報と前記複数のサンプル点のそれぞれの推定密度とに基づいて、前記教師信号と比較するための推定信号を形成することと、
前記教師信号と前記推定信号との差分量を算出することと、
前記差分量に基づいて、前記空間推定モデルを更新することと、
を含む。

【0011】

他の態様では、学習プログラムは、放射波の経路上の空間構造について前記放射波を用いてセンサによって観測された空間分布信号を教師信号として取得することと、
前記経路上の複数のサンプル点のそれぞれの位置に関する情報を空間推定モデルに入力し、前記空間推定モデルから、前記複数のサンプル点から前記放射波を放射する物体が存在する確率に関連する推定密度を取得することと、
前記複数のサンプル点のそれぞれの位置に関する情報と前記複数のサンプル点のそれぞれの推定密度とに基づいて、前記教師信号と比較するための推定信号を形成することと、
前記教師信号と前記推定信号との差分量を算出することと、
前記差分量に基づいて、前記空間推定モデルを更新することと、
を含む処理を、演算システムに実行させる。

【発明の効果】

【0012】

本開示により、上述された課題を含む複数の課題のうち少なくとも１つを解決することに寄与する、演算システム、学習方法、及び、学習プログラムを提供することができる。

【図面の簡単な説明】

【0013】

【図1】関連技術の説明に供する図である。

【図2】第１実施形態におけるシステムの一例を示すブロック図である。

【図3】第１実施形態における演算システムの処理動作の一例を示すフローチャートである。

【図4】第１実施形態における演算システムの処理動作の一例の説明に供する図である。

【図5】第２実施形態における演算システムの処理動作の一例を示すフローチャートである。

【図6】第３実施形態におけるシステムの一例を示すブロック図である。

【図7】第３実施形態における第２学習部の処理動作の一例を示すフローチャートである。

【図8】第３実施形態における第１学習部の処理動作の一例を示すフローチャートである。

【図9】球面座標系の説明に供する図である。

【図10】第１実施形態の前に記載した関連技術の内容を、球面座標系を用いて説明するための図である。

【図11】第１実施形態及び第２実施形態の内容を、球面座標系を用いて説明するための図である。

【図12】第４実施形態におけるシステムの一例を示すブロック図である。

【図13】第４実施形態における学習部の処理動作の一例の説明に供する図である。

【図14】サンプリング領域の学習の説明に供する図である。

【図15】第４実施形態の変形例におけるシステムの一例を示す図である。

【図16】演算システムのハードウェア構成例を示す図である。

【発明を実施するための形態】

【0014】

以下、図面を参照しつつ、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付し、重複する説明は省略される。

【0015】

以下に説明される複数の実施形態は、独立に実施されることもできるし、適宜組み合わせて実施されることもできる。これら複数の実施形態は、互いに異なる新規な特徴を有している。したがって、これら複数の実施形態は、互いに異なる目的又は課題を解決することに寄与し、互いに異なる効果を奏することに寄与する。

【0016】

（関連技術）
まず、関連技術について説明する。個々の実施形態は、これらの技術に基づくものである。換言すれば、これらの技術は、個々の実施形態に取り込まれ得る。

【0017】

図１は、関連技術の説明に供する図である。

【0018】

関連技術は、空間推定モデル（「学習対象のモデル」又は単に「学習モデル」とよばれてもよい。図１では、“Fθ“で記載されている。）の応答結果と、現実のカメラの出力との差異を小さくするように、学習を進めるフレームワークとなっている。

【0019】

教師画像Ｃ１０１のカメラモデルを、透視投影モデルＣ１０２として考える。ここでは、理解のために、まず、カメラモデルの設置位置（視点）となる点Ｃ１０２１に対応する、投影面Ｃ１０２２上のひとつのピクセルＣ１０２３に注目して、説明を行う。

【0020】

投影面Ｃ１０２２の上の各ピクセル位置は、カメラ視点Ｃ１０２１から見た、角度方位（水平方向、垂直方向）と等価である。すなわち、あるピクセル（ここではピクセルＣ１０２３）の輝度値は、カメラ視点Ｃ１０２１とそのピクセルＣ１０２３の座標を結ぶ直線の角度方位（光線C１０２４）上に存在するすべての物体からの物理作用によって決まる。

【0021】

学習モデルの学習時には、被写体から放射された放射波によるピクセルへの作用を、ある種の物理シミュレーションを実施することによって、推定する。なお、カメラモデルの投影面Ｃ１０２２における各ピクセルの値をこのような方法で算出することによって、実際のカメラの出力を模した画像を形成することは、一般に、“レンダリング”と呼ばれる。本開示では、この解釈を拡大し、空間モデル内での物理シミュレーションによって、観測システムの出力に相当する値（又は、分布）を演算して出力することを、広義の“レンダリング”とする。この広義の“レンダリング”も狭義の“レンダリング”と同様に扱うものとにする。

【0022】

以上のように、カメラモデルＣ１０２の視点Ｃ１０２１と対象ピクセルＣ１０２３とが確定すると、空間内で対象となる光線Ｃ１０２１を定義できる。

【0023】

次に、この光線Ｃ１０２４の上の複数の点のそれぞれを、サンプリング点（サンプル点）Ｃ１０２５とする。そして、各サンプル点の位置に関する情報を学習モデルＣ１０４へ入力することにより、学習モデルＣ１０４から各サンプル点についての値（例えば、「密度」）が取り出される。ここで、各サンプル点の位置に関する情報を学習モデルに入力し、学習モデルから戻り値を得る操作は、「サンプリング」と呼ばれてもよい。また、「サンプリング」を行う機能部は、「サンプラー」と呼ばれてもよい。また、「サンプリング領域」を決定し、サンプリング領域内の各サンプル点の座標値を学習モデルへ入力することによって、サンプリングが行われてもよい。なお、サンプリング行程において学習モデルＣ１０４へ入力される情報は、各サンプル点の位置に関する情報の他に、視点角度等の情報が含まれてもよい。また、サンプリング行程において学習モデルＣ１０４から出力される情報は、「密度」の他に、色等の情報が含まれてもよい。すなわち、この学習フレームワークにおいて、学習モデルは、座標や視点角度などが入力され、密度や色などの情報を返す、連続関数とみなされ、且つ、空間を表現する分布関数の近似関数として解釈される。

【0024】

各サンプル点Ｃ１０２５の入力に基づく学習モデルＣ１０４からの出力をまとめると、光線Ｃ１０２４の上の推定密度分布Ｃ１０５が得られる。学習には、教師データとの差分量（損失量）が必要なので、教師データと比較するために、この密度分布に基づいてレンダリングが行われてもよい。ここで、非特許文献１及び非特許文献２では、線積分を含む演算Ｓ１０６が推定密度分布Ｃ１０５に対して実施されて得られた値（推定ピクセル値）と、カメラやＬｉＤＡＲの出力（図１では、教師画像Ｃ１０１における対象ピクセルＣ１０２３に対応するピクセル値）との比較により、「差分量」が算出される。図１では省略しているが、このようなカメラが被写体を囲むように複数（非特許文献１，２では１００個程度と多い）配置されている。これらすべての視点及びすべてのピクセルのすべての組み合わせについて、それぞれ光線を定義でき、それぞれについて同様に「差分量」が得られる。これらすべての光線において、教師データとレンダリング結果との差分を小さくするように学習を進めることによって、学習モデルは、空間構造を学習していく。

【0025】

しかしながら、上記の通り、非特許文献１及び非特許文献２のように、レンダリングにおいて線積分を含む演算Ｓ１０６が推定密度分布Ｃ１０５に対して実施されると、距離方向の情報が１点の情報（換言すれば、０次元の情報）に圧縮されてしまう。このため、非特許文献１及び非特許文献２では、元の距離方向に分布する豊富な情報を有効に活用できていない。この結果、非特許文献１および非特許文献２に開示されている技術では、空間学習が効率的に行われていない可能性がある。

【0026】

なお、サンプリング点Ｃ１０２５の配置（刻み、分布）は、計算効率の観点から、学習経過とともにより密度が高いと推定される領域において多くサンプルされるよう、動的に変動させてもよい。

【0027】

また、非特許文献１と同様に、より高解像の構造を学習するために、学習モデルＦθに、座標値や角度値をそのまま入力するのではなく、座標値や角度値に“Ｐｏｓｉｔｉｏｎａｌ Ｅｎｃｏｄｉｎｇ（ＰＥ）”と呼ばれる高次元ベクトルへ射影することによって得られた値を入力してもよい。すなわち、学習モデルへの入力の前に、座標値や角度値に対して何らかの変換が行われてもよい。ＰＥの手法は様々提案されておりそれぞれ効果が異なり用途によって選択することが好ましい。このため、本開示では、このような射影変換は、共通してＰＥと呼ぶこととする。

【0028】

＜第１実施形態＞
＜システムの構成例＞
図２は、第１実施形態におけるシステムの一例を示すブロック図である。図２においてシステム１は、観測システム２と、演算システム３と、推定装置４０とを有している。なお、図２には機能分けの一例が示されているが、機能の分け方はこれに限定されるものではない。すなわち、図２に示されている機能部は、適宜、分割されてもよいし、任意の組み合わせで集約されてもよい。また、図２における各機能部のシステム又は装置への振り分け方は、一例であり、これに限定されるものではない。例えば、推定装置４０は、演算システム３に含まれてもよい。また、演算システム３に含まれる複数の機能部は、互いに接続された独立の複数の装置に振り分けられてもよい。

【0029】

（演算システム及び推定装置について）
図２において演算システム３は、取得部３１と、学習部３２とを有している。学習部３２は、サンプリング部３２Ａと、形成部３２Ｂと、評価部３２Ｃと、更新部３２Ｄとを有している。図２において推定装置４０は、空間推定モデル４１を保持している。なお、サンプリング部３２Ａ及び形成部３２Ｂは、上記の「レンダリング」を行う機能部に相当する。すなわち、サンプリング部３２Ａ及び形成部３２Ｂは、「レンダラー」に含まれる。

【0030】

取得部３１は、対象空間（つまり、教師空間）において放射波の経路上の空間構造について放射波を用いて観測された空間分布信号を教師信号して取得する。「放射波」、「空間分布信号」については後に詳しく説明する。

【0031】

サンプリング部３２Ａは、上記の経路の上の複数のサンプル点のそれぞれの位置に関する情報を空間推定モデル４１に入力する。この入力により、空間推定モデル４１は、複数のサンプル点に放射波を放射する物体（つまり、被写体）が存在する確率に関連する推定密度を出力する。そして、サンプリング部３２Ａは、空間推定モデル４１が出力した推定密度を取得する。これにより、サンプリング部３２Ａは、複数のサンプル点のそれぞれの位置に関する情報と各サンプル点に対応する推定密度との対応関係を取得することができる。

【0032】

形成部３２Ｂは、複数のサンプル点のそれぞれの位置に関する情報と複数のサンプル点のそれぞれの推定密度とに基づいて、推定信号を形成する。この「推定信号」は、教師信号と比較するための信号であり、教師信号と同様の形式の信号である。

【0033】

評価部３２Ｃは、複数の比較ポイントのそれぞれについての教師信号と推定信号との差分量を算出する。この複数の比較ポイントは、上記の複数のサンプル点と同じであってもよい。

【0034】

更新部３２Ｄは、差分量に基づいて、空間推定モデルを更新する。すなわち、更新部３２Ｄは、差分量が小さくなるように、空間推定モデルを更新する。これにより、空間推定モデルの学習が進むことになる。

【0035】

以上のように、演算システム３において評価部３２Ｃは、教師信号と推定信号との差分量を算出する。この教師信号は、空間分布信号である。また、この推定信号は、教師信号と比較するための信号であり、推定された空間分布信号である。すなわち、評価部３２Ｃは、空間分布信号の形式の教師信号と推定信号とを直接的に比較するので、非特許文献１及び非特許文献２（つまり、教師データのピクセル値と推定ピクセル値との差分を求めるケース）に比べて、多くの個数の差分量を得ることができる。更新部３２Ｄは、この多くの個数の差分量に基づいて空間推定モデルを更新できるので、学習をより効率的に進めることができる。また、学習の効率化は学習コストの低減につながるため、計算量又は計算時間を削減できる。また、センサ２１の１視点で得られる差分信号（損失の量）が多くなる。このため、同じ損失量であれば、非特許文献１及び非特許文献２に比べて、システム１において必要なセンサ２１の数又はセンサ２１の画角（定義する光線の数）を削減することができる。

【0036】

（観測システムについて）
図２において観測システム２は、センサ２１を含んでいる。センサ２１は、例えば、ＬｉＤＡＲであってもよい。なお、図２ではセンサ２１を１つ示しているが、観測システム２は、複数のセンサ２１を含んでいる。

【0037】

センサ２１は、対象空間（つまり、教師空間）において放射波の経路上の空間構造を、放射波を用いて観測する。この観測により、空間分布信号が得られる。この「空間分布信号」は、１次元以上の空間分布を示す信号である。すなわち、この「空間分布信号」は、例えば、上記の経路から取得される放射波に基づいて得られる、基準点から経路上の各地点までの距離に対する、各地点にて放射された放射波の強度を表す信号を含む。センサ２１にＬｉＤＡＲを選択した場合の放射波とは、放射波経路に対して照射した電磁波が物体で反射し放射波経路を介してセンサ２１に戻ってくる反射波のことである。

【0038】

図２に示される教師空間では、センサ２１から照射される光束によって被写体ＯＢ１，ＯＢ２，ＯＢ３の観測が行われ、空間分布信号が生成される。上記のように、取得部３１は、この空間分布信号を教師信号として取得する。

【0039】

ここで、市販のＬｉＤＡＲは、内部処理された後の１つの距離の値、つまり０次元相当の信号のみを出力するものが一般的であり、上記のような距離に対する強度分布の１次元信号は、市販のＬｉＤＡＲでは内部的な中間信号であることが多い。このため、センサ２１として市販のＬｉＤＡＲを用いる場合には、この１次元の強度分布信号が教師信号として用いられることになる。

【0040】

＜システムの動作例＞
以上の構成を有するシステム１の処理動作の一例について説明する。ここでは、主に演算システム３の処理動作について説明する。図３は、第１実施形態における演算システムの処理動作の一例を示すフローチャートである。図４は、第１実施形態における演算システムの処理動作の一例の説明に供する図である。

【0041】

演算システム３において取得部３１は、放射波の経路上の空間構造について放射波を用いて観測された空間分布信号を教師信号して取得する（ステップＳ１１）。

【0042】

サンプリング部３２Ａは、上記の経路の上の複数のサンプル点のそれぞれの位置に関する情報を空間推定モデル４１に入力する（ステップＳ１２）。この入力により、空間推定モデル４１は、複数のサンプル点に放射波を放射する物体（つまり、被写体）が存在する確率に関連する推定密度を出力する。

【0043】

サンプリング部３２Ａは、空間推定モデル４１が出力した、各サンプル点に対応する推定密度を取得する（ステップＳ１３）。

【0044】

形成部３２Ｂは、複数のサンプル点のそれぞれの位置に関する情報と複数のサンプル点のそれぞれの推定密度とに基づいて、推定信号を形成する（ステップＳ１４）。この「推定信号」は、教師信号と比較するための信号であり、教師信号と同様の形式の信号である。

【0045】

評価部３２Ｃは、複数の比較ポイントのそれぞれについての教師信号と推定信号との差分量を算出する（ステップＳ１５）。この複数の比較ポイントは、上記の複数のサンプル点と同じであってもよい。

【0046】

更新部３２Ｄは、差分量に基づいて、空間推定モデルを更新する（ステップＳ１６）。すなわち、更新部３２Ｄは、差分量が小さくなるように、空間推定モデルを更新する。これにより、空間推定モデルの学習が進むことになる。

【0047】

以上のように第１実施形態によれば、演算システム３において取得部３１は、放射波の経路上の空間構造について放射波を用いて観測された空間分布信号を教師信号して取得する。サンプリング部３２Ａは、上記の経路の上の複数のサンプル点のそれぞれの位置に関する情報を空間推定モデル４１に入力する。サンプリング部３２Ａは、空間推定モデル４１が出力した推定密度を取得する。形成部３２Ｂは、複数のサンプル点のそれぞれの位置に関する情報と複数のサンプル点のそれぞれの推定密度とに基づいて、推定信号を形成する。評価部３２Ｃは、教師信号と推定信号との差分量を算出する。この教師信号は、空間分布信号である。また、この推定信号は、教師信号と比較するための信号であり、推定された空間分布信号である。更新部３２Ｄは、差分量に基づいて、空間推定モデルを更新する。

【0048】

この演算システム３の構成により、空間分布信号の形式の教師信号と推定信号とを直接的に比較するので、非特許文献１及び非特許文献２（つまり、教師データのピクセル値と推定ピクセル値との差分を求めるケース）に比べて、多くの個数の差分量を得ることができる。更新部３２Ｄは、この多くの個数の差分量に基づいて空間推定モデルを更新できるので、学習をより効率的に進めることができる。また、学習の効率化は学習コストの低減につながるため、計算量又は計算時間を削減できる。また、センサ２１の１視点で得られる差分信号（損失の量）が多くなる。このため、同じ損失量であれば、非特許文献１及び非特許文献２に比べて、システム１において必要なセンサ２１の数又はセンサ２１の画角（定義する光線の数）を削減することができる。

【0049】

＜第２実施形態＞
第２実施形態は、特に、第１実施形態で説明した観測システム、演算システム、空間推定モデルの、構成の具体例及び動作の具体例に関する。

【0050】

＜システムの構成例＞
第２実施形態のシステムの基本構成は、第１実施形態のシステム１と同じなので、図２を参照して説明する。
（観測システムについて）
観測システム２を構成する複数のセンサ２１は、上記の通り、ＬｉＤＡＲであってもよい。多くのＬｉＤＡＲは、送信光パルスに対する被写体からの反射パルスの時間差を利用して距離を測定するＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式を採用している。センサ２１は、このようなＬｉＤＡＲであってもよい。センサ２１は、上記の通り、空間から１次元以上の分布信号を得ることができる。1次元の分布信号とは、上記の通り、距離に対する強度信号の分布である。

【0051】

なお、図２において省略されているが、観測システム２は、複数のセンサ２１を有しており、被写体の周りに複数のセンサ２１が配設されている。観測システム２は、複数の視点からの情報を得ることができる。観測システム２のセンサ２１の数については、必要な形状精度にもよるが、被写体を取り囲むように少なくとも３個以上配置されていることが好ましい。すなわち、観測システム２は、３つ以上の視点からの情報を得られることが好ましい。さらに、６個以上の視点からの情報を得ることができると、観測システム２は、より高精細な像を得ることができる。さらに、１０個以上の視点からの情報を得ることができると、観測システム２は、冗長性も持たせることが可能となり、より有用である。また、被写体の片面の形状情報を取得することで目的が満たされる場合（つまり、裏面側の形状は不要な場合）、観測システム２のセンサ２１は、被写体の片面側に集中して配置されていてもよい。また、観測システム２のうち１視点をなすセンサ２１が複数の測定器から形成されていてもよい。すなわち、複数の測定器を含むセンサアレイを搭載するセンサを、センサ２１として用いることができる。

【0052】

ここで、観測システム２に含まれるセンサ２１の種類について説明する。本開示の技術の原理的には、それぞれが１次元以上の信号である信号同士の比較であっても、同様に学習可能である。このため、変調した光信号を送信し、反射光信号と送信光信号との位相差から距離を得るような方式のＬｉＤＡＲが、センサ２１として採用されてもよい。より広い観点で言えば、学習モデルからのサンプリングと演算とによって得られる推定信号と比較できる教師信号が得られる観測システムが構成されていればよい。このため、観測システム２のセンサ２１は、ＬｉＤＡＲに限定されず、そのセンサ種類は問われない。例えば、電波や音波のように波面状に広がる媒体をセンシングに用いたセンサが、センサ２１として採用されてもよい。この拡張例については、第４実施形態において説明する。

【0053】

センサ２１がＬｉＤＡＲである場合、センサ媒体（放射波）は、光束である。照射時の光束は、「基準点（つまり、センサ２１の位置）」から各「放射基準方位（放射基準方向）」に向けて照射される。光束径が大きいほど、センサ２１の観測領域（つまり、光束内の領域）において光束に干渉する物体も増える（例えば、被写体ＯＢ２）。このため、各「放射基準方位」に照射された１つの光束の反射によって得られる情報も増加する。しかしながら、これに伴い、単体のセンサ２１としては、角度当たり（つまり、１つの放射基準方位当たり）の解像度（分解能）は低下してしまう。この結果、小さな物体の検出が困難になる。これは、写真で言うところのボケた像を得ることと同義である。この問題は、例えば、ＬｉＤＡＲのスキャン方法と学習方法とによって改善できる。スキャン方法については、センサ２１が反射信号を受信する角度方位の刻みを光束径（放射波の有効領域の径）より小さくすると、効果的である。例えば、センサ２１は、反射信号を受信する角度方位をオーバーラップする領域を持たせながら少しずつ変えればよい。これにより、センサ２１は、分解能の高い情報を取得できる。これにより、空間解像度を向上させることができる。なお、このとき、サンプリング部３２Ａが扱う複数のサンプル点は、基準点から放射基準方位に伸びる直線の上の複数の「主サンプル点」の他に、当該直線と直交する方向に広がる放射波領域内にあり且つ当該直線の上から外れた複数の「副サンプル点」を含む。

【0054】

また、センサ２１の数（つまり、視点数）を増やして、被写体のある領域に対してより多くの角度方位からの光線を定義できると、学習後の空間解像度を向上させることができる。例えば、複数のセンサ２１のそれぞれが光束径２０ｍｍのＬｉＤＡＲである場合、複数のセンサ２１は、複数視点からの信号による作用によって、光束径よりも小さい１０ｍｍサイズ程度の物体の像を再構成できる。なお、ここでの説明では、センサ２１がＬｉＤＡＲであるものとしたため、センサ媒体は、光（光束）である。しかしながら、空間情報を分布信号として得られるものであれば、センサ媒体の種類は問われない。本開示では、センサから放射状に延びた経路を伝って受信される信号であれば、教師信号として扱うことができる。このため、本開示では、これら空間の作用による信号が乗ったセンサ媒体のことを、便宜上、「放射波」と呼んでいる。また、本開示において「放射」は、「反射」、「輻射」、「蛍光」等を含む。

【0055】

また、放射波を形成する信号の送信部と、反射波を受信する受信部とが、分離されて、それぞれ別の位置に配置されていてもよい。この場合、送信時の照射領域が受信時の放射波領域と重ならないことが想定されるが、送信部の配置と受信部の配置とをそれぞれ分かっていれば、受信部が受信する信号のモデル化は可能である。また、受信する放射波を生成するための送信時の照射波の媒体は、受信する放射波の媒体と同一でなくてもよい。例えば“光超音波技術”のように、光を入力として被写体に作用を与えることで被写体から音波信号を放射波として得るような系であってもよい。つまり本開示における照射波とは、被写体から所望の放射波を発生させるための作用を与える媒体と解釈される。このため以降“反射波”と記載されている箇所は“照射波の作用によって生じた放射波”と読み替えても同様であるものとする。

【0056】

（演算システム及び空間推定モデルについて）
学習部３２は、推定信号を得るために、観測領域の決定と、サンプリングと、学習モデルへの入出力と、物理演算などの各種演算とを、連続して実施する。これらの処理は、「微分可能レンダリング」の枠組みで連結されており、計算グラフが形成され且つ維持される。教師信号と推定信号との比較によって「損失」を得ることができれば、誤差の逆伝搬の作用によって、これら計算グラフ上の学習可能なすべてのパラメータの最適化が進む。これにより、学習が進む。このような微分可能レンダリングを実現するには、標準的なＤｅｅｐＬｅａｒｎｉｎｇフレームワークであるＴｅｎｓｏｒｆｌｏｗやＰｙｔｏｒｃｈなどを利用して演算式を組み合わせればよい。これにより、ユーザーは意識せず、計算グラフを構成することができ、誤差の逆伝搬が機能する。ここで、最適化可能なパラメータは、本開示では空間推定モデル４１におけるθを前提としているが、別のパラメータを変数に加えてもよい。例えば、センサ位置やセンサ角度などを変数として設定してもよい。これにより、入力値の誤差も修正するように、学習を進めることができる。本開示においては、例えば、光線の経路や観測領域を決める数式をパラメータで定義し、このパラメータを学習パラメータに加えてもよい。これにより、放射波の揺らぎも学習（推定）することができる。例えば、学習の過程において、光束（光線）が非直線的に最適化されれば、これは、空間内の屈折率分布を捉えていると解釈することもできる。

【0057】

空間推定モデル４１は、空間分布を表現する学習型の関数Ｆθである。非特許文献１においても、この学習モデルは、“Ｆθ”で表記され、座標や観察角度などのある点の位置に関する情報を入力すると、その点の密度や色情報などを返す。この学習モデルの入出力は、連続値に対して応答が可能である「分布関数」の一種とみなされる。

【0058】

θは、空間推定モデル４１の内部パラメータを示している。このθを最適化することによって、空間分布を表現できる関数を徐々に形成していく。空間推定モデル４１は、空間推定モデルは、図１，２にて記号“Fθ“で示した。本開示において学習モデルＦθは、非特許文献１と同様のＭＬＰ（Ｍｕｌｔｉ Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）であってもよい。単純な構造で少ないデータ量でありながら多彩な関数（形状）の近似表現が可能であるため、学習モデルには、ＭＬＰが利用されることが多い。ただし、近年、この学習モデルについては、Ｎｅｕｒａｌ Ｎｅｔに限らず、Ｏｃｔｒｅｅ表現やＶｏｘｅｌ表現の学習モデルであっても、ＮｅＲＦと同様の学習が可能であることがわかっている。このため、本開示においても、学習モデルＦθの形態やその種類は問われない。学習パラメータ（θ）を持った分布関数であって、座標や角度などのパラメータを入力すると、密度（分布）を返す関数であれば、本開示の学習モデルとして利用することができる。また、上記の通り、学習モデルへの入力の際には、射影変換ＰＥが実行されてもよい。

【0059】

また、空間推定モデル４１に採用する関数Ｆθへの入力パラメータは、位置情報以外の情報が含まれていてもよい。例えば、非特許文献１では、物体の見た目の反射色が見る角度によって異なるような物理モデルを導入している。例えば、非特許文献１では、サンプル点座標のセンサ２１に対する方位情報などを、学習モデルＦθに入力している。非特許文献１のように、学習モデルＦθは、内部的に複数の機能部に分かれていてもよい。例えば、学習モデルＦθは、空間密度計算を担う機能部、見る角度による見えの違いの計算する機能部、時間変化を管理する機能部、個別物体を分離する機能部などを備えていてもよい。これら機能部がそれぞれ異なる情報を必要とする場合には、そのような情報も入力パラメータに加えればよい。

【0060】

レンダラー（つまり、サンプリング部３２Ａ及び形成部３２Ｂ）は、一種のセンサーシミュレーターとして機能する。すなわち、レンダラー（つまり、サンプリング部３２Ａ及び形成部３２Ｂ）は、センサ２１の物理モデルに合わせたレンダリングを行い、教師信号と比較するための推定信号（推定分布）を生成する。レンダラーのサンプリング部３２Ａは、シミュレーション上の仮想センサ信号が作用を受ける空間領域（つまり、放射波領域、推定観測領域）の決定、及び、学習モデルFθへの入出力を担う。また、レンダラーの形成部３２Ｂは、空間推定モデル４１からの出力（推定密度分布）から、推定信号を再現する。空間推定モデル４１の出力は、密度（ここで、複数の密度は、「密度分布」に相当する）である。形成部３２Ｂは、サンプリング部３２Ａにてサンプリングされた密度分布から、経路上の透過率を加味した空間伝搬計算によって、センサ２１が観測する強度に相当する「重み値」に変換してもよい。このようにして、光線軸における距離に対する推定強度分布（つまり、推定信号）が得られる。

【0061】

サンプリング部３２Ａは、（仮想の）センサ２１の受信信号に作用する「空間領域（放射波領域、推定観測領域）」などを決定することによって、空間推定モデル４１に入力する情報を決定する。例えば、教師空間に配置された個々のセンサ２１（ＬｉＤＡＲ）の視点位置及び光線方位、並びに、光線の太さなどの情報から、センサの受信信号に作用すると考えられる空間領域（サンプル点の座標）を決定する。上記の通り、比較的大きい光束径を用いる場合には、その放射波の径の有効領域を考慮した上で、サンプル点の座標をサンプルする。

【0062】

また、非特許文献１及び非特許文献２において、空間領域（放射波領域、推定観測領域）は、光線方向に延びる直線である。しかしながら、本開示では、空間領域（放射波領域、推定観測領域）は、この直線に限定されない。例えば、センサ２１がＬｉＤＡＲである場合、図２の教師空間に示されるように、光束は、有限幅の光束幅（径）を持つ。この例の場合、主の被写体である被写体ＯＢ１だけでなく、光線の光軸からずれた被写体ＯＢ２も、観測される。また、ＬｉＤＡＲ光線の波長において屈折率を持つ透明体（被写体ＯＢ３）についても同様で、その部分の反射の値も、同様に、受信信号として観測される。特に、ＬｉＤＡＲは距離分解が可能なセンサであるので、受信信号の強度に関して、距離に対していくつかの山（強度）が得られる。本開示においては、これら光束に干渉した各物体にて反射された反射光の強度を、教師信号として利用することができる。このため、サンプリング部３２Ａは、センサ媒体である光束の幅を再現するために、光軸中心の点だけでなく光軸から離れた領域についてもサンプリングすることによって、よりレンダリング精度を上げることができる。すなわち、上記の通り、サンプリング部３２Ａが扱う複数のサンプル点は、基準点から放射基準方位に伸びる直線（つまり、光軸）の上の複数の「主サンプル点」の他に、当該直線と直交する方向に広がる放射波領域内にあり且つ当該直線の上から外れた複数の「副サンプル点」を含んでいてもよい。光束幅方向にサンプリングする手法としては、例えば、単純に、互いに小さな角度差を有する複数の方位に光線を飛ばして、サンプル点を増やす方法が考えらえる。ただし、原理的には、実質的な空間の積算値が得られていればよいので、数学的に等価な演算を利用することもできる。例えば、ＰＥ後の座標ベクトルについて先に積分しておくような方法を使ってもよい。

【0063】

また、上記の通り、空間推定モデル４１に入力されるパラメータは、位置情報以外のパラメータが含まれている場合もある。この場合、サンプリング部３２Ａは、位置情報以外のパラメータも適切に選択して、空間推定モデル４１に入力する。

【0064】

また、上記の通り、空間推定モデル４１に情報を入力する際には、ＰＥのような任意の変換が実行されてもよい。

【0065】

以上のような方法によって、サンプリング部３２Ａは、空間推定モデル４１へ入力する、サンプリング点の情報を決定する。

【0066】

形成部３２Ｂは、空間推定モデル４１からの出力を元に推定密度分布を構成する分布計算部（不図示）と、推定密度分布を、物理演算を元に、推定信号に変換する変換部（不図示）とを含んでいてもよい。

【0067】

評価部３２Ｃは、教師信号と推定信号を比較することによって、「損失量（つまり、差分量）」を得る。

【0068】

損失量が得られれば、上記の通り、微分可能レンダリングの原理のもと、各種パラメータに対する学習（最適化）が進む。この損失量は、観測システム２に含まれる各センサ２１が得る各方位の信号について、個別に得られる。このため、これらすべての損失量が小さくなるように、更新部３２Ｄは、空間推定モデル４１のパラメータを繰り返し更新して空間推定モデル４１の学習を進める。その結果、学習された空間推定モデル４１は、教師領域の空間分布を高精度に再現した空間分布を形成できるようになる。

【0069】

＜システムの動作例＞
以上の構成を有するシステム１の処理動作の一例について説明する。ここでは、主に演算システム３の処理動作について説明する。図５は、第２実施形態における演算システムの処理動作の一例を示すフローチャートである。

【0070】

第２実施形態の演算システム３において取得部３１は、センサ２１（ＬｉＤＡＲ）の観測信号に作用する観測領域（つまり、放射波の及ぶ領域）の範囲に関する情報を取得する（ステップＳ２１）。取得部３１は、センサ２１の視点及び方位に関する情報を取得し、この取得した情報に基づいて、観測領域の範囲に関する情報を決定してもよい。

【0071】

取得部３１は、放射波の経路上の空間構造について放射波を用いて観測された空間分布信号を教師信号して取得する（ステップＳ２２）。

【0072】

サンプリング部３２Ａは、観測信号に作用する「空間領域（推定観測領域、放射波領域）」を決定する（ステップＳ２３）。

【0073】

サンプリング部３２Ａは、決定した「空間領域」における複数のサンプル点のそれぞれの位置に関する情報を空間推定モデル４１に入力する（ステップＳ２４）。この入力により、空間推定モデル４１は、複数のサンプル点に放射波を放射する物体（つまり、被写体）が存在する確率に関連する推定密度（つまり、密度分布）を出力する。

【0074】

サンプリング部３２Ａは、空間推定モデル４１が出力した、各サンプル点に対応する推定密度（つまり、密度分布）を取得する（ステップＳ２５）。

【0075】

形成部３２Ｂは、密度分布に対して物理演算を施して、推定信号に変換する（ステップＳ２６）。この「推定信号」は、教師信号と比較するための信号であり、教師信号と同様の形式の信号である。

【0076】

評価部３２Ｃは、複数の比較ポイントのそれぞれについての教師信号と推定信号との差分量（損失）を算出する（ステップＳ２７）。この複数の比較ポイントは、上記の複数のサンプル点と同じであってもよい。

【0077】

更新部３２Ｄは、差分量（損失）に基づいて、空間推定モデルを更新する（ステップＳ２８）。すなわち、更新部３２Ｄは、差分量（損失）が小さくなるように、空間推定モデルを更新する。これにより、空間推定モデルの学習が進むことになる。なお、ここでは、説明を簡単にするために、１つのセンサ２１に注目してフローを説明したが、各センサ２１の各画角方位に関して同様の演算が実施されて、学習が進められる。

【0078】

なお、ステップＳ２３において、隣接する２つのサンプル点の間隔やサンプル点の分布などは、センサ２１が取得する教師信号の刻みに合わせておくと、後のステップＳ２７において差分量を得やすいので、好ましい。当然のことながら、必ずしもサンプリングの段階でデータ構造を一致させている必要はなく、分布信号の比較時（Ｓ２７）に揃っていればよい。例えば、変換ステップ（Ｓ２６）の出力時にデータ構造を揃える方法でもよい。

【0079】

ステップＳ２６の演算には、空間伝搬計算のほかに、現実のセンサの挙動に近づけるためにセンサ内部の特性に対応するシミュレーションを加えてもよい。例えば、センサ内部で発生するノイズやサンプリング周期によるエイリアシングなどに対応する変換処理などを導入することによって、推定信号をより教師信号に近づけることができる。これにより、学習性能を上げることができる。

【0080】

ステップＳ２７，Ｓ２８において、教師信号と推定強度分布（推定信号）との差を学習モデルにフィードバックさせるために、ＤｅｅｐＬｅａｒｎｉｎｇのフレームワークの機能が活用されてもよい。ＤｅｅｐＬｅａｒｉｎｇのフレームワークを利用してレンダラー（つまり、サンプリング部３２Ａ及び形成部３２Ｂ）の計算を実施することによって、レンダラーで行われた計算の接続（計算グラフ）がすべて維持される。教師信号と推定強度分布（推定信号）との差に基づいて、誤差の逆伝搬の作用によって、学習モデルＦθのパラメータθに、微分量が伝搬される。この微分量を元に、学習が進められる。この操作は、“最適化”、“損失最小化”、“評価関数の最小化”など、様々な呼ばれ方をするが、数学的には、同様の操作と考えることができる。本開示では、この操作は単に“学習”と呼ばれることがある。また、学習に利用する損失関数（ロスファンクション）や最適化アルゴリズム（オプティマイザー）は、多種多様なものがある。本開示では、損失関数（ロスファンクション）や最適化アルゴリズム（オプティマイザー）の種類は、特に問われない。例えば、損失関数には、教師信号と推定信号との平均二乗誤差（ＭＳＥ）が用いられてもよい。教師信号と推定信号との比較時に、距離ごとの強度データである１次元の信号を用いるため、本実施形態において評価部３２Ｃの損失関数には、各サンプル点についてのＭＳＥを採用してよい。また、最適化アルゴリズムには、標準的なＡｄａｍが用いられてもよい。

【0081】

＜第３実施形態＞
第３実施形態は、種類の異なる複数のセンサによって観測された信号に基づいて空間推定モデルの学習を行う実施形態に関する。

【0082】

＜システムの構成例＞
図６は、第３実施形態におけるシステムの一例を示すブロック図である。図６においてシステム１は、第１実施形態と同様に、観測システム２と、演算システム３と、推定装置４０とを有している。なお、図６には機能分けの一例が示されているが、機能の分け方はこれに限定されるものではない。すなわち、図６に示されている機能部は、適宜、分割されてもよいし、任意の組み合わせで集約されてもよい。また、図６における各機能部のシステム又は装置への振り分け方は、一例であり、これに限定されるものではない。例えば、推定装置４０は、演算システム３に含まれてもよい。また、演算システム３に含まれる複数の機能部は、互いに接続された独立の複数の装置に振り分けられてもよい。

【0083】

（観測システムについて）
図６において観測システム２は、センサ２１に加えて、センサ２２を含んでいる。センサ２２は、センサ２１と種類が異なり、センサ２１と視点の異なる位置に配設されている。センサ２１は、第１実施形態にて説明したように、対象空間（つまり、教師空間）において放射波の経路上の空間構造を、放射波を用いて観測する。この観測により、空間分布信号が得られる。

【0084】

センサ２２は、対象空間（つまり、教師空間）において空間構造以外の「空間特性パラメータ」に関して観察して「観察信号」を得る。すなわち、ここでは、「観察信号」は、上記の空間分布信号と特性が異なっている。「空間特性パラメータ」とは、空間（物体）の持つ特性を表すパラメータを意味する。

【0085】

以下では、センサ２１は、ＬｉＤＡＲであり、センサ２２は、２次元ＲＧＢカメラであるものとして説明する。この場合、センサ２１では、１次元以上の空間分布を示す「空間分布信号」が得られる。また、センサ２２では、色に関する値が得られる。すなわち、この場合、上記の「空間特性パラメータ」は、「色（より広い意味では反射スペクトル）」である。センサ２２の観測信号（つまり、この色に関する値）は、輝度値、すなわち「０次元の信号（情報）」である。ＲＧＢカメラはＲＧＢ個々の輝度値が得られるため、より正確には「３つの０次元信号」であるが、本実施形態の説明ではデータ量のオーダーについて議論をするため「０次元信号」として扱うものとする。

【0086】

図６では１つのセンサ２１と１つのセンサ２２を示しているが、個数はこれに限定されるものではない。また、図６では、２種類のセンサを示しているが、センサの種類数もこれに限定されるものではない。上記の通り、視点数が多いほど学習モデルの空間分布関数の精度がよくなるため、観測システムを構成するセンサの台数はより多いことが好ましい。特に、観測システム２は、２種類以上で且つ４つ以上のセンサを含んでいることがより望ましい。第１実施形態と同様で視点数が多いほど学習モデルが再現する像が高精細になるためである。

【0087】

（演算システムについて）
図６において演算システム３は、取得部３１と、学習部（第１学習部）３３と、取得部３４と、学習部（第２学習部）３５とを有している。学習部３３は、サンプリング部３２Ａと、形成部３２Ｂと、評価部３２Ｃと、更新部３３Ａとを有している。学習部３５は、サンプリング部３５Ａと、形成部３５Ｂと、評価部３５Ｃとを有している。なお、サンプリング部３２Ａ及び形成部３２Ｂは、上記の「レンダリング」を行う機能部に相当する。すなわち、サンプリング部３２Ａ及び形成部３２Ｂは、「第１レンダラー」に含まれる。また、サンプリング部３２Ａ及び形成部３２Ｂは、上記の「レンダリング」を行う機能部に相当する。すなわち、サンプリング部３２Ａ及び形成部３２Ｂは、「第２レンダラー」に含まれる。なお、ここでは、センサ２１の種類とセンサ２２の種類とが異なるため第１レンダラー及び第２レンダラーが設けられているが、センサ２１の種類とセンサ２２の種類とが同じ場合には、１つのレンダラーが共用されてもよい。

【0088】

サンプリング部３２Ａ、形成部３２Ｂ、及び評価部３２Ｃについては第１実施形態及び第２実施形態において説明しているので、ここでは、その説明は省略される。

【0089】

取得部３４は、センサ２２によって観測された観測信号を教師信号（以下では、「第２教師信号」と呼ばれることある）として取得する。なお、以下では、取得部３１で取得される教師信号は、「第１教師信号」と呼ばれることがある。

【0090】

サンプリング部３５Ａは、センサ２２が上記の観測信号を得るために観測した観測点に対応するサンプル点（以下、「第２種サンプル点」と呼ぶことがある）の位置に関する情報を、空間推定モデル４１に入力する。この入力により、空間推定モデル４１は、第２種サンプル点の空間特性パラメータに関連するパラメータ値（ここでは、色に関する値）を出力する。そして、サンプリング部３５Ａは、第２種サンプル点の空間特性パラメータに関連するパラメータ値（ここでは、色に関する値）を取得する。これにより、第２種サンプル点の位置に関する情報と第２種サンプル点の空間特性パラメータに関連するパラメータ値との対応関係を取得することができる。なお、以下では、サンプリング部３２Ａが扱うサンプル点は、「第１種サンプル点」と呼ばれることがある。

【0091】

形成部３５Ｂは、第２種サンプル点の位置に関する情報と第２種サンプル点の空間特性パラメータに関連するパラメータ値とに基づいて、推定信号（以下では、「第２推定信号」と呼ばれることがある）を形成する。この「第２推定信号」は、第２教師信号と比較するための信号であり、第２教師信号と同様の形式の信号である。なお、以下では、形成部３２Ｂで得られる推定信号は、「第１推定信号」と呼ばれることがある。

【0092】

評価部３５Ｃは、第２教師信号と第２推定信号との差分量（以下では、「第２差分量」と呼ばれることがある）を算出する。なお、以下では、評価部３２Ｃで得られる差分量は、「第１差分量」と呼ばれることがある。

【0093】

更新部３３Ａは、第１差分量及び第２差分量に基づいて、空間推定モデル４１を更新する。例えば、第１推定信号の次元数と第２推定信号の次元数とが異なる場合（つまり、第１教師信号の次元数と第２教師信号の次元数とが異なる場合）、更新部３３Ａは、第１差分量及び第２差分量に重み付けを行い、重み付け後の第１差分量及び第２差分量を合算した合算値に基づいて、空間推定モデル４１を更新してもよい。
また第１差分量によるモデルの更新と第２の差分量よるモデルの更新は必ずしも同時に行われる必要はなく、各々別のタイミングで実施されてもよいし、交互になされてもよい。その場合は各々の差分量を合算する必要はなく、重み付けのみ行われていればよい。各差分量による更新の頻度がそれぞれ異なるのであれば、各重みにその更新比率を反映させてもよい。

【0094】

以上のように、第３実施形態では、学習部３３と学習部３５とは、共通の空間推定モデル４１の学習を進めている。

【0095】

＜システムの動作例＞
以上の構成を有するシステム１の処理動作の一例について説明する。ここでは、主に演算システム３の処理動作について説明する。

【0096】

図７は、第３実施形態における第２学習部（学習部３５）の処理動作の一例を示すフローチャートである。

【0097】

第３実施形態の演算システム３において取得部３４は、センサ２２（２次元ＲＧＢカメラ）の観測信号に作用する観測領域の範囲に関する情報を取得する（ステップＳ３１）。取得部３４は、センサ２２の視点及び方位に関する情報を取得し、この取得した情報に基づいて、観測領域の範囲に関する情報を決定してもよい。

【0098】

取得部３４は、センサ２２によって観測された観測信号を第２教師信号として取得する（ステップＳ３２）。

【0099】

サンプリング部３５Ａは、センサ２２の観測信号に作用する「空間領域（推定観測領域、放射波領域）」を決定する（ステップＳ３３）。

【0100】

サンプリング部３５Ａは、決定した「空間領域」における第２種サンプル点の位置に関する情報を空間推定モデル４１に入力する（ステップＳ３４）。この入力により、空間推定モデル４１は、第２種サンプル点の空間特性パラメータに関連するパラメータ値（ここでは、色に関する値）を出力する。

【0101】

サンプリング部３５Ａは、第２種サンプル点の空間特性パラメータに関連するパラメータ値（ここでは、色に関する値）を取得する（ステップＳ３５）。

【0102】

形成部３５Ｂは、パラメータ値（ここでは、色に関する値）に対して物理演算を施して、第２推定信号に変換する（ステップＳ３６）。この第２推定信号は、第２教師信号と比較するための信号であり、第２教師信号と同様の形式の信号である。

【0103】

評価部３５Ｃは、第２教師信号と第２推定信号との差分量である第２差分量を算出する（ステップＳ３７）。この第２差分量は、更新部３３Ａによって用いられる。

【0104】

図８は、第３実施形態における第１学習部（学習部３３）の処理動作の一例を示すフローチャートである。ステップＳ２１～Ｓ２７については第２実施形態で説明したので、その説明は省略される。

【0105】

更新部３３Ａは、第１差分量及び第２差分量に基づいて、空間推定モデル４１を更新する（ステップＳ４１）。

【0106】

ここで、上記の例では、第１差分量の次元数と第２差分量の次元数とが異なっている。すなわち、センサ２１で得られる観測信号は１次元の密度分布信号であり、センサ２２で得られる観測信号は０次元信号である。センサ２１で得られる観測信号関して、例えば距離軸の刻みが１００であるとする。このとき、センサ２１で得られる観測信号が第１差分量（損失）に与える影響は、センサ２２で得られる観測信号が第２差分量（損失）に与える影響の１００倍になる可能性がある（同じ数値型の場合）。そこで、推定信号の次元の差によって学習モデルへの作用のアンバランスさを解消するため、更新部３３Ａは、次元差を低減する演算を行ってもよい。

【0107】

この次元差を緩和するための演算は、第１差分量に対して行われてもよいし、第２差分量に対して行われてもよいし、第１差分量及び第２差分量の両方に対して行われてもよい。最も単純な方法では、それぞれの差分量（損失）についてそれぞれ係数をかける線形的な方法である。例えば、センサ２１の１次元信号がＮステップであれば、更新部３３Ａは、第１差分量に対して係数１／Ｎを乗算してもよい。これにより、第１差分量と第２差分量との平準化が図られる。逆に、更新部３３Ａは、第２差分量に対して係数Ｎを乗算してもよい。

【0108】

また、更新部３３Ａは、例えば、センサ２１の情報よりもセンサ２２の情報を重視した場合には、第２差分量の値が大きくなるように、第２差分量に乗算される重み係数を調整してもよい。

【0109】

以上のように第３実施形態によれば、複数種類のセンサを用いて学習モデルを学習するため、それぞれのセンサで得られる異なった情報を用いて、より効率的に空間推定モデルの学習を進めることができる。また、空間推定モデルは、それぞれのセンサが得る異なる属性を同時に学習することができる。

【0110】

＜変形例＞
＜１＞以上の説明では、センサ２２が２次元ＲＧＢカメラであるケースを例にとって説明を行ったが、これに限定されるものではない。例えば、センサ２２は、空間特性パラメータとして物体反射率（より広い意味ではＢＲＤＦ）を観測可能なセンサであってもよいし、空間特性パラメータとして熱分布を観測可能なセンサであってもよい。また、センサ２２は、空間特性パラメータとして、面の荒さ、テクスチャ、材質、又は、成分などを観測可能なセンサであってもよい。

【0111】

また、センサ２２は、空間特性パラメータとして、音源の音量、面弾性などを観測可能な音響センサであってもよい。

【0112】

観測システム２に多種多様なセンサを混在させることで、単体のセンサでは取得できなかった物体特性を同一の分布関数（つまり学習モデル）に付与することができる。このような複数種類センサを統合するイメージング手法は、センサーフュージョンやマルチモーダルセンシングなどと呼ばれている。

【0113】

＜２＞第３実施形態のセンサ（特に、センサ２２）は、送信機（照射部）を備えたアクティブ型センサでなくてもよく、空間の媒体信号から空間信号を得るセンサでもよい。例えば、ステレオカメラやライトフィールドカメラのような原理で幾何光学的に奥行きを計測するカメラの類は、環境照明による物体からの反射光線を観測し、解析することによって距離を計測できるセンサとみなせる。このようなセンサの出力は、ＬｉＤＡＲのような深度画像である。このため、このようなセンサが第３実施形態のセンサとして用いられてもよい。

【0114】

＜第４実施形態＞
第４実施形態は、複数の放射基準方位から放射されセンサに到達する放射波が広がる放射波領域において、複数の放射基準方位と交わる曲線領域又は曲面領域である注目領域に沿った空間構造について観察された空間分布信号を教師信号として用いる、空間推定モデルの学習に関する。

【0115】

（第４実施形態の関連技術について）
まず、球面座標家について説明する。図９は、球面座標系の説明に供する図である。

【0116】

図９の左図には、センサから放射波が放射される様子を模式的に表している。図９の左図において、矢印は、放射波の「放射基準方位（放射基準方向）」を表している。すなわち、図９の左図では、複数の放射基準方位が示されている。第４実施形態では、センサが１つの放射基準方位に放射波を放射すると、放射波（ビーム幅）が扇状に広がるケースを想定している。なお、以下では、１つの放射基準方位に放射された放射波が広がる領域は、「放射波単位領域」と呼ばれることがある。また、すべての放射基準方位についての放射波単位領域を合わせた領域は、「放射波領域」と呼ばれることがある。

【0117】

図９の左図では、距離r、角度uの球面座標系によって、放射波を模式的に表している。なお、実際には、図９の紙面奥行き方向にも角度変数（例えば、角度ｖ）が存在するが、ここでは表示を省略している。以降、角度ｕに注目して説明するが、角度ｖ方向は角度ｕ方向と等価であるものとする。

【0118】

対象空間（学習空間）に設置されたセンサに到達する放射波は、放射状の光線で表すことができる。又は、対象空間（学習空間）に設置されたセンサから放射された放射波は、放射状に広がると考えてもよい。放射波が光の場合、厳密には、光線は、扇状（放射状）に広がる。また、光の強度は、距離によって減衰し、同じ距離ｒであれば光の強度は同じであると考えることができる。このため、直交座標系よりも球面座標系で空間を定義した方が、都合がよい場合がある。

【0119】

この球面座標系での分布計算の理解を簡単にするために、以降の説明において、グラフをプロットする際には、図９の右図のように、横軸を角度u、縦軸を距離ｒとする直交座標系を用いてプロットすることとする。なお、グラフは、一見、直交座標系に見えるが、球面座標系を表していることに注意されたい。

【0120】

図１０は、第１実施形態の前に記載した関連技術の内容を、球面座標系を用いて説明するための図である。

【0121】

図１０には、学習モデルの出力から得られる密度分布が示されている。学習モデルは、光線が当たる領域の複数のサンプル点の位置に関する情報を受け取り、その複数のサンプル点に対応する密度分布を出力する。図１０に示すように、この密度分布に線積分が施されて、推定（ピクセル）値が得られている。この推定（ピクセル）値と教師（ピクセル）値とを比較することによって差分量（損失）が算出される。

【0122】

この時の光線幅は、角度ｕ軸の最小刻みの幅であるものと考えることができる。そして、得られる密度分布は、この光線幅に干渉する領域において得られているものと解釈できる。なお、繰り返しになるが、ここでの「光線」は、本開示の放射波に含まれる。また、非特許文献１では、光線方向は、サンプリング経路の伸びる方向に略一致している。これは、光線上の密度の積算によって、ピクセル値の推定計算（レンダリング）を行っているためである。

【0123】

図１１は、第１実施形態及び第２実施形態の内容を、球面座標系を用いて説明するための図である。光線（光束、放射波）は、所定レベルより広い幅を持っており、干渉する幅が大きくなる。図１１の左図に示すように、図１０の例よりも、角度ｕ方向において密度分布が得られる範囲が増える。実際に有限の光束径を持つＬｉＤＡＲの信号は、同じ距離rにおいてこの光束に干渉した物体に対応する密度が積算されたような値を持っている。もし光束径内に構造の段差や傾斜がある場合には、その構造の段差や傾斜に対応する領域における密度の平均値のような値が観測される。これは、２次元画像でいうところの「ボケ」と同義である。すなわち、光束が太いと、その分、角度分解能（解像度）が低下し、信号が鈍る。得らえる信号も、光束径が大きいほど鈍ったような信号となる。

【0124】

図１１の右図に示すように、教師分布信号と推定分布信号とを比較して、差分量（損失）が算出される。光束径が太くなることによって、距離rの点に対応する信号は鈍る。しかしながら、第１実施形態の演算システムの構成であれば、距離rの方向の分布が得られるので、図１１の右図に示すように、１次元の信号分布を用いた比較が可能である。

【0125】

＜第４実施形態のシステムについて＞
図１２は、第４実施形態におけるシステムの一例を示すブロック図である。図１２においてシステム５は、観測システム６と、演算システム７と、推定装置４０とを有している。なお、図１２には機能分けの一例が示されているが、機能の分け方はこれに限定されるものではない。すなわち、図１２に示されている機能部は、適宜、分割されてもよいし、任意の組み合わせで集約されてもよい。また、図１２における各機能部のシステム又は装置への振り分け方は、一例であり、これに限定されるものではない。例えば、推定装置４０は、演算システム７に含まれてもよい。また、演算システム７に含まれる複数の機能部は、互いに接続された独立の複数の装置に振り分けられてもよい。

【0126】

（観測システムについて）
図１２において観測システム６は、センサ６１を含んでいる。センサ６１は、例えば、ＬｉＤＡＲであってもよいし、レーダーであってもよいし、音響センサであってもよい。なお、図１２ではセンサ６１を１つ示しているが、観測システム２は、複数のセンサ２１を含んでいる。
以降はセンサ６１にＬｉＤＡＲを想定した説明をする。そのため受信信号に干渉する放射領域は照射領域と略一致しており、放射軸および放射基準方位も照射軸と一致している。
また図示していないがセンサ６１は被写体を異なる視点で観測するよう複数台配置されている。

【0127】

上記の通り、第４実施形態では、センサが１つの放射基準方位に照射波を照射すると、照射波（ビーム幅）が扇状に広がるケースを想定している。センサ６１がＬｉＤＡＲの場合、センサ６１が１つの放射基準方位に照射波を照射すると、照射波は、その放射基準方位を中心として拡散角５°程度の角度範囲に照射されてもよい。そして、照射波に基づく反射波（放射波）は、おおよそこのビーム幅（照射波）の広がる範囲にて反射してくる。このため、ビームが広がる領域は、観測領域に略一致している。なお、本実施形態の原理的には、照射波の広がり角が広くても一種の「波面」を取り扱うため、拡散角は、５°以上であってもよい。また、センサ６１がレーダーの場合、センサ６１が１つの放射基準方位に照射波を照射すると、照射波は、その放射基準方位を中心として拡散角４５°程度の角度範囲に照射されてもよい。また、センサ６１が音響センサの場合、センサ６１が１つの放射基準方位に照射波を照射すると、照射波は、その放射基準方位を中心として拡散角１８０°程度の角度範囲に照射されてもよい。この拡散角の大きさは、使用するセンサが観測可能な放射波領域の有効径（有効広がり角）によって適宜決定されればよい。

【0128】

なお、第１実施形態では、センサに市販のＬｉＤＡＲを用いる場合には、内部的な中間信号である、「距離に対する強度分布の１次元信号」が教師信号として用いられることを前提としている。これに対して、第４実施形態では、市販のＬｉＤＡＲの０次元相当の信号を用いることもできる。

【0129】

（演算システム及び推定装置について）
図１２において演算システム７は、取得部７１と、学習部７２とを有している。学習部７２は、サンプリング部７２Ｂと、算出部７２Ｃと、評価部７２Ｄと、更新部７２Ｅとを有している。図１２において推定装置４０は、空間推定モデル４１を保持している。なお、サンプリング部７２Ｂ及び算出部７２Ｃは、上記の「レンダリング」を行う機能部に相当する。すなわち、サンプリング部７２Ｂ及び算出部７２Ｃは、「レンダラー」に含まれる。

【0130】

複数の角度方位において照射波を照射したことにより、取得部７１は、複数の放射基準方位を軸とした「放射波領域」の信号を取得する。各「放射波領域」において「注目領域」に沿った空間構造について、放射波を介しセンサ６１が観測した空間分布信号を教師信号として採用する。ここで、「注目領域」は、複数の放射基準方位と交わる曲線領域又は曲面領域である。すなわち、ここで言及している、「注目領域」に沿った空間構造は、図１３の左図において、「Real density」と記載された曲線に相当し、センサ６１によって観察された空間分布信号は同曲線の角度ｕ方向の積算値に相当する。図１３は、第４実施形態における学習部の処理動作の一例の説明に供する図である。

【0131】

学習部７２は、教師信号を用いて空間推定モデル４１の学習を実行する。

【0132】

具体的には、サンプリング部７２Ｂは、上記の「注目領域」の上の複数のサンプル点のそれぞれの位置に関する情報を空間推定モデル４１に入力する。例えば、サンプリング部７２Ｂは、図１３の右上図の「Sampling path(surface)」上のサンプル点に関する情報（例えば、サンプル点の座標（ｕ、ｒ））を空間推定モデル４１に入力する。すなわち、第４実施形態では、サンプリング領域（第４実施形態では、密度を積算する対象の領域範囲）が伸びる方向が、光線方向（つまり、図１３の右上図のｒ軸に平行な方向）と一致していない。

【0133】

この入力により、空間推定モデル４１は、複数のサンプル点に照射波を反射する物体（つまり、被写体）が存在する確率に関連する推定密度を出力する。そして、サンプリング部７２Ｂは、空間推定モデル４１が出力した推定密度を取得する。これにより、サンプリング部３２Ａは、複数のサンプル点のそれぞれの位置に関する情報と各サンプル点に対応する推定密度との対応関係を取得することができる。

【0134】

算出部７２Ｃは、複数のサンプル点にそれぞれ対応する複数の推定密度を積算して推定信号（値）を算出する。

【0135】

ここで、図１３の左図の角度ｕ軸に平行な各行が注目領域となり得る。すなわち、角度ｕ軸に平行な複数の行は、センサ６１からの距離がそれぞれ異なる複数の注目領域である。このため、算出部７２Ｃは、複数の注目領域のそれぞれについて推定信号値を算出することによって、センサ６１から遠ざかる方向の推定空間分布信号を形成することができる。また、図１３の左図及び右上図の角度ｕ軸は、現実には、図１３の右下図のように、球面状の曲面になっている。このため、第４実施形態では、学習において、信号の「波面表現」を利用している、と解釈できる。

【0136】

なお、算出部７２Ｃは、積算処理の前に、第１実施形態及び第２実施形態の形成部３２Ｂと同様に、複数のサンプル点にそれぞれ対応する複数の推定密度（つまり、推定密度分布）を物理演算によって変換してもよい。このとき、算出部７２Ｃは、変換後の推定密度分布を積算することによって、推定信号値を算出する。

【0137】

評価部７２Ｄは、教師信号値と推定信号値とに基づいて、差分量を算出する。例えば、評価部７２Ｄは、センサ６１から遠ざかる方向の空間分布信号とセンサ６１から遠ざかる方向の推定空間分布信号とに基づいて、差分量を算出してもよい。
さらに複数のセンサ６１からの同様に差分量を得て集計することで複数視点からの信号を合算する。本実施形態においてセンサ６１は角度方向の分解能を持たないため、単体のセンサとしては空間分解能が低下する。そこでセンサ６１の設置台数を増やし各視点からの差分信号を増やすことで空間構造の推定能力を上げることができる。

【0138】

更新部７２Ｅは、これら差分量に基づいて、空間推定モデル４１を更新する。更新部７２Ｅは、差分量が小さくなるように、空間推定モデル４１を更新する。これにより、空間推定モデル４１の学習が進むことになる。

【0139】

（実装例）
第４実施形態の技術の実装方法として最も簡単な例は、非特許文献１の手法をベースに、複数の光線を高密度に設定することによって、波面を定義する方法である。
定義する複数の光線の光線間の角度刻みを密に設定することによって、第４実施形態のように扇状に広がる光束を近似できる。サンプリング部７２Ｂは、密な複数の光線のそれぞれについて、距離に対する１次元の推定強度分布を求める。そして、算出部７２Ｃは、複数の光線の同一距離（同一波面に相当）の推定密度の値をとりまとめ（つまり、距離に対する推定強度分布上の値を波面方向にサンプリングし）、積算する。そうすると、１つの１次元データに集約されるので、評価部７２Ｄは、これを波面表現の推定強度分布（つまり、波面表現の推定空間分布信号）として利用できる。

【0140】

このときの個々の光線の上の密度値をサンプリングする際、サンプリング部７２Ｂは、サンプリング点の周辺の密度を加味した換算値を用いてもよい。例えば、光線上のサンプリング点の密度値に、光線に垂直方向の密度分布の各密度に対して距離応じた重みを加えた値を、加算すれば、実質的に“太い光線”を設定していることと等価になる。個々の光線においてある程度のサイズの断面積を設定できれば、波面を近似する密な複数の光線の光線数を削減でき、計算コストまたはメモリ消費を抑える効果が得られる。なお、上記のような光線の周りの密度分布を加味する計算は、数学的に等価であれば同等であるものとする。例えば、上記のＰＥによって変換された位置情報の高次元ベクトル配列に周辺座標の値が反映されるような仕組みを導入しても、計算上は光線の径を加味した密度値が得られる。

【0141】

以上のように第４実施形態によれば、波面表現の信号で学習が実行できることから、指向性の小さい、波面表現に近い媒体を利用したセンサを使っても、空間分布の学習及びイメージングが可能になる。例えば、電波（レーダー、無線）や音波を利用したセンサにも適用可能である。また、波面表現の信号を用いることから、非特許文献１及び非特許文献２（つまり、教師データのピクセル値と推定ピクセル値との差分を求めるケース）に比べて、多くの個数の差分量を得ることができる。更新部７２Ｅは、この多くの個数の差分量に基づいて空間推定モデルを更新できるので、学習をより効率的に進めることができる。

【0142】

＜変形例（応用例）＞
変形例（応用例）として、波面に相当するサンプリング領域（つまり、上記の注目領域）自体を学習させてもよい。図１４は、サンプリング領域の学習の説明に供する図である。図１５は、第４実施形態の変形例におけるシステムの一例を示す図である。

【0143】

第４実施形態では、波面に沿った推定値をサンプリングするが、例えば、この波面領域（注目領域）を、パラメータで学習可能な関数によって、表す。ここでは、この関数を「波面（注目領域）定義関数」と呼ぶこととする。この波面定義関数の初期値は、センサ６１の視点を中心とした球面になるように設定しておくとよい（図１４の左図参照）。微分可能レンダリングの手法によれば、計算グラフに対してこの波面定義関数も接続した状態で、学習を進めると、波面定義関数のパラメータは、最適化の過程で、より現実に近い波面を表すように更新される。例えば、温度分布があるような空気層に対して、ＬｉＤＡＲ光線を飛ばすことを考える。このとき、図１４の右図のように、球面からずれた波面が形成されることがある。これは、放射波の波面の歪みが見えていることになる。すなわち、これは、空間上の放射波（ここでは光）に対する屈折率分布が得られていることと等価である。すなわち、第４実施形態の変形例の手法を用いれば、光線の強度信号としては得られない、空間媒質（この例では空気）の属性（ここでは、屈折率）の分布を間接的に得ることが可能である。

【0144】

また、第４実施形態においてはサンプリング領域（特にそのうちの積算領域）を、球面の領域で規定したが、これに限定されない。例えば、サンプリング領域の形状は、センサ６１が受信する放射波の物理伝搬モデル、および受信信号の形態に応じて、適宜変更可能である。例えば、センサ６１が楕円に広がる信号を同時受信するのであれば、サンプリング領域の形状を楕円にしてもよい。センサ６１の放射波が平面波で表現できるのであれば、サンプリング領域の形状を平面で規定してもよい。また、サンプリング領域の形状は、多項式で近似するような複雑な波面の形状であってもよい。

【0145】

第４実施形態の変形例において、演算システム７は、推定部７３をさらに有している。上記の通り、波面（注目領域）定義関数が学習部７２の計算グラフに接続されている。更新部７２Ｅは、評価部７２Ｄで得られた差分量に基づいて、波面（注目領域）定義関数のパラメータを更新する。

【0146】

推定部７３は、パラメータが最適化された波面（注目領域）定義関数を用いて、該関数によって表現される波面領域（注目領域）の形状に基づいて、空間の放射波に対する屈折率分布を推定する。

【0147】

＜他の実施形態＞
図１６は、演算システムのハードウェア構成例を示す図である。図１６において演算システム１００は、プロセッサ１０１と、メモリ１０２とを有している。プロセッサ１０１は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１０１は、複数のプロセッサを含んでもよい。メモリ１０２は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１０２は、プロセッサ１０１から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１０１は、図示されていないI/O(Input/Output)インタフェースを介してメモリ１０２にアクセスしてもよい。

【0148】

第１実施形態から第４実施形態の演算システム３，７は、それぞれ、図１６に示したハードウェア構成を有することができる。第１実施形態から第４実施形態の演算システム３，７の取得部３１，３４，７１と、学習部３２，３３，３５，７２と、推定部７３とは、プロセッサ１０１がメモリ１０２に記憶されたプログラムを読み込んで実行することにより実現されてもよい。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、演算システム３，７に供給することができる。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、非一時的なコンピュータ可読媒体の例は、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗを含む。さらに、非一時的なコンピュータ可読媒体の例は、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって演算システム３，７に供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムを演算システム３，７に供給できる。

【0149】

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【符号の説明】

【0150】

１ システム
２ 観測システム
３ 演算システム
５ システム
６ 観測システム
７ 演算システム
２１ センサ
２２ センサ
３１ 取得部
３２ 学習部
３２Ａ サンプリング部
３２Ｂ 形成部
３２Ｃ 評価部
３２Ｄ 更新部
３３ 学習部（第１学習部）
３３Ａ 更新部
３４ 取得部
３５ 学習部（第２学習部）
３５Ａ サンプリング部
３５Ｂ 形成部
３５Ｃ 評価部
４０ 推定装置
４１ 空間推定モデル
６１ センサ
７１ 取得部
７２ 学習部
７２Ｂ サンプリング部
７２Ｃ 算出部
７２Ｄ 評価部
７２Ｅ 更新部
７３ 推定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】