特許 7382038 情報処理システム、情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-08

(45)【発行日】2023-11-16

(54)【発明の名称】情報処理システム、情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G01N 21/17 20060101AFI20231109BHJP

   G01B 11/06 20060101ALI20231109BHJP

   G01W 1/00 20060101ALI20231109BHJP

   G06N 20/20 20190101ALI20231109BHJP

【ＦＩ】

G01N21/17 F

G01B11/06 Z

G01N21/17 A

G01W1/00 J

G06N20/20

【請求項の数】 16

(21)【出願番号】P 2019215755

(22)【出願日】2019-11-28

(65)【公開番号】P2021085785

(43)【公開日】2021-06-03

【審査請求日】2022-08-29

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３０年度、国土交通省、交通運輸技術開発推進制度、産業技術力強化法第１７条の適用を受ける特許出願

(73)【特許権者】

【識別番号】503361400

【氏名又は名称】国立研究開発法人宇宙航空研究開発機構

(73)【特許権者】

【識別番号】591102095

【氏名又は名称】三菱電機ソフトウエア株式会社

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100161702

【弁理士】

【氏名又は名称】橋本 宏之

(74)【代理人】

【識別番号】100188592

【弁理士】

【氏名又は名称】山口 洋

(74)【代理人】

【識別番号】100181124

【弁理士】

【氏名又は名称】沖田 壮男

(74)【代理人】

【識別番号】100163496

【弁理士】

【氏名又は名称】荒 則彦

(72)【発明者】

【氏名】神田 淳

(72)【発明者】

【氏名】佐藤 裕司

(72)【発明者】

【氏名】内方 一平

(72)【発明者】

【氏名】山本 友誉

【審査官】伊藤 裕美

(56)【参考文献】

【文献】特開２０００－１８０３５７（ＪＰ，Ａ）

【文献】特開２０１９－０７８７２０（ＪＰ，Ａ）

【文献】国際公開第２０１０／１４０６１３（ＷＯ，Ａ１）

【文献】特開２００７－２５７１４８（ＪＰ，Ａ）

【文献】特開２０１５－００７６０５（ＪＰ，Ａ）

【文献】特開２００７－１４７５１７（ＪＰ，Ａ）

【文献】特開２０２０－１３４３４７（ＪＰ，Ａ）

【文献】FRITSCH, J. et al. ，Monocular Road Terrain Detection by Combining Visual and Spatial Information，IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS，2014年08月，VOL. 15, NO. 4，1586-1596

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／００－Ｇ０１Ｎ ２１／６１

Ｇ０１Ｗ １／００－Ｇ０１Ｗ １／１８

Ｇ０１Ｂ １１／００－Ｇ０１Ｂ １１／３０

Ｇ０１Ｂ １５／００－Ｇ０１Ｂ １５／０８

Ｇ０１Ｓ １７／００－Ｇ０１Ｓ １７／９５

Ｇ０６Ｎ ２０／００－Ｇ０６Ｎ ２０／２０

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

堆積物に対して電磁波を照射する照射部と、
前記照射部によって前記堆積物に照射された前記電磁波の散乱波又は透過波を検出する検出部と、
前記検出部によって検出された前記散乱波又は前記透過波に基づく画像から、前記堆積物の状態を判定する判定部と、
前記検出部によって検出された前記散乱波又は前記透過波に基づく画像から複数の特徴量を抽出する抽出部と、を備え、
前記判定部は、物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体の状態量を出力するように学習されたモデルに対して、前記抽出部によって抽出された前記複数の特徴量を入力し、前記複数の特徴量を入力した前記モデルの出力結果に基づいて、前記堆積物の状態を判定し、
前記モデルは、前記物体の互いに異なる厚さを含む状態量を出力するように学習された複数の弱学習器を含み、
前記判定部は、前記複数の弱学習器のそれぞれによって出力された前記状態量に含まれる前記厚さに基づいて、前記堆積物の状態を判定する、
情報処理システム。

【請求項2】

前記判定部は、前記堆積物の種類、性質、及び物理的特性の少なくとも一つを、前記状態として判定する、
請求項１に記載の情報処理システム。

【請求項3】

前記モデルは、前記弱学習器として、少なくとも第１モデルと、第２モデルと、第３モデルとを含み、
前記第１モデルは、第１閾値以上かつ前記第１閾値よりも大きい第２閾値未満の第１範囲と、前記第２閾値以上かつ前記第２閾値よりも大きい第３閾値未満の第２範囲とを合わせた第３範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第３範囲内の厚さであることを表す状態量を出力するように学習されたモデルであり、
前記第２モデルは、前記第１範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第１範囲内の厚さであることを表す状態量を出力するように学習されたモデルであり、
前記第３モデルは、前記第２範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第２範囲内の厚さであることを表す状態量を出力するように学習されたモデルである、
請求項１に記載の情報処理システム。

【請求項4】

前記判定部は、
前記抽出部によって抽出された複数の特徴量を前記第１モデルに入力し、
前記複数の特徴量を入力した前記第１モデルの出力結果である第１結果に基づいて、前記第２モデルまたは前記第３モデルのいずれか一方を選択し、
前記選択したモデルに、前記第１モデルに入力した前記複数の特徴量の一部又は全部を入力し、
前記選択したモデルの出力結果である第２結果、または前記第１結果と前記第２結果とを組み合わせた第３結果に基づいて、前記堆積物の厚さを判定する、
請求項３に記載の情報処理システム。

【請求項5】

前記判定部は、
前記第１モデルによって、前記堆積物の厚さが前記第１範囲内であることを示す結果が出力された場合、前記第２モデルを選択し、
前記第１モデルによって、前記堆積物の厚さが前記第２範囲内であることを示す結果が出力された場合、前記第３モデルを選択する、
請求項４に記載の情報処理システム。

【請求項6】

前記モデルは、前記弱学習器として、少なくとも第１モデルと、第２モデルと、第３モデルとを含み、
前記第１モデルは、複数の性質のいずれかをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体の性質が前記複数の性質のいずれかであることを表す状態量を出力するように学習されたモデルであり、
前記第２モデルは、前記複数の性質に含まれる第１の性質をもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体の性質が前記第１の性質であることを表す状態量を出力するように学習されたモデルであり、
前記第３モデルは、前記複数の性質に含まれ、前記第１の性質と異なる第２の性質をもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体の性質が前記第２の性質であることを表す状態量を出力するように学習されたモデルである、
請求項１に記載の情報処理システム。

【請求項7】

前記判定部は、
前記抽出部によって抽出された複数の特徴量を前記第１モデルに入力し、
前記複数の特徴量を入力した前記第１モデルの出力結果である第１結果に基づいて、前記第２モデルまたは前記第３モデルのいずれか一方を選択し、
前記選択したモデルに、前記第１モデルに入力した前記複数の特徴量の一部又は全部を入力し、
前記選択したモデルの出力結果である第２結果、または前記第１結果と前記第２結果とを組み合わせた第３結果に基づいて、前記堆積物の性質を判定する、
請求項６に記載の情報処理システム。

【請求項8】

前記判定部は、
前記第１モデルによって、前記堆積物の性質が前記第１の性質であることを示す結果が出力された場合、前記第２モデルを選択し、
前記第１モデルによって、前記堆積物の性質が前記第２の性質であることを示す結果が出力された場合、前記第３モデルを選択する、
請求項７に記載の情報処理システム。

【請求項9】

堆積物に対して電磁波を照射する照射部と、
前記照射部によって前記堆積物に照射された前記電磁波の散乱波又は透過波を検出する検出部と、
前記検出部によって検出された前記散乱波又は前記透過波に基づく画像から、前記堆積物の状態を判定する判定部と、
前記検出部によって検出された前記散乱波又は前記透過波に基づく画像から複数の特徴量を抽出する抽出部と、を備え、
前記判定部は、物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体の状態量を出力するように学習されたモデルに対して、前記抽出部によって抽出された前記複数の特徴量を入力し、前記複数の特徴量を入力した前記モデルの出力結果に基づいて、前記堆積物の状態を判定し、
前記モデルは、複数の弱学習器として、少なくとも第１モデルと、第２モデルと、第３モデルとを含み、
前記判定部は、前記複数の弱学習器のそれぞれの出力結果に基づいて、前記堆積物の状態を判定し、
前記第１モデルは、第１閾値以上かつ前記第１閾値よりも大きい第２閾値未満の第１範囲と、前記第２閾値以上かつ前記第２閾値よりも大きい第３閾値未満の第２範囲とを合わせた第３範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第３範囲内の厚さであることを表す状態量を出力するように学習されたモデルであり、
前記第２モデルは、前記第１範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第１範囲内の厚さであることを表す状態量を出力するように学習されたモデルであり、
前記第３モデルは、前記第２範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第２範囲内の厚さであることを表す状態量を出力するように学習されたモデルである、
情報処理システム。

【請求項10】

気象観測情報又は気象モデルによって予測された情報を含む外部情報を取得する取得部を更に備え、
前記判定部は、前記モデルに対して、前記取得部によって取得された前記外部情報を更に入力し、前記複数の特徴量と前記外部情報とを入力した前記モデルの出力結果に基づいて、前記堆積物の状態を判定する、
請求項１から９のうちいずれか一項に記載の情報処理システム。

【請求項11】

堆積物に対して照射された電磁波の散乱波又は透過波に基づく画像を取得する取得部と、
前記取得部により取得された前記画像から、前記堆積物の状態を判定する判定部と、
前記取得部により取得された前記画像から複数の特徴量を抽出する抽出部と、を備え、
前記判定部は、物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体の状態量を出力するように学習されたモデルに対して、前記抽出部によって抽出された前記複数の特徴量を入力し、前記複数の特徴量を入力した前記モデルの出力結果に基づいて、前記堆積物の状態を判定し、
前記モデルは、前記物体の互いに異なる厚さを含む状態量を出力するように学習された複数の弱学習器を含み、
前記判定部は、前記複数の弱学習器のそれぞれによって出力された前記状態量に含まれる前記厚さに基づいて、前記堆積物の状態を判定する、
情報処理装置。

【請求項12】

堆積物に対して照射された電磁波の散乱波又は透過波に基づく画像を取得する取得部と、
前記取得部により取得された前記画像から、前記堆積物の状態を判定する判定部と、
前記取得部により取得された前記画像から複数の特徴量を抽出する抽出部と、を備え、
前記判定部は、物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体の状態量を出力するように学習されたモデルに対して、前記抽出部によって抽出された前記複数の特徴量を入力し、前記複数の特徴量を入力した前記モデルの出力結果に基づいて、前記堆積物の状態を判定し、
前記モデルは、複数の弱学習器として、少なくとも第１モデルと、第２モデルと、第３モデルとを含み、
前記判定部は、前記複数の弱学習器のそれぞれの出力結果に基づいて、前記堆積物の状態を判定し、
前記第１モデルは、第１閾値以上かつ前記第１閾値よりも大きい第２閾値未満の第１範囲と、前記第２閾値以上かつ前記第２閾値よりも大きい第３閾値未満の第２範囲とを合わせた第３範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第３範囲内の厚さであることを表す状態量を出力するように学習されたモデルであり、
前記第２モデルは、前記第１範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第１範囲内の厚さであることを表す状態量を出力するように学習されたモデルであり、
前記第３モデルは、前記第２範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第２範囲内の厚さであることを表す状態量を出力するように学習されたモデルである、
情報処理装置。

【請求項13】

コンピュータを利用した情報処理方法であって、
堆積物に対して照射された電磁波の散乱波又は透過波に基づく画像を取得すること、
取得した前記画像から、前記堆積物の状態を判定すること、
取得した前記画像から複数の特徴量を抽出すること、
物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体の状態量を出力するように学習されたモデルに対して、抽出した前記複数の特徴量を入力し、前記複数の特徴量を入力した前記モデルの出力結果に基づいて、前記堆積物の状態を判定すること、
前記モデルは、前記物体の互いに異なる厚さを含む状態量を出力するように学習された複数の弱学習器を含み、
前記複数の弱学習器のそれぞれによって出力された前記状態量に含まれる前記厚さに基づいて、前記堆積物の状態を判定すること、
を含む情報処理方法。

【請求項14】

コンピュータを利用した情報処理方法であって、
堆積物に対して照射された電磁波の散乱波又は透過波に基づく画像を取得すること、
取得した前記画像から、前記堆積物の状態を判定すること、
取得した前記画像から複数の特徴量を抽出すること、
物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体の状態量を出力するように学習されたモデルに対して、抽出した前記複数の特徴量を入力し、前記複数の特徴量を入力した前記モデルの出力結果に基づいて、前記堆積物の状態を判定すること、
前記モデルは、複数の弱学習器として、少なくとも第１モデルと、第２モデルと、第３モデルとを含み、
前記複数の弱学習器のそれぞれの出力結果に基づいて、前記堆積物の状態を判定すること、を含み、
前記第１モデルは、第１閾値以上かつ前記第１閾値よりも大きい第２閾値未満の第１範囲と、前記第２閾値以上かつ前記第２閾値よりも大きい第３閾値未満の第２範囲とを合わせた第３範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第３範囲内の厚さであることを表す状態量を出力するように学習されたモデルであり、
前記第２モデルは、前記第１範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第１範囲内の厚さであることを表す状態量を出力するように学習されたモデルであり、
前記第３モデルは、前記第２範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第２範囲内の厚さであることを表す状態量を出力するように学習されたモデルである、
情報処理方法。

【請求項15】

コンピュータに実行させるためのプログラムであって、
堆積物に対して照射された電磁波の散乱波又は透過波に基づく画像を取得すること、
取得した前記画像から、前記堆積物の状態を判定すること、
取得した前記画像から複数の特徴量を抽出すること、
物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体の状態量を出力するように学習されたモデルに対して、抽出した前記複数の特徴量を入力し、前記複数の特徴量を入力した前記モデルの出力結果に基づいて、前記堆積物の状態を判定すること、
前記モデルは、前記物体の互いに異なる厚さを含む状態量を出力するように学習された複数の弱学習器を含み、
前記複数の弱学習器のそれぞれによって出力された前記状態量に含まれる前記厚さに基づいて、前記堆積物の状態を判定すること、
を含むプログラム。

【請求項16】

コンピュータに実行させるためのプログラムであって、
堆積物に対して照射された電磁波の散乱波又は透過波に基づく画像を取得すること、
取得した前記画像から、前記堆積物の状態を判定すること、
取得した前記画像から複数の特徴量を抽出すること、
物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体の状態量を出力するように学習されたモデルに対して、抽出した前記複数の特徴量を入力し、前記複数の特徴量を入力した前記モデルの出力結果に基づいて、前記堆積物の状態を判定すること、
前記モデルは、複数の弱学習器として、少なくとも第１モデルと、第２モデルと、第３モデルとを含み、
前記複数の弱学習器のそれぞれの出力結果に基づいて、前記堆積物の状態を判定すること、を含み、
前記第１モデルは、第１閾値以上かつ前記第１閾値よりも大きい第２閾値未満の第１範囲と、前記第２閾値以上かつ前記第２閾値よりも大きい第３閾値未満の第２範囲とを合わせた第３範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第３範囲内の厚さであることを表す状態量を出力するように学習されたモデルであり、
前記第２モデルは、前記第１範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第１範囲内の厚さであることを表す状態量を出力するように学習されたモデルであり、
前記第３モデルは、前記第２範囲内のいずれかの厚さをもつ前記物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる複数の特徴量が入力されると、前記物体が前記第２範囲内の厚さであることを表す状態量を出力するように学習されたモデルである、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理装置、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

道路面や滑走路面には、例えば、雪や氷、水、泥といった物体が堆積又は付着する。これら堆積物の状態量をモニタリングすることは、安全管理上重要である。これに関連して、道路管理を目的として、道路面に降り積もった雪の厚さ（深さ）をレーザ光などの反射を利用して計測する技術が知られている（例えば、特許文献１、２参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－００１３７９号公報

【文献】特開２０１６－１７００６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の技術では、堆積物の状態を精度よく判定することができていなかった。

【0005】

本発明は、このような事情を考慮してなされたものであり、堆積物の状態を精度よく判定することができる情報処理システム、情報処理装置、情報処理方法、及びプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

本発明の一態様は、堆積物に対して電磁波を照射する照射部と、前記照射部によって前記堆積物に照射された電磁波の散乱波又は透過波を検出する検出部と、前記検出部によって検出された前記散乱波又は前記透過波に基づく画像から、前記堆積物の状態を判定する判定部と、を備える情報処理システムである。

【発明の効果】

【0007】

本発明の一態様によれば、堆積物の状態を精度よく判定することができる。

【図面の簡単な説明】

【0008】

【図1】実施形態に係る情報処理システムの構成の一例を示す図である。

【図2】実施形態に係るセンサの一例を示す図である。

【図3】実施形態に係るセンサの他の例を示す図である。

【図4】実施形態に係るセンサの他の例を示す図である。

【図5】実施形態に係る情報処理装置の構成の一例を示す図である。

【図6】実施形態の制御部の一連の処理の流れの一例を示すフローチャートである。

【図7】光散乱画像から特徴量を抽出する様子を模式的に示す図である。

【図8】推定モデルに特徴量を入力する様子を模式的に示す図である。

【図9】厚さ推定モデルの具体的な構成の一例を示す図である。

【図10】性質推定モデルの具体的な構成の一例を示す図である。

【図11】性質推定モデルの具体的な構成の他の例を示す図である。

【図12】密度推定モデルの一例を示す図である。

【図13】実施形態に係る学習装置の構成の一例を示す図である。

【図14】実施形態の制御部の一連の処理の流れの一例を示すフローチャートである。

【図15】抽出モデルと推定モデルとを組み合わせたモデルの一例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照し、本発明の情報処理システム、情報処理装置、情報処理方法、及びプログラムの実施形態について説明する。

【0010】

［情報処理システムの構成］
図１は、実施形態に係る情報処理システム１の構成の一例を示す図である。図示のように、情報処理システム１は、複数のセンサ１０－１～１０－ｎ（ｎは任意の自然数）と、情報処理装置１００と、学習装置２００とを備える。これらの装置は、ネットワークＮＷに接続される。ネットワークＮＷは、例えば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）などである。複数のセンサ１０－１～１０－ｎのうちいずれかを区別しない場合、これらセンサ１０－１～１０－ｎをまとめてセンサ１０と称して説明する。

【0011】

センサ１０は、例えば、滑走路や道路、鉄道の線路付近などに埋設される。センサは、埋設場所に堆積した物体、すなわち堆積物にレーザ光を照射し、その照射したレーザ光の散乱光や透過光を検出する。堆積物は、例えば、雪や氷、水、泥、土、火山灰、砂などである。

【0012】

図２は、実施形態に係るセンサ１０の一例を示す図である。図示のように、センサ１０は、照射部１２と、複数の検出部１４（図中１４－１、１４－２、…）とを備える。照射部１２及び検出部１４は、例えば、樹脂やガラスといった光の透過性を有する透過部材１６に覆われている。

【0013】

照射部１２は、透過部材１６を介して外部に互いに波長の異なる複数のレーザ光を照射する。具体的には、照射部１２は、ある波長帯の可視光のレーザ光（以下、第１レーザ光と称する）と、第１レーザ光よりも波長が長い可視光のレーザ光（以下、第２レーザ光と称する）と、第２レーザ光よりも波長が長い近赤外光のレーザ光（以下、第３レーザ光と称する）と、第３レーザ光よりも波長が長い近赤外光のレーザ光（以下、第４レーザ光と称する）とを照射する。

【0014】

例えば、透過部材１６上に雪が堆積している場合、照射部１２から照射された複数のレーザ光は、雪によって反射される。この際、レーザ光の一部は、光散乱現象によって散乱する。

【0015】

複数の検出部１４のそれぞれは、例えば、透過部材１６上に堆積した雪によって散乱したレーザ光、つまり散乱光を検出する。例えば、複数の検出部１４のうち、第１検出部１４－１は、第１レーザ光の散乱光と第２レーザ光の散乱光を検出し、第２検出部１４－２は、第３レーザ光の散乱光と第４レーザ光の散乱光を検出する。各検出部１４は、散乱光を検出すると、その検出した散乱光の検出信号を、ネットワークＮＷを介して情報処理装置１００に送信する。

【0016】

また、センサ１０は、必ずしも雪などが堆積し得る場所に埋設されなくてもよい。図３は、実施形態に係るセンサ１０の他の例を示す図である。図示のように、例えば、センサ１０は堆積物の上方に設定されてよい。この場合、複数の検出部１４は、堆積物の上方から堆積物に向けてレーザ光を照射する。複数の検出部１４は、堆積物の上方へと散乱した散乱光を検出する。

【0017】

また、センサ１０は堆積物に照射したレーザ光の散乱光を検出する代わりに、透過光を検出してもよい。

【0018】

図４は、実施形態に係るセンサ１０の他の例を示す図である。図示のように、例えば、複数の検出部１４は、透過部材１６を介して、照射部１２と対向した位置に設けられてよい。照射部１２が透過部材１６の下側から透過部材１６上に堆積した雪に向けてレーザ光を照射した場合、そのレーザ光の一部は雪を透過し得る。この場合、照射部１２と対向した位置に設けられた検出部１４は、照射部１２から照射されたレーザ光の透過光を検出する。以下の説明では、一例としてセンサ１０が主に散乱光を検出するものとして説明する。

【0019】

［制御装置の構成］
図５は、実施形態に係る情報処理装置１００の構成の一例を示す図である。図示のように、情報処理装置１００は、例えば、通信部１０２と、表示部１０４と、制御部１１０と、記憶部１３０とを備える。

【0020】

通信部１０２は、例えば、受信機や送信機を含む無線通信モジュールであり、ネットワークＮＷを介して外部装置と無線通信する。外部装置には、例えば、センサ１０や学習装置２００が含まれる。また、外部装置には、センサ１０が埋設された滑走路を利用する航空機や、センサ１０が埋設された道路を利用する車両、センサ１０が埋設された線路を利用する鉄道車両などが含まれてもよい。

【0021】

また、外部装置には、センサ１０が埋設された地点、すなわち堆積物が存在する地点の周辺環境を観測する観測装置が含まれてもよい。観測装置は、例えば、気温や湿度、風速といった種々の気象を観測してもよいし、センサ１０が埋設された場所の温度（例えば滑走路や道路の路面温度）を観測してもよい。この場合、通信部１０２は、観測装置から各種観測情報を取得してよい。

【0022】

表示部１０４は、各種の情報を表示するユーザインターフェースである。例えば、表示部１０４は、制御部１１０によって生成された画像を表示する。また、表示部１０４は、空港局員や道路局員、鉄道局員といったセンサ１０が埋設された管轄地に関連するユーザからの各種の入力操作を受け付けるためのＧＵＩ（Graphical User Interface）を表示してもよい。例えば、表示部１０４は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）ディスプレイなどである。

【0023】

制御部１１０は、例えば、取得部１１２と、画像生成部１１４と、特徴量抽出部１１６と、状態判定部１１８と、出力制御部１２０とを備える。

【0024】

制御部１１０の構成要素は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサが記憶部１３０に格納されたプログラムを実行することにより実現される。また、制御部１１０の構成要素の一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

【0025】

記憶部１３０は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などにより実現される。記憶部１３０は、ファームウェアやアプリケーションプログラムなどの各種プログラムの他に、推定モデルデータＤ１などを格納する。推定モデルデータＤ１は、例えば、ネットワークＮＷを介して学習装置２００から記憶部１３０にインストールされてもよいし、情報処理装置１００のドライブ装置に接続された可搬型の記憶媒体から記憶部１３０にインストールされてもよい。

【0026】

推定モデルデータＤ１は、堆積物の状態量を推定するためのモデル（以下、推定モデルＭＤＬと称する）を定義した情報（プログラムまたはデータ構造）である。推定モデルＭＤＬは、例えば、物体に照射された光の散乱光または透過光に基づく画像から得られる複数の特徴量が入力されると、その物体の状態量を出力するように学習されたモデルである。このようなモデルは、例えば、入力層と、少なくとも一つの中間層（隠れ層）と、出力層とを含む複数のニューラルネットワークによって構成されてよい。

【0027】

推定モデルデータＤ１には、例えば、ニューラルネットワークを構成する複数の層のそれぞれに含まれるユニットが互いにどのように結合されるのかという結合情報や、結合されたユニット間で入出力されるデータに付与される結合係数などの各種情報が含まれる。結合情報とは、例えば、各層に含まれるユニット数や、各ユニットの結合先のユニットの種類を指定する情報、各ユニットを実現する活性化関数、隠れ層のユニット間に設けられたゲートなどの情報を含む。ユニットを実現する活性化関数は、例えば、正規化線形関数（ＲｅＬＵ関数）であってもよいし、シグモイド関数や、ステップ関数、その他の関数などであってもよい。ゲートは、例えば、活性化関数によって返される値（例えば１または０）に応じて、ユニット間で伝達されるデータを選択的に通過させたり、重み付けたりする。結合係数は、例えば、ニューラルネットワークの隠れ層において、ある層のユニットから、より深い層のユニットにデータが出力される際に、出力データに対して付与される重みを含む。また、結合係数は、各層の固有のバイアス成分などを含んでもよい。

【0028】

［運用時（ランタイム）の処理フロー］
以下、フローチャートに即して制御部１１０の運用時の一連の処理の流れを説明する。「運用（ランタイム）」とは、予め学習された推定モデルＭＤＬの出力結果を用いて、センサ１０の上方（透過部材１６の上面）に堆積した堆積物の状態量を推定することをいう。図６は、実施形態の制御部１１０の一連の処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、所定の周期で繰り返し行われてよい。

【0029】

まず、取得部１１２は、通信部１０２を介して、センサ１０から散乱光の検出信号を取得する（ステップＳ１００）。

【0030】

次に、画像生成部１１４は、取得部１１２によって取得された散乱光の検出信号に基づいて、散乱光の強度を、輝度や彩度、色相といった画素値に置き換えた二次元の画像（以下、光散乱画像と称する）を生成する（ステップＳ１０２）。

【0031】

例えば、照射部１２が、第１レーザ光、第２レーザ光、第３レーザ光、及び第４レーザ光の計４種類のレーザ光を照射する場合、第１検出部１４－１は、第１レーザ光の散乱光と第２レーザ光の散乱光を検出し、第２検出部１４－２は、第３レーザ光の散乱光と第４レーザ光の散乱光を検出することになる。つまり、検出部１４は、４種類の散乱光を検出する。この場合、画像生成部１１４は、４種類の散乱光のそれぞれに対応した光散乱画像を生成する。

【0032】

次に、特徴量抽出部１１６は、画像生成部１１４によって生成された一つ又は複数の光散乱画像から特徴量（例えば、散乱光の面積等）を抽出する（ステップＳ１０４）。

【0033】

図７は、光散乱画像から特徴量を抽出する様子を模式的に示す図である。図示の例では、第１検出部１４－１の検出結果を基に、第１レーザ光の散乱光に対応した光散乱画像ＩＭＧ_Ａと、第２レーザ光の散乱光に対応した光散乱画像ＩＭＧ_Ｂとが生成され、第２検出部１４－２の検出結果を基に、第３レーザ光の散乱光に対応した光散乱画像ＩＭＧ_Ｃと、第４レーザ光の散乱光に対応した光散乱画像ＩＭＧ_Ｄとが生成されている。

【0034】

このような場合、特徴量抽出部１１６は、４つの光散乱画像ＩＭＧのそれぞれから特徴量を抽出する。図中のＦ_Ａは、光散乱画像ＩＭＧ_Ａから抽出した特徴量を表し、Ｆ_Ｂは、光散乱画像ＩＭＧ_Ｂから抽出した特徴量を表し、Ｆ_Ｃは、光散乱画像ＩＭＧ_Ｃから抽出した特徴量を表し、Ｆ_Ｄは、光散乱画像ＩＭＧ_Ｄから抽出した特徴量を表している。

【0035】

図６のフローチャートの説明に戻る。次に、状態判定部１１８は、特徴量抽出部１１６によって抽出された複数の特徴量を要素とした多次元ベクトル（以下、特徴量ベクトルＦと称する）を、予め学習された推定モデルＭＤＬに入力する（ステップＳ１０６）。次に、状態判定部１１８は、特徴量ベクトルＦを入力した推定モデルＭＤＬが、堆積物の状態量Ｓを出力すると、その状態量Ｓに基づいて、堆積物の状態を判定する（ステップＳ１０８）。

【0036】

［推定モデル］
図８は、推定モデルＭＤＬに特徴量を入力する様子を模式的に示す図である。推定モデルＭＤＬには、推定対象である状態量Ｓの種類に応じて、個別に学習された複数のモデルが含まれる。例えば、状態量Ｓには、堆積物の種類、性質、物理的特性などが含まれる。物理的特性には、例えば、堆積物の厚さ（深さ）、密度、含水率などが含まれる。このような場合、推定モデルＭＤＬには、堆積物の厚さを推定するための厚さ推定モデルＭＤＬ１や、堆積物の性質を推定するための性質推定モデルＭＤＬ２、堆積物の密度を推定するための密度推定モデルＭＤＬ３、堆積物の種類を推定するための種類推定モデルＭＤＬ４などが含まれる。これらのモデルはディープニューラルネットワークであってよい。なお、推定モデルＭＤＬに含まれるモデルの数は４つに限られず、２つや３つであってもよいし、５つ以上であってもよい。

【0037】

例えば、図７のように、４種類の特徴量Ｆ_Ａ～Ｆ_Ｄが抽出された場合、厚さ推定モデルＭＤＬ１や性質推定モデルＭＤＬ２、密度推定モデルＭＤＬ３、種類推定モデルＭＤＬ４といった種々のモデルには、４種類の特徴量Ｆ_Ａ～Ｆ_Ｄを要素とした特徴量ベクトルＦが入力される。特徴量ベクトルＦが入力された各モデルは、それら特徴量の由来となった堆積物の状態量Ｓを出力する。

【0038】

例えば、堆積物が雪の場合、厚さ推定モデルＭＤＬ１は、堆積した雪の厚さを状態量Ｓとして出力し、性質推定モデルＭＤＬ２は、堆積した雪の雪質を状態量Ｓとして出力し、密度推定モデルＭＤＬ３は、堆積した雪の密度を状態量Ｓとして出力する。雪質は、雪の結晶粒の形状（Grain shape）や含水率などに応じた性質を表している。

【0039】

例えば、雪質は、大まかに「新雪（New snow）」、「圧雪（Compacted snowまたはpressurized snow）」、「しまり系の雪（Compacted-type snow）」、「ざらめ系の雪（Granular snow）」に分類される。「新雪」は、降り積もってから時間が経過しておらず、雪の結晶の形が残っている雪である。「圧雪」は、除雪機材等によって押し固められ路面に残っている雪である。「しまり系の雪」には、降り積もってから数日が経過し、雪の結晶の形がほとんど残っていない「こしまり雪（Lightly compacted snow）」と、「こしまり雪」が更に圧密と焼結によって丸みのある形になった「しまり雪（Compacted snow）とが含まれる。「ざらめ系の雪」は、水を含んで粗大化した丸い氷粒や、水を含んだ雪が再凍結した大きな丸い氷粒などが連なった雪である。「ざらめ系の雪」には、例えば、小さな湿度勾配の作用により形成された平らな面をもった氷粒の「こしもざらめ雪（Solid-type depth hoar）」と、大きな湿度勾配の作用により、もとの雪粒が霜に置き換わった「しもざらめ雪（Depth hoar）」とが含まれる。

【0040】

［厚さ推定モデル］
図９は、厚さ推定モデルＭＤＬ１の具体的な構成の一例を示す図である。図示の例のように、厚さ推定モデルＭＤＬ１は、フルレンジモデルＭＤＬ１－１と、シャローレンジモデルＭＤＬ１－２と、ディープレンジモデルＭＤＬ１－３とによって構成される。

【0041】

フルレンジモデルＭＤＬ１－１は、現実的に取り得ることが可能なある範囲（以下、フルレンジと称する）内に収まる厚さをもつ物体に照射されたレーザ光の散乱光又は透過光に基づく画像から得られる複数の特徴量Ｆが入力されると、レーザ光が照射された物体がフルレンジ内の厚さであることを表す状態量Ｓ１を出力するように学習されたモデルである。

【0042】

フルレンジとは、第１閾値（例えば５［ｍｍ］）以上かつ第１閾値よりも大きい第２閾値（例えば３０［ｍｍ］）未満の範囲と、第２閾値以上かつ第２閾値よりも大きい第３閾値（例えば５０［ｍｍ］）未満の範囲とを合わせた範囲である。すなわち、フルレンジは、第１閾値以上かつ第３閾値未満の範囲（例えば５～５０［ｍｍ］）である。以下、第１閾値以上かつ第２閾値未満の範囲（例えば５～３０［ｍｍ］）を「シャローレンジ」と称し、第２閾値以上かつ第３閾値未満の範囲（例えば３０～５０［ｍｍ］）を「ディープレンジ」と称して説明する。シャローレンジは「第１範囲」の一例であり、ディープレンジは「第２範囲」の一例であり、フルレンジは「第３範囲」の一例である。

【0043】

シャローレンジモデルＭＤＬ１－２は、シャローレンジ内（例えば５～３０［ｍｍ］）に収まる厚さをもつ物体に照射されたレーザ光の散乱光又は透過光に基づく画像から得られる複数の特徴量Ｆが入力されると、レーザ光が照射された物体がシャローレンジ内の厚さであることを表す状態量Ｓ２を出力するように学習されたモデルである。

【0044】

ディープレンジモデルＭＤＬ１－３は、ディープレンジ内（例えば３０～５０［ｍｍ］）に収まる厚さをもつ物体に照射されたレーザ光の散乱光又は透過光に基づく画像から得られる複数の特徴量Ｆが入力されると、レーザ光が照射された物体がディープレンジ内の厚さであることを表す状態量Ｓ３を出力するように学習されたモデルである。

【0045】

まず初めに、状態判定部１１８は、特徴量ベクトルＦを、前段のフルレンジモデルＭＤＬ１－１に入力する。特徴量ベクトルＦが入力されたフルレンジモデルＭＤＬ１－１は、堆積物の厚さを状態量Ｓ１として出力する。

【0046】

一方、状態判定部１１８は、フルレンジモデルＭＤＬ１－１に入力した特徴量ベクトルＦの一部または全部を、後段のシャローレンジモデルＭＤＬ１－２及びディープレンジモデルＭＤＬ１－３のいずれか一方に選択的に入力する。

【0047】

具体的には、状態判定部１１８は、フルレンジモデルＭＤＬ１－１が状態量Ｓ１として堆積物の厚さを出力すると、その厚さに応じて、スイッチＳＷ１を切り替える。スイッチＳＷ１は、特徴量ベクトルＦの入力先とするモデルを、シャローレンジモデルＭＤＬ１－２またはディープレンジモデルＭＤＬ１－３のいずれかに切り替える。スイッチＳＷ１は、ソフトウェアコンポーネントであってよい。

【0048】

上述したように、フルレンジモデルＭＤＬ１－１が状態量Ｓ１として出力する堆積物の厚さはフルレンジに収まる厚さであるため、シャローレンジまたはディープレンジのいずれかにも該当する。そのため、状態判定部１１８は、フルレンジモデルＭＤＬ１－１が出力した厚さがシャローレンジに収まる場合、特徴量ベクトルＦをシャローレンジモデルＭＤＬ１－２に入力し、フルレンジモデルＭＤＬ１－１が出力した厚さがディープレンジに収まる場合、特徴量ベクトルＦをディープレンジモデルＭＤＬ１－３に入力する。そして、状態判定部１１８は、特徴量ベクトルＦを入力した方のモデルが出力した状態量Ｓ２またはＳ３に基づいて、堆積物がどの程度の厚さを有しているのかを判定する。

【0049】

このように、フルレンジモデルＭＤＬ１－１を用いて堆積物の厚さをある程度の精度で推定しつつ、フルレンジモデルＭＤＬ１－１に比べて推定可能なレンジが狭いものの、推定精度が高いシャローレンジモデルＭＤＬ１－２またはディープレンジモデルＭＤＬ１－３を用いて再び堆積物の厚さを推定するため、精度よく堆積物の厚さを判定することができる。このように、前段のフルレンジモデルＭＤＬ１－１の推定結果を利用して、後段のシャローレンジモデルＭＤＬ１－２またはディープレンジモデルＭＤＬ１－３に状態量Ｓを推定させるように学習する方法は、アンサンブル学習の一つであるブースティングと呼ばれる。つまり、フルレンジモデルＭＤＬ１－１やシャローレンジモデルＭＤＬ１－２、ディープレンジモデルＭＤＬ１－３は弱学習器であり、それらモデルを合わせた厚さ推定モデルＭＤＬ１は強学習器である。

【0050】

なお、状態判定部１１８は、後段のシャローレンジモデルＭＤＬ１－２またはディープレンジモデルＭＤＬ１－３が出力した状態量Ｓ２やＳ３だけでなく、前段のフルレンジモデルＭＤＬ１－１が出力した状態量Ｓ１も加味して堆積物の厚さを判定してもよい。

【0051】

フルレンジに内包されるシャローレンジとディープレンジとは互いにオーバーラップしない範囲である。そのため、フルレンジモデルＭＤＬ１－１が出力した堆積物の厚さが、シャローレンジとディープレンジとの境界である第２閾値近傍である場合、第２閾値から遠く離れた範囲に比べて、フルレンジモデルＭＤＬ１－１の推定誤差が、最終的な状態量Ｓの推定精度に影響を及ぼしやすい。例えば、フルレンジモデルＭＤＬ１－１が、シャローレンジ内の第２閾値に近い値（例えば２９［ｍｍ］）を出力した場合、フルレンジモデルＭＤＬ１－１の推定誤差を考慮すれば、本来の堆積物の厚さ（すなわち真値）がディープレンジに収まる値（例えば３１［ｍｍ］）である可能性（またはその蓋然性）も無視できない。

【0052】

従って、状態判定部１１８は、フルレンジモデルＭＤＬ１－１が出力した堆積物の厚さが、シャローレンジとディープレンジとの境界である第２閾値近傍である場合、フルレンジモデルＭＤＬ１－１が出力した堆積物の厚さと、シャローレンジモデルＭＤＬ１－２またはディープレンジモデルＭＤＬ１－３のいずれかが出力した堆積物の厚さとを統計的に処理し、その統計的処理結果を示す指標値（例えば相加平均や加重平均など）を基に、堆積物の厚さを判定してもよい。

【0053】

［性質推定モデル（その１）］
図１０は、性質推定モデルＭＤＬ２の具体的な構成の一例を示す図である。図示の例のように、性質推定モデルＭＤＬ２は、主要カテゴリモデルＭＤＬ２－１と、第１カテゴリモデルＭＤＬ２－２と、第２カテゴリモデルＭＤＬ２－３とによって構成される。主要カテゴリモデルＭＤＬ２－１や、第１カテゴリモデルＭＤＬ２－２、第２カテゴリモデルＭＤＬ２－３は弱学習器であり、それらモデルを合わせた性質推定モデルＭＤＬ２は強学習器である。

【0054】

主要カテゴリモデルＭＤＬ２－１は、主要カテゴリ群のいずれかのカテゴリに性質が該当する物体に照射されたレーザ光の散乱光又は透過光に基づく画像から得られる複数の特徴量Ｆが入力されると、レーザ光が照射された物体が主要カテゴリ群のいずれかであることを表す状態量Ｓ１を出力するように学習されたモデルである。

【0055】

主要カテゴリ群とは、予め決められた複数のカテゴリを含むカテゴリの集合であり、堆積物の性質を大まかに分類可能なカテゴリの集合である。例えば、性質の推定対象である堆積物が雪である場合、主要カテゴリ群には、「新雪」、「圧雪」、「しまり系の雪」、「ざらめ系の雪」といった大別された計４種類の主要カテゴリが含まれる。

【0056】

第１カテゴリモデルＭＤＬ２－２は、第１カテゴリに該当する物体に照射されたレーザ光の散乱光又は透過光に基づく画像から得られる複数の特徴量Ｆが入力されると、レーザ光が照射された物体が第１カテゴリであることを表す状態量Ｓ２を出力するように学習されたモデルである。

【0057】

第１カテゴリは、主要カテゴリ群に含まれるいずれ一つのカテゴリであり、下位カテゴリが存在する主要カテゴリである。例えば、第１カテゴリは、「こしまり雪」や「しまり雪」といった下位カテゴリが存在する「しまり系の雪」という主要カテゴリであってもよいし、「こしもざらめ雪」や「しもざらめ雪」といった下位カテゴリが存在する「ざらめ系の雪」という主要カテゴリであってもよい。

【0058】

第２カテゴリモデルＭＤＬ２－３は、第２カテゴリに該当する物体に照射されたレーザ光の散乱光又は透過光に基づく画像から得られる複数の特徴量Ｆが入力されると、レーザ光が照射された物体が第２カテゴリであることを表す状態量Ｓ３を出力するように学習されたモデルである。

【0059】

第２カテゴリは、主要カテゴリ群に含まれるいずれ一つのカテゴリであり、第１カテゴリとは異なる主要カテゴリである。例えば、第１カテゴリが「しまり系の雪」という主要カテゴリであった場合、第２カテゴリは、「ざらめ系の雪」という主要カテゴリであってよい。

【0060】

まず初めに、状態判定部１１８は、特徴量ベクトルＦを、前段の主要カテゴリモデルＭＤＬ２－１に入力する。特徴量ベクトルＦが入力された主要カテゴリモデルＭＤＬ２－１は、堆積物の性質を状態量Ｓ１として出力する。例えば、主要カテゴリ群に４種類の主要カテゴリが含まれる場合、主要カテゴリモデルＭＤＬ２－１は、堆積物の性質が４種類の主要カテゴリのそれぞれであることの尤もらしさを尤度や確率で表した４次元ベクトルを状態量Ｓ１として出力する。

【0061】

一方、状態判定部１１８は、主要カテゴリモデルＭＤＬ２－１に入力した特徴量ベクトルＦの一部または全部を、後段の第１カテゴリモデルＭＤＬ２－２及び第２カテゴリモデルＭＤＬ２－３のいずれか一方に選択的に入力したり、或いはいずれのモデルにも入力しなかったりする。

【0062】

具体的には、状態判定部１１８は、主要カテゴリモデルＭＤＬ２－１が状態量Ｓ１として堆積物の性質を出力すると、その性質に応じて、スイッチＳＷ２を切り替える。スイッチＳＷ２は、特徴量ベクトルＦの入力先とするモデルを、第１カテゴリモデルＭＤＬ２－２または第２カテゴリモデルＭＤＬ２－３のいずれかに切り替えたり、いずれのモデルにも切り替えなかったりする。スイッチＳＷ２は、スイッチＳＷ１と同様に、ソフトウェアコンポーネントであってよい。

【0063】

例えば、堆積物を雪と仮定したときに、主要カテゴリモデルＭＤＬ２－１が出力した状態量Ｓ１が、他の主要カテゴリに比べて「ざらめ系の雪」の尤度が最も大きいことを表していた場合、状態判定部１１８は、スイッチＳＷを制御して、特徴量ベクトルＦの入力先とするモデルを第２カテゴリモデルＭＤＬ２－３に切り替え、第２カテゴリモデルＭＤＬ２－３に特徴量ベクトルＦを入力する。そして、状態判定部１１８は、第２カテゴリモデルＭＤＬ２－３が状態量Ｓ３を出力すると、その状態量Ｓ３に基づいて、堆積物がどういった雪質であるのかを判定する。

【0064】

また、主要カテゴリモデルＭＤＬ２－１が出力した状態量Ｓ１が、他の主要カテゴリに比べて、「新雪」や「圧雪」といった下位カテゴリが存在しない主要カテゴリの尤度が最も大きいことを表していた場合、状態判定部１１８は、第１カテゴリモデルＭＤＬ２－２及び第２カテゴリモデルＭＤＬ２－３のいずれにも特徴量ベクトルＦを入力せず、状態量Ｓ１に基づいて、雪質を判定する。

【0065】

このように、主要カテゴリモデルＭＤＬ２－１を用いて堆積物の性質を大まかに性質を分類した主要カテゴリに振り分け、その分類した主要カテゴリに下位カテゴリが存在する場合、更に、第１カテゴリモデルＭＤＬ２－２や第２カテゴリモデルＭＤＬ２－３を用いて堆積物の性質を下位カテゴリに分類するため、段階的に精度よく堆積物の性質を判定することができる。

【0066】

なお、状態判定部１１８は、厚さ推定モデルＭＤＬ１のときと同様に、前段の主要カテゴリモデルＭＤＬ２－１が出力した状態量Ｓ１単体や、後段の第１カテゴリモデルＭＤＬ２－２が出力した状態量Ｓ２単体、第２カテゴリモデルＭＤＬ２－３が出力した状態量Ｓ３単体だけでなく、これら複数の状態量Ｓ１～Ｓ３を統計的に処理し、その統計的処理結果を示す指標値（例えば相加平均や加重平均など）を基に、堆積物の性質を判定してもよい。

【0067】

［性質推定モデル（その２）］
図１１は、性質推定モデルＭＤＬ２の具体的な構成の他の例を示す図である。図示の例のように、性質推定モデルＭＤＬ２は、上述した主要カテゴリモデルＭＤＬ２－１、第１カテゴリモデルＭＤＬ２－２、及び第２カテゴリモデルＭＤＬ２－３に加えて、更に、第３カテゴリモデルＭＤＬ２－４や第４カテゴリモデルＭＤＬ２－５といったその他のモデルを備えてよい。

【0068】

第３カテゴリモデルＭＤＬ２－４は、第３カテゴリに該当する物体に照射されたレーザ光の散乱光又は透過光に基づく画像から得られる複数の特徴量Ｆが入力されると、レーザ光が照射された物体が第３カテゴリであることを表す状態量Ｓ４を出力するように学習されたモデルである。

【0069】

第３カテゴリは、主要カテゴリ群に含まれるいずれ一つのカテゴリであり、「新雪」や「圧雪」といった下位カテゴリが存在しない主要カテゴリである。

【0070】

第４カテゴリモデルＭＤＬ２－５は、第４カテゴリに該当する物体に照射されたレーザ光の散乱光又は透過光に基づく画像から得られる複数の特徴量Ｆが入力されると、レーザ光が照射された物体が第４カテゴリであることを表す状態量Ｓ５を出力するように学習されたモデルである。

【0071】

第４カテゴリは、第３カテゴリと同様に、主要カテゴリ群に含まれるいずれ一つのカテゴリであり、下位カテゴリが存在しない主要カテゴリである。例えば、第３カテゴリが「新雪」という主要カテゴリである場合、第４カテゴリは「圧雪」という主要カテゴリであってよい。

【0072】

状態判定部１１８は、主要カテゴリモデルＭＤＬ２－１が状態量Ｓ１として堆積物の性質を出力すると、その性質に応じて、スイッチＳＷ２を切り替える。スイッチＳＷ２は、特徴量ベクトルＦの入力先とするモデルを、第１カテゴリモデルＭＤＬ２－２、第２カテゴリモデルＭＤＬ２－３、第３カテゴリモデルＭＤＬ２－４、第４カテゴリモデルＭＤＬ２－５のいずれかに切り替える。

【0073】

例えば、堆積物を雪と仮定したときに、主要カテゴリモデルＭＤＬ２－１が出力した状態量Ｓ１が、他の主要カテゴリに比べて、「新雪」という下位カテゴリが存在しない主要カテゴリの尤度が最も大きいことを表していたとする。この場合、状態判定部１１８は、第３カテゴリモデルＭＤＬ２－４に特徴量ベクトルＦを入力する。そして、状態判定部１１８は、第３カテゴリモデルＭＤＬ２－４が状態量Ｓ４を出力すると、その状態量Ｓ４に基づいて雪質を判定する。このように、「しまり系の雪」や「ざらめ系の雪」といった下位カテゴリが存在する主要カテゴリだけなく、「新雪」や「圧雪」といった下位カテゴリが存在しない主要カテゴリについても、その主要カテゴリ専用に事前に学習されたモデルを利用して判別することで、より精度よく堆積物の性質を判定することができる。

【0074】

［密度推定モデル］
図１２は、密度推定モデルＭＤＬ３又は種類推定モデルＭＤＬ４の一例を示す図である。例えば、密度推定モデルＭＤＬ３は、所定の密度をもつ物体に照射されたレーザ光の散乱光又は透過光に基づく画像から得られる複数の特徴量Ｆが入力されると、レーザ光が照射された物体が所定の密度であることを表す状態量Ｓを出力するように学習されたモデルである。

【0075】

状態判定部１１８は、特徴量Ｆを密度推定モデルＭＤＬ３に入力し、その密度推定モデルＭＤＬ３が出力した状態量Ｓに基づいて、特徴量Ｆの由来となった堆積物の密度を判定する。

【0076】

また、種類推定モデルＭＤＬ４は、物体に照射されたレーザ光の散乱光又は透過光に基づく画像から得られる複数の特徴量Ｆが入力されると、レーザ光が照射された物体の種類を表す状態量Ｓを出力するように学習されたモデルである。

【0077】

状態判定部１１８は、特徴量Ｆを種類推定モデルＭＤＬ４に入力し、その種類推定モデルＭＤＬ４が出力した状態量Ｓに基づいて、特徴量Ｆの由来となった堆積物の種類を判定する。

【0078】

図６のフローチャートの説明に戻る。次に、出力制御部１２０は、状態判定部１１８によって、厚さや性質、密度といった堆積物の状態が判定されると、堆積物の状態に関する情報（以下、堆積物状態情報と称する）を表示部１０４に表示させたり、通信部１０２を介して外部装置に送信したりする（ステップＳ１１０）。これによって本フローチャートの処理が終了する。

【0079】

堆積物状態情報には、例えば、厚さや性質、密度といった状態量Ｓが含まれていてよい。また、堆積物状態情報には、更に、滑走路や道路、線路といったセンサ１０が埋設された場所の利用可否に関する情報が含まれていてもよい。

【0080】

［学習装置の構成］
以下、推定モデルＭＤＬを学習する学習装置２００について説明する。学習装置２００は、単一の装置であってもよいし、ネットワークＮＷを介して接続された複数の装置が互いに協働して動作するシステムであってもよい。すなわち、学習装置２００は、分散コンピューティングやクラウドコンピューティングを利用したシステムに含まれる複数のコンピュータ（プロセッサ）によって実現されてもよい。

【0081】

図１３は、実施形態に係る学習装置２００の構成の一例を示す図である。図示のように、例えば、学習装置２００は、通信部２０２と、制御部２１０と、記憶部２３０とを備える。

【0082】

通信部２０２は、例えば、受信機や送信機を含む無線通信モジュールであり、ネットワークＮＷを介して情報処理装置１００等の外部装置と通信する。

【0083】

制御部２１０は、例えば、取得部２１２と、特徴量抽出部２１４と、学習部２１６とを備える。制御部２１０の構成要素は、例えば、ＣＰＵやＧＰＵなどのプロセッサが記憶部２３０に格納されたプログラムを実行することにより実現される。また、制御部２１０の構成要素の一部または全部は、ＬＳＩ、ＡＳＩＣ、またはＦＰＧＡなどのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

【0084】

記憶部２３０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、ＲＡＭなどにより実現される。記憶部２３０は、ファームウェアやアプリケーションプログラムなどの各種プログラムの他に、上述した推定モデルデータＤ１と、教師データＤ２とを格納する。

【0085】

教師データＤ２は、推定モデルＭＤＬを学習（訓練）するためのデータである。例えば、教師データＤ２には、厚さ推定モデルＭＤＬ１を学習するための第１教師データと、性質推定モデルＭＤＬ２を学習するための第２教師データと、密度推定モデルＭＤＬ３を学習するための第３教師データと、種類推定モデルＭＤＬ４を学習するための第４教師データとが含まれる。

【0086】

第１教師データは、厚さが既知の物体に対して照射されたレーザ光の散乱光又は透過光を撮像した画像に対して、厚さ推定モデルＭＤＬ１が出力すべき正解の厚さが教師ラベル（ターゲットともいう）として対応付けられたデータセットである。

【0087】

第２教師データは、性質が既知の物体に対して照射されたレーザ光の散乱光又は透過光を撮像した画像に対して、性質推定モデルＭＤＬ２が出力すべき正解の性質を表すカテゴリの尤度が教師ラベルとして対応付けられたデータセットである。

【0088】

第３教師データは、密度が既知の物体に対して照射されたレーザ光の散乱光又は透過光を撮像した画像に対して、密度推定モデルＭＤＬ３が出力すべき正解の密度が教師ラベルとして対応付けられたデータセットである。

【0089】

第４教師データは、種類が既知の物体に対して照射されたレーザ光の散乱光又は透過光を撮像した画像に対して、種類推定モデルＭＤＬ４が出力すべき正解の種類が教師ラベルとして対応付けられたデータセットである。

【0090】

［学習時（トレーニング）の処理フロー］
以下、フローチャートに即して制御部２１０の学習時の一連の処理の流れを説明する。「学習（トレーニング）」とは、運用時に参照される推定モデルＭＤＬを学習（訓練）することをいう。図１４は、実施形態の制御部２１０の一連の処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、所定の周期で繰り返し行われてよい。また、学習装置２００が、分散コンピューティングやクラウドコンピューティングを利用したシステムに含まれる複数のコンピュータによって実現される場合、本フローチャートの処理の一部または全部は、複数のコンピュータによって並列処理されてよい。

【0091】

まず、取得部２１２は、記憶部２３０に格納された教師データＤ２から、厚さや性質、密度といった教師ラベルに対応付けられた画像（すなわち散乱光又は透過光を撮像した画像）を取得する（ステップＳ２００）。

【0092】

次に、特徴量抽出部２１４は、取得部２１２によって教師データＤ２から取得された画像から特徴量を抽出する（ステップＳ２０２）。

【0093】

次に、学習部２１６は、特徴量抽出部２１４によって抽出された複数の特徴量を要素とするベクトル、すなわち特徴量ベクトルＦを、未学習の推定モデルＭＤＬに入力する（ステップＳ２０４）。

【0094】

例えば、推定モデルＭＤＬに含まれる厚さ推定モデルＭＤＬ１に着目した場合、学習部２１６は、厚さ推定モデルＭＤＬ１の中に弱学習器として含まれるフルレンジモデルＭＤＬ１－１と、シャローレンジモデルＭＤＬ１－２と、ディープレンジモデルＭＤＬ１－３とのそれぞれに対して、共通の特徴量ベクトルＦを入力してもよいし、互いに異なる特徴量ベクトルＦを入力してもよい。「特徴量ベクトルＦが互いに異なる」とは、要素数が異なることであってもよいし、要素数は同じで各要素に対応する特徴量が異なることであってもよい。

【0095】

例えば、可視光帯域の第１レーザ光や第２レーザ光は、近赤外帯域の第３レーザ光や第４レーザ光に比べて波長が長いため、堆積物が厚いほどより多く減衰し、散乱光や透過光の信号強度が弱くなる傾向にある。

【0096】

従って、学習部２１６は、可視光帯域のレーザ光の散乱光又は透過光を撮像した画像から抽出された特徴量を多く含む特徴量ベクトルＦを、シャローレンジモデルＭＤＬ１－２に対して優先的に入力してよい。また、学習部２１６は、近赤外帯域のレーザ光の散乱光又は透過光を撮像した画像から抽出された特徴量を多く含む特徴量ベクトルＦを、ディープレンジモデルＭＤＬ１－３に対して優先的に入力してよい。これによって、弱学習器による堆積物の厚さの推定精度を向上させることができる。

【0097】

また、可視光帯域の第１レーザ光や第２レーザ光は、近赤外帯域の第３レーザ光や第４レーザ光に比べて波長が長いため、水分による減衰の影響を多く受け、散乱光や透過光の信号強度が弱くなる傾向にある。

【0098】

そのため、例えば、推定モデルＭＤＬに含まれる性質推定モデルＭＤＬ２に着目した場合、学習部２１６は、可視光帯域のレーザ光の散乱光又は透過光を撮像した画像から抽出された特徴量を多く含む特徴量ベクトルＦを、「ざらめ系の雪」という比較的水分量の多いカテゴリを推定する第２カテゴリモデルＭＤＬ２－３に優先的に入力してよい。また、学習部２１６は、近赤外帯域のレーザ光の散乱光又は透過光を撮像した画像から抽出された特徴量を多く含む特徴量ベクトルＦを、「ざらめ系の雪」よりも水分量の少ない「しまり系の雪」というカテゴリを推定する第１カテゴリモデルＭＤＬ２－２に優先的に入力してよい。これによって、弱学習器による堆積物の性質の推定精度を向上させることができる。

【0099】

次に、学習部２１６は、推定モデルＭＤＬによって出力された状態量と、散乱光又は透過光を撮像した画像に対して教師ラベルとして対応付けられていた状態量との差分を算出する（ステップＳ２０６）。

【0100】

例えば、学習部２１６は、Ｓ２０４の処理で厚さ推定モデルＭＤＬ１に入力した特徴量ベクトルＦの抽出元の画像に対して、教師ラベルとして対応付けられていた堆積物の厚さと、厚さ推定モデルＭＤＬ１が状態量として出力した厚さとの差分を算出する。

【0101】

また、学習部２１６は、Ｓ２０４の処理で性質推定モデルＭＤＬ２に入力した特徴量ベクトルＦの抽出元の画像に対して、教師ラベルとして対応付けられていた堆積物のカテゴリの尤度と、性質推定モデルＭＤＬ２が状態量として出力したカテゴリの尤度との差分を算出する。

【0102】

また、学習部２１６は、Ｓ２０４の処理で密度推定モデルＭＤＬ３に入力した特徴量ベクトルＦの抽出元の画像に対して、教師ラベルとして対応付けられていた堆積物の密度と、密度推定モデルＭＤＬ３が状態量として出力した密度との差分を算出する。

【0103】

また、学習部２１６は、Ｓ２０４の処理で種類推定モデルＭＤＬ４に入力した特徴量ベクトルＦの抽出元の画像に対して、教師ラベルとして対応付けられていた堆積物の種類の尤度と、種類推定モデルＭＤＬ４が状態量として出力した種類の尤度との差分を算出する。

【0104】

次に、学習部２１６は、Adaptive Boostingや、Gradient Boosting、eXtreme Gradient Boostingといったアンサンブル学習手法を用いて、厚さの差分が小さくなるように厚さ推定モデルＭＤＬ１を学習し、カテゴリの尤度の差分が小さくなるように性質推定モデルＭＤＬ２を学習し、密度の差分が小さくなるように密度推定モデルＭＤＬ３を学習し、種類の尤度の差分が小さくなるように種類推定モデルＭＤＬ４を学習する（ステップＳ２０８）。

【0105】

例えば、学習部２１６は、各差分が小さくなるように、推定モデルＭＤＬのパラメータである重み係数やバイアス成分などを確率的勾配降下法などを用いて決定（更新）してよい。

【0106】

学習部２１６は、学習した推定モデルＭＤＬを記憶部２３０に推定モデルデータＤ１として記憶させる。

【0107】

このように、学習部２１６は、Ｓ２００からＳ２０８の処理を繰り返し行い（イタレーションを行い）、推定モデルデータＤ１を学習する。そして、学習部２１６は、十分に学習した学習済みの推定モデルＭＤＬを定義した推定モデルデータＤ１を、例えば、通信部２０２を介して情報処理装置１００に送信する。これによって本フローチャートの処理が終了する。

【0108】

以上説明した実施形態によれば、情報処理システム１が、堆積物に対して互いに波長の異なる複数のレーザ光を照射する照射部１２と、照射部１２によって堆積物に照射されたレーザ光のそれぞれの散乱光又は透過光を検出する検出部１４と、検出部１４によって検出された散乱光又は透過光に基づいて画像を生成する画像生成部１１４と、画像生成部１１４によって生成された画像から複数の特徴量を抽出する特徴量抽出部１１６と、特徴量抽出部１１６によって抽出された複数の特徴量を要素とする特徴量ベクトルＦを予め学習された推定モデルＭＤＬに入力し、その特徴量ベクトルＦを入力した推定モデルＭＤＬが出力した状態量Ｓに基づいて、堆積物の状態を判定する状態判定部１１８と、を備えるため、堆積物の状態を精度よく判定することができる。

【0109】

従来の技術では、超音波やレーザ光などを利用して計測した堆積物の物理量から、その堆積物の状態量を同定する際に、予め物理量と状態量との関係性を明らかにしておく必要があった。物理量と状態量との関係性が明らかでない場合、堆積物がどうのような状態にあるのかを精度よく判定することが困難な場合がある。また、判定精度の向上のために、複数の物理量から一つの状態量を同定する場合や、機能向上のために、一つまたは複数の物理量から複数の状態量を同定する場合、物理量と状態量との関係性が複雑となり、事前に関係性を把握することが非常に困難であった。その結果、堆積物の状態を精度よく判定することがより一層困難となる。

【0110】

これに対して、本実施形態では、予め特徴量と状態量との関係性を明らかにしておかなくとも、特徴量と状態量との関係性を、ニューラルネットワークによって実現される推定モデルＭＤＬに学習させるため、ロバスト性を向上させつつ、堆積物の状態を精度よく判定することができる。

【0111】

また、上述した実施形態によれば、推定モデルＭＤＬがニューラルネットワークによって実現されるため、トレーニングに用いなかった未知の堆積物や、水や雪のように性質が異なる物体が混合した堆積物に対しても高い精度で状態を判定することができる。つまり、汎化性能の優れたモデルを生成することができる。

【0112】

なお、上述した実施形態では、推定モデルＭＤＬを利用して、散乱光又は透過光の画像から抽出した特徴量ベクトルＦから、堆積物の状態を判定するものとして説明したがこれに限られない。例えば、散乱光又は透過光の画像から抽出された特徴量ベクトルＦと、堆積物の状態を表す状態量Ｓとの相関関係などが近似式やテーブルで表される場合、推定モデルＭＤＬを実現するためのニューラルネットワークを利用する代わりに、それら近似式やテーブルを利用して、特徴量ベクトルＦから堆積物の状態を判定してもよい。つまり、推定モデルＭＤＬは、テーブルデータや近似式であってもよい。

【0113】

また、上述した実施形態における状態判定部１１８は、取得部１１２が通信部１０２を介して、堆積物が存在する地点の気象観測情報や気象モデルの情報などを含む外部情報を取得した場合、特徴量ベクトルＦに加えて、更に、外部情報を推定モデルＭＤＬに入力することで、堆積物の状態を判定してもよい。気象観測情報には、例えば、センサ１０が埋設された地点の温度（例えば滑走路や道路の路面温度）や、気温や湿度、風速などが含まれてよい。気象モデルの情報には、気象モデルによって推定または予測された気温や湿度、風速などが含まれてよい。

【0114】

また、上述した実施形態では、特徴量抽出部１１６が、散乱光又は透過光の画像から、一旦特徴量ベクトルＦを抽出し、更に、特徴量抽出部１１６が、その特徴量ベクトルＦを推定モデルＭＤＬに入力するものとして説明したがこれに限られない。例えば、ニューラルネットワークなどのモデル（以下、抽出モデルＭＤＬ＃と称する）が、散乱光又は透過光の画像から特徴量ベクトルＦを抽出してもよい。

【0115】

図１５は、抽出モデルＭＤＬ＃と推定モデルＭＤＬとを組み合わせたモデルの一例を示す図である。図示の例のように、抽出モデルＭＤＬ＃は、推定モデルＭＤＬの前段に設けられる。抽出モデルＭＤＬ＃は、光散乱画像ＩＭＧなどが入力されると、特徴量を出力するように学習されたモデルである。抽出モデルＭＤＬ＃は、例えば、畳み込みニューラルネットワークによって実現されてよい。このように、抽出モデルＭＤＬ＃と推定モデルＭＤＬとを組み合わせることで、推定モデルＭＤＬの弱学習器にどういった特徴量を入力すべきか、といった特徴量の選択に関して人間が考慮すべきハイパーパラメータまでもモデルに学習させることができる。

【0116】

また、上述した実施形態では、教師あり学習によって推定モデルＭＤＬを学習するものとして説明したがこれに限られない。例えば、推定モデルＭＤＬは、教師なし学習によって学習されてもよい。また、推定モデルＭＤＬは、教師あり学習または教師なし学習に代えて、転移学習によって学習されてもよい。転移学習とは、ある領域（ドメインともいう）で学習されたモデルを、他の領域に適合させるように学習する手法である。これによって、教師データの量が少ない場合であっても、精度の高い推定モデルＭＤＬを生成することができる。

【0117】

また、上述した実施形態では、センサ１０が堆積物に対して波長が互いに異なる複数のレーザ光を照射するものとして説明したがこれに限られない。例えば、センサ１０は、単一波長光や広帯域波長の単一光を堆積物に照射してもよい。

【0118】

また、上述した実施形態では、センサ１０が堆積物に対してレーザ光を照射するものとして説明したがこれに限られない。例えば、センサ１０は、レーザ光に加えて、或いは代えて、電波を照射してもよい。

【0119】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0120】

１…情報処理システム、１０…センサ、１２…照射部、１４…検出部、１００…情報処理装置、１０２…通信部、１０４…表示部、１１０…制御部、１１２…取得部、１１４…画像生成部、１１６…特徴量抽出部、１１８…状態判定部、１２０…出力制御部、１３０…記憶部、２００…学習装置、２０２…通信部、２１０…制御部、２１２…取得部、２１４…特徴量抽出部、２１６…学習部、２３０…記憶部、ＭＤＬ…推定モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】