ホーム > 特許ランキング > 国立大学法人 東京大学
▶ 国立大学法人 東京大学の特許一覧 ▶ 株式会社フジタの特許一覧
特許7525844含水比推定方法、コーン指数推定方法、コーン指数推定システム、車両及び無人航空機
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-23
(45)【発行日】2024-07-31
(54)【発明の名称】含水比推定方法、コーン指数推定方法、コーン指数推定システム、車両及び無人航空機
(51)【国際特許分類】
G01N 21/27 20060101AFI20240724BHJP
【ＦＩ】
G01N21/27 B
G01N21/27 A
【請求項の数】
8
(21)【出願番号】P 2020101791
(22)【出願日】2020-06-11
(65)【公開番号】P2021196226
(43)【公開日】2021-12-27
【審査請求日】2023-04-03
【新規性喪失の例外の表示】特許法第３０条第２項適用 ｈｔｔｐｓ：／／ｗｗｗ．ｔｃ－ｉａｉｐ．ｏｒｇ／ｄｉａ／２０２０／ｐｈｐ／ｒｅｇ＿ｌｏｇｉｎ／ｉｎｄｅｘ．ｐｈｐ 掲載日 令和２年３月９日 ｈｔｔｐｓ：／／ｅｄａｓ．ｉｎｆｏ／ｉｎｄｅｘ．ｐｈｐ？ｃ＝２５９００ 掲載日 令和１年１０月１５日 ＧＣＣＥ２０１９ 千里ライフサイエンスセンター（大阪府豊中市新千里東町１－４－２） 開催日 令和１年１０月１８日 ｈｔｔｐｓ：／／ｃｏｎｆｉｔ．ａｔｌａｓ．ｊｐ／ｇｕｉｄｅ／ｅｖｅｎｔ／ｓｓｉｉ２０１９／ｓｕｂｊｅｃｔ／ＩＳ１－１４／ｄｅｔａｉｌ 掲載日 令和１年６月１２日 ＳＳＩＩ２０１９ パシフィコ横浜アネックスホール（神奈川県横浜市西区みなとみらい１－１－１） 開催日 令和１年６月１２日
(73)【特許権者】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(73)【特許権者】
【識別番号】302060926
【氏名又は名称】株式会社フジタ
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】千葉 拓史
(72)【発明者】
【氏名】山本 新吾
(72)【発明者】
【氏名】山内 統広
(72)【発明者】
【氏名】淺間 一
(72)【発明者】
【氏名】山下 淳
(72)【発明者】
【氏名】永谷 圭司
(72)【発明者】
【氏名】筑紫 彰太
(72)【発明者】
【氏名】田村 雄介
(72)【発明者】
【氏名】山川 博司
(72)【発明者】
【氏名】藤井 浩光
【審査官】伊藤 裕美
(56)【参考文献】
【文献】特開２０１６－０７０６７６（ＪＰ，Ａ）
【文献】特開２０１８－１５１３８８（ＪＰ，Ａ）
【文献】特開平０６－２２９９１７（ＪＰ，Ａ）
【文献】特開２０１５－０４０８５１（ＪＰ，Ａ）
【文献】特開２００５－０６３３０７（ＪＰ，Ａ）
【文献】特開２０２０－００２５３１（ＪＰ，Ａ）
【文献】特開２０２１－１９６７６５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ２１／００－Ｇ０１Ｎ ２１／６１
(57)【特許請求の範囲】
【請求項1】
マルチスペクトルカメラによって対象物の画像を撮像する撮像ステップと、前記画像に基づき、前記対象物の赤外線波長帯の分光反射率である第１分光反射率と前記対象物の他の波長帯の分光反射率である第２分光反射率とを取得する分光反射率取得ステップと、
前記第１分光反射率と前記第２分光反射率との差に基づき前記対象物の含水比を推定する含水比推定ステップと、
を含み、
前記他の波長帯は、前記赤外線波長帯よりも短波長の光の波長帯であり、
マルチスペクトルカメラによって撮像された前記対象物の画像から分光反射率スペクトルのベクトルを導出する導出ステップと、
前記ベクトルと予め記憶された前記対象物の種類毎の分光反射率スペクトルとに基づいて前記対象物の種類を推定する対象物推定ステップと、をさらに含み、
前記含水比推定ステップでは、予め記憶された前記対象物の種類毎の前記第１分光反射率と前記第２分光反射率との差と、含水比と、の対応関係を示すデータに基づいて前記対象物の含水比を推定し、
前記ベクトルのうち、３５０［ｎｍ］から４５０［ｎｍ］までの波長帯の分光反射率の平均をαとし、７００［ｎｍ］から７５０［ｎｍ］までの波長帯の分光反射率の平均をβとした場合にα×１０＞βが成立するベクトルを前記対象物推定ステップで利用しない
含水比推定方法。
【請求項2】
前記対象物推定ステップでは、マルチスペクトルカメラによって予め撮像された前記対象物の種類毎の画像に基づいて学習済みのニューラルネットワークを利用して前記対象物の種類を推定する請求項１に記載の含水比推定方法。
【請求項3】
既知の分光反射率を示す校正シートに基づいて前記画像の明るさが適切であるかを判定する判定ステップを含み、前記明るさが適切でない前記画像に基づいた前記対象物の含水比の推定を行わない
請求項１又は２に記載の含水比推定方法。
【請求項4】
マルチスペクトルカメラによって土を含む地面の画像を撮像する撮像ステップと、前記画像に基づき、前記地面の赤外線波長帯の分光反射率である第１分光反射率と前記地面の他の波長帯の分光反射率である第２分光反射率とを取得する分光反射率取得ステップと、
マルチスペクトルカメラによって撮像された前記地面の画像から分光反射率スペクトルのベクトルを導出する導出ステップと、
前記ベクトルと予め記憶された前記土の種類毎の分光反射率スペクトルとに基づいて前記土の種類を推定する対象物推定ステップと、
予め記憶された前記土の種類毎の前記第１分光反射率と前記第２分光反射率との差と、含水比と、の対応関係を示すデータに基づいて前記地面の含水比を推定する含水比推定ステップと、
前記対象物推定ステップで推定された土の種類と、前記含水比推定ステップで推定された含水比とに基づいて前記地面のコーン指数を推定するコーン指数推定ステップと、
を含み、
前記他の波長帯は、前記赤外線波長帯よりも短波長の光の波長帯であり、
前記ベクトルのうち、３５０［ｎｍ］から４５０［ｎｍ］までの波長帯の分光反射率の平均をαとし、７００［ｎｍ］から７５０［ｎｍ］までの波長帯の分光反射率の平均をβとした場合にα×１０＞βが成立するベクトルを前記対象物推定ステップで利用しない
コーン指数推定方法。
【請求項5】
前記コーン指数推定ステップでは、予め記憶された土の種類毎の含水比とコーン指数との対応関係を示すデータに基づいて前記土のコーン指数を推定する請求項４に記載のコーン指数推定方法。
【請求項6】
土の画像を撮像するマルチスペクトルカメラと、前記画像に基づき、前記土のコーン指数を推定する情報処理装置と、を備え、
前記情報処理装置は、前記画像に基づき、前記土の赤外線波長帯の分光反射率である第１分光反射率と前記土の他の波長帯の分光反射率である第２分光反射率とを取得し、予め記憶された前記土の種類毎の前記第１分光反射率と前記第２分光反射率との差と、含水比と、の対応関係を示すデータに基づいて前記第１分光反射率と前記第２分光反射率との差に基づき前記土の含水比を推定し、前記土のコーン指数の推定に関する情報として推定された前記土の含水比を示す情報を利用する演算部を備え、
前記他の波長帯は、前記赤外線波長帯よりも短波長の光の波長帯であり、
前記演算部は、
マルチスペクトルカメラによって撮像された前記土の画像から分光反射率スペクトルのベクトルを導出し、
前記ベクトルのうち３５０［ｎｍ］から４５０［ｎｍ］までの波長帯の分光反射率の平均をαとし、７００［ｎｍ］から７５０［ｎｍ］までの波長帯の分光反射率の平均をβとした場合にα×１０＞βが成立するベクトルを除いたベクトルと予め記憶された前記土の種類毎の分光反射率スペクトルとに基づいて前記土の種類を推定する
コーン指数推定システム。
【請求項7】
前記マルチスペクトルカメラは、車両に搭載される、請求項６に記載のコーン指数推定システム。
【請求項8】
前記マルチスペクトルカメラは、無人航空機に搭載される、請求項６に記載のコーン指数推定システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、含水比推定方法、コーン指数推定方法、コーン指数推定システム、車両及び無人航空機に関する。
【背景技術】
【0002】
災害等が発生した地域において、災害対応のための車両や建設機械を当該地域に派遣する場合、当該地域の地盤に関する情報を事前に得る必要がある。例えば特許文献１には、土質判定装置の一例が記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第２０１６／１３６２３１号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に記載の土質判定装置では、センサを対象土に接触させる必要がある。
【0005】
本開示は、上記の課題に鑑みてなされたものであって、非接触で高精度に対象物の含水比を推定できる含水比推定方法、コーン指数推定方法、コーン指数推定システム、車両及び無人航空機を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の目的を達成するため、本開示の一態様の含水比推定方法は、マルチスペクトルカメラによって対象物の画像を撮像する撮像ステップと、前記画像に基づき、前記対象物の赤外線波長帯の分光反射率である第１分光反射率と前記対象物の他の波長帯の分光反射率である第２分光反射率とを取得する分光反射率取得ステップと、前記第１分光反射率と前記第２分光反射率との差に基づき前記対象物の含水比を推定する含水比推定ステップと、を含み、前記他の波長帯は、前記赤外線波長帯よりも短波長の光の波長帯である。
【0007】
含水比推定方法の望ましい態様として、マルチスペクトルカメラによって撮像された前記対象物の画像から分光反射率スペクトルのベクトルを導出する導出ステップと、前記ベクトルと予め記憶された前記対象物の種類毎の分光反射率スペクトルとに基づいて前記対象物の種類を推定する対象物推定ステップと、をさらに含み、前記含水比推定ステップでは、予め記憶された前記対象物の種類毎の前記第１分光反射率と前記第２分光反射率との差と、含水比と、の対応関係を示すデータに基づいて前記対象物の含水比を推定する。
【0008】
含水比推定方法の望ましい態様として、前記対象物推定ステップでは、マルチスペクトルカメラによって予め撮像された前記対象物の種類毎の画像に基づいて学習済みのニューラルネットワークを利用して前記対象物の種類を推定する。
【0009】
含水比推定方法の望ましい態様として、前記ベクトルのうち、３５０［ｎｍ］から４５０［ｎｍ］までの波長帯の分光反射率の平均をαとし、７００［ｎｍ］から７５０［ｎｍ］までの波長帯の分光反射率の平均をβとした場合にα×１０＞βが成立するベクトルを前記対象物推定ステップで利用しない。
【0010】
含水比推定方法の望ましい態様として、既知の分光反射率を示す校正シートに基づいて前記画像の明るさが適切であるかを判定する判定ステップを含み、前記明るさが適切でない前記画像に基づいた前記対象物の含水比の推定を行わない。
【0011】
上記の目的を達成するため、本開示の一態様のコーン指数推定方法は、マルチスペクトルカメラによって土を含む地面の画像を撮像する撮像ステップと、前記画像に基づき、前記地面の赤外線波長帯の分光反射率である第１分光反射率と前記地面の他の波長帯の分光反射率である第２分光反射率とを取得する分光反射率取得ステップと、マルチスペクトルカメラによって撮像された前記地面の画像から分光反射率スペクトルのベクトルを導出する導出ステップと、前記ベクトルと予め記憶された前記土の種類毎の分光反射率スペクトルとに基づいて前記土の種類を推定する対象物推定ステップと、予め記憶された前記土の種類毎の前記第１分光反射率と前記第２分光反射率との差と、含水比と、の対応関係を示すデータに基づいて前記地面の含水比を推定する含水比推定ステップと、前記対象物推定ステップで推定された土の種類と、前記含水比推定ステップで推定された含水比とに基づいて前記地面のコーン指数を推定するコーン指数推定ステップと、を含み、前記他の波長帯は、前記赤外線波長帯よりも短波長の光の波長帯である。
【0012】
含水比推定方法の望ましい態様として、前記コーン指数推定ステップでは、予め記憶された土の種類毎の含水比とコーン指数との対応関係を示すデータに基づいて前記土のコーン指数を推定する。
【0013】
上記の目的を達成するため、本開示の一態様のコーン指数推定システムは、土の画像を撮像するマルチスペクトルカメラと、前記画像に基づき、前記土のコーン指数を推定する情報処理装置と、を備え、前記情報処理装置は、前記画像に基づき、前記土の赤外線波長帯の分光反射率である第１分光反射率と前記土の他の波長帯の分光反射率である第２分光反射率とを取得し、前記第１分光反射率と前記第２分光反射率との差に基づき前記土の含水比を推定し、前記土のコーン指数の推定に関する情報として推定された前記土の含水比を示す情報を利用する演算部を備え、前記他の波長帯は、前記赤外線波長帯よりも短波長の光の波長帯である。
【0014】
上記の目的を達成するため、本開示の一態様の車両は、上述に記載の含水比推定システムに用いられ、前記マルチスペクトルカメラが搭載される。
【0015】
上記の目的を達成するため、本開示の一態様の無人航空機は、上述に記載の含水比推定システムに用いられ、前記マルチスペクトルカメラが搭載される。
【発明の効果】
【0016】
本開示によれば、非接触で高精度に対象物の含水比を推定できる。
【図面の簡単な説明】
【0017】
【図19】図１９は、第１前処理が適用される第１部分領域及び第１前処理が適用されない第２部分領域を含むマルチスペクトル画像と、これらの部分領域の分光反射率スペクトルの比較の一例を示すグラフと、の関係を示す図である。
【発明を実施するための形態】
【0018】
以下に、本開示に係る推定システムについて実施形態を図面に基づいて詳細に説明する。なお、本開示は、以下の実施形態の記載に限定されるものではない。また、以下の実施形態における構成要素には、当業者が置換可能、且つ、容易なもの、或いは実質的に同一のものが含まれる。さらに、以下に記載した実施形態における構成要素は、本開示の要旨を逸脱しない範囲で構成の種々の省略、置換又は変更を行うことができる。以下の実施形態では、本開示に係る推定システムの実施形態を例示する上で、必要となる構成要素を説明し、その他の構成要素を省略する。
【0019】
図１は、推定システム１の主要構成例を示すブロック図である。推定システム１は、マルチスペクトルカメラ１０と、情報処理装置２０とを備える。マルチスペクトルカメラ１０は、例えば、第１撮像装置１１と第１撮像装置１２とを含む。
【0020】
図２は、第１撮像装置１１と第２撮像装置１２が搭載されたバックホウ１００の例を示す図である。バックホウ１００は、推定システム１に用いられる車両の一例である。第１撮像装置１１と第２撮像装置１２は、例えばバックホウ１００の屋根部１０１の上側に設けられる。第１撮像装置１１と第２撮像装置１２は、例えばバックホウ１００においてアーム１０２が延出する前方側の地面ＧＲを撮像範囲ＳＵＢ内に収めるよう設けられる。なお、図２では、屋根部１０１に立てられた支持部材１３によって第１撮像装置１１と第２撮像装置１２が支持されるよう設けられ、第２撮像装置１２が第１撮像装置１１よりも上側に位置しているが、これはあくまで設置例の一例であってこれに限られるものでなく、適宜変更可能である。
【0021】
図２のバックホウ１００は、あくまでマルチスペクトルカメラ１０を搭載可能であって移動可能な構成の具体例であってこれに限られるものでない。後述する航空機のように、マルチスペクトルカメラ１０は、他の構成に設けられてもよい。
【0022】
マルチスペクトルカメラ１０は、ヒトの可視光に対応したスペクトルの光を検知して当該波長帯全域を含む１つの撮像画像を生成する機能に限定された一般的な撮像装置と異なり、予め指定された特定のスペクトルの光を検知して撮像画像を生成する機能を有する撮像装置である。ここで、指定可能な特定のスペクトルの種類は、複数である。また、実施形態のマルチスペクトルカメラ１０は、ヒトの不可視光を含むスペクトルの光を検知して撮像画像を生成できる。
【0023】
以下、「撮像画像のスペクトル」と記載した場合、マルチスペクトルカメラ１０が撮像画像を生成する際に当該マルチスペクトルカメラ１０が検知するよう指定された光のスペクトルをさす。また、「α［ｎｍ］の撮像画像」と記載した場合、マルチスペクトルカメラ１０が「撮像画像のスペクトル」としてα［ｎｍ］を検知するよう指定された状態で生成された撮像画像をさす。αは、光の波長又は光の波長帯を表す数値である。また、「マルチスペクトル画像」と記載した場合、マルチスペクトルカメラ１０によって撮像された撮像画像全般を包括する。
【0024】
第１撮像装置１１と第２撮像装置１２とは、検知可能な光のスペクトルが異なる。実施形態では、第１撮像装置１１は、３５０［ｎｍ］から１１００［ｍｍ］までの範囲内で５［ｎｍ］刻みで撮像画像のスペクトルを指定可能に設けられたマルチスペクトルカメラ１０である。また、第２撮像装置１２は、４９０［ｎｍ］、５７０［ｎｍ］、６７１［ｎｍ］、８００［ｎｍ］、９００［ｎｍ］及び９５０［ｎｍ］の６つの波長ならびに９００［ｎｍ］から１７００［ｍｍ］までの波長帯の計７種類のスペクトルを指定可能に設けられたマルチスペクトルカメラ１０である。実施形態で例示している第１撮像装置１１と第２撮像装置１２が検知可能な光のスペクトルはあくまで一例であってこれに限られるものでなく、本実施形態と同様の効果を奏するためにこれらのスペクトルが必須であることを示すものでない。
【0025】
図３は、可視光線に対応するＲＧＢ画像と、マルチスペクトル画像との比較例を示す模式図である。図３に示すｘ軸方向及びｙ軸方向は撮像面を示し、ｚ軸方向は撮像に際して検知される光のスペクトルを示す。図３における上側がより短波長であり、下側がより長波長である。
【0026】
ＲＧＢ画像は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３波長帯の光の強さを示す記録が１つの画像に合成された画像である。これに対し、マルチスペクトル画像は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３波長帯に限られない、より多くの種類のスペクトルを撮像画像のスペクトルとして指定可能である。図３において「マルチスペクトル画像」として図示したイメージでｚ軸方向に積層された各撮像面が、撮像画像のスペクトルとして指定されたそれぞれの光のスペクトルに対応した画像（スペクトル画像）を示す。マルチスペクトル画像は、係るスペクトル画像を複数含む。各撮像面は、ｘ軸方向とｙ軸方向に沿って二次元方向に複数の画素が配置された画像データとみなせる。より具体的には、当該画像データは、例えばｘ軸方向に６４０の画素が並び、ｙ軸方向に４８０の画素が並ぶ二次元画像データであるが、これに限られるものでなく、具体的な画素数については適宜変更可能である。係る画像データの各画素の階調値は、撮像範囲ＳＵＢを撮像したマルチスペクトルカメラ１０の撮像素子が当該画素の位置で検知した光の分光反射率に対応した値になる。すなわち、各撮像面は、同じ撮像範囲ＳＵＢを撮像したスペクトル画像であってそれぞれ異なるスペクトルでの分光反射率を階調値として記録した画像データとして扱える。また、各撮像面は、対応する光のスペクトルの分光反射率に特化していることから、各撮像面の各画素は、対応する光のスペクトルの光の強さを階調値で表すことになる。従って、各撮像面は、対応する光のスペクトルで撮像範囲ＳＵＢを撮像した所謂グレースケール状の画像データのようになる。また、マルチスペクトル画像は、光の波長範囲についてＲＧＢ画像よりも多い情報量を取得可能な画像として機能する。また、マルチスペクトル画像で採用可能な光の波長範囲は、可視光と不可視光の両方の波長範囲を含む。
【0027】
このようなマルチスペクトル画像は、マルチスペクトルカメラ１０によって撮像された地面ＧＲの性質の推定に利用できる。マルチスペクトル画像に基づいて推定できる地面ＧＲの性質として、当該地面ＧＲを覆う土の種類と、当該土の含水比とが挙げられる。実施形態では、マルチスペクトル画像に基づいて推定された土の種類と当該土の含水比とに基づいたコーン指数の推定が行われる。
【0028】
コーン指数は、土質パラメータの１つであり、コーンペネトロメータのコーンを土中に押し込む際の貫入抵抗力度である。なお、土質パラメータとは、土の性質の程度を示す指標をさす。具体的なコーンペネトロメータの構成例として、長さ９１．４［ｃｍ］、直径０．９５［ｃｍ］のシャフトの一端側に円錐状のコーンを付け、他端側に土の抵抗を測定するためのゲージとハンドルを搭載したものが知られる。コーンの円錐は、例えば先端角３０［°］、底面積１．６１［ｃｍ］である。コーンの円錐の底面側がシャフトの一端に付けられる。係るコーンペネトロメータの使用方法例として、使用者が一端側を地面に向けてシャフトが鉛直になるよう構え、コーンの先端を地面に付けて土中に押し込むように力を掛けた場合に土からコーンに働く抵抗力を上部のゲージで読み取る方法が知られている。係る抵抗力の値をコーンの底面積で除し、一定の係数をかけることでコーン指数が算出される。なお、ここで例示したコーンペネトロメータの諸元は１９４８年にアメリカ陸軍工兵隊で開発されたコーンペネトロメータのものであるに過ぎず、コーン指数の算出が係る諸元のコーンペネトロメータを用いるものに限定されることを示すものでない。
【0029】
コーン指数は、移動可能な建設機械の走破性の高さを示す指標として利用できる。一般的に、図２に示すような無限軌道１０３を備えた建設機械は、コーン指数が２００以上の地面を走行できるよう製造されている。従って、係る建設機械の移動経路を決定する際、移動経路の候補となる地面のコーン指数を予め測定したいという需要がある。
【0030】
一方、コーンペネトロメータを用いて地面のコーン指数を求めようとする作業を行う場合、当該地面にコーンペネトロメータの使用者が赴く必要がある。このため、例えば災害等で進入に危険を伴う地域内では当該使用者がコーンペネトロメータを持ち込むことが困難になることで、コーン指数の算出が困難になる。また、コーンペネトロメータを用いて求められた地面のコーン指数は、コーンが貫入した位置における点的なコーン指数である。このため、より広い範囲の地面のコーン指数を求めようとすると、複数個所でコーンを貫入させる作業が必要になる。
【0031】
そこで、実施形態では、上述のように、マルチスペクトル画像に基づいて推定された土の種類と当該土の含水比とに基づいたコーン指数の推定を行う。これによって、コーンペネトロメータを持ち込むことが困難な地域内でもコーン指数の推定を行える。また、マルチスペクトル画像によって面的に地面ＧＲを撮像範囲ＳＵＢ内に収めることで、撮像範囲ＳＵＢに含まれる地面ＧＲ全体の面的なコーン指数の推定を行える。実施形態のマルチスペクトルカメラ１０は、地面ＧＲを撮像対象としてマルチスペクトル画像の撮像を行う。情報処理装置２０は、マルチスペクトルカメラ１０が撮像したマルチスペクトル画像に基づいたコーン指数の推定に係る各種の処理を行う。
【0032】
具体的には、マルチスペクトル画像は、撮像された土の分光反射率スペクトルを反映する。分光反射率スペクトルとは、物質に入射してくる光のエネルギーに対して、その物質が反射した光のエネルギーの割合を波長ごとに並べたものである。
【0033】
分光反射率スペクトルを示すは、以下の式（１）のように表せる。式（１）において、ρ（λ）は物質の分光反射率を示す。また、Ｌｓ（λ）は物質が反射する光の強さを示す。また、Ｌｉ（λ）は物質に入射する光の強さをそれぞれ示す。また、λは波長を示す。
【0034】
【数1】
【0035】
物質は、その分子や原子の構造、または物質を構成する微粒子の大きさや形、表面の凹凸によって、光の波長ごとの反射、散乱、吸収及び放射の度合いが異なる。光の波長ごとの反射、散乱、吸収及び放射の度合いが異なるということは、分光反射率スペクトルが異なるということである。
【0036】
分光反射率スペクトルに影響を与える土質パラメータとして、土の粒子の鉱物組成、土の有機物含有量、土の粒度分布、土を構成する粒子の球形率、土の含水比等が挙げられる。このうち、土の粒子の鉱物組成と、土の有機物含有量と、土の粒度分布と、土を構成する粒子の球形率との組み合わせは、係る土の種類毎に特有の土質パラメータは、土の種類毎の粒子の材質や直径の分布、形、表面の粗さ等に反映され、土の種類毎に特有の土質パラメータとして機能する。マルチスペクトルカメラ１０によって撮像された地面ＧＲを覆う土の種類に応じた当該組み合わせによって、分光反射率スペクトルに与えられる影響が異なる。より具体的には、図３において「マルチスペクトル画像」として図示したイメージでｚ軸方向に積層された各撮像面は、それぞれ異なる光のスペクトルの分光反射率を反映する。ここで、各撮像面がｚ軸方向に沿ってスペクトル順に並んでいる「マルチスペクトル画像」は、マルチスペクトルカメラ１０によって撮像された地面ＧＲを覆う土の分光反射率スペクトルを反映する。従って、マルチスペクトル画像に基づいて、マルチスペクトルカメラ１０によって撮像された地面ＧＲを覆う土の種類を推定できる。
【0037】
また、土質パラメータのうち、土の含水比は、土の種類から独立した土質パラメータとして機能する。詳細は後述するが、同種の土であっても土の含水比が異なる場合、分光反射率スペクトルは異なるものになる。このように、土の含水比は、分光反射率スペクトルに影響を与える。すなわち、マルチスペクトルカメラ１０によって撮像された地面ＧＲを覆う土の含水比によって、マルチスペクトル画像から得られる分光反射率スペクトルに与えられる影響が異なる。従って、マルチスペクトル画像に基づいて、マルチスペクトルカメラ１０によって撮像された地面ＧＲを覆う土の含水比を推定できる。これは、地面ＧＲに対して非接触で当該地面ＧＲを覆う土の種類と当該土の含水比を推定できることを示す。土の種類と当該土の含水比とは、当該土で構成された地面ＧＲのコーン指数に大きな影響を与える。従って、地面ＧＲを覆う土の種類と当該土の含水比とを推定することで、コーン指数を推定できる。
【0038】
撮像画像のスペクトルとされる光の波長帯は、土の含水比の影響を受けない又は相対的により受けにくい波長と、含水比の影響が相対的により受けやすい波長とを含む。土の種類の推定に用いるマルチスペクトル画像の撮像においては、土の含水比の影響を受けない又は相対的により受けにくい波長が撮像画像のスペクトルとされる。また、土の含水比の影響を受けない又は相対的により受けにくい波長と含水比の影響が相対的により受けやすい波長との両方が撮像画像のスペクトルとされる。
【0039】
なお、一般的に、土は地下方向に深い位置にあるものほど、より地面側に位置する上側の土の質量からの圧力を受けることでより固くなる傾向がある。言い換えれば、露出する地面は、土の積層構造において最も軟らかい部分であることが多い。また、同じ場所ならば、地面に露出する土もより地下方向に深い位置にある土も同じ種類の土であることが多い。また、コーン指数は、軟らかい土ほど低くなる傾向がある。これらの事情から、地面を覆う土から推定されたコーン指数が当該土で覆われた地盤のコーン指数を超えることはほとんどない。従って、マルチスペクトルカメラ１０によって撮像された地面ＧＲを覆う土のコーン指数を推定できれば、当該土で覆われた地盤の走破性を推定するための十分な情報を得られる。なぜなら、地面ＧＲで露出する一番軟らかい土のコーン指数が建設機械の重量に耐えられるならば、より地下方向に深い部分にある固い土のコーン指数も当然建設機械の重量に耐えられることになるからである。すなわち、地面ＧＲで露出する一番軟らかい土のコーン指数に基づいた当該建設機械の走破性の判定を行えば、当該地面ＧＲの走破性の判定として十分であると考えられる。
【0040】
情報処理装置２０は、マルチスペクトル画像に基づいた土の種類の推定、土の含水比の推定及びコーン指数の推定に係る処理を行う。図１に示すように、情報処理装置２０は、演算部２１と、記憶部２２と、インタフェース２３と、入力部２４と、出力部２５とを備える。
【0041】
演算部２１は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）のような演算装置を備える。演算部２１は、記憶部２２に記憶されているソフトウェア・プログラム及びデータ等を読み出して実行処理する。以下、単にプログラムと記載した場合、演算部２１に読み出されるソフトウェア・プログラム及び当該ソフトウェア・プログラムの実行処理に際して参照されるデータ等をさす。
【0042】
記憶部２２は、プログラムを記憶する二次記憶装置を含む。具体的には、記憶部２２は、図１に示すように、土種類推定プログラム２２１、含水比推定プログラム２２２及びコーン指数推定プログラム２２３を記憶する。係る二次記憶装置の具体的な構成例として、ハードディスクドライブ、ソリッドステートドライブ、フラッシュメモリーその他の不揮発性記憶装置が挙げられる。実施形態の記憶部２２は、これらのうち１つ以上を備える。また、記憶部２２は、演算部２１が行うプログラムの実行処理に際して記憶領域として利用されるＲＡＭ（Random access memory）として機能する一次記憶装置を含む。係る一時記憶装置の具体的な構成例として、ＤＲＡＭ（Dynamic Random Access Memory）として機能する半導体メモリ等が挙げられる。
【0043】
インタフェース２３は、情報処理装置２０とマルチスペクトルカメラ１０とを接続する。具体的には、インタフェース２３は、マルチスペクトルカメラ１０の出力形態に対応したインタフェースである。例えば、第１撮像装置１１及び第２撮像装置１２のうち少なくとも一方の入出力インタフェースがＵＳＢ（Universal Serial Bus）である場合、インタフェース２３は、ＵＳＢケーブルの端子を接続可能なＵＳＢインタフェースを含む。また、第１撮像装置１１及び第２撮像装置１２のうち少なくとも一方が通信を介したデータ出力を行う場合、インタフェース２３は、当該通信の規格に対応したネットワークインタフェースを含む。当該通信の経路は、有線によるものであってもよいし、無線によるものであってもよいし、有線と無線とが混在するものであってもよい。また、通信経路の一部又は全部がインターネット等の公共通信回線を利用するものであってもよいし、通信経路の一部又は全部が実施形態専用に設けられたものであってもよい。これら例示したインタフェースの具体的形態はマルチスペクトルカメラ１０と情報処理装置２０との接続形態を限定するものでなく、マルチスペクトルカメラ１０が撮像して生成した撮像画像を情報処理装置２０に伝送可能な形態であればよい。
【0044】
なお、情報処理装置２０は、バックホウ１００に搭載されていてもよいし、バックホウ１００の外部に設けられて有線又は無線を介してバックホウ１００に設けられたマルチスペクトルカメラ１０と接続されるようにしてもよい。
【0045】
入力部２４は、例えばタッチパネル、キーボード、マウス、複数のスイッチ等、情報処理装置２０に対する入力を受け付けるための入力装置を含む。出力部２５は、例えばディスプレイ、プリンタ等、情報処理装置２０の処理結果に対応した出力を行うための構成を含む。
【0046】
図４は、推定システム１の機能ブロック図である。図４に示すように、情報処理装置２０は、取得部３１、土種類推定部３２、含水比推定部３３、コーン指数推定部３４及び出力部３５として機能する。実施形態の情報処理装置２０は、図１を参照して説明した各構成を備え、図４を参照して説明する各種の機能を奏する情報処理装置であるが、これに限られるものでない。情報処理装置２０は、図４を参照して説明する各種の機能を奏する専用の装置であってもよい。
【0047】
取得部３１は、マルチスペクトル画像を取得する。具体的には、取得部３１は、マルチスペクトルカメラ１０から出力され、インタフェース２３を介して情報処理装置２０に入力されたマルチスペクトル画像を取得部３１が取得することで実現される。
【0048】
土種類推定部３２は、マルチスペクトルカメラ１０で撮像された地面ＧＲを覆う土の種類を推定する。具体的には、土種類推定部３２は、演算部２１が土種類推定プログラム２２１を実行処理することで実現する。含水比推定部３３は、マルチスペクトルカメラ１０で撮像された地面ＧＲを覆う土の含水比を推定する。具体的には、含水比推定部３３は、演算部２１が含水比推定プログラム２２２を実行処理することで実現する。コーン指数推定部３４は、マルチスペクトルカメラ１０で撮像された地面ＧＲのコーン指数を推定する。具体的には、コーン指数推定部３４は、演算部２１がコーン指数推定プログラム２２３を実行処理することで実現する。土種類推定部３２、含水比推定部３３、コーン指数推定部３４の各々の機能の詳細については後述する。
【0049】
出力部３５は、コーン指数推定部３４が推定したコーン指数を示す出力を行う。具体的には、出力部３５は、出力部２５が備えるディスプレイによる表示出力、プリンタによる画像形成出力、スピーカによる音、音声の少なくともいずれか１つ以上によって当該コーン指数を示す出力を行う。
【0050】
以下、土種類推定部３２による土の種類の推定と、含水比推定部３３による土の含水比の推定と、コーン指数推定部３４によるコーン指数の推定の各々の詳細について順次説明する。
【0051】
（土の種類の推定）
マルチスペクトル画像に基づいた土の種類の推定では、土の種類に応じてそれぞれ別の分光反射率スペクトルを持つことを利用する。土の種類の推定の際には、水分子が吸収しない波長における分光反射率スペクトルの詳細な形状が必要になる。従って、土の種類の推定のために指定される撮像画像のスペクトルの数（第１指定数）をより多くすることで、土の種類の推定精度をより高められる。実施形態では、当該第１指定数は、含水比の推定のために指定される撮像画像のスペクトルの数（第２指定数）に比して大きい。なお、撮像画像のスペクトルが実施形態における第１指定数のように非常に多いマルチスペクトル画像のことを、マルチスペクトル画像の中でも特にハイパースペクトル画像ということがある。
マルチスペクトル画像に基づいた土の種類の推定では、土の種類に応じてそれぞれ別の分光反射率スペクトルを持つことを利用する。土の種類の推定の際には、水分子が吸収しない波長における分光反射率スペクトルの詳細な形状が必要になる。従って、土の種類の推定のために指定される撮像画像のスペクトルの数（第１指定数）をより多くすることで、土の種類の推定精度をより高められる。実施形態では、当該第１指定数は、含水比の推定のために指定される撮像画像のスペクトルの数（第２指定数）に比して大きい。なお、撮像画像のスペクトルが実施形態における第１指定数のように非常に多いマルチスペクトル画像のことを、マルチスペクトル画像の中でも特にハイパースペクトル画像ということがある。
【0052】
図５は、１０種類の土の各々の可視光画像の例を示す図である。図６は、図５に示す１０種類のうち３種類の土の各々の５００［ｎｍ］から９００［ｎｍ］までの波長帯における分光反射率スペクトルを示すグラフである。図６のグラフにおいて、縦軸は分光反射率を示し、横軸は波長を示す。図６における線Ｌ１は、種類Ａの分光反射率スペクトルを示す。図６における線Ｌ２は、種類Ｂの分光反射率スペクトルを示す。図６における線Ｌ３は、種類Ｃの分光反射率スペクトルを示す。
【0053】
図５では、日本国内のそれぞれ異なる場所で採取された１０種類の土を例示している。当該１０種類の土のうち５種類は、土を構成する土粒子のうち半分以上の直径が０．０７５［ｍｍ］以上７５［ｍｍ］未満の粗粒土である。また、他の５種類は、土を構成する土粒子のうち半分以上の直径が０．０７５［ｍｍ］未満の細粒土である。また、他の５種類の細粒土は、さらにその土の起源によって、粘性土と火山灰質粘性土に分けられる。具体的には、図５に示す種類Ａ、種類Ｄ及び種類Ｇは、粘性土である。また、図５に示す種類Ｂ及び種類Ｆは、火山灰質粘性土である。また、図５に示す種類Ｃ、種類Ｅ、種類Ｈ、種類Ｉ及び種類Ｊは、粗粒土である。
【0054】
図６に示すように、線Ｌ３（種類Ｃ）は、５００［ｎｍ］から９００［ｎｍ］までの波長帯の全般に渡って、分光反射率スペクトルが線Ｌ１（種類Ａ）及び線Ｌ２（種類Ｂ）とは異なる。従って、撮像画像のスペクトルを５００［ｎｍ］から９００［ｎｍ］までの波長帯の範囲内で指定すれば、マルチスペクトル画像に基づいて種類Ｃを種類Ａ及び種類Ｂと判別できる。
【0055】
これに対し、種類Ａの分光反射率スペクトルと種類Ｂの分光反射率スペクトルとを比較した場合、６００［ｎｍ］から７００［ｎｍ］までの波長帯では差がほとんどない。一方、５００［ｎｍ］の波長では、種類Ａの分光反射率の方が種類Ｂの分光反射率よりも高い。また、７００［ｎｍ］を超えた波長帯でも、種類Ａの分光反射率が種類Ｂの分光反射率よりも高い。このように、５００［ｎｍ］の波長や７００［ｎｍ］を超えた波長帯が撮像画像のスペクトルとして指定されていれば、マルチスペクトル画像に基づいて種類Ａと種類Ｂとを判別できる。
【0056】
なお、粗粒土、粘性土又は火山灰質粘性土のいずれかであるかという観点で同種のものに分類されるとしても、図５で例示した１０種類の土の各々は、第１撮像装置１１で指定可能な撮像画像のスペクトルの範囲内においてそれぞれ異なる分光反射率スペクトルを示す。
【0057】
図６を参照して説明したように、指定された撮像画像のスペクトルが仮に６００［ｎｍ］から７００［ｎｍ］までの波長帯に限定されていた場合、種類Ａと種類Ｂとの判別の難易度が高くなる。このような土の種類と分光反射率スペクトルとの関係を考慮し、指定される撮像画像のスペクトルの数と撮像画像のスペクトルが含む波長帯とはより大きいことが望ましい。
【0058】
図７は、指定された撮像画像のスペクトルの数と土の種類の判別精度との関係の一例を示すグラフである。以下、「指定数」と記載した場合、特筆しない限り、撮像画像のスペクトルとして指定された光の波長又は光の波長体の種類の数をさす。図７では、指定数が３である場合と、指定数が６である場合と、指定数が１５１である場合の各々の土の種類の判別精度の高さを例示している。図７に示すように、指定数が１５１である場合、指定数が３である場合及び指定数が６である場合に比して、土の種類の判別をより高精度に行える。また、指定数が６である場合、指定数が３である場合に比して、土の種類の判別をより高精度に行える。このように、指定数がより大きいほど、土の種類の判別精度をより高めやすい。したがって、指定数が大きいほど好ましく、限定はされない。
【0059】
実施形態の第１撮像装置１１は、上述のように、３５０［ｎｍ］から１１００［ｍｍ］までの範囲内で５［ｎｍ］刻みで撮像画像のスペクトルを指定可能に設けられたマルチスペクトルカメラ１０である。すなわち、第１撮像装置１１は、３５０［ｎｍ］，３５５［ｎｍ］，３６０［ｎｍ］，…，１１００［ｎｍ］のように、５［ｎｍ］刻みで撮像画像のスペクトルを指定することで、最大１５１種類の光の波長に対する撮像画像を取得可能である。実施形態では、このように広範囲のスペクトル毎の撮像画像を取得することで、土の種類の判別精度を確保している。
【0060】
第１撮像装置１１は、上述のように、１５１種類の光の波長を撮像画像のスペクトルとして指定される。第１撮像装置１１は、係る指定条件下で地面ＧＲ（図２参照）を撮像する。演算部２１は、第１撮像装置１１が撮像したマルチスペクトル画像を取得する。土種類推定部３２は、当該マルチスペクトル画像に基づいて、第１撮像装置１１が撮像した地面ＧＲを覆う土の種類を推定する。具体的には、土種類推定部３２は、ニューラルネットワークＮＮを利用して当該土の種類を推定する。
【0061】
図８は、マルチスペクトル画像とニューラルネットワークＮＮの入出力との関係の一例を示す模式図である。土種類推定部３２は、マルチスペクトル画像を、単位領域Ｃｒ単位で抽出し、単位領域Ｃｒが示す分光反射率スペクトルのベクトルに含まれる成分を個別にニューラルネットワークＮＮへの入力とする。ここで、単位領域Ｃｒにおいてｚ軸方向に並ぶ複数の撮像面の各々の階調値が示す分光反射率をｚ軸方向の一端側（長波長側）から他端側（短波長側）に並べた行ベクトルは、単位領域Ｃｒが示す分光反射率スペクトルのベクトルとして機能する。すなわち、より具体的には、土種類推定部３２は、各単位領域Ｃｒにおける複数の撮像面の各々の階調値を要素とするベクトルを各単位領域Ｃｒが示す分光反射率スペクトルのベクトルとして導出し、導出されたベクトルをニューラルネットワークＮＮへの入力とする。
【0062】
実施形態における分光反射率スペクトルのベクトルは、第１撮像装置１１が撮像するマルチスペクトル画像において撮像画像のスペクトルとして指定されたスペクトルの数の成分を持つベクトルとなる。各成分が、マルチスペクトル画像の各撮像面における単位領域Ｃｒの位置の階調値で表される。なお、成分は、０以上１以下の値となるよう変換される。具体的には、各撮像面で階調値がｈビットのデータとして扱われる場合、当該ｈビットのデータの最低値を０とし、最高値を１として扱う。一例として、ｈ＝１６である場合、階調値が０である場合に成分が０になり、階調値が６５５３５である場合に成分が１になる。
【0063】
単位領域Ｃｒとは、予め定められた１画素以上を含む画素領域である。実施形態では、単位領域Ｃｒは、１画素である。なお、単位領域Ｃｒは、ｘ軸方向に１画素分の領域であって、かつ、ｙ軸方向に撮像面の一端側から他端側までに渡る画素列領域であってもよい。また、単位領域Ｃｒは、ｙ軸方向に１画素分の領域であって、かつ、ｘ軸方向に撮像面の一端側から他端側までに渡る画素行領域であってもよい。また、単位領域Ｃｒは、撮像面をｘ軸方向及びｙ軸方向に複数に分割した領域の各々であってもよい。
【0064】
なお、実施形態の第１撮像装置１１は、撮像範囲ＳＵＢを走査するように撮像するマルチスペクトルカメラ１０である。具体的には、実施形態の第１撮像装置１１は、マルチスペクトル画像を構成する単位領域Ｃｒ毎に入射光を分光させて得た分光反射率スペクトルを記録し、それを終えると、次の単位領域Ｃｒの入射光を分光して分光反射率スペクトルの記録を開始する処理を最初の単位領域Ｃｒから最後の単位領域Ｃｒまで順次行う。このため、実施形態の第１撮像装置１１は単位領域Ｃｒ毎に、撮像時にその単位領域Ｃｒ内に映し出された物質の分光反射率スペクトルが記録されている。従って、土種類推定部３２が行う処理において第１撮像装置１１が撮像するマルチスペクトル画像から分光反射率スペクトルを取得するには、単位領域Ｃｒごとに取得する。
【0065】
ニューラルネットワークＮＮは、入力層と、出力層と、中間層とを含む。入力層、出力層及び中間層は、それぞれ複数のノードを有する。実施形態のニューラルネットワークＮＮは、土種類推定部３２によって導出された分光反射率スペクトルを示すベクトルを入力層とする。すなわち、ニューラルネットワークＮＮの入力層のノードの数は、第１撮像装置１１によるマルチスペクトル画像の撮像において指定される「撮像画像のスペクトル」の数に対応する。図８の「ニューラルネットワーク」欄で示す単位領域Ｃｒを構成する矩形の列の各々は、分光反射率スペクトルを示すベクトルに含まれる複数の成分の各々である。
【0066】
また、ニューラルネットワークＮＮは、マルチスペクトル画像として撮像された地面ＧＲの土が、予め定められたｉ種類の土のうちいずれの種類の土に該当するかを推定するためのニューラルネットワークである。従って、ニューラルネットワークＮＮの出力層（ｊ ｃｌａｓｓ）のノードの数（ｊ）は、ニューラルネットワークを利用した推定において区別可能な土の種類の数に対応する。
【0067】
ニューラルネットワークＮＮの中間層のノード数は、当該ニューラルネットワークＮＮの入力層のノード数より少ないことが好ましい。より好ましくは、当該中間層のノード数は、当該入力層のノード数の半分以下であることが好ましい。なお、実施形態では、ニューラルネットワークＮＮの中間層のノードの数（ｉ）を入力層のノードの約半分の数としているが、これは一例であってこれに限られるものでなく、適宜変更可能である。より具体的には、実施形態では、ニューラルネットワークＮＮの入力層のノードの数（単位領域Ｃｒ）が１５１であり、中間層のノードの数（ｉ）が６５であり、出力層のノードの数（ｊ）が１０（図５参照）である。
【0068】
中間層のノードは、入力層のノードと出力層のノードとの間に介在する。中間層のノードの各々には、全ての入力層のノードから入力が行われる。すなわち、中間層のノードの各々には、１つの単位領域Ｃｒにおける分光反射率スペクトルのベクトルが入力される。また、中間層のノードの各々には、全ての出力層のノードが接続される。中間層のノードの各々は、重み付けの結果を示す値を各出力層のノードへ出力する。
【0069】
より具体的な例を挙げると、中間層のノードは、例えば、分光反射率スペクトルのベクトルが種類Ａの土のものである可能性が高い場合に、種類Ａの土であるという推定結果に対応する出力層のノードにより高い重み付け値を出力するノードを含む。また、中間層のノードは、例えば、分光反射率スペクトルのベクトルが種類Ｂの土のものである可能性が高い場合に、種類Ｂの土であるという推定結果に対応する出力層のノードにより高い重み付け値を出力するノードを含む。このようなノードが、土の種類毎に設けられる。また、単純な土の種類Ａ、種類Ｂ、…、に限られず、土の種類毎の粒子の材質や直径の分布、形、表面の粗さ等の土質パラメータに基づいた重み付けで土の種類の推定結果の確からしさをより高めるノードがさらに設けられていてもよい。また、粗粒土と、細粒土と、細粒土のうち粘性土と、細粒土のうち火山灰質粘性土と、を区別するようなより粗い区別によって土の種類の推定結果の確からしさをより高めるノードがさらに設けられていてもよい。これらは中間層のノードの一例であってこれに限られるものでなく、実施形態では、土の種類の推定結果の確からしさをより高めるために利用可能な重み付け処理に対応したノードを中間層のノードとして設定できる。
【0070】
このように、区別可能な土の種類に対応した出力層のノードの各々に対して、中間層のノードの各々によって行われた重み付け処理の結果を示す値が出力される。第１撮像装置１１による１回の撮像に対して、理想的にはマルチスペクトル画像に含まれる単位領域Ｃｒの数だけ入力層に対する入力が繰り返され、各入力に対する重み付け処理が中間層によって行われ、出力層には土の種類の推定結果の確からしさを示す値が与えられる。ここで、例えば出力層の各ノードのうち、推定結果が種類Ａであることを示すノードの値が他の出力層のノードの値よりも高い場合、土種類推定部３２は、第１撮像装置１１によって撮像された地面ＧＲを覆う土の種類が種類Ａであると推定する。また、出力層の各ノードのうち、推定結果が種類Ｂであることを示すノードの値が他の出力層のノードの値よりも高い場合、土種類推定部３２は、第１撮像装置１１によって撮像された地面ＧＲを覆う土の種類が種類Ｂであると推定する。このように、実施形態の土種類推定部３２は、ニューラルネットワークＮＮを利用して土の種類を推定する。
【0071】
なお、理想的には、と記載したのは、実際には単位領域Ｃｒの一部又は全部から取得される分光反射率スペクトルのベクトルが土の種類の推定に適さないベクトルになる可能性があるためである。実施形態では、土種類推定部３２は、係る土の種類の推定に適さないベクトルをニューラルネットワークＮＮに対する入力から除外し、土の種類の推定に適したベクトルをニューラルネットワークＮＮへ入力する前処理（第１前処理）を行う。係る第１前処理の詳細については後述する。実施形態では、土種類推定部３２は、１回の撮像で得られたマルチスペクトル画像から土の種類の推定に適したベクトルが所定数以上得られた場合、当該マルチスペクトル画像に基づいた土の種類の推定を行う。当該所定数は例えば１００であるが、これに限られるものでなく、適宜変更可能である。
【0072】
土種類推定プログラム２２１は、演算部２１が土種類推定プログラム２２１を実行処理することでニューラルネットワークＮＮとして機能するためのプログラム等である。また、土種類推定プログラム２２１は、図６を参照して説明したような、土の種類毎に固有の分光反射率スペクトルを示すデータを含む。当該データは、ニューラルネットワークＮＮの中間層のノードで行われる重み付け処理で参照される。この他、土種類推定プログラム２２１は、中間層の各ノードが重み付け処理のために参照するデータをさらに含む。
【0073】
より具体的な形態について説明すると、実施形態では、ニューラルネットワークＮＮにおける中間層のノードの活性化関数としてＲｅＬＵ（Rectified Linear Unit）を使用する。また、ニューラルネットワークＮＮにおける出力層のノードの活性化関数としてソフトマックス関数（Softmax function）を使用する。また、ニューラルネットワークＮＮにおける中間層と出力層の間ではドロップアウトを行い、ドロップアウトする割合は０．２に設定する。また、ニューラルネットワークＮＮの最適化にはＲＭＳｐｒｏｐを使用し、学習率は０．００１に設定する。実施形態の土種類推定プログラム２２１は、例えばこれらの活性化関数、ドロップアウトの割合、最適化手法及び学習率を実現したニューラルネットワークＮＮとして機能するためのプログラム等である。これらの活性化関数、ドロップアウトの割合、最適化手法及び学習率はあくまで一例であってこれに限られるものでなく、適宜変更可能である。
【0074】
図９は、土の種類の推定に係る検証実験環境の一例を示す模式図である。図９では、土が入れられた鉢状の容器ＣＡを中心とし、当該容器ＣＡの上部開口部から露出する土を照明する３つのハロゲンランプＨＬを配置した構成例を示している。図２で例示したような建設機械に設けられた第１撮像装置１１によるマルチスペクトル画像の撮像時には屋外で太陽光を光源とするが、検証実験では、太陽光に似たスペクトルを持っているハロゲンランプＨＬを光源としてマルチスペクトル画像を撮像することにした。これにより、太陽光を光源とした場合と似た分光反射率スペクトルをマルチスペクトル画像から取得することができる。さらに、当該検証実験環境によれば、雨天や曇り空等、環境の条件の変化による光量の不足等の悪条件の発生を抑制でき、十分な光量が得られる環境下でマルチスペクトル画像の撮像を行える。
【0075】
図９で例示するような検証実験環境を利用することで、土の種類毎の分光反射率スペクトルを得られる。すなわち、容器ＣＡ内の土の種類をそれぞれ異ならせた条件下で第１撮像装置１１による撮像を個別に行うことで、土の種類毎の分光反射率スペクトルを得られる。このようにして得られた土の種類毎の分光反射率スペクトルを示すデータは、ニューラルネットワークＮＮにおける中間層のノードが行う重み付け処理で参照されるデータとして利用可能である。実施形態では、係る検証実験環境で土の種類毎のマルチスペクトル画像を第１撮像装置１１によって撮像し、バッチサイズを１２８とし、エポック数を１２とし、ニューラルネットワークＮＮの学習を行っている。バッチサイズとは、データ全体（データセット）を複数の分割データ（サブセット）に分割し、ニューラルネットワークＮＮが処理を行う場合の分割データの大きさである。エポック数は、同じデータセットを利用したニューラルネットワークＮＮによる処理の繰り返し回数を示す。なお、実施形態において図９の検証実験環境で撮像された土は、含水比を０％とするよう統一されているが、これは必須条件でなく、土の種類毎に異なる条件での撮像とならないよう行われた対処に過ぎない。
【0076】
図１０は、バッチサイズを１２８とし、エポック数を１２としてニューラルネットワークＮＮの学習を行った場合の土の種類の推定精度を示す混同行列である。当該混同行列は、縦軸が第１撮像装置１１によって撮像されたマルチスペクトル画像の各画素の分光反射率スペクトルが示す実際の土の種類を示し、横軸がその分光反射率スペクトルに基づいて土種類推定部３２がニューラルネットワークＮＮを利用して土の種類を推定した結果を示す。縦軸及び横軸のアルファベット（Ａ，Ｂ，…，Ｊ）は、図５を参照して説明した土の種類の符号に付されているアルファベットに対応する。第１撮像装置１１によって実際の土の種類と、土種類推定部３２によって推定された土の種類が一致した場合、混同行列の対角成分の部分の確率が高くなる。この混同行列における確率は、高くなるほど濃い色になる。図１０では、混同行列における確率と色の濃さの対応関係を混同行列の右側のカラーバーで示している。
【0077】
図１０に示すように、第１撮像装置１１によって撮像されたマルチスペクトル画像から得られた分光反射率スペクトルに基づいて図５を参照して例示した１０種類の土全てにおいて高い確率で実際の土の種類を推定識別できている。土種類推定部３２は、光源をハロゲンランプＨＬから太陽光に変更しても同様の推定精度で土の種類を推定可能である。
【0078】
（含水比の推定）
図１１は、土の含水比の説明図である。含水比は，固体に含まれる水の量を示す。土の含水比は、水の重量を土の個体成分（土の粒子）の重量で除し、土に含まれる水分の割合［％］を示す土質パラメータである。土の含水比をｗ［％］とすると、ｗは、以下の式（２）で求められる。図１１及び式（２）のｍｗは、土に含まれる水の質量を示す。また、図１１及び式（２）のｍｓは、土の個体成分（土の粒子）の質量を示す。ここで、図１１に示すように、ｍｗ＋ｍｓが土の質量になる。
図１１は、土の含水比の説明図である。含水比は，固体に含まれる水の量を示す。土の含水比は、水の重量を土の個体成分（土の粒子）の重量で除し、土に含まれる水分の割合［％］を示す土質パラメータである。土の含水比をｗ［％］とすると、ｗは、以下の式（２）で求められる。図１１及び式（２）のｍｗは、土に含まれる水の質量を示す。また、図１１及び式（２）のｍｓは、土の個体成分（土の粒子）の質量を示す。ここで、図１１に示すように、ｍｗ＋ｍｓが土の質量になる。
【0079】
ｗ＝ｍｗ／ｍｓ×１００…（２）
【0080】
なお、土は、個体成分と水分に加えて、土の粒子間の空気（ｍａ）をさらに含む。係る空気（ｍａ）は、土の質量に含まれず、含水比の算出に関わらない。
【0081】
土の含水比は、当該土のコーン指数に大きく影響する土質パラメータである。含水比推定部３３は、土の含水比を推定する。
【0082】
図１２は、土の含水比と分光反射率スペクトルとの関係の一例を示す模式的なグラフである。図１２では、縦軸が土による光の分光反射率を示し、横軸が光の波長を示す。図１２で示す線Ｌ４、線Ｌ５、線Ｌ６は同じ土の種類の分光反射率スペクトルである。なお、図１２に示す線Ｌ４は、相対的に土の含水比が低い場合の分光反射率スペクトルを示す。図１２に示す線Ｌ６は、相対的に土の含水比が高い場合の分光反射率スペクトルを示す。図１２に示す線Ｌ５は、土の含水比が、線Ｌ４が示す場合と線Ｌ６が示す場合の間の含水比である場合の分光反射率スペクトルを示す。
【0083】
土の含水比は、土の分光反射率スペクトルに影響を与える。従って、同種の土であっても土の含水比が異なる場合、分光反射率スペクトルは異なるものになる。具体的には、水分子は、水分子を構成する酸素原子と水素原子の間の振動収縮と変角運動によって光を吸収する。ここで、水分子は、一部のスペクトルの光を他のスペクトルに比してより顕著に吸収する。具体的には、水分子は、赤外光をより顕著に吸収することが知られている。
【0084】
土の含水比が高まると、土粒子の隙間に水が入り込む割合が高くなる。このように土粒子の隙間に水が入り込む割合が高まると、土と、土の上方の空気との間の屈折率の差が減少する。係る屈折率の差が減少するということは、空気中から土への入射光が反射せずに土の中に屈折して進入する割合が高まることである。従って、一般的に、土の含水比が高まる程、土が反射する光の分光反射率スペクトルは全体的に低くなる傾向を示す。この傾向に加えて、上述のように、水分子は、赤外光をより顕著に吸収する。従って、土が反射する光の分光反射率スペクトルは、土の含水比が高まる程、赤外線の波長帯の分光反射率が他の波長帯の分光反射率に比してより顕著に低くなる傾向を示す。
【0085】
図１２では、可視光線に該当するスペクトルｗ１と、赤外光に該当するスペクトルｗ２とをピックアップし、スペクトルｗ１における分光反射率とスペクトルｗ２における分光反射率との差を示している。差ｄ１は、線Ｌ４が示す分光反射率スペクトルにおける当該差を示す。差ｄ２は、線Ｌ５が示す分光反射率スペクトルにおける当該差を示す。差ｄ３は、線Ｌ６が示す分光反射率スペクトルにおける当該差を示す。
【0086】
線Ｌ４が示す分光反射率スペクトルでは、スペクトルｗ１における分光反射率ＳＰ１に比してスペクトルｗ２における分光反射率ＳＰ４が相対的に高い。このため、差ｄ１は、正の値になる。これに対し、線Ｌ５が示す分光反射率スペクトルでは、スペクトルｗ１における分光反射率ＳＰ２に比してスペクトルｗ２における分光反射率ＳＰ５が相対的に低い。これは、線Ｌ５の場合が線Ｌ４の場合に比して土の含水比が相対的に高い場合であるため、スペクトルｗ２の光が土に含まれる水分子により顕著に吸収されたことによる。このため、差ｄ２は、負の値になる。従って、差ｄ２の値は、差ｄ１の値よりも小さい。また、線Ｌ６が示す分光反射率スペクトルでは、スペクトルｗ１における分光反射率ＳＰ３に比してスペクトルｗ２における分光反射率ＳＰ６が相対的に低い。このため、差ｄ３は、負の値になる。さらに、分光反射率ＳＰ３と分光反射率ＳＰ６との乖離の度合いは、分光反射率ＳＰ２と分光反射率ＳＰ５との乖離の度合いよりも大きい。これは、線Ｌ６の場合が線Ｌ５の場合に比して土の含水比が相対的に高い場合であるため、スペクトルｗ２の光が土に含まれる水分子により顕著に吸収されたことによる。従って、差ｄ３の値は、差ｄ２の値よりもさらに小さい。つまり、ｄ１＞ｄ２＞ｄ３が成立する。このように、土の含水比が高まると、土に含まれる水が光をより顕著に吸収する赤外線の波長帯の分光反射率から他の波長帯（例えば、可視光線に該当する波長帯）の分光反射率を引いた差の値が減少することが分かる。含水比推定部３３は、このような土の分光反射率スペクトルの傾向に基づいて、土の含水比を推定する。なお、実施形態の説明では、他の波長帯として可視光線に該当する波長帯（例えば、後述する５７０［ｎｍ］を含む波長帯）が採用されているが、他の波長帯は赤外線よりも短波長の光の波長帯であればよい。例えば、他の波長帯は、紫外線の波長帯であってもよい。
【0087】
図１２では説明を分かりやすくする目的で、赤外線の波長帯ＩＲに含まれるスペクトルｗ２をピックアップした説明を行っているが、土の含水比が赤外線の波長帯の光の吸収の度合いに与える影響をより高精度に求めるためには、より広い範囲で赤外線の波長帯の光を取得するスペクトル画像を用いる必要がある。単一の波長によって取得されたスペクトル画像を用いることが好ましいが、実施形態では、赤外線に該当する波長帯の光を撮像画像のスペクトルとして指定できるマルチスペクトルカメラ１０を第２撮像装置１２として採用し、同等の効果を得ている。実施形態では、第２撮像装置１２によるマルチスペクトル画像の撮像において、赤外線に該当する９００［ｎｍ］から１７００［ｍｍ］までの波長帯を撮像画像のスペクトルとして指定する。また、実施形態では、第２撮像装置１２によるマルチスペクトル画像の撮像において、赤外線に該当しない撮像画像のスペクトルとして５７０［ｎｍ］を指定する。これら例示した第２撮像装置１２の撮像画像のスペクトルはあくまで一例であり、赤外線に該当するスペクトルの範囲及び赤外線に該当しない他のスペクトルをこの例に限定するものでない。なお、５７０［ｎｍ］の波長は、第２撮像装置１２で取得できる波長範囲において、赤外線の波長帯（９００［ｎｍ］から１７００［ｍｍ］）から十分離れており、さらに、土の含水比の高まりによって赤外線の波長帯の分光反射率と可視光の波長帯の分光反射率との差が単調減少するデータを他の可視光波長（４９０［ｎｍ］、５７０［ｎｍ］、６７１［ｎｍ］、８００［ｎｍ］）に比して最も多く取得できたため採用されている。
【0088】
以下の説明で第１スペクトルと記載した場合、第２撮像装置１２によるマルチスペクトル画像の撮像における赤外線に該当する撮像画像のスペクトルをさす。また、以下の説明で第２スペクトルと記載した場合、第２撮像装置１２によるマルチスペクトル画像の撮像における赤外線に該当しない撮像画像のスペクトルをさす。また、第２撮像装置１２によるマルチスペクトル画像から得られた第１スペクトルの分光反射率を第１分光反射率と記載する。また、第２撮像装置１２によるマルチスペクトル画像から得られた第２スペクトルの分光反射率を第２分光反射率と記載する。
【0089】
図１３は、第１分光反射率と、第２分光反射率と、第１分光反射率と第２分光反射率との差と、土の含水比との関係の一例を示すグラフである。図１３では、縦軸が含水比を示し、横軸が分光反射率を示す。図１３に示すプロットＳＰ１１は、相対的に土の含水比が低い場合の第２分光反射率を示す。図１３に示すプロットＳＰ３１は、相対的に土の含水比が高い場合の第２分光反射率を示す。図１３に示すプロットＳＰ２１は、土の含水比が、プロットＳＰ１１が示す場合とプロットＳＰ３１が示す場合の間（相対的中間）の含水比である場合の第２分光反射率を示す。図１３に示すプロットＳＰ４１は、相対的に土の含水比が低い場合の第１分光反射率を示す。図１３に示すプロットＳＰ６１は、相対的に土の含水比が高い場合の第１分光反射率を示す。図１３に示すプロットＳＰ２１は、土の含水比が、相対的中間の含水比である場合の第１分光反射率を示す。
【0090】
差ｄ１１は、プロットＳＰ１１とプロットＳＰ４１との差の値を示す。すなわち、差ｄ１１は、相対的に土の含水比が低い場合の第１分光反射率と第２分光反射率との差の値を示す。差ｄ２１は、プロットＳＰ２１とプロットＳＰ５１との差の値を示す。すなわち、差ｄ２１は、土の含水比が、相対的中間の含水比である場合の第１分光反射率と第２分光反射率との差の値を示す。差ｄ３１は、プロットＳＰ３１とプロットＳＰ６１との差の値を示す。すなわち、差ｄ３１は、土の含水比が、相対的に土の含水比が高い場合の第１分光反射率と第２分光反射率との差の値を示す。
【0091】
図１４は、図１３に示す第１分光反射率と第２分光反射率との差とを表すプロットが付されたグラフである。図１４では、縦軸が含水比を示し、横軸が第１分光反射率と第２分光反射率との差の値の大きさを示す。図１４に示すプロットＳＰ７１は、相対的に土の含水比が低い場合の第１分光反射率と第２分光反射率との差の値を示す。図１４に示すプロットＳＰ８１は、土の含水比が、相対的中間の含水比である場合の第１分光反射率と第２分光反射率との差の値を示す。図１４に示すプロットＳＰ９１は、相対的に土の含水比が高い場合の第１分光反射率と第２分光反射率との差の値を示す。
【0092】
図１５は、図１４におけるプロットＳＰ７１，ＳＰ８１，ＳＰ９１に基づいて生成されたフィッティングカーブＦＣ１を示すグラフである。以下、図１３から図１５を参照して、含水比推定部３３が土の含水比の推定に利用する参照データの作成の仕組みについて説明する。以下の説明では、係る参照データの作成に含水比推定部３３が利用されているが、参照データの作成専用のプログラムを別途用意してもよい。
【0093】
まず、同一の種類の土について、土の含水比が相対的に低い場合と、土の含水比が相対的中間の含水比である場合と、土の含水比が相対的に高い場合と、の各々の場合で第２撮像装置１２によるマルチスペクトル画像の撮像が行われる。係るマルチスペクトル画像の撮像における撮像画像のスペクトルは、第１スペクトルと第２スペクトルである。
【0094】
含水比推定部３３は、第２撮像装置１２によってマルチスペクトル画像のうち、第１スペクトルに対応するスペクトル画像からプロットＳＰ１１，ＳＰ２１，ＳＰ３１を取得する。また、含水比推定部３３は、第２撮像装置１２によってマルチスペクトル画像のうち、第２スペクトルに対応するスペクトル画像からプロットＳＰ４１，ＳＰ５１，ＳＰ６１を取得する。含水比推定部３３は、プロットＳＰ１１とプロットＳＰ４１との差ｄ１１と、プロットＳＰ２１とプロットＳＰ５１との差ｄ２１と、プロットＳＰ３１とプロットＳＰ６１との差ｄ３１とを算出する。
【0095】
含水比推定部３３は、図１４に示すように、同一の原点位置に対する差ｄ１１，ｄ２１，ｄ３１の大きさを示すプロットＳＰ７１，ＳＰ８１，ＳＰ９１として差ｄ１１，ｄ２１，ｄ３１を管理する。そして、含水比推定部３３は、曲線あてはめ処理を行い、図１５に示すように、プロットＳＰ７１とプロットＳＰ８１とプロットＳＰ９１に対応するフィッティングカーブＦＣ１を導出する。係るフィッティングカーブＦＣ１が示す土の含水比と第１分光反射率と第２分光反射率との差の値との関係は、プロットＳＰ１１，ＳＰ２１，ＳＰ３１，ＳＰ４１，ＳＰ５１，ＳＰ６１が得られたマルチスペクトル画像で撮像された土の含水比を推定するための参照データとして機能する。
【0096】
なお、曲線あてはめ処理であてはめられる曲線は、例えば指数近似線であるが、これに限られるものでなく、適宜変更可能である。また、曲線あてはめ処理の具体的な手法については、例えば最小二乗法による最適関数の推定等、周知の手法を利用可能であるため、その詳細については省略する。
【0097】
なお、図１３及び図１４で示すプロットＳＰ１１，ＳＰ２１，ＳＰ３１，ＳＰ４１，ＳＰ５１，ＳＰ６１，ＳＰ７１，ＳＰ８１，ＳＰ９１は、ほぼ同じ位置に重なるように２つのプロットが図示されているものを含んでいるが、等条件下の撮像でも完全に一致するプロットが必ずしも得られない必然的な誤差を示すものであって、それ以上のものでない。プロットに基づいたフィッティングカーブＦＣ１の導出においては、ほぼ同じ位置に重なる全てのプロットを考慮（平均等）してもよいし、代表値として扱われるプロットを限定してもよい。
【0098】
次に、上述の含水比推定部３３による参照データの生成が可能な検証実験環境について、図１６及び図１７を参照して説明する。図１６は、土の含水比の推定に係る検証実験環境の一例を示す模式図である。図１７は、図１６における撮像対象ＳＳの構成例を示す模式図である。図１６に示すように、第２撮像装置１２は、撮像対象ＳＳを撮像範囲に含むよう設置され、マルチスペクトル画像の撮像を行う。係るマルチスペクトル画像の撮像における撮像画像のスペクトルは、第１スペクトルと第２スペクトルである。
【0099】
図１７に示すように、撮像対象ＳＳは、第１サンプルＳＳ１と、第２サンプルＳＳ２と、第３サンプルＳＳ３と、校正シートＰＲＳとを含む。第１サンプルＳＳ１は、土の含水比が相対的に低い土である。第２サンプルＳＳ２は、土の含水比が、相対的中間の含水比である土である。第３サンプルＳＳ３は、土の含水比が相対的に高い土である。なお、第１サンプルＳＳ１と、第２サンプルＳＳ２と、第３サンプルＳＳ３は、同じ種類の土である。
【0100】
一例を挙げると、第１サンプルＳＳ１は、土の含水比が１０［％］の土である。第２サンプルＳＳ２は、土の含水比が２５［％］の土である。第３サンプルＳＳ３は、土の含水比が４０［％］の土である。これら例示した含水比はあくまで一例であってこれに限られるものでなく、適宜変更可能である。また、図１７に示すように、第１サンプルＳＳ１、第２サンプルＳＳ２及び第３サンプルＳＳ３は、例えば第２撮像装置１２側が開放された皿又は鉢状の容器に入れた状態で撮像対象ＳＳ内に設置される。係る皿又は容器の形状は、土の含水比の相違によらず共通であることが望ましい。
【0101】
校正シートＰＲＳは、撮像時の明るさに関する条件を示すデータを取得するためのシート状の部材である。校正シートＰＲＳは、少なくとも第２撮像装置１２に面する側の一面の分光反射率がほぼ一様であって、既知の分光反射率を示す。
【0102】
このような撮像対象ＳＳを第２撮像装置１２によって撮像したマルチスペクトル画像に基づいて、図１３から図１５を参照して説明したようなフィッティングカーブＦＣ１を導出できる。すなわち、係るマルチスペクトル画像において第１サンプルＳＳ１が撮像された領域から、プロットＳＰ１１，ＳＰ４１を取得できる。また、係るマルチスペクトル画像において第２サンプルＳＳ２が撮像された領域から、プロットＳＰ２１，ＳＰ５１を取得できる。係るマルチスペクトル画像において第３サンプルＳＳ３が撮像された領域から、プロットＳＰ３１，ＳＰ６１を取得できる。
【0103】
なお、実施形態で行われている土の分光反射率を導出する処理をより具体的に説明すると、第２撮像装置１２で地面ＧＲを覆う土（又は第１サンプルＳＳ１等のサンプル）と分光反射率スペクトルが既知の校正シートＰＲＳを撮像し、赤外線の波長帯において土が写っている部分の輝度値を校正シートＰＲＳが写っている部分の輝度値で除す。さらに、係る除算後の値に、当該赤外線の波長帯における校正シートの分光反射率の平均を乗ずる。これによって、土の分光反射率を算出できる。
【0104】
【0105】
図１８は、種類Ａ、種類Ｂ、種類Ｄ、種類Ｆ、種類Ｇの各々のフィッティングカーブＦＣ１，ＦＣ２，ＦＣ３，ＦＣ４，ＦＣ５の例を示すグラフである。図１３から図１７を参照してある一種類の土の含水比に関する参照データについて説明したが、実施形態では、第１サンプルＳＳ１、第２サンプルＳＳ２及び第３サンプルＳＳ３として採用される土の種類を変更し、同様のマルチスペクトル画像の撮像及びフィッティングカーブの導出に係る処理を行うことで、図１８で例示するように、複数種類の土の含水比に関する参照データを生成できる。無論、図１８で例示されていない他の種類の土についても同様に、マルチスペクトル画像に基づいてフィッティングカーブを導出できる。
【0106】
このような、土の含水比と第１分光反射率と第２分光反射率との差の値との関係を示すフィッティングカーブを参照データとして、含水比推定部３３は、第２撮像装置１２によって撮像された地面ＧＲを覆う土の含水比を推定できる。すなわち、含水比推定部３３は、第２撮像装置１２によって撮像されたマルチスペクトル画像から第１分光反射率と第２分光反射率を求め、求められた第１分光反射率と第２分光反射率の差の値を参照データが示すフィッティングカーブにあてはめて、当該差の値がフィッティングカーブ上で一致する含水比を推定された含水比として導出する。
【0107】
ただし、土の含水比の推定において、第２撮像装置１２によって撮像されたマルチスペクトル画像は、校正シートＰＲＳを利用した前処理（第２前処理）を適用される。係る第２前処理については後述する。
【0108】
なお、マルチスペクトル画像の中でも取得する波長帯の数が第１撮像装置１１に比して相対的に少ない第２撮像装置１２のようなマルチスペクトルカメラでは、一般的に、それぞれ異なるスペクトルの光を透過させる光学フィルタを装着した複数の撮像素子を用いて各波長帯の分光反射率を記録する方式が採用されることがある。
【0109】
従って、第２撮像装置１２の具体的構成によっては、撮像画像のスペクトルの種類によって撮像する場所が異なるという事象が生じる。このような事象が生じる場合では、赤外線に該当する撮像画像のスペクトルで撮像を行う撮像素子と他の撮像画像のスペクトルで撮像を行う撮像素子とが個別に撮像を行い、各々の撮像画像で重複する撮像範囲を抽出するようにしてもよい。係る抽出には、所謂パターンマッチングのような画像処理を適用可能であるし、このようなパターンマッチングをより高精度に行うために図示しないニューラルネットワークを利用してもよい。具体例を挙げると、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を係る抽出に利用できる。
【0110】
上述の事象が生じる場合、含水比推定部３３は、第２撮像装置１２が複数の撮像素子で撮像した各々の撮像画像で重複する撮像範囲を抽出する。含水比推定部３３は、抽出された撮像範囲で各々の撮像素子が撮像したスペクトル画像の分光反射率を係るスペクトル画像の画素の階調値から取得、計算する。そして、各々の撮像素子が撮像したスペクトル画像の分光反射率同士の差に基づいて、撮像された地面ＧＲを覆う土の含水比を推定する。なお、第２撮像装置１２が、第１撮像装置１１と同様に１つの撮像素子で、それぞれ異なる撮像画像のスペクトルの各々に対応したスペクトル画像を複数撮像する形態のマルチスペクトルカメラ１０である場合、抽出に係る処理は省略される。
【0111】
（前処理）
次に、前処理について、第１前処理、第２前処理の順に説明する。まず、第１前処理について、図１９を参照して説明する。
次に、前処理について、第１前処理、第２前処理の順に説明する。まず、第１前処理について、図１９を参照して説明する。
【0112】
図１９は、第１前処理が適用される第１部分領域ＡＡ１及び第１前処理が適用されない第２部分領域ＡＡ２を含むマルチスペクトル画像と、これらの部分領域の分光反射率スペクトルの比較の一例を示すグラフと、の関係を示す図である。なお、図１９に示すマルチスペクトル画像は、第１撮像装置１１によって撮像されたマルチスペクトル画像である。また、グラフにおける線Ｌ１１は、第１部分領域ＡＡ１に含まれる複数の画素の分光反射率スペクトルの平均を示す。また、グラフにおける線Ｌ１２は、第２部分領域ＡＡ２に含まれる複数の画素の分光反射率スペクトルの平均を示す。
【0113】
上述のように、土種類推定部３２は、土の種類の推定に適さないベクトルをニューラルネットワークＮＮに対する入力から除外し、土の種類の推定に適したベクトルをニューラルネットワークＮＮへ入力する前処理（第１前処理）を行う。具体的には、土種類推定部３２は、第１撮像装置１１によって撮像されたマルチスペクトル画像の単位領域Ｃｒ毎に、３５０［ｎｍ］から４５０［ｎｍ］までの波長帯の分光反射率の平均（第１平均）と、７００［ｎｍ］から７５０［ｎｍ］までの波長帯の分光反射率の平均（第２平均）を算出する。ここで、第１平均をαとし、第２平均をβとすると、土種類推定部３２は、αを１０倍した値がβより大きい関係（α×１０＞β）が成立する単位領域Ｃｒを土の種類の推定に適さないベクトルとして扱い、ニューラルネットワークＮＮに対する入力から除外する。言い換えると、土種類推定部３２は、αを１０倍した値がβ以下である関係（α×１０≦β）が成立する単位領域Ｃｒを土の種類の推定に適するベクトルとして扱い、ニューラルネットワークＮＮに対する入力として採用する。
【0114】
より具体例な例を挙げると、図１９のマルチスペクトル画像における第１部分領域ＡＡ１は、土粒子の影が撮像されている部分領域である。第１部分領域ＡＡ１に含まれる複数の画素の分光反射率スペクトルの平均は、グラフの線Ｌ１１が示すように、第１平均と第２平均とにほとんど差がなく、横軸に対して扁平なグラフになっている。これに対し、影になっている部分がほとんどない第２部分領域ＡＡ２に含まれる複数の画素の分光反射率スペクトルの平均は、グラフの線Ｌ１２が示すように、第１平均に対して第２平均が有意に高く、山なりのグラフになっている。土の種類の推定は、第２部分領域ＡＡ２のように、第１平均に対して第２平均が有意に高く、βがαを１０倍した値以上になる（α×１０≦β）部分領域の分光反射率スペクトルに基づくことが望ましい。従って、実施形態では、第１部分領域ＡＡ１のように、αを１０倍した値がβより大きい関係（α×１０＞β）が成立する部分領域に含まれる画素を、ニューラルネットワークＮＮに対する入力から除外する。
【0115】
なお、図１９を参照した説明では、第１部分領域ＡＡ１及び第２部分領域ＡＡ２を複数の画素を含む部分領域として説明したが、第１部分領域ＡＡ１及び第２部分領域ＡＡ２は１つの単位領域Ｃｒであってもよい。
【0116】
次に、第２前処理について、図２０及び図２１を参照して説明する。実施形態では、第２前処理を行う場合、第２撮像装置１２で撮像範囲ＳＵＢを撮像する場合、撮像範囲ＳＵＢ内に校正シートＰＲＳを置き、地面ＧＲと校正シートＰＲＳとが同時に撮像されるようにする。
【0117】
図２０は、第２前処理が行われた場合に土の含水比の推定に係る処理で採用されるマルチスペクトル画像と採用されないマルチスペクトル画像の例を示す図である。第２前処理では、第２撮像装置１２が撮像したマルチスペクトル画像において校正シートＰＲＳが撮像された部分画像の輝度値と校正シートＰＲＳ以外が撮像された部分画像の輝度値との平均が、所定の下限値から所定の上限値で定められた範囲内に収まらない画像を土の含水比の推定に係る処理で用いられるマルチスペクトル画像として採用しないようにする。ここで、当該平均が所定の下限値を下回るマルチスペクトル画像は、図２０に示す「不採用（暗すぎ）」のように、暗すぎる画像であるものとして不採用とされる。また、当該平均が所定の上限値を上回るマルチスペクトル画像は、図２０に示す「不採用（明るすぎ）」のように、明るすぎる画像であるものとして不採用とされる。当該平均が所定の下限値から所定の上限値で定められた範囲内に収まるマルチスペクトル画像は、土の含水比の推定に係る含水比推定部３３による処理において採用される。なお、所定の下限値及び所定の上限値は、第２撮像装置１２の撮像素子が性能上検知可能な最高輝度値を１００［％］とした場合の値として表せる。所定の下限値は、例えば７．６２［％］であるが、これに限られるものでなく、適宜変更可能である。また、所定の上限値は、例えば９１．６［％］であるが、これに限られるものでなく、適宜変更可能である。
【0118】
明るすぎによるホワイトアウトや暗すぎによるブラックアウトをマルチスペクトルの画像の閾値で判定するようにしてもよい。その場合、ホワイトアウトとされる輝度値の閾値は例えば１６ビットの階調値でマルチスペクトル画像の画素の階調値の平均値が６００００を上回ることである。また、ブラックアウトとされる輝度値の閾値は例えば１６ビットの階調値でマルチスペクトル画像の画素の階調値の平均値が５０００を下回ることである。これらの閾値の例はあくまで一例に過ぎず、任意に設定可能である。
【0119】
なお、第２前処理で輝度値と記載しているものは、第２撮像装置１２が撮像したマルチスペクトル画像の画素の階調値が示す分光反射率の高さである。
【0120】
また、第２前処理では、第２撮像装置１２が撮像したマルチスペクトル画像において校正シートＰＲＳが撮像された部分画像における輝度値の変動係数に基づいて、所定採用条件を満たさないマルチスペクトル画像を土の含水比の推定に係る含水比推定部３３による処理において採用しないようにする。以下、単に「変動係数」と記載した場合、校正シートＰＲＳが撮像された部分画像における輝度値の変動係数をさす。また、「所定採用条件」と記載した場合、変動係数に基づいたマルチスペクトル画像の採用条件をさす。
【0121】
図２１は、マルチスペクトル画像において校正シートＰＲＳが撮像された部分画像の輝度値の変動係数のグラフと、土の含水比の推定に係る含水比推定部３３による処理における採用の可否との関係の一例を示す図である。具体的には、実施形態における所定採用条件は、変動係数が０．０５未満であることである。変動係数が０．０５以上である場合、実施形態では、含水比推定部３３は、校正シートＰＲＳの適切な分光反射率を取得できていないマルチスペクトル画像が撮像されたと判定し、当該マルチスペクトル画像を土の含水比の推定に係る含水比推定部３３による処理において採用しない。
【0122】
所定採用条件を満たすマルチスペクトル画像が撮像された場合、例えば、図２１の「採用」欄の「グラフ」で示すように、校正シートＰＲＳが撮像された部分画像の輝度値のピークが単一箇所であり、かつ、輝度値のピークを中心とした輝度値の分散の度合いが極めて小さい突出した輝度値のピークが得られる。これに対し、所定採用条件を満たさないマルチスペクトル画像が撮像された場合、例えば、図２１の「不採用」欄の「グラフ」で示すように、校正シートＰＲＳが撮像された部分画像の輝度値のピークが複数箇所となって輝度値に明確な起伏が生じ、かつ、輝度値のピークを中心とした輝度値の分散の度合いが「採用」の場合に比して大きい輝度値が得られる。このように所定採用条件が満たされない場合として、第２撮像装置１２によるマルチスペクトル画像の撮像範囲内に二次光源として機能するような光の反射体が含まれる場合が挙げられる。図２１の「不採用」欄の「マルチスペクトル画像」では、校正シートＰＲＳのすぐそばに草が生えており、この草が太陽光を反射する二次光源として機能してしまったことで輝度値のピークが複数個所になる起伏が発生したものと考えられる。
【0123】
なお、前処理は、第１前処理も第２前処理も必須でないが、これらの一部又は全部を行うことで、マルチスペクトル画像に基づいた各種の推定の精度をより高めやすくなる。
【0124】
（コーン指数の推定）
図２２は、土の含水比とコーン指数との関係の一例を示すグラフである。図２２のグラフにおけるプロットＣＰ１１，ＣＰ１２，…，ＣＰ１９の各々は、コーンペネトロメータを用いて測定されたコーン指数の測定値を示す。プロットＣＰ１１，ＣＰ１２，…，ＣＰ１９の各々は、共通の種類の土が積層され、かつ、それぞれ異なる含水比である状態の地面で測定された測定値を示す。すなわち、図２２に示すコーン指数は、ある一種類の土の含水比とコーン指数との関係を示す。
図２２は、土の含水比とコーン指数との関係の一例を示すグラフである。図２２のグラフにおけるプロットＣＰ１１，ＣＰ１２，…，ＣＰ１９の各々は、コーンペネトロメータを用いて測定されたコーン指数の測定値を示す。プロットＣＰ１１，ＣＰ１２，…，ＣＰ１９の各々は、共通の種類の土が積層され、かつ、それぞれ異なる含水比である状態の地面で測定された測定値を示す。すなわち、図２２に示すコーン指数は、ある一種類の土の含水比とコーン指数との関係を示す。
【0125】
図２２では、プロットＣＰ１１，ＣＰ１２，…，ＣＰ１９と、これらのプロット同士を結ぶ直線とによってコーン指数を表している。当該直線は、プロットＣＰ１１，ＣＰ１２，…，ＣＰ１９のうち２つのプロットであって、測定時の含水比がより近しい２つのプロット同士を結ぶ直線である。
【0126】
図２２で例示するように、同じ種類の土であっても、土の含水比の変動に応じてコーン指数は変動する。コーン指数推定部３４は、図２２を参照して説明したようなコーンペネトロメータを用いて実際に測定されたコーン指数と土の含水比との関係を示すデータ（コーン指数データ）を、土の種類毎に記憶している。土の含水比とコーン指数との関係は、土の種類毎に異なる。
【0127】
そこで、実施形態では、マルチスペクトルカメラ１０が撮像したマルチスペクトル画像に基づいて、土種類推定部３２が土の種類を推定し、含水比推定部３３が土の含水比を推定する。そして、コーン指数推定部３４は、土種類推定部３２が推定した土の種類に対応するコーン指数データを参照し、含水比推定部３３が推定した土の含水比に対応するコーン指数を特定する。コーン指数推定部３４は、このように特定されたコーン指数を、推定されたコーン指数として扱う。
【0128】
なお、含水比推定部３３が推定した土の含水比に直接対応するデータがコーン指数データにおけるプロットＣＰ１１，ＣＰ１２，…，ＣＰ１９のような直接的な測定値であるとは限らない。そこで、実施形態では、上述のプロットＣＰ１１，ＣＰ１２，…，ＣＰ１９同士を結ぶ直線で表されているような補間処理を行うことで、直接的な測定値に対応しない土の含水比に対応するコーン指数を推定する。
【0129】
図２３は、補間処理の具体例を示す図である。コーン指数推定部３４は、補間処理に際して図２２におけるプロットＣＰ１１，ＣＰ１２，…，ＣＰ１９のようにコーンペネトロメータを用いて実際に測定された測定値が得られた際の土の含水比のうち、２つの含水比をピックアップする。当該２つの含水比の一方は、含水比推定部３３が推定した土の含水比（推定含水比）未満であって最も推定含水比に近い１つの含水比である。また、当該２つの含水比の他方は、推定含水比を超え、最も推定含水比に近い１つの含水比である。コーン指数推定部３４は、当該２つの含水比間を推定含水比が内分する比率ｍｗ：ｎｗを求める。コーン指数推定部３４は、プロットＣＰ１１，ＣＰ１２，…，ＣＰ１９のような測定値のうち、当該２つの含水比に対応する２つの測定値同士の間を結ぶ直線を、ｍｗ：ｎｗ＝ｍｑｃ：ｎｑｃとなる内分比率ｍｑｃ：ｎｑｃで内分する点ＶＰが示すコーン指数を、推定されたコーン指数として特定する。図２３では、土の含水比が低い側から順にＣＰｑ，ＣＰ（ｑ＋１），ＣＰ（ｑ＋２），ＣＰ（ｑ＋３）の順で並ぶコーン指数の測定値のうち、ＣＰ（ｑ＋１）とＣＰ（ｑ＋２）が、ピックアップされた２つの含水比に対応する２つの測定値として扱われている例を示している。ｑは、自然数である。
【0130】
なお、コーンペネトロメータによって測定されるコーン指数には、誤差が生じ得る。係る誤差の具体例として、コーンを土に押し込む速度や力の大きさ等、コーンペネトロメータの使用者を原因とした誤差がある。また、係る誤差の他の具体例として、コーンが押し込まれた土の中にたまたま石や空洞があった場合等、土の状況を原因とした誤差がある。これらの誤差を完全に除外することは困難であるが、コーンペネトロメータによるコーン指数の測定回数を十分に多くし、測定されたコーン指数の平均値を記録することで、コーン指数の測定精度を確保できる。
【0131】
以上、土種類推定部３２による土の種類の推定と、含水比推定部３３による土の含水比の推定と、コーン指数推定部３４によるコーン指数の推定について説明した。次に、実施形態で情報処理装置２０が行うコーン指数の推定に係る処理の流れについて、図２４から図２７を参照して説明する。
【0132】
図２４は、実施形態で情報処理装置２０が行うコーン指数の推定に係る処理の流れの一例を示すフローチャートである。情報処理装置２０が行うコーン指数の推定に係る処理では、まず、土種類推定部３２が土の種類の推定処理を行う（ステップＳＴ１）。次に、含水比推定部３３が、土の含水比の推定処理を行う（ステップＳＴ２）。そして、コーン指数推定部３４が、コーン指数の推定処理を行う（ステップＳＴ３）。
【0133】
図２５は、図２４に示す土の種類の推定処理（ステップＳＴ１）の流れの一例を示すフローチャートである。土の種類の推定処理では、まず、第１撮像装置１１によるマルチスペクトル画像の撮像が行われる（ステップＳＴ１１）。次に、土種類推定部３２が、ステップＳＴ１１で撮像されたマルチスペクトル画像に含まれる複数の単位領域Ｃｒの各々から分光反射率スペクトルのベクトルを導出する（ステップＳＴ１２）。土種類推定部３２が、第１前処理を行う。すなわち、土種類推定部３２は、ステップＳＴ１２で取得されたベクトルのうち、上述のα×１０＞βを満たすベクトルを除外する（ステップＳＴ１３）。また、土種類推定部３２は、ステップＳＴ１１で撮像されたマルチスペクトル画像に含まれる複数の単位領域Ｃｒから土の種類の推定に適した分光反射率スペクトルのベクトルが所定数以上得られたか判定する（ステップＳＴ１４）。ここで、当該ベクトルが所定数以上得られていないと判定された場合（ステップＳＴ１４；Ｎｏ）、ステップＳＴ１１に移行する。すなわち、再度第１撮像装置１１によるマルチスペクトル画像の撮像が行われる。一方、当該ベクトルが所定数以上得られていると判定された場合（ステップＳＴ１４；Ｙｅｓ）、土種類推定部３２は、マルチスペクトル画像から得られた分光反射率スペクトルのベクトルとニューラルネットワークＮＮを利用した土の種類の推定を行う（ステップＳＴ１５）。すなわち、土種類推定部３２は、マルチスペクトル画像から得られた分光反射率スペクトルのベクトルをニューラルネットワークＮＮに入力し、ニューラルネットワークＮＮの出力層のノードの値に基づいて土の種類を推定する。
【0134】
図２６は、図２４に示す土の含水比の推定処理（ステップＳＴ２）の流れの一例を示すフローチャートである。まず、第２撮像装置１２によるマルチスペクトル画像の撮像が行われる（ステップＳＴ２１）。次に、含水比推定部３３が、第２前処理を行う。すなわち、含水比推定部３３は、ステップＳＴ２１で撮像されたマルチスペクトル画像に含まれる校正シートＰＲＳの部分画像を利用した輝度値に係る判定を行い、係る輝度値に係る判定結果によって当該マルチスペクトル画像が土の含水比の推定に適切なマルチスペクトル画像であることを示すかチェックする（ステップＳＴ２２）。より具体的には、校正シートＰＲＳの部分画像を利用した輝度値に係る判定とは、例えば図２０を参照して説明した判定と図２１を参照して説明した判定の一方であってもよいし両方であってもよい。図２０を参照して説明した判定とは、第２撮像装置１２が撮像したマルチスペクトル画像において校正シートＰＲＳが撮像された部分画像の輝度値と校正シートＰＲＳ以外が撮像された部分画像の輝度値との平均が、所定の下限値から所定の上限値で定められた範囲内に収まるかの判定をさす。図２１を参照して説明した判定とは、第２撮像装置１２が撮像したマルチスペクトル画像において校正シートＰＲＳが撮像された部分画像における輝度値の変動係数が所定採用条件を満たすかの判定をさす。
【0135】
ステップＳ２２において、土の含水比の推定に適切なマルチスペクトル画像でないと判定された場合（ステップＳＴ２２；Ｎｏ）、ステップＳＴ２１に移行する。すなわち、再度第２撮像装置１２によるマルチスペクトル画像の撮像が行われる。一方、ステップＳ２２において、土の含水比の推定に適切なマルチスペクトル画像であると判定された場合（ステップＳＴ２２；Ｙｅｓ）、含水比推定部３３は、マルチスペクトル画像の赤外線波長帯と可視光波長帯の各々の分光反射率を取得する（ステップＳＴ２３）。含水比推定部３３は、マルチスペクトル画像の赤外線波長帯と可視光波長帯の各々の分光反射率の差に基づいた土の含水比の推定を行う（ステップＳＴ２４）。ここで、実施形態では、ステップＳＴ１で推定された土の種類に対応する参照データを用いて土の含水比の推定を行う。
【0136】
図２７は、図２４に示すコーン指数の推定処理（ステップＳＴ３）の流れの一例を示すフローチャートである。コーン指数推定部３４は、ステップＳＴ１の処理で推定された土の種類に対応したコーン指数データを読み出す（ステップＳＴ３１）。係るコーン指数データは、コーン指数推定部３４に予め含まれる。コーン指数推定部３４は、ステップＳＴ２の処理で推定された土の含水比に対応するコーン指数をコーン指数データに基づいて特定し（ステップＳＴ３２）、特定されたコーン指数を推定されたコーン指数として扱う。
【0137】
なお、図２５及び図２６を参照した説明では、マルチスペクトル画像の撮像が１回であるが、より高精度な推定を行う目的でマルチスペクトル画像を複数回撮像し、これによって得られた複数のマルチスペクトル画像を用いて複数回（ｋ）に渡る分割交差検証を行うようにしてもよい。ｋは、２以上の自然数である。具体的には、ｋは例えば５であるがこれに限られるものでなく、４以下であってもよいし６以上であってもよい。
【0138】
次に、コーン指数の推定に係る検証実験について、図２８から図３１を参照して説明する。図２８は、検証実験におけるバックホウ１００と撮像範囲ＳＵＢ（図２参照）の関係を示す模式図である。バックホウ１００の前方に位置する撮像範囲ＳＵＢの、前後方向の奥行きＳＵＢ１は、例えば５［ｍ］である。また、地面ＧＲに沿い、奥行きＳＵＢ１に直交する方向の撮像範囲ＳＵＢの幅ＳＵＢ２は、例えば３［ｍ］である。検証実験では、このような寸法の撮像範囲ＳＵＢを地下方向に０．５［ｍ］掘削した後、掘削によって生じた土に水を加えて含水比を調整した土で埋め戻した。
【0139】
図２９は、図２８を参照して説明した検証実験で掘削されて埋め戻された土の含水比とコーン指数との関係を示すグラフである。図２９では、コーンペネトロメータを用いて測定されたコーン指数を示すプロットＣＰ２１，ＣＰ２２，…，ＣＰ３０と、これらのプロット同士を結ぶ直線とによってコーン指数を表している。なお、図示しないが、予め検証実験で掘削されて埋め戻された土の参照データは含水比推定部３３に含まれている。また、土種類推定部３２は、当該土の種類を推定可能な機械学習を実施済みである。
【0140】
検証実験では、土の含水比がそれぞれ異なる３つのパターンの撮像範囲ＳＵＢを作成し、係る３つのパターンの撮像範囲ＳＵＢをそれぞれマルチスペクトルカメラ１０で撮像して個別にコーン指数を推定する処理を行った。なお、検証実験では、晴天下で十分に太陽光が得られる環境下で撮像を行った。
【0141】
図３０は、３つのパターンの土の含水比及びコーン指数の実測値と推定値との関係を示す表である。図３０に示すように、パターン１の土の含水比の実測値は３８．８［％］であった。これに対し、第２撮像装置１２によって撮像されたマルチスペクトル画像に基づいて含水比推定部３３が推定したパターン１の土の含水比は４２［％］であった。従って、パターン１では、土の含水比の実測値と推定値との誤差は３．３［％］であった。また、パターン２の土の含水比の実測値は４６．２［％］であった。これに対し、第２撮像装置１２によって撮像されたマルチスペクトル画像に基づいて含水比推定部３３が推定したパターン１の土の含水比は４７．４［％］であった。従って、パターン１では、土の含水比の実測値と推定値との誤差は１．２［％］であった。また、パターン３の土の含水比の実測値は４５．３［％］であった。これに対し、第２撮像装置１２によって撮像されたマルチスペクトル画像に基づいて含水比推定部３３が推定したパターン１の土の含水比は４８．５［％］であった。従って、パターン１では、土の含水比の実測値と推定値との誤差は３．２［％］であった。また、土の含水比の実測値と推定値との３つのパターンの平均誤差は約２．６［％］であった。
【0142】
また、パターン１のコーン指数の実測値は４６１［ｋＮ／ｍ２］であった。これに対し、コーン指数推定部３４が推定したパターン１のコーン指数の推定値は２３３［ｋＮ／ｍ２］であった。従って、パターン１では、土の含水比の実測値と推定値との誤差は２２８［ｋＮ／ｍ２］であった。また、パターン２のコーン指数の実測値は７２．１［ｋＮ／ｍ２］であった。これに対し、コーン指数推定部３４が推定したパターン１のコーン指数の推定値は７１．７［ｋＮ／ｍ２］であった。従って、パターン１では、土の含水比の実測値と推定値との誤差は０．４［ｋＮ／ｍ２］であった。また、パターン３のコーン指数の実測値は６４．１［ｋＮ／ｍ２］であった。これに対し、コーン指数推定部３４が推定したパターン１のコーン指数の推定値は７１．４［ｋＮ／ｍ２］であった。従って、パターン１では、土の含水比の実測値と推定値との誤差は７．３［ｋＮ／ｍ２］であった。また、コーン指数の実測値と推定値との３つのパターンの平均誤差は約７９［ｋＮ／ｍ２］であった。
【0143】
図３１は、３つのパターンのコーン指数の実測値と推定値との関係を示すグラフである。検証実験で掘削されて埋め戻された土は、４０［％］前後（３８［％］から４２［％］）の含水比の範囲で１［％］程度の含水比の変動でコーン指数が５０以上変動している。このため、土の含水比が４０［％］前後である当該土をコーン指数の推定の対象としたパターン１では、土の含水比の実測値と推定値との誤差がコーン指数の実測値と推定値との誤差に与える影響の度合いが大きい。パターン１の検証実験結果は、このような影響が極めて顕著に表れた例であった。一方、当該土は、４５［％］を超えたあたりから、含水比が変動してもコーン指数がほとんど変動しない。このため、土の含水比が４５［％］を超えた当該土をコーン指数の推定の対象としたパターン２及びパターン３では、土の含水比の実測値と推定値との誤差がコーン指数の実測値と推定値との誤差に与える影響の度合いが小さい。パターン２及びパターン３の検証実験結果は、このことを裏付ける例であった。
【0144】
以上、コーン指数の推定について説明したが、推定システム１は、コーン指数の推定に基づいたバックホウ１００の走破性の判定をさらに行うようにしてもよい。具体的には、コーン指数推定部３４は、推定されたコーン指数と、バックホウ１００の走破に要求されるコーン指数とを比較し、バックホウ１００の走破に要求されるコーン指数以上のコーン指数が推定された場合にバックホウ１００の走破が可能であると推定し、そうでない場合にバックホウ１００の走破が困難又は不可能であると推定する機能をさらに有していてもよい。この場合、コーン指数推定プログラム２２３は、当該機能に対応するプログラム等をさらに含む。
【0145】
図３２は、図３０に示す３つのパターンで推定されたコーン指数に基づいて行われたバックホウ１００の走破性の判定結果の一例を示す表である。例えば、バックホウ１００が所謂超湿地ブルドーザに分類される建設機械である場合、バックホウ１００は、コーン指数が２００［ｋＮ／ｍ２］以上の地面であれば走破できる。従って、コーン指数推定部３４は、図３２に示すように、２２８［ｋＮ／ｍ２］のコーン指数が推定されたパターン１の地面について、バックホウ１００が走破可能（可）であると判定する。一方、コーン指数推定部３４は、７１．７［ｋＮ／ｍ２］のコーン指数が推定されたパターン２の地面及び７１．４［ｋＮ／ｍ２］のコーン指数が推定されたパターン３の地面について、バックホウ１００の走破が困難であると判定する。
【0146】
なお、コーン指数の推定及び推定されたコーン指数に基づいた走破性の判定において、コーン指数を推定する土の種類を限定するようにしてもよい。例えば、砂質土や礫質土が、含水比の増減にほとんど関係なく建設機械の走破が可能な程度のコーン指数を維持する一方で、火山灰質粘性土も含む粘性土は、含水比が上昇すると建設機械の走破が困難になるほどコーン指数を低下させる傾向を示す土であることが知られている。そこで、土種類推定部３２が推定した土の種類が粘性土であった場合に含水比の推定及びコーン指数の推定を行い、土種類推定部３２が推定した土の種類が粘性土でない場合に含水比の推定及びコーン指数の推定を省略するようにしてもよい。含水比の推定及びコーン指数の推定が省略された場合、走破性の判定では自動的に走破可能であると判定される。また、含水比の推定及びコーン指数の推定が行われた場合、推定されたコーン指数に基づいて走破性の判定が行われるようにしてもよい。
【0147】
以上、実施形態の対象物推定方法は、マルチスペクトルカメラ（例えば、第１撮像装置１１）によって対象物の画像を撮像する撮像ステップ（ステップＳＴ１１）と、当該撮像ステップで撮像された画像から分光反射率スペクトルのベクトルを導出する導出ステップ（ステップＳＴ１２）と、当該ベクトルと、当該マルチスペクトルカメラによって予め撮像された対象物の種類毎の画像に基づいて学習済みのニューラルネットワークＮＮと、に基づいて対象物を推定する対象物推定ステップ（ステップＳＴ１５）と、を含む。これによって、非接触で撮像の対象物の推定等を行える。学習済みのニューラルネットワークＮＮを利用することで、対象物の推定の精度をより高められる。
【0148】
また、対象物推定ステップ（ステップＳＴ１５）において、分光反射率スペクトルのベクトルのうち、３５０［ｎｍ］から４５０［ｎｍ］までの波長帯の分光反射率の平均をαとし、７００［ｎｍ］から７５０［ｎｍ］までの波長帯の分光反射率の平均をβとした場合にα×１０＞βが成立するベクトルを対象物の推定に係る処理で利用しないことで、対象物の推定の精度をより高められる。
【0149】
また、対象物の画像に含まれる単位領域から分光反射率スペクトルのベクトルを導出し、当該ベクトルと、マルチスペクトルカメラ（例えば、第１撮像装置１１）によって予め撮像された対象物の種類毎の画像に基づいて学習済みのニューラルネットワークＮＮと、に基づいて対象物を推定する処理を演算部２１が実現するので、所謂ソフトウェア処理によって非接触での撮像の対象物の推定に係る処理を実現できる。
【0150】
また、ニューラルネットワークＮＮの中間層のノード数が、ニューラルネットワークＮＮの入力層の数よりも少ないことで、より低負荷で対象物の推定に係る処理を実現できる。
【0151】
また、バックホウ１００等の車両にマルチスペクトルカメラ１０が搭載されることで、車両が走破する見込みの地面を撮像する等、車両に関わる対象物に関する推定を非接触で行える。
【0152】
さらに、実施形態の含水比推定方法は、マルチスペクトルカメラ（例えば、第２撮像装置１２）によって対象物の画像を撮像する撮像ステップ（ステップＳＴ２１）と、当該画像に基づき、対象物の赤外線波長帯の分光反射率である第１分光反射率と対象物の他の波長帯（例えば、可視光線の波長帯）の分光反射率である第２分光反射率とを取得する分光反射率取得ステップ（ステップＳＴ２３）と、第１分光反射率と第２分光反射率との差に基づき対象物の含水比を推定する含水比推定ステップ（ステップＳＴ２４）と、を含む。これによって、非接触で高精度に対象物の含水比を推定できる。
【0153】
さらに、上述の含水比推定ステップでは、予め記憶された対象物の種類毎の第１分光反射率と第２分光反射率との差と、含水比と、の対応関係を示すデータ（例えば、上述の参照データ）に基づいて対象物の含水比を推定する。これによって、対象物の含水比の推定精度をより高められる。
【0154】
さらに、実施形態の含水比推定方法は、既知の分光反射率を示す校正シートＰＲＳに基づいて第２撮像装置１２が撮像したマルチスペクトル画像の明るさが適切であるかを判定する判定ステップ（ステップＳＴ２２）を含み、明るさが適切でないマルチスペクトル画像に基づいた対象物の含水比の推定を行わない。これによって、対象物の含水比の推定精度をより高められる。
【0155】
さらに、実施形態において、対象物は、土で覆われた地面ＧＲである。実施形態のコーン指数推定方法は、推定された土の種類と、上述の含水比推定ステップで推定された含水比とに基づいて、当該地面ＧＲのコーン指数を推定するコーン指数推定ステップ（ステップＳＴ３２）を含む。従って、土で覆われた地面ＧＲを撮像することで、当該地面ＧＲのコーン指数を推定できる。
【0156】
さらに、上述のコーン指数推定ステップでは、予め記憶された土の種類毎の含水比とコーン指数との対応関係を示すデータに基づいて地面ＧＲのコーン指数を推定する。これによって、コーン指数の推定精度をより高められる。
【0157】
なお、推定システム１を適用した具体的な態様は、バックホウ１００にマルチスペクトルカメラ１０を設ける態様に限られない。例えば、飛行する航空機から下方の地面を撮像できるようにマルチスペクトルカメラ１０を設けてもよい。これによって、航空機が飛行した地域における地面を覆う土の種類、土の含水比及びコーン指数の推定情報を得られる。従って、災害等に対処するために建設機械等を進入させることが求められる地域において、非接触で当該地域における建設機械等の走破性に関する情報を得られる。なお、航空機は、所謂ドローンと呼ばれる無人航空機も含む。また、航空機に代えて人工衛星にマルチスペクトルカメラ１０を設けるようにしてもよい。
【0158】
一例として、所定範囲（例えば、１０［ｍ］×１０［ｍ］）の推定情報をマルチスペクトル画像に基づいて取得できる場合、当該所定範囲についてバックホウ１００等の機械の走行の可能または不可能を判断することができる。異なる例として、マルチスペクトル画像を複数の分割領域に分けて分割領域毎に推定を行うようにしてもよい。例えば、所定範囲のマルチスペクトル画像を、ｘ軸方向に１００分割、ｙ軸方向に１００分割して１００００の分割領域を設定する。これによって、各分割領域についてバックホウ１００等の車両の走行の可能または不可能を判断することができる。
【0159】
なお、分割領域の数は、限定されず、分割領域の最小単位は１画素とすることができ、最大単位は制限がない。マルチスペクトルカメラ１０が撮像を行う際の地面に対する高度と角度によってマルチスペクトル画像に含まれる面積が決定されていれば、分割領域単位で推定可能な地面の面積範囲を容易に判断できる。従って、推定情報を得ようとする分割領域をより小さな領域とすることで、走行ルートをよりきめ細かにより適切に選択できる。また、推定情報を得ようとする分割領域をより小さな領域とすることは、無限軌道を含む車両に設けられたマルチスペクトルカメラ１０またはより高高度に位置する航空機や人工衛星に設けられたマルチスペクトルカメラ１０によって撮像されたマルチスペクトル画像に基づいた推定を行うのに適している。このように、地上を走行する車両に比してより高高度からのマルチスペクトル画像をより広範囲で撮像することが容易な航空機等を利用可能な構成について、図３３を参照して説明する。
【0160】
図３３は、実施形態の変形例が適用されたバックホウ１００の構成例を示す図である。図３３に示すバックホウ１００は、図２に示すマルチスペクトルカメラ１０に代えて飛行体発着部１０５が屋根部１０１の上側に設けられる。飛行体発着部１０５は、航空機２００が発着可能な平面部を有する台状の構造物である。
【0161】
航空機２００は、筐体２０１によって回転可能に支持された複数のロータ２０２を回転させることで飛行可能な無人航空機である。図３３に示すように、航空機２００は、マルチスペクトルカメラ１０を搭載して飛行し、マルチスペクトルカメラ１０の画角を下方に向けることで撮像範囲ＳＵＢを撮像する飛行体として機能する。なお、図３３に示す撮像装置１４は、上述の第１撮像装置１１と第２撮像装置１２の両方の機能を奏するマルチスペクトルカメラ１０である。マルチスペクトルカメラ１０がバックホウ１００に固定されている場合に比して、航空機２００は、より広い範囲の撮像範囲ＳＵＢをより容易に撮像できる。従って、撮像範囲ＳＵＢを覆う土の種類、当該土の含水率及びコーン指数ならびに当該バックホウ１００が撮像範囲ＳＵＢする場合の走破性に関する情報をより迅速に得られる。また、図３３に示す航空機２００は、バックホウ１００とケーブル２０５を介して接続されている。図３３に示す構成によれば、当該ケーブル２０５を介して、撮像装置１４による撮像で得られたマルチスペクトル画像のデータをリアルタイムにバックホウ１００側に伝送できる。なお、ケーブル２０５はマルチスペクトル画像のデータの伝送に限らず、ロータ２０１を回転させるための電力供給に利用されてよいし、さらに他の目的で利用されてもよい。また、航空機２００からバックホウ１００へのマルチスペクトル画像のデータの伝送経路は、その一部又は全部が無線によるものであってもよい。また、ケーブル２０５を電力供給に利用することで、航空機２００へのバッテリーの搭載が不要になる。従って、航空機２００の最大離陸重量に対して、当該航空機２００に搭載されるマルチスペクトルカメラ１０が占めることができる重量により余裕を持たせられる。
【0162】
また、マルチスペクトルカメラ１０の撮像対象は、土に限られない。例えば、コンクリートをマルチスペクトルカメラ１０で撮像し、セメントの含水比を推定するようにしてもよい。これによって、コンクリート等、セメント水和物に混ぜられた水の量が適当であるかを推定できる。また、セメントに限られず、含水比が品質に影響を与える物質であれば、当該物質をマルチスペクトルカメラ１０の撮像対象とすることで、当該物質の品質に関する推定情報を得られる。
【0163】
また、マルチスペクトルカメラ１０の具体的形態は、第１撮像装置１１と第２撮像装置１２に限られない。例えば、第１撮像装置１１と第２撮像装置１２の両方の機能を備える１台のマルチスペクトルカメラをマルチスペクトルカメラ１０として採用するようにしてもよい。その場合、上述の第１撮像装置１１又は第２撮像装置１２によるマルチスペクトル画像の撮像は、係る１台のマルチスペクトルカメラによるマルチスペクトル画像の撮像とすることができる。
【0164】
また、バックホウ１００に限らず、無限軌道や車輪で走行する他の車両も図３や図３３を参照して説明したバックホウ１００と同様、マルチスペクトルカメラ１０を搭載して推定システム１によるコーン指数推定方法及び当該コーン指数推定方法に含まれる各種の推定方法を利用できる。
【符号の説明】
【0165】
１ 推定システム
１０ マルチスペクトルカメラ
１１ 第１撮像装置
１２ 第２撮像装置
２０ 情報処理装置
２１ 演算部
３１ 取得部
３２ 土種類推定部
３３ 含水比推定部
３４ コーン指数推定部
１００ バックホウ
ＰＲＳ 校正シート
１０ マルチスペクトルカメラ
１１ 第１撮像装置
１２ 第２撮像装置
２０ 情報処理装置
２１ 演算部
３１ 取得部
３２ 土種類推定部
３３ 含水比推定部
３４ コーン指数推定部
１００ バックホウ
ＰＲＳ 校正シート
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】