知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022043796
(43)【公開日】2022-03-16
(54)【発明の名称】学習システム、学習装置及び学習方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20220309BHJP
G06T 7/70 20170101ALI20220309BHJP
G06T 7/11 20170101ALI20220309BHJP
G01F 23/292 20060101ALI20220309BHJP
【ＦＩ】
G06T7/00 350B
G06T7/70 B
G06T7/11
G01F23/292 B
G01F23/292 Z
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2020149258
(22)【出願日】2020-09-04
(71)【出願人】
【識別番号】591036457
【氏名又は名称】三菱電機エンジニアリング株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】特許業務法人山王内外特許事務所
(72)【発明者】
【氏名】西田 大輔
【テーマコード（参考）】
2F014
5L096
【Ｆターム（参考）】
2F014AA07
2F014AB02
2F014FA01
2F014FA04
2F014GA01
5L096AA06
5L096BA02
5L096BA18
5L096CA02
5L096DA01
5L096EA15
5L096EA16
5L096FA19
5L096FA69
5L096GA30
5L096HA11
5L096KA04
(57)【要約】
【課題】学習用画像の生成において、従来技術に対して作業者による作業負担を軽減可能とする。
【解決手段】撮影範囲を撮影することで撮影画像を得る監視カメラ１と、水面及び水底で反射しない波長のレーザを監視カメラ１における撮影範囲に対して照射することで、複数の点の位置を示す点群データを得るレーザ測距装置２と、監視カメラ１により得られた撮影画像のうち、レーザ測距装置２により得られた点群データにおいて位置が得られた点と位置が得られていない点との境界線に対応する線を、水位境界線として推定する境界線推定部３７と、境界線推定部３７により推定された水位境界線に基づいて、監視カメラ１により得られた撮影画像から学習用画像を生成する学習用画像生成部３８と、学習用画像生成部３８により生成された学習用画像を用いて、水領域と非水領域との識別に係る機械学習を実行する学習部３９とを備えた。
【選択図】図１
【解決手段】撮影範囲を撮影することで撮影画像を得る監視カメラ１と、水面及び水底で反射しない波長のレーザを監視カメラ１における撮影範囲に対して照射することで、複数の点の位置を示す点群データを得るレーザ測距装置２と、監視カメラ１により得られた撮影画像のうち、レーザ測距装置２により得られた点群データにおいて位置が得られた点と位置が得られていない点との境界線に対応する線を、水位境界線として推定する境界線推定部３７と、境界線推定部３７により推定された水位境界線に基づいて、監視カメラ１により得られた撮影画像から学習用画像を生成する学習用画像生成部３８と、学習用画像生成部３８により生成された学習用画像を用いて、水領域と非水領域との識別に係る機械学習を実行する学習部３９とを備えた。
【選択図】図１
【特許請求の範囲】
【請求項1】
撮影範囲を撮影することで撮影画像を得る撮影装置と、
水面及び水底で反射しない波長のレーザを前記撮影装置における撮影範囲に対して照射することで、複数の点の位置を示す点群データを得るレーザ測距装置と、
前記レーザ測距装置により得られた点群データの座標系を、前記撮影装置により得られた撮影画像の座標系に変換する座標変換部と、
前記撮影画像により得られた撮影画像のうち、前記座標変換部による変換後の点群データにおいて位置が得られた点と位置が得られていない点との境界線に相当する線を、水位境界線として推定する境界線推定部と、
前記境界線推定部により推定された水位境界線に基づいて、前記撮影装置により得られた撮影画像から学習用画像を生成する学習用画像生成部と、
前記学習用画像生成部により生成された学習用画像を用いて、水領域と非水領域との識別に係る機械学習を実行する学習部と
を備えた学習システム。
水面及び水底で反射しない波長のレーザを前記撮影装置における撮影範囲に対して照射することで、複数の点の位置を示す点群データを得るレーザ測距装置と、
前記レーザ測距装置により得られた点群データの座標系を、前記撮影装置により得られた撮影画像の座標系に変換する座標変換部と、
前記撮影画像により得られた撮影画像のうち、前記座標変換部による変換後の点群データにおいて位置が得られた点と位置が得られていない点との境界線に相当する線を、水位境界線として推定する境界線推定部と、
前記境界線推定部により推定された水位境界線に基づいて、前記撮影装置により得られた撮影画像から学習用画像を生成する学習用画像生成部と、
前記学習用画像生成部により生成された学習用画像を用いて、水領域と非水領域との識別に係る機械学習を実行する学習部と
を備えた学習システム。
【請求項2】
前記座標変換部は、
前記レーザ測距装置により得られた点群データの中から４つ以上の点を特徴点として取得する特徴点取得部と、
前記特徴点取得部により取得された特徴点に基づいて、前記レーザ測距装置により得られた点群データの座標系を、前記撮影装置により得られた撮影画像の座標系に変換するための回転行列を算出する回転行列算出部と、
前記回転行列算出部により算出された回転行列を用い、前記レーザ測距装置により得られた点群データの座標系を変換する変換部とを備えた
ことを特徴とする請求項１記載の学習システム。
前記レーザ測距装置により得られた点群データの中から４つ以上の点を特徴点として取得する特徴点取得部と、
前記特徴点取得部により取得された特徴点に基づいて、前記レーザ測距装置により得られた点群データの座標系を、前記撮影装置により得られた撮影画像の座標系に変換するための回転行列を算出する回転行列算出部と、
前記回転行列算出部により算出された回転行列を用い、前記レーザ測距装置により得られた点群データの座標系を変換する変換部とを備えた
ことを特徴とする請求項１記載の学習システム。
【請求項3】
撮影範囲を撮影することで撮影画像を得る撮影装置により得られた撮影画像の座標系に、水面及び水底で反射しない波長のレーザを前記撮影装置における撮影範囲に対して照射することで、複数の点の位置を示す点群データを得るレーザ測距装置により得られた点群データの座標系を、変換する座標変換部と、
前記撮影画像により得られた撮影画像のうち、前記座標変換部による変換後の点群データにおいて位置が得られた点と位置が得られていない点との境界線に相当する線を、水位境界線として推定する境界線推定部と、
前記境界線推定部により推定された水位境界線に基づいて、前記撮影装置により得られた撮影画像から学習用画像を生成する学習用画像生成部と、
前記学習用画像生成部により生成された学習用画像を用いて、水領域と非水領域との識別に係る機械学習を実行する学習部と
を備えた学習装置。
前記撮影画像により得られた撮影画像のうち、前記座標変換部による変換後の点群データにおいて位置が得られた点と位置が得られていない点との境界線に相当する線を、水位境界線として推定する境界線推定部と、
前記境界線推定部により推定された水位境界線に基づいて、前記撮影装置により得られた撮影画像から学習用画像を生成する学習用画像生成部と、
前記学習用画像生成部により生成された学習用画像を用いて、水領域と非水領域との識別に係る機械学習を実行する学習部と
を備えた学習装置。
【請求項4】
座標変換部が、撮影範囲を撮影することで撮影画像を得る撮影装置により得られた撮影画像の座標系に、水面及び水底で反射しない波長のレーザを前記撮影装置における撮影範囲に対して照射することで、複数の点の位置を示す点群データを得るレーザ測距装置により得られた点群データの座標系を、変換するステップと、
境界線推定部が、前記撮影画像により得られた撮影画像のうち、前記座標変換部による変換後の点群データにおいて位置が得られた点と位置が得られていない点との境界線に相当する線を、水位境界線として推定するステップと、
学習用画像生成部が、前記境界線推定部により推定された水位境界線に基づいて、前記撮影装置により得られた撮影画像から学習用画像を生成するステップと、
学習部が、前記学習用画像生成部により生成された学習用画像を用いて、水領域と非水領域との識別に係る機械学習を実行するステップと
を有する学習方法。
境界線推定部が、前記撮影画像により得られた撮影画像のうち、前記座標変換部による変換後の点群データにおいて位置が得られた点と位置が得られていない点との境界線に相当する線を、水位境界線として推定するステップと、
学習用画像生成部が、前記境界線推定部により推定された水位境界線に基づいて、前記撮影装置により得られた撮影画像から学習用画像を生成するステップと、
学習部が、前記学習用画像生成部により生成された学習用画像を用いて、水領域と非水領域との識別に係る機械学習を実行するステップと
を有する学習方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、水位計測のための機械学習を行う学習システム、学習装置及び学習方法に関する。
【背景技術】
【0002】
従来、監視カメラにより得られた撮影画像を用い、水位計測を行う装置が知られている（例えば特許文献１参照）。特許文献１に開示された装置は、水領域と非水領域との識別に係る機械学習の結果に基づいて、撮影画像から水位境界線を検出して水位を推定している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－４５１９１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の装置では、水位境界線を検出するために事前に機械学習を行う必要がある。ここで、機械学習の結果に基づく水位境界線の検出は、濁り又は波の高さ等のような水面の状態によって精度にばらつきが生じる。この精度の向上のためには、教師あり学習用の学習データを構成する学習用画像をより多く用いて機械学習を行う必要がある。しかしながら、従来では、学習用画像を生成する際に、作業者が手作業で水位境界線を指定しており、多くの時間と手間がかかる。
【0005】
本開示は、上記のような課題を解決するためになされたもので、学習用画像の生成において、従来技術に対して作業者による作業負担を軽減可能な学習システムを提供することを目的としている。
【課題を解決するための手段】
【0006】
本開示に係る学習システムは、撮影範囲を撮影することで撮影画像を得る撮影装置と、水面及び水底で反射しない波長のレーザを撮影装置における撮影範囲に対して照射することで、複数の点の位置を示す点群データを得るレーザ測距装置と、撮影装置により得られた撮影画像のうち、レーザ測距装置により得られた点群データにおいて位置が得られた点と位置が得られていない点との境界線に対応する線を、水位境界線として推定する境界線推定部と、境界線推定部により推定された水位境界線に基づいて、撮影装置により得られた撮影画像から学習用画像を生成する学習用画像生成部と、学習用画像生成部により生成された学習用画像を用いて、水領域と非水領域との識別に係る機械学習を実行する学習部とを備えたことを特徴とする。
【発明の効果】
【0007】
本開示によれば、上記のように構成したので、学習用画像の生成において、従来技術に対して作業者による作業負担を軽減可能となる。
【図面の簡単な説明】
【0008】
【図1】実施の形態１に係る学習システムを備えた水位計測システムの構成例を示す図である。
【図2】実施の形態１における座標変換部の構成例を示す図である。
【図3】水領域と非水領域との識別に係るディープニューラルネットワークの構造例を示す図である。
【図4】実施の形態１に係る学習システムの動作例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１は実施の形態１に係る学習システムを備えた水位計測システムの構成例を示す図である。
水位計測システムは、河川の水位を計測する。この水位計測システムは、図１に示すように、監視カメラ（撮影装置）１、レーザ測距装置２及び計測処理装置３を備えている。
実施の形態１．
図１は実施の形態１に係る学習システムを備えた水位計測システムの構成例を示す図である。
水位計測システムは、河川の水位を計測する。この水位計測システムは、図１に示すように、監視カメラ（撮影装置）１、レーザ測距装置２及び計測処理装置３を備えている。
【0010】
監視カメラ１は、撮影範囲を撮影することで撮影画像を得る。監視カメラ１は、水位計測の対象である河川の周辺に配置され、当該河川を撮影する。監視カメラ１における撮影範囲には、河川の水、川岸等の河川以外のもの、及び、河川の水と河川以外のものとの境界である水際線（水位境界線）が含まれる。
【0011】
レーザ測距装置２は、監視カメラ１における撮影範囲に対してレーザを照射し、照射先に存在する物体により反射されたレーザを受信することで、点群データを得る。点群データは、複数の点の位置を示す。なお、レーザ測距装置２が用いるレーザの波長は、水面及び水底で反射しない波長である。レーザ測距装置２が用いるレーザとしては、例えば近赤外線（８６０ｎｍ程度）のレーザが挙げられる。
なお、レーザ測距装置２は、上記撮影範囲のうちの全範囲に対してレーザを照射してもよいが、水位境界線を推定可能な範囲に対してレーザを照射すればよく、上記撮影範囲のうちの一部の範囲に対してのみレーザを照射してもよい。これにより、レーザ測距装置２は、データ容量を削減可能となる。
なお、レーザ測距装置２は、上記撮影範囲のうちの全範囲に対してレーザを照射してもよいが、水位境界線を推定可能な範囲に対してレーザを照射すればよく、上記撮影範囲のうちの一部の範囲に対してのみレーザを照射してもよい。これにより、レーザ測距装置２は、データ容量を削減可能となる。
【0012】
なお、通常、水位計測の対象である河川の状況は常に変化するものではないと考えられる。そのため、監視カメラ１による撮影タイミング及びレーザ測距装置２によるレーザ測距タイミングは、一致している必要はなく、ある程度（例えば数分程度）のずれが許容される。
【0013】
計測処理装置３は、図１に示すように、画素選択部３１、識別用画像生成部３２、識別部３３、境界線検出部３４、水位算定部３５、座標変換部３６、境界線推定部３７、学習用画像生成部３８及び学習部３９を有している。
【0014】
なお、画素選択部３１、識別用画像生成部３２、識別部３３、境界線検出部３４及び水位算定部３５は、水位計測装置４を構成する。また、座標変換部３６、境界線推定部３７、学習用画像生成部３８及び学習部３９は、学習装置５を構成する。図１では、水位計測装置４と学習装置５とが一体に構成された場合を示しているが、別体に構成されていてもよい。
更に、監視カメラ１、レーザ測距装置２及び学習装置５は、学習システムを構成する。
更に、監視カメラ１、レーザ測距装置２及び学習装置５は、学習システムを構成する。
【0015】
画素選択部３１は、監視カメラ１により得られた撮影画像から指定した画像領域（以下、指定領域と記載する）から、着目画素を選択する。例えば、画素選択部３１は、撮影画像から３２×１２８ピクセルの指定領域を特定し、当該指定領域における画素の中から着目画素を選択する。
【0016】
識別用画像生成部３２は、画素選択部３１により選択された着目画素に接する複数の画像領域を識別用画像としてそれぞれ生成する。例えば、識別用画像生成部３２は、撮影画像の２次元画像面において、着目画素に上に接する６４×６４ピクセルの画像を識別用画像として生成し、着目画素に下に接する６４×６４ピクセルの画像を識別用画像として生成する。
【0017】
識別部３３は、識別用画像生成部３２により生成された識別用画像に対し、学習部３９による水領域と非水領域との識別に係る機械学習の結果に基づいて識別強度を算出する。水領域は、画像において河川の水が写された領域であり、非水領域は、画像において河川以外のものが写された領域である。
識別強度は、複数の識別用画像のそれぞれに対応する領域が水領域である度合いを示す値である。例えば、識別用画像に対応する領域が水領域である場合、識別強度は、１．０となり、識別用画像に対応する領域が非水領域である場合、識別強度は、０．０となる。また、識別用画像において水領域と非水領域とが写っている場合、識別強度は、０．５となる。
識別強度は、複数の識別用画像のそれぞれに対応する領域が水領域である度合いを示す値である。例えば、識別用画像に対応する領域が水領域である場合、識別強度は、１．０となり、識別用画像に対応する領域が非水領域である場合、識別強度は、０．０となる。また、識別用画像において水領域と非水領域とが写っている場合、識別強度は、０．５となる。
【0018】
境界線検出部３４は、識別部３３により算出された識別強度に基づいて、撮影画像における水位境界線を検出する。例えば、撮影画像に写された対岸の水際の１点が着目画素であった場合、当該着目画素に対して上に接する識別用画像は、陸地（非水領域）が写された画像であるので、識別強度は、０．０付近の値となる。当該着目画素に対して下に接する識別用画像は、水領域が写された画像であるので、識別強度は、１．０付近の値となる。境界線検出部３４は、上記着目画素に接する複数の識別用画像のそれぞれの識別強度を減算し、識別強度が最大値（ピーク値）になる着目画素を水位境界線に対応する画素として検出する。境界線検出部３４は、これらの画素をトレースして、撮影画像に写された水位境界線を検出する。
【0019】
水位算定部３５は、境界線検出部３４により検出された水位境界線の位置に基づいて、監視カメラ１の撮影範囲における水位を算定する。例えば、上記指定領域の２次元画像面における上下方向の画素列の画素の位置毎に河川の水位値を対応付けた対応データを水位算定部３５に設定しておく。水位算定部３５は、水位境界線に対応する画素位置に基づいて、上記対応データを参照して河川の水位値を算定する。
【0020】
なお、水位計測装置４の構成例は、図１に示す構成に限らず、学習部３９による機械学習の結果に基づいて、監視カメラ１により得られた撮影画像から水位を算定可能な構成であればよい。
【0021】
座標変換部３６は、レーザ測距装置２により得られた点群データの座標系を、監視カメラ１により得られた撮影画像の座標系に変換する。これにより、学習装置５は、レーザ測距装置２により取得された点群データを、監視カメラ１により撮影された撮影画像にマージさせることができる。
【0022】
境界線推定部３７は、監視カメラ１により得られた撮影画像のうち、座標変換部３６による変換後の点群データにおいて位置が得られた点と位置が得られていない点との境界線に相当する線を、水位境界線として推定する。
【0023】
学習用画像生成部３８は、境界線推定部３７により推定された水位境界線に基づいて、監視カメラ１により撮影された撮影画像から学習用画像を生成する。
例えば、学習用画像生成部３８は、撮影画像において河川の水が写った画像領域を学習用画像として生成し、さらに撮影画像における河川以外のものが写った画像領域を学習用画像として生成する。
例えば、学習用画像生成部３８は、撮影画像において河川の水が写った画像領域を学習用画像として生成し、さらに撮影画像における河川以外のものが写った画像領域を学習用画像として生成する。
【0024】
学習部３９は、学習用画像生成部３８により生成された学習用画像を用いて、水領域と非水領域との識別に係る機械学習を実行する。例えば、学習部３９は、ディープニューラルネットワーク（以下、Ｄ／Ｌと記載する）を用いた機械学習を実行する。
【0025】
【0026】
特徴点取得部３６１は、監視カメラ１により得られた特定の撮影画像の中から４つ以上の点を特徴点として取得する。例えば、特徴点取得部３６１は、監視カメラ１により得られた撮影画像の中から４つの点（点Ａ～Ｄ）を特徴点として取得する。また、特徴点取得部３６１は、レーザ測距装置２により得られた特定の点群データの中から上記特徴点に相当する点を特徴点として取得する。例えば、特徴点取得部３６１は、レーザ測距装置２により得られた点群データの中から４つの点（点Ａ～Ｄ）を特徴点として取得する。
【0027】
ここで、上記撮影画像のうち、点Ａの位置を（ｘαＡ，ｙαＡ，ｚαＡ）とし、点Ｂの位置を（ｘαＢ，ｙαＢ，ｚαＢ）とし、点Ｃの位置を（ｘαＣ，ｙαＣ，ｚαＣ）とし、点Ｄの位置を（ｘαＤ，ｙαＤ，ｚαＤ）とする。
また、上記点群データのうち、点Ａの位置を（ｘβＡ，ｙβＡ，ｚβＡ）とし、点Ｂの位置を（ｘβＢ，ｙβＢ，ｚβＢ）とし、点Ｃの位置を（ｘβＣ，ｙβＣ，ｚβＣ）とし、点Ｄの位置を（ｘβＤ，ｙβＤ，ｚβＤ）とする。
また、上記点群データのうち、点Ａの位置を（ｘβＡ，ｙβＡ，ｚβＡ）とし、点Ｂの位置を（ｘβＢ，ｙβＢ，ｚβＢ）とし、点Ｃの位置を（ｘβＣ，ｙβＣ，ｚβＣ）とし、点Ｄの位置を（ｘβＤ，ｙβＤ，ｚβＤ）とする。
【0028】
なお、特徴点取得部３６１により取得される４つ以上の特徴点は、手動又は自動で指定可能である。
また、特徴点取得部３６１により取得される４つ以上の特徴点は、互いに離れた点であることが好ましい。すなわち、座標変換部３６は、上記点群データの座標系での特徴点から得られた面を、上記撮影画像の座標系での特徴点から得られた面に合わせることで、当該点群データの座標系を当該撮影画像の座標系に合わせ込む。そのため、座標変換部３６では、面を構成する４つ以上の特徴点は互いに離れた点である方が、合わせ込みの誤差が低くなると考えられる。
また、特徴点取得部３６１により取得される４つ以上の特徴点は、互いに離れた点であることが好ましい。すなわち、座標変換部３６は、上記点群データの座標系での特徴点から得られた面を、上記撮影画像の座標系での特徴点から得られた面に合わせることで、当該点群データの座標系を当該撮影画像の座標系に合わせ込む。そのため、座標変換部３６では、面を構成する４つ以上の特徴点は互いに離れた点である方が、合わせ込みの誤差が低くなると考えられる。
【0029】
回転行列算出部３６２は、特徴点取得部３６１により取得された特徴点に基づいて、回転行列を算出する。回転行列は、レーザ測距装置２により得られた点群データの座標系を、監視カメラ１により得られた撮影画像の座標系に変換するための行列である。
【0030】
この際、回転行列算出部３６２は、まず、特徴点取得部３６１により取得された撮影画像の特徴点及び点群データの特徴点に基づいて、各々、当該特徴点のうちの１つの点の位置が０となるように、当該特徴点のうちの残りの各点の位置を平行移動させる。例えば、回転行列算出部３６２は、点Ａの位置が０となるように、点Ｂ～Ｄの位置を平行移動させる。
【0031】
ここで、上記撮影画像における平行移動後の点Ｂの位置を（ｘ’αＢ，ｙ’αＢ，ｚ’αＢ）とし、平行移動後の点Ｃの位置を（ｘ’αＣ，ｙ’αＣ，ｚ’αＣ）とし、平行移動後の点Ｄの位置を（ｘ’αＤ，ｙ’αＤ，ｚ’αＤ）とする。
同様に、上記点群データにおける平行移動後の点Ｂの位置を（ｘ’βＢ，ｙ’βＢ，ｚ’βＢ）とし、平行移動後の点Ｃの位置を（ｘ’βＣ，ｙ’βＣ，ｚ’βＣ）とし、平行移動後の点Ｄの位置を（ｘ’βＤ，ｙ’βＤ，ｚ’βＤ）とする。
同様に、上記点群データにおける平行移動後の点Ｂの位置を（ｘ’βＢ，ｙ’βＢ，ｚ’βＢ）とし、平行移動後の点Ｃの位置を（ｘ’βＣ，ｙ’βＣ，ｚ’βＣ）とし、平行移動後の点Ｄの位置を（ｘ’βＤ，ｙ’βＤ，ｚ’βＤ）とする。
【0032】
また、上記各点の位置は、下式（１）～（１８）のように表される。
ｘ’αＢ＝ｘαＢ－ｘαＡ（１）
ｙ’αＢ＝ｙαＢ－ｙαＡ（２）
ｚ’αＢ＝ｚαＢ－ｚαＡ（３）
ｘ’αＣ＝ｘαＣ－ｘαＡ（４）
ｙ’αＣ＝ｙαＣ－ｙαＡ（５）
ｚ’αＣ＝ｚαＣ－ｚαＡ（６）
ｘ’αＤ＝ｘαＤ－ｘαＡ（７）
ｙ’αＤ＝ｙαＤ－ｙαＡ（８）
ｚ’αＤ＝ｚαＤ－ｚαＡ（９）
ｘ’βＢ＝ｘβＢ－ｘβＡ（１０）
ｙ’βＢ＝ｙβＢ－ｙβＡ（１１）
ｚ’βＢ＝ｚβＢ－ｚβＡ（１２）
ｘ’βＣ＝ｘβＣ－ｘβＡ（１３）
ｙ’βＣ＝ｙβＣ－ｙβＡ（１４）
ｚ’βＣ＝ｚβＣ－ｚβＡ（１５）
ｘ’βＤ＝ｘβＤ－ｘβＡ（１６）
ｙ’βＤ＝ｙβＤ－ｙβＡ（１７）
ｚ’βＤ＝ｚβＤ－ｚβＡ（１８）
ｘ’αＢ＝ｘαＢ－ｘαＡ（１）
ｙ’αＢ＝ｙαＢ－ｙαＡ（２）
ｚ’αＢ＝ｚαＢ－ｚαＡ（３）
ｘ’αＣ＝ｘαＣ－ｘαＡ（４）
ｙ’αＣ＝ｙαＣ－ｙαＡ（５）
ｚ’αＣ＝ｚαＣ－ｚαＡ（６）
ｘ’αＤ＝ｘαＤ－ｘαＡ（７）
ｙ’αＤ＝ｙαＤ－ｙαＡ（８）
ｚ’αＤ＝ｚαＤ－ｚαＡ（９）
ｘ’βＢ＝ｘβＢ－ｘβＡ（１０）
ｙ’βＢ＝ｙβＢ－ｙβＡ（１１）
ｚ’βＢ＝ｚβＢ－ｚβＡ（１２）
ｘ’βＣ＝ｘβＣ－ｘβＡ（１３）
ｙ’βＣ＝ｙβＣ－ｙβＡ（１４）
ｚ’βＣ＝ｚβＣ－ｚβＡ（１５）
ｘ’βＤ＝ｘβＤ－ｘβＡ（１６）
ｙ’βＤ＝ｙβＤ－ｙβＡ（１７）
ｚ’βＤ＝ｚβＤ－ｚβＡ（１８）
【0033】
次いで、回転行列算出部３６２は、平行移動の結果に基づいて、回転行列を算出する。
【0034】
ここで、レーザ測距装置２により得られた点群データのうちの平行移動後の点Ｂ～Ｄの座標系を、監視カメラ１により得られた撮影画像のうちの平行移動後の点Ｂ～Ｄに変換する式は、下式（１９）～（２１）で表される。
【0035】
式（１９）～（２１）から、回転行列は、下式（２２）で表される。式（２２）において、Ｒは回転行列である。また、ｅ～ｍは変数である。
【0036】
式（２２）におけるｅ～ｇの連立方程式は、下式（２３）で表される。
【0037】
式（２３）を行列で表すと、下式（２４）のようになる。
【0038】
そして、式（２４）から、クラメールの公式を用いて、ｅ～ｇは下式（２５）～（２７）のように求められる。
【0039】
式（２２）におけるｈ～ｊの連立方程式は、下式（２８）で表される。
【0040】
式（２８）を行列で表すと、下式（２９）のようになる。
【0041】
そして、式（２９）から、クラメールの公式を用いて、ｈ～ｊは下式（３０）～（３２）のように求められる。
【0042】
式（２２）におけるｋ～ｍの連立方程式は、下式（３３）で表される。
【0043】
式（３３）を行列で表すと、下式（３４）のようになる。
【0044】
そして、式（３４）から、クラメールの公式を用いて、ｋ～ｍは下式（３５）～（３７）のように求められる。
【0045】
よって、回転行列算出部３６２は、任意の点Ａ～Ｄの位置が既知である場合、回転行列を求めことができる。
【0046】
次いで、変換部３６３は、回転行列算出部３６２により算出された回転行列を用い、レーザ測距装置２により得られた点群データの座標系を変換する。ここでは、変換部３６３は、下式（３８）に示すように、回転行列算出部３６２により算出された回転行列を用い、レーザ測距装置２により得られた点群データの座標系を、監視カメラ１により得られた撮影画像の座標系に変換する。式（３８）において、（ｘ，ｙ，ｚ）はレーザ測距装置２により得られた点群データにおける座標変換前の点の位置を示し、（ｘ’，ｙ’，ｚ’）はレーザ測距装置２により得られた点群データにおける座標変換後の点の位置を示している。
【0047】
なお、特徴点取得部３６１による処理及び回転行列算出部３６２による処理は、監視カメラ１及びレーザ測距装置２が現場に設置された際等に１度実施されればよく、座標変換部３６は同一の回転行列を繰返し使用可能である。
【0048】
また、座標変換部３６は、レーザ測距装置２により得られた点群データの座標系を、監視カメラ１により得られた撮影画像の座標系に変換可能であればよく、図２に示す構成に限らない。
例えば、レーザ測距装置２によるレーザの照射範囲に、監視カメラ１自体を含めるようにしてもよい。これにより、監視カメラ１の位置及びレーザ測距装置２から監視カメラ１までの距離を検出可能となり、これらの情報から座標変換が可能である。
例えば、レーザ測距装置２によるレーザの照射範囲に、監視カメラ１自体を含めるようにしてもよい。これにより、監視カメラ１の位置及びレーザ測距装置２から監視カメラ１までの距離を検出可能となり、これらの情報から座標変換が可能である。
【0049】
図３は、識別部３３における水領域と非水領域との識別に係るＤ／Ｌの構造を示す図である。Ｄ／Ｌは、コンピュータに複数の学習用画像を、正解データとともに入力して機械学習させることにより、新たに入力された画像データに写っているものが、特定の対象であるか否かを識別して結果を出力するように動作させる仕組みの一つである。
【0050】
より具体的には、Ｄ／Ｌは、複数のパーセプトロンが階層的に配置された計算モデルである。パーセプトロンとは、入力信号の重み付き和をとり、活性化関数と呼ばれる非線形関数を適用して出力とするものである。
例えば、パーセプトロンは、画像に対応する二次元信号を入力すると、入力信号の重み付き和を計算して次の層のパーセプトロンに出力する。
例えば、パーセプトロンは、画像に対応する二次元信号を入力すると、入力信号の重み付き和を計算して次の層のパーセプトロンに出力する。
【0051】
図３に示すＤ／Ｌでは、複数のパーセプトロンが階層的に配置されており、入力層に入力された入力信号を中間層における複数の層のそれぞれで処理していくことで、識別結果が計算される。出力層は、識別するタスクの出力に対応しており、回帰タスクであれば活性化関数の出力をそのまま予測値とし、分類タスクであれば出力層についてソフトマックス関数を適用して出力とする。
【0052】
学習部３９によるＤ／Ｌの機械学習は、誤差逆伝播により行われ、例えば確率的勾配降下法が用いられる。誤差逆伝播は、Ｄ／Ｌの出力誤差を出力層から順に前の層に向かって伝播させ、重みを更新させていく処理のことである。
なお、学習部３９は、学習用画像及び正解データを含む学習データの入力に対して水領域と非水領域との識別に係る機械学習を実行可能なモデルを用いたものであればよい。上記モデルとしては、畳み込みニューラルネットワーク及びサポートベクトルマシン（ＳＶＭ）等が挙げられる。なお、正解データは、学習用画像生成部３８が学習用画像を生成する際に生成され、学習用画像とともに学習データとして学習部３９に出力される。
なお、学習部３９は、学習用画像及び正解データを含む学習データの入力に対して水領域と非水領域との識別に係る機械学習を実行可能なモデルを用いたものであればよい。上記モデルとしては、畳み込みニューラルネットワーク及びサポートベクトルマシン（ＳＶＭ）等が挙げられる。なお、正解データは、学習用画像生成部３８が学習用画像を生成する際に生成され、学習用画像とともに学習データとして学習部３９に出力される。
【0053】
次に、図１に示す実施の形態１に係る学習システムの動作例について、図４を参照しながら説明する。
図１に示す実施の形態１に係る学習システムの動作例では、図４に示すように、まず、監視カメラ１は、撮影範囲を撮影することで撮影画像を得る（ステップＳＴ４０１，４０２）。
図１に示す実施の形態１に係る学習システムの動作例では、図４に示すように、まず、監視カメラ１は、撮影範囲を撮影することで撮影画像を得る（ステップＳＴ４０１，４０２）。
【0054】
また、レーザ測距装置２は、監視カメラ１における撮影範囲に対してレーザを照射し、照射先に存在する物体により反射されたレーザを受信することで、点群データを得る（ステップＳＴ４０３，４０４）。
【0055】
次いで、座標変換部３６は、レーザ測距装置２により得られた点群データの座標系を、監視カメラ１により得られた撮影画像の座標系に変換する（ステップＳＴ４０５）。これにより、学習装置５は、レーザ測距装置２により取得された点群データを監視カメラ１により撮影された撮影画像にマージさせることができる。
【0056】
次いで、境界線推定部３７は、監視カメラ１により得られた撮影画像のうち、座標変換部３６による変換後の点群データにおいて位置が得られた点と位置が得られていない点との境界線に相当する線を、水位境界線として推定する（ステップＳＴ４０６）。
【0057】
次いで、学習用画像生成部３８は、境界線推定部３７により推定された水位境界線に基づいて、監視カメラ１により撮影された撮影画像から学習用画像を生成する（ステップＳＴ４０７）。
例えば、学習用画像生成部３８は、撮影画像において河川の水が写った画像領域を学習用画像として生成し、さらに撮影画像における河川以外のものが写った画像領域を学習用画像として生成する。
例えば、学習用画像生成部３８は、撮影画像において河川の水が写った画像領域を学習用画像として生成し、さらに撮影画像における河川以外のものが写った画像領域を学習用画像として生成する。
【0058】
次いで、学習部３９は、学習用画像生成部３８により生成された学習用画像を用いて、水領域と非水領域との識別に係る機械学習を実行する（ステップＳＴ４０８）。例えば、学習部３９は、ディープニューラルネットワーク（以下、Ｄ／Ｌと記載する）を用いた機械学習を実行する。
【0059】
次いで、学習システムは、学習を続けるかを判定する（ステップＳＴ４０９）。すなわち、学習システムは、過学習によるＡＩモデルの複雑化防止を目的とし、極力多くの学習データを用いてＡＩ精度向上（学習の継続）を図りつつ、正則化の実施により過学習となる前に学習を終了する。
このステップＳＴ４０９において、学習システムが機械学習を続けると判定した場合、シーケンスはステップＳＴ４０１，４０３に戻る。
一方、ステップＳＴ４０９において、学習システムが機械学習を続けないと判定した場合、シーケンスは終了する。
このステップＳＴ４０９において、学習システムが機械学習を続けると判定した場合、シーケンスはステップＳＴ４０１，４０３に戻る。
一方、ステップＳＴ４０９において、学習システムが機械学習を続けないと判定した場合、シーケンスは終了する。
【0060】
次に、実施の形態１に係る学習システムによる効果について説明する。
実施の形態１に係る学習システムは、レーザ測距装置２により得られた点群データを用いて、監視カメラ１により得られた撮影画像から水位境界線を自動で推定する。この際、学習システムは、点群データの座標系を撮影画像の座標系（監視カメラ１視点の座標系）に変換することで、点群データを撮影画像とマージさせる。そして、学習システムは、推定した水位境界線に基づいて、撮影画像から学習用画像を生成する。その後、学習システムは、従来と同様に、学習用画像に対して自動でＡＩ学習を行う。このように、実施の形態１に係る学習システムは、点群データを用いることで、学習用画像の生成の効率化が可能となる。よって、この学習システムを用いることで、作業者は撮影画像に対して手作業で水位境界線を指定する必要はなく、作業者による作業負担を軽減可能となる。
実施の形態１に係る学習システムは、レーザ測距装置２により得られた点群データを用いて、監視カメラ１により得られた撮影画像から水位境界線を自動で推定する。この際、学習システムは、点群データの座標系を撮影画像の座標系（監視カメラ１視点の座標系）に変換することで、点群データを撮影画像とマージさせる。そして、学習システムは、推定した水位境界線に基づいて、撮影画像から学習用画像を生成する。その後、学習システムは、従来と同様に、学習用画像に対して自動でＡＩ学習を行う。このように、実施の形態１に係る学習システムは、点群データを用いることで、学習用画像の生成の効率化が可能となる。よって、この学習システムを用いることで、作業者は撮影画像に対して手作業で水位境界線を指定する必要はなく、作業者による作業負担を軽減可能となる。
【0061】
なお以下に、レーザ測距装置２により得られた点群データを用いることで、監視カメラ１により得られた撮影画像から水位境界線を推定可能な理由について示す。
可視光を物体に照射すると、その物体の色に応じた反射率で光が反射される。そして、人は、上記反射率で反射された光が入射されることで、上記物体の色を認識可能となる。一方、可視光を無色透明な物体に照射すると、光は反射されず、透過してしまう。
可視光を物体に照射すると、その物体の色に応じた反射率で光が反射される。そして、人は、上記反射率で反射された光が入射されることで、上記物体の色を認識可能となる。一方、可視光を無色透明な物体に照射すると、光は反射されず、透過してしまう。
【0062】
可視光線ではないレーザに関しても上述した現象は該当する。すなわち、近赤外線等のレーザを水面に照射しても、当該水面からの反射は理論上ない。なお、水面における反射率は、入射方向が垂直に近づくほど低くなる。また、水底からの反射に関しても、近赤外線とは波長の異なるグリーンレーザ等を使用しない限り起こりえない。なぜならば、水分子の伸縮振動（３つの基本振動モード）の周波数は、赤外線の周波数に相当するため、吸収されやすいという性質があるためである。
よって、レーザ測距装置２により得られる点群データは、水面及び水底に相当する領域については、位置が得られない状態となると推測できる。よって、計測処理装置３は、レーザ測距装置２により得られた点群データのうち、位置が得られた点と位置が得られていない点との境界線を検出することで、水位境界線を推定可能となる。
よって、レーザ測距装置２により得られる点群データは、水面及び水底に相当する領域については、位置が得られない状態となると推測できる。よって、計測処理装置３は、レーザ測距装置２により得られた点群データのうち、位置が得られた点と位置が得られていない点との境界線を検出することで、水位境界線を推定可能となる。
【0063】
なお、レーザ測距装置２単体で水位計測自体を行うことも可能と考えられる。一方、レーザ測距装置２は高価な装置である。そのため、より安価なシステムの位置付けとして、水位計測のための学習用画像を得るための学習システムにのみ、レーザ測距装置２を設けることが有効であると考えられる。
また、計測処理装置３は処理の負荷が小さいため、監視カメラ１との一体型も可能である。
また、計測処理装置３は処理の負荷が小さいため、監視カメラ１との一体型も可能である。
【0064】
以上のように、この実施の形態１によれば、学習システムは、撮影範囲を撮影することで撮影画像を得る監視カメラ１と、水面及び水底で反射しない波長のレーザを監視カメラ１における撮影範囲に対して照射することで、複数の点の位置を示す点群データを得るレーザ測距装置２と、監視カメラ１により得られた撮影画像のうち、レーザ測距装置２により得られた点群データにおいて位置が得られた点と位置が得られていない点との境界線に対応する線を、水位境界線として推定する境界線推定部３７と、境界線推定部３７により推定された水位境界線に基づいて、監視カメラ１により得られた撮影画像から学習用画像を生成する学習用画像生成部３８と、学習用画像生成部３８により生成された学習用画像を用いて、水領域と非水領域との識別に係る機械学習を実行する学習部３９とを備えた。これにより、実施の形態１に係る学習システムは、学習用画像の生成において、従来技術に対して作業者による作業負担を軽減可能となる。
【0065】
最後に、図５を参照して、実施の形態１に係る学習装置５のハードウェア構成例を説明する。
学習装置５における座標変換部３６、境界線推定部３７、学習用画像生成部３８及び学習部３９の各機能は、処理回路５０１により実現される。処理回路５０１は、図５Ａに示すように、専用のハードウェアであってもよいし、図５Ｂに示すように、メモリ５０３に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）ともいう）５０２であってもよい。
学習装置５における座標変換部３６、境界線推定部３７、学習用画像生成部３８及び学習部３９の各機能は、処理回路５０１により実現される。処理回路５０１は、図５Ａに示すように、専用のハードウェアであってもよいし、図５Ｂに示すように、メモリ５０３に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）ともいう）５０２であってもよい。
【0066】
処理回路５０１が専用のハードウェアである場合、処理回路５０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。座標変換部３６、境界線推定部３７、学習用画像生成部３８及び学習部３９の各部の機能それぞれを処理回路５０１で実現してもよいし、各部の機能をまとめて処理回路５０１で実現してもよい。
【0067】
処理回路５０１がＣＰＵ５０２の場合、座標変換部３６、境界線推定部３７、学習用画像生成部３８及び学習部３９の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア及びファームウェアはプログラムとして記述され、メモリ５０３に格納される。処理回路５０１は、メモリ５０３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、学習装置５は、処理回路５０１により実行されるときに、例えば図４に示した各ステップが結果的に実行されることになるプログラムを格納するためのメモリ５０３を備える。また、これらのプログラムは、座標変換部３６、境界線推定部３７、学習用画像生成部３８及び学習部３９の手順及び方法をコンピュータに実行させるものであるともいえる。ここで、メモリ５０３としては、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、又はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。
【0068】
なお、座標変換部３６、境界線推定部３７、学習用画像生成部３８及び学習部３９の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、座標変換部３６については専用のハードウェアとしての処理回路５０１でその機能を実現し、境界線推定部３７、学習用画像生成部３８及び学習部３９については処理回路５０１がメモリ５０３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
【0069】
このように、処理回路５０１は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。
【0070】
なお、実施の形態の任意の構成要素の変形、若しくは実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【0071】
１ 監視カメラ（撮影装置）、２ レーザ測距装置、３ 計測処理装置、４ 水位計測装置、５ 学習装置、３１ 画素選択部、３２ 識別用画像生成部、３３ 識別部、３４ 境界線検出部、３５ 水位算定部、３６ 座標変換部、３７ 境界線推定部、３８ 学習用画像生成部、３９ 学習部、３６１ 特徴点取得部、３６２ 回転行列算出部、３６３ 変換部、５０１ 処理回路、５０２ ＣＰＵ、５０３ メモリ。
【図1】
【図2】
【図3】
【図4】
【図5】