IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 西日本技術開発株式会社の特許一覧 ▶ ナカシャ クリエイテブ株式会社の特許一覧

特開2022-136348分布図作成装置、分布図作成方法、及び、プログラム
<>
  • 特開-分布図作成装置、分布図作成方法、及び、プログラム 図1
  • 特開-分布図作成装置、分布図作成方法、及び、プログラム 図2
  • 特開-分布図作成装置、分布図作成方法、及び、プログラム 図3
  • 特開-分布図作成装置、分布図作成方法、及び、プログラム 図4
  • 特開-分布図作成装置、分布図作成方法、及び、プログラム 図5
  • 特開-分布図作成装置、分布図作成方法、及び、プログラム 図6
  • 特開-分布図作成装置、分布図作成方法、及び、プログラム 図7
  • 特開-分布図作成装置、分布図作成方法、及び、プログラム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022136348
(43)【公開日】2022-09-20
(54)【発明の名称】分布図作成装置、分布図作成方法、及び、プログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20220912BHJP
   G06T 1/00 20060101ALI20220912BHJP
   G01C 11/12 20060101ALI20220912BHJP
【FI】
G06T7/00 640
G06T1/00 285
G06T7/00 350C
G01C11/12
【審査請求】有
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2021035907
(22)【出願日】2021-03-07
(11)【特許番号】
(45)【特許公報発行日】2021-11-24
(71)【出願人】
【識別番号】594162308
【氏名又は名称】西日本技術開発株式会社
(71)【出願人】
【識別番号】501198084
【氏名又は名称】ナカシャ クリエイテブ株式会社
(74)【代理人】
【識別番号】100087778
【弁理士】
【氏名又は名称】丸山 明夫
(72)【発明者】
【氏名】松井 良行
(72)【発明者】
【氏名】陸 依柳
(72)【発明者】
【氏名】渡邉 裕樹
(72)【発明者】
【氏名】水沼 道博
(72)【発明者】
【氏名】山下 直紀
(72)【発明者】
【氏名】石橋 俊将
【テーマコード(参考)】
5B057
5L096
【Fターム(参考)】
5B057AA13
5B057AA14
5B057CA08
5B057CA12
5B057CA13
5B057CB07
5B057CB12
5B057CC02
5B057CD11
5B057CE09
5B057DA08
5B057DB02
5B057DB03
5B057DB09
5B057DC32
5L096AA06
5L096CA21
5L096DA01
5L096FA46
5L096FA69
5L096GA08
5L096GA19
5L096GA34
5L096HA09
5L096HA11
5L096JA18
5L096KA09
(57)【要約】
【課題】川岸各部の砂礫や石等の河床材料のサイズやその混じり具合を、作業者の熟練度に依存することなく、精度良く比較的短時間で調査できるようにする。
【解決手段】川岸のオルソ画像に基づいて各位置の状態を調べ、状態の種別に対応する複数の状態区分の何れかで規定される小領域の集まりとして状態分布図を作成する。オルソ画像を所定サイズのメッシュに区分し、各メッシュ画像が前記複数の状態区分の何れの状態区分として検出されるか調べ、検出された状態区分を当該のメッシュ画像の状態区分とし、各メッシュ画像の状態区分と位置とに基づいて前記小領域を構成して状態分布図を作成する分布図作成装置
【選択図】図1
【特許請求の範囲】
【請求項1】
水辺に沿う対象領域のオルソ画像に基づいて当該対象領域内の各位置の状態を調べ、状態の種別に対応する複数の状態区分の何れかで規定される小領域の集まりとして、当該対象領域の状態分布図を作成する分布図作成装置であって、
前記オルソ画像を所定サイズのメッシュに区分して成る各メッシュ画像を、各々当該メッシュ画像の位置に対応付けて記憶装置にて保持するメッシュ記憶手段と、
前記メッシュ記憶手段が保持するメッシュ画像の画像データを取得して、当該メッシュ画像が前記複数の状態区分の何れの状態区分として検出されるか調べ、検出された状態区分を当該メッシュ画像の状態区分とする状態区分検出手段と、
前記状態区分検出手段により検出された各メッシュ画像の状態区分と、前記メッシュ画像記憶手段が保持する各メッシュ画像の位置とに基づいて、前記小領域を構成して、それらの集まりとして前記状態分布図を形成する分布図形成手段と、
を有することを特徴とする分布図作成装置。
【請求項2】
請求項1に於いて、
前記メッシュ記憶手段は、各メッシュ画像を、各々当該メッシュ画像が基づくオルソ画像の撮影期に対応付けて保持し、
さらに、
第1の撮影期のオルソ画像に基づいて形成された第1の状態分布図と、対象領域が同一である第2の撮影期のオルソ画像に基づいて形成された第2の状態分布図とを比較して、両状態分布図の差分画像を形成する差分画像形成手段、
を有する、
ことを特徴とする分布図作成装置。
【請求項3】
請求項1又は請求項2に於いて、
前記対象領域は河川の川岸であり、
前記状態は川岸の砂、砂礫、石、岩が混在する河床材料の状態であり、
前記状態区分は、砂、砂礫、石、岩の粒径範囲に基づいて設定されており、
前記粒径範囲は、異なる状態区分間で重複する粒径範囲を有する、
ことを特徴とする分布図作成装置。
【請求項4】
請求項3に於いて、
前記状態区分検出手段は、川岸上空からの撮影画像に基づいて作成され、前記メッシュ画像の画像データと同サイズで、各々が前記複数の状態区分の中の一つに対応付けられている多数の画像データを、状態区分検出用の教師データとして用いる深層学習により調整されている、
ことを特徴とする分布図作成装置。
【請求項5】
コンピュータを、請求項1~請求項4の何れかの分布図作成装置として機能させるためのプログラム。
【請求項6】
水辺に沿う対象領域のオルソ画像に基づいて当該対象領域内の各位置の状態を調べ、状態の種別に対応する複数の状態区分の何れかで規定される小領域の集まりとして、当該対象領域の状態分布図を作成する分布図作成方法であって、
前記オルソ画像を所定サイズのメッシュ領域に区分して成る各メッシュ画像の画像データを記憶装置の画像データの領域から取得して、当該メッシュ画像が前記複数の状態区分の何れの状態区分として検出されるか調べ、検出された状態区分を当該メッシュ画像の状態区分として設定し、
前記設定した各メッシュ画像の状態区分と、当該各メッシュ画像に対応付けられている位置データとに基づいて、前記小領域を構成し、それらの集まりとして前記状態分布図を形成する、
ことを特徴とする分布図作成方法。
【請求項7】
請求項6に於いて、
さらに、第1の撮影期のオルソ画像に基づいて形成された第1の状態分布図と、対象領域が同一である第2の撮影期のオルソ画像に基づいて形成された第2の状態分布図とを比較して、両状態分布図の差分画像を形成する、
ことを特徴とする分布図作成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、水辺に沿う対象領域のオルソ画像(正射投影画像)に基づいて当該対象領域内の各位置の状態を調べ、状態の種別に対応する複数の状態区分の何れかで規定される小領域の集まりとして当該対象領域の状態分布図を作成する分布図作成装置、分布図作成方法、及び、プログラムに関する。
【背景技術】
【0002】
川岸や海浜等の水辺に沿う領域の環境や生態系等に影響する要因として、河床材料の状態、護岸構造物の状態、浜辺の漂着物やゴミの状態、等を例示することができる。
ここで、状態とは、例えば、河床材料であれば、対象領域内各部(単位の小領域)の砂礫や石或いは岩等の平均的なサイズや分布に止まらず、それらの混じり具合もまた、環境や植生或いは生態系にとって重要である。
【0003】
このため、水辺に沿う対象領域内各部(単位の小領域)の河床材料等の状態(砂礫や石或いは岩等のサイズや混じり具合)を定期的(例:1回/年)に調べる業務が行われている。
その業務では、各々が状態の種別に対応する複数の状態区分を予め決めておき、格子状のメッシュ(単位の小領域)に区分した対象領域について、各メッシュが何れの状態区分に属するかを目視で確認して判別し、記録している。
【0004】
特開2020-144862号公報(特許文献1)には、上空からの俯瞰画像を生成し、該俯瞰画像から石礫の位置を検出し、俯瞰画像に石礫の位置を重畳して画面表示し、該画面表示上で関心領域の入力を受け付けて、地上物体の大きさと個数を記した報告書の作成を容易化することが記載されている。
UAV空撮画像のAI画像判別による河床材粒径の評価(非特許文献1)には、河川流域のUAV(ドローン)空撮画像から、砂礫の粒度を中央粒径と粒径分散によって計測し、サイズを50%粒径で3段階に分類する仕組みが記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2020-144862号公報
【非特許文献】
【0006】
【非特許文献1】UAV空撮画像のAI画像判別による河床材粒径の評価(土木学会西部支部研究発表会,2020.3,宮崎大学・工学)
【発明の概要】
【発明が解決しようとする課題】
【0007】
従来の手法では、各メッシュが何れの状態区分に属するかを目視で確認して判別しているため、長時間を要する。また、判別者の勘や経験に依存する部分が大であるため、精度にバラツキが生じ易く、熟練者の要請にも長時間を要する。
【0008】
本発明は、水辺に沿う領域の環境や生態系等に影響する要因、例えば、川岸であれば、川岸各部(単位の小領域)の砂礫や石等の河床材料のサイズやその混じり具合を、作業者の熟練度に依存することなく、精度良く、比較的短時間で、調査できるようにすることを目的とする。
また、本発明は、調査結果、即ち、砂礫や石等の河床材料のサイズやその混じり具合の分布状況を、分かり易く表示できるようにすることを目的とする。
また、本発明は、水辺に沿う領域の環境や生態系等に影響する要因の変化状況(変化した位置や変化の方向・様子)を、分かり易く表示できるようにすることを目的とする。
【課題を解決するための手段】
【0009】
本発明の例を、下記[1]~[7]に記す。なお、この項([課題を解決するための手段])と次項([発明の効果])に於いて、符号は理解を容易にするために付したものであり、本発明を符号の構成に限定する趣旨ではない。
[1]発明1
水辺に沿う対象領域のオルソ画像に基づいて当該対象領域内の各位置の状態を調べ、状態の種別に対応する複数の状態区分0,1,2,3,4,5の何れかで規定される小領域の集まりとして、当該対象領域の状態分布図を作成する分布図作成装置であって、
前記オルソ画像を所定サイズのメッシュに区分して成る各メッシュ画像を、各々当該メッシュ画像の位置に対応付けて記憶装置23にて保持するメッシュ記憶手段231と、
前記メッシュ記憶手段231が保持するメッシュ画像の画像データを取得して、当該メッシュ画像が前記複数の状態区分の何れの状態区分として検出されるか調べ、検出された状態区分を当該メッシュ画像の状態区分とする状態区分検出手段211と、
前記状態区分検出手段211により検出された各メッシュ画像の状態区分と、前記メッシュ画像記憶手段が保持する各メッシュ画像の位置とに基づいて、前記小領域を構成して、それらの集まりとして前記状態分布図を形成する分布図形成手段213と、
を有することを特徴とする分布図作成装置。
水辺に沿う領域とは、例えば、河川の河岸や中州、海辺である。また、状態とは、例えば、川岸であれば、岸辺のサイズや範囲、河床材料の粒径や分布、流木やゴミの溜まり具合等である。また、海辺であれば、浜辺のサイズや範囲、護岸構造物の劣化や損傷、浜辺の砂礫の粒径や分布、ゴミの種別や溜まり具合等である。
オルソ画像とは、ここでは、正射投影図法で作成された画像を言う。即ち、各位置を真上から見て描いた平面図を言う。
状態区分は、例えば、環境調査に於いて環境変化の説明に供することができる区分である。例えば、砂礫の粒径範囲や分布の状態に基づいて設定され得る。
[2]発明2
発明1に於いて、
前記メッシュ記憶手段231は、各メッシュ画像を、各々当該メッシュ画像が基づくオルソ画像の撮影期に対応付けて保持し、
さらに、
第1の撮影期のオルソ画像に基づいて形成された第1の状態分布図と、対象領域が同一である第2の撮影期のオルソ画像に基づいて形成された第2の状態分布図とを比較して、両状態分布図の差分画像を形成する差分画像形成手段215、
を有する、
ことを特徴とする分布図作成装置。
撮影期とは、同一対象領域・同一時期の撮影に要する期間で決まる。同一対象領域・同一時期の撮影に数日を要する場合は、例えば「2020年11月」のように年月や必要に応じて年・季節で規定され得る。また、撮影が1日で完了する場合は、例えば「2020年11月15日」のように年月日で規定され得る。また、撮影画像の影や反射光の強弱を考慮する必要がある場合は、年月日及び時間帯、さらには天候で規定されてもよい。
[3]発明3
発明1又は発明2に於いて、
前記対象領域は河川の川岸であり、
前記状態は川岸の砂、砂礫、石、岩が混在する河床材料の状態であり、
前記状態区分は、砂、砂礫、石、岩の粒径範囲に基づいて設定されており、
前記粒径範囲は、異なる状態区分間で重複する粒径範囲を有する、
ことを特徴とする分布図作成装置。
[4]発明4
発明3に於いて、
前記状態区分検出手段211は、川岸上空からの撮影画像に基づいて作成され、前記メッシュ画像の画像データと同サイズで、各々が前記複数の状態区分の中の一つに対応付けられている多数の画像データを、状態区分検出用の教師データとして用いる深層学習により調整されている、
ことを特徴とする分布図作成装置。
[5]発明5
コンピュータを、発明1~発明4の何れかの分布図作成装置として機能させるためのプログラム。
【0010】
[6]発明6
水辺に沿う対象領域のオルソ画像に基づいて当該対象領域内の各位置の状態を調べ、状態の種別に対応する複数の状態区分0,1,2,3,4,5の何れかで規定される小領域の集まりとして、当該対象領域の状態分布図を作成する分布図作成方法であって、
前記オルソ画像を所定サイズのメッシュ領域に区分して成る各メッシュ画像の画像データを記憶装置23の画像データの領域から取得して、当該メッシュ画像が前記複数の状態区分の何れの状態区分として検出されるか調べ、検出された状態区分を当該メッシュ画像の状態区分として設定し、
前記設定した各メッシュ画像の状態区分と、当該各メッシュ画像に対応付けられている位置データとに基づいて、前記小領域を構成し、それらの集まりとして前記状態分布図を形成する、
ことを特徴とする分布図作成方法。
[7]発明7
発明6に於いて、
さらに、第1の撮影期のオルソ画像に基づいて形成された第1の状態分布図と、対象領域が同一である第2の撮影期のオルソ画像に基づいて形成された第2の状態分布図とを比較して、両状態分布図の差分画像を形成する、
ことを特徴とする分布図作成方法。
【発明の効果】
【0011】
発明1は、水辺に沿う対象領域のオルソ画像に基づいて当該対象領域内の各位置の状態を調べ、状態の種別に対応する複数の状態区分0,1,2,3,4,5の何れかで規定される小領域の集まりとして、当該対象領域の状態分布図を作成する分布図作成装置であって、前記オルソ画像を所定サイズのメッシュに区分して成る各メッシュ画像を各々当該メッシュ画像の位置に対応付けて記憶装置23にて保持するメッシュ記憶手段231と、前記メッシュ記憶手段231が保持するメッシュ画像の画像データを取得して当該メッシュ画像が前記複数の状態区分の何れの状態区分として検出されるか調べ、検出された状態区分を当該メッシュ画像の状態区分とする状態区分検出手段211と、前記状態区分検出手段211により検出された各メッシュ画像の状態区分と前記メッシュ画像記憶手段が保持する各メッシュ画像の位置とに基づいて前記小領域を構成してそれらの集まりとして前記状態分布図を形成する分布図形成手段213と、を有する分布図作成装置であるため、各メッシュの状態区分を速やかに特定でき、状態分布図を容易に作成できる。
発明2は、発明1に於いて、前記メッシュ記憶手段231は各メッシュ画像を各々当該メッシュ画像が基づくオルソ画像の撮影期に対応付けて保持し、さらに、第1の撮影期のオルソ画像に基づいて形成された第1の状態分布図と対象領域が同一である第2の撮影期のオルソ画像に基づいて形成された第2の状態分布図とを比較して両状態分布図の差分画像を形成する差分画像形成手段215を有する分布図作成装置であるため、対象領域の状態の経年変化を容易に知ることができる。
【図面の簡単な説明】
【0012】
図1】実施の形態の分布図作成装置を示すブロック図。
図2図1の分布図作成装置のメッシュテーブルとメッシュ画像記憶部のデータ項目例を示す説明図。
図3】空撮動画から状態分布図を作成する手順を示す説明図。
図4】状態分布図/差分画像を作成する手順を説明するフローチャート。
図5】同一場所の過去と現在(最新)の状態分布図を例示する説明図。
図6図5の過去と最新の状態分布図に基づいて作成された差分画像を示す説明図。
図7図1の状態区分検出部211を調整する際、物体検出ニューラルネットワークの各状態区分0~5の学習に用いた教師画像を例示する説明図。
図8】オルソ画像と、該オルソ画像に基づいて作成された状態分布図を示す説明図。
【発明を実施するための形態】
【0013】
図面を参照して、本発明の実施の形態を説明する。
図1は実施の形態の分布図作成装置を示すブロック図、図2図1内の記憶装置23内のメッシュテーブルとメッシュ画像記憶部を例示する説明図、図3はドローン空撮動画をメッシュ画像に加工する手順を示す説明図である。
【0014】
図1に示すように、本実施の形態の分布図作成装置20は、画像処理装置21、記憶装置23、操作入力装置25、制御装置27、出力装置29等で構成されるコンピュータ装置である。この分布図作成装置20は、ドローン等に搭載の撮像装置10により上空から撮影された対象領域(本実施の形態では河川に沿う川岸)の空撮動画に基づいて、当該対象領域の河床材料の状態分布を表す状態分布図を作成する。
【0015】
前記画像処理装置21は、前記記憶装置23が保持している各メッシュ画像を取得して各メッシュ画像の状態区分を検出して決定する状態区分検出部211、該状態区分検出部211により決定された各メッシュの状態区分を取得するとともに当該各メッシュの位置情報を前記記憶装置23のメッシュテーブルから取得して状態分布図を形成する状態分布図形成部213、撮影期が異なる同一対象領域の2つの状態分布図の差分画像を形成する差分画像形成部215を有し、GPU等で構成され得る。
【0016】
前記状態区分検出部211は、YOLOv3(物体の位置と種類を同時に検出するAIモデル)により、状態区分0~状態区分5(図7参照)の6区分について、各々メッシュ画像と同サイズ(同画素数)の略100画像程度の教師画像を用いて、深層学習(ディープラーニング)済みのニューラルネットワークである。
教師画像としては、
状態区分0(m1)では、2m×2mの範囲内に存在する石等の粒径が、熟練者の目視で75~500mmの範囲の画像を、略100枚、選定して用い、
状態区分1(m2)では、2m×2mの範囲内に存在する石等の粒径が、熟練者の目視で5~200mmの範囲の画像を、略100枚、選定して用い、
状態区分2(m3)では、2m×2mの範囲内に存在する石等の粒径が、熟練者の目視で5~75mmの範囲の画像を、略100枚、選定して用い、
状態区分3(m1+m3)では、2m×2mの範囲内に、上記状態区分0と2が混在する画像を、略100枚、熟練者の目視で選定して用い、
状態区分4(砂)では、2m×2mの範囲内に、熟練者の目視で砂が存在すると認められる画像を、略100枚、選定して用い、
状態区分5(砂礫)では、2m×2mの範囲内に、熟練者の目視で砂礫が存在すると認められる画像を、略100枚、選定して用いた。
【0017】
前記記憶装置23は、ハードディスク、SSD、RAM等で構成され得る。
この記憶装置23には、撮像装置10により撮影された空撮動画に基づいて生成されたメッシュ画像を保持する領域(メッシュ画像記憶部)、各メッシュ画像を規定する各項目のデータを保持する領域(メッシュテーブル)等が設けられている。
空撮動画及び空撮時に連携して取得・対応付けられるGPSデータに基づいて各メッシュ画像を生成する機能、及び、各メッシュ画像の位置等を規定する各項目のデータを生成する機能は、撮像装置10側で奏するように構成してもよく、また、分布図作成装置20側で奏するように構成してもよい。
本実施の形態では、空撮動画及び空撮時に連携して取得・対応付けられるGPSデータに基づいて生成されたデータ(各メッシュ画像、及び、各メッシュ画像の位置等を規定する各項目のデータ)は、分布図作成装置20の記憶装置23に保持されている。
【0018】
ここで、メッシュ画像とは、ドローン等を用いて上空一定距離から一定倍率で対象領域の各部を空撮して、地表上各2m×2mの範囲を、縦×横の画素数(画像サイズ)が一定値となるように切り出した正射投影画像であり、前記状態区分検出部211による状態区分検出の単位となる画像である。画像サイズを揃えることができれば足り、上空からの距離や倍率は、適宜に変更してよい。なお、2m×2mの範囲は、本実施の形態が、川岸や海辺等の水辺に沿う領域、即ち、砂礫の有る領域を対象としているため、粒径がかなり大きな石であっても単一のメッシュ内に収まるサイズとして採用したものである。メッシュ画像のサイズ(画素数)は、前述のように、教師画像のサイズと同じである。
【0019】
空撮動画から状態分布図を作成する処理は、図3の手順で行われる。
まず、空撮動画とGPSデータから、3次元モデルを作成した後、公知の手法でオルソ化(正射投影画像化)する。次に、隣接する画像どうしを接合して、GeoTIFFフォーマットの当該対象領域の全域画像を生成する。即ち、位置情報付きのTIFFフォーマットの全域画像を生成する。次に、この全域画像にメッシュデータを合わせて正方形のメッシュに区分したタイル写真を得る。即ち、各々が位置情報を持つメッシュ画像(jpegフォーマット)を得る。メッシュのサイズは、上述のように、地表換算で2m×2mのサイズである。また、jpegへの変換は、後の処理のためである。
その後、後に詳述するように、ディープラーニングによる状態区分を経て、状態分布図を作成する。
【0020】
前記操作入力装置25は、状態分布図や差分画像の生成を指示する操作入力を行うための機器であり、キーボードやマウス等で構成され得る。
前記制御装置27は、操作入力装置25からの指示に基づいて前記画像処理装置21や前記記憶装置23を制御して、状態分布図や差分画像を作成させ、さらには、前記表示装置(出力装置)29へ出力させる制御を行う。この制御装置27は、CPU等で構成され得る。
前記表示装置(出力装置)29はディスプレイ(及びプリンタ)で構成されるが、ネットを介して他の装置へデータを出力して該他の装置にて表示(プリント)させ、及び、他の装置からデータを入力する通信装置であってもよい。また、表示装置29に操作入力装置25としての機能を兼用させる構成(タッチ入力可の構成)でもよい。
【0021】
状態区分検出(=分類)処理:
前記状態区分検出部211は、対象のメッシュ画像をメッシュ画像記憶部(図2)から読み出して、状態区分0~5の何れとして検出されるか(又は、状態区分0~5の何れとしても検出されないか)を調べて(図4・S11)、検出された状態区分を、当該メッシュ画像の状態区分として決定し、決定した状態区分を、メッシュテーブル(図2)の当該メッシュのフィールドに保存する(図4・S13)。
【0022】
メッシュテーブルには、画像No.、メッシュNo.、撮影期、経度、緯度、状態区分等の項目が設けられており、それぞれの項目値が、メッシュ画像作成時(撮像装置10で作成した場合は撮像装置10からのデータ入力時)、又は、状態区分検出部211による状態区分決定時に、当該のフィールドに保存される。
【0023】
ここで、項目「画像No.」は一意である。一方、項目「メッシュNo.」は、同一対象領域の同一位置のメッシュで同一である。
項目「撮影期」は、同一対象領域・同一時期の撮影に要する期間で決まる。同一対象領域・同一時期の撮影に数日を要する場合は、例えば「2020年11月」のように年月で規定され得るが、必要に応じて年・季節等でも規定され得る。撮影が1日で完了する場合は、例えば「2020年11月15日」のように、年月日で規定され得る。撮影画像の影や反射光の強弱を考慮する必要がある場合は、年月日及び時間帯、さらには天候で規定されてもよい。その場合は、メッシュテーブルに当該の項目が設けられるものとする。
【0024】
一般に、YOLOv3モデルでは、検出対象の静止画像内から、検出対象(複数)の物体とそれらの各位置を検出するのであるが、本実施の形態では、対象のメッシュ画像の画像サイズと、検出すべき物体画像の画像サイズとを、同一に設定し、それにより、対象のメッシュ画像が、
状態区分0として検出されるか、
状態区分1として検出されるか、
状態区分2として検出されるか、
状態区分3として検出されるか、
状態区分4として検出されるか、
状態区分5として検出されるか、
状態区分0~5の何れとしても検出されないか、
を調べ、検出された状態区分を当該メッシュ画像の状態区分として決定している。
言い換えれば、何れの物体が検出されるかによって、メッシュ画像を、状態区分0~5の何れかの状態区分に分類している。
このため、メッシュ画像の分類精度が高く、処理負荷が小さく、処理速度も速い。
【0025】
状態分布図作成処理:
前記状態分布図形成部213は、前記状態区分検出部211により検出・決定された各メッシュ画像の状態区分、各メッシュ画像の位置(緯度・経度)、作成対象の状態分布図の縮尺、当該縮尺でのメッシュ画像の縦横サイズに基づいて、状態分布図を形成して、表示装置29へ出力する。各メッシュ画像の状態区分及び各メッシュ画像の位置(緯度・経度)は、メッシュテーブル(図2)から取得する。これにより、表示装置29では、当該対象領域の状態分布図が表示される(図4・S17)。なお、各メッシュ画像の状態区分は、状態区分検出部211から入力されてもよい。
オルソ画像と、該オルソ画像から作成した状態分布図の例を、図8に示す。
【0026】
差分画像作成処理:
前記差分画像形成部215は、同一対象領域の異なる時期(撮影期)のオルソ画像に基づいて作成された2つの状態分布図の差分画像を形成して、表示装置29へ出力して表示させる。例えば、上記2つの状態分布図のうち、撮影期の遅い(又は早い)時期の状態分布図を表示させるとともに、当該2つの体状態分布図間で状態区分が変化したメッシュに関しては、当該のメッシュを太枠で囲む等の表示を加えて、他のメッシュとの相違を強調表示させる。又は、太枠に代えて、点滅表示等でもよい。また、変化の方向(粗い→細かい)や、その度合い等に応じた色で当該のメッシュを表示してもよい。
【0027】
変化したメッシュの表示を、メッシュテーブル(図2)を参照して説明する。
例えば、画像No.1と画像No.5001は、項目「メッシュNo.」の項目値が何れも「1」で同一である。つまり、両者は、撮影期は異なるが、同一対象領域の同一メッシュである。この両者の「状態区分」の差分、例えば、
「遅い撮影期の状態区分-早い撮影期の状態区分」
を求めると、「3-0=3」となる。つまり、差分は「0」ではない。このことを、差分画像に反映させて、当該のメッシュを太枠等で強調表示する。或いは、上記計算結果の値に応じた色で、当該のメッシュを表示するのである。
図5に、撮影期が早い時期(過去)の状態分布図と、撮影期が遅い時期(最新)の状態分布図の例を示す。また、図6に、状態区分が変化したメッシュを太枠で囲った差分画像の例を示す。
【符号の説明】
【0028】
10 撮像装置
20 分布図作成装置
21 画像処理装置
211 状態区分検出部
213 状態分布図形成部
215 差分画像形成部
23 記憶装置
231 メッシュ記憶部
25 操作入力装置
27 制御装置
29 表示装置(出力装置)
図1
図2
図3
図4
図5
図6
図7
図8
【手続補正書】
【提出日】2021-08-13
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
水辺に沿う対象領域のオルソ画像に基づいて当該対象領域内の各位置の状態を調べ、状態の種別に対応する複数の状態区分の何れかで規定される小領域の集まりとして、当該対象領域の状態分布図を作成する分布図作成装置であって、
前記オルソ画像を所定サイズのメッシュに区分して成る各メッシュ画像を、各々当該メッシュ画像の位置に対応付けて記憶装置にて保持するメッシュ記憶手段と、
前記メッシュ記憶手段が保持するメッシュ画像の画像データを取得して、当該メッシュ画像が前記複数の状態区分の何れの状態区分として検出されるか調べ、検出された状態区分を当該メッシュ画像の状態区分とする状態区分検出手段と、
前記状態区分検出手段により検出された各メッシュ画像の状態区分と、前記メッシュ記憶手段が保持する各メッシュ画像の位置とに基づいて、前記小領域を構成して、それらの集まりとして前記状態分布図を形成する分布図形成手段と、
を有し、
前記対象領域は河川の川岸であり、
前記状態は川岸の砂、砂礫、石、岩が混在する河床材料の状態であり、
前記状態区分は、砂、砂礫、石、岩の粒径範囲に基づいて設定されており、
前記粒径範囲は、異なる状態区分間で重複する粒径範囲を有し、
前記状態区分検出手段は、川岸上空からの撮影画像に基づいて作成され、前記メッシュ画像の画像データと同サイズで、各々が前記複数の状態区分の中の一つに対応付けられている多数の画像データを、状態区分検出用の教師データとして用いる深層学習により調整されている、
ことを特徴とする分布図作成装置。
【請求項2】
水辺に沿う対象領域のオルソ画像に基づいて当該対象領域内の各位置の状態を調べ、状態の種別に対応する複数の状態区分の何れかで規定される小領域の集まりとして、当該対象領域の状態分布図を作成する分布図作成装置であって、
前記オルソ画像を所定サイズのメッシュに区分して成る各メッシュ画像を、各々当該メッシュ画像の位置に対応付けて記憶装置にて保持するメッシュ記憶手段と、
前記メッシュ記憶手段が保持するメッシュ画像の画像データを取得して、当該メッシュ画像が前記複数の状態区分の何れの状態区分として検出されるかを、水辺に沿う領域上空からの撮影画像に基づいて作成され、前記メッシュ画像の画像データと同サイズで、各々が前記複数の状態区分の中の一つに対応付けられている多数の画像データを、状態区分検出用の教師データとして用いる深層学習により調整された分類器を用いて調べ、検出された状態区分を当該メッシュ画像の状態区分とする状態区分検出手段と、
前記状態区分検出手段により検出された各メッシュ画像の状態区分と、前記メッシュ記憶手段が保持する各メッシュ画像の位置とに基づいて、前記小領域を構成して、それらの集まりとして前記状態分布図を形成する分布図形成手段と、
を有することを特徴とする分布図作成装置。
【請求項3】
請求項1又は請求項2に於いて、
前記メッシュ記憶手段は、各メッシュ画像を、各々当該メッシュ画像が基づくオルソ画像の撮影期に対応付けて保持し、
さらに、
第1の撮影期のオルソ画像に基づいて形成された第1の状態分布図と、対象領域が同一である第2の撮影期のオルソ画像に基づいて形成された第2の状態分布図とを比較して、両状態分布図の差分画像を形成する差分画像形成手段、
を有する、
ことを特徴とする分布図作成装置。
【請求項4】
コンピュータを、請求項1~請求項3の何れかの分布図作成装置として機能させるためのプログラム。
【請求項5】
水辺に沿う対象領域のオルソ画像に基づいて当該対象領域内の各位置の状態を調べ、状態の種別に対応する複数の状態区分の何れかで規定される小領域の集まりとして、当該対象領域の状態分布図を作成する分布図作成方法であって、
前記対象領域は河川の川岸であり、
前記状態は川岸の砂、砂礫、石、岩が混在する河床材料の状態であり、
前記状態区分は、砂、砂礫、石、岩の粒径範囲に基づいて設定されており、
前記粒径範囲は、異なる状態区分間で重複する粒径範囲を有し、
前記オルソ画像を所定サイズのメッシュ領域に区分して成る各メッシュ画像の画像データを記憶装置の画像データの領域から取得して、当該メッシュ画像が前記複数の状態区分の何れの状態区分として検出されるかを、川岸上空からの撮影画像に基づいて作成され、前記メッシュ画像の画像データと同サイズで、各々が前記複数の状態区分の中の一つに対応付けられている多数の画像データを、状態区分検出用の教師データとして用いる深層学習により調整された分類器を用いて調べ、検出された状態区分を当該メッシュ画像の状態区分として設定し、
前記設定した各メッシュ画像の状態区分と、当該各メッシュ画像に対応付けられている位置データとに基づいて、前記小領域を構成し、それらの集まりとして前記状態分布図を形成する、
ことを特徴とする分布図作成方法。
【請求項6】
水辺に沿う対象領域のオルソ画像に基づいて当該対象領域内の各位置の状態を調べ、状態の種別に対応する複数の状態区分の何れかで規定される小領域の集まりとして、当該対象領域の状態分布図を作成する分布図作成方法であって、
前記オルソ画像を所定サイズのメッシュ領域に区分して成る各メッシュ画像の画像データを記憶装置の画像データの領域から取得して、当該メッシュ画像が前記複数の状態区分の何れの状態区分として検出されるかを、水辺に沿う領域上空からの撮影画像に基づいて作成され、前記メッシュ画像の画像データと同サイズで、各々が前記複数の状態区分の中の一つに対応付けられている多数の画像データを、状態区分検出用の教師データとして用いる深層学習により調整された分類器を用いて調べ、検出された状態区分を当該メッシュ画像の状態区分として設定し、
前記設定した各メッシュ画像の状態区分と、当該各メッシュ画像に対応付けられている位置データとに基づいて、前記小領域を構成し、それらの集まりとして前記状態分布図を形成する、
ことを特徴とする分布図作成方法。
【請求項7】
請求項5又は請求項6に於いて、
さらに、第1の撮影期のオルソ画像に基づいて形成された第1の状態分布図と、対象領域が同一である第2の撮影期のオルソ画像に基づいて形成された第2の状態分布図とを比較して、両状態分布図の差分画像を形成する、
ことを特徴とする分布図作成方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0009
【補正方法】変更
【補正の内容】
【0009】
本発明の例を、下記[1]~[7]に記す。なお、この項([課題を解決するための手段])と次項([発明の効果])に於いて、符号は理解を容易にするために付したものであり、本発明を符号の構成に限定する趣旨ではない。
[1]発明1
水辺に沿う対象領域のオルソ画像に基づいて当該対象領域内の各位置の状態を調べ、状態の種別に対応する複数の状態区分0,1,2,3,4,5の何れかで規定される小領域の集まりとして、当該対象領域の状態分布図を作成する分布図作成装置であって、
前記オルソ画像を所定サイズのメッシュに区分して成る各メッシュ画像を、各々当該メッシュ画像の位置に対応付けて記憶装置23にて保持するメッシュ記憶手段231と、
前記メッシュ記憶手段231が保持するメッシュ画像の画像データを取得して、当該メッシュ画像が前記複数の状態区分の何れの状態区分として検出されるか調べ、検出された状態区分を当該メッシュ画像の状態区分とする状態区分検出手段211と、
前記状態区分検出手段211により検出された各メッシュ画像の状態区分と、前記メッシュ画像記憶手段が保持する各メッシュ画像の位置とに基づいて、前記小領域を構成して、それらの集まりとして前記状態分布図を形成する分布図形成手段213と、
を有し、
前記対象領域は河川の川岸であり、
前記状態は川岸の砂、砂礫、石、岩が混在する河床材料の状態であり、
前記状態区分は、砂、砂礫、石、岩の粒径範囲に基づいて設定されており、
前記粒径範囲は、異なる状態区分間で重複する粒径範囲を有し、
前記状態区分検出手段211は、川岸上空からの撮影画像に基づいて作成され、前記メッシュ画像の画像データと同サイズで、各々が前記複数の状態区分の中の一つに対応付けられている多数の画像データを、状態区分検出用の教師データとして用いる深層学習により調整されている、
ことを特徴とする分布図作成装置。
[2]発明2
水辺に沿う対象領域のオルソ画像に基づいて当該対象領域内の各位置の状態を調べ、状態の種別に対応する複数の状態区分の何れかで規定される小領域の集まりとして、当該対象領域の状態分布図を作成する分布図作成装置であって、
前記オルソ画像を所定サイズのメッシュに区分して成る各メッシュ画像を、各々当該メッシュ画像の位置に対応付けて記憶装置23にて保持するメッシュ記憶手段231と、
前記メッシュ記憶手段231が保持するメッシュ画像の画像データを取得して、当該メッシュ画像が前記複数の状態区分の何れの状態区分として検出されるかを、水辺に沿う領域上空からの撮影画像に基づいて作成され、前記メッシュ画像の画像データと同サイズで、各々が前記複数の状態区分の中の一つに対応付けられている多数の画像データを、状態区分検出用の教師データとして用いる深層学習により調整された分類器を用いて調べ、検出された状態区分を当該メッシュ画像の状態区分とする状態区分検出手段211と、
前記状態区分検出手段211により検出された各メッシュ画像の状態区分と、前記メッシュ記憶手段231が保持する各メッシュ画像の位置とに基づいて、前記小領域を構成して、それらの集まりとして前記状態分布図を形成する分布図形成手段213と、
を有することを特徴とする分布図作成装置。
水辺に沿う領域とは、例えば、河川の河岸や中州、海辺である。また、状態とは、例えば、川岸であれば、岸辺のサイズや範囲、河床材料の粒径や分布、流木やゴミの溜まり具合等である。また、海辺であれば、浜辺のサイズや範囲、護岸構造物の劣化や損傷、浜辺の砂礫の粒径や分布、ゴミの種別や溜まり具合等である。
オルソ画像とは、ここでは、正射投影図法で作成された画像を言う。即ち、各位置を真上から見て描いた平面図を言う。
状態区分は、例えば、環境調査に於いて環境変化の説明に供することができる区分である。例えば、砂礫の粒径範囲や分布の状態に基づいて設定され得る。
]発明
発明1又は発明2に於いて、
前記メッシュ記憶手段231は、各メッシュ画像を、各々当該メッシュ画像が基づくオルソ画像の撮影期に対応付けて保持し、
さらに、
第1の撮影期のオルソ画像に基づいて形成された第1の状態分布図と、対象領域が同一である第2の撮影期のオルソ画像に基づいて形成された第2の状態分布図とを比較して、両状態分布図の差分画像を形成する差分画像形成手段215、
を有する、
ことを特徴とする分布図作成装置。
撮影期とは、同一対象領域・同一時期の撮影に要する期間で決まる。同一対象領域・同一時期の撮影に数日を要する場合は、例えば「2020年11月」のように年月や必要に応じて年・季節で規定され得る。また、撮影が1日で完了する場合は、例えば「2020年11月15日」のように年月日で規定され得る。また、撮影画像の影や反射光の強弱を考慮する必要がある場合は、年月日及び時間帯、さらには天候で規定されてもよい。
]発明
コンピュータを、発明1~発明3の何れかの分布図作成装置として機能させるためのプログラム。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0010
【補正方法】変更
【補正の内容】
【0010】
]発明
水辺に沿う対象領域のオルソ画像に基づいて当該対象領域内の各位置の状態を調べ、状態の種別に対応する複数の状態区分0,1,2,3,4,5の何れかで規定される小領域の集まりとして、当該対象領域の状態分布図を作成する分布図作成方法であって、
前記対象領域は河川の川岸であり、
前記状態は川岸の砂、砂礫、石、岩が混在する河床材料の状態であり、
前記状態区分は、砂、砂礫、石、岩の粒径範囲に基づいて設定されており、
前記粒径範囲は、異なる状態区分間で重複する粒径範囲を有し、
前記オルソ画像を所定サイズのメッシュ領域に区分して成る各メッシュ画像の画像データを記憶装置23の画像データの領域から取得して、当該メッシュ画像が前記複数の状態区分の何れの状態区分として検出されるかを、川岸上空からの撮影画像に基づいて作成され、前記メッシュ画像の画像データと同サイズで、各々が前記複数の状態区分の中の一つに対応付けられている多数の画像データを、状態区分検出用の教師データとして用いる深層学習により調整された分類器を用いて調べ、検出された状態区分を当該メッシュ画像の状態区分として設定し、
前記設定した各メッシュ画像の状態区分と、当該各メッシュ画像に対応付けられている位置データとに基づいて、前記小領域を構成し、それらの集まりとして前記状態分布図を形成する、
ことを特徴とする分布図作成方法。
[6]発明6
水辺に沿う対象領域のオルソ画像に基づいて当該対象領域内の各位置の状態を調べ、状態の種別に対応する複数の状態区分の何れかで規定される小領域の集まりとして、当該対象領域の状態分布図を作成する分布図作成方法であって、
前記オルソ画像を所定サイズのメッシュ領域に区分して成る各メッシュ画像の画像データを記憶装置23の画像データの領域から取得して、当該メッシュ画像が前記複数の状態区分の何れの状態区分として検出されるかを、水辺に沿う領域上空からの撮影画像に基づいて作成され、前記メッシュ画像の画像データと同サイズで、各々が前記複数の状態区分の中の一つに対応付けられている多数の画像データを、状態区分検出用の教師データとして用いる深層学習により調整された分類器を用いて調べ、検出された状態区分を当該メッシュ画像の状態区分として設定し、
前記設定した各メッシュ画像の状態区分と、当該各メッシュ画像に対応付けられている位置データとに基づいて、前記小領域を構成し、それらの集まりとして前記状態分布図を形成する、
ことを特徴とする分布図作成方法。
[7]発明7
発明5又は発明6に於いて、
さらに、第1の撮影期のオルソ画像に基づいて形成された第1の状態分布図と、対象領域が同一である第2の撮影期のオルソ画像に基づいて形成された第2の状態分布図とを比較して、両状態分布図の差分画像を形成する、
ことを特徴とする分布図作成方法。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0011
【補正方法】変更
【補正の内容】
【0011】
発明1は、水辺に沿う対象領域のオルソ画像に基づいて当該対象領域内の各位置の状態を調べ、状態の種別に対応する複数の状態区分0,1,2,3,4,5の何れかで規定される小領域の集まりとして、当該対象領域の状態分布図を作成する分布図作成装置であって、前記オルソ画像を所定サイズのメッシュに区分して成る各メッシュ画像を各々当該メッシュ画像の位置に対応付けて記憶装置23にて保持するメッシュ記憶手段231と、前記メッシュ記憶手段231が保持するメッシュ画像の画像データを取得して当該メッシュ画像が前記複数の状態区分の何れの状態区分として検出されるか調べ、検出された状態区分を当該メッシュ画像の状態区分とする状態区分検出手段211と、前記状態区分検出手段211により検出された各メッシュ画像の状態区分と前記メッシュ画像記憶手段が保持する各メッシュ画像の位置とに基づいて前記小領域を構成してそれらの集まりとして前記状態分布図を形成する分布図形成手段213と、を有し、前記対象領域は河川の川岸であり、前記状態は川岸の砂、砂礫、石、岩が混在する河床材料の状態であり、前記状態区分は、砂、砂礫、石、岩の粒径範囲に基づいて設定されており、前記粒径範囲は、異なる状態区分間で重複する粒径範囲を有し、前記状態区分検出手段211は、川岸上空からの撮影画像に基づいて作成され、前記メッシュ画像の画像データと同サイズで、各々が前記複数の状態区分の中の一つに対応付けられている多数の画像データを、状態区分検出用の教師データとして用いる深層学習により調整されている分布図作成装置であるため、各メッシュの状態区分を速やかに特定でき、状態分布図を容易に作成できる。発明2も同様の効果を得る。
発明は、発明1又は発明2に於いて、前記メッシュ記憶手段231は各メッシュ画像を各々当該メッシュ画像が基づくオルソ画像の撮影期に対応付けて保持し、さらに、第1の撮影期のオルソ画像に基づいて形成された第1の状態分布図と対象領域が同一である第2の撮影期のオルソ画像に基づいて形成された第2の状態分布図とを比較して両状態分布図の差分画像を形成する差分画像形成手段215を有する分布図作成装置であるため、対象領域の状態の経年変化を容易に知ることができる。