(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023180551
(43)【公開日】2023-12-21
(54)【発明の名称】画像処理方法、画像処理装置および画像処理プログラム
(51)【国際特許分類】
E02D 1/00 20060101AFI20231214BHJP
G06T 3/00 20060101ALI20231214BHJP
【FI】
E02D1/00
G06T3/00 770
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022093939
(22)【出願日】2022-06-09
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り ・刊行物名 「2021年度(第70回)農業農村工学会大会講演会講演要旨集」 発行日 令和3年8月 ・研究集会名 2021年度(第70回) 農業農村工学会大会講演会 開催場所 オンライン 開催日 令和3年9月1日
(71)【出願人】
【識別番号】501203344
【氏名又は名称】国立研究開発法人農業・食品産業技術総合研究機構
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】黒田 清一郎
(72)【発明者】
【氏名】本間 雄亮
【テーマコード(参考)】
2D043
5B057
【Fターム(参考)】
2D043AA05
2D043AA07
5B057AA20
5B057CA12
5B057CA16
5B057CB12
5B057CB16
5B057CD11
(57)【要約】
【課題】土構造物に関する一の物理量の分布を示す画像から、当該一の物理量とは異なる他の物理量の分布を画像変換によって推定する際に、水平方向に限られない二次元的な分布を推定できるようにする。
【解決手段】画像処理方法は、解析対象の土構造物(S)に関する物理量を、当該物理量の特性に応じた離散値に変換するステップ(S12)と、土構造物(S)内における離散値の分布を示す、当該土構造物(S)の断面と同形状の変換前画像(I
1)を生成するステップ(S13)と、変換前画像(I
1)を矩形の入力用画像(I
2)に幾何学的変換するステップ(S14)と、を有する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
解析対象の土構造物に関する物理量を、当該物理量の特性に応じた離散値に変換するステップと、
前記土構造物内における前記離散値の分布を示す、当該土構造物の断面と同形状の変換前画像を生成するステップと、
前記変換前画像を矩形の入力用画像に幾何学的変換するステップと、
を有する画像処理方法。
【請求項2】
前記物理量は、透水係数または圧力水頭である、
請求項1に記載の画像処理方法。
【請求項3】
前記物理量が透水係数である場合、
前記離散値に変換するステップにおいて、前記透水係数を、10倍になる毎に明度または彩度が1段階変化するよう諧調化する、
請求項2に記載の画像処理方法。
【請求項4】
前記物理量が圧力水頭である場合、
前記離散値に変換するステップにおいて、
圧力水頭の値が正の方向に増加するほど一の色相の彩度が増加し、
圧力水頭の値が負の方向に増加するほど他の色相の彩度が増加するよう諧調化する、
請求項2に記載の画像処理方法。
【請求項5】
前記土構造物の断面形状は台形であり、
前記変換前画像を生成するステップは、
前記変換前画像を、複数の微小領域に区画するステップと、
各微小領域から画素を一つずつ抽出するステップと、
を有し、
前記幾何学的変換するステップにおいて、前記変換前画像の中に配置されている複数の前記画素を、矩形の中に均一に分布するようそれぞれ移動させ、
前記微小領域に区画するステップにおいて、前記変換前画像を、前記変換前画像の上部の微小領域が、下部の微小領域よりも細かくなるように区画する、
請求項1に記載の画像処理方法。
【請求項6】
前記土構造物が透水係数の異なる二以上の部位を有しており、前記物理量が透水係数である場合、
前記幾何学的変換するステップにおいて、前記入力用画像における相対的に透水係数の高い部位を示す領域の面積が、前記変換前画像における相対的に透水係数の高い部位を示す領域の面積よりも増大するように前記変換前画像を幾何学的変換する、
請求項1に記載の画像処理方法。
【請求項7】
解析対象の土構造物に関する物理量を、当該物理量の特性に応じた離散値に変換する第一変換部と、
前記土構造物内における前記離散値の分布を示す、当該土構造物の断面と同形状の変換前画像を生成する生成部と、
前記変換前画像を矩形の入力用画像に幾何学的変換する第二変換部と、
を備える画像処理装置。
【請求項8】
請求項7に記載の画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、上記第一変換部、上記生成部および上記第二変換部としてコンピュータを機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理方法、画像処理装置および画像処理プログラムに関する。
【背景技術】
【0002】
例えば下記非特許文献1に記載されているように、土構造物内の透水係数の分布を示す画像が入力されると、当該土構造物内の圧力水頭の分布を示す画像を生成する生成器を、敵対的生成ネットワークを用いて構築し、当該生成器を用いて土構造物内の圧力水頭の分布を推定する手法が提案されている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Alexander Y. Sun,Discovering state-parameter mappings in subsurface models using generative adversarial networks,Geophysical Research Letters,2018年10月
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記非特許文献1に記載されたような従来技術では、水平方向の圧力水頭分布しか推定することができなかった。
本発明は、土構造物に関する一の物理量の分布を示す画像から、当該一の物理量とは異なる他の物理量の分布を画像変換によって推定する際に、水平方向に限られない二次元的な分布を推定できるようにすることを目的とする。
【課題を解決するための手段】
【0005】
本発明の一態様に係る画像処理方法は、解析対象の土構造物に関する物理量を、当該物理量の特性に応じた離散値に変換するステップと、前記土構造物内における前記離散値の分布を示す、当該土構造物の断面と同形状の変換前画像を生成するステップと、前記変換前画像を矩形の入力用画像に幾何学的変換するステップと、を有する。
【0006】
本発明の他の態様に係る画像処理装置は、解析対象の土構造物に関する物理量を、当該物理量の特性に応じた離散値に変換する第一変換部と、前記土構造物内における前記離散値の分布を示す、当該土構造物の断面と同形状の変換前画像を生成する生成部と、前記変換前画像を矩形の入力用画像に幾何学的変換する第二変換部と、を備える。
【0007】
本発明の各態様は、コンピュータによって実現してもよく、この場合には、コンピュータを画像処理装置が備える各部(ソフトウェア要素)として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【0008】
本発明の一態様によれば、土構造物に関する一の物理量の分布を示す画像から、当該一の物理量とは異なる他の物理量の分布を画像変換によって推定する際に、水平方向に限られない二次元的な分布を推定することができる。
【図面の簡単な説明】
【0009】
【
図1】第一発明の実施形態に係る画像処理方法が処理対象とする画像の一例を示す図である。
【
図3】同方法において行う内容の一例を示す図である。
【
図4】同方法において行う内容の一例を示す図である。
【
図5】同方法において行う内容と、同方法とは異なる方法において行う内容との差異を示す図である。
【
図6】同方法において行う内容の一例を示す図である。
【
図7】第二発明の実施形態に係る画像処理装置の概略構成を示すブロック図である。
【
図8】第三発明の実施形態に係る生成器構築方法の流れを示すフローチャートである。
【
図9】同方法において行う内容の一例を示す図である。
【
図10】同方法により構築される生成器の動作を示す図である。
【
図11】第四発明の実施形態に係る生成器構築装置の概略構成を示すブロック図である。
【
図12】第五発明の実施形態に係る推定方法の流れを示すフローチャートである。
【
図13】同方法において行う内容の一例を示す図である。
【
図14】第六発明の実施形態に係る推定装置の概略構成を示すブロック図である。
【
図15】第一~第六発明の実施例に係る各方法または各装置を用いて得られた出力用画像の評価値(SSIM)の分布を示すヒストグラムである。
【
図16】同実施例に係る各方法または各装置を用いて得られた出力用画像の評価値(誤差)の分布を示すヒストグラムである。
【発明を実施するための形態】
【0010】
<第一発明実施形態>
まず、第一発明(画像処理方法)の実施形態について説明する。
【0011】
[処理対象の画像]
本実施形態に係る画像処理方法が処理対象とする画像は、解析対象の土構造物Sに関する物理量の分布が示されたものである。解析対象の土構造物Sには、例えば盛土(堤体)を含む土で構築された構造物全般が含まれる。土構造物Sの断面形状は、一般に矩形以外の形状をしている。土構造物Sが堤体の場合、その断面形状は台形となる。また、土構造物Sは、使用される土砂の性質等により、固有の透水係数分布を有している。すなわち、土構造物Sは、透水係数が均一な場合もあれば、透水係数の異なる二以上の部位を有している場合もある。以下、
図1に示したような、第一部位P
1、第二部位P
2および第三部位P
3を有する堤体Sの断面を示す画像を例に説明する。第二部位P
2は、堤体の中心部をなし、透水係数が最も低い。第一部位P
1は、堤体の上流側をなし、第二部位P
2よりも透水係数が高い。第三部位P
3は、堤体の下流側をなし、第一部位P
1よりも透水係数が高い。なお、上記透水係数分布は一例であり、本画像処理方法が処理対象とする土構造物Sの透水係数分布は、上記に限られない。
【0012】
[画像処理方法の流れ]
本実施形態に係る画像処理方法は、
図2に示したように、第一取得ステップS11と、第一変換ステップS12と、生成ステップS13と、第二変換ステップS14と、第一出力ステップS15と、を有している。
【0013】
(第一取得ステップ)
初めの第一取得ステップS11では、解析対象の土構造物Sに関する物理量を取得する。この物理量の取得は、例えば後述する画像処理装置1(第二発明)の第一取得部131(
図7参照)を用いて行うことができる。
【0014】
(第一変換ステップ)
物理量を取得した後は第一変換ステップS12に移る。第一変換ステップS12では、上記第一取得ステップS11で取得した物理量を、当該物理量の特性に応じた離散値に変換する。本実施形態に係る物理量は、透水係数または圧力水頭である。
【0015】
物理量が透水係数である場合、第一変換ステップS12において、例えば
図3上段に示したように、透水係数を、10倍になる毎に明度または彩度が1段階変化するよう諧調化する。透水係数は、10
-1~10
-8cm/sの幅広いオーダーで値をとり得る物理量である。このため、透水係数をそのまま諧調化したのでは、色調の差が小さくなりすぎて透水係数の値の差を識別することが難しい。しかし、上記構成のようにすることで、値の差が小さくても色調の違い比較的大きくが出るようになる。このため、透水係数の分布が正確に反映された推定画像I
6(詳細後述)を生成することのできる入力用画像I
2(詳細後述)を得ることができる。
【0016】
一方、物理量が圧力水頭である場合、第一変換ステップS12において、例えば
図3下段に示したように、圧力水頭の値が正の方向に増加するほど一の色相の彩度が増加し、圧力水頭の値が負の方向に増加するほど他の色相の彩度が増加するよう諧調化する。こうすることで、飽和状態でも不飽和状態でもない(圧力水頭が0の)部位に対応する領域(浸潤面を示す線L)が最も彩度の低い白で示される。このため、土構造物S内における浸潤面を示す線Lの位置が正確に反映された推定画像I
6を生成することのできる入力用画像I
2を得ることができる。
【0017】
以上の離散値の変換は、例えば後述する画像処理装置1の第一変換部132(
図7参照)を用いて行うことができる。
【0018】
(生成ステップ)
物理量を離散値に変換した後は、
図2に示したように生成ステップS13に移る。生成ステップS13では、土構造物S内における離散値の分布を示す、当該土構造物Sの断面と同形状の変換前画像I
1を生成する。変換前画像I
1は、土構造物S内における離散値の分布を示す、当該土構造物Sの断面と同形状の画像である。
【0019】
本実施形態に係る生成ステップS13は、区画ステップと、抽出ステップと、を有している。はじめの区画ステップでは、変換前画像I
1を、複数の微小領域に区画する。本実施形態に係る区画ステップにおいては、変換前画像I
1を、当該変換前画像I
1の上部の微小領域が、下部の微小領域よりも細かくなるように区画する。具体的には、変換前画像I
1の上部に向かうに従い微小領域が細かくなっていくように微小領域の大きさを段階的に変えながら区画する。変換前画像I
1を複数の微小領域に区切った後は抽出ステップに移る。抽出ステップでは、各微小領域から画素pを一つずつ抽出する。こうすることで、例えば
図4左側に示したように、変換前画像I
1の上部に向かうに従い密になっていくよう配置された画素群が得られる。
【0020】
以上の変換前画像I
1の生成は、例えば後述する画像処理装置1の生成部133(
図7参照)を用いて行うことができる。
【0021】
(第二変換ステップ)
変換前画像I
1を生成した後は、
図2に示したように第二変換ステップS14に移る。第二変換ステップS14では、変換前画像I
1を矩形の入力用画像I
2に幾何学的変換する。具体的には、
図4左側に示したような変換前画像I
1(台形)の中に配置されている複数の画素pを、
図4右側に示したように、矩形の中全体に分布するようそれぞれ移動させる。分布は完全に均一であってもよいし、ある程度のムラがあってもよい。そして、本実施形態に係る第二変換ステップS14では、画素pを移動させた後、画素pと画素pの間を補間する。上述したように、上記抽出ステップで抽出された画素pの配置は、変換前画像I
1の上部に向かうに従い密になっている。このため、変換前画像I
1の上部にある画素pほど大きく移動させることになる。これにより、全体が均一に補間された入力用画像I
2を得ることができる。特に、画素pと画素pの間隔が広がり過ぎると、画素pと画素pの間の浸潤面を示す線Lが上下どちらに凸なのかが分からず、浸潤面を示す線Lの曲線部を正確に補間できない(
図5左側に示したように直線状に補間せざるを得なくなる)場合がある。しかし、上記のようにすることで、画素pと画素pの間隔が広がり過ぎない。このため、
図5右側に示したように、浸潤面を示す線Lの曲線部を正確に補間することができる。なお、第二変換ステップS14において、変換前画像I
1(台形)を、当該変換前画像I
1よりも小さい矩形の入力用画像I
2に(画素を凝集させるように)幾何学的変換してもよい。
【0022】
なお、土構造物Sが、
図1に示したように、透水係数の異なる二以上の部位を有しており、変換前画像I
1が示す物理量が透水係数である場合、第二変換ステップS14において、入力用画像I
2における相対的に透水係数の高い部位を示す領域の面積が、変換前画像I
1における相対的に透水係数の高い部位を示す領域の面積よりも増大するように変換前画像I
1を幾何学的変換してもよい。例えば、
図6左側に示したように、入力用画像I
2における第一部位P
1を示す領域R
1の面積が、第一部位P
1よりも透水係数が低い第二部位P
2、第三部位P
3を示す領域R
2,R
3の面積よりも小さい場合、
図6右側に示したように、各領域R
1~R
3が合同になるように幾何学的変換してもよい。土構造物S内の圧力水頭は、透水係数の高い領域を境に急激に変化することが知られている。このため、入力用画像I
2における透水係数が相対的に高い領域が狭いと、後述する生成器Gが圧力水頭の変化を捉えきれない場合がある。しかし、上記のようにすることで、生成器Gが圧力水頭の変化を捉えやすくなる。なお、幾何学的変換の際に、相対的に透水係数の高い部位を示す領域の面積をどの程度増大させるかは、透水係数の値に応じて適宜変更可能である。
【0023】
以上の幾何学的変換は、例えば後述する画像処理装置1の第二変換部134(
図7参照)を用いて行うことができる。なお、第二変換ステップS14は、第一変換ステップS12の前に行ってもよい。
【0024】
(第一出力ステップ)
幾何学的変換した後は、第一出力ステップS15に移る。第一出力ステップS15では、入力用画像I
2を出力する(学習や推定において利用可能な形にする)。出力は、例えば後述する画像処理装置1の第一出力部12および第一出力制御部135(
図7参照)を用いて行うことができる。なお、入力用画像I
2を出力する必要が無い(例えば、画像処理方法が後述する生成器構築方法の生成画像出力ステップS22、解析ステップS23、または推定方法の推定ステップS32を有しており、上記第二変換ステップS14において生成された入力用画像I
2をそのまま生成画像出力ステップS22、解析ステップS23または推定ステップS32において用いる等)場合、この第一出力ステップS15を行わなくてもよい。
【0025】
[画像処理方法の作用効果]
以上説明してきた本実施形態に係る画像処理方法によれば、物理量の離散値への変換、および幾何学的変換による画像の矩形化により、特に、離散値への変換によって、画像の色調を、後述する生成器の構築において画像が持つ特徴を捉えられるような色調としたことにより、土構造物Sに関する一の物理量の分布を示す画像から、当該一の物理量とは異なる他の物理量の分布を画像変換(入力用画像I2を生成器Gに入力し推定画像I6を生成させる方法)によって推定する際に用いる入力用画像I2を得ることができる。この入力用画像I2を用いれば、水平方向に限られない鉛直方向を含む二次元的な分布を推定することができるようになる。また、入力用画像I2が透水係数分布を示すものである場合には、飽和領域だけでなく不飽和領域も含む圧力水頭分布を推定することができるようになる。
【0026】
<第二発明実施形態>
次に、第二発明(画像処理装置1)の実施形態について説明する。
【0027】
[画像処理装置の構成]
画像処理装置1は、
図7に示したように、第一入力部11と、第一出力部12と、第一制御部13と、を備えている。
【0028】
〔第一入力部〕
第一入力部11は、他の装置(例えば、物理量を測定する測定装置、物理量を記憶する記憶装置等)からデータや信号を受信する通信モジュール、他の装置と接続される端子、および記録媒体から情報を読み込むドライブの少なくともいずれかで構成されている。
【0029】
〔第一出力部〕
第一出力部12は、他の装置(例えば、後述する生成器構築装置2、推定装置3等)へデータや信号を送信する通信モジュール、他の装置と接続される端子、および記録媒体へ情報を書き込むドライブの少なくともいずれかで構成されている。
【0030】
〔第一制御部〕
本実施形態に係る第一制御部13は、第一取得部131と、第一変換部132と、生成部133と、第二変換部134と、第一出力制御部135と、を備えている。
【0031】
(第一取得部)
第一取得部131は、解析対象の土構造物Sに関する物理量を取得するよう第一入力部11を制御する。これにより、第一入力部11が通信モジュールまたは端子である場合、第一入力部11が他の装置から物理量のデータを受信する。また、第一入力部11がドライブである場合、第一入力部11が記録媒体から物理量のデータを読み込む。
【0032】
(第一変換部)
第一変換部132は、第一取得部131が取得した物理量を、当該物理量の特性に応じた離散値に変換する。具体的には、第一変換部132は、上記画像処理方法(第一発明)における第一変換ステップS12(
図2参照)で説明した内容と同様のことを実行する。
【0033】
(生成部)
生成部133は、土構造物S内における離散値の分布を示す、当該土構造物Sの断面と同形状の変換前画像I1を生成する。本実施形態に係る生成部133は区画部133aと、抽出部133bと、を備えている。区画部133aは、変換前画像I1を、複数の微小領域に区画する。具体的には、区画部133aは、上記画像処理方法における区画ステップで説明した内容と同様のことを実行する。抽出部133bは、各微小領域から画素pを一つずつ抽出する。具体的には、抽出部133bは、上記画像処理方法における抽出ステップで説明した内容と同様のことを実行する。
【0034】
(第二変換部)
第二変換部134は、変換前画像I
1を矩形の入力用画像I
2に幾何学的変換する。具体的には、第二変換部134は、上記画像処理方法における第二変換ステップS14(
図2参照)で説明した内容と同様のことを実行する。
【0035】
(第一出力制御部)
第一出力制御部135は、入力用画像I2を出力するよう第一出力部12を制御する。また、本実施形態に係る第一出力制御部135は、変換前画像I1も出力するよう第一出力部12を制御する。これにより、第一出力部12が通信モジュールまたは端子である場合、第一出力部12が変換前画像I1および入力用画像I2のデータを他の装置へ送信する。また、第一出力部12がドライブである場合、第一出力部12が変換前画像I1および入力用画像I2のデータを記録媒体へ書き込む。なお、変換前画像I1および入力用画像I2を出力する必要が無い(例えば、画像処理装置1が後述する生成器構築装置2の生成画像出力部242、解析部243、または推定装置3の推定部342を備えており、上記第二変換部134が生成した入力用画像I2をそのまま生成画像出力部242、解析部243または推定部342が用いる等)場合、第一制御部13は、この第一出力制御部135を備えていなくてもよい。
【0036】
[画像処理装置の作用効果]
以上説明してきた本実施形態に係る画像処理装置1によれば、上記画像処理方法と同様、物理量の離散値への変換、および幾何学的変換による画像の矩形化により、特に、離散値への変換によって、画像の色調を、後述する生成器の構築において画像が持つ特徴を捉えられるような色調としたことにより、土構造物Sに関する一の物理量の分布を示す画像から、当該一の物理量とは異なる他の物理量の分布を画像変換によって推定する際に用いる入力用画像I2を得ることができる。この入力用画像I2を用いれば、水平方向に限られない鉛直方向を含む二次元的な分布を推定することができる。また、入力用画像I2が透水係数分布を示すものである場合には、飽和領域だけでなく不飽和領域も含む圧力水頭分布を推定することができる。
【0037】
<第三発明実施形態>
次に、第三発明(生成器構築方法および生成器G)の実施形態について説明する。
【0038】
[生成器構築方法の流れ]
本実施形態に係る生成器構築方法は、例えば
図8に示したように、第二取得ステップS21と、生成画像出力ステップS22と、解析ステップS23と、識別結果出力ステップS24と、判断ステップS25と、学習ステップS26と、第二出力ステップS27と、を有している。
【0039】
(第二取得ステップ)
初めの第二取得ステップS21では、入力用画像I
2を取得する。また、本実施形態に係る第二取得ステップS21では、変換前画像I
1も取得する。この入力用画像I
2および変換前画像I
1の取得は、例えば後述する生成器構築装置2(第四発明)の第二取得部241(
図11参照)を用いて行うことができる。なお、入力用画像I
2および変換前画像I
1は、上記画像処理装置1が生成したものであってもよいし、上記画像処理装置1以外の装置が生成したものであってもよい。また、入力用画像I
2および変換前画像I
1を取得する必要が無い(例えば、生成器構築方法が上記画像処理方法の生成ステップS13および第二変換ステップS14を有しており、上記生成ステップS13において生成した変換前画像I
1および上記第二変換ステップS14において生成した入力用画像I
2をそのまま後述する生成画像出力ステップS22または解析ステップS23に用いる等)場合、この第二取得ステップS21を行わなくてもよい。
【0040】
(生成画像出力ステップ)
入力用画像I
2を取得した後は生成画像出力ステップS22に移る。生成画像出力ステップS22では、
図9に示したように、上記第二取得ステップS21で取得した入力用画像I
2を、学習させる前、または学習させている途中の生成器(以下、未学習生成器g)または学習済の生成器Gに入力し、第二の物理量の分布を示す生成画像I
3を出力させる。第一の物理量は透水係数および圧力水頭のうちの一方であり、第二の物理量は他方である。第一の物理量が透水係数の場合、圧力水頭の分布を示す生成画像I
3を得ることができるようになる。一方、第一の物理量が圧力水頭の場合、透水係数の分布を示す生成画像I
3を得ることができるようになる。この生成画像I
3の出力は、例えば後述する生成器構築装置2の生成画像出力部242(
図11参照)を用いて行うことができる。
【0041】
(解析ステップ)
生成画像I
3を出力させた後は解析ステップS23に移る。解析ステップS23では、変換前画像I
1を解析し、第二の物理量の分布を示す正解画像I
5を得る。正解画像I
5は、変換前画像I
1を解析して得られた変換前解析画像I
4(
図9参照)を矩形となるよう幾何学的変換したものである。この変換前画像I
1の解析は、例えば後述する生成器構築装置2の解析部243(
図11参照)を用いて行うことができる。また、変換前画像I
1の解析は、従来手法によって行うこともできる。なお、解析ステップS23は、生成画像出力ステップS22の前に行ってもよいし、生成画像出力ステップS22と並行して行ってもよい。
【0042】
(識別結果出力ステップ)
生成画像I
3および正解画像I
5を得た後は識別結果出力ステップS24に移る。識別結果出力ステップS24では、生成画像I
3および正解画像I
5を識別器Dに入力し、生成画像I
3の真贋の識別結果を出力させる。この識別結果の出力は、例えば後述する生成器構築装置2の識別結果出力部244(
図11参照)を用いて行うことができる。なお、識別結果出力ステップS24では、未学習生成器gの構造によっては、生成画像I
3と入力用画像I
2の組、および正解画像I
5と入力用画像I
2の組を識別器Dに入力してもよい。
【0043】
(判断ステップ)
識別結果を出力させた後は判断ステップS25に移る。判断ステップS25では、生成画像I
3の真贋の識別結果を判断する。この識別結果の判断は、例えば後述する生成器構築装置2の判断部245(
図11参照)を用いて行うことができる。なお、判断ステップS25では、例えば真贋以外の項目(未学習生成器gの学習を所定回数行ったか否か等)を判断してもよい。なお、識別結果を判断する必要が無い(例えば、識別結果出力ステップS24において「真(本物)」か「贋(偽物)」のいずれかの場合のみ識別結果を出力する等)場合、この判断ステップS25を行わなくてもよい。
【0044】
(学習ステップ)
上記判断ステップS25において識別結果が「贋」であると判断した場合(ステップS25:NO)は、
図8に示したように学習ステップS26に移る。学習ステップS26では、少なくとも未学習生成器gを学習させる(未学習生成器gおよび未学習識別器dをそれぞれ学習させてもよい)。本実施形態に係る学習ステップS26で学習させる未学習生成器g、および学習により構築される生成器Gは、U-Netである。こうすることで、例えば
図10に示したように、未学習生成器gまたは生成器Gのエンコーダの少なくともいずれかの層がデコーダの対応する層とスキップ接続される。そして、エンコーダがマックスプーリングしていく際にいずれかの層で抽出した特徴量の位置情報を、スキップ接続を介してデコーダの対応する層へ伝達する。このため、局所的な特徴が保たれた生成画像I
3を得ることができる。この未学習生成器gの学習は、例えば後述する生成器構築装置2の学習部246(
図11参照)を用いて行うことができる。
【0045】
学習ステップS26を行った後は、
図8に示したように、学習させた未学習生成器gまたは生成器Gを用いて再びステップS22に移る。すなわち、上記判断ステップS25において識別結果が「真」であると判断されるまで、生成画像出力ステップS22、識別結果出力ステップS24、判断ステップS25、および学習ステップS26を繰り返すことになる。そして、これらのステップを繰り返す度に、未学習生成器gの推定精度が向上していく。
【0046】
(第二出力ステップ)
上記判断ステップS25において識別結果が「真」であると判断した場合(ステップS25:YES)は第二出力ステップS27に移る。第二出力ステップS27では、生成器Gを出力する。この生成器Gの出力は、例えば後述する画像処理装置1の第二出力部22および第二出力制御部247(
図11参照)を用いて行うことができる。なお、生成器Gを出力する必要が無い(例えば、生成器構築方法が後述する推定方法の推定ステップS32を有しており、上記学習ステップS26において構築された生成器Gをそのまま推定ステップS32に用いる等)場合、この第二出力ステップS27を行わなくてもよい。
【0047】
[生成器構築方法その他]
なお、第一の物理量が圧力水頭であり、第二の物理量が透水係数である場合、生成器構築方法は、学習ステップS26を行うよりも前に、土構造物Sの少なくとも一部の領域の透水係数を事前情報として予め得ておくステップを更に有していてもよい。そして、学習ステップS26において、未学習生成器gを学習させる際に当該未学習生成器gに事前情報を与えるようにしてもよい。圧力水頭の分布を示す入力用画像I2から透水係数の分布を示す生成画像I3を得ようとする場合、透水係数の分布を示す入力用画像I2から圧力水頭の分布を示す生成画像I3を得る場合に比べて高精度の生成画像I3を得ることが難しいことが知られている。しかし、生成器G構築の際に未学習生成器gに事前情報を与えておくことで、生成画像I3(推定画像I6)の精度を高めることができる。
【0048】
[生成器]
本実施形態に係る生成器構築方法により構築される生成器G(学習済モデル)は、敵対的生成ネットワークを用いて構築されたものである。
生成器Gは、入力用画像I2を未学習生成器gに入力し、生成画像I3を出力させ、生成画像I3および正解画像I5を識別器Dに入力し、生成画像I3の真贋の識別結果を出力させ、識別結果が贋である場合に少なくとも未学習生成器gを学習させることにより構築されている。このようにして構築された生成器Gは、入力用画像I2が入力されると、推定画像I6を生成する。推定画像I6は、学習済の生成器Gによって生成され、識別器Dで偽物と識別されない生成画像I3を指す。
【0049】
[生成器構築方法の作用効果]
以上説明してきた本実施形態に係る生成器構築方法によれば、物理量が離散値に変換され、かつ形状が矩形に幾何学的変換された入力用画像I2を用い、生成画像出力ステップS22、識別結果出力ステップS24、および学習ステップS26を繰り返すこと(敵対的生成ネットワークにより)により、生成器Gの精度が向上するとともに、水平方向に限られない鉛直方向を含む二次元的な分布を示す推定画像I6を得ることができるようになる。また、入力用画像I2が透水係数分布を示すものである場合には、飽和領域だけでなく不飽和領域も含む圧力水頭分布を示す推定画像I6を得ることができるようになる。
【0050】
<第四発明実施形態>
次に、第四発明(生成器構築装置2)の実施形態について説明する。
【0051】
[生成器構築装置の構成]
本実施形態に係る生成器構築装置2は、
図11に示したように、第二入力部21と、第二出力部22と、記憶部23と、第二制御部24と、を備えている。
【0052】
〔第二入力部〕
第二入力部21は、他の装置(例えば、上記画像処理装置1等)からデータや信号を受信する通信モジュール、他の装置と接続される端子、および記録媒体から情報を読み込むドライブの少なくともいずれかで構成されている。
【0053】
〔第二出力部〕
第二出力部22は、他の装置(例えば、後述する推定装置3等)へデータや信号を送信する通信モジュール、他の装置と接続される端子、および記録媒体へ情報を書き込むドライブの少なくともいずれかで構成されている。
【0054】
〔記憶部〕
記憶部23は、未学習生成器gを記憶している。また、記憶部23は、学習済の生成器Gを記憶可能に構成されている。
【0055】
〔第二制御部〕
第二制御部24は、第二取得部241と、生成画像出力部242と、解析部243と、識別結果出力部244と、判断部245と、学習部246と、第二出力制御部247と、を備えている。
【0056】
(第二取得部)
第二取得部241は、入力用画像I2を取得するよう第二入力部21を制御する。これにより、第二入力部21が通信モジュールまたは端子である場合、第二入力部21が他の装置から入力用画像I2のデータを受信する。また、第二入力部21がドライブである場合、第二入力部21が記録媒体から入力用画像I2のデータを読み込む。なお、入力用画像I2を取得する必要が無い(例えば、生成器構築装置2が上記画像処理装置1の第二変換部134を備えており、上記第二変換部134が生成した入力用画像I2をそのまま後述する生成画像出力部242または解析部243が用いる等)場合、第二制御部24は、この第二取得部241を備えていなくてもよい。
【0057】
(生成画像出力部)
生成画像出力部242は、上記第二取得部241が取得した入力用画像I
2を未学習生成器gまたは生成器Gに入力し、生成画像I
3を出力させる。具体的には、生成画像出力部242は、上記生成器構築方法(第三発明)における生成画像出力ステップS22(
図8参照)で説明した内容と同様のことを実行する。
【0058】
(解析部)
解析部243は、変換前画像I
1を解析し、正解画像I
5を得る。具体的には、解析部243は、上記生成器構築方法における解析ステップS23(
図8参照)で説明した内容と同様のことを実行する。
【0059】
(識別結果出力部)
識別結果出力部244は、生成画像I
3および正解画像I
5を識別器Dに入力し、生成画像I
3の真贋の識別結果を出力させる。具体的には、識別結果出力部244は、上記生成器構築方法における識別結果出力ステップS24(
図8参照)で説明した内容と同様のことを実行する。
【0060】
(判断部)
判断部245は、生成画像I
3の真贋の識別結果を判断する。具体的には、識別結果出力部244は、上記生成器構築方法における判断ステップS25(
図8参照)で説明した内容と同様のことを実行する。なお、識別結果を判断する必要が無い(例えば、識別結果出力部244が「真」か「贋」のいずれかの場合のみ識別結果を出力する等)場合、第二制御部24は、この判断部245を備えていなくてもよい。
【0061】
(学習部)
学習部246は、識別結果が贋であると上記判断部245が判断した場合に、少なくとも未学習生成器gを学習させる。具体的には、学習部246は、上記生成器構築方法における学習ステップS26(
図8参照)で説明した内容と同様のことを実行する。
【0062】
(第二出力制御部)
第二出力制御部247は、生成器Gを出力するよう第二出力部22を制御する。これにより、第二出力部22が通信モジュールまたは端子である場合、第二出力部22が生成器Gのデータを他の装置へ送信する。また、第二出力部22がドライブである場合、第二出力部22が生成器Gのデータを記録媒体へ書き込む。なお、生成器Gを出力する必要が無い(例えば、生成器構築装置2が後述する推定装置3の推定部342を備えており、上記学習部246が構築した生成器Gをそのまま推定部342が用いる等)場合、第二制御部24は、この第二出力制御部247を備えていなくてもよい。
【0063】
[生成器構築装置その他]
なお、第一の物理量が圧力水頭であり、第二の物理量が透水係数である場合、生成器構築装置2は、土構造物Sの少なくとも一部の領域の透水係数を事前情報として予め得ておく事前情報取得部を更に備えていてもよい。そして、学習部が、未学習生成器gを学習させる際に当該未学習生成器gに事前情報を与えるよう構成されていてもよい。
【0064】
[生成器構築装置の作用効果]
以上説明してきた本実施形態に係る生成器構築装置2によれば、物理量が離散値に変換され、かつ形状が矩形に幾何学的変換された入力用画像I2を用い、生成画像出力部242、識別結果出力部244、判断部245および学習部246が処理を繰り返すこと(敵対的生成ネットワークにより)により、上記生成器構築方法と同様、生成器Gの精度が向上するとともに、水平方向に限られない鉛直方向を含む二次元的な分布を示す推定画像I6を得ることができるようになる。また、入力用画像I2が透水係数分布を示すものである場合には、飽和領域だけでなく不飽和領域も含む圧力水頭分布を示す推定画像I6を得ることができるようになる。
【0065】
<第五発明実施形態>
次に、第五発明(推定方法)の実施形態について説明する。
【0066】
[推定方法の流れ]
本実施形態に係る推定方法は、例えば
図12に示したように、第三取得ステップS31と、推定ステップS32と、第三変換ステップS33と、第三出力ステップS34と、を有している。
【0067】
(第三取得ステップ)
はじめの第三取得ステップS31では、入力用画像I
2を取得する。この入力用画像I
2の取得は、例えば後述する推定装置3(第六発明)の第三取得部341(
図14参照)を用いて行うことができる。なお、入力用画像I
2は、上記画像処理装置1が生成したものであってもよいし、上記画像処理装置1以外の装置が生成したものであってもよい。また、第三取得ステップS31では、生成器Gを取得してもよい。また、入力用画像I
2を取得する必要が無い(例えば、推定方法が上記画像処理方法の第二変換ステップS14を有しており、第二変換ステップS14において生成した入力用画像I
2をそのまま後述する推定ステップS32で用いる等)場合、この第二取得ステップS21を行わなくてもよい。
【0068】
(推定ステップ)
入力用画像I
2を取得した後は推定ステップS32に移る。推定ステップS32では、第三取得ステップS31で取得した入力用画像I
2を生成器Gに入力することにより、推定画像I
6を生成させる。この推定画像I
6の生成は、例えば後述する推定装置3の推定部342(
図14参照)を用いて行うことができる。
【0069】
(第三変換ステップ)
推定画像I
6を生成した後は第三変換ステップS33に移る。第三変換ステップS33では、
図13に示したように、矩形の推定画像I
6を土構造物Sの断面形状(台形)の出力用画像I
7に幾何学的変換する。矩形の中に配置されている複数の画素pを、変換前画像I
1と合同の図形(台形)の中に均一に分布するようそれぞれ移動させる。すなわち、この第三変換ステップS33では、上記第一発明(画像処理方法)における第二変換ステップで行う内容と逆のことを行う。この幾何学的変換は、例えば後述する推定装置3の第三変換部343(
図14参照)を用いて行うことができる。
【0070】
(第三出力ステップ)
推定画像I
6を生成させた後は、
図12に示したように第三出力ステップS34に移る。第三出力ステップS34では、出力用画像I
7を出力する。この出力用画像I
7の出力は、例えば後述する推定装置3の第三出力部32および第三出力制御部344(
図14参照)を用いて行うことができる。
【0071】
[推定方法の作用効果]
以上説明してきた本実施形態に係る推定方法によれば、敵対的生成ネットワークを用いて構築された生成器Gを用いることにより、水平方向に限られない鉛直方向を含む二次元的な分布を示す推定画像I6(識別器Dで偽物と識別されない生成画像I3)を得ることができる。また、入力用画像I2が透水係数分布を示すものである場合には、飽和領域だけでなく不飽和領域も含む圧力水頭分布を示す推定画像I6を得ることができる。
【0072】
<第六発明実施形態>
次に、第六発明(推定装置)の実施形態について説明する。
【0073】
[推定装置の構成]
本実施形態に係る推定装置3は、
図14に示したように、第三入力部31と、第三出力部32と、記憶部33と、第三制御部34と、を備えている。
【0074】
〔第三入力部〕
第三入力部31は、他の装置(例えば、上記画像処理装置1、上記生成器構築装置2等)からデータや信号を受信する通信モジュール、他の装置と接続される端子、および記録媒体から情報を読み込むドライブの少なくともいずれかで構成されている。
【0075】
〔第三出力部〕
第三出力部32は、他の装置(出力用画像I7を表示する表示装置、出力用画像I7のデータを記憶可能な記憶装置等)へデータや信号を送信する通信モジュール、他の装置と接続される端子、記録媒体へ情報を書き込むドライブ、および画像を表示するディスプレイの少なくともいずれかで構成されている。
【0076】
〔記憶部〕
記憶部33は、生成器Gを格納している。生成器Gは、上記生成器構築装置2が構築したものであってもよいし、他の装置が構築したものであってもよい。
【0077】
〔第三制御部〕
第三制御部34は、第三取得部341と、推定部342と、第三変換部343と、第三出力制御部344と、を備えている。
【0078】
(第三取得部)
第三取得部341は、入力用画像I2を取得するよう第二入力部21を制御する。これにより、第二入力部21が通信モジュールまたは端子である場合、第二入力部21が他の装置から入力用画像I2のデータを受信する。また、第二入力部21がドライブである場合、第二入力部21が記録媒体から入力用画像I2のデータを読み込む。なお、第三取得部341は、生成器Gを取得するよう構成されていてもよい。また、入力用画像I2を取得する必要が無い(例えば、推定装置3が上記画像処理装置1の第二変換部134を備えており、第二変換部134が生成した入力用画像I2をそのまま後述する推定部342が用いる等)場合、第三制御部34は、この第三取得部341を備えていなくてもよい。
【0079】
(推定部)
推定部342は、第三取得部341が取得した入力用画像I
2を、記憶部33に記憶されている、または第三取得部341が取得した生成器Gに入力することにより、推定画像I
6を生成させる。具体的には、推定部342は、上記推定方法(第五発明)における推定ステップS32(
図12参照)で説明した内容と同様のことを実行する。
【0080】
(第三変換部)
第三変換部343は、推定画像I
6を土構造物Sの断面形状(台形)の出力用画像I
7に幾何学的変換する。具体的には、第三変換部343は、上記推定方法における第三変換ステップS33(
図12参照)で説明した内容と同様のことを実行する。
【0081】
(第三出力制御部)
第三出力制御部344は、出力用画像I7を出力するよう第三出力部を制御する。これにより、第三出力部32が通信モジュールまたは端子である場合、第三出力部32が出力用画像I7のデータを他の装置へ送信する。また、第三出力部32がドライブである場合、第三出力部32が出力用画像I7のデータを記録媒体へ書き込む。また、第三出力部32がディスプレイである場合、第三出力部32が出力用画像I7を表示する。
【0082】
[推定装置の作用効果]
以上説明してきた本実施形態に係る推定装置3によれば、敵対的生成ネットワークを用いて構築された生成器Gを用いることにより、上記推定方法と同様、水平方向に限られない鉛直方向を含む二次元的な分布を示す推定画像I6(識別器Dで偽物と識別されない生成画像I3)を得ることができる。また、入力用画像I2が透水係数分布を示すものである場合には、飽和領域だけでなく不飽和領域も含む圧力水頭分布を示す推定画像I6を得ることができる。
【0083】
<第一,第三,第五発明その他>
なお、上記画像処理方法は、上記生成器構築方法および上記推定方法における少なくともいずれかのステップを有していてもよい。また、上記生成器構築方法は、上記画像処理方法および上記推定方法における少なくともいずれかのステップを有していてもよい。また、上記推定方法は、上記画像処理方法および上記生成器構築方法における少なくともいずれかのステップを有していてもよい。
【0084】
<第二,第四,第六発明その他>
また、上記画像処理装置1は、上記生成器構築装置2および上記推定装置3における少なくともいずれかの制御ブロックを備えていてもよい。また、上記生成器構築装置2は、上記画像処理装置1および上記推定装置3における少なくともいずれかの制御ブロックを備えていてもよい。また、上記推定装置3は、上記画像処理装置1および上記生成器構築装置2における少なくともいずれかの制御ブロックを備えていてもよい。
【0085】
また、上記画像処理装置1、生成器構築装置2および推定装置3の少なくともいずれかの装置の機能は、当該装置としてコンピュータを機能させるためのプログラム(画像処理プログラム、生成器構築プログラム、推定プログラム)であって、当該装置の各制御ブロック(特に第一制御部13、第二制御部24および第三制御部34の少なくともいずれかに含まれる各部)としてコンピュータを機能させるためのプログラムにより実現することができる。
この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも1つの制御装置(例えばプロセッサ)と少なくとも1つの記憶装置(例えばメモリ)を有するコンピュータを備えている。この制御装置と記憶装置により上記情報処理プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。
上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、1または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。
【0086】
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
【0087】
なお、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【実施例0088】
次に、上記第一~第六発明の実施例について説明する。
【0089】
まず、上記画像処理方法により、または上記画像処理装置1を用いて、153個の透水係数分布を示す入力用画像I2を生成した。
次に、上記153個の入力用画像I2、および各入力用画像I2を巡解析して得られた153個の正解画像I5の組を学習用データとし、上記生成器構築方法により、または上記生成器構築装置2を用いて、生成器Gを構築した。
次に、構築した生成器Gに透水係数分布を示す入力用画像I2を入力し、圧力水頭分布を示す推定画像I6を生成した。そして、それを出力用画像I7(forward)に幾何学的変換した。
次に、出力用画像I7の各画素pの画素値のSSIM(正解画像I5の画素値に対する類似度)を算出した。
【0090】
また、上記画像処理方法により、または上記画像処理装置1を用いて、153個の圧力水頭分布を示す入力用画像I2を生成した。
次に、上記153個の学習用の入力用画像I2、および各入力用画像I2を逆解析して得られた153個の正解画像I5の組を学習用データとし、上記生成器構築方法により、または上記生成器構築装置2を用いて、生成器Gを構築した。
次に、構築した生成器Gに、343枚の圧力水頭分布を示す検証用画像(予測用の入力用画像I2)を入力し、透水係数分布を示す推定画像I6を生成した。そして、それを出力用画像I7(inversion)に幾何学的変換した。
次に、出力用画像I7のSSIMをそれぞれ算出した。
【0091】
次に、算出したSSIMを用い、
図15に示したような、SSIMを横軸、度数(画像数)を縦軸とするヒストグラム(forward、inversionを重畳表示したもの)を作成した。ヒストグラムからは、ほとんどの出力用画像I
7(forward)のSSIMが0.98以上の値を示していることが見て取れる。これは、本実施例に係る出力用画像I
7(forward)が、敵対的生成ネットワークの識別器Dで正解画像I
5と見分けることのできないレベルの精度(正解画像I
5に対する類似度)を有することを示している。一方、多くの出力用画像I
7(inversion)のSSIMが0.98に満たないことが見て取れる。
【0092】
次に、上記153個の圧力水頭分布を示す入力用画像I2、および各入力用画像I2を逆解析して得られた153個の正解画像I5の組を学習用データとし、上記生成器構築方法により、または上記生成器構築装置2を用いて、もう一つの生成器Gを構築した。その際、予め得ておいた事前情報(各入力用画像I2に対応する堤体の下流側の部位(第三部位P3)の透水係数)を未学習生成器gに与えた。
次に、構築したもう一つの生成器Gに圧力水頭分布を示す入力用画像I2を入力し、透水係数分布を示す推定画像I6を生成した。そして、それを出力用画像I7(inversion)に幾何学的変換した。
次に、出力用画像I7の、正解画像I5に対する誤差を算出した。
【0093】
次に、算出した誤差を用い、
図16に示したような、誤差を横軸、度数(画像数)を縦軸とするヒストグラム(学習時の事前情報あり、なしを重畳表示したもの)を作成した。ヒストグラムからは、ほとんどの出力用画像I
7(事前情報あり)の誤差が10
1以下を示していることが見て取れる。これは、生成器Gの構築時に事前情報を併用することにより、本実施例に係る出力用画像I
7(inversion)の精度が大きく向上することを示している。