(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023065268
(43)【公開日】2023-05-12
(54)【発明の名称】顕著性マップ生成方法
(51)【国際特許分類】
G01V 1/00 20060101AFI20230502BHJP
【FI】
G01V1/00 C
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2021175981
(22)【出願日】2021-10-27
(71)【出願人】
【識別番号】515130201
【氏名又は名称】株式会社Preferred Networks
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】水野 尚人
(72)【発明者】
【氏名】木下 僚
【テーマコード(参考)】
2G105
【Fターム(参考)】
2G105AA02
2G105BB01
2G105CC01
2G105DD02
2G105EE02
2G105GG01
2G105LL02
2G105LL03
2G105LL04
2G105LL05
2G105LL06
2G105LL07
2G105NN01
(57)【要約】
【課題】モデルから出力された物性値の空間分布に設定された領域における物性値において、当該物性値の妥当性に関する顕著性マップを生成すること。
【解決手段】実施形態にかかる顕著性マップ生成方法は、観測対象の構造に関する観測によって得られた観測値の多次元配列を入力して前記構造における物性値の空間分布を生成するモデルに、前記多次元配列を入力して前記空間分布を生成し、前記空間分布において少なくとも一つの領域を設定し、前記モデルと、前記多次元配列と、前記領域と、に基づいて、前記領域に含まれる前記空間分布に対する前記多次元配列の顕著性マップを生成する。
【選択図】
図3
【特許請求の範囲】
【請求項1】
観測対象の構造に関する観測によって得られた観測値の多次元配列を入力して前記構造における物性値の空間分布を生成するモデルに、前記多次元配列を入力して前記空間分布を生成し、
前記空間分布において少なくとも一つの領域を設定し、
前記モデルと、前記多次元配列と、前記領域と、に基づいて、前記領域に含まれる前記空間分布に対する前記多次元配列の顕著性マップを生成する、
顕著性マップ生成方法。
【請求項2】
前記領域が重畳された前記空間分布と、前記多次元配列と、前記顕著性マップと、のうち少なくとも一つを表示する、
請求項1に記載の顕著性マップ生成方法。
【請求項3】
前記顕著性マップと前記多次元配列とを重畳させた重畳画像を生成し、
前記領域が重畳された前記空間分布と、前記多次元配列と、前記顕著性マップと、前記重畳画像とのうち少なくとも一つを表示する、
請求項1または2に記載の顕著性マップ生成方法。
【請求項4】
前記顕著性マップと前記多次元配列とを画素ごとに乗じた乗算画像を生成し、
前記領域が重畳された前記空間分布と、前記多次元配列と、前記顕著性マップと、前記乗算画像とのうち少なくとも一つを表示する、
請求項1または2に記載の顕著性マップ生成方法。
【請求項5】
前記領域は、点である、
請求項1乃至4のいずれか一項に記載の顕著性マップ生成方法。
【請求項6】
前記観測対象は、地下である、
請求項1乃至5のいずれか一項に記載の顕著性マップ生成方法。
【請求項7】
前記多次元配列の少なくとも一部は1列に配置された複数のセンサに基づいて取得される、
請求項1乃至6のいずれか一項に記載の顕著性マップ生成方法。
【請求項8】
前記多次元配列は1または複数の人工地震に基づいて取得される、
請求項1乃至7のいずれか一項に記載の顕著性マップ生成方法。
【請求項9】
前記物性値は、地下における弾性波の速度である、
請求項1乃至8のいずれか一項に記載の顕著性マップ生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、顕著性マップ生成方法に関する。
【背景技術】
【0002】
従来、画像分類などのモデルへの画像の入力によりモデルから出力された出力に関して、当該画像に対する顕著性マップの計算手法が知られている。顕著性マップは、モデルへ入力された画像において、当該出力において重視している領域を示すマップである。ここで、観測対象に対する観測データを入力として当該観測対象の内部構造の物性値の空間分布を推定するモデルにおいて、モデルに入力情報として入力される観測データから、どのように物性値の空間分布を推定しているかは、わからないという問題があった。例えば、地下構造推定システムにおいて逆解析に関するモデルに入力された入力情報から、どのように地下構造を推定しているかはわからなかった。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Christoph Molnar. Pixel attribution (saliency maps). Interpretable Machine Learning: A Guide for Making Black Box Models Explainable. Section 7.2. 2021. https://christophm.github.io/interpretable-ml-book/pixel-attribution.html
【非特許文献2】Daniel Smilkov, Nikhil Thorat, Been Kim, Fernanda Viegas, and Martin Wattenberg. SmoothGrad: Removing noise by adding noise. arXiv preprint, 2017. arXiv:1706.03825
【非特許文献3】Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, and Dhruv Batra. Grad-CAM: Visual explanations from deep networks via gradient-based localization. ICCV2017. DOI:10.1109/ICCV.2017.74 arXiv:1610.02391
【発明の概要】
【発明が解決しようとする課題】
【0004】
発明が解決しようとする課題は、モデルから出力された物性値の空間分布に設定された領域における物性値において、当該物性値に関する顕著性マップを生成することにある。
【課題を解決するための手段】
【0005】
実施形態にかかる顕著性マップ生成方法は、観測対象の構造に関する観測によって得られた観測値の多次元配列を入力して前記構造における物性値の空間分布を生成するモデルに、前記多次元配列を入力して前記空間分布を生成し、前記空間分布において少なくとも一つの領域を設定し、前記モデルと、前記多次元配列と、前記領域と、に基づいて、前記領域に含まれる前記空間分布に対する前記多次元配列の顕著性マップを生成する。
【図面の簡単な説明】
【0006】
【
図1】
図1は、実施形態に係る推定装置を有する探査システムのハードウェア構成の一例を示すブロック図である。
【
図2】
図2は、実施形態に係るプロセッサにおける機能ブロックの一例を示す図である。
【
図3】
図3は、実施形態に係る顕著性マップ生成処理における手順の一例を示すフローチャートである。
【
図4】
図4は、実施形態に係る推定モデルにより、ショット画像から速度マップが生成される一例を示す図である。
【
図5】
図5は、実施形態に係り、領域に含まれる速度の空間分布からショット画像に対応する顕著性マップが生成される一例を示す図である。
【
図6】
図6は、実施形態に係り、表示装置に表示されたショット画像と、顕著性マップと領域が重畳された速度マップとの一例を示す図である。
【
図7】
図7は、実施形態に係り、表示装置に表示されたショット画像と、顕著性マップと、重畳画像と、乗算画像と、領域が重畳された速度マップとの一例を示す図である。
【発明を実施するための形態】
【0007】
以下、図面を参照しながら実施形態について詳細に説明する。
【0008】
(実施形態)
図1は、本実施形態にかかる推定装置3を有する探査システム1のハードウェア構成の一例を示すブロック図である。
図1に示すように、探査システム1は、推定装置3と、通信ネットワーク5を介して推定装置3に接続された取得装置7と、通信ネットワーク5を介して推定装置3に接続された外部装置9Aと、デバイスインタフェース39を介して接続された外部装置9Bと、を備えてもよい。探査システム1は、例えば、観測対象に対して音波、弾性波、電磁波などを出力し、観測対象の内部を伝搬した反射波に基づいて当該観測対象の内部構造を探査するシステムであってもよい。なお、探査システム1は、重力探査、磁力探査、または電磁気探査を行うシステムであってもよい。観測対象は、例えば、地下、柱および橋などの人工構造物、雲、人体などであってもよい。探査システム1は、例えば、非破壊検査、構造物に対する音波診断などに適用可能であってもよい。また、探査システム1は、例えば、非破壊検査、構造物に対する音波診断、エコー検査、潜水艦ソナー、リモートセンシングなどに適用可能であってもよい。
【0009】
取得装置7は、例えば、観測対象に対して音波、弾性波または電磁波などを出力し、観測対象の内部で反射し伝搬した反射波を、観測データとして取得する装置であってもよい。なお、取得装置7としては、観測対象に応じて異なる装置が適宜用いられてもよい。例えば、取得装置7は、観測データとして、観測対象の内部構造に関する観測によって得られた観測値の多次元配列を取得してもよい。多次元配列は、例えば、観測データの取得に関するパラメータ(観測位置、観測日時、観測対象に対する物理的作用の時間的変化(例えば、震源位置移動など)などを多次元の要素として、観測データの値(観測値)を配列させたものに相当する。例えば、観測対象に対する観測位置と、音波、弾性波または電磁波の発生時刻から反射波の受信時刻までの時間間隔とによる2次元の要素が多次元配列の要素に対応する場合、当該多次元配列は、上記観測位置と上記時間間隔とに応じた観測値を、上記観測位置と上記時間間隔とに応じて配列させた2次元配列に相当する。また、上記2次元の要素に加えて、例えば、複数の観測位置を配列させた複数のラインの番号、上記物理的作用の時間変化、観測位置の移動速度など、観測値の配置は、必要に応じて、2次元以上、例えば3次元等の配列でもよい。
【0010】
推定装置3は、反射波に基づいて、当該内部構造における物性値の空間分布(以下、物性値空間分布と呼ぶ)を推定してもよい。物性値空間分布は2次元または3次元分布でもよい。観測対象は、地下、柱や橋などの人工構造物、雲、生体などであってもよい。例えば、推定装置3は、観測対象の内部構造に関する観測によって得られた多次元配列を入力して当該内部構造における物性値空間分布を生成するモデルに、取得装置7により取得された多次元配列を入力して物性値空間分布を生成してもよい。このとき、推定装置3は、内部構造における物性値空間分布を推定してもよい。物性値は、例えば、密度と、孔隙率(空隙率)と、水分量と、電磁波等の透過率と、地下における弾性波(S波、P波など)の速度と、地下構造に関する密度と、地下構造に関する硬さ(弾性率)と、地下構造における空隙の割合とのうち少なくとも一つである。以下、説明を具体的にするために、観測対象は、地下であるものとして説明する。
【0011】
推定装置3は、コンピュータ30と、デバイスインタフェース39を介してコンピュータ30に接続された外部装置9Bと、を有する。また、取得装置7は、デバイスインタフェース39を介してコンピュータ30に接続されてもよい。コンピュータ30は、一例として、プロセッサ31と、主記憶装置(メモリ)33と、補助記憶装置(メモリ)35と、ネットワークインタフェース37と、デバイスインタフェース39と、を備える。推定装置3は、プロセッサ31と、主記憶装置33と、補助記憶装置35と、ネットワークインタフェース37と、デバイスインタフェース39とがバス41を介して接続されたコンピュータ30として実現されてもよい。なお、コンピュータ30は、取得装置15に搭載されてもよい。
【0012】
図1に示すコンピュータ30は、各構成要素を一つ備えているが、同じ構成要素を複数備えていてもよい。また、
図1では、1台のコンピュータ30が示されているが、ソフトウェアが複数台のコンピュータにインストールされて、当該複数台のコンピュータそれぞれがソフトウェアの同一の又は異なる一部の処理を実行してもよい。この場合、コンピュータそれぞれがネットワークインタフェース37等を介して通信して処理を実行する分散コンピューティングの形態であってもよい。つまり、本実施形態における推定装置3は、1又は複数の記憶装置に記憶された命令を1台又は複数台のコンピュータが実行することで後述の各種機能を実現するシステムとして構成されてもよい。また、端末から送信された情報をクラウド上に設けられた1台又は複数台のコンピュータで処理し、この処理結果を外部装置9Bに相当する表示装置(表示部)などの端末に送信するような構成であってもよい。
【0013】
本実施形態における推定装置3の各種演算は、1又は複数のプロセッサを用いて、又はネットワークを介した複数台のコンピュータを用いて、並列処理で実行されてもよい。また、各種演算が、プロセッサ内に複数ある演算コアに振り分けられて、並列処理で実行されてもよい。また、本開示の処理、手段等の一部又は全部は、ネットワークを介してコンピュータ30と通信可能なクラウド上に設けられたプロセッサ及び記憶装置の少なくとも一方により実行されてもよい。このように、本実施形態における後述の各装置は、1台又は複数台のコンピュータによる並列コンピューティングの形態であってもよい。
【0014】
プロセッサ31は、コンピュータ30の制御装置及び演算装置を含む電子回路(処理回路、Processing circuit、Processing circuitry、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等)であってもよい。また、プロセッサ31は、汎用プロセッサ、特定の演算を実行するために設計された専用の処理回路又は汎用プロセッサと専用の処理回路との両方を含む半導体装置のいずれであってもよい。プロセッサ31は、光回路を含むものであってもよいし、量子コンピューティングに基づく演算機能を含むものであってもよい。
【0015】
プロセッサ31は、コンピュータ30の内部構成の各装置等から入力されたデータやソフトウェア(プログラム)に基づいて演算処理を行ってもよく、演算結果や制御信号を各装置等に出力してもよい。プロセッサ31は、コンピュータ30のOS(Operating System)や、アプリケーション等を実行することにより、コンピュータ30を構成する各構成要素を制御してもよい。
【0016】
本実施形態における推定装置3は、1又は複数のプロセッサ31により実現されてもよい。ここで、プロセッサ71は、1チップ上に配置された1又は複数の電子回路を指してもよいし、2つ以上のチップあるいは2つ以上のデバイス上に配置された1又は複数の電子回路を指してもよい。複数の電子回路を用いる場合、各電子回路は有線又は無線により通信してもよい。
【0017】
主記憶装置33は、プロセッサ31が実行する命令及び各種データ等を記憶してもよく、主記憶装置33に記憶された情報がプロセッサ31により読み出されてもよい。補助記憶装置35は、主記憶装置33以外の記憶装置である。なお、これらの記憶装置は、電子情報を格納可能な任意の電子部品を意味するものとし、半導体のメモリでもよい。半導体のメモリは、揮発性メモリ又は不揮発性メモリのいずれでもよい。本実施形態における推定装置3において用いられる各種データ等を保存するための記憶装置は、主記憶装置33又は補助記憶装置35により実現されてもよく、プロセッサ31に内蔵される内蔵メモリにより実現されてもよい。例えば、本実施形態における記憶部は、主記憶装置33又は補助記憶装置35により実現されてもよい。
【0018】
実施形態における推定装置3が、少なくとも1つの記憶装置(メモリ)と、この少なくとも1つの記憶装置に接続(結合)される少なくとも1つのプロセッサで構成される場合、記憶装置1つに対して、少なくとも1つのプロセッサが接続されてもよい。また、プロセッサ1つに対して、少なくとも1つの記憶装置が接続されてもよい。また、複数のプロセッサのうち少なくとも1つのプロセッサが、複数の記憶装置のうち少なくとも1つの記憶装置に接続される構成を含んでもよい。また、複数台のコンピュータに含まれる記憶装置とプロセッサ31とによって、この構成が実現されてもよい。さらに、記憶装置がプロセッサ31と一体になっている構成(例えば、L1キャッシュ、L2キャッシュを含むキャッシュメモリ)を含んでもよい。
【0019】
ネットワークインタフェース37は、無線又は有線により、通信ネットワーク5に接続するためのインタフェースである。ネットワークインタフェース37は、既存の通信規格に適合したもの等、適切なインタフェースを用いればよい。ネットワークインタフェース37により、通信ネットワーク5を介して接続された取得装置7および外部装置9Aと情報のやり取りが行われてもよい。なお、通信ネットワーク5は、WAN(Wide Area Network)、LAN(Local Area Network)、PAN(Personal Area Network)等の何れか又はそれらの組み合わせであってよく、コンピュータ30と外部装置9Aとの間で情報のやり取りが行われるものであればよい。WANの一例としてインターネット等があり、LANの一例としてIEEE802.11やイーサネット(登録商標)等があり、PANの一例としてBluetooth(登録商標)やNFC(Near Field Communication)等がある。
【0020】
デバイスインタフェース39は、表示装置等の出力装置、入力装置、および外部装置9Bと直接接続するUSB(Universal Serial Bus)等のインタフェースである。なお、出力装置は、音声等を出力するスピーカなどを有していてもよい。
【0021】
外部装置9Aはコンピュータ30とネットワークを介して接続されている装置である。外部装置9Bはコンピュータ30と直接接続されている装置である。
【0022】
外部装置9A又は外部装置9Bは、一例として、入力装置(入力部)であってもよい。入力装置は、例えば、カメラ、マイクロフォン、モーションキャプチャ、各種センサ、キーボード、マウス、タッチパネル等のデバイスであり、取得した情報をコンピュータ30に与える。また、外部装置9A又は外部装置9Bは、パーソナルコンピュータ、タブレット端末、スマートフォン等の入力部とメモリとプロセッサを備えるデバイスであってもよい。
【0023】
また、外部装置9A又は外部装置9Bは、一例として、出力装置(出力部)でもよい。出力装置は、例えば、LCD(Liquid Crystal Display)、有機EL(Electro Luminescence)パネル等の表示装置(表示部)であってもよいし、音声等を出力するスピーカ等であってもよい。また、パーソナルコンピュータ、タブレット端末又はスマートフォン等の出力部とメモリとプロセッサを備えるデバイスであってもよい。
【0024】
また、外部装置9A又は外部装置9Bは、記憶装置(メモリ)であってもよい。例えば、外部装置9Aはネットワークストレージ等であってもよく、外部装置9BはHDD等のストレージであってもよい。
【0025】
また、外部装置9A又は外部装置9Bは、本実施形態における推定装置3の構成要素の一部の機能を有する装置でもよい。つまり、コンピュータ30は、外部装置9A又は外部装置9Bの処理結果の一部又は全部を送信してもよいし、外部装置9A又は外部装置9Bから処理結果の一部又は全部を受信してもよい。
【0026】
取得装置7は、例えば、人工地震を発生して地中に伝搬させる起震部と、人工地震による反射波を受振する受振部とを有する。受振部は、反射波を受振し、当該反射波を電気信号に変換する1つ又は複数のセンサにより実現される。当該センサは、例えば、地震計により実現される。1つ又は複数のセンサは、例えば1列に配置される。なお、起震部と受振部とは、例えば、少なくとも一つのケーブルにより、船舶に曳航されてもよい。このとき、起震部は、例えば、エアガンアレイなどにより実現されてもよい。また、ケーブルを識別するパラメータ(例えば、ケーブル番号)は、多次元配列における要素、例えば多次元的に配列される観測値(観測データ)を識別するパラメータとして用いられてもよい。このとき、受振部は、反射波を受振し、当該反射波を電気信号に変換する少なくとも一つのセンサとデジタルストリーマーなどにより実現されてもよい。当該センサは、例えば、ハイドロフォンにより実現されてもよい。1つ又は複数のセンサは、船舶による曳航により、海上において、例えば、1列のラインとして配置されてもよいし、複数の1列のラインとして配置されてもよいし、1列または複数の1列のラインとして配置されたラインの途中から1列又は複数のラインを配置するようにしてもよいし、網目のように配置されてもよい。なお、取得装置7は、観測データとして検層データを取得する装置であってもよい。例えば、多次元配列の少なくとも一部は、1列に配置された複数のセンサに基づいて取得される。また、多次元配列は1または複数の人工地震に基づいて取得されてもよい。
【0027】
取得装置7は、1回又は複数の人工地震(ショット)に応じて受振されたデータ(ショットデータ)に基づいて画像(以下、ショット画像と呼ぶ)を生成する。ショット画像は、観測対象の内部構造に関する観測データに対応し、例えば、地下構造に関する観測値である。換言すれば、ショット画像は、受振部の位置と人工地震の発生時刻から受振部による反射波の受振時刻までの時間間隔とに応じた受振部による観測値を、受振部の位置と時間間隔との2次元の要素に沿って2次元的に配列された2次元配列に相当する。より詳細には、ショット画像の縦軸は、ショットの観測開始時刻からの受振時刻までの時間間隔に対応し、ショット画像の横軸は、取得装置7における受振部に関して、1列に配置された複数のセンサの番号(空間方向)に対応する。なお、本実施形態における観測データは、少なくとも、地下構造に関する観測値または当該観測値に対する所定の前処理により生成されたデータのいずれか1つに関するデータであってもよい。観測値の多次元配列の要素は、上記受振部の位置、上記時間間隔に加えて、起震部の移動速度、ケーブル番号など、観測値の収集条件に応じて適宜3次元の要素以上に拡張可能である。すなわち、観測値は、複数の収集条件に対して、多次元的に配列されてもよい。取得装置7により取得された観測値の多次元配列は、通信ネットワーク5を介して、推定装置3に送信される。このとき、推定装置3は、多次元配列を、主記憶装置33または補助記憶装置35に記憶させる。
【0028】
図2は、プロセッサ31における機能ブロックの一例を示す図である。プロセッサ31は、当該プロセッサ31により実現される機能として、推定部311と、設定部313と、生成部315と、制御部317とを有する。推定部311と、設定部313と、生成部315と、制御部317とにより実現される機能は、それぞれプログラムとして、例えば、主記憶装置33または補助記憶装置35などに格納される。プロセッサ31は、主記憶装置33または補助記憶装置35などに格納されたプログラムを読み出し、実行することで、推定部311と、設定部313と、生成部315と、制御部317とに関する機能を実現する。
【0029】
推定部311は、観測対象の内部構造に関する観測によって得られた観測値の多次元配列を入力して当該内部構造における物性値空間分布を推定するモデル(以下、推定モデルと呼ぶ)を、主記憶装置33または補助記憶装置35から読みだしてもよい。主記憶装置33または補助記憶装置35に予め記憶された推定モデルは、例えば、学習済みモデルであってもよい。学習済みモデルは、例えば、学習対象のモデルとしてのディープニューラルネットワーク(Deep Neural Network)を学習することにより予め生成されてもよい。
【0030】
なお、推定モデルは、ディープニューラルネットワークによる学習済みモデルに限定されず、例えば、フルウェーブフォームインバージョン(Full Waveform Inversion)などのような波動方程式の数値解法に基づく数値モデルであってもよい。推定部311は、観測対象の内部構造に関する観測によって得られた観測値の多次元配列を推定モデルに入力して、観測対象の内部構造における物性値空間分布を生成してもよい。推定部311は、生成された物性値空間分布を、主記憶装置33または補助記憶装置35に記憶させてもよい。
【0031】
ディープニューラルネットワークの学習は、例えば、物性値の空間分布に対応する正解データと、当該正解データに対応し学習対象の当該ディープニューラルネットワークに入力される訓練データとを用いて、訓練装置により実行されてもよい。正解データと訓練データとは、学習用データに相当する。訓練装置は、例えば、
図1に示す3の枠内の構成要素により実現されてもよい。正解データが物性値の空間分布である場合、訓練データは、例えば、当該物性値空間分布に対する物理シミュレーションにより生成されてもよい。
【0032】
設定部313は、表示装置に表示された物性値空間分布に対して、少なくとも一つの領域を設定してもよい。領域は、点でもよく、閉領域でもよい。また、領域の形状は、矩形や円形に限定されず任意の形状として設定可能である。具体的には、入力装置を介したユーザの指示により、表示された物性値空間分布に対して領域の指定が入力されると、設定部313は、指定された領域を、物性値空間分布に設定してもよい。領域は、物性値空間分布の一部分の領域に対応する。
【0033】
生成部315は、推定モデルと、推定モデルに入力される多次元配列と、設定された領域と、に基づいて、設定された領域に含まれる物性値空間分布に対する当該多次元配列の顕著性マップ(サリエンシーマップ(Saliency map)ともいう)を生成してもよい。顕著性マップの生成は、物性値空間分布にも基づいてよい。顕著性マップは、例えば、領域における複数の物性値の生成に関する多次元配列のうち重視している領域を示したマップであってもよい。顕著性マップの配列は、推定モデルへ入力された多次元配列に対応してもよい。生成部315は、生成された顕著性マップを、多次元配列および物性値空間分布と関連付けて、主記憶装置33または補助記憶装置35に記憶させてもよい。
【0034】
多次元配列がショット画像である場合、顕著性マップは、ショット画像と同一のまたは異なる次元およびスケールを有する、例えば2次元または3次元マップとなる。このとき、顕著性マップにおける複数の画像値は、領域に含まれる複数の物性値の推定に関する影響の度合いに相当し、顕著性を示す指標値であってもよい。なお、指標値は、例えば、0から1までの値で規格化されてもよい。このとき、0は、影響すなわち顕著性が無いことに対応し、1は影響すなわち顕著性が最大であることに対応してもよい。
【0035】
また、顕著性マップは、多次元配列において物性値への影響の増減をカラーで示し、増減の度合いをカラーの濃淡で示すカラーマップで表現されてもよい。例えば、カラーマップで表現された顕著性マップにおいて、青色は、顕著性マップに対応する多次元配列において、領域における物性値の上昇への寄与を示し、赤色は領域における物性値の下降への寄与を示してもよい。
【0036】
生成部315は、異なる複数の手法により、当該複数の手法に対応する複数の顕著性マップを生成してもよい。複数の手法とは、例えば、バニラグラジエント(Vanilla Gradient)、スムースグラッド(SmoothGrad)、グラッドカム(Grad-CAM)などであってもよい。バニラグラジエントが顕著性マップの生成に用いられる場合、生成部315は、領域に含まれる物性値を、多次元配列の要素各々で微分する。これにより、生成部315は、顕著性マップを生成する。バニラグラジエントにより顕著性マップを生成する具体的な算出方法は既知であるため、説明は省略する。
【0037】
また、スムースグラッドが顕著性マップの生成に用いられる場合、生成部315は、多次元配列に対して複数の異なるノイズを付加して、複数のノイズパターンに対応する複数の多次元配列(以下、ノイズ付加配列と呼ぶ)を生成する。付加されるノイズは、例えばホワイトノイズであってもよい。複数のノイズパターンの総数(以下、パターン数と呼ぶ)は、例えば、50程度であり、当該ホワイトノイズの標準偏差は、例えば、ホワイトノイズの最大値とホワイトノイズの最小値の差分の20%程度であってもよい。次いで、生成部315は、複数のノイズ付加配列各々において、領域に含まれる物性値を、ノイズ付加配列の要素各々で微分する。これにより、生成部315は、複数のノイズ付加配列に対応する複数の微分マップを生成する。続いて、生成部315は、複数の微分マップを加算してパターン数で除算することにより、顕著性マップを生成する。スムースグラッドにより顕著性マップを生成する具体的な算出方法は既知であるため、説明は省略する。
【0038】
また、グラッドカムが顕著性マップの生成に用いられる場合、生成部315は、領域に含まれる物性値を、学習済みの推定モデルにおいて予め設定された中間層の各要素で微分する。これにより、生成部315は、予め設定された中間層における微分のマップ(以下、中間微分マップと呼ぶ)を生成する。生成部は、中間微分マップを、多次元配列に相当するサイズに引き延ばすことで、顕著性マップを生成する。グラッドカムにより顕著性マップを生成する具体的な算出方法は既知であるため、説明は省略する。
【0039】
また、生成部315は、任意の形状の領域が指定された場合に、その領域に含まれる各ピクセルに対して上記した既知の方法等で顕著性を評価し、評価した顕著性の絶対値の総和を取り、区間[0,1]に正規化して顕著性マップを生成してもよい。
【0040】
制御部317は、推定装置3における各種構成要素を制御してもよい。例えば、制御部317は、推定部311と、設定部313と、生成部315とに関する機能を制御してもよい。また、制御部317は、領域が重畳された物性値空間分布と、多次元配列と、顕著性マップと、のうち少なくとも一つを、表示装置に表示してもよい。また、制御部317は、顕著性マップに多次元配列を重畳させた重畳画像を生成してもよく、領域が重畳された物性値空間分布と、多次元配列と、顕著性マップと、重畳画像とのうち少なくとも一つを、表示装置に表示してもよい。また、制御部317は、顕著性マップと多次元配列とを画素ごとに乗じた乗算画像を生成してもよく、領域が重畳された物性値空間分布と、多次元配列と、顕著性マップと、乗算画像とのうち少なくとも一つを、表示装置に表示してもよく、複数のものを同時に表示装置に表示してもよい。
【0041】
以上、探査システム1における構成について説明した。以下、探査システム1による顕著性マップの生成に関する処理(以下、顕著性マップ生成処理と呼ぶ)について説明する。顕著性マップ生成処理における説明を具体的にするために、推定モデルは、学習済みモデルであるものとする。また、学習済みモデルへ入力される多次元配列はショット画像であって、推定モデルから出力される物性値空間分布は、地下における弾性波の速度の空間分布(地下の音速分布)を示す画像(以下、速度マップと呼ぶ)であるものとする。すなわち、物性値は、地下における弾性波の速度であるものとする。
【0042】
図3は、顕著性マップ生成処理における手順の一例を示すフローチャートである。
【0043】
(顕著性マップ生成処理)
(ステップS301)
取得装置7は、起震部の駆動により人工地震を発生し、人工地震の反射波の受振により受振されたショットデータに基づいてショット画像を取得する。取得装置7は、ショット画像を推定装置3へ出力する。制御部317は、ショット画像を、主記憶装置33または補助記憶装置35に記憶する。
【0044】
(ステップS302)
推定部311は、主記憶装置33または補助記憶装置35からショット画像を読み出す。推定部311は、読み出したショット画像を、推定モデルに入力する。これにより、推定部311は、推定モデルからの出力により、速度マップを生成する。推定部311は、速度マップを、主記憶装置33または補助記憶装置35に記憶してもよい。
【0045】
図4は、推定モデルEMにより、ショット画像SIから速度マップVMが生成される一例を示す図である。
図4に示すように、推定部311は、推定モデルEMにショット画像SIを入力する。推定モデルEMは、ショット画像SIの入力により、速度マップVMを出力する。これらにより、推定部311は、ショット画像SIから速度マップVMを推定する。
【0046】
(ステップS303)
制御部317は、速度マップを表示装置に表示する。入力装置は、ユーザの指示により、表示装置に表示された速度マップに対して領域を入力する。なお、入力装置は、速度マップに対して複数の領域を入力してもよい。設定部313は、速度マップにおいて、入力された領域を設定する。設定部313は、領域における速度の空間分布を、主記憶装置33または補助記憶装置35に記憶してもよい。
【0047】
(ステップS304)
生成部315は、推定モデルと、ショット画像と、設定された領域と、に基づいて、領域に含まれる速度の空間分布に対するショット画像の顕著性マップを生成する。顕著性マップの生成は、速度の空間分布に基づいてもよい。具体的には、バニラグラジエントまたはスムースグラッドにより顕著性マップが生成される場合、生成部315は、領域における速度の空間分布とショット画像と推定モデルとに基づいて、顕著性マップを生成する。また、グラッドカムにより顕著性マップが生成される場合、生成部315は、領域における速度の空間分布と推定モデルにおいて予め設定された中間層の各要素とショット画像とに基づいて、顕著性マップを生成する。生成部315は、顕著性マップを、速度マップとショット画像とに関連付けて、主記憶装置33または補助記憶装置35に記憶してもよい。
【0048】
図5は、領域CAに含まれる速度の空間分布からショット画像SIに対応する顕著性マップSMが生成される一例を示す図である。
図5に示すように、生成部315は、領域CAに含まれる速度の空間分布からショット画像SIに対応する顕著性マップSMを生成する。
図5に示すように、ショット画像SIと顕著性マップSMとにおいて縦軸及び横軸は、それぞれ対応付けられている。
【0049】
(ステップS305)
制御部317は、領域が重畳された速度マップと、ショット画像と、顕著性マップとを、表示装置に表示する。なお、複数の手法により複数の顕著性マップが生成された場合、制御部317は、当該複数の顕著性マップを、同時に表示装置に表示してもよい。
【0050】
図6は、表示装置に表示されたショット画像SIと、顕著性マップSMと領域CAが重畳された速度マップVMとの一例を示す図である。
図6に示すように、ショット画像SIと顕著性マップSMとにおいて縦軸及び横軸は、それぞれ対応付けられている。
【0051】
なお、制御部317は、顕著性マップSMにショット画像SIを重畳させた重畳画像を生成し、領域CAが重畳された速度マップVMと、ショット画像SIと、顕著性マップSMと、重畳画像とのうち少なくとも一つを、表示装置に表示してもよく、複数のものを同時に表示装置に表示してもよい。また、制御部317は、顕著性マップSMとショット画像SIとを画素ごとに乗じた乗算画像を生成し、領域CAが重畳された速度マップVMと、ショット画像SIと、顕著性マップSMと、乗算画像とのうち少なくとも一つを、表示装置に表示してもよく、複数のものを同時に表示装置に表示してもよい。また、制御部317は、ショット画像SIと、顕著性マップSMと、重畳画像SiIと、乗算画像MIと、領域CAが重畳された速度マップVMとを、表示装置に表示してもよい。
【0052】
図7は、表示装置に表示されたショット画像SIと、顕著性マップSMと、重畳画像SiIと、乗算画像MIと、領域CAが重畳された速度マップVMとの一例を示す図である。
図7に示すように、ショット画像SIと顕著性マップSMと重畳画像SiIと乗算画像MIとにおいて縦軸及び横軸は、それぞれ対応付けられている。
【0053】
本実施形態に係る推定装置3によれば、観測対象の内部構造に関する観測によって得られた観測値の多次元配列を入力して観測対象の内部構造における物性値空間分布を生成する推定モデルに、多次元配列を入力して物性値空間分布を生成し、物性値空間分布において少なくとも一つの領域CAを設定し、推定モデルまたは物性値空間分布と、多次元配列と、領域CAと、に基づいて、領域CAに含まれる物性値空間分布に対する多次元配列の顕著性マップSMを生成する。また、当該領域CAは、点であってもよい。
【0054】
また、本実施形態に係る推定装置3によれば、領域CAが重畳された物性値空間分布と、多次元配列と、顕著性マップSMと、のうち少なくとも一つを表示装置に表示してもよく、複数のものを同時に表示装置に表示してもよい。また、本実施形態に係る推定装置3によれば、顕著性マップSMに多次元配列を重畳させた重畳画像SiIを生成し、領域CAが重畳された物性値空間分布と、多次元配列と、顕著性マップSMと、重畳画像SiIとのうち少なくとも一つを表示装置に表示してもよく、複数のものを同時に表示装置に表示してもよい。また、本実施形態に係る推定装置3によれば、顕著性マップSMと多次元配列とを画素ごとに乗じた乗算画像MIを生成し、領域CAが重畳された物性値空間分布と、多次元配列と、顕著性マップSMと、乗算画像MIとのうち少なくとも一つを表示してもよく、複数のものを同時に表示装置に表示してもよい。
【0055】
例えば、本実施形態に係る推定装置3は、地下構造の推定において、ショット画像SIから推定された速度マップVMにおいて、ユーザの指示により、領域CAを設定する。このとき、推定装置3は、ショット画像におけるどの領域・部分を重視して領域に含まれる物性値の空間分布を推測したのかということを示す顕著性マップSMを生成して表示する。これらにより、本推定装置3によれば、顕著性マップSMの生成を地下構造推定システムに適用することで、当該システムが重視する入力情報(ショット画像)を推定することができる。加えて、本推定装置3によれば、顕著性マップSMを表示装置に表示することにより、地下構造推定システムが適切な入力情報を用いて推定していることを、ユーザが確認することができる。
【0056】
これらのことから、推定モデルから出力された物性値の空間分布に設定された領域における物性値において、当該物性値の妥当性に関する顕著性マップを生成することができる。このため、本実施形態に係る推定装置3によれば、物性値の空間分布における領域における物性値に関して、推定モデルに入力される多次元配列の値を変化させるような入力情報の変化に対するインパクト(影響)を顕著性マップとして可視化して、ユーザに提示することができる。
【0057】
以上のことから、本実施形態に係る推定装置3によれば、推定モデルにより推定された物性値の空間分布の妥当性に関して、ユーザによる判断材料を提供することができる。例えば、本実施形態に係る推定装置3によれば、地震波形逆解析(seismic inversion)を行う深層学習モデルなどの推定モデルの動作に関する妥当性の解析の判断材料を、ユーザに提供することができる。
【0058】
より詳細には、本実施形態に係る推定装置3によれば、反射法地震探査において、推定された物性値空間分布における領域CAに含まれる物性値に関して、注視されるべき反射波の情報すなわち観測データに相当する多次元配列を、ユーザは、視覚的に確認することができる。
【0059】
また、本実施形態に係る推定装置3によれば、ユーザによる推定モデルの妥当性の検証および推定モデルに対するデバックの効率を向上させることができる。また、本実施形態に係る推定装置3によれば、例えば、地下構造の推定の実用化において、推定モデルにより推定された物性値空間分布の信頼性を顧客に提示するために、領域CAにおける物性値に関してどのような入力情報に着目しているかを可視化することができる。また、本実施形態に係る推定装置3によれば、例えば、地下構造推定システムにおいて、推定結果の判断根拠を提示できることができる。
【0060】
本実施形態の変形例として、顕著性マップ生成処理は、探査システム1とは別個に情報処理装置として実現されてもよい。このとき、情報処理装置は、
図1に示すコンピュータ30により実現され、観測対象の内部構造に関する観測によって得られた多次元配列を入力して当該内部構造における物性値の空間分布を生成するモデルに、当該多次元配列を入力して当該空間分布を生成する推定部と、生成された空間分布において少なくとも一つの領域を設定する設定部と、当該モデルと、当該多次元配列と、当該領域と、に基づいて、当該領域に含まれる当該空間分布に対する当該多次元配列の顕著性マップを生成する生成部と、を備える。なお、本実施形態の更なる変形例として、従来の推定装置は、外部装置9に対応してもよい。このとき、情報処理装置におけるコンピュータ30の構成は、
図2において、推定部311を除いた構成としてもよい。情報処理装置により実現される顕著性マップ生成処理及び効果などは、実施形態と同様なため、説明は省略する。
【0061】
前述した実施形態における各装置の一部又は全部は、ハードウェアで構成されていてもよいし、CPU、GPU等が実行するソフトウェア(プログラム)の情報処理で構成されてもよい。ソフトウェアの情報処理で構成される場合には、前述した実施形態における各装置の少なくとも一部の機能を実現するソフトウェアを、フレキシブルディスク、CD-ROM(Compact Disc-Read Only Memory)、又はUSBメモリ等の非一時的な記憶媒体(非一時的なコンピュータ可読媒体)に収納し、コンピュータ30に読み込ませることにより、ソフトウェアの情報処理を実行してもよい。また、通信ネットワーク5を介して当該ソフトウェアがダウンロードされてもよい。さらに、ソフトウェアがASIC、FPGA等の回路に実装されることにより、情報処理がハードウェアにより実行されてもよい。
【0062】
ソフトウェアを収納する記憶媒体は、光ディスク等の着脱可能なものでもよいし、ハードディスク、メモリ等の固定型の記憶媒体であってもよい。また、記憶媒体は、コンピュータ内部に備えられてもよいし、コンピュータ外部に備えられてもよい。
【0063】
本明細書(請求項を含む)において、「a、b及びcの少なくとも1つ(一方)」又は「a、b又はcの少なくとも1つ(一方)」の表現(同様な表現を含む)が用いられる場合は、a、b、c、a-b、a-c、b-c又はa-b-cのいずれかを含む。また、a-a、a-b-b、a-a-b-b-c-c等のように、いずれかの要素について複数のインスタンスを含んでもよい。さらに、a-b-c-dのようにdを有する等、列挙された要素(a、b及びc)以外の他の要素を加えることも含む。
【0064】
本明細書(請求項を含む)において、「データを入力として/データに基づいて/に従って/に応じて」等の表現(同様な表現を含む)が用いられる場合は、特に断りがない場合、各種データそのものを用いる場合や、データに何らかの処理を行ったもの(例えば、ノイズ加算したもの、正規化したもの、データから抽出した特徴量、データの中間表現等)を用いる場合を含む。また「データを入力として/を用いて/データに基づいて/に従って/に応じて」何らかの結果が得られる旨が記載されている場合(同様な表現を含む)、当該データのみに基づいて当該結果が得られる場合や、当該データ以外の他のデータ、要因、条件、及び/又は状態にも影響を受けて当該結果が得られる場合を含む。また、「データを出力する」旨が記載されている場合(同様な表現を含む)、特に断りがない場合、データそのものを出力として用いる場合や、データに何らかの処理を行ったもの(例えば、ノイズ加算したもの、正規化したもの、データから抽出した特徴量、各種データの中間表現等)を出力として用いる場合を含む。
【0065】
本明細書(請求項を含む)において、「接続される(connected)」及び「結合される(coupled)」との用語が用いられる場合は、直接的な接続/結合、間接的な接続/結合、電気的(electrically)な接続/結合、通信的(communicatively)な接続/結合、機能的(operatively)な接続/結合、物理的(physically)な接続/結合等のいずれをも含む非限定的な用語として意図される。当該用語は、当該用語が用いられた文脈に応じて適宜解釈されるべきであるが、意図的に或いは当然に排除されるのではない接続/結合形態は、当該用語に含まれるものして非限定的に解釈されるべきである。
【0066】
本明細書(請求項を含む)において、「AがBするよう構成される(A configured to B)」との表現が用いられる場合は、要素Aの物理的構造が、動作Bを実行可能な構成を有するとともに、要素Aの恒常的(permanent)又は一時的(temporary)な設定(setting/configuration)が、動作Bを実際に実行するように設定(configured/set)されていることを含んでよい。例えば、要素Aが汎用プロセッサである場合、当該プロセッサが動作Bを実行可能なハードウェア構成を有するとともに、恒常的(permanent)又は一時的(temporary)なプログラム(命令)の設定により、動作Bを実際に実行するように設定(configured)されていればよい。また、要素Aが専用プロセッサ、専用演算回路等である場合、制御用命令及びデータが実際に付属しているか否かとは無関係に、当該プロセッサの回路的構造が動作Bを実際に実行するように構築(implemented)されていればよい。
【0067】
本明細書(請求項を含む)において、含有又は所有を意味する用語(例えば、「含む(comprising/including)」、「有する(having)」等)が用いられる場合は、当該用語の目的語により示される対象物以外の物を含有又は所有する場合を含む、open-endedな用語として意図される。これらの含有又は所有を意味する用語の目的語が数量を指定しない又は単数を示唆する表現(a又はanを冠詞とする表現)である場合は、当該表現は特定の数に限定されないものとして解釈されるべきである。
【0068】
本明細書(請求項を含む)において、ある箇所において「1つ又は複数(one or more)」、「少なくとも1つ(at least one)」等の表現が用いられ、他の箇所において数量を指定しない又は単数を示唆する表現(a又はanを冠詞とする表現)が用いられているとしても、後者の表現が「1つ」を意味することを意図しない。一般に、数量を指定しない又は単数を示唆する表現(a又はanを冠詞とする表現)は、必ずしも特定の数に限定されないものとして解釈されるべきである。
【0069】
本明細書において、ある実施例の有する特定の構成について特定の効果(advantage/result)が得られる旨が記載されている場合、別段の理由がない限り、当該構成を有する他の1つ又は複数の実施例についても当該効果が得られると理解されるべきである。但し当該効果の有無は、一般に種々の要因、条件及び/又は状態に依存し、当該構成により必ず当該効果が得られるものではないと理解されるべきである。当該効果は、種々の要因、条件及び/又は状態が満たされたときに実施例に記載の当該構成により得られるものに過ぎず、当該構成又は類似の構成を規定したクレームに係る発明において、当該効果が必ずしも得られるものではない。
【0070】
本明細書(請求項を含む)において、「最大化する(maximize)/最大化(maximization)」等の用語が用いられる場合は、グローバルな最大値を求めること、グローバルな最大値の近似値を求めること、ローカルな最大値を求めること、及びローカルな最大値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最大値の近似値を確率的又はヒューリスティックに求めることを含む。同様に、「最小化する(minimize)/最小化(minimization)」等の用語が用いられる場合は、グローバルな最小値を求めること、グローバルな最小値の近似値を求めること、ローカルな最小値を求めること、及びローカルな最小値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最小値の近似値を確率的又はヒューリスティックに求めることを含む。同様に、「最適化する(optimize)/最適化(optimization)」等の用語が用いられる場合は、グローバルな最適値を求めること、グローバルな最適値の近似値を求めること、ローカルな最適値を求めること、及びローカルな最適値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最適値の近似値を確率的又はヒューリスティックに求めることを含む。
【0071】
本明細書(請求項を含む)において、複数のハードウェアが所定の処理を行う場合、各ハードウェアが協働して所定の処理を行ってもよいし、一部のハードウェアが所定の処理の全てを行ってもよい。また、一部のハードウェアが所定の処理の一部を行い、別のハードウェアが所定の処理の残りを行ってもよい。本明細書(請求項を含む)において、「1又は複数のハードウェアが第1の処理を行い、前記1又は複数のハードウェアが第2の処理を行う」等の表現(同様な表現を含む)が用いられている場合、第1の処理を行うハードウェアと第2の処理を行うハードウェアは同じものであってもよいし、異なるものであってもよい。つまり、第1の処理を行うハードウェア及び第2の処理を行うハードウェアが、前記1又は複数のハードウェアに含まれていればよい。なお、ハードウェアは、電子回路、又は電子回路を含む装置を含んでよい。
【0072】
本明細書(請求項を含む)において、複数の記憶装置(メモリ)がデータの記憶を行う場合、複数の記憶装置のうち個々の記憶装置(メモリ)は、データの一部のみを記憶してもよいし、データの全体を記憶してもよい。また、複数の記憶装置のうち一部の記憶装置がデータを記憶する構成を含んでもよい。
【0073】
以上、本開示の実施形態について詳述したが、本開示は上記した個々の実施形態に限定されるものではない。特許請求の範囲に規定された内容及びその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲において種々の追加、変更、置き換え部分的削除等が可能である。例えば、前述した全ての実施形態において、数値又は数式を説明に用いている場合、これらは例示的な目的で示されたものであり、本開示の範囲を限定するものではない。また、実施形態における各動作の順序も例示的なものであり、本開示の範囲を限定するものではない。
【符号の説明】
【0074】
1 探査システム
3 推定装置
5 通信ネットワーク
7 取得装置
9A 外部装置
9B 外部装置
30 コンピュータ
31 プロセッサ
33 主記憶装置
35 補助記憶装置
37 ネットワークインタフェース
39 デバイスインタフェース
41 バス
311 推定部
313 設定部
315 生成部
317 制御部