知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6791780
(24)【登録日】2020年11月9日
(45)【発行日】2020年11月25日
(54)【発明の名称】文章作成装置
(51)【国際特許分類】
G06F 16/20 20190101AFI20201116BHJP
G06F 16/28 20190101ALI20201116BHJP
G06F 16/904 20190101ALI20201116BHJP
G06Q 50/02 20120101ALI20201116BHJP
G06N 3/04 20060101ALI20201116BHJP
G06N 3/08 20060101ALI20201116BHJP
【ＦＩ】
G06F16/20
G06F16/28
G06F16/904
G06Q50/02
G06N3/04 154
G06N3/08
【請求項の数】7
【全頁数】21
(21)【出願番号】特願2017-26630(P2017-26630)
(22)【出願日】2017年2月16日
(65)【公開番号】特開2018-132969(P2018-132969A)
(43)【公開日】2018年8月23日
【審査請求日】2020年1月9日
(73)【特許権者】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110001678
【氏名又は名称】特許業務法人藤央特許事務所
(72)【発明者】
【氏名】童 彬
(72)【発明者】
【氏名】岩山 真
【審査官】
三橋 竜太郎
(56)【参考文献】
【文献】
米国特許出願公開第２０１６／０３７１３１６（ＵＳ，Ａ１）
【文献】
特開２００４−０９２０３４（ＪＰ，Ａ）
【文献】
米国特許第０６６２９０８６（ＵＳ，Ｂ１）
【文献】
坪井 祐太，自然言語処理におけるディープラーニングの発展，オペレーションズ・リサーチ，公益社団法人日本オペレーションズ・リサーチ学会，２０１５年 ４月 １日，第60巻 第4号，p.205-211
【文献】
渡辺 太郎，ニューラルネットワークによる機械学習の発展，人工知能，日本，一般社団法人 人工知能学会，２０１６年 ３月 １日，第31巻，p.202-209
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｆ １６／００−１６／９５８
Ｇ０６Ｑ １０／００−９９／００
Ｇ０６Ｎ ３／００−３／１２
(57)【特許請求の範囲】
【請求項1】
文章作成装置であって、
記憶装置と、
前記記憶装置に格納されているプログラムに従って動作するプロセッサと、を含み、
前記プロセッサは、
入力された複数測定量タイプの測定データから特徴ベクトルを生成するためのエンコード処理と、
前記特徴ベクトルから前記測定データに対応する文章を決定するデコード処理と、を実行し、
前記特徴ベクトルは、前記測定データの全体から抽出された特徴を示す第１特徴ベクトルと、前記複数測定量タイプそれぞれの測定データの特徴ベクトル群と、を含み、
前記特徴ベクトル群の各特徴ベクトルは、対応する測定量タイプの測定データの部分的特徴を示し、
前記デコード処理において、前記文章における語句タイプのための第１層再帰ニューラルネットワーク処理と、前記語句タイプそれぞれに対応する単語のための第２層再帰ニューラルネットワーク処理とを実行し、
前記第２層再帰ニューラルネットワーク処理の出力に基づき前記語句タイプそれぞれに対応する単語を決定し、
前記第１層再帰ニューラルネットワーク処理における前ステップの状態ベクトルと、前記特徴ベクトル群とから、第１ベクトル群を生成し、前記第１ベクトル群の各ベクトルは、前記特徴ベクトル群の各特徴ベクトル群のベクトルそれぞれと前記状態ベクトルとの類似度に基づき生成され、
前記第１ベクトル群のベクトルそれぞれと前記状態ベクトルとの類似度に基づき、第２ベクトルを生成し、
前記第１層再帰ニューラルネットワーク処理における現在ステップに前記第２ベクトルを入力する、文章作成装置。
記憶装置と、
前記記憶装置に格納されているプログラムに従って動作するプロセッサと、を含み、
前記プロセッサは、
入力された複数測定量タイプの測定データから特徴ベクトルを生成するためのエンコード処理と、
前記特徴ベクトルから前記測定データに対応する文章を決定するデコード処理と、を実行し、
前記特徴ベクトルは、前記測定データの全体から抽出された特徴を示す第１特徴ベクトルと、前記複数測定量タイプそれぞれの測定データの特徴ベクトル群と、を含み、
前記特徴ベクトル群の各特徴ベクトルは、対応する測定量タイプの測定データの部分的特徴を示し、
前記デコード処理において、前記文章における語句タイプのための第１層再帰ニューラルネットワーク処理と、前記語句タイプそれぞれに対応する単語のための第２層再帰ニューラルネットワーク処理とを実行し、
前記第２層再帰ニューラルネットワーク処理の出力に基づき前記語句タイプそれぞれに対応する単語を決定し、
前記第１層再帰ニューラルネットワーク処理における前ステップの状態ベクトルと、前記特徴ベクトル群とから、第１ベクトル群を生成し、前記第１ベクトル群の各ベクトルは、前記特徴ベクトル群の各特徴ベクトル群のベクトルそれぞれと前記状態ベクトルとの類似度に基づき生成され、
前記第１ベクトル群のベクトルそれぞれと前記状態ベクトルとの類似度に基づき、第２ベクトルを生成し、
前記第１層再帰ニューラルネットワーク処理における現在ステップに前記第２ベクトルを入力する、文章作成装置。
【請求項2】
請求項１に記載の文章作成装置であって、
前記測定データは、油井の掘削におけるデータであり、
前記文章は前記油井の掘削における地質レポートであり、
前記語句タイプは岩石属性タイプである、文章作成装置。
前記測定データは、油井の掘削におけるデータであり、
前記文章は前記油井の掘削における地質レポートであり、
前記語句タイプは岩石属性タイプである、文章作成装置。
【請求項3】
請求項２に記載の文章作成装置であって、
前記プロセッサは、
複数の訓練データペアを使用して、前記エンコード処理及びデコーダ処理におけるパラメータを学習し、
前記複数の訓練データペアの各ペアは、特定深さ範囲の複数測定量タイプの測定データと前記特定深さ範囲の地質レポートと、で構成されている、文章作成装置。
前記プロセッサは、
複数の訓練データペアを使用して、前記エンコード処理及びデコーダ処理におけるパラメータを学習し、
前記複数の訓練データペアの各ペアは、特定深さ範囲の複数測定量タイプの測定データと前記特定深さ範囲の地質レポートと、で構成されている、文章作成装置。
【請求項4】
請求項１に記載の文章作成装置であって、
前記プロセッサは、
複数の訓練データペアを使用して、前記エンコード処理及びデコーダ処理におけるパラメータを学習し、
前記複数の訓練データペアの各ペアは、複数測定量タイプの測定データと文章と、で構成され、
前記複数の訓練データペアそれぞれによる学習における、前記第１ベクトル群のベクトルそれぞれと前記状態ベクトルとの類似度に基づき、前記語句タイプと前記測定量タイプとの関係を決定する、文章作成装置。
前記プロセッサは、
複数の訓練データペアを使用して、前記エンコード処理及びデコーダ処理におけるパラメータを学習し、
前記複数の訓練データペアの各ペアは、複数測定量タイプの測定データと文章と、で構成され、
前記複数の訓練データペアそれぞれによる学習における、前記第１ベクトル群のベクトルそれぞれと前記状態ベクトルとの類似度に基づき、前記語句タイプと前記測定量タイプとの関係を決定する、文章作成装置。
【請求項5】
請求項１に記載の文章作成装置であって、
前記プロセッサは、
複数の訓練データペアを使用して、前記エンコード処理及びデコーダ処理におけるパラメータを学習し、
前記複数の訓練データペアの各ペアは、複数タイプの測定量の測定データと文章と、で構成され、
前記複数の訓練データペアそれぞれによる学習における前記特徴ベクトル群の特徴ベクトルそれぞれと前記状態ベクトルとの類似度に基づき、前記特徴ベクトル群が対応する測定量タイプの測定データにおいて、前記状態ベクトルが対応する語句タイプと関連する特徴パターンを決定する、文章作成装置。
前記プロセッサは、
複数の訓練データペアを使用して、前記エンコード処理及びデコーダ処理におけるパラメータを学習し、
前記複数の訓練データペアの各ペアは、複数タイプの測定量の測定データと文章と、で構成され、
前記複数の訓練データペアそれぞれによる学習における前記特徴ベクトル群の特徴ベクトルそれぞれと前記状態ベクトルとの類似度に基づき、前記特徴ベクトル群が対応する測定量タイプの測定データにおいて、前記状態ベクトルが対応する語句タイプと関連する特徴パターンを決定する、文章作成装置。
【請求項6】
文章作成装置が文章を作成する方法であって、
前記文章作成装置は、記憶装置と、前記記憶装置に格納されているプログラムに従って動作するプロセッサと、を含み、
前記方法は、
前記プロセッサが、入力された複数測定量タイプの測定データから特徴ベクトルを生成するためのエンコード処理を実行し、
前記プロセッサが、前記特徴ベクトルから前記測定データに対応する文章を決定するデコード処理を実行し、
前記特徴ベクトルは、前記測定データの全体から抽出された特徴を示す第１特徴ベクトルと、前記複数測定量タイプそれぞれの測定データの特徴ベクトル群と、を含み、
前記特徴ベクトル群の各特徴ベクトルは、対応する測定量タイプの測定データの部分的特徴を示し、
前記プロセッサが、前記デコード処理において、前記文章における語句タイプのための第１層再帰ニューラルネットワーク処理と、前記語句タイプそれぞれに対応する単語のための第２層再帰ニューラルネットワーク処理とを実行し、
前記プロセッサが、前記第２層再帰ニューラルネットワーク処理の出力に基づき前記語句タイプそれぞれに対応する単語を決定し、
前記プロセッサが、前記第１層再帰ニューラルネットワーク処理における前ステップの状態ベクトルと、前記特徴ベクトル群とから、第１ベクトル群を生成し、前記第１ベクトル群の各ベクトルは、前記特徴ベクトル群の各特徴ベクトル群のベクトルそれぞれと前記状態ベクトルとの類似度に基づき生成され、
前記プロセッサが、前記第１ベクトル群のベクトルそれぞれと前記状態ベクトルとの類似度に基づき、第２ベクトルを生成し、
前記プロセッサが、前記第１層再帰ニューラルネットワーク処理における現在ステップに前記第２ベクトルを入力する、ことを含む方法。
前記文章作成装置は、記憶装置と、前記記憶装置に格納されているプログラムに従って動作するプロセッサと、を含み、
前記方法は、
前記プロセッサが、入力された複数測定量タイプの測定データから特徴ベクトルを生成するためのエンコード処理を実行し、
前記プロセッサが、前記特徴ベクトルから前記測定データに対応する文章を決定するデコード処理を実行し、
前記特徴ベクトルは、前記測定データの全体から抽出された特徴を示す第１特徴ベクトルと、前記複数測定量タイプそれぞれの測定データの特徴ベクトル群と、を含み、
前記特徴ベクトル群の各特徴ベクトルは、対応する測定量タイプの測定データの部分的特徴を示し、
前記プロセッサが、前記デコード処理において、前記文章における語句タイプのための第１層再帰ニューラルネットワーク処理と、前記語句タイプそれぞれに対応する単語のための第２層再帰ニューラルネットワーク処理とを実行し、
前記プロセッサが、前記第２層再帰ニューラルネットワーク処理の出力に基づき前記語句タイプそれぞれに対応する単語を決定し、
前記プロセッサが、前記第１層再帰ニューラルネットワーク処理における前ステップの状態ベクトルと、前記特徴ベクトル群とから、第１ベクトル群を生成し、前記第１ベクトル群の各ベクトルは、前記特徴ベクトル群の各特徴ベクトル群のベクトルそれぞれと前記状態ベクトルとの類似度に基づき生成され、
前記プロセッサが、前記第１ベクトル群のベクトルそれぞれと前記状態ベクトルとの類似度に基づき、第２ベクトルを生成し、
前記プロセッサが、前記第１層再帰ニューラルネットワーク処理における現在ステップに前記第２ベクトルを入力する、ことを含む方法。
【請求項7】
文章作成装置であって、
入力された複数測定量タイプの測定データから特徴ベクトルを生成するエンコーダ部と、
前記特徴ベクトルから前記測定データに対応する文章を決定するデコーダ部と、含み、
前記特徴ベクトルは、前記測定データの全体から抽出された特徴を示す第１特徴ベクトルと、前記複数測定量タイプそれぞれの測定データの特徴ベクトル群と、を含み、
前記特徴ベクトル群の各特徴ベクトルは、対応する測定量タイプの測定データの部分的特徴を示し、
前記デコーダ部は、
前記文章における語句タイプのための第１層再帰ニューラルネットワーク部と、前記語句タイプそれぞれに対応する単語のための第２層再帰ニューラルネットワーク部とを含み、
前記第２層再帰ニューラルネットワーク部の出力に基づき前記語句タイプそれぞれに対応する単語を決定し、
前記第１層再帰ニューラルネットワーク部における前ステップの状態ベクトルと、前記特徴ベクトル群とから、第１ベクトル群を生成し、前記第１ベクトル群の各ベクトルは、前記特徴ベクトル群の各特徴ベクトル群のベクトルそれぞれと前記状態ベクトルとの類似度に基づき生成され、
前記第１ベクトル群のベクトルそれぞれと前記状態ベクトルとの類似度に基づき、第２ベクトルを生成し、
前記第１層再帰ニューラルネットワーク部における現在ステップに前記第２ベクトルを入力する、文章作成装置。
入力された複数測定量タイプの測定データから特徴ベクトルを生成するエンコーダ部と、
前記特徴ベクトルから前記測定データに対応する文章を決定するデコーダ部と、含み、
前記特徴ベクトルは、前記測定データの全体から抽出された特徴を示す第１特徴ベクトルと、前記複数測定量タイプそれぞれの測定データの特徴ベクトル群と、を含み、
前記特徴ベクトル群の各特徴ベクトルは、対応する測定量タイプの測定データの部分的特徴を示し、
前記デコーダ部は、
前記文章における語句タイプのための第１層再帰ニューラルネットワーク部と、前記語句タイプそれぞれに対応する単語のための第２層再帰ニューラルネットワーク部とを含み、
前記第２層再帰ニューラルネットワーク部の出力に基づき前記語句タイプそれぞれに対応する単語を決定し、
前記第１層再帰ニューラルネットワーク部における前ステップの状態ベクトルと、前記特徴ベクトル群とから、第１ベクトル群を生成し、前記第１ベクトル群の各ベクトルは、前記特徴ベクトル群の各特徴ベクトル群のベクトルそれぞれと前記状態ベクトルとの類似度に基づき生成され、
前記第１ベクトル群のベクトルそれぞれと前記状態ベクトルとの類似度に基づき、第２ベクトルを生成し、
前記第１層再帰ニューラルネットワーク部における現在ステップに前記第２ベクトルを入力する、文章作成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、測定データから自動で文章を作成する技術に関する。
【背景技術】
【0002】
シェールオイル・ガスの採掘において、ドリルに取り付けられたセンサが、様々な測定量（ガンマ線や抵抗値）を定期的に測定する一方で、分析者が、より長い周期で採取された岩石を分析し、その特徴（色、硬度、オイル染みの有無など）を示すテキストレポートを作成する。オペレータは、測定データ及び地質レポートの情報に基づいて次のオペレーションを決定する。
【0003】
特開２００８−３６５５号公報（特許文献１）には、「加速度センサ１１、ジャイロセンサ１２による測定が繰り返され、例えば１日分の測定結果に基づいて、１日のユーザの歩数、平均の歩行ピッチ、平均のターン回数、平均の歩行・停止の回数が求められる。体験表現辞書記憶部２３に記憶されている辞書が参照され、求められた１日のユーザの歩数、平均の歩行ピッチ、平均のターン回数、平均の歩行・停止の回数などから、ユーザの１日の行動を表す文章が生成される。」と記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００８−３６５５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
シェールオイル・ガスの採掘の例において、地質レポートはテキストデータであるため解釈が容易であるが、地質レポートの作成は、人的資源と多くの時間とを必要とする。そのため、地質レポートを自動的に作成することができれば、効率的なオペレーションが実現される。また、地質レポートや主観的であるため、より客観的な地質レポートは、より適切なオペレーションを可能とする。ガンマ線や抵抗値等の測定データは客観的データであるが、地質レポートで必要とされる、色、硬度、オイル染みの有無など岩石の特徴を、直接には示さない。
【0006】
シェールオイル・ガスの採掘の例のように、複数測定量タイプの測定データが取得される環境において、測定データから、適切な文章を自動的に作成できる技術が望まれる。
【課題を解決するための手段】
【0007】
本発明の一態様は、文章作成装置であって、記憶装置と、前記記憶装置に格納されているプログラムに従って動作するプロセッサと、を含み、前記プロセッサは、入力された複数測定量タイプの測定データから特徴ベクトルを生成するためのエンコード処理と、前記特徴ベクトルから前記測定データに対応する文章を決定するデコード処理と、を実行し、前記特徴ベクトルは、前記測定データの全体から抽出された特徴を示す第１特徴ベクトルと、前記複数測定量タイプそれぞれの測定データの特徴ベクトル群と、を含み、前記特徴ベクトル群の各特徴ベクトルは、対応する測定量タイプの測定データの部分的特徴を示し、前記デコード処理において、前記文章における語句タイプのための第１層再帰ニューラルネットワーク処理と、前記語句タイプそれぞれに対応する単語のための第２層再帰ニューラルネットワーク処理とを実行し、前記第２層再帰ニューラルネットワーク処理の出力に基づき前記語句タイプそれぞれに対応する単語を決定し、前記第１層再帰ニューラルネットワーク処理における前ステップの状態ベクトルと、前記特徴ベクトル群とから、第１ベクトル群を生成し、前記第１ベクトル群の各ベクトルは、前記特徴ベクトル群の各特徴ベクトル群のベクトルそれぞれと前記状態ベクトルとの類似度に基づき生成され、前記第１ベクトル群のベクトルそれぞれと前記状態ベクトルとの類似度に基づき、第２ベクトルを生成し、前記第１層再帰ニューラルネットワーク処理における現在ステップに前記第２ベクトルを入力する。
【発明の効果】
【0008】
本発明の一態様によれば、対象についての複数測定量タイプの測定データから、適切な文章を自動的に生成することができる。
【図面の簡単な説明】
【0009】
【図1】本実施形態の文章作成装置の構成例を示す。
【図2】シェールオイル・ガス掘削の概要を示す。
【図3】油井ログデータベースの構成例を示す。
【図4】地質レポートデータベースの構成例を示す。
【図5】地質レポートにおいて記述される岩石属性タイプ及び岩石属性タイプにおいて使用される語句の例を示す。
【図6】一つの油井の地質レポートとログ（測定データ）とから訓練データを生成する処理のフローチャートを示す。
【図7】訓練データを使用した文章作成モデルの学習のフローチャートを示す。
【図8】文章作成モデルプログラムの構成及び処理の概要を模式的に示す。
【図9】ＣＮＮ部による処理を模式的に示す。
【図10】ＬＳＴＭ部による処理を模式的に示す。
【図11】デコーダの処理を模式的に示す。
【図12】学習モードにおける単語ＬＳＴＭ部の処理を模式的に示す。
【図13】運用モードにおける単語ＬＳＴＭ部の処理を模式的に示す。
【図14】岩石属性ＬＳＴＭ部の処理を模式的に示す。
【図15】岩石属性−測定量関係テーブルの構成例を示す。
【図16】語句−パターン関係テーブルの構成例を示す。
【発明を実施するための形態】
【0010】
以下、添付図面を参照して本発明の実施形態を説明する。本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。各図において共通の構成については同一の参照符号が付されている。
【0011】
図１は、本実施形態の文章作成装置１００の構成例を示す。文章作成装置１００は、プロセッサ１１０、メモリ１２０、補助記憶装置１３０、入出力インタフェース１４０を含む。上記構成要素は、バスによって互いに接続されている。メモリ１２０、補助記憶装置１３０又はこれらの組み合わせは記憶装置の例である。
【0012】
メモリ１２０は、例えば半導体メモリから構成され、主にプログラムやデータを一時的に保持するために利用される。メモリ１２０は、訓練データ生成プログラム１２１、文章作成モデルプログラム１２２、学習プログラム１２３、及び運用プログラム１２４を格納する。
【0013】
プロセッサ１１０は、メモリ１２０に格納されているプログラムに従って、様々な処理を実行する。プロセッサ１１０がプログラムに従って動作することで、様々な機能部が実現される。例えば、プロセッサ１１０は、上記プログラムそれぞれに従って、訓練データ生成部、文章作成モデル部、学習部、及び運用部として動作する。
【0014】
補助記憶装置１３０は、例えばハードディスクドライブやソリッドステートドライブなどの大容量の記憶装置から構成され、プログラムやデータを長期間保持するために利用される。補助記憶装置１３０に格納されたプログラムが起動時又は必要時にメモリ１２０にロードされ、このプログラムをプロセッサ１１０が実行することにより、文章作成装置１００の各種処理が実行される。したがって、以下においてプログラムにより実行される処理は、プロセッサ１１０又は文章作成装置１００により処理である。
【0015】
補助記憶装置１３０は、地質レポートデータベース１３２、油井ログデータベース１３４、訓練データデータベース１３６、岩石属性−測定量関係テーブル５４７、及び語句−パターン関係テーブル５４８を格納している。
【0016】
入出力インタフェース１４０は、周辺機器との接続のためのインタフェースであり、例えば、入力装置１４２及び表示装置１４４とが接続される。入力装置１４２は、ユーザが文章作成装置１００に指示や情報などを入力するためのハードウェアデバイスであり、表示装置１４４は、入出力用の各種画像を表示するハードウェアデバイスである。
【0017】
文章作成装置１００は、文章作成モデルプログラム１２２のための、学習モードと運用モード（処理フェーズ）を有する。文章作成モデルプログラム１２２は、深層学習モデルのプログラムである。運用モードにおいて、運用プログラム１２４は、文章作成モデルプログラム１２２に複数タイプの測定量の測定データを入力する。測定データは系列データであり、例えば、入力装置１４２を介して補助記憶装置１３０に格納される。
【0018】
文章作成モデルプログラム１２２は、入力測定データから、対応する文章を推測し、作成する。運用プログラム１２４は、例えば、作成された文章を、表示装置１４４において表示する。作成された文章は、補助記憶装置１３０に格納されてもよい。
【0019】
以下に説明する例においては、測定データは、油井掘削における１又は複数タイプのセンサによる測定データ（センサデータ）であり、文章は地質レポートである。一つのタイプのセンサにより単一又は複数タイプの測定量が測定される。本実施形態に係る深層学習の概念は、油井掘削と異なる分野に適用することができる。
【0020】
訓練データ生成プログラム１２１は、学習モードにおいて使用される訓練データを、地質レポートデータベース１３２及び油井ログデータベース１３４から生成する。訓練データは、それぞれが複数タイプの測定量の測定データ（センサデータ）と文章とからなる複数のペアからなる。
【0021】
学習プログラム１２３は、訓練データにおける測定データを文章作成モデルプログラム１２２に入力し、その出力と訓練データにおける文章との誤差に基づき、文章作成モデルプログラム１２２のパラメータを更新する。後述するように、文章作成モデルプログラム１２２は複数のニューラルネットワーク及びテキストデータをベクトル化するユニットを含む。
【0022】
図２は、シェールオイル・ガス掘削の概要を示す。シェールオイル・ガス掘削は、油井２０１を下方向に掘り進め、シェール層に達したら、掘削方向を横に変える。油井２０１掘削経路２０３を有する。シェールオイル・ガス掘削は、シェール層では、水圧破砕により岩盤に裂け目２０５を形成し、形成した裂け目２０５からオイル・ガスを抽出する。
【0023】
シェールオイル・ガスの掘削中、ドリルに配設された複数タイプのセンサにより測定された数値データが収集され、油井掘削のログデータとして、油井ログデータベース１３４に格納される。さらに、シェールオイル・ガスの掘削において、サンプリングされた岩石の特徴を記述した地質レポート（テキストデータ）が、分析者によって作成され、地質レポートデータベース１３２に格納される。オペレータは、測定データと地質レポートの情報から、水平掘りに変える位置、水圧破砕を行う位置を決定する。
【0024】
文章作成装置１００は、運用モードにおいて、測定データから地質レポートを自動生成する。油井ログデータベース１３４及び地質レポートデータベース１３２は、同じ油井群のデータを格納している。油井ログデータベース１３４及び地質レポートデータベース１３２のデータは、学習モードにおける訓練データとして使用される。
【0025】
図３は、油井ログデータベース１３４の構成例を示す。油井ログデータベース１３４は、複数の油井の測定データを格納する。本例において、共通の入口を有する異なる経路は異なる油井とする。測定データは、油井掘削において１又は複数タイプのセンサによって測定されたデータである。各測定タイプの測定データは、深さにおける測定値の変化を示す。各センサは、所定の間隔で測定を行う。測定値の取得間隔は、例えば、０．５ｍから１．０ｍのいずれかの値である。
【0026】
図３は、いくつかの測定量タイプの測定データの例を示す。具体的には、図３は、ガンマ線（ＧＲ）、掘進率（ＲＯＰ）、メタン（Ｃ１）、エタン（Ｃ２）の測定データを示す。測定される測定量タイプは、これらに限定されない。異なる油井の測定量タイプは、異なっていても同一であってもよい。
【0027】
図４は、地質レポートデータベース１３２の構成例を示す。各地質レポート３２１は、油井掘削においてサンプリングされた岩石の、色、硬さ、油染みの有無などの情報を、所定フォーマットで記述する。地質レポート（テキストデータ）３２１は、岩石を採取（サンプリング）した深さの範囲を表す部分と、深さ範囲内の地層においてサンプリングされた岩石の詳細説明の部分と、から構成される。「深さ」は、油井の入り口からの掘削経路長を意味する。一つの地質レポート３２１は、深さ範囲ごとの岩石の特徴を記述する系列データである。
【0028】
各深さ範囲の詳細説明は、対応する深さ範囲でサンプリングされた岩石の物理的及び化学的特徴（属性）を、所定ルールの下で記述する。地質レポートデータベース１３２の全ての地質レポートは、このルールに従う。ルールは、岩石属性タイプの記述順序を定義する。岩石属性タイプは、語句タイプの例である。図４の例において、ルールは、「色」、「硬さ」、「油染みの有無」、「孔隙率」……の順序で記述することを規定する。一つの地質レポートにおいて、１又は複数の岩石属性の記載が省略されていてもよい。
【0029】
図５は、地質レポートにおいて記述される岩石属性タイプ及び岩石属性タイプにおいて使用される語句の例を示す。ここで、語句は、１又は複数の単語で構成される。上述のように、地質レポートにおいて記述される岩石属性タイプ及びそれらの記述順序は、規定されている。一つの岩石属性タイプは、１又は複数の語句で記述される。
【0030】
文章作成装置１００は、地質レポートデータベース１３２の数値データ（測定データ）と油井ログデータベース１３４のテキストデータとの間の関係を学習する。さらに、文章作成装置１００は、学習した関係に基づき、新たな測定データから、規定ルールに基づき、地質レポートを自動的に作成する。例えば、文章作成装置１００は、予め定義されている順序にしたがって岩石属性タイプを順次選択し、各岩石属性タイプを記述する１又は複数の単語を辞書（ｗｏｒｄ ｅｍｂｅｄｄｉｎｇマトリックス）から選択する。
【0031】
学習モードにおける訓練データの生成を説明する。訓練データ生成プログラム１２１は、地質レポートデータベース１３２及び油井ログデータベース１３４からデータを取得して訓練データを生成し、生成した訓練データを訓練データデータベース１３６に格納する。
【0032】
図６は、一つの油井の地質レポートとログ（測定データ）とから訓練データを生成する処理のフローチャートを示す。訓練データ生成プログラム１２１は、地質レポートデータベース１３２に格納されている複数のレポート、例えば、油井ログデータベース１３４に対応する測定データ（数値データ）が格納されている全ての地質レポートに対して、図６のフローチャートの処理を繰り返す。
【0033】
図６を参照して、訓練データ生成プログラム１２１は、一つの地質レポートを、地質レポートデータベース１３２から取得する（Ｓ１０１）。訓練データ生成プログラム１２１は、選択した地質レポートと同油井のログ（複数測定量タイプの測定データ）を、油井ログデータベース１３４から取得する（Ｓ１０３）。
【0034】
訓練データ生成プログラム１２１は、地質レポートにおける深さ範囲それぞれの、詳細説明と複数測定量タイプの測定データとのペアを生成し、訓練データデータベース１３６に格納する（Ｓ１０５）。上述のように、各センサ（測定量タイプ）の測定間隔は、地質レポートが作成される間隔よりも小さい。一つのペアは、特定深さ範囲の岩石属性の詳細説明と、当該深さ範囲における複数測定量タイプの測定データと、で構成される。詳細説明はテキストデータである。測定データは数値データであって、複数測定量タイプの測定値の深さに対する変化を示す。
【0035】
図７は、訓練データを使用した文章作成モデルの学習のフローチャートを示す。学習プログラム１２３は、訓練データを使用した深層学習により、文章作成モデルプログラム１２２の適切なパラメータを改善する。
【0036】
まず、学習プログラム１２３は、訓練データデータベース１３６から訓練データを取得する（Ｓ１５１）。取得する訓練データは、岩石属性の詳細説明のテキストデータと複数測定量タイプの測定データである数値データとの、複数のペアである。
【0037】
学習プログラム１２３は、取得した訓練データから、それぞれが複数ペアの訓練データからなる複数のバッチを生成し、順次文章作成モデルプログラム１２２に入力する（Ｓ１５３）。学習プログラム１２３は、バッチバックプロパゲーションにより、文章作成モデルプログラム１２２のパラメータを更新する（Ｓ１５５）。
【0038】
学習プログラム１２３は、教師データである訓練データにおける詳細説明と、文章作成モデルプログラム１２２が生成するテキストと、の間の誤差、及び、損失関数を使用して、文章作成モデルプログラム１２２のパラメータを修正する。バッチバックプロパゲーションは公知の技術であり、詳細説明を省略する。
【0039】
バッチバックプロパゲーションの回数が、予め設定されているepoch数に達している場合（Ｓ１５７：ＹＥＳ）、学習プログラム１２３は、学習処理を終了する。バッチバックプロパゲーションの回数が、予め設定されているepoch数に達していない場合（Ｓ１５７：ＮＯ）、学習プログラム１２３は、ステップＳ１５３に戻る。バッチバックプロパゲーションによる損失の減少が閾値未満である場合に、学習プログラム１２３は、Ｓ１５３に戻ることなく、学習処理を終了してもよい。
【0040】
図８は、文章作成モデルプログラム１２２の構成及び処理の概要を模式的に示す。文章作成モデルプログラム１２２は、エンコーダ及びデコーダ構造を有するニューラルネットワークを利用して、測定データから地質レポートを作成する。
【0041】
文章作成モデルプログラム１２２は、エンコード処理を実行するエンコーダ４００及びデコード処理を実行するデコーダ５００を含む。外部からの入力データは、エンコーダ４００に入力される。１回の入力は、一つのベクトル４０１である。本例において、文章作成モデルプログラム１２２の不図示のベクトル生成部は、入力ベクトル４０１を、一つの測定量タイプの一つの深さ範囲での測定データから生成する。
【0042】
一つの文章（地質レポート）に対して、複数のベクトル４０１が順次入力される。複数の入力ベクトル４０１は、それぞれ、当該地質レポートの深さ範囲での複数測定量タイプの測定データから生成される。エンコーダ４００は、複数の入力ベクトル４０１から、一つのエンコーダ出力ベクトル４０２を生成する。エンコーダ出力ベクトル４０２は、入力データ全体から抽出された特徴を示す特徴ベクトルであり、固定の次元数（ベクトルサイズ）を有する。
【0043】
エンコーダ４００の出力は、デコーダ５００の入力である。デコーダ５００の出力は、文章作成モデルプログラム１２２の出力である。本例において、デコーダ５００は、エンコーダ４００が生成した特徴ベクトル４０２から、岩石属性の詳細説明を示すベクトル（ここでは文章ベクトルと呼ぶ）５０１を生成する。後述するように、デコーダ５００は、階層構造を有し、さらに、Ａｔｔｅｎｔｉｏｎ機構により岩石属性と個々の測定量タイプとの間の関係を学習する。
【0044】
エンコーダ４００は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）部４１０、ＬＳＴＭ（Ｌｏｎｇ ｓｈｏｒｔ−ｔｅｒｍ ｍｅｍｏｒｙ）部４２０、及び融合部４３０を含む。ＬＳＴＭは、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の一例である。
【0045】
ＣＮＮ部４１０は、入力データの局所的領域それぞれの特徴を抽出し、入力データのノイズを低減する。ＣＮＮ部４１０は、一次元のＣＮＮであり、入力は一つの測定量タイプの特定深さ範囲における測定データである。測定データは、深さにおける測定値の変化を示し、系列データである。一つの測定量タイプの測定データは、入力ベクトル４０１で表わされる。一つの文章に対して、複数測定量タイプの測定データを、それぞれ独立にＣＮＮ部４１０に入力することで、各測定量タイプが独自に示す特徴的なパターンを抽出可能とする。
【0046】
ＣＮＮ部４１０は、複数の固定サイズのベクトル（ベクトル群４０３）を出力する。後述するように、ベクトル群４０３のベクトルは、畳み込み層におけるフィルタ群による特徴マップに対応する。なお、ＣＮＮにより適切な特徴ベクトルを測定データから効率的に取得することができるが、ＣＮＮと異なるアルゴリズム、例えば、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を使用して測定データの特徴ベクトルを生成してもよい。エンコーダ４００は、ＦＦＴを使用して、各測定タイプの測定データのスペクトログラム（二次元イメージ）を生成し、スペクトログラムに対してＣＮＮを適用してもよい。
【0047】
ＣＮＮ出力ベクトル群４０３は、ＬＳＴＭ部４２０に入力される。ＬＳＴＭ部４２０は、入力されたベクトル群４０３と同数のベクトルからなるベクトル群４０４を出力する。ＬＳＴＭ部４２０は、さらに、最終出力状態ベクトル４０５を出力する。ＬＳＴＭ部４２０は、ＣＮＮでは十分に示すことが困難な、測定データの系列データとしての特徴を、より適切に抽出する。なお、ＬＳＴＭ部４２０は省略してもよい。
【0048】
複数の測定量タイプの測定データから生成されたベクトル４０１が順次入力され、ＬＳＴＭ部４２０は、ベクトル４０１の入力数と同数の、最終出力状態ベクトル４０５及び出力ベクトル群４０４を、それぞれ生成する。
【0049】
融合部４３０は、複数の最終出力状態ベクトル４０５を融合して、一つの固定サイズのベクトル４０２を生成する。融合部４３０は、例えば、全結合層により固定サイズのベクトルを生成する。ベクトル４０２は、エンコーダ４００の出力ベクトルであり、デコーダ５００の入力ベクトルである。複数のＬＳＴＭ出力ベクトル群４０４は、デコーダ５００におけるＡｔｔｅｎｔｉｏｎ機構のために参照（入力）される。
【0050】
デコーダ５００は、エンコーダ出力ベクトル４０２と、複数のＬＳＴＭ出力ベクトル群４０４とから、文章ベクトル５０１を生成する。文章ベクトル５０１は、入力された測定データに対する地質レポートを表す。上述のように、地質レポートにおける岩石属性の記述順序は予め定義されている。文章ベクトル５０１は、岩石属性タイプそれぞれに対して選択された１又は複数の単語を示す。
【0051】
文章ベクトル５０１は、運用モードにおいて生成される。学習モードにおいて、デコーダ５００は、各岩石属性における、単語それぞれの確率を出力する。学習プログラム１２３は、出力された確率、教師データ及び損失関数に基づき、文章作成モデルプログラム１２２のパラメータを更新する。
【0052】
デコーダ５００は階層構造を有し、岩石属性ＬＳＴＭ５１０及び単語ＬＳＴＭ５３０を含む。後述するように、岩石属性ＬＳＴＭ５１０と単語ＬＳＴＭ５３０との間において、データが入出力される。上述のように、地質レポートは、所定の岩石属性タイプそれぞれについて記述する。階層的ＬＳＴＭ及び階層的Ａｔｔｅｎｔｉｏｎ機構により、各岩石属性タイプのより適切な記述を可能とする。なお、デコーダ５００は階層構造を有していない、つまり、単一ＬＳＴＭで文章ベクトル５０１を生成してもよい。ＣＮＮ部４１０による処理をＣＮＮ処理（畳み込みニューラルネットワーク処理）と呼ぶ。ＬＳＴＭ部４２０、５１０、５３０それぞれによる処理を、ＬＳＴＭ処理と呼ぶ。ＬＳＴＭ処理は再帰ニューラルネットワーク処理の例である。
【0053】
以下において、文章作成モデルプログラム１２２の構成要素の詳細を説明する。図９はＣＮＮ部４１０による処理を模式的に示す。上述のように、ＣＮＮ部４１０に対して、一つの地質レポートの一つの深さ範囲における、複数測定量タイプの測定データが、順次入力される。図９は、入力される一つの測定量タイプの測定データ４１１を例として示す。入力される測定データは、ベクトルで表わされる。
【0054】
ＣＮＮ部４１０は、積み重ねられた畳み込み層とプーリング層とを含み、畳み込み及びプーリングを繰り返し実行する。畳み込みは、入力データに対して、複数の小領域フィルタによるフィルタリングを実行し、複数の特徴マップ（特徴マップ群）４１２を生成する。一つのフィルタは、入力データにおいてシフトしつつフィルタ内の値の積和を計算し、一つの特徴マップを生成する。
【0055】
畳み込みは、測定データの局所的な特徴を抽出する。プーリングは、局所的な特徴を集約するように、各特徴マップを縮小する。ＣＮＮ部４１０は、複数の特徴マップそれぞれをベクトル化して、複数の固定長のベクトルからなるＣＮＮ出力ベクトル群４０３を生成する。ＣＮＮ出力ベクトル群４０３の各ベクトルは、測定データにおける部分的な特徴を示す特徴ベクトルである。なお、畳み込み層とプーリング層それぞれの数は設計に依存し、プーリング層は省略されてもよい。
【0056】
図１０は、ＬＳＴＭ部４２０による処理を模式的に示す。ＬＳＴＭはＲＮＮであり、隠れ層の値を再び隠れ層に入力するネットワーク構造を有する。ＲＮＮは、以前に計算された情報を覚える記憶力を持つ。ＲＮＮは、その時点までのデータの情報を使用することで、入力データの系列情報を取り込む。ＬＳＴＭは、より長期の情報を利用することができる。
【0057】
ＬＳＴＭ部４２０の出力データは、測定データの系列データとしての特徴を表すことができる。ＬＳＴＭ部（ＬＳＴＭユニット）４２０は、通常のデータ入力４２１及びデータ出力４２２に加え、状態入力４２３及び状態出力４２４を有する。
【0058】
ＬＳＴＭ部４２０は、ＣＮＮ出力ベクトル群４０３の複数ベクトルを、順次取得し、ＬＳＴＭ出力ベクトル群４０４のベクトルを順次出力する。ＣＮＮ出力ベクトル群４０３から選択された一つのベクトルは、データ入力４２１に入力される。ＬＳＴＭ出力ベクトル群４０４における対応する一つのベクトルが、データ出力４２２から出力される。ＬＳＴＭ出力ベクトル群４０４のベクトルは、それぞれ、ＣＮＮ出力ベクトル群４０３のベクトルに対応する。従って、ＬＳＴＭ出力ベクトル群４０４の各ベクトルは、測定データにおける部分的な特徴を示す特徴ベクトルである。
【0059】
状態入力４２３に対しては、状態出力４２４からのベクトルが入力される。状態入力４２３への最初の入力は、規定の初期ベクトルである。ＬＳＴＭ部４２０は、ＣＮＮ出力ベクトル群４０３の最後のベクトルの入力に対する状態出力４２４のベクトルを、最終出力状態ベクトル４０５として出力する。
【0060】
図１１は、デコーダ５００の処理を模式的に示す。図１１の例において、二つの測定量タイプの測定データが、エンコーダ４００に入力されている。エンコーダ４００は、測定量タイプＡのＬＳＴＭ出力ベクトル群４０４Ａと、測定量タイプＢのＬＳＴＭ出力ベクトル群４０４Ｂと、を生成する。エンコーダ出力ベクトル４０２は、測定量タイプＡの測定データによるＬＳＴＭ部４２０の最終出力状態ベクトルと、測定量タイプＢの測定データによるＬＳＴＭ部４２０の最終出力状態ベクトルとから生成されている。
【0061】
岩石属性ＬＳＴＭ部５１０は、繰り返し処理により隠れ状態ベクトルを順次生成する。図１１は、三つの状態ベクトル５１１〜５１３を、例として示す。１ステップにおいて生成された状態ベクトルは、次のステップに入力される。岩石属性ＬＳＴＭ５１０の各ステップは、三つの入力を有する。一つは前ステップの出力状態ベクトル、一つはＡｔｔｅｎｔｉｏｎ機構５４０からの出力ベクトル、一つは単語ＬＳＴＭ５３０からの出力である。
【0062】
単語ＬＳＴＭ部５３０は、岩石属性ＬＳＴＭ５１０のステップそれぞれからの入力を受けて、繰り返し処理（ループ）を繰り返す。単語ＬＳＴＭ部５３０は、一回の繰り返し処理において、岩石属性ＬＳＴＭ５１０のステップからベクトルを受け、岩石属性ＬＳＴＭ５１０の次のステップにベクトルを出力する。
【0063】
単語ＬＳＴＭ部５３０は、一回の繰り返し処理において、隠れ状態ベクトル５３２と、データ出力ベクトルとを順次生成する。隠れ状態ベクトル５３２は、次のステップで入力される。一回の繰り返し処理における最終ステップの状態ベクトル５３２は、岩石属性ＬＳＴＭ５１０の次のステップに入力される。
【0064】
単語ＬＳＴＭ部５３０のデータ出力ベクトルは、使用する単語を決定するためのベクトルである。単語ＬＳＴＭ部５３０は、繰り返し処理により、現在の岩石属性タイプに対する記述単語を順次出力する。データ出力ベクトルは、例えば不図示のｓｏｆｔｍａｘ関数に、入力される。ｓｏｆｔｍａｘ関数は、単語それぞれの確率を示す。運用モードにおいて、デコーダ５００は最も確率が高い単語を選択する。学習モードにおいて、学習プログラム１２３は、訓練データの単語の確率が最も高くなるようにデコーダ５００のパラメータを更新する。
【0065】
単語ＬＳＴＭ５３０の各ステップにおいて、ｗｏｒｄ ｅｍｂｅｄｄｉｎｇマトリクス５３１により生成される直前の単語のベクトルが入力される。ｗｏｒｄ ｅｍｂｅｄｄｉｎｇマトリクス５３１は、単語のインデックスから当該単語のベクトルを生成する。運用モードにおいて、デコーダ５００は、直前ステップで選択された単語（最高確率の単語）のインデックスをｗｏｒｄ ｅｍｂｅｄｄｉｎｇマトリクス５３１に入力し、現在ステップに入力する単語のベクトルを生成する。
【0066】
学習モードにおいて、学習プログラム１２３は、訓練データにおける直前の単語のインデックスをｗｏｒｄ ｅｍｂｅｄｄｉｎｇマトリクス５３１において検索し、現在ステップに入力する単語のベクトルを決定する。ｗｏｒｄ ｅｍｂｅｄｄｉｎｇマトリクス５３１は、ＣＮＮ部４１０、ＬＳＴＭ部４２０、岩石属性ＬＳＴＭ部５１０、単語ＬＳＴＭ部５３０と共に、学習対象である。
【0067】
各岩石属性タイプの文章は、開始記号で始まり、終了記号で終了する。双方のモードにおいて、単語ＬＳＴＭ部５３０の最初のステップへの入力単語ベクトルは、開始記号のベクトルである。単語ＬＳＴＭ部５３０のステップ数は固定である。文章の単語数よりも単語ＬＳＴＭ５３０部のステップ数が多い場合、終了記号の後に所定の記号が追加される。
【0068】
一回の繰り返し処理における、単語ＬＳＴＭ部５３０の最初のステップへの入力は、岩石属性ＬＳＴＭ部５１０の状態ベクトル及びｗｏｒｄ ｅｍｂｅｄｄｉｎｇマトリクス５３１により生成される開始記号のベクトルである。二番目以降のステップにおける入力は、直前ステップの出力状態ベクトルと、直前ステップでの単語のベクトルである。最終ステップの状態ベクトル（最終出力状態ベクトル）は、岩石属性ＬＳＴＭ部５１０の次のステップに入力される。
【0069】
デコーダ５００は、二段階のＡｔｔｅｎｔｉｏｎ機構５４０を有する。Ａｔｔｅｎｔｉｏｎ機構５４０により生成されたベクトルは、岩石属性ＬＳＴＭ５１０に入力される。Ａｔｔｅｎｔｉｏｎ機構５４０は、第１層５４１及び第２層５４２を有する。
【0070】
図１１は、状態ベクトル５１２の生成において、Ａｔｔｅｎｔｉｏｎ機構５４０により生成されたベクトル５４３が入力される例を示す。Ａｔｔｅｎｔｉｏｎ機構５４０により生成されたベクトルは、岩石属性ＬＳＴＭ５１０の各ステップ（各状態ベクトルの生成）において入力さされる。Ａｔｔｅｎｔｉｏｎ機構５４０は、岩石属性ＬＳＴＭ部５１０の現在ステップへ入力するベクトルを、岩石属性ＬＳＴＭ部５１０における直前ステップの状態ベクトル及びＬＳＴＭ出力ベクトル群４０４Ａ、４０４Ｂから、生成する。
【0071】
エンコーダ出力ベクトル４０２は、岩石属性ＬＳＴＭ部５１０の最初のステップに入力される。エンコーダ出力ベクトル４０２と共に、Ａｔｔｅｎｔｉｏｎ機構５４０からのベクトルが岩石属性ＬＳＴＭ５１０に入力される。Ａｔｔｅｎｔｉｏｎ機構５４０は、エンコーダ出力ベクトル４０２、ＬＳＴＭ出力ベクトル群４０４Ａ、４０４Ｂから、岩石属性ＬＳＴＭ５１０に入力されるベクトルを生成する。単語ＬＳＴＭ部５３０からの出力に対応する初期値が、さらに、岩石属性ＬＳＴＭ部５１０の最初のステップに入力される。
【0072】
岩石属性ＬＳＴＭ部５１０の最初のステップの出力ベクトルは、単語ＬＳＴＭ部５３０の最初のステップに入力される。単語ＬＳＴＭ部５３０は、岩石属性ＬＳＴＭ部５１０からの出力ベクトルと、ｗｏｒｄ ｅｍｂｅｄｄｉｎｇマトリクス５３１からの開始記号の単語ベクトルとから、状態ベクトルと選択単語を示すためのデータベクトルを出力する。ｓｏｆｔｍａｘ関数は、データベクトルから単語それぞれの確率を示し、運用モードにおいて最高確率の単語が選択される。
【0073】
単語ＬＳＴＭ部５３０は、直前のステップからの状態ベクトルとｗｏｒｄ ｅｍｂｅｄｄｉｎｇマトリクス５３１からの直前の単語の単語ベクトルとを入力として、ステップを繰り返す。最後のステップからの状態ベクトルは、岩石属性ＬＳＴＭ部５１０に入力される。
【0074】
岩石属性ＬＳＴＭ部５１０は、二番目以降のステップにおいて、直前ステップの状態ベクトル、Ａｔｔｅｎｔｉｏｎ機構５４０からのベクトル、及び単語ＬＳＴＭ部５３０からの最終状態ベクトルを入力として受け取る。Ａｔｔｅｎｔｉｏｎ機構５４０は、岩石属性ＬＳＴＭ部５１０における直前ステップの状態ベクトル及びＬＳＴＭ出力ベクトル群４０４Ａ、４０４Ｂから、岩石属性ＬＳＴＭ部５１０の現在ステップへ入力するベクトルを生成する。
【0075】
図１２は、学習モードにおける単語ＬＳＴＭ部５３０の処理を模式的に示す。単語ＬＳＴＭ部５３０は、データ入力５３５、データ出力５３６、状態入力５３７、状態出力５３８を有する。ｗｏｒｄ ｅｍｂｅｄｄｉｎｇマトリクス５３１により生成された訓練データの単語の単語ベクトルが、繰り返されるステップにおいて、順次データ入力５３５に入力される。
【0076】
訓練データの最初単語は開始記号であり、最後の単語は終了記号である。訓練データの単語数が、単語ＬＳＴＭ部５３０のステップ数を超える場合、終了記号の後に所定記号が追加される。
【0077】
データ出力５３６からのベクトルが、ｓｏｆｔｍａｘ関数により、単語の確率を示すベクトルに変換される。単語の確率を示すベクトルは、学習における損失を計算するために使用される。
【0078】
状態出力５３８からのベクトルは、状態入力５３７に入力される。状態入力５３７への初期ベクトルは、岩石属性ＬＳＴＭ部５１０から出力された状態ベクトルである。状態出力５３８からの最終状態ベクトルは、次の属性ＬＳＴＭ部５１０のステップに入力される。
【0079】
図１３は、運用モードにおける単語ＬＳＴＭ部５３０の処理を模式的に示す。学習モードとの違いは、データ入力５３５へ入力される単語ベクトルである。運用モードにおいて、デコーダ５００は、データ出力５３６からのベクトルをｓｏｆｔｍａｘ関数により変換し、最高確率の単語を地質レポートに含める単語として選択する。
【0080】
デコーダ５００は、ｗｏｒｄ ｅｍｂｅｄｄｉｎｇマトリクス５３１から選択した単語の単語ベクトルを、次のステップのデータ入力５３５へ入力する。データ入力５３５へのデータ入力５３５への初期ベクトルは、開始記号の単語ベクトルである。以降、デコーダ５００は、データ出力５３６における最高確率の単語のベクトルをｗｏｒｄ ｅｍｂｅｄｄｉｎｇマトリクス５３１から選択して、次のステップのデータ入力５３５へ入力する。
【0081】
運用モードにおける状態入力５３７への入力ベクトル及び状態出力５３８からの出力ベクトルは、学習モードにおけるベクトルと同様である。
【0082】
図１４は、岩石属性ＬＳＴＭ部５１０の処理を模式的に示す。岩石属性ＬＳＴＭ部５１０は、二つのデータ入力５１５、５１８、状態入力５１６、及び状態出力５１７を有する。状態出力５１７からのベクトルが、状態入力５１６に入力される。状態入力５１６への初期ベクトルは、エンコーダ４００からのエンコーダ出力ベクトル４０２である。
【0083】
直前の岩石属性のための単語ＬＳＴＭ部５３０の繰り返し処理における、ベクトル状態出力５３８からの、最終出力状態ベクトルが、データ入力（以下単語入力と呼ぶ）５１５に入力される。単語入力５１５への初期ベクトルは、予め定められているベクトルである。Ａｔｔｅｎｔｉｏｎ機構５４０からのベクトル５４３が、データ入力（以下Ａｔｔｅｎｔｉｏｎ入力と呼ぶ）５１８に入力される。
【0084】
Ａｔｔｅｎｔｉｏｎ機構５４０は、岩石属性ＬＳＴＭ部５１０の現在ステップへ入力するベクトルを、岩石属性ＬＳＴＭ部５１０における直前ステップの状態ベクトル及びＬＳＴＭ出力ベクトル群４０４Ａ、４０４Ｂから、生成する。最初ステップへのベクトルは、エンコーダ出力ベクトル４０２及びＬＳＴＭ出力ベクトル群４０４Ａ、４０４Ｂから、生成される。
【0085】
図１１に示すように、Ａｔｔｅｎｔｉｏｎ機構５４０は、第１層５４１及び第２層５４２の二層構造を有する。エンコーダ出力ベクトル４０２は、固定長ベクトルであり、測定データの一部の情報が欠落し得る。二階層のＡｔｔｅｎｔｉｏｎ機構５４０により、岩石属性ＬＳＴＭ５１０の状態の観点から、より多くの情報を測定データから取得することができる。
【0086】
第１層５４１は、岩石属性ＬＳＴＭ５１０の出力状態ベクトルと測定量タイプそれぞれのＬＳＴＭ出力ベクトル群とを比較して、複数ベクトルを生成する。図１１の例において、第１層５４１は、岩石属性ＬＳＴＭ５１０の出力状態ベクトル５１１と、ＬＳＴＭ出力ベクトル群４０４Ａ、４０４Ｂそれぞれとを比較して、ベクトル５４４、５４５を生成する。
【0087】
第１層５４１は、各測定量タイプのベクトルを、例えば、下記式（１）の重み付き和により、ベクトルを生成する。
【0088】
【数1】
【0089】
ここで、ａｉは、ＬＳＴＭ出力ベクトル群の各ベクトルであり、ｑは岩石属性ＬＳＴＭ５１０の出力状態ベクトルである。ｓｉｍ（ａｉ，ｑ）は、ベクトル間の類似度を示し、下記式（２）又は式（３）により与えられる。Ｍ１は学習の変数である。ｓｉｍ（ａｉ，ｑ）は、他の式で計算されてもよい。
【0090】
【数2】
【0091】
【数3】
【0092】
数式（１）は、ＬＳＴＭ出力ベクトルそれぞれに重みを掛け、それらの総和を計算する。ＬＳＴＭ出力ベクトルの重みは、そのＬＳＴＭ出力ベクトルと岩石属性ＬＳＴＭ５１０の状態ベクトルとの類似度を示す。重みは、岩石属性ＬＳＴＭ５１０の状態と類似度が高い程大きい。数式（１）により、一つの測定量タイプの測定データにおいて、一つ前のステップの岩石属性ＬＳＴＭ５１０の状態と類似度がより高い深さ範囲のデータが、より高い影響を次のステップに与える。
【0093】
第２層５４２は、例えば、下記式（４）の重み付き和により、Ａｔｔｅｎｔｉｏｎ機構５４０の出力ベクトルを生成する。
【0094】
【数4】
【0095】
ここで、ｔｉは、第１層５４１において生成される各ベクトルであり、ｑは岩石属性ＬＳＴＭ５１０の出力状態ベクトルである。ｓｉｍ（ｔｉ，ｑ）は、ベクトル間の類似度を示し、下記式（５）又は式（６）により与えられる。Ｍ２は学習の変数である。ｓｉｍ（ｔｉ，ｑ）は、他の式で計算されてもよい。
【0096】
【数5】
【0097】
【数6】
【0098】
数式（４）は、第１層５４１の出力ベクトルそれぞれに重みを掛け、それらの総和を計算する。第１層５４１の出力ベクトルの重みは、その第１層５４１の出力ベクトルと岩石属性ＬＳＴＭ５１０の状態ベクトルとの類似度を示す。重みは、岩石属性ＬＳＴＭ５１０の状態と類似度が高い程大きい。数式（４）により、複数の測定量タイプにおいて、一つ前のステップの岩石属性ＬＳＴＭ５１０の状態と類似度がより高い測定量タイプのデータが、より高い影響を次のステップに与える。
【0099】
上述のように、文章作成装置１００は、油井掘削における測定データと地質レポートの訓練データを使用した深層学習により、油井掘削における測定データから対応する地質レポートを推定し、作成することができる。文章作成装置１００は、訓練データを変更することで、油井掘削と異なる分野に適用することができる。文章作成装置１００は、対象の測定データと当該対象についての文章とからなるペアの訓練データを使用して深層学習によりパラメータを改善する。文章作成装置１００は、訓練データと同一タイプの特定対象の測定データ受信し、当該特定対象のついての文章を推定、作成する。
【0100】
図１５は、岩石属性タイプと測定量タイプとの間の関係を示す、岩石属性−測定量関係テーブル５４７の例を示す。学習プログラム１２３は、入力装置１４２からユーザ入力に応じて、岩石属性−測定量関係テーブル５４７の情報を表示装置１４４において表示する。ユーザは、岩石属性−測定量関係テーブル５４７の情報を参照することによって、岩石属性タイプと測定量タイプとの間の関係の学習結果を知ることができる。
【0101】
例えば、学習プログラム１２３は、入力装置１４２から岩石属性タイプ又は測定量タイプの指定を受けると、最も関係性が高い測定量タイプ又は岩石属性タイプを表示装置１４４において表示する。学習プログラム１２３は、指定された岩石属性タイプと全ての測定量タイプとの関係性又は指定された測定量タイプと全ての岩石属性タイプとの関係性を示してもよい。
【0102】
図１５は、６の岩石属性タイプと６の測定量タイプの例を示す。岩石属性−測定量関係テーブル５４７の各セルの値は、岩石属性タイプに対する測定量タイプの重み（関係性）を表す。例えば、岩石属性「Ｒｏｃｋ Ｔｙｐｅ」について、複数の測定量タイプの内、Ｃ１測定量タイプが最も影響を受けやすい（関係性が強い）測定量タイプである。
【0103】
岩石属性−測定量関係テーブル５４７は、学習モードにおける、Ａｔｔｅｎｔｉｏｎ機構５４０における第２層５４２において計算される類似度から得られる値を格納する。学習プログラム１２３は、以下のステップにより岩石属性−測定量関係テーブル５４７を生成する。
【0104】
学習プログラム１２３は、地質レポートと複数測定量タイプの測定データとの各ペア（訓練データの各ペア）に対して、岩石属性−測定量関係テーブル５４７と同様構成の中間テーブルを生成し、それら岩石属性−測定量関係テーブルの値の統計値を、岩石属性−測定量関係テーブル５４７に格納する。
【0105】
訓練データにおける一つのペアのデータから、岩石属性−測定量関係テーブル５４７と同様構成の中間テーブルを生成する方法を説明する。学習プログラム１２３は、岩石属性ＬＳＴＭ５１０の各ステップにおいて、全測定量タイプのｓｉｍ（ｔｉ，ｑ）を取得する。図１５の例において、ｓｉｍ（ｔｉ，ｑ）の数は６である。
【0106】
学習プログラム１２３は、岩石属性ＬＳＴＭ５１０の各ステップにおいて、取得したｓｉｍ（ｔｉ，ｑ）から、ベクトルＳ（ｓ＿１、・・・ｓ＿Ｍ）を生成する。ここで、ｓ＿ｉ＝ｓｉｍ（ｔｉ，ｑ）である。Ｍはセンタタイプの数であり、図１５の例において６である。岩石属性ＬＳＴＭ５１０の一つのステップにおけるベクトルＳが、当該ステップの岩石属性タイプのレコードである。岩石属性ＬＳＴＭ５１０の全てのステップにおけるベクトルＳからなるマトリックスが、当該訓練データペアの中間テーブルのデータである。
【0107】
学習プログラム１２３は、全ての訓練データペアについて、中間テーブルを生成する。学習プログラム１２３は、中間テーブルの各セルの統計値を計算して、最終的な岩石属性−測定量関係テーブル５４７の値を決定する。例えば、各セルの平均値が、岩石属性−測定量関係テーブル５４７における値である。
【0108】
図１６は、地質レポートの語句と測定データから抽出されるパターンとの関係を示す、語句−パターン関係テーブル５４８の例を示す。学習プログラム１２３は、ユーザ入力に応じて、語句−パターン関係テーブル５４８の情報を表示装置１４４において表示する。ユーザは、語句−パターン関係テーブル５４８を参照することによって、地質レポートの語句と測定データから抽出されるパターンとの間の関係の学習結果を知ることができる。
【0109】
例えば、学習プログラム１２３は、入力装置１４２から語句の指定を受けると、最も関係性が高い測定量タイプ及びパターンを表示装置１４４において表示する。学習プログラム１２３は、入力装置１４２から測定量タイプの指定受けて、最も関係性が高い語句及び関係するパターンを、表示装置１４４において表示してもよい。
【0110】
語句−パターン関係テーブル５４８は、語句カラム９１０、測定量タイプカラム９２０、及びパターンカラム９３０を有する。測定量タイプカラム９２０は、語句カラム９１０の語句に最も関係性が高い測定量タイプを示す。パターンカラム９３０は、関連する１又は複数のパターンを示す。一つの語句が複数の測定量タイプと関連する場合、一つの語句に対して複数のレコードが含まれる。
【0111】
一つの訓練データペアにおいて、語句に対する最も関係性が高い測定量タイプと関連するパターンを決定する方法を説明する。学習プログラム１２３は、語句が属する岩石属性タイプに最も関係性が高い測定量タイプを、当該語句に最も関係性が高い測定量タイプと決定する。岩石属性タイプと測定量タイプとの関係性は、図１５を参照して説明した方法により、決定できる。
【0112】
学習プログラム１２３は、Ａｔｔｅｎｓｔｉｏｎ機構５４０における第１層５４１において計算されるｓｉｍ（ａｉ，ｑ）に基づいて、パターンを決定する。学習プログラム１２３は、一つの岩石属性タイプの語句に最も関係性が高い測定量タイプのｓｉｍ（ａｉ，ｑ）において最も大きい値のベクトルａｉを特定する。図８に示すように、ベクトルａｉは、ＬＳＴＭ４２０の出力であり、対応する単一のＣＮＮ出力ベクトルが存在する。
【0113】
ＣＮＮ出力ベクトルは、それぞれ、入力測定データの部分対応領域（セグメント）の要約を示し、ＣＮＮ出力ベクトルの対応領域は、ＣＮＮ部４１０の構造に基づき決まっている。つまり、ＬＳＴＭ出力ベクトルａｉのシーケンスにおける位置により、入力測定データの対応領域が決定される。学習プログラム１２３は、当該測定量タイプの測定データにおいて、ｓｉｍ（ａｉ，ｑ）が最も高いａｉに対応する領域のパターンを、当該訓練データペアにおける当該語句に関連するパターンと決定する。
【0114】
学習プログラム１２３は、複数の訓練データペアにおいて同一語句についてのパターンが得られる場合、全てのパターンを語句−パターン関係テーブル５４８に含める。学習プログラム１２３は、複数パターンから典型的なパターンを形成してもよい。例えば、学習プログラム１２３は、パターン間に類似度に基づいてパターンを複数グループに分割し、各グループにおける平均パターンを計算する。学習プログラム１２３は、グループそれぞれの平均パターンを語句−パターン関係テーブル５４８に含める。
【0115】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0116】
また、上記の各構成・機能・処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード等の記録媒体に置くことができる。
【0117】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0118】
１００ 文章作成装置、１１０ プロセッサ、１２０ メモリ、１２１ 訓練データ生成プログラム、１２２ 文章作成モデルプログラム、１２３ 学習プログラム、１２４ 運用プログラム、１３０ 補助記憶装置、１３２ 地質レポートデータベース、１３４ 油井ログデータベース、１３６ 訓練データデータベース、１４０ 入出力インタフェース、１４２ 入力装置、１４４ 表示装置、２０１ 油井、２０３ 掘削経路、３２１ 地質レポート、４００ エンコーダ、４０１ 入力ベクトル、４０２ エンコーダ出力ベクトル、４０３ 出力ベクトル群、４０４Ａ 出力ベクトル群、４０４Ｂ 出力ベクトル群、４０５ 最終出力状態ベクトル、４１０ ＣＮＮ部、４１１ 測定データ、４２０ ＬＳＴＭ部、４２１ データ入力、４２２ データ出力、４２３ 状態入力、４２４ 状態出力、４３０ 融合部、５００ デコーダ、５０１ 文章ベクトル、５１０ 岩石属性ＬＳＴＭ部、５１１ 出力状態ベクトル、５１２ 状態ベクトル、５１５ データ入力、５１５ 単語入力、５１６ 状態入力、５１７ 状態出力、５３０ 単語ＬＳＴＭ部、５３１ ｗｏｒｄ ｅｍｂｅｄｄｉｎｇマトリクス、５３２ 状態ベクトル、５３５ データ入力、５３６ データ出力、５３７ 状態入力、５３８ 状態出力、５４０ Ａｔｔｅｎｔｉｏｎ機構、５４１ 第１層、５４２ 第２層、５４３、５４４ ベクトル、５４７ 岩石属性−測定量関係テーブル、５４８ 語句−パターン関係テーブル、９１０ 語句カラム、９２０ 測定量タイプカラム、９３０ パターンカラム