知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025098644
(43)【公開日】2025-07-02
(54)【発明の名称】管路設計システム
(51)【国際特許分類】
G06F 30/18 20200101AFI20250625BHJP
G06F 30/27 20200101ALI20250625BHJP
G06F 113/14 20200101ALN20250625BHJP
【ＦＩ】
G06F30/18
G06F30/27
G06F113:14
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2023214919
(22)【出願日】2023-12-20
(71)【出願人】
【識別番号】000211307
【氏名又は名称】中国電力株式会社
(74)【代理人】
【識別番号】110004510
【氏名又は名称】弁理士法人維新国際特許事務所
(74)【代理人】
【識別番号】100111132
【弁理士】
【氏名又は名称】井上 浩
(74)【代理人】
【識別番号】100170900
【弁理士】
【氏名又は名称】大西 渉
(72)【発明者】
【氏名】勝部 俊樹
(72)【発明者】
【氏名】古見 耕次郎
【テーマコード（参考）】
5B146
【Ｆターム（参考）】
5B146AA03
5B146DC03
(57)【要約】
【課題】管路のルートだけでなく、管路を構成する複数の種類の管とそれぞれの数、及び、それらの組み合わせについても最適に、且つ、効率良く自動で設計できる管路設計システムを提供する。
【解決手段】管路設計システム１は、地中において複数の管を順に繋いで構成される管路を設計する。設計空間設定部４ａは、三次元の地中設計空間５Ａを設定する。強化学習部４ｂは、管の種類とその延びる方向との選択を行動とするとともに当該行動によりそれぞれ選択する各管のデータを順に繋いだ先を遷移した状態として、地中設計空間５Ａにおいて指定した始点から終点まで移動できた時の一連の各行動に基づいて得られる予め設定された報酬が合計で最も多くなる学習管路データを強化学習により１つ以上学習して出力する。
【選択図】図１
【解決手段】管路設計システム１は、地中において複数の管を順に繋いで構成される管路を設計する。設計空間設定部４ａは、三次元の地中設計空間５Ａを設定する。強化学習部４ｂは、管の種類とその延びる方向との選択を行動とするとともに当該行動によりそれぞれ選択する各管のデータを順に繋いだ先を遷移した状態として、地中設計空間５Ａにおいて指定した始点から終点まで移動できた時の一連の各行動に基づいて得られる予め設定された報酬が合計で最も多くなる学習管路データを強化学習により１つ以上学習して出力する。
【選択図】図１
【特許請求の範囲】
【請求項1】
地中において複数の管を順に繋いで構成され、１つ以上の既設埋設物を迂回して延びる管路を設計可能な管路設計システムであって、
三次元の地中設計空間を設定する設計空間設定部と、
前記管の種類とその延びる方向との選択を行動とするとともに当該行動によりそれぞれ選択する前記各管のデータを順に繋いだ先を遷移した状態として、前記地中設計空間において指定した始点から終点まで移動できた時の一連の前記各行動に基づいてそれぞれ得られる予め設定された報酬が合計で最も多くなる学習管路データを強化学習により１つ以上学習して出力する強化学習部と、を備えていることを特徴とする管路設計システム。
三次元の地中設計空間を設定する設計空間設定部と、
前記管の種類とその延びる方向との選択を行動とするとともに当該行動によりそれぞれ選択する前記各管のデータを順に繋いだ先を遷移した状態として、前記地中設計空間において指定した始点から終点まで移動できた時の一連の前記各行動に基づいてそれぞれ得られる予め設定された報酬が合計で最も多くなる学習管路データを強化学習により１つ以上学習して出力する強化学習部と、を備えていることを特徴とする管路設計システム。
【請求項2】
請求項１に記載の管路設計システムにおいて、
前記報酬は、前記既設埋設物のデータとの離隔距離、前記終点までの相対距離、前記終点への到達、及び、行動回数の少なくとも１つに応じて予め設定された点数であることを特徴とする管路設計システム。
前記報酬は、前記既設埋設物のデータとの離隔距離、前記終点までの相対距離、前記終点への到達、及び、行動回数の少なくとも１つに応じて予め設定された点数であることを特徴とする管路設計システム。
【請求項3】
請求項１又は２に記載の管路設計システムにおいて、
複数の前記学習管路データの特徴値をそれぞれ演算して抽出する特徴抽出部と、
前記各特徴値を予め決められた評価テーブルに基づいた評価値に換算してそれぞれ出力する評価値出力部と、を備えていることを特徴とする管路設計システム。
複数の前記学習管路データの特徴値をそれぞれ演算して抽出する特徴抽出部と、
前記各特徴値を予め決められた評価テーブルに基づいた評価値に換算してそれぞれ出力する評価値出力部と、を備えていることを特徴とする管路設計システム。
【請求項4】
請求項３に記載の管路設計システムにおいて、
前記特徴値は、前記学習管路データの全長、前記学習管路データの地表からの平均埋設深さ、及び、前記学習管路データが前記既設埋設物の下方を通過している回数の少なくとも１つであることを特徴とする管路設計システム。
前記特徴値は、前記学習管路データの全長、前記学習管路データの地表からの平均埋設深さ、及び、前記学習管路データが前記既設埋設物の下方を通過している回数の少なくとも１つであることを特徴とする管路設計システム。
【請求項5】
請求項１又は２に記載の管路設計システムにおいて、
前記学習管路データが描かれた前記地中設計空間を上方から見た平面管路データ図と、所定の側方から見た縦断管路データ図と、をそれぞれ出力する図面出力部を備えていることを特徴とする管路設計システム。
前記学習管路データが描かれた前記地中設計空間を上方から見た平面管路データ図と、所定の側方から見た縦断管路データ図と、をそれぞれ出力する図面出力部を備えていることを特徴とする管路設計システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、地中において内部に電線等を配設可能な管路を設計する管路設計システムに関する。
【背景技術】
【0002】
地中には、複数の管を順に繋いで構成される管路が多数埋設され、これら各管路内には、例えば、電線等が配設されている。従来、各管路については、設計者が情報処理端末等を用いて図面上の指定された始点から終点までの間において既設埋設物の領域を迂回させながら手作業で設計することが一般的に行われており、設計される管路の質が設計者の経験値に依存するといった課題や、設計ミスによる手戻りによって作業に多くの時間が費やされるといった課題があった。
【0003】
これらに対応するために、近年、各管路の設計を自動で設計するシステムが考えられている。例えば、特許文献１に開示されている管路設計プログラムは、指定された始点から終点までの間の縦断面データ上において、既設埋設物が存在する領域を迂回するような台形状に延びる線を算出した後、始点から終点に向かって延ばす線と生成した台形状の線との交点の座標値を順に取得し、その後、取得した座標値を始点から終点に向けて順に結んで得られた折れ線を管路の最適ルートとして出力するようになっている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第７０８６３７１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、管路を構成する各管は、直管と曲管とがそれぞれ存在し、さらには、それぞれ長さや曲率の異なるものが複数種存在するため、管路の設計の際に、これら複数の種類の管をどのように繋ぐかを考える必要があり、工事に必要な管の種類や数に加えて、それらの組み合わせを事前に把握しておかなければならない。
しかし、特許文献１では、管路の最適なルートが自動で出力されるものの、その出力されたルートにおける管路がどのような種類や数の管の組み合わせで成立するのかということを設計することについては、何ら考慮されていない。
しかし、特許文献１では、管路の最適なルートが自動で出力されるものの、その出力されたルートにおける管路がどのような種類や数の管の組み合わせで成立するのかということを設計することについては、何ら考慮されていない。
【0006】
本発明は、斯かる点に鑑みてなされたものであり、その目的とするところは、管路のルートだけでなく、管路を構成する複数の種類の管とそれぞれの数、及び、それらの組み合わせについても最適に、且つ、効率良く自動で設計できる管路設計システムを提供することにある。
【課題を解決するための手段】
【0007】
上記の目的を達成するために、本発明では、所定の区間における管路を構成する複数種の管の組み合わせを強化学習により取得可能にしたことを特徴とする。
具体的には、地中において複数の管を順に繋いで構成され、１つ以上の既設埋設物を迂回して延びる管路を設計可能な管路設計システムを対象とし、次のような対策を講じた。
具体的には、地中において複数の管を順に繋いで構成され、１つ以上の既設埋設物を迂回して延びる管路を設計可能な管路設計システムを対象とし、次のような対策を講じた。
【0008】
すなわち、第１の発明に係る管路設計システムでは、三次元の地中設計空間を設定する設計空間設定部と、前記管の種類とその延びる方向との選択を行動とするとともに当該行動によりそれぞれ選択する前記各管のデータを順に繋いだ先を遷移した状態として、前記地中設計空間において指定した始点から終点まで移動できた時の一連の前記各行動に基づいてそれぞれ得られる予め設定された報酬が合計で最も多くなる学習管路データを強化学習により１つ以上学習して出力する強化学習部と、を備えていることを特徴とする。
このように構成される管路設計システムでは、地中において指定する始点から終点まで既存埋設物を迂回させながら延びる管路の最適ルートが設計されると同時に、その最適ルートにおける管路を構成する複数の管について最適な種類とそれぞれの数、及び、それらの組み合わせが分かるように作用する。
このように構成される管路設計システムでは、地中において指定する始点から終点まで既存埋設物を迂回させながら延びる管路の最適ルートが設計されると同時に、その最適ルートにおける管路を構成する複数の管について最適な種類とそれぞれの数、及び、それらの組み合わせが分かるように作用する。
【0009】
第２の発明の管路設計システムでは、第１の発明において、前記報酬は、前記既設埋設物のデータとの離隔距離、前記終点までの相対距離、前記終点への到達、及び、行動回数の少なくとも１つに応じて予め設定された点数であることを特徴とする。
このように構成される管路設計システムでは、強化学習により出力される学習管路データが、経験値の高い設計者が従来の手法で行った設計によるものに近づくように作用する。
このように構成される管路設計システムでは、強化学習により出力される学習管路データが、経験値の高い設計者が従来の手法で行った設計によるものに近づくように作用する。
【0010】
第３の発明の管路設計システムでは、第１又は第２の発明において、複数の前記学習管路データの特徴値をそれぞれ演算して抽出する特徴抽出部と、前記各特徴値を予め決められた評価テーブルに基づいた評価値に換算してそれぞれ出力する評価値出力部と、を備えていることを特徴とする。
このように構成される管路設計システムでは、強化学習により得られた複数の学習管路データの特徴が分かるようになり、設計者が各学習管路データを定量的に比較できるように作用する。
このように構成される管路設計システムでは、強化学習により得られた複数の学習管路データの特徴が分かるようになり、設計者が各学習管路データを定量的に比較できるように作用する。
【0011】
第４の発明の管路設計システムでは、第３の発明において、前記特徴値は、前記学習管路データの全長、前記学習管路データの地表からの平均埋設深さ、及び、前記学習管路データが前記既設埋設物の下方を通過している回数の少なくとも１つであることを特徴とする。
このように構成される管路設計システムでは、強化学習により得られた複数の学習管路データを、管路設計をする上で重要であるポイントに則して定量的に比較検討できるように作用する。
このように構成される管路設計システムでは、強化学習により得られた複数の学習管路データを、管路設計をする上で重要であるポイントに則して定量的に比較検討できるように作用する。
【0012】
第５の発明の管路設計システムでは、第１又は第２の発明において、前記学習管路データが描かれた前記地中設計空間を上方から見た平面管路データ図と、所定の側方から見た縦断管路データ図と、をそれぞれ出力する図面出力部を備えていることを特徴とする。
このように構成される管路設計システムでは、作成された管路のルートを２つの図面上に表示できるように作用する。
このように構成される管路設計システムでは、作成された管路のルートを２つの図面上に表示できるように作用する。
【発明の効果】
【0013】
第１の発明の管路設計システムでは、地中において指定する始点から終点まで既存埋設物を迂回させながら延びる管路の最適ルートが設計されると同時に、その最適ルートにおける管路を構成する複数の管について最適な種類とそれぞれの数、及び、それらの組み合わせが分かるようになる。したがって、地中における管路の設計を効率良く行うことができる。
【0014】
第２の発明の管路設計システムでは、強化学習に用いる報酬が、管路設計をする上で重要であるポイントに則して設定されているので、強化学習により出力される学習管路データが、例えば、経験値の高い設計者が従来の手法で行った設計によるものに近づくようになる。したがって、質の良い管路のルートやその管路を構成する管の種類とそれぞれの数、及び、それらの組み合わせを効率良く出力することができる。
【0015】
第３の発明の管路設計システムでは、強化学習により得られた複数の学習管路データの特徴が分かるようになるので、設計者が各学習管路データを定量的に比較可能になる。したがって、設計者は、複数の学習管路データの中から最も質の良い管路を見つけ出すことができる。
【0016】
第４の発明の管路設計システムでは、強化学習により得られた複数の学習管路データを、管路設計をする上で重要であるポイントに則して定量的に比較検討できるようになる。したがって、最も質の良い管路のルートを得ることができるとともに、そのルートにおける管の種類や数、及びそれらの組み合わせについて質の高いものを見つけ出すことができる。
【0017】
第５の発明の管路設計システムでは、作成された管路のルートを２つの図面上に表示できるようになる。したがって、例えば、現地で管路を施工する際に指示が行い易くなったり、或いは、他の人と管路の情報について共有し易くすることができる。
【図面の簡単な説明】
【0018】
【図1】本発明の実施例に係る管路設計システムのブロック図である。
【図2】管路の施工例を示す図である。
【図3】強化学習の更新式である。
【図4】本発明の実施例に係る管路設計システムにて設計する管路が埋設される場所を示す図であり、（ａ）は、平面図を示し、（ｂ）は、（ａ）のＡ－Ａ’線における縦断図を示す。
【図5】本発明の実施例に係る管路設計システムにて設計する管路が埋設される場所を構造化データにした地中設計空間であり、（ａ）は、図４（ａ）に対応する位置のデータであり、（ｂ）は、図４（ｂ）に対応する位置のデータである。
【図6】本発明の実施例に係る管路設計システムにて管路を設計する際に設定する設定パラメータを示す表であり、（ａ）は、管路の条件を示し、（ｂ）は、強化学習における学習条件を示す。
【図7】（ａ）は、本発明の実施例に係る管路設計システムの強化学習時における行動の選択パターンを示す表であり、（ｂ）は、本発明の実施例に係る管路設計システムの強化学習時における報酬に関するデータを示す表である。
【図8】学習管路データにおけるルートの良否を評価する際に使用する評価テーブルである。
【図9】本発明の実施例に係る管路設計システムの動作を示すフローチャートの前半部分である。
【図10】本発明の実施例に係る管路設計システムの動作を示すフローチャートの後半部分である。
【図12】本発明の実施例に係る管路設計システムの強化学習において作成された３つの学習管路データを評価テーブルにて評価した結果を示す表である。
【図13】最も評価が高い学習管路データが描かれた平面管路データ図の一例である。
【図14】最も評価が高い学習管路データが描かれた縦断管路データ図の一例である。
【図15】最も評価が高い学習管路データの接続材料図の一例である。
【発明を実施するための形態】
【0019】
以下、本発明の実施例を図面に基づいて詳細に説明する。尚、以下の好ましい実施例の説明は、本質的に例示に過ぎない。
【0020】
図１は、本発明の実施例に係る管路設計システム１のブロック図を示す。この管路設計システム１は、図２に示すように、地中において内部に電線等が配設される管路２を自動で設計するものであり、地中における最適なルートや管路２を構成する各管３の組み合わせ等を強化学習や評価判定処理によって出力可能なコンピュータ１０を備えている。
【0021】
強化学習とは、図３に示すように、環境中において、エージェントがそのときの状況に応じた最適な行動ａを取ることができるようにするための方策を学習するものである。本発明では、図１に示す強化学習部４ｂがエージェントに相当しており、与えられた環境において行動ａを実行することで遷移した環境から状態ｓ’及び報酬ｒを受け取ることを繰り返して行動ａを決定するための行列（Ｑテーブル）を更新していくというものであって最終的に報酬ｒを最大化するための行動ａを学習する方法である。
【0022】
コンピュータ１０は、図１に示すように、強化学習や評価判定処理を行う情報処理部４と、キーボードやマウス等で情報処理部４に入力するデータを保存する入力データベース５と、強化学習や評価判定処理に用いる各種データを保存する管路設計用データベース６と、情報処理部４により処理されて得られた各処理結果を保存する出力データベース７と、を備えている。
【0023】
入力データベース５は、図４乃至図６に示すように、設計する管路２が埋設される場所を構造化データにした地中設計空間５Ａと、管路２の設計に必要な条件を設定する設計ルート条件データ５Ｂと、管路２の設計の際に行う強化学習のルート探索回数（行動ａの回数）ｉ及び学習回数ｋを設定する学習条件データ５Ｃと、を保存するようになっている。
地中設計空間５Ａは、図４及び図５に示すように、管路２が埋設される場所をＸ軸、Ｙ軸及びＺ軸で定めた直交座標系において多数のブロック状の小領域に区分けして定義され、例えば、暗渠や水路等の埋設物がある位置に対応する各小領域には、これら埋設物が存在するという情報を持たすようにしたものである。地中設計空間５Ａは、暗渠や水路等を表す複数の既設埋設物データ５ａと、設計する管路２の始点Ｓ及び終点Ｇの位置データ５ｂと、地表Ｆの位置データ５ｃと、を有している。尚、図５では、便宜上、既設埋設物データ５ａの領域をハッチングにて示している。
地中設計空間５Ａは、図４及び図５に示すように、管路２が埋設される場所をＸ軸、Ｙ軸及びＺ軸で定めた直交座標系において多数のブロック状の小領域に区分けして定義され、例えば、暗渠や水路等の埋設物がある位置に対応する各小領域には、これら埋設物が存在するという情報を持たすようにしたものである。地中設計空間５Ａは、暗渠や水路等を表す複数の既設埋設物データ５ａと、設計する管路２の始点Ｓ及び終点Ｇの位置データ５ｂと、地表Ｆの位置データ５ｃと、を有している。尚、図５では、便宜上、既設埋設物データ５ａの領域をハッチングにて示している。
【0024】
設計ルート条件データ５Ｂは、図６に示すように、管路２の設計時に入力されて保存される設定パラメータであり、管路２の施工時に使用する管３の管路径、設計する管路２の各既設埋設物からの最低離隔距離、及び、管路２の必要埋設深さについてそれぞれ施工条件に合わせて入力する数値が保存されている。例えば、設計する管路２を構成する各管３の管路径を６つの選択肢から１つ選んで入力する数値が保存され、設計する管路２の各既設埋設物からの最低離隔距離を２つの選択肢から１つ選んで入力する数値が保存され、設計する管路２の必要埋設深さを３つの選択肢から１つ選んで入力する数値が保存されるようになっている。そして、最低離隔距離の領域５ｄ及び必要埋設深さの領域５ｅは、図５に示すように、地中設計空間５Ａにデータとして保存されるようになっている。
【0025】
学習条件データ５Ｃは、管路２の設計時に入力されて保存される設定パラメータであり、管路２の設計の際に行う強化学習のルート探索回数（行動ａの回数）ｉ及び学習回数ｋにおいてそれぞれ設計条件に合わせて入力される数値が保存されている。例えば、管路設計システム１が行う強化学習において設計する管路２のルート探索回数ｉを多くしたい場合には、上限値を１００，０００回として任意に入力した回数が保存され、少なくしたい場合には、下限値を１００回として任意に入力した回数が保存されるようになっている。また、管路設計システム１が行う強化学習において設計する管路２について、ルートのパターンを数多く検討する場合には、上限値を１００，０００回として任意に入力した回数が保存され、少なくしたい場合には、下限値を１００回として任意に入力した回数が保存されるようになっている。
【0026】
管路設計用データベース６は、図１に示すように、強化学習用データ６Ａ及び評価テーブル６Ｂが保存されている。
強化学習用データ６Ａは、強化学習を行うのに必要な行動データ６ａ及び報酬データ６ｂで構成されている。
行動データ６ａは、図７（ａ）に示すように、強化学習における行動ａの選択パターンが保存されている。本発明の実施例では、行動ａの際に選ぶ管３について直線状に延びる直管を選ぶ場合に１通り、曲がって延びる曲管を選ぶ場合に曲率の異なる７種類についてそれぞれ延びる方向が４つあるとして２８通り選択可能にしており、合計で２９通りの選択パターンが保存されている。
強化学習用データ６Ａは、強化学習を行うのに必要な行動データ６ａ及び報酬データ６ｂで構成されている。
行動データ６ａは、図７（ａ）に示すように、強化学習における行動ａの選択パターンが保存されている。本発明の実施例では、行動ａの際に選ぶ管３について直線状に延びる直管を選ぶ場合に１通り、曲がって延びる曲管を選ぶ場合に曲率の異なる７種類についてそれぞれ延びる方向が４つあるとして２８通り選択可能にしており、合計で２９通りの選択パターンが保存されている。
【0027】
報酬データ６ｂは、図７（ｂ）に示すように、強化学習において遷移後の環境や状況に応じて予め決められた報酬ｒとして付与される点数がそれぞれ保存されている。例えば、行動ａを１回行う毎に報酬ｒとして－１点が付与されるようになっている。また、行動ａを実施した後に終点Ｇまでの相対距離が減少した場合に報酬ｒとして＋２点が付与されるようになっている。さらに、行動ａを実施した後に既設埋設物から予め決められた最低離隔距離を下回った場合に報酬ｒとして－１０点が付与されるようになっている。そして、行動ａを実施した後に終点Ｇに到着した場合に報酬ｒとして＋１００が付与されるようになっている。
【0028】
評価テーブル６Ｂには、図８に示すように、強化学習により得られた各学習管路データ２０を評価する際の評価項目、評価方法及び総合評価の仕方が記憶されている。例えば、学習管路データ２０の全長に応じて付与される点数が記憶されている。また、各学習管路データ２０の平均掘削深さについて互いに比較して付与される点数の付け方が記憶されている。さらに、各学習管路データ２０の防護対策の数について互いに比較して付与される点数の付け方が記憶されている。例えば、学習管路データ２０の全長を演算するとともに、その全長について１ｍを１点として評価する評価方法が記憶されている。また、各学習管路データ２０の平均掘削深さを演算するとともに、深さが浅い学習管路データ２０の順に１点、２点、…、ｎ点（ｎは自然数）と評価する評価方法が記憶されている。さらに、各学習管路データ２０について防護対策の必要が少ない順に１点、２点、…、ｎ点（ｎは自然数）と評価する評価方法が記憶されている。そして、各評価項目について評価された点数を学習管路データ２０毎に合計して評価値とし、この評価値が一番低い学習管路データ２０を最も良い管路２が施工できるものとして選択する評価方法が記憶されている。
【0029】
情報処理部４は、図１に示すように、設計空間設定部４ａ、強化学習部４ｂ、特徴抽出部４ｃ、評価値出力部４ｄ、図面出力部４ｅ、資材数量出力部４ｆ、張力演算部４ｇ及び側圧演算部４ｈで構成されている。
設計空間設定部４ａは、図４及び図５に示すように、コンピュータ１０に上記地中設計空間５Ａを設定するようになっている。
設計空間設定部４ａは、図４及び図５に示すように、コンピュータ１０に上記地中設計空間５Ａを設定するようになっている。
【0030】
強化学習部４ｂは、管３の種類とその延びる方向との選択を行動ａとするとともに、当該行動ａによりそれぞれ選択する各管３のデータを順に繋いだ先を遷移した状態ｓ’として、地中設計空間５Ａにおいて指定した始点Ｓから終点Ｇまで移動できた時の一連の各行動ａに基づいてそれぞれ得られる予め設定された報酬ｒが合計で最も多くなる学習管路データ２０を強化学習により１つ以上学習して出力するようになっている。
【0031】
具体的には、強化学習部４ｂは、例えば、始点Ｓにおいて図７（ａ）の行動データ６ａの選択パターンから「１ｍの直管」（以下、この管３を第１選択管データ３ａと呼ぶ）を選択すると、延びる方向は「直線」のみであるため、終点Ｇに向かって真っすぐに延びるように第１選択管データ３ａを配置し、その延びた第１選択管データ３ａの先端位置を遷移した状態ｓ’とする。このとき、第１選択管データ３ａの延びた位置において報酬データ６ｂに基づいて報酬ｒが得られるようになっており、行動ａを１回行ったので１点がマイナスされる一方、終点Ｇまでの相対距離が短くなったので２点がプラスされ、合計で報酬ｒが１点プラスされるようになっている。次に、強化学習部４ｂは、行動データ６ａの選択パターンからランダムに管３の種類を選ぶ。もし、管３の種類として「管の種類＝曲管（Ｒ５）」「延びる方向＝上」（以下、この管３を第２選択管データ３ｂと呼ぶ）が選択されると、第２選択管データ３ｂが上側に曲がって延びるように第１選択管データ３ａに繋がれ、その延びた第２選択管データ３ｂの先端位置を遷移した状態ｓ’とするようになっている。このとき、第２選択管データ３ｂの延びた位置において報酬データ６ｂに基づいて報酬ｒが得られるようになっており、行動ａを１回行ったので１点がマイナスされる一方、終点Ｇまでの相対距離が短くなったので２点がプラスされ、合計で報酬ｒが１点プラスされるようになっている。
【0032】
次いで、強化学習部４ｂは、行動データ６ａの選択パターンからランダムに管３の種類を選ぶ。もし、管３の種類として「管の種類＝曲管（Ｒ１５）」「延びる方向＝下」（以下、この管３を第３選択管データ３ｃと呼ぶ）が選択されると、第３選択管データ３ｃが下側に曲がって延びるように第２選択管データ３ｂに繋がれ、その延びた第３選択管データ３ｃの先端位置を遷移した状態ｓ’とするようになっている。このとき、第３選択管データ３ｃの延びた位置において報酬データ６ｂに基づいて報酬ｒが得られるようになっていて、行動ａを１回行ったので１点がマイナスされる一方、終点Ｇまでの相対距離が短くなったので２点がプラスされ、合計で報酬ｒが１点プラスされるようになっている。ここで、例えば、第３選択管データ３ｃの延びた位置が既設埋設物データ５ａからの最低離隔距離を下回った場合には、報酬ｒが１０点マイナスされるようになっている。つまり、設計する管路２のルートが既設埋設物を迂回しない場合、報酬ｒが少なくなるようになっている。このように、強化学習部４ｂは、行動ａを選択して報酬ｒを得ながらランダムに選ばれる管３のデータを順に繋いでいき、例えば、図１１に示すように、終点Ｇに到達する１つ以上の学習管路データ２０（学習管路データ２０Ａ、２０Ｂ、２０Ｃ）を得るようになっていて、報酬ｒの合計が高い学習管路データ２０は、既設埋設物を迂回して延びるルートになっている。
【0033】
特徴抽出部４ｃは、強化学習部４ｂで得られた各学習管路データ２０の特徴値をそれぞれ演算して抽出するようになっている。特徴値は、図８に示すように、各学習管路データ２０の全長、各学習管路データ２０の地表Ｆからの平均埋設深さ、及び、各学習管路データ２０が既設埋設物の下方を通過している回数、すなわち、防護対策を行う必要がある回数となっている。
例えば、特徴抽出部４ｃは、図１１の学習管路データ２０Ａについて、全長が５０ｍで、且つ、平均埋設深さが８ｍであって、そのルートが暗渠の上方を通過する一方、水道管の下方を通過しているので、防護対策を行う必要がある回数を１として抽出するようになっている。また、特徴抽出部４ｃは、図１１の学習管路データ２０Ｂについて、全長が５２ｍで、且つ、平均埋設深さが６ｍであって、そのルートが暗渠及び水道管の上方を通過しているので、防護対策を行う必要が無いとして抽出するようになっている。さらに、特徴抽出部４ｃは、図１１の学習管路データ２０Ｃについて、全長が５６ｍで、且つ、平均埋設深さが８ｍであって、そのルートが暗渠の下方を通過するとともに水道管の下方も通過しているので、防護対策を行う必要がある回数を２として抽出するようになっている。
例えば、特徴抽出部４ｃは、図１１の学習管路データ２０Ａについて、全長が５０ｍで、且つ、平均埋設深さが８ｍであって、そのルートが暗渠の上方を通過する一方、水道管の下方を通過しているので、防護対策を行う必要がある回数を１として抽出するようになっている。また、特徴抽出部４ｃは、図１１の学習管路データ２０Ｂについて、全長が５２ｍで、且つ、平均埋設深さが６ｍであって、そのルートが暗渠及び水道管の上方を通過しているので、防護対策を行う必要が無いとして抽出するようになっている。さらに、特徴抽出部４ｃは、図１１の学習管路データ２０Ｃについて、全長が５６ｍで、且つ、平均埋設深さが８ｍであって、そのルートが暗渠の下方を通過するとともに水道管の下方も通過しているので、防護対策を行う必要がある回数を２として抽出するようになっている。
【0034】
評価値出力部４ｄは、上述の各特徴値を予め決められた評価テーブル６Ｂに基づいた評価値に換算してそれぞれ出力するようになっている。本発明の実施例では、学習管路データ２０の長さの評価値について１ｍを１点として換算するようになっている。また、地表Ｆからの平均埋設深さが浅い学習管路データ２０の順に評価値を１点、２点、…、ｎ点（ｎは自然数）と換算するようになっている。さらに、防護対策する必要が少ない学習管路データ２０の順に評価値を１点、２点、…、ｎ点（ｎは自然数）と換算するようになっている。そして、各学習管路データ２０の評価値をそれぞれ合計し、合計点が一番低い学習管路データ２０を最も評価の高い学習管路データ２０として選択するようになっている。
評価値出力部４ｄは、図１２に示すように、例えば、図１１に示す学習管路データ２０Ａ、２０Ｂ、２０Ｃの各総合評価をそれぞれ５４点、５４点、６２点とし、学習管路データ２０Ａか、或いは、学習管路データ２０Ｂが最も評価の高い学習管路データ２０として選択され、ルート評価データ７ｇとして出力データベース７に保存されるようになっている。
評価値出力部４ｄは、図１２に示すように、例えば、図１１に示す学習管路データ２０Ａ、２０Ｂ、２０Ｃの各総合評価をそれぞれ５４点、５４点、６２点とし、学習管路データ２０Ａか、或いは、学習管路データ２０Ｂが最も評価の高い学習管路データ２０として選択され、ルート評価データ７ｇとして出力データベース７に保存されるようになっている。
【0035】
図面出力部４ｅは、図１３及び図１４に示すように、評価値出力部４ｄにて選択された学習管路データ２０が描かれた地中設計空間５Ａを上方から見た平面管路データ図７ａと、所定の側方から見た縦断管路データ図７ｂと、をそれぞれ出力して出力データベース７に保存するようになっている。
また、図面出力部４ｅは、図１５に示すように、評価値出力部４ｄにて選択された学習管路データ２０を構成する各管３の組み合わせや、数量、長さ寸法が記載された接続材料図データ７ｃを出力して出力データベース７に保存するようになっている。
また、図面出力部４ｅは、図１５に示すように、評価値出力部４ｄにて選択された学習管路データ２０を構成する各管３の組み合わせや、数量、長さ寸法が記載された接続材料図データ７ｃを出力して出力データベース７に保存するようになっている。
【0036】
資材数量出力部４ｆは、評価値出力部４ｄにて選択された学習管路データ２０を構成する各管３の種類とそれぞれの数量を算出して資材数量データ７ｄとし、それを出力データベース７に保存するようになっている。
張力演算部４ｇは、評価値出力部４ｄにて選択された学習管路データ２０においてケーブル布設に必要な引入張力計算を行うようになっている。具体的には、張力演算部４ｇは、学習管路データ２０の変化点毎に引入張力を、例えば、特開２０１３－５４４５０号公報に記載の従来周知の計算式に基づいて計算して張力計算データ７ｅを出力して出力データベース７に保存するようになっている。
側圧演算部４ｈは、評価値出力部４ｄにて選択された学習管路データ２０の側圧計算を行うようになっている。具体的には、側圧演算部４ｈは、学習管路データ２０の曲管で構成された管３の側圧を、例えば、特開２０１３－５４４５０号公報に記載の従来周知の計算式に基づいて計算して側圧計算データ７ｆを出力して出力データベース７に保存するようになっている。
張力演算部４ｇは、評価値出力部４ｄにて選択された学習管路データ２０においてケーブル布設に必要な引入張力計算を行うようになっている。具体的には、張力演算部４ｇは、学習管路データ２０の変化点毎に引入張力を、例えば、特開２０１３－５４４５０号公報に記載の従来周知の計算式に基づいて計算して張力計算データ７ｅを出力して出力データベース７に保存するようになっている。
側圧演算部４ｈは、評価値出力部４ｄにて選択された学習管路データ２０の側圧計算を行うようになっている。具体的には、側圧演算部４ｈは、学習管路データ２０の曲管で構成された管３の側圧を、例えば、特開２０１３－５４４５０号公報に記載の従来周知の計算式に基づいて計算して側圧計算データ７ｆを出力して出力データベース７に保存するようになっている。
【0037】
次に、本発明の実施例の管路設計システム１の情報処理部４において最も評価の高い学習管路データ２０を出力する動作について詳述する。
図９に示すように、まず、ステップＳ１において、コンピュータ１０に対し、設計する管路２が埋設される場所を構造化データにした地中設計空間５Ａを入力した後、ステップＳ２に進む。
ステップＳ２では、コンピュータ１０に対して設計ルート条件データ５Ｂを入力する。具体的には、コンピュータ１０に対し、管路２に使用する管３の管路径、設計する管路２の各既設埋設物からの最低離隔距離、及び、管路２の必要埋設深さについてそれぞれ施工条件に合わせて数値を入力する。
図９に示すように、まず、ステップＳ１において、コンピュータ１０に対し、設計する管路２が埋設される場所を構造化データにした地中設計空間５Ａを入力した後、ステップＳ２に進む。
ステップＳ２では、コンピュータ１０に対して設計ルート条件データ５Ｂを入力する。具体的には、コンピュータ１０に対し、管路２に使用する管３の管路径、設計する管路２の各既設埋設物からの最低離隔距離、及び、管路２の必要埋設深さについてそれぞれ施工条件に合わせて数値を入力する。
【0038】
ステップＳ２にて設計ルート条件データ５Ｂを入力した後、ステップＳ３に進み、コンピュータ１０に対して学習条件データ５Ｃを入力する。具体的には、コンピュータ１０に対し、管路２の設計の際に行う強化学習のルート探索回数（行動回数）ｉ及び学習回数ｋにおいてそれぞれ設計条件に合わせて数値ｍ、ｎ（ｍ、ｎは自然数）を入力する。
【0039】
ステップＳ３にて学習条件データ５Ｃを入力した後、ステップＳ４に進んで学習回数ｋが初期化されて番号ｋに１が代入され、その後、ステップＳ５に進む。
また、ステップＳ５に進むと、強化学習における状態ｓが初期化（ルート探索回数が初期化）されて番号ｉに１が代入され、その後、ステップＳ６に進む。
また、ステップＳ５に進むと、強化学習における状態ｓが初期化（ルート探索回数が初期化）されて番号ｉに１が代入され、その後、ステップＳ６に進む。
【0040】
ステップＳ６では、強化学習部４ｂが、行動データ６ａの各選択パターンからランダムに１つ選択する。例えば、行動データ６ａの選択パターンから「１ｍの直管」の第１選択管データ３ａが選択されると、始点Ｓにおいて第１選択管データ３ａを終点Ｇに向かって真っすぐに延びるように第１選択管データ３ａを配置してステップＳ７に進み、その延びた第１選択管データ３ａの先端位置を遷移した状態ｓ’とするとともに、報酬データ６ｂに基づいて報酬ｒを受け取る。このとき受け取る報酬ｒは、行動ａを１回行ったので１点がマイナスされる一方、終点Ｇまでの相対距離が短くなったので２点がプラスされ、合計で報酬ｒが１点プラスされる。
【0041】
ステップＳ７で報酬ｒを受け取ると、ステップＳ８に進み、状態ｓ’が終点Ｇに到着した状態か否かを判定する。
このステップＳ８の判定がＹＥＳのとき、すなわち、状態ｓ’が終点Ｇに到着した状態であると判定した場合には、学習管路データ２０が得られ、その後、ステップＳ１０に進む。
このステップＳ８の判定がＹＥＳのとき、すなわち、状態ｓ’が終点Ｇに到着した状態であると判定した場合には、学習管路データ２０が得られ、その後、ステップＳ１０に進む。
【0042】
一方、ステップＳ７の判定がＮＯのとき、すなわち、状態ｓ’が終点Ｇに到着していないとい判定した場合には、ステップＳ９に進み、行動回数ｉがｍ回になったか否かを判定する。
ステップＳ９の判定がＹＥＳのとき、すなわち、行動回数ｉがｍ回になった場合には、ステップＳ５に戻って行動ａを最初からやり直す。
一方、ステップＳ９の判定がＮＯのとき、すなわち、行動回数ｉがｍ回になっていない場合には、ステップＳ１１に進んでｉ＋１をｉに代入した後、ステップＳ６に戻って次の行動ａについての処理を行う。例えば、強化学習部４ｂが、行動データ６ａの各選択パターンから「管の種類＝曲管（Ｒ５）」「延びる方向＝上」の第２選択管データ３ｂが選択されると、第２選択管データ３ｂが上側に曲がって延びるように第１選択管データ３ａに繋がれてステップＳ７に進み、その延びた第２選択管データ３ｂの先端位置を遷移した状態ｓ’として報酬データ６ｂに基づいて報酬ｒを得る。
ステップＳ９の判定がＹＥＳのとき、すなわち、行動回数ｉがｍ回になった場合には、ステップＳ５に戻って行動ａを最初からやり直す。
一方、ステップＳ９の判定がＮＯのとき、すなわち、行動回数ｉがｍ回になっていない場合には、ステップＳ１１に進んでｉ＋１をｉに代入した後、ステップＳ６に戻って次の行動ａについての処理を行う。例えば、強化学習部４ｂが、行動データ６ａの各選択パターンから「管の種類＝曲管（Ｒ５）」「延びる方向＝上」の第２選択管データ３ｂが選択されると、第２選択管データ３ｂが上側に曲がって延びるように第１選択管データ３ａに繋がれてステップＳ７に進み、その延びた第２選択管データ３ｂの先端位置を遷移した状態ｓ’として報酬データ６ｂに基づいて報酬ｒを得る。
【0043】
ステップＳ１０に進むと、コンピュータ１０は、学習回数ｋがｎ回になったか否かを判定する。このステップＳ１０の判定がＮＯのとき、すなわち、学習回数ｋがｎ回でない場合には、ステップＳ１２に進んで学習管路データ２０を出力データベース７に保存する。その後、ステップＳ１３に進んでｋ＋１をｋに代入した後、ステップＳ５に戻って行動ａを最初からやり直す。
一方、ステップＳ１０の判定がＹＥＳのとき、すなわち、学習回数ｋがｎ回になった場合には、図１０に示すように、ステップＳ１４に進み、出力された各学習管路データ２０についてそれぞれ評価値を出力する。まず、特徴抽出部４ｃが強化学習部４ｂで得られた各学習管路データ２０の全長、地表Ｆからの平均埋設深さ、及び、各学習管路データ２０が既設埋設物の下方を通過している回数をそれぞれ演算する。具体的には、図１１の学習管路データ２０Ａ、２０Ｂ、２０Ｃの３つが強化学習部４ｂにて得られたとすると、特徴抽出部４ｃは、学習管路データ２０Ａについて、例えば、全長が５０ｍで、且つ、平均埋設深さが８ｍであって、そのルートが暗渠の上方を通過する一方、水道管の下方を通過しているので、防護対策を行う必要がある回数を１として抽出する。学習管路データ２０Ｂ、２０Ｃについても同様に特徴値を抽出する。その後、評価値出力部４ｄが上述で得た各特徴値を図８に示す評価方法に基づいて学習管路データ２０Ａ、２０Ｂ、２０Ｃの評価値を換算し、図１２に示すように、総合評価を出力する。
一方、ステップＳ１０の判定がＹＥＳのとき、すなわち、学習回数ｋがｎ回になった場合には、図１０に示すように、ステップＳ１４に進み、出力された各学習管路データ２０についてそれぞれ評価値を出力する。まず、特徴抽出部４ｃが強化学習部４ｂで得られた各学習管路データ２０の全長、地表Ｆからの平均埋設深さ、及び、各学習管路データ２０が既設埋設物の下方を通過している回数をそれぞれ演算する。具体的には、図１１の学習管路データ２０Ａ、２０Ｂ、２０Ｃの３つが強化学習部４ｂにて得られたとすると、特徴抽出部４ｃは、学習管路データ２０Ａについて、例えば、全長が５０ｍで、且つ、平均埋設深さが８ｍであって、そのルートが暗渠の上方を通過する一方、水道管の下方を通過しているので、防護対策を行う必要がある回数を１として抽出する。学習管路データ２０Ｂ、２０Ｃについても同様に特徴値を抽出する。その後、評価値出力部４ｄが上述で得た各特徴値を図８に示す評価方法に基づいて学習管路データ２０Ａ、２０Ｂ、２０Ｃの評価値を換算し、図１２に示すように、総合評価を出力する。
【0044】
ステップＳ１４において、各学習管路データ２０の評価が終了すると、ステップＳ１５に進み、図面出力部４ｅが評価値出力部４ｄにて選択された最も評価の高い学習管路データ２０における平面管路データ図７ａ及び縦断管路データ図７ｂを出力してステップＳ１６に進む。
ステップＳ１６では、図面出力部４ｅが評価値出力部４ｄにて選択された最も評価の高い学習管路データ２０を構成する各管３の組み合わせや、数量、長さ寸法が記載された接続材料図データ７ｃを出力してステップＳ１７に進む。
ステップＳ１６では、図面出力部４ｅが評価値出力部４ｄにて選択された最も評価の高い学習管路データ２０を構成する各管３の組み合わせや、数量、長さ寸法が記載された接続材料図データ７ｃを出力してステップＳ１７に進む。
【0045】
ステップＳ１７では、資材数量出力部４ｆが評価値出力部４ｄにて選択された最も評価の高い学習管路データ２０を構成する各管３の種類とそれぞれの数量を算出してステップＳ１８に進む。
ステップＳ１８では、張力演算部４ｇが評価値出力部４ｄにて選択された学習管路データ２０においてケーブル布設に必要な引入張力計算を行って張力計算データ７ｅを出力する。また、側圧演算部４ｈが評価値出力部４ｄにて選択された学習管路データ２０の側圧計算を行って側圧計算データ７ｆを出力し、その後、情報処理部４の処理を終了する。
ステップＳ１８では、張力演算部４ｇが評価値出力部４ｄにて選択された学習管路データ２０においてケーブル布設に必要な引入張力計算を行って張力計算データ７ｅを出力する。また、側圧演算部４ｈが評価値出力部４ｄにて選択された学習管路データ２０の側圧計算を行って側圧計算データ７ｆを出力し、その後、情報処理部４の処理を終了する。
【0046】
このように、本発明の実施例によると、地中において指定する始点Ｓから終点Ｇまで暗渠や水道管といった既存埋設物を迂回させながら延びる管路２の最適ルートが設計されると同時に、その最適ルートにおける管路２を構成する複数の管３について最適な種類とそれぞれの数、及び、それらの組み合わせが分かるようになる。したがって、地中における管路２の設計を効率良く行うことができる。
また、最適ルートの管路２を設計する際に強化学習に用いる報酬ｒが、管路２の設計をする上で重要であるポイントに則して設定されているので、強化学習により出力される学習管路データ２０が、例えば、経験値の高い設計者が従来の手法で行った設計によるものに近づくようになる。したがって、質の良い管路２のルートやその管路２を構成する管３の種類とそれぞれの数、及び、それらの組み合わせを効率良く出力することができる。
また、最適ルートの管路２を設計する際に強化学習に用いる報酬ｒが、管路２の設計をする上で重要であるポイントに則して設定されているので、強化学習により出力される学習管路データ２０が、例えば、経験値の高い設計者が従来の手法で行った設計によるものに近づくようになる。したがって、質の良い管路２のルートやその管路２を構成する管３の種類とそれぞれの数、及び、それらの組み合わせを効率良く出力することができる。
【0047】
また、強化学習により得られた複数の学習管路データ２０の特徴が特徴抽出部４ｃにより出力される数値によって分かるようになるので、設計者が各学習管路データ２０を定量的に比較可能になる。したがって、設計者は、複数の学習管路データ２０の中から最も質の良い管路２を見つけ出すことができる。
また、特徴抽出部４ｃによって出力される特徴値が管路２の設計をする上で重要であるポイントに則して設定されているので、強化学習により得られた複数の学習管路データ２０を、管路２の設計をする上で重要であるポイントに則して定量的に比較検討できるようになる。したがって、最も質の良い管路２のルートを得ることができるとともに、そのルートにおける管３の種類や数、及びそれらの組み合わせについて質の高いものを見つけ出すことができる。
さらに、作成された管路２のルートは、図面出力部４ｅによって２つの図面上に表示できるようになる。したがって、例えば、現地で管路２を施工する際に指示が行い易くなったり、或いは、他の人と管路２の情報について共有し易くすることができる。
また、特徴抽出部４ｃによって出力される特徴値が管路２の設計をする上で重要であるポイントに則して設定されているので、強化学習により得られた複数の学習管路データ２０を、管路２の設計をする上で重要であるポイントに則して定量的に比較検討できるようになる。したがって、最も質の良い管路２のルートを得ることができるとともに、そのルートにおける管３の種類や数、及びそれらの組み合わせについて質の高いものを見つけ出すことができる。
さらに、作成された管路２のルートは、図面出力部４ｅによって２つの図面上に表示できるようになる。したがって、例えば、現地で管路２を施工する際に指示が行い易くなったり、或いは、他の人と管路２の情報について共有し易くすることができる。
【0048】
尚、本発明の実施例では、強化学習における報酬ｒについて、既設埋設物との離隔距離、終点Ｇまでの相対距離、終点Ｇへの到達、及び、行動回数ｉに応じて予め設定された点数を付与するようにしているが、既設埋設物との離隔距離、終点Ｇまでの相対距離、終点Ｇへの到達、及び、行動回数ｉの少なくとも１つに応じて予め設定された点数を付与するようにしてもよい。
また、本発明の実施例では、学習管路データ２０の評価値を出力する際に用いる学習管路データ２０の特徴値として、学習管路データ２０の全長、学習管路データ２０の地表Ｆからの平均埋設深さ、及び、学習管路データ２０が既設埋設物の下方を通過している回数を使用しているが、学習管路データ２０の全長、学習管路データ２０の地表Ｆからの平均埋設深さ、及び、学習管路データ２０が既設埋設物の下方を通過している回数の少なくとも１つを使用すればよい。
また、本発明の実施例では、学習管路データ２０の評価値を出力する際に用いる学習管路データ２０の特徴値として、学習管路データ２０の全長、学習管路データ２０の地表Ｆからの平均埋設深さ、及び、学習管路データ２０が既設埋設物の下方を通過している回数を使用しているが、学習管路データ２０の全長、学習管路データ２０の地表Ｆからの平均埋設深さ、及び、学習管路データ２０が既設埋設物の下方を通過している回数の少なくとも１つを使用すればよい。
【0049】
また、本発明の実施例では、強化学習における行動ａの選択パターンにおける直管が１ｍの１種類しかないが、長さの異なる２種類以上の直管を選択できる選択パターンにしてもよいし、曲率のことなる曲管を６種類以下の選択パターンにしたり、８種類以上選択できる選択パターンにしてもよい。
また、本発明の実施例では、図７（ｂ）に示すように、報酬データ６ｂの各環境や状況に応じた付与点数を決めているが、付与点数はその他の数であってもよい。
また、本発明の実施例では、設計ルート条件データ５Ｂとして、図６（ａ）に示すような設定パラメータが設定可能であるが、その他の値の設計ルート条件を設定可能となるようにしてもよい。
また、本発明の管路設計システム１にて出力された最も評価の高い学習管路データ２０を既設埋設物データ５ａとして地中設計空間５Ａに保存した後、管路設計システム１を再度作動させてもよい。そうすると、先に出力された最も評価の高い学習管路データ２０を迂回する学習管路データ２０を出力することができる。
また、本発明の実施例では、図７（ｂ）に示すように、報酬データ６ｂの各環境や状況に応じた付与点数を決めているが、付与点数はその他の数であってもよい。
また、本発明の実施例では、設計ルート条件データ５Ｂとして、図６（ａ）に示すような設定パラメータが設定可能であるが、その他の値の設計ルート条件を設定可能となるようにしてもよい。
また、本発明の管路設計システム１にて出力された最も評価の高い学習管路データ２０を既設埋設物データ５ａとして地中設計空間５Ａに保存した後、管路設計システム１を再度作動させてもよい。そうすると、先に出力された最も評価の高い学習管路データ２０を迂回する学習管路データ２０を出力することができる。
【産業上の利用可能性】
【0050】
本発明は、地中において内部に電線等を配設可能な管路を設計する管路設計システムに適している。
【符号の説明】
【0051】
１…管路設計システム ２…管路 ３…管 ３ａ…第１選択管データ ３ｂ…第２選択管データ ３ｃ…第３選択管データ ４…情報処理部 ４ａ…設計空間設定部 ４ｂ…強化学習部 ４ｃ…特徴抽出部 ４ｄ…評価値出力部 ４ｅ…図面出力部 ４ｆ…資材数量出力部 ４ｇ…張力演算部 ４ｈ…側圧演算部 ５…入力データベース ５Ａ…地中設計空間 ５Ｂ…設計ルート条件データ ５Ｃ…学習条件データ ５ａ…既設埋設物データ ５ｂ…始点・終点位置データ ５ｃ…地表位置データ ５ｄ…最低離隔距離の領域 ５ｅ…必要埋設深さの領域 ６…管路設計用データベース ６Ａ…強化学習用データ ６Ｂ…評価テーブル ６ａ…行動データ ６ｂ…報酬データ ７…出力データベース ７ａ…平面管路データ図 ７ｂ…縦断管路データ図 ７ｃ…接続材料図データ ７ｄ…資材数量データ ７ｅ…張力計算データ ７ｆ…側圧計算データ ７ｇ…ルート評価データ １０…コンピュータ ２０…学習管路データ ２０Ａ…学習管路データ ２０Ｂ…学習管路データ ２０Ｃ…学習管路データ Ｓ…始点 Ｇ…終点 Ｆ…地表
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
