特開 2023-49287 ３次元情報生成システム、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023049287

(43)【公開日】2023-04-10

(54)【発明の名称】３次元情報生成システム、及びプログラム

(51)【国際特許分類】

   G01C 11/06 20060101AFI20230403BHJP

   G01C 15/00 20060101ALI20230403BHJP

   G01C 7/06 20060101ALI20230403BHJP

【ＦＩ】

G01C11/06

G01C15/00 104A

G01C7/06

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2021158944

(22)【出願日】2021-09-29

(71)【出願人】

【識別番号】000003687

【氏名又は名称】東京電力ホールディングス株式会社

(71)【出願人】

【識別番号】501091006

【氏名又は名称】株式会社東設土木コンサルタント

(71)【出願人】

【識別番号】591280197

【氏名又は名称】株式会社構造計画研究所

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100140774

【弁理士】

【氏名又は名称】大浪 一徳

(74)【代理人】

【識別番号】100179833

【弁理士】

【氏名又は名称】松本 将尚

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(72)【発明者】

【氏名】森 文章

(72)【発明者】

【氏名】矢羽野 隆次

(72)【発明者】

【氏名】黒瀬 高秀

(72)【発明者】

【氏名】作中 隆之

(72)【発明者】

【氏名】恩知 憲正

(72)【発明者】

【氏名】梅田 雅之

(72)【発明者】

【氏名】松山 祐樹

(72)【発明者】

【氏名】茂木 正敏

(57)【要約】

【課題】対象物の３次元形状を示す３次元情報の測定精度を高めることができること。
【解決手段】３次元情報生成システムは、対象物の画像を撮像する撮像部と、対象物に所定視点から光を照射して対象物から反射された光を受光することによって取得される所定視点から対象物までの距離を測定する測距部と、演算部とを備え、撮像部と測距部との相対位置は固定されており、演算部は、測距部が測定した距離に基づく３次元点群の位置を示す３次元点群情報を生成し、撮像部が撮像した画像から検出される特徴点の異なる時刻に撮像された画像間での位置の変化に基づいてある時刻における自装置の位置及び方位を推定し、ある時刻に測距部が測定した距離に基づいて生成した３次元点群情報が示す３次元点群の位置が、ある時刻に推定された自装置の位置及び方位に基づいて補正された３次元点群の位置に基づいて対象物の３次元形状を示す３次元情報を生成する。
【選択図】図７

【特許請求の範囲】

【請求項1】

対象物の画像を撮像する撮像部と、
前記対象物に所定視点から光を照射して前記対象物から反射された光を受光することによって取得される前記所定視点から前記対象物までの距離を測定する測距部と、
演算部と
を備え、
前記撮像部と前記測距部との相対位置は固定されており、
前記演算部は、
前記測距部が測定した前記距離に基づく３次元点群の位置を示す３次元点群情報を生成し、
前記撮像部が撮像した前記画像から検出される特徴点の異なる時刻に撮像された前記画像間での位置の変化に基づいてある時刻における自装置の位置及び方位を推定し、
前記ある時刻に前記測距部が測定した前記距離に基づいて生成した前記３次元点群情報が示す３次元点群の位置を、前記ある時刻に推定された前記自装置の位置及び方位に基づいて補正し、
補正した前記３次元点群の位置に基づいて前記対象物の３次元形状を示す３次元情報を生成する
３次元情報生成システム。

【請求項2】

前記演算部は、前記撮像部が撮像した前記画像から検出される特徴点の第１時刻と第２時刻とに撮像された前記画像間での位置の変化に基づいて前記第２時刻における自装置の位置及び方位を推定し、
前記第２時刻は、前記撮像部が前記対象物の画像を撮像する複数の時刻のうち前記第１時刻の直後の時刻である
請求項１に記載の３次元情報生成システム。

【請求項3】

対象物の画像を撮像する撮像部と、
前記対象物に所定視点から光を照射して前記対象物から反射された光を受光することによって取得される前記所定視点から前記対象物までの距離を測定する測距部と
を備える３次元情報生成システムのコンピュータに、
前記測距部が測定した前記距離に基づく３次元点群の位置を示す３次元点群情報を生成する３次元点群情報生成ステップと、
前記撮像部が撮像した前記画像から検出される特徴点の異なる時刻に撮像された前記画像間での位置の変化に基づいてある時刻における自装置の位置及び方位を推定する自己位置推定ステップと、
前記ある時刻に前記測距部が測定した前記距離に基づいて生成した前記３次元点群情報が示す３次元点群の位置を、前記ある時刻に推定された前記自装置の位置及び方位に基づいて補正する補正ステップと、
補正した前記３次元点群の位置に基づいて前記対象物の３次元形状を示す３次元情報を生成する３次元情報生成ステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元情報生成システム、及びプログラムに関する。

【背景技術】

【0002】

水力発電所の水路トンネルの点検には、トンネル内部の情報が必要となる。トンネル内部の情報には、トンネル内部の壁面の状態とトンネル内部の断面形状を確認するための３次元情報が含まれる。一般的な水路トンネルの点検では水路内部の水を抜いた後に人がトンネル内に立ち入って目視で点検を行い、目視で壁面に異常を確認した場合に断面形状を現地で計測する。
トンネル内部の情報は移動しながら取得することが効率的で望ましい。トンネル内部の壁面の状態を移動しながら取得するための方法については、カメラでトンネル内部の壁面を撮像する等による方法で取得可能である。一方、トンネル内部の断面形状を確認するための３次元情報を移動しながら取得する技術がなかった。

【0003】

水路トンネル内部の断面形状の変化（変状）が進行すると水路トンネルとしての機能が失われて発電支障を来す恐れがある。そのため、数年に１度の頻度で水路の抜水を行い、点検員が水路トンネル内を歩いて目視点検や変状調査を実施している。しかし、抜水状態での目視点検や変状調査には、時間がかかるため発電停止長期化による減益につながるといった課題が挙げられる。また、場合によっては数十キロに及ぶ長距離の水路トンネルを人の目によって短期間に網羅的に点検することは困難である。

【0004】

上記の解決策として、トンネル内部の内部情報を取得する方法として、距離情報付き画像を用いる技術（特許文献１）、レーザースキャナーが地上移動体に搭載された地上移動体搭載型レーザースキャナー、ステレオカメラを用いたＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）を用いた技術（特許文献２）、複数のセンサを用いた自己位置推定を用いた技術（特許文献３）などが知られている。

【0005】

特許文献１に記載の距離情報付き画像を用いる技術では、水路トンネルを壁面に沿って無人で流下可能な装置（水面ドローン）に、点検距離が取得可能なレーザと、画像が取得可能なカメラとを設置することによって、水路トンネル内を移動しながらトンネル縦断方向の位置情報を取得する。

【0006】

地上移動体搭載型レーザースキャナーには、例えば、測定装置を手押しで移動しながら３次元情報の取得を行うものがある。当該技術では、移動体に搭載されたレーザースキャナーによって３次元形状を示す３次元情報を取得する。当該技術では、３次元情報の取得と同時に当該３次元情報によって自己位置を推定するが、３次元情報による自己位置推定のみでは自己位置の推定精度は十分でない。そのため、当該技術では、３次元情報によって推定された自己位置を以下の情報を元に補正しながら地図の作成を行う。当該技術では、トータルステーション（Ｔｏｔａｌ Ｓｔａｔｉｏｎ：ＴＳ）によって測定された座標を補正することによって、またはＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）によって移動体の位置情報を取得する。当該技術では、例えば、移動体に搭載されたＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）によって移動体の姿勢情報（位置情報、及び方位情報）を取得するものがある。

【0007】

特許文献２に記載のＳＬＡＭを用いた技術では、画像情報と３次元情報を同時に取得する。当該技術では、画像情報の特徴点に３次元情報を付加し、自己位置を推定しながら地図の作成を行う。

【0008】

特許文献３に記載の複数のセンサを用いた自己位置推定を用いた技術では、ＳＬＡＭによる自己位置と、その他複数のオドメトリ用のセンサを用いた自己位置とを融合して自己位置を補正する。当該技術では、重み係数学習処理部に各自己位置推定結果を入力して自己位置を補正する。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２０２１－１１０６９５号公報

【特許文献2】特開２０１８－１９４４１７号公報

【特許文献3】特開２０２０－１６０５９４号公報

【特許文献4】特開２０２０－００２７５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、特許文献１に記載の技術、地上移動体搭載型レーザースキャナー、特許文献２に記載の技術、及び特許文献３に記載の技術では、トンネルのように進行方向に形状の特徴変化が少ない空間の場合、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）センサだけでは計測が失敗してしまう。またこれらの技術では、ＬｉＤＡＲセンサと別のオドメトリを統合して自己位置を推定する手法はすでに確立されているが、各情報を統合して自己位置を推定する場合、トンネル内では誤差の要因となるＬｉＤＡＲセンサの重み係数に応じて誤差が大きくなる。

【0011】

特許文献１に記載の距離情報付き画像を用いる技術では、水路トンネルの断面形状が取得できない。また、当該技術では、複数台のカメラが異なる方向の画像を取得しているものの、画像の位置関係が不明確である。
地上移動体搭載型レーザースキャナーでは、３次元情報の補正のために所定位置に設置された複数のＴＳを用いる場合には、用いるＴＳを位置毎に切り替える必要がある。また、当該技術では、ＴＳの切り替えのために、レーザースキャナーは数秒置きに停止させる必要があり、手間がかかりすぎて現実的ではない。
特許文献２に記載のＳＬＡＭを用いた技術では、既存の地図を前提としたマッピング技術となっているため、新規に自己位置推定及び地図を作成することはできない。
特許文献３に記載の複数のセンサを用いた自己位置推定を用いた技術では、画像情報と３次元情報を統合して自己位置を推定するため、進行方向に形状の特徴変化が少ないトンネル内では誤差が発生する要因となる。また、当該技術では、事前学習が必要であり、トンネルで適用できるオドメトリを学習させることが困難である。
対象物の３次元形状を示す３次元情報の測定精度を高めることが求められている。

【0012】

本発明は上記の点に鑑みてなされたものであり、対象物の３次元形状を示す３次元情報の測定精度を高めることができる３次元情報生成システム、及びプログラムを提供する。

【課題を解決するための手段】

【0013】

本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、対象物の画像を撮像する撮像部と、前記対象物に所定視点から光を照射して前記対象物から反射された光を受光することによって取得される前記所定視点から前記対象物までの距離を測定する測距部と、演算部とを備え、前記撮像部と前記測距部との相対位置は固定されており、前記演算部は、前記測距部が測定した前記距離に基づく３次元点群の位置を示す３次元点群情報を生成し、前記撮像部が撮像した前記画像から検出される特徴点の異なる時刻に撮像された前記画像間での位置の変化に基づいてある時刻における自装置の位置及び方位を推定し、前記ある時刻に前記測距部が測定した前記距離に基づいて生成した前記３次元点群情報が示す３次元点群の位置を、前記ある時刻に推定された前記自装置の位置及び方位に基づいて補正し、補正した前記３次元点群の位置に基づいて前記対象物の３次元形状を示す３次元情報を生成する３次元情報生成システムである。

【0014】

また、本発明の一態様は、上記の３次元情報生成システムにおいて、前記演算部は、前記撮像部が撮像した前記画像から検出される特徴点の第１時刻と第２時刻とに撮像された前記画像間での位置の変化に基づいて前記第２時刻における自装置の位置及び方位を推定し、前記第２時刻は、前記撮像部が前記対象物の画像を撮像する複数の時刻のうち前記第１時刻の直後の時刻である。

【0015】

また、本発明の一態様は、対象物の画像を撮像する撮像部と、前記対象物に所定視点から光を照射して前記対象物から反射された光を受光することによって取得される前記所定視点から前記対象物までの距離を測定する測距部とを備える３次元情報生成システムのコンピュータに、前記測距部が測定した前記距離に基づく３次元点群の位置を示す３次元点群情報を生成する３次元点群情報生成ステップと、前記撮像部が撮像した前記画像から検出される特徴点の異なる時刻に撮像された前記画像間での位置の変化に基づいてある時刻における自装置の位置及び方位を推定する自己位置推定ステップと、前記ある時刻に前記測距部が測定した前記距離に基づいて生成した前記３次元点群情報が示す３次元点群の位置を、前記ある時刻に推定された前記自装置の位置及び方位に基づいて補正する補正ステップと、補正した前記３次元点群の位置に基づいて前記対象物の３次元形状を示す３次元情報を生成する３次元情報生成ステップと、を実行させるためのプログラムである。

【発明の効果】

【0016】

本発明によれば、対象物の３次元形状を示す３次元情報の測定精度を高めることができる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態に係る点検装置の外観の一例を示す図である。

【図2】本発明の実施形態に係る水路トンネルの内部が撮像された画像の一例を示す図である。

【図3】水路トンネルの内壁の画像の一例を示す図である。

【図4】水路トンネルの内壁の３次元形状の一例を示す図である。

【図5】本発明の実施形態に係る点検装置の構成の一例を示す図である。

【図6】本発明の実施形態に係る点検装置のハードウェア構成の一例を示す図である。

【図7】本発明の実施形態に係る３次元情報生成装置の機能構成の一例を示す図である。

【図8】本発明の実施形態に係る３次元情報生成処理の一例を示す図である。

【図9】本発明の実施形態に係る撮像部によって撮像された画像において検出された特徴点の一例を示す図である。

【図10】本発明の実施形態に係る補正処理の一例を示す図である。

【図11】本発明の実施形態に係る３次元画像の一例を示す図である。

【図12】本発明の実施形態に係る３次元画像の一例を示す図である。

【図13】本発明の実施形態の変形例に係る浮体点検装置の一例を示す図である。

【発明を実施するための形態】

【0018】

（実施形態）
以下、図面を参照しながら本発明の実施形態について詳しく説明する。図１は、本実施形態に係る点検装置１の外観の一例を示す図である。点検装置１は、水路トンネル内部を点検するための装置である。点検装置１は、一例として、作業者によって搬送されて水路トンネル内を移動する。

【0019】

点検装置１は、水路トンネル内を移動しながら、水路トンネル内の壁面の画像情報と、壁面の３次元形状を示す３次元情報とを取得する。点検装置１は、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）センサによって３次元情報を取得する。

【0020】

ここで水路トンネルは、進行方向に形状の特徴変化が少ない空間である。進行方向に形状の特徴変化が少ない空間の場合、従来のようにＬｉＤＡＲセンサだけを用いて３次元情報を取得する場合、計測に失敗してしまう。その原因は、ＬｉＤＡＲ ＳＬＡＭに必要な形状の凹凸の変化（特徴点）が少ないためである。

【0021】

ここで図２から図４を参照し、水路トンネルの内部の特徴について説明する。図２は、本実施形態に係る水路トンネルの内部が撮像された画像の一例を示す図である。図２に示すように、目地の画像Ｐ１や水垢の画像Ｐ２などの画像情報が豊富に含まれている。

【0022】

図３に、水路トンネルの内壁の画像を示す。図３に示す内壁は、一例として側面の内壁である。図３に示すように、水路トンネルの内壁には、水垢などのコンクリート表面の汚れによる模様など、画像としての特徴が豊富に含まれている。画像としての特徴とは、色のコントラストによる特徴である。当該特徴は、３次元形状を示す特徴点として抽出するために好適である。

【0023】

一方、図４に、水路トンネルの内壁の３次元形状を示す。図４に示す内壁は、一例として天井の内壁である。図４に示すように、水路トンネルの内壁の３次元形状は、凹凸などの形状の特徴が少ない。

【0024】

点検装置１による３次元情報の取得では、水路トンネルの内壁には画像としての特徴が豊富に含まれていることに着目し、画像情報と３次元情報とを組み合わせたＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）が利用される。ここでＶｉｓｕａｌ ＳＬＡＭでは、画像情報を扱うが、点群密度が低い。一方、ＬｉＤＡＲ ＳＬＡＭでは、形状情報を扱うが、点群密度が高い。点検装置１では、Ｖｉｓｕａｌ ＳＬＡＭで扱われる画像情報と、ＬｉＤＡＲ ＳＬＡＭで扱われる形状情報を示す３次元情報とを組み合わせることによって、３次元情報の精度を高める。

【0025】

点検装置１は、ＬｉＤＡＲ ＳＬＡＭによって対象の３次元形状を示す３次元情報を取得する。点検装置１は、３次元情報と同期して取得された画像情報に基づいて自己位置を推定する（Ｖｉｓｕａｌ ＳＬＡＭ）。点検装置１は、取得した３次元情報を推定した自己位置に基づいて補正する。

【0026】

［点検装置の構成］
図５は、本実施形態に係る点検装置１の構成の一例を示す図である。点検装置１は、カメラ２と、ＬｉＤＡＲセンサ３と、照明４と、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）５と、防水ケース６と、架構７とを備える。

【0027】

カメラ２は、一例として、３６０度カメラである。カメラ２は、水路トンネルの内壁のカラー画像を撮像する。カメラ２は、水路トンネルの内壁のカラー画像を動画として撮像する。つまり、カメラ２は、当該カラー画像を所定の周期で撮像し続ける。
なお、カメラ２の画角は、３６０度未満であってもよいが、所定以上の画角を有し広範囲を同時に撮像可能であることが好ましい。なお、カメラ２は、モノクロ画像を撮像してもよいが、豊富な画像情報を取得するためにはカラー画像を撮像することが好ましい。

【0028】

ＬｉＤＡＲセンサ３は、ＬｉＤＡＲセンサ３１と、ＬｉＤＡＲセンサ３２との２つからなる。ＬｉＤＡＲセンサ３１と、ＬｉＤＡＲセンサ３２とは同等の機能を有するため、ＬｉＤＡＲセンサ３１と、ＬｉＤＡＲセンサ３２とをＬｉＤＡＲセンサ３に代表させて説明する。

【0029】

ＬｉＤＡＲセンサ３は、自身から水路トンネルの内壁表面の各点までの距離を測定する。ＬｉＤＡＲセンサ３は、ＴＯＦ方式の測距センサである。つまり、ＬｉＤＡＲセンサ３は、対象物に所定視点から光を照射して当該対象物から反射された光を受光することによって取得される当該所定視点から当該対象物までの距離を測定する。当該対象物とは、本実施形態では、水路トンネルの内壁表面の各点である。

【0030】

ＬｉＤＡＲセンサ３は、対象物に光を照射するためのレーザ光源、対象を走査するためのスキャナ機構及び光学系、対象物から反射された光を受光するための受光素子、ＬｉＤＡＲセンサ３が自己位置を取得するための自己位置取得機構などを備える。当該自己位置取得機構は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）やＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）などである。

【0031】

ＬｉＤＡＲセンサ３が測定した距離は、３次元点群の生成に用いられる。なお、本実施形態では、内壁表面の同時に測定される範囲を広くするために、点検装置１がＬｉＤＡＲセンサ３１と、ＬｉＤＡＲセンサ３２との２つのＬｉＤＡＲセンサ３を備える場合の一例について説明するが、点検装置１はＬｉＤＡＲセンサ３１と、ＬｉＤＡＲセンサ３２とのうちいずれか一方のみを備えてもよい。また、点検装置１は、３つ以上のＬｉＤＡＲセンサ３を備えてもよい。

【0032】

照明４は、カメラ２の撮像対象を照明する。つまり、照明４は、水路トンネルの内壁を照明する。照明４によって当該内壁が照明されることによって、カメラ２が撮像する当該内壁のカラー画像の各画素の輝度が高くなる。カメラ２が撮像するカラー画像の各画素の輝度は高い方が、当該カラー画像に含まれる画像情報（画像に含まれる特徴）は豊富なものになる。

【0033】

照明４は、点検装置１の周囲の広い範囲を照明することが好ましい。本実施形態では、照明４は、一例として、互いに異なる方向（正面、斜め右前方、斜め左前方）に照明光を照射する３つの照明からなる。
なお、水路トンネル内に予め照明が設置されている場合など、点検装置１の周囲に十分な照度が得られている場合、照明４は点検装置１の構成から省略されてもよい。

【0034】

ＰＣ５は、各種演算を行う。ＰＣ５は、一例として、防水ケース６に収納されており、図５においては示されていない。ＰＣ５が行う演算には、ＬｉＤＡＲセンサ３によって測定された距離に基づく３次元点群の生成、カメラ２によって撮像されたカラー画像に基づく自己位置の推定、推定した自己位置に基づく３次元点群の補正、補正した３次元点群に基づく３次元情報（水路トンネルの内壁の３次元形状を示す情報）の生成などが含まれる。これらの演算の詳細は後述する。

【0035】

架構７には、点検装置１が備える各機器が載置される。つまり、架構７には、カメラ２と、ＬｉＤＡＲセンサ３と、照明４と、防水ケース６に収納されたＰＣ５とが載置される。
ここで架構７に載置される各機器間の相対位置は固定される。したがって、カメラ２と、ＬｉＤＡＲセンサ３との相対位置は固定される。当該相対位置には、カメラ２とＬｉＤＡＲセンサ３との間の距離と、カメラ２の向きとＬｉＤＡＲセンサ３の向きとの間の角度とが含まれる。

【0036】

架構７の所定の部位が作業者に把持され搬送されることによって、点検装置１は水路トンネル内を移動する。点検装置１は移動しながら水路トンネルの内壁の３次元情報を取得する。点検装置１の移動速度は、一例として、歩行速度程度である。

【0037】

図６は、本実施形態に係る点検装置１のハードウェア構成の一例を示す図である。ＬｉＤＡＲセンサ３１と、ＬｉＤＡＲセンサ３２とは、ＵＳＢハブ８を介して信号線によってＰＣ５に接続される。カメラ２は、信号線によってＰＣ５に接続される。

【0038】

ＬｉＤＡＲセンサ３１とＬｉＤＡＲセンサ３２とは、同期ケーブルＣ１によって接続される。これによって、ＬｉＤＡＲセンサ３１とＬｉＤＡＲセンサ３２との間において、距離の測定が行われる時刻が同期される。

【0039】

また、ＬｉＤＡＲセンサ３１とＬｉＤＡＲセンサ３２とのそれぞれには、バッテリ９１とバッテリ９２とがそれぞれ接続される。ＬｉＤＡＲセンサ３１とＬｉＤＡＲセンサ３２とのそれぞれには、バッテリ９１とバッテリ９２とからそれぞれ電力が供給される。バッテリ９１、及びバッテリ９２は、モバイルバッテリーである。
ＰＣ５、及びカメラ２にはそれぞれ、それらに備えらえる内部バッテリ（不図示）によって電力が供給される。

【0040】

［３次元情報生成装置１０の機能構成］
ここで図７を参照し、点検装置１の機能構成を３次元情報生成装置１０の機能構成として説明する。
図７は、本実施形態に係る３次元情報生成装置１０の機能構成の一例を示す図である。図７に示す３次元情報生成装置１０は、図５に示した点検装置１に対応する。３次元情報生成装置１０は、撮像部１１と、測距部１２と、演算部１３と、記憶部１４とを備える。

【0041】

撮像部１１は、対象物（水路トンネルの内壁）の画像を撮像する。撮像部１１は、図５に示したカメラ２を含む。
測距部１２は、ＴＯＦの原理に基づいて、所定視点から当該対象物までの距離を測定する。測距部１２は、図５に示したＬｉＤＡＲセンサ３を含む。

【0042】

演算部１３は、各種の演算を行う。演算部１３は、３次元点群生成部１３０と、自己位置推定部１３１と、補正部１３２と、３次元情報生成部１３３とを備える。演算部１３が備える各機能部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）がＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）からプログラムを読み込んで処理を実行することにより実現される。

【0043】

３次元点群生成部１３０は、３次元点群情報Ａ１を生成する。３次元点群情報Ａ１は、測距部１２が測定した距離に基づく３次元点群の位置を示す。３次元点群情報Ａ１では、当該３次元点群の位置は、３次元点群に含まれる点それぞれについての３次元座標によって示される。

【0044】

自己位置推定部１３１は、撮像部１１が撮像した画像から特徴点を検出し、ＳＬＡＭに基づいて自装置（３次元情報生成装置１０）の位置（自己位置）を推定する。

【0045】

補正部１３２は、３次元点群生成部１３０が生成した３次元点群の位置を補正する。
３次元情報生成部１３３は、３次元点群の位置に基づいて３次元情報を生成する。３次元情報は、対象物の３次元形状を示す。

【0046】

記憶部１４は、各種の情報を記憶する。記憶部１４が記憶する情報には、３次元点群情報Ａ１、及び画像情報Ａ２が含まれる。記憶部１４は、例えば、半導体記憶装置等の記憶装置を用いて構成される。なお、記憶部１４は、防振構造を有していれば磁気ハードディスク装置によって構成されてもよい。

【0047】

［３次元情報生成処理］
ここで図８を参照し、３次元情報生成装置１０が３次元情報を生成する処理である３次元情報生成処理について説明する。図８は、本実施形態に係る３次元情報生成処理の一例を示す図である。図８に示す３次元情報生成処理は、ＰＣ５（演算部１３）が対象物（水路トンネルの内壁）の撮像を開始する操作を受け付けた場合に開始される。当該操作は、操作部（図５において不図示）から３次元情報生成装置１０のユーザである作業者によって行われる。また、少なくともステップＳ１０、ステップＳ２０、及びステップＳ３０の各処理は、３次元情報生成装置１０が移動する間に実行される。

【0048】

ステップＳ１０：測距部１２は、距離情報を取得する。距離情報は、所定視点から対象物までの距離を示す情報である。ここで測距部１２は、対象物に所定視点から光を照射して当該対象物から反射された光を受光することによって取得される当該所定視点から当該対象物までの距離を測定する。測距部１２は、測定結果として距離情報を取得する。測距部１２は、取得した距離情報を、３次元点群生成部１３０に供給する。ここで測距部１２は、測定結果とともに、距離を測定した時刻（測定時刻）を、距離情報に含める。

【0049】

ステップＳ２０：３次元点群生成部１３０は、測距部１２から取得した距離情報に基づいて３次元点群情報Ａ１を生成する。３次元点群情報Ａ１が位置を示す３次元点群を構成する各点は、測距部１２が光を照射する対象物の表面の各点に対応する。３次元点群情報Ａ１では、３次元点群に含まれる点それぞれについての３次元座標は、例えば、３次元直交座標によって示される。ここで３次元点群生成部１３０は、３次元点群の位置と、距離情報が示す測定時刻とを組にして３次元点群情報Ａ１を生成する。３次元点群生成部１３０は、生成した３次元点群情報Ａ１を記憶部１４に記憶させる。

【0050】

測距部１２から取得した距離情報に基づいて生成された３次元点群情報Ａ１は、ＬｉＤＡＲセンサ３によって測定された距離に基づいて生成された３次元点群の位置を示す。つまり、本実施形態では、３次元点群情報Ａ１は、対象物に所定視点から光を照射して当該対象物から反射された光を受光することによって取得される当該所定視点から当該対象物までの距離を測定した結果に基づいて生成された３次元点群の位置を示す情報である。

【0051】

Ｖｉｓｕａｌ ＳＬＡＭやステレオ画像から得られる点群（深度画像）は、一般的に照明やカメラによって撮像される画像のぶれの影響を受けやすく、点群がうねる傾向にある。そのため、Ｖｉｓｕａｌ ＳＬＡＭやステレオ画像から得られる点群では、当該点群が示す対象物の形状を示す３次元情報の誤差が大きくなる傾向がある。本実施形態では、３次元点群として、ＬｉＤＡＲセンサ３によって測定された距離に基づいて生成された３次元点群を用いることによって、対象物の形状を示す３次元情報の精度を高めている。

【0052】

ステップＳ３０：撮像部１１は、対象物（水路トンネルの内壁）の画像を撮像する。撮像部１１は、撮像した画像と、撮像時刻とを組にして画像情報Ａ２を生成する。撮像部１１は、生成した画像情報Ａ２を３次元点群生成部１３０に記憶させる。

【0053】

ステップＳ４０：演算部１３は、対象物の画像の撮像が終了したか否かを判定する。演算部１３は、当該撮像が終了したことを示す操作を受け付けた場合に、当該撮像が終了したと判定する。演算部１３は、当該撮像が終了したと判定した場合（ステップＳ４０；ＹＥＳ）、ステップＳ５０の処理を実行する。一方、演算部１３は、当該撮像が終了していないと判定した場合（ステップＳ４０；ＮＯ）、ステップＳ１０の処理を再度実行する。

【0054】

したがって、ステップＳ１０、ステップＳ２０、及びステップＳ３０の各処理は、撮像が終了するまで３次元情報生成装置１０が移動する間に繰り返し実行される。繰り返しの周期は、例えば、撮像部１１が１枚の画像を撮像する周期である。

【0055】

ステップＳ５０：自己位置推定部１３１は、ＳＬＡＭに基づいて自己位置を推定する。自己位置推定部１３１は、記憶部１４から画像情報Ａ２を読み出す。自己位置推定部１３１は、読み出した画像情報Ａ２から対象物（水路トンネルの内壁）の特徴点を検出する。ここで自己位置推定部１３１は、撮像時刻毎に画像から特徴点を検出する。

【0056】

図９に、撮像部１１によって撮像された画像Ｐ３において検出された特徴点Ｐ４の一例を示す。撮像部１１が３６０度カメラであるカメラ２によって画像を撮像する。図９に示す画像Ｐ３では、３次元情報生成装置１０の周囲の水路トンネルの内壁が３６０度の画角について撮像されている。図９では、複数の特徴点Ｐ４がそれぞれ正方形のマークによって示されている。

【0057】

図８に戻って３次元情報生成処理の説明を続ける。
自己位置推定部１３１は、検出した特徴点からＳＬＡＭに基づいて、３次元情報生成装置１０の自己位置を推定する。自己位置推定部１３１は、当該特徴点の異なる撮像時刻間での位置の変化に基づいてある撮像時刻における３次元情報生成装置１０の位置を自己位置として推定する。ここで自己位置推定部１３１が推定する自己位置には、自装置の相対位置、及び相対方位が含まれる。相対位置及び相対方位とは、ある撮像時刻に撮像された画像から抽出された特徴点の位置の、別の撮像時刻に撮像された画像から抽出された特徴点の位置に対する相対位置及び相対方位である。相対位置及び相対方位は、ベクトル情報によって示される。

【0058】

ある撮像時刻とは、例えば時刻ｔ＋１であり、別の撮像時刻とは、例えば時刻ｔである。ここで時刻ｔ＋１は、撮像部１１が対象物を撮像した複数の撮像時刻のうち時刻ｔの直後の時刻である。上述したように、補正部１３２は、撮像部１１が撮像した画像から検出される特徴点の時刻ｔと時刻ｔ＋１とに撮像された画像間での位置の変化に基づいて時刻ｔ＋１における自装置の位置及び方位を推定する。自装置の位置及び方位をまとめて、自装置の姿勢、または自己位置などともいう。

【0059】

自己位置推定部１３１は、一例として、オープンソースのＯｐｅｎ－ＶＳＬＡＭをＳＬＡＭとして用いる。Ｏｐｅｎ－ＶＳＬＡＭは、ＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）特徴点に基づくＶｉｓｕａｌ ＳＬＡＭである。なお、自己位置推定部１３１は、Ｏｐｅｎ－ＶＳＬＡＭ以外のＶｉｓｕａｌ ＳＬＡＭを用いてもよい。

【0060】

ステップＳ６０：補正部１３２は、画像情報Ａ２に基づいて３次元点群情報Ａ１を補正する。ここで図１０を参照し、補正部１３２による補正処理について説明する。図１０は、本実施形態に係る補正処理の一例を示す図である。図１０に示す各ステップは、図８に示すステップＳ６０において実行される。

【0061】

ステップＳ１１０：補正部１３２は、データ取得時刻を画像情報Ａ２と３次元点群情報Ａ１との間で同期させる。補正部１３２は、画像情報Ａ２に含まれる画像の撮像時刻と、３次元点群情報Ａ１に含まれる測定時刻とを対応づける。

【0062】

ステップＳ１２０：補正部１３２は、データ取得時刻毎に３次元点群の位置を補正する処理を開始する。

【0063】

ステップＳ１３０：補正部１３２は、自己位置推定部１３１による自己位置の推定結果に基づいて３次元点群の位置を補正する。補正部１３２は、時刻ｔと時刻ｔ＋１において、時刻ｔ＋１の３次元点群情報Ａ１が示す３次元点群の位置を、画像情報Ａ２に基づく自己位置推定部１３１による自己位置の推定結果を用いて補正する。また、自己位置の推定結果とは、上述したように、時刻ｔから時刻ｔ＋１の間に変化した３次元情報生成装置１０の相対位置と相対方位を示すベクトル情報である。

【0064】

上述したように、補正部１３２は、ある時刻に測距部１２が測定した距離に基づいて生成した３次元点群情報Ａ１が示す３次元点群の位置を、当該ある時刻に推定された自装置（３次元情報生成装置１０）の位置に基づいて補正する。

【0065】

ステップＳ１４０：補正部１３２は、３次元点群情報Ａ１が示す３次元点群の位置同士を補正する。ここで補正部１３２は、時刻ｔと時刻ｔ＋１において補正された３次元点群情報Ａ１が示す３次元点群に対して、３次元点群の位置同士が整合するように当該３次元点群同士の位置を補正する（マッチング補正ともいう）。３次元点群同士の位置を補正することを、３次元点群同士の位置を合わせるともいう。

【0066】

補正部１３２は、一例としてＩＣＰ （Ｉｔｅｒａｔｉｖｅ ｃｌｏｓｅｓｔ ｐｏｉｎｔ）に基づいて３次元点群の位置同士を補正する。なお、補正部１３２は、ＩＣＰ以外の位置合わせのアルゴリズムに基づいて３次元点群の位置同士を補正してもよい。

【0067】

ステップＳ１５０：補正部１３２は、データ取得時刻毎に３次元点群の位置を補正する処理を終了する。
以上で、補正部１３２は、補正処理を終了する。

【0068】

なお、本実施形態では、自己位置推定部１３１は、相対位置情報として、撮像部１１が対象物を撮像した複数の撮像時刻のうち時刻ｔにおける特徴点の位置から時刻ｔの直後の時刻である時刻ｔ＋１における特徴点の位置への相対位置及び相対方位を用いて自己位置を推定する場合の一例について説明したが、これに限られない。自己位置推定部１３１は、例えば、特徴点の初期時刻における位置（初期位置）から、特徴点のある時刻における位置への相対位置及び相対方位に基づいて自装置の位置及び方位を推定してもよい。

【0069】

初期位置からの相対位置及び相対方位に基づいて自装置の位置及び方位を推定する場合、推定された自己位置には、ある時刻と当該ある時刻の直後の時刻との間の相対位置及び相対方位づいて推定する場合に比べ、誤差が多く蓄積すると考えられる。誤差が多く蓄積すると、ステップＳ１４０における３次元点群の位置同士を補正する処理（例えば、ＩＣＰによる補正）において、補正（位置合わせ）の処理が難しくなりまた補正（位置合わせ）の誤差が大きくなる。

【0070】

上述したように、自己位置推定部１３１は、撮像部１１が撮像した画像から検出される特徴点の異なる時刻に撮像された当該画像間での位置の変化に基づいてある時刻における自装置（３次元情報生成装置１０）の位置を推定する。

【0071】

図８に戻って３次元情報生成処理の説明を続ける。
ステップＳ７０：３次元情報生成部１３３は、補正された３次元点群の位置に基づいて３次元情報を生成する。ここで補正された３次元点群の位置とは、ステップＳ１３０における画像情報Ａ２に基づいて推定された自己位置に基づく補正と、ステップＳ１４０における３次元点群の位置同士の補正とによって補正された位置である。３次元情報では、補正された３次元点群の位置によって対象物の形状が示される。

【0072】

３次元情報生成部１３３は、生成した３次元情報を出力する。例えば、３次元情報生成部１３３は、当該３次元情報を表示装置に出力する。表示装置は、当該３次元情報に基づいて、対象物（水路トンネルの内壁）の形状を示す３次元画像を表示する。これによって、対象物（水路トンネルの内壁）の形状は、３次元画像として可視化される。
なお、３次元情報生成部１３３は、当該３次元情報を記憶部１４または外部の記憶装置に出力して記憶させてもよい。

【0073】

３次元情報生成部１３３は、３次元画像に、対象物の形状の任意の点についての位置情報、方位情報を含めてよい。当該位置情報、方位情報は、３次元点群のデータに基づいて当該３次元画像に含められる。位置情報、方位情報は、点の位置、方向を３次元座標によって示す。これによって、３次元情報生成装置１０のユーザは、表示装置によって表示される３次元画像の画像上の１点を選択すれば、３次元点群のデータに基づいて位置情報、方位情報を取得できる。
以上で、演算部１３は、３次元情報生成処理を終了する。

【0074】

［３次元画像］
ここで図１１及び図１２を参照し、３次元情報生成装置１０によって生成された３次元画像の具体例について説明する。図１１は、本実施形態に係る３次元画像Ｐ５の一例を示す図である。３次元画像Ｐ５は、３次元情報生成装置１０によって生成された水路トンネルの内壁の３次元画像である。３次元画像Ｐ５では、点群データによって当該内壁の形状が示されている。

【0075】

図１２は、本実施形態に係る３次元画像Ｐ６の一例を示す図である。３次元画像Ｐ６は、３次元情報生成装置１０が水路トンネル内を移動することによって生成された水路トンネル全体の３次元画像（鳥瞰図）である。３次元画像Ｐ６では、点群データによって当該内壁の形状が水路トンネル全体について示されている。

【0076】

なお、本実施形態では、３次元情報生成処理を行うための各機能部を演算部１３が備える場合の一例について説明したが、これに限られない。３次元情報生成処理を行うための各機能部のうちいずれか１以上は、３次元情報生成装置１０とは別体の演算装置に備えられてもよい。つまり、３次元点群生成部１３０、自己位置推定部１３１、補正部１３２、３次元情報生成部１３３のうちいずれか１以上は、当該演算装置に備えられてもよい。その場合、３次元情報生成装置１０は、当該演算装置と通信を行うための通信部を備える。当該演算装置とは、例えば、端末装置やサーバである。
３次元情報生成処理を行うための各機能部のうちいずれか１以上が３次元情報生成装置１０とは別体の１以上の演算装置に備えられる場合、それら１以上の演算装置と、３次元情報生成装置１０とは、３次元情報生成システムを構成する。

【0077】

（変形例）
本実施形態では、点検装置１（３次元情報生成装置１０）が作業者によって搬送される場合の一例について説明したが、これに限られない。点検装置は、浮体に載置されて、水路トンネル内を移動してもよい。
ここで図１３を参照し、本実施形態の変形例として点検装置が浮体に載置される場合について説明する。図２０は、本変形例に係る浮体点検装置２０の一例を示す図である。浮体点検装置２０は、点検装置２１と、浮体２２と、パラシュート２３と、テール２４とを備える。なお、浮体点検装置２０の構成は、例えば、特許文献４に記載の構成に基づくものである。

【0078】

点検装置２１は、本実施形態の点検装置１（図１）の構成と同様であるため説明を省略する。なお、架構の形状は図１に示した架構７から変更されてよい。
浮体２２は、水路トンネルの水面に浮かぶ。
パラシュート２３は、水路トンネル内の水から推進力を受ける。浮体点検装置２０は、当該推進力によって水路トンネル内を移動する。テール２４は、柱体２５に対してパラシュート２３とは反対側に接続されたロープ状の部材である。パラシュート２３とテール２４とは、柱体２５を介して浮体２２に接続される。浮体点検装置２０では、水から受ける推進力は、テール２４、浮体２２、パラシュート２３の順に高い。そのため、パラシュート２３が浮体２２を下流側に引き寄せ、テール２４が浮体２２を上流側に引き寄せる。これによって、浮体２２の姿勢が水流に対して保たれる。

【0079】

浮体点検装置２０では、水路トンネルの抜水を行うことなく、水路トンネル内を流れながら移動して水路トンネルの内壁の点検を行うことができる。浮体点検装置２０では、浮体２２によって水に浮かびながら移動するため、水路トンネルの内壁を撮像し、また当該内壁までの距離を測定する場合に、浮体点検装置２０本体の振動の影響を少なくできる。

【0080】

なお、点検装置は、移動装置に載置されて水路トンネル内を移動してもよい。当該移動装置は、自走式であってもよいし、作業者によって牽引、または押されて移動するものであってもよい。当該移動装置は、自動運転によって走行する車両であってもよいし、作業者によって運転されてもよい。当該移動装置は、例えば、車両である。

【0081】

以上に説明したように、本実施形態に係る３次元情報生成システム（本実施形態において、３次元情報生成装置１０）は、撮像部１１と、測距部１２と、演算部１３とを備える。
撮像部１１は、対象物（本実施形態において、水路トンネルの内壁）の画像を撮像する。
測距部１２は、対象物（本実施形態において、水路トンネルの内壁）に所定視点から光を照射して対象物（本実施形態において、水路トンネルの内壁）から反射された光を受光することによって取得される当該所定視点から対象物（本実施形態において、水路トンネルの内壁）までの距離を測定する。
撮像部１１と測距部１２との相対位置は固定されている。
演算部１３は、測距部１２が測定した距離に基づく３次元点群の位置を示す３次元点群情報Ａ１を生成し（３次元点群生成部１３０）、撮像部１１が撮像した画像から検出される特徴点の異なる時刻に撮像された画像間での位置の変化に基づいてある時刻における自装置（３次元情報生成装置１０）の位置及び方位を推定し（自己位置推定部１３１）、当該ある時刻に測距部１２が測定した距離に基づいて生成した３次元点群情報Ａ１が示す３次元点群の位置を、当該ある時刻に推定された自装置（３次元情報生成装置１０）の位置及び方位に基づいて補正し（補正部１３２）、補正した３次元点群の位置に基づいて対象物（本実施形態において、水路トンネルの内壁）の３次元形状を示す３次元情報を生成する（３次元情報生成部１３３）。

【0082】

この構成により、本実施形態に係る３次元情報生成装置１０では、３次元点群の位置を画像情報に基づいて推定された自装置の位置及び方位に基づいて補正できるため、対象物の３次元形状を示す３次元情報の測定精度を高めることができる。本実施形態に係る３次元情報生成装置１０では、対象物の３次元形状を示す３次元情報（ＬｉＤＡＲ ＳＬＡＭ）と、画像情報（Ｖｉｓｕａｌ ＳＬＡＭ）とを組み合わせることによって、３次元情報の精度を高めている。

【0083】

本実施形態に係る３次元情報生成装置１０は、本実施形態において説明したように水路トンネルの内壁の点検に好適に用いられる。水路トンネルの抜水中または通水中にかかわらず、移動しながら水路トンネルの点検が可能となる。３次元情報生成装置１０を用いた点検では、位置情報、方位情報が付与された３次元画像が取得可能である。当該３次元画像では、画像上の１点を選択すれば、３次元点群のデータに基づいて当該１点の座標情報を取得可能である。また、３次元情報生成装置１０を用いた点検では、任意地点における水路トンネルの３次元の断面形状を示す情報が取得可能である。

【0084】

また、本実施形態に係る３次元情報生成装置１０では、演算部１３は、撮像部１１が撮像した画像から検出される特徴点の第１時刻（時刻ｔ）と第２時刻（時刻ｔ＋１）とに撮像された画像間での位置の変化に基づいて第２時刻における自装置（３次元情報生成装置１０）の位置を推定し（自己位置推定部１３１）、第２時刻（時刻ｔ＋１）は、撮像部１１が対象物（本実施形態において、水路トンネルの内壁）の画像を撮像する複数の時刻のうち第１時刻（時刻ｔ）の直後の時刻である。

【0085】

この構成により、本実施形態に係る３次元情報生成装置１０では、ある時刻と当該ある時刻の直後の時刻との間の相対位置及び相対方位づいて自装置の位置及び方位を推定できるため、初期位置からの相対位置及び相対方位に基づいて自装置の位置及び方位を推定する場合に比べて、位置の推定する精度を高めることができる。

【0086】

なお、本実施形態では、点検装置１が水路トンネルの点検に利用される場合の一例について説明したが、これに限られない。点検装置１は、道路のトンネルの点検に用いられてもよい。また、点検装置１は、天井のない場所の点検にも用いられてよい。天井のない場所とは、河川の護岸、道路の縁石などである。

【0087】

なお、上述した実施形態における３次元情報生成装置１０の一部、例えば、演算部１３をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、３次元情報生成装置１０に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における３次元情報生成装置１０の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。３次元情報生成装置１０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

【0088】

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【符号の説明】

【0089】

１０…３次元情報生成装置、１１…撮像部、１２…測距部、１３…演算部、１３０…３次元点群生成部、１３１…自己位置推定部、１３２…補正部、１３３…３次元情報生成部、１…点検装置、２…カメラ、３…ＬｉＤＡＲセンサ、５…ＰＣ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】