特開 2023-179840 画像生成装置、物体識別装置、及び画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023179840

(43)【公開日】2023-12-20

(54)【発明の名称】画像生成装置、物体識別装置、及び画像生成方法

(51)【国際特許分類】

   G05D 1/00 20060101AFI20231213BHJP

【ＦＩ】

G05D1/00 A

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022092686

(22)【出願日】2022-06-08

(71)【出願人】

【識別番号】000000974

【氏名又は名称】川崎重工業株式会社

(74)【代理人】

【識別番号】100118784

【弁理士】

【氏名又は名称】桂川 直己

(72)【発明者】

【氏名】中村 和行

(72)【発明者】

【氏名】西村 智貴

(72)【発明者】

【氏名】開田 真次

(72)【発明者】

【氏名】萩原 照満

【テーマコード（参考）】

5H301

【Ｆターム（参考）】

5H301AA05

5H301AA10

5H301BB10

5H301CC04

5H301CC07

5H301CC10

5H301GG07

5H301GG10

(57)【要約】

【課題】少ない演算量で的確に対象物を識別することが可能な画像を生成可能な画像生成装置を提供する。
【解決手段】画像生成装置は、予め定められた探知対象物を識別するための画像を生成する。画像生成装置は、入力部と、処理装置と、を備える。入力部には、センサが周囲を探知することにより生成された３次元点群データが入力される。処理装置は、入力部に入力された３次元点群データを、探知対象物に応じた向きの基準平面に射影することにより２次元画像を生成する。
【選択図】図３

【特許請求の範囲】

【請求項1】

予め定められた探知対象物を識別するための画像を生成する画像生成装置において、
センサが周囲を探知することにより生成された３次元点群データが入力される入力部と、
前記入力部に入力された前記３次元点群データを、前記探知対象物に応じた向きの基準平面に射影することにより２次元画像を生成する処理装置と、
を備える、画像生成装置。

【請求項2】

請求項１に記載の画像生成装置であって、
前記処理装置は、前記基準平面に垂直な方向における位置に応じて各画素の描画パラメータを変化させた距離画像を前記２次元画像として生成する、画像生成装置。

【請求項3】

請求項１に記載の画像生成装置であって、
前記探知対象物には、長尺体が含まれており、
前記処理装置は、前記基準平面を、前記長尺体の長手方向に平行な平面、又は、前記長尺体の長手方向に垂直な平面として、前記３次元点群データを当該基準平面に射影して前記２次元画像を生成する、画像生成装置。

【請求項4】

請求項１に記載の画像生成装置であって、
前記探知対象物は、探知面に沿って配置されており、
前記処理装置は、前記基準平面を、前記探知面と同一の平面、又は、当該探知面に平行な平面として、前記３次元点群データを当該基準平面に射影して前記２次元画像を生成する、画像生成装置。

【請求項5】

請求項４に記載の画像生成装置であって、
前記処理装置は、前記センサから入力された前記３次元点群データに基づいて前記探知面の位置を特定する、画像生成装置。

【請求項6】

請求項１に記載の画像生成装置であって、
前記処理装置は、前記センサから入力された前記３次元点群データから特定の３次元点群データを抽出し、前記特定の３次元点群データを前記基準平面に射影することにより２次元画像を生成する、画像生成装置。

【請求項7】

センサと、
前記センサが周囲を探知することにより生成された３次元点群データが入力される入力部と、前記入力部に入力された前記３次元点群データを、探知対象物に応じた向きの基準平面に射影することにより２次元画像を生成する処理装置と、を含む画像生成装置と、
を備え、
前記処理装置は、前記２次元画像を解析することにより前記探知対象物を識別する、物体識別装置。

【請求項8】

請求項７に記載の物体識別装置であって、
前記センサは、移動体に搭載されており、
前記処理装置は、前記移動体の移動中において、前記探知対象物を識別する、物体識別装置。

【請求項9】

請求項８に記載の物体識別装置であって、
前記センサは、１回のスキャンにより２次元点群データを生成するセンサであり、
前記移動体が移動しながら、前記センサが複数回のスキャンを行うことにより、前記３次元点群データを生成する、物体識別装置。

【請求項10】

請求項７に記載の物体識別装置であって、
前記探知対象物には、長尺体が含まれており、
前記処理装置は、前記基準平面に垂直な方向の位置に応じて各画素の描画パラメータを変化させた前記２次元画像である距離画像を生成し、
前記処理装置は、前記距離画像を前記描画パラメータに応じて二値化して更に輪郭を抽出した輪郭画像を生成し、
前記処理装置は、前記輪郭画像に基づいて前記長尺体の長手方向を特定して、当該長手方向に基づいて、前記探知対象物としての前記長尺体を識別する、物体識別装置。

【請求項11】

予め定められた探知対象物を識別するための画像を生成する画像生成方法において、
周囲を探知することにより３次元点群データを生成し、
前記３次元点群データに対して、前記探知対象物に応じて定められた向きの基準平面に射影する処理を行うことにより２次元画像を生成する、画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、主として、探知対象物を識別するための画像を生成する画像生成装置に関する。

【背景技術】

【0002】

特許文献１は、レーザスキャナを用いて得られた３次元点群データから、円形対象物を検出する対象物検出装置を開示する。対象物検出装置は、３次元点群データを水平面に射影することにより、射影パターンを生成する。対象物検出装置は、射影パターンに基づいて円形対象物を検出する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第５４６４９１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、３次元点群データを水平面に射影することのみが記載されている。そのため、対象物の形状又は向きによっては、射影パターンから対象物を識別することが困難になる可能性がある。一方で、３次元点群データを直接用いて対象物を識別する場合、演算量が膨大になる。

【0005】

本出願は以上の事情に鑑みてされたものであり、その主要な目的は、少ない演算量で的確に対象物を識別することが可能な画像を生成する画像生成装置を提供することにある。

【課題を解決するための手段】

【0006】

本出願の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。

【0007】

本出願の第１の観点によれば、以下の構成の画像生成装置が提供される。即ち、予め定められた探知対象物を識別するための画像を生成する。画像生成装置は、入力部と、処理装置と、を備える。前記入力部は、センサが周囲を探知することにより生成された３次元点群データが入力される。前記処理装置は、前記入力部に入力された前記３次元点群データを、前記探知対象物に応じた向きの基準平面に射影することにより２次元画像を生成する。

【0008】

本出願の第２の観点によれば、以下の構成の物体識別装置が提供される。即ち、物体識別装置は、センサと、画像生成装置と、を備える。画像生成装置は、入力部と処理装置とを含む。前記入力部には、前記センサが周囲を探知することにより生成された３次元点群データが入力される。前記処理装置は、前記入力部に入力された前記３次元点群データを、前記探知対象物に応じた向きの基準平面に射影することにより２次元画像を生成する。

【0009】

本出願の第３の観点によれば、以下の画像生成方法が提供される。即ち、画像生成方法は、予め定められた探知対象物を識別するための画像を生成する。画像生成方法では、周囲を探知することにより３次元点群データを生成する。画像生成方法では、前記３次元点群データに対して、前記探知対象物に応じて定められた向きの基準平面に射影する処理を行うことにより２次元画像を生成する。

【発明の効果】

【0010】

本出願によれば、少ない演算量で的確に対象物を識別することが可能な画像を生成できる。

【図面の簡単な説明】

【0011】

【図1】ＡＵＶがパイプラインを検査する様子を示す概略図。

【図2】ＡＵＶのブロック図。

【図3】パイプラインを識別する処理を示すフローチャート。

【図4】３次元点群データを海底面と同一の基準平面に射影して生成された距離画像を示す図。

【図5】距離画像に基づいて生成された二値化画像を示す図。

【図6】二値化画像に基づいて生成された輪郭画像を示す図。

【図7】パイプラインの長手方向に平行な直線を示す図。

【図8】パイプライン及び障害物を識別する処理を示すフローチャート。

【図9】３次元点群データを前後方向に垂直な基準平面に射影して生成された距離画像を示す図。

【発明を実施するための形態】

【0012】

次に、図面を参照して本出願の実施形態を説明する。初めに、図１及び図２を参照して、ＡＵＶ１０の概要について説明する。

【0013】

ＡＵＶ１０は、ａｕｔｏｎｏｍｏｕｓ ｕｎｄｅｒｗａｔｅｒ ｖｅｈｉｃｌｅの略称である。ＡＵＶ１０は、人が操縦することなく自律的に水中を航行する潜水機である。ＡＵＶ１０は、海底１０１に配置されたパイプライン１００を探知して、パイプライン１００を検査する。パイプライン１００は、長尺体の一例である。図１に示すように、ＡＵＶ１０は、本体１１と、推進装置１２と、ロボットアーム１３と、検査ツール１４と、を備える。

【0014】

本体１１には、バッテリー及びモータが設けられている。推進装置１２は例えばスクリュープロペラ及び舵であり、モータが発生させた動力によってスクリュープロペラが回転することで、推進装置１２は推進力を発生させる。これにより、ＡＵＶ１０を推進させることができる。また、舵を動作させることにより、ＡＵＶ１０を旋回させることができる。

【0015】

ロボットアーム１３は、本体１１の下部に設けられている。ロボットアーム１３は、複数の関節を有している。それぞれの関節には、アクチュエータが設けられている。アクチュエータを駆動することにより、ロボットアーム１３の姿勢を変更できる。検査ツール１４は、ロボットアーム１３の先端に取り付けられている。検査ツール１４は、パイプライン１００を検査するための機器を有する。例えば、検査ツール１４が有する機器は、パイプライン１００を撮影するためのカメラであってもよいし、パイプライン１００の防食処理の劣化の程度を検査するための検査器であってもよい。

【0016】

図１及び図２に示すように、ＡＵＶ１０は、更に、制御装置１５と、物体識別装置２０と、を備える。

【0017】

制御装置１５は、ＣＰＵ等の演算装置と、ＳＳＤ又はフラッシュメモリ等の記憶装置と、を備えるコンピュータである。制御装置１５は、パイプライン１００の探知結果に基づいて推進装置１２を制御する。これにより、パイプライン１００が配置された領域に沿ってＡＵＶ１０を航行させることができる。また、制御装置１５は、更にロボットアーム１３を制御する。具体的には、制御装置１５は、検査ツール１４とパイプライン１００の距離が予め定められた範囲を満たすように、ロボットアーム１３を制御する。

【0018】

物体識別装置２０は、物体を探知して識別する装置である。本実施形態では、パイプライン１００が探知対象物である。パイプライン１００は、探知面である海底１０１に沿って配置されている。「海底１０１に沿って配置」とは、パイプライン１００が海底１０１に接触するように配置されているか、又は、海底１０１との距離を一定に保った位置にパイプライン１００が配置されていることを示す。また、探知対象物は予め定められている。「予め定められている」とは、探知対象物の種類又は名称が特定されており、更に、探知対象物の形状、又は、おおよその位置が予め特定されていることである。図２に示すように、物体識別装置２０は、センサ２１と、画像生成装置２２と、を備える。

【0019】

センサ２１は、本体１１の前部かつ下部に設けられている。センサ２１は、ソナーである。センサ２１は、平面状に音波を送信して反射波を受信することにより、各方向に存在する物体までの距離を求めて、２次元点群データを作成する。以下では、１回又は一連の音波の送受信を行って周囲を探知することをスキャンと称する。センサ２１が１回のスキャンを行うことにより、ＡＵＶ１０の周囲の物体の位置を示す２次元点群データが得られる。ＡＵＶ１０が移動しながらセンサ２１が複数回のスキャンを行うことにより、３次元点群データが得られる。３次元点群データの座標系は、例えばＡＵＶ１０の座標系である。ＡＵＶ１０の座標系とは、ＡＵＶ１０の向きを基準として、前後軸、左右軸、上下軸で構成される座標系である。

【0020】

画像生成装置２２は、センサ２１が生成した３次元点群データに基づいて、探知対象物であるパイプライン１００を識別するための画像を生成する。画像生成装置２２は、入力部２２ａと、処理装置２２ｂと、を備える。入力部２２ａには、センサ２１が生成した３次元点群データが入力される。入力部２２ａは、具体的には、センサ２１の３次元点群データを受信して増幅等の信号処理を行う信号処理モジュールである。入力部２２ａは、センサ２１と有線通信又は無線通信を行う通信モジュールであってもよい。処理装置２２ｂは、ＣＰＵ等の演算装置と、ＳＳＤ又はフラッシュメモリ等の記憶装置と、を備えるコンピュータである。処理装置２２ｂは、記憶装置に予め記憶されたプログラムを演算装置が実行することにより、パイプライン１００を識別するための画像を生成する処理等を行う。

【0021】

次に、図３から図７を参照して、処理装置２２ｂが行う処理の詳細について説明する。

【0022】

初めに、処理装置２２ｂは、センサ２１から入力部２２ａに入力された３次元点群データを取得する（Ｓ１０１）。次に、処理装置２２ｂは、３次元点群データを解析して海底の位置を特定し、海底の位置に基づいて基準平面を決定する（Ｓ１０２）。センサ２１と海底の間に物体が存在しない場合、センサ２１は海底で反射した反射波を受信する。従って、３次元点群データには、海底を示す多数の点群が含まれている。海底を示す点群は大きな面を形成するため、処理装置２２ｂは、３次元点群データのうち、海底を示す点群を特定できる。これにより、処理装置２２ｂは、海底の位置を特定できる。本実施形態では、処理装置２２ｂは、海底面を基準平面として決定する。ただし、基準平面は、海底面に平行な別の面であってもよいし、ＡＵＶ１０の座標系の前後軸及び左右軸に平行な面であってもよい。

【0023】

次に、処理装置２２ｂは、３次元点群データを基準平面に射影して２次元画像を生成する（Ｓ１０３、図４）。このとき、処理装置２２ｂは、基準平面に垂直な方向の位置に応じて、２次元画像の各画素の明度を異ならせる。従って、処理装置２２ｂが生成する２次元画像は距離画像である。詳細には、基準平面である海底面から高い位置にある物体ほど２次元画像の各画素の明度を明るくする。従って、パイプライン１００が存在する位置は、海底面と比較して、明度が大きい。２次元画像の明度は３段階以上であるため、２次元画像は二値化画像ではなく、グレースケール画像である。なお、基準平面からの距離が大きくなるにつれて各画素の明度を小さくしてもよい。また、明度に代えて、別の描画パラメータ、例えば、色相又は彩度を異ならせてもよい。

【0024】

次に、処理装置２２ｂは、距離画像を二値化して二値化画像を生成する（Ｓ１０４、図５）。二値化画像とは、２つの描画パラメータで描画された画像である。本実施形態の二値化画像は、白と黒の２つで描画された画像である。処理装置２２ｂは、基準平面からの距離に応じた閾値を設定し、閾値より大きいか否かに応じて描画パラメータを異ならせる。本実施形態では、閾値としてパイプライン１００の半径を用いる。従って、海底面からパイプライン１００の半径よりも高い位置にある物体を示す画素が白で描画され、それ以外の物体を示す画素が黒で描画される。これにより、パイプライン１００が存在する範囲を明確にすることができる。なお、白と黒は逆であってもよい。また、本実施形態の閾値の定め方は一例であり、異なる値を用いてもよい。二値化画像を生成することにより、パイプライン１００が存在する位置が明確になったり、その後の処理が容易になったりする。

【0025】

次に、処理装置２２ｂは、二値化画像から輪郭画像を生成する（Ｓ１０５、図６）。輪郭画像とは、パイプライン１００を示す画素の輪郭を抽出した画像である。輪郭を抽出する処理は公知であるため、簡単に説明する。即ち、処理装置２２ｂは、白で描画された画素を、黒で描画された画素に隣接する境界画素と、黒で描画された画素に隣接しない除外画素と、に区分する。そして、境界画素については白での描画を維持し、除外画素については白から黒に変換する。以上により、隣接画像を生成できる。輪郭画像を生成することにより、パイプライン１００の形状を際立たせることができる。

【0026】

次に、処理装置２２ｂは、輪郭画像からパイプライン１００の長手方向を特定する（Ｓ１０６）。輪郭画像から長手方向を特定する処理は、例えばハフ変換を用いて行うことができる。ハフ変換は、画像の特徴点を最も多く通る図形を生成する方法である。ハフ変換を用いることにより、パイプライン１００の輪郭を通る線分を得ることができる。ハフ変換を行って得られた線分の方向を、パイプライン１００の長手方向と特定する。また、ハフ変換を行うことにより複数の線分が得られる場合は、それぞれの線分の向きの平均等を用いて、パイプライン１００の長手方向を特定する。なお、ハフ変換以外の処理を用いてパイプライン１００の長手方向を特定してもよい。

【0027】

次に、処理装置２２ｂは、距離画像及び長手方向に基づいてパイプライン１００の中心線を特定する（Ｓ１０７）。具体的には、処理装置２２ｂは、図７に示すように、ステップＳ１０６で求めた長手方向に平行な複数の線分を距離画像上に配置する。線分同士の距離は、例えばパイプライン１００の直径以下であることが好ましく、パイプライン１００の直径の１／２以下、１／５以下、又は１／１０以下であることが更に好ましい。当然であるが、線分同士の距離は０より大きい。次に、処理装置２２ｂは、各線分上に位置する画素の明度を合算して明度合算値を算出する。処理装置２２ｂは、明度合算値が最も大きくなる線分をパイプライン１００の中心線として特定する。以上のようにして、処理装置２２ｂは、センサ２１が取得したデータから、パイプライン１００を識別する。

【0028】

処理装置２２ｂは、パイプライン１００の中心線の位置に応じて推進装置１２を制御する（Ｓ１０８）。具体的には、処理装置２２ｂは、ＡＵＶ１０がパイプライン１００の中心線に沿って航行するように、推進装置１２を制御する。ここで、距離画像は、ＡＵＶ座標系の３次元点群データを射影した画像である。従って、距離画像上の位置とＡＵＶ１０の位置関係は既知である。そのため、処理装置２２ｂは、パイプライン１００の中心線に対するＡＵＶ１０の変位を特定できる。処理装置２２ｂは、ＡＵＶ座標系の左右軸の変位がゼロに近づくように推進装置１２を制御する。

【0029】

上述したステップＳ１０１からステップＳ１０８の処理は一定周期で繰り返し行われる。そのため、仮にパイプライン１００に対してＡＵＶ１０が左右軸に変位しても、左右軸の変位がゼロになるように修正される。従って、パイプライン１００に沿ってＡＵＶ１０を航行させ続けることができる。その結果、自動でパイプライン１００の検査を行うことができる。

【0030】

また、２回目以降のステップＳ１０３では、処理装置２２ｂは、センサ２１から取得した３次元点群データのうち特定の領域の３次元点群データを抽出し、特定の領域の３次元点群データを基準平面に射影する。特定の領域とは、探知対象物が存在すると推定される領域である。処理装置２２ｂは、特定の領域以外の領域の３次元点群データを基準平面に射影しない。そのため、処理装置２２ｂが取り扱うデータ量を低減することができる。

【0031】

具体的には、処理装置２２ｂは、以下の処理を行って特定の領域を定める。本実施形態では、ステップＳ１０７の処理を行うことにより、パイプライン１００の中心線が特定される。次のスキャンで取得されるパイプライン１００は、特定した中心線の近傍に存在すると推定される。従って、処理装置２２ｂは、特定した中心線の周囲の領域を特定の領域として取り扱う。例えば、複数のパイプライン１００が並べて設置されている場合、処理装置２２ｂは、ステップＳ１０７で特定したパイプライン１００を含み、その隣のパイプライン１００を含まない領域を特定の領域として取り扱う。更に具体的には、処理装置２２ｂは、ステップＳ１０７で特定した中心線に平行であって、かつ、上下軸に平行な境界平面を定める。境界平面は、特定した中心線に対して左右一対で定められる。境界平面で挟まれる領域が特定の領域である。境界平面と中心線の距離は、パイプライン１００の設置間隔未満である。このように特定の領域を定めることにより、隣接して配置されたパイプライン１００を誤認識する可能性を低減できる。

【0032】

なお、３次元点群データから特定の３次元点群データを抽出する処理は必須ではなく省略することもできる。つまり、２回目以降のステップＳ１０３においても、取得した全ての３次元点群データを基準平面に射影してもよい。

【0033】

３次元点群データを直接用いて、パイプライン１００を識別したり、パイプライン１００の位置を特定したりする処理は、膨大な数の点に対して様々な行列演算を行う必要があるため、演算量が膨大となる。これに対し、本実施形態のように３次元点群データから距離画像を生成する処理は、主として各画素における、３次元座標系の１点から基準平面までの距離を算出するだけでよい。そのため、本実施形態の処理は、３次元データを直接的に取り扱う場合と比較して演算量が少ない。そして、距離画像の生成後に行われる処理は２次元の画像処理であるため、３次元データを直接的に取り扱う場合と比較して演算量が少ない。以上により、３次元データを直接的に取り扱う場合と比較して少ない演算量で、パイプライン１００を識別したり、パイプライン１００の位置を特定したりすることができる。

【0034】

本実施形態でパイプライン１００の中心線を特定した処理は一例であり、異なる処理でパイプライン１００の中心線を特定することもできる。例えば、ステップＳ１０６で得られた２本の線分の中央を通る直線をパイプライン１００の中心線として特定してもよい。あるいは、二値化画像に白で描画された領域の中央を通る直線をパイプライン１００の中心線として特定してもよい。

【0035】

また、本実施形態で生成する距離画像又は二値化画像等は、パイプライン１００の中心線を特定する処理以外にも用いることができる。例えば、海底におけるパイプライン１００の位置を記録するための処理に、距離画像又は二値化画像等を用いてもよい。

【0036】

次に、図８及び図９を参照して、３次元点群データを別の基準平面に射影する処理について説明する。

【0037】

上述したように、ＡＵＶ１０は、検査ツール１４とパイプライン１００の距離が予め定められた範囲を満たすように、ロボットアーム１３を制御する。しかし、パイプライン１００の上方に障害物が存在したり、パイプライン１００が識別できない場合、制御装置１５は、パイプライン１００から検査ツール１４を遠ざける。

【0038】

これにより、検査ツール１４の破損を抑制することができる。この種のパイプライン１００及び障害物の探知においても、画像生成装置２２を用いることができる。以下、この処理の詳細について説明する。なお、この処理の探知対象物は、パイプライン１００と、パイプライン１００の周囲の障害物である。

【0039】

初めに、処理装置２２ｂは、センサ２１から３次元点群データを取得する（Ｓ２０１）。次に、処理装置２２ｂは、基準平面を決定する（Ｓ２０２）。基準平面は、例えば、ＡＵＶ１０の前後方向に垂直な平面、又は、パイプライン１００の長手方向に垂直な平面である。ＡＵＶ１０の前後方向は、ＡＵＶ座標系の座標軸の１つである。パイプライン１００の長手方向は、上述したステップＳ１０６の処理により特定できる。基準平面は、例えば、現在のＡＵＶ１０の位置よりも所定距離だけ前方であることが好ましい。

【0040】

次に、処理装置２２ｂは、３次元点群データを基準平面に射影して、二値化画像を生成する（Ｓ２０３）。処理装置２２ｂは、基準平面に物体が存在する場合は白で描画し、基準平面に物体が存在しない場合は黒で描画する。なお、二値化画像に代えて距離画像を生成してもよい。次に、処理装置２２ｂは、二値化画像からパイプライン１００を識別する（Ｓ２０４）。パイプライン１００の識別は、パイプライン１００のおおよその位置、及び、パイプライン１００の大きさに基づいて行うことができる。なお、パイプライン１００のおおよその位置及び大きさは既知である。あるいは、上述したステップＳ１０７の処理によりパイプライン１００の位置及び大きさを特定することもできる。なお、障害物が存在する範囲によっては、パイプライン１００を識別できないこともある。

【0041】

次に、処理装置２２ｂは、パイプライン１００の周囲に障害物があるか否かを判定する（Ｓ２０５）。具体的には、処理装置２２ｂは、図９の左の図に示すように、パイプライン１００の上部に障害物検出領域を定め、この領域に物体が存在した場合は障害物があると判定する。図９の中央の図には、障害物検出領域に障害物があるときの二値化画像が示されている。また、図９の右の図には、障害物がパイプライン１００を覆っており、パイプライン１００が検出できない場合の例が示されている。従って、処理装置２２ｂは、ステップＳ２０４において、パイプライン１００を識別できない場合は、パイプライン１００の周囲に障害物があると判定する。

【0042】

次に、処理装置２２ｂは、障害物の判定結果に基づいて、ロボットアーム１３を制御する（Ｓ２０６）。具体的には、パイプライン１００の周囲に障害物があると判定した場合、検査ツール１４が障害物に接触しないように、ロボットアーム１３の姿勢を変化させる。

【0043】

上述したステップＳ２０１からステップＳ２０６の処理は一定周期で繰り返し行われる。そのため、パイプライン１００の周囲に障害物が出現したタイミングにおいて、検査ツール１４を障害物から退避させることができる。

【0044】

以上に説明したように、本実施形態の画像生成装置２２は、予め定められたパイプライン１００を識別するための画像を生成する画像生成方法を行う。画像生成装置２２は、入力部２２ａと、処理装置２２ｂと、を備える。入力部２２ａは、センサ２１が周囲を探知することにより生成された３次元点群データが入力される。処理装置２２ｂは、入力部２２ａに入力された３次元点群データを、パイプライン１００に応じた向きの基準平面に射影することにより２次元画像を生成する。以上が特徴１である。

【0045】

２次元画像を用いてパイプライン１００を識別することにより、３次元点群データを直接的に用いる方法と比較して、演算量を大幅に低減できる。特に、２次元画像はパイプライン１００に応じた向きの基準平面に射影されているため、２次元画像を用いても的確にパイプライン１００を識別可能な画像を生成できる。

【0046】

本実施形態の画像生成装置２２において、処理装置２２ｂは、基準平面に垂直な方向における位置に応じて各画素の描画パラメータを変化させた距離画像を２次元画像として生成する。以上が特徴２である。

【0047】

これにより、二値化画像と比較して情報量が多いため、探知対象物をより正確に識別できる可能性がある。

【0048】

本実施形態の画像生成装置２２において、探知対象物には、長尺体であるパイプライン１００が含まれている。処理装置２２ｂは、基準平面を、パイプライン１００の長手方向に平行な平面、又は、パイプライン１００の長手方向に垂直な平面として、３次元点群データを当該基準平面に射影して２次元画像を生成する。以上が特徴３である。

【0049】

これにより、長尺体の特徴が表れ易い面を基準平面にできるため、探知対象物を的確に識別できる。

【0050】

本実施形態の画像生成装置２２において、探知対象物であるパイプライン１００は、探知面である海底１０１に沿って配置されている。処理装置２２ｂは、基準平面を、海底１０１と同一の平面、又は、海底１０１に平行な平面として、３次元点群データを当該基準平面に射影して２次元画像を生成する。以上が特徴４である。

【0051】

これにより、探知面に対して探知対象物の特徴が表れ易い面を基準平面にできるため、探知対象物を的確に識別できる。

【0052】

本実施形態の画像生成装置２２において、処理装置２２ｂは、センサ２１から入力された前記３次元点群データに基づいて海底１０１の位置を特定する。以上が特徴５である。

【0053】

これにより、センサ２１を用いて、海底１０１の位置の特定と、パイプライン１００の識別と、を行うことができる。従って、センサ２１を有効に活用できる。

【0054】

本実施形態の画像生成装置２２において、処理装置２２ｂは、センサ２１から入力された前記３次元点群データから特定の３次元点群データを抽出し、特定の３次元点群データを基準平面に射影することにより２次元画像を生成する。以上が特徴６である。

【0055】

これにより、処理装置２２ｂが取り扱うデータ量を低減できる。

【0056】

本実施形態の物体識別装置２０は、画像生成装置２２と、センサ２１と、を備える。処理装置２２ｂは、距離画像を解析することによりパイプライン１００を識別する。以上が特徴７である。

【0057】

本実施形態の物体識別装置２０において、センサ２１は、ＡＵＶ１０に搭載されている。処理装置２２ｂは、ＡＵＶ１０の移動中において、パイプライン１００を識別する。以上が特徴８である。

【0058】

これにより、物体識別装置２０の識別結果に応じた処理をリアルタイムで行うことができる。

【0059】

本実施形態の物体識別装置２０において、センサ２１は、１回のスキャンにより２次元点群データを生成するセンサ２１である。ＡＵＶ１０が移動しながら、センサ２１が複数回のスキャンを行うことにより、３次元点群データが生成される。以上が特徴９である。

【0060】

これにより、安価なセンサを用いて３次元点群データを生成できる。

【0061】

本実施形態の物体識別装置２０において、処理装置２２ｂは、基準平面に垂直な方向の位置に応じて各画素の描画パラメータを変化させた２次元画像である距離画像を生成する。処理装置２２ｂは、距離画像を描画パラメータに応じて二値化して更に輪郭を抽出した輪郭画像を生成する。処理装置２２ｂは、輪郭画像に基づいてパイプライン１００の長手方向を特定して、長手方向に基づいて、探知対象物としてのパイプライン１００を識別する。以上が特徴１０である。

【0062】

これにより、パイプライン１００を的確に識別できる。

【0063】

上述した特徴１から特徴１０は矛盾が生じない限り、適宜組み合わせることができる。例えば、特徴３には、特徴１，２の少なくとも１つを組み合わせることができる。特徴４には、特徴１から３の少なくとも１つを組み合わせることができる。特徴５には、特徴１から４の少なくとも１つを組み合わせることができる。特徴６には、特徴１から５の少なくとも１つを組み合わせることができる。特徴７には、特徴１から６の少なくとも１つを組み合わせることができる。特徴８には、特徴１から７の少なくとも１つを組み合わせることができる。特徴９には、特徴１から８の少なくとも１つを組み合わせることができる。特徴１０には、特徴１から９の少なくとも１つを組み合わせることができる。

【0064】

以上に本出願の好適な実施の形態を説明したが、上記の構成は例えば以下のように変更することができる。

【0065】

ロボットアーム１３及び検査ツール１４は必須の構成要素ではなく、省略することができる。この場合、物体識別装置２０は、パイプライン１００の位置を特定して記憶する。

【0066】

上記実施形態では、処理装置２２ｂが画像の生成及び物体の識別を行う。これに代えて、処理装置２２ｂが画像の生成のみを行い、処理装置２２ｂ以外の機器が物体の識別を行ってもよい。

【0067】

上記実施形態では、ＡＵＶ１０の航行中にリアルタイムで物体識別装置２０がパイプライン１００を識別する。これに代えて、物体識別装置２０は、ＡＵＶ１０の航行中は２次元画像を生成して記憶し、ＡＵＶ１０の寄港後にパイプライン１００の識別を行ってもよい。

【0068】

上記実施形態では、移動体としてのＡＵＶ１０に搭載される物体識別装置２０及び画像生成装置２２について説明したが、他の移動体に搭載されてもよい。例えば、車両、船舶、又は、飛行体に搭載されてもよい。また、移動体は自律移動体に限られず、オペレータが運転する移動体であってもよい。

【0069】

車両の例としては、工事現場又は農場等の作業現場を走行する自律走行車を挙げることができる。この自律走行車は、探知対象物としての側溝を検出して回避行動を行う。あるいは、自律走行車は、探知対象物としての側溝に沿って走行してもよい。側溝は長尺体の一例である。

【0070】

また、他の車両の例としては、農作業用の車両を挙げることができる。この車両は、畑に設けられた畝を検出して、畝に沿って作業を行いながら走行する。畝は、探知対象物であり、かつ、長尺体の一例である。また、探知対象物として、畝に設けられた作物を追加してもよい。この場合、この車両は、作物に対して薬剤の散布等の農作業を行うことができる。

【0071】

飛行体の例としては、ドローンを挙げることができる。このドローンは、壁又は天井に設けられた配管に沿って飛行して、配管を検査する。配管は、探知対象物であり、かつ、長尺体の一例である。また、探知対象物として、壁又は天井に設けられた空調機器を追加してもよい。この場合、このドローンは、空調機器に対してメンテナンス作業等を行うことができる。

【0072】

上記実施形態でＡＵＶ１０を用いて説明した技術内容は、矛盾が生じない限り、他の移動体にも適用可能である。例えば、センサ２１から入力された３次元点群データから特定の３次元点群データを抽出する処理を、上記の農作業用の車両に適用可能である。具体的には、最初は、処理装置２２ｂは、センサ２１から入力された３次元点群データのうち、上下方向の位置が畝の高さ以下の特定の３次元点群データを抽出する。これにより、特定の３次元点群データには、畝の上に生えている農作物があまり含まれないため、畝の形状を的確に検出できる。なお、畝の高さは既知であるが、３次元点群データに基づいて畝の高さを求めてもよい。次に、処理装置２２ｂは、図３のフローチャートで示した処理を行い、畝の位置と長手方向を特定する。その後、処理装置２２ｂは、畝の長手方向及び上下方向と平行であり、畝の幅方向の中央を通る境界平面を定める。処理装置２２ｂは、左右の境界平面で挟まれる領域の３次元点群データを抽出し、抽出した特定の３次元点群データを、車両側面に平行な基準平面に射影して２次元画像を生成する。処理装置２２ｂは、２次元画像に基づいて農作物の位置及び形状を識別する。

【0073】

上記実施形態では、探知対象物に長尺体が含まれているが、探知対象物に長尺体が含まれていなくてもよい。この場合、探知対象物に応じた向きの基準平面が適用されることが好ましい。例えば、探知対象物が特徴的な形状の面を有する場合、特徴的な形状の面に平行又は略平行の基準平面が適用されることが好ましい。

【0074】

上記実施形態では、１回のスキャンで２次元点群データを生成するセンサ２１を用いるが、１回のスキャンで３次元点群データを生成するセンサ、例えば３次元ＬＩＤＡＲ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉоｎ ａｎｄ Ｒａｎｇｉｎｇ）を用いてもよい。

【0075】

上記実施形態では、物体識別装置２０及び画像生成装置２２が移動体に搭載されるが、移動体以外の機器に搭載されてもよい。この場合、物体識別装置２０は、１回のスキャンで３次元点群データを生成するセンサを備えることが好ましい。

【0076】

上記実施形態で示したフローチャートは一例であり、一部の処理を省略したり、一部の処理の内容を変更したり、新たな処理を追加したりしてもよい。

【0077】

本明細書で開示する要素の機能は、開示された機能を実行するように構成又はプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、従来の回路、及び／又は、それらの組み合わせ、を含む回路又は処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路又は回路と見なされる。本開示において、回路、ユニット、又は手段は、列挙された機能を実行するハードウェアであるか、又は、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであっても良いし、あるいは、列挙された機能を実行するようにプログラム又は構成されているその他の既知のハードウェアであっても良い。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、手段、又はユニットはハードウェアとソフトウェアの組み合わせであり、ソフトウェアはハードウェア及び/又はプロセッサの構成に使用される。

【符号の説明】

【0078】

１０ ＡＵＶ（移動体）
１１ 本体
１２ 推進装置
１３ ロボットアーム
１４ 検査ツール
１５ 制御装置
２０ 物体識別装置
２１ センサ
２２ 画像生成装置
２２ａ 入力部
２２ｂ 処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】