IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社日立製作所の特許一覧

特開2023-128478点検計画作成装置、および、点検計画作成方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023128478
(43)【公開日】2023-09-14
(54)【発明の名称】点検計画作成装置、および、点検計画作成方法
(51)【国際特許分類】
   G06Q 10/20 20230101AFI20230907BHJP
   G05D 1/02 20200101ALI20230907BHJP
   G01B 11/30 20060101ALI20230907BHJP
   G01B 11/00 20060101ALI20230907BHJP
   G06T 7/60 20170101ALI20230907BHJP
【FI】
G06Q10/00 300
G05D1/02 K
G01B11/30 A
G01B11/00 H
G06T7/60 300
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022032842
(22)【出願日】2022-03-03
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】室谷 和哉
(72)【発明者】
【氏名】長谷島 範安
(72)【発明者】
【氏名】酒井 貴大
(72)【発明者】
【氏名】山田 崇弘
【テーマコード(参考)】
2F065
5H301
5L049
5L096
【Fターム(参考)】
2F065AA04
2F065AA53
2F065AA65
2F065BB15
2F065BB27
2F065DD06
2F065FF04
2F065FF67
2F065JJ03
2F065MM06
2F065QQ03
2F065QQ21
2F065QQ24
2F065QQ28
2F065QQ31
2F065UU06
5H301AA01
5H301BB10
5H301CC03
5H301CC06
5H301CC10
5H301GG08
5H301GG09
5L049CC15
5L096AA09
5L096DA02
5L096FA09
5L096FA12
5L096FA53
5L096FA67
(57)【要約】
【課題】消費電力と点検に要する時間とを低減可能な撮影箇所を計画すること。
【解決手段】 点検計画作成装置2は、カメラ11を有する自走式点検ロボット1が撮影する複数の点検対象5の設置位置を含む事前情報の入力を受け付ける事前情報入力IF21と、事前情報の各点検対象5を撮影する地点の撮影難易度を計算し、その撮影難易度が所定値以下であることで点検対象5の撮影が可能な地点の集合を撮影可能領域として判定する撮影可否判定部22と、複数の点検対象5についての撮影可能領域が重複する共通領域を、撮影可能領域が重複しない単一領域よりも優先させて選択し、その選択した領域から点検対象5を撮影する地点である撮影箇所4を決定する撮影箇所決定部23とを有する。
【選択図】図2
【特許請求の範囲】
【請求項1】
カメラを有する自走式点検ロボットが撮影する複数の点検対象の設置位置を含む事前情報の入力を受け付ける事前情報入力部と、
前記事前情報の各前記点検対象を撮影する地点の撮影難易度を計算し、その撮影難易度が所定値以下であることで前記点検対象の撮影が可能な地点の集合を撮影可能領域として判定する撮影可否判定部と、
複数の前記点検対象についての前記撮影可能領域が重複する共通領域を、前記撮影可能領域が重複しない単一領域よりも優先させて選択し、その選択した領域から前記点検対象を撮影する地点である撮影箇所を決定する撮影箇所決定部とを有することを特徴とする
点検計画作成装置。
【請求項2】
前記事前情報入力部は、さらに、前記自走式点検ロボットを運用する施設の外観を含む施設情報と、前記自走式点検ロボットに搭載した前記カメラの撮影性能とを前記事前情報として受け付け、
前記撮影可否判定部は、前記点検対象を撮影するときに、前記カメラの前記撮影性能に応じて前記点検対象とともに映り込む施設の障害物8の量が多い地点ほど、前記撮影難易度を高く評価することを特徴とする
請求項1に記載の点検計画作成装置。
【請求項3】
前記撮影可否判定部は、前記点検対象の表面の法線ベクトルと、前記撮影箇所から前記点検対象に向かうベクトルとがなす角度として示される正対誤差が大きいほど、前記撮影難易度を高く評価することを特徴とする
請求項1に記載の点検計画作成装置。
【請求項4】
前記事前情報入力部は、さらに、前記自走式点検ロボットを運用する施設の外観を表す3次元モデリングデータを含む施設情報と、前記自走式点検ロボットに搭載した前記カメラの画角の情報を含む撮影性能とを前記事前情報として受け付け、
前記撮影可否判定部は、3次元モデリングデータと画角の情報とを用いて前記撮影箇所から前記カメラが撮影すると推測される仮想的なカメラ画像を作成し、その作成した仮想的なカメラ画像に含まれる画像特徴点の量が少ないほど、前記撮影難易度を高く評価することを特徴とする
請求項1に記載の点検計画作成装置。
【請求項5】
前記撮影可否判定部は、前記自走式点検ロボットの走行難易度を計算し、その走行難易度が所定値を超過する領域である走行不可領域を算出し、前記撮影可能領域から走行不可領域を除外することを特徴とする
請求項1に記載の点検計画作成装置。
【請求項6】
前記事前情報入力部は、さらに、前記自走式点検ロボットの外形の情報を前記事前情報として受け付け、
前記撮影可否判定部は、路面上の任意地点に前記自走式点検ロボットを配置した場合の、前記自走式点検ロボットの外形の情報から前記自走式点検ロボットの周辺に存在する物体又は溝までの距離を算出し、算出した距離が短いほど前記走行難易度を高く評価することを特徴とする
請求項5に記載の点検計画作成装置。
【請求項7】
前記撮影可否判定部は、過去に計算した前記自走式点検ロボットの自己位置推定の精度が低いほど、前記走行難易度を高く評価することを特徴とする
請求項5に記載の点検計画作成装置。
【請求項8】
点検計画作成装置は、事前情報入力部と、撮影可否判定部と、撮影箇所決定部とを有しており、
前記事前情報入力部は、カメラを有する自走式点検ロボットが撮影する複数の点検対象の設置位置を含む事前情報の入力を受け付け、
前記撮影可否判定部は、前記事前情報の各前記点検対象を撮影する地点の撮影難易度を計算し、その撮影難易度が所定値以下であることで前記点検対象の撮影が可能な地点の集合を撮影可能領域として判定し、
前記撮影箇所決定部は、複数の前記点検対象についての前記撮影可能領域が重複する共通領域を、前記撮影可能領域が重複しない単一領域よりも優先させて選択し、その選択した領域から前記点検対象を撮影する地点である撮影箇所を決定することを特徴とする
点検計画作成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、点検計画作成装置、および、点検計画作成方法に関する。
【背景技術】
【0002】
自走式点検ロボットは、ユーザーが作成した点検計画に従って、自律的に動作しながら点検作業を遂行する。点検計画は主に、自走式点検ロボットが走行すべき経路と、点検を実行すべき箇所の情報を含む。ユーザーが点検計画を作成する際、点検対象の施設の外観や施設内の地形、及び自走式点検ロボットの性能を鑑み、自走式点検ロボットにとって実行可能な計画を作成することが求められる。点検計画の作成を容易に行うための技術として、以下のような技術が知られている。
【0003】
例えば、特許文献1には、撮影対象の位置や撮影装置の性能を入力とし、複数の撮影候補地点から対象を撮影した場合の撮影の評価値を事前に推定する技術が記載されている。そして、特許文献1には、評価値の高い地点を撮影地点として選出し、選出された複数の撮影地点を結ぶことで経路を算出する技術が記載されている。
この技術を用いると、撮影に適した地点とそれを結ぶ経路を自動的に設定し、点検計画設定におけるユーザーの作業負担を軽減できる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第2019/171824号
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の技術では、点検対象毎に個別に最適な撮影箇所を設定する。このとき、隣接した点検対象の撮影を行う際に、撮影を行うごとに自走式点検ロボットの位置を微調整する必要があり、自走式点検ロボットの消費電力や点検に要する時間が増大する。自走式点検ロボットは搭載したバッテリを用いて動作を行うことが多く、消費電力が増大すると点検可能な項目数が減少する。また点検に要する時間が増大すると、時間当たりに点検可能な項目数が減少し、点検効率が悪化する。
【0006】
そこで、本発明では、消費電力と点検に要する時間とを低減可能な撮影箇所を計画することを主な課題とする。
【課題を解決するための手段】
【0007】
前記課題を解決するために、本発明の点検計画作成装置は、以下の特徴を有する。
本発明は、カメラを有する自走式点検ロボットが撮影する複数の点検対象の設置位置を含む事前情報の入力を受け付ける事前情報入力部と、
前記事前情報の各前記点検対象を撮影する地点の撮影難易度を計算し、その撮影難易度が所定値以下であることで前記点検対象の撮影が可能な地点の集合を撮影可能領域として判定する撮影可否判定部と、
複数の前記点検対象についての前記撮影可能領域が重複する共通領域を、前記撮影可能領域が重複しない単一領域よりも優先させて選択し、その選択した領域から前記点検対象を撮影する地点である撮影箇所を決定する撮影箇所決定部とを有することを特徴とする。
その他の手段は、後記する。
【発明の効果】
【0008】
本発明によれば、消費電力と点検に要する時間とを低減可能な撮影箇所を計画することができる。
【図面の簡単な説明】
【0009】
図1】実施例1に関する自走式点検ロボットの動作を説明するための模式図である。
図2】実施例1に関する点検計画作成装置の構成図である。
図3】実施例1に関する点検計画作成装置と関連して動作する自走式点検ロボットの概要を説明するための模式図である。
図4】実施例1に関する点検計画作成装置における撮影難易度の算出方法を説明するための模式図である。
図5】実施例1に関する撮影可否判定部が撮影可否を判定する方法を説明するための模式図である。
図6】実施例1に関する撮影箇所決定部が撮影箇所を決定する方法を説明するための模式図である。
図7】実施例1に関する撮影可否判定部が撮影難易度を算出する方法を説明するための図である。
図8】実施例1に関する図7の撮影箇所から3つの点検対象を撮影する様子を示す図である。
図9】実施例1に関する図8の撮影結果として生成される画像データを示す図である。
図10】実施例2に関する撮影シーンの模式図である。
図11】実施例2に関する図10の撮影シーンから撮影された撮影画像の模式図である。
図12】実施例2に関する(第1の映り込み評価方法)の説明図である。
図13】実施例2に関する(第2の映り込み評価方法)の説明図である。
図14】実施例3に関する撮影可否判定部が所望の位置で撮影したときの撮影画像の模式図である。
図15】実施例3に関する撮影可否判定部が図14の所望の位置よりもずれて撮影したときの撮影画像の模式図である。
図16】実施例4に関する照明や太陽などの映り込みにより画像の明瞭さが失われるリスクを撮影難易度として評価する方法を説明するための模式図である。
図17】実施例5に関する点検計画作成装置の構成例を示す図である。
図18】実施例5に関する走行可能領域算出部において、障害物への衝突リスクを走行難易度として評価する方法を説明するための模式図である。
図19】実施例6に関する走行可能領域算出部において、自己位置推定の方式として衛星測位システムを用いた場合の、走行難易度の算出方法を説明するための模式図である。
図20】実施例6に関する撮影シーンの模式図である。
図21】実施例6に関する図20の仮想点群から平面及び法線ベクトルを抽出する方法の概要を示した模式図である。
図22】実施例6に関する撮影シーンの模式図である。
図23】実施例6に関する図22に示す撮影シーンにおいて、カメラによって撮影されると推測される仮想画像の模式図である。
図24】各実施例に関する点検システムに含まれる自走式点検ロボットおよび点検計画作成装置のハードウェア構成図である。
【発明を実施するための形態】
【0010】
以下、本発明の各実施例について、添付図面を参照して説明する。本明細書及び添付図面において実質的に同一の機能又は構成を有する構成要素については、同一の符号を付して重複する説明を省略する。
【実施例0011】
図1は、自走式点検ロボット1の動作を説明するための模式図である。自走式点検ロボット1は、予め定められた走行経路3を自律的に走行し、撮影箇所4に到達する。そして、自走式点検ロボット1は、ロボット本体に設けられたカメラ11を用いて点検対象5に指定された施設を撮影し、施設の外観の異常及び計器の異常の有無を確認する点検を実行する。このように、自走式点検ロボット1は、従来人手で行っている電力施設内での点検を自動化し、省力化する。
なお、実施例1の点検システムは、図1の自走式点検ロボット1と、その自走式点検ロボット1の点検計画を作成する図2の点検計画作成装置2とがネットワークで接続されて構成される。点検計画作成装置2は、一つまたは複数の点検対象5を撮影することが可能な地点に撮影箇所4を設定することにより、撮影位置の微調整が不要となる撮影箇所4を設定する。
【0012】
図2は、点検計画作成装置2の構成図である。点検計画作成装置2は、事前情報入力IF21と、撮影可否判定部22と、撮影箇所決定部23とを有する。
以下、図3から図6を用いて、点検計画作成装置2の詳細を明らかにする。
【0013】
図3は、点検計画作成装置2と関連して動作する自走式点検ロボット1の概要を説明するための模式図である。図3には、施設の一例として、発電所や変電所などの電力施設内を自律的に走行して点検対象5の施設(例えば、発電施設や変電施設類)の点検を実行する自走式点検ロボット1が示されている。
自走式点検ロボット1は、自己位置推定機能を有し、GPS(Global Positioning System)等のGNSS(Global Navigation Satellite System)から得られる信号を受信して自己位置を推定しながら、走行機構19によって自律的に走行する。
【0014】
カメラ11は、自走式点検ロボット1が点検対象5の施設(例えば、架線、鉄塔、及び計器などを含む変電施設類)を点検するための要素であり、点検対象5を撮影する。カメラ11はいかなる種類のカメラ11であってもよく、例えば、撮影方向を制御可能なPTZ(Pan-Tilt-Zoom)カメラ11を例示する。
事前情報入力IF21は、自走式点検ロボット1を運用する施設の外観の情報と路面の情報とを含む施設情報と、複数の点検対象5の設置位置と、カメラ11の撮影性能と、を含む事前情報を入力する。事前情報入力IF21により事前に入力される事前情報は、撮影可否判定部22へ供給される。
【0015】
施設情報のうち施設の外観を表す情報としては、例えば、施設内の3次元地形(建築物や施設等の人工物を含んでもよい)を表現した点群データやメッシュデータ、もしくは図面データを例示できる。施設情報としてはその他、自走式点検ロボット1の点検の能力と関係のある任意の要素を含めてもよい。
【0016】
点検対象5の設置位置としては、施設内での点検対象5の3次元座標、又は、点検対象5の地球上での位置を表す緯度、経度、標高を例示できる。カメラ11の撮影性能としては、例えば、カメラ11の画角や解像度、焦点距離、受光感度などの情報や、カメラ11の撮影方向の操作可能範囲とその分解能、操作精度などの撮影性能全般を想定できる。その他、自走式点検ロボット1及びカメラ11の性能のうち、点検対象5や周囲の物体に対する撮影結果に影響を及ぼす要素も、カメラ11の撮影性能に任意に含めてもよい。
カメラ11の撮影性能については、例えば、撮影性能を入力するためのGUI(Graphical User Interface)をディスプレイ上に表示し、マウス操作とキーボード操作を用いてユーザーが手入力する構成としてもよい。
【0017】
事前情報入力IF21は、事前情報を入力することができれば、その実装方法は任意の形態をとる。施設の外観を表す情報については、例えば、3次元CAD(Computer Aided Design)ツールを用いて、ユーザーが施設の3次元形状をモデリング(3次元モデリングデータを作成)する構成としてもよい。もしくは、例えば、LiDAR(Light Detection and Ranging)センサとSLAM(Simultaneous Localization and Mapping)技術を用いて作成した3次元点群ファイルを読み込む構成としてもよい。
また、施設の規模、又は撮影地点から点検対象5までの距離によっては、RGB-D(Red Green Blue-Depth)カメラ11で撮影された2次元画像に対応する3次元点群を用いてもよい。また、事前情報入力IF21が、ネットワークを介して、施設の外観を表す3次元メッシュデータを読み込む構成でもよい。
【0018】
点検対象5の設置位置については、例えば、点検対象5のIDと3次元座標、もしくは緯度、経度、標高を入力するためのGUIをディスプレイ上に表示し、マウス操作とキーボード操作を用いてユーザーが手入力する構成としてもよい。もしくは、例えば、対象物の3次元位置を計測することが可能な機器によって点検対象5ごとに計測した3次元位置が、自動的に施設情報に埋め込まれるようにソフトウェアを構成してもよい。そのような3次元位置計測機器としては、トータルステーションや、衛星測位システム(GNSS:Global Navigation Satellite System)の測量機を例示できる。
【0019】
図4は、点検計画作成装置2における撮影難易度の算出方法を説明するための模式図である。
撮影可否判定部22は、図4で示すように、事前情報の各点検対象5を撮影する任意地点の撮影難易度を計算し、その撮影難易度が所定値以下であることで点検対象5の撮影が可能な地点の集合を撮影可能領域として判定する。
撮影可否判定部22は、カメラ11の点検対象5の正対位置からのずれ量(角度)である正対誤差θと、カメラ11と点検対象5の距離lを用いて、撮影難易度Dsを(数式1)のように評価する。ここで、b1、b2は重み係数である。
Ds=b1×θ+b2×l …(数式1)
【0020】
正対誤差θは、点検対象5表面(例えば正面)の一点鎖線で示す法線ベクトル6aと、撮影箇所4に自走式点検ロボット1が停止した場合のカメラ11の位置から点検対象5の中心に向かって延ばしたベクトル6b(破線)とのなす角度として定義される。距離lは、ベクトル6bの長さとして定義される。
変電施設に多く使用されるメータである円形アナログメータでは、文字盤から若干浮いた位置に針が設置されていることが多く、正面から確認しなければ正しく計測値を読み取ることができない。また、カメラ11の解像度やズーム性能には限界があるため、カメラ11と点検対象5が離れていると十分な解像度で撮影ができない。
従って、正対誤差θ、及び距離lが大きいほど撮影難易度Dsが高いため、撮影可否判定部22は、(数式1)を用いて撮影難易度Dsを評価する。つまり、撮影可否判定部22は、点検対象5の表面の法線ベクトルと、撮影箇所4から点検対象5に向かうベクトルとがなす角度として示される正対誤差θが大きいほど、撮影難易度Dsを高く評価する。
これにより、点検対象5をほぼ正面から撮影できるので、文字盤から若干浮いた位置に針が設置されていても、正しく計測値を読み取れる。
【0021】
図5は、撮影可否判定部22が撮影可否を判定する方法を説明するための模式図である。
撮影可否判定部22が判定の対象とする範囲101は、GUIを用いてユーザーが指定してもよいし、システムが自動的に設定してよく、様々な方法が考えられる。そのような方法の典型的な一例としては、施設内の全域に、一定間隔で網羅的に地点の候補を設定すればよい。即ち、範囲101内のグリッドの一つ一つが撮影可否判定の対象地点である。
【0022】
また、判定の対象とする点検対象5は、図5では、3つの円形アナログメータ5B,5A,5Cとした。なお、全ての点検対象5を撮影可否判定部22の判定の対象としてもよいし、一部の点検対象5であってもよい。判定対象を選択する方法は様々考えられるが、一例としては、任意地点に対して、そこから一定距離以内に存在する全ての点検対象5を対象としてもよい。
【0023】
撮影可否の判定方法は様々考えられるが、実施例1においては、判定の指標となる撮影難易度を用いる方法を例示して説明する。撮影難易度とは、ある地点を撮影箇所4に設定した場合に、自走式点検ロボット1により自律的に撮影されると推測される画像が、点検に適したものであるかどうかを判断するための指標であり、様々な定義を適用できる。
符号102に示すように、撮影可否判定部22は、撮影難易度が所定値以下となる地点の集合を撮影可能領域と判定し、撮影難易度が所定値を超過した地点の集合を撮影不可領域と判定する。図5では、撮影可能領域を網掛け表示している。
【0024】
図6は、撮影箇所決定部23が撮影箇所4を決定する方法を説明するための模式図である。
撮影可否判定部22は、円形アナログメータ5Aの文字盤を撮影可能な撮影可能領域を、符号111に示すように求める。
撮影可否判定部22は、円形アナログメータ5Bの文字盤を撮影可能な撮影可能領域を、符号112に示すように求める。
撮影可否判定部22は、円形アナログメータ5Cの文字盤を撮影可能な撮影可能領域を、符号113に示すように求める。
このように、撮影可否判定部22は、複数の点検対象5について、それぞれの撮影可能領域を算出する。
そして、撮影箇所決定部23は、それぞれの点検対象5に対して、撮影可否判定部22が判定した撮影可能領域の中から撮影箇所4を決定する。つまり、撮影箇所決定部23は、複数の点検対象5についての撮影可能領域が重複する共通領域を、撮影可能領域が重複しない単一領域よりも優先させて選択し、その選択した領域から点検対象5を撮影する地点である撮影箇所4を決定する。
【0025】
図7は、撮影可否判定部22が撮影難易度を算出する方法を説明するための図である。
撮影可否判定部22は、図6の符号111~符号113の各撮影可能領域を、同じ空間121上に配置することで、複数の点検対象5の撮影が可能と判定された共通領域を求める(符号122)。なお、共通領域において重複する撮影可能領域の数が多いほど、空間121での網掛けを濃く図示する。一方、1つの点検対象5の撮影が可能な撮影可能領域は、単一領域とする。
【0026】
そして、撮影箇所決定部23は、共通領域を単一領域よりも優先的に選択し、その選択した共通領域内の地点を撮影箇所4として選択する。さらに、撮影箇所決定部23は、共通領域内で、撮影可能な点検対象5の数が最も多い地点、つまり、共通領域が最も重なっている部分(最も網掛けが濃い部分)から順番に選択することが望ましい。これにより、撮影箇所4の数を削減できるので、自走式点検ロボット1を撮影箇所4で停止するなどの走行負担を削減でき、省電力化が期待される。
【0027】
図8は、図7の撮影箇所4から3つの点検対象5を撮影する様子を示す図である。
自走式点検ロボット1は、同じ撮影箇所4に停止した状態で、3つの円形アナログメータ5B,5A,5Cそれぞれにカメラ11の撮影方向131R,132R,133Rを向けて、合計3枚の撮影を行う。これにより、3か所の撮影箇所4に停止するよりも、省電力化が期待される。
【0028】
図9は、図8の撮影結果として生成される画像データを示す図である。
撮影方向131Rで撮影された円形アナログメータ5Bの写真131Pと、撮影方向132Rで撮影された円形アナログメータ5Aの写真132Pと、撮影方向133Rで撮影された円形アナログメータ5Cの写真133Pとが撮影される。
これらの写真は、それぞれ撮影可能領域内で撮影されているので、円形アナログメータの文字盤と針とが示す計測値を読み取り可能な程度に、充分な精度の写真となっている。
【0029】
以上説明したように、実施例1の点検計画作成装置2は、複数の点検対象5をまとめて撮影可能な共通領域から優先的に撮影箇所4を設定する。これにより、ロボット位置の微調整の回数を低減できるので、消費電力と点検に要する時間を低減できる。
【実施例0030】
次に、実施例2の点検計画作成装置2について説明する。実施例2の点検計画作成装置2の基本構成は、実施例1の点検計画作成装置2と同じである。以下では、実施例2の点検計画作成装置2について、実施例1の点検計画作成装置2と異なる点を主に説明する。
実施例1の点検計画作成装置2では、撮影難易度の具体的な定義と算出方法の一例を示した。しかし、撮影難易度は他にも複数の方法で定義することができ、さらに複数の定義を併用することで、より実態に即した難易度の評価が可能になる。実施例2では、撮影難易度の異なる定義及び算出方法を開示する。
【0031】
図10は、撮影シーンの模式図である。自走式点検ロボット1と点検対象5の間に障害物8がある撮影シーンを想定する。
【0032】
図11は、図10の撮影シーンから撮影された撮影画像Imの模式図である。
撮影画像Im中に障害物8が映り込んでいる。自走式点検ロボット1は制御誤差等の影響で撮影箇所4に精度よく停止できない場合が存在するが、このような場合、撮影画像Im中の障害物8が点検対象5を隠してしまう可能性がある。したがって、撮影画像Im中の障害物8の映り込みは少ないことが望ましい。
そこで、実施例2では、撮影可否判定部22は、点検対象5を撮影するときに、カメラ11の撮影性能に応じて点検対象5とともに映り込む施設の障害物8の量が多い地点ほど、撮影難易度を高く評価する。これにより、映り込みが少ない撮影箇所4が優先的に選択される。
以下では、撮影画像Im中の障害物8の映り込みを評価する方法を2つ例示して説明する。なお、映り込みの評価方法はこれらに限定されず、任意の方法を用いてもよい。
【0033】
図12は、(第1の映り込み評価方法)の説明図である。(第1の映り込み評価方法)では、施設情報として3次元CADツールなどを用いて作成した3次元モデリングデータ(仮想の写実的な映像を表すデータ)を使用することを想定する。
3次元モデリングデータには、図10に示すような自走式点検ロボット1、点検対象5、及び障害物8を仮想空間上に配置する。撮影可否判定部22は、事前情報入力IF21で入力したカメラ11の撮影性能(画角、解像度など)を考慮することで、図11に示すような撮影画像Imを仮想空間上で仮想的に撮影し、図12に示す仮想的な撮影画像(以下、「仮想画像」)を作成する。例えば、画角は仮想画像の大きさ、解像度は仮想画像を構成するピクセルの大小に影響する。
撮影可否判定部22は、仮想画像を構成するピクセルごとに、3次元モデリングデータとの対応を取ることで3次元位置を求める。撮影可否判定部22は、求めた3次元位置をもとに、カメラ11から各ピクセルに映っている物体までの距離を算出する。
【0034】
なお、図12は、各ピクセルに自走式点検ロボット1のカメラ11から物体までの距離を付加した仮想画像であり、この撮影画像は、撮影可否判定部22により生成される。小さい一つの四角形が一つのピクセルを表しており、i行j列目のピクセルをpijと表す。各ピクセルに映っている物体までの距離の大小に応じて、網掛けの濃度を変更している。図12には、仮想画像Imvに点検対象5と障害物8が含まれ、点検対象5の領域に網掛けH1、障害物8の領域に網掛けH2が表示された例が示されている。
【0035】
図12では説明のために、距離大が網掛けなし、距離中が薄い網掛けH1、距離小が濃い網掛けH2と、3段階で描画しているが、実際には、距離に応じた連続値(ポテンシャル場)を取る。ピクセルpijに付加された距離をdijとする。なお、物体の境界を写したピクセルについては、1ピクセルの間に手前の物体と奥の物体が映り込む場合があるが、このような場合は、1ピクセル中に映り込んでいる全ての物体までの距離の平均値を取ればよい。
【0036】
図12に示すような、距離を付加した仮想画像Imvが得られると、仮想画像Imv内の映り込みの量を(数式2)のように評価できる。ここで、Gは映り込みの評価値とし、pmは点検対象5の中心を写したピクセルとし、関数dist(pk,pl)はピクセルpkとピクセルplとの間の画像上の距離とし、総和記号Σはiとjについての総和を取るものとする。ここでは、pkにpij、plにpmが適用される。
G=Σ(dist(pij,pm)×dij) …(数式2)
【0037】
(数式2)を用いて映り込みの評価値Gを計算することで、画像に映り込んだ物体の画像中の面積を、点検対象5の中心までの距離で重みづけした値が得られる。映り込みの評価値Gが大きい場合、画像中の点検対象5が遮へいされる可能性が高くなる。したがって、撮影難易度Dsを、例えば、(数式3)のように算出できる。b2は重み係数である。
Ds=b2×G …(数式3)
【0038】
このように、(第1の映り込み評価方法)では、少なくとも、施設情報は、施設の外観を表す3次元モデリングデータを含み、カメラ11の撮影性能は、カメラ11の画角の情報を含む。
そして、撮影難易度評価部221は、撮影箇所4から撮影されると推測されるカメラ画像を、3次元モデリングデータとカメラ11の画角を用いて作成し、カメラ画像における、点検対象5以外の物体(障害物8)が映り込んだ画素の量によって、撮影難易度を評価する。
【0039】
図13は、(第2の映り込み評価方法)の説明図である。なお、図13は、カメラ11の画角の範囲内に収まる仮想的な点群を示す模式図であり、この模式図は、撮影可否判定部22により生成される。
(第2の映り込み評価方法)では、施設情報として3次元点群データを使用することを想定する。(第1の映り込み評価方法)と同様に、撮影可否判定部22は、図10に示した自走式点検ロボット1、点検対象5、障害物8、及び3次元点群データを仮想空間上に配置する。撮影可否判定部22は、事前情報入力IF21で入力したカメラ11の撮影性能を考慮し、カメラ11の画角の範囲Imp内に収まる点群を、図13に示すように算出する。ただし、路面を示す点群、及び点検対象5を示す点群より奥にある点群は、除去するものとする。
【0040】
撮影可否判定部22は、路面を示す点群の除去には、例えば、RANSAC(RANdom SAmple Consensus)を用いた平面推定アルゴリズムなどを用いる。点検対象5より奥にある点群の除去は、撮影箇所4から各点までの距離を計算し、撮影箇所4から点検対象5までの距離の方が小さくなる点を除去することで実行できる。
【0041】
算出した点群の各点をci(0<i<n)とする。nは算出した点群に含まれる点ciの総数である。このとき、物体の映り込みの量を(数式4)で評価できる。ここで、diは点検対象撮影箇所4から点ciまでの距離、dmは撮影箇所4から点検対象5までの距離、総和記号Σはiについての総和を取るものとする。例えば、撮影箇所4から点検対象5までの距離dmは、撮影箇所4から点検対象5上の複数の点ciまでの距離の平均値、又は、撮影箇所4から点検対象5上の特定の点ci(例えば、重心)までの距離である。
G=Σ(dm-di) …(数式4)
【0042】
(数式4)を用いて映り込みの評価値Gを計算することで、カメラ11の画角の範囲Imp内に収まる点群のうち、点検対象5より手前にある点ciの点数を、撮影箇所4への近さで重みづけした値が得られる。映り込みの評価値Gが大きい場合、画像中の点検対象5が障害物8で遮へいされる可能性が高くなる。したがって、(第1の映り込み評価方法)と同様に、撮影難易度評価部231は、(数式4)で得られた映り込みの評価値Gを(数式3)に用いて、撮影難易度Dsを算出できる。
【0043】
このように、(第2の映り込み評価方法)では、少なくとも、施設情報は、施設の外観を表す3次元点群データを含み、カメラ11の撮影性能は、カメラ11の画角の情報を含む。
そして、撮影可否判定部22は、撮影箇所4に自走式点検ロボット1が停止し、カメラ11を点検対象5に向けた場合に、画角内に収まる3次元点群のうち、点検対象5よりも手前にある3次元点群の量によって撮影難易度を評価する。
【0044】
以上説明したように、実施例2の点検計画作成装置2は、点検対象5の画像を撮影する際、他の物体がどの程度映り込むかを評価する。点検計画作成装置2は、自走式点検ロボット1の停止時の位置誤差によって、画像中の点検対象5が遮へいされるリスクがどの程度あるかを評価する。
【実施例0045】
次に、実施例3の点検計画作成装置2について説明する。以下では、実施例3の点検計画作成装置2について、実施例1及び実施例2による点検計画作成装置2と異なる点を主に説明する。実施例1及び実施例2による点検計画作成装置2では、撮影難易度の具体的な定義と算出方法を複数例示した。実施例3では、撮影難易度の異なる定義、算出方法を開示する。
【0046】
図14は、撮影可否判定部22が所望の位置で撮影したときの撮影画像の模式図である。
自走式点検ロボット1は、撮影画像の中央に点検対象5が位置する図14のような画像(参照画像Im1)を撮影する必要がある。
【0047】
図15は、撮影可否判定部22が図14の所望の位置よりもずれて撮影したときの撮影画像の模式図である。
自走式点検ロボット1は、実施例2で述べたように、撮影箇所4に停止する際、停止位置に誤差を伴う場合がある。このとき、カメラ11の撮影画像中の所望の位置に点検対象5を撮影できず、図15に示すような画像(撮影画像Im2)が撮影されてしまう場合もある。
【0048】
図15のような場合に対処するために、予め図14に示すような理想的な撮影画像を、参照画像Im1として事前に用意し、特徴点マッチング技術のような画像同士のマッチングを取る技術を用いて、実際の撮影画像Im2と参照画像Im1とのずれ量を見積もる。そして、画像のずれ量の見積もり結果を利用することで、撮影可否判定部22は、点検対象5が撮影画像の所望の位置に写るように自走式点検ロボット1の停止位置を補正できる。
【0049】
なお、自走式点検ロボット1の停止位置を補正する場合、参照画像Im1は予め作業員が現地の施設で撮影することにより用意してもよいし、施設情報として、施設の外観を表す3次元モデリングデータが利用できる場合であれば、カメラ11の撮影性能(例えば画角)を用いて仮想空間上で仮想的に点検対象5の画像を撮影することで用意してもよい。後者の場合、参照画像Im1を作成し、自走式点検ロボット1又は点検計画作成装置2が利用可能な形式でデータを保持させるのに適したユーザーインターフェースを、点検計画作成装置2に追加してもよい。
【0050】
また、自走式点検ロボット1の停止位置を補正する場合、参照画像が画像同士のマッチングを行う上で適切な画像であることが求められる。具体的には、参照画像中に画像的な特徴が豊富に存在していることが求められる。
そこで、撮影可否判定部22は、撮影難易度を、参照画像中の画像的な特徴の量によって評価する。具体的には、例えば、SIFT(Scale Invariant Feature Transform)、SURF(Speeded-up Robust Features)、又はAKAZE(Accelerated KAZE)特徴量のいずれかに付随する画像特徴点の計算を伴う特徴量計算を行い、計算された特徴点の数nfを用いて、(数式5)のように撮影難易度Dsを評価する。b3は重み係数である。
Ds=b3/nf …(数式5)
【0051】
(数式5)によれば、撮影可否判定部22は、3次元モデリングデータと画角の情報とを用いて撮影箇所4からカメラ11が撮影すると推測される仮想的なカメラ画像を作成し、その作成した仮想的なカメラ画像に含まれる画像特徴点の量nfが少ないほど、撮影難易度Dsを高く評価する。これにより、点検対象5とともに多くの特徴点が背景としてカメラ画像に映り込む撮影箇所4が、停止位置の補正が容易な地点として優先的に選択される。
そのため、参照画像の特徴点の数の多少、すなわち参照画像が停止位置の補正に適しているかどうかで、撮影可否判定部22は、撮影難易度Dsを評価する。
【0052】
以上説明したように、実施例3の点検計画作成装置2は、参照画像中の特徴量(例えば、特徴点の数)によって撮影難易度を評価する。つまり、点検計画作成装置2は、自走式点検ロボット1の停止位置誤差の影響を補正することが困難なほど、撮影難易度が高いと評価する。
【実施例0053】
次に、実施例4の点検計画作成装置2について図16を用いて説明する。以下では、実施例4の点検計画作成装置2について、実施例1~実施例3による点検計画作成装置2と異なる点を主に説明する。
【0054】
実施例1~実施例3による点検計画作成装置2では、撮影難易度の具体的な定義と算出方法を複数例示した。実施例4では、撮影難易度の異なる定義、算出方法を開示する。
【0055】
図16は、照明や太陽などの映り込みにより画像の明瞭さが失われるリスクを撮影難易度として評価する方法を説明するための模式図である。
自走式点検ロボット1は、点検対象5の画像をカメラ11で撮影することにより点検を実行するため、撮影された画像は明瞭であることが求められる。このとき、照明や太陽などの光源が画像中に映り込むことで、画像のホワイトバランスが悪化し、画像の明瞭さが失われる場合がある。撮影可否判定部22は、照明や太陽など光源の映り込みにより、画像の明瞭さが失われるリスクを撮影難易度として評価する。
【0056】
図16に示すとおり、点検対象5の付近に照明9が存在する場合を想定する。このとき、撮影箇所4に停止した自走式点検ロボット1のカメラ11から、点検対象5へ向かうベクトルと、照明9へ向かうベクトルをそれぞれ計算し、両ベクトルによってなす角度αを計算する。照明9の設置位置は施設情報の一部として事前に入力済みであるとする。このとき、撮影難易度Dsを(数式6)で算出できる。
Ds=b4/α …(数式6)
【0057】
(数式6)で算出した撮影難易度Dsは、角度αが小さいほど大きな値を取る。すなわち、カメラ11から見て、点検対象5と照明9が近いほど、撮影難易度Dsが高く評価される。これにより、照明9の影響で自走式点検ロボット1が取得する画像の明瞭さが失われそうな場合に、撮影可否判定部22は、撮影難易度Dsを高く評価する。
【0058】
撮影可否判定部22は、照明9の代わりに、太陽の影響を評価する際も、照明9の方法と同一の方法で評価する。ただし、太陽の位置は時間帯によって変化するので、カメラ11から太陽へ向かうベクトルを計算するには、点検を実行する時刻の情報が必要である。したがって、太陽の影響を評価する際は、点検計画が点検を実行する時刻の情報を含んでいるものとする。
【0059】
以上説明したように、実施例4の点検計画作成装置2では、撮影可否判定部22は、撮影箇所4から照明9や太陽などの光源に向かうベクトルと、撮影箇所4から点検対象5に向かうベクトルとのなす角度αによって撮影難易度を評価するように構成されている。このように、光源(光)の映り込みを基に撮影難易度を評価することで、光源によって画像の明瞭さが失われるリスクの大きさを容易に確認する。
【0060】
なお、本発明による点検計画作成装置2では、撮影難易度を評価する際、実施例1~実施例4で例示したような撮影難易度の算出方法を組み合わせてもよい。具体的には、例えば、これまで例示した複数の撮影難易度の評価方法によって算出した値の重みづけ和を用いて撮影難易度を評価してもよい。
【0061】
また、点検対象5には、例えばアナログメータ、デジタルメータ、油面計、電力系統制御盤といった様々な種別があり、種別によって、撮影難易度を評価するためのパラメータが異なったり、適した評価方法が異なったりする場合がある。そこで、事前情報に点検対象5の種別の情報を含み、種別に応じて、撮影難易度の評価式を切り替えてもよい。この切り替え処理は、評価に使用する数式(数式1,数式3,数式5,数式6)を切り替えてもよいし、同じ数式を使用する場合でも、数式内に代入する評価パラメータ(係数b1、b2、…など)を切り替えてもよい。
これにより、点検対象5の種別に応じて、撮影難易度の評価式をチューニングできる。
【実施例0062】
次に、実施例5の点検計画作成装置2について図17及び図18を用いて説明する。以下では、実施例5の点検計画作成装置2について、実施例1~実施例4による点検計画作成装置2と異なる点を主に説明する。
【0063】
実施例1~実施例4の点検計画作成装置2では、撮影難易度を元に撮影箇所4を決定した。しかしこの方法では、施設内の地形を考慮していないため、進入が望ましくない箇所に撮影箇所4が設定される可能性がある。具体例を挙げて説明する。自走式点検ロボット1は、走行制御の精度によっては、走行経路3からある程度逸脱しながら走行を行う場合がある。このとき、自走式点検ロボット1の近傍に障害物8があれば、自走式点検ロボット1が障害物8に衝突するリスクがある。あるいは、自走式点検ロボット1の近傍に溝があれば、自走式点検ロボット1が溝に転落するリスクがある。従って、障害物8の近傍には進入すべきではないが、実施例1~実施例4の点検計画作成装置2では、障害物2の近傍に撮影箇所4が設定される可能性がある。
【0064】
そこで実施例5では、自走式点検ロボット1が進入すべきでない箇所に撮影箇所4が設定されることを防止する方法を開示する。
【0065】
図17は、点検計画作成装置2の構成例を示す図である。撮影可否判定部22は、撮影難易度評価部221と、走行可能領域算出部222を備える。撮影難易度評価部221は、実施例1~実施例4の撮影可否判定部22の持つ撮影難易度の算出機能と同一の機能を持つ要素である。また、点検計画作成装置2の事前情報は、施設内の地形情報と、自走式点検ロボット1の外形の情報とを含む。
走行可能領域算出部222は、任意の地点において自走式点検ロボット1が走行する難易度(以下、走行難易度)を評価する。実施例5にかかる点検計画作成装置2において、走行難易度とは、自走式点検ロボット1が障害物等に衝突するリスクを評価したものである。
走行可能領域算出部222は、例えば、施設情報に含まれる路面の摩擦係数が低い(すべりやすい)路面ほど、走行難易度を高く評価する。これにより、すべりやすい地点が撮影地点に選ばれなくなる。よって、ブレーキをかけづらい路面でブレーキをかける労力(大きな消費電力、停止位置の精度劣化)を削減できるため、消費電力を低減できる。
【0066】
撮影可否判定部22(撮影難易度評価部221)は、計算した走行難易度が所定値以下の走行可能領域と、走行難易度が所定値を超過する領域である走行不可領域とを算出する。そして、撮影可否判定部22は、撮影可能領域から走行不可領域を除外する。撮影箇所決定部23は、走行不可領域が除外された(つまり走行可能領域内の)撮影可能領域から撮影箇所4を決定する。これにより、撮影箇所決定部23は、自走式点検ロボット1が進入可能な箇所に撮影箇所4を設定する。
【0067】
図18は、走行可能領域算出部222において、障害物8への衝突リスクを走行難易度として評価する方法を説明するための模式図である。図18において、路面のうち走行難易度が低い部分を白抜き(領域Ad0)、走行難易度が中程度の部分を薄い網掛け(領域Ad1)、走行難易度が高い部分を濃い網掛け(領域Ad2)で示している。走行難易度が高い領域Ad2は、障害物8と領域Ad1の間に位置し、障害物8に最も近い。図18では説明のために走行難易度を3段階で表示したが、実際には連続値(ポテンシャル場)を取ってもよい。
【0068】
図18に示すように、障害物8の周辺では走行難易度を高く、障害物8から遠ざかるにつれて走行難易度を低く評価することで、自走式点検ロボット1が障害物8に衝突するリスクを評価できる。具体的には、走行難易度Ddを(数式7)で算出する。ここで、関数mindist(x,y,θ)は、地点(x,y,θ)に存在する自走式点検ロボット1の外形表面から周囲に存在する障害物8の外形表面までの最短距離を出力する関数である。θは、自走式点検ロボット1の姿勢(例えば、路面に対する傾き)を表す。また、事前情報の一部として、自走式点検ロボット1の外形情報が入力済みであるとする。
Dd=c2/mindist(x,y,θ) …(数式7)
【0069】
(数式7)を用いて走行難易度Ddを算出することで、走行可能領域算出部222は、任意地点に存在する自走式点検ロボット1の周囲の障害物8への衝突しやすさを評価する。また、障害物8と同様に溝15についても溝15の外形情報を用いることで、走行可能領域算出部222は、(数式7)を用いて走行難易度Ddを算出する。
【0070】
以上説明したように、実施例5の点検計画作成装置2では、事前情報は、自走式点検ロボット1の外形の情報を含み、走行可能領域算出部222は、路面上の任意地点に自走式点検ロボット1を配置した場合の、自走式点検ロボット1の外形から自走式点検ロボット1の周辺に存在する物体又は溝までの距離を算出し、算出した距離によって走行難易度を評価するように構成されている。
また、実施例5の点検計画作成装置2は、障害物8への衝突、及び溝15への転落リスクを走行難易度として評価できる。これにより、衝突、転落のリスクがあり進入が望ましくない地点以外に撮影箇所4を設定できる。
つまり、撮影可否判定部22は、路面上の任意地点に自走式点検ロボット1を配置した場合の、自走式点検ロボット1の外形の情報から自走式点検ロボット1の周辺に存在する物体又は溝までの距離を算出し、算出した距離が短いほど走行難易度を高く評価する。これにより、衝突、転落のリスクを低減できる。
【実施例0071】
次に、実施例6の点検計画作成装置2について図19から図23を用いて説明する。以下では、実施例6の点検計画作成装置2について、実施例1~実施例5による点検計画作成装置2と異なる点を主に説明する。
【0072】
実施例1~実施例5による点検計画作成装置2では、走行難易度の具体的な定義と算出方法を一つ例示した。実施例6では、走行難易度の異なる定義、算出方法を開示する。
【0073】
自走式点検ロボット1は、走行経路3に沿って自律走行を行う。この際、GNSSやSLAM技術を用いて、自走式点検ロボット1自身の位置である自己位置を推定し、走行経路3からの偏差に対してフィードバック制御をかけることで自律走行を実現する構成が一般的である。自己位置推定の精度が悪化すると、自走式点検ロボット1は走行経路3に精度よく追従することや、撮影箇所4に精度よく停止することができないので、安全上の問題や、点検品質の劣化の問題が生じる。
【0074】
そこで、以下では、走行可能領域算出部222が、自己位置推定の精度が悪化する可能性を走行難易度として評価する方法を説明する。
自走式点検ロボット1に使用できる自己位置推定の方式は複数存在するので、それらの方式ごとに、走行難易度の評価方法として適切な方法が複数考えられる。実施例6では、自己位置推定の方式としてGNSS、LiDARを用いたSLAM技術、カメラ11を用いたSLAM技術を用いた場合のそれぞれについて有用な、走行難易度の評価方法を一例ずつ開示する。
【0075】
図19は、走行可能領域算出部222において、自己位置推定の方式として衛星測位システム(GNSS:Global Navigation Satellite System)を用いた場合の、走行難易度の算出方法を説明するための模式図である。図19では、施設内に障害物8が存在することを想定し、各障害物8の高さhi(0<i<n)が施設情報として利用可能なことを想定する。ここで、nは施設内の障害物8の総数である。高さhiの情報(標高情報の一例)は、事前情報入力IF21によりユーザーが直接入力してもよいし、施設情報に含まれる3次元メッシュデータや3次元点群データなどから点検計画作成装置2内で自動的に算出する構成としてもよい。
【0076】
実施例6は、障害物8の周辺では走行難易度を高く、遠ざかるにつれて走行難易度を低く評価する点は実施例5と同様だが、障害物8の高さhiを走行難易度に反映している点が実施例5との違いである。すなわち、障害物8の高さhiが高いほど、走行難易度を高く評価する領域を広く設定している。具体的には、走行難易度Ddを(数式8)で算出する。ここで、iはmindist(x,y,θ)関数内で使用された自走式点検ロボット1に最も近い障害物8を表すインデックスである。c3は重み係数である。
Dd=hi×c3/mindist(x,y,θ) …(数式8)
【0077】
GNSSの性能は、高い障害物8によって衛星からの電波が遮断されたり、障害物8の壁面を経由したマルチパスが存在したりする場合に悪化する。このため、(数式8)のように、自走式点検ロボット1の障害物8への近さを障害物8の高さで重みづけした値で走行難易度Ddを定義することで、走行可能領域算出部222は、GNSSの性能悪化のリスクを評価する。
【0078】
なお、実施例6の変形例として、施設情報の標高情報に、溝15の深さdpが含まれてもよい。溝15が浅ければ自走式点検ロボット1は溝15の上を走行できるが、溝15が深い場合には自走式点検ロボット1は溝15の上を走行できない。走行可能領域算出部222は、(数式8)の“hi”を“dp”に置き換えて、溝15の周辺における走行難易度を評価する。なお、溝15の深さdpに基づいて走行難易度を評価する場合、自走式点検ロボット1の姿勢θを省略してもよい。なお、溝15の深さに加えて、溝15の幅を考慮してもよい。例えば、溝15が深い場合であっても、溝15の幅が自走式点検ロボット1と比べて相対的に狭い場合には、自走式点検ロボット1は溝15の上を比較的容易に走行できる。
【0079】
このように、実施例6において、施設情報は、施設内の物体の高さを示す標高情報を含んでもよい。また、標高情報に、施設内の溝の深さを含んでもよい。走行可能領域算出部222は、標高情報に基づいて走行難易度を評価する。
【0080】
以下、走行可能領域算出部222において、自己位置推定の方式としてLiDARによるSLAM技術を用いた場合の、走行難易度の算出方法を説明する。
図20は、撮影シーンの模式図である。自走式点検ロボット1は、LiDARセンサ12を備える。
LiDARセンサ12は自走式点検ロボット1の周囲に放射状にレーザーLaを照射し、レーザーLaが物体で反射して戻るまでの時間を計測することで、自走式点検ロボット1から反射点までの距離を計測する。これにより、走行可能領域算出部222は、反射点の自走式点検ロボット1に対する相対的な3次元位置を取得し、3次元点群を得る。特定の地点に自走式点検ロボット1が存在している場合に、LiDARセンサ12から撮影性能(例えば、照射範囲(画角)、照射ポイントの分解能など)に応じて得られると推測される3次元点群として、施設情報を用いて仮想的に生成した点群である「仮想点群」を考え、その仮想点群の各点をci(0<i<n)と表す。ここで、nは点群に含まれる点ciの総数である。
【0081】
図21は、図20の仮想点群から平面及び法線ベクトルを抽出する方法の概要を示した模式図である。
既述のRANSACなどの平面推定アルゴリズムを用いることで、走行可能領域算出部222は、仮想点群から物体の平面を抽出する。走行可能領域算出部222は、各平面の法線ベクトル10から、各平面の面積で重みづけしたベクトルである重み付き法線ベクトルを計算する。
【0082】
典型的なLiDARによるSLAM技術では、異なる場所から取得した3次元点群同士をマッチングする処理を行うため、3次元点群内にマッチングを行うための特徴が豊富に含まれていることが望ましい。具体的な特徴は様々存在するが、典型的な例の一つは、3次元点群の中に異なる方向を向いた平面が複数種類含まれていることである。
【0083】
そこで、例えば、(数式9)のように走行難易度Ddを定義することで、走行可能領域算出部222は、仮想点群に含まれる異なる方向を向いた平面の量を評価する。ここで、w1、w3はそれぞれ、抽出した全ての平面における重み付き法線ベクトルの第一主成分、第三主成分である。c4は重み係数である。主成分分析について詳細な説明は省略するが、第一主成分、第二主成分、及び第三主成分はそれぞれ直交する。第一主成分と第三主成分の関係がわかれば、第一~第三主成分の全体の関係がおおよそわかる。
Dd=c4×(1-w3/w1) …(数式9)
【0084】
第一主成分w1が第三主成分w3よりも著しく大きい場合、抽出した全ての平面がほぼ同じ方向を向いていることを意味する。このとき、(数式9)は最大の値を取る。一方、第一主成分w1が第三主成分w3に近い場合、様々な方向を向いた平面が混在していることを意味する。このとき、(数式9)は最少の値を取る。したがって、(数式9)を用いて走行難易度Ddを評価することで、走行可能領域算出部222は、特定の地点がLiDARによるSLAM技術に適した環境かどうかを評価する。
【0085】
このように、実施例6において、事前情報は、自走式点検ロボット1に搭載されるLiDARセンサ12の性能を示すLiDAR撮影性能を含んでもよい。そして、点検計画作成装置2は、LiDAR撮影性能と施設情報を基に、任意地点にLiDARセンサ12(自走式点検ロボット1)を配置した場合に取得されると推測される点群である仮想点群を生成する仮想点群生成部(図示略)を、走行可能領域算出部222内に備える構成としてもよい。走行可能領域算出部222は、仮想点群を用いて走行難易度を評価する。
【0086】
以下、走行可能領域算出部222において、自己位置推定の方式としてカメラ11によるSLAM技術を用いた場合の、走行難易度の算出方法を説明する。
図22は、撮影シーンの模式図である。図22では自走式点検ロボット1の前方右側に障害物8a、前方左側に障害物8bが存在する例が示されている。
図23は、図22に示す撮影シーンにおいて、カメラ11によって撮影されると推測される仮想画像の模式図である。この仮想画像には、図22の障害物8a及び障害物8bが映り込んでいる。仮想画像は、実施例2において図12を用いて説明した方法と同様に、カメラ11の撮影性能(画角、解像度など)と施設情報を用いて、走行可能領域算出部222が生成する。
【0087】
走行可能領域算出部222は、典型的なカメラ11を用いたSLAM技術では、異なる位置から撮影した画像同士をマッチングによって対応づけ、差分を評価する。自走式点検ロボット1は、その評価の結果を利用して自己位置の推定を行う。このため、画像内にマッチングに適した特徴が豊富に含まれることが求められる。具体的な特徴は様々存在するが、典型的な例の一つは、SIFTやSURF、AKAZE特徴量のような特徴量(特徴点)である。そこで、実施例3における(数式5)と同様にして、走行可能領域算出部222は、(数式10)で走行難易度Ddを評価できる。nfは計算された特徴点の数である。c5は重み係数である。
Dd=c5/nf …(数式10)
【0088】
(数式10)を用いて走行難易度Ddを評価することで、特定の地点から撮影されると推測される画像である仮想画像が、SLAMに適したものであるかどうかを評価できる。よって、走行可能領域算出部222は、特定の地点におけるSLAMの難易度を評価する。
【0089】
このように、実施例6において、走行可能領域算出部222は、カメラ11の撮影性能と施設情報を基に、任意地点にカメラ11(自走式点検ロボット1)を配置した場合に取得されると推測される画像である仮想画像を生成する。走行可能領域算出部222は、生成した仮想画像を用いて走行難易度を評価する。
【0090】
以上説明したように、実施例6の走行可能領域算出部222は、自走式点検ロボット1の自己位置推定の精度に関連する情報を走行難易度に反映して、走行難易度を評価するように構成されている。自己位置推定の精度に関連する情報は、例えば、周辺に存在する物体の高さ(数式8のhi)、マッチングする3次元点群中の異なる向きの平面の多さ(数式9)、マッチングする画像中の特徴点の多さ(数式10のnf)である。
つまり、撮影可否判定部22は、過去に計算した自走式点検ロボット1の自己位置推定の精度が低いほど、走行難易度を高く評価する。
【0091】
また、実施例6の点検計画作成装置2は、自己位置推定の精度が悪化しそうな地点の走行難易度を高く評価することで、自己位置推定が精度よく実行できるか否かを評価できる。それにより、実施例6は、安全上の問題や、点検品質の劣化の問題が生じにくい地点に撮影箇所4を設定できる。
なお、点検計画作成装置2は、走行難易度を評価する際、実施例5および実施例6で例示したような走行難易度の算出方法を組み合わせてもよい。具体的には、例えば、これまで例示した複数の走行難易度の評価方法によって算出した値の重みづけ和を用いて走行難易度を評価してもよい。
【0092】
図24は、点検システムに含まれる自走式点検ロボット1および点検計画作成装置2のハードウェア構成図である。
自走式点検ロボット1および点検計画作成装置2は、それぞれCPU901と、RAM902と、ROM903と、HDD904と、通信I/F905と、入出力I/F906と、メディアI/F907とを有するコンピュータ900として構成される。
通信I/F905は、外部の通信装置915と接続される。入出力I/F906は、入出力装置916と接続される。メディアI/F907は、記録媒体917からデータを読み書きする。さらに、CPU901は、RAM902に読み込んだプログラム(アプリケーションや、その略のアプリとも呼ばれる)を実行することにより、各処理部を制御する。そして、このプログラムは、通信回線を介して配布したり、CD-ROM等の記録媒体917に記録して配布したりすることも可能である。
【0093】
なお、本発明は上述した各実施例に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、その他種々の応用例、変形例を取り得ることは勿論である。例えば、上述した各実施例は本発明を分かりやすく説明するために点検計画作成装置2の構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成要素を備えるものに限定されない。
また、ある実施例の構成の一部を他の実施例の構成要素に置き換えることが可能である。また、ある実施例の構成に他の実施例の構成要素を加えることも可能である。また、各実施例の構成の一部について、他の構成要素の追加又は置換、削除をすることも可能である。
【0094】
さらに、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。ハードウェアとして、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)などの広義のプロセッサデバイスを用いてもよい。
また、上述した各実施例にかかる点検計画作成装置2の各構成要素は、それぞれのハードウェアがネットワークを介して互いに情報を送受信できるならば、いずれのハードウェアに実装されてもよい。また、ある処理部により実行される処理が、1つのハードウェアにより実現されてもよいし、複数のハードウェアによる分散処理により実現されてもよい。
【符号の説明】
【0095】
1 自走式点検ロボット
2 点検計画作成装置
3 走行経路
4 撮影箇所
5 点検対象
8 障害物
11 カメラ
21 事前情報入力IF(事前情報入力部)
22 撮影可否判定部
23 撮影箇所決定部
221 撮影難易度評価部
222 走行可能領域算出部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24