特許 7346308 作業空間内の遠隔操作ビークルの位置を特定する方法およびかかる方法を用いた遠隔検査システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-08

(45)【発行日】2023-09-19

(54)【発明の名称】作業空間内の遠隔操作ビークルの位置を特定する方法およびかかる方法を用いた遠隔検査システム

(51)【国際特許分類】

   G01C 15/00 20060101AFI20230911BHJP

   G01B 11/00 20060101ALI20230911BHJP

   G05D 1/00 20060101ALI20230911BHJP

   G06T 7/70 20170101ALI20230911BHJP

【ＦＩ】

G01C15/00 104C

G01B11/00 H

G05D1/00 B

G06T7/70 A

【請求項の数】 24

(21)【出願番号】P 2019572173

(86)(22)【出願日】2018-07-26

(65)【公表番号】

(43)【公表日】2020-10-01

(86)【国際出願番号】 US2018043814

(87)【国際公開番号】W WO2019023416

(87)【国際公開日】2019-01-31

【審査請求日】2021-07-14

(31)【優先権主張番号】62/537,571

(32)【優先日】2017-07-27

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/045,801

(32)【優先日】2018-07-26

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】501010395

【氏名又は名称】ウエスチングハウス・エレクトリック・カンパニー・エルエルシー

(74)【代理人】

【識別番号】100091568

【弁理士】

【氏名又は名称】市位 嘉宏

(72)【発明者】

【氏名】ペトロスキー、ライマン、ジェイ

(72)【発明者】

【氏名】ボーランダー、マーティン

【審査官】續山 浩二

(56)【参考文献】

【文献】特開２００８－２０９１８９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０３４９３４９（ＵＳ，Ａ１）

【文献】特開２００２－０６５６４１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０３７８１０９（ＵＳ，Ａ１）

【文献】特開２０１４－０８１２１２（ＪＰ，Ａ）

【文献】特開２０１６－１７７６４０（ＪＰ，Ａ）

【文献】特表２０１０－５２１７３３（ＪＰ，Ａ）

【文献】特開平０８－１０５９９１（ＪＰ，Ａ）

【文献】特開２００７－０７１６６０（ＪＰ，Ａ）

【文献】特表２００７－５３０９７８（ＪＰ，Ａ）

【文献】特開平１０－２４２５０６（ＪＰ，Ａ）

【文献】特開２００９－１４３７２２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ １５／００

Ｇ０１Ｂ １１／００

Ｇ０５Ｄ １／００

Ｇ０６Ｔ ７／７０

(57)【特許請求の範囲】

【請求項1】

原子炉容器の内部を含む３次元作業空間（１６）内の遠隔操作ビークル（１４）の位置を特定する方法（１００）であって、
ビデオカメラ（２２）から当該作業空間のビデオ映像を受け取るステップ（１０２）と、
当該ビデオ映像を処理して、当該作業空間の中またはその近傍の既知の物理的構造体の境界構造物（３０，３４）およびその特徴物（３２，３６）を特定するステップ（１０４）と、
当該境界構造物および当該特徴物と当該既知の物理的構造体との間の相関関係を求めるステップ（１０６）とを含み、当該相関関係を求めるステップは、当該既知の物理的構造体の既知の寸法情報に基づいて当該３次元作業空間の３次元座標フレームワークを構築することを含むものであり、
当該方法はさらに、
当該相関関係を用いて、当該カメラからの当該ビデオ映像を当該既知の物理的構造体に照らして校正するステップ（１０８）と、
当該校正されたビデオ映像中における当該遠隔操作ビークルに付けた多数の基準目印（２０）の位置を特定するステップ（１１０）と、
当該校正されたビデオ映像中における当該多数の基準目印の位置を用いて、当該３次元作業空間内の当該遠隔操作ビークルの３次元的位置を特定するステップと
を含む方法。

【請求項2】

前記校正されたビデオ映像中における前記遠隔操作ビークルに付けた多数の基準目印の位置を特定する前記ステップは、少なくとも３つの別個の基準目印の位置を特定することを含む、請求項１の方法。

【請求項3】

前記少なくとも３つの別個の基準目印の位置を特定する前記ステップは、少なくとも３つの球体要素の位置を特定することを含む、請求項２の方法。

【請求項4】

前記校正されたビデオ映像中における前記遠隔操作ビークルに付けた多数の基準目印の位置を特定する前記ステップは、少なくとも２つの別個の基準目印の位置を特定することを含む、請求項１の方法。

【請求項5】

遠隔検査システム（１０）であって、
原子炉容器の内部を含む３次元作業空間の中で作動可能であり、多数の基準目印（２０）を付けた遠隔操作ビークル（１４）と、
当該作業空間の境界またはその近傍にあって、当該作業空間の中またはその近傍の境界構造物（３０、３４）およびその特徴物（３２、３６）の画像を捕捉するように配置され構成されたビデオカメラ（２２）と、
当該境界構造物および当該特徴物の詳細な寸法を記憶する電子記憶媒体（２６）と、
当該カメラおよび当該電子記憶媒体の両方と電気通信関係にある処理装置（２４）とを具備し、当該処理装置は、
当該ビデオカメラからのビデオ映像中の当該作業空間のビデオ画像を受け取り（１０２）、
当該ビデオ映像を処理して当該特徴物および当該境界構造物を特定し（１０４）、
当該ビデオ映像中の特定された当該境界構造物および当該特徴物と既知の物理的構造体との間の相関関係を求める（１０６）ようにプログラムされており、当該相関関係を求めることは、当該既知の物理的構造体の既知の寸法情報に基づいて当該３次元作業空間の３次元座標フレームワークを構築することを含むものであり、
当該処理装置はさらに、
当該相関関係を用いて、当該ビデオカメラからの当該ビデオ画像を当該既知の物理的構造体に照らして校正し（１０８）、
当該校正されたビデオ映像中における当該遠隔操作ビークルに付けた当該多数の基準目印の位置を特定し（１１０）、
当該校正されたビデオ映像中における当該多数の基準目印の位置を用いて、当該３次元作業空間内の当該遠隔操作ビークルの３次元的位置を特定する（１１２）ようにプログラムされていること
を特徴とする遠隔検査システム。

【請求項6】

前記多数の基準目印は複数の球体要素より成る、請求項５の遠隔検査システム。

【請求項7】

前記球体要素はコントラストの高い色である、請求項６の遠隔検査システム。

【請求項8】

前記ビデオカメラは前記作業空間の上部またはその近傍に配置されている、請求項５の遠隔検査システム。

【請求項9】

前記電子記憶媒体および前記処理装置は計算装置の要素を構成する、請求項５の遠隔検査システム。

【請求項10】

前記計算装置はデスクトップコンピュータまたはノートパソコンより成る、請求項９の遠隔検査システム。

【請求項11】

前記計算装置は携帯型計算装置より成る、請求項９の遠隔検査システム。

【請求項12】

前記遠隔操作ビークルを水で満たされた前記原子炉容器に沈めるステップをさらに含む、請求項１の方法。

【請求項13】

前記境界構造物は前記原子炉容器の壁より成る、請求項１の方法。

【請求項14】

前記特徴物は前記壁の垂直接合部より成る、請求項１３の方法。

【請求項15】

前記境界構造物は前記原子炉容器の床より成る、請求項１の方法。

【請求項16】

前記特徴物は前記床の開口より成る、請求項１５の方法。

【請求項17】

前記遠隔操作ビークルはアンビリカルケーブルを介して接続システムに接続されており、当該アンビリカルケーブルは当該接続システムと前記遠隔操作ビークルとの間でデータを通信するように構成されたケーブルを含む、請求項１の方法。

【請求項18】

前記遠隔操作ビークルは無線で制御システムに接続されている、請求項１の方法。

【請求項19】

前記境界構造物は前記原子炉容器の壁より成る、請求項５の遠隔検査システム。

【請求項20】

前記特徴物は前記壁の垂直接合部より成る、請求項１９の遠隔検査システム。

【請求項21】

前記境界構造物は前記原子炉容器の床より成る、請求項５の遠隔検査システム。

【請求項22】

前記特徴物は前記床の開口より成る、請求項２１の遠隔検査システム。

【請求項23】

前記遠隔操作ビークルはアンビリカルケーブルを介して接続システムに接続されており、当該アンビリカルケーブルは当該接続システムと前記遠隔操作ビークルとの間でデータを通信するように構成されたケーブルを含む、請求項５の遠隔検査システム。

【請求項24】

前記遠隔操作ビークルは無線で制御システムに接続されている、請求項５の遠隔検査システム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、米国特許法第１１９条（ｅ）の下で、参照により本願に組み込まれる２０１７年７月２７日出願の米国仮特許出願第６２／５３７，５７１号に基づく優先権を主張する。

【0002】

本発明は、作業空間内の遠隔操作ビークルの位置を特定する方法に関する。本発明はまた、かかる方法を用いた遠隔検査システムに関する。

【背景技術】

【0003】

遠隔操作ビークル（ＲＯＶ）は、（さまざまな理由で）人が容易にアクセスできないかアクセス不能な区域および／または環境で種々の作業（例えば修理や検査など）を行うために常用されている。そのような用途／環境の一例として検査員にとって致死的な原子炉容器内の検査領域があるが、そこは最新の電子機器の多くが瞬時またはごく短期間に破壊される領域でもある。

【0004】

原子炉容器を安全かつ綿密に検査するには、そうした環境で使用するＲＯＶの位置や動きを監視する必要がある。そのような環境や過酷な環境（例えば宇宙や深海）でＲＯＶの位置を適確に特定し追跡することができる低コストの解決策は現存しない。

【0005】

ＲＯＶに取り付けたさまざまなセンサを用いて位置を特定する方法は多々あるが、原子炉内には放射線が存在するためそのような方法は利用できない。ＲＯＶへのセンサ取り付けを要しない方法が幾つかあるが、これらは通常レーザーや他の高価な機器を用いる必要がある。したがって、作業空間内の遠隔操作ビークルの位置を特定する方法およびかかる方法を用いた遠隔検査システムには改良の余地がある。

【発明の概要】

【0006】

本発明の一実施態様に基づいて、３次元作業空間内の遠隔操作ビークルの位置を特定する方法を提供する。この方法は、ビデオカメラから当該作業空間のビデオ映像を受け取るステップと、当該ビデオ映像を処理して、当該作業空間の中またはその近傍の既知の物理的構造体の境界構造物および特徴物を特定するステップと、当該特徴物および当該境界構造物と当該既知の物理的構造体との間の相関関係を求めるステップと、当該相関関係を用いて、当該カメラからの当該ビデオ映像を当該既知の物理的構造体に照らして校正するステップと、当該校正されたビデオ映像中における当該遠隔操作ビークル上の多数の基準目印の位置を特定するステップと、当該校正されたビデオ映像中における当該多数の基準目印の位置を用いて、当該作業空間内の当該遠隔操作ビークルの３次元的位置を特定するステップを含む。

【0007】

当該境界構造物および当該特徴物と当該既知の物理的構造体との間の相関関係を求めるステップは、当該既知の物理的構造体の既知の寸法情報に基づいて３次元座標フレームワークを構築することを含んでよい。

【0008】

当該校正されたビデオ映像中における当該遠隔操作ビークル上の多数の基準目印の位置を特定するステップは、少なくとも３つの別個の基準目印の位置を特定することを含んでよい。

【0009】

当該少なくとも３つの別個の基準目印の位置を特定するステップは、少なくとも３つの球体要素の位置を特定することを含んでよい。

【0010】

当該校正されたビデオ映像中における当該遠隔操作ビークル上の多数の基準目印の位置を特定するステップは、少なくとも２つの別個の基準目印の位置を特定することを含んでよい。

【0011】

本発明の別の実施態様に基づいて、遠隔検査システムを提供する。当該遠隔検査システムは、３次元作業空間の中で作動可能であり、多数の基準目印を付けた遠隔操作ビークルと、当該作業空間の境界またはその近傍に配置され、当該作業空間の中またはその近傍の境界構造物および特徴物の画像を捕捉するように配置され構成されたビデオカメラと、当該境界構造物および当該特徴物の詳細な寸法を記憶する電子記憶媒体と、当該カメラおよび当該電子記憶媒体の両方と電気通信関係にある処理装置とを具備し、当該処理装置は、当該ビデオカメラから当該作業空間のビデオ映像を受け取り、当該ビデオ映像を処理して当該特徴物および当該境界構造物を特定し、当該特徴物および当該境界構造物と既知の物理的構造体との間の相関関係を求め、当該相関関係を用いて、当該カメラからの当該ビデオ映像を当該既知の物理的構造体に照らして校正し、当該校正されたビデオ映像中における当該遠隔操作ビークルに付けた多数の基準目印の位置を特定し、当該校正されたビデオ映像中における当該多数の基準目印の位置を用いて、当該作業空間内の当該遠隔操作ビークルの３次元的位置を特定することを特徴とする。

【0012】

当該多数の基準目印は、複数の球体要素より成るものでよい。当該球体要素は、コントラストの高い色にすることができる。

【0013】

当該作業空間は、原子炉容器の内部を含んでよい。

【0014】

当該ビデオカメラは、当該作業空間の上部またはその近傍に配置することができる。

【0015】

当該電子記憶媒体および当該処理装置は、計算装置の要素を構成してもよい。当該計算装置は、デスクトップコンピュータまたはノートパソコンより成るものでよい。当該計算装置は、携帯型計算装置より成るものでよい。

【0016】

本発明の上記および他の目的、特徴および性質、関連する構造要素の操作方法および機能、部品の組み合わせ、ならびに製造の経済性は、いずれも本明細書の一部を構成する添付図面を参照して以下の説明および添付の請求項を読めばより明白になるであろう。さまざまな図面の中で使用している同じ参照符号は、対応する構成要素を指している。ただし、添付図面はもっぱら例示および解説のためのものであり、本発明の範囲を限定するものではないことを明確に理解されたい。

【図面の簡単な説明】

【0017】

本発明の詳細を、好ましい実施態様を例にとり、添付の図面を参照して以下に説明する。

【0018】

【図1】本発明の一実施例に基づく遠隔検査システムの概略図である。

【0019】

【図2】本発明の一実施例に基づく、図１に示すような遠隔検査システムのカメラから送られるビデオ映像のスクリーンショットの一例である。

【0020】

【図3】本発明の一実施例に基づく、作業空間内の遠隔操作ビークルの位置を特定する方法の一般的な手順である。

【発明を実施するための形態】

【0021】

以下において、本発明を例示する添付図面を参照しながら、本発明をより詳細に説明する。ただし、本発明は多くの異なる形態で実施することができ、本願で示す例に限定されると解釈するべきではない。これらの例はむしろ、本発明をより詳細かつ完全に開示し、本発明の範囲を十分に当業者に伝えるために提供するものである。同じ参照番号は、本願を通して同じ構成要素を指している。

【0022】

本願で使用する「ａ」、「ａｎ」および「ｔｈｅ」に先導される単数形は、文脈からそうでないことが明らかでない限り、複数形をも包含する。本願で、２つ以上の部分または構成要素が「結合される」と述べる場合、連係が発生する限りそれらの部分が直接的にまたは間接的に（すなわち１つ以上の中間部分または構成要素を介して）連結されることまたは両者が一体的に動作することを意味する。本願で「直接結合される」と述べる場合、２つの要素が互いに直接接触することを意味する。本願で「固定的に結合される」または「固定される」と述べる場合、２つの構成要素が、相互の相対的な向きが一定に保たれて動くように結合されることを意味する。

【0023】

非限定的な例として、本願で使用する最上部、最下部、左、右、上方、下方、前、後ろ、およびそれらの派生語などの方向性を示唆する語句は、図面に示す要素の方向に関するものであり、特段の記載がない限り、本願の請求項の範囲を限定するものではない。本願で用いる用語「多数」は、１または１より大きい整数（すなわち複数）を意味する。

【0024】

図１は、水で満たされた原子炉容器１２の内部に配置された、本発明の一実施例に基づく遠隔検査システム１０の概略図である。遠隔検査システム１０は、総体的に参照番号１６で示す３次元作業空間（例えば水で満たされた原子炉容器１２の内部）で作動可能な遠隔操作ビークル（ＲＯＶ）１４を含む。本願で使用する用語「作業空間」は、ＲＯＶの操作が可能な３次元空間を指すために使用する。図１に示す実施例において、ＲＯＶ１４は、このＲＯＶ１４にデータ／制御信号を送信したりＲＯＶ１４からデータ／ビデオ画像を受信したりするための多数の通信ケーブルを含むアンビリカルケーブル１８を介して遠隔制御システム（図示せず）に接続された遠隔操作潜水ビークルである。本発明の範囲から逸脱せずに、有線または無線で操作可能な他のＲＯＶ（非限定的な例として飛行ドローン）を使用することができる。

【0025】

ＲＯＶ１４には、多数の基準目印２０が付いている（図１の実施態様はそのうちの３つを示す）。基準目印２０の位置および間隔（例えば図２のｄ_１およびｄ_２）は、基準目印２０によりＲＯＶ１４の１つ以上の配向および／または角度を突き止められるように予め定められている。本発明の一実施例では、ゴルフボール程度の大きさの球体要素を使用している。そのような球体の形状／サイズは、（距離が一定であれば）視角にかかわらず一定に保たれる。そのような目印２０は、視認性を高めるためにコントラストの高い色（非限定的な例として蛍光性の橙色）であるのが好ましい。また、本発明の範囲から逸脱せずに、他の数量および／または形状（非限定的な例として円盤、部分球体）の基準目印を用いてもよい。

【0026】

引き続き図１を参照して、遠隔検査システム１０はさらに、ビデオカメラ２２、処理装置２４および適当な電子記憶媒体２６を含むが、これらは電気通信関係にあり、当該電子記憶媒体は、処理装置２４と一体化されているかまたは分離している。ビデオカメラ２２は、作業空間１６の境界またはその近傍に位置して、有線または無線手段によって作業空間１６のビデオ画像を提供するように構成されている。作業空間１６の中またはその近傍には、ＲＯＶ１４とともに、境界構造物（例えば壁３０と床３４）があり、そのような境界構造物には特徴物（例えば壁３０の垂直接合部３２および床３４の開口３６）がある。図２は、本発明の一実施例に基づく、カメラ２２が撮影したビデオ映像に含まれる画像２８の一例である。図１の実施例において、ビデオカメラ２２は作業空間１６の上部またはその近傍に配置されており、要求に応じてパンおよびズーム撮影できる構成であるが、本発明の範囲から逸脱せずに、他の機能を有する他のカメラによって位置を特定することができる。

【0027】

処理装置２４は、データ（例えばソフトウェアルーチンおよび／またはそのようなルーチンが使用する情報）を記憶、読出し、実行および処理することができる任意適当なプログラム可能アナログおよび／またはデジタル装置（付属する記憶装置の部品または部分を含む）でよい。処理装置の非限定的な例として、コンピュータ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、複合プログラマブルロジックデバイス（ＣＰＬＤ）、プログラマブルシステムオンチップ（ＰＳＯＣ）、特定用途向け集積回路（ＡＳＩＣ）、マイクロプロセッサ、マイクロコントローラ、プログラマブルロジックコントローラ、またはその他の任意適当な処理デバイスまたは装置が挙げられる。

【0028】

電子記憶媒体２６は、さまざまな種類の内部および／または外部記憶媒体のうちの任意の１つ以上のものでよく、非限定的な例として、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＦＬＡＳＨ、ならびにコンピュータの内部記憶領域のような様式でデータおよびプログラムコードを記憶する他の同様な記憶レジスタ（すなわち非一時的機械可読媒体）が挙げられ、揮発性メモリまたは不揮発性メモリでもよい。電子記憶媒体２６は、境界構造物および特徴物の詳細な寸法（例えば垂直接合部３２の間隔、開口３６の直径、開口３６の間隔など）を記録する。電子記憶媒体２６は、処理装置２４と一体の型式のものでもよい。本発明の実施例において、処理装置２４および電子記憶媒体２６は、非限定的に、デスクトップコンピュータ、ノートパソコン、または携帯型計算装置（非限定的な例としてタブレットコンピュータまたはスマートフォン）などの計算装置の要素を構成する。

【0029】

本発明の一実施例に基づく遠隔検査システム１０の基本要素を説明したが、次に、作業空間１６内のＲＯＶ１４の３次元位置を特定する方法１００（例えば処理装置２４によって実施）を図３を参照して説明する。この方法１００は、ビデオカメラ２２から作業空間１６のビデオ映像を受け取るステップ１０２から始まる。次に、ステップ１０４に示すように、ビデオ映像を処理して、作業空間１６の中またはその近傍の境界構造物３０、３４および境界構造物に含まれる特徴物３２、３６を特定する。

【0030】

ステップ１０４で作業空間の中またはその近傍の境界構造物および特徴物を特定した後、その時点に先立って電子記憶媒体２６に保存されていた既知の物理的構造体の寸法データを用いることにより、ステップ１０６に示すように、ビデオ映像で特定された境界構造物および特徴物と既知の物理的構造体との間の相関関係を求める。本発明の一実施例において、そのような相関関係は、既知の物理的構造体の既知の寸法情報と、そのような構造体がビデオ映像中でどのように見えるかに基づき、３次元座標フレームワークを構築することによって決定する。次のステップ１０８では、この相関関係を用いて、ビデオカメラ２２からのビデオ映像を既知の物理的構造体に照らして校正する。

【0031】

ステップ１０２～１０８において、作業空間１６を認識しおおむね３次元的にマッピングした後、ステップ１１０において、校正されたビデオ映像中におけるＲＯＶ１４に付けた多数の基準目印２０の３次元位置を特定する。最後にステップ１１２において、校正されたビデオ映像中における多数の基準目印２０の位置を用いて、作業空間１６内のＲＯＶ１４の位置ならびに当該ＲＯＶの配向／傾きを求める。一般的に、作業位置を適確に特定するには、ＲＯＶのｘ、ｙ、ｚ位置および偏揺れ角を決定することが望ましい。これらのパラメータは、少なくとも３つの目印が同時に見えていれば一意的に求めることができる。代替策として、前回の状態に関する情報を用いてＲＯＶの「先端」部を指定できる場合は、２つの目印が見えていれば十分である。

【0032】

本発明の特定の実施態様について詳しく説明してきたが、当業者は、本開示書全体の教示するところに照らして、これら詳述した実施態様に対する種々の変更および代替への展開が可能である。したがって、ここに開示した特定の配置構成は説明目的だけのものであり、本発明の範囲を何ら制約せず、本発明の範囲は添付の特許請求の範囲に記載の全範囲およびその全ての均等物を包含する。

【0033】

本願の請求項において、カッコで囲われた参照符号は請求項を制約するものと解釈するべきではない。「成る」または「含む」という用語は、請求項に記載されていない要素またはステップの存在を排除するものではない。複数の手段を列挙した装置の請求項において、それらの手段のうちのいくつかは、同じ１つのハードウェア項目によって具現化されることがある。或る要素が「ａ」または「ａｎ」という語に先導される場合、かかる要素が複数存在することを排除するものではない。複数の手段を列挙した装置の請求項において、それらの手段のうちのいくつかは、同じ１つのハードウェア項目によって具現化されることがある。いくつかの要素が互いに異なる従属請求項で言及されているという事実は、それらの要素を組み合わせて使用できないことを示すものではない。

【図1】

【図2】

【図3】