【実施例1】
【0011】
図1から
図16を用いて、装置を用いた確認方法の概要について説明する。
【0012】
図1は、本実施例1における検査装置および適用対象となる原子炉の全体構成を概略的に示す図である。原子炉1には、シュラウド2、上部格子板3、炉心支持板4、シュラウドサポート5等の構造物があり、PLR配管6等の配管が接続されている。また、原子炉1の上部には、作業スペースであるオペレーションフロア7があり、炉心直上には燃料交換台車8が設置されている。原子炉1内の目視検査を実施する場合、水中検査装置9を投入し、燃料交換台車8上の検査員14が表示装置12で水中検査装置9の位置を確認しながら、コントローラ13によって操作する。水中検査装置9は制御装置11によって制御されており、ケーブル10を介して接続されている。表示装置12およびコントローラ13は制御装置11に接続されている。
【0013】
図2は、本実施例における制御装置11の構成を概略的に示す図である。水中検査装置9に搭載された撮像機15で取得した画像は、画像取得部16によって制御装置11に取り込まれる。取得画像は線分抽出処理部17に送られ、特定の判定により画像内の線分領域が抽出される。さらに、特徴点算出処理部18において、線分の交点が特徴点として抽出される。位置算出処理部19において、画像から抽出した複数の特徴点および第1記憶部21に格納されている周辺構造物の位置情報を用いて撮像機15の位置を算出する。算出された位置情報は、表示装置12において表示、または、第2記憶部24に格納される。また、マッピング処理部20において、位置算出処理部19で算出した撮像機位置および画像内の特徴点を用いて、第1記憶部21に格納されている周辺構造物の位置情報を追加更新する。一方で、センサ22において取得される検査データは、検査データ取得部23に送られ、位置算出処理部19において算出された位置情報とともに、表示装置12に表示、または、第2記憶部24に格納される。
【0014】
図3は、本実施例の検査装置における各機能の詳細を示すフロー図である。点検工程開始ステップS101において点検が開始されると、ロボット移動ステップS102において、位置参照構造物の配置箇所に向けてロボットの移動が開始される。基準位置静止ステップS103において、位置算出の基準となる位置参照構造物の周辺にロボットが静止されると、画像取得ステップS104において、ロボットに搭載された撮像機15での画像取得が実施される。取得された画像は、複数特徴点選択ステップS105において特徴点が抽出される。ロボット位置算出ステップS106において、複数特徴点選択ステップS105で抽出された複数の特徴点の撮像機座標と、特徴点の世界座標から、撮像機15の世界座標での位置が算出される。周辺特徴点抽出ステップS107において、撮像機15の世界座標と、取得画像から新たに抽出した特徴点から、周辺特徴点の世界座標が算出される。ロボット位置判定ステップS108においては、ロボット位置が点検を実施する場所となっているか否かが判定され、点検する場所となっている場合には点検用データ取得ステップS109に進み、センサ22によって各種点検用データが取得され、点検する場所でない場合には、ロボット移動ステップS111に進み、ロボットの移動が継続される。点検用データ取得ステップS109で点検用データの取得が完了すると、点検工程判定ステップS110に進み、全ての点検工程が完了したか否かが判定される。点検が完了した場合には、ロボット回収ステップS113に進み、ロボットが燃料交換台車8上に回収される。点検が完了していない場合には、ロボット移動ステップS111に進み、ロボットの移動が継続される。ロボット移動ステップS111で、ロボットの移動が再度開始され、任意位置静止ステップS112においてロボットが静止される。ロボット静止後、工程は画像取得ステップS104に進み、以降、ロボット位置算出ステップ、周辺特徴点位置算出ステップ、点検用データ取得ステップが、全点検工程が完了するまで繰り返される。点検が完了し、ロボット回収ステップS113においてロボットが回収されると、工程は点検完了ステップS114に進み、点検が完了する。
【0015】
以下、各ステップにおける詳細について個別に説明する。
【0016】
まず、
図4から
図5を用いて、撮像機15による画像取得、および、特徴点の撮像機座標算出の詳細について説明する。
図4は、複数の撮像機を用いて位置を算出する方法について説明するための装置を概略的に示す図であり、撮像機における特徴点の結像関係を示したものである。空間特徴点27aは、左右2台の撮像機15において、レンズ25を介して光学素子26上に画像上特徴点27Aとして結像される。撮像機15における座標軸は、撮像機配列方向をx軸、撮像機配列に直交する方向をy軸、撮像機による撮像方向をz軸とする。
図5は、複数の撮像機を用いて位置を算出する方法について説明するための撮像画像を概略的に示す図であり、左右2台の撮像機15における撮像画像を示したものである。左撮像機撮像画像28L、右撮像機撮像画像28Rに、それぞれ画像上特徴点27Aが撮像されている。撮像機座標の原点を、左撮像機のレンズ中心位置とした場合、空間特徴点27aの撮像機座標における座標(X,Y,Z)は、次の式(1)から式(3)で表される。
【0017】
【数1】
【0018】
【数2】
【0019】
【数3】
【0020】
ここで、Bは左右の撮像機間の距離、dx1は左撮像機撮像画像28Lの垂直中心位置から画像上特徴点27Aまでの距離、dx2は右撮像機撮像画像28Rの垂直中心位置から画像上特徴点27Aまでの距離、dyは左撮像機撮像画像28Lおよび右撮像機撮像画像28Rの水平中心位置から画像上特徴点27Aまでの距離、Lはレンズ25の焦点距離を表している。複数特徴点選択ステップS105では、3点以上の空間特徴点27aが選択され、それぞれ撮像機座標における座標が算出される。なお、空間特徴点27aは、後述する格子形状の交点のように、一意に空間上の位置が定められており、左右2台の撮像機で同一の点として画像中に捉えられるものを指す。特徴点は格子形状の交点に限らず、構造物形状の角部のような直線が交差する点や、構造物に描かれた点、円形の中心点など、一意に空間上の位置が定められる点であれば良い。
【0021】
次に、ロボット位置算出ステップS106における処理の詳細について説明する。撮像機15の世界座標の位置は、世界座標が予め既知の空間特徴点27aを3点以上用いて算出される。空間特徴点27aの3点の世界座標を、それぞれ(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)とする。また、空間特徴点27aの3点を撮像機15で撮影した際の撮像機座標を、それぞれ(X1,Y1,Z1)、(X2,Y2,Z2)、(X3,Y3,Z3)とする。このときの世界座標と撮像機座標の変換は、以下の行列式(4)から(6)で表される。
【0022】
【数4】
【0023】
【数5】
【0024】
【数6】
【0025】
ここで、Rは回転行列、Tは平行移動行列である。φはロール回転(z軸周り回転)、θはピッチ回転(y軸周り回転)、ψはヨー回転(x軸周り回転)、txはx軸方向移動、tyはy軸方向移動、tzはz軸方向移動を表している。撮像機15の世界座標での位置は、平行移動行列を用いて(tx,ty,tz)で表される。なお、3点以上であるn点の特徴点から撮像機位置を求める場合には、以下の式で表される行列Aにおいて、各行列成分の二乗和が最小となるようにする。
【0026】
【数7】
【0027】
以上の方法により、撮像機15の世界座標での位置が求まる。次に、周辺特徴点抽出ステップS107における処理の詳細について説明する。撮像機15の位置を求めた後、撮像画像上で新たに周辺の特徴点を選択する。この特徴点は、世界座標が予め既知である必要はない。左右撮像画像上で選択された特徴点は、式(1)から式(3)を用いて、撮像機座標(X4,Y4,Z4)が求められる。その後、撮像機座標、および、式(7)で示した行列式を用いて、特徴点の世界座標(x4,y4,z4)は以下の式(8)で求められる。
【0028】
【数8】
【0029】
以上の方法により、周辺特徴点の世界座標での位置が求まる。世界座標が求められた特徴点は、第1記憶部21に格納され、ロボット移動ステップS111、および、任意位置静止ステップS112を経て、撮像機が移動した後の状態で画像を取得し、複数特徴点選択ステップS105において、空間特徴点27aを選択する際に、世界座標が予め既知の空間特徴点27aとして利用する。
【0030】
次に、
図6から
図9を用いて、本発明の提案である仮想特徴点を用いない場合において、ロボット移動ステップS111、および、任意位置静止ステップS112を経て、画像取得ステップS104から周辺特徴点抽出ステップS107を繰り返す場合の詳細を説明する。
図6は、撮像機が移動する前の位置算出について説明するための装置および参照構造物について概略的に示す図であり、撮像機15が移動する前の装置配置外観を示している。空間特徴点27a、27b、27cは、世界座標が既知の空間特徴点であり、左右それぞれの撮像機15の撮像領域29の重なり領域に位置している。
図7は、撮像機が移動する前の位置算出について説明するための撮像画像を概略的に示す図であり、左右2台の撮像機15における撮像画像を示したものである。左撮像機撮像画像28L、右撮像機撮像画像28Rにおいて撮像されている画像上特徴点27A、27B、27Cを用いて、式(1)から式(6)によって撮像機15の空間座標上の位置を求める。その後、左撮像機撮像画像28L、右撮像機撮像画像28Rにおいてそれぞれ画像上特徴点27D、27Eを選択し、式(1)から式(3)、式(7)によって、それまで未知であった空間特徴点27d、27eの世界座標を求める。その後、撮像機15は、
図6のy軸方向に移動する。
【0031】
図8は、撮像機が移動した後の位置算出について説明するための装置および参照構造物について概略的に示す図であり、撮像機15が移動した後の装置配置外観を示している。撮像機15の撮像領域29の重なり領域に、世界座標が既知の空間特徴点27c、および、移動前に世界座標を求めた空間特徴点27d、27eが含まれるように、撮像機15の移動距離は調整される。
図9は、撮像機が移動した後の位置算出について説明するための撮像画像を概略的に示す図であり、左右2台の撮像機15における撮像画像を示したものである。撮像機15の移動前と同様に、左撮像機撮像画像28L、右撮像機撮像画像28Rにおいて撮像されている画像上特徴点27C、27D、27Eを用いて、式(1)から式(6)によって撮像機15の移動後の空間座標上の位置を求める。その後、左撮像機撮像画像28L、右撮像機撮像画像28Rにおいてそれぞれ画像上特徴点27F、27G、27Hを選択し、式(1)から式(3)、式(7)によって空間特徴点27f、27g、27hの世界座標を求める。以降、この手順を繰り返すことで、撮像機位置、および、周辺構造物の特徴点座標を交互に算出し、点検終了までのロボット位置を逐次算出する。
【0032】
図10から
図12を用いて、本発明の提案である仮想特徴点の求め方について、その詳細を説明する。
図10は、従来手法により撮像画像から抽出可能な特徴点を示す図であるであり、本発明の提案である仮想特徴点を用いない場合の抽出可能な特徴点を示すものである。規則的な格子形状をもつ参照構造物の撮像画像において、
図10において黒丸で示した撮像画像28内の格子の交点を特徴点として抽出可能である。なお、交点の抽出方法として、画像処理による抽出が可能である。例えば、取得した画像において、二値化処理によって、画像中で輝度の異なる格子の複数の直線部分を抽出し、細線化処理によって抽出直線領域の中心部分を抽出し、抽出した直線中心領域に近似直線を当てはめ、近似直線の交点を算出することによって、格子交点を特徴点として抽出できる。なお、格子交点の抽出方法はこの方法に限らず、同様の効果が得られる別の画像処理手段を用いて処理を実施しても良い。また、格子交点の抽出方法は、画像処理による自動抽出に限らず、例えば人の目視と手動での画像位置選択によって交点を抽出しても良い。さらに、特徴点の抽出処理を実施する前に、視認性向上処理、または、画像補正処理を必要に応じて適用しても良い。視認性向上処理としては、例えば、コントラスト補正処理などによる輝度分布の補正、フォーカス補正処理などによる焦点ぼけの補正などがある。画像補正処理としては、レンズひずみ補正処理などによる画像ひずみの補正がある。ここでは、各処理の詳細については割愛する。
【0033】
図11は、提案手法により撮像画像から仮想延長線を用いて抽出可能な特徴点を示す図であり、格子直線の仮想延長線を用いた場合に抽出可能な特徴点、および、仮想特徴点を示すものである。参照構造物の格子形状が直線で構成されている場合には、画像上に撮像されている直線の延長線上にも格子の交点が存在する。撮像画像28上の直線成分を延長し、
図11において長破線で示している仮想延長線31を仮定することで、その交点である仮想特徴点30を抽出できる。
【0034】
図12は、提案手法により撮像画像から繰り返し特徴形状延長線を用いて抽出可能な特徴点を示す図であり、格子直線の仮想延長線、および、繰り返し特徴形状の延長線を用いた場合に抽出可能な特徴点、および、仮想特徴点を示したものである。参照構造物の格子形状が等間隔に構成されている場合には、特徴点として抽出可能な複数の格子交点について、その複数の格子交点を通る直線の延長線上にも格子の交点が存在する。撮像画像28上の格子交点を通る直線を延長し、
図12において短破線で示している繰り返し特徴形状延長線32を仮定することで、仮想延長線31同士の交点および仮想延長線31と繰り返し特徴形状延長線32の交点を含む仮想特徴点30を抽出できる。以上の方法により、撮像画像の範囲外にある仮想特徴点を抽出し、位置算出に用いる特徴点として利用することが可能である。
【0035】
次に、
図13から
図16を用いて、本発明の提案である仮想特徴点を用いた場合において、ロボット移動ステップS111、および、任意位置静止ステップS112を経て、画像取得ステップS104から周辺特徴点抽出ステップS107を繰り返す場合の詳細を説明する。
図13は、撮像機が移動する前の位置算出について提案手法を説明するための装置および参照構造物について概略的に示す図であり、撮像機15が移動する前の装置配置外観を示している。空間特徴点27a、27b、27cは、世界座標が既知の空間特徴点であり、左右それぞれの撮像機15の撮像領域29の重なり領域に位置している。
【0036】
図14は、撮像機が移動する前の位置算出について提案手法を説明するための撮像画像を概略的に示す図であり、左右2台の撮像機15における撮像画像を示したものである。左撮像機撮像画像28L、右撮像機撮像画像28Rにおいて撮像されている画像上特徴点27A、27B、27Cを用いて、式(1)から式(6)によって撮像機15の空間座標上の位置を求める。その後、左撮像機撮像画像28L、右撮像機撮像画像28Rにおいて、仮想特徴点の抽出手法を用い、それぞれ画像上特徴点27D、27E、27Fを選択し、式(1)から式(3)、式(7)によって、それまで未知であった空間特徴点27d、27e、27fの世界座標を求める。その後、撮像機15は、
図13のy軸方向に移動する。
【0037】
図15は、撮像機が移動した後の位置算出について提案手法を説明するための装置および参照構造物について概略的に示す図であり、撮像機15が移動した後の装置配置外観を示している。撮像機15の撮像画像から座標が求められる範囲に、移動前に世界座標を求めた空間特徴点27d、27e、27fが含まれるように、撮像機15の移動距離は調整される。
【0038】
図16は、撮像機が移動した後の位置算出について提案手法を説明するための撮像画像を概略的に示す図であり、左右2台の撮像機15における撮像画像を示したものである。左撮像機撮像画像28L、右撮像機撮像画像28Rにおいて撮像画像から座標が求められる画像上特徴点27D、27E、27Fを用いて、式(1)から式(6)によって撮像機15の移動後の空間座標上の位置を求める。その後、左撮像機撮像画像28L、右撮像機撮像画像28Rにおいてそれぞれ画像上特徴点27G、27H、27Iを選択し、式(1)から式(3)、式(7)によって空間特徴点27g、27h、27iの世界座標を求める。以降、この手順を繰り返すことで、撮像機位置、および、周辺構造物の特徴点座標を交互に算出し、点検終了までのロボット位置を逐次算出する。
図13から
図16に示した、仮想特徴点を用いた位置算出においては、
図6から
図9において示した、仮想特徴点を用いない場合に比べ、撮像機位置を算出するステップ間の撮像機移動距離が大きくなり、点検終了までのロボット位置の算出回数が減少する。一方で、撮像機位置、および、周辺構造物の特徴点座標の算出においては、撮像機の画素サイズに起因する誤差が発生する。この誤差は、ロボットの位置算出計算を実施するごとに発生し、ロボットの移動と計算を繰り返すことによって、計算回数に比例して蓄積する。そのため、計算回数が減少することによって、誤差の蓄積回数も減少し、結果として高精度な位置検出が達成される。
【0039】
以上の方法によって、点検工程におけるロボット自己位置算出を高精度に実施することが可能となる。
【0040】
なお、本実施例では、世界座標が既知の特徴点と、周辺特徴点抽出ステップS107において世界座標を算出する特徴点について、同一の格子形状の上に位置している例を図示して説明したが、周辺特徴点抽出ステップS107において世界座標を算出する特徴点は、世界座標が既知の特徴点と同一の格子形状上にある必要はなく、また、格子形状の格子間隔、格子向きや格子角度が同一となっていなくても良い。さらに、繰り返し特徴形状延長線32を当てはめる繰り返し構造は、周期的な特徴形状をもつものであれば格子形状に限らず、例えば、周期的に配列した円形形状の中心点や、円周の接線など、これに類するものを用いても良い。