(58)【調査した分野】(Int.Cl.,DB名)
前記位置変化情報は、前記重ね合わせ画像における前記画像の前記特徴量を有する画素あるいは前記画素値の前記画像における位置の時間経過に伴う軌跡に基づいて生成されることを特徴とする請求項1に記載の補正情報生成装置。
前記対応情報生成部は、前記対応情報として前記画像中の画素の位置と前記検査対象の回転角度の対応を示す対応テーブルを生成することを特徴とする請求項1に記載の補正情報生成装置。
【発明を実施するための最良の形態】
【0014】
以下、図面を参照して本発明の実施の形態を説明する。
【0015】
(システム構成)
図1は、本実施の形態に係わるジェットエンジン(以下、単にエンジンという)の検査の様子を示す斜視図である。
図2は、本実施の形態に係わる内視鏡システムの構成を示す構成図である。
【0016】
内視鏡システム1は、ブレード検査システムであり、ブレード画像取得用の複数のボアスコープ11Aと、回転角度検出用の1つのボアスコープ11Bと、検査画像生成装置としてのパーソナルコンピュータ(以下、PCという)12とを含んで構成される。複数のボアスコープ11A、11BとPC12とは、信号ケーブル(以下、ケーブルという)13を介して接続されている。各ボアスコープ11A、11Bは、検査対象であるブレードBを複数有するエンジンEに挿入される挿入部11aと、挿入部11aの基端部に設けられた把持部11bとを有している。
【0017】
本実施の形態では、エンジンEは、ジェットエンジンであり、吸気側から排気側に向かって、吸気部E1、コンプレッサ部E2、燃焼部(図示せず)、及び排気部(図視せず)を有している。本実施の形態では、吸気部E1の後ろ側に設けられたコンプレッサ部E2内の複数のコンプレッサブレードであるロータブレード(以下、単にブレードという)Bが、内視鏡システム1により検査される場合について説明する。また、エンジンEのギアボックス(図示せず)には、ターニングツールTが接続され、複数のブレードBを、回転軸AR回りに回転させることができるようになっている。
また、ターニングツールTとPC12とは、ケーブル14により接続されており、PC12からの指示に応じて、回転軸ARを回転させるようにターニングツールTは制御される。
【0018】
なお、ここでは、コンプレッサブレードの例を説明するが、本実施の形態のブレード検査システムによれば、タービンブレード等の他のブレードの検査も、同様に行うことができる。
【0019】
エンジンEのケーシングCは、所定の位置に複数(ここでは3つ)のアクセスポートAPを有する。各ボアスコープ11A、11Bの挿入部11aは、対応するアクセスポートAPの孔を介してケーシングC内に挿入可能で、ブレードBを観察することができるような直径と長さを有している細長い硬性鏡である。
【0020】
内視鏡である各ボアスコープ11A、11Bの挿入部11aをケーシングC内に挿入するとき、固定具Fが、挿入部11aを挿入するアクセスポートAPに取り付けられる。固定具Fは、各ボアスコープ11A、11Bの挿入部11aを、ケーシングCのアクセスポートAPの位置で支持して固定するための装置である。すなわち、固定具Fは、アクセスポートAPに取り付けることができ、かつ挿入部11aが挿通される挿通孔を有して、各ボアスコープ11A、11Bを支持することができるように構成されている。
【0021】
また、各ボアスコープ11A、11Bには、検査部位である各ブレードBを照明するための照明装置(図示せず)が設けられている。
エンジンEの回転軸ARの外周面には、複数のブレードが周方向に沿って周期的に配置されている。各アクセスポートAPに対応する一周分の複数のブレードが、1つのブレード群であり検査対象である。複数のブレード群は、ブレードの枚数が互いに異なっている。
【0022】
各ブレード群に含まれる複数のブレードBは、同一のサイズと形状を有する。すなわち、検査対象である各ブレード群は、同一形状の複数の検査部位としてのブレードBを含む。(ボアスコープの構成)
図3は、ボアスコープ11Aの構成と、ボアスコープ11Aの撮像領域を説明するための図である。
ボアスコープ11Aは、側視の内視鏡である。挿入部11aには、観察窓21が設けられている。
【0023】
観察窓21に対応して、挿入部11a内には、ミラー22a、対物光学系22b及びリレー光学系22cを含む光学部材22が配設されている。ミラー22aは、観察窓21から入射した光を反射して対物光学系22bを介してリレー光学系22cへ導くように、観察窓21の後ろ側に配設されている。
【0024】
把持部11bには、カメラ部23が設けられている。カメラ部23は、被写体像からの光を結像する撮像光学系(図示せず)と、撮像光学系によって結像された光による被写体像を光電変換する固体撮像素子であるラインセンサ23aとを有している。
カメラ部23のラインセンサ23aは、ブレードBの軸BOに略平行な方向に沿った一次元画像を取得するように配置される。カメラ部23は、ブレードBの長軸に略平行な方向(すなわち軸BOの方向)に沿って、ブレードBの全体を含む画角αの画像を取得する。
【0025】
カメラ部23から延出する信号線13aは、ケーブル13を通ってPC12に接続されている。
図4は、ボアスコープ11Bの構成と、ボアスコープ11Bの撮像領域を説明するための図である。
【0026】
ボアスコープ11Bは、側視の内視鏡である。挿入部11aには、観察窓24が設けられている。
観察窓24に対応して、挿入部11a内には、ミラー25a、対物光学系25b及びリレー光学系25cを含む光学部材25が配設されている。ミラー25aは、観察窓24から入射した光を反射して対物光学系25bを介してリレー光学系25cへ導くように、観察窓24の後ろ側に配設されている。
【0027】
把持部11bには、カメラ部26が設けられている。カメラ部26は、被写体像からの光を結像する撮像光学系(図示せず)と、撮像光学系によって結像された光による被写体像を光電変換する固体撮像素子であるラインセンサ26aとを有している。
カメラ部26のラインセンサ26aは、ブレードBの軸BOに略直交する方向に沿った一次元画像を取得するように配置される。そして、カメラ部26は、ブレードBの長軸(すなわち軸BOの方向)に略直交する方向に沿って、少なくとも1つのブレードBの幅を含むような画角βの画像を取得する。
【0028】
ボアスコープ11Bは、各ブレードBのエッジ部BEが撮影できるように隣り合う2つのブレードBの一部が重なって撮影される位置に配置される。すなわち、カメラ部26は、ブレードBの長軸(すなわち軸BOの方向)に略直交する方向に沿って、ブレードBのエッジ部BEが常に含まれるような画角βの画像を取得する。
【0029】
カメラ部26から延出する信号線13bは、ケーブル13を通ってPC12に接続されている。
よって、各カメラ部23、26において得られた映像信号である撮像信号は、ケーブル13を介してPC12へ出力される。
【0030】
なお、各カメラ部23,26は、ブレードBの移動速度よりも十分に速い所定の周期ΔTIで画像を連続的に取得して出力する。
よって、カメラ部23は、回転可能な検査対象であるブレード群の回転方向に略直交する方向(すなわち軸BOの方向)に沿ったラインセンサ23aによるブレードBの検査対象画像を、エンジンE内に挿入されたボアスコープ11Aによりブレード群を所定の時間間隔である周期ΔTIで撮像して、複数取得する画像取得部を構成する。
【0031】
カメラ部26は、ブレード群の回転方向に沿ったラインセンサ26aによるブレードBの検査対象画像を、ラインセンサ23aにより取得される検査対象画像の取得タイミングと同期して、同じ時間間隔(周期ΔTI)でボアスコープ11Bによりブレード群を撮像して、複数取得する画像取得部を構成する。
【0032】
さらになお、ここでは、観察窓21,24を通して取得される被写体からの光は、それぞれ挿入部11a内に設けられたミラー22a,25a等の光学部材を通して、把持部11bに設けられたカメラ部23,26に導かれているが、観察窓21,24の後ろ側にそれぞれ対物光学系と共にラインセンサ23a、26aを配置してブレードBの画像を取得するようにしてもよい。
【0033】
図5は、ボアスコープ11Bのカメラ部26のラインセンサ26aにおいて得られるブレードBの画像取得領域IPAを示す図である。
上述したように、カメラ部26のラインセンサ26aは、ブレードBの軸BOに略直交する方向に沿った一次元画像を取得するが、
図5に示すように、カメラ部26の画像取得領域IPAは、一次元領域であり、画像取得領域IPAの一次元の直線方向は、矢印Aで示す各ブレードBの移動方向A1に略平行である。
【0034】
すなわち、ボアスコープ11Aのカメラ部23のラインセンサ23aは、ブレードBの軸BOに沿った一次元画像を取得するが、
図5に示すように、ボアスコープ11Bのカメラ部26の画像取得領域IPBは、一次元領域であり、画像取得領域IPBの一次元の直線方向は、矢印Aで示す各ブレードBの移動方向A1に略平行な方向である。
【0035】
図4及び
図5に示すように、画像取得領域IPAのライン画像IPAi中、ブレードBの観察窓24に近い部分は輝度値の高い画素となり、ブレードBの観察窓24から遠い部分は輝度値の低い画素となる。隣り合う2つの画素の輝度値の差が所定値以上の部分が、ブレードBのエッジ部BEに対応する。
【0036】
複数のブレードBの回転の連続性を担保するために、回転しているブレード群を撮影しているときに、このようなエッジ部を少なくとも1つ含む領域あるいは範囲に、画像取得領域IPAは設定される。
【0037】
よって、ブレード群が矢印Aで示す方向に回転すると、カメラ部23は、その回転に応じた各ブレードBの軸BOの方向に沿ったライン画像Biを出力し、PC12は、受信したライン画像Biから各ブレードBの二次元画像を生成することができる。
【0038】
また、ブレード群が矢印Aで示す方向に回転すると、カメラ部26は、その回転に応じた各ブレードBのエッジ部の位置情報を含むライン画像IPAiを出力し、PC12は、受信したライン画像IPAiから、ブレードBの回転角度情報画像(後述する)を生成することができる。
【0039】
なお、ここでは、ボアスコープ11Aと11Bは、観察窓21と24の位置、光学部材22と25の部材等において異なっているが、ボアスコープ11Bは、ラインセンサ26aがラインセンサ23aとは向きが異なるだけでボアスコープ11Aと略同じ構成であってもよい。
【0040】
(PCの構成)
図6は、PC12の構成を示すブロック図である。PC12は、制御部31、トリガー発生部32、画像記録部33、回転状態記録部34、画像再構築部35、補正テーブル記憶部36及びターニングツール駆動部37を有して構成されている。
【0041】
制御部31は、中央処理装置(以下、CPUという)、ROM及びRAMを含み、ROMに記憶された各種プログラムを実行する。各種プログラムには、後述する検査処理プログラムが含まれる。
【0042】
トリガー発生部32は、制御部31の制御の下、複数のボアスコープ11A、11Bによる同時撮影ためのトリガー信号を発生し、ケーブル13に含まれる信号線13cを介して複数のボアスコープ11A、11Bに供給するための回路である。
【0043】
画像記録部33は、制御部31の制御の下、複数のボアスコープ11Aからの画像信号を受信して、内部の記憶部33aへ記録する回路である。
回転状態記録部34は、制御部31の制御の下、ボアスコープ11Bからの画像信号を受信して、回転軸ARの回転角度を示す回転角度情報画像RS(後述する)を生成して、内部の記憶部34aへ記録する回路である。
【0044】
画像再構築部35は、制御部31の制御の下、画像記録部33に記録された複数のボアスコープ11Aからの画像信号を、回転状態記録部34に記録された回転角度情報画像RSと、後述する補正テーブルCTとに基づいて、再構築する処理を行う回路である。
【0045】
補正テーブル記憶部36は、後述する補正テーブルCTを記憶する。補正テーブルCTは、ボアスコープ11Bにおいて得られたライン画像上のエッジ部BEの画素の位置と回転軸ARの回転角度との対応を示す対応情報を格納している。
【0046】
ターニングツール駆動部37は、制御部31の制御の下、回転軸ARを回転させるために、ケーブル14を介してターニングツールTへ駆動信号を出力する回路である。
【0047】
(作用)
次に、ブレードBの検査処理について説明する。
【0048】
図7は、PC12の制御部31が実行するブレード検査処理の流れの例を示すフローチャートである。
検査者であるユーザは、エンジンE内の複数のブレード群について、検査したい複数のブレード群に対応する複数のアクセスポートAPのそれぞれに、ボアスコープ11Aを挿入し、各ブレード群の各ブレードBの画像が取得できる所定の位置に固定する。例えば、隣り合うブレードBが重ならず、各ブレードBの全体形状が撮影できる位置と向きに、各ボアスコープ11Aは挿入されて固定される。
【0049】
さらに、ユーザは、複数のアクセスポートAPの中の1つにボアスコープ11Bを挿入して、上述した画像取得領域IPAの画像が取得できる所定の位置にボアスコープ11Bを固定する。上述したように、画像取得領域IPAは、各ブレード群の回転の連続性が確保できるように、ブレードBの少なくとも一箇所のエッジ部BEが常に含まれる領域あるいは範囲に設定される。
【0050】
そして、ユーザが所定のコマンドをPC12に入力すると、PC12の制御部31が、ROMから入力されたコマンドに対応する検査処理プログラムを読み出して実行することにより、
図7のブレード検査処理が実行される。
【0051】
図7に示すように、制御部31は、補正テーブル作成処理を実行し(S1)、補正テーブル作成処理の後、ブレード検査処理を実行する(S2)。
S1の処理を説明する前に、ボアスコープ11Bにおいて得られる画像について説明する。
【0052】
図8は、画像取得領域IPAのライン画像IPAiの時間経過による変化を説明するための図である。
図8の上側には、ブレード群の一部がに示され、下側には、ボアスコープ11Bにおいて得られる画像取得領域IPAのライン画像IPAiから生成された回転角度情報画像RSが示されている。
【0053】
図8の回転角度情報画像RSの縦軸は、上から下に向かって経過する時間tに対応し、横軸は、ライン画像IPAiの各画素の位置に対応する。ここでは、ライン画像IPAiは、左端の画素P1から右端の画素Pmaxまでの複数の画素を有している。
回転角度情報画像RSは、エンジンEの回転軸ARが1回転する時間Tにおけるライン画像IPAiに含まれるエッジ部BEのエッジ位置の変化を示している。具体的には、エッジ部BEのエッジ位置は、エッジ画素としての画素EPで示されている。エッジ部BEに対応するエッジ画素である画素EPの決定は、例えば、隣接する2つの画素の画素値を比較し、画素値の差が所定値以上であるか否かによって行うことができる。
【0054】
すなわち、回転角度情報画像RSにおけるライン画像IPAiは、検出されたエッジ部BEの画素EPの位置を示す画素情報で置き換えられ、上述した回転状態記録部34は、エッジ部BEの画素EPを含むライン画像IPAiを時間tの時間軸方向に沿って重ね合わせて、
図8に示すような回転角度情報画像RSを生成し、記憶部34aに記録する。
【0055】
上述したように、ライン画像IPAiは、少なくとも1つのエッジ部BEに対応する画素EPを常に含むように、ボアスコープ11Bは設置される。さらに、各カメラ部23,26は、ブレードBの移動速度よりも十分に速い周期ΔTIで画像を連続的に取得する。よって、ブレード群が
図5において矢印Aで示す回転方向に回転すると、ライン画像IPAi上におけるエッジ部BEの画素EPの位置は、
図8に示すように、時間tの経過と共に変化する。
【0056】
図8の場合、時刻t1のときにあったエッジ部BEの画素EPは、時刻t2では、右側に移動している。時刻t1には、エッジ部BEの画素EPが一つであったが、時刻t2では、次のエッジ部BEの画素EPが含まれている。
図8では、時刻taでは、エッジ部BEの画素EPは、ライン画像IPAi中に1つ存在するが、時刻tbでは、エッジ部BEの画素EPは、ライン画像IPAi中に2つ存在する。
【0057】
すなわち、回転軸ARの回転に応じて、画像取得領域IPAにおけるエッジ部BEに対応する画素EPの位置は、
図8において実線で示すように移動する。
回転軸ARが1回転するのに掛かる時間をTとし、あるブレード群に含まれるブレードBの数をNとすると、そのブレード群に含まれるブレードBのブレード画像の出現周期である周期ΔTBは、次の式(1)で表される。
【0058】
ΔTB=T/N ・・・(1)
よって、ブレードBのエッジ部BEの出現周期も、ΔTBとなる。ΔTBに対応する回転軸ARの角度変化ΔθBは、次の式(2)で表される。
【0059】
ΔθB=360(度)/N ・・・(2)
エッジ部BEの位置は、回転軸ARの回転角度位置に対応するので、ライン画像IPAi中のエッジ部BEに対応する画素EPの位置も、回転軸ARの回転角度位置に対応する。
【0060】
図9は、ライン画像IPAi上のエッジ部BEの画素EPの位置と回転軸ARの回転角度の角度変化量Δθとの対応関係を示す補正曲線CCを示す図である。
図9の横軸は、ライン画像IPAi上のエッジ部BEの画素EPの位置に対応し、縦軸は、回転軸ARの回転角度の角度変化量Δθに対応する。補正曲線CCの情報が、補正テーブルCTとして、補正テーブル記憶部36に記憶される。なお、補正テーブルCTは、後述するように、検査処理において作成される。
【0061】
図9に示す補正曲線CCは、ボアスコープ11Bにおける、観察窓24及び光学部材25を含む光学系における収差、画像取得領域IPAの一次元直線の、ブレードBの移動方向に対する角度、などによって決定される。
【0062】
図9に示すように、回転軸ARの回転に応じて、時間tの経過と共に、エッジ部BEの画素EPの位置が画素P1から画素Pmaxの位置の間で移動したとき、隣り合うエッジ部BE間の回転軸AR回りの角度変化量Δθは、上述したΔθBである。また、上述したように、エッジ部BEの出現周期は、ΔTBである。
【0063】
よって、ライン画像IPAi上の画素EPが同じ位置に出現する周期(サイクル数)(あるいは回数を、最初の時刻t1後からカウントし、かつ各周期内におけるライン画像IPAi上の画素EPの位置に基づいて角度変化量Δθαを算出すれば、回転軸ARの回転中の時刻t1からの回転角度θを求めることができる。
【0064】
例えば、画素EPの出現回数をMとし、次の周期ΔTB内における角度変化量をΔθαとすると、回転軸ARの時刻t1からの回転角度θは、次の式(3)で表される。
θ=ΔθB×M+Δθα ・・・(3)
また、回転軸ARの時刻t1からの経過時間Ttは、周期ΔTB内における時間変化量をΔTαとすると、次の式(4)で表される。
【0065】
Tt=ΔTB×M+ΔTα ・・・(4)
以上のように、ライン画像IPAi上の画素EPの位置の情報から、回転軸ARの回転開始からの回転角度θと経過時間Ttを算出することができる。
【0066】
ところが、上述したように、回転軸ARの回転には、ギアボックスのバックラッシュ等により回転むらがある。そのため、
図8では図示していないが、エッジ部BEに対応するライン画像IPAi上の画素EPの位置の移動にも、回転軸ARの回転むらに応じてむらが生じ、得られるライン画像IPAiに含まれるブレードBの撮影範囲は、回転軸ARの回転角度と対応しない。
【0067】
そこで、ターニングツールTを用いて回転軸ARを定速回転させながら連続して撮影して得られる複数のライン画像IPAiから、ライン画像IPAi中のエッジ部BEの各画素EPの位置と、回転軸ARの軸回りの回転角との対応付ける対応テーブルである補正テーブルの作成が行われる(S1)。この対応テーブルは、回転むらのある画像信号から回転むらのない画像信号を生成するために複数のボアスコープ11Aからの画像信号を再構築するために用いられる。対応テーブルは、再構築時に、画像記録部33に記録されたブレード画像に対して再配置、削除などの補正をするために用いられるので、以下、補正テーブルという。
【0068】
(補正テーブルの作成処理)
図10は、回転角度情報画像RSにおける回転軸ARの回転むらを説明するための図である。回転軸ARの回転にむらがなければ、ライン画像IPAiに含まれるエッジ部BEに対応する画素EPの位置は、回転角度情報画像RSにおいて
図10において二点鎖線で示す曲線EPiに沿って変化する。これに対して、回転軸ARの回転にむらがある場合、ライン画像IPAiに含まれるエッジ部BEに対応する画素EPの位置は、例えば
図10において実線で示すように、変化する。
【0069】
図8は回転軸ARに回転むらがないときの回転角度情報画像RSを示しており、上述したように、回転軸ARの回転むらが無ければ、ブレードBのエッジ部BEの出現周期は上述したΔTBで一定周期となる。しかし、回転軸ARの回転にはむらがあるため、
図10に示すように、画素P1におけるエッジ部BEの出現した時刻ta1とta2間の周期ΔT1、及び画素P1におけるエッジ部BEの出現した時刻ta2とta3間の周期ΔT2は、周期ΔTBと一致しない。
【0070】
図10に示すような回転むらがあると、ボアスコープ11Aで得られる各ブレード群の画像が、全体的にあるいは部分的に、ブレードBの回転方向に沿って伸張されたり、あるいは圧縮されたりしてしまい、画像記録部33では、受信して得られる複数のブレードBの画像は、正確に生成されない。
【0071】
そこで、本実施の形態では、補正テーブルCTと回転むらのある回転角度情報画像RSとを用いて、ボアスコープ11Aにより得られたブレード画像は補正されて再構築される。
図7のS1では、この補正テーブルCTの作成が行われる。ライン画像IPAi上のエッジ部BEの画素の位置と回転軸ARの回転角度との対応を示す対応情報である補正テーブルCTは、検査対象を実際に回転させて得られたライン画像IPAiに基づいて作成される。
【0072】
図11は、補正テーブルの作成処理の流れの例を示すフローチャートである。
まず、制御部31は、ターニングツール駆動部37を制御して、ターニングツールTを駆動して回転軸ARを定速回転させて、ボアスコープ11Bから画像取得領域IPAのライン画像IPAiを周期ΔTIで取得して、回転角度情報画像RSを作成して記憶部34aに記録する回転角度情報画像作成処理を実行する(S11)。
【0073】
S11により、
図10に示すようなライン画像IPAiを積み重ねて形成された回転角度情報画像RSが得られる。回転角度情報画像RSは、回転軸ARの回転むらすなわち回転角度むらの情報を含む画像である。回転角度情報画像作成処理では、例えば、回転軸ARを所定時間回転させて、エッジ部BEに対応する画素EPの曲線が複数生成される。
【0074】
次に、制御部31は、回転角度情報画像RSに含まれる、所定の特徴点であるエッジ部BEの画素EPの点についての所定の統計処理を施して、補正曲線CLを生成する(S12)。
【0075】
制御部31は、回転角度情報画像RS中の画素EPの軌跡を、所定の画素位置を一致させて重ね合わせた画像を生成する。そして、制御部31は、所定の特徴点である画素EPの点から、平均的な点、例えば最も重なりの多かった点、を算出して求め、その求めた点から、補正曲線CLを生成する。
【0076】
図12は、所定の特徴点である画素EPの点からなる複数の曲線から、最も重なりの多かった点を求め、その求めた点の軌跡からなる補正曲線CLを示す図である。
図12に示すように、画素P1の位置を一致させた画素EPの複数の曲線(点線で示す)の最も重なりの多かった点の軌跡が、補正曲線CLとしてS12において統計処理により求められる。
【0077】
以上のように、S12において生成される重ね合わせ画像は、ライン画像IPAiの特徴量が存在する所定の画素位置(P1)を一致させて画素EPの軌跡を重ね合わせた画像であり、その特徴量は、ライン画像IPAi中のエッジを示す特徴量である。
【0078】
補正曲線CLは、
図9に示した、ライン画像IPAi上のエッジ部BEの画素EPの位置と回転軸ARの回転角度の角度変化量Δθとの対応関係を示す補正曲線CCを時間軸の向きを逆にして反転した曲線であり、ライン画像IPAi上の画素EPの位置の変化を示す位置変化情報である。
【0079】
制御部31は、S12で求めた補正曲線CLから、
図10に示すような補正テーブルCTの補正テーブルデータを生成して、補正テーブル記憶部36に記憶する補正テーブルデータ生成処理を実行する(S13)。
【0080】
以上のように、ターニングツールTを用いてエンジンEの回転軸ARを定速回転させながら、回転むらのある画素EPの複数の曲線を取得して記録し、その記録された画素EPの曲線を平均化して得られた軌跡から、定速回転状態における補正曲線CLを推定して、その補正曲線CLから補正テーブルデータが生成される。
【0081】
なお、
図12において、
図9におけるΔTBの位置は、画素P1を起点する画素EPの軌跡がライン画像IPAiの画素P1からPmaxの範囲内において移動中に、画素EPの軌跡において、次のエッジ部BEの画素EPが画素P1の位置に出現した時刻の平均時刻の位置に設定される。
【0082】
なお、ライン画像IPAiの範囲を複数の領域に分割して、分割された領域毎に、最も重なりの多かった点の軌跡を求め、求めた複数の軌跡をつなげて、補正テーブルデータを求めるようにしてもよい。
【0083】
図13は、ライン画像IPAiの範囲が複数の領域に分割された状態を示す図である。
図13に示すように、画像取得領域IPAは、画素PAとPBの2つの位置で分割され、3つの領域に分けられている。その分割された領域毎に、最も重なりの多かった点の軌跡が求められる。なお、ここでは、画像取得領域IPAは、3つの領域に分けられているが、2つあるいは4つ以上に分けてもよい。
【0084】
図14は、分割された領域毎に、重ね合わせた画素EPの複数の曲線から、平均的な点、例えば最も重なりの多かった点、の軌跡を求める方法を説明するための図である。
図14に示すように、第1の領域(P1から(PA-1)の画素の範囲)では、画素P1の位置が一致した複数の曲線(点線で示す)の最も重なりの多かった点の軌跡CL1が、統計処理により求められる。第2の領域(PAから(PB-1)の画素の範囲)では、画素PAの位置が一致した複数の曲線(点線で示す)の最も重なりの多かった点の軌跡CL2が、統計処理により求められる。第3の領域(PBからPmaxの画素の範囲)では、画素PBの位置が一致した複数の曲線(点線で示す)の最も重なりの多かった点の軌跡CL3が、統計処理により求められる。
【0085】
各領域で求められた3つの軌跡CL1,CL2,CL3を連続するように端点同士を繋いて、補正曲線CLが求められる。3つの軌跡CL1,CL2,CL3を繋げて生成された補正曲線CCから、補正テーブルデータが生成される(S13)。
【0086】
なお、
図14においても、
図9におけるΔTBの位置は、画素P1を起点する画素EPの軌跡がライン画像IPAiの画素P1からPmaxの範囲内において移動中に、画素EPの軌跡において、次のエッジ部BEの画素EPが画素P1の位置に出現した時刻の平均時刻の位置に設定される。
【0087】
以上のようにして、補正テーブル記憶部36に記憶される補正テーブルCTの補正テーブルデータが生成される。
なお、補正テーブルデータの生成方法の変形例として、上述したような統計処理を行わずに、画素EPを含まないライン画像IPAiの画像データを周期ΔTB毎に重ね合わせて、その重ね合わせた画像の各画素位置の輝度分布から補正曲線CCを求めるようにしてもよい。
【0088】
図15は、変形例に係る、補正テーブルCTの作成処理の流れの例を示すフローチャートである。
まず、制御部31は、ターニングツール駆動部37を制御して、ターニングツールTを駆動して回転軸ARを定速回転させて、ボアスコープ11Bから画像取得領域IPAのライン画像IPAiを周期ΔTI毎に取得して所定の周期ΔTB毎の周期画像を記録する周期画像記録処理を実行する(S21)。周期ΔTB毎に記録される周期画像は、周期ΔTBの範囲の画像データを含む、周期ΔTBの範囲よりも広い範囲の画像である。所定の周期ΔTBは、上述した式(1)により決定することができる。
【0089】
次に、制御部31は、所定の周期ΔTB毎の周期画像を時間tに沿って所定の周期ΔTBで分割し、分割された複数の周期画像を、周期ΔTB毎重ね合わせ、各画素位置における最大輝度の時刻から補正曲線CLを生成する(S22)。すなわち、その重ね合わせ画像は、画素値の複数の画像を所定の周期ΔTB毎に抽出して重ね合わせた画像である。そして、各画素位置における最大輝度の時刻から生成された補正曲線CLも、画素EPの平均的な時刻から生成された曲線ということができる。
【0090】
図16は、S22において、所定の周期ΔTB毎に切り出した画素データに含まれる最大輝度値に基づく補正曲線CLを生成する方法を説明するための図である。
図16に示すように、画素の位置毎の最大輝度値となる時刻の位置をつなげるようにして補正曲線CLは、生成される。
図16では、画素P1,PA,PB,Pmaxの4つの画素位置の各々における輝度分布(点線で示す)の頂点に対応する時刻の位置が最大輝度の時刻として判定されている。
【0091】
図16においても、
図9におけるΔTBの位置は、画素P1を起点する画素EPの軌跡がライン画像IPAiの範囲内において移動中に、画素EPの軌跡において、最大輝度値の画素EPが画素P1の位置に出現した時刻の平均時刻の位置に設定される。
【0092】
S22の後、補正テーブルデータ生成処理が実行される(S23)。S23の処理は、S13の処理と同じである。
よって、本変形例によっても、補正テーブル記憶部36に記憶される補正テーブルCTの補正テーブルデータを生成することができる。
【0093】
以上のように、PC12は、補正情報である補正テーブルCTを生成する補正情報生成装置である。上述したS12、S22の処理が、ラインセンサ26aにおいて取得されたライン画像IPAiを時間経過に沿って並べて、エッジ部などの画像の所定の特徴量を有する画素あるいは所定の画素値を有する画素のライン画像IPAi上の位置変化を示す位置変化情報を抽出する位置変化情報抽出部を構成する。
【0094】
そして、S12、S22の位置変化情報抽出部は、取得した複数の画像ここではライン画像IPAiを時間経過に沿って重ね合わせた重ね合わせ画像を生成し、その重ね合わせ画像から画像の特徴量を有する画素あるいは所定の画素値を有する画素の、画像上の位置変化情報である補正曲線CLを抽出する。位置変化情報は、重ね合わせ画像における画像の特徴量を有する画素あるいは画素値の画像における位置の時間経過に伴う軌跡に基づいて生成される補正曲線の情報である。
【0095】
さらに、上述したS13、S23の処理が、S12、S22で抽出された位置変化情報から、ライン画像IPAi中の画素の位置と検査対象であるブレード群の回転角度の対応情報を生成する対応情報生成部を構成する。S13、S23の対応情報生成部は、対応情報として画像中の画素の位置と検査対象の回転角度の対応を示す対応テーブルを生成する。
【0096】
図7に戻り、補正テーブルの作成後、制御部31は、ブレード検査処理を実行する(S2)。
図17は、S2のブレード検査処理の流れの例を示すフローチャートである。
制御部31は、トリガー発生部32を制御して、トリガー信号を所定の周期ΔTIで複数のボアスコープ11Aと11Bに同時に供給して、複数のボアスコープ11Aにより各ブレード群を撮影し、かつボアスコープ11Bにより画像取得領域IPAを撮影する(S31)。S31の処理は、画像記録部33と回転状態記録部34において実行される。
【0097】
その結果、各ブレード群の画像すなわち各ブレードBのライン画像BI(以下ブレードライン画像BIという)は、画像記録部33に記録される。同時に、回転状態記録部34は、ボアスコープ11Bにより画像取得領域IPAを撮影して、回転角度情報画像RSを生成する。
【0098】
図18は、画像記録部33に記録された複数のブレードライン画像BIと、回転状態記録部34に記録された回転角度情報画像RSとの対応を示す図である。
図18では、第1のアクセスポートAP1と第2のアクセスポートAP2においてボアスコープ11Aにより得られた2つのブレード画像BG1とBG2と、ボアスコープ11B用のアクセスポートにおいてボアスコープ11Bにより回転角度情報画像RSとが示されている。
【0099】
図18では、時間tの経過は、各ブレードライン画像BIと回転角度情報画像RSとにおいて一致している。すなわち、
図18において、縦軸方向において同じ位置の各ブレードライン画像BIと回転角度情報画像RSの画像データは、同じタイミングで撮影されて得られた画像データである。例えば、時刻tjにおける、各ブレードライン画像BIの画像データBG1j,BG2j、・・と回転角度情報画像RSの画像データRSjは、同じタイミングで撮影された画像データである。
【0100】
図18では、回転角度情報画像RS中、時間tの経過における期間tpaにおいては、回転軸ARの回転が遅くなっており、二点鎖線で示す回転むらのない場合よりも時間的に遅れて、画素EPが出現している。
【0101】
期間tpbの後半においては、回転軸ARの回転が速くなっており、二点鎖線で示す回転むらのない場合よりも時間的に早めに画素EPが出現している。
また、期間tpcでは、回転軸ARの回転が停止しており、同じ画素位置に画素EPが連続して存在している。
【0102】
期間tpdにおいては、回転軸ARの回転が一時的に反転しており、画素EPの位置が、一次的に画素P1側に向かって移動して、その後戻っていることが示されている。
以上のように、回転むらには、いろいろな場合があるが、縦軸方向において同じ位置の複数のブレードライン画像BIと回転角度情報画像RSは、同じタイミングで撮影して得られた画像データを時間経過に沿って並べた時系列画像情報である。
【0103】
図9に示すように、各エッジ部BEに対応する画素EPの位置は、周期ΔTB内における角度変化量Δθαと対応している。
図9の補正曲線CCに対応する補正テーブルCTの情報は、S13(あるいはS23)において作成され、補正テーブル記憶部36に記憶されている。
【0104】
よって、制御部31は、S31において作成された回転角度情報画像RSと、S13(あるいはS23)において作成された補正テーブルCTとを用いて、S31において作成された複数のボアスコープ11Aにより撮影して得られた各ブレード群のブレード画像を再構築する(S32)。
【0105】
具体的には、補正テーブル記憶部36に記憶されている補正テーブルCTは、
図8に示すような回転むらのない場合の補正曲線CCに対応するテーブルである。制御部31は、その補正テーブルCTに基づいて、周期ΔTB毎に、補正曲線CCの補正テーブルCTを配置して、
図8に示すような回転むらのない場合の画素EPの軌跡を示す回転角度情報画像RSRを作成する。そして、制御部31は、S31で得られた各ブレード群の画像データを、回転角度情報画像RSR中の各画像データ中の画素EPの位置が一致する画像データの位置に、再配置(移動、削除、複製、補間などを含む)するようにして、ブレード画像の再構築を行う。
【0106】
例えば、
図18において点線で示すように、時刻tkにおける各ブレード画像BG1,BG2,・・・の画像データBG1k,BG2K,・・・は、回転むらの無いときの本来有るべき時刻の位置に移動される。
【0107】
すなわち、S31において得られた回転角度情報画像RSと、補正テーブル記憶部36に記憶されている補正テーブルCTとに基づいて、各ブレード画像BG 1,BG2,・・・が一定速度で回転しているときの画像になるように、S31において得られた各ブレード画像BG 1,BG2,・・・中の画像データを移動等させたり、削除したり等して、時間経過に伴う角度変化が一定になるように各ブレード画像BG 1,BG2,・・・が再構築される。
【0108】
以上のように、S32の処理が、ラインセンサ26aにより取得された検査対象の画像を時間経過に沿って並べた時系列画像情報と、その検査対象の画像中の所定の特徴量あるいは所定の輝度値を有する画素の位置と検査対象の回転角度量の対応情報である補正テーブルCTとに基づいて、ラインセンサ23aにより取得された検査対象の画像の各画像データを検査対象の回転角度に合わせて再構築する画像データ再構築部を構成する。その対応情報における画素は、複数のブレードBの各画像における所定の特徴量あるいは所定の輝度値を有する画素である。そして、S32の画像データ再構築部は、対応情報である補正テーブルCTに基づいて、ボアスコープ11Aにより得られた検査対象画像の各画像データを所定の時間間隔である周期ΔTI毎に配置することにより再構築する。
【0109】
図19は、ブレード画像の再構築後の、画像記録部33に記録された複数のブレードライン画像BIと、回転角度情報画像RSとの対応を示す図である。
S23における再構築処理により、期間tpa内の各ブレードライン画像BIの画像データBG1j,BG2j、・・・は、間引きなどにより削除されて、期間tpaは短くなっている。期間tpb内の各ブレードライン画像BIの画像データBG1j,BG2j、・・・は、複製、補間などにより追加されて、期間tpbは長くなっている。
【0110】
また、期間tpc内の各ブレードライン画像BIの画像データBG1j,BG2j、・・・は、停止している間の画像データの削除等がされている。その結果、
図18では、ブレードBの一部の欠け部が、回転軸ARの回転の停止により伸びて大きいが、
図19では、回転の停止期間の画像データが削除されて伸びのない大きさに修正されている。
【0111】
期間tpd内の各ブレードライン画像BIの画像データBG1j,BG2j、・・・は、逆回転している間の画像データの削除等がされている。
言い換えれば、再構築されたブレード画像の各画像データは、所定の時間間隔で撮影して得られた各ブレードライン画像BIの画像データBG1j,BG2j、・・・を一定の時間間隔になるように並び替えて再配置した画像データである。
【0112】
その結果、S32により再構築された各ブレードライン画像BIの画像データBG1j,BG2j、・・・は、回転むらのない一定の回転速度で回転したときにおいて得られた画像データとなる。
【0113】
制御部31は、S32で得られた各ブレードライン画像BIの画像データBG1j,BG2j、・・・に対して所定の欠陥処理を実行する(S33)。欠陥処理では、例えば、画像処理により、欠陥の有無の判定、欠陥の種類の判定、欠陥のサイズの測定などが行われる。
【0114】
図20は、上述した実施の形態の内視鏡システム1により得られるブレード群の画像を説明するための図である。
図20において、上段のブレード群の画像の一部は、補正テーブルCTを用いて再構築される前のブレード群の画像BGAを示し、下段のブレード群の画像の一部は、補正テーブルCTにより再構築された後のブレード群の画像BGBを示している。
【0115】
S22で再構築される前のブレード群の画像BGAでは、各ブレードBの回転方向の幅は、回転軸ARの回転むらにより異なっているが、S22で再構築された後のブレード群の画像BGBでは、各ブレードBの回転方向の幅は、同じになっている。
【0116】
以上のように、上述した実施の形態によれば、検査対象を回転させて得られる内視鏡画像に、検査対象の回転むらの影響のない内視鏡画像を取得することができる内視鏡システムを提供することができる。
【0117】
さらに、上述した実施の形態によれば、検査対象の回転むらによる影響のない検査画像を取得するための補正情報を生成する補正情報生成装置及び回転する検査対象の画像補正のための補正情報生成方法を提供することができる。
【0118】
なお、上述した実施の形態では、補正曲線CCをエンジンEを実際に回転させて算出して、補正テーブルCTを作成しているが、エンジンEの設計情報あるいは仕様情報から補正テーブルを算出して予め用意して補正テーブル記憶部36に記憶しておき、その補正テーブルCTを用いるようにしてもよい。すなわち、ライン画像IPAi中の所定の特徴量あるいは所定の輝度値を有する画素の位置と検査対象の回転角度量の対応を示す対応情報は、検査対象についての設計情報等に基づいて予め設定された情報でもよい。
【0119】
さらになお、上述した例では、ボアスコープ11Bは、ブレードBのエッジ部BEを撮影するようにしているが、ブレードBの根元の回転軸AR等に所定のマークを設けて、そのマークを撮影することにより、補正テーブルを作成するようにしてもよい。ブレードBの根元の回転軸ARの部分等は、エンジンEの使用によって損傷しないので、より確実に回転状態の情報を取得することができる。
【0120】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【0121】
本出願は、2015年7月24日に日本国に出願された特願2015−146719号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。