特開2023-142169３次元データ生成方法、３次元データ生成システム、およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023142169
(43)【公開日】2023-10-05
(54)【発明の名称】３次元データ生成方法、３次元データ生成システム、およびプログラム
(51)【国際特許分類】
G02B 23/24 20060101AFI20230928BHJP
A61B 1/00 20060101ALI20230928BHJP
A61B 1/045 20060101ALI20230928BHJP
【ＦＩ】
G02B23/24
A61B1/00 522
A61B1/045 610
【審査請求】未請求
【請求項の数】22
【出願形態】ＯＬ
(21)【出願番号】P 2022048909
(22)【出願日】2022-03-24
(71)【出願人】
【識別番号】322004393
【氏名又は名称】株式会社エビデント
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(74)【代理人】
【識別番号】100207789
【弁理士】
【氏名又は名称】石田 良平
(72)【発明者】
【氏名】坂本 陽平
【テーマコード（参考）】
2H040
4C161
【Ｆターム（参考）】
2H040AA01
2H040AA02
2H040AA03
2H040BA15
2H040DA00
2H040DA01
2H040DA11
2H040DA21
2H040DA22
2H040GA02
2H040GA11
4C161AA29
4C161BB06
4C161CC06
4C161FF40
4C161LL02
4C161WW02
4C161WW03
4C161WW05
(57)【要約】
【課題】タービンの内部の３次元形状を示す３次元データを生成する処理の信頼性を向上させる。
【解決手段】３次元データ生成方法は、以下のステップを有する。プロセッサは、画像取得ステップにおいて、タービンの内部の構成要素の２枚以上の画像を取得する。前記プロセッサは、領域検出ステップにおいて、少なくとも２枚の画像における同一領域である２つ以上の対応領域を検出する。前記プロセッサは、領域判断ステップにおいて、各画像における少なくとも一部の領域が変化領域であるのか非変化領域であるのかを判断する。前記プロセッサは、データ生成ステップにおいて、前記非変化領域であると判断された対応領域を使用せずに、前記変化領域であると判断された対応領域を使用することにより３次元データを生成する。
【選択図】図７
【解決手段】３次元データ生成方法は、以下のステップを有する。プロセッサは、画像取得ステップにおいて、タービンの内部の構成要素の２枚以上の画像を取得する。前記プロセッサは、領域検出ステップにおいて、少なくとも２枚の画像における同一領域である２つ以上の対応領域を検出する。前記プロセッサは、領域判断ステップにおいて、各画像における少なくとも一部の領域が変化領域であるのか非変化領域であるのかを判断する。前記プロセッサは、データ生成ステップにおいて、前記非変化領域であると判断された対応領域を使用せずに、前記変化領域であると判断された対応領域を使用することにより３次元データを生成する。
【選択図】図７
【特許請求の範囲】
【請求項1】
タービンの内部の３次元形状を示す３次元データを生成する３次元データ生成方法であって、
プロセッサが前記タービンの内部の構成要素の２枚以上の画像を取得する画像取得ステップであって、前記構成要素は、前記タービンの内部で移動可能な第１の物体と、前記タービンの内部で静止している第２の物体とを含み、前記２枚以上の画像は、前記タービンの内部の光を取り込む管状の挿入部を有する撮像装置によって生成され、前記挿入部は、前記タービンに形成された穴を通って前記タービンに挿入され、前記挿入部が前記タービンに挿入されるときの前記挿入部の移動方向は前記第１の物体の移動方向と異なり、前記第１の物体が移動している間、前記挿入部に対する前記第１の物体の位置は、前記撮像装置が画像を生成するタイミング毎に異なる前記画像取得ステップと、
前記プロセッサが前記２枚以上の画像に含まれる少なくとも２枚の画像における前記構成要素の同一領域である２つ以上の対応領域を検出する領域検出ステップと、
前記プロセッサが、前記２枚以上の画像の各々における少なくとも一部の領域が変化領域であるのか非変化領域であるのかを判断する領域判断ステップであって、前記変化領域は、前記撮像装置によって生成された画像における座標が変化する前記構成要素の領域であり、前記非変化領域は、前記撮像装置によって生成された画像における座標が変化しない前記構成要素の領域である前記領域判断ステップと、
前記プロセッサが、前記２つ以上の対応領域のうち前記非変化領域であると判断された対応領域を使用せずに、前記２つ以上の対応領域のうち前記変化領域であると判断された対応領域を使用することにより前記３次元データを生成するデータ生成ステップと、
を有する３次元データ生成方法。
プロセッサが前記タービンの内部の構成要素の２枚以上の画像を取得する画像取得ステップであって、前記構成要素は、前記タービンの内部で移動可能な第１の物体と、前記タービンの内部で静止している第２の物体とを含み、前記２枚以上の画像は、前記タービンの内部の光を取り込む管状の挿入部を有する撮像装置によって生成され、前記挿入部は、前記タービンに形成された穴を通って前記タービンに挿入され、前記挿入部が前記タービンに挿入されるときの前記挿入部の移動方向は前記第１の物体の移動方向と異なり、前記第１の物体が移動している間、前記挿入部に対する前記第１の物体の位置は、前記撮像装置が画像を生成するタイミング毎に異なる前記画像取得ステップと、
前記プロセッサが前記２枚以上の画像に含まれる少なくとも２枚の画像における前記構成要素の同一領域である２つ以上の対応領域を検出する領域検出ステップと、
前記プロセッサが、前記２枚以上の画像の各々における少なくとも一部の領域が変化領域であるのか非変化領域であるのかを判断する領域判断ステップであって、前記変化領域は、前記撮像装置によって生成された画像における座標が変化する前記構成要素の領域であり、前記非変化領域は、前記撮像装置によって生成された画像における座標が変化しない前記構成要素の領域である前記領域判断ステップと、
前記プロセッサが、前記２つ以上の対応領域のうち前記非変化領域であると判断された対応領域を使用せずに、前記２つ以上の対応領域のうち前記変化領域であると判断された対応領域を使用することにより前記３次元データを生成するデータ生成ステップと、
を有する３次元データ生成方法。
【請求項2】
前記プロセッサが前記領域検出ステップにおいて前記２つ以上の対応領域を検出した後、前記プロセッサは前記領域判断ステップにおいて前記少なくとも一部の領域が前記変化領域であるのか前記非変化領域であるのかを判断する
請求項１に記載の３次元データ生成方法。
請求項１に記載の３次元データ生成方法。
【請求項3】
前記プロセッサが前記領域判断ステップにおいて前記少なくとも一部の領域が前記変化領域であるのか前記非変化領域であるのかを判断した後、前記プロセッサは、前記領域検出ステップにおいて前記非変化領域を使用せずに前記変化領域を使用することにより前記２つ以上の対応領域を検出する
請求項１に記載の３次元データ生成方法。
請求項１に記載の３次元データ生成方法。
【請求項4】
前記第１の物体は動翼を含み、
前記第２の物体は静翼またはシュラウドを含む
請求項１に記載の３次元データ生成方法。
前記第２の物体は静翼またはシュラウドを含む
請求項１に記載の３次元データ生成方法。
【請求項5】
前記２枚以上の画像において、前記第１の物体の一部は前記第２の物体によって隠される
請求項１に記載の３次元データ生成方法。
請求項１に記載の３次元データ生成方法。
【請求項6】
前記第２の物体は、前記２枚以上の画像において前記第１の物体の一部を隠す物体と、前記２枚以上の画像において一部が前記第１の物体によって隠される物体とを含む
請求項５に記載の３次元データ生成方法。
請求項５に記載の３次元データ生成方法。
【請求項7】
前記撮像装置は、互いに異なる２つ以上のタイミングで前記２枚以上の画像を生成し、
前記プロセッサは、前記領域判断ステップにおいて、前記２枚以上の画像に含まれる少なくとも２枚の画像間の前記対応領域の動き量に基づいて前記少なくとも一部の領域が前記変化領域であるのか前記非変化領域であるのかを判断する
請求項１に記載の３次元データ生成方法。
前記プロセッサは、前記領域判断ステップにおいて、前記２枚以上の画像に含まれる少なくとも２枚の画像間の前記対応領域の動き量に基づいて前記少なくとも一部の領域が前記変化領域であるのか前記非変化領域であるのかを判断する
請求項１に記載の３次元データ生成方法。
【請求項8】
前記プロセッサは、前記領域判断ステップにおいて、前記２枚以上の画像に含まれる少なくとも２枚の画像間の画素値の差分に基づいて前記少なくとも一部の領域が前記変化領域であるのか前記非変化領域であるのかを判断する
請求項１に記載の３次元データ生成方法。
請求項１に記載の３次元データ生成方法。
【請求項9】
前記プロセッサは、前記領域判断ステップにおいて、前記２枚以上の画像に含まれる１枚の画像に写っている被写体を判断することにより前記少なくとも一部の領域が前記変化領域であるのか前記非変化領域であるのかを判断する
請求項１に記載の３次元データ生成方法。
請求項１に記載の３次元データ生成方法。
【請求項10】
前記プロセッサが、前記タービンの内部における前記挿入部の位置を判断する位置判断ステップと、
前記挿入部の前記位置が変化したとき、前記プロセッサが前記位置の変化を示す情報をユーザーに通知する処理を実行する通知ステップと、
をさらに有する請求項１に記載の３次元データ生成方法。
前記挿入部の前記位置が変化したとき、前記プロセッサが前記位置の変化を示す情報をユーザーに通知する処理を実行する通知ステップと、
をさらに有する請求項１に記載の３次元データ生成方法。
【請求項11】
前記プロセッサが前記データ生成ステップを初めて実行する前に、前記２枚以上の画像に含まれる画像における前記非変化領域の面積を算出する算出ステップと、
前記面積が所定の値よりも大きいとき、前記プロセッサが警告をユーザーに通知する処理を実行する通知ステップと、
をさらに有する請求項１に記載の３次元データ生成方法。
前記面積が所定の値よりも大きいとき、前記プロセッサが警告をユーザーに通知する処理を実行する通知ステップと、
をさらに有する請求項１に記載の３次元データ生成方法。
【請求項12】
前記第１の物体は、駆動装置が発生する駆動力によって前記タービンの内部で回転し、
前記３次元データ生成方法は、
前記第１の物体が前記タービンの内部で一回転したか否かを前記プロセッサが判断する回転判断ステップと、
前記第１の物体が前記タービンの内部で一回転したと前記プロセッサが判断したとき、前記第１の物体が前記タービンの内部で一回転したことを示す情報を前記プロセッサがユーザーに通知する処理を実行する通知ステップと、
をさらに有する
請求項１に記載の３次元データ生成方法。
前記３次元データ生成方法は、
前記第１の物体が前記タービンの内部で一回転したか否かを前記プロセッサが判断する回転判断ステップと、
前記第１の物体が前記タービンの内部で一回転したと前記プロセッサが判断したとき、前記第１の物体が前記タービンの内部で一回転したことを示す情報を前記プロセッサがユーザーに通知する処理を実行する通知ステップと、
をさらに有する
請求項１に記載の３次元データ生成方法。
【請求項13】
前記第１の物体は、駆動装置が発生する駆動力によって前記タービンの内部で回転し、
前記第１の物体が回転している間、前記プロセッサは、前記領域検出ステップ、前記領域判断ステップ、および前記データ生成ステップを繰り返し実行し、
前記第１の物体の回転が停止したとき、前記プロセッサは、前記データ生成ステップを停止し、かつ前記領域検出ステップおよび前記領域判断ステップを継続する
請求項１に記載の３次元データ生成方法。
前記第１の物体が回転している間、前記プロセッサは、前記領域検出ステップ、前記領域判断ステップ、および前記データ生成ステップを繰り返し実行し、
前記第１の物体の回転が停止したとき、前記プロセッサは、前記データ生成ステップを停止し、かつ前記領域検出ステップおよび前記領域判断ステップを継続する
請求項１に記載の３次元データ生成方法。
【請求項14】
前記第１の物体が再度回転し始めたとき、前記プロセッサは、前記データ生成ステップを再開する
請求項１３に記載の３次元データ生成方法。
請求項１３に記載の３次元データ生成方法。
【請求項15】
前記プロセッサは、前記２枚以上の画像に含まれる画像を使用することにより前記第１の物体の回転状態を判断する
請求項１３に記載の３次元データ生成方法。
請求項１３に記載の３次元データ生成方法。
【請求項16】
前記プロセッサは、前記駆動装置の状態を監視することにより前記第１の物体の回転状態を判断する
請求項１３に記載の３次元データ生成方法。
請求項１３に記載の３次元データ生成方法。
【請求項17】
前記挿入部は前記タービンの内部において固定される
請求項１に記載の３次元データ生成方法。
請求項１に記載の３次元データ生成方法。
【請求項18】
前記撮像装置はボアスコープである
請求項１に記載の３次元データ生成方法。
請求項１に記載の３次元データ生成方法。
【請求項19】
タービンの内部の３次元形状を示す３次元データを生成する３次元データ生成システムであって、
前記タービンの内部の光を取り込む管状の挿入部を有し、前記タービンの内部の構成要素の２枚以上の画像を生成する撮像装置であって、前記構成要素は、前記タービンの内部で移動可能な第１の物体と、前記タービンの内部で静止している第２の物体とを含み、前記２枚以上の画像は、前記撮像装置によって生成され、前記挿入部は、前記タービンに形成された穴を通って前記タービンに挿入され、前記挿入部が前記タービンに挿入されるときの前記挿入部の移動方向は前記第１の物体の移動方向と異なり、前記第１の物体が移動している間、前記挿入部に対する前記第１の物体の位置は、前記撮像装置が画像を生成するタイミング毎に異なる前記撮像装置と、
プロセッサを含む３次元データ生成装置と、
を有し、
前記プロセッサは、
前記２枚以上の画像を取得し、
前記２枚以上の画像に含まれる少なくとも２枚の画像における前記構成要素の同一領域である２つ以上の対応領域を検出し、
前記２枚以上の画像の各々における少なくとも一部の領域が変化領域であるのか非変化領域であるのかを判断し、前記変化領域は、前記撮像装置によって生成された画像における座標が変化する前記構成要素の領域であり、前記非変化領域は、前記撮像装置によって生成された画像における座標が変化しない前記構成要素の領域であり、
前記２つ以上の対応領域のうち前記非変化領域であると判断された対応領域を使用せずに、前記２つ以上の対応領域のうち前記変化領域であると判断された対応領域を使用することにより前記３次元データを生成する
３次元データ生成システム。
前記タービンの内部の光を取り込む管状の挿入部を有し、前記タービンの内部の構成要素の２枚以上の画像を生成する撮像装置であって、前記構成要素は、前記タービンの内部で移動可能な第１の物体と、前記タービンの内部で静止している第２の物体とを含み、前記２枚以上の画像は、前記撮像装置によって生成され、前記挿入部は、前記タービンに形成された穴を通って前記タービンに挿入され、前記挿入部が前記タービンに挿入されるときの前記挿入部の移動方向は前記第１の物体の移動方向と異なり、前記第１の物体が移動している間、前記挿入部に対する前記第１の物体の位置は、前記撮像装置が画像を生成するタイミング毎に異なる前記撮像装置と、
プロセッサを含む３次元データ生成装置と、
を有し、
前記プロセッサは、
前記２枚以上の画像を取得し、
前記２枚以上の画像に含まれる少なくとも２枚の画像における前記構成要素の同一領域である２つ以上の対応領域を検出し、
前記２枚以上の画像の各々における少なくとも一部の領域が変化領域であるのか非変化領域であるのかを判断し、前記変化領域は、前記撮像装置によって生成された画像における座標が変化する前記構成要素の領域であり、前記非変化領域は、前記撮像装置によって生成された画像における座標が変化しない前記構成要素の領域であり、
前記２つ以上の対応領域のうち前記非変化領域であると判断された対応領域を使用せずに、前記２つ以上の対応領域のうち前記変化領域であると判断された対応領域を使用することにより前記３次元データを生成する
３次元データ生成システム。
【請求項20】
前記撮像装置と前記３次元データ生成装置とが内視鏡装置に含まれる
請求項１９に記載の３次元データ生成システム。
請求項１９に記載の３次元データ生成システム。
【請求項21】
前記撮像装置が内視鏡装置に含まれ、前記３次元データ生成装置は前記内視鏡装置とは別体の外部機器に含まれる
請求項１９に記載の３次元データ生成システム。
請求項１９に記載の３次元データ生成システム。
【請求項22】
タービンの内部の３次元形状を示す３次元データを生成する処理をコンピュータに実行させるためのプログラムであって、
前記タービンの内部の構成要素の２枚以上の画像を取得する画像取得ステップであって、前記構成要素は、前記タービンの内部で移動可能な第１の物体と、前記タービンの内部で静止している第２の物体とを含み、前記２枚以上の画像は、前記タービンの内部の光を取り込む管状の挿入部を有する撮像装置によって生成され、前記挿入部は、前記タービンに形成された穴を通って前記タービンに挿入され、前記挿入部が前記タービンに挿入されるときの前記挿入部の移動方向は前記第１の物体の移動方向と異なり、前記第１の物体が移動している間、前記挿入部に対する前記第１の物体の位置は、前記撮像装置が画像を生成するタイミング毎に異なる前記画像取得ステップと、
前記２枚以上の画像に含まれる少なくとも２枚の画像における前記構成要素の同一領域である２つ以上の対応領域を検出する領域検出ステップと、
前記２枚以上の画像の各々における少なくとも一部の領域が変化領域であるのか非変化領域であるのかを判断する領域判断ステップであって、前記変化領域は、前記撮像装置によって生成された画像における座標が変化する前記構成要素の領域であり、前記非変化領域は、前記撮像装置によって生成された画像における座標が変化しない前記構成要素の領域である前記領域判断ステップと、
前記２つ以上の対応領域のうち前記非変化領域であると判断された対応領域を使用せずに、前記２つ以上の対応領域のうち前記変化領域であると判断された対応領域を使用することにより前記３次元データを生成するデータ生成ステップと、
を前記コンピュータに実行させるためのプログラム。
前記タービンの内部の構成要素の２枚以上の画像を取得する画像取得ステップであって、前記構成要素は、前記タービンの内部で移動可能な第１の物体と、前記タービンの内部で静止している第２の物体とを含み、前記２枚以上の画像は、前記タービンの内部の光を取り込む管状の挿入部を有する撮像装置によって生成され、前記挿入部は、前記タービンに形成された穴を通って前記タービンに挿入され、前記挿入部が前記タービンに挿入されるときの前記挿入部の移動方向は前記第１の物体の移動方向と異なり、前記第１の物体が移動している間、前記挿入部に対する前記第１の物体の位置は、前記撮像装置が画像を生成するタイミング毎に異なる前記画像取得ステップと、
前記２枚以上の画像に含まれる少なくとも２枚の画像における前記構成要素の同一領域である２つ以上の対応領域を検出する領域検出ステップと、
前記２枚以上の画像の各々における少なくとも一部の領域が変化領域であるのか非変化領域であるのかを判断する領域判断ステップであって、前記変化領域は、前記撮像装置によって生成された画像における座標が変化する前記構成要素の領域であり、前記非変化領域は、前記撮像装置によって生成された画像における座標が変化しない前記構成要素の領域である前記領域判断ステップと、
前記２つ以上の対応領域のうち前記非変化領域であると判断された対応領域を使用せずに、前記２つ以上の対応領域のうち前記変化領域であると判断された対応領域を使用することにより前記３次元データを生成するデータ生成ステップと、
を前記コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、タービンの内部の３次元形状を示す３次元データを生成する３次元データ生成方法、３次元データ生成システム、およびプログラムに関する。
【背景技術】
【0002】
工業用の内視鏡装置は、ボイラー、タービン、エンジン、およびパイプ等の産業機器の内部に発生する異常（傷および腐食等）の検査に使用されている。様々な被写体が工業用の内視鏡装置を使用する検査の対象である。航空機および発電設備において使用されているタービンは、工業用の内視鏡装置を使用する検査において特に重要な被写体である。
【0003】
一般的に、工業用の内視鏡装置は、単眼光学アダプターおよび計測専用光学アダプターを使用する。単眼光学アダプターは、被写体の通常の観察のために使用される。計測専用光学アダプターは、被写体の３次元（３Ｄ）情報を復元するために使用される。例えば、計測専用光学アダプターは、２つの視野を持つステレオ光学アダプターである。工業用の内視鏡装置は、３Ｄ情報を使用することにより、発見された異常の大きさを計測することができる。ユーザーは、３Ｄ情報を使用することにより復元された被写体の形状（凹凸など）を確認することができる。このように、３Ｄ情報は、検査の高品質化および効率化に貢献している。
【0004】
近年、単眼光学アダプターを使用することにより被写体の画像を取得し、その画像を使用することにより被写体の３Ｄ情報を復元する技術が開発されている。そのような技術は、被写体に対する内視鏡の先端部の相対的な動きの変化に基づいて３Ｄ復元処理を実行し、３Ｄ情報を復元する。
【0005】
タービンは航空機エンジンまたは発電機に使用されている。タービンの動翼は、工業用の内視鏡装置を使用する検査の主要な被写体である。圧縮セクションおよびタービンセクションの各々において、回転可能な動翼と固定されている静翼とを１段として、複数の段がタービン内の回転軸に沿って配置されている。シュラウドが動翼の外側に配置されている。
【0006】
一般的に、動翼の検査では、動翼が回転しているときに動翼上の異常が探索される。そのような検査では、動翼に加えて静翼またはシュラウドが内視鏡の視野に入る場合が多い。静翼およびシュラウドは動翼と異なり動かない。単眼光学アダプターを使用することにより取得された画像に静翼またはシュラウドが動翼と一緒に写っている場合、工業用の内視鏡装置が被写体の３Ｄ情報の復元に失敗する可能性がある。
【0007】
特許文献１は、移動物体と静止物体とが写る画像を使用することにより被写体の３Ｄ情報を復元する技術を開示している。その技術は、車に搭載されたカメラによって取得された画像を使用することにより、走行中の車の周囲の被写体の３Ｄ情報を復元する。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開２０２０-１２６４３２号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
単眼のカメラが、特許文献１に開示された技術において使用される。カメラが搭載されている車が動いていること、および３Ｄ復元処理の対象である被写体は静止していることがその技術の前提である。その技術は、画像に写る移動物体の領域を使用せずに３Ｄ復元処理を実行することにより、３Ｄ情報の復元に失敗することを回避する。その移動物体は、木の枝葉等である。
【0010】
一方、工業用の内視鏡装置を使用する動翼の検査では、内視鏡の先端部は基本的に静止しており、３Ｄ復元処理の対象である被写体が動く。そのため、動翼の画像を使用する３Ｄ復元処理の対象は、車に搭載されたカメラによって取得された画像を使用する３Ｄ復元処理の対象とは被写体の動きの観点で異なる。仮に、特許文献１に開示された技術を動翼の検査に適用した場合、動翼が写っている領域は３Ｄ復元処理に使用されない。そのため、その技術は、動翼の検査には適用できない。
【0011】
本発明は、タービンの内部の３次元形状を示す３次元データを生成する処理の信頼性を向上させることができる３次元データ生成方法、３次元データ生成システム、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0012】
本発明は、タービンの内部の３次元形状を示す３次元データを生成する３次元データ生成方法であって、プロセッサが前記タービンの内部の構成要素の２枚以上の画像を取得する画像取得ステップであって、前記構成要素は、前記タービンの内部で移動可能な第１の物体と、前記タービンの内部で静止している第２の物体とを含み、前記２枚以上の画像は、前記タービンの内部の光を取り込む管状の挿入部を有する撮像装置によって生成され、前記挿入部は、前記タービンに形成された穴を通って前記タービンに挿入され、前記挿入部が前記タービンに挿入されるときの前記挿入部の移動方向は前記第１の物体の移動方向と異なり、前記第１の物体が移動している間、前記挿入部に対する前記第１の物体の位置は、前記撮像装置が画像を生成するタイミング毎に異なる前記画像取得ステップと、前記プロセッサが前記２枚以上の画像に含まれる少なくとも２枚の画像における前記構成要素の同一領域である２つ以上の対応領域を検出する領域検出ステップと、前記プロセッサが、前記２枚以上の画像の各々における少なくとも一部の領域が変化領域であるのか非変化領域であるのかを判断する領域判断ステップであって、前記変化領域は、前記撮像装置によって生成された画像における座標が変化する前記構成要素の領域であり、前記非変化領域は、前記撮像装置によって生成された画像における座標が変化しない前記構成要素の領域である前記領域判断ステップと、前記プロセッサが、前記２つ以上の対応領域のうち前記非変化領域であると判断された対応領域を使用せずに、前記２つ以上の対応領域のうち前記変化領域であると判断された対応領域を使用することにより前記３次元データを生成するデータ生成ステップと、を有する３次元データ生成方法である。
【0013】
本発明の３次元データ生成方法において、前記プロセッサが前記領域検出ステップにおいて前記２つ以上の対応領域を検出した後、前記プロセッサは前記領域判断ステップにおいて前記少なくとも一部の領域が前記変化領域であるのか前記非変化領域であるのかを判断する。
【0014】
本発明の３次元データ生成方法において、前記プロセッサが前記領域判断ステップにおいて前記少なくとも一部の領域が前記変化領域であるのか前記非変化領域であるのかを判断した後、前記プロセッサは、前記領域検出ステップにおいて前記非変化領域を使用せずに前記変化領域を使用することにより前記２つ以上の対応領域を検出する。
【0015】
本発明の３次元データ生成方法において、前記第１の物体は動翼を含み、前記第２の物体は静翼またはシュラウドを含む。
【0016】
本発明の３次元データ生成方法において、前記２枚以上の画像において、前記第１の物体の一部は前記第２の物体によって隠される。
【0017】
本発明の３次元データ生成方法において、前記第２の物体は、前記２枚以上の画像において前記第１の物体の一部を隠す物体と、前記２枚以上の画像において一部が前記第１の物体によって隠される物体とを含む。
【0018】
本発明の３次元データ生成方法において、前記撮像装置は、互いに異なる２つ以上のタイミングで前記２枚以上の画像を生成し、前記プロセッサは、前記領域判断ステップにおいて、前記２枚以上の画像に含まれる少なくとも２枚の画像間の前記対応領域の動き量に基づいて前記少なくとも一部の領域が前記変化領域であるのか前記非変化領域であるのかを判断する。
【0019】
本発明の３次元データ生成方法において、前記プロセッサは、前記領域判断ステップにおいて、前記２枚以上の画像に含まれる少なくとも２枚の画像間の画素値の差分に基づいて前記少なくとも一部の領域が前記変化領域であるのか前記非変化領域であるのかを判断する。
【0020】
本発明の３次元データ生成方法は、前記プロセッサは、前記領域判断ステップにおいて、前記２枚以上の画像に含まれる１枚の画像に写っている被写体を判断することにより前記少なくとも一部の領域が前記変化領域であるのか前記非変化領域であるのかを判断する。
【0021】
本発明の３次元データ生成方法は、前記プロセッサが、前記タービンの内部における前記挿入部の位置を判断する位置判断ステップと、前記挿入部の前記位置が変化したとき、前記プロセッサが前記位置の変化を示す情報をユーザーに通知する処理を実行する通知ステップと、をさらに有する。
【0022】
本発明の３次元データ生成方法は、前記プロセッサが前記データ生成ステップを初めて実行する前に、前記２枚以上の画像に含まれる画像における前記非変化領域の面積を算出する算出ステップと、前記面積が所定の値よりも大きいとき、前記プロセッサが警告をユーザーに通知する処理を実行する通知ステップと、をさらに有する。
【0023】
本発明の３次元データ生成方法において、前記第１の物体は、駆動装置が発生する駆動力によって前記タービンの内部で回転し、前記３次元データ生成方法は、前記第１の物体が前記タービンの内部で一回転したか否かを前記プロセッサが判断する回転判断ステップと、前記第１の物体が前記タービンの内部で一回転したと前記プロセッサが判断したとき、前記第１の物体が前記タービンの内部で一回転したことを示す情報を前記プロセッサがユーザーに通知する処理を実行する通知ステップと、をさらに有する。
【0024】
本発明の３次元データ生成方法において、前記第１の物体は、駆動装置が発生する駆動力によって前記タービンの内部で回転し、前記第１の物体が回転している間、前記プロセッサは、前記領域検出ステップ、前記領域判断ステップ、および前記データ生成ステップを繰り返し実行し、前記第１の物体の回転が停止したとき、前記プロセッサは、前記データ生成ステップを停止し、かつ前記領域検出ステップおよび前記領域判断ステップを継続する。
【0025】
本発明の３次元データ生成方法において、前記第１の物体が再度回転し始めたとき、前記プロセッサは、前記データ生成ステップを再開する。
【0026】
本発明の３次元データ生成方法において、前記プロセッサは、前記２枚以上の画像に含まれる画像を使用することにより前記第１の物体の回転状態を判断する。
【0027】
本発明の３次元データ生成方法において、前記プロセッサは、前記駆動装置の状態を監視することにより前記第１の物体の回転状態を判断する。
【0028】
本発明の３次元データ生成方法において、前記挿入部は前記タービンの内部において固定される。
【0029】
本発明の３次元データ生成方法において、前記撮像装置はボアスコープである。
【0030】
本発明は、タービンの内部の３次元形状を示す３次元データを生成する３次元データ生成システムであって、前記タービンの内部の光を取り込む管状の挿入部を有し、前記タービンの内部の構成要素の２枚以上の画像を生成する撮像装置であって、前記タービンの内部で移動可能な第１の物体と、前記タービンの内部で静止している第２の物体とを含み、前記２枚以上の画像は、前記撮像装置によって生成され、前記挿入部は、前記タービンに形成された穴を通って前記タービンに挿入され、前記挿入部が前記タービンに挿入されるときの前記挿入部の移動方向は前記第１の物体の移動方向と異なり、前記第１の物体が移動している間、前記挿入部に対する前記第１の物体の位置は、前記撮像装置が画像を生成するタイミング毎に異なる前記撮像装置と、プロセッサを含む３次元データ生成装置と、を有し、前記プロセッサは、前記２枚以上の画像を取得し、前記２枚以上の画像に含まれる少なくとも２枚の画像における前記構成要素の同一領域である２つ以上の対応領域を検出し、前記２枚以上の画像の各々における少なくとも一部の領域が変化領域であるのか非変化領域であるのかを判断し、前記変化領域は、前記撮像装置によって生成された画像における座標が変化する前記構成要素の領域であり、前記非変化領域は、前記撮像装置によって生成された画像における座標が変化しない前記構成要素の領域であり、前記２つ以上の対応領域のうち前記非変化領域であると判断された対応領域を使用せずに、前記２つ以上の対応領域のうち前記変化領域であると判断された対応領域を使用することにより前記３次元データを生成する３次元データ生成システムである。
【0031】
本発明の３次元データ生成システムにおいて、前記撮像装置と前記３次元データ生成装置とが内視鏡装置に含まれる。
【0032】
本発明の３次元データ生成システムにおいて、前記撮像装置が内視鏡装置に含まれ、前記３次元データ生成装置は前記内視鏡装置とは別体の外部機器に含まれる。
【0033】
本発明は、タービンの内部の３次元形状を示す３次元データを生成する処理をコンピュータに実行させるためのプログラムであって、前記タービンの内部の構成要素の２枚以上の画像を取得する画像取得ステップであって、前記構成要素は、前記タービンの内部で移動可能な第１の物体と、前記タービンの内部で静止している第２の物体とを含み、前記２枚以上の画像は、前記タービンの内部の光を取り込む管状の挿入部を有する撮像装置によって生成され、前記挿入部は、前記タービンに形成された穴を通って前記タービンに挿入され、前記挿入部が前記タービンに挿入されるときの前記挿入部の移動方向は前記第１の物体の移動方向と異なり、前記第１の物体が移動している間、前記挿入部に対する前記第１の物体の位置は、前記撮像装置が画像を生成するタイミング毎に異なる前記画像取得ステップと、前記２枚以上の画像に含まれる少なくとも２枚の画像における前記構成要素の同一領域である２つ以上の対応領域を検出する領域検出ステップと、前記２枚以上の画像の各々における少なくとも一部の領域が変化領域であるのか非変化領域であるのかを判断する領域判断ステップであって、前記変化領域は、前記撮像装置によって生成された画像における座標が変化する前記構成要素の領域であり、前記非変化領域は、前記撮像装置によって生成された画像における座標が変化しない前記構成要素の領域である前記領域判断ステップと、前記２つ以上の対応領域のうち前記非変化領域であると判断された対応領域を使用せずに、前記２つ以上の対応領域のうち前記変化領域であると判断された対応領域を使用することにより前記３次元データを生成するデータ生成ステップと、を前記コンピュータに実行させるためのプログラムである。
【発明の効果】
【0034】
本発明によれば、３次元データ生成方法、３次元データ生成システム、およびプログラムは、タービンの内部の３次元形状を示す３次元データを生成する処理の信頼性を向上させることができる。
【図面の簡単な説明】
【0035】
【図1】本発明の第１の実施形態による内視鏡装置の全体構成を示す斜視図である。
【図2】本発明の第１の実施形態による内視鏡装置の内部構成を示すブロック図である。
【図3】本発明の第１の実施形態におけるタービン内の動翼および静翼の配置を模式的に示す図である。
【図4】本発明の第１の実施形態におけるタービン内の動翼の配置を模式的に示す図である。
【図5】本発明の第１の実施形態による内視鏡装置によって取得された画像の例を示す図である。
【図6】本発明の第１の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。
【図7】本発明の第１の実施形態における３次元（３Ｄ）データ生成処理の手順を示すフローチャートである。
【図8】本発明の第１の実施形態における特徴領域の例を示す図である。
【図9】本発明の第１の実施形態における２枚の画像間で同一の特徴領域の例を示す図である。
【図10】本発明の第１の実施形態における動き量を算出する方法を示す図である。
【図11】本発明の第１の実施形態における画像の領域が移動領域であるのか静止領域であるのかを判断する方法を示す図である。
【図12】本発明の第１の実施形態における画像取得の状況を示す模式図である。
【図13】本発明の第１の実施形態における３Ｄ復元処理の手順を示すフローチャートである。
【図14】本発明の第１の実施形態による内視鏡装置が有する表示部に表示される情報の例を示す図である。
【図15】本発明の第１の実施形態による内視鏡装置が有する表示部に表示される情報の例を示す図である。
【図16】本発明の第１の実施形態の第１の変形例における３Ｄデータ生成処理の手順を示すフローチャートである。
【図17】本発明の第１の実施形態の第１の変形例における画像の領域が移動領域であるのか静止領域であるのかを判断する方法を示す図である。
【図18】本発明の第１の実施形態の第１の変形例における３Ｄデータ生成処理の手順を示すフローチャートである。
【図19】本発明の第１の実施形態の第２の変形例における３Ｄデータ生成処理の手順を示すフローチャートである。
【図20】本発明の第１の実施形態の第２の変形例における画像の例と、移動領域および静止領域の例とを示す図である。
【図21】本発明の第１の実施形態の第２の変形例における物体情報の例を示す図である。
【図22】本発明の第１の実施形態の第２の変形例による内視鏡装置が実行する処理の手順を示すフローチャートである。
【図23】本発明の第２の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。
【図24】本発明の第２の実施形態における３Ｄデータ生成処理の手順を示すフローチャートである。
【図25】本発明の第２の実施形態における３Ｄデータ生成処理の手順を示すフローチャートである。
【図26】本発明の第２の実施形態における画像の例と、静止領域の大きさを判断する処理の例とを示す図である。
【図27】本発明の第２の実施形態における動翼の観察位置を示す図である。
【図28】本発明の第２の実施形態における動翼の観察位置を示す図である。
【図29】本発明の第２の実施形態における３Ｄデータ生成処理の手順を示すフローチャートである。
【図30】本発明の第２の実施形態における３Ｄデータ生成処理の手順を示すフローチャートである。
【図31】本発明の第２の実施形態における３Ｄデータ生成処理の手順を示すフローチャートである。
【発明を実施するための形態】
【0036】
以下、図面を参照し、本発明の実施形態を説明する。
【0037】
（第１の実施形態）
本発明の第１の実施形態を説明する。以下では、３次元（３Ｄ）データ生成装置が内視鏡装置に含まれる例を説明する。
本発明の第１の実施形態を説明する。以下では、３次元（３Ｄ）データ生成装置が内視鏡装置に含まれる例を説明する。
【0038】
【0039】
図１に示す内視鏡装置１は、挿入部２、本体部３、操作部４、および表示部５を有する。内視鏡装置１は、被写体を撮像し、画像を生成する。被写体は、工業製品である。ユーザーは、様々な被写体の観察を実施するために、挿入部２の先端２０に装着される光学アダプターの交換と、内蔵された映像処理プログラムの選択と、映像処理プログラムの追加とを実施することが可能である。
【0040】
挿入部２は、被写体の内部に挿入される。挿入部２は、先端２０から基端部にわたって屈曲可能な細長い管状である。挿入部２は、被写体を撮像し、かつ撮像信号を本体部３に出力する。挿入部２の先端２０には、光学アダプターが装着される。例えば、単眼の光学アダプターが先端２０に装着される。本体部３は、挿入部２を収納する収納部を備えた制御装置である。操作部４は、内視鏡装置１に対するユーザーの操作を受け付ける。表示部５は、表示画面を有し、かつ挿入部２によって取得された被写体の画像および操作メニュー等を表示画面に表示する。
【0041】
操作部４は、ユーザーインターフェースである。表示部５は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等のモニタ（ディスプレイ）である。表示部５は、タッチパネルであってもよい。その場合、操作部４および表示部５は一体化される。
【0042】
図２に示す本体部３は、内視鏡ユニット８、ＣＣＵ（Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）９、および制御装置１０を有する。
【0043】
内視鏡ユニット８は、図示していない光源装置および湾曲装置を有する。光源装置は、観察に必要な照明光を先端２０に供給する。湾曲装置は、挿入部２に内蔵された湾曲機構を湾曲させる。
【0044】
レンズ２１および撮像素子２８が挿入部２の先端２０に内蔵されている。レンズ２１は、観察光学系である。レンズ２１は、光学アダプターによって形成された被写体の光学像を取り込む。撮像素子２８は、イメージセンサである。撮像素子２８は、被写体の光学像を光電変換し、かつ撮像信号を生成する。レンズ２１および撮像素子２８は、１つの視点を持つ単眼のカメラを構成する。
【0045】
ＣＣＵ９は、撮像素子２８を駆動する。撮像素子２８から出力された撮像信号がＣＣＵ９に入力される。ＣＣＵ９は、撮像素子２８により取得された撮像信号に対して、増幅およびノイズ除去等を含む前処理を実施する。ＣＣＵ９は、前処理が施された撮像信号をＮＴＳＣ信号等の映像信号に変換する。
【0046】
制御装置１０は、映像信号処理回路１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４、カードインターフェース１５、外部機器インターフェース１６、制御インターフェース１７、およびＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１８を有する。
【0047】
映像信号処理回路１２は、ＣＣＵ９から出力された映像信号に対して、所定の映像処理を施す。例えば、映像信号処理回路１２は、視認性向上に関わる映像処理を行う。例えば、その映像処理は、色再現、階調補正、ノイズ抑制、および輪郭強調などである。例えば、映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８によって生成されたグラフィック画像信号とを合成する。グラフィック画像信号は、操作画面の画像等を含む。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。
【0048】
ＲＯＭ１３は、ＣＰＵ１８が内視鏡装置１の動作を制御するためのプログラムが記録された不揮発性の記録媒体である。ＲＡＭ１４は、ＣＰＵ１８が内視鏡装置１の制御のために使用する情報を一時的に記憶する揮発性の記録媒体である。ＣＰＵ１８は、ＲＯＭ１３に記録されたプログラムに基づいて内視鏡装置１の動作を制御する。
【0049】
メモリカード４２がカードインターフェース１５に接続される。メモリカード４２は、内視鏡装置１に着脱可能な記録媒体である。カードインターフェース１５は、メモリカード４２に記憶されている制御処理情報および画像情報等を制御装置１０に取り込む。また、カードインターフェース１５は、内視鏡装置１によって生成された制御処理情報および画像情報等をメモリカード４２に記録する。
【0050】
ＵＳＢ機器等の外部機器が外部機器インターフェース１６に接続される。例えば、パーソナルコンピュータ（ＰＣ）４１が外部機器インターフェース１６に接続される。外部機器インターフェース１６は、ＰＣ４１へ情報を送信し、かつＰＣ４１から情報を受信する。これによって、ＰＣ４１が情報を表示することができる。また、ユーザーは、ＰＣ４１に指示を入力することにより、内視鏡装置１の制御に関する操作を実施することができる。
【0051】
タービンの内部の動翼を回転させるためにターニングツール４３が使用されてもよい。ターニングツール４３は、動翼を回転させるための駆動力を発生する駆動装置である。動翼は、ターニングツール４３が発生する駆動力によって回転する。ターニングツール４３は外部機器インターフェース１６に接続される。外部機器インターフェース１６は、ターニングツール４３を制御するための制御情報をターニングツール４３に出力する。また、外部機器インターフェース１６は、ターニングツール４３の状態を示す状態情報を制御装置１０に取り込む。
【0052】
制御インターフェース１７は、操作部４、内視鏡ユニット８、およびＣＣＵ９と動作制御のための通信を行う。制御インターフェース１７は、ユーザーによって操作部４に入力された情報をＣＰＵ１８に通知する。制御インターフェース１７は、光源装置および湾曲装置を制御するための制御信号を内視鏡ユニット８に出力する。制御インターフェース１７は、撮像素子２８を制御するための制御信号をＣＣＵ９に出力する。
【0053】
ＣＰＵ１８が実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。この記録媒体に記録されたプログラムを内視鏡装置１以外のコンピュータが読み込み、かつ実行してもよい。例えば、ＰＣ４１がプログラムを読み込んで実行してもよい。ＰＣ４１は、プログラムに従って、内視鏡装置１を制御するための制御情報を内視鏡装置１に送信することにより内視鏡装置１を制御してもよい。あるいは、ＰＣ４１は、内視鏡装置１から映像信号を取得し、かつ取得された映像信号を処理してもよい。
【0054】
上記のように、内視鏡装置１は、撮像素子２８およびＣＰＵ１８を有する。撮像素子２８は、被写体を撮像し、かつ撮像信号を生成する。撮像信号は、被写体の画像を含む。したがって、撮像素子２８は、被写体を撮像することにより生成された、その被写体の画像を取得する。その画像は２次元画像（２Ｄ画像）である。撮像素子２８によって取得された画像は、映像信号処理回路１２を経由してＣＰＵ１８に入力される。
【0055】
挿入部２は撮像装置（カメラ）を構成する。撮像素子２８は本体部３に配置されてもよく、かつ光ファイバーが挿入部２に配置されてもよい。レンズ２１に入射した光は、その光ファイバーを通って撮像素子２８に到達してもよい。ボアスコープがカメラとして使用されてもよい。
【0056】
タービンは航空機エンジンまたは発電機に使用されている。ガスタービンまたはスチームタービン等が存在する。以下では、ガスタービンの構造を説明する。以下では、ガスタービンをタービンと呼ぶ。
【0057】
タービンは、圧縮セクション、燃焼室、およびタービンセクションを有する。圧縮セクションにおいて空気が圧縮される。圧縮された空気は燃焼室に送られる。燃料が燃焼室内で連続的に燃焼し、高温かつ高圧のガスが発生する。そのガスはタービンセクションにおいて膨張し、エネルギーを発生する。そのエネルギーを使用することにより圧縮機が回転し、残りのエネルギーは取り出される。圧縮セクションおよびタービンセクションにおいて、エンジンの回転軸に固定された動翼と、ケーシングに固定された静翼とが交互に配置されている。
【0058】
タービンは、タービンの内部の空間に配置された構成要素を有する。その構成要素は、タービンの内部で移動可能な移動物体またはタービンの内部で静止している静止物体である。移動物体は動翼である。静止物体は静翼またはシュラウドである。
【0059】
図３は、タービンＴＢ１０の圧縮セクションにおける動翼および静翼の配置を模式的に示す。図３は、エンジンの回転軸ＲＡ１０を通るタービンＴＢ１０の断面の一部を示す。タービンＴＢ１０は、圧縮セクションにおいて動翼ＲＴ１０、静翼ＳＴ１０、動翼ＲＴ１１、静翼ＳＴ１１、動翼ＲＴ１２、静翼ＳＴ１２、動翼ＲＴ１３、および静翼ＳＴ１３を有する。これらの動翼および静翼は回転軸ＲＡ１０の周りを方向ＤＲ１２に回転する。
【0060】
タービンＴＢ１０に取り込まれた空気は方向ＤＲ１１に流れる。動翼ＲＴ１０は、空気を取り込む低圧部に配置されている。動翼ＲＴ１３は、空気を出す高圧部に配置されている。
【0061】
タービンＴＢ１０を分解せずにタービンＴＢ１０の内部の検査を可能とするためにアクセスポートＡＰ１０が形成されている。タービンＴＢ１０は２つ以上のアクセスポートを有し、その２つ以上のアクセスポートのうちの１つがアクセスポートＡＰ１０として図３に示されている。アクセスポートＡＰ１０は、タービンＴＢ１０に形成された穴である。
【0062】
挿入部２は内視鏡を構成する。挿入部２は、アクセスポートＡＰ１０を通ってタービンＴＢ１０に挿入される。挿入部２がタービンＴＢ１０に挿入されるとき、挿入部２は方向ＤＲ１０に移動する。挿入部２がタービンＴＢ１０から引き抜かれるとき、挿入部２は方向ＤＲ１０と反対の方向に移動する。方向ＤＲ１０は、方向ＤＲ１２と異なる。挿入部２の先端２０から照明光ＬＴ１０が出射される。
【0063】
図４は、回転軸ＲＡ１０と平行な方向から見た２枚以上の動翼ＲＴ１０の配置を模式的に示す。図４において、８枚の動翼ＲＴ１０が円盤状のディスクＤＳ１０に配置されている。回転軸ＲＡ１０は、ディスクＤＳ１０の中心を通る。ディスクＤＳ１０は方向ＤＲ１２に回転する。そのため、８枚の動翼ＲＴ１０は方向ＤＲ１２に回転する。
【0064】
実際には、数十枚の動翼または１００枚を超える動翼が１つのディスクに配置されている。１つのディスクにおける動翼の枚数は、エンジンの機種に依存し、かつ低圧部から高圧部までの領域におけるディスクの位置に依存する。
【0065】
ユーザーは手動でディスクを回転させる、またはターニングツール４３がディスクを回転させる。挿入部２がアクセスポートＡＰ１０を通ってタービンＴＢ１０に挿入され、先端２０が固定される。ディスクが回転しているとき、ユーザーは２枚以上の動翼の検査を実施し、各動翼に異常があるか否かを判断する。この検査は、タービンの検査において主要な検査項目の１つである。
【0066】
図５は、内視鏡装置１によって取得された画像の例を示す。図５に示す画像ＩＭＧ１０は、高圧側の圧縮セクションの画像である。動翼ＲＴ１４、静翼ＳＴ１４、およびシュラウドＳＨ１０が画像ＩＭＧ１０に写っている。
【0067】
挿入部２の先端２０から被写体を見たとき、静翼ＳＴ１４は動翼ＲＴ１４の手前に配置され、かつシュラウドＳＨ１０は動翼ＲＴ１４の奥側に配置されている。先端２０と静翼ＳＴ１４との距離は、先端２０と動翼ＲＴ１４との距離よりも小さい。動翼ＲＴ１４によりシュラウドＳＨ１０が隠されている領域における先端２０とシュラウドＳＨ１０との距離は、先端２０と動翼ＲＴ１４との距離よりも大きい。動翼ＲＴ１４の一部は静翼ＳＴ１４によって隠される。
【0068】
撮像素子２８は、２枚以上の画像を生成する。その２枚以上の画像の各々は、その２枚以上の画像に含まれる他の画像と時間的に関連付けられている。例えば、２枚以上の画像の各々は静止画である。動画が静止画の代わりに使用されてもよい。動画に含まれる２つ以上のフレームの各々は、タイムスタンプ（タイムコード）によって互いに関連付けられている。
【0069】
ＲＡＭ１４は、撮像素子２８によって生成された２枚以上の画像を記憶する。ディスクが回転しているとき、挿入部２の先端２０（視点）に対する動翼の相対的な位置は２枚以上の画像間で異なる。あるいは、先端２０に対する動翼の相対的な位置および姿勢は２枚以上の画像間で異なる。つまり、動翼の位置は、撮像素子２８が画像を生成するタイミング毎に異なる。そのため、撮像素子２８によって生成された画像における動翼の位置（２次元座標）は変化する。ディスクが静止しているとき、撮像素子２８によって生成された画像における動翼の位置（２次元座標）は変化しない。
【0070】
また、ＲＡＭ１４は、３Ｄ復元処理に必要なパラメーターを記憶する。そのパラメーターは、カメラの内部パラメーター、カメラの歪み補正パラメーター、設定値、および縮尺情報等を含む。設定値は、被写体の３次元形状（３Ｄ形状）を示す３次元データ（３Ｄデータ）を生成するための各種処理に使用される。縮尺情報は、３Ｄデータの縮尺を被写体の実際の縮尺に変換するために使用される。
【0071】
メモリカード４２は、２枚以上の画像および上記のパラメーターを記憶してもよい。内視鏡装置１は、その２枚以上の画像およびパラメーターをメモリカード４２から読み出し、その２枚以上の画像およびパラメーターをＲＡＭ１４に記憶してもよい。
【0072】
内視鏡装置１は、外部機器インターフェース１６を経由して外部装置と無線通信または有線通信を実施してもよい。外部装置は、ＰＣ４１またはクラウドサーバー等である。内視鏡装置１は、撮像素子２８によって生成された２枚以上の画像を外部装置に送信してもよい。外部装置は、その２枚以上の画像および上記のパラメーターを記憶してもよい。内視鏡装置１は、その２枚以上の画像およびパラメーターを外部装置から受信し、その２枚以上の画像およびパラメーターをＲＡＭ１４に記憶してもよい。
【0073】
図６は、ＣＰＵ１８の機能構成を示す。ＣＰＵ１８は、制御部１８０、画像取得部１８１、領域検出部１８２、領域判断部１８３、３Ｄ復元部１８４、および表示制御部１８５として機能する。図６に示すブロックの少なくとも１つがＣＰＵ１８と異なる回路で構成されてもよい。
【0074】
制御部１８０は、図６に示す各部が実行する処理を制御する。
【0075】
画像取得部１８１は、２枚以上の画像および上記のパラメーターをＲＡＭ１４から取得する。画像取得部１８１は、外部機器インターフェース１６を経由してメモリカード４２または外部装置から２枚以上の画像および上記のパラメーターを取得してもよい。
【0076】
領域検出部１８２は、２枚以上の画像の各々における２つ以上の特徴領域を検出する。また、領域検出部１８２は、２枚以上の画像における同一の特徴領域（対応領域）を検出する。対応領域は、タービンが有する構成要素の領域である。
【0077】
例えば、第１の画像における第１の特徴領域と第２の画像における第２の特徴領域とが同一である場合、領域検出部１８２は、第１の特徴領域と第２の特徴領域とを対応領域として互いに関連付ける。第２の特徴領域が第３の画像における第３の特徴領域と同一である場合、領域検出部１８２は、第２の特徴領域と第３の特徴領域とを対応領域として互いに関連付ける。この場合、領域検出部１８２は、３枚の画像間で同一の対応領域を検出する。
【0078】
領域判断部１８３は、２枚以上の画像の各々における特徴領域が移動領域であるのか静止領域であるのかを判断する。これにより、領域判断部１８３は、その特徴領域を移動領域または静止領域に分類する。領域判断部１８３は、各画像の一部のみに含まれる特徴領域が移動領域であるのか静止領域であるのかを判断してもよい。領域判断部１８３は、各画像の全体に含まれる特徴領域が移動領域であるのか静止領域であるのかを判断してもよい。各画像が移動領域および静止領域を含む場合がある。あるいは、各画像が移動領域のみまたは静止領域のみを含む場合がある。
【0079】
３Ｄ復元部１８４は、２枚以上の画像の特徴領域のうち移動領域であると判断された対応領域を使用することにより３Ｄ復元処理を実行し、３Ｄデータを生成する。このとき、３Ｄ復元部１８４は、２枚以上の画像の特徴領域のうち静止領域であると判断された対応領域を使用しない。
【0080】
３Ｄデータは、被写体の２つ以上の領域の３次元座標（３Ｄ座標）、カメラ座標、および姿勢情報を含む。カメラ座標は、２枚以上の画像の各々を取得したカメラの３Ｄ座標を示し、かつ２枚以上の画像の各々と関連付けられている。カメラ座標は、各画像が取得されたときの視点の３Ｄ座標を示す。例えば、カメラ座標は、カメラが有する観察光学系の３Ｄ座標を示す。姿勢情報は、２枚以上の画像の各々を取得したカメラの姿勢を示し、かつ２枚以上の画像の各々と関連付けられている。例えば、姿勢情報は、カメラが有する観察光学系の姿勢を示す。
【0081】
表示制御部１８５は、映像信号処理回路１２によって実行される処理を制御する。ＣＣＵ９は、映像信号を出力する。映像信号は、撮像素子２８によって生成された画像の各画素のカラーデータを含む。表示制御部１８５は、映像信号処理回路１２に、ＣＣＵ９から出力された映像信号を表示部５に出力させる。映像信号処理回路１２は、映像信号を表示部５に出力する。表示部５は、映像信号処理回路１２から出力された映像信号に基づいて画像を表示する。これにより、表示制御部１８５は、撮像素子２８によって生成された画像を表示部５に表示する。
【0082】
表示制御部１８５は、各種情報を表示部５に表示する。つまり、表示制御部１８５は、画像上に各種情報を表示する。
【0083】
例えば、表示制御部１８５は、各種情報のグラフィック画像信号を生成する。表示制御部１８５は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８から出力されたグラフィック画像信号とを合成する。これにより、各種情報が画像に重畳される。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、各種情報が重畳された画像を表示する。
【0084】
また、表示制御部１８５は、３Ｄデータのグラフィック画像信号を生成する。表示制御部１８５は、そのグラフィック画像信号を映像信号処理回路１２に出力する。前述した処理と同様の処理が実行され、表示部５は、３Ｄデータの画像を表示する。これにより、表示制御部１８５は、３Ｄデータの画像を表示部５に表示する。
【0085】
図６に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。例えば、プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、およびＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の少なくとも１つである。例えば、論理回路は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）の少なくとも１つである。図６に示す各部は、１つまたは複数のプロセッサを含むことができる。図６に示す各部は、１つまたは複数の論理回路を含むことができる。
【0086】
内視鏡装置１のコンピュータがプログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。そのプログラムは、図６に示す各部の動作を規定する命令を含む。つまり、図６に示す各部の機能はソフトウェアにより実現されてもよい。
【0087】
上記のプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。そのプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波により内視鏡装置１に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク（通信網）および電話回線等の通信回線（通信線）を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル（差分プログラム）であってもよい。前述した機能は、コンピュータに既に記録されているプログラムと差分プログラムとの組合せによって実現されてもよい。
【0088】
以下では、第１の実施形態の特徴的な処理について説明する。以下の説明では、３Ｄデータは、内視鏡機器が取得した２枚以上の画像を使用することにより生成されることを想定している。２枚以上の画像を取得する検査機器は内視鏡機器に限らない。カメラを有する機器を使用することによりタービンの内部の構成要素の画像が取得される限り、どのような機器が使用されてもよい。
【0089】
制御装置１０は３Ｄデータ生成装置として機能する。本発明の各態様の３Ｄデータ生成装置は、内視鏡機器とは別体のＰＣのようなコンピュータシステムであってもよい。３Ｄデータ生成装置は、デスクトップＰＣ、ラップトップＰＣ、およびタブレット端末のいずれであってもよい。３Ｄデータ生成装置は、クラウド上で動作するコンピュータシステムであってもよい。
【0090】
【0091】
図７に示す処理が開始されたとき、制御部１８０は、ＲＡＭ１４から取得される画像を管理するための番号ｎを０に設定する（ステップＳ１００）。
【0092】
ステップＳ１００の後、制御部１８０は、画像を取得するために番号ｎを１だけ増加させる（ステップＳ１０１）。ステップＳ１０１が初めて実行されたとき、番号ｎは１に設定される。
【0093】
ステップＳ１０１の後、画像取得部１８１は、番号ｎが示す画像ＩＭＧｎをＲＡＭ１４から取得する（ステップＳ１０２）。ステップＳ１０２が初めて実行されたとき、画像取得部１８１は画像ＩＭＧ１を取得する。
【0094】
ステップＳ１０２の後、領域検出部１８２は、画像ＩＭＧｎを解析し、画像ＩＭＧｎに写っている被写体の２つ以上の特徴領域を検出する（ステップＳ１０３）。
【0095】
特徴領域は、画像に写っている領域のうち、画像輝度勾配の大きいコーナーまたはエッジ等を示す。特徴領域は、画像の最小単位である１ピクセルで構成されてもよい。あるいは、特徴領域は２つ以上のピクセルで構成されてもよい。領域検出部１８２は、ＳＩＦＴ（Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）またはＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）等を使用することにより特徴領域を検出する。
【0096】
【0097】
ステップＳ１０３の後、制御部１８０は、番号ｎが１であるか否かを判断する（ステップＳ１０４）。
【0098】
第１の実施形態において、領域判断部１８３は、後述するステップＳ１０６において２枚の画像間における被写体の領域の動き量を算出する。そのため、少なくとも撮影時刻の異なる２枚の画像がＲＡＭ１４から取得される必要がある。番号ｎが１であると制御部１８０がステップＳ１０４において判断したとき、ステップＳ１０１が実行される。番号ｎが１ではないと制御部１８０がステップＳ１０４において判断したとき、後述するステップＳ１０５が実行される。
【0099】
番号ｎが２以上であるとき、画像ＩＭＧ（ｎ－１）および画像ＩＭＧｎの各々において２つ以上の特徴領域が既に検出されている。撮像素子２８が画像ＩＭＧｎを生成するタイミングは、撮像素子２８が画像ＩＭＧ（ｎ－１）を生成するタイミングと異なる。領域検出部１８２は、画像ＩＭＧ（ｎ－１）および画像ＩＭＧｎにおける同一の特徴領域（対応領域）を検出する（ステップＳ１０５）。
【0100】
領域検出部１８２は、ステップＳ１０５において以下の処理を実行する。領域検出部１８２は、画像ＩＭＧ（ｎ－１）および画像ＩＭＧｎ間の特徴領域の相関度を算出する。領域検出部１８２がその２枚の画像間で高い相関度を持つ特徴領域を発見した場合、領域検出部１８２は、その特徴領域（対応領域）の情報（対応情報）をＲＡＭ１４に保持する。これにより、領域検出部１８２は、２枚の画像の特徴領域を互いに関連付ける。一方、領域検出部１８２がその２枚の画像間で高い相関度を持つ特徴領域を発見しなかった場合、領域検出部１８２は画像ＩＭＧ（ｎ－１）および画像ＩＭＧｎ間の対応領域の情報を破棄する。
【0101】
図９は、２枚の画像間で同一の特徴領域の例を示す。画像ＩＭＧ（ｎ－１）における２つ以上の特徴領域と、画像ＩＭＧｎにおける２つ以上の特徴領域とが図９に示されている。図８に示す画像ＩＭＧｎがステップＳ１０２において取得された後、番号ｎがステップＳ１０１において１だけ増加する。その後、図９に示す画像ＩＭＧｎがステップＳ１０２において取得される。図９に示す画像ＩＭＧ（ｎ－１）は、図８に示す画像ＩＭＧｎと同じである。
【0102】
対応情報Ｍ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５，Ｍ６は、画像ＩＭＧ（ｎ－１）および画像ＩＭＧｎ間で同一の特徴領域を示す。対応情報Ｍ１は、画像ＩＭＧ（ｎ－１）における特徴領域Ｐ１（ｎ－１）が画像ＩＭＧｎにおける特徴領域Ｐ１ｎと同一であることを示す。対応情報Ｍ２は、画像ＩＭＧ（ｎ－１）における特徴領域Ｐ２（ｎ－１）が画像ＩＭＧｎにおける特徴領域Ｐ２ｎと同一であることを示す。対応情報Ｍ３は、画像ＩＭＧ（ｎ－１）における特徴領域Ｐ３（ｎ－１）が画像ＩＭＧｎにおける特徴領域Ｐ３ｎと同一であることを示す。対応情報Ｍ４は、画像ＩＭＧ（ｎ－１）における特徴領域Ｐ４（ｎ－１）が画像ＩＭＧｎにおける特徴領域Ｐ４ｎと同一であることを示す。対応情報Ｍ５は、画像ＩＭＧ（ｎ－１）における特徴領域Ｐ５（ｎ－１）が画像ＩＭＧｎにおける特徴領域Ｐ５ｎと同一であることを示す。対応情報Ｍ６は、画像ＩＭＧ（ｎ－１）における特徴領域Ｐ６（ｎ－１）が画像ＩＭＧｎにおける特徴領域Ｐ６ｎと同一であることを示す。
【0103】
１つの画像における特徴領域が常に他の画像における特徴領域と同一であるとは限らない。例えば、画像ＩＭＧ（ｎ－１）の端部において検出された特徴領域は、画像ＩＭＧｎが取得されるときにカメラの視野から外れる可能性がある。また、ボケ等の影響により、２枚の画像間で特徴領域を互いに関連付けることが困難である場合がある。そのため、各画像における特徴領域の数は、他の画像における特徴領域と同一の特徴領域の数以上である。
【0104】
ステップＳ１０５の後、領域判断部１８３は、画像ＩＭＧ（ｎ－１）と画像ＩＭＧｎとの間における被写体の領域の動き量を算出する（ステップＳ１０６）。
【0105】
領域判断部１８３は、ステップＳ１０６において以下の処理を実行する。領域判断部１８３は、図１０に示すように、画像ＩＭＧｎの領域を２つ以上のグリッド状の小領域に分割する。図１０に示す例では、画像ＩＭＧｎの領域は横方向に７つに分割され、縦方向に６つに分割される。画像ＩＭＧｎの領域は４２個の小領域に分割される。小領域の形状はグリッドに限らない。小領域の形状は円などであってもよい。領域判断部１８３は、上記と同様の方法を使用することにより、画像ＩＭＧ（ｎ－１）の領域を２つ以上のグリッド状の小領域に分割する。
【0106】
領域判断部１８３は、特定の小領域と対応する特徴領域の対応情報を参照する。対応情報は、２枚の画像間で同一の特徴領域を示す。領域判断部１８３は、画像ＩＭＧ（ｎ－１）の小領域と画像ＩＭＧｎの小領域との間の代表的な動き量を算出する。画像ＩＭＧ（ｎ－１）の小領域および画像ＩＭＧｎの小領域は、対応情報において互いに関連付けられている。
【0107】
領域判断部１８３は、代表的な動き量として、統計量を使用することができる。統計量は、平均値または中央値等である。
【0108】
領域判断部１８３は、小領域に含まれる２つ以上の特徴領域の動き量の偏差またはその２つ以上の特徴領域の動きの方向の偏差に基づいて、動き量の信頼性を判断してもよい。例えば、動きの方向に統一性がない場合、２枚の画像間で同一の特徴領域が正しく互いに関連付けられていない可能性がある。その場合、領域判断部１８３は、動き量の信頼性が低いと判断してもよい。ある小領域に関する動き量または動きの方向が他の全ての小領域に関する動き量または動きの方向と異なるとき、領域判断部１８３は、その動き量が異常であると判断し、その動き量を除外してもよい。
【0109】
領域判断部１８３は、画像ＩＭＧｎの全ての小領域を使用することにより上記の処理を実行し、各小領域の代表的な動き量を算出する。
【0110】
ステップＳ１０６の後、領域判断部１８３は、動き量に基づいて画像ＩＭＧｎの小領域が移動領域であるのか静止領域であるのかを判断する（ステップＳ１０７）。
【0111】
領域判断部１８３は、ステップＳ１０７において以下の処理を実行する。領域判断部１８３は、各小領域の代表的な動き量と閾値とを比較する。閾値は、予め設定される。あるいは、閾値は、検査の状況に応じて算出される。動き量が閾値よりも大きいとき、領域判断部１８３は、小領域が移動領域であると判断する。動き量が閾値以下であるとき、領域判断部１８３は、小領域が静止領域であると判断する。
【0112】
ステップＳ１０７の後、３Ｄ復元部１８４は、移動領域であるとステップＳ１０７において判断された小領域に含まれる特徴領域を画像ＩＭＧｎの領域から抽出する。これにより、３Ｄ復元部１８４は、移動領域と対応する特徴領域を抽出する（ステップＳ１０８）。
【0113】
３Ｄ復元部１８４は、静止領域であるとステップＳ１０７において判断された小領域に含まれる特徴領域を画像ＩＭＧｎの領域から抽出しない。つまり、３Ｄ復元部１８４は、静止領域と対応する特徴領域を抽出しない。そのため、静止領域と対応する特徴領域は３Ｄ復元処理に使用されない。
【0114】
図１１を使用することにより、ステップＳ１０７およびステップＳ１０８の詳細を説明する。画像ＩＭＧ（ｎ－１）における２つ以上の特徴領域と、画像ＩＭＧｎにおける２つ以上の特徴領域とが図１１に示されている。各特徴領域は、図９に示す特徴領域と同じである。
【0115】
領域判断部１８３は、画像ＩＭＧ（ｎ－２）および画像ＩＭＧ（ｎ－１）を使用することにより、画像ＩＭＧ（ｎ－１）の各小領域の動き量を算出する。領域判断部１８３は、動き量に基づいて画像ＩＭＧ（ｎ－１）の２つ以上の特徴領域を移動領域および静止領域ＭＳ（ｎ－１）に分類する。移動領域は、特徴領域Ｐ２（ｎ－１），Ｐ３（ｎ－１），Ｐ４（ｎ－１），Ｐ５（ｎ－１）を含む。
【0116】
領域判断部１８３は、画像ＩＭＧ（ｎ－１）および画像ＩＭＧｎを使用することにより、画像ＩＭＧｎの各小領域の動き量を算出する。領域判断部１８３は、動き量に基づいて画像ＩＭＧｎの２つ以上の特徴領域を移動領域および静止領域ＭＳｎに分類する。移動領域は、特徴領域Ｐ２ｎ，Ｐ３ｎ，Ｐ４ｎ，Ｐ５ｎを含む。
【0117】
３Ｄ復元部１８４は、移動領域と対応する特徴領域をステップＳ１０８において抽出する。３Ｄ復元部１８４は、静止領域ＭＳ（ｎ－１）または静止領域ＭＳｎと対応する特徴領域をステップＳ１０８において抽出しない。
【0118】
ステップＳ１０２において新しい画像が取得されるたびに上記と同様の処理が実行される。
【0119】
ステップＳ１０８の後、３Ｄ復元部１８４は、移動領域と対応する特徴領域を使用することにより３Ｄ復元処理を実行する（ステップＳ１０９）。３Ｄ復元部１８４は、３Ｄ復元処理に必要なパラメーターをＲＡＭ１４から読み込み、そのパラメーターを３Ｄ復元処理に使用する。
【0120】
３Ｄ復元部１８４は、ステップＳ１０９において以下の処理を実行する。図１２は、２枚の画像が取得されるときの画像取得の状況を模式的に示す。
【0121】
図１２に示すように、最初にカメラの撮像状態ｃ１において画像Ｉ１が取得される。次に、カメラの撮像状態ｃ２において画像Ｉ２が取得される。撮像状態ｃ１と撮像状態ｃ２とでは、撮像位置および撮像姿勢の少なくとも１つが異なる。図１２において、撮像状態ｃ１と撮像状態ｃ２とでは、撮像位置および撮像姿勢の両方が異なる。
【0122】
本発明の各実施形態では、画像Ｉ１および画像Ｉ２は同じ内視鏡によって取得されることを想定している。また、本発明の各実施形態では、内視鏡の対物光学系のパラメーターが変化しないことを想定している。対物光学系のパラメーターは、焦点距離、歪曲収差、およびイメージセンサのピクセルサイズ等である。以下では、対物光学系のパラメーターを便宜上、内部パラメーターと略す。このような条件を仮定したとき、内視鏡の光学系の特性が記述された内部パラメーターは、カメラ（観察光学系）の位置および姿勢に関わらず共通に使用できる。本発明の各実施形態では、内部パラメーターは工場出荷時に取得されていることを想定している。また、本発明の各実施形態では、画像の取得時には内部パラメーターは既知であることを想定している。
【0123】
例えば、画像Ｉ１および画像Ｉ２は静止画である。画像Ｉ１および画像Ｉ２は、動画から抽出された特定のフレームであってもよい。本発明の各実施形態では、画像Ｉ１および画像Ｉ２は１つの内視鏡によって取得されることを想定している。しかし、本発明はこれに限らない。例えば、複数の内視鏡によって取得された複数の動画を使用して３Ｄデータを生成する場合においても、本発明を適用できる。この場合、画像Ｉ１および画像Ｉ２は、互いに異なる内視鏡装置を使用して取得され、内視鏡毎に別々の内部パラメーターが保持されてさえいればよい。仮に内部パラメーターが未知であっても、内部パラメーターを変数として計算を実施することはできる。そのため、内部パラメーターが既知であるか否かにより以後の手順が大きく変わることはない。
【0124】
図１２は、座標Ｐ１１における特徴領域が画像Ｉ１から検出され、かつ座標Ｐ１２における特徴領域が画像Ｉ２から検出された例を示す。座標Ｐ１１における特徴領域と、座標Ｐ１２における特徴領域とは、被写体上の座標Ｐ１における領域と対応する。これらの特徴領域は、ステップＳ１０３において検出され、かつステップＳ１０５において互いに関連付けられる。
【0125】
図１２では各画像の１つの特徴領域のみが表示されているが、実際には各画像において２つ以上の特徴領域が検出される。検出される特徴領域の数は画像間で異なる可能性がある。各画像から検出された各特徴領域は特徴量というデータに変換される。特徴量は、特徴領域の特徴を表すデータである。
【0126】
【0127】
３Ｄ復元部１８４は、２枚の画像間で互いに関連付けられた特徴領域の座標をＲＡＭ１４から読み出す。その座標は、各画像における特徴領域の座標のペアである。３Ｄ復元部１８４は、読み出された座標に基づいて、位置姿勢算出処理を実行する（ステップＳ１０９ａ）。３Ｄ復元部１８４は、位置姿勢算出処理において、画像Ｉ１を取得したカメラの撮像状態ｃ１と画像Ｉ２を取得したカメラの撮像状態ｃ２との間の相対的な位置および姿勢を算出する。より具体的には、３Ｄ復元部１８４は、エピポーラ制約を利用した以下の方程式（１）を解くことにより、行列Ｅを算出する。
【0128】
【数1】
【0129】
行列Ｅは基本行列と呼ばれる。基本行列Ｅは、画像Ｉ１を取得したカメラの撮像状態ｃ１と画像Ｉ２を取得したカメラの撮像状態ｃ２との間の相対的な位置および姿勢を保持する行列である。方程式（１）において、行列ｐ１は、画像Ｉ１から検出された特徴領域の座標を含む行列である。行列ｐ２は、画像Ｉ２から検出された特徴領域の座標を含む行列である。基本行列Ｅは、カメラの相対的な位置および姿勢に関する情報を含んでいるため、カメラの外部パラメーターに相当する。３Ｄ復元部１８４は、公知のアルゴリズムを使用することにより基本行列Ｅを解くことができる。
【0130】
図１２に示すように、カメラの位置変化量（相対的な位置）がｔであり、かつカメラの姿勢変化量（相対的な姿勢）がＲである場合、式（２）および式（３）が成り立つ。
【0131】
【数2】
【0132】
式（２）において、ｘ軸方向の移動量はｔｘと表され、ｙ軸方向の移動量はｔｙと表され、かつｚ軸方向の移動量はｔｚと表される。式（３）において、ｘ軸周りの回転量αはＲｘ（α）と表され、ｙ軸周りの回転量βはＲｙ（β）と表され、かつｚ軸周りの回転量γはＲｚ（γ）と表される。基本行列Ｅが算出された後、３Ｄ座標の復元精度を高めるためにバンドル調整と呼ばれる最適化処理が実行されてもよい。
【0133】
３Ｄ復元部１８４は、算出されたカメラの位置変化量を使用することにより３Ｄデータの座標系における３Ｄ座標（カメラ座標）を算出する。例えば、３Ｄ復元部１８４は、画像Ｉ１を取得したカメラの３Ｄ座標を定義する。３Ｄ復元部１８４は、画像Ｉ１を取得したカメラの３Ｄ座標と、画像Ｉ２を取得したカメラの位置変化量とに基づいて、画像Ｉ２を取得したカメラの３Ｄ座標を算出する。
【0134】
３Ｄ復元部１８４は、算出されたカメラの姿勢変化量を使用することにより３Ｄモデルの座標系における姿勢情報を算出する。例えば、３Ｄ復元部１８４は、画像Ｉ１を取得したカメラの姿勢情報を定義する。３Ｄ復元部１８４は、画像Ｉ１を取得したカメラの姿勢情報と、画像Ｉ２を取得したカメラの姿勢変化量とに基づいて、画像Ｉ２を取得したカメラの姿勢情報を生成する。
【0135】
３Ｄ復元部１８４は、位置姿勢算出処理（ステップＳ１０９ａ）を実行することにより、３次元形状（３Ｄ形状）のデータ（３Ｄ形状データ）を生成する。３Ｄ形状データは、カメラの位置における３Ｄ座標（カメラ座標）と、カメラの姿勢を示す姿勢情報とを含む。また、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎまたはｖｉｓｕａｌ－ＳＬＡＭ等の方法が位置姿勢算出処理（ステップＳ１０９ａ）に適用される場合、３Ｄ復元部１８４はさらに、ステップＳ１０９ａにおいて各特徴領域の３Ｄ座標を算出する。ステップＳ１０９ａにおいて生成された３Ｄ形状データは、特徴領域以外の被写体上の領域の３Ｄ座標を含まない。そのため、３Ｄ形状データは、被写体の疎な３Ｄ形状を示す。
【0136】
３Ｄ形状データは、各特徴領域の３Ｄ座標、上記のカメラ座標、および上記の姿勢情報を含む。各特徴領域の３Ｄ座標は、３Ｄデータの座標系において定義される。各特徴領域の３Ｄ座標は、各特徴領域の２次元座標（２Ｄ座標）と関連付けられている。各特徴領域の２Ｄ座標は、各特徴領域が含まれる画像の座標系において定義される。各特徴領域の２Ｄ座標および３Ｄ座標は、各特徴領域が含まれる画像と関連付けられている。
【0137】
ステップＳ１０９ａの後、３Ｄ復元部１８４は、ステップＳ１０９ａにおいて算出されたカメラの相対的な位置および姿勢（位置変化量ｔおよび姿勢変化量Ｒ）に基づいて、３次元形状復元処理を実行する（ステップＳ１０９ｂ）。３Ｄ復元部１８４は、３次元形状復元処理において、被写体の３Ｄデータを生成する。被写体の３次元形状を復元する手法としては、ＰＭＶＳ（Ｐａｔｃｈ－ｂａｓｅｄ Ｍｕｌｔｉ－ｖｉｅｗ Ｓｔｅｒｅｏ）、および平行化ステレオを使用するマッチング処理等が挙げられる。しかし、特に手段を限定する訳ではない。
【0138】
３Ｄ復元部１８４は、ステップＳ１０９ｂにおいて、特徴領域以外の被写体上の領域の３Ｄ座標を算出する。特徴領域以外の各領域の３Ｄ座標は、３Ｄデータの座標系において定義される。各領域の３Ｄ座標は、各領域の２Ｄ座標と関連付けられている。各領域の２Ｄ座標は、各領域が含まれる２Ｄ画像の座標系において定義される。各領域の２Ｄ座標および３Ｄ座標は、各領域が含まれる２Ｄ画像と関連付けられている。３Ｄ復元部１８４は、３Ｄ形状データを更新する。更新された３Ｄ形状データは、各特徴領域の３Ｄ座標、特徴領域以外の各領域の３Ｄ座標、カメラ座標、および姿勢情報を含む。ステップＳ１０９ｂにおいて更新された３Ｄ形状データは、特徴領域の３Ｄ座標に加えて特徴領域以外の被写体上の領域の３Ｄ座標を含む。そのため、３Ｄ形状データは、被写体の密な３Ｄ形状を示す。
【0139】
ステップＳ１０９ｂの後、３Ｄ復元部１８４は、３次元形状復元処理（ステップＳ１０９ｂ）において処理された３Ｄ形状データと、ＲＡＭ１４から読み込まれた縮尺情報とに基づいて縮尺変換処理を実行する（ステップＳ１０９ｃ）。３Ｄ復元部１８４は、縮尺変換処理において、被写体の３Ｄ形状データを、長さの次元を持つ３Ｄ座標データ（３Ｄデータ）へと変換する。ステップＳ１０９ｃが実行されたとき、３Ｄ復元処理が終了する。
【0140】
処理時間を短縮するために、ステップＳ１０９ｂが省略されてもよい。この場合、ステップＳ１０９ａが実行された後、ステップＳ１０９ｂが実行されずにステップＳ１０９ｃが実行される。
【0141】
ステップＳ１０９ｃが省略されてもよい。この場合、ステップＳ１０９ｂが実行された後、ステップＳ１０９ｃが実行されずに、３Ｄ復元処理が終了する。この場合、３Ｄデータは、長さの次元を持たない被写体の相対的な形状を示す。
【0142】
図１２に示す原理に従って３Ｄデータが生成されるためには、各画像の領域の少なくとも一部と、それ以外の少なくとも１枚の画像の各々の領域の少なくとも一部とが共通である必要がある。つまり、第１の画像の領域と、第１の画像と異なる第２の画像の領域とは、共通領域を含む。第１の画像において共通領域以外の領域と、第２の画像において共通領域以外の領域とは、互いに異なる。
【0143】
例えば、３Ｄ復元部１８４は、ステップＳ１０９において、画像ＩＭＧ（ｎ－１）の特徴領域および画像ＩＭＧｎの特徴領域を使用することにより３Ｄデータを生成する。各画像の特徴領域は、ステップＳ１０８において抽出された移動領域と対応する。ステップＳ１０９が２回以上実行されたとき、３Ｄ復元部１８４は、前回実行されたステップＳ１０９において生成された３Ｄデータと、今回実行されたステップＳ１０９において生成された３Ｄデータとを合成する。
【0144】
画像Ｉ１および画像Ｉ２は、動画において時間的に連続する２枚のフレームである必要はない。動画において画像Ｉ１および画像Ｉ２の間に１枚以上のフレームが存在してもよい。
【0145】
図７を再度使用することにより内視鏡装置１が実行する処理について説明する。
【0146】
ステップＳ１０９の後、制御部１８０は、番号ｎが所定の番号に到達したか否かを判断する。これにより、制御部１８０は、全ての画像が取得されたか否かを判断する（ステップＳ１１０）。
【0147】
例えば、所定の番号は、動画の最後のフレームの番号またはソフトウェア上で予め設定された番号である。所定の番号は、ユーザーが終了操作を実施したときに処理中のフレームの番号であってもよい。この場合、所定の番号は、ユーザーが終了操作を実施するタイミングに応じて変化する。
【0148】
番号ｎが所定の番号に到達していないと制御部１８０がステップＳ１１０において判断したとき、ステップＳ１０１が実行される。この場合、ステップＳ１０２において新しい画像が取得され、前述した処理が繰り返される。番号ｎが所定の番号に到達したと制御部１８０がステップＳ１１０において判断したとき、表示制御部１８５は、ステップＳ１０９において生成された３Ｄデータの画像を表示部５に表示する（ステップＳ１１１）。ステップＳ１１１が実行されたとき、３Ｄデータ生成処理が終了する。
【0149】
内視鏡装置１は、ステップＳ１１１を実行する代わりに、生成された３ＤデータをＲＡＭ１４またはメモリカード４２に記憶してもよい。あるいは、内視鏡装置１は、生成された３Ｄデータを外部装置に送信してもよい。外部装置は、ＰＣ４１またはクラウドサーバー等である。
【0150】
ステップＳ１１１が実行された後、ユーザーは、表示部５に表示された３Ｄデータにおける計測位置を指定してもよい。内視鏡装置１は、３Ｄデータを使用することにより計測を実行してもよい。
【0151】
上記の例では、ステップＳ１０３において２つ以上の特徴領域が検出された後、ステップＳ１０７において移動領域および静止領域に関する判断が実行される。ステップＳ１０３において２つ以上の仮の特徴領域が検出され、かつステップＳ１０７において移動領域および静止領域に関する判断が実行された後、移動領域の情報に基づいて正式な特徴領域が算出されてもよい。
【0152】
【0153】
表示制御部１８５は、図１４に示すダイアログボックスＤＢ１０を表示部５の画面に表示する。ダイアログボックスＤＢ１０は、領域ＲＧ１０、領域ＲＧ１１、ボタンＢＴ１０、ボタンＢＴ１１、およびシークバーＳＢ１０を含む。
【0154】
【0155】
ユーザーは、操作部４を操作することによりボタンＢＴ１０およびボタンＢＴ１１を操作する。表示部５がタッチパネルとして構成されている場合、ユーザーは表示部５の画面をタッチすることにより、ボタンＢＴ１０およびボタンＢＴ１１を操作する。
【0156】
ユーザーは、動画をＲＡＭ１４から読み込むためにボタンＢＴ１０を押す。ボタンＢＴ１０が押された後、動画のフレームが領域ＲＧ１０に表示される。図１４は、ボタンＢＴ１０が押された後のダイアログボックスＤＢ１０を示す。
【0157】
ユーザーは、操作部４を操作する、または表示部５の画面をタッチすることにより、領域ＲＧ１０上で所定の操作を実施してもよい。所定の操作が実施されたとき、動画の再生または一時停止を示す指示が内視鏡装置１に入力されてもよい。ダイアログボックスＤＢ１０は、動画の再生または一時停止を示す指示を入力するためのボタンを含んでもよい。
【0158】
シークバーＳＢ１０は、領域ＲＧ１０に表示されたフレームの位置を示す。ユーザーは、操作部４を操作する、または表示部５の画面をタッチすることにより、シークバーＳＢ１０におけるフレームの位置を変更することができる。また、ユーザーは、操作部４を操作する、または表示部５の画面をタッチすることにより、３Ｄ復元処理を開始するフレームＦＲ１０と、３Ｄ復元処理を終了するフレームＦＲ１１とを指定することができる。
【0159】
上記の例では、ユーザーが、３Ｄ復元処理を開始する開始フレームと、３Ｄ復元処理を終了する終了フレームとを指定する。制御部１８０が開始フレームおよび終了フレームを自動的に指定してもよい。例えば、制御部１８０は、被写体が動いている動画の区間を検出してもよい。あるいは、制御部１８０は、傷などの異常が写っている動画の区間を検出してもよい。その区間は、動画の２枚以上のフレームを含む。制御部１８０は、その区間の最初のフレームを開始フレームとして指定してもよく、かつその区間の最後のフレームを終了フレームとして指定してもよい。
【0160】
開始フレームおよび終了フレームの一方のみがユーザーによって指定されてもよい。あるいは、開始フレームおよび終了フレームの一方のみが自動的に指定されてもよい。３Ｄ復元処理に使用されるフレームを含む区間を設定する方法は、上記の例に限らない。
【0161】
ユーザーは、３Ｄ復元処理を開始するためにボタンＢＴ１１を押す。ボタンＢＴ１１が押された後、図７に示す３Ｄデータ生成処理が開始される。図１５は、ボタンＢＴ１１が押された後のダイアログボックスＤＢ１０を示す。
【0162】
ボタンＢＴ１１が押された後、ボタンＢＴ１１は、３Ｄ復元処理を中断するためのボタンＢＴ１２に変更される。３Ｄデータ生成処理が実行されているとき、ユーザーは任意のタイミングでボタンＢＴ１２を押すことにより、３Ｄデータ生成処理を中断する指示を内視鏡装置１に入力することができる。ユーザーがボタンＢＴ１２を押したとき、制御部１８０は、現在の番号ｎを、ステップＳ１１０において使用される所定の番号として設定する。現在の番号ｎに関する処理が終了した後、ステップＳ１１１が実行される。
【0163】
シークバーＳＢ１０は、現在の番号ｎと対応するフレームＦＲ１２を表示する。ユーザーは、３Ｄ復元処理が開始されたフレームＦＲ１０から３Ｄ復元処理が中断されたフレームＦＲ１２までの処理の進捗状況を確認することができる。
【0164】
表示制御部１８５は、３Ｄデータの画像３Ｄ１０を領域ＲＧ１１に表示する。画像３Ｄ１０は、フレームＦＲ１０からフレームＦＲ１２を使用することにより生成された３Ｄデータを示す。図１５に示す例では、その３Ｄデータは、復元された７枚の動翼の３Ｄ形状を示す。図１５に示す例では、番号が各動翼に割り当てられ、その番号が表示される。図１５に示す例では、８枚の動翼が配置されており、残りの１枚の動翼の３Ｄデータはまだ生成されていない。
【0165】
動翼に番号を割り当てる方法として、どのような方法が使用されてもよい。以下では、動翼に番号を割り当てる方法の例を説明する。
【0166】
例えば、３Ｄ復元部１８４は、機械学習等の画像認識技術を使用することにより、領域ＲＧ１０に表示された画像における動翼を認識してもよく、かつ認識された動翼の枚数に応じて各動翼に番号を割り当ててもよい。ターニングツール４３が動翼を回転させる場合、３Ｄ復元部１８４は、動翼の回転角度を示す情報をターニングツール４３から取得してもよい。３Ｄ復元部１８４は、動翼の回転角度と、ディスクの外周に固定されている動翼の枚数とに基づいて、領域ＲＧ１０に表示された画像に写っている動翼を特定してもよい。３Ｄ復元部１８４は、特定された動翼に番号を割り当ててもよい。ディスクの外周に固定されている動翼の枚数は既知である。
【0167】
３Ｄ復元部１８４は、生成された３Ｄデータに形状認識技術を適用し、動翼に近い形状を持つ物体を認識してもよい。３Ｄ復元部１８４は、その物体に番号を割り当ててもよい。
【0168】
３Ｄデータ生成装置が内視鏡装置１以外の装置である場合、制御部１８０は、撮像素子２８によって生成された２枚以上の画像を、外部機器インターフェース１６を経由して３Ｄデータ生成装置に送信してもよい。３Ｄデータ生成装置は、その２枚以上の画像を受信し、図７に示す処理と同様の処理を実行してもよい。
【0169】
本発明の各態様の３Ｄデータ生成方法は、タービンの内部の３Ｄ形状を示す３Ｄデータを生成する。３Ｄデータ生成方法は、画像取得ステップ、領域検出ステップ、領域判断ステップ、およびデータ生成ステップを有する。
【0170】
ＣＰＵ１８は、画像取得ステップ（ステップＳ１０２）において、タービンの内部の構成要素の２枚以上の画像を取得する。その構成要素は、タービンの内部で移動可能な第１の物体と、タービンの内部で静止している第２の物体とを含む。その２枚以上の画像は、タービンの内部の光を取り込む管状の挿入部２を有する撮像装置によって生成される。挿入部２は、タービンに形成された穴（アクセスポートＡＰ１０）を通ってタービンに挿入される。挿入部２がタービンに挿入されるときの挿入部２の移動方向（方向ＤＲ１０）は第１の物体の移動方向（方向ＤＲ１２）と異なる。第１の物体が移動している間、挿入部２に対する第１の物体の位置は、撮像装置が画像を生成するタイミング毎に異なる。
【0171】
ＣＰＵ１８は、領域検出ステップ（ステップＳ１０５）において、その２枚以上の画像に含まれる少なくとも２枚の画像におけるその構成要素の同一領域である２つ以上の対応領域を検出する。ＣＰＵ１８は、領域判断ステップ（ステップＳ１０７）において、その２枚以上の画像の各々における少なくとも一部の領域が変化領域（移動領域）であるのか非変化領域（静止領域）であるのかを判断する。変化領域は、撮像装置によって生成された画像における座標が変化する構成要素の領域である。非変化領域は、撮像装置によって生成された画像における座標が変化しない構成要素の領域である。ＣＰＵ１８は、データ生成ステップ（ステップＳ１０９）において、その２つ以上の対応領域のうち非変化領域であると判断された対応領域を使用せずに、その２つ以上の対応領域のうち変化領域であると判断された対応領域を使用することにより３Ｄデータを生成する。
【0172】
本発明の各態様の３Ｄデータ生成システムは、撮像装置および３Ｄデータ生成装置（制御装置１０）を有する。撮像装置は、タービンの内部の光を取り込む管状の挿入部２を有し、タービンの内部の構成要素の２枚以上の画像を生成する。３Ｄデータ生成装置は、ＣＰＵ１８を有する。ＣＰＵ１８は、上記の画像取得ステップ、領域検出ステップ、領域判断ステップ、およびデータ生成ステップを実行する。
【0173】
本発明の各態様は、以下の変形例を含んでもよい。ＣＰＵ１８が領域検出ステップ（ステップＳ１０５）においてその２つ以上の対応領域を検出した後、ＣＰＵ１８は領域判断ステップ（ステップＳ１０７）においてその２枚以上の画像の各々における少なくとも一部の領域が変化領域であるのか非変化領域であるのかを判断する。
【0174】
本発明の各態様は、以下の変形例を含んでもよい。第１の物体は動翼を含む。第２の物体は静翼またはシュラウドを含む。
【0175】
本発明の各態様は、以下の変形例を含んでもよい。その２枚以上の画像において、第１の物体の一部は第２の物体によって隠される。図５に示す例では、動翼ＲＴ１４の一部は静翼ＳＴ１４によって隠される。
【0176】
本発明の各態様は、以下の変形例を含んでもよい。第２の物体は、その２枚以上の画像において第１の物体の一部を隠す物体と、その２枚以上の画像において一部が第１の物体によって隠される物体とを含む。図５に示す例では、静翼ＳＴ１４は動翼ＲＴ１４の一部を隠し、かつシュラウドＳＨ１０の一部は動翼ＲＴ１４によって隠される。
【0177】
本発明の各態様は、以下の変形例を含んでもよい。撮像装置は、互いに異なる２つ以上のタイミングでその２枚以上の画像を生成する。ＣＰＵ１８は、領域判断ステップ（ステップＳ１０７）において、その２枚以上の画像に含まれる少なくとも２枚の画像間の対応領域の動き量に基づいてその２枚以上の画像の各々における少なくとも一部の領域が変化領域であるのか非変化領域であるのかを判断する。
【0178】
本発明の各態様は、以下の変形例を含んでもよい。挿入部２はタービンの内部において固定される。
【0179】
本発明の各態様は、以下の変形例を含んでもよい。撮像装置はボアスコープである。
【0180】
第１の実施形態において、内視鏡装置１は、静止領域と対応する特徴領域を使用せずに移動領域と対応する特徴領域を使用することにより、タービンの内部の３Ｄ形状を示す３Ｄデータを生成する。そのため、内視鏡装置１は、３Ｄデータを生成する処理の信頼性を向上させることができる。
【0181】
ユーザーは、表示部５に表示された３Ｄデータの画像を確認する、または３Ｄデータを使用する計測を実行することにより、動翼の状態を確認することができる。そのため、検査の品質および効率が向上する。
【0182】
（第１の実施形態の第１の変形例）
本発明の第１の実施形態の第１の変形例を説明する。前述した第１の実施形態において、内視鏡装置１は、２枚以上の画像間における被写体の領域の動き量を使用することによりその領域を移動領域または静止領域に分類する。第１の実施形態の第１の変形例において、内視鏡装置１は、画像の輝度差分を使用することにより被写体の領域を移動領域または静止領域に分類する。
本発明の第１の実施形態の第１の変形例を説明する。前述した第１の実施形態において、内視鏡装置１は、２枚以上の画像間における被写体の領域の動き量を使用することによりその領域を移動領域または静止領域に分類する。第１の実施形態の第１の変形例において、内視鏡装置１は、画像の輝度差分を使用することにより被写体の領域を移動領域または静止領域に分類する。
【0183】
【0184】
ステップＳ１０５の後、領域判断部１８３は、画像ＩＭＧ（ｎ－１）と画像ＩＭＧｎとの間における輝度差分を算出する（ステップＳ１２０）。
【0185】
領域判断部１８３は、ステップＳ１２０において以下の処理を実行する。領域判断部１８３は、画像ＩＭＧ（ｎ－１）における各画素の輝度と画像ＩＭＧｎにおける各画素の輝度との差分値を算出する。領域判断部１８３は、画像ＩＭＧ（ｎ－１）および画像ＩＭＧｎにおける同一の画素の輝度を使用する。
【0186】
撮像素子２８が、３つのチャネルを持つカラー画像を生成する場合、領域判断部１８３は、画像ＩＭＧ（ｎ－１）および画像ＩＭＧｎをグレースケール画像に変換してもよい。あるいは、領域判断部１８３は、３つのチャネルの値の各々を使用することにより３つの差分値を算出し、かつその３つの差分値の統計値を輝度差分として算出してもよい。
【0187】
ステップＳ１２０の後、領域判断部１８３は、輝度差分に基づいて画像ＩＭＧｎの特徴領域が移動領域であるのか静止領域であるのかを判断する（ステップＳ１０７ａ）。ステップＳ１０７ａの後、ステップＳ１０８が実行される。
【0188】
領域判断部１８３は、ステップＳ１０７ａにおいて以下の処理を実行する。領域判断部１８３は、各画素の輝度差分と閾値とを比較する。輝度差分が閾値よりも大きいとき、領域判断部１８３は、その画素が移動領域に含まれると判断する。輝度差分が閾値以下であるとき、領域判断部１８３は、その画素が静止領域に含まれると判断する。領域判断部１８３は、画像ＩＭＧｎの全ての画素に対して上記の処理を実行する。
【0189】
挿入部２の先端２０が動いているとき、画像に写っている領域の全体が同じ方向に移動する。そのため、領域判断部１８３は、輝度差分を算出する前に画像ＩＭＧ（ｎ－１）の位置と画像ＩＭＧｎの位置とを一致させてもよい。
【0190】
図１７を使用することにより、ステップＳ１０７ａおよびステップＳ１０８の詳細を説明する。画像ＩＭＧ（ｎ－１）における２つ以上の特徴領域と、画像ＩＭＧｎにおける２つ以上の特徴領域とが図１７に示されている。各特徴領域は、図９に示す特徴領域と同じである。
【0191】
領域判断部１８３は、画像ＩＭＧ（ｎ－２）および画像ＩＭＧ（ｎ－１）を使用することにより、画像ＩＭＧ（ｎ－１）の各画素の輝度差分を算出する。領域判断部１８３は、輝度差分に基づいて画像ＩＭＧ（ｎ－１）の２つ以上の特徴領域を移動領域および静止領域ＭＳ（ｎ－１）に分類する。移動領域は、特徴領域Ｐ２（ｎ－１），Ｐ３（ｎ－１），Ｐ４（ｎ－１），Ｐ５（ｎ－１）を含む。
【0192】
領域判断部１８３は、画像ＩＭＧ（ｎ－１）および画像ＩＭＧｎを使用することにより、画像ＩＭＧｎの各画素の輝度差分を算出する。領域判断部１８３は、輝度差分に基づいて画像ＩＭＧｎの２つ以上の特徴領域を移動領域および静止領域ＭＳｎに分類する。移動領域は、特徴領域Ｐ２ｎ，Ｐ３ｎ，Ｐ４ｎ，Ｐ５ｎを含む。
【0193】
３Ｄ復元部１８４は、静止領域ＭＳ（ｎ－１）と対応する特徴領域をステップＳ１０８において抽出しない。また、３Ｄ復元部１８４は、静止領域ＭＳｎと対応する特徴領域をステップＳ１０８において抽出しない。
【0194】
ステップＳ１０２において新しい画像が取得されるたびに上記と同様の処理が実行される。
【0195】
ステップＳ１０５、ステップＳ１２０、およびステップＳ１０７ａの順番は、図１６に示す順番に限らない。図１８を使用することにより、内視鏡装置１が実行する処理の変形例について説明する。図１８は、内視鏡装置１が実行する３Ｄデータ生成処理の手順を示す。図１６に示す処理と同じ処理の説明を省略する。
【0196】
番号ｎが１ではないと制御部１８０がステップＳ１０４において判断したとき、領域判断部１８３は、ステップＳ１２０において、画像ＩＭＧ（ｎ－１）と画像ＩＭＧｎとの間における輝度差分を算出する。ステップＳ１２０の後、領域判断部１８３は、ステップＳ１０７ａにおいて、輝度差分に基づいて画像ＩＭＧｎの特徴領域が移動領域であるのか静止領域であるのかを判断する。このとき、画像ＩＭＧｎの特徴領域および画像ＩＭＧ（ｎ－１）の特徴領域は互いに関連付けられていない。
【0197】
ステップＳ１０７ａの後、領域検出部１８２は、画像ＩＭＧ（ｎ－１）および画像ＩＭＧｎにおける同一の特徴領域（対応領域）を検出する。このとき、領域検出部１８２は、ステップＳ１０７ａにおいて移動領域であると判断された特徴領域の情報を使用するが、ステップＳ１０７ａにおいて静止領域であると判断された特徴領域の情報を使用しない（ステップＳ１０５ａ）。ステップＳ１０５ａの後、ステップＳ１０８が実行される。
【0198】
本発明の各態様は、以下の変形例を含んでもよい。ＣＰＵ１８は、領域判断ステップ（ステップＳ１０７ａ）において、タービンの内部の構成要素の２枚以上の画像に含まれる少なくとも２枚の画像間の画素値の差分に基づいてその２枚以上の画像の各々における少なくとも一部の領域が変化領域（移動領域）であるのか非変化領域（静止領域）であるのかを判断する。
【0199】
本発明の各態様は、以下の変形例を含んでもよい。ＣＰＵ１８が領域判断ステップ（ステップＳ１０７ａ）において、その２枚以上の画像における少なくとも一部の領域が変化領域であるのか非変化領域であるのかを判断した後、ＣＰＵ１８は、領域検出ステップ（ステップＳ１０５ａ）において非変化領域を使用せずに変化領域を使用することにより２つ以上の対応領域を検出する。
【0200】
第１の実施形態の第１の変形例において、内視鏡装置１は、画像の輝度差分を使用することにより移動領域および静止領域を判断することができる。
【0201】
（第１の実施形態の第２の変形例）
本発明の第１の実施形態の第２の変形例を説明する。前述した第１の実施形態および前述した第１の実施形態の第１の変形例において、内視鏡装置１は、２枚以上の画像を使用することにより被写体の領域を移動領域または静止領域に分類する。第１の実施形態の第２の変形例において、内視鏡装置１は、１枚の画像を使用することにより被写体の領域を移動領域または静止領域に分類する。
本発明の第１の実施形態の第２の変形例を説明する。前述した第１の実施形態および前述した第１の実施形態の第１の変形例において、内視鏡装置１は、２枚以上の画像を使用することにより被写体の領域を移動領域または静止領域に分類する。第１の実施形態の第２の変形例において、内視鏡装置１は、１枚の画像を使用することにより被写体の領域を移動領域または静止領域に分類する。
【0202】
【0203】
ステップＳ１０５の後、領域判断部１８３は、画像ＩＭＧｎに画像認識技術を適用し、画像ＩＭＧｎにおける被写体の領域を判断する（ステップＳ１２１）。
【0204】
領域判断部１８３は、ステップＳ１２１において以下の処理を実行する。領域判断部１８３は、画像ＩＭＧｎを処理し、画像ＩＭＧｎに写っている動翼、静翼、またはシュラウド等を検出する。領域判断部１８３は、画像認識技術として公知の機械学習を使用してもよい。領域判断部１８３は、機械学習を使用しない方法を使用してもよい。画像における領域を判断する方法はどのような方法であってもよい。
【0205】
領域判断部１８３が機械学習を使用する例を説明する。ユーザーは、過去に実施された検査において取得された画像における特定の領域に物体の名称を付与する。その画像は、静止画または動画のフレームである。図１９に示す処理が実行される前、領域判断部１８３は、ユーザーによって付与された名称を正解データとして学習する。正解データは教師データとも呼ばれる。領域判断部１８３は、正解データを使用することにより、学習用の画像の特徴を解析し、学習済みモデルを生成する。タービンの動翼の検査が実施されるとき、動翼は回転し、かつ静翼またはシュラウドは固定されている。領域判断部１８３は、各物体の動きに関する特徴を解析する。
【0206】
外部装置が上記の処理を実行し、学習済みモデルを生成してもよい。外部装置は、ＰＣ４１またはクラウドサーバー等である。内視鏡装置１は、学習済みモデルを外部装置から取得してもよい。
【0207】
学習済みモデルが生成された後、領域判断部１８３は、ステップＳ１２１において、学習済みモデルを使用することにより、評価用の画像に写っている物体を判断する。
【0208】
領域判断部１８３が機械学習を使用しない例を説明する。領域判断部１８３は、独自に設計された画像特徴量を算出する。領域判断部１８３は、画像特徴量を使用するクラスタリングを実行し、画像に写っている物体を判断する。領域判断部１８３は、サポートベクターマシン等の技術をクラスタリングに適用することができる。
【0209】
ステップＳ１２１の後、領域判断部１８３は、ステップＳ１２１において検出された領域の情報を参照する。領域判断部１８３は、画像ＩＭＧｎにおける動翼の特徴領域を移動領域として判断し、かつ画像ＩＭＧｎにおける静翼またはシュラウドの特徴領域を静止領域として判断する（ステップＳ１０７ｂ）。ステップＳ１０７ｂの後、ステップＳ１０８が実行される。
【0210】
図２０（ａ）および図２０（ｂ）を使用することにより、ステップＳ１２１およびステップＳ１０７ｂの詳細を説明する。図２０（ａ）は、撮像素子２８によって生成された画像ＩＭＧｎを示す。図２０（ｂ）は、画像ＩＭＧｎにおける移動領域および静止領域を示す。
【0211】
領域判断部１８３は、ステップＳ１２１において画像ＩＭＧｎを解析し、物体ＯＢＪ１、物体ＯＢＪ２、および物体ＯＢＪ３を検出する。各物体の特徴に応じた番号が各物体に付与される。例えば、番号１が物体ＯＢＪ１に付与され、番号２が物体ＯＢＪ２に付与され、番号３が物体ＯＢＪ３に付与される。２つ以上の物体の種類が同じまたは類似する場合、類似する番号がその２つ以上の物体に付与されてもよい。図２１に示す例では、類似する番号２－１，２－２等が物体ＯＢＪ２に付与される。領域判断部１８３は、物体情報を参照し、各物体の名称を取得する。
【0212】
物体情報は、物体の番号および物体の名称を含む。図２１は物体情報の例を示す。物体情報において番号および名称は互いに関連付けられている。その名称は、番号と対応する特徴を持つ物体の名称を示す。
【0213】
物体情報において静翼が物体ＯＢＪ１の番号１と関連付けられている。そのため、領域判断部１８３は、物体ＯＢＪ１の名称が静翼であると判断する。物体情報において動翼が物体ＯＢＪ２の番号２と関連付けられている。そのため、領域判断部１８３は、物体ＯＢＪ２の名称が動翼であると判断する。物体情報においてシュラウドが物体ＯＢＪ３の番号３と関連付けられている。そのため、領域判断部１８３は、物体ＯＢＪ３の名称がシュラウドであると判断する。
【0214】
領域判断部１８３は、ステップＳ１０７ｂにおいて、物体ＯＢＪ２の特徴領域が移動領域であると判断する。また、領域判断部１８３は、ステップＳ１０７ｂにおいて、物体ＯＢＪ１の特徴領域および物体ＯＢＪ３の特徴領域が移動領域であると判断する。
【0215】
ステップＳ１２１は、ステップＳ１０２が実行されるタイミングとステップＳ１０７ｂが実行されるタイミングとの間の任意のタイミングで実行されてもよい。
【0216】
ステップＳ１０５、ステップＳ１２１、およびステップＳ１０７ｂの順番は、図１９に示す順番に限らない。図２２を使用することにより、内視鏡装置１が実行する処理の変形例について説明する。図２２は、内視鏡装置１が実行する３Ｄデータ生成処理の手順を示す。図１９に示す処理と同じ処理の説明を省略する。
【0217】
番号ｎが１ではないと制御部１８０がステップＳ１０４において判断したとき、領域判断部１８３は、ステップＳ１２１において、画像ＩＭＧｎにおける被写体の領域を判断する。ステップＳ１２１の後、領域判断部１８３は、ステップＳ１０７ｂにおいて、画像ＩＭＧｎにおける動翼の特徴領域を移動領域として判断する。また、領域判断部１８３は、ステップＳ１０７ｂにおいて、画像ＩＭＧｎにおける静翼またはシュラウドの特徴領域を静止領域として判断する。このとき、画像ＩＭＧｎの特徴領域および画像ＩＭＧ（ｎ－１）の特徴領域は互いに関連付けられていない。
【0218】
ステップＳ１０７ｂの後、領域検出部１８２は、画像ＩＭＧ（ｎ－１）および画像ＩＭＧｎにおける同一の特徴領域（対応領域）を検出する。このとき、領域検出部１８２は、ステップＳ１０７ｂにおいて移動領域であると判断された特徴領域の情報を使用するが、ステップＳ１０７ｂにおいて静止領域であると判断された特徴領域の情報を使用しない（ステップＳ１０５ｂ）。ステップＳ１０５ｂの後、ステップＳ１０８が実行される。
【0219】
本発明の各態様は、以下の変形例を含んでもよい。ＣＰＵ１８は、領域判断ステップ（ステップＳ１０７ｂ）において、２枚以上の画像に含まれる１枚の画像に写っている被写体を判断することによりその２枚以上の画像の各々における少なくとも一部の領域が変化領域（移動領域）であるのか非変化領域（静止領域）であるのかを判断する。
【0220】
本発明の各態様は、以下の変形例を含んでもよい。ＣＰＵ１８が領域判断ステップ（ステップＳ１０７ｂ）において、２枚以上の画像における少なくとも一部の領域が変化領域であるのか非変化領域であるのかを判断した後、ＣＰＵ１８は、領域検出ステップ（ステップＳ１０５ｂ）において非変化領域を使用せずに変化領域を使用することにより２つ以上の対応領域を検出する。
【0221】
第１の実施形態の第２の変形例において、内視鏡装置１は、画像における被写体の種類を判断することにより移動領域および静止領域を判断することができる。
【0222】
（第２の実施形態）
本発明の第２の実施形態を説明する。検査が実施されているとき、内視鏡装置１は画像を生成し、かつ被写体の３Ｄデータを生成する。つまり、内視鏡装置１は、画像の生成と３Ｄデータの生成とを並行的に実行する。３Ｄ復元処理の失敗を避け、かつ効率的な検査を促進するために、内視鏡装置１は様々な支援機能を提供する。
本発明の第２の実施形態を説明する。検査が実施されているとき、内視鏡装置１は画像を生成し、かつ被写体の３Ｄデータを生成する。つまり、内視鏡装置１は、画像の生成と３Ｄデータの生成とを並行的に実行する。３Ｄ復元処理の失敗を避け、かつ効率的な検査を促進するために、内視鏡装置１は様々な支援機能を提供する。
【0223】
【0224】
ＣＰＵ１８ａは、制御部１８０、画像取得部１８１、領域検出部１８２、領域判断部１８３、３Ｄ復元部１８４、表示制御部１８５、状態判断部１８６、および通知部１８７として機能する。図２３に示すブロックの少なくとも１つがＣＰＵ１８ａと異なる回路で構成されてもよい。
【0225】
ＣＰＵ１８ａの各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。ＣＰＵ１８ａの各部は、１つまたは複数のプロセッサを含むことができる。ＣＰＵ１８ａの各部は、１つまたは複数の論理回路を含むことができる。
【0226】
状態判断部１８６は、検査の状態を判断する。例えば、検査の状態は、撮像素子２８によって生成された画像の画質、その画像に写っている静止領域の広さ、カメラの動き、または被写体の観察の進捗度である。状態判断部１８６は、検査の状態に関する検査状態情報を生成する。
【0227】
通知部１８７は、検査状態情報をユーザーに通知する通知処理を実行する。例えば、通知部１８７は、検査状態情報と対応するグラフィック画像信号を生成する。通知部１８７は、そのグラフィック画像信号を映像信号処理回路１２に出力する。前述した処理と同様の処理が実行され、表示部５は、検査状態情報を含むメッセージを表示する。これにより、通知部１８７は、検査状態情報を表示部５に表示する。
【0228】
通知部１８７は、音データをスピーカーに出力し、検査状態情報と対応する音をスピーカーに発生させてもよい。通知部１８７は、振動のパターンを示す制御信号を振動発生器に出力し、検査状態情報と対応するパターンを持つ振動を振動発生器に発生させてもよい。通知部１８７は、発光のパターンを示す制御信号を光源に出力し、検査状態情報と対応するパターンを持つ光を光源に発生させてもよい。
【0229】
以下では、検査状態情報を含むメッセージを表示部５が表示する例を説明する。この場合、表示制御部１８５が通知部１８７として機能してもよい。
【0230】
図２４および図２５を使用することにより、内視鏡装置１が実行する処理の第１の例について説明する。図２４および図２５は、内視鏡装置１が実行する３Ｄデータ生成処理の手順を示す。図７に示す処理と同じ処理の説明を省略する。
【0231】
例えば、ユーザーは、操作部４を操作することにより、３Ｄデータ生成処理を開始する指示を内視鏡装置１に入力する。表示部５がタッチパネルとして構成されている場合、ユーザーは表示部５の画面をタッチすることにより、その指示を内視鏡装置１に入力する。制御部１８０は、その指示を受け付け、かつ３Ｄデータ生成処理を開始する。
【0232】
制御部１８０は、撮像素子２８によって生成された画像に写っている被写体が所定時間静止していると判断されたときに３Ｄデータ生成処理を開始してもよい。あるいは、制御部１８０は、その画像を取得するための撮影の構図が所定の構図と一致したときに３Ｄデータ生成処理を開始してもよい。例えば、制御部１８０は、過去の検査で実施された撮影において取得された検査画像を使用することにより、現在の構図が過去の構図と一致しているか否かを確認してもよい。ユーザーは、手動で操作を実施することにより、撮影の構図を所定の構図と合わせる作業または撮影の構図を確認する作業を実施してもよい。３Ｄデータ生成処理が開始されたとき、制御部１８０は、ターニングツール４３に制御情報を送信し、ターニングツール４３に回転を開始させてもよい。
【0233】
ステップＳ１０２の後、状態判断部１８６は、画像ＩＭＧｎの画質を判断する（ステップＳ１３０）。
【0234】
例えば、ハレーションが画像ＩＭＧｎに発生している、または画像ＩＭＧｎが暗い場合、３Ｄ復元処理が困難である。画像ＩＭＧｎに写っている被写体の模様が少ない場合も、３Ｄ復元処理が困難である。ブレードの回転が速い時も、モーションブラーにより、３Ｄ再復元処理が困難である。これらの要因が発生しているとき、状態判断部１８６は画像ＩＭＧｎの画質が低いと判断する。これらの要因が発生していないとき、状態判断部１８６は画像ＩＭＧｎの画質が高いと判断する。
【0235】
画像ＩＭＧｎの画質が高いと状態判断部１８６がステップＳ１３０において判断したとき、ステップＳ１０３が実行される。画像ＩＭＧｎの画質が低いと状態判断部１８６がステップＳ１３０において判断したとき、状態判断部１８６は、画質が低いまたは３Ｄ復元処理が困難であることを示す検査状態情報を生成する。通知部１８７は、通知処理を実行し、検査状態情報を表示部５に表示する（ステップＳ１３３）。検査状態情報は、警告として機能する。検査状態情報は、撮影の構図または画像の設定条件等を変更することをユーザーに促す情報を含んでもよい。
【0236】
ステップＳ１３３が実行されたとき、制御部１８０は、ターニングツール４３を停止させる制御情報をターニングツール４３に送信してもよい。ターニングツール４３は、制御情報に基づいて動翼の回転を停止してもよい。ステップＳ１３３が実行されたとき、３Ｄデータ生成処理が終了する。
【0237】
ステップＳ１０６の後、制御部１８０は、ステップＳ１０６において算出された動き量に基づいて動翼の回転速度を調整する（ステップＳ１３１）。ステップＳ１３１の後、ステップＳ１０７が実行される。
【0238】
制御部１８０は、ステップＳ１３１において以下の処理を実行する。制御部１８０は、ステップＳ１０６において算出された動き量と、動きの目標量との差分を算出する。動きの目標量は予め設定される。その差分が所定の値よりも大きいとき、制御部１８０は、動翼の回転速度を遅くするための制御情報をターニングツール４３に送信する。ターニングツール４３は、制御情報に基づいて動翼の回転速度を遅くする。
【0239】
挿入部２の先端２０が被写体に近いとき、撮像素子２８によって生成された画像において被写体が速く動く。そのため、内視鏡装置１は、動翼の回転速度を下げる必要がある。算出された動き量に基づいて動翼の回転速度が制御されるため、内視鏡装置１は、観察の構図による検査への影響を低減させることができる。
【0240】
ステップＳ１０６の後、ステップＳ１３１が実行されずにステップＳ１０７が実行されてもよい。
【0241】
ステップＳ１０７の後、状態判断部１８６は、画像ＩＭＧｎにおける静止領域の面積が大きいか否かを判断する（ステップＳ１３２）。
【0242】
状態判断部１８６は、ステップＳ１３２において以下の処理を実行する。例えば、状態判断部１８６は、画像ＩＭＧｎにおける静止領域の画素数を算出する。状態判断部１８６は、算出された画素数と所定の値とを比較する。その画素数が所定の値よりも大きいとき、状態判断部１８６は、静止領域の面積が大きいと判断する。その画素数が所定の値以下であるとき、状態判断部１８６は、静止領域の面積が小さいと判断する。所定の値は、予め設定される。所定の値は変更可能であってもよい。
【0243】
図２６（ａ）および図２６（ｂ）を使用することにより、ステップＳ１３２の例を説明する。図２６（ａ）は、撮像素子２８によって生成された画像ＩＭＧｎを示す。図２６（ｂ）は、画像ＩＭＧｎにおける移動領域および静止領域を示す。
【0244】
画像ＩＭＧｎは、静止領域ＲＧ２０、静止領域ＲＧ２１、および移動領域ＲＧ２２を含む。画像ＩＭＧｎの全体に対する移動領域ＲＧ２２の割合は小さい。この場合、内視鏡装置１が３Ｄ復元処理に失敗する可能性が高まる。
【0245】
静止領域の面積が小さいと状態判断部１８６がステップＳ１３２において判断したとき、ステップＳ１０８が実行される。静止領域の面積が大きいと状態判断部１８６がステップＳ１３２において判断したとき、状態判断部１８６は、ステップＳ１３３において、３Ｄ復元処理が困難であることを示す検査状態情報を生成する。通知部１８７は、ステップＳ１３３において、通知処理を実行し、検査状態情報を表示部５に表示する。検査状態情報は、警告として機能する。検査状態情報は、撮影の構図を変更することをユーザーに促す情報を含んでもよい。
【0246】
番号ｎが２であるとき、ステップＳ１３２が初めて実行される。このとき、ステップＳ１０９はまだ実行されていない。静止領域の面積が大きいと状態判断部１８６がステップＳ１３２において判断したとき、上記のようにステップＳ１３３が実行され、３Ｄデータ生成処理が終了する。このとき、制御部１８０は、ターニングツール４３に動翼の回転を停止させてもよい。
【0247】
一方、ステップＳ１３２が１回以上実行された後、ステップＳ１３２が再度実行され、かつ静止領域の面積が大きいと状態判断部１８６が判断する可能性がある。これは、３Ｄデータ生成処理の途中で静止領域が増加する状況を意味する。挿入部２の先端２０の位置を変更するためにユーザーが動翼の回転を停止させたとき、静止領域が増加する。動翼の回転が停止する条件は、ユーザーによる指示の発生に限らない。例えば、内視鏡装置１が動翼の回転を自動的に停止させてもよい。動翼の回転が停止する条件は、上記の例に限らない。
【0248】
静止領域が増加する状況について説明する。大きな動翼の検査が実施される場合がある。多くの場合、大きな動翼は低圧側の圧縮セクションまたはタービンセクションに配置されている。その動翼の一部のみがカメラの視野に入る。この検査では、先端２０の位置が変更され、動翼の撮影が２回以上実施される。
【0249】
【0250】
まず、先端２０は、図２７（ａ）に示す位置に固定される。このとき、図２７（ｂ）に示すように照明光ＬＴ２０は動翼ＲＴ２０の上部に照射される。この状態で動翼が方向ＤＲ２０に一回転する。このとき、動翼は３６０以上回転する。動翼が回転している間、ステップＳ１０１からステップＳ１１０が繰り返し実行される。
【0251】
動翼が一回転した後、動翼の回転が停止される。先端２０の位置が変更され、先端２０は、図２８（ａ）に示す位置に固定される。このとき、図２８（ｂ）に示すように照明光ＬＴ２０は動翼ＲＴ２０の下部に照射される。この状態で動翼が方向ＤＲ２０に一回転し、ステップＳ１０１からステップＳ１１０が繰り返し実行される。
【0252】
先端２０の位置を変更するために動翼の回転が停止されたとき、撮像素子２８によって生成された画像に写っている被写体の全体が停止する。そのため、状態判断部１８６は、ステップＳ１３２において、静止領域の面積が大きいと判断する。この場合、内視鏡装置１は、３Ｄデータ生成処理を継続してもよい。つまり、ステップＳ１３３が実行された後、ステップＳ１１０が実行されてもよい。この場合、内視鏡装置１は、ステップＳ１０８およびステップＳ１０９を停止し、ステップＳ１０１からステップＳ１０７を継続する。
【0253】
先端２０が、図２７（ａ）に示す位置から図２８（ａ）に示す位置まで動いている間、撮像素子２８によって生成された画像に写っている被写体の全体が移動する。そのため、状態判断部１８６は、ステップＳ１３２において、静止領域の面積が小さいと判断する。この場合、内視鏡装置１は、ステップＳ１０８およびステップＳ１０９を再開し、ステップＳ１０１からステップＳ１１０を継続する。
【0254】
先端２０が、図２８（ａ）に示す位置に到達し、かつ固定される。このとき、撮像素子２８によって生成された画像に写っている被写体の全体が停止する。そのため、状態判断部１８６は、ステップＳ１３２において、静止領域の面積が大きいと判断する。この場合、内視鏡装置１は、ステップＳ１０８およびステップＳ１０９を停止し、ステップＳ１０１からステップＳ１０７を継続してもよい。
【0255】
その後、動翼の回転が再開される。そのため、状態判断部１８６は、ステップＳ１３２において、静止領域の面積が小さいと判断する。この場合、内視鏡装置１は、ステップＳ１０８およびステップＳ１０９を再開し、ステップＳ１０１からステップＳ１１０を継続する。
【0256】
大きな動翼の検査では、動翼の回転が停止された場合であっても、ステップＳ１０１からステップＳ１０７は繰り返し実行される。これにより、内視鏡装置１は、撮像素子２８によって生成された２枚以上の画像と、その２枚以上の画像における同一の特徴領域の情報とを蓄積する。動翼の回転が再開され、ステップＳ１０９における３Ｄ復元処理が再度実行されたとき、３Ｄ復元部１８４は、蓄積された画像および情報を使用することにより、被写体の３Ｄ形状を復元することができる。そのため、内視鏡装置１は、２枚以上の動翼の全体の３Ｄ形状を示す１つの３Ｄデータを生成することができる。
【0257】
番号ｎが２以上であり、かつ静止領域の面積が大きいと状態判断部１８６がステップＳ１３２において判断したとき、状態判断部１８６は、ステップＳ１３３において、動翼の回転が停止していることを示す検査状態情報を生成してもよい。
【0258】
状態判断部１８６は、ターニングツール４３の駆動状態を示す状態情報をターニングツール４３から受信してもよい。状態判断部１８６は、状態情報に基づいて動翼の状態を監視してもよい。状態情報は、ターニングツール４３が動翼を回転させているか否かを示す。状態判断部１８６は、ステップＳ１３３において、状態情報に基づいて動翼の回転が停止していることを検出し、かつ動翼の回転が停止していることを示す検査状態情報を生成してもよい。
【0259】
動翼の全体の検査が終了し、かつ静止領域の面積が大きいと状態判断部１８６がステップＳ１３２において判断したとき、内視鏡装置１は、ステップＳ１３３を実行し、かつ３Ｄデータ生成処理を終了してもよい。内視鏡装置１は、動翼の全体の検査が終了したことを検出する方法として、実施中の検査において観察された被写体が再度観察されたことを検出する方法を使用してもよい。その方法について、第３の例において後述する。
【0260】
ユーザーは、操作部４を操作することにより、動翼の全体の検査が終了したことを示す情報を内視鏡装置１に入力してもよい。表示部５がタッチパネルとして構成されている場合、ユーザーは表示部５の画面をタッチすることにより、その情報を内視鏡装置１に入力してもよい。状態判断部１８６は、その情報に基づいて、検査が終了したことを検出してもよい。
【0261】
図２９および図３０を使用することにより、内視鏡装置１が実行する処理の第２の例について説明する。図２９および図３０は、内視鏡装置１が実行する３Ｄデータ生成処理の手順を示す。図７に示す処理と同じ処理の説明を省略する。
【0262】
ステップＳ１０６の後、ステップＳ１３１が実行される。図３０に示すステップＳ１３１は、図２５に示すステップＳ１３１と同じである。ステップＳ１３１の後、ステップＳ１０７が実行される。ステップＳ１０６の後、ステップＳ１３１が実行されずにステップＳ１０７が実行されてもよい。
【0263】
ステップＳ１０７の後、状態判断部１８６は、カメラの動きを判断する（ステップＳ１３４）。
【0264】
状態判断部１８６は、ステップＳ１３４において以下の処理を実行する。例えば、状態判断部１８６は、画像ＩＭＧｎを解析することによりカメラの動きを判断する。先端２０の加速度および角速度を検出するＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）が挿入部２の先端２０に配置されている場合、状態判断部１８６は、ＩＭＵによって測定された値に基づいてカメラの動きを判断してもよい。カメラの動きが微小である場合、状態判断部１８６は、カメラが動いていないと判断してもよい。
【0265】
カメラが動いていないと状態判断部１８６がステップＳ１３４において判断したとき、ステップＳ１０８が実行される。カメラが動いていると状態判断部１８６がステップＳ１３４において判断したとき、状態判断部１８６は、カメラが動いていることを示す検査状態情報を生成する。通知部１８７は、通知処理を実行し、検査状態情報を表示部５に表示する（ステップＳ１３５）。検査状態情報は、警告として機能する。
【0266】
ステップＳ１３５が実行されたとき、制御部１８０は、ターニングツール４３を停止させる制御情報をターニングツール４３に送信してもよい。ターニングツール４３は、制御情報に基づいて動翼の回転を停止してもよい。ステップＳ１３５が実行されたとき、３Ｄデータ生成処理が終了する。
【0267】
前述したように、大きな動翼の検査を実施するために、先端２０の位置が変更され、動翼の撮影が２回以上実施される場合がある。先端２０が動いているとき、状態判断部１８６は、ステップＳ１３４において、カメラが動いていると判断する。この場合、内視鏡装置１は、３Ｄデータ生成処理を継続してもよい。つまり、ステップＳ１３５が実行された後、ステップＳ１１０が実行されてもよい。この場合、内視鏡装置１は、ステップＳ１０８およびステップＳ１０９を停止し、ステップＳ１０１からステップＳ１０７を継続する。
【0268】
動翼の全体の検査が終了し、かつカメラが動いていると状態判断部１８６がステップＳ１３４において判断したとき、内視鏡装置１は、ステップＳ１３５を実行し、かつ３Ｄデータ生成処理を終了してもよい。内視鏡装置１は、動翼の全体の検査が終了したことを検出する方法として、実施中の検査において被写体が再度観察されたことを検出する方法を使用してもよい。その方法について、第３の例において後述する。
【0269】
前述したように、ユーザーは、操作部４またはタッチパネルを操作することにより、動翼の全体の検査が終了したことを示す情報を内視鏡装置１に入力してもよい。状態判断部１８６は、その情報に基づいて、検査が終了したことを検出してもよい。
【0270】
図２９および図３１を使用することにより、内視鏡装置１が実行する処理の第３の例について説明する。図２９および図３１は、内視鏡装置１が実行する３Ｄデータ生成処理の手順を示す。図７に示す処理と同じ処理の説明を省略する。
【0271】
ステップＳ１０６の後、ステップＳ１３１が実行される。図３１に示すステップＳ１３１は、図２５に示すステップＳ１３１と同じである。ステップＳ１３１の後、ステップＳ１０７が実行される。ステップＳ１０６の後、ステップＳ１３１が実行されずにステップＳ１０７が実行されてもよい。
【0272】
ステップＳ１０９の後、状態判断部１８６は、実施中の検査において被写体が再度観察されたか否かを判断する（ステップＳ１３６）。動翼が一回転したとき、既に観察された被写体が再度観察される。
【0273】
状態判断部１８６は、ステップＳ１３６において以下の処理を実行する。例えば、状態判断部１８６は、ターニングツール４３の駆動状態を示す状態情報をターニングツール４３から受信する。状態判断部１８６は、状態情報に基づいて動翼の状態を監視する。状態情報は、動翼の回転角度を示す。動翼の回転角度が３６０度よりも小さいとき、状態判断部１８６は、被写体が再度観察されていないと判断する。動翼の回転角度が３６０度以上であるとき、状態判断部１８６は、被写体が再度観察されたと判断する。
【0274】
あるいは、状態判断部１８６は、撮像素子２８によって生成された画像を解析し、既に観察された被写体の特徴と似ている特徴を持つ被写体がその画像に写っているか否かを判断する。その特徴を持つ被写体がその画像に写っていないとき、状態判断部１８６は、被写体が再度観察されていないと判断する。その特徴を持つ被写体がその画像に写っているとき、状態判断部１８６は、被写体が再度観察されたと判断する。
【0275】
あるいは、状態判断部１８６は、撮像素子２８によって生成された画像を解析し、その画像に写っている動翼を認識する。状態判断部１８６は、認識された動翼の枚数をカウントする。ディスクの外周に固定されている動翼の枚数（設計上の枚数）は既知である。状態判断部１８６は、認識された動翼の枚数が設計枚数に到達したか否かを判断する。認識された動翼の枚数が設計枚数に到達していないとき、状態判断部１８６は、被写体が再度観察されていないと判断する。認識された動翼の枚数が設計枚数に到達したとき、状態判断部１８６は、被写体が再度観察されたと判断する。
【0276】
被写体が再度観察されていないと状態判断部１８６がステップＳ１３６において判断したとき、ステップＳ１１０が実施される。被写体が再度観察されたと状態判断部１８６がステップＳ１３６において判断したとき、状態判断部１８６は、被写体が再度観察されたことを示す検査状態情報を生成する。通知部１８７は、通知処理を実行し、検査状態情報を表示部５に表示する（ステップＳ１３７）。検査状態情報は、警告として機能する。検査状態情報は、検査を終了することをユーザーに促す情報を含んでもよい。前述したように、大きな動翼の検査を実施するために、先端２０の位置が変更され、動翼の撮影が２回以上実施される場合、検査状態情報は、先端２０の位置を変更することをユーザーに促す情報を含んでもよい。
【0277】
ステップＳ１３７が実行されたとき、制御部１８０は、ターニングツール４３を停止させる制御情報をターニングツール４３に送信してもよい。ターニングツール４３は、制御情報に基づいて動翼の回転を停止してもよい。ステップＳ１３７が実行されたとき、３Ｄデータ生成処理が終了する。
【0278】
第１から第３の例において、ステップＳ１０６およびステップＳ１０７はそれぞれ、図１６に示すステップＳ１２０およびステップＳ１０７ａに変更されてもよい。第１から第３の例において、ステップＳ１０６およびステップＳ１０７はそれぞれ、図１９に示すステップＳ１２１およびステップＳ１０７ｂに変更されてもよい。
【0279】
本発明の各態様は、以下の変形例を含んでもよい。ＣＰＵ１８は、位置判断ステップ（ステップＳ１３４）において、タービンの内部における挿入部２の位置を判断する。挿入部２の位置が変化したとき、ＣＰＵ１８は、通知ステップ（ステップＳ１３５）において、挿入部２の位置の変化を示す情報をユーザーに通知する処理を実行する。
【0280】
本発明の各態様は、以下の変形例を含んでもよい。ＣＰＵ１８がデータ生成ステップ（ステップＳ１０９）を初めて実行する前に、ＣＰＵ１８は、算出ステップ（ステップＳ１３２）において、タービンの内部の構成要素の２枚以上の画像に含まれる画像における非変化領域（静止領域）の面積を算出する。その面積が所定の値よりも大きいとき、ＣＰＵ１８は、通知ステップ（ステップＳ１３３）において、警告をユーザーに通知する処理を実行する。
【0281】
本発明の各態様は、以下の変形例を含んでもよい。第１の物体（動翼）は、ターニングツール４３（駆動装置）が発生する駆動力によってタービンの内部で回転する。ＣＰＵ１８は、回転判断ステップ（ステップＳ１３６）において、第１の物体がタービンの内部で一回転したか否かを判断する。第１の物体がタービンの内部で一回転したとＣＰＵ１８が判断したとき、ＣＰＵ１８は、通知ステップ（ステップＳ１３７）において、第１の物体がタービンの内部で一回転したことを示す情報をユーザーに通知する処理を実行する。
【0282】
本発明の各態様は、以下の変形例を含んでもよい。第１の物体（動翼）は、ターニングツール４３（駆動装置）が発生する駆動力によってタービンの内部で回転する。第１の物体が回転している間、ＣＰＵ１８は、領域検出ステップ（ステップＳ１０５）、領域判断ステップ（ステップＳ１０７）、およびデータ生成ステップ（ステップＳ１０９）を繰り返し実行する。第１の物体の回転が停止したとき、ＣＰＵ１８は、データ生成ステップを停止し、かつ領域検出ステップおよび領域判断ステップを継続する。
【0283】
本発明の各態様は、以下の変形例を含んでもよい。第１の物体（動翼）が再度回転し始めたとき、ＣＰＵ１８は、データ生成ステップ（ステップＳ１０９）を再開する。
【0284】
本発明の各態様は、以下の変形例を含んでもよい。ＣＰＵ１８は、タービンの内部の構成要素の２枚以上の画像に含まれる画像を使用することにより第１の物体（動翼）の回転状態を判断する。
【0285】
本発明の各態様は、以下の変形例を含んでもよい。ＣＰＵ１８は、ターニングツール４３（駆動装置）の状態を監視することにより第１の物体（動翼）の回転状態を判断する。
【0286】
第２の実施形態において、内視鏡装置１は、検査の状態に関する検査状態情報をユーザーに通知する。そのため、内視鏡装置１は、３Ｄ復元処理の失敗を避けることができ、かつ効率的な検査を促進することができる。
【0287】
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
【符号の説明】
【0288】
１ 内視鏡装置
２ 挿入部
３ 本体部
４ 操作部
５ 表示部
８ 内視鏡ユニット
９ ＣＣＵ
１０ 制御装置
１２ 映像信号処理回路
１３ ＲＯＭ
１４ ＲＡＭ
１５ カードインターフェース
１６ 外部機器インターフェース
１７ 制御インターフェース
１８，１８ａ ＣＰＵ
２０ 先端
２１ レンズ
２８ 撮像素子
１８０ 制御部
１８１ 画像取得部
１８２ 領域検出部
１８３ 領域判断部
１８４ ３Ｄ復元部
１８５ 表示制御部
１８６ 状態判断部
１８７ 通知部
２ 挿入部
３ 本体部
４ 操作部
５ 表示部
８ 内視鏡ユニット
９ ＣＣＵ
１０ 制御装置
１２ 映像信号処理回路
１３ ＲＯＭ
１４ ＲＡＭ
１５ カードインターフェース
１６ 外部機器インターフェース
１７ 制御インターフェース
１８，１８ａ ＣＰＵ
２０ 先端
２１ レンズ
２８ 撮像素子
１８０ 制御部
１８１ 画像取得部
１８２ 領域検出部
１８３ 領域判断部
１８４ ３Ｄ復元部
１８５ 表示制御部
１８６ 状態判断部
１８７ 通知部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】