(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023108675
(43)【公開日】2023-08-07
(54)【発明の名称】画像補正装置、画像補正方法および画像補正プログラム
(51)【国際特許分類】
F02D 45/00 20060101AFI20230731BHJP
G01M 15/04 20060101ALI20230731BHJP
【FI】
F02D45/00 345
G01M15/04
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022009838
(22)【出願日】2022-01-26
(71)【出願人】
【識別番号】000000974
【氏名又は名称】川崎重工業株式会社
(74)【代理人】
【識別番号】110000556
【氏名又は名称】弁理士法人有古特許事務所
(72)【発明者】
【氏名】山本 武司
(72)【発明者】
【氏名】大林 航
(72)【発明者】
【氏名】安藤 赳虎
(72)【発明者】
【氏名】吉田 孝
(72)【発明者】
【氏名】野上 哲男
【テーマコード(参考)】
2G087
3G384
【Fターム(参考)】
2G087AA08
2G087AA14
2G087BB39
2G087FF38
3G384AA03
3G384AA04
3G384AA26
3G384DA42
3G384DA44
3G384DA61
(57)【要約】
【課題】検査対象のエンジンのピストンを撮影した撮影画像を用いたエンジンの状態記録または状態診断を行うために、撮影画像を診断に適した画像に補正することができる画像補正装置、画像補正方法および画像補正プログラムを提供する。
【解決手段】画像補正装置は、検査対象のエンジンのピストンまたは当該ピストンの周辺構造を撮影した撮影画像を用いてエンジンの診断を行うために撮影画像を補正する画像補正装置であって、エンジンに応じて予め定められるピストンの所定の外観基準部に関連する基準パラメータを記憶する記憶器と、撮影画像の画像補正演算を行う演算器と、を備え、演算器は、撮影画像を取得し、撮影画像に対応するエンジンの基準パラメータを取得し、撮影画像から外観基準部に対応する特徴部を抽出し、特徴部から基準パラメータに相当する特徴パラメータを生成し、特徴パラメータと基準パラメータとの対比に基づいて、撮影画像を補正する。
【選択図】
図5
【特許請求の範囲】
【請求項1】
検査対象のエンジンのピストンまたは当該ピストンの周辺構造を撮影した撮影画像を用いて前記エンジンの診断を行うために前記撮影画像を補正する画像補正装置であって、
前記エンジンに応じて予め定められる前記ピストンの所定の外観基準部に関連する基準パラメータを記憶する記憶器と、
前記撮影画像の画像補正演算を行う演算器と、を備え、
前記演算器は、
前記撮影画像を取得し、
前記撮影画像に対応する前記エンジンの前記基準パラメータを取得し、
前記撮影画像から前記外観基準部に対応する特徴部を抽出し、前記特徴部から前記基準パラメータに相当する特徴パラメータを生成し、
前記特徴パラメータと前記基準パラメータとの対比に基づいて、前記撮影画像を補正する、画像補正装置。
【請求項2】
前記基準パラメータは、前記エンジンを特定するためのエンジン特定データに対応付けられている、請求項1に記載の画像補正装置。
【請求項3】
前記エンジンは、長手方向に直線部分を有する長円形状の掃気ポートを有するシリンダと、周面にピストンリングが組み付けられ、前記シリンダ内を摺動するピストンと、を備え、
前記外観基準部は、前記シリンダの前記掃気ポートを通して前記ピストンを見たときの前記ピストンリングと前記ピストンの周面における露出部分であるリングランドとの間の水平方向に延びる第1境界線、前記ピストンリングもしくは前記リングランドと前記掃気ポートとの間の鉛直方向に延びる第2境界線、または、前記第1境界線および前記第2境界線の交点を含み、
前記演算部は、前記第1境界線に対応する第1特徴線、前記第2境界線に対応する第2特徴線、または、前記第1特徴線および前記第2特徴線の交点を前記特徴部として前記撮影画像から抽出する、請求項1または2に記載の画像補正装置。
【請求項4】
前記演算器は、前記撮影画像の第1要素についての鉛直方向分布から前記第1特徴線を推定し、前記撮影画像の第2要素についての水平方向分布から前記第2特徴線を推定する、請求項3に記載の画像補正装置。
【請求項5】
前記演算器は、2つの前記第1特徴線と2つの前記第2特徴線とで画される四角形を長方形に変換する第1変換処理を行うことにより、前記撮影画像を補正する、請求項3または4に記載の画像補正装置。
【請求項6】
前記演算器は、2つの前記第1特徴線と2つの前記第2特徴線とで画される四角形において交差する2つの辺の長さの比率を変換する第2変換処理を行うことにより、前記撮影画像を補正する、請求項3から5の何れかに記載の画像補正装置。
【請求項7】
前記演算器は、前記第1特徴線が直線になるように、前記撮影画像を補正する、請求項3から6の何れかに記載の画像補正装置。
【請求項8】
前記演算器は、前記第1特徴線が水平方向に沿うように、または、前記第2特徴線が鉛直方向に沿うように、前記撮影画像全体の傾きを調整する、請求項3から7の何れかに記載の画像補正装置。
【請求項9】
前記記憶器は、クラウドサーバとして構成される、請求項1から8の何れかに記載の画像補正装置。
【請求項10】
検査対象のエンジンのピストンまたは当該ピストンの周辺構造を撮影した撮影画像を用いて前記エンジンの診断を行うために前記撮影画像を補正する画像補正方法であって、
前記撮影画像を取得し、
前記撮影画像に対応する前記エンジンについて予め定められる前記ピストンの所定の外観基準部に関連する基準パラメータを取得し、
前記撮影画像から前記外観基準部に対応する特徴部を抽出し、前記特徴部から前記基準パラメータに相当する特徴パラメータを生成し、
前記特徴パラメータと前記基準パラメータとの対比に基づいて、前記撮影画像を補正する、画像補正方法。
【請求項11】
検査対象のエンジンのピストンまたは当該ピストンの周辺構造を撮影した撮影画像を用いて前記エンジンの診断を行うために前記撮影画像を補正する画像補正プログラムであって、
コンピュータを、
前記撮影画像を取得し、
前記撮影画像に対応する前記エンジンについて予め定められる前記ピストンの所定の外観基準部に関連する基準パラメータを取得し、
前記撮影画像から前記外観基準部に対応する特徴部を抽出し、前記特徴部から前記基準パラメータに相当する特徴パラメータを生成し、
前記特徴パラメータと前記基準パラメータとの対比に基づいて、前記撮影画像を補正するように機能させる、画像補正プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像補正装置、画像補正方法および画像補正プログラムに関する。
【背景技術】
【0002】
船舶用2サイクルディーゼルエンジン等の大型のエンジンにおいては、運用時においてエンジンの性能を維持するためにシリンダコンディションの定期的な確認が重要である。シリンダコンディションは、例えば、ピストンの上下運動により摺動するピストン、シリンダライナ等を含む摺動部品、例えば、ピストン、シリンダライナ、シリンダカバー等を含む燃焼室構成部品、または、注油システムの状態を意味する。しかし、船舶用の大型のエンジンにおいては、ピストンも大きいため、シリンダからピストンを取り出すことが容易ではない。そのため、このようなエンジンにおいてシリンダコンディションを確認するために、シリンダの側面に設けられた掃気ポートからシリンダ内部のピストンの画像を撮影し、その撮影画像からピストンおよびピストンに組み付けられたピストンリングの状態記録または状態診断を行っている。
【0003】
より具体的には、このようなエンジンのシリンダの内部空間は、シリンダの下方部分の側面に形成された掃気ポートを介して掃気管に接続されている。掃気管は、人が入れるぐらいの大きさを有している。船舶の乗組員または整備員等の撮影者は、エンジン停止時に掃気管内に入り、掃気ポート越しにシリンダ内のピストンおよびピストンリングを撮影する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第3640726号公報
【特許文献2】特開2003-157408号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、掃気ポートは、掃気がスムーズに流通するように、シリンダの径方向に対して周方向に所定角度傾斜した方向を向いている。そのため、掃気ポート越しにシリンダ内のピストンおよびピストンリングを撮影する際に、ピストンおよびピストンリングに掃気ポートの影がかからないようにするためには、撮影者は、掃気ポートの向きに合わせてシリンダの径方向に対して斜め角度から撮影する必要がある。この結果、撮影画像において掃気ポート越しに写るピストンおよびピストンリングは、水平方向で遠近差が生じる。また、撮影対象が円柱状のピストンおよび環状のピストンリングであるため、撮影画像は曲面の歪みを含むものとなる。
【0006】
このような理由により、ピストンリングの状態診断で重要な摺動傷の検知が難しくなり、ピストンリングの状態診断を適切に行うことができない恐れがある。
【0007】
このような画像を用いた状態診断に際して、特許文献1には、検査対象となる環状部材側を自転またはカメラ側を環状部材に対して公転させて撮影し、そのようにして撮影された画像からエッジ検出等を行うことが開示されている。しかし、特許文献1では、あくまで製品出荷時の精度計測を前提としており、船舶に搭載された状態での検査は想定されていない。すなわち、ピストンがシリンダ内に収まった状態かつ狭い掃気管内での撮影では、ピストンの外周全体を撮影することができない。したがって、運用時のシリンダコンディションの確認のためにはこのような態様は採用できない。
【0008】
また、特許文献2には、歪みのない参照画像の各特徴点を、それぞれ歪みを伴う入力画像の対応点に対応付ける方法が開示されている。しかし、この方法は、あくまで、参照画像の特徴点の位置と、特徴点に対応する入力画像の位置とが同じ位置に位置するとの前提に基づいている。したがって、検査対象に対するカメラの位置および向きが撮影ごとに変わる可能性の高い上記のようなエンジンの状態診断用の撮影画像には適用できない。
【0009】
そこで、本開示は、検査対象のエンジンのピストンを撮影した撮影画像を用いたエンジンの状態記録または状態診断を行うために、撮影画像を診断に適した画像に補正することができる画像補正装置、画像補正方法および画像補正プログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本開示の一態様に係る画像補正装置は、検査対象のエンジンのピストンまたは当該ピストンの周辺構造を撮影した撮影画像を用いて前記エンジンの診断を行うために前記撮影画像を補正する画像補正装置であって、前記エンジンに応じて予め定められる前記ピストンの所定の外観基準部に関連する基準パラメータを記憶する記憶器と、前記撮影画像の画像補正演算を行う演算器と、を備え、前記演算器は、前記撮影画像を取得し、前記撮影画像に対応する前記エンジンの前記基準パラメータを取得し、前記撮影画像から前記外観基準部に対応する特徴部を抽出し、前記特徴部から前記基準パラメータに相当する特徴パラメータを生成し、前記特徴パラメータと前記基準パラメータとの対比に基づいて、前記撮影画像を補正する。
【0011】
本開示の他の態様に係る画像補正方法は、検査対象のエンジンのピストンまたは当該ピストンの周辺構造を撮影した撮影画像を用いて前記エンジンの診断を行うために前記撮影画像を補正する画像補正方法であって、前記撮影画像を取得し、前記撮影画像に対応する前記エンジンについて予め定められる前記ピストンの所定の外観基準部に関連する基準パラメータを取得し、前記撮影画像から前記外観基準部に対応する特徴部を抽出し、前記特徴部から前記基準パラメータに相当する特徴パラメータを生成し、前記特徴パラメータと前記基準パラメータとの対比に基づいて、前記撮影画像を補正する。
【0012】
本開示の他の態様に係る画像補正プログラムは、検査対象のエンジンのピストンまたは当該ピストンの周辺構造を撮影した撮影画像を用いて前記エンジンの診断を行うために前記撮影画像を補正する画像補正プログラムであって、コンピュータを、前記撮影画像を取得し、前記撮影画像に対応する前記エンジンについて予め定められる前記ピストンの所定の外観基準部に関連する基準パラメータを取得し、前記撮影画像から前記外観基準部に対応する特徴部を抽出し、前記特徴部から前記基準パラメータに相当する特徴パラメータを生成し、前記特徴パラメータと前記基準パラメータとの対比に基づいて、前記撮影画像を補正するように機能させる。
【発明の効果】
【0013】
本開示によれば、検査対象のエンジンのピストンを撮影した撮影画像を用いたエンジンの状態記録または状態診断を行うために、撮影画像を診断に適した画像に補正することができる。
【図面の簡単な説明】
【0014】
【
図1】
図1は、本開示の一実施の形態に係る画像補正装置が適用されるエンジン診断システムの概略構成を示すブロック図である。
【
図2】
図2は、検査対象のエンジンの例を示す図である。
【
図3】
図3は、掃気ポート越しにピストンおよびピストンリングを撮影したときの撮影画像を模式的に示す図である。
【
図4】
図4は、本実施の形態における外観基準部と撮影画像の特徴部との対応関係を示す模式図である。
【
図5】
図5は、本実施の形態における画像補正処理の流れを示すフローチャートである。
【
図6】
図6は、本実施の形態における判定基準領域の特定処理のイメージ図である。
【
図7】
図7は、本実施の形態における補間処理を示すイメージ図である。
【
図8】
図8は、本実施の形態における第3変換処理を示すイメージ図である。
【発明を実施するための形態】
【0015】
以下、本開示を実施するための形態について、図面を参照しながら、詳細に説明する。なお、以下では全ての図を通じて同一または相当する要素には同一の参照符号を付して、その重複する説明を省略する。
【0016】
[全体構成]
図1は、本開示の一実施の形態に係る画像補正装置が適用されるエンジン診断システムの概略構成を示すブロック図である。本実施の形態におけるエンジン診断システム1は、船舶に搭載されている2サイクルディーゼルエンジンのピストンおよびピストンリングの状態を記録または診断する。エンジン診断システム1は、画像補正装置2、画像診断装置3、撮影画像受信器4および診断結果出力器5を備えている。これらの構成2から5は、信号バス6を介して互いにデータが送受信される。
【0017】
画像補正装置2は、記憶器21および演算器22を備えている。画像診断装置3も、記憶器31および演算器32を備えている。画像補正装置2の記憶器21および画像診断装置3の記憶器31は、例えば、データサーバ等の共通の記憶装置として構成されてもよい。これに代えて、記憶器21,31は、互いに別の記憶装置として構成されてもよい。記憶器21,31は、クラウドサーバとして構成されてもよい。また、画像補正装置2の演算器22および画像診断装置3の演算器32は、共通の演算装置として構成されてもよいし、互いに別の演算装置として構成されてもよい。
【0018】
記憶器21がクラウドサーバとして構成される場合、画像補正装置2は、演算器22を有し、記憶器21であるクラウドサーバと通信可能なパーソナルコンピュータ等の通信端末として構成されてもよい。画像診断装置3についても同様の構成を有し得る。
【0019】
画像補正装置2の記憶器21には、画像補正処理を行うための画像補正プログラム、撮影画像受信器4を通じて取得した撮影画像データ、画像補正処理後の撮影画像データ(補正画像データ)、エンジンの型式情報およびエンジンの型式情報に対応付けられた外観基準部に関連する基準パラメータ等が記憶される。画像診断装置3の記憶器31には、エンジン診断処理を行うための診断プログラム、補正画像データ、診断結果のデータ等が記憶される。
【0020】
撮影画像受信器4は、所定の通信ネットワーク7を介して撮影装置8で撮影された撮影画像を受信する通信インターフェイスである。撮影装置8は、例えばスマートフォン等のカメラを備えた通信端末である。あるいは、撮影装置8は、通信機能を有するカメラであってもよい。撮影者は、船舶に搭載されている検査対象のエンジンを撮影し、撮影画像データを撮影装置8から通信ネットワーク7を介してエンジン診断システム1に送信する。撮影装置8に通信機能がない場合等、撮影者が撮影装置8で撮影した撮影画像のデータをパーソナルコンピュータまたはスマートフォン等の通信端末に取り込んで、通信端末から撮影画像データをエンジン診断システム1に送信してもよい。
【0021】
画像補正装置2は、撮影画像受信器4が受信した撮影画像に対して、後述する画像補正処理を行い、画像診断装置3により実施される画像診断に適した画像に補正する。画像診断装置3は、画像補正装置2で補正された補正画像を用いてエンジンの診断を行う。
【0022】
撮影画像は、エンジンのピストンの周面およびピストンに組み付けられたピストンリングを含む画像である。なお、ピストンの周面における露出部分、すなわち、ピストンリングが組み付けられていない箇所は、リングランドと呼ばれる。撮影画像には、リングランドとピストンリングとが帯状に写る。エンジンを動作させるとピストンがシリンダ内で上下動することにより、シリンダの内周面を摺動するピストンリングには摺動方向である鉛直方向に延びる摺動傷が形成される。画像診断装置3は、ピストンリングに形成される摺動傷の状態を撮影画像から分析し、良否判定等の診断を行う。また、画像診断装置3は、リングランド表面の汚れ具合を分析し、良否判定等の診断を行う。画像診断装置3は、ピストンリングの状態およびリングランドの状態から、摺動部品、燃焼室構成部品または注油システム等を含むシリンダコンディションを総合的に評価し得る。
【0023】
なお、撮影画像は、ピストンの周辺構造を含んでいてもよい。画像補正装置2は、ピストンの周辺構造からピストンの位置を特定したり、ピストンの周辺構造を特定することにより、その撮影画像からピストンの診断が可能かどうかを判定したりしてもよい。
【0024】
診断結果出力器5は、画像診断装置3における診断結果を所定の結果表示装置に送信する。結果表示装置は、例えば、撮影装置8である通信端末、検査対象のエンジンを搭載する船舶9に搭載された所定のコンピュータ、または、陸上等に設けられる管理装置10等を含む。診断結果を結果表示装置に送信するのに加えて、またはこれに代えて、診断結果が、検査対象のエンジンの情報とともに記憶器31に診断履歴として記憶されてもよい。結果表示装置は、所定の操作を行うことでエンジン診断システム1に都度アクセスし、所望のエンジンの診断履歴情報を取得できるようにしてもよい。
【0025】
画像補正装置2の演算器22および画像診断装置3の演算器32は、例えばマイクロコントローラ、パーソナルコンピュータ等のコンピュータを備えている。例えば、演算器22,32は、CPU、RAM等のメインメモリ、通信インターフェイス等を備えている。
【0026】
なお、本明細書で開示する要素の機能は、開示された機能を実行するよう構成またはプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ASIC(Application Specific Integrated Circuits)、従来の回路、または、それらの組み合わせを含む回路または処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路または回路と見なされる。本明細書において、回路、ユニット、または手段は、列挙された機能を実行するハードウェアであるか、または、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラムまたは構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、ユニット、または手段はハードウェアとソフトウェアとの組み合わせであり、ソフトウェアはハードウェアまたはプロセッサの構成に使用される。
【0027】
[検査対象のエンジンの構成]
図2は、検査対象のエンジンの例を示す図である。
図2に示すエンジン100は、船舶の推進用主機である大型の2サイクルエンジンである。2サイクルエンジンは、2ストロークエンジンとも称される。
【0028】
エンジン100は、鉛直方向に延びる複数のシリンダ110を有している。なお、
図2には、1つのシリンダ110のみが示されている。特に、ユニフロー2サイクルエンジンにおいて、各シリンダ110は、下方部分の周面に掃気ポート120を有し、上方部分に排気ポート130を有している。エンジン100は、シリンダ110ごとに、ピストン140、燃料噴射弁150、および排気弁160を備えている。ピストン140は、円筒状のシリンダ110の内径に応じた外径を有する円柱形状を有している。ピストン140は、掃気ポート120を横切るようにしてシリンダ110内を摺動する。すなわち、ピストン140の摺動方向は、エンジン100の鉛直方向である。ピストン140には、周面に環状のピストンリング210が組み付けられる。ピストン140の下端部分には、ピストンロッド290が固定されている。ピストンロッド290は、コネクティングロッド170を介してクランク軸180に連結されている。
【0029】
燃料噴射弁150は、シリンダ110の上端部分に位置しており、燃料供給装置190から燃料が供給される。燃料供給装置190は、燃料噴射弁150における燃料噴射パターンおよび燃料噴射タイミングを変更することができる。排気弁160は、排気ポート130を開閉する弁であって、排気弁駆動装置200によって駆動される。排気弁駆動装置200は、排気弁160の開閉パターンおよび開閉タイミングを変更することができる。
【0030】
シリンダ110の内部空間は、掃気ポート120を介して掃気管220に接続されている。掃気管220と掃気ポート120とは、掃気室230を介して接続されている。掃気管220は、水平方向に延び、複数のシリンダ110に接続されている。エンジン100には、掃気管220を通じて空気が掃気として供給される。
【0031】
掃気管220には、過給機240が接続されている。過給機240は、エンジン100に供給される空気を断熱圧縮するように構成されている。過給機240は、複数の圧縮機翼を備え、回転軸250回りに回転することにより、外部から導入された空気を圧縮する圧縮機260と、圧縮機260の回転軸250に連結され、圧縮機260の回転動力を生成するタービン270と、を備えている。
【0032】
圧縮機260で圧縮された空気は、掃気管220および掃気室230を介してエンジン100に掃気として供給される。エンジン100での燃焼により排気ポート130から排出された排ガスは、過給機240のタービン270に流入される。タービン270は、複数のタービン翼を備え、流入された排ガスによってタービン270が回転軸250回りに回転することにより、圧縮機260が回転する。
【0033】
このような船舶用のエンジン100において、掃気管220は、人が入れるぐらいの大きさを有している。船舶の乗組員または整備員等の撮影者は、エンジン停止時に所定のメンテナンスハッチから掃気管220または掃気室230内に入り、掃気ポート120越しにシリンダ110内のピストン140およびピストンリング210を撮影する。エンジン100は、エンジン100の停止時におけるピストン140の鉛直方向位置を調整可能に構成されている。ピストン140およびピストンリング210の撮影に際し、ピストン140は、ピストン140およびピストンリング210が掃気ポート120越しに見える検査位置P1に位置するように調整される。例えば、検査位置P1は、ピストン140のシリンダ110の下限位置または下限位置から所定距離上方の位置に設定される。
【0034】
[撮影画像におけるエンジンの見え方]
図3は、掃気ポート越しにピストンおよびピストンリングを撮影したときの撮影画像を模式的に示す図である。
図3に示すように、撮影者が上述したように撮影した場合、撮影画像Gは、少なくとも1つの掃気ポート120と、掃気ポート120を通じて見えるピストン210およびピストンリング210の一部とを含む。
図3の例では、撮影画像Gには、3つの掃気ポート120が写っている。掃気ポート120は、鉛直方向、すなわち、ピストン140の摺動方向に延びる長円形状を有している。長円形状は、上端部および下端部の円弧と、2つの円弧間を結ぶ直線部分とで構成される。言い換えると、掃気ポート120は、長手方向に直線部分を有する長円形状を有している。
【0035】
また、
図3の例では、撮影画像Gには、ピストン140の周面に組み付けられた4つのピストンリング210と、ピストン140の周面における露出部分である5つのリングランド280とが写っている。ピストンリング210の外周面は、シリンダ110の内周面に接して摺動するため、撮影画像Gにおいて、ピストンリング210は、リングランド280より高輝度である。一方、リングランド280の外周面は、シリンダ110の内周面に接しないことにより、燃焼カス、燃料残渣等が外周面に堆積するため、撮影画像Gにおいて、リングランド280は、ピストンリング210より低輝度である。
【0036】
このため、撮影画像Gは、複数の四角形状のピストンリング部分と複数の四角形状のリングランド部分とが鉛直方向に交互に並んだ横縞状の特徴部を有する。画像診断装置3は、この特徴部を画像処理により分析することにより、エンジン100の状態、より詳しくは、ピストンリング210およびリングランド280の状態を診断する。
【0037】
ここで、撮影者と撮影対象であるピストン140との距離は、撮影ごとに変わり得るため、撮影画像Gにおけるピストン140の大きさは、一定にはならない。このため、従来では、ピストン140等のサイズが分かるように、定規等を撮影画像Gに写り込ませていた。
【0038】
また、掃気ポート120は、掃気がスムーズに流通するように、シリンダ110の径方向に対して周方向に所定角度傾斜した方向を向いている。例えば、掃気ポート120の径方向外端部は、径方向内端部に対して、シリンダ110の中心軸線に関して時計回りに進んだ位置に位置している。
【0039】
そのため、掃気ポート120越しにシリンダ110内のピストン140およびピストンリング210を撮影する際に、ピストンリング210およびリングランド280に掃気ポート120の影がかからないようにするためには、撮影者は、掃気ポート120の向きに合わせてシリンダ110の径方向に対して斜め角度から撮影する必要がある。この結果、撮影画像Gにおいて掃気ポート120越しに写るピストンリング210およびリングランド280は、水平方向で遠近差が生じる。また、撮影対象が円柱状のピストン140および環状のピストンリング210であるため、撮影画像Gは曲面の歪みを含むものとなる。
【0040】
したがって、撮影画像Gによっては、ピストンリング210の状態診断で重要な摺動傷の検知が難しくなり、ピストンリング210の状態診断を適切に行うことができない恐れがある。そこで、画像補正装置2は、撮影画像Gにおける特徴部を検出し、当該特徴部の形状を変形する画像処理を行うことにより、撮影画像G全体の画像補正を行う。
【0041】
撮影画像Gの撮影が行われる掃気管220または掃気室230は、掃気が流通する空間であるので、燃焼カス、燃料残渣等により汚れている。また、掃気管220または掃気室230は、もともと人が入る場所ではないため、狭く、照明もないため、暗い。したがって、撮影者は、撮影装置8が有するライトまたはストロボを点灯させて撮影する。このため、一般的に撮影画像Gの撮影条件は良くなく、例えば掃気ポート120の影がピストンリング210またはリングランド280にかかったり、ライトによる白飛びが発生したりし易い。このため、撮影画像Gのみを用いて画像補正を行うには限界がある。
【0042】
そこで、本実施の形態においては、撮影画像Gに写っている検査対象のエンジン100のピストン140の特徴的な箇所を外観基準部として予めデータ化しておく。撮影画像Gにおける外観基準部に対応する特徴部から得られる特徴パラメータが、外観基準部に関連する基準パラメータと対比され、その結果に基づいて撮影画像Gが補正される。このために、画像補正装置2の記憶器21は、検査対象のエンジン100に応じて予め定められるピストン140の所定の外観基準部に関連する基準パラメータを記憶する。
【0043】
図4は、本実施の形態における外観基準部と撮影画像の特徴部との対応関係を示す模式図である。
図4の左側の図は、実際のエンジン100における外観基準部EBの位置関係および寸法に基づいて作図された仮想的な理想図である。
図4の右側の図は、当該外観基準部EBを撮影した際の撮影画像G上の外観基準部、すなわち、特徴部CHの例を示す模式図である。なお、
図4の右側の図において、撮影画像Gにおいて現れるピストン140およびピストンリング210が曲面の外周を有することによる歪みは考慮されていない。また、
図4の右側の図においては、特徴部CHにおける遠近差による歪みを誇張して示している。
【0044】
外観基準部は、シリンダ110の掃気ポート120を通してピストン140を見たときのピストンリング210とリングランド280との間の上下一対の第1境界線BL1、ピストンリング210もしくはリングランド280と掃気ポート120との間の左右一対の第2境界線BL2、または、第1境界線BL1および第2境界線BL2の交点BPを含む。
【0045】
例えば、
図4に示すように、ピストンリング210が4つある場合、第1境界線BL1は、8本存在する。ただし、例えば
図4において一番上に位置するピストンリング210を検査対象または補正対象とする場合、当該ピストンリング210の上側に接するリングランド280との境界線および当該ピストンリング210の下側に接するリングランド280との境界線の合計2本の第1境界線BL1が画像補正における基準となる。また、第2境界線BL2は、1つの掃気ポート120について2本存在する。第1境界線BL1および第2境界線BL2は、直交する。
【0046】
したがって、
図4において斜線で示される一のピストンリング210部分は、2本の第1境界線BL1と2本の第2境界線BL2とが交わる4つの交点BPを頂点とする長方形として定義される。以下では、この長方形を基準長方形BBと称する。ピストンリング210の厚さおよび掃気ポート120の開口幅は、エンジン100に応じて予め知られている。そのため、この基準長方形BBの長辺の長さ、短辺の長さ、または長辺と短辺との長さの比率、第1境界線BL1と第2境界線BL2との角度が直角であること、第1境界線BL1が水平方向に延びること等を含む一または複数のパラメータが基準パラメータとして記憶器21に記憶される。基準パラメータは、エンジン100における該当箇所の実際の値から撮影画像Gと対比を行う画像領域上の値に変換され、変換後の値が記憶器21に記憶される。
【0047】
なお、ピストン140およびピストンリング210の外周面は、曲面であるため、基準パラメータとして設定される基準長方形BBの長辺の長さは、掃気ポート120で区切られるピストン140またはピストンリング210の円弧の長さとして設定される。すなわち、基準長方形BBの長辺の長さは、掃気ポート120を通して見えるピストン140およびピストンリング210の曲面部分を平面上に展開したときの水平方向長さとして設定される。
【0048】
また、基準長方形BBの長辺の長さは、1本の第1境界線BL1と2本の第2境界線BL2とが交わる2つの交点間の第1距離W1としても定義できる。また、基準長方形BBの短辺の長さは、鉛直方向に隣接する2本の第1境界線BL1と1本の第2境界線BL2とが交わる2つの交点間の第2距離W2としても定義できる。また、基準長方形BBは、一番上に位置するピストンリング210のみとしてもよいし、これに加えてまたはこれに代えて、他のピストンリング210部分に対応する長方形でもよい。また、リングランド280部分に対応する長方形も、同様に定義され、一または複数のリングランド280部分に対応する長方形を基準長方形BBとしてもよい。すなわち、本実施の形態における画像補正処理は、ピストンリング210の状態診断だけでなく、リングランド280の状態診断の際にも行われ得る。基準長方形BB等の画像補正における基準となる外観基準部EBは、画像診断装置3で診断する対象となる部分に応じて設定または変更されてもよい。
【0049】
外観基準部EBを含むピストン140近傍を撮影した撮影画像Gでは、上記撮影の際の制約により、基準長方形BBは、長方形として写り難い。例えば、
図4に示すように、掃気ポート120において向かって左側の直線部分は、向かって右側の直線部分より手前に位置するため、基準長方形BBに対応する特徴部CHである特徴領域BCは、左側の鉛直方向に延びる辺が右側の鉛直方向に延びる辺より長い四角形となる。また、掃気ポート120を斜め方向から撮影することにより、撮影画像G上の掃気ポート120の左右幅が短めに写る。この結果、特徴領域BCにおける四角形の短辺と長辺との長さの比率は外観基準部EBにおける実際の比率とは異なる。
【0050】
画像補正装置2の演算器22は、撮影画像Gにおける特徴部CHが外観基準部EBとして定義される形状および大きさになるように撮影画像Gを補正する。例えば、演算器22は、撮影画像G上の特徴領域BCが第1距離W1の長辺および第2距離W2の短辺を有する基準長方形BBとなるように撮影画像Gを補正する。
【0051】
[画像補正処理]
以下、より具体的な画像補正処理について説明する。
図5は、本実施の形態における画像補正処理の流れを示すフローチャートである。演算器22は、通信ネットワーク7を介して撮影装置8から送信された撮影画像Gを取得する(ステップS1)。撮影装置8から送られる撮影画像Gのデータには、焦点距離等の撮影装置8のデータおよび撮影対象のエンジン100を特定するためのエンジン特定データが含まれる。撮影画像Gのデータには、撮影画像Gが縦向きか横向きかを示す撮影画像Gの向きのデータ、撮影距離等の撮影時の状況データが含まれてもよい。エンジン特定データは、例えば、エンジン100の型式情報、エンジン100のカスタマイズ構成またはエンジン100が搭載される船舶の型式情報を含み得る。エンジン特定データは、エンジン100の個体識別番号または船舶の個体識別番号を含んでもよい。
【0052】
演算器22は、取得した撮影画像Gに対応するエンジン100の基準パラメータを取得する(ステップS2)。演算器22は、撮影画像Gに付随するエンジン特定データから撮影画像Gに対応するエンジン100を特定する。演算器22は、特定したエンジン100の基準パラメータを記憶器21から読み出す。本実施の形態において、記憶器21に記憶される基準パラメータは、エンジン100の型式情報等のエンジン特定データに対応付けられている。このため、エンジン特定データに基づいて撮影画像Gに対応するエンジン100の基準パラメータを容易に取得することができる。
【0053】
演算器22は、撮影画像Gにおける特徴部CHを抽出する(ステップS3)。演算器22は、第1境界線BL1に対応する第1特徴線CL1、第2境界線BL2に対応する第2特徴線CL2、第1特徴線CL1と第2特徴線CL2との交点CP、または、2つの第1特徴線CL1と2つの第2特徴線CL2とが交わる4つの交点CPを頂点とする四角形である特徴領域BCを特徴部CHとして撮影画像Gから抽出する。
【0054】
演算器22は、撮影画像G内に特徴部CHが含まれるかどうかを判定する。このために、演算器22は、撮影画像Gの鉛直方向における輝度分布から第1特徴線CL1を推定する。また、演算器22は、撮影画像Gの水平方向における輝度差分布から第2特徴線CL2を推定する。本実施の形態においては、以下のような判定基準領域BDの特定処理が行われる。
【0055】
[判断基準領域の特定処理]
図6は、本実施の形態における判断基準領域の特定処理のイメージ図である。なお、
図6において、撮影画像Gにおける第1特徴線CL1はほぼ水平に延びる直線であり、第2特徴線CL2は鉛直方向に延びる直線として示されている。
【0056】
撮影画像Gの鉛直方向における輝度分布は、第1分布D1として得られる。演算器22は、撮影画像G全体について、水平方向に並ぶ複数の画素の輝度の和を算出する。第1分布D1は、水平方向の輝度の和についての鉛直方向の分布を示す。上述の通り、ピストンリング210は、シリンダ110の内周面に対して摺動するため、撮影画像Gにおけるピストンリング210に対応する箇所は、シリンダ110の内周面に接しないリングランド280に対応する箇所に比べて輝度が高くなる。この結果、第1分布D1は、輝度が高い鉛直方向領域と輝度が低い鉛直方向領域とが交互に現れる。演算器22は、撮影画像Gにおける第1分布D1において輝度が第1しきい値Th1以上となる鉛直方向領域の位置を第1特定領域E1として特定する。
【0057】
撮影画像Gの水平方向における輝度差分布は、第2分布D2として得られる。演算器22は、撮影画像G全体について、鉛直方向に並ぶ複数の画素の輝度差の和を算出する。例えば、演算器22は、ある鉛直方向列における第1画素の輝度と、第1画素より一単位画素数分、下方に位置する第2画素の輝度との差を算出する。さらに、演算器22は、第2画素の輝度と、第2画素より一単位画素数分、下方に位置する第3画素の輝度との差を算出する。演算器22は、同様にして、ある鉛直方向列において隣り合う画素の輝度差を全て算出し、それらを足し合わせる。第2分布D2は、鉛直方向の輝度差の和についての水平方向の分布を示す。
【0058】
上述の通り、ピストン140の外観基準部EBにおいては、水平方向に延びるピストンリング210とリングランド280とが鉛直方向に交互に存在する。そのため、撮影画像Gの水平方向に関してピストンリング210およびリングランド280が存在する領域は、鉛直方向の輝度差が大きい領域部分を含んでいる。この結果、第2分布D2は、輝度差が大きい水平方向領域と輝度差が小さい水平方向領域とを含む。演算器22は、撮影画像Gにおける第2分布D2において輝度差が第2しきい値Th2以上となる水平方向領域の位置を第2特定領域E2として特定する。
【0059】
第1特定領域E1と第2特定領域E2とが重複する判定基準領域BDが、撮影画像Gにおいてピストンリング210が写っている領域であると推定される。このように、撮影画像Gにおける輝度についての交互パターンを用いて、特徴部CHを含むピストンリング210の存在領域を推定することにより、撮影画像Gにおけるピストンリング210の存在領域の位置および数の同定を容易に行うことができる。
【0060】
なお、第1分布D1および第2分布D2の算出に際し、1画素を演算単位として加算または輝度差の計算を行ってもよいし、例えば3画素×3画素等の複数の画素を含む単位画素領域の輝度を加算してもよい。単位画素領域の輝度は、単位画素領域に含まれる複数の画素の平均値または加算値として算出され得る。
【0061】
演算器22は、第1特定領域E1の長手方向の境界線、すなわち、水平方向の境界線を第1特徴線CL1として推定する。また、演算器22は、第2特定領域E2の長手方向の境界線、すなわち、鉛直方向の境界線を第2特徴線CL2として推定する。ただし、前述の通り、撮影画像Gにおいて、実際の第1特徴線CL1は、水平方向に対して傾いている可能性があり、曲歪みを有している可能性もある。同様に、撮影画像Gにおいて、実際の第2特徴線CL2は、鉛直方向に対して傾いている可能性がある。
【0062】
そのため、以下では、上記で推定された第1特徴線CL1および第2特徴線CL2を第1推定線IL1および第2推定線IL2とし、撮影画像Gにおける実際の第1特徴線CL1および第2特徴線CL2と区別する。演算器22は、第1推定線IL1と第2推定線IL2とで囲まれた四角形である判定基準領域BDを基準とする所定の判定領域において所定の検出処理を行い、第1特徴線CL1、第2特徴線CL2または第1特徴線CL1と第2特徴線CL2との交点CPを含む特徴部CHを特定する。判定領域は、判定基準領域BDと同じ領域に設定されてもよいし、判定基準領域BDより広い領域に設定されてもよいし、判定基準領域BDより狭い範囲に設定されてもよい。なお、判定基準領域BDのデータは、例えば、2つの第2推定線IL2の水平方向位置を示すX座標のデータと、2つの第1推定線IL1間の距離である短辺の長さのデータと、短辺の中点における鉛直方向位置を示すY座標のデータと、を含む。
【0063】
前述の通り、判定基準領域BDは、撮影画像Gにおいてピストンリング210が写っているおよその位置を示す。例えば、
図6においては、6つの判定基準領域BDが特定されており、撮影画像Gにおけるそれらの6箇所の領域において、ピストンリング210が写っていることが推定される。これらの6箇所の領域のすべてについて所定の検出処理が行われてもよいし、そのうちの予め定められた一以上の箇所について所定の検出処理が行われてもよい。検出処理を行う箇所、すなわち、診断を行う箇所をユーザが指定してもよい。また、上下に隣り合う2つの判定基準領域BD間の領域について所定の検出処理が行われてもよい。
【0064】
[第1検出処理]
例えば、演算器22は、第1検出処理として、推定領域について、ハフ変換等を用いた直線検出処理を行ってもよい。演算器22は、直線検出処理で検出された直線成分から第1推定線IL1の近接する直線成分を抽出し、抽出した直線成分に基づいてエッジ検出処理を行うことにより、第1特徴線CL1を特定してもよい。同様に、演算器22は、直線検出処理で検出された直線成分から第2推定線IL2に近接する直線成分を抽出し、抽出した直線成分に基づいてエッジ検出処理を行うことにより、第2特徴線CL2を特定してもよい。第1特徴線CL1および第2特徴線CL2が特定された場合には、演算器22は、それらの交点CPを特定し、2つの第1特徴線CL1と2つの第2特徴線CL2とが交わる4つの交点CPを頂点とする四角形である特徴領域BCを特定する。
【0065】
[第2検出処理]
撮影画像Gにおける第1特徴線CL1または第2特徴線CL2において歪みが大きい場合には、上記直線検出処理で第1推定線IL1または第2推定線IL2に近接する直線成分が抽出できない可能性もある。この場合には、演算器22は、第2検出処理として、判定領域について、コーナー検出処理を行ってもよい。コーナー検出処理により交点CPが特定された場合には、演算器22は、後述する第3変換処理を行う。
【0066】
[補間処理]
なお、撮影画像Gによっては、ピストンリング210の一部または全部が掃気ポート120の影に入る等の理由により、本来あるピストンリング210の数と同じ数の判定基準領域BDが特定されない場合がある。このような場合、例えば撮影画像Gにおける一番上に位置している判定基準領域BDがピストン140に組み付けられる複数のピストンリング210のうちの一番上に位置しているピストンリング210に対応するかどうかが分からない。
【0067】
このような場合を想定して、以下のような処理を行ってもよい。本処理に際しては、記憶器21には、検査対象のエンジン100のピストン140に組み付けられるピストンリング210の数、位置、幅または、リング間間隔等の情報を含むピストン構成データが記憶される。演算器22は、判定基準領域BDの特定した後、対応するエンジン100のピストン構成データを読み出し、特定された判定基準領域BDの数、位置、または判定基準領域BD間の間隔等がピストン構成データに対応するかどうかを判定する。
【0068】
演算器22は、判定基準領域BDがピストン構成データに対応して特定されていないと判定された場合、特徴部CHの検出処理において、検出された特徴部CHの一部から検出できなかった特徴部CHを推定する補間処理を行ってもよい。
【0069】
図7は、本実施の形態における補間処理を示すイメージ図である。
図7の例では、ピストン構成データからは、特徴部CHの交点CPとして12箇所の点が特定されるべきところ、撮影画像Gのピストン140の上方が掃気ポート120の影になり、3点が特定できない状態を示している。
【0070】
演算器22は、撮影画像Gにおいて特定された第1特徴線CL1、第2特徴線CL2、交点CPおよび特徴領域BCの情報とピストン構成データとを対照することにより、撮影画像Gにおいて欠損している箇所を同定する。
図7の例では、一番上のピストンリング210に対応する特徴領域BCの4つの頂点を構成する4つの交点CPのうち、3つの交点CPcが欠損していることが同定される。
【0071】
欠損している交点CPcは、特定されている第1特徴線CL1の延長線上に位置していると推定される。演算器22は、第1特徴線CL1上で特定された複数の交点CLの位置関係とピストン構成データとから欠損している交点CPcの位置を推定する。すなわち、撮影画像Gにおける複数の交点CL間の距離と、対応するピストン部分またはピストンリング部分における距離との相関により撮影画像Gにおける欠損している交点の位置が推定される。
【0072】
図7の例では、上から2番目および3番目のピストンリング210に対応する撮影画像G上の交点CPの位置が特定されている一方、ピストン構成データから3つのピストンリング210の位置関係が取得される。したがって、演算器22は、撮影画像G上の交点CPの位置に基づいて欠損している交点CPcの位置を外挿して求めることができる。同様に、第1特徴線CL1または第2特徴線CL2における欠損部分CL1c,CL2cも推定され得る。
【0073】
[補助処理]
このような補間処理を行うのに加えて、または、これに代えて、第1分布D1および第2分布D2を用いた判定基準領域BDの特定処理において、以下の補助処理を行ってもよい。
【0074】
例えば、演算器22は、撮影画像G全体について輝度成分の鉛直方向の差分画像を求める差分画像処理を行い、得られた差分画像から上下方向に交互に現れる輝度差の交互パターンからピストンリング210およびリングランド280の存在する領域を推定してもよい。例えば、演算器22は、ある鉛直方向列における第1画素の輝度を、第1画素より一単位画素数分、下方に位置する第2画素の輝度から差し引き、差し引いた後の輝度を、第1画素の輝度とする。同様に、演算器22は、第2画素の輝度を、第2画素の一単位画素数分、下方に位置する第3画素の輝度から差し引き、差し引いた後の輝度を、第3画素の輝度とする。演算器22は、このような演算を撮影画像G全体について行い、差し引いた後の輝度で表現された差分画像を生成する。
【0075】
これにより、差分画像は、ピストンリング210とリングランド280との境界部、すなわち、第1特徴線CL1がより強調された画像となる。言い換えると、差分画像においては、撮影画像Gに比べて、ピストンリング210に対応する高輝度領域とリングランド280に対応する低輝度領域とが鉛直方向に繰り返される交互パターンがより明確になる。また、
図3に示すように、撮影画像Gに、2以上の掃気ポート120が含まれる場合、撮影画像Gおよび差分画像には、水平方向に2以上の交互パターン群が現れる。この場合、演算器22は、2以上の交互パターン群の中から所定の交互パターン群を、判定基準領域BDの特定処理を行う領域に設定してもよい。例えば、演算器22は、3つの交互パターン群が含まれる場合、中央部の交互パターン群を、特定処理を行う領域に設定する。あるいは、演算器22は、2以上の交互パターン群のうち、水平方向長さが最も長い交互パターン群を、判定基準領域BDの特定処理を行う領域に設定してもよい。
【0076】
演算器22は、このようにして得られた差分画像に基づいて、判定基準領域BDの特定処理を行ってもよい。
【0077】
また、掃気ポート120の円弧部分が撮影画像Gに含まれている場合、演算器22は、掃気ポート120の円弧部分の形状を利用して判定基準領域BDの特定を行ってもよい。撮影時に掃気ポート120の内周面に光が当たっている場合、撮影画像Gにおいて掃気ポート120の内周面にピストンリング210およびリングランド280が写り込み、掃気ポート120とピストンリング210またはリングランド280の境界部である第2特徴線CL2が直接特定できない恐れがある。また、掃気ポート120に汚れが付着している場合や掃気ポート120が影になっている場合にも、第2特徴線CL2が直接特定できない恐れがある。このような場合に以下の処理が行われ得る。
【0078】
図3に示すように、掃気ポート120の円弧部分は、シリンダ110の径方向外側が内側に比べて拡径されるような形状を有している。撮影画像Gには径方向外端部の第1円弧部分121と、径方向内端部の第2円弧部分122とが含まれる。演算器22は、第1円弧部分121を楕円検出処理により抽出する。記憶器21には、掃気ポート120の径方向外側における円弧部分の直径、径方向内側における円弧部分の直径、掃気ポート120の深さ、または掃気ポート120の径方向に対する傾き等を含む構造データが記憶される。
【0079】
演算器22は、第1円弧部分121における楕円の傾きまたは正円率等から掃気ポート120の構造データに基づいて掃気ポート120と撮影装置8との相対位置を決定する。演算器22は、掃気ポート120の構造データおよび相対位置から第2円弧部分122の位置および姿勢を推定し、一の掃気ポート120に含まれる上下2つの第2円弧部分122から判定基準領域BDにおける掃気ポート120とピストンリング210またはリングランド280との境界部、すなわち、第2特徴線CL2の位置を推定する。
【0080】
このために、演算器22は、例えば、上下2つの第2円弧部分122の共通接線を求め、当該共通接線を第2特徴線CL2として推定してもよい。また、演算器22は、例えば、上下2つの第2円弧部分122に対してエッジ検出を行い、2つの第2円弧部分122において検出されたエッジ同士を繋ぐことにより、第2特徴線CL2を推定してもよい。本実施の形態では、掃気ポート120が2つの第2円弧部分122の間を繋ぐ直線部分を有する構成を例示しているが、掃気ポート120は、例えば研削や切削のような機械加工による複数の丸孔で構成されるような、直線部分を有しない特殊な形状を有し得る。このような特殊な形状を有する掃気ポート120において第2特徴線CL2を推定するために、上記推定方法は有効である。
【0081】
演算器22は、以上のようにして抽出された特徴部CHから基準パラメータに相当する特徴パラメータを生成する(ステップS4)。例えば、基準パラメータが基準長方形BBの長辺の長さ、短辺の長さおよび長辺と短辺との長さの比率を含む場合、撮影画像G上の特徴部CHである特徴領域BCにおける四角形の長辺の長さ、短辺の長さおよび長辺と短辺との長さの比率を算出する。さらに、演算器22は、特徴領域BCにおける四角形の長辺の水平方向に対する傾き、特徴領域BCにおける四角形の短辺の鉛直方向に対する傾き、特徴領域BCにおける四角形の頂点の位置等を特徴パラメータとして有し得る。なお、演算器22は、後述する第3変換処理を行った後の撮影画像Gに対して特徴パラメータの生成を行ってもよい。
【0082】
演算器22は、生成した特徴パラメータと基準パラメータとの対比に基づいて、撮影画像Gを補正する(ステップS5)。例えば、
図4の右側に示す撮影画像G上の特徴部CHの形状を
図4の左側に示す外観基準部EBに一致させるように、すなわち、特徴パラメータを基準パラメータに一致させるように、撮影画像Gを補正する。
【0083】
[補正処理の具体例]
演算器22は、撮影画像Gの補正処理として以下の処理のうちの少なくとも1つを実行する。例えば、演算器22は、撮影画像Gにおける四角形の特徴領域BCを長方形に変換する第1変換処理を行うことで撮影画像Gを補正してもよい。第1変換処理は、例えばホモグラフィ変換を含む。第1変換処理により、撮影画像Gの特徴部CHにおける水平方向の遠近差が是正される。
【0084】
また、演算器22は、撮影画像G上の四角形の特徴領域BCにおいて交差する2つの辺の長さの比率、すなわち四角形の長辺と短辺との長さの比率を、基準パラメータにおける比率に一致させるような第2変換処理を行うことで撮影画像Gを補正してもよい。これにより、撮影画像Gにおける特徴部CHを適切な実際の寸法における縦横比に変換することができる。第2変換処理は、第1変換処理を行った後に行なわれてもよいし、撮影画像Gにおいて第1変換処理を行う必要がない場合等には第1変換処理を行わずに第2変換処理が行われてもよい。
【0085】
また、演算器22は、撮影画像Gにおける特徴領域BCの倍率を基準パラメータに合わせる補正を行ってもよい。すなわち、演算器22は、撮影画像Gにおける特徴部CHの四角形である特徴領域BCの長辺および短辺の長さを基準パラメータにおける長さに一致させるような補正を行ってもよい。
【0086】
また、演算器22は、撮影画像Gにおける第1特徴線CL1が直線になるように、撮影画像Gを補正してもよい。例えば、演算器22は、撮影画像Gにおける特徴領域BCを複数の四角形部分に分割し、四角形部分に対して第1変換処理を行うことで特徴領域BC全体を長方形に変換する第3変換処理を行ってもよい。
【0087】
図8は、本実施の形態における第3変換処理を示すイメージ図である。
図8に示す例において、撮影画像Gにおける特徴領域BCは、シリンダ110またはピストンリング210の外周面が曲面を有することによる曲歪みが生じている。このため、特徴部CHの検出処理において、第1特徴線CL1が検出できずコーナー検出処理により交点CPが検出されている場合等に、第3変換処理が行われる。
【0088】
第3変換処理において、演算器22は、特定されている4つの交点CPのうち、上側の2つの交点CPのうちの何れかにおける交点CPにおける輝度差情報を取得する。
図8の例では、演算器22は、左上の交点CPにおける輝度差情報を取得する。輝度差情報は、例えば、撮影画像Gの交点CPより所定距離上方の位置における輝度と、交点CPより所定距離下方の位置における輝度との差分を示す情報である。交点CPは、ピストンリング210とリングランド280との境界線上に位置するため、交点CPにおいて鉛直方向の輝度差は、ある程度大きいと推定される。この交点CPにおける輝度差情報が後述する境界探索の基準として記憶器21に記憶される。
【0089】
演算器22は、輝度差情報を取得した交点CPから水平方向に所定距離探索点を移動させて、その位置における輝度差情報を取得する。
図8の例では、演算器22は、左上の交点CPから右上の交点に近づく方向、すなわち右方向に所定距離離れた位置を探索点に設定する。演算器22は、取得した輝度差が交点CPにおける輝度差に基づいて定められる基準値以上であるかどうかを判定する。探索点における輝度差が基準値未満である場合、演算器22は、その探索点から上方または下方に位置する位置を探索点として設定し、同様に輝度差を取得する。
【0090】
図8における4つの交点CPで囲まれる領域は、ピストンリング210に対応する領域、すなわち、周囲の領域に比べて高輝度の領域である。したがって、探索点における輝度が高い場合、演算器22は、その探索点から上方に位置する位置を新たな探索点として設定する。一方、探索点における輝度が低い場合、演算器22は、その探索点から下方に位置する位置を新たな探索点として設定する。
【0091】
演算器22は、新たな探索点における輝度差が基準値以上であるかどうかを判定し、基準値以上である場合、その新たな探索点をピストンリング210とリングランド280との境界点DPであると判定する。このように、演算器22は、輝度差が基準値以上となる位置まで探索点を上方または下方に移動させて境界点DPを特定する。さらに、演算器22は、境界点DPの特定を右上の交点CPの水平方向位置に到達するまで繰り返す境界探索を行う。同様に、演算器22は、特徴領域BCの下側の交点CPについても同様の境界探索を行う。なお、第1線分LS1および第2線分LS2における探索点の水平方向位置は互いに等しい位置に設定される。
【0092】
演算器22は、得られた境界点DPを直線で繋ぐことにより、特徴領域BCを複数の四角形部分BEに分割する。演算器22は、鉛直方向に延びる複数の四角形部分BEの分割線の水平方向位置で撮影画像Gを分割する。演算器22は、分割した撮影画像部分に対して、撮影画像部分に含まれる四角形部分BEを長方形にする第1変換処理を行う。演算器22は、第1変換処理後の複数の撮影画像部分を結合して、長方形に補正された特徴領域BCcを有する補正画像を生成する。これにより、曲歪みを是正し、撮影画像Gを画像診断に適した画像に補正することができる。
【0093】
なお、上記第3変換処理では、2つの交点CPのうちの一方から探索を行う態様を例示したが、演算器22は、上側または下側の2つの交点CP同士を結ぶ線分の垂直二等分線上に探索点を設定し、輝度差の判定を行ってもよい。この場合、当該垂直二等分線上の境界点DPの特定後は、演算器22は、特定された境界点DPと、一方の交点CPとを結ぶ線分の垂直二等分線上に探索点を設定し、輝度差の判定を行う。これを順次繰り返すことにより複数の境界点DPが特定される。さらに、演算器22は、2つの交点CP同士を結ぶ線分の垂直二等分線上で特定された境界点DPと他方の交点CPとを結ぶ線分の垂直二等分線上にも同様に、探索点を設定し、輝度差の判定を行う。
【0094】
このような第3変換処理後の撮影画像Gに対して、さらに縦横比を補正する第2変換処理が行われてもよい。
【0095】
また、演算器22は、第1特徴線CL1が水平方向に沿うように、撮影画像G全体の傾きを調整してもよい。演算器22は、撮影画像Gにおける第1特徴線CL1の水平線に対する角度を検出し、第1特徴線CL1が水平線に一致するように、撮影画像G全体を検出された角度分回転させるアフィン変換を行う。
【0096】
第1特徴線CL1が直線でない場合、演算器22は、先に第3変換処理を行ってから傾き調整を行ってもよいし、第1特徴線CL1の中央部が水平になるように傾き調整を行ってもよい。これにより、撮影者の撮影姿勢によらず、撮影画像Gを画像診断に適した画像に補正することができる。
【0097】
これに加えて、または、これに代えて、演算器22は、第2特徴線CL2が鉛直方向に沿うように、撮影画像G全体の傾きを調整してもよい。演算器22は、撮影画像Gにおける第2特徴線CL1の鉛直線に対する角度を検出し、第2特徴線CL2が鉛直線に一致するように、撮影画像G全体を検出された角度分回転させるアフィン変換を行う。
【0098】
第2特徴線CL2に基づく傾き調整によっても、撮影者の撮影姿勢によらず、撮影画像Gを画像診断に適した画像に補正することができる。また、円柱状のピストン140または環状のピストンリング210から特定される第1特徴線CL1よりも第2特徴線CL2は、撮影装置8の画角や撮影位置によっては直線性が高い場合がある。このような場合には、第2特徴線CL2に基づいて傾き調整を行うことにより、より精度の高い調整を行うことができる。なお、演算器22は、第1特徴線CL1に基づく傾き調整と第2特徴線CL2に基づく傾き調整との双方を行ってもよい。
【0099】
[効果]
上記実施の形態によれば、検査対象のエンジン100のピストン140を撮影した撮影画像Gから抽出される特徴部CHが、予め記憶器21に記憶されているピストン140の外観基準部EBと対比され、撮影画像Gにおける特徴部CHが外観基準部EBに適切に対応するように撮影画像Gが補正される。このため、撮影画像Gが撮影者、撮影状況等によりばらついても、撮影画像Gを、エンジン100の画像診断に適した画像に補正することができる。
【0100】
このように、上記実施の形態によれば、撮影画像Gを実際のピストン140の寸法または形状等に対応するように均一化することができる。このため、エンジン100の画像診断における見落とし、誤検知等が低減し、精度の高い診断を行うことができる。また、均一化した画像同士の対比も容易になる。例えば、同じ形式の複数のエンジン100同士の比較、または、一のエンジン100における経年劣化の進み具合の判定等を容易に行うことができる。また、補正後の撮影画像G内に写る各部の寸法もエンジン100に応じて均一化されるため、撮影画像Gに定規を写り込ませる等の手間も不要となる。
【0101】
また、上記実施の形態によれば、外観基準部EBが、掃気ポート120を通してシリンダ110内のピストン140を見たときのピストンリング210とリングランド280との第1境界線BL1、または、ピストンリング210もしくはリングランド280と掃気ポート120との間の第2境界線BL2に基づいて設定される。このように、ピストン140の外観的構造として特徴的な部分を外観基準部EBとすることにより、撮影画像Gにおいて外観基準部EBに対応する特徴部CHの抽出を容易にし、誤検出や検出不良が生じる頻度を低減することができる。
【0102】
[他の実施の形態]
以上、本開示の実施の形態について説明したが、本開示は上記実施の形態に限定されるものではなく、種々の改良、変更、修正が可能である。
【0103】
例えば、上記実施の形態においては、撮影画像Gに対する補正処理の態様として、ホモグラフィ変換を含む第1変換処理、縦横比を補正する第2変換処理、曲線を直線に補正する第3変換処理、倍率補正、および傾き調整を例示した。画像補正装置2の演算器22は、これらのすべての補正処理を実行可能でもよいし、これらのうちの一部の補正処理を実行可能でもよい。また、画像補正装置2の演算器22は、上記以外の補正処理を実行可能であってもよい。
【0104】
画像補正装置2の演算器22が複数の補正処理を実行可能である場合、ユーザが複数の補正処理の中から実行する少なくとも1つの補正処理を選択してもよい。あるいは、演算器22が複数の補正処理について実行の要否を判定し、必要な補正処理と判定された補正処理を実行してもよい。
【0105】
例えば、以下の順で、各補正処理を実行してもよい。まず、演算器22は、撮影画像Gにおける第1特徴線CL1が直線かどうか、あるいは、第1特徴線CL1が特定できたかどうかを判定する。第1特徴線CL1が直線ではない、あるいは、第1特徴線CL1が特定できないと判定された場合、演算器22は、第3変換処理を実行する。
【0106】
次に、演算器22は、直線である第1特徴線CL1が水平方向に対して傾いているかどうかを判定する。第1特徴線CL1が水平方向に対して傾いている場合、演算器22は、撮影画像G全体に対する傾き調整を行う。
【0107】
次に、演算器22は、2つの第1特徴線CLと2つの第2特徴線CL2とで囲まれる四角形の特徴領域BCが長方形であるかどうかを判定する。特徴領域BCが長方形ではない四角形である場合、演算器22は、特徴領域BCを長方形に変換する第1変換処理を実行する。
【0108】
次に、演算器22は、長方形の特徴領域BCの縦横比が、基準長方形BBにおける縦横比に一致しているかどうかを判定する。特徴領域BCの縦横比が、基準長方形BBにおける縦横比に一致していない場合、演算器22は、特徴領域BCの縦横比を変換する第2変換処理を実行する。
【0109】
次に、演算器22は、長方形の特徴領域BCの長辺または短辺の長さが、基準長方形BBにおける長辺または短辺の長さに一致しているかどうかを判定する。特徴領域BCの長辺または短辺の長さが、基準長方形BBにおける長辺または短辺の長さに一致していない場合、演算器22は、特徴領域BCの倍率を変更する倍率補正を行う。
【0110】
なお、上記例では、各補正処理を行うか否かの判定を行う例を示したが、演算器22は、上記各判定を行うことなく、上記の順番で各補正処理を実行してもよい。
【0111】
また、補正処理として傾き調整を行う場合、演算器22は、判定基準領域BDの特定処理を行う代わりに、撮影画像G全体について直線検出を行うことにより、第1特徴線CL1を抽出してもよい。この際、複数のシリンダリング210およびリングランド280が形成されることにより、複数の第1境界線CL1が存在することを用いて、直線検出された直線のうち、互いに平行である、または、平行度の高い複数の直線を第1特徴線CL1として抽出してもよい。
【0112】
また、上記実施の形態においては、外観基準部EBおよびそれに対応する特徴部CHが、点BP,CP、線BL1,BL2,CL1,CL2、および形状BB,CPを含む例を示したが、実行する補正処理に応じて必要な外観基準部EBおよび特徴部CHは適宜設定され得る。すなわち、外観基準部EBおよびそれに対応する特徴部CHは、上記のうちの何れか1つでもよい。
【0113】
また、上記実施の形態においては、判定基準領域BDの特定処理として、演算器22が撮影画像Gの鉛直方向における輝度分布から第1特徴線CL1を推定し、撮影画像Gの水平方向における輝度差分布から第2特徴線CL2を推定する態様を例示したが、これに限られない。例えば、演算器22が、撮影画像Gの鉛直方向における輝度差分布から第1特徴線CL1を推定し、撮影画像Gの水平方向における輝度分布から第2特徴線CL2を推定してもよい。また、第1特徴線CL1および第2特徴線CL2の何れを推定する場合であっても、輝度分布または輝度差分布の何れか一方を用いて判定基準領域BDの特定処理が実行されてもよい。
【0114】
また、輝度分布または輝度差分布以外の分布を用いて判定基準領域BDの特定処理が実行されてもよい。例えば、撮影画像Gの要素、すなわち、比較対象の数値は、上記輝度値または輝度差に加えて、その画素または単位領域における輝度の周囲の平均輝度からの誤差量、その画素または単位領域における輝度の所定の基準輝度に対する比率、または撮影画像Gを、HSV(Hue, Saturation, Value)色空間等の別の色相系に変換したときの色相の同一度を含み得る。
【0115】
以上より、演算器22は、判定基準領域BDの特定処理において、撮影画像Gの第1要素についての鉛直方向分布から第1特徴線CL1を推定し、撮影画像Gの第2要素についての水平方向分布から第2特徴線CL2を推定し得る。第1要素と第2要素とは同じ要素でもよいし、互いに異なる要素でもよい。
【0116】
また、上記実施の形態においては、撮影装置8で撮影した撮影画像Gを通信ネットワーク7を介して画像補正装置2に送信する態様を例示したが、撮影装置8を備えた通信端末に画像補正プログラムがインストールされ、当該通信端末において撮影画像Gの画像補正処理が行われてもよい。すなわち、撮影装置8を備えた通信端末が画像補正装置2を構成してもよい。
【0117】
この場合、基準パラメータ等が記憶される記憶器21は、撮影装置8と通信可能なクラウドサーバとして構成されてもよい。例えば、通信端末は、撮影装置8で撮影した撮影画像Gに含まれるエンジン100のエンジン特定データを送信し、クラウドサーバから対応するエンジン100の基準パラメータのデータを取得してもよい。通信端末は、撮影装置8で撮影された撮影画像Gと取得した基準パラメータのデータを用いて、上記画像補正処理を実行してもよい。同様に、撮影装置8を備えた通信端末において画像診断が行われてもよい。
【0118】
[本開示のまとめ]
本開示の一態様に係る画像補正装置は、検査対象のエンジンのピストンまたは当該ピストンの周辺構造を撮影した撮影画像を用いて前記エンジンの診断を行うために前記撮影画像を補正する画像補正装置であって、前記エンジンに応じて予め定められる前記ピストンの所定の外観基準部に関連する基準パラメータを記憶する記憶器と、前記撮影画像の画像補正演算を行う演算器と、を備え、前記演算器は、前記撮影画像を取得し、前記撮影画像に対応する前記エンジンの前記基準パラメータを取得し、前記撮影画像から前記外観基準部に対応する特徴部を抽出し、前記特徴部から前記基準パラメータに相当する特徴パラメータを生成し、前記特徴パラメータと前記基準パラメータとの対比に基づいて、前記撮影画像を補正する。
【0119】
上記構成によれば、検査対象のエンジンのピストンを撮影した撮影画像から抽出される特徴部が、予め記憶器に記憶されているピストンの外観基準部と対比され、撮影画像における特徴部が外観基準部に適切に対応するように撮影画像が補正される。このため、撮影画像が撮影者、撮影状況等によりばらついても、撮影画像を、エンジンの画像診断に適した画像に補正することができる。
【0120】
前記基準パラメータは、前記エンジンを特定するためのエンジン特定データに対応付けられていてもよい。これにより、エンジンの型式情報から画像補正の基準となる基準パラメータが取得できる。したがって、入力情報として、撮影画像および撮影画像に含まれるエンジンの型式情報さえあれば、撮影画像を、エンジンの画像診断に適した画像に補正することができる。
【0121】
前記エンジンは、長手方向に直線部分を有する長円形状の掃気ポートを有するシリンダと、周面にピストンリングが組み付けられ、前記シリンダ内を摺動するピストンと、を備え、前記外観基準部は、前記シリンダの前記掃気ポートを通して前記ピストンを見たときの前記ピストンリングと前記ピストンの周面における露出部分であるリングランドとの間の水平方向に延びる第1境界線、前記ピストンリングもしくは前記リングランドと前記掃気ポートとの間の鉛直方向に延びる第2境界線、または、前記第1境界線および前記第2境界線の交点を含み、前記演算部は、前記第1境界線に対応する第1特徴線、前記第2境界線に対応する第2特徴線、または、前記第1特徴線および前記第2特徴線の交点を前記特徴部として前記撮影画像から抽出してもよい。
【0122】
上記構成によれば、外観基準部が、掃気ポートを通してシリンダ内のピストンを見たときのピストンリングとリングランドとの第1境界線、または、ピストンリングもしくはリングランドと掃気ポートとの間の第2境界線に基づいて設定される。このように、ピストンの外観的構造として特徴的な部分を外観基準部とすることにより、撮影画像において外観基準部に対応する特徴部の抽出を容易にし、誤検出や検出不良が生じる頻度を低減することができる。
【0123】
前記演算器は、前記撮影画像の第1要素についての鉛直方向分布から前記第1特徴線を推定し、前記撮影画像の第2要素についての水平方向分布から前記第2特徴線を推定してもよい。ピストンリングとリングランドとが鉛直方向に交互配置されていること、および、ピストンリングとリングランドとの間の画像要素の違いを利用して特徴部の存在領域を推定することにより、撮影画像における特徴部の存在領域の位置および数の同定を容易に行うことができる。
【0124】
前記演算器は、2つの前記第1特徴線と2つの前記第2特徴線とで画される四角形を長方形に変換する第1変換処理を行うことにより、前記撮影画像を補正してもよい。これにより、撮影画像に含まれる遠近差を是正し、画像診断に適した画像に補正することができる。
【0125】
前記演算器は、2つの前記第1特徴線と2つの前記第2特徴線とで画される四角形において交差する2つの辺の長さの比率を変換する第2変換処理を行うことにより、前記撮影画像を補正してもよい。これにより、撮影画像における特徴部を適切な実際の寸法における縦横比に変換することができる。
【0126】
前記演算器は、前記第1特徴線が直線になるように、前記撮影画像を補正してもよい。これにより、撮影画像における曲歪みを是正し、画像診断に適した画像に補正することができる。
【0127】
前記演算器は、前記第1特徴線が水平方向に沿うように、または、前記第2特徴線が鉛直方向に沿うように、前記撮影画像全体の傾きを調整してもよい。これにより、撮影者の撮影姿勢によらず、撮影画像を画像診断に適した画像に補正することができる。
【0128】
前記記憶器は、クラウドサーバとして構成されてもよい。これにより、クラウドサーバに多数のエンジンに応じた基準パラメータを記憶させておき、複数の端末からクラウドサーバにアクセスすることで検査対象のエンジンに応じた基準パラメータを取得可能となる。このため、画像補正および画像診断を行う端末においては、基準パラメータのデータを個別に記憶させる必要がなくなる。これにより、基準パラメータを変更する必要が生じた場合にも、クラウドサーバ上のデータを更新するだけでよく、変更処理の手間を省くことができる。
【0129】
本開示の他の態様に係る画像補正方法は、検査対象のエンジンのピストンまたは当該ピストンの周辺構造を撮影した撮影画像を用いて前記エンジンの診断を行うために前記撮影画像を補正する画像補正方法であって、前記撮影画像を取得し、前記撮影画像に対応する前記エンジンについて予め定められる前記ピストンの所定の外観基準部に関連する基準パラメータを取得し、前記撮影画像から前記外観基準部に対応する特徴部を抽出し、前記特徴部から前記基準パラメータに相当する特徴パラメータを生成し、前記特徴パラメータと前記基準パラメータとの対比に基づいて、前記撮影画像を補正する。
【0130】
本開示の他の態様に係る画像補正プログラムは、検査対象のエンジンのピストンまたは周辺構造を撮影した撮影画像を用いて前記エンジンの診断を行うために前記撮影画像を補正する画像補正プログラムであって、前記コンピュータを、前記撮影画像を取得し、前記撮影画像に対応する前記エンジンについて予め定められる前記ピストンの所定の外観基準部に関連する基準パラメータを取得し、前記撮影画像から前記外観基準部に対応する特徴部を抽出し、前記特徴部から前記基準パラメータに相当する特徴パラメータを生成し、前記特徴パラメータと前記基準パラメータとの対比に基づいて、前記撮影画像を補正するように機能させる。
【符号の説明】
【0131】
2 画像補正装置
21 記憶器
22 演算器
100 エンジン
120 掃気ポート
140 ピストン
210 ピストンリング
280 リングランド
BL1 第1境界線
BL2 第2境界線
BP 第1境界線および第2境界線の交点
CH 特徴部
CL1 第1特徴線
CL2 第2特徴線
CP 第1特徴線および第2特徴線の交点
EB 外観基準部
G 撮影画像