特許 7557195 船舶の壁面検査用高度知能化検査システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-18

(45)【発行日】2024-09-27

(54)【発明の名称】船舶の壁面検査用高度知能化検査システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240919BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 13

(21)【出願番号】P 2020152681

(22)【出願日】2020-09-11

(65)【公開番号】P2022046997

(43)【公開日】2022-03-24

【審査請求日】2023-03-31

(73)【特許権者】

【識別番号】518032292

【氏名又は名称】テクノス三原株式会社

(74)【代理人】

【識別番号】100085291

【弁理士】

【氏名又は名称】鳥巣 実

(74)【代理人】

【識別番号】100117798

【弁理士】

【氏名又は名称】中嶋 慎一

(74)【代理人】

【識別番号】100166899

【弁理士】

【氏名又は名称】鳥巣 慶太

(74)【代理人】

【識別番号】100221006

【弁理士】

【氏名又は名称】金澤 一磨

(72)【発明者】

【氏名】竹田 史章

(72)【発明者】

【氏名】向田 尊俊

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０２０－０８８６４７（ＪＰ，Ａ）

【文献】特開２０２０－０１３４６５（ＪＰ，Ａ）

【文献】特開２０２０－００３４３０（ＪＰ，Ａ）

【文献】特開２０１９－２００５１２（ＪＰ，Ａ）

【文献】国際公開第２０２０／０６６７１１（ＷＯ，Ａ１）

【文献】竹田 史章，村中 元紀，飛翔型ドローンによる空撮画像良否判定システム，第６３回システム制御情報学会研究発表講演会，2019年05月24日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

船舶の壁面を撮像し、前記壁面の撮像画像データを利用して、前記壁面の状態を良否判定する船舶の壁面検査用高度知能化検査システムであって、
撮像による壁面の撮像画像データから、画像処理により、時間帯、季節、天候などの変化に基づく光量変動に対して不変な情報を作成する前処理手段と、
前記前処理手段に先立って、予め撮像して取得した複数の撮像画像データから、画像処理により、それぞれ時間帯、季節、天候などの変化に基づく光量変動に対して不変な複数の基準データを記憶させ学習させる学習手段と、
前記前処理手段にて作成された前記不変な情報を、前記複数の基準データに基づいて、前記壁面の状態を良否判定する状態判定手段と
を備え、
前記前処理手段は、前記撮像による濃淡ムラに基づく光量変動に対して濃淡正規化による前処理を実施するものであり、
前記不変な情報は、濃淡ムラに不変な情報であって、前記壁面である判定対象の学習時と判定時の色合いに依存しない白黒濃淡情報である
ことを特徴とする船舶の壁面検査用高度知能化検査システム。

【請求項2】

前記学習手段が、前記複数の基準データを、ニューラルネットワークを用いて学習させるものであり、
前記状態判定手段が、前記不変な情報を前記複数の基準データに基づいて、ニューラルネットワークを用いて良否判定する手段である、
請求項１に記載の船舶の壁面検査用高度知能化検査システム。

【請求項3】

前記壁面の状態について良否判定のために予め記憶されている基準データは、前記壁面の形状及び性状の違いに応じて異なる複数種類が作成されており、
前記複数種類の基準データは、前記撮像する壁面に基づき、作業者の指示で使い分けられる、
請求項１または２記載の船舶の壁面検査用高度知能化検査システム。

【請求項4】

前記船舶の壁面の撮像は、カメラを搭載したマルチコプターを送信機にて操縦して飛行させて行うものであり、
前記前処理手段は、前記マルチコプターによる前記壁面の空撮時における上下左右などの傾き変動に対し、撮像画像データから前記傾き変動に不変な情報を作成するものである、
請求項１乃至３のいずれか１項に記載の船舶の壁面検査用高度知能化検査システム。

【請求項5】

前記状態判定手段は、前記マルチコプターによる空撮の際、前記マルチコプターの送信機からの撮像画像データの信号を受け、作業者の判断で、その場で良否判定するオンライン検査モードを有する、
請求項４記載の船舶の壁面検査用高度知能化検査システム。

【請求項6】

前記マルチコプターは、空撮の際、撮像画像データを保存するモバイルメモリを備え、
前記状態判定手段は、空撮完了後、前記モバイルメモリに保存した前記撮像画像データを検査用パソコンに取り込み、良否判定するオフライン検査モードを有する、
請求項４又は５記載の船舶の壁面検査用高度知能化検査システム。

【請求項7】

前記船舶の壁面の撮像は、カメラを用いて作業者が行い、撮像画像データはモバイルメモリに保存されるものであり、
前記状態判定手段は、撮像完了後、前記モバイルメモリに保存した前記撮像画像データを検査用パソコンに取り込み、良否判定するオフライン検査モードを有する、
請求項１乃至３のいずれか１項に記載の船舶の壁面検査用高度知能化検査システム。

【請求項8】

前記状態判定手段は、前記撮像画像データを上下左右に複数に分割し、この分割された個々の画像を判定の単位画像として良否判定を行うものである、
請求項６又は７記載の船舶の壁面検査用高度知能化検査システム。

【請求項9】

前記状態判定手段は、良否判断を行う場合、前記壁面の状態を、良品、不良品についての複数の状態に分類可能である、
請求項１乃至８のいずれか１項に記載の船舶の壁面検査用高度知能化検査システム。

【請求項10】

前記状態判定手段は、前記撮像画像データを、前記検査用パソコンにてメディア再生ソフトウエアで再生する場合、不良品であると判定された前記単位画像を、撮像画像に部分的に明示する機能を有する、
請求項８記載の船舶の壁面検査用高度知能化検査システム。

【請求項11】

前記状態判定手段は、前記撮像画像データを、前記検査用パソコンにてメディア再生ソフトウエアで再生する場合、不良品であると判定された前記単位画像が前記撮像画像に部分的に明示されるまでスキップさせる機能を有する、
請求項１０記載の船舶の壁面検査用高度知能化検査システム。

【請求項12】

前記前処理手段は、
カラー画像を色相均等加算平均により白黒濃淡画像する手段と、
フレーム画像内の画素内の画素内の最小値Ｐを探索し、全画素から最小値Ｐを差し引き、画像を前記最小値Ｐからの差分画像とするオフセットカット処理手段と、
光量変動に対する濃淡正規化手段と、を有し、
前記最小値Ｐは、濃度ヒストグラムにより最頻画像の濃度値つまり平均値を基準画像濃度とする、
請求項１記載の船舶の壁面検査用高度知能化検査システム。

【請求項13】

前記濃淡正規化手段は、
下記式１の濃淡ムラ正規化演算式により算出する手段を有する、
請求項１２記載の船舶の壁面検査用高度知能化検査システム。
（式１）

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、船舶の壁面検査用高度知能化検査システムに関するものである。

【背景技術】

【0002】

現在、船倉、船底、外板などの船舶の壁面の状態検査は、船舶が大型であるため、通常、屋外で、はしごを使用したり足場を組んだりして、専門家である作業者（検査者）が直接船舶の壁面を目視で観察して、不具合箇所を確認し、壁面の状態の良否判定を実施している。従って、広範囲に亘る高所での作業であり、作業者の安全性の確保と作業効率の向上が求められている。

【0003】

そこで、このような不具合箇所の確認を、作業者が直接目視で行うのではなく、マルチコプターに搭載した撮像カメラにより取得した画像で行うようにすれば、時間やリスクを大幅に削減できることに着想し、マルチコプターに搭載した撮像カメラを用いて船倉の壁面を撮像し、その後、撮像画像により検査を行うことを出願人は先に提案している（例えば、特許文献１参照）。

【0004】

また、マルチコプターに、飛行制御に必要な各種センサを設けることは知られている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第６６２８３７３号公報

【文献】特表２０１７－５２９９０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、直接作業者による目視検査であっても、マルチコプターに搭載した撮像カメラを用いた撮像画像による検査であっても、作業者（検査者）の個人的感性での主観的な良否判定となり、判定基準が安定していない。

【0007】

船舶の壁面の検査は、主に屋外での撮像画像を前提とするので、屋内の場合とは異なり、時間帯、季節、天候などの変化に基づく光量変動の影響を強く受けるので、それを配慮する必要性が高い。

【0008】

本発明は、時間帯、季節、天候などの変化に基づく光量変動の影響を受けることなく、判定基準が安定した、船倉、船底、外板などの船舶の壁面の検査を実行できる船舶の壁面検査用高度知能化検査システムを提供する。

【課題を解決するための手段】

【0009】

本発明の一の態様に係る船舶の壁面検査用高度知能化検査システムは、船舶の壁面を撮像し、前記壁面の撮像画像データを利用して、前記壁面の状態を良否判定する船舶の壁面検査用高度知能化検査システムであって、撮像による壁面の撮像画像データから、画像処理により、時間帯、季節、天候などの変化に基づく光量変動に対して不変な情報を作成する前処理手段と、前記前処理手段に先立って、予め撮像して取得した複数の撮像画像データから、画像処理により、それぞれ時間帯、季節、天候などの変化に基づく光量変動に対して不変な複数の基準データを記憶させ学習させる学習手段と、前記前処理手段にて作成された前記不変な情報を、前記複数の基準データに基づいて、前記壁面の状態を良否判定する状態判定手段とを備え、前記前処理手段は、前記撮像による濃淡ムラに基づく光量変動に対して濃淡正規化による前処理を実施するものであり、前記不変な情報は、濃淡ムラに不変な情報であって、前記壁面である判定対象の学習時と判定時の色合いに依存しない白黒濃淡情報であることを特徴とする。ここで、船舶の壁面の撮像は、主に屋外で行われるが、船倉の壁面の撮像など屋内で行われる場合を含む。

【0010】

また、時間帯、季節、天候などの変化に基づく光量変動に対して不変な情報とは、時間帯、季節、天候などの変化による環境変化を原因とする光量変動に影響されない情報を意味する。また、複数の基準データとは、例えば良品、不良品についての複数の撮像画像データに基づくもので、これらが予め記憶、学習される。なお、判定対象の情報（データ）も、判定終了後は、このデータを記憶、学習して以後の基準データとして用いることができる。

【0011】

このようにすれば、船舶の壁面を撮像し、その壁面の撮像画像データから、時間帯、季節、天候などの変化に基づく光量変動に対して不変な情報を画像処理による前処理にて作成し、その不変な情報を、前記壁面の状態について良否判定のために予め記憶、学習されている基準データに基づいて、前記壁面の状態の良否が判定されるので、専門家である作業者（検査者）の個人的感性によることなく、判定基準が安定した検査が実行される。

【0012】

また、上述した通り、船舶の壁面の検査は、主に屋外での撮像画像を前提とするので、屋内の場合に比べ、時間帯、季節、天候などの変化に基づく光量変動の影響を強く受ける。また、ドローンで撮像した画像を対象とする場合には、空撮の焦点ボケ、傾きなどの影響が直接壁面の良否判定に受けることとなる。

【0013】

さらに、各種色合いの異なる壁面を検査対象とする場合には、色合いの違いに不変な仕組みを考慮する必要がある。一方、専門家の再現性が不十分な感性判断における壁面の良否判定を、専門家が選定した良品及び不良品の画像で判定の仕組みを自動で構築することが必要となる。

【0014】

以上の条件を満たし、精度よく良否判定するためには、通常の画像処理とパターンマッチングでは不十分であり、人工知能を用いた学習を用いることが好ましく、例えば、人工知能の一種である人間の学習機能をコンピュータで模倣するニューラルネットワーク（神経回路網）を用いるのが最適である。

【0015】

そこで、発明者らは、事前に想定される上記各種画像の変動要因を可能な範囲で画像処理しある程度変動に不変な情報を生成し、そのうえで、ニューラルネットワークにて学習し、自律的に良否判定の仕組みを構築することを発明した。

【0016】

このニューラルネットワークを用いて良否判定する必然性は、前処理である種の変動に対してある程度不変な情報にして判定を行うが、検査システムに入力される画像は状況に応じて曖昧性を含むものであるため、このような良否判定においてはそういった曖昧性を含む非線形識別である高次の良否分離識別関数を用いた検査システムの実現が必要となるからである。

【0017】

さらに、このような学習結果は、壁面の状態ごと（例えば、滑らかな壁面と凹凸の壁面）に作成し、本検査システムを操作する作業者が判断して、その都度、壁面の状態に沿った学習結果を利用して良否判定を検査システムにて実施することが望ましい。

【0018】

これらのことから、本発明の一の態様に係る船舶の壁面検査用高度知能化検査システムは、前記学習手段が前記複数の基準データを、ニューラルネットワークを用いて学習させるものであり、前記状態判定手段が前記不変な情報を前記複数の基準データに基づいて、ニューラルネットワークを用いて良否判定する手段であることを特徴とすることが望ましい。

【0019】

また、この本検査システムでは、前記前処理手段が、カラー画像を色相均等加算平均により白黒濃淡画像する手段と、フレーム画像内の画素内の画素内の最小値Ｐを探索し、全画素から最小値Ｐを差し引き、画像を前記最小値Ｐからの差分画像とするオフセットカット処理手段と、光量変動に対する濃淡正規化手段とを有し、前記最小値Ｐは、濃度ヒストグラムにより最頻画像の濃度値つまり平均値を基準画像濃度とすることを特徴とする。

【0020】

また、この本検査システムでは、前記濃淡正規化手段が、下記式１の濃淡ムラ正規化演算式により算出する手段を有することを特徴とする。
（式１）

【0021】

そして、前記壁面の状態について良否判定のために予め記憶されている基準データは、前記壁面の形状及び性状の違いに応じて異なる複数種類が作成されており、前記複数種類の基準データは、前記撮像する壁面に基づき、作業者の指示で、使い分けられることが望ましい。

【0022】

前記船舶の壁面の撮像は、カメラを搭載したマルチコプターを送信機にて操縦して飛行させて行うものであり、前記前処理手段は、前記マルチコプターによる前記壁面の空撮時における上下左右などの傾き変動に対し、撮像画像データから前記傾き変動に不変な情報を作成するものである、ことが望ましい。

【0023】

前記状態判定手段は、前記マルチコプターによる空撮の際、前記マルチコプターの送信機からの撮像画像データの信号を受け、作業者の判断で、その場で良否判定するオンライン検査モードを有する、ことが望ましい。

【0024】

前記マルチコプターは、空撮の際、撮像画像データを保存するモバイルメモリを備え、前記状態判定手段は、空撮完了後、前記モバイルメモリに保存した前記撮像画像データを検査用パソコンに取り込み、良否判定するオフライン検査モードや、
前記船舶の壁面の撮像は、カメラを用いて作業者が行い、撮像画像データはモバイルメモリに保存されるものであり、前記状態判定手段は、撮像完了後、前記モバイルメモリに保存した前記撮像画像データを検査用パソコンに取り込み、良否判定するオフライン検査モードを有する、ことが望ましい。ここで、モバイルメモリとは、ＳＤカード、ＵＳＢメモリなどを意味する。

【0025】

そして、前記状態判定手段は、前記撮像画像データを上下左右に複数に分割し、この分割された個々の画像を判定の単位画像として良否判定を行うものである、ことが望ましい。ここで、撮像画像データとは、マルチコプター又は作業により撮像された一連の画像データを意味する。

【0026】

前記状態判定手段は、良否判断を行う場合、前記壁面の状態を、良品、不良品についての複数の状態に分類する機能を有する、ことが望ましい。ここで、良品とは補修の必要がない部分であること、不良品とは補修を必要とする部分であることをそれぞれ意味し、また、複数の状態に分類する機能とは、良品レベル１や良品レベル２、不良レベル１、不良レベル２など、状態を複数の段階に段階的に評価することを意味する。

【0027】

また、前記状態判定手段は、前記撮像画像データを、前記検査用パソコンにてメディア再生ソフトウエアで再生する場合、不良品であると判定された前記単位画像を、撮像画像に部分的に明示する機能や、不良品であると判定された判定の前記単位画像が前記撮像画像に部分的に明示されるまでスキップさせる機能を有する、ことが望ましい。ここで、メディア再生ソフトウエアとは、メディアプレーヤーなどを意味する。

【発明の効果】

【0028】

本発明は、船舶の壁面を撮像し、その壁面の撮像画像データから、時間帯、季節、天候などの変化に基づく光量変動に対して不変な情報を画像処理による前処理にて作成し、その不変な情報を、前記壁面の状態について良否判定のために予め記憶されている基準データに基づいて、前記壁面の状態が状態の良否を判定するので、時間帯、季節、天候などの変化に基づく光量変動の影響を受けることなく、また、専門家である作業者の個人的感性によることなく、判定基準が安定した検査を実行することができる。

【図面の簡単な説明】

【0029】

【図1】本発明に係る船舶の壁面検査用高度知能化検査システムの構成を示すブロック図である。

【図2】船舶の船倉の壁面の連続撮像の説明図である。

【図3】連続撮像した画像を時系列に象限分割した画像を示す説明図である。

【図4】象限分割した画像を、作業フレーム画像（大きさ256mm×256mm）に分割したものを示す説明図である。

【図5】カラー画像から濃淡画像への変換の説明図である。

【図6】フレーム画素内の画素値についてのオフセットカット処理の説明図である。

【図7】基準値の作り方の説明図である。

【図8】濃淡ムラ正規化演算式を示す図である。

【図9】画素値の濃淡ヒストグラムによる濃淡正規化の効果を示す図である。

【図10】撮像画像から対象を抽出する流れ図である。

【図11】回転に対する不変性を得るための処理を示す流れ図である。

【図12】２次元フーリエ変換を用いた回転に不変な情報への変換に用いる演算式を示す図である。

【図13】背景除去の処理を示す流れ図である。

【図14】良否判定システムの構成を示す説明図である。

【図15】ニューラルネットワークでの学習に使用する改良型誤差逆伝搬法の方程式を示す図である。

【図16】検査アプリケーションの説明図である。

【図17】別の検査アプリケーションの説明図である。

【図18】最小単位の画像で判定された結果を、前記広域かつ連続の撮像画像に明示した状態を示す図である。

【図19】実施例１において使用した画像例を示し、（ａ）（ｂ）（ｃ）は良品画像例を示す図、（ｄ）（ｅ）（ｆ）は不良品画像例を示す図である。

【図20】学習結果を示す画面の一例を示す図である。

【図21】実施例１のＮＥＵＲＯ値（学習）を示す図である。

【図22】実施例１の良品評価記録(A log)を示す図である。

【図23】実施例１の不良品評価記録(B log)を示す図である。

【図24】実施例１の反応値(B log)を示す図である。

【図25】実施例１の反応値(A log)を示す図である。

【図26】実施例２において使用した画像例を示し、（ａ）（ｂ）（ｃ）は良品画像例を示す図、（ｄ）（ｅ）（ｆ）は不良品画像例を示す図である。

【図27】実施例２の学習結果を示す画面の一例を示す図である。

【図28】実施例２のＮＥＵＲＯ値（学習）を示す図である。

【図29】実施例２の良品評価記録(A log)を示す図である。

【図30】実施例２の不良品評価記録(B log)を示す図である。

【図31】実施例２の反応値(B log)を示す図である。

【図32】実施例２の反応値(A log)を示す図である。

【図33】実施例３において使用した画像例を示し、（ａ）（ｂ）（ｃ）は良品画像例を示す図、（ｄ）（ｅ）（ｆ）は不良品画像例を示す図である。

【図34】実施例３の学習結果を示す画面の一例を示す図である。

【図35】実施例３のＮＥＵＲＯ値（学習）を示す図である。

【図36】実施例３の良品評価記録(A log)を示す図である。

【図37】実施例３の不良品評価記録(B log)を示す図である。

【図38】実施例３の反応値グラフ(B log)を示す図である。

【図39】実施例３の反応値グラフ(A log)を示す図である。

【図40】実施例４において使用した画像例を示し、（ａ）（ｂ）（ｃ）は良品画像例を示す図、（ｄ）（ｅ）（ｆ）は不良品画像例を示す図である。

【図41】実施例４の学習結果を示す画面の一例を示す図である。

【図42】実施例４のＮＥＵＲＯ値（学習）を示す図である。

【図43】実施例４の良品評価記録(A log)を示す図である。

【図44】実施例４の不良品評価記録(B log)を示す図である。

【図45】実施例４の反応値グラフ(B log)を示す図である。

【図46】実施例４の反応値グラフ(A log)を示す図である。

【発明を実施するための形態】

【0030】

以下、本発明の検査システムの一実施形態を図面に基づき説明するが，本発明は下記実施形態に限定されるものではない。図１は本発明に係る船舶の壁面検査用高度知能化検査システムの構成を示すブロック図である。

【0031】

本実施形態に係る船舶の壁面検査用高度知能化検査システムは、船舶の壁面を撮像し、この壁面の撮像画像データＤから、人工知能を利用して壁面の状態を良否判定するものである。なお、本実施形態においては、人工知能の一例としてニューラルネットワークを用いている。

【0032】

図１に示すように、船舶の壁面検査用高度知能化検査システムは、撮像による撮像画像データＤから、時間帯、季節、天候などの変化に基づく光量変動に対して不変な情報を画像処理による前処理にて作成する前処理手段１を備える。また、前処理手段１にて作成された不変な情報を、壁面の状態について良否判定のために予めニューラルネットワークにて学習し記憶されている複数の基準データに基づいて、壁面の状態をニューラルネットワークにて良否判定する状態判定手段２を備える。

【0033】

なお、複数の基準データは、予め撮像して取得した複数の基準画像データから、それぞれ時間帯、季節、天候などの変化に基づく光量変動に対して不変な基準データとして記憶させ学習させたものである。また、この検査システムには、光量変動に対して不変な基準データのほか、撮像された複数の基準画像データも記憶され、適宜これらのデータを参照することが可能である。

【0034】

状態判定手段２には、壁面の状態について良否判定のための判定基準となる、複数種類の基準データが予めニューラルネットワークにて学習し記憶されている。そして、後述するように、作業者の判断で、壁面の形状や性状の違いに応じて使い分けられ、壁面の状態について、ニューラルネットワークを用いて良否判定が行われる。

【0035】

前処理手段１、状態判定手段２は、検査用パソコン３に含まれ、前記検査システムとされる。判定結果は検査用パソコン３のディスプレイに、メディア再生ソフトウエア、例えばメディアプレーヤー４を利用して表示される。

【0036】

続いて、カメラを搭載したマルチコプターを送信機にて操縦して飛行させ、船舶の壁面（例えば、船倉の壁面）を前記カメラで撮像し、その撮像画像データを利用して、船舶の壁面検査用高度知能化検査システムで、船倉の壁面の状態の良否判定を行う例について説明しながら、本発明を具体的に説明する。

【0037】

（壁面の連続撮像）
例えば図２に示すように、検査対象となる船倉の壁面１１に沿ってマルチコプター１２を、一定区間、飛行移動させ、壁面１１を、マルチコプター１２に搭載されたカメラにて連続撮像し、広域かつ連続の撮像画像データを得る。

【0038】

この広域かつ連続撮像した画像を上下左右に複数に分割する。例えば、図３に示すように、No.1、No.2、No.3という具合に、時系列に象限分割する。

【0039】

象限分割した画像を、図４に示すように、６つの作業フレーム画像（大きさ256mm×256mm）に分割する。図４では、No.2を一例としている。この分割された個々の画像（作業フレーム画像）を、判定のための単位画像とすることができ、前記単位画像（最小単位の画像）ごとに良否判定を行う。

【0040】

そして、メディアプレーヤー４を利用しているので、不良品であると判定された単位画像を、前記検査用パソコンにてメディアプレーヤー４で再生する場合、撮像画像に部分的に明示することができる。つまり、再生される広域かつ連続の撮像画像において、その一部分として、赤枠で囲む等して明示することができる。

【0041】

また、前記撮像画像を、前記検査用パソコンにてメディアプレーヤー４で再生する場合、不良品であると判定された前記単位画像が撮像画像に部分的に明示される部分までスキップさせることもできる。

【0042】

このように、状態判定手段２は、(a)不良品であると判定された最小単位の画像を、前記広域かつ連続撮像画像に明示する機能、(b)前記広域かつ連続撮像画像を、前記検査用パソコンにてメディア再生ソフトウエアで再生する場合、不良品であると判定された最小単位の画像が広域かつ連続撮像画像に部分的に明示されるまでスキップさせる機能をそれぞれ有する。

【0043】

（作業フレーム画像に対する各種前処理の実施・前処理手段）
屋外での撮像による濃淡ムラに基づく光量変動に対して濃淡正規化による前処理を実施するものである。つまり、光量の影響の軽減を行うために、撮像画像に写る検知対象以外の情報を少なくするため、画像の切り出しを行い、２値化した際に大きな違いが発生しないようにする。

【0044】

つまり、船倉等の船舶の壁面の状態の良否判定において学習画像と評価画像が、例えば(1)屋外における天候の差異、(2)判定する色相の差異、(3)判定する壁面の差異を原因として、大きくことなることが想定されるので、これら全てに適応できる学習画像を作成することが必要である。

【0045】

・(1)(2)について
(i)カラー画像から濃淡画像への変換（Ｒ、Ｇ、Ｂ均等加算平均処理）
図５に示すように、色相均等加算平均により、白黒濃淡画像とする。

【0046】

(ii)ここで、前もって、フレーム画像内の画素値のオフセットカット処理を実施する。
図６に示すように、画素内の最小値Ｐ（基準値）を探索し、全画素から最小値Ｐを差し引く。光量差を消去できる差分画像とする。これにより、一様な明るすぎ、暗すぎに対し、同一明るさの画像（差分画像）とする。

【0047】

最小値Ｐ（基準値）は、図７に示すように、濃度ヒストグラムにより最頻画像の濃度値つまり平均値を基準画像濃度とする。これをフレーム内の全画素から差し引くことで、差分画像とする。

【0048】

(iii)光量変動に対する濃淡正規化を行う。
そして、RBF出力関数による部品検査システムか、シグモイド出力関数によるパワースペクトルを入力とするニューラルネットワークで、学習と評価を行う。

【0049】

・(3)について
判定する壁面の差異に応じて、つまり、例えば壁面の形状や性状の違いに対して、それぞれニューラルネットワークにて学習がなされ、個々の形状や性状についての学習結果を、複数種類の基準データとして予め記憶しておく。そして、例えば船倉の壁面を検査する場合には、壁面の形状や性状の違いを作業者が判断してその判断した作業者の指示に従い、状態判定手段において利用する基準データを切り替えて、ニューラルネットワークにて壁面の状態の良否判定を行う。

【0050】

つまり、船倉の形状や性状の違いに対応して、作業者の判断で、予めニューラルネットワークにて学習し記憶している複数種類の基準データの中から最もふさわしい基準データを選択する。このように、壁面の形状や性状の違いに対応して、作業者の判断で、基準データを使い分け、ニューラルネットワークにて精度の高い良否判定を行うことができる。

【0051】

前記状態判定手段の入力情報を、濃淡ムラに不変な情報とする。濃淡ムラ正規化演算式を図８に示す。図８において、文言は以下の意味で用いている。
ｄ１：変換後の画素値
ＬＥＶＥＬ：明るさの最大値
ＳＩＺＥ：変換する画素の番号
ｉ：（量子化レベルの）明るさの段階（例えば０～２５５段階の濃さの階調など）
ｐ（ｉ）：一定幅内の明るさの度数（出現頻度）

【0052】

図９は、図８に示す演算式による濃淡幅と対象の帯域を補正した結果である、Ａ：暗すぎる場合、Ｂ：標準、Ｃ：明るすぎる場合を示す。これにより、前記壁面である判定対象の学習時と評価判定時の色合いに依存しない白黒濃淡情報として、前記入力情報が作成される。

【0053】

(iv)上記画像に回転不変処理を実施する。
まず、図１０に示すように、撮像画像をグレイスケール(Grayscale)に変換し、グレイスケール画像を２値化し、対象を特定し、対象を抽出する。

【0054】

それから、図１１に示すように、抽出画像から背景を除去し、二次元高速フーリエ変換（図１２参照）を用いて周波数領域に変換し、メッシュ状に分割し、同周波数帯を加算平均し、（０、１）に正規化し、入力値を算出する。

【0055】

背景の除去は、図１３に示すように、グレイスケール化、二値化を行い、対象にラベリングし、切り出すことで行う。

【0056】

これにより、前記マルチコプターによる前記壁面の空撮時における上下左右などの傾き変動に対し、撮像画像データから、前記傾き変動に不変な情報が作成される。

【0057】

(v)状態判定手段（ＡＩの一種であるニューラルネットワーク）により、図１４に示すように、良品と、不良品１、不良品２、不良品３・・・など、壁面の状態についての良否判定を実施する。つまり、壁面を、良品、不良品についての複数の状態に分類することができる。なお、結果はログファイルに出力される。ニューラルネットワークでの学習には改良型誤差逆伝搬法を使用する。その方程式を、図１５に示す。

【0058】

（メイン処理）
図１６に本検査システムにおけるメイン処理部のプログラムを示す。カメラ映像、またはカメラ画像ファイルを入力情報とし、機械学習にて異常個所を発見し、該当箇所を、例えば赤枠で囲った画像を出力する検査補助システムである。

【0059】

・各関数の処理詳細

【0060】

【0061】

【0062】

【0063】

【0064】

【0065】

【0066】

なお、メイン処理部のプログラムは、図１７に示すようにすることもできる。

【0067】

(vi)不良画像を象限画像内で表示する（図１８参照）。

【0068】

(vii)象限番号に基づき、複数の象限画像をつなぎ合わせ、壁面全体画像を形成し、それに対し、不良部位がある象限（最小単位の象限）を赤枠で囲むなどして、全体画像の、どの部分にあるかを明示する。

【0069】

続いて、前記検査システムを用いた評価結果について説明する。なお、グレイスケール化する際に使用した画像処理ソフトは、GIMP ver2.10.12である。

【0070】

（実施例１：マルチコプター画像（白黒）判別評価）
・評価条件
学習回数10000 誤差0.001
50枚を学習し、50枚を含む100枚を評価
・画像例
良品画像を図１９（ａ）～（ｃ）に不良品画像を図１９（ｄ）～（ｆ）にそれぞれ示す。
・評価結果

【0071】

【表1】

【0072】

・学習条件と学習結果
図２０～図２５に示す。

【0073】

（実施例２：マルチコプター画像（カラー）判別評価）
・評価条件
学習回数10000 誤差0.001
50枚を学習し、50枚を含む100枚を評価
・画像例
良品画像を図２６（ａ）～（ｃ）に不良品画像を図２６（ｄ）～（ｆ）にそれぞれ示す。
・評価結果

【0074】

【表2】

【0075】

・学習条件と学習結果
図２７～図３２に示す。

【0076】

（実施例３：画像（カラー）判別評価）
・画像例
良品画像を図３３（ａ）～（ｃ）に不良品画像を図３３（ｄ）～（ｆ）にそれぞれ示す。
・評価結果
（条件）
50枚を学習し、50枚を含む100枚を評価
（結果）

【0077】

【表3】

【0078】

・学習結果
図３４～図３９に示す。

【0079】

（実施例４：白黒画像判別評価）
・画像例
良品画像を図４０（ａ）～（ｃ）に、不良品画像を図４０（ｄ）～（ｆ）にそれぞれ示す。
・評価結果
（条件）
50枚を学習し、50枚を含む100枚を評価
（結果）

【0080】

【表4】

【0081】

・学習結果
図４１～図４６に示す。

【0082】

以上のように、撮像した壁面画像の良品画像と不良状態画像とを使い、状態判定手段（ＡＩの一種であるニューラルネットワーク）により機械学習させれば、良否判定のメカニズムを自律的に構築することができる。特に、マルチコプターを使用した空撮での広範囲な壁面撮像を実施し、その空撮画像の良品画像と不良状態画像とを使い、学習させた場合に高い正答率を示した。

【0083】

また、本検査システムは、検査モードとして、オンライン検査モードとオフライン検査モードとを併せ持ち、オンライン検査モードでは、マルチコプターによる撮像の際、空撮しながら、前記マルチコプターのカメラの画像を検査用パソコンに無線で直接送信するが、前記マルチコプターの送信機のモニタ画像から、作業者の判断で、その場で良否判定することができるので、即時に良否判定を実施することができる。

【0084】

一方、オフライン検査モードでは、マルチコプターで撮像後の画像あるいは作業者が撮影した後の画像を、モバイルメモリを利用して検査シスステムの検査用パソコン取り込み、前記壁面の状態について良否判定のために予めニューラルネットワークにて学習し記憶されている学習済みの基準データに基づいて、時間をかけて、より詳細な良否判定を実現することができる。

【0085】

マルチコプターを利用して、広範囲な空撮画像を採取すれば、作業者（検査者）の安全性、さらに、作業効率の向上が期待できる。また、作業者が判定した良品画像と不良状態画像を状態判定手段（ＡＩの一種であるニューラルネットワーク）による機械学習で実施することで、良否判定のメカニズムを自動構築できる。つまり、専門家である作業者（検査者）と同等レベルでの検査品質の安定が実現できる。

【0086】

また、検査対象である壁面の色相、明暗、撮像画像の傾き（空撮の場合）などの変化に対してロバストな情報に変換してからの機械学習及び良否判定を実施するので、検査対象の色相の違い、屋外での撮像の問題である明暗の変動、空撮による傾きの変動などの変化に依存せず、客観的な良否判定を実施することが可能となる。

【0087】

以上のとおり、図面を参照しながら本発明の好適な実施形態を説明したが、本発明の趣旨を逸脱しない範囲内で、種々の追加、変更または削除が可能である。例えば、マルチコプターを用いることなく、作業者が直接撮像した画像を用いることもできる。

【符号の説明】

【0088】

１ 前処理手段
２ 状態判定手段
３ 検査用パソコン
４ メディアプレーヤー
１１ 壁面
１２ マルチコプター
Ｄ 壁面の撮像画像データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】

【図46】