特開 2024-171542 推定方法、及び推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024171542

(43)【公開日】2024-12-12

(54)【発明の名称】推定方法、及び推定装置

(51)【国際特許分類】

   G01M 3/20 20060101AFI20241205BHJP

【ＦＩ】

G01M3/20 L

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023088607

(22)【出願日】2023-05-30

(71)【出願人】

【識別番号】594123387

【氏名又は名称】ヤマハファインテック株式会社

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100134359

【弁理士】

【氏名又は名称】勝俣 智夫

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(74)【代理人】

【識別番号】100206391

【弁理士】

【氏名又は名称】柏野 由布子

(72)【発明者】

【氏名】吉田 楓佳

【テーマコード（参考）】

2G067

【Ｆターム（参考）】

2G067AA14

2G067BB12

2G067BB26

2G067CC04

2G067DD17

2G067EE08

2G067EE11

(57)【要約】

【課題】漏れ検査における漏れの傾向を容易に推定する。
【解決手段】取得部が、検査箇所を含む検査対象物を撮像した撮像画像を取得し、推定部が、検査対象物を撮像した撮像画像と、前記検査対象物から流出するガスを検知する検査を行った結果である検知結果とを用いて前記撮像画像と前記検知結果との関係を学習した学習済モデルに、前記取得された撮像画像を入力することで、前記入力された撮像画像に含まれる検査箇所を検査した検知結果を推定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

コンピュータが行う推定方法であって、
取得部が、検査箇所を含む検査対象物を撮像した撮像画像を取得し、
推定部が、検査対象物を撮像した撮像画像と、前記検査対象物から流出するガスを検知する検査を行った結果である検知結果とを用いて前記撮像画像と前記検知結果との関係を学習した学習済モデルに、前記取得された撮像画像を入力することで、前記入力された撮像画像に含まれる検査箇所を検査した検知結果を推定する、
推定方法。

【請求項2】

前記取得部は、端末装置に搭載されたカメラによって撮像された撮像画像を取得し、
前記推定部は、前記カメラによって撮像された撮像画像を前記学習済モデルに入力することで、検知結果を推定し、
出力部が、前記推定部によって推定された検知結果を、前記端末装置に出力する
請求項１に記載の推定方法。

【請求項3】

前記取得部は、前記検査対象物が撮像された撮像画像を記憶する記憶部に記憶された撮像画像のなかから指定された判定対象の撮像画像を取得し、
前記推定部は、前記指定された撮像画像を、前記学習済モデルに入力することで、検知結果を推定し、
出力部が、前記推定部によって推定された検知結果を端末装置に出力する、
請求項１に記載の推定方法。

【請求項4】

前記コンピュータは、前記検査箇所を対象として検査した結果である検知結果を、前記検査箇所とともに記憶する検査履歴記憶部を有し、
前記出力部は、前記検知結果が推定された検査箇所に対応する過去の検知結果を前記検査履歴記憶部から読み出し、読み出された過去の検知結果とともに、前記推定された検知結果を出力する、
請求項２または請求項３に記載の推定方法。

【請求項5】

前記学習済モデルは、
検査対象物を撮像した撮像画像と前記検査対象物から流出するガスを検知する検査を行った結果である検知結果と検査対象物に関する検査対象データとを用いて、前記撮像画像と前記検知結果と検査対象データとの関係を学習した学習済モデルであり、
前記推定部は、前記撮像画像と前記検査対象データとを、前記学習済モデルに入力することで、前記入力された撮像画像に含まれる検査箇所を検査した検知結果を推定する、
請求項４に記載の推定方法。

【請求項6】

検査箇所を含む検査対象物を撮像した撮像画像を取得する取得部と、
検査対象物を撮像した撮像画像と、前記検査対象物から流出するガスを検知する検査を行った結果である検知結果とを用いて、前記撮像画像と前記検知結果との関係を学習した学習済モデルに、前記取得された撮像画像を入力することで、前記入力された撮像画像に含まれる検査箇所を検査した検知結果を推定する推定部と、
を有する推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、推定方法、及び推定装置に関する。

【背景技術】

【0002】

ガスを吸い込む吸い込みノズルを検査対象物に当てながらガス漏れ検査を行う検査装置がある（例えば、特許文献１）。ガス漏れが生じ易い箇所を予め把握しておくことで、ガス漏れが生じやすい箇所を重点的に検査し、ガス漏れを見逃さないようにすることができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２００４－５２７７４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、ガス漏れが生じ易い箇所がどのような検査箇所であるかについては、検査員の経験や知識に依存している。そのため、経験や知識が浅い検査員は、ガス漏れが生じ易い箇所やガス漏れが生じ難い箇所を把握することが難しい。また、ガス漏れが生じ易い箇所あるいは生じ難い箇所を、経験や知識が豊富な検査員から、他の検査員に伝えようとすると、文章化する手間、或いは会話によって伝達する手間等がかかるため負担が大きく、また、時間もかかってしまうという問題があった。

【0005】

本発明は、このような状況に鑑みてなされたもので、その目的は、漏れ検査における漏れの傾向を容易に推定することができる推定方法、学習方法、推定装置、及び学習装置を提供することである。

【課題を解決するための手段】

【0006】

上述した課題を解決するために、本発明の一態様は、コンピュータが行う推定方法であって、取得部が、検査箇所を含む検査対象物を撮像した撮像画像を取得し、推定部が、検査対象物を撮像した撮像画像と、前記検査対象物から流出するガスを検知する検査を行った結果である検知結果とを用いて前記撮像画像と前記検知結果との関係を学習した学習済モデルに、前記取得された撮像画像を入力することで、前記入力された撮像画像に含まれる検査箇所を検査した検知結果を推定する、推定方法である。

【0007】

上述した課題を解決するために、本発明の一態様は、検査箇所を含む検査対象物を撮像した撮像画像を取得する取得部と、検査対象物を撮像した撮像画像と、前記検査対象物から流出するガスを検知する検査を行った結果である検知結果とを用いて、前記撮像画像と前記検知結果との関係を学習した学習済モデルに、前記取得された撮像画像を入力することで、前記入力された撮像画像に含まれる検査箇所を検査した検知結果を推定する推定部と、を有する推定装置である。

【発明の効果】

【0008】

本発明によれば、漏れ検査における漏れの傾向を容易に推定することができる。

【図面の簡単な説明】

【0009】

【図1】実施形態における検査支援システム１の構成の例を示すブロック図である。

【図2】実施形態の検査支援システム１において表示される画像の例を示す図である。

【図3】実施形態の検査支援システム１において表示される画像の例を示す図である。

【図4】実施形態の検査履歴記憶部２７に記憶される情報の例を示す図である。

【図5】実施形態の検査支援システム１において表示される画像の例を示す図である。

【図6】実施形態の検査支援システム１が適用される例を示す図である。

【図7】実施形態の検査支援システム１が行う処理の流れを示すシーケンス図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態を、図面を参照して説明する。

【0011】

（検査支援システム１について）
図１は、実施形態における検査支援システム１の構成の例を示すブロック図である。検査支援システム１は、検査対象物Ｔ（図２参照）におけるガス漏れ検査を支援する。本実施形態における検査対象物Ｔは、ガス漏れが生じ得る構造物であり、例えばガスが供給される配管である。検査支援システム１は、例えば、端末装置１０と、推定装置２０とを備える。端末装置１０と推定装置２０とは通信ネットワークＮＷを介して通信可能に接続される。

【0012】

（端末装置１０について）
端末装置１０は、コンピュータである。端末装置１０として、撮像機能が付いた通信機器、例えば、スマートフォン、携帯電話、タブレット端末機能、ＰＣ（パーソナルコンピュータ）などを適用することができる。端末装置１０は、例えば、通信部１１と、検査アプリ実行部１２と、撮像部１３と、表示部１４とを備える。

【0013】

通信部１１は、汎用の通信用ＩＣ（Integrated Circuit）によって実現されており、インターネット等の外部ネットワーク、ここでは通信ネットワークＮＷとの通信を行う機能を有する。通信部１１は、推定装置２０と通信を行う。

【0014】

検査アプリ実行部１２は、ＣＰＵ（Central Processing Unit）であり、端末装置１０が備える記憶部（不図示）に記憶されるプログラムを実行することにより、検査アプリ実行部１２の機能を実行する。端末装置１０の記憶部は、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access read/write Memory）、ＲＯＭ（Read Only Memory）などの記憶媒体、あるいはこれらの組合せによって構成される。端末装置１０の記憶部は、端末装置１０における各種処理を実行するためのプログラム、及び各種処理を行う際に利用される一時的なデータを記憶する。

【0015】

検査アプリ実行部１２は、検査アプリの機能を実行する。検査アプリは、後述するガス検知器を用いた検査対象物Ｔにおけるガス漏れ検査を支援するためのアプリケーションプログラムである。検査アプリは、例えば、検査対象物Ｔを管理する事業者などによって提供される。検査を行う作業員などによって、端末装置１０に検査アプリがインストールされることによって、検査アプリ実行部１２による漏れ検査を支援する機能が実行可能となる。

【0016】

検査アプリ実行部１２は、ガス漏れ検査を支援する。例えば、検査アプリ実行部１２は、検査員Ｕが検査対象物Ｔに、端末装置１０のカメラをかざすと、過去の検査データを学習したＡＩ（Artificial Intelligence、人工知能）が漏れの傾向を推定し、その推定結果を示す情報が、表示部１４の画面に表示されるように制御する。これにより、検査員Ｕは、検査対象物Ｔにおける漏れの傾向を把握することができ、例えば、検査員Ｕは、漏れの傾向に従って、検査対象物Ｔにおいて特にガス漏れが発生し易い検査箇所Ｅを重点的に検査することが可能となる。

【0017】

例えば、検査アプリ実行部１２は、検査対象物Ｔを撮像するように促すメッセージを、表示部１４に表示させる。検査員Ｕは、表示部１４に表示されたメッセージに従って撮像部１３を操作し、検査対象物Ｔを撮像する。検査アプリ実行部１２は、検査対象物Ｔが撮像された画像である撮像画像Ｇ（図２参照）を、推定装置２０に送信する。推定装置２０は、端末装置１０から受信した撮像画像Ｇから、過去の検査データを学習したＡＩが漏れの傾向を推定し、その推定結果を端末装置１０に送信する。検査アプリ実行部１２は、推定装置２０により推定された漏れの傾向を示す推定結果を、通信部１１を介して取得する。検査アプリ実行部１２は、取得した推定結果を表示部１４に表示する。

【0018】

撮像部１３は、カメラモジュール等を含んで構成され、検査アプリ実行部１２による制御及び検査員Ｕによる操作に応じて撮像を行う。例えば、撮像部１３は、検査アプリの制御に応じて起動され、検査員Ｕの操作に応じて検査対象物Ｔを撮像する。撮像部１３は、撮像した画像を検査アプリ実行部１２に出力する。

【0019】

表示部１４は、液晶ディスプレイ等を含んで構成され、検査アプリ実行部１２による制御に応じた画像を表示する。例えば、表示部１４は、検査アプリの制御に応じて、検査対象物Ｔを撮像するように促すメッセージを表示する。また、表示部１４は、検査アプリの制御に応じて、推定装置２０により推定された漏れの傾向を表示する。

【0020】

（推定装置２０について）
推定装置２０は、コンピュータである。推定装置２０として、クラウドサーバなどを適用することができる。推定装置２０は、例えば、通信部２１と、取得部２２と、学習部２３と、推定部２４と、出力部２５と、撮像画像記憶部２６と、検査履歴記憶部２７と、学習済モデル記憶部２８と、を備える。

【0021】

通信部２１は、汎用の通信用ＩＣによって実現されており、インターネット等の外部ネットワーク、ここでは通信ネットワークＮＷとの通信を行う機能を有する。通信部２１は、端末装置１０と通信を行う。

【0022】

取得部２２は、検査箇所を含む検査対象物Ｔを撮像した撮像画像Ｇを取得する。取得部２２は、端末装置１０から推定装置２０に送信された撮像画像Ｇを、通信部２１を介して取得する。取得部２２は、取得した撮像画像Ｇを、推定部２４に出力する。

【0023】

学習部２３は、学習モデルに学習データセットを学習させることによって、学習済モデルを生成する。学習部２３は、生成した学習済モデルを学習済モデル記憶部２８に記憶させる。本実施形態における学習データセットは、入力としての学習用の撮像画像Ｇに、出力としての検知結果を組（セット）にした情報である。検知結果は、検査対象物Ｔから流出するガスを検知する検査を行った結果である。ここでの学習用の撮像画像Ｇは、例えば、検知結果が既知の検査対象物Ｔが撮像された画像である。例えば、過去に行われた検査において、検査対象物Ｔが撮像された撮像画像Ｇ、及び検知結果などを示す情報が検査データとして蓄積される。学習部２３は、通信部２１を介して取得した検査データを学習データセットとして用いる。このような過去に行われた検査において蓄積された情報を用いて、検査時に撮像された撮像画像Ｇに、その検知結果を対応づけることによって、学習データセットを生成することが可能である。

【0024】

推定部２４は、学習済モデルに、取得部２２から取得した撮像画像Ｇを入力することで、その入力された撮像画像Ｇに含まれる検査箇所Ｅを検査した検知結果を推定する。推定部２４は、学習済モデル記憶部２８を参照することによって読み出した学習済モデルに、取得部２２から取得した撮像画像Ｇを入力する。学習済モデルは、入力された撮像画像Ｇから、その撮像画像Ｇに含まれる検査箇所Ｅを検査した検知結果を推定し、その推定結果を出力する。推定部２４は、学習済モデルから出力された推定結果を取得し、取得した推定結果を出力部２５に出力する。

【0025】

推定部２４は、撮像画像記憶部２６に記憶された撮像画像Ｇを用いて、その撮像画像Ｇに含まれる検査箇所Ｅを検査した検知結果を推定するようにしてもよい。この場合、検査員Ｕなどによって検査対象物Ｔが事前に撮像され、その撮像された撮像画像Ｇが撮像画像記憶部２６に記憶される。例えば、検査員Ｕの操作によって、端末装置１０の撮像部１３を用いて検査対象物Ｔの撮像が行われ、撮像された撮像画像Ｇが推定装置２０に送信される。推定装置２０は、端末装置１０から受信した撮像画像Ｇを、撮像画像記憶部２６に記憶させる。

【0026】

その後、撮像画像記憶部２６に記憶された撮像画像Ｇから、検査員Ｕなどによって対象とする画像が指定される。この場合、例えば、端末装置１０は、検査アプリを介して、推定装置２０に、撮像画像記憶部２６に記憶された撮像画像Ｇのリスト又はサムネイルを要求し、要求に応じて推定装置２０から通知されたリスト又はサムネイルを、「画像を選択して下さい」などのメッセージとともに表示部１４に表示する。検査員Ｕは、表示部１４に表示されたリスト又はサムネイルから、漏れの傾向を推定してほしい撮像画像Ｇを選択する操作を行う。端末装置１０は、検査員Ｕの操作に応じて、選択された撮像画像Ｇを示す情報を取得し、取得した情報を推定装置２０に送信する。推定装置２０は、検査員Ｕによって選択された撮像画像Ｇを示す情報を受信する。通信部２１は、端末装置１０から受信した情報を、推定部２４に出力する。推定部２４は、通信部２１を介して取得した、検査員Ｕによって選択された撮像画像Ｇを示す情報に基づいて撮像画像記憶部２６を参照し、検査員Ｕによって選択された撮像画像Ｇを読み出す。推定部２４は、撮像画像記憶部２６から読み出した撮像画像Ｇを用いて、その撮像画像Ｇに含まれる検査箇所Ｅを検査した検知結果を推定する。

【0027】

出力部２５は、推定部２４によって推定された検知結果を、端末装置１０に出力する。出力部２５は、推定部２４によって推定された検知結果を、通信部２１を介して端末装置１０に送信する。

【0028】

出力部２５は、検知結果が推定された検査箇所に対応する過去の検知結果を、検査履歴記憶部２７から読み出し、読み出された過去の検知結果とともに、前記推定された検知結果を出力するようにしてもよい。この場合、検査員Ｕなどによって過去に行われた検査の実績が、検査履歴記憶部２７に記憶される。例えば、検査員Ｕは、検査対象物Ｔにおけるガス漏れ検査を行うと、その検知結果を、端末装置１０を介して推定装置２０に送信する。推定装置２０は、端末装置１０から受信した検知結果を、検査履歴記憶部２７に記憶させる。

【0029】

そして、出力部２５は、推定部２４によって推定された検知結果に基づいて、検査履歴記憶部２７を参照することによって、検知結果が推定された検査箇所に対応する過去の検知結果を、検査履歴記憶部２７から読み出す。出力部２５は、読み出した過去の検知結果とともに、推定部２４によって推定された検知結果を出力する。

【0030】

撮像画像記憶部２６は、撮像画像Ｇを記憶する。撮像画像記憶部２６は、例えば、検査員Ｕのカメラ（端末装置１０）などによって撮像された撮像画像Ｇを、記憶する。
検査履歴記憶部２７は、過去に行われた検査の履歴を記憶する。検査履歴記憶部２７は、検査員Ｕによって既に行われたガス漏れ検査に関する情報、例えば、検査対象物、検査日時、及び検知結果などを示す情報を記憶する。
学習済モデル記憶部２８は、学習済モデルを構築するための情報、例えば、学習済モデルにおける内部パラメータの設定値などを示す情報を記憶する。

【0031】

推定装置２０が備える記憶部（撮像画像記憶部２６、検査履歴記憶部２７、及び学習済モデル記憶部２８）は、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＡＭ、ＲＯＭなどの記憶媒体、あるいはこれらの組合せによって構成される。推定装置２０が備える記憶部は、推定装置２０における各種処理を実行するためのプログラム、及び各種処理を行う際に利用される一時的なデータを記憶する。

【0032】

また、推定装置２０が備える機能部（取得部２２、学習部２３、推定部２４、及び出力部２５）は、推定装置２０がハードウェアとして備えるＣＰＵにプログラムを実行させることによって実現される。

【0033】

ここで、図２及び図３を用いて、端末装置１０に表示される画像の例について説明する。図２及び図３は、実施形態の検査支援システム１において表示される画像の例を示す図である。

【0034】

図２には、検査員Ｕが検査対象物Ｔを撮像する際に、端末装置１０に表示される画像の例が示されている。図２に示すように、検査員Ｕが検査対象物Ｔを撮像部１３により撮像する際、例えば、表示部１４には、撮像フレームＦと、操作ボタンＢ１及びＢ２が表示される。撮像フレームＦには、撮像部１３を通して被写体が表示される。検査員Ｕは、撮像フレームＦに、検査対象物Ｔが含まれるように端末装置１０を操作し、撮像ボタンＢＴを押下する等して撮像を行う。これにより、撮像フレームＦに、検査員Ｕが撮像した撮像画像Ｇが表示される。検査員Ｕは、撮像画像Ｇを視認し、その撮像画像Ｇを漏れの傾向を推定させる画像として用いる場合には、「送信する」と示されたボタンＢ１をタップ操作する。一方、撮像画像Ｇを撮像し直す場合には、「撮り直す」と示されたボタンＢ２をタップ操作する。ボタンＢ１が操作された場合、端末装置１０は、撮像画像Ｇを推定装置２０に送信する。

【0035】

図３には、推定装置２０によって推定された漏れの傾向として、撮像画像Ｇに含まれる検査箇所Ｅ（検査箇所Ｅ１、Ｅ２、Ｅ３）を検査した検知結果を推定した結果が表示された例が示されている。図３に示すように、検知結果を推定した結果として、表示部１４には、例えば、撮像画像Ｇ、マーカＭ、及びコメントＣが表示される。例えば、撮像画像Ｇに含まれる検査箇所に、マーカＭが付され、そのマーカＭが付された検査箇所について特に注意するように示す表示がなされる。また、マーカＭが付された検査箇所について、例えば、「検査でＮＧになる可能性が高い箇所です」などのようなコメントＣが表示されてもよい。

【0036】

ここで、図４を用いて、検査履歴記憶部２７に記憶される情報の例について説明する。検査履歴記憶部２７には、検査員Ｕなどによって過去に行われた検査の実績が記憶される。検査員Ｕが、検査の実績を検査履歴記憶部２７に記憶させる方法は任意であってよいが、例えば、検査員Ｕが端末装置１０を操作して検査の実績を入力する。端末装置１０は、入力された検査の実績を、ネットワークを介して推定装置２０に送信する。推定装置２０は、端末装置１０から受信した検査の実績を、検査履歴記憶部２７に記憶させる。これにより、検査の実績が検査履歴記憶部２７に記憶される。
図４は、実施形態の検査履歴記憶部２７に記憶される情報の例を示す図である。図４に示すように、検査履歴記憶部２７には、例えば、検査対象物、検査対象データ、検査実績などの項目に対応する情報が記憶される。検査対象物の項目には、例えば、検査対象物Ｔを一意に識別する識別番号が記憶される。検査対象データの項目には、検査対象物Ｔに関する情報、例えば、製品名、ロット番号、製品型式、及び組み立て担当者などを示す情報が記憶される。検査実績の項目には、過去に行われた検査の結果などの実績に関する情報、例えば、検査箇所ごとの検査日、検知結果などを示す情報が記憶される。

【0037】

図４に示すように、検査履歴記憶部２７として、検査対象物Ｔに関する検査対象データ、例えば、検査対象物の製品型式、組み立て担当者などを示す情報が含まれていてもよい。例えば、学習部２３は、このような、検査対象物Ｔにおける製造に関する情報を、学習モデルに学習させるようにしてもよい。

【0038】

この場合、学習部２３は、例えば、撮像画像Ｇと、検知結果と、検査対象データと、を対応づけた学習データセットを生成する。例えば、学習部２３は、学習データセットを生成する際に、検査履歴記憶部２７を参照し、過去に行われた検査における検知結果と、その検知結果に対応づけられた検査対象物Ｔにおける検査対象データと、を読み出す。学習部２３は、過去に行われた検査における撮像画像Ｇと、その検知結果と、読出した検査対象データと、を対応づけることによって学習データセットを生成する。学習部２３が、学習モデルに、学習データセットを学習させる方法については、上述した方法と同様であるため、ここではその説明を省略する。学習を繰り返すことによって、学習モデルは、入力された撮像画像Ｇと、検査対象物Ｔに関する検査対象データから、新たに入力される撮像画像Ｇに含まれる検査対象物Ｔに対する検知結果を推定する精度が高まるようになる。これにより、検査対象物Ｔの画像（撮像画像Ｇ）だけでなく、検査対象物Ｔに関するデータ（検査対象物の製品型式、組み立て担当者等）も考慮した上で、検知結果を推定することができる。従って、撮像画像Ｇには含まれない情報も踏まえて、検知結果を推定することができる。

【0039】

ここで、図５を用いて、端末装置１０に表示される画像の例について説明する。図５は、実施形態の検査支援システム１において表示される画像の例を示す図である。図５には、推定装置２０によって推定された漏れの傾向と共に、推定された検査箇所に対応する過去の検知結果が表示された例が示されている。例えば、検査員Ｕは、検査を行う前に検査対象物Ｔを撮像し、撮像した画像（撮像画像Ｇ）を推定装置２０に送信する。推定装置２０は、撮像画像Ｇに基づいて、撮像画像Ｇに含まれる検査箇所Ｅを検査する場合の検知結果などを推定し、推定した結果を示す情報として、図５に示すような画像を端末装置１０に送信する。端末装置１０は、推定装置２０から受信した画像を表示する。これにより、図５に示すような画像が端末装置１０に表示される。

【0040】

図５に示すように、表示部１４には、例えば、検査対象データＲ、撮像画像Ｇ、検査箇所Ｅ（検査箇所Ｅ１～Ｅ５）、マーカＭ（マーカＭ１～Ｍ３）、及び検査実績Ｊ（検査実績Ｊ１、Ｊ２）が表示される。

【0041】

表示部１４には、例えば、検査対象物Ｔに関する製品名、ロット番号などの検査対象データＲが画面の左上などの所定の箇所に表示される。また、撮像画像Ｇに含まれる複数の検査箇所Ｅのそれぞれに検査箇所を示す印が付されて表示される。また、マーカＭが付された検査箇所Ｅについて特に注意するように示す表示がなされる。また、マーカＭが付された検査箇所における過去の検知結果として、例えば、検査回数、ＮＧ回数、ＮＧ発生率、製造工程、組立者などを示す情報が表示される。ここでのＮＧ回数とは、検査を行った結果、ガスが漏れていると判定された回数である。ＮＧ発生率とは、検査を行った総数に対して、ガスが漏れていると判定された数の比率である。

【0042】

図５に示すような画像が表示されることにより、検査員Ｕは、漏れやすい箇所を簡単に把握すると共に、漏れの傾向を製品の製造工程にフィードバックすることができる。例えば、漏れやすい箇所を製造する工程や、漏れやすい箇所を組み立てた組立者が判れば、その工程の責任者や、組立者に、漏れやすい箇所であることを報告することができる。漏れの傾向を製品の製造工程にフィードバックすることで、漏れにくい製品を作ることに生かすことが可能である。

【0043】

また、図５に示すような画像が表示されることにより、漏れやすい箇所が簡単にわかるため、漏れの原因を、迅速に特定することができる。例えば、継手の部分が漏れやすい箇所であれば、継手部分における結合のゆるみなどが漏れの原因であることが特定できる。配管部分が漏れやすい箇所であれば、配管に微細な穴があいていることが漏れの原因であることが特定できる。

【0044】

ここで、図６を用いて、検査支援システム１が適用される例について説明する。図６は、実施形態の検査支援システム１が適用される例を示す図である。図６に示すように、例えば、検査員Ｕは、一方の手にガス検知器Ｄを持ち、他方の手に端末装置１０を携帯してガス漏れの検査を行う。ガス検知器Ｄは、ガス漏れの有無を検知する機器である。ガス検知器Ｄは、例えば、端末装置１０と通信可能に接続され、ガス漏れの有無を検知した検知結果を端末装置１０に送信する。端末装置１０は、ガス検知器Ｄから受信した検知結果を、推定装置２０に送信する。これにより、検知結果が、推定装置２０に集約され、例えば、検査履歴記憶部２７に蓄積される。
検査員Ｕは、検査を行う前に、検査アプリを介して検査対象物Ｔを撮像し、撮像画像Ｇから推定される漏れの傾向を表示させておく。より具体的には、検査員Ｕにより検査対象物Ｔが撮像されることにより端末装置１０は撮像画像Ｇを取得し、取得した撮像画像Ｇを推定装置２０に送信する。推定装置２０は、端末装置１０から受信した撮像画像Ｇに基づいて撮像画像Ｇから推定される漏れの傾向を推定し、推定した結果を示す画像（例えば、図５に示される画像）を端末装置１０に送信する。端末装置１０は、推定装置２０から受信した画像を表示する。これにより、端末装置１０に撮像画像Ｇから推定される漏れの傾向を表示される。
検査員Ｕは、端末装置１０の表示を視認し、検査対象物Ｔにおいて特にガス漏れが発生し易い検査箇所Ｅを把握する。検査員Ｕは、把握した検査箇所Ｅを重点的に検査する。

【0045】

なお、本実施形態では、推定装置２０が、取得部２２と推定部２４とを備え、漏れの傾向を推定する機能を有する場合を例示して説明したが、これに限定されない。端末装置１０に、漏れの傾向を推定する機能（取得部２２と推定部２４）が搭載されていてもよいし、ガス検知器Ｄと端末装置１０とに、漏れの傾向を推定する機能（取得部２２と推定部２４）が分散して搭載されていてもよい。また、ガス検知器Ｄに、漏れの傾向を推定する機能（取得部２２と推定部２４）が搭載されていてもよい。

【0046】

例えば、漏れの傾向を推定する機能（取得部２２と推定部２４）が端末装置１０に搭載される場合、端末装置１０は、推定部２４に相当する機能部を有する。端末装置１０は、撮像部１３によって撮像した撮像画像Ｇに含まれる検査箇所Ｅを検査した検知結果を推定し、推定した結果を表示部１４に表示する。この場合、表示部１４は、「出力部」の一例である。これにより、検査支援システム１において推定装置２０における取得部２２と推定部２４を省略することが可能である。

【0047】

また、漏れの傾向を推定する機能（取得部２２と推定部２４）が、ガス検知器Ｄと端末装置１０とに分散して搭載される場合、例えば、ガス検知器Ｄはカメラ（撮像部１３に相当）を備え、端末装置１０は推定部２４に相当する機能部を備える。ガス検知器Ｄと端末装置１０とは、ブルートゥース（登録商標）などの近距離無線通信等によって通信可能に接続される。ガス検知器Ｄはカメラよって撮像した撮像画像Ｇを端末装置１０に送信する。端末装置１０は、撮像画像Ｇに含まれる検査箇所Ｅを検査した検知結果を推定し、推定した結果を表示部１４に表示する。この場合、表示部１４は、「出力部」の一例である。これにより、例えば、ガス漏れ検査において、撮像画像Ｇとその検知結果を検査データとして蓄積するような場合、検査時に撮像する撮像画像Ｇを用いて、事前に、漏れの傾向を把握することが可能となる。検査後、その検知結果と、推定に用いた撮像画像Ｇを検査データとすることができ、同じ撮像画像Ｇを、漏れの傾向の予測と、検査データの生成との両方に利用することができる。

【0048】

また、漏れの傾向を推定する機能（取得部２２と推定部２４）がガス検知器Ｄに搭載される場合、ガス検知器Ｄは、カメラ（撮像部１３に相当）と、ディプレイ（表示部１４に相当）と、推定部２４に相当する機能部とを有する。ガス検知器Ｄは、カメラによって撮像画像Ｇを撮像し、撮像した撮像画像Ｇに含まれる検査箇所Ｅを検査した検知結果を推定し、推定した結果を、ディプレイに表示する。この場合、ディプレイは、「出力部」の一例である。これにより、検査支援システム１において、端末装置１０と推定装置２０とを省略することができる。また、ガス検知器Ｄのみを用いて、漏れの傾向を把握すると共に、ガス漏れ検査を実施することが可能となる。

【0049】

ここで、図７を用いて、検査支援システム１が行う処理の流れについて説明する。図７は、実施形態における検査支援システム１が行う処理の流れを示すシーケンス図である。ここでは、学習済モデルが生成済であることを前提とする。

【0050】

端末装置１０は、撮像画像Ｇを取得する（ステップＳ１０）。端末装置１０は、撮像画像Ｇを推定装置２０に送信する（ステップＳ１１）。推定装置２０は、端末装置１０から送信された、撮像画像Ｇを受信する（ステップＳ１２）。推定装置２０は、検知結果を推定する（ステップＳ１３）。推定装置２０は、端末装置１０から受信した撮像画像Ｇを学習済モデルに入力することによって、その学習済モデルから出力される、撮像画像Ｇに含まれる検査箇所Ｅを検査した検知結果を推定した結果を取得する。推定装置２０は、推定結果を端末装置１０に送信する（ステップＳ１４）。端末装置１０は、推定装置２０から送信された、推定結果を受信し（ステップＳ１５）、その推定結果を画面に表示させる（ステップＳ１６）。

【0051】

以上説明したように、実施形態における検査支援システム１では、取得部２２が、検査箇所Ｅを含む検査対象物Ｔを撮像した撮像画像Ｇを取得し、推定部２４が、学習済モデルに、取得部２２によって取得された撮像画像Ｇを入力することで、その入力された撮像画像Ｇに含まれる検査箇所Ｅを検査した検知結果を推定する。学習済モデルは、検査対象物Ｔを撮像した撮像画像Ｇと、検査対象物Ｔから流出するガスを検知する検査を行った結果である検知結果とを用いて、撮像画像Ｇと検知結果との関係を学習したモデルである。これにより、実施形態における検査支援システム１では、検査対象物が撮像された画像を入力することで、学習済みモデルから、推定された検知結果を得ることができる。これにより、経験や知識が豊富ではない検査員であっても、推定された結果に基づいて、ガスが流出しているか否かの傾向を容易に把握することができる。従って、ガス漏れが生じ易い箇所あるいは生じ難い箇所を、検査員に対して伝達する手間や時間を削減することができる。したがって、漏れ検査における漏れの傾向を容易に推定することができる。

【0052】

また、実施形態における検査支援システム１では、前記取得部２２は、端末装置１０に搭載されたカメラ（撮像部１３）によって撮像された撮像画像Ｇを取得する。推定部２４は、端末装置１０のカメラによって撮像された撮像画像Ｇを、学習済モデルに入力することで、検知結果を推定する。出力部２５は、推定部２４によって推定された検知結果を、端末装置１０に出力する。これにより、実施形態における検査支援システム１では、端末装置によって検査箇所を撮像することで、その撮像された検査箇所に対する推定された検知結果を出力させることができる。これにより、検査員は、推定された検知結果を把握したい検査箇所を端末装置によって撮像すれば、簡単に、推定された検知結果を把握することができる。

【0053】

また、実施形態における検査支援システム１では、取得部２２は、撮像画像記憶部２６（検査対象物Ｔが撮像された撮像画像Ｇを記憶する記憶部）に記憶された撮像画像Ｇのなかから指定された判定対象の撮像画像Ｇを取得する。例えば、端末装置１０に、撮像画像記憶部２６に記憶された撮像画像をリスト又はサムネイルなどを用いて一覧で表示させる。検査員Ｕは、表示されたリスト又はサムネイルから、漏れの傾向を推定してほしい検査対象物Ｔが撮像された撮像画像Ｇを選択する。端末装置１０は、検査員Ｕの操作に応じて、選択された撮像画像Ｇを推定装置２０に送信する。推定装置２０は、端末装置１０から通知された撮像画像Ｇを示す情報を、推定部２４に出力する。推定部２４は、端末装置１０から通知された撮像画像Ｇを示す情報に基づいて撮像画像記憶部２６を参照し、対応する撮像画像Ｇを取得するように、取得部２２に依頼する。取得部２２は、撮像画像記憶部２６に記憶された撮像画像Ｇのなかから、端末装置１０から通知された撮像画像Ｇに対応する画像を、「指定された判定対象の撮像画像Ｇ」として取得する。推定部２４は、指定された撮像画像Ｇを入力することで、検知結果を推定する。出力部２５は、推定部２４によって推定された検知結果を端末装置１０に出力する。これにより、実施形態における検査支援システム１では、検査対象物を事前に撮像しておき、その撮像結果のなかから対象の撮像画像を指定することで、その撮像画像に含まれる検査箇所を対象として、推定された検知結果を得ることができる。これにより、検知結果を把握する対象の撮像画像を準備すれば、その撮像画像に含まれる検査箇所を検査した場合の結果を推定することができる。

【0054】

また、実施形態における検査支援システム１では、推定装置２０（コンピュータ）が検査履歴記憶部２７を有する。検査履歴記憶部２７は、検査箇所Ｅを対象として検査した結果である検知結果を、その検査箇所Ｅとともに記憶する。出力部２５は、検知結果が推定された検査箇所に対応する過去の検知結果を、検査履歴記憶部２７から読み出し、読み出された過去の検知結果とともに、その推定された検知結果を、通信部２１を介して端末装置１０に出力する。これにより、実施形態における検査支援システム１では、推定された検知結果だけでなく、実際に過去に検査が行われた履歴に応じた情報も出力される。これにより、検査員は、推定結果と、過去の実績との両方を手がかりにして、検査箇所において漏れがあるか否かの傾向を把握することができる。なお、出力部２５は、推定された検知結果を、通信部２１と通信ネットワークＮＷを介して他の端末装置（パーソナルコンピュータ等）に出力してもよい。

【0055】

また、実施形態における検査支援システム１では、学習済みモデルは、検査対象物Ｔを撮像した撮像画像Ｇと、その検査対象物Ｔから流出するガスを検知する検査を行った結果である検知結果と、検査対象物Ｔに関する検査対象データと、を用いて、撮像画像Ｇと検知結果と検査対象データとの関係を学習した学習済みモデルであってもよい。推定部２４は、撮像画像Ｇと検査対象データとを、学習済モデルに入力することで、入力された撮像画像Ｇに含まれる検査箇所Ｅを検査した検知結果を推定する。これにより、実施形態における検査支援システム１では、検査対象物の画像だけでなく、検査対象物に関するデータ（検査対象物の製品型式、組み立て担当者等）も考慮した上で、検知結果を推定することができる。これにより、撮像画像には含まれない情報も踏まえて、検知結果を推定することができる。

【0056】

上述した実施形態における検査支援システム１の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

【0057】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0058】

１…検査支援システム、１０…端末装置、１３…撮像部（カメラ）、１４…表示部（出力部）、２０…推定装置、２１…通信部、２２…取得部、２３…学習部、２４…推定部、２５…出力部、２６…撮像画像記憶部、２７…検査履歴記憶部、２８…学習済モデル記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】