IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士フイルム株式会社の特許一覧

特開2024-107311面圧解析装置、方法、プログラム及び記録媒体
<>
  • 特開-面圧解析装置、方法、プログラム及び記録媒体 図1
  • 特開-面圧解析装置、方法、プログラム及び記録媒体 図2
  • 特開-面圧解析装置、方法、プログラム及び記録媒体 図3
  • 特開-面圧解析装置、方法、プログラム及び記録媒体 図4
  • 特開-面圧解析装置、方法、プログラム及び記録媒体 図5
  • 特開-面圧解析装置、方法、プログラム及び記録媒体 図6
  • 特開-面圧解析装置、方法、プログラム及び記録媒体 図7
  • 特開-面圧解析装置、方法、プログラム及び記録媒体 図8
  • 特開-面圧解析装置、方法、プログラム及び記録媒体 図9
  • 特開-面圧解析装置、方法、プログラム及び記録媒体 図10
  • 特開-面圧解析装置、方法、プログラム及び記録媒体 図11
  • 特開-面圧解析装置、方法、プログラム及び記録媒体 図12
  • 特開-面圧解析装置、方法、プログラム及び記録媒体 図13
  • 特開-面圧解析装置、方法、プログラム及び記録媒体 図14
  • 特開-面圧解析装置、方法、プログラム及び記録媒体 図15
  • 特開-面圧解析装置、方法、プログラム及び記録媒体 図16
  • 特開-面圧解析装置、方法、プログラム及び記録媒体 図17
  • 特開-面圧解析装置、方法、プログラム及び記録媒体 図18
  • 特開-面圧解析装置、方法、プログラム及び記録媒体 図19
  • 特開-面圧解析装置、方法、プログラム及び記録媒体 図20
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024107311
(43)【公開日】2024-08-08
(54)【発明の名称】面圧解析装置、方法、プログラム及び記録媒体
(51)【国際特許分類】
   G06T 7/00 20170101AFI20240801BHJP
   G01L 5/00 20060101ALI20240801BHJP
【FI】
G06T7/00 610
G01L5/00 101A
【審査請求】有
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2024094403
(22)【出願日】2024-06-11
(62)【分割の表示】P 2022524446の分割
【原出願日】2021-05-14
(31)【優先権主張番号】P 2020089730
(32)【優先日】2020-05-22
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100083116
【弁理士】
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100140992
【弁理士】
【氏名又は名称】松浦 憲政
(74)【代理人】
【識別番号】100170069
【弁理士】
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【弁理士】
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100153822
【弁理士】
【氏名又は名称】増田 重之
(72)【発明者】
【氏名】笹原 健司
(72)【発明者】
【氏名】植木 翔太
(72)【発明者】
【氏名】丹羽 裕之
(72)【発明者】
【氏名】大元 誠
(57)【要約】
【課題】測定対象物の検査面に印加された面圧を自動評価し、測定対象物の合否判定等を行う検査者を支援することができる面圧解析装置、方法及びプログラムを提供する。
【解決手段】面圧解析装置として機能するサーバの画像取得部210Aは、ユーザ端末から検査画像10を取得する。検査画像10は、測定対象物の検査面に配置され、検査面に印加された圧力の強弱に応じた濃度分布で発色した圧力測定シートの撮影画像である。変換部222は、検査画像10の濃度値を2次元状に分布する第1圧力値に変換する。評価情報生成処理部224は、第1圧力値とメモリ240から読み出した限定見本とを比較し、両者の一致度を示す情報(評価情報)を一次判定結果として生成する。一次判定結果は、出力部210Bからユーザ端末に出力(送信)され、ユーザ端末のディスプレイに表示される。
【選択図】 図9
【特許請求の範囲】
【請求項1】
プロセッサと、測定対象物に対応する基準情報を記憶するメモリと、を備えた面圧解析装置であって、
前記プロセッサは、
前記測定対象物の検査面に印加された2次元状に分布する第1圧力値を取得する処理と、
前記取得した第1圧力値と前記メモリに記憶された前記基準情報とに基づいて、前記測定対象物の検査面に印加される面圧に対する評価情報を生成する処理と、
前記生成した評価情報をディスプレイに出力する処理と、を行い、
前記基準情報は、前記測定対象物の複数の判定箇所を示す領域又は位置を示す判定箇所情報、及び前記判定箇所情報に対応して予め設定された許容範囲値であり、
前記評価情報を生成する処理は、前記判定箇所情報に基づいて前記判定箇所における前記第1圧力値を特定し、前記特定した第1圧力値と前記許容範囲値とに基づいて前記評価情報を生成し、
前記評価情報は、ユーザによる前記測定対象物の合否判定の参考に使用される情報である、
面圧解析装置。
【請求項2】
プロセッサと、測定対象物に対応する基準情報を記憶するメモリと、を備えた面圧解析装置であって、
前記プロセッサは、
前記測定対象物の検査面に印加された2次元状に分布する第1圧力値を取得する処理と、
前記取得した第1圧力値と前記メモリに記憶された前記基準情報とに基づいて、前記測定対象物の検査面に印加される面圧に対する評価情報を生成する処理と、
前記生成した評価情報をディスプレイに出力する処理と、を行い、
前記基準情報は、前記測定対象物の複数の判定箇所を示す領域又は位置を示す判定箇所情報であり、
前記評価情報を生成する処理は、前記判定箇所情報に基づいて前記複数の判定箇所における複数の前記第1圧力値を特定し、前記特定した複数の第1圧力値の間の一致度を示す情報を前記評価情報として生成し、
前記評価情報は、ユーザによる前記測定対象物の合否判定の参考に使用される情報である、
面圧解析装置。
【請求項3】
前記第1圧力値を取得する処理は、
前記測定対象物の検査面に配置される圧力測定シートであって、前記検査面に印加された面圧に応じた濃度分布で発色した前記圧力測定シートを撮影したカメラ、又は前記圧力測定シートを走査したスキャナから検査画像を取得する処理と、
前記取得した検査画像を2次元状に分布する前記第1圧力値に変換する処理と、を含み、
前記変換された前記第1圧力値を取得する、
請求項1又は2に記載の面圧解析装置。
【請求項4】
前記第1圧力値を取得する処理は、
前記測定対象物の検査面に配置される圧力センサシートを含み、前記圧力センサシートから出力される前記検査面に印加される面圧に応じた電気信号に基づいて前記2次元状に分布する前記第1圧力値を出力する面圧分布測定器から前記第1圧力値を取得する、
請求項1又は2に記載の面圧解析装置。
【請求項5】
前記プロセッサは、前記検査面に印加される面圧に応じた電気信号に基づいて、前記電気信号に応じた濃度分布を有する検査画像を生成する処理を行う、
請求項4に記載の面圧解析装置。
【請求項6】
前記プロセッサは、前記検査画像を前記ディスプレイに表示させる、
請求項3又は5に記載の面圧解析装置。
【請求項7】
前記基準情報は、前記測定対象物の複数の判定箇所に印加される圧力の絶対差に対して設定される閾値を含み、
前記評価情報を生成する処理は、前記特定した複数の前記第1圧力値の絶対差を算出し、前記算出した絶対差が前記閾値以内か否かを示す情報を前記評価情報として生成する、
請求項2に記載の面圧解析装置。
【請求項8】
前記プロセッサは、
前記測定対象物の判定箇所を示す領域又は位置を示す判定箇所情報をユーザ指定により受け付ける処理と、
前記受け付けた前記判定箇所情報を前記メモリに登録する処理と、を行う、
請求項2に記載の面圧解析装置。
【請求項9】
前記プロセッサは、前記検査画像のうち第1圧力範囲値以内に対応する画像と前記第1圧力範囲値を超える画像とを識別可能にした前記検査画像を生成する、
請求項3、5又は6に記載の面圧解析装置。
【請求項10】
前記プロセッサは、
第2圧力範囲値をユーザ指定により受け付ける処理を行い、
前記検査画像を生成する際に、前記検査画像のうちの第2圧力範囲値以内に対応する画像に対して濃淡を表すグラデーション幅を拡大させた前記検査画像を生成する、
請求項3、5又は6に記載の面圧解析装置。
【請求項11】
前記プロセッサは、
前記検査画像に基づいて前記第1圧力値の大きさに応じた凹凸形状を有する3次元画像を生成する処理と、
前記3次元画像の回転指示をユーザ操作により受け付ける処理と、を行い、
前記受け付けた前記回転指示に基づいて前記3次元画像を前記ディスプレイ上で回転移動させる、
請求項3、5又は6に記載の面圧解析装置。
【請求項12】
前記プロセッサは、前記測定対象物ごとにユーザ指示により検査の合否判定結果を受け付け、前記測定対象物ごとの前記検査画像、及び前記合否判定結果を含む検査の付帯情報をデータベースに保存させる処理を行う、
請求項3、5又は6に記載の面圧解析装置。
【請求項13】
前記付帯情報は、前記合否判定結果の他に、前記測定対象物の識別情報、圧力測定シートの品種、及び検査条件、圧力種、及び前記合否判定結果を指示した検査者情報のうちの1以上を含む、
請求項12に記載の面圧解析装置。
【請求項14】
前記プロセッサは、前記データベースに保存された前記検査画像及び合否判定結果のセットを学習データとして機械学習した学習済みモデルを有し、
前記学習済みモデルは、任意の検査画像を入力すると、合否判定結果を出力する、
請求項12又は13に記載の面圧解析装置。
【請求項15】
ユーザ端末と、前記ユーザ端末との間で相互に通信するサーバとから構成され、
前記ユーザ端末は、前記検査画像を前記サーバに送信し、
前記サーバは、前記ユーザ端末から前記検査画像を受信すると、前記検査画像に対する前記評価情報を生成し、前記生成した評価情報を前記ユーザ端末に送信し、
前記ユーザ端末は、前記サーバから前記評価情報を受信すると、前記評価情報を前記ユーザ端末の前記ディスプレイに表示させる、
請求項3又は5に記載の面圧解析装置。
【請求項16】
プロセッサにより測定対象物の検査面に印加された2次元状に分布する面圧を解析する面圧解析方法であって、
前記プロセッサが、前記測定対象物の検査面に印加された2次元状に分布する第1圧力値を取得するステップと、
前記プロセッサが、前記取得した第1圧力値とメモリに記憶された基準情報とに基づいて、前記測定対象物の検査面に印加される面圧に対する評価情報を生成するステップと、
前記プロセッサが、前記生成した評価情報をディスプレイに出力するステップと、を含み、
前記基準情報は、前記測定対象物の複数の判定箇所を示す領域又は位置を示す判定箇所情報、及び前記判定箇所情報に対応して予め設定された許容範囲値であり、
前記評価情報を生成するステップは、前記判定箇所情報に基づいて前記判定箇所における前記第1圧力値を特定し、前記特定した第1圧力値と前記許容範囲値とに基づいて前記評価情報を生成し、
前記評価情報は、ユーザによる前記測定対象物の合否判定の参考に使用される情報である、
面圧解析方法。
【請求項17】
プロセッサにより測定対象物の検査面に印加された2次元状に分布する面圧を解析する面圧解析方法であって、
前記プロセッサが、前記測定対象物の検査面に印加された2次元状に分布する第1圧力値を取得するステップと、
前記プロセッサが、前記取得した第1圧力値とメモリに記憶された基準情報とに基づいて、前記測定対象物の検査面に印加される面圧に対する評価情報を生成するステップと、
前記プロセッサが、前記生成した評価情報をディスプレイに出力するステップと、を含み、
前記基準情報は、前記測定対象物の複数の判定箇所を示す領域又は位置を示す判定箇所情報であり、
前記評価情報を生成するステップは、前記判定箇所情報に基づいて前記複数の判定箇所における複数の前記第1圧力値を特定し、前記特定した複数の第1圧力値の間の一致度を示す情報を前記評価情報として生成し、
前記評価情報は、ユーザによる前記測定対象物の合否判定の参考に使用される情報である、
面圧解析方法。
【請求項18】
測定対象物の検査面に印加された2次元状に分布する面圧を解析する面圧解析方法をコンピュータに実現させる面圧解析プログラムであって、
前記面圧解析方法は、
前記測定対象物の検査面に印加された2次元状に分布する第1圧力値を取得するステップと、
前記取得した第1圧力値とメモリに記憶された基準情報とに基づいて、前記測定対象物の検査面に印加される面圧に対する評価情報を生成するステップと、
前記生成した評価情報をディスプレイに出力するステップと、を含み、
前記基準情報は、前記測定対象物の複数の判定箇所を示す領域又は位置を示す判定箇所情報、及び前記判定箇所情報に対応して予め設定された許容範囲値であり、
前記評価情報を生成するステップは、前記判定箇所情報に基づいて前記判定箇所における前記第1圧力値を特定し、前記特定した第1圧力値と前記許容範囲値とに基づいて前記評価情報を生成し、
前記評価情報は、ユーザによる前記測定対象物の合否判定の参考に使用される情報である、
面圧解析プログラム。
【請求項19】
測定対象物の検査面に印加された2次元状に分布する面圧を解析する面圧解析方法をコンピュータに実現させる面圧解析プログラムであって、
前記面圧解析方法は、
前記測定対象物の検査面に印加された2次元状に分布する第1圧力値を取得するステップと、
前記取得した第1圧力値とメモリに記憶された基準情報とに基づいて、前記測定対象物の検査面に印加される面圧に対する評価情報を生成するステップと、
前記生成した評価情報をディスプレイに出力するステップと、を含み、
前記基準情報は、前記測定対象物の複数の判定箇所を示す領域又は位置を示す判定箇所情報であり、
前記評価情報を生成するステップは、前記判定箇所情報に基づいて前記複数の判定箇所における複数の前記第1圧力値を特定し、前記特定した複数の第1圧力値の間の一致度を示す情報を前記評価情報として生成し、
前記評価情報は、ユーザによる前記測定対象物の合否判定の参考に使用される情報である、
面圧解析プログラム。
【請求項20】
非一時的かつコンピュータ読取可能な記録媒体であって、請求項18又は19に記載のプログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は面圧解析装置、方法、プログラム及び記録媒体に係り、特に測定対象物の検査面に印加された2次元状に分布する面圧を解析し、評価する技術に関する。
【背景技術】
【0002】
従来、測定対象物の検査面に印加された2次元状に分布する面圧を確認するために、発色剤を包含するマイクロカプセル層を有する圧力測定シートを使用する方法が知られている。このような圧力測定フイルムとしては、例えば富士フイルム株式会社より提供される「プレスケール」(商品名)がある。
【0003】
測定対象物の検査面に配置される圧力測定シートは、検査面に印加された面圧に応じた濃度分布で発色する。検査者は、発色済みの圧力測定シートを目視で確認することで、測定対象物の検査面に印加された面圧の合否を判定する。
【0004】
また、特許文献1には、測定対象物の点接触又は線接触する部分に加わる最大圧力を圧力測定シートにより測定する場合に、その圧力測定シートにより測定可能な圧力範囲よりも大きい最大圧力を測定することが可能な圧力測定方法が提案されている。
【0005】
この圧力測定方法は、測定対象物の検査面と圧力測定シートとの間に弾性シートを挟み、測定対象物の点接触又は線接触する部分に加わる圧力を分散させる。その後、発色済みの圧力測定シートをスキャナで読み取り、読み取った画像(検査画像)を、点接触又は線接触する部分を横断する線上で切り出し、切出した画像をその濃淡に応じた圧力値に変換する。そして、変換した圧力値の圧力分布を用いて、測定対象物の点接触又は線接触する部分に本来印加される最大圧力を演算により推定している。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2000-321152号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、圧力測定シートに加わる圧力の強弱に応じた発色のグラデーションを検査者が目視で確認し、測定対象物の検査面に印加された面圧の合否(即ち、測定対象物の合否)等を判定する場合、検査者の目視評価のため、検査者により判定結果がばらつくという問題があり、検査者に依存しない判定結果の平準化が望まれる。
【0008】
また、特許文献1には、発色済みの圧力測定シートをスキャナで読み取り、読み取った画像を解析する記載があるが、特許文献1に記載の圧力測定方法は、圧力測定シートの測定可能な圧力範囲よりも大きい最大圧力を測定する方法であり、測定対象物の検査面に印加された面圧を自動評価するものではない。
【0009】
本発明はこのような事情に鑑みてなされたもので、測定対象物の検査面に印加された面圧を自動評価し、測定対象物の合否判定等を行う検査者を支援することができる面圧解析装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
上記目的を達成するために第1態様に係る発明は、プロセッサと、測定対象物に対応する基準情報を記憶するメモリと、を備えた面圧解析装置であって、プロセッサは、測定対象物の検査面に印加された2次元状に分布する第1圧力値を取得する処理と、取得した第1圧力値とメモリに記憶された基準情報とに基づいて、測定対象物の検査面に印加される面圧に対する評価情報を生成する処理と、生成した評価情報をディスプレイに出力する処理と、を備える。
【0011】
本発明の第1態様によれば、測定対象物の検査面に印加された2次元状に分布する第1圧力値を取得し、この第1圧力値と基準情報とに基づいて生成した評価情報をディスプレイに出力するようにしたため、測定対象物の合否判定を行う検査者を支援することができる。即ち、検査者は、ディスプレイに出力された評価情報を参考にすることで、精度の高い測定対象物の合否判定が可能であり、また、複数の検査者により測定対象物の合否判定を行う場合に、判定結果の平準化を図ることができる。
【0012】
本発明の第2態様に係る面圧解析装置において、第1圧力値を取得する処理は、測定対象物の検査面に配置される圧力測定シートであって、検査面に印加された面圧に応じた濃度分布で発色した圧力測定シートを撮影したカメラ、又は圧力測定シートを走査したスキャナから検査画像を取得する処理と、取得した検査画像を2次元状に分布する第1圧力値に変換する処理と、を含み、変換された第1圧力値を取得することが好ましい。
【0013】
本発明の第3態様に係る面圧解析装置において、第1圧力値を取得する処理は、測定対象物の検査面に配置される圧力センサシートを含み、圧力センサシートから出力される検査面に印加される面圧に応じた電気信号に基づいて2次元状に分布する第1圧力値を出力する面圧分布測定器から第1圧力値を取得することが好ましい。
【0014】
本発明の第4態様に係る面圧解析装置において、プロセッサは、検査面に印加される面圧に応じた電気信号に基づいて、電気信号に応じた濃度分布を有する検査画像を生成する処理を行うことが好ましい。
【0015】
本発明の第5態様に係る面圧解析装置において、プロセッサは、検査画像をディスプレイに表示させることが好ましい。
【0016】
本発明の第6態様に係る面圧解析装置において、基準情報は、検査面上で2次元状に分布すべき第2圧力値を有する限度見本であり、評価情報を生成する処理は、取得した第1圧力値と限度見本との一致度を示す情報を評価情報として生成することが好ましい。
【0017】
本発明の第7態様に係る面圧解析装置において、基準情報は、予め設定された許容範囲値を含み、一致度は、第1圧力値が許容範囲値以内となる第1領域と、限度見本の第2圧力値が許容範囲値以内となる第2領域との面積の一致度、及び形状の一致度のうちの少なくとも1つである。
【0018】
本発明の第8態様に係る面圧解析装置において、面積の一致度は、第1領域と第2領域との面積の割合である。この割合が高いほど、面積の一致度も高い。
【0019】
本発明の第9態様に係る面圧解析装置において、形状の一致度は、第1領域と第2領域とが重複する面積と第2領域の面積との割合である。この割合が高いほど、形状の一致度も高い。
【0020】
本発明の第10態様に係る面圧解析装置において、一致度は、検査面の1乃至複数の判定箇所における第1圧力値と第2圧力値との一致度である。
【0021】
本発明の第11態様に係る面圧解析装置において、一致度は、検査面の複数の判定箇所における第1圧力値と第2圧力値との、検査面の複数の判定箇所ごとの一致度であり、評価情報を生成する処理は、複数の判定箇所ごとの一致度のうちの少なくとも1つの一致度を示す情報を評価情報として生成することが好ましい。例えば、複数の判定箇所ごとの一致度のうち、1つでも一致度が低い場合には、一致度が低い評価情報とすることができる。
【0022】
本発明の第12態様に係る面圧解析装置において、一致度は、検査面の複数の判定箇所における第1圧力値と第2圧力値との絶対差と、複数の判定箇所ごとの重み係数との積和演算値である。これにより、重視したい判定箇所か否かの情報を考慮した一致度を求めることができる。
【0023】
本発明の第13態様に係る面圧解析装置において、基準情報は、予め設定された許容範囲値であり、評価情報を生成する処理は、第1圧力値が許容範囲値以内となる第1領域の面積、及び、第1領域の面積と検査面の面積との割合のうちの少なくとも1つを評価情報として生成することが好ましい。尚、許容範囲値は、例えば、ユーザ(検査者)が検査対象物の検査を行う場合に、ユーザ操作により適宜設定することができ、この場合、限度見本は不要である。
【0024】
本発明の第14態様に係る面圧解析装置において、基準情報は、測定対象物の複数の判定箇所を示す領域又は位置を示す判定箇所情報であり、評価情報を生成する処理は、判定箇所情報に基づいて複数の判定箇所における第1圧力値を特定し、特定した第1圧力値の一致度を示す情報を評価情報として生成することが好ましい。測定対象物の検査面において、注目する複数の判定箇所を設定することで、複数の判定箇所における第1圧力値の間の一致度を評価情報とすることができる。
【0025】
本発明の第15態様に係る面圧解析装置において、基準情報は、測定対象物の複数の判定箇所に印加される圧力の絶対差に対して設定される閾値を含み、評価情報を生成する処理は、特定した第1圧力値の絶対差を算出し、算出した絶対差が閾値以内か否かを示す情報を評価情報として生成することが好ましい。複数の判定箇所に印加される圧力の絶対差が閾値以内の場合、複数の判定箇所に印加される圧力差は相対的に低いと判断することができ、これを複数の判定箇所に印加される圧力の評価情報とすることができる。
【0026】
本発明の第16態様に係る面圧解析装置において、基準情報は、測定対象物の1乃至複数の判定箇所を示す領域又は位置を示す判定箇所情報、及び判定箇所情報に対応して予め設定された許容範囲値であり、評価情報を生成する処理は、判定箇所情報に基づいて判定箇所における第1圧力値を特定し、特定した第1圧力値と許容範囲値とに基づいて評価情報を生成することが好ましい。
【0027】
本発明の第17態様に係る面圧解析装置において、プロセッサは、測定対象物の判定箇所を示す領域又は位置を示す判定箇所情報をユーザ指定により受け付ける処理と、受け付けた判定箇所情報をメモリに登録する処理と、を行うことが好ましい。
【0028】
本発明の第18態様に係る面圧解析装置において、プロセッサは、検査画像のうち第1圧力範囲値以内に対応する画像と第1圧力範囲値を超える画像とを識別可能にした検査画像を生成することが好ましい。例えば、第1圧力範囲値以内に対応する画像と第1圧力範囲値を超える画像とで色分けすることで、識別可能にすることができる。また、第1圧力範囲値を超える画像を、低圧側に超える画像と高圧側に超える画像とで更に色分けするようにしてもよい。
【0029】
本発明の第19態様に係る面圧解析装置において、プロセッサは、第2圧力範囲値をユーザ指定により受け付ける処理を行い、検査画像を生成する際に、検査画像のうちの第2圧力範囲値以内に対応する画像に対して濃淡を表すグラデーション幅を拡大させた検査画像を生成することが好ましい。例えば、詳細に確認したい圧力範囲(第2圧力範囲)をユーザ指定により受け付けると、第2圧力範囲値以内に対応する画像に対して、濃淡を表すグラデーション幅を拡大させることで、第2圧力範囲値以内の画像に対する濃淡を強調(階調を豊富に)することができる。
【0030】
本発明の第20態様に係る面圧解析装置において、プロセッサは、検査画像に基づいて第1圧力値の大きさに応じた凹凸形状を有する3次元画像を生成する処理と、3次元画像の回転指示をユーザ操作により受け付ける処理と、を行い、受け付けた回転指示に基づいて3次元画像をディスプレイ上で回転移動させることが好ましい。これにより、第1圧力値の強度分布、近接する領域の強度の高低差、傾き等を3次元画像で容易に判断することができる。
【0031】
本発明の第21態様に係る面圧解析装置において、基準情報は、検査面上で2次元状に分布すべき第2圧力値を有する限度見本であり、評価情報を生成する処理は、第2圧力値に応じた濃淡を有する限度見本の画像に、第1圧力値に応じた濃淡を有する検査画像を重畳させた重畳画像を生成し、重畳画像を評価情報とすることが好ましい。これにより、両画像で重なる領域と重ならない領域を容易に判断できる。
【0032】
本発明の第22態様に係る面圧解析装置において、限度見本の画像に重畳させる検査画像は、限度見本の画像の表示色とは異なる表示色を有し、かつ第1圧力値に応じた透過度を有する透過画像であることが好ましい。
【0033】
本発明の第23態様に係る面圧解析装置において、プロセッサは、測定対象物ごとにユーザ指示により検査の合否判定結果を受け付け、測定対象物ごとの検査画像、及び合否判定結果を含む検査の付帯情報をデータベースの保存させる処理を行うことが好ましい。これにより、測定対象物ごとの検査画像、及び合否判定結果を含む検査の付帯情報を、必要に応じて閲覧し、あるいはプリント出力することが可能である。
【0034】
本発明の第24態様に係る面圧解析装置において、付帯情報は、合否判定結果の他に、測定対象物の識別情報、圧力測定シートの品種、及び検査条件、圧力種、及び合否判定結果を指示した検査者情報うちの1以上を含むことが好ましい。
【0035】
本発明の第25態様に係る面圧解析装置において、プロセッサは、データベースに保存された検査画像及び合否判定結果のセットを学習データとして機械学習した学習済みモデルを有し、学習済みモデルは、任意の検査画像を入力すると、合否判定結果を出力することが好ましい。尚、合否判定結果の出力は、合否の確からしさ(確信度)の出力を含む。
【0036】
本発明の第26態様に係る面圧解析装置において、ユーザ端末と、ユーザ端末との間で相互に通信するサーバとから構成され、ユーザ端末は、検査画像をサーバに送信し、サーバは、ユーザ端末から検査画像を受信すると、検査画像に対する評価情報を生成し、生成した評価情報をユーザ端末に送信し、ユーザ端末は、サーバから評価情報を受信すると、評価情報をユーザ端末のディスプレイに表示させることが好ましい。これにより、面圧解析装置を、複数のユーザのユーザ端末とサーバとからなるシステムで構成することができ、サーバは、各ユーザ端末からアップロードされる検査画像、又は各ユーザ端末から集信した検査画像に対する評価情報を生成し、これをユーザに提供することができる。
【0037】
第27態様に係る発明は、プロセッサにより測定対象物の検査面に印加された2次元状に分布する面圧を解析する面圧解析方法であって、プロセッサの各処理は、測定対象物の検査面に印加された2次元状に分布する第1圧力値を取得するステップと、取得した第1圧力値とメモリに記憶された基準情報とに基づいて、測定対象物の検査面に印加される面圧に対する評価情報を生成するステップと、生成した評価情報をディスプレイに出力するステップと、を含む。
【0038】
第28態様に係る発明は、測定対象物の検査面に印加された2次元状に分布する面圧を解析する面圧解析方法をコンピュータに実現させる面圧解析プログラムであって、面圧解析方法は、測定対象物の検査面に印加された2次元状に分布する第1圧力値を取得するステップと、取得した第1圧力値とメモリに記憶された基準情報とに基づいて、測定対象物の検査面に印加される面圧に対する評価情報を生成するステップと、生成した評価情報をディスプレイに出力するステップと、を含む。
【発明の効果】
【0039】
本発明によれば、測定対象物の検査面に印加された面圧を自動評価することができ、また、自動評価した評価情報をディスプレイに出力することで、測定対象物の合否判定を行う検査者を支援することができる。
【図面の簡単な説明】
【0040】
図1図1は、本発明に係る面圧解析装置の実施形態を示す概略構成図である。
図2図2は、本システムを使用する場合の事前準備の様子を示す概念図である。
図3図3は、キャリブレーションシートの第1実施形態を示す平面図である。
図4図4は、キャリブレーションシートの第2実施形態を示す平面図である。
図5図5は、キャリブレーションシートの第3実施形態を示す平面図である。
図6図6は、限度見本の画像の例を示す図である。
図7図7は、圧力測定シートの撮影時のスマートフォンの画面遷移を示す図である。
図8図8は、検査画像表示から検査結果表示へのスマートフォンの画面遷移を示す図である。
図9図9は、検査画像及び検査結果等の閲覧時のスマートフォンの画面遷移を示す図である。
図10図10は、図1に示した面圧解析装置の電気的な構成を示す要部ブロック図である。
図11図11は、本発明に係る面圧解析装置の第1実施形態を示すブロック図である。
図12図12は、本発明に係る面圧解析装置の第2実施形態を示すブロック図である。
図13図13は、撮影した検査画像の濃淡を強調する場合のスマートフォンの画面遷移を示す図である。
図14図14は、検査画像の濃淡を強調する場合の内部処理のイメージ図である。
図15図15は、撮影した検査画像を3D表示する場合のスマートフォンの画面遷移を示す図である。
図16図16は、撮影した検査画像と限度見本とを重ね合わせ表示する場合のスマートフォンの画面遷移を示す図である。
図17図17は、本発明に係る面圧解析装置の第3実施形態を示すブロック図である。
図18図18は、検査画像表示から検査結果表示へのスマートフォンの他の画面遷移を示す図である。
図19図19は、検査結果集計レポートの一例を示す図である。
図20図20は、本発明に係る面圧解析方法の実施形態を示すフローチャートである。
【発明を実施するための形態】
【0041】
以下、添付図面に従って本発明に係る面圧解析装置、方法及びプログラムの好ましい実施形態について説明する。
【0042】
[本発明の概要]
図1は、本発明に係る面圧解析装置の実施形態を示す概略構成図である。
【0043】
図1に示す面圧解析装置は、測定対象物の検査面に印加された2次元状に分布する面圧を解析し、評価結果をユーザに提供するものであり、ユーザ端末とサーバとからなる面圧解析システムとして構成されている。
【0044】
ユーザ端末としては、例えば、スマートフォン100、スキャナ150が接続されたPC(Personal Computer)160、圧力センサシート170Aを含む面圧分布測定器170が接続されたPC180などが考えられる。尚、スマートフォン100、PC160、PC180には、本システムを使用するためのアプリケーションソフトがインストールされている。また、本例のスキャナ150は、有線(USB(Universal Serial Bus)ケーブル)でPC160と接続されているが、ワイヤレスで接続されるものでもよく、同様に、面圧分布測定器170もワイヤレスでPC180と接続されるものでもよい。
【0045】
図1に示すサーバ200は、認証サーバ、Webサーバ、計測処理エンジン、及び画像データベースサーバを含む1乃至複数のサーバで構成される。
【0046】
<システム機能の概要>
サーバ200における認証サーバは、ユーザ端末の機能ライセンスを認証する。機能ライセンスには、カメラで圧力測定シート(プレスケール)読み込み、計測、検査履歴の閲覧、及びシステム管理が含まれる。ユーザ端末は、起動時に使用する機能を認証サーバで認証を受ける。
【0047】
Webサーバは、ユーザ端末からHTTP(Hyper Text Transfer Protocol)リクエストを受け付け、計測処理エンジンと画像データベースサーバと連携する。尚、通信プロトコルは、HTTPに限らず、他の通信プロトコルの利用も可能である。
【0048】
計測処理エンジン及び画像データベースサーバは、入力されたプレスケール画像(検査画像)を画像処理し、圧力値に変換し、圧力値を圧力値分布に変換する。尚、検査画像は、圧力センサシート170Aを有する面圧分布測定器170から入力されるものでもよい。
【0049】
圧力値分布を示す第1圧力値と限度見本とを比較し、比較結果(評価情報)をユーザ端末に返却する。ユーザ端末からユーザ(検査者)の最終判定(合否判定結果)を受け付け、そのときの検査画像と合否判定結果を画像データベースに登録する。また、検査履歴を履歴データベースに登録する。
【0050】
ユーザ端末として機能するスマートフォン100は、スマートフォン100に内蔵されたカメラで圧力測定シートを撮影する。ここで、圧力測定シートは、発色剤を包含するマイクロカプセル層を有するフイルムであり、使用時に測定対象物の検査面に配置され、検査面に印加された圧力の強弱に応じた濃度分布で発色する。即ち、圧力測定シートは、シート全体が圧力を検出するセンサであり、圧力測定シートの発色の濃度分布が、圧力値分布を示す。
【0051】
スマートフォン100は、カメラで撮影した圧力測定シートの画像(検査画像)をサーバ200に送信し、サーバ200の計測処理エンジンで処理された検査画像(検査面に印加される圧力)に対する評価情報を、サーバ200から受け取り、スマートフォン100のディスプレイに表示させる。また、スマートフォン100は、検査者が最終判定した合否判定結果をサーバ200に送信する。
【0052】
他のユーザ端末として機能するスキャナ150がワイヤレス接続されたPC160は、スキャナ150がスマートフォン100のカメラの役割を果たす。即ち、スキャナ150は、圧力測定シートの発色面を走査し、圧力測定シートの画像(検査画像)を取得し、取得した検査画像をPC160に転送する。PC160の他の機能は、スマートフォン100と同様であるため、その説明は省略する。
【0053】
更に他のユーザ端末として機能する面圧分布測定器170が接続されたPC180は、面圧分布測定器170から2次元状に分布する圧力値(第1圧力値)を入力する。
【0054】
面圧分布測定器170は、測定対象物の検査面に配置される圧力センサシート170Aを含み、圧力センサシート170Aから出力される検査面に印加される面圧に応じた電気信号に基づいて、2次元状に分布する第1圧力値をPC180に出力する。圧力センサシート170Aには、マトリクス状に多数の感圧素子が配列されており、面圧分布測定器170は、各感圧素子を走査することで、各感圧素子に加えられる圧力に応じた第1圧力値をPC180に出力する。
【0055】
PC180は、面圧分布測定器170から取得した第1圧力値をサーバ200に送信する。尚、2次元状に分布する第1圧力値は、その第1圧力値を、例えば、0~255の階調値に割り当てることで、検査画像とすることができるため、PC180は、検査画像に変換してPC160に送信することもできる。
【0056】
<事前準備>
図2は、本システムを使用する場合の事前準備の様子を示す概念図である。
【0057】
図2に示すように各ユーザ端末のユーザは、それぞれのユーザ端末に対応した事前準備を行う。尚、事前準備には、初回のみに行う準備と、検査対象物が変更されるごとに行う準備とがある。
【0058】
以下、ユーザ端末がスマートフォン100の場合の事前準備について説明する。
【0059】
(1)本システムに対応するアプリケーションソフトをサーバ200等からダウンロードする。
【0060】
(2)キャリブレーション方式の設定
図3は、キャリブレーションシートの第1実施形態を示す平面図である。
【0061】
a)アプリケーションソフト上でカメラを起動し、図3に示すキャリブレーションシート2を撮影する。
【0062】
キャリブレーションシート2には、四隅に濃度チャート2A~2Dが設けられ、中央部に矩形の枠2Eが設けられている。尚、キャリブレーションシート2の枠2E内には、限度見本等に対応する圧力測定シート1が適宜配置され、同時に撮影されるが、これに限らず、キャリブレーションシート2と限度見本等に対応する圧力測定シート1は、別々に連続して撮影しても良い。
【0063】
b)キャリブレーションシート2を撮影した画像内の濃度チャート2A~2Dの画像をアプリケーションソフトで自動解析する。
【0064】
c)濃度チャート2A~2Dの画像の解析結果により、本システムがスマートフォン100のカメラ(撮影環境)に最適なキャリブレーション方式(撮影した画像の補正方式)を設定する。
【0065】
尚、キャリブレーションシート2は、図3に示した第1実施形態に限らず、例えば、図4及び図5にそれぞれ示した第2実施形態のキャリブレーションシート、及び第3実施形態のキャリブレーションシートでもよい。
【0066】
図4に示すキャリブレーションシート2-1は、四隅に一色の階調による濃度チャートを有している。また、図5にキャリブレーションシート2-2は、対角の2箇所に濃度チャートを有している点で、図3に示した四隅に濃度チャートを有するキャリブレーションシート2と相違する。
【0067】
(3)基準情報の登録
測定対象物に対応する基準情報は、測定対象物の検査面に印加される面圧を評価する場合に使用される情報であり、例えば、限度見本、測定対象物の検査面の1乃至複数の判定箇所を示す領域又は位置を示す判定箇所情報、及び複数の判定箇所に印加される圧力の絶対差(差の絶対値)を評価するための閾値等である。
【0068】
a)限度見本(例えば、測定対象物の検査面上で2次元状に分布すべき第2圧力値)に対応する圧力測定シート1をキャリブレーションシート2の枠2E内に配置し(図2参照)、圧力測定シート1をキャリブレーションシート2と一緒に撮影する。または、キャリブレーションシート2と限度見本等に対応する圧力測定シート1は、別々に連続して撮影しても良い。
【0069】
撮影した画像を、キャリブレーションシート2の情報を使用して補正し、これを限度見本として登録する。尚、キャリブレーションシート2の枠2Eの情報は、限度見本の画像サイズ、歪み補正等に使用することができる。
【0070】
b)検査対象としたい部位(位置、領域)をユーザ指示により選択し、登録する。
【0071】
限度見本に対応する圧力測定シート1上で、測定対象としたい部位をマーキングすることにより選択することができる。
【0072】
また、マーキング以外に検査範囲を画像座標情報で指定し、または限度見本に対応する圧力測定シート1の検査画像上の座標で測定対象部位を登録することもできる。更に、検査対象となる部位のCAD(computer-aided design)図面などから位置情報を指定しても良い。
【0073】
図6は、限度見本の画像の例を示す図である。
【0074】
図6(A)は、平坦な円形の検査面を有する検査対象物に対応する限度見本の画像10-1である。この場合、限度見本の画像10-1が表示されたスマートフォン100のディスプレイ等のユーザインターフェースを使用し、測定対象物の判定箇所を示す領域(例えば、円形の検査面の外縁等)をユーザ指定することが可能である。
【0075】
図6(B)は、ガスケットの検査対象物に対応する限度見本の画像10-2である。
【0076】
図6(B)に示すガスケットは、リング状の検査面を有し、リング状の検査面には、4つの穴がある。この場合、ガスケットの限度見本の画像10-2が表示されたスマートフォン100のディスプレイ等を使用し、ガスケットのリング状の領域を、判定箇所を示す領域としてユーザ指定することが可能である。
【0077】
また、図6(B)に示すように限度見本の画像10-2上で、ガスケットの4つの穴周辺の領域をマーキングし、検査対象としたい部位として指定することができる。尚、図6(B)では、検査対象としたい部位を円形のマーカで指定したが、これに限らず、矩形のマーカや任意の閉曲線にて指定することができる。
【0078】
更に、測定対象物の判定箇所を示す領域以外に、1乃至複数の判定箇所を示す位置(画像内の座標)を指定してもよい。また、限度見本等の基準情報の登録は、サーバ200側で行うようにしてもよい。
【0079】
一方、スキャナ150が接続されたPC160がユーザ端末の場合、スキャナ150でキャリブレーションシート2の画像を取り込むことで、スキャナ150に対応したキャリブレーション方式が選択される。また、面圧分布測定器170が接続されたPC180の場合、キャリブレーション方式の設定を省略することができる。
【0080】
上記の撮影条件、撮影した画像の補正方式、基準情報、合否判定結果の保存条件、閲覧条件など、検査業務に係わる全てを「検査業務」として定義する。
【0081】
<撮影>
図7は、圧力測定シートの撮影時のスマートフォンの画面遷移を示す図である。
【0082】
事前準備で定義した「検査業務」を選択し、必要事項(検査対象物の部品名、部品番号、検査日、検査方法等)を選択もしくは入力し、検査対象物を撮影する。
【0083】
例えば、図7(A)に示すように、検査しようとする検査対象物の部品名や部品番号を、スマートフォン100のディスプレイ120を使用して設定する。
【0084】
続いて、スマートフォン100のカメラで検査対象物の検査面にて加圧された圧力測定シートを撮影する。スマートフォン100のカメラで撮影された画像は、予め定義された撮影条件等で補正され、検査画像として、図7(B)に示すようにスマートフォン100のディスプレイ120に表示される。
【0085】
スマートフォン100は、検査画像の送信指示を受け付けると、撮影した検査画像をサーバ200に送信する。
【0086】
<計測・判定支援>
図8は、検査画像表示から検査結果表示へのスマートフォンの画面遷移を示す図である。
【0087】
図8(A)に示すスマートフォン100のディスプレイ120には、図7(B)と同様に検査画像が表示されている。
【0088】
サーバ200は、スマートフォン100から送信された検査画像を、予め定義した基準情報等の条件で計測、比較し、計測結果(評価情報を含む)を一次判定結果としてスマートフォン100に返信する。
【0089】
図8(B)に示すスマートフォン100のディスプレイ120には、検査画像に対してサーバ200で計測、判定された一次判定結果が表示されている。
【0090】
図8(B)に示す例では、一次判定結果として、限度見本との比較結果が表示されている。例えば、検査画像から把握される検査面上で2次元状に分布する圧力値(第1圧力値)との一致度とその一致度を示す画像とが表示されている。
【0091】
ここで、一致度とは、例えば、検査画像から把握される検査面上での第1圧力値が許容範囲値以内となる領域(第1領域)と、限度見本上で分布する圧力値(第2圧力値)が許容範囲値以内となる領域(第2領域)との面積、及び形状の一致度のうちの少なくとも1つとすることができる。
【0092】
尚、許容範囲値は、予め基準情報として設定することができる。例えば、あるユーザが、圧力測定シート(プレスケール)として、LW(2.5~10MPaの圧力が測定可能なプレスケールの品種)を使用し、特に5~6MPa(=ユーザ側での許容範囲値)での一致度を検査したい時(ユーザがこの圧力範囲値だけで判断したい時)、許容範囲値として、5~6MPaが設定される。
【0093】
また、面積の一致度とは、例えば、検査画像から得られる第1領域の面積と、限度見本から得られる第2領域の面積との割合とすることができ、形状の一致度とは、第1領域と第2領域とが重複する面積と第2領域の面積との割合とすることができる。更に、一致度として、面積の割合と許容範囲値とのかけ合わせで判定することも考えられる。
【0094】
図8(B)に示す例では、「一致度80%」が示されている。また、許容範囲値を超える画像のうち、許容範囲値の上限値を超える画像と下限値を超える画像とを色分け表示している。尚、色分けされた各領域の画像は、検査画像と同様な濃淡を有する画像として表示されている。
【0095】
これによれば、測定対象物の検査面(検査画像)のうち、許容範囲値を満たす領域を確認することができ、合否判定の参考にすることができる。
【0096】
[その他の一致度及び評価方法]
測定対象物の検査面の1乃至複数の判定箇所を示す領域又は位置(検査画像上の座標)を示す判定箇所情報を基準情報として設定しておき、一致度は、検査面の1乃至複数の判定箇所における第1圧力値と、限度見本の同じ判定箇所における第2圧力値との一致度とすることができる。
【0097】
また、複数の判定箇所による一致度が得られる場合、複数の判定箇所ごとの一致度のうちの少なくとも1つの一致度を示す情報を、一次判定結果(評価情報)として生成してもよい。例えば、複数の判定箇所ごとの一致度のうち、1つでも一致度が低い場合には、一致度が低い評価情報とすることができる。
【0098】
また、一致度は、検査面の複数の判定箇所における第1圧力値と第2圧力値との絶対差(差の絶対値)と、複数の判定箇所ごとの重み係数との積和演算値とすることができる。これにより、重視したい判定箇所か否かの情報を考慮した一致度を求めることができる。
【0099】
更に、限度見本を設定せずに、許容範囲値を基準情報として設定してもよい。この場合、検査画像から把握される検査面上での第1圧力値が許容範囲値以内となる第1領域の面積、及び、第1領域の面積と検査面の面積との割合のうちの少なくとも1つを評価情報として生成してもよい。尚、許容範囲値は、例えば、ユーザ(検査者)が検査対象物の検査を行う場合に、ユーザ操作により適宜設定することができる。
【0100】
更にまた、基準情報として、測定対象物の複数の判定箇所を示す領域又は位置を示す判定箇所情報を設定することができる。この場合、判定箇所情報に基づいて複数の判定箇所における第1圧力値をそれぞれ特定し、特定した第1圧力値の一致度を示す情報を評価情報として生成することができる。例えば、ユーザが、測定対象物の検査面において、注目する2箇所の判定箇所を設定し、2箇所の判定箇所における第1圧力値が一致し、又はほぼ一致する場合に、一致度が高いと評価することができる。
【0101】
また、基準情報として、測定対象物の複数の判定箇所を示す領域又は位置を示す判定箇所情報と、測定対象物の複数の判定箇所に印加される圧力の絶対差に対して設定される閾値を設定することができる。場合、判定箇所情報に基づいて複数の判定箇所における第1圧力値をそれぞれ特定し、特定した第1圧力値の絶対差を算出し、算出した絶対差が閾値以内か否かを示す情報を評価情報とすることができる。複数の判定箇所に印加される圧力の絶対差が閾値以内の場合、複数の判定箇所に印加される圧力差は相対的に低いと判断することができ、これを複数の判定箇所に印加される圧力の評価情報とすることができる。
【0102】
更に、基準情報として、測定対象物の1乃至複数の判定箇所を示す領域又は位置を示す判定箇所情報、及び判定箇所情報に対応して予め設定された許容範囲値を設定することができる。この場合、判定箇所情報に基づいて判定箇所における第1圧力値を特定し、特定した第1圧力値と許容範囲値とに基づいて評価情報を生成する。例えば、ユーザが注目している1乃至複数の判定箇所の第1圧力値が、予め設定した許容範囲値内にあるか否か等の評価情報を生成することができる。
【0103】
図8に戻って、図8(B)に示すスマートフォン100のディスプレイ120の下方には、「OK」アイコンと、「NG」アイコンとが表示されている。検査者は、図8(A)に示す検査画像に加えて、図8(B)に示すサーバ200による一次判定結果を参考にして、測定対象物に対する最終判定である合否を判定し、合格の場合には「OK」アイコンをタップし、不合格の場合には「NG」アイコンをタップする。
【0104】
また、いずれとも判断できない場合のために、判断を保留するための「HOLD」アイコンを用意しても良い。
【0105】
ユーザ指示(「OK」アイコン、又は「NG」アイコン等の操作)による測定対象物ごとの検査の合否判定結果は、サーバ200に送信され、サーバ200における画像データベースにおいて、検査画像の付帯情報として保存される。また、画像データベース又は画像データベースに関連する関連データベースでは、検査画像に関連付けて一次判定結果等の計測結果を保存することが好ましい。
【0106】
検査画像の付帯情報としては、合否判定結果の他に、測定対象物の識別情報(部品名、部品番号)、圧力測定シートの品種、及び検査条件、圧力種、及び合否判定結果を指示した検査者情報のうちの1以上を含み、これらの付帯情報は、事前準備の段階で入力し、サーバ200に登録することができる。
【0107】
尚、圧力測定シートの品種は、測定可能な圧力領域が異なる圧力測定シート(プレスケール)の種類であり、低圧用(LW)、中圧用MS、高圧用(HS)等がある。検査条件は、使用時の温度及び湿度を含む。圧力測定シートの発色濃度と圧力との関係は、温度及び湿度により変化するため、温度及び湿度条件は、正しい圧力を求めるための補正情報として使用される。圧力種は、圧力測定シートへの圧力のかけ方の種類であり、瞬間圧、持続圧等の種類がある。
【0108】
<履歴閲覧>
図9は、検査画像及び検査結果等の閲覧時のスマートフォンの画面遷移を示す図である。
【0109】
図9(B)に示すスマートフォン100のディスプレイ120には、サーバ200の画像データベースに保存された所望の測定対象物の検査画像(元画像)が表示されている。ユーザは、スマートフォン100から所望の測定対象物の識別情報(部品名、部品番号)等を使用して画像データベースから対応する元画像を検索し、ディスプレイ120に表示させることができる。
【0110】
また、ユーザは、図9(B)に示したスマートフォン100のディスプレイ120に表示した測定対象物の元画像から、元画像に対するサーバ200での検査結果に切り替えて表示させ(図9(A))、又は元画像に対する付帯情報(テキスト情報)に切り替えて表示させることができる(図9(C))。
【0111】
即ち、ユーザは、スマートフォン100からサーバ200に対して閲覧を要求し、スマートフォン100のディスプレイ120に所望の測定対象物の検査面の圧力分布を示す元画像を表示させるとともに、元画像と検査結果とを相互に切り替えて表示し、あるいは元画像と付帯情報とを相互に切り替えて表示することができる。
【0112】
[面圧解析装置の電気的な構成]
図10は、図1に示した面圧解析装置の電気的な構成を示す要部ブロック図であり、スマートフォンをユーザ端末とする場合に関して示している。
【0113】
<スマートフォン>
スマートフォン100は、主たる構成要素として、主制御部101と、無線通信部110と、ディスプレイ120と、操作部140と、カメラ141と、を備えている。スマートフォン100は、その他に通話部、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュROM等のメモリが設けられているが、図10では省略されている。
【0114】
主制御部101は、プロセッサを備え、メモリに記憶された制御プログラム、アプリケーションソフト、制御データに従って動作し、スマートフォン100の各部を統括して制御する。
【0115】
スマートフォン100の主制御部101は、本発明に係るプログラム(アプリケーションソフト)がインストールされており、このアプリケーションソフトを実行することにより、ディスプレイ制御部101A、画像取得部101B、及び通信制御部101Cとして機能する。
【0116】
ディスプレイ制御部101Aは、操作部140からのユーザ指示にしたがってディスプレイ120に表示させる各種情報の入力画面、カメラ141で撮影した検査画像、及びサーバ200から受信した検査結果等をディスプレイ120に表示させる制御を行う。
【0117】
画像取得部101Bは、本アプリケーションソフト上でカメラ141が起動され、カメラ141で撮影された圧力測定シートの画像をカメラ141から取得すると、事前準備で設定したキャリブレーション方式により画像を補正し、カメラ141の機種、撮影条件等に依存しない画像(検査画像)を取得する。
【0118】
また、図3に示したキャリブレーションシート2に圧力測定シートを載せてカメラ141で撮影する場合には、画像取得部101Bは、カメラ141から取得した画像を、キャリブレーションシート2の濃度チャート2A~2D、及び矩形の枠2E等の情報を使用し、圧力測定シートの画像の濃度、サイズ及び形状を規格化し、枠2E内の画像を切り出して検査画像とすることができる。
【0119】
通信制御部101Cは、画像取得部101Bが取得した検査画像を無線通信部110及びネットワーク4を介してサーバ200に送信し、検査画像に基づいてサーバ200により計測、判定された一次判定結果をネットワーク4及び無線通信部110を介して取得する。
【0120】
ディスプレイ120は、画面上にタッチパネルを備えたタッチパネル付きディスプレイであり、主制御部101の制御により、画像や文字情報などを表示して視覚的にユーザに情報を伝達し、また表示した情報に対するユーザ操作を検出する。
【0121】
操作部140は、キースイッチなどを用いたハードウエアキーであって、ユーザからの指示を受け付ける。例えば、操作部140は、スマートフォン100の筐体に設けられた機械式のスイッチの他に、ディスプレイ120に表示された「キーボード」アイコン、「テンキー」アイコン、アイコンボタン等を含む。
【0122】
カメラ141は、スマートフォン100の各種機能に利用することができる。本アプリケーションソフト上でカメラ141が起動された場合には、測定対象物の検査面に加わる圧力を評価するための圧力測定シートの撮影に利用される。
【0123】
<サーバ200>
図10に示すサーバ200は、面圧解析装置、又は面圧解析システムの主要部として機能するものであり、主として通信部210、CPU(Central Processing Unit)220、画像データベース230、及びメモリ240から構成されている。
【0124】
CPU220は、サーバ200の各部を統括制御するとともに、メモリ240に格納された面圧解析プログラムにしたがって、検査画像に基づいて一次判定結果(評価情報)を生成する計測処理エンジンとして機能する。また、CPU220は、計測処理エンジンにより取得した一次判定結果を、通信部210を介してスマートフォン100(検査画像を送信したスマートフォン100)に送信(返信)する。
【0125】
画像データベース230は、ユーザ端末から受信した測定対象物の検査画像を、測定対象物の部品名、部品番号等の識別情報と関連付けて登録及び管理する部分である。また、画像データベース230には、ユーザ端末から受信した、検査者による最終判定(合否判定結果)、その他、測定対象物の部品名、部品番号、検査日、圧力測定シートの品種、検査条件、圧力種、及び合否判定結果を指示した検査者情報等が、検査画像に対する付帯情報として登録される。更に画像データベース230は、測定対象物の識別情報と関連付けて一次判定結果を保存するようにしてもよい。
【0126】
尚、画像データベース230に保存され、蓄積された検査画像と合否判定結果とをペアとするデータセットは、学習データとして使用することができる。この学習データを使用して学習モデルを機械学習させることにより、検査画像を合否判定する(合否判定の分類を行う)学習済みモデルとすることができる。
【0127】
メモリ240は、オペレーティングシステム、面圧解析プログラムを含む各種のプログラムが格納されるメモリ、測定対象物に対応する基準情報であって、限度見本、許容範囲値、閾値、測定対象物の1乃至複数の判定箇所を示す領域又は位置を示す判定箇所情報等の基準情報を記憶するメモリ、及びCPU220の作業領域となるメモリを含む。
【0128】
[第1実施形態]
図11は、本発明に係る面圧解析装置の第1実施形態を示すブロック図であり、図10に示したサーバ200の機能を示す機能ブロック図である。
【0129】
図1に示す第1実施形態の面圧解析装置は、主として画像取得部210A、出力部210B、変換部222、評価情報生成処理部224、及びメモリ240を備えている。
【0130】
画像取得部210Aは、ユーザ端末により撮影された検査画像10を取得する(図8(A))。この画像取得部210Aは、ユーザ端末から送信された検査画像10を受信するサーバ200の通信部210に相当する。
【0131】
変換部222は、圧力値と濃度値との関係を示す変換テーブル又は変換式を有し、画像取得部210Aにより取得された検査画像10を、変換テーブル又は変換式を使用して検査画像10の濃度値を圧力値に変換する。これにより、2次元状に分布する第1圧力値を取得する。
【0132】
評価情報生成処理部224は、計測処理エンジンによる処理部であり、変換部222から出力される第1圧力値と、メモリ240から読み出した限度見本とを比較し、両者の一致度を示す情報(評価情報)を一次判定結果として生成する。ここで、限度見本は、測定対象物の検査面上で2次元状に分布すべき圧力値(第2圧力値)を有する基準情報であり、ユーザにより予めメモリ240に設定登録されたものである。
【0133】
評価情報生成処理部224により生成された一次判定結果は、出力部210Bからユーザ端末に出力(送信)され、ユーザ端末のディスプレイに表示される(図8(B))。この出力部210Bは、一次判定結果をユーザ端末に送信するサーバ200の通信部210に相当する。
【0134】
その後、検査者が、一次判定結果等を参考にして、測定対象物に対する最終判定である合否判定を行い、ユーザ端末(スマートフォン100)の「OK」アイコン、又は「NG」アイコンをタップすると、その合否判定結果がサーバ200に送信される。合否判定結果は、検査画像とともに、検査画像の付帯情報としてサーバ200の画像データベース230に登録される。
【0135】
[第2実施形態]
図12は、本発明に係る面圧解析装置の第2実施形態を示すブロック図である。尚、図12において、図11に示した第1実施形態の面圧解析装置と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0136】
図12に示す第2実施形態の面圧解析装置は、主として画像データベース230、及び検査画像処理部226が追加されている点で、第1実施形態の面圧解析装置と相違する。
【0137】
画像取得部210Aにより取得された検査画像10は、画像データベース230に登録され、また、検査画像処理部226に加えられる。
【0138】
検査画像処理部226は、計測処理エンジンによる処理部の一つであり、メモリ240から検査画像10に対応する基準情報として許容範囲値を読み出す。
【0139】
検査画像処理部226は、検査画像10のうち、検査画像10から変換された第1圧力値が第1圧力範囲値以内に対応する領域と、第1圧力範囲値を超える領域(第1圧力範囲値の上限値を超える領域と下限値を超える領域)とを求め、これらの領域の画像を識別可能にする。具体的には、これらの領域の画像の発色(色相)を変え、例えば、第1圧力範囲値以内に対応する領域の画像をマゼンタで色分けし、第1圧力範囲値の上限値を超える領域の画像を黄色で色分けし、第1圧力範囲値の下限値を超える領域の画像を緑色で色分けする。尚、第1圧力範囲値は、予めユーザにより設定され、メモリ240に記憶させることができ、また、許容範囲値と同じ値にしてもよい。
【0140】
検査画像処理部226により色分けされた画像は、出力部210Bを介してユーザ端末に出力され、ユーザ端末のディスプレイに表示される(図8(B))。検査者は、色分けされた画像を視認することで、測定対象物の検査面の印加される圧力のうち、許容範囲値を満たす領域を確認することができ、測定対象物に対する最終判定である合否判定の参考にすることができる。
【0141】
<圧力分布の強調表示>
図13は、撮影した検査画像の濃淡を強調する場合のスマートフォンの画面遷移を示す図であり、図14は、検査画像の濃淡を強調する場合の内部処理のイメージ図である。
【0142】
図13(A)は、検査画像をスマートフォン100のディスプレイ120にそのまま表示した状態に関して示している。この場合の検査画像は、圧力測定シートに加わる圧力分布に応じて発色している画像である。
【0143】
いま、図13(A)に示す検査画像は、例えば、図14の左側の圧力を示すスケールにおいて、1~10MPaに対応して0~255のグラデーション幅(階調)が割り当てられているものとする。
【0144】
これに対し、測定対象物の検査面に印加されている圧力分布が1~4MPaの場合、あるいはユーザが1~4MPaだけで判断したい場合には、図13(A)に示す検査画像は、1~4MPaに対応するグラデーション幅が狭く、圧力変化率(片当たり度合)などが確認しにくくなっている。
【0145】
この場合、図14の左側に示す1~4MPaに対応するグラデーション幅を、図14の右側に示すように拡大することが好ましい。
【0146】
グラデーション幅を拡大する場合には、スマートフォン100のディスプレイ120に表示されたスライドバー122のつまみ122U,122Dを操作し、グラデーション範囲を拡大したい圧力範囲値(第2圧力範囲値)を設定する。
【0147】
スマートフォン100のディスプレイ制御部101A(図10)は、第2圧力範囲値をユーザ指定により受け付け、検査画像を生成する際に、検査画像のうちの第2圧力範囲値以内に対応する画像に対して濃淡を表すグラデーション幅を拡大させた検査画像を生成し、グラデーション幅を拡大させた検査画像をディスプレイ120に表示させる。
【0148】
これにより、圧力測定シートに加わる圧力の強弱に応じた発色のグラデーションのうち、所望の圧力範囲値内のグラデーションが強調され、ユーザによる合否判定を支援することができる。
【0149】
<圧力分布の3D表示>
図15は、撮影した検査画像を3D表示する場合のスマートフォンの画面遷移を示す図である。
【0150】
図15(A)は、検査画像をスマートフォン100のディスプレイ120に2D(D:Dimension)表示した状態に関して示している。2D表示された検査画像は、画像の濃淡により圧力の強弱(圧力分布)を表している。
【0151】
図15(A)に示すディスプレイ120には、「傾き表示」アイコンが表示されており、この「傾き表示」アイコンをタップすると、図15(B)に示すように検査画像を3D表示する画面に切り替わる。
【0152】
図15(B)は、検査画像をスマートフォン100のディスプレイ120に3D表示した状態に関して示している。
【0153】
3D表示される検査画像は、検査画像の濃度分布に対応する圧力値(第1圧力値)の大きさに応じた凹凸形状を有する3次元画像(3D画像)として構成されている。尚、3D画像の検査面に対応する各画素は、3D表示される検査画像の各画素と同じ濃度情報を有することが好ましい。
【0154】
この3D画像は、スマートフォン100のディスプレイ制御部101A(図10)等により生成してもよいし、サーバ200で生成されたものをスマートフォン100が受け取るようにしてもよい。
【0155】
スマートフォン100のディスプレイ制御部101Aは、3Dビューアとしての機能を有し、「傾き表示」アイコンがタップされると、検査画像をディスプレイ120に3D表示させる。そして、ディスプレイ制御部101Aは、ディスプレイ120のタッチ操作(例えば、画面タッチした指を任意の方向にスライドさせる操作)による3D画像の回転指示を受け付けると、受け付けた回転指示に基づいて3D画像をディスプレイ120上で回転移動させる表示制御を行う。
【0156】
このようにして検査画像を3D表示することで、ユーザは、圧力分布の傾き等を直感的に確認することができる。
【0157】
また、限度見本の第2圧力値を示す3D画像を生成し、スマートフォン100のディスプレイ120において、検査画像の第1圧力値を示す3D画像と限見本の第2圧力値を示す3D画像とを比較可能に表示するようにしてもよい。
【0158】
<検査画像と限度見本との重ね合わせ表示>
図16は、撮影した検査画像と限度見本とを重ね合わせ表示する場合のスマートフォンの画面遷移を示す図である。
【0159】
図16(A)は、撮影した検査画像をスマートフォン100のディスプレイ120に表示した状態に関して示している。ディスプレイ120に表示された検査画像は、画像の濃淡により圧力の強弱(圧力分布)を表している。
【0160】
図16(B)は、合成される検査画像と限度見本の画像とを示す。
【0161】
限度見本の画像は、測定対象物の検査面に上で2次元状に分布すべき第2圧力値を有す限度見本であって、第2圧力値に応じた濃淡を有する画像である。この限度見本に合成される検査画像は、限度見本の画像の表示色とは異なる表示色を有することが好ましい。
【0162】
また、検査画像は、検査画像の濃淡(即ち、第1圧力値)に応じた透過度を有することが好ましい。透過度は、検査画像の各画素の明るさ(濃淡)を元に設定し、淡い色の領域ほど透過度を高く透明に設定し、濃い色の領域ほど透過度が低く不透明になるように設定することができる。
【0163】
サーバ200の検査画像処理部226(図12)は、入力する検査画像10から、限度見本の画像の表示色とは異なる表示色を有し、かつ第1圧力値に応じた透過度を有する透過画像を生成し、生成した透過画像を限度見本の画像に重畳させた重畳画像を生成する。
【0164】
透過画像と限度見本の画像とを重ね合わせ場合、透過画像の複数の特徴点と、限度見本の画像の複数の特徴点とを抽出し、互いに対応する複数の特徴点を求め、互いに対応する複数の特徴点が一致するように透過画像を射影変換して重ね合わせることが好ましい。また、検査画像と限度見本の画像のサイズ及び形状が正規化されている場合には、透過画像が限度見本の画像と最も一致するように、透過画像を平行移動及び回転させて重ね合わせるようにしてもよい。
【0165】
サーバ200の検査画像処理部は、上記のようにして生成した重畳画像を評価情報として、出力部210Bを介してスマートフォン100に送信する。
【0166】
図16(C)は、サーバ200から送信された重畳画像をスマートフォン100のディスプレイ120に表示した状態に関して示している。
【0167】
検査者は、図16(A)に示す検査画像に加えて、図16(C)に示す検査画像と限度見本の画像との重畳画像を参考にして、測定対象物に対する最終判定である合否を判定し、合格の場合には「OK」アイコンをタップし、不合格の場合には「NG」アイコンをタップする。
【0168】
ユーザ指示による測定対象物ごとの検査の合否判定結果は、サーバ200に送信され、サーバ200における画像データベース230おいて、検査画像の付帯情報として保存される。
【0169】
[第3実施形態]
図17は、本発明に係る面圧解析装置の第3実施形態を示すブロック図である。尚、図12において、図11に示した第1実施形態の面圧解析装置と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【0170】
図17に示す第3実施形態の面圧解析装置は、主として学習済みモデル228が追加されている点で、第1実施形態の面圧解析装置と相違する。
【0171】
画像取得部210Aにより取得された検査画像10は、学習済みモデル228に入力される。
【0172】
学習済みモデル228は、画像データベース230(図10)に蓄積された検査画像とその検査画像の付帯情報の一つである合否判定結果(正解データ)とをペアとするデータセットを学習データとして使用し、学習モデルを機械学習させもので、入力する検査画像に対して合否判定する。
【0173】
尚、学習モデルとしては、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network))で構成されるCNNモデルが考えられ、代表的な学習モデルであるVGG16、Alex Netなども適用することができる。
【0174】
学習済みモデル228により判定された合否判定結果は、出力部210Bを介してスマートフォン100に送信される。
【0175】
図18は、検査画像表示から検査結果表示へのスマートフォンの他の画面遷移を示す図である。
【0176】
図18(A)に示すスマートフォン100のディスプレイ120には、図8(A)と同様に検査画像が表示されている。
【0177】
サーバ200は、スマートフォン100から送信された検査画像を、学習済みモデル228(図17)の入力画像とし、学習済みモデル228により判定した合否判定結果等をスマートフォン100に返信する。
【0178】
図18(B)に示すスマートフォン100のディスプレイ120には、検査画像に対してサーバ200で判定された一次判定結果が表示されている。図18(B)に示す例では、一次判定結果として「OK!」、「合格」が表示されている。
【0179】
尚、学習済みモデル228は、入力する検査画像に対して、「合格」、「不合格」の2つに分類する分類結果(合否分類の判定確率)を求めることができるため、サーバ200は、この判定確率をスマートフォン100に送信し、スマートフォン100のディスプレイ120に測定対象物に対する合格の「確からしさ」を表示させるようにしてもよい。
【0180】
尚、図10、及び第1実施形態から第3実施形態では、サーバ200と通信するユーザ端末をスマートフォン100としているが、これに限らず、図1に示したようにスキャナ150が接続されたPC160、圧力センサシート170Aを含む面圧分布測定器170が接続されたPC180等をユーザ端末とするものでよい。
【0181】
[検査結果集計レポートの発行]
サーバ200は、スマートフォン100、PC160、PC180等のユーザ端末に対して検査結果集計レポートを発行(送信)することができる。即ち、ユーザ端末は、サーバ200にアクセスし、画像データベース230等から検査結果集計レポートをダウンロードし、プリンタやディスプレイに出力することができる。
【0182】
図19は、検査結果集計レポートの一例を示す図である。図19に示す検査結果集計レポートには、検査日、部品番号、検査方法、合否の結果、検査者名、承認者名、資料番号等の項目がある。
【0183】
また、サーバ200は、検査履歴の期間における得率(合格の比率等)や日毎の得率推移などの統計情報レポートも出力可能である。また、レポート出力はテキスト形式などのデータ出力でも良い。
【0184】
尚、上記の各実施形態では、ユーザ端末として、本システムに対応するアプリケーションソフトがインストールされたスマートフォン100を使用する場合について説明したが、これに限らず、本発明は、図1に示した本システムに対応するアプリケーションソフトがインストールされたPC160、PC180等の他のユーザ端末を使用できることは言うまでもない。
【0185】
[面圧解析方法]
図20は、本発明に係る面圧解析方法の実施形態を示すフローチャートである。尚、図20に示す各ステップの処理は、例えば、図10に示した面圧解析装置のスマートフォン100、及びサーバ200のCPU220等を含むプロセッサにより行われる。
【0186】
図20において、ユーザは、スマートフォン100を使用し、スマートフォン100のカメラ141で圧力測定シートを撮影する(ステップS10)。尚、撮影される圧力測定シートは、測定対象物の検査面に印加される面圧に応じた濃度分布で発色しているものである。
【0187】
カメラ141で撮影した検査画像10の送信指示を、ユーザ操作により受け付けると、スマートフォン100は、検査画像10をサーバ200に送信する(ステップS12)。
【0188】
サーバ200のプロセッサは、スマートフォン100から送信された検査画像10を、その検査画像10の濃淡に対応する圧力値(2次元上に分布する第1圧力値)に変換する処理を行う(ステップS14)。
【0189】
続いて、プロセッサは、第1圧力値と予め設定された基準情報(例えば、限度見本)とに基づいて、測定対象物の検査面に印加される面圧に対する評価情報を生成する処理を行う(ステップS16)。評価情報は、検査画像10から変換した第1圧力値と限度見本の第2圧力値との一致度を示す情報とすることができる。また、ユーザが、予め設定した許容範囲値での一致度を検査したい場合、検査画像10から把握される検査面上での第1圧力値が許容範囲値以内となる第1領域と、限度見本上で分布する第2圧力値が許容範囲値以内となる第2領域との面積の一致度、及び/又は形状の一致度を、評価情報とすることができる。
【0190】
プロセッサは、生成した評価情報をスマートフォン100に送信する(ステップS18)。これにより、スマートフォン100のディスプレイ120には評価情報が表示される(ステップS20)。
【0191】
検査者は、ディスプレイ120に表示された評価情報(一次判定結果)を参考にして、測定対象物の最終判定である合否判定をおこなうことができる。この合否判定結果は、スマートフォン100からサーバ200に送信され、画像データベース230で検査画像10の付帯情報として管理される。
【0192】
このように、検査者は、サーバ200から提供される一次判定結果を参考にして、測定対象物の合否判定を行うため、精度の高い測定対象物の合否判定が可能であり、また、複数の検査者により測定対象物の合否判定を行う場合に、判定結果の平準化を図ることができる。
【0193】
[その他]
図1及び図10に示した面圧解析装置は、ユーザ端末とサーバとからなる面圧解析システムとして構成されているが、これに限らず、サーバ単体、あるいはユーザ端末単体(スタンドアローン)で構成されたものでもよい。この場合、ユーザ端末は、面圧解析プログラムがインストールされることで、サーバにて処理されていた各種の処理機能を具備する必要がある。
【0194】
また、本発明に係る面圧解析装置を実現するハードウエアは、各種のプロセッサ(processor)で構成できる。各種プロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device;PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。面圧解析装置を構成する1つの処理部は、上記各種プロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサで構成されてもよい。例えば、1つの処理部は、複数のFPGA、あるいは、CPUとFPGAの組み合わせによって構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip;SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウエア的な構造として、上記各種プロセッサを1つ以上用いて構成される。更に、これらの各種のプロセッサのハードウエア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
【0195】
また、本発明は、コンピュータにインストールされることにより、コンピュータを本発明に係る面圧解析装置として機能させる面圧解析プログラム、及びこの面圧解プログラムが記録された記憶媒体を含む。
【0196】
更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【0197】
1 圧力測定シート
2、2-1、2-2 キャリブレーションシート
2A~2D 濃度チャート
2E 枠
4 ネットワーク
10 検査画像
10-1、10-2 画像
100 スマートフォン
101 主制御部
101A ディスプレイ制御部
101B 画像取得部
101C 通信制御部
110 無線通信部
120 ディスプレイ
122 スライドバー
140 操作部
141 カメラ
150 スキャナ
160、180 PC
170 面圧分布測定器
170A 圧力センサシート
200 サーバ
210 通信部
210A 画像取得部
210B 出力部
220 CPU
222 変換部
224 評価情報生成処理部
226 検査画像処理部
228 学習済みモデル
230 画像データベース
240 メモリ
S10~S20 ステップ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20