(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023042632
(43)【公開日】2023-03-28
(54)【発明の名称】材料試験機の監視装置、及び監視システム
(51)【国際特許分類】
G01N 3/06 20060101AFI20230320BHJP
【FI】
G01N3/06
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2021149854
(22)【出願日】2021-09-15
(71)【出願人】
【識別番号】000001993
【氏名又は名称】株式会社島津製作所
(74)【代理人】
【識別番号】110001081
【氏名又は名称】弁理士法人クシブチ国際特許事務所
(72)【発明者】
【氏名】牧 翔太
(72)【発明者】
【氏名】西村 泰紀
【テーマコード(参考)】
2G061
【Fターム(参考)】
2G061AB05
2G061BA15
2G061DA10
2G061DA12
2G061EB07
(57)【要約】
【課題】材料試験機の状態を監視するためのユーザの負担を軽減する。
【解決手段】疲労試験機1の第2サーバ装置6は、試験機本体10を制御する制御装置20の表示パネル21を撮影したパネル画像P3を、カメラ33A、33Bから取得する第2取得部612と、パネル画像P3に含まれ、表示パネル21に表示されるサイクル数表示部301の撮影画像である試験値画像から、前記試験値画像が示すサイクル数NCの値を生成する生成部613と、生成したサイクル数NCの値を、パネル画像P3に対応付けて第2画像記憶部623に記憶させるデータ処理部616と、生成したサイクル数NCの値を、パネル画像P3に対応付けて表示部65に表示する表示制御部617と、を備える。
【選択図】
図4
【特許請求の範囲】
【請求項1】
材料試験機本体を制御する制御装置の表示パネルを撮影した第1撮影画像を、第1カメラから取得する取得部と、
前記第1撮影画像に含まれ、前記表示パネルに表示される試験値の撮影画像である試験値画像から、前記試験値画像が示す試験値を生成する生成部と、
前記試験値を、前記第1撮影画像に対応付けて記憶部に記憶させるデータ処理部と、
前記試験値を、前記第1撮影画像に対応付けてディスプレイに表示する表示制御部と、
を備える、材料試験機の監視装置。
【請求項2】
前記第1撮影画像に基づき、前記材料試験機の状態を判定する第1判定部を備え、
前記データ処理部は、前記第1判定部の判定結果を、前記第1撮影画像に対応付けて記憶部に記憶させ、
前記表示制御部は、前記第1判定部の判定結果を、前記第1撮影画像に対応付けて前記ディスプレイに表示する、
請求項1に記載の材料試験機の監視装置。
【請求項3】
前記表示パネルは、複数の表示ランプを含み、
前記第1判定部は、前記複数の表示ランプの点灯態様の組み合わせに基づき、前記材料試験機の状態を判定する、
請求項2に記載の材料試験機の監視装置。
【請求項4】
前記第1撮影画像は、前記複数の表示ランプに対応するランプ撮影画像を含み、
前記複数の表示ランプの種々の点灯態様の前記ランプ撮影画像と、前記材料試験機の状態と、の関係を機械学習により学習させた状態認識モデルを備え、
前記第1判定部は、前記ランプ撮影画像を、前記状態認識モデルに入力することによって、前記材料試験機本体の状態を判定する、
請求項3に記載の材料試験機の監視装置。
【請求項5】
前記表示パネルは、特定の記号と前記試験値とを表示する表示器を含み、
前記生成部は、
前記第1撮影画像に含まれる前記記号のサイズに基づいて、前記試験値画像に含まれる前記試験値の文字サイズを推定し、
前記推定した文字サイズを用いた画像認識処理によって、前記試験値画像が示す前記試験値を生成する、
請求項1から請求項3のいずれか1項に記載の材料試験機の監視装置。
【請求項6】
前記取得部は、前記材料試験機を撮影した第2撮影画像を、第2カメラから取得し、
前記データ処理部は、前記第2撮影画像を、前記第1撮影画像に対応付けて記憶部に記憶させ、
前記表示制御部は、前記第2撮影画像を、前記試験値及び前記第1撮影画像に対応付けて前記ディスプレイに表示する、
請求項4に記載の材料試験機の監視装置。
【請求項7】
特定イベントが発生したか否かを判定する第2判定部を備え、
前記特定イベントが発生したと前記第2判定部が判定した場合に、前記取得部は、
前記特定イベントが発生した時点の前の第1期間における前記試験値、前記第1撮影画像、及び前記第2撮影画像を前記記憶部に記憶させ、
前記特定イベントが発生した時点の後の第2期間における前記試験値、前記第1撮影画像、及び前記第2撮影画像を前記記憶部に記憶させる、
請求項6に記載の材料試験機の監視装置。
【請求項8】
前記特定イベントは、前記材料試験機本体におけるアラームの発生時、前記制御装置におけるアラームの発生時、前記材料試験機本体における材料試験の終了時、及び前記試験値が特定値である場合、の少なくとも1つを含む、
請求項7に記載の材料試験機の監視装置。
【請求項9】
端末装置と通信可能に構成され、
前記特定イベントが発生したと前記第2判定部が判定した場合に、前記端末装置に対して、前記特定イベントが発生したことを示す電子メールを送信する通知部を備える、
請求項7又は請求項8に記載の材料試験機の監視装置。
【請求項10】
前記通知部は、前記端末装置からの要求に応じて、前記記憶部に記憶された前記試験値、前記第1撮影画像、及び前記第2撮影画像の少なくとも1つを、前記端末装置に送信する、
請求項9に記載の材料試験機の監視装置。
【請求項11】
前記第1カメラ及び前記第2カメラとの間の帯域上限値と、前記第1撮影画像のサイズである第1サイズと、及び前記第2撮影画像のサイズである第2サイズと、に基づき、前記第1カメラ及び前記第2カメラのフレームレートを決定する決定部を備える、
請求項6に記載の材料試験機の監視装置。
【請求項12】
前記第1撮影画像の前記第1サイズは、前記第2撮影画像の前記第2サイズよりも大きく、前記第1撮影画像は、前記状態認識モデルでの前記材料試験機の状態の判定に適した解像度に設定される、
請求項11に記載の材料試験機の監視装置。
【請求項13】
前記第1カメラの台数が第1台数であり、前記第2カメラの台数が第2台数である場合に、前記決定部は、前記帯域上限値と、前記第1サイズ及び前記第2サイズと、前記第1台数及び前記第2台数とに基づき、前記第1カメラ及び前記第2カメラのフレームレートを決定する、
請求項11又は請求項12に記載の材料試験機の監視装置。
【請求項14】
材料試験機を制御する制御装置の表示パネルを撮影して撮影画像を生成するカメラと、
前記カメラと通信可能に接続された監視装置と、
を備える監視システムであって、
前記監視装置は、
前記カメラから前記撮影画像を取得する取得部と、
前記表示パネルに表示される試験値画像から、前記試験値画像が示す試験値を生成する生成部と、
前記試験値を、前記撮影画像に対応付けて記憶部に記憶させるデータ処理部と、
前記試験値を、前記撮影画像に対応付けてディスプレイに表示する表示制御部と、
を備える、監視システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、材料試験機の監視装置、及び監視システムに関する。
【背景技術】
【0002】
従来、材料試験機の動作状態や試験データをコンピュータによって管理する技術が提案されている。例えば、特許文献1は、試験デバイスと通信を行うことによって、試験デバイスのステータスに関するデータや試験データを取得する遠隔プラットフォームを開示している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に開示された構成では、材料試験機のデータ通信機能が必要である。つまり、通信機能を持たない材料試験機を遠隔で監視することはできなかった。このような材料試験機の動作状態や試験データを確認するためには、ユーザが材料試験機の設置場所に出向く必要があった。
【0005】
本発明は、このような事情に鑑みなされたものであり、材料試験機の状態を監視するためのユーザの負担を軽減することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第1態様に係る材料試験機の監視装置は、材料試験機本体を制御する制御装置の表示パネルを撮影した第1撮影画像を、第1カメラから取得する取得部と、前記第1撮影画像に含まれ、前記表示パネルに表示される試験値の撮影画像である試験値画像から、前記試験値画像が示す試験値を生成する生成部と、前記試験値を、前記第1撮影画像に対応付けて記憶部に記憶させるデータ処理部と、前記試験値を、前記第1撮影画像に対応付けてディスプレイに表示する表示制御部と、備える。
【0007】
本発明の第2態様に係る監視システムは、材料試験機を制御する制御装置の表示パネルを撮影して撮影画像を生成するカメラと、前記カメラと通信可能に接続された監視装置と、を備える監視システムであって、前記監視装置は、前記カメラから前記撮影画像を取得する取得部と、前記表示パネルに表示される試験値画像から、前記試験値画像が示す試験値を生成する生成部と、前記試験値を、前記撮影画像に対応付けて記憶部に記憶させるデータ処理部と、前記試験値を、前記撮影画像に対応付けてディスプレイに表示する表示制御部と、を備える。
【発明の効果】
【0008】
本発明の第1態様に係る材料試験機の監視装置、及び第2態様に係る監視システムによれば、表示パネルに表示される試験値の撮影画像である試験値画像が示す試験値を、制御装置の表示パネルを撮影した撮影画像に対応付けてディスプレイに表示する。このため、材料試験機を監視するユーザが、材料試験機の設置場所に出向く必要性を低減し、材料試験機を監視する負担を軽減できる。
【図面の簡単な説明】
【0009】
【
図1】本実施形態に係る疲労試験機の監視システムの構成の一例を示す図である。
【
図3】制御装置の表示パネルの構成の一例を示す図である。
【
図4】第1サーバ装置、及び第2サーバ装置の構成の一例を示す図である。
【
図5】第2サーバ装置のデータ処理部の処理の一例を示す図である。
【
図6】第2サーバ装置の表示部に表示される第1画面の一例を示す図である。
【
図7】第2サーバ装置の表示部に表示される第2画面の一例を示す図である。
【
図8】第2サーバ装置の処理の一例を示すフローチャートである。
【
図9】第2サーバ装置のフレームレート決定処理の一例を示すフローチャートである。
【
図10】第2サーバ装置の画像抽出処理の一例を示すフローチャートである。
【
図11】第2サーバ装置の油圧源状態判定処理の一例を示すフローチャートである。
【
図12】第2サーバ装置の試験状態判定処理の一例を示すフローチャートである。
【
図13】第2サーバ装置の数値データ生成処理の一例を示すフローチャートである。
【
図14】第2サーバ装置の第1画面処理の一例を示すフローチャートである。
【
図15】第2サーバ装置の第2画面処理の一例を示すフローチャートである。
【
図16】第2サーバ装置のイベント処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0010】
[1.監視システムの構成]
図1は、本実施形態に係る監視システム100の構成の一例を示す図である。
監視システム100は、疲労試験機1を監視対象とするシステムである。
図1では、監視システム100が2台の第1疲労試験機1A、及び第2疲労試験機1Bを監視対象とする構成を例示する。
本実施形態では、監視システム100が第1疲労試験機1A、及び第2疲労試験機1Bを監視する場合について説明するが、監視対象の疲労試験機1の台数は2台に限定されない。監視システム100が1台の疲労試験機1を監視する構成でもよいし、疲労試験機1が3台以上の疲労試験機1を監視する構成でもよい。
監視システム100は、「監視システム」の一例に対応する。
疲労試験機1は、「材料試験機」の一例に対応する。
【0011】
疲労試験機1は、試験機本体10、及び制御装置20を備える。疲労試験機1は、試験機本体10を制御装置20によって制御することによって、試験片SPの疲労試験を行う。例えば、疲労試験機1は、試験片SPに引張応力を繰り返し印加する。引張応力、及び繰り返し回数は、予め設定される。繰り返し回数は、例えば、102回~108回である。
【0012】
疲労試験機1は、第1疲労試験機1A、及び第2疲労試験機1Bを備える。第1疲労試験機1A、及び第2疲労試験機1Bは、互いに略同一の構成を有する。第1疲労試験機1Aは、試験機本体10A及び制御装置20Aを備える。第2疲労試験機1Bは、試験機本体10B及び制御装置20Bを備える。
以下の説明では、第1疲労試験機1Aと第2疲労試験機1Bとを区別しない場合には、疲労試験機1と記載する場合がある。また、試験機本体10Aと試験機本体10Bとを区別しない場合には、試験機本体10と記載する場合がある。また、制御装置20Aと制御装置20Bとを区別しない場合には、制御装置20と記載する場合がある。
試験機本体10は、「材料試験機本体」の一例に対応する。
【0013】
監視システム100は、カメラ3、第1サーバ装置5、及び第2サーバ装置6を備える。
図1では、監視システム100は、第1疲労試験機1Aを撮影するカメラ31A、カメラ32A、及びカメラ33Aと、第2疲労試験機1Bを撮影するカメラ31B、カメラ32B、及びカメラ33Bと、を備える。カメラ31A、及びカメラ32Aは試験機本体10Aを撮影し、カメラ33Aは制御装置20Aを撮影する。カメラ31B、及びカメラ32Bは試験機本体10Bを撮影し、カメラ33Bは制御装置20Bを撮影する。
カメラ31A、及びカメラ31Bは、「第2カメラ」の一例に対応する。
カメラ32A、及びカメラ32Bは、「第2カメラ」の一例に対応する。
カメラ33A、及びカメラ33Bは、「第1カメラ」の一例に対応する。
【0014】
本実施形態では、監視システム100が、監視対象の1台の疲労試験機1につき、3台のカメラ3を備える場合について説明するが、これに限定されない。監視システム100が、監視対象の1台の疲労試験機1につき、少なくとも1台のカメラ3を備えればよい。例えば、監視システム100が、監視対象の1台の疲労試験機1につき、1台又は2台のカメラ3が配置されてもよい。また、例えば、監視システム100が、監視対象の1台の疲労試験機1につき、4台以上のカメラ3が配置されてもよい。
【0015】
カメラ31A、32A、33A、及びカメラ31B、32B、33Bの各々は、所定の撮影範囲を撮影するデジタルカメラである。カメラ31A、32A、33A、及びカメラ31B、32B、33Bの各々は、静止画像を撮影するデジタルスチルカメラであってもよいし、動画像を撮影するデジタルビデオカメラであってもよい。カメラ31A、32A、33A、及びカメラ31B、32B、33Bの各々は、互いに略同一の構成であってもよい。本実施形態では、カメラ31A、32A、33A、及びカメラ31B、32B、33Bの各々を区別しない場合には、カメラ3と記載する場合がある。
【0016】
カメラ3は、通信機能を有し、ネットワークNW1を介したデータ通信を実行する。カメラ3は、疲労試験機1を撮影した場合に、ネットワークNW1を介して第1サーバ装置5に撮影画像データを送信する。
【0017】
本実施形態では、カメラ3が通信機能を有する場合について説明するが、これに限定されない。カメラ3が通信機能を有しない構成であってもよい。この場合には、カメラ3は、不図示のコンピュータに接続される。カメラ3に接続されるコンピュータは、ネットワークNW1を介してデータ通信を実行可能な通信機能、及び、カメラ3を制御する機能を有するコンピュータである。コンピュータは、例えば、パーソナルコンピュータ、タブレット型コンピュータ、スマートフォンである。この場合には、カメラ3は、コンピュータの制御に従って撮影を実行し、このコンピュータがカメラ3の撮影画像データを第1サーバ装置5に送信する。
【0018】
ネットワークNW1は、ネットワークNW2を介して、カメラ3と、第1サーバ装置5、及び第2サーバ装置6とを通信可能に接続する。カメラ3は、ネットワークNW1に接続され、ネットワークNW1は、ネットワークNW2と、不図示のルータやゲートウェイ、或いは他の通信ネットワークを介して接続される。
ネットワークNW1は、ネットワークNW2に接続される。第1サーバ装置5、及び第2サーバ装置6の各々は、ネットワークNW2に接続される。
ネットワークNW1は、例えば、LAN(Local Area Network)である。ネットワークNW1は、例えば、Ethernet(登録商標)規格のケーブル、不図示のルータ、ゲートウェイ等を含む。なお、ネットワークNW1は、Wi-Fi(登録商標)等の無線通信回線でもよい。
【0019】
ネットワークNW2は、ネットワークNW1を介して、カメラ3と、第1サーバ装置5、及び第2サーバ装置6とを通信可能に接続する。
ネットワークNW2は、例えば、インターネット等のグローバルネットワークである。なお、ネットワークNW2は、WAN(Wide Area Network)でもよい。
【0020】
第1サーバ装置5は、通信機能を有するコンピュータである。第1サーバ装置5は、カメラ3及び第2サーバ装置6との各々とデータ通信を実行する。第1サーバ装置5は、いわゆる、データベースサーバである。第1サーバ装置5は、第1画像記憶部522を備える。第1画像記憶部522は、HDD(Hard Disk Drive)やSSD(Solid State Drive)等で構成され、データを不揮発的に記憶する。第1画像記憶部522は、カメラ3が撮像した撮影画像Pを記憶する。
【0021】
第2サーバ装置6は、通信機能を有するサーバコンピュータであり、第1サーバ装置5とデータ通信を実行する。第2サーバ装置6は、複数のサーバコンピュータによって構成されてもよく、例えば、クラウドサーバであってもよい。第2サーバ装置6は、いわゆる、「アプリケーションサーバ」である。
第2サーバ装置6は、第2画像記憶部623を備える。第2画像記憶部623は、HDDやSSD等で構成され、データを不揮発的に記憶する。第2サーバ装置6は、第1サーバ装置5からデータを受信し、受信したデータを第2画像記憶部623に記憶させる。
第2サーバ装置6は、「監視装置」の一例に対応する。
第2サーバ装置6は、例えば、監視室に配置される。監視室では、例えば、第2サーバ装置6において、
図4に示す表示部65に表示される画面を監視することによって、ユーザが、第1疲労試験機1A、及び第2疲労試験機1Bを監視する。
【0022】
第2サーバ装置6は、端末装置7と通信を実行可能である。端末装置7は、監視システム100のユーザが使用する端末装置である。具体的には、端末装置7は通信機能を有するコンピュータであり、例えば、スマートフォンである。なお、端末装置7は、例えば、パーソナルコンピュータ、又はタブレット型コンピュータであってもよい。
端末装置7は、第2サーバ装置6とデータ通信を実行する。
【0023】
本実施形態では、端末装置7が1台である場合について説明するが、これに限定されない。端末装置7が2台以上であってもよい。
【0024】
[2.疲労試験機の構成]
図2は、疲労試験機1の構成の一例を示す図である。疲労試験機1は、試験機本体10と、制御装置20と、を備える。
試験機本体10は、制御装置20からの指示に従って、試験片SPの疲労試験を実行する。制御装置20は、試験機本体10の動作を制御する。
【0025】
図2に示すように、試験機本体10は、基台11上に、一対の支柱12a、12bと、ヨーク13と、によって負荷枠を形成し、支柱12a、12bに、クロスヘッド14を固定して構成される。
【0026】
基台11には、油圧アクチュエータ15が配置され、油圧アクチュエータ15のピストンロッド15aには、試験片SPの下端を固定する下部治具16aが取り付けられる。また、クロスヘッド14には、ロードセル17を介して、試験片SPの上端を固定する上部治具16bが取り付けられる。下部治具16a、及び上部治具16bの各々は、試験片SPを把持するチャック機構を備える。
ロードセル17は、試験片SPに作用する試験力を検出する。
【0027】
油圧アクチュエータ15は、サーボ弁18によって、圧油方向と圧油量とが制御されて、ピストンロッド15aが伸縮する。その結果、上部治具16bと下部治具16aとの間に固定された試験片SPに試験力が印加される。油圧アクチュエータ15のストローク、すなわち試験片SPの変位は、油圧アクチュエータ15に取り付けられた差動トランス19によって検出される。
【0028】
試験機本体10には、不図示の電力源及び油圧源が設けられる。電力源は、試験機本体10の各部に電力を供給する。電力源は、例えば各種モータに電力を供給し、駆動する。油圧源は、試験機本体10を構成する油圧装置に油圧を供給する。油圧源は、例えば、油圧アクチュエータ15に油圧を供給し、油圧アクチュエータ15を駆動する。すなわち、油圧アクチュエータ15は、油圧源から供給される油圧によって駆動され、ピストンロッド15aが伸縮される。油圧源は、例えば、油圧ポンプ及び油圧制御弁を備え、油圧ポンプを駆動することによって油圧を発生する。油圧制御弁は、油圧源から出力する油圧を調整する。油圧ポンプ及び油圧制御弁には、電力源から電力が供給される。
【0029】
制御装置20は、ロードセル17から出力される試験力信号FSを取得し、試験力信号FSをA/D変換して試験力情報を生成する。制御装置20は、差動トランス19から出力される変位信号DSを取得し、変位信号DSをA/D変換して変位情報を生成する。制御装置20は、試験力情報、及び変位情報に基づいて、指令情報を生成する。制御装置20は、指令情報をD/A変換することによって指令信号CSを生成し、生成した指令信号CSをサーボ弁18に出力する。
【0030】
サーボ弁18は、制御装置20から出力される指令信号CSに従って、油圧アクチュエータ15に対して、圧油方向と圧油量とを制御する。
【0031】
制御装置20は、ディスプレイ30を有する。ディスプレイ30は、LCD(Liquid Crystal Display)等によって構成される。制御装置20は、試験機本体10から取得した試験力情報、変位情報、及び試験機本体10に出力した指令情報を、ディスプレイ30に表示する。
【0032】
図2において、試験機本体10と制御装置20との間に、試験力信号FS、変位信号DS、及び指令信号CSの各々を増幅する増幅器を配置してもよい。
【0033】
カメラ31A、及びカメラ31Bの各々は、試験機本体10の撮影範囲PA1を撮影する。撮影範囲PA1は、試験機本体10のほぼ全体を含む。
カメラ32A、及びカメラ32Bの各々は、試験機本体10の撮影範囲PA2を撮影する。撮影範囲PA2は、試験機本体10に装着された試験片SPを含む。具体的には、撮影範囲PA2は、上部治具16b、下部治具16a、及び試験片SPを含む。
カメラ33A、及びカメラ33Bの各々は、制御装置20の撮影範囲PA3を撮影する。撮影範囲PA3は、制御装置20の筐体においてディスプレイ30が設けられた表示パネル21の全体を含む。
表示パネル21については、
図3を参照して更に説明する。
【0034】
本実施形態では、撮影範囲PA1、撮影範囲PA2、及び撮影範囲PA3の各々を、別々のカメラ3で撮影する場合について説明するが、これに限定されない。撮影範囲PA1、PA2、PA3のうちの複数を1台のカメラ3で撮影してもよい。例えば、撮影範囲PA1を撮影するカメラ3が、光学ズーム機能またはデジタルズーム機能によって、撮影範囲PA2の撮影画像を生成してもよい。
【0035】
本実施形態では、制御装置20は、ディスプレイ30、及び各種キーが配置された筐体を有する装置として説明するが、これに限定されない。制御装置20は、例えば、パーソナルコンピュータで構成されてもよい。この場合には、ディスプレイ30は、パーソナルコンピュータに接続されたディスプレイ、或いは、パーソナルコンピュータが備えるディスプレイである。
【0036】
[3.表示パネルの構成]
図3は、疲労試験機1を制御する制御装置20の表示パネル21の構成の一例を示す図である。表示パネル21は、制御装置20へのユーザの操作を受け付けると共に、疲労試験機1の動作又は状態を示す種々の情報を表示する。
図3に示すように、表示パネル21は、電源スイッチ210、ファンクションキー211、及びダイヤル212を備える。電源スイッチ210は、制御装置20の電源のオン操作及びオフ操作を受け付ける。ファンクションキー211は、制御装置20に特定の機能の実行を指示する操作を受け付ける。ダイヤル212は、設定値の変更等の操作を受け付ける。
また、表示パネル21は、設定キー213、テンキー214、及び非常停止スイッチ215を更に備える。設定キー213は、制御装置20の動作を設定する操作を受け付ける。テンキー214は、数値を入力する操作を受け付ける。非常停止スイッチ215は、疲労試験機1を非常停止する操作を受け付ける。
【0037】
また、表示パネル21は、ディスプレイ30、パワーユニット操作キー31、及び試験操作キー32を更に備える。パワーユニット操作キー31は、疲労試験機1の油圧源に対する操作を受け付ける。試験操作キー32は、疲労試験機1における材料試験の開始、及び停止を指示する操作を受け付ける。
ディスプレイ30は、例えば、LCD等で構成されるディスプレイと、ディスプレイの表示面に配置されたタッチセンサと、を備えたタッチパネルとして構成される。
【0038】
ディスプレイ30には、疲労試験機1が実行している疲労試験での試験力、ピストン変位、疲労試験終了までの残り時間等の種々の情報が表示される。
ディスプレイ30の表示画面は、サイクル数表示部301と、特定記号表示部302と、試験状態表示部303と、を含む。サイクル数表示部301は、疲労試験におけるサイクル数を表示する。特定記号表示部302は、予め定められた特定記号(例えば、アイコン)を表示する。
試験状態表示部303は、疲労試験機1において疲労試験が実行されているか否かを表示する。試験状態表示部303には、例えば、所定の背景色に重ねて「試験中」または「停止中」の文字が表示される。本実施形態では、試験の実行中には、緑色の背景に重ねて「試験中」の文字が試験状態表示部303に表示され、試験停止中には、赤色の背景に重ねて「停止中」の文字が試験状態表示部303に表示される。
【0039】
パワーユニット操作キー31は、起動ボタン311と、停止ボタン312と、マニフォールドボタン313と、加圧ボタン314とを有する。起動ボタン311は、油圧ポンプを起動する操作を受け付ける。停止ボタン312は、油圧ポンプを停止する操作を受け付ける。
マニフォールドボタン313は、配管バルブを開状態、及び閉状態にする操作を受け付ける。配管バルブは、油圧ポンプとロードバルブとの間の油圧配管に配置される。また、加圧ボタン314は、ロードバルブを開状態、及び閉状態にする操作を受け付ける。ロードバルブは、配管バルブとサーボ弁18との間の油圧配管に配置される。
すなわち、油圧ポンプを起動し、配管バルブ、及びロードバルブを開状態にすることによって油圧ポンプからサーボ弁18に油圧が供給される。
【0040】
起動ボタン311は、表示ランプ311aを有し、停止ボタン312は、表示ランプ312bを有し、マニフォールドボタン313は、表示ランプ313cを有し、加圧ボタン314は、表示ランプ314dを有する。
表示ランプ311a、表示ランプ312b、表示ランプ313c、及び表示ランプ314dの各々は、LED(Light Emitting Diode)等で構成される。表示ランプ311a、表示ランプ312b、表示ランプ313c、及び表示ランプ314dの各々は、複数のLEDを備え、2色以上の点灯色を選択的に点灯することのできるものであってもよい。
【0041】
油圧ポンプが起動している場合には、表示ランプ311aが点灯し、油圧ポンプが停止している場合には、表示ランプ311aが消灯する。
油圧ポンプが起動している場合には、表示ランプ312bが消灯し、油圧ポンプが停止している場合には、表示ランプ312bが点灯する。
配管バルブが開状態の場合には、表示ランプ313cが点灯し、配管バルブが閉状態の場合には、表示ランプ313cが消灯する。
ロードバルブが開状態の場合には、表示ランプ314dが点灯し、ロードバルブが閉状態の場合には、表示ランプ314dが消灯する。
【0042】
表示ランプ311a、表示ランプ312b、表示ランプ313c、及び表示ランプ314dは、点灯態様の組み合わせによって、疲労試験機1における油圧源状態ST1、すなわち、油圧源の動作の状態を表示する。
疲労試験機1における油圧源状態ST1は、
図4を参照して説明する第1判定部614によって判定される。
【0043】
試験操作キー32は、開始キー321と停止キー322とを有する。開始キー321は、表示ランプ321aを有し、停止キー322は、表示ランプ322bを有する。
表示ランプ321a、及び表示ランプ322bの各々は、LED等で構成される。表示ランプ321a、及び表示ランプ322bの各々は、複数のLEDを備え、2色以上の点灯色を選択的に点灯することのできるものであってもよい。
疲労試験機1は疲労試験を実行している場合には、表示ランプ321aが点灯し、疲労試験機1は疲労試験を実行していない場合には、表示ランプ321aが消灯する。
疲労試験機1は疲労試験を実行している場合には、表示ランプ322bが消灯し、疲労試験機1は疲労試験を実行していない場合には、表示ランプ322bが点灯する。
【0044】
表示ランプ321a及び表示ランプ322bは、それらの点灯態様の組み合わせによって疲労試験機1における疲労試験の試験状態ST2、すなわち、試験中であるか停止中であるかを表示する。
疲労試験機1における疲労試験の試験状態ST2は、
図4を参照して説明する第1判定部614によって判定される。
【0045】
また、ユーザが開始キー321を押下すると、疲労試験機1は疲労試験を開始し、ディスプレイ30の試験状態表示部303に「試験中」の文字が表示される。また、ユーザが停止キー322を押下すると、疲労試験機1は実行中の試験動作を停止し、ディスプレイ30の試験状態表示部303に「停止中」の文字が表示される。
【0046】
パワーユニット操作キー31が備える表示ランプ311a、312b、313c、314dは、表示パネル21に備えられた「複数の表示ランプ」の一例に対応する。
また、試験操作キー32が備える表示ランプ321a、321bは、表示パネル21に備えられた「複数の表示ランプ」の一例に対応する。
ディスプレイ30は、特定の記号と試験値とを表示する「表示器」の一例に対応する。
試験値は、例えば、サイクル数NC、試験力、及び変位を含む。
【0047】
また、ディスプレイ30は、矩形の表示器領域33に配置される。「表示器領域」とは、表示パネル21において表示器が配置される領域である。例えば、表示器領域33は、表示パネル21においてディスプレイ30が配置される領域である。
図3において、表示器領域33の左上隅には、マーカ331が配置される。表示器領域33の右上隅には、マーカ332が配置される。表示器領域33の右下隅には、マーカ333が配置される。表示器領域33の左下隅には、マーカ334が配置される。
また、パワーユニット操作キー31は、矩形の表示器領域34に配置される。表示器領域34は、表示パネル21においてパワーユニット操作キー31が配置される領域である。
図3において、表示器領域34の右上隅には、マーカ341が配置される。また、表示器領域34の左下隅には、マーカ342が配置される。
また、試験操作キー32は、矩形の表示器領域35に配置される。表示器領域35は、表示パネル21において試験操作キー32が配置される領域である。
図3において、表示器領域35の右上隅には、マーカ351が配置される。また、表示器領域35の左下隅には、マーカ352が配置される。
【0048】
マーカ331~334、マーカ341、342、及びマーカ351、352の各々は、例えば、表示パネル21に予め貼付されるラベルである。なお、マーカ331~334、マーカ341,342、及びマーカ351、352の各々は、表示パネル21に予め印刷されてもよい。
また、マーカ331~334、マーカ341,342、及びマーカ351、352の各々には、対応するそれぞれの表示器領域(表示器領域33、表示器領域34、及び表示器領域35)の識別コードを示すバーコードが印刷されている。また、バーコードは、そのバーコードが印刷されたマーカが、対応する表示器領域のどの位置に配置されるかを示す情報、例えば、その表示器領域の「左上」、「右上」、「右下」、又は「左下」等の情報を含む。
【0049】
例えば、マーカ331~334に印刷されたバーコードの各々は、表示器領域33の識別コードと、表示器領域33におけるそれぞれの位置を示す情報とを含む。例えば、マーカ331に印刷されたバーコードは、表示器領域33の識別コードと、表示器領域33における「左上」を示す情報とを含む。また、例えば、マーカ332に印刷されたバーコードは、表示器領域33の識別コードと、表示器領域33における「右上」を示す情報とを含む。
【0050】
また、マーカ341、342に印刷されたバーコードの各々は、表示器領域34の識別コードと、表示器領域34におけるそれぞれの位置を示す情報とを含む。
例えば、マーカ341に付されたバーコードは、表示器領域34の識別コードと、表示器領域34における「右上」を示す情報とを含む。また、例えば、マーカ342に付されたバーコードは、表示器領域34の識別コードと、表示器領域34における「左下」を示す情報とを含む。
同様に、マーカ351、352に印刷されたバーコードの各々は、表示器領域35の識別コードと、表示器領域34におけるそれぞれの位置を示す情報とを含む。
【0051】
[4.第1サーバ装置の構成]
図4は、第1サーバ装置5、及び第2サーバ装置6の構成の一例を示す図である。
第1サーバ装置5は、ネットワークNW1、及びネットワークNW2を介して、カメラ31A、32A、33A、及びカメラ31B、32B、33Bと通信可能に接続される。第1サーバ装置5は、カメラ31A、32A、33A、及びカメラ31B、32B、33Bの各々が撮影した撮影画像Pを取得する。
第1サーバ装置5は、第1プロセッサ51、第1メモリ52、及び、第1通信インターフェース56を備える。
【0052】
第1サーバ装置5は、パーソナルコンピュータ、或いは、サーバコンピュータで構成される。第1サーバ装置5は、ICチップやLSIなどの集積回路といった1つ又は複数の適宜の回路によって構成されてもよい。また、第1サーバ装置5は、例えば、タブレット端末、又はスマートフォン等で構成されてもよい。
【0053】
第1プロセッサ51は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)等で構成される。第1メモリ52は、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD、SSD等で構成される。第1メモリ52は、第1制御プログラム521を記憶する。
【0054】
第1通信インターフェース56は、ネットワークNW2に接続され、ネットワークNW2及びネットワークNW1を介して、カメラ3と通信を実行する。第1通信インターフェース56は、例えば、通信ケーブルを接続可能なコネクタ、及び、通信回路を備える。第1通信インターフェース56は、無線通信インターフェースを備え、無線通信を実行する構成であってもよい。
【0055】
第1サーバ装置5は、第1取得部511、及び、第1画像記憶部522を備える。
具体的には、第1サーバ装置5の第1プロセッサ51が、第1メモリ52に記憶された第1制御プログラム521を実行することによって、第1取得部511として機能する。また、第1プロセッサ51が第1制御プログラム521を実行することによって、第1メモリ52を、第1画像記憶部522として機能させる。
【0056】
第1画像記憶部522は、第1取得部511が取得した撮影画像Pを記憶する。撮影画像Pは、第1取得部511によって、第1画像記憶部522に記憶される。
【0057】
第1取得部511は、カメラ3が撮影画像Pを生成する度に、カメラ3から撮影画像Pを取得する。例えば、取得部512は、第1通信インターフェース56によってカメラ3と通信を実行し、カメラ3が出力する撮影画像データを取得する。
第1取得部511は、カメラ3から取得した撮影画像Pを、第1画像記憶部522に記憶させる。
【0058】
なお、疲労試験機1の各々には試験機IDが付与されている。試験機IDは、各々の疲労試験機1を識別可能な情報である。また、カメラ3の各々にはカメラIDが付与されている。カメラIDは、各々のカメラ3を識別可能な情報である。取得部512は、カメラ3から、カメラ3のカメラID、及び、カメラ3が撮影した疲労試験機1の試験機IDを、撮影画像Pとともに取得する。また、取得部512は、カメラID及び試験機IDを撮影画像Pに対応付けて第1画像記憶部522に記憶させる。
【0059】
撮影画像Pは、試験機本体画像P1、試験片画像P2、及びパネル画像P3を含む。
試験機本体画像P1は、
図2に示す撮影範囲PA1に対応する。換言すれば、試験機本体画像P1は、
図2に示す撮影範囲PA1が、カメラ31A、及びカメラ31Bの各々によって撮影されて生成される。
試験片画像P2は、
図2に示す撮影範囲PA2に対応する。換言すれば、試験片画像P2は、
図2に示す撮影範囲PA2が、カメラ32A、及びカメラ32Bの各々によって撮影されて生成される。
パネル画像P3は、
図2に示す撮影範囲PA3に対応する。換言すれば、パネル画像P3は、カメラ33A、及びカメラ33Bの各々によって撮影されて生成される。
試験機本体画像P1、試験片画像P2、及びパネル画像P3については、
図6、及び
図7を参照して更に説明する。
試験機本体画像P1、及び試験片画像P2は、「第2撮影画像」の一例に対応する。
パネル画像P3は、「第1撮影画像」の一例に対応する。
【0060】
[5.第2サーバ装置の構成]
第2サーバ装置6は、ネットワークNW1、及びネットワークNW2を介して、カメラ31A、32A、33A、及びカメラ31B、32B、33Bと通信可能に接続される。また、第2サーバ装置6は、ネットワークNW2を介して、第1サーバ装置5、及び端末装置7と通信可能に接続される。
第2サーバ装置6は、カメラ31A、32A、33A、及びカメラ31B、32B、33Bの各々に対して、フレームレートFPを設定する。また、第2サーバ装置6は、第1サーバ装置5からカメラ3の撮影画像Pを取得する。また、第2サーバ装置6は、端末装置7に対して電子メールを送信する。
第2サーバ装置6は、第2プロセッサ61、第2メモリ62、入力部64、表示部65、及び、第2通信インターフェース66を備える。
【0061】
第2サーバ装置6は、パーソナルコンピュータ、或いは、サーバコンピュータで構成される。第2サーバ装置6は、ICチップやLSIなどの集積回路といった1つ又は複数の適宜の回路によって構成されてもよい。また、第2サーバ装置6は、例えば、タブレット端末、又はスマートフォン等で構成されてもよい。
【0062】
第2プロセッサ61は、CPU、MPU等で構成される。第2メモリ62は、ROM、RAM、HDD、SSD等で構成される。第2メモリ62は、第2制御プログラム621を記憶する。
【0063】
入力部64は、ユーザが使用する各種スイッチやキーを備える。入力部64は、ユーザが使用する入力デバイスに接続され、入力デバイスに対する操作を検出することによって、ユーザの入力を受け付ける構成であってもよい。入力デバイスとしては、例えば、マウスやトラックパッド等のポインティングデバイス、及び、キーボードが挙げられる。
【0064】
表示部65は、LCD等のディスプレイを備える。表示部65は、第2プロセッサ61の制御に従って、
図6を参照して説明する第1画面800、及び
図7を参照して説明する第2画面900を含む種々の画面を表示する。入力部64は、表示部65の表示面に重畳して配置されたタッチセンサを備えてもよい。
表示部65は、「ディスプレイ」の一例に対応する。
【0065】
第2通信インターフェース66は、ネットワークNW2に接続され、ネットワークNW2及びネットワークNW1を介して、カメラ3と通信を実行する。また、第2通信インターフェース66は、ネットワークNW2を介して、第1サーバ装置5、及び端末装置7と通信を実行する。
第2通信インターフェース66は、例えば、通信ケーブルを接続可能なコネクタ、及び、通信回路を備える。第2通信インターフェース66は、無線通信インターフェースを備え、無線通信を実行する構成であってもよい。
【0066】
第2サーバ装置6は、決定部611、第2取得部612、生成部613、第1判定部614、第2判定部615、データ処理部616、表示制御部617、通知部618、アドレス記憶部622、及び第2画像記憶部623を備える。
具体的には、第2サーバ装置6の第2プロセッサ61が、第2メモリ62に記憶された第2制御プログラム621を実行することによって、決定部611、第2取得部612、生成部613、第1判定部614、第2判定部615、データ処理部616、表示制御部617、及び通知部618として機能する。また、第2プロセッサ61が第2制御プログラム621を実行することによって、第2メモリ62を、アドレス記憶部622、及び第2画像記憶部623として機能させる。
【0067】
アドレス記憶部622は、端末装置7のメールアドレスを記憶する。アドレス記憶部622に記憶されたメールアドレスは、通知部618によって読み出される。
【0068】
第2画像記憶部623は、第2取得部612が取得した撮影画像Pを記憶する。撮影画像Pは、第2取得部612によって、第2画像記憶部623に記憶される。撮影画像Pは、第1疲労試験機1Aの試験機本体画像P1、試験片画像P2、及びパネル画像P3と、第2疲労試験機2Aの試験機本体画像P1、試験片画像P2、及びパネル画像P3と、を含む。
第2画像記憶部623に記憶された撮影画像Pは、生成部613、第1判定部614、第2判定部615、データ処理部616、及び表示制御部617によって読み出される。
【0069】
決定部611は、カメラ3のフレームレートFPを決定する。
決定部611は、例えば、カメラ31A、32A、33A、及びカメラ31B、32B、33Bと、第2サーバ装置6との間の帯域上限値BMXに基づいて、カメラ31A、32A、33A、及びカメラ31B、32B、33Bの各々のフレームレートFPを決定する。本実施形態では、カメラ31A、32A、33A、及びカメラ31B、32B、33Bの各々のフレームレートFPを、互いに同一値に決定する場合について説明する。
【0070】
帯域上限値BMXは、例えば、ネットワークNW1の帯域の上限値である。帯域上限値は、例えば、45MB/秒である。
なお、帯域上限値BMXは、例えば、ネットワークNW1の帯域の上限値と、ネットワークNW2の帯域の上限値とのうち、小さい方の値に設定される。
【0071】
また、決定部611は、例えば、カメラ31A、32A、33A、及びカメラ31B、32B、33Bの各々が生成する撮影画像Pのサイズに基づいて、カメラ31A、32A、33A、及びカメラ31B、32B、33Bの各々のフレームレートFPを決定する。
「画像のサイズ」とは、画像を構成する画素数を示す。
カメラ31A、及びカメラ31Bの各々は、試験機本体画像P1を生成し、カメラ32A、及びカメラ32Bの各々は、試験片画像P2を生成し、カメラ33A、及びカメラ33Bの各々は、パネル画像P3を生成する。
【0072】
パネル画像P3は、第1判定部614によって種々の画像処理が施される。そして、第1判定部614によって、画像処理後の画像に対して、学習済みモデルである油圧状態認識モデルMD1を用いて、疲労試験機1における油圧源状態ST1が判定される。また、第1判定部614によって、画像処理後の画像に対して、試験状態認識モデルMD2を用いて、疲労試験機1における疲労試験の試験状態ST2が判定される。
そこで、パネル画像P3のサイズS3は、試験機本体画像P1のサイズS1、及び試験片画像P2のサイズS2より大きく、パネル画像P3は、第1判定部614による状態判定に適した解像度に設定される。例えば、パネル画像P3のサイズS3は、「1920×1080」(いわゆる、フルHD(High Definition))に設定される。
【0073】
決定部611は、例えば、次の(1)式を満たすように、フレームレートFPを決定する。
(S1×N1+S2×N2+S3×N3)×FP<BMX (1)
なお、台数N1は、試験機本体画像P1を生成するカメラ3の台数であり、本実施形態では、「2」である。台数N2は、試験片画像P2を生成するカメラ3の台数であり、本実施形態では、「2」である。台数N3は、パネル画像P3を生成するカメラ3の台数であり、本実施形態では、「2」である。
例えば、サイズS2、及びサイズS3を、「640×480」(いわゆる、SD(Standard Definition))に設定する場合には、フレームレートFPは、例えば2FPSに決定される。
決定部611は、決定したフレームレートFPをカメラ31A、32A、33A、及びカメラ31B、32B、33Bの各々に対して設定する。カメラ31A、32A、33A、及びカメラ31B、32B、33Bの各々は、フレームレートFPに基づいて、撮像動作を実行し、撮影画像Pを生成する。
【0074】
本実施形態では、カメラ3が試験機本体画像P1、試験片画像P2及びパネル画像P3を撮影する場合について説明したが、これに限定されない。カメラ3がパネル画像P3を撮影すればよい。例えば、カメラ3が試験機本体画像P1、及びパネル画像P3を撮影し、その他の画像を撮影しない場合には、決定部611は、例えば、次の(2)式を満たすように、フレームレートFPを決定する。
(S1×N1+S3×N3)×FP<BMX (2)
また、例えば、カメラ3がパネル画像P3を撮影し、その他の画像を撮影しない場合には、決定部611は、例えば、次の(3)式を満たすように、フレームレートFPを決定する。
(S3×N3)×FP<BMX (3)
【0075】
第2取得部612は、第1サーバ装置5の第1取得部511が第1画像記憶部522に撮影画像Pを記憶させる度に、第1画像記憶部522から撮影画像Pを取得する。
本実施形態では、第2取得部612が第1画像記憶部522から撮影画像Pを取得する場合について説明するが、これに限定されない。第2取得部612が、カメラ3が撮影画像Pを生成する度に、カメラ3から撮影画像Pを取得してもよい。
第2取得部612は、「取得部」の一例に対応する。
【0076】
生成部613は、パネル画像P3に含まれ、表示パネル21に表示される試験値の撮影画像Pである試験値画像から、試験値画像が示す試験値を生成する。表示パネル21は、ディスプレイ30を含む。ディスプレイ30は、特定記号と試験値とを表示する。試験値は、例えば、サイクル数NCである。試験値画像は、ディスプレイ画像PDに含まれる。ディスプレイ画像PDは、パネル画像P3のうち、ディスプレイ30に対応する表示器領域33の撮影画像Pである。
図3を参照して説明したように、ディスプレイ30の表示画面は、サイクル数表示部301と、特定記号表示部302と、を含む。サイクル数表示部301は、疲労試験におけるサイクル数NCを表示する。特定記号表示部302は、予め定められた特定記号(例えば、アイコン)を表示する。
例えば、生成部613は、ディスプレイ画像PDに含まれる特定記号表示部302に表示された特定記号のサイズSSに基づいて、サイクル数NCを示す文字サイズSCを推定する。そして、生成部613は、推定した文字サイズSCを用いた画像認識処理(ここでは、文字認識処理)によって、サイクル数NCの値を生成する。
【0077】
また、生成部613は、文字認識処理によってサイクル数NCの値を生成すると共に、文字認識処理におけるサイクル数NCの値の確度を出力する。サイクル数NCの値の確度は、サイクル数NCの値の確からしさを百分率で表した値である。
サイクル数の値は、「試験値」の一例に対応する。
生成部613の処理については、
図13を参照して更に説明する。
ここでは、生成部613が、サイクル数NCの値を生成する場合について説明するが、生成部613は、試験力、及び変位等の値も、サイクル数NCの値と同様の処理で、生成する。
【0078】
第1判定部614は、パネル画像P3に基づき、疲労試験機1の状態を判定する。本実施形態では、疲労試験機1の状態は、油圧源状態ST1と、疲労試験の試験状態ST2と、を含む。
【0079】
まず、油圧源状態ST1の判定処理について説明する。
第1判定部614は、複数の表示ランプの点灯態様の組み合わせに基づき、油圧源状態ST1を判定する。具体的には、第1判定部614は、表示ランプ311a、表示ランプ312b、表示ランプ313c、及び表示ランプ314dの点灯態様の組み合わせに基づき、油圧源状態ST1を判定する。本実施形態では、「点灯態様」とは、点灯か消灯かを示す。
【0080】
表示ランプ311aが点灯し、表示ランプ312b、313c、314dが消灯する場合には、第1判定部614は、油圧源状態ST1が「RUN状態」、すなわち、油圧ポンプが起動された状態であると判定する。
表示ランプ312bが点灯し、表示ランプ311a、313c、314dが消灯する場合には、第1判定部614は、油圧源状態ST1が「STOP状態」、すなわち、油圧ポンプが停止した状態であると判定する。
【0081】
表示ランプ311a、313c、314dが点灯し、表示ランプ312bが消灯する場合には、第1判定部614は、油圧源状態ST1が「LOAD_MANI状態」、すなわち、配管バルブ及びロードバルブが開状態であると判定する。
表示ランプ312b、313cが点灯し、表示ランプ311a、314dが消灯する場合には、第1判定部614は、油圧源状態ST1が「STOP_MANI状態」、すなわち、配管バルブが開状態であると判定する。
【0082】
表示ランプ311a、314dが点灯し、表示ランプ312b、313cが消灯する場合には、第1判定部614は、油圧源状態ST1が「LOAD状態」、すなわち、ロードバルブが開状態であると判定する。
表示ランプ311a、312b、313c、314dが全て消灯する場合には、第1判定部614は、油圧源状態ST1が「POWER OFF状態」、すなわち、油圧ポンプ、配管バルブ、及びロードバルブの動作のための電源がオフされた状態であると判定する。
【0083】
また、第1判定部614は、油圧状態認識モデルMD1を用いて、油圧源状態ST1を判定する。具体的には、第1判定部614は、第1ランプ画像PL1を、油圧状態認識モデルMD1に入力することによって、油圧源状態ST1を判定する。
第1ランプ画像PL1は、パネル画像P3のうち、パワーユニット操作キー31が配置された表示器領域34の撮影画像である。パワーユニット操作キー31は、表示ランプ311a、表示ランプ312b、表示ランプ313c、及び表示ランプ314dを含む。
第1ランプ画像PL1は、「ランプ撮影画像」の一例に対応する。
【0084】
油圧状態認識モデルMD1は、表示ランプ311a~314dの種々の点灯態様の組み合わせを撮影した第1ランプ画像PL1と、表示ランプ311a~314dの点灯態様の組み合わせに対応する油圧源状態ST1と、の関係を機械学習(いわゆる、「教師あり学習」)によって学習させた学習済みモデルである。換言すれば、油圧状態認識モデルMD1の教師あり学習に用いるデータセットは、表示ランプ311a~314dの種々の点灯態様の組み合わせを撮影した第1ランプ画像PL1と、表示ランプ311a~314dの点灯態様の組み合わせに対応する油圧源状態ST1と、で構成される。
油圧状態認識モデルMD1は、「状態認識モデル」の一例に対応する。油圧状態認識モデルMD1は、第2サーバ装置6の第2メモリ62に記憶される。
第1判定部614は、第1ランプ画像PL1を油圧状態認識モデルMD1に入力することによって、油圧源状態ST1を判定する。
【0085】
次に、疲労試験の試験状態ST2の判定処理について説明する。
第1判定部614は、複数の表示ランプの点灯態様の組み合わせに基づき、試験状態ST2を判定する。具体的には、第1判定部614は、表示ランプ321a、及び表示ランプ322bの点灯態様の組み合わせに基づき、油圧源状態ST1を判定する。本実施形態では、「点灯態様」とは、点灯か消灯かを示す。
【0086】
表示ランプ321aが点灯し、表示ランプ322bが消灯する場合には、第1判定部614は、試験状態ST2が「START状態」、すなわち疲労試験を実行している状態であると判定する。
表示ランプ322bが点灯し、表示ランプ321aが消灯する場合には、第1判定部614は、試験状態ST2が「STOP状態」、すなわち、疲労試験を停止している状態であると判定する。
【0087】
また、第1判定部614は、試験状態認識モデルMD2を用いて、試験状態ST2を判定する。具体的には、第1判定部614は、第2ランプ画像PL2を、試験状態認識モデルMD2に入力することによって、試験状態ST2を判定する。
第2ランプ画像PL2は、パネル画像P3のうち、試験操作キー32が配置された表示器領域35の撮影画像Pである。試験操作キー32は、表示ランプ321a、及び表示ランプ322bを含む。
第2ランプ画像PL2は、「ランプ撮影画像」の一例に対応する。
【0088】
試験状態認識モデルMD2は、表示ランプ321a、322bの種々の点灯態様の組み合わせを撮影した第2ランプ画像PL2と、表示ランプ321a、322bの点灯態様の組み合わせに対応する試験状態ST2と、の関係を機械学習(いわゆる、「教師あり学習」)によって学習させた学習済みモデルである。換言すれば、試験状態認識モデルMD2の教師あり学習に用いるデータセットは、表示ランプ321a、322bの種々の点灯態様の組み合わせを撮影した第2ランプ画像PL2と、表示ランプ321a、322bの点灯態様の組み合わせに対応する試験状態ST2と、で構成される。
試験状態認識モデルMD2は、「状態認識モデル」の一例に対応する。試験状態認識モデルMD2は、第2サーバ装置6の第2メモリ62に記憶される。
第1判定部614は、第2ランプ画像PL2を試験状態認識モデルMD2に入力することによって、試験状態ST2を判定する。
【0089】
油圧状態認識モデルMD1の出力は、油圧源状態ST1についての判定の確度が含まれる。また、試験状態認識モデルMD2の出力には、試験状態ST2についての判定の確度が含まれる。判定の確度は、判定の確からしさを百分率で表した値である。
換言すれば、第1判定部614は、油圧源状態ST1を判定すると共に、その判定の確度を出力する。また、第1判定部614は、試験状態ST2を判定すると共に、その判定の確度を出力する。
【0090】
第2判定部615は、例えば、パネル画像P3に基づき、特定イベントVTが発生したか否かを判定する。
特定イベントVTが発生した場合には、例えば、ディスプレイ30に特定イベントが発生したことを示すメッセージが表示される。
第2判定部615は、
図3に示すディスプレイ30に特定イベントVTが発生したことを示すメッセージが表示されていると判定した場合に、特定イベントVTが発生したか否かを判定する。
特定イベントVTは、試験機本体10におけるアラームの発生時、制御装置20におけるアラームの発生時、試験機本体10における疲労試験の終了時、及び試験値が特定値である場合を含む。試験値は、サイクル数NC、試験力、及び変位等の値である。
アラームは、例えば、非常停止アラーム、上下限リミットアラーム、振幅減少アラーム、PC通信アラーム、AGC(Automatic Gain Control)アラーム、シーケンスアラーム、油圧源アラーム、トータルアラーム、及び、インターロックを含む。
【0091】
例えば、非常停止アラームは、ユーザによって非常停止スイッチ215が操作された場合に出力される。
また、例えば、上下限リミットアラームは、試験力等の試験値が上下限値を超えた場合に出力される。
また、例えば、振幅減少アラームは、疲労試験中における振幅が閾値以上減少した場合に出力される。
【0092】
特定イベントVTが発生したと第2判定部615が判定した場合には、第2取得部612は、特定イベントVTが発生した時点の前の第1期間における試験値、試験機本体画像P1、試験片画像P2、及びパネル画像P3を第2画像記憶部623に記憶させる。試験値は、例えば、サイクル数NC、試験力、及び変位の値を含む。第1期間は、例えば、5分間である。
また、特定イベントVTが発生したと第2判定部615が判定した場合には、第2取得部612は、特定イベントVTが発生した時点の後の第2期間における試験値、試験機本体画像P1、試験片画像P2、及びパネル画像P3を、第2画像記憶部623に記憶させる。第2期間は、例えば、5分間である。
【0093】
また、特定イベントVTが発生したと第2判定部615が判定した場合には、通知部618は、端末装置7に対して、特定イベントVTが発生したことを示す電子メールを送信する。
通知部618は、例えば、電子メールの本文に、特定イベントVTの発生日時、及び特定イベントVTの内容を示す情報を入力する。特定イベントVTの内容とは、アラームの種類等を示す。
また、通知部618は、特定イベントVTが発生した時点の前後の試験値、試験機本体画像P1、試験片画像P2、及びパネル画像P3が記憶された第2画像記憶部623の領域を示す情報を、リンク先情報として、例えば、電子メールの本文に入力する。
また、通知部618は、端末装置7から、リンク先情報を介して、特定イベントVTが発生した時点の前後の試験値、試験機本体画像P1、試験片画像P2、及びパネル画像P3の要求を受け付ける。この要求を受け付けた場合に、通知部618は、端末装置7に対して、特定イベントVTが発生した時点の前後の試験値、試験機本体画像P1、試験片画像P2、及びパネル画像P3を送信する。
【0094】
このように、特定イベントVTが発生したと第2判定部615が判定した場合に、通知部618が端末装置7に送信する電子メールには、特定イベントVTの発生日時、及び特定イベントVTの内容を示す情報が入力される。そこで、ユーザは、受信した電子メールによって、特定イベントVTの発生日時、及び特定イベントVTの内容を確認できる。したがって、ユーザの利便性を向上できる。
また、通知部618が端末装置7に送信する電子メールには、第2画像記憶部623において、特定イベントVTが発生した時点の前後の試験値、試験機本体画像P1、試験片画像P2、及びパネル画像P3が記憶された領域を示す情報が、リンク先情報として、例えば、電子メールの本文に入力される。よって、ユーザは、特定イベントVTが発生した時点の前後の試験値、試験機本体画像P1、試験片画像P2、及びパネル画像P3を容易に確認できる。したがって、ユーザの利便性を向上できる。
【0095】
データ処理部616は、生成部613が生成したサイクル数NC、試験力、及び変位等の値を撮影画像Pに対応付けて、第2画像記憶部623に記憶させる。
また、データ処理部616は、第1判定部614が判定した油圧源状態ST1及びその判定の確度と、第1判定部614が判定した試験状態ST2及びその判定の確度とを、撮影画像Pと対応付けて第2画像記憶部623に記憶させる。
【0096】
また、データ処理部616は、表示器領域33の4隅に配されたマーカ331~334のパネル画像P3における位置に基づき、ディスプレイ画像PD、第1ランプ画像PL1、及び第2ランプ画像PL2の画像の歪みを補正する。
そこで、例えば、疲労試験機1の疲労試験の途中において、撮影画像Pにおけるパネル画像P3の歪みの状態が変化した場合であっても、ディスプレイ画像PD、第1ランプ画像PL1、及び第2ランプ画像PL2の画像の歪みを適正に補正できる。なお、このようなパネル画像P3の歪みの状態の変化は、例えば、ユーザが制御装置20の操作を行うためにカメラ3の光軸方向を移動させた場合に発生する。
データ処理部616については、
図5を参照して更に説明する。
【0097】
表示制御部617は、表示部65に、第1画面800、及び第2画面900を含む種々の画面を表示させる。
第1画面800については、
図6を参照して説明する。第2画面900については、
図7を参照して説明する。
【0098】
図5は、第2サーバ装置6のデータ処理部616の処理の一例を示す図である。
図5の上段の図は、第2取得部612が第1サーバ装置5の第1取得部511から取得したパネル画像P3の一例である。
図5の上段の図では、パネル画像P3は台形状に歪んでいる。このような画像の歪みは、カメラ3の光軸に対して表示パネル21の法線方向が傾くことによって発生する。
【0099】
データ処理部616は、
図5の上段のパネル画像P3から、それぞれ同一の識別コードを示すバーコードが付されたマーカの群を特定する。具体的には、データ処理部616は、表示器領域33の識別コードが付された4つのマーカ331~334の群と、表示器領域34の識別コードが付された2つのマーカ341、342の群と、表示器領域35の識別コードが付された2つのマーカ351、352の群と、を特定する。
【0100】
この処理によって、データ処理部616は、
図5の中段の左の図に示すように、パネル画像P3における4つのマーカ331~334の位置を4隅とする台形の画像領域として表示器領域33を特定する。
また、データ処理部616は、
図5の中段の中央の図のように、パネル画像P3における2つのマーカ341、342の位置を、2つの対角の位置とする矩形の画像領域として、表示器領域34を特定する。
同様に、データ処理部616は、
図5の中段の右図のように、パネル画像P3における2つのマーカ351、352の位置を、2つの対角の位置とする矩形の画像領域として、表示器領域35を特定する。
【0101】
次に、データ処理部616は、特定した表示器領域33の台形の画像(
図6の中段の左図)に基づき、画像の歪みを補正するための補正関数を算出する。本実施形態では、補正関数は、特定した表示器領域33の台形の画像領域に表示されるディスプレイ画像PD1を矩形のディスプレイ画像PD2に補正するための射影変換行列で規定される。
データ処理部616は、算出した射影変換行列を用いて、
図5の中段の各画像(ディスプレイ画像PD1、第1ランプ画像PL11、及び、第2ランプ画像PL21)を補正することによって、
図5の下段に示すように、ディスプレイ画像PD2、第1ランプ画像PL12、及び、第2ランプ画像PL22を生成する。
ディスプレイ画像PD2は、表示器領域33についてのディスプレイ画像PD1を補正した後のディスプレイ画像PDである。第1ランプ画像PL12は、表示器領域34についての第1ランプ画像PL11を補正した後の第1ランプ画像PL1である。第2ランプ画像PL22は、表示器領域35についての第2ランプ画像PL21を補正した後の第2ランプ画像PLである。
【0102】
データ処理部616は、ディスプレイ画像PD2、第1ランプ画像PL12、及び、第2ランプ画像PL22を、パネル画像P3に対応付けて、第2画像記憶部623に記憶させる。
また、生成部613は、ディスプレイ画像PD2から、試験値画像が示す試験値を生成する。また、第1判定部614は、第1ランプ画像PL12に基づき、油圧源状態ST1を判定する。また、第1判定部614は、第2ランプ画像PL22に基づき、疲労試験の試験状態ST2を判定する。
【0103】
このように、生成部613は、補正後のディスプレイ画像PD2から、試験値画像が示す試験値を生成するため、試験値画像が示す試験値を正確に生成できる。
また、第1判定部614は、補正後の第1ランプ画像PL12に基づき、油圧源状態ST1を判定するため、油圧源状態ST1を正確に判定できる。また、第1判定部614は、補正後の第2ランプ画像PL22に基づき、疲労試験の試験状態ST2を判定するため疲労試験の試験状態ST2を正確に判定できる。
【0104】
[6.表示画面の構成]
次に、
図6及び
図7を参照して、第2サーバ装置6の表示部65に表示される画面について説明する。
図6は、第2サーバ装置6の表示部65に表示される第1画面800の一例を示す図である。第1画面800は、表示制御部617によって表示部65に表示される。
第1画面800は、第1疲労試験機1Aに関する情報を表示する第1表示部810と、第2疲労試験機1Bに関する情報を表示する第2表示部820と、を含む。
【0105】
第1表示部810は、第1サイクル数表示部811と、第1試験力表示部812と、第1試験状態表示部813と、第1本体画像表示ボタン814と、第1試験片画像表示ボタン815と、第1パネル画像表示ボタン816と、を含む。
第1サイクル数表示部811は、第1疲労試験機1Aのサイクル数NCの値を表示する。サイクル数NCの値は、生成部613によってパネル画像P3から生成される。
第1試験力表示部812は、第1疲労試験機1Aの試験力の値を表示する。試験力の値は、生成部613によってパネル画像P3から生成される。
第1試験状態表示部813は、第1疲労試験機1Aの試験状態ST2を表示する。試験状態ST2は、第2ランプ画像PL2に基づき、第1判定部614によって判定される。
【0106】
第1本体画像表示ボタン814は、第1疲労試験機1Aの試験機本体画像P1を表示する場合にユーザによってクリックされる。第1本体画像表示ボタン814がクリックされた場合には、表示制御部617は、第2画像記憶部623から第1疲労試験機1Aの試験機本体画像P1を読み出して、表示領域AR1に試験機本体画像P1を表示する。表示領域AR1は、
図8の第1表示部810に破線で示す領域である。
【0107】
第1試験片画像表示ボタン815は、第1疲労試験機1Aの試験片画像P2を表示する場合にユーザによってクリックされる。第1試験片画像表示ボタン815がクリックされた場合には、表示制御部617は、第2画像記憶部623から第1疲労試験機1Aの試験片画像P2を読み出して、表示領域AR1に試験片画像P2を表示する。
第1パネル画像表示ボタン816は、第1疲労試験機1Aのパネル画像P3を表示する場合にユーザによってクリックされる。第1パネル画像表示ボタン816がクリックされた場合には、表示制御部617は、第2画像記憶部623から第1疲労試験機1Aのパネル画像P3を読み出して、表示領域AR1にパネル画像P3を表示する。
【0108】
第2表示部820は、第2サイクル数表示部821と、第2試験力表示部822と、第2試験状態表示部823と、第2本体画像表示ボタン824と、第2試験片画像表示ボタン825と、第2パネル画像表示ボタン826と、を含む。
第2サイクル数表示部821は、第2疲労試験機1Bのサイクル数NCの値を表示する。サイクル数NCの値は、生成部613によってパネル画像P3から生成される。
第2試験力表示部822は、第2疲労試験機1Bの試験力の値を表示する。試験力の値は、生成部613によってパネル画像P3から生成される。
第2試験状態表示部823は、第2疲労試験機1Bの試験状態ST2を表示する。試験状態ST2は、第2ランプ画像PL2に基づき、第1判定部614によって判定される。
【0109】
第2本体画像表示ボタン824は、第2疲労試験機1Bの試験機本体画像P1を表示する場合にユーザによってクリックされる。第2本体画像表示ボタン824がクリックされた場合には、表示制御部617は、第2画像記憶部623から第2疲労試験機1Bの試験機本体画像P1を読み出して、表示領域AR2に試験機本体画像P1を表示する。表示領域AR2は、
図8の第2表示部820に破線で示す領域である。
【0110】
第2試験片画像表示ボタン825は、第2疲労試験機1Bの試験片画像P2を表示する場合にユーザによってクリックされる。第2試験片画像表示ボタン825がクリックされた場合には、表示制御部617は、第2画像記憶部623から第2疲労試験機1Bの試験片画像P2を読み出して、表示領域AR2に試験片画像P2を表示する。
第2パネル画像表示ボタン826は、第2疲労試験機1Bのパネル画像P3を表示する場合にユーザによってクリックされる。第2パネル画像表示ボタン826がクリックされた場合には、表示制御部617は、第2画像記憶部623から第2疲労試験機1Bのパネル画像P3を読み出して、表示領域AR2にパネル画像P3を表示する。
【0111】
例えば、ユーザは、第1本体画像表示ボタン814をクリックして、表示領域AR1に試験機本体画像P1を表示できる。したがって、第1疲労試験機1Aの状態を試験機本体画像P1で確認できる。また、第1画面800では、ユーザの要求に応じて試験機本体画像P1を表示するため、第2画面900のように、試験機本体画像P1、試験片画像P2、及びパネル画像P3を表示する場合と比較して、処理を簡素化できる。
【0112】
また、ユーザは、第1試験片画像表示ボタン815をクリックして、表示領域AR1に試験片画像P2を表示できる。したがって、第1疲労試験機1Aの試験片SPの状態を試験片画像P2で確認できる。また、第1画面800では、ユーザの要求に応じて試験片画像P2を表示するため、第2画面900のように、試験機本体画像P1、試験片画像P2、及びパネル画像P3を表示する場合と比較して、処理を簡素化できる。
【0113】
また、ユーザは、第1パネル画像表示ボタン816をクリックして、表示領域AR1にパネル画像P3を表示できる。したがって、第1疲労試験機1Aの表示パネル21をパネル画像P3で確認できる。また、第1画面800では、ユーザの要求に応じてパネル画像P3を表示するため、第2画面900のように、試験機本体画像P1、試験片画像P2、及びパネル画像P3を表示する場合と比較して、処理を簡素化できる。
【0114】
図7は、第2サーバ装置6の表示部65に表示される第2画面900の一例を示す図である。第2画面900は、表示制御部617によって表示部65に表示される。
第2画面900は、判定結果表示部901と、数値表示部902と、パネル画像表示部903と、本体画像表示部904と、試験片画像表示部905と、を含む。
第2画面900を表示する場合には、ユーザは、第1疲労試験機1Aに関する情報を表示部65に表示するか、第2疲労試験機1Bに関する情報を表示部65に表示するかを予め選択する。
図7では、例えば、第1疲労試験機1Aに関する情報を表示部65に表示するとユーザが選択した場合について説明する。
【0115】
判定結果表示部901には、第1判定部614の判定結果、すなわち、油圧源状態ST1、及び疲労試験の試験状態ST2が表示される。
判定結果表示部901には、例えば、油圧源状態ST1が「LOAD状態」であることが表示される。また、判定結果表示部901には、例えば、油圧源状態ST1の判定の確度が第1閾値未満であることを示す「WARNING」が表示される。第1閾値は、例えば、80%である。
また、判定結果表示部901には、例えば、試験状態ST2が「START状態」であることが表示される。また、判定結果表示部901には、例えば、試験状態ST2の判定の確度が第2閾値以上であることを示す「GOOD」が表示される。第2閾値は、例えば、80%である。
【0116】
数値表示部902には、生成部613によって生成された試験値が表示される。
数値表示部902には、例えば、サイクル数NCの値が表示される。また、数値表示部902には、例えば、サイクル数NCの値の確度が第3閾値以上であることを示す「GOOD」が表示される。第3閾値は、例えば、80%である。
【0117】
パネル画像表示部903には、第1疲労試験機1Aのパネル画像P3が表示される。本体画像表示部904には、第1疲労試験機1Aの試験機本体画像P1が表示される。試験片画像表示部905には、第1疲労試験機1Aの試験片画像P2が表示される。
【0118】
図7を参照して説明したように、第2画面900には、油圧源状態ST1、及び疲労試験の試験状態ST2と、パネル画像P3とが表示される。また、油圧源状態ST1、及び疲労試験の試験状態ST2は、パネル画像P3に基づき、第1判定部614によって判定される。したがって、ユーザは、第1判定部614の判定処理が適正に実行されているか否かを確認できる。
【0119】
また、第2画面900には、試験機本体画像P1と、試験片画像P2と、パネル画像P3とが表示される。よって、ユーザは、試験機本体画像P1、試験片画像P2、及びパネル画像P3を視認することによって、疲労試験の状態を確認できる。したがって、ユーザの利便性を向上できる。
【0120】
[7.第2サーバ装置の処理]
次に、
図8~
図16を参照して、第2サーバ装置6の処理について説明する。
図8は、第2サーバ装置6の処理の一例を示すフローチャートである。
図8に示すように、ステップS101において、決定部611は、フレームレート決定処理を実行する。「フレームレート決定処理」は、カメラ3のフレームレートFPを決定する処理である。「フレームレート決定処理」については、
図9を参照して更に説明する。
【0121】
次に、ステップS103において、第2取得部612は、カメラ3の撮影画像Pを取得する。撮影画像Pは、試験機本体画像P1、試験片画像P2、及びパネル画像P3を含む。
次に、ステップS105において、データ処理部616は、画像抽出処理を実行する。「画像抽出処理」は、
図5を参照して説明したように、パネル画像P3からディスプレイ画像PD、第1ランプ画像PL1、及び第2ランプ画像PL2を抽出する処理である。「画像抽出処理」については、
図10を参照して更に説明する。
【0122】
次に、ステップS107、及び、ステップS109において、第1判定部614は、状態判定処理を実行する。状態判定処理は、油圧源状態判定処理と試験状態判定処理とを含み。「油圧源状態判定処理」は、油圧源状態ST1を判定する処理である。「試験状態判定処理」は、疲労試験の試験状態ST2を判定する処理である。
具体的には、ステップS107において、第1判定部614は、油圧源状態判定処理を実行する。また、ステップS109において、第1判定部614は、試験状態判定処理を実行する。
「油圧源状態判定処理」については、
図11を参照して更に説明する。
「試験状態判定処理」については、
図12を参照して更に説明する。
【0123】
次に、ステップS111において、生成部613は、数値データ生成処理を実行する。「数値データ生成処理」は、表示パネル21に表示される試験値の撮影画像Pである試験値画像から、試験値画像が示す試験値を生成する処理である。試験値は、例えば、サイクル数NC、試験力、及び変位の値を含む。
「数値データ生成処理」については、
図13を参照して更に説明する。
【0124】
次に、ステップS113、ステップS115、及び、ステップS117において、表示制御部617は、表示制御処理を実行する。「表示制御処理」は、表示部65に表示する画面を制御する処理である。表示制御処理は、第1画面処理と第2画面処理とを含む。
「第1画面処理」は、
図6を参照して説明した第1画面800を表示部65に表示する処理である。「第2画面処理」は、
図7を参照して説明した第2画面900を表示部65に表示する処理である。
具体的には、ステップS113において、表示制御部617は、ユーザからの操作に基づいて、第1画面800を表示するか否かを判定する。第1画面800を表示すると表示制御部617が判定した場合(ステップS113;YES)には、処理がステップS115へ進む。そして、ステップS115において、表示制御部617は、第1画面処理を実行する。第1画面800を表示しないと表示制御部617が判定した場合(ステップS113;NO)には、処理がステップS117へ進む。そして、ステップS117において、表示制御部617は、第2画面処理を実行する。
「第1画面処理」については、
図14を参照して更に説明する。
「第2画面処理」については、
図15を参照して更に説明する。
【0125】
次に、ステップS119において、第2判定部615、第2取得部612、及び通知部618は、イベント処理を実行する。「イベント処理」は、特定イベントVTが発生したか否かを判定し、特定イベントVTが発生した場合に実行する処理である。
次に、ステップS121において、第2取得部612は、例えば、ユーザからの操作に基づいて、カメラ3からの撮影画像Pの取得を終了するか否かを判定する。
カメラ3からの撮影画像Pの取得を終了しないと第2取得部612が判定した場合(ステップS121;NO)には、処理がステップS103に戻る。カメラ3からの撮影画像Pの取得を終了すると第2取得部612が判定した場合(ステップS121;YES)には、その後、処理が終了する。
【0126】
次に、
図9を参照して、第2サーバ装置6のフレームレート決定処理について説明する。
図9は、第2サーバ装置6のフレームレート決定処理の一例を示すフローチャートである。
図9に示すフレームレート決定処理は、
図8のステップS101において実行される。
図9に示すように、まず、ステップS201において、決定部611は、帯域上限値BMXを取得する。帯域上限値BMXは、例えば、ネットワークNW1の帯域の上限値である。
次に、ステップS203において、決定部611は、第1台数(本実施形態では、台数N3)を取得する。第1台数は、パネル画像P3を生成するカメラ3の台数である。
次に、ステップS205において、決定部611は、第2台数(本実施形態では、台数N1、及び台数N2)を取得する。第2台数は、試験機本体画像P1、又は試験片画像P2を生成するカメラ3の台数である。
【0127】
次に、ステップS207において、決定部611は、第1サイズ(本実施形態では、サイズS3)を決定する。第1サイズは、パネル画像P3のサイズである。決定部611は、第1サイズを、ステップS209で説明する第2サイズより大きく、且つ、第1判定部614による状態判定に適したサイズに決定する。決定部611は、例えば、第1サイズを「1920×1080」(いわゆる、フルHD)に決定する。
次に、ステップS209において、決定部611は、第2サイズ(本実施形態では、サイズS1、及びサイズS2)を決定する。第2サイズは、試験機本体画像P1、及び試験片画像P2のサイズである。決定部611は、例えば、第2サイズを「640×480」(いわゆる、SD)に決定する。
【0128】
次に、ステップS211において、決定部611は、
図4を参照して説明した式(1)を満たすように、フレームレートFPを決定する。そして、決定部611は、決定したフレームレートFPをカメラ3に設定する。
次に、ステップS213において、決定部611は、フレームレートFPが適正であるか否かを判定する。決定部611は、例えば、予め設定された所定の範囲内であるか否かに応じて、フレームレートFPが適正であるか否かを判定する。
なお、
図9では、決定部611が、フレームレートFPが適正であるか否かを判定する場合について説明するが、これに限定されない。例えば、監視システム100の管理者、設計者等のユーザが、フレームレートFPが適正であるか否かを判定してもよい。
フレームレートFPが適正ではないと決定部611が判定した場合(ステップS213;NO)には、処理がステップS207に戻る。フレームレートFPが適正であると決定部611が判定した場合(ステップS213;YES)には、処理が
図8のステップS103へリターンされる。
【0129】
図9を参照して説明したように、
図4を参照して説明した式(1)を満たすように、フレームレートFPを決定するため、カメラ3からの撮影画像Pの取得処理が、ネットワークNW1、又はネットワークNW2のトラフィック制限によって制限されることを抑制できる。よって、カメラ3からの撮影画像Pを第1サーバ装置5が確実に取得できる。したがって、適正なフレームレートFPを決定できる。
【0130】
また、パネル画像P3のサイズは、試験機本体画像P1、及び試験片画像P2のサイズよりも大きく、第1判定部614による状態判定に適したサイズに決定されるため、第1判定部614による状態判定を適正に実行できる。したがって、第1判定部614は、油圧源状態ST1、及び疲労試験の試験状態ST2を適正に判定できる。
【0131】
次に、
図10を参照して、第2サーバ装置6の画像抽出処理について説明する。
図10は、第2サーバ装置6の画像抽出処理の一例を示すフローチャートである。
図10に示す処理は、
図8のステップS105において実行される。
図10に示すように、まず、ステップS301において、データ処理部616は、カメラ3の撮影画像Pのうち、パネル画像P3からマーカを検出する。具体的には、データ処理部616は、パネル画像P3から表示器領域33の識別コードが付された4つのマーカ331~334の群と、表示器領域34の識別コードが付された2つのマーカ341、342の群と、表示器領域35の識別コードが付された2つのマーカ351、352の群と、を検出する。
【0132】
次に、ステップS303において、データ処理部616は、マーカの位置に基づき、表示器領域33、表示器領域34、及び表示器領域35の各々を特定する。具体的には、データ処理部616は、4つのマーカ331~334の位置に基づき、表示器領域33を特定する。また、データ処理部616は、2つのマーカ341、342の位置に基づき、表示器領域34を特定する。また、データ処理部616は、2つのマーカ351、352の位置に基づき、表示器領域35を特定する。
次に、ステップS305において、データ処理部616は、表示器領域33の画像、すなわちディスプレイ画像PDに基づき、画像の歪みを補正するための補正関数を算出する。
【0133】
次に、ステップS307において、データ処理部616は、補正関数を用いて、表示器領域33のディスプレイ画像PD、表示器領域34の第1ランプ画像PL1、及び表示器領域35の第2ランプ画像PL2の各々の歪みを補正する。
次に、ステップS309において、データ処理部616は、補正したディスプレイ画像PD、補正した第1ランプ画像PL1、及び補正した第2ランプ画像PL2を抽出する。その後、処理が
図8のステップS107へリターンする。
【0134】
次に、
図11を参照して、第2サーバ装置6の油圧源状態判定処理について説明する。
図11は、第2サーバ装置6の油圧源状態判定処理の一例を示すフローチャートである。
図11に示す油圧源状態判定処理は、
図8のステップS107において実行される。
なお、本実施形態では、油圧状態認識モデルMD1の学習が予め実行され、油圧状態認識モデルMD1は、学習済みモデルとして、第2メモリ62に記憶されている場合について説明する。
図11に示すように、まず、ステップS401において、第1判定部614は、第1ランプ画像PL1を、油圧状態認識モデルMD1に入力することによって、油圧源状態ST1を推定する。
次に、ステップS403において、第1判定部614は、油圧状態認識モデルMD1による油圧源状態ST1の推定確度が、所定値(例えば、第1閾値)以上であるか否かを判定する。第1閾値は、例えば、80%である。
【0135】
油圧源状態ST1の推定確度が第1閾値以上ではないと第1判定部614が判定した場合(ステップS403でNO)には、処理がステップS405へ進む。
そして、ステップS405において、第1判定部614は、油圧源状態ST1の判定結果を、前回の第1ランプ画像PL1での判定結果と同じ判定結果であるとする。その後、処理がステップS409へ進む。
油圧源状態ST1の推定確度が第1閾値以上であると第1判定部614が判定した場合(ステップS403でYES)には、処理がステップS407へ進む。
そして、ステップS407において、第1判定部614は、ステップS401における推定結果を、油圧源状態ST1の判定結果とする。
次に、ステップS409において、第1判定部614は、油圧源状態ST1の推定確度に応じた警告情報を、ステップS405又はステップS407での判定結果に付与する。例えば、推定確度が第1閾値未満である場合には、警告情報として「WARNING」を付与し、推定確度が第1閾値以上である場合には、警告情報として「GOOD」を付与する。その後、処理が
図8のステップS109へリターンされる。
【0136】
図10、及び
図11を参照して説明したように、第1判定部614は、第1ランプ画像PL1を油圧状態認識モデルMD1に入力することによって、油圧源状態ST1を判定するため、油圧源状態ST1を適正に判定できる。また、第1判定部614は、表示ランプ311a~314dの点灯態様を個別に認識する必要がないので、処理を簡素化できる。
また、第1ランプ画像PL1は、データ処理部616によって画像の歪みの補正が行われた後のパネル画像P3における表示器領域34の撮影画像Pである。したがって、第1判定部614は、油圧源状態ST1を適正に判定できる。
【0137】
次に、
図12を参照して、第2サーバ装置6の試験状態判定処理について説明する。
図12は、第2サーバ装置6の試験状態判定処理の一例を示すフローチャートである。
図12に示す試験状態判定処理は、
図8のステップS109において実行される。
なお、本実施形態では、試験状態認識モデルMD2の学習が予め実行され、試験状態認識モデルMD2は、学習済みモデルとして、第2メモリ62に記憶されている場合について説明する。
図12に示すように、まず、ステップS501において、第1判定部614は、第2ランプ画像PL2を、試験状態認識モデルMD2に入力することによって、試験状態ST2を推定する。
次に、ステップS503において、第1判定部614は、試験状態認識モデルMD2による試験状態ST2の推定確度が、所定値(例えば、第2閾値)以上であるか否かを判定する。第2閾値は、例えば、80%である。
【0138】
試験状態ST2の推定確度が第2閾値以上ではないと第1判定部614が判定した場合(ステップS503でNO)には、処理がステップS505へ進む。
そして、ステップS505において、第1判定部614は、試験状態ST2の判定結果を、前回の第2ランプ画像PL2での判定結果と同じ判定結果であるとする。その後、処理がステップS509へ進む。
試験状態ST2の推定確度が第2閾値以上であると第1判定部614が判定した場合(ステップS503でYES)には、処理がステップS507へ進む。
そして、ステップS507において、第1判定部614は、ステップS501における推定結果を、試験状態ST2の判定結果とする。
次に、ステップS509において、第1判定部614は、試験状態ST2の推定確度に応じた警告情報を、ステップS505又はステップS507での判定結果に付与する。例えば、推定確度が第2閾値未満である場合には、警告情報として「WARNING」を付与し、推定確度が第2閾値以上である場合には、警告情報として「GOOD」を付与する。その後、処理が
図8のステップS111へリターンする。
【0139】
図10、及び
図12を参照して説明したように、第1判定部614は、第2ランプ画像PL2を試験状態認識モデルMD2に入力することによって、試験状態ST2を判定するため、試験状態ST2を適正に判定できる。また、第1判定部614は、表示ランプ321a、32bの点灯態様を個別に認識する必要がないので、処理を簡素化できる。
また、第2ランプ画像PL2は、データ処理部616によって画像の歪みの補正が行われた後のパネル画像P3における表示器領域35の撮影画像Pである。したがって、第1判定部614は、試験状態ST2を適正に判定できる。
【0140】
次に、
図13を参照して、第2サーバ装置6の数値データ生成処理について説明する。
図13は、第2サーバ装置6の数値データ生成処理の一例を示すフローチャートである。
図13に示す数値データ生成処理は、
図8のステップS111において実行される。
図13に示すように、ステップS601において、生成部613は、ディスプレイ画像PDに含まれる特定記号表示部302に表示された特定記号のサイズSSを算出する。
次に、ステップS603において、生成部613は、特定記号のサイズSSに基づいて、サイクル数NCを含む数値表示の文字サイズSCを推定する。
次に、ステップS605において、生成部613は、推定した文字サイズSCを用いた画像認識処理(ここでは、文字認識処理)によって、サイクル数NCを含む数値表示の数値データを生成する。その後、処理が
図8のステップS113へリターンする。
【0141】
図13を参照して説明したように、生成部613は、特定記号のサイズSSに基づいて、サイクル数NCを含む数値表示の文字サイズSCを推定し、推定した文字サイズSCを用いた画像認識処理によって、サイクル数NCを含む数値表示の数値データを生成する。したがって、適切な文字サイズSCを用いて文字認識が行われるので、表示された数値が誤認識されて誤った数値データが生成される可能性を低減できる。
【0142】
次に、
図14を参照して、第2サーバ装置6の第1画面処理について説明する。
図14は、第2サーバ装置6の第1画面処理の一例を示すフローチャートである。
図14に示す第1画面処理は、
図8のステップS115において実行される。なお、以下の説明では、便宜上、第1疲労試験機1Aの情報(サイクル数NCの値、試験力の値、試験状態ST2、撮影画像P)等について説明する。第2疲労試験機1Bの情報も同様に処理される。
まず、ステップS701において、表示制御部617は、第1疲労試験機1Aのサイクル数NCの値を取得する。なお、サイクル数NCの値は、生成部613によって生成され、データ処理部616によって撮影画像Pに対応付けて第2画像記憶部623に記憶される。
次に、ステップS703において、表示制御部617は、第1疲労試験機1Aの試験力の値を取得する。なお、試験力の値は、生成部613によって生成され、データ処理部616によって撮影画像Pに対応付けて第2画像記憶部623に記憶される。
次に、ステップS705において、表示制御部617は、第1疲労試験機1Aの試験状態ST2を取得する。なお、試験状態ST2は、第1判定部614によって判定され、データ処理部616によって撮影画像Pに対応付けて第2画像記憶部623に記憶される。
【0143】
次に、ステップS707において、表示制御部617は、試験機本体画像P1を表示する旨の指示を受け付けたか否かを判定する。試験機本体画像P1を表示する旨の指示は、例えば、
図6に示す第1画面800における第1本体画像表示ボタン814がユーザによってクリックされることに対応する。
試験機本体画像P1を表示する旨の指示を受け付けたと表示制御部617が判定した場合(ステップS707;YES)には、処理がステップS709へ進む。
そして、ステップS709において、表示制御部617は、第2画像記憶部623から試験機本体画像P1を読み出して、
図6に示す第1画面800における表示領域AR1に試験機本体画像P1を表示する。その後、処理が
図8のステップS119へリターンする。
試験機本体画像P1を表示する旨の指示を受け付けていないと表示制御部617が判定した場合(ステップS707;NO)には、処理がステップS711へ進む。
【0144】
そして、ステップS711において、表示制御部617は、試験片画像P2を表示する旨の指示を受け付けたか否かを判定する。試験片画像P2を表示する旨の指示は、例えば、
図6に示す第1画面800における第1試験片画像表示ボタン815がユーザによってクリックされることに対応する。
試験片画像P2を表示する旨の指示を受け付けたと表示制御部617が判定した場合(ステップS711;YES)には、処理がステップS713へ進む。
そして、ステップS713において、表示制御部617は、第2画像記憶部623から試験片画像P2を読み出して、
図6に示す第1画面800における表示領域AR1に試験片画像P2を表示する。その後、処理が
図8のステップS119へリターンする。
試験片画像P2を表示する旨の指示を受け付けていないと表示制御部617が判定した場合(ステップS711;NO)には、処理がステップS715へ進む。
【0145】
ステップS715において、表示制御部617は、パネル画像P3を表示する旨の指示を受け付けたか否かを判定する。パネル画像P3を表示する旨の指示は、例えば、
図6に示す第1画面800における第1パネル画像表示ボタン816がユーザによってクリックされることに対応する。
パネル画像P3を表示する旨の指示を受け付けたと表示制御部617が判定した場合(ステップS715;YES)には、処理がステップS717へ進む。
そして、ステップS717において、表示制御部617は、第2画像記憶部623からパネル画像P3を読み出して、
図6に示す第1画面800における表示領域AR1にパネル画像P3を表示する。その後、処理が
図8のステップS119へリターンする。
パネル画像P3を表示する旨の指示を受け付けていないと表示制御部617が判定した場合(ステップS715;NO)には、処理が
図8のステップS119へリターンする。
【0146】
図14を参照して説明したように、例えば、ユーザは、第1パネル画像表示ボタン816をクリックして、表示領域AR1にパネル画像P3を表示することによって、
図6に示す第1画面800の第1サイクル数表示部811に表示されたサイクル数NCの値と、パネル画像P3に含まれるサイクル数NCの値とを比較できる。また、第1サイクル数表示部811に表示されたサイクル数NCの値は、生成部613によってパネル画像P3から生成される。したがって、生成部613においてサイクル数NCの値を生成する処理が適正に実行されているか否かを確認できる。
【0147】
また、ユーザは、第1パネル画像表示ボタン816をクリックして、表示領域AR1にパネル画像P3を表示することによって、
図6に示す第1画面800の第1試験力表示部812に表示された試験力の値と、パネル画像P3に含まれる試験力の値とを比較できる。また、第1試験力表示部812に表示された試験力の値は、生成部613によってパネル画像P3から生成される。したがって、生成部613において試験力の値を生成する処理が適正に実行されているか否かを確認できる。
【0148】
また、ユーザは、第1パネル画像表示ボタン816をクリックして、表示領域AR1にパネル画像P3を表示することによって、
図6に示す第1画面800の第1試験状態表示部813に表示された試験状態ST2と、パネル画像P3に含まれる第2ランプ画像PL2とを比較できる。また、第1試験状態表示部813に表示された試験状態ST2は、第2ランプ画像PL2に基づき、第1判定部614によって判定される。したがって、第1判定部614の判定処理が適正に実行されているか否かを確認できる。
【0149】
次に、
図15を参照して、第2サーバ装置6の第2画面処理について説明する。
図15は、第2サーバ装置6の第2画面処理の一例を示すフローチャートである。
図15に示す第2画面処理は、
図8のステップS117において実行される。
まず、ステップS801において、表示制御部617は、第1疲労試験機1Aに関する情報を表示するか、第2疲労試験機1Bに関する情報を表示するかのユーザによる選択を受け付ける。
第2疲労試験機1Bに関する情報を表示するとの選択を受け付けた場合(ステップS801;NO)には、処理がステップS803へ進む。
そして、ステップS803において、表示制御部617は、第2疲労試験機1Bに関する情報を表示すると決定し、処理がステップS807へ進む。
第1疲労試験機1Aに関する情報を表示するとの選択を受け付けた場合(ステップS801;YES)には、処理がステップS805へ進む。
そして、ステップS805において、表示制御部617は、第1疲労試験機1Aに関する情報を表示すると決定し、処理がステップS807へ進む。
【0150】
次に、ステップS807において、表示制御部617は、第1判定部614の判定結果、すなわち、油圧源状態ST1、及び疲労試験の試験状態ST2を取得する。なお、油圧源状態ST1、及び試験状態ST2は、第1判定部614によって判定され、データ処理部616によって撮影画像Pに対応付けて第2画像記憶部623に記憶される。
次に、ステップS809において、表示制御部617は、サイクル数NCの値を取得する。なお、サイクル数NCの値は、生成部613によって生成され、データ処理部616によって撮影画像Pに対応付けて第2画像記憶部623に記憶される。
【0151】
次に、ステップS811において、表示制御部617は、第2画像記憶部623から試験機本体画像P1を読み出して、試験機本体画像P1を取得する。
次に、ステップS813において、表示制御部617は、第2画像記憶部623から試験片画像P2を読み出して、試験片画像P2を取得する。
次に、ステップS815において、表示制御部617は、第2画像記憶部623からパネル画像P3を読み出して、パネル画像P3を取得する。
次に、ステップS817において、表示制御部617は、ステップS807~ステップS815において取得したデータ、及び画像を、
図7に示す第2画面900として表示部65に表示する。その後、処理が
図8のステップS119へリターンする。
【0152】
図15を参照して説明したように、ユーザは、第1疲労試験機1A、又は第2疲労試験機1Bを選択することによって、第2画面900に、第1疲労試験機1Aに関する情報、又は第2疲労試験機1Bに関する情報を表示できる。したがって、ユーザの利便性を向上できる。
【0153】
次に、
図16を参照して、第2サーバ装置6のイベント処理について説明する。
図16は、第2サーバ装置6のイベント処理の一例を示すフローチャートである。
図16に示すイベント処理は、
図8のステップS119において実行される。
まず、ステップS901において、第2判定部615は、例えば、パネル画像P3に基づき、特定イベントVTが発生したか否かを判定する。
特定イベントVTが発生したと第2判定部615が判定した場合(ステップS901;YES)には、処理がステップS907へ進む。特定イベントVTが発生していないと第2判定部615が判定した場合(ステップS901;NO)には、処理がステップS903へ進む。
そして、ステップS903において、第2取得部612は、前回の特定イベントVTが発生した時点から第2期間が経過したか否かを判定する。
前回の特定イベントVTが発生した時点から第2期間が経過していないと第2取得部612が判定した場合(ステップS903;NO)には、処理が
図8のステップS121へリターンされる。前回の特定イベントVTが発生した時点から第2期間が経過したと第2取得部612が判定した場合(ステップS903;YES)には、処理がステップS905へ進む。
そして、ステップS905において、第2取得部612は、前回の特定イベントVTが発生した時点の後の第2期間における試験値、試験機本体画像P1、試験片画像P2、及びパネル画像P3を、第2画像記憶部623に記憶させる。その後、処理が
図8のステップS121へリターンされる。
【0154】
ステップS901でYESの場合には、ステップS907において、通知部618は、アドレス記憶部622に記憶されたメールアドレスを読み出す。
次に、ステップS909において、通知部618は、ステップS907で読み出したメールアドレスに(すなわち、端末装置7)に、特定イベントVTが発生したことを示す電子メールを送信する。なお、通知部618は、例えば、電子メールの本文に、特定イベントVTの発生日時、及び特定イベントVTの内容を示す情報を入力する。
次に、ステップS911において、第2取得部612は、特定イベントVTが発生した時点の前の第1期間における試験値、試験機本体画像P1、試験片画像P2、及びパネル画像P3を第2画像記憶部623に記憶させる。その後、処理が
図8のステップS121へリターンされる。
【0155】
図16を参照して説明したように、特定イベントVTが発生したと第2判定部615が判定した場合に、通知部618は、端末装置7に対して、特定イベントVTが発生したことを示す電子メールを送信するため、ユーザは、電子メールによって特定イベントVTの発生を確認できる。
【0156】
[8.態様と効果]
上述した本実施形態は、以下の態様の具体例であることが当業者により理解される。
【0157】
(第1項)
第1態様に関わる材料試験機の監視装置は、材料試験機本体を制御する制御装置の表示パネルを撮影した第1撮影画像を、第1カメラから取得する取得部と、前記第1撮影画像に含まれ、前記表示パネルに表示される試験値の撮影画像である試験値画像から、前記試験値画像が示す試験値を生成する生成部と、前記試験値を、前記第1撮影画像に対応付けて記憶部に記憶させるデータ処理部と、前記試験値を、前記第1撮影画像に対応付けてディスプレイに表示する表示制御部と、を備える。
【0158】
第1項に記載の材料試験機の監視装置によれば、生成部は、第1撮影画像に含まれ、前記表示パネルに表示される試験値(例えば、サイクル数NCの値)の撮影画像である試験値画像から、前記試験値画像が示す試験値を生成する。そして、表示制御部は、生成部によって生成された試験値を前記第1撮影画像に対応付けてディスプレイに表示する。
よって、生成部によって生成された試験値が、表示パネルを撮影した第1撮影画像に対応付けてディスプレイに表示されるため、試験値又は表示パネルを確認するために、材料試験機を監視するユーザが、材料試験機の設置場所に出向く必要性を低減できる。したがって、材料試験機の状態を監視するためのユーザの負担を軽減できる。
また、ユーザは、生成部によって生成された試験値と、前記第1撮影画像に含まれる試験値とを比較することによって、生成部において試験力の値を生成する処理が適正に実行されたか否かを確認できる。例えば、生成部によって生成された試験値と、前記第1撮影画像に含まれる試験値とが一致する場合には、生成部において試験値を生成する処理が適正に実行されたと確認できる。また、例えば、生成部によって生成された試験値と、前記第1撮影画像に含まれる試験値とが一致しない場合には、生成部において試験値を生成する処理が適正に実行されなかったと確認できる。
【0159】
(第2項)
第1項に記載の材料試験機の監視装置において、前記第1撮影画像に基づき、前記材料試験機の状態を判定する第1判定部を備え、前記データ処理部は、前記第1判定部の判定結果を、前記第1撮影画像に対応付けて記憶部に記憶させ、前記表示制御部は、前記第1判定部の判定結果を、前記第1撮影画像に対応付けて前記ディスプレイに表示する。
【0160】
第2項に記載の材料試験機の監視装置によれば、第1判定部は、前記第1撮影画像に基づき、前記材料試験機の状態を判定する。前記表示制御部は、前記第1判定部の判定結果を、前記第1撮影画像に対応付けて前記ディスプレイに表示する。
よって、材料試験機を監視するユーザが、前記材料試験機の状態を確認するために、材料試験機の設置場所に出向く必要性を低減できる。したがって、材料試験機の状態を監視するためのユーザの負担を軽減できる。
また、ユーザは、第1判定部によって判定された前記材料試験機の状態と、前記第1撮影画像とを比較することによって、第1判定部において前記材料試験機の状態を判定する処理が適正に実行されたか否かを確認できる。
【0161】
(第3項)
第2項に記載の材料試験機の監視装置において、前記表示パネルは、複数の表示ランプを含み、前記第1判定部は、前記複数の表示ランプの点灯態様の組み合わせに基づき、前記材料試験機の状態を判定する。
【0162】
第3項に記載の材料試験機の監視装置によれば、前記第1判定部は、前記複数の表示ランプの点灯態様の組み合わせに基づき、前記材料試験機の状態を判定する。よって、ユーザは、前記複数の表示ランプの点灯態様の組み合わせから、前記材料試験機の状態を判定する必要がない。したがって、ユーザの利便性を向上できる。
【0163】
(第4項)
第3項に記載の材料試験機の監視装置において、前記第1撮影画像は、前記複数の表示ランプに対応するランプ撮影画像を含み、前記複数の表示ランプの種々の点灯態様の前記ランプ撮影画像と、前記材料試験機の状態と、の関係を機械学習により学習させた状態認識モデルを備え、前記第1判定部は、前記ランプ撮影画像を、前記状態認識モデルに入力することによって、前記材料試験機本体の状態を判定する。
【0164】
第4項に記載の材料試験機の監視装置によれば、前記複数の表示ランプの種々の点灯態様の前記ランプ撮影画像と、前記材料試験機の状態と、の関係を機械学習により学習させた状態認識モデルを備え、前記第1判定部は、前記ランプ撮影画像を、前記状態認識モデルに入力することによって、前記材料試験機本体の状態を判定する。
したがって、前記ランプ撮影画像を、前記状態認識モデルに入力することによって、前記材料試験機本体の状態を判定するため、前記状態認識モデルを適正に学習させることによって、前記材料試験機本体の状態を適正に判定できる。また、前記第1判定部は、前記複数の表示ランプの点灯態様を個別に認識する必要がないので、処理を簡素化できる。
【0165】
(第5項)
第1項から第3項のいずれか1項に記載の材料試験機の監視装置において、前記表示パネルは、特定の記号と前記試験値とを表示する表示器を含み、前記生成部は、前記第1撮影画像に含まれる前記記号のサイズに基づいて、前記試験値画像に含まれる前記試験値の文字サイズを推定し、前記推定した文字サイズを用いた画像認識処理によって、前記試験値画像が示す前記試験値を生成する。
【0166】
第5項に記載の材料試験機の監視装置によれば、前記生成部は、前記第1撮影画像に含まれる前記記号のサイズに基づいて、前記試験値画像に含まれる前記試験値の文字サイズを推定し、前記推定した文字サイズを用いた画像認識処理によって、前記試験値画像が示す前記試験値を生成する。
したがって、前記記号のサイズに基づいて、前記試験値画像に含まれる前記試験値の文字サイズを推定するため、前記試験値の文字サイズを適正に推定できる。また、前記推定した文字サイズを用いた画像認識処理によって、前記試験値画像が示す前記試験値を生成するため、前記試験値を適正に生成できる。
【0167】
(第6項)
第4項に記載の材料試験機の監視装置において、前記取得部は、前記材料試験機を撮影した第2撮影画像を、第2カメラから取得し、前記データ処理部は、前記第2撮影画像を、前記第1撮影画像に対応付けて記憶部に記憶させ、前記表示制御部は、前記第2撮影画像を、前記試験値及び前記第1撮影画像に対応付けて前記ディスプレイに表示する。
【0168】
第6項に記載の材料試験機の監視装置によれば、前記表示制御部は、前記材料試験機を撮影した第2撮影画像を、前記試験値及び前記第1撮影画像に対応付けて前記ディスプレイに表示する。
よって、前記材料試験機を撮影した第2撮影画像をユーザが視認できる。したがって、前記材料試験機を視認するために、ユーザが材料試験機の設置場所に出向く必要性を低減できる。
また、前記第2撮影画像を前記試験値及び前記第1撮影画像に対応付けて前記ディスプレイに表示するため、前記試験値を、前記第1撮影画像及び前記第2撮影画像と比較できる。したがって、生成部において試験値を生成する処理が適正に実行されたか否かを確認できる。
【0169】
(第7項)
第6項に記載の材料試験機の監視装置において、特定イベントが発生したか否かを判定する第2判定部を備え、前記特定イベントが発生したと前記第2判定部が判定した場合に、前記取得部は、前記特定イベントが発生した時点の前の第1期間における前記試験値、前記第1撮影画像、及び前記第2撮影画像を前記記憶部に記憶させ、前記特定イベントが発生した時点の後の第2期間における前記試験値、前記第1撮影画像、及び前記第2撮影画像を前記記憶部に記憶させる。
【0170】
第7項に記載の材料試験機の監視装置によれば、特定イベントが発生した場合には、前記特定イベントが発生した時点の前の第1期間における前記試験値、前記第1撮影画像、及び前記第2撮影画像が前記記憶部に記憶され、前記特定イベントが発生した時点の後の第2期間における前記試験値、前記第1撮影画像、及び前記第2撮影画像が前記記憶部に記憶される。
よって、ユーザは、前記特定イベントが発生した時点の前の第1期間における前記試験値、前記第1撮影画像、及び前記第2撮影画像と、前記特定イベントが発生した時点の後の第2期間における前記試験値、前記第1撮影画像、及び前記第2撮影画像と、を前記記憶部から読み出して確認できる。したがって、前記特定イベントが発生した時点の前後の情報を確認できるため、ユーザの利便性を向上できる。
【0171】
(第8項)
第7項に記載の材料試験機の監視装置において、前記特定イベントは、前記材料試験機本体におけるアラームの発生時、前記制御装置におけるアラームの発生時、前記材料試験機本体における材料試験の終了時、及び前記試験値が特定値である場合、の少なくとも1つを含む。
【0172】
第8項に記載の材料試験機の監視装置によれば、前記特定イベントは、前記材料試験機本体におけるアラームの発生時、前記制御装置におけるアラームの発生時、前記材料試験機本体における材料試験の終了時、及び前記試験値が特定値である場合、の少なくとも1つを含む。
よって、ユーザは、前記特定イベントを適正に設定できる。ユーザは、例えば、前記特定イベントを、前記材料試験機本体におけるアラームの発生時、前記制御装置におけるアラームの発生時、前記材料試験機本体における材料試験の終了時、及び前記試験値が特定値である場合のいずれか1つに設定してもよい。また、ユーザは、例えば、前記特定イベントを、前記材料試験機本体におけるアラームの発生時、前記制御装置におけるアラームの発生時、前記材料試験機本体における材料試験の終了時、及び前記試験値が特定値である場合に設定してもよい。したがって、ユーザの利便性を向上できる。
【0173】
(第9項)
第7項又は第8項に記載の材料試験機の監視装置において、端末装置と通信可能に構成され、前記特定イベントが発生したと前記第2判定部が判定した場合に、前記端末装置に対して、前記特定イベントが発生したことを示す電子メールを送信する通知部を備える。
【0174】
第9項に記載の材料試験機の監視装置によれば、前記特定イベントが発生したと前記第2判定部が判定した場合に、通知部が、前記端末装置に対して、前記特定イベントが発生したことを示す電子メールを送信する。
よって、前記端末装置のユーザは、前記特定イベントが発生したことを容易に確認できる。したがって、前記端末装置のユーザの利便性を向上できる。
【0175】
(第10項)
第9項に記載の材料試験機の監視装置において、前記通知部は、前記端末装置からの要求に応じて、前記記憶部に記憶された前記試験値、前記第1撮影画像、及び前記第2撮影画像の少なくとも1つを、前記端末装置に送信する。
【0176】
第10項に記載の材料試験機の監視装置によれば、前記通知部は、前記端末装置からの要求に応じて、前記記憶部に記憶された前記試験値、前記第1撮影画像、及び前記第2撮影画像の少なくとも1つを、前記端末装置に送信する。
よって、前記端末装置のユーザは、前記記憶部に記憶された前記試験値、前記第1撮影画像、及び前記第2撮影画像の少なくとも1つを確認できる。したがって、前記端末装置のユーザの利便性を向上できる。
【0177】
(第11項)
第6項に記載の材料試験機の監視装置において、前記第1カメラ及び前記第2カメラとの間の帯域上限値と、前記第1撮影画像のサイズである第1サイズと、及び前記第2撮影画像のサイズである第2サイズと、に基づき、前記第1カメラ及び前記第2カメラのフレームレートを決定する決定部を備える。
【0178】
第11項に記載の材料試験機の監視装置によれば、前記第1カメラ及び前記第2カメラとの間の帯域上限値と、前記第1撮影画像のサイズである第1サイズと、及び前記第2撮影画像のサイズである第2サイズと、に基づき、前記第1カメラ及び前記第2カメラのフレームレートが決定される。
帯域上限値が小さい程、フレームレートを小さく設定する必要がある。また、第1サイズ及び第2サイズの各々が大きい程、フレームレートを小さく設定する必要がある。このような関係があるため、前記第1カメラ及び前記第2カメラのフレームレートを適正に決定できる。
【0179】
(第12項)
第11項に記載の材料試験機の監視装置において、前記第1撮影画像の前記第1サイズは、前記第2撮影画像の前記第2サイズよりも大きく、前記第1撮影画像は、前記状態認識モデルでの前記材料試験機の状態の判定に適した解像度に設定される。
【0180】
第12項に記載の材料試験機の監視装置によれば、前記第1撮影画像の前記第1サイズは、前記第2撮影画像の前記第2サイズよりも大きく、前記第1撮影画像は、前記状態認識モデルでの前記材料試験機の状態の判定に適した解像度に設定される。
よって、前記第1撮影画像は、前記状態認識モデルでの前記材料試験機の状態の判定に適した解像度に設定することによって、前記材料試験機の状態の判定を適正に実行できる。また、前記第1撮影画像は、前記状態認識モデルでの前記材料試験機の状態の判定に適した解像度に設定するために、前記第1撮影画像の前記第1サイズは、前記第2撮影画像の前記第2サイズよりも大きく設定される。したがって、前記第1撮影画像の前記第1サイズを適正に設定できる。
【0181】
(第13項)
第11項又は第12項に記載の材料試験機の監視装置において、前記第1カメラの台数が第1台数であり、前記第2カメラの台数が第2台数である場合に、前記決定部は、前記帯域上限値と、前記第1サイズ及び前記第2サイズと、前記第1台数及び前記第2台数とに基づき、前記第1カメラ及び前記第2カメラのフレームレートを決定する。
【0182】
第13項に記載の材料試験機の監視装置によれば、前記帯域上限値と、前記第1サイズ及び前記第2サイズと、前記第1台数及び前記第2台数とに基づき、前記第1カメラ及び前記第2カメラのフレームレートを決定される。
前記第1台数及び前記第2台数の各々が大きい程、フレームレートを小さく設定する必要がある。このような関係があるため、前記第1カメラ及び前記第2カメラのフレームレートを適正に決定できる。
【0183】
(第14項)
第2態様に関わる材料試験機の監視システムは、材料試験機を制御する制御装置の表示パネルを撮影して撮影画像を生成するカメラと、前記カメラと通信可能に接続された監視装置と、を備える監視システムであって、前記監視装置は、前記カメラから前記撮影画像を取得する取得部と、前記表示パネルに表示される試験値画像から、前記試験値画像が示す試験値を生成する生成部と、前記試験値を、前記撮影画像に対応付けて記憶部に記憶させるデータ処理部と、前記試験値を、前記撮影画像に対応付けてディスプレイに表示する表示制御部と、を備える。
【0184】
第14項に記載の材料試験機の監視システムによれば、第1項に記載の材料試験機の監視装置と同様の作用効果を奏する。
【0185】
[9.その他の実施形態]
なお、本実施形態に係る監視システム100は、あくまでも本発明に係る材料試験機の監視システムの態様の例示であり、本発明の主旨を逸脱しない範囲において任意に変形および応用が可能である。
【0186】
例えば、本実施形態では、監視システム100が、第1サーバ装置5と、第2サーバ装置6とを備える場合について説明するが、これに限定されない。例えば、第1サーバ装置5と、第2サーバ装置6とが、1つのサーバ装置として構成されてもよい。
【0187】
また、本実施形態では、材料試験機が疲労試験機1である場合について説明するが、これに限定されない。材料試験機が、例えば、引張試験機、圧縮試験機、曲げ試験機、ねじり試験機、衝撃試験機等であってもよい。
【0188】
また、
図4に示した各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。
【0189】
また、
図8~
図16の各々に示すフローチャートの処理単位は、第2サーバ装置6による処理を理解容易にするために、主な処理内容に応じて分割したものである。
図8~
図16の各々のフローチャートに示す処理単位の分割の仕方や名称によって制限されることはなく、処理内容に応じて、さらに多くの処理単位に分割することもできるし、1つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
【0190】
第2サーバ装置6が第2プロセッサ61に実行させる第2制御プログラム621は、コンピュータで読み取り可能に記録した記録媒体に記録しておくことも可能である。
記録媒体としては、磁気的、光学的記録媒体又は半導体メモリデバイスを用いることができる。具体的には、フレキシブルディスク、HDD、CD-ROM(Compact Disk Read Only Memory)、DVD、Blu-ray(登録商標) Disc、光磁気ディスク、フラッシュメモリ、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。
また、記録媒体は、第2サーバ装置6が備える内部記憶装置であるRAM、ROM、HDD等の不揮発性記憶装置であってもよい。また、第2制御プログラム621を他のサーバ装置等に記憶させておき、他のサーバ装置から第2サーバ装置6に、第2制御プログラム621をダウンロードしてもよい。
【符号の説明】
【0191】
1、1A、1B 疲労試験機(材料試験機)
1A 第1疲労試験機
1B 第2疲労試験機
10、10A、10B 試験機本体(材料試験機本体)
20、20A、20B 制御装置
21 表示パネル
30 ディスプレイ(表示器)
31 パワーユニット操作キー
311a、312b、313c、314d 表示ランプ(複数の表示ランプ)
32 試験操作キー
321a、322b 表示ランプ(複数の表示ランプ)
33、34,35 表示器領域
331~334、341,342、351、352 マーカ
3 カメラ
31A、31B、32A、32B カメラ(第2カメラ)
33A、33B カメラ(第1カメラ)
5 第1サーバ装置
51 プロセッサ
511 第1取得部
52 メモリ
521 第1制御プログラム
522 第1画像記憶部
56 第1通信インターフェース
6 第2サーバ装置(監視装置)
61 第2プロセッサ
611 決定部
612 第2取得部(取得部)
613 生成部
614 第1判定部
615 第2判定部
616 データ処理部
617 表示制御部
618 通知部
62 第2メモリ
621 第2制御プログラム
622 アドレス記憶部
623 第2画像記憶部
64 入力部
65 表示部(ディスプレイ)
66 第2通信インターフェース
7 端末装置
800 第1画面
900 第2画面
BMX 帯域上限値
FP フレームレート
MD1 油圧状態認識モデル(状態認識モデル)
MD2 試験状態認識モデル(状態認識モデル)
N1、N2、N3 台数
NC サイクル数(試験値)
NW1、NW2 ネットワーク
P 撮影画像
P1 試験機本体画像(第2撮影画像)
P2 試験片画像(第2撮影画像)
P3 パネル画像(第1撮影画像)
PA1、PA2、PA3 撮影範囲
PD、PD1、PD2 ディスプレイ画像
PL1、PL11、PL12 第1ランプ画像(ランプ撮影画像)
PL2、PL21、PL22 第2ランプ画像(ランプ撮影画像)
ST1 油圧源状態
ST2 試験状態
VT 特定イベント