(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023043144
(43)【公開日】2023-03-28
(54)【発明の名称】分析装置の監視装置
(51)【国際特許分類】
G01N 3/32 20060101AFI20230320BHJP
【ＦＩ】
G01N3/32 Z
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2022100349
(22)【出願日】2022-06-22
(31)【優先権主張番号】P 2021149853
(32)【優先日】2021-09-15
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000001993
【氏名又は名称】株式会社島津製作所
(74)【代理人】
【識別番号】110001081
【氏名又は名称】弁理士法人クシブチ国際特許事務所
(72)【発明者】
【氏名】萩原 大輔
(72)【発明者】
【氏名】西村 泰紀
(72)【発明者】
【氏名】松浦 融
【テーマコード（参考）】
2G061
【Ｆターム（参考）】
2G061AA01
2G061AB05
2G061BA15
2G061DA19
2G061EA01
2G061EA02
2G061EB05
2G061EB06
2G061EC04
(57)【要約】
【課題】分析装置の状態を、ユーザが容易に把握できるようにする。
【解決手段】監視装置１０は、分析装置を制御する制御装置４０の表示パネル４１の撮像画像を取得する取得部１１１と、撮像画像を記憶する画像記憶部１２と、撮像画像に基づき、分析装置の状態を判定する状態判定部１１３と、を備える。
【選択図】図５
【解決手段】監視装置１０は、分析装置を制御する制御装置４０の表示パネル４１の撮像画像を取得する取得部１１１と、撮像画像を記憶する画像記憶部１２と、撮像画像に基づき、分析装置の状態を判定する状態判定部１１３と、を備える。
【選択図】図５
【特許請求の範囲】
【請求項1】
分析装置を制御する制御装置の表示パネルの撮像画像を取得する取得部と、
前記撮像画像を記憶する画像記憶部と、
前記撮像画像に基づき、前記分析装置の状態を判定する状態判定部と、
を備える分析装置の監視装置。
前記撮像画像を記憶する画像記憶部と、
前記撮像画像に基づき、前記分析装置の状態を判定する状態判定部と、
を備える分析装置の監視装置。
【請求項2】
前記表示パネルは、表示器として複数の表示ランプを含み、
前記状態判定部は、
前記撮像画像に含まれ、前記複数の表示ランプに対応する第１撮像画像に基づき、前記複数の表示ランプの点灯態様の組み合わせが示す前記分析装置の状態を判定する、
請求項１に記載の分析装置の監視装置。
前記状態判定部は、
前記撮像画像に含まれ、前記複数の表示ランプに対応する第１撮像画像に基づき、前記複数の表示ランプの点灯態様の組み合わせが示す前記分析装置の状態を判定する、
請求項１に記載の分析装置の監視装置。
【請求項3】
前記第１撮像画像における第１領域と、前記表示ランプの点灯態様が変化した場合の画像の変化が前記第１領域よりも大きい第２領域とを決定し、前記第２領域の画像を含む判定用画像を生成する画像処理部を備え、
前記状態判定部は、前記第１撮像画像として前記判定用画像を取得する、
請求項２に記載の分析装置の監視装置。
前記状態判定部は、前記第１撮像画像として前記判定用画像を取得する、
請求項２に記載の分析装置の監視装置。
【請求項4】
前記画像処理部は、前記第１領域をマスクするマスク画像を前記第１撮像画像に適用することによって、前記判定用画像を生成する、
請求項３に記載の分析装置の監視装置。
請求項３に記載の分析装置の監視装置。
【請求項5】
前記複数の表示ランプの種々の点灯態様の前記第１撮像画像と、前記分析装置の状態と、の関係を機械学習により学習させた状態認識モデルを備え、
前記状態判定部は、前記第１撮像画像を前記状態認識モデルに入力することにより、前記分析装置の状態を判定する、
請求項２または請求項３に記載の分析装置の監視装置。
前記状態判定部は、前記第１撮像画像を前記状態認識モデルに入力することにより、前記分析装置の状態を判定する、
請求項２または請求項３に記載の分析装置の監視装置。
【請求項6】
前記状態判定部は、前記状態認識モデルを用いて前記分析装置の状態を判定したときは、前記状態の判定結果に当該判定の確度に応じた警告情報を付す、
請求項５に記載の分析装置の監視装置。
請求項５に記載の分析装置の監視装置。
【請求項7】
前記撮像画像に対して画像認識処理を行う画像認識部を備え、
前記表示パネルには、前記表示器が設けられた領域である表示器領域の各々の少なくとも２つの隅に、前記表示器領域の識別コードを示すバーコードが付されたマーカが配置され、
前記画像認識部は、
前記撮像画像に含まれる前記マーカの撮像画像から、前記識別コードを取得し、
前記マーカの位置および、前記識別コードに基づいて、前記撮像画像における前記表示器領域の各々に対応する画像領域を特定する、
請求項２または請求項３に記載の分析装置の監視装置。
前記表示パネルには、前記表示器が設けられた領域である表示器領域の各々の少なくとも２つの隅に、前記表示器領域の識別コードを示すバーコードが付されたマーカが配置され、
前記画像認識部は、
前記撮像画像に含まれる前記マーカの撮像画像から、前記識別コードを取得し、
前記マーカの位置および、前記識別コードに基づいて、前記撮像画像における前記表示器領域の各々に対応する画像領域を特定する、
請求項２または請求項３に記載の分析装置の監視装置。
【請求項8】
前記表示器領域の少なくとも一つは矩形であり、前記表示パネルには、少なくとも一つの矩形の前記表示器領域の４隅に前記マーカが配置され、
前記画像認識部は、前記矩形の表示器領域の４隅に配された前記マーカの位置に基づき、前記画像領域の画像の歪みを補正する、
請求項７に記載の分析装置の監視装置。
前記画像認識部は、前記矩形の表示器領域の４隅に配された前記マーカの位置に基づき、前記画像領域の画像の歪みを補正する、
請求項７に記載の分析装置の監視装置。
【請求項9】
前記表示器の少なくとも一つは、特定の記号と数値とを表示する数値表示器であり、
前記画像認識部は、
前記数値表示器に表示される前記記号のサイズに基づいて、前記数値表示器に表示される前記数値の文字サイズを推定し、
前記推定した文字サイズを用いた画像認識処理により、前記数値表示器に表示される数値データを生成する、
請求項７に記載の分析装置の監視装置。
前記画像認識部は、
前記数値表示器に表示される前記記号のサイズに基づいて、前記数値表示器に表示される前記数値の文字サイズを推定し、
前記推定した文字サイズを用いた画像認識処理により、前記数値表示器に表示される数値データを生成する、
請求項７に記載の分析装置の監視装置。
【請求項10】
前記分析装置は疲労試験を実行し、
前記数値表示器が表示する数値は、前記疲労試験のサイクル数を含み、
前記取得部は、前記疲労試験において所定の時間間隔で撮像された複数の前記撮像画像を取得し、
前記画像認識部は、前記複数の撮像画像の各々から前記サイクル数の値を表す前記数値データを生成し、
前記監視装置は、前記画像認識部が生成した前記サイクル数の数値データに基づいて前記撮像画像に対応付けるサイクル数の値であるサイクル数判定値を更新する更新部を備え、
前記更新部は、
前記複数の撮像画像の一つである注目画像よりも前に撮像された少なくとも３つの前記撮像画像の各々から生成された前記サイクル数の数値データの時間に対する回帰直線を求め、
前記注目画像から生成された前記サイクル数の数値データの値である注目値の前記回帰直線との差分量が所定量以内である場合には、前記注目値により前記サイクル数判定値を更新する、
請求項９に記載の分析装置の監視装置。
前記数値表示器が表示する数値は、前記疲労試験のサイクル数を含み、
前記取得部は、前記疲労試験において所定の時間間隔で撮像された複数の前記撮像画像を取得し、
前記画像認識部は、前記複数の撮像画像の各々から前記サイクル数の値を表す前記数値データを生成し、
前記監視装置は、前記画像認識部が生成した前記サイクル数の数値データに基づいて前記撮像画像に対応付けるサイクル数の値であるサイクル数判定値を更新する更新部を備え、
前記更新部は、
前記複数の撮像画像の一つである注目画像よりも前に撮像された少なくとも３つの前記撮像画像の各々から生成された前記サイクル数の数値データの時間に対する回帰直線を求め、
前記注目画像から生成された前記サイクル数の数値データの値である注目値の前記回帰直線との差分量が所定量以内である場合には、前記注目値により前記サイクル数判定値を更新する、
請求項９に記載の分析装置の監視装置。
【請求項11】
前記更新部は、
前記注目値の前記回帰直線からの差分量が所定量以内ではない場合において、注目画像より前に撮像された所定数の前記撮像画像から生成された前記サイクル数の数値データの全てが同じ値であるときは、前記同じ値により前記サイクル数判定値を更新すると共に、前記回帰直線を更新する、
請求項１０に記載の分析装置の監視装置。
前記注目値の前記回帰直線からの差分量が所定量以内ではない場合において、注目画像より前に撮像された所定数の前記撮像画像から生成された前記サイクル数の数値データの全てが同じ値であるときは、前記同じ値により前記サイクル数判定値を更新すると共に、前記回帰直線を更新する、
請求項１０に記載の分析装置の監視装置。
【請求項12】
前記更新部は、
前記注目値の前記回帰直線からの差分量が所定量以内ではない場合において、注目画像より前に撮像された所定数の前記撮像画像から生成された前記サイクル数の数値データの少なくとも一つが他と異なる値であるときは、前記サイクル数判定値を更新しない、
請求項１０に記載の分析装置の監視装置。
前記注目値の前記回帰直線からの差分量が所定量以内ではない場合において、注目画像より前に撮像された所定数の前記撮像画像から生成された前記サイクル数の数値データの少なくとも一つが他と異なる値であるときは、前記サイクル数判定値を更新しない、
請求項１０に記載の分析装置の監視装置。
【請求項13】
前記更新部は、
前記サイクル数判定値を更新しないときは、前記サイクル数判定値に警告情報を付す、
請求項１２に記載の分析装置の監視装置。
前記サイクル数判定値を更新しないときは、前記サイクル数判定値に警告情報を付す、
請求項１２に記載の分析装置の監視装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、分析装置の監視装置に関する。
【背景技術】
【0002】
従来、分析装置の動作状態は、分析装置のユーザによって管理されている。例えば、特許文献１に記載の疲労試験機は、試験を制御する制御装置が表示器を備え、試験条件等を表示器に表示する。ユーザは、表示器の表示を目視することによって、疲労試験機の動作状態を把握し、管理する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００６－２９２４００号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記従来の構成では、ユーザは、疲労試験機の動作状態を確認すべく、制御装置が設置された場所へ出向く必要がある。疲労試験機における状態の変化等を遠隔地で、あるいは疲労試験の後に把握できるように、制御装置の表示パネルの画像や映像を遠隔地に設置された装置へ送信すること、及び、記憶装置に記憶させておくことができる。しかしながら、この方法では、表示パネルを映した膨大な画像又は映像の中から、ユーザが目視によって、材料試験機の状態の判断、或いは、その変化点等を把握する必要があり、これは容易なことではない。
【0005】
また、疲労試験機等の材料試験機に限らず、複数の分析装置を保有するユーザが近年増加している。これら複数の分析装置には、通信ネットワークに接続できない制御装置を有する分析装置が含まれる場合がある。また、メーカーの異なる分析装置が混在する場合もある。これらの場合には、通信ネットワークを利用可能であったとしても、通信ネットワークを利用して分析結果を収集・解析することができないことがある。例えば、分析装置の制御に使用される制御アプリケーションが単一の制御アプリケーションに限られる場合、通信ネットワークが存在していても、分析結果を収集・解析することができない。
本発明は、このような事情に鑑みなされたものであり、ユーザが分析装置の状態を容易に把握できるようにすることを目的とする。
本発明は、このような事情に鑑みなされたものであり、ユーザが分析装置の状態を容易に把握できるようにすることを目的とする。
【課題を解決するための手段】
【0006】
本発明の一の態様に係る監視装置は、分析装置を制御する制御装置の表示パネルの撮像画像を取得する取得部と、前記撮像画像を記憶する画像記憶部と、前記撮像画像に基づき、前記分析装置の状態を判定する状態判定部と、を備える。
【発明の効果】
【0007】
本発明によれば、分析装置を制御する制御装置の表示パネルの撮像画像に基づいて分析装置の状態が判定される。このため、ユーザは、分析装置の状態を容易に把握することができる。また、制御装置の表示パネルの撮像画像に基づいて分析装置の状態を判定するため、制御装置そのものが通信ネットワークに接続されていたり、通信機能を搭載していたりする必要がない。また、状態判定の対象に、メーカーの異なる制御装置が含まれる場合であっても、表示パネルに表示されている情報を状態判定部により判定することによって、共通のアプリケーションを用いて制御情報や分析情報の抽出や解析を行うことができる。
【図面の簡単な説明】
【0008】
【図1】本発明の一実施形態に係る、材料試験機の状態を監視する監視装置の利用形態の一例を示す図である。
【図2】材料試験機を制御する制御装置の、表示パネルの構成の一例を示す図である。
【図3A】制御装置のパワーユニット操作キーに設けられた４つの表示ランプの点灯態様と、材料試験機の油圧源状態と、の関係の一例を示す図である。
【図3B】制御装置のパワーユニット操作キーに設けられた４つの表示ランプの点灯態様と、材料試験機の油圧源状態と、の関係の一例を示す図である。
【図3C】制御装置のパワーユニット操作キーに設けられた４つの表示ランプの点灯態様と、材料試験機の油圧源状態と、の関係の一例を示す図である。
【図3D】制御装置のパワーユニット操作キーに設けられた４つの表示ランプの点灯態様と、材料試験機の油圧源状態と、の関係の一例を示す図である。
【図3E】制御装置のパワーユニット操作キーに設けられた４つの表示ランプの点灯態様と、材料試験機の油圧源状態と、の関係の一例を示す図である。
【図3F】制御装置のパワーユニット操作キーに設けられた４つの表示ランプの点灯態様と、材料試験機の油圧源状態と、の関係の一例を示す図である。
【図4A】制御装置の試験操作キーに設けられた２つの表示ランプの点灯態様と、材料試験機の試験状態と、の関係の一例を示す図である。
【図4B】制御装置の試験操作キーに設けられた２つの表示ランプの点灯態様と、材料試験機の試験状態と、の関係の一例を示す図である。
【図5】監視装置の構成の一例を示す図である。
【図6】注目画像から表示器領域の部分画像を取得する画像認識部の動作について説明するための図である。
【図7】出力部が表示部に出力するデータ表示画面の一例を示す図である。
【図8】監視装置が実行する処理の一例を示すフローチャートである。
【図15】出力部が表示部に出力するデータ表示画面の他の一例を示す図である。
【図16】監視装置の表示パネルの他の一例を示す図である。
【図17】第２実施形態の監視装置の構成の一例を示す図である。
【図18】マスク画像生成処理の一例を示すフローチャートである。
【図19】マスク画像生成処理の一例を示す模式図である。
【図20】判定前画像処理の一例を示すフローチャートである。
【図21】第３実施形態におけるマスク画像生成処理の一例を示すフローチャートである。
【図22】第４実施形態における状態判定部の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、図面を参照して本発明の実施形態について説明する。
【0010】
［１．第１実施形態］
［１．１．監視装置の利用形態］
以下では分析装置の例として、材料試験機を挙げる。ただし、本願発明は材料試験機に限定されるものではなく、分析装置一般に適用される発明である。分析装置としては、例えば、クロマトグラム装置、質量分析装置、光学分析装置、電子天びんなどが挙げられるが、その他の装置であってもよい。
図１は、監視装置１０の利用形態の一例を示す図である。監視装置１０は、カメラ８０と接続されている。カメラ８０は、制御装置４０の表示パネル４１の画像を撮像する。制御装置４０は、材料試験機２０を制御する。
［１．１．監視装置の利用形態］
以下では分析装置の例として、材料試験機を挙げる。ただし、本願発明は材料試験機に限定されるものではなく、分析装置一般に適用される発明である。分析装置としては、例えば、クロマトグラム装置、質量分析装置、光学分析装置、電子天びんなどが挙げられるが、その他の装置であってもよい。
図１は、監視装置１０の利用形態の一例を示す図である。監視装置１０は、カメラ８０と接続されている。カメラ８０は、制御装置４０の表示パネル４１の画像を撮像する。制御装置４０は、材料試験機２０を制御する。
【0011】
材料試験機２０は、例えば疲労試験機であり、基台２１上に、一対の支柱２２ａ，２２ｂと、ヨーク２３と、によって負荷枠を形成し、支柱２２ａ，２２ｂに、クロスヘッド２４を固定して構成される。
【0012】
基台２１には、油圧アクチュエータ２５が配置され、油圧アクチュエータ２５のピストンロッド２５ａには、試験片ＳＰの下端を固定する下部治具２６ａが取り付けられる。また、クロスヘッド２４には、ロードセル２７を介して、試験片ＳＰの上端を固定する上部治具２６ｂが取り付けられる。下部治具２６ａ、及び、上部治具２６ｂは、それぞれ、試験片ＳＰを把持するチャック機構を備える。
ロードセル２７は、試験片ＳＰに作用する試験力を検出する。
ロードセル２７は、試験片ＳＰに作用する試験力を検出する。
【0013】
油圧アクチュエータ２５は、サーボ弁２８によって、圧油方向と圧油量とが制御されて、ピストンロッド２５ａが伸縮する。その結果、上部治具２６ｂと下部治具２６ａとの間に固定された試験片ＳＰに試験力が印加される。油圧アクチュエータ２５のストローク、すなわち試験片ＳＰの変位は、油圧アクチュエータ２５に取り付けられた差動トランス２９によって検出される。
【0014】
材料試験機２０には、油圧源３０が設けられる。油圧源３０は、油圧アクチュエータ２５に油圧を供給し、油圧アクチュエータ２５を駆動する。すなわち、油圧アクチュエータ２５は、油圧源３０から供給される油圧によって駆動され、サーボ弁２８により油圧が調整されることによりピストンロッド２５ａが伸縮される。油圧源３０は、油圧ポンプ３０ａと、マニフォールド３０ｂと、配管バルブ３０ｃと、ロードバルブ３０ｄと、を有する。マニフォールド３０ｂは、油圧ポンプ３０ａが発生した油圧を、材料試験機２０に供給するほか、他の装置（例えば、他の材料試験機）にも供給し得る。
【0015】
配管バルブ３０ｃおよびロードバルブ３０ｄは、制御装置４０からの指示によりオープンし、及びクローズする。配管バルブ３０ｃがオープンすることにより、油圧ポンプ３０ａにより発生した油圧が、マニフォールド３０ｂに導入される。また、ロードバルブ３０ｄがオープンすることにより、マニフォールド３０ｂ内の油圧が油圧アクチュエータ２５に導入される。配管バルブ３０ｃとロードバルブ３０ｄの両方がオープンすることにより、油圧ポンプ３０ａで発生した油圧が、サーボ弁２８を介して油圧アクチュエータ２５に導入できる状態となる。
【0016】
制御装置４０は、ロードセル２７から出力される試験力信号ＦＳを取得し、試験力信号ＦＳをＡ／Ｄ変換して試験力情報を生成する。制御装置４０は、差動トランス２９から出力される変位信号ＤＳを取得し、変位信号ＤＳをＡ／Ｄ変換して変位情報を生成する。制御装置４０は、試験力情報、及び、変位情報に基づいて、指令情報を生成する。制御装置４０は、指令情報をＤ／Ａ変換することによって指令信号ＣＳを生成し、生成した指令信号ＣＳをサーボ弁２８に出力する。
【0017】
サーボ弁２８は、制御装置４０から出力される指令信号ＣＳに従って、油圧アクチュエータ２５に対して、圧油方向と圧油量とを制御する。なお、材料試験機２０と制御装置４０の間に、試験力信号ＦＳ、変位信号ＤＳ、及び指令信号ＣＳをそれぞれ増幅する増幅器を配置してもよい。
【0018】
材料試験機２０は、制御装置４０によって制御され、例えば、試験片ＳＰの疲労試験を行う。疲労試験では、材料試験機２０は、試験片ＳＰに引張応力σを繰り返し印加する。引張応力σ及び繰り返し印加の上限回数は、予め設定される。上記上限回数は、例えば、１０２回～１０８回である。
【0019】
カメラ８０は、例えば、三脚８１に固定され、制御装置４０の表示パネル４１の全体を撮像できる位置に配置される。監視装置１０は、カメラ８０により、制御装置４０の表示パネル４１の撮像画像を所定の時間間隔で取得する。監視装置１０は、取得した撮像画像に基づき、制御装置４０の表示パネル４１に設けられた表示器の表示をデータ化する。
「データ化」については、図５を参照して更に説明する。
「データ化」については、図５を参照して更に説明する。
【0020】
［１．２．制御装置の表示パネル構成］
図２は、制御装置４０の表示パネル４１の構成の一例を示す図である。
表示パネル４１には、電源スイッチ４１０、ファンクションキー４１１、及びダイヤル４１２が配置される。電源スイッチ４１０は、制御装置４０の電源をオン及びオフする。ファンクションキー４１１は、制御装置４０に特定の機能の実行を指示する。ダイヤル４１２は、設定値の変更等の操作に利用される。
また、表示パネル４１には、設定キー４１３、テンキー４１４、及び、非常停止スイッチ４１５が配置される。設定キー４１３は、制御装置４０の動作を設定する。テンキー４１４は、数値を入力する際に利用される。非常停止スイッチ４１５は、材料試験機２０を非常停止させる。
図２は、制御装置４０の表示パネル４１の構成の一例を示す図である。
表示パネル４１には、電源スイッチ４１０、ファンクションキー４１１、及びダイヤル４１２が配置される。電源スイッチ４１０は、制御装置４０の電源をオン及びオフする。ファンクションキー４１１は、制御装置４０に特定の機能の実行を指示する。ダイヤル４１２は、設定値の変更等の操作に利用される。
また、表示パネル４１には、設定キー４１３、テンキー４１４、及び、非常停止スイッチ４１５が配置される。設定キー４１３は、制御装置４０の動作を設定する。テンキー４１４は、数値を入力する際に利用される。非常停止スイッチ４１５は、材料試験機２０を非常停止させる。
【0021】
また、表示パネル４１には、ディスプレイ５０、パワーユニット操作キー５１、及び、試験操作キー５２が配置される。パワーユニット操作キー５１は、材料試験機２０の油圧源３０を操作する際に利用される。試験操作キー５２は、材料試験機２０における試験の開始及び停止を指示する。
ディスプレイ５０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等で構成される表示スクリーンと、表示スクリーン上に配置されたタッチセンサと、を備えるタッチパネルである。
ディスプレイ５０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等で構成される表示スクリーンと、表示スクリーン上に配置されたタッチセンサと、を備えるタッチパネルである。
【0022】
ディスプレイ５０には、材料試験機２０が実行している疲労試験での試験力、ピストン変位、疲労試験終了までの残り時間等の、材料試験機２０の動作についての種々の情報が表示される。第１実施形態及び後述する各実施形態では、ディスプレイ５０の表示画面には、特に、サイクル数表示部５０１と、特定記号表示部５０２と、が設けられる。サイクル数表示部５０１は、疲労試験における応力印加のサイクル数を表示する。特定記号表示部５０２は、予め定められた特定記号（例えば、アイコン）を表示する。
また、ディスプレイ５０の表示画面には、試験状態表示部５０３が設けられる。試験状態表示部５０３は、材料試験機２０において試験が実行されているか否かを表示する。試験状態表示部５０３には、例えば所定の背景色に重ねて「試験中」または「停止中」の文字が表示される。第１実施形態及び後述する各実施形態では、試験状態表示部５０３には、例えば、試験の実行中には緑色の背景に重ねて「試験中」の文字が表示され、試験停止中には赤色の背景に重ねて「停止中」の文字が表示される。
また、ディスプレイ５０の表示画面には、試験状態表示部５０３が設けられる。試験状態表示部５０３は、材料試験機２０において試験が実行されているか否かを表示する。試験状態表示部５０３には、例えば所定の背景色に重ねて「試験中」または「停止中」の文字が表示される。第１実施形態及び後述する各実施形態では、試験状態表示部５０３には、例えば、試験の実行中には緑色の背景に重ねて「試験中」の文字が表示され、試験停止中には赤色の背景に重ねて「停止中」の文字が表示される。
【0023】
パワーユニット操作キー５１は、起動ボタン５１１と、停止ボタン５１２と、マニフォールドボタン５１３と、加圧ボタン５１４とを有する。起動ボタン５１１および停止ボタン５１２は、それぞれ、油圧ポンプ３０ａを起動および停止するために用いられる。マニフォールドボタン５１３は、配管バルブ３０ｃをオープン／クローズするために用いられる。また、加圧ボタン５１４は、ロードバルブ３０ｄをオープン／クローズするために用いられる。起動ボタン５１１、停止ボタン５１２、マニフォールドボタン５１３、および加圧ボタン５１４は、それぞれ、表示ランプ５１ａ、表示ランプ５１ｂ、表示ランプ５１ｃ、および表示ランプ５１ｄを有する。
【0024】
試験操作キー５２は、開始キー５２１と停止キー５２２とを有する。開始キー５２１および停止キー５２２は、それぞれ、表示ランプ５２ａおよび表示ランプ５２ｂを有する。ユーザが開始キー５２１を押下すると、材料試験機２０は疲労試験を開始し、ディスプレイ５０の試験状態表示部５０３に「試験中」の文字が表示される。また、ユーザが停止キー５２２を押下すると、材料試験機２０は実行中の試験動作を停止し、ディスプレイ５０の試験状態表示部５０３に「停止中」の文字が表示される。
【0025】
ここで、ディスプレイ５０と、パワーユニット操作キー５１が備える表示ランプ５１ａ、５１ｂ、５１ｃ、５１ｄと、試験操作キー５２が備える表示ランプ５２ａおよび５２ｂとは、それぞれ、表示パネル４１に備えられた表示器の一例に対応する。ディスプレイ５０は、また、特定の記号と数値とを表示する数値表示器の一例に対応する。
【0026】
表示パネル４１には、表示器が設けられた領域である表示器領域の各々の少なくとも２つの隅に、それらの表示器領域の識別コードを示すバーコードが付されたマーカが配置される。表示器領域の少なくとも一つは矩形である。マーカは、少なくとも一つの矩形の表示器領域に対しては、当該表示器領域の４隅に設けられる。後述するように、矩形の表示器領域の４隅に設けられたマーカにより、表示パネル４１の撮像画像における画像歪みが補正さる。
【0027】
図２に示す例では、数値表示器であるディスプレイ５０が設けられる矩形の表示器領域５３の４つの隅に、４つのマーカ５３１、マーカ５３２、マーカ５３３、マーカ５３４が、それぞれ配置される。また、パワーユニット操作キー５１が設けられる矩形の表示器領域５４の２つの隅に、マーカ５４１、マーカ５４２が、それぞれ配置される。さらに、試験操作キー５２が設けられる矩形の表示器領域５５の２つの隅に、マーカ５５１、マーカ５５２が、それぞれ置配される。これらのマーカは、カメラ８０による撮像に先立って表示パネル４１に貼付されるラベルであってもよいし、表示パネル４１に予め印刷されていてもよい。
【0028】
各マーカには、対応するそれぞれの表示器領域の識別コードを示すバーコードが付されている。バーコードは、そのバーコードが付されたマーカが、対応する表示器領域のどの位置に配されたものかを示す情報、例えば、その表示器領域の「左上」「右上」「右下」又は「左下」等の情報を含む。
例えば、マーカ５３１、５３２、５３３、５３４に付されたバーコードは、それぞれ、ディスプレイ５０が設けられる表示器領域５３の識別コード、および表示器領域５３におけるそれぞれの位置を示す情報を含む。また、マーカ５４１、５４２に付されたバーコードは、パワーユニット操作キー５１が設けられた表示器領域５４の識別コード、および表示器領域５４におけるそれぞれの位置を示す情報を含む。同様に、マーカ５５１、５５２に付されたバーコードは、試験操作キー５２が設けられる表示器領域５５の識別コード、および表示器領域５４におけるそれぞれの位置を示す情報を含む。
例えば、マーカ５３１、５３２、５３３、５３４に付されたバーコードは、それぞれ、ディスプレイ５０が設けられる表示器領域５３の識別コード、および表示器領域５３におけるそれぞれの位置を示す情報を含む。また、マーカ５４１、５４２に付されたバーコードは、パワーユニット操作キー５１が設けられた表示器領域５４の識別コード、および表示器領域５４におけるそれぞれの位置を示す情報を含む。同様に、マーカ５５１、５５２に付されたバーコードは、試験操作キー５２が設けられる表示器領域５５の識別コード、および表示器領域５４におけるそれぞれの位置を示す情報を含む。
【0029】
表示ランプ５１ａ、５１ｂ，５１ｃ、５１ｄ、及び５２ａ、５２ｂは、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）である。これらの表示ランプは、一つの（単色の）点灯色を有するものであってもよいし、２色以上の点灯色を選択的に点灯することのできるものであってもよい。
【0030】
表示ランプ５１ａ、５１ｂ、５１ｃ、および５１ｄは、それらの点灯態様の組み合わせにより材料試験機２０における油圧源状態、すなわち、油圧源３０の動作の状態を表示する。また、表示ランプ５２ａおよび５２ｂは、それらの点灯態様の組み合わせにより材料試験機２０における試験動作の実行状態、すなわち、試験中であるか停止中であるかを表示する。
ここで、「点灯態様」とは、それぞれのランプの点灯または消灯の状態、点灯状態における点灯色又は輝度を含む。第１実施形態及び後述する各実施形態では、表示ランプ５１ａ、５１ｂ，５１ｃ、５１ｄ、及び５２ａ、５２ｂは、単色のＬＥＤであり、点灯態様とは、それぞれの表示ランプの点灯及び消灯の組み合わせをいう。
ここで、「点灯態様」とは、それぞれのランプの点灯または消灯の状態、点灯状態における点灯色又は輝度を含む。第１実施形態及び後述する各実施形態では、表示ランプ５１ａ、５１ｂ，５１ｃ、５１ｄ、及び５２ａ、５２ｂは、単色のＬＥＤであり、点灯態様とは、それぞれの表示ランプの点灯及び消灯の組み合わせをいう。
【0031】
図３Ａ、図３Ｂ、図３Ｃ、図３Ｄ、図３Ｅ、および図３Ｆは、パワーユニット操作キー５１が備える表示ランプ５１ａ、５１ｂ，５１ｃ、５１ｄの点灯態様の組み合わせと、材料試験機２０の油圧源状態と、の関係の一例を示す図である。図３Ａ、図３Ｂ、図３Ｃ、図３Ｄ、図３Ｅ、および図３Ｆにおいて、表示ランプ５１ａ、５１ｂ，５１ｃ、および５１ｄは、それぞれ、点灯状態が黒色で、消灯状態が白色で示される。
【0032】
図３Ａでは、表示ランプ５１ａが点灯し、他の表示ランプ５１ｂ、５１ｃ、５１ｄが消灯することにより、材料試験機２０の油圧源状態がＲＵＮ状態、すなわち、油圧ポンプ３０ａが起動された状態であることが示される。
図３Ｂでは、表示ランプ５１ｂが点灯し、他の表示ランプ５１ａ、５１ｃ、５１ｄが消灯することにより、材料試験機２０の油圧源状態がＳＴＯＰ状態、すなわち、油圧ポンプ３０ａが停止した状態であることが示される。
図３Ｂでは、表示ランプ５１ｂが点灯し、他の表示ランプ５１ａ、５１ｃ、５１ｄが消灯することにより、材料試験機２０の油圧源状態がＳＴＯＰ状態、すなわち、油圧ポンプ３０ａが停止した状態であることが示される。
【0033】
図３Ｃでは、表示ランプ５１ａ、５１ｃ、５１ｄが点灯し、表示ランプ５１ｂが消灯することにより、材料試験機２０の油圧源状態がＬＯＡＤ＿ＭＡＮＩ状態、すなわち、配管バルブ３０ｃがオープンされた状態であることが示される。
図３Ｄでは、表示ランプ５１ｂ、５１ｃが点灯し、表示ランプ５１ａ、５１ｄが消灯することにより、材料試験機２０の油圧源状態がＳＴＯＰ＿ＭＡＮＩ状態、すなわち、配管バルブ３０ｃがクローズされた状態であることが示される。
図３Ｄでは、表示ランプ５１ｂ、５１ｃが点灯し、表示ランプ５１ａ、５１ｄが消灯することにより、材料試験機２０の油圧源状態がＳＴＯＰ＿ＭＡＮＩ状態、すなわち、配管バルブ３０ｃがクローズされた状態であることが示される。
【0034】
図３Ｅでは、表示ランプ５１ａ、５１ｄが点灯し、表示ランプ５１ｂ、５１ｃが消灯することにより、材料試験機２０の油圧源状態がＬＯＡＤ状態、すなわち、配管バルブ３０ｃおよびロードバルブ３０ｄの双方がオープンされた状態であることが示される。
また、図３Ｆでは、表示ランプ５１ａ、５１ｂ、５１ｃ、５１ｄが全て消灯することにより、材料試験機２０の油圧源状態がＰＯＷＥＲ ＯＦＦ状態、すなわち、油圧ポンプ３０ａ、配管バルブ３０ｃ、およびロードバルブ３０ｄの動作のための電源がオフされた状態であることが示される。
また、図３Ｆでは、表示ランプ５１ａ、５１ｂ、５１ｃ、５１ｄが全て消灯することにより、材料試験機２０の油圧源状態がＰＯＷＥＲ ＯＦＦ状態、すなわち、油圧ポンプ３０ａ、配管バルブ３０ｃ、およびロードバルブ３０ｄの動作のための電源がオフされた状態であることが示される。
【0035】
図４Ａおよび図４Ｂは、試験操作キー５２の表示ランプ５２ａおよび５２ｂの点灯状態の組み合わせと、材料試験機２０における試験状態と、の関係の一例を示す図である。図４Ａでは、表示ランプ５２ａが点灯し、表示ランプ５２ｂが消灯することにより、材料試験機２０がＳＴＡＲＴ状態、すなわち疲労試験を実行している状態であることが示される。
また、図４Ｂでは、表示ランプ５２ａが点灯し、表示ランプ５２ｂが消灯することにより、材料試験機２０がＳＴＯＰ状態、すなわち、疲労試験を中止または停止している状態であることが示される。
また、図４Ｂでは、表示ランプ５２ａが点灯し、表示ランプ５２ｂが消灯することにより、材料試験機２０がＳＴＯＰ状態、すなわち、疲労試験を中止または停止している状態であることが示される。
【0036】
［１．３．監視装置の構成］
図５は、監視装置１０の構成の一例を示す図である。監視装置１０は、例えばパーソナルコンピュータで構成され得るが、これに限らず、１つ又は複数の適宜の電子回路によって構成されてもよい。そのような電子回路は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）－ＦＰＧＡ等の、プログラムされたハードウェアを含み得る。
図５は、監視装置１０の構成の一例を示す図である。監視装置１０は、例えばパーソナルコンピュータで構成され得るが、これに限らず、１つ又は複数の適宜の電子回路によって構成されてもよい。そのような電子回路は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）－ＦＰＧＡ等の、プログラムされたハードウェアを含み得る。
【0037】
監視装置１０は、プロセッサ１１、メモリ１２、入力部１３、表示部１４、機器接続インタフェース（機器接続Ｉ／Ｆ）１５、及び、通信インタフェース（通信Ｉ／Ｆ）１６を備える。
【0038】
プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ－Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等で構成される。
【0039】
メモリ１２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。メモリ１２は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等のストレージ装置を含んでもよい。メモリ１２には、プロセッサ１１が実行する監視プログラム１２１、画像データ１２２、油圧状態認識モデル１２３ａ、試験状態認識モデル１２３ｂ、判定結果データ１２４、および数値データ１２５が記憶される。メモリ１２は、画像記憶部の一例に対応する。
【0040】
入力部１３は、ユーザがデータやコマンドを監視装置１０に入力する際に使用する入力装置であり、例えば、キーボード、スイッチ、及びマウス等のポインティングデバイスを含む。表示部１４は、文字、図形、画像等を表示するディスプレイであり、例えばＬＣＤ等で構成される。入力部１３と表示部１４とは、例えば、ＬＣＤ等の表示スクリーン上にタッチセンサを配置したタッチパネルとして構成されてもよい。
【0041】
機器接続Ｉ／Ｆ１５は、監視装置１０を周辺機器と接続するためのインタフェースであり、例えば、ＵＳＢ（登録商標）通信を行うＵＳＢトランシーバでる。第１実施形態では、監視装置１０は、機器接続Ｉ／Ｆ１５を介してカメラ８０と接続される。
【0042】
通信Ｉ／Ｆ１６は、監視装置１０がインターネットやイントラネットなどの通信ネットワークを介して他の装置（例えば、他のコンピュータ装置またはサーバ装置）と通信するための、有線通信又は無線通信を行う通信デバイスである。
【0043】
プロセッサ１１は、機能要素又は機能ユニットとして、取得部１１１と、画像認識部１１２と、状態判定部１１３と、更新部１１４と、出力部１１５と、を備える。プロセッサ１１が備えるこれらの機能要素は、例えば、プロセッサ１１が、メモリ１２に記憶された監視プログラム１２１を実行することにより実現される。
【0044】
取得部１１１は、所定の時間間隔で、制御装置４０の表示パネル４１を撮像した撮像画像を、機器接続Ｉ／Ｆ１５を介してカメラ８０から取得する。第１実施形態では、取得部１１１により取得される撮像画像は、材料試験機２０が疲労試験を実行または中止しているときの、表示パネル４１の撮像画像である。なお、第１実施形態では、取得部１１１は、表示パネル４１の撮像画像をカメラ８０から直接取得するものとしたが、撮像画像の取得先はカメラ８０に限られない。例えば、取得部１１１は、所定の時間間隔で予め撮像されてメモリ１２または他の装置（例えば、通信ネットワーク上のサーバ装置）に記憶された撮像画像を順次読み出すことで、撮像画像を取得してもよい。以下、取得部１１１が特定のタイミングで取得した撮像画像を「注目画像」ともいい、それ以前に取得した撮像画像と区別する。第１実施形態では、取得部１１１は、取得した撮像画像を、メモリ１２の画像データ１２２の一部として保存する。
【0045】
画像認識部１１２は、取得部１１１が取得した注目画像に対して画像認識処理を行う。画像認識部１１２は、画像認識処理により、注目画像に含まれる表示パネル４１上のマーカ５３１、５３２、５３３、５３４、５４１、５４２，５５１、５５２の画像から、それらのマーカに付されたバーコードが示す識別コードを取得する。そして、画像認識部１１２は、これらのマーカの位置および識別コードに基づいて、表示器が配されている表示器領域５３、５４、５５のそれぞれに対応する注目画像上の画像領域を特定する。
【0046】
これにより、材料試験機２０の疲労試験の途中において、カメラ８０の位置がずれた場合でも、注目画像上における各表示器領域の画像領域が適切に特定され得る。このようなカメラ８０の位置ずれは、例えば、ユーザが制御装置４０の操作を行うためにカメラ８０の位置を移動させた場合に発生し得る。
【0047】
また、画像認識部１１２は、矩形の表示器領域５３の４隅に配されたマーカ５３１、５３２、５３３、および５３４の注目画像上の位置に基づき、上記特定した注目画像における表示器領域５３、５４、５５に対応する画像領域の画像歪みを補正する。これにより、例えば、材料試験機２０の疲労試験の途中において、撮像画像における画像歪みの態様が変化した場合でも、マーカの配置から画像歪みを適切に把握して、画像補正を迅速に行うことができる。このような画像歪みの態様の変化は、例えば、ユーザが制御装置４０の操作を行うためにカメラ８０の光軸方向を移動させた場合に発生し得る。
【0048】
図６は、画像認識部１１２が行う画像歪みの補正について説明するための図である。図６の上段の図は、取得部１１１がカメラ８０から取得した注目画像の例である。図示の例では、注目画像は台形状に歪んでいる。このような画像歪みは、カメラ８０の光軸に対して表示パネル４１の法線方向が傾いていることにより発生する。
【0049】
画像認識部１１２は、図６上段の注目画像から、それぞれ同一の識別コードを示すバーコードが付されたマーカの群を特定する。具体的には、画像認識部１１２は、表示器領域５３の識別コードが付された４つのマーカ５３１、５３２、５３３、５３４の群と、表示器領域５４の識別コードが付された２つのマーカ５４１、５４２の群と、表示器領域５５の識別コードが付された２つのマーカ５５１、５５２の群を特定する。これにより、画像認識部１１２は、図６中段の左の図に示すように、注目画像における４つのマーカ５３１、５３２、５３３、５３４の位置を４隅とする台形の画像領域として表示器領域５３を特定する。
【0050】
また、画像認識部１１２は、図６中段の中央の図のように、注目画像における２つのマーカ５４１、５４２の位置を２つの対角の隅とする矩形の画像領域として、表示器領域５４を特定する。同様に、画像認識部１１２は、図６中段の右図のように、注目画像における２つのマーカ５５１、５５２の位置を２つの対角の隅とする矩形の画像領域として、表示器領域５５を特定する。
【0051】
次に、画像認識部１１２は、特定した表示器領域５３の台形の画像領域（図６中段の左図）に基づき、画像歪みを補正するための補正関数を算出する。第１実施形態では、補正関数は、特定した表示器領域５３の台形の画像領域を矩形の画像に補正するための射影変換行列で規定される。
画像認識部１１２は、算出した補正関数を規定する射影変換行列を用いて図６中段の各画像を補正し、図６下段に示すような、表示器領域５３、５４、５５についての補正後の部分画像を得る。画像認識部１１２は、表示器領域５３、５４、５５についての補正後の部分画像を、状態判定部１１３に送信する。また、画像認識部１１２は、表示器領域５３、５４、および５５についての補正後の部分画像を、注目画像に関連付けて、画像データ１２２の一部としてメモリ１２に保存する。
画像認識部１１２は、算出した補正関数を規定する射影変換行列を用いて図６中段の各画像を補正し、図６下段に示すような、表示器領域５３、５４、５５についての補正後の部分画像を得る。画像認識部１１２は、表示器領域５３、５４、５５についての補正後の部分画像を、状態判定部１１３に送信する。また、画像認識部１１２は、表示器領域５３、５４、および５５についての補正後の部分画像を、注目画像に関連付けて、画像データ１２２の一部としてメモリ１２に保存する。
【0052】
なお、図６に示す例では、図６上段の注目画像から特定された、図６中段に示す表示器領域５３、５４、５５のそれぞれの画像領域に対して画像補正が行われて、図６下段に示す補正された部分画像が取得されるものとしたが、画像補正の手順は、これには限られない。例えば、画像認識部１１２は、上記のように算出した補正関数により、図６上段に示す注目画像の全体を画像補正し、画像補正した注目画像から、図６下段のような補正された表示器領域５３、５４、５５の部分画像を直接的に取得してもよい。
【0053】
画像認識部１１２は、また、取得部１１１が取得した注目画像に基づき、ディスプレイ５０に表示されている数値を表す数値データを生成する。
具体的には、画像認識部１１２は、ディスプレイ５０が配された表示器領域５３についての補正後の部分画像に基づき、ディスプレイ５０の特定記号表示部５０２に表示されている特定記号の、注目画像におけるサイズを算出する。そして、画像認識部１１２は、算出した特定記号のサイズに基づいて、ディスプレイ５０に表示された数値の、その注目画像における文字サイズを推定する。画像認識部１１２は、上記推定した文字サイズを用いた画像認識処理により、ディスプレイ５０に表示された数値を表す数値データを生成する。これにより、適切な文字サイズを用いて文字認識が行われるので、表示数値が誤認識されて誤った数値データが生成されてしまう可能性を低減できる。
具体的には、画像認識部１１２は、ディスプレイ５０が配された表示器領域５３についての補正後の部分画像に基づき、ディスプレイ５０の特定記号表示部５０２に表示されている特定記号の、注目画像におけるサイズを算出する。そして、画像認識部１１２は、算出した特定記号のサイズに基づいて、ディスプレイ５０に表示された数値の、その注目画像における文字サイズを推定する。画像認識部１１２は、上記推定した文字サイズを用いた画像認識処理により、ディスプレイ５０に表示された数値を表す数値データを生成する。これにより、適切な文字サイズを用いて文字認識が行われるので、表示数値が誤認識されて誤った数値データが生成されてしまう可能性を低減できる。
【0054】
この数値データには、ディスプレイ５０のサイクル数表示部５０１に表示されたサイクル数の数値データのほか、図２に示す「５０．１２１５」「１６．６６０１」等の、試験力、ピストン変位等についての数値データが含まれ得る。画像認識部１１２は、上記生成したサイクル数の数値データを更新部１１４へ送信する。また、画像認識部１１２は、サイクル数を除く上記生成した数値データを、注目画像に関連付けて、数値データ１２５の一部としてメモリ１２に記憶する。
【0055】
状態判定部１１３は、取得部１１１が取得した注目画像に基づき、材料試験機２０の状態を判定する。具体的には、画像認識部１１２が抽出した表示器領域５４の部分画像および表示器領域５５の部分画像に基づき、それぞれ、表示ランプ５１ａ、５１ｂ、５１ｃ、５１ｄの点灯態様の組み合わせが示す材料試験機２０の油圧源状態、および表示ランプ５２ａ、５２ｂの点灯態様の組み合わせが示す材料試験機２０の試験状態を判定する。これにより、ユーザは、点灯態様の組み合わせが示す材料試験機の状態を自身で判定する必要がないので、ユーザの利便性が向上する。なお、表示ランプ５１ａ、５１ｂ、５１ｃ、５１ｄが配された表示器領域５４の部分画像、および表示ランプ５２ａ、５２ｂが配置された表示器領域５５の部分画像は、それぞれ、「第１撮像画像」の一例に対応する。
【0056】
状態判定部１１３は、例えば人工知能を用いて、第１撮像画像から材料試験機２０の状態を推定する。メモリ１２には、表示ランプ５１ａ、５１ｂ、５１ｃ、５１ｄの種々の点灯態様の組み合わせを撮影した画像と、それらの組み合わせに対応する材料試験機２０の油圧源状態と、の関係を機械学習により学習させた油圧状態認識モデル１２３ａが、予め記憶されている。また、メモリ１２には、表示ランプ５２ａ、５２ｂの種々の点灯態様の組み合わせを撮影した画像と、それらの組み合わせに対応する材料試験機２０の試験状態と、の関係を機械学習により学習させた試験状態認識モデル１２３ｂが、予め記憶されている。油圧状態認識モデル１２３ａおよび試験状態認識モデル１２３ｂは、状態認識モデルに相当する。
【0057】
状態判定部１１３は、注目画像から抽出された表示器領域５４の部分画像である第１撮像画像を油圧状態認識モデル１２３ａに入力することにより、材料試験機２０の油圧源状態を推定する。また、状態判定部１１３は、注目画像から抽出された表示器領域５５の部分画像である第１撮像画像を試験状態認識モデル１２３ｂに入力することにより、材料試験機２０の試験状態を推定する。これにより、状態判定部１１３は、個々の表示ランプの点灯態様を個別に認識する必要がないので、材料試験機２０の状態を迅速に判定し得る。なお、油圧状態認識モデル１２３ａに入力する表示器領域５４の部分画像である第１撮像画像、および試験状態認識モデル１２３ｂに入力する表示器領域５５の部分画像である第１撮像画像は、それぞれ、画像認識部１１２において画像歪みの補正が行われたあとの部分画像であるものとすることができる。
【0058】
油圧状態認識モデル１２３ａおよび試験状態認識モデル１２３ｂの出力には、それぞれ、油圧源状態についての推定結果と当該推定の確度、および試験状態についての推定結果と当該推定の確度が含まれる。上記推定の確度は、それぞれ、対応する推定の確からしさを百分率で表した値である。
【0059】
状態判定部１１３は、油圧状態認識モデル１２３ａを用いた上記推定の結果に基づき、材料試験機２０の油圧源状態を判定し、油圧状態認識モデル１２３ａが出力した上記推定の確度を、当該判定の判定確度とする。状態判定部１１３は、油圧源状態の判定結果を示すデータに、上記判定確度に応じた警告情報を付して、出力部１１５に出力する。警告情報は、例えば、判定確度が所定値以上であって良好であることを示す「ＧＯＯＤ」、または判定確度が所定値未満であって良好でないことを示す「ＷＡＲＮＩＮＧ」、とする。これにより、ユーザは、上記判定結果に付された警告情報から、その判定結果の信頼性の高低を容易に把握することができる。油圧源状態判定の具体的な手順については、図１０を参照して後述する。
【0060】
同様に、状態判定部１１３は、試験状態認識モデル１２３ｂを用いた上記推定の結果に基づき、材料試験機２０の試験状態を判定し、試験状態認識モデル１２３ｂが出力した上記推定の確度を、当該判定の判定確度とする。状態判定部１１３は、試験状態の判定結果を示すデータに、上記判定確度に応じた警告情報を付して、出力部１１５に出力する。警告情報は、例えば、判定確度が所定値以上か未満かに応じて、「ＧＯＯＤ」または「ＷＡＲＮＩＮＧ」とする。試験状態判定の具体的な手順については、図１１を参照して後述する。
【0061】
更新部１１４は、画像認識部１１２が疲労試験中における一連の撮像画像から生成したサイクル数の数値データに基づき、撮像画像に対応付けるべきサイクル数の値であるサイクル数判定値を決定する。具体的には、更新部１１４は、上記一連の撮像画像から生成したサイクル数の数値データに基づき、注目画像に対応付けるべきサイクル数判定値を、直前画像に対応付けたサイクル数判定値（前回値）に対して更新するか、または前回値の値に維持する。ここで、直前画像とは、注目画像の直前に取得部１１１が取得した撮像画像である。以下、画像認識部１１２が撮像画像から生成したサイクル数の数値データの値をサイクル数生成値というものとする。
【0062】
より具体的には、更新部１１４は、注目画像よりも前に撮像された少なくとも３つの撮像画像から生成されたサイクル数生成値の、時間に対する回帰直線を求める。そして、更新部１１４は、注目画像から生成されたサイクル数生成値である注目値の、上記回帰直線からの差分量が所定量以内であるときは、上記注目値によりサイクル数判定値を更新する。これにより、更新部１１４は、回帰直線が表すサイクル数の時間変化傾向を考慮した信頼性の高いサイクル数判定値を、撮像画像に対応付けることができる。更新部１１４は、上記更新したサイクル数判定値を、出力部１１５へ送信すると共に、注目画像に対応付けて、数値データ１２５の一部としてメモリ１２に保存する。
【0063】
一方、上記差分量が所定量以内ではない場合には、更新部１１４は、注目画像より前に撮像された所定数の撮像画像から生成された所定数のサイクル数生成値が連続して同じ一定値であったか否かを判断する。そして、更新部１１４は、所定数のサイクル生成値が連続して同じ一定値であったときは、当該一定値により、注目画像に対応付けるサイクル数判定値を更新する。また、更新部１１４は、所定数のサイクル生成値が連続して同じ一定値であったときは、回帰直線を更新する。すなわち、更新部１１４は、現在の回帰直線を破棄して、その後に撮像される撮像画像から生成される３つ以上のサイクル数生成値により新たに回帰直線を算出する。これにより、更新部１１４は、疲労試験の応力印加の周期が変更されて、サイクル数の時間変化傾向が変化した場合でも、誤ったサイクル数判定値が撮像画像に対応付けられること回避できる。また、回帰直線を更新した後は、更新部１１４は、更新した回帰直線によりサイクル数の新たな時間変化傾向を適切に把握して、信頼性の高いサイクル数判定値を撮像画像に対応付けることができる。
【0064】
一方、所定数のサイクル数生成値の少なくとも一つが他と異なる値であるときは、更新部１１４は、注目画像に対応付けるサイクル数判定値を更新せず、前回値と同じ値に維持する。これにより、更新部１１４は、サイクル数の時間変化がない期間においてサイクル数の数値データに誤った変化が発生したような場合には、サイクル数判定値を前回値に維持して、サイクル数判定値の誤差を小さく留めることができる。更新部１１４は、サイクル数判定値を更新しないときは、上記前回値と同じ値に維持したサイクル数判定値に警告情報を付して、出力部１１５へ送信する。警告情報は、例えば、「ＷＡＲＮＩＮＧ」とすることができる。これにより、ユーザは、サイクル数判定値に付された警告情報から、そのサイクル数判定値の信頼性が低い可能性があることを容易に把握することができる。なお、更新部１１４は、サイクル数判定値を更新したときは、そのサイクル数判定値に、例えば「ＧＯＯＤ」という警告情報を付してもよい。更新部１１４は、警告情報を付した上記サイクル数判定値を、注目画像に対応付けて、数値データ１２５の一部としてメモリ１２に保存する。
【0065】
出力部１１５は、取得部１１１が撮像画像を取得するごとに、当該取得した撮像画像、すなわち注目画像と、当該注目画像について状態判定部１１３が判定した油圧源状態および試験状態の表示と、更新部１１４が決定したサイクル数判定値と、を含んだデータ表示画面を、表示部１４に出力する。これに加えて又はこれに代えて、出力部１１５は、油圧源状態および試験状態の表示とサイクル数判定値とを、プリンタ装置（不図示）により印字して出力してもよい。
【0066】
図７は、出力部１１５が表示部１４に出力するデータ表示画面の一例を示す図である。図７に示すデータ表示画面１４１は、注目画像表示部１４２と、部分画像表示部１４３、１４４、１４５と、判定結果表示部１４６と、数値表示部１４７と、を含む。
【0067】
注目画像表示部１４２には、注目画像が表示される。部分画像表示部１４３、１４４、および１４５には、それぞれ、注目画像から抽出されて画像歪みが補正された表示器領域５３、５４、および５５の部分画像が表示される。判定結果表示部１４６には、注目画像に基づいて判定された、材料試験機２０の油圧源状態および試験状態の判定結果が示される。また、数値表示部１４７には、注目画像についてのサイクル数判定値が表示される。
【0068】
図７において、判定結果表示部１４６に表示されている「油圧源確度」および「試験状態確度」は、それぞれ、状態判定部１１３から受信した油圧源状態および試験状態の判定結果に付された警告情報を示す。また、図７において数値表示部１４７に表示されている「サイクル数確度」は、出力部１１５が更新部１１４から受信した、サイクル数表示値に付された警告情報に基づいて表示される。
【0069】
上記の構成を有する監視装置１０は、制御装置４０の表示パネル４１に設けられた表示器であるディスプレイ５０および表示ランプ５１ａ、５１ｂ、５１ｃ、５１ｄ、５２ａ、５２ｂの撮像画像から、数値データおよび材料試験機２０の状態判定の結果を示すデータを生成する。また、生成された数値データおよび判定結果のデータは、表示部１４に出力されると共に、撮像画像に関連付けてメモリ１２に保存される。
【0070】
これにより、ユーザは、上記生成された数値データおよび判定結果のデータから、材料試験機２０の動作状態を容易に把握することができる。したがって、例えば、ユーザは、材料試験機２０による疲労試験の実行中において所定の時間間隔で撮像される撮像画像が膨大な数となる場合でも、撮像画像のそれぞれに基づいて生成された数値データおよび判定結果のデータの出力を見ることで、それら膨大な数の撮像画像から材料試験機２０の状態の変化点（又は、変化タイミング）を容易に把握することができる。
なお、本実施例では材料試験機を例に挙げているが、他の複数の分析装置の表示画面に表示される波形に代表される図表情報を取得し、取得した図表情報について既知の波形解析アルゴリズムや図表解析アルゴリズムを適用することによって、撮影画像から情報を抽出することができる。また、図表情報に限らず、警告表示等を単に抽出するだけでも本願の効果は達成される。
なお、本実施例では材料試験機を例に挙げているが、他の複数の分析装置の表示画面に表示される波形に代表される図表情報を取得し、取得した図表情報について既知の波形解析アルゴリズムや図表解析アルゴリズムを適用することによって、撮影画像から情報を抽出することができる。また、図表情報に限らず、警告表示等を単に抽出するだけでも本願の効果は達成される。
【0071】
［１．４．監視装置における処理］
［１．４．１ 全体フロー］
次に、監視装置１０の動作の手順について、図８に示すフローチャートを参照しつつ説明する。図８に示す処理は、例えば、ユーザが入力部１３を介して実行指示を入力したときに開始する。実行指示の入力に際し、ユーザは、撮像画像の取得終了条件、例えば、撮像画像の目標取得回数または目標取得時間を入力するものとすることができる。
［１．４．１ 全体フロー］
次に、監視装置１０の動作の手順について、図８に示すフローチャートを参照しつつ説明する。図８に示す処理は、例えば、ユーザが入力部１３を介して実行指示を入力したときに開始する。実行指示の入力に際し、ユーザは、撮像画像の取得終了条件、例えば、撮像画像の目標取得回数または目標取得時間を入力するものとすることができる。
【0072】
処理を開始すると、取得部１１１は、カメラ８０から一の撮像画像を取得する（Ｓ１１）。取得された撮像画像は、注目画像となる。次に、画像認識部１１２は、注目画像について画像抽出処理を実行する（Ｓ１２）。画像抽出処理において、画像認識部１１２は、注目画像から、ディスプレイ５０が配された表示器領域５３の部分画像、表示ランプ５１ａ、５１ｂ、５１ｃ、５１ｄが配された表示器領域５４の部分画像、および表示ランプ５２ａ、５２ｂが配された表示器領域５５の部分画像を抽出する。画像抽出処理の詳細については、後述において図９を参照して説明する。
【0073】
次に、状態判定部１１３は、状態判定処理を実行する。状態判定処理には、油圧源状態判定処理（Ｓ１３）と試験状態判定処理（Ｓ１４）とが含まれる。油圧源状態判定処理では、状態判定部１１３は、注目画像から抽出された表示器領域５４の部分画像を油圧状態認識モデル１２３ａに入力して油圧源状態を推定し、当該推定の結果および確度に基づいて、材料試験機２０の油圧源状態を判定する。また、試験状態判定処理では、状態判定部１１３は、注目画像から抽出された表示器領域５５の部分画像を試験状態認識モデル１２３ｂに入力して試験状態を推定し、当該推定の結果および確度に基づいて、材料試験機２０の試験状態を判定する。油圧源状態判定処理および試験状態判定処理の詳細については、後述において図１０、図１１を参照して説明する。
【0074】
次に、画像認識部１１２は、数値データ生成処理を実行する（Ｓ１５）。数値データ生成処理では、画像認識部１１２は、注目画像から抽出された表示器領域５３の部分画像に基づき、ディスプレイ５０に表示されている数値表示から数値データを生成する。数値データ生成処理については、後述において図１２を参照して説明する。
【0075】
続いて、更新部１１４は、サイクル数更新処理を実行する。サイクル数更新処理では、更新部１１４は、まず、状態判定部１１３が試験状態判定処理（Ｓ１４）で判定した試験状態が「ＳＴＡＲＴ」（すなわち、試験開始状態）であるか否かを判断する（Ｓ１６）。そして、試験状態が「ＳＴＡＲＴ」であるときは（Ｓ１６；ＹＥＳ）、更新部１１４は、第１サイクル数更新処理を実行する（Ｓ１７）。一方、試験状態が「ＳＴＡＲＴ」でないとき、すなわち「ＳＴＯＰ」（すなわち、試験停止状態）であるときは（Ｓ１６；ＮＯ）、更新部１１４は、第２サイクル数更新処理を実行する（Ｓ１８）。
【0076】
第１サイクル数更新処理では、疲労試験の実行中においてサイクル数は増加するものであることに基づき、更新部１１４は、一連の撮像画像から生成されたサイクル数生成値の変化から、注目画像に対応付けるべきサイクル数判定値を決定する。また、第２サイクル数更新処理では、疲労試験の停止中においてサイクル数は変化しないことに基づき、更新部１１４は、一連の撮像画像から生成されたサイクル数生成値から、注目画像に対応付けるべきサイクル数判定値を決定する。第１サイクル数更新処理および第２サイクル数更新処理については、後述において図１３および図１４を参照して説明する。
【0077】
次に、出力部１１５は、状態判定処理およびサイクル数更新処理の結果を表すデータを表示部１４に出力する（Ｓ１９）。具体的には、出力部１１５は、例えば図７に示すような、注目画像についてのデータ表示画面を表示部１４に表示する。続いて、取得部１１１は、ユーザが図８の処理の実行開始の際に入力部１３に入力した上述の取得終了条件に基づき、撮像画像の取得が終了したか否かを判断する（Ｓ２０）。
【0078】
そして、撮像画像の取得が終了したときは（Ｓ２０；ＹＥＳ）、取得部１１１は、本処理を終了する。一方、撮像画像の取得が終了していないときは（Ｓ２０；ＮＯ）、取得部１１１は、ステップＳ１１に戻って新たな撮像画像を取得する。
【0079】
［１．４．２ 画像抽出処理における動作］
図９は、図８に示す処理における画像抽出処理の手順の一例を示すフローチャートである。
「画像抽出処理」とは、注目画像から、ディスプレイ５０が配された表示器領域５３の部分画像、表示ランプ５１ａ、５１ｂ、５１ｃ、５１ｄが配された表示器領域５４の部分画像、および表示ランプ５２ａ、５２ｂが配された表示器領域５５の部分画像を抽出する処理である。
画像抽出処理では、まず、画像認識部１１２は、注目画像に写っているマーカを検出する（Ｓ１２１）。マーカには、そのマーカが付されている表示器が配された領域を識別するバーコードが付されている。画像認識部１１２は、同一の識別コードを持つマーカのグループごとに、それぞれのマーカの位置および識別コードに基づいて、表示器が配された領域に対応する注目画像上の画像領域を特定する（Ｓ１２２）。第１実施形態及び後述する各実施形態では、表示器が配された領域とは、数値表示器であるディスプレイ５０が配された表示器領域５３、表示ランプ５１ａ、５１ｂ、５１ｃ、５１ｄが配された表示器領域５４、および表示ランプ５２ａ、５２ｂが配された表示器領域５５である。
図９は、図８に示す処理における画像抽出処理の手順の一例を示すフローチャートである。
「画像抽出処理」とは、注目画像から、ディスプレイ５０が配された表示器領域５３の部分画像、表示ランプ５１ａ、５１ｂ、５１ｃ、５１ｄが配された表示器領域５４の部分画像、および表示ランプ５２ａ、５２ｂが配された表示器領域５５の部分画像を抽出する処理である。
画像抽出処理では、まず、画像認識部１１２は、注目画像に写っているマーカを検出する（Ｓ１２１）。マーカには、そのマーカが付されている表示器が配された領域を識別するバーコードが付されている。画像認識部１１２は、同一の識別コードを持つマーカのグループごとに、それぞれのマーカの位置および識別コードに基づいて、表示器が配された領域に対応する注目画像上の画像領域を特定する（Ｓ１２２）。第１実施形態及び後述する各実施形態では、表示器が配された領域とは、数値表示器であるディスプレイ５０が配された表示器領域５３、表示ランプ５１ａ、５１ｂ、５１ｃ、５１ｄが配された表示器領域５４、および表示ランプ５２ａ、５２ｂが配された表示器領域５５である。
【0080】
画像認識部１１２は、同一の識別コードを持つ４つのマーカの、撮像画像上の位置に基づき、撮像画像の画像歪みを補正するための補正関数を算出する（Ｓ１２３）。上述したように、この補正関数は、例えば射影変換行列で規定される。画像認識部１１２は、上記算出した補正関数を用いて、ステップＳ１２２で特定した画像領域の画像歪みを補正する（Ｓ１２４）。画像認識部１１２は、上記補正した画像領域のそれぞれを部分画像として抽出する（Ｓ１２５）。画像認識部１１２は、上記抽出した各領域の部分画像を、状態判定部１１３に送信すると共に、撮像画像に関連付けて画像データ１２２の一部としてメモリ１２の画像データに保存する。
【0081】
［１．４．３ 油圧源状態判定処理における動作］
図１０は、図８における油圧源状態判定処理の手順の一例を示すフローチャートである。
「油圧源状態判定処理」とは、注目画像から抽出された表示器領域５４の部分画像に基づき、材料試験機２０の油圧源状態を判定する処理である。
油圧源状態判定処理では、まず、状態判定部１１３は、画像認識部１１２から受信した表示ランプ５１ａ、５１ｂ、５１ｃ、５１ｄが配された表示器領域５４の部分画像を油圧状態認識モデル１２３ａに入力して、材料試験機２０の油圧源状態を推定する（Ｓ１３１）。次に、状態判定部１１３は、油圧状態認識モデル１２３ａが出力する上記推定の推定確度が所定値（例えば、７０％）以上であるか否かを判断する（Ｓ１３２）。
図１０は、図８における油圧源状態判定処理の手順の一例を示すフローチャートである。
「油圧源状態判定処理」とは、注目画像から抽出された表示器領域５４の部分画像に基づき、材料試験機２０の油圧源状態を判定する処理である。
油圧源状態判定処理では、まず、状態判定部１１３は、画像認識部１１２から受信した表示ランプ５１ａ、５１ｂ、５１ｃ、５１ｄが配された表示器領域５４の部分画像を油圧状態認識モデル１２３ａに入力して、材料試験機２０の油圧源状態を推定する（Ｓ１３１）。次に、状態判定部１１３は、油圧状態認識モデル１２３ａが出力する上記推定の推定確度が所定値（例えば、７０％）以上であるか否かを判断する（Ｓ１３２）。
【0082】
そして、上記推定確度が所定値以上であるときは（Ｓ１３２；ＹＥＳ）、状態判定部１１３は、油圧状態認識モデル１２３ａによる推定結果を、注目画像についての油圧源状態の判定結果として決定する（Ｓ１３３）。一方、上記推定確度が所定値未満であるときは（Ｓ１３２；ＮＯ）、状態判定部１１３は、注目画像についての判定結果を、直前画像について既に決定した油圧源状態の判定結果と同じとする（Ｓ１３４）。
【0083】
次に、状態判定部１１３は、油圧状態認識モデル１２３ａが出力した上記推定確度を判定確度とし、当該判定確度に応じた警告情報を、ステップＳ１３３またはＳ１３４で決定した判定結果に付す（Ｓ１３５）。状態判定部１１３は、警告情報を付した油圧源状態の判定結果を、出力部１１５へ送信すると共に、注目画像に関連付けて判定結果データ１２４の一部としてメモリ１２に保存する。
【0084】
［１．４．４ 試験状態判定処理における処理］
図１１は、図８における試験状態判定処理の手順の一例を示すフローチャートである。
「試験状態判定処理」とは、注目画像から抽出された表示器領域５５の部分画像に基づき、材料試験機２０の試験状態を判定する処理である。
試験状態判定処理では、まず、状態判定部１１３は、画像認識部１１２から受信した表示ランプ５２ａ、５２ｂが配された表示器領域５５の部分画像を試験状態認識モデル１２３ｂに入力して、材料試験機２０の試験状態を推定する（Ｓ１４０１）。この推定を、第１推定とする。この推定の際に、試験状態認識モデル１２３ｂは、その推定についての推定確度を出力する。
図１１は、図８における試験状態判定処理の手順の一例を示すフローチャートである。
「試験状態判定処理」とは、注目画像から抽出された表示器領域５５の部分画像に基づき、材料試験機２０の試験状態を判定する処理である。
試験状態判定処理では、まず、状態判定部１１３は、画像認識部１１２から受信した表示ランプ５２ａ、５２ｂが配された表示器領域５５の部分画像を試験状態認識モデル１２３ｂに入力して、材料試験機２０の試験状態を推定する（Ｓ１４０１）。この推定を、第１推定とする。この推定の際に、試験状態認識モデル１２３ｂは、その推定についての推定確度を出力する。
【0085】
次に、状態判定部１１３は、画像認識部１１２から受信した表示器領域５３の部分画像に基づき、ディスプレイ５０の試験状態表示部５０３の表示から、材料試験機２０の試験状態を推定する（Ｓ１４０２）。この推定を、第２推定とする。具体的には、状態判定部１１３は、例えば、試験状態表示部５０３における緑色画素の数と赤色画素の数とをカウントし、総カウント数に対する緑色画素数の比率と赤色画素数の比率とを、例えば百分率で算出する。そして、状態判定部１１３は、緑色画素数の比率が赤色画素数の比率より２０％以上大きいときは、試験状態表示部５０３の表示が「試験中」であって、試験状態が「ＳＴＡＲＴ」であるものと推定し、緑色画素数の比率を当該推定の推定確度とする。
【0086】
また、状態判定部１１３は、赤色画素数の比率が緑色画素数の比率より２０％以上大きいときは、試験状態表示部５０３の表示が「停止中」であって、試験状態が「ＳＴＯＰ」であるものと推定し、赤色画素数の比率を当該推定の推定確度とする。一方、緑色画素数の比率と赤色画素数の比率との差が２０％未満であるときは、状態判定部１１３は、試験状態表示部５０３の表示および試験状態の推定は不定であるものとする。
【0087】
次に、状態判定部１１３は、ステップＳ１４１における第１推定の結果とステップＳ１４０２における第２推定の結果とが同じであるか否かを判断する（Ｓ１４０３）。そして、第１推定の結果と第２推定の結果とが同じであるときは（Ｓ１４０３；ＹＥＳ）、状態判定部１１３は、第１推定又は第２推定の結果を、試験状態についての判定結果とする（Ｓ１４０４）。
【0088】
一方、ステップＳ１４０３において、第１推定と第２推定の結果が同じでないときは（Ｓ１４０３；ＮＯ）、状態判定部１１３は、第２推定の結果が不定であるか否かを判断する（Ｓ１４０５）。そして、第２推定の結果が不定でないときは（Ｓ１４０５；ＮＯ）、状態判定部１１３は、第２推定の結果を、試験状態についての判定結果とする（Ｓ１４０６）。
【0089】
一方、ステップＳ１４０５において第２推定の結果が不定であるときは（Ｓ１４０５；ＹＥＳ）、状態判定部１１３は、第１推定の推定確度が所定値（例えば、９０％）以上であるか否かを判断する（Ｓ１４０７）。そして、第１推定の推定確度が所定値以上であるときは（Ｓ１４０７；ＹＥＳ）、状態判定部１１３は、第１推定の結果を、試験状態についての判定結果とする（Ｓ１４０８）。
【0090】
また、一方、ステップＳ１４０７において第１推定の推定確度が所定値未満であるときは（Ｓ１４０７；ＮＯ）、状態判定部１１３は、今回の（すなわち、注目画像についての）試験状態の判定結果を、直前画像について既に決定した試験状態の判定結果と同じとする（Ｓ１４０９）。
【0091】
次に、状態判定部１１３は、ステップＳ１４０４、Ｓ１４０６、Ｓ１４０８、またはＳ１４０９において決定した試験状態の判定結果に、その判定確度に応じた警告情報を付す（Ｓ１４１０）。判定確度は、例えば、ステップＳ１４０４において判定結果を決定したときは、９５％とすることができる。また、ステップＳ１４０６において判定結果を決定したときは、その判定結果の判定確度を、第２推定における推定確度と同じ値とすることができる。
【0092】
また、ステップＳ１４０８またはＳ１４０９において判定結果を決定したときは、それらの判定結果の判定確度を、第１推定における推定確度と同じ値とすることができる。状態判定部１１３は、判定確度が所定値（例えば９０％）以上であるときは、警告情報として「ＧＯＯＤ」を判定結果に付し、判定確度が所定値未満であれば、警告情報として「ＷＡＬＮＩＮＧ」を付すものとすることができる。
【0093】
状態判定部１１３は、警告情報を付した試験状態の判定結果を、出力部１１５へ送信すると共に、注目画像に関連付けて、判定結果データ１２４の一部としてメモリ１２に保存する。
【0094】
［１．４．５ 数値データ生成処理における処理］
図１２は、図８における数値データ生成処理の手順の一例を示すフローチャートである。
「数値データ生成処理」とは、注目画像から抽出された表示器領域５３の部分画像に基づき、ディスプレイ５０に表示されている数値表示から数値データを生成する処理である。
まず、画像認識部１１２は、画像抽出処理において抽出した表示器領域５３の部分画像から特定記号を検出し、その部分画像における特定記号のサイズを算出する（Ｓ１５１）。第１実施形態では、特定記号は、ディスプレイ５０の特定記号表示部５０２に表示される特定のアイコンである。次に、画像認識部１１２は、上記算出した特定記号のサイズに基づき、上記表示器領域５３の部分画像における数値表示の文字サイズを推定する（Ｓ１５２）。そして、画像認識部１１２は、上記推定した文字サイズに基づき、表示器領域５３の部分画像に写されているディスプレイ５０上の数値表示の数字を文字認識処理により認識して、その数値表示から数値データを生成する（Ｓ１５３）。画像認識部１１２は、生成した数値データのうち、サイクル数の数値データを更新部１１４へ送信する。また、画像認識部１１２は、サイクル数の数値データを除く、上記生成した数値データを、注目画像に関連付けて、数値データ１２５の一部としてメモリ１２に保存する。
図１２は、図８における数値データ生成処理の手順の一例を示すフローチャートである。
「数値データ生成処理」とは、注目画像から抽出された表示器領域５３の部分画像に基づき、ディスプレイ５０に表示されている数値表示から数値データを生成する処理である。
まず、画像認識部１１２は、画像抽出処理において抽出した表示器領域５３の部分画像から特定記号を検出し、その部分画像における特定記号のサイズを算出する（Ｓ１５１）。第１実施形態では、特定記号は、ディスプレイ５０の特定記号表示部５０２に表示される特定のアイコンである。次に、画像認識部１１２は、上記算出した特定記号のサイズに基づき、上記表示器領域５３の部分画像における数値表示の文字サイズを推定する（Ｓ１５２）。そして、画像認識部１１２は、上記推定した文字サイズに基づき、表示器領域５３の部分画像に写されているディスプレイ５０上の数値表示の数字を文字認識処理により認識して、その数値表示から数値データを生成する（Ｓ１５３）。画像認識部１１２は、生成した数値データのうち、サイクル数の数値データを更新部１１４へ送信する。また、画像認識部１１２は、サイクル数の数値データを除く、上記生成した数値データを、注目画像に関連付けて、数値データ１２５の一部としてメモリ１２に保存する。
【0095】
［１．４．６ 第１サイクル数更新処理における動作］
図１３は、図８における第１サイクル数更新処理の手順の一例を示すフローチャートである。
「第１サイクル数更新処理」とは、材料試験機２０が試験開始状態であるときに、注目画像に対応付けるべきサイクル数判定値を決定する処理である。
上述したように、第１サイクル数更新処理では、疲労試験の実行中においてサイクル数は増加するものであることに基づき、更新部１１４は、一連の撮像画像から生成されたサイクル数生成値の変化から、注目画像に対応付けるべきサイクル数判定値を、前回値（直前画像に対応付けたサイクル数判定値）に対して更新するか否か決定する。上述したように、画像認識部１１２が撮像画像から生成したサイクル数の数値データが表す値をサイクル数生成値といい、注目画像についてのサイクル数生成値を注目値という。また、注目画像の直前に撮像された撮像画像を直前画像といい、更新部１１４が直前画像について決定したサイクル数判定値を前回値というものとする。
図１３は、図８における第１サイクル数更新処理の手順の一例を示すフローチャートである。
「第１サイクル数更新処理」とは、材料試験機２０が試験開始状態であるときに、注目画像に対応付けるべきサイクル数判定値を決定する処理である。
上述したように、第１サイクル数更新処理では、疲労試験の実行中においてサイクル数は増加するものであることに基づき、更新部１１４は、一連の撮像画像から生成されたサイクル数生成値の変化から、注目画像に対応付けるべきサイクル数判定値を、前回値（直前画像に対応付けたサイクル数判定値）に対して更新するか否か決定する。上述したように、画像認識部１１２が撮像画像から生成したサイクル数の数値データが表す値をサイクル数生成値といい、注目画像についてのサイクル数生成値を注目値という。また、注目画像の直前に撮像された撮像画像を直前画像といい、更新部１１４が直前画像について決定したサイクル数判定値を前回値というものとする。
【0096】
第１サイクル数更新処理において、更新部１１４は、まず、注目値が前回値より大きいか否かを判断する（Ｓ１６０１）。更新部１１４は、注目値が前回値より大きいときは（Ｓ１６０１；ＹＥＳ）、注目画像よりも前に撮像された少なくとも３つの撮像画像のサイクル数生成値から、サイクル数生成値の時間に対する回帰直線を求める（Ｓ１６０２）。第１実施形態では、回帰直線は、注目画像よりも前に撮像された直前画像を含む３以上１００以下の数の直近の撮像画像からのサイクル数生成値を用いて算出される。例えば、更新部１１４は、回帰直線の算出に用いる直近の撮像画像のサイクル数生成値を、回帰直線用データとしてメモリ１２に一時記憶しておき、一時記憶したこれらのサイクル数生成値から回帰直線を算出するものとすることができる。
【0097】
更新部１１４は、注目値の回帰直線からの差分量が所定量（例えば、±５％）以内であるか否かを判断する（Ｓ１６０３）。そして、更新部１１４は、差分量が所定量以内であるときは（Ｓ１６０３；ＹＥＳ）、注目値によりサイクル数判定値を更新する（Ｓ１６０４）。更新部１１４は、更新したサイクル数判定値を、出力部１１５へ送信すると共に、注目画像に関連付けて数値データ１２５の一部としてメモリ１２に保存する。
【0098】
一方、ステップＳ１６０３において、差分量が所定量を超えているときは（Ｓ１６０３；ＮＯ）、更新部１１４は、直近の第１所定数のサイクル数生成値が一定値に保持され続けたか否かを判断する（Ｓ１６０５）。ここで、「直近の第１所定数のサイクル数生成値」とは、注目画像と、注目画像の直前に撮像された複数の撮像画像と、を含む、直近の第１所定数の撮像画像から生成されたサイクル数生成値をいう。第１実施形態では、第１所定数は、例えば１０である。更新部１１４は、例えば、直近の第１所定数の撮像画像から生成された直近のサイクル数生成値をメモリ１２に一時記憶させておくことにより、ステップＳ１６０３における判断を行うものとすることができる。
【0099】
ステップＳ１６０５において直近の第１所定数のサイクル数生成値が一定値に保持され続けたときは（Ｓ１６０５；ＹＥＳ）、更新部１１４は、上記一定値によりサイクル数判定値を更新する（Ｓ１６０６）。更新部１１４は、更新したサイクル数判定値を、出力部１１５へ送信すると共に、注目画像に関連付けて数値データ１２５の一部としてメモリ１２に保存する。
【0100】
また、更新部１１４は、注目画像および注目画像より前に撮像された撮像画像からのサイクル数生成値を、ステップＳ１６０２における回帰直線の算出対象から除外することにより、回帰直線を初期化して更新する（Ｓ１６０７）。具体的には、例えば、更新部１１４は、メモリ１２に一時記憶した上述の回帰直線用データから、上記除外するサイクル数生成値を削除する。
【0101】
一方、ステップＳ１６０５において直近の第１所定数のサイクル数生成値が一定値に保持され続けていないときは（Ｓ１６０５；ＮＯ）、更新部１１４は、サイクル数判定値を更新しない（Ｓ１６０９）。すなわち、更新部１１４は、前回値（すなわち、直前画像におけるサイクル数判定値の値）を、注目画像についてのサイクル数判定値として決定する。また、更新部１１４は、決定したサイクル数判定値に警告情報を付す（Ｓ１６１０）。この警告情報は、例えば「ＷＡＬＮＩＮＧ」である。更新部１１４は、警告情報を付したサイクル数判定値を、出力部１１５へ送信すると共に、注目画像に関連付けて数値データ１２５の一部としてメモリ１２に保存する。
【0102】
また、一方、ステップＳ１６０１において注目値が前回値以下であるときは（Ｓ１６０１；ＮＯ）、更新部１１４は、直近の第２所定数のサイクル数生成値が一定値に保持され続けたか否かを判断する（Ｓ１６０８）。第１実施形態では、第２所定数は、例えば５０である。更新部１１４は、例えば、直近の第２所定数のサイクル数生成値をメモリ１２に一時記憶させておくことにより、ステップＳ１６０８における判断を行うものとすることができる。
【0103】
そして、ステップＳ１６０８において直近の第２所定数のサイクル数生成値が一定値に保持され続けたときは（Ｓ１６０８；ＹＥＳ）、更新部１１４は、ステップＳ１６０６に処理を移し、上記一定値によりサイクル数判定値を更新する。
【0104】
一方、ステップＳ１６０８において直近の第２所定数のサイクル数生成値が一定値に保持され続けていないときは（Ｓ１６０８；ＮＯ）、更新部１１４は、ステップＳ１６０９に処理を移し、サイクル数判定値を更新しない。すなわち、更新部１１４は、前回値を注目画像についてのサイクル数判定値として決定する。
【0105】
［１．４．７ 第２サイクル数更新処理における動作］
図１４は、図８における第２サイクル数更新処理の手順の一例を示すフローチャートである。
「第２サイクル数更新処理」とは、材料試験機２０が試験停止状態であるときに、注目画像に対応付けるべきサイクル数判定値を決定する処理である。
上述したように、第２サイクル数更新処理では、疲労試験の停止中においてサイクル数は変化しないことに基づき、更新部１１４は、一連の撮像画像から生成されたサイクル数生成値から、注目画像に対応付けるべきサイクル数判定値を決定する。
図１４は、図８における第２サイクル数更新処理の手順の一例を示すフローチャートである。
「第２サイクル数更新処理」とは、材料試験機２０が試験停止状態であるときに、注目画像に対応付けるべきサイクル数判定値を決定する処理である。
上述したように、第２サイクル数更新処理では、疲労試験の停止中においてサイクル数は変化しないことに基づき、更新部１１４は、一連の撮像画像から生成されたサイクル数生成値から、注目画像に対応付けるべきサイクル数判定値を決定する。
【0106】
まず、更新部１１４は、直近の第３所定数のサイクル数生成値が一定値に保持され続けたか否かを判断する（Ｓ１７１）。ここで、「直近の第３所定数のサイクル数生成値」とは、注目画像と、注目画像の直前に撮像された複数の撮像画像と、を含む、直近の第３所定数の撮像画像から生成されたサイクル数生成値をいう。第１実施形態では、第３所定数は、例えば１０である。更新部１１４は、例えば、直近の第３所定数の撮像画像から生成された直近のサイクル数生成値をメモリ１２に一時記憶させておくことにより、ステップＳ１７１における判断を行うものとすることができる。
【0107】
ステップＳ１７１において直近の第３所定数のサイクル数生成値が一定値に保持され続けたときは（Ｓ１７１；ＹＥＳ）、更新部１１４は、上記一定値によりサイクル数判定値を更新する（Ｓ１７２）。更新部１１４は、更新したサイクル数判定値を、出力部１１５へ送信すると共に、注目画像に関連付けてメモリ１２の数値データ１２５に保存する。
【0108】
一方、直近の第３所定数のサイクル数生成値が一定値に保持され続けていないときは（Ｓ１７１；ＮＯ）、更新部１１４は、サイクル数判定値を更新しない（Ｓ１７３）。すなわち、更新部１１４は、前回値を、注目画像についてのサイクル数判定値として決定する。また、更新部１１４は、決定したサイクル数判定値に警告情報を付す（Ｓ１７４）。この警告情報は、例えば「ＷＡＬＮＩＮＧ」である。更新部１１４は、警告情報を付したサイクル数判定値を、出力部１１５へ送信すると共に、注目画像に関連付けて数値データ１２５の一部としてメモリ１２に保存する。
【0109】
［１．５．変形例］
［１．５．１ 変形例１］
上述した実施形態においては、監視装置１０には、制御装置４０の表示パネル４１を撮像する１台のカメラ８０が接続されるものとしたが、監視装置１０に接続するカメラの数は１台には限られない。例えば、監視装置１０には、表示パネル４１を撮像するカメラ８０のほか、材料試験機２０の全体を撮像する追加のカメラが接続されるものとすることができる。この場合、取得部１１１は、例えば、カメラ８０が撮像した表示パネル４１の撮像画像を取得して注目画像とすると共に、注目画像と同じタイミングで上記追加のカメラから材料試験機２０の全体画像を取得する。
［１．５．１ 変形例１］
上述した実施形態においては、監視装置１０には、制御装置４０の表示パネル４１を撮像する１台のカメラ８０が接続されるものとしたが、監視装置１０に接続するカメラの数は１台には限られない。例えば、監視装置１０には、表示パネル４１を撮像するカメラ８０のほか、材料試験機２０の全体を撮像する追加のカメラが接続されるものとすることができる。この場合、取得部１１１は、例えば、カメラ８０が撮像した表示パネル４１の撮像画像を取得して注目画像とすると共に、注目画像と同じタイミングで上記追加のカメラから材料試験機２０の全体画像を取得する。
【0110】
また、この場合、出力部１１５は、図１５に示すようなデータ表示画面６０を表示部１４に出力するものとすることができる。データ表示画面６０は、例えば、判定結果表示部６１と、数値表示部６２と、注目画像表示部６３と、全体画像表示部６４と、試験片画像表示部６５と、を含む。判定結果表示部６１および数値表示部６２には、図７に示すデータ表示画面における判定結果表示部１４６および数値表示部１４７と同様に、それぞれ、油圧源状態と試験状態の判定結果、およびサイクル数判定値が表示される。また、注目画像表示部６３には、図７の注目画像表示部１４２と同様に、注目画像（すなわち、取得部１１１が今回取得した表示パネル４１の撮像画像）が表示される。さらに、全体画像表示部６４には、注目画像と同時に撮影された材料試験機２０の全体画像が表示され、試験片画像表示部６５には、その全体画像の中の試験片ＳＰの近傍部分を拡大した画像が表示される。
【0111】
［１．５．２ 変形例２］
上述した実施形態においては、材料試験機２０を制御する制御装置の一例として、１個のディスプレイ５０と、６個の表示ランプ５１ａ、５１ｂ、５１ｃ、５１ｄ、５２ａ、５２ｂを有する表示パネル４１を備えた制御装置４０を示した。ただし、制御装置の表示パネルは、表示パネル４１のような構成のものには限られない。制御装置の表示パネルは、表示器として、ディスプレイを備えていなくてもよいし、２つの以上のディスプレイを備えていてもよい。また、表示パネルは、表示器として、６以外の任意の個数の表示ランプを備えているものとすることができる。
上述した実施形態においては、材料試験機２０を制御する制御装置の一例として、１個のディスプレイ５０と、６個の表示ランプ５１ａ、５１ｂ、５１ｃ、５１ｄ、５２ａ、５２ｂを有する表示パネル４１を備えた制御装置４０を示した。ただし、制御装置の表示パネルは、表示パネル４１のような構成のものには限られない。制御装置の表示パネルは、表示器として、ディスプレイを備えていなくてもよいし、２つの以上のディスプレイを備えていてもよい。また、表示パネルは、表示器として、６以外の任意の個数の表示ランプを備えているものとすることができる。
【0112】
例えば、制御装置は、図１６に示すような簡素な構成の表示パネル７０を備えるものとすることができる。このような簡素な構成の表示パネル７０は、例えば、制御装置４０に接続される付属品としての操作ボックスの表示パネルであり得る。一例として、図１６に示す表示パネル７０には、表示器として、油圧源３０の電源状態を示す表示ランプ７１と、異常状態の発生を警告する表示ランプ７２と、が配されている。表示ランプ７１と表示ランプ７２は、それらの点灯態様の組み合わせにより、材料試験機２０の特定の状態を表現するものであり得る。
【0113】
また、表示パネル７０には、異常状態の警告を解除するリセットボタン７３と、図２に示す非常停止スイッチ４１５と同様の、非常停止スイッチ７４が配されている。また、矩形形状である表示パネル７０の４つの隅には、図２に示すマーカ５３１等と同様の、バーコードが付されたマーカ７５１，７５２、７５３、７５４が配されている。これらのマーカのバーコードには、これらのマーカが囲む領域が、表示器である表示ランプ７１、７２が配された領域であることを示す識別コードの情報が含まれる。
【0114】
この場合にも、監視装置１０は、上述した動作と同様の動作により、表示パネル７０の撮像画像を取得し、表示ランプ７１、７２の点灯態様の組み合わせが示す材料試験機２０の特定の状態を判定し、当該判定の結果を示すデータを、表示部１４に出力するものとすることができる。例えば、監視装置１０のメモリ１２には、表示ランプ７１、７２の種々の点灯態様と材料試験機２０の特定の状態との関係を学習した学習済みの状態認識モデルが記憶されており、状態判定部１１３は、当該状態認識モデルを用いて、上記特定の状態を判定するものとすることができる。
【0115】
［２．第２実施形態］
図１７は、第２実施形態に係る監視装置１０ａの構成の一例を示す図である。監視装置１０ａは、第１実施形態で説明した監視装置１０と同様に、材料試験機２０と組み合わせて使用可能である。監視装置１０ａの使用態様は第１実施形態と共通であるため、説明を省略する。また、第２実施形態において、第１実施形態と共通する構成には、同じ符号を付して説明を省略する。
図１７は、第２実施形態に係る監視装置１０ａの構成の一例を示す図である。監視装置１０ａは、第１実施形態で説明した監視装置１０と同様に、材料試験機２０と組み合わせて使用可能である。監視装置１０ａの使用態様は第１実施形態と共通であるため、説明を省略する。また、第２実施形態において、第１実施形態と共通する構成には、同じ符号を付して説明を省略する。
【0116】
図１７に示すように、監視装置１０ａはプロセッサ１１ａを備える。プロセッサ１１ａは、プロセッサ１１と同様に構成される。すなわち、プロセッサ１１ａは、上述した取得部１１１、画像認識部１１２、状態判定部１１３、更新部１１４、及び、出力部１１５を備える。さらに、プロセッサ１１ａは、画像処理部２１１を備える。
【0117】
監視装置１０ａは、メモリ１２ａを有する。メモリ１２ａは、メモリ１２と同様に構成される。すなわち、メモリ１２ａは、監視プログラム１２１、画像データ１２２、油圧状態認識モデル１２３ａ、試験状態認識モデル１２３ｂ、判定結果データ１２４、及び、数値データ１２５を記憶する。さらに、メモリ１２ａは、マスク画像データ２２１を記憶する。マスク画像データ２２１は、マスク画像の画像データである。マスク画像データ２２１は、例えば、図２に示す表示器領域５４の部分画像に対応するマスク画像のデータと、図２に示す表示器領域５５の部分画像に対応するマスク画像のデータとを含む。
【0118】
画像処理部２１１は、画像認識部１１２が抽出した表示器領域５４の部分画像および表示器領域５５の部分画像に対し、マスク画像データ２２１を利用して画像処理を実行することにより、判定用の部分画像を生成する。判定用の部分画像とは、表示ランプ５１ａ、５１ｂ、５１ｃ、５１ｄの点灯態様、或いは、表示ランプ５２ａ、５２ｂの点灯態様を容易に判定できるように加工された画像である。判定用の部分画像は、判定用画像の一例に対応する。
【0119】
マスク画像は、部分画像の一部を隠す画像である。すなわち、マスク画像を、画像認識部１１２が抽出した部分画像に重ねると、部分画像の一部が隠され、残りが隠されない状態となる。ここで、部分画像においてマスク画像によって隠される部分をマスク領域と呼び、部分画像においてマスク画像によって隠されない部分を非マスク領域と呼ぶ。画像処理部２１１は、部分画像から非マスク領域を抽出することにより、判定用の部分画像を生成する。非マスク領域は、表示ランプ５１ａ、５１ｂ、５１ｃ、５１ｄ或いは表示ランプ５２ａ、５２ｂの点灯態様が判定しやすい領域である。マスク領域は第１領域の一例に対応し、非マスク領域は第２領域の一例に対応する。
【0120】
例として、状態判定部１１３が表示ランプ５１ａの点灯態様を判定する場合を挙げる。この場合、状態判定部１１３は、表示ランプ５１ａが点灯しているか消灯しているかの判定、或いは、表示ランプ５１ａの点灯色の判定を行う。表示器領域５４に対応するマスク画像は、画像認識部１１２が抽出した部分画像において、表示ランプ５１ａの点灯態様の変化に伴って変化しない領域や、変化が小さい領域をマスクする。点灯態様の変化とは、表示ランプ５１ａの点灯と消灯との切り替え、及び、表示ランプ５１ａの点灯色の変化を含む。従って、表示ランプ５１ａの点灯態様の変化に伴って、部分画像の非マスク領域が大きく変化する。このため、画像処理部２１１が生成する判定用の部分画像を利用することにより、状態判定部１１３は、マスク画像を使用しない場合と比較して、より高精度で表示ランプ５１ａの点灯態様を判定できる。表示ランプ５１ｂ、５１ｃ、５１ｄ、表示ランプ５２ａ、５２ｂ、及び表示器領域５５についても同様である。
【0121】
表示器領域５４に対応するマスク画像は、表示器領域５４を撮像した部分画像の全体に重なる画像であってもよい。また、表示器領域５４に対応するマスク画像は、起動ボタン５１１、停止ボタン５１２、マニフォールドボタン５１３、及び加圧ボタン５１４のそれぞれに対応する画像であってもよい。すなわち、表示器領域５４に対応するマスク画像は４つのマスク画像を含んでもよい。
同様に、表示器領域５５に対応するマスク画像は、表示器領域５５を撮像した部分画像の全体に重なる画像であってもよい。また、表示器領域５５に対応するマスク画像は、開始キー５２１、及び停止キー５２２のそれぞれに対応する画像であってもよい。すなわち、表示器領域５５に対応するマスク画像は２つのマスク画像を含んでもよい。
同様に、表示器領域５５に対応するマスク画像は、表示器領域５５を撮像した部分画像の全体に重なる画像であってもよい。また、表示器領域５５に対応するマスク画像は、開始キー５２１、及び停止キー５２２のそれぞれに対応する画像であってもよい。すなわち、表示器領域５５に対応するマスク画像は２つのマスク画像を含んでもよい。
【0122】
画像処理部２１１は、変形例２で示した図１６に示す表示ランプ７１、７２の点灯態様を状態判定部１１３が判定する場合に、部分画像の画像処理を行ってもよい。表示ランプ７１及び表示ランプ７２は、例えば、点灯と消灯とを切り替え可能な簡素な構成である。状態判定部１１３は、表示パネル７０の部分画像をもとに、表示ランプ７１が点灯しているか消灯しているかの判定、及び、表示ランプ７２が点灯しているか消灯しているかの判定を行う。
この場合、表示パネル７０に対応するマスク画像は、表示ランプ７１の点灯時と消灯時とで明るさの変化が小さい部分、及び、表示ランプ７２の点灯時と消灯時とで明るさの変化が小さい部分をマスクする。
この場合、表示パネル７０に対応するマスク画像は、表示ランプ７１の点灯時と消灯時とで明るさの変化が小さい部分、及び、表示ランプ７２の点灯時と消灯時とで明るさの変化が小さい部分をマスクする。
【0123】
マスク画像データ２２１は、監視装置１０ａとは異なる装置によって予め生成され、メモリ１２に記憶されてもよいし、監視装置１０ａによって生成されてもよい。
ここで、監視装置１０ａがマスク画像データ２２１を生成する場合の動作を、図１８に示す。
ここで、監視装置１０ａがマスク画像データ２２１を生成する場合の動作を、図１８に示す。
【0124】
図１８は、画像処理部２１１が実行するマスク画像生成処理の一例を示すフローチャートである。図１９は、マスク画像生成処理の一例を示す模式図であり、表示ランプ７１の撮像画像を処理する例である。「マスク画像生成処理」とは、マスク画像を生成する処理である。
【0125】
図１８の動作は、例えば画像処理部２１１が実行する。
画像処理部２１１は、マスク画像の生成の対象となる対象部位のＯＮ画像を取得する（Ｓ２０１）。ＯＮ画像とは、対象部位のランプが点灯している状態の撮像画像である。画像処理部２１１は、対象部位のＯＦＦ画像を取得する（Ｓ２０２）。ＯＦＦ画像とは、対象部位のランプが消灯している状態の撮像画像である。ステップＳ２０２で取得されるＯＦＦ画像は、ステップＳ２０１で取得されるＯＮ画像と同じ対象部位を撮像した画像である。
画像処理部２１１は、マスク画像の生成の対象となる対象部位のＯＮ画像を取得する（Ｓ２０１）。ＯＮ画像とは、対象部位のランプが点灯している状態の撮像画像である。画像処理部２１１は、対象部位のＯＦＦ画像を取得する（Ｓ２０２）。ＯＦＦ画像とは、対象部位のランプが消灯している状態の撮像画像である。ステップＳ２０２で取得されるＯＦＦ画像は、ステップＳ２０１で取得されるＯＮ画像と同じ対象部位を撮像した画像である。
【0126】
図１９には、対象部位が表示ランプ７１である場合のＯＮ画像３０１、及び、ＯＦＦ画像３０２を示す。ＯＮ画像３０１は、表示ランプ７１がＯＮとなっている状態における撮像画像であり、具体的には表示ランプ７１が点灯している状態の撮像画像である。ＯＦＦ画像３０２は、表示ランプ７１がＯＦＦとなっている状態における撮像画像であり、具体的には表示ランプ７１が消灯している状態の撮像画像である。ＯＮ画像３０１及びＯＦＦ画像３０２は、例えば、注目画像から切り出される。ＯＮ画像３０１及びＯＦＦ画像３０２は、歪みを補正する画像補正が施されていない画像であってもよく、画像補正後の画像であってもよい。
【0127】
図１８に戻り、画像処理部２１１は、ＯＮ画像とＯＦＦ画像との明度差を、ＯＮ画像及びＯＦＦ画像の位置毎に算出する（Ｓ２０３）。例えば、画像処理部２１１は、ＯＮ画像における座標とＯＦＦ画像における座標との対応付けを行い、ＯＮ画像における第１の位置の明度と、ＯＦＦ画像において第１の位置に対応する第２の位置の明度とを求め、求めた明度の差を算出する。画像処理部２１１は、明度を算出する処理において、所定の面積を有する領域の明度の平均値を算出してもよいし、１画素の明度を算出してもよい。
画像処理部２１１は、ステップＳ２０３で算出した明度差が閾値以下の領域をマスクするマスク画像を生成する（Ｓ２０４）。明度の値は、例えば、０～２５５である。この場合、明度差の閾値は、０～２５５の間の値とすることができる。
画像処理部２１１は、ステップＳ２０３で算出した明度差が閾値以下の領域をマスクするマスク画像を生成する（Ｓ２０４）。明度の値は、例えば、０～２５５である。この場合、明度差の閾値は、０～２５５の間の値とすることができる。
【0128】
図１９に示すマスク画像３１１は、マスク領域３１２、及び、非マスク領域３１３を含む。マスク領域３１２は、ＯＮ画像３０１とＯＦＦ画像３０２との明度の差が閾値以下の領域である。非マスク領域３１３は、マスク画像３１１においてマスク領域３１２以外の領域である。非マスク領域３１３におけるＯＮ画像３０１とＯＦＦ画像３０２との明度の差は、閾値を超える値であり、マスク領域３１２より大きい。
言い換えれば、非マスク領域を抽出することにより生成された判定用の部分画像は、対象部位の点灯態様によって明度が顕著に変化する領域を抽出した画像である。従って、判定用の部分画像を利用すれば、対象部位の点灯態様を、判定用の部分画像を利用しない場合と比較して、より容易に且つより高精度で判定できる。
言い換えれば、非マスク領域を抽出することにより生成された判定用の部分画像は、対象部位の点灯態様によって明度が顕著に変化する領域を抽出した画像である。従って、判定用の部分画像を利用すれば、対象部位の点灯態様を、判定用の部分画像を利用しない場合と比較して、より容易に且つより高精度で判定できる。
【0129】
図１８の動作は、対象部位毎に実行される。これにより、対象部位毎のマスク画像が生成される。生成されたマスク画像のデータはマスク画像データ２２１に含まれる。対象部位は、状態判定部１１３が表示態様あるいは点灯態様を判定する対象であり、表示ランプ５１ａ～５１ｄ、表示ランプ５２ａ、５２ｂ、表示ランプ７１、７２等である。マスク画像データ２２１は、状態判定部１１３が判定の対象とする全ての対象部位に対応するマスク画像のデータを含むことが可能である。
【0130】
図２０は、画像処理部２１１が実行する判定前画像処理の一例を示すフローチャートである。判定前画像処理は、状態判定部１１３が判定を行う前に画像処理部２１１が判定用の部分画像を生成する処理である。判定前画像処理は、例えば、図８に示したステップＳ１２の後であって、ステップＳ１４の前に実行される。
【0131】
判定前画像処理において、画像処理部２１１は、画像認識部１１２が抽出した部分画像を取得する（Ｓ２１１）。画像処理部２１１は、状態判定部１１３が実行する処理に対応するマスク画像を選択して取得する（Ｓ２１２）。例えば、状態判定部１１３が表示ランプ７１の点灯態様を判定する処理を行う場合、画像処理部２１１は、ステップＳ２１２で、表示ランプ７１の部分画像に対応するマスク画像のデータを、マスク画像データ２２１から取得する。ステップＳ２１２で選択されるマスク画像のサイズは、ステップＳ２１１で取得された部分画像と完全に一致していなくてもよい。例えば、画像処理部２１１は、ステップＳ２１１で取得された部分画像の一部に重なるマスク画像を、ステップＳ２１２で取得してもよい。
【0132】
画像処理部２１１は、ステップＳ２１２で取得したマスク画像を利用して、ステップＳ２１１で取得した部分画像から非マスク領域を抽出することによって、判定用の部分画像を生成する（Ｓ２１３）。ステップＳ２１３で生成される判定用の部分画像は、状態判定部１１３が処理を行う対象部位の画像である。画像処理部２１１は、生成した判定用の部分画像を、状態判定部１１３が処理可能な状態で出力する（Ｓ２１４）。
【0133】
図２０の処理で生成される判定用の部分画像は、１つの対象部位のみを含む画像に限定されない。例えば、画像処理部２１１は、複数の対象部位を含む部分画像の一部の領域に１つのマスク画像を適用してもよい。この場合、ステップＳ２１３において、マスク画像が適用される対象部位の画像では非マスク領域が抽出され、他の対象部位の画像が未処理の状態で抽出される。これにより、部分画像に写っている複数の対象部位の一部が画像処理部２１１により処理された状態となる。
【0134】
ステップＳ２１４で、画像処理部２１１は、ステップＳ２１１で取得した１つの部分画像に、複数のマスク画像を適用してもよい。例えば、画像処理部２１１は、ステップＳ２１２で複数のマスク画像を取得し、これら複数のマスク画像を１つの部分画像に適用することにより、判定用の部分画像を生成してもよい。
また、マスク画像が、複数の対象部位の画像を含んでもよい。
また、マスク画像が、複数の対象部位の画像を含んでもよい。
【0135】
第２実施形態では、状態判定部１１３は、画像処理部２１１によって生成された部分画像を利用して、試験状態判定処理（ステップＳ１４）を実行する。これにより、監視装置１０ａの試験状態を、部分画像を利用しない場合と比較して、より高精度で判定することが可能となる。
【0136】
マスク画像は、対象部位を撮影したＯＮ画像とＯＦＦ画像とを利用して生成される。ＯＮ画像及びＯＦＦ画像は、例えば、材料試験機２０及び監視装置１０ａの設置状態において、カメラ８０が撮影した画像である。この場合、マスク画像生成処理で生成されるマスク画像は、環境光を含むカメラ８０の撮影環境の影響を受ける領域をマスクする。画像処理部２１１は、マスク画像を利用することで、カメラ８０の撮影画像において対象部位の点灯態様に対応して画像の変化が現れやすい領域を、非マスク領域として抽出できる。このため、状態判定部１１３の判定に関する撮影環境の影響を抑制し、状態判定部１１３による判定を、環境光の変化等に影響されにくくし、ロバスト性の高い判定を可能とする。これにより、状態判定部１１３の判定の精度を、より一層高めることが期待できる。
【0137】
監視装置１０ａは、マスク画像を利用した画像処理を、表示器領域５３、５４、５５のいずれにも適用することが可能である。
また、図１８に示す判定前画像処理で生成された判定用の部分画像を、ステップＳ１２の油圧源状態判定処理に利用してもよい。この場合、画像処理部２１１は、マスク画像を利用して表示器領域５３の部分画像の画像処理を行うことにより、表示器領域５３の判定用の部分画像を生成する。状態判定部１１３は、画像処理部２１１によって生成された、表示器領域５３に関する判定用の部分画像を利用して、油圧源状態判定処理を実行する。これにより、材料試験機２０の油圧源の状態を、部分画像を利用しない場合と比較して、より高精度で判定できる。
また、図１８に示す判定前画像処理で生成された判定用の部分画像を、ステップＳ１２の油圧源状態判定処理に利用してもよい。この場合、画像処理部２１１は、マスク画像を利用して表示器領域５３の部分画像の画像処理を行うことにより、表示器領域５３の判定用の部分画像を生成する。状態判定部１１３は、画像処理部２１１によって生成された、表示器領域５３に関する判定用の部分画像を利用して、油圧源状態判定処理を実行する。これにより、材料試験機２０の油圧源の状態を、部分画像を利用しない場合と比較して、より高精度で判定できる。
【0138】
［３．第３実施形態］
第２実施形態では、マスク画像生成処理においてＯＮ画像とＯＦＦ画像との明度の差に基づいてマスク画像を生成する処理を説明した。監視装置１０ａは、明度のほか、彩度および色相に基づいてマスク画像を生成する処理を行ってもよい。この例について、第３実施形態として説明する。第３実施形態における監視装置１０ａ、及び材料試験機２０の構成は、第２実施形態と共通である。
第２実施形態では、マスク画像生成処理においてＯＮ画像とＯＦＦ画像との明度の差に基づいてマスク画像を生成する処理を説明した。監視装置１０ａは、明度のほか、彩度および色相に基づいてマスク画像を生成する処理を行ってもよい。この例について、第３実施形態として説明する。第３実施形態における監視装置１０ａ、及び材料試験機２０の構成は、第２実施形態と共通である。
【0139】
【0140】
ステップＳ２０１、及びステップＳ２０２の動作は、図１８を参照して説明した動作と共通である。画像処理部２１１は、ステップＳ２０２に続いて、ＯＮ画像とＯＦＦ画像の色相差を、ＯＮ画像及びＯＦＦ画像の位置毎に算出する（Ｓ２１１）。例えば、画像処理部２１１は、ＯＮ画像における座標とＯＦＦ画像における座標との対応付けを行い、ＯＮ画像における第１の位置の色相の値と、ＯＦＦ画像において第１の位置に対応する第２の位置の色相の値とを求め、求めた値の差を算出する。画像処理部２１１は、色相の値を算出する処理において、所定の面積を有する領域の色相の値の平均値を算出してもよいし、１画素の色相の値を算出してもよい。
その後、画像処理部２１１は、ステップＳ２２１で算出した色相差が閾値以下の領域をマスクするマスク画像を生成する（Ｓ２２２）。色相の値は、例えば、０～２５５である。この場合、色相差の閾値は、０～２５５の間の値とすることができる。
その後、画像処理部２１１は、ステップＳ２２１で算出した色相差が閾値以下の領域をマスクするマスク画像を生成する（Ｓ２２２）。色相の値は、例えば、０～２５５である。この場合、色相差の閾値は、０～２５５の間の値とすることができる。
【0141】
また、画像処理部２１１は、ＯＮ画像とＯＦＦ画像の彩度差を、ＯＮ画像及びＯＦＦ画像の位置毎に算出する（Ｓ２２３）。例えば、画像処理部２１１は、ＯＮ画像における座標とＯＦＦ画像における座標との対応付けを行い、ＯＮ画像における第１の位置の彩度の値と、ＯＦＦ画像において第１の位置に対応する第２の位置の彩度の値とを求め、求めた値の差を算出する。画像処理部２１１は、彩度の値を算出する処理において、所定の面積を有する領域の彩度の値の平均値を算出してもよいし、１画素の彩度の値を算出してもよい。その後、画像処理部２１１は、ステップＳ２２１で算出した彩度差が閾値以下の領域をマスクするマスク画像を生成する（Ｓ２２４）。彩度の値は、例えば、０～２５５である。この場合、彩度差の閾値は、０～２５５の間の値とすることができる。
明度、彩度、及び、色相の閾値は、例えば、監視装置１０ａの実際の設置状態、または、実際の設置状態を模した試験環境において、試験的に撮像された撮像画像をもとに定められる。
明度、彩度、及び、色相の閾値は、例えば、監視装置１０ａの実際の設置状態、または、実際の設置状態を模した試験環境において、試験的に撮像された撮像画像をもとに定められる。
【0142】
また、画像処理部２１１は、ＯＮ画像とＯＦＦ画像の明度差を、ＯＮ画像及びＯＦＦ画像の位置毎に算出する（Ｓ２２５）。例えば、画像処理部２１１は、ＯＮ画像における座標とＯＦＦ画像における座標との対応付けを行い、ＯＮ画像における第１の位置の明度の値と、ＯＦＦ画像において第１の位置に対応する第２の位置の明度の値とを求め、求めた値の差を算出する。画像処理部２１１は、明度の値を算出する処理において、所定の面積を有する領域の明度の値の平均値を算出してもよいし、１画素の明度の値を算出してもよい。その後、画像処理部２１１は、ステップＳ２２１で算出した明度差が閾値以下の領域をマスクするマスク画像を生成する（Ｓ２２６）。
【0143】
ここで、ステップＳ２２１、Ｓ２２３、Ｓ２２５の処理について説明する。
色相の値は、例えば、次の手順１～３により算出することができる。
手順１．ＯＮ画像の第１の位置のＲ、Ｇ、Ｂの値を取得する。ここで、Ｒ、Ｇ、Ｂの値とは画素値を指す。ここでは、ＯＮ画像が２４ビットカラー画像であり、Ｒの値が０～２５５、Ｇの値が０～２５５、Ｂの値が０～２５５である例を説明する。
手順２．Ｒの値、Ｇの値、Ｂの値のうち、最大の値及び最小の値を特定し、最大の値をＮＭＡＸ、最小の値をＮＭＩＮとする。
手順３．色相の値Ｈを求める。詳細には、Ｒの値が最大である場合、下記式（１）により色相Ｈの値を求める。Ｇの値が最大である場合、下記式（２）により色相Ｈの値を求める。Ｂの値が最大である場合、下記式（３）により色相Ｈの値を求める。Ｒの値、Ｇの値、及びＢの値が全て同一の値である場合は、Ｈ＝０とする。
Ｈ＝６０×（（Ｇ－Ｂ）÷（ＮＭＡＸ－ＮＭＩＮ）） …（１）
Ｈ＝６０×（（Ｂ－Ｒ）÷（ＮＭＡＸ－ＮＭＩＮ））＋１２０ …（２）
Ｈ＝６０×（（Ｒ－Ｇ）÷（ＮＭＡＸ－ＮＭＩＮ））＋２４０ …（３）
色相の値は、例えば、次の手順１～３により算出することができる。
手順１．ＯＮ画像の第１の位置のＲ、Ｇ、Ｂの値を取得する。ここで、Ｒ、Ｇ、Ｂの値とは画素値を指す。ここでは、ＯＮ画像が２４ビットカラー画像であり、Ｒの値が０～２５５、Ｇの値が０～２５５、Ｂの値が０～２５５である例を説明する。
手順２．Ｒの値、Ｇの値、Ｂの値のうち、最大の値及び最小の値を特定し、最大の値をＮＭＡＸ、最小の値をＮＭＩＮとする。
手順３．色相の値Ｈを求める。詳細には、Ｒの値が最大である場合、下記式（１）により色相Ｈの値を求める。Ｇの値が最大である場合、下記式（２）により色相Ｈの値を求める。Ｂの値が最大である場合、下記式（３）により色相Ｈの値を求める。Ｒの値、Ｇの値、及びＢの値が全て同一の値である場合は、Ｈ＝０とする。
Ｈ＝６０×（（Ｇ－Ｂ）÷（ＮＭＡＸ－ＮＭＩＮ）） …（１）
Ｈ＝６０×（（Ｂ－Ｒ）÷（ＮＭＡＸ－ＮＭＩＮ））＋１２０ …（２）
Ｈ＝６０×（（Ｒ－Ｇ）÷（ＮＭＡＸ－ＮＭＩＮ））＋２４０ …（３）
【0144】
彩度の値Ｓは、例えば、上記手順１～２で求めたＮＭＡＸ及びＮＭＩＮを用いて下記式（４）により算出することができる。
Ｓ＝（ＮＭＡＸ－ＮＭＩＮ）÷ＮＭＡＸ …（４）
Ｓ＝（ＮＭＡＸ－ＮＭＩＮ）÷ＮＭＡＸ …（４）
【0145】
明度の値Ｖは、例えば、上記手順１～２で求めたＮＭＡＸ及びＮＭＩＮを用いて下記式（５）により算出することができる。
Ｖ＝ＮＭＡＸ …（５）
この方法は、上記第２実施形態においてＯＮ画像の明度を算出する処理にも適用できる。
Ｖ＝ＮＭＡＸ …（５）
この方法は、上記第２実施形態においてＯＮ画像の明度を算出する処理にも適用できる。
【0146】
画像処理部２１１は、上記の手順によりＯＮ画像の色相、彩度、及び明度を算出し、同様の手順によりＯＦＦ画像の色相、彩度、及び明度を算出する。
【0147】
以上の動作により、色相マスク画像、彩度マスク画像、及びマスク画像が生成される。色相マスク画像、彩度マスク画像、及びマスク画像は、第２実施形態で説明したように、マスク画像データ２２１に含まれる。色相マスク画像とは、ステップＳ２２２で生成されるマスク画像であり、彩度マスク画像とは、ステップＳ２２４で生成されるマスク画像である。換言すれば、色相マスク画像とは、色相差が閾値以下の領域をマスクするマスク画像であり、彩度マスク画像とは、彩度差が閾値以下の領域をマスクするマスク画像である。これらのマスク画像は、画像認識部１１２による画像認識処理、及び、状態判定部１１３による油圧源状態判定処理（ステップＳ１３）、試験状態判定処理（ステップＳ１４）に利用可能である。これらのマスク画像を利用することは、ディスプレイ５０の表示態様、または、表示器領域５３、５４、５５の点灯態様を認識または判定する処理の精度を高める効果がある。
【0148】
画像認識部１１２が認識する対象、及び、状態判定部１１３が判定する対象を、対象部位とする。対象部位は、例えば、ディスプレイ５０の表示全体、ディスプレイ５０に表示されるサイクル数表示部５０１、特定記号表示部５０２、或いは、試験状態表示部５０３である。また、対象部位は、例えば、起動ボタン５１１、停止ボタン５１２、マニフォールドボタン５１３、加圧ボタン５１４、開始キー５２１、停止キー５２２、表示ランプ７１、或いは、表示ランプ７２である。
【0149】
第３実施形態では、画像認識部１１２による認識、及び、状態判定部１１３による判定を、色相、彩度、及び、明度のいずれか１以上に基づき実行することができる。対象部位の表示態様または点灯態様が変化した場合にカメラ８０の撮像画像に色の変化を生じる場合には、色相または彩度により認識または判定を行うことが好ましい。例えば、表示ランプ５１ａ～５１ｄ、５２ａ、５２ｂは、２色以上の点灯色が切り替わる構成とすることができる。表示ランプ５１ａが第１の点灯色と第２の点灯色とを切り替える場合、色相の差または彩度の差により第１の点灯色と第２の点灯色とを識別することは容易である。また、例えば、ディスプレイ５０に表示される項目の色が変化する場合にも好適である。
【0150】
そして、対象部位の表示態様または点灯態様の変化により色相の変化が小さい場合、彩度の差を利用すると、彩度の差を利用しない場合と比較して、より高精度で認識および判定を行うことができる。具体的には、第１の点灯色と第２の点灯色とが同系色である場合や似た色である場合が挙げられる。また、対象部位が、１つの光源の点灯と消灯とを切り替える構成である場合にも、彩度の差を利用して認識または判定を行うことが好適である。
【0151】
また、対象部位の表示態様または点灯態様の変化により色相の変化が大きい場合、色相の差を利用すると、色相の差を利用しない場合と比較して、より高精度で認識および判定を行うことができる。具体的には、第１の点灯色と第２の点灯色とが同系色でない場合や、補色である場合が挙げられる。
【0152】
また、対象部位の表示態様または点灯態様の変化により明るさの変化が大きい場合、明度の差を利用すると、明度の差を利用しない場合と比較して、より高精度で認識および判定を行うことができる。具体的には、対象部位が、光源の点灯と消灯とを切り替える構成である場合が挙げられる。
【0153】
画像処理部２１１は、色相マスク画像、彩度マスク画像、及び明度マスク画像の少なくともいずれかを利用して、図２０に示した判定前画像処理を実行する。この場合、画像処理部２１１は、状態判定部１１３が実行する判定の対象である対象部位に合わせて、色相マスク画像、彩度マスク画像、及び明度マスク画像のいずれかを選択してもよい。この場合、対象部位毎に、適用されるマスク画像が色相マスク画像、彩度マスク画像、及び明度マスク画像のいずれであるかが予め設定されてもよい。
【0154】
例えば、画像処理部２１１は、対象部位のＯＮ画像とＯＦＦ画像とについて、非マスク領域の色相の平均値、非マスク領域の彩度の平均値、及び、非マスク領域の明度の平均値を算出する。画像処理部２１１は、対象部位のＯＮ画像とＯＦＦ画像とにおける色相の平均値の差、彩度の平均値の差、及び、明度の平均値の差のそれぞれを算出する。そして、画像処理部２１１は、色相の平均値の差、彩度の平均値の差、及び、明度の平均値の差のうち最も大きい差を特定する。画像処理部２１１は、色相の平均値の差が最も大きい場合に対象部位に色相マスク画像を対応付ける。また、彩度の平均値の差が最も大きい場合に対象部位に彩度マスク画像を対応付ける。また、明度の平均値の差が最も大きい場合に対象部位に明度マスク画像を対応付ける。
【0155】
また、画像処理部２１１は、色相マスク画像を利用する判定前画像処理、彩度マスク画像を利用する判定前画像処理、及び、明度マスク画像を利用する判定前画像処理をそれぞれ実行してもよい。この場合、状態判定部１１３は、色相マスク画像を利用して生成された判定用の部分画像、彩度マスク画像を利用して生成された判定用の部分画像、及び明度マスク画像を利用して生成された判定用の部分画像のいずれかを選択する。状態判定部１１３は、選択した判定用の部分画像を用いて、ステップＳ１３の油圧源状態判定処理やステップＳ１４の試験状態判定処理を実行する。
【0156】
画像処理部２１１は、画像認識部１１２が使用する判定用の部分画像を生成する場合も同様に、色相マスク画像を利用する判定前画像処理、彩度マスク画像を利用する判定前画像処理、及び、明度マスク画像を利用する判定前画像処理をそれぞれ実行してもよい。この場合、画像認識部１１２は、色相マスク画像を利用して生成された判定用の部分画像、彩度マスク画像を利用して生成された判定用の部分画像、及び明度マスク画像を利用して生成された判定用の部分画像のいずれかを選択して利用する。
【0157】
このように、第３実施形態の構成によれば、監視装置１０ａが、色相マスク画像、彩度マスク画像、及び明度マスク画像を含むマスク画像データ２２１を有し、これらの各マスク画像を利用する画像処理を画像処理部２１１が実行する。これにより、状態判定部１１３がディスプレイ５０の表示態様や表示器領域５３、５４、５５における点灯態様を判定する場合に、判定制度をより一層高め、容易に判定を行うことができる。具体的には、表示態様の変化または点灯態様の変化に伴う色相の差、彩度の差、及び、明度の差のいずれかが乏しい対象部位について、高精度の判定を行うことができる。画像認識部１１２が行う処理についても、色相マスク画像、彩度マスク画像、及び明度マスク画像を利用する画像処理を画像処理部２１１が実行することによって、精度を高めることができる。
【0158】
また、撮像画像の色相、彩度、及び明度を基準として表示態様や点灯態様を判定できるので、カメラ８０の撮影環境の影響を抑制し、環境光の変化等に影響されにくくロバスト性の高い判定を可能とする。
さらに、表示態様や点灯態様の変化による明度の変化に加え、色相の変化や彩度の変化を利用して判定を行える。このため、対象部位の表示態様や点灯態様が３通り、４通りと多くの状態を変化する場合にも、表示態様や点灯態様を正確に判定できる。
さらに、表示態様や点灯態様の変化による明度の変化に加え、色相の変化や彩度の変化を利用して判定を行える。このため、対象部位の表示態様や点灯態様が３通り、４通りと多くの状態を変化する場合にも、表示態様や点灯態様を正確に判定できる。
【0159】
［４．第４実施形態］
第２実施形態及び第３実施形態では、画像処理部２１１が判定用の部分画像を生成し、この判定用の部分画像を利用して、状態判定部１１３が油圧源状態判定処理（ステップＳ１３）及び／または試験状態判定処理（ステップＳ１４）を実行する例を説明した。
本発明の適用例として、状態判定部１１３が油圧源状態判定処理（ステップＳ１３）及び／または試験状態判定処理（ステップＳ１４）において、マスク画像を利用してもよい。この例について、図２２を参照して説明する。
第２実施形態及び第３実施形態では、画像処理部２１１が判定用の部分画像を生成し、この判定用の部分画像を利用して、状態判定部１１３が油圧源状態判定処理（ステップＳ１３）及び／または試験状態判定処理（ステップＳ１４）を実行する例を説明した。
本発明の適用例として、状態判定部１１３が油圧源状態判定処理（ステップＳ１３）及び／または試験状態判定処理（ステップＳ１４）において、マスク画像を利用してもよい。この例について、図２２を参照して説明する。
【0160】
図２２は、第４実施形態における状態判定部１１３の動作の一例を示すフローチャートである。図２２に示す動作は、図１１のステップＳ１４０２に代えて実行される。
第４実施形態における材料試験機２０及び監視装置１０ａの構成は、第３実施形態と同様である。監視装置１０ａは、画像処理部２１１または他の装置によって生成される色相マスク画像、彩度マスク画像、及び明度マスク画像を含むマスク画像データ２２１を、メモリ１２に記憶する。
第４実施形態における材料試験機２０及び監視装置１０ａの構成は、第３実施形態と同様である。監視装置１０ａは、画像処理部２１１または他の装置によって生成される色相マスク画像、彩度マスク画像、及び明度マスク画像を含むマスク画像データ２２１を、メモリ１２に記憶する。
【0161】
状態判定部１１３は、画像認識部１１２によって補正された部分画像を取得する（Ｓ２３１）。状態判定部１１３は、マスク画像データ２２１に含まれる色相マスク画像を部分画像に重ねて、非マスク領域を抽出する（Ｓ２３２）。状態判定部１１３は、非マスク領域の色相の平均値を算出する（Ｓ２３３）。
【0162】
状態判定部１１３は、ステップＳ２３１で取得した部分画像に、マスク画像データ２２１に含まれる彩度マスク画像を重ねて、非マスク領域を抽出する（Ｓ２３４）。状態判定部１１３は、非マスク領域の彩度の平均値を算出する（Ｓ２３５）。
【0163】
状態判定部１１３は、ステップＳ２３１で取得した部分画像に、マスク画像データ２２１に含まれる明度マスク画像を重ねて、非マスク領域を抽出する（Ｓ２３６）。状態判定部１１３は、非マスク領域の明度の平均値を算出する（Ｓ２３７）。
【0164】
状態判定部１１３は、ステップＳ２３３で算出した色相の平均値、ステップＳ２３５で算出した彩度の平均値、及び、ステップＳ２３７で算出した明度の平均値に基づいて、点灯態様を判定する（Ｓ２３８）。ステップＳ２３８の判定の対象は、表示ランプ５１ａ～５１ｄ、５２ａ、５２ｂ等である。状態判定部１１３は、ステップＳ２３８の判定結果から材料試験機２０の試験状態を推定する（Ｓ２３９）。ステップＳ２３９の推定の結果は、第２推定に対応する。
【0165】
ステップＳ２３９で、状態判定部１１３は、例えば、ステップＳ２３３で算出した色相の平均値が、ＯＮ画像とＯＦＦ画像のどちらに近いかを判定する。すなわち、状態判定部１１３は、部分画像の色相の平均値が、ＯＮ画像における非マスク領域の色相の平均値と、ＯＦＦ画像における非マスク領域の色相の平均値とのどちらに近い値であるかを判定する。同様に、状態判定部１１３は、ステップＳ２３５で算出した彩度の平均値が、ＯＮ画像とＯＦＦ画像のどちらに近いかを判定する。同様に、状態判定部１１３は、ステップＳ２３７で算出した明度の平均値が、ＯＮ画像とＯＦＦ画像のどちらに近いかを判定する。
【0166】
状態判定部１１３は、部分画像の色相の平均値、彩度の平均値、及び、明度の平均値のそれぞれが、ＯＮ画像とＯＦＦ画像のどちらに近いかによって、点灯態様を判定する。例えば、色相の平均値、彩度の平均値、及び、明度の平均値のうち２以上がＯＮ画像に近い場合、状態判定部１１３は、判定対象の対象部位がＯＮ状態であると判定する。また、状態判定部１１３は、色相の平均値、彩度の平均値、及び、明度の平均値のうち２以上がＯＦＦ画像に近い場合、判定対象の対象部位がＯＦＦ状態であると判定する。
【0167】
この判定において、状態判定部１１３は、予め色相、彩度、及び明度のそれぞれに設定された重み付けを行ってもよい。
具体的には、色相の判定結果をＨＤとし、色相の平均値がＯＮ画像に近いと判定した場合は「ＨＤ＝１」とし、色相の平均値がＯＦＦ画像に近いと判定した場合は「ＨＤ＝－１」とする。また、彩度の判定結果をＳＤとし、彩度の平均値がＯＮ画像に近いと判定した場合は「ＳＤ＝１」とし、彩度の平均値がＯＦＦ画像に近いと判定した場合は「ＳＤ＝－１」とする。また、明度の判定結果をＶＤとし、明度の平均値がＯＮ画像に近いと判定した場合は「ＶＤ＝１」とし、明度の平均値がＯＦＦ画像に近いと判定した場合は「ＶＤ＝－１」とする。
具体的には、色相の判定結果をＨＤとし、色相の平均値がＯＮ画像に近いと判定した場合は「ＨＤ＝１」とし、色相の平均値がＯＦＦ画像に近いと判定した場合は「ＨＤ＝－１」とする。また、彩度の判定結果をＳＤとし、彩度の平均値がＯＮ画像に近いと判定した場合は「ＳＤ＝１」とし、彩度の平均値がＯＦＦ画像に近いと判定した場合は「ＳＤ＝－１」とする。また、明度の判定結果をＶＤとし、明度の平均値がＯＮ画像に近いと判定した場合は「ＶＤ＝１」とし、明度の平均値がＯＦＦ画像に近いと判定した場合は「ＶＤ＝－１」とする。
【0168】
ここで、色相に対応する重み付けの値をＷＨ、彩度に対応する重み付けの値をＷＳ、明度に対応する重み付けの値をＷＶとする。状態判定部１１３は、下記式（６）により、判定値ＤＤを算出する。
ＤＤ＝ＷＨ×ＨＤ＋ＷＳ×ＳＤ＋ＷＶ×ＶＤ …（６）
状態判定部１１３は、算出したＤＤの値が０以上の値である場合は点灯態様がＯＮ状態であると判定し、ＤＤの値が負の値である場合は点灯態様がＯＦＦ状態であると判定する。
ＤＤ＝ＷＨ×ＨＤ＋ＷＳ×ＳＤ＋ＷＶ×ＶＤ …（６）
状態判定部１１３は、算出したＤＤの値が０以上の値である場合は点灯態様がＯＮ状態であると判定し、ＤＤの値が負の値である場合は点灯態様がＯＦＦ状態であると判定する。
【0169】
第４実施形態で説明したように、状態判定部１１３がマスク画像を利用して判定を行うことによって、材料試験機２０による試験状態を、マスク画像を利用しない場合と比較して、より高精度で判定することが可能となる。
【0170】
図２２の動作は一例であり、状態判定部１１３は、例えば、油圧源状態判定処理（図１０）のステップＳ１３１で、マスク画像を利用した判定を行ってもよい。また、図２２に示す動作は、状態判定部１１３のみが実行してもよいし、少なくとも一部の処理をマスク画像データ２２１が実行してもよい。
【0171】
［５．態様と効果］
上述した第１～第４実施形態は、以下の態様の具体例であることが当業者により理解される。
上述した第１～第４実施形態は、以下の態様の具体例であることが当業者により理解される。
【0172】
（第１項）
一の態様に関わる分析装置の監視装置は、分析装置を制御する制御装置の表示パネルの撮像画像を取得する取得部と、前記撮像画像を記憶する画像記憶部と、前記撮像画像に基づき、前記分析装置の状態を判定する状態判定部と、を備える。
一の態様に関わる分析装置の監視装置は、分析装置を制御する制御装置の表示パネルの撮像画像を取得する取得部と、前記撮像画像を記憶する画像記憶部と、前記撮像画像に基づき、前記分析装置の状態を判定する状態判定部と、を備える。
【0173】
第１項に記載の監視装置によれば、状態判定部は、分析装置を制御する制御装置の表示パネルの撮像画像に基づき、分析装置の状態を判定する。
よって、ユーザは、その判定の結果を表すデータにより、分析装置の状態を容易に把握することができる。
よって、ユーザは、その判定の結果を表すデータにより、分析装置の状態を容易に把握することができる。
【0174】
（第２項）
第１項に記載の監視装置において、前記表示パネルは、表示器として複数の表示ランプを含み、前記状態判定部は、前記撮像画像に含まれ、前記複数の表示ランプに対応する第１撮像画像に基づき、前記複数の表示ランプの点灯態様の組み合わせが示す前記分析装置の状態を判定する。
第１項に記載の監視装置において、前記表示パネルは、表示器として複数の表示ランプを含み、前記状態判定部は、前記撮像画像に含まれ、前記複数の表示ランプに対応する第１撮像画像に基づき、前記複数の表示ランプの点灯態様の組み合わせが示す前記分析装置の状態を判定する。
【0175】
第２項に記載の監視装置によれば、状態判定部は、表示パネルが備える表示ランプの画像から、それら表示ランプの点灯態様の組み合わせが示す分析装置の状態を判定する。
よって、ユーザは、点灯態様の組み合わせが示す分析装置の状態を自身で判定する必要がない。したがって、ユーザの利便性を向上できる。
よって、ユーザは、点灯態様の組み合わせが示す分析装置の状態を自身で判定する必要がない。したがって、ユーザの利便性を向上できる。
【0176】
（第３項）
第２項に記載の監視装置において、前記第１撮像画像における第１領域と、前記表示ランプの点灯態様が変化した場合の画像の変化が前記第１領域よりも大きい第２領域とを決定し、前記第２領域の画像を含む判定用画像を生成する画像処理部を備え、前記状態判定部は、前記第１撮像画像として前記判定用画像を取得する。
第２項に記載の監視装置において、前記第１撮像画像における第１領域と、前記表示ランプの点灯態様が変化した場合の画像の変化が前記第１領域よりも大きい第２領域とを決定し、前記第２領域の画像を含む判定用画像を生成する画像処理部を備え、前記状態判定部は、前記第１撮像画像として前記判定用画像を取得する。
【0177】
第３項に記載の監視装置によれば、表示ランプの点灯態様が変化した場合の画像の変化が大きい領域を含む判定用画像を利用することによって、より高精度で判定を行うことが可能となる。
【0178】
（第４項）
第３項に記載の監視装置において、前記画像処理部は、前記第１領域をマスクするマスク画像を前記第１撮像画像に適用することによって、前記判定用画像を生成する。
第３項に記載の監視装置において、前記画像処理部は、前記第１領域をマスクするマスク画像を前記第１撮像画像に適用することによって、前記判定用画像を生成する。
【0179】
第４項に記載の監視装置によれば、表示ランプの点灯態様が変化した場合の画像の変化が大きい領域を含む判定用画像を、容易に生成できる。
【0180】
（第５項）
第２項または第３項に記載の監視装置において、前記複数の表示ランプの種々の点灯態様の前記第１撮像画像と、前記分析装置の状態と、の関係を機械学習により学習させた状態認識モデルを備え、前記状態判定部は、前記第１撮像画像を前記状態認識モデルに入力することにより、前記分析装置の状態を判定する。
第２項または第３項に記載の監視装置において、前記複数の表示ランプの種々の点灯態様の前記第１撮像画像と、前記分析装置の状態と、の関係を機械学習により学習させた状態認識モデルを備え、前記状態判定部は、前記第１撮像画像を前記状態認識モデルに入力することにより、前記分析装置の状態を判定する。
【0181】
第５項に記載の監視装置によれば、状態判定部は、複数の表示ランプの種々の点灯態様の組み合わせと分析装置の状態との関係を機械学習により学習させた状態認識モデルを用いて、分析装置の状態を判定する。
よって、個々の表示ランプの点灯態様を個別に認識する必要がないので、分析装置の状態が迅速に判定され得る。
よって、個々の表示ランプの点灯態様を個別に認識する必要がないので、分析装置の状態が迅速に判定され得る。
【0182】
（第６項）
第５項に記載の監視装置において、前記状態判定部は、前記状態認識モデルを用いて前記分析装置の状態を判定したときは、前記状態の判定結果に当該判定の確度に応じた警告情報を付す。
第５項に記載の監視装置において、前記状態判定部は、前記状態認識モデルを用いて前記分析装置の状態を判定したときは、前記状態の判定結果に当該判定の確度に応じた警告情報を付す。
【0183】
第６項に記載の監視装置によれば、状態判定部は、状態認識モデルを用いて分析装置の状態を判定したときは、判定結果にその判定確度に応じた警告情報を付す。
よって、ユーザは、判定結果に付された警告情報から、その判定結果の信頼性の高低を容易に把握することができる。
よって、ユーザは、判定結果に付された警告情報から、その判定結果の信頼性の高低を容易に把握することができる。
【0184】
（第７項）
第２項ないし第６項のいずれか一項に記載の監視装置において、前記撮像画像に対して画像認識処理を行う画像認識部を備え、前記表示パネルには、前記表示器が設けられた領域である表示器領域の各々の少なくとも２つの隅に、前記表示器領域の識別コードを示すバーコードが付されたマーカが配置され、前記画像認識部は、前記撮像画像に含まれる前記マーカの撮像画像から、前記識別コードを取得し、前記マーカの位置および、前記識別コードに基づいて、前記撮像画像における前記表示器領域の各々に対応する画像領域を特定する。
第２項ないし第６項のいずれか一項に記載の監視装置において、前記撮像画像に対して画像認識処理を行う画像認識部を備え、前記表示パネルには、前記表示器が設けられた領域である表示器領域の各々の少なくとも２つの隅に、前記表示器領域の識別コードを示すバーコードが付されたマーカが配置され、前記画像認識部は、前記撮像画像に含まれる前記マーカの撮像画像から、前記識別コードを取得し、前記マーカの位置および、前記識別コードに基づいて、前記撮像画像における前記表示器領域の各々に対応する画像領域を特定する。
【0185】
第７項に記載の監視装置によれば、画像認識部は、表示パネルに配されたマーカの画像から識別コードを取得し、撮像画像上におけるマーカの位置および上記識別コードに基づいて、表示器が配されている画像領域を特定する。
よって、試験途中においてカメラの位置が移動された場合でも、撮像画像上において表示器が配されている画像部分をマーカの位置から容易に特定して、状態判定の処理を迅速に行うことができる。
よって、試験途中においてカメラの位置が移動された場合でも、撮像画像上において表示器が配されている画像部分をマーカの位置から容易に特定して、状態判定の処理を迅速に行うことができる。
【0186】
（第８項）
第７項に記載の監視装置において、前記表示器領域の少なくとも一つは矩形であり、前記表示パネルには、少なくとも一つの矩形の前記表示器領域の４隅に前記マーカが配置され、前記画像認識部は、前記矩形の表示器領域の４隅に配された前記マーカの位置に基づき、前記画像領域の画像の歪みを補正する。
第７項に記載の監視装置において、前記表示器領域の少なくとも一つは矩形であり、前記表示パネルには、少なくとも一つの矩形の前記表示器領域の４隅に前記マーカが配置され、前記画像認識部は、前記矩形の表示器領域の４隅に配された前記マーカの位置に基づき、前記画像領域の画像の歪みを補正する。
【0187】
第８項に記載の監視装置によれば、画像認識部は、表示器が配された矩形の表示器領域の４隅に配されたマーカの位置に基づいて画像の歪みを補正する。
よって、試験途中においてカメラの位置が移動されて画像歪みの態様が変化する場合でも、マーカの配置から画像歪みを適切に把握して、画像補正を迅速に行うことができる。
よって、試験途中においてカメラの位置が移動されて画像歪みの態様が変化する場合でも、マーカの配置から画像歪みを適切に把握して、画像補正を迅速に行うことができる。
【0188】
（第９項）
第７項または第８項に記載の監視装置において、前記表示器の少なくとも一つは、特定の記号と数値とを表示する数値表示器であり、前記画像認識部は、前記数値表示器に表示される前記記号のサイズに基づいて、前記数値表示器に表示される前記数値の文字サイズを推定し、前記推定した文字サイズを用いた画像認識処理により、前記数値表示器に表示される数値データを生成する。
第７項または第８項に記載の監視装置において、前記表示器の少なくとも一つは、特定の記号と数値とを表示する数値表示器であり、前記画像認識部は、前記数値表示器に表示される前記記号のサイズに基づいて、前記数値表示器に表示される前記数値の文字サイズを推定し、前記推定した文字サイズを用いた画像認識処理により、前記数値表示器に表示される数値データを生成する。
【0189】
第９項に記載の監視装置によれば、画像認識部は、数値表示器に表示される特定の記号のサイズから表示数値の文字サイズを推定し、推定した文字サイズを用いて表示数値を認識して数値データを生成する。
よって、不適切な文字サイズを用いた文字認識により表示数値が誤認識され、誤った数値データが生成されてしまう可能性を低減することができる。
よって、不適切な文字サイズを用いた文字認識により表示数値が誤認識され、誤った数値データが生成されてしまう可能性を低減することができる。
【0190】
（第１０項）
第９項に記載の監視装置において、前記分析装置は疲労試験を実行し、前記数値表示器が表示する数値は、前記疲労試験のサイクル数を含み、前記取得部は、前記疲労試験において所定の時間間隔で撮像された複数の前記撮像画像を取得し、前記画像認識部は、前記複数の撮像画像の各々から前記サイクル数の値を表す前記数値データを生成し、前記監視装置は、前記画像認識部が生成した前記サイクル数の数値データに基づいて前記撮像画像に対応付けるサイクル数の値であるサイクル数判定値を更新する更新部を備え、前記更新部は、前記複数の撮像画像の一つである注目画像よりも前に撮像された少なくとも３つの前記撮像画像の各々から生成された前記サイクル数の数値データの時間に対する回帰直線を求め、前記注目画像から生成された前記サイクル数の数値データの値である注目値の前記回帰直線との差分量が所定量以内である場合には、前記注目値により前記サイクル数判定値を更新する。
第９項に記載の監視装置において、前記分析装置は疲労試験を実行し、前記数値表示器が表示する数値は、前記疲労試験のサイクル数を含み、前記取得部は、前記疲労試験において所定の時間間隔で撮像された複数の前記撮像画像を取得し、前記画像認識部は、前記複数の撮像画像の各々から前記サイクル数の値を表す前記数値データを生成し、前記監視装置は、前記画像認識部が生成した前記サイクル数の数値データに基づいて前記撮像画像に対応付けるサイクル数の値であるサイクル数判定値を更新する更新部を備え、前記更新部は、前記複数の撮像画像の一つである注目画像よりも前に撮像された少なくとも３つの前記撮像画像の各々から生成された前記サイクル数の数値データの時間に対する回帰直線を求め、前記注目画像から生成された前記サイクル数の数値データの値である注目値の前記回帰直線との差分量が所定量以内である場合には、前記注目値により前記サイクル数判定値を更新する。
【0191】
第１０項に記載の監視装置によれば、更新部は、注目画像より前の撮像画像から生成されたサイクル数の値の時間に対する回帰直線と、注目画像から生成されたサイクル数の数値（注目値）と、の差分量が所定量以内である場合に、その注目値により、注目画像に対応付けるサイクル数判定値を更新する。
よって、回帰直線が表すサイクル数の時間変化傾向を考慮した信頼性の高いサイクル数判定値を、撮像画像に対応付けることができる。
よって、回帰直線が表すサイクル数の時間変化傾向を考慮した信頼性の高いサイクル数判定値を、撮像画像に対応付けることができる。
【0192】
（第１１項）
第１０項に記載の監視装置において、前記更新部は、前記注目値の前記回帰直線からの差分量が所定量以内ではない場合において、注目画像より前に撮像された所定数の前記撮像画像から生成された前記サイクル数の数値データの全てが同じ値であるときは、前記同じ値により前記サイクル数判定値を更新すると共に、前記回帰直線を更新する。
第１０項に記載の監視装置において、前記更新部は、前記注目値の前記回帰直線からの差分量が所定量以内ではない場合において、注目画像より前に撮像された所定数の前記撮像画像から生成された前記サイクル数の数値データの全てが同じ値であるときは、前記同じ値により前記サイクル数判定値を更新すると共に、前記回帰直線を更新する。
【0193】
第１１項に記載の監視装置によれば、注目値と回帰直線との差分量が所定量以内でなく、その前の所定数の撮像画像から生成されたサイクル数の数値データが全て同じ値であるときは、更新部は、その同じ値によりサイクル数判定値を更新し、かつ回帰直線を更新する。
よって、例えば疲労試験の応力印加の周期が変更されて、サイクル数の時間変化傾向が変化した場合でも、誤ったサイクル数判定値が撮像画像に対応付けられるのを回避すると共に、その後は、更新した回帰直線によりサイクル数の新たな時間変化傾向を把握して、信頼性の高いサイクル数判定値を撮像画像に対応付けることが可能となる。
よって、例えば疲労試験の応力印加の周期が変更されて、サイクル数の時間変化傾向が変化した場合でも、誤ったサイクル数判定値が撮像画像に対応付けられるのを回避すると共に、その後は、更新した回帰直線によりサイクル数の新たな時間変化傾向を把握して、信頼性の高いサイクル数判定値を撮像画像に対応付けることが可能となる。
【0194】
（第１２項）
第１０項または第１１項に記載の監視装置において、前記更新部は、前記注目値の前記回帰直線からの差分量が所定量以内ではない場合において、注目画像より前に撮像された所定数の前記撮像画像から生成された前記サイクル数の数値データの少なくとも一つが他と異なる値であるときは、前記サイクル数判定値を更新しない。
第１０項または第１１項に記載の監視装置において、前記更新部は、前記注目値の前記回帰直線からの差分量が所定量以内ではない場合において、注目画像より前に撮像された所定数の前記撮像画像から生成された前記サイクル数の数値データの少なくとも一つが他と異なる値であるときは、前記サイクル数判定値を更新しない。
【0195】
第１２項に記載の監視装置によれば、更新部は、回帰直線からの注目値の差分量が所定量以内でなく、その前の所定数の撮像画像から生成されたサイクル数の数値データの少なくとも一つが他と異なる値であるときは、サイクル数判定値を更新しない。
よって、サイクル数の時間変化がない期間においてサイクル数の数値データに誤った変化が発生したような場合には、サイクル数判定値を前回値に維持して、サイクル数判定値の誤差を小さく留めることができる。
よって、サイクル数の時間変化がない期間においてサイクル数の数値データに誤った変化が発生したような場合には、サイクル数判定値を前回値に維持して、サイクル数判定値の誤差を小さく留めることができる。
【0196】
（第１３項）
第１２項に記載の監視装置において、前記更新部は、前記サイクル数判定値を更新しないときは、前記サイクル数判定値に警告情報を付す。
第１２項に記載の監視装置において、前記更新部は、前記サイクル数判定値を更新しないときは、前記サイクル数判定値に警告情報を付す。
【0197】
第１３項に記載の監視装置によれば、更新部は、サイクル数判定値を更新しないときは、サイクル数判定値に警告情報を付す。
よって、ユーザは、サイクル数判定値に付された警告情報から、そのサイクル数判定値の信頼性が低い可能性があることを容易に把握することができる。
よって、ユーザは、サイクル数判定値に付された警告情報から、そのサイクル数判定値の信頼性が低い可能性があることを容易に把握することができる。
【0198】
［６．その他の実施形態］
なお、上述した第１実施形態～第４実施形態に係る監視装置１０、１０ａ及び材料試験機２０は、あくまでも本発明に係る材料試験機の態様の例示であり、本発明の主旨を逸脱しない範囲において任意に変形および応用が可能である。
なお、上述した第１実施形態～第４実施形態に係る監視装置１０、１０ａ及び材料試験機２０は、あくまでも本発明に係る材料試験機の態様の例示であり、本発明の主旨を逸脱しない範囲において任意に変形および応用が可能である。
【0199】
例えば、上記各実施形態では、材料試験機２０は、例えば疲労試験機であるものとしたが、材料試験機２０は、疲労試験機には限定されない。材料試験機２０は、試験片ＳＰに試験力を付与し、試験片ＳＰを変形させて材料試験を行う任意の試験機であり得る。例えば、材料試験機２０は、引張試験機、圧縮試験機、曲げ試験機、又はねじり試験機でもよい。
【0200】
また、図５に示した各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。図１７についても同様である。
【0201】
また、図８ないし図１４、図１８、図２０、図２１、図２２に示すフローチャートの処理単位は、監視装置１０における処理を理解容易にするために、主な処理内容に応じて分割したものである。図８ないし図１４、図１８、図２０、図２１、ｆ図２２のフローチャートに示す処理単位の分割の仕方や名称によって制限されることはなく、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
【0202】
また、監視装置１０、１０ａのプロセッサ１１が実行する監視プログラム１２１は、コンピュータで読み取り可能に記録した記録媒体に記録しておくことも可能である。記録媒体としては、磁気的、光学的記録媒体又は半導体メモリデバイスを用いることができる。具体的には、フレキシブルディスク、ＨＤＤ、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ、光磁気ディスク、フラッシュメモリ、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、記録媒体は、監視装置１０が備える内部記憶装置であるＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。また、監視プログラム１２１をサーバ装置等に記憶させておき、サーバ装置から監視装置１０のメモリ１２に、監視プログラム１２１をダウンロードしてもよい。
【符号の説明】
【0203】
１０、１０ａ 監視装置
１１ プロセッサ
１１１ 取得部
１１２ 画像認識部
１１３ 状態判定部
１１４ 更新部
１１５ 出力部
１２ メモリ
１２１ 監視プログラム
１２２ 画像データ
１２３ａ 油圧状態認識モデル
１２３ｂ 試験状態認識モデル
１２４ 判定結果データ
１２５ 数値データ
２１１ 画像処理部
２２１ マスク画像データ
１３ 入力部
１４ 表示部
１４１ データ表示画面
１４２ 注目画像表示部
１４３、１４４、１４５ 部分画像表示部
１４６ 判定結果表示部
１４７ 数値表示部
１５ 機器接続インタフェース
１６ 通信インタフェース
２０ 材料試験機（分析装置）
２１ 基台
２２ａ、２２ｂ 支柱
２３ ヨーク
２４ クロスヘッド
２５ 油圧アクチュエータ
２５ａ ピストンロッド
２６ａ 下部治具
２６ｂ 上部治具
２７ ロードセル
２８ サーボ弁
２９ 差動トランス
３０ 油圧源
３０ａ 油圧ポンプ
３０ｂ マニフォールド
３０ｃ 配管バルブ
３０ｄ ロードバルブ
４０ 制御装置
４１ 表示パネル
４１０ 電源スイッチ
４１１ ファンクションキー
４１２ ダイヤル
４１３ 設定キー
４１４ テンキー
４１５ 非常停止スイッチ
５０ ディスプレイ
５０１ サイクル数表示部
５０２ 特定記号表示部
５０３ 試験状態表示部
５１ パワーユニット操作キー
５１ａ、５１ｂ、５１ｃ、５１ｄ 表示ランプ
５１１ 起動ボタン
５１２ 停止ボタン
５１３ マニフォールドボタン
５１４ 加圧ボタン
５２ 試験操作キー
５２ａ、５２ｂ 表示ランプ
５２１ 開始キー
５２２ 停止キー
５３、５４、５５ 表示器領域
５３１、５３２、５３３、５３４、５４１、５４２、５５１、５５２ マーカ
６０ データ表示画面
６１ 判定結果表示部
６２ 数値表示部
６３ 注目画像表示部
６４ 全体画像表示部
６５ 試験片画像表示部
７０ 表示パネル
７１、７２ 表示ランプ
７３ リセットボタン
７４ 非常停止スイッチ
７５１、７５２、７５３、７５４ マーカ
８０ カメラ
８１ 三脚
ＳＰ 試験片
１１ プロセッサ
１１１ 取得部
１１２ 画像認識部
１１３ 状態判定部
１１４ 更新部
１１５ 出力部
１２ メモリ
１２１ 監視プログラム
１２２ 画像データ
１２３ａ 油圧状態認識モデル
１２３ｂ 試験状態認識モデル
１２４ 判定結果データ
１２５ 数値データ
２１１ 画像処理部
２２１ マスク画像データ
１３ 入力部
１４ 表示部
１４１ データ表示画面
１４２ 注目画像表示部
１４３、１４４、１４５ 部分画像表示部
１４６ 判定結果表示部
１４７ 数値表示部
１５ 機器接続インタフェース
１６ 通信インタフェース
２０ 材料試験機（分析装置）
２１ 基台
２２ａ、２２ｂ 支柱
２３ ヨーク
２４ クロスヘッド
２５ 油圧アクチュエータ
２５ａ ピストンロッド
２６ａ 下部治具
２６ｂ 上部治具
２７ ロードセル
２８ サーボ弁
２９ 差動トランス
３０ 油圧源
３０ａ 油圧ポンプ
３０ｂ マニフォールド
３０ｃ 配管バルブ
３０ｄ ロードバルブ
４０ 制御装置
４１ 表示パネル
４１０ 電源スイッチ
４１１ ファンクションキー
４１２ ダイヤル
４１３ 設定キー
４１４ テンキー
４１５ 非常停止スイッチ
５０ ディスプレイ
５０１ サイクル数表示部
５０２ 特定記号表示部
５０３ 試験状態表示部
５１ パワーユニット操作キー
５１ａ、５１ｂ、５１ｃ、５１ｄ 表示ランプ
５１１ 起動ボタン
５１２ 停止ボタン
５１３ マニフォールドボタン
５１４ 加圧ボタン
５２ 試験操作キー
５２ａ、５２ｂ 表示ランプ
５２１ 開始キー
５２２ 停止キー
５３、５４、５５ 表示器領域
５３１、５３２、５３３、５３４、５４１、５４２、５５１、５５２ マーカ
６０ データ表示画面
６１ 判定結果表示部
６２ 数値表示部
６３ 注目画像表示部
６４ 全体画像表示部
６５ 試験片画像表示部
７０ 表示パネル
７１、７２ 表示ランプ
７３ リセットボタン
７４ 非常停止スイッチ
７５１、７５２、７５３、７５４ マーカ
８０ カメラ
８１ 三脚
ＳＰ 試験片
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図3F】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】