特許 7602030 映像判別装置、映像判別システム、及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-09

(45)【発行日】2024-12-17

(54)【発明の名称】映像判別装置、映像判別システム、及び記憶媒体

(51)【国際特許分類】

   G05B 19/18 20060101AFI20241210BHJP

   H04N 7/18 20060101ALI20241210BHJP

【ＦＩ】

G05B19/18 Z

H04N7/18 D

H04N7/18 U

【請求項の数】 13

(21)【出願番号】P 2023522207

(86)(22)【出願日】2022-01-21

(86)【国際出願番号】 JP2022002289

(87)【国際公開番号】W WO2022244306

(87)【国際公開日】2022-11-24

【審査請求日】2023-12-08

(31)【優先権主張番号】PCT/JP2021/018653

(32)【優先日】2021-05-17

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】110001151

【氏名又は名称】あいわ弁理士法人

(72)【発明者】

【氏名】杉田 祐樹

(72)【発明者】

【氏名】相澤 誠彰

【審査官】亀田 貴志

(56)【参考文献】

【文献】特開昭６３－０６５５１１（ＪＰ，Ａ）

【文献】国際公開第２０２０／１５７９２７（ＷＯ，Ａ１）

【文献】特開２００５－２０９０２４（ＪＰ，Ａ）

【文献】特開２００７－０１１５３２（ＪＰ，Ａ）

【文献】特開２０１６－０３９４７３（ＪＰ，Ａ）

【文献】特開２００５－０３３３０３（ＪＰ，Ａ）

【文献】国際公開第２０２１／０１９８２１（ＷＯ，Ａ１）

【文献】特開平０２－０９３８９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｂ １９／１８ － ２３／０２

Ｂ２３Ｑ １５／００ － １７／２４

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

数値制御装置及び工作機械の両方、又は少なくとも一方である機械の状態に係るデータの識別情報と、該データの内容とを紐づける機械状態辞書部と、
前記機械の映像を取得する映像取得部と、
オペレータの操作信号、加工プログラムによる変数の変更、組み込みプログラムからの変数の変更、情報処理装置からの変数の変更、加工プログラム指令、シーケンスプログラム指令の少なくとも１つを含む前記機械の状態変化の検出に用いるデータを取得する機械状態取得部と、
前記データを基に、前記機械の状態の変化を検出し、前記機械状態辞書部を参照して、前記データの内容に変換する機械状態変換部と、
前記機械の状態が変化したときの映像と、前記データの内容と、を紐づけるデータ紐づけ部と、
を備える映像判別装置。

【請求項2】

前記データ紐づけ部は、前記機械が状態変化したときの映像と、前記データの値と、を紐づける、
請求項１記載の映像判別装置。

【請求項3】

前記機械が状態変化したときの映像は、カメラで撮像した前記機械の映像及び前記数値制御装置の操作画面のキャプチャ映像の両方、又は少なくとも一方である、請求項１記載の映像判別装置。

【請求項4】

前記データの内容は、テキスト形式、映像形式、音声形式の少なくとも何れか１つである、
請求項１記載の映像判別装置。

【請求項5】

前記テキスト形式のデータの内容から前記機械の状態が変化した時点の字幕を作成する、
請求項４記載の映像判別装置。

【請求項6】

前記映像形式のデータの内容は、前記機械の状態が変化した時点における、前記機械に係る操作を示す映像である、
請求項４記載の映像判別装置。

【請求項7】

前記機械の状態が変化した時点の映像は、キーフレームである、
請求項１記載の映像判別装置。

【請求項8】

前記機械の状態が変化した時点の映像を抽出し、前記抽出した映像を繋ぎ合わせて要約映像を作成する要約映像作成部を備える、
請求項１記載の映像判別装置。

【請求項9】

前記機械の状態が変化した時点における映像と前記映像の内容とを用いて操作手順書を作成する手順書作成部を備える、
請求項１記載の映像判別装置。

【請求項10】

前記データが変化した時点における映像のうち、少なくとも１つの映像の選択を受け付け、前記選択された映像を代表映像とする映像選択部を備える、
請求項１記載の映像判別装置。

【請求項11】

前記機械状態辞書部は、前記機械の状態変化の検出に用いるデータとしての前記機械に係る操作信号と、前記データの内容としての前記機械に係る操作内容とを関連付けしており、
前記映像取得部は、前記機械に係る操作時の映像を取得し、
前記機械状態取得部は、前記操作時において前記機械に係る操作信号を取得し、
前記機械状態変換部は、前記操作信号の変化を検出し、前記機械状態辞書部を参照して、前記操作信号の変化を前記機械に係る操作内容に変換し、
前記データ紐づけ部は、前記操作信号が変化した時点の映像を選択し、前記映像と前記操作内容とを紐づける、
請求項１記載の映像判別装置。

【請求項12】

数値制御装置及び工作機械の両方、又は少なくとも一方である機械の状態に係るデータの識別情報と、該データの内容とを紐づける機械状態辞書部と、
前記機械の映像を取得する映像取得部と、
オペレータの操作信号、加工プログラムによる変数の変更、組み込みプログラムからの変数の変更、情報処理装置からの変数の変更、加工プログラム指令、シーケンスプログラム指令の少なくとも１つを含む前記機械の状態変化の検出に用いるデータを取得する機械状態取得部と、
前記データを基に、前記機械の状態の変化を検出し、前記機械状態辞書部を参照して、前記データの変化を前記機械の操作内容に変換し、
前記機械の状態が変化したときの映像と、前記データの内容と、を紐づけるデータ紐づけ部と、
を備える映像判別システム。

【請求項13】

１つ及び複数のプロセッサが実行することにより、
数値制御装置又は工作機械の両方、又は少なくとも一方である機械の状態に係るデータの識別情報と、該データの内容とを紐づける機械状態辞書部を記憶し、
前記機械の映像を取得し、
オペレータの操作信号、加工プログラムによる変数の変更、組み込みプログラムからの変数の変更、情報処理装置からの変数の変更、加工プログラム指令、シーケンスプログラム指令の少なくとも１つを含む前記機械の状態変化の検出に用いるデータを取得し、
前記データを基に、前記機械の状態が変化したか否かを判断し、
前記機械の状態が変化したときの映像と、前記データの内容と、を紐づける、
コンピュータが読み取り可能な命令を記憶する記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像判別装置、映像判別システム、及びコンピュータが読み取り可能な記憶媒体に関する。

【背景技術】

【0002】

従来、『製品毎に機械の操作や段取り、あるいは製品の取り扱い方や検査の仕方等を、映像で再現して製造活動（リピート注文）を支援するマルチメディア化されたＮＣ制御装置（特許文献１）』が存在する。

【0003】

特許文献１では、『ＮＣ加工データ上位コンピュータからＲＳ－２３２Ｃ経由で表示制御部２０に送られてくると、表示制御部２０は、ＮＣ加工データをＮＣ装置へダウンロードするとともに、そのプログラム名称をＩＤとするインデックステーブル２６を作成する。バーコードリーダから“録画”と“段取り”などのバーコード読取りスイッチ１３が操作されると、表示制御部２０は、制御ソフトウェア部２１を起動して、録画部２２へ録画を指示する。録画部２２は、この録画開始のタイムコードを、今度は制御ソフトウェア部２１へ戻してくるので、システムはインデックステーブル２６の“段取り工程”欄にそのタイムコードを記入する』と記載されている。

【0004】

特許文献１では、ＮＣ加工データをＮＣ装置へダウンロードするとともに、そのプログラム名称をＩＤとするインデックステーブル２６を作成する。バーコード読取りスイッチ１３には、金型段取り時に操作される“段取りコード”や曲げ加工時に押される“曲げコード”等、ポイントとなる作業別のコードスイッチが複数設定されている。例えば、“段取りコード”が操作されると、システムは、インデックステーブル２６の“段取り工程”欄にそのタイムコードを記入する。システムは、ＮＣ加工データ（プログラム）と、インデックステーブル２６とを一対で管理し、再生部２４で検索することができる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開平８－１２９４１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１では、映像の録画を開始するスイッチや録画する内容（段取り、曲げなど）を選択するスイッチを用意する必要があり、オペレータが機械を監視し、オペレータが手動で録画の開始や録画内容の入力を行う必要がある。

【0007】

工作機械の分野では、自動で映像を判別する技術が望まれている。

【課題を解決するための手段】

【0008】

本開示の一態様である数値制御装置は、数値制御装置及び工作機械の両方、又は少なくとも一方である機械の状態に係るデータの識別情報と、該データの内容とを紐づける機械状態辞書部と、前記機械の映像を取得する映像取得部と、オペレータの操作信号、加工プログラムによる変数の変更、組み込みプログラムからの変数の変更、情報処理装置からの変数の変更、加工プログラム指令、シーケンスプログラム指令の少なくとも１つを含む前記機械の状態変化の検出に用いるデータを取得する機械状態取得部と、前記データを基に、前記機械の状態の変化を検出し、前記機械状態辞書部を参照して、前記データの変化を前記機械の操作内容に変換する機械状態変換部と、前記機械の状態が変化したときの映像と、前記データの内容と、を紐づけるデータ紐づけ部と、を備える。
本開示の一態様である映像判別システムは、数値制御装置及び工作機械の両方、又は少なくとも一方である機械の状態に係るデータの識別情報と、該データの内容とを紐づける機械状態辞書部と、前記機械の映像を取得する映像取得部と、オペレータの操作信号、加工プログラムによる変数の変更、組み込みプログラムからの変数の変更、情報処理装置からの変数の変更、加工プログラム指令、シーケンスプログラム指令の少なくとも１つを含む前記機械の状態変化の検出に用いるデータを取得する機械状態取得部と、前記データを基に、前記機械の状態の変化を検出し、前記機械状態辞書部を参照して、前記データの変化を前記機械の操作内容に変換し、前記機械の状態が変化したときの映像と、前記データの内容と、を紐づけるデータ紐づけ部と、を備える。
本開示の一態様である記憶媒体は、１つ又は複数のプロセッサが実行することにより、数値制御装置及び工作機械の両方、又は少なくとも一方である機械の状態に係るデータの識別情報と、該データの内容とを紐づける機械状態辞書部を記憶し、前記機械の映像を取得し、オペレータの操作信号、加工プログラムによる変数の変更、組み込みプログラムからの変数の変更、情報処理装置からの変数の変更、加工プログラム指令、シーケンスプログラム指令の少なくとも１つを含む前記機械の状態変化の検出に用いるデータを取得し、前記データを基に、前記機械の状態が変化したか否かを判断し、前記機械の状態が変化したときの映像と、前記データの内容と、を紐づける、コンピュータが読み取り可能な命令を記憶する。

【発明の効果】

【0009】

本発明の一態様により、自動で映像を判別することができる。

【図面の簡単な説明】

【0010】

【図1】第１の開示の映像判別装置としての数値制御装置のブロック図である。

【図2】数値制御装置のメモリ上に設定される各変数を示す図である。

【図3】数値制御装置と外部機器との関係を示す概念図である。

【図4】入力部の一例を示す図である。

【図5】第２の開示の数値制御装置のブロック図である。

【図6】操作信号辞書部の一例を示す図である。

【図7】キーフレームの選択を説明する図である。

【図8】操作信号辞書部の一例を示す図である。

【図9】操作映像作成部が作成した映像の一例を示す図である。

【図10】要約映像の作成を説明する図である。

【図11】字幕付きの映像の一例を示す図である。

【図12】操作手順書の一例を示す図である。

【図13】代表映像の選択を説明する図である。

【図14】数値制御装置の動作を説明するフローチャートである。

【図15】第３の開示の数値制御装置のブロック図である。

【図16】数値制御装置のハードウェア構成を示す図である。

【発明を実施するための形態】

【0011】

［第１の開示］
図１は、第１の開示の映像判別装置としての数値制御装置１００のブロック図である。
数値制御装置１００は、映像取得部１、機械状態取得部２、機械状態辞書部３、機械状態変換部４、データ紐づけ部５を備える。

【0012】

映像取得部１は、工作機械７を撮像するカメラ６からの映像、ないしは、数値制御装置１００又は工作機械７の表示画面をキャプチャした映像を取得する。

【0013】

機械状態取得部２は、工作機械７、及び工作機械７を制御する数値制御装置１００の状態変化の検出に用いるデータ（以下、機械の状態変化の検出に用いるデータ）を取得する。「機械の状態変化の検出に用いるデータ」には、機械操作盤又はタッチパネルの操作信号、加工プログラムによる変数の変更、組み込みプログラムからの変数の変更、ＰＣアプリケーションからの変数の変更、工作機械に接続された外部機器からの入力信号、工作機械に接続された外部機器への出力信号、加工プログラム指令、シーケンスプログラム指令などがある。

【0014】

機械状態辞書部３は、「機械の状態変化の検出に用いるデータの識別情報（例えば、信号の識別情報／変数の識別情報／指令の識別情報）」と、「機械の状態変化の検出に用いるデータの内容（例えば、信号の内容／変数の内容／指令の内容）」とを紐づける。

【0015】

機械状態変換部４は、機械状態取得部２が取得した「機械の状態変化の検出に用いるデータ」を監視し、機械状態が変化したか否かを判断し、機械状態の変化が発生すると、機械状態辞書部を参照して、「データの識別情報」を「データの内容」に変換する。

【0016】

データ紐づけ部５は、機械状態の変化と、機械の映像とを紐づける。具体的には、「機械の状態変化を示すデータの値」及び「機械を状態変化させるデータの内容」の両方、又は少なくとも一方を、映像取得部１の取得した映像と紐づける。映像取得部１の取得した映像には、工作機械７を撮像するカメラ６の映像、工作機械７の表示画面をキャプチャした映像などがある。

【0017】

機械の状態変化を示すデータと紐づける映像について具体的に説明する。
操作盤やタッチパネルなどの操作信号は、「機械の状態変化の検出に用いるデータ」となりうる。機械状態変換部４は、操作信号を監視し、操作信号が変化した場合には、機械状態辞書部３を参照し、変化した操作信号の「データの内容」を読み出す。データ紐づけ部は、「データの値」及び「データの内容」の両方、又は少なくとも一方と、映像と紐づける。
例えば、オペレータが操作盤の速度ダイヤルを手動操作し、速度信号が「１０から２０」に変化すると、データ紐づけ部５は、「工作機械軸の移動速度が変化する」映像と、データの内容「速度」と、データの値「１０－＞２０」と、を紐づける。
例えば、タッチパネルの「加工開始ボタン」の押下により、加工開始信号がＯＦＦからＯＮに変化すると、データ紐づけ部５は、「ワークの加工が開始する」映像と、データの内容「加工開始」と、を紐づける。

【0018】

タッチパネルの手動操作により、「加工プログラムの編集」が実行されると、機械状態変換部４は、加工プログラムが変化したブロック（行）を検出する。例えば、加工プログラムの１００行目が変化すると、データ紐づけ部５は、「オペレータがタッチパネルを操作する」映像と、データの内容「加工プログラムの変化」と、データの値「１００行目」と、を紐づける。

【0019】

タッチパネル又は操作盤の手動操作により、「パラメータの編集」が実行されると、送り速度パラメータが変化する。データ紐づけ部５は、「オペレータがタッチパネル又は操作盤を操作する」映像と、データの内容「送り速度パラメータ」と、データの値「１００－＞２００」と、を紐づける。

【0020】

タッチパネル又は操作盤の手動操作により、「オフセットの編集」が実行されると、工具オフセットの変数が変化する。データ紐づけ部５は、「オペレータがタッチパネル又は操作盤を操作する」映像と、データの内容「工具オフセット」と、データの値「１００ｍｍ－＞１１０ｍｍ」と、を紐づける。

【0021】

工具長を計測する加工プログラムが実行されると、「工具オフセットの変数が自動で変化」する。データ紐づけ部５は、「工具長を計測する加工プログラムが実行され、計測結果がオフセットに反映される」映像と、データの内容「工具オフセット」と、データの値、例えば「１００ｍｍ－＞１１０ｍｍ」と、を紐づける。「計測結果がオフセットに反映される」映像は、数値制御装置１００の表示部７０のキャプチャ映像でもよい。

【0022】

マクロ変数を自動変更する加工プログラムが実行されると、「マクロ変数が自動的に変化」する。例えば、ワークの形状を計測する加工プログラムが実行された場合には、ワークの形状のマクロ変数が自動的に変更される。データ紐づけ部５は、「ワーク計測の実行」映像と、「計測結果がマクロ変数に反映される」映像と、データの内容「ワーク形状」と、データの値、例えば、「Ｘ１２０．０－＞Ｘ１２４．０」と、を紐づける。「計測結果がマクロ変数に反映される」映像は、例えば、数値制御装置１００の表示部７０のキャプチャ映像でもよい。

【0023】

変数を変更する組み込みプログラムが実行されると、「ある変数が自動的に変化」する。例えば、変数の１つである「実行する加工プログラムの番号」が変更された場合、データ紐づけ部５は、「加工プログラムの番号が変更される」映像と、データの内容「実行する加工プログラムの番号」と、データの値「加工プログラムの番号」と、を紐づける。「加工プログラムの番号が変更される」映像は、数値制御装置１００の表示部７０のキャプチャ映像でもよい。

【0024】

外部の情報機器のアプリケーションが数値制御装置１００の変数を変更する場合もある。ここで、外部の情報機器とは、ＰＣ（パーソナルコンピュータ）やサーバなどである。
例えば、変数として、「実行する加工プログラムの番号」が変更された場合、データ紐づけ部は、「加工プログラムの番号が変更される」映像と、データの内容「実行する加工プログラムの番号」と、データの値「加工プログラムの番号」と、を紐づける。
ここで、映像に紐づけるデータの内容は、「変数の変更を実行したアプリケーションの名称」「変数の変更を実行した外部の情報機器の名称」なども用いることができる。「加工プログラムの番号が変更される」映像は、数値制御装置１００の表示部７０のキャプチャ映像でもよい。

【0025】

工作機械７に接続された外部機器からの入力信号は、「機械の状態変化の検出に用いるデータ」となりうる。例えば、「タッチプローブの接触信号」は、「機械の状態変化の検出に用いるデータ」である。外部機器であるタッチプローブがワーク等に接触すると、「プローブ接触信号」が「ＯＮ」に変化する。「プローブ接触信号」が変化すると、データ紐づけ部５は、「タッチプローブのＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）が光って停止する」映像と、データの内容「タッチプローブ接触」と、を紐づける。
センサからの入力信号は、「機械の状態変化の検出に用いるデータ」となりうる。例えば、温度センサが検出する「主軸温度」は、「機械の状態変化の検出に用いるデータ」である。「主軸温度」が所定の値を超えると、データ紐づけ部５は、データの内容「主軸温度」と、データの値「主軸温度の値」と、「主軸」の映像と、を紐づける。温度が上昇すると、「主軸」は、発煙することもある。

【0026】

工作機械７に接続された外部機器への出力信号は、「機械の状態変化の検出に用いるデータ」となりうる。
例えば、「工作機械のドア開閉信号」は、「機械の状態変化の検出に用いるデータ」となりうる。「ドアの開閉信号」が変化すると、ＰＬＣ（数値制御装置１００に内蔵のＰＬＣ、又は、数値制御装置１００の外部のＰＬＣ）は、信号の値に従いドアの開閉を行う。データ紐づけ部５は、外部機器の映像と、データの変化とを紐づける。例えば、「ドアの開閉信号」がＯＮになると、データ紐づけ部５は、「ドアが開く」映像と、データの内容「ドアの開閉信号」と、データの値「ＯＦＦ－＞ＯＮ」と、を紐づける。
「クーラント信号」は、「機械の状態変化の検出に用いるデータ」となりうる。「クーラント信号」が変化すると、ＰＬＣ（数値制御装置１００に内蔵のＰＬＣ、又は、数値制御装置１００の外部のＰＬＣ）は、信号の値に従いクーラントの噴出を行う。データ紐づけ部５は、外部機器の映像と、データの変化を紐づける。例えば、「クーラント信号」がＯＮになると、データ紐づけ部５は、「クーラントの噴出が開始する」映像と、データの内容「クーラント信号」と、データの値「ＯＦＦ－＞ＯＮ」と、を紐づける。

【0027】

加工プログラムの指令は、「機械の状態変化の検出に用いるデータ」となりうる。数値制御装置１００は、加工プログラムを解析して、サーボアンプなどのモジュールに指令を出力する。指令を出力する際、「数値制御装置１００の特定の機能の状態を示す信号」が変化する。機械状態変換部４は、「数値制御装置１００の特定の機能（例えば、早送りなど）の状態を示す信号」の値の変化（例えば、ＯＮとＯＦＦの切り換えなど）を基に、機械の状態が変化したと判断する。データ紐づけ部５は、「数値制御装置１００の特定の機能が使用される」映像と、データの内容「例えば、早送り指令など」と、を紐づける。

【0028】

シーケンスプログラムの指令は、「機械の状態変化の検出に用いるデータ」となりうる。数値制御装置１００の内部のＰＬＣは、シーケンスプログラムを解析して、数値制御装置１００に接続された外部機器に特定のシーケンス機能を指令する。指令を出力する際、「シーケンス機能の状態を示す信号」が変化する。機械状態変換部４は、「シーケンス機能の状態を示す信号」の値の変化（例えば、ＯＮとＯＦＦの切り換えなど）を基に、機械の状態が変化したと判断する。データ紐づけ部５は、「シーケンスプログラムの指令が実行される」映像と、データの内容「例えば、工具交換指令など」と、を紐づける。

【0029】

上述した「機械の状態変化の検出に用いるデータ」の変化の検出方法について説明する。
数値制御装置１００では、図２に示すように、ローカル変数、マクロ変数、コモン変数、システム変数などの変数が数値制御装置１００のメモリ上に設定されている。また、パラメータ番号も決まっている。変数の番号やパラメータの番号をデータの識別情報として用いることができる。
ローカル変数は、メインプログラムやマクロプログラムなどの加工プログラムの実行時に用いる変数であり、メインプログラムとマクロプログラムでそれぞれ独立している。コモン変数は、メインプログラムとマクロプログラムで共通に使用する変数である。
システム変数は、工具径補正の変更や、座標値の読込み、有効な指令（Ｇコード）、有効なＭコード（シーケンス指令）などを記憶する。システム変数には、インタフェース入力信号、インタフェース出力信号、セッティングデータ、モーダル情報などがある。
これらの変数の値から機械状態の変化を検出することができる。

【0030】

第１の開示の数値制御装置１００は、メモリや外部信号、操作信号などを監視することで機械状態の変化を検出し、機械状態辞書部３を参照して、機械状態の識別情報を、「データの内容」に変換して、「データの内容」と映像とを紐づける。これにより映像の内容を判別することができる。「データの内容」が紐づけられた映像を用いた応用例を第２の開示に示す。

【0031】

［第２の開示］
本開示では、機械状態の内で、特にオペレータによる数値制御装置の操作に着目して映像との紐づけを行う実施形態について説明する。
図３は、本開示の映像判別装置としての数値制御装置１００と、数値制御装置１００に信号を送信する装置とを示す概念図である。図３において数値制御装置１００は、マシニングセンタに含まれる。マシニングセンタは、数値制御装置１００と工作機械が一体になった装置である。マシニングセンタは、サーボモータ、ファン、集霧機、クーラント、切粉除去装置、自動工具交換装置（ＡＴＣ）、積層表示灯（パトライト（登録商標））などの装置も含む。数値制御装置１００は、内部ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）４２を備え、これらの機器を制御する。

【0032】

ＰＬＣ４２、５０には、数値制御装置１００に内蔵される内部ＰＬＣ４２と、外部のＰＬＣ５０がある。外部のＰＬＣ５０は、数値制御装置１００からの要求の他に、製造現場に存在する設備、装置、センサ、アクチュエータからの信号を入力し、センサが検知した情報や制御状態データなどを数値制御装置１００に出力する。本開示では、ＰＬＣ４２、５０が制御する装置を数値制御装置１００の外部機器と呼ぶ。

【0033】

数値制御装置１００は、入力部７１を備える。入力部７１には、物理的な入力部７１と電子的な入力部７１がある。図４は、数値制御装置１００の入力部７１の一例を示す。物理的な入力部７１は、機械操作盤のダイヤルやボタンなどである。電子的な入力部７１は、例えば、タッチパネルに表示されたボタンなどである。オペレータが入力部７１を操作すると、ＰＬＣ４２を介して操作信号が出力される。この操作信号は、特別な信号ではなく、オペレータが数値制御装置１００の既存の入力部７１に入力した結果得られる、既存の操作信号である。本開示では、既存の操作信号を映像判別に用いる。オペレータの操作内容を入力する必要はなく、オペレータが操作内容を入力するための特別なスイッチなども不要である。

【0034】

図５は、数値制御装置１００のブロック図である。数値制御装置１００は、映像取得部１１、操作信号取得部１２、操作信号辞書部１３、操作信号変換部１４、データ紐づけ部１５、字幕作成部１６、映像作成部１７、要約映像作成部１８、手順書作成部１９、映像選択部２０を備える。

【0035】

本開示による映像取得部１１は、第１の開示で説明した映像取得部１に、本開示による操作信号取得部１２は、第１の開示で説明した機械状態取得部２に、本開示による操作信号辞書部１３は、第１の開示で説明した機械状態辞書部３に、本開示による操作信号変換部１４は、第１の開示で説明した機械状態変換部４に、本開示によるデータ紐づけ部１５は、第１の開示で説明したデータ紐づけ部５に、それぞれ対応する。

【0036】

映像取得部１１は、工作機械を撮像するカメラ（図示省略）から映像を取得する。操作信号取得部１２は、機械操作盤やタッチパネルの入力部７１に入力された操作信号を取得する。

【0037】

操作信号辞書部１３は、「信号」と「信号の値」と「操作内容」とを紐づける。操作信号変換部１４により、数値制御装置１００に入力された信号の変化をオペレータの操作内容に変換することができる。図６は、操作信号辞書部１３の一例である。図６には「信号」として「信号１」、「信号２」が登録されている。「信号」とは、外部機器の入力アドレス、所定の抵抗の電圧値などがある。図６において、「信号１」の値「１」は、操作内容「ＪＯＧで＋Ｙ方向に動かす」に関連づけられる。「信号２」の値「１０」は、操作内容「早送りオーバライドが２５％です」に関連づけられる。

【0038】

操作信号変換部１４は、入力部７１に入力された操作信号を監視し、操作信号の変化を検出する。操作信号の変化には、操作信号の値の変化、新たな操作信号の入力、操作信号の入力停止などがある。図６の１行目の例では、「信号１」の値が「０」から「１」に変化したとき、操作信号の変化を検出する。操作信号変換部１４は、操作信号辞書部１３を参照し、操作信号の変化を、操作内容「ＪＯＧ＋Ｙ方向に移動」に変換する。

【0039】

データ紐づけ部１５は、操作内容と映像とを紐づける。データ紐づけ部１５は、操作信号の変化があった時点の映像をキーフレームとして選択する。キーフレームとは、動画を構成するデータにおいて区切りとなるフレームである。キーフレームは映像情報を完全に保持した非圧縮フレームである。データ紐づけ部１５は、図７に示すように、複数のフレームの中から操作データが変化した時点のキーフレームを選択し操作内容と紐づける。

【0040】

字幕作成部１６は、信号に変化があった時点の操作内容を示す字幕を作成する。字幕の作成方法は、字幕ファイルを作成する方法がある。字幕ファイルとは、字幕の表示時間と字幕のテキストとを対応付けたテキストファイルである。字幕作成部１６は、映像に字幕ファイルを追加する。また、ＭＰＥＧのトランスポートストリームのように映像圧縮の際に映像と音声と字幕とを多重化してもよい。字幕の作成方法は特に限定しない。

【0041】

映像作成部１７は、操作内容を映像に変換する。図８は、操作内容を映像に変換するときの操作信号辞書部１３の一例である。図８では、「信号１」の値「１」は、操作内容「＋Ｙ」ボタンと関連づけられる。「信号２」の値「１０」は、反時計回りに操作されたダイヤルの映像と関連づけられる。図９は、映像作成部１７が作成した映像の一例である。図９は、操作内容として、ボタン「Ｙ」の押下と、ダイヤル操作が示されている。具体的には、ボタン「Ｙ」が強調表示され、機械操作盤右上のダイヤルが回転されたことを示す矢印が表示され、ダイヤルの操作量（値）が示されている。映像作成部１７は、オペレータの操作内容を映像に変換する。

【0042】

要約映像作成部１８は、図１０に示すように、データ紐づけ部１５が選択したキーフレームとその後の数秒分の映像を抽出して繋ぎ合わせることで、操作データに変化があった部分のみを集約した要約映像を作成する。要約映像には、字幕を追加してもよい。図９は、要約映像に字幕を付加した例を示す。図１１の例では、「ＪＯＧ＋Ｙ方向に移動」という字幕が付けられている。字幕を付けることにより、オペレータの操作と工作機械の動きとの関連を視覚化することができる。

【0043】

手順書作成部１９は、キーフレームと、そのときの操作内容を表すテキストとを順番に文書ファイルに貼り付けていくことで、映像と操作内容が一対一に対応する操作手順書を作成する。図１２の例では、キーフレーム［１］、［２］、［３］、［４］の４枚のキーフレームが並んでいる。キーフレーム［１］は「ＪＯＧ＋Ｙ方向に移動」する操作がなされたときの映像、キーフレーム［２］は「自動運転モードに変更」する操作がなされたときの映像、キーフレーム［３］は「リセットボタンを押す」操作がなされたときの映像、キーフレーム［４］は「スタートボタンを押す」操作がなされたときの映像である。
オペレータの操作を時系列に並べることで手順書が自動的に作成できる。操作手順書には、時間情報を含めてもよい。映像に字幕を付けてもよい。

【0044】

映像選択部２０は、要約映像の作成や手順書の作成に使用する代表映像の選択を受け付ける。映像選択部２０は、信号に変化があった時点のキーフレームの一覧を表示し、ユーザの選択を受け付ける。要約映像作成部１８は、ユーザが選択したキーフレームから要約映像を作成する。手順書作成部１９は、ユーザが選択したキーフレームから手順書を作成する。
映像選択部２０では、代表映像を選択することもできる。代表映像は、要約映像や手順書の表紙映像として用いられる。図１３の例では、［１］乃至［６］のキーフレームの一覧から、［４］のキーフレームが代表映像として選択されると、キーフレーム［４］を表紙とする要約映像が作成される様子を示している。

【0045】

図１４のフローチャートを参照して、数値制御装置１００の動作について説明する。本開示では、数値制御装置１００は、映像の録画と映像の判別とを同時に行う。数値制御装置１００は、接続されたカメラから工作機械の映像を取得する（ステップＳ１）と同時に、操作信号を取得する（ステップＳ２）。

【0046】

数値制御装置１００は、操作信号を監視し（ステップＳ３）、操作信号の変化を検出すると（ステップＳ４；ＹＥＳ）、操作信号辞書部１３を参照し、操作信号に対応する操作内容を選択する。ステップＳ４において、操作信号の変化を検出しない場合（ステップＳ４；ＮＯ）、ステップＳ３に処理を移行し、操作信号を監視する。

【0047】

数値制御装置１００は、操作信号が変化した時点の映像のフレームをキーフレームと選択し、操作内容と紐づける（ステップＳ５）。キーフレームと操作内容を記憶する（ステップＳ６）。このとき、タイムスタンプを付加してもよい。

【0048】

本開示の数値制御装置１００は、操作信号と操作内容とを紐づける操作信号辞書部１３を備え、オペレータが数値制御装置１００を操作した際に生じる操作内容とキーフレームとを紐づけて記憶する。数値制御装置１００は、操作内容は、テキストや映像などの人間が理解できる形式に変換される。数値制御装置１００は、操作内容を示すテキストを字幕として表示したり、操作内容を映像で表示したりする。数値制御装置１００は、操作内容とキーフレームを用いて、要約映像を作成したり、手順書を作成したりする。ユーザは、要約映像や手順書の表紙となるキーフレームを選択することもできる。なお、操作内容は、音声に変換してもよい。

【0049】

［第３の開示］
第２の開示では、映像の録画とデータの紐づけとを同時に行ったが、第３の開示では、加工中に録画した映像と加工中の操作信号を用いてデータの紐づけを行う。第３の開示の映像判別装置２００は、図１５に示すように、録画した映像を記憶する映像記憶部２１と、加工中の操作信号を記憶するデータ記憶部２２とを備える。映像取得部１１は映像記憶部２１に記憶する映像を読み出し、操作信号取得部１２はデータ記憶部２２に記憶する操作信号を読み出す。

【0050】

操作信号辞書部１３、操作信号変換部１４、データ紐づけ部１５、字幕作成部１６、映像作成部１７、要約映像作成部１８、手順書作成部１９、映像選択部２０は、第２の開示と同じ処理を行うので説明を省略する。

【0051】

第３の開示の映像判別装置２００は、数値制御装置、ＰＣ、サーバ、携帯端末などの情報処理装置に適用することができる。また、第３の開示の映像判別装置２００の構成要素をネットワーク上のＰＣ、サーバ、数値制御装置など分散して配置した映像判別システムも本開示に含む。

【0052】

以上、本発明の第１～第３の開示の実施形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
例えば、第２の開示で示した字幕作成部１６、要約映像作成部１８、手順書作成部１９、映像選択部２０、第３の開示で示した映像記憶部２１、データ記憶部２２などの機能は、第１の開示に係る映像判別装置と適宜組み合わせて利用することができる。この場合、それぞれの機能は操作内容だけでなく機械の様々な状態を示すデータに基づいて字幕、要約、手順書、代表映像の作成、データの記憶をする。

【0053】

また、第１～第３の開示では数値制御装置１００を映像判別装置の適用例としたが、映像取得部１（映像取得部１１）、機械状態取得部２（操作信号取得部１２）、機械状態辞書部３（操作信号辞書部１３）、機械状態変換部４（操作信号変換部１４）、データ紐づけ部５（データ紐づけ部１５）が存在すれば、数値制御装置１００以外の情報処理装置に適用してもよい。また、数値制御装置１００の構成要素をネットワーク上のＰＣ（パーソナルコンピュータ）、サーバ、数値制御装置などで分散して配置した映像判別システムも本開示に含む。

【0054】

［ハードウェア構成］
図１６を参照して、第１の開示の数値制御装置１００のハードウェア構成を説明する。なお、第２，第３の開示の映像判別装置２００も略同じハードウェア構成を有する。数値制御装置１００が備えるＣＰＵ１１１は、数値制御装置１００を全体的に制御するプロセッサである。ＣＰＵ１１１は、バスを介してＲＯＭ１１２に加工されたシステム・プログラムを読み出し、該システム・プログラムに従って数値制御装置１００の全体を制御する。ＲＡＭ１１３には、一時的な計算データや表示データ、入力部７１を介してユーザが入力した各種データ等が一時的に格納される。

【0055】

表示部７０は、数値制御装置１００に付属のモニタなどである。表示部７０は、数値制御装置１００の操作画面や設定画面などを表示する。

【0056】

入力部７１は、表示部７０と一体、又は、表示部７０とは別のキーボード、タッチパネルなどである。ユーザは入力部７１を操作して、表示部７０に表示された画面への入力などを行う。なお、表示部７０及び入力部７１は、携帯端末でもよい。

【0057】

不揮発性メモリ１１４は、例えば、図示しないバッテリでバックアップされるなどして、数値制御装置１００の電源がオフされても記憶状態が保持されるメモリである。不揮発性メモリ１１４には、図示しないインタフェースを介して外部機器から読み込まれたプログラムや入力部７１を介して入力されたプログラム、数値制御装置１００の各部や工作機械等から取得された各種データ（例えば、工作機械から取得した設定パラメータ等）が記憶される。不揮発性メモリ１１４に記憶されたプログラムや各種データは、実行時／利用時にはＲＡＭ１１３に展開されてもよい。また、ＲＯＭ１１２には、各種のシステム・プログラムがあらかじめ書き込まれている。

【0058】

工作機械の工具を制御するコントローラ４０は、ＣＰＵ１１１からの軸の移動指令をパルス信号に変換しドライバ４１に出力する。ドライバ４１はパルス信号を電流に変換して工作機械のサーボモータを駆動する。サーボモータは、数値制御装置１００の制御に従い工具やテーブルを移動する。

【符号の説明】

【0059】

１００ 数値制御装置
２００ 映像判別装置
１ 映像取得部
２ 機械状態取得部
３ 機械状態辞書部
４ 機械状態変換部
５ データ紐づけ部
１１ 映像取得部
１２ 操作信号取得部
１３ 操作信号辞書部
１４ 操作信号変換部
１５ データ紐づけ部
１６ 字幕作成部
１７ 映像作成部
１８ 要約映像作成部
１９ 手順書作成部
２０ 映像選択部
１１１ ＣＰＵ
１１２ ＲＯＭ
１１３ ＲＡＭ
１１４ 不揮発性メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】