特開 2024-130932 映像表示システム、及び映像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024130932

(43)【公開日】2024-09-30

(54)【発明の名称】映像表示システム、及び映像表示方法

(51)【国際特許分類】

   G05B 19/4063 20060101AFI20240920BHJP

   G05B 19/18 20060101ALI20240920BHJP

   B23Q 17/00 20060101ALI20240920BHJP

   B23Q 17/24 20060101ALI20240920BHJP

【ＦＩ】

G05B19/4063 Z

G05B19/18 W

B23Q17/00 D

B23Q17/24 Z

【審査請求】有

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023040902

(22)【出願日】2023-03-15

(11)【特許番号】

(45)【特許公報発行日】2024-09-05

(71)【出願人】

【識別番号】390014672

【氏名又は名称】株式会社アマダ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100170575

【弁理士】

【氏名又は名称】森 太士

(72)【発明者】

【氏名】岩田 晃一

【テーマコード（参考）】

3C029

3C269

【Ｆターム（参考）】

3C029EE01

3C029EE20

3C029FF05

3C269AB09

3C269BB07

3C269BB11

3C269JJ09

3C269KK11

3C269MN46

3C269PP02

3C269QB03

3C269QE02

3C269QE37

(57)【要約】

【課題】加工システムの状態を的確に視認することができる映像表示システムを提供する。
【解決手段】映像表示システムは、材料Ｗを加工する加工機１０及び周辺装置２０を含む加工システムを撮像する撮像装置と、撮像装置により得られる撮像映像を表示する表示装置７２と、表示装置７２に表示される撮像映像を制御する表示制御装置８０と、を有している。表示制御装置８０は、システム制御装置６０から得られる情報に基づいて、加工システムの中で注目すべき注目部位を特定し、注目部位に合わせて撮像映像を選択し、選択した撮像映像を表示装置７２に表示する。
【選択図】図１

【特許請求の範囲】

【請求項1】

材料を加工する加工機及び前記加工機と協働して動作する周辺装置を含む加工システムを撮像する撮像装置と、
前記撮像装置により得られる撮像映像を表示する表示装置と、
前記表示装置に表示される前記撮像映像を制御する表示制御装置と、を有し、
前記表示制御装置は、
前記加工システムを制御するシステム制御装置から得られる情報に基づいて、前記加工システムの中で注目すべき注目部位を特定し、
前記注目部位に合わせて前記撮像映像を選択し、
選択した前記撮像映像を前記表示装置に表示する
映像表示システム。

【請求項2】

前記注目部位は、前記周辺装置及び前記周辺装置において動作する可動部を含む
請求項１記載の映像表示システム。

【請求項3】

前記撮像装置は、前記加工システムを撮像した前記撮像映像をそれぞれ出力する複数のカメラを含み、
前記表示制御装置は、前記複数のカメラの中から、前記注目部位を撮像するカメラを選択することで、前記撮像映像の選択を行う
請求項１記載の映像表示システム。

【請求項4】

前記表示制御装置は、選択された前記カメラにより得られる前記撮像映像の中から、前記注目部位に対応する領域を切り出すことで、前記撮像映像の選択を行う
請求項３記載の映像表示システム。

【請求項5】

前記周辺装置は、
前記加工機が加工する前記材料を積載場所から取り出す一枚取装置と、
前記一枚取装置が取り出した前記材料を前記加工機に搬入する、及び前記加工機が前記材料を加工することで作成される製品を、前記加工機から搬出する搬入搬出装置と、を含む
請求項１記載の映像表示システム。

【請求項6】

前記表示制御装置は、前記加工システムにおいて異常が発生している場合に前記システム制御装置から得られるアラーム発生情報に基づいて、前記注目部位を特定する
請求項１記載の映像表示システム。

【請求項7】

前記表示制御装置は、前記加工システムを利用者が手動操作している場合に前記システム制御装置から得られる前記手動操作の情報に基づいて、前記注目部位を特定する
請求項１記載の映像表示システム。

【請求項8】

前記表示制御装置は、前記周辺装置において動作する可動部の情報に基づいて、前記注目部位を特定する
請求項１記載の映像表示システム。

【請求項9】

コンピュータが、
材料を加工する加工機及び前記加工機と協働して動作する周辺装置を含む加工システムを撮像する撮像装置から、撮像映像を取得し、
前記加工システムを制御するシステム制御装置から得られる情報に基づいて、前記加工システムの中で注目すべき注目部位を特定し、
前記注目部位に合わせて前記撮像映像を選択し、
選択した前記撮像映像を表示装置に表示する
映像表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像表示システム、及び映像表示方法に関する。

【背景技術】

【0002】

材料を加工する加工機及び周辺装置を備えた加工システムが知られている。この類の加工システムでは、加工システムの動作状況などを確認するためにカメラにより得られた撮像映像を、作業者が視認可能な表示装置に表示することが行われている。

【0003】

特許文献１には、工作機械を制御する数値制御装置が、Ｇコードにより、工作機械を撮像するビデオカメラを操作する手法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第５６２０４４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示される手法は、加工プログラムに対して、ビデオカメラを操作するためのＧコードを記述する必要があるが、加工プログラムに記述された内容でしかビデオカメラを制御することができない。そのため、加工システムの状態を的確に視認することができず、利用者にとって必ずしも使い勝手がいいものではなかった。

【課題を解決するための手段】

【0006】

本発明の一態様は、材料を加工する加工機及び加工機と協働して動作する周辺装置を含む加工システムを撮像する撮像装置と、撮像装置により得られる撮像映像を表示する表示装置と、表示装置に表示される撮像映像を制御する表示制御装置と、を有し、表示制御装置は、加工システムを制御するシステム制御装置から得られる情報に基づいて、周辺装置の中で注目すべき注目部位を特定し、注目部位に合わせて撮像映像を選択し、選択した撮像映像を表示装置に表示する、映像表示システムである。

【0007】

本発明の一態様において、表示制御装置は、システム制御装置から得られる情報を用いることで、加工システムの動作状況を把握することができるので、加工システムにおいて注目すべき注目部位を自律的に判断することができる。

【発明の効果】

【0008】

本発明の一態様によれば、加工システムの注目部位が自動的に表示されるので、利用者は加工システムの注目部位を適切に視認することができる。これにより、利用者の利便性の向上を図ることができる。

【図面の簡単な説明】

【0009】

【図1】図１は、本実施形態に係る映像表示システムを示すブロック図である。

【図2】図２は、映像表示システムが適用される加工システムの構成を示す図である。

【図3】図３は、カメラによって撮像可能な撮像領域及び表示装置に表示される切出領域を説明する図である。

【図4】図４は、映像表示システムによる動作を示すフローチャートである。

【図5】図５は、アラーム動作処理を示すフローチャートである。

【図6】図６は、一枚取アラーム動作処理を示すフローチャートである。

【図7】図７は、材料搬入アラーム動作処理を示すフローチャートである。

【図8】図８は、製品搬出アラーム動作処理を示すフローチャートである。

【図9】図９は、手動操作動作処理を示すフローチャートである。

【図10】図１０は、搬入搬出装置動作処理を示すフローチャートである。

【図11】図１１は、搬入搬出装置の座標位置と、カメラ及び視点との関係を説明する図である。

【発明を実施するための形態】

【0010】

以下、図面を参照し、本実施形態に係る映像表示システムについて説明する。

【0011】

図１は、本実施形態に係る映像表示システムを示すブロック図である。本実施形態に係る映像表示システムは、材料を加工する加工機１０及び加工機１０と協働して動作する周辺装置２０を含む加工システムを撮像する撮像装置と、撮像装置により得られる撮像映像を表示する表示装置７２と、表示装置７２に表示される撮像映像を制御する表示制御装置８０と、を有し、表示制御装置８０は、加工システムを制御するシステム制御装置６０から得られる情報に基づいて、加工システムの中で注目すべき注目部位を特定し、注目部位に合わせて撮像映像を選択し、選択した撮像映像を表示装置７２に表示する。

【0012】

以下、本実施形態に係る映像表示システムについて詳細に説明する。この映像表示システムは、加工システムに適用されている。まず、図２を参照し、加工システムについて説明する。図２は、映像表示システムが適用される加工システムの構成を示す図である。加工システムの構成を説明するにあたり、方向の定義として、左右方向、前後方向（図示せず（紙面に対して垂直方向））、及び上下方向を用いる。左右方向及び前後方向は水平方向において直交する２つの方向に対応し、上下方向は鉛直方向に対応する。ただし、これらの方向は、本実施形態に係る加工システムを説明するために、便宜的に定義されているに過ぎない。

【0013】

加工システムは、加工機１０と、周辺装置２０とを備えている。

【0014】

加工機１０は、板金などの板状の材料Ｗを加工する機械である。加工機１０は、例えば、パンチプレス加工の機能とレーザ切断加工の機能とを備えた複合機である。ただし、加工機１０は、パンチプレス加工の機能のみを備えたパンチプレス、又はレーザ切断加工の機能のみを備えたレーザ切断加工機であってもよい。加工機１０は、材料Ｗを加工することで、製品Ｐを作成する。

【0015】

周辺装置２０は、加工機１０と協働して動作する装置であり、加工機１０の周囲に配置されている。本実施形態において、周辺装置２０は、加工機１０の左側に隣接して配置されている。周辺装置２０は、収納棚２５と、一枚取装置３０と、搬入搬出装置４０とで構成されている。

【0016】

収納棚２５は、各種のパレット３１、４１を収納している。材料パレット３１は、材料Ｗを積載するためのパレットである。製品パレット４１は、加工機１０によって加工された製品Ｐを集積するためのパレットである。

【0017】

一枚取装置３０は、周辺装置２０の中で最も左側、すなわち加工機１０から最も離れた位置に配置されている。一枚取装置３０は、パレット３１に積載された複数枚の材料Ｗの中から一番上にある材料Ｗを取り出し、搬入搬出装置４０が取り出し可能な受渡テーブル（図示せず）まで材料Ｗを搬送する装置である。

【0018】

一枚取装置３０は、収納棚２５に配置されており、上下方向に移動自在に構成されている。一枚取装置３０は、材料Ｗを保持するための吸着手段を備えている。

【0019】

搬入搬出装置４０は、一枚取装置３０と加工機１０との間に配置されている。搬入搬出装置４０は、一枚取装置３０によって受渡テーブルに載置された材料Ｗを、加工機１０内に設けられた加工テーブル（図示せず）に搬入する。また、搬入搬出装置４０は、加工機１０によって加工された製品Ｐを加工機１０から搬出し、製品Ｐを製品パレット４１に集積する。

【0020】

搬入搬出装置４０は、収納棚２５に配置されており、左右方向に移動自在に構成されている。図２に示す例では、搬入搬出装置４０が材料Ｗを加工機１０に搬入する場合、搬入搬出装置４０は、左から右に向かって前進する。これに対して、搬入搬出装置４０が製品Ｐを加工機１０から搬出する場合、搬入搬出装置４０は、左側に向かって後退する。搬入搬出装置４０は、材料Ｗ及び製品Ｐを保持するための吸着手段を備えている。

【0021】

図１に示すように、加工システムは、加工機１０及び周辺装置２０を制御するシステム制御装置６０をさらに備えている。システム制御装置６０は、コンピュータによって実現されている。コンピュータは、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサと、メモリと、各種のインターフェースとを有するコンピュータによって構成されている。メモリ、各種のインターフェースは、バスを介してハードウェアプロセッサに接続されている。ハードウェアプロセッサによってメモリに格納されたプログラムを実行させることにより、システム制御装置６０が備える種々の機能が実現される。

【0022】

本実施形態では、１つの制御装置（システム制御装置６０）が加工機１０及び周辺装置２０を制御している。しかしながら、加工機１０及び周辺装置２０がそれぞれ専用の制御装置を備え、個々の制御装置が加工機１０及び周辺装置２０をそれぞれ制御してもよい。

【0023】

システム制御装置６０には、各種のセンサ１１、３３、４３により得られるセンサ情報が入力されている。センサ１１は、加工機１０の状態を検出するセンサを含んでいる。

【0024】

センサ３３は、一枚取装置３０の状態を検出する複数のセンサを含んでいる。具体的には、センサ３３は、一枚取装置３０の動作範囲のうち、最も上昇した上昇端に一枚取装置３０がいることを検出する上昇端センサ、一枚取装置３０の動作範囲のうち、最も下降した下降端に一枚取装置３０がいることを検出する下降端センサを含む。さらにセンサ３３は、一枚取装置３０が材料Ｗを吸着したことを検出する吸着センサ、一枚取装置３０が複数の材料Ｗを吸着したことを検出する複数枚センサを含む。

【0025】

センサ４３は、搬入搬出装置４０の状態を検出するセンサである。具体的には、センサ４３は、搬入搬出装置４０が材料Ｗを吸着したことを検出する吸着センサ、材料Ｗを左右方向及び前後方向の原点位置にセットするためのセンサ、搬入搬出装置４０の左右方向における座標位置を検出するためのセンサを含んでいる。

【0026】

操作盤７０は、加工機１０の利用者が使用する機器である。操作盤７０は、加工機１０の近傍に配置されている。操作盤７０は、利用者が情報を入力するための入力装置７１、及び利用者が視認可能な表示装置７２を備えている。入力装置７１を介して入力された情報は、システム制御装置６０へと出力される。表示装置７２は、システム制御装置６０から出力された各種の情報を表示する。

【0027】

つぎに、映像表示システムについて説明する。加工システムは、加工機１０及び周辺装置２０を含む大型の機械である。また、加工機１０及び周辺装置２０にはフレームなどが多用されているほか、安全上の観点から機械の周囲がパーティションで覆われている。利用者は、通常、操作盤７０の周囲にいることが多いが、このような構造上の理由から周辺装置２０の全部を直接視認することができない。周辺装置２０の動作状況を確認したり、メンテナンスを行ったりする場合、利用者は、周辺装置２０の近くまで移動し、周辺装置２０を目視する必要がある。よって、操作盤７０と周辺装置２０との間を行き来する頻度が多く、作業効率の低下も懸念される。

【0028】

この映像表示システムは、利用者が注目したい部位の撮像映像を適切に表示することで、利用者の動線を効率化、作業効率の向上を図るものである。映像表示システムは、撮像装置と、表示装置７２と、表示制御装置８０とを含んでいる。

【0029】

撮像装置は、加工システム、特に周辺装置２０を撮像する装置である。本実施形態において、撮像装置は、加工システムを撮像した撮像映像をそれぞれ出力する複数のカメラ５０を含んでいる。図１に示す例では、撮像装置は、５つのカメラ５０から構成されており、各カメラ５０は、周辺装置２０を側方から撮像するように配置されている。また、カメラ５０は、周辺装置２０の動作状況を撮像できるように、機械の内部に配置されている。ただし、カメラ５０は、周辺装置２０の動作状況を撮像できるように配置されていればよく、その配置形態はこれに限定されない。

【0030】

５つのカメラ５０は、異なる位置に配置されており、それぞれのカメラ５０は、異なる撮像映像を出力する。５つのカメラ５０の撮像範囲は、周辺装置２０において動作する可動部の動作範囲、すなわち、一枚取装置３０の上下方向の動作範囲、及び搬入搬出装置４０の左右方向の動作範囲をカバーしている。以下の説明では、第１から第５までの称呼を付して、５つのカメラ５０を区別する。

【0031】

第１カメラ５０は、左右方向における一枚取装置３０の正面、且つ、一枚取装置３０の上昇端から一定距離だけ下がった位置に配置されている。第２から第５カメラ５０は、搬入搬出装置４０と同程度の高さに配置されており、それぞれ左右方向の位置が相違している。第２カメラ５０は、一枚取装置３０よりも左側に配置され、第３カメラ５０は、一枚取装置３０よりも右側に配置されている。第４カメラ５０は、加工機１０の近傍に配置され、第５カメラ５０は、加工機１０の加工テーブル近傍に配置されている。

【0032】

個々のカメラ５０は、ＰＴＺ（Panoramic Tilt Zoom）カメラである。カメラ５０は、カメラ５０の視点を左右方向に移動させるパン機能、カメラ５０の視点を上下方向に移動させるチルト機能を有している。また、カメラ５０は、被写体を拡大又は縮小するズーム機能を有している。図３は、カメラによって撮像可能な撮像領域及び表示装置に表示される切出領域を説明する図である。

【0033】

撮像領域１００は、カメラ５０によって撮像される最大の映像領域をいう。カメラ５０は、この撮像領域１００の中から一部の領域を切出領域１１０として切り出し、切出領域１１０に対応する撮像映像のみを出力する。カメラ５０は、撮像領域１００の中で切出領域１１０を切り換えることで、パン機能、チルト機能を実現することができる。また、カメラ５０は、切出領域１１０の中から一部の領域を切り出すことで、ズーム機能を実現することができる。

【0034】

本実施形態において、撮像領域１００は、３×３の行列、具体的には、左右方向に並ぶ、ＡからＣまでの列と、上下方向に並ぶ、１から３までの行とからなる行列に分割可能である。カメラ５０は、分割された領域の１つを、切出領域１１０として選択することができる。以下、撮像領域１００から１つの切出領域１１０を選択することを、カメラ５０の視点選択ともいう。

【0035】

なお、カメラ５０は、カメラ５０の向きを水平方向に移動させる駆動機構、カメラ５０の向きを垂直方向に移動させる駆動機構により、パン機能及びチルト機能を実現してもよい。また、カメラ５０は、カメラ５０に搭載されたフォーカスレンズ及びズームレンズなどの光学系の駆動機構により、ズーム機能を実現してもよい。

【0036】

表示装置７２は、表示制御装置８０の制御のもと、５つのカメラ５０により得られる撮像映像を表示する。本実施形態では、操作盤７０が備える表示装置７２が、映像表示システムの表示装置として利用されている。しかしながら、映像表示システムの表示装置は、操作盤７０から独立した表示装置でもよく、利用者が所持する携帯端末の表示装置などでもよい。

【0037】

表示制御装置８０は、コンピュータによって実現されている。コンピュータは、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサと、メモリと、各種のインターフェースとを有するコンピュータによって構成されている。メモリ、各種のインターフェースは、バスを介してハードウェアプロセッサに接続されている。ハードウェアプロセッサによってメモリに格納されたプログラムを実行させることにより、表示制御装置８０が備える種々の機能が実現される。

【0038】

表示制御装置８０は、システム制御装置６０との間で情報の授受を行うことができる。すなわち、表示制御装置８０は、システム制御装置６０が加工機１０及び周辺装置２０に対して出力した制御の情報（例えば、搬入搬出装置４０に対する移動指令など）、システム制御装置６０が加工機１０、周辺装置２０、及び入力装置７１から取得した情報（例えば、各センサ１１、３３、４３から出力されるセンサ情報など）、システム制御装置６０が処理した情報（例えば、アラーム発生などの情報）を取得することができる。

【0039】

表示制御装置８０は、システム制御装置６０とは異なるハードウェアで構成してもよいが、共通のハードウェアによって構成してもよい。

【0040】

本実施形態において、表示制御装置８０は、表示装置７２に表示される撮像映像を制御する。具体的には、表示制御装置８０は、加工システムを制御するシステム制御装置６０から得られる情報に基づいて、加工システムの中で注目すべき注目部位を特定する。そして、表示制御装置８０は、注目部位に合わせて撮像映像を選択し、選択した撮像映像を表示装置７２に表示する。

【0041】

注目部位は、周辺装置２０及び周辺装置２０において動作する可動部を含む。可動部は、１枚取装置３０及び搬入搬出装置４０を含む。

【0042】

表示制御装置８０による撮像映像の選択は、以下の通り行われる。まず、表示制御装置８０は、５つのカメラ５０の中から、注目部位を撮像するカメラ５０を選択することで、撮像映像の選択を行う。加えて、表示制御装置８０は、選択されたカメラ５０により得られる撮像映像の中から、注目部位に対応する領域を切り出すことで、撮像映像の選択を行う。

【0043】

表示制御装置８０には、利用者が入力装置７１を介して入力した情報も入力される。このため、表示制御装置８０は、利用者が操作盤７０の入力装置７１を操作して撮像映像を選択することにより、選択された撮像映像を表示装置７２に表示することもできる。

【0044】

以下、図４を参照し、本実施形態に係る映像表示方法について説明する。図４は、映像表示システムによる動作を示すフローチャートである。このフローチャートに示す処理は、映像表示システムの表示制御装置８０によって実行される。表示制御装置８０は、システム制御装置６０から得られる情報に基づいて、フローチャートに示す処理を行う。

【0045】

まず、ステップＳ１において、表示制御装置８０は、加工システムの自動運転中にアラームが発生したか否かを判断する。アラームが発生した場合（ステップＳ１：ＹＥＳ）、表示制御装置８０は、アラーム動作処理を行う（ステップＳ２（詳細は後述する））。アラームが発生していない場合（ステップＳ１：ＮＯ）、表示制御装置８０は、ステップＳ３の処理に進む。

【0046】

ステップＳ３において、表示制御装置８０は、手動操作を行っているか否かを判断する。手動操作は、利用者が入力装置７１を用いて手動で加工システムを操作することをいう。この手動操作では、一枚取装置３０、搬入搬出装置４０などのようにユニットを指定し、そのユニットを手動で操作することができる。

【0047】

手動操作を行っている場合（ステップＳ３：ＹＥＳ）、表示制御装置８０は、手動操作動作処理を行う（ステップＳ４（詳細は後述する））。手動操作を行っていない場合（ステップＳ３：ＮＯ）、表示制御装置８０は、ステップＳ５の処理に進む。

【0048】

ステップＳ５において、表示制御装置８０は、搬入搬出装置４０が動作中であるか否かを判断する。搬入搬出装置４０が動作中である場合（ステップＳ５：ＹＥＳ）、表示制御装置８０は、搬入搬出装置動作処理を行う（ステップＳ６（詳細は後述する））。搬入搬出装置４０が動作中でない場合（ステップＳ５：ＮＯ）、表示制御装置８０は、ステップＳ７の処理に進む（詳細は後述する）。

【0049】

図５は、アラーム動作処理を示すフローチャートである。このアラーム動作処理は、表示制御装置８０が、加工システムにおいて異常が発生している場合にシステム制御装置６０から得られるアラーム発生情報に基づいて、注目部位を特定する処理である。

【0050】

ステップＳ１０において、表示制御装置８０は、一枚取装置３０の動作中（一枚取中）にアラームが発生したか否かを判断する。一枚取中にアラームが発生した場合（ステップＳ１０：ＹＥＳ）、表示制御装置８０は、ステップＳ１１において一枚取アラーム動作処理を行う（詳細は後述する）。一枚取中にアラームが発生していない場合（ステップＳ１０：ＮＯ）、表示制御装置８０は、ステップＳ１２の処理に進む。

【0051】

ステップＳ１２において、表示制御装置８０は、搬入搬出装置４０の材料搬入中にアラームが発生したか否かを判断する。材料搬入中にアラームが発生した場合（ステップＳ１２：ＹＥＳ）、表示制御装置８０は、ステップＳ１３において材料搬入アラーム動作処理を行う（詳細は後述する）。材料搬入中にアラームが発生していない場合（ステップＳ１２：ＮＯ）、表示制御装置８０は、ステップＳ１４の処理に進む。

【0052】

ステップＳ１４において、表示制御装置８０は、搬入搬出装置４０の製品搬出中にアラームが発生したか否かを判断する。製品搬出中にアラームが発生した場合（ステップＳ１４：ＹＥＳ）、表示制御装置８０は、ステップＳ１５において製品搬出アラーム動作処理を行う（詳細は後述する）。製品搬出中にアラームが発生していない場合（ステップＳ１４：ＮＯ）、本ルーチンを終了する。

【0053】

図６は、一枚取アラーム動作処理を示すフローチャートである。この処理では、一枚取中に発生したアラームの部位を注目部位として特定し、注目部位に合わせて撮像映像を選択する。

【0054】

具体的には、ステップＳ１１０において、表示制御装置８０は、システム制御装置６０による下降指令を受けた一枚取装置３０が所定時間内に下降を完了していないか否かを判断する。一枚取装置３０の下降が完了していない場合（ステップＳ１１０：ＹＥＳ）、表示制御装置８０は、上昇端センサがオンであるか否かを判断する（ステップＳ１１１）。

【0055】

上昇端センサがオンである場合（ステップＳ１１１：ＹＥＳ）、表示制御装置８０は、上昇端に位置する一枚取装置３０を注目部位として、カメラ５０及びカメラ５０の視点を選択する。具体的には、表示制御装置８０は、一枚取装置３０の動作範囲のうち上側範囲をカバーする第１カメラ５０を選択する。一枚取装置３０の上昇端は第１カメラ５０からみて左右方向の中央、且つ上側に存在するので、表示制御装置８０は、撮像領域１００の中でＢ１領域（図３参照）を切出領域１１０として選択する。表示制御装置８０は、切出領域１１０に対応する撮像映像を表示装置７２に表示する（ステップＳ１１２）。

【0056】

上昇端センサがオフである場合（ステップＳ１１１：ＮＯ）、表示制御装置８０は、下降端センサもオフであるか否かを判断する（ステップＳ１１３）。下降端センサもオフである場合（ステップＳ１１３：ＹＥＳ）、表示制御装置８０は、上昇端と下降端との間に位置する一枚取装置３０を注目部位として、カメラ５０及びカメラ５０の視点を選択する。具体的には、表示制御装置８０は、一枚取装置３０の動作範囲のうち下側範囲をカバーする第２カメラ５０を選択する。一枚取装置３０は第２カメラ５０からみて右上に存在する可能性が高いので、表示制御装置８０は、撮像領域１００の中でＣ１領域（図３参照）を切出領域１１０として選択する。表示制御装置８０は、切出領域１１０に対応する撮像映像を表示装置７２に表示する（ステップＳ１１４）。なお、表示制御装置８０は、第２カメラ５０の撮像領域１００の中でＣ２領域（図３参照）を切出領域１１０として選択してもよいし、第２カメラ５０に変えて第１カメラ５０を選択してもよい。

【0057】

ステップＳ１１５において、表示制御装置８０は、一枚取装置３０の吸着センサの情報を参照し、一枚取装置３０による材料Ｗの吸着が失敗したか否かを判断する。吸着失敗は、材料パレット３１に材料Ｗが無い場合、吸着した材料Ｗが脱落した場合などに発生する。

【0058】

吸着が失敗した場合（ステップＳ１１５：ＹＥＳ）、表示制御装置８０は、材料パレット３１を注目部位として、カメラ５０及びカメラ５０の視点を選択する。具体的には、表示制御装置８０は、材料パレット３１をカバーする第２カメラ５０を選択する。材料パレット３１は、第２カメラ５０からみて右下に存在するので、表示制御装置８０は、撮像領域１００の中でＣ３領域（図３参照）を切出領域１１０として選択する。表示制御装置８０は、切出領域１１０に対応する撮像映像を表示装置７２に表示する（ステップＳ１１６）。

【0059】

材料Ｗの吸着が成功した場合、一枚取装置３０は、下降端から受渡テーブルに向けて所定距離だけ上昇する。このとき、一番上の材料Ｗとともに、その次にある材料Ｗも取り上げられてしまうことがある。そこで、ステップＳ１１７において、表示制御装置８０は、一枚取装置３０の複数枚センサの情報を参照し、材料Ｗが二枚以上吸着されたか否かを判断する。

【0060】

二枚以上の材料が吸着された場合（ステップＳ１１７：ＹＥＳ）、表示制御装置８０は、材料Ｗを吸着した一枚取装置３０を注目部位として、カメラ５０及びカメラ５０の視点を選択する。具体的には、表示制御装置８０は、一枚取装置３０の動作範囲のうち下側範囲をカバーする第２カメラ５０を選択する。材料Ｗの吸着後、上昇した一枚取装置３０は、第２カメラ５０からみて右側、且つ上下方向の中央に存在するので、表示制御装置８０は、撮像領域１００の中でＣ２領域（図３参照）を切出領域１１０として選択する。表示制御装置８０は、切出領域１１０に対応する撮像映像を表示装置７２に表示する（ステップＳ１１８）。

【0061】

ステップＳ１１９において、表示制御装置８０は、システム制御装置６０による上昇指令を受けた一枚取装置３０が所定時間内に上昇を完了していないか否かを判断する。一枚取装置３０の上昇が完了していない場合（ステップＳ１１９：ＹＥＳ）、表示制御装置８０は、下降端センサがオンであるか否かを判断する（ステップＳ１２０）。

【0062】

下降端センサがオンである場合（ステップＳ１２０：ＹＥＳ）、表示制御装置８０は、下降端に位置する一枚取装置３０を注目部位として、カメラ５０及びカメラ５０の視点を選択する。具体的には、表示制御装置８０は、一枚取装置３０の動作範囲のうち下側範囲をカバーする第２カメラ５０を選択する。下降端に位置する一枚取装置３０は第２カメラ５０からみて右側、且つ上下方向の中央に存在するので、表示制御装置８０は、撮像領域１００の中でＣ２領域（図３参照）を切出領域１１０として選択する。表示制御装置８０は、切出領域１１０に対応する撮像映像を表示装置７２に表示する（ステップＳ１２１）。

【0063】

下降端センサがオフである場合（ステップＳ１２０：ＮＯ）、表示制御装置８０は、上昇端センサもオフであるか否かを判断する（ステップＳ１２２）。上昇端センサもオフである場合（ステップＳ１２２：ＹＥＳ）、表示制御装置８０は、上昇端と下降端との間に位置する一枚取装置３０を注目部位として、カメラ５０及びカメラ５０の視点を選択する。具体的には、表示制御装置８０は、一枚取装置３０の動作範囲のうち上側範囲をカバーする第１カメラ５０を選択する。一枚取装置３０は第１カメラ５０からみて左右方向の中央、且つ下側に存在する可能性が高いので、表示制御装置８０は、撮像領域１００の中でＢ３領域（図３参照）を切出領域１１０として選択する。表示制御装置８０は、切出領域１１０に対応する撮像映像を表示装置７２に表示する（ステップＳ１２３）。なお、表示制御装置８０は、第１カメラ５０に変えて第２カメラ５０を選択してもよい。

【0064】

一枚取装置３０の上昇が完了した場合（ステップＳ１１９：ＮＯ）、又は下降端センサがオンである場合（ステップＳ１２２：ＮＯ）、本ルーチンを終了する。

【0065】

図７は、材料搬入アラーム動作処理を示すフローチャートである。搬入搬出装置４０は、一枚取装置３０によって受渡テーブルに置かれた材料Ｗを吸着し、加工機１０へと搬入する。この処理では、材料搬入中に発生したアラームの部位を注目部位として特定し、注目部位に合わせて撮像映像を選択する。

【0066】

まず、ステップＳ１３０において、表示制御装置８０は、搬入搬出装置４０の吸着センサの情報を参照し、搬入搬出装置４０による材料Ｗの吸着が失敗したか否かを判断する。

【0067】

吸着が失敗した場合（ステップＳ１３０：ＹＥＳ）、表示制御装置８０は、材料Ｗの受渡テーブルを注目部位として、カメラ５０及びカメラ５０の視点を選択する。具体的には、表示制御装置８０は、受渡テーブルをカバーする第３カメラ５０を選択する。受渡テーブルは、第３カメラ５０からみて左側、且つ上下方向の中央に存在するので、表示制御装置８０は、撮像領域１００の中でＡ２領域（図３参照）を切出領域１１０として選択する。表示制御装置８０は、切出領域１１０に対応する撮像映像を表示装置７２に表示する（ステップＳ１３１）。

【0068】

つぎに、ステップＳ１３２において、表示制御装置８０は、システム制御装置６０による右方向への前進指令を受けた搬入搬出装置４０が所定時間内に前進を完了していないか否かを判断する。搬入搬出装置４０の前進が完了していない場合は（ステップＳ１３２：ＹＥＳ）、表示制御装置８０は、後述する搬入搬出装置動作処理を行う（ステップＳ１３３）。

【0069】

ステップＳ１３４において、表示制御装置８０は、搬入搬出装置４０による材料Ｗの原点セットが未完了であるか否かを判断する。加工テーブルに対する材料Ｗの原点セットが未完了である場合は（ステップＳ１３４：ＹＥＳ）、表示制御装置８０は、加工テーブルにおける材料Ｗの原点位置を注目部位として、カメラ５０及びカメラ５０の視点を選択する。具体的には、表示制御装置８０は、加工テーブルにおける材料Ｗの原点位置をカバーする第５カメラ５０を選択する。材料の原点位置は、第５カメラ５０からみて中央に存在するので、表示制御装置８０は、撮像領域１００の中でＢ２領域（図３参照）を切出領域１１０として選択する。表示制御装置８０は、切出領域１１０に対応する撮像映像を表示装置７２に表示する（ステップＳ１３５）。

【0070】

図８は、製品搬出アラーム動作処理を示すフローチャートである。搬入搬出装置４０は、加工機１０により作製された製品Ｐを加工機１０から搬出し、この製品Ｐを製品パレット４１に集積する。この処理では製品搬出中に発生したアラームの部位を注目部位として特定し、注目部位に合わせて撮像映像を選択する。

【0071】

まず、ステップＳ１５０において、表示制御装置８０は、搬入搬出装置４０の吸着センサの情報を参照し、搬入搬出装置４０による製品Ｐの吸着が失敗したか否かを判断する。

【0072】

吸着が失敗した場合（ステップＳ１５０：ＹＥＳ）、表示制御装置８０は、加工機１０の加工テーブルを注目部位として、カメラ５０及びカメラ５０の視点を選択する。具体的には、表示制御装置８０は、加工機１０の加工テーブルをカバーする第５カメラ５０を選択する。加工機１０の加工テーブルは、第５カメラ５０からみて中央に存在するので、表示制御装置８０は、撮像領域１００の中でＢ２領域（図３参照）を切出領域１１０として選択する。表示制御装置８０は、切出領域１１０に対応する撮像映像を表示装置７２に表示する（ステップＳ１５１）。

【0073】

つぎに、ステップＳ１５２において、表示制御装置８０は、システム制御装置６０による左方向への後退指令を受けた搬入搬出装置４０が所定時間内に後退を完了していないか否かを判断する。搬入搬出装置４０の後退が完了していない場合は（ステップＳ１５２：ＹＥＳ）、後述する搬入搬出動作処理を行う（ステップＳ１５３）。

【0074】

ステップＳ１５４において、表示制御装置８０は、搬入搬出装置４０による製品Ｐの集積が未完了であるか否かを判断する。製品Ｐの集積が未完了である場合は（ステップＳ１５４：ＹＥＳ）、表示制御装置８０は、製品集積位置にある搬入搬出装置４０を注目部位として、カメラ５０及びカメラ５０の視点を選択する。具体的には、表示制御装置８０は、製品集積位置にある搬入搬出装置４０をカバーする第４カメラ５０を選択する。製品集積位置にある搬入搬出装置４０は、第４カメラ５０からみて中央に存在するので、表示制御装置８０は、撮像領域１００の中でＢ２領域（図３参照）を切出領域１１０として選択する。表示制御装置８０は、切出領域１１０に対応する撮像映像を表示装置７２に表示する（ステップＳ１５５）。

【0075】

図９は、手動操作動作処理を示すフローチャートである。加工システムにおいて手動操作が選択された場合、利用者は、操作盤７０の入力装置７１の操作を通じて、一枚取装置３０及び搬入搬出装置４０を手動で操作することができる。表示制御装置８０は、加工システムを利用者が手動操作している場合にシステム制御装置６０から得られる手動操作の情報に基づいて、注目部位を特定する。

【0076】

ステップＳ４００において、表示制御装置８０は、一枚取装置３０が操作されているか否かを判断する。一枚取装置３０が操作されている場合は（ステップＳ４００：ＹＥＳ）、表示制御装置８０は、上昇端センサを参照し、一枚取装置３０が上昇端に到達したか否かを判断する（ステップＳ４０１）。

【0077】

一枚取装置３０が上昇端に到達した場合（ステップＳ４０１：ＹＥＳ）、表示制御装置８０は、上昇端に位置する一枚取装置３０を注目部位として、カメラ５０及びカメラ５０の視点を選択する。具体的には、表示制御装置８０は、一枚取装置３０の動作範囲のうち上側範囲をカバーする第１カメラ５０を選択する。一枚取装置３０の上昇端は第１カメラ５０からみて左右方向の中央、且つ上側に存在するので、表示制御装置８０は、撮像領域１００の中でＢ１領域（図３参照）を切出領域１１０として選択する。表示制御装置８０は、切出領域１１０に対応する撮像映像を表示装置７２に表示する（ステップＳ４０２）。

【0078】

一枚取装置３０が上昇端に到達していない場合（ステップＳ４０１：ＮＯ）、表示制御装置８０は、下降端センサを参照し、一枚取装置３０が下降端に到達したか否かを判断する（ステップＳ４０３）。

【0079】

一枚取装置３０が下降端に到達した場合（ステップＳ４０３：ＹＥＳ）、表示制御装置８０は、下降端に位置する一枚取装置３０を注目部位として、カメラ５０及びカメラ５０の視点を選択する。具体的には、表示制御装置８０は、一枚取装置３０の動作範囲のうち下側範囲をカバーする第２カメラ５０を選択する。一枚取装置３０の下降端は第２カメラ５０からみて右下に存在するので、表示制御装置８０は、撮像領域１００の中でＣ３領域（図３参照）を切出領域１１０として選択する。表示制御装置８０は、切出領域１１０に対応する撮像映像を表示装置７２に表示する（ステップＳ４０４）。

【0080】

一枚取装置３０が下降端に到達していない場合（ステップＳ４０３：ＮＯ）、表示制御装置８０は、上昇端と下降端との間に位置する一枚取装置３０を注目部位として、カメラ５０及びカメラ５０の視点を選択する。具体的には、表示制御装置８０は、一枚取装置３０の動作範囲のうち下側範囲をカバーする第２カメラ５０を選択する。一枚取装置３０は第２カメラ５０からみて右側、且つ上下方向の中央に存在する可能性があるので、表示制御装置８０は、撮像領域１００の中でＣ２領域（図３参照）を切出領域１１０として選択する。表示制御装置８０は、切出領域１１０に対応する撮像映像を表示装置７２に表示する（ステップＳ４０５）。なお、表示制御装置８０は、第２カメラ５０の撮像領域１００の中でＣ１領域（図３参照）を切出領域１１０として選択してもよいし、第２カメラ５０に変えて第１カメラ５０を選択してもよい。

【0081】

ステップＳ４０６において、表示制御装置８０は、搬入搬出装置４０の移動操作であるか否かを判断する。搬入搬出装置４０の移動操作である場合は（ステップＳ４０６：ＹＥＳ）、表示制御装置８０は、後述する搬入搬出装置動作処理を行う（ステップＳ４０７）。

【0082】

ステップＳ４０８において、表示制御装置８０は、搬入搬出装置４０の吸着操作であるか否かを判断する。搬入搬出装置４０の吸着操作である場合、表示制御装置８０は、材料Ｗの受渡テーブルから材料Ｗを吸着する搬入搬出装置４０を注目部位として、カメラ５０及びカメラ５０の視点を選択する。具体的には、表示制御装置８０は、材料Ｗの受渡テーブルをカバーする第３カメラ５０を選択する。材料Ｗの受渡テーブルは第３カメラ５０からみて左側、且つ上下方向の中央にあるので、表示制御装置８０は、撮像領域１００の中でＡ２領域（図３参照）、且つ、Ａ２領域の中央をズームした領域を、切出領域１１０として選択する。表示制御装置８０は、切出領域１１０に対応する撮像映像を表示装置７２に表示する（ステップＳ１１４）。

【0083】

図１０は、搬入搬出装置動作処理を示すフローチャートである。この搬入搬出装置動作処理は、表示制御装置８０が、搬入搬出装置４０が動作している場合にシステム制御装置から得られる搬入搬出装置４０の座標位置情報に基づいて、注目部位を特定する処理である。

【0084】

まず、ステップＳ６００において、表示制御装置８０は、システム制御装置６０から、搬入搬出装置４０の座標位置を取得する。

【0085】

図１１は、搬入搬出装置の座標位置と、カメラ及び視点との関係を説明する図である。カメラ５０とその視点は、搬入搬出装置４０の座標位置に応じて予め決定されている。ステップＳ６０１において、表示制御装置８０は、搬入搬出装置４０の座標位置に基づいて、カメラ５０及びカメラ５０の視点を選択する。すなわち、表示制御装置８０は、搬入搬出装置４０を画角に含むカメラ５０、及びこのカメラ５０の撮像領域１００の中で、搬入搬出装置４０が映し出された切出領域１１０を選択する。表示制御装置８０は、切出領域１１０に対応する撮像映像を表示装置７２に表示する（ステップＳ６０２）。

【0086】

ステップＳ６０３において、表示制御装置８０は、搬入搬出装置４０の動作が停止したか否かを判断する。搬入搬出装置４０が動作している場合は（ステップＳ６０３：ＮＯ）、ステップＳ６００の処理に戻る。搬入搬出装置４０の動作が停止した場合は（ステップＳ６０３：ＹＥＳ）、本ルーチンを終了する。

【0087】

再び図１を参照するに、ステップＳ７において、表示制御装置８０は、搬入搬出装置４０の停止位置（左右方向における座標位置）に基づいて、カメラ５０及びカメラ５０の視点を選択する。すなわち、表示制御装置８０は、搬入搬出装置４０を画角に含むカメラ５０、及びこのカメラ５０の撮像領域１００の中で、搬入搬出装置４０が映し出された切出領域１１０を切り出す。表示制御装置８０は、切出領域１１０に対応する撮像映像を表示装置７２に表示する。

【0088】

加工システムでは、搬入搬出装置４０の動作が大部分を占める。そこで、アラームが発生していない状況、手動操作を行っていない状況、及び搬入搬出装置４０が動作していない状況では、搬入搬出装置４０を注目部位とする。これにより、表示装置７２には搬入搬出装置４０が表示される。利用者は、表示装置７２を介して、搬入搬出装置４０の状態を視認することができる。搬入搬出装置４０が止まっていれば、利用者は、加工システムが停止していることを理解することができる。

【0089】

このように本実施形態によれば、システム制御装置６０から得られる情報を参酌することで、表示制御装置８０は、加工システムにおいて注目すべき注目部位を自律的に判断することができる。これにより、表示制御装置８０は、加工システムの動作状態から判断される注目部位に応じて、表示装置７２に表示すべき撮像映像を切り替えることができる。その結果、表示装置７２には、注目部位の撮像映像が自動的に表示されるので、利用者は加工システムの注目部位を適切に視認することができる。これにより、利用者の利便性の向上を図ることができる。

【0090】

また、加工機１０及び周辺装置２０にはフレームが多用されているほか、安全上の観点から装置の周囲がパーティションで覆われている。利用者は、通常、操作盤７０の周囲にいることが多いが、このような構造上の理由から周辺装置２０の全部を直接視認することができない。利用者は、周辺装置２０の動作状況を確認したり、メンテナンスを行ったりする場合には、周辺装置２０の近くまで移動し、周辺装置２０を視認する必要がある。

【0091】

この点、本実施形態の映像表示システムによれば、表示装置７２に表示される撮像映像から周辺装置２０を含む加工システムの状況を視認することができる。そのため、利用者の無駄な動きが抑制され、作業効率の向上を図ることができる。

【0092】

上述した実施形態において、表示制御装置８０は、システム制御装置６０から得られる搬入搬出装置４０の座標位置に基づいて注目部位を特定している。しかしながら、注目部位を特定する方法はこれに限らない。表示制御装置８０は、搬入搬出装置４０を左右方向に移動させるためのアクチュエータ（例えば、駆動モータ）に対する制御指令に基づいて、注目部位を特定してもよい。また、搬入搬出装置４０の座標位置を検出するセンサ以外の他のセンサによっても、搬入搬出装置４０の位置を特定することができる場合には、表示制御装置８０は、他のセンサの情報に基づいて、注目部位を特定してもよい。すなわち、表示制御装置８０は、システム制御装置６０から得られる搬入搬出装置４０の情報に基づいて注目部位を特定すればよい。

【0093】

また、上述した実施形態では、搬入搬出装置４０を例に挙げて、その動作に起因する注目部位の特定方法について説明した（搬入搬出装置動作処理）。しかしながら、この方法は、一枚取装置３０に対して適用してもよい。すなわち、表示制御装置８０は、システム制御装置６０から得られる、一枚取装置３０の情報に基づいて、注目部位を特定してもよい。表示制御装置８０は、一枚取装置３０を昇降させるためのアクチュエータ（例えば、流体シリンダ）に対する制御指令に基づいて、注目部位を特定してもよい。また、表示制御装置８０は、上昇端センサ及び下降端センサを含むセンサ３３から得られる情報に基づいて、注目部位を特定してもよい。また、一枚取装置３０の座標位置を直接検出することができる場合には、表示制御装置８０は、座標位置情報に基づいて注目部位を特定してもよい。

【0094】

このように、本実施形態において、表示制御装置８０は、周辺装置２０において動作する可動部の情報に基づいて、注目部位を特定してもよい。

【0095】

なお、本実施形態に示す映像表示方法によれば、コンピュータが、材料を加工する加工機１０及び加工機１０と協働して動作する周辺装置２０を含む加工システムを撮像する撮像装置から、撮像映像を取得し、加工システムを制御するシステム制御装置６０から得られる情報に基づいて、加工システムの中で注目すべき注目部位を特定し、注目部位に合わせて撮像映像を選択し、選択した撮像映像を表示装置に表示している。

【0096】

この方法によれば、映像表示システムと同様、加工システムの動作状態から判断される注目部位に応じて、表示装置７２に表示すべき撮像映像を切り替えることができる。その結果、表示装置７２には、注目部位の撮像映像が自動的に表示されるので、利用者は加工システムの注目部位を適切に視認することができる。これにより、利用者の利便性の向上を図ることができる。また、周辺装置２０の近くまで移動する必要がないので、利用者の無駄な動きが抑制され、作業効率の向上を図ることができる。

【0097】

上記のように、本実施形態を記載したが、この実施形態の一部をなす論述及び図面はこの実施形態を限定するものであると理解すべきではない。この実施形態から当業者には様々な代替の実施形態、実施例及び運用技術が明らかとなろう。

【0098】

例えば、カメラ５０及びその視点の選択は、カメラ５０のレイアウト、及び加工システムの装置構成に応じて変更することができる。

【符号の説明】

【0099】

１０ 加工機
１１ センサ
２０ 周辺装置
２５ 収納棚
３０ 一枚取装置
３１ 材料パレット
３３ センサ
４０ 搬入搬出装置
４１ 製品パレット
４３ センサ
５０ カメラ
６０ システム制御装置
７０ 操作盤
７１ 入力装置
７２ 表示装置
８０ 表示制御装置
１００ 撮像領域
１１０ 切出領域
Ｐ 製品
Ｗ 材料

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【手続補正書】

【提出日】2024-02-26

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

材料を加工する加工機及び前記加工機と協働して動作する周辺装置を含む加工システムを撮像する撮像装置と、
前記撮像装置により得られる撮像映像を表示する表示装置と、
前記表示装置に表示される前記撮像映像を制御する表示制御装置と、を有し、
前記表示制御装置は、
前記加工システムを制御するシステム制御装置から得られる情報に基づいて、前記加工システムの中で注目すべき注目部位を特定し、
前記注目部位に合わせて前記撮像映像を選択し、
選択した前記撮像映像を前記表示装置に表示する
映像表示システム。

【請求項2】

前記注目部位は、前記周辺装置及び前記周辺装置において動作する可動部を含む
請求項１記載の映像表示システム。

【請求項3】

前記撮像装置は、前記加工システムを撮像した前記撮像映像をそれぞれ出力する複数のカメラを含み、
前記表示制御装置は、前記複数のカメラの中から、前記注目部位を撮像するカメラを選択することで、前記撮像映像の選択を行う
請求項１記載の映像表示システム。

【請求項4】

前記表示制御装置は、選択された前記カメラにより得られる前記撮像映像の中から、前記注目部位に対応する領域を切り出すことで、前記撮像映像の選択を行う
請求項３記載の映像表示システム。

【請求項5】

前記周辺装置は、
前記加工機が加工する前記材料を積載場所から取り出す一枚取装置と、
前記一枚取装置が取り出した前記材料を前記加工機に搬入する、及び前記加工機が前記材料を加工することで作製される製品を、前記加工機から搬出する搬入搬出装置と、を含む
請求項１記載の映像表示システム。

【請求項6】

前記表示制御装置は、前記加工システムにおいて異常が発生している場合に前記システム制御装置から得られるアラーム発生情報に基づいて、前記注目部位を特定する
請求項１記載の映像表示システム。

【請求項7】

前記表示制御装置は、前記加工システムを利用者が手動操作している場合に前記システム制御装置から得られる前記手動操作の情報に基づいて、前記注目部位を特定する
請求項１記載の映像表示システム。

【請求項8】

前記表示制御装置は、前記周辺装置において動作する可動部の情報に基づいて、前記注目部位を特定する
請求項１記載の映像表示システム。

【請求項9】

コンピュータが、
材料を加工する加工機及び前記加工機と協働して動作する周辺装置を含む加工システムを撮像する撮像装置から、撮像映像を取得し、
前記加工システムを制御するシステム制御装置から得られる情報に基づいて、前記加工システムの中で注目すべき注目部位を特定し、
前記注目部位に合わせて前記撮像映像を選択し、
選択した前記撮像映像を表示装置に表示する
映像表示方法。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００１４

【補正方法】変更

【補正の内容】

【0014】

加工機１０は、板金などの板状の材料Ｗを加工する機械である。加工機１０は、例えば、パンチプレス加工の機能とレーザ切断加工の機能とを備えた複合機である。ただし、加工機１０は、パンチプレス加工の機能のみを備えたパンチプレス、又はレーザ切断加工の機能のみを備えたレーザ切断加工機であってもよい。加工機１０は、材料Ｗを加工することで、製品Ｐを作製する。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００８２

【補正方法】変更

【補正の内容】

【0082】

ステップＳ４０８において、表示制御装置８０は、搬入搬出装置４０の吸着操作であるか否かを判断する。搬入搬出装置４０の吸着操作である場合、表示制御装置８０は、材料Ｗの受渡テーブルから材料Ｗを吸着する搬入搬出装置４０を注目部位として、カメラ５０及びカメラ５０の視点を選択する。具体的には、表示制御装置８０は、材料Ｗの受渡テーブルをカバーする第３カメラ５０を選択する。材料Ｗの受渡テーブルは第３カメラ５０からみて左側、且つ上下方向の中央にあるので、表示制御装置８０は、撮像領域１００の中でＡ２領域（図３参照）、且つ、Ａ２領域の中央をズームした領域を、切出領域１１０として選択する。表示制御装置８０は、切出領域１１０に対応する撮像映像を表示装置７２に表示する（ステップＳ４０９）。

【手続補正書】

【提出日】2024-06-27

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

材料を加工する加工機及び前記加工機と協働して動作する周辺装置を含む加工システムを撮像する撮像装置と、
前記撮像装置により得られる撮像映像を表示する表示装置と、
前記表示装置に表示される前記撮像映像を制御する表示制御装置と、を有し、
前記表示制御装置は、
前記加工システムを制御するシステム制御装置から得られる情報に基づいて、前記加工システムの中で注目すべき注目部位を特定し、
前記注目部位に合わせて前記撮像映像を選択し、
選択した前記撮像映像を前記表示装置に表示し、
前記周辺装置は、
前記加工機が加工する前記材料を積載場所から取り出す一枚取装置と、
前記一枚取装置が取り出した前記材料を前記加工機に搬入する、及び前記加工機が前記材料を加工することで作成される製品を、前記加工機から搬出する搬入搬出装置と、を含み、
前記表示制御装置は、
前記加工システムにおいて異常が発生していないとき、前記加工システムを利用者が手動操作していないとき、及び前記搬入搬出装置が動作を停止しているときは、前記搬入搬出装置を前記注目部位とする
映像表示システム。

【請求項2】

前記注目部位は、前記周辺装置及び前記周辺装置において動作する可動部を含む
請求項１記載の映像表示システム。

【請求項3】

前記撮像装置は、前記加工システムを撮像した前記撮像映像をそれぞれ出力する複数のカメラを含み、
前記表示制御装置は、前記複数のカメラの中から、前記注目部位を撮像するカメラを選択することで、前記撮像映像の選択を行う
請求項１記載の映像表示システム。

【請求項4】

前記表示制御装置は、選択された前記カメラにより得られる前記撮像映像の中から、前記注目部位に対応する領域を切り出すことで、前記撮像映像の選択を行う
請求項３記載の映像表示システム。

【請求項5】

前記表示制御装置は、前記加工システムにおいて異常が発生している場合に前記システム制御装置から得られるアラーム発生情報に基づいて、前記注目部位を特定する
請求項１記載の映像表示システム。

【請求項6】

前記表示制御装置は、前記加工システムを利用者が手動操作している場合に前記システム制御装置から得られる前記手動操作の情報に基づいて、前記注目部位を特定する
請求項１記載の映像表示システム。

【請求項7】

前記表示制御装置は、前記周辺装置において動作する可動部の情報に基づいて、前記注目部位を特定する
請求項１記載の映像表示システム。

【請求項8】

コンピュータが、
材料を加工する加工機及び前記加工機と協働して動作する周辺装置を含む加工システムを撮像する撮像装置から、撮像映像を取得し、
前記加工システムを制御するシステム制御装置から得られる情報に基づいて、前記加工システムの中で注目すべき注目部位を特定し、
前記注目部位に合わせて前記撮像映像を選択し、
選択した前記撮像映像を表示装置に表示し、
前記周辺装置は、
前記加工機が加工する前記材料を積載場所から取り出す一枚取装置と、
前記一枚取装置が取り出した前記材料を前記加工機に搬入する、及び前記加工機が前記材料を加工することで作成される製品を、前記加工機から搬出する搬入搬出装置と、を含み、
前記コンピュータは、
前記加工システムにおいて異常が発生していないとき、前記加工システムを利用者が手動操作していないとき、及び前記搬入搬出装置が動作を停止しているときは、前記搬入搬出装置を前記注目部位とする
映像表示方法。