【新規性喪失の例外の表示】特許法第30条第2項適用 令和2年2月12−14日に第4回スマート工業EXPOにて展示 令和2年2月12日付日刊工業新聞電子版にて公開
(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
本発明の実施形態の内容を列記して説明する。本発明は、たとえば以下のような構成を備える。
【0012】
[項目1]
情報処理方法であって、
撮影対象の撮影画像データを取得するステップと、
前記撮影画像データと、基準画像データとを比較する画像比較ステップと、
前記画像比較ステップの比較結果に基づき、作業用ロボットの作業に関する結果情報を取得するステップと、
を含む、ことを特徴とする情報処理方法。
[項目2]
項目1に記載の情報処理方法であって、
前記作業用ロボットは、ロボットアームを含む、
ことを特徴とする情報処理方法。
[項目3]
項目1または2に記載の情報処理方法であって、
前記撮影画像データを取得するための撮影装置は、Webカメラである、
ことを特徴とする情報処理方法。
[項目4]
項目1から3のいずれか一項に記載の情報処理方法であって、
前記基準画像データは、所定のサイクルの初期状態を示す画像のデータを含み、
前記結果情報は、当該サイクルに関する算出結果情報を含む、
ことを特徴とする情報処理方法。
[項目5]
項目4に記載の情報処理方法であって、
前記算出結果情報は、1サイクルにかかる時間を含む、
ことを特徴とする情報処理方法。
[項目6]
項目4に記載の情報処理方法であって、
前記算出結果情報は、所定時間内のサイクル数を含む、
ことを特徴とする情報処理方法。
[項目7]
項目2に記載の情報処理方法であって、
前記結果情報は、前記ロボットアームによるワーク保持の有無に関する情報である、
ことを特徴とする情報処理方法。
[項目8]
項目1から7のいずれか一項に記載の情報処理方法であって、
前記撮影対象は、ユーザ設定により所定のタイミングで状態変化が制御可能なものであり、
前記結果情報は、少なくとも前記タイミングの撮影画像データを含む、
ことを特徴とする情報処理方法。
[項目9]
情報処理システムであって、
撮影対象の撮影画像データを取得する撮影画像データ取得部と、
前記撮影画像データと、基準画像データとを比較する画像比較部と、
前記画像比較部の比較結果に基づき、作業用ロボットの作業に関する結果情報を取得する結果情報取得部と、
を含む、ことを特徴とする情報処理システム。
[項目10]
情報処理方法をコンピュータに実行させるためのプログラムであって、
前記プログラムは、前記情報処理方法として、
撮影対象の撮影画像データを取得するステップと、
前記撮影画像データと、基準画像データとを比較する画像比較ステップと、
前記画像比較ステップの比較結果に基づき、作業用ロボットの作業に関する結果情報を取得するステップと、
をコンピュータに実行させる、ことを特徴とするプログラム。
【0013】
<実施の形態の詳細>
本発明の一実施形態に係る情報処理システム100の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
【0014】
図1は、本実施形態の情報処理システム100の一例を示す図である。
図1に示されるように、本実施形態の情報処理システム100では、端末1と、撮影装置2と、を有している。端末1と撮影装置2とは、有線または無線にて互いに通信可能に接続されている。撮影装置2は、撮影対象(例えば、ロボットアーム等の作業用ロボット3、ライト4、扉付収納具5など)を撮影しており、端末1へ当該撮影対象の撮影画像(静止画または動画)を送信する。なお、
図1は例示にすぎず、図示の構成に限定されない。
【0015】
<端末1>
図2は、端末1のハードウェア構成を示す図である。端末1は、例えばパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
【0016】
端末1は、少なくとも、プロセッサ10、メモリ11、ストレージ12、送受信部13、入出力部14等を備え、これらはバス15を通じて相互に電気的に接続される。
【0017】
プロセッサ10は、端末1全体の動作を制御し、少なくとも撮影装置2とのデータ等の送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ10はCPU(Central Processing Unit)および/またはGPU(Graphics Processing Unit)であり、ストレージ12に格納されメモリ11に展開された本システムのためのプログラム等を実行して各情報処理を実施する。
【0018】
メモリ11は、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ11は、プロセッサ10のワークエリア等として使用され、また、端末1の起動時に実行されるBIOS(Basic Input / Output System)、及び各種設定情報等を格納する。
【0019】
ストレージ12は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ12に構築されていてもよい。
【0020】
送受信部13は、端末1を少なくとも撮影装置2と接続し、プロセッサの指示に従い、データ等の送受信を行う。なお、送受信部13は、有線または無線により構成されおり、無線である場合には、例えば、WiFiやBluetooth(登録商標)及びBLE(Bluetooth Low Energy)の近距離通信インターフェースにより構成されていてもよい。
【0021】
入出力部14は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
【0022】
バス15は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
【0023】
<端末1の機能>
図3は、端末1に実装される機能を例示したブロック図である。本実施の形態においては、端末1のプロセッサ10は、撮影画像データ取得部101、撮影画像データ表示部102、画像比較部103、結果情報取得部104を有している。また、端末1のストレージ12は、撮影画像データ記憶部121、基準画像データ記憶部122、結果情報記憶部123を有している。
【0024】
撮影画像データ取得部101は、端末1のプロセッサ10からの指示により、撮影装置2を制御し、撮影対象(例えば、作業用ロボット3、ライト4、扉付収納具5など)の撮影画像を取得する。取得した撮影画像データは、例えば静止画データまたは動画データであり、撮影画像データ記憶部121に記憶される。なお、当該撮影画像データ記憶部121は、常時撮影画像データを記憶してもよいが、所定時間ごとに間引いて記憶してもよいし、例えば作業用ロボット3の1サイクル(初期位置から移動して、再度初期位置に戻ってくる一連の動作サイクル)などの所定の動作条件を達した場合には、最も古い撮影画像データを削除するなどして、ユーザにより設定された所定回数分だけの当該所定の動作条件を達した撮影画像データを記憶するようにしてもよい。また、後述するように、ユーザが設定した所定のイベントを検出して、少なくとも当該イベントが発生した時刻の撮影画像データ(例えば、少なくとも当該イベントの発生前または後の所定時間の撮影画像データを含む)だけを記憶するようにしてもよい。
【0025】
撮影画像データ表示部102は、撮影画像データ取得部101により取得された撮影画像データを、例えば
図4に例示されるように端末1の入出力部14の表示領域141に表示する。
【0026】
画像比較部103は、
図4に例示されるような、撮影対象全体を含む比較領域142や撮影対象の一部だけを含む比較領域143の撮影画像データと、基準画像データ記憶部122に記憶される基準画像データ(例えば、上述の作業用ロボット3の例であれば、例えば初期位置の状態を撮影した撮影画像データ、上述のイベントの例であれば、例えば撮影対象の状態が正常である場合の撮影画像データなどである、撮影対象が所定の状態にある撮影画像データ)とを比較する処理を行う。両者の比較方法は、例えば両画像データの一致率を検出する方法であり、一致率が所定値以上である場合には「一致」と判断し、それ以外(例えば、
図5の状態など)は「不一致」と判断してもよい。なお、上述の比較領域142や比較領域143は、ユーザにとって不可視な領域でもよいが、表示領域141に例えば枠線としてユーザが可視な領域としてもよい。
【0027】
結果情報取得部104は、画像比較部103での比較処理の結果に応じて、当該結果情報(上述の一致率などの比較結果情報および当該比較結果情報から算出される算出結果情報などを含む)を取得する。当該結果情報は、結果情報記憶部123に記憶される。例えば、上述の「一致」回数をカウントすることにより、作業用ロボット3などの生産性を確認することができる。すなわち、上述のとおり、例えば作業用ロボット3において、
図4の初期位置(「一致」状態)から
図5のように動作後(「不一致」状態)に、
図4の初期位置(「一致」状態)に戻るという1サイクルは「一致」の回数をカウントすることで判定可能である。これにより、1サイクルにかかる時間や所定時間内のサイクル数などの算出結果情報を取得することが可能である。したがって、本システムは、このように生産性を確認可能である。
【0028】
また、結果情報取得部104は、例えば、上述のイベントの例であれば、上述の画像比較結果に基づき、結果情報としてイベント発生有無情報および当該イベント発生を撮影する撮影画像データなどを取得することが可能である。すなわち、
図6のように、例えば作業用ロボット3がワーク6を保持(例えば、把持または吸着等による保持など)しているかどうかなどの不正常状態を、例えばワーク6を含む比較領域144を用いて、当該領域における「一致」(ワーク6の保持状態)または「不一致」(ワーク6の不保持状態)の結果情報に基づき不正常な状態を判定してもよい。
【0029】
また、結果情報取得部104は、例えば、上述のイベントの例として、
図7に例示されるように、ライト4の点灯(例えば点灯の場合、連携している装置に不具合が生じていること、特に色や点灯場所により不具合の種類やその程度が判定可能であればその結果など)の有無などの別システムや別装置と連携している撮影対象や、扉付収納具5の開閉の有無などの所定の状態であることが正常である撮影対象を判定した結果を結果情報として取得することが可能である。これにより、例えばライト4が連携している装置の稼働率(不具合なく稼働している割合)を結果情報として確認可能であったり、当該装置の不具合状態や扉付収納具5の扉が閉まっていない状態などの不正常な状態のイベント発生を結果情報として確認可能であり、特にイベント発生時の撮影画像データも取得することにより、イベント発生時の状況をユーザが確認可能である。
【0030】
さらに、これを利用してどのようなタイミングの撮影画像データも取得可能である。すなわち、
図8に例示されるように、例えばライト4のように端末1や他のシステムによりユーザが設定した所定のタイミングで状態変化の制御が可能なものを比較領域147で動作判定することにより、そのタイミングでの撮影画像データを取得することができ、例えば撮影対象において不正常な状態が生じやすいタイミングの状況をユーザによって確認可能である。特に、このような方法を用いることにより、本システムを既存のシステムに付加するだけで、撮影画像データを取得して所定のタイミングの状況を確認可能にする。
【0031】
また、撮影対象は装置等に限らず、例えば
図9に例示されるように、生産ライン等にて作業する人物7も含み、所定の作業を行っている動作(例えば、所定の位置に手を伸ばす動作や、所定の道具を使用している動作など)や、所定の場所(例えば、作業場所A、Bなど)で作業している人物像を画像比較部103により比較することで、上記同様に、結果情報取得部104により正常な動作をしているかの結果情報や、何らかの一連のプロセスを伴う作業サイクル(例えば、作業場所Aが初期位置で、作業場所Bに移動して別の作業をして、再度作業場所Aに戻るなど)に関する結果情報を取得してもよい。これにより、作業員による生産性確認や、人為的なイベント(例えば、手順誤りや、作業動作の誤りなど)に関する状況を確認が可能となり、人物7に対する評価指標(例えば、誤り率や作業効率など)の取得や教育材料の取得が可能となる。さらに、
図8に例示されるような構成を、人物7に対しても採用してもよい。
【0032】
<撮影装置2>
撮影装置2は、必要な画像比較が可能な性能であれば、どのような分解能、解像度、撮影画角、撮影距離等であってもよいが、特にWebカメラのような安価なカメラであるほうが、安価にシステムを構築するにあたりより好ましい。また、
図1に図示されるように1つではなく、撮影対象の位置関係等に応じて複数の撮影装置2を設置してもよい。さらに、複数の撮影装置2は、それぞれ同様の設定であってもよいし、別の設定であってもよく、例えば、サイクル確認用の撮影装置と、イベント発生確認用の撮影装置とを設置するようにしてもよい。この時、撮影対象が別であってもよいし、同じであってもよいが、安価にシステムを構築するためには、必要最低限の数であることが好ましい。
【0033】
<情報処理方法のフローチャート>
図10は、本実施形態の情報処理システム100における情報処理方法のフローチャートの一例である。
【0034】
まず、ユーザは、端末1による制御に基づき、撮影装置2により、例えば作業用ロボット3などの撮影対象の撮影画像データを取得する(SQ101)。
【0035】
次に、撮影画像データ表示部102によりSQ101にて取得した撮影画像データを端末1上で表示する(SQ102)。ただし、次のステップであるSQ103による画像比較が可能であれば、当該SQ102の撮影画像データの表示を実行しなくてもよい。
【0036】
次に、画像比較部103により、SQ101にて取得した撮影画像データと、基準画像データとを比較する(SQ103)。
【0037】
次に、SQ103の比較結果などに基づく結果情報を結果情報取得部104にて取得する(SQ104)。
【0038】
したがって、本実施形態の情報処理システム100は、撮影装置により取得した画像により特に作業用ロボットの生産性向上のための技術や、少なくとも事後的に所定のイベント発生状況を確認可能にするための技術を提供することができるものである。
【0039】
<アプリケーション動作のフローチャート>
図11は、本実施形態の情報処理システム100におけるアプリケーション動作のフローチャートの一例である。
【0040】
まず、ユーザは、情報処理システム100を動作させるためのアプリケーションを起動する(SQ201)。
【0041】
次に、端末1は、当該端末1に無線または有線で接続されている撮影装置2を表示し、設定を編集する撮影装置2を選択可能とする(SQ202)。
【0042】
次に、端末1は、選択された撮影装置2の撮影画像を入出力部の表示領域に表示する(SQ203)。
【0043】
次に、端末1は、選択された撮影装置2による比較モードを表示して選択可能とする(SQ204)。比較モードは、例えば、上述したような、サイクルを確認する比較を行う比較モード、正常な状態であるかどうかを判定する比較を行う比較モード、ユーザが設定した所定のタイミングであるかどうか判定する比較を行う比較モードなどのうち少なくともいずれかを含む。また、イベント発生時において、イベント発生タイミング前後のどれくらいの期間の撮影画像データを記憶するかを設定可能にしてもよい。
【0044】
次に、端末1は、上述の比較モードにおいて、対象として検知された場合には、検知されたことが確認可能なように入出力部の表示領域に表示する(SQ205)。例えば、表示領域に所定のマークを表示したり、撮影画像の枠を色により強調したりしてもよい。また、ユーザが所定のマークや撮影画像を選択すると、記憶した撮影画像データを確認可能に表示してもよい。
【0045】
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【課題】撮影装置により取得した画像により特に作業用ロボットの生産性向上のための技術や、少なくとも事後的に所定のイベント発生状況を確認可能にするための技術を提供することができるようにする。また、特に生産ライン等で作業する人物に関する作業状況の確認や、作業効率向上のための技術も提供することができるようにする。
【解決手段】情報処理方法であって、撮影対象の撮影画像データを取得するステップと、前記撮影画像データと、基準画像データとを比較する画像比較ステップと、前記画像比較ステップの比較結果に基づき、作業用ロボットの作業に関する結果情報を取得するステップと、を含む、ことを特徴とする情報処理方法である。