(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022141732
(43)【公開日】2022-09-29
(54)【発明の名称】ナビゲーションシステム、投影方法、及び、プログラム
(51)【国際特許分類】
G06Q 50/04 20120101AFI20220921BHJP
【FI】
G06Q50/04
【審査請求】有
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2022108097
(22)【出願日】2022-07-05
(62)【分割の表示】P 2016212113の分割
【原出願日】2016-10-28
(31)【優先権主張番号】P 2016178031
(32)【優先日】2016-09-12
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100129067
【弁理士】
【氏名又は名称】町田 能章
(74)【代理人】
【識別番号】100183162
【弁理士】
【氏名又は名称】大塚 義文
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】柏倉 裕
(72)【発明者】
【氏名】白崎 吉則
(72)【発明者】
【氏名】夛田 純
(72)【発明者】
【氏名】照井 健二
(57)【要約】
【課題】装置を生産する際に好適な情報を組立作業者に提示する。
【解決手段】
ナビゲーションシステム(生産ナビゲーションシステム10)は、作業者が採取を行う品物を載置する複数の載置部(部品載置部21)が設けられた2段以上の棚12へ情報の投影を行い作業者を補助するシステムである。ナビゲーションシステムは、作業者が採取する品物に関連する第1の情報、および、作業工程に関連する第2の情報を投影する単一のプロジェクタ31を少なくとも備える。単一のプロジェクタは、第1の情報を、採取する品物に対応する載置部上に設けられた第1の表示領域に投影することと、第2の情報を第2の表示領域に投影することと、を特徴とする。
【選択図】
図2
【特許請求の範囲】
【請求項1】
作業者が採取を行う品物を載置する複数の載置部が設けられた2段以上の棚へ情報の投影を行い作業者を補助するナビゲーションシステムであって、
前記ナビゲーションシステムは、前記作業者が採取する品物に関連する第1の情報、および、作業工程に関連する第2の情報を投影する単一のプロジェクタを少なくとも備え、
前記単一のプロジェクタは、
前記第1の情報を、前記採取する品物に対応する前記載置部上に設けられた第1の表示領域に投影することと、
前記第2の情報を第2の表示領域に投影することと、
を特徴とするナビゲーションシステム。
【請求項2】
前記第2の表示領域は、前記第1の表示領域より縦幅が大きいことを特徴とし、
前記第2の情報は、少なくとも文字を含む請求項1に記載のナビゲーションシステム。
【請求項3】
前記第1の表示領域および前記第2の表示領域は異なる平面上にあることを特徴とする請求項1に記載のナビゲーションシステム。
【請求項4】
前記第2の表示領域は、前記作業者が作業に用いる作業台上に存在する請求項3に記載のナビゲーションシステム。
【請求項5】
前記第1の表示領域が投影される表示部を備え、
前記表示部は、前記作業者の方向が下を向くよう傾斜している請求項3に記載のナビゲーションシステム。
【請求項6】
前記表示部は、前記棚の下段に設けられているものほど傾斜角が大きいことを特徴とする請求項5に記載のナビゲーションシステム。
【請求項7】
前記第1の情報は、前記作業者によって採取される品物の個数を含む請求項1に記載のナビゲーションシステム。
【請求項8】
前記第2の情報は動画または画像を含む請求項1に記載のナビゲーションシステム。
【請求項9】
前記棚の前面上部方向から第1の表示領域、および、第2の表示領域に対して投影光を投影することを特徴とする請求項1に記載のナビゲーションシステム。
【請求項10】
前記プロジェクタは前記棚の上部に設置される請求項1に記載のナビゲーションシステム。
【請求項11】
前記ナビゲーションシステムは前記棚の前面上部に設置されたミラーを有し、
前記プロジェクタは前記棚の上部に設置され、前記プロジェクタによる投影光を前記ミラーで反射することで、第1の表示領域および第2の表示領域に前記第1の情報および前記第2の情報を投影することを特徴とする請求項10に記載のナビゲーションシステム。
【請求項12】
前記第1の情報、および、第2の情報は、プロジェクションマッピングで前記プロジェクタによって投影される請求項1に記載のナビゲーションシステム。
【請求項13】
作業者が採取を行う品物を載置する複数の載置部が設けられた2段以上の棚へ情報の投影を行う投影方法であって、
前記作業者が行う作業工程を取得するステップと、
前記作業者に対して単一のプロジェクタで、
前記作業者が採取する品物に関連する第1の情報を、前記採取する品物に対応する前記載置部上に設けられた第1の表示領域に投影し、
前記作業工程に関連する第2の情報を提示する第2の表示領域に投影するステップと、
を備える投影方法。
【請求項14】
作業者が採取を行う品物を載置する複数の載置部が設けられた2段以上の棚へ情報の投影を行う投影装置を制御するプログラムであって、
コンピュータを、
前記作業者が行う作業工程を取得する機能と、
前記作業者に対して単一のプロジェクタで、
前記作業者が採取する品物に関連する第1の情報を、前記採取する品物に対応する前記載置部上に設けられた第1の表示領域に投影し、
前記作業工程に関連する第2の情報を提示する第2の表示領域に投影する機能と、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ナビゲーションシステム、投影方法、及び、プログラムに関する。
【背景技術】
【0002】
様々な装置を生産する工場では、近年、以下のような傾向になりつつある。
・一人当たりの取り扱い部品点数が多い。
・短期間で次々と新製品が立ち上がる。
・生産ラインが製品毎に頻繁に変更される。
・派遣社員による生産体制が日常化している。
このような傾向は、多品種の装置を少量生産する工場ほど、顕著になっている。
しかしながら、このような傾向が進むにつれて、組立漏れや組立誤り等が発生する可能性が高くなってきている。そのため、工場では、組立漏れや組立誤り、作業漏れ等を防止する仕組みの実現が要望されている。
【0003】
組立漏れを防止する仕組みとしては、部品のキット作業を行う仕組みがある。部品のキット作業とは、部品配膳者が部品の保管倉庫から部品別に置き場所の決まった専用のキット箱に部品を並べることで、部品を漏れなく組立作業者に供給する作業である。部品の保管倉庫は、採取口に設けられたLEDを点灯させることで、採取する部品の場所を作業者に知らせる構成になっている。この仕組みでは、組立作業者は、組立完了後にキット箱内に部品が残っていないことを確認することで、組立漏れを防止することができる。
【0004】
そのキット作業に関連する装置としては、例えば、特許文献1に記載された装置がある。特許文献1に記載された装置は、センサを備える作業台の近傍に部品を搬送し、部品の取り出しをセンサで検知したら、次の部品を作業台の近傍に移動させることで、作業性を向上させている(例えば、特許文献1参照)。
【0005】
また、組立誤りを防止する仕組みとしては、組立作業者が組立作業を習熟までは組立方法等を指示する作業指示書を組立作業者の周囲に配置し、組立作業者が作業指示書を確認しながら組み立てを行う仕組みがある。
【0006】
また、作業漏れを防止する仕組みとしては、作業した実績に応じてチェックシートと呼ばれる作業項目一覧リストに作業者毎に作業履歴を記入したり捺印やサインを行ったりして、作業履歴を残す仕組みがある。
【先行技術文献】
【特許文献】
【0007】
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、前記した従来の組立漏れを防止する仕組みは、部品配膳者が必要となるため、人員が増加してしまう、という課題があった。
また、部品の保管倉庫は、採取口に設けられたLEDを点灯させることで、採取する部品の場所を作業者に知らせる構成になっている。しかしながら、部品の保管倉庫は、作業場所の環境によってはLEDの点灯状態が分かり難い構造になっており、また、LEDを点灯させるだけでは、いくつの部品を採取し、その部品をどこにどのように取り付ければよいのか等の情報を作業者に知らせることができない、という課題があった。
さらに、従来の組立漏れを防止する仕組みは、新製品立ち上げにおいて、使用する順番に部品を並べる準備工数や、組立漏れを防止するために使用するキット箱作成に工数が非常に多くかかる、という課題があった。
その上、従来の組立漏れを防止する仕組みは、立ち上げ期間中において、部品変更等の設計変更が多く発生するため、その都度キット箱を作り直すことになり、製造準備完了までに時間がかかる、という課題があった。
【0009】
また、前記した組立誤りを防止する仕組みは、作業指示書が紙でファイルに保存されているため、所望のページの検索や、作業指示書の維持管理に工数がかかってしまい、組立誤りを防止するためのサポートシステムの提供が要望されている、という課題があった。
【0010】
また、前記した作業漏れを防止する仕組みは、チェックシートが紙媒体であり、作業履歴を紙媒体に記入したり捺印やサインを行ったりする手間がかかるとともに、チェックシートの維持管理に工数がかかってしまい、作業漏れを防止するためのサポートシステムの提供が要望されている、という課題があった。
【0011】
本発明は、前記した課題を解決するためになされたものであり、装置を生産する際に好適な情報を組立作業者に提示するナビゲーションシステム、投影方法、及び、プログラムを提供することを主な目的とする。
【課題を解決するための手段】
【0012】
前記目的を達成するため、第1発明は、作業者が採取を行う品物を載置する複数の載置部が設けられた2段以上の棚へ情報の投影を行い作業者を補助するナビゲーションシステムであって、前記ナビゲーションシステムは、前記作業者が採取する品物に関連する第1の情報、および、作業工程に関連する第2の情報を投影する単一のプロジェクタを少なくとも備え、前記単一のプロジェクタは、前記第1の情報を、前記採取する品物に対応する前記載置部上に設けられた第1の表示領域に投影することと、前記第2の情報を第2の表示領域に投影することと、を特徴とする構成とする。
【0013】
また、第2発明は、作業者が採取を行う品物を載置する複数の載置部が設けられた2段以上の棚へ情報の投影を行う投影方法であって、前記作業者が行う作業工程を取得するステップと、前記作業者に対して単一のプロジェクタで、前記作業者が採取する品物に関連する第1の情報を、前記採取する品物に対応する前記載置部上に設けられた第1の表示領域に投影し、前記作業工程に関連する第2の情報を提示する第2の表示領域に投影するステップと、を備える構成とする。
また、第3発明は、作業者が採取を行う品物を載置する複数の載置部が設けられた2段以上の棚へ情報の投影を行う投影装置を制御するプログラムであって、コンピュータを、前記作業者が行う作業工程を取得する機能と、前記作業者に対して単一のプロジェクタで、前記作業者が採取する品物に関連する第1の情報を、前記採取する品物に対応する前記載置部上に設けられた第1の表示領域に投影し、前記作業工程に関連する第2の情報を提示する第2の表示領域に投影する機能と、を実行させる構成とする。
【発明の効果】
【0014】
本発明によれば、装置を生産する際に好適な情報を組立作業者に提示することができる。
【図面の簡単な説明】
【0015】
【
図1】実施形態に係るシステムの全体構成を示す図である。
【
図2】実施形態に係る生産ナビゲーションシステムの構成を示す図(1)である。
【
図3】実施形態に係る生産ナビゲーションシステムの構成を示す図(2)である。
【
図4A】実施形態に係る生産ナビゲーションシステムの主要部の構成を示す図(1)である。
【
図4B】実施形態に係る生産ナビゲーションシステムの主要部の構成を示す図(2)である。
【
図5】実施形態に係る生産ナビゲーションシステムの全体動作を示すフローチャートである。
【
図6】実施形態に係る生産ナビゲーションシステムの部品ナビゲーション時の動作を示すフローチャートである。
【
図8】実施形態に係る生産ナビゲーションシステムの部品ナビゲーション時の表示例を示す図(1)である。
【
図9】実施形態に係る生産ナビゲーションシステムの部品ナビゲーション時の表示例を示す図(2)である。
【
図10】実施形態に係る生産ナビゲーションシステムにおける手の位置検出動作の概要を示す図である。
【
図11】実施形態に係る生産ナビゲーションシステムの画像解析例を示す図である。
【
図12】実施形態に係る生産ナビゲーションシステムにおける手の位置検出時の確定手順を示す図である。
【
図13】実施形態に係る生産ナビゲーションシステムの画像解析用の設定例を示す図(1)である。
【
図14】実施形態に係る生産ナビゲーションシステムの画像解析用の設定例を示す図(2)である。
【
図15】実施形態に係る生産ナビゲーションシステムの画像解析時の動作を示すフローチャートである。
【
図16】実施形態に係る生産ナビゲーションシステムのデータ管理動作を示すフローチャートである。
【
図19B】生産台数実績画面の一例を示す図である。
【
図19D】作業実績(日別)画面の一例を示す図である。
【
図19E】作業実績(工程別)画面の一例を示す図である。
【発明を実施するための形態】
【0016】
以下、図面を参照して、本発明の実施の形態(以下、「本実施形態」と称する)につき詳細に説明する。なお、各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
【0017】
[実施形態]
<システムの全体構成>
以下、
図1を参照して、本実施形態に係るシステムの全体構成につき説明する。
図1は、本実施形態に係るシステムの全体構成を示す図である。
【0018】
図1に示すように、何らかの装置を生産する工場には、生産ナビゲーションシステム10と、サポートシステム60とが設置されている。
生産ナビゲーションシステム10は、組立作業者(以下、単に「作業者」と称する場合がある)に様々な情報を提示して、製品の組立作業を支援するシステムである。生産ナビゲーションシステム10は、作業者の作業状況を撮影した撮影画像(静止画や動画)や作業者の音声を録音した音声情報等をサポートシステム60に出力することができる。なお、
図1には、制御装置11、管理部71、表示情報作成部72、蓄積部73等が示されているが、これらについては後記する。
サポートシステム60は、生産ナビゲーションシステム10をサポートするシステムである。
【0019】
生産ナビゲーションシステム10とサポートシステム60とは、有線又は無線によって通信可能に接続されている。なお、サポートシステム60は、工場の外に設置されていてもよい。
【0020】
サポートシステム60は、データ収集装置61と、データ処理装置62と、サポート装置63とを有している。
【0021】
データ収集装置61は、生産ナビゲーションシステム10から出力される撮影情報や音声情報等を保存部に保存する。また、データ収集装置61は、各種の情報(例えば、作業指示書情報、作業工程情報、ガイダンス情報、マーク等の投影位置情報等)や各種のプログラム(例えば、表示機構の制御プログラム、画像解析用の制御プログラム等)を保存部に保存しておき、これらを生産ナビゲーションシステム10に提供することができる。
データ処理装置62は、データ収集装置61に保存された撮影情報や音声情報等に基づいて作業内容等を解析する。
サポート装置63は、作業者の作業内容の解析や作業指示書の作成等に利用される。サポート装置63は、パーソナルコンピュータ(PC)によって構成されている。サポート装置63は、管理者や支援要員等(以下、「管理者等」と称する)によって操作され、解析データ(例えば、後記する
図19B~
図19E参照)等の作成に利用される。
【0022】
データ収集装置61は、例えば、取得部81、保存部82、解析部83、提供部84等の機能手段を有している。取得部81は、生産ナビゲーションシステム10から製品の組立作業時の作業データを取得する機能手段である。作業データは、製品の組立作業時に生産ナビゲーションシステム10で撮影された撮影画像を含んでいる。保存部82は、製品の組立作業時の作業データを保存する機能手段である。解析部83は、製品の組立作業時の作業データに基づいて、作業の進め方や進捗状況等を解析する機能手段である。提供部84は、生産ナビゲーションシステム10で表示情報として表示されるナビゲーション情報を生産ナビゲーションシステム10に提供する機能手段である。これらの機能手段の中の1乃至複数の手段は、サポートシステム60のデータ処理装置62、サポート装置63、生産ナビゲーションシステム10の制御装置11等にも設けるようにしてもよい。
【0023】
<生産ナビゲーションシステムの構成>
以下、
図2及び
図3を参照して生産ナビゲーションシステム10の構成につき説明する。
図2及び
図3は、生産ナビゲーションシステム10の構成を示す図である。
【0024】
図2に示すように、生産ナビゲーションシステム10は、制御装置11と、棚12と、作業台13と、撮影部14(14a,14b)と、表示機構15と、ディスプレイ16(16a,16b)と、マイク17と、スピーカ18と、コード入力部19、モーションキャプチャカメラ20とを有している。
【0025】
制御装置11は、撮影部14や表示機構(表示部)15、ディスプレイ16、マイク17、スピーカ18等の動作を制御する。制御装置11は、これらの機器と有線又は無線によって通信可能に接続されている。また、制御装置11は、サポートシステム60のデータ収集装置61と有線又は無線によって通信可能に接続されている。制御装置11は、パーソナルコンピュータ(PC)によって構成され、予め記憶された制御プログラムに基づいて動作する。制御装置11は、撮影部14で撮影された作業者の特定部位の位置に応じて、表示機構15に表示させる表示情報を決定する。
【0026】
制御装置11は、
図1に示すように、例えば、管理部71、表示情報作成部72、蓄積部73等の機能手段を有している。管理部71は、蓄積部73に蓄積された作業データに基づいて作業実績を管理する機能手段である。表示情報作成部72は、作業実績を表す表示情報を任意のタイミングで作成する機能手段である。蓄積部73は、製品の組立作業時に取得された作業データを蓄積する機能手段である。これらの機能手段の中の1乃至複数の手段は、サポートシステム60のデータ収集装置61、データ処理装置62、サポート装置63等にも設けるようにしてもよい。
【0027】
図2に戻り、棚12は、多数(ここでは、縦方向に4段、横方向に6列、合計24個)の部品載置部21を備え、部品倉庫として機能する。棚12には、複数の仕切板22が設けられている。それぞれの仕切板22は、略鉛直方向に配置されており、個々の部品載置部21を区切るとともに、先端が棚12の前面から前方に突出するように配置されている。各部品載置部21には、トレイ40が載置されており、そのトレイ40には単一種類の部品(例えば、ネジやブラケット、ローラ等)が収納されている。制御装置11は、どの位置の部品載置部21にどの種類の部品41が載置されているのかを表す部品載置情報を管理しており、作業者が部品載置部21から部品41を採取したときに、どの種類の部品41が採取されたのかを特定することができる。なお、部品載置部21には、例えば、電動ドライバ等の組立ツールを載置するようにしてもよい。
【0028】
棚12には、コマンドの入力位置を任意に予め設定することができる。図示例では、例えば、下から1番目で右から1番目の部品載置部21の位置が特殊なコマンドの入力に使用される特殊コマンド入力部23として設定されている。コマンドの内容としては、例えば、リセット、リターン(決定)、メニュー選択、組立確認等がある。制御装置11は、作業者の手がコマンドの入力位置(図示例では、特殊コマンド入力部23)に翳(かざ)されたとき(すなわち、物の上方におおいかけるように手をさしだされたとき)に、入力位置に対応するコマンドに応じて表示情報を決定する。
【0029】
作業台13は、作業者が部品組立等に利用する台である。作業台13は、平坦な台面(上面)を備えている。その台面は、棚12の全幅に亘って、水平方向に延在するように配置されている。
【0030】
撮影部14(14a,14b)は、作業者の作業状況等を撮影する。撮影部14は、ミラー32を支持する支持フレーム44によって、標準的な身長の作業者の頭の高さよりも上の位置(例えば、最上段の部品載置部の上方の位置)で、かつ、棚12の前面よりも前方の位置に配置されている。撮影部14は、USBカメラで構成されている。撮影部としてのUSBカメラ14は、撮影画像を制御装置11に出力する。USBカメラ14の数は、2台以上になっている。2台以上のUSBカメラ14は、左右方向に離れて配置されて
いる。図示例では、2つのUSBカメラ14がミラー32の左右に取り付けられている。ただし、USBカメラ14の数は、3台以上であってもよい。また、USBカメラ14は、支持フレーム44に限らず、様々な場所(例えば、棚12の外部や各部品載置部21の内部等)に配置されていてもよい。
【0031】
表示機構15は、各種の情報やマーク等を表示する表示部である。本実施形態では、表示機構15は、プロジェクタ31と、ミラー32と、板状部材33,34とで構成されている。ただし、表示機構15は、これらの機器の代わりに、板状部材33,34の位置に配置されたELディスプレイや液晶ディスプレイ等の装置によって構成することもできる。
【0032】
ディスプレイ16(16a,16b)は、作業者に各種の情報を表示する。ディスプレイ16は、好ましくは、タッチパネルディスプレイによって構成されているとよい。ディスプレイ16aは、例えば、後記する
図18に示す画面IM20等を表示する。一方、ディスプレイ16bは、例えば、後記する
図19A~
図19Eに示すメイン画面IM21~IM25、
図20に示す画面IM31等を表示する。また、ディスプレイ16aとディスプレイ16bとは、例えば、いずれか一方を、モーションキャプチャカメラ20によって撮影された作業者の動画像を表示するモーションキャプチャディスプレイとして用い、他方を、動画像に基づいて作業者の作業内容を分析した結果を表示するデータ分析ディスプレイとして用いるようにしてもよい。なお、本実施形態では、制御装置11が2つのディスプレイ16a,16bの表示動作を制御するものとして説明する。しかしながら、生産ナビゲーションシステム10は2つのディスプレイ16a,16bのそれぞれに個別の制御装置を設けるようにしてもよい。
マイク17は、作業者の音声等を録音する。
スピーカ18は、アラーム音や音声ガイダンス情報を報音する。
【0033】
コード入力部19は、コードが入力される。図示例では、コード入力部19は、バーコードスキャナによって構成されており、作業台13に取り付けられている。コード入力部19は、バーコードスキャナに限らず、例えばICカードリーダやキーボード等の各種の入力手段によって構成することができる。
【0034】
モーションキャプチャカメラ20は、少なくとも作業者の上半身を含む、作業者のほぼ全体像を撮影する。モーションキャプチャカメラ20は、例えば作業台13の側方に配置されている。制御装置11は、モーションキャプチャカメラ20によって撮影された動画像に基づいて、作業者の動線や顔の向き等を解析することができる。なお、本実施形態では、生産ナビゲーションシステム10がディスプレイ16とモーションキャプチャカメラ20とを含む構成になっているものとして説明している。しかしながら、生産ナビゲーションシステム10はこれらが無くても成り立つ。また、ディスプレイ16とモーションキャプチャカメラ20とは、1つの棚12に対して1つずつ設ける必要はなく、複数の棚12に対して1つ設けられていても良い。
【0035】
なお、ミラー32を支持する支持フレーム44のUSBカメラ14の配置位置よりも前方の位置には、例えば、電動ドライバ等の組立ツール46を吊り下げる吊下部として機能するレール45が設けられている。作業者は、レール45に吊り下げられた組立ツール46を使用することにより、容易に組立作業を行うことができる。また、制御装置11は、例えば、部品41がネジであり、組立ツール46としての電動ドライバが使用される場合に、部品41の種類に応じて電動ドライバのトルクを変更する処理を行うことができる。これにより、生産ナビゲーションシステム10は、組立作業を支援することができる。また、制御装置11は、生産ナビゲーションシステム10に複数の電動ドライバが設けられている場合で、かつ、作業者が使用する電動ドライバの選択を間違えたときに、次工程に進まないように、表示情報としてエラーメッセージを表示して、作業者に注意を喚起することができる。これによっても、生産ナビゲーションシステム10は、組立作業を支援することができる。なお、部品41の種類は、例えば、USBカメラ14で撮影された動画像から解析された部品41の採取位置である部品載置部21(採取口)の位置情報、表示情報として作業者に部品41の採取を指示した部品載置部21(採取口)の位置情報に基づいて、特定することができる。
【0036】
図3に示すように、本実施形態では、表示機構15は、ミラー32を介して、様々な表示画像をプロジェクタ31から板状部材33,34や作業台13の台面に投影している。つまり、表示機構15は、板状部材33,34や作業台13の台面を投影部とし、プロジェクションマッピング技術を利用して、様々な表示画像を板状部材33,34や作業台13の台面に投影している。プロジェクタ31は、表示情報に補正を施して、矩形に近似した形状で板状部材33,34及び作業台13の台面に投影する。
【0037】
プロジェクタ31は、棚12の上に配置されている。また、ミラー32は、支持フレーム44によって、標準的な身長の作業者の頭の高さよりも上の位置(例えば、最上段の部品載置部の上方の位置)で、かつ、棚12の前面よりも前方の位置に配置されている。具体的には、ミラー32は、作業台13の上方でかつ棚12の斜め上方向に、棚12の全幅に亘って左右方向(横方向)に延在するように配置されている。ミラー32は、反射面がプロジェクタ31に対向するように配置されている。ミラー32は、反射角度が上下方向に変更できるように、支持機構によって回動可能に支持されている。ミラー32は、任意の反射角度で固定設置することができる。
【0038】
板状部材33,34は、プロジェクタ31から投影された画像(表示情報)が結像される投影部として機能する部位である。板状部材33,34は、部品載置部21の上方及び下方のいずれか一方又は双方の位置に配置されている。ただし、板状部材33,34は、好ましくは、作業者の手がプロジェクタ31から投影された画像(表示情報)を遮らないように(つまり、投影された画像が作業者の手の甲に映ってしまい、画像を投影すべき位置に作業者の手の影が映ることのないように)、部品載置部21の上方の位置に配置されているとよい。これにより、プロジェクタ31は、作業者の手が邪魔しない位置に、画像(表示情報)を投影することができる。特に、例えば矢印状のマークMk(
図8参照)等を投影する場合は、画像(表示情報)を部品載置部21の上方の位置に表示(投影)するとよい。板状部材33,34の少なくとも上面(露出面)は、平坦な面になっている。板状部材33は、板状部材34よりも大型な構成になっている。板状部材33は、比較的広い面積を要する情報(例えば、組立ガイダンス情報Gu(
図8参照)、作業指示書情報、図形情報、工程フロー情報等)の提示に適している。板状部材34は、比較的狭い面積しか要さない情報(例えば、マークMk(
図8参照)等)の提示に適している。
【0039】
図示例では、板状部材33,34は、棚12の全幅に亘って左右方向(横方向)に延在するように棚12の前面に斜めに傾斜して配置されている。ただし、板状部材33は、棚12の幅よりも短い幅で構成することも可能である。
【0040】
板状部材33,34は、表示画像を鮮明に投影することができるように、また、USBカメラ14(
図2参照)で作業者の手を良好に(具体的には、背景から抽出可能に)撮影することができるように、白色系の色を呈しているとよい。作業台13も、好ましくは、白色系の色を呈しているとよい。
【0041】
板状部材33,34は、配置されている高さに応じて、下に配置されるものほど、前方(作業スペース側)に突出するように配置されている(
図4A参照)。また、板状部材33,34は、後方部分よりも前方部分が下がるように傾斜して配置されている。特に、板状部材34は、配置されている高さに応じて、下に配置されるものほど、寝かせた状態(倒れた状態)になるように、傾斜して配置されている(
図4B参照)。これにより、表示機構15は、ミラー32で反射された表示情報を板状部材33,34に良好に投影することができる。
【0042】
係る構成において、表示機構15は、表示画像をミラー32で反射させることにより、表示画像を投影させるために十分な距離を、プロジェクタ31と板状部材33,34との間及びプロジェクタ31と作業台13の台面との間に確保している。このような表示機構15は、プロジェクタ31から狭い投影角度で表示画像を広範囲に投影することができる。その結果、生産ナビゲーションシステム10は、表示情報を投影部(板状部材33,34及び作業台13の台面)に良好に投影するための投影距離を確保することができるため、天井等の高い位置にプロジェクタ31を配置することを回避することができる。そのため、生産ナビゲーションシステム10は、例えば天井の高くない場所であっても使用することができる。
【0043】
また、生産ナビゲーションシステム10は、プロジェクタ31で表示情報を作業台13の台面にも投影することができるため、作業者の見易い位置に比較的大きな画像を提示することができ、その結果、作業効率を向上させることができる。
【0044】
また、表示機構15は、表示画像をミラー32で反射させることにより、プロジェクタ31を棚12の上に配置することができる。棚12の上は比較的利用されない場所であるため、表示機構15は、その場所を有効に利用することができる。また、表示機構15は、比較的重量物であるプロジェクタ31を作業者の作業場所から離れた場所に配置させることができるため、作業者の安全を確保することができる。なお、ミラー32は、例えば強化プラスチック等の割れ難い素材で構成されている。これによっても、生産ナビゲーションシステム10は、作業者の安全を確保することができる。
【0045】
また、生産ナビゲーションシステム10は、板状部材34の数を増やすことにより、表示情報を複数箇所に同時に表示することができる。つまり、生産ナビゲーションシステム10は、板状部材34の数を増やすだけで、表示情報を表示させる部位を容易かつ安価に増やすことができる。
【0046】
図4A及び
図4Bは、それぞれ、生産ナビゲーションシステム10の主要部の構成を示す図である。
【0047】
図4Aに示すように、本実施形態では、棚12には、4段の部品載置部21が設けられている。以下、4段の部品載置部21のそれぞれを区別する場合に、上段のものから順番に「部品載置部21a,21b,21c,21d」と称する(
図4B参照)。棚12の前面部分は、上部側の方よりも下部側の方が前方に突出するように、傾斜して設けられている。また、各部品載置部21は、後方部分よりも前方部分が下がるように、傾斜して設けられている。最下段の部品載置部21の下方の空間は、棚12の前面部分からアクセスし難いデッドスペースになっており、そのスペースに制御装置11が配置されている。これにより、生産ナビゲーションシステム10は、棚12内の空間を無駄なく活用するようにしている。
【0048】
棚12の前方には、組立作業を行うための作業空間SP1が設けられている。一方、棚12の後方には、部品41が収納されたトレイ40を配膳するための通路空間SP2が設けられている。配膳者や作業者は、通路空間SP2から部品41が収納されたトレイ40を部品載置部21に配膳する(差し入れる)ことにより、トレイ40を部品載置部21内で滑り込ませることによって、トレイ40を棚12の前面付近の位置に配置させることができる。
【0049】
プロジェクタ31は、棚12の上の後方部分に配置されている。これにより、生産ナビゲーションシステム10は、棚12が前方に倒れるのを抑制することができる。
【0050】
図4Bに示すように、部品載置部21は、好ましくは、各段に複数のトレイ40を載置できるようにするとよい。つまり、部品載置部21の奥行き方向の長さは、好ましくは、2つ分以上のトレイ40の奥行き方向の長さよりも長くなっているとよい。これにより、生産ナビゲーションシステム10は、空になった前方のトレイ40を取り除いて、空になったトレイ40の後方に載置されていた新しいトレイ40を棚12の前面付近の位置に配置させることができる。なお、部品載置部21の奥行き方向の長さは、上段のものほど短くなっている。したがって、最上段の部品載置部21aの奥行き方向の長さが一番短くなっている。
【0051】
部品載置部21を区切る各仕切板22a,22b,22c,22dは、それぞれ、上部分が斜めにカットされた傾斜面22aa,22ab,22ac,22adを備える形状になっている。各仕切板22の形は、棚12の上段側に配置されたものと棚12の下段側に配置されたものとで異なっている。例えば、図示例では、各仕切板22の奥行き方向の長さが下段側に配置されたものほど長くなっている。また、各傾斜面22aa,22ab,22ac,22adの上下方向の長さが下段側に配置されたものほど長くなっている。なお、各仕切板22a,22b,22c,22dは、傾斜面22aa,22ab,22ac,22ad代わりに、円弧状に形成されたR面を備える形状になっていてもよい。
【0052】
図5は、生産ナビゲーションシステム10の全体動作を示すフローチャートである。
図6は、生産ナビゲーションシステム10の部品ナビゲーション時の動作を示すフローチャートである。
図7A乃至
図7Fは、それぞれ、表示画面の一例を示す図である。
図7A乃至
図7Fは、それぞれ、最上段の表示画面を板状部材33に表示(投影)させ、中段の表示画面を板状部材34(4段ある板状部材34の中の任意のもの)に表示(投影)させ、最下段の表示画面を作業台13の台面に表示(投影)させることを表している。なお、ここでは、各表示画面の表示(投影)動作は、主に、制御装置11の表示情報作成部72(
図1参照)又は管理部71(
図1参照)によって行われるものとして説明する。なお、
図5及び
図6に示すフローや
図7A乃至
図7Fに示す表示画面は運用に応じて適宜変更することができる。
【0053】
図5に示すように、生産ナビゲーションシステム10は、まず、例えば、
図7Aに示す最上段の表示画面IM11aと中段の表示画面IM11bと最下段の表示画面IM11cとを、それぞれ、板状部材33と板状部材34と作業台13の台面とに表示(投影)させて、モード選択を受け付ける(S105)。ただし、
図7Aに示す例では、最上段の表示画面IM11aと中段の表示画面IM11bとは、空白(ブランク)状態になっている。
【0054】
図7Aに示す例では、「作業習得モード」と「熟練モード」と「デモモード」との3つのモードが最下段の表示画面IM11cに選択可能に表示されている。「作業習得モード」は、表示情報として、作業動画があり、かつ、様々な事項に関する詳細な解説が付された指示情報があるナビゲーション情報を表示するモードである。「熟練モード」は、表示情報として、作業動画がなく、かつ、比較的重要な事項に関する解説のみが付された指示情報があるナビゲーション情報を表示するモードである。「デモモード」は、表示情報として、仮画面のナビゲーションを表示するモードである。S105において、作業者は、最下段の表示画面IM11cに表示された3つのモードのうち、任意のモードに手を翳すことによって、モードを選択する。ここでは、作業者が「作業習得モード」を選択したものとして説明する。
【0055】
次に、モードが選択されると、生産ナビゲーションシステム10は、スタート画面として、例えば、
図7Bに示す最上段の表示画面IM12aと中段の表示画面IM12bと最下段の表示画面IM12cとを、それぞれ、板状部材33と板状部材34と作業台13の台面とに表示(投影)させる(S110)。
【0056】
図7Bに示す例では、最上段の表示画面IM12aの中に「終了」の表示情報が表示されている。また、最下段の表示画面IM12cの中に「作業ID」と「オーダID」と「進捗%(進捗率)」の表示情報が表示されている。
【0057】
次に、生産ナビゲーションシステム10は、作業者IDとオーダIDの入力を受け付ける(S115,S120)。入力の受け付けは、例えば、作業者がコード入力部19(
図2参照)からコードを入力することによって行われる。コードの入力は、例えば、各作業者に付された個人ID、製造する各製品に付された製品ID等を表すバーコード情報が記されたラベルが携帯可能な可搬媒体に貼付されており、ラベルからバーコード情報をコード入力部19(
図2参照)で読み取らせることによって行われる。なお、ラベルは、任意のタイミングで作成することができる。また、バーコード情報は、運用に応じて任意の内容のものにすることができる。
【0058】
次に、生産ナビゲーションシステム10は、最終工程か否かを判定する(S125)。S125の判定で、最終工程でないと判定された場合(“No”の場合)に、生産ナビゲーションシステム10は、部品ナビゲーションを行う(S130)。
【0059】
部品ナビゲーションは、例えば、
図6に示すフローに沿って行われる。
図6に示すように、生産ナビゲーションシステム10は、まず、例えば、
図7Cに示す最上段の表示画面IM13aと中段の表示画面IM13bと最下段の表示画面IM13cとを、それぞれ、板状部材33と板状部材34と作業台13の台面とに表示(投影)させて、矢印形状のマークMkで採取すべき部品の位置と数量を表示する(S205)。
【0060】
図7Cに示すように、このとき板状部材34に表示される中段の表示画面IM13bの中には、ナビゲーション情報としてのマークMkが含まれている。
図7Cに示す例では、マークMkは、採取する部品41が載置されている部品載置部21(採取口)の位置を指し示す情報(例えば、矢印情報)と、採取する部品41の個数情報(例えば、「×n(個)」)とを表す内容になっている。作業者は、マークMkで指示された部品載置部21(採取口)の中から、マークMkで指示された個数分の部品41を採取する。このとき、好ましくは、作業者は、マークMkで指示された個数分の回数だけ、指示された部品載置部21(採取口)に繰り返し手を入れて部品41を採取するとよい。なお、前記した「採取する部品41が載置されている部品載置部21(採取口)の位置を指し示す情報」の形状は、「矢印情報」に限らず、任意の方向を指す形状であればよく、例えば三角形等の形状を含むものであってもよい。
【0061】
次に、生産ナビゲーションシステム10は、USBカメラ14で撮影された動画像に基づいて、部品41の取り出しを検出し(S210)、取り出された部品41がマークMkで指示された正しいアドレスの部品載置部21(採取口)から採取されたものであるのか否かを判定する(S215)。なお、ここでは、「アドレス」とは、例えば
図2に示す棚12における各部品載置部21の配置位置を意味している。
【0062】
S215の判定で、取り出された部品41が正しいアドレスの部品載置部21(採取口)から採取されたものでないと判定された場合(“No”の場合)に、生産ナビゲーションシステム10は、エラー表示情報を提示する(S220)。
【0063】
このとき、生産ナビゲーションシステム10は、例えば、
図7Dに示す最上段の表示画面IM14aと中段の表示画面IM14bと最下段の表示画面IM14cとを、それぞれ、板状部材33と板状部材34と作業台13の台面とに表示(投影)させる。
図7Dに示す例では、各表示画面IM14a,IM14b,IM14cは、エラー表示情報として、赤色のアラーム画像が全面に表示された内容になっている。作業者は、エラー表示情報に従って、部品41の採取のやり直し動作を行う。部品41の採取のやり直し動作は、S210で採取された部品41を元の部品載置部21に戻して、マークMkで指示された正しいアドレスの部品載置部21(採取口)からマークMkで指示された個数分の部品41を採取することによって行われる。
【0064】
次に、生産ナビゲーションシステム10は、USBカメラ14で撮影された動画像に基づいて、部品41の採取のやり直し動作を検出する(S225)。この後、処理はS215に戻る。
【0065】
一方、S215の判定で、取り出された部品41が正しいアドレスの部品載置部21(採取口)から採取されたものであると判定された場合(“Yes”の場合)に、生産ナビゲーションシステム10は、採取された部品41のコード情報や個数情報等をデータベース(蓄積部)に書き込む(S230)。
【0066】
次に、生産ナビゲーションシステム10は、採取された部品41の個数がマークMkで指示された個数分の数量に達したか否かを判定する(S235)。S235の判定で、採取された部品41の個数がマークMkで指示された個数分の数量に達していないと判定された場合(“No”の場合)に、処理はS210に戻る。一方、S235の判定で、採取された部品41の個数がマークMkで指示された個数分の数量に達したと判定された場合(“Yes”の場合)に、生産ナビゲーションシステム10は、ナビゲーション情報として、該当する動画や指示書等を表示する(S240)。
【0067】
このとき、生産ナビゲーションシステム10は、例えば、
図7Eに示す最上段の表示画面IM15aと中段の表示画面IM15bと最下段の表示画面IM15cとを、それぞれ、板状部材33と板状部材34と作業台13の台面とに表示(投影)させる。
図7Eに示す例では、作業台13の台面に表示される最下段の表示画面IM15cの中に、ナビゲーション情報として、動画や指示書等によって構成された組立ガイダンス情報Guが含まれている。作業者は、組立ガイダンス情報Guに従った、組立作業を行う。この後、処理は
図5のS125に戻る。
【0068】
図5に戻り、S125の判定で、最終工程であると判定された場合(“Yes”の場合)に、生産ナビゲーションシステム10は、終了画面として、
図7Fに示す最上段の表示画面IM16aと中段の表示画面IM16bと最下段の表示画面IM16cとを、それぞれ、板状部材33と板状部材34と作業台13の台面とに表示(投影)させて、処理を終了する。
【0069】
このような生産ナビゲーションシステム10では、制御装置11は、作業者の手の検出情報に応じて、表示情報を決定する構成になっている。また、制御装置11は、手を入れるべき部品載置部21(採取口)を間違った場合に、エラー表示情報を提示する構成になっている。
【0070】
図8は、表示情報を板状部材33,34に投影した例を示している。図示例では、組立作業について解説する組立ガイダンス情報Guが板状部材33に投影され、また、採取する部品の採取口を指し示すマークMkが板状部材34に投影されている。なお、マークMkは、板状部材33に投影することもできる。
【0071】
マークMkは、採取口の場所だけでなく、採取する部品の順番も指し示すことができる。また、マークMkは、採取する部品の名称やコード等も指し示すことができる。また、マークMkは、部品だけでなく、各種の組立ツールの採取口に対しても指し示すことができる。
【0072】
図9は、表示情報を作業台13に投影した例を示している。図示例では、組立ガイダンス情報Guが作業台13に投影されている。
プロジェクタ31は、表示情報として、例えば、製品の組立作業を表す動画像、マニュアル画像、部品41の個数情報、及び、製品の組立工程情報の中の少なくとも1つ以上を投影することができる。
【0073】
図10は、生産ナビゲーションシステム10における手の位置検出動作の概要を示す図である。制御装置11は、例えば、三角法の原理を利用して作業者の手の位置を検出する。具体的には、
図10に示すように、制御装置11は、左側のUSBカメラ14aで撮影された左撮影画像と右側のUSBカメラ14bで撮影された右撮影画像とのアンド条件に基づいて、作業者の手の位置を検出する。その際に、制御装置11は、例えば、
図11に示す処理で作業者の手の位置を解析する。
【0074】
図11は、生産ナビゲーションシステム10の画像解析例を示す図である。
図11に示すように、制御装置11(
図2参照)は、USBカメラ14で撮影された撮影画像に対して、画像解析する機能を有している。制御装置11は、画像解析を行うことにより、例えば、作業者の手の動きを識別することができる。その結果、制御装置11は、作業者が部品を採取したか否かの情報、採取した部品の個数の情報等についても、識別することができる。
【0075】
以下、
図11を参照して、画像解析例につき説明する。なお、生産ナビゲーションシステム10は、作業者の手と背景とを区別するために、背景となる部位の色(例えば、板状部材33,34、作業台13の台面、仕切板22等の色)を白色系の色にしている。これにより、制御装置11は、作業者の手の位置を好適に検出することができる。
【0076】
まず、
図11(a)に示すように、制御装置11は、USBカメラ14によって撮影されたマスタ画像を事前に取得しておく。マスタ画像は、作業者が映っていない画像である。マスタ画像は、棚12の任意の部位に対応して予め複数用意されている。
次に、
図11(b)に示すように、制御装置11は、組立作業が開始されると、USBカメラ14から作業中の画像を取得する。なお、
図11(b)中、破線領域は
図11(a)のマスタ画像が取得された領域を表している。
次に、
図11(c)に示すように、作業中の画像(
図11(b)参照)の中から作業者の手の画像を抽出する。
【0077】
次に、
図11(d)に示すように、制御装置11は、抽出された作業者の手の画像(
図11(c)参照)に対して2値化処理を行う。
次に、
図11(e)に示すように、制御装置11は、2値化処理後の画像(
図11(d)参照)とマスタ画像(
図11(a)参照)とでマッチング処理を行い、得られた画像からノイズ(板状部材34と重なる部分)を削除し、その後に、得られた画像から作業者の手の重心箇所を検出する。
この後、
図11(f)に示すように、制御装置11は、検出された作業者の手の重心箇所(
図11(e)参照)に基づいて、作業者の手が入っている部品載置部21(採取口)の位置を検出する。
【0078】
図12は、生産ナビゲーションシステム10における手の位置検出時の確定手順を示す図である。制御装置11は、棚12に設けられた個々の部品載置部21に対応して左右方向(横方向)と上下方向(縦方向)のマスを設定し、各マスに対する作業者の手の位置に応じて、各マスにおける手の位置を確定する。例えば、本実施形態では、棚12は、左右方向(横方向)に6列、上下方向(縦方向)に4段の部品載置部21を備えている(
図2参照)。したがって、制御装置11は、左右方向(横方向)に6列、上下方向(縦方向)に4段のマスを設定する。
【0079】
そして、制御装置11は、
図12の画像Ph14aのように、
図11に示す処理を経て、左側のUSBカメラ14aで撮影された左撮影画像から作業者の手の位置が検出されたマスに対して、マーク(図示例では黒点)を付加する。同様に、制御装置11は、
図12の画像Ph14bのように、
図11に示す処理を経て、右側のUSBカメラ14bで撮影された左撮影画像から作業者の手の位置が検出されたマスに対して、マーク(図示例では黒点)を付加する。そして、制御装置11は、画像Ph14aと画像Ph14bとをアンド条件に基づいて、作業者の手(つまり、作業者の手が入っている部品載置部21(採取口))の位置を確定する。
【0080】
なお、制御装置11は、良好な画像解析を実現するために、複数種類(例えば2種類)のフィルタを使用して画像解析を行っている。
図13は、肌の色用のフィルタ設定例を示している。
図13(a)は、採取口に挿入されかけている作業者の手の撮影画像とその撮影画像に対するフィルタ設定例を示している。
図13(b)は、女性の手や男性の手の撮影画像例を示している。例えば、制御装置11は、肌の色を識別するために、青色のフィルタを使用する。フィルタは、
図13(b)に写っている手が識別できるように、所望の階調値に設定される。
【0081】
図14は、作業着の色用のフィルタ設定例を示している。
図14(a)は、採取口に挿入されかけている作業者の手の撮影画像とその撮影画像に対するフィルタ設定例を示している。
図14(b)は、女性用の作業着や男性用の作業着の撮影画像例を示している。ここでは、女性用の作業着の色が、黄色と薄緑色、又は、黄色と濃緑色になっており、一方、男性用の作業着の色が黒色と濃緑色になっているものとして説明する。この場合に、制御装置11は、作業着の色を識別するために、赤色のフィルタを使用する。フィルタは、
図14(b)に写っている作業着が識別できるように、所望の階調値に設定される。
【0082】
作業者の肌の色又は作業服の色に応じて使用するフィルタを自動調節(設定)するようにしてもよい。
【0083】
図15は、生産ナビゲーションシステム10の画像解析時の動作を示すフローチャートである。
図15に示すように、制御装置11は、左側のUSBカメラ14aで撮影された左撮影画像に対して、S305~S350の処理を行う。また、制御装置11は、S305~S350の処理と並行して、右側のUSBカメラ14bで撮影された右撮影画像に対して、S405~S450の処理を行う。
【0084】
具体的には、制御装置11は、左撮影画像を取得し(S305)、左撮影画像から不要画像(作業者の手でない部分の画像)を削除する(S310)。そして、制御装置11は、左カメラ画像に対して赤フィルタでマスクして(S322)、得られた画像に対して2値化を行い(S324)、マスタ画像との差分を抽出し(S326)、得られた画像からノイズ(板状部材34と重なる部分)を削除する(S328)。同様に、制御装置11は、左撮影画像に対して青フィルタでマスクして(S332)、得られた画像に対して2値
化を行い(S334)、マスタ画像との差分を抽出し(S336)、得られた画像からノイズ(板状部材34と重なる部分)を削除する(S338)。この後、制御装置11は、赤フィルタをかけて得られた画像と青フィルタをかけて得られた画像とを結合し(S340)、得られた画像から作業者の手の重心位置を検出し(S345)、手が入っている採取口の位置を判定する(S350)。
【0085】
また、制御装置11は、右撮影画像を取得し(S405)、右撮影画像から不要画像(作業者の手でない部分の画像)を削除する(S410)。そして、制御装置11は、右カメラ画像に対して赤フィルタでマスクして(S422)、得られた画像に対して2値化を行い(S424)、マスタ画像との差分を抽出し(S426)、得られた画像からノイズ(板状部材34と重なる部分)を削除する(S428)。同様に、制御装置11は、左撮影画像に対して青フィルタでマスクして(S432)、得られた画像に対して2値化を行い(S434)、マスタ画像との差分を抽出し(S436)、得られた画像からノイズ(板状部材34と重なる部分)を削除する(S438)。この後、制御装置11は、赤フィルタをかけて得られた画像と青フィルタをかけて得られた画像とを結合し(S440)、得られた画像から作業者の手の重心位置を検出し(S445)、手が入っている採取口の位置を判定する(S450)。
【0086】
この後、制御装置11は、判定結果が同じ採取口であれば、採取口の位置をデータベースに書き込む(S500)。このようにして、制御装置11は、画像解析を行う。
【0087】
生産ナビゲーションシステム10の制御装置11は、製品の組立作業時に取得された作業データを蓄積部73に蓄積し、蓄積された作業データに基づいて管理部71で作業実績を管理し、表示情報作成部72で作業実績を表す表示情報を任意のタイミングで作成するデータ管理動作を行うことができる。その際に、管理部71は、コード入力部19から入力されたコードに基づいて作業データと作業実績とを管理することができる。また、管理部71は、中間製造物である半製品に対して任意のタイミングで半製品コードを付与し、作業データと最終製造物である完成品に対して付与された完成品コードと半製品コードとを関連付けて、蓄積部73の管理情報ファイルに登録することができる。
【0088】
以下、
図16を参照して、このような処理を実現するための生産ナビゲーションシステム10のデータ管理動作につき説明する。
図16は、生産ナビゲーションシステム10のデータ管理動作を示すフローチャートである。
【0089】
図16に示すように、生産ナビゲーションシステム10の制御装置11は、作業の開始か否かを判定し(S605)、開始と判定された場合(“Yes”の場合)に、作業データの蓄積を開始する(S610)。
【0090】
次に、制御装置11は、半製品コードの付与の指示があるか否かを判定する(S615)。S615の判定で、半製品コードの付与の指示がないと判定された場合(“No”の場合)に、処理はS625に進む。一方、S615の判定で、半製品コードの付与の指示があったと判定された場合(“Yes”の場合)に、制御装置11は、半製品に対して任意の半製品コードを付与し、データベース(蓄積部)11a(
図17参照)に格納されている管理情報ファイルD11(
図17参照)に登録する(S620)。
【0091】
図17は、管理情報ファイルD11の一例を示す図である。
図17に示す例では、管理情報ファイルD11は、半製品コード、作業者ID、オーダID、ステーションID、作業日、開始時刻、終了時刻、経過時間、完成品コード等の情報が登録されるようになっている。
【0092】
図16に戻り、S615の判定で“No”の場合、又は、S620の後に、制御装置11は、作業実績の表示指示があるか否かを判定する(S625)。S625の判定で、作業実績の表示指示がないと判定された場合(“No”の場合)に、処理はS635に進む。一方、S625の判定で、作業実績の表示指示があったと判定された場合(“Yes”の場合)に、制御装置11は、作業実績を分析して、作業実績の分析結果をディスプレイ16に表示させる(S630)。
【0093】
S625の判定で“No”の場合、又は、S630の後に、制御装置11は、作業終了の指示があるか否かを判定する(S635)。S635の判定で、作業終了の指示がないと判定された場合(“No”の場合)に、処理はS615に戻る。一方、S635の判定で、作業終了の指示があったと判定された場合(“Yes”の場合)に、制御装置11は、作業データの蓄積を終了し(S640)、作業実績分析・終了画面IM41(
図21参照)をディスプレイ16に表示させる(S645)。これにより、一連のルーチンの処理が終了する。
【0094】
このような生産ナビゲーションシステム10は、部品の採取を良好に検出することができる。なお、生産ナビゲーションシステム10は、手の動作だけでなく、部品を検出することによって、部品の採取を検出することもできる。また、生産ナビゲーションシステム10は、作業者が一度に複数の部品を採取したことも検出することもできる。
【0095】
このような生産ナビゲーションシステム10は、作業者が部品を実際に採取していなくても、採取したと判断されることを防止することができる。また、生産ナビゲーションシステム10は、部品の取り間違えを検出した場合に、スピーカ18からアラーム音を報音したり、アラーム表示を板状部材33,34に提示したりすることにより、取り違えを指摘することができる。
【0096】
また、生産ナビゲーションシステム10の制御装置11は、例えば、
図18に示すメイン画面IM20の項目BT11~BT15に対応する作業実績の分析結果IM21~IM25(
図19A乃至
図19E参照)をディスプレイ16に表示することができる。
図18は、メイン画面IM20の一例を示す図である。
図19A乃至
図19Eは、それぞれ、作業実績の分析結果の画面IM21~IM25の一例を示す図である。
【0097】
図18に示す例では、メイン画面IM20は、項目BT11~BT15を含む内容になっている。「項目BT11」は生産状況の表示を指定する欄である。「項目BT12」は作業実績の対象として指定された対象作業者のオーダID毎の生産実績の表示を指定する欄である。「項目BT13」は対象作業者と熟練者との作業内容の比較結果の表示を指定する欄である。「項目BT14」は対象作業者の日別の作業実績の表示を指定する欄である。「項目BT15」は対象作業者の工程別の作業実績の表示を指定する欄である。対象作業者は、特に人物を指定しなければ、現在の作業現場(作業ステーション)で作業中の人物となる。ただし、生産ナビゲーションシステム10は、コード入力部19(
図2参照)やキーボード等で任意の人物のIDコードを入力することにより、その人物を対象作業者として指定することもできる。
【0098】
メイン画面IM20は、例えば、タッチパネルディスプレイによって構成されたディスプレイ16aに表示される。生産ナビゲーションシステム10は、例えば、ディスプレイ16aで項目BT11~BT15の中のいずれかの項目が指定されると、指定された項目に対応する作業実績の分析結果の画面をディスプレイ16bに表示する。
【0099】
例えば、
図18の「項目BT11」が指定された場合に、生産ナビゲーションシステム10は、
図19Aに示す画面IM21をディスプレイ16bに表示する。画面IM21は、生産状況の作業実績を表している。
図19Aに示す例では、画面IM21は、「本日の目標数」、「予定」台数、「実績」台数、「差異」台数を含む内容になっている。
【0100】
また、例えば、
図18の「項目BT12」が指定された場合に、生産ナビゲーションシステム10は、
図19Bに示す画面IM22をディスプレイ16bに表示する。画面IM22は、対象作業者のオーダID毎の生産実績を棒グラフデータで表している。図中、横軸は製品のオーダIDを示しており、縦軸は生産時間(秒)を示している。
【0101】
また、例えば、
図18の「項目BT13」が指定された場合に、生産ナビゲーションシステム10は、
図19Cに示す画面IM23をディスプレイ16bに表示する。画面IM23は、対象作業者(比較者)と熟練者との作業内容の比較結果を表している。画面IM23は、USBカメラ14a,14bで撮影された対象作業者(比較者)の作業中の動画像と事前に用意された熟練者の作業中の動画像とを対比させながら表示する内容になっている。
図19C中、比較者側の4つの四角形部分は、対象作業者(比較者)の作業中の動画像が表示される領域である。また、熟練者側の4つの四角形部分は、熟練者の作業中の動画像が表示される領域である。また、各動画像が表示される領域の右側には、3段のマスの画像が配置されている。最上段のマスの画像は、左撮影画像(左側のUSBカメラ14aで撮影された画像)から検出された手の位置を表している。最下段のマスの画像は、右撮影画像(右側のUSBカメラ14bで撮影された画像)から検出された手の位置を表している。中段のマスの画像は、左撮影画像から検出された手の位置と右撮影画像から検出された手の位置とのアンド条件に基づいて確定された作業者の手の位置を表している。
【0102】
また、例えば、
図18の「項目BT14」が指定された場合に、生産ナビゲーションシステム10は、
図19Dに示す画面IM24をディスプレイ16bに表示する。画面IM24は、対象作業者の日別の作業実績を棒グラフデータで表している。図中、横軸は日付を示しており、縦軸は生産時間(分)を示している。棒グラフデータは、製品の組立作業の各工程を表す工程情報と、各工程に要した時間情報とが含まれたデータである。各棒グラフデータは、対象作業者が生産したある製品の最小作業時間と最大作業時間との幅を表している。各棒グラフデータの中の四角形は、最小作業時間と最大作業時間の平均値を表している。棒グラフの長さが長い工程ほど、工程時間のバラツキが大きい工程であることを示している。
【0103】
また、例えば、
図18の「項目BT15」が指定された場合に、生産ナビゲーションシステム10は、
図19Eに示す画面IM25をディスプレイ16bに表示する。画面IM25は、対象作業者の工程別の作業実績を棒グラフデータで表している。図中、横軸は工程番号を示しており、縦軸は生産時間(秒)を示している。各棒グラフデータは、対象作業者が生産したある製品の最小作業時間と最大作業時間との幅を表している。各棒グラフデータの中の2つの四角形は、一方が最小作業時間と最大作業時間の平均値で、他方が前回の作業時間を表している。棒グラフの長さが長い工程ほど、工程時間のバラツキが大きい工程であることを示している。
【0104】
制御装置11は、画面IM24(
図19D)や画面IM25(
図19E)のグラフデータを、半製品毎に作成してディスプレイ16bに表示することができる。また、制御装置11は、グラフデータを、作業者毎に作成してディスプレイ16bに表示することもできる。管理者等は、グラフデータを参照することにより、どの工程に時間がかかっているのかを把握することができる。
【0105】
なお、生産ナビゲーションシステム10の制御装置11によって行われた作業実績の分析結果は、サポートシステム60のデータ収集装置61(
図1参照)に提供される。その結果、作業実績の分析結果は、生産ナビゲーションシステム10の制御装置11に限らず、サポートシステム60(
図1参照)を構成するデータ収集装置61やデータ処理装置62、サポート装置63等でも閲覧することができる。
【0106】
また、生産ナビゲーションシステム10の制御装置11は、製品の組立作業時にモーションキャプチャカメラ20で撮影された作業者の動画像に基づいて、作業者の動作を分析することができる。例えば、
図20に示すように、生産ナビゲーションシステム10の制御装置11の表示情報作成部72は、製品の組立作業時にモーションキャプチャカメラ20で撮影された作業者の動画像に基づいて、作業者の手の移動距離を特定して、表示情報として、
図20に示す線グラフデータを作成することができる。
図20は、作業者の動作を分析した結果としての動作分析画面IM31の一例を示す図である。
図20中、線グラフデータは、動画像のフレーム情報と作業者の頭や手の移動距離情報との相関関係を表している。動作分析画面IM31は、例えば、ディスプレイ16bに表示される。
【0107】
図20に示す例では、動作分析画面IM31は、動画像を表示する動画像表示部Mo1と、動画像の作動を指示するコマンドを表示するコマンド部Co1と、線グラフデータを表示するグラフ表示部Gr1とを含む内容になっている。動画像表示部Mo1中の動画像には、作業者の動線や顔の向き等の解析結果を表す小円形状の付加情報が表示されている。また、グラフ表示部Gr1中の線グラフデータは、横軸が動画像のフレーム数を示しており、縦軸が頭や手の移動距離を示している。また、グラフ表示部Gr1中の縦線は各工程の区切り部分を示しており、番号は工程番号を表している。
【0108】
なお、
図20に示す動作分析画面IM31のような作業者の動作の分析は、生産ナビゲーションシステム10の制御装置11に限らず、サポートシステム60(
図1参照)を構成するデータ収集装置61やデータ処理装置62、サポート装置63等でも行うことができる。
【0109】
また、生産ナビゲーションシステム10の制御装置11は、管理情報ファイルD11(
図17参照)に基づいて、経過時間等を表す画面(例えば、終了画面IM41(
図21参照))を作成することができる。
図21は、終了画面IM41の一例を示す図である。
図21に示す例では、終了画面IM41は、標準時間を表す標準時間欄、生産率を表す生産性欄、経過時間を表す経過時間欄、開始時刻を表す開始時刻欄、終了時刻を表す終了時刻欄を含む内容になっている。
【0110】
<生産ナビゲーションシステムの主な機能>
生産ナビゲーションシステム10は、制御機能、画像(動画像)の撮影(キャプチャ)機能、音声認識機能、音声指示機能を有している。
生産ナビゲーションシステム10は、ガイダンス機能、部品の採取(ピッキング)中の画像の取得機能及びその判定機能、部品の取付中の画像取得機能及びその判定機能、作業動線の取得機能及びその解析機能等を有している。
生産ナビゲーションシステム10は、撮影された画像(動画像)情報や入力された音声情報等をサポートシステム60のデータ収集装置61に出力して、これらの情報をビッグデータとしてデータ処理装置62やサポート装置(PC)63に解析処理させることができる。
生産ナビゲーションシステム10は、画像解析機能や音声認識機能を後から拡張することができる。
生産ナビゲーションシステム10は、様々な情報を作業者に提示することにより、組立作業を誘導することができる。
生産ナビゲーションシステム10は、作業者が採取した部品の種類や個数、作業者が行った作業内容等を解析することができる。
生産ナビゲーションシステム10は、アラーム音を報音したりアラーム情報を提示したりすることができる。
図21に示すように、生産ナビゲーションシステム10は、例えば組立終了時や組立処理の途中時等の任意のタイミングで、組立作業の進捗状況等をディスプレイ16に表示することができる。
【0111】
<サポートシステムの主な機能>
データ収集装置61は、生産ナビゲーションシステム10の制御装置11から撮影情報や音声情報を取得して保存することができる。管理者等は、データ収集装置61に保存された撮影情報をサポート装置(PC)63で閲覧することにより、遠隔地から生産進捗等の組立作業現場の状況を確認することができる。
【0112】
<生産ナビゲーションシステムの主な特徴>
(1)プロジェクションマッピングについて
(a)生産ナビゲーションシステム10は、作業者に採取させる部品の位置及び数量を提示(投影)することができる。例えば、生産ナビゲーションシステム10は、採取する部品41が載置されている部品載置部21(採取口)の位置を指し示す矢印情報、部品の個数情報を含む矢印状のマークMk(
図8参照)等を投影することができる。これにより、生産ナビゲーションシステム10は、マークMk(
図8参照)を一瞥するだけで、どの採取口からいくつの部品41を採取すれば良いのかを作業者に容易に知らせることができる。
(b)生産ナビゲーションシステム10は、USBカメラ14で撮影された作業者の特定部位の位置に応じて、表示機構15に表示させる表示情報を決定することができる。例えば、生産ナビゲーションシステム10は、作業者が部品を採取すると、採取された部品(採取部品)の数に応じて、棚に載置されている部品のカウント数量を自動的に減少させることができる。また、生産ナビゲーションシステム10は、次工程の表示情報を提示(投影)することができる。また、生産ナビゲーションシステム10は、作業者の手が特殊コマンド入力部23(
図2参照)等のコマンドの入力位置に翳(かざ)されたときに、入力位置に対応するコマンドに応じて表示情報を決定することができる。
(c)生産ナビゲーションシステム10は、作業者が部品を採取すると、次の部品の位置及び数量を提示(投影)することができる。
(d)生産ナビゲーションシステム10は、手を入れるべき部品載置部21を間違った場合に、エラー表示情報(
図7D参照)等の注意喚起情報を提示する。これにより、生産ナビゲーションシステム10は、作業者が部品を取り間違えた場合であっても、注意喚起情報を提示(投影)することができる。
(e)生産ナビゲーションシステム10は、部品の位置毎に、注意喚起情報の提示位置を変えることができる。
(f)生産ナビゲーションシステム10は、プロジェクタ31から、表示情報として、製品の組立作業を表す動画像、マニュアル画像、部品41の個数情報、及び、製品の組立工程情報の中の少なくとも1つ以上を投影することができる。これにより、生産ナビゲーションシステム10は、製品の組立作業を効率よく支援することができる。
(g)プロジェクタ31は、表示情報に補正を施して、矩形に近似した形状で板状部材33,34及び作業台13の台面に投影する。これにより、生産ナビゲーションシステム10は、歪みの少ない視認性の高い表示情報を作業者に提示することができる。
(h)生産ナビゲーションシステム10は、プロジェクタ31から、表示情報として、作業動画があり、かつ、様々な事項に関する詳細な解説が付された指示情報があるナビゲーション情報を表示する作業習得モードと、作業動画がなく、かつ、比較的重要な事項に関する解説のみが付された指示情報があるナビゲーション情報を表示する熟練モードとを選択可能に投影することができる。これにより、生産ナビゲーションシステム10は、製品の組立作業の習得度に合わせてナビゲーションを変更することができる。
(i)プロジェクタ31は、部品載置部21の上方に、表示情報として、採取する部品41が載置されている部品載置部21の位置を指し示す矢印情報を表示(投影)することができる。これにより、プロジェクタ31は、手の検出の邪魔にならない位置に矢印情報を表示(投影)することができる。
(j)生産ナビゲーションシステム10は、板状部材34の数を増やすだけで、表示情報を表示させる部位を容易かつ安価に増やすことができる。
(k)生産ナビゲーションシステム10は、提示(投影)位置に応じて、板状部材34の角度を変えている。下の位置に配置された板状部材34ほど、板状部材34を寝かせた状態にしている。これにより、表示情報の視認性を向上させることができる。
(l)表示情報が投影される板状部材33,34の色は、好ましくは、白色系であるとよい。これにより、表示情報を鮮明に提示(投影)することができ、表示情報の視認性を向上させることができる。
(m)生産ナビゲーションシステム10は、部品の採取及び組立が完了すると、全体工程の何%が完了したのかを、板状部材33,34、ディスプレイ16等に提示することができる。
(n)生産ナビゲーションシステム10は、作業者ID、仮ID、作業の進捗情報、採取する部品の位置、数量、作業手順(イメージ図等を含む)、必要な組立ツール等の情報を投影することができる。
(o)生産ナビゲーションシステム10は、必要部品の採取を検出すると、部品数量を減少させて、部品数量を管理することができる。
(p)生産ナビゲーションシステム10は、必要部品の採取を検出すると、次の部品の位置及び数量を表示情報として提示することができる。
(q)生産ナビゲーションシステム10は、採取を間違えると、注意喚起情報を投影することができる。また、生産ナビゲーションシステム10は、作業者が部品を戻した場合に、それを検出することもできる。
(r)生産ナビゲーションシステム10は、注意喚起情報を提示する場合に、部品の位置に応じて、注意喚起情報を最適な位置に調整して提示することができる。
(s)生産ナビゲーションシステム10は、作業台13の台面を投影部として利用することができる。
(t)生産ナビゲーションシステム10は、部品採取の検知時に次の部品の位置等を作業者に提示することができる。また、生産ナビゲーションシステム10は、所望のタスクに係る作業手順が全て終わった段階で次の部品の位置等を作業者に提示することもできる。
(u)生産ナビゲーションシステム10は、電動ドライバを使用した組立終了後に表示情報の切り替えを行うようにしてもよい。
【0113】
(2)棚の構成について
(a)棚12には、複数の仕切板22が設けられている。仕切板22は、上部分に傾斜面22aa,22ab,22ac,22ad(
図4B参照)又はR面(図示せず)を備える形状になっている。これにより、生産ナビゲーションシステム10は、各仕切板22で隣接する部品載置部21同士を仕切ることができるとともに、作業者の手が部品載置部21に挿入される際の挿入のし易さを確保することができる。
(b)板状部材34は、配置されている高さに応じて、下に配置されるものほど、寝かせた状態(倒れた状態)になるように、傾斜して配置されている(
図4B参照)。これにより、生産ナビゲーションシステム10は、ミラー32で反射された表示情報を板状部材33に良好に投影することができる。
【0114】
(3)手の位置の画像解析について
(a)生産ナビゲーションシステム10は、撮影画像に基づいて、任意の画像処理(例えば、画像取得処理、二値化処理、重心検知処理、位置検出処理等)を行うことによって、手の位置の画像解析を行うことができる。
(b)生産ナビゲーションシステム10は、背景となる部位の色(例えば、板状部材33,34、作業台13の台面、仕切板22等の色)を白色系の色にすることによって、手と背景とを識別精度を向上させることができる。
【0115】
(4)画像検出について
(a)生産ナビゲーションシステム10は、環境(外部の明るさ)の変化があっても、良好に画像判定を行うことができる。
(b)生産ナビゲーションシステム10は、服装の違いによる検出精度の低下(例えば、白っぽい服の検出精度の低下)を抑制することができる。
(c)生産ナビゲーションシステム10は、撮影画像の解析により、斜め方向から採取口に手を挿入した場合であっても、手の位置を正確に検出することができる。
(d)生産ナビゲーションシステム10は、撮影画像の解析により、採取口に対する作業者の手の挿入量(奥行き方向の移動量)を識別することができる。
(e)生産ナビゲーションシステム10は、画像解析プログラムとして、市販の汎用プログラムを使用することができる。
【0116】
(5)画像解析について
(a)生産ナビゲーションシステム10は、作業者が部品を取り間違えても、画像解析により取り間違えを検知することができる。この点について、従来技術は、作業者の手が採取口に設けられたセンサを通過したか否かの動作(つまり、作業者の手が採取口に挿入されたか否かの動作)しか識別できなかったため、作業者が部品を実際に採取していなくても、部品が採取されたと誤検出してしまう可能性があった。また、従来技術は、作業者が複数個の部品を採取した場合に、装置がそれを検知することができず、その結果、保管されている部品のカウント数量が誤ってしまう可能性があった。これに対して、本実施形態に係る生産ナビゲーションシステム10は、部品の採取時の動画像を解析することにより、作業者が部品を実際に採取したか否かや作業者がいくつの部品を採取したのか等を識別することができる。その結果、生産ナビゲーションシステム10は、採取されていない部品が採取されたものとして誤検出してしまうことや、保管されている部品のカウント数量を誤ってしまうことを解消することができる。
(b)生産ナビゲーションシステム10は、画像解析により作業者が複数個の部品を採取したことを識別することができる。この点について、従来技術は、例えば、作業者が同じ部品を2個採取する場合に、手を採取口に2回出し入れする必要があった。これに対して、本実施形態に係る生産ナビゲーションシステム10は、作業者が手を採取口に1回出し入れするだけで、2個の部品を採取されたことを識別することができる。
(c)生産ナビゲーションシステム10は、画像解析により部品組立の完了確認を行うことができる。この点について、従来技術は、部品組立が完了したか否かを作業者の申告でしか管理していなかったため、作業者に処理を強いていた。これに対して、本実施形態に係る生産ナビゲーションシステム10は、作業者が申告しなくても、部品組立が完了したか否かを自動的に管理することができる。
(d)生産ナビゲーションシステム10は、複数種類(例えば2種類)のフィルタを使用して画像解析を行う、作業者の肌の色や作業者の作業着等を検出することができる。そして、生産ナビゲーションシステム10は、例えば、撮影画像を2値化処理して、重心箇所(図示例では、人差し指と中指との間の付け根部分)を検出することで、作業者の手の位置を特定することができる。
【0117】
(6)データの一元管理について
(a)サポートシステム60は、データ収集装置61で撮影画像を一括して保存することができる。
(b)サポートシステム60は、データ収集装置61に保存された撮影画像に基づいて、管理者等が各作業現場での作業内容を分析することにより、短期間での作業の改善(例えば、作業時間のバラツキの低減やラインバランスの調整等)を実現することができる。つまり、サポートシステム60は、遠隔地から組立動作等を確認することができる。この点について、従来技術は、例えば、管理者等が組立の作業現場に行って組立動作等を確認する必要があった。これに対して、本実施形態に係る生産ナビゲーションシステム10は、管理者等が組立の作業現場に行かなくても、遠隔地から組立完了等を確認することができる。
(c)サポートシステム60は、遠隔地から作業時間にバラつきのある行程の動作を確認することができる。
【0118】
(7)音声確認について
(a)生産ナビゲーションシステム10は、マイク17で作業者の音声情報を取得することにより組立動作の完了を確認することもできる。
【0119】
(8)組立ツールの選択について
(a)生産ナビゲーションシステム10は、電動ドライバで締め付けが完了したことを確認することができる。
(b)生産ナビゲーションシステム10は、電動ドライバのトルクが異なる場合に、所望の電動ドライバの選択を作業者に指示することができる。また、生産ナビゲーションシステム10は、複数の電動ドライバが設けられている場合で、かつ、作業者が使用する電動ドライバの選択を間違えたときに、次工程に進まないように、表示情報としてエラーメッセージを表示して、作業者に注意を喚起することができる。
(c)生産ナビゲーションシステム10は、ネジの種類に合わせて、電流値を変更することにより、電動ドライバのトルクを自動的に調整することができる。
【0120】
(9)部品管理や作業管理等について
(a)生産ナビゲーションシステム10は、プロジェクタ31でプロジェクションマッピングして情報を提示したり、USBカメラ14で撮影した撮影画像の画像処理を行うことにより、低価格で、作業指示や生産状況の提示、注意喚起等の機能を実現することができる。
(b)生産ナビゲーションシステム10は、管理部71(
図1参照)と表示情報作成部72(
図1参照)と蓄積部73(
図1参照)とを有しており、これらを用いることにより、製品の組立作業時に取得された作業データを蓄積部73に蓄積し、蓄積された作業データに基づいて管理部71で作業実績を管理し、表示情報作成部72で作業実績を表す表示情報を任意のタイミングで作成することを特徴とするデータ管理方法を実現することができる。また、サポートシステム60は、システム内に管理部71と表示情報作成部72と蓄積部73とが設けられた場合に、これらを用いることにより、同様のデータ管理方法を実現することができる。これにより、例えば、生産ナビゲーションシステム10やサポートシステム60は、作業現場における部品欠品の有無、ネジ締めや調整作業、試験結果等が良好であるか否かを確認することができる。
(c)生産ナビゲーションシステム10は、作業履歴の厳格化やIT化による効率の向上を実現することができる。
(d)生産ナビゲーションシステム10は、組立現場の作業時間をリアルタイムで表示することができる。これにより、短期間での作業の改善(例えば、作業時間のバラツキの低減やラインバランスの調整等)を実現することができる。
(e)生産ナビゲーションシステム10は、中間製造物である半製品に対して任意のタイミングで半製品コードを付与して、コード入力部19(
図2参照)やキーボード等から入力することができる。そして、生産ナビゲーションシステム10やサポートシステム60は、入力されたコードに基づいて作業データと作業実績とを管理することができる。例えば、生産ナビゲーションシステム10やサポートシステム60は、作業データと最終製造物である完成品に対して付与された完成品コードと半製品コードとを関連付けて、蓄積部73(
図1参照)の管理情報ファイルD11((
図17参照))に登録することによって、任意のタイミングで関連付けされた製品に関する作業データを読み出すことができる。これにより、生産ナビゲーションシステム10やサポートシステム60は、例えば、最終製造物である完成品の完成品コードに基づいて、どの作業者がどの半製品を組み立てたのかという情報、半製品の組立時の作業動画像等をデータベースから読み出して検証することができる。また、生産ナビゲーションシステム10やサポートシステム60は、例えば、作業者IDに基づいて、そのIDの作業者の作業動画像等をデータベースから読み出し、そのIDの作業者の作業の良否等を検証することができる。
(f)生産ナビゲーションシステム10やサポートシステム60は、非熟練者の作業者の作業動画画像と熟練者の作業者の作業動画画像とを比較可能にディスプレイに表示することができる(
図19C参照)。これにより、生産ナビゲーションシステム10やサポートシステム60は、各作業者が行った作業の課題(例えば、各工程において時間を要する要因、作業内容の適切性等)を容易に検証することができる。
(g)生産ナビゲーションシステム10やサポートシステム60は、製品の組立作業時にモーションキャプチャカメラ20で撮影された作業者の動画像に基づいて、作業者の動作を分析することができる(
図20参照)。
(h)生産ナビゲーションシステム10は、部品のキット作業が不要になるため、部品の配膳作業や部品配膳者を削除することができる。そのため、生産ナビゲーションシステム10は、生産コストを低減することができる。
(i)生産ナビゲーションシステム10は、センサや電動ドライバ等からの情報を利用したり作業者の作業内容を解析したりすることにより、作業履歴を電子データとして自動的に残すことができる。これにより、生産ナビゲーションシステム10は、チェックシートの作成作業工数を削減すること(つまり、チェックシート(作業項目一覧リスト)に作業者毎に作業履歴を記入したり捺印やサインを行ったりする手間を削減すること)ができる。また、ペーパーレス化を促進することができる。そのため、これによっても、生産ナビゲーションシステム10は、生産コストを低減することができる。
(j)生産ナビゲーションシステム10は、作業者が入れ替わっても直ぐに対応することができる。
(k)表示情報作成部72(
図1参照)は、表示情報として、製品の組立作業の各工程を表す工程情報と、各工程に要した時間情報とが含まれているグラフデータを作成して、表示することができる(例えば、
図19B、
図19D、
図19E参照)。また、表示情報作成部72(
図1参照)は、表示情報として、熟練者の作業動画画像と非熟練者の作業動画画像とを比較可能に表示する作業画像情報を作成して、表示することができる(例えば、
図19C参照)。さらに、表示情報作成部72(
図1参照)は、表示情報として、作業動画があり、かつ、様々な事項に関する詳細な解説が付された指示情報がある作業取得モードのナビゲーション情報と、作業動画がなく、かつ、比較的重要な事項に関する解説のみが付された指示情報がある熟練モードのナビゲーション情報と、を作成して、選択可能に表示することができる(
図7A参照)。また、表示情報作成部72(
図1参照)は、製品の組立作業時にモーションキャプチャカメラ20で撮影された作業者の動画像に基づいて、作業者の手の移動距離を特定して、表示情報として、動画像のフレーム情報と作業者の手の移動距離情報との相関関係を表すグラフデータを作成して、表示することができる(
図20参照)。生産ナビゲーションシステム10やサポートシステム60は、システム内にこのような表示情報作成部72(
図1参照)が設けられることにより、製品の組立作業を効率よく支援することができる。
【0121】
(10)機能の拡張性について
(a)生産ナビゲーションシステム10は、USBカメラ14等を追加することができる。これにより、生産ナビゲーションシステム10は、例えば銘板欠品の有無等を確認することもできる。
(b)生産ナビゲーションシステム10は、マイク17やスピーカ18を追加することができる。これにより、生産ナビゲーションシステム10は、音声認識の精度や音声指示の適格性を向上させることができる。
(c)生産ナビゲーションシステム10は、各種のプログラム(例えば、生産ナビゲーションシステム10の制御プログラム、画像解析プログラム、音声認識プログラム等)は、適宜更新することができる。
(d)生産ナビゲーションシステム10は、別途、照明装置を作業台13の周囲に備えるようにしてもよい。これにより、作業台13の周囲の明るさが場所や時間帯等で変化する場合であっても、生産ナビゲーションシステム10は、良好な明るさの撮影画像を取得することができ、撮影画像の解析精度を向上させることができる。
【0122】
以上の通り、本実施形態に係る生産ナビゲーションシステム10によれば、装置を生産する際に好適な情報を組立作業者に提示することができる。
【0123】
なお、本発明は、前記した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変更や変形を行うことができる。
例えば、前記した実施形態は、本発明の要旨を分かり易く説明するために詳細に説明したものである。そのため、本発明は、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、本発明は、ある構成要素に他の構成要素を追加したり、一部の構成要素を他の構成要素に変更したりすることができる。また、本発明は、一部の構成要素を削除することもできる。
【0124】
また、例えば、
図5、
図6、
図15、
図16に示すフローチャートは、運用に応じて適宜変更することができる。また、例えば、表示画面の内容や、グラフデータ等は、運用に応じて構成を適宜変更することができる。
[付記]
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。
(1)
部品を載置する複数の部品載置部が設けられた棚と、
作業者に表示情報を提示する表示部と、
作業者を撮影する撮影部と、
表示部の動作を制御する制御装置と、を有し、
前記制御装置は、前記撮影部で撮影された作業者の特定部位の位置に応じて、前記表示部に表示させる表示情報を決定する
ことを特徴とする生産ナビゲーションシステム。
(2)
上記(1)に記載の生産ナビゲーションシステムにおいて、
前記棚にはコマンドの入力位置が予め設定されており、
前記制御装置は、作業者の手が入力位置に翳されたときに、入力位置に対応するコマンドに応じて表示情報を決定する
ことを特徴とする生産ナビゲーションシステム。
(3)
上記(1)に記載の生産ナビゲーションシステムにおいて、
前記棚には、複数の仕切板が設けられており、
それぞれの前記仕切板は、個々の前記部品載置部を区切るとともに、前記棚の前面から前方に突出するように、略鉛直方向に配置されている
ことを特徴とする生産ナビゲーションシステム。
(4)
上記(1)に記載の生産ナビゲーションシステムにおいて、
前記表示部の前記表示情報を表示する部位は、左右方向に延在するように前記棚の前面に斜めに傾斜して配置されている
ことを特徴とする生産ナビゲーションシステム。
(5)
上記(1)に記載の生産ナビゲーションシステムにおいて、
前記撮影部は、最上段の部品載置部の上方の位置で、かつ、前記棚の前面よりも前方の位置に配置されている
ことを特徴とする生産ナビゲーションシステム。
(6)
上記(1)に記載の生産ナビゲーションシステムにおいて、
前記撮影部の数は2台以上であり、
2台以上の前記撮影部が、左右方向に離れて配置されている
ことを特徴とする生産ナビゲーションシステム。
(7)
上記(1)に記載の生産ナビゲーションシステムにおいて、
前記表示情報には、採取する部品の個数情報が含まれている
ことを特徴とする生産ナビゲーションシステム。
(8)
上記(1)に記載の生産ナビゲーションシステムにおいて、
前記表示情報には、採取する部品が載置されている部品載置部の位置を指し示す矢印情報が含まれている
ことを特徴とする生産ナビゲーションシステム。
(9)
上記(1)に記載の生産ナビゲーションシステムにおいて、
前記制御装置は、作業者の手の色と前記表示部の前記表示情報を表示する部位の色との違いに基づいて、前記撮影部で撮影された撮影画像の中から、作業者の手を検出する
ことを特徴とする生産ナビゲーションシステム。
(10)
上記(9)に記載の生産ナビゲーションシステムにおいて、
前記表示部の前記表示情報を表示する部位の色は、白色系である
ことを特徴とする生産ナビゲーションシステム。
(11)
上記(1)に記載の生産ナビゲーションシステムにおいて、
前記制御装置は、作業者の手の検出情報に応じて、表示情報を決定する
ことを特徴とする生産ナビゲーションシステム。
(12)
上記(1)に記載の生産ナビゲーションシステムにおいて、
前記制御装置は、手を入れるべき部品載置部を間違った場合に、エラー表示情報を提示する
ことを特徴とする生産ナビゲーションシステム。
(13)
上記(1)に記載の生産ナビゲーションシステムにおいて、
前記制御装置は、左側の撮影部で撮影された左撮影画像と右側の撮影部で撮影された右撮影画像とのアンド条件に基づいて、作業者の手の位置を検出する
ことを特徴とする生産ナビゲーションシステム。
(14)
上記(13)に記載の生産ナビゲーションシステムにおいて、
前記制御装置は、前記棚に設けられた個々の前記部品載置部に対応して横方向と縦方向のマスを設定し、各マスに対する作業者の手の位置に応じて、各マスにおける手の位置を確定する
ことを特徴とする生産ナビゲーションシステム。
(15)
上記(1)に記載の生産ナビゲーションシステムにおいて、
前記撮影部の配置位置よりも前方の位置に、組立ツールの吊下部が設けられている
ことを特徴とする生産ナビゲーションシステム。
(16)
部品を載置する複数の部品載置部が設けられた棚と、
表示情報を投影するプロジェクタと、
前記プロジェクタから投影された前記表示情報を前記棚に設けられた投影部に反射させるミラーと、を有している
ことを特徴とする生産ナビゲーションシステム。
(17)
上記(16)に記載の生産ナビゲーションシステムにおいて、
前記プロジェクタは、前記部品載置部の上方に、前記表示情報として、採取する部品が載置されている部品載置部の位置を指し示す情報を表示する
ことを特徴とする生産ナビゲーションシステム。
(18)
上記(16)に記載の生産ナビゲーションシステムにおいて、
前記プロジェクタは、前記表示情報として、製品の組立作業を表す動画像、マニュアル画像、部品の個数情報、前記部品載置部の位置を指し示す矢印情報、及び、製品の組立工程情報の中の少なくとも1つ以上を投影することができる
ことを特徴とする生産ナビゲーションシステム。
(19)
上記(16)に記載の生産ナビゲーションシステムにおいて、
前記投影部は、左右方向に延在するように前記棚の前面に配置された板状部材で構成されており、
前記板状部材の数を増やすことにより、前記表示情報を複数箇所に同時に表示することができる
ことを特徴とする生産ナビゲーションシステム。
(20)
上記(16)に記載の生産ナビゲーションシステムにおいて、
前記投影部は、左右方向に延在するように前記棚の前面に配置された縦幅の異なる複数種類の板状部材と、前記棚の前方に配置された作業台の台面と、によって構成されている
ことを特徴とする生産ナビゲーションシステム。
(21)
製品の組立作業時に生産ナビゲーションシステムで撮影された撮影画像を含む、製品の組立作業の作業データを保存する保存部と、
前記生産ナビゲーションシステムで表示情報として表示されるナビゲーション情報を前記生産ナビゲーションシステムに提供する提供部と、を有する
ことを特徴とするサポートシステム。
(22)
製品の組立作業時に取得された作業データを蓄積部に蓄積し、
蓄積された前記作業データに基づいて管理部で作業実績を管理し、
表示情報作成部で前記作業実績を表す表示情報を任意のタイミングで作成する
ことを特徴とするデータ管理方法。
(23)
上記(22)に記載のデータ管理方法において、
前記管理部は、コード入力部から入力されたコードに基づいて前記作業データと前記作業実績とを管理する
ことを特徴とするデータ管理方法。
(24)
上記(22)に記載のデータ管理方法において、
前記管理部は、
前記作業データと最終製造物である完成品に対して付与された完成品コードと中間製造物である半製品に対して任意のタイミングで付与された半製品コードとを関連付けて、前記蓄積部の管理情報ファイルに登録する
ことを特徴とするデータ管理方法。
(25)
上記(22)に記載のデータ管理方法において、
前記表示情報作成部は、前記表示情報として、製品の組立作業の各工程を表す工程情報と、各工程に要した時間情報とが含まれているグラフデータを作成する
ことを特徴とするデータ管理方法。
(26)
上記(22)に記載のデータ管理方法において、
前記表示情報作成部は、前記表示情報として、熟練者の作業動画画像と非熟練者の作業動画画像とを比較可能に表示する作業画像情報を作成する
ことを特徴とするデータ管理方法。
(27)
上記(22)に記載のデータ管理方法において、
前記表示情報作成部は、前記表示情報として、作業動画がある作業習得モードのナビゲーション情報と、作業動画のない熟練モードのナビゲーション情報と、を作成する
ことを特徴とするデータ管理方法。
(28)
上記(22)に記載のデータ管理方法において、
前記表示情報作成部は、製品の組立作業時にモーションキャプチャカメラで撮影された作業者の動画像に基づいて、作業者の手の移動距離を特定して、前記表示情報として、動画像のフレーム情報と作業者の手の移動距離情報との相関関係を表すグラフデータを作成する
ことを特徴とするデータ管理方法。
【符号の説明】
【0125】
10 生産ナビゲーションシステム
11 制御装置(PC)
11a データベース(蓄積部)
12 棚(部品倉庫)
13 作業台
14(14a,14b) 撮影部(USBカメラ)
15 表示機構(表示部)
16(16a,16b) ディスプレイ
17 マイク
18 スピーカ
19 コード入力部
20 モーションキャプチャカメラ
21(21a,21b,21c,21d) 部品載置部
22(22a,22b,22c,22d) 仕切板
22aa,22ab,22ac,22ad 傾斜面
23 コマンド入力部
31 プロジェクタ
32 ミラー
33,34 板状部材(投影部)
40 トレイ
41 部品
44 支持フレーム
45 レール(吊下部)
46 組立ツール(電動ドライバ)
60 サポートシステム
61 データ収集装置
62 データ処理装置
63 サポート装置(PC)
71 管理部
72 表示情報作成部
73 蓄積部
81 取得部
82 保存部
83 解析部
84 提供部
DP 撮像データ
D1 マスタ画像取得
D2 撮影画像取得
D3 2値化処理
D11 管理情報ファイル
Gu ガイダンス
Mk マーク
P0 重心検出
R1,R2,R3 位置検出
P1 位置