(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023176144
(43)【公開日】2023-12-13
(54)【発明の名称】技能取得支援方法、技能取得支援システム、および制御プログラム
(51)【国際特許分類】
G09B 9/00 20060101AFI20231206BHJP
【FI】
G09B9/00 Z
【審査請求】未請求
【請求項の数】19
【出願形態】OL
(21)【出願番号】P 2022088269
(22)【出願日】2022-05-31
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和2年度、国立研究開発法人科学技術振興機構、ムーンショット型研究開発事業「身体的共創を生み出すサイバネティック・アバター技術と社会基盤の開発/身体の多様性を包摂する技能共創技術の開発」委託研究、産業技術力強化法第17条の適用を受ける特許出願
(71)【出願人】
【識別番号】304021277
【氏名又は名称】国立大学法人 名古屋工業大学
(71)【出願人】
【識別番号】505377049
【氏名又は名称】学校法人京都橘学園
(71)【出願人】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110000671
【氏名又は名称】IBC一番町弁理士法人
(72)【発明者】
【氏名】田中 由浩
(72)【発明者】
【氏名】湯川 光
(72)【発明者】
【氏名】兒玉 隆之
(72)【発明者】
【氏名】小田桐 匡
(72)【発明者】
【氏名】佐藤 正幸
(72)【発明者】
【氏名】倉地 雅彦
(72)【発明者】
【氏名】武田 美智也
(57)【要約】
【課題】学習者が作業を行っているときの自身の身体部位の触覚や作業時の動作を妨げずに、自身と熟練者の触覚を認知、比較可能にし、作業性に影響せず自身の動作の補正を即時的に行えるようにする。
【解決手段】技能取得支援方法は、第1の作業者、第2の作業者の同一の作業を行う作業時の第1の身体部位の動作に基づく、前記第1の身体部位に対応する触覚を示す第1、第2の触覚データを取得し、および前記第1の作業者の前記第1の身体部位とは異なる第2の身体部位に装着された刺激伝達部によって、前記第1の触覚データに基づく第1の刺激を発生させる第1刺激発生ステップと、前記第1の作業者の前記第1の身体部位の動作に連動して、前記刺激伝達部によって発生させる刺激を前記第2の触覚データに基づく第2の刺激に切り替える第2刺激発生ステップと、を含む。
【選択図】
図3
【特許請求の範囲】
【請求項1】
第1の作業者の作業を行う作業時の第1の身体部位の動作に基づく、前記第1の身体部位に対応する触覚を示す第1の触覚データを取得する第1触覚データ取得ステップと、
第2の作業者の前記作業と同一の作業を行う作業時の第1の身体部位の動作に基づく、前記第1の身体部位に対応する触覚を示す第2の触覚データを取得する第2触覚データ取得ステップと、
前記第1の作業者の前記第1の身体部位とは異なる第2の身体部位に装着された刺激伝達部によって、前記第1の触覚データに基づく第1の刺激を発生させる第1刺激発生ステップと、
前記第1の作業者の前記第1の身体部位の動作に連動して、前記刺激伝達部によって発生させる刺激を前記第2の触覚データに基づく第2の刺激に切り替える第2刺激発生ステップと、を含む技能取得支援方法。
【請求項2】
前記第1の作業者は、前記作業に関する学習者であり、
前記第2の作業者は、前記作業に関する熟練者である、請求項1に記載の技能取得支援方法。
【請求項3】
前記第1の身体部位の動作のうち所定動作として、前記第1の身体部位の動作に基づく、触覚データの信号変化が所定閾値以上になったことをトリガーとして、前記第2刺激発生ステップを実行する、請求項1に記載の技能取得支援方法。
【請求項4】
前記第1の身体部位の動作のうち所定動作として、前記第1の作業者を撮影した動画像を解析し、画像認識による前記第1の身体部位の座標情報の変化が所定条件を満たすことをトリガーとして、前記第2刺激発生ステップを実行する、請求項1に記載の技能取得支援方法。
【請求項5】
前記第2の身体部位は、前記第1の身体部位から所定距離以上離れた部位である、請求項1に記載の技能取得支援方法。
【請求項6】
前記第1の身体部位は、指または指先であり、
前記第2の身体部位は、頭部、腕、足、手の甲のいずれかである、請求項1に記載の技能取得支援方法。
【請求項7】
前記第1の身体部位は複数であり、
前記第2の身体部位は、前記複数の前記第1の身体部位に対応して複数である、請求項1に記載の技能取得支援方法。
【請求項8】
前記刺激伝達部が発生させる刺激は振動である、請求項1に記載の技能取得支援方法。
【請求項9】
前記第1の刺激から前記第2の刺激への切り替えの際は、前記第1、第2の刺激を組み合わせた合成刺激を発生させる、請求項1に記載の技能取得支援方法。
【請求項10】
第1の身体部位の作業時の動作に基づく、前記第1の身体部位に対応する触覚を示す触覚データを取得するセンサー部と、
前記第1の身体部位とは異なる第2の身体部位に装着され、前記第2の身体部位に対して、刺激を伝達する刺激伝達部と、
前記触覚データに基づく刺激を前記刺激伝達部に発生させる制御部と、を備え、
前記制御部は、第1の作業者による作業を行う作業時の第1の触覚データ、および第2の作業者による前記作業と同じ作業を行う作業時の第2の触覚データを取得し、
第1の作業者に装着された前記刺激伝達部に対して、第1の触覚データに基づく第1の刺激を発生させるとともに、
前記第1の作業者の前記第1の身体部位の動作と連動して、前記刺激伝達部によって発生させる刺激を前記第2の触覚データに基づく第2の刺激に切り替える、技能取得支援システム。
【請求項11】
前記第1の作業者は、前記作業に関する学習者であり、
前記第2の作業者は、前記作業に関する熟練者である、請求項10に記載の技能取得支援システム。
【請求項12】
前記第1の身体部位の動作のうち所定動作として、前記第1の身体部位の動作に基づく、触覚データの信号変化が所定閾値以上になったことをトリガーとして、前記刺激伝達部によって発生させる刺激を前記第2の触覚データに基づく第2の刺激に切り替える、請求項10に記載の技能取得支援システム。
【請求項13】
前記第1の身体部位の動作のうち所定動作として、前記第1の作業者を撮影した動画像を解析し、画像認識による前記第1の身体部位の座標情報の変化が所定条件を満たすことをトリガーとして、前記刺激伝達部によって発生させる刺激を前記第2の触覚データに基づく第2の刺激に切り替える、請求項10に記載の技能取得支援システム。
【請求項14】
前記第2の身体部位は、前記第1の身体部位から所定距離以上離れた部位である、請求項10に記載の技能取得支援システム。
【請求項15】
前記第1の身体部位は、指または指先であり、
前記第2の身体部位は、頭部、腕、足、手の甲のいずれかである、請求項10に記載の技能取得支援システム。
【請求項16】
前記第1の身体部位は複数であり、
前記第2の身体部位は、前記複数の前記第1の身体部位に対応して複数である、請求項10に記載の技能取得支援システム。
【請求項17】
前記刺激伝達部が発生させる刺激は振動である、請求項10に記載の技能取得支援システム。
【請求項18】
前記第1の刺激から前記第2の刺激への切り替えの際は、前記第1、第2の刺激を組み合わせた合成刺激を発生させる、請求項10に記載の技能取得支援システム。
【請求項19】
請求項1から請求項9のいずれかに記載の技能取得支援方法を、コンピューターに実行させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、技能取得支援方法、技能取得支援システム、および制御プログラムに関する。
【背景技術】
【0002】
伝統工芸、製造業、等のものづくりでは、継承者不足、従事する者の高齢化により、休、廃業が増えており、近年の社会問題の一つになっている。また医療、建築、芸術、その他の分野でも高度な技能の継承は容易ではなく将来に向けた課題の一つとなっている。
【0003】
また、後継者を育てようとしても、多くのものづくりの生産現場やその他の作業の現場では、ロボットやAI等による自動化が困難な身体技能において、学習者に対して効率的に技能を伝承できるシステムが確立されているとは言い難く、いまだに熟練者の作業を見て覚える教育方法や、従来の経験主観的な伝承が主流であり、習得までに長い時間が掛かっているのが現状である。
【0004】
従来の身体技能の学習者への伝承方法は、熟練者の作業を観察したり、主観的な感覚表現による口頭指導を受けたりすることによるものである。身体技能の伝承では、熟練者の感覚的なコツを学習者へ伝えることが重要ではあるが、作業観察や口頭指導では十分には伝えることができる、学習者自らがコツを把握するまでに長い時間が掛かっていた。
【0005】
このような問題に対して、特許文献1の情報処理装置では、熟練者の力覚情報を連携させたシミュレーターによってトレーニングを繰り返し行うことでパフォーマンスの取得支援をしている。この情報処理装置では、指先に取り付けた力覚機構で外骨格部材を動作させることにより、ユーザーの手指や関節に力を付与することで、関節の伸展、屈曲方向の力がどれだけ過剰または不足かを学習者に認識させるものである。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】国際公開2020/100671号(特願2020-556101)
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、自身の作業中に、作業を行う身体部位の同じ場所に複数の情報、すなわち学習者自身の身体感覚情報と、熟練者の身体感覚の提示情報、が同時に付与されるため、これらの情報は相互に干渉する。そのため学習者は理解することが難しく、自身の作業時の体感(身体感覚)と、熟練者の体感を直接比較することができなかった。また、指先に装着した触覚提示装置による作業の阻害が問題となり、十分な学習効果が得られない虞もある。
【0008】
本発明は、上記事情に鑑みてなされたものであり、学習者が技能習得の対象とする作業を行っているときの自身の身体部位の触覚や作業時の動作を妨げずに、自身と熟練者の触覚を認知、比較可能にし、作業性に影響せず自身の動作の補正を即時的に行えるようにすることを目的とするものである。
【課題を解決するための手段】
【0009】
本発明の上記目的は、下記の手段によって達成される。
【0010】
(1)第1の作業者の作業を行う作業時の第1の身体部位の動作に基づく、前記第1の身体部位に対応する触覚を示す第1の触覚データを取得する第1触覚データ取得ステップと、
第2の作業者の前記作業と同一の作業を行う作業時の第1の身体部位の動作に基づく、前記第1の身体部位に対応する触覚を示す第2の触覚データを取得する第2触覚データ取得ステップと、
前記第1の作業者の前記第1の身体部位とは異なる第2の身体部位に装着された刺激伝達部によって、前記第1の触覚データに基づく第1の刺激を発生させる第1刺激発生ステップと、
前記第1の作業者の前記第1の身体部位の動作に連動して、前記刺激伝達部によって発生させる刺激を前記第2の触覚データに基づく第2の刺激に切り替える第2刺激発生ステップと、を含む技能取得支援方法。
【0011】
(2)前記第1の作業者は、前記作業に関する学習者であり、
前記第2の作業者は、前記作業に関する熟練者である、上記(1)に記載の技能取得支援方法。
【0012】
(3)前記第1の身体部位の動作のうち所定動作として、前記第1の身体部位の動作に基づく、触覚データの信号変化が所定閾値以上になったことをトリガーとして、前記第2刺激発生ステップを実行する、上記(1)に記載の技能取得支援方法。
【0013】
(4)前記第1の身体部位の動作のうち所定動作として、前記第1の作業者を撮影した動画像を解析し、画像認識による前記第1の身体部位の座標情報の変化が所定条件を満たすことをトリガーとして、前記第2刺激発生ステップを実行する、上記(1)に記載の技能取得支援方法。
【0014】
(5)前記第2の身体部位は、前記第1の身体部位から所定距離以上離れた部位である、上記(1)に記載の技能取得支援方法。
【0015】
(6)前記第1の身体部位は、指または指先であり、
前記第2の身体部位は、頭部、腕、足、手の甲のいずれかである、上記(1)に記載の技能取得支援方法。
【0016】
(7)前記第1の身体部位は複数であり、
前記第2の身体部位は、前記複数の前記第1の身体部位に対応して複数である、上記(1)に記載の技能取得支援方法。
【0017】
(8)前記刺激伝達部が発生させる刺激は振動である、上記(1)に記載の技能取得支援方法。
【0018】
(9)前記第1の刺激から前記第2の刺激への切り替えの際は、前記第1、第2の刺激を組み合わせた合成刺激を発生させる、上記(1)に記載の技能取得支援方法。
【0019】
(10)第1の身体部位の作業時の動作に基づく、前記第1の身体部位に対応する触覚を示す触覚データを取得するセンサー部と、
前記第1の身体部位とは異なる第2の身体部位に装着され、前記第2の身体部位に対して、刺激を伝達する刺激伝達部と、
前記触覚データに基づく刺激を前記刺激伝達部に発生させる制御部と、を備え、
前記制御部は、第1の作業者による作業を行う作業時の第1の触覚データ、および第2の作業者による前記作業と同じ作業を行う作業時の第2の触覚データを取得し、
第1の作業者に装着された前記刺激伝達部に対して、第1の触覚データに基づく第1の刺激を発生させるとともに、
前記第1の作業者の前記第1の身体部位の動作と連動して、前記刺激伝達部によって発生させる刺激を前記第2の触覚データに基づく第2の刺激に切り替える、技能取得支援システム。
【0020】
(11)前記第1の作業者は、前記作業に関する学習者であり、
前記第2の作業者は、前記作業に関する熟練者である、上記(10)に記載の技能取得支援システム。
【0021】
(12)前記第1の身体部位の動作のうち所定動作として、前記第1の身体部位の動作に基づく、触覚データの信号変化が所定閾値以上になったことをトリガーとして、前記刺激伝達部によって発生させる刺激を前記第2の触覚データに基づく第2の刺激に切り替える、上記(10)に記載の技能取得支援システム。
【0022】
(13)前記第1の身体部位の動作のうち所定動作として、前記第1の作業者を撮影した動画像を解析し、画像認識による前記第1の身体部位の座標情報の変化が所定条件を満たすことをトリガーとして、前記刺激伝達部によって発生させる刺激を前記第2の触覚データに基づく第2の刺激に切り替える、上記(10)に記載の技能取得支援システム。
【0023】
(14)前記第2の身体部位は、前記第1の身体部位から所定距離以上離れた部位である、上記(10)に記載の技能取得支援システム。
【0024】
(15)前記第1の身体部位は、指または指先であり、
前記第2の身体部位は、頭部、腕、足、手の甲のいずれかである、上記(10)に記載の技能取得支援システム。
【0025】
(16)前記第1の身体部位は複数であり、
前記第2の身体部位は、前記複数の前記第1の身体部位に対応して複数である、上記(10)に記載の技能取得支援システム。
【0026】
(17)前記刺激伝達部が発生させる刺激は振動である、上記(10)に記載の技能取得支援システム。
【0027】
(18)前記第1の刺激から前記第2の刺激への切り替えの際は、前記第1、第2の刺激を組み合わせた合成刺激を発生させる、上記(10)に記載の技能取得支援システム。
【0028】
(19)上記(1)から上記(9)のいずれかに記載の技能取得支援方法を、コンピューターに実行させるための制御プログラム。
【発明の効果】
【0029】
本発明に係る技能取得支援方法は、第1の作業者の作業を行う作業時の第1の身体部位の動作に基づく、第1の身体部位に対応する触覚を示す第1の触覚データを取得する第1触覚データ取得ステップと、第2の作業者の同一の作業を行う作業時の第1の身体部位の動作に基づく、第1の身体部位に対応する触覚を示す第2の触覚データを取得する第2触覚データ取得ステップと、第1の作業者の第1の身体部位とは異なる第2の身体部位に装着された刺激伝達部によって、第1の触覚データに基づく第1の刺激を発生させる第1刺激発生ステップと、第1の作業者の第1の身体部位の動作に連動して、刺激伝達部によって発生させる刺激を第2の触覚データに基づく第2の刺激に切り替える第2刺激発生ステップと、を含む。このようにすることで、第1の作業者が技能習得の対象とする作業を行っているときの自身の身体部位の触覚や作業時の動作を妨げずに、自身と熟練者の触覚を認知、比較可能にし、作業性に影響せず自身の動作の補正を即時的に行える。
【図面の簡単な説明】
【0030】
【
図1】本実施形態に係る技能取得支援システムのブロック図である。
【
図2】センサー部と、刺激伝達部の例を示す概略図である。
【
図3】第1の実施形態に係る技能取得支援方法を示すフローチャートである。
【
図4】ステップS01(またはS02)の触覚データの取得処理を示すサブルーチンフローチャートである。
【
図5】ステップS05のモード切り替え処理を示すサブルーチンフローチャートである。
【
図6】第1、第2刺激波形およびこれらの合成刺激波形を示す図である。
【
図7】第2の実施形態(リアルタイム)に係る技能取得支援方法を示すフローチャートである。
【発明を実施するための形態】
【0031】
以下、添付した図面を参照して、本発明の実施形態を説明する。しかしながら、本発明の範囲は、開示される実施形態に限定されない。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
【0032】
図1は、本実施形態に係る技能取得支援システム1のブロック図である。
図2は、センサー部20と、刺激伝達部40の例を示す概略図である。
図1に示すように技能取得支援システム1は、情報処理装置10、センサー部20、カメラ30、および刺激伝達部40を有する。これらは電気的に通信接続する。
【0033】
(情報処理装置10)
情報処理装置10は、例えばPC(パソコン)であり、制御部11、記憶部12、および通信部13を有する。また、制御部11は、取得部111、第1刺激発生部112、第2刺激発生部113、および切替判定部114として機能する。情報処理装置10のこれらの構成、および機能については後述する。
【0034】
(センサー部20、および第1の身体部位)
センサー部20は、触覚センサー21を含む。触覚センサー21は、歪みセンサー、圧電素子、およびPVDF(Polyvinylidene Difluoride film)センサーのいずれかを含む。センサー部20は、作業者の第1の身体部位に装着され、第1の身体部位に対応する触覚を示す触覚データを生成する。第1の身体部位は、例えば、指、または手のひらである。指には5本の指が含まれ、また、指には指先と指の根元の両方が含まれる。
図2(a)に示す例では、第1の身体部位として人差し指の根元にセンサー部20を取り付けた状態を示している。センサー部20には、シート状の触覚を検知する触覚センサー21、およびこれを収納し、指等の第1の身体部位に固定するための本体部が含まれる。なお、
図1、
図2(a)等では、図示を省略しているが、センサー部20は、信号を伝達する有線ケーブル、または近距離無線通信部を有し、センシングした触覚データはこれらを通じて、情報処理装置10に送られる。また、センサー部20への電源供給は、商用電源から電源ケーブルにより行われる、または、内蔵した電池(2次電池)により行われる。
【0035】
図2(b)は、作業の例を示す図である。
図2(b)では、作業として、作業者はペンシル型の研磨棒(先端には番手(研磨材、または研磨シート)が取り付けられている)により、部材を研磨する例を示している。作業としては、
図2(b)に示すような研磨作業に限られず、種種の作業が含まれる。例えば、研磨作業の他には、所定の図形(例えば渦巻きや丸の図形)を描く描画作業や、手作業により部材を切削する切削作業が含まれる。
【0036】
(第1、第2の作業者、第1、第2の触覚データ、第1、第2の刺激データ)
作業者には、作業を学習する学習者(初心者を含む)と、熟練者(作業に慣れているまたは作業の技能が高い技能者を含む)が含まれる。以下においては、作業者のうち、特に、ある作業を学習する学習者または初心者を「第1の作業者」といい、同じ作業を教える技能者または熟練者を「第2の作業者」という。以下においては、単に作業者と記述した場合には、これらの第1、第2の作業者の両方が含まれる。
【0037】
また、作業時における第1の身体部位に装着したセンサー部20からの触覚データのうち、特に、第1の作業者の触覚データを「第1の触覚データ」といい、第2の作業者の触覚データを「第2の触覚データ」という。第1、第2の作業者による作業が同時に行われずに、あらかじめ記録した第2の触覚データを用いる場合(以下、オフラインともいう)には、第2の触覚データ、または第1、および第2の触覚データは、作業の種類と紐付けられて、記憶部12に格納される。格納される第2の触覚データは、1つの作業に対応するものであり、例えば、データ長は、数秒~数十秒分である。また、このときに、第2の触覚データに対しては、作業者を特定するID番号等の識別子も紐付けてもよい。なお、リアルタイムで取得した触覚データを刺激伝達部40で再生する場合(後述の
図3のステップS03、
図7のS42、S52)には、データの格納は、記憶部12のバッファメモリに一時的に格納され、再生する毎に消去される。
【0038】
詳細は後述するが、制御部11の第1刺激発生部112は、第1の触覚データに基づいて、第1の刺激データを生成し、第2刺激発生部113は、第2の触覚データに基づいて、第2の刺激データを生成する。第1、第2の刺激データ(以下、これらを総称して単に刺激データともいう)は、刺激伝達部40に送られる。刺激伝達部40は、この第1、第2の刺激データに基づく触覚(触感)を第1の作業者に提示する。
【0039】
(カメラ30)
カメラ30は、壁や天井などに設けられた固定カメラ、または撮影者が把持するハンディカメラである。これらの固定カメラとハンディカメラを組み合わせて用いてもよい。カメラ30は、撮像素子31、およびレンズ等の光学素子(図示せず)を有し、撮像素子に31により、作業者が作業する作業場を撮影し、動画データを生成する。また、カメラ30は、信号を伝達する有線ケーブル、または近距離無線通信部を有し、動画データはこれらを通じて、情報処理装置10に送られる。
【0040】
(刺激伝達部40、および第2の身体部位)
刺激伝達部40は、イコライザ41、アンプ42、および振動子43を有する。振動子43は、駆動電圧、周波数を異ならせることで、強弱やリズムを異ならせた種々の振動刺激を提示できる。また、駆動電圧、周波数を異ならせることで、出力する力覚の大きさ、向きを設定できる。刺激伝達部40は、制御部11から送られた刺激データを受ける。
【0041】
刺激伝達部40は、この刺激データ(波形信号)に対してイコライザ41、およびアンプ42により周波数特性の調整および増幅調整の前処理を施す。この前処理においては、ユーザー(第1の作業者)毎のユーザー特性データをあらかじめ記憶部12に保存しておき、このユーザー特性データにより異なる前処理を施すようにしてもよい。例えば、ユーザーの皮膚の状態や個人差(形、大きさ、感度、好み)に応じたユーザー特性データを記憶しておき、これを加味して、取得した触覚データに対して、増幅、変調、減算、等の前処理を行った処理後の刺激データが提示される。刺激伝達部40は、この前処理後の刺激データに応じた強度(振幅)、周波数で振動子を振動させることで、刺激伝達部40を装着した第1の作業者に触覚(触感)を伝達(提示)する。
【0042】
刺激伝達部40は、第1の作業者(学習者)の第2の身体部位に装着され、第2の身体部位に刺激を発生させることで、第1の作業者に触覚を通じた刺激を伝達する。第2の身体部位は、第1の身体部位とは異なる身体部位であり、第1の身体部位から所定距離以上離れた部位である。例えば、この距離は、触覚が混在せず、第1の身体部位の触覚と、第2の身体部位へ伝達した刺激による触覚とを、作業者が区別できる距離である。第2の身体部位は、第1の身体部位と異なれば全身の任意の身体部位である。第2の身体部位としては、特に、頭部(特に、こめかみ)、腕、足、および手の甲のいずれかが好ましい。
【0043】
図2(c)に示す例では、第2の身体部位として頭部(特に頭部のこめかみ)に装着された状態を示している。装着状態で、左右の一方または両方のコメカミ付近に配置された振動子43が振動することで、刺激データに応じた触覚を第1の作業者に伝達する。また、
図1、
図2では図示は省略しているが、刺激伝達部40は、信号を伝達する有線ケーブル、または近距離無線通信部を有し、刺激データはこれらを通じて、情報処理装置10から送られる。また、刺激伝達部40への電源供給は、商用電源から電源ケーブルにより行われる、または、内蔵した電池(2次電池)により行われる。
【0044】
なお、第1の作業者が学習する触覚(触感)の部位が複数箇所であれば、刺激伝達部40は複数の第2の身体部位に装着してもよく、1つの刺激伝達部40による複数の振動子により複数箇所の第2の身体部位に伝達してもよい。例えば、第1、第2の触覚データを、第1の身体部位が右手の人差し指と、手のひらの2箇所から取得する場合には、この2箇所から触覚データを、左右のこめかみ付近に配置した2つの振動子それぞれにより再生する。例えば人差し指からの触覚データを、右側のこめかみ付近の振動子から再生し、手のひらからの触覚データを左側のこめかみ付近の振動子から再生する。
【0045】
(情報処理装置10)
(制御部11)
制御部11は、CPUであり、プログラムにしたがって装置各部の制御や各種の演算処理を行う。制御部11は、取得部111、第1刺激発生部112、第2刺激発生部113、および切替判定部114として機能する。
【0046】
取得部111は、通信部13と協働することで、センサー部20から触覚データを取得し、カメラ30から動画データを取得する。
【0047】
第1刺激発生部112は、第1の触覚データに基づいて第1の刺激データを生成する。第2刺激発生部113は、第2の触覚データに基づいて第2の刺激データを生成する。
【0048】
切替判定部114は、トリガー判定を行うことで、第1の刺激データ、または第2の刺激データを刺激伝達部40に送る。
【0049】
切替判定部114は、第1の作業者の第1の身体部位の所定の動作に連動して、トリガー判定を行う。トリガー判定としては、例えば(トリガー判定条件1)画像解析による判定と、(トリガー判定条件2)第1の触覚データの強度による判定の少なくともいずれかを適用できる。
【0050】
(トリガー判定条件1)画像解析による判定では、カメラ30から取得したリアルタイムの動画像データを解析することで、所定の動作が行われたか否かを判定する。例えば、切替判定部114は、骨格検知に関する学習済みモデルを用いて、第1の作業者の関節点の動きの変化を解析して、作業における所定の動作が行われたか否かを判定する。例えば、研磨の作業を対象とする場合には、研磨部材、および研磨棒の座標情報、および手、腕、等の関節点の座標情報の相対位置の変化から、研磨する部材に研磨棒が押し付けられたことを認識することで、切替判定部114は、トリガー条件を満たすと判定する。
【0051】
(トリガー判定条件2)第1の触覚データの強度による判定では、第1の作業者が使用するセンサー部20からリアルタイムで所定閾値以上の触覚データの信号変化(例えば、短い所定期間での信号変化量が所定閾値以上)が入力された場合には、切替判定部114は、トリガー判定条件を満たすと判定する。
【0052】
(記憶部12)
記憶部12は、半導体メモリー、および/または磁気記録媒体メモリーにより構成される。記憶部12は、触覚データ、およびユーザー特性補正データを記憶する。
【0053】
(通信部13)
通信部13は、有線または無線により、他の装置と通信するためのインターフェースである。無線としては、通信部13は、BLE(Bluetooth(登録商標) Low Energy)、Bluetooth(登録商標)、IEEE802.11、IrDA等の無線通信規格を用いることができる。
【0054】
(第1の実施形態における技能取得支援方法)
次に
図3から
図5を参照し、第1の実施形態に係る技能取得支援方法について説明する。
図3は、第1の実施形態における技能取得支援方法を示すフローチャートである。
【0055】
(ステップS01)
取得部111は、ある作業(以下、作業xと表記する。作業xは種種の作業であり得る。)、例えば
図2(b)に示す研磨作業、または描画作業に関する第2の作業者の第2の触覚データを取得する。ここでの処理を
図4のサブルーチンフローチャートに示す。
【0056】
(ステップS110)
第2の作業者(熟練者)は作業xを開始し、第1の身体部位を動作する。
【0057】
(ステップS120)
ステップS110の作業xにともない、取得部111は、センサー部20が計測した第1の身体部位の第2の触覚データを取得する。
【0058】
(ステップS130)
情報処理装置10は、ステップS120で取得した第2の触覚データを記憶部12に格納する。以上で
図4の処理を終了し、
図3のステップS02以下の処理に戻る。
【0059】
(ステップS02)
取得部111は、ステップS01で実施された同じ作業xに関する第1の作業者の第1の触覚データを取得する。説明は省略するが、ここでの処理も
図4のサブルーチンフローチャートにより同様に行われる。
【0060】
(ステップS03)
技能取得支援システム1は、第1の作業者の第2の身体部位に装着されている刺激伝達部40により、ステップS02で取得した第1の触覚データに基づく刺激を、第1の作業者に伝達する。より具体的には、第1刺激発生部112は、第1の触覚データに基づいて第1の刺激データを生成する。そして、切替判定部114は、この第1の刺激データを刺激伝達部40に送る。これを受けた刺激伝達部40は、この第1の刺激データを第1の刺激として第1の作業者に提示する。ステップS02での第1の触覚データの取得と、これに基づいたステップS03での第1の刺激の提示は、概ね、リアルタイムにより実行される(例えば、後述の
図6の波形1が再生される)。以下においては、この処理における第1の作業者(学習者)の第1の触覚に基づく第1の刺激を再生する処理を学習者モードともいう。
【0061】
(ステップS04)
制御部11は、所定条件を満たすか否かを判定する。所定条件としては、例えば、最初にステップS02の処理を開始してから所定時間が経過した場合、または、情報処理装置10の操作パネル(不図示)等の入力装置により、第1の作業者によるモード切替指示の実行開始の入力指示を受け付けた場合である。また、カメラ30の動画像により、ある作業xの実行の準備が行われたと判定した場合である。制御部11は、所定条件を満たす場合(YES)、処理をステップS05に進め、満たさない場合(NO)、ステップS02以下の処理を繰り返す。
【0062】
(ステップS05)
ここでは、主に切替判定部114が、
図5に示すモード切替処理を実行する。
図5は、ステップS05の処理を示すサブルーチンフローチャートである。
【0063】
(ステップS210)
切替判定部114は、上述のトリガー判定条件1または条件2を満たすことによりトリガー条件を満たすか否かを判定する。例えばトリガー判定条件1では、カメラ30からの動画像を解析することにより、切替判定部114は、作業xの特定の動作にとりかかったと認識した場合には、トリガー条件を満たすと判定し(YES)、処理をステップS230に進める。一方で、切替判定部114は、トリガー条件を満たさないと判定した場合(NO)、処理をステップS220に進める。
【0064】
(ステップS220)
ここでの処理は、S03と同様の処理である。切替判定部114は、第1刺激発生部112が生成した第1の触覚データに基づく刺激データを、刺激伝達部40に送る。これを受けた刺激伝達部40(第1の作業者が装填している)は、第1の刺激(自身の感覚)をリアルタイムで再生する。
【0065】
(ステップS230)
ここでは、切替判定部114は、第2刺激発生部113が生成した第2の触覚データに基づく刺激データを、刺激伝達部40に送る。これを受けた刺激伝達部40(第1の作業者が装填している)は、第2の刺激(熟練者の感覚)を再生する。ここで再生する第2の刺激は、記憶部12に格納されている第2の触覚データに基づいて生成された第2の刺激データである(例えば、後述の
図6の波形2)。以下においては、この処理における第2の作業者(学習者)の第2の触覚に基づく第2の刺激を再生する処理を熟練者モードともいう。
【0066】
(ステップS240)
制御部11は、所定条件を満たすか否かを判定する。例えば、最初にステップS230の処理を開始してから所定時間が経過した場合である。制御部11は、所定条件を満たさない場合(NO)、ステップS230の処理を継続し、所定条件を満たす場合(YES)、
図5の処理を終了し、
図3の処理に戻す。以降は、
図3において、ステップS02以下の処理を(丸数字の10)、上位の制御により終了判定されるまで繰り返す。
【0067】
このように第1の実施形態に係る技能取得支援方法では、第1の作業者の作業を行う作業時の第1の身体部位の動作に基づく、第1の身体部位に対応する触覚を示す第1の触覚データを取得する第1触覚データ取得ステップと、第2の作業者の同一の作業を行う作業時の第1の身体部位の動作に基づく、第1の身体部位に対応する触覚を示す第2の触覚データを取得する第2触覚データ取得ステップと、第1の作業者の第1の身体部位とは異なる第2の身体部位に装着された刺激伝達部によって、第1の触覚データに基づく第1の刺激を発生させる第1刺激発生ステップと、第1の作業者の第1の身体部位の動作に連動して、刺激伝達部によって発生させる刺激を第2の触覚データに基づく第2の刺激に切り替える第2刺激発生ステップと、を含む処理を実行する。
【0068】
このようにすることで、第1の作業者が技能習得の対象とする作業を行っているときの自身の身体部位の触覚や作業時の動作を妨げずに、自身と熟練者の触覚を認知、比較可能にし、作業性に影響せず自身の動作の補正を即時的に行えるようになる。特に第1の作業者(学習者)の第1の触覚に基づく第1の刺激を再生する学習モードにおいては、作業の動作中に第1の身体部位(例えば指先)の感覚を保ちながら、第1の刺激を第2の身体部位(例えばこめかみ)での触覚を感じることで、第1の触覚をメタ認知する。そして、あらかじめ格納しておいた、第2の作業者(熟練者)の第2の触覚に基づく第2の刺激に切り替えて再生する熟練者モードを実行することで、第1の作業者は自信の第1の身体部位(指先)の実際の触覚を得ながら、熟練者の第1の身体部位における触覚を第2の刺激として、第2の身体部位で体感できる。これにより第の作業者は作業時において自信の動作と重ねながら熟練者との動作の違い、例えば、強弱、およびこの強弱のリズム、運動の方向、運動により発生する現像(摩擦等)、等、従来、コツと言われる感覚を模倣しやすくなり、感覚が合致するように運動を調整することで、技能取得を効率的に行える。
【0069】
(第1の変形例)
上述の
図5に示す第1の実施形態においては、熟練者モードでは、第2の作業者(熟練者)による第2の触覚データに基づく第2の刺激を再生したが、第1の変形例では、(学習モードで)それまでに再生していた第1の刺激から、第2の刺激への切り替えの際は、第1、第2の刺激を組み合わせた合成刺激を発生させる。
【0070】
図6は、第1、第2刺激波形およびこれらの合成刺激波形を示す図である。
図6において波形1は第1の刺激波形f(t)を、波形2は第2の刺激波形g(t)を示し、波形3は、wf、wgが共に0.5の場合の合成刺激波形h(t)を示している。
合成刺激波形h(t)=f(t)×wf+g(t)×wgである。
なお、割合wf、wgは、合計が1となるように設定されるものであり、合成割合は0.5に限られず適宜設定できる。これにより作業に関する技能を習得する際に、違和感なく、第2の刺激に合わせた動作に一致させやすくなり、合わせるときの試行錯誤の回数が減り、より効率的に学習できるようになる。
【0071】
(第2の実施形態)
第1の実施形態では、オフラインの技能取得支援方法に関するものであった。以下に説明する第2の実施形態では、リアルタイムの技能取得支援方法に関するものである。オフラインでは、第2の作業者の作業xによる触覚データは、あらかじめ格納されたものを用いた。リアルタイムの第2の実施形態では、第1、第2の作業者は互いを目視、またはモニター越しに確認することで、コミュニケーションしながら、同じ作業を同時に行うものである。
【0072】
図7は、第2の実施形態(リアルタイム)に係る技能取得支援方法を示すフローチャートである。
【0073】
(ステップS41~S43)
ここでの処理は、学習者モードでの第1の作業者自身の触覚データの再生である。制御部11は、第1の作業者(学習者)の作業時の動作にともなって得られた第1の触覚データを、第1の刺激として、第1の作業者が装着する刺激伝達部40で再生させる。ステップS41~S44の処理は、
図3、5のステップS02、S03(S220)、S04、およびS210にそれぞれ対応する処理であり、説明を省略する。
【0074】
(ステップS51~S53)
ここでの処理は、熟練者モードでの第2の作業者(熟練者)の触覚データの再生である。制御部11は、第2の作業者(学習者)の作業時の動作にともなって得られた第2の触覚データを、第2の刺激として、第1の作業者が装着する刺激伝達部40で再生させる。ステップS51~S53の処理は、
図3、5のステップS01、S230、およびS240にそれぞれ対応する処理であり、説明を省略する。
【0075】
このように、第2の実施形態においては、第1の実施形態と同様の処理をリアルタイムで実行することで、第1の実施形態と同様の効果が得られる。
【0076】
以上に説明した技能取得支援システム1の構成は、上記の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な技能取得支援システムが備える構成を排除するものではない。
【0077】
(各変形例)
刺激伝達部40は、振動子の他に、さらにスピーカを有してもよい。触覚を伝達する際に、さらに、スピーカにより音を発して、第1の作業者に伝達する。
【0078】
また、別の例として、第1の刺激から第2の刺激への切り替えは、熟練者や学習者以外の第三者、あるいは熟練者が目視等で学習者の動作に合わせて手動で切り替える機能を追加しても良い。また、第2の実施形態においては学習者だけでなく熟練者にも刺激を伝達することが可能である。それによって熟練者からの指摘・アドバイス等、学習者と熟練者の間でコミュニケーションを活性化させる効果が得られる。
【0079】
上述した実施形態に係る技能取得支援システム1、または技能取得支援方法における処理は、上記のフローチャートに示したステップ以外のステップを含んでもよく、あるいは、上述したステップのうちの一部を含まなくてもよい。例えば、ステップS03、およびS220の一方を省略してもよい。また、ステップの順序は、上述した実施形態に限定されない。さらに、各ステップは、他のステップと組み合わされて一つのステップとして実行されてもよく、他のステップに含まれて実行されてもよく、複数のステップに分割されて実行されてもよい。また、各実施例は組み合わせて実行されてもよい。例えば、第1、2の変形例は、第2の実施例と組み合わせて実行されてもよい。
【0080】
また、上述した実施形態に係る技能取得支援システムにおける各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、USBメモリーやDVD(Digital Versatile Disc)-ROM等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、装置の一機能としてその装置のソフトウエアに組み込まれてもよい。
【符号の説明】
【0081】
1 技能取得支援システム
10 情報処理装置
11 制御部
111 取得部
112 第1刺激発生部
113 第2刺激発生部
114 切替判定部
12 記憶部
13 通信部
20 センサー部
21 触覚センサー
30 カメラ
40 刺激伝達部
43 振動子