知財求人 - 知財ポータルサイト「IP Force」
特開2023-17128力触覚提示システム、力触覚提示装置、力触覚提示方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023017128
(43)【公開日】2023-02-06
(54)【発明の名称】力触覚提示システム、力触覚提示装置、力触覚提示方法及びプログラム
(51)【国際特許分類】
A63F 13/818 20140101AFI20230130BHJP
A63F 13/213 20140101ALI20230130BHJP
A63F 13/285 20140101ALI20230130BHJP
A63F 13/57 20140101ALI20230130BHJP
A63F 13/30 20140101ALI20230130BHJP
G06F 3/01 20060101ALI20230130BHJP
【ＦＩ】
A63F13/818
A63F13/213
A63F13/285
A63F13/57
A63F13/30
G06F3/01 560
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021121150
(22)【出願日】2021-07-25
(71)【出願人】
【識別番号】518069863
【氏名又は名称】株式会社Ｒｅ－ａｌ
(74)【代理人】
【識別番号】100127384
【弁理士】
【氏名又は名称】坊野 康博
(72)【発明者】
【氏名】新明 脩平
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA76
5E555BA20
5E555BA87
5E555BB20
5E555BC13
5E555BE17
5E555CA42
5E555CB74
5E555CC01
5E555DA24
5E555DB57
5E555DC30
5E555DD06
5E555EA14
5E555EA22
5E555FA00
(57)【要約】
【課題】視覚情報に対応した物理特性に基づく力の情報を提示可能な技術を実現する。
【解決手段】ユーザによって操作される操作装置と、前記操作装置における力触覚の提示を制御する制御装置とを含む力触覚提示システムであって、前記制御装置は、対象となる物体が含まれる視覚情報を取得する視覚情報取得手段と、前記物体の視覚情報に基づいて、当該視覚情報に含まれる前記物体の物理特性を推定する物理特性推定手段と、前記物理特性推定手段によって推定された前記物体の物理特性に基づいて、前記操作装置において提示される力触覚を制御する力触覚制御手段と、を備える。
【選択図】図６
【解決手段】ユーザによって操作される操作装置と、前記操作装置における力触覚の提示を制御する制御装置とを含む力触覚提示システムであって、前記制御装置は、対象となる物体が含まれる視覚情報を取得する視覚情報取得手段と、前記物体の視覚情報に基づいて、当該視覚情報に含まれる前記物体の物理特性を推定する物理特性推定手段と、前記物理特性推定手段によって推定された前記物体の物理特性に基づいて、前記操作装置において提示される力触覚を制御する力触覚制御手段と、を備える。
【選択図】図６
【特許請求の範囲】
【請求項1】
ユーザによって操作される操作装置と、前記操作装置における力触覚の提示を制御する制御装置とを含む力触覚提示システムであって、
前記制御装置は、
対象となる物体が含まれる視覚情報を取得する視覚情報取得手段と、
前記物体の視覚情報に基づいて、当該視覚情報に含まれる前記物体の物理特性を推定する物理特性推定手段と、
前記物理特性推定手段によって推定された前記物体の物理特性に基づいて、前記操作装置において提示される力触覚を制御する力触覚制御手段と、
を備えることを特徴とする力触覚提示システム。
前記制御装置は、
対象となる物体が含まれる視覚情報を取得する視覚情報取得手段と、
前記物体の視覚情報に基づいて、当該視覚情報に含まれる前記物体の物理特性を推定する物理特性推定手段と、
前記物理特性推定手段によって推定された前記物体の物理特性に基づいて、前記操作装置において提示される力触覚を制御する力触覚制御手段と、
を備えることを特徴とする力触覚提示システム。
【請求項2】
前記物理特性推定手段は、前記視覚情報に含まれる前記物体の形状変化に基づいて、当該物体に作用する力の情報を推定することを特徴とする請求項１に記載の力触覚提示システム。
【請求項3】
前記操作装置は、釣りの操作を入力可能であると共に、釣りの操作に対する反力を力触覚として提示することを特徴とする請求項１または２に記載の力触覚提示システム。
【請求項4】
前記視覚情報取得手段は、仮想的な釣りの画面として表示された物体の前記視覚情報を取得し、
前記操作装置は、前記仮想的な釣りの操作に対する反力を力触覚として提示することを特徴とする請求項１から３のいずれか１項に記載の力触覚提示システム。
前記操作装置は、前記仮想的な釣りの操作に対する反力を力触覚として提示することを特徴とする請求項１から３のいずれか１項に記載の力触覚提示システム。
【請求項5】
釣り上げる動作を実行可能な釣り動作実行装置をさらに備え、
前記視覚情報取得手段は、対象となる物体として、前記釣り動作実行装置に設置された釣り竿が含まれる視覚情報を取得し、
前記物理特性推定手段は、前記釣り竿の視覚情報に基づいて、当該視覚情報に含まれる前記釣り竿の物理特性を推定し、
前記力触覚制御手段は、前記物理特性推定手段によって推定された前記釣り竿の物理特性に基づいて、前記操作装置において提示される力触覚を制御することを特徴とする請求項１から３のいずれか１項に記載の力触覚提示システム。
前記視覚情報取得手段は、対象となる物体として、前記釣り動作実行装置に設置された釣り竿が含まれる視覚情報を取得し、
前記物理特性推定手段は、前記釣り竿の視覚情報に基づいて、当該視覚情報に含まれる前記釣り竿の物理特性を推定し、
前記力触覚制御手段は、前記物理特性推定手段によって推定された前記釣り竿の物理特性に基づいて、前記操作装置において提示される力触覚を制御することを特徴とする請求項１から３のいずれか１項に記載の力触覚提示システム。
【請求項6】
前記釣り動作実行装置の周囲に設置された釣り竿供給手段をさらに備え、
前記釣り動作実行装置は、前記釣り竿の交換が必要であると判定された場合に、前記釣り竿供給手段によって供給される釣り竿を取得することにより、釣り竿を交換することを特徴とする請求項５に記載の力触覚提示システム。
前記釣り動作実行装置は、前記釣り竿の交換が必要であると判定された場合に、前記釣り竿供給手段によって供給される釣り竿を取得することにより、釣り竿を交換することを特徴とする請求項５に記載の力触覚提示システム。
【請求項7】
前記釣り動作実行手段は、魚が釣れた場合、現在保持している釣り竿を魚が釣られた状態のまま所定の場所に解放すると共に、前記釣り竿供給手段によって供給される釣り竿を取得することを特徴とする請求項６に記載の力触覚提示システム。
【請求項8】
ユーザによって操作される操作部を備え、前記操作部における力触覚の提示を制御する力触覚提示装置であって、
対象となる物体が含まれる視覚情報を取得する視覚情報取得手段と、
前記物体の視覚情報に基づいて、当該視覚情報に含まれる前記物体の物理特性を推定する物理特性推定手段と、
前記物理特性推定手段によって推定された前記物体の物理特性に基づいて、前記操作部において提示される力触覚を制御する力触覚制御手段と、
を備えることを特徴とする力触覚提示装置。
対象となる物体が含まれる視覚情報を取得する視覚情報取得手段と、
前記物体の視覚情報に基づいて、当該視覚情報に含まれる前記物体の物理特性を推定する物理特性推定手段と、
前記物理特性推定手段によって推定された前記物体の物理特性に基づいて、前記操作部において提示される力触覚を制御する力触覚制御手段と、
を備えることを特徴とする力触覚提示装置。
【請求項9】
ユーザによって操作される操作装置と、前記操作装置における力触覚の提示を制御する制御装置とを含む力触覚提示システムで実行される力触覚提示方法であって、
前記制御装置が、
対象となる物体が含まれる視覚情報を取得する視覚情報取得ステップと、
前記物体の視覚情報に基づいて、当該視覚情報に含まれる前記物体の物理特性を推定する物理特性推定ステップと、
前記物理特性推定ステップによって推定された前記物体の物理特性に基づいて、前記操作装置において提示される力触覚を制御する力触覚制御ステップと、
を含むことを特徴とする力触覚提示方法。
前記制御装置が、
対象となる物体が含まれる視覚情報を取得する視覚情報取得ステップと、
前記物体の視覚情報に基づいて、当該視覚情報に含まれる前記物体の物理特性を推定する物理特性推定ステップと、
前記物理特性推定ステップによって推定された前記物体の物理特性に基づいて、前記操作装置において提示される力触覚を制御する力触覚制御ステップと、
を含むことを特徴とする力触覚提示方法。
【請求項10】
ユーザによって操作される操作装置と、前記操作装置における力触覚の提示を制御する制御装置とを含む力触覚提示システムを構成するコンピュータに、
対象となる物体が含まれる視覚情報を取得する視覚情報取得機能と、
前記物体の視覚情報に基づいて、当該視覚情報に含まれる前記物体の物理特性を推定する物理特性推定機能と、
前記物理特性推定機能によって推定された前記物体の物理特性に基づいて、前記操作装置において提示される力触覚を制御する力触覚制御機能と、
を実現させることを特徴とするプログラム。
対象となる物体が含まれる視覚情報を取得する視覚情報取得機能と、
前記物体の視覚情報に基づいて、当該視覚情報に含まれる前記物体の物理特性を推定する物理特性推定機能と、
前記物理特性推定機能によって推定された前記物体の物理特性に基づいて、前記操作装置において提示される力触覚を制御する力触覚制御機能と、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、力触覚提示システム、力触覚提示装置、力触覚提示方法及びプログラムに関する。
【背景技術】
【0002】
近年、ゲーム内の空間等、仮想空間での釣りを体験可能なシステムが実現されている。
例えば、ゲーム開発のプラットフォームを提供するソフトウェアでは、重力や荷重等の力を演算し、現実に近い物理特性を視覚的に映像として提示している。
なお、ゲームにおいて釣りを体験できるシステムは、例えば、特許文献１に開示されている。
例えば、ゲーム開発のプラットフォームを提供するソフトウェアでは、重力や荷重等の力を演算し、現実に近い物理特性を視覚的に映像として提示している。
なお、ゲームにおいて釣りを体験できるシステムは、例えば、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００１－２７６４２４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に記載された技術を含め、仮想空間での釣りを体験できる従来の技術においては、現実に近い物理特性を視覚的に提示しているものの、ユーザが感じる力を現実の物理特性に則して提示するものではなかった。これは、従来のゲーム開発のプラットフォームが、ユーザに対して現実の物理特性に則した力を提示する機能を備えていないことが一因であると考えられる。この結果、仮想空間での釣りを体験できる従来の技術においては、ユーザに力の情報が提示されていない、あるいは、視覚情報と一致しない力の情報が提示されるものとなっていた。
なお、このような状況は、仮想空間での釣りを体験可能なシステムに限らず、視覚情報に対応する力の情報が提示されるべき各種システムにおいて共通するものである。
本発明の課題は、視覚情報に対応した物理特性に基づく力の情報を提示可能な技術を実現することである。
なお、このような状況は、仮想空間での釣りを体験可能なシステムに限らず、視覚情報に対応する力の情報が提示されるべき各種システムにおいて共通するものである。
本発明の課題は、視覚情報に対応した物理特性に基づく力の情報を提示可能な技術を実現することである。
【課題を解決するための手段】
【0005】
上記課題を解決するため、本発明の一態様に係る力触覚提示システムは、
ユーザによって操作される操作装置と、前記操作装置における力触覚の提示を制御する制御装置とを含む力触覚提示システムであって、
前記制御装置は、
対象となる物体が含まれる視覚情報を取得する視覚情報取得手段と、
前記物体の視覚情報に基づいて、当該視覚情報に含まれる前記物体の物理特性を推定する物理特性推定手段と、
前記物理特性推定手段によって推定された前記物体の物理特性に基づいて、前記操作装置において提示される力触覚を制御する力触覚制御手段と、
を備えることを特徴とする。
ユーザによって操作される操作装置と、前記操作装置における力触覚の提示を制御する制御装置とを含む力触覚提示システムであって、
前記制御装置は、
対象となる物体が含まれる視覚情報を取得する視覚情報取得手段と、
前記物体の視覚情報に基づいて、当該視覚情報に含まれる前記物体の物理特性を推定する物理特性推定手段と、
前記物理特性推定手段によって推定された前記物体の物理特性に基づいて、前記操作装置において提示される力触覚を制御する力触覚制御手段と、
を備えることを特徴とする。
【発明の効果】
【0006】
本発明によれば、視覚情報に対応した物理特性に基づく力の情報を提示可能な技術を実現することができる。
【図面の簡単な説明】
【0007】
【図1】本発明の第１実施形態に係る釣りシステム１の構成を示す模式図である。
【図2】釣りの視覚情報から力の情報を推定する概念を示す模式図である。
【図3】制御装置３０が力触覚を提示する制御の基本的原理の概念を示す模式図である。
【図4】釣りシステム１における制御系統のハードウェア構成を示すブロック図である。
【図5】制御装置３０を構成する情報処理装置のハードウェア構成を示す図である。
【図6】釣りシステム１の機能的構成を示すブロック図である。
【図7】釣りシステム１が実行する力触覚提示処理の流れを示すフローチャートである。
【図8】第２実施形態における釣り動作実行装置１０の設置状態を示す模式図である。
【図9】釣り動作実行装置１０の釣り竿設置部１２及び支持部１３の構成例を示す模式図である。
【図10】釣り動作実行装置１０が釣り竿供給部６００から釣り竿を取り出す動作の手順を示す模式図である。
【図11】本実施形態における釣りシステム１の機能的構成を示すブロック図である。
【図12】釣りシステム１が実行する釣り竿交換処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【0008】
以下、本発明の実施形態について、図面を参照して説明する。
【0009】
本発明は、視覚情報（対象物の画像）から得られる物体の物理特性に基づいて、その物体に作用する力の情報（力の大きさ、方向等）を推定し、視覚情報に対応する力の情報をシステムがユーザに提示するものである。このとき、例えば、静止物体の形状変化を含む視覚情報から取得される物理特性に基づいて、その物体に作用する力の情報を推定する。
これにより、各種視覚情報が提示された場合に、その視覚情報から実際の物理特性に則した力を演算し、ユーザに提示することが可能となる。
即ち、本発明によれば、視覚情報に対応した物理特性に基づく力の情報を提示することが可能となる。
これにより、各種視覚情報が提示された場合に、その視覚情報から実際の物理特性に則した力を演算し、ユーザに提示することが可能となる。
即ち、本発明によれば、視覚情報に対応した物理特性に基づく力の情報を提示することが可能となる。
【0010】
（第１実施形態）
（構成）
図１は、本発明の第１実施形態に係る釣りシステム１の構成を示す模式図である。
図１に示すように、釣りシステム１は、釣り動作実行装置１０と、釣り操作装置２０と、制御装置３０と、カメラＣと、ディスプレイＤと、を含んで構成され、制御装置３０と、釣り動作実行装置１０、釣り操作装置２０、カメラＣ及びディスプレイＤとは、インターネット等のネットワーク４０を介して通信可能に構成されている。
（構成）
図１は、本発明の第１実施形態に係る釣りシステム１の構成を示す模式図である。
図１に示すように、釣りシステム１は、釣り動作実行装置１０と、釣り操作装置２０と、制御装置３０と、カメラＣと、ディスプレイＤと、を含んで構成され、制御装置３０と、釣り動作実行装置１０、釣り操作装置２０、カメラＣ及びディスプレイＤとは、インターネット等のネットワーク４０を介して通信可能に構成されている。
【0011】
図１に示す釣りシステム１は、遠隔地に設置されたアバター（釣り動作実行装置１０）が実行する釣りの撮像画像（遠隔的な釣りの画像）、または、仮想的な釣り（例えば、釣りゲームあるいは釣りのシミュレータ）のプラットフォーム等が実装された情報処理装置（制御装置３０）で生成された仮想的な釣りの画像を視覚情報として取得し、取得した視覚情報から力の情報を推定する。そして、ユーザが使用する操作装置（コントローラ）に対し、推定した力の情報（例えば、釣り動作実行装置１０を能動的に動かす力またはユーザの操作に対する反力）を提示する。
【0012】
以下、釣りシステム１が、釣り操作装置２０の遠隔地に設置されたアバター（釣り動作実行装置１０）と連携して遠隔的な釣りを行う動作（遠隔釣りモード）、及び、仮想的な釣りのプラットフォーム等で生成された仮想的な釣りの画像を用いて仮想空間における釣りを行う動作（仮想釣りモード）の両方を実行可能な場合を例に挙げて説明する。なお、遠隔釣りモード及び仮想釣りモードの両方を釣りシステム１が実行可能である場合、ユーザが自身の嗜好に応じていずれかのモードを選択して実行すること等が可能である。また、釣りシステム１が、遠隔釣りモード及び仮想釣りモードの一方のみを実行可能であることとしてもよい。以下、遠隔釣りモードにおける遠隔的な釣りの画像及び仮想釣りモードにおける仮想的な釣りの画像を総称して、適宜、「釣りの視覚情報」と称する。
【0013】
図１において、釣り動作実行装置１０は、釣り竿によって釣りの動作を実際に行う装置であり、釣り操作装置２０を操作するユーザのアバターとして機能する。具体的には、釣り動作実行装置１０は、釣り竿１１と、釣り竿設置部１２と、支持部１３と、リール１４と、を備え、制御装置３０の指示に従って、釣り竿設置部１２を鉛直方向及び水平方向に回転させると共に、リール１４により釣り糸を巻き取ったり、繰り出したりする。
【0014】
釣り操作装置２０は、ユーザが釣りのための操作（釣り竿の上げ下げ、リールによる釣り糸の巻取り及び繰り出し等）を行う装置であり、釣り竿を模したコントローラとして構成される。具体的には、釣り操作装置２０は、グリップ部２１と、支持部２２と、リール２３と、を備え、制御装置３０の指示に従って、魚の引き対応する動作としてグリップ部２１を能動的に鉛直方向及び水平方向に回転させたり、魚の引きに応じてユーザがグリップ部２１を鉛直方向及び水平方向に回転させる際に、反力を付与したりする。
【0015】
制御装置３０は、釣り操作装置２０に入力されるユーザの操作に応じて、釣り動作実行装置１０の動作を制御すると共に、釣りの視覚情報に基づいて、釣りの視覚情報内の釣り竿に作用する力の情報を推定し、釣り操作装置２０の動作（力触覚の提示動作）を制御する。
【0016】
図２は、釣りの視覚情報から力の情報を推定する概念を示す模式図である。
図２に示すように、視覚情報が与えられた場合、画像内の物体（ここでは釣り竿）に作用する力は、画像内における物体の静止状態における形状変化を基に推定することができる。例えば、物体のしなりや物体に生じる歪み等から、その物体に作用する力を推定することができる。
即ち、本来、力が釣り合い状態にある場合は、視覚情報内の物体（遠隔地にある物体または仮想物体）が静止しているため、視覚情報から反力等の力の情報を算出することはできない。一方、視覚情報内の物体にしなりや歪みが生じている場合には、視覚情報として物理特性を取得することが可能であるため、そのしなりや歪みから、全体としては釣り合い状態にある力を便宜的に算出することが可能である。
図２に示すように、視覚情報が与えられた場合、画像内の物体（ここでは釣り竿）に作用する力は、画像内における物体の静止状態における形状変化を基に推定することができる。例えば、物体のしなりや物体に生じる歪み等から、その物体に作用する力を推定することができる。
即ち、本来、力が釣り合い状態にある場合は、視覚情報内の物体（遠隔地にある物体または仮想物体）が静止しているため、視覚情報から反力等の力の情報を算出することはできない。一方、視覚情報内の物体にしなりや歪みが生じている場合には、視覚情報として物理特性を取得することが可能であるため、そのしなりや歪みから、全体としては釣り合い状態にある力を便宜的に算出することが可能である。
【0017】
例えば、釣り竿等の物体のしなりから力の情報を推定する場合、アクチュエータのトルクをＴ、視覚情報内の釣り竿の剛性をＫ、しなり角をΔθとすると、アクチュエータのトルクＴは、次式（１）で表される。
Ｔ＝Ｋ・Δθ （１）
ここで、剛性Ｋは便宜的に与えられる定数であり、遠隔地にある釣り竿の実際の剛性あるいはゲームのプラットフォーム等での内部演算で用いられる剛性値と一致していなくてもよい。
Ｔ＝Ｋ・Δθ （１）
ここで、剛性Ｋは便宜的に与えられる定数であり、遠隔地にある釣り竿の実際の剛性あるいはゲームのプラットフォーム等での内部演算で用いられる剛性値と一致していなくてもよい。
【0018】
なお、物体の歪みから力の情報を推定する場合、反力をＦ、物体の剛性をＫ、歪み量をΔＸとすると、物体に力を作用させた場合の反力Ｆは、次式（２）で表される。
Ｆ＝Ｋ・ΔＸ （２）
柔らかいボールやのスポンジように歪む物体の場合、このように力の情報を推定することができる。
ただし、（２）式においては反力Ｆが歪み量ΔＸに比例するものとしたが、反力Ｆを歪み量ΔＸの２乗あるいは３乗に比例するものとして定義してもよい。
Ｆ＝Ｋ・ΔＸ （２）
柔らかいボールやのスポンジように歪む物体の場合、このように力の情報を推定することができる。
ただし、（２）式においては反力Ｆが歪み量ΔＸに比例するものとしたが、反力Ｆを歪み量ΔＸの２乗あるいは３乗に比例するものとして定義してもよい。
【0019】
また、流体速度を利用して、力の情報を推定することも可能である。
この場合、反力をＦ、物体の剛性をＫ、流体の速度をＶとすると、物体が流体から受ける反力は、次式（３）で表される。
Ｆ＝Ｋ・Ｖ （３）
空気や水等の流体内で物体に作用する力を算出する場合、このように力の情報を推定することができる。
ただし、（３）式においては反力Ｆが流体の速度Ｖに比例するものとしたが、反力Ｆを流体の速度Ｖの２乗あるいは３乗に比例するものとして定義してもよい。
この場合、反力をＦ、物体の剛性をＫ、流体の速度をＶとすると、物体が流体から受ける反力は、次式（３）で表される。
Ｆ＝Ｋ・Ｖ （３）
空気や水等の流体内で物体に作用する力を算出する場合、このように力の情報を推定することができる。
ただし、（３）式においては反力Ｆが流体の速度Ｖに比例するものとしたが、反力Ｆを流体の速度Ｖの２乗あるいは３乗に比例するものとして定義してもよい。
【0020】
また、制御装置３０は、釣りの視覚情報から推定した力の情報に基づいて、釣り操作装置２０において提示する力触覚（位置及び力）を制御する。
図３は、制御装置３０が力触覚を提示する制御の基本的原理の概念を示す模式図である。
図３に示す基本的原理は、アクチュエータの現在位置と、各タイミングにおいて提示すべき力触覚を表す値である基準値とを入力として、速度あるいは力の少なくとも一方の領域における演算を行うことにより、各タイミングにおけるアクチュエータの動作を決定するものである。
即ち、本発明の基本的原理は、制御対象システムＳと、機能別力・速度割当変換ブロックＦＴと、理想力源ブロックＦＣあるいは理想速度源ブロックＰＣの少なくとも１つと、逆変換ブロックＩＦＴとを含む制御則として表される。
図３は、制御装置３０が力触覚を提示する制御の基本的原理の概念を示す模式図である。
図３に示す基本的原理は、アクチュエータの現在位置と、各タイミングにおいて提示すべき力触覚を表す値である基準値とを入力として、速度あるいは力の少なくとも一方の領域における演算を行うことにより、各タイミングにおけるアクチュエータの動作を決定するものである。
即ち、本発明の基本的原理は、制御対象システムＳと、機能別力・速度割当変換ブロックＦＴと、理想力源ブロックＦＣあるいは理想速度源ブロックＰＣの少なくとも１つと、逆変換ブロックＩＦＴとを含む制御則として表される。
【0021】
制御対象システムＳは、アクチュエータを備える釣り操作装置２０であり、加速度等に基づいてアクチュエータの制御を行う。ここで、加速度、速度及び位置は、微積分によって相互に換算可能な物理量であるため、加速度、速度及び位置のいずれを用いて制御することとしてもよい。本実施形態においては、主として、位置から算出される速度を用いて制御則を表現するものとする。
【0022】
機能別力・速度割当変換ブロックＦＴは、制御対象システムＳの機能に応じて設定される速度及び力の領域への制御エネルギーの変換を定義するブロックである。具体的には、機能別力・速度割当変換ブロックＦＴでは、制御対象システムＳの機能の基準となる値（基準値）と、アクチュエータの現在位置とを入力とする座標変換が定義されている。この座標変換は、一般に、基準値及び現在速度を要素とする入力ベクトルを速度の制御目標値を算出するための速度からなる出力ベクトルに変換すると共に、基準値及び現在の力を要素とする入力ベクトルを力の制御目標値を算出するための力からなる出力ベクトルに変換するものである。具体的には、機能別力・速度割当変換ブロックＦＴにおける座標変換は、次式（１）及び（２）のように一般化して表される。
【0023】
【数1】
【0024】
ただし、式（１）において、ｘ’1～ｘ’n（ｎは１以上の整数）は速度の状態値を導出するための速度ベクトルであり、ｘ’a～ｘ’m（ｍは１以上の整数）は、基準値及びアクチュエータの作用に基づく速度（アクチュエータの移動子の速度またはアクチュエータが移動させる対象物の速度）を要素とするベクトル、ｈ1a～ｈnmは機能を表す変換行列の要素である。また、式（２）において、ｆ’’1～ｆ’’n（ｎは１以上の整数）は力の状態値を導出するための力ベクトルであり、ｆ’’a～ｆ’’m（ｍは１以上の整数）は、基準値及びアクチュエータの作用に基づく力（アクチュエータの移動子の力またはアクチュエータが移動させる対象物の力）を要素とするベクトルである。
【0025】
機能別力・速度割当変換ブロックＦＴにおける座標変換を、実現する機能に応じて設定することにより、各種行為を実現したり、スケーリングを伴う行為の再現を行ったりすることができる。
即ち、上述の基本的原理では、機能別力・速度割当変換ブロックＦＴにおいて、アクチュエータ単体の変数（実空間上の変数）を、実現する機能を表現するシステム全体の変数群（仮想空間上の変数）に“変換”し、速度の制御エネルギーと力の制御エネルギーとに制御エネルギーを割り当てる。即ち、本発明の基本的原理では、速度と力とが互いに関連する座標空間から、速度と力とが互いに独立した座標空間に変換した上で、速度と及び力の制御に関する演算を行う。そのため、アクチュエータ単体の変数（実空間上の変数）のまま制御を行う場合と比較して、速度の制御エネルギーと力の制御エネルギーとを独立に与えることが可能となっている。
即ち、上述の基本的原理では、機能別力・速度割当変換ブロックＦＴにおいて、アクチュエータ単体の変数（実空間上の変数）を、実現する機能を表現するシステム全体の変数群（仮想空間上の変数）に“変換”し、速度の制御エネルギーと力の制御エネルギーとに制御エネルギーを割り当てる。即ち、本発明の基本的原理では、速度と力とが互いに関連する座標空間から、速度と力とが互いに独立した座標空間に変換した上で、速度と及び力の制御に関する演算を行う。そのため、アクチュエータ単体の変数（実空間上の変数）のまま制御を行う場合と比較して、速度の制御エネルギーと力の制御エネルギーとを独立に与えることが可能となっている。
【0026】
理想力源ブロックＦＣは、機能別力・速度割当変換ブロックＦＴによって定義された座標変換に従って、力の領域における演算を行うブロックである。理想力源ブロックＦＣにおいては、機能別力・速度割当変換ブロックＦＴによって定義された座標変換に基づく演算を行う際の力に関する目標値が設定されている。この目標値は、実現される機能に応じて固定値または可変値として設定される。例えば、基準値が示す機能と同様の機能を実現する場合には、目標値としてゼロを設定したり、スケーリングを行う場合には、再現する機能を示す情報を拡大・縮小した値を設定したりできる。
【0027】
理想速度源ブロックＰＣは、機能別力・速度割当変換ブロックＦＴによって定義された座標変換に従って、速度の領域における演算を行うブロックである。理想速度源ブロックＰＣにおいては、機能別力・速度割当変換ブロックＦＴによって定義された座標変換に基づく演算を行う際の速度に関する目標値が設定されている。この目標値は、実現される機能に応じて固定値または可変値として設定される。例えば、基準値が示す機能と同様の機能を実現する場合には、目標値としてゼロを設定したり、スケーリングを行う場合には、再現する機能を示す情報を拡大・縮小した値を設定したりできる。
【0028】
逆変換ブロックＩＦＴは、速度及び力の領域の値を制御対象システムＳへの入力の領域の値（例えば電圧値または電流値等）に変換するブロックである。
このような基本的原理により、制御対象システムＳのアクチュエータにおける位置の情報が機能別力・速度割当変換ブロックＦＴに入力されると、位置の情報に基づいて得られる速度及び力の情報を用いて、機能別力・速度割当変換ブロックＦＴにおいて、機能に応じた位置及び力の領域それぞれの制御則が適用される。そして、理想力源ブロックＦＣにおいて、機能に応じた力の演算が行われ、理想速度源ブロックＰＣにおいて、機能に応じた速度の演算が行われ、力及び速度それぞれに制御エネルギーが分配される。
このような基本的原理により、制御対象システムＳのアクチュエータにおける位置の情報が機能別力・速度割当変換ブロックＦＴに入力されると、位置の情報に基づいて得られる速度及び力の情報を用いて、機能別力・速度割当変換ブロックＦＴにおいて、機能に応じた位置及び力の領域それぞれの制御則が適用される。そして、理想力源ブロックＦＣにおいて、機能に応じた力の演算が行われ、理想速度源ブロックＰＣにおいて、機能に応じた速度の演算が行われ、力及び速度それぞれに制御エネルギーが分配される。
【0029】
理想力源ブロックＦＣ及び理想速度源ブロックＰＣにおける演算結果は、制御対象システムＳの制御目標を示す情報となり、これらの演算結果が逆変換ブロックＩＦＴにおいてアクチュエータの入力値とされて、制御対象システムＳに入力される。
その結果、制御対象システムＳのアクチュエータは、機能別力・速度割当変換ブロックＦＴによって定義された機能に従う動作を実行し、目的とする装置の動作（ここでは、推定された力の情報に対応する力触覚を釣り操作装置２０から提示する動作）が実現される。
その結果、制御対象システムＳのアクチュエータは、機能別力・速度割当変換ブロックＦＴによって定義された機能に従う動作を実行し、目的とする装置の動作（ここでは、推定された力の情報に対応する力触覚を釣り操作装置２０から提示する動作）が実現される。
【0030】
（定義される機能例）
次に、本実施形態において機能別力・速度割当変換ブロックＦＴによって定義される機能の具体例について説明する。
機能別力・速度割当変換ブロックＦＴでは、入力されたアクチュエータの現在位置に基づいて得られる速度及び力を対象とした座標変換（実現する機能に対応した実空間から仮想空間への変換）が定義されている。
次に、本実施形態において機能別力・速度割当変換ブロックＦＴによって定義される機能の具体例について説明する。
機能別力・速度割当変換ブロックＦＴでは、入力されたアクチュエータの現在位置に基づいて得られる速度及び力を対象とした座標変換（実現する機能に対応した実空間から仮想空間への変換）が定義されている。
【0031】
機能別力・速度割当変換ブロックＦＴでは、このような現在位置から得られた速度及び力と、機能の基準値としての速度及び力とを入力として、速度及び力それぞれについての制御則が加速度次元において適用される。
即ち、アクチュエータにおける力は質量と加速度との積で表され、アクチュエータにおける速度（移動子等の速度）は加速度の積分によって表される。そのため、加速度の領域を介して、速度（または位置）及び力を制御することで、アクチュエータ（移動子等）の現在位置を取得して、目的とする機能（バイラテラル制御等）を実現することができる。
即ち、アクチュエータにおける力は質量と加速度との積で表され、アクチュエータにおける速度（移動子等の速度）は加速度の積分によって表される。そのため、加速度の領域を介して、速度（または位置）及び力を制御することで、アクチュエータ（移動子等）の現在位置を取得して、目的とする機能（バイラテラル制御等）を実現することができる。
【0032】
（ハードウェア構成）
次に、釣りシステム１における制御系統のハードウェア構成について説明する。
図４は、釣りシステム１における制御系統のハードウェア構成を示すブロック図である。
図４に示すように、釣りシステム１は、制御系統のハードウェア構成として、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）あるいはサーバコンピュータ等の情報処理装置によって構成される制御装置３０と、釣り動作実行装置１０の制御ユニット１０１と、通信ユニット１０２と、リール駆動用アクチュエータ１０３と、鉛直動作用アクチュエータ１０４と、水平動作用アクチュエータ１０５と、ロータリーエンコーダ１０６～１０８と、ドライバ１０９～１１１と、釣り操作装置２０の制御ユニット２０１と、通信ユニット２０２と、リール駆動用アクチュエータ２０３と、鉛直動作用アクチュエータ２０４と、水平動作用アクチュエータ２０５と、ロータリーエンコーダ２０６～２０８と、ドライバ２０９～２１１と、カメラＣと、ディスプレイＤとを備えている。
次に、釣りシステム１における制御系統のハードウェア構成について説明する。
図４は、釣りシステム１における制御系統のハードウェア構成を示すブロック図である。
図４に示すように、釣りシステム１は、制御系統のハードウェア構成として、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）あるいはサーバコンピュータ等の情報処理装置によって構成される制御装置３０と、釣り動作実行装置１０の制御ユニット１０１と、通信ユニット１０２と、リール駆動用アクチュエータ１０３と、鉛直動作用アクチュエータ１０４と、水平動作用アクチュエータ１０５と、ロータリーエンコーダ１０６～１０８と、ドライバ１０９～１１１と、釣り操作装置２０の制御ユニット２０１と、通信ユニット２０２と、リール駆動用アクチュエータ２０３と、鉛直動作用アクチュエータ２０４と、水平動作用アクチュエータ２０５と、ロータリーエンコーダ２０６～２０８と、ドライバ２０９～２１１と、カメラＣと、ディスプレイＤとを備えている。
【0033】
釣り動作実行装置１０の制御ユニット１０１は、プロセッサ及びメモリ等を備えるマイクロコンピュータを備え、釣り動作実行装置１０の動作を制御する。例えば、制御ユニット１０１は、制御装置３０から送信される制御パラメータに従って、釣り動作実行装置１０のリール駆動用アクチュエータ１０３、鉛直動作用アクチュエータ１０４及び水平動作用アクチュエータ１０５の駆動を制御する。
通信ユニット１０２は、ネットワーク４０を介して釣り動作実行装置１０が他の装置との間で行う通信を制御する。
通信ユニット１０２は、ネットワーク４０を介して釣り動作実行装置１０が他の装置との間で行う通信を制御する。
【0034】
リール駆動用アクチュエータ１０３は、制御ユニット１０１の指示に従って、リール１４を回転させ、釣り糸を巻き取ったり、繰り出したりする。
鉛直動作用アクチュエータ１０４は、釣り竿１１及び釣り竿設置部１２を鉛直方向に回転させ、釣り竿１１を上下に移動させる。
水平動作用アクチュエータ１０５は、釣り竿１１及び釣り竿設置部１２を水平方向に回転させ、釣り竿１１を左右に移動させる。
鉛直動作用アクチュエータ１０４は、釣り竿１１及び釣り竿設置部１２を鉛直方向に回転させ、釣り竿１１を上下に移動させる。
水平動作用アクチュエータ１０５は、釣り竿１１及び釣り竿設置部１２を水平方向に回転させ、釣り竿１１を左右に移動させる。
【0035】
ロータリーエンコーダ１０６は、リール駆動用アクチュエータ１０３の移動子の位置（回転角度）を検出する。
ロータリーエンコーダ１０７は、鉛直動作用アクチュエータ１０４の移動子の位置（回転角度）を検出する。
ロータリーエンコーダ１０８は、水平動作用アクチュエータ１０５の移動子の位置（回転角度）を検出する。
ロータリーエンコーダ１０７は、鉛直動作用アクチュエータ１０４の移動子の位置（回転角度）を検出する。
ロータリーエンコーダ１０８は、水平動作用アクチュエータ１０５の移動子の位置（回転角度）を検出する。
【0036】
ドライバ１０９は、制御ユニット１０１の指示に従って、リール駆動用アクチュエータ１０３に駆動電流を出力する。
ドライバ１１０は、制御ユニット１０１の指示に従って、鉛直動作用アクチュエータ１０４に駆動電流を出力する。
ドライバ１１１は、制御ユニット１０１の指示に従って、水平動作用アクチュエータ１０５に駆動電流を出力する。
ドライバ１１０は、制御ユニット１０１の指示に従って、鉛直動作用アクチュエータ１０４に駆動電流を出力する。
ドライバ１１１は、制御ユニット１０１の指示に従って、水平動作用アクチュエータ１０５に駆動電流を出力する。
【0037】
釣り操作装置２０の制御ユニット２０１は、プロセッサ及びメモリ等を備えるマイクロコンピュータを備え、釣り操作装置２０の動作を制御する。例えば、制御ユニット２０１は、制御装置３０から送信される制御パラメータに従って、釣り操作装置２０のリール駆動用アクチュエータ２０３、鉛直動作用アクチュエータ２０４及び水平動作用アクチュエータ２０５の駆動を制御する。
通信ユニット２０２は、ネットワーク４０を介して釣り操作装置２０が他の装置との間で行う通信を制御する。
通信ユニット２０２は、ネットワーク４０を介して釣り操作装置２０が他の装置との間で行う通信を制御する。
【0038】
リール駆動用アクチュエータ２０３は、制御ユニット２０１の指示に従って、リール２３を回転させ、ユーザの操作に対する反力を付与する。
鉛直動作用アクチュエータ２０４は、グリップ部２１を鉛直方向に回転させ、ユーザの操作に対する反力を付与する。
水平動作用アクチュエータ２０５は、グリップ部２１を水平方向に回転させ、ユーザの操作に対する反力を付与する。
鉛直動作用アクチュエータ２０４は、グリップ部２１を鉛直方向に回転させ、ユーザの操作に対する反力を付与する。
水平動作用アクチュエータ２０５は、グリップ部２１を水平方向に回転させ、ユーザの操作に対する反力を付与する。
【0039】
ロータリーエンコーダ２０６は、リール駆動用アクチュエータ２０３の移動子の位置（回転角度）を検出する。
ロータリーエンコーダ２０７は、鉛直動作用アクチュエータ２０４の移動子の位置（回転角度）を検出する。
ロータリーエンコーダ２０８は、水平動作用アクチュエータ２０５の移動子の位置（回転角度）を検出する。
ロータリーエンコーダ２０７は、鉛直動作用アクチュエータ２０４の移動子の位置（回転角度）を検出する。
ロータリーエンコーダ２０８は、水平動作用アクチュエータ２０５の移動子の位置（回転角度）を検出する。
【0040】
ドライバ２０９は、制御ユニット２０１の指示に従って、リール駆動用アクチュエータ１０３に駆動電流を出力する。
ドライバ２１０は、制御ユニット２０１の指示に従って、鉛直動作用アクチュエータ２０４に駆動電流を出力する。
ドライバ２１１は、制御ユニット２０１の指示に従って、水平動作用アクチュエータ２０５に駆動電流を出力する。
ドライバ２１０は、制御ユニット２０１の指示に従って、鉛直動作用アクチュエータ２０４に駆動電流を出力する。
ドライバ２１１は、制御ユニット２０１の指示に従って、水平動作用アクチュエータ２０５に駆動電流を出力する。
【0041】
カメラＣは、釣り動作実行装置１０と共に釣り場に設置され、釣り場の画像を撮影し、制御装置３０に撮影した釣り場の画像を送信する。
ディスプレイＤは、釣り操作装置２０と共に、ユーザが画面を視認できる場所に設置され、制御装置３０によって表示を指示された画像（遠隔釣りモードにおける遠隔的な釣りの画像及び仮想釣りモードにおける仮想的な釣りの画像）を表示する。
ディスプレイＤは、釣り操作装置２０と共に、ユーザが画面を視認できる場所に設置され、制御装置３０によって表示を指示された画像（遠隔釣りモードにおける遠隔的な釣りの画像及び仮想釣りモードにおける仮想的な釣りの画像）を表示する。
【0042】
図５は、制御装置３０を構成する情報処理装置のハードウェア構成を示す図である。
図５に示すように、制御装置３０は、プロセッサ８１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８１３と、バス８１４と、入力部８１５と、出力部８１６と、記憶部８１７と、通信部３１８と、ドライブ３１９と、を備えている。
図５に示すように、制御装置３０は、プロセッサ８１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８１３と、バス８１４と、入力部８１５と、出力部８１６と、記憶部８１７と、通信部３１８と、ドライブ３１９と、を備えている。
【0043】
プロセッサ８１１は、ＲＯＭ８１２に記録されているプログラム、または、記憶部８１７からＲＡＭ８１３にロードされたプログラムに従って各種の処理を実行する。プロセッサとして、例えば、制御装置３０全体を制御するためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や、グラフィックスに関する処理を実行するためのＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備えることができる。
ＲＡＭ８１３には、プロセッサ８１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
ＲＡＭ８１３には、プロセッサ８１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0044】
プロセッサ８１１、ＲＯＭ８１２及びＲＡＭ８１３は、バス８１４を介して相互に接続されている。バス８１４には、入力部８１５、出力部８１６、記憶部８１７、通信部３１８及びドライブ３１９が接続されている。
【0045】
入力部８１５は、各種ボタン等で構成され、指示操作に応じて各種情報を入力する。
出力部８１６は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
なお、制御装置３０がスマートフォンやタブレット端末として構成される場合には、入力部８１５と出力部８１６のディスプレイとを重ねて配置し、タッチパネルを構成することとしてもよい。
記憶部８１７は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各サーバで管理される各種データを記憶する。
通信部８１８は、ネットワーク４０を介して制御装置３０が他の装置との間で行う通信を制御する。
出力部８１６は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
なお、制御装置３０がスマートフォンやタブレット端末として構成される場合には、入力部８１５と出力部８１６のディスプレイとを重ねて配置し、タッチパネルを構成することとしてもよい。
記憶部８１７は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各サーバで管理される各種データを記憶する。
通信部８１８は、ネットワーク４０を介して制御装置３０が他の装置との間で行う通信を制御する。
【0046】
ドライブ８１９には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア８３１が適宜装着される。ドライブ３１９によってリムーバブルメディア８３１から読み出されたプログラムは、必要に応じて記憶部８１７にインストールされる。
【0047】
（機能的構成）
次に、釣りシステム１の機能的構成について説明する。
図６は、釣りシステム１の機能的構成を示すブロック図である。
図６に示すように、釣りシステム１は、制御装置３０が各種処理を実行することにより、プロセッサ８１１において、ユーザインターフェース制御部（ＵＩ制御部）３０１と、仮想釣りプラットフォーム部３０２と、センサ情報取得部３０３と、画像取得部３０４と、物理特性推定部３０５と、力触覚制御部３０６と、が機能する。また、記憶部８１７には、仮想釣りパラメータデータベース（仮想釣りパラメータＤＢ）３７１が形成される。
次に、釣りシステム１の機能的構成について説明する。
図６は、釣りシステム１の機能的構成を示すブロック図である。
図６に示すように、釣りシステム１は、制御装置３０が各種処理を実行することにより、プロセッサ８１１において、ユーザインターフェース制御部（ＵＩ制御部）３０１と、仮想釣りプラットフォーム部３０２と、センサ情報取得部３０３と、画像取得部３０４と、物理特性推定部３０５と、力触覚制御部３０６と、が機能する。また、記憶部８１７には、仮想釣りパラメータデータベース（仮想釣りパラメータＤＢ）３７１が形成される。
【0048】
仮想釣りパラメータＤＢ３７１には、仮想釣りプラットフォーム部３０２において作成された仮想釣りのアプリケーションで用いられる各種パラメータが記憶される。例えば、仮想釣りパラメータＤＢ３７１には、仮想的な釣りで登場する各種魚のオブジェクトデータ、各種魚の動きに関するパラメータ、釣り竿の動きを疑似的に描画するためのパラメータ等が記憶される。
【0049】
ＵＩ制御部３０１は、釣りシステム１で実行される処理において、各種情報を入出力する各種入出力画面（以下、「ＵＩ画面」と称する。）の表示を制御する。例えば、ＵＩ制御部３０１は、遠隔釣りモードあるいは仮想釣りモードにおいて、ディスプレイＤの画面表示を制御したり、仮想釣りモードで実行される仮想的な釣りのアプリケーションを作成する際に、出力部８１６のディスプレイの画面表示を制御したりする。また、ＵＩ制御部３０１は、ＵＩ画面に対して、ユーザが行う各種操作を受け付ける。例えば、ＵＩ制御部３０１は、仮想釣りモードにおいて、釣りの内容に対する条件の設定（ターゲットとする魚種の選択等）を受け付ける。
【0050】
仮想釣りプラットフォーム部３０２は、釣りゲーム等、各種仮想釣りのアプリケーションを作成するための環境（プラットフォーム）を提供し、作成された仮想釣りのアプリケーションを実行する。例えば、仮想釣りプラットフォーム部３０２は、釣りシステム１で実行される仮想的な釣りのアプリケーションを作成するプラットフォームとして機能すると共に、作成された仮想的な釣りのアプリケーションが仮想釣りモードにおいて選択された場合に、選択された仮想的な釣りを実行する。本実施形態において、仮想釣りプラットフォーム部３０２は、仮想釣り内に登場する物体の動きを物理特性に従って算出し、算出された物理特性に基づく動きを描画する機能を備えている。したがって、仮想釣りプラットフォーム部３０２は、仮想的な釣りの場合、魚の引きに応じて竿がしなる動作等を実際の竿の剛性や魚から入力される外力等を基に物理法則に従って演算し、実際の物理特性に従った竿の状態を描画する。なお、仮想的な釣りの画像を描画する処理は、ＧＰＵで実行することができると共に、充分な処理能力を有する場合にはＣＰＵで実行することも可能である。
【0051】
センサ情報取得部３０３は、釣り動作実行装置１０及び釣り操作装置２０に設置された各種センサによって検出された情報（センサ情報）を取得する。例えば、センサ情報取得部３０３は、ロータリーエンコーダ１０６～１０８，２０６～２０８によって検出された各アクチュエータの移動子の位置（回転角度）を示す情報を取得する。
画像取得部３０４は、遠隔釣りモードにおいて、カメラＣによって撮影された釣り場の画像（遠隔的な釣りの画像）を取得し、取得した遠隔的な釣りの画像のデータを制御装置３０に送信する。また、画像取得部３０４は、仮想釣りモードにおいて、仮想釣りプラットフォーム部３０２によって描画された仮想的な釣りの画像を取得する。画像取得部３０４によって取得された遠隔的な釣りの画像及び仮想的な釣りの画像（釣りの視覚情報）は、物理特性推定部３０５において物理特性の推定に用いられる。
画像取得部３０４は、遠隔釣りモードにおいて、カメラＣによって撮影された釣り場の画像（遠隔的な釣りの画像）を取得し、取得した遠隔的な釣りの画像のデータを制御装置３０に送信する。また、画像取得部３０４は、仮想釣りモードにおいて、仮想釣りプラットフォーム部３０２によって描画された仮想的な釣りの画像を取得する。画像取得部３０４によって取得された遠隔的な釣りの画像及び仮想的な釣りの画像（釣りの視覚情報）は、物理特性推定部３０５において物理特性の推定に用いられる。
【0052】
物理特性推定部３０５は、画像取得部３０４によって取得された釣りの視覚情報（遠隔的な釣りの画像及び仮想的な釣りの画像）に基づいて、釣りの視覚情報内に含まれる物体の物理特性を推定する。具体的には、物理特性推定部３０５は、釣りの視覚情報から物体の各部の位置を検出し、物体の各部の位置からしなりあるいは歪み等の形状変化を特定する。そして、物理特性推定部３０５は、特定した形状変化に基づいて、与えられたパラメータ（仮想的な剛性の値等）を用いて、物体の物理特性（作用する力等）を推定する。本実施形態において、物理特性推定部３０５は、物理特性として、釣りの視覚情報に含まれる釣り竿の動きを規定する力の情報を推定するものとする（図２参照）。物理特性推定部３０５は、推定した物理特性（力の情報）を力触覚制御部３０６に出力する。
【0053】
力触覚制御部３０６は、図３に示す制御アルゴリズムに従って、物理特性推定部３０５によって推定された物理特性（力の情報）を基準値として入力することにより、釣り操作装置２０における力触覚の出力を制御する。例えば、力触覚制御部３０６は、仮想釣りモードにおいて、仮想的な釣りの画像から推定された力の情報を基準値として入力することにより、釣り操作装置２０のリール駆動用アクチュエータ２０３、鉛直動作用アクチュエータ２０４及び水平動作用アクチュエータ２０５において釣りの動作を疑似的に再現する制御を実行する。また、力触覚制御部３０６は、遠隔釣りモードにおいて、遠隔的な釣りの画像から推定された力の情報を基準値として入力することにより、釣り操作装置２０のリール駆動用アクチュエータ２０３、鉛直動作用アクチュエータ２０４及び水平動作用アクチュエータ２０５において釣りの動作を疑似的に再現する制御を実行する。なお、推定された力の情報に加え、釣りの視覚情報から特定される位置の情報を基準値として入力することにより、釣り操作装置２０におけるグリップ部２１の姿勢も、釣りの視覚情報に対応させることができ、より正確に疑似的な動作を再現することができる。
【0054】
また、力触覚制御部３０６は、仮想釣りモードにおいて、釣り操作装置２０に入力された操作に対応する動作を仮想的な釣りの中で釣り竿に実行させる信号を仮想釣りプラットフォーム部３０２に出力する。即ち、仮想釣りモードにおいて、力触覚制御部３０６は、釣り操作装置２０を仮想的な釣りのコントローラとして機能させる制御を実行する。
また、力触覚制御部３０６は、遠隔釣りモードにおいて、釣り操作装置２０に入力された操作を表す信号を釣り動作実行装置１０に送信する。即ち、遠隔釣りモードにおいて、力触覚制御部３０６は、釣り操作装置２０を釣り動作実行装置１０のリモートコントローラとして機能させる制御を実行する。
また、力触覚制御部３０６は、遠隔釣りモードにおいて、釣り操作装置２０に入力された操作を表す信号を釣り動作実行装置１０に送信する。即ち、遠隔釣りモードにおいて、力触覚制御部３０６は、釣り操作装置２０を釣り動作実行装置１０のリモートコントローラとして機能させる制御を実行する。
【0055】
なお、力触覚制御部３０６が釣り動作実行装置１０及び釣り操作装置２０を制御した場合の一連の制御パラメータを時系列に記憶しておき、後に釣りの動作を再現したり、力触覚の提示方法を改良するためのデータ分析に用いたりすることとしてもよい。
【0056】
（動作）
次に、釣りシステム１が実行する処理について説明する。
次に、釣りシステム１が実行する処理について説明する。
【0057】
（力触覚提示処理）
図７は、釣りシステム１が実行する力触覚提示処理の流れを示すフローチャートである。
力触覚提示処理は、制御装置３０において、仮想釣りモードまたは遠隔釣りモードの実行が指示されることに対応して開始される。
図７は、釣りシステム１が実行する力触覚提示処理の流れを示すフローチャートである。
力触覚提示処理は、制御装置３０において、仮想釣りモードまたは遠隔釣りモードの実行が指示されることに対応して開始される。
【0058】
ステップＳ１において、画像取得部３０４は、釣りの視覚情報を表す画像データを取得する。具体的には、ＵＩ制御部３０１は、遠隔釣りモードにおける遠隔的な釣りの画像あるいは仮想釣りモードにおける仮想的な釣りの画像を取得する。
ステップＳ２において、物理特性推定部３０５は、画像取得部３０４によって取得された釣りの視覚情報（遠隔的な釣りの画像及び仮想的な釣りの画像）に基づいて、釣りの視覚情報内に含まれる物体の物理特性を推定する。
ステップＳ３において、センサ情報取得部３０３は、釣り操作装置２０に設置された各種センサによって検出された情報（センサ情報）を取得する。
ステップＳ２において、物理特性推定部３０５は、画像取得部３０４によって取得された釣りの視覚情報（遠隔的な釣りの画像及び仮想的な釣りの画像）に基づいて、釣りの視覚情報内に含まれる物体の物理特性を推定する。
ステップＳ３において、センサ情報取得部３０３は、釣り操作装置２０に設置された各種センサによって検出された情報（センサ情報）を取得する。
【0059】
ステップＳ４において、力触覚制御部３０６は、物理特性推定部３０５によって推定された物理特性（力の情報）を基準値、センサ情報取得部３０３によって取得されたセンサ情報を現在の値として、図３に示す制御アルゴリズムに基づく座標変換を行う。なお、推定された物理特性に加え、釣りの視覚情報から特定される物体の位置も基準値として入力することとしてもよい。
ステップＳ５において、力触覚制御部３０６は、力の領域での目標値に合わせるための制御量を算出する。なお、釣りの視覚情報から特定される物体の位置も基準値として入力されている場合、速度（位置）の領域での目標値に合わせるための制御量も算出される。
ステップＳ５において、力触覚制御部３０６は、力の領域での目標値に合わせるための制御量を算出する。なお、釣りの視覚情報から特定される物体の位置も基準値として入力されている場合、速度（位置）の領域での目標値に合わせるための制御量も算出される。
【0060】
ステップＳ６において、力触覚制御部３０６は、力の領域で算出された制御量（及び速度（位置）の領域で算出された制御量）を入力として、ステップＳ４における座標変換の逆変換を行う。
ステップＳ７において、力触覚制御部３０６は、逆変換によって算出された制御量に基づいて、各アクチュエータを制御する。
ステップＳ８において、力触覚制御部３０６は、力触覚提示処理の終了が指示されたか否かの判定を行う。
力触覚提示処理の終了が指示されていない場合、ステップＳ８においてＮＯと判定されて、処理はステップＳ１に移行する。
一方、力触覚提示処理の終了が指示された場合、ステップＳ８においてＹＥＳと判定されて、力触覚提示処理は終了する。
ステップＳ７において、力触覚制御部３０６は、逆変換によって算出された制御量に基づいて、各アクチュエータを制御する。
ステップＳ８において、力触覚制御部３０６は、力触覚提示処理の終了が指示されたか否かの判定を行う。
力触覚提示処理の終了が指示されていない場合、ステップＳ８においてＮＯと判定されて、処理はステップＳ１に移行する。
一方、力触覚提示処理の終了が指示された場合、ステップＳ８においてＹＥＳと判定されて、力触覚提示処理は終了する。
【0061】
以上のように、本実施形態に係る釣りシステム１によれば、視覚情報（対象物の画像）から得られる物体の物理特性に基づいて、その物体に作用する力の情報（力の大きさ、方向等）を推定し、視覚情報に対応する力の情報を釣り操作装置２０を介してユーザに提示する。例えば、釣りシステム１は、静止物体の形状変化を含む視覚情報から取得される物理特性に基づいて、その物体に作用する力の情報を推定する。
これにより、各種視覚情報が提示された場合に、その視覚情報から実際の物理特性に則した力を演算し、ユーザに提示することが可能となる。
このように、釣りシステム１によれば、視覚情報に対応した物理特性に基づく力の情報を提示することが可能となる。
これにより、各種視覚情報が提示された場合に、その視覚情報から実際の物理特性に則した力を演算し、ユーザに提示することが可能となる。
このように、釣りシステム１によれば、視覚情報に対応した物理特性に基づく力の情報を提示することが可能となる。
【0062】
（第２実施形態）
次に、本発明の第２実施形態について説明する。
第１実施形態の釣りシステム１において、遠隔釣りモードが実行される場合、魚が釣れた際に釣針から魚を取り外す動作及び餌を釣針に取り付ける動作等を遠隔地で待機する係員等が行う必要が生じる。
これに対し、本実施形態に係る釣りシステム１は、遠隔釣りモードを実行する場合に、人手の介在を極力減少させるために、釣り竿１１の自動交換機能を実装したものである。
以下、第１実施形態の釣りシステム１と異なる部分を主として説明し、同様の部分については、第１実施形態の説明を参照するものとする。
次に、本発明の第２実施形態について説明する。
第１実施形態の釣りシステム１において、遠隔釣りモードが実行される場合、魚が釣れた際に釣針から魚を取り外す動作及び餌を釣針に取り付ける動作等を遠隔地で待機する係員等が行う必要が生じる。
これに対し、本実施形態に係る釣りシステム１は、遠隔釣りモードを実行する場合に、人手の介在を極力減少させるために、釣り竿１１の自動交換機能を実装したものである。
以下、第１実施形態の釣りシステム１と異なる部分を主として説明し、同様の部分については、第１実施形態の説明を参照するものとする。
【0063】
（構成）
本実施形態に係る釣りシステム１の全体構成は、図１に示す第１実施形態の釣りシステム１と同様である。
図８は、本実施形態における釣り動作実行装置１０の設置状態を示す模式図である。
本実施形態において、釣り動作実行装置１０の周囲には、釣り竿供給部６００と、釣り竿置場７００とが設置されている。そして、本実施形態における釣りシステム１において、釣り動作実行装置１０は、魚を釣り上げた場合、魚を釣った状態の釣り竿１１ごと、釣り竿置場７００に解放すると共に、新たな釣り竿１１を釣り竿供給部６００から取り出して遠隔釣りモードの動作を継続する。
釣り竿供給部６００は、釣糸（釣針及び浮きを備えた釣糸）がセットされた釣り竿１１を複数保持しており、釣り動作実行装置１０によって、保持している新たな釣り竿１１が順次取り出される。なお、本実施形態においては、紙またはオブラート等の水に浸けることにより分解または破断する素材によって、釣り竿１１の先端に釣糸が束ねられている。そのため、釣り竿１１の先端を水に浸けることにより、釣糸が解きほぐされ、釣りを行うことが可能となる。
本実施形態に係る釣りシステム１の全体構成は、図１に示す第１実施形態の釣りシステム１と同様である。
図８は、本実施形態における釣り動作実行装置１０の設置状態を示す模式図である。
本実施形態において、釣り動作実行装置１０の周囲には、釣り竿供給部６００と、釣り竿置場７００とが設置されている。そして、本実施形態における釣りシステム１において、釣り動作実行装置１０は、魚を釣り上げた場合、魚を釣った状態の釣り竿１１ごと、釣り竿置場７００に解放すると共に、新たな釣り竿１１を釣り竿供給部６００から取り出して遠隔釣りモードの動作を継続する。
釣り竿供給部６００は、釣糸（釣針及び浮きを備えた釣糸）がセットされた釣り竿１１を複数保持しており、釣り動作実行装置１０によって、保持している新たな釣り竿１１が順次取り出される。なお、本実施形態においては、紙またはオブラート等の水に浸けることにより分解または破断する素材によって、釣り竿１１の先端に釣糸が束ねられている。そのため、釣り竿１１の先端を水に浸けることにより、釣糸が解きほぐされ、釣りを行うことが可能となる。
【0064】
本実施形態において、釣り竿供給部６００は、リボルバー式の釣り竿保持装置として構成され、円環状の支持部材６０１の外周に均等な間隔で８本の釣り竿１１が保持されている。各釣り竿１１は、円環状の支持部材６０１に対し、ゴムまたはシリコーン等の樹脂からなるホルダー６０２（例えば、円環の一部を切欠いた形状のホルダー）で脱着自在に保持されている。
【0065】
また、釣り竿供給部６００は、各ホルダー６０２に釣り竿１１の存在を検出するセンサ６０３を備えている。釣り竿供給部６００は、円環状の支持部材６０１の中心周りに回転可能に構成されており、センサ６０３の検出結果に基づいて、釣り動作実行装置１０が釣り竿１１を取り出す位置に、新たな釣り竿１１が供給されるよう釣り竿供給用アクチュエータ６０４によって回転される。
なお、釣り竿供給部６００におけるセンサ６０３の検出結果は、制御装置３０に送信されると共に、釣り竿供給部６００を回転させる釣り竿供給用アクチュエータ６０４の動作は、制御装置３０によって制御される。
なお、釣り竿供給部６００におけるセンサ６０３の検出結果は、制御装置３０に送信されると共に、釣り竿供給部６００を回転させる釣り竿供給用アクチュエータ６０４の動作は、制御装置３０によって制御される。
【0066】
釣り竿置場７００は、釣り竿供給部６００に対して、釣り動作実行装置１０を挟んだ反対側に設置されており、釣り動作実行装置１０から解放された、魚が釣られている状態の釣り竿１１を収容する。なお、釣り竿置場７００の底面に傾斜を設置し、解放された釣り竿１１が斜面の下方に摺動する構成としてもよい。また、釣り竿置場７００に氷等を収容する冷却部を設置し、釣り竿１１ごと解放された魚を冷却して収容する構成としてもよい。
【0067】
図９は、釣り動作実行装置１０の釣り竿設置部１２及び支持部１３の構成例を示す模式図である。また、図１０は、釣り動作実行装置１０が釣り竿供給部６００から釣り竿１１を取り出す動作の手順を示す模式図である。
図９に示すように、釣り動作実行装置１０の釣り竿設置部１２及び支持部１３は、釣り動作実行装置１０の本体１０Ａと、支柱１３１と、支持台１３２と、連結部１３３と、保持・解放用アクチュエータ１２１と、下側支持部１２２と、上側支持部１２３と、を備えている。
図９に示すように、釣り動作実行装置１０の釣り竿設置部１２及び支持部１３は、釣り動作実行装置１０の本体１０Ａと、支柱１３１と、支持台１３２と、連結部１３３と、保持・解放用アクチュエータ１２１と、下側支持部１２２と、上側支持部１２３と、を備えている。
【0068】
図９において、支柱１３１は、釣り竿１１を保持する際に釣り竿１１の下側を支持する下側支持部１２２を上端に備え、下端を支持台１３２に設置されている。
保持・解放用アクチュエータ１２１は、ボールねじ及びスライダーを備えた直動アクチュエータ等によって構成され、釣り竿１１を保持及び解放する際に、釣り竿１１の上側を支持する上側支持部１２３を鉛直方向に移動させる。具体的には、保持・解放用アクチュエータ１２１は、釣り竿１１を保持する場合、上側支持部１２３を上方に移動させ、下側支持部１２２と上側支持部１２３との間に釣り竿１１を位置させた後、上側支持部１２３を下方に移動させ、釣り竿１１を下側支持部１２２と上側支持部１２３とで挟み込んだ状態で固定する。また、保持・解放用アクチュエータ１２１は、釣り竿１１を解放する場合、上側支持部１２３を上方に移動させ、釣り竿１１が下側支持部１２２と上側支持部１２３との間に形成される空間から離脱可能な状態とする。なお、上側支持部１２３が上方に移動され、釣り竿１１が下側支持部１２２と上側支持部１２３との間に形成される空間から離脱可能な状態となると、釣り竿１１の先端側の重量によって滑り落ち、釣り竿１１は釣り竿設置部１２から離脱する。
保持・解放用アクチュエータ１２１は、ボールねじ及びスライダーを備えた直動アクチュエータ等によって構成され、釣り竿１１を保持及び解放する際に、釣り竿１１の上側を支持する上側支持部１２３を鉛直方向に移動させる。具体的には、保持・解放用アクチュエータ１２１は、釣り竿１１を保持する場合、上側支持部１２３を上方に移動させ、下側支持部１２２と上側支持部１２３との間に釣り竿１１を位置させた後、上側支持部１２３を下方に移動させ、釣り竿１１を下側支持部１２２と上側支持部１２３とで挟み込んだ状態で固定する。また、保持・解放用アクチュエータ１２１は、釣り竿１１を解放する場合、上側支持部１２３を上方に移動させ、釣り竿１１が下側支持部１２２と上側支持部１２３との間に形成される空間から離脱可能な状態とする。なお、上側支持部１２３が上方に移動され、釣り竿１１が下側支持部１２２と上側支持部１２３との間に形成される空間から離脱可能な状態となると、釣り竿１１の先端側の重量によって滑り落ち、釣り竿１１は釣り竿設置部１２から離脱する。
【0069】
支持台１３２は、板状の部材によって構成され、上面に支柱１３１及び保持・解放用アクチュエータ１２１が設置される。
連結部１３３は、支持台１３２を本体１０Ａに対して水平軸及び鉛直軸の周りに回転可能に連結する。即ち、支持台１３２は、本体１０Ａの上面に対して、水平方向及び鉛直方向に角度を変化させることができる。したがって、下側支持部１２２と上側支持部１２３とで保持された釣り竿１１は、本体１０Ａの上面に対して、水平方向及び鉛直方向に角度を変化させることが可能となる。なお、図９においては、支持台１３２と本体１０Ａとの間に異物等が入ることを避けるためのカバーが併せて示されている。
連結部１３３は、支持台１３２を本体１０Ａに対して水平軸及び鉛直軸の周りに回転可能に連結する。即ち、支持台１３２は、本体１０Ａの上面に対して、水平方向及び鉛直方向に角度を変化させることができる。したがって、下側支持部１２２と上側支持部１２３とで保持された釣り竿１１は、本体１０Ａの上面に対して、水平方向及び鉛直方向に角度を変化させることが可能となる。なお、図９においては、支持台１３２と本体１０Ａとの間に異物等が入ることを避けるためのカバーが併せて示されている。
【0070】
このような構成により、本実施形態における釣り動作実行装置１０は、図１０に示すように、釣り竿供給部６００から釣り竿１１を取り出し、釣り竿１１を保持した状態で釣りの動作を実行した後、釣り竿１１を釣り竿置場７００に解放することが可能となっている。
具体的には、釣り動作実行装置１０は、釣り竿１１を保持していない状態で釣り竿１１を取り出す動作を開始し、支持台１３２を水平な状態、かつ、保持・解放用アクチュエータ１２１が上側支持部１２３を上方に移動した状態で、正面から所定角度（例えば、９０度）右向きに水平に回転する。このとき、下側支持部１２２と上側支持部１２３との間の空間内に、釣り竿供給部６００に保持された釣り竿１１の１つが位置するように、釣り竿供給部６００と釣り動作実行装置１０の設置位置が調整されている。
具体的には、釣り動作実行装置１０は、釣り竿１１を保持していない状態で釣り竿１１を取り出す動作を開始し、支持台１３２を水平な状態、かつ、保持・解放用アクチュエータ１２１が上側支持部１２３を上方に移動した状態で、正面から所定角度（例えば、９０度）右向きに水平に回転する。このとき、下側支持部１２２と上側支持部１２３との間の空間内に、釣り竿供給部６００に保持された釣り竿１１の１つが位置するように、釣り竿供給部６００と釣り動作実行装置１０の設置位置が調整されている。
【0071】
そして、保持・解放用アクチュエータ１２１が上側支持部１２３を下方に移動させ、釣り竿１１を下側支持部１２２と上側支持部１２３とで挟み込んだ状態で固定する。
さらに、釣り動作実行装置１０は、支持台１３２を所定角度（例えば、９０度）左向きに水平に回転し、正面に釣り竿１１を移動させる。この動作により、釣り竿１１は釣り竿供給部６００のホルダーから取り外される。
そして、釣り動作実行装置１０は、釣り竿１１の先端を水に浸けることにより、紙等で束ねられている釣糸を解きほぐし、釣りを実行可能な状態とする。
さらに、釣り動作実行装置１０は、支持台１３２を所定角度（例えば、９０度）左向きに水平に回転し、正面に釣り竿１１を移動させる。この動作により、釣り竿１１は釣り竿供給部６００のホルダーから取り外される。
そして、釣り動作実行装置１０は、釣り竿１１の先端を水に浸けることにより、紙等で束ねられている釣糸を解きほぐし、釣りを実行可能な状態とする。
【0072】
また、釣り動作実行装置１０は、釣りの実行により魚が釣れた場合、魚が釣られている状態の釣り竿１１を保持したまま、支持台１３２を正面から所定角度（例えば、９０度）左向きに水平に回転する。
そして、保持・解放用アクチュエータ１２１が上側支持部１２３を上方に移動させ、釣り竿１１が下側支持部１２２と上側支持部１２３との間に形成される空間から離脱可能な状態とする。
すると、魚が釣られている状態の釣り竿１１は、釣り竿置場７００に解放される。
そして、保持・解放用アクチュエータ１２１が上側支持部１２３を上方に移動させ、釣り竿１１が下側支持部１２２と上側支持部１２３との間に形成される空間から離脱可能な状態とする。
すると、魚が釣られている状態の釣り竿１１は、釣り竿置場７００に解放される。
【0073】
なお、本実施形態において、リール１４付きの釣り竿１１を用いることが可能であると共に、リールなしの釣り竿１１（釣り竿１１に釣糸が設置されたもの）を用いることも可能である。
また、本実施形態で用いられる釣り竿１１に設置される釣針は、ルアー（疑似餌付きの釣針）とすることが可能であると共に、人手により釣針に餌が設置されたものとすることも可能である。
また、本実施形態で用いられる釣り竿１１に設置される釣針は、ルアー（疑似餌付きの釣針）とすることが可能であると共に、人手により釣針に餌が設置されたものとすることも可能である。
【0074】
（機能的構成）
次に、本実施形態における釣りシステム１の機能的構成について説明する。
図１１は、本実施形態における釣りシステム１の機能的構成を示すブロック図である。
図１１に示す機能的構成は、第１実施形態の図６に示す機能的構成に対し、釣り竿管理部３０７が追加されている点で異なる一方、他の部分は同様の構成となっている。
したがって、以下、異なる部分である釣り竿管理部３０７について説明する。
次に、本実施形態における釣りシステム１の機能的構成について説明する。
図１１は、本実施形態における釣りシステム１の機能的構成を示すブロック図である。
図１１に示す機能的構成は、第１実施形態の図６に示す機能的構成に対し、釣り竿管理部３０７が追加されている点で異なる一方、他の部分は同様の構成となっている。
したがって、以下、異なる部分である釣り竿管理部３０７について説明する。
【0075】
釣り竿管理部３０７は、釣り竿供給部６００の各センサ６０３で検出された検出結果を受信し、いずれのホルダー６０２に釣り竿１１が保持されているかを管理する。また、釣り竿管理部３０７は、釣り竿１１の交換が必要であるか否かを判定し、釣り竿１１の交換が必要であると判定された場合に、釣り竿供給部６００の釣り竿供給用アクチュエータ６０４を駆動し、釣り竿供給部６００の支持部材６０１を回転させて、釣り竿１１を釣り動作実行装置１０に供給可能な位置に停止させる。
なお、釣り竿１１の交換が必要であるか否かは、例えば、カメラＣによって撮影された釣り場の画像に基づいて、魚が釣れていることを検出したり、釣り操作装置２０のユーザが所定のボタン等を操作し、釣り竿１１の交換を求める信号が送信されていることを検出したりすることによって、判定することができる。
なお、釣り竿１１の交換が必要であるか否かは、例えば、カメラＣによって撮影された釣り場の画像に基づいて、魚が釣れていることを検出したり、釣り操作装置２０のユーザが所定のボタン等を操作し、釣り竿１１の交換を求める信号が送信されていることを検出したりすることによって、判定することができる。
【0076】
（動作）
次に、本実施形態の釣りシステム１が実行する釣り竿交換処理について説明する。
図１２は、釣りシステム１が実行する釣り竿交換処理の流れを説明するフローチャートである。
釣り竿交換処理は、釣り動作実行装置１０が遠隔釣りモードを実行する際に、常時実行される。
ステップＳ２１において、釣り竿管理部３０７は、釣り竿１１の交換が必要であるか否かの判定を行う。
釣り竿１１の交換が必要でない場合、ステップＳ２１においてＮＯと判定されて、処理はステップＳ２１に移行する。
一方、釣り竿１１の交換が必要である場合、ステップＳ２１においてＹＥＳと判定されて、処理はステップＳ２２に移行する。
次に、本実施形態の釣りシステム１が実行する釣り竿交換処理について説明する。
図１２は、釣りシステム１が実行する釣り竿交換処理の流れを説明するフローチャートである。
釣り竿交換処理は、釣り動作実行装置１０が遠隔釣りモードを実行する際に、常時実行される。
ステップＳ２１において、釣り竿管理部３０７は、釣り竿１１の交換が必要であるか否かの判定を行う。
釣り竿１１の交換が必要でない場合、ステップＳ２１においてＮＯと判定されて、処理はステップＳ２１に移行する。
一方、釣り竿１１の交換が必要である場合、ステップＳ２１においてＹＥＳと判定されて、処理はステップＳ２２に移行する。
【0077】
ステップＳ２２において、釣り竿管理部３０７は、釣り竿設置部１２を正面から所定角度（例えば、９０度）左向きに水平に回転させ、釣り竿置場に釣り竿１１を解放する。
ステップＳ２３において、釣り竿管理部３０７は、釣り竿設置部１２を正面から所定角度（例えば、９０度）右向きに水平に回転させ、釣り竿供給部６００から釣り竿１１を取り出す。
ステップＳ２４において、釣り竿管理部３０７は、釣り竿１１の先端を水に浸け、釣糸が解きほぐされた状態とする。
ステップＳ２５において、釣り竿管理部３０７は、釣り動作に復帰する。
ステップＳ２５の後、釣り竿交換処理が繰り返される。
ステップＳ２３において、釣り竿管理部３０７は、釣り竿設置部１２を正面から所定角度（例えば、９０度）右向きに水平に回転させ、釣り竿供給部６００から釣り竿１１を取り出す。
ステップＳ２４において、釣り竿管理部３０７は、釣り竿１１の先端を水に浸け、釣糸が解きほぐされた状態とする。
ステップＳ２５において、釣り竿管理部３０７は、釣り動作に復帰する。
ステップＳ２５の後、釣り竿交換処理が繰り返される。
【0078】
以上のように、本実施形態における釣りシステム１においては、釣り竿供給部６００及び釣り竿置場７００を備えており、釣り動作実行装置１０が自動的に釣り竿１１を交換することが可能である。
そのため、釣り竿供給部６００に釣り竿１１が保持されていない状態となった場合、あるいは、釣り竿置場７００の釣り竿１１及び魚を回収するタイミング等に、係員が人手による動作を行えばよいこととなり、魚が釣れる毎に魚の取り外しを行う等の必要がなくなる。
したがって、遠隔釣りモードが実行される際に、人手による負担を軽減することが可能となる。
そのため、釣り竿供給部６００に釣り竿１１が保持されていない状態となった場合、あるいは、釣り竿置場７００の釣り竿１１及び魚を回収するタイミング等に、係員が人手による動作を行えばよいこととなり、魚が釣れる毎に魚の取り外しを行う等の必要がなくなる。
したがって、遠隔釣りモードが実行される際に、人手による負担を軽減することが可能となる。
【0079】
なお、本発明は、本発明の効果を奏する範囲で変形、改良等を適宜行うことができ、上述の実施形態及び変形例に限定されない。
例えば、本発明は、上述の実施形態における釣りシステム１は、釣り動作実行装置１０、釣り操作装置２０あるいは制御装置３０によって実現することの他、釣りシステム１において実行される各ステップによって構成される釣りシステムの制御方法、あるいは、釣りシステム１の機能を実現するためにプロセッサによって実行されるプログラムとして実現することができる。
例えば、本発明は、上述の実施形態における釣りシステム１は、釣り動作実行装置１０、釣り操作装置２０あるいは制御装置３０によって実現することの他、釣りシステム１において実行される各ステップによって構成される釣りシステムの制御方法、あるいは、釣りシステム１の機能を実現するためにプロセッサによって実行されるプログラムとして実現することができる。
【0080】
また、上述の実施形態では、制御装置３０を独立した装置として実現する構成を例に挙げて説明したが、制御装置３０の機能を釣り動作実行装置１０の制御ユニット１０１及び釣り操作装置２０の制御ユニット２０１の一方に実装したり、これらの両方に分散して実装したりすることができる。
また、上述の実施形態では、図３に示すアルゴリズムに基づいて、釣り操作装置２０において力触覚を提示するものとしたら、これに限られない。即ち、視覚情報から力の情報を推定し、力触覚を提示する各種アルゴリズムに従って、推定した力の情報を釣り操作装置２０において提示することとしてもよい。
また、上述の実施形態では、図３に示すアルゴリズムに基づいて、釣り操作装置２０において力触覚を提示するものとしたら、これに限られない。即ち、視覚情報から力の情報を推定し、力触覚を提示する各種アルゴリズムに従って、推定した力の情報を釣り操作装置２０において提示することとしてもよい。
【0081】
また、上述の実施形態において、釣り動作実行装置１０及び釣り操作装置２０は、リール１４，２３を備えるものとしたが、これに限られない。即ち、リールを備えることなく、鉛直方向の回転及び水平方向の回転のみによって釣りの動作が行われる形態にも、本発明を適用することができる。さらに、鉛直方向の回転及び水平方向の回転のいずれか一方において、釣りの視覚情報に応じて、釣り操作装置２０が力触覚の提示を行うこととしてもよい。
また、上述の実施形態において、移動子の位置（回転角度）等を検出する場合に、ロータリーエンコーダ等を用いる例について説明したが、これに限られない。例えば、ポテンショメータ、角度センサあるいはレーザー測距装置等の各種計測装置を用いたり、アクチュエータの動作から推測して位置を求めたりすることが可能である。
また、上述の実施形態において、移動子の位置（回転角度）等を検出する場合に、ロータリーエンコーダ等を用いる例について説明したが、これに限られない。例えば、ポテンショメータ、角度センサあるいはレーザー測距装置等の各種計測装置を用いたり、アクチュエータの動作から推測して位置を求めたりすることが可能である。
【0082】
また、上述の実施形態においては、遠隔釣りモードあるいは仮想釣りモード等の釣りの動作に関して、視覚情報に対応する力触覚を提示する例について説明したが、これに限られない。本発明は、視覚情報に対応する力触覚を提示可能な種々のものに適用することが可能であり、例えば、ヨット等が帆に風を受ける視覚情報に対応して、ヨットの帆を制御するコントローラに力触覚を提示すること等が可能である。
また、上述の実施形態においては、仮想的な釣りのプラットフォームを制御装置３０に実装する場合を例に挙げて説明したが、これに限られない。即ち、外部のシステムにおいて提供される仮想的な釣りのプラットフォーム上で実行される仮想釣りの画面（視覚情報）を取得して本発明を適用し、仮想的な釣りのプラットフォームが提供する機能に付加する形態で、仮想的な釣りのコントローラに対して力触覚を提示させることとしてもよい。
また、上述の実施形態においては、仮想的な釣りのプラットフォームを制御装置３０に実装する場合を例に挙げて説明したが、これに限られない。即ち、外部のシステムにおいて提供される仮想的な釣りのプラットフォーム上で実行される仮想釣りの画面（視覚情報）を取得して本発明を適用し、仮想的な釣りのプラットフォームが提供する機能に付加する形態で、仮想的な釣りのコントローラに対して力触覚を提示させることとしてもよい。
【0083】
なお、上記実施形態は、本発明を適用した一例を示しており、本発明の技術的範囲を限定するものではない。即ち、本発明は、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができ、上記実施形態以外の各種実施形態を取ることが可能である。本発明が取ることができる各種実施形態及びその変形は、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0084】
Ｓ 制御対象システム、ＦＴ 機能別力・速度割当変換ブロック、ＦＣ 理想力源ブロック、ＰＣ 理想速度源ブロック、ＩＦＴ 逆変換ブロック、１ 釣りシステム、１０ 釣り動作実行装置、１０Ａ 本体、１１ 釣り竿、１２ 釣り竿設置部、１３，２２ 支持部、１４，２３ リール、２０ 釣り操作装置、２１ グリップ部、３０ 制御装置、４０ ネットワーク、Ｃ カメラ、Ｄ ディスプレイ、１０１，２０１ 制御ユニット、１０２，２０２ 通信ユニット、１０３，２０３ リール駆動用アクチュエータ、１０４，２０４ 鉛直動作用アクチュエータ、１０５，２０５ 水平動作用アクチュエータ、１０６～１０８，２０６～２０８ ロータリーエンコーダ、１０９～１１１，２０９～２１１ ドライバ、１２１ 保持・解放用アクチュエータ、１２２ 下側支持部、１２３ 上側支持部、１３１ 支柱、１３２ 支持台、１３３ 連結部、３０１ ユーザインターフェース制御部（ＵＩ制御部）、３０２ 仮想釣りプラットフォーム部、３０３ センサ情報取得部、３０４ 画像取得部、３０５ 物理特性推定部、３０６ 力触覚提示部、３０７ 釣り竿管理部、３７１ 仮想釣りパラメータデータベース（仮想釣りパラメータＤＢ）、６００ 釣り竿供給部、６０１ 支持部材、６０２ ホルダー、６０３ センサ、６０４ 釣り竿供給用アクチュエータ、７００ 釣り竿置場、８１１ プロセッサ、８１２ ＲＯＭ、８１３ ＲＡＭ、８１４ バス、８１５ 入力部、８１６ 出力部、８１７ 記憶部、８１８ 通信部、８１９ ドライブ、８３１ リムーバブルメディア
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】