知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024130004
(43)【公開日】2024-09-30
(54)【発明の名称】システム、端末装置及びプログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20240920BHJP
G01S 5/12 20060101ALI20240920BHJP
【ＦＩ】
H04N7/18 G
G01S5/12
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023039461
(22)【出願日】2023-03-14
(71)【出願人】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100108213
【弁理士】
【氏名又は名称】阿部 豊隆
(74)【代理人】
【識別番号】100139066
【弁理士】
【氏名又は名称】伊藤 健太郎
(72)【発明者】
【氏名】南百▲瀬▼ 勇
【テーマコード（参考）】
5C054
5J062
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054DA07
5C054EA05
5C054FE14
5C054FE19
5C054GB02
5C054GB05
5C054HA31
5J062AA01
5J062BB05
5J062CC14
(57)【要約】
【課題】移動するタグを追従して表示することができるシステムを提供する。
【解決手段】システム１００は、作業動作を撮影するカメラ２により得られる画像を表示画面に表示させるシステム１００であって、作業動作を行う対象に取り付けるタグＴと、タグＴの位置を測定するセンサ３と、センサ３により測定されるタグＴの位置を、カメラ２により得られる画像に対応付けて表示させる端末装置１と、を備える。
【選択図】図１
【解決手段】システム１００は、作業動作を撮影するカメラ２により得られる画像を表示画面に表示させるシステム１００であって、作業動作を行う対象に取り付けるタグＴと、タグＴの位置を測定するセンサ３と、センサ３により測定されるタグＴの位置を、カメラ２により得られる画像に対応付けて表示させる端末装置１と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
作業動作を撮影するカメラにより得られる画像を表示画面に表示させるシステムであって、
前記作業動作を行う対象に取り付けるタグと、
前記タグの位置を測定するセンサと、
前記センサにより測定される前記タグの位置を、前記カメラにより得られる画像に対応付けて表示させる端末装置と、
を備えるシステム。
前記作業動作を行う対象に取り付けるタグと、
前記タグの位置を測定するセンサと、
前記センサにより測定される前記タグの位置を、前記カメラにより得られる画像に対応付けて表示させる端末装置と、
を備えるシステム。
【請求項2】
前記タグの位置は、三次元の位置情報により表される、
請求項１記載のシステム。
請求項１記載のシステム。
【請求項3】
前記センサは、前記タグの位置として、前記センサと前記タグとの距離及び前記センサと前記タグとの二種類の角度を測定し、
前記端末装置は、前記センサにより測定される前記距離及び前記二種類の角度からなる三次元の極座標を三次元の直交座標に変換し、当該三次元の直交座標を、前記タグの位置として、前記カメラにより得られる画像に対応付けて表示させる、
請求項２記載のシステム。
前記端末装置は、前記センサにより測定される前記距離及び前記二種類の角度からなる三次元の極座標を三次元の直交座標に変換し、当該三次元の直交座標を、前記タグの位置として、前記カメラにより得られる画像に対応付けて表示させる、
請求項２記載のシステム。
【請求項4】
前記端末装置は、前記カメラにより得られる画像の撮影時間と前記センサにより測定される前記タグの位置の測定時間とで同期をとったログデータを蓄積する、
請求項３記載のシステム。
請求項３記載のシステム。
【請求項5】
前記端末装置は、前記カメラの視野角と前記表示画面の幅とに基づいて、前記三次元の直交座標に対応する前記表示画面上の座標を算出し、当該算出した前記表示画面上の座標に、前記タグの位置を表す指標を表示させる、
請求項３記載のシステム。
請求項３記載のシステム。
【請求項6】
前記端末装置は、前記カメラと前記センサとの位置関係に基づいて、前記タグの位置を補正して表示させる、
請求項１記載のシステム。
請求項１記載のシステム。
【請求項7】
前記端末装置は、前記カメラにより得られる画像の撮影時間と前記センサにより測定される前記タグの位置の測定時間とで同期をとったログデータを蓄積する、
請求項１記載のシステム。
請求項１記載のシステム。
【請求項8】
前記カメラは、ステレオカメラであり、
前記端末装置は、前記三次元の位置情報に基づいて、前記タグの位置を、前記ステレオカメラにより得られる三次元の画像に対応付けて表示させる、
請求項２記載のシステム。
前記端末装置は、前記三次元の位置情報に基づいて、前記タグの位置を、前記ステレオカメラにより得られる三次元の画像に対応付けて表示させる、
請求項２記載のシステム。
【請求項9】
作業動作を撮影するカメラにより得られる画像を表示画面に表示させる端末装置であって、
前記カメラにより得られる画像を取得する第１取得部と、
前記作業動作を行う対象に取り付けられたタグの位置を取得する第２取得部と、
前記第２取得部により取得される前記タグの位置を、前記第１取得部により取得される前記画像に対応付けて表示させる制御部と、
を備える端末装置。
前記カメラにより得られる画像を取得する第１取得部と、
前記作業動作を行う対象に取り付けられたタグの位置を取得する第２取得部と、
前記第２取得部により取得される前記タグの位置を、前記第１取得部により取得される前記画像に対応付けて表示させる制御部と、
を備える端末装置。
【請求項10】
コンピュータを、
作業動作を撮影するカメラにより得られる画像を取得する第１取得部、
前記作業動作を行う対象に取り付けられたタグの位置を取得する第２取得部、
前記第２取得部により取得される前記タグの位置を、前記第１取得部により取得される前記画像に対応付けて表示画面に表示させる制御部、
として機能させるプログラム。
作業動作を撮影するカメラにより得られる画像を取得する第１取得部、
前記作業動作を行う対象に取り付けられたタグの位置を取得する第２取得部、
前記第２取得部により取得される前記タグの位置を、前記第１取得部により取得される前記画像に対応付けて表示画面に表示させる制御部、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を表示させるシステム、端末装置及びプログラムに関する。
【背景技術】
【0002】
下記特許文献１には、ＡＲインタフェースをディスプレイに表示するデバイスが開示されている。このデバイスは、収納棚の上に置かれたタグを検出すると、その検出したタグの上又はその近くにオブジェクト（例えば、バルーン、星形、フラッシングライトなど）を表示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表２０２２－５２９５８４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１のデバイスは、静止したタグを検出し、その検出したタグの上などにオブジェクトを表示させている。しかしながら、例えば、人物にタグを取り付けると、タグは人物の動きに合わせて移動することになる。この場合、移動するタグを追従しながらオブジェクトを表示させる仕組みが必要になるため、改善の余地がある。
【0005】
このような事情に鑑み、本発明は、移動するタグを追従して表示させることができるシステム、端末装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係るシステムは、作業動作を撮影するカメラにより得られる画像を表示画面に表示させるシステムであって、作業動作を行う対象に取り付けるタグと、タグの位置を測定するセンサと、センサにより測定されるタグの位置を、カメラにより得られる画像に対応付けて表示させる端末装置と、を備える。
【0007】
この態様によれば、カメラで撮影している作業動作を行う対象に取り付けられたタグの位置をセンサで測定し、測定したタグの位置を、カメラで撮影している画像に対応付けて表示させることが可能となる。
【0008】
上述した態様において、タグの位置は、三次元の位置情報により表されてもよい。
【0009】
この態様によれば、作業動作の動きを立体的に捉えることが可能となる。
【0010】
上述した態様において、センサは、タグの位置として、センサとタグとの距離及びセンサとタグとの二種類の角度を測定し、端末装置は、センサにより測定される距離及び二種類の角度からなる三次元の極座標を三次元の直交座標に変換し、当該三次元の直交座標をタグの位置として、カメラにより得られる画像に対応付けて表示さてもよい。
【0011】
この態様によれば、センサとタグとの距離及び二種類の角度を測定し、測定した距離及び二種類の角度を要素にする三次元の極座標から変換した三次元の直交座標をタグの位置として、カメラで撮影している画像に対応付けて表示させることが可能となる。
【0012】
上述した態様において、端末装置は、カメラにより得られる画像の撮影時間とセンサにより測定されるタグの位置の測定時間とで同期をとったログデータを蓄積してもよい。
【0013】
この態様によれば、カメラで撮影した画像を録画し、その録画した画像を再生したときに、ログデータを用いて、撮影画像上にタグの指標を表示させることが可能となる。
【0014】
上述した態様において、端末装置は、カメラの視野角と表示画面の幅とに基づいて、三次元の直交座標に対応する表示画面上の座標を算出し、当該算出した表示画面上の座標に、タグの位置を表す指標を表示させてもよい。
【0015】
この態様によれば、カメラで撮影している作業動作を行う対象に取り付けられたタグの位置を表す指標を、カメラで撮影している画像に対応付けて表示させることが可能となる。
【0016】
上述した態様において、端末装置は、カメラとセンサとの位置関係に基づいて、タグの位置を補正して表示させてもよい。
【0017】
この態様によれば、カメラとセンサとの位置関係により生ずるずれを解消した箇所に、タグの位置を表す指標を表示させることができるため、タグの動きをより的確に追従することが可能となる。
【0018】
上述した態様において、端末装置は、カメラにより得られる画像の撮影時間とセンサにより測定されるタグの位置の測定時間とで同期をとったログデータを蓄積してもよい。
【0019】
この態様によれば、カメラで撮影した画像を録画し、その録画した画像を再生したときに、ログデータを用いて、撮影画像上にタグの指標を表示させることが可能となる。
【0020】
上述した態様において、カメラは、ステレオカメラであり、端末装置は、三次元の位置情報に基づいて、タグの位置を、ステレオカメラにより得られる三次元の画像に対応付けて表示させてもよい。
【0021】
この態様によれば、ステレオカメラにより立体視される三次元空間内に、三次元の直交座標により表されるタグの軌跡を表示させることが可能となる。
【0022】
また、本発明の他の態様に係る端末装置は、作業動作を撮影するカメラにより得られる画像を表示画面に表示させる端末装置であって、カメラにより得られる画像を取得する第１取得部と、作業動作を行う対象に取り付けられたタグの位置を取得する第２取得部と、第２取得部により取得されるタグの位置を、第１取得部により取得される画像に対応付けて表示させる制御部と、を備える。
【0023】
この態様によれば、カメラで撮影している作業動作を行う対象に取り付けられたタグの位置をセンサで測定し、測定したタグの位置を、カメラで撮影している画像に対応付けて表示させることが可能となる。
【0024】
また、本発明の他の態様に係るプログラムは、コンピュータを、作業動作を撮影するカメラにより得られる画像を取得する第１取得部、作業動作を行う対象に取り付けられたタグの位置を取得する第２取得部、第２取得部により取得されるタグの位置を、第１取得部により取得される画像に対応付けて表示画面に表示させる制御部、として機能させる。
【0025】
この態様によれば、カメラで撮影している作業動作を行う対象に取り付けられたタグの位置をセンサで測定し、測定したタグの位置を、カメラで撮影している画像に対応付けて表示させることが可能となる。
【発明の効果】
【0026】
本発明によれば、移動するタグを追従して表示させることができるシステム、端末装置及びプログラムを提供することができる。
【図面の簡単な説明】
【0027】
【図1】実施形態に係るシステムの構成を例示する構成図である。
【図2】実施形態に係るシステムに含まれるセンサの構成を例示する構成図である。
【図3】実施形態に係るシステムに含まれる端末装置の動作の一例を説明するフローチャートである。
【図4】変形例に係るカメラとセンサとの位置関係を説明するための模式図である。
【図5】変形例に係るステレオカメラとセンサとの位置関係を説明するための模式図である。
【発明を実施するための形態】
【0028】
添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。ただし、図面は模式的なものであり、具体的な寸法などは以下の説明を照らし合わせて判断するべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
【0029】
【0030】
システム１００の各構成要素を説明する前に、本発明が適用される場面の一例について説明する。実施形態に係るシステム１００は、例えば、手や腕などにタグＴを取り付けた作業者が、部品や治工具などを用いる作業動作を行っている様子をカメラ２で撮影するとともに、作業動作に伴って移動するタグＴの位置をセンサ３で測定する。この場合、カメラ２とセンサ３は、作業動作を行う作業者に対し、固定された位置に配置されることが好ましい。端末装置１は、撮影画像とタグＴの位置情報とを取得し、撮影画像上にタグＴの位置を重ねて表示させる。これにより、作業者に取り付けられたタグＴが、作業者の動作に伴って移動する様子を、作業動作を表示している画像上で確認することができる。
【0031】
ここで、タグＴを取り付けるのは、作業者に限定されない。例えば、作業者が作業を行う際に用いる部品や治工具などにタグＴを取り付けてもよい。つまり、作業動作を行う対象にタグＴを取り付けることが好ましい。
【0032】
このような場面を実現するシステム１００の各構成要素について、以下に説明する。
【0033】
カメラ２は、例えば、手や腕などにタグＴを取り付けた作業者が作業動作を行っている様子を撮影する。タグＴは、電子タグであり、パッシブタグであっても、アクティブタグであってもよい。
【0034】
センサ３は、タグＴの位置を測定する。図２に、実施形態におけるセンサ３の構成の一例を示す。
【0035】
センサ３は、例えば、三つのアンテナ３１ａ、３１ｂ、３１ｃ（以下、「アンテナ３１」ともいう。）と、マイコン（マイクロコントローラ）３２と、を基板３３上に配置して構成される。
【0036】
なお、カメラ２は、センサ３と別個に設けてもよいが、センサ３の基板３３上に配置することが好ましい。より好ましくは、図２に例示するように、アンテナ３１ｂの下側かつアンテナ３１ｃの右側に形成される空き領域であって、後述する三次元の極座標系及び直交座標系の原点Ｏにできるだけ近い位置にカメラ２を配置することが好ましい。これにより、カメラ２により得られる画像に含まれるタグＴの位置と、アンテナ３１により測定されるタグＴの位置とのずれ量（誤差）を減らすことが可能となる。
【0037】
アンテナ３１は、例えば、ＵＷＢ（Ultra Wide Band）アンテナなどの超広帯域無線通信方式に対応するアンテナであることが好ましい。この場合、ＵＷＢなどの超広帯域無線通信方式に対応する電波をタグＴから発信させるのがよい。
【0038】
センサ３のマイコン３２は、例えば、三つのアンテナ３１とタグＴとの間でやり取りされる無線通信の電波を利用して、センサ３とタグＴとの距離、センサ３とタグＴとの水平角（Azimuth）及びセンサ３とタグＴとの仰角（Elevation）をそれぞれ測定する。ここで、センサ３とタグＴとの距離、水平角及び仰角は、それぞれセンサ３の特定位置とタグＴの特定位置とを基準にして測定することが好ましい。各特定位置は、重心であってもよいし、中心であってもよく、任意に定めることができる。
【0039】
センサ３とタグＴとの距離は、例えば、公知のＴｏＡ（Time of Arrive）方式を用いて測定することができる。ＴｏＡ方式では、送信機と受信機との間の電波の伝搬遅延時間を用いて、送信機と受信機との間の距離を測定する（距離＝時間×光速）。
【0040】
センサ３とタグＴとの水平角及び仰角は、例えば、公知のＡｏＡ（Angle of Arrival）方式を用いて測定することができる。ＡｏＡ方式では、受信機の複数のアンテナを利用し、送信機から発信される電波を複数のアンテナで受信する際に生ずる電波信号の位相差を用いて送信機との角度を測定する。
【0041】
センサ３は、測定した距離、水平角及び仰角を、タグＴの位置情報として端末装置１に送信する。
【0042】
図１に示す端末装置１は、物理的な構成として、例えば、プロセッサ１１と、通信インタフェース１２と、記憶装置１３と、を備える。
【0043】
プロセッサ１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などである。プロセッサ１１は、記憶装置１３に記憶されているプログラムを実行することで、端末装置１の各種機能を実現する。
【0044】
通信インタフェース１２は、カメラ２やセンサ３などを含む外部機器と接続して通信するためのインタフェースである。
【0045】
記憶装置１３は、例えば、ディスクドライブ又は半導体メモリなどのコンピュータ読み取り可能な記録媒体である。記憶装置１３は、端末装置１の各種機能を実現するためのプログラム及びそのプログラムで使用される各種のデータなどを記憶する。
【0046】
端末装置１は、機能的な構成として、例えば、取得部１１ａ及び制御部１１ｂを有する。取得部１１ａ及び制御部１１ｂについて、以下に説明する。
【0047】
取得部１１ａは、カメラ２により得られる画像を取得するとともに、センサ３により測定される距離、水平角及び仰角を含むタグＴの位置情報を取得する。
【0048】
制御部１１ｂは、センサ３とタグＴとの距離、水平角及び仰角を要素とする三次元の極座標を、三次元の直交座標に変換する。
【0049】
ここで、タグＴとの距離をｒとし、タグＴとの水平角をθとし、タグＴとの仰角をφとし、これらを要素とするタグＴの三次元極座標を（ｒ、θ、φ）と表し、その極座標に対応するタグＴの三次元直交座標を（ｘａ、ｙａ、ｚａ）と表すことにする。
【0050】
三次元の極座標系及び直交座標系の原点Ｏは、図２に示すように、三つのアンテナ３１による領域の横方向と縦方向の中心に設定することが好ましい。具体的に、アンテナ３１ａとアンテナ３１ｂの中央線Ｌａｂと、アンテナ３１ａとアンテナ３１ｃの中央線Ｌａｃと、の交点に、原点Ｏを設定することができる。三次元の直交座標系のｘ軸は、基板３３平面に対して垂直な軸（図２紙面上の基板３３平面の前後方向に延びる軸）であり、ｙ軸は、同紙面上の基板３３平面の横（左右）方向に延びる軸であり、ｚ軸は、同紙面上の基板３３平面の縦（上下）方向に延びる軸である。
【0051】
上記の各条件において、タグＴの三次元の極座標（ｒ、θ、φ）を、タグＴの三次元の直交座標（ｘａ、ｙａ、ｚａ）に変換する式は、以下（１）式乃至（３）式により表すことができる。
【0052】
ｘａ＝ｒ×ｃｏｓθ … （１）
ｙａ＝ｒ×ｓｉｎθ … （２）
ｚａ＝ｒ×ｓｉｎφ … （３）
ｙａ＝ｒ×ｓｉｎθ … （２）
ｚａ＝ｒ×ｓｉｎφ … （３）
【0053】
図１の制御部１１ｂは、カメラ２の視野角と、画像を表示する表示画面（モニター）の幅と、に基づいて、タグＴの三次元の直交座標（実空間の座標）に対応する表示画面の座標を算出する。以下に、具体的に説明する。なお、表示画面は、端末装置１に設けられていてもよいし、端末装置１とは別の装置に設けられていてもよい。
【0054】
カメラには視野角があるため、カメラで撮影する際に、実際に写る範囲（以下、「画像のフレーム幅」という。）は、カメラに近いほど狭くなり、カメラから遠いほど広くなる。この原理に基づいて、カメラ２の視野角をαとし、タグＴが写っている位置の画像のフレーム幅をｗｆとすると、この画像のフレーム幅ｗｆは、タグＴの三次元の直交座標を構成する（１）式のｘａ（カメラ２とタグＴとの距離に相当する）を用いて、以下の（４）式のように求めることができる。ここで、math.radians（）は、度数法の角度[°]をラジアン[rad]に変換する関数である。
ｗｆ＝ｘａ×math.radians(α) … （４）
ｗｆ＝ｘａ×math.radians(α) … （４）
【0055】
続いて、表示画面の幅をｗｍとし、タグＴが写っている位置における画像のフレーム幅ｗｆに対する表示画面の幅ｗｍの比率をｒｗとすると、この比率ｒｗは、以下の（５）式のように表すことができる。
ｒｗ＝ｗｍ／ｗｆ … （５）
なお、ここでは、視野角として、横（水平）方向の視野角を用いて説明するが、縦（上下）方向の視野角であってもよい。縦方向の視野角を用いる場合には、画像のフレーム高さと、表示画面の高さとを用い、上記と同様にして比率を表すことができる。
ｒｗ＝ｗｍ／ｗｆ … （５）
なお、ここでは、視野角として、横（水平）方向の視野角を用いて説明するが、縦（上下）方向の視野角であってもよい。縦方向の視野角を用いる場合には、画像のフレーム高さと、表示画面の高さとを用い、上記と同様にして比率を表すことができる。
【0056】
続いて、タグＴの三次元の直交座標を構成する（２）式のｙａ（表示画面の横方向の成分に相当する）及び（３）式のｚａ（表示画面の縦方向の成分に相当する）を、タグＴが写っている位置における（５）式の比率ｒｗを用いて、表示画面上でのｘ、ｙ成分に換算する。具体的には、以下の（６）式及び（７）式のように、表示画面上でのタグＴのｘ座標成分ｘｔ及びｙ座標成分ｙｔを求める。このｘｔ及びｙｔは、表示画面の中心に設けられる基準位置の座標からのずれを示す成分となる。
ｘｔ＝ｙａ×ｒｗ … （６）
ｙｔ＝ｚａ×ｒｗ … （７）
ｘｔ＝ｙａ×ｒｗ … （６）
ｙｔ＝ｚａ×ｒｗ … （７）
【0057】
タグＴの三次元の直交座標に対応する表示画面上のｘｙ座標ｐｔは、表示画面の中心に設けられる基準位置の座標（ｘ、ｙ）と、（６）式及び（７）式で求めたｘｔ及びｙｔとを用いて、以下の（８）式のように算出することができる。
ｐｔ＝（int（ｘ－ｘｔ）、int（ｙ＋ｙｔ）） … （８）
ここで、（８）式のint（）は、変数を整数型で表すための関数である。
ｐｔ＝（int（ｘ－ｘｔ）、int（ｙ＋ｙｔ）） … （８）
ここで、（８）式のint（）は、変数を整数型で表すための関数である。
【0058】
制御部１１ｂは、例えば、（４）式乃至（８）式を用いて、タグＴの三次元直交座標（ｘａ、ｙａ、ｚａ）に対応する表示画面上の座標ｐｔを算出し、その算出した座標ｐｔに、タグＴの位置を表す指標を表示させる。タグＴの位置を表す指標は、表示画面を見てタグＴが移動していることを判別できるものであればよく、指標の形や色、大きさなどは任意に設定することができる。
【0059】
図３を参照して、実施形態に係るシステム１００に含まれる端末装置１の動作の一例について説明する。
【0060】
ここで、以下に説明する端末装置１の動作と並行して、カメラ２が、作業者の作業動作を撮影し、センサ３が、作業者に取り付けられたタグＴの位置を測定していることとする。
【0061】
最初に、端末装置１の取得部１１ａは、カメラ２により得られた画像を取得するとともに、センサ３により測定されたタグＴの位置情報を取得する（ステップＳ１０１）。
【0062】
続いて、端末装置１の制御部１１ｂは、上記ステップＳ１０１で取得したタグＴの位置情報に基づく三次元の極座標（距離、水平角、仰角）を、三次元の直交座標に変換する（ステップＳ１０２）。
【0063】
続いて、端末装置１の制御部１１ｂは、カメラ２の視野角と表示画面の幅とに基づいて、表示画面の座標と実空間の座標とを対応付ける（ステップＳ１０３）。
【0064】
続いて、端末装置１の制御部１１ｂは、上記ステップＳ１０３で対応付けた関係に基づいて、三次元の直交座標に対応する表示画面の座標を算出する（ステップＳ１０４）。
【0065】
続いて、端末装置１の制御部１１ｂは、上記ステップＳ１０４で算出した表示画面の座標上に、タグＴの位置を表す指標を重ねて表示させる（ステップＳ１０５）。
【0066】
そして、カメラ２が作業動作を撮影している間、上述したステップＳ１０１からステップＳ１０５までの処理を繰り返し実行する。
【0067】
ここで、上記ステップＳ１０３において、表示画面の座標と実空間の座標とを対応付ける処理を実行しているが、これに限定されない。例えば、表示画面の座標と実空間の座標との対応関係を予め計算で求めておき、求めた対応関係を記憶装置１３に記憶させてもよい。この場合、上記ステップＳ１０４では、記憶させた対応関係に基づいて、三次元の直交座標に対応する表示画面の座標を算出することになる。
【0068】
上述したように、実施形態に係る端末装置１を含むシステム１００によれば、カメラ２で撮影している作業動作を行う対象に取り付けられたタグＴの位置をセンサで測定し、その測定したタグＴの位置を、カメラ２で撮影している画像に対応付けて表示させることができる。
【0069】
具体的に、センサ３は、タグＴの位置として、センサ３とタグＴとの距離及びセンサ３とタグＴとの二種類の角度（水平角及び仰角）を測定し、端末装置１は、センサ３により測定された距離及び二種類の角度からなる三次元の極座標を三次元の直交座標に変換し、その変換した三次元の直交座標をタグＴの位置として、カメラ２により得られる画像に対応付けて表示させることができる。
【0070】
それゆえ、実施形態に係る端末装置１を含むシステム１００によれば、移動するタグＴを追従しながら、カメラ２により得られる画像に対応付けて表示させることができる。
【0071】
［変形例］
以上説明した実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。また、上述した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。
以上説明した実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。また、上述した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。
【0072】
（変形例１）
上述した実施形態において、制御部１１ｂが、カメラ２とセンサ３との位置関係に基づいてタグＴの位置を補正して指標を表示させてもよい。図４を参照して、具体的に説明する。
上述した実施形態において、制御部１１ｂが、カメラ２とセンサ３との位置関係に基づいてタグＴの位置を補正して指標を表示させてもよい。図４を参照して、具体的に説明する。
【0073】
図４に示すカメラ２は、レンズの中心が、アンテナ３１の極座標系の原点Ｏからずれた位置に配置されている。この場合、カメラ２により得られる画像に含まれるタグＴの位置と、アンテナ３１により測定されるタグＴの位置との間にずれが生じ、ずれた分の長さｇが誤差の要因になる。したがって、制御部１１ｂは、例えば、タグＴの位置を表す指標を表示させる表示画面上の座標を算出する際に、誤差が解消されるように座標を補正し、補正後の座標に指標を表示させることが好ましい。
【0074】
（変形例２）
上述した実施形態では、一つのカメラ２を用いる場合について説明したが、これに限定されず、二つのカメラを有するステレオカメラを用いてもよい。図５を参照して、具体的に説明する。
上述した実施形態では、一つのカメラ２を用いる場合について説明したが、これに限定されず、二つのカメラを有するステレオカメラを用いてもよい。図５を参照して、具体的に説明する。
【0075】
図５には、ステレオカメラを構成する二つのカメラ２ａ、２ｂが、センサ３の両側にそれぞれ配置されている。この場合、二つのカメラ２ａ、２ｂのレンズの中心同士を結ぶ線の中央点が、アンテナ３１の極座標系の原点Ｏと一致するように、ステレオカメラを配置することが好ましい。このように配置することで、ステレオカメラとアンテナ３１との同軸性を担保しつつ、ステレオカメラにより立体視される三次元空間内に、三次元の直交座標により表されるタグＴの軌跡を表示させることができる。
【0076】
これにより、作業者の作業動作に合わせてリアルに、かつ立体的にタグＴの軌跡を表示させることができるため、例えば、ベテランの動作を初心者に教育するツールとしての有用性を高めることが可能となる。本変形例２の表示画面として、例えば、ＶＲ（Virtual Reality）ゴーグルの表示画面やＡＲ（Augmented Reality）を活用した表示画面を用いることが好ましい。
【0077】
（変形例３）
上述した実施形態では、三つのアンテナ３１を備えるセンサ３を用いて説明したが、センサはこれに限定されない。例えば、四つ以上のアンテナを備えるセンサや、複数の磁気抵抗素子又は複数のコイルを備えるセンサであってもよい。この場合、四つ以上のアンテナや、複数の磁気抵抗素子、複数のコイルを用いて、センサとタグＴとの距離、水平角及び仰角を測定することが好ましい。
上述した実施形態では、三つのアンテナ３１を備えるセンサ３を用いて説明したが、センサはこれに限定されない。例えば、四つ以上のアンテナを備えるセンサや、複数の磁気抵抗素子又は複数のコイルを備えるセンサであってもよい。この場合、四つ以上のアンテナや、複数の磁気抵抗素子、複数のコイルを用いて、センサとタグＴとの距離、水平角及び仰角を測定することが好ましい。
【0078】
（変形例４）
上述した実施形態では、カメラ２で作業動作を撮影しながら、撮影画像上にタグの指標をリアルタイムに表示させる場合について説明したが、これに限定されない。例えば、カメラ２で撮影した画像を録画し、その録画した画像を再生したときに、再生画像上にタグの指標を表示させてもよい。この場合、撮影画像の撮影時間とタグ位置の測定時間とで同期をとったログデータを蓄積し、撮影画像の再生時にログデータを用いて、撮影画像上にタグの指標を表示させることが好ましい。ログとして蓄積するタグ位置は、センサ３から取得したタグの位置情報であってもよいし、タグの三次元直交座標であってもよいし、タグの三次元直交座標に対応する表示画面上の座標であってもよい。
上述した実施形態では、カメラ２で作業動作を撮影しながら、撮影画像上にタグの指標をリアルタイムに表示させる場合について説明したが、これに限定されない。例えば、カメラ２で撮影した画像を録画し、その録画した画像を再生したときに、再生画像上にタグの指標を表示させてもよい。この場合、撮影画像の撮影時間とタグ位置の測定時間とで同期をとったログデータを蓄積し、撮影画像の再生時にログデータを用いて、撮影画像上にタグの指標を表示させることが好ましい。ログとして蓄積するタグ位置は、センサ３から取得したタグの位置情報であってもよいし、タグの三次元直交座標であってもよいし、タグの三次元直交座標に対応する表示画面上の座標であってもよい。
【0079】
［付記］
本実施形態における態様は、以下のような開示を含む。
本実施形態における態様は、以下のような開示を含む。
【0080】
（付記１）
作業動作を撮影するカメラ（２）により得られる画像を表示画面に表示させるシステム（１００）であって、
前記作業動作を行う対象に取り付けるタグ（Ｔ）と、
前記タグ（Ｔ）の位置を測定するセンサ（３）と、
前記センサ（３）により測定される前記タグ（Ｔ）の位置を、前記カメラ（２）により得られる画像に対応付けて表示させる端末装置（１）と、
を備えるシステム（１００）。
作業動作を撮影するカメラ（２）により得られる画像を表示画面に表示させるシステム（１００）であって、
前記作業動作を行う対象に取り付けるタグ（Ｔ）と、
前記タグ（Ｔ）の位置を測定するセンサ（３）と、
前記センサ（３）により測定される前記タグ（Ｔ）の位置を、前記カメラ（２）により得られる画像に対応付けて表示させる端末装置（１）と、
を備えるシステム（１００）。
【0081】
（付記２）
前記タグ（Ｔ）の位置は、三次元の位置情報により表される、
付記１記載のシステム（１００）。
前記タグ（Ｔ）の位置は、三次元の位置情報により表される、
付記１記載のシステム（１００）。
【0082】
（付記３）
前記センサ（３）は、前記タグ（Ｔ）の位置として、前記センサ（３）と前記タグ（Ｔ）との距離及び前記センサ（３）と前記タグ（Ｔ）との二種類の角度を測定し、
前記端末装置（１）は、前記センサ（３）により測定される前記距離及び前記二種類の角度からなる三次元の極座標を三次元の直交座標に変換し、当該三次元の直交座標を、前記タグ（Ｔ）の位置として、前記カメラ（２）により得られる画像に対応付けて表示させる、
付記２記載のシステム（１００）。
前記センサ（３）は、前記タグ（Ｔ）の位置として、前記センサ（３）と前記タグ（Ｔ）との距離及び前記センサ（３）と前記タグ（Ｔ）との二種類の角度を測定し、
前記端末装置（１）は、前記センサ（３）により測定される前記距離及び前記二種類の角度からなる三次元の極座標を三次元の直交座標に変換し、当該三次元の直交座標を、前記タグ（Ｔ）の位置として、前記カメラ（２）により得られる画像に対応付けて表示させる、
付記２記載のシステム（１００）。
【0083】
（付記４）
前記端末装置（１）は、前記カメラ（２）により得られる画像の撮影時間と前記センサ（３）により測定される前記タグ（Ｔ）の位置の測定時間とで同期をとったログデータを蓄積する、
付記１から３のいずれか一つに記載のシステム（１００）。
前記端末装置（１）は、前記カメラ（２）により得られる画像の撮影時間と前記センサ（３）により測定される前記タグ（Ｔ）の位置の測定時間とで同期をとったログデータを蓄積する、
付記１から３のいずれか一つに記載のシステム（１００）。
【0084】
（付記５）
前記端末装置（１）は、前記カメラ（２）の視野角と前記表示画面の幅とに基づいて、前記三次元の直交座標に対応する前記表示画面上の座標を算出し、当該算出した前記表示画面上の座標に、前記タグ（Ｔ）の位置を表す指標を表示させる、
付記３記載のシステム（１００）。
前記端末装置（１）は、前記カメラ（２）の視野角と前記表示画面の幅とに基づいて、前記三次元の直交座標に対応する前記表示画面上の座標を算出し、当該算出した前記表示画面上の座標に、前記タグ（Ｔ）の位置を表す指標を表示させる、
付記３記載のシステム（１００）。
【0085】
（付記６）
前記端末装置は、前記カメラ（２）と前記センサ（３）との位置関係に基づいて、前記タグ（Ｔ）の位置を補正して表示させる、
付記１から５のいずれか一つに記載のシステム（１００）。
前記端末装置は、前記カメラ（２）と前記センサ（３）との位置関係に基づいて、前記タグ（Ｔ）の位置を補正して表示させる、
付記１から５のいずれか一つに記載のシステム（１００）。
【0086】
（付記７）
前記端末装置（１）は、前記カメラ（２）により得られる画像の撮影時間と前記センサ（３）により測定される前記タグ（Ｔ）の位置の測定時間とで同期をとったログデータを蓄積する、
付記５又は６記載のシステム（１００）。
前記端末装置（１）は、前記カメラ（２）により得られる画像の撮影時間と前記センサ（３）により測定される前記タグ（Ｔ）の位置の測定時間とで同期をとったログデータを蓄積する、
付記５又は６記載のシステム（１００）。
【0087】
（付記８）
前記カメラ（２）は、ステレオカメラであり、
前記端末装置（１）は、前記三次元の位置情報に基づいて、前記タグ（２）の位置を、前記ステレオカメラにより得られる三次元の画像に対応付けて表示させる、
付記２から７のいずれか一つに記載のシステム（１００）。
前記カメラ（２）は、ステレオカメラであり、
前記端末装置（１）は、前記三次元の位置情報に基づいて、前記タグ（２）の位置を、前記ステレオカメラにより得られる三次元の画像に対応付けて表示させる、
付記２から７のいずれか一つに記載のシステム（１００）。
【0088】
（付記９）
作業動作を撮影するカメラ（２）により得られる画像を表示画面に表示させる端末装置（１）であって、
前記カメラ（２）により得られる画像を取得する第１取得部と、
前記作業動作を行う対象に取り付けられたタグ（Ｔ）の位置を取得する第２取得部と、
前記第２取得部により取得される前記タグ（Ｔ）の位置を、前記第１取得部により取得される前記画像に対応付けて表示させる制御部と、
を備える端末装置（１）。
作業動作を撮影するカメラ（２）により得られる画像を表示画面に表示させる端末装置（１）であって、
前記カメラ（２）により得られる画像を取得する第１取得部と、
前記作業動作を行う対象に取り付けられたタグ（Ｔ）の位置を取得する第２取得部と、
前記第２取得部により取得される前記タグ（Ｔ）の位置を、前記第１取得部により取得される前記画像に対応付けて表示させる制御部と、
を備える端末装置（１）。
【0089】
（付記１０）
コンピュータを、
作業動作を撮影するカメラ（２）により得られる画像を取得する第１取得部、
前記作業動作を行う対象に取り付けられたタグ（Ｔ）の位置を取得する第２取得部、
前記第２取得部により取得される前記タグ（Ｔ）の位置を、前記第１取得部により取得される前記画像に対応付けて表示画面に表示させる制御部、
として機能させるプログラム。
コンピュータを、
作業動作を撮影するカメラ（２）により得られる画像を取得する第１取得部、
前記作業動作を行う対象に取り付けられたタグ（Ｔ）の位置を取得する第２取得部、
前記第２取得部により取得される前記タグ（Ｔ）の位置を、前記第１取得部により取得される前記画像に対応付けて表示画面に表示させる制御部、
として機能させるプログラム。
【符号の説明】
【0090】
１…端末装置、２、２ａ、２ｂ…カメラ、３…センサ、１１…プロセッサ、１１ａ…取得部、１１ｂ…制御部、１２…通信インタフェース、１３…記憶装置、３１ａ、３１ｂ、３１ｃ…アンテナ、３２…マイクロコントローラ、３３…基板、１００…システム、Ｔ…タグ
【図1】
【図2】
【図3】
【図4】
【図5】
