特開 2024-7951 遠隔作業支援システム、遠隔作業支援方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024007951

(43)【公開日】2024-01-19

(54)【発明の名称】遠隔作業支援システム、遠隔作業支援方法およびプログラム

(51)【国際特許分類】

   H04N 21/2662 20110101AFI20240112BHJP

   G06T 19/00 20110101ALI20240112BHJP

   H04N 21/24 20110101ALI20240112BHJP

【ＦＩ】

H04N21/2662

G06T19/00 600

H04N21/24

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022109404

(22)【出願日】2022-07-07

(71)【出願人】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100140958

【弁理士】

【氏名又は名称】伊藤 学

(74)【代理人】

【識別番号】100137888

【弁理士】

【氏名又は名称】大山 夏子

(74)【代理人】

【識別番号】100190942

【弁理士】

【氏名又は名称】風間 竜司

(72)【発明者】

【氏名】畠中 貴明

【テーマコード（参考）】

5B050

5C164

【Ｆターム（参考）】

5B050CA07

5B050CA08

5B050DA04

5B050EA07

5B050EA19

5B050FA02

5C164FA07

5C164GA03

5C164SA32S

5C164SB21S

5C164SB41P

5C164SC03P

5C164YA12

(57)【要約】

【課題】作業空間を撮像して得られた撮像画像がネットワークに与える通信負荷を軽減しつつ、撮像画像における重要領域の品質の低下を抑制することを可能とする。
【解決手段】作業に係る部位を通過する三次元座標に対応する、作業者側画面における二次元座標を算出する算出部と、二次元座標に応じた作業者側画面における領域を重要領域として推定して重要領域を示す情報を得る推定部と、重要領域を示す情報に基づいて、作業空間が撮像された撮像画像に対する符号化を行って符号化後の撮像画像を得る符号化処理部と、符号化後の撮像画像の送信を制御する送信制御部と、符号化後の撮像画像を取得する取得部と、符号化後の撮像画像を復号して復号後の撮像画像を得る復号部と、復号後の撮像画像を、作業者に指示を出す指示者によって視認される指示者側の画面に表示させる指示者側表示制御部と、を備える、遠隔作業支援システムが提供される。
【選択図】図１

【特許請求の範囲】

【請求項1】

作業に係る物体からセンサによって得られたセンサデータに基づいて、前記作業に係る物体が通過する複数の三次元座標を検知する検知部と、
前記複数の三次元座標に基づいて、前記作業に係る物体における前記作業に係る部位を特定する特定部と、
前記作業に係る部位を通過する三次元座標に対応する、作業者によって視認される作業者側の画面における二次元座標を算出する算出部と、
前記二次元座標に応じた前記作業者側の画面における領域を重要領域として推定して前記重要領域を示す情報を得る推定部と、
前記重要領域を示す情報に基づいて、前記作業が行われる作業空間が撮像された撮像画像に対する符号化を行って符号化後の撮像画像を得る符号化処理部と、
前記符号化後の撮像画像の送信を制御する送信制御部と、
前記符号化後の撮像画像を取得する取得部と、
前記符号化後の撮像画像を復号して復号後の撮像画像を得る復号部と、
前記復号後の撮像画像を、前記作業者に指示を出す指示者によって視認される指示者側の画面に表示させる指示者側表示制御部と、
を備える、遠隔作業支援システム。

【請求項2】

前記符号化処理部は、前記作業空間が撮像された撮像画像のうち、前記重要領域以外の領域である非重要領域に対する符号化による圧縮率を、前記重要領域に対する符号化による圧縮率よりも高くする、
請求項１に記載の遠隔作業支援システム。

【請求項3】

前記推定部は、前記作業に係る部位が通過する三次元座標に対応する、前記作業者側の画面における二次元座標が示す位置を中央位置とした前記作業者側の画面における領域を前記重要領域として推定する、
請求項１に記載の遠隔作業支援システム。

【請求項4】

前記算出部は、前記作業に係る部位が通過する複数の三次元座標に基づいて、前記作業に係る部位の三次元方向に対応する前記作業者側の画面における二次元方向を算出し、
前記推定部は、前記二次元座標および前記二次元方向に応じた前記作業者側の画面における領域を前記重要領域として推定する、
請求項１に記載の遠隔作業支援システム。

【請求項5】

前記特定部は、前記複数の三次元座標に基づいて、前記作業に係る物体を構成する複数の部位それぞれの曲がり度合いを推定し、前記複数の部位それぞれの曲がり度合いに基づいて、前記作業に係る部位を特定する、
請求項１に記載の遠隔作業支援システム。

【請求項6】

前記特定部は、前記複数の部位のうち前記曲がり度合いが閾値以下である部位を、前記作業に係る部位として特定する、
請求項５に記載の遠隔作業支援システム。

【請求項7】

前記特定部は、前記複数の三次元座標と、所定の機械学習アルゴリズムによる学習によって得られた学習済みのモデルとに基づいて、前記作業に係る部位を特定する、
請求項１に記載の遠隔作業支援システム。

【請求項8】

前記遠隔作業支援システムは、
前記作業者によって用いられる作業者側システムと、前記指示者によって用いられる指示者側システムと、を備え、
前記作業者側システムは、
前記符号化処理部と、前記送信制御部と、を備え、
前記指示者側システムは、
前記取得部と、前記復号部と、前記指示者側表示制御部と、を備える、
請求項１に記載の遠隔作業支援システム。

【請求項9】

前記指示者側表示制御部は、前記復号後の撮像画像に重畳された前記作業に係る物体に対応する画像を前記指示者側の画面に表示させる、
請求項１に記載の遠隔作業支援システム。

【請求項10】

前記遠隔作業支援システムは、
前記作業空間が撮像された撮像画像に重畳された前記作業に係る物体に対応する画像を前記作業者側の画面に表示させる作業者側表示制御部を備える、
請求項１に記載の遠隔作業支援システム。

【請求項11】

前記作業に係る物体は、前記作業者または前記指示者の手指であり、
前記作業に係る部位は、前記手指を構成する１または複数の指である、
請求項１～１０のいずれか一項に記載の遠隔作業支援システム。

【請求項12】

前記作業に係る物体は、前記作業者によって用いられる第１の物体を含む、
請求項１～１０のいずれか一項に記載の遠隔作業支援システム。

【請求項13】

前記作業に係る物体は、前記指示者によって用いられる第２の物体を含む、
請求項１～１０のいずれか一項に記載の遠隔作業支援システム。

【請求項14】

作業に係る物体からセンサによって得られたセンサデータに基づいて、前記作業に係る物体が通過する複数の三次元座標を検知することと、
前記複数の三次元座標に基づいて、前記作業に係る物体における前記作業に係る部位を特定することと、
前記作業に係る部位を通過する三次元座標に対応する、作業者によって視認される作業者側の画面における二次元座標を算出することと、
前記二次元座標に応じた前記作業者側の画面における領域を重要領域として推定して前記重要領域を示す情報を得ることと、
前記重要領域を示す情報に基づいて、前記作業が行われる作業空間が撮像された撮像画像に対する符号化を行って符号化後の撮像画像を得ることと、
前記符号化後の撮像画像の送信を制御することと、
前記符号化後の撮像画像を取得することと、
前記符号化後の撮像画像を復号して復号後の撮像画像を得ることと、
前記復号後の撮像画像を、前記作業者に指示を出す指示者によって視認される指示者側の画面に表示させることと、
を備える、遠隔作業支援方法。

【請求項15】

コンピュータを、
作業に係る物体からセンサによって得られたセンサデータに基づいて、前記作業に係る物体が通過する複数の三次元座標を検知する検知部と、
前記複数の三次元座標に基づいて、前記作業に係る物体における前記作業に係る部位を特定する特定部と、
前記作業に係る部位を通過する三次元座標に対応する、作業者によって視認される作業者側の画面における二次元座標を算出する算出部と、
前記二次元座標に応じた前記作業者側の画面における領域を重要領域として推定して前記重要領域を示す情報を得る推定部と、
前記重要領域を示す情報に基づいて、前記作業が行われる作業空間が撮像された撮像画像に対する符号化を行って符号化後の撮像画像を得る符号化処理部と、
前記符号化後の撮像画像の送信を制御する送信制御部と、
前記符号化後の撮像画像を取得する取得部と、
前記符号化後の撮像画像を復号して復号後の撮像画像を得る復号部と、
前記復号後の撮像画像を、前記作業者に指示を出す指示者によって視認される指示者側の画面に表示させる指示者側表示制御部と、
を備える遠隔作業支援システムとして機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔作業支援システム、遠隔作業支援方法およびプログラムに関する。

【背景技術】

【0002】

近年、熟練技術者の不足から、熟練技術者が必ずしも作業現場に配置されるとは限らず、作業現場とは異なる場所に存在する熟練技術者が指示者となり、熟練技術者が遠隔から作業現場で作業を行う作業者に対して指示を行う遠隔作業支援の重要性が高まっている。遠隔作業支援に係る技術の例として、各種の遠隔作業支援システムが知られている（例えば、特許文献１参照）。

【0003】

例えば、作業者端末が、作業者によって作業が行われる空間（以下、「作業空間」とも言う。）が撮像された映像と作業者から収音された音声とを指示者端末に送信し、指示者端末が、映像および音声を指示者に提示し、指示者が、映像および音声を視聴しながら作業者に対して指示を出す遠隔作業支援システムが知られている（例えば、非特許文献１参照）。

【0004】

より詳細に、かかる遠隔作業支援システムにおいて、作業者側システムは、作業空間を撮像して得られた撮像画像に指示者の手指形状を示す手指映像を重畳し、手指映像が重畳された撮像画像を表示する。さらに、作業者側システムは、撮像画像を指示者側システムに送信し、指示者側システムは、作業者側システムから受信した撮像画像に手指映像を重畳し、手指映像が重畳された撮像画像を表示する。

【0005】

これによって、作業者に対してどのように指示者の手指形状が伝わっているかが指示者によって把握され得る。なお、指示者の手指形状を検知する技術として各種技術が知られている（例えば、非特許文献２参照）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特許第６５６８１３０号公報

【非特許文献】

【0007】

【非特許文献1】市原 俊介、鈴木 雄介、“ハンドジェスチャと描線機能を用いた遠隔作業支援システムの現場評価実験”、［ｏｎｌｉｎｅ］、２０１７年３月２日、情報処理学会インタラクション２０１７、［令和４年６月２１日検索］、インターネット＜ＵＲＬ：http://www.interaction-ipsj.org/proceedings/2017/data/pdf/1-502-13.pdf＞

【非特許文献2】Ｕｌｔｒａｌｅａｐ社ホームページ、［ｏｎｌｉｎｅ］、［令和４年６月２１日検索］、インターネット＜ＵＲＬ：https://www.ultraleap.com＞

【発明の概要】

【発明が解決しようとする課題】

【0008】

一般に、作業空間を撮像して得られた撮像画像が高品質になるほど、撮像画像の送信によってネットワークに掛かる通信負荷が大きくなってしまう。一方、撮像画像が低品質になるほど、撮像画像の全体の視認性が低くなってしまう。

【0009】

そこで、作業空間を撮像して得られた撮像画像がネットワークに与える通信負荷を軽減しつつ、撮像画像における重要領域の品質の低下を抑制することを可能とする技術が提供されることが望まれる。

【課題を解決するための手段】

【0010】

上記問題を解決するために、本発明のある観点によれば、作業に係る物体からセンサによって得られたセンサデータに基づいて、前記作業に係る物体が通過する複数の三次元座標を検知する検知部と、前記複数の三次元座標に基づいて、前記作業に係る物体における前記作業に係る部位を特定する特定部と、前記作業に係る部位を通過する三次元座標に対応する、作業者によって視認される作業者側の画面における二次元座標を算出する算出部と、前記二次元座標に応じた前記作業者側の画面における領域を重要領域として推定して前記重要領域を示す情報を得る推定部と、前記重要領域を示す情報に基づいて、前記作業が行われる作業空間が撮像された撮像画像に対する符号化を行って符号化後の撮像画像を得る符号化処理部と、前記符号化後の撮像画像の送信を制御する送信制御部と、前記符号化後の撮像画像を取得する取得部と、前記符号化後の撮像画像を復号して復号後の撮像画像を得る復号部と、前記復号後の撮像画像を、前記作業者に指示を出す指示者によって視認される指示者側の画面に表示させる指示者側表示制御部と、を備える、遠隔作業支援システムが提供される。

【0011】

前記符号化処理部は、前記作業空間が撮像された撮像画像のうち、前記重要領域以外の領域である非重要領域に対する符号化による圧縮率を、前記重要領域に対する符号化による圧縮率よりも高くしてもよい。

【0012】

前記推定部は、前記作業に係る部位が通過する三次元座標に対応する、前記作業者側の画面における二次元座標が示す位置を中央位置とした前記作業者側の画面における領域を前記重要領域として推定してもよい。

【0013】

前記算出部は、前記作業に係る部位が通過する複数の三次元座標に基づいて、前記作業に係る部位の三次元方向に対応する前記作業者側の画面における二次元方向を算出し、前記推定部は、前記二次元座標および前記二次元方向に応じた前記作業者側の画面における領域を前記重要領域として推定してもよい。

【0014】

前記特定部は、前記複数の三次元座標に基づいて、前記作業に係る物体を構成する複数の部位それぞれの曲がり度合いを推定し、前記複数の部位それぞれの曲がり度合いに基づいて、前記作業に係る部位を特定してもよい。

【0015】

前記特定部は、前記複数の部位のうち前記曲がり度合いが閾値以下である部位を、前記作業に係る部位として特定してもよい。

【0016】

前記特定部は、前記複数の三次元座標と、所定の機械学習アルゴリズムによる学習によって得られた学習済みのモデルとに基づいて、前記作業に係る部位を特定してもよい。

【0017】

前記遠隔作業支援システムは、前記作業者によって用いられる作業者側システムと、前記指示者によって用いられる指示者側システムと、を備え、前記作業者側システムは、前記符号化処理部と、前記送信制御部と、を備え、前記指示者側システムは、前記取得部と、前記復号部と、前記指示者側表示制御部と、を備えてもよい。

【0018】

前記指示者側表示制御部は、前記復号後の撮像画像に重畳された前記作業に係る物体に対応する画像を前記指示者側の画面に表示させてもよい。

【0019】

前記遠隔作業支援システムは、前記作業空間が撮像された撮像画像に重畳された前記作業に係る物体に対応する画像を前記作業者側の画面に表示させる作業者側表示制御部を備えてもよい。

【0020】

前記作業に係る物体は、前記作業者または前記指示者の手指であり、前記作業に係る部位は、前記手指を構成する１または複数の指であってもよい。

【0021】

前記作業に係る物体は、前記作業者によって用いられる第１の物体を含んでもよい。

【0022】

前記作業に係る物体は、前記指示者によって用いられる第２の物体を含んでもよい。

【0023】

また、上記課題を解決するために本発明の別の観点によれば、作業に係る物体からセンサによって得られたセンサデータに基づいて、前記作業に係る物体が通過する複数の三次元座標を検知することと、前記複数の三次元座標に基づいて、前記作業に係る物体における前記作業に係る部位を特定することと、前記作業に係る部位を通過する三次元座標に対応する、作業者によって視認される作業者側の画面における二次元座標を算出することと、前記二次元座標に応じた前記作業者側の画面における領域を重要領域として推定して前記重要領域を示す情報を得ることと、前記重要領域を示す情報に基づいて、前記作業が行われる作業空間が撮像された撮像画像に対する符号化を行って符号化後の撮像画像を得ることと、前記符号化後の撮像画像の送信を制御することと、前記符号化後の撮像画像を取得することと、前記符号化後の撮像画像を復号して復号後の撮像画像を得ることと、前記復号後の撮像画像を、前記作業者に指示を出す指示者によって視認される指示者側の画面に表示させることと、を備える、遠隔作業支援方法が提供される。

【0024】

また、上記課題を解決するために本発明の別の観点によれば、コンピュータを、作業に係る物体からセンサによって得られたセンサデータに基づいて、前記作業に係る物体が通過する複数の三次元座標を検知する検知部と、前記複数の三次元座標に基づいて、前記作業に係る物体における前記作業に係る部位を特定する特定部と、前記作業に係る部位を通過する三次元座標に対応する、作業者によって視認される作業者側の画面における二次元座標を算出する算出部と、前記二次元座標に応じた前記作業者側の画面における領域を重要領域として推定して前記重要領域を示す情報を得る推定部と、前記重要領域を示す情報に基づいて、前記作業が行われる作業空間が撮像された撮像画像に対する符号化を行って符号化後の撮像画像を得る符号化処理部と、前記符号化後の撮像画像の送信を制御する送信制御部と、前記符号化後の撮像画像を取得する取得部と、前記符号化後の撮像画像を復号して復号後の撮像画像を得る復号部と、前記復号後の撮像画像を、前記作業者に指示を出す指示者によって視認される指示者側の画面に表示させる指示者側表示制御部と、を備える遠隔作業支援システムとして機能させるプログラムが提供される。

【発明の効果】

【0025】

以上説明したように本発明によれば、作業空間を撮像して得られた撮像画像がネットワークに与える通信負荷を軽減しつつ、撮像画像における重要領域の品質の低下を抑制することを可能とする技術が提供される。

【図面の簡単な説明】

【0026】

【図1】本発明の実施形態に係る遠隔作業支援システムの機能構成例を示す図である。

【図2】作業者側装置１４の機能構成例を示すブロック図である。

【図3】指示者側装置２４の機能構成例を示すブロック図である。

【図4】指示が行われる前における指示者側表示部２６による復号後の作業撮像映像の表示例を示す図である。

【図5】手指検知部２４１によって検知される手指の三次元骨格情報の例を示す図である。

【図6】人差し指の第一関節の曲がり度合いを算出する手法の例について説明するための図である。

【図7】作業撮像映像に重畳された手指映像の作業者側表示部１６による表示例を示す図である。

【図8】補正前領域の推定について説明するための図である。

【図9】補正後領域の推定について説明するための図である。

【図10】補正前領域Ｒ１と補正後領域Ｒ２とを含んだ重要領域の推定について説明するための図である。

【図11】復号後の作業撮像映像Ｍ１２に重畳された手指映像の指示者側表示部２６による表示例を示す図である。

【図12】作業者側システム１０の動作例を示すフローチャートである。

【図13】指示者側システム２０の動作例を示すフローチャートである。

【図14】本発明の実施形態に係る指示者側システム１０の例としての情報処理装置９００のハードウェア構成を示す図である。

【発明を実施するための形態】

【0027】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0028】

（１．実施形態の詳細）
本発明の実施形態の詳細について説明する。

【0029】

（１－１．遠隔作業支援システムの構成）
まず、本発明の実施形態に係る遠隔作業支援システムの構成例について説明する。図１は、本発明の実施形態に係る遠隔作業支援システムの機能構成例を示す図である。図１に示されるように、遠隔作業支援システム１は、作業者側システム１０と、指示者側システム２０と、ネットワーク３０とを有する。

【0030】

作業者側システム１０は、遠隔作業支援システム１のうち、作業者によって用いられるシステムである。作業者は、作業者に指示を出す指示者から離れた場所（すなわち、遠隔地）にて作業を行う。一方、指示者側システム２０は、遠隔作業支援システム１のうち、指示者によって用いられるシステムである。作業者側システム１０と指示者側システム２０とは、ネットワーク３０に接続されており、ネットワーク３０を介して通信可能に構成されている。

【0031】

なお、遠隔作業支援においては、指示者と作業者との間において音声通話などが行われるのが一般的である。しかし、音声通話などに必要な構成は、本発明の実施形態に係る遠隔作業支援システム１の構成の説明に関与しないため、音声通話などに必要な構成の説明は省略する。

【0032】

図１に示されるように、作業者側システム１０は、作業撮像部１２と、作業者側装置１４と、作業者側表示部１６とを備える。一方、図１に示されるように、指示者側システム２０は、手指撮像部２２と、指示者側装置２４と、指示者側表示部２６とを備える。

【0033】

（作業撮像部１２）
作業撮像部１２は、作業者によって作業が行われる空間である作業空間を撮像することにより撮像画像（以下、「作業撮像画像」とも言う。）を得る。以下の説明では、作業撮像画像が、時系列に沿って連続的に撮像される複数のフレームからなる動画像である場合を主に想定する。動画像は、「映像」とも換言され得る。したがって、以下の説明では、作業撮像画像の例として「作業撮像映像」との文言を用いる。しかし、作業撮像画像は静止画像であってもよい。

【0034】

作業撮像部１２は、作業者の視線方向と同じ方向を向くように設けられているのが望ましい。したがって、作業撮像部１２は、ＡＲディスプレイと一体化されているのが望ましい。しかし、作業撮像部１２は、ＡＲディスプレイとは別個のハードウェアとして構成されてもよい。

【0035】

（作業者側装置１４）
作業者側装置１４は、コンピュータによって実現される。図２を参照しながら、作業者側装置１４の機能構成例について説明する。

【0036】

図２は、作業者側装置１４の機能構成例を示すブロック図である。図２に示されるように、作業者側装置１４は、制御部１４０と、通信部１４８と、記憶部１４９とを備える。以下、制御部１４０、通信部１４８および記憶部１４９それぞれが有する機能について説明する。

【0037】

（制御部１４０）
制御部１４０は、各種の演算処理を行う。例えば、制御部１４０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置を含み、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）により記憶されているプログラムが演算装置によりＲＡＭに展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。

【0038】

演算装置による演算に必要なデータは、記憶部１４９によって適宜記憶される。図２に示されるように、制御部１４０は、判定結果取得部１４１と、符号化部１４２と、送信制御部１４３と、作業者側表示制御部１４４とを備える。判定結果取得部１４１、符号化部１４２、送信制御部１４３および作業者側表示制御部１４４それぞれが有する機能の詳細については後に説明する。

【0039】

（通信部１４８）
通信部１４８は、通信インタフェースによって構成され、ネットワーク３０を介して指示者側装置２４と通信を行う。

【0040】

（記憶部１４９）
記憶部１４９は、制御部１４０を動作させるためのプログラムおよびデータを記憶することが可能なメモリである。また、記憶部１４９は、制御部１４０の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶部１４９は、不揮発性メモリであってよい。

【0041】

（作業者側表示部１６）
作業者側表示部１６は、制御部１４０による制御に従って作業者に対して各種情報の表示を行う機能を有する。より詳細に、作業者側表示部１６は、作業者によって視認される画面（以下、「作業者側画面」とも言う。）を有し、制御部１４０による制御に従って作業者側画面に対して各種情報の表示を行う。

【0042】

例えば、作業者側表示部１６は、液晶ディスプレイ（ＬＣＤ）装置であってもよいし、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置であってもよい。また、作業者側表示部１６は、作業者の頭部に装着されるヘッドマウントディスプレイであってもよいし、設置型のディスプレイであってもよい。

【0043】

（手指撮像部２２）
手指撮像部２２は、指示者の手指を撮像することにより撮像画像（以下、「手指撮像画像」とも言う。）を得る。以下の説明では、手指撮像映像が、動画像（映像）である場合を主に想定する。したがって、以下の説明では、手指撮像画像の例として「手指撮像映像」との文言を用いる。しかし、手指撮像画像は静止画像であってもよい。

【0044】

なお、指示者の手指は、後にも説明するように、作業に係る物体の一例に該当し得る。また、手指は、身体のうち手首から手を構成する複数の指それぞれの先端までの領域を含んでよい。さらに、手指撮像部２２は、他のセンサに置き換えられてもよい。すなわち、手指撮像映像は、センサによって得られるセンサデータの一例に該当し得る。

【0045】

（指示者側装置２４）
図１に戻って説明を続ける。指示者側装置２４は、コンピュータによって実現される。図３を参照しながら、指示者側装置２４の機能構成例について説明する。

【0046】

図３は、指示者側装置２４の機能構成例を示すブロック図である。図３に示されるように、指示者側装置２４は、制御部２４０と、通信部２４８と、記憶部２４９とを備える。以下、制御部２４０、通信部２４８および記憶部２４９それぞれが有する機能について説明する。

【0047】

（制御部２４０）
制御部２４０は、各種の演算処理を行う。例えば、制御部２４０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置を含み、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）により記憶されているプログラムが演算装置によりＲＡＭに展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。

【0048】

演算装置による演算に必要なデータは、記憶部２４９によって適宜記憶される。図３に示されるように、制御部２４０は、手指検知部２４１と、手指判定部２４２と、判定結果出力部２４３と、符号化データ取得部２４４と、復号部２４５と、指示者側表示制御部２４６とを備える。手指検知部２４１、手指判定部２４２、判定結果出力部２４３、符号化データ取得部２４４、復号部２４５および指示者側表示制御部２４６それぞれが有する機能の詳細については後に説明する。

【0049】

（通信部２４８）
通信部２４８は、通信インタフェースによって構成され、ネットワーク３０を介して作業者側装置１４と通信を行う。

【0050】

（記憶部２４９）
記憶部２４９は、制御部２４０を動作させるためのプログラムおよびデータを記憶することが可能なメモリである。また、記憶部２４９は、制御部２４０の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶部２４９は、不揮発性メモリであってよい。

【0051】

（指示者側表示部２６）
指示者側表示部２６は、制御部２４０による制御に従って指示者に対して各種情報の表示を行う機能を有する。より詳細に、指示者側表示部２６は、指示者によって視認される画面（以下、「指示者側画面」とも言う。）を有し、制御部２４０による制御に従って指示者側画面に対して各種情報の表示を行う。

【0052】

例えば、指示者側表示部２６は、液晶ディスプレイ（ＬＣＤ）装置であってもよいし、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置であってもよい。また、指示者側表示部２６は、指示者の頭部に装着されるヘッドマウントディスプレイであってもよいし、設置型のディスプレイであってもよい。

【0053】

（ネットワーク３０）
ネットワーク３０は、作業者側システム１０と指示者側システム２０とを接続する。そして、ネットワーク３０は、作業者側システム１０と指示者側システム２０との間における通信路として機能し得る。

【0054】

（指示者による指示の開始前）
指示者による指示の開始前について説明する。作業者側システム１０において、符号化部１４２は、作業撮像部１２によって得られた作業撮像映像を取得する。符号化部１４２は、取得した作業撮像映像に対して重要領域を示す情報（換言すると、どの領域が重要領域であるかを示す情報）に基づいて符号化を行う。ここで、指示者によって指示が行われる前においては、作業撮像映像の全体が、非重要領域として初期化されている。したがって、符号化部１４２は、作業撮像映像の全体に対して同じ圧縮率による符号化を行ってよい。

【0055】

送信制御部１４３は、符号化後の作業撮像映像がネットワーク３０を介して指示者側装置２４に送信されるように通信部１４８を制御する。指示者側システム２０において、符号化データ取得部２４４は、通信部２４８によって受信された符号化後の作業撮像映像を取得し、復号部２４５は、取得した符号化後の作業撮像映像を復号して復号後の作業撮像映像を得る。

【0056】

指示者側表示制御部２４６は、復号後の作業撮像映像が表示されるように指示者側表示部２６を制御する。図４を参照しながら、復号後の作業撮像映像の表示例について説明する。

【0057】

図４は、指示が行われる前における指示者側表示部２６による復号後の作業撮像映像の表示例を示す図である。図４を参照すると、指示者側表示部２６は、指示者側画面２６１を有している。そして、指示者側表示制御部２４６は、復号後の作業撮像映像である作業撮像映像Ｍ１１が指示者側画面２６１に表示されるように指示者側表示部２６を制御している。作業撮像映像Ｍ１１には、作業空間が写っており、作業空間には作業の対象となる作業対象物６１が存在している。

【0058】

ここでは、作業対象物６１がプリンタであり、作業者が作業対象物６１を操作すること（例えば、プリンタのボタンを押下する操作を行うことなど）によって紙への印刷を作業対象物６１に実行させる作業を行おうとしており、指示者が作業対象物６１に対する操作を指示しようとしている場合を想定する。しかし、作業対象物６１はプリンタに限定されない。さらに、作業者によって行われる作業も作業対象物６１に対する操作に限定されない。

【0059】

指示者は、作業撮像映像Ｍ１１を視認することによって作業空間の状況を把握することが可能であり、作業空間の状況に応じた指示を検討することが可能である。

【0060】

（指示者による指示の開始後）
続いて、指示者による指示の開始後について説明する。図４を参照すると、指示者によって指示が行われる空間（以下、「指示空間」とも言う。）において、指示者が、手指Ｕ１の形状を作業対象物６１に対する操作を行うジェスチャの形状にすることによって指示を開始していることが把握される。

【0061】

手指撮像部２２による撮像範囲内に指示者の手指Ｕ１が入ると、手指撮像部２２によって、指示者の手指Ｕ１が撮像されることにより手指撮像映像が得られる。

【0062】

（手指検知部２４１）
手指検知部２４１は、手指撮像部２２によって得られた手指撮像映像を取得する。手指検知部２４１は、手指撮像映像に基づいて、手指Ｕ１が通過する複数の三次元座標を検知する検知部の例として機能する。手指Ｕ１が通過する複数の三次元座標は、手指Ｕ１の骨格の各位置を示す三次元座標であり得る。以下では、手指Ｕ１が通過する複数の三次元座標を「手指の三次元骨格情報」とも言う。手指検知部２４１は、手指の三次元骨格情報と現在の時刻を示すタイムスタンプとを対応付けて記憶部２４９に記憶させる。

【0063】

手指の三次元骨格情報は、どのようにして検知されてもよい。例えば、手指の三次元骨格情報は、Ｕｌｔｒａｌｅａｐ社によって開発されたＬｅａｐ Ｍｏｔｉｏｎ（登録商標）などを用いて検知されてもよい。Ｌｅａｐ Ｍｏｔｉｏｎ（登録商標）は、複数のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）によって手に照射された赤外線の赤外線ステレオカメラによる検出結果に基づいて、手の動きをトラッキングする技術である。

【0064】

ここで、図５を参照しながら、手指の三次元骨格情報について説明する。

【0065】

図５は、手指検知部２４１によって検知される手指の三次元骨格情報の例を示す図である。図５を参照すると、手指撮像部２２によって得られた手指撮像映像内に、指示者の指示者の右手Ｒｈが存在している。図５に示されたように、手指検知部２４１によって、手指撮像映像に基づいて、右手Ｒｈの各頂点の指示空間における三次元座標が手指の三次元骨格情報の例として検知される。

【0066】

具体的に、手指検知部２４１によって三次元座標が検知される頂点としては、指先、指関節、掌を構成する多角形の頂点などが含まれ得る。なお、図５には、頂点の一例として、右手Ｒｈの親指の先端Ｐ１が示されている。

【0067】

（手指判定部２４２）
手指判定部２４２は、手指検知部２４１によって検知された手指の三次元骨格情報に基づいて、指示者の手指Ｕ１における作業に対する指示に使用される指を特定する特定部の例として機能する。作業に対する指示に使用される指は、作業に係る部位の一例に該当し得る。

【0068】

より詳細に、手指判定部２４２は、記憶部２４９に記憶されている手指の三次元骨格情報から、現在の時刻までの経過時間が所定の時間未満である時刻を示すタイムスタンプに対応付けられた手指の三次元骨格情報を取得する。そして、手指判定部２４２は、取得した手指の三次元骨格情報に基づいて、指示者の手指Ｕ１における指示に使用される指を特定する。図４に示した例において、指示に使用される指は、指示者の手指Ｕ１のうち、右手の人差し指である。

【0069】

指示に使用される指を特定する手法としては、様々な手法が適用され得る。一例として、手指判定部２４２は、手指の三次元骨格情報に基づいて、指示者の手指Ｕ１を構成する複数の指それぞれの曲がり度合いを推定し、複数の指それぞれの曲がり度合いに基づいて、指示に使用される指を特定する。ここでは、指示者の手指Ｕ１を構成する複数の指が、親指、人差し指、中指、薬指、小指である場合を想定する。

【0070】

例えば、指示者は、作業に対する指示に使用する指を伸ばす傾向があるため、曲がり度合いが高い指ほど、作業との関連性が低い指であることが考えられる。そこで、手指判定部２４２は、指示者の手指Ｕ１を構成する複数の指のうち曲がり度合いが閾値以下である指を、指示に使用される指として特定してもよい。

【0071】

各指の曲がり度合いの算出には、各指の関節の曲がり度合いが用いられてよい。図６を参照しながら、人差し指の第一関節の曲がり度合いを算出する手法の例について説明する。

【0072】

なお、以下の説明においては、ベクトルＡのユークリッドノルムを｜｜Ａ｜｜と記載し、ベクトルＡの正規化ベクトルをｎｏｒｍａｌｉｚｅ（Ａ）と記載する。このとき、｜｜ｎｏｒｍａｌｉｚｅ（Ａ）｜｜＝１が成立し、ｎｏｒｍａｌｉｚｅ（Ａ）×｜｜Ａ｜｜＝Ａが成立する。また、以下の説明においては、ベクトルＡとベクトルＢとの内積をｄｏｔ（Ａ，Ｂ）と記載する。

【0073】

図６は、人差し指の第一関節の曲がり度合いを算出する手法の例について説明するための図である。図６を参照すると、人差し指の先端の三次元座標Ｅ、人差し指の第一関節の三次元座標Ｊ、人差し指の第二関節の三次元座標Ｒが示されている。手指判定部２４２は、下記の式（１）に示される内積ｉｐを、人差し指の第一関節の曲がり度合いとして算出し得る。

【0074】

ｉｐ：＝ｄｏｔ（ｎｏｒｍａｌｉｚｅ（Ｅ－Ｊ），ｎｏｒｍａｌｉｚｅ（Ｒ－Ｊ））
・・・（１）

【0075】

手指判定部２４２は、このようにして算出した内積ｉｐと、あらかじめ決められた閾値ｔｈｒｂｅｎｄとが、下記の式（２）を満たすか否かを判断する。

【0076】

ｉｐ＞ｔｈｒｂｅｎｄ ・・・（２）

【0077】

例えば、閾値ｔｈｒｂｅｎｄの値は、ｃｏｓ（１３５°）であってもよいが、他の値であってもよい。手指判定部２４２は、人差し指の第一関節の曲がり度合いと同様に、人差し指の第二関節の曲がり度合い、中指、薬指、小指それぞれの第一関節および第二関節の曲がり度合い、親指の第一関節の曲がり度合いを算出する。

【0078】

手指判定部２４２は、人差し指の第一関節および第二関節それぞれの曲がり度合いの少なくとも一方が閾値ｔｈｒｂｅｎｄを上回るか否かを判断する。そして、手指判定部２４２は、人差し指の第一関節および第二関節それぞれの曲がり度合いの双方が閾値ｔｈｒｂｅｎｄ以下である場合に、人差し指を指示に使用される指として特定する。一方、手指判定部２４２は、人差し指の第一関節および第二関節それぞれの曲がり度合いの少なくとも一方が閾値ｔｈｒｂｅｎｄを上回る場合に、人差し指を指示に使用される指として特定しない。

【0079】

人差し指と同様に、中指、薬指、小指それぞれについても、第一関節および第二関節それぞれの曲がり度合いの双方が閾値ｔｈｒｂｅｎｄ以下である場合に、当該指が指示に使用される指として特定され、第一関節および第二関節それぞれの曲がり度合いの少なくとも一方が閾値ｔｈｒｂｅｎｄを上回る場合に、当該指が指示に使用される指として特定されない。

【0080】

一方、手指判定部２４２は、親指の第一関節の曲がり度合いが閾値ｔｈｒｂｅｎｄを上回るか否かを判断する。そして、手指判定部２４２は、親指の第一関節の曲がり度合いが閾値ｔｈｒｂｅｎｄ以下である場合に、親指を指示に使用される指として特定する。一方、手指判定部２４２は、親指の第一関節の曲がり度合いが閾値ｔｈｒｂｅｎｄを上回る場合に、親指を指示に使用される指として特定しない。

【0081】

（判定結果出力部２４３）
判定結果出力部２４３は、手指検知部２４１によって検知された手指の三次元骨格情報と、手指判定部２４２によって特定された指示に使用される指を示す情報とを取得する。例えば、指示に使用される指が人差し指である場合には、指示に使用される指を示す情報は、人差し指を示す情報である。そして、判定結果出力部２４３は、手指の三次元骨格情報と指示に使用される指を示す情報とが、通信部２４８によって作業者側装置１４に送信されるように通信部２４８を制御する。

【0082】

（判定結果取得部１４１）
作業者側システム１０において、判定結果取得部１４１は、通信部１４８によって受信された手指の三次元骨格情報と指示に使用される指を示す情報とを取得する。

【0083】

（作業者側表示制御部１４４）
作業者側表示制御部１４４は、手指の三次元骨格情報に基づいて、三次元手指モデルを生成し、生成した三次元手指モデルをあらかじめ決められた射影式によって射影することによって、二次元の手指映像を生成する。かかる手指映像は、作業に係る物体に対応する画像の一例に該当し得る。例えば、かかる射影式は、正射影（平行投影）を示す式であってよい。そして、作業者側表示制御部１４４は、生成した手指映像を作業撮像部１２によって得られた作業撮像映像に重畳し、作業撮像映像に重畳した手指映像を作業者側表示部１６に表示させる。

【0084】

図７は、作業撮像映像に重畳された手指映像の作業者側表示部１６による表示例を示す図である。図７に示されるように、作業者側表示制御部１４４は、作業撮像部１２によって得られた作業撮像映像Ｍ１２に生成した手指映像Ｕ２を重畳し、作業撮像映像Ｍ１２に重畳した手指映像Ｕ２を作業者側表示部１６に表示させる。

【0085】

（符号化部１４２）
符号化部１４２は、手指の三次元骨格情報と指示に使用される指を示す情報とに基づいて、指示に使用される指を通過する三次元座標に対応する、作業者側画面１６１（図７）における二次元座標を算出する算出部の例として機能する。

【0086】

より詳細に、符号化部１４２は、指示に使用される指の先端の三次元座標に対応する、作業者側画面１６１における二次元座標を算出する。一例として、符号化部１４２は、指示に使用される指を示す情報が人差し指を示す情報である場合には、人差し指を構成する指先の三次元座標に対応する、作業者側画面１６１における二次元座標を算出する。

【0087】

なお、指示に使用される指を通過する三次元座標を作業者側画面１６１に対応する二次元座標に変換するための変換式は、三次元手指モデルを二次元の手指映像に射影するための射影式と同じであってよい。また、以下の説明では、指示に使用される指を通過する三次元座標に対応する、作業者側画面１６１における二次元座標を、単に「指示に使用される指の二次元座標」とも言う。

【0088】

符号化部１４２は、指示に使用される指の二次元座標に応じた作業者側画面１６１における領域を重要領域として推定して重要領域を示す情報を得る推定部の例として機能する。例えば、符号化部１４２は、指示に使用される指の位置を加味して重要領域を推定してもよい。より詳細に、符号化部１４２は、指示に使用される指の二次元座標が示す位置を中央位置とした作業者側画面１６１における領域（以下、「補正前領域」とも言う。）を重要領域として推定してもよい。

【0089】

あるいは、符号化部１４２は、指示に使用される指の位置に加えて、指示に使用される指の方向も加味して重要領域を推定してもよい。より詳細に、符号化部１４２は、指示に使用される指を通過する複数の三次元座標に基づいて、指示に使用される指の三次元方向に対応する作業者側画面１６１における二次元方向（以下、「指示に使用される指の二次元方向」とも言う。）を算出し、指示に使用される指の二次元座標および指示に使用される指の二次元方向に応じた作業者側画面１６１における領域（以下、「補正後領域」とも言う。）を重要領域として推定してもよい。

【0090】

以下では、図８～図１０を参照しながら、補正前領域と補正後領域との双方を含んだ重要領域を推定する手法の例について説明する。なお、ここでは、指示に使用される指が、人差し指である場合における重要領域の推定について主に説明するが、指示に使用される指が、人差し指以外である場合にも、指示に使用される指が人差し指である場合と同様に重要領域が推定され得る。

【0091】

図８は、補正前領域の推定について説明するための図である。図８に示されるように、作業撮像映像Ｍ１２を、複数の領域に分割することを想定する。図８には、各領域が１６×１６ピクセルの矩形領域である例が示されている。このように分割された結果として、作業撮像映像Ｍ１２が縦に６分割され、横に８分割されて生じた、合計４８個の矩形領域が示されている。しかし、矩形領域のサイズおよび作業撮像映像Ｍ１２の分割数などは、かかる例に限定されない。

【0092】

ここで、指示に使用される指の例としての人差し指の先端の三次元座標をＥとし、射影式をｐｒｏｊ（）とする。このとき、符号化部１４２は、人差し指の先端の三次元座標Ｅに対応する、作業撮像映像Ｍ１２における人差し指の先端の二次元座標Ｆを、下記の式（３）に示すように算出し得る。

【0093】

Ｆ：＝ｐｒｏｊ（Ｅ） ・・・（３）

【0094】

符号化部１４２は、作業撮像映像Ｍ１２における人差し指の先端の二次元座標Ｆが示す位置を中央位置とした作業撮像映像Ｍ１２における領域を補正前領域Ｒ１として推定する。

【0095】

なお、図８に示された例では、人差し指の先端が含まれる一つの領域を中心とした縦３×横３からなる矩形領域が補正前領域Ｒ１として推定されている。しかし、補正前領域Ｒ１の縦および横それぞれのサイズは、かかる例に限定されない。また、符号化部１４２は、作業撮像映像Ｍ１２の外側の領域を、補正前領域Ｒ１に含めない。

【0096】

図９は、補正後領域の推定について説明するための図である。ここで、指示に使用される指の例としての人差し指の第一関節の三次元座標をＪとする。このとき、符号化部１４２は、人差し指の第一関節の三次元座標Ｊに対応する、作業撮像映像Ｍ１２における人差し指の第一関節の二次元座標を、ｐｒｏｊ（Ｊ）として算出し得る。

【0097】

人差し指の三次元方向に対応する作業者側画面１６１における二次元方向をＤとする。このとき、符号化部１４２は、人差し指の先端の二次元座標ｐｒｏｊ（Ｅ）と、人差し指の第一関節の二次元座標ｐｒｏｊ（Ｊ）とに基づいて、指示に使用される指の例としての人差し指の二次元方向Ｄを、下記の式（４）に示すように算出し得る。

【0098】

Ｄ：＝ｎｏｒｍａｌｉｚｅ（ｐｒｏｊ（Ｅ）－ｐｒｏｊ（Ｊ）） ・・・（４）

【0099】

さらに、符号化部１４２は、人差し指の先端の二次元座標ｐｒｏｊ（Ｅ）が示す位置から、人差し指の二次元方向Ｄに所定のシフト量Ｈだけシフトした位置（以下、「人差し指の先端のシフト後の二次元座標とも言う。）Ｔを、下記の式（５）に示すように算出し得る。

【0100】

Ｔ：＝ｐｒｏｊ（Ｅ）＋Ｄ×Ｈ ・・・（５）

【0101】

なお、シフト量Ｈは、どのようにして決められてもよい。例えば、シフト量Ｈは、作業撮像映像Ｍ１２が分割された各領域のサイズ（例えば、１６ピクセル）に決められてもよい。あるいは、シフト量Ｈは、作業撮像映像Ｍ１２における人差し指が長いほど、大きく決められてもよい。一例として、作業撮像映像Ｍ１２における人差し指の長さは、人差し指の先端の二次元座標ｐｒｏｊ（Ｅ）と、人差し指の第一関節の二次元座標ｐｒｏｊ（Ｊ）との距離であってよい。

【0102】

ここで、補正前領域Ｒ１（図８）だけではなく、人差し指の先端のシフト後の二次元座標Ｔに応じた領域も指示者が注目すべき重要領域であることが想定される。そこで、符号化部１４２は、人差し指の先端のシフト後の二次元座標Ｔを中央位置とした作業撮像映像Ｍ１２における領域を補正後領域Ｒ２として推定する。

【0103】

なお、図９に示された例では、指差し方向へのシフト後の人差し指の先端が含まれる一つの領域を中心とした縦３×横３からなる矩形領域が補正後領域Ｒ２として推定されている。しかし、補正後領域Ｒ２の縦および横それぞれのサイズは、かかる例に限定されない。また、符号化部１４２は、作業撮像映像Ｍ１２の外側の領域を、補正後領域Ｒ２に含めない。

【0104】

図１０は、補正前領域Ｒ１と補正後領域Ｒ２とを含んだ重要領域の推定について説明するための図である。図１０を参照すると、補正前領域Ｒ１と、補正後領域Ｒ２とが示されている。符号化部１４２は、補正前領域Ｒ１と補正後領域Ｒ２とを足し合わせることによって、重要領域Ｒ３を推定する。これによって、作業撮像映像Ｍ１２において指示者が注目すべき重要領域Ｒ３がより包括的に推定され得る。なお、符号化部１４２は、指示に使用される指が複数である場合には、指示に使用される複数の指それぞれについて重要領域を推定し、推定したそれぞれの重要領域を足し合わせることによって最終的な重要領域を得ればよい。

【0105】

符号化部１４２は、重要領域を示す情報に基づいて、作業撮像映像Ｍ１２に対する符号化を行って符号化後の作業撮像映像Ｍ１２を得る符号化処理部の一例として機能する。より詳細に、符号化部１４２は、作業撮像映像Ｍ１２のうち、重要領域Ｒ３以外の領域である非重要領域に対する符号化による圧縮率を、重要領域Ｒ３に対する符号化による圧縮率よりも高くする。なお、重要領域および非重要領域それぞれに対する具体的な符号化方式は特に限定されない。

【0106】

（送信制御部１４３）
送信制御部１４３は、符号化部１４２によって得られた符号化後の作業撮像映像Ｍ１２と重要領域Ｒ３を示す情報とがネットワーク３０を介して指示者側装置２４に送信されるように通信部１４８を制御する。このような符号化後の作業撮像映像Ｍ１２が送信されることによって、作業撮像映像Ｍ１２がネットワーク３０に与える通信負荷を軽減しつつ、作業撮像映像Ｍ１２における重要領域Ｒ３の品質の低下を抑制することが可能となる。

【0107】

（符号化データ取得部２４４）
符号化データ取得部２４４は、通信部２４８によって受信された符号化後の作業撮像映像Ｍ１２と重要領域Ｒ３を示す情報とを取得する取得部の一例として機能する。

【0108】

（復号部２４５）
復号部２４５は、符号化データ取得部２４４によって取得された符号化後の作業撮像映像Ｍ１２を復号して復号後の作業撮像映像Ｍ１２を得る。より詳細に、復号部２４５は、符号化後の作業撮像映像Ｍ１２と重要領域Ｒ３を示す情報とに基づいて、重要領域Ｒ３以外の領域である非重要領域に対して、非重要領域に対する符号化に対応する復号を行い、重要領域Ｒ３に対して、重要領域Ｒ３に対する符号化に対応する復号を行う。

【0109】

（指示者側表示制御部２４６）
指示者側表示制御部２４６は、復号部２４５によって得られた復号後の作業撮像映像Ｍ１２を指示者側表示部２６に表示させる。また、指示者側表示制御部２４６は、手指検知部２４１によって得られた手指の三次元骨格情報に基づいて、三次元手指モデルを生成し、生成した三次元手指モデルをあらかじめ決められた射影式によって射影することによって、二次元の手指映像を生成する。指示者側表示制御部２４６による射影は、作業者側表示制御部１４４による射影と同様に実行されてよい。

【0110】

そして、指示者側表示制御部２４６は、生成した手指映像を復号部２４５によって得られた復号後の作業撮像映像Ｍ１２に重畳し、復号後の作業撮像映像Ｍ１２に重畳した手指映像を指示者側表示部２６に表示させる。

【0111】

図１１は、復号後の作業撮像映像Ｍ１２に重畳された手指映像の指示者側表示部２６による表示例を示す図である。図１１に示されるように、指示者側表示制御部２４６は、復号部２４５によって得られた復号後の作業撮像映像Ｍ１２に生成した手指映像Ｕ２を重畳し、作業撮像映像Ｍ１２に重畳した手指映像Ｕ２を指示者側表示部２６に表示させる。なお、図１１を参照すると、指示空間に存在する指示者の手指Ｕ１が示されている。

【0112】

上記したように、作業撮像映像Ｍ１２のうち、重要領域Ｒ３以外の領域である非重要領域に対する符号化による圧縮率は、重要領域Ｒ３に対する符号化による圧縮率よりも高くされる。そのため、図１１に示されたように、復号後の作業撮像映像Ｍ１２のうち、重要領域Ｒ３以外の領域である非重要領域は、「低画質」であり、重要領域Ｒ３は、「高画質」である。

【0113】

以上、本発明の実施形態に係る遠隔作業支援システム１の構成例について説明した。

【0114】

（１－２．遠隔作業支援システムの動作）
続いて、図１２および図１３を参照しながら（図１～図１１も適宜参照しながら）、本発明の実施形態に係る遠隔作業支援システム１の動作例について説明する。まず、図１２を参照しながら作業者側システム１０の動作例について説明し、続いて、図１３を参照しながら指示者側システム２０の動作例について説明する。

【0115】

図１２は、作業者側システム１０の動作例を示すフローチャートである。作業者側システム１０において、作業撮像部１２は、作業者によって作業が行われる空間である作業空間を撮像することにより作業撮像画像を得る。作業者側表示制御部１４４は、作業撮像部１２によって得られた作業撮像映像を取得し（Ｓ１０１）、作業撮像映像を作業者側表示部１６に表示させる（Ｓ１０２）。

【0116】

符号化部１４２は、重要領域を示す情報に基づいて、作業撮像映像に対する符号化を行って符号化後の作業撮像映像を得る（Ｓ１０３）。より詳細に、符号化部１４２は、作業撮像映像Ｍ１２のうち、重要領域以外の領域である非重要領域に対する符号化による圧縮率を、重要領域に対する符号化による圧縮率よりも高くする。送信制御部１４３は、符号化部１４２によって得られた符号化後の作業撮像映像と重要領域を示す情報とがネットワーク３０を介して指示者側装置２４に送信されるように通信部１４８を制御する（Ｓ１０４）。

【0117】

通信部１４８によって手指の三次元骨格情報と指示に使用される指を示す情報とが受信されない場合には（Ｓ１１０において「ＮＯ」）、Ｓ１０１に動作が移行される。一方、通信部１４８によって手指の三次元骨格情報と指示に使用される指を示す情報とが受信された場合には（Ｓ１１０において「ＹＥＳ」）、判定結果取得部１４１は、通信部１４８によって受信された手指の三次元骨格情報と指示に使用される指を示す情報とを取得する。

【0118】

作業者側表示制御部１４４は、手指の三次元骨格情報に基づいて、三次元手指モデルを生成し、生成した三次元手指モデルをあらかじめ決められた射影式によって射影することによって、二次元の手指映像を生成する。そして、作業者側表示制御部１４４は、生成した手指映像を作業者側表示部１６に表示される作業撮像映像に重畳して表示させる（Ｓ１１１）。

【0119】

符号化部１４２は、手指の三次元骨格情報と指示に使用される指を示す情報とに基づいて、指示に使用される指を通過する三次元座標に対応する、作業者側画面１６１における二次元座標を算出する。符号化部１４２は、指示に使用される指の二次元座標に応じた作業者側画面１６１における領域を重要領域として推定して重要領域を示す情報を得る（Ｓ１１２）。そして、Ｓ１０１に動作が移行される。

【0120】

図１３は、指示者側システム２０の動作例を示すフローチャートである。指示者側システム２０において、通信部２４８は、符号化後の作業撮像映像と重要領域を示す情報とを受信し（Ｓ２０１）、符号化データ取得部２４４は、通信部２４８によって受信された符号化後の作業撮像映像と重要領域を示す情報とを取得する。

【0121】

復号部２４５は、符号化データ取得部２４４によって取得された符号化後の作業撮像映像を復号して復号後の作業撮像映像を得る（Ｓ２０２）。より詳細に、復号部２４５は、符号化後の作業撮像映像と重要領域を示す情報とに基づいて、重要領域以外の領域である非重要領域に対して、非重要領域に対する符号化に対応する復号を行い、重要領域に対して、重要領域に対する符号化に対応する復号を行う。

【0122】

指示者側表示制御部２４６は、復号部２４５によって得られた復号後の作業撮像映像を指示者側表示部２６に表示させる（Ｓ２０３）。続いて、手指撮像部２２は、指示者の手指を撮像することにより手指撮像映像を得る（Ｓ２０４）。手指検知部２４１は、手指撮像部２２によって得られた手指撮像映像を取得する。手指検知部２４１は、手指撮像映像に基づいて、指示者の手指が通過する複数の三次元座標である手指の三次元骨格情報の検知を試みる。

【0123】

手指検知部２４１によって手指の三次元骨格情報が検知されない場合（Ｓ２１０において「ＮＯ」）、Ｓ２０１に動作が移行される。

【0124】

一方、手指検知部２４１によって手指の三次元骨格情報が検知された場合（Ｓ２１０において「ＹＥＳ」）、指示者側表示制御部２４６は、手指の三次元骨格情報に基づいて、三次元手指モデルを生成し、生成した三次元手指モデルをあらかじめ決められた射影式によって射影することによって、二次元の手指映像を生成する。そして、指示者側表示制御部２４６は、生成した手指映像を指示者側表示部２６に表示される復号後の作業撮像映像に重畳して表示させる（Ｓ２１１）。

【0125】

手指判定部２４２は、手指検知部２４１によって検知された手指の三次元骨格情報に基づいて、指示者の手指における作業に対する指示に使用される指を特定して、指示に使用される指を示す情報を得る（Ｓ２１２）。

【0126】

判定結果出力部２４３は、手指検知部２４１によって検知された手指の三次元骨格情報と、手指判定部２４２によって特定された指示に使用される指を示す情報とを取得する。そして、判定結果出力部２４３は、手指の三次元骨格情報と指示に使用される指を示す情報とが、通信部２４８によって作業者側装置１４に送信されるように通信部２４８を制御する（Ｓ２１３）。そして、Ｓ２０１に動作が移行される。

【0127】

以上、本発明の実施形態に係る遠隔作業支援システム１の動作例について説明した。

【0128】

（１－３．効果）
以上により、本発明の実施形態によれば、手指検知部２４１と、手指判定部２４２と、符号化部１４２と、送信制御部１４３と、符号化データ取得部２４４と、復号部２４５と、指示者側表示制御部２４６とを備える、遠隔作業支援システム１が提供される。

【0129】

手指検知部２４１は、指示者の手指から手指撮像部２２によって得られた手指撮像映像に基づいて、指示者の手指が通過する複数の三次元座標を検知する。手指判定部２４２は、複数の三次元座標に基づいて、指示者の手指における作業に対する指示に使用される指を特定する。

【0130】

符号化部１４２は、指示に使用される指を通過する三次元座標に対応する、作業者によって視認される作業者側画面１６１における二次元座標を算出し、二次元座標に応じた作業者側画面１６１における領域を重要領域として推定して重要領域を示す情報を得る。そして、符号化部１４２は、重要領域を示す情報に基づいて、作業が行われる作業空間が撮像された作業撮像映像に対する符号化を行って符号化後の撮像画像を得る。

【0131】

送信制御部１４３は、符号化後の作業撮像映像の送信を制御する。符号化データ取得部２４４は、符号化後の作業撮像映像を取得する。復号部２４５は、符号化後の作業撮像映像を復号して復号後の作業撮像映像を得る。指示者側表示制御部２４６は、復号後の作業撮像映像を、指示者によって視認される指示者側画面２６１に表示させる。

【0132】

かかる構成によれば、作業空間を撮像して得られた作業撮像映像がネットワークに与える通信負荷を軽減しつつ、作業撮像映像における重要領域の品質の低下を抑制することが可能となる。

【0133】

以上、本発明の実施形態に係る遠隔作業支援システム１が奏する効果について説明した。

【0134】

（２．ハードウェア構成例）
続いて、本発明の実施形態に係る作業者側システム１０のハードウェア構成例について説明する。

【0135】

以下では、本発明の実施形態に係る作業者側システム１０のハードウェア構成例として、情報処理装置９００のハードウェア構成例について説明する。なお、以下に説明する情報処理装置９００のハードウェア構成例は、作業者側システム１０のハードウェア構成の一例に過ぎない。したがって、作業者側システム１０のハードウェア構成は、以下に説明する情報処理装置９００のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。なお、指示者側システム２０のハードウェア構成も、作業者側システム１０のハードウェア構成と同様に実現され得る。

【0136】

図１４は、本発明の実施形態に係る作業者側システム１０の例としての情報処理装置９００のハードウェア構成を示す図である。情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置９１０と、通信装置９１１と、を備える。

【0137】

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。

【0138】

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

【0139】

入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。情報処理装置９００を操作するユーザは、この入力装置９０８を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

【0140】

出力装置９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。

【0141】

ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

【0142】

通信装置９１１は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１１は、無線通信または有線通信のどちらに対応してもよい。

【0143】

以上、本発明の実施形態に係る作業者側システム１０のハードウェア構成例について説明した。

【0144】

（３．まとめ）
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0145】

例えば、上記では、作業に係る物体の例として、作業に対する指示を行う指示者の手指が用いられる場合を主に想定した。しかし、作業に係る物体として、指示者の手指の代わりに、作業者の手指が用いられてもよい。このとき、手指撮像部２２は、指示者側システム２０の代わりに作業者側システム１０に備えられてよい。そして、手指撮像部２２は、作業者の手指を撮像し、手指検知部２４１は、指示者の手指の三次元骨格情報を検知する手法と同様の手法により、作業者の手指の三次元骨格情報を検知すればよい。

【0146】

また、作業に係る物体は、手指に限定されない。すなわち、作業に係る物体は、作業者によって用いられる物体（第１の物体）を含んでもよいし、作業に対して指示を行う指示者によって用いられる物体（第２の物体）を含んでもよい。作業に係る物体は、作業者または指示者によって用いられる各種の道具（例えば、作業に使う道具（ドライバーなど）、医療器具など）であってもよい。あるいは、作業に係る物体は、ロボットによって用いられる物体を含んでもよい。

【0147】

また、上記では、手指判定部２４２が、あらかじめ決められた条件（具体的には、曲がり度合いが閾値以下であるという条件）を満たす指を、指示に使用される指として特定する場合について主に説明した。しかし、手指判定部２４２は、手指の三次元骨格情報と、所定の機械学習アルゴリズムによる学習によって得られた学習済みのモデルとに基づいて、指示に使用される指を特定してもよい。

【0148】

一例として、機械学習アルゴリズムによる学習は、ニューラルネットワークによる機械学習（例えば、深層学習など）であってもよい。あらかじめ用意された学習済みのモデルは、遠隔作業支援システム１の使用が開始された後は更新されなくてもよいし、遠隔作業支援システム１の使用中に適宜に更新されてもよい。

【0149】

例えば、指示者または作業者は、手指撮像映像を参照しながら、作業に係る部位の正解データを遠隔作業支援システム１に入力させることが可能であってもよい。そうすれば、遠隔作業支援システム１は、作業に係る部位の正解データと手指撮像映像とに基づいて、あらかじめ用意された学習済みのモデルの追加学習を行うことが可能である。これによって、遠隔作業支援システム１の使用中にもモデルの精度が向上し得る。

【0150】

また、上記では、作業撮像映像が複数の矩形領域に分割される場合を主に想定した。しかし、作業撮像映像が分割される複数の領域それぞれの形状は、矩形領域に限定されない。また、上記したように、作業撮像映像が分割される複数の矩形領域それぞれのサイズも１６×１６ピクセルに限定されない。

【0151】

さらに、上記では、手指検知部２４１および手指判定部２４２が指示者側装置２４に備えられる場合について主に想定した。しかし、手指検知部２４１および手指判定部２４２の少なくともいずれか一方は、作業者側装置１４に備えられてもよいし、図示しないサーバに備えられてもよい。

【0152】

また、符号化部１４２のうち、指示に使用される指の二次元座標を算出する算出部および重要領域を推定する推定部の少なくともいずれか一方も同様に、作業者側装置１４に備えられてもよいし、図示しないサーバに備えられてもよい。

【0153】

上記では、指示者側表示部２６に表示される手指映像は、指示者側表示制御部２４６によって作業撮像映像に重畳される場合を主に想定した。かかる構成によれば、手指映像が作業者側システム１０から指示者側システム２０に送信されなくてよいため、ネットワーク３０に掛かる通信負荷が軽減されるという効果が奏される他、指示者側システム２０において手指映像を重畳させるか否かを独自に判断することが可能であるという効果なども奏される。

【0154】

しかし、指示者側表示部２６に表示される手指映像は、作業者側表示制御部１４４によって作業撮像映像に重畳されてもよい。かかる構成によれば、作業者側システム１０と指示者側システム２０とにおいて同じ手指映像フレームが同じ作業撮像映像フレームに重畳される。換言すると、かかる構成によれば、作業者側システム１０と指示者側システム２０とにおいて同じ作業撮像映像フレームに重畳される手指映像フレームの時間差がなくなるという効果が奏される。

【符号の説明】

【0155】

１ 遠隔作業支援システム
１０ 作業者側システム
１２ 作業撮像部
１４ 作業者側装置
１４０ 制御部
１４１ 判定結果取得部
１４２ 符号化部
１４３ 送信制御部
１４４ 作業者側表示制御部
１４８ 通信部
１４９ 記憶部
１６ 作業者側表示部
１６１ 作業者側画面
２０ 指示者側システム
２２ 手指撮像部
２４ 指示者側装置
２４０ 制御部
２４１ 手指検知部
２４２ 手指判定部
２４３ 判定結果出力部
２４４ 符号化データ取得部
２４５ 復号部
２４６ 指示者側表示制御部
２４８ 通信部
２４９ 記憶部
２６ 指示者側表示部
２６１ 指示者側画面
３０ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】