特許 6660869 遠隔作業支援システムおよびその作業者端末

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6660869

(24)【登録日】2020年2月13日

(45)【発行日】2020年3月11日

(54)【発明の名称】遠隔作業支援システムおよびその作業者端末

(51)【国際特許分類】

   H04N 19/115 20140101AFI20200227BHJP

   H04N 19/139 20140101ALI20200227BHJP

   H04N 19/172 20140101ALI20200227BHJP

   H04N 19/196 20140101ALI20200227BHJP

   H04N 21/234 20110101ALI20200227BHJP

【ＦＩ】

   H04N19/115

   H04N19/139

   H04N19/172

   H04N19/196

   H04N21/234

【請求項の数】12

【全頁数】15

(21)【出願番号】特願2016-223968(P2016-223968)

(22)【出願日】2016年11月17日

(65)【公開番号】特開2018-82333(P2018-82333A)

(43)【公開日】2018年5月24日

【審査請求日】2018年12月21日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】豊田 陽介

(72)【発明者】

【氏名】辻 智弘

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特開２０１５−１１９３３５（ＪＰ，Ａ）

【文献】 特開２０１４−１９２５８９（ＪＰ，Ａ）

【文献】 特開２０１１−１９９３５４（ＪＰ，Ａ）

【文献】 特開２０１１−１０１３００（ＪＰ，Ａ）

【文献】 特開２００９−１１８１５１（ＪＰ，Ａ）

【文献】 特開２００４−３６３９７４（ＪＰ，Ａ）

【文献】 特開２００４−０２３３７３（ＪＰ，Ａ）

【文献】 国際公開第２０１３／０１１６７１（ＷＯ，Ａ１）

【文献】 国際公開第２００８／０３５７４５（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

Ｈ０４Ｎ ２１／００ − ２１／８５８

(57)【特許請求の範囲】

【請求項1】

動画像を符号化して支援者端末へ伝送する遠隔作業支援システムの作業者端末において、
動画像を撮影するカメラと、
前記動画像を符号化する符号化手段と、
前記動画像のフレーム間でのローカルモーションを推定するローカルモーション推定手段と、
前記ローカルモーションが所定の閾値を上回る動画像を重要画像と評価する評価手段と、
前記評価結果に基づいて前記符号化手段の符号化パラメータを決定する符号化パラメータ決定手段とを具備し、
前記符号化パラメータ決定手段は、単位時間に伝送される動画像の符号量が、前記重要画像以外では前記重要画像よりも減ぜられるように前記符号化パラメータを決定することを特徴とする遠隔作業支援システムの作業者端末。

【請求項2】

前記動画像のグローバルモーションを推定するグローバルモーション推定手段を具備し、
前記評価手段は、グローバルモーションが第１の閾値を下回り、かつローカルモーションが第２の閾値を上回る動画像を前記重要画像と評価することを特徴とする請求項１に記載の遠隔作業支援システムの作業者端末。

【請求項3】

前記評価手段は、グローバルモーションが第１の閾値を下回り、かつローカルモーションが第２の閾値を下回る動画像を準重要画像と評価し、
前記符号化パラメータ決定手段は、単位時間に伝送される準重要画像の符号量が、単位時間に伝送される前記重要画像の符号量よりも減ぜられるように前記符号化パラメータを決定することを特徴とする請求項２に記載の遠隔作業支援システムの作業者端末。

【請求項4】

前記符号量がビットレートであって、１フレーム当たりのビット量とフレームレートとの積で表され、
前記符号化パラメータ決定手段は、準重要画像のフレームレートを重要画像のフレームレートよりも低くし、１フレーム当たりのビット量が前記フレームレートの変更前後で同等となるように準重要画像のビットレートを重要画像のビットレートよりも低くすることを特徴とする請求項３に記載の遠隔作業支援システムの作業者端末。

【請求項5】

前記符号量がビットレートであり、
前記符号化パラメータが、ビットレート、空間解像度、時間解像度およびピクチャタイプの少なくとも一つであることを特徴とする請求項１ないし４のいずれかに記載の遠隔作業支援システムの作業者端末。

【請求項6】

前記符号化パラメータ決定手段は、前記評価手段により同一の評価が所定時間継続したことを条件に、当該評価結果に応じた符号化パラメータを決定することを特徴とする請求項１ないし５のいずれかに記載の遠隔作業支援システムの作業者端末。

【請求項7】

作業者端末が動画像を符号化して支援者端末へ伝送し、支援者端末が伝送された複数の動画像を同一スクリーン上に表示する遠隔作業支援システムにおいて、
前記作業者端末が
動画像を撮影するカメラと、
前記動画像を符号化する符号化手段と、
前記動画像のフレーム間でのローカルモーションを推定するローカルモーション推定手段と、
前記ローカルモーションが所定の閾値を上回る動画像を重要画像と評価する評価手段と、
前記評価結果に基づいて前記符号化手段の符号化パラメータを決定する符号化パラメータ決定手段とを具備し、
前記符号化パラメータ決定手段は、単位時間に伝送される動画像の符号量が、前記重要画像以外では前記重要画像よりも減ぜられるように前記符号化パラメータを決定し、
前記支援者端末が、
単位時間に伝送された各動画像の符号量の相対的な大小関係を判断する手段と、
相対的に符号量の大きい動画像を小さい動画像よりも優先的に表示する表示制御手段とを具備したことを特徴とする遠隔作業支援システム。

【請求項8】

前記表示制御手段は、相対的に符号量の大きい動画像を小さい動画像よりも大きく表示することを特徴とする請求項７に記載の遠隔作業支援システム。

【請求項9】

前記表示制御手段は、相対的に符号量の大きい動画像の上に符号量の小さい動画像を重畳表示することを特徴とする請求項８に記載の遠隔作業支援システム。

【請求項10】

前記表示制御手段は、符号量が同一の複数の動画像を並列表示することを特徴とする請求項７ないし９のいずれかに記載の遠隔作業支援システム。

【請求項11】

作業者端末が動画像を符号化して支援者端末へ伝送し、支援者端末が伝送された複数の動画像を同一スクリーン上に表示する遠隔作業支援システムにおいて、
前記作業者端末が
動画像を撮影するカメラと、
前記動画像を符号化する符号化手段と、
前記動画像のフレーム間でのローカルモーションを推定するローカルモーション推定手段と、
前記ローカルモーションが所定の閾値を上回る動画像を重要画像と評価する評価手段と、
前記評価結果に基づいて前記符号化手段の符号化パラメータを決定する符号化パラメータ決定手段とを具備し、
前記符号化パラメータ決定手段は、単位時間に伝送される動画像の符号量が、前記重要画像以外では前記重要画像よりも減ぜられるように前記符号化パラメータを決定し、
前記支援者端末が、
伝送された動画像の再生フレームレートを、重要画像および当該重要画像よりもフレームレートの低い重要画像以外の画像のいずれであるかにかかわらず同一とすることを特徴とする遠隔作業支援システム。

【請求項12】

伝送された動画像を、重要画像および当該重要画像よりもフレームレートの低い重要画像以外の画像のいずれであるかにかかわらず重要画像のフレームレートで再生することを特徴とする請求項１１に記載の遠隔作業支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔作業支援システムおよびその作業者端末に係り、特に、支援者による作業支援に有益ではない非重要画像は、支援者による作業支援に有益な重要画像よりも、その映像品質を低下させて作業者端末から支援者端末へ伝送することにより、作業支援に実質の影響を及ぼすことなく作業支援に要するデータ総量を減ぜられる遠隔作業支援システムおよびその作業者端末を提供することにある。

【背景技術】

【0002】

従来、ネットワーク経由で映像・音声データをリアルタイムに伝送するシステムにおいて、データを受信する側の映像視聴者が、映像内容を視認しやすくする技術が、特許文献１に開示されている。この技術によれば、小さく揺れ動き視認しづらい映像に関して、揺れの影響を抑えて表示することで映像を視認しやすくできる。

【0003】

具体的な処理として、フレーム間差分などにより映像内の動き変化量を算出し、動き変化量が大きいときは高フレームレートで伝送し、動き変化量が小さいときは間引きを行った低フレームレートで伝送を行うようにしている。

【0004】

また、ネットワーク経由で映像・音声データをリアルタイムに伝送するシステムにおいて、頭部装着式のカメラで映像を撮影する構成では、映像に大きなブレが生じた際に映像内容を視聴しやすくする技術が特許文献２に開示されている。この技術によれば、頭部が高速に動いたことが前記カメラに付属のセンサで検知されるとフレームレートが減ぜられる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開2015-119335号公報

【特許文献2】特開2011-101300号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

昨今、スマートフォンやタブレット等の端末の普及に伴って、地理的に離れた端末間で、ネットワークを介した映像伝送が用いられるようになってきている。例えば、現場作業の用途として、現場作業者が所持する端末で撮影された映像を、遠隔の作業管理者へリアルタイムに送信することができる。

【0007】

このような用途を想定した場合、遠隔の作業管理者は、送られた映像を見ることによって、現場の状況や現場作業者の作業の様子を確認したり、作業の結果を確認したりすることが目的となる。このため、現場作業者が重要な作業を行っている最中であるか否か、あるいは作業の対象となる機器などの対象物を映しており、かつ同対象物に対して何らかの確認を行うべき段階であるか否か等によって、伝送された映像が視認しやすい映像であるべきか否かが異なってくる。

【0008】

一方、スマートフォンやタブレット等のモバイル端末で用いられる通信では、ネットワークへの負荷を抑えられるように、高速通信の通信量に一定の制限を課するサービスが多い。このような通信の制限を考慮し、映像伝送において、ネットワーク帯域に空きがある場合でもデータの通信量を抑えるための処理が求められる。

【0009】

すなわち、それらを考慮すると、現場作業における重要な箇所での映像伝送と、現場作業における重要でない箇所の映像伝送とでは、前者により多くのデータ量を割り当て、後者に割り当てるデータ量を削減することによって、データ通信量を抑えることが求められる。

【0010】

しかしながら、特許文献１の技術は、映像の内容を考慮せずに動きの総量が小さい場合のみフレームレートを間引くという判断を行っている。しかしながら、発明者等の考察の結果、作業支援用の動画像を対象とした場合には、作業管理者が参照することを要しない動画像ほど動きの総量が多いことが確認されている。したがって、特許文献１の技術を作業支援用の動画像の伝送技術に適用してしまうと、作業管理者に必要とされない動画像の大部分が高品質で伝送されてしまうという技術課題があった。

【0011】

特許文献２では、頭部の動きを角速度のみで判定している（頷きや頭を左右に振ったりする動作のみを想定している）ため、例えば、作業者が立ち上がったりしゃがんだりする動きや、作業者が移動している最中など、頭部が回転はしないがある一定速度以上で動く場合にはフレームレートを間引く処理が行われない。

【0012】

また、特許文献１、２のいずれでも、データ通信量を抑えるためにフレームレートの間引きしか行っておらず、ビットレートを含む他のパラメータは考慮されていない。

【0013】

本発明の目的は、上記に技術課題を解決し、作業支援者が作業支援に不要な動画像の映像品質を優先的に低下させることにより、作業支援に影響を与えることなく、作業支援に要するデータ通信量を削減できる遠隔作業支援システムおよびその作業者端末を提供することにある。

【課題を解決するための手段】

【0014】

上記の目的を達成するために、本発明は、動画像を符号化して支援者端末へ伝送する遠隔作業支援システムの作業者端末／支援者端末において、以下の構成を具備した点に特徴がある。

【0015】

(1) 本発明の作業者端末は、動画像を撮影するカメラと、前記動画像を符号化する符号化手段と、前記動画像が、その映像フレームの一部の領域が他の一部の領域よりも大きく動く重要画像であるか否かを評価する評価手段と、前記評価結果に基づいて前記符号化手段の符号化パラメータを決定する符号化パラメータ決定手段とを具備し、符号化パラメータ決定手段は、重要画像以外の画像の符号量が重要画像の符号量よりも減ぜられるように前記符号化パラメータを決定するようにした。

【0016】

(2) 評価手段が、動画像のローカルモーションを推定するローカルモーション推定手段を具備し、ローカルモーションが所定の閾値を上回る動画像を重要画像と評価するようにした。

【0017】

(3) 評価手段が、動画像のローカルモーションを推定するローカルモーション推定手段と、動画像のグローバルモーションを推定するグローバルモーション推定手段とを具備し、グローバルモーションが第１の閾値を下回り、かつローカルモーションが第２の閾値を上回る動画像を重要画像と評価するようにした。

【0018】

(4) 評価手段は、グローバルモーションが第１の閾値を下回り、かつローカルモーションが第２の閾値を下回る動画像を準重要画像と評価し、前記符号化パラメータ決定手段は、準重要画像の符号量が重要画像の符号量よりも減ぜられるように前記符号化パラメータを決定するようにした。

【0019】

(5) 符号化パラメータ決定手段は、準重要画像のフレームレートを重要画像のフレームレートよりも低くし、１フレーム当たりのビット量が前記フレームレートの変更前後で同等となるように準重要画像のビットレートを重要画像のビットレートよりも低くするようにした。

【0020】

(6) 符号化パラメータ決定手段は、評価手段により同一の評価が所定時間継続したことを条件に、当該評価結果に応じた符号化パラメータを決定するようにした。

【0021】

(7) 本発明の支援者端末は、複数の作業者端末から伝送された各動画像の符号量の相対的な大小関係を判断する手段と、相対的に符号量の大きい動画像を小さい動画像よりも優先的に表示する表示制御手段とを具備した。

【0022】

(8) 本発明の支援者端末は、伝送された動画像の再生フレームレートを、重要画像および当該重要画像よりもフレームレートの低い重要画像以外の画像のいずれであるかにかかわらず同一とし、例えば重要画像のフレームレートで再生するようにした。

【発明の効果】

【0023】

本発明によれば、以下のような効果が達成される。

【0024】

(1) 作業対象を注視しながら手作業している作業者の視野画像のように、作業支援者にとっての重要画像を、その映像の一部の領域の動き変化量が他の領域の動き変化量よりも大きいか否かに基づいて評価するので、専用の物理的なセンサ等を追加することなく動画像の評価が可能になる。

【0025】

(2) 動画像を、それが重要画像であれば映像品質が相対的に高く、非重要画像であれば映像品質が相対的に低くなるように符号化パラメータを動的に変更するので、符号量が大きくなる映像期間を、高品質が要求される重要画像の表示期間のみに制限できるようになる。

【0026】

(3) 動画像の一部の領域の動き変化量が他の領域の動き変化量よりも大きいか否かを、グローバルモーションやローカルモーションの推定結果に基づいて評価するようにしたので、重要画像の評価プロセスを汎用のアルゴリズムを用いて構築できるようになる。

【0027】

(4) 作業者が作業対象を注視していると推定される準重要画像については、フレームレートを低下させて符号量を減じると共に、1フレーム当たりのビット量がフレームレートの変更前後で同等になるようにビットレートも減じるので、支援者の主観品質を低下させることなく総データ量を減ぜられるようになる。

【0028】

(5) 本発明の支援者端末によれば、重要画像をそれ以外の画像よりも大きなサイズで表示できるので、支援者による作業支援が容易になる。

【0029】

(6) 本発明の支援者端末によれば、標準フレームレートの重要画像もそれ以外の画像も再生フレームレートを同一とされるので、重要画像以外は再生時間を自動的に短縮でき、全体の再生時間が短縮されて効率的な作業支援が可能になる。

【図面の簡単な説明】

【0030】

【図1】本発明の一実施形態に係る遠隔作業支援システムの構成を示した機能ブロック図である。

【図2】本発明の第２実施形態に係る遠隔作業支援システムの構成を示した機能ブロック図である。

【図3】本発明の第３実施形態に係る遠隔作業支援システムの構成を示した機能ブロック図である。

【図4】グローバルモーションおよびローカルモーションの推定結果に基づいて符号化パラメータを決定する手順を示したフローチャートである。

【図5】作業者の動きに応じて動画像の各ブロックが変化する様子を模式的に示した図である。

【図6】動画像の評価結果が所定時間以上継続することを条件に、その評価結果を符号化パラメータに反映する手順を示したフローチャートである。

【図7】動画像の評価結果が所定時間以上継続することを条件に、その評価結果を符号化パラメータに反映する手順を示したタイミングチャートである。

【図8】支援者端末において、複数の動画像の表示サイズおよび表示位置を、その重要度に応じて動的に変更する例を示した図である。

【図9】低フレームレート化された動画の再生方法を模式的に示した図である。

【発明を実施するための形態】

【0031】

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る遠隔作業支援システムの構成を示した機能ブロック図であり、作業支援を受ける作業者が使用する作業者端末１０と、この作業者端末１０から伝送される動画像に基づいて作業者を支援する支援者が使用する支援者端末２０とを、インターネット等のネットワーク経由で接続して構成される。

【0032】

作業者端末１０は、例えば作業者が頭に装着するヘッドマウントディスプレイ（HMD）またはメガネ構造のスマートグラスであり、作業者の視線方向を撮影するカメラ１１を備える。撮影動画像符号化部１２は、例えばH.264などの符号化圧縮方式を採用し、カメラ１１が出力する動画像を、後述する符号化パラメータ決定部１５が決定した符号化パラメータ、例えば符号化ビットレート、空間解像度（VGA、QVGA、CIF、QCIF等）、時間解像度（フレームレート）およびピクチャタイプ（Iフレーム，Pフレーム，Bフレーム）に基づいて符号化する。

【0033】

通信インタフェース１３は、符号化圧縮された動画像をインターネット経由で支援者端末２０へ伝送する。動画像評価部１４は、動画像をその映像フレームの時系列変化に基づいて評価する。本実施形態では、各映像フレームを複数のブロックに分割し、時間的に前後するフレーム間での動きベクトルをブロック単位で計算する。そして、この動きベクトルの特徴に基づいて、映像フレームの一部の領域が他の領域よりも大きく変化する動画像を重要画像として評価する。なお、図１では動画像評価部１４はカメラ１１からの入力画像を評価する形で記載したが、撮影動画像符号化部１２が符号化の際に求めた動きベクトルの情報を評価に用いても良い。

【0034】

符号化パラメータ決定部１５は、前記動画像評価部１４による評価結果に基づいて、重要画像以外の画像（非重要画像）の映像品質が、重要画像の映像品質よりも相対的に低くなる、換言すれば、非重要画像の符号量が重要画像の符号量よりも少なくなるように符号化パラメータを動的に決定し、これを撮影動画像符号化部１２に適用する。

【0035】

作業者と支援者との間での作業支援に係る通話や音声メッセージの送受は、作業者端末１０および支援者端末２０に実装された機能（図示省略）により実現しても良いし、あるいは当該システムとは独立した各自の通話端末を用いて実現するようにしても良い。

【0036】

本実施形態によれば、映像フレーム上の一部の領域が他の領域よりも大きく動く動画像は、例えば作業対象を注視しながら手作業している作業者の視野画像のように、支援者にとって重要な重要画像とみなす一方、それ以外は非重要画像とみなして、その符号量が減ぜられる符号化パラメータを採用するので、作業支援に支障を来すことなく動画像のデータ総量を減じることができる。

【0037】

図２は、本発明の第２実施形態に係る遠隔作業支援システムの主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表すので、その説明は省略する。

【0038】

本実施形態では、前記動画像評価部１４がローカルモーション推定部１４ａを備え、所定の閾値を超えるローカルモーションが検知されると、これを重要画像と評価するようにした点に特徴がある。

【0039】

前記ローカルモーション推定部１４ａは、各映像フレームを複数のブロックに分割し、時間的に前後するフレーム間／フィールド間での動きベクトルまたはオプティカルフローをブロック単位で計算する。そして、一部のブロックで所定の閾値を超える動き変化が検知されているか否かに基づいてローカルモーションを推定する。

【0040】

本実施形態によれば、ローカルモーションが検知されると、その動画像を映像フレーム上の一部の領域が他の領域よりも大きく動く重要画像とみなすので、ローカルモーションを推定する汎用のアルゴリズムを用いて重要画像を評価できるようになる。

【0041】

図３は、本発明の第３実施形態に係る遠隔作業支援システムの主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表すので、その説明は省略する。

【0042】

本実施形態では、前記動画像評価部１４がローカルモーション推定部１４ａおよびグローバルモーション推定部１４ｂを備え、ローカルモーションおよびグローバルモーションの推定結果に基づいて動画像を評価するようにした点に特徴がある

【0043】

グローバルモーションは、カメラのブレやパン・チルト・ズーム・ロールなどといった動きによって生じるものであり、前記グローバルモーション推定部１４ｂは、動画像の各フレーム間で画面全体での動きの変化（大きさと方向）を計測してグローバルモーションの向き及び大きさを推定する。

【0044】

図４は、第３実施形態において、前記符号化パラメータ決定部１５がグローバルモーションおよびローカルモーションの推定結果に応じて符号化パラメータを決定する手順を示したフローチャートであり、ここでは、符号化パラメータとしてフレームレートおよびビットレートを２段階（標準、低）のいずれかに決定する場合を例にして説明する。

【0045】

ステップＳ１では、時間的に前後する２つのフレーム（前回フレームf-1と今回フレームf）のフレーム間差分Dfが所定の閾値Dref以上であるか否かが判断される。例えば、作業者が次の作業対象の位置へ移行する場合などはフレーム間差分Dfが閾値Drefを超えるので、このような場合は、「移行中」の非重要画像と評価して後述するステップＳ８へ進む。

【0046】

これに対して、フレーム間差分Dfが所定の閾値Dref未満であればステップＳ２へ進み、各映像フレームの時系列変化に基づいて、前記グローバルモーション推定部１４ｂによりグローバルモーションGMが算出される。グローバルモーションGMは、ブロックごとに動きベクトルを求め、その平均値を求めるなどして全体の動きを代表するベクトルを計算することで求められる。ステップＳ３では、グローバルモーションGMが所定の閾値GMrefを超えているか否かが判断される。

【0047】

本実施形態では、グローバルモーションGMが次式(1)で与えられる閾値GMref以上であるか否かが判断される。ただし、fsは標準のフレームレート、f(t)は評価タイミングtにおけるフレームレート、mは所定の重み値である。

【0048】

GMref=m×fs／f(t) …(1)

【0049】

グローバルモーションGMが所定の閾値GMref以上であれば、図5(a)，(b)に示したように、パン[図５(a)]やズーム[図５(b)]といった、視野を「移行中」の非重要画像と評価して前記ステップＳ８へ進む。

【0050】

これに対して、グローバルモーションGMが所定の閾値GMrefを下回っていればステップＳ４へ進み、前記ローカルモーション推定部１４ａによりローカルモーションLMが算出される。ステップＳ５では、ローカルモーションLMが所定の閾値LMrefを超えているか否かが判断される。

【0051】

ローカルモーションLMが所定の閾値LMref以上であれば、映像フレーム上の一部の領域が他の領域よりも大きく動く「作業中」の重要画像[図５(c)]と評価してステップＳ６へ進む。ステップＳ６では、フレームレートおよびビットレートとして、いずれも標準値fs，bsが採用される。

【0052】

これに対して、前記ステップＳ５において、ローカルモーションLMが所定の閾値LMref未満と判断されると、現在の映像を作業者が作業対象を「注視中」の準重要画像と判断してステップＳ７へ進む。ステップＳ７では、注視中に最適な符号化パラメータが求められる。本実施形態では、フレームレートとして低品質値flが採用され、ビットレートとして、その標準値bsに所定の重み値wを乗じた値w・bsが採用される。

【0053】

すなわち、作業者が作業対象を注視している動画像は支援者にとって重要画像である可能性が高い。しかしながら、注視中の準重要画像は各画素ブロックの動きが少ないので、フレームレートを下げて符号量を減じても、映像品質の劣化を抑えることができる。

【0054】

一方、フレームレートを下げたにもかかわらずビットレートを維持すると１フレーム当りのビット量が過剰となる。そこで、本実施形態ではフレームレートの変更前後で１フレームに割り当てられるビット量が同等となるように、次式(2)に基づいて前記重み値wを求める。

【0055】

w=fl／fs …(2)

【0056】

例えば、標準フレームレートfsが30fps、低フレームレートflが6fps、標準ビットレートbsが1Mbpsであれば、1フレーム当たりのビット量は33Kとなる。このとき、1フレーム当たりに割り当てたビット量が十分な画像品質を確保できる値であった場合、標準ビットレートbsのままでフレームレートを30fps（fs）から6fps（fl）へ低下させると、1フレーム当たりのビット量が167Kと過剰になってしまう。そこで、本実施形態ではフレームレートを低下させる前後で1フレーム当たりのビット量が33Kに維持されるように、前記重み値wを求めるようにしている。

【0057】

前記ステップＳ８では、映像品質の低下を厭わずに符号量を減じるべく、フレームレートが低フレームレートflに変更される。また、低フレームレートflへの変更に伴うビットレートの低下に加えて、さらにフレーム画質の低下も厭わずに符号量を減じるべく、次式(3)に基づいて「移行中」用の低ビットレートblが求められる。なお、係数αは０＜α＜１である。

【0058】

bl=α・ｗ・bs …(3)

【0059】

ステップＳ9では、動画像の伝送が終了したか否かが判定される。終了していなければ、ステップＳ１へ戻って上記の各手順が繰り返される。

【0060】

本実施形態によれば、映像フレームの一部の領域の動き変化量が他の領域の動き変化量よりも大きいか否かを、グローバルモーションおよびローカルモーションに基づいて評価するので、重要画像の評価プロセスに汎用アルゴリズムを用いることができる。

【0061】

また、グローバルモーションおよびローカルモーションのいずれもが所定の閾値を下回った場合は、作業者が作業対象を注視しており、支援者にとって重要画像に準ずる準重要画像と評価するようにしている。そして、準重要画像と評価されると、フレームレートを下げても実質の品質が低下せず、またビットレートを下げても１フレーム当たりの符号量を維持できることから、フレームレートおよびビットレートの双方を下げることで、実質の映像品質を低下させることなく符号量を減じることが可能になる。

【0062】

なお、上記の実施形態では、ステップＳ１，Ｓ３，Ｓ５で動画像が評価されると、直ちにステップＳ６，Ｓ７，Ｓ８へ進んで各符号化パラメータが切り換わるものとして説明した。しかしながら、符号化パラメータが頻繁に切り換わり、支援者端末２０に表示される動画像の品質が短周期で変化すると支援者の主観品質が低下する恐れがある。そこで、各評価結果が所定の監視時間Δt以上継続することを条件に、動画像の評価結果が符号化パラメータに反映されるようにしても良い。

【0063】

図６は、動画像の評価結果が所定の監視時間Δt以上継続することを条件に、その評価結果を符号化パラメータに反映する手順を示したフローチャートであり、図７は、そのタイミングチャートである。

【0064】

ステップＳ１では、時間的に前後する２つのフレームのフレーム間差分Dfが所定の閾値以上Drefであるか否かが判断される。フレーム間差分Dfが所定の閾値Dref未満であればステップＳ２へ進み、各フレームの時系列変化に基づいてグローバルモーションGMが算出される。ステップＳ３では、グローバルモーションGMが所定の閾値を超えているか否かが判断される。

【0065】

グローバルモーションGMが所定の閾値GMrefを下回っていればステップＳ４へ進み、前記ローカルモーション推定部１４ａによりローカルモーションLMが算出される。ステップＳ５では、ローカルモーションLMが所定の閾値LMrefを超えているか否かが判断される。ローカルモーションLMが所定の閾値LMrefを超えていれば、現在の動画像を「作業中」の重要画像と評価してステップＳ５ａへ進む。

【0066】

ステップＳ５ａでは、重要判定回数カウンタc2がインクリメントされる。ステップＳ５ｂでは、後述する非重要判定回数カウンタc1および準重要判定回数カウンタc3がリセットされる。ステップＳ５ｃでは、カウンタc2が前記監視時間Δt相当の基準カウント値c2_refに達したか否かが判断される。

【0067】

ここで、図７の時刻t1〜t2の期間内のように、カウンタc2が未だ基準カウント値c2_refに達していなければ前記監視期間Δtが満了していないので、現在の符号化パラメータを維持したままステップＳ１へ戻る。これに対して、時刻t4のように、時刻t3でカウンタc2が再カウントを開始した以降のカウント値が基準カウント値c2_refに達していれば、前記監視時間Δtが満了しているので、ステップＳ6へ進んで前記重要画像（作業中）用のフレームレートおよびビットレートが適用される。

【0068】

また、前記ステップＳ５において、ローカルモーションLMが所定の閾値LMrefを超えていないと判断されると、現在の動画像を作業者が注視中の準重要画像と評価してステップＳ５ｄへ進む。

【0069】

ステップＳ５ｄでは、準重要判定回数カウンタc3がインクリメントされる。ステップＳ５ｅでは、非重要判定回数カウンタc1および重要判定回数カウンタc2がリセットされる。ステップＳ５ｆでは、カウンタc3が前記監視時間Δt相当の基準カウント値c3_refに達したか否かが判断される。

【0070】

ここで、時刻t5〜t6の期間内のように、カウンタc3が未だ基準カウント値c3_refに達していなければ前記監視期間Δtが満了していないので、現在の符号化パラメータを維持したままステップＳ１へ戻る。これに対して、時刻t8のように、時刻t7でカウンタc3が再カウントを開始した以降のカウント値が基準カウント値c3_refに達していれば、前記監視期間Δtが満了しているので、ステップＳ７へ進んで前記準重要画像（注視中）用のフレームレートおよびビットレートが適用される。

【0071】

さらに、前記ステップＳ３において、グローバルモーションGMが所定の閾値を超えていると判断されると、現在の動画像を作業者が移行中の非重要画像と評価してステップＳ５ｇへ進む。

【0072】

ステップＳ５ｇでは、非重要判定回数カウンタc1がインクリメントされる。ステップＳ５ｈでは、重要判定回数カウンタc2および準重要判定回数カウンタc3がリセットされる。ステップＳ５ｉでは、カウンタc1が前記監視時間Δt相当の基準カウント値c1_refに達したか否かが判断される。

【0073】

ここで、時刻t5〜t6の期間内のように、カウンタc1が未だ基準カウント値c1_refに達していなければ前記監視期間Δtが満了していないので、現在の符号化パラメータを維持したままステップＳ１へ戻る。これに対して、時刻t8のように、時刻t7でカウンタc1が再カウントを開始した以降のカウント値が基準カウント値c1_refに達していれば、前記監視時間Δtが満了しているので、ステップＳ８へ進んで前記非重要画像（移行中）用のフレームレートおよびビットレートが適用される。

【0074】

図８は、支援者端末２０において、複数の作業者端末１０から伝送された複数の動画像の表示サイズおよび表示位置を、その重要度に応じて動的に変更する例を示した図であり、ここでは、２つの作業者端末から伝送される２つの動画像を一つのスクリーン上に表示する場合を例にして説明する。

【0075】

同図(a)は、映像Aが重要画像、映像Bが非重要画像の場合の表示例を示した図であり、映像Aがスクリーン上に全面表示され、映像Bはスクリーンの左下の位置に略1/4の大きさで重畳表示されている。映像Bの重畳位置は上記に限定されるものではなく、支援者が映像Bをマウス等でドラックすることで自由に変更することができる。

【0076】

同図(b)は、映像A，Bのいずれもが重要画像またはいずれもが非重要画像の場合の表示例を示した図であり、スクリーン上の左半分の領域に映像A、右半分の領域に映像Bが、同一サイズで並列表示されている。

【0077】

同図(c)は、映像Bが重要画像、映像Aが非重要画像の場合の表示例を示した図であり、映像Bがスクリーン上に全面表示され、映像Aはスクリーンの右下の位置に略1/4の大きさで重畳表示されている。映像Aの重畳位置は上記に限定されるものではなく、支援者が映像Aをマウス等でドラックすることで自由に変更することができる。

【0078】

同図(d)は、映像Bが重要画像、映像Aが非重要画像の場合の表示例を示した図であり、映像A，Bが並列、かつ映像Bが映像Aよりも大きなサイズで表示されている。

【0079】

なお、このように複数の動画像の表示サイズや表示位置をその重要度に応じて制御する技術は、伝送中の動画像をリアルタイムで表示する場合のみならず、予め受信されてサーバ等に記憶されている複数の動画像を同時に再生する場合にも同様に適用できる。

【0080】

本実施形態によれば、重要画像を非重要画像よりも大きなサイズで表示できるので、支援者による作業支援が容易になる。

【0081】

図９は、重要画像（作業中）、準重要画像（注視中）および非重要画像（移行中）の各再生区間が混在した動画の再生方法を模式的に示した図であり、特に、フレームレートを低下させることで符号量を削減した準重要画像または非重要画像の再生方法を示している。

【0082】

本実施形態では、フレームレートを伝送前に標準レートから低レートに変更することで伝送時の符号量を削減した準重要画像または非重要画像について、再生フレームレートを標準レートまで戻し、あるいは任意のフレームレートまで上げることで準重要画像や非重要画像の再生区間を自動的に早送りするようにした点に特徴がある。これにより、準重要画像および非重要画像の部分は再生時間を自動的に短縮する事が可能になるので、全体の再生時間が短縮されて効率的な作業支援が可能になる。

【0083】

なお、再生フレームレートは伝送時のフレームレート以上であれば特に制限はないが、再生フレームレートを標準レートに固定とすれば、フレームレートを動的に変更する煩雑な制御を適用することなく、重要画像の高品質再生と準重要画像や非重要画像の早送り再生とを自動化できるようになる。

【符号の説明】

【0084】

１０…作業者端末，１１…カメラ，１２…撮影動画像符号化部，１３…通信インタフェース，１４…動画像評価部，１５…符号化パラメータ決定部，２０…支援者端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】