特開 2023-170063 情報処理システム、情報処理方法および提示制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023170063

(43)【公開日】2023-12-01

(54)【発明の名称】情報処理システム、情報処理方法および提示制御装置

(51)【国際特許分類】

   G08G 1/09 20060101AFI20231124BHJP

   G16Y 40/60 20200101ALI20231124BHJP

   G16Y 20/20 20200101ALI20231124BHJP

   G16Y 10/40 20200101ALI20231124BHJP

【ＦＩ】

G08G1/09 V

G16Y40/60

G16Y20/20

G16Y10/40

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2022081521

(22)【出願日】2022-05-18

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100093241

【弁理士】

【氏名又は名称】宮田 正昭

(74)【代理人】

【識別番号】100101801

【弁理士】

【氏名又は名称】山田 英治

(74)【代理人】

【識別番号】100095496

【弁理士】

【氏名又は名称】佐々木 榮二

(74)【代理人】

【識別番号】100086531

【弁理士】

【氏名又は名称】澤田 俊夫

(74)【代理人】

【識別番号】110000763

【氏名又は名称】弁理士法人大同特許事務所

(72)【発明者】

【氏名】今村 洋

(72)【発明者】

【氏名】吉富 光祐

(72)【発明者】

【氏名】久保田 寛之

(72)【発明者】

【氏名】内田 哲博

(72)【発明者】

【氏名】河村 健

(72)【発明者】

【氏名】友永 誠史

(72)【発明者】

【氏名】高松 孝至

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181CC04

5H181CC27

5H181FF04

5H181FF13

5H181FF22

5H181FF27

5H181FF33

5H181LL07

5H181LL08

5H181LL09

5H181MB02

5H181MC19

(57)【要約】

【課題】例えば遠隔操縦者が良好に遠隔操縦を行い得るようにする。
【解決手段】提示信号取得部により、ユーザー（例えば、遠隔操縦者）に負担を与える負担成分が除去された提示信号が取得される。情報取得部により、負担成分に対応した情報が取得される。提示制御部により、負担成分が除去された提示信号に基づく提示および負担成分に対応した情報に基づく提示が制御される。ユーザーに負担を与えることが抑制され、ユーザーは提示信号から除去された負担成分を容易に認識可能となる。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザーに負担を与える負担成分が除去された提示信号を取得する提示信号取得部と、
前記負担成分に対応した情報を取得する情報取得部と、
前記負担成分が除去された提示信号に基づく提示および前記負担成分に対応した情報に基づく提示を制御する提示制御部を備える
情報処理システム。

【請求項2】

前記提示信号取得部は、前記負担成分を含む提示信号を、前記負担成分の情報に基づいて処理して、前記負担成分が除去された提示信号を取得する
請求項１に記載の情報処理システム。

【請求項3】

前記負担成分が除去された提示信号は、車両に搭載された提示信号取得装置で取得された提示信号に基づく提示信号である
請求項１に記載の情報処理システム。

【請求項4】

前記提示信号は、映像信号であり、
前記負担成分は、映像の動き成分であり、
前記提示制御部は、前記映像の動き成分が除去された映像信号に基づく提示および前記映像の動き成分に対応した情報に基づく提示を制御する
請求項１に記載の情報処理システム。

【請求項5】

前記提示制御部は、映像の動き量に応じて幅が更新される帯を、前記映像信号による映像に重ねて表示する
請求項４に記載の情報処理システム。

【請求項6】

前記提示制御部は、映像の動き量の変化が閾値以上となるとき、前記帯の態様を変化させる
請求項５に記載の提示制御装置。

【請求項7】

前記提示信号は、音声信号であり、
前記負担成分は、所定の音源成分であり、
前記提示制御部は、前記所定の音源成分が除去された音声信号に基づく提示および前記所定の音源成分に対応した情報に基づく提示を制御する
請求項１に記載の情報処理システム。

【請求項8】

前記提示制御部は、前記所定音源のレベルに応じて幅が更新される帯を、映像信号による映像に重ねて表示する
請求項７に記載の情報処理システム。

【請求項9】

ユーザーに負担を与える負担成分が除去された提示信号を取得する提示信号取得手順と、
前記負担成分に対応した情報を取得する情報取得手順と、
前記負担成分が除去された提示信号に基づく提示および前記負担成分に対応した情報に基づく提示を制御する提示制御手順を有する
情報処理方法。

【請求項10】

ユーザーに負担を与える負担成分が除去された提示信号に基づく提示および前記負担成分に対応した情報に基づく提示を制御する制御部を備える
提示制御装置。

【請求項11】

前記負担成分が除去された提示信号は、車両に搭載された提示信号取得装置で取得された提示信号に基づく提示信号である
請求項１０に記載の提示制御装置。

【請求項12】

前記提示信号は、映像信号であり、
前記負担成分は、映像の動き成分であり、
前記制御部は、前記映像の動き成分が除去された映像信号に基づく提示および前記映像の動き成分に対応した情報に基づく提示を制御する
請求項１０に記載の提示制御装置。

【請求項13】

前記制御部は、映像の動き量に応じて幅が更新される帯を、前記映像信号による映像に重ねて表示する
請求項１２に記載の提示制御装置。

【請求項14】

前記映像の動き量は、所定時間毎に映像の動き量が平均化されて得られた平均動き量である
請求項１３に記載の提示制御装置。

【請求項15】

前記制御部は、映像の動き量の変化が閾値以上となるとき、前記帯の態様を変化させる
請求項１３に記載の提示制御装置。

【請求項16】

前記制御部は、ユーザーの状態に応じて、前記帯の幅の更新頻度を変更する
請求項１３に記載の提示制御装置。

【請求項17】

前記制御部は、前記映像信号による映像が表示されるディスプレイの画面サイズに応じて、前記帯の幅の更新頻度を変更する
請求項１３に記載の提示制御装置。

【請求項18】

前記提示信号は、音声信号であり、
前記負担成分は、所定の音源成分であり、
前記制御部は、前記所定の音源成分が除去された音声信号に基づく提示および前記所定の音源成分に対応した情報に基づく提示を制御する
請求項１０に記載の提示制御装置。

【請求項19】

前記制御部は、前記所定音源のレベルに応じて幅が更新される帯を、映像信号による映像に重ねて表示する
請求項１８に記載の提示制御装置。

【請求項20】

前記制御部は、前記所定音源の方向に応じて前記帯の配置位置を変化させる
請求項１９に記載の提示制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、情報処理システム、情報処理方法および提示制御装置に関し、詳しくは、遠隔操縦システムに適用して好適な情報処理システム等に関する。

【背景技術】

【0002】

近年、自動運転技術の開発が加速している。自動運転技術により、車両側に運転手を必要としない無人運転が可能となるため、バス、タクシー、トラックといった商用から個人の自家用車まで様々な車両への導入が期待されている。しかし、自動運転車両は、一般の道路では、テストコースと異なり、多種多様な条件下（周辺車両、天候、障害物、自転車、歩行者など）で安全に走行できる必要がある。このため、操縦車が完全に不要となるような完全自動運転の実現には長い年月が必要になるとと予想されている。

【0003】

このような状況の中、自動運転車両を遠隔地にいる操縦者（遠隔操縦者）とネットワークでつなぎ、自動運転車両が対応できないケースで遠隔操縦者が遠隔から自動運転車両を操縦、監視する技術として、遠隔操縦技術が注目されるようになった。

【0004】

遠隔操縦時の問題として、自動運転車両で取得した映像や音声には、遠隔操縦者（ユーザー）に負担を与える負担成分が含まれているということが挙げられる。例えば、車両走行時の映像には、道路状況や加減速による振動成分（揺れ成分）が含まれている。遠隔操縦では遠隔運転車両の振動を体感できないため、映像において振動成分をそのまま遠隔操縦者に提示すると、遠隔操縦者にあっては自身の感覚と視覚との違いにより酔いを誘発する場合がある。

【0005】

酔いを防止するためには、映像に含まれる振動成分を除いて遠隔操縦者に提示することが望ましい。例えば、特許文献１には、映像内の振動成分を除去する技術について記載されている。

【0006】

しかし、振動成分を除去すると映像から車両の振動に係る挙動をつかむことが困難になる。そのため、遠隔操縦者は車の状態に対して誤った判断を起こす可能性がある。この結果、安全性や乗員の快適性の低下が発生することが想定される。

【0007】

従来、自動運転車両の振動情報を遠隔操縦者側に伝送し、遠隔操縦者の操縦席をその振動情報に基づいて動かし、映像と操縦席から伝わる振動を揃えることによって違和感を低減し酔いを低減する技術が提案されている。しかし、この技術では、操縦者席を動かすための装置が必要となる。そのため、操縦のための装置が大型化、複雑化してしまうことから容易に設置導入することが困難になっていた。加えて、操縦席の振動によって視覚との違和感が低減されて酔いは軽減されるものの、操縦席の振動による疲労につながる問題があった。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】国際公開第２０１７/０４２９０３号

【発明の概要】

【発明が解決しようとする課題】

【0009】

本技術の目的は、例えば遠隔操縦者が良好に遠隔操縦を行い得るようにする、ことにある。

【課題を解決するための手段】

【0010】

本技術の概念は、
ユーザーに負担を与える負担成分が除去された提示信号を取得する提示信号取得部と、
前記負担成分に対応した情報を取得する情報取得部と、
前記負担成分が除去された提示信号に基づく提示および前記負担成分に対応した情報に基づく提示を制御する提示制御部を備える
情報処理システムにある。

【0011】

本技術において、提示信号取得部により、ユーザーに負担を与える負担成分が除去された提示信号が取得される。例えば、提示信号取得部は、負担成分を含む提示信号を、負担成分の情報に基づいて処理して、負担成分が除去された提示信号を取得する、ようにされてもよい。また、例えば、負担成分が除去された提示信号は、車両に搭載された提示信号取得装置で取得された提示信号に基づく提示信号である、ようにされてもよい。

【0012】

情報取得部により、負担成分に対応した情報が取得される。そして、提示制御部により、負担成分が除去された提示信号に基づく提示および負担成分に対応した情報に基づく提示が行われる。

【0013】

例えば、提示信号は、映像信号であり、負担成分は、映像の動き成分であり、提示制御部は、映像の動き成分が除去された映像信号に基づく提示および映像の動き成分に対応した情報に基づく提示を制御する、ようにされてもよい。この場合、動き成分、例えば振動成分が除去された映像が表示されることからユーザーに負担を与えること、例えば酔いが誘発される等ということが抑制され、また映像の動き成分に対応した情報に基づく提示（表示や音声等による提示）が行われることから、ユーザーは映像から除去された映像の動き、例えば振動の情報を認識することが可能となる。

【0014】

この場合、例えば、提示制御部は、映像の動き量に応じて幅が更新される帯を、映像信号による映像に重ねて表示する、ようにされてもよい。この場合、ユーザーは、映像に重ねて表示される帯の幅から、映像の動き量（動きの大きさ）、例えば映像の振動量（振動の大きさ）を、容易に認識することが可能となる。

【0015】

そして、この場合、例えば、提示制御部は、映像の動き量の変化が閾値以上となるとき、帯の態様、例えば色や模様等を変化させる、ようにされてもよい。これにより、ユーザーは、映像の急な動きの発生、例えば急な振動の発生を速やかに認識することが可能となる。

【0016】

また、例えば、提示信号は、音声信号であり、負担成分は、所定の音源成分であり、提示制御部は、所定の音源成分が除去された音声信号に基づく提示および所定の音源成分に対応した情報に基づく提示を制御する、ようにされてもよい。この場合、所定の音源成分が除去された音声が出力されることからユーザーに負担を与えること、疲労度が増す等ということが抑制され、また所定の音源成分に対応した情報に基づく提示（表示や音声等による提示）が行われることから、ユーザーは音声から除去された所定の音源成分の情報を認識することが可能となる。

【0017】

この場合、提示制御部は、所定音源のレベルに応じて幅が更新される帯を、映像信号における映像に重ねて表示する、ようにされてもよい。この場合、ユーザーは、映像に重ねて表示される帯の幅から、所定音源のレベルを、容易に認識することが可能となる。

【0018】

このように本技術においては、負担成分が除去された提示信号に基づく提示および負担成分に対応した情報に基づく提示を行うものであり、負担成分が除去された提示信号に基づく提示が行われることからユーザーに負担を与えることが抑制され、また負担成分に対応した情報に基づく提示が行われることからユーザーは提示信号から除去された負担成分を容易に認識することが可能となる。これにより、例えば遠隔操縦者が良好に遠隔操縦を行い得るようになる。

【0019】

また、本技術の他の概念は、
ユーザーに負担を与える負担成分が除去された提示信号を取得する提示信号取得手順と、
前記負担成分に対応した情報を取得する情報取得手順と、
前記負担成分が除去された提示信号に基づく提示および前記負担成分に対応した情報に基づく提示を制御する提示制御手順を有する
情報処理方法にある。

【0020】

また、本技術の他の概念は、
ユーザーに負担を与える負担成分が除去された提示信号に基づく提示および前記負担成分に対応した情報に基づく提示を制御する制御部を備える
提示制御装置にある。

【0021】

本技術において、制御部により、ユーザーに負担を与える負担成分が除去された提示信号に基づく提示および負担成分に対応した情報に基づく提示が制御される。例えば、負担成分が除去された提示信号は、車両に搭載された提示信号取得装置（カメラやマイクなど）で取得された提示信号に基づく提示信号である、ようにされてもよい。

【0022】

例えば、提示信号は、映像信号であり、負担成分は、映像の動き成分であり、制御部は、映像の動き成分が除去された映像信号に基づく提示および映像の動き成分に対応した情報に基づく提示を制御する、ようにされてもよい。この場合、動き成分、例えば振動成分が除去された映像が表示されることからユーザーに負担を与えること、例えば酔いが誘発される等ということが抑制され、また映像の動き成分に対応した情報に基づく提示（表示や音声等による提示）が行われることから、ユーザーは映像から除去された映像の動き、例えば振動を認識することが可能となる。

【0023】

この場合、例えば、制御部は、映像の動き量に応じて幅が更新される帯を、映像信号による映像に重ねて表示する、ようにされてもよい。この場合、ユーザーは、映像に重ねて表示される帯の幅から、映像の動き量（動きの大きさ）、例えば映像の振動量（振動の大きさ）を、容易に認識することが可能となる。

【0024】

ここで、映像の動き量は、所定時間毎に映像の動き量が平均化されて得られた平均動き量である、ようにされてもよい。これにより、映像信号による映像に重ねて表示される帯の幅が必要以上に頻繁に更新されることを抑制でき、ユーザーに疲労等の負担を与えることを軽減できる。

【0025】

また、この場合、例えば、制御部は、映像の動き量の変化が閾値以上となるとき、帯の態様、例えば色や模様等を変化させる、ようにされてもよい。これにより、ユーザーは、映像の急な動きの発生、例えば急な振動の発生を認識することが可能となる。

【0026】

また、この場合、例えば、制御部は、ユーザーの状態に応じて、帯の幅の更新頻度を変更する、ようにされてもよい。これにより、例えばユーザーの疲労度が高い場合、帯の幅の更新頻度が低くされ、ユーザーのさらなる疲労が抑制される。また、例えば、制御部は、映像信号による映像が表示されるディスプレイの画面サイズに応じて、帯の幅の更新頻度を変更する、ようにされてもよい。これにより、例えば、画面サイズが小さい場合、帯の幅の更新頻度が高くされ、ユーザーが帯の幅の変化に気付きやすくなる。

【0027】

また、例えば、提示信号は、音声信号であり、負担成分は、所定の音源成分であり、制御部は、所定の音源成分が除去された音声信号に基づく提示および所定の音源成分に対応した情報に基づく提示を制御する、ようにされてもよい。この場合、所定の音源成分が除去された音声が出力されることからユーザーに負担を与えること、疲労度が増す等ということが抑制され、また所定の音源成分に対応した情報に基づく提示（表示や音声等による提示）が行われることから、ユーザーは音声から除去された所定の音源成分の情報を認識することが可能となる。

【0028】

この場合、例えば、制御部は、所定音源のレベルに応じて幅が更新される帯を、映像信号における映像に重ねて表示する、ようにされてもよい。この場合、ユーザーは、映像に重ねて表示される帯の幅から、所定音源のレベルを、容易に認識することが可能となる。そして、この場合、例えば、制御部は、所定音源の方向に応じて帯の配置位置を変化させる、ようにされてもよい。これにより、ユーザーは、帯の配置位置から、所定音源の方向を容易に推測することが可能となる。

【図面の簡単な説明】

【0029】

【図1】実施の形態としての遠隔操縦システムの構成例を示すブロック図である。

【図2】自動運転車両の構成例を示すブロック図である。

【図3】負担成分除去部における振動成分除去の処理手順の一例を示すフローチャートである。

【図4】遠隔操縦装置の構成例を示すブロック図である。

【図5】遠隔操縦装置におけるフレーム毎の映像信号の処理手順の一例を示すフローチャートである。

【図6】情報処理装置の提示データ生成部における帯の幅、色の設定処理の手順の一例を示すフローチャートである。

【図7】負担成分が映像の振動成分である場合における映像表示の一例を示す図である。

【図8】遠隔操縦装置におけるフレーム毎の映像信号および音声信号の処理手順であって、遠隔操縦者状態推定部の推定結果等をさらに利用して振動量（振動の大きさ）を提示する場合の処理手順の一例を示すフローチャートである。

【図9】遠隔操縦者状態推定部における遠隔操縦者の疲労度をさらに利用した場合の振動量の提示例を示す図である。

【図10】自動運転車両における音声信号に対する所定周期毎の処理手順の一例を示す図である。

【図11】遠隔操縦装置における、自動運転車両から所定周期毎に送られてくる緊急車両の音源のレベル、方向の情報、および音声信号に対する処理手順の一例を示す図である。

【図12】負担成分が緊急車両の発生音である場合の映像表示の一例を示す図である。

【発明を実施するための形態】

【0030】

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例

【0031】

＜１．実施の形態＞
［遠隔操縦システムの構成例］
図１は、実施の形態としての遠隔操縦システム１０の構成例を示している。この遠隔操縦システム１０において、自動運転車両１００はネットワーク３００を介して遠隔操縦装置２００に接続されている。ネットワーク３００は、例えばセルラーネットワークである。

【0032】

この遠隔操縦システム１０において、ネットワーク３００には、接続管理装置４００が接続されている。この接続管理装置４００は、自動運転車両１００と遠隔操縦装置２００を接続する際の呼制御を行う。なお、図示の例では、自動運転車両１００と遠隔操縦装置２００は一対一で接続されているが、複数台の自動運転車両１００に対して１台の遠隔操縦装置２００が接続される構成であってもよい。

【0033】

遠隔操縦装置２００から自動運転車両１００には、必要に応じて、遠隔操縦者によるハンドル、アクセル、ブレーキ等の操縦情報が送られて、遠隔操縦が行われる。

【0034】

自動運転車両１００から遠隔操縦装置２００には、提示信号としての映像信号や音声信号の他に、車両状態情報や自動運転情報などが送られ、必要に応じて、その情報の内容が提示される。ここで、映像信号は、例えば自動運転車両１００に搭載された映像取得装置（カメラ）で取得されたものである。また、音声信号は、自動運転車両１００に搭載された音声取得装置（マイク）で取得されたものである。

【0035】

車両状態情報は、自動運転車両１００に搭載された車両状態取得装置で取得されたものである。車両状態取得装置は、加速度センサ、測距センサ、ＧＰＳ（Global Positioning System）、地磁気センサ等のセンサを備え、種々の車両状態情報を取得する。この車両状態情報には、例えば、自己位置情報、速度情報、エンジン回転数情報、アクセルやブレーキの状態情報、さらに動き情報、この実施の形態では振動情報なども含まれる。

【0036】

自動運転情報は、自動運転車両１００に搭載される自動運転装置から得られたものである。この自動運転情報には、例えば、経路情報、加減速情報、操舵角情報などが含まれる。なお、自動運転装置においては、測距センサのセンシング結果等が参照されて経路の設定が行われ、その経路に沿って自動運転が行われる。

【0037】

この実施の形態において、自動運転車両１００から遠隔操縦装置２００に送られる映像信号や音声信号は、ユーザー（遠隔操縦者）に負担を与える負担成分、例えば疲労や酔い等を発生させる成分が除去されたものとされ、自動運転車両１００から遠隔操縦装置２００にはその負担成分に対応した情報が、映像信号や音声信号とは別に送られる。

【0038】

遠隔操縦装置２００では、負担成分が除去された提示信号、つまり映像信号や音声信号による提示が行われ、さらに、負担成分に対応した情報に基づく提示が別途行われる。この負担成分に対応した情報に基づく提示は、表示あるいは音声出力によって行われる。

【0039】

映像信号に関する負担成分としては、路面状態による自動運転車両１００の振動に起因する映像の振動、自動運転車両１００の加減速（ヨー、ピッチ、ロール）に起因する映像の傾き、天候等に起因する映像の輝度変化、などの成分が考えられる。ここで、映像の振動や傾きは、映像の動きを構成している。また、音声信号に関する負担成分としては、自動運転車両１００の周辺で発生している騒音（緊急車両や工事現場等で発生している音）、などの成分が考えられる。

【0040】

このように、負担成分が除去された提示信号に基づく提示が行われことから、ユーザー（遠隔操縦者）に負担を与えること、例えば疲労や酔いを発生させること、が抑制される。また、負担成分に対応した情報に基づく提示が行われることから、ユーザー（遠隔操縦者）は提示信号から除去された負担成分、例えば映像に本来含まれる振動や傾き、音声に本来含まれる騒音、等を容易に認識することが可能となる。

【0041】

なお、上述では、自動運転車両１００から遠隔操縦装置２００に、直接、映像信号、音声信号、車両状態情報、自動運転情報などが送られるように説明したが、これらの情報が他のサーバ、例えば接続管理装置４００を介して送られる構成も考えられる。その場合には、負担成分を除去した提示信号（映像信号、音声信号）を得ることを、自動運転車両１００で行うのではなく、接続管理装置４００で行う構成とすることも考えられる。

【0042】

図２は、自動運転車両１００の構成例を示している。自動運転車両１００は、映像取得装置１１０と、音声取得装置１２０と、車両状態取得装置１３０と、自動運転装置１４０と、情報処理装置１５０と、通信装置１６０を有している。

【0043】

映像取得装置１１０は、自動運転車両１００の走行状態を映像信号として取得するための装置であり、例えばカメラである。音声取得装置１２０は、自動運転車両１００の周辺の音を集音して音声信号として取得するための装置であり、例えばマイクである。

【0044】

車両状態取得装置１３０は、加速度センサ、測距センサ、ＧＰＳ、地磁気センサ等のセンサを備え、種々の車両状態情報、例えば、自己位置情報、加速度情報、エンジン回転数情報、アクセルやブレーキの状態情報などを取得する。

【0045】

自動運転装置１４０は、自動運転を実行するための処理を行う装置である。自動運転装置１４０は、例えば車両状態取得装置１３０が備える測距センサ等に基づいて周辺状況のセンシングと認識を行い、その結果を用いて自動運転車両１００の経路を決定し、その経路に従って自動運転車両１００の操縦（加減速、操舵など）を行う。この自動運転装置１４０からは、自動運転情報として、例えば、経路情報、加減速情報、操舵角情報などが出力される。

【0046】

情報処理装置１５０は、映像取得装置１１０から取得される映像信号、音声取得装置１２０から取得される音声信号、車両状態取得装置１３０から取得される車両状態情報、自動運転装置１４０から出力される自動運転情報などに基づいて、遠隔操縦装置２００に送るべき送信データを生成する。

【0047】

情報処理装置１５０は、負担成分除去部１５１と、負担成分検出部１５２と、映像/音声圧縮部１５３と、データ送信部１５４を有している。映像取得装置１１０から取得される映像信号および音声取得装置１２０から取得される音声信号は、負担成分除去部１５１を介して、映像/音声圧縮部１５３に供給される。負担成分除去部１５１は、映像信号や音声信号から、ユーザー（遠隔操縦者）に負担を与える負担成分を除去する。なお、この除去には、負担成分が完全に除去される場合の他、負担成分が軽減されることも含まれる。ここでは、説明を簡単にするため、例えば、音声信号はそのままで、映像信号から負担成分として振動成分が除去されるものとする。

【0048】

映像/音声圧縮部１５３は、負担成分除去部１５１から供給される映像信号および音声信号に対して圧縮処理を施した後に、データ送信部１５４に供給される。この場合、映像信号に関しては例えば、Ｈ．２６４やＭＰＥＧ４といった画像圧縮技術が適用され、音声信号に関しては例えばＡＡＣといった音声圧縮技術が適用される。なお、映像/音声圧縮部１５３からデータ送信部１５４には、各フレームの映像信号や音声信号が順次供給されるが、各フレームの信号には、例えば映像信号や音声信号が取得された時刻の情報が付加されている。

【0049】

車両状態取得装置１３０から取得される車両状態情報および自動運転装置１４０から出力される自動運転情報は、負担成分検出部１５２を介して、データ送信部１５４に供給される。負担成分検出部１５２は、例えば、加速度情報から振動成分を除去するための基準となる振動除去情報を生成し、負担成分除去部１５１に供給する。負担成分除去部１５１は、この振動除去情報に基づいて、映像信号から振動成分を除去する。

【0050】

図３のフローチャートは、負担成分除去部１５１における振動成分除去の処理手順の一例を示している。このフローチャートの処理は、映像信号の各フレームに対して行われる。負担成分除去部１５１は、ステップＳＴ１において、処理を開始する。次に、負担成分除去部１５１は、ステップＳＴ２において、映像取得装置１１０から映像信号を取得し、ステップＳＴ３において、負担成分検出部１５２から振動成分の除去の基準となる振動除去情報を取得する。

【0051】

次に、負担成分除去部１５１は、ステップＳＴ４において、振動除去情報から自動運転車両１００の動きを打ち消す移動量を計算する。次に、負担成分除去部１５１は、ステップＳＴ５において、移動量に基づき、映像信号の切り出し処理をする。そして、負担成分除去部１５１は、ステップＳＴ６において、処理を終了する。

【0052】

このように映像信号の各フレームにおいて、自動運転車両１００の動き（振動）を打ち消す移動量が計算され、その移動量に基づいて映像信号の切り出し処理が行われることで、映像信号から振動成分（揺れ成分）が除去される。

【0053】

また、負担成分検出部１５２は、車両状態取得装置１３０から取得される車両状態情報および自動運転装置１４０から出力される自動運転情報をそのままデータ送信部１５４に供給することも考えられるが、遠隔操縦装置２００に送信すべきで情報だけを選択的に供給してもよい。なお、負担成分検出部１５２からデータ送信部１５４には、所定の周期をもって繰り返し得られた車両状態情報および自動運転情報が順次供給されるが、各情報にはそれが得られた時刻の情報が付加されている。

【0054】

負担成分検出部１５２からデータ送信部１５４に供給される車両状態情報には、上述したように負担成分除去部１５１で除去される振動成分に対応した情報としての振動情報も含まれる。この振動情報は、負担成分検出部１５２において、例えば加速度情報に基づいて生成された振動量（振動の大きさ）を示す情報である。

【0055】

データ送信部１５４は、映像/音声圧縮部１５３から供給される映像信号や音声信号、および負担成分検出部１５２から供給される車両状態情報や自動運転情報を含む送信データを、伝送プロトコルに基づいて生成する。

【0056】

なお、図示の例では、情報処理装置１５０において映像信号から振動成分を除去する例を示したが、映像取得装置１１０において振動成分が除去された映像信号が取得される構成も考えらえる。例えば、映像取得装置１１０が手振れ補正機能を備えることで、振動成分が除去された映像信号が取得される。

【0057】

通信装置１６０は、情報処理装置１５０で生成された送信データを、ネットワーク３００を介して、遠隔操縦装置２００に送信する。この場合、映像信号や音声信号を含む送信データと、その他の情報を含む送信データは、別の論理コネクションを使用して送信される。

【0058】

図４は、遠隔操縦装置２００の構成例を示している。通信装置２１０と、情報処理装置２２０と、提示装置２３０を有している。通信装置２３０は、自動運転車両１００からネットワーク３００を介して送られてくる、映像信号や音声信号、さらには車両状態情報および自動運転情報を含む送信データを、受信する。

【0059】

情報処理装置２２０は、データ受信部２２１と、映像/音声伸長部２２２と、遠隔操縦者（ユーザー）状態推定部２２３と、提示データ生成部２２４を有している。データ受信部２２１は、通信装置２１０で受信された送信データから、映像信号および音声信号、さらには車両状態情報および自動運転情報を取り出す。

【0060】

映像/音声伸長部２２２は、データ受信部２２１で取り出された映像信号および音声信号に対して伸長処理を施した後に、提示データ生成部２２４に供給する。また、データ受信部２２１で取り出された車両状態情報および自動運転情報は、提示データ生成部２２４に供給される。

【0061】

遠隔操縦者状態推定部２２３は、遠隔操縦者用センサやステアリング、ブレーキペダル、アクセルペダル等の操作入力などに基づいて、遠隔操縦者の状態（身体的な状態）、例えば緊張度、疲労度、集中度などを推定し、その推定情報を提示データ生成部２２４に供給する。

【0062】

提示データ生成部２２４は、映像/音声伸長部２２２から供給される映像信号や音声信号に対して、データ受信部２２１から供給される車両状態情報や自動運転情報のうち、遠隔操縦者（ユーザー）に提示すべき情報を提示するための変更処理を行って、提示データ（映像信号、音声信号）を生成する。この提示データ生成部２２４は、提示を制御する提示制御部（制御部）を構成している。

【0063】

例えば、上述したように車両状態情報には振動量（振動の大きさ）を示す振動情報が含まれている。提示データ生成部２２４は、映像信号や音声信号に対して、映像信号から除去されている振動成分の情報が提示されるように、変更処理を行う。例えば、映像信号による映像に、振動量（振動の大きさ）の変化に応じてその幅が変化する帯が重畳表示されるように、映像信号の変更処理が行われる。

【0064】

提示装置２３０は、情報処理装置２２０の提示データ生成部２２４で生成された提示データ（映像信号、音声信号）に基づいて、映像や音声を提示する。この提示装置２３０は、例えば映像信号による映像を表示するディスプレイやヘッドマウントディスプレイ、音声信号による音声を出力するスピーカやヘッドフォン等で構成される。

【0065】

図５に示すフローチャートは、遠隔操縦装置２００におけるフレーム毎の映像信号の処理手順の一例を示している。遠隔操縦装置２００は、ステップＳＴ１１において、処理を開始する。次に、遠隔操縦装置２００は、ステップＳＴ１２において、情報処理装置２２０のデータ受信部２２１で、映像信号を受信する。

【0066】

次に、遠隔操縦装置２００は、ステップＳＴ１３において、情報処理装置２２０の映像/音声伸長部２２２で、映像信号に伸長処理をする。次に、遠隔操縦装置２００は、ステップＳＴ１４において、情報処理装置２２０の提示データ生成部２２４で、映像信号に、それによる映像の上下端に設定されている幅および色の帯が重畳表示されるように変更処理を行って、表示用映像信号を生成する。

【0067】

次に、遠隔操縦装置２００は、ステップＳＴ１５において、提示装置２３０で、表示用映像信号による映像、つまり上下端に設定されている幅および色の帯が重畳表示された映像を表示する。そして、遠隔操縦装置２００は、ステップＳＴ１６において、処理を終了する。

【0068】

図６のフローチャートは、情報処理装置２２０の提示データ生成部２２４における帯の幅、色の設定処理の手順の一例を示している。

【0069】

提示データ生成部２２４は、ステップＳＴ２１において、処理を開始する。次に、提示データ生成部２２４は、ステップＳＴ２２において、車両状態情報の一つとして振動情報を受信する、つまりデータ受信部２２１から車両状態情報の一つとして振動情報を受け取る。上述したように、この振動情報は振動量（振動の大きさ）を示す情報である。次に、提示データ生成部２２４は、ステップＳＴ２３において、受信した振動情報をバッファに保持する。

【0070】

次に、提示データ生成部２２４は、ステップＳＴ２４において、振動量変化、つまり今回受信した振動量から前回受信した振動量を減算した値が、閾値以上か否かを判断する。ここで、振動量変化が閾値以上である場合、急な振動（揺れ）が発生したものと判断される。

【0071】

振動量変化が閾値以上である場合、提示データ生成部２２４は、ステップＳＴ２５において、帯の色を赤色にする。なお、赤色に限定されるものではなく、通常の例えば白色以外のその他の目立つ色とすることも考えられる。次に、提示データ生成部２２４は、ステップＳＴ２６において、タイマーを起動する。その後、提示データ生成部２２４は、ステップＳＴ２７の処理に進む。なお、ステップＳＴ２４で振動量変化が閾値以上でない場合、提示データ生成部２２４は、直ちに、ステップＳＴ２７の処理に進む。

【0072】

ステップＳＴ２７において、提示データ生成部２２４は、タイマー時間が経過したか否かを判断する。タイマー時間は、例えば数秒に設定されている。タイマー時間が経過した場合、提示データ生成部２２４は、ステップＳＴ２８において、帯の色を通常の白色に戻す。その後、提示データ生成部２２４は、ステップＳＴ２９の処理に進む。なお、ステップＳＴ２７でタイマー時間が経過していない場合、提示データ生成部２２４は、直ちに、ステップＳＴ２９の処理に進む。

【0073】

ステップＳＴ２９において、提示データ生成部２２４は、バッファ内に所定サンプル数分の振動情報が揃ったか否かを判断する。所定サンプル数分の振動情報が揃った場合、提示データ生成部２２４は、ステップＳＴ３０において、所定サンプル数分の振動情報の平均値を計算する。この平均値は、所定サンプル数分に対応した所定時間における平均振動量（振動の大きさ）を示すものとなる。

【0074】

次に、ステップＳＴ３１において、提示データ生成部２２４は、平均値から帯の幅を設定する。この場合、例えば、平均値が複数のレベル範囲のうちのどのレベル範囲に属するかによって帯の幅が段階的に設定され、平均値が大きなレベル範囲に属するほど、帯の幅は大きく設定される。

【0075】

次に、ステップＳＴ３２において、提示データ生成部２２４は、バッファ内の所定サンプル数分の振動情報を削除する。その後、提示データ生成部２２４は、ステップＳＴ２２の処理に戻り、上述したと同様の処理を繰り返す。また、ステップＳＴ２９で所定サンプル数分の振動情報が揃っていない場合、提示データ生成部２２４は、直ちに、ステップＳＴ２２の処理に戻る。

【0076】

図６のフローチャートの処理により、振動量変化（今回受信した振動量から前回受信した振動量を減算した値）が監視され、それが閾値以上である場合、帯の色が赤色に設定されるため、映像の上下に重畳表示される帯の色は直ちに赤色となる。従って、ユーザー（遠隔操縦者）は、急な振動（揺れ）の発生を速やかに認識することが可能となる。なお、帯の色を変化させる代わりに、帯の模様を目立つように変化させるなど、帯の態様を変化させることも考えられる。

【0077】

また、図６のフローチャートの処理により、所定サンプル数分の振動情報の平均値、つまり所定サンプル数分に対応した所定時間における平均振動量（振動の大きさ）に基づいて帯の幅が設定されるため、映像に重ねて表示される帯の幅が必要以上に頻繁に更新されることを抑制でき、ユーザー（遠隔操縦者）に疲労等の負担を与えることを軽減できる。

【0078】

図７は、負担成分が映像の振動成分である場合における映像表示の一例を示している。図示の例において、帯に対応して示されている双方向矢印は、帯の幅が時々刻々変化していくことを表している。図７（ａ）は、振動がない（揺れていない）場合を示しており、映像の上下には振動量を示す帯は表示されていない。図７（ｂ）は、振動がある（揺れている）場合を示しており、映像の上下には振動量を示す帯（白色）が表示されている。

【0079】

図７（ｃ）は、大きな振動がある（大きく揺れている）場合を示しており、映像の上下には振動量を示す帯（白色）が表示されている。この帯の幅は、図７（ｂ）に比べて広くなっている。図７（ｄ）は、急な振動（揺れ）が発生した場合を示しており、映像の上下に表示されている帯の色は赤色となる。

【0080】

上述の図６、図７のフローチャートの処理では、遠隔操縦者状態推定部２２３の推定結果が利用されていない。この遠隔操縦者状態推定部２２３の推定結果等をさらに利用して振動量（振動の大きさ）を提示することも考えられる。

【0081】

図８のフローチャートは、遠隔操縦装置２００におけるフレーム毎の映像信号および音声信号の処理手順であって、遠隔操縦者状態推定部２２３の推定結果等をさらに利用して振動量（振動の大きさ）を提示する場合の処理手順の一例を示している。

【0082】

遠隔操縦装置２００は、ステップＳＴ４１において、処理を開始する。次に、遠隔操縦装置２００は、ステップＳＴ４２において、遠隔操縦者状態推定部２２３で遠隔操縦者の状態、ここでは疲労度を推定する。次に、遠隔操縦装置２００は、ステップＳＴ４３において、提示データ生成部２２４で、疲労度は規定以下であるか判断する。

【0083】

疲労度が規定以下でない場合、遠隔操縦装置２００は、ステップＳＴ４４において、提示データ生成部２２４で、帯の幅の更新頻度を少なくし、振動量の音声提示をする、ことを設定する。ここで、振動量の音声提示としては、振動量が一定レベル以上の振動を検知した場合に、警告音を出力する、走行音のレベルを大きくする、等が考えられる。その後、遠隔操縦装置２００は、ステップＳＴ４５の処理に移る。なお、ステップＳＴ４３で疲労度が規定以下である場合、遠隔操縦装置２００は、直ちにステップＳＴ４５の処理に移る。

【0084】

ステップＳＴ４６において、遠隔操縦装置２００は、提示データ生成部２２４で、提示装置２３０における映像を表示するためのディスプレイの画面サイズを取得する。次に、遠隔操縦装置２００は、ステップＳＴ４６において、提示データ生成部２２４で、画面サイズが規定以下であるか判断する。

【0085】

規定以下であるとき、遠隔操縦装置２００は、提示データ生成部２２４で、帯の幅の更新頻度を多くし、振動量の追加表示をする、ことを設定する。ここで、振動量の追加表示としては、振動量を示すメーター表示を追加する、等が考えられる。その後、遠隔操縦装置２００は、ステップＳＴ４８の処理に移る。なお、ステップＳＴ４６で画面サイズが規定以下でない場合、遠隔操縦装置２００は、直ちにステップＳＴ４８の処理に移る。

【0086】

ステップＳＴ４８において、遠隔操縦装置２００は、提示データ生成部２２４で、ステップＳＴ４４，４７における設定、つまり振動量の提示の変更情報に基づいて、表示用映像信号および出力用音声信号を生成する。なお、ここで、表示用映像信号は、基本的には、上述の図５、図６に示すフローチャートに沿った処理で生成され、それに、ステップＳＴ４４，４７における設定が加味される。帯の幅の更新頻度に関しては、図６のフローチャートにおける所定サンプル数が変更されることで、変更される。

【0087】

次に、遠隔操縦装置２００は、ステップＳＴ４９において、提示装置２３０で、表示用映像信号による映像表示を行うと共に、出力用音声信号による音声出力を行う。その後、遠隔操縦装置２００は、ステップＳＴ５０において、処理を終了する。

【0088】

図９は、遠隔操縦者状態推定部２２３における遠隔操縦者の疲労度をさらに利用した場合の振動量の提示例を示している。図示の例において、帯に対応して示されている双方向矢印は、帯の幅が時々刻々変化していくことを表している。図９（ａ）は、遠隔操縦者の疲労度が規定以下である場合を示している。

【0089】

図９（ｂ）は、遠隔操縦者の疲労度が規定以下でない場合を示している。この場合、帯の幅の更新頻度は、遠隔操縦者の疲労を抑制するために、図９（ａ）の場合より少なくされ、さらに視覚のみの情報提示では十分な提示ができないと判断されて、振動量の音声提示も同時に行われる。図９（ｃ）は、ディスプレイの画面サイズが規定以下である場合を示している。この場合、帯の幅の更新頻度は、遠隔操縦者が気付き易くするために、図９（ａ）の場合より多くされ、さらに振動量を遠隔操縦者がより認識し易くするためにメーターで表示することが同時に行われる。

【0090】

なお、上述では、自動運転車両１００から遠隔操縦装置２００に、自動運転車両１００の振動に起因する振動成分が除去された映像信号と、その振動成分に対応した情報（振動情報）を別に送信し、遠隔操縦装置２００では、映像信号による映像の表示と、振動情報に基づく提示、例えば振動量に対応した幅を持つ帯の映像への重畳表示等を行う例を示した。

【0091】

自動運転車両１００から遠隔操縦装置２００に、自動動運転車両１００の加減速（ヨー、ピッチ、ロール）に起因する映像の傾き等のその他のユーザー（遠隔操縦者）に負担を与える負担成分が除去された映像信号と、その負担成分に対応した情報を別に送信し、遠隔操縦装置２００では、映像信号による映像の表示と、負担成分に対応した情報に基づく提示を行うことも同様に可能である。

【0092】

また、自動運転車両１００から遠隔操縦装置２００に、自動運転車両１００の周辺で発生している騒音（緊急車両や工事現場等で発生している音）などの負担成分が除去された音声信号と、その負担成分に対応した情報を別に送信し、遠隔操縦装置２００では、音声信号による音声出力と、負担成分に対応した情報に基づく提示を行うことも同様に可能である。

【0093】

例えば、負担成分が緊急車両で発生している音である場合について説明する。図１０のフローチャートは、自動運転車両１００における音声信号に対する所定周期毎の処理手順の一例を示している。

【0094】

自動運転車両１００は、ステップＳＴ６１において、処理を開始する。次に、自動運転車両１００は、ステップＳＴ６２において、周辺の音が集音されて得られた音声信号を取得する。次に、自動運転車両１００は、ステップＳＴ６３において、取得された音声信号を音源毎のデータに分離する。

【0095】

次に、自動運転車両１００は、ステップＳＴ６４において、緊急車両の音源のデータに基づき、緊急車両の音源のレベル、方向を算出する。次に、自動運転車両１００は、ステップＳＴ６５において、緊急車両の音源のレベル、方向の情報を、負担成分に対応した情報として、ネットワーク３００を介して、遠隔操縦装置２００に送信する。

【0096】

次に、自動運転車両１００は、ステップＳＴ６６において、音源毎にレベルを調整して、各音源のデータを合成して、送信用の音声信号を生成する。この場合、この音声信号は、負担成分である緊急車両の音が除去されたものとされる。次に、自動運転車両１００は、ステップＳＴ６７において、音声信号を圧縮し、ステップＳＴ６８において、その圧縮された音声信号を、負担成分が除去された音声信号として、ネットワーク３００を介して、遠隔操縦装置２００に送信する。その後、自動運転車両１００は、ステップＳＴ６９において、処理を終了する。

【0097】

図１１のフローチャートは、遠隔操縦装置２００における、自動運転車両１００から所定周期毎に送られてくる緊急車両の音源のレベル、方向の情報、および音声信号に対する処理手順の一例を示している。

【0098】

遠隔操縦装置２００は、ステップＳＴ７１において、処理を開始する。次に、遠隔操縦装置２００は、ステップＳＴ７２において、緊急車両の音源のレベル、方向の情報を受信する。次に、遠隔操縦装置２００は、ステップＳＴ７３において、音声信号を受信する。次に、遠隔操縦装置２００は、ステップＳＴ７４において、音声信号を伸長する。

【0099】

次に、遠隔操縦装置２００は、ステップＳＴ７５において、緊急車両の音源レベルは閾値以上か判断する。緊急車両の音源レベルが閾値以上である場合、遠隔操縦装置２００は、ステップＳＴ７６において、緊急車両の音源レベルに合わせて帯の幅を設定する。次に、遠隔操縦装置２００は、ステップＳＴ７７において、緊急車両の音源方向に合わせて帯の配置位置を設定する。

【0100】

次に、遠隔操縦装置２００は、ステップＳＴ７８において、映像信号に、設定された幅、位置で帯が重畳表示されるように変更処理を行って、表示用映像信号を生成する。なお、映像信号に関しては、自動運転車両１００から映像信号が受信され、さらに伸長処理を行われて用意されているものとする。

【0101】

ステップＳＴ７８の処理の後、遠隔操縦装置２００は、ステップＳＴ７９の処理に進む。なお、ステップＳＴ７５で緊急車両の音源レベルが閾値以上でない場合、遠隔操縦装置２００は、直ちに、ステップＳＴ７９の処理に進む。

【0102】

ステップＳＴ７９において、遠隔操縦装置２００は、表示用映像信号に基づき映像の表示し、受信された音声信号に基づき音声出力をする。なお、ステップＳＴ７５で緊急車両の音源レベルが閾値以上でない場合において、表示用映像信号は、受信されて伸長処理されて得られた映像信号そのものである。ステップＳＴ７９の処理の後、遠隔操縦装置２００は、ステップＳＴ７８において、処理を終了する。

【0103】

図１２は、負担成分が緊急車両の発生音である場合の映像表示の一例を示している。図１２（ａ）は、緊急車両なしの場合、従って緊急車両の音源レベルが閾値以上でない場合を示している。この場合、映像には、緊急車両の音源レベルに対応した幅を持つ帯は重畳表示されていない。

【0104】

図１２（ｂ）は、緊急車両ありの場合、従って緊急車両の音源レベルが閾値以上である場合であって、緊急車両が右側で距離が遠く、その音源レベルが小さい場合を示している。この場合、映像には、その右側位置に、狭い幅を持つ帯が重畳表示されている。図１２（ｃ）は、緊急車両ありの場合、従って緊急車両の音源レベルが閾値以上である場合であって、緊急車両が右側で接近していて、その音源レベルが大きい場合を示している。この場合、映像には、その右側位置に、広い幅を持つ帯が重畳表示されている。なお、この場合、帯の色が例えば通常の色、例えば黄緑色から緊急性を示す色、例えば赤色に変更されてもよい。

【0105】

以上説明したように、図１に示す遠隔操縦システム１０において、遠隔操縦装置２００では、負担成分が除去された提示信号（映像信号、音声信号）に基づく提示が行われことから、ユーザー（遠隔操縦者）に負担を与えること、例えば疲労や酔いを発生させること、が抑制される。また、負担成分に対応した情報に基づく提示が行われることから、ユーザー（遠隔操縦者）は提示信号から除去された負担成分、例えば映像に本来含まれる振動や傾き、音声に本来含まれる騒音、等を容易に認識することが可能となる。これにより、ユーザー（遠隔操縦者）は、遠隔操縦を良好に行い得るようになる。

【0106】

＜２．変形例＞
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

【0107】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

【0108】

また、本技術は、以下のような構成を取ることもできる。
（１）ユーザーに負担を与える負担成分が除去された提示信号を取得する提示信号取得部と、
前記負担成分に対応した情報を取得する情報取得部と、
前記負担成分が除去された提示信号に基づく提示および前記負担成分に対応した情報に基づく提示を制御する提示制御部を備える
情報処理システム。
（２）前記提示信号取得部は、前記負担成分を含む提示信号を、前記負担成分の情報に基づいて処理して、前記負担成分が除去された提示信号を取得する
前記（１）に記載の情報処理システム。
（３）前記負担成分が除去された提示信号は、車両に搭載された提示信号取得装置で取得された提示信号に基づく提示信号である
前記（１）または（２）に記載の情報処理システム。
（４）前記提示信号は、映像信号であり、
前記負担成分は、映像の動き成分であり、
前記提示制御部は、前記映像の動き成分が除去された映像信号に基づく提示および前記映像の動き成分に対応した情報に基づく提示を制御する
前記（１）から（３）のいずれかに記載の情報処理システム。
（５）前記提示制御部は、映像の動き量に応じて幅が更新される帯を、前記映像信号による映像に重ねて表示する
前記（４）に記載の情報処理システム。
（６）前記提示制御部は、映像の動き量の変化が閾値以上となるとき、前記帯の態様を変化させる
前記（５）に記載の提示制御装置。
（７）前記提示信号は、音声信号であり、
前記負担成分は、所定の音源成分であり、
前記提示制御部は、前記所定の音源成分が除去された音声信号に基づく提示および前記所定の音源成分に対応した情報に基づく提示を制御する
前記（１）から（３）のいずれかに記載の情報処理システム。
（８）前記提示制御部は、前記所定音源のレベルに応じて幅が更新される帯を、映像信号による映像に重ねて表示する
前記（７）に記載の情報処理システム。
（９）ユーザーに負担を与える負担成分が除去された提示信号を取得する提示信号取得手順と、
前記負担成分に対応した情報を取得する情報取得手順と、
前記負担成分が除去された提示信号に基づく提示および前記負担成分に対応した情報に基づく提示を制御する提示制御手順を有する
情報処理方法。
（１０）ユーザーに負担を与える負担成分が除去された提示信号に基づく提示および前記負担成分に対応した情報に基づく提示を制御する制御部を備える
提示制御装置。
（１１）前記負担成分が除去された提示信号は、車両に搭載された提示信号取得装置で取得された提示信号に基づく提示信号である
前記（１０）に記載の提示制御装置。
（１２）前記提示信号は、映像信号であり、
前記負担成分は、映像の動き成分であり、
前記制御部は、前記映像の動き成分が除去された映像信号に基づく提示および前記映像の動き成分に対応した情報に基づく提示を制御する
前記（１０）または（１１）に記載の提示制御装置。
（１３）前記制御部は、映像の動き量に応じて幅が更新される帯を、前記映像信号による映像に重ねて表示する
前記（１２）に記載の提示制御装置。
（１４）前記映像の動き量は、所定時間毎に映像の動き量が平均化されて得られた平均動き量である
前記（１３）に記載の提示制御装置。
（１５）前記制御部は、映像の動き量の変化が閾値以上となるとき、前記帯の態様を変化させる
前記（１３）または（１４）に記載の提示制御装置。
（１６）前記制御部は、ユーザーの状態に応じて、前記帯の幅の更新頻度を変更する
前記（１３）から（１５）のいずれかに記載の提示制御装置。
（１７）前記制御部は、前記映像信号による映像が表示されるディスプレイの画面サイズに応じて、前記帯の幅の更新頻度を変更する
前記（１３）から（１６）のいずれかに記載の提示制御装置。
（１８）前記提示信号は、音声信号であり、
前記負担成分は、所定の音源成分であり、
前記制御部は、前記所定の音源成分が除去された音声信号に基づく提示および前記所定の音源成分に対応した情報に基づく提示を制御する
前記（１０）または（１１）に記載の提示制御装置。
（１９）前記制御部は、前記所定音源のレベルに応じて幅が更新される帯を、映像信号による映像に重ねて表示する
前記（１８）に記載の提示制御装置。
（２０）前記制御部は、前記所定音源の方向に応じて前記帯の配置位置を変化させる
前記（１９）に記載の提示制御装置。

【符号の説明】

【0109】

１０・・・遠隔操縦システム
１００・・・自動運転車両
１１０・・・映像取得装置
１２０・・・音声取得装置
１３０・・・車両状態取得装置
１４０・・・自動運転装置
１５０・・・情報処理装置
１５１・・・負担成分除去部
１５２・・・負担成分検出部
１５３・・・映像/音声圧縮部
１５４・・・データ送信部
１６０・・・通信装置
２００・・・遠隔操縦装置
２１０・・・通信装置
２２０・・・情報処理装置
２２１・・・データ受信部
２２２・・・映像/音声伸長部
２２３・・・遠隔操縦者状態推定部
２２４・・・提示データ生成部
２３０・・・提示装置
３００・・・ネットワーク
４００・・・接続管理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】