IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 本田技研工業株式会社の特許一覧
特開2022-97198情報処理装置、移動体、プログラム及び情報処理方法
<>
  • 特開-情報処理装置、移動体、プログラム及び情報処理方法 図1
  • 特開-情報処理装置、移動体、プログラム及び情報処理方法 図2
  • 特開-情報処理装置、移動体、プログラム及び情報処理方法 図3
  • 特開-情報処理装置、移動体、プログラム及び情報処理方法 図4
  • 特開-情報処理装置、移動体、プログラム及び情報処理方法 図5
  • 特開-情報処理装置、移動体、プログラム及び情報処理方法 図6
  • 特開-情報処理装置、移動体、プログラム及び情報処理方法 図7
  • 特開-情報処理装置、移動体、プログラム及び情報処理方法 図8
  • 特開-情報処理装置、移動体、プログラム及び情報処理方法 図9
  • 特開-情報処理装置、移動体、プログラム及び情報処理方法 図10
  • 特開-情報処理装置、移動体、プログラム及び情報処理方法 図11
  • 特開-情報処理装置、移動体、プログラム及び情報処理方法 図12
  • 特開-情報処理装置、移動体、プログラム及び情報処理方法 図13
  • 特開-情報処理装置、移動体、プログラム及び情報処理方法 図14
  • 特開-情報処理装置、移動体、プログラム及び情報処理方法 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022097198
(43)【公開日】2022-06-30
(54)【発明の名称】情報処理装置、移動体、プログラム及び情報処理方法
(51)【国際特許分類】
   H04M 11/00 20060101AFI20220623BHJP
   H04L 47/24 20220101ALI20220623BHJP
   H04W 72/10 20090101ALI20220623BHJP
【FI】
H04M11/00 302
H04L12/859
H04W72/10
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2020210642
(22)【出願日】2020-12-18
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】110000877
【氏名又は名称】龍華国際特許業務法人
(72)【発明者】
【氏名】小嶋 祐登
(72)【発明者】
【氏名】対馬 孔聖
(72)【発明者】
【氏名】塚原 祥平
(72)【発明者】
【氏名】大塚 高廣
【テーマコード(参考)】
5K030
5K067
5K201
【Fターム(参考)】
5K030HB01
5K030HC09
5K030JT01
5K030KA20
5K030LC01
5K030LE16
5K067EE02
5K067EE10
5K201AA01
5K201CC07
5K201DC05
5K201EC06
5K201ED04
5K201EF03
5K201FA05
(57)【要約】      (修正有)
【課題】通信環境が悪化することによって通信速度が低下した場合に、優先度が高いデータ通信を制限されないようにする情報処理装置、移動体、プログラム及び情報処理方法を提供する。
【解決手段】車両が備える、通信ネットワークを介して、外部の音声認識装置が提供する第1音声認識機能を利用して、音声認識処理を実行する情報処理装置200において、将来の通信状態を予測する通信状態予測部220と、ユーザが音声認識処理の開始を希望していることを示すトリガ情報を検出するトリガ検出部及びトリガ検出部がトリガ情報を検出した場合に、通信状態予測部220が予測した将来の通信状態に基づいて、音声認識処理の状態をユーザに通知する状態通知部を有する音声認識制御部276と、を備える。
【選択図】図2
【特許請求の範囲】
【請求項1】
通信ネットワークを介して、外部の音声認識装置が提供する第1音声認識機能を利用して、音声認識処理を実行する情報処理装置であって、
ユーザが前記音声認識処理の開始を希望していることを示すトリガ情報を検出するトリガ検出部と、
将来の通信状態を予測する通信状態予測部と、
前記トリガ検出部が前記トリガ情報を検出した場合に、前記通信状態予測部が予測した前記将来の通信状態に基づいて、前記音声認識処理の状態を前記ユーザに通知する状態通知部と、
を備える、情報処理装置。
【請求項2】
前記通信状態は、帯域幅又はスループットである、
請求項1に記載の情報処理装置。
【請求項3】
前記状態通知部は、
(a)前記通信状態予測部が前記将来の通信状態を予測することができた場合、(i)前記通信状態予測部が予測した前記将来の通信状態に基づいて、前記第1音声認識機能を利用した前記音声認識処理が可能になる時期を決定し、(ii)前記第1音声認識機能を利用した前記音声認識処理が可能になる前記時期を、前記音声認識処理の状態として前記ユーザに通知する、並びに/又は、
(b)前記通信状態予測部が前記将来の通信状態を予測することができなかった場合、(i)前記通信状態予測部が前記将来の通信状態を予測することができなかったこと、及び/若しくは、(ii)現在の通信状態を、前記ユーザに通知する、
請求項1又は請求項2に記載の情報処理装置。
【請求項4】
通信ネットワークを介した前記情報処理装置及び外部装置のデータ通信を制御する通信制御部と、
前記データ通信の種別を判別する通信判別部と、
前記通信判別部が判別した前記種別に基づいて、複数の前記データ通信について通信の優先度を設定する優先度設定部と、
をさらに備え、
前記通信制御部は、
前記通信状態予測部が予測した前記将来の通信状態と、前記優先度設定部が設定した前記通信の優先度とに基づいて、前記外部の音声認識装置との間のデータ通信の優先度を決定し、
前記外部の音声認識装置との間のデータ通信よりも優先度に劣るデータ通信を遅延させる、又は、当該優先度に劣るデータ通信の帯域幅を制限する、
請求項1から請求項3までの何れか一項に記載の情報処理装置。
【請求項5】
前記外部の音声認識装置が提供する前記第1音声認識機能を利用して前記音声認識処理を実行する第1音声認識部と、
前記外部の音声認識装置が提供する前記第1音声認識機能を利用せずに前記音声認識処理を実行する第2音声認識部と、
前記通信状態予測部が予測した前記将来の通信状態に基づいて、前記第1音声認識部及び前記第2音声認識部の何れを用いて前記音声認識処理を実行するかを決定する認識手段決定部と、
を備える、
請求項1から請求項4までの何れか一項に記載の情報処理装置。
【請求項6】
前記認識手段決定部は、
(i)前記通信状態予測部が前記将来の通信状態が予め定められた第1状態よりも劣化することを予測した場合、又は、(ii)現在の通信状態が予め定められた第2状態よりも劣る場合、
前記第2音声認識部を用いて前記音声認識処理を実行することを決定する、
請求項5に記載の情報処理装置。
【請求項7】
前記状態通知部は、
(i)前記通信状態予測部が前記将来の通信状態が予め定められた第1状態よりも劣化することを予測した場合、又は、(ii)現在の通信状態が予め定められた第2状態よりも劣る場合、
前記第2音声認識部を用いて前記音声認識処理が実行されることを、前記音声認識処理の状態として前記ユーザに通知する、
請求項5又は請求項6に記載の情報処理装置。
【請求項8】
前記状態通知部は、
(i)前記通信状態予測部が前記将来の通信状態が予め定められた第1状態よりも劣化することを予測した場合、又は、(ii)現在の通信状態が予め定められた第2状態よりも劣る場合、
前記第2音声認識部を用いて利用可能な1以上のコマンドの少なくとも一部を、前記音声認識処理の状態として前記ユーザに通知する、
請求項5から請求項7までの何れか一項に記載の情報処理装置。
【請求項9】
前記状態通知部は、
前記通信状態予測部が、(i)前記将来の通信状態が予め定められた第1状態よりも劣化することを予測した場合、又は、(ii)現在の通信状態が予め定められた第2状態よりも劣る場合において、前記ユーザが、前記第2音声認識部を用いて利用不能なコマンドの入力を指示したとき、
前記ユーザによるコマンドの入力が受け付けられないことと、前記第1音声認識機能を利用した前記音声認識処理が可能になる時期とを、前記音声認識処理の状態として前記ユーザに通知する、
請求項5から請求項8までの何れか一項に記載の情報処理装置。
【請求項10】
請求項1から請求項9までの何れか一項に記載の情報処理装置を備える、
移動体。
【請求項11】
コンピュータを、請求項1から請求項9までの何れか一項に記載の情報処理装置として機能させるためのプログラム。
【請求項12】
通信ネットワークを介して、外部の音声認識装置が提供する第1音声認識機能を利用して、音声認識処理を実行する情報処理方法であって、
ユーザが前記音声認識処理の開始を希望していることを示すトリガ情報を検出するトリガ検出段階と、
将来の通信状態を予測する通信状態予測段階と、
前記トリガ検出段階において前記トリガ情報が検出された場合に、前記通信状態予測段階において予測された前記将来の通信状態に基づいて、前記音声認識処理の状態を前記ユーザに通知する状態通知段階と、
を有する、情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、移動体、プログラム及び情報処理方法に関する。
【背景技術】
【0002】
特許文献1には、対話中に通信不能となった場合、通信が復帰するタイミングを推定し、復帰までの待ち時間に応じて、ユーザへの提示する情報を変えるこごが開示されている。特許文献2には、通信不能な場合でも、過去に音声認識サーバで認識させ、蓄積した認識結果の中から入力音声に対応した認識結果を取得することが開示されている。特許文献3には、サーバから音声認識結果が受信できない場合、自端末の音声に認識エンジンを利用することが開示されている。
[先行技術文献]
[特許文献]
[特許文献1] 特開2014-174485号公報
[特許文献2] 特開2014-115936号公報
[特許文献3] 特開2006-003686号公報
【発明の概要】
【0003】
本発明の第1の態様においては、情報処理装置が提供される。上記の情報処理装置は、例えば、通信ネットワークを介して、外部の音声認識装置が提供する第1音声認識機能を利用して、音声認識処理を実行する。上記の情報処理装置は、例えば、ユーザが音声認識処理の開始を希望していることを示すトリガ情報を検出するトリガ検出部を備える。上記の情報処理装置は、例えば、将来の通信状態を予測する通信状態予測部を備える。上記の情報処理装置は、例えば、トリガ検出部がトリガ情報を検出した場合に、通信状態予測部が予測した将来の通信状態に基づいて、音声認識処理の状態をユーザに通知する状態通知部を備える。
【0004】
上記の情報処理装置において、通信状態は、帯域幅又はスループットであってよい。上記の情報処理装置において、状態通知部は、(a)通信状態予測部が将来の通信状態を予測することができた場合、(i)通信状態予測部が予測した将来の通信状態に基づいて、第1音声認識機能を利用した音声認識処理が可能になる時期を決定し、(ii)第1音声認識機能を利用した音声認識処理が可能になる時期を、音声認識処理の状態としてユーザに通知してよい。上記の情報処理装置において、状態通知部は、(b)通信状態予測部が将来の通信状態を予測することができなかった場合、(i)通信状態予測部が将来の通信状態を予測することができなかったこと、及び/又は、(ii)現在の通信状態を、ユーザに通知してよい。
【0005】
上記の情報処理装置は、通信ネットワークを介した情報処理装置及び外部装置のデータ通信を制御する通信制御部を備えてよい。上記の情報処理装置は、データ通信の種別を判別する通信判別部を備えてよい。上記の情報処理装置は、通信判別部が判別した種別に基づいて、複数のデータ通信について通信の優先度を設定する優先度設定部を備えてよい。上記の情報処理装置において、通信制御部は、通信状態予測部が予測した将来の通信状態と、優先度設定部が設定した通信の優先度とに基づいて、外部の音声認識装置との間のデータ通信の優先度を決定してよい。また、通信制御部は、外部の音声認識装置との間のデータ通信よりも優先度に劣るデータ通信を遅延させる、又は、当該優先度に劣るデータ通信の帯域幅を制限してよい。
【0006】
上記の情報処理装置は、外部の音声認識装置が提供する第1音声認識機能を利用して音声認識処理を実行する第1音声認識部を備えてよい。上記の情報処理装置は、外部の音声認識装置が提供する第1音声認識機能を利用せずに音声認識処理を実行する第2音声認識部を備えてよい。上記の情報処理装置は、通信状態予測部が予測した将来の通信状態に基づいて、第1音声認識部及び第2音声認識部の何れを用いて音声認識処理を実行するかを決定する認識手段決定部を備えてよい。上記の情報処理装置において、(i)通信状態予測部が将来の通信状態が予め定められた第1状態よりも劣化することを予測した場合、又は、(ii)現在の通信状態が予め定められた第2状態よりも劣る場合、認識手段決定部は、第2音声認識部を用いて音声認識処理を実行することを決定してよい。
【0007】
上記の情報処理装置において、(i)通信状態予測部が将来の通信状態が予め定められた第1状態よりも劣化することを予測した場合、又は、(ii)現在の通信状態が予め定められた第2状態よりも劣る場合、状態通知部は、第2音声認識部を用いて音声認識処理が実行されることを、音声認識処理の状態としてユーザに通知してよい。上記の情報処理装置において、(i)通信状態予測部が将来の通信状態が予め定められた第1状態よりも劣化することを予測した場合、又は、(ii)現在の通信状態が予め定められた第2状態よりも劣る場合、状態通知部は、第2音声認識部を用いて利用可能な1以上のコマンドの少なくとも一部を、音声認識処理の状態としてユーザに通知してよい。上記の情報処理装置において、(i)通信状態予測部が将来の通信状態が予め定められた第1状態よりも劣化することを予測した場合、又は、(ii)現在の通信状態が予め定められた第2状態よりも劣る場合において、ユーザが、第2音声認識部を用いて利用不能なコマンドの入力を指示したとき、状態通知部は、ユーザによるコマンドの入力が受け付けられないことと、第1音声認識機能を利用した音声認識処理が可能になる時期とを、音声認識処理の状態としてユーザに通知してよい。
【0008】
本発明の第2の態様においては、移動体が提供される。上記の移動体は、例えば、上記の第1の態様に係る情報処理装置を備える。
【0009】
本発明の第3の態様においては、情報処理方法が提供される。上記の情報処理方法は、例えば、通信ネットワークを介して、外部の音声認識装置が提供する第1音声認識機能を利用して、音声認識処理を実行する方法に関する。上記の情報処理方法は、例えば、ユーザが音声認識処理の開始を希望していることを示すトリガ情報を検出するトリガ検出段階を有する。上記の情報処理方法は、例えば、将来の通信状態を予測する通信状態予測段階を有する。上記の情報処理方法は、例えば、トリガ検出段階においてトリガ情報が検出された場合に、通信状態予測段階において予測された将来の通信状態に基づいて、音声認識処理の状態をユーザに通知する状態通知段階を有する。
【0010】
本発明の第4の態様においては、プログラムが提供される。上記のプログラムは、例えば、コンピュータを、上記の第1の態様に係る情報処理装置として機能させるためのプログラムである。上記のプログラムは、例えば、コンピュータに、上記の第3の態様に係る情報処理方法を実行させるためのプログラムである。上記のプログラムを格納するコンピュータ可読媒体が提供されてもよい。コンピュータ可読媒体は、非一時的なコンピュータ可読媒体であってもよい。コンピュータ可読媒体は、コンピュータ可読記録媒体であってもよい。
【0011】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【0012】
図1】一実施形態に係る車両50の利用形態を模式的に示す。
図2】車両50の機能構成を模式的に示す。
図3】データ通信の優先度を示す表である。
図4】情報処理装置200が記憶するデータ通信情報のデータ構造の一例を示す。
図5】通信制御部230が優先度に基づいて行う通信スループットの制御を概念的に示す。
図6】情報処理装置200の機能ブロック間のデータの流れを模式的に示す。
図7】情報処理装置200が実行する情報処理方法に関するフローチャートを示す。
図8】情報処理装置200が実行する通信スループットの制御方法に関するフローチャートを示す。
図9】車両50内の制御システム1000の実装例を示す。
図10】情報系機器1041の内部構成の一例を概略的に示す。
図11】音声認識制御部276の内部構成の一例を概略的に示す。
図12】音声認識システム1074の内部構成の一例を概略的に示す。
図13】車両50による情報処理の一例を概略的に示す。
図14】車両50による情報処理の一例を概略的に示す。
図15】コンピュータ3000の例を示す。
【発明を実施するための形態】
【0013】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0014】
[車両50の概要]
図1は、一実施形態に係る車両50の利用形態を模式的に示す。車両50は、例えば自動車である。車両50は、人又は物品を輸送する輸送機器の一例であってよい。車両50としては、自動車、自動二輪車、動力ユニットを有する立ち乗り用の乗り物、電車、作業機械などが例示される。自動車としては、内燃機関を備える自動車、電気自動車、燃料電池自動車(FCV)、ハイブリット車、小型コミュータ、電動カート、バスなどが例示される。自動二輪車としては、バイク、三輪バイク、電動自転車などが例示される。電車としては、鉄道、路面電車、LRT(Light Rail Transit)、モノレールなどの軌道系交通システムに利用される各種の車両が例示される。作業機械としては、重機、農作業機などが例示される。農作業機としては、農耕機、芝刈り機、草刈り機などが例示される。また、車両50の用途は、特に限定されるものではない。車両50の用途は自家用であってもよく、業務用であってもく、公共交通機関用であってもよい。
【0015】
車両50は、情報処理装置200を備える。情報処理装置200は、外部装置30a及び外部装置30bとデータ通信を行う。本実施形態において、情報処理装置200は、通信ネットワーク90及び無線通信システム92を通じて、外部装置30a、外部装置30b及び外部装置30cと情報を送受する。例えば、情報処理装置200は、外部装置30aとの間でデータ32を送受する。例えば、情報処理装置200は、外部装置30bとの間でデータ34を送受する。例えば、情報処理装置200は、外部装置30cとの間でデータ36を送受する。なお、本実施形態において、外部装置30a、外部装置30b及び外部装置30cのことを「外部装置30」と総称する場合がある。
【0016】
外部装置30aは、例えば車両50の乗員にサービスを提供するサーバを含む。例えば外部装置30aは、動画等のコンテンツデータを格納するサーバや、SNS(ソーシャルネットワークサービス)を提供するサーバ等を含む。情報処理装置200は、車両50の乗員の指示に応じて、外部装置30aから動画データを受信する。また、情報処理装置200は、車両50の乗員の指示に応じて、SNSメッセージとしてのテキスト情報、音声情報、画像情報、動画情報等を、外部装置30aから受信する。また、情報処理装置200は、車両50の乗員の指示に応じて、車両50の乗員からのSNSメッセージとしてのテキスト情報、音声情報、画像情報、動画情報等を、外部装置30aに送信する。
【0017】
他の実施形態において、外部装置30aは、オンラインのドライブレコーダーサービスを提供してもよい。例えば、外部装置30aは、車両50から、車両50に配された撮像機器(図示されていない。)が撮像した画像のデータを受信し、任意の記憶装置(図示されていない。)に格納する。上記の画像は、静止画像であってもよく、動画像であってもよい。外部装置30aは、車両50から、車両50に配された音声入力機器(図示されていない。)が集音した音声のデータを受信し、任意の記憶装置(図示されていない。)に格納してもよい。また、外部装置30aは、車両50の乗員の指示に応じて、上記の記憶装置に格納された画像又は音声のデータを抽出し、抽出されたデータを車両50に送信してもよい。
【0018】
外部装置30bは、例えば車両50の制御係に関するサービスを提供するサーバである。外部装置30bは、例えば車両50の制御系関連情報を収集するサーバを含んでよい。外部装置30が収集する制御関連情報は、車両50の自動運転に用いられたLIDARデータ等を例示することができる。外部装置30bは、例えば車両50に制御系関連情報を提供するサーバを含んでよい。外部装置30bが提供する制御系関連情報としては、車両50の自動運転に用いられる地図データ等を含んでよい。情報処理装置200は、自動運転制御のために取得したLIDARデータ等を外部装置30bに送信する。情報処理装置200は、車両50の乗員の指示に関係なく、地図データを外部装置30bから受信する。
【0019】
外部装置30cは、通信ネットワーク90を介して、音声認識機能を提供する。例えば、情報処理装置200は、ユーザの音声データを外部装置30cに送信する。外部装置30cは、ユーザの音声データを解析し、ユーザにより指示されたコマンド又は命令の内容を推定する。外部装置30cは、コマンド又は命令の内容を示す情報を、情報処理装置200に送信する。これにより、通信ネットワーク90を介して、音声認識機能が提供される。データ36としては、車両50から外部装置30cに送信されるユーザの音声データ、外部装置30cによる音声認識結果を示すデータなどが例示される。
【0020】
本実施形態において、通信ネットワーク90は、インターネット等のIPネットワーク、P2Pネットワーク、VPNを含む専用回線、及び仮想ネットワーク等を含む。本実施形態において、無線通信システム92は、通信ネットワーク90に接続される移動体通信網である。例えば、無線通信システム92は、無線アクセスネットワーク及びコアネットワークを含む。
【0021】
本実施形態において、情報処理装置200は、外部装置30との間の通信スループットを、データ通信の優先度に応じて制御する。例えばSNSデータ等のデータ通信は、車両50の制御系関連情報のデータ通信より優先順位が低い。例えば、情報処理装置200が、外部装置30cを利用して音声認識処理を実行するためのデータのデータ通信は、車両50の制御系関連情報のデータ通信より優先順位が低い。
【0022】
本実施形態において、情報処理装置200は、過去の通信状態の時系列データに基づいて、将来の通信状態を予測する。例えば、情報処理装置200は、過去の通信スループットの時系列データに基づいて、将来の通信スループットを予測する。情報処理装置200は、将来の通信スループットが低くなることが予測される場合、車両50の制御関連情報より優先順位が低い外部装置30aとの間のデータ通信を、最低限のサービス品質を維持できる程度に遅延させる。これにより、車両50の制御関連情報のデータ通信の通信スループットを維持する。
【0023】
また、情報処理装置200は、通信スループットが更に低くなることが予測され、外部装置30aとの間で最低限のサービス品質を維持できないことが予測される場合、外部装置30aとの間のデータ通信を停止して、車両50の制御系関連情報のデータ通信の通信スループットを維持する。このようにして、情報処理装置200は、優先度の低いデータの通信を制限することによって、優先度の高いデータ通信を継続することができる可能性を高めることができる。
【0024】
上述されたとおり、本実施形態によれば、情報処理装置200は、車両50の制御系関連情報などを含むデータ34のデータ通信を、(i)動画、音楽、音声、ゲームのコンテンツデータ、(ii)SNSメッセージなどのSNSデータなどを含むデータ32のデータ通信よりも優先させる。そのため、車両50などの輸送機器又は移動体の搭乗者(ユーザと称される場合がある。)が、データ32の送受信により提供されるサービスを利用している場合、通信状態の変動によって、データの欠損又は通信の遅延が発生し得る。その結果、例えば、外部装置30aにより提供されるサービスの品質が大きく低下したり、サービスの提供の中断及び再開が繰り返されたりする可能性がある。
【0025】
また、上述されたとおり、本実施形態によれば、情報処理装置200は、車両50の制御系関連情報などを含むデータ34のデータ通信を、データ36のデータ通信よりも優先させる。そのため、通信状態の変動によって、情報処理装置200が外部装置30cを利用して音声認識処理を実行することができなくなる場合がある。また、通信状態の変動によって、情報処理装置200が外部装置30cを利用して音声認識処理を実行した場合に、情報処理装置200がユーザに応答するまでの時間が長くなる場合がある。そのため、車両50の移動中に通信状態が変動しても、ユーザビリティが大幅に低下することを抑制する技術の開発が望まれている。
【0026】
そこで、本実施形態において、情報処理装置200は、通信ネットワークを介して、外部装置30cが提供する音声認識機能を利用して、音声認識処理を実行する場合において、音声認識処理の状態をユーザに通知する。具体的には、まず、情報処理装置200は、ユーザが音声認識処理の開始を希望していることを示すトリガ情報を検出する。トリガ情報としては、WakeUpキーワードが発話されたこと、音声認識処理の開始ボタンが押下されたこと、音声認識処理の開始コマンドが埋め込まれたアイコンが選択されたことなどが例示される。
【0027】
次に、情報処理装置200は、将来の通信状態を予測する。また、情報処理装置200は、予測された将来の通信状態に基づいて、将来の特定の時期における音声認識処理の状態を決定する。情報処理装置200は、決定された音声認識処理の状態をユーザに通知する。音声認識処理の状態としては、(i)外部装置30cが提供する音声認識機能を利用して、音声認識処理を実行することができる状態、(ii)外部装置30cが提供する音声認識機能を利用して、音声認識処理を実行することができない状態、(iii)外部装置30cが提供する音声認識機能を利用した場合、音声認識処理の実行時間が長くなる状態などが例示される。なお、音声認識処理の状態をユーザに通知するとは、音声認識処理の状態をユーザに実際に通知することだけでなく、音声認識処理の状態がユーザに通知することを決定することを含んでもよい。
【0028】
本実施形態によれば、ユーザは、通信状態の変動による音声認識処理の状態の変化を事前に知ることができる。これにより、ユーザは、音声認識処理の状態に応じて、(i)情報処理装置200による音声認識処理を利用せずにコマンド又は命令を入力したり、(ii)外部装置30cが提供する音声認識機能を利用しなくても、情報処理装置200による音声認識処理を利用してコマンド又は命令を入力できるように、発話の内容を変更したり、(iii)コマンド又は命令の入力時期を延期したりすることができる。その結果、通信状態が変動しても、ユーザビリティが大幅に低下することが抑制され得る。
【0029】
なお、例えば、現在の通信状態が優れない場合には、情報処理装置200が将来の通信状態を予測することができないこともあり得る。現在の通信状態としては、現在のスループット、遅延、パケットロスなどが例示される。現在の通信状態は、例えば、図2において説明されるスループット測定部210により測定される。
【0030】
そこで、上記の実施形態において、情報処理装置200は、情報処理装置200が将来の通信状態を予測することができた場合に、(i)当該予測された将来の通信状態に基づいて、将来の特定の時期における音声認識処理の状態を決定し、(ii)決定された音声認識処理の状態をユーザに通知してよい。一方、情報処理装置200が将来の通信状態を予測することができなかった場合、情報処理装置200は、将来の通信状態を予測することができなかったこと、及び/又は、現在の通信状態を、ユーザに通知してよい。これにより、情報処理装置200が将来の通信状態を予測することができたか否かに関わらず、ユーザに情報が通知される。
【0031】
[情報処理装置200の各部の具体的な構成]
情報処理装置200の各部は、ハードウエアにより実現されてもよく、ソフトウエアにより実現されてもよく、ハードウエア及びソフトウエアにより実現されてもよい。情報処理装置200の各部は、その少なくとも一部が、単一のサーバによって実現されてもよく、複数のサーバによって実現されてもよい。情報処理装置200の各部は、その少なくとも一部が、仮想マシン上又はクラウドシステム上で実現されてもよい。情報処理装置200の各部は、その少なくとも一部が、パーソナルコンピュータ又は携帯端末によって実現されてもよい。携帯端末としては、携帯電話、スマートフォン、PDA、タブレット、ノートブック・コンピュータ又はラップトップ・コンピュータ、ウエアラブル・コンピュータなどを例示することができる。情報処理装置200の各部は、ブロックチェーンなどの分散型台帳技術又は分散型ネットワークを利用して、情報を格納してもよい。情報処理装置200の詳細は後述される。
【0032】
外部装置30cは、外部の音声認識装置の一例であってよい。外部装置30cが提供する音声認識機能は、第1音声認識機能の一例であってよい。車両50は、移動体の一例であってもよい。
【0033】
[別実施形態の一例]
本実施形態においては、情報処理装置200が、輸送機器又は移動体の一例である車両50に搭載される場合を例として、情報処理装置200の詳細が説明される。しかしながら、情報処理装置200が搭載される輸送機器又は移動体は、本実施形態に限定されない。輸送機器又は移動体の他の例としては、空中を移動する飛行体、水上又は水中を移動する船舶などが例示される。飛行体としては、飛行機、飛行船又は風船、気球、ヘリコプター、ドローンなどが例示される。船舶としては、船、ホバークラフト、水上バイク、潜水艦、潜水艇、水中スクータなどが例示される。
【0034】
本実施形態においては、情報処理装置200が、過去の通信状態の時系列データに基づいて、将来の通信状態を予測する場合を例として、情報処理装置200の一例の詳細が説明される。しかしながら、情報処理装置200が将来の通信状態を予測する方法は、本実施形態に限定されない。
【0035】
他の実施形態において、情報処理装置200は、(i)先行して走行する他の車両により取得された通信状態に関する情報、(ii)複数の車両により取得された通信状態に関する情報に基づいて構築されたビッグデータなどに基づいて、将来の通信状態を予測する。先行して走行する他の車両が取得した通信状態に関する情報、及び、上記のビッグデータは、外部装置30に格納されていてもよい。
【0036】
情報処理装置200は、情報処理装置200が搭載された車両50の走行ルート上の特定の位置に関する通信状態に関する情報を、外部装置30から取得してよい。また、情報処理装置200は、例えば、車車間通信により、先行して走行する他の車両から、当該車両が取得した通信状態に関する情報を取得してもよい。
【0037】
さらに他の実施形態において、外部装置30が、情報処理装置200が搭載された車両50の走行ルート上の特定の位置に関する将来の通信状態を推定してもよい。この場合、情報処理装置200は、外部装置30から、車両50の走行ルート上の将来の通信状態の推定値を示す情報を取得してよい。
【0038】
より具体的には、情報処理装置200は、通信状態の地理的分布を示す各種の情報(マップ情報と称される場合がある。)を用いて、将来の通信状態を予測してよい。情報処理装置200は、通信状態の地理的分布を示す各種の情報を、例えば、外部装置30から取得する。
【0039】
情報処理装置200は、予め通信状態が不良となる可能性が高い1以上の領域のそれぞれの位置を示すマップ情報を利用して、将来の通信状態を予測してもよい。マップ情報は、1以上の領域のそれぞれについて、当該領域の位置を示す情報と、当該位置又は領域における通信状態を示す情報とを対応付けて格納してもよい。
【0040】
一実施形態において、情報処理装置200は、車両50又は情報処理装置200に配された自己位置推定装置(図示されていない。)から、車両50の自己位置を示す情報を取得する。情報処理装置200は、車両50の自己位置を示す情報により示される車両50の移動履歴に基づいて、車両50の将来の位置又は領域を予測する。情報処理装置200は、上記の予測結果と、上記のマップ情報とを照合することで、将来の通信状態を予測することができる。
【0041】
他の実施形態において、情報処理装置200は、車両50又は情報処理装置200に配された経路探索装置(図示されていない。)から、車両50の移動経路を示す情報を取得する。また、情報処理装置200は、車両50又は情報処理装置200に配された自己位置推定装置(図示されていない。)から、車両50の自己位置を示す情報を取得する。情報処理装置200は、車両50の自己位置を示す情報と、車両50の移動経路を示す情報とに基づいて、車両50の将来の位置又は領域を予測する。情報処理装置200は、上記の予測結果と、上記のマップ情報とを照合することで、将来の通信状態を予測することができる。
【0042】
図2は、車両50の機能構成を模式的に示す。本実施形態において、車両50は、例えば、情報処理装置200と、制御装置24aと、制御装置24bと、制御装置24cと、機器25aと、機器25bと、機器25cと、車両内ネットワーク29とを備える。本実施形態において、情報処理装置200は、例えば、通信部202と、通信制御部230と、スループット測定部210と、通信状態予測部220と、通信判別部240と、優先度設定部250と、品質算出部260と、音声認識制御部276とを備える。本実施形態において、機器25cは、例えば、コンテンツ実行部282と、表示部284を備える。
【0043】
本実施形態において、情報処理装置200、制御装置24a、制御装置24b及び制御装置24cは、車両内ネットワーク29で互いに接続されている。車両内ネットワーク29は、イーサネット(登録商標)のネットワークを含んでよい。車両内ネットワーク29は、CAN(Controller Area Network)を含んでよい。
【0044】
[制御装置24及び機器25の概要]
制御装置24a及び制御装置24bは、それぞれ機器25a及び機器25bを制御する。同様に、制御装置24cは、機器25cを制御する。制御装置24a、制御装置24b及び制御装置24cは、それぞれECU(Electronic Control Unit)であってよい。機器25a、機器25b及び機器25cは、例えば、駆動系機器、情報通信系機器などを含む。駆動系機器としては、エンジン、モータなどが例示される。
【0045】
なお、制御装置24a、制御装置24b及び制御装置24cの総称として、「制御装置24」という用語が用いられる場合がある。また、機器25a、機器25b及び機器25cの総称として、「機器25」という用語が用いられる場合がある。制御装置24及び機器25の一実施例については、図9等に関連して、その具体例が説明される。
【0046】
図2に関連して説明される実施例においては、機器25cが、情報系機器又は映像音響系機器を含む場合を例として、機器25cの一例が説明される。一実施形態において、機器25cは、情報処理装置200が外部装置30aから受信したデータ32の実行結果を、ユーザに提示する。他の実施形態において、機器25cは、情報処理装置200が外部装置30cから受信した音声認識結果を、ユーザに提示する。
【0047】
本実施形態において、コンテンツ実行部282は、外部装置30aからデータ32を取得する。また、コンテンツ実行部282は、データ32を実行する。上述されたとおり、データ32は、外部装置30aが配信するコンテンツのデータであり、データ32が実行されることで、動画、音声などが再生される。コンテンツ実行部282は、データ32を実行して生成される画像(コンテンツ画像と称される場合がある。)を表示部284に表示させる。コンテンツ画像は、動画コンテンツに含まれる1以上の画像のそれぞれであってよい。コンテンツ画像は、データ32の実行結果の一例であってよい。
【0048】
本実施形態において、表示部284は、画像を表示する。画像は、動画像であってもよく、静止画像であってもよい。表示部284としては、ディスプレイ、プロジェクタなどが例示される。表示部284は、タッチパネル、ポインティングデバイス、スイッチ、音声認識システム、ジェスチャ認識システムなどの入力装置を備えてもよい。表示部284は、スピーカーなどの音声出力装置を備えてもよい。
【0049】
例えば、表示部284は、コンテンツ実行部282が出力(再生と称される場合がある。)した画像を表示する。表示部284が音声出力装置を備える場合、表示部284は、コンテンツ実行部282が出力(再生と称される場合がある。)した音声を出力してもよい。
【0050】
また、表示部284は、音声認識処理を実行する。表示部284は、(i)ユーザの音声を取得し、(ii)ユーザが音声により情報処理装置200に入力するコマンド又は命令の内容を決定する。これにより、表示部284は、ユーザの入力を受け付けることができる。
【0051】
一実施形態において、表示部284は、外部装置30cが提供する音声認識機能を利用して、音声認識処理を実行する。他の実施形態において、表示部284は、外部装置30cが提供する音声認識機能を利用せずに、音声認識処理を実行する。表示部284が、外部装置30cが提供する音声認識機能を利用せずに音声認識処理を実行する場合に対応可能なコマンド又は命令の種類は、表示部284が、外部装置30cが提供する音声認識機能を利用して音声認識処理を実行する場合に対応可能なコマンド又は命令の種類よりも少なくてもよい。
【0052】
[制御装置24及び機器25の各部の具体的な構成]
制御装置24の各部は、ハードウエアにより実現されてもよく、ソフトウエアにより実現されてもよく、ハードウエア及びソフトウエアにより実現されてもよい。機器25の各部は、ハードウエアにより実現されてもよく、ソフトウエアにより実現されてもよく、ハードウエア及びソフトウエアにより実現されてもよい。
【0053】
[情報処理装置200の各部の概要]
通信部202は、移動体通信網を介し外部装置30と通信を行う。例えば、通信部202は、通信制御部230からの指示に従って、外部装置30aとの間でデータ32を送受する。通信部202は、通信制御部230からの指示に従って、外部装置30bとの間でデータ34を送受する。また、通信部202は、通信制御部230からの指示に従って、外部装置30cとの間でデータ36を送受する。
【0054】
スループット測定部210は、外部装置30との間の通信スループットを測定する。なお、スループット測定部210は、通信部202から外部装置30へのアップロード方向の通信スループットを測定してよい。スループット測定部210は、外部装置30から通信部202へのダウンロード方向の通信スループットを測定してよい。
【0055】
通信状態予測部220は、スループット測定部210が測定した通信スループットを少なくとも用いて、将来の通信状態を予測する。例えば、通信状態予測部220は、将来の通信スループットを予測する。なお、通信状態としては、スループット、遅延、パケットロスなどが例示される。
【0056】
通信制御部230は、通信状態予測部220が予測した将来の通信状態に基づいて、外部装置30とのデータ通信を制御する。具体的には、通信制御部230は、通信部202を制御することにより、外部装置30とのデータ通信を制御する。例えば、通信制御部230は、将来の通信状態が予め定められた状態よりも劣化する場合に、優先度設定部250が設定した優先度が低いデータ通信について、優先度設定部250が設定した優先度が高いデータ通信と比較して、帯域幅又は通信スループットを制限する。
【0057】
また、将来の通信状態(例えば、将来の通信スループットである。)が予め定められた条件を満足する場合、通信制御部230は、車両50の速度が第1速度である場合におけるデータ36に関するデータ通信量が、車両50の速度が第2速度である場合におけるデータ36に関するデータ通信量よりも小さくなるように、外部装置30aとのデータ通信を制御する。なお、第2速度は、第1速度よりも低速であってよい。第2速度は、予め定められた閾値よりも小さな速度であってもよい。第2速度は、実質的に0であってもよい。予め定められた条件としては、将来の通信状態が予め定められた状態よりも劣化するという条件、将来の通信スループットが予め定められた値よりも小さいという条件などが例示される。
【0058】
これにより、車両50の車速が十分に低速である場合には、データ36のデータ通信に割り当てられる帯域幅又は通信スループットが比較的大きくなる。その結果、音声認識処理に関するユーザビリティが向上する。
【0059】
一実施形態において、車両50の車速が第2速度である場合、車両50の車速が第1速度である場合と比較して、制御系のデータのデータ通信量が小さくなる。上述されたとおり、第2速度は、第1速度よりも低速であり得る。
【0060】
例えば、情報処理装置200がナビ用の地図データをダウンロードする場合、車両50の車速が高速になるほど、より広い範囲の地図データが要求される。また、車両50の車速が高速になるほど、地図データの要求頻度が大きくなる。
【0061】
加えて、車両50が移動している場合、ビックデータの収集を目的として、様々なデータの収集及び送信が実行され得る。一方、車両50が停車している場合、当該データの収集及び送信が停止され得る。
【0062】
例えば、外部装置30bは、1以上の車両50からアップロードされたデータを利用して、各種の地図を生成する。地図の種類は特に限定されない。各地図においては、1以上の地点のそれぞれについて、各地点の位置を示す情報と、各地点における各種の情報とが対応付けて格納される。
【0063】
より具体的には、外部装置30bは、1以上の車両50のそれぞれから、1以上の車両50のそれぞれに搭載されたLiDAR(light detection and ranging)の測定結果を示す情報(LiDARデータと称される場合がある。)と、当該LiDARデータが取得された地点の位置を示す情報とが対応付けられた情報を取得する。外部装置30bは、1以上の車両50のそれぞれから、1以上の車両50のそれぞれに搭載されたカメラが撮像した画像の画像データと、当該画像が撮像された地点の位置を示す情報とが対応付けられた情報を取得してもよい。外部装置30bは、これらの情報を任意の記憶装置に格納する。外部装置30bは、これらの情報に対してクレンジング処理を実行し、クレンジング処理後のデータを任意の記憶装置に格納してもよい。これにより、例えば、外部装置30bは、道路、及び/又は、当該道路の近傍に配された建物の形状に関する地図を略リアルタイムに生成することができる。
【0064】
このように、LiDARデータ又は画像データが、車両50から外部装置30bにアップロードされる場合においても、車両50の車速が高速になるほど、データのアップロードの頻度を大きくすることが要求され得る。一方、車両50の車速が低速になるほど、データのアップロードの頻度は小さくてもよくなり、車両50が停車すると、当該データの収集及び送信が停止され得る。
【0065】
その結果、車両50の車速が第2速度である場合、車両50の車速が第1速度である場合と比較して、予め定められた長さを有する期間(単位期間と称される場合がある)において、情報処理装置200及び外部装置30bの間でデータ34が送受信されている時間が占める割合が小さくなる。一方、単位期間において、情報処理装置200及び外部装置30cの間でデータ36が送受信されている時間が占める割合が大きくなる。これにより、車両50の速度が第1速度である場合におけるデータ36に関するデータ通信量が、車両50の速度が第2速度である場合におけるデータ36に関するデータ通信量よりも小さくなり得る。
【0066】
他の実施形態において、データ通信の優先度が、車両50の車速により動的に変動するように設定される。当該実施形態によれば、例えば、車両50の車速が第2速度である場合、制御系のデータのうちの一部の優先度が、データ36の優先度よりも小さくなる。その結果、車両50の速度が第1速度である場合におけるデータ36に関するデータ通信量が、車両50の速度が第2速度である場合におけるデータ36に関するデータ通信量よりも小さくなり得る。
【0067】
通信判別部240は、外部装置30とのデータ通信の種別を判別する。優先度設定部250は、通信判別部240が判別した種別に基づいて、複数のデータ通信について通信の優先度を設定する。
【0068】
優先度設定部250は、通信判別部240が判別した種別及びデータ通信の品質に基づいて、複数のデータ通信について通信の優先度を設定する。優先度設定部250は、通信判別部240が判別した種別と、品質算出部260が算出したデータ通信の品質とに基づいて、複数のデータ通信について通信の優先度を設定してよい。
【0069】
品質算出部260は、通信状態予測部220が予測した通信スループットに基づいて、データ通信の品質を算出する。例えば、品質算出部260はマルチメディア品質(MMq)(例えば、ITU-T 勧告 G.1070に規定されるMMq)を算出してよい。なお、品質算出部260は、マルチメディア品質以外に、サービス品質を示す任意の指標を、データ通信の品質として算出してよい。
【0070】
本実施形態において、音声認識制御部276は、情報処理装置200による音声認識処理を制御する。例えば、音声認識制御部276は、情報処理装置200による音声認識処理を制御するための信号を制御装置24cに出力することで、機器25cによる音声認識処理を制御する。
【0071】
具体的には、音声認識制御部276は、通信状態予測部220が予測した将来の通信状態に基づいて、外部装置30cを利用して音声認識処理を実行するか否かを決定する。音声認識制御部276は、通信状態予測部220が予測した将来の通信状態に基づいて、将来の音声認識処理の状態を決定する。音声認識制御部276は、通信状態予測部220が予測した将来の通信状態に基づいて、将来の音声認識処理の状態をユーザに通知するか否かを決定する。音声認識制御部276は、これらの決定結果を示す信号を、制御装置24cに出力してよい。音声認識制御部276の詳細は後述される。
【0072】
なお、上述されたとおり、音声認識制御部276は、通信状態予測部220が将来の通信状態を予測することができた場合に、当該予測された将来の通信状態に基づいて、将来の特定の時期における音声認識処理の状態を決定してよい。また、音声認識制御部276は、将来の音声認識処理の状態をユーザに通知するか否かを決定してよい。一方、通信状態予測部220が将来の通信状態を予測することができなかった場合、音声認識制御部276、将来の通信状態を予測することができなかったこと、及び/又は、現在の通信状態を、ユーザに通知することを決定してよい。
【0073】
[情報処理装置200の各部における情報処理の概要]
通信制御部230は、将来の通信スループットが予め定められた閾値を下回る場合に、優先度設定部250が設定した優先度が低いデータ通信について、優先度設定部250が設定した優先度が高いデータ通信と比較して、通信スループットを制限する。これにより、優先度の高いデータを連続的に通信できる可能性を高めることができる。なお、通信制御部230は、将来の通信スループットが予め定められた閾値を一時的に下回った場合には、優先度が低いデータ通信について通信スループットを制限しなくてよい。例えば、通信制御部230は、将来の通信スループットが予め定められた閾値を下回る時間が予め定められた時間以下の場合には、優先度が低いデータ通信について通信スループットを制限しなくてよい。
【0074】
通信制御部230は、将来の通信スループットが予め定められた閾値を下回る時間が予め定められた時間を超えた場合に、優先度が低いデータ通信について通信スループットを制限してよい。予め定められた閾値は、可変値であってよい。通信制御部230は、外部装置30との間のデータ通信状況に基づいて閾値を定めてよい。例えば、通信制御部230は、外部装置30との間で行われているデータ通信において最低限のサービス品質を提供するために必要な通信スループットに基づいて、閾値を定めてよい。通信制御部230は、当該最低限のサービス品質を提供するために必要な通信スループットに予め定められた係数を乗じた値を、閾値として定めてよい。予め定められた係数は、1以上の任意の値であってよい。予め定められた係数は、1未満の任意の値であってよい。なお、予め定められた閾値は、可変値ではなく固定値であってよい。
【0075】
通信制御部230は、優先度設定部250が設定した優先度が低いデータ通信について、優先度設定部250が設定した優先度が高いデータ通信より比較して、データ通信を遅延させることにより、通信スループットを制限する。通信制御部230は、優先度が低いデータ通信で通信されるデータをバッファリングすることにより、データ通信を遅延させてよい。優先度の高いデータを遅延させないので、優先度の高いデータを連続的に通信できる可能性を高めることができる。なお、通信制御部230は、優先度が低いデータ通信のデータ量を低下させることによって、通信スループットを制限してもよい。通信制御部230は、優先度が低いデータ通信のビットレートを低下させることによって、通信スループットを制限してもよい。通信制御部230は、優先度が低いデータ通信によって送信されるデータが画像データである場合、送信する画像の画質を低下させることによって、通信スループットを制限してよい。
【0076】
通信状態予測部220は、通信制御部230が優先度が低いデータ通信を遅延させた遅延量を用いて、将来の通信状態(例えば、将来の通信スループットである。)を予測してよい。本実施形態によれば、通信状態予測部220が、遅延情報を考慮して将来の通信状態を予測する。これにより、将来の通信状態の予測精度が向上する。
【0077】
通信判別部240は、データ通信の種別として、車両50の制御に関するデータ通信であるか否かを判別する。優先度設定部250は、車両50の制御に関する予め定められたデータ通信の優先度を、他のデータ通信の優先度より高く設定する。これにより、車両50の制御に関するデータ通信を連続的に行うことができるので、車両50の走行の安全性を高めることができる。通信制御部230は、車両50の制御系に関するデータ通信の通信スループットとして車両50の制御系に関するデータ通信に基づくサービス提供を継続するために必要な予め定められた値を確保できない場合に、予め定められた他のデータ通信を停止してよい。なお、通信判別部240は、データ通信の種別として、車両50の制御に関するデータ通信であるか、マルチメディアのデータ通信であるかを判別してよい。優先度設定部250は、車両50の制御に関するデータ通信の優先度を、マルチメディアのデータ通信の優先度より高く設定してよい。
【0078】
通信制御部230は、優先度が低いデータ通信の通信スループットを、優先度が低いデータ通信に基づくサービス提供を継続するために必要な予め定められた値まで制限してよい。これにより、優先度が低いデータ通信についても、データ通信が完全に断絶してしまう可能性を低減することができる。
【0079】
通信状態予測部220は、スループット予測部の一例であってよい。音声認識制御部は、状態通知部の一例であってよい。表示部284は、状態通知部の一例であってよい。表示部284は、第1音声認識部及び第2音声認識部の一例であってよい。表示部284は、認識手段決定部の一例であってもよい。情報処理装置200及びその一部は、情報処理装置の一例であってよい。情報処理装置200の少なくとも一部、及び、制御装置24cが、情報処理装置の一例として機能してもよい。また、情報処理装置200の少なくとも一部、制御装置24c、及び、機器25cの少なくとも一部が、情報処理装置の一例として機能してもよい。
【0080】
[別実施形態の一例]
図2に関連して、本実施形態に関する車両50を構成する各機能ブロックの詳細が説明された。しかしながら、車両50は本実施形態に限定されない。他の実施形態において、車両50は、図2に示された機能ブロック以外の機能ブロックを備えてよい。また、車両50は、図2に示された機能ブロックの一部を備えなくてもよい。同様に、情報処理装置200は、図2に示された機能ブロック以外の機能ブロックを備えてよい。情報処理装置200は、制御装置24の少なくとも一部を備えてもよく、機器25の少なくとも一部を備えてもよい。また、情報処理装置200は、図2に示された機能ブロックの一部を備えなくてもよい。
【0081】
図3は、データ通信の優先度を示す表である。図3の表において、「カテゴリ」は、車両50の制御系であるか非制御系であるかを示す。「性質」は、データ通信が定常的であるか非定常的であるかを示す。「サービス」は、データ通信によって提供されるサービスの内容を示す。図3に示されるように、車両50の制御系のサービスに関するデータ通信は、非制御系のサービスに関するデータ通信より、優先度が高いものとする。また、定常的なデータ通信は、非定常的なデータ通信より、優先度が高いものとする。なお、図3に示す「カテゴリ」及び「性質」に加えて、サービス毎に優先度を設定できる。
【0082】
[別実施形態の一例]
本実施形態においては、データ通信の優先度が固定されている場合を例として、データ通信の優先度の一例が説明された。しかしながら、データ通信の優先度は、本実施形態に限定されない。
【0083】
他の実施形態において、データ通信の優先度は、動的に変動してもよい。例えば、データ通信の優先度は、車両50の車速により動的に変動する。例えば、情報処理装置200は、データ通信の優先度を示す複数のデータテーブルを格納し、当該データテーブルにより示される優先度に基づいて、データ通信を制御する。
【0084】
具体的には、情報処理装置200は、(i)車両50の車速が予め定められた閾値よりも小さい場合に用いられるデータテーブルと、(ii)車両50の車速が予め定められた閾値よりも大きい場合に用いられるデータテーブルとを格納する。情報処理装置200は、(i)車両50が停車している場合に用いられるデータテーブルと、(ii)車両50が停車しておらず、車両50の車速が予め定められた閾値よりも小さい場合に用いられるデータテーブルと、(iii)車両50の車速が予め定められた閾値よりも大きい場合に用いられるデータテーブルとを格納してもよい。
【0085】
また、本実施形態においては、非制御系に分類される全てのサービスに関するデータ通信の優先度が、制御系に分類される全てのサービスに関するデータ通信の優先度よりも低い場合を例として、データ通信の優先度の一例が説明された。しかしながら、データ通信の優先度は、本実施形態に限定されない。
【0086】
他の実施形態において、非制御系に分類される一部のサービスに関するデータ通信の優先度が、制御系に分類される一部のサービスに関するデータ通信の優先度よりも高くなるように、各サービスのデータ通信の優先度が設定されてもよい。例えば、特定の条件が成立する場合には、非制御系に分類される一部のサービスに関するデータ通信の優先度が、制御系に分類される一部のサービスに関するデータ通信の優先度よりも高くなるように、各サービスのデータ通信の優先度が設定される。
【0087】
具体的には、車両50の車速が予め定められた閾値よりも大きい場合、非制御系に分類される一部のサービスに関するデータ通信の優先度が、制御系に分類される一部のサービスに関するデータ通信の優先度よりも低くなるように、データ通信の優先度が設定される。一方、(i)車両50が停車している場合、又は、(ii)車両50の車速が予め定められた閾値よりも小さい場合、例えば、動画コンテンツ、音声コンテンツ、ゲームコンテンツ、SNSコンテンツ、Webコンテンツなどをダウンロードするためのデータ通信の優先度が、例えば、ナビ用地図データのうち、現在位置から特定の距離だけ離れた位置の地図データをダウンロードするためのデータ通信の優先度よりも高くなるように、データ通信の優先度が設定される。
【0088】
図4は、情報処理装置200が記憶するデータ通信情報のデータ構造の一例を示す。データ通信情報は、IPアドレスと、ポート番号と、優先度と、種別IDと、最低品質を対応づける。IPアドレスは、例えば制御装置24に割り当てられたIPアドレスである。ポート番号は、TCP/通信においてトランスポート層プロトコルで用いられるポート番号である。「優先度」は、IPアドレス及びポート番号の組み合わせによって識別されるデータ通信に割り当てられた優先度を示す。「種別ID」は、IPアドレス及びポート番号の組み合わせから定まる種別を示す。「最低品質」は、データ通信によるサービス提供を維持するために必要な最低のサービス品質を示す。最低品質の指標として、例えばMMqを用いることができる。
【0089】
本実施形態において、制御装置24から送信される通信パケットに含まれるIPアドレス及びポート番号の組み合わせによって、例えば図3に示したサービスのうちのいずれのサービスのデータ通信であるかが定まるものとする。通信制御部230は、通信パケットに含まれるIPアドレス及びポート番号の組み合わせとデータ通信情報とに基づいて、データ通信の優先度及び種別を特定する。なお、データ通信がデータ送信の場合、「IPアドレス」は送信元IPアドレスであり、「ポート番号」は送信元ポート番号である。
【0090】
図5は、通信制御部230が優先度に基づいて行う通信スループットの制御を概念的に示す。時刻txにおいて、制御系、インタラクティブコミュニケーション、及びWebブラウジングのデータ通信が行われていたとする。ここで、制御系のデータ通信は、非制御系のデータ通信(インタラクティブコミュニケーション及びWebブラウジング)より優先度が高い。また、非制御系のデータ通信のうち、インタラクティブコミュニケーションのデータ通信は、Webブラウジングのデータ通信より優先度が高いものとする。
【0091】
時刻txにおける通信スループットの合計値はThr1である。通信状態予測部220によって、時刻txからΔt後の通信スループットがThr2に低下することが予測されたとする。現在行われている各データ通信においてそれぞれ必要とされる最低限のサービス品質を提供するために必要な通信スループットの合計値がThr2を超えると判断された場合、通信制御部230は、制御系のデータ通信及びインタラクティブコミュニケーションのデータ通信のスループットを、それぞれ最低限のサービス品質を保証できる通信スループット値に制御する。また、通信制御部230は、Webブラウジングのデータ通信については一時的に停止させる。これにより、車両50の制御系に関するデータ通信を維持しつつ、全体の通信スループットが予測されたスループットを超えないようにすることができる。
【0092】
図6は、情報処理装置200の機能ブロック間のデータの流れを模式的に示す。本実施形態においては、説明を簡単にすることを目的として、通信状態予測部220が、将来の通信状態として、将来の通信スループットを予測する場合を例として、上記のデータの流れの詳細が説明される。
【0093】
通信制御部230は、制御装置24から送信される送信データを監視する。通信制御部230は、IPアドレス及びポート番号の組み合わせに基づいて、新たなサービスについてのデータ通信が開始されたか否かを判断する。新たな通信が開始された場合、通信制御部230は、IPアドレス及びポート番号を含む通信情報を通信判別部240に通知する。通信制御部230は、スループット測定部210のリクエストに応じて、外部装置30との間の通信データ量を示す情報をスループット測定部210に送信する。
【0094】
通信判別部240は、通信情報に基づいて、データ通信の種別を判別する。例えば通信判別部240は、IPアドレス及びポート番号に基づいて、データ通信の種別を判別する。通信判別部240は、図4に示すデータ通信情報に基づいて、データ通信の種別を判別する。通信判別部240は、データ通信の種別を含む制御対象情報を、スループット測定部210及び優先度設定部250に通知する。
【0095】
スループット測定部210は、通信部202と外部装置30との間の通信スループットを測定する。スループット測定部210は、通信制御部230から通知された通信データ量に基づいて、現在の通信スループットを算出する。スループット測定部210は、制御対象情報毎に通信スループットを測定してよい。スループット測定部210は、合計の通信スループットを測定してよい。スループット測定部210は、測定した制御対象の通信スループットを、優先度設定部250及び通信状態予測部220に通知する。
【0096】
通信状態予測部220は、スループット測定部210により測定された通信スループットに基づいて、将来の通信スループットを予測する。例えば、通信状態予測部220は、通信スループットの時系列データに基づいて、時系列データの予測モデルを同定する。同定する予測モデルは、過去の時系列データから未来の時系列データを予測できるモデルであれば、いかなるモデルであってよい。例えば、同定する予測モデルとしては、ARモデル(AutoRegressive Model)等の時系列モデルや、Vasicekモデル等の確率微分方程式モデル等を例示することができる。一例として、Vasicekモデルを用いる場合、Vasicekモデルの確率微分方程式の一般解と、時系列データとを用いて、最尤推定法等の手法を用いて、Vasicekモデルの確率微分方程式の一般解のモデルパラメータを同定してよい。通信状態予測部220は、同定した予測モデルに基づいて、将来の通信スループットの時系列データの確率分布を算出する。通信状態予測部220は、将来の通信スループットの時系列データの確率分布に基づいて、将来の通信スループットを予測してよい。なお、通信状態予測部220は、上記特許文献1及び上記特許文献2に記載されている手法を用いて、将来の通信スループットの時系列データの確率分布を算出してよい。上記特許文献1及び上記特許文献2に記載されているように、TCP通信等の通信プロトコルの通信開始後の過渡特性をモデル化した通信モデルに基づいて算出した補正率を用いて、過渡特性の影響を除去するよう時系列データを補正し、補正した時系列データに基づいて、時系列データの予測モデルを同定してもよい。
【0097】
通信状態予測部220は、外部装置30からフィードバックされる通信状態に基づいて、通信スループットを予測してよい。通信状態予測部220は、通信スループットの制御対象毎に、将来の通信スループットを予測してよい。外部装置30からフィードバックされる通信状態としては、ネットワークの転送遅延及びパケットロス率等を例示することができる。通信状態予測部220は、予測した将来の通信スループットを優先度設定部250に通知する。通信状態予測部220は、後述するように優先度設定部250において設定された遅延情報に基づいて、将来の通信スループットを算出してよい。
【0098】
通信状態予測部220は、予め通信状態が不良となる可能性が高い1以上の領域のそれぞれの位置を示すマップ情報を利用して、将来の通信状態を予測してもよい。マップ情報は、1以上の領域のそれぞれについて、当該領域の位置を示す情報と、当該位置又は領域における通信状態を示す情報とを対応付けて格納してもよい。
【0099】
一実施形態において、通信状態予測部220は、車両50又は情報処理装置200に配された自己位置推定装置(図示されていない。)から、車両50の自己位置を示す情報を取得する。通信状態予測部220は、車両50の自己位置を示す情報により示される車両50の移動履歴に基づいて、車両50の将来の位置又は領域を予測する。通信状態予測部220は、上記の予測結果と、上記のマップ情報とを照合することで、将来の通信状態を予測することができる。
【0100】
他の実施形態において、通信状態予測部220は、車両50又は情報処理装置200に配された経路探索装置(図示されていない。)から、車両50の移動経路を示す情報を取得する。また、通信状態予測部220は、車両50又は情報処理装置200に配された自己位置推定装置(図示されていない。)から、車両50の自己位置を示す情報を取得する。通信状態予測部220は、車両50の自己位置を示す情報と、車両50の移動経路を示す情報とに基づいて、車両50の将来の位置又は領域を予測する。通信状態予測部220は、上記の予測結果と、上記のマップ情報とを照合することで、将来の通信状態を予測することができる。
【0101】
優先度設定部250は、データ通信のそれぞれに対する優先度を設定して、データ通信のそれぞれの通信スループットを決定する。優先度設定部250は、通信判別部240から通知されたデータ通信の種別毎の制御対象情報、通信判別部240から通知された制御対象のデータ通信の種別、及び通信状態予測部220から通知された予測される通信スループットに基づいて、データ通信の種別毎の優先度を設定し、優先度に応じて通信スループットを設定する。優先度設定部250は、設定した通信スループットが得られるようなデータ通信の遅延量を設定してよい。優先度設定部250は、設定したデータ通信の遅延量を、通信状態予測部220に通知してよい。
【0102】
なお、品質算出部260は、将来の通信スループットに基づいて、サービス品質の指標値を算出してよい。通信品質の指標値は、MMqであってよい。優先度設定部250は、品質算出部260が算出したサービス品質に基づいて、通信スループットを算出してよい。例えば、優先度設定部250は、予め定められた通信品質の指標値と通信スループットとを対応づける対応付け情報を参照して、品質算出部260が算出した通信品質以下の指標値に対応づけられた通信スループットを選択してよい。優先度設定部250は、優先度が予め定められた値より高いデータ通信について、最低品質以上のサービス品質に対応する通信スループットを設定するとともに、優先度が予め定められた値より低いデータ通信について、最低品質のサービス品質に対応する通信スループットを設定することによって、将来の通信スループットに適応させてよい。
【0103】
優先度設定部250は、設定した通信スループットを通信制御部230に通知する。通信制御部230は、優先度設定部250から通知されたデータ通信の種別毎の通信スループットに従って、データ通信の種別毎に送信データを遅延させる。また、優先度設定部250は、設定した通信スループットに対応する単位時間あたりの入力通信データ量を、制御装置24に通知する。制御装置24は、優先度設定部250から通知された入力通信データ量に従って、データ通信の種別毎に送信データの送信を制限する。例えば、制御装置24は、ポート番号で定まるサービス毎に、外部装置30へと送信するデータ量を制限する。これにより、データ通信の優先度に応じて通信スループットを適切に制限することができる。
【0104】
図7は、情報処理装置200が実行する情報処理方法に関するフローチャートを示す。本フローチャートの処理は、通信制御部230によって外部装置30との間の通信の発生を検知した場合に開始される。
【0105】
S702において、通信判別部240は、発生したデータ通信の種別を特定する。例えば、通信判別部240は、IPアドレス及びポート番号に基づいて、発生したデータ通信の種別を特定する。S704において、通信判別部240は、発生したデータ通信が通信スループットの制御対象であるか否かを判断する。発生したデータ通信が通信スループットの制御対象でない場合、S720において、通信制御部230は、発生したデータ通信の制御方式としてベストエフォート型の制御方式を決定して、S714に処理を進める。発生したデータ通信が通信スループットの制御対象である場合、S706において、スループット測定部210は、制御対象の通信スループットを測定する。S708において、スループット測定部210は、通信が発生中であるか否かを判断する。
【0106】
S708において通信が発生中でないと判断した場合、S716において、スループット測定部210は、通信が発生していない時間をカウントして、S714に処理を進める。例えば、スループット測定部210は、通信が発生していないと判断したタイミングからの経過時間をカウントする。S708において通信が発生中と判断した場合、通信状態予測部220は、通信スループットの制御対象の将来のスループットを予測する(S710)。S712において、通信制御部230は、通信スループットの制御を行って、S714に処理を進める。なお、S712の処理については、図8等に関連して説明される。
【0107】
S714において、通信制御部230は、データ通信を継続するか否かを判断する。通信制御部230は、スループット測定部210においてカウントされた通信が発生していない時間が予め定められた値を超えた場合に、データ通信を継続しないとを判断する。また、通信制御部230は、通信を切断する旨の情報を制御装置24から受け取った場合に、データ通信を継続しないと判断する。S714においてデータ通信を継続すると判断した場合、S706に処理を進める。S714においてデータ通信を継続しないと判断した場合、データ通信を終了する。
【0108】
図8は、情報処理装置200が実行する通信スループットの制御方法に関するフローチャートを示す。本フローチャートの処理は、S712の処理に適用できる。
【0109】
S802において、優先度設定部250は、通信スループットの制御対象となるデータ通信について、最低限のサービス品質を確保するために必要な通信スループット(最低スループット)を特定する。例えば、優先度設定部250は、データ通信情報の品質情報に基づいて、通信スループットの制御対象となるデータ通信について最低スループットを特定する。
【0110】
S804において、優先度設定部250は、通信状態予測部220が予測した将来の通信スループットに基づいて、データ通信を行うことができるか否かを判断する。優先度設定部250は、品質算出部260が算出した予測されるサービス品質が、データ通信情報で定められた最低品質以上であるか否かを判断する。データ通信を行うことができる場合、本フローチャートの処理を終了する。
【0111】
データ通信を実行できると判断した場合、S806において、優先度設定部250は、優先度の低いデータ通信の通信スループットを制限することによってデータ通信が実行可能になるか否かを判断する。優先度の低いデータ通信の通信スループットを制限することによってデータ通信が実行可能になると判断した場合、S808において優先度に基づいて通信スループットの制御対象のデータ通信及び通信スループットを決定する。S810において、通信制御部230は、制御対象のデータ通信の通信スループットを制限する。S812において、優先度設定部250は、制御対象のデータ通信を行う制御装置24に、入力通信データ量を指示する。S814において、通信制御部230は、データ通信の通信スループットを最低スループットに向けて段階的に上昇させて、本フローチャートの処理を終了する。
【0112】
S806において、通信スループットを制限することによってもデータ通信が実行可能にならないと判断した場合、S820において、優先度設定部250は、現在データ通信が発生している非制御系のデータ通信の中から、優先度に基づいて、中断させるデータ通信を選択する。例えば優先度設定部250は、優先度が低い順に、中断させるデータ通信を選択する。S822において、優先度設定部250は、選択したデータ通信を行う制御装置24に、選択したデータ通信の中断を指示する。S284において、制御装置24は、データ通信を一時的に中断することをユーザインタフェースを通じて車両50の乗員に通知し、S806に処理を移行する。
【0113】
図9及び図10を用いて、制御システムの実装例の詳細が説明される。図9は、車両50の制御システム1000の実装例を示す。図10は、情報系機器1041の内部構成の一例を概略的に示す。
【0114】
図9に示されるとおり、本実施形態において、制御システム1000は、コアECU1010を備える。本実施形態において、制御システム1000は、TCU1020と、AD/ADAS ECU1021と、情報系ECU1022と、エリアECU1023と、エリアECU1024とを備える。
【0115】
本実施形態において、制御システム1000は、駆動系機器1030と、快適系機器1031と、アラーム系機器1032と、視界系機器1033と、先進安全系機器1034と、防盗系機器1035と、灯体系機器1036と、ドア系機器1037と、ドライブポジション系機器1038と、開閉系機器1039と、センサ機器1040と、情報系機器1041とを備える。本実施形態において、制御システム1000は、通信ネットワーク1080と、通信ネットワーク1081と、通信ネットワーク1082と、通信ネットワーク1084と、通信ネットワーク1085とを備える。
【0116】
駆動系機器1030としては、電動パーキングブレーキ(EPB)、電動パワーステアリングシステム(EPS)、車両挙動安定化制御システム(VSA)、シフター(SHIFTER)、パワー・ドライブ・ユニット(PDU)、インテリジェントパワーユニット(IPU)、及び燃料噴射装置(FI)などが例示される。センサ機器1040としては、カメラ、レータ及びLIDARを含むセンサなどが例示される。情報系機器1041としては、情報通信機器、マルチメディア関連機器、ユーザインタフェース機器などが例示される。
【0117】
図10に示されるとおり、本実施形態において、情報系機器1041は、メータ機器1052と、チューナ1053と、プレーヤ1054と、狭域通信システム1055と、無線充電器1056と、USBポート1057と、マイク1062と、スピーカ1064と、ディスプレイ機器1070とを備える。本実施形態において、ディスプレイ機器1070は、ディスプレイ1072と、音声認識システム1074とを有する。
【0118】
コアECU1010は、車両50の全体を制御する。コアECU1010は、TCU1020と、AD/ADAS ECU1021と、情報系ECU1022と、エリアECU1023と、エリアECU1024とを制御することで、車両50の全体を制御する。
【0119】
TCU1020はテレマティクス制御ユニットである。AD/ADAS ECU1021は、自動運転(AD)、先進運転支援システム(ADAS)に関する制御を行うECUである。AD/ADAS ECU1021は、バスを通じてセンサ機器1040が備える各センサに接続され、センサ機器1040が備える各センサを制御するとともに、各センサが検出した情報を取得する。情報系ECU1022は、バスを通じて情報系機器1041が備える各機器に接続され、情報系機器1041が備える各機器を制御する。
【0120】
エリアECU1023は、バスを通じて駆動系機器1030が備える各機器に接続され、駆動系機器1030が備える各機器を制御する。エリアECU1024は、バスを通じて、快適系機器1031、アラーム系機器1032、視界系機器1033、先進安全系機器1034、防盗系機器1035、灯体系機器1036、ドア系機器1037、ドライブポジション系機器1038、及び開閉系機器1039と接続され、快適系機器1031、アラーム系機器1032、視界系機器1033、先進安全系機器1034、防盗系機器1035、灯体系機器1036、ドア系機器1037、ドライブポジション系機器1038、及び開閉系機器1039が備える機器を制御する。
【0121】
ディスプレイ機器1070は、ディスプレイ1072に画像を表示する。ディスプレイ機器1070は、データ32を実行してコンテンツ画像を生成し、当該コンテンツ画像を、ディスプレイ1072に表示してよい。将来における通信不良が予測される場合、ディスプレイ機器1070は、コンテンツ画像に代えて、差替画像を、ディスプレイ1072に表示してよい。ディスプレイ機器1070は、ディスプレイ1072に、将来における通信不良の可能性を示す情報を表示してもよい。ディスプレイ機器1070は、表示部284の一例であってよい。
【0122】
音声認識システム1074は、音声認識処理を実行する。例えば、音声認識システム1074は、ユーザの音声を解析して、ユーザからのコマンド又は命令の内容を推定する。音声認識システム1074は、当該解析結果に基づいて、コマンド又は命令を実行する。なお、ディスプレイ機器1070は、音声認識システム1074に代えて、又は、音声認識システム1074とともに、タッチパネル、ポインティングデバイス、スイッチなどの入力装置を備えてもよい。
【0123】
通信ネットワーク1080、通信ネットワーク1081、通信ネットワーク1082、通信ネットワーク1084、及び通信ネットワーク1085は、車両内ネットワーク29の一実装例である。通信ネットワーク1080、通信ネットワーク1081、通信ネットワーク1082、通信ネットワーク1084及び通信ネットワーク1085は、イーサネット(登録商標)のネットワークを備えてよい。TCU1020、コアECU1010、AD/ADAS ECU1021、情報系ECU1022、エリアECU1023、及びエリアECU1024は、通信ネットワーク1080、通信ネットワーク1081、通信ネットワーク1082、通信ネットワーク1084及び通信ネットワーク1085を介してIP通信可能であってよい。なお、通信ネットワーク1084及び通信ネットワーク1085は、CANを備えてよい。
【0124】
TCU1020は、上述した情報処理装置200の一例であってよい。なお、TCU1020及びコアECU1010が協働して、上述した情報処理装置200として機能してもよい。AD/ADAS ECU1021、情報系ECU1022、エリアECU1023、及びエリアECU1024は、それぞれ上述した制御装置24の一例であってよい。
【0125】
駆動系機器1030、センサ機器1040、快適系機器1031、アラーム系機器1032、視界系機器1033、先進安全系機器1034、防盗系機器1035、灯体系機器1036、ドア系機器1037、ドライブポジション系機器1038、及び開閉系機器1039は、車両50の制御系の機器の一例であってよい。情報系機器1041は非制御系の機器の一例であってよい。
【0126】
センサ機器1040、駆動系機器1030、快適系機器1031、アラーム系機器1032、視界系機器1033、先進安全系機器1034、防盗系機器1035、灯体系機器1036、ドア系機器1037、ドライブポジション系機器1038、及び開閉系機器1039が含む機器に関するデータ通信は、情報系機器1041が含む機器に関するデータ通信と比べて、優先度が低くてよい。
【0127】
なお、快適系機器1031、アラーム系機器1032、視界系機器1033、先進安全系機器1034、防盗系機器1035、灯体系機器1036、ドア系機器1037、ドライブポジション系機器1038、及び開閉系機器1039は、車両50の補機を含んでよい。快適系機器1031、アラーム系機器1032、視界系機器1033、先進安全系機器1034、防盗系機器1035、灯体系機器1036、ドア系機器1037、ドライブポジション系機器1038、及び開閉系機器1039は、車両50の補機の一例であってもよい。
【0128】
車両50の補機に関するデータ通信の優先度は、他の機器に関するデータ通信の優先度よりも低く設定されていてもよい。車両50の補機のうち、先進安全系機器1034に含まれる補機以外の補機に関するデータ通信の優先度は、他の機器に関するデータ通信の優先度よりも低く設定されていてもよい。先進安全系機器1034に含まれる補機に関するデータ通信の優先度は、快適系機器1031、アラーム系機器1032、視界系機器1033、防盗系機器1035、灯体系機器1036、ドア系機器1037、ドライブポジション系機器1038、及び、開閉系機器1039に含まれる補機に関するデータ通信の優先度よりも高く設定されていてもよい。
【0129】
上述されたとおり、車両50は、移動体の一例である。移動体としては、乗用車やバス等の自動車、鞍乗型車両、航空機、船舶等の輸送機器を含む。移動体は、輸送機器に限らず、移動可能な任意の機器であってよい。
【0130】
以上に説明したように、情報処理装置200及び情報処理装置200の一実装例によれば、優先度の低いデータ通信を制限することによって、優先度の高いデータ通信を継続することができる可能性を高めることができる。一般に、移動体に搭載される機器において複数のデータ通信が行われる場合、通信速度(通信帯域ともいう)の中で通信する必要がある。しかし、複数のデータ通信の全てにおいて適切な通信速度が常に得られるとは限らない。例えば通信環境が悪化することによって通信速度が低下した場合に、優先度が高いデータ通信が制限されてしまう場合があるという課題がある。これに対し、上述した情報処理装置200によれば、このような課題を軽減することができる。
【0131】
コアECU1010は、情報処理装置の一例であってよい。コアECU1010は、状態通知部の一例であってよい。TCU1020は、情報処理装置の一例であってよい。TCU1020は、スループット測定部の一例であってよい。TCU1020は、通信状態予測部の一例であってよい。TCU1020は、状態通知部の一例であってよい。制御装置24cは、態通知部の一例であってよい。機器25cは、状態通知部の一例であってよい。スピーカ1064は、状態通知部の一例であってよい。ディスプレイ機器1070は、通知部の一例であってよい。
【0132】
図11は、音声認識制御部276の内部構成の一例を概略的に示す。本実施形態において、音声認識制御部276は、トリガ検出部1122と、状態通知部1124とを備える。
【0133】
本実施形態において、トリガ検出部1122は、ユーザが音声認識処理の開始を希望していることを示すトリガ情報を検出する。上述されたとおり、トリガ情報としては、WakeUpキーワードが発話されたこと、音声認識処理の開始ボタンが押下されたこと、音声認識処理の開始コマンドが埋め込まれたアイコンが選択されたことなどが例示される。
【0134】
一実施形態において、音声認識制御部276は、マイク1062を介してユーザの音声データを取得し、当該音声データを解析して、トリガ情報を検出する。他の実施形態において、音声認識制御部276は、音声認識システム1074から、トリガ情報が検出されたことを示す信号を受信してもよい。
【0135】
本実施形態において、状態通知部1124は、前記トリガ検出部が前記トリガ情報を検出した場合に、通信状態予測部220が予測した将来の通信状態に基づいて、音声認識処理の状態をユーザに通知するか否かを決定する。状態通知部1124が、音声認識処理の状態をユーザに通知することを決定した場合、状態通知部1124は、音声認識処理の状態をユーザに通知することを示す信号を、制御装置24cに出力してよい。
【0136】
これにより、通信状態予測部220が予測した将来の通信状態に基づいて、音声認識処理の状態がユーザに通知される。なお、状態通知部1124が、音声認識処理の状態をユーザに通知しないことを決定した場合、状態通知部1124は、音声認識処理の状態をユーザに通知することを示す信号を、制御装置24cに出力しなくてもよく、音声認識処理の状態をユーザに通知しないことを示す信号を、制御装置24cに出力してもよい。
【0137】
状態通知部1124は、通信状態予測部220が予測した将来の通信状態に基づいて、外部装置30cにより提供される音声認識機能を利用した音声認識処理(オンライン音声認識機能と称される場合がある。)が可能になる時期を決定してよい。状態通知部1124は、外部装置30cにより提供される音声認識機能を利用した音声認識処理が可能になる時期を、音声認識処理の状態としてユーザに通知することを決定してもよい。状態通知部1124は、上記の決定結果を示す信号を制御装置24cに出力してよい。
【0138】
上述されたとおり、例えば、車両50の通信環境によっては、通信状態予測部220が将来の通信状態を予測することができない場合もあり得る。そこで、状態通知部1124は、通信状態予測部220が将来の通信状態を予測することができた場合に、上述された各種の決定処理及び信号出力処理を実行してよい。一方、通信状態予測部220が将来の通信状態を予測することができなかった場合、状態通知部1124は、(i)通信状態予測部220が将来の通信状態を予測することができなかったこと、及び/又は、(ii)現在の通信状態をユーザに通知することを決定してよい。また、状態通知部1124は、上記の決定結果を示す信号を制御装置24cに出力してよい。
【0139】
(i)通信状態予測部220が将来の通信状態が予め定められた第1状態よりも劣化することを予測した場合、又は、(ii)現在の通信状態が予め定められた第2状態よりも劣る場合、状態通知部1124は、外部装置30cにより提供される音声認識機能を利用せずに音声認識処理が実行されることを、音声認識処理の状態としてユーザに通知することを決定してもよい。第1状態及び第2状態は、実質的に同一の状態であってもよく、異なる状態であってもよい。第1状態は、第2状態よりも通信状態が良好な状態であってもよく、第2状態よりも通信状態が不良な状態であってもよい。
【0140】
第2状態は、例えば、(i)通信状態予測部220が将来の通信状態を予測することができない頻度若しくは確率、又は、(ii)通信状態予測部220による将来の通信状態の予測精度に基づいて決定される。一実施形態において、通信状態予測部220が将来の通信状態を予測することができない頻度若しくは確率が予め定められた値よりも大きくなるような通信状態が、第2状態における通信状態として定義され得る。他の実施形態において、通信状態予測部220による将来の通信状態の予測精度が予め定められた値よりも小さくなるような通信状態が、第2状態における通信状態として定義され得る。
【0141】
例えば、音声認識システム1074がオフラインで音声認識を実行する機能(オフライン音声認識機能と称される場合がある。)を有する場合、状態通知部1124は、オフライン音声認識機能を利用して音声認識処理が実行されることを、音声認識処理の状態としてユーザに通知することを決定する。状態通知部1124は、上記の決定結果を示す信号を制御装置24cに出力してよい。
【0142】
(i)通信状態予測部220が将来の通信状態が予め定められた第1状態よりも劣化することを予測した場合、又は、(ii)現在の通信状態が予め定められた第2状態よりも劣る場合、状態通知部1124は、オフライン音声認識機能を用いて利用可能な1以上のコマンドの少なくとも一部を、音声認識処理の状態としてユーザに通知することを決定してもよい。状態通知部1124は、上記の決定結果を示す信号を制御装置24cに出力してよい。
【0143】
(i)通信状態予測部220が、将来の通信状態が予め定められた第1状態よりも劣化することを予測した場合、又は、(ii)現在の通信状態が予め定められた第2状態よりも劣る場合において、(i)音声認識システム1074がオフライン音声認識機能を有しないとき、又は、(ii)ユーザがオフライン音声認識機能を用いて利用不能なコマンドの入力を指示したとき、状態通知部1124は、(i)ユーザによるコマンドの入力が受け付けられないことと、(ii)第1音声認識機能を利用した音声認識処理が可能になる時期とを、音声認識処理の状態としてユーザに通知することを決定してもよい。状態通知部1124は、上記の決定結果を示す信号を制御装置24cに出力してよい。
【0144】
図12は、音声認識システム1074の内部構成の一例を概略的に示す。本実施形態において、音声認識システム1074は、第1音声認識部1222と、第2音声認識部1224と、認識手段決定部1226と、応答部1228とを備える。
【0145】
本実施形態において、第1音声認識部1222は、外部装置30cが提供する音声認識機能を利用して音声認識処理を実行する。第1音声認識部1222は、上述されたオンライン音声認識機能を提供する。
【0146】
本実施形態において、第2音声認識部1224は、外部装置30cが提供する音声認識機能を利用せずに音声認識処理を実行する。第2音声認識部1224は、上述されたオフライン音声認識機能を提供する。
【0147】
本実施形態において、認識手段決定部1226は、通信状態予測部220が予測した将来の通信状態に基づいて、第1音声認識部1222及び第2音声認識部1224の何れを用いて音声認識処理を実行するかを決定する。認識手段決定部1226は、現在の通信状態に基づいて、第1音声認識部1222及び第2音声認識部1224の何れを用いて音声認識処理を実行するかを決定してもよい。上述されたとおり、現在の通信状態は、例えば、スループット測定部210により測定される。
【0148】
例えば、(i)通信状態予測部220が将来の通信状態が予め定められた第1状態よりも劣化することを予測した場合、又は、(ii)現在の通信状態が予め定められた第2状態よりも劣る場合、認識手段決定部1226は、第2音声認識部1224を用いて音声認識処理を実行することを決定する。第1状態及び第2状態は、実質的に同一の状態であってもよく、異なる状態であってもよい。第1状態は、第2状態よりも通信状態が良好な状態であってもよく、第2状態よりも通信状態が不良な状態であってもよい。
【0149】
通信状態予測部220が将来の通信状態が予め定められた第1状態よりも劣化しないことを予測した場合、認識手段決定部1226は、第1音声認識部1222を用いて音声認識処理を実行することを決定してよい。通信状態予測部220が将来の通信状態が予め定められた第1状態よりも良好であることを予測した場合、認識手段決定部1226は、第1音声認識部1222を用いて音声認識処理を実行することを決定してもよい。
【0150】
認識手段決定部1226が、第2音声認識部1224を用いて音声認識処理を実行することを決定した場合において、その後、通信状態が回復したとき、及び/又は、通信状態が回復する見込みが立ったとき、認識手段決定部1226は、第2音声認識部1224による音声認識処理に加えて、第1音声認識部1222による音声認識処理を実行するか否かを決定してもよい。第2音声認識部1224による音声認識処理では取得できなかった情報、第2音声認識部1224による音声認識処理では対応することができなかったコマンド又は命令がある場合、認識手段決定部1226は、第1音声認識部1222による音声認識処理を実行することを決定してもよい。
【0151】
本実施形態において、応答部1228は、ユーザの発話又は指示に対して応答する。例えば、応答部1228は、第1音声認識部1222及び第2音声認識部1224の少なくとも一方から、音声認識処理の結果を示す情報を取得する。これにより、応答部1228は、ユーザにより指示されたコマンド又は命令を示す情報を取得することができる。応答部1228は、上記のコマンド又は命令を実行する。応答部1228は、コマンド又は命令の実行結果を示す情報を、ユーザに通知してよい。
【0152】
一実施形態において、応答部1228は、上記の実行結果を示す情報をディスプレイ1072に出力することで、当該情報をユーザに通知する。他の実施形態において、応答部1228は、上記の実行結果を示す情報を1064から出力することで、当該情報をユーザに通知する。
【0153】
応答部1228は、状態通知部の一例であってよい。
【0154】
図13は、車両50による情報処理の一例を概略的に示す。本実施形態によれば、まず、ステップ1322(ステップがSと略される場合がある。)において、通信状態予測部220が、将来の通信状態を予測する。本実施形態においては、説明を簡単にすることを目的として、通信状態予測部220が、将来の通信状態として、将来の通信スループット(将来スループットと称される場合がある。)を予測する場合を例として、車両50による情報処理の一例が説明される。
【0155】
次に、S1324において、情報処理装置200が音声認識処理を開始するか否かが決定される。例えば、トリガ検出部1122がトリガ情報を検出した場合、情報処理装置200が音声認識処理を開始することが決定される。一方、トリガ検出部1122がトリガ情報を検出していない場合、情報処理装置200が音声認識処理を開始しないことが決定される。
【0156】
情報処理装置200が音声認識処理を開始しないことが決定された場合(S1324のNoの場合)、S1322の処理が繰り返される。一方、情報処理装置200が音声認識処理を開始することが決定された場合(S1324のYesの場合)、S1330において、将来スループットの品質が良好か否かが判定される。例えば、優先度設定部250が、通信状態予測部220の予測結果に基づいて、将来スループットの品質が良好か否かを判定する。
【0157】
S1330において、将来スループットの品質が良好でないと判定された場合(S1330のNoの場合)、S1332において、優先度設定部250が、音声認識処理に関するデータ通信の優先度を決定する。これにより、音声認識処理に関するデータ通信(すなわち、データ36に関するデータ通信である。)に割り当てられる帯域幅、音声認識処理に関するデータ通信の通信スループットなどが決定される。
【0158】
次に、S1334において、状態通知部1124が、音声認識システム1074の音声処理の状態を決定する。例えば、状態通知部1124は、S1332により決定された音声認識処理に関するデータ通信の優先度などに基づいて、オンライン音声認識機能の利用の可否を決定する。状態通知部1124は、上記の音声認識処理に関するデータ通信の優先度などに基づいて、オンライン音声認識機能を利用した場合の応答時間を推測してもよい。これにより、音声認識システム1074の音声処理の状態が決定される。また、状態通知部1124は、音声認識システム1074の音声処理の状態をユーザに通知することを決定する。
【0159】
状態通知部1124は、音声認識システム1074の音声処理の状態をユーザに通知する方法を決定してもよい。上記の通知方法としては、スピーカ1064からの音声の出力、ディスプレイ1072へのメッセージ又はアイコンの出力などが例示される。
【0160】
次に、S1336において、ユーザの発話が検出されたか否かが判定される。例えば、音声認識システム1074が、マイク1062により集音されたユーザの音声を解析して、ユーザの発話の検出処理を実行する。ユーザの発話が検出されなかった場合(S1336のNoの場合)、処理が終了する。一方、S1336において、ユーザの発話が検出された場合、S1340において、オンライン音声認識処理が実行される。具体的には、認識手段決定部1226が、第1音声認識部1222を用いて音声認識処理を実行することを決定する。また、第1音声認識部1222が、外部装置30cが提供する音声認識機能を利用して、音声認識処理を実行する。音声認識処理が終了すると、処理が終了する。
【0161】
一方、S1330において、将来スループットの品質が良好であると判定された場合(S1330のYesの場合)、S1340において、上述された手順により、オンライン音声認識処理が実行される。音声認識処理が終了すると、処理が終了する。
【0162】
図14は、車両50による情報処理の一例を概略的に示す。本実施形態によれば、まず、図13に関連して説明された手順と同様の手順により、S1322、S1324及びS1330が実行される。
【0163】
S1330において、将来スループットの品質が不良であると判定された場合(S1330のNoの場合)、S1434において、状態通知部1124が、音声認識システム1074の音声処理の状態を決定する。例えば、状態通知部1124は、S1332により決定された音声認識処理に関するデータ通信の優先度などに基づいて、オンライン音声認識機能の利用の可否を決定する。状態通知部1124は、上記の音声認識処理に関するデータ通信の優先度などに基づいて、オンライン音声認識機能を利用した場合の応答時間を推測してもよい。これにより、音声認識システム1074の音声処理の状態が決定される。
【0164】
また、状態通知部1124は、音声認識システム1074の音声処理の状態をユーザに通知することを決定する。本実施形態によれば、将来スループットの品質が不良であるので、音声認識システム1074はオンライン音声認識機能を利用することができず、音声認識システム1074はオフライン音声認識機能を利用してユーザに応答することが通知される。
【0165】
次に、S1436において、(i)ユーザの発話が検出されたか否か、及び、(ii)ユーザの終了指示が受け付けられたか否かが判定される。例えば、音声認識システム1074が、マイク1062により集音されたユーザの音声を解析して、ユーザの発話の検出処理を実行する。ユーザの発話が検出されなかった場合(S1436のNoの場合)、処理が終了する。例えば、ユーザは、タッチパネル、スイッチなどを操作して、音声認識処理を終了させるための指示を入力することができる。ユーザは、音声により上記の指示を入力してもよい。音声認識処理を終了させるための指示が受け付けられた場合(S1436のNoの場合)、処理が終了する。
【0166】
一方、S1436において、ユーザの発話が検出された場合、S1440において、例えば、認識手段決定部1226が、ユーザの指示に対して、オフライン音声機能を利用して(オフラインモードと称される場合がある)当該指示に対応することができるか否かを判定する。オフラインモードにより対応することができる場合(S1440のYesの場合)、S1452において、オフライン音声認識処理が実行される。具体的には、認識手段決定部1226が、第2音声認識部1224を用いて音声認識処理を実行することを決定する。また、第2音声認識部1224が、外部装置30cが提供する音声認識機能を利用せずに、音声認識処理を実行する。
【0167】
また、S1454において、通信状態が回復したか否かが判定される。通信状態が回復したと判定されなかった場合(S1454のNoの場合)、S1454の処理が繰り返される。一方、S1454において、通信状態が回復したと判定された場合(S1454のYesの場合)、S1456において、認識手段決定部1226が、オンライン音声認識処理を実行して、追加の情報(付加情報と称される場合がある)を取得したり、追加のコマンド又は命令を実行したりするか否かを決定する。認識手段決定部1226がオンライン音声認識処理を実行することを決定した場合、S1470において、オンライン音声処理が実行される。
【0168】
S1470において、具体的には、認識手段決定部1226が、第1音声認識部1222を用いて音声認識処理を実行することを決定する。また、第1音声認識部1222が、外部装置30cが提供する音声認識機能を利用して、音声認識処理を実行する。音声認識処理が終了すると、処理が終了する。
【0169】
一方、S1440において、オフラインモードにより対応することができない場合(S1440のNoの場合)、S1462において、状態通知部1124が、音声認識システム1074の音声処理の状態をユーザに通知することを決定する。例えば、状態通知部1124は、ユーザにより指示されたコマンド又は命令は、オフラインモードでは対応不能なコマンド又は命令であることを、ユーザに通知することを決定する。また、状態通知部1124は、オンライン音声認識機能を利用することができないことを、ユーザに通知することを決定してもよい。状態通知部1124は、オンライン音声認識機能の利用を再開することができる予測時期を、ユーザに通知することを決定してもよい。
【0170】
また、S1464において、通信状態が回復したか否かが判定される。通信状態が回復したと判定されなかった場合(S1464のNoの場合)、S1464の処理が繰り返される。一方、S1464において、通信状態が回復したと判定された場合、及び/又は、通信状態が回復する見込みが立った場合(S1464のYesの場合)、S1466において、状態通知部1124が、オンライン音声認識処理が利用可能になったことをユーザに通知することを決定する。例えば、通信状態予測部220が将来の通信状態が予め定められた状態よりも良好になると予測した場合、通信状態が回復する見込みが立ったと判定される。その後、S1470において、オンライン音声処理が実行される。
【0171】
一方、S1330において、将来スループットの品質が良好であると判定された場合(S1330のYesの場合)、S1470において、上述された手順により、オンライン音声認識処理が実行される。音声認識処理が終了すると、処理が終了する。
【0172】
図15は、本発明の複数の実施形態が全体的又は部分的に具現化され得るコンピュータ3000の例を示す。例えば、情報処理装置200の少なくとも一部が、コンピュータ3000により実現される。例えば、制御装置24の少なくとも一部が、コンピュータ3000により実現される。例えば、機器25の少なくとも一部が、コンピュータ3000により実現される。例えば、コンテンツ実行部282の少なくとも一部が、コンピュータ3000により実現される。例えば、表示部284の少なくとも一部が、コンピュータ3000により実現される。例えば、ディスプレイ機器1070の少なくとも一部が、コンピュータ3000により実現される。
【0173】
コンピュータ3000にインストールされたプログラムは、コンピュータ3000に、本発明の実施形態に係る装置に関連付けられるオペレーション又は当該装置の1又は複数の「部」として機能させ、又は当該オペレーション又は当該1又は複数の「部」を実行させることができ、及び/又はコンピュータ3000に、本発明の実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ3000に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、CPU3012によって実行されてよい。
【0174】
本実施形態によるコンピュータ3000は、CPU3012、RAM3014、GPU3016、及びディスプレイデバイス3018を含み、それらはホストコントローラ3010によって相互に接続されている。コンピュータ3000はまた、通信インタフェース3022、ハードディスクドライブ3024、DVD-ROMドライブ3026、及びICカードドライブのような入出力ユニットを含み、それらは入出力コントローラ3020を介してホストコントローラ3010に接続されている。コンピュータはまた、ROM3030及びキーボード3042のようなレガシの入出力ユニットを含み、それらは入出力チップ3040を介して入出力コントローラ3020に接続されている。
【0175】
CPU3012は、ROM3030及びRAM3014内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。GPU3016は、RAM3014内に提供されるフレームバッファ等又はそれ自体の中に、CPU3012によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス3018上に表示されるようにする。
【0176】
通信インタフェース3022は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ3024は、コンピュータ3000内のCPU3012によって使用されるプログラム及びデータを格納する。DVD-ROMドライブ3026は、プログラム又はデータをDVD-ROM3001から読み取り、ハードディスクドライブ3024にRAM3014を介してプログラム又はデータを提供する。ICカードドライブは、プログラム及びデータをICカードから読み取り、及び/又はプログラム及びデータをICカードに書き込む。
【0177】
ROM3030はその中に、アクティブ化時にコンピュータ3000によって実行されるブートプログラム等、及び/又はコンピュータ3000のハードウエアに依存するプログラムを格納する。入出力チップ3040はまた、様々な入出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ3020に接続してよい。
【0178】
プログラムが、DVD-ROM3001又はICカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもあるハードディスクドライブ3024、RAM3014、又はROM3030にインストールされ、CPU3012によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ3000に読み取られ、プログラムと、上記様々なタイプのハードウエアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ3000の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
【0179】
例えば、通信がコンピュータ3000及び外部デバイス間で実行される場合、CPU3012は、RAM3014にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース3022に対し、通信処理を命令してよい。通信インタフェース3022は、CPU3012の制御の下、RAM3014、ハードディスクドライブ3024、DVD-ROM3001、又はICカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
【0180】
また、CPU3012は、ハードディスクドライブ3024、DVD-ROMドライブ3026(DVD-ROM3001)、ICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM3014に読み取られるようにし、RAM3014上のデータに対し様々なタイプの処理を実行してよい。CPU3012は次に、処理されたデータを外部記録媒体にライトバックしてよい。
【0181】
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU3012は、RAM3014から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM3014に対しライトバックする。また、CPU3012は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU3012は、当該複数のエントリの中から、第1の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
【0182】
上で説明したプログラム又はソフトウエアモジュールは、コンピュータ3000上又はコンピュータ3000近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それにより、上記のプログラムを、ネットワークを介してコンピュータ3000に提供する。
【0183】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0184】
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【0185】
24 制御装置
25 機器
29 車両内ネットワーク
30 外部装置
32 データ
34 データ
36 データ
50 車両
90 通信ネットワーク
92 無線通信システム
200 情報処理装置
202 通信部
210 スループット測定部
220 通信状態予測部
230 通信制御部
240 通信判別部
250 優先度設定部
260 品質算出部
276 音声認識制御部
282 コンテンツ実行部
284 表示部
1000 制御システム
1010 コアECU
1020 TCU
1021 AD/ADAS ECU
1022 情報系ECU
1023 エリアECU
1024 エリアECU
1030 駆動系機器
1031 快適系機器
1032 アラーム系機器
1033 視界系機器
1034 先進安全系機器
1035 防盗系機器
1036 灯体系機器
1037 ドア系機器
1038 ドライブポジション系機器
1039 開閉系機器
1040 センサ機器
1041 情報系機器
1052 メータ機器
1053 チューナ
1054 プレーヤ
1055 狭域通信システム
1056 無線充電器
1057 USBポート
1062 マイク
1064 スピーカ
1070 ディスプレイ機器
1072 ディスプレイ
1074 音声認識システム
1080 通信ネットワーク
1081 通信ネットワーク
1082 通信ネットワーク
1084 通信ネットワーク
1085 通信ネットワーク
1122 トリガ検出部
1124 状態通知部
1222 第1音声認識部
1224 第2音声認識部
1226 認識手段決定部
1228 応答部
3000 コンピュータ
3001 DVD-ROM
3010 ホストコントローラ
3012 CPU
3014 RAM
3016 GPU
3018 ディスプレイデバイス
3020 入出力コントローラ
3022 通信インタフェース
3024 ハードディスクドライブ
3026 DVD-ROMドライブ
3030 ROM
3040 入出力チップ
3042 キーボード
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15