特開 2023-86822 情報処理装置、情報処理方法、情報処理プログラム、及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023086822

(43)【公開日】2023-06-22

(54)【発明の名称】情報処理装置、情報処理方法、情報処理プログラム、及び記憶媒体

(51)【国際特許分類】

   G08G 1/16 20060101AFI20230615BHJP

【ＦＩ】

G08G1/16 A

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023067207

(22)【出願日】2023-04-17

(62)【分割の表示】P 2018176676の分割

【原出願日】2018-09-21

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】100134832

【弁理士】

【氏名又は名称】瀧野 文雄

(74)【代理人】

【識別番号】100165308

【弁理士】

【氏名又は名称】津田 俊明

(74)【代理人】

【識別番号】100115048

【弁理士】

【氏名又は名称】福田 康弘

(72)【発明者】

【氏名】千葉 大将

(72)【発明者】

【氏名】武内 優太

(72)【発明者】

【氏名】河内 洋人

(57)【要約】

【課題】移動体の外部の状況に対する運転者の聴覚的な認識を効果的に補助することができる情報処理装置、情報処理方法、情報処理プログラム、及び記憶媒体を提供する。
【解決手段】第１情報処理装置１１０が、記憶部１３０から、移動体１の運転者が聞き逃しやすい音に関する情報を取得する情報取得部１１１と、移動体１の外部の音を取得する音取得部１１３と、その外部の音に、情報取得部１１１で取得された情報に対応した、運転者が聞き逃しやすい音が含まれているか否かを判定する判定部１１４と、を備えたことを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動体の運転者個人ごとに聞き逃しやすい音に関する情報が記憶された記憶部から、前記移動体の運転者が聞き逃しやすい音に関する情報を取得する情報取得部と、
前記移動体の外部の音を取得する音取得部と、
前記外部の音に前記情報に対応した音が含まれているか否かを判定する判定部と、
前記移動体の内部において、前記外部の音を前記判定部での判定結果に応じた再生態様で再生する再生部と、
を備えたことを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体についての情報処理を行う情報処理装置、情報処理方法、情報処理プログラム、及び情報処理プログラムを記憶した記憶媒体に関する。

【背景技術】

【0002】

従来、移動体についての情報処理の一例として、移動体の外部に運転者が視認し難い対象が存在しているか否かを判断する情報処理が提案されている（例えば、特許文献１参照。）。この特許文献１に記載の情報処理では、移動体の外部の画像等に基づいて、視認し難い対象が存在しているか否かの判断が行われる。このような情報処理によれば、判断結果に応じて運転者に各種の通知を行うことで、運転者に適宜に注意を促すことができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－３０２１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、運転者が移動体の外部の状況を認識するに当たって、聴覚的に外部の状況を認識することも頻繁に行われることである。しかしながら、聴覚的な認識については、現状では運転者個々の聴覚能力や集中力に任されており、移動体の外部の状況に対する運転者の聴覚的な認識を効果的に補助する情報処理については未だなされていないのが現状である。

【0005】

したがって、本発明の課題は、移動体の外部の状況に対する運転者の聴覚的な認識を効果的に補助することができる情報処理装置、情報処理方法、情報処理プログラム、及び記憶媒体を提供すること等が一例として挙げられる。

【課題を解決するための手段】

【0006】

前述した課題を解決し目的を達成するために、本発明の情報処理装置は、記憶部から、移動体の運転者が聞き逃しやすい音に関する情報を取得する情報取得部と、前記移動体の外部の音を取得する音取得部と、前記外部の音に前記情報に対応した音が含まれているか否かを判定する判定部と、を備えたことを特徴とする。

【0007】

また、前述した課題を解決し目的を達成するために、本発明の情報処理方法は、記憶部から、移動体の運転者が聞き逃しやすい音に関する情報を取得する情報取得工程と、前記移動体の外部の音を取得する音取得工程と、前記外部の音に前記情報に対応した音が含まれているか否かを判定する判定工程と、を備えたことを特徴とする。

【0008】

また、前述した課題を解決し目的を達成するために、本発明の情報処理プログラムは、上述した本発明の情報処理方法を、コンピュータにより実行させることを特徴とする。

【0009】

また、前述した課題を解決し目的を達成するために、本発明の記憶媒体は、上述した本発明の情報処理プログラムを記憶したことを特徴とする。

【図面の簡単な説明】

【0010】

【図1】移動体に搭載された、第１実施例に係る情報処理装置を示す模式的なブロック図である。

【図2】図１に示されている記憶部に記憶されている情報を示す模式図である。

【図3】図１に示されている判定部が判定に用いる情報テーブルを示す模式図である。

【図4】図１に示されている記憶処理部が運転情報の判定に用いる情報テーブルを示す模式図である。

【図5】図１に示されている第１情報処理装置で実行される情報処理方法における処理の流れを表すフローチャートである。

【図6】図１に示されている第２情報処理装置で実行される情報処理方法における処理の流れを表すフローチャートである。

【図7】第２実施例における移動体とサーバとを示す模式図である。

【図8】図７に示されている移動体及びサーバそれぞれにおける情報処理装置を示す模式的なブロック図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態を説明する。本発明の実施形態に係る情報処理装置は、情報取得部と、音取得部と、判定部と、を備えている。情報取得部は、記憶部から、移動体の運転者が聞き逃しやすい音に関する情報を取得する。音取得部は、移動体の外部の音を取得する。そして、判定部は、外部の音に、記憶部から取得された情報に対応した音が含まれているか否かを判定する。

【0012】

本実施形態の情報処理装置によれば、記憶部から取得された情報に対応した音、即ち、移動体の運転者が聞き逃しやすい音が、移動体の外部の音に含まれているか否かが判定される。これにより、その判定結果に基づいて、聞き逃しやすい音について運転者に適宜に注意を促す等といった運用を行うことができる。このように、本実施形態の情報処理装置によれば、移動体の外部の状況に対する運転者の聴覚的な認識を効果的に補助することができる。

【0013】

ここで、本実施形態の情報処理装置は、移動体の内部において、外部の音を判定部での判定結果に応じた再生態様で再生する再生部、を備えている。

【0014】

本実施形態によれば、外部の音を判定部での判定結果に応じた再生態様で再生することにより、聞き逃しやすい音について運転者が聞き取りやすい態様で注意を促すことができる。

【0015】

また、本実施形態では、判定部において、記憶部から取得された情報に対応した音が含まれていると判定された場合、再生部は、当該音を他の音に対して強調した再生態様で外部の音を再生する。

【0016】

本実施形態によれば、聞き逃しやすい音を強調するという、処理負担の小さい再生態様によって運転者に注意を促すことができる。

【0017】

また、本実施形態の情報処理装置は、判定部において、記憶部から取得された情報に対応した音が含まれていると判定された場合、当該音の存在を運転者に通知する通知部を備えている。

【0018】

本実施形態によれば、上記の通知部での通知により、聞き逃しやすい音について運転者に対し直接的に注意を促すことができる。

【0019】

また、本実施形態では、記憶部には、運転者個人が聞き逃しやすい音に関する情報が記憶されている。

【0020】

本実施形態によれば、人によって異なる場合がある聞き逃しやすい音について、記憶部の記憶内容に基づいて運転者個人ごとにきめ細かく判定することができる。

【0021】

また、本実施形態では、記憶部には、運転者が属する年齢層の不特定多数の人物が聞き逃しやすい音に関する情報が記憶されている。

【0022】

本実施形態によれば、年齢層によって異なる場合がある聞き逃しやすい音について、記憶部の記憶内容に基づいて運転者の年齢層ごとにきめ細かく判定することができる。

【0023】

また、本発明の実施形態に係る情報処理方法は、情報取得工程と、音取得工程と、判定工程と、を備えている。情報取得工程は、記憶部から、移動体の運転者が聞き逃しやすい音に関する情報を取得する工程である。音取得工程は、移動体の外部の音を取得する工程である。そして、判定工程は、外部の音に、記憶部から取得された情報に対応した音が含まれているか否かを判定する工程である。

【0024】

本実施形態の情報処理方法によれば、記憶部から取得された情報に対応した音、即ち、移動体の運転者が聞き逃しやすい音が、移動体の外部の音に含まれているか否かが判定される。これにより、その判定結果に基づいて、聞き逃しやすい音について運転者に適宜に注意を促す等といった運用を行うことができる。このように、本実施形態の情報処理方法によれば、移動体の外部の状況に対する運転者の聴覚的な認識を効果的に補助することができる。

【0025】

また、本発明の実施形態に係る情報処理プログラムは、上述した情報処理方法を、コンピュータにより実行させる。

【0026】

本実施形態に係る情報処理プログラムによれば、上述した情報処理方法を、コンピュータにより実行させることで、移動体の外部の状況に対する運転者の聴覚的な認識を効果的に補助することができる。

【0027】

また、本発明の実施形態に係る記憶媒体は、上述した情報処理プログラムを記憶したものとなっている。

【0028】

本実施形態の記憶媒体によれば、記憶されている情報処理プログラムにより、上述した情報処理方法をコンピュータで実行させることができる。これにより、移動体の外部の状況に対する運転者の聴覚的な認識を効果的に補助することができる。

【実施例0029】

以下、移動体の外部の状況に対する運転者の聴覚的な認識を効果的に補助するという課題を解決するための実施例について図を参照して具体的に説明する。まず、第１実施例について説明する。

【0030】

図１は、移動体に搭載された、第１実施例に係る情報処理装置を示す模式的なブロック図である。

【0031】

図１に示されている移動体１は乗用車であって、第１情報処理装置１１０と、第２情報処理装置１２０と、記憶部１３０と、を備えている。

【0032】

第１情報処理装置１１０は、記憶部１３０の記憶内容に基づいて、移動体１の外部に運転者が聞き逃しやすい音が存在していることを把握し、運転者に通知する装置である。また、第２情報処理装置１２０は、移動体１の運転者が聞き逃しやすい音を把握し、そのような音に関する情報を記憶部１３０に記憶する装置である。この第２情報処理装置１２０によって記憶部１３０に記憶された情報が、第１情報処理装置１１０での処理に利用される。

【0033】

本実施例では、第１情報処理装置１１０及び第２情報処理装置１２０の構成要素は、その一部を除いて、移動体１に搭載されたカーナビゲーション装置に構築されている。また、記憶部１３０は、カーナビゲーション装置が備える記憶部の一部が利用されている。

【0034】

第１情報処理装置１１０及び第２情報処理装置１２０の各構成要素について説明する前に、まず、記憶部１３０に記憶される情報について説明する。

【0035】

図２は、図１に示されている記憶部に記憶されている情報を示す模式図である。

【0036】

この図２に示されているように、記憶部１３０には、運転者個人が聞き逃しやすい音に関する情報が記憶されている。具体的には、移動体１の運転者として想定される人物の個人名称と、各人物が聞き逃しやすい音に関する情報と、が互いに対応付けられた情報テーブル１３１が記憶されている。

【0037】

図２の例では、運転者「Ａさん」は、「子供の声」及び「スケートボードの音」を聞き逃しやすく、個人名称「Ａさん」に、聞き逃しやすい音に関する情報として、それらの音の発生源を含む名称として「子供の声」及び「スケートボードの音」が対応付けられている。また、ここでの例では、「スケートボードの音」が、「Ａさん」が属する年齢層の不特定多数の人物が聞き逃しやすい音となっている。

【0038】

運転者「Ｂさん」は、「Ａさん」とは年齢層が異なるため、「スケートボードの音」は対応付けられておらず、「Ｂさん」個人が聞き逃しやすい音の名称として「自転車の音」が、個人名称「Ｂさん」に対応付けられている。

【0039】

また、「Ａさん」と同じ年齢層に属する運転者「Ｃさん」は、個人的に聞き逃しやすい音は存在しないが、「Ｃさん」の年齢層の不特定多数の人物が聞き逃しやすい音の名称として「スケートボードの音」が、個人名称「Ｃさん」に対応付けられている。

【0040】

尚、ここでは、聞き逃しやすい音の一例として「子供の声」、「自転車の音」、「スケートボードの音」を例示し、運転者が属する年齢層の不特定多数の人物が聞き逃しやすい音の一例として「スケートボードの音」を例示した。しかしながら、これらはあくまで例示であり、聞き逃しやすい音、運転者が属する年齢層の不特定多数の人物が聞き逃しやすい音、は、各々実際の状況に応じて適宜に設定し得るものである。

【0041】

図１に示されている第１情報処理装置１１０は、このような記憶部１３０の記憶内容に基づいて、移動体１の外部における聞き逃しやすい音の存在を把握し、運転者に通知する。第１情報処理装置１１０は、情報取得部１１１、個人特定部１１２、音取得部１１３、判定部１１４、及び対応処理部１１５を備えている。また、対応処理部１１５は、再生部１１５ａ及び通知部１１５ｂを備えている。

【0042】

情報取得部１１１は、記憶部１３０から、移動体１の運転者が聞き逃しやすい音に関する情報を取得する。ここで、本実施例では、後述するように個人特定部１１２で特定された運転者個人が聞き逃しやすい音が、記憶部１３０の情報テーブル１３１から読み出されて取得される。

【0043】

個人特定部１１２は、移動体１の運転者個人を特定する。具体的な特定手法としては、ここでは特定しないが、例えば運転者が名前等をキー入力する手法や、指紋認証によって特定する手法や、運転者が所有するスマートホン等から個人認証情報を読み取る手法等が挙げられる。

【0044】

音取得部１１３は、移動体１の各所に設置されたマイクを有し、これらのマイクを通して移動体１の外部の音を取得する。

【0045】

判定部１１４は、音取得部１１３で取得された外部の音に、情報取得部１１１で取得された情報に対応した音、即ち、移動体１の運転者が聞き逃しやすい音が含まれているか否かを判定する。この判定部１１４は、以下に説明する情報テーブルを記憶しており、その情報テーブルを用いて判定を行う。

【0046】

図３は、図１に示されている判定部が判定に用いる情報テーブルを示す模式図である。

【0047】

この図３に示されている情報テーブル１１４ａは、運転者が注意を払うべき音として予め定められた要注意音の名称と、その要注意音の抽出条件と、を互いに対応付けたテーブルである。図３の例では、要注意音の名称として、「子供の声」、「自転車の音」、及び「スケートボードの音」が挙げられている。そして、各要注意音の抽出条件が、各要注意音に特有の周波数範囲と音のレベル範囲とで規定されている。

【0048】

尚、要注意音は、上述した「子供の声」、「自転車の音」、及び「スケートボードの音」に限るものではなく、適宜に設定し得る。また、抽出条件も、周波数範囲と音のレベル範囲とに限るものではなく、要注意音の抽出の条件足り得るものであれば具体的な条件内容を問うものではない。

【0049】

図１に示されている判定部１１４は、まず、音取得部１１３で取得された外部の音に対する周波数解析を行い、その解析結果に基づいて、情報テーブル１１４ａに規定されている抽出条件を満たす要注意音の抽出を行う。そして、外部の音から何等かの要注意音が抽出され、且つ、その抽出された要注意音が、情報取得部１１１で取得された、移動体１の運転者が聞き逃しやすい音と一致するか否かを判断する。両者が一致する場合に、判定部１１４は、外部の音に運転者が聞き逃しやすい音が含まれていると判定する。

【0050】

対応処理部１１５の再生部１１５ａは、移動体１の内部に設置されたスピーカを有し、そのスピーカを通して、音取得部１１３が取得した外部の音を再生するものである。このとき、再生部１１５ａは、その外部の音を判定部１１４での判定結果に応じた再生態様で再生する。本実施例では、判定部１１４において運転者が聞き逃しやすい音が含まれていると判定された場合、再生部１１５ａは、当該音を他の音に対して強調した再生態様で外部の音を再生する。

【0051】

再生部１１５ａにおいて実施される、聞き逃しやすい音を他の音に対して強調した再生態様は、ここでは特定しないが、例えば聞き逃しやすい音の音量を増大させて再生する態様や、聞き逃しやすい音にエコーを掛けて再生する態様等が一例として挙げられる。

【0052】

対応処理部１１５の通知部１１５ｂは、判定部１１４において運転者が聞き逃しやすい音が含まれていると判定された場合、当該音の存在を運転者に通知する。通知部１１５ｂによる通知手法は、ここでは特定しないが、例えば音声メッセージで通知したり、メッセージ文やメッセージ画像を表示画面に表示したり、ＬＥＤインジケータを点灯させたりする手法等が一例として挙げられる。

【0053】

次に、図１に示されている第２情報処理装置１２０について説明する。本実施例では、第２情報処理装置１２０は、第１情報処理装置１１０が備える個人特定部１１２及び音取得部１１３を、第２情報処理装置１２０の構成要素として利用している。第２情報処理装置１２０は、個人特定部１１２及び音取得部１１３の他に、運転情報取得部１２１と、記憶処理部１２２と、を備えている。

【0054】

運転情報取得部１２１は、移動体１の挙動及び当該移動体１の運転者の挙動の両方に関する運転情報を取得する。移動体１の挙動については、ハンドルやブレーキ等といった運転に係る諸装置の操作情報を取得し、運転者の挙動については、移動体１に搭載されたアイトラッカーで運転者の視線に関する情報を取得している。

【0055】

尚、運転情報の取得は、上述の取得手法に限るものではなく、移動体１の挙動や運転者の挙動に関する情報を取得するものであれば、具体的な手法を問うものではない。また、本実施例とは異なり、移動体１の挙動及び運転者の挙動のうちの一方のみに関する運転情報を取得することとしてもよい。

【0056】

記憶処理部１２２は、音取得部１１３で取得された外部の音及び運転情報取得部１２１で取得された運転情報に基づいて、運転者が聞き逃しやすい音に関する情報を記憶部１３０に記憶させる。

【0057】

この記憶処理部１２２は、まず、音取得部１１３で取得された外部の音から、上述した要注意音の抽出を試みる。記憶処理部１２２は、第１情報処理装置１１０の判定部１１４が記憶している情報テーブル１１４ａ（図３）と同様の情報テーブルを記憶しており、この情報テーブルを用いて要注意音の抽出を試みる。そして、何等かの要注意音が抽出された場合に、記憶処理部１２２は、運転情報取得部１２１で危険運転に関する運転情報が取得されたか否かを判定する。この危険運転に関する運転情報の判定には、以下に説明するもう１つの情報テーブルが用いられる。

【0058】

図４は、図１に示されている記憶処理部が運転情報の判定に用いる情報テーブルを示す模式図である。

【0059】

この図４に示されている情報テーブル１２２ａは、各種の危険運転に関する情報としての運転名称と、各危険運転の抽出条件と、を互いに対応付けたテーブルである。図４の例では、危険運転に係る運転名称として「急ブレーキ」、「よそ見」、及び「機器操作」が挙げられている。「急ブレーキ」の抽出条件としては、ブレーキ装置で急ブレーキに関するブレーキ操作情報が得られたこと等が挙げられる。「よそ見」の抽出条件としては、アイトラッカーでの運転者の視線の検出方向が、移動体１の進行と関係ない方向を向いていること等が挙げられる。「機器操作」の抽出条件としては、カーナビゲーション装置やオーディオ装置等の移動体１の搭載機器についての機器操作情報が得られたこと等が挙げられる。

【0060】

尚、危険運転は、上述した「急ブレーキ」、「よそ見」、及び「機器操作」に限るものではなく、適宜に設定し得る。また、抽出条件も、上述した条件に限るものではなく、危険運転の抽出の条件足り得るものであれば具体的な条件内容を問うものではない。

【0061】

図１に示されている記憶処理部１２２は、音取得部１１３で取得された外部の音から要注意音が取得されると、運転情報取得部１２１で、図４の情報テーブル１２２ａにおける抽出条件に合致する危険運転に関する運転情報が得られているか否かを判定する。そして、危険運転に関する運転情報が得られていた場合、外部の音から抽出された要注意音に関する情報を、運転者が聞き逃しやすい音に関する情報として記憶部１３０に記憶させる。そして、このときの記憶は、図２に示されている情報テーブル１３１への項目追加という形で行われる。即ち、運転者「Ａさん」について初めて聞き逃しやすい音が得られた場合には、情報テーブル１３１に個人名称「Ａさん」の記載欄が追加され、この個人名称「Ａさん」に対応した聞き逃しやすい音の記載欄に、記憶処理部１２２で得られた情報が記載される。既に個人名称「Ａさん」の記載欄が存在し、聞き逃しやすい音として新たな音に関する情報が得られた場合には、個人名称「Ａさん」に対応した聞き逃しやすい音の記載欄に、その新たに得られた情報が追加記載される。

【0062】

次に、以上に説明した第１情報処理装置１１０及び第２情報処理装置１２０それぞれにおいて実行される情報処理方法について説明する。まず、第１情報処理装置１１０において実行される情報処理方法について説明する。

【0063】

図５は、図１に示されている第１情報処理装置で実行される情報処理方法における処理の流れを表すフローチャートである。

【0064】

このフローチャートが表す処理は、移動体１のナビゲーション装置に電源が投入されるとスタートし、通常のナビゲーション処理と並行して実行される。

【0065】

処理がスタートすると、まず、個人特定部１１２による個人特定工程が実行される（ステップＳ１１１）。個人特定工程では、上述したように名前のキー入力や指紋印象等の手法により、運転者個人の特定が行われる。

【0066】

次に、特定された運転者個人について、聞き逃しやすい音に関する情報を記憶部１３０から取得する情報取得工程が情報取得部１１１によって実行される（ステップＳ１１２）。情報取得工程では、図２に示されている情報テーブル１３１において個人名称に対応付けられている聞き逃しやすい音の発生源を含む名称が、例えば「Ａさん」について「子供の声」と「スケートボードの音」等というように記憶部１３０から読み出される。

【0067】

続いて、音取得部１１３による音取得工程が実行される（ステップＳ１１３）。音取得工程では、音取得部１１３が有する移動体１の各所のマイクを通して移動体１の外部の音が取得される。

【0068】

そして、取得された外部の音に、図３に示されている情報テーブル１１４ａに規定されている要注意音が含まれているか否かが、判定部１１４によって判定される（ステップＳ１１４）。判定は、情報テーブル１１４ａにおいて各要注意音に対応付けられている抽出条件を用いた抽出処理によって行われる。抽出に成功した要注意音が存在した場合、外部の音にその要注意音が含まれていると判定され、情報テーブル１１４ａ中の何れの要注意音も抽出されなかった場合には、要注意音は含まれていないと判定される。

【0069】

外部の音に要注意音が含まれていた場合（ステップＳ１１４のＹｅｓ判定）、その要注意音が、情報取得工程で取得された情報に対応した、個人特定された運転者が聞き逃しやすい音と一致するか否かが、判定部１１４によって判定される（ステップＳ１１５）。

【0070】

ステップＳ１１４及びステップＳ１１５の２つの判定処理が、外部の音に、情報取得工程で取得された情報に対応した、聞き逃しやすい音が含まれているか否かを判定する判定工程に相当する。

【0071】

抽出された要注意音が、運転者が聞き逃しやすい音と一致する場合（ステップＳ１１５のＹｅｓ判定）、対応処理部１１５の再生部１１５ａが、聞き逃しやすい音を他の音に対して強調した再生態様で、外部の音を再生する（ステップＳ１１６）。また、対応処理部１１５の通知部１１５ｂが、聞き逃しやすい音の存在を運転者に通知する（ステップＳ１１７）。

【0072】

他方、外部の音に要注意音が含まれていない場合（ステップＳ１１４のＮｏ判定）は、処理がステップＳ１１３の音取得工程に戻り、以降の処理が繰り返される。また、外部の音に含まれる要注意音が聞き逃しやすい音と一致しない場合（ステップＳ１１５のＮｏ判定）は、再生部１１５ａが外部の音をそのまま再生する（ステップＳ１１８）。

【0073】

尚、外部の音に要注意音が含まれていない場合の処理については、図５のフローチャートに示されている本実施例の処理のように、ステップＳ１１３の音取得工程に戻ることで再生を省略するという処理に限るものではない。本実施例とは異なり、外部の音に要注意音が含まれていない場合（ステップＳ１１４のＮｏ判定）にも、ステップＳ１１８に処理が進んで再生部１１５ａが外部の音をそのまま再生することとしてもよい。

【0074】

ステップＳ１１７の通知やステップＳ１１８の再生が終了すると、処理がステップＳ１１３の音取得工程に戻り、以降の処理が繰り返される。

【0075】

図５のフローチャートが表す情報処理方法の処理は、ナビゲーション装置の電源がオフされるまで実行され続ける。

【0076】

この図５のフローチャートで表される情報処理方法をコンピュータにより実行させる情報処理プログラムが、ナビゲーション装置の記憶媒体や、ナビゲーション装置とは別体の車載コンピュータ装置の記憶媒体に記憶されている。また、この情報処理プログラムを記憶する記憶媒体は、これらの装置の記憶媒体に限らず、公知の可搬記憶媒体や、ネットワークを介してこれらの装置に接続されるサーバに設置された記憶媒体であってもよい。

【0077】

次に、第２情報処理装置１２０において実行される情報処理方法について説明する。

【0078】

図６は、図１に示されている第２情報処理装置で実行される情報処理方法における処理の流れを表すフローチャートである。

【0079】

このフローチャートが表す処理も、移動体１のナビゲーション装置に電源が投入されるとスタートし、通常のナビゲーション処理と並行して実行される。

【0080】

処理がスタートすると、図５のフローチャートの処理と同様の個人特定工程が個人特定部１１２で実行され（ステップＳ１２１）、図５のフローチャートの処理と同様の音取得工程が音取得部１１３で実行される（ステップＳ１２２）。尚、本実施例では、図６のフローチャートの処理は、図５のフローチャートの処理と同時並行に実行される。このため、本実施例では、図５のフローチャートで実行される個人特定工程（ステップＳ１１１）及び音取得工程（ステップＳ１１３）が、図６のフローチャートにおける個人特定工程（ステップＳ１２１）及び音取得工程（ステップＳ１２２）を兼ねている。

【0081】

図６のフローチャートでは、続いて、移動体１の挙動及び当該移動体１の運転者の挙動の両方に関する運転情報を取得する運転情報取得工程が運転情報取得部１２１によって実行される（ステップＳ１２３）。運転情報取得工程では、移動体１の挙動について移動体１における諸装置の操作情報が取得され、運転者の挙動についてアイトラッカーで運転者の視線に関する情報が取得される。

【0082】

次に、音取得工程（ステップＳ１２２）で取得された外部の音に要注意音が含まれているか否かが記憶処理部１２２によって判定される（ステップＳ１２４）。ここでの判定は、図５のフローチャートのステップＳ１１４で用いられる図３の情報テーブル１１４ａと同様の情報テーブルに基づいて外部の音から要注意音の抽出を行うことで行われる。

【0083】

外部の音に要注意音が含まれていた場合（ステップＳ１２４のＹｅｓ判定）、運転情報取得部１２１で危険運転に関する運転情報が取得されているか否かが記憶処理部１２２によって判定される（ステップＳ１２５）。ここでの判定は、図４に示されている情報テーブル１２２ａが参照され、この情報テーブル１２２ａに規定されている危険運転に関する情報が運転情報取得部１２１で取得されているか否かが記憶処理部１２２によって判定される。

【0084】

危険運転に関する情報が取得されていた場合（ステップＳ１２５のＹｅｓ判定）、記憶処理部１２２によって次のような記憶処理工程が実行される（ステップ１２６）。記憶処理工程では、ステップＳ１２４の処理で抽出された要注意音の発生源を含む名称が、個人特定された運転者が聞き逃しやすい音に関する情報として、記憶部１３０の情報テーブル１３１に記載される。このとき、抽出された要注意音の発生源を含む名称が、情報テーブル１３１においてその運転者に対応付けられて既に記載されていた場合には記載が省略される。また、個人特定された運転者の個人名称が情報テーブル１３１に記載されていない場合には、新たにその個人名称の記載欄が設けられ、その個人名称に対応付けられて要注意音の発生源を含む名称が記載される。

【0085】

この記憶処理工程（ステップＳ１２６）が終了すると、処理がステップＳ１２２に戻って以降の処理が繰り返される。また、外部の音に要注意音が含まれていない場合（ステップＳ１２４のＮｏ判定）や、危険運転に関する情報が取得されていない場合（ステップＳ１２５のＮｏ判定）も、処理がステップＳ１２２に戻って以降の処理が繰り返される。

【0086】

図６のフローチャートが表す情報処理方法の処理も、図５のフローチャートが表す情報処理方法の処理とともに、ナビゲーション装置の電源がオフされるまで実行され続ける。

【0087】

この図６のフローチャートで表される情報処理方法をコンピュータにより実行させる情報処理プログラムも、ナビゲーション装置の記憶媒体や、ナビゲーション装置とは別体の車載コンピュータ装置の記憶媒体に記憶されている。また、この情報処理プログラムを記憶する記憶媒体は、これらの装置の記憶媒体に限らず、公知の可搬記憶媒体や、ネットワークを介してこれらの装置に接続されるサーバに設置された記憶媒体であってもよい。

【0088】

以上に説明した第１実施例によれば以下のような効果を得ることができる。まず、図１に示されている第１情報処理装置１１０、図５のフローチャートで表される情報処理方法、情報処理プログラム、及び記憶媒体によれば、次のような判定が行われる。即ち、記憶部１３０から取得された情報に対応した音、即ち、移動体１の運転者が聞き逃しやすい音が、移動体１の外部の音に含まれているか否かが判定される。これにより、その判定結果に基づいて、聞き逃しやすい音について運転者に適宜に注意を促す等といった運用を行うことができる。このように、本実施例によれば、移動体１の外部の状況に対する運転者の聴覚的な認識を効果的に補助することができる。

【0089】

ここで、本実施例では、外部の音を上記の判定結果に応じた再生態様で再生する再生部１１５ａが設けられている。これにより、聞き逃しやすい音について運転者が聞き取りやすい態様で外部の音を移動体１の内部で再生して運転者に注意を促すことができる。

【0090】

また、本実施例では、再生部１１５ａは、運転者が聞き逃しやすい音を他の音に対して強調した再生態様で外部の音を再生する。これによれば、聞き逃しやすい音を強調するという、処理負担の小さい再生態様によって運転者に注意を促すことができる。

【0091】

また、本実施例では、運転者が聞き逃しやすい音の存在を運転者に通知する通知部１１５ｂが設けられている。この通知により、聞き逃しやすい音について運転者に対し直接的に注意を促すことができる。

【0092】

また、本実施例では、記憶部１３０には、運転者個人が聞き逃しやすい音に関する情報が記憶されている。これによれば、人によって異なる場合がある聞き逃しやすい音について、記憶部１３０の記憶内容に基づいて運転者個人ごとにきめ細かく判定することができる。

【0093】

また、本実施例では、記憶部１３０には、運転者が属する年齢層の不特定多数の人物が聞き逃しやすい音に関する情報が記憶されている。これによれば、年齢層によって異なる場合がある聞き逃しやすい音について、記憶部１３０の記憶内容に基づいて運転者の年齢層ごとにきめ細かく判定することができる。

【0094】

また、図１に示されている第２情報処理装置１２０、図６のフローチャートで表される情報処理方法、情報処理プログラム、及び記憶媒体によれば、外部の音及び運転情報に基づいて、運転者が聞き逃しやすい音に関する情報が記憶部１３０に記憶される。これにより、移動体１の外部に聞き逃しやすい音が存在していることについて、記憶部１３０の情報に基づいて運転者に適宜に注意を促す等といった運用を行うことができる。この記憶部１３０への情報記憶の点においても、本実施例によれば、移動体１の外部の状況に対する運転者の聴覚的な認識を効果的に補助することができる。

【0095】

ここで、本実施例では、外部の音から要注意音が抽出され、且つ、危険運転に関する運転情報が取得されたとき、抽出された要注意音に関する情報が、運転者が聞き逃しやすい音に関する情報として記憶される。このように要注意音と危険運転とを結びつけることで、運転者が聞き逃しやすい音を高い確度で把握し、そのような音に関する情報を記憶させることができる。

【0096】

また、本実施例では、上記の危険運転が、移動体１の挙動としての急ブレーキや、運転者の、要注意音に注意を払っていないこと示す挙動として規定されている。これによれば、運転者が聞き逃しかけて直前で気が付いた要注意音や、完全に聞き逃した要注意音等を、高い確度で把握し、そのような音に関する情報を記憶させることができる。

【0097】

次に、第２実施例について説明する。

【0098】

上述した第１実施例では、聞き逃しやすい音の判定や記憶が、移動体１の搭載装置で全て行われていたのに対し、以下に説明する第２実施例では、処理の一部が移動体の搭載装置で行われ、他の一部が移動体と無線接続されるサーバの装置で行われる。

【0099】

図７は、第２実施例における移動体とサーバとを示す模式図であり、図８は、図７に示されている移動体及びサーバそれぞれにおける情報処理装置を示す模式的なブロック図である。

【0100】

本実施例では、図７に示されているように、各々が乗用車である複数台の移動体２が、１台のサーバ３に無線接続されている。運転者が聞き逃しやすい音に関する情報は、サーバ３に設けられた記憶部３２０に記憶される。この記憶部３２０には、運転者が聞き逃しやすい音に関する情報が、図２に示されている情報テーブル１３１と同等のテーブル形式で記憶される。ただし、本実施例では、複数の移動体２それぞれの運転者の個人名称に、各運転者が聞き逃しやすい音の発生源を含む名称が対応付けられた情報テーブルが記憶部３２０に記憶される。

【0101】

聞き逃しやすい音の判定についての処理は、記憶部３２０から無線を介して取得した情報に基づいて、各移動体２に搭載された移動体情報処理装置２１０によって行なわれる。ここでの判定は、複数の移動体２の移動体情報処理装置２１０が共通に有する、図３に示されている要注意音の情報テーブル１１４ａを用いて行われる。

【0102】

また、移動体情報処理装置２１０では、移動体２の運転者の個人特定、外部の音の取得、及び運転情報の取得が行われる。個人特定された運転者の個人名称、取得された外部の音に関する情報、及び運転情報は、無線を介してサーバ３に送られる。

【0103】

サーバ３では、サーバ情報処理装置３１０が、各移動体２から送られてきた各種情報に基づいて、各移動体２の運転者が聞き逃しやすい音を求め、その音に関する情報を記憶部３２０に記憶させる。聞き逃しやすい音を求める処理は、サーバ情報処理装置３１０が有する、図４に示されている危険運転の情報テーブル１２２ａを用いて行われる。

【0104】

図８に示されているように、移動体情報処理装置２１０は、第１情報取得部２１１、第１個人特定部２１２、第１音取得部２１３、判定部２１４、対応処理部２１５、第１運転情報取得部２１６、及び第１通信部２１７を備えている。対応処理部２１５は、再生部２１５ａ及び通知部２１５ｂを備えている。

【0105】

第１情報取得部２１１は、第１通信部２１７を介してサーバ３から、移動体２の運転者の聞き逃しやすい音に関する情報を取得する。第１個人特定部２１２は、移動体２の運転者の個人特定を行うとともに、特定した運転者の個人名称を、第１通信部２１７を介してサーバ３に送る。第１音取得部２１３は、移動体２の外部の音を取得するとともに、取得した外部の音に関する情報を、第１通信部２１７を介してサーバ３に送る。判定部２１４は、第１音取得部２１３で取得された外部の音に、第１情報取得部２１１で取得された情報に対応した、運転者の聞き逃しやすい音が含まれているか否かを、要注意音の情報テーブル１１４ａを用いて判定する。対応処理部２１５の再生部２１５ａは、外部の音に聞き逃しやすい音が含まれていた場合に、当該音を他の音に対して強調した再生態様で外部の音を再生する。通知部２１５ｂは、その聞き逃しやすい音の存在を運転者に通知する。第１運転情報取得部２１６は、移動体２の挙動及び運転者の挙動の両方に関する運転情報を取得する。第１通信部２１７は、サーバ３との間で無線通信を行う。この第１通信部２１７による無線通信は、通信される各種情報に、第１通信部２１７が搭載されている移動体２を識別するための、例えば車体ナンバー等の識別子を付して行われる。

【0106】

また、サーバ情報処理装置３１０は、第２音取得部３１１、第２個人特定部３１２、第２運転情報取得部３１３、記憶処理部３１４、第２情報取得部３１５、及び第２通信部３１６を備えている。

【0107】

第２音取得部３１１は、移動体２の第１音取得部２１３が取得して送ってきた、移動体２の外部の音に関する情報を、第２通信部３１６を介して受け取る。第２個人特定部３１２は、移動体２の第１個人特定部２１２が特定して送ってきた運転者の個人名称を、第２通信部３１６を介して受け取る。第２運転情報取得部３１３は、移動体２の第１運転情報取得部２１６が取得して送ってきた運転情報を、第２通信部３１６を介して受け取る。記憶処理部３１４は、第２音取得部３１１で情報として受け取られた外部の音と第２運転情報取得部３１３で受け取られた運転情報に基づいて、第１個人特定部２１２で受け取られた個人名称の運転者が聞き逃しやすい音に関する情報を求める。この記憶処理部３１４での処理に危険運転の情報テーブル１２２ａが用いられる。記憶処理部３１４は、求めた聞き逃しやすい音に関する情報を記憶部３２０に記憶させる。第２情報取得部３１５は、移動体２における第１情報取得部２１１からの求めに応じて、記憶部３２０から移動体２の運転者の個人名称に対応した聞き逃しやすい音に関する情報を取得し、第２通信部３１６を介して移動体２に送る。第２通信部３１６は、各移動体２との間で無線通信を行う。また、第２通信部３１６は、各移動体２に向けて情報を送信する際には、送信先の移動体２を識別するための識別子を情報に付して送信する。

【0108】

次に、移動体情報処理装置２１０及びサーバ情報処理装置３１０で実行される情報処理方法の処理について説明する。

【0109】

ここで、移動体情報処理装置２１０で実行される情報処理方法の処理は、処理の各ステップを実行する要素が異なる他は、図５のフローチャートが表す処理と略同じである。また、サーバ情報処理装置３１０で実行される情報処理方法の処理は、処理の各ステップを実行する要素が異なる他は、図６のフローチャートが表す処理と略同じである。そこで、以下では、移動体情報処理装置２１０で実行される情報処理方法の処理について図５のフローチャートを参照して説明し、サーバ情報処理装置３１０で実行される情報処理方法の処理について図６のフローチャートを参照して説明する。

【0110】

まず、移動体情報処理装置２１０で実行される情報処理方法の処理について説明する。

【0111】

この処理は、移動体２のナビゲーション装置に電源が投入されるとスタートする。まず、ステップＳ１１１において、第１個人特定部２１２が運転者の個人特定を行うとともに、特定した運転者の個人名称を、第１通信部２１７を介してサーバ３に送る。サーバ３では、送られた個人名称が、第２通信部３１６を介して第２個人特定部３１２で受け取られる。

【0112】

ステップＳ１１２では、第１情報取得部２１１がサーバ３に対し、第１通信部２１７を介して記憶部３２０からの情報取得を要請する。すると、サーバ３では、この要請を受けて第２情報取得部３１５が、第２個人特定部３１２で受け取られた個人名称の運転者が聞き逃しやすい音に関する情報を記憶部３２０から取得し、第２通信部３１６を介して要請先の移動体２に送る。移動体２では、送られてきた情報を第１情報取得部２１１が第１通信部２１７を介して受け取る。

【0113】

ステップＳ１１３では、第１音取得部２１３が、移動体２の外部の音を取得するとともに、当該音に関する情報を第１通信部２１７を介してサーバ３に送る。サーバ３では、送られた情報が、第２通信部３１６を介して第２音取得部３１１で受け取られる。

【0114】

ステップＳ１１４では、判定部２１４が、図３に示されている要注意音の情報テーブル１１４ａを用い、取得された外部の音に要注意音が含まれているか否かを判定する。要注意音が含まれていた場合（ステップＳ１１４のＹｅｓ判定）、ステップＳ１１５で、その要注意音が、個人特定された運転者が聞き逃しやすい音と一致するか否かが、判定部２１４によって判定される。

【0115】

要注意音が聞き逃しやすい音と一致する場合（ステップＳ１１５のＹｅｓ判定）、ステップＳ１１６で、再生部２１５ａが、聞き逃しやすい音を強調して外部の音を再生する。また、ステップＳ１１７で、通知部２１５ｂが、聞き逃しやすい音の存在を運転者に通知する。外部の音に要注意音が含まれない場合（ステップＳ１１４のＮｏ判定）や要注意音が聞き逃しやすい音と一致しない場合（ステップＳ１１５のＮｏ判定）は、ステップＳ１１８で再生部２１５ａが外部の音をそのまま再生する。ステップＳ１１７あるいはステップＳ１１８の処理の後は、ステップＳ１１３に戻って以降の処理が繰り返される。

【0116】

本実施例では、図５のフローチャートの処理が、移動体２のナビゲーション装置がオフされるまで実行され続ける。

【0117】

本実施例では、この図５のフローチャートで表される情報処理方法をコンピュータにより実行させる情報処理プログラムが、各移動体２のナビゲーション装置の記憶媒体や、ナビゲーション装置とは別体の車載コンピュータ装置の記憶媒体に記憶されている。また、この情報処理プログラムを記憶する記憶媒体は、これらの装置の記憶媒体に限らず、公知の可搬記憶媒体や、ネットワークを介してこれらの装置に接続されるサーバに設置された記憶媒体であってもよい。

【0118】

次に、サーバ情報処理装置３１０で実行される情報処理方法の処理について図６のフローチャートを参照して説明する。

【0119】

この処理は、サーバ３に電源が投入されるとスタートする。まず、ステップＳ１２１において、第２個人特定部３１２が、移動体２の第１個人特定部２１２から運転者の個人名称が送られてくるのを待つ。この個人名称が送られてくると、第２個人特定部３１２が第２通信部３１６を介してこれを受け取る。第２個人特定部３１２が移動体２から運転者の個人名称を受け取ると、その個人名称に付されている識別子が示す移動体２において各種情報取得が開始されたものとして、これ以降、その移動体２に対応する処理が動き始める。

【0120】

ステップＳ１２２では、第２音取得部３１１が、移動体２の第１音取得部２１３から送られてくる、移動体２の外部の音に関する情報を、第２通信部３１６を介して受け取る。また、ステップＳ１２３では、第２運転情報取得部３１３が、移動体２の第１運転情報取得部２１６から送られてくる運転情報を、第２通信部３１６を介して受け取る。

【0121】

ステップＳ１２４では、記憶処理部３１４が、第２音取得部３１１で受け取った情報の音に要注意音が含まれているか否かを、図３の要注意音の情報テーブル１１４ａを用いて判定する。要注意音が含まれていた場合（ステップＳ１２４のＹｅｓ判定）、ステップ１２５で、記憶処理部３１４が、第２運転情報取得部３１３で危険運転に関する運転情報が取得されているか否かを、図４の危険運転の情報テーブル１２２ａを用いて判定する。

【0122】

危険運転の運転情報が取得されていた場合（ステップＳ１２５のＹｅｓ判定）、ステップＳ１２６で、記憶処理部３１４が、抽出された要注意音の発生源を含む名称を、聞き逃しやすい音に関する情報として、運転者の個人名称に対応付けて記憶部１３０に記憶させる。

【0123】

ステップＳ１２６の記憶処理工程が終了すると、処理がステップＳ１２２に戻って以降の処理が繰り返される。また、第２音取得部３１１で受け取った情報の音に要注意音が含まれていない場合（ステップＳ１２４のＮｏ判定）や、危険運転に関する情報が取得されていない場合（ステップＳ１２５のＮｏ判定）も、処理がステップＳ１２２に戻って以降の処理が繰り返される。

【0124】

本実施例では、図６のフローチャートが表す情報処理方法の処理は、サーバの電源がオフされるまで実行され続ける。

【0125】

本実施例では、この図６のフローチャートで表される情報処理方法をコンピュータにより実行させる情報処理プログラムが、サーバ３に備えられる上記の記憶部３２０の一部をなす記憶媒体や、この記憶部３２０とは別体の記憶媒体に記憶されている。また、この情報処理プログラムを記憶する記憶媒体は、サーバ３に設置された記憶媒体に限らず、公知の可搬記憶媒体や、ネットワークを介してサーバ３に接続される更に別のサーバに設置された記憶媒体であってもよい。

【0126】

以上に説明した第２実施例の移動体情報処理装置２１０、サーバ情報処理装置３１０、図５及び図６それぞれのフローチャートで表される情報処理方法、情報処理プログラム、及び記憶媒体によっても上述した第１実施例と同様の効果を得ることができる。即ち、本実施例でも、移動体２の運転者が聞き逃しやすい音が外部の音に含まれているかを判定し、適宜に注意を促す等といった運用を行うことができる。つまり、本実施例でも、第１実施例と同様に、移動体２の外部の状況に対する運転者の聴覚的な認識を効果的に補助することができることは言うまでもない。

【0127】

また、本実施例でも、第１実施例と同様に、移動体２の外部の音及び運転情報に基づいて、運転者が聞き逃しやすい音に関する情報が記憶部３２０に記憶される。この記憶部３２０の情報に基づいて各移動体２において適宜に注意を促す等といった運用を行うことができる。つまり、本実施例でも、第１実施例と同様に、この記憶部３２０への情報記憶の点において、移動体２の外部の状況に対する運転者の聴覚的な認識を効果的に補助することができることは言うまでもない。

【0128】

尚、本発明は、以上に説明した実施例に限定されるものではなく、本発明の目的が達成できる他の構成等を含み、以下に示すような変形等も本発明に含まれる。

【0129】

例えば、上述した第１及び第２実施例では、乗用車としての移動体１，２が例示されている。しかしながら、移動体は、乗用車に限るものではなく、二輪車や、トラックやバス等の大型車両等であってもよく、移動体の具体的な種類を問うものではない。

【0130】

また、上述した第１及び第２実施例では、移動体に搭載されたナビゲーション装置に構築された構成要素を備える第１情報処理装置１１０、第２情報処理装置１２０、及び移動体情報処理装置２１０が例示されている。しかしながら、移動体で処理を行う情報処理装置は、これらに限るものではなく、ナビゲーション装置とは別体に設けられたコンピュータに構築された構成要素を備えるもの等であってもよい。

【符号の説明】

【0131】

１，２ 移動体
３ サーバ
１１０ 第１情報処理装置
１１１ 情報取得部
１１２ 個人特定部
１１３ 音取得部
１１４，２１４ 判定部
１１４ａ，１２２ａ 情報テーブル
１１５，２１５ 対応処理部
１１５ａ，２１５ａ 再生部
１１５ｂ、２１５ｂ 通知部
１２０ 第２情報処理装置
１２１ 運転情報取得部
１２２，３１４ 記憶処理部
１３０，３２０ 記憶部
１３１ 情報テーブル
２１０ 移動体情報処理装置
３１０ サーバ情報処理装置
２１１ 第１情報取得部
２１２ 第１個人特定部
２１３ 第１音取得部
２１６ 第１運転情報取得部
２１７ 第１通信部
３１１ 第２音取得部
３１２ 第２個人特定部
３１３ 第２運転情報取得部
３１５ 第２情報取得部
３１６ 第２通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】