特開 2023-95624 情報処理装置、負荷算出方法および負荷算出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023095624

(43)【公開日】2023-07-06

(54)【発明の名称】情報処理装置、負荷算出方法および負荷算出プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230629BHJP

   G01C 21/36 20060101ALI20230629BHJP

   G08G 1/0969 20060101ALI20230629BHJP

【ＦＩ】

G06T7/00 650Z

G01C21/36

G08G1/0969

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021211630

(22)【出願日】2021-12-24

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】100112656

【弁理士】

【氏名又は名称】宮田 英毅

(72)【発明者】

【氏名】井上 俊明

【テーマコード（参考）】

2F129

5H181

5L096

【Ｆターム（参考）】

2F129AA03

2F129BB03

2F129BB20

2F129BB22

2F129BB26

2F129BB40

2F129DD13

2F129DD15

2F129DD20

2F129DD26

2F129DD27

2F129DD62

2F129DD65

2F129EE02

2F129EE52

2F129EE55

2F129EE57

2F129EE59

2F129EE67

2F129EE78

2F129EE79

2F129EE82

2F129EE94

2F129FF02

2F129FF12

2F129FF20

2F129FF32

2F129FF43

2F129FF57

2F129FF61

2F129FF62

2F129FF63

2F129FF66

2F129FF71

2F129FF75

2F129GG17

2F129HH18

2F129HH19

2F129HH20

5H181AA01

5H181BB04

5H181BB05

5H181BB13

5H181BB20

5H181CC04

5H181FF04

5H181FF10

5H181FF12

5H181FF13

5H181FF14

5H181FF22

5H181MC15

5H181MC19

5H181MC27

5L096AA06

5L096BA04

5L096CA04

5L096DA02

5L096FA69

5L096HA02

5L096HA09

5L096JA03

5L096JA11

5L096JA18

(57)【要約】

【課題】運転者に対する視覚的な負荷量を算出すること。
【解決手段】情報処理装置１００は、車両内から外部を撮影した動画像を取得する取得部１３１と、取得部１３１により取得した動画像のフレーム間の類似度に基づいて運転者に対する視覚的な負荷量を算出する算出部１３２と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

車両内から外部を撮影した動画像を取得する取得部と、
前記取得部により取得した前記動画像のフレーム間の類似度に基づいて運転者に対する視覚的な負荷量を算出する算出部と、
を備えることを特徴とする情報処理装置。

【請求項2】

前記算出部は、前記動画像のフレーム間の類似度の変化に基づいて前記負荷量を算出する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記算出部は、前記動画像のフレーム間の変化量を算出し、変化量の変化から前記負荷量を算出する
ことを特徴とする請求項１又は２に記載の情報処理装置。

【請求項4】

前記算出部は、前記変化量の変化を示す波形から人間の視覚で認識される周波数範囲の波形を抽出し、抽出した波形から前記負荷量の変化を算出する
ことを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記算出部は、前記動画像のフレーム毎に、フレームの画像の特徴ベクトルを算出し、フレーム間の特徴ベクトルの類似度の変化からフレーム間の変化量を算出する
ことを特徴とする請求項３又は４に記載の情報処理装置。

【請求項6】

前記算出部により算出した前記負荷量を、前記動画像の撮影時の前記車両の速度、前記車両が走行した道路の交通状況、前記動画像の撮影時の時間帯に応じて補正する補正部をさらに備える
ことを特徴とする請求項１～５の何れか１つに記載の情報処理装置。

【請求項7】

前記算出部により算出した前記負荷量を、当該負荷量が算出された地図の位置に対応付けて記憶部に格納する格納部と、
前記記憶部に前記地図の位置に対応付けて記憶された負荷量を加味して、ルートの検索条件に応じたルートを検索する検索部と、
前記検索部により検索されたルートの情報を出力する出力部と、
をさらに備えることを特徴とする請求項１～６の何れか１つに記載の情報処理装置。

【請求項8】

前記格納部は、前記動画像のフレームの画像から特定されるシーン情報を、当該フレームの画像が撮影された図の位置に対応付けて記憶部に格納し、
前記出力部は、前記検索部により検索されたルート上の位置に対応したシーン情報を記憶部から読み出し、前記ルートの情報に含めて出力する
ことを特徴とする請求項７に記載の情報処理装置。

【請求項9】

情報処理装置が実行する負荷算出方法であって、
車両内から外部を撮影した動画像を取得する取得工程と、
取得した前記動画像のフレーム間の類似度に基づいて運転者に対する視覚的な負荷量を算出する算出工程と、
を含むことを特徴とする負荷算出方法。

【請求項10】

車両内から外部を撮影した動画像を取得する取得手順と、
取得した前記動画像のフレーム間の類似度に基づいて運転者に対する視覚的な負荷量を算出する算出手順と、
を情報処理装置に実行させるための負荷算出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、負荷算出方法および負荷算出プログラムに関する。

【背景技術】

【0002】

従来、自動車に搭載されたカメラ等で撮影された風景画像を分析することにより、自動車の走行経路における風景の単調度を演算する技術が提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第４５５０１１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の従来技術では、運転者に対する視覚的な負荷量を算出することができるとは限らない。

【0005】

例えば、上記の従来技術では、風景画像の色の性質等を分析して、風景画像を「森林」、「街並み」、「開けた道」などの風景分類に分類する。そして、上記の従来技術では、風景分類が変化した回数のカウント及び風景分類の種類数のカウントし、カウントされた回数及びカウントされた種類数に基づいて、単調度を演算する。

【0006】

しかし、例えば、「街並み」など同じ風景分類の道路を走行している場合でも、運転者に対する視覚的な負荷量が高い場合がある。

【0007】

したがって、上記の従来技術では、運転者に対する視覚的な負荷量を適切に算出できない場合がある。

【0008】

本発明は、運転者に対する視覚的な負荷量を算出することができる情報処理装置、負荷算出方法および負荷算出プログラムの実現を目的とする。

【課題を解決するための手段】

【0009】

請求項１に記載の情報処理装置は、車両内から外部を撮影した動画像を取得する取得部と、前記取得部により取得した前記動画像のフレーム間の類似度に基づいて運転者に対する視覚的な負荷量を算出する算出部と、を備えることを特徴とする。

【0010】

請求項９に記載の負荷算出方法は、情報処理装置が実行する負荷算出方法であって、車両内から外部を撮影した動画像を取得する取得工程と、取得した前記動画像のフレーム間の類似度に基づいて運転者に対する視覚的な負荷量を算出する算出工程と、を含むことを特徴とする。

【0011】

請求項１０に記載の負荷算出プログラムは、車両内から外部を撮影した動画像を取得する取得手順と、取得した前記動画像のフレーム間の類似度に基づいて運転者に対する視覚的な負荷量を算出する算出手順と、を情報処理装置に実行させるための負荷算出プログラムである。

【図面の簡単な説明】

【0012】

【図1】図１は、実施形態に係る情報処理システムの一例を示す図である。

【図2】図２は、実施形態に係る情報処理装置の構成例を示す図である。

【図3】図３は、実施形態に係る負荷量の算出を説明する図である。

【図4】図４は、実施形態に係る負荷量の算出を説明する図である。

【図5】図５は、実施形態に係る負荷量の算出を説明する図である。

【図6】図６は、実施形態に係る負荷量の算出結果の一例を説明する図である。

【図7】図７は、視覚的な負荷量を算出する算出処理手順を示すフローチャートである。

【図8】図８は、ルートを検索する検索処理手順を示すフローチャートである。

【図9】図９は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0013】

以下に、情報処理装置、負荷算出方法および負荷算出プログラムを実施するための形態（以下、「実施形態」と記載する）の一例について図面を参照しつつ詳細に説明する。なお、この実施形態により情報処理装置、負荷算出方法および負荷算出プログラムが限定されるものではない。また、以下の実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。

【0014】

〔１．システム構成〕
まず、図１を用いて、実施形態に係る情報処理システムの構成を説明する。図１は、実施形態に係る情報処理システムの一例を示す図である。図１には、実施形態に係る情報処理システムの一例として、情報処理システム１が示される。

【0015】

図１に示すように、情報処理システム１は、車載装置１０と、情報処理装置１００とを備えてよい。また、車載装置１０と、情報処理装置１００とは、ネットワークＮを介して、有線または無線により通信可能に接続される。また、図１に示す情報処理システム１には、任意の数の車載装置１０と、任意の数の情報処理装置１００とが含まれてもよい。

【0016】

車載装置１０は、車両ＶＥｘに内蔵あるいは外付けされる専用のナビゲーション装置であってよいし、防犯や煽り運転対策のために車両ＶＥｘに設置される録画装置（ドライブレコーダー）であってもよい。

【0017】

また、車載装置１０は、ナビゲーション装置と、録画装置とで構成されてもよい。この一例として、車載装置１０は、互いに独立したナビゲーション装置および録画装置が通信可能に接続された複合的な装置であってよい。また、他の例として、車載装置１０は、ナビゲーション機能と、録画機能とを有する１つの装置であってもよい。

【0018】

また、利用者は、日常的に使用している携帯型端末装置（例えば、スマートフォン、タブレット型端末、ノート型ＰＣ、デスクトップＰＣ、ＰＤＡ等）に所定のアプリケーションを導入することで、これを車載装置１０として代用することもできる。例えば、所定のナビアプリや所定の録画アプリがインストールされた携帯型端末装置は、ここでいう車載装置１０と解せることができる。携帯型端末装置が車載装置１０として活用される場合、例えば、運転時において車両ＶＥｘのダッシュボード等に設置される。

【0019】

また、車載装置１０は、各種のセンサを備えていてよい。例えば、車載装置１０は、カメラ、加速度センサ、ジャイロセンサ、ＧＰＳセンサ、気圧センサ等の各種センサを備えていてよい。

【0020】

情報処理装置１００は、これらセンサによって検知されたセンサ情報に基づいて（例えば、センサ情報を解析することで）、各種のデータを取得してよい。例えば、情報処理装置１００は、カメラにより車両ＶＥｘ内から外部を撮影した動画像のデータを取得する。また、情報処理装置１００は、ＧＰＳセンサから位置情報を取得する。情報処理装置１００は、車載装置１０に備えられるセンサだけでなく、車両ＶＥｘ自体に備えられるセンサが検知したセンサ情報を取得してよい。

【0021】

情報処理装置１００は、実施形態に係る情報処理を行う装置である。例えば、情報処理装置１００は、取得した動画像のフレーム間の類似度に基づいて運転者に対する視覚的な負荷量を算出する。また、情報処理装置１００は、算出した視覚的な負荷量に基づいて、利用者に対して各種の運転支援も行うことができる。

【0022】

ここで、車載装置１０を利用者の近くでエッジ処理を行うエッジコンピュータとするなら、情報処理装置１００は、例えば、クラウド側で処理を行うクラウドコンピュータであってよい。すなわち、情報処理装置１００は、サーバ装置であってよい。

【0023】

また、以下の実施形態では、車載装置１０と情報処理装置１００との間で情報の送受信が行われることで、情報処理システム１において、実施形態に係る情報処理が実現される例を示す。しかしながら、実施形態に係る情報処理は、エッジ側すなわち車載装置１０のみで実現されてもよい。この場合、車載装置１０は、例えば、実施形態に係る負荷算出プログラムによって、情報処理装置１００のように振る舞うよう構成されてよい。

【0024】

車載装置１０は、センサによって検知されたセンサ情報を情報処理装置１００に送信する。例えば、車載装置１０は、カメラにより車両ＶＥｘ内から外部を撮影した動画像のデータを情報処理装置１００に送信する。また、車載装置１０は、ＧＰＳセンサにより検出された車両ＶＥｘの現在位置を示す位置情報を情報処理装置１００に送信する。車載装置１０は、カメラにより撮影した動画像やセンサ情報をリアルタイムに送信してもよく、一定期間ごとのタイミングなど周期的なタイミングで送信してもよい。

【0025】

情報処理装置１００は、車両ＶＥｘから取得した動画像のデータやセンサ情報を蓄積する。

【0026】

ここで、風景画像の時間変化は視覚刺激となるため、変化の大きい風景画像を視認し続けるほど視覚刺激に伴う負荷量は、大きくなる。視覚刺激に伴う負荷量は、疲労度と相関する。例えば、シーンが目まぐるしく変化する動画を見ると疲れる。

【0027】

そこで、情報処理装置１００は、以下の手順で実施形態に係る情報処理を行って、蓄積した動画像から簡易に視覚的な負荷量を算出する。

【0028】

〔２．情報処理装置１００の構成〕
図２を用いて、実施形態に係る情報処理装置１００について説明する。図２は、実施形態に係る情報処理装置１００の構成例を示す図である。図２に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。

【0029】

（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、例えば、車載装置１０との間で情報の送受信を行う。

【0030】

（記憶部１２０について）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ等の半導体メモリ素子またはハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、動画像データ１２１と、センサ情報データベース１２２と、地図情報データベース１２３とを有する。

【0031】

動画像データ１２１は、車載装置１０が有するカメラで撮影された動画像のデータである。センサ情報データベース１２２は、車載装置１０が有するセンサ、あるいは、車両ＶＥｘ自体が有するセンサによって検知されたセンサ情報を記憶するデータベースである。地図情報データベース１２３は、地図に関する各種の情報を記憶するデータベースである。

【0032】

（制御部１３０について）
制御部１３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（例えば、実施形態に係る負荷算出プログラム）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

【0033】

制御部１３０は、取得部１３１と、算出部１３２と、補正部１３３と、格納部１３４と、検索部１３５と、出力部１３６とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図２に示した接続関係に限られず、他の接続関係であってもよい。

【0034】

（取得部１３１について）
取得部１３１は、車載装置１０から各種の情報を取得する。例えば、取得部１３１は、車載装置１０のカメラにより車両ＶＥｘ内から外部を撮影した動画像のデータを取得する。また、取得部１３１は、車両ＶＥｘが有するセンサ（例えば、車両ＶＥｘに備えられる車載装置１０が有するセンサ、あるいは、車両ＶＥｘ自体が有するセンサ）によって検知されたセンサ情報を取得する。取得部１３１は、取得した動画像のデータを動画像データ１２１に記憶する。また、取得部１３１は、取得したセンサ情報をセンサ情報データベース１２２に記憶する。

【0035】

（算出部１３２について）
算出部１３２は、各種の算出を行う。例えば、算出部１３２は、取得部１３１により取得した動画像のフレーム間の類似度に基づいて運転者に対する視覚的な負荷量を算出する。例えば、算出部１３２は、動画像のフレーム間の類似度の変化に基づいて運転者に対する視覚的な負荷量を算出する。例えば、算出部１３２は、動画像データ１２１に記憶された動画像を読み出し、動画像のフレーム間の変化量を算出する。そして、算出部１３２は、変化量の変化から視覚的な負荷量を算出する。類似度は、隣接するフレーム間で求めることが好ましいが、必ずしも隣接するフレーム間でなくもよい。類似度は、例えば、２フレームごとなど所定のフレーム間隔ごとのフレーム間で求めてもよく、例えば、１秒ごとなど所定の時間間隔ごとのフレーム間で求めてもよい。

【0036】

負荷量を算出する具体的な一例を説明する。図３は、実施形態に係る負荷量の算出を説明する図である。図３には、動画像のフレームの画像１５０一例が示されている。動画像は、車両ＶＥｘ内から車両ＶＥｘの前方方向の外部を撮影したものである。動画像のフレームの画像１５０には、前方を走行する車両や、隣の車線を走行するバス、街並みが写っている。なお、動画像は、車両ＶＥｘ内から外部を撮影したものであればよい。例えば、動画像は、車両ＶＥｘの後方方向や横方向を撮影したものであってもよい。

【0037】

算出部１３２は、動画像のフレーム毎に、フレームの画像の特徴ベクトルを算出する。特徴ベクトルは、フレームの画像の特徴を示すものであれば何れであってもよい。例えば、算出部１３２は、動画像のフレーム毎に、フレームの画像の特徴を示す特徴量を求め、フレーム毎に、特徴量を成分とした特徴ベクトルを算出する。特徴量は、フレームの画像全体から求めてよく、フレームの画像を複数の領域に分けて、領域ごとに求めてよい。画像の特徴を示すものであれば何れであってもよい。特徴量としては、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴や、深層特徴が挙げられる。深層特徴とは、例えば、フレームの画像に対してディープラーニングなどの機械学習の処理を行った中間段階や最終段階のデータである。図３には、フレームの画像１５０から特徴量を求めて、フレーム毎に、算出された特徴ベクトルの一例がｆｒａｍｅ１、ｆｒａｍｅ２・・・として示されている。

【0038】

算出部１３２は、フレーム間の特徴ベクトルの類似度の変化からフレーム間の変化量を算出する。ここで、２つのフレームの画像が類似している場合、２つのフレームの画像の特徴ベクトルは、成分が近い値となり、距離も近くなる。一方、２つのフレームの画像が類似していない場合、２つのフレームの画像の特徴ベクトルは、成分の値の違いが大きくなり、距離も離れる。よって、２つのフレームの画像の特徴ベクトルの距離は、類似度とみなすことができる。算出部１３２は、フレーム間の特徴ベクトルの類似度として、フレーム間の特徴ベクトルの距離を算出する。特徴ベクトルの距離は、例えば、ユークリッド距離やコサイン類似度の演算により算出できる。図４は、実施形態に係る負荷量の算出を説明する図である。図４の横軸は、動画像の各フレームの先頭からのフレーム数である。縦軸は、フレーム間の類似度（コサイン類似度）である。図４には、動画像の各フレームについての次のフレームとの類似度として、距離の変化が示されている。

【0039】

なお、上記では、算出部１３２は、動画像のフレーム間の類似度の変化として、フレーム間の特徴ベクトルの距離の変化を算出する場合を説明した。しかし、これに限定されるものではない。算出部１３２は、動画像のフレーム間の類似度の変化として、フレームの画像のピクセル単位の輝度の差分絶対値の総和を算出してもよい。また、算出部１３２は、動画像のフレーム間の類似度の変化として、フレームの画像の矩形分割領域単位の相関係数を算出してもよい。

【0040】

ここで、図４に示すように、動画像のフレーム間の類似度は、様々な変化をしており、様々な周波数成分が含まれる。一方、人間の視覚には、動画像を見た場合に、認識可能な周波数の範囲がある。例えば、人間は、動画像の１フレーム程度にしか映らない物体を認識できない。

【0041】

そこで、算出部１３２は、変化量の変化を示す波形から人間の視覚で認識される周波数範囲の波形を抽出する。例えば、算出部１３２は、変化量の変化を示す波形を周波数分解する。周波数分解の手法としては、ＦＦＴ（Fast Fourier Transformation）などのフーリエ変換や、Ｗｅｖｅｌｅｔなどの直交基底による周波数成分分解、ＥＭＤ（経験モード分解）などの非直交基底による周波数成分分解が挙げられる。図５は、実施形態に係る負荷量の算出を説明する図である。図５には、１段目に、変化量の変化を示す波形１６１が示されている。２～１１段目は、１段目に示した波形１６１をＥＭＤなどの基底成分分解により周波数分解した結果であり、上段ほど高い周波数の成分の波形を示している。算出部１３２は、周波数分解した波形から人間の視覚で認識される周波数範囲の波形を抽出する。人間の視覚で認識される周波数範囲（応答特性）は、周囲の明るさにも依存するが、一般的に、高周波数側が１０～２０Ｈｚ、低周波数側が１～２Ｈｚの範囲が挙げられる。なお、人間の視覚で認識される周波数範囲は、人間が視覚できる範囲であればよく、上記の範囲に限定されるものではない。例えば、図５では、２、３段目は、波形が高周波過ぎて人間の視覚で認識され難い。また、７～１１段目は、波形が低周波過ぎて人間の視覚刺激となり難い。算出部１３２は、人間の視覚で認識される周波数範囲の波形として、４～７段目の波形を抽出する。これにより、人間が視覚刺激として知覚不可能な低周波または高周波の成分を除去できる。

【0042】

算出部１３２は、抽出した波形から視覚的な負荷量を算出する。例えば、算出部１３２は、抽出した波形を統合して、視覚的な負荷量を表す１次元時系列データを算出する。波形を統合する手法としては、例えば、単純加算、絶対値加算、平方和、Ｈｉｌｂｅｒｔ変換による各成分の瞬時パワー加算が挙げられる。算出部１３２は、４～７段目の波形を統合して、視覚的な負荷量の波形１６２を算出する。図５には、４～７段目の波形をＨｉｌｂｅｒｔ変換により統合した波形１６２が１２段目に示されている。Ｈｉｌｂｅｒｔ変換により統合することで、４～７段目の波形の瞬時パワーが高い箇所を加算して統合できる。

【0043】

図６は、実施形態に係る負荷量の算出結果の一例を説明する図である。図６の上段には、視覚的な負荷量の波形１７０と、動画像に写ったシーンとの対応関係が示されている。シーンは、写った画像の場面を示す情報である。シーンは、画像の解析など既存の技術により画像の状況を分析することでより特定できる。算出部１３２は、動画像の画像を解析してシーンを特定してもよい。例えば、「信号待ち」のシーンでは、負荷量が低くなっている。一方、「発進、加速」や「車両増加、前方渋滞」などのシーンでは、負荷量が高くなっている。このように、シーンに応じた運転者に対する視覚的な負荷量を算出できる。

【0044】

（補正部１３３について）
補正部１３３は、各種の補正を行う。ここで、同じ道路を同じ車両ＶＥｘが走行した動画像であっても、動画像の撮影時の車両ＶＥｘの速度や、車両ＶＥｘが走行した道路の交通状況、動画像の撮影時の時間帯に応じて、視覚的な負荷量が変化する。例えば、動画像に写る周囲の景色は、車両ＶＥｘの速度が速くなると変化が大きくなる。このため、車両ＶＥｘの速度が速くなると、負荷量が大きく算出される。

【0045】

そこで、補正部１３３は、算出部１３２により算出した負荷量を補正する。例えば、補正部１３３は、負荷量を算出した動画像の撮影時に検知されたセンサ情報を読み出す。例えば、補正部１３３は、動画像の撮影時の車両ＶＥｘの速度を読み出す。そして、補正部１３３は、読み出した動画像の撮影時の車両ＶＥｘの速度や、車両ＶＥｘが走行した道路の交通状況や、動画像の撮影時の時間帯に応じて負荷量を補正する。車両ＶＥｘが走行した道路の交通状況は、車両ＶＥｘから取得した動画像の画像の解析やセンサ情報の解析など既存の技術により特定してもよく、道路の交通状況を提供する外部サーバから取得してもよい。例えば、補正部１３３は、車両ＶＥｘの速度が速いほど負荷量を低く補正する。また、補正部１３３は、道路の交通状況が混雑している状況であるほど負荷量を高く補正する。また、補正部１３３は、動画像の撮影時の時間帯が、朝や夕方などの所定の通勤の時間帯である場合、負荷量を低く補正する。これにより、撮影時の車両ＶＥｘの速度や撮影時の道路の交通状況、撮影時の時間帯などの影響を除去して道路周辺の風景の影響による視覚的な負荷量を求めることができる。

【0046】

なお、負荷量の補正は、必須の処理ではない。すなわち、情報処理装置１００は、補正部１３３による負荷量の補正を行わなくてもよい。

【0047】

算出部１３２は、算出した視覚的な負荷量から視覚的な負荷が高い区間を特定する。例えば、算出部１３２は、視覚的な負荷量の波形を所定の閾値で２値化して、視覚的な負荷が高い区間と、視覚的な負荷が低い区間とを特定する。閾値は、視覚的な負荷が高い状態の下限値を設定する。閾値は、外部から設定されてもよい。図６の下段には、視覚的な負荷量の波形を所定の閾値で高負荷と低負荷に２値化した結果が示されている。

【0048】

（格納部１３４について）
格納部１３４は、視覚的な負荷量を、当該負荷量が算出された地図の位置に対応付けて記憶する。例えば、格納部１３４は、算出部１３２により算出した視覚的な負荷量、又は、補正部１３３により補正した視覚的な負荷量、又は、特定した高付加区間を、視覚的な負荷量が算出された地図の位置に対応付けて地図情報データベース１２３に記憶する。なお、格納部１３４は、特定されたシーンを地図の位置に対応付けて地図情報データベース１２３に記憶させてもよい。

【0049】

情報処理装置１００は、ルートを検索して車載装置１０に提供する機能を有する。情報処理装置１００は、車載装置１０からルート検索の検索要求を受け付ける。検索要求は、例えば、出発地や目的地などの各種の検索条件を含む。

【0050】

（検索部１３５について）
検索部１３５は、車載装置１０からルート検索の検索要求を受け付けると、地図情報データベース１２３を用いて、検索要求に含まれる検索条件に応じた複数のルートを検索する。例えば、検索部１３５は、目的地への最短距離のルートや、目的地への最短時間のルート、有料道路を優先したルート、有料道路を避けたルートを検索する。また、検索部１３５は、地図情報データベース１２３に地図の位置に対応付けて記憶された視覚的な負荷量を加味して、ルートの検索条件に応じたルートを検索する。例えば、検索部１３５は、視覚的な負荷量の高い道路を避けたルートや、視覚的な負荷量の少ないルートを検索する。

【0051】

（出力部１３６について）
出力部１３６は、各種の出力を行う。例えば、出力部１３６は、ルート候補として、検索された複数のルートのそれぞれのルート情報を車載装置１０に送信する。これにより、車載装置１０では、視覚的な負荷量の高い道路を避けたルートや、視覚的な負荷量の少ないルートなどの視覚的な負荷量を加味したルートなど、快適性の高いルートを候補として車載装置１０に提供できる。

【0052】

なお、情報処理装置１００は、検索された複数のルートについて、それぞれのルートの視覚的な負荷量やルート上のシーンの説明をルート情報に含めて提供してもよい。例えば、出力部１３６は、検索部１３５により検索されたルート上の位置に対応したシーンを記憶部１２０の地図情報データベース１２３から読み出し、ルートの情報に含めて出力する。これにより、車載装置１０では、運転者に対して、複数のルートから視覚的な負荷量やルートのシーンを加味してルートを選択させることができる。

【0053】

〔３．処理手順〕
続いて、図７および図８を用いて、情報処理装置１００が実施する情報処理の手順について説明する。情報処理装置１００が実施する情報処理は、視覚的な負荷量を算出する工程と、ルート検索の検索要求に応じてルートを検索する工程という、２つの工程に大別することができる。図７では、視覚的な負荷量を算出する工程の手順について説明する。図８では、ルート検索の検索要求に応じてルートを検索する工程の手順について説明する。

【0054】

〔３－１．処理手順（１）〕
まず、図７を用いて、視覚的な負荷量を算出する工程で行われる情報処理の手順を説明する。図７は、視覚的な負荷量を算出する算出処理手順を示すフローチャートである。

【0055】

図７の例によれば、取得部１３１は、車載装置１０から各種の情報を取得する（ステップＳ１０）。例えば、取得部１３１は、車載装置１０のカメラにより車両ＶＥｘ内から外部を撮影した動画像のデータを取得する。また、取得部１３１は、車両ＶＥｘが有するセンサ（例えば、車両ＶＥｘに備えられる車載装置１０が有するセンサ、あるいは、車両ＶＥｘ自体が有するセンサ）によって検知されたセンサ情報を取得する。

【0056】

算出部１３２は、取得部１３１により取得した動画像のフレーム間の類似度に基づいて運転者に対する視覚的な負荷量を算出する（ステップＳ１１）。例えば、算出部１３２は、動画像のフレーム間の類似度の変化に基づいて運転者に対する視覚的な負荷量を算出する。例えば、算出部１３２は、動画像のフレーム毎に、フレームの画像の特徴ベクトルを算出する。そして、算出部１３２は、フレーム間の特徴ベクトルの類似度の変化からフレーム間の変化量を算出する。そして、算出部１３２は、変化量の変化を示す波形から人間の視覚で認識される周波数範囲の波形を抽出する。そして、算出部１３２は、抽出した波形から視覚的な負荷量を算出する。

【0057】

補正部１３３は、算出した視覚的な負荷量を補正する（ステップＳ１２）。例えば、補正部１３３は、負荷量を算出した動画像の撮影時の車両ＶＥｘの速度、車両ＶＥｘが走行した道路の交通状況、動画像の撮影時の時間帯に応じて負荷量を補正する。

【0058】

格納部１３４は、視覚的な負荷量を、当該負荷量が算出された地図の位置に対応付けて記憶する（ステップＳ１３）。例えば、格納部１３４は、算出した視覚的な負荷量、又は、補正部１３３により補正した視覚的な負荷量、又は、特定した高付加区間を、視覚的な負荷量が算出された地図の位置に対応付けて地図情報データベース１２３に記憶する。

【0059】

このように、実施形態に係る情報処理装置１００は、運転者に対する視覚的な負荷量を算出できる。

【0060】

〔３－２．処理手順（２）〕
次に、図８を用いて、ルート検索の検索要求に応じてルートを検索する工程で行われる情報処理の手順を説明する。図８は、ルートを検索する検索処理手順を示すフローチャートである。

【0061】

検索部１３５は、車載装置１０からルート検索の検索要求を受け付けると、地図情報データベース１２３を用いて、検索要求に含まれる検索条件に応じた複数のルートを検索する（ステップＳ２０）。例えば、検索部１３５は、目的地への最短距離のルートや、目的地への最短時間のルート、有料道路を優先したルート、有料道路を避けたルートを検索する。また、検索部１３５は、地図情報データベース１２３に地図の位置に対応付けて記憶された視覚的な負荷量を加味して、ルートの検索条件に応じたルートを検索する。例えば、検索部１３５は、視覚的な負荷量の高い道路を避けたルートや、視覚的な負荷量の少ないルートを検索する。

【0062】

出力部１３６は、ルート候補として、検索された複数のルートのそれぞれのルート情報を車載装置１０に送信する（ステップＳ２１）。

【0063】

このように、実施形態に係る情報処理装置１００は、視覚的な負荷量を加味したルートを提供できる。

【0064】

なお、実施形態では、情報処理装置１００において、上述した視覚的な負荷量を算出する算出処理手順の処理を行って、運転者に対する視覚的な負荷量の算出する場合を説明した。しかし、これに限定されるものではない。車載装置１０が、上述した視覚的な負荷量を算出する算出処理手順の処理を行って、運転者に対する視覚的な負荷量を算出してもよい。また、実施形態では、情報処理装置１００において、上述したルートを検索する検索処理手順の処理を行って、視覚的な負荷量を加味したルートを提供する場合を説明した。しかし、これに限定されるものではない。車載装置１０が、上述したルートを検索する検索処理手順の処理を行って、視覚的な負荷量を加味したルートを提供してもよい。

【0065】

また、実施形態では、視覚的な負荷量を算出し、視覚的な負荷量を加味したルートを提供する場合を説明した。しかし、これに限定されるものではない。視覚的な負荷量を用いて各種の情報を提供してもよい。算出された視覚的な負荷量が高い場合、運転者に対してアラートなどの注意喚起を行うようにしてもよい。これにより、安全性を高めることができる。

【0066】

〔４．まとめ〕
実施形態に係る情報処理装置１００は、取得部１３１と、算出部１３２とを備える。取得部１３１は、車両ＶＥｘ内から外部を撮影した動画像を取得する。ｖは、取得部１３１により取得した動画像のフレーム間の類似度に基づいて運転者に対する視覚的な負荷量を算出する。これにより、情報処理装置１００は、運転者に対する視覚的な負荷量を算出することができる。

【0067】

また、算出部１３２は、動画像のフレーム間の類似度の変化に基づいて視覚的な負荷量を算出する。また、算出部１３２は、動画像のフレーム間の変化量を算出し、変化量の変化から視覚的な負荷量を算出する。また、算出部１３２は、動画像のフレーム毎に、フレームの画像の特徴ベクトルを算出し、フレーム間の特徴ベクトルの類似度の変化からフレーム間の変化量を算出する。これにより、情報処理装置１００は、運転者に対する視覚的な負荷量を算出することができる。

【0068】

また、算出部１３２は、変化量の変化を示す波形から人間の視覚で認識される周波数範囲の波形を抽出し、抽出した波形から視覚的な負荷量の変化を算出する。これにより、情報処理装置１００は、人間の視覚が感じる負荷量を精度良く算出することができる。

【0069】

また、実施形態に係る情報処理装置１００は、補正部１３３をさらに備える。補正部１３３は、算出部１３２により算出した視覚的な負荷量を、動画像の撮影時の車両ＶＥｘの速度、車両ＶＥｘが走行した道路の交通状況、動画像の撮影時の時間帯に応じて補正する。これにより、情報処理装置１００は、撮影時の車両ＶＥｘの速度や撮影時の道路の交通状況、撮影時の時間帯などの影響を除去して道路周辺の風景の影響による視覚的な負荷量を求めることができる。

【0070】

また、実施形態に係る情報処理装置１００は、格納部１３４と、検索部１３５と、出力部１３６とをさらに備える。格納部１３４は、算出部１３２により算出した視覚的な負荷量を、当該負荷量が算出された地図の位置に対応付けて記憶部１２０に格納する。検索部１３５は、記憶部１２０に地図の位置に対応付けて記憶された負荷量を加味して、ルートの検索条件に応じたルートを検索する。出力部１３６は、検索部１３５により検索されたルートの情報を出力する。これにより、情報処理装置１００は、例えば、視覚的な負荷量の少ないルートなど、快適性の高いルートを提供することができる。

【0071】

また、格納部１３４は、動画像のフレームの画像から特定されるシーン情報を、当該フレームの画像が撮影された図の位置に対応付けて記憶部１２０に格納する。出力部１３６は、検索部１３５により検索されたルート上の位置に対応したシーン情報を記憶部１２０から読み出し、ルートの情報に含めて出力する。これにより、情報処理装置１００は、検索されたルート上の位置に対応したシーン情報を提供することができる。

【0072】

〔５．ハードウェア構成〕
また、上述してきた実施形態に係る情報処理装置１００は、例えば、図９に示すような構成のコンピュータ１０００によって実現される。図９は、情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

【0073】

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

【0074】

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。

【0075】

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

【0076】

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

【0077】

例えば、コンピュータ１０００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。

【0078】

〔６．その他〕
また、上記各実施形態において説明した処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0079】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0080】

また、上記各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0081】

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【符号の説明】

【0082】

１ 情報処理システム
１０ 車載装置
１００ 情報処理装置
１２０ 記憶部
１２１ 動画像データ
１２２ センサ情報データベース
１２３ 地図情報データベース
１３０ 制御部
１３１ 取得部
１３２ 算出部
１３３ 補正部
１３４ 格納部
１３５ 検索部
１３６ 出力部
ＶＥｘ 車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】