特開 2025-19704 シミュレーション装置及びサーバ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025019704

(43)【公開日】2025-02-07

(54)【発明の名称】シミュレーション装置及びサーバ装置

(51)【国際特許分類】

   G08G 1/00 20060101AFI20250131BHJP

   H04N 7/18 20060101ALI20250131BHJP

【ＦＩ】

G08G1/00 A

H04N7/18 U

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023123450

(22)【出願日】2023-07-28

(71)【出願人】

【識別番号】523160737

【氏名又は名称】クラリオンライフサイクルソリューションズ株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】川村 晋司

(72)【発明者】

【氏名】鶴巣 亨輔

(72)【発明者】

【氏名】吉成 公一

【テーマコード（参考）】

5C054

5H181

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FA07

5C054GB02

5H181AA01

5H181CC04

5H181CC11

5H181CC12

5H181EE02

5H181FF04

5H181FF05

5H181FF10

5H181MB02

(57)【要約】

【課題】道路の状態に対応した適切な音を再生することで、被験者に、より臨場感のある運転の疑似体験をさせることが可能なシミュレーション装置を提供する。
【解決手段】シミュレーションシステム１００は、サーバ装置１０と、シミュレーション装置２０とを備える。サーバ装置１０は、受信部１１と、認識部１２と、音源処理部１３と、配信部１４と、イベント情報記憶部１５ａ及び音源情報記憶部１５ｂを有するデータベース１５とを備える。認識部１２は車載カメラ１が記録した画像に基づき画像における道路の状態を認識する。音源処理部１３は、認識された道路の状態に基づき走行音データを生成する。配信部１４は、イベント情報と走行音データをシミュレーション装置２０へ送信する。シミュレーション装置２０は、道路の状態に基づき座面スピーカ４３及び背面スピーカ４４が再生する音を制御する。
【選択図】図２

【特許請求の範囲】

【請求項1】

車両に設置された情報記録装置が記録した画像を再生するシミュレーション装置であって、
前記情報記録装置が記録した前記画像に基づいて、前記画像における道路の状態を認識する認識部と、
前記画像における道路の状態に基づいて、再生部が再生する音を制御する制御部と、を備え、
前記認識部は、前記情報記録装置が記録した前記画像を画像認識することで、前記画像における道路の表面の状態を認識する
ことを特徴とするシミュレーション装置。

【請求項2】

前記制御部は、前記情報記録装置が記録していない音域の音を出力するよう前記再生部を制御する
ことを特徴とする請求項１に記載のシミュレーション装置。

【請求項3】

シミュレーションの対象となる車両の情報を入力する入力部を備え、
前記制御部は、前記シミュレーションの対象となる前記車両の車室内の空間の大きさと、前記画像における道路の状態との両方に基づいて、前記情報記録装置が記録していない音域の音を出力するよう前記再生部を制御する
ことを特徴とする請求項１に記載のシミュレーション装置。

【請求項4】

前記再生部は、前記情報記録装置が録音した音域の音を出力する第１の再生部と、前記情報記録装置が録音していない音域の音を出力する第２の再生部と、を含む
ことを特徴とする請求項２又は３に記載のシミュレーション装置。

【請求項5】

前記認識部は、前記情報記録装置が記録した前記画像から、前記車両の進行方向における車輪の近傍の領域を検出し、前記検出された領域内の道路の表面の状態を認識する
ことを特徴とする請求項１に記載のシミュレーション装置。

【請求項6】

車両に設置された情報記録装置が記録した画像に基づいて、前記画像における道路の状態を認識する認識部と、
前記認識部による認識結果を、前記情報記録装置が記録した画像を再生し、前記道路の状態に基づいて、再生部が再生する音を制御する制御部を有するシミュレーション装置に送信する配信部と、を備えた
ことを特徴とするサーバ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、シミュレーション装置及びサーバ装置に関するものである。

【背景技術】

【0002】

従来、被験者に運転の疑似体験をさせるシミュレーション装置が知られている（例えば、特許文献１～５参照）。特許文献１には、操舵角、加速度、路面状態及び走行速度に基づき、車両走行時にステアリングに作用する反力を演算し、ステアリングに負荷として与えることが開示されている。特許文献２には、ＡＢＳ作動時に模擬車両が走行する模擬路面と模擬車輪との摩擦係数に応じた周期にて模擬ブレーキペダルを振動させることが開示され、スピーカで模擬車両の走行音を音声出力すること、メモリに車両速度と路面状態とに応じた走行音が記録されていることが開示されている。

【0003】

特許文献３には、記憶手段に記憶された駆動音データにより、多様な運転状態における様々な実際の駆動音に近似させて模擬音を発生させることが開示され、駆動音データとして、車内に設置したマイクによって実際のエンジン音を収録することが開示されている。特許文献４には、ドライビングシミュレータに実際の路面において予め測定された路面プロファイル、路面摩擦係数等の実測路面データを取り込み、運転者にその路面を模擬的に自由走行させることが開示され、入力された各情報と道路プロファイルデータとに基づき、コックピットのモーションや過度振動を発生させることが開示されている。

【0004】

特許文献５には、視界画像を撮影した移動体の状態に対応付けして、振動に関する情報が登録されたライブラリを用いることなく、移動中の移動体から撮影した外の風景を表す視界画像から、撮影中の移動体に生じている振動、及び移動体の乗員にかかる遠心力を体感させる振動を発生させることが開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平４－２３２８２９号公報

【特許文献2】特開平１０－１０９６３号公報

【特許文献3】特開平１１－２４９６７２号公報

【特許文献4】特開２００５－３１６００４号公報

【特許文献5】特開２０２０－３３５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献２は、ドライバが「乾燥路面」、「圧雪路面」のように、天候等に応じた道路の状態を選択することを開示するが、道路の状態がアスファルト舗装か砂利舗装か等を自動で選択することを開示しない。特許文献２は、走行途中で道路の状態が変化したときに道路の状態に応じた走行音を再生することも開示しない。引用文献１、４～５は、道路の状態に応じて、ステアリングの反力や振動を変化させているものであり、道路の状態に応じて走行音を再生することを開示しない。引用文献３は、道路の状態に応じて走行音を再生することを開示しない。

【0007】

そこで、本開示は、道路の状態に対応した適切な音を再生することで、被験者に、より臨場感のある運転の疑似体験をさせることが可能なシミュレーション装置を提供することを目的としている。

【課題を解決するための手段】

【0008】

前記目的を達成するために、本開示のシミュレーション装置は、車両に設置された情報記録装置が記録した画像を再生するシミュレーション装置であって、前記情報記録装置が記録した前記画像に基づいて、前記画像における道路の状態を認識する認識部と、前記画像における道路の状態に基づいて、再生部が再生する音を制御する制御部と、を備える。前記認識部は、前記情報記録装置が記録した前記画像を画像認識することで、前記画像における道路の表面の状態を認識する。

【発明の効果】

【0009】

このように構成された本開示のシミュレーション装置は、道路の状態に対応した適切な音を再生することで、被験者に、より臨場感のある運転の疑似体験をさせることが可能となる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態に係るシミュレーションシステムにおけるシミュレーション装置の概略構成を示すイメージ図である。

【図2】第１実施形態に係るシミュレーションシステムの機能構成を示すブロック図である。

【図3】認識部が、道路の表面の状態を認識する過程を説明するための図である。

【図4】座面スピーカ、背面スピーカ及びＶＲスピーカを説明するための説明図である。

【図5】第１実施形態に係るシミュレーションシステムにおける動作の流れの一例を説明するためのシーケンス図である。

【図6】第２実施形態に係るシミュレーションシステムの機能構成を示すブロック図である。

【図7】第３実施形態に係るシミュレーションシステムの機能構成を示すブロック図である。

【発明を実施するための形態】

【0011】

（第１実施形態）
この開示の第１実施形態に係るシミュレーションシステム１００は、図面に基づいて以下のように説明される。図１は、第１実施形態に係るシミュレーションシステム１００におけるシミュレーション装置２０の概略構成を示す図である。図２は、第１実施形態に係るシミュレーションシステム１００の機能構成を示すブロック図である。

【0012】

本実施形態のシミュレーションシステム１００は、情報記録装置の一例である車載カメラ１が記録した映像データを再生して被験者Ｐに運転の疑似体験をさせる。映像データの再生と同期して車両の走行音を再生することで、被験者Ｐに、より臨場感のある疑似体験をさせることを可能とするシステムである。

【0013】

走行音は、自動車、列車等の移動体が地上を走行する際に発生する音である。より具体的には、移動体が車両の場合、走行音は、タイヤが路面の凹凸を通過することによって発生する音である。走行音は、タイヤと路面との摩擦による音、タイヤが路面に接地する際の振動により発生する音、タイヤが段差のある部分を通過するときに発生する音、エンジン等の動力によって発生する音、ブレーキをかけることによって発生する音等が組み合わさった音である。

【0014】

走行音は、道路の状態、より具体的には、道路がアスファルト舗装か砂利舗装か等によって変化する。さらに走行音は、車室内の空間の大きさ、車両の走行速度等によっても変化する。このため、シミュレーションを実行するときに、シミュレーション中に再生される画像における道路の状態に応じた走行音が再生されることが好ましい。シミュレーション中に、道路の状態、車室内の空間の大きさ、速度に応じて、現実に近い走行音を再生することで、より臨場感のあるシミュレーションが可能となる。しかしながら、車両に一般的に備えられる車載カメラ１は、カメラ部２とマイクロフォン７を有し、画像データとともに、搭乗者の会話等の主に車内の音声データを記録する目的で備えられていること、さらにはコスト等の関係で、高い性能は要求されない。このため、車載カメラ１のマイクロフォン７では、人の声よりも周波数の低い音である車両の走行音は、録音されないか、又は録音されにくい。このため、シミュレーションにおいて、車載カメラ１のマイクロフォン７が予め録音した音声データを再生しても、現実に近い走行音は再生されにくかった。

【0015】

そこで、本実施形態のシミュレーションシステム１００は、道路の状態、車両の車室内の空間の大きさ及び車両の速度に応じて、走行音を生成し、シミュレーション中に再生する。走行音は、車載カメラ１が記録していない音域の音を含む音であり、映像データに記録されている音声データとは別に用意されていてもよい。

【0016】

本実施形態に係るシミュレーションシステム１００の詳細は、図面を参照して以下のように説明される。図１、図２に示されるように、本実施形態に係るシミュレーションシステム１００は、サーバ装置１０と、シミュレーション装置２０とを主に備える。

【0017】

サーバ装置１０は、車載カメラ１から取得したイベント情報に基づき走行音データを生成し、生成した走行音データ及びイベント情報をシミュレーション装置２０へ送信する。サーバ装置１０は、クラウドサーバ等から構成される。サーバ装置１０は、図２に示されるように、複数の車載カメラ１と通信網Ｌ１を介して通信可能である。サーバ装置１０は、インターネット等の通信ネットワーク回線Ｌ２を介してシミュレーション装置２０と通信可能である。

【0018】

サーバ装置１０は、複数の車載カメラ１から、様々なイベント情報を取得する。イベント情報は、事故や、事故発生には至らないものの事故発生の危険性が高い事象が生じたときに、車載カメラ１が取得し記録した情報である。車載カメラ１は、図示しない車両に設置される。車両は、トラック、タクシー、バス、社用車等の、いわゆる商用車、個人が有する、いわゆる自車両等が挙げられる。

【0019】

車載カメラ１は、「映像記録型ドライブレコーダー」とすることができる。車載カメラ１は、図２に示されるように、カメラ部２、Ｇセンサ３、ＧＰＳ４、通信部５、メモリ６、マイクロフォン７等を主に備える。カメラ部２は、３６０度カメラから構成され、車両の周囲の３６０度全方向の画像を撮影可能である。Ｇセンサ３は、加速度センサとも呼ばれ、車載カメラ１が検知した加速度データを検知するセンサである。マイクロフォン７は、室内の音声を録音する。

【0020】

車載カメラ１は、Ｇセンサ３が所定の値以上の加速度を検知した前後の所定の期間の時刻、ＧＰＳ４で取得した位置情報、カメラ部２で撮影した画像データ及びマイクロフォン７で録音した音声データを含む映像データ、Ｇセンサ３で検知した衝撃情報、ウィンカー操作、ブレーキ操作等の各種データを、イベント情報としてメモリ６に記録する。車載カメラ１の通信部５は、メモリ６に記録したイベント情報を、通信網Ｌ１を介してサーバ装置１０へ送信する。

【0021】

サーバ装置１０は、図２に示されるように、受信部１１と、認識部１２と、音源処理部１３と、配信部１４と、データベース１５とを主に備える。データベース１５は、イベント情報記憶部１５ａと、音源情報記憶部１５ｂとを有する。

【0022】

イベント情報記憶部１５ａは、車載カメラ１から取得したイベント情報が記憶される。イベント情報は、車載カメラ１が記録した映像データ、衝撃情報データ、位置情報データ等が含まれる。映像データは、動画像からなる画像データ及び音声データを含む。

【0023】

音源情報記憶部１５ｂは、音源データが予め記憶されている。この音源データは、イベント情報の映像データと同時に再生する走行音データの生成に用いられる。音源データは、シミュレーションシステム１００を提供する事業者等により、実際に録音又は音声合成ソフトウェアやＡＩによる合成等によって作成される。事業者等は、録音又は作成した音源データを、アップロード等によって音源情報記憶部１５ｂに格納する。

【0024】

音源データは、車両が道路を走行する際に発生する実際の音又は実際の音に似せて合成された音である。音源データは、車両が走行する道路の状態及び車室内の空間の大きさに応じて録音又は合成される。録音又は合成された複数の音源データが、車両の種類と道路の状態ごとに分類されて、音源データとして音源情報記憶部１５ｂに記憶される。

【0025】

音源データは、車載カメラ１が記録していない音域の音を含むことが望ましく、低音域の音を含むことがより望ましく、車両が道路を走行する際の走行音を含むことがさらに望ましい。走行音は、ロードノイズを含むことが望ましい。ロードノイズは、タイヤが路面に接地する際の振動に起因する音である。ロードノイズは、１００Ｈｚ～１ｋＨｚの比較的低い音域（低音域～中音域）の音であり、車載カメラ１のマイクロフォン７によって記録されにくい音である。このため、シミュレーション中にロードノイズを含む走行音が再生されることで、被験者Ｐは、より臨場感のある疑似体験が可能となる。

【0026】

受信部１１は、通信網Ｌ１を介して、車載カメラ１から映像データを含むイベント情報を受信する。受信部１１は、車載カメラ１から受信したイベント情報をイベント情報記憶部１５ａに格納する。このとき、受信部１１は、例えば、車名、車種、事故の種類等に応じてイベント情報を適宜分類した上で、イベント情報記憶部１５ａに格納することができる。受信部１１は、事故と、事故発生には至らないものの事故発生の危険性が高い事象とを区別してイベント情報を分類し、イベント情報記憶部１５ａに格納することもできる。

【0027】

受信部１１は、通信ネットワーク回線Ｌ２を介して、シミュレーション装置２０から、シミュレーションの対象となる車両の情報とイベント情報のＩＤ番号とを受信する。受信部１１は、受信した車両の情報（本実施形態では、例えば車名）を音源処理部１３へ出力し、イベント情報のＩＤ番号を認識部１２へ出力する。

【0028】

車両の情報は、音源処理部１３が走行音データを生成する際に用いられる。走行音は、車室内の空間の大きさによって変化するため、本実施形態では、この車室内の大きさによる音の変化も考慮して、走行音データが生成される。

【0029】

車両の情報は車両の種類、より具体的には、車名、車種等が好適に挙げられ、この中でも、車室内の空間の大きさをより適切に把握できることから、車名が最も好適に挙げられる。なお、車両の情報は、車名、車種に限定されず、車室内の空間の大きさが把握できればよく、他の異なる実施形態として、車室内の容積等とすることもできる。

【0030】

車名は、自動車メーカ等が車両に付した車両の固有の名称である。車種は、用途、構造、大きさ、機能等によって分類された名称であり、普通乗用車、小型貨物車、軽四輪乗用車等の用途別の名称、セダン、スポーツ、ステーションワゴン等の車体別の名称等が挙げられる。

【0031】

認識部１２は、受信部１１から入力されたＩＤ番号に対応するイベント情報を、イベント情報記憶部１５ａから取得する。認識部１２は、取得したイベント情報の映像データ中の画像データを画像解析して、道路の状態を認識する。この「道路の状態」は、車両が走行する道路の凹凸を含むありさまを示すものであり、アスファルト、砂利等の道路を構成する材料の相違による状態、晴天時、雨天時、積雪時等の道路のコンディションの相違による状態、日中、夜間等の時間帯の相違による状態、等が挙げられる。

【0032】

この「道路の状態」を適切に認識すべく、本実施形態の認識部１２は、画像データを画像認識して、「道路の表面の状態」を認識する。この「道路の表面の状態」は、道路の表面上に存在する物体や、その物体の状態を識別することで認識される。この物体は、道路を構成する材料、道路上に存在する水、雪、氷、塗料、異物等が挙げられる。

【0033】

画像認識の手法は、特に限定されず、様々な道路の表面の状態の画像を教師データとした学習済モデルを用いた機械学習による手法、ニューラルネットワークを用いたディープラーニングによる手法、パターンマッチングによる手法、画像の特徴量の抽出による手法等、公知の適宜の画像認識の手法が用いられる。

【0034】

図３は、認識部１２が、道路の表面の状態を認識する過程を説明するための図であり、図３中のＧ１は、車載カメラ１で録画された画像データに基づいて再生された画像を示す。なお、図３に示される画像Ｇ１は、３６０度カメラからなるカメラ部２で録画した画像データに基づく画像の一部である。認識部１２は、実際は３６０度方向の画像を画像認識する。認識部１２は、画像認識によって、例えば画像Ｇ１中から道路が出現する領域Ｒ１を検出し、この領域Ｒ１を画像認識して、テクスチャ、色等を認識し、これらに基づいて道路の表面の状態を認識する。

【0035】

「テクスチャ」は、一般的には、物体の表面の質感、手触り（触感）を示すが、ここでは、画像Ｇ１における道路の表面の質感等を示す。道路の表面の質感は、道路を構成する材料、コンディション等によって異なる。認識部１２は、画像Ｇ１中の道路の表面の質感に基づいて、道路の凹凸の状態を認識し、この凹凸の状態、色、明るさ等に基づいて、道路の表面の状態を認識する。

【0036】

認識部１２は、「道路の表面の状態」として、道路の舗装の種類を認識する。舗装の種類は、アスファルト舗装、コンクリート舗装、レンガ舗装、ブロック舗装、石畳舗装、砂利舗装等が挙げられるが、これらに限定されない。舗装の種類は、樹脂、木材、土、砂等を用いた舗装等、道路を整備したり強度を高めたりするために施される適宜の舗装を含むことができる。車両が走行することで走行音が変化したり、音楽等が流れたりするような特殊な構造が道路に設けられていることがある。認識部１２は、このような特殊な構造も、舗装の種類の一つとして認識する。

【0037】

道路は、上述のような舗装がされた路面上に、塗装したり、舗装材料とは異なる材料を用いたりすること等によって、センターライン、駐車枠線、駐車禁止マーク等が描かれていることがある。このような線やマークによっても、道路の表面の凹凸が変化し、タイヤ（車輪）が線やマークの上を走行したとき、走行音が変化することがある。このとき、ステアリングの切り替え操作等に応じて、タイヤが走行する路面が、センターラインやマークの上と、舗装部分とで頻繁に切り替わることがあるため、この路面の切り替わりを適切に認識すべく、変化に対応して走行音も変化することが望ましい。このため、認識部１２は、画像認識により、道路全体を含む領域Ｒ１に代えて、車両の進行方向におけるタイヤの近傍の領域Ｒ２を検出し、この領域Ｒ２内の道路の表面の状態を認識する構成とすることもできる。これにより、認識部１２は、タイヤが走行する道路の表面の状態の変化を、より詳細かつ、より適切に認識できる。

【0038】

認識部１２は、「道路の表面の状態」として、積雪状態、乾燥状態、湿潤状態、凍結状態等の路面のコンディションを認識したり、物体の明るさ等によって時間帯を認識したりすることができる。走行音は、路面のコンディションや、時間帯によっても変化するためである。

【0039】

音源処理部１３は、道路の表面の状態及び車室内の空間の大きさに基づいて、シミュレーション装置２０で再生する走行音データを生成する。このため、音源処理部１３は、受信部１１から入力された車名と、認識部１２が認識した道路の表面の状態とに基づいて、音源情報記憶部１５ｂから対応する音源情報データを取得する。

【0040】

本実施形態では、車名に対応する車室内の空間の大きさごとに、道路の表面の状態に応じた音源が音源情報記憶部１５ｂに記憶されている。このため、音源処理部１３は、道路の表面の状態及び車室内の空間の大きさに対応した適切な音源データを取得できる。音源処理部１３は、取得した音源データを用いて、映像データに対応付けて、走行音データを生成する。

【0041】

より具体的には、道路の表面の状態の認識結果が、アスファルト舗装である場合は、音源処理部１３は、車名に対応するアスファルト舗装の走行時の音源データを音源情報記憶部１５ｂから取得し、走行音データを生成する。道路の表面の状態の認識結果が、アスファルト舗装から砂利舗装に切り替わっているとき、音源処理部１３は、車名に対応するアスファルト舗装の走行時の音源データと、砂利舗装の走行時の音源データとを音源情報記憶部１５ｂから取得し、画像データに基づく画像Ｇ１内での道路の表面の状態の切り替わりに合わせて、これらの音源データを繋ぎ合わせ、走行音データを生成する。

【0042】

配信部１４は、シミュレーション装置２０からのＩＤ番号に対応するイベント情報と、このイベント情報に対応して音源処理部１３が生成した走行音データを、認識結果の一つとしてシミュレーション装置２０へ送信する。

【0043】

シミュレーション装置２０は、被験者Ｐに運転の疑似体験をさせる装置であり、「ドライビングシミュレータ」等とも呼ばれる。第１実施形態のシミュレーション装置２０は、図２に示されるように、コントローラ３０と、座席部４０と、画像表示部５０と、操作部６０とを主に備える。

【0044】

コントローラ３０は、シミュレーション装置２０の操作者、被験者Ｐ等が操作する情報端末である。コントローラ３０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、タッチパネル、液晶ディスプレイ等を備えたパーソナルコンピュータから構成されるが、タブレット端末、スマートフォン、ノートパソコン等から構成することもできる。

【0045】

コントローラ３０は、図２に示されるように、入力部３１と、通信部３２と、情報処理部３３と、記憶部３４とを主に備える。

【0046】

入力部３１は、操作者や被験者Ｐがシミュレーション装置２０に各種指示や情報を入力するための機器である。入力部３１は、タッチパネル、キーボード、マウス等から構成される。操作者等は、入力部３１から、シミュレーションの対象となる車両の情報として車名と、イベント情報のＩＤ番号とを入力する。

【0047】

通信部３２は、通信ネットワーク回線Ｌ２を介してサーバ装置１０と通信するための通信モジュール又は通信インターフェイスである。通信部３２は、入力部３１から入力された車名及びＩＤ番号をサーバ装置１０へ送信する。通信部３２は、サーバ装置１０からイベント情報と走行音データとを受信し、制御部３５へ出力する。

【0048】

情報処理部３３は、ＣＰＵ、ＲＡＭ等により主に構成される。記憶部３４は、ＲＯＭ、ＨＤＤ等の記憶装置により主に構成されるが、外部に設けられたサーバやデータベースを備えることもできる。

【0049】

記憶部３４は、シミュレーション装置２０を動作させるための制御プログラム、制御部３５における各種動作の際に用いられる各種データやパラメータ等を、一時的又は非一時的に格納する。記憶部３４は、イベント情報及び音声データを、一時的又は非一時的に格納する。

【0050】

情報処理部３３は、ＲＯＭに格納された所定のプログラムをＲＡＭに展開して実行することにより、シミュレーション装置２０全体の動作を制御する。情報処理部３３は、図２に示されるように、座席部４０の走行音再生部４２及び画像表示部５０の動作を制御する制御部３５として機能する。

【0051】

制御部３５は、通信部３２がサーバ装置１０から受信したイベント情報及び走行音データを記憶部３４に記憶する。制御部３５は、画像表示部５０を制御してイベント情報の映像データを再生させる。この映像データの再生と同期して、制御部３５は、座席部４０の走行音再生部４２を制御して走行音データを再生させる。走行音データの音量は、予め最大音量と最小音量とが決められており、この最大音量と最小音量の範囲内で、制御部３５は、車両の速度に応じて音量を決定する。

【0052】

この音量の決定は、以下のようにして行われる。制御部３５は、映像データと走行音データの再生の際に、操作部６０のアクセル部６２に設けられたアクセル検知部６２ａから操作量を随時取得し、取得した操作量に基づいて、疑似運転中の車両の速度を算出する。制御部３５は、算出した速度に基づいて音量を決定し、決定した音量で走行音再生部４２に走行音データを再生させる。

【0053】

制御部３５は、操作部６０のアクセル部６２に設けられたアクセル検知部６２ａから取得した操作量、操作部６０のステアリング部６１に設けられた操舵角検知部６１ａから取得した操舵角、ブレーキ部７３に設けられたブレーキ検知部６３ａから取得した操作量、さらには画像表示部５０の視線検知部５２が検知した被験者Ｐの視線の方向等に基づいて、被験者Ｐの運転を評価することもできる。制御部３５は、コントローラ３０の液晶ディスプレイ、プリンタ等に評価結果を出力することができる。

【0054】

座席部４０は、座席本体４１と、第２の再生部である走行音再生部４２とを主に備える。座席本体４１は、被験者Ｐが座る部材である。走行音再生部４２は、走行音を再生する機器であり、座面スピーカ４３と、背面スピーカ４４とを備える。

【0055】

図４に示されるように、座面スピーカ４３は、座席本体４１の座面に設けられている。背面スピーカ４４は、座席本体４１の背もたれに設けられている。座面スピーカ４３及び背面スピーカ４４は、制御部３５の制御により走行音データを再生し、ロードノイズを含む走行音を被験者Ｐに向けて出力する。この走行音は低音域の音であるため、座席本体４１が振動し、この振動が座席本体４１に座る被験者Ｐに伝達される。このため、被験者Ｐは、リアルな走行音及び振動により、より臨場感のある疑似体験が可能となる。

【0056】

なお、制御部３５は、座面スピーカ４３及び背面スピーカ４４から、同じ音量で同じ走行音を出力することができる。または、制御部３５は、道路に近い座面スピーカ４３から、背面スピーカ４４よりも大きな音量で走行音を出力することや、座面スピーカ４３と背面スピーカ４４とで、再生する音域を変えて走行音を出力することもできる。これにより、座面スピーカ４３及び背面スピーカ４４は、よりリアルな走行音を出力することができる。

【0057】

座席部４０は、振動発生部を備えていてもよい。制御部３５が、画像データ及び音声データの再生に合わせて、カメラ部２で車両の周囲が撮影されたときのＧセンサ３の検知結果に基づいて振動発生部を駆動して振動を発生させ、実際の車両の運転時と同様の振動を被験者Ｐに付与することで、より臨場感を高めることができる。

【0058】

画像表示部５０は、制御部３５の制御により、カメラ部２が記録した映像データの画像データ及び音声データを再生し、被験者Ｐに提示する画像表示装置である。本実施形態の画像表示部５０は、ヘッドマウントディスプレイから構成され、被験者Ｐの頭部に装着されるが、これに限定されず、公知の画像表示装置から構成することができる。

【0059】

画像表示部５０は、映像再現部５１と、視線検知部５２と、ＶＲ表示部５３と、第１の再生部であるＶＲスピーカ５４とを主に備える。画像表示部５０は、バックライト等の光学系、投影光学系等、一般的な画像表示装置が有する部材を備えている。

【0060】

映像再現部５１は、制御部３５の制御により、画像データに基づく画像Ｇ１をＶＲ表示部５３の表示面に表示させ、音声データをＶＲスピーカ５４で再生させる。図１に示されるように、映像再現部５１は、被験者Ｐの周囲３６０度の方向に球面状の投影面Ｖを設定する。映像再現部５１は、視線検知部５２が検知した視線の方向を中心とした所定範囲の領域Ｗの画像Ｇ１を、視線の方向の変化に対応させて領域を移動させつつＶＲ表示部５３に表示させる。これにより、被験者Ｐは、自身の視線の方向に対応する画像Ｇ１を視認することができる。

【0061】

すなわち、被験者Ｐが正面又は後方を向けば、映像再現部５１は、ＶＲ表示部５３に車両の前方の画像又は後方の画像をそれぞれ表示させる。被験者Ｐが左方向、右方向、上方向又は下方向を向けば、映像再現部５１は、ＶＲ表示部５３に車両の左方、右方、上方又は下方の画像をそれぞれ表示させる。

【0062】

視線検知部５２は、加速度センサ等から構成され、被験者Ｐの頭部の動きに基づいて、視線の方向を検知する。視線の方向は、本実施形態では、被験者Ｐの視線の延長線とＶＲ表示部５３の表示面に表示された画像Ｇ１とが交差した位置、つまり画像Ｇ１における３次元座標で表される。視線検知部５２は、検知した視線の方向の位置情報を、映像再現部５１に出力する。

【0063】

なお、視線検知部５２は、加速度センサに限定されず、他の例として被験者Ｐの画像を撮影する撮像装置とすることもできる。視線検知部５２は、撮影した被験者Ｐの画像から、画像認識により目を検出し、視線の方向を検知する。

【0064】

ＶＲ表示部５３は、画像表示部５０を頭部に装着した被験者Ｐの眼の前方に配置され、その表示面に画像Ｇ１が表示される。ＶＲ表示部５３は、液晶ディスプレイ、有機ＥＬディスプレイ等から構成される。ＶＲ表示部５３は、被験者Ｐが画像Ｇ１を視認できればよく、被験者Ｐは表示画像とともに外部の現実環境を視認可能な透過型でとすることができるが、非透過型とすることもできる。

【0065】

ＶＲスピーカ５４は、画像表示部５０のつる部分に設けられており、周囲に音を出力する。ＶＲスピーカ５４は、被験者Ｐの耳に装着されるヘッドホン型のスピーカとすることや、イヤホン型のスピーカとすることもできるし、画像表示部５０の何れかの位置に内蔵又は取り付けられ、周囲に音を出力する構成とすることもできる。これにより、被験者Ｐは、画像Ｇ１を視認しつつ、画像データが録画されたときの音声を聞くことができ、より臨場感のある疑似体験が可能となる。

【0066】

操作部６０は、被験者Ｐの各種操作（動作）を受け付ける部材である。操作部６０は、ステアリング部６１と、アクセル部６２と、ブレーキ部６３とを主に備える。操作部６０は、クラッチ部、ウィンカー部等を備えていてもよい。

【0067】

ステアリング部６１は、車両のステアリングを模した部材であり、被験者Ｐのステアリング操作の入力を受け付ける。ステアリング部６１は操舵角検知部６１ａを備える。操舵角検知部６１ａは、被験者Ｐのステアリング部６１の操作に基づき、ステアリング角度（操舵角）等を検知し、検知結果を情報処理部３３へ送信する。

【0068】

アクセル部６２は、車両のアクセルペダルを模した部材であり、被験者Ｐのアクセル操作を受け付ける。アクセル部６２はアクセル検知部６２ａを備える。アクセル検知部６２ａは被験者Ｐのアクセル部６２の操作量等を検知し、検知結果を情報処理部３３へ送信する。ブレーキ部６３は、車両のブレーキペダルを模した部材であり、被験者Ｐのブレーキ操作を受け付ける。ブレーキ部６３はブレーキ検知部６３ａを備える。ブレーキ検知部６３ａは被験者Ｐのブレーキ部６３の操作に基づき、操作量等を検知し、検知結果を情報処理部３３へ送信する。

【0069】

上述のような構成の第１実施形態に係るシミュレーションシステム１００の動作の流れの一例は、図５のシーケンス図を参照して以下のように説明される。図５は、シミュレーションシステム１００の動作の流れの一例を示しているが、シミュレーションシステム１００の動作は、この図５の動作に限定されない。

【0070】

この図５に示される動作は、シミュレーションシステム１００を操作する操作者等により、シミュレーション装置２０の電源が投入され、シミュレーションシステム１００が起動した後に開始される。サーバ装置１０は、様々なイベント情報を車載カメラ１から収集し、イベント情報記憶部１５ａに記憶し、様々な車名ごとに、様々な道路の表面の状態に応じた音源データを音源情報記憶部１５ｂに記憶しているものとする。

【0071】

まず、被験者Ｐがシミュレーション装置２０の座席本体４１に座り、操作者又は被験者Ｐが、シミュレーション装置２０の入力部３１からシミュレーションの対象となる車両の車名とイベント情報のＩＤ番号を入力する。この入力を受けて、通信部３２は、車名とＩＤ番号をサーバ装置１０へ送信する。ステップＳ２で、サーバ装置１０の受信部１１は、車名とＩＤ番号を受信し、認識部１２へと出力する。次のステップＳ３で、認識部１２は、ＩＤ番号に対応するイベント情報をイベント情報記憶部１５ａから取得し、取得したイベント情報中の画像データを画像解析して、道路の表面の状態を認識する。

【0072】

次のステップＳ４で、音源処理部１３は、車名及び認識部１２での認識結果である道路の表面の状態に基づいて、音源情報記憶部１５ｂから対応する音源情報データを取得し、取得した音源データを用いて、走行音データを生成する。次のステップＳ５で、配信部１４は、認識部１２が取得したイベント情報と、音源処理部１３が生成した走行音データをシミュレーション装置２０へ送信する。

【0073】

次のステップＳ６で、シミュレーション装置２０の通信部３２は、サーバ装置１０からイベント情報及び走行音データを受信する。これらのデータは、制御部３５によって記憶部３４に一時的又は非一時的に記憶される。以上により、シミュレーション装置２０では、シミュレーションの準備が完了する。

【0074】

操作者又は被験者Ｐが、入力部３１に設けられたスタートボタン等を押すと、シミュレーションの開始指示が制御部３５に送信される。ステップＳ７で、制御部３５がこのシミュレーション開始指示を受信すると、プログラムはステップＳ８へ進み、制御部３５は、画像表示部５０を制御してイベント情報の映像データを１フレーム分再生させ、この映像データの再生と同期して、走行音再生部４２を制御して走行音データを再生させる。

【0075】

以上により、被験者Ｐの視線の方向に応じた画像Ｇ１がＶＲ表示部５３の表示面に表示され、映像データに録音された音声がＶＲスピーカ５４から出力されるとともに、座面スピーカ４３及び背面スピーカ４４から、ロードノイズを含む走行音が出力される。したがって、被験者Ｐは、車載カメラ１が記録したリアルな画像Ｇ１を視認し、音声を聞きつつ、車載カメラ１では録音できない低音域の音、すなわちロードノイズを含むよりリアルな走行音を聞くことができる。

【0076】

この映像データ及び走行音データの再生に際して、ステップＳ９で、制御部３５は、アクセル検知部６２ａから取得した操作量に基づいて速度を算出し、疑似運転中の車両の速度が変化したかどうか判定する。制御部３５が、速度が変化した、つまり加速又は減速されたと判定したとき（ＹＥＳ）、プログラムはステップＳ１０へと進み、速度が変化していないと判定したとき（ＮＯ）、プログラムはステップＳ１１へと進む。

【0077】

ステップＳ１０では、制御部３５は、座面スピーカ４３及び背面スピーカ４４を制御して、予め決められた下限値から上限値の範囲において、走行音データの音量を算出した速度に対応する音量に調整して再生させる。

【0078】

次のステップＳ１１では、制御部３５は、映像データ（フレーム）が終了したかどうかを判定する。制御部３５が、映像データは終了していない、つまり次の再生すべきフレームがあると判定したとき（ＮＯ）、プログラムはステップＳ８へ戻り、次のフレームについてステップＳ８～Ｓ１０の工程を繰り返す。

【0079】

以上により、被験者Ｐは、ＶＲ表示部５３に表示された、被験者Ｐの視線の方向に応じて変化する画像Ｇ１を視認し、ＶＲスピーカ５４から出力される、車載カメラ１が録音した音声データを聞きながら、運転の疑似体験が可能となる。被験者Ｐは、座面スピーカ４３及び背面スピーカ４４から出力される、道路の表面の状態及び車室内の空間の大きさに応じたロードノイズを含む走行音を聞くことができ、より臨場感のある疑似体験が可能となる。低音域のロードノイズの再生によって座席本体４１が振動し、被験者Ｐのアクセル部７２部の操作量に応じて音量が変化することで、被験者Ｐは、走行時の振動やスピード感も疑似体験することができ、臨場感がより向上する。

【0080】

ステップＳ１１で、制御部３５が、すべての映像データ（フレーム）の再生は終了したと判定すると（ＹＥＳ）、プログラムはＥＮＤへと進み、当該イベント情報に関するシミュレーションが終了する。当該被験者Ｐ又は別の被験者Ｐが、入力部３１から、所望のイベントのＩＤ番号及び車名を入力することで、ステップＳ１からの処理が実行され、新たなシミュレーションを実行することができる。

【0081】

（第２実施形態）
図７に示される第２実施形態に係るシミュレーションシステム１００Ａは、認識部３６及び音源処理部３７が、サーバ装置１０に代えてシミュレーション装置２０に備えられている。このこと以外は、第２実施形態に係るシミュレーションシステム１００Ａは、図１、図２等に示される第１実施形態のシミュレーションシステム１００と同様の基本構成を備えている。このため、以下では、第１実施形態と同様の構成は説明が省略され、第１実施形態と異なる構成が主に説明される。

【0082】

第２実施形態のシミュレーションシステム１００Ａは、サーバ装置１０と、シミュレーション装置２０とを主に備える。サーバ装置１０は、受信部１１と、配信部１４と、イベント情報記憶部１５ａ及び音源情報記憶部１５ｂを有するデータベース１５とを主に備える。シミュレーション装置２０は、コントローラ３０と、座席部４０と、画像表示部５０と、操作部６０とを主に備える。

【0083】

コントローラ３０は、入力部３１と、通信部３２と、情報処理部３３と、記憶部３４とを主に備える。情報処理部３３は、制御部３５と、認識部３６と、音源処理部３７とを備える。

【0084】

第２実施形態のシミュレーションシステム１００Ａでは、サーバ装置１０の受信部１１が、複数の車載カメラ１からイベント情報を受信し、データベース１５のイベント情報記憶部１５ａに記憶する。受信部１１は、シミュレーション装置２０から車名とイベント情報のＩＤ番号を受信する。配信部１４は、受信部１１が受信したＩＤ番号に対応するイベント情報をイベント情報記憶部１５ａから取得し、車名に対応する音源データを音源情報記憶部１５ｂから取得し、これらをシミュレーション装置２０へ送信する。

【0085】

シミュレーション装置２０では、認識部３６が受信したイベント情報を画像認識し、道路の表面の状態を認識する。次いで、音源処理部３７が、この認識結果に基づいて、受信した音源データを用いて走行音データを生成する。制御部３５が、画像表示部５０を制御して、イベント情報の映像データを再生させる。この映像データの再生と同期して、制御部３５は、座席部４０の座面スピーカ４３及び背面スピーカ４４を制御し、アクセル部７２の操作量に応じた音量で、走行音データを再生させる。

【0086】

（第３実施形態）
図７に示される第３実施形態に係るシミュレーションシステム１００Ｂは、認識部３６、音源処理部３７及び音源情報記憶部３４ａが、サーバ装置１０に代えてシミュレーション装置２０に備えられている。このこと以外は、第２実施形態に係るシミュレーションシステム１００Ｂは、図１、図２等に示される第１実施形態のシミュレーションシステム１００と同様の基本構成を備えている。

【0087】

第３実施形態のシミュレーションシステム１００Ｂは、サーバ装置１０と、シミュレーション装置２０とを主に備える。サーバ装置１０は、受信部１１と、配信部１４と、イベント情報記憶部１５ａを有するデータベース１５とを主に備える。シミュレーション装置２０は、コントローラ３０と、座席部４０と、画像表示部５０と、操作部６０とを主に備える。

【0088】

コントローラ３０は、入力部３１と、通信部３２と、情報処理部３３と、記憶部３４とを主に備える。情報処理部３３は、制御部３５と、認識部３６と、音源処理部３７とを備える。第３実施形態では、記憶部３４が、様々な車名と様々な道路の表面の状態に対応した複数の音源データが記憶された音源情報記憶部３４ａを有する。

【0089】

第３実施形態のシミュレーションシステム１００Ｂでは、サーバ装置１０の受信部１１が、複数の車載カメラ１からイベント情報を受信し、データベース１５のイベント情報記憶部１５ａに記憶する。受信部１１は、シミュレーション装置２０からイベント情報のＩＤ番号を受信する。配信部１４は、ＩＤ番号に対応するイベント情報をイベント情報記憶部１５ａから取得し、シミュレーション装置２０へ送信する。

【0090】

シミュレーション装置２０では、認識部３６が、受信したイベント情報を画像認識し、道路の表面の状態を認識する。この認識部３６で認識された道路の表面の状態と、入力部３１から入力された車名に基づいて、音源処理部３７が、音源情報記憶部１５ｂから音源データを取得し、走行音データを生成する。制御部３５が、画像表示部５０を制御して、イベント情報の映像データを再生させる。この映像データの再生と同期して、制御部３５は、座席部４０の座面スピーカ４３及び背面スピーカ４４を制御して、アクセル部７２の操作量に応じた音量で、走行音データを再生させる。

【0091】

以上、第２、第３実施形態のシミュレーションシステム１００Ａ，１００Ｂでも、第１実施形態のシミュレーションシステム１００と同様の作用効果が得られる。第２、第３実施形態のシミュレーションシステム１００Ａ，１００Ｂでは、サーバ装置１０は、シミュレーション装置２０からの要求に応じてイベント情報及び／又は音源データを送信するだけでよく、画像認識や走行音の生成をする必要がない。このため、サーバ装置１０は、容量や演算の負荷が低減される。コンピュータを認識部３６及び音源処理部３７として機能させるシミュレーションプログラムをインストールすることで、本実施形態のシミュレーションシステム１００Ａ,１００Ｂを実現することができる。

【0092】

これに対して、第１実施形態のシミュレーションシステム１００は、サーバ装置１０が画像認識や、走行音の生成をするため、シミュレーション装置２０は映像データと走行音データの再生を行えばよく、シミュレーション装置２０の容量や負荷が低減されるとともに、シミュレーション装置２０及びプログラムの製造コストや販売コストが低減される。

【0093】

第１、第２実施形態のシミュレーションシステム１００，１００Ａは、音源情報記憶部１５ｂが、サーバ装置１０のデータベース１５に設けられている。このため、シミュレーションシステム１００，１００Ａを提供する事業者は、サーバ装置１０の音源情報記憶部１５ｂを更新するだけで、最新の音源データを各シミュレーション装置２０に提供でき、事業者の負担を軽減できる。これに対して、第３実施形態のシミュレーションシステム１００Ｂは、音源情報記憶部３４ａをシミュレーション装置２０の記憶部３４に設けている。このため、事業者は、サーバ装置１０に音源情報記憶部１５ｂを設ける必要がなく、イベント情報を収集して記録している既存のサーバ装置１０を用いることができ、製造コスト等を低減できる。

【0094】

以上説明したように、上記第１実施形態に係るシミュレーションシステム１００は、車両に設置された情報記録装置（例えば、車載カメラ１）が記録した画像に基づいて、画像における道路の状態を認識する認識部１２と、認識部１２による認識結果を、情報記録装置が記録した画像を再生し、道路の状態に基づいて、再生部（例えば、ＶＲスピーカ５４、座面スピーカ４３及び背面スピーカ４４）が再生する音を制御する制御部３５を有するシミュレーション装置２０に送信する配信部１４と、を備える。

【0095】

この構成により、制御部３５は、サーバ装置１０の認識部１２が認識した道路の表面の状態に基づいて、再生部が再生する音を制御することができる。このため、画像中の道路の状態に対応した音が再生部で再生されるとともに、画像中の道路の状態が変化したときでも、変化した道路の状態に対応した音が、再生部により再生される。したがって、第１実施形態に係るシミュレーションシステム１００は、道路の状態に対応した適切な音を再生することで、被験者Ｐに、より臨場感のある運転の疑似体験をさせることができる。

【0096】

上記第２、第３実施形態に係るシミュレーションシステム１００Ａ，１００Ｂが備えるシミュレーション装置２０は、車両に設置された情報記録装置（例えば、車載カメラ１）が記録した画像を再生するシミュレーション装置２０である。このシミュレーション装置２０は、車載カメラ１が記録した画像に基づいて、画像における道路の状態を認識する認識部３６と、画像における道路の状態に基づいて、再生部（例えば、ＶＲスピーカ５４、座面スピーカ４３及び背面スピーカ４４）が再生する音を制御する制御部３５と、を備える。認識部１２は、情報記録装置が記録した画像を画像認識することで、画像における道路の表面の状態を認識する。

【0097】

この結果、制御部３５は、再生部を制御して画像中の道路の状態に対応した音を再生させるとともに、道路の状態が変化したときでも、変化した道路の状態に対応した音を再生させることができる。したがって、第２、第３実施形態に係るシミュレーション装置２０及びこれを備えるシミュレーションシステム１００Ａ，１００Ｂは、道路の状態に対応した適切な音を再生することで、被験者Ｐに、より臨場感のある運転の疑似体験をさせることができる。

【0098】

上記各実施形態の制御部３５は、情報記録装置が記録していない音域の音を出力するよう再生部を制御する。情報記録装置が記録していない音域の音は、人の声よりも低い音域の音を含むことが望ましく、車両が道路を走行する際に発生する走行音を含むことが望ましく、ロードノイズを含むことが望ましい。このような音を再生部が再生することで、車両の実際の走行時のような、よりリアルな音が再生され、被験者Ｐは、より臨場感のある疑似体験ができる。

【0099】

ところで、車両内に響く音は、車室内の空間の大きさに応じて変化することが知られている。この車室内の空間の大きさは、車両の種類によって異なる。このため、上記各実施形態のシミュレーションシステム１００，１００Ａ，１００Ｂは、シミュレーションの対象となる車両の情報を入力する入力部３１を備える。制御部３５は、シミュレーションの対象となる車両の車室内の空間の大きさと、画像における道路の状態との両方に基づいて、情報記録装置が記録していない音域の音を出力するよう再生部を制御する。したがって、上記各実施形態のシミュレーションシステム１００，１００Ａ，１００Ｂは、道路の表面の状態だけでなく、車室内の空間の大きさに対応する音を再生部に再生させることができ、臨場感をより高めることができる。

【0100】

上記各実施形態の再生部は、情報記録装置が録音した音域の音を出力する第１の再生部（ＶＲスピーカ５４）と、情報記録装置が録音していない音域の音を出力する第２の再生部（座面スピーカ４３及び背面スピーカ４４を有する走行音再生部４２）と、を含む。このため、被験者Ｐは、情報記録装置が録音した車室内の音と、道路の表面の状態に対応して生成された走行音の両方を聞くことができる。第２の再生部は、被験者Ｐが座る座席部４０に設けることが望ましく、被験者Ｐは、よりリアルな走行音を聞けるだけでなく走行音に起因する振動も体感でき、より臨場感のある疑似体験ができる。

【0101】

上記各実施形態の認識部１２,３６は、情報記録装置が記録した画像から、車両の進行方向における車輪（タイヤ）の近傍の領域Ｂを検出し、この領域Ｂ内の道路の表面の状態を認識するものであってもよい。この構成により、車両が走行する道路の表面の状態が頻繁に変化した場合でも、この変化が認識され、制御部３５は、この変化に対応した走行音を再生部に再生させることができる。車両が走行車線からはみ出して、センターライン等を走行したとき、その道路の表面の状態の変化に対応して、走行音が変化する。このため、被験者Ｐは、車両が走行車線からはみ出したことを適切に認識でき、より臨場感のある疑似体験ができる。

【0102】

以上、図面を参照して本開示の実施形態を詳述してきたが、具体的な構成は、これらの実施形態に限らず、本開示の要旨を逸脱しない程度の設計的変更は、本開示に含まれる。

【符号の説明】

【0103】

１ ：車載カメラ（情報記録装置） １０ ：サーバ装置
１２ ：認識部 １４ ：配信部
２０ ：シミュレーション装置 ３１ ：入力部
３５ ：制御部 ３６ ：認識部
４２ ：走行音再生部（第２の再生部） ４３ ：座面スピーカ（第２の再生部）
４４ ：背面スピーカ（第２の再生部） ５４ ：ＶＲスピーカ（第１の再生部）
Ｇ１ ：画像 Ｒ２ ：領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】