IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックIPマネジメント株式会社の特許一覧

特開2023-92261車両制御装置、車両制御方法及びプログラム
<>
  • 特開-車両制御装置、車両制御方法及びプログラム 図1
  • 特開-車両制御装置、車両制御方法及びプログラム 図2
  • 特開-車両制御装置、車両制御方法及びプログラム 図3
  • 特開-車両制御装置、車両制御方法及びプログラム 図4
  • 特開-車両制御装置、車両制御方法及びプログラム 図5
  • 特開-車両制御装置、車両制御方法及びプログラム 図6
  • 特開-車両制御装置、車両制御方法及びプログラム 図7
  • 特開-車両制御装置、車両制御方法及びプログラム 図8
  • 特開-車両制御装置、車両制御方法及びプログラム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023092261
(43)【公開日】2023-07-03
(54)【発明の名称】車両制御装置、車両制御方法及びプログラム
(51)【国際特許分類】
   G08G 1/16 20060101AFI20230626BHJP
   B60W 40/08 20120101ALI20230626BHJP
【FI】
G08G1/16 F
B60W40/08
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2021207398
(22)【出願日】2021-12-21
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】末成 信宏
(72)【発明者】
【氏名】木村 聡一
【テーマコード(参考)】
3D241
5H181
【Fターム(参考)】
3D241BA60
3D241BA70
3D241CE05
3D241CE08
3D241DC57Z
3D241DD02Z
3D241DD04Z
3D241DD07Z
5H181AA01
5H181AA03
5H181AA06
5H181AA07
5H181BB04
5H181BB12
5H181BB13
5H181BB20
5H181CC04
5H181LL07
5H181LL08
5H181LL09
5H181LL20
(57)【要約】
【課題】車両を効果的に制御することができる車両制御装置を提供する。
【解決手段】車両制御装置2は、運転者を撮像した画像情報を取得する取得部8と、画像情報に基づいて運転者の第1の状態を検出する第1の検出部10と、画像情報に基づいて運転者の第2の状態を検出する第2の検出部12と、第1の状態及び第2の状態が検出された場合に、関連情報に基づいて、第1の状態に対応する第1の重み、及び、第2の状態に対応する第2の重みを算出する重み算出部14と、第1の状態に対応する第1の基準制御パラメータを第1の重みで重み付けした値、及び、第2の状態に対応する第2の基準制御パラメータを第2の重みで重み付けした値を用いて、車両を制御するための制御パラメータを算出する制御パラメータ算出部18とを備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
車両の運転者の状態に応じて、前記車両を制御するための車両制御装置であって、
前記運転者を撮像した画像情報を取得する取得部と、
前記画像情報に基づいて、前記運転者の第1の状態を検出する第1の検出部と、
前記画像情報に基づいて、前記運転者の前記第1の状態とは異なる第2の状態を検出する第2の検出部と、
前記第1の状態及び前記第2の状態が検出された場合に、関連情報に基づいて、前記第1の状態に対応する第1の重み、及び、前記第2の状態に対応する第2の重みを算出する重み算出部と、
前記第1の状態に対応する第1の基準制御パラメータを前記第1の重みで重み付けした値、及び、前記第2の状態に対応する第2の基準制御パラメータを前記第2の重みで重み付けした値を用いて、前記車両を制御するための制御パラメータを算出する制御パラメータ算出部と、を備える
車両制御装置。
【請求項2】
前記関連情報は、前記第1の状態の検出結果の確からしさを示す指標である第1の信頼度と、前記第2の状態の検出結果の確からしさを示す指標である第2の信頼度と、を含み、
前記重み算出部は、前記第1の信頼度及び前記第2の信頼度を用いて、前記第1の重み及び前記第2の重みを算出する
請求項1に記載の車両制御装置。
【請求項3】
前記関連情報は、前記第1の状態及び前記第2の状態の各々の優先順位を示す優先順位情報を含み、
前記重み算出部は、前記第2の状態が検出された後に前記第1の状態が検出された場合であって、前記優先順位情報に基づいて前記第1の状態の優先順位が前記第2の状態の優先順位よりも低いと判定した場合には、前記第2の重みが前記第1の重みよりも高くなるように、前記第1の重み及び前記第2の重みを算出する
請求項1に記載の車両制御装置。
【請求項4】
前記関連情報は、複数の条件の各々と、前記第1の重みの初期値である第1の初期値を補正するための第1の補正値と、前記第2の重みの初期値である第2の初期値を補正するための第2の補正値との対応関係を示す対応情報を含み、
前記重み算出部は、前記第1の初期値及び前記第2の初期値を設定し、前記複数の条件のうち特定の条件が満たされた場合に、前記対応情報を参照して前記特定の条件に対応する前記第1の補正値及び前記第2の補正値を用いて、前記第1の初期値及び前記第2の初期値をそれぞれ補正することにより、前記第1の重み及び前記第2の重みを算出する
請求項1に記載の車両制御装置。
【請求項5】
前記複数の条件は、前記運転者の状態、前記車両の操作及び挙動、前記車両の周辺の交通状況、並びに、前記第1の状態及び前記第2の状態の各々の優先順位の少なくとも1つを含む
請求項4に記載の車両制御装置。
【請求項6】
車両の運転者の状態に応じて、前記車両を制御するための車両制御方法であって、
前記運転者を撮像した画像情報を取得するステップと、
前記画像情報に基づいて、前記運転者の第1の状態を検出するステップと、
前記画像情報に基づいて、前記運転者の前記第1の状態とは異なる第2の状態を検出するステップと、
前記第1の状態及び前記第2の状態が検出された場合に、関連情報に基づいて、前記第1の状態に対応する第1の重み、及び、前記第2の状態に対応する第2の重みを算出するステップと、
前記第1の状態に対応する第1の基準制御パラメータを前記第1の重みで重み付けした値、及び、前記第2の状態に対応する第2の基準制御パラメータを前記第2の重みで重み付けした値を用いて、前記車両を制御するための制御パラメータを算出するステップと、を含む
車両制御方法。
【請求項7】
請求項6に記載の車両制御方法をコンピュータに実行させる
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車両制御装置、車両制御方法及びプログラムに関する。
【背景技術】
【0002】
車両の運転者が車両の運転に支障を来す状態となった場合に、運転者の当該状態に応じて車両を制御する技術が知られている。特許文献1には、車両を運転している運転者の脇見運転を検出した場合に、運転者に対して警報音を出力する技術が開示されている。また、特許文献2には、車両を運転している運転者の失神等の体調急変を検出した場合に、運転者に対して警報音を一定時間出力した後に、車両を停止させる技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第5040851号公報
【特許文献2】特開2020-82968号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した従来の技術では、運転者の単一の状態が検出された場合のみを想定しているため、運転者の複数の状態が検出された場合には、車両を効果的に制御することができないという課題が生じる。
【0005】
そこで、本開示は、車両を効果的に制御することができる車両制御装置、車両制御方法及びプログラムを提供する。
【課題を解決するための手段】
【0006】
本開示の一態様に係る車両制御装置は、車両の運転者の状態に応じて、前記車両を制御するための車両制御装置であって、前記運転者を撮像した画像情報を取得する取得部と、前記画像情報に基づいて、前記運転者の第1の状態を検出する第1の検出部と、前記画像情報に基づいて、前記運転者の前記第1の状態とは異なる第2の状態を検出する第2の検出部と、前記第1の状態及び前記第2の状態が検出された場合に、関連情報に基づいて、前記第1の状態に対応する第1の重み、及び、前記第2の状態に対応する第2の重みを算出する重み算出部と、前記第1の状態に対応する第1の基準制御パラメータを前記第1の重みで重み付けした値、及び、前記第2の状態に対応する第2の基準制御パラメータを前記第2の重みで重み付けした値を用いて、前記車両を制御するための制御パラメータを算出する制御パラメータ算出部と、を備える。
【0007】
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能なCD-ROM(Compact Disc-Read Only Memory)等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0008】
本開示の一態様に係る車両制御装置等によれば、車両を効果的に制御することができる。
【図面の簡単な説明】
【0009】
図1】実施の形態1に係る車両制御装置の構成を示すブロック図である。
図2】実施の形態1に係る基準制御パラメータテーブルの一例を示す図である。
図3】実施の形態1に係る車両制御装置の動作の流れを示すフローチャートである。
図4】実施の形態2に係る車両制御装置の構成を示すブロック図である。
図5】実施の形態2に係る優先順位テーブルの一例を示す図である。
図6】実施の形態2に係る車両制御装置の動作の流れを示すフローチャートである。
図7】実施の形態3に係る車両制御装置の構成を示すブロック図である。
図8】実施の形態3に係る操作テーブルの一例を示す図である。
図9】実施の形態3に係る車両制御装置の動作の流れを示すフローチャートである。
【発明を実施するための形態】
【0010】
本開示の一態様に係る車両制御装置は、車両の運転者の状態に応じて、前記車両を制御するための車両制御装置であって、前記運転者を撮像した画像情報を取得する取得部と、前記画像情報に基づいて、前記運転者の第1の状態を検出する第1の検出部と、前記画像情報に基づいて、前記運転者の前記第1の状態とは異なる第2の状態を検出する第2の検出部と、前記第1の状態及び前記第2の状態が検出された場合に、関連情報に基づいて、前記第1の状態に対応する第1の重み、及び、前記第2の状態に対応する第2の重みを算出する重み算出部と、前記第1の状態に対応する第1の基準制御パラメータを前記第1の重みで重み付けした値、及び、前記第2の状態に対応する第2の基準制御パラメータを前記第2の重みで重み付けした値を用いて、前記車両を制御するための制御パラメータを算出する制御パラメータ算出部と、を備える。
【0011】
本態様によれば、運転者の第1の状態及び第2の状態が検出された場合に、制御パラメータ算出部は、第1の状態に対応する第1の基準制御パラメータを第1の重みで重み付けした値、及び、第2の状態に対応する第2の基準制御パラメータを第2の重みで重み付けした値を用いて、制御パラメータを算出する。これにより、第1の状態及び第2の状態を考慮して制御パラメータを算出することができ、このような制御パラメータを用いることにより、車両を効果的に制御することができる。
【0012】
例えば、前記関連情報は、前記第1の状態の検出結果の確からしさを示す指標である第1の信頼度と、前記第2の状態の検出結果の確からしさを示す指標である第2の信頼度と、を含み、前記重み算出部は、前記第1の信頼度及び前記第2の信頼度を用いて、前記第1の重み及び前記第2の重みを算出するように構成してもよい。
【0013】
本態様によれば、第1の信頼度及び第2の信頼度を用いて、第1の重み及び第2の重みを精度良く算出することができる。
【0014】
例えば、前記関連情報は、前記第1の状態及び前記第2の状態の各々の優先順位を示す優先順位情報を含み、前記重み算出部は、前記第2の状態が検出された後に前記第1の状態が検出された場合であって、前記優先順位情報に基づいて前記第1の状態の優先順位が前記第2の状態の優先順位よりも低いと判定した場合には、前記第2の重みが前記第1の重みよりも高くなるように、前記第1の重み及び前記第2の重みを算出するように構成してもよい。
【0015】
本態様によれば、第1の状態及び第2の状態の各々の優先順位を考慮して、第1の重み及び第2の重みを精度良く算出することができる。
【0016】
例えば、前記関連情報は、複数の条件の各々と、前記第1の重みの初期値である第1の初期値を補正するための第1の補正値と、前記第2の重みの初期値である第2の初期値を補正するための第2の補正値との対応関係を示す対応情報を含み、前記重み算出部は、前記第1の初期値及び前記第2の初期値を設定し、前記複数の条件のうち特定の条件が満たされた場合に、前記対応情報を参照して前記特定の条件に対応する前記第1の補正値及び前記第2の補正値を用いて、前記第1の初期値及び前記第2の初期値をそれぞれ補正することにより、前記第1の重み及び前記第2の重みを算出するように構成してもよい。
【0017】
本態様によれば、複数の条件のうち特定の条件が満たされた場合に、当該特定の条件を考慮して、第1の重み及び第2の重みを精度良く算出することができる。
【0018】
例えば、前記複数の条件は、前記運転者の状態、前記車両の操作及び挙動、前記車両の周辺の交通状況、並びに、前記第1の状態及び前記第2の状態の各々の優先順位の少なくとも1つを含むように構成してもよい。
【0019】
本開示の一態様に係る車両制御方法は、車両の運転者の状態に応じて、前記車両を制御するための車両制御方法であって、前記運転者を撮像した画像情報を取得するステップと、前記画像情報に基づいて、前記運転者の第1の状態を検出するステップと、前記画像情報に基づいて、前記運転者の前記第1の状態とは異なる第2の状態を検出するステップと、前記第1の状態及び前記第2の状態が検出された場合に、関連情報に基づいて、前記第1の状態に対応する第1の重み、及び、前記第2の状態に対応する第2の重みを算出するステップと、前記第1の状態に対応する第1の基準制御パラメータを前記第1の重みで重み付けした値、及び、前記第2の状態に対応する第2の基準制御パラメータを前記第2の重みで重み付けした値を用いて、前記車両を制御するための制御パラメータを算出するステップと、を含む。
【0020】
本態様によれば、運転者の第1の状態及び第2の状態が検出された場合に、第1の状態に対応する第1の基準制御パラメータを第1の重みで重み付けした値、及び、第2の状態に対応する第2の基準制御パラメータを第2の重みで重み付けした値を用いて、制御パラメータを算出する。これにより、第1の状態及び第2の状態を考慮した制御パラメータを算出することができ、このような制御パラメータを用いることにより、車両を効果的に制御することができる。
【0021】
本開示の一態様に係るプログラムは、上述した車両制御方法をコンピュータに実行させる。
【0022】
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能なCD-ROM等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。
【0023】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【0024】
なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0025】
(実施の形態1)
[1-1.車両制御装置の構成]
図1及び図2を参照しながら、実施の形態1に係る車両制御装置2の構成について説明する。図1は、実施の形態1に係る車両制御装置2の構成を示すブロック図である。図2は、実施の形態1に係る基準制御パラメータテーブル20の一例を示す図である。
【0026】
図1に示すように、実施の形態1に係る車両制御装置2は、車両の運転者が車両の運転に支障を来す状態となった場合に、運転者の当該状態に応じて車両を制御するための装置である。車両には、車両制御装置2、撮像部4及び車両制御部6等が搭載されている。車両は、例えば普通乗用車、バス又はトラック等の自動車である。なお、車両は、自動車に限定されず、例えば建機又は農機等であってもよい。
【0027】
撮像部4は、車両の運転席に着座している運転者を撮像するためのカメラである。撮像部4としては、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いたカメラ、又は、CCD(Charge Coupled Device)イメージセンサを用いたカメラ等を適用可能である。撮像部4は、運転者を撮像した画像情報を車両制御装置2に出力する。
【0028】
車両制御装置2は、取得部8と、第1の検出部10と、第2の検出部12と、重み算出部14と、記憶部16と、制御パラメータ算出部18とを備えている。
【0029】
取得部8は、撮像部4から出力された画像情報を取得する。取得部8は、取得した画像情報を、第1の検出部10及び第2の検出部12の各々に出力する。
【0030】
第1の検出部10は、取得部8からの画像情報に基づいて、運転者の第1の状態を検出する。運転者の第1の状態とは、車両の制御が必要な(すなわち、車両の運転に支障を来す)運転者の状態であり、例えば「脇見」である。第1の検出部10は、画像情報に含まれる運転者の姿勢等を解析することにより、運転者の第1の状態として「脇見」を検出する。また、第1の検出部10は、例えばディープラーニング等を用いて、第1の状態の検出結果の確からしさを示す指標である第1の信頼度(関連情報の一例)を算出する。第1の信頼度は、例えば0~1.0の数値で表され、数値が高いほど第1の信頼度が高いことを意味する。第1の検出部10は、第1の状態の検出結果及び第1の信頼度を重み算出部14に出力する。
【0031】
第2の検出部12は、取得部8からの画像情報に基づいて、運転者の上記第1の状態とは異なる第2の状態を検出する。運転者の第2の状態とは、車両の制御が必要な(すなわち、車両の運転に支障を来す)運転者の状態であり、例えば「意識消失」である。第2の検出部12は、画像情報に含まれる運転者の眼の開き具合等を解析することにより、運転者の第2の状態として「意識消失」を検出する。また、第2の検出部12は、例えばディープラーニング等を用いて、第2の状態の検出結果の確からしさを示す指標である第2の信頼度(関連情報の一例)を算出する。第2の信頼度は、例えば0~1.0の数値で表され、数値が高いほど第2の信頼度が高いことを意味する。第2の検出部12は、第2の状態の検出結果及び第2の信頼度を重み算出部14に出力する。
【0032】
なお、本実施の形態では、車両制御装置2は、2つの検出部(第1の検出部10及び第2の検出部12)を備えるようにしたが、これに限定されず、3つ以上の検出部を備えるようにしてもよい。この場合、車両制御装置2は、第1の検出部10及び第2の検出部12に加えて第3の検出部(図示せず)を備え、第3の検出部は、取得部8からの画像情報に基づいて、運転者の第1の状態及び第2の状態とは異なる第3の状態として例えば「居眠り」を検出するようにしてもよい。
【0033】
重み算出部14は、第1の状態及び第2の状態が検出された場合に、第1の検出部10からの第1の信頼度、及び、第2の検出部12からの第2の信頼度を用いて、第1の状態に対応する第1の重み、及び、第2の状態に対応する第2の重みを算出する。重み算出部14は、第1の重み及び第2の重みの算出結果を制御パラメータ算出部18に出力する。
【0034】
ここで、重み算出部14による第1の重み及び第2の重みの算出方法について説明する。例えば、第1の信頼度が「0.8」、第2の信頼度が「0.6」である場合には、重み算出部14は、第1の重みの初期値である第1の初期値を第1の信頼度と同じ「0.8」に設定し、且つ、第2の重みの初期値である第2の初期値を第2の信頼度と同じ「0.6」に設定する。
【0035】
次に、重み算出部14は、第1の初期値「0.8」及び第2の初期値「0.6」を正規化する、具体的には、例えばソフトマックス関数に第1の初期値「0.8」及び第2の初期値「0.6」を代入することにより、第1の重みと第2の重みとの和が「1」になるように、第1の重み「0.55」及び第2の重み「0.45」を算出する。
【0036】
記憶部16は、基準制御パラメータテーブル20を記憶するメモリである。基準制御パラメータテーブル20は、例えば図2に示すようなデータテーブルである。基準制御パラメータテーブル20には、運転者の状態と、停車動作開始時間と、警報音のレベルとが対応付けられて格納されている。
【0037】
ここで、停車動作開始時間とは、第1の状態又は第2の状態が検出されてから、走行中の車両を車道の端(路肩)に停車させる停車動作を開始するまでの時間を意味する。また、警報音のレベルとは、音響機器28(後述する)のスピーカから運転者に対して出力する警報音の音量を意味する。警報音のレベルは、例えば「1」~「5」の5段階の数値で表され、警報音のレベルが大きいほど警報音の音量が大きいことを意味する。
【0038】
図2に示す例では、基準制御パラメータテーブル20の1行目には、運転者の状態として「脇見」、停車動作開始時間として「5秒」、警報音のレベルとして「1」が格納されている。また、基準制御パラメータテーブル20の2行目には、運転者の状態として「居眠り」、停車動作開始時間として「3秒」、警報音のレベルとして「3」が格納されている。また、基準制御パラメータテーブル20の3行目には、運転者の状態として「意識消失」、停車動作開始時間として「0秒」、警報音のレベルとして「5」が格納されている。なお、停車動作開始時間が「0秒」とは、第1の状態又は第2の状態が検出されたのと同時に、車両の停車動作が開始されることを意味する。
【0039】
制御パラメータ算出部18は、記憶部16に記憶された基準制御パラメータテーブル20を参照して、重み算出部14からの第1の重み及び第2の重みに基づいて、車両を制御するための制御パラメータを算出する。制御パラメータ算出部18は、制御パラメータの算出結果を車両制御部6に出力する。
【0040】
例えば、制御パラメータ算出部18は、第1の状態「脇見」に対応する停車動作開始時間「5秒」(第1の基準制御パラメータの一例)を第1の重み「0.55」で重み付けした値と、第2の状態「意識消失」に対応する停車動作開始時間「0秒」(第2の基準制御パラメータの一例)を第2の重み「0.45」で重み付けした値とを加算することにより、制御パラメータとして停車動作開始時間「2.75秒(=5秒×0.55+0秒×0.45)」を算出する。
【0041】
また例えば、制御パラメータ算出部18は、第1の状態「脇見」に対応する警報音のレベル「1」(第1の基準制御パラメータの一例)を第1の重み「0.55」で重み付けした値と、第2の状態「意識消失」に対応する警報音のレベル「5」(第2の基準制御パラメータの一例)を第2の重み「0.45」で重み付けした値とを加算することにより、制御パラメータとして警報音のレベル「2.8(=レベル1×0.55+レベル5×0.45)」を算出する。
【0042】
車両制御部6は、制御パラメータ算出部18からの制御パラメータに基づいて、車両に搭載された各種機器等、例えば、空調機器22、照明機器24、表示機器26、音響機器28及び駆動機構30の少なくとも1つを制御する。
【0043】
例えば、車両制御部6は、制御パラメータ算出部18から制御パラメータとして停車動作開始時間「2.75秒」を受信した場合には、第1の状態及び第2の状態が検出されてから2.75秒後に車両の停車動作を開始するように、駆動機構30を制御する。なお、駆動機構30は、車両の操舵、加速及び減速等を制御するための制御機器であり、例えば自動運転システムにおけるECU(Electronic Control Unit)等である。
【0044】
また例えば、車両制御部6は、制御パラメータ算出部18から制御パラメータとして警報音のレベル「2.8」を受信した場合には、音響機器28のスピーカからレベル「2.8」に対応する音量の警報音が出力されるように、音響機器28を制御する。
【0045】
[1-2.車両制御装置の動作]
図3を参照しながら、実施の形態1に係る車両制御装置2の動作について説明する。図3は、実施の形態1に係る車両制御装置2の動作の流れを示すフローチャートである。
【0046】
図3に示すように、まず、取得部8は、撮像部4から出力された画像情報を取得する(S101)。取得部8は、取得した画像情報を、第1の検出部10及び第2の検出部12の各々に出力する。
【0047】
第1の検出部10は、取得部8からの画像情報に基づいて、運転者の第1の状態として「脇見」を検出する(S102)。第2の検出部12は、取得部8からの画像情報に基づいて、運転者の第2の状態として「意識消失」を検出する(S102)。なお、本実施の形態では、第1の状態及び第2の状態が同時に検出されたものとする。
【0048】
その後、第1の検出部10は、第1の信頼度を算出し(S103)、第1の状態の検出結果及び第1の信頼度を重み算出部14に出力する。また、第2の検出部12は、第2の信頼度を算出し(S103)、第2の状態の検出結果及び第2の信頼度を重み算出部14に出力する。
【0049】
重み算出部14は、第1の検出部10からの第1の信頼度、及び、第2の検出部12からの第2の信頼度を用いて、第1の重み及び第2の重みを算出する(S104)。重み算出部14は、第1の重み及び第2の重みの算出結果を制御パラメータ算出部18に出力する。
【0050】
制御パラメータ算出部18は、記憶部16に記憶された基準制御パラメータテーブル20を参照して、重み算出部14からの第1の重み及び第2の重みに基づいて制御パラメータを算出する(S105)。制御パラメータ算出部18は、制御パラメータの算出結果を車両制御部6に出力する。
【0051】
これにより、例えば、制御パラメータが停車動作開始時間「2.75秒」及び警報音のレベル「2.8」である場合には、車両制御部6により、音響機器28のスピーカからレベル「2.8」に対応する音量の警報音が出力されるとともに、第1の状態及び第2の状態が検出されてから2.75秒後に車両の停車動作が開始される。
【0052】
以上説明したように、例えば第1の信頼度が第2の信頼度よりも高い場合には、制御パラメータを算出する際における第1の基準制御パラメータの重みを、第2の基準制御パラメータの重みよりも高くする。これにより、第2の状態よりも第1の状態にウェイトを置いた制御パラメータを算出することができる。このような制御パラメータを用いることにより、車両を効果的に制御することができる。
【0053】
(実施の形態2)
[2-1.車両制御装置の構成]
図4及び図5を参照しながら、実施の形態2に係る車両制御装置2Aの構成について説明する。図4は、実施の形態2に係る車両制御装置2Aの構成を示すブロック図である。図5は、実施の形態2に係る優先順位テーブル34の一例を示す図である。なお、本実施の形態において、上記実施の形態1と同一の構成要素には同一の符号を付して、その説明を省略する。
【0054】
図4に示すように、実施の形態2に係る車両制御装置2Aでは、第1の検出部10A、第2の検出部12A、重み算出部14A及び記憶部16Aの各構成が上記実施の形態1と異なっている。
【0055】
第1の検出部10Aは、第1の状態の検出結果を、重み算出部14Aに出力するとともに、記憶部16Aの状態検出情報32(後述する)に記憶させる。なお、本実施の形態では、第1の検出部10Aは、第1の信頼度を算出しない。
【0056】
第2の検出部12Aは、第2の状態の検出結果を、重み算出部14Aに出力するとともに、記憶部16Aの状態検出情報32に記憶させる。なお、本実施の形態では、第2の検出部12Aは、第2の信頼度を算出しない。
【0057】
記憶部16Aは、基準制御パラメータテーブル20に加えて、状態検出情報32及び優先順位テーブル34(優先順位情報の一例)を記憶する。状態検出情報32には、第1の状態の検出結果のログ情報、及び、第2の状態の検出結果のログ情報が格納されている。
【0058】
優先順位テーブル34は、例えば図5に示すようなデータテーブルである。優先順位テーブル34には、運転者の状態と、優先順位とが対応付けられて格納されている。優先順位は、例えば「1」~「3」の3段階の数値で表され、数値が小さいほど優先順位が高いことを意味する。
【0059】
図5に示す例では、優先順位テーブル34の1行目には、運転者の状態として「脇見」、優先順位として「3」が格納されている。また、優先順位テーブル34の2行目には、運転者の状態として「居眠り」、優先順位「2」が格納されている。また、優先順位テーブル34の3行目には、運転者の状態として「意識消失」、優先順位として「1」が格納されている。
【0060】
重み算出部14Aは、第1の状態及び第2の状態の2つの状態が検出される前に、それらの一方のみが検出されていた場合に、記憶部16Aに記憶された状態検出情報32を参照することにより、第1の状態の検出及び第2の状態の検出の時間的な先後を判定する。重み算出部14Aは、第2の状態が検出された後に第1の状態が検出された場合であって、記憶部16Aに記憶された優先順位テーブル34に基づいて、第1の状態の優先順位が第2の状態の優先順位よりも低いと判定した場合に、第2の重みが第1の重みよりも高くなるように、第1の重み及び第2の重みを算出する。
【0061】
[2-2.車両制御装置の動作]
図6を参照しながら、実施の形態2に係る車両制御装置2Aの動作について説明する。図6は、実施の形態2に係る車両制御装置2Aの動作の流れを示すフローチャートである。
【0062】
図6に示すように、まず、取得部8は、撮像部4から出力された画像情報を取得する(S201)。取得部8は、取得した画像情報を、第1の検出部10A及び第2の検出部12Aの各々に出力する。
【0063】
第1の検出部10Aは、取得部8からの画像情報に基づいて、運転者の第1の状態として「脇見」を検出する(S202)。第1の検出部10Aは、第1の状態の検出結果を、重み算出部14Aに出力するとともに、記憶部16Aの状態検出情報32に記憶させる。第2の検出部12は、取得部8からの画像情報に基づいて、運転者の第2の状態として「意識消失」を検出する(S202)。第2の検出部12Aは、第2の状態の検出結果を、重み算出部14Aに出力するとともに、記憶部16Aの状態検出情報32に記憶させる。
【0064】
その後、重み算出部14Aは、第1の重みの初期値である第1の初期値、及び、第2の重みの初期値である第2の初期値を設定する(S203)。例えば、重み算出部14Aは、第1の初期値「0.5」、及び、第2の初期値「0.5」を設定する。
【0065】
重み算出部14Aは、第1の状態及び第2の状態の2つの状態が検出される前に、それらの一方のみが検出されていた場合に、記憶部16Aに記憶された状態検出情報32を参照することにより、第1の状態の検出及び第2の状態の検出の時間的な先後を判定する(S204、S208)。
【0066】
以下、第2の状態が検出されてから1秒後に、第1の状態が検出された場合について説明する。第1の状態及び第2の状態の2つの状態が検出される前に、第2の状態のみが検出されていた場合には(S204でYES)、重み算出部14Aは、記憶部16Aに記憶された優先順位テーブル34に基づいて、第1の状態の優先順位が第2の状態の優先順位よりも低いと判定する(S205)。その後、重み算出部14Aは、第2の重みが第1の重みよりも高くなるように、第1の初期値及び第2の初期値を変更することにより、第1の重み及び第2の重みを算出する(S206)。例えば、重み算出部14Aは、第1の初期値「0.5」を「0.0」に変更することにより第1の重み「0.0」を算出し、且つ、第2の初期値「0.5」を「1.0」に変更することにより第2の重み「1.0」を算出する。重み算出部14Aは、第1の重み及び第2の重みの算出結果を制御パラメータ算出部18に出力する。
【0067】
制御パラメータ算出部18は、記憶部16Aに記憶された基準制御パラメータテーブル20を参照して、重み算出部14Aからの第1の重み及び第2の重みに基づいて制御パラメータを算出する(S207)。制御パラメータ算出部18は、制御パラメータの算出結果を車両制御部6に出力する。
【0068】
例えば、制御パラメータ算出部18は、第1の状態「脇見」に対応する停車動作開始時間「5秒」(第1の基準制御パラメータの一例)を第1の重み「0.0」で重み付けした値と、第2の状態「意識消失」に対応する停車動作開始時間「0秒」(第2の基準制御パラメータの一例)を第2の重み「1.0」で重み付けした値とを加算することにより、制御パラメータとして停車動作開始時間「0秒(=5秒×0.0+0秒×1.0)」を算出する。
【0069】
また例えば、制御パラメータ算出部18は、第1の状態「脇見」に対応する警報音のレベル「1」(第1の基準制御パラメータの一例)を第1の重み「0.0」で重み付けした値と、第2の状態「意識消失」に対応する警報音のレベル「5」(第2の基準制御パラメータの一例)を第2の重み「1.0」で重み付けした値とを加算することにより、制御パラメータとして警報音のレベル「5(=レベル1×0.0+レベル5×1.0)」を算出する。
【0070】
ステップS204に戻り、以下、第1の状態が検出されてから1秒後に、第2の状態が検出された場合について説明する。第1の状態及び第2の状態の2つの状態が検出される前に、第1の状態のみが検出されていた場合には(S204でNO、S208でYES)、重み算出部14Aは、記憶部16Aに記憶された優先順位テーブル34に基づいて、第2の状態の優先順位が第1の状態の優先順位よりも高いと判定する(S209)。この場合、重み算出部14Aは、第1の初期値及び第2の初期値を変更せず、第1の初期値及び第2の初期値をそれぞれ第1の重み及び第2の重みとして算出する(S210)。例えば、重み算出部14Aは、第1の初期値「0.5」及び第2の初期値「0.5」をそれぞれ、第1の重み「0.5」及び第2の重み「0.5」として算出する。
【0071】
制御パラメータ算出部18は、記憶部16Aに記憶された基準制御パラメータテーブル20を参照して、重み算出部14Aからの第1の重み及び第2の重みに基づいて、車両を制御するための制御パラメータを算出する(S207)。制御パラメータ算出部18は、制御パラメータの算出結果を車両制御部6に出力する。
【0072】
例えば、制御パラメータ算出部18は、第1の状態「脇見」に対応する停車動作開始時間「4秒(=5秒-1秒)」(第1の基準制御パラメータの一例)を第1の重み「0.5」で重み付けした値と、第2の状態「意識消失」に対応する停車動作開始時間「0秒」(第2の基準制御パラメータの一例)を第2の重み「0.5」で重み付けした値とを加算することにより、制御パラメータとして停車動作開始時間「2秒(=4秒×0.5+0秒×0.5)」を算出する。ここで、第1の状態「脇見」に対応する停車動作開始時間「4秒」は、基準制御パラメータテーブル20に格納された停車動作開始時間「5秒」から、第1の状態の検出時刻と第2の状態の検出時刻とのタイムラグ「1秒」を差し引いた時間である。
【0073】
また例えば、制御パラメータ算出部18は、第1の状態「脇見」に対応する警報音のレベル「1」(第1の基準制御パラメータの一例)を第1の重み「0.5」で重み付けした値と、第2の状態「意識消失」に対応する警報音のレベル「5」(第2の基準制御パラメータの一例)を第2の重み「0.5」で重み付けした値とを加算することにより、制御パラメータとして警報音のレベル「3(=レベル1×0.5+レベル5×0.5)」を算出する。
【0074】
ステップS204に戻り、第1の状態及び第2の状態の2つの状態が同時に検出された場合には(S204でNO、S208でNO)、上述したステップS210に進む。
【0075】
以上説明したように、例えば第2の状態が第1の状態よりも先に検出され、且つ、第1の状態の優先順位が第2の状態の優先順位よりも低い場合には、制御パラメータを算出する際における第2の基準制御パラメータの重みを、第1の基準制御パラメータの重みよりも高くする。これにより、第1の状態よりも第2の状態にウェイトを置いた制御パラメータを算出することができ、車両を効果的に制御することができる。
【0076】
(実施の形態3)
[3-1.車両制御装置の構成]
図7及び図8を参照しながら、実施の形態3に係る車両制御装置2Bの構成について説明する。図7は、実施の形態3に係る車両制御装置2Bの構成を示すブロック図である。図8は、実施の形態3に係る操作テーブル42の一例を示す図である。なお、本実施の形態において、上記実施の形態2と同一の構成要素には同一の符号を付して、その説明を省略する。
【0077】
図7に示すように、実施の形態3に係る車両制御装置2Bは、上記実施の形態2の構成要素に加えて、第3の検出部36、車両情報取得部38及び交通状況情報取得部40をさらに備えている。
【0078】
第3の検出部36は、取得部8からの画像情報に基づいて、運転者の第3の状態を検出する。運転者の第3の状態とは、車両の制御を必要としない(すなわち、車両の運転に支障を来さない)運転者の状態であり、例えば「食べ物を把持」及び「顔向きヨー角が一定以上」等である。第3の検出部36は、画像情報に含まれる運転者の姿勢等を解析することにより、運転者の第3の状態として「食べ物を把持」及び「顔向きヨー角が一定以上」等を検出する。第3の検出部36は、第3の状態の検出結果を重み算出部14Bに出力する。
【0079】
車両情報取得部38は、車両の操作及び挙動に関する情報である車両情報を、例えば車両に搭載された各ECUから取得する。車両情報は、例えば「ナビ操作あり」、「ハンドル操作がない」及び「車両速度が遅い」等を示す情報である。車両情報取得部38は、取得した車両情報を重み算出部14Bに出力する。
【0080】
交通状況情報取得部40は、例えば車両に搭載されたカメラ(図示せず)からの、車両の周辺を撮像した画像情報に基づいて、車両の周辺の交通状況を示す情報である交通状況情報を取得する。交通状況情報は、例えば「周辺車両が多い」等を示す情報である。交通状況情報取得部40は、取得した交通状況情報を重み算出部14Bに出力する。
【0081】
さらに、実施の形態3に係る車両制御装置2Bでは、重み算出部14B及び記憶部16Bの各構成が上記実施の形態2と異なっている。
【0082】
記憶部16Bは、基準制御パラメータテーブル20、状態検出情報32及び優先順位テーブル34に加えて、操作テーブル42(対応情報の一例)を記憶する。操作テーブル42は、例えば図8に示すようなデータテーブルである。操作テーブル42には、複数の条件と、車両の制御を必要とする(すなわち、車両の運転に支障を来す)運転者の状態の補正値とが対応付けられて格納されている。
【0083】
ここで、複数の条件は、車両の制御を必要としない(すなわち、車両の運転に支障を来さない)運転者の状態、過去の検出情報、車両の情報、周辺の交通状況、及び、状態の優先順位を含んでいる。車両の制御を必要としない運転者の状態は、第3の検出部36により検出される、「食べ物を把持」及び「顔向きヨー角が一定以上」を含んでいる。過去の検出情報は、状態検出情報32に格納されている、「眠気レベル上昇傾向」を含んでいる。なお、運転者の眠気レベルを検出する眠気レベル検出部(図示せず)が車両に搭載されており、眠気レベル検出部により検出された眠気レベルのログ情報が状態検出情報32に格納されている。車両の情報は、車両情報取得部38により取得される、「ナビ操作あり」、「ハンドル操作がない」及び「車両速度が遅い」を含んでいる。状態の優先順位は、優先順位テーブル34に格納されている、「第1の状態と第2の状態とで優先順位が異なる」を含んでいる。
【0084】
図8に示す例では、操作テーブル42の1行目には、車両の制御を必要としない運転者の状態という条件として「食べ物把持」、運転者の状態「脇見」の補正値として「+0.1」、運転者の状態「居眠り」の補正値として「-0.05」、運転者の状態「意識消失」の補正値として「-0.05」が格納されている。
【0085】
重み算出部14Bは、第1の重みの初期値である第1の初期値、及び、第2の重みの初期値である第2の初期値を設定する。そして、重み算出部14Bは、操作テーブル42で規定されている複数の条件のうち特定の条件が満たされた場合に、操作テーブル42を参照して特定の条件に対応する補正値を用いて、第1の初期値及び第2の初期値を補正することにより、第1の重み及び第2の重みを算出する。
【0086】
[3-2.車両制御装置の動作]
図9を参照しながら、実施の形態3に係る車両制御装置2Bの動作について説明する。図9は、実施の形態3に係る車両制御装置2Bの動作の流れを示すフローチャートである。
【0087】
図9に示すように、まず、取得部8は、撮像部4から出力された画像情報を取得する(S301)。取得部8は、取得した画像情報を、第1の検出部10A、第2の検出部12A及び第3の検出部36の各々に出力する。
【0088】
第1の検出部10Aは、取得部8からの画像情報に基づいて、運転者の第1の状態として「脇見」を検出する(S302)。第1の検出部10Aは、第1の状態の検出結果を、重み算出部14Bに出力するとともに、記憶部16Bの状態検出情報32に記憶させる。第2の検出部12Aは、取得部8からの画像情報に基づいて、運転者の第2の状態として「意識消失」を検出する(S302)。第2の検出部12Aは、第2の状態の検出結果を、重み算出部14Bに出力するとともに、記憶部16Bの状態検出情報32に記憶させる。なお、本実施の形態では、第1の状態及び第2の状態が同時に検出されたものとする。
【0089】
その後、重み算出部14Bは、第1の重みの初期値である第1の初期値、及び、第2の重みの初期値である第2の初期値を設定する(S303)。例えば、重み算出部14Bは、第1の初期値「0.5」、及び、第2の初期値「0.5」を設定する。
【0090】
また、重み算出部14Bは、第3の検出部36からの運転者の第3の状態の検出結果、車両情報取得部38からの車両情報、及び、交通状況情報取得部40からの交通状況情報を取得する。重み算出部14Bは、取得した第3の状態の検出結果、車両情報及び交通状況情報に基づいて、且つ、記憶部16Bに記憶された状態検出情報32及び優先順位テーブル34に基づいて、操作テーブル42で規定されている複数の条件のうち特定の条件が満たされたか否かを判定する(S304)。
【0091】
例えば、重み算出部14Bは、取得した第3の状態の検出結果に基づいて、操作テーブル42で規定されている複数の条件のうち特定の条件「食べ物把持」が満たされたと判定した場合には(S304でYES)、重み算出部14Bは、操作テーブル42を参照することにより、特定の条件「食べ物把持」に対応する、第1の状態「脇見」の補正値(第1の補正値の一例)「+0.1」、及び、第2の状態「意識消失」の補正値(第2の補正値の一例)「-0.05」を読み出す。
【0092】
その後、重み算出部14Bは、補正値「+0.1」を用いて第1の初期値「0.5」を補正することにより(S305)、「0.6(=0.5+0.1)」を算出する。また、重み算出部14Bは、補正値「-0.05」を用いて第2の初期値「0.5」を補正することにより(S305)、「0.45(=0.5-0.05)」を算出する。その後、重み算出部14Bは、補正した第1の初期値「0.6」及び第2の初期値「0.45」を正規化することにより、第1の重みと第2の重みとの和が「1」になるように、第1の重み「0.54」及び第2の重み「0.46」を算出する(S306)。重み算出部14Bは、第1の重み及び第2の重みの算出結果を制御パラメータ算出部18に出力する。
【0093】
制御パラメータ算出部18は、記憶部16Bに記憶された基準制御パラメータテーブル20を参照して、重み算出部14Bからの第1の重み及び第2の重みに基づいて制御パラメータを算出する(S307)。制御パラメータ算出部18は、制御パラメータの算出結果を車両制御部6に出力する。
【0094】
例えば、制御パラメータ算出部18は、第1の状態「脇見」に対応する停車動作開始時間「5秒」(第1の基準制御パラメータの一例)を第1の重み「0.54」で重み付けした値と、第2の状態「意識消失」に対応する停車動作開始時間「0秒」(第2の基準制御パラメータの一例)を第2の重み「0.46」で重み付けした値とを加算することにより、制御パラメータとして停車動作開始時間「2.7秒(=5秒×0.54+0秒×0.46)」を算出する。
【0095】
また例えば、制御パラメータ算出部18は、第1の状態「脇見」に対応する警報音のレベル「1」(第1の基準制御パラメータの一例)を第1の重み「0.54」で重み付けした値と、第2の状態「意識消失」に対応する警報音のレベル「5」(第2の基準制御パラメータの一例)を第2の重み「0.46」で重み付けした値とを加算することにより、制御パラメータとして警報音のレベル「2.84(=レベル1×0.54+レベル5×0.46)」を算出する。
【0096】
ステップS304に戻り、操作テーブル42で規定されている複数の条件のうちいずれの条件も満たされていない場合には(S304でNO)、第1の初期値及び第2の初期値を補正することなく、上述したステップS306に進む。
【0097】
以上説明したように、本実施の形態では、操作テーブル42で規定されている複数の条件のうち特定の条件が満たされた場合には、当該特定の条件を考慮して、第1の重み及び第2の重みを精度良く算出することができる。その結果、車両をより効果的に制御することができる。
【0098】
(他の変形例)
以上、一つ又は複数の態様に係る車両制御装置について、上記各実施の形態に基づいて説明したが、本開示は、上記各実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思い付く各種変形を上記各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。
【0099】
例えば、上記各実施の形態では、車両の制御が必要な運転者の状態として、脇見、居眠り及び意識消失を検出したが、これに限定されず、例えば運転者の感情及びストレス等を検出してもよい。
【0100】
また、上記各実施の形態では、車両制御部6は、制御パラメータ算出部18からの制御パラメータに基づいて、音響機器28及び駆動機構30を制御したが、これに限定されず、空調機器22、照明機器24及び表示機器26を制御してもよい。例えば、車両制御部6は、居眠りしている運転者を覚醒させるために、制御パラメータ算出部18からの制御パラメータに基づいて、空調機器22から吹き出される空気の風量及び温度等を制御してもよい。また例えば、車両制御部6は、ストレスを感じている運転者をリラックスさせるために、制御パラメータ算出部18からの制御パラメータに基づいて、エアコン等の空調機器22からアロマの香りを放出するように制御してもよい。また例えば、車両制御部6は、脇見をしている運転者に対して警告するために、制御パラメータ算出部18からの制御パラメータに基づいて、ルームライト等の照明機器24から赤色等の警告色の光を照射するように制御してもよい。また例えば、車両制御部6は、運転者が意識消失となった場合に、制御パラメータ算出部18からの制御パラメータに基づいて、まず車両を減速させ、次に車両を路肩に寄せ、最後に車両を停止させるように駆動機構30を制御することにより、車両の停車動作を段階的に実行してもよい。
【0101】
なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【0102】
また、上記実施の形態に係る車両制御装置の機能の一部又は全てを、CPU等のプロセッサがプログラムを実行することにより実現してもよい。
【0103】
上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なICカード又は単体のモジュールから構成されているとしても良い。前記ICカード又は前記モジュールは、マイクロプロセッサ、ROM、RAM等から構成されるコンピュータシステムである。前記ICカード又は前記モジュールは、上記の超多機能LSIを含むとしても良い。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカード又は前記モジュールは、その機能を達成する。このICカード又はこのモジュールは、耐タンパ性を有するとしても良い。
【0104】
本開示は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。また、本開示は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えばフレキシブルディスク、ハードディスク、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(登録商標) Disc)、半導体メモリ等に記録したものとしても良い。また、これらの記録媒体に記録されている前記デジタル信号であるとしても良い。また、本開示は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしても良い。また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。
【産業上の利用可能性】
【0105】
本開示は、例えば車両の運転者の状態に応じて、車両を制御するための車両制御装置等に適用可能である。
【符号の説明】
【0106】
2,2A,2B 車両制御装置
4 撮像部
6 車両制御部
8 取得部
10,10A 第1の検出部
12,12A 第2の検出部
14,14A,14B 重み算出部
16,16A,16B 記憶部
18 制御パラメータ算出部
20 基準制御パラメータテーブル
22 空調機器
24 照明機器
26 表示機器
28 音響機器
30 駆動機構
32 状態検出情報
34 優先順位テーブル
36 第3の検出部
38 車両情報取得部
40 交通状況情報取得部
42 操作テーブル
図1
図2
図3
図4
図5
図6
図7
図8
図9