特許 7380266 車室内状態検出装置、および車室内状態検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-07

(45)【発行日】2023-11-15

(54)【発明の名称】車室内状態検出装置、および車室内状態検出プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231108BHJP

   G08G 1/00 20060101ALI20231108BHJP

【ＦＩ】

G06T7/00 650Z

G08G1/00 X

【請求項の数】 10

(21)【出願番号】P 2020012927

(22)【出願日】2020-01-29

(65)【公開番号】P2021117932

(43)【公開日】2021-08-10

【審査請求日】2022-11-07

(73)【特許権者】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】押田 拓郎

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開２０１８－１７３７５６（ＪＰ，Ａ）

【文献】特開２０１９－０４０４６５（ＪＰ，Ａ）

【文献】国際公開第２０１８／２３０５３２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／００

(57)【特許請求の範囲】

【請求項1】

車室内の状況を示す２次元的な情報を有する２次元画像と、前記車室内に存在する対象までの距離情報を有する距離画像と、を取得する取得処理部と、
互いに異なる２つのタイミングで取得された前記２次元画像の比較結果と、前記２次元画像が取得された前記２つのタイミングで取得された前記距離画像の比較結果と、に基づいて、前記車室内の状態を検出する検出処理部と、
を備える、車室内状態検出装置。

【請求項2】

前記検出処理部は、前記２つのタイミングで取得された前記距離画像が実質的に同一である場合、前記２つのタイミングで取得された前記２次元画像の比較結果に基づいて、前記車室内の汚れの有無を検出する、
請求項１に記載の車室内状態検出装置。

【請求項3】

前記検出処理部は、前記２つのタイミングで取得された前記距離画像に差が存在する場合、前記２次元画像および前記距離画像のうち少なくとも一方に対する所定の画像認識処理の結果に基づいて、前記車室内に人が乗車しているか否かを検出する、
請求項１または２に記載の車室内状態検出装置。

【請求項4】

前記検出処理部は、前記車室内に前記人が乗車していると検出された場合、その後に取得される前記２次元画像および前記距離画像のうち少なくとも一方に基づいて、前記車室内から前記人が降車したか否かを検出し、前記車室内から前記人が降車したと検出され、かつ、前記車室内に前記人が乗車しているか否かの検出前の第１のタイミングと前記車室内から前記人が降車したと検出された後の第２のタイミングとで前記距離画像に差が存在する場合、前記第１のタイミングと前記第２のタイミング以降の第３のタイミングとで取得された前記２次元画像および前記距離画像のうち少なくとも一方の比較結果に基づいて、前記車室内に放置された忘れ物の有無を検出する、
請求項３に記載の車室内状態検出装置。

【請求項5】

前記検出処理部は、前記車室内に前記人が乗車していると検出され、かつ、非常時に対応した所定の条件が成立した場合、前記所定の条件の成立前の第４のタイミングと前記所定の条件の成立後の第５のタイミングとで取得された前記２次元画像および前記距離画像のうち少なくとも一方の比較結果に基づいて、前記車室内に乗車している前記人の傷病度合を検出する、
請求項３または４に記載の車室内状態検出装置。

【請求項6】

前記検出処理部による検出結果に応じて所定の通知先への通知を行う通知処理部をさらに備える、
請求項１～５のうちいずれか１項に記載の車室内状態検出装置。

【請求項7】

前記取得処理部は、事業者が運用する個人所有以外の車両の前記２次元画像および前記距離画像を取得し、
前記検出処理部は、前記事業者が運用する個人所有以外の車両の前記車室内の状態を検出する、
請求項１～６のうちいずれか１項に記載の車室内状態検出装置。

【請求項8】

前記取得処理部は、前記事業者が運用する個人所有以外の車両としてのＭａａＳ（Ｍｏｂｉｌｉｔｙ ａｓ ａ Ｓｅｒｖｉｃｅ）車両の前記２次元画像および前記距離画像を取得し、
前記検出処理部は、前記ＭａａＳ車両の前記車室内の状態を検出する、
請求項７に記載の車室内状態検出装置。

【請求項9】

前記検出処理部は、前記車室内に構成される所定の領域ごとに、前記車室内の状態を検出する、
請求項１～８のうちいずれか１項に記載の車室内状態検出装置。

【請求項10】

車室内の状況を示す２次元的な情報を有する２次元画像と、前記車室内に存在する対象までの距離情報を有する距離画像と、を取得する取得処理と、
互いに異なる２つのタイミングで取得された前記２次元画像の比較結果と、前記２次元画像が取得された前記２つのタイミングで取得された前記距離画像の比較結果と、に基づいて、前記車室内の状態を検出する検出処理と、
をコンピュータに実行させるための、車室内状態検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車室内状態検出装置、および車室内状態検出プログラムに関する。

【背景技術】

【0002】

従来から、車両の車室内の領域を撮像することで得られる画像に基づいて車室内の状態を検出する技術について検討されている。このような検出は、たとえば乗員が降車した後の自動運転車両を対象として実施される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－８７０４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような従来の技術では、たとえば赤外線カメラまたはＲＧＢカメラなどによって得られる、車室内の状況を示す２次元的な情報を有する２次元画像を用いて車室内の状態を検出することが一般的である。しかしながら、２次元画像を用いた一般的な処理では検出することが難しい検出対象も存在するので、車室内の状態をより精度良く検出することが望まれている。

【0005】

そこで、本開示の課題の一つは、車室内の状態をより精度良く検出することが可能な車室内状態検出装置、および車室内状態検出プログラムを提供することである。

【課題を解決するための手段】

【0006】

本開示の一例としての車室内状態検出装置は、車室内の状況を示す２次元的な情報を有する２次元画像と、車室内に存在する対象までの距離情報を有する距離画像と、を取得する取得処理部と、互いに異なる２つのタイミングで取得された２次元画像の比較結果と、２次元画像が取得された２つのタイミングで取得された距離画像の比較結果と、に基づいて、車室内の状態を検出する検出処理部と、を備える。

【0007】

上述した車室内状態検出装置によれば、互いに異なる情報を有する２種類の画像としての２次元画像および距離画像を考慮して、より多角的な観点で、車室内の状態をより精度良く検出することができる。

【0008】

上述した車室内状態検出装置において、検出処理部は、２つのタイミングで取得された距離画像が実質的に同一である場合、２つのタイミングで取得された２次元画像の比較結果に基づいて、車室内の汚れの有無を検出する。このような構成によれば、３次元的な高さが微小であることが多い汚れを、２次元画像を用いて適切に検出することができる。

【0009】

また、上述した車室内状態検出装置において、検出処理部は、２つのタイミングで取得された距離画像に差が存在する場合、２次元画像および距離画像のうち少なくとも一方に対する所定の画像認識処理の結果に基づいて、車室内に人が乗車しているか否かを検出する。このような構成によれば、距離画像の差に基づいて３次元的な高さを有する立体物（人または物）が存在する場合を対象として、車室内に人が乗車しているか否かを適切に検出することができる。

【0010】

この場合において、検出処理部は、車室内に人が乗車していると検出された場合、その後に取得される２次元画像および距離画像のうち少なくとも一方に基づいて、車室内から人が降車したか否かを検出し、車室内から人が降車したと検出され、かつ、車室内に人が乗車しているか否かの検出前の第１のタイミングと車室内から人が降車したと検出された後の第２のタイミングとで距離画像に差が存在する場合、第１のタイミングと第２のタイミング以降の第３のタイミングとで取得された２次元画像および距離画像のうち少なくとも一方の比較結果に基づいて、車室内に放置された忘れ物の有無を検出する。このような構成によれば、車室内から人が降車した場合を対象として、忘れ物の有無を適切に検出することができる。

【0011】

また、車室内に人が乗車しているか否かを検出する上述した場合において、検出処理部は、車室内に人が乗車していると検出され、かつ、非常時に対応した所定の条件が成立した場合、所定の条件の成立前の第４のタイミングと所定の条件の成立後の第５のタイミングとで取得された２次元画像および距離画像のうち少なくとも一方の比較結果に基づいて、車室内に乗車している人の傷病度合を検出する。このような構成によれば、車室内に人が乗車している場合で、かつ、非常時を対象として、車室内に乗車している人の傷病度合を適切に検出することができる。

【0012】

なお、上述した車室内状態検出装置において、検出処理部による検出結果に応じて所定の通知先への通知を行う通知処理部をさらに備える。このような構成によれば、車室内の状態の検出結果を容易に通知することができる。

【0013】

また、上述した車室内状態検出装置において、取得処理部は、事業者が運用する個人所有以外の車両の２次元画像および距離画像を取得し、検出処理部は、事業者が運用する個人所有以外の車両の車室内の状態を検出する。このような構成によれば、事業者が運用する個人所有以外の車両の有用性を高めることができる。

【0014】

この場合において、取得処理部は、事業者が運用する個人所有以外の車両としてのＭａａＳ（Ｍｏｂｉｌｉｔｙ ａｓ ａ Ｓｅｒｖｉｃｅ）車両の２次元画像および距離画像を取得し、検出処理部は、ＭａａＳ車両の車室内の状態を検出する。このような構成によれば、人の乗り降りに応じて変化する車室内の状態を精度良く検出することが特に望まれるＭａａＳ車両の有用性を高めることができる。

【0015】

また、上述した車室内状態検出装置において、検出処理部は、車室内に構成される所定の領域ごとに、車室内の状態を検出する。このような構成によれば、たとえば車室内の構造物のレイアウトなどに応じて、車室内の状態を所定の領域ごとに適切に検出することができる。

【0016】

本開示の他の一例としての車室内状態検出プログラムは、車室内の状況を示す２次元的な情報を有する２次元画像と、車室内に存在する対象までの距離情報を有する距離画像と、を取得する取得処理と、互いに異なる２つのタイミングで取得された２次元画像の比較結果と、２次元画像が取得された２つのタイミングで取得された距離画像の比較結果と、に基づいて、車室内の状態を検出する検出処理と、をコンピュータに実行させるためのプログラムである。

【0017】

上述した車室内状態検出プログラムによれば、互いに異なる情報を有する２種類の画像としての２次元画像および距離画像を考慮して、より多角的な観点で、車室内の状態をより精度良く検出することができる。

【図面の簡単な説明】

【0018】

【図1】図１は、実施形態にかかる車室内状態検出装置の構成を示した例示的かつ模式的なブロック図である。

【図2】図２は、実施形態にかかる距離画像カメラの配置の一例を示した例示的かつ模式的な図である。

【図3】図３は、実施形態の第１の適用例において実行される一連の処理を示した例示的なフローチャートである。

【図4】図４は、実施形態の第２の適用例において実行される一連の処理を示した例示的なフローチャートである。

【図5】図５は、実施形態の第３の適用例において実行される一連の処理を示した例示的なフローチャートである。

【図6】図６は、実施形態の第４の適用例において実行される一連の処理の一部を示した例示的なフローチャートである。

【図7】図７は、実施形態の第４の適用例において実行される一連の処理の残りの一部を示した例示的なフローチャートである。

【図8】図８は、実施形態にかかる車室内状態検出装置を実現するための情報処理装置のハードウェア構成を示した例示的かつ模式的なブロック図である。

【発明を実施するための形態】

【0019】

以下、本開示の実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に限られるものではない。

【0020】

従来から、車両の車室内の領域を撮像することで得られる画像に基づいて車室内の状態を検出する技術について検討されている。このような検出は、たとえば乗員が降車した後の自動運転車両を対象として実施される。

【0021】

ここで、上記のような従来の技術では、たとえば赤外線カメラまたはＲＧＢカメラなどによって得られる、車室内の状況を示す２次元的な情報を有する２次元画像を用いて車室内の状態を検出することが一般的である。しかしながら、２次元画像を用いた一般的な処理では検出することが難しい検出対象も存在するので、車室内の状態をより精度良く検出することが望まれている。

【0022】

そこで、実施形態は、以下に説明するような構成および処理により、車室内の状態をより精度良く検出することを実現する。

【0023】

図１は、実施形態にかかる車室内状態検出装置１００の構成を示した例示的かつ模式的なブロック図である。

【0024】

図１に示されるように、実施形態にかかる車室内状態検出装置１００は、車両１０（図２も参照）に搭載された距離画像カメラ３０からの入力を受け取るように構成されている。車両１０は、たとえばＭａａＳ（Ｍｏｂｉｌｉｔｙ ａｓ ａ Ｓｅｒｖｉｃｅ）車両のような自動運転車両として構成されるが、実施形態の技術は、Ｍａａｓ車両だけでなく、事業者が運用する個人所有以外の車両一般に適用可能である。事業者が運用する個人所有以外の車両とは、たとえば、ＭａａＳ車両、バス、およびタクシーなどを広く含む表現である。また、実施形態の技術は、車両１０がドライバの手動操作で運転される通常の車両である場合にも適用可能である。

【0025】

なお、車室内状態検出装置１００も、距離画像カメラ３０と同様に車両１０に搭載されうる。ただし、車両１０がＭａａＳ車両である場合、車両１０の管制などを行う管制室に車室内状態検出装置１００が設けられることもありうる。

【0026】

距離画像カメラ３０は、車室１０ａ内の領域（空間）を撮像対象として、車室１０ａ内の状況を示す２次元的な情報としての２次元画像を取得する２次元カメラとしての機能と、車室１０ａ内の状況を示す３次元的な情報としての３次元画像を取得する３次元カメラとしての機能と、を有するカメラである。

【0027】

なお、実施形態において、２次元画像とは、たとえば赤外線画像であり、３次元画像とは、車室１０ａ内に存在する対象までの距離情報を有する距離画像である。対象までの距離は、たとえば赤外線の送受信のタイミングの差に基づくＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）法により算出することが可能である。

【0028】

したがって、実施形態において、距離画像カメラ３０は、赤外線カメラとしての機能と、ＴＯＦカメラとしての機能と、を有するカメラであるとも言える。なお、以下では、特に区別する必要が無い場合、距離画像カメラ３０により撮像される赤外線画像（２次元画像）および距離画像（３次元画像）を、撮像画像と表現することがある。なお、２次元画像は、赤外線画像以外にも、ＲＧＢ画像のようなカラー画像なども含みうる。

【0029】

ここで、実施形態において、距離画像カメラ３０による撮像対象は、車両２０の内部の空間である。したがって、実施形態において、距離画像カメラ３０は、たとえば次の図２に示されるような形で、車両２０内に配置されている。

【0030】

図２は、実施形態にかかる距離画像カメラ３０の配置の一例を示した例示的かつ模式的な図である。

【0031】

図２に示されるように、距離画像カメラ３０は、車両１０の内部の空間としての車室１０ａ内に配置されている。図２に示される例において、距離画像カメラ３０は、車室１０ａ内の空間を見下ろすような形で、車室１０ａの天井部に配置されている。なお、図２に示される距離画像カメラ３０の配置は、あくまで一例である。距離画像カメラ３０は、車室１０ａの天井部以外の場所に配置されていてもよい。

【0032】

ここで、図２に示される例において、斜線のハッチングが付された領域は、距離画像カメラ３０の視野に対応する。したがって、距離画像カメラ３０は、複数のシート１４ａ～１４ｆおよび床面１５を含む車室１０ａ内の空間全体を視野におさめることが可能なように、設置位置および設置姿勢が調整されている。

【0033】

シート１４ａ～１４ｃは、互いに隣接するように配置されている。また、シート１４ｄ～１４ｆも、互いに隣接するように配置されている。シート１４ａ～１４ｃと、シート１４ｄ～１４ｆとは、距離画像カメラ３０の視点から見て、床面１５の露出した領域を挟んで対向するように配置されている。なお、以下では、特に区別する必要が無い場合、シート１４ａ～１４ｆを単にシート１４と記載する。

【0034】

なお、図２に示されるシート１４の個数は、あくまで一例である。したがって、実施形態にかかる技術は、図２に示されるような６人乗りの車両１０以外の他の車両にも適用可能である。また、図２に示されるシート１４の配置も、あくまで一例である。したがって、実施形態にかかる技術は、図２に示されるような２列のシートが向かい合う形で配置されている車両１０以外の他の車両にも適用可能である。

【0035】

このように、実施形態にかかる距離画像カメラ３０は、車室１０ａ内の状況を示す２次元画像および距離画像を取得することができる。そして、車室内状態検出装置１００は、以下に説明するような構成に基づき、２次元画像および距離画像を利用して、車室１０ａ内の状態を検出する。

【0036】

図１に戻り、車室内状態検出装置１００は、取得処理部１１０と、検出処理部１２０と、通知処理部１３０と、を備えている。

【0037】

取得処理部１１０は、距離画像カメラ３０から撮像画像を取得する。前述したように、撮像画像とは、２次元画像および距離画像である。

【0038】

検出処理部１２０は、取得処理部１１０により取得される撮像画像に基づいて、車室１０ａ内の状態を検出する。より具体的に、検出処理部１２０は、互いに異なる２つのタイミングで取得された２次元画像の比較結果と、２次元画像が取得された２つのタイミングで取得された距離画像の比較結果と、に基づいて、車室１０ａ内の状態を検出する。詳細は後述するが、実施形態では、車室１０ａ内の状態として、車室１０ａ内の汚れの有無と、車室１０ａ内の忘れ物の有無と、車室１０ａ内の人の傷病度合と、のうち１以上が検出される。

【0039】

なお、実施形態では、車室１０ａ内の領域を、シート１４に対応した領域および床面１５に対応した領域などといった所定の複数の領域に区分し、区分された領域ごとに、車室１０ａ内の状態を検出することができれば便利である。したがって、実施形態において、検出処理部１２０は、たとえば人も物も存在していない状態で取得される距離画像などに基づいて設定される区分情報１２１に基づいて、車室１０ａ内に構成される所定の領域ごとに、車室１０ａ内の状態を検出しうる。

【0040】

通知処理部１３０は、検出処理部１２０による検出結果に応じて所定の通知先に通知を行う。検出処理部１２０による検出対象が車室１０ａ内の汚れの有無である場合と、検出処理部１２０による検出対象が車室１０ａ内の忘れ物の有無である場合とにおいて、所定の通知先は、たとえば車両１０の管理者である。また、検出処理部１２０による検出対象が車室１０ａ内の人の傷病度合である場合、所定の通知先は、たとえば警察、消防、病院などの緊急通報先または車両緊急通報システムのコールセンターなどである。

【0041】

上記のような構成に基づき、実施形態にかかる車室内状態検出装置１００は、下記の図３～図７に示されるような一連の処理を実行する。

【0042】

まず、図３を参照して、実施形態の第１の適用例として、検出処理部１２０による検出対象が車室１０ａ内の汚れの有無である場合に車室内状態検出装置１００が実行する一連の処理について説明する。

【0043】

図３は、実施形態の第１の適用例において実行される一連の処理を示した例示的なフローチャートである。この図３に示される一連の処理は、たとえば車両１０が施錠されている場合に開始する。

【0044】

図３に示されるように、第１の適用例では、まず、Ｓ３０１において、取得処理部１１０は、距離画像カメラ３０から撮像画像を取得する。Ｓ３０１で取得される撮像画像としては、基本的には、検出対象の領域に汚れも物も人も存在しない画像が想定される。

【0045】

そして、Ｓ３０２において、取得処理部１１０は、車両１０が開錠されたか否かを判定する。このＳ３０２の処理は、車両１０が開錠されたと判定されるまで繰り返し実行される。Ｓ３０２において、車両１０が開錠されたと判定された場合、次のＳ３０３に処理が進む。

【0046】

そして、Ｓ３０３において、取得処理部１１０は、距離画像カメラ３０から撮像画像を取得する。車両１０の開錠は、人の乗り降りなどのような車室１０ａ内の状態の変化につながる可能性があるので、車両１０の開錠に応じて撮像画像を取得することは、車室１０ａ内の状態の変化の検出に有効である。

【0047】

そして、Ｓ３０４において、検出処理部１２０は、Ｓ３０１で取得された撮像画像とＳ３０３で取得された撮像画像とを（たとえば検出対象の領域同士で）比較し、距離画像に差が存在するか否か、つまり距離画像に変化があるか否かを判定する。

【0048】

Ｓ３０４において、距離画像に変化が無いと判定された場合、後述するＳ３１１に処理が進む。一方、Ｓ３０４において、距離画像に変化があると判定された場合、次のＳ３０５に処理が進む。

【0049】

Ｓ３０５において、検出処理部１２０は、Ｓ３０３で取得された撮像画像としての２次元画像および距離画像のうちの少なくとも一方に対して所定の画像認識処理を実行する。所定の画像認識処理とは、たとえば骨格検出処理のような、撮像画像内の人を検出するための処理である。

【0050】

そして、Ｓ３０６において、検出処理部１２０は、Ｓ３０５の画像認識処理の結果に基づいて、撮像画像から人が検出されたか否かを判定する。

【0051】

Ｓ３０６において、人が検出されなかったと判定された場合、後述するＳ３０９に処理が進む。一方、Ｓ３０６において、人が検出されたと判定された場合、次のＳ３０７に処理が進む。

【0052】

Ｓ３０７において、取得処理部１１０は、距離画像カメラ３０から撮像画像を取得する。

【0053】

そして、Ｓ３０８において、検出処理部１２０は、Ｓ３０７で取得された撮像画像に基づいて、Ｓ３０５の所定の画像認識処理により検出された人が車室１０ａ内から降車したか否かを判定する。たとえば、Ｓ３０７で取得された撮像画像に対して所定の画像認識処理を実行しても人が検出されなくなった場合、人が降車したと判定できる。

【0054】

Ｓ３０８において、人が降車していないと判定された場合、Ｓ３０７に処理が戻る。一方、Ｓ３０８において、人が降車したと判定された場合、次のＳ３０９に処理が進む。

【0055】

そして、Ｓ３０９において、取得処理部１１０は、距離画像カメラ３０から撮像画像を取得する。

【0056】

そして、Ｓ３１０において、検出処理部１２０は、Ｓ３０１で取得された撮像画像とＳ３０９で取得された撮像画像とを比較し、距離画像に変化があるか否かを判定する。

【0057】

ここで、第１の適用例における検出対象である汚れは、たとえば土や泥、落書き、液体のシミ、または付着ゴミなどであるので、３次元的な高さが微小であることが多い。したがって、Ｓ３１０において、距離画像に変化があると判定された場合、その変化の原因は、汚れでは無く、降車した人の忘れ物などであると推定できるので、そのまま処理が終了する。

【0058】

一方、Ｓ３１０において、距離画像に変化が無いと判定された場合、降車した人が乗っていた領域に忘れ物などの立体物は無く、汚れが存在する可能性があると推定できる。したがって、この場合、次のＳ３１１以降の処理により、汚れの検出が試行される。

【0059】

より具体的に、Ｓ３１１において、取得処理部１１０は、距離画像カメラ３０から撮像画像を取得する。

【0060】

そして、Ｓ３１２において、検出処理部１２０は、汚れ検出処理を実行する。３次元的な高さが微小であることが多い汚れは、距離画像から検出するのが難しいので、汚れ検出処理は、主に２次元画像に基づいて実行される。たとえば、汚れ検出処理は、Ｓ３０１で取得された２次元画像とＳ３１１で取得された２次元画像との比較結果（たとえば差分）に基づいて実行される。汚れの特定には、Ｓ３１１で取得された２次元画像の画素値なども考慮されうる。

【0061】

そして、Ｓ３１３において、検出処理部１２０は、Ｓ３１２の汚れ検出処理の結果に基づいて、車室１０ａ内（のうち検出対象の領域）に汚れがあるか否かを判定する。

【0062】

Ｓ３１３において、汚れが無いと判定された場合、そのまま処理が終了する。一方、Ｓ３１３において、汚れがあると判定された場合、次のＳ３１４に処理が進む。

【0063】

そして、Ｓ３１４において、通知処理部１３０は、汚れがある旨の通知を、車両１０の管理者などに向けて実行する。そして、処理が終了する。

【0064】

次に、図４を参照して、実施形態の第２の適用例として、検出処理部１２０による検出対象が車室１０ａ内の忘れ物の有無である場合に車室内状態検出装置１００が実行する一連の処理について説明する。

【0065】

図４は、実施形態の第２の適用例において実行される一連の処理を示した例示的なフローチャートである。この図４に示される一連の処理も、図３に示される一連の処理と同様、たとえば車両１０が施錠されている場合に開始する。

【0066】

図４に示されるように、第２の適用例では、まず、Ｓ４０１において、取得処理部１１０は、距離画像カメラ３０から撮像画像を取得する。

【0067】

そして、Ｓ４０２において、取得処理部１１０は、車両１０が開錠されたか否かを判定する。このＳ４０２の処理は、車両１０が開錠されたと判定されるまで繰り返し実行される。Ｓ４０２において、車両１０が開錠されたと判定された場合、次のＳ４０３に処理が進む。

【0068】

そして、Ｓ４０３において、取得処理部１１０は、距離画像カメラ３０から撮像画像を取得する。

【0069】

そして、Ｓ４０４において、検出処理部１２０は、Ｓ４０１で取得された撮像画像とＳ４０３で取得された撮像画像とを（たとえば検出対象の領域同士で）比較し、距離画像に変化があるか否かを判定する。

【0070】

Ｓ４０４において、距離画像に変化が無いと判定された場合、そのまま処理が終了する。一方、Ｓ３０４において、距離画像に変化があると判定された場合、次のＳ４０５に処理が進む。

【0071】

Ｓ４０５において、検出処理部１２０は、Ｓ４０３で取得された撮像画像としての２次元画像および距離画像のうちの少なくとも一方に対して、前述した骨格検出処理のような所定の画像認識処理を実行する。

【0072】

そして、Ｓ４０６において、検出処理部１２０は、Ｓ４０５の所定の画像認識処理の結果に基づいて、撮像画像から人が検出されたか否かを判定する。

【0073】

Ｓ４０６において、人が検出されなかったと判定された場合、後述するＳ４０９に処理が進む。一方、Ｓ４０６において、人が検出されたと判定された場合、次のＳ４０７に処理が進む。

【0074】

Ｓ４０７において、取得処理部１１０は、距離画像カメラ３０から撮像画像を取得する。

【0075】

そして、Ｓ４０８において、検出処理部１２０は、Ｓ４０７で取得された撮像画像に基づいて、Ｓ４０５の所定の画像認識処理により検出された人が車室１０ａ内から降車したか否かを判定する。

【0076】

Ｓ４０８において、人が降車していないと判定された場合、Ｓ４０７に処理が戻る。一方、Ｓ４０８において、人が降車したと判定された場合、次のＳ４０９に処理が進む。

【0077】

そして、Ｓ４０９において、取得処理部１１０は、距離画像カメラ３０から撮像画像を取得する。

【0078】

そして、Ｓ４１０において、検出処理部１２０は、Ｓ４０１で取得された撮像画像とＳ４０９で取得された撮像画像とを比較し、距離画像に変化があるか否かを判定する。

【0079】

ここで、第２の適用例における検出対象である忘れ物は、３次元的な高さをある程度以上有した静的な立体物である。したがって、Ｓ４１０において、距離画像に変化が無いと判定された場合、忘れ物が存在していないと推定できるので、そのまま処理が終了する。

【0080】

一方、Ｓ４１０において、距離画像に変化があると判定された場合、忘れ物が存在する可能性があると推定できる。したがって、この場合、次のＳ４１１以降の処理により、忘れ物の検出が試行される。

【0081】

より具体的に、Ｓ４１１において、取得処理部１１０は、距離画像カメラ３０から撮像画像を取得する。

【0082】

そして、Ｓ４１２において、検出処理部１２０は、忘れ物検出処理を実行する。忘れ物検出処理は、たとえば、Ｓ４０１で取得された撮像画像とＳ４１１で取得された撮像画像との比較結果（たとえば差分）に基づいて実行される。忘れ物の特定には、Ｓ４１１で取得された２次元画像の画素値なども考慮されうる。

【0083】

そして、Ｓ４１３において、検出処理部１２０は、Ｓ４１２の忘れ物検出処理の結果に基づいて、車室１０ａ内（のうち検出対象の領域）に忘れ物があるか否かを判定する。

【0084】

Ｓ４１３において、忘れ物が無いと判定された場合、そのまま処理が終了する。一方、Ｓ４１３において、汚れがあると判定された場合、次のＳ４１４に処理が進む。

【0085】

そして、Ｓ４１４において、通知処理部１３０は、忘れ物がある旨の通知を、車両１０の管理者などに向けて実行する。そして、処理が終了する。

【0086】

次に、図５を参照して、実施形態の第３の適用例として、検出処理部１２０による検出対象が車室１０ａ内の人の傷病度合である場合に車室内状態検出装置１００が実行する一連の処理について説明する。

【0087】

図５は、実施形態の第３の適用例において実行される一連の処理を示した例示的なフローチャートである。この図５に示される一連の処理も、図３および図４に示される一連の処理と同様、たとえば車両１０が施錠されている場合に開始する。

【0088】

図５に示されるように、第３の適用例では、まず、Ｓ５０１において、取得処理部１１０は、距離画像カメラ３０から撮像画像を取得する。

【0089】

そして、Ｓ５０２において、取得処理部１１０は、車両１０が開錠されたか否かを判定する。このＳ５０２の処理は、車両１０が開錠されたと判定されるまで繰り返し実行される。Ｓ５０２において、車両１０が開錠されたと判定された場合、次のＳ５０３に処理が進む。

【0090】

そして、Ｓ５０３において、取得処理部１１０は、距離画像カメラ３０から撮像画像を取得する。

【0091】

そして、Ｓ５０４において、検出処理部１２０は、Ｓ５０１で取得された撮像画像とＳ５０３で取得された撮像画像とを（たとえば検出対象の領域同士で）比較し、距離画像に変化があるか否かを判定する。

【0092】

Ｓ５０４において、距離画像に変化が無いと判定された場合、そのまま処理が終了する。一方、Ｓ５０４において、距離画像に変化があると判定された場合、次のＳ５０５に処理が進む。

【0093】

Ｓ５０５において、検出処理部１２０は、Ｓ５０３で取得された撮像画像としての２次元画像および距離画像のうちの少なくとも一方に対して、前述した骨格検出処理のような所定の画像認識処理を実行する。

【0094】

そして、Ｓ５０６において、検出処理部１２０は、Ｓ５０５の所定の画像認識処理の結果に基づいて、撮像画像から人が検出されたか否かを判定する。

【0095】

Ｓ５０６において、人が検出されなかったと判定された場合、傷病度合を検出する対象の人が存在しないので、そのまま処理が終了する。一方、Ｓ５０６において、人が検出されたと判定された場合、次のＳ５０７以降の処理により、傷病度合の検出が試行される。

【0096】

Ｓ５０７において、取得処理部１１０は、距離画像カメラ３０から撮像画像を取得する。

【0097】

そして、Ｓ５０８において、検出処理部１２０は、現在の状況が非常時に該当するか否かを判定する。非常時に該当するか否かは、たとえば、車両１０に設けられるエアバッグ（不図示）が作動したこと、または車両１０内の人が非常時に操作すべきボタンとして車両１０に設けられる非常ボタン（不図示）が操作されたこと、などの検出結果に基づいて判定される。

【0098】

Ｓ５０８において、現在の状況が非常時に該当すると判定された場合、Ｓ５０９に処理が進む。そして、Ｓ５０９において、取得処理部１１０は、距離画像カメラ３０から撮像画像を取得する。

【0099】

そして、Ｓ５１０において、検出処理部１２０は、傷病度合検出処理を実行する。傷病度合検出処理は、たとえば、Ｓ５０７で取得された撮像画像とＳ５０９で取得された撮像画像との比較結果に基づいて実行される。

【0100】

ここで、傷病度合検出処理は、意識の有無と出血の有無と出血の度合とを総合的に考慮するように予め設定されたモデルなどに基づいて傷病度合を検出する。意識の有無は、２次元画像および距離画像のうち少なくとも一方に対する前述した骨格検出処理などにより姿勢の変化を特定することで検出することができる。また、出血の有無は、２次元画像に基づいて検出することができる。また、出血の度合は、２次元画像に写っている肌または衣服において色調が変化した領域の面積などに基づいて検出することができる。

【0101】

そして、Ｓ５１１において、通知処理部１３０は、Ｓ５１０の傷病度合検出処理の結果を、たとえば警察、消防、病院などの緊急通報先または車両緊急通報システムのコールセンターなどに通知する。そして、処理が終了する。

【0102】

なお、Ｓ５０８において、現在の状況が非常時に該当しないと判定された場合、Ｓ５１２に処理が進む。そして、Ｓ５１２において、検出処理部１２０は、Ｓ５０７で取得された撮像画像に基づいて、Ｓ５０５の所定の画像認識処理により検出された人が車室１０ａ内から降車したか否かを判定する。

【0103】

Ｓ５１２において、人が降車したと判定された場合、車室１０ａ内の人に傷病は発生していないと推定できるので、そのまま処理が終了する。一方、Ｓ５１２において、人が降車していないと判定された場合、今後の非常時の発生に備えて、Ｓ５０７に処理が戻る。

【0104】

次に、図６および図７を参照して、実施形態の第４の適用例として、検出処理部１２０による検出対象が、車室１０ａ内の汚れの有無と、車室１０ａ内の忘れ物の有無と、車室１０ａ内の人の傷病度合と、の３つである場合に車室内状態検出装置１００が実行する一連の処理について説明する。

【0105】

図６は、実施形態の第４の適用例において実行される一連の処理の一部を示した例示的なフローチャートであり、図７は、実施形態の第４の適用例において実行される一連の処理の残りの一部を示した例示的なフローチャートである。これら図６および図７に示される一連の処理も、図３～図５に示される一連の処理と同様、たとえば車両１０が施錠されている場合に開始する。

【0106】

図６に示されるように、第４の適用例では、まず、Ｓ６０１において、取得処理部１１０は、距離画像カメラ３０から撮像画像を取得する。

【0107】

そして、Ｓ６０２において、取得処理部１１０は、車両１０が開錠されたか否かを判定する。このＳ６０２の処理は、車両１０が開錠されたと判定されるまで繰り返し実行される。Ｓ６０２において、車両１０が開錠されたと判定された場合、次のＳ６０３に処理が進む。

【0108】

そして、Ｓ６０３において、取得処理部１１０は、距離画像カメラ３０から撮像画像を取得する。

【0109】

そして、Ｓ６０４において、検出処理部１２０は、Ｓ６０１で取得された撮像画像とＳ６０３で取得された撮像画像とを（たとえば検出対象の領域同士で）比較し、距離画像に変化があるか否かを判定する。

【0110】

Ｓ６０４において、距離画像に変化が無いと判定された場合、後述するＳ７０８（図７参照）以降の処理により、汚れの検出が施行される。一方、Ｓ６０４において、距離画像に変化があると判定された場合、次のＳ６０５に処理が進む。

【0111】

Ｓ６０５において、検出処理部１２０は、Ｓ６０３で取得された撮像画像としての２次元画像および距離画像のうちの少なくとも一方に対して、前述した骨格検出処理のような所定の画像認識処理を実行する。

【0112】

そして、Ｓ６０６において、検出処理部１２０は、Ｓ６０５の所定の画像認識処理の結果に基づいて、撮像画像から人が検出されたか否かを判定する。

【0113】

Ｓ６０６において、人が検出されなかったと判定された場合、後述するＳ７０４（図７参照）以降の処理により、忘れ物の検出が試行される。一方、Ｓ６０６において、人が検出されたと判定された場合、次のＳ６０７以降の処理により、傷病度合の検出が試行される。

【0114】

Ｓ６０７において、取得処理部１１０は、距離画像カメラ３０から撮像画像を取得する。

【0115】

そして、Ｓ６０８において、検出処理部１２０は、現在の状況が非常時に該当するか否かを判定する。非常時に該当するか否かの判定基準は、前述した第３の適用例で用いられる判定基準と同様である。

【0116】

Ｓ６０８において、現在の状況が非常時に該当すると判定された場合、Ｓ６０９に処理が進む。そして、Ｓ６０９において、取得処理部１１０は、距離画像カメラ３０から撮像画像を取得する。

【0117】

そして、Ｓ６１０において、検出処理部１２０は、傷病度合検出処理を実行する。傷病度合検出処理は、前述した第３の適用例と同様の技術的思想に基づき、たとえば、Ｓ６０７で取得された撮像画像とＳ６０９で取得された撮像画像との比較結果に基づいて実行される。

【0118】

そして、Ｓ６１１において、通知処理部１３０は、Ｓ６１０の傷病度合検出処理の結果を、たとえば警察、消防、病院などの緊急通報先または車両緊急通報システムのコールセンターなどに通知する。そして、処理が終了する。

【0119】

なお、Ｓ６０８において、現在の状況が非常時に該当しないと判定された場合、Ｓ７０１（図７参照）に処理が進む。そして、図７に示されるように、Ｓ７０１において、検出処理部１２０は、Ｓ６０７で取得された撮像画像に基づいて、Ｓ６０５の所定の画像認識処理により検出された人が車室１０ａ内から降車したか否かを判定する。

【0120】

Ｓ７０１において、人が降車していないと判定された場合、今後の非常時の発生に備えて、Ｓ６０７（図６参照）に処理が戻る。一方、Ｓ７０１において、人が降車したと判定された場合、汚れまたは忘れ物の検出の試行のために、次のＳ７０２に処理が進む。

【0121】

そして、Ｓ７０２において、取得処理部１１０は、距離画像カメラ３０から撮像画像を取得する。

【0122】

そして、Ｓ７０３において、検出処理部１２０は、Ｓ６０１で取得された撮像画像とＳ７０２で取得された撮像画像とを比較し、距離画像に変化があるか否かを判定する。

【0123】

Ｓ７０３において、距離画像に変化があると判定された場合、忘れ物が存在する可能性があると推定できる。したがって、この場合、次のＳ７０４以降の処理により、忘れ物の検出が試行される。

【0124】

より具体的に、Ｓ７０４において、取得処理部１１０は、距離画像カメラ３０から撮像画像を取得する。

【0125】

そして、Ｓ７０５において、検出処理部１２０は、忘れ物検出処理を実行する。忘れ物検出処理は、前述した第２の適用例と同様の技術的思想に基づき、たとえば、Ｓ６０１（図６参照）で取得された撮像画像とＳ７０４で取得された撮像画像との比較結果（たとえば差分）に基づいて実行される。

【0126】

そして、Ｓ７０６において、検出処理部１２０は、Ｓ７０５の忘れ物検出処理の結果に基づいて、車室１０ａ内（のうち検出対象の領域）に忘れ物があるか否かを判定する。

【0127】

Ｓ７０６において、忘れ物が無いと判定された場合、そのまま処理が終了する。一方、Ｓ７０６において、汚れがあると判定された場合、次のＳ７０７に処理が進む。

【0128】

そして、Ｓ７０７において、通知処理部１３０は、忘れ物がある旨の通知を、車両１０の管理者などに向けて実行する。そして、処理が終了する。

【0129】

なお、Ｓ７０３において、距離画像に変化が無いと判定された場合、降車した人が乗っていた領域に忘れ物などの立体物は無く、汚れが存在する可能性があると推定できる。したがって、この場合、次のＳ７０８以降の処理により、汚れの検出が試行される。

【0130】

より具体的に、Ｓ７０８において、取得処理部１１０は、距離画像カメラ３０から撮像画像を取得する。

【0131】

そして、Ｓ７０９において、検出処理部１２０は、汚れ検出処理を実行する。汚れ検出処理は、前述した第１の適用例と同様の技術的思想に基づき、たとえば、Ｓ６０１（図６参照）で取得された２次元画像とＳ７０８で取得された２次元画像との比較結果（たとえば差分）に基づいて実行される。

【0132】

そして、Ｓ７１０において、検出処理部１２０は、Ｓ７０９の汚れ検出処理の結果に基づいて、車室１０ａ内（のうち検出対象の領域）に汚れがあるか否かを判定する。

【0133】

Ｓ７１０において、汚れが無いと判定された場合、そのまま処理が終了する。一方、Ｓ７１０において、汚れがあると判定された場合、次のＳ７１１に処理が進む。

【0134】

そして、Ｓ７１１において、通知処理部１３０は、汚れがある旨の通知を、車両１０の管理者などに向けて実行する。そして、処理が終了する。

【0135】

以上説明したように、実施形態において、車室内状態検出装置１００は、取得処理部１１０と、検出処理部１２０と、を備えている。取得処理部１１０は、車室１０ａ内の状況を示す２次元的な情報を有する２次元画像と、車室１０ａ内に存在する対象までの距離を示す距離情報を有する距離画像と、を取得する。検出処理部１２０は、互いに異なる２つのタイミングで取得された２次元画像の比較結果と、２次元画像が取得された２つのタイミングで取得された距離画像の比較結果と、に基づいて、車室１０ａ内の状態を検出する。

【0136】

上述した車室内状態検出装置１００によれば、互いに異なる情報を有する２種類の画像としての２次元画像および距離画像を考慮して、より多角的な観点で、車室内の状態をより精度良く検出することができる。

【0137】

より具体的に、実施形態において、検出処理部１２０は、２つのタイミングで取得された距離画像が実質的に同一である場合、２つのタイミングで取得された２次元画像の比較結果に基づいて、車室１０ａ内の汚れの有無を検出する。このような構成によれば、３次元的な高さが微小であることが多い汚れを、２次元画像を用いて適切に検出することができる。

【0138】

また、実施形態において、検出処理部１２０は、２つのタイミングで取得された距離画像に差が存在する場合、２次元画像および距離画像のうち少なくとも一方に対する所定の画像認識処理の結果に基づいて、車室１０ａ内に人が乗車しているか否かを検出する。このような構成によれば、距離画像の差に基づいて３次元的な高さを有する立体物（人または物）が存在する場合を対象として、車室１０ａ内に人が乗車しているか否かを適切に検出することができる。

【0139】

また、実施形態において、検出処理部１２０は、車室１０ａ内に人が乗車していると検出された場合、その後に取得される２次元画像および距離画像のうち少なくとも一方に基づいて、車室１０ａ内から人が降車したか否かを検出する。そして、検出処理部１２０は、車室１０ａ内から人が降車したと検出され、かつ、車室１０ａ内に人が乗車しているか否かの検出前の第１のタイミングと車室１０ａ内から人が降車したと検出された後の第２のタイミングとで距離画像に差が存在する場合、第１のタイミングと第２のタイミング以降の第３のタイミングとで取得された２次元画像および距離画像のうち少なくとも一方の比較結果に基づいて、車室１０ａ内に放置された忘れ物の有無を検出する。このような構成によれば、車室１０ａ内から人が降車した場合を対象として、忘れ物の有無を適切に検出することができる。

【0140】

また、実施形態において、検出処理部１２０は、車室１０ａ内に人が乗車していると検出され、かつ、非常時に対応した所定の条件が成立した場合、所定の条件の成立前の第４のタイミングと所定の条件の成立後の第５のタイミングとで取得された２次元画像および距離画像のうち少なくとも一方の比較結果に基づいて、車室１０ａ内に乗車している人の傷病度合を検出する。前述したように、所定の条件とは、たとえば、車両１０に設けられるエアバッグ（不図示）が作動したこと、または、車両１０内の人が非常時に操作すべきボタンとして車両１０に設けられる非常ボタン（不図示）が操作されたことである。このような構成によれば、車室１０ａ内に人が乗車している場合で、かつ、非常時を対象として、車室１０ａ内に乗車している人の傷病度合を適切に検出することができる。

【0141】

なお、実施形態において、車室内状態検出装置１００は、検出処理部１２０による検出結果に応じて所定の通知先への通知を行う通知処理部１３０をさらに備えている。このような構成によれば、車室１０ａ内の状態の検出結果を容易に通知することができる。

【0142】

また、実施形態において、取得処理部１１０は、ＭａａＳ車両として構成された車両１０の２次元画像および距離画像を取得し、検出処理部１２０は、ＭａａＳ車両として構成された車両１０の車室１０ａ内の状態を検出しうる。このような構成によれば、人の乗り降りに応じて変化する車室１０ａ内の状態を精度良く検出することが特に望まれるＭａａＳ車両の有用性を高めることができる。

【0143】

また、実施形態において、検出処理部１２０は、車室１０ａ内に構成される所定の領域ごとに、車室１０ａ内の状態を検出する。このような構成によれば、たとえば車室１０ａ内の構造物のレイアウトなどに応じて、車室１０ａ内の状態を所定の領域ごとに適切に検出することができる。

【0144】

なお、実施形態にかかる車室内状態検出装置１００は、たとえば次の図８に示されるような、一般的なコンピュータと同様のハードウェア構成を有する情報処理装置８００によって実現される。

【0145】

図８は、実施形態にかかる車室内状態検出装置１００を実現するための情報処理装置８００のハードウェア構成を示した例示的かつ模式的なブロック図である。

【0146】

図８に示されるように、実施形態にかかる情報処理装置８００は、プロセッサ８１０と、メモリ８２０と、ストレージ８３０と、入出力インターフェース（Ｉ／Ｆ）８４０と、通信インターフェース（Ｉ／Ｆ）８５０と、を備えている。これらのハードウェアは、バス８６０に接続されている。

【0147】

プロセッサ８１０は、たとえばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）として構成され、情報処理装置８００の各部の動作を統括的に制御する。

【0148】

メモリ８２０は、たとえばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含み、プロセッサ８１０により実行されるプログラムなどの各種のデータの揮発的または不揮発的な記憶、およびプロセッサ８１０がプログラムを実行するための作業領域の提供などを実現する。

【0149】

ストレージ８３０は、たとえばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）を含み、各種のデータを不揮発的に記憶する。

【0150】

入出力インターフェース８４０は、情報処理装置８００へのデータの入力および情報処理装置８００からのデータの出力を制御する。

【0151】

通信インターフェース８５０は、情報処理装置８００が他の装置と通信を実行することを可能にする。

【0152】

実施形態において、図１に示される車室内状態検出装置１００が有する機能モジュール群は、プロセッサ８１０がメモリ８２０またはストレージ８３０などに記憶された車室内状態検出プログラムを実行した結果として、ハードウェアとソフトウェアとの協働により実現される。ただし、実施形態では、図１に示される車室内状態検出装置１００が有する機能モジュール群のうち少なくとも一部が、専用のハードウェア（回路：ｃｉｒｃｕｉｔｒｙ）により実現されてもよい。

【0153】

なお、実施形態にかかる車室内状態検出プログラムは、メモリ８２０またはストレージ８３０などの記憶装置に予め組み込まれた状態で提供されてもよいし、フレキシブルディスク（ＦＤ）のような各種の磁気ディスク、またはＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）のような各種の光ディスクなどといった、コンピュータで読み取り可能な記録媒体にインストール可能な形式または実行可能な形式で記録されたコンピュータプログラムプロダクトとして提供されてもよい。

【0154】

また、実施形態にかかる車室内状態検出プログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、実施形態にかかる車室内状態検出プログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、当該コンピュータからネットワーク経由でダウンロードする、といった形で提供されてもよい。

【0155】

以上、本開示の実施形態を説明したが、上述した実施形態はあくまで一例であって、発明の範囲を限定することは意図していない。上述した新規な実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0156】

１０ 車両
１０ａ 車室
１００ 車室内状態検出装置
１１０ 取得処理部
１２０ 検出処理部
１３０ 通知処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】