特表 2024-500530 シートベルト着用検出方法、装置、記憶媒体およびプロセッサ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-09

(54)【発明の名称】シートベルト着用検出方法、装置、記憶媒体およびプロセッサ

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231226BHJP

   B60R 22/48 20060101ALI20231226BHJP

【ＦＩ】

G06T7/00 660Z

G06T7/00 650Z

B60R22/48

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023539158

(86)(22)【出願日】2021-12-24

(85)【翻訳文提出日】2023-08-16

(86)【国際出願番号】 CN2021141357

(87)【国際公開番号】W WO2022135589

(87)【国際公開日】2022-06-30

(31)【優先権主張番号】202011570898.8

(32)【優先日】2020-12-26

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】519262146

【氏名又は名称】アークソフト コーポレイション リミテッド

【氏名又は名称原語表記】ＡｒｃＳｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ Ｌｉｍｉｔｅｄ

【住所又は居所原語表記】１９ Ｆｌｏｏｒ，Ｎｏ．３９２ Ｂｉｎｘｉｎｇ Ｒｏａｄ （ＡｒｃＳｏｆｔ Ｂｕｉｌｄｉｎｇ），Ｃｈａｎｇｈｅ Ｓｔｒｅｅｔ，Ｂｉｎｊｉａｎｇ Ｄｉｓｔｒｉｃｔ，Ｈａｎｇｚｈｏｕ，Ｚｈｅｊｉａｎｇ，３１００５２，ＣＨＩＮＡ

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(74)【代理人】

【識別番号】100142907

【弁理士】

【氏名又は名称】本田 淳

(72)【発明者】

【氏名】チャン、チャオハン

(72)【発明者】

【氏名】ワン、ジン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA04

5L096CA02

5L096DA02

5L096FA16

5L096FA69

5L096HA11

5L096KA04

(57)【要約】

本出願は、シートベルト着用検出方法、装置、記憶媒体及プロセッサを開示している。該方法は、交通機器から収集された目標画像を取得することと、目標画像における第１画像領域および／または第２画像領域を特定することであって、第１画像領域は目標画像における目標対象の頭部・体幹が位置する領域であり、第２画像領域は目標画像における目標対象の顔部が位置する領域であることと、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定することであって、第３画像領域は目標画像におけるシートベルト着用領域であることと、第３画像領域における画像情報に基づいて、目標画像におけるシートベルトの着用が所定の着用要求を満たすか否かを判断することと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

交通機器から収集された目標画像を取得することと、
前記目標画像における第１画像領域および／または第２画像領域を特定することであって、前記第１画像領域は前記目標画像における目標対象の頭部・体幹が位置する領域であり、前記第２画像領域は前記目標画像における目標対象の顔部が位置する領域であることと、
前記第１画像領域および／または前記第２画像領域に基づいて、第３画像領域を特定することであって、前記第３画像領域は前記目標画像におけるシートベルト着用領域であることと、
前記第３画像領域における画像情報に基づいて、前記目標画像におけるシートベルトの着用が所定の着用要求を満たすか否かを判断することと、を含む
シートベルト着用検出方法。

【請求項2】

前記目標対象の上半身領域が前記目標画像に現れた場合、前記目標対象の頭部・体幹が位置する領域は、顔部、首、肩および上胸を含む最小領域であり、前記目標対象の顔部が位置する領域は、顔部を含む最小領域である
請求項１に記載の方法。

【請求項3】

前記交通機器から収集された前記目標画像を取得する前に、前記方法は、
前記交通機器から収集された画像を複数枚取得するとともに、取得された画像に対して頭部・体幹領域を含むか否かをマーキングし、かつ前記頭部・体幹領域を含む画像に対して前記頭部・体幹領域の位置をマーキングし、複数枚の第１マーキング画像を得ることと、
前記複数枚の第１マーキング画像を第１トレーニングセットデータとして特定するとともに、前記第１トレーニングセットデータによりニューラルネットワークモデルをトレーニングし、前記頭部・体幹領域を検出するように構成される第１検出器を得ることと、および／または、
前記交通機器から収集された画像を複数枚取得するとともに、取得された画像に対して顔部領域を含むか否かをマーキングし、かつ前記顔部領域を含む画像に対して前記顔部領域の位置をマーキングし、複数枚の第２マーキング画像を得ることと、
前記複数枚の第２マーキング画像を第２トレーニングセットデータとして特定するとともに、前記第２トレーニングセットデータによりニューラルネットワークモデルをトレーニングし、前記顔部領域を検出するように構成される第２検出器を得ることと、をさらに含む
請求項１に記載の方法。

【請求項4】

前記第１検出器と前記第２検出器とを得た場合、前記目標画像における前記第１画像領域を特定することは、前記第１検出器により前記目標画像を検出し、前記第１画像領域を得ることを含み、前記目標画像における前記第２画像領域を特定することは、前記第２検出器により前記目標画像を検出し、前記第２画像領域を得ることを含み、
前記第１検出器を得た場合、前記目標画像における前記第１画像領域を特定することは、前記第１検出器により前記目標画像を検出し、前記第１画像領域を得ることを含み、前記目標画像における前記第２画像領域を特定することは、前記目標対象の所定の着座姿勢情報に基づいて、前記第１画像領域から前記第２画像領域を切り取ることを含み、
前記第２検出器を得た場合、前記目標画像における前記第２画像領域を特定することは、前記第２検出器により前記目標画像を検出し、前記第２画像領域を得ることを含み、前記目標画像における前記第１画像領域を特定することは、前記目標対象の所定の着座姿勢情報に基づいて、前記目標画像において前記第２画像領域を下方、左方および右方へ所定の領域だけ拡張させ、前記第１画像領域を得ることを含む
請求項３に記載の方法。

【請求項5】

前記第１画像領域および／または前記第２画像領域に基づいて、前記第３画像領域を特定することは、
前記目標画像における前記第１画像領域を得たとともに、前記目標画像における前記第２画像領域を得た場合、前記シートベルトが正しく着用されているときの被覆領域の前記第１画像領域に対するオフセット距離に基づいて、前記目標画像において第１シートベルト着用領域を特定するとともに、前記シートベルトが正しく着用されているときの被覆領域の前記第２画像領域に対するオフセット距離に基づいて、前記目標画像において第２シートベルト着用領域を特定することと、
前記第１シートベルト着用領域と前記第２シートベルト着用領域とを前記目標画像の空間位置で平均化して、前記第３画像領域を得ることと、を含む
請求項１に記載の方法。

【請求項6】

前記第１画像領域および／または前記第２画像領域に基づいて、前記第３画像領域を特定する前に、前記方法は、
頭部・体幹領域画像を複数枚取得するとともに、取得された画像に対して前記シートベルト着用領域を含むか否かをマーキングし、かつ前記シートベルト着用領域を含む画像に対して顔部領域の位置をマーキングし、複数枚の第３マーキング画像を得ることと、
前記複数枚の第３マーキング画像を第３トレーニングセットデータとして特定するとともに、前記第３トレーニングセットデータによりニューラルネットワークモデルをトレーニングし、前記シートベルト着用領域を検出するように構成される第３検出器を得ることと、をさらに含み、
前記目標画像における前記第１画像領域を得たとともに、前記目標画像における前記第２画像領域を得た場合、前記第１画像領域および／または前記第２画像領域に基づいて、前記第３画像領域を特定することは、
前記第１画像領域の前記目標画像における位置と、前記第２画像領域の前記目標画像における位置と、前記第１画像領域とを前記第３検出器に入力して、前記第３画像領域を検出することを含む
請求項１に記載の方法。

【請求項7】

前記第１画像領域および／または前記第２画像領域に基づいて、前記第３画像領域を特定する前に、前記方法は、
頭部・体幹領域画像を複数枚取得するとともに、取得された画像に対して前記シートベルト着用領域を含むか否かをマーキングし、かつ前記シートベルト着用領域を含む画像に対して前記シートベルト着用領域の位置をマーキングし、複数枚の第４マーキング画像を得ることと、
前記複数枚の第４マーキング画像を第４トレーニングセットデータとして特定するとともに、前記第４トレーニングセットデータによりニューラルネットワークモデルをトレーニングし、前記シートベルト着用領域を検出するように構成される第４検出器を得ることと、をさらに含み、
前記目標画像において前記第１画像領域が検出された場合、前記第１画像領域および／または前記第２画像領域に基づいて、前記第３画像領域を特定することは、
前記第４検出器により前記第１画像領域を検出し、前記第３画像領域を得ることを含む
請求項１に記載の方法。

【請求項8】

前記第１画像領域および／または前記第２画像領域に基づいて、前記第３画像領域を特定する前に、前記方法は、
顔部領域を含む画像を複数枚取得するとともに、取得された画像に対して前記シートベルト着用領域を含むか否かをマーキングし、かつ前記シートベルト着用領域を含む画像に対して前記シートベルト着用領域の位置をマーキングし、複数枚の第５マーキング画像を得ることと、
前記複数枚の第５マーキング画像を第５トレーニングセットデータとして特定するとともに、前記第５トレーニングセットデータによりニューラルネットワークモデルをトレーニングし、前記シートベルト着用領域を検出するように構成される第５検出器を得ることと、をさらに含み、
前記目標画像において前記第２画像領域が検出された場合、前記第１画像領域および／または前記第２画像領域に基づいて、前記第３画像領域を特定することは、
前記第５検出器により前記第２画像領域を検出し、前記第３画像領域を得ることを含む
請求項１に記載の方法。

【請求項9】

前記第３画像領域における画像情報に基づいて、前記目標画像における前記シートベルトの着用が所定の着用要求を満たすか否かを判断する前に、前記方法は、
シートベルト着用領域画像を複数枚取得するとともに、取得された画像に対して前記シートベルトの着用が所定の着用要求を満たすか否かをマーキングし、複数枚の第６マーキング画像を得ることと、
前記複数枚の第６マーキング画像を第６トレーニングセットデータとして特定するとともに、前記第６トレーニングセットデータによりニューラルネットワークモデルをトレーニングし、前記目標画像における前記シートベルトの着用が所定の着用要求を満たすか否かを判断するように構成される判別器を得ることと、をさらに含み、
前記第３画像領域における画像情報に基づいて、前記目標画像におけるシートベルトの着用が所定の着用要求を満たすか否かを判断することは、
前記判別器により前記第３画像領域を検出し、前記シートベルトの着用が所定の着用要求を満たすか否かの結論を得ることを含む
請求項１に記載の方法。

【請求項10】

前記第３画像領域における画像情報に基づいて、前記目標画像における前記シートベルトの着用が所定の着用要求を満たすか否かを判断した後、前記方法は、
前記シートベルトの着用が所定の着用要求を満たさない場合、乗客に前記シートベルトを正しく着用するように提示するように構成される提示情報を発することをさらに含む
請求項１に記載の方法。

【請求項11】

交通機器から収集された目標画像を取得するように構成される第１取得ユニットと、
前記目標画像における第１画像領域および／または第２画像領域を特定するように構成される第１特定ユニットであって、前記第１画像領域は前記目標画像における目標対象の頭部・体幹が位置する領域であり、前記第２画像領域は前記目標画像における目標対象の顔部が位置する領域である第１特定ユニットと、
前記第１画像領域および／または前記第２画像領域に基づいて、第３画像領域を特定するように構成される第２特定ユニットであって、前記第３画像領域は前記目標画像におけるシートベルト着用領域である第２特定ユニットと、
前記第３画像領域における画像情報に基づいて、前記目標画像におけるシートベルトの着用が所定の着用要求を満たすか否かを判断するように構成される判断ユニットと、を含む
シートベルト着用検出装置。

【請求項12】

記憶されたプログラムを含む不揮発性記憶媒体であって、
前記プログラムが実行されると、請求項１から１０のいずれか１項に記載のシートベルト着用検出方法を実行させるように前記不揮発性記憶媒体が配置される機器を制御する
不揮発性記憶媒体。

【請求項13】

プロセッサとメモリとを含み、前記メモリにコンピュータ読み取り可能な命令が記憶され、前記プロセッサは、前記コンピュータ読み取り可能な命令を実行するように構成される電子装置であって、
前記コンピュータ読み取り可能な命令が実行されると、請求項１から１０のいずれか１項に記載のシートベルト着用検出方法が実行される
電子装置。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０２０年１２月２６日に中国特許庁へ提出された、出願番号が２０２０１１５７０８９８．８であり、出願名称が「シートベルト着用検出方法、装置、記憶媒体およびプロセッサ」である中国特許出願の優先権を主張し、その全ての内容は、援用により本出願に組み込まれる。

【0002】

本出願は、画像認識の技術分野に関し、具体的には、シートベルト着用検出方法、装置、記憶媒体およびプロセッサに関する。

【背景技術】

【0003】

都市の発展と住民生活水準の向上に伴い、様々な車両に対する要求がますます増加しており、それに伴って、乗車中の車内の人員の安全を如何に保障するかを中心として技術革新や産業アップグレードしつつある。

【0004】

シートベルトは、車内の人員が走行中に緊急事態に遭遇するときの身近な保護手段として、いくつかの都市において、営業車両における助手席の乗客に対してもシートベルトを強制的に着用する要求が出されている。したがって、ユーザがシートベルトを着用しているか否かを正確に判断する方法もより多く注目されている。

【0005】

関連技術において、シートベルト判別の方案は、乗客または運転者のシートベルト先端のバックルが検出溝に掛けられているか否かを主な判断根拠としており、具体的には、シートベルト先端と検出溝とを接続した後で、車両内部に検出回路が形成され、システムは、シートベルト着用済みというフィードバックを得る。しかし、該判断メカニズムは、車内の物理デバイスとシステムの複雑さを増加させ、コストを上げるだけでなく、検出メカニズムに脆弱性があり、シートベルトの着用を回避する人によって利用されやすく、関係者が意図的に着用しないために採用される欺瞞的な手段を避けることができない（例えば、シートベルト先端に類似する係止バックルを検出溝に差し込むことによって、システムに該位置にいる乗客がシートベルトを既に着用していると誤認識させる）。また、例えば、乗員がシートベルトを正しく着用しているか否か等の状態をより深く判断することができない。

【0006】

関連技術において乗客がシートベルトを正しく着用しているか否かを正確に判断することが困難であるという課題に対して、現在、有効な解決技術手段は、まだ提案されていない。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の少なくとも一部の実施例は、関連技術において乗客がシートベルトを正しく着用しているか否かを正確に判断することが困難であるという課題を解決するために、シートベルト着用検出方法、装置、記憶媒体およびプロセッサを提供する。

【課題を解決するための手段】

【0008】

本発明の一実施例により、シートベルト着用検出方法が提供される。該方法は、交通機器から収集された目標画像を取得することと、目標画像における第１画像領域および／または第２画像領域を特定することであって、第１画像領域は目標画像における目標対象の頭部・体幹が位置する領域であり、第２画像領域は目標画像における目標対象の顔部が位置する領域であることと、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定することであって、第３画像領域は目標画像におけるシートベルト着用領域であることと、第３画像領域における画像情報に基づいて、目標画像におけるシートベルトの着用が所定の着用要求を満たすか否かを判断することと、を含む。

【0009】

好ましくは、目標対象の上半身領域が目標画像に現れた場合、目標対象の頭部・体幹が位置する領域は、顔部、首、肩および上胸を含む最小領域であり、目標対象の顔部が位置する領域は、顔部を含む最小領域である。

【0010】

好ましくは、該方法は、交通機器から収集された目標画像を取得する前に、交通機器から収集された画像を複数枚取得するとともに、取得された画像に対して頭部・体幹領域を含むか否かをマーキングし、かつ頭部・体幹領域を含む画像に対して頭部・体幹領域の位置をマーキングし、複数枚の第１マーキング画像を得ることと、複数枚の第１マーキング画像を第１トレーニングセットデータとして特定するとともに、第１トレーニングセットデータによりニューラルネットワークモデルをトレーニングし、頭部・体幹領域を検出するように構成される第１検出器を得ることと、および／または、交通機器から収集された画像を複数枚取得するとともに、取得された画像に対して顔部領域を含むか否かをマーキングし、かつ顔部領域を含む画像に対して顔部領域の位置をマーキングし、複数枚の第２マーキング画像を得ることと、複数枚の第２マーキング画像を第２トレーニングセットデータとして特定するとともに、第２トレーニングセットデータによりニューラルネットワークモデルをトレーニングし、顔部領域を検出するように構成される第２検出器を得ることと、をさらに含む。

【0011】

好ましくは、第１検出器と第２検出器とを得た場合、目標画像における第１画像領域を特定することは、第１検出器により目標画像を検出し、第１画像領域を得ることを含み、目標画像における第２画像領域を特定することは、第２検出器により目標画像を検出し、第２画像領域を得ることを含み、第１検出器を得た場合、目標画像における第１画像領域を特定することは、第１検出器により目標画像を検出し、第１画像領域を得ることを含み、目標画像における第２画像領域を特定することは、目標対象の所定の着座姿勢情報に基づいて、第１画像領域から第２画像領域を切り取ることを含み、第２検出器を得た場合、目標画像における第２画像領域を特定することは、第２検出器により目標画像を検出し、第２画像領域を得ることを含み、目標画像における第１画像領域を特定することは、目標対象の所定の着座姿勢情報に基づいて、目標画像において第２画像領域を下方、左方および右方へ所定の領域だけ拡張させ、第１画像領域を得ることを含む。

【0012】

好ましくは、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定することは、目標画像における第１画像領域を得たとともに、目標画像における第２画像領域を得た場合、シートベルトが正しく着用されているときの被覆領域の第１画像領域に対するオフセット距離に基づいて、目標画像において第１シートベルト着用領域を特定するとともに、シートベルトが正しく着用されているときの被覆領域の第２画像領域に対するオフセット距離に基づいて、目標画像において第２シートベルト着用領域を特定することと、第１シートベルト着用領域と第２シートベルト着用領域とを目標画像の空間位置で平均化して、第３画像領域を得ることと、を含む。

【0013】

好ましくは、該方法は、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定する前に、頭部・体幹領域画像を複数枚取得するとともに、取得された画像に対してシートベルト着用領域を含むか否かをマーキングし、かつシートベルト着用領域を含む画像に対して顔部領域の位置をマーキングし、複数枚の第３マーキング画像を得ることと、複数枚の第３マーキング画像を第３トレーニングセットデータとして特定するとともに、第３トレーニングセットデータによりニューラルネットワークモデルをトレーニングし、シートベルト着用領域を検出するように構成される第３検出器を得ることと、をさらに含み、目標画像における第１画像領域を得たとともに、目標画像における第２画像領域を得た場合、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定することは、第１画像領域の目標画像における位置と、第２画像領域の目標画像における位置と、第１画像領域とを第３検出器に入力して、第３画像領域を検出することを含む。

【0014】

好ましくは、該方法は、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定する前に、頭部・体幹領域画像を複数枚取得するとともに、取得された画像に対してシートベルト着用領域を含むか否かをマーキングし、かつシートベルト着用領域を含む画像に対してシートベルト着用領域の位置をマーキングし、複数枚の第４マーキング画像を得ることと、複数枚の第４マーキング画像を第４トレーニングセットデータとして特定するとともに、第４トレーニングセットデータによりニューラルネットワークモデルをトレーニングし、シートベルト着用領域を検出するように構成される第４検出器を得ることと、をさらに含み、目標画像において第１画像領域が検出された場合、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定することは、第４検出器により第１画像領域を検出し、第３画像領域を得ることを含む。

【0015】

好ましくは、該方法は、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定する前に、顔部領域を含む画像を複数枚取得するとともに、取得された画像に対してシートベルト着用領域を含むか否かをマーキングし、かつシートベルト着用領域を含む画像に対してシートベルト着用領域の位置をマーキングし、複数枚の第５マーキング画像を得ることと、複数枚の第５マーキング画像を第５トレーニングセットデータとして特定するとともに、第５トレーニングセットデータによりニューラルネットワークモデルをトレーニングし、シートベルト着用領域を検出するように構成される第５検出器を得ることと、をさらに含み、目標画像において第２画像領域が検出された場合、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定することは、第５検出器により第２画像領域を検出し、第３画像領域を得ることを含む。

【0016】

好ましくは、該方法は、第３画像領域における画像情報に基づいて、目標画像におけるシートベルトの着用が所定の着用要求を満たすか否かを判断する前に、シートベルト着用領域画像を複数枚取得するとともに、取得された画像に対してシートベルトの着用が所定の着用要求を満たすか否かをマーキングし、複数枚の第６マーキング画像を得ることと、複数枚の第６マーキング画像を第６トレーニングセットデータとして特定するとともに、第６トレーニングセットデータによりニューラルネットワークモデルをトレーニングし、目標画像におけるシートベルトの着用が所定の着用要求を満たすか否かを判断するように構成される判別器を得ることと、をさらに含み、第３画像領域における画像情報に基づいて、目標画像におけるシートベルトの着用が所定の着用要求を満たすか否かを判断することは、判別器により第３画像領域を検出し、シートベルトの着用が所定の着用要求を満たすか否かの結論を得ることを含む。

【0017】

好ましくは、該方法は、第３画像領域における画像情報に基づいて、目標画像におけるシートベルトの着用が所定の着用要求を満たすか否かを判断した後、シートベルトの着用が所定の着用要求を満たさない場合、乗客にシートベルトを正しく着用するように提示するように構成される提示情報を発することをさらに含む。

【0018】

本発明の別の実施例は、シートベルト着用検出装置をさらに提供する。該装置は、交通機器から収集された目標画像を取得するように構成される第１取得ユニットと、目標画像における第１画像領域および／または第２画像領域を特定するように構成される第１特定ユニットであって、第１画像領域は目標画像における目標対象の頭部・体幹が位置する領域であり、第２画像領域は目標画像における目標対象の顔部が位置する領域である第１特定ユニットと、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定するように構成される第２特定ユニットであって、第３画像領域は目標画像におけるシートベルト着用領域である第２特定ユニットと、第３画像領域における画像情報に基づいて、目標画像におけるシートベルトの着用が所定の着用要求を満たすか否かを判断するように構成される判断ユニットと、を含む。

【0019】

本発明の他の実施例は、記憶されたプログラムを含む不揮発性記憶媒体であって、プログラムが実行されると、シートベルト着用検出方法を実行させるように不揮発性記憶媒体が配置される機器を制御する不揮発性記憶媒体をさらに提供する。

【0020】

本発明の他の実施例は、プロセッサとメモリとを含み、メモリにコンピュータ読み取り可能な命令が記憶され、プロセッサは、コンピュータ読み取り可能な命令を実行するように構成される電子装置であって、コンピュータ読み取り可能な命令が実行されると、シートベルト着用検出方法が実行される電子装置をさらに提供する。

【0021】

本出願により、交通機器から収集された目標画像を取得することと、目標画像における第１画像領域および／または第２画像領域を特定するステップであって、第１画像領域は目標画像における目標対象の頭部・体幹が位置する領域であり、第２画像領域は目標画像における目標対象の顔部が位置する領域であるステップと、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定するステップであって、第３画像領域は目標画像におけるシートベルト着用領域であるステップと、第３画像領域における画像情報に基づいて、目標画像におけるシートベルトの着用が所定の着用要求を満たすか否かを判断するステップとを採用することによって、関連技術において乗客がシートベルトを正しく着用しているか否かを正確に判断することが困難であるという課題を解決した。目標画像における目標対象の頭部・体幹が位置する領域および／または顔部が位置する領域によりシートベルト着用領域を特定することによって、シートベルトの着用が所定の着用要求を満たすか否かを判断し、さらに乗客がシートベルトを正しく着用しているか否かを判断する精度を向上させるという効果を達成している。

【0022】

本出願の一部を構成する図面は、本出願をさらに理解するために提供されるものであり、本出願の例示的な実施例およびその説明は、本出願を解釈するためのものであり、本出願を不当に限定するものではない。各図面は以下の通りである。

【図面の簡単な説明】

【0023】

【図1】本出願の実施例１により提供されるシートベルト着用検出方法のフローチャートである。

【図2】本出願の実施例１により提供されるシートベルト着用検出方法における第１画像領域の検出概略図である。

【図3】本出願の実施例１により提供されるシートベルト着用検出方法においてシートベルトの着用が正しいか否かを検出する概略図である。

【図4】関連技術における画像認識方法に基づいてシートベルトの着用が正しいか否かを検出する概略図である。

【図5】本出願の実施例１により提供される選択可能なシートベルト着用検出方法のフローチャートである。

【図6】本出願の実施例１により提供される選択可能なシートベルト着用検出方法のフローチャートである。

【図7】本出願の実施例１により提供される選択可能なシートベルト着用検出方法においてシートベルトの着用が正しいか否かを検出する概略図である。

【図8】関連技術における画像認識方法に基づいてシートベルトの着用が正しいか否かを検出する概略図である。

【図9】本出願の実施例２により提供されるシートベルト着用検出装置の概略図である。

【発明を実施するための形態】

【0024】

なお、矛盾しない限り、本出願における実施例および実施例における特徴は、互いに組み合わせることができる。以下、図面を参照しながら実施例を挙げて本出願を詳しく説明する。

【0025】

本出願の解決手段を当業者によりよく理解されるために、本出願の実施例における技術的解決手段を、本出願の実施例における図面を参照して以下で明確かつ完全に説明し、説明される実施例が本出願の一部の実施例に過ぎず、すべての実施例ではないことは明らかである。本出願における実施例に基づいて、当業者が進歩的な労働をせずに得た他の全ての実施例は、本出願の保護範囲に属する。

【0026】

なお、本出願の明細書、特許請求の範囲および上記図面における「第１」、「第２」等の用語は、類似する対象を区別するためのものであり、特定の順序または前後の順序を説明するためのものではない。このように使用されるデータは、ここで本出願の実施例を容易に説明するためのものであり、適切な状況で交換され得ることを理解されたい。また、「含む」および「有する」という用語並びにそれらの任意の変形は、非排他的な包含をカバーすることを意図し、例えば、一連のステップまたはユニットを含むプロセス、方法、システム、製品または機器は、必ずしも明確に列挙されたそれらのステップまたはユニットに限定されず、明確に列挙されていないか、またはそれらのプロセス、方法、製品または機器に固有の、他のステップまたはユニットを含むことができる。

【0027】

実施例１
本出願の実施例１により、シートベルト着用検出方法を提供する。

【0028】

図１は、本出願の実施例１に係るシートベルト着用検出方法のフローチャートである。図１に示すように、該方法は以下のステップを含む。

【0029】

ステップＳ１０２であって、交通機器から収集された目標画像を取得する。

【0030】

具体的には、交通機器から収集された目標画像は、交通機器の運転室または乗員室内のシーン画像であってもよく、ここに、交通機器は、車両であってもよく、さらにキャビン、フェリーなどの乗員がシートベルトを着用する必要がある機器であってもよく、本出願の実施例１は、交通機器のタイプを限定しない。

【0031】

ステップＳ１０４であって、目標画像における第１画像領域および／または第２画像領域を特定し、第１画像領域は目標画像における目標対象の頭部・体幹が位置する領域であり、第２画像領域は目標画像における目標対象の顔部が位置する領域である。

【0032】

具体的には、目標対象は、人体であってもよく、第１画像領域とは、人体の頭部・体幹を検出するときに特定された頭部・体幹の関心領域（ＲＯＩ、Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）を指し、頭部・体幹検出の英語がＨｕｍａｎ Ｔｏｒｓｏ Ｄｅｔｅｃｔｉｏｎであり、ＨＴＤと略称されるため、第１画像領域は、ＨＴＲＯＩ領域と略称されることができ、第２画像領域とは、人の顔を検出するときに特定された人の顔の関心領域を指し、顔部検出の英語がＦａｃｅ Ｄｅｔｅｃｔｉｏｎであり、ＦＴＤと略称されるため、第２画像領域は、ＦＴＲＯＩと略称されることができる。

【0033】

ここに、関心領域とは、完全な画像におけるある領域の矩形サブ画像を指し、ＨＴＲＯＩ領域を例とし、完全な目標画像の解像度が１２８０×８００であると仮定し、回帰されたＨＴＲＯＩ領域の左上隅の座標が（１００、１００）であり、右下隅の座標が（３５０、７８０）である場合、目標画像におけるＨＴＲＯＩ領域とは、完全な画像における（１００、１００）から（３５０、７８０）までの領域内の内容のみを含み、目標画像において（１００、１００）から解像度２５０×６８０の領域を切り取ったことに相当する。

【0034】

好ましくは、本出願の実施例１により提供されるシートベルト着用検出方法において、目標画像が目標対象の上半身領域を含む場合、目標対象の頭部・体幹が位置する領域は、顔部、首、肩および上胸を含む最小領域であり、目標対象の顔部が位置する領域は、顔部を含む最小領域である。

【0035】

例えば、目標対象が運転席の位置にいる運転者である場合、画像全体が運転席の位置にいる運転者の上半身を含むことを前提として、第１画像領域は、具体的に、人の顔、首、肩および上胸を完全に含む最小領域として定義され、図２に示すように、四角枠で囲まれた領域が第１画像領域である。第２画像領域は、具体的には、運転席の位置にいる運転者の上半身がすべて画像全体に現れる前提で、人の顔を完全に含む最小領域として定義される。

【0036】

ステップＳ１０６であって、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定し、第３画像領域は目標画像におけるシートベルト着用領域である。

【0037】

具体的には、第３画像領域は、シートベルト着用領域を検出するときに特定されたシートベルト着用関心領域を指し、シートベルトの英語がＳａｆｅｔｙ Ｂｅｌｔであるため、第３画像領域は、ＳＲＯＩと略称されることができる。

【0038】

本出願の実施例１は、実際のシーンにおけるシートベルトのサイズに基づいて、顔部検出と頭部・体幹検出とにより、シートベルトの検出領域を縮小し、シートベルト自体の特徴を目立たせ、シートベルト着用領域の認識可能な程度を向上させることができる。

【0039】

ステップＳ１０８であって、第３画像領域における画像情報に基づいて、目標画像におけるシートベルトの着用が所定の着用要求を満たすか否かを判断する。

【0040】

具体的には、第３画像領域を取得した後で、第３画像領域におけるシートベルトの実際の着用位置等の情報と、シートベルトが正しく着用される位置等の情報とを比べて、シートベルトが正しく着用されているか否かの結論を得ることができる。さらに、シートベルト着用領域を含む複数枚の画像に基づいて、シートベルトが正しく着用されているか否かを判断するように構成される判別器をトレーニングすることによって、判別器によりシートベルトが正しく着用されているか否かを判断することができる。

【0041】

本出願の実施例１により、視覚に基づく人員のシートベルト着用状態の非接触式の認識を実現し、機器の生産コストを節約すると同時に、人員のシートベルト着用状態を判断する結果がより正確となる。

【0042】

本出願の実施例１により提供されるシートベルト着用検出方法は、交通機器から収集された目標画像を取得することと、目標画像における第１画像領域および／または第２画像領域を特定することであって、第１画像領域は目標画像における目標対象の頭部・体幹が位置する領域であり、第２画像領域は目標画像における目標対象の顔部が位置する領域であることと、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定することであって、第３画像領域は目標画像におけるシートベルト着用領域であることと、第３画像領域における画像情報に基づいて、目標画像におけるシートベルトの着用が所定の着用要求を満たすか否かを判断することにより、関連技術において乗客がシートベルトを正しく着用しているか否かを正確に判断することが困難であるという課題を解決した。目標画像における目標対象の頭部・体幹が位置する領域および／または顔部が位置する領域によりシートベルト着用領域を特定することによって、シートベルトの着用が所定の着用要求を満たすか否かを判断し、さらに乗客がシートベルトを正しく着用しているか否かを判断する精度を向上させるという効果を達成している。

【0043】

好ましくは、本出願の実施例１により提供されるシートベルト着用検出方法において、交通機器から収集された目標画像を取得する前に、該方法は、交通機器から収集された画像を複数枚取得するとともに、取得された画像に対して頭部・体幹領域を含むか否かをマーキングし、かつ頭部・体幹領域を含む画像に対して頭部・体幹領域の位置をマーキングし、複数枚の第１マーキング画像を得ることと、複数枚の第１マーキング画像を第１トレーニングセットデータとして特定するとともに、第１トレーニングセットデータによりニューラルネットワークモデルをトレーニングし、頭部・体幹領域を検出するように構成される第１検出器を得ることと、および／または、交通機器から収集された画像を複数枚取得するとともに、取得された画像に対して顔部領域を含むか否かをマーキングし、かつ顔部領域を含む画像に対して顔部領域の位置をマーキングし、複数枚の第２マーキング画像を得ることと、複数枚の第２マーキング画像を第２トレーニングセットデータとして特定するとともに、第２トレーニングセットデータによりニューラルネットワークモデルをトレーニングし、顔部領域を検出するように構成される第２検出器を得ることと、をさらに含む。

【0044】

なお、本出願の実施例１の畳み込みニューラルネットワーク（ＣＮＮ、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に基づく検出器のトレーニングセットは、以下の方式で取得することができる。目標対象が車内の運転席の位置にいる運転者である場合、まず一般的なデータ取得方式（例えば、実際のサンプリング）により車内の運転席の位置のシーンの完全な画像を複数枚得ることができ、具体的には、画像データ量は、少なくとも１００００枚を含む。次に、目標内容を含むか否かの定性的なマーキングを１枚ずつ行うとともに、内容を含む画像に対して引き続き目標内容ＲＯＩ位置に対する定量的なマーキングを行い、ＲＯＩ位置の定量的なマーキングごとに、完全な画像における該目標内容の左上、右下の２次元座標ペアおよび目標の包含の有無を含み、全ての画像および関連した定性、定量的なマーキング内容は、検出器のトレーニングセットを構成する。

【0045】

さらに、ニューラルネットワークを構築した後で、トレーニングセットにおける画像データを異なるバッチに応じてランダムに選択してからニューラルネットワークに入力し、ネットワークにおける異なる重みを利用して重み付け操作を行い、ニューラルネットワークの出力結果に含まれる様々な定性的、定量的な結論および対応するマーキングデータを入力データと照合するとともに、照合誤差に基づいてニューラルネットワークにおける重み値を調整するようにＣＮＮに基づく検出器をトレーニングすることができ、全体のプロセスは、１回のトレーニングとされる。複数回のトレーニングを経た後で、ニューラルネットワークの出力結論は、重みの調整に伴って徐々にキャリブレーションの実際の結論に合致しつつあり、両者の差異がある程度よりも小さいか、またはトレーニング回数が十分な回数に達すると、トレーニングを停止し、トレーニングにより得られたニューラルネットワークにおける重みに基づいて検出器のパラメータを特定する。

【0046】

具体的には、目標対象が運転席の位置にいる運転者である場合、頭部・体幹領域を検出するように構成される第１検出器（ＨＴＲＯＩ領域検出器）をトレーニングするとき、トレーニングセットの目標内容は、ＨＴＲＯＩ領域であり、入力データは、車内シーン全体の画像であり、定量的なマーキング内容は、ＨＴＲＯＩ領域の左上、右下の座標ペアであり、定性的なマーキング内容は、ＨＴＲＯＩ領域の包含の有無である。顔部領域を検出するように構成される第２検出器（ＦＲＯＩ領域検出器）をトレーニングするとき、トレーニングセットの目標内容は、ＦＲＯＩ領域であり、入力データは、車内シーン全体の画像であり、定量的なマーキング内容は、ＦＲＯＩ領域の左上、右下の座標ペアであり、定性的なマーキング内容は、ＦＲＯＩ領域の包含の有無である。

【0047】

本出願の実施例１により、ＨＴＲＯＩ領域検出器とＦＲＯＩ領域検出器とは、いずれもＣＮＮ前向き推論の方式で実現され、従来の画像認識方法に比べて、認識効果がより良く、人工知能ハードウェアの最適化方式に効果的に適応でき、検出性能がより良い。

【0048】

第１検出器および／または第２検出器を得た場合、第１画像領域を特定する方法は、複数あり、好ましくは、本出願の実施例１により提供されるシートベルト着用検出方法において、第１検出器と第２検出器とを得た場合、目標画像における第１画像領域を特定することは、第１検出器により目標画像を検出し、第１画像領域を得ることを含み、目標画像における第２画像領域を特定することは、第２検出器により目標画像を検出し、第２画像領域を得ることを含む。

【0049】

第１検出器を得た場合、目標画像における第１画像領域を特定することは、第１検出器により目標画像を検出し、第１画像領域を得ることを含み、目標画像における第２画像領域を特定することは、目標対象の所定の着座姿勢情報に基づいて、第１画像領域から第２画像領域を切り取ることを含む。

【0050】

第２検出器を得た場合、目標画像における第２画像領域を特定することは、第２検出器により目標画像を検出し、第２画像領域を得ることを含み、目標画像における第１画像領域を特定することは、目標対象の所定の着座姿勢情報に基づいて、目標画像において第２画像領域を下方、左方および右方へ所定の領域だけ拡張させ、第１画像領域を得ることを含む。

【0051】

なお、１つの選択可能な実施形態において、ＣＮＮに基づく方法によりＨＴＲＯＩ領域検出器とＦＲＯＩ領域検出器とをそれぞれ得ることによって、画像全体の入力に基づいてＨＴＲＯＩ領域とＦＲＯＩ領域との目標画像における２次元位置を直接回帰することができる。

【0052】

１つの選択可能な実施形態において、まずＣＮＮの方法によりＨＴＲＯＩ領域検出器を得て、ＨＴＲＯＩ領域検出器によりＨＴＲＯＩ領域を検出してから、人体が運転席の位置に着席している時の大体の予知姿勢に基づいて、ＨＴＲＯＩ領域の上半部分の中央でＦＲＯＩ領域を得ることもできる。

【0053】

１つの選択可能な実施形態において、さらに、まずＣＮＮの方法によりＦＲＯＩ領域検出器を得て、ＦＲＯＩ領域検出器によりＦＲＯＩ領域を検出してから、人体が運転席の位置に着席している時の大体の予知姿勢に基づいて、ＦＲＯＩ領域を下方および両側に拡張させてＨＴＲＯＩ領域を得ることもできる。

【0054】

第１画像領域および／または第２画像領域を得た場合、第３画像領域を特定する方法は、複数あり、好ましくは、本出願の実施例１により提供されるシートベルト着用検出方法において、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定することは、目標画像における第１画像領域を得たとともに、目標画像における第２画像領域を得た場合、シートベルトが正しく着用されているときの被覆領域の第１画像領域に対するオフセット距離に基づいて、目標画像において第１シートベルト着用領域を特定するとともに、シートベルトが正しく着用されているときの被覆領域の第２画像領域に対するオフセット距離に基づいて、目標画像において第２シートベルト着用領域を特定することと、第１シートベルト着用領域と第２シートベルト着用領域とを目標画像の空間位置で平均化して、第３画像領域を得ることと、を含む。

【0055】

具体的には、目標画像においてＨＴＲＯＩ領域もＦＲＯＩ領域も検出された場合、シートベルトが正しく着用されている場合、ＨＴＲＯＩ領域およびＦＲＯＩ領域に対する被覆領域のオフセットのそれぞれに基づいて、画像全体において人体がシートベルトを着用しているか否かを検出するＳＲＯＩ領域を２つ設定し、この２つのＳＲＯＩ領域を空間位置で平均化した後で、最終的なＳＲＯＩ領域を得ることができ、シートベルトが正しく着用されているか否かの検出のためにデータ基礎を築く。

【0056】

好ましくは、本出願の実施例１により提供されるシートベルト着用検出方法において、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定する前に、該方法は、頭部・体幹領域画像を複数枚取得するとともに、取得された画像に対してシートベルト着用領域を含むか否かをマーキングし、かつシートベルト着用領域を含む画像に対して顔部領域の位置をマーキングし、複数枚の第３マーキング画像を得ることと、複数枚の第３マーキング画像を第３トレーニングセットデータとして特定するとともに、第３トレーニングセットデータによりニューラルネットワークモデルをトレーニングし、シートベルト着用領域を検出するように構成される第３検出器を得ることと、をさらに含み、目標画像における第１画像領域および／または第２画像領域を得た場合、第３画像領域を特定することは、目標画像における第１画像領域の位置および／または目標画像における第２画像領域の位置、および第１画像領域を第３検出器に入力し、第３画像領域を検出することを含む。

【0057】

具体的には、目標対象が運転席の位置にいる運転者である場合、シートベルト着用領域を検出するように構成される第３検出器をトレーニングするとき、そのトレーニングセットの目標内容は、ＳＲＯＩであり、入力データは、ＨＴＲＯＩ領域によって限定された画像範囲であり、定量的なマーキング内容は、ＨＴＲＯＩ領域によって限定された画像範囲座標系におけるＦＲＯＩ領域の左上、右下の座標ペアである。

【0058】

さらに、第３検出器を得た後で、画像におけるＨＴＲＯＩ領域とＦＲＯＩ領域との位置座標（ＨＴＲＯＩ領域の左上、右下の２つの点の２次元座標値、ＦＤＲＯＩの左上、右下の２つの点の２次元座標値、合計で４つの点の２次元座標値）および画像全体におけるＨＴＲＯＩ領域の画像を予めトレーニングされた第３検出器に直接入力することによって、最終的なＳＲＯＩ領域を回帰することができる。

【0059】

第３画像領域を特定する方法は、複数あり、好ましくは、本出願の実施例１により提供されるシートベルト着用検出方法において、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定する前に、該方法は、頭部・体幹領域画像を複数枚取得するとともに、取得された画像に対してシートベルト着用領域を含むか否かをマーキングし、かつシートベルト着用領域を含む画像に対してシートベルト着用領域の位置をマーキングし、複数枚の第４マーキング画像を得ることと、複数枚の第４マーキング画像を第４トレーニングセットデータとして特定するとともに、第４トレーニングセットデータによりニューラルネットワークモデルをトレーニングし、シートベルト着用領域を検出するように構成される第４検出器を得ることと、をさらに含み、目標画像において第１画像領域が検出された場合、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定することは、第４検出器により第１画像領域を検出し、第３画像領域を得ることを含む。

【0060】

具体的には、複数枚の頭部・体幹領域画像により、シートベルト着用領域を検出するように構成される第４検出器をトレーニングすることができ、トレーニングセットの目標内容は、ＳＴＲＯＩ領域であり、入力データは、ＨＴＲＯＩ領域画像であり、定量的なマーキング内容は、ＳＲＯＩ領域の左上、右下の座標ペアであり、定性的なマーキング内容は、ＳＲＯＩ領域の包含の有無である。さらに、トレーニングして第４検出器を得た後で、第４検出器によりＨＴＲＯＩ領域を検出し、ＳＴＲＯＩ領域を得る。

【0061】

好ましくは、本出願の実施例１により提供されるシートベルト着用検出方法において、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定する前に、該方法は、顔部領域を含む画像を複数枚取得するとともに、取得された画像に対してシートベルト着用領域を含むか否かをマーキングし、かつシートベルト着用領域を含む画像に対してシートベルト着用領域の位置をマーキングし、複数枚の第５マーキング画像を得ることと、複数枚の第５マーキング画像を第５トレーニングセットデータとして特定するとともに、第５トレーニングセットデータによりニューラルネットワークモデルをトレーニングし、シートベルト着用領域を検出するように構成される第５検出器を得ることと、をさらに含み、目標画像において第２画像領域が検出された場合、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定することは、第５検出器により第２画像領域を検出し、第３画像領域を得ることを含む。

【0062】

具体的には、顔部領域を含む複数枚の画像によりシートベルト着用領域を検出するように構成される第５検出器をトレーニングすることができ、トレーニングセットの目標内容は、ＳＴＲＯＩ領域であり、入力データは、ＦＲＯＩ領域画像であり、定量的なマーキング内容は、ＳＲＯＩ領域の左上、右下の座標ペアであり、定性的なマーキング内容は、ＳＲＯＩ領域の包含の有無である。さらに、トレーニングして第５検出器を得た後で、第５検出器によりＦＲＯＩ領域を検出し、ＳＴＲＯＩ領域を得る。

【0063】

また、目標画像においてＨＴＲＯＩ領域もＦＲＯＩ領域も検出されなかった場合、その時点で車内に乗員がいないと考えられ、その時点で（人がいないため）シートベルト未着用という判断を直接与える。

【0064】

第３領域画像を得た後で、第３領域画像に基づいてシートベルトの着用状態を判断し、好ましくは、本出願の実施例１により提供されるシートベルト着用検出方法において、第３画像領域における画像情報に基づいて、目標画像におけるシートベルトの着用が所定の着用要求を満たすか否かを判断する前に、該方法は、シートベルト着用領域画像を複数枚取得するとともに、取得された画像に対してシートベルトの着用が所定の着用要求を満たすか否かをマーキングし、複数枚の第６マーキング画像を得ることと、複数枚の第６マーキング画像を第６トレーニングセットデータとして特定するとともに、第６トレーニングセットデータによりニューラルネットワークモデルをトレーニングし、目標画像におけるシートベルトの着用が所定の着用要求を満たすか否かを判断するように構成される判別器を得ることと、をさらに含み、第３画像領域における画像情報に基づいて、目標画像におけるシートベルトの着用が所定の着用要求を満たすか否かを判断することは、判別器により第３画像領域を検出し、シートベルトの着用が所定の着用要求を満たすか否かの結論を得ることを含む。

【0065】

具体的には、ＣＮＮに基づいて、シートベルトの着用が所定の着用要求を満たすか否かを判断するように構成される判別器をトレーニングすることができ、そのトレーニングセットの目標内容は、シートベルトが正しく着用されているか否かの定性的な結論であり、入力データは、ＳＲＯＩによって限定された画像範囲であり、定性的なマーキング内容は、シートベルトが正しく着用されているか否かである。

【0066】

さらに、判別器を得た後で、シーン全体の画像データにおけるＳＲＯＩ部分の画像データを予めトレーニングされたＣＮＮに基づく判別器に入力し、乗員がシートベルトを着用しているか否かを判断する。

【0067】

例えば、図３に示すように、黒色枠で囲まれた領域は、検出されたＨＴＲＯＩ領域であり、白色枠で囲まれた領域は、検出されたＦＲＯＩ領域であり、灰色枠で囲まれた領域は、ＦＲＯＩ領域とＨＴＲＯＩ領域により得られたＳＲＯＩ領域であり、ＳＲＯＩ領域のデータをシートベルト判別器に入力した後で、「Ｗｉｔｈ Ｓａｆｅｔｙ Ｂｅｌｔ」という正確な結論を得ることができる。

【0068】

本出願の実施形態に係る解決手段を採用しない場合、例えば、目標画像全体をシートベルト判別器に入力すると、図４に示すように、シートベルト特徴が人の顔または人体の特徴と比べて画像全体において弱く、シートベルト判別器によって認識されにくいため、同じシーンでは、ＳＲＯＩ領域を判断することが困難であり、「Ｗｉｔｈｏｕｔ Ｓａｆｅｔｙ Ｂｅｌｔ」という誤った結論が得られたこととなる。

【0069】

好ましくは、本出願の実施例１により提供されるシートベルト着用検出方法において、第３画像領域における画像情報に基づいて、目標画像におけるシートベルトの着用が所定の着用要求を満たすか否かを判断した後で、該方法は、シートベルトの着用が所定の着用要求を満たさない場合、乗客にシートベルトを正しく着用するように提示するための提示情報を発することをさらに含む。

【0070】

具体的には、シートベルト着用が誤っていると、乗員がシートベルトを正しく着用していない、またはシートベルトを着用していないという情報が発せられることによって、乗員にシートベルトを正しく着用するように提示する。

【0071】

図５は、本出願の実施例１に係る選択可能なシートベルト着用検出方法のフローチャートである。

【0072】

本出願の実施例１に係る方法は、ＰＣ、携帯電話および現在主流の車載組込み型プラットフォーム上で実行することができ、車載組込み型プラットフォームは、ＡＲＭアーキテクチャ、ＤＳＰアーキテクチャおよびＡＲＭ＋ＤＳＰアーキテクチャを含むが、これらに限定されない。

【0073】

図５に示すように、該方法において、車内シーン画像データを取得し、車内シーン画像データ全体において人体の頭部・体幹検出（Ｈｕｍａｎ Ｔｏｒｓｏ Ｄｅｔｅｃｔｉｏｎ、ＨＴＤ）を行い、人体の頭部・体幹関心領域（Ｈｕｍａｎ Ｔｏｒｓｏ ＲＯＩ、ＨＴＲＯＩ）を取得する。同時に、車内シーン画像データ全体において人の顔検出（Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ、ＦＤ）を行い、人の顔の関心領域（Ｆａｃｅ ＲＯＩ、ＦＲＯＩ）を取得する。

【0074】

さらに、ＨＴＲＯＩ領域とＦＲＯＩ領域との位置関係に基づいて、シートベルト着用関心領域（Ｓｅａｔｂｅｌｔ ＲＯＩ、ＳＲＯＩ）を推定し、画像におけるＨＴＲＯＩ領域とＦＲＯＩ領域の位置座標およびシーン全体での画像データにおけるＨＴＲＯＩ領域部分のデータを、予めトレーニングされた畳み込みニューラルネットワークＣＮＮに基づく回帰器に直接入力し、ＳＲＯＩ領域を回帰してもよい。

【0075】

なお、ＨＴＤとＦＤのうちの１つのみでは、ＲＯＩ領域を検出した場合、該ＲＯＩのみを利用して位置関係によりＳＲＯＩ領域を推定してもよく、ＨＴＲＯＩ領域とＦＲＯＩ領域がいずれも検出されなかった場合、この時点で車内に乗員がいないと考えられ、その時点で（人がいないため）シートベルト未着用という判断を直接与える。

【0076】

最後に、シーン画像データ全体におけるＳＲＯＩ領域の画像データを予めトレーニングされた畳み込みニューラルネットワークＣＮＮに基づくシートベルト判別器に入力し、乗員がシートベルトを着用しているか否かを判断し、シートベルトの着用が誤っている場合も、乗員がシートベルトを着用していないことを提示する。

【0077】

本出願の実施例１により、視覚に基づく人員のシートベルト着用状態の非接触式の認識を実現し、機器の生産コストを節約すると同時に、人員のシートベルト着用状態を判断する結果がより正確になる。一方、実際のシーンにおけるシートベルトのサイズに基づいて、顔部検出と頭部・体幹検出とにより、シートベルトの検出領域を縮小し、シートベルト自体の特徴を目立たせ、シートベルト着用領域の認識可能な程度を向上させた。

【0078】

図６は、本出願の実施例１に係る選択可能なシートベルト着用検出方法の概略図である。

【0079】

本出願の実施例１に係る方法は、ＰＣ、携帯電話および現在主流の車載組込み型プラットフォーム上で実行することができ、車載組込み型プラットフォームは、ＡＲＭアーキテクチャ、ＤＳＰアーキテクチャおよびＡＲＭ＋ＤＳＰアーキテクチャを含むが、これらに限定されない。

【0080】

図６に示すように、該方法において、乗員が正常な姿勢で座席に着席し、顔部が前方を正視する場合、取得された車内シーンデータ全体で複数フレームの画像を収集し、人の顔の関心領域（Ｆａｃｅ ＲＯＩ、ＦＲＯＩ）を取得する。乗員の姿勢が正常であるため、各フレームの画像から対応するＦＲＯＩ領域を必ず得ることができる。

【0081】

さらに、複数フレームの画像のＦＲＯＩ領域の位置に基づいて平均化を行い、平均化されたＦＲＯＩ領域を得て、さらに平均化されたＦＲＯＩ領域に基づいて、予知のＦＲＯＩ領域とＳＲＯＩとの位置関係に基づいて拡張させてシートベルト着用関心領域（Ｓｅａｔｂｅｌｔ ＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）、ＳＲＯＩ）を得る。

【0082】

さらに、その後のフレームごとに入力された車内シーン画像全体について、そのＳＲＯＩ部分の画像データを予めトレーニングされたＣＮＮに基づくシートベルト判別器に入力し、乗員がシートベルトを着用しているか否かを判断し、シートベルトの着用が誤っている場合も、乗員がシートベルトを着用していないことを提示する。
具体的には、図７に示すように、白色枠で囲まれた領域は、検出されたＦＲＯＩ領域であり、灰色枠で囲まれた領域は、ＦＲＯＩ領域により予め定められたＳＲＯＩであり、ＳＲＯＩ領域のデータをＣＮＮに基づくシートベルト判別器に入力し、「Ｗｉｔｈ Ｓａｆｅｔｙ Ｂｅｌｔ」という正しい結論を得た。

【0083】

本出願の実施形態に係る解決手段を採用しない場合、例えば、目標画像全体をシートベルト判別器に入力すると、図８に示すように、シートベルト特徴が人の顔の特徴と比べて画像全体において弱く、シートベルト判別器により認識されにくいため、同じシーンでは、ＳＲＯＩ領域を判断することが困難であり、「Ｗｉｔｈｏｕｔ Ｓａｆｅｔｙ Ｂｅｌｔ」という誤った結論が得られたこととなる。

【0084】

本出願の実施例１により、視覚に基づく人員のシートベルト着用状態の非接触式の認識を実現し、機器の生産コストを節約すると同時に、人員のシートベルト着用状態を判断する結果がより正確となる。一方、実際のシーンにおけるシートベルトのサイズに基づいて、顔部検出により、シートベルトの検出領域を縮小し、シートベルト自体の特徴を目立たせ、シートベルト着用領域の認識可能な程度を向上させた。

【0085】

なお、図面のフローチャートに示されたステップは、１組のコンピュータ実行可能な命令などのコンピュータシステムにおいて実行されることができ、且つ、フローチャートに論理順序が示されているが、場合によって、示されたり説明されたりするステップをここの順序と異なる順序で実行してもよい。

【0086】

本出願の実施例１は、シートベルト着用検出装置をさらに提供し、なお、本出願の実施例１に係るシートベルト着用検出装置は、本出願の実施例１により提供されるシートベルト着用検出方法を実行するために用いられることができる。以下、本出願の実施例１により提供されるシートベルト着用検出装置を説明する。

【0087】

実施例２
図９は、本出願の実施例２に係るシートベルト着用検出装置の概略図である。図９に示すように、該装置は、第１取得ユニット１０と、第１特定ユニット２０と、第２特定ユニット３０と、判断ユニット４０と、を含む。

【0088】

具体的には、第１取得ユニット１０は、交通機器から収集された目標画像を取得するように構成される。

【0089】

第１特定ユニット２０は、目標画像における第１画像領域および／または第２画像領域を特定するように構成され、第１画像領域は目標画像における目標対象の頭部・体幹が位置する領域であり、第２画像領域は目標画像における目標対象の顔部が位置する領域である。

【0090】

第２特定ユニット３０は、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定するように構成され、第３画像領域は目標画像におけるシートベルト着用領域である。

【0091】

判断ユニット４０は、第３画像領域における画像情報に基づいて、目標画像におけるシートベルトの着用が所定の着用要求を満たすか否かを判断するように構成される。

【0092】

本出願の実施例２により提供されるシートベルト着用検出装置は、交通機器から収集された目標画像を取得するように構成される第１取得ユニット１０と、目標画像における第１画像領域および／または第２画像領域を特定するように構成される第１特定ユニット２０であって、第１画像領域は目標画像における目標対象の頭部・体幹が位置する領域であり、第２画像領域は目標画像における目標対象の顔部が位置する領域である第１特定ユニット２０と、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定するように構成される第２特定ユニット３０であって、第３画像領域は目標画像におけるシートベルト着用領域である第２特定ユニット３０と、第３画像領域における画像情報に基づいて、目標画像におけるシートベルトの着用が所定の着用要求を満たすか否かを判断するように構成される判断ユニット４０とにより、関連技術において乗客がシートベルトを正しく着用しているか否かを正確に判断することが困難であるという課題を解決した。目標画像における目標対象の頭部・体幹が位置する領域および／または顔部が位置する領域によりシートベルト着用領域を特定することによって、シートベルトの着用が所定の着用要求を満たすか否かを判断し、さらに乗客がシートベルトを正しく着用しているか否かを判断する精度を向上させるという効果を達成している。

【0093】

好ましくは、本出願の実施例２により提供されるシートベルト着用検出装置において、目標画像が目標対象の上半身領域を含む場合、目標対象の頭部・体幹が位置する領域は、顔部、首、肩および上胸を含む最小領域であり、目標対象の顔部が位置する領域は、顔部を含む最小領域である。

【0094】

好ましくは、本出願の実施例２により提供されるシートベルト着用検出装置において、該装置は、交通機器から収集された目標画像を取得する前に、交通機器から収集された画像を複数枚取得するとともに、取得された画像に対して頭部・体幹領域を含むか否かをマーキングし、かつ頭部・体幹領域を含む画像に対して頭部・体幹領域の位置をマーキングし、複数枚の第１マーキング画像を得るように構成される第２取得ユニットと、複数枚の第１マーキング画像を第１トレーニングセットデータとして特定するとともに、第１トレーニングセットデータによりニューラルネットワークモデルをトレーニングし、頭部・体幹領域を検出する第１検出器を得るように構成される第１トレーニングユニットと、および／または交通機器から収集された画像を複数枚取得するとともに、取得された画像に対して顔部領域を含むか否かをマーキングし、かつ顔部領域を含む画像に対して顔部領域の位置をマーキングし、複数枚の第２マーキング画像を得るように構成される第３取得ユニットと、複数枚の第２マーキング画像を第２トレーニングセットデータとして特定するとともに、第２トレーニングセットデータによりニューラルネットワークモデルをトレーニングし、顔部領域を検出する第２検出器を得るように構成される第２トレーニングユニットと、をさらに含む。

【0095】

好ましくは、本出願の実施例２により提供されるシートベルト着用検出装置において、第１特定ユニット２０は、第１特定モジュールおよび／または第２特定モジュールを含み、第１特定モジュールは、第１検出器と第２検出器とを得た場合、第１検出器により目標画像を検出し、第１画像領域を得るように構成され、第２特定モジュールは、第２検出器により目標画像を検出し、第２画像領域を得るように構成され、第１特定モジュールは、第１検出器を得た場合、第１検出器により目標画像を検出し、第１画像領域を得るように構成され、第２特定モジュールは、目標対象の所定の着座姿勢情報に基づいて、第１画像領域から第２画像領域を切り取るように構成され、第２特定モジュールは、第２検出器を得た場合、第２検出器により目標画像を検出し、第２画像領域を得るように構成され、第１特定モジュールは、目標対象の所定の着座姿勢情報に基づいて、目標画像において第２画像領域を下方、左方および右方に所定の領域だけ拡張させ、第１画像領域を得るように構成される。

【0096】

好ましくは、本出願の実施例２により提供されるシートベルト着用検出装置において、第２特定ユニット３０は、目標画像における第１画像領域を得たとともに、目標画像における第２画像領域を得た場合、シートベルトが正しく着用されているときの被覆領域の第１画像領域に対するオフセット距離に基づいて、目標画像において第１シートベルト着用領域を特定するとともに、シートベルトが正しく着用されているときの被覆領域の第２画像領域に対するオフセット距離に基づいて、目標画像において第２シートベルト着用領域を特定するように構成される第３特定モジュールと、第１シートベルト着用領域と第２シートベルト着用領域とを目標画像の空間位置で平均化して、第３画像領域を得るように構成される第４特定モジュールと、を含む。

【0097】

好ましくは、本出願の実施例２により提供されるシートベルト着用検出装置において、該装置は、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定する前に、頭部・体幹領域画像を複数枚取得するとともに、取得された画像に対してシートベルト着用領域を含むか否かをマーキングし、かつシートベルト着用領域を含む画像に対して顔部領域の位置をマーキングし、複数枚の第３マーキング画像を得るように構成される第４取得ユニットと、複数枚の第３マーキング画像を第３トレーニングセットデータとして特定するとともに、第３トレーニングセットデータによりニューラルネットワークモデルをトレーニングし、シートベルト着用区域を検出する第３検出器を得るように構成される第３トレーニングユニットと、をさらに含み、第２特定ユニットは、第１画像領域の目標画像における位置と、第２画像領域の目標画像における位置と、第１画像領域とを第３検出器に入力して、第３画像領域を検出するようにさらに構成される。

【0098】

好ましくは、本出願の実施例２により提供されるシートベルト着用検出装置において、該装置は、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定する前に、頭部・体幹領域画像を複数枚取得するとともに、取得された画像に対してシートベルト着用領域を含むか否かをマーキングし、かつシートベルト着用領域を含む画像に対してシートベルト着用領域の位置をマーキングし、複数枚の第４マーキング画像を得るように構成される第５取得ユニットと、複数枚の第４マーキング画像を第４トレーニングセットデータとして特定するとともに、第４トレーニングセットデータによりニューラルネットワークモデルをトレーニングし、シートベルト着用区域を検出する第４検出器を得るように構成される第４トレーニングユニットと、をさらに含み、第２特定ユニットは、第４検出器により第１画像領域を検出し、第３画像領域を得るようにさらに構成される。

【0099】

好ましくは、本出願の実施例２により提供されるシートベルト着用検出装置において、該装置は、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定する前に、顔部領域を含む画像を複数枚取得するとともに、取得された画像に対してシートベルト着用領域を含むか否かをマーキングし、かつシートベルト着用領域を含む画像に対してシートベルト着用領域の位置をマーキングし、複数枚の第５マーキング画像を得るように構成される第６取得ユニットと、複数枚の第５マーキング画像を第５トレーニングセットデータとして特定するとともに、第５トレーニングセットデータによりニューラルネットワークモデルをトレーニングし、シートベルト着用区域を検出する第５検出器を得るように構成される第５トレーニングユニットと、をさらに含み、第２特定ユニットは、第５検出器により第２画像領域を検出し、第３画像領域を得るようにさらに構成される。

【0100】

好ましくは、本出願の実施例２により提供されるシートベルト着用検出装置において、該装置は、第３画像領域における画像情報に基づいて、目標画像におけるシートベルトの着用が所定の着用要求を満たすか否かを判断する前に、シートベルト着用領域画像を複数枚取得するとともに、取得された画像に対してシートベルトの着用が所定の着用要求を満たすか否かをマーキングし、複数枚の第６マーキング画像を得るように構成される第７取得ユニットと、複数枚の第６マーキング画像を第６トレーニングセットデータとして特定するとともに、第６トレーニングセットデータによりニューラルネットワークモデルをトレーニングし、目標画像におけるシートベルトの着用が所定の着用要求を満たすか否かを判断する判別器を得るように構成される第６トレーニングユニットと、をさらに含み、判断ユニット４０は、判別器により第３画像領域を検出し、シートベルトの着用が所定の着用要求を満たすか否かの結論を得るようにさらに構成される。

【0101】

好ましくは、本出願の実施例２により提供されるシートベルト着用検出装置において、該装置は、第３画像領域における画像情報に基づいて、目標画像におけるシートベルトの着用が所定の着用要求を満たすか否かを判断した後で、シートベルトの着用が所定の着用要求を満たさない場合、乗客にシートベルトを正しく着用するように提示する提示情報を発するように構成される情報発出ユニットをさらに含む。

【0102】

前記シートベルト着用検出装置は、プロセッサとメモリとを含み、上記第１取得ユニット１０、第１特定ユニット２０、第２特定ユニット３０および判断ユニット４０等は、いずれもプログラムユニットとしてメモリに記憶され、プロセッサによりメモリに記憶された上記プログラムユニットを実行することにより、対応する機能を実現する。

【0103】

プロセッサは、カーネルを含み、カーネルによりメモリから対応するプログラムユニットを呼び出す。カーネルは、１つ以上設けられてもよく、カーネルパラメータを調整することによって、関連技術に係る乗客がシートベルトを正しく着用しているか否かを正確に判断することが困難であるという課題を解決する。

【0104】

メモリは、コンピュータ読み取り可能な媒体における揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）および／または不揮発性メモリなどの形式を含んでもよく、例えば、リードオンリーメモリ（ＲＯＭ）またはフラッシュメモリ（ｆｌａｓｈ ＲＡＭ）であり、メモリは、少なくとも１つの記憶チップを含む。

【0105】

本出願の実施例は、不揮発性記憶媒体をさらに提供し、不揮発性記憶媒体は、記憶されたプログラムを含み、ここに、プログラムが実行されると、シートベルト着用検出方法を実行させるように不揮発性記憶媒体が配置される機器を制御する。

【0106】

本出願の実施例は、プロセッサとメモリとを含み、メモリにコンピュータ読み取り可能な命令が記憶され、プロセッサは、コンピュータ読み取り可能な命令を実行するように配置され、コンピュータ読み取り可能な命令が実行されると、シートベルト着用検出方法が実行される電子装置をさらに提供する。本明細書における電子装置は、サーバ、ＰＣ、ＰＡＤ、携帯電話などであってもよい。

【0107】

本出願の実施例が、方法、システム、またはコンピュータプログラム製品として提供され得ることは、当業者にとって明らかである。したがって、本出願は、完全なハードウェア実施例、完全なソフトウェア実施例、またはソフトウェアとハードウェアとを組み合わせた実施例の形態を採用し得る。そして、本出願は、コンピュータ利用可能なプログラムコードを含む１つまたは複数のコンピュータ利用可能な記憶媒体（磁気ディスクメモリ、ＣＤ－ＲＯＭ、光学メモリなどを含むが、これらに限定されない）上で実施されるコンピュータプログラム製品の形態を採用し得る。

【0108】

本出願は、本出願の実施例による方法、機器（システム）、およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照して説明される。フローチャートおよび／またはブロック図における各フローおよび／またはブロック、ならびにフローチャートおよび／またはブロック図におけるフローおよび／またはブロックの組み合わせは、コンピュータプログラム命令によって実現され得ることを理解されたい。これらのコンピュータプログラム命令を汎用コンピュータ、専用コンピュータ、組み込みプロセッサまたは他のプログラマブルデータ処理機器のプロセッサに提供して機械を生成することによって、コンピュータまたは他のプログラマブルデータ処理機器のプロセッサにより実行される命令がフローチャートの１つまたは複数のフローおよび／またはブロック図の１つまたは複数のブロックで指定された機能を実現するための装置を生成する。

【0109】

これらのコンピュータプログラム命令は、特定の方式で動作させるようにコンピュータまたは他のプログラマブルデータ処理機器を案内することができるコンピュータ読み取り可能なメモリに記憶されてもよく、これにより、該コンピュータ読み取り可能なメモリに記憶された命令が、フローチャートの１つまたは複数のフローおよび／またはブロック図の１つまたは複数のブロックで指定された機能を実現する命令装置を含む製造品を生成する。

【0110】

これらのコンピュータプログラム命令は、コンピュータまたは他のプログラマブルデータ処理機器にロードされてもよく、これにより、コンピュータまたは他のプログラマブル機器で一連の操作ステップを実行してコンピュータにより実現される処理を生成し、これにより、コンピュータまたは他のプログラマブル機器で実行される命令は、フローチャートの１つまたは複数のプロセスおよび／またはブロック図の１つまたは複数のブロックで指定された機能を実現するためのステップを提供する。

【0111】

典型的な配置において、計算機器は、１つ以上のプロセッサ（ＣＰＵ）と、入出力インタフェースと、ネットワークインタフェースと、メモリとを含む。

【0112】

メモリは、コンピュータ読み取り可能な媒体における揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）および／または不揮発性メモリなどの形式を含んでもよく、例えばリードオンリーメモリ（ＲＯＭ）またはフラッシュメモリ（ｆｌａｓｈ ＲＡＭ）である。メモリは、コンピュータ読み取り可能な媒体の例である。

【0113】

コンピュータ読み取り可能な媒体は、揮発性および不揮発性、リムーバブルおよび非リムーバブルメディアを含み、任意の方法または技術により情報記憶を実現することができる。情報は、コンピュータ読み取り可能な命令、データ構造、プログラムのモジュール、または他のデータであってもよい。コンピュータの記憶媒体の例は、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、電気的消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、フラッシュメモリまたは他のメモリ技術、リードオンリーコンパクトディスクメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）または他の光学記憶装置、カセット磁気テープ、磁気テープ磁気ディスク記憶または他の磁気記憶機器または任意の他の非伝送媒体を含むが、これらに限定されず、計算機器によってアクセス可能な情報を記憶するために用いられることができる。本明細書における定義により、コンピュータ読み取り可能な媒体は、変調されたデータ信号およびキャリアなどの一時的なコンピュータ読み取り可能な媒体（ｔｒａｎｓｉｔｏｒｙ ｍｅｄｉａ）を含まない。

【0114】

なお、「含む」、「包含」という用語またはそれらの任意の変形は、非排他的な包含をカバーすることを意図し、これにより、一連の要素を含むプロセス、方法、商品または機器は、それらの要素を含むだけでなく、明確に列挙されていない他の要素またはそれらのプロセス、方法、商品または機器に固有の要素をさらに含む。より多くの制限がない場合、「１つの……を含む」という語句によって限定された要素は、要素を含むプロセス、方法、商品または機器に他の同じ要素が存在することを排除しない。

【0115】

本出願の実施例が、方法、システム、またはコンピュータプログラム製品として提供され得ることは、当業者にとって明らかである。したがって、本出願は、完全なハードウェア実施例、完全なソフトウェア実施例、またはソフトウェアとハードウェアとを組み合わせた実施例の形態を採用し得る。そして、本出願は、コンピュータ利用可能なプログラムコードを含む１つまたは複数のコンピュータ利用可能な記憶媒体（磁気ディスクメモリ、ＣＤ－ＲＯＭ、光学メモリなどを含むが、これらに限定されない）上で実施されるコンピュータプログラム製品の形態を採用し得る。

【0116】

以上は、本出願の実施例に過ぎず、本出願を制限するものではない。当業者にとって、本出願は、様々な変更および変形が可能である。本出願の趣旨および原理内で行われるいかなる補正、同等置換、改良などは、いずれも本出願の特許請求の範囲内に含まれるべきである。

【産業上の利用可能性】

【0117】

本発明の実施例により提供される解決手段は、画像認識の技術分野に適用されることができる。本発明の実施例において、交通機器から収集された目標画像を取得することと、目標画像における第１画像領域および／または第２画像領域を特定するステップであって、第１画像領域は目標画像における目標対象の頭部・体幹が位置する領域であり、第２画像領域は目標画像における目標対象の顔部が位置する領域であることと、第１画像領域および／または第２画像領域に基づいて、第３画像領域を特定するステップであって、第３画像領域は目標画像におけるシートベルト着用領域であることと、第３画像領域における画像情報に基づいて、目標画像におけるシートベルトの着用が所定の着用要求を満たすか否かを判断することと、を含み、本発明の実施例に係るシートベルト着用検出により、関連技術において乗客がシートベルトを正しく着用しているか否かを正確に判断することが困難であるという課題を解決した。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】