特表2024-515343適切なシートベルトの使用及び距離を検出するシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-04-09
(54)【発明の名称】適切なシートベルトの使用及び距離を検出するシステム及び方法
(51)【国際特許分類】
B60R 22/48 20060101AFI20240402BHJP
B60R 21/015 20060101ALI20240402BHJP
G06T 7/00 20170101ALI20240402BHJP
【ＦＩ】
B60R22/48 103
B60R21/015 330
G06T7/00 650Z
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023564001
(86)(22)【出願日】2022-05-09
(85)【翻訳文提出日】2023-10-18
(86)【国際出願番号】 US2022028374
(87)【国際公開番号】W WO2022260793
(87)【国際公開日】2022-12-15
(31)【優先権主張番号】17/343,366
(32)【優先日】2021-06-09
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】318009986
【氏名又は名称】マグナ エレクトロニクス エルエルシー
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(74)【代理人】
【識別番号】100098143
【弁理士】
【氏名又は名称】飯塚 雄二
(72)【発明者】
【氏名】チャン、キャロライン
(72)【発明者】
【氏名】ジャッジ、フランク
(72)【発明者】
【氏名】ハーバート、トーマス
(72)【発明者】
【氏名】プリーネ、ミッチェル
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA04
5L096CA02
5L096DA02
5L096EA43
5L096FA03
5L096FA32
5L096FA66
5L096FA67
5L096FA69
5L096GA51
5L096GA55
(57)【要約】
シートベルト位置決めを検出するためのシステム及び方法は、カメラによって、乗員の近赤外線（ＮＩＲ）画像をキャプチャすることと、ＮＩＲ画像にメディアンフィルタを適用してグリントを除去することと、ＮＩＲ画像を黒白画像に変換し、黒白（Ｂ／Ｗ）画像を横切って走査することと、シートベルトの長さに沿って縦方向に延在するストライプに対応する黒セグメントと白セグメントとの間の複数の遷移を検出することと、複数の遷移の検出を使用してシートベルトの検出を示すことと、を含む。ＮＩＲ画像を黒白画像に変換することは、局所的な二値閾値を使用して、ＮＩＲ画像内の対応するソース画素が、対応するソース画素から所定の距離内の近傍画素の平均よりも明るいかどうかに基づいて、Ｂ／Ｗ画像内の所与の画素が黒であるべきか又は白であるべきかを判定することを含み得る。
【選択図】図１２
【選択図】図１２
【特許請求の範囲】
【請求項1】
シートベルト位置決めを検出する方法であって、カメラによって、乗員の近赤外線（ＮＩＲ）画像をキャプチャすることと、
前記ＮＩＲ画像を黒白画像に変換することと、
前記シートベルトの長さに沿って縦方向に延在するストライプに対応する黒セグメントと白セグメントとの間の複数の遷移を検出するために前記黒白画像を横切って走査することと、前記複数の遷移の検出を使用して前記シートベルトの検出を示すことと、を含む、方法。
【請求項2】
前記ＮＩＲ画像を前記黒白画像に変換する前に、前記ＮＩＲ画像にメディアンフィルタを適用してグリントを除去することを更に含む、請求項１に記載の方法。
【請求項3】
前記ＮＩＲ画像を前記黒白画像に変換することが、局所的な二値閾値を使用して、前記ＮＩＲ画像内の対応するソース画素が、前記対応するソース画素から所定の距離内の近傍画素の平均よりも明るいかどうかに基づいて、前記黒白画像内の所与の画素が黒であるべきか又は白であるべきかを判定することを含む、請求項１に記載の方法。
【請求項4】
前記所定の距離が、約１００画素であるか、又は前記所定の距離が、前記シートベルトの画素幅にほぼ等しい、請求項３に記載の方法。
【請求項5】
前記複数の遷移の前記検出を使用して前記シートベルトの検出を示すことが、前記遷移間の相対距離を前記ストライプの幅の比と比較することを更に含む、請求項１に記載の方法。
【請求項6】
前記ストライプの幅が、非対称パターンを画定する、請求項１に記載の方法。
【請求項7】
前記非対称パターンに対応する前記複数の遷移の順序が、前記シートベルトの向きに基づいて異なることに基づいて、前記シートベルトの前記向きを判定することと、前記シートベルトの長さに沿った前記シートベルトの前記向きの１つ以上の変化に基づいて、前記シートベルトのねじれを判定することと、を更に含む、請求項６に記載の方法。
【請求項8】
少なくとも２つの異なる関心領域における前記シートベルトの検出を使用して、前記シートベルトの角度を計算することを更に含む、請求項１に記載の方法。
【請求項9】
前記２つの異なる関心領域の各々における前記シートベルトの画素幅を使用して、前記シートベルトまでの距離を計算することを更に含む、請求項８に記載の方法。
【請求項10】
前記シートベルトまでの前記距離を計算することが、前記シートベルトの前記角度の正弦を計算することと、
前記シートベルトの画素幅に前記シートベルトの前記角度の前記正弦を乗じて、補償された画素幅を判定することと、
前記補償された画素幅及び前記シートベルトの既知の内幅に基づいて、前記シートベルトまでの前記距離を計算することと、を更に含む、請求項９に記載の方法。
【請求項11】
前記シートベルトの前記ストライプが、前記シートベルトの長さに沿った２つの縁部の各々において最も外側のストライプによって囲まれた複数の内側ストライプを含み、前記シートベルトの前記既知の内幅が、前記複数の内側ストライプの幅の合計である、請求項１０に記載の方法。
【請求項12】
前記シートベルトの角度又は前記シートベルトまでの距離のうちの少なくとも一方を使用して、前記シートベルトが適切に位置決めされているかどうかを判定することと、前記シートベルトが適切に位置決めされていると判定したことに応答して、又は前記シートベルトが適切に位置決めされていないと判定したことに応答して、信号を生成することと、を更に含む、請求項１に記載の方法。
【請求項13】
シートベルト位置決めを検出するためのシステムであってシートベルトであって、前記シートベルトが、前記シートベルトの長さに沿って縦方向に延在する複数のストライプを有し、前記複数のストライプが、近赤外線において明暗の交互パターンに配置されている、シートベルトと、
前記シートベルトを着用している乗員の近赤外線（ＮＩＲ）画像をキャプチャするように構成されたカメラと、
前記カメラと通信し、前記シートベルトを着用している前記乗員の前記ＮＩＲ画像を受信することと、前記ストライプの前記交互パターンに対応する遷移を検出することに基づいて前記シートベルトの位置を判定することと、を行うようにプログラムされたプロセッサと、を備える、システム。
【請求項14】
前記プロセッサが、局所的な二値閾値を使用して、前記ＮＩＲ画像内の対応するソース画素が、前記対応するソース画素から所定の距離内にある近傍画素の平均よりも明るいかどうかに基づいて、黒白画像内の所与の画素が黒であるべきか又は白であるべきかを判定するために、前記ＮＩＲ画像を前記黒白画像に変換するように更にプログラムされている、請求項１３に記載のシステム。
【請求項15】
前記所定の距離が、約１００画素であるか、又は前記所定の距離が、前記シートベルトの画素幅にほぼ等しい、請求項１４に記載のシステム。
【請求項16】
前記ストライプの前記交互パターンに対応する前記遷移の検出に基づいて前記シートベルトの前記位置を判定することが、前記遷移間の相対距離を前記複数のストライプの幅の比と比較することを更に含む、請求項１３に記載のシステム。
【請求項17】
前記ストライプの幅が、非対称パターンを画定する、請求項１３に記載のシステム。
【請求項18】
前記プロセッサが、前記ＮＩＲ画像内の２つの異なる関心領域の各々における前記シートベルトの検出に基づいて、前記シートベルトの画素幅及び前記シートベルトの角度を使用して前記シートベルトまでの距離を計算するように更にプログラムされている、請求項１３に記載のシステム。
【請求項19】
前記シートベルトまでの前記距離を計算することが、前記プロセッサが、前記シートベルトの前記角度の正弦を計算することと、
前記シートベルトの画素幅に前記シートベルトの前記角度の前記正弦を乗じて、補償された画素幅を判定することと、
前記補償された画素幅及び前記シートベルトの既知の内幅に基づいて、前記シートベルトまでの前記距離を計算することと、を行うようにプログラムされることを更に含む、請求項１８に記載のシステム。
【請求項20】
前記プロセッサが、前記シートベルトの角度又は前記シートベルトまでの距離の少なくとも一方を使用して、前記シートベルトが適切に位置決めされているかどうかを判定することと、
前記シートベルトが適切に位置決めされていると判定したことに応答するか、又は前記シートベルトが適切に位置決めされていないと判定したことに応答して、信号を生成することと、を行うように更にプログラムされている、請求項１３に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本ＰＣＴ国際特許出願は、２０２１年６月９日に出願された米国特許出願第１７／３４３，３６６号の利益を主張し、その内容は、その全体が参照により本明細書に組み込まれる。
本ＰＣＴ国際特許出願は、２０２１年６月９日に出願された米国特許出願第１７／３４３，３６６号の利益を主張し、その内容は、その全体が参照により本明細書に組み込まれる。
【0002】
（発明の分野）
本発明は、概して、近赤外線（near-infrared、ＮＩＲ）カメラなどの視覚システムを使用して、適切なシートベルト使用及び乗員までの距離を検出するためのシステム及び方法に関する。
本発明は、概して、近赤外線（near-infrared、ＮＩＲ）カメラなどの視覚システムを使用して、適切なシートベルト使用及び乗員までの距離を検出するためのシステム及び方法に関する。
【背景技術】
【0003】
１つ以上の物体を検出するために、カメラ及び他の画像検出デバイスが利用されてきた。これらのカメラと通信する制御システムは、カメラによってキャプチャされた画像を受信し、これらの画像を処理することができる。これらの画像の処理は、キャプチャされた画像内に見出される１つ以上の物体を検出することを含むことができる。これらの検出された物体に基づいて、制御システムは、これらの検出された変化するものに応答して何らかのタイプのアクションを実施することができる。
【0004】
シートベルトの使用を検出するための従来のシステムは、通常、シートベルトバックルスイッチに依存している。しかしながら、これらの従来のシステムは、シートベルトが適切に位置決めされているかどうか、又はシートベルトバックルが誤認識させられているかどうかを検出することができない。シートトラックセンサは、典型的には、自動車の乗員までの距離を判定するために使用される。しかしながら、このようなシートトラックセンサの使用は、シートに対する乗員の身体位置を考慮しない。
【発明の概要】
【課題を解決するための手段】
【0005】
一例では、シートベルト位置決めを検出するための方法は、カメラによって、乗員の近赤外線（ＮＩＲ）画像をキャプチャすることを含む。本方法はまた、ＮＩＲ画像を黒白画像に変換することと、黒白画像を横切って走査してシートベルトの長さに沿って縦方向に延在するストライプに対応する黒セグメントと白セグメントとの間の複数の遷移を検出するステップと、複数の遷移の検出を使用してシートベルトの検出を示すこととを含む。
【0006】
別の例では、シートベルト位置決めを検出するためのシステムは、シートベルトを備え、シートベルトは、シートベルトの長さに沿って縦方向に延在する複数のストライプを有し、複数のストライプは、近赤外線において明暗の交互パターンに配置される。システムはまた、シートベルトを着用している乗員の近赤外線（ＮＩＲ）画像をキャプチャするように構成されたカメラと、カメラと通信し、シートベルトを着用している乗員のＮＩＲ画像を受信し、ストライプの交互パターンに対応する遷移の検出に基づいてシートベルトの位置を判定するようにプログラムされたプロセッサとを備える。
【0007】
本発明の更なる目的、特徴、及び利点は、本明細書に添付され、本明細書の一部を形成する図面及び特許請求の範囲を参照して、以下の説明を検討した後、当業者には容易に明らかになるであろう。
【図面の簡単な説明】
【0008】
【図1】適切なシートベルトの使用を検出し、シートベルトまでの距離を検出するためのシステムを有する運搬装置を示す。
【0009】
【図2】適切なシートベルトの使用を検出し、シートベルトまでの距離を検出するためのシステムを有する運搬装置のキャビンの、前方に向かって見ている図を示す。
【0010】
【図3】適切なシートベルトの使用を検出し、シートベルトまでの距離を検出するためのシステムのブロック図を示す。
【0011】
【図4】シートベルトの不適切な位置決めの第１の例を示す。
【0012】
【図5】シートベルトの不適切な位置決めの第２の例を示す。
【0013】
【図6】シートベルトの不適切な位置決めの第３の例を示す。
【0014】
【図7A】本開示の一態様による、シートベルトを着用している人の近赤外線（ＮＩＲ）画像を示す。
【0015】
【0016】
【0017】
【0018】
【図8A】ＮＩＲ画像の拡大部分を示す。
【0019】
【0020】
【図9】本開示による、非対称ストライプパターンを伴うシートベルトのクローズアップＮＩＲ画像を示す。
【0021】
【0022】
【0023】
【図12】シートベルトの位置決めを検出する方法におけるステップを列挙したフローチャートを示す。
【発明を実施するための形態】
【0024】
図１を参照すると、適切なシートベルトの使用を検出し、及び／又はシートベルトまでの距離を検出するためのシートベルト検出システム１２を有する運搬装置１０が示されている。この例では、シートベルト検出システム１２は運搬装置１０内に組み込まれている。しかしながら、シートベルト検出システム１２は、運搬装置１０とは別個のスタンドアロンシステムであってもよいことを理解されたい。いくつかの実施形態では、シートベルト検出システム１２は、他のシステムのために、及び／又は先進運転者支援システム（advanced driver assistance system、ＡＤＡＳ）における運転者監視などの他の目的のために、運搬装置１０内に存在する構成要素のうちのいくつか又は全てを使用することができる。したがって、本開示のシートベルト検出システム１２は、非常に低い追加コストで実装され得る。
【0025】
運搬装置１０に関しては、運搬装置１０は、図１ではセダンタイプの自動車として示されている。しかしながら、運搬装置１０は、人又は品物をある場所から別の場所に輸送することができる任意のタイプの運搬装置であってもよいことを理解されたい。したがって、運搬装置１０は、セダンタイプの自動車であることに加えて、軽トラ、大型トラック、トレーラー、トラクター、鉱業用運搬装置などであってもよい。また、運搬装置１０は、車輪付き運搬装置に限定されず、航空機や船舶などの車輪なし運搬装置も含むことができることを理解されたい。この場合も、運搬装置という用語は、人又は品物をある場所から別の場所に輸送することができる任意のタイプの運搬装置を含むものと広く理解されるべきであり、上記で具体的に列挙した例に限定されるべきではない。
【0026】
図２を参照すると、運搬装置１０のキャビン１４が示されている。当技術分野でよく理解されているように、キャビン１４は、本質的に、運搬装置が移動しているときに乗員及び／又は物品が位置する、運搬装置１０の内部である。運搬装置のキャビン１４は、キャビン１４を構造的に画定する１つ以上のピラーによって画定されてもよい。例えば、図２では、Ａピラー１６Ａ及びＢピラー１６Ｂが示されている。図１は更に、第３のピラー又はＣピラー１６Ｃがあってもよいことを示す。当然のことながら、運搬装置１０は、キャビン１４を画定するようにいくつかのピラーのうちのいずれを含んでもよいことを理解されたい。更に、運搬装置１０は、これらのピラーを除去し、基本的に、コンバーティブルトップを有する自動車において一般的に見られるようなオープンエアキャビン１４を形成するように設計されてもよいことが理解されるべきである。
【0027】
客室１４内には座席１８Ａ及び１８Ｂが位置する。座席１８Ａ及び１８Ｂは、運搬装置１０の乗員を支持するように構成されている。運搬装置１０は、任意の数の座席を有してよい。更に、運搬装置１０は座席を全く有していなくてもよいことを理解されたい。
【0028】
運搬装置１０は、１つ以上のカメラ２０Ａ～２０Ｆを有してもよく、カメラ２０Ａ～２０Ｆは、キャビン１４の少なくとも一部の視野を有することができるように運搬装置１０に位置し取り付けられ、視覚システムの一部として機能する。したがって、カメラ２０Ａ～２０Ｆは、座席１８Ａ及び／又は１８Ｂに座っている乗員の視野を有することができる。ここでは、カメラ２０Ａ及び２０Ｃは、Ａピラー１６Ａ上に位置する。カメラ２０Ｂは、バックミラー２２上に位置する。カメラ２０Ｄは、運搬装置１０のダッシュボード２４上に位置してもよい。カメラ２０Ｅ及び２０Ｆは、運転者及び／又は乗員に焦点を合わせることができ、それぞれ運搬装置クラスタ２１又はハンドル２３に隣接して位置することができる。もちろん、いくつかの異なるカメラのうちのいずれか１つを利用することができることを理解されたい。したがって、１つのカメラのみが利用されてもよいか、又は多数のカメラが利用されてもよいことを理解されたい。更に、カメラ２０Ａ～２０Ｆは、キャビン１４の少なくとも一部の視野を有する限り、運搬装置１０のどこに位置し取り付けられてもよい。
【0029】
カメラ２０Ａ～２０Ｆは、視覚情報をキャプチャすることができる任意のタイプのカメラであってもよい。この視覚情報は、可視スペクトル内の情報であってもよいが、赤外光又は紫外光などの可視スペクトル外の情報であってもよい。ここでは、カメラ２０Ａ～２０Ｆは、近赤外線光の反射によって生成された画像をキャプチャすることができる近赤外線（ＮＩＲ）カメラである。近赤外線光は、電磁スペクトルの近赤外線領域（７８０ｎｍ～２５００ｎｍ）における任意の光を含み得る。しかしながら、本開示のシートベルト検出システム１２は、近赤外線領域内の特定の波長又は波長範囲を使用するように構成されてもよい。
【0030】
この近赤外線光の光源は、太陽のような自然光源であってもよいが、近赤外線光源２６のような人工光源であってもよい。近赤外線光源２６は、キャビン１４の少なくとも一部に近赤外線を投影することができる限り、運搬装置１０のキャビン１４内の任意の場所に取り付けられてもよい。ここでは、近赤外線光源２６はバックミラー２２に取り付けられているが、近赤外線光源２６はキャビン１４内のどこに取り付けられてもよいことを理解されたい。加えて、わずか１つの近赤外線光源２６が示されているが、運搬装置１０のキャビン１４内に位置する２つ以上の近赤外線光源２６があってもよいことを理解されたい。
【0031】
キャビン１４内には、キャビン１４内に位置する１人以上の乗員に情報を中継するための出力デバイス２８も位置し得る。ここでは、出力デバイス２８は、キャビン１４内に位置する１人以上の乗員に視覚情報を伝達するようにディスプレイデバイスに示されている。しかしながら、出力デバイス２８は、キャビン１４内にいる１人以上の乗員に情報を提供することができる任意の出力デバイスであってもよいことを理解されたい。したがって、例えば、出力デバイスは、運搬装置１０のキャビン１４内に位置する１人以上の乗員にオーディオ情報を提供するオーディオ出力デバイスであってもよい。更に、出力デバイス２８は、運搬装置の機能を制御する運搬装置サブシステムであってもよいことを理解されたい。
【0032】
図３を参照すると、シートベルト検出システム１２のより詳細な図が示されている。ここでは、システム１２は、本明細書に開示されるいくつかの異なる方法のうちのいずれか１つを実行するための命令３４を含むメモリ３２と通信するプロセッサ３０を有する制御システム１３を含む。プロセッサ３０は、単一のスタンドアロンプロセッサを含んでもよいか、又は一緒に動作する複数のシステムにわたって分散されてもよい２つ以上のプロセッサを含んでもよい。メモリ３２は、デジタル情報を記憶することができる任意のタイプのメモリであってもよい。例えば、メモリは、ソリッドステートメモリ、磁気メモリ、光メモリなどであってもよい。加えて、メモリ３２は、プロセッサ３０内に組み込まれてもよいか、又は図示されるようにプロセッサ３０から分離されてもよいことを理解されたい。
【0033】
プロセッサ３０はまた、カメラ２０と通信してもよい。カメラ２０は、図２に示して説明したカメラ２０Ａ～２０Ｆと同じであってもよい。カメラ２０は、図２のカメラ２０Ａ～２０Ｆと同様に、近赤外線カメラであってもよい。カメラ２０は、図２に示すカメラ２０Ａ～２０Ｆなどの複数の物理デバイスを含むことができる。カメラ２０は、視野２１を有する。
【0034】
近赤外線光源２６はまた、プロセッサ３０と通信してもよい。プロセッサ３０によって起動されると、近赤外線光源２６は、近赤外線光３６を物体３８に投射し、物体３８は、近赤外線光４０を吸収するか又はカメラ２０に向かって反射することができ、カメラは、吸収又は反射された近赤外線光４０を示す画像をキャプチャすることができる。次いで、これらの画像をプロセッサ３０に提供することができる。
【0035】
プロセッサ３０は、出力デバイス２８とも通信することができる。出力デバイス２８は、図２の客室１４内に位置する１人以上の乗員に情報を提供することができる視覚及び／又は聴覚出力デバイスを含むことができる。更に、出力デバイス２８は、プロセッサ３０から受信した入力に基づいて特定のアクションを行うことができる安全システムなどの運搬装置システムであってもよいことを理解されたい。例えば、プロセッサ３０は、図１の運搬装置１０の機能を制限又は最小化するように出力デバイス２８に命令することができる。本明細書で後述するように、シートベルト検出システム１２が実施し得る機能の１つは、乗員が安全ベルトを適切に着用しているかどうかを検出することである。安全ベルトが適切に着用されていない場合、プロセッサ３０は、運搬装置１０が大幅に減速された速度でしか走行できないように、運搬装置１０の機能を制限するように出力デバイス２８に命令することができる。
【0036】
図４は、シートベルトの不適切な位置決めの第１の例を示し、運搬装置１０の座席１８Ａに座っている乗員４４に対して不適切に調整されたシートベルト５０を示している。この例における不適切に調整されたシートベルト５０は、乗員４４の肩に緩くかけられている。図５は、シートベルトの不適切な位置決めの第２の例を示し、シートベルト５０が乗員４４の脇の下に通されていることを示している。図６は、シートベルトの不適切な位置決めの第３の例を示し、シートベルト５０が乗員４４の背中に回されていることを示している。シートベルト検出システムは、（例えば、シートベルトを乗員４４の後ろに回してバックルを差し込むか、又は異物をバックルラッチに入れることによって）バックルが誤認識させられている場合であっても、シートベルトがなくなっているか、又は乗員４４によって着用されていないなど、不適切なシートベルト位置決めの他の例を検出することができる。
【0037】
図７Ａは、本開示の態様による、シートベルト５０を着用している乗員４４の近赤外線（ＮＩＲ）画像を示す。これは、カメラ２０によってキャプチャされ、プロセッサ３０によって受信された画像を表すことができる。いくつかの実施形態において、乗員４４は、運搬装置１０の運転者であってもよい。しかしながら、乗員４４は、運搬装置１０の乗客であってもよい。図７Ｂは、図７ＡのＮＩＲ画像に基づいてフィルタリングされた画像を示す。図７Ｃは、図７ＡのＮＩＲ画像に基づく黒／白画像を示し、図７Ｄは、本開示による、検出点を示す、図７ＡのＮＩＲ画像に基づく画像を示す。具体的には、図７Ｄは、シートベルト５０が第１の関心領域（region of interest、ＲＯＩ）６０及び第２のＲＯＩ ６２のそれぞれを通過していることを示す。第１のＲＯＩ ６０は乗員４４の肩の上方に位置してもよく、第２のＲＯＩ ６２は第１のＲＯＩの下方でかつ左に位置してもよい。第２のＲＯＩ ６２は、乗員４４の胴部の中央領域に対応してもよい。ＲＯＩ ６０、６２はそれぞれ、カメラ２０の視野２１内の固定位置を有することができる。あるいは、システム１２は、カメラ２０の視野２１内の乗員４４の検出された位置に基づいて、ＲＯＩ ６０、６２の一方又は両方の位置を調整してもよい。
【0038】
図８Ａは、乗員４４の一部を含むＮＩＲ画像の拡大部分を示し、図８Ｂは、図８Ａの拡大部分のフィルタリングされた画像を示す。図８Ａ～８Ｂは、ＮＩＲ画像の小さな明るい領域として現れるグリントの除去を示す。この例におけるグリントは、乗員４４によって着用されているイヤリング上にある。しかしながら、グリントは、ほつれた糸又は１つの糸くず又は他の材料などの他の原因で生じ得る。シートベルト５０上又はその付近のグリントの存在は、場合によっては、後続の処理ステップに干渉する可能性があり、シートベルト検出システム１２の適切な動作の有効性を低減する可能性がある。
【0039】
図９は、本開示による、非対称ストライプパターンを有するシートベルト５０のクローズアップＮＩＲ画像を示す。具体的には、シートベルト５０は、シートベルト５０の長さに沿って縦方向に延びる複数のストライプ６８ａ～６８ｇを含む。ストライプ６８ａ～６８ｇは、ＮＩＲ画像において交互に高輝度及び低輝度を有する。図示のシートベルト５０は、７本のストライプ６８ａ～６８ｇを含む。しかしながら、シートベルト５０は、より少ない数又はより多い数のストライプ６８ａ～６８ｇを有してもよい。ストライプ６８ａ～６８ｇは、非対称パターンで配置され、ストライプ６８ａ～６８ｇの各々は、シートベルト５０の長さ寸法に垂直な方向に対応する幅Ｗａ～Ｗｇを有する。ストライプ６８ａ～６８ｇの幅Ｗａ～Ｗｇの合計は、シートベルト５０の全幅Ｗｔとなる。ストライプ６８ａ～６８ｇは、２つの最も外側のストライプ６８ａ、６８ｇを含み、ストライプ６８ａ、６８ｇは、全内幅Ｗｔｉを画定する複数の内側ストライプ６８ｂ～６８ｆを取り囲む。ストライプ６８ａ～６８ｇの幅Ｗａ～Ｗｇは、不規則なパターンを有することができ、このような不規則なパターンは、システム１２が偽陽性検出を行う変化を低減させることができる。より具体的には、内側ストライプ６８ｂ～６８ｆの幅Ｗｂ～Ｗｆは、偽陽性検出の可能性を低減するために不規則なパターンを有することができる。偽陽性検出は、カメラ２０がシートベルト５０以外の何かを撮像することによって、あるパターンが、シートベルト５０上のパターンと一致することを検出することである場合がある。
【0040】
ストライプ６８ａ～６８ｇは、シートベルト５０を形成するように織られるか又は他の方法で構成される材料の特徴であってもよい。ストライプ６８ａ～６８ｇを形成する材料は、シートベルト５０の全体にわたって延在してもよく、したがって、ストライプ６８ａ～６８ｇは、シートベルト５０の２つの対向する面のいずれかにおいて視認可能である。ストライプ６８ａ～６８ｇは非対称パターンを含むので、ストライプ６８ａ～６８ｇのパターンの画像に基づいてシートベルト５０の向きを判定することができる。シートベルト５０の１回以上のねじれは、ストライプ６８ａ～６８ｇの非対称パターンの反転として検出することができる。
【0041】
図１０は、本開示による、シートベルト５０を含み、水平走査線を示す、図７Ｃの黒／白画像の拡大部分を示す。図１０は、システム１２がどのように画素の行（水平線）を横切って走査し、ストライプ６８ａ～６８ｇに対応し、６つの遷移点によって分離された交互の色を有する一連の７つの連続するセグメントを探すかを示す。２つの最も外側のストライプ６８ａ、６８ｇは、０画素より大きい任意の幅を有することができる。言い換えれば、カメラ２０によって分解可能な任意の幅を有することができる。最も外側のストライプ６８ａ、６８ｇは、次に隣接するストライプ６８ｂ、６８ｆの外縁部を画定するように機能することができる。したがって、シートベルト５０は、２つの最も外側のストライプ６８ａ、６８ｆによって囲まれた５つの内側ストライプ６８ｂ～６８ｆを含むことができる。システム１２は、内側ストライプ６８ｂ～６８ｆの相対的な幅に基づいてシートベルト５０を認識することができる。具体的には、内側ストライプ６８ｂ～６８ｆは、異なる幅比のパターンを画定するように互いに異なる対応する幅Ｗｂ～Ｗｆを有してもよい。図１０に示される画素の各行は、画像の下部に示されるパターンに基づいてシートベルトを検出することができる。具体的には、システム１２は、一連の１つ以上の黒画素（ｂ＞０）と、その後に続く、１単位（ｗ１）のスケーリングされた幅を有する一連の白画素を検出することができる。引き続き左から右に向かって、システム１２は更に、１単位のスケーリングされた幅（ｂ１）を有する黒ストライプ６８ｃ、次いで４単位のスケーリングされた幅（ｗ４）を有する白ストライプ６８ｄ、次いで２単位のスケーリングされた幅（ｂ２）を有する黒ストライプ６８ｅ、次いで１単位のスケーリングされた幅（ｗ１）を有する白ストライプ６８ｆ、最後に別の一連の１つ以上の黒画素（ｂ＞０）を検出することができる。
【0042】
図１０に示される内側ストライプ６８ｂ～６８ｆの幅の比は、１：１：４：２：１であるが、内側ストライプ内側ストライプ６８ｂ～６８ｆは、異なる比を規定するために異なる幅を有してもよい。検出された内側ストライプ６８ｂ～６８ｆが、１：１：４：２：１の比に、ある誤差許容範囲内で一致する場合、各所与の走査線内のシートベルト５０の水平位置を検出点として示すことができる。いくつかの実施形態では、検出イベントの比率セクションの累積幅は、検出点とともに記憶され得る。したがって、システム１２は、場合によっては１：１：４：２：１の比に一致し得るが、シートベルト５０の全内幅Ｗｔｉの公差内にある全内幅Ｗｔｉを有しない、所与の走査線におけるノイズをフィルタ除去し得る。このようなノイズは、所与の走査線に隣接又は近接する走査線において検出される。対応する内側ストライプ６８ｂ～６８ｆの幅Ｗｂ～Ｗｆの相対比を使用することにより、システム１２はシートベルト５０を検出することができる。
【0043】
図１１は、シートベルト５０の検出された角度７０を示す、図７Ｄの画像の拡大部分を示す。特に、図１１は、システム１２がどのようにシートベルト５０を認識し、その位置を検出点６４として記録するかを示す。複数の検出点６４が蓄積されると、シートベルト５０の角度７０を判定することができる。角度７０は、長手方向におけるシートベルト５０の傾き、又はシートベルト５０のより高い部分とシートベルト５０のより低い部分との間のカメラからの距離の差を表すことができる。乗員４４の肩より上の第１のＲＯＩ ６０内の検出点６４は、シートベルト５０のより高い部分を表す。同様に、乗員４４の胴部の中心領域における第２のＲＯＩ ６２内の検出点６４は、シートベルト５０の下部を表すことができる。
【0044】
角度７０が判定されると、検出点６４におけるシートベルト５０の実際の幅を使用して、補償された画素幅を判定することができる。例えば、７３度の角度では、カメラ２０によって測定された画素幅が１００画素の検出点６４は、角度７０の正弦（ｓｉｎ ７３度）を乗算され、約９５．６画素の補償された画素幅が得られる。シートベルト５０の既知の全内幅Ｗｔｉと、カメラ２０の詳細（例えば、画素の弧長）とを用いて、シートベルト５０上の検出点６４の位置を判定することができる。この距離は、座席の位置に依存するような従来の方法とは対照的に、乗員４４の位置に関するより正確な測定を提供することができる。
【0045】
シートベルトの位置決めを検出する方法１００が図１２のフローチャートに示されている。方法１００は、ステップ１０２において、カメラ２０によって乗員４４の画像をキャプチャすることを含む。ステップ１０２は、近赤外線（ＮＩＲ）スペクトルで画像をキャプチャすることを含むことができ、このことは、近赤外線光源２６によって提供される反射ＮＩＲ光を検出することを含むことができる。ステップ１０２は、画像を、ビデオストリームとして、又は１つ以上の静止画像として、カメラ２０から、追加の処理のためにプロセッサ３０を有する制御システム１３に送信することを更に含み得る。
【0046】
方法１００はまた、ステップ１０４において、画像をフィルタリングしてグリントを除去することを含む。プロセッサ３０は、メディアンフィルタを画像に適用することを含み得るステップ１０４を実施し得る。メディアンフィルタは、シートベルト糸、カメラ２０内の不良画素、又はシートベルト５０に付着した糸くずなどの他のノイズ誘発粒子から生じ得る異常に明るいか又は暗い領域（すなわち、グリント）を平滑化しながら縁部を保存することができる。このステップ１０４は、黒／白遷移の誤検出の数を低減し、それによって、方法１００の性能及び信頼性を改善する。
【0047】
方法１００はまた、ステップ１０６において、フィルタリングされた画像を黒白（Ｂ／Ｗ）に変換することを含む。黒及び白という用語は、暗又は明を表す２つの二値状態のうちの１つにおける画素の任意の表現を含み得る。プロセッサ３０は、局所的な二値閾値を使用して、Ｂ／Ｗ画像内の任意の所与の画素が黒であるべきか又は白であるべきかを判定することを含み得るステップ１０６を実施し得る。このような局所的な二値閾値は、ソース画像（すなわち、フィルタリングされた画像）内のソース画素を、その画素の所定の距離内の近傍画素と比較することができる。ソース画素が近傍画素の平均より明るい場合、Ｂ／Ｗ画像内の対応する画素は白に設定されてもよく、ソース画素が近傍画素の平均より暗い場合、Ｂ／Ｗ画像内の対応する画素は黒に設定されてもよい。いくつかの実施形態では、所定の距離は約１００画素であってもよい。いくつかの実施形態では、所定の距離は、シートベルト５０がカメラに対して公称位置にある場合（例えば、中程度の体格を有し、中間位置で座席１８ａに座っている乗員４４に使用される場合）のシートベルト５０の画素幅に等しいか、又はほぼ等しくてもよい。
【0048】
方法１００はまた、ステップ１０８において、Ｂ／Ｗ画像を走査して、黒／白（又は白／黒）遷移を検出し、これらの遷移の検出を使用してシートベルト５０の検出６４を示すことを含む。プロセッサ３０は、遷移間の相対距離を比較して、それらの相対距離がシートベルト５０の内側ストライプ６８ｂ～６８ｆの幅の比に相関するかどうかを判定し、相関する場合、その位置を検出６４としてマークすることを含むステップ１０８を実施することができる。例えば、プロセッサ３０は、図１０に示される内側ストライプ６８ｂ～６８ｆの幅の１：１：４：２：１の比に一致する距離だけ離間された遷移のグループ化を検出するために、Ｂ／Ｗ画像内の水平線にわたって走査するようにプログラムされてもよい。同様に、プロセッサ３０は、内側ストライプ６８ｂ～６８ｆの幅の逆の比（すなわち、１：２：４：１：１パターンに一致する距離によって分離された遷移）を検出して、特定の位置で逆の配向を有するシートベルト５０を検出するようにプログラムされてもよい。
【0049】
方法１００はまた、ステップ１１０においてシートベルト５０の角度を計算することを含む。プロセッサ３０は、２つの関心領域（ＲＯＩ）６０、６２におけるシートベルト５０の位置などの複数の検出点６４を使用してシートベルト５０の角度７０を判定することを含み得るステップ１１０を実施することができる。角度７０は、長手方向におけるシートベルト５０の傾き、又はシートベルト５０のより高い部分とシートベルト５０のより低い部分との間のカメラからの距離の差を表すことができる。
【0050】
方法１００はまた、ステップ１１２においてシートベルト５０までの距離を計算することを含む。プロセッサ３０は、ＲＯＩ ６０、６２内のシートベルト５０の画素幅を使用することを含み得るステップ１１２を実施することができる。ステップ１１２は、先に判定されたシートベルト５０の角度を更に使用して、ＲＯＩ ６０、６２のうちの１つ以上におけるシートベルト５０までの距離など、５０までの距離を計算することができる。例えば、７３度の角度では、プロセッサ３０は、検出点６４の画素幅を１００画素と判定することができる。次に、プロセッサ３０は、１００画素の画素幅に角度７０の正弦（ｓｉｎ ７３度）を乗じて、約９５．６画素の補償された画素幅を判定することができる。シートベルト５０の既知の全内幅Ｗｔｉと、カメラ２０の詳細（例えば、画素の弧長）とを用いて、プロセッサ３０は、カメラとシートベルト５０の検出点６４との間の距離を計算することができる。この距離は、座席の位置に依存するような従来の方法とは対照的に、乗員４４の位置に関するより正確な測定を提供することができる。
【0051】
方法１００はまた、ステップ１１４において、シートベルト５０が適切に位置決めされているかどうかを判定することを含む。プロセッサ３０は、シートベルト５０の角度及び／又はシートベルト５０までの距離を使用することを含み得るステップ１１４を実施してもよい。例えば、プロセッサ３０は、シートベルト５０の測定角度を計算し、その測定角度をシートベルト５０の適切な位置に対応する測定値の範囲と比較することができる。同様に、プロセッサ３０は、シートベルト５０までの１つ以上の距離、及びシートベルト５０の適切な位置決めに対応する距離までの１つ以上の距離を計算することができる。いくつかの実施形態では、プロセッサ３０は、距離の変化率を計算して、例えば図４に示すように、シートベルト５０が緩んでいるかどうかを判定することができる。プロセッサ３０はまた、プロセッサ３０が、ＲＯＩ ６０、６２のうちの１つ以上など、画像の１つ以上の領域においてシートベルト５０を識別することができない場合、シートベルト５０が不適切に配置されていると指定することができる。このような不適切な位置決めの例を図５及び図６に示す。
【0052】
方法１００はまた、ステップ１１６において、シートベルト５０がねじれているか否かを判定することを含む。プロセッサ３０は、シートベルト上の非対称パターンの１つ以上の反転を検出することを含み得るステップ１１６を実施してもよい。例えば、プロセッサ３０は、ねじれについての閾値を超えるシートベルト５０のねじれの数を検出した場合、シートベルトが不適切に位置決めされていると指定することができる。
【0053】
方法１００はまた、ステップ１１８において、シートベルト５０が適切に配置されているとシステム１２が判定した場合に第１の信号を生成するか、又はシートベルト５０が不適切に配置されているとシステム１２が判定した場合に第２の信号を生成することを含む。プロセッサ３０はステップ１１８を実施することができ、このステップは、警告メッセージの音又は表示などの宣言を乗員４４に提供することを含むことができる。別の例では、プロセッサ３０は、安全システムなどの出力デバイス２８に信号を送り、運搬装置１０の機能を制限又は最小化するためのアクションを行うことができる。例えば、運搬装置１０は、シートベルト５０が適切に位置決めされているとシステム１２が判定するまで、又は判定しない限り、移動すること、又は非常に低い速度を超えることが防止され得る。
【0054】
本開示の方法を実行することによって、シートベルト検出システム１２は、乗員４４がシートベルト５０を適切に着用しているかどうかを判定することができる。本開示のシステム及び方法は、乗員４４がシートベルト５０を適切に着用しているという確信を強めることができる。
【0055】
加えて、前述したように、シートベルト５０は、シートベルト５０上に位置するか又は配設された光吸収及び／又は反射材料５０Ｃを有してもよい。カメラ２０Ａ～２０Ｆは、材料５０Ｃの画像をキャプチャすることができる。前述したように、この材料５０Ｃは、既知の距離５２だけ互いに分離されたパターン要素を有する既知のパターンであってもよい。次いで、シートベルト検出システム１２は、カメラ２０Ａ～２０Ｆからのこれらのキャプチャされた画像を検討し、シートベルト５０からカメラまでの距離が、概して、シートベルト５０が適切に乗員４４の身体４８にかかっていることを示す予想距離であるかどうかを判定することができる。更に、このパターンは既知であるので、乗員４４が着用している可能性があり、赤外線などの光を反射及び／又は吸収する可能性がある衣類は、シートベルト５０上のストライプ６８ａ～６８ｇのパターンのパターンと一致するパターンを有する可能性が非常に低いので、無視することができる。
【0056】
乗員４４がシートベルト５０を適切に着用していると判定された場合、シートベルト検出システム１２は、運搬装置１０が通常モードで動作することを可能にすることができる。しかしながら、シートベルト検出システム１２が、乗員４４がシートベルト５０を適切に着用していないことを示す場合、制御システム１２は、いくつかの異なるアクションのうちのいずれか１つを行うことができる。例えば、シートベルト検出システム１２は、シートベルト５０が適切に着用されていないという視覚的及び／又は聴覚的合図を提供するように、出力デバイス２８を使用して乗員４４に示すことができる。更に、出力デバイス２８は、シートベルト５０が乗員４４によって適切に着用されるまで運搬装置１０の動作を制限するように、いくつかの異なる運搬装置システムのうちのいずれか１つと通信することができる。
【0057】
シートベルト検出システム１２は、システムの信頼性を向上させるために他の制御システムと通信することもできる。例えば、シートベルト検出システム１２は、安全ベルトラッチ６１又はタングが安全ベルトバックル６３に挿入されていることを検出するセンサなど、１つ以上のセンサと通信することもできる。シートベルト検出システム１２が、安全ベルトバックルが適切にラッチされていると判定し、シートベルト５０が乗員４４の身体４８にわたって適切に位置決めされていると判定した場合、シートベルト検出システム１２は、シートベルト５０が乗員４４によって適切に利用されているとより強い確信をもって判定することができる。
【0058】
いくつかの実施形態では、特定用途向け集積回路、プログラム可能論理アレイ、及び他のハードウェアデバイスなどの専用ハードウェア実装形態を、本明細書に説明される方法の１つ以上のステップを実装するように構築することができる。様々な実施形態の装置及びシステムを含み得るアプリケーションは、様々な電子及びコンピュータシステムを広く含むことができる。本明細書で説明される１つ以上の実施形態は、２つ以上の特定の相互接続されたハードウェアモジュール又はデバイスを、モジュール間でかつモジュールを介して通信することができる関連する制御及びデータ信号とともに使用するか、又は特定の用途向け集積回路の一部として使用して、機能を実装してもよい。したがって、本システムは、ソフトウェア、ファームウェア、及びハードウェア実装形態を包含する。
【0059】
本開示の様々な実施形態によれば、本明細書で説明される方法は、コンピュータシステムによって実行可能なソフトウェアプログラムによって実装され得る。更に、例示的で非限定的な実施形態では、実装形態は、分散処理、コンポーネント／オブジェクト分散処理、及び並列処理を含むことができる。代替として、仮想コンピュータシステム処理は、本明細書に説明されるような方法又は機能のうちの１つ以上を実装するように構築することができる。
【0060】
更に、本明細書で説明される方法は、コンピュータ可読媒体において具現化され得る。「コンピュータ可読媒体」という用語は、集中型若しくは分散型データベース、並びに／又は１つ若しくは複数の命令セットを記憶する関連キャッシュ及びサーバなど、単一の媒体又は複数の媒体を含む。「コンピュータ可読媒体」という用語はまた、プロセッサによる実行のための命令のセットを記憶、符号化、若しくは搬送することが可能である、又はコンピュータシステムに本明細書で開示される方法若しくは動作のうちのいずれか１つ以上を実施させる、任意の媒体を含むものとする。
【0061】
当業者であれば容易に理解するように、上記の説明は、本発明の原理の例示として意図されている。本説明は、以下の特許請求の範囲に定義されるように、本発明の趣旨から逸脱することなく、本発明が修正、変形、及び変更を受け入れる余地があるという点で、本発明の範囲又は用途を限定することを意図するものではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図7D】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】
【国際調査報告】