特許 6360015 映像認識を用いた高度シートベルトインターロック

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6360015

(24)【登録日】2018年6月29日

(45)【発行日】2018年7月18日

(54)【発明の名称】映像認識を用いた高度シートベルトインターロック

(51)【国際特許分類】

   B60R 22/48 20060101AFI20180709BHJP

【ＦＩ】

   B60R22/48 101

【請求項の数】15

【外国語出願】

【全頁数】14

(21)【出願番号】特願2015-158779(P2015-158779)

(22)【出願日】2015年8月11日

(65)【公開番号】特開2016-41575(P2016-41575A)

(43)【公開日】2016年3月31日

【審査請求日】2018年3月27日

(31)【優先権主張番号】14/461,423

(32)【優先日】2014年8月17日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】507342261

【氏名又は名称】トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100153729

【弁理士】

【氏名又は名称】森本 有一

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100130133

【弁理士】

【氏名又は名称】曽根 太樹

(72)【発明者】

【氏名】エメリー チャールズ グラッシュ

【審査官】 飯島 尚郎

(56)【参考文献】

【文献】 特開２００８−２６９４９６（ＪＰ，Ａ）

【文献】 特開２０１０−１９５１３９（ＪＰ，Ａ）

【文献】 特開２０００−１６８５００（ＪＰ，Ａ）

【文献】 特開２００４−１６１０８７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００３／０１３７４１１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６０Ｒ ２２／４８

(57)【特許請求の範囲】

【請求項1】

乗り物のためのコンピューティング装置であって、
当該コンピューティング装置の操作を制御するための１又は複数のプロセッサと、
該１又は複数のプロセッサによって使用されるデータ及びプログラム指令を記憶するためのメモリと、を具備し、前記１又は複数のプロセッサは、前記メモリに記憶された指令を実行して、
前記乗り物の乗員及び該乗員に関連付けられたシートベルトに関する情報に基づいて乗員位置及びシートベルト位置を識別し、
少なくとも部分的に、前記乗員位置と、前記シートベルト位置と、シートベルトを正しい方法で及び間違った方法で着用した１又は複数の骨格モデルを含む参照モデルと、に基づいて前記乗員が正しく前記シートベルトを着用しているかどうかを判断し、且つ、
前記乗員が正しく前記シートベルトを着用していない場合には１又は複数の乗り物の操作をロックするように構成された、コンピューティング装置。

【請求項2】

前記乗員及び前記シートベルトに関する前記情報が、前記乗り物に関連付けられた１又は複数の光センサから受信される、請求項１に記載のコンピューティング装置。

【請求項3】

前記１又は複数のプロセッサが、更に、前記乗員位置と前記シートベルト位置とを示す三次元モデルを描画するように構成された、請求項１に記載のコンピューティング装置。

【請求項4】

前記乗員が正しく前記シートベルトを着用しているかどうかを判断することが、少なくとも部分的に、前記三次元モデルと前記参照モデルとの比較に基づく、請求項３に記載のコンピューティング装置。

【請求項5】

前記三次元モデル及び前記参照モデルの少なくとも一方が、骨格関節の関係の情報を有する、請求項３に記載のコンピューティング装置。

【請求項6】

前記参照モデルが、遠隔送信元から当該コンピューティング装置によって受信される、請求項１に記載のコンピューティング装置。

【請求項7】

前記１又は複数の乗り物の操作が、イグニッション操作及びギヤシフト操作の少なくとも一方を含む、請求項１に記載のコンピューティング装置。

【請求項8】

乗り物のためのコンピューティング装置であって、
当該コンピューティング装置の操作を制御するための１又は複数のプロセッサと、
該１又は複数のプロセッサによって使用されるデータ及びプログラム指令を記憶するためのメモリと、を具備し、前記１又は複数のプロセッサは、前記メモリに記憶された指令を実行して、
前記乗り物の乗員及び該乗員に関連付けられたシートベルトに関する情報に基づいて乗員位置及びシートベルト位置を識別し、
少なくとも部分的に、前記乗員位置と、前記シートベルト位置と、参照モデルであって、１又は複数の骨格モデル、１又は複数のシートベルトモデル、並びに、シートベルトを正しい方法で及び間違った方法で着用した１又は複数の骨格モデルのうちの少なくとも１つを含む参照モデルと、に基づいて前記乗員が正しく前記シートベルトを着用しているかどうかを判断し、且つ、
前記乗員が正しく前記シートベルトを着用していない場合には１又は複数の乗り物の操作をロックするように構成され、前記１又は複数の乗り物の操作が自律運転操作を含む、コンピューティング装置。

【請求項9】

乗り物のためのコンピューティング装置であって、
当該コンピューティング装置の操作を制御するための１又は複数のプロセッサと、
該１又は複数のプロセッサによって使用されるデータ及びプログラム指令を記憶するためのメモリと、を具備し、前記１又は複数のプロセッサは、前記メモリに記憶された指令を実行して、
前記乗り物の乗員及び該乗員に関連付けられたシートベルトに関する情報に基づいて乗員位置及びシートベルト位置を識別し、
少なくとも部分的に、前記乗員位置と、前記シートベルト位置と、参照モデルであって、１又は複数の骨格モデル、１又は複数のシートベルトモデル、並びに、シートベルトを正しい方法で及び間違った方法で着用した１又は複数の骨格モデルのうちの少なくとも１つを含む参照モデルと、に基づいて前記乗員が正しく前記シートベルトを着用しているかどうかを判断し、
前記乗員が正しく前記シートベルトを着用していない場合には１又は複数の乗り物の操作をロックし、且つ、
１又は複数の乗り物のシステムに対して１又は複数の命令を出し、前記乗り物を安全な場所へと自律的に回避させるように構成された、コンピューティング装置。

【請求項10】

前記１又は複数のプロセッサが、更に、前記１又は複数の乗り物の操作をロックする前に、警告を出すように構成された、請求項１に記載のコンピューティング装置。

【請求項11】

乗り物のためのコンピュータにより実施される方法であって、
前記乗り物の乗員及び前記乗員に関連付けられたシートベルトに関する情報に基づいて乗員位置及びシートベルト位置を識別することと、
少なくとも部分的に、前記乗員位置と、前記シートベルト位置と、シートベルトを正しい方法で及び間違った方法で着用した１又は複数の骨格モデルを含む参照モデルに基づいて、前記乗員が前記シートベルトを正しく着用しているかどうかを判断することと、
前記乗員が前記シートベルトを正しく着用していない場合には１又は複数の乗り物の操作をロックすることと、を含む方法。

【請求項12】

前記乗員位置及び前記シートベルト位置を示す三次元モデルを描画することを更に含む、請求項１１に記載の方法。

【請求項13】

前記乗員が正しく前記シートベルトを着用しているかどうかを判断することが、少なくとも部分的に、前記三次元モデルと前記参照モデルとの比較に基づく、請求項１２に記載の方法。

【請求項14】

前記三次元モデル及び前記参照モデルの少なくとも一方が、骨格関節の関係の情報を有する、請求項１２に記載の方法。

【請求項15】

前記１又は複数の乗り物の操作が、イグニッション操作、ギヤシフト操作及び自律運転操作の少なくとも１つを含む、請求項１１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は車両又は乗り物に関し、より詳細には、シートベルトの位置を判断する装置、システム、及び方法に関する。

【背景技術】

【0002】

運転者に安全ベルトの着用を促すため、自動車は通常、安全ベルトが締められていない場合に運転者の注意を喚起する警告音を有する。実際、米運輸省高速道路交通安全局が普及させる米連邦自動車安全基準でも、このような警告が義務づけられている。しかし、たとえシートベルトが締められていないことを車両が運転者に警告しても、運転者は常にこの警告を無視する選択が可能である。

【発明の概要】

【発明が解決しようとする課題】

【0003】

運転者がこれらの安全機能を回避できてしまうのは、多くの場合、シートベルトの状態を示すのが、シートベルトのバックルの内部に配置されたシートベルトがラッチ又は係合されているかを検知するセンサのみであることに起因する。ところが、シートベルトがラッチされているだけでは、シートベルトが意図された用途を適切に充足しているとみなすことはできない。例えば、シートベルトがラッチされていても、運転者はシートベルトのショルダーハーネスを背中の後ろに外すことができる。運転者が警告機能を恒久的に無効にしたい場合、運転者は（シートベルトの「タング」と呼ばれる）金属板部を切り離し、あるいは実物のタングの形状と合致するデザインの市販のタングを、バックルに差し込んだままにし、警告機能を完全に回避するかもしれない。意図的に回避しなくとも、運転者には問題が示されない、又は、運転者の知らないところで、意図せずシートベルトがねじれたり、位置がずれたりするかもしれない。同様に、運転者が前かがみになった場合、シートベルトのハーネスが運転者の上半身に正しく配置されないことがある。また、運転者が非平均的な体格又は体形の場合（例えば、運転者が妊婦、あるいは、著しく大きいまたは小さい場合）、シートベルトは最適位置にはないかもしれない。これら全ての場合において、シートベルトは技術的には「締められて」いるため、運転者には警告がされないであろう。

【課題を解決するための手段】

【0004】

以下、自動車又は乗り物の乗員（運転者など）がシートベルトを適切な位置で着用していない際に（乗員がシートベルトを全く着用していない場合を含む）、車両又は乗り物の操作をロックする装置、システム、及び、方法を開示する。１つの実施例において、光センサは乗員上のシートベルトの位置を決定するために用いられる。１つの実施例において、光センサは深度検知カメラである。別の実施例では、乗り物の乗員がシートベルトを正しい位置で着用していない場合に、乗り物のイグニッションシーケンスの作動が妨げられる。

【0005】

乗り物の操作をロックするコンピューティング装置の一例は、コンピューティング装置の操作を制御する一つ以上のプロセッサと、一つ以上のプロセッサによって用いられるデータとプログラム指令とを記憶するメモリと、を含み、一つ以上のプロセッサはメモリに記憶された指令を実施することで、乗り物の乗員と乗員に関連付けられたシートベルトに関することに基づいて乗員の位置とシートベルトの位置とを識別し、乗員の位置、シートベルトの位置及び参照モデルに少なくとも部分的に基づいて乗員がシートベルトを正しく着用しているかを判断し、乗員がシートベルトを正しく着用していない場合に一つ以上の乗り物の操作をロックするよう構成される。

【0006】

乗り物の操作をロックする方法の一例は、乗り物の乗員と乗員に関連付けられたシートベルトに関する情報に基づいて乗員の位置とシートベルトの位置とを識別することと、乗員の位置、シートベルトの位置及び参照モデルに少なくとも部分的に基づいて乗員がシートベルトを正しく着用しているかを判断することと、乗員がシートベルトを正しく着用していない場合に一つ以上の乗り物の操作をロックすることとを含む。

【0007】

乗り物の操作をロックするシステムの一例は、乗り物と関連する一つ以上の光センサと、一つ以上の光センサと通信するコンピューティング装置と、を含み、コンピューティング装置は、コンピューティング装置の操作を制御する一つ以上のプロセッサと、一つ以上のプロセッサによって用いられるデータとプログラム指令とを記憶するメモリと、を含み、一つ以上のプロセッサはメモリに記憶された指令を実施することで、一つ以上の光センサから受信した乗り物の乗員と乗員に関連付けられたシートベルトに関する情報に基づいて、乗員の位置とシートベルトの位置とを識別し、乗員の位置、シートベルトの位置及び参照モデルに少なくとも部分的に基づいて乗員がシートベルトを正しく着用しているかを判断し、乗員がシートベルトを正しく着用していない場合に一つ以上の乗り物の操作をロックするよう構成される。

【0008】

本明細書の説明は添付図面を参照してなされ、幾つかの図面に亘って同様の参照数字は同様の部分を意味する。

【図面の簡単な説明】

【0009】

【図1】シートベルトの状態に基づいて乗り物の操作をロックするコンピューティング装置の概略的ブロック図である。

【図2】図１のコンピューティング装置が用いる光センサを含む乗り物を図示したものである。

【図3A】例示的実施形態による深度検知カメラの斜視図である。

【図3B】例示的実施形態による、深度を判断するために深度検知カメラによって用いられる光パターンを図解したものである。

【図4】骨格モデルの例示を図示したものである。

【図5】例示的実施形態による、検知可能な、シートベルトを着用している乗り物の乗員、及び、骨格関節の関係を図示したものである。

【図6】図１のコンピューティング装置を用いて実施される工程例の論理フローチャートである。

【発明を実施するための形態】

【0010】

本開示は、車両又は乗り物の乗員（運転者など）が適切な位置でシートベルトを着用していない場合に（乗員がシートベルトを全く着用していない場合を含む）、車両又は乗り物の操作をロックする装置、システム、及び、方法を説明する。光センサは乗員上のシートベルトの位置を決定するために用いることができ、１つの実施例では、光センサは深度検知カメラである。別の例示的実施形態において、乗員とシートベルトを示す三次元モデルが描画される（rendered）。更に別の実施形態において、乗員がシートベルトを正しく着用しているかを決定するのに参照モデルが用いられる。更に別の実施形態において、乗り物の乗員がシートベルトを正しい位置で着用していない場合に、乗り物のイグニッションシーケンスの作動が妨げられる。別の例では、乗り物の乗員がシートベルトを正しい位置で着用していない場合に、自律走行する乗り物は自動的に道の端に寄せて停めることができる。別の例では、乗り物の操作のインターロックが有効にされる前に、乗り物は警告音を発する。

【0011】

図1は、シートベルトの嵌合及び位置に基づいて乗り物をインターロックする、コンピューティング装置１００の概略的ブロック図である。コンピューティング装置１００は乗り物搭載型、携帯型、デスクトップ型、その他のいかなる形式の単体のコンピューティング装置でもよく、又は、多数のコンピューティング装置から構成されてもよい。コンピューティング装置の処理ユニット１０２は、情報を操作又は処理可能な従来の中央演算装置（ＣＰＵ）、又は、その他のいかなる形式の単体装置、或いは、多数の装置でもよい。コンピューティング装置のメモリ１０４は、ランダムアクセスメモリ（ＲＡＭ）又は、その他の適切な形式の記憶装置でもよい。メモリ１０４には、ＣＰＵ１０２によってバス１０８を用いてアクセスされるデータ１０６を含めることができる。

【0012】

メモリ１０４には、オペレーションシステム１１０とインストール済みアプリケーション１１２も含めることができ、インストール済みアプリケーション１１２は、以下に記載するように、ＣＰＵ１０２による乗り物の操作のインターロックの実施を可能にするプログラムを含む。また、コンピューティング装置１００には、例えば、メモリカード、フラッシュドライブ、その他の形式のコンピュータ判読可能な媒体といった、セカンダリ、追加、又は、外部ストレージ１１４を含めることができる。１つの実施例において、インストール済みアプリケーション１１２の全体又は一部が外部ストレージ１１４に記憶され、処理の必要に応じてメモリ１０４にロードされてもよい。

【0013】

コンピューティング装置１００は、運転者が乗り物を制御するのを可能にする一つ以上の乗り物のインタフェース又は車両インタフェース１１６と直接又は間接的に通信できる。乗り物のインタフェース１１６の例としては、ステアリングホイール１１７、シフトレバー（gear shift）１１８、イグニッションスイッチ１１９、ペダル１２０、その他の乗り物のインタフェース１１６があげられる。乗り物のインタフェース１１６は、例えば、運転者が乗り物に命令を出すことを可能にする対話型ディスプレイ１２１、又は、運転者の命令を受信するように構成された音声認識システム（図示せず）があげられる。コンピューティング装置１００は、遠隔の装置またはサーバにデータを送受信できるように、通信インタフェース１２２を含んでいてもよい。

【0014】

コンピューティング装置１００は、一つ以上のセンサ１２４と直接又は間接的に通信でき、一つ以上のセンサ１２４はカメラなどの光センサ１２６でもよい。これら光センサ１２６は、Ｓｈｏｔｔｏｎらに付与された米国特許第８，６３８，９８５号及びＬａｔｔａらに付与された米国特許第８，４８７，９３８号に記載されたＭｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ（登録商標）などの消費者製品に搭載されているような深度検知機能を含み、その内容は参照により本出願に完全に援用される。光センサ１２６は、画像データを撮像でき、画像データはバス１０８を介してコンピューティング装置１００に送信されるか、又は、メモリ１０４又は外部ストレージ１１４に記憶され、コンピューティング装置１００によって後から取り出されてもよい。

【0015】

図２は、図１のコンピューティング装置が用いる光センサ１２６を含む乗り物２００を図示したものである。コンピューティング装置１００は、乗り物２００内に配置されるか、乗り物２００から遠隔にある別の場所に配置されてもよい。コンピューティング装置１００は、乗り物２００から遠隔にある場合、通信インタフェース１２２を用いて乗り物２００と通信できる。１つの実施例によれば、一つ以上の光センサ１２６が、乗り物の乗員が光センサ１２６の視野に入るように、乗り物２００の車室に配置される。

【0016】

１つの実施例において、乗員は乗り物２００の運転者である。光センサ１２６は、運転者のコンソール又はダッシュボードの中央領域に配置されてもよく、概して運転者の頭上の視野を提供することができる。あるいは、又は、それに加えて、運転者及び／又は他の乗員についてより多面的な視界を提供するため、光センサ１２６は乗り物２００の片方又は両方のＡピラーに配置されてもよい。１つの実施例において、正面図ではシートベルトが乗員の体又は服によって不明瞭な場合でもシートベルトが視野内に入るように、一つ以上の光センサ１２６が例えば天井に埋め込まれるなど、乗員に対して高い地点に配置されてもよい。

【0017】

１つの実施例において、図２に図解されるように、助手席又は後部座席に座る乗員を含むその他の乗客も監視するため、多数の光センサ１２６が乗り物２００中の至る所に配置されてもよい。つまり、運転者又はその他の乗員がシートベルトを適切に着用してない場合に、乗り物の操作をロックすることができる。したがって、本発明の精神と範囲から逸脱することなく、開示された実施例は乗り物２００内の一人以上のいずれの人に対して採用されてもよく、対象者は運転者又は乗り物の他の乗員でもよい。よって、「乗員」及び「運転者」という用語は、本出願内で置き換え可能に使用される。

【0018】

光センサ１２６は、（ＲＧＢデータを撮像する）従来の写真カメラ、深度検知カメラ、又は、その両方の組み合わせでもよい。光センサ１２６を多数採用することで、コンピューティング装置１００が一人以上の乗員を監視できるよう、より広い視野を提供できる。例えば、図２は、乗り物２００内の一人一人の乗員を監視するため、各座席の列に多数の光センサ１２６を有する乗り物２００を示す。当然のことながら、本発明の精神と範囲を逸脱することなく、使用する光センサ１２６の数を増減可能である。

【0019】

図３Ａは、１つの実施例において、一つ以上の光センサ１２６として用いることができる深度検知カメラ３００の斜視図である。深度検知カメラ３００の例として、Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ（登録商標）などの製品があげられる。１つの実施例において、各深度検知カメラ３００には、赤外線プロジェクタ３０２及び光検出器３０４を含めることができる。深度検知カメラ３００には、また、ＲＧＢデータを撮像するための写真カメラ３０６も含めることができる。

【0020】

コンピューティング装置１００に対して提供できるデータは、コンピューティング装置１００が乗員及びシートベルトの三次元モデルを構築することを可能とし得るため、深度検知カメラ３００は、乗員のシートベルトの使用を監視することが可能となる。つまり、深度検知カメラ３００によって提供されたデータによって、弱光下でも、又、色や質感に関係なく、場面を正確に三次元描写することが可能になる。したがって、乗員が例えば、シートベルト、座席、又は、背景の他の部分と似たような色と質感のシャツを着ている場合でも、或いは、乗り物２００の内部の照明が弱い場合でも、以下に詳細を記載するように、コンピューティング装置１００は乗員とシートベルトの位置を決定できる。深度データがないＲＧＢデータのみによる従来のパターン分析技術では、そのような場合に、乗員とシートベルトの境界を区別する、又は確かめるには充分ではない可能性がある。

【0021】

図３Ｂは、１つの実施例において、深度検知カメラ３００によって深度を決定するのに用いられる光パターンを図解したものである。この例では、赤外線プロジェクタ３０２が、場面に亘り（across the scene）予め設定された焦点距離で、つまり、深度検知カメラ３００の視野内に、所定の光パターン３０８を出力する。光パターン３０８は、場面内の物体に当たって反射し後方に散乱し、後方に散乱した光は光検知器３０４によって検知できる。コンピューティング装置１００、又は深度検知カメラ３００と関連する別のプロセッサは、この後方に散乱した光と赤外線プロジェクタ３０２によって出力された既知の当初の光パターン３０８とを比較できる。光パターン３０８は遠い距離を進むほど歪められるため、コンピューティング装置１００又は深度検知カメラ３００と関連する別のプロセッサは、光パターン３０８の後方散乱中に検知された歪み度合いに基づいて、視野の各部分までの距離を計算できる。これによって、三次元空間内の物体を明らかにできる。

【0022】

例えば、近くの物体３１０は、より遠くの物体３１６が反射する後方散乱３１４よりも歪みの少ない後方散乱３１２を反射する。同様に、ある物体についての光パターン３０８の歪みの変化で、赤外線プロジェクタ３０２からの相対距離に基づいて、この物体の輪郭が明らかになる。以下に詳細を記載するように、これら物体は深度検知カメラ３００の視野内で視認できる人物の手足に相当し得る。上記操作が、コンピューティング装置１００そのものによってではなく、深度検知カメラ３００に関連した別のプロセッサによって実施される場合、結果として作成される三次元描画は、例えば、バス１０８又は通信インタフェース１２２を介して、コンピューティング装置１００に送られてもよい。いずれの場合も、深度検知カメラ３００によって提供される深度データによって、コンピューティング装置１００は場面の三次元描画を取得または描画できる。

【0023】

多数の光センサ１２６が乗り物２００の異なる箇所にある場合、写真カメラ３０６（図３Ａ）が深度を検知するのにも用いられてもよい。写真カメラ３０６を用いた深度の検知は、視差画像分析によって実現可能であり、これによって、コンピューティング装置１００は多数の光センサ１２６から受信した立体入力に基づいて、場面内の物体の位置を三角測量することができる。このようにして、コンピューティング装置１００は、場面の物体（乗員やシートベルトなど）を含んだ、場面の三次元描画を作成することができる。

【0024】

コンピューティング装置１００が場面の三次元描画を取得すると、コンピューティング装置１００は場面内の乗員とシートベルトとを識別することが可能になる。１つの実施例において、人の体の位置や動きの骨格モデルを格納した一つ以上のデータベースを参照することで、これが達成されうる。これらデータベースは、メモリ１０４内又は外部ストレージ１１４内に記憶されるか、又は、通信インタフェース１２２を用いて遠隔位置からアクセスされてもよい。

【0025】

図４は、骨格関節の関係を描写した骨格モデル４００の例を図示したものである。１つの実装例において、骨格モデル４００は三次元物体でもよい。データベースは、座位、特に乗り物の座席での座位、の骨格モデルを多数含んでいてもよい。データベースは、各種形式のシートベルトのモデル（図示せず）、及び、シートベルトを正しくそして間違った方法で着用した各種形式の骨格モデルを含んでいてもよい。最適なシートベルトの位置は各種体格及び体形などの要素に依存するため、一つ以上のデータベースに格納された骨格モデルは、各種体格及び体形を反映していてもよい。例えば、乗員が妊娠している場合（これは、場面の三次元描画に基づいて検知できるであろう）、シートベルトの正しい位置は異なることがある。骨格モデル４００は、データベースに含まれうる骨格モデルの一例である。

【0026】

１つの実施例において、乗員の体格はコンピューティング装置１００が乗り物の操作のインターロックを実行するかのファクターになることがある。例えば、コンピューティング装置１００が乗員の体の寸法から、乗員が子供であることを検知した場合、このような乗員がシートベルトを正しく着用していない場合を想定して、コンピューティング装置１００は乗り物の操作をロックしてもよい。一方、乗員が大人の場合、コンピューティング装置１００は間違ったシートベルトの位置であっても無視し得る。

【0027】

図５は、シートベルト５０２を着用する乗り物の乗員５００を図示したものである。場面の三次元描画と各種骨格モデルとの比較に基づいて、コンピューティング装置１００は高い信頼性で（例えば、統計または確立分析を用いて）場面内の乗員５００の関節や四肢（例えば、腕、肩、胸、胴など）を推定することができる。このように、コンピューティング装置１００は、乗員５００の骨格関節の関係を含んだ、乗員５００の位置を決定することができる。同様に、データベースを参照して、コンピューティング装置１００はシートベルト５０２を識別し、シートベルト５０２の位置、つまり、乗員５００がどのようにシートベルト５０２を着用しているか、或いは、乗員５００がシートベルト５０２を全く着用していないかを判断することができる。

【0028】

シートベルト５０２は、幾つかの構成要素を含むことがあり、各構成要素はコンピューティング装置１００によって（上述した一つ以上のデータベースのシートベルトモデルを参照するなどして）識別できる。構成要素は、ショルダーハーネス５０４、ラップベルト５０６、タング５０８、及びバックル５１０を含むことができる。バックル５１０は、タング５０８がバックル５１０に差し込まれているかを検知するバックルセンサ５１２を含んでいてもよい。

【0029】

乗員５００及びシートベルト５０２の位置と、シートベルトを正しくそして間違った位置に着用した参照骨格モデルとを比較することで、コンピューティング装置１００は乗り物の操作がロックされるべきか否かを決定できる。例えば、間違ったシートベルトの位置には、推奨されるように乗員５００の鎖骨中央の胸を横切るのではなく、乗員５００の首やより低い位置で中央部を横切るショルダーハーネス５０４を含むことができる。また、間違ったシートベルトの位置には、乗員５００の腕の下、又は乗員５００の背中に配置されたショルダーハーネス５０４も含むことができる。

【0030】

コンピューティング装置１００は、ラップベルト５０６又はショルダーハーネス５０４がねじれた場合、或いは、位置がずれた場合でも検知することができる。当然のことながら、シートベルト５０２が乗り物の側面から延長されていないことをコンピューティング装置１００が検知した場合（乗員がシートベルト５０２を全く着用していないなど）にも、コンピューティング装置１００は乗り物の操作をロックできる。したがって、１つの実施例において、シートベルト５０２が全くラッチされていないかどうかを判断するため、バックルセンサ５１２に問い合わせてもよい。その場合、コンピューティング装置１００は光センサ１２６を用いることなく乗り物の操作をロックすることができ、コンピューティングリソースを節約できる。

【0031】

コンピューティング装置１００がリアルタイムで位置情報を処理し、乗員５００とシートベルト５０２の動きを追跡できるように、光センサ１２６は、映像ストリームによって一秒間に何回も（例えば、１秒間に６０画像まで）コンピューティング装置１００に画像情報を送信することができる。リアルタイムで動きを追跡することで、乗員５００の体又はシートベルト５０２の一部が動作の間に不明瞭になっても、コンピューティング装置１００は、乗員５００及び／又はシートベルト５０２の最後の既知の位置に基づいて、乗員５００及び／又はシートベルト５０２の確からしい位置を推定することもできる。これは、データベース内に骨格モデルの一部として動作情報を含むことで更に容易にされる。

【0032】

上述したように、コンピューティング装置１００が乗員５００（運転者又は他の乗員）がシートベルト５０２を正しく着用していないと判断した場合、乗り物の操作のインターロックを有効にでき、これによって、選択された乗り物の操作がロックされる。例えば、運転者がイグニッションスイッチ１１９を用いてエンジンのイグニッションシーケンスを開始するのを妨げたり、シフトレバー１１８を用いてパーキングギヤからドライブギヤに嵌合するのを妨げたりする。更に、乗り物の操作のインターロックを有効にするために、コンピューティング装置１００によって一つ以上の確認動作を行うことができる。例えば、本発明の装置、システム、方法は、自律駆動の乗り物のシステムにも応用でき、自律駆動の乗り物のシステムは運転操作を制御して、運転者による能動的なハンドル操作及び／又は能動的制御なしでも乗り物２００が自律走行することを可能にする。１つの実施例において、例えば、自律駆動機能を維持するために、運転者（乗員５００として）はシートベルト５０２を締めた状態で座ったままでいることが求められるかもしれない。したがって、運転者が乗り物の操作中にシートベルト５０２のバックルをはずした場合、又は、シートベルト５０２の位置をずらした場合、乗り物２００は運転者に対して、シートベルト５０２を再度掛けるよう聴覚又は視覚警告を伝えることができる。運転者が従わない場合、コンピューティング装置１００は乗り物２００を自動的に道の端に寄せて停車させ、運転者が乗り物２００をそれ以上操作するのを妨げることができる。あるいは、コンピューティング装置１００はオートマチック走行モードを無効にし、及び／又は、乗り物２００をマニュアルモードに切り替えることができる。

【0033】

乗員５００がシートベルト５０２を正しく着用していない際にロックされうるその他の乗り物の操作は、乗り物のマルチメディアシステム、又はその他の適切な乗り物のシステムを含んでもよい。更に、上述したように、乗り物の操作のインターロックは、運転者のみでなくほかの乗り物の乗員も扱うよう拡張されてもよい。つまり、上記実施例において、一人以上の乗客がそれぞれのシートベルトを正しく着用していない場合にも、運転者は選択した乗り物の操作に取り掛かれないようにしてもよい。

【0034】

図６は、実施例において、コンピューティング装置１００によって実施される、シートベルトの位置に基づいた乗り物のインターロックの工程６００の論理フローチャートの例である。ステップ６０２で、コンピューティング装置１００は乗員５００及びシートベルト５０２の位置を検知する。例えば、乗員５００は乗り物の運転者又は乗客であってもよい。コンピューティング装置１００は光センサ１２６から受信したデータに基づいて位置を検知するよう構成されてもよく、受信データとしては、上記詳述したように、写真又は映像データ、深度データ、三次元描画、或いは、これらの組み合わせがあげられる。更に、上記において詳述したように、コンピューティング装置１００は、このステップにおいて、シートベルト５０２の位置を検知するためにバックルセンサ５１２から入力を受信してもよい（すなわち、シートベルト５０２が外されていることをバックルセンサ５１２が示した場合、シートベルト５０２が乗員５００に配置されていないことが明らかとなる）。ステップ６０４で、コンピューティング装置１００はシートベルト５０２が乗員５００上に正しく位置しているかを判断する。正しく位置している場合、ステップ６０６で、選択された乗り物の操作が許可される。正しく位置していない場合、ステップ６０８で、選択された乗り物の操作がロックされる。

【0035】

１つの実施例において、工程６００は、コンピューティング装置１００が命令を受信することによって促される。例えば、運転者がイグニッションスイッチ１１９を用いてエンジンのイグニッションシーケンスの開始を試みると（又は、上述したように他の例）、その場合、工程６００がトリガーされ、コンピューティング装置１００がステップ６０２及び６０４に従ってシートベルト５０２の状態を検知する。別の実施例において、乗り物の操作のどこかで乗員５００がシートベルト５０２の位置をずらした又はシートベルト５０２をはずした場合、コンピューティング装置１００が選択された乗り物の操作をロックする是正措置をとれるよう、コンピューティング装置１００はステップ６０２及びステップ６０４に従ってシートベルト５０２の状態を継続的に監視する。これら是正措置は、例としてのみあげると、乗り物を道の端まで自動的に走行させる、ギヤを外す、乗り物を駐停車させる、エンジンを止める、これらの組み合わせ、又は、選択した乗り物の操作をロックするその他の形式のいかなる動作を含んでいてもよい。加えて、上述したように、乗り物の操作のインターロックをせずに乗員５００（又は、乗員５００でない場合運転者）にシートベルト５０２の位置を直す機会を与えるために、コンピューティング装置１００は、誤った位置にあるシートベルト５０２を検知した際に、是正的に乗り物の操作をロックする前に、聴覚又は視覚警告を出力してもよい。

【0036】

上述の説明は、現時点で最も現実的な実施形態及び実施例と考慮されるものに関する。しかしながら、本開示はこれら実施形態と実施例のみに限られるべきではなく、付属の請求項の精神と範囲に含まれる各種変形例及び等価配置を網羅するよう意図することが理解される。例えば、上述した実施形態及び実施例では、乗り物２００は概して自動車として説明されている。しかしながら、乗り物２００は自動車に限られず、説明したシステム及び方法は、例えば、航空機、船舶、電車など、運転者又は操作者によっておおよそ制御される他の乗り物においても実現され得る。したがって、該当法の元でこれら変形例や等価構成が認められるよう、本請求項の範囲には最も広い解釈が与えられる。
本開示は以下を含む。
構成１
乗り物のためのコンピューティング装置であって、
当該コンピューティング装置の操作を制御するための１又は複数のプロセッサと、
該１又は複数のプロセッサによって使用されるデータ及びプログラム指令を記憶するためのメモリと、を具備し、前記１又は複数のプロセッサは、前記メモリに記憶された指令を実行して、
前記乗り物の乗員及び該乗員に関連付けられたシートベルトに関する情報に基づいて乗員の位置及びシートベルトの位置を識別し、
少なくとも部分的に、前記乗員の位置、前記シートベルトの位置及び参照モデルに基づいて前記乗員が正しく前記シートベルトを着用しているかどうかを判断し、且つ、
前記乗員が正しく前記シートベルトを着用していない場合には１又は複数の乗り物の操作をロックするように構成された、コンピューティング装置。
構成２
前記乗員及び前記シートベルトに関する前記情報が、前記乗り物に関連付けられた１又は複数の光センサから受信される、構成１に記載のコンピューティング装置。
構成３
前記１又は複数の光センサがカメラである、構成２に記載のコンピューティング装置。
構成４
前記１又は複数の光センサが深度検知カメラである、構成２に記載のコンピューティング装置。
構成５
前記１又は複数のプロセッサが、更に、前記乗員の位置と前記シートベルトの位置とを示す三次元モデルを描画するように構成された、構成１に記載のコンピューティング装置。
構成６
前記乗員が正しく前記シートベルトを着用しているかどうかを判断することが、少なくとも部分的に、前記三次元モデルと前記参照モデルとの比較に基づく、構成５に記載のコンピューティング装置。
構成７
前記三次元モデル及び前記参照モデルの少なくとも一方が、骨格関節の関係の情報を有する、構成５に記載のコンピューティング装置。
構成８
前記参照モデルが、遠隔送信元から当該コンピューティング装置によって受信される、構成１に記載のコンピューティング装置。
構成９
前記１又は複数の乗り物の操作が、イグニッション操作及びギヤシフト操作の少なくとも一方を含む、構成１に記載のコンピューティング装置。
構成１０
前記１又は複数の乗り物の操作が自律運転操作を含む、構成１に記載のコンピューティング装置。
構成１１
前記１又は複数のプロセッサが、更に、１又は複数の乗り物のシステムに対して１又は複数の命令を出し、前記乗り物を自律的に安全な場所へと回避させるように構成された、構成１０に記載のコンピューティング装置。
構成１２
前記１又は複数のプロセッサが、更に、前記１又は複数の乗り物の操作をロックする前に、警告を出すように構成された、構成１に記載のコンピューティング装置。
構成１３
乗り物のためのコンピュータにより実施される方法であって、
前記乗り物の乗員及び前記乗員に関連付けられたシートベルトに関する情報に基づいて乗員の位置及びシートベルトの位置を識別することと、
少なくとも部分的に、前記乗員の位置、前記シートベルトの位置及び参照モデルに基づいて、前記乗員が前記シートベルトを正しく着用しているかどうかを判断することと、
前記乗員が前記シートベルトを正しく着用していない場合には１又は複数の乗り物の操作をロックすることと、を含む方法。
構成１４
前記乗員及び前記シートベルトに関する前記情報が、前記乗り物に関連付けられた１又は複数の光センサから受信される、構成１３に記載の方法。
構成１５
前記１又は複数の光センサが深度検知カメラである、構成１４に記載の方法。
構成１６
前記乗員の位置及び前記シートベルトの位置を示す三次元モデルを描画することを更に含む、構成１３に記載の方法。
構成１７
前記乗員が正しく前記シートベルトを着用しているかどうかを判断することが、少なくとも部分的に、前記三次元モデルと前記参照モデルとの比較に基づく、構成１６に記載の方法。
構成１８
前記三次元モデル及び前記参照モデルの少なくとも一方が、骨格関節の関係の情報を有する、構成１６に記載の方法。
構成１９
前記１又は複数の乗り物の操作が、イグニッション操作、ギヤシフト操作及び自律運転操作の少なくとも１つを含む、構成１３に記載の方法。
構成２０
システムであって、
乗り物に関連付けられた１又は複数の光センサと、
該１又は複数の光センサと通信するコンピューティング装置であって当該コンピューティング装置の操作を制御するための１又は複数のプロセッサと該１又は複数のプロセッサによって使用されるデータ及びプログラム指令を記憶するためのメモリとを有するコンピューティング装置と、具備し、前記１又は複数のプロセッサが、前記メモリに記憶された指令を実行して、
前記１又は複数の光センサから受信された、前記乗り物の乗員及び該乗員に関連付けられたシートベルトに関する情報に基づいて乗員の位置及びシートベルトの位置を識別し、
少なくとも部分的に、前記乗員の位置、前記シートベルトの位置及び参照モデルに基づいて、前記乗員が正しく前記シートベルトを着用しているかどうかを判断し、
前記乗員が正しく前記シートベルトを着用していない場合には１又は複数の乗り物の操作をロックするように構成された、システム。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】