特許 7557968 センサ処理ユニットを用いた客室体験ネットワーク

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-19

(45)【発行日】2024-09-30

(54)【発明の名称】センサ処理ユニットを用いた客室体験ネットワーク

(51)【国際特許分類】

   G06F 9/50 20060101AFI20240920BHJP

   B64D 11/00 20060101ALI20240920BHJP

【ＦＩ】

G06F9/50 150Z

B64D11/00

【請求項の数】 14

【外国語出願】

(21)【出願番号】P 2020099053

(22)【出願日】2020-06-08

(65)【公開番号】P2021036418

(43)【公開日】2021-03-04

【審査請求日】2023-05-25

(31)【優先権主張番号】16/435,356

(32)【優先日】2019-06-07

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】500520743

【氏名又は名称】ザ・ボーイング・カンパニー

【氏名又は名称原語表記】Ｔｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】リー， ドナルド ビー．

【審査官】三坂 敏夫

(56)【参考文献】

【文献】特開２０１７－１２０４９７（ＪＰ，Ａ）

【文献】国際公開第２０１９／０７８９１４（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／０１０２６８９（ＵＳ，Ａ１）

【文献】特開２０１６－１６７２７８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０２９２９８３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ９／４５５－９／５４

Ｂ６４Ｄ １１／００

(57)【特許請求の範囲】

【請求項1】

航空インターネットオブシングス（AIoT）システム（４００）内の生センサデータを処理するコンピュータ実装された方法であって、
センサ処理ユニット（SPU）（２０２、３００）のネットワークインターフェース（３０２）によって、輸送体の１以上のシステムから生センサデータを取得すること（４０２）、
前記ネットワークインターフェース（３０２）によって、前記生センサデータを前記SPU（２０２、３００）の１以上の処理ユニット（３０４、３０６、３０８、３１０、３１２、３１４）に提供すること（４０４）、
前記１以上の処理ユニット（３０４、３０６、３０８、３１０、３１２、３１４）によって、前記生センサデータに対して１以上の処理作業を実行して（４０６）、処理済みデータを生成すること、及び
前記ネットワークインターフェース（３０２）によって、前記処理済みデータを前記１以上のシステムに提供すること（４０８）を含み、
前記SPU（２０２、３００）が、客室体験ネットワーク（CEN）システムのスイッチとデータ通信する、コンピュータ実装された方法。

【請求項2】

前記１以上のシステムが、１以上のディスプレイ（１３３、１３７）、１以上の記憶デバイス（１６４、１８８、１９４）、１以上のプロジェクタデバイス（１１４、２０２、２０４、２０６、２０８、２１６、２１８、２２０、２２４、２３２、２３４、２３６、２３８、２４０、２４８、２５６、２５８、２６０、２６２、２６４、２７０、２７２、２８０）、又は１以上の非搭載型システム（１２０、１２６、１３０、１３８、１４６）を備える、請求項１に記載のコンピュータ実装された方法。

【請求項3】

前記SPU（２０２、３００）が、前記生センサデータを処理することに特化した、６つの並列マルチコアコンピュータ（３０４、３０６、３０８、３１０、３１２、３１４）を備える、請求項１又は２に記載のコンピュータ実装された方法。

【請求項4】

前記６つの並列マルチコアコンピュータ（３０４、３０６、３０８、３１０、３１２、３１４）のうちの１つが、機械学習アルゴリズムを使用して訓練される、請求項３に記載のコンピュータ実装された方法。

【請求項5】

前記機械学習アルゴリズムが、訓練されたニューラルネットワークである、請求項４に記載のコンピュータ実装された方法。

【請求項6】

請求項１から５のいずれか一項に記載の方法を実行するためのコンピュータシステムであって、
少なくとも１つのハードウェアプロセッサ（３０４、３０６、３０８、３１０、３１２、３１４）と、
指示命令を記憶した非一過性のコンピュータ可読媒体であって、前記指示命令が前記少なくとも１つのハードウェアプロセッサによって実行されたときに、航空インターネットオブシングス（AIoT）システム（４００）内の生センサデータを処理する方法を実行する非一過性のコンピュータ可読媒体とを備え、前記方法が、
センサ処理ユニット（SPU）（２０２、３００）のネットワークインターフェース（３０２）によって、輸送体の１以上のシステムから生センサデータを取得すること（４０２）、
前記ネットワークインターフェース（３０２）によって、前記生センサデータを前記SPU（２０２、３００）の１以上の処理ユニット（３０４、３０６、３０８、３１０、３１２、３１４）に提供すること（４０４）、
前記１以上の処理ユニット（３０４、３０６、３０８、３１０、３１２、３１４）によって、前記生センサデータに対して１以上の処理作業を実行して（４０６）、処理済みデータを生成すること、及び
前記ネットワークインターフェース（３０２）によって、前記処理済みデータを前記１以上のシステムに提供すること（４０８）を含む、コンピュータシステム。

【請求項7】

請求項１から５のいずれか一項に記載の方法を実行するための客室体験ネットワーク（CEN）システムであって、
CENサーバ（１０２）、
前記CENサーバ（１０２）と通信する第１のCENスイッチ（１５０）であって、１以上の第１のプロジェクタデバイス（２０２）と１以上の第１のカメラ（２１０）のうちの少なくとも１つと通信する第１のCENスイッチ（１５０）、及び
前記第１のCENスイッチ（１５０）と通信するセンサ処理ユニット（SPU）（２０２、３００）を備え、前記SPU（２０２、３００）が、
少なくとも１つのハードウェアプロセッサと、
指示命令を記憶した非一過性のコンピュータ可読媒体であって、前記指示命令が前記少なくとも１つのハードウェアプロセッサによって実行されたときに、航空インターネットオブシングス（AIoT）システム内の生センサデータを処理する方法を実行する非一過性のコンピュータ可読媒体とを備え、前記方法が、
前記SPUのネットワークインターフェースによって、輸送体の１以上のシステムから生センサデータを取得すること、
前記ネットワークインターフェースによって、前記生センサデータを前記SPUの１以上の処理ユニットに提供すること、
前記１以上の処理ユニットによって、前記生センサデータに対して１以上の処理作業を実行して、処理済みデータを生成すること、及び
前記ネットワークインターフェースによって、前記処理済みデータを前記１以上のシステムに提供することを含む、CENシステム。

【請求項8】

前記CENサーバ（１０２）と通信する第２のCENスイッチ（１５８）であって、１以上の第２のプロジェクタデバイス（２０４）と１以上の第２のカメラ（２１２）のうちの少なくとも１つと通信する第２のCENスイッチ（１５８）を更に備え、
前記SPU（２０２、３００）が、前記第２のCENスイッチ（１５８）と通信し、前記第２のCENスイッチ（１５８）から生センサデータを取得し、前記生センサデータを処理して処理済みセンサデータとして前記第２のCENスイッチ（１５８）に提供する、請求項７に記載のCENシステム。

【請求項9】

前記SPUが、前記生センサデータを処理することに特化した、６つの並列マルチコアコンピュータ（３０４、３０６、３０８、３１０、３１２、３１４）を備える、請求項８に記載のCENシステム。

【請求項10】

前記６つの並列マルチコアコンピュータ（３０４、３０６、３０８、３１０、３１２、３１４）のうちの１つが、機械学習アルゴリズムを使用して訓練される、請求項９に記載のCENシステム。

【請求項11】

前記機械学習アルゴリズムが、訓練されたニューラルネットワークである、請求項１０に記載のCENシステム。

【請求項12】

前記機械学習アルゴリズムが、航空機の飛行動作の１以上の段階中に訓練されて、振動又は音を検出し、検出された振動又は検出された音を分類する、請求項１１に記載のCENシステム。

【請求項13】

前記検出された振動又は前記検出された音の表示が、前記第１のCENスイッチを介して前記CENサーバに提供される、請求項１２に記載のCENシステム。

【請求項14】

前記検出された振動又は前記検出された音の位置が、前記機械学習アルゴリズムに基づいて特定される、請求項１２に記載のCENシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、並列処理、計算負荷平準化（computational load leveling）、及び分散コンピューティングに関する。

【背景技術】

【0002】

新しい客室体験ネットワーク（CEN）システムは、民間航空機及びビジネス航空機に機能及び特徴を追加するための汎用ネットワークを提供する。最初の用途は、７７７Ｘの３１カメラビデオ監視システムであった。そのネットワーク及びサーバは、カメラやセンサなどのインターネットプロトコルイーサネットインターフェースをホストすることができる。これらの離散したユニットは、CENサーバで実行される特別に書かれたソフトウェアアプリケーションプログラムを介して最終製品へと組み合わされる。CENシステムは、カメラのほかに多くの異なるセンサをホストすることができる。これらのセンサは、センサインターフェースをCENシステムが通信することができるインターネットプロトコル（IP）インターフェースへと変換させる、ネットワークスイッチ、無線アクセスポイント、コンソリデーター（consolidator）、及びブリッジによって、ネットワークに接続されている。

【0003】

航空機がセンサ設計空間の中に入ると、航空機の計算機能は、顔認識、動き検出、移動追跡、及びセンサ融合（sensor fusion：２つ以上のセンサを１つのコヒーレント画像に混合すること）、及び複数のセンサの種類の処理などの作業を達成するために、処理能力をすぐに使い果たしてしまう。これは、搭載型ネットワークサーバでは通常あり得ないほどの大きな処理能力を必要とする。更に、現在のセンサシステムは、自己完結型であり、特定の機能に特化したものである。これらの連携システムは、インターフェースポートの制限、配線の設置、特殊なソフトウェア、及び認証の問題と費用のため、容易に拡張することができない。したがって、高い費用を生じさせることなく、客室エリア内に更なる統合されたセンサとセンサ融合機能を提供するクリーンな方法はない。

【0004】

この問題に対する１つの解決策は、非搭載型データ処理を行って、その結果を飛行機に戻すことである。しかし、これは、現在の飛行機非搭載型通信システム用の帯域幅制限のため、現実的ではない。

【0005】

したがって、必要とされているのは、現在のカメラ／センサシステムアプローチの上述の欠点に対処することができる、搭載型ネットワークサーバ又は他の計算リソースである。

【発明の概要】

【0006】

以下、本教示の１以上の実施態様のうちの幾つかの態様の基本的な理解を提供するために、簡略化した概要を提示する。この概要は、広範な概説ではなく、また本教示の主要な要素または重大な要素を特定することや、本開示の範囲を定めることを意図するものでもない。むしろ、本概要の本質的な目的は、後に提示する詳細な説明の前置きとして、簡略的に１つ以上の概念を提示するためのものに過ぎない。

【0007】

本開示における実施例によれば、本開示は、新しい又は既存のネットワークが、搭載型ネットワークサーバの中に元々設計されていたものにおいて利用可能なものを超えた処理機能を必要とするアプリケーション及びシステムを追加することを可能にする、強化された処理機能を追加するためのコンピュータ実装された方法を概説する。本センサ処理ユニット（SPU）の開示は、ネットワーク接続型記憶装置（NAS）デバイスと同じ形態／フィット及びインターフェースを有する、マルチコンピュータボックスを使用する。これは、（それぞれが固有のCPU、RAM、ROM、I／O、及び記憶装置を含む）最大６つまでの完全なコンピュータを有するセンサ処理ユニット（SPU）と、SPSUが、１つのNASユニットと同じ段間隔（tray space）及びインターフェース配線内の対象ネットワークと相互作用することを可能にする、マルチポイントネットワークインターフェース（ネットワークスイッチ）と、の追加を容易にし得る。飛行機／輸送体の配線は変更されず、ネットワークのボックスの機能のみが変更される。SPUは、センサ融合、顔認識、マルチセンサ／マルチゾーン／環境／動き／追跡アプリケーション、故障予測、センサデータ解析、及びデータロギング／後処理に必要な大量の計算を行うことで、ネットワークサーバの負荷を軽減する。

【0008】

本開示によれば、航空インターネットオブシングス（AIoT）システム内の生センサデータを処理するコンピュータ実装された方法が提供される。コンピュータ実装された方法は、センサ処理ユニット（SPU）のネットワークインターフェースによって、輸送体の１以上のシステムから生センサデータを取得すること、ネットワークインターフェースによって、生センサデータをSPUの１以上の処理ユニットに提供すること、１以上の処理ユニットによって、生センサデータに対して１以上の処理作業を実行して、処理済みデータを生成すること、及び、ネットワークインターフェースによって、処理済みデータを１以上のシステムに提供することを含む。ある実施例では、１以上のシステムが、１以上のディスプレイ、１以上の記憶デバイス、１以上のプロジェクタデバイス、又は１以上の非搭載型システムを備える。ある実施例では、SPUが、生センサデータを処理することに特化した、６つの並列マルチコアコンピュータを備える。ある実施例では、SPUが、客室体験ネットワーク（CEN）システムのスイッチとデータ通信する。

【0009】

本開示によれば、少なくとも１つのハードウェアプロセッサと、指示命令を記憶した非一過性のコンピュータ可読媒体であって、指示命令が少なくとも１つのハードウェアプロセッサによって実行されたときに、航空インターネットオブシングス（AIoT）システム内の生センサデータを処理する方法を実行する非一過性のコンピュータ可読媒体とを備えた、コンピュータシステムが提供され、該方法は、センサ処理ユニット（SPU）のネットワークインターフェースによって、輸送体の１以上のシステムから生センサデータを取得すること、ネットワークインターフェースによって、生センサデータをSPUの１以上の処理ユニットに提供すること、１以上の処理ユニットによって、生センサデータに対して１以上の処理作業を実行して、処理済みデータを生成すること、及び、ネットワークインターフェースによって、処理済みデータを１以上のシステムに提供することを含む。ある実施例では、１以上のシステムが、１以上のディスプレイ、１以上の記憶デバイス、１以上のプロジェクタデバイス、又は１以上の非搭載型システムを備える。１つの実施例では、SPUが、生センサデータを処理することに特化した、６つの並列マルチコアコンピュータを備える。ある実施例では、SPUが、客室体験ネットワーク（CEN）システムのスイッチとデータ通信する。

【0010】

本開示によれば、CENサーバ、CENサーバと通信する第１のCENスイッチであって、１以上の第１のプロジェクタデバイスと１以上の第１のカメラのうちの少なくとも１つと通信する第１のCENスイッチ、及び、第１のCENスイッチと通信するセンサ処理ユニット（SPU）であって、第１のCENスイッチから生センサデータを取得し、生センサデータを処理して処理済みセンサデータとして第１のCENスイッチに提供するSPUを備えた、客室体験ネットワーク（CEN）システムが提供される。ある実施例では、CENシステムが、CENサーバと通信する第２のCENスイッチであって、１以上の第２のプロジェクタデバイスと１以上の第２のカメラのうちの少なくとも１つと通信する第２のCENスイッチを更に備え、ＳＰＵが、第２のCENスイッチと通信し、第２のCENスイッチから生センサデータを取得し、生センサデータを処理して処理済みセンサデータとして第２のCENスイッチに提供する。ある実施例では、SPUが、生センサデータを処理することに特化した、６つの並列マルチコアコンピュータを備える。

【0011】

ある実施例では、SPUが、生センサデータを処理することに特化した、６つの並列マルチコアコンピュータを備えてよい。ある実施例では、SPUが、客室体験ネットワーク（CEN）システムのスイッチとデータ通信する。ある実施例では、６つの並列マルチコアコンピュータのうちの１つが、機械学習アルゴリズムを使用して訓練される。

【0012】

この明細書に組み込まれ、且つ、この明細書の一部を構成する添付図面は、本教示を例示しており、説明部分と共に、本開示の原理を解説するために役立つ。

【図面の簡単な説明】

【0013】

【図1A】図１Ａ及び図１Ｂは、民間飛行機上で使用される従来のCEN IP カメラ基準アーキテクチャを示す。

【図1B】図１Ａ及び図１Ｂは、民間飛行機上で使用される従来のCEN IP カメラ基準アーキテクチャを示す。

【図2A】図２Ａ及び図２Ｂは、本開示の実施例による、ネットワークに接続されたSPUによって増強されたCENシステムを示す。

【図2B】図２Ａ及び図２Ｂは、本開示の実施例による、ネットワークに接続されたSPUによって増強されたCENシステムを示す。

【図3】図２Ａ及び図２ＢのSPUの詳細な図を示す。

【図4】本開示の実施例による、航空インターネットオブシングス（AIoT）システム内の生センサデータを処理するコンピュータ実装された方法を示す。

【発明を実施するための形態】

【0014】

図面の幾つかの細部は、厳密な構造的な精度、細部、及び縮尺を維持するより、むしろ、本開示の理解を促すために簡略化され図示されていることに留意されたい。

【0015】

次に、その実施例が添付図面で示されているところの本教示の例示的な実施態様を、詳細に参照することになる。可能なときは何時でも、同じ又は類似する部分を指すために、図面全体を通して同じ参照番号が使用される。

【0016】

本開示の実施例は、従来のCENシステムの上述の問題に対処する。それらの問題とは、計算の帯域幅が制限されたネットワーク、及び特にビデオ監視カメラシステムなどのネットワークの広範な用途をホストするCENシステムである。したがって、ネットワーク接続型記憶装置（NAS）と類似したやり方で対象ネットワークに接続されるセンサ処理ユニット（SPU）が、本開示によるCENシステムに設けられる。SPUは、集中的な計算作業を必要とする用途に特化された、（それぞれが固有のCPU、ROM、I／O、及び記憶装置を含む）複数の（例えば６つの）並列マルチコアコンピュータを含む、ネットワークに接続されたボックスとして機能する。SPUのインターフェースは、CENシステムの任意の他の構成要素と同じように機能するだろう。（１以上の）センサアプリケーションが、CENネットワークサーバに従属し、CENネットワークサーバで実行されるだろう。これらのソフトウェアアプリケーションプログラムは、接続されたSPUに生センサデータを導くだろう。SPUでは、データが、分析され、解析され、融合され、フォーマットされ、CENサーバセンサアプリケーションに戻される。該アプリケーションでは、そのデータが、ディスプレイ、記憶装置、又は非搭載型システムに送られる。SPUは大量の計算をするので、CENネットワークは、センサデータを処理することによって過度な負担をかけられることはなく、CENサーバで更に他のアプリケーションが実行されることを可能にする。CENサーバからセンサデータ処理を切り離すことによって、新しいセンサシステムを可能にし且つ設置及び改造をもっと容易に且つ素早くする、計算機能強化オプションがもたらされる。

【0017】

SPUの追加がないと、現在のCENシステムをセンサ空間の中へ拡張することが非常に制限される。航空インターネットオブシングス（AIoT）のアドレス体系（realm）内に含まれるセンサ設計空間を完全に実現するために利用可能な十分な計算リソースが不足しているだけのことである。SPUの追加は、全ての現在及び将来の飛行機モデルに適用可能であり、他の輸送体の種類（バス、列車など）にも適用可能であろう。本明細書で説明される飛行機客室スマートAIoTセンサ及びシステムは、既にビデオ監視システム機能の負担を被っている飛行機ネットワークへの複数のセンサ及びセンサネットワークの追加に関連付けられる、ネットワークサーバの装荷（loading）問題に対処する。

【0018】

航空IoTセンサは、広くは、以下の範疇の中に入れることができる。すなわち、環境センサ、光センサ、光センサ／カメラ、及び電気センサである。環境センサは、以下のものを含み得るが、それらに限定されるものではない。すなわち、超音波センサ、ライダー（LIDAR）センサ、音響センサ（マイクロフォン）、温度センサ、湿度センサ、振動（加速度）センサ、磁気（ホール効果）センサ、空気圧センサ、気流センサ、マルチセンサモジュール、CO₂センサ、酸素センサ、メタンセンサ、アンモニアセンサ、嗅覚センサ、衝撃／衝突センサ、力／荷重／トルク／歪センサ、位置センサ、動き／速度センサ、無線周波数センサ、煙センサ、及びクラックワイヤー（crack wire）センサである。光センサは、以下のものを含み得るが、それらに限定されるものではない。すなわち、可視光センサ、紫外線センサ、赤外線センサ、レーザー光センサ、及びマルチスペクトル光モジュール（可視光、赤外線、及び紫外線）である。光センサ／カメラは、以下のものを含み得るが、それらに限定されるものではない。すなわち、可視光のみのカメラ、可視光及び赤外線カメラ、及び赤外線前方監視（FLIR）カメラである。電気センサは、以下のものを含み得るが、それらに限定されるものではない。すなわち、離散した入力センサ／離散した出力センサ、アナログ入力センサ／アナログ出力センサ、電圧センサ、電流センサ、力制御（PfC）センサ、及び周波数センサである。

【0019】

上述のセンサは、AIoTセンサ用途向けに利用可能なセンサのサンプルに過ぎない。各センサは、それ自身の固有のインターフェース及び特性を有する。これらのセンサは、変換、統合、デジタル化され、ネットワークサーバで実行されているアプリケーションでデータを利用できるようにする必要がある。ネットワークで実行されているセンサアプリケーションソフトウェアは、生データを処理するか、又は生データを処理するために何処かへ送る必要がある。

【0020】

図１Ａ及び図１Ｂは、従来のCENベースIPカメラ基準アーキテクチャ１００を示している。図１Ａ及び図１Ｂでは、インターネットプロトコル（IP）カメラ、センサ、記憶デバイス、プロジェクタ、及び他の更なるイーサネットベース構成要素の全てが、ネットワークスイッチへの接続を介してCENネットワークに接続されている。アーキテクチャ１００は、CENサーバ１０２を含む。CENサーバ１０２は、スイッチ／ルーター１０６に電気接続されデータ通信する、単一基板コンピュータ（SBC）１０４を含む。CENサーバ１０２は、CEN Linux OS１０８及びAPI１１０を含む。API１１０は、例えば、カメラ１１２、プロジェクション１１４、ホストされたアプリケーション１ １１６、ホストしているアプリケーション２１１８、及びホストしているアプリケーション３１２０向けのAPIを含む。

【0021】

CENサーバ１０２のスイッチ／ルーター１０６は、第１のコネクタ１２２（例えば、１Gbpsの銅接続）及び第２のコネクタ１２４（例えば、１００BASE-T）を介して、アビオニクスゲートウェイ１２０と電気接続されデータ通信する。

【0022】

CENサーバ１０２のSBC１０４は、第３のコネクタ１２８（例えば、１００BASE-T）を介して、客室サービスシステム（CSS）１２６と電気接続されデータ通信する。SBC１０４は、例えば、ビデオ監視システム制御メニューとカメラビデオを右前方と左前方の操縦室のスクリーンディスプレイに提示するために必要なARINC-818トランスコードされたビデオ情報を提供するために、第４のコネクタ１３２と第５のコネクタ１３４を介して、地上走行用カメラシステム（GMCS）１３０とも電気接続されデータ通信する。CSS１２６は、乗客案内（passenger address）、客室インターホン、及び環境制御などの、コア客室機能を提供する、拡大縮小可能な（scalable）データベース主導型のイーサネットベースのネットワークである。CSS１２６は、機内娯楽及び接続性ソリューションを含む、客室照明や機体ネットワークにわたる他の飛行機メンバーシステムなどの、外部サブシステムと直接的に統合される。

【0023】

GMCS１３０は、第６のコネクタ１３５を介して右前方のディスプレイ１３３と電気接続されデータ通信し、第７のコネクタ１３９を介して左前方のディスプレイ１３７と電気接続されデータ通信する。これらの接続は、ARINC-818フォーマットされたデータを、前方スクリーンに接続されたシステムのうちの何れかから、前方スクリーンに提供する（すなわち、地上操縦カメラ、ビデオ監視システム制御スクリーン、又は他のARINC-818フォーマットされた入力）。

【0024】

アビオニクスゲートウェイ１２０は、第８のコネクタ１３６（例えば、１Gbpsの銅接続）を介してCSS１２６と電気接続されデータ通信し、第９のコネクタ１４０（例えば、１Gbpsの銅接続）を介して、搭載型ネットワークシステム（ONS）のネットワークファイルサーバ（NFS）１３８と電気接続されデータ通信し、第１０のコネクタ１４４（例えば、１Gbpsの銅接続）を介して、コアデータネットワーク（CDN）１４２と電気接続されデータ通信する。搭載型ネットワークシステム（ONS） NFS１３８は、第１１のコネクタ１４８（例えば、１Gbpsの銅接続）を介して、WAP１４６と電気接続されデータ通信する。ONS NFS１３８は、スタンドアローンサーバとして機能して、共通の簡易な本質的でない高性能の搭載型ネットワークソリューションを提供する。そのソリューションは、アビオニクスシステムとIPベースの装備との間のデータ伝達を容易にする。

【0025】

CENサーバ１０２のスイッチ／ルーター１０６は、第１２のコネクタ１５２（例えば、１Gbpsの銅接続）及び第１３のコネクタ１５４（例えば、１０Gbpsのファイバ）を介して、CENスイッチ1 １５０と電気接続されデータ通信する。第１３のコネクタ１５４は、CENサーバ１０２に接続された棚切断（shelf disconnect）１５６で終端する。同様に、スイッチ／ルーター１０６は、第１４のコネクタ１６０（例えば、１Gbpsの銅接続）及び第１５のコネクタ１６２（例えば、１０Gbpsのファイバ）を介して、CENスイッチ2 １５８と電気接続されデータ通信する。第１５のコネクタ１６２は、棚切断１５６で終端する。

【0026】

CENスイッチ1 １５０とCENスイッチ2 １５８は、それぞれ１０Gbpsのファイバであり得る第１６のコネクタ１６６と第１７のコネクタ１６８を介して、任意選択的なNAS1 １６４と電気接続されデータ通信する。任意選択的なNAS1 １６４は、ビデオ監視システム機能によって使用されるために、CENに更なる記憶機能を提供する。

【0027】

CENスイッチ1 １５０は、第１８のコネクタ１７６（例えば、１０Gbpsのファイバ）を介して、CENスイッチ3 １７４と電気接続されデータ通信する。CENスイッチ3 １７４は、第１９のコネクタ１７８（例えば、１０Gbpsのファイバ）を介して、CENスイッチ4 １７６と電気接続されデータ通信する。同様に、CENスイッチ2 １５８は、第２０のコネクタ１８２（例えば、１０Gbpsのファイバ）を介して、CENスイッチ5 １８０と電気接続されデータ通信する。CENスイッチ5 １８０は、第２１のコネクタ１８６（例えば、１０Gbpsのファイバ）を介して、CENスイッチ6 １８４と電気接続されデータ通信する。

【0028】

任意選択的なNAS2 １８８は、それぞれ、例えば１０Gbpsのファイバを使用する、第２２のコネクタ１９０と第２３のコネクタ１９２を介して、CENスイッチ3 １７４及びCENスイッチ5 １８０と電気接続されデータ通信する。任意選択的なNAS2 １８８は、ビデオ監視やセンサデータなどの他のCENアプリケーション機能向けの更なる記憶装置を提供する。

【0029】

CENスイッチ1 １５０は、第１のプロジェクタ２０２、第２のプロジェクタ２０４、第３のプロジェクタ２０６、及び第４のプロジェクタ２０８と電気接続されデータ通信するように示されている。CENスイッチ1 １５０は、第１のカメラ２１０及び第２のカメラ２１２と電気接続されデータ通信するようにも示されている。CENスイッチ1 １５０は、第１の組のスペアカメラ２１４及び第１の組のスペアプロジェクタ２１６によって示されているように、更なる機能を扱う能力も含み得る。

【0030】

CENスイッチ2 １５８は、第５のプロジェクタ２１８、第６のプロジェクタ２２０、第７のプロジェクタ２２２、及び第８のプロジェクタ２２４と電気接続されデータ通信するように示されている。CENスイッチ2 １５８は、第３のカメラ２２６及び第４のカメラ２２８と電気接続されデータ通信するようにも示されている。CENスイッチ2 １５８は、第２の組のスペアカメラ２３０及び第２の組のスペアプロジェクタ２３２によって示されているように、更なる機能を扱う能力も含み得る。

【0031】

CENスイッチ3 １７４は、第９のプロジェクタ２３４、第１０のプロジェクタ２３６、第１１のプロジェクタ２３８、及び第１２のプロジェクタ２４０と電気接続されデータ通信するように示されている。CENスイッチ3 １７４は、第５のカメラ２４２及び第６のカメラ２４４と電気接続されデータ通信するようにも示されている。CENスイッチ3 １７４は、第３の組のスペアカメラ２４６及び第３の組のスペアプロジェクタ２４８によって示されているように、更なる機能を扱う能力も含み得る。

【0032】

CENスイッチ4 １７６は、第７のカメラ２５０及び第８のカメラ２５２と電気接続されデータ通信するように示されている。CENスイッチ4 １７６は、第４の組のスペアカメラ２５４及び第４の組のスペアプロジェクタ２５６によって示されているように、更なる機能を扱う能力も含み得る。

【0033】

CENスイッチ5 １８０は、第１３のプロジェクタ２５８、第１４のプロジェクタ２６０、第１５プロジェクタ２６２、及び第１６のプロジェクタ２６４と電気接続されデータ通信するように示されている。CENスイッチ5 １８０は、第９のカメラ２６６及び第１０のカメラ２６８と電気接続されデータ通信するようにも示されている。CENスイッチ5 １８０は、第５の組のスペアカメラ２７０及び第５の組のスペアプロジェクタ２７２によって示されているように、更なる機能を扱う能力も含み得る。

【0034】

CENスイッチ6 １８４は、第１１のカメラ２７４及び第１２のカメラ２７６と電気接続されデータ通信するように示されている。CENスイッチ6 １８４は、第６の組のスペアカメラ２７８及び第６の組のスペアプロジェクタ２８０によって示されているように、更なる機能を扱う能力も含み得る。

【0035】

任意選択的なNAS3 １９４は、それぞれ、例えば１０Gbpsのファイバを使用する、第２４のコネクタ１９６と第２５のコネクタ１９８を介して、CENスイッチ4 １７６及びCENスイッチ6 １８４と電気接続されデータ通信する。任意選択的なNAS3 １９４は、ビデオ監視やセンサデータなどの他のCENアプリケーション機能向けの更なる記憶装置を提供する。

【0036】

図２Ａ及び図２Ｂは、本開示の実施例による、SPUアーキテクチャ２００を有するCENベースのIPカメラを示している。アーキテクチャ２００は、図１Ａ及び図１Ｂとの関連で説明されたのと同様な符号を含む。図２Ａ及び図２Ｂは、NAS2 １８８の代わりにSPU２０２を追加したことが、図１Ａ及び図１Ｂと異なっている。図２Ａ及び図２Ｂでは、IPカメラ、センサ、記憶デバイス、プロジェクタ、及び他の更なるイーサネットベース構成装置の全てが、ネットワークスイッチへの接続を介してCENネットワークに接続されている。SPU２０２は、図１Ａ及び図１ＢのNASと同じインターフェースを使用して、ネットワークスイッチに接続されている。SPU２０２は、リアルタイムでセンサデータを局所的に処理することを含む計算集中的なアプリケーションなどの、CENサーバ１０２によって通常は実行される動作の負荷を軽減するように構成されている。センサアプリケーション又は他のアプリケーションは、CENサーバ１０２のネットワークサーバに従属し、生センサデータを１以上の接続されたセンサからSPU２０２に導く。SPU２０２は、データを、分析すること、解析すること、融合すること、フォーマットすること、及び／又はCENサーバ１０２のセンサアプリケーションに戻すことを含む、１以上の動作を実行するように構成されている。CENサーバ１０２のセンサアプリケーションでは、そのデータが、ディスプレイ、記憶装置、又は飛行機の非搭載型システムを介して地上ベースの受信器に送られる。SPU２０２は大量の計算処理を実行するので、CENネットワークは、センサデータを処理することによって過度な負担をかけられることはなく、CENサーバ１０２で更にアプリケーションが実行されることを可能にする。

【0037】

SPU２０２は、図３でより詳細に示されている。SPU２０２は、第２２のコネクタ１９０を介してCENスイッチ3 １７４から、及び／又は、第２３のコネクタ１９２を介してCENスイッチ5 １８０から、生センサデータを取得する。次いで、SPU２０２は、センサデータを分析し、解析し、融合し、フォーマットし、並びに／又は、第２２のコネクタ１９０を介してCENスイッチ3 １７４及び／若しくは第２３のコネクタ１９２を介してCENスイッチ5 １８０に戻す。SPU２０２を使用することによって、より大きなシステム又は安全性及び／若しくは飛行制御システムに影響を与え得るシステムで通常必要とされる、任意の更なる認証プロセスを必要とすることなしに、設置及び保守が可能となる。

【0038】

図３は、本開示の実施例による、SPU３００の簡略化されたブロック図を示している。SPU３００は、SPU２０２として使用されてよい。SPU３００は、ネットワークインターフェース３０２、並びに、全てがハウジング３１６内で共に電気的に通信可能に接続された、CPU(0)３０４、CPU(1)３０６、CPU(2)３０８、CPU(3)３１０、CPU(4)３１２、及びCPU(5)３１４を含む、マルチコアコンピュータを含んでよい。図示されていないが、SPU３００は、本明細書で説明される機能を可能にする１以上のソフトウェアプログラムを含んでよい。１以上のソフトウェアプログラムは、マルチコアコンピュータに、本明細書で説明されるプロセス、機能、及び動作を実行させる指示命令を含んでよい。１以上のソフトウェアプログラムのコピーは、１以上のメモリデバイス及び／又は１以上の記憶デバイス内に記憶されてよい。同様に、１以上のソフトウェアプログラムによって利用されるデータを、１以上のメモリデバイス及び／又は１以上の記憶デバイス内に記憶させてよい。

【0039】

図３は６つのコンピュータコアを示しているが、これは、単なる１つの例示的な実施態様である。６つより多くの又は少ないコンピュータコアが、特定用途の処理要件に応じて使用されてよい。各マルチコアコンピュータは、固有のマルチコアCPU、RAM、ROM、I／O、及び記憶装置構成要素を有する。６つのコンピュータの全ては、SPUの内側のマルチポートネットワークインターフェース（ネットワークスイッチ）に接続されている。マルチポートネットワークインターフェースは、SPSUが１つのNASユニットと同じ段間隔（tray space）及びインターフェース配線内の対象ネットワークと相互作用することを可能にする。飛行機／輸送体の配線は変更されず、ネットワークのボックスの機能のみが変更される。SPUは、センサフュージョン、顔認識、マルチセンサ／マルチゾーン／環境／動き／追跡アプリケーション、故障予測、センサデータ分析、及びデータロギング／後処理に必要な大量の計算を行うことで、ネットワークサーバの負荷を軽減する。

【0040】

SPU２０２を有するCENネットワークは、少なくとも以下の使用例において有用であり得る。第１の実施例は、顔又は身体認証向けである。この第１の実施例では、１以上のカメラ又は撮像センサからのデータが、SPU２０２へ送られる。SPU２０２では、その画像を既知の又は新たに特定された問題のある乗客と比較したり、飛行禁止リストに載っている乗客を検索したりする。乗客が航空機に入る際に、乗客は、顔や特徴によって特定され、彼らの航空機の座席に関連付けられる。飛行中に、対象となる乗客が、航空機上での動きをモニタされてよい。

【0041】

第２の実施例は、動き検出向けである。この第２の実施例では、１以上のカメラ又は撮像センサからのデータが、SPU２０２に送られる。SPU２０２では、その画像が動きをモニタされる。検出されたときに、客室乗務員は、警告を受け、必要に応じて支援することができる。

【0042】

第３の実施例は、乗客の健康検出及び／又は予測向けである。この第３の実施例では、１以上のカメラ又は撮像センサからのデータが、SPU２０２に送られる。SPU２０２では、問題が発生する前に客室乗務員に警告するために、画像が、発熱、発汗、行動障害などの健康上の問題の兆候と照らし合わせて評価される。

【0043】

第４の実施例は、乗客の重度の機能不全検出向けである。この第４の実施例では、１以上のカメラ又は撮像センサからのデータが、SPU２０２に送られる。SPU２０２では、個々の乗客の動きが、心臓発作や麻痺などの重篤な機能不全の兆候について解析される。次いで、客室乗務員は、問題が発生していることを知らされて、行動をとることができる。

【0044】

第５の実施例は、センサ融合向けである。この第５の実施例では、１以上の可視光カメラ及び／又はFLIR撮像センサなどの他のセンサからのデータが、リアルタイムで融合されて、動き検出及び乗客の健康解析向けの強化された画像を提供する。

【0045】

第６の実施例は、センサ平均向けである。この第６の実施例では、１以上の環境センサからのデータが、SPU２０２に送られる。SPU２０２では、故障予測及び解析向けの傾向の指標について、データが、１つのデータセットの中に集積され、飛行中全体を通して繰り返されてよい。

【0046】

第７の実施例は、センサモニタリング及びロギング向けである。この第７の実施例では、１以上のセンサからのデータが、集められ、将来の解析及び使用のためにデータベース内に記憶される。

【0047】

上述の実施例では、SPU２０２が、機械学習技法を使用して構成されて、ニューラルネットワークなどのアルゴリズムを訓練し、様々なセンサ入力を予測及び検出してよい。１つの非限定的な実施例では、アルゴリズムが訓練されると、SPU２０２のコアのうちの１以上で訓練されたアルゴリズムを使用して、１以上のマイクロフォンを使用し、機内での振動、バング（bang）、ポップ（pop）、又は軋み音（creak）を検出して、検出されたサウンドスペクトルの考えられる原因を予測することができる。訓練されたアルゴリズムは、飛行機の飛行動作中の段階、すなわち、タクシング、離陸、上昇、巡航、下降、着陸に基づいて、予測することができる。訓練されたアルゴリズムは、振動、バング、ポップ、又は軋み音が何処の位置で検出されたかを特定することができ、その位置を予測に使用することもできる。これまで検出されていなかった飛行中のポイントでサウンドスペクトルが検出された場合、SPU２００は、飛行乗務員のうちの１以上のメンバーに警告信号を送ることができる。一実施例では、SPU２００のコアのうちの１つが、この検出及び予測プロセスを実行するために、訓練されたアルゴリズムを実行することに特化されてよい。この機械学習技法は、SPU２００が、より効率的にデータを処理することを可能にし、したがって、SPU２００のリソース消費を低減させることができる。ある実施例では、検出された振動又は検出された音の表示が、第１のCENスイッチを介してCENサーバに提供される。ある実施例では、検出された振動又は検出された音の航空機上の位置が、機械学習アルゴリズムに基づいて特定される。

【0048】

図４は、本開示の実施例による、航空インターネットオブシングス（AIoT）内の生データを処理するコンピュータ実装された方法を示している。コンピュータ実装された方法４００は、４０２で、センサ処理ユニット（SPU）のネットワークインターフェースによって、生センサデータを輸送体の１以上のシステムから取得することによって開始する。コンピュータ実装された方法４００は、４０４で、ネットワークインターフェースによって、生センサデータをSPUの１以上の処理ユニットに提供することによって継続する。コンピュータ実装された方法４００は、４０６で、１以上の処理ユニットによって、生センサデータに対して１以上の処理作業を実行して、処理済みデータを生成することによって継続する。コンピュータ実装された方法４００は、４０８で、ネットワークインターフェースによって、処理済みデータを１以上のシステムに提供することによって継続する。

【0049】

更に、本発明は、以下の条項による実施形態を含む。
1．
航空インターネットオブシングス（AIoT）システム内の生センサデータを処理するコンピュータ実装された方法であって、センサ処理ユニット（SPU）のネットワークインターフェースによって、輸送体の１以上のシステムから生センサデータを取得すること、前記ネットワークインターフェースによって、前記生センサデータを前記SPUの１以上の処理ユニットに提供すること、前記１以上の処理ユニットによって、前記生センサデータに対して１以上の処理作業を実行して、処理済みデータを生成すること、及び、前記ネットワークインターフェースによって、前記処理済みデータを前記１以上のシステムに提供することを含む、コンピュータ実装された方法。
２．
前記１以上のシステムが、１以上のディスプレイ、１以上の記憶デバイス、１以上のプロジェクタデバイス、又は１以上の非搭載型システムを備える、条項１に記載のコンピュータ実装された方法。
３．
前記SPUが、前記生センサデータを処理することに特化した、６つの並列マルチコアコンピュータを備える、条項１に記載のコンピュータ実装された方法。
４．
前記SPUが、客室体験ネットワーク（CEN）システムのスイッチとデータ通信する、条項１に記載のコンピュータ実装された方法。
５．
前記６つの並列マルチコアコンピュータのうちの１つが、機械学習アルゴリズムを使用して訓練される、条項３に記載のコンピュータ実装された方法。
６．
前記機械学習アルゴリズムが、訓練されたニューラルネットワークである、条項５に記載のコンピュータ実装された方法。
７．
少なくとも１つのハードウェアプロセッサと、指示命令を記憶した非一過性のコンピュータ可読媒体であって、前記指示命令が前記少なくとも１つのハードウェアプロセッサによって実行されたときに、航空インターネットオブシングス（AIoT）システム内の生センサデータを処理する方法を実行する非一過性のコンピュータ可読媒体とを備えた、コンピュータシステムであって、前記方法は、センサ処理ユニット（SPU）のネットワークインターフェースによって、輸送体の１以上のシステムから生センサデータを取得すること、前記ネットワークインターフェースによって、前記生センサデータを前記SPUの１以上の処理ユニットに提供すること、前記１以上の処理ユニットによって、前記生センサデータに対して１以上の処理作業を実行して、処理済みデータを生成すること、及び、前記ネットワークインターフェースによって、前記処理済みデータを前記１以上のシステムに提供することを含む、コンピュータシステム。
８．
前記１以上のシステムが、１以上のディスプレイ、１以上の記憶デバイス、１以上のプロジェクタデバイス、又は１以上の非搭載型システムを備える、条項７に記載のコンピュータシステム。
９．
前記SPUが、前記生センサデータを処理することに特化した、６つの並列マルチコアコンピュータを備える、条項７に記載のコンピュータシステム。
１０．
前記SPUが、客室体験ネットワーク（CEN）システムのスイッチとデータ通信する、条項７に記載のコンピュータシステム。
１１．
前記６つの並列マルチコアコンピュータのうちの１つが、機械学習アルゴリズムを使用して訓練される、条項９に記載のコンピュータシステム。
１２．
前記機械学習アルゴリズムが、訓練されたニューラルネットワークである、条項１１に記載のコンピュータシステム。
１３．
客室体験ネットワーク（CEN）システムであって、CENサーバ、前記CENサーバと通信する第１のCENスイッチであって、１以上の第１のプロジェクタデバイスと１以上の第１のカメラのうちの少なくとも１つと通信する第１のCENスイッチ、及び前記第１のCENスイッチと通信するセンサ処理ユニット（SPU）を備え、前記SPUが、少なくとも１つのハードウェアプロセッサと、指示命令を記憶した非一過性のコンピュータ可読媒体であって、前記指示命令が前記少なくとも１つのハードウェアプロセッサによって実行されたときに、航空インターネットオブシングス（AIoT）システム内の生センサデータを処理する方法を実行する非一過性のコンピュータ可読媒体とを備え、前記方法が、前記SPUのネットワークインターフェースによって、輸送体の１以上のシステムから生センサデータを取得すること、前記ネットワークインターフェースによって、前記生センサデータを前記SPUの１以上の処理ユニットに提供すること、前記１以上の処理ユニットによって、前記生センサデータに対して１以上の処理作業を実行して、処理済みデータを生成すること、及び、前記ネットワークインターフェースによって、前記処理済みデータを前記１以上のシステムに提供することを含む、CENシステム。
１４．
前記CENサーバと通信する第２のCENスイッチであって、１以上の第２のプロジェクタデバイスと１以上の第２のカメラのうちの少なくとも１つと通信する第２のCENスイッチを更に備え、前記SPUが、前記第２のCENスイッチと通信し、前記第２のCENスイッチから生センサデータを取得し、前記生センサデータを処理して処理済みセンサデータとして前記第２のCENスイッチに提供する、条項１３に記載のCENシステム。
１５．
前記SPUが、前記生センサデータを処理することに特化した、６つの並列マルチコアコンピュータを備える、条項１４に記載のCENシステム。
１６．
前記６つの並列マルチコアコンピュータのうちの１つが、機械学習アルゴリズムを使用して訓練される、条項１５に記載のCENシステム。
１７．
前記機械学習アルゴリズムが、訓練されたニューラルネットワークである、条項１６に記載のCENシステム。
１８．
前記機械学習アルゴリズムが、航空機の飛行動作の１以上の段階中に訓練されて、振動又は音を検出し、検出された振動又は検出された音を分類する、条項１７に記載のCENシステム。
１９．
前記検出された振動又は前記検出された音の表示が、前記第１のCENスイッチを介して前記CENサーバに提供される、条項１８に記載のCENシステム。
２０．
前記検出された振動又は前記検出された音の位置が、前記機械学習アルゴリズムに基づいて特定される、条項１８に記載のCENシステム。

【0050】

本本教示の広い範囲を説明している数値の範囲及びパラメータは概算であるが、それにもかかわらず、特定の実施例で説明されている数値は、可能な限り正確に記載されている。しかしながら、任意の数値は、それぞれの試験的測定に見られる標準偏差から必然的に生じる若干の誤差を本質的に含んでいる。更に、本明細書で開示された全ての範囲が、本明細書内に包含される任意の全ての部分範囲を含むと理解すべきである。例えば、「１０未満」の範囲は、ゼロの最小値と１０の最大値との間の（及びそれを含む）任意の及び全てのサブ範囲、すなわち、ゼロ以上の最小値と１０未満の最大値とを有する任意の及び全てのサブ範囲、例えば、１から５を含むことができる。特定の場合では、パラメータとして述べられた数値が、負の値を採ることもある。このような場合、「１０未満」として述べられた範囲の例示的な値は、負の値、例えば１、－２、－３、－１０、－２０、－３０を想定することができる。

【0051】

１以上の実施態様に関連して本明細書の教示を例示してきたが、付随する特許請求の範囲の主旨及び範囲から逸脱しなければ、示された実施例に変更及び／又は改変がなされ得る。例えば、プロセスを一連の作用又はイベントとして説明しているが、本書の教示はかかる作用又はイベントの順序により限定されるわけではないことが、理解されよう。一部の作用は、本明細書に記載のものとは異なる順序で、且つ／又は本明細書に記載のもの以外の作用若しくはイベントと同時に生じ得る。また、本明細書の教示の１以上の態様又は実施態様に従って方法を実装するために、全てのプロセス段階が必要になるわけではないこともある。構造的構成要素及び／若しくは処理段階が追加され得ること、又は既存の構造的構成要素及び／若しくは処理段階が除去若しくは改変され得ることが認識されよう。更に、本明細書に示された作用のうちの１以上は、１以上の別の作用及び／又はフェーズにおいて実施されることもある。更に、「含む（including／includes）」、「有する（having／has）」、「伴う（with）」という語、又はこれらの後の変化形は、本明細書と特許請求の範囲のいずれかで使用される限りにおいて、「備える（comprising）」という語と同様の意味で、包括的であることが意図されている。「～の少なくとも１つ、～のうちの少なくとも１つ（at least one of）」という表現は、列挙されたアイテムのうちの一又は複数が選択されうることを意味するために、使用される。本明細書で使用される際に、例えばＡとＢなどの項目のリストに関する「～のうちの１以上」は、Ａだけ、Ｂだけ、又はＡ及びＢを意味する。「約」という用語は、その変更が、示されている実施態様に対するプロセス又は構造の不適合をもたらさない限り、挙げられている値が幾らか変えられ得ることを示す。最後に、「例示的な（exemplary）」は、記述が、理想的であることを示唆するよりはむしろ、一例として使用されていることを示すものである。本明細書の検討及び本明細書の開示の実践により、当業者には、本明細書の教示の他の実行形態も自明となろう。本明細書及び例は例示にすぎないと見なされることが意図されており、本書の教示の真の範囲及び主旨は、以下の特許請求の範囲によって示される。

【図1A】

【図1B】

【図2A】

【図2B】

【図3】

【図4】