IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オーロラ フライト サイエンシズ コーポレーションの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-03
(45)【発行日】2023-07-11
(54)【発明の名称】適応可能輸送体モニタリングシステム
(51)【国際特許分類】
   B64D 45/00 20060101AFI20230704BHJP
   G06N 5/022 20230101ALI20230704BHJP
   G06Q 10/20 20230101ALI20230704BHJP
【FI】
B64D45/00 Z
G06N5/022
G06Q10/20
【請求項の数】 15
【外国語出願】
(21)【出願番号】P 2019187532
(22)【出願日】2019-10-11
(65)【公開番号】P2020097394
(43)【公開日】2020-06-25
【審査請求日】2022-10-07
(31)【優先権主張番号】16/159,463
(32)【優先日】2018-10-12
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】500461860
【氏名又は名称】オーロラ フライト サイエンシズ コーポレーション
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】ライアン, ジェーソン クリストファー
(72)【発明者】
【氏名】デューダ, ジェシカ エドモンズ
(72)【発明者】
【氏名】ムストー, アンドリュー
【審査官】諸星 圭祐
(56)【参考文献】
【文献】特開2018-108802(JP,A)
【文献】特表2016-516341(JP,A)
【文献】特開2016-224913(JP,A)
【文献】欧州特許出願公開第02270618(EP,A2)
【文献】欧州特許出願公開第03057044(EP,A1)
(58)【調査した分野】(Int.Cl.,DB名)
B64D 45/00
G06Q 10/20
G06N 5/022
(57)【特許請求の範囲】
【請求項1】
輸送体を動作させるためにオペレータフィードバックを提供するための適応可能輸送体モニタリングシステム(100)であって、
現在の輸送体のコンテキストを特定するように構成されたコンテキスト認知サブシステム(124)であって、前記現在の輸送体のコンテキストが前記輸送体の動作モードを反映する、コンテキスト認知サブシステム(124)、
現在の輸送体の状態データに少なくとも部分的に基づいて、現在の輸送体の状態を導出するように構成された状態モニタリングサブシステム(104)であって、前記輸送体の少なくとも1つのパラメータに応じて前記輸送体の状態データを前記現在の輸送体のコンテキストに相関させるように構成された知識獲得サブシステム(114)と動作可能に接続され、前記現在の輸送体の状態データ及び前記現在の輸送体のコンテキストを解析して、1以上の傾向を特定するように構成された、状態モニタリングサブシステム(104)、
前記状態モニタリングサブシステム(104)に動作可能に接続されたフィードバックサブシステム(112)であって、前記現在の輸送体の状態と予期される輸送体の状態との比較に少なくとも部分的に基づいて、オペレータフィードバックを準備するように構成され、前記予期される輸送体の状態が、1以上の記憶された輸送体の状態及び前記1以上の傾向に少なくとも部分的に基づいて導出される、フィードバックサブシステム(112)、並びに
前記準備されたオペレータフィードバックを提供するように構成されたユーザインターフェース(126)を備える、システム。
【請求項2】
前記状態モニタリングサブシステム(104)が、類似する種類の輸送体からの記憶された輸送体の状態データ及び記憶された輸送体のコンテキストを解析して、前記1以上の傾向を特定するように更に構成されている、請求項1に記載のシステム。
【請求項3】
輸送体内に位置付けられた機器(120)から、現在の輸送体の状態情報を視覚的に取得するように構成された複数のカメラ(310)を有する知覚サブシステム(106)を更に備える、請求項1又は2に記載のシステム。
【請求項4】
前記状態モニタリングサブシステム(104)に動作可能に接続され、前記状態モニタリングサブシステム(104)によるオフライン機械学習又は傾向解析を支援するように構成された、データベースサブシステム(122)を更に備える、請求項1から3のいずれか一項に記載のシステム。
【請求項5】
前記機器(120)が、燃料計、温度計、風力計、オドメータ、圧力計、高度計、速度計、対気速度インジケータ、垂直速度インジケータ、コンパス、ジャイロスコープ、姿勢インジケータ、機首方位インジケータ、旋回インジケータ、又は航行システムのうちの1以上を備える、請求項3に記載のシステム。
【請求項6】
前記オペレータフィードバックが、前記予期される輸送体の状態と前記現在の輸送体の状態との間の偏差が所定の閾値を超えた場合の警告を含む、請求項1から5のいずれか一項に記載のシステム。
【請求項7】
前記現在の輸送体のコンテキストが、輸送体の種類、輸送体運航ハンドブック、標準的な輸送体の動作手順、オペレータの入力、ミッションパラメータ、輸送体の目的地、現在の輸送体の状態データ、記憶された輸送体の状態データ、輸送体の位置、外部環境、及び記憶された傾向のうちの1以上に少なくとも部分的に基づいて特定される、請求項1から6のいずれか一項に記載のシステム。
【請求項8】
前記輸送体モニタリングシステム(100)が、種々の種類の輸送体と互換性があり、デジタルファイル内の符号化された情報に少なくとも部分的に基づいて前記種々の種類の輸送体に適応し得る、請求項1から7のいずれか一項に記載のシステム。
【請求項9】
輸送体を動作させるためにオペレータフィードバックを提供するための方法であって、
前記輸送体の動作モードを反映する現在の輸送体のコンテキストを特定するステップ、
現在の輸送体の状態データに少なくとも部分的に基づいて、現在の輸送体の状態を導出するステップ、
前記輸送体の少なくとも1つのパラメータに応じて、前記輸送体の状態データを前記現在の輸送体のコンテキストに相関させるステップ、
前記現在の輸送体の状態データ及び前記現在の輸送体のコンテキストを解析して、1以上の傾向を特定するステップ、
前記現在の輸送体の状態と予期される輸送体の状態との比較に少なくとも部分的に基づいて、オペレータフィードバックを準備するステップであって、前記予期される輸送体の状態が、1以上の記憶された輸送体の状態及び前記1以上の傾向に少なくとも部分的に基づいて導出されるステップ、並びに
ユーザインターフェース(126)を介して、前記準備されたオペレータフィードバックを生成するステップを含む、方法。
【請求項10】
前記1以上の傾向が、類似する種類の輸送体からの記憶された輸送体の状態データ、記憶された輸送体のコンテキスト、及び記憶された輸送体の状態を使用して特定される、請求項9に記載の方法。
【請求項11】
前記現在の輸送体の状態データが、輸送体の操縦室内の機器(120)からデータを収集するように構成された複数のカメラ(310)を使用して取得される、請求項10に記載の方法。
【請求項12】
前記現在の輸送体の状態が、燃料計、温度計、風力計、オドメータ、圧力計、高度計、速度計、対気速度インジケータ、垂直速度インジケータ、コンパス、ジャイロスコープ、姿勢インジケータ、機首方位インジケータ、旋回インジケータ、又は航行システムのうちの少なくとも1つから特定される、請求項10又は11に記載の方法。
【請求項13】
前記オペレータフィードバックが、前記予期される輸送体の状態と前記現在の輸送体の状態との間の偏差が所定の閾値を超えた場合の警告を含む、請求項10から12のいずれか一項に記載の方法。
【請求項14】
前記方法が、デジタルファイル内の符号化された情報に少なくとも部分的に基づいて、種々の種類の輸送体に適応させるステップを更に含む、請求項10から13のいずれか一項に記載の方法。
【請求項15】
オフライン機械学習又は傾向解析を支援するように構成されたデータベースサブシステム(122)にアクセスするステップを更に含む、請求項10から14のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、輸送体モニタリングシステムに関し、特に、種々の種類の輸送体に適応可能な輸送体モニタリングシステムに関する。
【背景技術】
【0002】
輸送体のモニタリングは、(オフライン解析、品質保証、記録管理向けの)データ記録機能として、且つ/又は、輸送体に搭載された特定のサブシステム(例えば、エンジン)に特化された健全性及び利用性モニタリングシステム(HUMS)機能として、実行されてよい。リアルタイムのモニタリングは、輸送体の動作(例えば、動作のフェーズ、チェックリストの実行など)、及び/又は、オペレータの自覚若しくは作業を必要とし得る他の機能を、考慮しないかもしれない。
【0003】
輸送体モニタリングシステムは、輸送体全体の「状態」に関するコンテキストや認知を欠いている場合がある。例えば、位置、チェックリスト内のステップ、チェックリストの実行状態、及び/又は輸送体が何処にいるときにどんな構成をしているか、スイッチ及び制御のステータス、並びに/又はミッションにおける地理的特徴(例えば、空港、海港、ガスステーション、ウェイポイント)及び/若しくは他の輸送体に対する位置である。適用可能であれば、搭載型のモニタリングシステムによる「状態認知」の欠如は、オペレータがエラー、危険な状態にあること、安全でないことに対して注意喚起されないこと、及び/又は、オペレータによってそれらが識別されないならば、望ましくない傾向が無視されることをもたらし得る。
【発明の概要】
【0004】
本開示は、輸送体モニタリングシステムに関し、特に、種々の種類の輸送体に適応可能な輸送体モニタリングシステムに関する。
【0005】
第1の態様によれば、輸送体の動作中にオペレータに対してオペレータフィードバックを提供するための適応可能輸送体モニタリングシステムが、現在の輸送体のコンテキストを特定するように構成されたコンテキスト認知サブシステムであって、現在の輸送体のコンテキストが輸送体の動作モードを反映する、コンテキスト認知サブシステム、現在の輸送体の状態データに少なくとも部分的に基づいて、現在の輸送体の状態を導出するように構成された状態モニタリングサブシステムであって、輸送体の少なくとも1つのパラメータに応じて輸送体の状態データを現在の輸送体のコンテキストに相関させるように構成された知識獲得サブシステムと動作可能に接続され、現在の輸送体の状態データ及び現在の輸送体のコンテキストを解析して、1以上の傾向を特定するように構成された、状態モニタリングサブシステム、状態モニタリングサブシステムに動作可能に接続されたフィードバックサブシステムであって、現在の輸送体の状態と予期される輸送体の状態との比較に少なくとも部分的に基づいて、オペレータフィードバックを準備するように構成され、予期される輸送体の状態が1以上の記憶された輸送体の状態及び1以上の傾向に少なくとも部分的に基づいて導出される、フィードバックサブシステム、並びに、準備されたオペレータフィードバックをオペレータに提供するように構成されたユーザインターフェースを備える。
【0006】
特定の態様では、状態モニタリングサブシステムが、類似する種類の輸送体からの記憶された輸送体の状態データ及び記憶された輸送体のコンテキストを解析して、1以上の傾向を特定するように更に構成されている。
【0007】
特定の態様では、システムが、輸送体内に位置付けられた機器から、現在の輸送体の状態情報を視覚的に取得するように構成された複数のカメラを有する知覚サブシステムを更に備える。
【0008】
特定の態様では、システムが、輸送体の操縦室内に位置付けられた機器から、現在の輸送体の状態情報を視覚的に取得するように構成された複数のカメラを有する知覚サブシステムを更に備える。
【0009】
特定の態様では、機器が、燃料計、温度計、風力計、オドメータ、圧力計、高度計、速度計、対気速度インジケータ、垂直速度インジケータ、コンパス、ジャイロスコープ、姿勢インジケータ、機首方位インジケータ、旋回インジケータ、又は航行システムのうちの1以上を備える。
【0010】
特定の態様では、オペレータフィードバックが、予期される輸送体の状態と現在の輸送体の状態との間の偏差が所定の閾値を超えた場合の警告を含む。
【0011】
特定の態様では、現在の輸送体のコンテキストが、輸送体の種類、輸送体運航ハンドブック、標準的な輸送体の動作手順、オペレータの入力、ミッションパラメータ、輸送体の目的地、現在の輸送体の状態データ、記憶された輸送体の状態データ、輸送体の位置、外部環境、及び記憶された傾向のうちの1以上に少なくとも部分的に基づいて特定される。
【0012】
特定の態様では、輸送体モニタリングシステムが、種々の種類の輸送体と互換性があり、デジタルファイル内の符号化された情報に少なくとも部分的に基づいて種々の種類の輸送体に適応し得る。
【0013】
特定の態様では、符号化された情報が、輸送体の種類、輸送体のレイアウト、輸送体の機器、及び輸送体の能力のうちの1以上を含む。
【0014】
特定の態様では、解析される、記憶された輸送体の状態データ、記憶された輸送体のコンテキスト、及び記憶された輸送体の状態が、デジタルファイル内の符号化された輸送体の種類に対応する。
【0015】
特定の態様では、状態モニタリングサブシステムが、機械学習技術を使用して、1以上の傾向を特定する。
【0016】
特定の態様では、適応可能輸送体モニタリングシステムが、輸送体の機器から、現在の輸送体の状態情報を視覚的に取得するように構成された知覚サブシステムを更に備える。
【0017】
特定の態様では、ユーザインターフェースが、人間機械(human machine)インターフェース(HMI)である。
【0018】
特定の態様では、HMIがタブレットを備える。
【0019】
特定の態様では、輸送体が航空輸送体である。
【0020】
特定の態様では、知覚サブシステムが、有線又は無線接続を経由して輸送体の機器と通信することによって、現在の輸送体の状態を取得する。
【0021】
特定の態様では、知覚サブシステムが、データレコーダを使用して、輸送体の機器と相互作用する。
【0022】
第2の態様によれば、輸送体の動作中にオペレータにオペレータフィードバックを提供するための方法が、輸送体の動作モードを反映する現在の輸送体のコンテキストを特定するステップ、現在の輸送体の状態データに少なくとも部分的に基づいて、現在の輸送体の状態を導出するステップ、輸送体の少なくとも1つのパラメータに応じて、輸送体の状態データを現在の輸送体のコンテキストに相関させるステップ、現在の輸送体の状態データ及び現在の輸送体のコンテキストを解析して、1以上の傾向を特定するステップ、現在の輸送体の状態と予期される輸送体の状態との比較に少なくとも部分的に基づいて、オペレータフィードバックを準備するステップであって、予期される輸送体の状態が1以上の記憶された輸送体の状態及び1以上の傾向に少なくとも部分的に基づいて導出されるステップ、並びに、ユーザインターフェースを介して、準備されたオペレータフィードバックをオペレータに提供するステップを含む。
【0023】
特定の態様では、1以上の傾向が、類似する種類の輸送体からの記憶された輸送体の状態データ、記憶された輸送体のコンテキスト、及び記憶された輸送体の状態を使用して特定される。
【0024】
特定の態様では、現在の輸送体の状態データが、輸送体の操縦室内の機器からデータを収集するように構成された複数のカメラを使用して取得される。
【0025】
特定の態様では、現在の輸送体の状態データが、輸送体内の機器からデータを収集するように構成された複数のセンサを使用して取得される。
【0026】
特定の態様では、輸送体の機器が、燃料計、温度計、風力計、オドメータ、圧力計、高度計、速度計、対気速度インジケータ、垂直速度インジケータ、コンパス、ジャイロスコープ、姿勢インジケータ、機首方位インジケータ、旋回インジケータ、又は航行システムのうちの1以上を備える。
【0027】
特定の態様では、オペレータフィードバックが、予期される輸送体の状態と現在の輸送体の状態との間の偏差が所定の閾値を超えた場合の警告を含む。
【0028】
特定の態様では、輸送体モニタリングシステムが、種々の種類の輸送体と互換性があり、該方法が、デジタルファイル内の符号化された情報に少なくとも部分的に基づいて種々の種類の輸送体に適応させるステップを更に含む。
【0029】
特定の態様では、符号化された情報が、輸送体の種類、輸送体のレイアウト、輸送体の機器、及び輸送体の能力のうちの1以上を含む。
【0030】
特定の態様では、機械学習技術を使用して、1以上の傾向を特定する。
【0031】
特定の態様では、該方法が、輸送体の機器から現在の輸送体の状態データを取得するステップを更に含む。
【0032】
特定の態様では、ユーザインターフェースが、人間機械(human machine)インターフェース(HMI)である。
【0033】
特定の態様では、HMIがタブレットを備える。
【0034】
特定の態様では、輸送体が航空輸送体である。
【0035】
特定の態様では、現在の輸送体の状態データが、有線又は無線接続を経由して輸送体の機器と通信することによって取得される。
【0036】
特定の態様では、現在の輸送体の状態データが、データレコーダを使用して輸送体の機器と相互作用することによって取得される。
【0037】
特定の態様では、現在の輸送体のコンテキストが、輸送体の種類、輸送体運航ハンドブック、標準的な輸送体の動作手順、オペレータの入力、ミッションパラメータ、輸送体の目的地、現在の輸送体の状態データ、記憶された輸送体の状態データ、輸送体の位置、外部環境、及び記憶された傾向のうちの1以上に少なくとも部分的に基づいて特定される。
【0038】
特定の態様では、解析される、記憶された輸送体の状態データ、記憶された輸送体のコンテキスト、及び記憶された輸送体の状態が、デジタルファイル内の符号化された輸送体の種類に対応する。
【0039】
第3の態様によれば、輸送体モニタリングの方法が、輸送体の機器から現在の輸送体の状態データを取得するステップ、現在の輸送体のコンテキストを特定するステップ、輸送体の状態データ及び輸送体のコンテキストに少なくとも部分的に基づいて、現在の輸送体の状態を導出するステップ、以前の輸送体の状態及び以前の輸送体の状態データにアクセスするステップ、現在の輸送体の状態データ、以前の輸送体の状態データ、現在の輸送体のコンテキスト、以前の輸送体の状態、及び現在の輸送体の状態を解析して、1以上の現在の傾向を特定するステップ、1以上の現在の傾向を1以上の以前の傾向と比較して、類似する傾向が存在するかどうかを判定するステップ、該比較に少なくとも部分的に基づいてフィードバックを準備するステップであって、フィードバックが類似する傾向が存在し且つ類似する傾向が望ましくないとの判定に応答した警告を含む、ステップ、並びにユーザインターフェースを介してオペレータに準備されたオペレータフィードバックを提供するステップを含む。
【0040】
本明細書で説明されるデバイス、システム、及び方法の上述の或いは他の目的、特徴、及び利点は、それらの特定の実施形態の以下の説明から容易に理解されることになる。その際に、添付の図面が示され、類似の番号が類似の構造物を指す。図面は、必ずしも縮尺通りに描かれておらず、その代わりに、本明細書で説明されるデバイス、システム、及び方法の原理を示すことに重点が置かれている。
【図面の簡単な説明】
【0041】
図1】例示的な輸送体モニタリングシステムのブロック図を示す。
図2a】経路アプリケーションを表示する第1の例示的なユーザインターフェースを示す。
図2b】手順チェックリストを表示する第2の例示的なユーザインターフェースを示す。
図3a】例示的な知覚サブシステムのブロック図を示す。
図3b】例示的な作動システムの例示的なロボットアームを示す。
図4a】撮像システムによってキャプチャされた例示的な生画像を示す。
図4b図4aの画像の例示的な再フォーマットされた画像(二値画像)を示す。
図4c図4bの再フォーマットされた画像から抽出されたデータの一例を示す。
図4d】撮像システムによってキャプチャされた別の例示的な生画像を示す。
図4e図4dの画像の例示的な再フォーマットされた画像を示す。
図5】例示的なデータベースサブシステムのブロック図を示す。
図6】輸送体モニタリングシステムの例示的な動作を示す。
図7a図7a及び図7bは、輸送体モニタリングシステム内で使用され得る例示的な手順を示す。
図7b図7a及び図7bは、輸送体モニタリングシステム内で使用され得る例示的な手順を示す。
図8】輸送体モニタリングシステムの例示的な動作を示す例示的な状態図を示す。
【発明を実施するための形態】
【0042】
本開示の好適な実施形態が、添付の図面を参照しつつ本明細書で以下に説明される。図面における構成要素は必ずしも正確な縮尺で描かれておらず、むしろ、本発明の原理を明確に示すことに重点が置かれている。例えば、要素のサイズは、説明の明快さ及び利便性のために強調され得る。更に、可能な場合には、一実施形態の同じ又は類似の部品に言及するのに、図面全体を通して同じ参照番号を使用する。以下の記載では、周知の機能及び説明は詳細には記載されない。なぜならばそれらは、不必要な詳細によって本開示を不明確にし得るからである。明細書中の如何なる言葉も、実施形態の実施に必須である請求されていない要素を示すものとして解釈されるべきではない。本願では、以下の用語及び定義が適用される。
【0043】
「航空輸送体」及び「航空機」という用語は、限定しないが、従来型の滑走路を使う航空機と、垂直離着陸(VTOL)式の航空機の両方を含む、飛行可能な機械を指す。VTOL航空機は、固定翼航空機(例えば、ハリアージェット)、回転翼飛行機(例えば、ヘリコプター)、及び/又はローターが傾く/翼が傾く航空機を含み得る。
【0044】
「及び/又は(and/or)」という語は、「及び/又は」によってつながれている、列挙されたアイテムのうちの一又は複数の任意のものを意味する。一実施例として、「x及び/又はy」は、3つの要素の組{(x)、(y)、(x、y)}のうちの任意の要素を意味する。言い換えると、「x及び/又はy」は、「xとyのうちの一方又は両方」を意味する。別の一実施例として、「x、y、及び/又はz」は、7つの要素の組{(x)、(y)、(z)、(x、y)、(x、z)、(y、z)、(x、y、z)}のうちの任意の要素を意味する。言い換えると、「x、y、及び/又はy」は、「x、y、及びzのうちの1以上」を意味する。
【0045】
「伝達する」及び「通信する」という用語は、(1)データを発信元から送付先へ送信若しくは他の方法で伝えること、並びに/又は、(2)データを送付先へ伝えるために、通信媒体、システム、チャネル、ネットワーク、装置、回線、ケーブル、ファイバー、回路、及び/若しくはリンクに送達することの、両方を意味する。
【0046】
「約」及び/又は「近似的に」という用語は、値(又は値の範囲)、位置、配向、及び/又は動作を修正又は説明するために使用されるときに、その値、値の範囲、位置、配向、及び/又は動作に適切に近いことを意味する。したがって、本明細書で説明される実施形態は、挙げられた値、値の範囲、位置、配向、及び/又は動作にのみ限定されるのではなく、むしろ適切に働き得る偏差を含むべきである。
【0047】
「回路」並びに/又は「電気回路」という用語は、物理的電子部品(すなわち、ハードウェア)、例えば、アナログ及び/若しくはデジタル構成要素、電力及び/若しくは制御要素、並びに/又はマイクロプロセッサ、並びに、ハードウェアを構成し、ハードウェアによって実行され、且つ/又はさもなければハードウェアに関連し得る、任意のソフトウェア及び/若しくはファームウェア(「コード」)を指す。
【0048】
本明細書で使用される際に、「接続された」、「と接続されている」、及び「に接続されている」は、それぞれ、構造的な及び/又は電気的な接続を意味し、取り付けられ、連結され、結合され、接合され、締結され、リンクされ、且つ/又はそれ以外の方法で固定されていることを意味する。「取り付ける」という用語は、連結され、結合され、接続され、接合され、締結され、リンクされ、且つ/又は他の方法で固定されていることを意味する。「結合され」という用語は、取り付けられ、連結され、接続され、接合され、締結され、リンクされ、且つ/又は他の方法で固定されていることを意味する。
【0049】
「動作可能に接続され」は、幾つかの要素又はアセンブリが共に接続されており、それによって、第1の要素/アセンブリが、1つの状態(及び/又は構成、配向、位置など)から別の状態に変化し、第1の要素/アセンブリに動作可能に接続された第2の要素/アセンブリも、1つの状態(及び/又は構成、配向、位置など)から別の状態に変化することを意味する。第1の要素が、第2の要素に「動作可能に接続され」ると同時に、第2の要素が、第1の要素に「動作可能に接続され」ない場合もあることに留意されたい。
【0050】
「プロセッサ」という用語は、ハードウェアに実装されていてもソフトウェアに明白に具現化されていても又はそれらの両方でも、それがプログラム可能であってもそうではなくても、プロセッサデバイス、装置、プログラム、回路、構成要素、システム、及びサブシステムを意味する。本明細書で使用される際に、「プロセッサ」という用語は、1以上のコンピュータデバイス、配線回路、信号修正デバイス及びシステム、システムを制御するためのデバイス及び機械、中央処理装置、プログラマブルデバイス及びシステム、フィールドプログラマブルゲートアレイ、特定用途向け集積回路、チップ上のシステム、離散した要素及び/又は回路を備えたシステム、状態機械、仮想機械、データプロセッサ、処理設備、並びにそれらの任意の組み合わせを含むが、それらに限定されるものではない。例えば、プロセッサは、任意の種類の汎用マイクロプロセッサ又はマイクロコントローラ、デジタル信号処理(DSP)プロセッサ、特定用途向け集積回路(ASIC)であり得る。プロセッサは、メモリデバイスに接続され又はメモリデバイスと統合され得る。
【0051】
「例示的な」という用語は、非限定的な実施例、事例、又は実例として機能することを意味する。本明細書で使用される際に、「例えば(e.g.)」及び「例えば(for example)」という用語は、1以上の非限定的な実施例、事例、又は例示のリストを強調している。
【0052】
「メモリ」という用語は、プロセッサ及び/又は他のデジタルデバイスによって使用されるための情報を記憶するコンピュータハードウェア又は回路を意味する。メモリは、例えば、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、キャッシュメモリ、コンパクトディスクリードオンリーメモリ(CDROM)、電気光学メモリ、磁気光学メモリ、プログラマブルリードオンリーメモリ(PROM)、消去可能プログラマブルリードオンリーメモリ(EPROM)、電気的消去可能プログラマブルリードオンリーメモリ(EEPROM)、コンピュータ可読媒体などの、任意の適切な種類のコンピュータメモリ又は任意の他の種類の電子記憶媒体であり得る。「データベース」という用語は、メモリ内のデータの特定の構築を指してよい。
【0053】
本開示は、類似したコンテキスト内の予期される且つ/又は所望の輸送体の状態と比較して、所与のコンテキスト内の現在の輸送体の状態(並びに/又は輸送体の状態の変化及び/若しくは移行)のモニタリングに少なくとも基づいて、オペレータにリアルタイムのフィードバックを提供する、輸送体モニタリングシステムを対象とする。輸送体の状態は、輸送体特有の状態(例えば、制御ステータス、航空機の構成、航空機の健全性など)と、飛行特有の状態(例えば、飛行計画、又は地理的特徴、場所、位置、姿勢などに対する航空機の位置など)との両方を指す。該システムは、更に又は代替的に、そのフィードバックを、所与の閾値に対する現在の輸送体の状態データの比較、所与の閾値に対する現在の輸送体の状態の比較、将来に予期される輸送体の状態に対する予測された輸送体の状態の比較、及び/又は機械学習によって情報を与えられた傾向解析に基づかせてよい。現在の輸送体の状態データは、輸送体の1以上の機器(例えば、操縦室、管制室、ダッシュボード内のものなど)から収集されてよい。本開示は、航空輸送体に特に適用可能であってよい。本開示は、(輸送体の構成及び/又はミッション状態のうちの機器、スイッチ設定、地理的位置、ミッションデータ、及び他のインジケータに少なくとも部分的に基づいて)輸送体の状態の認知を傾向モニタリングと組み合わせて、フィードバックを提供することができる。フィードバックは、示唆された補正、警告、及び/又は警報を含んでよい。ある実施例では、フィードバックが、輸送体の動作の修正を含んでよい。適切且つ/又は時機を得たフィードバックは、差し迫った危険な状態に対する安全性及び/又はオペレータの認知のレベルを高めることができる。
【0054】
本開示のシステムは、認知サブシステムを介して取得されたデータを少なくとも部分的に使用して、輸送体の状態を特定することができる。認知サブシステムは、カメラ、センサ、データレコーダ(例えば、飛行データレコーダ)、及び/又は他の情報源などの、ツールを使用してデータを取得することができる。輸送体が地上車両、航空輸送体、及び/又は船舶であってよい幾つかの実施例では、例えば、知覚サブシステムが、操縦室内の機器からデータを取得することができる。カメラが使用される実施例では、特別なマシンビジョン技術を適用して、パイロット及び/又はオペレータが操縦室の状態を視覚的に確認するのと類似したやり方で、操縦室の機器を読み、且つ/又はスイッチの位置及び/若しくは操縦室の状態を推定することができる。ある実施例では、知覚サブシステムが、機器の読み値、スイッチの設定、及び/又は輸送体の状態を提供する、既存のデバイスと相互作用することができる。輸送体が航空輸送体である実施例では、飛行データレコーダを使用して、機器の読み値、スイッチの設定、及び/又は航空機の飛行状態を提供する、既存のデバイスと相互作用することができる。
【0055】
該システムは、コンテキスト情報と併せて、知覚サブシステムを介して取得されたデータを使用して且つ/又はそれらに基づいて、輸送体の状態を推察及び/又は特定することができる。一般的に言うと、輸送体の状態データ(又は情報)は、ユーザ(例えば、パイロット又は他のオペレータ)が、ダッシュボード、管制室、又は操縦室の機器によって提供されるものなどの、特定の動作モード(例えば、飛行動作)を維持する(又は実行する)ために使用できる、輸送体のステータス情報を指す。輸送体の種類(例えば、航空、地上、又は船舶であるかにかかわらず)に応じて、例示的な輸送体のステータスは、とりわけ、燃料レベル、高度、速度、エンジンの状態、フラップ、場所/姿勢などを含む。航空輸送体の場合は、飛行に特有の状態が、(例えば、物体又は別の場所、目的地などに対する)輸送体の相対的な位置、ミッション(例えば、飛行経路)に対する輸送体の位置、環境条件、温度などを反映する。簡単に言うと、輸送体の状態データは、ガイダンス、ナビゲーション、及び制御(GNC)に関する状態に限定されない。しかし、輸送体の状態データは、輸送体のコンテキストデータを反映しない。実際、同じ輸送体のデータは、輸送体が動作している特定のコンテキスト(すなわち、巡航、離陸、タクシング、着陸などの、特定の動作モード)に応じて増減する関連性を有してよい。例えば、輸送体モニタリングシステムには、1以上のシステムを通じて豊富な輸送体の状態データが提供されてよい。1以上のシステムは、特定の動作モードにとっては必要であり又は有用であるが、全ての動作モードにとってそうであるとは限らない。(例えば、コンテキストデータの形態を採る)コンテキストが提供されたときに、輸送体モニタリングシステムは、輸送体の状態データのうちの幾つかの部分を優先することができる。例えば、タクシングしているときに、輸送体モニタリングシステムは、高度についての情報を必要としない。何故ならば、その状態データは関係ないからである。したがって、速度やフラップ位置などの他の状態データが優先されてよい。したがって、輸送体の状態データは、特定された又は受け取られたコンテキストデータに応じて、優先され(例えば、重み付けされ)又は選択されてよい。本開示のシステムは、コンテキストデータ毎の輸送体の状態データの優先又は選択に基づいて、そのような優先又は選択の論理を更に適応させることができる。
【0056】
輸送体モニタリングシステムは、コンテキスト情報を使用して、知覚サブシステムからの状態データを適切に処理し、且つ/又は適切なフィードバックを決定することができる。該システムは、様々な構成要素及び/又は記憶デバイスから情報を取り、コンテキストを同調させることができる。ある実施例では、輸送体の状態に少なくとも部分的に基づいて、輸送体のコンテキストを推察することができる。ある実施例では、コンテキストが、認知サブシステムを通じて取得されたデータに少なくとも部分的に基づいてよい。例えば、知覚サブシステムは、外部の温度、湿度、降水量、圧力、風速などに関するデータを取得してよく、該システムは、知覚された温度、湿度、降水量、圧力、及び/又は風速に基づいて、特定の場所、目的地、手順、及び/又はミッションのコンテキストを推察することができる。別の一実施例として、知覚サブシステムは、輸送体の地理的位置に関するデータを取得してよく、該システムは、地理的位置(例えば、国、地理、地形、天候パターン、気候、目的地、経路など)に基づいて、コンテキストを推察することができる。ある実施例では、現在の動作モード及び/又は手順に関するコンテキストが、例えば、メモリ内に記憶された運航チェックリスト及び/又はパイロット作業ハンドブックを通じて、取得されてよい。コンテキストは、輸送体の目的地及び/若しくはミッション、現在の動作モード及び/若しくは着手されている手順、チェックリスト及び/若しくは着手されている作業の組、並びに/又は取り囲んでいる環境の状態及び/若しくはステータスを含んでよい。
【0057】
ある実施例では、該システムが、知覚システムからのデータと組み合わされた輸送体のコンテキストに少なくとも部分的に基づいて、輸送体の状態を推察することができる。このプロセスは、以下で更に概説されるオペレータフィードバックスキームを通知することができる。例えば、該システムは、所与の運航チェックリスト内でのオペレータ及び/又は輸送体の進み具合を追跡してよく、その進み具合に基づいて輸送体の状態に関する推察を行うことができる。ある実施例では、該システムが、最近記録された且つ/又は以前に記録された輸送体モニタリングシステムのデータセットの機械学習試験を通じて示される傾向及び/又はパターンに基づいて、コンテキスト及び/又は状態を取得し且つ/又は推察することができる。
【0058】
1つの輸送体のコンテキスト及び/又は状態から別のものへの移行は複雑なことがある。ある実施例では、移行が、非常に明確な順序であるか又はオペレータが意図したやり方であるかを問わず、現在の動作モード/フェーズ及び/又は意図された次の動作モード及び/又は飛行のフェーズにとって適切であるようなやり方で輸送体を構成するために、オペレータが様々なステップを実行すること、及びそれに応答して変化する状態を含むだろう。図7a及び図7bは、(例えば、航空機のパイロット作業ハンドブックからの)単一の手順用のこの流れを示している。各ステップの実行は、認知サブシステムによって検証(「確認」)されてよく、条件を満たしたことが、図中の矢印(予め必要なもの)によって表わされ得る。予め必要なものは、「複数の組」内で組織化され、潜在的に複数の予め必要な組のうちの何れか1つが完了したときに(ステップの中に入って来る矢印がアクティブ)、チェックリストの特定のステップは、実行されるように「イネーブル」され又は準備されている。複数の組は、図中で矢印の色によって区別されている。したがって、チェックリストを完了するための様々な経路が表示されており、手順を通る流れは、オペレータによる決まりきった作業を必然的に伴わない。オペレータは、チェックリストを通る複数の経路を採ることによって、チェックリストの要件を満たすことができる。複数の経路は、それら自体コンテキストに依存してよい。更に、データの利用可能性は、あるアイテムがパイロットによって手動で検証されることを要求し得る(「表示された、パイロットが確認する」)。他のアイテムは、利用可能ではないことがあるが、システムによって確認される必要がないという十分に低い結論である(「表示された、確認されない」)。最後に、あるアイテムは、システムによって内的に確認されてよいが、パイロットに表示されない(「表示されない」)。
【0059】
輸送体が、チェックリストの完了のおかげで、若しくは無線呼び出しなどの外部イベントのおかげで、且つ/又は位置に到着したことによって、種々のコンテキスト及び/又は状態の何れかに進むことができる場合もある。今度は、新しいコンテキスト及び/又は状態の発生が、新しいチェックリストを実行する必要性を誘発することがある。上述されているように、この図内での移行のうちの幾つかは、チェックリストの実行によって誘発されてよく、他のものは、コンテキストに依存してよい。今度は、ミッションの状態が、チェックリストが実行されることを誘発してよい。
【0060】
該システムは、獲得されたデータ及び/又は取得されたコンテキストを通じて生じた状態の認知を使用して、輸送体のオペレータにフィードバックを提供することができる。例えば、フィードバックは、リアルタイムのオペレータ支援、示唆、リマインダー、警報、警告などを含んでよい。ある実施例では、該システムが、輸送体の現在の状態を、リアルタイムで維持されている状態及び/又は流れプロセスの組と比較してよく、この比較の結果に基づいてフィードバックを提供する。ある実施例では、該システムが、輸送体の現在の状態を、所望の且つ/若しくは予期される輸送体の状態、所与の現在の状態(例えば、飛行状態)、及び/又はミッションのコンテキストと比較することができる。ある実施例では、比較及び/又は比較から生じた任意のフィードバックが、以下で更に説明されるように、現在の輸送体の構成に少なくとも部分的に基づいてよい。フィードバックモニタリングは、オペレータの挙動、傾向、習慣、特異性、偏り、奇癖、好みなどにおけるばらつきを考慮するのに十分フレキシブルであってよい。更に、フィードバックサブシステムは、経時的に機能性を最適化するために、未だシステムの効率的な構成及び再構成を可能にしながら、誤警報を避けるのに十分ロバストであってよい。該システムは、オペレータと共に滑らかに働くために、特別な論理流れ及びリアルタイムのデータを採用してよく、チェックリストが適正に実行されたが、オペレータの間で変動する許容可能なシーケンス内にある場合の警報又は警告を避けることができる。これらの機能の統合を通じて、本開示のシステムは、オペレータのパフォーマンス及び/又は全体的な輸送体の安全性を高めることができる。
【0061】
例えば、グラフィカルユーザインターフェース(GUI)及び/又は人間機械インターフェース(HMI)などの、ユーザインターフェース(UI)を使用して、フィードバックが提供されてよい。ある実施例では、ユーザインターフェースが、セルラーデバイス、タブレット、スマートTV、eブックリーダー、携帯情報端末(PDA)、及び/又は幾つかの他の適切なデバイスなどの、携帯デバイスに実装されてよい。ある実施例では、ユーザインターフェースが、視覚及び/又は聴覚キュー、タッチスクリーンインターフェース、会話及び/又は音声認識及び合成、更に、触覚、振動、及び/又は他の触覚キューを含んでよい。ある実施例では、ユーザインターフェースが、空域及びミッション内の状態の認知を提供するための移動マップ、チェックリストの実行についてのモニタリングと示唆を提供するためのチェックリスト、非公称状態及びこれらの状態に対して適切なチェックリスト、並びに輸送体の動作モードを支援する(無線周波数、航空隊への通知(NOTAM)、及びミッションポイントのGPS位置)情報を含んでよい。
【0062】
ある実施例では、本開示のシステムが、種々の種類の輸送体又は他のハードウェアシステム構成要素と互換性を有するように、適応可能及び/又は再構成可能であってよい。例えば、該システムは、デジタルファイル内の符号化されたパラメータ、手順、アレンジメント、フォーマット、指示命令、及び/又は情報に従って、それ自体を適応させ且つ/又は再構成してよい。パラメータ、指示命令、及び/又は他の情報は、該システムと共に使用されることが意図されている特定の輸送体に特有のものであってよい。結果として生じた「デジタルタイプレーティング」(DTR)ファイルは、ソフトウェアの高価な再作業に対する必要性なしに、輸送体(例えば、航空輸送体)の仕様向けに該システムを適応させ且つ/又は構成することができる。例えば、このファイルは、輸送体の機器の位置、機能、及び/又は動作可能な閾値、手順、シーケンス、及び/又は特定の輸送体に特有のチェックリスト、特定の輸送体に特有のミッションプロファイル、トップスピード/加速度、燃料容量、タイヤのグレード、翼長、揚力表面、操縦翼面、推進システムなどを符号化することができる。ある実施例では、本開示のシステムの各サブシステム(例えば、知覚サブシステム、ユーザインターフェース、コアプラットフォーム、及び/又は知識獲得サブシステム)が、ファイルに符号化された情報に従って、輸送体の互換性に対して再構成可能であってよい。ある実施例では、DTRファイルが、運航ハンドブック及び輸送体動作仕様に基づいて符号化されてよい。
【0063】
種々の輸送体、装備、及び/又はミッション/手順に適するように、システムを再構成する能力と共に、輸送体/ミッション/手順のコンテキスト、及び/又は輸送体の構成と組み合わせて、認知された輸送体の状態データを計算することによって、該システムは、正しい情報が正しい時にオペレータに提供されることを保証することができる。傾向モニタリングは、輸送体の動作中及び/又は動作前/後に実行されてよい。通常の且つ/又は予期される動作からの検出された偏差に基づいて、オペレータに対するフィードバックが準備されて、警告を提供することができる。
【0064】
状態の移行、構成の変化、及び関連する手順に加えて、操縦室内の機器の読み値の時間変動は、輸送体の動作モードの健全性および/又はステータスについての情報を提供することができる。機器の組み合わせの時間変動は、様々な潜在的な問題の表示も提供することができる。例えば、速度、温度、及び湿度の組み合わせは、オペレータによる修正を必要とし得る、凍結の可能性を示すことができる。別の一実施例は、エンジンの状態である。様々な機器が、エンジンの動作が境界内にあるかどうかについての情報をオペレータに提供することができるが、相対的な値を見て、それを飛行の状態(上昇、下降、タクシング)に関連付けることによってのみ、オペレータはエンジンの過熱が予測されるか又は整備が必要であるかどうかを予測することができる。ある場合では、(エンジンの温度などの)読み値における経時的な傾向が、整備の必要性又は故障の発生の可能性を示してよい。動作の前/後の機械学習傾向解析を必要とし得る他の場合は、オペレータの決定に関係することがある。例えば、オペレータが周回が必要であると決めた場合、コンピュータシステムが飛行の現在のフェーズがアプローチから上昇へ変更されたことを推察してよく、それに従ってモニタ及びアドバイスを行うことができる。これらの機能の全ては、過去の経験に基づいて機械学習及び/又は傾向/パターン認識を実行し、動作中に学習した行動に対する傾向/パターンのモニタリングと組み合わせることによって、動作の前/後に最も良く実行することができる。
【0065】
この必要性に対応するために、システムは、オンライン(動作中)及びオフライン(動作の前/後)エレメントの両方で使用することができる。オフラインエレメントは、システムによって記録され且つ/又は状態及びコンテキストについて導出された情報がタグ付けされた、多くの過去の飛行からのデータを必要とする、構成可能な傾向解析及び機械学習エレメントであってよい。これらのエレメントは、データを複数の変数間の関係性についての情報へと精製することができる。それらの情報は、構成可能なプロセスの部分として記録されてよく、周期的に更新されてよい。記録された構成情報は、オンライン傾向モニタリングシステムによって使用されてよい。そのシステムは、測定されたデータ及び/又はそのデータの組み合わせを、以前の飛行及び/又は「訓練」の他のソース内で確立された基準に対して比較してよい。その「訓練」は、緊急又は他の手順の警報又は誘発に対する必要性を、どのような関係性が表し得るかについてのものである。
【0066】
全体のシステムは、知識獲得(KA)サブシステムを使用して構成されてよい。KAサブシステムは、輸送体の搭載型のコンピュータ及び/又は輸送体のモニタリングサブシステムに移送することが可能であってよい1以上のDTRファイルを生成することができる。(DTRファイルを介して)提供された輸送体の構成、現在の状態、1以上の過去の状態、1以上の予測された状態、及び/又は1以上の傾向に基づいて、システムは、輸送体の動作が現在のコンテキストにとって適切であるかどうか、動作が(オフライン傾向解析のみならず、KA/DTRプロセスによってカスタマイズされた)基準内で実行されているかどうか、並びに/又は、どのチェックリストリマインダー、警告、及び/若しくは警報が、表示される必要があるか(例えば、図7a、図7b、及び図8参照)を判断することができる。これらの警報はUIに通信されてよい。UIは、視覚的及び/又は聴覚的キュー、タッチインターフェース、会話認識及び合成、並びに振動、又は他の触覚キューを提供することができる。動作後に、且つ/又は通常のデータレコーダ(例えば、飛行データレコーダ)のデータダウンリンク及び/若しくは記憶の部分として、オフラインデータ解析ソフトウェアは、複数の変数の間に存在する通常の動作の関係性についての搭載型の傾向モニタ機能を通知するために必要な解析を実行することができる。このやり方では、傾向モニタリングが、何がシステムの「通常の」動作を構成するかの、継続的な更新された認知を維持する。
【0067】
知識獲得、及び/又はシステムの構成の管理は、DTRファイルを通じて実行することができる。DTRファイルは、手順、傾向モニタ構成、及び/又は他の輸送体の知識を符号化することができる。これは、所与の輸送体に対する効率的なカスタマイズを可能にすることができる。KAサブシステムは、DTRファイルを生成する手順エディタとして機能することができる。したがって、DTRからの読み値は、本質的にKAシステムからの入力と同じである。輸送体モニタリングシステムは、リアルタイムでか又はデータベースからかを問わず、DTRファイルを受け取ってよく、且つ/又はKAサブシステム及び/又は知覚サブシステムからの入力を取って、輸送体の状態及び/又はコンテキストを維持し、UIに対して適切なフィードバックを生成することができる。
【0068】
システムは、多くの並行な機能を実行するので、広く様々な変形が可能である。入力は、様々なソース又はそのようなソースの組み合わせから来ることができる。モニタリング及び解析機能、及び輸送体の動作に対してこれらの機能を結び付けるプロセスは、全体として又は部分として実行されてよい。それは、オペレータ支援の様々なレベル及びコンテキストに導き、例えば、システムは、チェックリストのモニタリングのみに使用されてよく、若しくは採用する無線周波数のアドバイスのみに使用されてよく、又はエンジンの傾向を完全にモニタリングすることができる。タブレット以外の他のディスプレイ又はデバイスに出力することができる。それらは、輸送体のデッキの構成要素(MFD又はPFD)に戻る通信を含んでよく、且つ/若しくは音声合成向けのデバイス、又はオペレータの着衣若しくは手袋内の触覚デバイスを含んでよい。最後に、システムの入力及び出力に依存するソフトウェア機能は、拡張され又は修正されてよい。
【0069】
現在出されているほとんどのシステムは、警告を発するか、リマインダーを提供するか、且つ/又はパイロットと相互作用するかに基づく、「状態認知」及び/又はコンテキスト認知を有さない。したがって、それらは、好適なコンテキストに敏感な情報を提供することができない。最も進化した操縦室内のコンテキスト認知は、高度に統合され高価なおかげで存在する。そのようなシステムを上回る本開示の利点は、(KA/DTR様態を通じて)輸送体の(全てではないとしても)ほとんどに適応することができ、緊密に統合されたインフラに依存しないでよい。最も洗練された既存のシステムでさえ、又は現在開発中のものも、オペレータに対するフィードバックを有する手続き的知識のレベルを組み込んでいない。上述されたように、輸送体の状態データは、輸送体の様々な態様のステータスを反映し、一方で、コンテキストデータを使用して、輸送体の状態データの特定の部分を異なるように特定(又は重み付け)することができる。システムは、知識獲得サブシステムからのその知識データを使用して、輸送体の状態データをコンテキストに相関させることができる。知識データは、決定を行うこと及び手順実施のための基礎である。例えば、知識獲得サブシステムは、知識データの形態を採るパイロット作業ハンドブックを体系化することができる。次いで、そのハンドブックを使用して、コンテキストと所定の手順の両方に応じて(例えば、作業ハンドブック内で説明されるように)、特定の輸送体の状態データに重み付けすることができる。知識獲得サブシステムは、更に、機械学習技術を使用して、歴史的データに基づいて、その規則及び/又は手順を改善することができる。
【0070】
図1は、一実施例による、輸送体モニタリングシステム100の例示的なアーキテクチャを示している。輸送体モニタリングシステム100は、非限定的に、航空輸送体、船舶、地上車両、及び/又は潜水艦を含む、幾つかの種類の輸送体内に埋め込まれてよく、且つ/又はそれらに適応してよい。
【0071】
コアプラットフォーム
図1を参照すると、輸送体モニタリングシステム100が、状態モニタリングサブシステム104及び/又はフィードバックサブシステム112を有する、コアプラットフォーム102を備えてよい。コアプラットフォーム102は、複数の他のサブシステムとも動作可能に接続されてよい。コアプラットフォーム102は、中央サブシステム、ミドルウェア、及び/又は共通データバスとして動作することができる。そのバスは、1以上のインターフェースを介して、輸送体モニタリングシステム100の様々なサブシステムを接続している。サブシステムは、有線及び/又は無線の通信プロトコル及びハードウェアを使用して、ソフトウェア及び/又はハードウェアのインターフェースを通じて互いに通信してよい。コアプラットフォーム102は、様々なサブシステムの間の通信、様々なサブシステムの中の通信、様々なサブシステムを通じた通信を、調整及び/又は促進することができる。ある実施例では、様々なサブシステムが、互いに通信するときに、コアプラットフォーム102を迂回してよい。ある実施例では、コアプラットフォーム102が、例えばLinuxなどのオペレーティングシステムとして且つ/又はそのようなオペレーティングシステムを用いて、機能することができる。ある実施例では、コアプラットフォーム102が、コンピュータチップ、特定用途向け集積回路(ASIC)、及び/又は、例えばPico-ITXなどのマザーボード内に実装されてよい。
【0072】
システム100の複数のサブシステムのそれぞれは、統合されてよく且つ/又はモジュール式であってよく、それによって、全体の輸送体モニタリングシステム100を、実質的に、別の輸送体に素早く移すことができる。例えば、複数のサブシステムは、ユーザインターフェース(UI)126、知覚サブシステム106、作動サブシステム108、センササブシステム118、知識獲得(KA)サブシステム114、傾向モニタリングサブシステム116、データベースサブシステム122、及び/又はコンテキスト認知サブシステム124を含んでよい。各サブシステムは、コアプラットフォーム102と動作可能に接続されてよい。作動サブシステム108及び知覚サブシステム106は、単一のシステムの部分として図示されている(例えば、パンチルトズーム(PTZ)カメラは、知覚システムの下にその作動を有することができる)が、作動サブシステム108及び知覚サブシステム106は、代わりに、2つの別のシステム又はハードウェア構成要素を介して設けられてよい。その構成に応じて、輸送体モニタリングシステム100は、本開示の主旨と範囲から逸脱することなく、より少ない又は更なるモジュール、構成要素、及び/又はシステムを持つように構成されてよい。
【0073】
輸送体に依存しない輸送体モニタリングシステム100を可能にするために、プロセッサベースのコアプラットフォーム102は、初期化及び/又はセットアップフェーズを通じて特定の輸送体及び/又は構成に特有であり得るミドルウェアを提供してよく、且つ/又はそのようなミドルウェアとして働くことができる。コアプラットフォーム102は、種々の種類の輸送体と互換性を有するように、再構成可能且つ/若しくは適応可能であってよく、且つ/又は輸送体モニタリングシステム100及び/若しくはその様々なサブシステムの再構成及び/若しくは適応性を促進することができる。例えば、コアプラットフォーム102は、「デジタルタイプレーティング」(DTR)ファイルなどの1以上のデジタルファイル内で符号化されたパラメータ、手順、アレンジメント、フォーマット、指示命令、及び/又は他の情報に従って、それ自体を再構成してよく、且つ/又は、輸送体モニタリングシステム100の様々なサブシステムの再構成を促進することができる。DTRファイル内で符号化されたパラメータ、指示命令、及び/又は他の情報は、該システムと共に使用されることが意図されている特定の輸送体に特有のものであってよい。コアプラットフォーム102は、システム100及び/又は輸送体のソフトウェア及び/又はハードウェアの高価な再作業を必要とすることなしに、特定の輸送体の仕様向けにそのシステム100を適応させ且つ/又は再構成するために、DTRファイル内の情報を復号及び/又は解読してよい。例えば、コアプラットフォーム102は、高価な再作業を必要とせずに、航空輸送体、船舶、及び/又は地上車両の動作向けに、システム100を適応させ且つ/又は再構成することができる。ある実施例では、コアプラットフォーム102が、高価な再作業なしに、類似する種類の輸送体(例えば、小さい/大きい貨物飛行機、小さい/大きい旅客機、プロペラ飛行機、ジェットエンジン飛行機)の種々のクラス、範疇、型、及び/又はモデル向けに、輸送体モニタリングシステム100を適応させ且つ/又は再構成することができる。例えば、DTRファイルは、輸送体の機器の位置、機能、並びに/又は、特定の輸送体に特有な動作可能な閾値、手順、シーケンス、及び/若しくはチェックリストを符号化することができる。例えば、DTRファイルは、更に又は代替的に、特定の輸送体に特有なミッションプロファイル、トップスピード/加速度、燃料容量、タイヤのグレード、翼長、揚力表面、操縦翼面、推進システムなどを符号化することができる。ある実施例では、本開示のシステムの各サブシステムが、コアプラットフォーム102によって且つ/又はそれを通じて翻訳された、DTRファイルの符号化された情報に従って、輸送体の互換性のために再構成可能であってよい。ある実施例では、DTRファイルが、運航ハンドブック及び輸送体動作仕様に基づいて符号化されてよい。
【0074】
コアプラットフォーム102は、一次自律エージェント及び/又は意思決定者として働き、知覚サブシステム106、ユーザインターフェース126、及び/又はKAサブシステム114からの入力を合成して、現在の輸送体の状態を特定することができる。コアプラットフォーム102は、KAサブシステム114からの入力を処理して、予期される輸送体の状態を特定し、予期されたシステムの状態を実際のシステムの状態と比較し、ユーザインターフェース126を通じたオペレータへの任意の適切なフィードバックを決定することができる。
【0075】
状態モニタリングサブシステム状態モニタリングサブシステム104は、輸送体のリアルタイムの状態を特定及び/又はさもなければ知覚することができる。本明細書で使用される際に「状態」は、所与のコンテキスト内の輸送体についての様々な情報を含む、輸送体の広い範疇化及び/又は分類を指してよい。オペレータが輸送体の状態を使用して、輸送体の動作を実行することができる。輸送体の状態は、更に又は代替的に、フィードバックサブシステム112によって使用されて、適切なオペレータフィードバックを決定することができる。ある実施例では、状態モニタリングサブシステム104が、現在の状態、1以上の以前に記録された状態、現在の輸送体の状態データ、以前に記録された輸送体の状態データ、現在の輸送体のコンテキスト、以前に記録された輸送体のコンテキスト、並びに/又は、知覚サブシステム106、知識獲得サブシステム114、及び/若しくはユーザインターフェース126からの情報に基づいて、1以上の将来の状態を予測及び/又は導出することができる。
【0076】
状態モニタリングサブシステム104は、とりわけ、輸送体に対する直接接続(例えば、統合されるか又はさもなければ配線で接続)を通じて、リアルタイムの輸送体の状態を知覚することができる。代替的に又は更に、状態モニタリングサブシステム104は、知覚サブシステム106及び/又はコンテキスト認知サブシステム124から受け取られた情報に基づいて、輸送体の状態を導出することができる。知覚サブシステム106が使用されるときに、状態モニタリングサブシステム104は、専用コントローラ(例えば、プロセッサ)を含んでよく、且つ/又は知覚サブシステム106のコントローラ302を共有してよい。
【0077】
傾向モニタリングサブシステム状態モニタリングサブシステム104は、傾向モニタリングサブシステム116を含んでよい。本明細書で使用される際に、「傾向」は、経時的な輸送体の状態、輸送体のコンテキスト、輸送体の状態/コンテキストの移行、オペレータの観察、輸送体の状態データ、及び/又は知覚された輸送体の機器のデータの間の1以上の関係を指してよい。傾向モニタリングサブシステム116は、機械学習を使用して、経時的な輸送体の状態、輸送体のコンテキスト、輸送体の状態/コンテキストの移行、オペレータの観察、輸送体の状態データ、及び/又は知覚された輸送体の機器のデータにおける変化をモニタ及び/又は解析して、傾向及び/又はパターンを特定することができる。傾向モニタリングサブシステム116は、更に又は代替的に、知覚サブシステム106、コンテキスト認知サブシステム124、及び/又は知識獲得サブシステム114からの他のデータを使用して、その傾向認識を支援することができる。ある実施例では、傾向モニタリングサブシステム116が、機器、コンテキスト、状態、及び/又は他のデータと併せて、オペレータの観察に基づいて、オペレータの傾向を解析及び/又は特定することができる。
【0078】
傾向モニタリングサブシステム116を訓練して、輸送体モニタリングシステム100、他の輸送体モニタリングシステム、及び/又は他の方法の以前の適用から記録されたデータと併せて、機械学習技術を使用して、傾向/パターンを認識することができる。ある実施例では、傾向モニタリングサブシステム116が、輸送体モニタリングシステム100の設置、アップロード、及び/又は初期化の前に訓練されてよい。ある実施例では、傾向モニタリングサブシステム116が、輸送体モニタリングシステム100によってモニタされている(又はモニタされることが計画されている)輸送体のクラス、範疇、種類、型、及び/又はモデルに特有のデータについて訓練されてよい。ある実施例では、訓練された傾向モニタリングシステム116を表す情報が、DTRファイル内に符号化されてよい。それによって、訓練されていない傾向モニタリングシステム116が、輸送体モニタリングシステム100内のDTRファイルをロードすることによって、短期間で、訓練された傾向モニタリングシステム116と同じ知識を用いて構成されてよい。
【0079】
傾向モニタリングサブシステム116は、データベースサブシステム122、知覚サブシステム106、及び/又は状態モニタリングシステム104からのデータを解析して、パターン/傾向を特定することができる。ある実施例では、傾向モニタリングシステム116が、輸送体モニタリングシステム100の最近記録されたデータから特定された現在の傾向と、輸送体モニタリングシステム100及び/又は他の輸送体モニタリングシステムの以前の適用から特定された過去の傾向との、両方を特定することができる。ある実施例では、傾向モニタリングサブシステム116によって特定された傾向を解析して、現在の輸送体の傾向が過去の傾向と類似しているかどうかを判定することができる。現在の傾向が過去の傾向に類似しており、過去の傾向が、好ましくない、危険な、且つ/又は望ましくない結果をもたらした状況では、フィードバックシステム112が、ユーザインターフェース126を通じてオペレータに対する適切なフィードバック(例えば、警報、警告、推奨される修正作業など)を準備及び/又は提供することができる。
【0080】
フィードバックサブシステム
コアプラットフォーム102は、輸送体モニタリングシステム100にフィードバックサブシステム112を提供してよい。フィードバックサブシステム112は、1以上の輸送体のオペレータ向けにフィードバックを準備してよく、且つ/又はユーザインターフェース126を通じて(1以上の)オペレータにフィードバックを供給することができる。フィードバックは、輸送体モニタリングシステム100の比較的最近記録されたデータと記憶された及び/又は生成されたデータとの比較に基づいてよい。
【0081】
ある実施例では、フィードバックサブシステム112が、現在の輸送体の状態を予期される輸送体の状態と比較し、それに従ってフィードバックを準備するように構成されてよい。例えば、現在の状態が予期される状態と実質的に異なる場合、フィードバックサブシステム112は、ユーザインターフェース126を通じて(1以上の)オペレータに警報及び/又は警告を準備及び/又は供給することができる。ある実施例では、フィードバックサブシステム112が、1以上の現在及び/又は最近の状態を、1以上の閾値と比較してよい。例えば、閾値は、特定の輸送体向けの運航文書(operational documentation)で定義することができる(例えば、所定の速度やエンジン温度などを決して超えないように)。ある実施例では、フィードバックサブシステム112が、1以上の予測された将来の状態を、1以上の閾値及び/又は1以上の予期される状態と比較してよい。ある実施例では、フィードバックサブシステム112が、知覚システム106によって記録された輸送体の状態データを、1以上の閾値と比較してよい。この比較が、好ましくなく異常且つ/又は重大な逸脱を示す状況では、フィードバックシステムが、ユーザインターフェース126を通じてオペレータに対する適切なフィードバック(例えば、警報、警告、推奨される修正作業など)を準備及び/又は提供することができる。
【0082】
ある実施例では、フィードバックサブシステム112が、現在の特定された傾向を類似する傾向と比較してよく、それに従ってフィードバックを準備及び/又は供給することができる。例えば、現在の状態が、潜在的に危険及び/又は望ましくない状況をもたらす(以前に記録されたデータから認識された)過去の傾向と類似する場合、フィードバックサブシステム112は、ユーザインターフェース126を通じて(1以上の)オペレータに警報及び/又は警告を準備及び/又は供給することができる。
【0083】
ある実施例では、フィードバックサブシステム112が、警報及び/又は警告が適切であろうと判断し、フィードバックサブシステム112は、修正作業を推奨することができる。例えば、修正作業は、傾向モニタリングサブシステム116によって特定され得るように、以前に類似する状況で実行された修正作業及び/又は傾向に基づいてよい。ある実施例では、修正作業が、コンテキストデータベース504内に記録された1以上のチェックリスト及び/又は手順に基づいてよい。ある実施例では、修正作業が、輸送体構成データベース502内の情報に基づいてよい。ある実施例では、修正作業が、ユーザインターフェース126を通じたオペレータからの入力に基づいてよい。
【0084】
ユーザインターフェース(UI)126
ユーザインターフェース126は、オペレータ(例えば、人間のオペレータ)向けの制御及び/又は通信インターフェースを提供することができる。オペレータは、遠隔であるか(例えば、輸送体の外側及び/又は別の輸送体内にいる)又は搭乗している(すなわち、その輸送体内にいる)かもしれない。ユーザインターフェース126は、人間機械インターフェース(HMI)を含んでよい。それは、タッチスクリーン・グラフィカルユーザインターフェース(「GUI」)及び/又は会話認識システムに基づいてよい。ユーザインターフェース126の目的は、オペレータが、人間のフライトエンジニア及び/又は副操縦士と相互作用するのに近いやり方で、オペレータが、コアプラットフォーム102の知識ベースと相互作用することを可能にすることである。ユーザインターフェース126は、(1以上の)オペレータと輸送体モニタリングシステム100の間の通信の一次チャネルとして働いてよい。例えば、ユーザインターフェース126は、コアプラットフォーム102を介してサブシステムからステータス情報を受け取ってよく、一方で、コアプラットフォーム102に、ユーザインターフェース126によって生成され且つ/又は(1以上の)オペレータによって入力されたモード命令を送ることができる。ユーザインターフェース126は、タブレットベースのGUI及び/又は会話認識インターフェースを採用して、音声通信を可能にしてよい。図示されているように、例えば、図2a及び図2bでは、ユーザインターフェース126が、コアプラットフォーム102からのチェックリストの検証及び/又は輸送体の状態の予測(例えば、燃料消費や予測される残存範囲)、更には、マッピング機能、故障予知、及び逸脱警報(例えば、「左エンジンのEGTが、通常より5度高く、上昇している」)を含む、直感的なディスプレイ及びインターフェースを提供してよい。
【0085】
ユーザインターフェース126は、例えば、ユニバーサルシリアルバス(USB)ポートなどの1以上の外部通信ポートを含んでよい。それらは、ユーザインターフェース126が、他の電子デバイスと動作可能に接続される(且つ/又は相互作用する)ことを可能にし得る。それによって、輸送体モニタリングシステム100は、ユーザインターフェース126の外部通信ポートを通じて(1以上の)外部デバイスと通信することができる。ユーザインターフェース126は、例えば、ブルートゥース(Bluetooth)、近距離通信、無線周波数(RF)通信、無線フィデリティ―(Wi-Fi)通信、及び/又は他の適切な無線通信方法などの、無線通信能力を有するように更に構成されてよい。
【0086】
ユーザインターフェース126は、ディスプレイデバイス(例えば、液晶ディスプレイ(LCD))を介して、輸送体モニタリングシステム100の現在の状態(その現在の設定及び責任)、更には、どのアプリケーションが現在インストールされているか、どの操作アプリケーションが動作しているか、それらがアクティブならば、どの作業を操作アプリケーションが行っているかを表示してよい。ユーザインターフェース126は、オペレータの眼鏡にかかわらず視認できるような、互換性のあるナイトビジョンゴーグルでもあってもよい。会話認識システムを使用して、チェックリストを通読し且つ/又は通信するときに、人間によって使用されるのと同じ種類の言語通信を再現することができる。特定の態様では、会話認識が、システムが命令を認識することに失敗するか又は動作の不適切なモードへ変更される可能性を最小化するために、オペレータチームによって使用されるのと同じ体系化された通信の標準に制限されてよい。会話認識システムは、音声訓練プロトコルを通じて1以上のオペレータの会話を学習し/認識するように構成されてよい。例えば、オペレータは、会話認識システムがオペレータの方言で訓練されることができるように、所定のスクリプトを発声してよい。
【0087】
ユーザインターフェース126のディスプレイは、オペレータによってカスタマイズされてよい。例えば、オペレータは、特定のディスプレイアイコン及び/又は操作アプリケーションを、追加し、再組織化し、且つ/又は取り除くことを望むかもしれない。ユーザインターフェース126は、更に、オペレータに、輸送体の動作ステータスに関する情報を通知してよく、オペレータにフィードバック(例えば、指示命令又は助言)を提供することができる。
【0088】
知覚サブシステム
知覚サブシステム106は、リアルタイムの輸送体及び/又は環境状況データを収集し、検知し、測定し、検出し、特定し、且つ/又はさもなければ知覚することができる。知覚サブシステム106によって知覚された状況データを使用して、輸送体の状態、輸送体のコンテキスト、1以上の傾向を導出してよく、且つ/又はオペレータフィードバックを生成することができる。ある実施例では、知覚サブシステム106が、更に又は代替的に、リアルタイムのオペレータの観察を収集し、検知し、測定し、検出し、特定し、且つ/又はさもなければ知覚することができる。例えば、そのような観察は、オペレータの作業、リアクション、応答タイミング、好み、且つ/又はオペレータに関する他の情報を含んでよい。
【0089】
図3aで示されているように、知覚サブシステム106は、コントローラ302及びセンササブシステム118を備えてよい。例えば、コントローラ302は、センササブシステム118、GPS/INSシステム、及び/又は他の入力システムなどの、複数のセンサ及び/又は外部構成要素から受け取った情報に基づいて、コアプラットフォーム102に輸送体の状態データを供給する(且つ/又はさもなければ指示命令する)ように構成されたプロセッサであってよい。知覚サブシステム106は、コアプラットフォーム102からの命令及び/又は構成データを受け取ってよく、一方で、コアプラットフォーム102に、知覚サブシステム106によって集められた、ステータス及び/又は飛行状況情報(例えば、飛行状況データ)及び/又は画像を送ることができる。
【0090】
ある実施例では、知覚サブシステム106が、1以上の有線電気接続及び/又は無線接続及び/又はプロトコルなどを通じて、操縦室の機器120と直接に相互作用及び/又は通信してよい。そのような一実施例では、知覚サブシステム106が、操縦室の機器120から直接的に、リアルタイムの輸送体及び/又は環境状況データを、収集し、検知し、測定し、検出し、特定し、且つ/又はさもなければ知覚してよい。そのような一実施例では、例えば、収集器302が、操縦室の機器120と直接的に相互作用し、且つ/又は操縦室の機器120との通信を促進してよい。
【0091】
センササブシステム
更に又は代替的に、知覚サブシステム106は、操縦室の機器120からのリアルタイムの輸送体及び/又は環境状況データを収集し、検知し、検出し、特定し、且つ/又はさもなければ知覚するための、センササブシステム118を採用してよい。センササブシステム118は、例えば、画像センサ、光センサ、カメラ310、マイクロフォン308(音響システムで使用される)、及び/又は他のセンサ306(例えば、温度センサ、位置センサ、慣性センサ、加速度センサ、ジャイロスコープなど)などの、センサを含んでよい。画像/光センサ及び/又はカメラが使用される場合、知覚サブシステム106は、例えば、NVIDIA Tegra X1などの、グラフィカル処理ユニット(GPU)を含んでよい。ある実施例では、GPUが、コントローラ302の部分であってよい。
【0092】
センササブシステム118は、視覚システム、音響システム、及び/又は識別アルゴリズムと組み合わされた、そのセンサを利用して、オペレータが彼ら自身の感覚を使用し得るやり方と類似して、操縦室の機器120によって表示される輸送体の状態情報を読み且つ/又は理解することができる。センササブシステム118のセンサは、操縦室内の機器パネル(例えば、操縦室の機器120)に集中し且つ/又はそのようなパネル上で訓練されてよい。センサは、機器パネルの見通し線で位置決めされてよいが、オペレータの邪魔にならないようにも配置されてよい。
【0093】
例えば、例示的な操縦室の機器120は、燃料計、温度計、風力計、高度計、速度計(及び/又は対気速度インジケータ、垂直速度インジケータ)、オドメータ、圧力計、1以上のコンパスシステム(例えば、磁気コンパス)、1以上のジャイロスコープシステム(例えば、姿勢インジケータ、機首方位インジケータ、旋回インジケータ)、1以上の輸送体指示器システム、1以上の航法システム(例えば、全地球測位システム(GPS)、慣性航法システム(INS)、超短波全方向無線標識(VOR)、無指向性ラジオビーコン(NDB))、エンジンステータスインジケータ、操縦翼面ステータスインジケータ、ギアステータスインジケータ、照明設定、無線設定、及び/又は他の設定を含んでよい。知覚サブシステム106及び/又はセンササブシステム118は、輸送体の操縦室のレイアウト及び/又は輸送体の操縦室の機器120との互換性を有するように、コアプラットフォーム102及び/又は1以上のDTR構成ファイルを介して構成されてよい。機器120は、基本的なアナログ機器から、高度に統合されたグラスコックピットアビオニクススイートに及んでよい。知覚サブシステム106は、輸送体に依存しない且つ/又は輸送体に特有の操縦室の機器120をモニタするように構成されてよい。
【0094】
視覚システム
知覚サブシステム106及び/又はセンササブシステム118は、可能性としては、モーションキャプチャマーカー及び/又は基準マーカーを含む、単眼又は複眼システムを採用して、操縦室の機器120上に表示されているものを読むことによって、輸送体のステータスを継続的にモニタすることができる。機器(例えば、グラスゲージ、物理的な汽圧計など)及び/又はスイッチ、更には、様々な照明条件、並びに操縦室のレイアウト及びサイズにおけるそれらの位置を正確にモニタするために、視覚システムが使用されてよい。複眼システム及び/又はマーカーを使用することにより、任意のロボット構成要素と輸送体のオペレータとの間の衝突を防止するための検知も提供することができる。
【0095】
センササブシステム118の1以上のカメラ310(例えば、軽量のマシンビジョンカメラ)を、操縦室の機器パネル上で訓練して、画素密度、グレアロバストネス(glare robustness)、及び冗長性を最大化することができる。1以上のカメラ310は、有線及び/又は無線接続を介して、知覚コントローラ302に接続してよい。1以上のカメラ310は、機器パネルの見通し線で設置されてよいが、輸送体のオペレータの邪魔にならないようにされてよい。特定の態様では、2つの見晴らしの良い地点からの場面についての情報を比較することによって、2つのパネル内の物体の相対位置を観察することにより3D情報が抽出されてよい。
【0096】
操縦室の機器120(例えば、グラスゲージ、物理的な汽圧計など)及びスイッチ、更には、様々な照明条件、並びに操縦室のレイアウト及びサイズにおけるそれらの位置を正確にモニタするために、視覚システムが使用されてよい。複眼システム及び/又は基準マーカーを使用することによって、任意のロボット構成要素とオペレータとの間の衝突を防止するための検知も提供することができる。視覚システムは、一連の高精細ステレオカメラ及び/又はリーダー(LIDAR)レーザースキャナを採用してよい。視覚システムは、全ての操縦室の機器120からのデータを認識することができてよく、輸送体特有のシステムのステータス(例えば、残っている燃料)を表示する、スイッチ、ノブ、及びゲージの状態及び/又は位置を特定してよい。ある実施例では、視覚システムが、特定の種類の輸送体の操縦室の機器120及び/又は操縦室のレイアウトを認識するように、コアプラットフォーム102及び/又は(1以上の)DTRファイルを介して再構成されてよい。視覚システムは、オペレータの作業から生じた微小な変化を検出するのに十分な解像度を有する機器パネルのデータを認識するようにも構成されてよい。知覚サブシステム106のマシンビジョンアルゴリズムは、操縦室の機器120(ゲージ、照明、風補正角度パネル、グラスコックピット内の一次ディスプレイ及び/又は多機能ディスプレイの個別の要素)及び/又はスロットルレバー、トリム設定、スイッチ、及び/又はブレーカーなどの機械的なアイテムを「読み」、リアルタイムの操縦室の状態/ステータスの更新を、コアプラットフォーム102に提供することができる。
【0097】
図4aから図4c内で示されている実施例では、カメラが、操縦室の機器120の画像(図4a)をキャプチャし、その画像についてエッジ検出アルゴリズムが実行されて、二値画像(図4b)を生成する。こうしたプロセスは、特定及び/又は解析の日常定型業務のいたるところで増加(increment)されてよい。図4cで示されているように、システムは、制御装置上に提示されエッジ検出アルゴリズムを介して変換された情報を、認識することが可能である。図4cの実施例では、制御パネル上のLCDディスプレイからキャプチャされた抽出されたデータ(数値2、4、及び9)が、システムによって特定され解析される。例えば、光学式文字認識プロセスが、二値画像又はその派生物について実行されてよい。こうしてこの情報は、本明細書に記載の自律的システムの実施を、通知し制御するのに使用されてよい。図4dは、一組の操縦室の機器120の更なる画像を示している。上記で説明したように、エッジ検出アルゴリズムの適用によって、バーチャルで解析可能な(parsable)画像(図4e)が生成される。この画像は、視覚システムの処理と解析における、中間ステップの役割を果たす。
【0098】
作動サブシステム
センササブシステム118は、特定の場所に固定されてよく、且つ/又は作動サブシステム108のロボットアーム110などの可動な物体に連結されてよい。ある実施例では、作動サブシステム108が、センササブシステム118の部分であってよく、様々な操縦室の機器120をより良く観察し且つ/又はそれらと相互作用するように、操縦席の周りでセンサを操作するように使用されてよい。知覚サブシステム106のセンササブシステム118は、作動サブシステム108のステータス及び/又は位置決めについての二次的な情報も提供することもできる。
【0099】
例えば、作動サブシステム108は、センササブシステム118の1以上のセンサを有するロボットアーム110を含んでよい。例えば、作動サブシステム108は、コアプラットフォーム102、知覚サブシステム106、及び/又はセンササブシステム118によって命令された動作を実行して、オペレータによって実行される作業と干渉しないで、輸送体の動作をモニタすることができる。作動サブシステム108は、コアプラットフォーム102、知覚サブシステム106、及び/又はセンササブシステム118から命令及び/又は構成データを受け取ってよく、一方で、コアプラットフォーム102に、作動サブシステム108によって集められたステータス及び/又は応答情報を送ることができる。
【0100】
図3bで示されているように、作動サブシステム108は、ロボットアーム110を含んでよい。ロボットアーム110は、関節接合アーム402(例えば、ロボットの突出物又は「アーム」)を有するフレーム408を含んでよい。アクチュエータで制御される関節接合アーム402は、乗客及び/若しくは副操縦士、又は乗客及び/若しくは副操縦士の一部分(例えば、腕、脚、胴など)によって通常占められている空間を占めるようにサイズ決定され、形作られ、且つ/又は構成されてよく、それによって、操縦室の機器120に対する適切なアクセス及び/又は携帯性を保証することができる。
【0101】
複数の自由度(「DOF」)の動きにおける移動を可能にするために、関節接合アーム402は、複数のヒンジ又は旋回ジョイント406を使用して接合された複数のアームセグメント(直線、曲線、又は角度付きであるかどうかにかかわりなく)を備えてよい。関節接合アーム402は、その遠位端にエンドエフェクタ404を備えてよい。エンドエフェクタ404は、複数のDOFの連結を介して、関節接合アーム402に連結されてよい。関節接合アーム402のベースは、回転可能であり、可動なベースを介してフレーム408と摺動可能に連結されてよい。関節接合アーム402は、関節接合アーム402の正確な位置付けを保証するために、その自由度のそれぞれに対してエンコーダ(例えば、ツイン18ビットエンコーダ)が装備されてよい。内部クラッチが、各ヒンジ又は旋回ジョイント406において設けられてよい。それによって、関節接合アーム402は、関節接合アーム402を損傷することなしに、所望ならばオペレータによって取り押さえられてよい。そのような場合に、輸送体モニタリングシステム100は、エンコーダを使用して関節接合アーム402の位置及び/又は場所を特定することができる。
【0102】
エンドエフェクタ404は、例えば、スロットルレバーなどに連結し且つ/又はさもなければ係合するように構成されたグリッパーであってよい。エンドエフェクタ404は、知覚サブシステム106のセンササブシステム118及び/又は輸送体モニタリングシステム100が、飛行制御アクチュエータがどのように掴まれているかを推定し、操縦室の機器120を適切に読み且つ/又はそれと係合するように、その動きを調整することを可能にするように、力及び/又は圧力の検出を提供することもできる。動きが実行されると、同じ力及び/又は圧力の検出を使用して、所望のスイッチ構成が実現されたかどうかを判定することができる。特定の態様では、関節接合アーム402に、電子デバイス(例えば、追跡デバイス、ホーミングデバイス、カメラ、圧力センサなど)が取り付けられてよい。その電子デバイスは、関節接合アーム402が、目標(target)を見つけ且つ/又は押すことを可能にする。特定の態様では、ロボットアーム110に、ロボットアーム110に統合されるセンサ及び/又は撮像能力が提供されてよい。特に、ロボットアーム110は、画像データを収集及び/又は解析するために最適化されてよい。ある実施例では、ロボットアーム110が、操縦室の機器120及び/又は対応するディスプレイなどの、航空機の光景を撮像するために使用される、そのエンドエフェクタ404にカメラ(例えば、センササブシステム118のカメラ310)を含んでよい。ロボットアーム110は、ロボットアーム110の動作中に、所望の接触力に関する閉ループ制御と共に接触力データの収集との両方を可能にするために、力を感知する指部も含んでよい。ある実施例では、ロボットアーム110が、十分な数のジョイント406及び/又はアームセグメント402を使用して、ロボットアーム110内に統合された、複数のカメラ、複数の力感知指部、及び/又は複数のエンドエフェクタ404を含んでよい。
【0103】
したがって、ロボットアーム110は、(例えば、センササブシステム118及び/又は知覚サブシステム106に関連して説明された視覚システムを使用して)センササブシステム118と統合されてよく、様々な複雑な相互作用動作を実施する1以上のコントローラと統合されてよい。例えば、センササブシステム118は、操縦室の機器120(例えば、スイッチ、ダイヤル、ノブなど)を操作するために、コントローラ(例えば、コアプラットフォーム102)に情報を提供してよく、機器が正しく特定されることを保証すると共に、動作の前、中、及び後の機器の状態に関する判断を行ってよい。例えば、あるスイッチが、操縦室の特定のエリアに位置付けられてよく、その距離及び位置は、知覚サブシステム106によって特定されてよい。コントローラは、スイッチを操作する命令の受信を受け取ると、エンドエフェクタ404をスイッチまで動かすための最適なやり方(例えば、ロボットアームの軌道、現在の位置からスイッチまでの距離)を決定することができる。コントローラは更に、この相互作用の1以上のパラメータ(例えば、スイッチの状態及び/又は位置に関する予期された変化、スイッチを作動するために必要な最小限の力など)を決定することができ、これらのパラメータに対応するセンサからの情報をモニタすることができる。
【0104】
ロボットアーム110に取り付けられたカメラ310(及び/又はセンササブシステム118の他のセンサ)は、センササブシステム118が、操縦室内の複数の視点からの様々な物の見え方を取得することを可能にし得る。ロボットアーム110の一端において、エンドエフェクタ404などのロボットの突出物は、撮像センサ及び/又は力センサを統合してよい。したがって、操縦室の環境内では、人間のオペレータの到達範囲及び姿勢に適合するために、機器が、垂直、水平、又は様々な角度で配向されてよい。ロボットアーム110に取り付けられたカメラ310は、操縦室内の様々な位置及び角度で、表面及び計器を見ることができる。このやり方で、ロボットアーム110は、静止した視点からでは遮蔽されているかもしれない計器を見るためと、輸送体の動作中に操縦オペレータの視界を遮ることを避けるために、操縦席の周りを移動することができる。したがって、本明細書で説明されたロボットアーム110の柔軟性は、他のシステムの固定的に取り付けられたカメラから逸脱したものになっており、本明細書で説明されるように多数の利点を有している。分離した構成要素として図示されているが、特定の態様では、作動サブシステム108、センササブシステム118、及び/又は知覚サブシステム106が、知覚コントローラ302及び/又はカメラ310などの構成要素を共有してよい。
【0105】
動作の際に、(1以上の)ロボットアーム110に取り付けられた(1以上の)カメラ310(及び/又はセンササブシステム118の他のセンサ)を採用して、操縦室及び/又は関連した機器の二次元及び/又は三次元モデルを構築及び/又は検証することができる。画像センサを統合することにより、操縦室の機器120を観察し且つ/若しくはそれと相互作用するための柔軟性、及び/又は機器の種々の状態を理解することを大幅に向上させることができる。ある実施例では、(1以上の)カメラ310が、コントローラにデータを送って、画像を解析及び/又は操作し、標準的な図を生成してよい。標準的な図は、1以上のシステムによって容易に読み取り可能なフォーマットであってよい。例えば、(図4a及び図4bで示されているように)デバイス及び/又は制御装置のカメラ310の生画像は、(例えば、図4b及び図4eで示されているように)二値画像に再フォーマットされてよい。それによって、画像の要素は、1以上の物理的及び/又は仮想的な制御装置(例えば、ボタン、ダイヤル、スイッチなど)を含む機器パネルとして、認識可能である。1以上の制御装置のそれぞれは、数値の表示値といった、1以上の表示に対応していてよい。
【0106】
有利には、画像の再フォーマットのプロセスによって、相対的な配向にかかわらず、システムが特定の制御装置及び/またはディスプレイを認識することが可能になる。言い換えれば、画像は、操縦室の機器120からのあらゆる角度及び/又は距離で取ることができ、それでもなおコントローラが、画像化された要素を特定及び/又は操作して認識し、それによって、その機器を既知の機器の画像の一覧と比較することが可能である。
【0107】
知識獲得サブシステム114
知識獲得サブシステム114は、輸送体モニタリングシステム100が輸送体特有の情報を特定することを可能にするために必要な知識を、集め且つ/又は生成することができる。これは、輸送体の性能、特性、能力、制限、レイアウト、機器、チェックリスト、ミッション、及び/又は手順(緊急時の手順を含む)、更には、輸送体内の不測の事態及び/又は修正作業を定義する基準の知識を含んでよい。例えば、この知識は、特定の輸送体のミッション、動作、チェックリスト、及び/又は手順、更には、ミッション、動作、チェックリスト、及び/又は手順の範囲内及び間の両方の作業の流れの内容を含んでよい。知識は、(例えば、マニュアル、ブリーフィング、パイロット作業ハンドブック、輸送体運航ハンドブックから)知識獲得サブシステム114によって読むことが可能なデータの中に符号化された輸送体の資料の組み合わせから取得されてよい。知識は、更に又は代替的に、(例えば、知覚サブシステム106を介して)輸送体の動作中に獲得されたデータから取得されてよい。知識獲得サブシステム114は、データベースサブシステム122及びコンテキス認知サブシステム124を含んでよい。知識獲得サブシステム114は、コアプラットフォーム102から動作命令を受け取ってよく、一方で、コアプラットフォーム102に、知識獲得サブシステム114によって集められ且つ/又は生成された、構成データ、ステータス、応答情報、及び/若しくは知識を送ることができる。
【0108】
データベースサブシステム
輸送体モニタリングシステム100によって集められ且つ/又は生成された知識は、位置決めされているのが輸送体上であれ遠隔地であれ、データベースサブシステム122内に記憶されてよく、データベースサブシステム122は、遠隔からアクセスされてよい。データベースサブシステム122は、オンライン及び/又はオフライン機械学習及び/又は傾向解析を支援してよい。動作の際に、データベースサブシステム122は、とりわけ、知覚サブシステム106、ユーザインターフェース126、更には、輸送体モニタリングシステム100の内部状態検知によって集められたリアルタイムのデータで動的に更新されてよい。動作後に、データベースサブシステム122からのデータは、1以上の中央保存場所にダウンロードされてよい。それによって、例えば、傾向及び/又はパターンの解析が実行されてよい。データベースサブシステム122内のデータは、タイムスタンプされ、記録された時間に従って組織化され、且つ/又はさもなければ所与の時間に関連付けられてよい。
【0109】
ある実施例では、データベースサブシステム122のデータの一部又は全部が、デジタルファイルの中に符号化され且つ/又はデジタルファイルから復号されてよい。ある実施例では、データベースサブシステム122のデータ追加(data population)が、デジタルファイルが拡張マークアップ言語(「xml」)を使用し得る実施例などで、xmlを使用して実現されてよい。より具体的には、追加されたときに、コアプラットフォーム102(及び/又は輸送体モニタリングシステム100及びそのサブシステム)が、特定の輸送体の動作向けに構成され得ることを可能にする、一組のフィールド及びデータツリーを備えた、XMLデータ構造が採用されてよい。特定の態様では、輸送体モニタリングシステム100が、人間がデータを効率的に且つ正確に入力することを可能にする文書(例えば、飛行文書)及び/又はソフトウェアツールの自然言語解釈を採用してよい。
【0110】
データベースサブシステム122は、複数の個別のデータベース及び/又は他のデータ保持構造を含んでよい。例えば、図5で示されているように、データベースサブシステム122は、状態データベース506、コンテキストデータベース504、知覚データベース510、傾向データベース508、及び/又は輸送体構成データベース502を含んでよい。これらのデータベースは分離した別のものとして図示されているが、ある実施例では、2以上のデータベースが単一のデータベースの中に組み合わされてよい。ある実施例では、図示されているデータベースのうちの1以上が、複数のデータベースに分割されてよい。
【0111】
輸送体構成データベース
輸送体構成データベース502は、輸送体システム、その構成、及び/又は安全な動作を維持するために必要な手順に関する情報、更には、その輸送体の認可されたオペレータが有すると予期される全ての他の知識及び/又は技術情報を記憶してよい。輸送体構成データベース502は、現在運航している輸送体についての必要な情報(例えば、飛行制御モデル、運航手順、輸送体システムなど)を有する、知識獲得サブシステム114及び/又は他のサブシステムによって、データが追加されてよい。ある実施例では、輸送体構成データベース502が、ユーザインターフェース126を通じて輸送体モニタリングシステム100と通信する外部デバイスによって、データが追加されてよい。例えば、DTRファイルは、ユーザインターフェース126を通じて、輸送体モニタリングシステム100の中にロードされてよい。輸送体構成データベース502からの情報が使用されて、DTRファイルにデータを追加することができる(又は所望の構成に応じて逆の場合もある)。
【0112】
輸送体構成データベース502は、知識獲得フェーズの間(例えば、初期設定の間)にデータを追加され且つ/又は特定の輸送体に対して調整されてよい。それによって、輸送体データベース502は、輸送体を運航するために必要な全ての情報を含む。例えば、新しい輸送体に移行するときに、知識獲得サブシステム114は、(例えば、操縦室の機器などのコントローラ/リードアウトの)レイアウト、性能パラメータ、及び輸送体の他の特性を特定するために、予め規定された作業を実行してよい。予め規定された作業は、例えば、以下のものを含む。すなわち、(1)どのシステムが搭載されており、これらがどのように構成されているか、作動制限などについて、輸送体モニタリングシステム100に情報を提供することができる、輸送体システムモデルの生成、(2)輸送体がどのようにして通常及び/又は通常でない状況で運航されるかを、輸送体モニタリングシステム100に情報提供し得る、更には、チェックリストの体系化を含む、手順の体系化、(3)輸送体がどのようにして運航されるか、及びどの輸送体構成に対してどの性能が予期されるかを、輸送体モニタリングシステム100に情報提供し得る、輸送体ダイナミックモデル(例えば、空気力学、流体動力学など)、並びに/又は(4)ミッション運航についての情報である。ある実施例では、知識獲得サブシステム114が、知覚サブシステム106、及び/又は輸送体モニタリングシステム100の1以上の他のサブシステムを用いて、これらの作業を実行してよい。
【0113】
コアプラットフォーム102は、輸送体構成データベース502内のデータを使用して、輸送体モニタリングシステム100の様々なサブシステムを構成することができる。コアプラットフォーム102は、輸送体構成データベース502の情報を知覚サブシステム106及び/又はコンテキスト認知サブシステム124のみならず一組の内部センサからのデータと組み合わせて、輸送体の状態及び/又はステータスの高度に正確な予測を生成し、且つ/又は予期された挙動、状態、及び/又はステータスからの逸脱を特定することができる。所与の輸送体に対する輸送体構成データベース502にデータが追加されると、追加されたデータは、DTRファイル内に保持され、輸送体モニタリングシステム100が利用可能な同じ型及び/又はモデルの全ての他の輸送体向けに使用されてよい。追加されたデータ及び/又はDTRファイルは、更なるデータが、輸送体モニタリングシステム100によって生成され且つ/又は収集されたときに、更に精緻化されてよい。
【0114】
コンテキストデータベース
コンテキストデータベース504は、輸送体のミッション、チェックリスト、及び/又は手順に関する情報を記憶してよい。その情報は、輸送体に特有であって且つ/又は輸送体に依存しなくてよい。例えば、機械学習技術を採用して、輸送体の歴史的データに基づいて、輸送体の種類及び/又は輸送体に特有の他の態様を特定することができる。ミッション、チェックリスト、及び/又は手順は、輸送体モニタリングシステム100の初期化及び/又はセットアップにおいて、コンテキストデータベース504の中にロードされてよい。ある実施例では、ミッション、チェックリスト、及び/又は手順が、1以上のDTRファイルを使用してロードされてよい。しかし、単一のDTRも、それぞれの種類のミッション向けに使用されてよい。ある実施例では、コンテキストデータベース504は、コンテキストデータを他の関連するデータ(例えば、記録されたコンテキストの前後の(1以上の)状態、記録されたコンテキストの前、中、及び/又は後の輸送体の(1以上の)知覚、記録されたコンテキストがその部分であり得るところの任意の傾向など)に相関させるように、データベースサブシステム122内の他のデータベースに対するポインター、リンク、及び/又は参照を含んでよい。
【0115】
例えば、手順は、(1以上の)離陸/着陸手順、(1以上の)巡航手順、(1以上の)上昇手順、(1以上の)下降手順、(1以上の)燃料補給手順、(1以上の)放出手順、(1以上の)タクシング手順、(1以上の)駐機手順、(1以上の)ミッション特有の手順、(1以上の)待機手順、(1以上の)パッシング手順、(1以上の)エントリ/イグジット手順などを含んでよい。各手順に且つ/又は輸送体の一般的な動作に関連付けられたチェックリストも、コンテキストデータベース504内に記憶されてよい。
【0116】
特定の態様では、一組の輸送体に依存しない手順が、集められ、生成され、且つ/又は保持されてよい。例えば、着陸装置の後退、複数エンジン航空機のエンジン不具合時手順、ストール回復のような手順は、多くの種類の航空輸送体にわたり類似しており、特定の機体に対して最小の修正のみが必要となる。更に、(決して超えられない速度などの)基本的な機体制限は、特定の数値として入力するだけでよく、公称時間内に飛行マニュアルから入力することができる。
【0117】
状態データベース
状態データベース506は、輸送体の状態に関する情報を保持してよい。状態情報は、状態モニタリングサブシステム104によって集められ且つ/又は生成されてよい。状態情報は、傾向モニタリングサブシステム116によって使用されて、輸送体の動作に関する傾向を特定することができる。ある実施例では、状態データベース506が、状態データを他の関連するデータ(例えば、その状態の間、前、及び/又は後の輸送体の(1以上の)コンテキストの、直前/直後の輸送体の(1以上の)状態、その状態の前、中、及び/又は後の輸送体の(1以上の)知覚、輸送体の状態がその部分であり得るところの任意の傾向など)に相関させるように、データベースサブシステム122内の他のデータベースに対するポインター、リンク、及び/又は参照を含んでよい。
【0118】
知覚データベース
知覚データベース510は、経時的に知覚サブシステム106によって記録されたデータを保持してよい。それによって、データが、輸送体モニタリングシステム100の動作中に保持される。知覚データベース510内に記録された且つ/又は保持されたデータは、様々なサブシステムによって使用されてよく、コンテキスト、状態、傾向、及び/又は他の情報を判断する助けとなる。
【0119】
傾向データベース
傾向データベース508は、以前に特定された傾向に関するデータを保持してよい。以前に特定された傾向の一部又は全部は、輸送体モニタリングシステム100のセットアップ/初期化においてロードされてよい。輸送体モニタリングシステム100の動作中に特定された傾向の一部又は全部は、輸送体モニタリングサブシステム100の動作中に、傾向データベース508内に保存されてよい。ある実施例では、傾向データベース508が、傾向データを他の関連するデータ(例えば、その傾向中の輸送体の(1以上の)状態、その傾向中の輸送体の(1以上の)コンテキスト、その傾向にわたる輸送体の(1以上の)知覚など)に相関させるように、データベースサブシステム122内の他のデータベースに対するポインター、リンク、及び/又は参照を含んでよい。
【0120】
コンテキスト認知サブシステム
コンテキスト認知サブシステム124は、任意の所与の時間における、輸送体のミッション、チェックリスト、及び/又は手順の「コンテキスト」の認知を特定及び/又は維持してよい。コンテキストは、輸送体に特有であってよく且つ/又は輸送体に依存しなくてよい。ある実施例では、コンテキストと状態が独立していてよい。それによって、状態モニタリングサブシステム104による現在及び/又は予測された輸送体の状態の特定は、コンテキスト認知サブシステム124によって特定された現在の、以前の、且つ/又は予測された将来の輸送体のコンテキストに少なくとも部分的に依存し且つ/又は基づいてよい。その逆もまたあり得る。ある実施例では、コンテキスト又は状態を優先して選択し、どちらか一方(コンテキスト又は状態)が先ず特定されるようにする。ある実施例では、優先度が、特定の輸送体の種類、特定のオペレータ、現在のミッション、及び/又は他の考慮事項に応じて、自動的に設定されてよい。ある実施例では、優先度が、ユーザインターフェース126を通じてオペレータによって手動で設定されてよい。
【0121】
コンテキスト認知サブシステム124は、記憶されたミッション、チェックリスト、及び/又は手順を使用して、コンテキストの認知を維持してよい。ミッション、チェックリスト、及び/又は手順は、例えば、データベースサブシステム122のコンテキストデータベース504内に記憶されてよい。ミッション、チェックリスト、及び/又は手順は、輸送体モニタリングシステム100の初期化及び/又はセットアップにおいて、コンテキストデータベース504の中にロードされてよい。ある実施例では、ミッション、チェックリスト、及び/又は手順の一部若しくは全部が、輸送体モニタリングシステム100によってモニタされている輸送体のクラス、範疇、種類、型、及び/又はモデルに関連付けられてよい。ある実施例では、ミッション、チェックリスト、及び/又は手順の一部若しくは全部が、輸送体に依存しなくてよい。ある実施例では、ミッション、チェックリスト、及び/又は手順が、1以上のDTRファイルを使用してロードされてよい。
【0122】
コンテキスト認知サブシステム124は、任意の所与の瞬間において、1以上のミッション、チェックリスト、及び/又は手順に対応するように、現在の輸送体のコンテキストを特定することができる。特定は、現在の、以前の、予期された、且つ/又は予測された輸送体の状態に基づいてよい。現在のコンテキストの特定は、コンテキストデータベース504の内容、知覚サブシステム106からの現在のデータ、(例えば、データベースサブシステム122内に記憶された)知覚サブシステム106からの以前のデータ、ユーザインターフェース126を介して入力されたオペレータからの情報、及び/又は他の情報ソースに更に基づいてよい。ある実施例では、1つの状態から別の1つの状態への移行は、現在の輸送体コンテキストの特定を通知し且つ/又は誘発してよい。コンテキスト認知サブシステム124は、以前の輸送体のコンテキストを、コンテキストデータベース504内に記憶してよい。
【0123】
動作
図6は、輸送体モニタリングシステム100の例示的な動作を示している。ステップ602で、輸送体モニタリングシステム100は、セットアップされ且つ/又は初期化される。これは、輸送体の点火の前、後、及び/又は間に行われてよい。セットアップ中に、輸送体モニタリングシステム100の構成要素が、輸送体内に設置されてよい。知覚サブシステム106は、輸送体の操縦室の機器120と配線で接続されよく且つ/又は他の方法で相互作用してよい。カメラ及び/又は他のセンサが使用される実施例では、これらのデバイスが、(1以上の)オペレータに対する任意の妨害を最小化しながら、操縦室の機器120からデータを収集し、測定し、検知し、且つ/又は取得するために、適切にセットアップされてよい。地上車両(例えば、自動車、トラック、救急車など)では、これが、カメラ及び/又はセンサを、乗客席、後部座席、ダッシュボードエリア、中央コンソール、又は何らかの他の適切な位置に適切に位置決めすることを意味してよい。航空輸送体(例えば、飛行機、ヘリコプターなど)では、これが、パイロットキャビン、乗客席、後部座席、ダッシュボードエリア、コンソールエリア、又は何らかの他の適切な位置に位置決めすることを意味してよい。船舶(船、潜水艦など)では、これも同様なものを意味してよい。ある実施例では、輸送体モニタリングシステム100が、(例えば、訓練シミュレーションを計算し且つ/又は傾向解析向けの初期データを生成するために)輸送体のシミュレータ内に設置されてよい。
【0124】
ステップ604では、知識獲得フェーズが生じ、それは、一般的に、輸送体についての情報が、様々なソース(例えば、SME、マニュアルなど)から集められ、輸送体構成データベースにデータを追加するために使用されて、究極的にはDTRファイルを生成するプロセスを指す。輸送体に応じて、知識獲得フェーズは、しばしば、輸送体内に何かが設置される前に生じ、完了するのに二三時間から一月かかることがある。
【0125】
知識獲得フェーズ中に、閾値条件が、フィードバックサブシステムの比較向けに確立されてよい。エンジンの過速度又は対気速度制限の超過などの、これらの状態は、しばしば離散的であるだろう。更に、輸送体構成データは、輸送体構成データベース502及び/又はデータベースサブシステム122の他のデータベースの中にアップロードされてよい。この情報は、例えば、例示的な輸送体の動力学データ、動作制限、ミッション、チェックリスト、手順、輸送体システム、機器のレイアウト、更には他の関連するデータを含んでよい。輸送体構成データは、1以上のデジタルファイル(例えば、(1以上の)DTRファイル)を使用してアップロードされてよい。一実施例では、知識獲得フェーズが、1)輸送体についての知識を収集してよく、2)知覚システムを構成しながらデータベース及び初期DTRを構築してよく、3)知覚システムをインストールしながらシミュレーションにおいてDTRをデバッグしてよく、4)1以上のDTRを(例えば、1以上の種々のミッション向けに)インストールしてよく、5)セットアップ及び初期化を継続してよい。
【0126】
ステップ606では、輸送体の動作が開始する。このステップは、知識獲得フェーズの後で自動的に誘発されてよく、又はオペレータによって手動で誘発されてよい。その後、輸送体モニタリングシステム100は、ステップ616で動作が打ち切られるまで、ステップ608から614の繰り返しループに入る。打ち切られる動作は、何らかのイベント、傾向、状態の移行、及び/又はコンテキストによって誘発されてよく、又はオペレータによって手動で誘発されてよい。
【0127】
ステップ608では、動作中に、知覚サブシステム106が、オペレータが輸送体を操縦しているときに、輸送体の操縦室(及び/又は実際のシミュレータ)内で機器をモニタしてよく且つ/又は制御してよい。オペレータの作業を観察することによって、輸送体モニタリングシステム100は、オペレータから直接的に学習することができ、その特定のオペレータに対する傾向解析を実施することができる。このプロセスは、輸送体の運航が、所与の状況で行われるべき事において高度に構造化されるという事実から利益を受けることができる。次いで、機械学習は、如何にして何かが実行されるべきかの体系化、例えば、輸送体を危険な状況に晒している動作傾向を特定することを可能にする。
【0128】
ステップ610では、現在の輸送体の状態が、知覚サブシステム106からのデータ、更には、他のデータ(例えば、過去の且つ/又は現在の状態/コンテキスト/傾向)を使用して、特定されてよい。1以上の予測された将来の状態も、特定することができる。輸送体のコンテキストも、他のデータ(例えば、過去の且つ/又は現在の状態/コンテキスト/傾向、予測される将来の状態)と併せて、知覚サブシステム106からのデータを使用して、特定されてよい。輸送体の(1以上の)状態及び/又は(1以上の)コンテキストは、データベースサブシステム122内に記憶されてよい。
【0129】
ステップ612では、1以上の傾向を特定するために、傾向解析が実行されてよい。傾向は、輸送体の傾向及び/又はオペレータの傾向であってよい。ステップ614では、適切なフィードバックが、既知の且つ/又は予期される(1以上の)状態、(1以上の)コンテキスト、及び/又は(1以上の)傾向との比較において、特定された(1以上の)状態、(1以上の)コンテキスト、及び/又は(1以上の)傾向に基づいて決定されてよい。フィードバックは、ユーザインターフェース126を通じて、オペレータに提示されてよい。
【0130】
動作は、ステップ616で継続されてよく又は打ち切られてよい。ある実施例では、動作が、何らかの他の入力が受け取られ又は何らかの打ち切り動作が自動的に誘発されるまで、デフォルトとして継続してよい。打ち切られる動作は、何らかのイベント、傾向、状態の移行、及び/又はコンテキストによって誘発されてよく、又はオペレータによって手動で誘発されてよい。ある実施例では、逆が正しく、動作がデフォルトとして打ち切られてよく、動作を継続するためには、何らかの自動的及び/又は手動の入力を必要とする。
【0131】
動作が打ち切られると、輸送体モニタリングシステム100は、ステップ618で、その(例えば、データベースサブシステム122内に)集められたデータを、中央保存場所にオフロードしてよい。ある実施例では、中央保存場所が、輸送体及び/又は輸送体モニタリングシステムのフリート(fleet)からのデータを保持してよい。他の実施例では、中央保存場所が、単一の輸送体及び/又は輸送体モニタリングシステムからのデータだけを保持してよい。中央保存場所を使用して、将来の輸送体モニタリングシステム100の動作向けの、オフライン傾向解析及び/又は認識を支援することができる。ステップ620では、輸送体モニタリングシステム100の動作が終了する。輸送体モニタリングシステム100がネットワークにアクセスしない一実施例では、輸送体モニタリングシステム100が、中央保存場所にアップロードするための着脱可能な局所的ドライブを有するように構成されてよい。
【0132】
図7a及び図7bは、輸送体モニタリングシステム内で使用され得る例示的な手順を示している。例示的な手順は、航空輸送体向けの手順である。手順は、幾つかの作業のチェックリストを含む。図中の各文字入りの円は、チェックリスト内の作業に対応する。円の種類は、輸送体モニタリング動作の種類に対応する。ある作業では、フィードバック(すなわち、表示)がなく、他の動作が実行される。他の作業では、システムが、作業がペンディング、未完了、及び/又は完了であることの1以上のインジケータなどの、作業に関するフィードバックを表示してよい。ある作業では、システムが、作業が完了したことを確認する、ユーザインターフェース126への何らかの入力で、オペレータがフィードバックに応答することを要求する場合がある。ある作業では、知覚サブシステム106が、操縦室の機器120及び/又は他の輸送体の機器の、その読み値を通じて、作業が完了したことを個別に確認することができる。システムは、1以上の先行作業が完了してしまう前に、手順の1以上の作業を進めようとオペレータが試みる場合、ネガティブなフィードバック(例えば、警告や警報など)を更に表示してよい。
【0133】
図8は、輸送体モニタリングシステム100内で使用され得る例示的な状態図を示している。状態図は、航空輸送体の状態に対応する。その図は、運航中に航空輸送体が取り得る様々な状態を示している。破線を有するそれらの状態及び状態の移行は、ミッションに特有の状態並びに/又はミッションに特有の状態への及び/又はからの移行に対応する。その図は、状態の移行中に知覚サブシステム106を通じて取得されたデータが、どのようにして特定の手順、チェックリスト、及び/又はフィードバックを誘発し得るかを示している。より具体的には、その図は、下降状態から待機状態への移行中の誘発を示している。知覚サブシステム106が、基準海面(MSL)から上に近似的に1200フィートの高度、及び滑走路から5海里(NM)未満の距離を検出したときに、該システムは、着陸手順のコンテキストを推察してよい。この推察は、MSL1200フィートよりかなり上の且つ既知の滑走路から5NMよりかなり遠い、以前の輸送体の状態の知識によって更に情報提供されてよい。該システムは、更に、着陸チェックリストの作業がまだ完了していないと判断してよく、ユーザインターフェース126を通じてオペレータに適切なフィードバックを提供することができる。オペレータが継続する場合、且つ、該システムが近似的にMSL500フィートの高度及び滑走路から1NM未満の距離を検出した場合、該システムは、緊急の且つ/又は意味深長なフィードバックを提供することができる。ある実施例では、(1以上の)チェックリストの(1以上の)手順の適切な(1以上の)作業が完了するまで、該システムが、オペレータが更に進むことを防止する(例えば、更なる下降をブロックする)ために、輸送体と相互作用することを許容されてよい。
【0134】
本開示の態様は、ハードウェア、ソフトウェア、及び/又はそれらの組み合わせによって実装されてよいことが理解できる。ソフトウェアは、非一過性の機械可読(例えば、コンピュータ可読)記憶媒体、例えば、消去可能若しくは再書き込み可能なリードオンリーメモリ(ROM)、メモリ、例えば、ランダムアクセスメモリ(RAM)、メモリチップ、メモリデバイス、若しくはメモリ集積回路(IC)、若しくは光学的若しくは磁気的に記録可能な非一過性の機械可読、例えば、コンピュータ可読記憶媒体、例えば、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)、磁気ディスク、又は磁気テープ内に記憶されてよい。
【0135】
特定の実施態様を参照しながら本方法及び/又はシステムを説明してきたが、当業者であれば、本方法及び/又はシステムの範囲から逸脱することなく、様々な変形が可能であることと、均等物に置換することが可能であることを理解するだろう。加えて、本開示の範囲から逸脱することなく、本開示の教示に特定の状況又は材料を適合させるために、多数の修正を加えることが可能である。例えば、開示された実施例のシステム、ブロック、及び/又は構成要素は、組み合わされ、分割され、再配置され、且つ/又は他の方法で変形されてよい。したがって、本方法及び/システムは、開示された特定の実施態様に限定されるものではない。その代わりに、本方法及び/又はシステムは、字義通り及び均等論の下の両方で、添付の特許請求の範囲に入る全ての実施態様を含むこととなる。
【0136】
本開示は、以下の条項で説明される主題を含む。
1.
輸送体を動作させるためにオペレータフィードバックを提供するための適応可能輸送体モニタリングシステム(100)であって、
現在の輸送体のコンテキストを特定するように構成されたコンテキスト認知サブシステム(124)であって、前記現在の輸送体のコンテキストが前記輸送体の動作モードを反映する、コンテキスト認知サブシステム(124)、
現在の輸送体の状態データに少なくとも部分的に基づいて、現在の輸送体の状態を導出するように構成された状態モニタリングサブシステム(104)であって、前記輸送体の少なくとも1つのパラメータに応じて前記輸送体の状態データを前記現在の輸送体のコンテキストに相関させるように構成された知識獲得サブシステム(114)と動作可能に接続され、前記現在の輸送体の状態データ及び前記現在の輸送体のコンテキストを解析して、1以上の傾向を特定するように構成された、状態モニタリングサブシステム(104)、
前記状態モニタリングサブシステム(104)に動作可能に接続されたフィードバックサブシステム(112)であって、前記現在の輸送体の状態と予期される輸送体の状態との比較に少なくとも部分的に基づいて、オペレータフィードバックを準備するように構成され、前記予期される輸送体の状態が、1以上の記憶された輸送体の状態及び前記1以上の傾向に少なくとも部分的に基づいて導出される、フィードバックサブシステム(112)、並びに
前記準備されたオペレータフィードバックを提供するように構成されたユーザインターフェース(126)を備える、システム。
2.
前記状態モニタリングサブシステム(104)が、類似する種類の輸送体からの記憶された輸送体の状態データ及び記憶された輸送体のコンテキストを解析して、前記1以上の傾向を特定するように更に構成されている、条項1に記載のシステム。
3.
輸送体内に位置付けられた機器(120)から、現在の輸送体の状態情報を視覚的に取得するように構成された複数のカメラ(310)を有する知覚サブシステム(106)を更に備える、条項1又は2に記載のシステム。
4.
前記状態モニタリングサブシステム(104)に動作可能に接続され、前記状態モニタリングサブシステム(104)によるオフライン機械学習又は傾向解析を支援するように構成された、データベースサブシステム(122)を更に備える、条項1から3のいずれか一項に記載のシステム。
5.
前記機器(120)が、燃料計、温度計、風力計、オドメータ、圧力計、高度計、速度計、対気速度インジケータ、垂直速度インジケータ、コンパス、ジャイロスコープ、姿勢インジケータ、機首方位インジケータ、旋回インジケータ、又は航行システムのうちの1以上を備える、条項3に記載のシステム。
6.
前記オペレータフィードバックが、前記予期される輸送体の状態と前記現在の輸送体の状態との間の偏差が所定の閾値を超えた場合の警告を含む、条項1から5のいずれか一項に記載のシステム。
7.
前記現在の輸送体のコンテキストが、輸送体の種類、輸送体運航ハンドブック、標準的な輸送体の動作手順、オペレータの入力、ミッションパラメータ、輸送体の目的地、現在の輸送体の状態データ、記憶された輸送体の状態データ、輸送体の位置、外部環境、及び記憶された傾向のうちの1以上に少なくとも部分的に基づいて特定される、条項1から6のいずれか一項に記載のシステム。
8.
前記輸送体モニタリングシステム(100)が、種々の種類の輸送体と互換性があり、デジタルファイル内の符号化された情報に少なくとも部分的に基づいて前記種々の種類の輸送体に適応し得る、条項1から7のいずれか一項に記載のシステム。
9.
前記符号化された情報が、輸送体の種類、輸送体のレイアウト、輸送体の機器(120)、及び輸送体の能力のうちの1以上を含む、条項8に記載のシステム。
10.
解析される、記憶された輸送体の状態データ、記憶された輸送体のコンテキスト、及び記憶された輸送体の状態が、前記デジタルファイル内の符号化された前記輸送体の種類に対応する、条項9に記載のシステム。
11.
前記状態モニタリングサブシステム(104)が、機械学習技術を使用して、前記1以上の傾向を特定する、条項1から10のいずれか一項に記載のシステム。
12.
輸送体を動作させるためにオペレータフィードバックを提供するための方法であって、
前記輸送体の動作モードを反映する現在の輸送体のコンテキストを特定するステップ、
現在の輸送体の状態データに少なくとも部分的に基づいて、現在の輸送体の状態を導出するステップ、
前記輸送体の少なくとも1つのパラメータに応じて、前記輸送体の状態データを前記現在の輸送体のコンテキストに相関させるステップ、
前記現在の輸送体の状態データ及び前記現在の輸送体のコンテキストを解析して、1以上の傾向を特定するステップ、
前記現在の輸送体の状態と予期される輸送体の状態との比較に少なくとも部分的に基づいて、オペレータフィードバックを準備するステップであって、前記予期される輸送体の状態が、1以上の記憶された輸送体の状態及び前記1以上の傾向に少なくとも部分的に基づいて導出されるステップ、並びに
ユーザインターフェース(126)を介して、前記準備されたオペレータフィードバックを生成するステップを含む、方法。
13.
前記1以上の傾向が、類似する種類の輸送体からの記憶された輸送体の状態データ、記憶された輸送体のコンテキスト、及び記憶された輸送体の状態を使用して特定される、条項12に記載の方法。
14.
前記現在の輸送体の状態データが、輸送体の操縦室内の機器(120)からデータを収集するように構成された複数のカメラ(310)を使用して取得される、条項13に記載の方法。
15.
前記現在の輸送体の状態が、燃料計、温度計、風力計、オドメータ、圧力計、高度計、速度計、対気速度インジケータ、垂直速度インジケータ、コンパス、ジャイロスコープ、姿勢インジケータ、機首方位インジケータ、旋回インジケータ、又は航行システムのうちの少なくとも1つから特定される、条項13又は14に記載の方法。
16.
前記オペレータフィードバックが、前記予期される輸送体の状態と前記現在の輸送体の状態との間の偏差が所定の閾値を超えた場合の警告を含む、条項13から15のいずれか一項に記載の方法。
17.
前記方法が、デジタルファイル内の符号化された情報に少なくとも部分的に基づいて、種々の種類の輸送体に適応させるステップを更に含む、条項13から16のいずれか一項に記載の方法。
18.
前記符号化された情報が、輸送体の種類、輸送体のレイアウト、輸送体の機器(120)、及び輸送体の能力のうちの1以上を含む、条項17に記載の方法。
19.
機械学習技術を使用して、前記1以上の傾向を特定する、条項17又は18に記載の方法。
20.
オフライン機械学習又は傾向解析を支援するように構成されたデータベースサブシステム(122)にアクセスするステップを更に含む、条項13から19のいずれか一項に記載の方法。
図1
図2a
図2b
図3a
図3b
図4a
図4b
図4c
図4d
図4e
図5
図6
図7a
図7b
図8